BIT Status

All systems are operational.

Past Incidents

4 months ago —

NL

De shared hosting database server heeft op dit moment een probleem waardoor deze tegen de MaxConnections limiet loopt. Websites kunnen hierdoor traag zijn of niet inladen. Dit probleem is in onderzoek.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 04-12-2024, 10.32
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

The shared hosting database server is currently experiencing an issue that is causing it to hit the MaxConnections limit. This can cause websites to be slow or not load at all. This issue is under investigation.

Follow the incident report on our website for updates on this incident.


Update placed at 04/12/2024, 10:32
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 months ago —

NL

Eén van onze hypervisors in onze cloud is rond 13.22 uur verstoord geraakt. De virtual machines die door deze verstoring getroffen zijn worden naar een andere hypervisor verplaatst en zullen binnenkort weer beschikbaar zijn. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst om 13.41 uur
De verstoring was het gevolg van een menselijke fout. Deze fout is hersteld voordat de virtual machines naar een andere hypervisor verhuisd werden. Alle machines zijn weer beschikbaar. De machines waar BIT een login op heeft zijn gecontroleerd naar correcte werking. Voor machines waar BIT geen login op heeft wordt de klant verzocht die werking zelf na te lopen.

Er zal onderzocht worden op welke wijze dergelijke menselijke fouten in de toekomst voorkomen kunnen worden.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

One of the hypervisors in our cloud got disrupted around 13:22 hrs. The virtual machines on this hypervisor will be transferred to other hypervisors and will become available within minutes. Follow the incident on our website for updates concerning this incident.


Update placed at 13:37 hrs
The disruption was the result of a human error which got fixed before the virtual machines were transferred. All the VM's are available again. Machines where BIT hass access to are checked and in working order. Customers with machines where does not have access might need to check their machine(s) themselves.

We will investigate possibilities to prevent such a human error to be made again.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 months ago —

NL

Door een verstoring aan de koelinstallatie van BIT-2A is de temperatuur in deze ruimte tussen 10.03 en 10.15u buiten de afgegeven SLA geweest. De verstoring is door datacenter engineers van BIT verholpen, en de temperatuur in de ruimte is sinds 10.15u weer binnen SLA-waardes.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Due to an malfunction in the cooling installation of BIT-2A, temperature in this server room was outside SLA values between 10.03 and 10.15h. The error was fixed by datacenter engineers, temperatures have been within SLA values since 10.15h.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 months ago —

NL

Er was door een menselijke fout een kortstondige onbereikbaarheid voor smtp.bit.nl tussen 16.27 en 16.32. Daardoor kan het zijn dat u rond dat moment een foutmelding terugkreeg wanneer u e-mail probeerde te versturen via smtp.bit.nl. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Due to human error there was a short interruption for smtp.bit.nl between 16.27 and 16.32. Because of that it is possible that you received and error message when you tried to send e-mail via smtp.bit.nl. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 months ago —

NL

Omstreeks 11.04 werd een gedeeltelijke netwerkverstoring opgemerkt in BIT-2A. Omstreeks 11.10 herstelde zich dit weer. De oorzaak van dit probleem is nog in onderzoek door onze engineers. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 28-08-2024, 11.32
De oorzaak van deze verstoring is nog in onderzoek door onze engineers.
Update geplaatst op 28-08-2024, 12.00
De oorzaak van deze verstoring is nog in onderzoek door onze engineers.
Update geplaatst op 28-08-2024, 12.10
De oorzaak van het probleem was dat de desbetreffende switch tijdelijk de hoeveelheid verkeer niet aankon, de impact is beperkt gebleven tot 1 switchpaar. Maatregelen worden getroffen om de impact hiervan in de toekomst te verkleinen. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Around 11:04 we noticed a partial network disruption in BIT-2a. Around 11:10 it recovered. The cause of this disruption is under investigation by our engineers. Follow the incident on our website for updates concerning this incident.


Update placed at 28/08/2024, 11:33
The cause of this disruption is still under investigation by our engineers.
Update placed at 28/08/2024, 12.00
The cause of this disruption is still under investigation by our engineers.
Update placed at 28/08/2024, 12.10
The cause of this disruption was that the switch temporarily could not handle the amount of traffic, the impact was limited to the switch pair. Measures will be taken to limit the impact in the future. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 months ago —

NL

Door een storing aan één van onze hypervisors is een aantal van de virtual machines van klanten op dit moment onbereikbaar. Engineers zijn bezig het probleem te verhelpen. Meer informatie volgt.


Update geplaatst op 24-08-2024, 10:48u
Door nog onbekende redenen is de hypervisor gereboot. Als voorzorgsmaatregel worden alle virtual machines die op die machine actief waren nu verhuisd naar andere hypervisors in het platform.
Update geplaatst op 24-08-2024, 10.56
Alle virtual machines zijn verhuisd naar andere hypervisors. Alle virtual machines waarop BIT verantwoordelijk is voor het beheer zijn nagelopen op het correct functioneren.

Er zal verder onderzoek gedaan worden naar de oorzaak van de spontane reboot van de hypervisors en waar nodig zullen corrigerende maatregelen genomen worden.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Due to an outage on one of our hypervisors some customer virtual machines are unavailable. Engineers are currently fixing the problem. We'll update this ticket with more information once it's available.


Update placed at 24/08/2024, 10:50h
The hypervisor rebooted for yet unknown reasons. As a precaution engineers are moving all virtual machines that were running on that hypervisor to other hypervisors in the platform.
Update placed at 24/08/2024, 11:00h
All virtual machines have been moved to other hypervisors. Virtual machines managed by BIT have been checked if they're operating correctly. Further investigation will be made to identify the cause of the unexected reboot, and if needed actions will be taken.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 months ago —

NL

Rond 10.18 uur is één van de hypervisors onbereikbaar geworden. Virtuele servers van klanten die op deze hypervisor draaien zijn hierdoor geraakt. Er wordt nu onderzocht of de hypervisor weer heel snel online gebracht kan worden of dat de VM's naar een andere hypervisor verhuisd worden.


Update geplaatst om 10.32
De getroffen machines worden naar een andere hypervisor verplaatst. Volg de incidentmelding op onze website voor updates inzake dit incident.
Update geplaatst om 10.42
Alle virtuele servers zijn naar een andere hypervisor verhuisd. Voor de door BIT beheerde servers worden ze nagelopen op werking.
Update geplaatst om 10.48
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 10:18 hrs one of the hypervisors that runs virtual machines of customers broke down. Engineers are attempting to bring the machine back online or in case this takes too long, the affected virtual machines will be transferred to another hypervisor.


Update placed at 10:33
The virtual machines are being transferred to another hypervisor. Follow the incident on our website for updates concerning this incident.
Update placed at 10:43
All virtual servers have been transferred to another hypervisor. For the machines that are maintained by BIT, our engineers will check their workings.
Update placed at 10:49
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

10 months ago —

NL

Door een probleem met de configuratie zijn vanaf 11.21 onterecht meldingen naar klanten gestuurd vanuit ons monitoringsysteem.

Onze excuses voor de overlast.

Volg de incidentmelding op onze website voor updates inzake dit incident.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Because of a problem with the configuration unneeded messages have have been sent to customers from our monitoringsystem. We apologize for the inconvenience. Follow the incident on our website for updates concerning this incident. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

11 months ago —

NL

Sinds 4.18 uur vanochtend is er een storing bij Vodafone gaande waardoor het niet mogelijk is gebruik te maken van mobiel dataverkeer via het APN van BIT. Klanten die de mobiel internetdienst via het APN van BIT afnemen worden hierdoor getroffen. De storing in onderzoek bij Vodafone.


Update geplaatst op 24-05-2024, 14.45
Omstreeks 14.36 zagen we meer verkeer via de interconnect met Vodafone verlopen. Het herstarten van mobiele apparaten waarmee wij getest hebben zorgde ervoor dat deze weer een werkende verbinding hadden via het BIT APN. Wij hebben echter nog geen bevestiging gehad vanuit Vodafone dat het probleem inderdaad verholpen is.
Update geplaatst op 27-05-2024, 08.30
We hebben geen terugkoppeling ontvangen vanuit Vodafone en hebben navraag gedaan. Afgelopen zaterdag was deze storing opgelost aldus Vodafone. We zien deze dienst weer meerdere dagen werken.
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Since 4:18h this morning Vodafone is experiencing an outage which causes mobile internet connectivity via the BIT APN to be disrupted. Vodafone is investigating this issue.


Update placed at 24/05/2024, 14:45
Around 14:36 we saw an increase in traffic via the interconnect with Vodafone. Restarting the mobile devices that we tested with has resulted that those devices had a working connection via the BIT APN. We did not yet get confirmation from Vodafone that the problem is indeed resolved.
Update placed at 27/05/2024, 08:30
We did not get feedback regarding the problem from Vodafone, we called to get some. The problem was resolved last saturday according to Vodafone. We see it working for multiple days now.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

1 year ago —

NL

De VDC beheeromgeving en VM beheer in het klantenportaal was offline tussen 10:20:25 en 10:29:50 deze ochtend. Dit is zo snel als mogelijk weer opgelost door engineering.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

The VDC management environment and VM management in the customer portal was offline between 10:20:25 and 10:29:50 this morning. This has been resolved by engineering as quickly as possible.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

1 year ago —

NL

Vannacht zijn er problemen opgetreden op een van onze hypervisors. Hierbij zijn een aantal VM's en de bijbehorende diensten getroffen.

Voor zover bekend is alles weer hersteld. Mocht u sinds vannacht desondanks toch nog problemen hebben met uw VM verzoeken we u de te herstarten indien mogelijk, of contact met ons op te nemen.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


Update geplaatst op 11-10-2023, 14:10
Tijdens het aangekondigde netwerkonderhoud zijn problemen opgetreden die om nog onbekende redenen tot gevolg hadden dat hypervisors in BIT-2C geen gebruik konden maken van centrale storage.

Virtual machines van BIT zelf en van klanten van BIT die op deze specifieke hypervisors gehost werden functioneerden daardoor niet goed, of hadden problemen met storage.
Toen het onderhoud aan de switches in BIT-2C afgerond was, was storage weer normaal beschikbaar. Engineers van BIT hebben waar mogelijk daarna virtual machines hersteld.

Hypervisors van de BIT clouds zijn altijd aangesloten op meerdere switches, zodat bij onderhoud aan een switch er altijd paden naar storage en het internet beschikbaar blijven. Tijdens dit onderhoud is dit, ondanks dat er nog switchpoorten actief waren, niet het geval geweest. Er wordt onderzoek gedaan wat hier de oorzaak van geweest is.


EN

This night we've experienced problems on one of our hypervisors. A few Virtual-Machines and services have been impacted.

As far as we know everything has been restored to working condition.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.


Update placed at 11/10/2023, 14:10
During the announced network maintenance, problems occurred that, for unknown reasons, meant that hypervisors in BIT-2C could not reach the central storage.

Virtual machines from BIT itself and from our customers that were hosted on these specific hypervisors therefore did not function properly or had problems with storage.
When maintenance on the switches in BIT-2C was completed, storage was available normally again. BIT engineers subsequently restored virtual machines where possible.

Hypervisors of the BIT clouds are always connected to multiple switches, so that during maintenance on a switch, paths to storage and the internet always remain available. This was not the case during this maintenance, despite the fact that switch ports were still active. Investigations are underway to determine what caused this.

1 year ago —
Fixed

Fixed

2 months ago —

[NL] Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

[EN] The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

Fixed

2 months ago —

[NL] Al geruime tijd draaien er nieuwe autoritatieve nameservers. Een wijziging aan de oude autoritatieve nameservers zorgde tussen 11.45 en 11.58 uur voor het incident. Een configuratie instelling die naar de oude nameservers verwees was bij de wijziging over het hoofd gezien.

[EN] For some time new authoritative nameservers are in use. A change to the old authoritative nameservers causes the incident from 11:45 till 11:58 hrs. A configuration setting pointing to the old nameservers was missed during the change.

1 year ago —

[NL] Een storing aan de nameservers van BIT zorgt ervoor dat bepaalde de resolving van hostnames in veel gevallen niet werkt. Hierdoor werkt bepaalde functionaliteit van de dienstverlening niet of niet optimaal. De storing zorgt er in ieder geval voor dat www.bit.nl voor veel gebruikers niet bereikbaar is.

[EN] An incident on the nameservers of BIT results in failed resolving of hostnames. Certain functionality of the services does not work or does not work as expected. The website www.bit.nl is unavailable for many users. Impact might be bigger though.

Fixed

Fixed

2 months ago —

CephFS is weer operationeel sinds 09.20. Dit probleem wordt verder onderzocht door onze collega's.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

1 year ago —

Sinds 09.15 ondervinden wij een onderbreking in CephFS. VM's, shared storage en diensten van BIT die gebruikmaken van deze storage zijn daardoor niet werkzaam. Dit probleem is in onderzoek bij onze engineers.

Volg de incidentmelding op onze website voor updates inzake dit incident.

1 year ago —

NL

Zojuist, 03:45u, is een van de twee Meta Data Servers die het CephFS gedeelde bestandsysteem verzorgen gecrasht. Dit heeft een onderbreking van de beschikbaarheid van deze opslag ten gevolg gehad van in totaal tien minuten. Er zal nader onderzoek verricht worden naar de oorzaak van de crash.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Today at 03:45 hrs, one of the Meta Data Servers providing the CephFS shared storage experienced a crash. This has caused a temporary IO-stall on the filesystems of ten minutes. BIT engineers will do a an investigating to find the root cause of the crash.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

 

1 year ago —

NL

Vandaag tussen 14:12 en 14:15 heeft zich een verstoring voorgedaan op onze loadbalancers, waardoor diverse loadbalanced diensten voor korte tijd onbereikbaar zijn geweest.

Engineers van BIT zijn meteen met het probleem aan de slag gegaan om te achterhalen wat de oorzaak kan zijn geweest.


Update geplaatst op 26-07-2023, 14.52
De verstoring werd veroorzaakt door een kortstondige (uitzonderlijke) spike aan requests van 1 klant op het shared hosting platform. De loadbalancers konden deze hoeveelheid requests niet aan.
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Today between 14:12 and 14:15, a disruption occurred on our load balancers which caused various load balanced services to be unavailable for a short time.

BIT engineers immediately started working on the problem to find out what could have been the cause.


Update placed at 26/07/2023, 14:52
The disruption was caused by a momentary (exceptional) spike in requests from 1 customer on the shared hosting platform. The load balancers could not handle this amount of requests.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

1 year ago —

NL

Omstreeks 17.05 werd een van de shared mysql servers (mysql8.bit.nl) tijdelijk onbereikbaar. Websites die gebruikmaken van een database op deze host waren daardoor niet werkzaam. Dit probleem is in onderzoek.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 04-07-2023, 17.22
Het MySQLd proces was door de OOM-killer gestopt. We gaan het geheugen uitbreiden van deze host.
Update geplaatst op 04-07-2023, 17.27
Het geheugen van deze host is uitgebreid en deze is weer werkzaam. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Around 17:05 one of the shared MySQL servers (mysql8.bit.nl) became unavailable. Websites using a database on this host were not working because of that. This incident is under investigation.

Follow the incident on our website for updates concerning this incident.


Update placed at 07/07/2023, 17:22
The MySQLd process was stopped by the OOM-killer. We will expand the memory of this host.
Update placed at 07/07/2023, 17:27
The memory of the host has been expanded and is available again. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

Fixed

2 months ago —

NL: De RFO over dit incident is op 20 april gepubliceerd - RFO in Nederlands

EN: The RFO on this incident was published on April 20th - RFO in English

Fixed

2 months ago —

NL: Komende dagen wordt er nader onderzoek gedaan naar de exacte oorzaak van het incident. De expertise van één van de core developers van Ceph wordt hierbij ingeschakeld. Zodra dit onderzoek gereed is zal er een definitieve RFO op www.bit.nl gepubliceerd worden. Het is zeker dat het incident zich alleen voor heeft kunnen doen omdat er op dat moment capaciteit in het cluster toegevoegd werd. Totdat duidelijk is wat de oorzaak was zal er geen capaciteit toegevoegd worden en is er daarom geen risico op herhaling van het incident.

EN: The incident and its cause will be investigated further coming days. The expertise of one of the core developers of Ceph will be added to our team. As soon as the investigation reaches a conclusion a definitive RFO will be published on www.bit.nl. It is clear that the incident could only occur because at that moment extra capacity was being added to the cluster. Untill the root cause is known we will not add extra capacity and therefor there is no risk that the same incident will re-occur.

Fixed

2 months ago —

NL: Het cluster is weer operationeel. De backfills en recoveries zijn gereed en alle diensten zijn weer beschikbaar. De komende dagen zal er her en der nog wat gerebalanced worden in het cluster. In een enkel geval kan dat nog wat beperkte performance issues geven.

EN: The cluster is operational. The backfills and recoveries are done and all services are available. The cluster will be rebalanced coming days. Occasionally this might cause some minor performance issues.

Watching

2 months ago —

NL: Cephfs is ook weer beschikbaar. Alle diensten worden door engineers nagelopen en waar nodig worden ze herstart, mounts opnieuw gezet of worden er andere reparatiewerkzaamheden uitgevoerd.

EN: Cephfs is available. Engineers are checking all services and where necessary they will restart, remount or perform other repairs.

Identified

2 months ago —

NL: Vanwege het isoleren van PG's en het toevoegen van extra OSD's in het cluster, is Ceph nu aan het 'recoveren' en aan het 'backfillen'. Grote hoeveelheden data worden momenteel verplaatst en gerepliceerd. Binnenkort kunnen de Cephfs pools ook weer online gebracht worden. Shared storage binnen het virtualisatie platform draait op zo'n Cephfs pool. De virtual machines die geen Cephfs disk gebruiken zullen dus wel al functioneren.

EN: Because of PG isolation and adding extra OSD's in the cluster, Ceph is recovering and backfilling. Large quantities of data are being moved and replicated. Soon the Cephfs pools can be brought back online. Shared storage within the virtualisation platform runs on such a Cephfs pool. Those virtual machines that don't use such a Cephfs disk are functioning properly.

Identified

2 months ago —

NL: De meeste OSD's zijn weer beschikbaar. Een deel van de diensten functioneert ook weer maar kan weer onbeschikbaar worden zolang er nog aan het cluster gewerkt wordt.

EN: Most of the OSD's are back online. Some of the services are available but might become unavailable again while restoring the cluster.

Identified

2 months ago —

NL: Een groot deel van de PG's die nu geïsoleerd worden, zullen niet apart teruggeplaatst hoeven te worden omdat er andere OSD's zijn waar die PG wel beschikbaar is. Voor PG's die niet automatisch kunnen recoveren is uit tests duidelijk geworden dat ze wel apart geïmporteerd kunnen worden. Er wordt geen dataverlies verwacht als gevolg van dit incident.

EN: The majority of the PG's that are now being isolated, will recover automatically because there will be other OSD that have these PG's mapped. Tests show that PG's that won't recover automatically will import successfully later on. No data loss is expected from this incident.

Identified

2 months ago —

NL: Er komen steeds meer, voorheen crashende, OSD's weer beschikbaar. Het zal nog enige tijd duren voordat alle OSD's weer beschikbaar zijn. Er wordt nog onderzocht of de geïsoleerde PG's weer beschikbaar gemaakt kunnen worden.

EN: More and more previously crashing OSD's are coming available. It will take some time to get all OSD's online. Investigation on the possibility of recovering the problematic, isolated PG's is still going on.

Identified

2 months ago —

NL: De problematische PG's worden geïsoleerd van de crashende OSD's, waarna die OSD's naar verwachting wel zullen starten.

EN: The problematic PG's are being isolated from the crashing OSD's. After that those OSD should start.

Identified

2 months ago —

NL: Een deel van de placement groups (PG) veroorzaakt problemen en zorgt ervoor dat bepaalde OSD's niet starten. Als die PG uit de OSD gehaald wordt start de OSD wel. Er wordt nu onderzocht of dit voor alle crashende OSD's geldt en hoe de geïsoleerde PG alsnog toegevoegd kan worden aan een OSD. Als data op de storage wordt geplaatst, worden objecten gemapped naar PG's. PG's op hun beurt worden weer naar OSD's gemapped.

EN: Some of the placement groups (PG) are causing issues and this resulting in crashing OSD's. When those PG's get extracted from the OSD, the OSD does start. Ongoing investigation should point out whether all crashing OSD's are the result of these problematic PG's. Furthermore it will be investigated if the isolated PG's can be added later on to an OSD. When placing data in the cluster, objects are mapped into PGs, and those PGs are mapped onto OSDs.

Identified

2 months ago —

NL: Het herstarten van de OSD's heeft geen effect gehad, deze blijven crashen. Er wordt met externe experts verder gezocht naar een oorzaak en oplossing.

EN: Restarting all OSD's has not helped, the crashes continue. Together with a team of external experts continue to search for a cause and resolution.

Identified

2 months ago —

NL: Alle OSD's zullen een restart krijgen in een poging om meer OSD's beschikbaar te krijgen.

EN: All OSD's will be restarted in an attempt to get more OSD's available.

Identified

2 months ago —

NL: De Ceph monitoring daemons op alle Ceph monitoring servers zijn herstart. Er wordt daarna gepoogd de OSD's weer beschikbaar te maken.

EN: The Ceph monitoring daemons have been restarted. After that an attempt will be made to get the OSD's available again.

Identified

2 months ago —

NL: Een enkele OSD is weer beschikbaar gekomen, maar de rest van de OSD's niet. Middels debugging tools wordt verder uitgezocht wat het probleem veroorzaakt. Een OSD is de object storage daemon voor het gedistribueerde Ceph file systeem. Een OSD is verantwoordelijk voor het opslaan van objecten op een lokaal file systeem en geeft over het netwerk toegang tot de objecten.

EN: A single OSD is available again, but the other OSD's are not. Debugging tools are deployed to investigate the incident further. An OSD is the object storage daemon for the Ceph distributed file system. It is responsible for storing objects on a local file system and providing access to them over the network.

Identified

2 months ago —

NL: Onze eigen engineers en de externe Ceph specialisten zijn mogelijke oorzaken voor de verstoring aan het uitsluiten. Het is nog niet duidelijk wat de oorzaak wel is.

EN: Our own engineers with the external Ceph specialists are ruling out possible causes. It is still unclear what is causing the disruption.

Identified

2 months ago —

NL: Met de ingeschakelde externe specialisten worden de Ceph logfiles geanalyseerd. Zodra bekend is wat de conclusies van die analyse zijn, wordt de incidentmelding bijgewerkt.

EN: Together with the external specialists the Ceph log files are being analysed. As soon as more infomation from the investigation is available the incident notice will be updated.

Identified

2 months ago —

NL: OSD's in alle drie de failure domains zijn gecrasht en blijven crashen bij restarts. Het is nog niet duidelijk waar dit door veroorzaakt wordt. Externe expertise wordt hiervoor nu ingeschakeld.

EN: OSD's in all three failure domains have crashed en continue to crash when restarting. It is still unclear why this happens. External expertise is being contacted.

Identified

2 months ago —

NL: Alle diensten van BIT die gebruik maken van shared Ceph storage zijn getroffen door dit incident. Engineers van BIT onderzoeken de oorzaak van de verstoring.

EN: All BIT services depending on Ceph storage are affected by this incident. BIT engineers are pinpointing the cause of the outage.

2 years ago —

NL: Shared Ceph storage is onbeschikbaar. Diverse diensten maken gebruik van deze storage, waaronder virtuele machines en virtuele datacenters. Zie de laatste updates hier direct onder.

EN: Shared Ceph storage is unavailable. Multiple services rely on this storage, among them virtual machines and virtuale datacenters. Please find the last update directly below.

2 years ago —

NL

Om 11.50 uur is de stroomtoevoer vanuit het lichtnet weggevallen. De datacenters draaien sindsdien op de noodstroomvoorzieningen. Omdat bij een ongeplande schakeling naar noodstroom de koelinstallaties tijdelijk uitgaan is de temperatuur op enkele plaatsen in de serverruimtes enkele minuten enkele graden verhoogd geweest. De stijging van temperatuur is beperkt en binnen SLA limieten gebleven. De apparatuur in de datacenters is niet uit geweest.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At 11:50 hrs power from the mains was lost. The datacenters are running on the emergency power supplies since. The cooling equipment loses power for a brief moment in case of an unplanned switch to emergency power. Therefor the temperature at some places in the server rooms increased by some degrees for some minutes. None of the IT equipment in the datacenters has lost power and the temperature increase has remained within SLA limits.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Van 03:46 uur tot 03:51 uur is webmail.bit.nl kort onbereikbaar geweest. De storing is veroorzaakt door een misconfiguratie. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

From 03:46 hrs until 03:51 hrs webmail.bit.nl was briefly unavailable. The interruption was caused by a misconfiguration. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Er was zojuist een netwerkonderbreking op leaf-sw5.bit-2a. De precieze impact is nog in onderzoek. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 01-03-2023, 16.30
Het probleem is ontstaan tijdens een debugsessie waardoor een linecard in leaf-sw5.bit-2a zichzelf resette. Dit had een korte onderbreking van ongeveer 5 minuten tot gevolg voor de klanten aangesloten op deze leaf switch en mogelijk een kortere onderbreking van sommige klanten die gerouteerd werden via jun1.bit-2a.
Update geplaatst op 01-03-2023, 17.27
Er zijn nog een klein aantal klanten die problemen ondervinden. Dit probleem is nog in onderzoek.
Update geplaatst op 01-03-2023, 18:15
Vanwege de aanhoudende problemen voor een aantal klanten zullen wij leaf-sw5.bit-2a volledig herstarten. De verwachting is dat na deze volledige herstart de routering naar behoren zal functioneren. Voorbereidingen voor deze herstart zijn nu gaande.
Update geplaatst op 01-03-2023, 18.52
De reboot van de switch heeft de problemen voor de beperkte set aan klanten die nog overlast ervaarden opgelost. De crash van vanmiddag had de switch met inconsistente routing en forwarding tabellen achter gelaten. Er zijn logs verzameld waarmee een case over de crash en de gevolgen ervan bij de vendor wordt aangemaakt.
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

There was a network interruption on leaf-sw5.bit-2a. The precise impact is under investigation.. Follow the incident on our website for updates concerning this incident.


Update placed at 01/03/2023, 16:30
The problem arised during a debug session, which triggered in a linecard in leaf-sw5.bit-2a te reset itself. This resulted in a short interruption of around 5 minutes for clients connected on this leaf switch and possibly a shorter interruption for some clients routed via jun1.bit-2a.
Update placed at 01/03/2023, 17:27
A small amount of clients is still experiencing problem. This problem is still being investigated.
Update placed at 01/03/2023, 18:15
Due to ongoing issues for several customers we will perform a full reboot of leaf-sw5.bit-2a. We expect the routing to be fully restored after this reboot. Preperations for this reboot are already underway.
Update placed at 01/03/2023, 18:55
Rebooting the switch solved the issues for the limited amount of customers that continued to have problems. The switch was left with inconsisted routing and forwarding tables after the crash this afternoon. Logs have been collected and we will file a support case regarding the crash and the consequences at the vendor.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Door een storing in ons opslagplatform gisteravond is de index van een aantal e-mailboxen gecorrumpeerd. Hierdoor kan het zijn dat uw e-mail niet zichtbaar is na het inloggen. We werken momenteel aan een oplossing om de index van alle e-mailopslag te herstellen.


Update geplaatst op 22-02-2023, 11.05
Er is een oplossing geimplementeerd om de index bij te werken en alle e-mail boxen zouden weer normaal moeten functioneren.
Update geplaatst op 22-02-2023, 12.05
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Due to a malfunction on our storage platform last night, the index of a number of email boxes has been corrupted. This may result in your email not being visible after logging in. We are currently working on a solution to restore all email indexes to their proper working order.


Update placed at 22/02/2023, 11:05
A solution has been implemented to fix the indexes and all email boxes should start to function normally again.
Update placed at 22/02/2023, 12:05
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Als gevolg van een verstoring op ons CephFS cluster is de IMAP email dienst verstoord. CephFS staat het verwijderen van bestanden niet meer toe. Als gevolg hiervan worden nieuwe emails niet getoond in mailclients en kunnen emails niet verwijderd worden. Nieuwe emails worden wel ontvangen. Omdat de verstoring CephFS gerelateerd is, is er mogelijk meer impact op diensten dan nu bekend is. Engineers hebben het probleem in onderzoek en zodra er meer bekend is wordt dit incident geüpdatet.


Update geplaatst om 21.45
Een oplossing voor het probleem lijkt gevonden en wordt momenteel uitgerold over het cluster.
Update geplaatst om 22.03
De wijziging heeft inderdaad de verstoring opgelost. Het aantal 'stray entries' op het cluster liep snel op en raakte een ingestelde limiet. Strays zijn verwijzingen naar bestanden die verwijderd zijn en bestanden die nog verwijderd moeten worden. Het hoog oplopen van die strays houdt verband met migratie van een groot aantal files het cluster in.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

An issue on our CephFS cluster impacts the IMAP email services. CephFS does not allow the removal op files. As a result new emails might not show up in mailclients and emails cannot be deleted. New emails are received though. Because the incident is CephFS related more impact on other services might be possible. Engineers are investigating the incident and this notice will be updated as soon as more info becomes available.


Update placed at 21:45
The problem is identified and a possible solution is being deployed at the moment.
Update placed at 22:10
The deployed change has resolved the incident. The number of 'stray entries' on the cluster was growing very fast and hitted a set limit. Strays are pointer to files that have been deleted or files that will be deleted. The increase of strays was caused by a migration of a large number of files into the cluster.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Als gevolg van een verstoring in het netwerk naar een hypervisor zijn een aantal virtual machines onbeschikbaar geworden. Engineers onderzoeken het probleem en zullen de VM's naar andere hypervisors verhuizen of de verstoring verhelpen. De incidentmelding zal geüpdatet worden zodra er meer informatie beschikbaar komt.


Update geplaatst om 16.14 uur
De getroffen virtual machines zijn weer beschikbaar nadat ze verhuisd zijn naar een andere hypervisor.
Update geplaatst om 16.40 uur
Op de getroffen hypervisor werd om 15.50 uur een standaard tcpdump commando uitgevoerd om een forwardingsvraagstuk te debuggen. Om vooralsnog onduidelijke redenen veroorzaakte het stoppen van de dump een kernel lock. Er zal in een labomgeving verder uitgezocht worden of de crash gereproduceerd kan worden zodat de bug verder onderzocht kan worden.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

As a result of a network failure to one of our hypervisors a number of virtual machines have become unavailable. Engineers are working on the issue. They will either move the virtual machines to a different hypervisor or fix the networking issue. This incident will get updated the moment more information come available.


Update placed at 16:16hrs
The virtual machines that were hit by this incident have been made available on a different hypervisor.
Update placed at 16:50hrs
On the problematic hypervisor a default tcpdump command was issued at 15:50hrs. This command was issued to debug a forwarding question. For reasons unknown at this moment aborting the tcpdump caused a kernel lock. We will debug this further on in our lab and try to replicate the bug. Op de getroffen hypervisor werd om 15.50 uur een standaard tcpdump commando uitgevoerd om een forwardingsvraagstuk te debuggen. Om vooralsnog onduidelijke redenen veroorzaakte het stoppen van de dump een kernel lock. Er zal in een labomgeving verder uitgezocht worden of de crash gereproduceerd kan worden zodat de bug verder onderzocht kan worden.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Door een configuratiefout zijn er vannacht geen backups gemaakt door onze netwerkbackupoplossing. De configuratiefout is hersteld en er zijn maatregelen genomen om zulke fouten in de toekomst te voorkomen. De niet-gemaakte backups zullen vandaag alsnog worden gestart.

Het incident is inmiddels opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

By means of a configuration error, networked backups haven't run. The configuration error has been fixed and measures have been taken to prevent such errors in the future. Networked backups that haven't run, will be started manually.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Zojuist zijn de servers mysql8.bit.nl en memcached.bit.nl kortstondig onbereikbaar geweest van 08:27 tot 08:37. Deze virtual machines zijn tijdens het migreren naar een andere hypervisor onverwacht gecrashed.

Het incident is inmiddels opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

The servers mysql8.bit.nl and memcached.bit.nl were unreachable from 08:27 till 08:37. These virtual machines have suddenly crashed during a live migrate to a new hypervisor.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Omstreeks 22:25 heeft zich een incident plaatsgevonden aan de BIT NL Cloud waardoor het momenteel niet mogelijk is om virtuele machines in te stellen, starten of te stoppen. Draaiende virtuele machines ondervinden hier geen hinder door. Engineers van BIT zijn druk bezig om dit zo spoedig mogelijk te herstellen. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 10-12-2022, 23.10
Het probleem is herleid naar een Out Of Memory situatie waardoor de samenwerking tussen diverse componenten van slag is geraakt. Een en ander is herstart en werkt weer naar behoren.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Around 22:25, a incident occurred that prevents users currently from starting, stopping and creating/configuring virtual machines on the BIT NL Cloud. Virtual machines that are currently running are not impacted by this. Engineers are currently working hard to solve this issue.

Follow the incident on our website for updates concerning this incident.


Update placed at 10/12/2022, 23:10
The problem was found to be an Out of Memory situation, causing certain components of the system to lose track of who's doing what. And why. Services have been restarted and are behaving normal again.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Tussen 16.25 en 16.26 ondervonden wij een verstoring op ons http-linux(two) platform, daardoor konden sites niet werkzaam zijn of traag reageren. Dit probleem is onderzoek door onze engineers. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 09-12-2022, 18.00
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Between 16:25 and 16:26 we experienced a disruption on our http-linux(two) platform, this could have caused not working or slowly working sites. Our engineers are looking into this problem. Follow the incident on our website for updates concerning this incident.


Update placed at 09/12/2022, 18:00
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Op dit moment ondervinden wij een verstoring op ons http-linux platform, daardoor kunnen sites niet werkzaam zijn of traag reageren. Dit probleem is onderzoek door onze engineers.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 29-11-2022, 10.27
Engineers hebben de achterliggend nodes met een eerdere kernel geboot, het probleem lijkt hiermee weer verdwenen. Dit probleem wordt nog verder onderzocht door onze engineers.
Update geplaatst op 29-11-2022, 11.09
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

At this moment we experience a disruption on our http-linux platform, this can cause not working or slowly working sites. Our engineers are looking into this problem.

Follow the incident on our website for updates concerning this incident.


Update placed at 29/11/2022, 10:27
Engineers have booted the nodes behind with a previous kernel, the problem seems to be gone with this change. Our engineers are looking further into this problem.
Update placed at 29/11/2022, 11:09
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

We zijn bezig met het oplossen van een verstoring in het beheersysteem voor virtuele machines in de BIT NL Cloud. Draaiende virtuele machines ondervinden geen hinder van deze verstoring maar het starten, stoppen en instellen van virtuele machines in de BIT NL Cloud kan hier wel overlast door ervaren. Engineers van BIT doen hun best dit zo spoedig mogelijk te herstellen.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 17-11-2022, 14:22
Het probleem is herleid naar een Out Of Memory situatie waardoor de samenwerking tussen diverse componenten van slag is geraakt. Een en ander is herstart en werkt weer naar behoren.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

We're currently experiencing some trouble in the virtual machine management layer of our BIT NL Cloud. Running virtual machines are not impacted but customers wishing to start, stop or otherwise configure virtual machines in the BIT NL Cloud may experience trouble. BIT Engineers are working hard to solve the issue!

Follow the incident on our website for updates concerning this incident.


Update placed at 17/11/2022, 14:26
The problem was found to be an Out of Memory situation, causing certain components of the system to lose track of who's doing what. And why. Services have been restarted and are behaving normal again.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Op dit moment ondervinden wij een storing aan een van de backupservers. Hierdoor zijn sommige mounts naar backups op dit moment niet beschikbaar. Engineers van BIT zijn bezig om het probleem te verhelpen. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 19-10-2022, 13.56
De getroffen machine zal herstart worden, daardoor zullen alle mounts naar backups vanaf klant machines niet meer beschikbaar zijn.
Update geplaatst op 19-10-2022, 15.00
Het probleem is nog niet verholpen na de reboots. Het probleem is nog in onderzoek en engineers werken aan een oplossing.
Update geplaatst op 19-10-2022, 15.07
De zpool is weer beschikbaar. Mounts op klantmachines naar backups worden hersteld door engineers.
Update geplaatst op 19-10-2022, 15.30
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

At this moment we have an interruption on one of our backup servers. This results in that some mounts to backups are not available at this moment. Engineers from BIT are working to fix this problem. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update placed at 19/10/2022, 13:56
The affected machine will be restarted, because of this all mounts to backups from client machines will no longer be available.
Update placed at 19/10/2022, 15:00
The issue has not been resolved after the reboots. We are still investigating the problem and engineers are working on a solution.
Update placed at 19/10/2022, 15:07
The zpool is available again. Mounts on client machines to backups will be remounted by engineers.
Update placed at 19/10/2022, 15:30
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Rond 13.30 uur is er een verstoring in ons netwerk ontstaan. Impact en oorzaak zijn nog in onderzoek.


Update geplaatst op 26-08-2022, 13.55u
Engineers van BIT detecteren een loop die vanuit een klantnetwerk ontstond en voeren corrigerende maatregelen uit, waarna het netwerk stabiliseerd. De loop zorgde ervoor dat een tweetal verbindingen naar de core routers waarover verkeer van een beperkt deel van de diensten van BIT (klanten-netwerken en virtual machines) getransporteerd wordt overbelast werden. Deze diensten waren hierdoor verminderd bereikbaar. Aanvullend onderzoek wordt uitgevoerd om te bepalen waarom maatregelen om loops te voorkomen niet afdoende gewerkt hebben. De poorten van de klant waarop de loop ontstond blijven tot dit helder is uitgeschakeld.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 13:30 hrs parts of our network were interrupted. Impact and cause are still under investigation.


Update placed at 26/08/2022, 14:00h

BIT Engineers detect a loop originating from a customer network and take measures, the network stabalises as a result. The loop caused two connections to core routers which transport traffic for a limited number of servers (a few customer networks and virtual machines) to be saturated. As a result, availability of these services was reduced.
Additional investigations will be done to determine why safeguards against loops were not fully effective. The customer ports on which the loop originated will remain shut until this research has been completed.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Eén van de hypervisors is rond 0.44 uur gecrashed. Als gevolg hiervan zijn op servers van klanten de mounts naar de back-ups niet beschikbaar. Verder zorgt de crash voor verminderde redundantie van diverse platformen. Engineers zijn aan het werk om de oorzaak van de crash te achterhalen en om diensten weer beschikbaar te maken.


Update geplaatst om 1.42 uur
Vanwege de hangende mounts naar de back-ups zijn en worden diverse servers herstart. De overige dienstverlening is hersteld en in sommige gevallen enkele minuten onderbroken geweest.
Update geplaatst om 1.57 uur
De dienstverlening is hersteld. Er wordt nog nader onderzoek gedaan naar wat de crash van de hypervisor heeft veroorzaakt.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

One of the hypervisors has crashed at around 0:44 hrs. This has resulted in unavailability on customer servers of the back-ups. The crash has caused limited redundancy of several platforms. Engineers are investigating the cause of the crash and they are working to bring the services fully back online.


Update placed at 1:45 hrs
Because of failing mounts to the back-ups multiple servers have and are being rebooted. The rest of the services have been restored. Some services were unavailable for several minutes.
Update placed at 2:00 hrs
All services have been restored. We will further investigate what caused the hypervisor to fail.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Het incident eerder vandaag heeft tot een misconfiguratie in het netwerk geleid. Alhoewel dit niet problematisch was, was het wel ongewenst. In een poging de misconfiguratie te repareren werden de virtual machines met een IPv4 adres in 212.114.113.0/24 onbereikbaar, voor maximaal een aantal minuten. Dit gevolg was onverwacht. Dit incident startte om 17.47 uur.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

The incident earlier today led to a misconfiguration in our network. Though not very problematic, it was still undesirable. In an attempt to fix this misconfiguration the network, for virtual machines with an IPv4 address in 212.114.113.0/24, became unavailable for a few minutes maximum. Unfortunately this result was not expected while trying to fix the misconfiguration. Any impact for virtual machines started at 17:47 hrs.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Vanaf 13.28 uur is er een storing ontstaan in een beperkt deel van ons netwerk dat gebruikt wordt voor VM's. De oorzaak van de storing is in onderzoek. Zodra er meer bekend is melden we dat op onze site.



Update geplaatst op 09-08-2022, 13.52.MM
Het probleem is herleid naar VM's van een klant, deze zijn geisoleerd en wij zien dat netwerkverkeer van de andere VM's weer werkzaam is. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

From 13:28 hrs a interruption occured in a part of our network that is used for VM's.
Engineers are currently investigating the issues. Follow the incident on our website for updates concerning this incident.


Update placed at 09/08/2022, 13:52
The problem is traced to VM's of a customer, these VM's are isolated and we see that networktraffic for other VM's is working again. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Van 9.49 uur tot 9.53 uur is er een korte verstoring in een deel van ons netwerk geweest. De storing is veroorzaakt door een misconfiguratie. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

From 9:49 hrs until 9:53 hrs a part of our network was briefly interrupted. The interruption was caused by a misconfiguration. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

2 years ago —

NL

Omstreeks 11.48 uur is een verstoring aan de back-upserver backup.bit.nl opgetreden. De backup server is herstart. Het probleem is in onderzoek. Klanten die backup van BIT afnemen ondervinden hier mogelijk hinder van.
Indien uw server een NFS-mount heeft naar deze back-up server, kan het zijn dat deze NFS-mount opnieuw moet worden opgezet. In vrijwel alle gevallen komt dit vanzelf goed.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

Around 11:48 we started experiencing problems on the backupserver backup.bit.nl. The server has been restarted. After the restart all services have been restored. Engineers from BIT are investigating this issue.

If your server has a NFS mount to the backupserver it is possible this needs to be reconnected. In most cases this will happen automatically.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Op een aantal plaatsen in serverruimte BIT-2A liep de temperatuur vanaf 11:56 licht op. De temperatuur is inmiddels weer binnen de te verwachten waardes. Datacenter engineers hebben het probleem in onderzoek. Zodra hier meer over bekend is melden we dat op onze site.


Update geplaatst op 28-04-2022, 14.45
Monteurs waren vanochtend ter plaatse om controles uit te voeren aan kleppen van het koelcircuit van BIT-2A. Hierbij is het gedrag van de ene klep vergeleken met het gedrag van de andere klep, daarbij is de klep waarmee vergeleken is niet meer in de juiste stand teruggekomen. Dat had weer tot gevolg dat er een kortere weg was voor het gekoelde water en daardoor niet nuttig ingezet kon worden voor de koeling van BIT-2A. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

In some places in the BIT-2A server room, the temperature rose slightly from 11:56 onwards. The temperature is now back within the expected values. Data center engineers are investigating the problem. As soon as we know more, we will report it on our site.


Update placed at 28/04/2022, 14:45
Engineers were on site this morning to perform checks on valves in the cooling circuit of BIT-2A. The behavior of one valve was compared with the behavior of the other valve, whereby one of these no longer returned to the correct position. This in turn caused a shorter pathway for the cooled water and therefore this water could not be used effectively for cooling BIT-2A.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Rond 14.45 uur is er een storing in het BIT netwerk ontstaan waar diverse klanten last van hebben. De oorzaak van de storing is in onderzoek. Zodra er meer bekend is melden we dat op onze site.


Update geplaatst om 17.01
Kort na het plaatsen van de storingsmelding op www.bit.nl werd ook www.bit.nl onbereikbaar. De storingsmelding is daarom (ook) op www.bit.org geplaatst. Updates over het incident kunt u daar terugvinden.
Update geplaatst om 17.47
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.
Update geplaatst op 19-04-2022
De RFO van het incident is hier beschikbaar.


EN

At around 14:45 hrs parts of the BIT network became unavailable. Multiple customers are affected. The incident is under investigation.


Update placed at 17:03
Shortly after reporting the incident on www.bit.nl, the website became unavailable. Therefor the incident was also reported on www.bit.org. Updates on the incident can be read there.
Update placed at 17:44
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.
Update placed on 19/04/2022
The RFO of the incident can be found here.

Fixed

2 months ago —

[NL] De RFO van het incident is hier te vinden: https://www.bit.nl/uploads/images/PDF-Files/RFO-20220417-179579.pdf

[EN] The RFO of the incident can be found here: https://www.bit.nl/uploads/images/PDF-Files/RFO-EN-2022.04.17-179579.pdf

Fixed

2 months ago —

[NL] Alle componenten behalve één zijn weer ingeschakeld. De component die nog uitgeschakeld is, is de oorzaak van het incident. Eén klant wordt geraakt door het uitgeschakeld houden van het component. Komende dagen zal er gewerkt worden aan een Reason For Outage (RFO). Wij verwachten de RFO komende dinsdag te publiceren op www.bit.nl. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

[EN] All components but one have been enabled. The still shut down component has caused the incident. One customer is affected by keeping this component shut down. Coming days we will work on a Reason For Outage (RFO). We expect to publish the RFO coming Tuesday on www.bit.nl. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

Identified

2 months ago —

[NL] De oorzaak van het incident is geïdentificeerd. Enkele van de uitgeschakelde componenten worden weer ingeschakeld. Het is niet uit te sluiten dat dit tot kortstondige onderbrekingen leidt.

[EN] The cause of the incident has been identified. Some of the components that have been disabled will be re-enabled. That might cause some temporary disturbances.

Identified

2 months ago —

[NL] Het uitzetten van enkele componenten heeft de meeste, zo niet alle, overlast weggenomen. Er zijn aanwijzingen wat het incident veroorzaakt. Nader onderzoek daarnaar wordt uitgevoerd.

[EN] Disabling some components has reduced most if not all of the disturbances. There is an idea what has been causing the incident. This will be investigated furthermore.

Investigating

2 months ago —

[NL] Er worden componenten uitgeschakeld om de oorzaak van de storing te pinpointen.

[EN] Components are being switched off in order to pinpoint the cause of the incident.

Investigating

2 months ago —

[NL] Er wordt nog onderzoek gedaan naar wat de storing veroorzaakt.

[EN] Investigation is still in progress.

3 years ago —

[NL] Rond 14.45 uur is een deel van ons netwerk onbereikbaar geworden. Diverse klanten hebben hier last van. De storing is in onderzoek.

[EN] At around 14:45 hrs parts of our network became unavailable. Multiple customers are affected. The incident is under investigation.

3 years ago —

NL

Rond 14.50 zagen wij vertraging ontstaan op sites die gebruikmaken van ons http-linux platform, door hoge load op sommige van de webservers achter dat plaform. Inmiddels is de load van het platform weer normaal. Dit probleem is nog in onderzoek. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 05-04-2022, 15.40
Wij zien het platform al enige tijd weer naar behoren werken. Sommige webservers hadden hangende processen. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Around 14:50 we noticed slowness on sites using our http-linux platform, because of high load on some of the webservers behind that platform. At this moment the load of the platform is normal again. We are still investigating this problem.

Follow the incident on our website for updates concerning this incident.


Update placed at 05/04/2022, 15:40
We see our http-linux platform working as it should. Some webservers had hanging processes. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Tussen 16.53 en 17.10 uur is er storing geweest op het shared Linux hosting platform waardoor websites gehost op dat platform verminderd beschikbaar waren. Inmiddels is de storing verholpen en is het platform weer beschikbaar.


EN

Between 16.54h and 17.10h we experienced an outage on the shared Linux hosting platform. As a result, websites hosted on that platform were unavailable for some time. The problem has been resolved and websites are now available again.

3 years ago —

NL

Het reguliere stroomnet in Ede is uitgevallen. De datacenters draaien op noodstroomvoorziening. Na de schakeling naar de noodstroomvoorziening is gebleken dat een aantal downflowunits in BIT-2A niet goed draait. Medewerkers hebben dit in onderzoek. Als gevolg van deze storing loopt de temperatuur in BIT-2A beperkt op.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst om 11.08
Na het wegvallen van netspanning schakelen alle systemen automatisch naar aggregaatspanning. Eén van de drie velden schakelde echter niet correct waardoor één derde van de downflowunits niet gevoed werd. Nadat er handmatig geschakeld werd, waren alle downflowunits weer in bedrijf en liep de temperatuur weer terug. De netspanning viel rond 10.25 uur weg, rond 10.42 uur is er handmatig geschakeld. De leverancier is ingeschakeld om op locatie de onjuiste schakeling verder te onderzoeken.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

The powergrid in Ede has failed. As a result the datacenters run on emergency power. After the failover to emergency power some of the down flow units in BIT-2A did not start up correctly. This resulted in a limited temperature increse in BIT-2A. BIT engineers are investigating the incident.

Follow the incident on our website for updates concerning this incident.


Update placed at 11:16
In case losing the powergrid, all systems should automatically switch to emergency power. One of three fields did not switch correctly, which resulted in unavailability of one third of the down flow units. After manually overriding all down flow units were active and temperature in BIT-2A dropped. The powergrid was lost at 10:25 hrs and at 10:42 hrs the manual switch was made. The supplier has been requested to investigate the cause of the failing automated switch.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Tussen 14:39 en 14:46 is er een verstoring geweest op ons shared hosting platform, dit kwam doordat er geen verbinding kon worden gemaakt met de onderliggende storage laag. De reden waarom er geen verbinding meer kon worden gemaakt is nog in onderzoek. De shared hosting omgeving is inmiddels wel weer operationeel.

Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Between 14:39 and 14:46 there was a disruption on our shared hosting platform, because a connection to the storage could not be established.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Om 11.42 uur is er een DDoS-aanval gestart naar een klant van BIT. Deze aanval is met succes na ongeveer een minuut gemitigeerd, maar zal tot enige overlast voor andere klanten hebben gezorgd.


Update geplaatst op 29-12-2021, 14.00
De gezette more-specific route werd niet door alle partijen opgepikt waardoor een deel van het verkeer niet gemitigeerd werd. Inmiddels is dit wel het geval.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.

EN

At 11:42 hrs a DDoS attack was started against a customer. This attack was succesfully mitigated after a minute, but it will have caused some disturbance for some customers.


Update placed at 29/12/2021, 14:00
The placed more-specific routes were not picked up by all parties, which resulted in that a part of the traffic did not get mitigated. At this moment that traffic is also mitigated.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Omstreeks 13.49 uur heeft zich een storing voorgedaan in het netwerk, inmiddels zien wij geen problemen meer.

Onze engineers hebben het probleem in onderzoek.


Update geplaatst op 28-12-2021, 14.58
Er is een bottleneck aan het licht gekomen op jun1.bit-2a tijdens een specifieke actie binnen ons eigen netwerk. Uiteraard voeren we deze specifieke actie niet uit tot we deze bottleneck opgelost hebben. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Around 13:49 hrs a network disturbance was detected, at this moment we do not see disturbance anymore.
Engineers are currently investigating the issues.


Update placed at 28/12/2021, 14:58
We have found a bottleneck on jun1.bit-2a during a specific action within our own network. Ofcourse we will not repeat this specific action until we have resolved this bottleneck. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Door een mislukte deploy zijn op dit moment de BIT Portal en ticket systemen onbeschikbaar. Engineers van BIT zijn op de hoogte en werken aan het herstellen van deze dienstverlening.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 09-12-2021, 20.45u
De oorzaak van de verstoring was een probleem in een update van de portal software. Dit probleem is rond 20.20 uur verholpen, de BIT Portal is weer operationeel.


EN

Due to a failed deployment, the BIT Portal and ticketing system are unavailable. Engineers are working to restore the service.

Follow the incident on our website for updates concerning this incident.


Update placed at 09/12/2021, 20.50h
The problem has been resolved at ~20.20h. The BIT Portal is now operational.

3 years ago —

NL

Op dit moment ondervinden we diverse DDoS aanvallen op de infrastructuur van BIT en naar hosts van klanten van BIT. We trachten de aanvallen af te slaan door de IP blokken waar die aangevallen hosts in zitten om te leiden via een anti-DDoS dienst. Dit alles zorgt voor overlast in de rest van het netwerk, er kan dus hinder door worden ondervonden.



Update geplaatst op 8-12-2021, 16.20
Het incident is ondertussen opgelost, de aanval is gemitigeerd. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

We are currently experiencing DDoS attacks on BIT's infrastructure and on hosts of BIT's customers. We try to fend off the attacks by redirecting the IP blocks containing the targeted hosts via an anti-DDoS service. All this causes disruptions in the rest of the network, which can be noticable for other customers.



Update placed on 8-12-2021, 16.20
The incident has since been resolved, the attack has been mitigated. If you have any questions about this incident, please contact the Customer Care department on 0318 648 688 or via support@bit.nl.

3 years ago —

NL

Tussen 23:00 en 23:35 uur vandaag zijn er diverse DDoS aanvallen op de infrastructuur van BIT geplaatst. In eerste instantie gingen die aanvallen naar hosts van klanten van BIT. Later ook naar hosts van BIT. Beide aanvallen zijn afgeslagen door de IP blokken waar die aangevallen hosts in zitten om te leiden via een anti-DDoS dienst. De aanvallen zorgden vier keer voor ongeveer een minuut voor overlast in de rest van het netwerk, namelijk in de periode tussen start aanval en het moment dat de omleiding van verkeer door de rest van het internet gezien wordt.


Update geplaatst op 07-12-2021, 00.13
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Between 23:00h and 23:35h today, DDoS attacks were started against customers infrastructure. All attacks have been successfully mitigated after a minute, but they might have caused some disturbance for other customers.


Update placed at 07/12/2021, 00:13
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

3 years ago —
Fixed
3 years ago —

NL

Om +/- 0.50 is er een storing opgetreden met de interconnectie tussen BIT en Vodafone, waardoor gebruikers van het BIT APN op dit moment geen werkende internetverbinding hebben. De oorzaak is momenteel in onderzoek.


Update geplaatst op 23-11-2021, 01.59 uur

Om 1.46 uur is de interconnectie tussen BIT en Vodafone weer online gekomen en operationeel. Waardoor de interconnectie offline is gegaan zullen we verder laten onderzoeken door Vodafone.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 0.50h a problem started with the interconncetion between BIT and Vodafone. As a result customers using the BIT APN do not have working internet connections. We are investigating the cause of the problem.

Update placed at 23/11/2021, 01.59

At 1.46 uur the interconnection between BIT and Vodafone came back online and is now operational. Why the interconnect went down will be further investigated by Vodafone.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Rond 21:00 uur vandaag zijn er diverse DDoS aanvallen op de infrastructuur van BIT geplaatst. Deze aanvallen waren gericht naar hosts van klanten van BIT.   Beide aanvallen zijn afgeslagen door de IP blokken waar die aangevallen hosts in zitten om te leiden via een anti-DDoS dienst. De aanvallen zorgden een keer voor ongeveer een minuut voor overlast in de rest van het netwerk, namelijk in de periode tussen start aanval en het moment dat de omleiding van verkeer door de rest van het internet gezien wordt.



Update geplaatst op 19-11-2021, 21.16
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

Around 21:00 DDoS attacks were started against customers infrastructure. Both attacks have been succesfully mitigated after a minute, but they might have caused some disturbance for other customers.



Update placed at 19/11/2021, 21:14
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Als gevolg van een storing aan één van de core switches zijn VLAN's tussen Ede en Amsterdam sinds 00.20 uur niet meer beschikbaar. Engineers doen onderzoek naar oorzaak van de storing.


Update geplaatst op 11-11-2021, 1.28u
Uit logs is onduidelijk waarom de switch niet goed functioneerde. Uiteindelijk is de switch om 1.19u gereboot, om 1.21u was deze weer operationeel en functioneerde de switch weer als normaal. Engineers zullen de switch nog enige tijd extra monitoren.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

One of the core switches shows a defect since 00:20 hrs. As a result VLAN's between Ede and Amsterdam are not available. Engineers are investigating the incident.


Update placed at 11/11/2021, 1.32h
Logs show no indication of the cause of the problems, engineers decided to reboot the switch at 1.19h. The switch was booted successfully at 1.21h with all services operational again. Engineers for continue to monitor the switch for a period of time.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Rond 15:00 uur vandaag zijn er diverse DDoS aanvallen op de infrastructuur van BIT geplaatst. In eerste instantie gingen die aanvallen naar hosts van klanten van BIT. Later ook naar hosts van BIT.  Beide aanvallen zijn afgeslagen door de IP blokken waar die aangevallen hosts in zitten om te leiden via een anti-DDoS dienst. De aanvallen zorgden twee keer voor ongeveer een minuut voor overlast in de rest van het netwerk, namelijk in de periode tussen start aanval en het moment dat de omleiding van verkeer door de rest van het internet gezien wordt.


Update geplaatst op 01-11-2021, 15.53
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 15:00 DDoS attacks were started against two different customers and BIT infrastructure. All attacks have been succesfully mitigated after a minute, but they might have caused some disturbance for other customers.

<hr /><em>Update placed at 01/11/2021, 15:57</em><br />

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Als gevolg van een buitensporige piek in het aantal DNS requests zijn onze autoratieve nameservers verminderd beschikbaar. Er worden maatregelen genomen om de overlast te beperken.


Update geplaatst om 7.46 uur
De genomen maatregelen hebben effect. Tussen 7.14 uur en 7.30 uur is de dienst minder goed beschikbaar geweest.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

A sudden, high increase of the amount of DNS requests is causing our authorative nameservers to be limited available. Engineers are working on mitigation.


Update placed at 7:49 hrs
The mitigating measures prove to be successful. The DNS service was partly unavailable between 7:14 hrs en 7:30 hrs.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Als gevolg van een buitensporige piek in het aantal DNS requests zijn onze autoratieve nameservers verminderd beschikbaar. Er worden maatregelen genomen om de overlast te beperken.


Update geplaatst om 10.04 uur
Een aantal mitigerende maatregelen zijn genomen die de load weliswaar flink hebben doen laten afnemen maar nog niet voldoende om alle overlast weg te nemen. Andere mogelijke maatregelen zijn in onderzoek.
Update geplaatst om 10.23 uur
Diverse aanpassingen hebben tot veel minder overlast geleid. Daarnaast is het aantal requests dat binnenkomt ook sterk afgenomen. Er is geen overlast meer.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

A sudden, high increase of the amount of DNS requests is causing our authorative nameservers to be limited available. Engineers are working on mitigation.


Update placed at 10:05 hrs
Some counter measures are in place, this has heavily reduced the load on the machines. Unfortunately some nuisance remains. Other mitigating options are under investigation.
Update placed at 10:27 hrs
Our measures are in place and show their effect. At the same time the amount of incoming requests has dropped dramatically. At the moment there is no more nuisance.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Omstreeks 3.32 uur heeft zich een storing voorgedaan in het netwerk.

Onze engineers hebben het probleem in onderzoek. De problemen lijken zich vooralsnog te bevinden rondom apparatuur in BIT-2D.


Update geplaatst om 5.37 uur
Onze engineers hebben de case met prioriteit bij de vendor van de switches gelegd en zijn nu met hen in overleg.
Update geplaatst om 8.06 uur
De verstoringen op ons netwerk beperkten zich tot één paar leaf switches. Inmiddels is de verstoring geïsoleerd tot één klant. Andere klanten met uplinks op deze switches ondervinden sinds 7.32 uur geen problemen meer.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

Around 3:32 hrs a network disturbance was detected.
Engineers are currently investigating the issues. The problems only seems to be related to equipment in BIT-2D.


Update placed at 5:37 hrs
Our engineers have placed the case with the vendor of the switches as a matter of priority and are now in consultation with them.
Update placed at 08:14 hrs
The disturbances in BIT-2D were limited to one leaf switch pair. At 7:32 hrs we isolated the problems to one customer. Other uplinks on this leaf pair have recovered since then.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Er vindt op dit moment een DDoS plaats gericht op de nameservers van BIT. Hierdoor kunnen er problemen zijn bij het resolven van domeinen via de BIT nameservers.  Onze engineers werken verder aan oplossingen.
Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 14-08-2021, 13.05
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

A DDoS attack is currently taking place on the BIT nameservers. This can cause problems when resolving domains via the BIT nameservers. Our engineers are still working on solutions.

Follow the incident on our website for updates concerning this incident.


Update placed at 14/08/2021, 13:10 hrs
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

3 years ago —
Fixed

Fixed

2 months ago —

NL: Er stond nog één IP blok via de DDoS-filters geroute. Deze routering is rond 10.15 uur ingetrokken. Er zijn nu geen DDoS mitigaties meer actief. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN: The routing of the last IP block that was rerouted through the DDoS filters has been adjusted at approximately 10:15 hrs. No DDoS mitigations are active at this moment. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

Watching

2 months ago —

NL: De omleiding via de DDoS filters blijft voor een aantal IP adressen vooralsnog gehandhaaft. Het omgeleide verkeer wordt correct gefilterd zonder impact op de dienstverlening. Zodra de aanval volledig afgelopen is zal de mitigatie alsnog ingetrokken worden.

EN: We will continue rerouting through the DDoS filters for some IP addresses. The rerouted traffic is correctly filtered and there is no impact for services on these IP addresses. When the attack is done we will stop the mitigation.

Fixed

2 months ago —

NL: De DDoS naar www.bit.org en naar een deel van de eerder aangevallen IP blokken van BIT zelf is voorbij. De reroute voor die blokken is ingetrokken.

EN: The DDoS attack to www.bit.org and to some of the BIT IP blocks that were under attack has finished. Rerouting that traffic has been cancelled.

Identified

2 months ago —

NL: De DDoS heeft zich uitgebreid naar www.bit.org die in een ander netwerk staat. Op https://twitter.com/bitnl worden updates geplaatst.

EN: The DDoS has extended to www.bit.org, which is running in another network. We will place updates at https://twitter.com/bitnl

3 years ago —

NL: Nieuwe DDoS-aanvallen richting het netwerk van BIT zorgen voor verstoringen. Mitigaties worden automatisch en waar nodig met de hand gestart.

EN: New DDoS-attacks to the network of BIT are causing reachability issues. Mitigations are automatically started and by hand where necessary.

3 years ago —

NL

Om 11.37 uur en 11.42 uur zijn er twee DDoS-aanvallen gestart naar klanten van BIT. Beide aanvallen zijn met succes na ongeveer een minuut gemitigeerd, maar hebben mogelijk tot enige overlast voor andere klanten gezorgd.


Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

At 11:37 and 11:42 hrs two DDoS attacks were started against two different customers. Both attacks were succesfully mitigated after a minute, but they might have caused some disturbance for other customers.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Om 05.45 uur is er een korte verstoring geweest op de ringswitch in BIT-1.


Update geplaatst op 19-06-2021, 06.05 uur
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

At 05:45 hrs there was a short disruption on the ring-switch at BIT-1.


Update placed at 19/06/2021, 06:04 hrs
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Om 17.46 uur uur is één van de UPS'en in storing gegaan (Feed B). Engineers van BIT hebben de UPS in bypass gezet. Dit heeft een korte onderbreking in de stroomvoorziening tot gevolg gehad. De leverancier is onderweg om het probleem te onderzoeken. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


Update geplaatst op 18-06-2021, 20.10 uur
De leverancier is onderweg met reserve-onderdelen en zal naar verwachting om 21.30 uur op locatie zijn. Een bypass module zal worden vervangen en controles uitgevoerd.
Update geplaatst op 18-06-2021, 22.30 uur
De bypass module is vervangen. De UPS is getest en werkt weer correct.
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.

EN

At 17:46 hrs one of the two UPS'es (Feed B) started to malfunction. BIT engineers have put the UPS in bypass. This led to a short disruption of the power feed. The provider of the UPS system is underway to investigate the issue.


Update placed at 18/06/2021, 20:13 hrs
The provider of the UPS system is underway with spare parts. Estimated time of arrival is 21.30h. A bypass module will be replaced and checks will be performed.
Update placed at 18/06/2021, 22:27 hrs
The bypass module has been replaced. The UPS has beed tested and functions correctly.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Omstreeks 16.55 uur heeft zich een onderbreking voorgedaan op leaf-sw3.bit-1 en leaf-sw4.bit-1. Onze engineers hebben het probleem in onderzoek.


Update geplaatst op 07-06-2021, 17.22 uur
Door een flinke toename in nieuwe prefixes werd op beide leaf switches de max prefix bescherming getriggerd via EVPN waardoor er geen nieuwe routes meer geleerd werden. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.

EN

Around 16:55 hrs a disruption occured on leaf-sw3.bit-1 and leaf-sw4.bit-1. Engineers of BIT are investigating the cause of this interruption.


Update placed at 07/06/2021, 17:22 hrs
Because of a vast increase in new prefixes on both leaf switches max prefix protection via EVPN was triggered, which resulted in that no new routes where learned.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Omstreeks 06.09 uur heeft een line card op leaf-sw1.bit-2b zichzelf herstart. Klanten met een enkele uplink op deze switch kunnen hierdoor mogelijk een korte onderbreking in het internetverkeer hebben ervaren. Vanaf 06.15 uur was de line card weer volledig operationeel.

Onze engineers hebben de oorzaak verder onder onderzoek. Na de herstart is de line card weer goed online gekomen en is de situatie weer normaal.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

Around 06:09 hrs, a line card on leaf-sw1.bit-2b restarted unexpectedly. Customers with a single uplink on this switch might have noticed a disruption in internet traffic for a brief moment of time. At 06:15 hrs the line card was fully operational again.

Engineers of BIT are investigating the cause.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Omstreeks 05.05 uur heeft zich een onderbreking voorgedaan op leaf-sw6.bit-2a en leaf-sw8.bit-2a. Klanten met een enkele uplink op deze switches kunnen hierdoor mogelijk een korte
onderbreking in het internet verkeer hebben ervaren. Vanaf 05.11 uur waren de poorten weer beschikbaar. Onze engineers hebben de oorzaak verder in onderzoek.


Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl


EN

An interruption has been seen at around 05:05 on leaf-sw6.bit-2a and leaf-sw8.bit-2a. Customers with a single uplink on these switches might have noticed a disruption in internet traffic for a brief moment of time. At 05:11 hrs the uplinks on the switches were fully operational again.

Engineers of BIT are investigating the cause of this interruption.


The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Omstreeks 17.22 uur heeft een line card op leaf-sw6.bit-2a zichzelf herstart. Klanten met een enkele uplink op deze switch kunnen hierdoor mogelijk een korte onderbreking in het internet verkeer hebben ervaren. Vanaf 17.27 uur was de line card weer volledig operationeel.

Na onderzoek door de engineers van BIT blijkt dat de herstart is gekomen omdat de line card een error detecteerde. Na de herstart is de line card weer goed online gekomen en is de situatie weer normaal.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

Around 17:22 hrs, a line card on leaf-sw6.bit-2a restarted unexpectedly. Customers with a single uplink on this switch might have noticed a disruption in internet traffic for a brief moment of time. At 17:27 hrs the line card was fully operational again.

After some investigation by the the engineers of BIT, it turned out the restart of the line card because it detected an error.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

3 years ago —

NL

Omstreeks 08.42 uur heeft een line card op leaf-sw1.bit-2b zichzelf herstart. Klanten met een enkele uplink op deze switch kunnen hierdoor mogelijk een korte onderbreking in het internetverkeer hebben ervaren. Vanaf 08.48 uur was de line card weer volledig operationeel.

Na onderzoek door de engineers van BIT blijkt dat de herstart is gekomen omdat de line card een error detecteerde. Na de herstart is de line card weer goed online gekomen en is de situatie weer normaal.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

Around 08:42, a line card on leaf-sw1.bit-2b restarted unexpectedly. Customers with a single uplink on this switch might have noticed a disruption in internet traffic for a brief moment of time. At 08:48 the line card was fully operational again.

After some investigation by the the engineers of BIT, it turned out the restart of the line card because it detected an error.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

 

4 years ago —

NL

Op dit moment is er een storing met onze SGW nodes, hierdoor werken de ISCSI verbindingen niet die o.a. worden gebruikt voor de Microsoft SQL instances. De oorzaak van de verstoring is in onderzoek.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update om 04.54 uur
Een van de drie SGW nodes is hard gecrasht en de automatische failover naar andere nodes blijkt niet goed te hebben gewerkt. Engineers van BIT zijn bezig de diensten weer online te helpen. Een en ander zou weer moeten functioneren. Als er gebruik wordt gemaakt van iSCSI LUNs kan het nodig zijn deze opnieuw te rescannen of te reconnecten.
Update om 06.00 uur
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

At the moment there is a disruption with our SGW nodes. As a result, the ISCSI connections used for the Microsoft SQL instances will not work. The cause of the disruption is under investigation.
Follow the incident on our website for updates concerning this incident.


Update at 04:54:
One of the three SGW nodes experienced a crash and automatic failover of services to the other nodes seems to have malfunctioned. Engineers are working to bring services back online. Most, if not all, should work at this time. When customers use iSCSI LUNs, it might be necessary to initiate a rescan or reconnect of the affected LUNs.
Update at 06:00:
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

4 years ago —

NL

Tussen 01.57 en 02.03 uur heeft er een storing plaatsgevonden op switch 'leaf-sw3.bit-2b', waardoor de daarop aangesloten apparatuur geen werkende netwerkverbinding had. De storing lijkt veroorzaakt te zijn door een software-issue, waardoor de switch gedurende zo'n 5 minuten in een niet-functionerende staat bleef. Hierna herstelde het systeem zich en inmiddels zijn alle verbindingen weer hersteld.

Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

Between 1.57 and 2.03h traffic on switch 'leaf-sw3.bit-2b' was disrupted due to a software issue, causing no traffic to be forwarded. The system recovered itself, all ports are available again now.

4 years ago —

NL

Een DDoS-aanval op een klant van BIT heeft om 18.50 uur voor overlast gezorgd. Een deel van ons netwerk is hierdoor minder goed bereikbaar. De aanval is afgeslagen, maar het kan zijn dat diensten in de aangevallen IP-range nog hinder ondervinden.


Update geplaatst om 19.26 uur
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

A DDoS attack aimed at a customer of BIT has caused some nuisance at 18:50h. Availability of parts of our network is decreased. Seconds after the attack started it was countered but customers in the same IP-range might experience degraded performance.


Update placed at 18:29h
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

4 years ago —

NL

Er is op dit moment een storing gaande bij Vodafone waardoor instellingen voor specifieke APN's niet meer werken in hun netwerk. Er is omstreeks 10.25 uur een poging gedaan door Vodafone om dit probleem op te lossen. Dit heeft echter niet geholpen. Er wordt door Vodafone verder gewerkt aan dit probleem. Klanten met Vast IP op UMTS/4G/5G via BIT kunnen deze dienst op dit moment niet gebruiken. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 23-02-2021, 11.10 uur
Status bij Vodafone is dat vervolgacties gepland zijn. Wij houden dit probleem in de gaten.
Update geplaatst op 23-02-2021, 12.11 uur
Sinds 12.03 uur zien we weer logins voor UMTS/4G/5G met vast IP. Het probleem is echter nog niet afgemeld door Vodafone.
Update geplaatst op 23-02-2021, 13.15 uur
Vodafone heeft bevestigd dat het probleem opgelost is. Wij zien ook succesvolle logins. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.

EN

At this moment there is a disruption at Vodafone what breaks that specific APN settings work in their network. Around 10.25 Vodafone did an attempt to fix this problem. This did not fix the problem. Vodafone is working further to fix this problem.

Clients with fixed IP on UMTS/4G/5G via BIT can not use this service at this moment.

Follow the incident on our website for updates concerning this incident.


Update placed at 21/02/2021, 11:11
Status at Vodafone is that they have planned follow-up actions. We will keep an eye on this problem.
Update placed at 21/02/2021, 12:13
Since 12:03 we see logins for UMTS/4G/5G with fixed IP. The problem is not yet marked as resolved by Vodafone.
Update placed at 21/02/2021, 13:17
Vodafone has confirmed that the problems have been resolved. We see succesfull logins on our side. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

4 years ago —
Fixed

Fixed

2 months ago —

NL: De oorzaak van het incident is bekend. Er wordt aan een RFO geschreven die morgen rond 12.00 uur op www.bit.nl verwacht wordt.

EN: The root cause of the incident has been identified. A RFO is being written which is expected to appear on www.bit.nl at around 12:00 hrs.

Fixed

2 months ago —

NL: Het netwerk is weer volledig beschikbaar. Neemt u telefonisch (0318-648688) contact met ons op als u nog problemen ervaart. Er wordt nog onderzoek gedaan naar oorzaak van de storing en een uitgebreide rapportage daarover zal op www.bit.nl gepubliceerd worden.

EN: The network is operational. Please contact us by phone (+31-318-648688) when your services aren't available. The root cause of the incident in under investigation. We will publish a RFO on www.bit.nl.

Identified

2 months ago —

Delen van het netwerk zijn beschikbaar gebleven. De delen die niet beschikbaar waren komen nu terug.

Investigating

2 months ago —

De oorzaak van de verstoring is nog in onderzoek.

4 years ago —

Om 13.47 uur is een storing aan ons netwerk ontstaan. Het probleem is in onderzoek.

4 years ago —

NL

Omstreeks 19.30 uur heeft een line card op leaf-sw3.bit-2b voor onduidelijke reden zichzelf herstart. Klanten met een enkele uplink op deze switch hebben mogelijk een korte onderbreking in het internetverkeer gemerkt. Na onderzoek door de engineers van BIT blijkt dat de herstart van de line card voortkwam uit een time-out in de hardware van deze switch. Na de herstart is de line card weer goed online gekomen en is op dit moment de situatie weer normaal.


Update geplaatst op 14-01-2021, 20.20 uur
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.    

EN

Around 19:30, a "line card" on leaf-sw3.bit-2b restarted unexpectedly. Customers with a single uplink on this switch might have noticed a disruption in internet traffic for a brief moment of time.   After some investigation by the the engineers of BIT, it turned out that a time-out on the hardware of the switch caused a restart of the line card. The situation went back to normal after the line card restart.


Update placed at 14/01/2021, 20:30
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

4 years ago —

NL

Een DDoS-aanval op een klant van BIT heeft om 17.57 uur voor enige overlast gezorgd. Een deel van ons netwerk was hierdoor enkele seconden minder goed bereikbaar. De aanval is kort na start succesvol afgeslagen.


Update geplaatst om 18.24 uur
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

A DDoS attack pointed at a customer of BIT has caused some nuisance at 17:57h. Availability of parts of our network was decreased for several seconds. Seconds after the attack started it was countered.


Update placed at 18:29h
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

4 years ago —

NL

Sinds 17.02 uur is portal.bit.nl niet beschikbaar. De oorzaak van de verstoring is in onderzoek. Wijzigingen voor of aan uw diensten die u via de portal wenst door te voeren, kunnen telefonisch doorgegeven worden. Onze medewerkers zullen de wijziging doorvoeren.


Update geplaatst om 17.24 uur
Voor portal.bit.nl wordt een CI/CD server gebruikt. Die server publiceert een nieuwe code op portal.bit.nl. Op de bewuste server is een fout opgetreden waardoor er onjuiste code gepubliceerd is. Er wordt aan een oplossing gewerkt.
Update geplaatst om 17.33 uur
Om 17.32 uur is de portal weer beschikbaar gekomen. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

Since 17:02h portal.bit.nl is unavailable. The disruption is under investigation. Please contact us by phone in case you want any changes that you would normally provision in the portal yourself.


Update placed at 17:30h
New code for portal.bit.nl gets published by a CI/CD server. This server malfunctioned and had published erroneous code on portal.bit.nl. Engineers are working on this problem.
Update placed at 17:35h
At 17:32h the portal was fixed. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

4 years ago —

NL

Omstreeks 04.34 uur is een 'line card' in leaf-sw4.bit-2b om nog onduidelijke redenen herstart. Dit heeft zeer waarschijnlijk voor een korte onderbreking in het internetverkeer geleid.

Engineers van BIT zijn met onderzoek bezig.


Update geplaatst om 05.34 uur
De herstart van de line card kwam voort uit een time-out in de hardware van deze switch. Na de herstart is de line card weer goed online gekomen en is de situatie weer normaal.

We zullen contact opnemen met onze leverancier om dit verder te laten onderzoeken.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

This night, the 21st of november 2020 at around 04.34u a 'line card' in leaf-sw4.bit-2b suffered from an unscheduled restart. This will most probably have caused short disruptions in network traffic.

Engineers are investigating the cause.


placed at 05:34
The line card reset was caused by a time-out in the hardware of the switch. After the restart of the line card, the situation recovered to normal.

We will contact our supplier to discuss this event further.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

4 years ago —

NL

Van ~16.50 uur tot ~17.10 uur zijn er verstoringen geweest op één van onze AMS-IX poorten. Verkeer dat over die poort liep moest een aantal keer gereroute worden. Het is mogelijk dat hierdoor sessies wegvielen. AMS-IX heeft ons inmiddels bevestigd dat er problemen zijn op de locatie van de betreffende poort. Op dit moment weigeren we routes op de poort om daarmee de overlast weg te nemen. Onze engineers monitoren de connectie met AMS-IX en zullen de routes weer accepteren zodra de poort stabiel beschikbaar is.

Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

From ~16:50 until 17:10 hrs disruptions on one of our AMS-IX ports occurred. Traffic that passed that port had to be rerouted several times. This might have caused interrupted sessions. AMS-IX had confirmed issues on the location of the port in question. For now we are refusing routes on the port and this measure will prevent further nuisance. Our engineers are monitoring the state of the AMS-IX port and will accept routes there again as soon as the port is reliably available.

If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

4 years ago —

NL

Als gevolg van het onderhoud aan de CEPH storagesystemen afgelopen nacht zijn die systemen iets trager dan normaal. Mogelijk merkt u dit bij het benaderen van uw data op die systemen. Onze engineers zijn aan het werk om de overlast verder te beperken.


Update geplaatst om 10.40 uur
De overlast verminderende maatregelen hebben effect. De storageservers voerden na het onderhoud geautomatiseerd enkele 'housekeeping' taken uit. Deze taken zorgden voor een sterk verhoogde load op de servers. De geautomatiseerde taken zijn uitgezet en worden handmatig uitgevoerd waarbij onze engineers er zorg voor dragen dat zij geen overlast veroorzaken.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

As a result of maintenance on our CEPH storage systems last night, latency to the data on these systems has increased. You might notice this reduced performance when accessing your data on these systems. Our engineers are working on solutions to reduce impact.


Update placed at 10:45
The impact reducing solutions are effective. After the maintenance the storage servers automatically started some 'house keeping' chors. These chors increased the load on the servers heavily. The automated chors have been cancelled and engineers will take care of these chors manually. They will make sure that this will not result in performance loss.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

4 years ago —
Fixed

Fixed

2 months ago —

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

Watching

2 months ago —

The network is operational. The attack and mitigation measures are monitored. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

Watching

2 months ago —

Our DDoS mitigation measures are blocking the attack. The network is recovering.

4 years ago —

BIT currenly endures a distributed denial of service attack. We're working on mitigation and investigating impact.

4 years ago —

NL

Momenteel werken de statistieken in onze klantenportal niet. We zijn druk bezig dit probleem op te lossen en houden u op de hoogte.


Update geplaatst om 21.22 uur
Voor de portal statistieken module maken wij gebruik van Influxdb, een time-series database. De database software werkt niet correct en vooralsnog is onduidelijk waar dit door veroorzaakt wordt. Er wordt nog nader onderzoek verricht door onze engineers. Behalve inzage in statistieken in de portal zijn er geen diensten getroffen door deze storing. Volg de incidentmelding op onze website voor updates inzake dit incident.
Update geplaatst om 21.55 uur
De database server gebruikt veel geheugen en kreeg vanuit het OS niet voldoende geheugen toegewezen. Na een kernel configuratie aanpassing krijgt Influxdb wel voldoende RAM. De statistieken in de portal zijn weer beschikbaar.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

The BIT Portal statistics aren't working right now. We are working to find a solutions and will keep you posted.


Update placed at 21:27
The module for statistics in the portal uses Influxdb, a time-series database. The database software is malfunctioning and it is still unclear what the cause for the malfunction is. BIT engineers continue to troubleshoot the issue. This incident only affects the statistics view in the portal, other services are unaffected. Follow the incident on our website for updates concerning this incident.
Update placed at 22:00
The database server consumes a lot of RAM memory. The operating system did not supply the database with enough memory. After a kernel configuration change it does. Statistics in the portal are noqw available.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

4 years ago —

NL

Sinds ongeveer 16.00 uur is het niet mogelijk om BIT telefonisch te bereiken via ons algemene telefoonnummer. Dit probleem wordt door ons onderzocht en zodra er meer over bekend is wordt het op onze site gemeld. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 18-08-2020, 16.10 uur
BIT is weer bereikbaar via het algemene telefoonnummer. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.

EN

Around 16:00 it has come to our attention that BIT was not reachable via our general phone number. We are looking into this problem, as soon as we have more information we will place this on our site.

Follow the incident on our website for updates concerning this incident.


Update placed at 18/08/2020, 16:10
BIT is reachable again via our general phone number.

4 years ago —

NL

Rond 9.50 uur is portal.bit.nl onbereikbaar geworden. Het incident is in onderzoek en zodra er meer over bekend is wordt het op onze site gemeld.


Update geplaatst om 9.59 uur
Sinds 9.57 uur is portal.bit.nl weer beschikbaar. De uitrol van een wijziging zorgde voor de onbereikbaarheid. Na constatering hiervan werd deze wijziging teruggedraaid.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

At around 9:50 hrs portal.bit.nl has become unavailable. Engineers are investigating the cause of this incident. Updates on this incident will be published on our site.


Update placed at 10:03 hrs
Portal.bit.nl is available since 9:57 hrs. A deploy of new code went bad and this change has been rolled back.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

4 years ago —

NL

Rond 15.10 uur is er veel internetverkeer naar BIT weggevallen. Deze verstoring zit niet in het BIT-netwerk en niet in onze datacenters. Het probleem wordt elders op het internet veroorzaakt. Onze verbindingen naar de internet exchanges en transit providers zijn beschikbaar.

Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


Update geplaatst om 15.33 uur
Het incident wordt veroorzaakt door stroomuitval in een extern datacenter. Ofschoon BIT zelf geen apparatuur in dit datacenter heeft staan, worden substantiële delen van het internetverkeer in Nederland wel via dit datacenter gerouteerd. Het kan enige tijd duren alvorens de stroomvoorziening in dit datacenter weer in orde is en alle apparatuur aldaar weer operationeel is.

Het netwerk van BIT is niet onderbroken geweest. Omdat dit incident zich voordoet buiten ons netwerk of binnen die van onze partners, wordt dit incident gesloten. Mocht u echter vragen hebben over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

A lot of internet traffic to BIT was lost at 15:10 hrs. This disruption is not caused by a problem in the BIT network and not in our datacenters. Our connections to the nternet exchanges and transit providers are available.
If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.


Update placed at 15.41 uur
The incident is caused by a power failure in an external datacenter. Though BIT does not house any equipment in this datacenter, substantial amounts of Dutch internet traffic are routed through this datacenter. It may take some time untill power has been restored in the datacenter and all equipment in the datacenter is operational.

BIT's network has been uninterrupted. Since this incident is caused outside our network and our partner's networks we will close the incident. However if you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl

4 years ago —

NL

Momenteel zien we onverwacht onze routers in Londen en Frankfurt down gaan. We gaan uit van een kapotte glasvezelkabel ergens in het traject van BIT naar de beide locaties en zullen een ticket bij onze leverancier aanmaken.

Netwerkverkeer kan hierdoor even hebben 'gehikt' terwijl onze routers nieuwe routes berekenden.


Update geplaatst op 01-08-2020, 17.02 uur
We hebben nog geen inhoudelijke reactie van onze leverancier ontvangen.

Update geplaatst op 01-08-2020, 20.30 uur
De glasvezel is beschadigd en zal de komende uren worden gerepareerd.

Update geplaatst op 02-08-2020, 07.50 uur

De glasvezel was beschadigd geraakt vanwege een boer die in een land aan het ploegen was. De glasvezel is inmiddels gerepareerd en weer operationeel.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

We suddenly lost connectivity to our routers in London and Frankfurt and suspect a damaged glass fiber somewhere in the route from BIT to those locations. We've contacted our supplier.

Network traffic might have experienced some hickups while our routers recalculated new routes.


Update at 01-08-2020, 17:04
We have yet to receive more information about the outtage from our supplier.


Update at 01-08-2020, 20:33
The fiber was damaged and will be repaired over the next hours.

If you have any questions, please contact Customer Care via +31 (0)318 648 688 or support@bit.nl.
Update at 02-08-2020, 07:50

The fiber had been impacted by a farmer plowing in a field. The fiber has been repaired and is operational again.

If you have any questions, please contact Customer Care via +31 (0)318 648 688 or support@bit.nl.

4 years ago —

NL

De branddetectie en blusinstallatie blijft ondanks deze accustoring functioneren zoals bedoeld.

De brandmeldcentrale op BIT-1 weigert de accu op te laden en de power supply zal moeten worden vervangen.

Datacenter engineers van BIT zijn op locatie met de leverancier aan een oplossing bezig.


Update geplaatst op 30-07-2020, 19.27 uur
De vervangende onderdelen worden over ~30 minuten op BIT-1 verwacht.
Update geplaatst op 30-07-2020, 20.28 uur
Het vervangen van de power supply vordert gestaag.

Update geplaatst op 30-07-2020, 20.53 uur
Het vervangen van de power supply is afgerond en de systemen zijn weer ok.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of support@bit.nl.


EN

The fire detection and supression system in BIT-1 is not affected by this battery charging issue.

The fire detection system in BIT-1 refuses to charge its battery and now the power supply has to be replaced.

BIT datacenter engineers are working with the vendor to resolve the issue.


Update at 30-07-2020, 19:28
Replacement parts are expected to arrive at BIT-1 in about 30 minutes.

Update at 30-07-2020 20:26
Replacement of the power supply is under way and making good progress.

Update at 30-07-2020, 20:55
The power supply was replaced and the systems are fully operational again.

The incident has been resolved. If you have any questions regarding this incident, don't hesitate to contact our Customer Care at +31 (0)318 648 688 or support@bit.nl.

4 years ago —

NL

Op dit moment ervaren we een storing aan één van de hypervisors waar BIT zijn eigen diensten op aanbiedt.

Hoewel vrijwel al onze dienstverlening redundant is opgezet en over verschillende hypervisors is verspreid, kan het zijn dat er diensten onbereikbaar zijn of er hinder wordt ondervonden
Engineers van BIT zijn op de hoogte en werken aan het probleem.


De getroffen virtual machines zijn op andere hypervisors weer online gebracht. De betrokken hypervisor blijft buiten productie tot engineers van BIT zeker zijn dat deze weer correct functioneert en wat de oorzaak van deze verstoring was.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of support@bit.nl.


EN

At this moment we're experiencing outage on one of BIT's own hypervisor, hosting BIT services.

While almost all our services are deployed in a redundant setup spread across multiple hypervisors, some services might be affected by this outtage.

BIT Engineers are currently working on the case.


The virtual machines affected by this outtage were brought online on other hypervisors. The hypervisor involved in this outtage is kept out of the production until it's clear what has happened.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

4 years ago —

NL

Omstreeks 0.55 uur is een verstoring aan de back-upserver backup.bit.nl opgetreden waardoor het maken van back-ups niet goed functioneerde. Om de verstoring op te lossen hebben wij de back-upserver herstart waarna deze om 02.14 uur weer beschikbaar is.

Back-ups die tijdens deze periode nog bezig waren of gestart zouden worden zijn opnieuw gestart. Indien uw server een NFS-mount heeft naar deze back-up server, kan het zijn dat deze NFS-mount opnieuw moet worden opgezet. In vrijwel alle gevallen komt dit vanzelf goed.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

Around 0:55 we started experiencing problems on the backupserver backup.bit.nl resulting in backup failures. To resolve the issues we have restarted the server. After the restart all services have been restored at 02:14.

Backups that were running in this period of which would have been started during this window have been restarted. If your server has a NFS mount to the backupserver it is possible this needs to be reconnected. In most cases this will happen automaticly.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

4 years ago —

NL

Omstreeks 15.30 uur vandaag vond er een onderbreking plaats op de Amsterdam Internet Exchange. Deze verstoring kan voor hinder in het netwerk van BIT hebben gezorgd in het geval verkeer via dat pad werd gerouteerd.

De verstoring bij AMS-IX is inmiddels verholpen. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


Het probleem heeft zich nogmaals voorgedaan op de Amsterdam Internet eXchange. Een aantal zo genoemde 'line cards' waar meermaals 100Gbps verkeer overheen gaat, is wederom spontaan gecrasht en zorgt voor problemen.

BIT zal maatregelen nemen en deze Internet eXchanges voorlopig uitschakelen in het netwerk.


Update geplaatst op 1-7-2020, 17.25 uur
AMS-IX heeft de switch die voor problemen zorgt en waar BIT op aangesloten zat uit productie gehaald. Onze AMS-IX verbindingen zijn hierna weer geactiveerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.

EN

At around 15.30u today, a network incident at the Amsterdam Internet eXchange may have caused reachability issues with the BIT-network.

The network incident at AMS-IX has been resolved. This incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.


The incident occurred again at the Amsterdam Internet eXchange. A number of so-called 'line cards' that carry multiple 100Gbps connections has spontaneously rebooted, causing issues in our network again.
BIT will take preventive measures and disable this Internet eXchange in our network topology for now.


Update placed at 1/7/2020, 17:26h
AMS-IX has replaced the defective switch, the platform is stable since. We have enabled our AMS-IX connections again. This incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

5 years ago —
Fixed
5 years ago —

NL

Rond 17.30 uur kwam er een DDoS binnen, gericht op diverse adressen in het BIT netwerk. Dit kan tot tijdelijke overlast op een delen van ons netwerk geleid hebben. De DDoS is om 18.38 uur succesvol gemitigeerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

Around 17:30 hrs a DDOS attack was launched to several ip addresses in our network. This may have caused temporary problems in several parts of our network. The DDoS whas mitigated at 18:38 hrs.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Vandaag omstreeks 13:30u heeft zich een verstoring voorgedaan op onze loadbalancers, waardoor diverse loadbalanced diensten voor korte tijd onbereikbaar zijn geweest.

Engineers van BIT zijn meteen met het probleem aan de slag gegaan om te achterhalen wat de oorzaak kan zijn geweest.


Update: 13:41
Om 13:41 zijn de diensten weer hersteld en is alles weer bereikbaar.

Engineers van BIT zijn nog bezig met onderzoeken wat deze verstoring heeft veroorzaakt.
Heeft u vragen of opmerkingen naar aanleiding van deze verstoring? Neemt u dan contact op met ons via email op info@bit.nl, of telefonisch op 0318 648 688.


EN

Today at around 13:30hr our loadbalancers experienced a short disruption, causing various loadbalanced services to be unavailable for a short amount of time.

BIT engineers immediately followed up on this to find the root cause.


Update: 13.41hr
At 13:41hr all services were operational again.
BIT engineers are still investigating the cause of this disruption

If you have any questions or comments about this disruption, please contact us via email at info@bit.nl or by phone at +31 318 648 688.

5 years ago —

NL

Rond 16.43 uur is er een verstoring opgetreden op ons storage cluster. De oorzaak en volledige impact is nog in onderzoek. Zodra er meer bekend is, melden we dat op onze site.


Update geplaatst om 16.55
De diensten die gebruik maken van Cephfs, waaronder shared hosting en virtual machines met shared storage op basis van Cephfs, hebben last gehad van de onderbreking. Vanaf 16.50 uur zijn de diensten weer beschikbaar gekomen. De onderbreking werd getriggerd door een configuratie aanpassing die niet voor een onderbreking had mogen zorgen. Er wordt nader onderzoek verricht.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 16:43h our storage platform got disrupted. Our engineers are investigating cause and impact. As soon as more info is available, we will inform you on our website.


Update placed at 16:58h
The services that got impacted are shared hosting and virtual machines with shared storage based on Cephfs. From 16:50h on, these services came back online. The disruption was triggered by a configuration change that should have been non-impacting for availability. Engineers will continue their investigation on why the change triggered a disruption.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Sinds ~17.00 uur zien wij problemen op onze switches in BIT-2D. Sommige poorten op deze switches vertonen op sommige momenten problemen met de bereikbaarheid ervan. Onze engineers doen in overleg met de fabrikant van de switches onderzoek naar het probleem.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst om 17.30 uur

In overleg met de fabrikant wordt de firmware van de switches gedowngrade. Deze werkzaamheden zullen één voor één op de redundante set van switches uitgevoerd worden. Voor klanten met redundante uplinks betekent dat zij, als er geen onvoorziene omstandigheden zijn, geen downtime als gevolg van die downgrades zullen ervaren. Voor klanten met enkelvoudige uplinks betekent dit helaas wel downtime van 15 minuten. Aangezien een aantal poorten op de switches op dit moment niet betrouwbaar zijn zullen deze werkzaamheden om 17.45 uur al uitgevoerd worden.
Update geplaatst om 18.15 uur

De eerste switch is gedowngrade en is zonder problemen opgekomen. De downgrade van de tweede switch loopt nu.
Update geplaatst om 18.30 uur

De tweede switch is ook gedowngrade en zonder problemen opgestart. Beide switches zijn weer in normale productie. Logs van de switches zijn verzameld en worden samen met de fabrikant geanalyseerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 318 648 688 of via support@bit.nl.


EN

Since approximately 17:00 hrs we are experiencing issues with the switches in BIT-2D. Some of the ports on these switches are not available for short periods of times. Our engineers are troubleshooting this issues with the vendor of the switches.

Follow the incident on our website for updates concerning this incident.


Update placed at 17:30 hrs

We will downgrade the firmware of the switches. These downgrades will take place one switch after the other. Customers with redundant uplinks should not experience downtime as a result of these downgrades. Customers with single uplinks will experience a downtime of 15 minutes. Since there customers at this moment are experiencing problems, we will have to downgrade as soon as possible. The downgrades will start at 17:45 hrs.
Update placed at 18:15 hrs

The first switch has been downgraded and has succesfully booted. The downgrade of thesecond switch is running now.
Update placed at 18:30 hrs

The second has been downgraded and succesfully booted since. Both switches are back in normal production. Logs have been collected and sent to the vendor. We will jointly investigate the logs.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Zojuist, 20:20u, is een van de twee Meta Data Servers die het CephFS gedeelde bestandsysteem verzorgen gecrasht. Dit heeft een onderbreking van de beschikbaarheid van deze opslag ten gevolg gehad van enkele minuten.

Engineers van BIT zijn genotificeerd en onderzoeken wat de oorzaak was.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst om 20.50 uur
De storing is verholpen en is veroorzaakt door dezelfde bug die deze eerdere storing veroorzaakte. Naar aanleiding van die verstoring hebben we maatregelen genomen om debug logs te kunnen verzamelen. Deze logs zullen wij met de developers van CephFS bespreken.
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Today at 20:20 hrs, one of the Meta Data Servers providing the CephFS shared storage experienced a crash. This has caused a temporary IO-stall on the filesystems of several minutes.

BIT engineers were alerted and are investigating the root cause.

Follow the incident on our website for updates concerning this incident.


Update: 20:52
We've hit the same bug as in november this year. Unfortunate as this is, we do have a little more information to take back to the Ceph developers in hope of finding a cause and fix for this bug.
The filesystems are back online and available. BIT engineers are checking the systems for normal functioning.

5 years ago —

NL

Sinds vandaag rond 8.15 uur is er in BIT-2D een netwerk verstoring. Onze engineers hebben het in onderzoek. Meer informatie volgt spoedig.


Update geplaatst op 13-11-2019, 08.35
Een software proces op switch "leaf-sw2.bit-2d" is spontaan herstart, hierdoor is er een verstoring geweest van enkele minuten. Klanten met een redundante verbinding of een enkelvoudige verbinding op switch "leaf-sw1.bit-2d" zijn niet geraakt door deze verstoring. Op dit moment zijn alle verbindingen weer hersteld.
Update geplaatst op 13-11-2019, 08.48
Het incident is op dit moment opgelost. We zijn met onze leverancier een onderzoek gestart naar de oorzaak. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Sinds this morning around 8.15am there is a network disruption in BIT-2D. Our engineers are investigating. More information will follow soon.


Update placed on 13-11-2019, 08.35
A software process on switch "leaf-sw2.bit-2d" has restarted unexpectedly, as a result of which there was disruption of service for a few minutes. Customers with a redundant connection or a single connection on switch "leaf-sw1.bit-2d" were not affected by this disruption. At this moment service is resumed as normal.
Update placed on 13-11-2019, 08.48
This incident has been resolved. Together with our supllier we have started an investigation to the cause of the incident. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Sinds 06:19 uur ondervinden wij opnieuw problemen met de beschikbaarheid van onze storage systemen. Engineers zijn druk bezig de oorzaak van de verstoring te onderzoeken. Als gevolg hiervan is ons shared Linux hostingplatform verminderd beschikbaar en kunnen klanten die gebruik maken van shared storage van BIT problemen hieraan ondervinden.


Update geplaatst om 07.29
De instabiliteit op ons storage systeem is weer opgelost. Het systeem is weer online sinds 06:54 uur. Het is duidelijk dat we tegen een bug aan lopen op de Ceph MDS servers. Diensten die gebruikmaken van Cephfs ondervnden daar hinder van. Het is nog niet duidelijk waar de bug door veroorzaakt of door getriggerd wordt. Onze engineers doen nog onderzoek hiernaar. Onderzoek wordt bemoeilijkt doordat de bug niet optreed wanneer we debugging aan hebben staan, ook wel een Heisenbug genoemd.


Update geplaatst om 10.44
We gaan configuratie aanpassingen maken om te zien of we hiermee kunnen voorkomen dat we tegen de bug aanlopen, en indien dat toch gebeurd, dat we het filesysteem sneller weer online kunnen krijgen. Dit kan een negatieve impact hebben op de performance, en zal gedurende de tijd dat we met de aanpassingen bezig zijn resulteren in het niet beschikbaar zijn van het filesysteem.

Update geplaatst om 12.36
De wijzigingen zijn actief. We hopen hiermee de stabiliteit te verhogen. Er is impact op performance, maar deze lijkt vooralsnog acceptabel.

Update geplaatst op 21-10-2019 om 7.50
Helaas zien wij nu toch opnieuw problemen optreden met de beschikbaarheid van de storage systemen. Er worden verdere aanpassingen gedaan om de stabiliteit te verhogen.

Update geplaatst om 8.03
Om 7.54 uur was het platform weer stabiel.

Update geplaatst om 8.31
Helaas zien wij toch nog met enige regelmaat instabiliteit optreden. Engineers zijn nog steeds druk bezig om dit probleem verder te analyseren en waar mogelijk aanpassingen te doen die de stabiliteit verhogen.
Update geplaatst om 11.08
Rond 10.45 uur is er een fix, die ons door de Cephfs developers is geadviseerd, uitgerold op het cluster. Aangezien we het cluster onregelmatig instabiel zagen worden, is er nu nog geen absolute zekerheid dat deze fix de instabiliteit definitief voorkomt. Onze engineers blijven het cluster nauwgezet monitoren.
Update geplaatst om 17.25
De fix die door de Cephfs ontwikkelaars is aangedragen heeft de instabiliteit uit het cluster gehaald. Deze fix pakt echter de onderliggende oorzaak van het probleem niet aan. Er wordt op dit moment gewerkt aan een wijziging die ervoor zorgt dat duidelijk wordt wat de instabiliteit veroorzaakt. Daarna kan er aan de onderliggende oorzaak gewerkt worden. In een nog aan te kondigen spoedonderhoud zal deze wijziging uitgerold worden.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

As of 06:23h we're again experiencing problems with the availability of our shared storage systems. Engineers are investigating this outage. As a result, our shared Linux hosting platform and customers using shared storage solutions provided by BIT are experiencing degraded availability.


Update placed at 07:42h
The instability of the storage platform has been resolved. Unfortunately we are hitting a bug on the Ceph MDS systems which causes problems for services on Cephfs. We are still investigating what the bug entails and what triggers the bug. Investigation is complicated due to the fact the bug does not happen when the software is put in debug mode. Also known as a Heisenbug.

Update placed at 10:48h
We are going to make configuration changes to prevent this issue from happening. In case we do hit the bug, this should lead to shorter downtime of the shared filesystem (faster failover). In the meantime that we are re-configuring the system the shared filesystem will not be available.

Update placed at 12:40h
The configuration changes are in place. We hope to achieve a more stable system this way. There is a noticable performance impact, but as far as we can tell this is acceptable.

Update placed on 21/10/2019 at 7:50h
Unfortunately we're observing instability on the storage platform again. Additional changes have been made to increase stability.

Update placed at 8.04h
The platform has been stable again since 7.54h.

Update placed at 8.33h
We still observe intermittent instability on the platform. Engineers are still investigating and making changes to improve stability.
Update placed at 11:12h
At around 10:45h we have implemented a fix on the cluster that has been advised to us by the Cephfs developers. Before that change we saw the cluster becoming instable irregularly, therefore we cannot be assured yet that the fix has solved the problem definitely. Our engineers keep monitoring the system meticulous.
Update placed at 17:31
The by Cephfs developers advised fix has cleared the instability of the cluster. It has not solved the underlying root cause of the instability. A change is in preparation that will help identifying the root cause. After enabling that change we can start working on solving the root cause. In a to be announced emergency maintenance we will apply the change.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Sinds 23.32 uur ondervinden wij opnieuw problemen met de beschikbaarheid van onze storage systemen. Engineers zijn druk bezig de oorzaak van de verstoring te onderzoeken. Als gevolg hiervan is ons shared Linux hostingplatform verminderd beschikbaar en kunnen klanten die gebruik maken van shared storage van BIT problemen hieraan ondervinden.


Update geplaatst om 00.55
De instabiliteit op ons storage systeem is weer opgelost. Het is duidelijk dat we tegen een bug aan lopen op de Ceph MDS servers. Diensten die gebruikmaken van Cephfs ondervnden daar hinder van. Het is nog niet duidelijk waar de bug door veroorzaakt of door getriggerd wordt. Onze engineers doen nog onderzoek hiernaar.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

As of 23.32h we're again experiencing problems with the availability of our shared storage systems. Engineers are investigating this outage. As a result, our shared Linux hosting platform and customers using shared storage solutions provided by BIT are experiencing degraded availability.


Update placed at 01:00h
The instability of the storage platform has been resolved. Unfortunately we are hitting a bug on the Ceph MDS systems which causes problems for services on Cephfs. We are still investigating what the bug entails and what triggers the bug.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Wij ervaren momenteel een storing op onze storage systemen. De oorzaak en impact zijn nog in onderzoek. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 19-10-2019, 08.45
De diensten zijn rond 08:35 weer beschikbaar geworden. Onze engineers zijn nog bezig met verdere onderzoek.
Update geplaatst op 19-10-2019, 09.04
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

The storage of the shared hosting platform is unavailable. Engineers are investigating the incident. Any updates will be published on our website.


Update placed at 19/10/2019, 08:45
All services are available. The cause of the problem is under investigation.
Update placed at 19/10/2019, 09:04
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Om 22.22 uur heeft er een automatische blussing plaatsgevonden in BIT-2D. Op dit moment wordt er een inspectie uitgevoerd door de aanwezige brandweer in samenwerking met datacenterbeheerders van BIT. De blussing heeft geen invloed gehad op de beschikbaarheid van de koeling en de stroomvoorziening van BIT-2D.

Als gevolg van de blussing zijn de flessen met blusgas voor BIT-2D nu leeg, waardoor er niet automatisch geblust kan worden. Acties om deze te hervullen worden direct in gang gezet. Tot het moment dat de blusflessen hervuld zijn zal personeel aanwezig blijven om met handblussers te kunnen blussen als er opnieuw brand gedetecteerd zou worden. BIT-2B en BIT-2C hebben eigen flessen met blusgas, daar kan dus wel automatisch geblust worden in het geval van calamiteiten.

Zodra er meer bekend is over de oorzaak van deze blussing zal deze melding aangevuld worden.


Update geplaatst om 23:02
De brandweer heeft de ruimte geïnspecteerd en de ruimte wordt nu ontdaan van blusgas zodat het zuurstofniveau weer op peil komt. Zodra de ruimte door de brandweer wordt vrijgegeven zullen medewerkers van BIT de apparatuur in BIT-2D nalopen.
Update geplaatst om 23:08
De ruimte is vrijgegeven en de apparatuur in de ruimte wordt nu geinspecteerd door medewerkers van BIT.
Update geplaatst om 23:39
De vermoedelijke oorzaak van de brandblussing is een server van een klant. Er is contact met die klant zodat de server nader geïnspecteerd kan worden. Daarnaast is er contact met de blusgasleverancier voor het vullen van de installatie.
Update geplaatst om 01:40
De brandmelding met daaropvolgend blussing is met zekerheid veroorzaakt door kortsluiting in een voeding van een server van een klant. De leverancier van de blusgasinstallatie is onderweg voor het loskoppelen van de blusgasflessen. In de ochtend zullen de flessen op een externe locatie weer afgevuld worden.

Zolang de automatische blusgasinstallatie voor BIT-2D nog niet actief is, blijft dit incident actief en 'open' op onze site. De brandmeldinstallatie is in bedrijf en medewerkers van BIT blijven op locatie. Bij een nieuwe, niet te verwachten, brandmelding zullen deze medewerkers handblusmiddelen inzetten.
Update geplaatst om 11:30
Afgelopen nacht zijn wij bezig geweest om de blusgasflessen los te koppelen van de gasblusinstallatie en klaar te zetten voor transport. De partij die de blusgasflessen gaat vullen is inmiddels hier geweest met een vrachtwagen om deze gasflessen op te halen. We verwachten de gevulde blusgasflessen in de avond terug, een exact tijdstip is nog onduidelijk.
Update geplaatst om 16.52
Rond 22.00 uur worden de weer gevulde blusgasflessen verwacht bij BIT. .
Update geplaatst op 17-10-2019 02.41
De cilinders met blusgas zijn weer teruggeplaatst, in de monitoringsystemen opgenomen en gekoppeld aan de brandmeldinstallatie. Het systeem is daarmee weer in normaal bedrijf genomen.
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At 22h22 the fire detection system in BIT-2D automatically triggered the fire suppression system. At this moment firemen are doing an inspection of BIT-2D together with BIT datacenter engineers. The activation of the fire suppresion system did not affect the availability of cooling and power in BIT-2D.

As a result of the activation, the gas cilinders for fire suppression of BIT-2D have been emptied. Actions have been taken to refill these as quick as possible. Until these cilinders have been refilled, BIT personnel will remain on premise to extinguish any fires manually should the fire detection system alert them. BIT-2B and BIT-2C have their own set of cilinders available.

This item will be updated as soon as we have more information on the cause.


Update placed at 23.05
The fire department has inspected the server room and has given way for BIT to access the server room. Engineers of BIT are now inspecting the equipment.
Update placed at 23.42
The cause for the triggered fire suppression system is most likely a customer's server. This customer has been contacted and they are on their way so we can jointly inspect this machine. Furthermore we have contacted the supplier of the argonite for refilling the installation.
Update placed at 01:48
The fire detection system followed by the fire suppression system were triggered by a defective power supply in a server of a customer. Inspection of the equipment in the server room has concluded this. The supplier of the fire suppression system is on his way to disconnect the argonite cylinders. These cylinders will be refilled off site in the morning.

As long as the automatic fire suppression system for BIT-2D is not active, this incident will stay 'open' on our website. The fire detection system is in business and employees of BIT will stay on location. In the not-to-be-expected event of a new fire in BIT-2D these employees will use manual fire extinguishers.
Update placed at 11:30
Last night we have been busy disconnecting the cylinders from the system and make them ready for transport. De firm that will fill the cylinders has already been here with a truck to pickup the cylinders. We expect the filled back this evening, the exact moment is not clear yet.
Update placed at 16:54
We expect the refilled cylinders at around 22:00 hrs at BIT.
Update placed at 17-10-2019 02:47
The cylinders are refilled, placed on their position and reconnected to the monitoring systems and fire detection systems. The fire suppression system in in normal business.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Sinds circa 17.57 uur is er een stroomstoring in Ede en omstreken. De noodstroomvoorzieningen van de datacenters van BIT hebben het wegvallen van de netspanning probleemloos opgevangen. De noodstroomaggregaten zijn direct gestart en leveren nu de stroom voor de datacenters en de koelmachines daarvan. De noodstroomaggregaten hebben ruim voldoende diesel. BIT heeft daarnaast nog een 24/7 contract voor het leveren van diesel zodat er altijd voldoende beschikbaar is. Liander heeft laten weten dat de verwachte oplostijd van de stroomstoring circa 20.15 uur is.


Update geplaatst op 08-09-2019, 20.15 uur
De stroomstoring is verholpen. De datacenters van BIT zijn weer teruggeschakeld naar netspanning.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

Since 17:57 hrs there is a malfunctioning of the power grid In Ede and neighbouring areas. The emergency power systems of the BIT datacenters have acted accordingly and without any issues or disruptions. The emergency power generators are currently providing the electricity to power the BIT datacenters and cooling systems. The emergency power generators have plenty of diesel fuel available. BIT also has 24/7 diesel fuel delivery contracts with suppliers to make sure there is always ample diesel fuel available. The electricity supplier has estimated that the issue should be resolved around 20:15 hrs.


Update placed at 08/09/2019, 20:23 hrs
The power grid issue has been resolved. The BIT data centers have switched back to the power grid.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Op dit moment is er een storing met ftp op upload.bit.nl. Hierdoor kan er geen verbinding gemaakt worden met ftp naar de Shared Linux Webhosting.
Engineers zijn bezig dit te verhelpen.


Update geplaatst op 12:35
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

At this moment there is a malfunction with ftp on upload.bit.nl. As a result, it is not possible to connect to ftp to the Shared Linux Web hosting.
Engineers are fixing this.


Update placed at 12:35
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Op dit moment is er een storing op het Shared Linux hosting platform.

Engineers zijn bezig dit te verhelpen.


Update geplaatst op 13.13 uur
Nodes zijn door de engineers herstart, hierdoor wordt het platform weer actief.

Update geplaatst op 13.45

Het incident is opgelost. Een website zorgde voor een out-of-memory op de nodes, hoe dit heeft kunnen gebeuren is nog in onderzoek. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At this moment we have an issue at yhe Shared Linux hosting platform.

Engineers are working on a solution.


Update placed on 13.13 hrs
Nodes are restarted by our engineers, platform is becoming active at this moment.

Update placed at 13.45

The incident has been resolved. A website provided an out-of-memory on the nodes, how this could have happened is still under investigation. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Om 18.34 uur is er een onderbreking opgetreden aan de glasvezelverbinding tussen BIT-1 en Equinix AM7. Over deze glasvezelverbinding wordt een deel van het verkeer van BIT naar Amsterdam getransporteerd. Dit verkeer is automatisch omgeleid via alternatieve paden. De onderbreking van deze verbinding kan een kortstondige verstoring van netwerkverkeer opgeleverd hebben. Klanten met een eigen wavelength via BIT op dit pad zullen een onderbreking op deze dienst ondervinden.

De oorzaak van de onderbreking is op dit moment onbekend. Wij gaan contact opnemen met onze glasvezelleverancier om deze te achterhalen.


Update geplaatst op 22-08-2019, 20.17u
Onze leverancier heeft de storing in onderzoek. Het lijkt erop dat lichtsterkte beide kanten op sterk verminderd is, ondanks dat het uitgaande signaal wel sterk genoeg is. Het gevolg is dat er onvoldoende licht aan beide kanten ontvangen wordt om er een bruikbaar signaal van te maken, waardoor communicatie niet mogelijk is.

Update geplaatst op 22-8-2019, 21.29u
De storing is nog steeds in onderzoek bij onze leverancier.
Update geplaatst op 22-08-2019, 22.50u
De leverancier is bezig een meetploeg aan te sturen die vanaf één van de eindpunten metingen zal gaan uitvoeren om te bepalen waar het signaal verstoord wordt. Wij hebben nog geen indicatie gekregen wanneer zij verwachten de resultaten hiervan te hebben.
Update geplaatst op 23-8-2019, 6.50u
Helaas hebben wij nog geen nieuws van onze glasvezelleverancier ontvangen over de oorzaak van deze verstoring. Uiteraard zitten wij hier bovenop, zodra er nieuwe informatie beschikbaar komt zal deze via deze storingsmelding gedeeld worden.
Update geplaatst op 23-8-2019, 13.15u
Onze leverancier heeft erg veel moeite met het lokaliseren van de verstoring. Om 15.00u zal er een nieuwe meting uitgevoerd gaan worden, deze zal hopelijk meer inzicht geven.
Update geplaatst op 23-8-2019, 15.35u
Bij de nieuwe meting vanuit Equinix AM7 wordt een kabellengte van slechts 25 meter gemeten, wat zou wijzen op een lokaal bekabelingsprobleem. Er wordt contact met het datacenter gezocht om dit verder uit te zoeken.
Update geplaatst op 23-8-2019, 22.40u
Onze glasvezelleverancier is nog steeds bezig met Equinix om het defecte kabelpad te laten vervangen. We hebben geen indicatie over de tijd die het kost om dit te realiseren.
Update geplaatst op 24-8-2019, 6.55u
De defecte kabel is vervangen. Dit heeft het probleem verholpen, de verbinding werkt weer. Controles tonen aan dat de glasvezel weer volledig correct functioneert. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At 18.34h an outage started on our fiber connection between BIT-1 and Equinix AM7. This fiber carriers parts of our traffic from BIT to Amsterdam. This traffic was rerouted automatically over other fibers. The disruption may have led to a short disruption of network traffic. Customers operating their own DWDM wavelength on this path will observed an outage on this service.

At this moment the cause of this outage is unknown, we're contacting our fiber provider to get more details.


Update placed at 22/08/2019, 20:17h
Our fiber supplier is investigating the outage. We observe low power levels on both ends of our fiber, while output power is unchanged. Power levels are currently too low to transmit a signal, making communications via this fiber impossible. We're awaiting a response from our provider.
Update placed at 22/08/2019, 22:52h
Our fiber supplier is dispatching a crew to do measurements from one of the endpoints. This measurement should indicate where the fiber is disrupted. We do not have any indication when results will be available.
Update placed at 23/08/2019, 6:57h
Unfortunately, we haven't received any new information from our fiber provider yet. Of course, we're trying to get an update from them, and we will share any new information via this incident ticket.
Update placed at 23/08/2019, 14:30hOur fiber provider has difficulties locating the disruption. At 15.00h local time a new set of measurements will be done. We hope this will pinpoint the location of the fault.
Update placed at 23/08/2019, 15:35h The new measurements done in Equinix AM7 indicate a fiber length of just 25 meters, which indicates a local problem within Equinix AM7. The fiber provider is currently contacting Equinix to check and repair this local patch.
Update placed at 23/08/2019, 22:39hOur fiber provider is still working on fixing a new fiber patch within the Equinix datacenter. We have no indication on the time to fix.
Update placed at 24/08/2019, 6:55hThe defective local fiber patch has been replaced. This resolved the problem, the link is up again now and tests show that the fiber is ok. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Vandaag rond 17.00 uur heeft het BIT netwerk een verstoring gehad die alle diensten heeft getroffen. Omdat www.bit.nl niet bereikbaar was zijn de storing en updates erover geplaatst op www.bit.org/status. U kunt daar het verloop van de storing terug lezen. Inmiddels zijn alle diensten hersteld. De storing is veroorzaakt door een corrupte configuratie van alle leaf switches. Waar die corruptie door veroorzaakt is, is nog in onderzoek. Een RFO over deze storing zal op onze site gepubliceerd worden.


Update geplaatst om 21.36

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

At around 17:00h today the BIT network became completely unavailable which had its effect on all services. Because www.bit.nl was unavailable the incident and updates on the incident have been posted on www.bit.org/status. The incident course can be seen on that site. All services have been restored. The outage was caused by a corrupt configuration on all leaf swtches. The root cause of that corruption is still under investigation. We will publish a RFO on our site.


Update placed at 21:38

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Tijdens de maandelijkse noodstroomaggregaattest op BIT-1 is het aggregaat defect geraakt. Dit heeft niet tot uitval van de stroomvoorziening in BIT-1 geleid.

De apparatuur in BIT-1 wordt nu gevoed door de reguliere stroomvoorziening en de UPS is beschikbaar indien de reguliere stroomvoorziening wegvalt. Het aggregaat is momenteel niet beschikbaar om langdurige stroomuitval op te vangen. Voor de datacenters BIT-2A en BIT-2BCD zijn de aggregaten N+1 uitgevoerd, er is dus altijd reservecapaciteit. Voor BIT-1, een datacenter dat alleen gebruikt wordt voor failover en active-active setups is er één aggregaat. De leverancier is ingeschakeld om het aggregaat weer beschikbaar te maken of om een nieuw aggregaat te plaatsen. Zodra daar meer over bekend is wordt deze melding geüpdatet.


Update geplaatst om 11.02 uur

De leverancier zal een vervangend aggregaat plaatsen. Zodra duidelijk is hoe laat dat zal gebeuren, wordt deze melding bijgewerkt.
Update geplaatst om 11.32 uur

De leverancier zal over ongeveer anderhalf uur een vervangend aggregaat plaatsen. Zodra dit is uitgevoerd, wordt deze melding bijgewerkt.
Update geplaatst om 12.46 uur

De leverancier is gearriveerd en is bezig het aggregaat te vervangen.
Update geplaatst om 15.12 uur

Het aggregaat is vervangen en getest. De noodstroomvoorziening is hiermee wederom intact. De oorzaak van het defect is in onderzoek.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

During the monthly test of the emergency power supply the diesel aggregate on BIT-1 has broken down. The power supply in BIT-1 has not been disrupted.

BIT-1 is now powered by the regular power facilities en the UPS is available for failure in the power supply. The aggregate is unavailable and will not be activated in case of sustained power failure. Datacenters BIT-2A and BIT-2BCD have N+1 aggregates, which means there is spare capacity. Since BIT-1 is only in use for fail over and active-active scenario's the aggregate there is not redundant. The supplier of the aggregate has been informed to either repair the machine or replace it. As soon as more information becomes available this report will be updated.


Update placed at 11:03 hrs

The supplier will replace the diesel aggregate. This report will be updated when the expected arrival time of the machine is known.
Update placed at 11:32 hrs
The supplier will replace the aggregate in about one and a half hours. When this is done this report will be updated.
Update placed at 12:46 hrs

The supplier has arrived and is in the process of replacing the aggregate.
Update placed at 15:12 hrs

The aggregate has been replaced and tested. The emergency power supply is therefore functional again. The cause of the failure is under investigation.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Rond 12.05 uur is er een onderbreking opgetreden aan de glasvezelverbinding tussen BIT-1 en Equinix AM7. Over deze glasvezelverbinding wordt een deel van het verkeer van BIT naar Amsterdam getransporteerd. Dit verkeer is automatisch omgeleid via alternatieve paden. Klanten kunnen last hebben gehad van een korte onderbreking.

De oorzaak van de onderbreking is op dit moment onbekend. Wij gaan contact opnemen met onze glasvezelleverancier om deze te achterhalen.


Update geplaatst op 24-06-2019, 13.42
De oorzaak van de onderbreking is in onderzoek, onze glasvezelleverancier doet onderzoek naar de toedracht.
Update geplaatst op 24-06-2019, 16.09
Onze glasvezelleverancier heeft een mogelijk oorzaak van het probleem geïdentificeerd. Er worden meer tests uitgevoerd zodat de definitieve oorzaak helder wordt.

Update geplaatst op 24-06-2019, 17:37
Oorzaak van de onderbreking is gevonden door de glasvezelleverancier. Een technisch team is onderweg om de fibers te repareren.

Update geplaatst op 24-06-2019, 23.15 uur
Er zijn helaas geen onbeschadigde ongebruikte vezels beschikbaar in de glasvezelbuis. De glasvezels zullen daarom opnieuw gelast moeten worden. Het is nog onbekend hoeveel tijd de herstelwerkzaamheden verder in beslag zullen nemen.

Update geplaatst op 25-06-2019, 01.15 uur
Het technisch team van onze glasvezelleverancier kan de juiste locatie van de schade aan de fiber niet bereiken. Deze locatie bevind zich op een ruw en donker terrein zonder verlichting. Graafwerkzaamheden kan daarom alleen maar meer schade aanbrengen. De reparaties worden morgen ochtend vroeg weer hervat..

Update geplaatst op 25-06-2019, 08.45 uur
Het blijkt dat de mantelbuis waar de glasvezels van BIT en vele andere glasvezels in zitten gedeeltelijk beschadigd is, niet alle vezels zijn doorbroken. Als gevolg hiervan kunnen herstelwerkzaamheden pas in een spoedonderhoud door uitgevoerd worden. Bij deze herstelwerkzaamheden zal de volledige glasvezelbundel doorgeknipt en opnieuw gelast worden, om zo het beschadigde stuk glasvezel ertussenuit te verwijderen. De verwachting is dat dit spoedonderhoud pas komende avond na 20.00 uur kan beginnen, waardoor deze glasvezelverbinding nog geruime tijd onbeschikbaar zal zijn. We willen benadrukken dat alléén klanten die een wavelength tussen genoemde lokaties afnemen directe hinder ondervinden van deze verstoring. Het overige netwerkverkeer is omgeleid via alternatieve routes.

Update geplaatst op 26-06-2019, 23.35 uur
De verbinding is sinds 23.14 uur weer operationeel. We hebben nog geen bevestiging ontvangen van de leverancier dat de herstelwerkzaamheden afgerond zijn, we kunnen daarom nog niet uitsluiten dat er geen nieuwe onderbrekingen plaatsvinden.

Update geplaatst op 27-06-2019, 6.30 uur
De herstelwerkzaamheden waren om 1.40 uur afgerond. Wij hebben sinds 23.14u geen onderbrekingen op de glasvezelverbinding gezien. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At 12.05h an outage started on our fiber connection between BIT-1 and Equinix AM7. This fiber carriers parts of our traffic from BIT to Amsterdam. This traffic was rerouted automatically over other fibers. The disruption may have led to a short disruption of network traffic.
At this moment the cause of this outage is unknown, we're contacting our fiber provider to get more details.


Update placed at 24/06/2019, 13:42
The outage is still under investigation, our fiber provider is looking into the cause of this outage.
Update placed at 24/06/2019, 16:08
Our fiber provider has identified a possible cause of the outage. They will be doing more tests to determine the root cause of the outage.

Update placed at 24/06/2019, 17:37
Cause of the outage is found by our fiber provider. A technical team is on the way to fix the broken fibers.

Update placed at 24/06/2019, 23:15
There are no unused fibers available in the duct. Therefor the broken fibers need to be repaired. We have not received an indication of the time it will take to fix this.

Update placed at 25/06/2019, 01:16
The repair crews of our fiber provider are unable to find the specific location of the damaged area. The location is in a unlit area on a rugged terrain. Digging in the dark can cause more damage so the repairs are on hold till tomorrow morning.

Update placed at 25/06/2019, 08:45
It turns out the fiber duct is partially damaged, resulting in some fibers in the duct being disrupted and some not. As a result, repairs by the fiber provider have to be done in an emergency window, since this will affect the working fibers as well. During the repairs, the entire fiber bundle will be cut and reconnected, removing the damaged part. The emergency maintenance window is expected to start at 20.00h this evening, so this link will remain down for a long time. We want to make clear that the only service affected by this outage is customer wavelengths between these two locations. All other network traffic has been rerouted via other paths.

Update placed at 26/06/2019, 23:40
The link was restored 25 minutes ago. We have not received confirmation from our vendor yet that repair works have been completed, so there's still a chance the fiber will be disrupted again.

Update placed at 26/06/2019, 6:30
The repairs were completed at 1.40h. We have not observed any link flaps on this fiber since 23.15h.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Wij ervaren momenteel een storing op onze storage systemen. De oorzaak en impact zijn nog in onderzoek. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst om 15.45 uur

Bij een standaard wijziging op de systemen zijn onverwachts een groot aantal nodes gecrasht. De oorzaak daarvan is nog onbekend. De nodes recoveren momenteel, maar zo lang ze niet gerecovered zijn, zijn niet alle diensten operationeel.
Update geplaatst op 16.05 uur
De diensten zijn allemaal weer beschikbaar. Er wordt nader onderzocht hoe deze standaard wijziging tot de storing heeft kunnen leiden.
Update geplaatst om 16.15 uur
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

There is a problem with our storage systems. Cause and impact are under investigation. Follow the incident on our website for updates concerning this incident.


Update placed at 15:45h

A great number of nodes crashed completely unexpectedly during a standard change. The cause of that is still under investigation. De nodes are recovering at this moment. But as long as these nodes are not recovered, some services remain unavailable.
Update placed at 16:05h
Alle services are available. Further investigation is taking place to understand why the standard change led to the disruption of the systems.
Update placed at 16:15h
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

5 years ago —

NL

Omstreeks 14.00 heeft zich een onderbreking voorgedaan op de uploadserver die gebruikt wordt voor shared hosting. Engineers zijn bezig het probleem te verhelpen met deze machine. Het is daardoor op dit moment niet mogelijk om wijzigingen aan te brengen aan bestanden op shared hosting via de uploadserver. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 03-05-2019, 15.22
Het probleem met de uploadserver voor shared hosting is opgelost, de machine functioneert weer naar behoren. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.

EN

Around 14:00 hrs there was an interruption on the upload server that is used for shared hosting. Engineers are busy fixing the problem with this machine. Because of this interruption it is not possible to make changes on files on shared hosting via the upload server. Follow the incident on our website for updates concerning this incident. The incident regarding the upload server for shared hosting has be resolved, the machine is functioning as intended again. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Wij ervaren problemen op onze autoritatieve nameservers. Het probleem is in onderzoek. Zodra er meer bekend is, melden we dat op onze website.


Update geplaatst om 13.56 uur
We zien grote hoeveelheden requests naar onze nameservers gestuurd worden. Er wordt onderzocht wat de oorzaak van de sterke stijging in requests is.
Update geplaatst om 14.32 uur
Er komen zo'n 25 keer meer queries binnen dan onze baseline is. Er zijn diverse maatregelen genomen om de overlast te verminderen. Deze maatregelen resulteren in minder overlast. De meeste requests worden afgehandeld, maar met enige vertraging. Dat betekent dat domeinen over het algemeen weer bereikbaar zijn. Het DNS verkeer wordt van DDoS gescrubd. Overduidelijk niet-legitieme hosts worden geblokkeerd en de capaciteit van het DNS platform is opgeschaald. Omdat de requests technisch correct zijn en van bijzonder veel verschillende hosts afkomstig zijn, kunnen deze maatregelen niet alle overlast voorkomen. Onze engineers werken verder aan oplossingen.
Update geplaatst om 16.17 uur
Er zijn verdere maatregelen getroffen, die resulteren in minder overlast, echter is het probleem rondom onze autoritatieve nameservers nog gaande. Onze engineers werken verder aan oplossingen.
Update geplaatst om 17.21 uur
Sinds omstreeks 17.05 is het aantal requests dat we te verwerken krijgen weer op normaal niveau. We houden onze uiteraard onze nameservers in de gaten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Since ~13:25h our authoritative name servers stopped responding to all requests. This incident is under investigation. Updates on this incident will be placed on the website.


Update placed at 13:59h
We notice large quantities of requests on our name servers. The reason for the sharp rise in requests is under investigation.
Update placed at 14:39h
More than 25 times the baseline of DNS requests are being sent. Multiple mitigation measures have been applied. The mitigation is success full. Most requests are being replied, but often with a delay. Domains using our name servers should be available most of the times. DNS traffic is being DDoS scrubbed. Obviously non-legimitate hosts are being blocked. Capacity of the DNS platform has been scaled up. However since the increased amount of requests are technically valid and have a large number of sources, these mentioned counter measures will not prevent all the nuisance. Our engineers are still working on solutions.
Update placed at 16:21h
Further mitigation measures have been applied, these result in less nuisance, but the problem regarding our authoritative nameservers is still ongoing. Our engineers are still working on solutions.
Update placed at 17:24h
Since around 17:05h the number of requests has decreased to the normal level. We will keep an eye on our nameservers. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Om 10.14u is er een korte onderbreking van enkele seconden op ons netwerk geweest. Een aanpassing naar aanleiding van de verstoring van gisteren was noodzakelijk. Impact van deze wijziging was geheel onverwacht. Als gevolg van deze aanpassing was een korte link onderbreking merkbaar voor klanten met een verbinding op leaf-sw5.bit-2a en leaf-sw6.bit-2a.


Update geplaatst op 10-03-2019, 10.31

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At 10:14h we experienced a short disruption of a couple of seconds in our network. Due to the network disruption on our network yesterday a change was necessary. No impact was expected, but the change resulted in a link-flap of all customer uplinks connected to switches "leaf-sw5.bit-2a" and "leaf-sw6.bit-2a".


Update placed on 10-03-2019, 10:32

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Om 14.42 uur is er een korte onderbreking op ons netwerk geweest. De oorzaak en impact ervan worden op dit moment onderzocht.


Update geplaatst op 27-02-2019, 15.04

De storing werd veroorzaakt door een crash van de forwarding-engine op switch "leaf-sw1.bit-2b". De switch heeft zichzelf herstart en na het herstarten waren alle services weer beschikbaar. Klanten met een verbinding op deze switch hebben een onderbreking van enkele minuten bemerkt. Het incident zal verder worden onderzocht samen met onze leverancier.

Update geplaatst op 27-02-2019, 16.03

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At 14:42h we experienced a short disruption of our network. Network engineerd are investigating cause and impact.


Update placed on 27-02-2019, 15.04

This disruption was caused by a crash of the forwarding-engine on our switch in BIT-2B "leaf-sw1.bit-2b". This switch forwarding-engine has rebooted itself. Services recovered after this restart. Customers with an uplink on this switch experienced downtime of a couple of minutes. This incident will be investigated together with our suplier.

Update placed on 27-02-2019, 16:02

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

De storage omgeving voor het shared hosting platform is niet beschikbaar. Engineers hebben dit incident in onderzoek. Zodra er meer over bekend is melden we dat op onze site.


Update geplaatst om 16.24 uur
De storing is verholpen. Het is nog niet bekend wat de oorzaak van het incident is geweest.
Update geplaatst om 16.40 uur
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

The storage of the shared hosting platform is unavailable. Engineers are investigating the incident. Any updates will be published on our website.


Update placed at 16:26h
This incident is resolved. At this moment the root cause of the disruption is unknown.
Update placed at 16:40h
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Zojuist hebben wij een onderbreking ondervonden op ons Shared Hosting platform. Engineers zijn bezig om de reden van de storing te achterhalen. Volg de incidentmelding op onze website voor updates inzake dit incident.



Update geplaatst op 15-02-2019, 18.07

De storing werd veroorzaakt door een probleem aan de file server. Na het herstarten van de file services was deze weer beschikbaar waarop alle services weer beschikbaar zijn

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

A moment ago we experienced a short interruption on our Shared Hosting Platform. Engineers are looking into the reason of this interruption. Follow the incident on our website for updates concerning this incident.


Update placed at 15/02/2019, 18:00


The interruption was caused by the file server which was unreachable for a short period of time. The problem on the file server is resolved after restarting the filer services.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.T

6 years ago —

NL

Op een aantal plaatsen in serverruimte BIT-2B loopt de temperatuur licht op. Datacenter engineers hebben het probleem in onderzoek. Zodra hier meer over bekend is melden we dat op onze site.


Update geplaatst om 12.42 uur
De temperatuur in de ruimte is inmiddels op alle plaatsen weer conform specificaties.
Update geplaatst om 13.12 uur
Het incident is veroorzaakt door een defect dat optrad tijdens gepland onderhoud. Het incident is opgelost.

Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

In some parts of server room BIT-2B we experience a limited temperature increase. Datacenter engineers are investigating the issue. As soon as more information is available we will update this incident.


Update placed at 12:42h
The temperature in all areas of the server room is back within specifications.
Update placed at 13:12h
The incident was the result of a malfunction during planned maintenance.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Omstreeks 08.00u is onze router in Frankfurt op voor ons nog onverklaarbare wijze onbereikbaar geworden. Engineers van BIT hebben dit voorval in onderzoek.

Het wegvallen van de router kan voor een kortstondige onderbreking in de internetverbindingen hebben gezorgd.

Volg de incidentmelding op onze website voor updates inzake dit incident.
Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


Update geplaatst op 05-02-2019, 10.34

De onderbreking is nog niet opgelost. De leverancier van deze verbinding is aan het onderzoeken wat de oorzaak kan zijn van de onderbreking.


Update geplaatst op 05-02-2019, 11.05

De leverancier van deze verbinding heeft bevestigd dat de link is onderbroken. Ze hebben technici op pad gestuurd voor onderzoek.
Update geplaatst op 05-02-2019, 17.15

De leverancier heeft de lokatie van de breuk vastgesteld. De glasvezelbreuk is veroorzaakt door graafwerkzaamheden. Inmiddels is er begonnen met herstelwerkzaamheden, maar deze zullen nog wel enige tijd kosten.
Update geplaatst op 05-02-2019, 21.37

Sinds 21.11 uur is de verbinding weer hersteld. Wij hebben echter nog geen bevestiging ontvangen van de leverancier dat de herstelwerkzaamheden afgerond zijn.
Update geplaatst op 05-02-2019, 21.59

Onze leverancier heeft bevestigd dat de herstelwerkzaamheden afgerond zijn.


EN

At approximately 08.00h in the morning, our router in Frankfurt became unreachable. We're currently not aware of the cause of this, but engineers from BIT are investigating this.

The router becoming unreachable might have caused a short disruption of internet services.
Follow the incident on our website for updates concerning this incident.

If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.


Update placed at 05/02/2019, 10.34

Frankfurt is still unreachable. The fiber provider is investigating a possible service interruption which may be impacting this connection.


Update placed at 05/02/2019, 11.08

The fiber provider has confirmed that there is a outage. The provider send out a team to investigate the problem.

Update placed at 05/02/2019, 17.15

The fiber provider has determined that the outage is due to a fiber damaged by excavation works. The provider is currently on site and is working on repairing the fiber. This will take a substantial amount of time.

Update placed at 05/02/2019, 21.39

Since 21.11h connectivity has been restored. We have however not received a confirmation from our connectivity provider yet that restoration works have been completed.

Update placed at 05/02/2019, 21.59

Our connectivity provider has confirmed that restoration has been completed.

6 years ago —

NL

Tussen 09.53 en 10.03 is de temperatuur in BIT-2D lager geweest dan toegestaan volgens de SLA. Dit was het gevolg van de maandelijkse controle van de brandmeldinstallatie. Gedurende de periode dat de brandmeldcentrale 'brand' meldt gaat de koeling van BIT-2D volledig over op recirculatie. Op het moment dat de brandmeldcentrale niet langer 'brand' meldt gaat de koeling over op maximaal koelen. Dit was in combinatie met de huidige lage buitentemperatuur te veel van het goede. Er wordt overlegd met de leverancier van de koelinstallatie om deze situatie in de toekomst te voorkomen. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Between 09:53 and 10:03 the temperature in BIT-2D was lower than allowed accorindg to SLA. This was the consequence of the monthly check of the fire alarm system. During the period that the fire alarm system reports 'fire' the cooling system in BIT-2D is working fully in recirculation mode. As soon as the fire alarm system does no longer report 'fire' the cooling system in BIT-2D switches to maximum cooling mode, this combined with the low outside temperatures resulted in too low temperatures in BIT-2D. We are consulting with our supplier of the cooling installation to prevent this situation in the future. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Rond 9.00 uur is er een onderbreking van ongeveer 30 seconden geweest op een deel van ons netwerk.  Klanten met verbindingen op zowel het nieuwe (Arista) netwerk als verbindingen die nog niet naar het nieuwe netwerk zijn gemigreerd hebben hier hinder van ontvangen. Verstoring van een redundante koppeling tussen het oude en nieuwe netwerk heeft de onderbreking veroorzaakt. Er wordt nog onderzocht wat de onderliggende oorzaak van deze onderbreking was.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

Around 9:00h a part of our network was not available for the duration of 30 seconds. Customers with both uplinks on the new (Arista) network and uplinks that are not migrated to the new network were hit by this incident. A redundant connection between the old and the new network was interrupted. The reason for this interruption is still under investigation.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Om 3.12 uur is er een onderbreking opgetreden aan de glasvezelverbinding tussen BIT-1 en Equinix AM7. Over deze glasvezelverbinding wordt een deel van het verkeer van BIT naar Amsterdam getransporteerd. Dit verkeer is automatisch omgeleid via alternatieve paden. De onderbreking van deze verbinding kan een kortstondige verstoring van netwerkverkeer opgeleverd hebben. Om 3.26 uur is de verbinding automatisch hersteld. Klanten met een eigen wavelength via BIT op dit pad zullen gedurende het genoemde tijdsvenster een onderbreking gehad hebben.

De oorzaak van de onderbreking is op dit moment onbekend. Wij gaan contact opnemen met onze glasvezelleverancier om deze te achterhalen.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At 3.12h an outage started on our fiber connection between BIT-1 and Equinix AM7. This fiber carriers parts of our traffic from BIT to Amsterdam. This traffic was rerouted automatically over other fibers. The disruption may have led to a short disruption of network traffic. At 3.26h the connection was restored. Customers operating their own DWDM wavelength on this path will have observed an outage in this time window. At this moment the cause of this outage is unknown, we're contacting our fiber provider to get more details.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

Fixed
6 years ago —

NL

Wij zien op dit moment een verstoring in ons core netwerk. De oorzaak en exacte impact wordt op dit moment onderzocht. Wij houden de status van deze storing bij op https://www.bit.org.


Update geplaatst om 07.43
Het incident is opgelost. Het verloop van het incident kunt u teruglezen op www.bit.org. Er zal een RFO over dit incident geschreven worden en die zal op www.bit.nl geplaatst worden. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


Update geplaatst op 24-12-2018, 14.54
De RFO betreffende deze storing vindt u hier.

EN

We're currently observing network connectivity problems. Exact cause and impact are under investigation. Updates regarding this incident can be found on https://www.bit.org.


Update placed at 07:46h
The incident has been resolved. This incident timeline can be found on www.bit.org. A RFO on this incident will be publshed on www.bit.nl. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.


Update placed at 24/12/2018, 14:56
The RFO regarding this network interruption can be found here.

6 years ago —

NL

Omstreeks 15.43 ontvingen wij de eerste berichten dat het netwerk van BIT niet bereikbaar was, dit bleek na uitvragen vooral vanuit het netwerk van KPN en Tele2 te zijn.

In een poging om het probleem op te lossen hebben we omstreeks 15.56 een filter op onze transit gezet met KPN. Dit bleek het probleem niet te verhelpen.

Na verder troubleshooten bleek dat om 15.36 een van de partijen waar wij mee peeren ruim 6000 prefixes onterecht had geadverteerd (BGP Hijack) op een van de twee peeringsessies die wij met hen hebben. Deze partij kon echter dat verkeer niet afhandelen waardoor wij voor onder andere KPN en Tele2 niet meer bereikbaar waren en andersom. Omstreeks 16.10 hebben wij de peeringsessies met deze partij geshut waarna de netwerken weer bereikbaar werden via de correcte paden.

Er is ondertussen ook contact geweest met deze peeringpartij en die heeft de configuratiefout hersteld.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 15:43 we received the first calls that the network from BIT was not available. After asking it was primarily the case from the network of KPN and Tele2.

In an attempt to solve this problem we have placed a filter around 15:56 on our transit with KPN. This did not solve the problem.

After further troubleshooting we found that at 15:36 one of our peering parties has unjustified advertised (BGP Hijack) over 6000 prefixes on one of two peeringsessions that we have with them. This party could not handle the traffic, which resulted that we were not available for KPN, Tele2 and other parties and vice versa. Around 16:10 we have shut the peeringsessions with this party. After that the networks became available again via the correct paths.

In the meantime we had contact with this peeringparty and they have fixed the configuration error.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Door nog onbekende redenen is de verbinding tussen onze apparatuur in Ede en Londen verbroken. Verkeer wordt automatisch omgeleid via andere paden, maar het kan een korte tijd duren voor deze nieuwe routes op het gehele internet bekend zijn. Het is hierdoor mogelijk dat er packetloss ervaren wordt tot de routes overal opnieuw bekend zijn.


Update geplaatst op 26-11-2018, 16.48u
Sinds 16.40u is de verbinding hersteld. Wij wachten nog op reactie de leverancier van deze verbinding voor een verklaring van de verstoring.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Due to a unknown cause we lost connectivity between our equipment in Ede and London. Network traffic is being rerouted, but until new routes are known across the internet some packetloss can be observed.


Update placed at 26-11-2018, 16:50h
The connection has been restored at 16.40h. We're awaiting a response from our fiber provider for the cause of this outage.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Na het uitgelopen onderhoud van heden ochtend, 22 november, is ons NetApp shared storage platform helaas nog niet redundant. De opslag zelf is wel redundant over de datacenters, echter is een van de controllers die de storage aanbieden en waar er normaalgesproken twee van actief zijn op dit moment nog offline. Engineers van BIT zijn bezig om deze controller weer online te krijgen. De verminderde redundantie heeft geen impact op de performance of algehele werking van de shared storage.
Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 22-11-2018, 17.30
Op dit moment is een van de twee controllers nog offline. Wij zijn bezig met leveranciers om dit probleem op te lossen. Zodra wij meer informatie hebben zullen wij de storingsmelding bijwerken.
Update geplaatst op 23-11-2018, 17.15
Vervangende hardware wordt 26-11-2018 verwacht. Zodra wij meer informatie hebben zullen wij de storingsmelding bijwerken.
Update geplaatst op 26-11-2018, 17:01
Vervangende hardware is geinstalleerd en het cluster is weer redundant.


EN

After the extended maintenance of this early morning, the 22nd of November, our NetApp shared storage platform is currently not fully redundant. The storage itself is redundant between the datacenters but one of the controllers that supply the storage interface to clients, of which normally two are active, is currently still down. Engineers are working on getting the other controller back online again. The controller redundancy should not affect the performance or operation of the shared storage services provided.

Follow the incident on our website for updates concerning this incident.


Update placed at 22/11/2018, 17:30
At this moment one out of two controllers is still offline. We are in contact with suppliers to solve this problem. As soon as we have more information, we will update this incident.
Update placed at 23/11/2018, 17:15
Replacement hardware is expected to arrive at 26/11/2018. As soon as we have more information, we will update this incident.
Update placed at 26/11/2018, 17:01
Replacement hardware is installed and the cluster is redundant again.

6 years ago —

NL

Een storing op ons NetApp cluster veroorzaakt onbereikbaarheid van diverse diensten. Oorzaak en volledige impact zijn op dit moment nog niet bekend. Engineers van BIT brengen dit nu in kaart. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst om 13.00
Virtual machines met shared NFS storage en de NFS storage dienst worden geraakt door deze storing. De oorzaak ervan is nog in onderzoek.
Update geplaatst om 13.07
Een NetApp takeover wordt voorbereid om de NFS dienst naar de andere head te brengen.
Update geplaatst om 13.18
De takeover heeft de NFS diensten weer bereikbaar gemaakt. Klanten waarvan hun dienst nog niet beschikbaar is vragen wij vriendelijk om contact met ons op te nemen.
Update geplaatst om 13.56
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.
Update geplaatst om 15.45
Het incident doet zich wederom voor, waardoor Virtual Machines met shared NFS storage en de NFS storage dienst hinder ondervinden. Dit probleem wordt verder onderzocht.
Update geplaatst om 17.45
Dit probleem is nog in onderzoek. Zodra wij meer informatie hebben omtrent deze storing zullen wij deze storingsmelding bijwerken.
Update geplaatst om 20.45
Het NetApp cluster is sinds +/- 17.30u stabiel en volledig operationeel. Er wordt nog steeds onderzocht wat de oorzaak van de verstoring is. Engineers blijven het cluster actief monitoren op onregelmatigheden.


Update geplaatst om 10.30
Ons NetApp cluster is sinds gistermiddag 17.30 stabiel en volledig operationeel en performance was sinds gisteravond 22.30 weer zoals gewenst. Ons sterke vermoeden is dat de problemen zijn ontstaan door gelijktijdige acties van BIT en klanten. Wij zullen diensten die wij aanbieden via dit NetApp cluster de komende tijd migreren naar ons CEPH cluster.
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

An incident on our NetApp cluster causes problems on a range of services. Root cause and impact is unknown at this moment. Engineers are working on this issue. Follow the incident on our website for updates concerning this incident.


Update placed at 13:00
Virtual machines with shared NFS storage and the NFS storage service are affected. The cause of the problem is under investigation.
Update placed at 13:07
A NetApp take over is being prepared which should move the NFS service to a diferent head.
Update placed at 13:18
The take over has solved the unavailability of the NFS services. Please contact us when you still experience problems with your service(s).
Update placed at 13:57
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.
Update placed at 15:45
The problem reappeared, virtual machines with shared NFS storage and the NFS storage service are affected. The cause of the problem is under investigation.
Update placed at 17:45
The cause of the problem is under investigation. As soon as we have an update we will update this incident
Update placed at 20:45
The NetApp cluster has been stable and fully operational since ~17:30h. Engineers are still working on a root cause analysis and will continu to actively monitor the cluster.


Update placed at 10.30
The NetApp cluster has been stable and fully operational since yesterday ~17:30h and the performance has been as expected since ~ 22:30h. We strongly expect that the problems have occured because of simultanious actions from BIT and customers. We will migrate our services that we supply via this NetApp cluster to our CEPH cluster during the coming time.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

In BIT-1 is er sinds gisteren in bepaalde delen van de ruimte een beperkte temperatuurstijging geweest. Deze stijging werd veroorzaakt door een manco aan de koelinstallatie. Deze stijging is niet eerder opgemerkt omdat de temperatuursensors die voor monitoring gebruikt worden op plaatsen hangen waar het voldoende koel is gebleven. De reparatie aan de koelinstallatie is in gang gezet waardoor de temperatuur op korte termijn overal weer in orde zal moeten zijn. Daarnaast wordt de monitoring op temperatuurwijzigingen uitgebreid met extra sensors die al aanwezig zijn in de ruimte. Dit incident krijgt een update zodra de installatie weer volledig correct functioneert en de temperatuur overal in de ruimte normaal is.


Update geplaatst om 11.35 uur
De koelinstallatie is gerepareerd en de temperatuur is weer conform specificaties in het datacenter.
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Certain area's in BIT-1 have seen a temperature rise since yesterday. This fluctuation is caused by a defect in the cooling installation. The change in temperature was not noted by our monitoring system because the sensors used for monitoring are located in area's where the temperature has nor risen. Engineers have repaired the installation and the temperature is now as it should be. We will extend the monitoring system with extra sensors that are already available in the datacenter.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Om 10.04 uur vond een onverwachte overschakeling tussen de actieve en standby loadbalancers plaats. Dit kan een kleine onderbreking in loadbalanced diensten van BIT en van klanten die loadbalancing via BIT afnemen opgeleverd hebben. De exacte oorzaak hiervan is nog in onderzoek.


Update geplaatst op 04-10-2018, 11.34

De load balanced diensten zijn weer operationeel. Er is een case geopend bij onze leverancier.


EN

At 10:04 pm there was an unexpected failover between our active and our standby loadbalancer. This failover might have led to short disruption of the services behind these load balancers. Our engineers are trying to find the root cause of the failover.


Update placed at 04/10/2018, 11:39

Load balanced services are operational. We have opened a case with our supplier for investigation.

6 years ago —

NL

Rond 14.46 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke overlast op een deel van ons netwerk geleid hebben. De DDoS is om 14.47 uur succesvol gemitigeerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 14.46h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack was successfully mitigated around 14.47h.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Als gevolg van defecte hardware in ons netwerk kan (een deel) van onze klanten een onderbreking van circa 1 minuut rond 11.20 uur ervaren hebben in de internettoegang. Het hardware falen wordt verder onderzocht door onze engineers.


Update geplaatst om 13.31
Het component dat voor het probleem zorgde, wordt nader onderzocht. Er wordt geen extra impact op het netwerk verwacht.
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 11:20h a module in our network unexpectedly failed. A number of our customers might have experienced interruptions in their internet access that lasted at most 1 minute. The hardware failure is under investigation.


Update placed at 13:33
The module will be closely examined by our engineers. No further impact on the network is expected.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Rond 15.06 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke overlast op een deel van ons netwerk geleid hebben. De DDoS is om 15.08 uur succesvol gemitigeerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 15.06h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack was successfully mitigated around 15.08h.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

De shared storage systemen van BIT zijn tijdelijk langzaam geweest. Onder andere op webmail.bit.nl heeft dit tussen 10.45 en 10.51 uur mogelijk voor wat overlast gezorgd. Deze overlast is imiddels verholpen.


Update geplaatst om 12.27
De verminderde performance is veroorzaakt door een wijziging die doorgevoerd werd in het netwerk. Er zal nader onderzoek uitgevoerd worden om te achterhalen waarom deze wijziging voor problemen op shared storage zorgde.
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

The shared storage systems of BIT experiences some problems between 10:45 and 10:51h. Virtual machines and webmail.bit.nl might have seen some performance issues. This problem is fixed by now.


Update placed at 11:30
The performance issues on shared storage were caused by a change in the network. Further investigations will have to show why this change caused a problem for shared storage.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Vanaf omstreeks 14.45 hebben wij een aantal onderbrekingen gezien met NL-ix. Op dit moment lijkt het weer stabiel, mocht het echter nogmaals optreden zullen wij de verbindingen met NL-ix dichtzetten.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 07-09-2018, 15.50
Wij hebben bericht ontvangen vanaf NL-ix dat het probleem is opgelost.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

From around 14:45 we have detected multiple interruptions with NL-ix. At this moment it seems to be stable, if it happens again we will shut the connections with NL-ix.

Follow the incident on our website for updates concerning this incident.


Update placed at 07/09/2018, 15:50
We received feedback from NL-ix that the issue is resolved.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Omstreeks 14.52 is een van de twee filers voor shared storage onbereikbaar geraakt. De oorzaak van het onbereikbaar raken van deze filer wordt nog onderzocht door onze engineers, hiervoor volgt nog spoedonderhoud. De andere filer heeft succesvol een takeover gedaan, waardoor er geen merkbare impact hoort te zijn voor de gebruikers van onze shared storage dienst. Dit betekent wel dat er op dit moment geen redundantie is voor shared storage. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 04-09-2018, 17:45
De benodigde acties worden uitgevoerd tijdens spoedonderhoud, aangezien dit gedaan wordt aan een stabiele niet redundante situatie.
Update geplaatst op 05-09-2018, 01.56
Het spoedonderhoud is succesvol uitgevoerd. De kapotte hardware is vervangen en de diensten zijn weer redundant.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 14:52 one of two filers for shared storage has become unavailable. Our engineers are investigating the cause for this unavailability, emergency maintenance will follow. The other filer has done a successful takeover, therefor there should be no noticable impact for users of our share storage service. This does mean that there is no redundancy for shared storage at this moment. Follow the incident on our website for updates concerning this incident.


Update placed at 04/09/2018, 17:45
We will perform the necessary actions during emergency maintenance, because this will be done on a stable but not redundant situation.
Update placed at 04/09/2018, 01:56
The defect hardware is replaced an the filer is back online. The services are back at full redundancy now.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Op dit moment ervaren wij een storing op onze inkomende telefoonlijnen. De oorzaak van deze storing is in onderzoek. U kunt ons via e-mail (info@bit.nl) en chat (het icoontje rechtsboven op https://www.bit.nl/) bereiken. Zodra er meer bekend is over dit probleem, melden we dat op onze site.


Update geplaatst om 12.08 uur
De storing wordt veroorzaakt door onze upstream SIP provider. Klanten met een VoIP dienst van BIT zullen ook last hebben van deze storing.
Update geplaatst om 13.17 uur
De telefoonlijnen zijn weer bereikbaar. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Our incoming telephone lines are not available at this moment. The cause of this incident is under investigation. You can contact us by email (info@bit.nl) and chat (the upper-right icon on https://www.bit.nl/). This incident will be updated on the site when more information becomes available.


Update placed at 12:09h
This disturbance is caused by a problem at our upstream SIP provider. Customers with a BIT-VoiP account will experience difficulties as well. Update placed at 13:15h
Our phone lines are available. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Klanten met een uplink op leaf switch 1 in BIT-2C kunnen bereikbaarheidsproblemen ervaren naar een deel van het internet. De oorzaak van deze storing is in onderzoek. Tijdens dit onderzoek is één van de transitproviders uitgeschakeld waardoor alle klanten kortstondig wat packetloss naar delen van het internet hebben kunnen ervaren. Die packetloss is inmiddels weer verdwenen. Zodra er meer bekend is over de oorzaak van de problemen op de switch in BIT-2C wordt dat op de site gemeld.


Update geplaatst om 17.01
De overlast op de switch in BIT-2C is verdwenen door één van de redundante paden naar die switch uit te schakelen. Er wordt verder onderzocht hoe de switch weer redundant aan het netwerk verbonden kan worden.
Update geplaatst om 17.15
Er wordt overlegd met de vendor van de switch om dit probleem verder te debuggen. Tot die tijd zal de switch enkelvoudig verbonden zijn met de rest van het netwerk. Er is geen overlast meer voor klanten.
Update geplaatst op 3 augustus om 11.15
Samen met onze leverancier is informatie verzameld en zijn aanknopingspunten gevonden die de richting van de oorzaak aangeven. Er zijn aanpassingen gedaan die de overlast op de switch verholpen hebben, waardoor deze nu ook weer volledig redundant aangesloten is op het netwerk. We verwachten dat we een verdere analyse van dit probleem zonder overlast voor klanten kunnen uitvoeren. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Customers with an uplink on leaf switch 1 in BIT-2C might experience connectivity issues to parts of the internet. The root cause is still under investigation. During this investigation one of the transit providers has been switched off, all customers might have experienced some packetloss to parts of the internet. This packetloss has been resolved. As soon as more information is available regarding the issue on the switch in BIT-2C we will update our site.


Update placed at 17.05
The connectivity issues on the switch in BIT-2C have been resolved by disabling one of the redundant connections to that switch. Further investigation is necessary to determine how to reconnect the switch redundantly to the network.
Update placed at 17.17
Further debugging will be done in consultation with the switch vendor. Until that has been finished the switch will have a single uplink to the rest of the network. There are no connectivity issues for customers anymore.
Update placed on August 3th at 11.55
Debugging with the vendor has lead to clues what has caused the problem. Changes has been made that solve any problems for customers on this switch. Furthermore redundancy in connections to the network has been restored. Further investigation is needed but this we do not expect any further hindrance for customers.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Omstreeks 12.07 heeft zich een kortstondige onderbreking voorgedaan aan de koeling van BIT-2BCD. Deze korte onderbreking werd veroorzaakt door een stroomdip op het lichtnet, die tot gevolg had dat de koelmachines herstartten. Dit heeft weer tot gevolg gehad dat de temperatuur op sommige plekken in BIT-2B en BIT-2C korte tijd maximaal enkele graden hoger is geweest dan gebruikelijk op die plekken. Inmiddels zijn alle temperaturen weer op normaal niveau.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At 12:07 there was a short disruption of the cooling for BIT-2BCD. This short disruption was triggered by a powerdip on the power grid, which caused the chillers for BIT-2BCD to reset. As a result the temperature in some places in BIT-2B and BIT-2C has been increased by a few degrees at most for a short period of time. By now, all temperatures are back to normal.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Rond kwart over twee is de netspanning weggevallen. De noodstroominstallaties hebben deze onderbreking opgevangen. Tijdens het schakelen naar noodstroom is de koelinfrastructuur, zoals ontworpen, kortstondig uit geweest. De koelinfra wordt gevoed door de aggregaten zonder tussenkomst van UPS-sets. Als gevolg hiervan is de temperatuur kortstondig met maximaal enkele graden verhoogd geweest. Inmiddels is de temperatuur in alle ruimtes weer op regulier niveau. De netspanning is terug en de datacenters zijn teruggeschakeld naar netspanning.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around a quarter past two utility power was disrupted. The emergency power installations worked as designed and provided power to all datacenters. During the switch to emergency power our cooling infrastructure was offline shortly, which is by design. The cooling infrastructure is only powered by the generator sets, not by batteries. As a result of the short downtime of the cooling infrastructure, temperatures in the datacenters have been increased by a few degrees for a short period of time. At this moment, temperatures are back to normal, the utility power has returned and the datacenters have switched back.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

6 years ago —

NL

Tijdens de halfjaarlijkse black building test is datacenter BIT-2C spanningsloos geworden. Op dit moment wordt weer teruggeschakeld naar netspanning om het datacenter weer zo spoedig mogelijk weer online te krijgen.

Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


Update placed at 09.15

De UPS-en in de serverruimte zijn in bypass gezet, hierdoor is er weer stroom beschikbaar. Apparatuur die niet opstart wordt door medewerkers van BIT ingeschakeld.
Update geplaatst om 09.23
De leverancier van de UPS-en is onderweg om onderzoek te doen naar de UPS-en. Alle apparauur wordt weer ingeschakeld. Mocht uw apparatuur ingeschakeld moeten worden neemt u dan contact met ons op.
Update geplaatst om 09.37
Rond 11.00 uur wordt de leverancier op locatie verwacht. Mocht uw apparatuur ingeschakeld moeten worden of anderzins aandacht nodig hebben, neemt u dan contact met ons op op 0318-648688.
Update geplaatst om 10.09
Mocht uw apparatuur nog niet beschikbaar zijn neemt u dan contact op ons op als u rechtstreeks klant bent bij BIT. In andere gevallen neemt u contact op met de hoster van uw apparatuur.
Update geplaatst om 10.41
De leverancier van de UPS'en wordt om 11.15 uur verwacht. Mocht uw apparatuur ingeschakeld moeten worden of anderzins aandacht nodig hebben, neemt u dan contact met ons op op 0318-648688.
Update geplaatst om 11.27
De leverancier van de UPS'en is gearriveerd en samen wordt onderzocht wat de oorzaak van de storing is geweest. Uiteraard volgt er een RFO over dit incident zodra voldoende bekend is over oorzaak. Die RFO zal op onze website gepubliceerd worden.
Update geplaatst om 16.56
De individuele batterijen van de UPS'en zijn gecontroleerd en we hebben besloten om een aantal van de batterijen te vervangen voordat de UPS'en uit bypass modus gehaald worden. Er is nog geen planning hiervoor beschikbaar, zodra dat wel het geval is updaten we deze incidentmelding.
Update geplaatst om 17.33
De vervangende batterijen zijn gearriveerd.
Update geplaatst om 23.11
De nieuwe batterijen zijn geplaatst en worden momenteel gemonteerd.
Update geplaatst op 13-06-2018 om 01.52
De batterijsets van beide UPS'en zijn uitgebreid getest en daarna terug in bedrijf genomen. Aan het einde van de middag zal de RFO over dit incident gepubliceerd worden.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.
Update geplaatst op 13-06-2018 om 17.45
De RFO over dit incident is beschikbaar en kan gedownload worden via deze link.


EN

During the black building test the power went out in server room BIT-2C. The incident is under investigation. Follow the incident on our website for updates concerning this incident.


Update placed at 09:15
The UPS's in BIT-2C are bypassed. Power is available again. Equipment that has not booted yet will be powered on by BIT employees.
Update placed at 09:23
The supplier of the UPS's is on his way to investigate the UPS's. All equipment is being turned on at the moment. When your equipment is not available yet, please contact us at +31 318 648688 so we can turn your machine(s) on.
Update placed at 09:37
The supplier is expected to arrive around 11:00h. When your equipment is not available yet and needs to be powered on or otherwise needs attention, please contact us at +31 318 648688.
Update placed at 10:12
Please contact us when your equipment is not available yet and you are a direct customer of BIT. Please contact your hoster when you are not a direct customer of BIT.
Update placed at 10:44
The UPS supplier is expected to arrive at 11:15h. When your equipment is not available yet and needs to be powered on or otherwise needs attention, please contact us at +31 318 648688.
Update placed at 11:30
The UPS supplier has arrived. Together we investigate the cause of the incident. As soon as more information is available a RFO will be made and published on our website.
Update placed at 16:58
The individual batteries within each UPS have been checked. We have decided to replace some of these batteries before we switch from bypass mode to normal mode. The planning for this is not available yet, as soon as it is we will update this incident..
Update placed at 17:34
The replacement batteries have arrived.
Update placed at 23:12
The new batteries have been placed and are being assembled at this moment.
Update placed at 2018-06-13 01:46
Battery sets of both UPS'es have been extensively tested and the UPS'es have been switched to normal mode. At the end of the day the RFO of this incident will become available.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

Fixed
6 years ago —

NL

We hebben een netwerkstoring ondervonden. Aangezien https://www.bit.nl niet bereikbaar was hebben wij een melding geplaatst op https://www.bit.org.

Volg de incidentmelding op https://www.bit.org voor updates inzake dit incident.


EN

We experienced a network interuption. Because https://www.bit.nl was not available we placed an incident on https://www.bit.org.

Follow the incident on https://www.bit.org for updates concerning this incident.

6 years ago —

NL

Omstreeks 16.27 heeft zich een kortstondige onderbreking voorgedaan aan de koeling van BIT-2BCD. Deze korte onderbreking werd veroorzaakt door een stroomdip vanuit het net. De stroomdip heeft fasebewaking getriggerd van de koelmachines van BIT-2BCD, waardoor deze koelmachines uitgeschakeld werden. Dit heeft weer tot gevolg gehad dat de temperatuur op sommige plekken in BIT-2B en BIT-2C hoger is geweest dan gebruikelijk op die plekken. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 18-05-2018, 16.50
Door collega's zijn de koelmachines omstreeks 16.28 handmatig ingeschakeld. Er wordt door BIT onderzocht hoe een dergelijke situatie voorkomen kan worden.
Update geplaatst op 18-05-2018, 17.05
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Around 16:27 there was a short disruption of the cooling for BIT-2BCD. This short disruption was triggered by a powerdip from the power grid. The powerdip triggered phase monitoring of the chillers for BIT-2BCD, which causes that the chillers where shut down. As a result the temperature in some places in BIT-2B and BIT-2C has been higher than normally on those places. Follow the incident on our website for updates concerning this incident.


Update placed at 18/05/2018, 16:50
Colleagues have manually switched on the chillers around 16:28. BIT is researching how we can prevent an incident like this.
Update placed at 18/05/2018, 17:05
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Vanaf 23:00 uur is de glasvezelverbinding naar Londen en Frankfurt onderbroken. Verkeer via die verbindingen kan hier kort hinder van hebben ondervonden totdat nieuwe paden gekozen zijn.


Update geplaatst op 26-04-2018, 23.43u
Er zijn bij ons geen onderhoudswerkzaamheden bekend die deze onderbrekingen tot gevolg kunnen hebben. Er is contact gezocht met de leverancier van deze verbindingen. Deze heeft bevestigd dat er bij hun geen onderhoud bekend is en heeft de storing in onderzoek genomen. Zodra zij hierover terugkoppeling gegeven hebben zullen wij dit hier melden.

Update geplaatst op 27-04-2018, 01.23u
De verbindingen zijn hersteld sinds 27-04-2018, 00.33u.
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Since 23:00h we experience a disruption on our fibers to London and Frankfurt. Traffic going through these connections might have experienced short hindrance while new paths are being evaluated.


Update placed at 26/04/2018, 23h43
We are not aware of any planned maintenance activities which can disrupt these connections. We have contacted our supplier, they have confirmed that no planned maintenance is scheduled, and thus they are currently investigating the cause of this outage. We will provide an update once we have received an update from our supplier.



Update placed at 27/04/2018, 01h11
Service has been restored since 00:33h

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Het is op dit moment niet mogelijk om virtual machines te beheren (start/stop/reboot/vnc) via portal.bit.nl. De virtual machines zelf zijn wel actief en bereikbaar. Engineers van BIT zijn bezig dit probleem op te lossen.


Update geplaatst op 04-24-2018, 00.35 uur
Het probleem is verholpen. De virtual machines zijn weer via de portal te beheren.


Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At this moment we are having an issue that virtual machines are not manageable via our portal.

The virtual machines themselves are active and accessible. BIT engineers are investigating this issue.


Update placed at 04/24/2018, 00:35
The virtual machines are manageable through the portal again. The issue has been resolved.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

Fixed
7 years ago —

NL

Op dit moment ondervinden wij problemen in ons netwerk. De oorzaak van dit probleem wordt op dit moment onderzocht.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst om17.53 uur
De verstoring heeft niet langer dan vier seconden geduurd voor slechts een deel van ons netwerk. De storing werd veroorzaakt door een network burst op het nieuwe netwerk die wat overlast gaf op het oude netwerk.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At this moment we experience an interuption in our network.

Follow the incident on our website for updates concerning this incident.


Update placed at 17:47
The disruption did not last longer than 4 seconds and only for a small part of our network. The disruption was the result of a network burst on the new network that caused some problems on the old network.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Rond 12.13 uur is er een verstoring ontstaan voor een deel van de virtuele machines die aan klanten geleverd worden. Om 12.18 uur zijn deze machines weer bereikbaar geworden. De oorzaak van de verstoring is in onderzoek. Zodra hier meer over bekend is, wordt dit op onze website gemeld.


Update geplaatst om 13.29
De verstoring is veroorzaakt door een menselijke fout. Bij een wijziging op het netwerk ten behoeve van storage die zonder impact zou moeten zijn, is er een fout gemaakt waardoor een aantal VM's een aantal minuten zonder disk kwam te zitten.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At 12:13h some of the virtual machines for customers became unavailable. At 12:18h these machines became responsive again. The cause of this outage is being researched. As soon as more info becomes available, this incident notice will be updated.


Update placed at 13:33
The disruption was caused by human error during a change. The change on the network configuration for storage was supposed to be non-impacting. A human error did cause some impact; for several minutes some of the virtual machines lost their disk.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Er heeft zojuist een korte onderbreking plaatsgevonden op een van de koppelingen tussen ons huidige en het nieuwe netwerk. Door deze onderbreking kon vanuit ons nieuwe netwerk ons huidige netwerk niet bereikt worden en ook de rest van het internet was enkele seconden niet bereikbaar vanuit ons nieuwe netwerk. Dit had weer tot gevolg dat in sommige gevallen een onderbreking van enkele seconden ervaren kon worden, op diensten van BIT geleverd vanuit het nieuwe netwerk. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

A short interuption has occured on one of the connections between our current and our new network. Because of this interuption it was not possible to reach our current network from within our new network and it was also not possible to reach the rest of the internet from within our new network. The result of this was that in some cases an interuption of a few seconds could be experienced, on services from BIT provides from within our new network. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

Fixed
7 years ago —

NL

Op dit moment ondervinden wij problemen in ons netwerk. De oorzaak van dit probleem wordt op dit moment onderzocht. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 14-03-2018, 15.50
De onderbreking werd veroorzaakt doordat de routing daemons op onze beide corerouters gelijktijdig zijn gecrasht. Wij schieten een hoge prioriteitscase in bij de leverancier van onze routers. Op dit moment zien wij geen onderbrekingen meer in ons netwerk.
Update geplaatst op 14-03-2018, 17.30
Er is een case aangemaakt bij onze leverancier met hoge prioriteit. Er volgt nog een RFO van deze storing, die wij via de gebruikelijke weg zullen publiceren Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.
Update geplaatst op 16-03-2018, 11.33
De RFO voor het netwerkincident van 14 maart 2018 is hier beschikbaar. Mocht u naar aanleiding van deze RFO vragen hebben, dan kunt u contact opnemen met onze afdeling customer care via 0318-648688 of support@bit.nl.

EN

At this moment we experience an interuption in our network. Follow the incident on our website for updates concerning this incident.


Update placed at 14/03/2018, 15:50
The cause of the network interuption was that the routing daemons on both our core routers have crashed simultaneously. We will open a high priority case at the supplier of our routers. At this moment we do not see interuptions in our network
Update placed at 14/03/2018, 17:30
The high priority case has been created with our supplier. A RFO about this interuption will be published via the usual channel. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.
Update placed at 16/03/2018, 11:33
The RFO for the network incident on March 14th is available in Dutch here. For any questions relating to this RFO, you can contact our customer care department on +31(0)318-648 688 or support@bit.nl.

7 years ago —

NL

Onze telefonieleverancier heeft aangegeven last te hebben van een storing. Tijdens al tot stand gekomen inkomende gesprekken, kunt u als beller naar BIT hinder ervaren door ontbrekende audio. BIT, als ontvanger, ervaart tijdens het tot stand gekomen gesprek geen hinder door ontbrekende audio. Onze leverancier heeft de storing in onderzoek. We verwachten op korte termijn een statusupdate te kunnen geven van deze storing.

Mocht u vragen hebben over dit onderhoud, dan kunt u contact opnemen met onze afdeling Customer Care op +31 (0)318 648 688 of, in dit geval wellicht beter, via support@bit.nl.


Update geplaatst om 18.02
De storing staat nog open bij onze leverancier. Onze storingsdienst is op het reguliere nummer bereikbaar. Mocht het gesprek niet goed opgezet kunnen worden, zullen wij contact opnemen via een ander kanaal. .
Update geplaatst op 26-01-2018 om 10.35 uur
Onze leverancier laat weten dat de problemen zich specifiek voordeden bij gesprekken vanaf klanten van ZiggoVodafone, en dat deze problemen sinds gisterenmiddag niet meer gezien zijn. Onze leverancier heeft nog niet bevestigd dat de problemen definitief verholpen zijn.
Update geplaatst om 16.13
Onze leverancier heeft het incident nog niet definitief bij ons afgemeld. Maar sinds gisteren hebben wij geen problemen meer ervaren. Het incident wordt daarom door ons gesloten.
Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Our telephony provider has let us know that they are having issues handling phone calls correctly. Phone calls to BIT might experience missing audio. BIT, as receiver of the call, is not affected by missing audio. Our telephony provider has identified the problem (issues with one of their transit providers) but do not have a time to fix yet.

If you have any questions regarding this maintenance, please contact the Customer Care department by phone on +31 (0)318 648 688, or in this case better, by email on support@bit.nl.


Update placed at 18.06
The issue has not been resolved by our VoIP provider. In case you have to call our incident number and the call lacks audio, we will return your call using a different communication channel.
Update placed on 26-01-2018 at 10:35h
Our VOIP provider has indicated that the problems we observed were specifically for calls initiated from the VodafoneZiggo network, and they have not been observed since yesterday afternoon. We're awaiting a final confirmation that the problems have been resolved.
Update placed at 16:10
We did not receive a final resolved confirmation from the provider yet. However we did not observe any abnormalities anymore. We wil therefore close this incident.
If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Door nog onbekende reden ervaren wij momenteel een storing waardoor delen van ons netwerk niet bereikbaar zijn. Er wordt gewerkt aan de oplossing van dit probleem. Zodra hier meer over bekend is, melden we dat op onze website.


Update 18:06
Het netwerk is stabiel en daarmee is het incident opgelost. Onze engineers hebben de reden van de storing gevonden. Er zal nog verder uitgezocht worden wat dit probleem exact getriggerd heeft.
Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.
Update 22-01-2018, 13.00u
Deze storing was het gevolg van een menselijke fout. Er werd vanwege een storing bij één specifieke klant een wijziging doorgevoerd. Door miscommunicatie is een foute configuratie toegepast, waardoor een loop in een deel van het netwerk ontstond. Dit zorgde ervoor dat een aantal verbindingen volledig vol gedrukt werden, waardoor een groot deel van het netwerk onbereikbaar werd. Dit werd direct door de betrokken engineer gedetecteerd, het onderbreken van de loop door een verbinding uit te zetten had tot gevolg dat het netwerk weer bereikbaar werd. Daarop is besloten de gewenste configuratiewijziging niet meer uit te voeren.


EN

Part of our network are unreachable. The cause of this incident is under investigation. We are working on resolving this problem. The moment more info is available it will be published on our website.


Update 18:10h
The problem has been identified and taken care of. More investigations will be done to identify the trigger of the problem. This incident has been resolved.
If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.
Update 22-01-2018, 13:00
This disruption was caused by a human error during a config change which was being made for one specific customer who was experiencing an outage. Due to miscommunication an incorrect configuration was applied, which resulted in a loop in parts of the network. This caused network links to be saturated, redering parts of our network unreachable. This was immediately observed by the engineer involved, who shut down one of the links causing the loop to break. As a result, the required configuration change has not been performed.

7 years ago —

NL

Rond 16.23 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke overlast op een deel van ons netwerk geleid hebben. De DDoS is omstreeks 16.24 uur succesvol gemitigeerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 16:23h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack was successfully mitigated around 16:24h.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Er heeft zich omstreeks 7.21 uur een storing voorgedaan op de glasvezelverbinding tussen BIT-1 en Telecity 2 in Amsterdam. Verkeer is omgeleid, maar de kans bestaat dat u hier enige hinder van heeft ondervonden. Klanten met waves tussen BIT-1 en Telecity 2 kunnen nog steeds verbindingsproblemen ervaren. Engineers van BIT zijn druk met het uitzoeken van de oorzaak en mogelijke oplossing.

Updates over deze storing volgen hier.

Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


Update geplaatst om 10.55 uur
De glasvezel zelf is niet beschadigd. Het incident wordt veroorzaakt door een defecte booster in onze transmissie-apparatuur in Amsterdam. Engineers zijn aan het werk om dit probleem op te lossen.
Update geplaatst op 29-12-2017, 11.12 uur:
De optical booster in Amsterdam vertoont afwijkend gedrag. Voorbereidingen voor het vervangen van de booster zijn getroffen. Er is nog geen verwachte oplostijd bekend.
Update geplaatst op 29-12-2017, 13.05 uur:
Na het uitvoeren van een aantal tests en overleg met de leverancier is geconcludeerd dat de booster defect is en vervangen moet worden. Een engineer is met een vervangende booster op weg naar Amsterdam.
Update geplaatst op 29-12-2017, 14.12 uur:
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 7.21h we've noticed a disruption in the services provided on the fiber between BIT-1 and Telecity 2 in Amsterdam. Traffic is diverted, but chances are that you may have experienced connection issues during this transition. Customers with a separate 'wave' between BIT-1 and Telecity could still experience downtime for their connection.

Engineers are working hard to find the root cause and possible solution.


Update placed at 10:55h
Measurements have shown that the fiber itself is undamaged. The incident is caused by a defective booster in our transmission equipment in Amsterdam. Engineers are working on resolving this issue.


Update placed on 29-12-2017, 11.12h:
The optical booster in Amsterdam is showing out of spec parameters. Preparations for replacement of booster has started. At this time no resolution time is known.
Update placed at 13:05h
After performing several tests and consulting the vendor we have concluded that the booster is defective. An engineer is en route to Amsterdam with a replacement booster.
Update placed on 29-12-2017, 14.10h:
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Rond 21.29 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke overlast op een deel van ons netwerk geleid hebben. De DDoS is omstreeks 21.31 uur succesvol gemitigeerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 21:29h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack was successfully mitigated around 21:31h.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Rond 00.11 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke overlast op een deel van ons netwerk geleid hebben. De DDoS is omstreeks 00.13 uur succesvol gemitigeerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 00:11h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack was successfully mitigated around 00:13h.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Rond 10.36 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke overlast op een deel van ons netwerk geleid hebben. De DDoS is omstreeks 10.37 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 10:36h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack was successfully mitigated around 10:37h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Enkele minuten geleden is de blusinstallatie van de colocatieruimte in BIT-1 geactiveerd. Vermoedelijk zijn werkzaamheden in een andere ruimte de aanleiding van deze activatie geweest. Engineers zijn op dit moment aanwezig om de ruimte te controleren. Meer informatie zal aan dit bericht toegevoegd worden zodra dit bekend is.


Update geplaatst om 13.35 uur
De oorzaak van de blussing is in ieder geval geen brand in de serverruimte.
Update geplaatst om 13.38 uur
De temperatuur in de ruimte is tijdelijk met een aantal graden gedaald. Inmiddels is de temperatuur weer op normaal niveau.
Update geplaatst om 14.04 uur
Tijdens de blussing is er een stikstof-argonmengsel onder hoge druk de ruimte in geblazen. Als er vuur geweest zou zijn, zou deze gedoofd zijn door het verlagen van de zuurstof in de ruimte. De stroom- en koelinfrastructuur blijft tijdens een blussing actief en beschikbaar. Tijdens de blussing daalt de temperatuur kortstondig in de ruimte en zorgt de verhoogde luchtdruk voor trillingen. Deze gevolgen hebben in de regel geen invloed op apparatuur. Mocht u desalniettemin problemen met uw apparatuur neem dan direct contact met ons op.
Update geplaatst om 14.19 uur
De leverancier van de blusmiddelen is onderweg om de gasflessen op te halen en opnieuw te vullen. In de tussenliggende periode blijft het branddetectiesysteem actief en zullen medewerkers op locatie aanwezig blijven. In het onwaarschijnlijke geval dat er brand uit zou breken in deze periode, zal de brand door BIT-medewerkers met de hand geblust worden. Deze storing blijft open totdat de blusinstallatie weer volledig in gebruik is. Update geplaatst om 23.42 uur
De flessen met blusgas zijn gevuld en weer aangesloten. De blusinstallatie is weer volledig in gebruik. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

A few minutes ago the fire suppression system in BIT-1 was activated. We suspect this was caused my maintenance which was being performed in another room. Engineers are on site inspecting the datacenter. More information will be added to this post when available.


Update placed at 13:36h
The cause of the activation of the fire suppression is not fire in the server room.
Update placed at 13:40h
The temperature in the server room temporarily dropped slightly by several degrees but is at normal levels now.
Update placed at 14:05h
During fire suppression a nitrogen-argon mixture is blowen in the server room. If there would have been any fire, the fire would have extinguished because of a lack of oxygen. The power and cooling infrastructure is active and available during a fire suppression. During the suppression the temperature drops temporarily and increased air pressure causes small vibrations. As a rule these results do not harm any equipment. In case you do notice a problem with your equipment, please contact us.
Update placed at 14:24h
The supplier of the suppression materials is on his way to collect the gas bottles and refill them. In that period the fire detection system stays active and BIT employees will stay on location. In the unlikely event that there is a fire, the fire will be extinguished by BIT employees using manual fire suppression systems. This inicident will stay open untill the automatic fire suppression system is fully operational again. Update placed at 23:42
The gas bottle have been filled and are in place again. The automatic fire suppression system is fully operational again. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Op dit moment is BIT telefonisch niet bereikbaar. De oorzaak van deze storing is nog niet bekend, Via email en chatsupport kunt u ons bereiken als nomaal. Zodra wij weer telefonisch bereikbaar zijn melden we dat op onze site.


Update geplaatst o 09.06 uur
BIT is telefonisch weer bereikbaar op het reguliere nummer. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

BIT's telephone lines are unavailable. The root cause for this disruption is not known yet. You can contact us by email or chat support. We will update our website as soon as our telephone lines are available again.


Update placed at 09:07h
BIT's telephone lines are operational again. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Er heeft zich omstreeks 14:39u een storing voorgedaan op de glasvezelverbinding tussen BIT-1 en Telecity 2 in Amsterdam. De kans bestaat dat u hier enige hinder van heeft ondervonden. Klanten met waves tussen BIT-1 en Telecity 2 kunnen nog steeds verbindingsproblemen ervaren. Engineers van BIT zijn druk met het uitzoeken van de oorzaak en mogelijke oplossing. Updates over deze storing volgen hier. Heeft u vragen naar aanleiding van deze storing, neemt u dan contact op met ons via telefoon op 0318 648 688 of via email naar support@bit.nl


Update geplaatst op 31-10-2017, 15.07 uur:
De verbinding tussen BIT-1 en Telecity 2 is volledig down. Verkeer is omgeleid via andere paden. Klanten met een wave tussen deze locatie hebben geen werkende verbinding.
Update geplaatst op 31-10-2017, 16.20 uur:
Onze leverancier bevestigt een breuk in de glasvezelverbinding ergens tussen Doorn en Amsterdam. Op dit moment wordt er onderzoek gedaan naar de oorzaak. Er is niets bekend over een mogelijke tijdsindicatie wanneer de storing zal zijn verholpen.
Update geplaatst op 31-10-2017, 20.12 uur:
De leverancier heeft metingen uitgevoerd om de lokatie van de breuk te bepalen. Deze lijkt in de buurt van Utrecht te liggen. Engineers zijn op weg naar de vermoedelijke lokatie van de breuk om de schade te inspecteren.
Update geplaatst op 31-10-2017, 22.45 uur:
De leverancier heeft de lokatie van de onderbreking vastgesteld. Het lijkt erop dat de glasvezel beschadigd is bij weg- of bouwwerkzaamheden. Op dit moment wordt door de aanwezige engineers de exacte omvang van de schade bepaald.
Update geplaatst op 01-11-2017, 00.15 uur:
De aanwezige engineers van de hebben de omvang van de schade bepaald. Er moet diverse reparatie werkzaamheden uitgevoerd worden wat enige tijd in beslag gaat nemen. Er is niets bekend over een mogelijke tijdsindicatie wanneer de storing zal zijn verholpen.
Update geplaatst op 01-11-2017, 01.10 uur:
Materiaal om een tijdelijke oplossing te creeren zijn geariveerd op de locatie. Op dit moment zijn de graafwerkzaamheden nog in volle gang. Hierdoor kunnen nog geen nieuwe ducts worden aangelegd voor de tijdelijke oplossing. Er is niets bekend over een mogelijke tijdsindicatie wanneer de storing zal zijn verholpen.
Update geplaatst op 01-11-2017, 06.15 uur:
Met een aantal graafmachines is de beschadigde fiber opgegraven. Er zal een groot aantal vezels opnieuw gelast moeten worden, hiervoor zijn meerdere lasploegen aanwezig. De leverancier verwacht dat dit om 10 uur afgerond is. De verbinding van BIT lijkt inmiddels operationeel te zijn, maar vanwege de verhoogde kans op verstoringen tijdens de herstelwerkzaamheden van andere fibers die in deze duct liggen routeren wij verkeer op dit moment nog via andere verbindingen.
Update geplaatst op 01-11-2017, 07.10 uur:
Herstelwerkzaamheden verlopen voorspoediger dan verwacht. De verwachte hersteltijd is vervroegd naar 9 uur en kan mogelijk nog verder vervroegd worden als de werkzaamheden voorspoedig blijven verlopen.
Update geplaatst op 01-11-2017, 08.45 uur:
De herstelwerkzaamheden zijn afgerond. Onze verbinding is al ruim 2 uur stabiel en operationeel en is daarom nu weer in productie genomen. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Around 14.39h we've noticed a disruption in the services provided on the fiber between BIT-1 and Telecity 2 in Amsterdam. Chances are that you may have experienced connection issues. Customers that have a separate 'wave' between BIT-1 and Telecity could still experience downtime for their connection. Engineers are working hard to find the root cause and possible solution. Updates will be posted on this page. If you have any questions or comments please don't hesitate to contact us by telephone at +31(0)318 648 688 or by email at support@bit.nl.


Update placed on 31-10-2017, 15.07h:
The fiber connection between BIT-1 en Telecity 2 is down. Traffic is diverted towards other links. Custromers with a wave between these location are experiencing downtime.
Update placed on 31-10-2017, 16.20h:
Our supllier confirms that the fibercut is somewhere between Doorn and Amsterdam and is investigating the situation. No estimate on recovery time can be given at this moment.
Update placed on 31-10-2017, 20.20h:
Our supplier has determined the approximate location of the fiber cut, which seems to be near Utrecht. Engineers are enroute to the suspected break location to investigate damage.
Update placed on 31-10-2017, 22.45h:
The supplier has located the damage. It appears a construction crew has bored through the fiber. The engineers are still assessing the damage at this time.
Update placed on 01-11-2017, 00.15h:
The onsite engineers of the supplier have assessed the damage. Multiple repairs are required to resolve the fibercut, which will take some time. Replacement material that is required for these repairs is underway. No estimate on recovery time can be given at this moment.
Update placed on 01-11-2017, 01.10h:
Materials to create a temporary solution have arrived on-site. Excavators are still working on the temporary solution. Because of this the new ducts cannot be placed yet. No estimate on recovery time can be given at this moment.
Update placed on 01-11-2017, 06.30h:
A number of cranes have dug up the damaged fiberduct. A large number of fiber pairs need to be restored. A number of fiber splicing crews is at the site working on these fibers. Our supplier expects the fibers to be restored at 10h. BIT's fiber seems to be operational again, but due to the increased risk of disruptions during the restoration works of other fibers in this duct traffic is still rerouted via other connections until we have a confirmation from our supplier that all restoration works have been completed.
Update placed on 01-11-2017, 07.15h:
Restoration works are progressing faster than expected. The new time to fix has been set at 9h. If works continue to go faster than expected all services can be restored earlier than that.
Update placed on 01-11-2017, 08.45h:
Restoration works have been completed. Our fiber connection has been up and stable for over two hours and is now in production again. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Rond 13.55 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke overlast op een deel van ons netwerk geleid hebben. De DDoS is omstreeks 13.57 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 13:55h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack was successfully mitigated around 13:57h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Rond 2.03 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke overlast op een deel van ons netwerk geleid hebben. De DDoS is omstreeks 2.05 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 2:03h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack was successfully mitigated around 2:05h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Rond 9.26 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke overlast op een deel van ons netwerk geleid hebben. De DDoS is omstreeks 9.28 uur succesvol gemitigeerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 9:26h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack was successfully mitigated around 9:28h.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Op dit moment ondervinden we vertraging in de afhandeling van e-mail. Onze engineers zijn bezig dit probleem te verhelpen.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 03-10-2017, 15.10
De e-mailafhandeling verloopt sinds ongeveer 15:00 weer zonder vertraging. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

At the moment we are experiencing delays in email processing. Our engineers are busy fixing this problem. Follow the incident on our website for updates concerning this incident.


Update placed at 03/10/2017, 15:05 Around 15:00 the email processing was working without delay. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.
7 years ago —

NL

Op dit moment is er een storing bij de leverancier van VDSL/SDL.bis internetverbindingen. BIT ontvangt meldingen dat diverse van deze verbindingen offline zijn. We zijn in contact met onze leverancier en zullen deze storingsmelding bijwerken wanneer er meer informatie bekend is. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 03-10-2017, 09.20
Er moeten onderdelen vervangen worden aan apparatuur van de leverancier in een centrale. De monteur is inmiddels op locatie.
Update geplaatst op 03-10-2017, 11.10
Vervangende onderdelen zijn geplaatst. Op dit moment worden de configuratie en de ethernetpaden nagelopen door de monteur.
Update geplaatst op 03-10-2017, 13.30
Wij hebben verschillende verbindingen weer online zien komen. Het is echter bij de leverancier niet afgemeld alszijnde opgelost, er mist nog een terugkoppeling vanaf de monteur.
Update geplaatst op 03-10-2017, 15.00
Wij hebben contact opgenomen met de leverancier en die weer met de engineer. Het probleem is omstreeks 12:30 verholpen. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

There is a disruption of services at our supplier of VDSL/SDSL.bis internet connections. BIT received multiple notifications of these connections being unreachable. We've contacted our supplier and will keep this incident up-to-date when new information arrives. Follow the incident on our website for updates concerning this incident.


Update placed at 03/10/2017, 09:20
Parts need to be replaced in the equipment of our supplier at a central location. The engineer is on site at the moment.
Update placed at 03/10/2017, 11:10
The parts are replaced. At this moment the engineer is checking the configuration and the ethernet paths.
Update placed at 03/10/2017, 13:30
Several connections are connected again. Feedback from the engineer is missing, so this incident is not yet closed at the supplier.
Update placed at 03/10/2017, 15:00
We contacted the supplier, who contacted the engineer. The problem was resolved around 12:30. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Rond 17.00 uur is het spamfilter platform van BIT kortstondig onbeschikbaar geweest. Klanten die een spamfilterdienst van BIT afnemen kunnen een verhoging van de ongefilterde spam bemerken. Het platform is inmiddels weer volledig operationeel.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 17:00h the BIT spamfilter platform was unavailable for a very brief moment. At this time some e-mails might have slipped through the filters. A small increase in spam e-mails might be noticed by customers using BIT's spamfilters. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Om 13.28 uur is er een storing opgetreden aan de glasvezelverbinding tussen BIT-2 en SARA. Verkeer van en naar internet wat via deze specifieke verbinding liep is automatisch omgeleid via andere paden. Klanten die een eigen AMS-IX aansluiting afnemen en klanten die een wavelength tussen BIT-2 en SARA afnemen zullen een verstoring van deze dienst zien. Er wordt contact gezocht met de leverancier van de glasvezel om de oorzaak van deze storing te achterhalen.


Update geplaatst op 15-09-2017, 14.21 uur:
Sinds 14.14 uur werkt de glasvezelverbinding weer. Van onze leverancier hebben we nog geen verklaring voor de onderbreking ontvangen, we kunnen dus ook niet met zekerheid zeggen of de oorzaak weggenomen is.
Update geplaatst op 15-09-2017, 14.56 uur:
Onze leverancier geeft aan dat zij meerdere verstoringen hebben op het traject van deze glasvezel, en dat zij een werkploeg op onderzoek gestuurd hebben. De verbinding is op dit moment operationeel, maar wij zien dat de lichtsterkte op de verbinding minder is dan voor de verstoring. Het is mogelijk dat er nog meer verstoringen optreden als gevolg hiervan en als gevolg van het onderzoek van de leverancier. Wij zullen dit bericht weer bijwerken als er informatie van de leverancier beschikbaar is.
Update geplaatst op 15-09-2017, 16.56 uur:
Onze leverancier heeft metingen gedaan en daarmee de lokatie van de oorzaak van de verstoring bepaald. Er gaat daar nu inspectie plaatsvinden.
Update geplaatst op 15-09-2017, 19.15 uur:
Ter plaatste heeft de leverancier geconstateerd dat de handhole waarin de bundel glasvezels ligt verplaatst is, vermoedelijk als gevolg van bouwwerkzaamheden. Door het verplaatsen is de glasvezel geknikt, wat de onderbreking en verminderde lichtsterkte tot gevolg had. Inmiddels is deze knik hersteld en meten wij weer een lichtsterkte vergelijkbaar met voorafgaand aan de storing. De leverancier verwacht op een later moment in een onderhoudsvenster nog verdere herstelwerkzaamheden uit te voeren. Hiervoor zal via onze gangbare procedure een aankondiging gedaan worden. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

As of 13.28h we observe an outage on our fiberconnection between BIT-2 and SARA. Verkeer to and from the internet routed via this connection has been automatically rerouted. Customers why operate their own AMS-IX connection via BIT or operate a wavelength on this path will observe an outage of this service. We're contacting our fiber provider to resolve this problem.


Update placed at 15-09-2017, 14:24h:
The connection recovered at 14:21h. We haven't heard back from our fiber provider yet, so we do not have any explanation what caused this outage. We cannot tell for sure if the problem has been resolved.
Update placed at 15-09-2017, 14:58h:
Our fiber supplier has received multiple notifications of outages on this fiber path. A team has been dispatched to investigate the problems. At this moment, our fiber connection is operational, but we do observe problems in signal strength since the outage. It is possible that more outages will occur as a result of the reduced signal strength and the investigations. We will update this notification once we receive an update from our fiber supplier.
Update placed at 15-09-2017, 16:58h:
Our fiber supplier has performed measurements to determine the location of the outage. A crew is enroute to investigate this location.
Update placed at 15-09-2017, 19:19h:
At the measured location our fiber provider observed that the handhole containing the fibers was displaced, likely due to construction works. The displacement has caused the fibers to bend, resulting in the outage and reduced signal strength. Our provider has fixed the bend, and we are currently measuring signal strengths equal to those prior to the outage. Our fiber provider expects that they will need to do more reconstruction works at a later time in a to be determined maintenance window. We will announce this maintenance via our usual procedures. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Vanochtend om 10.15u is er een failover geweest in ons MSSQL cluster. Dit heeft er voor gezorgd dat klanten die gebruik maken van dit cluster hun database instances niet kunnen benaderen. Engineers van BIT waren bij dit event aanwezig en zijn meteen aan de slag gegaan het probleem te verhelpen. De situatie is nu weer zoals verwacht. De failover werd getriggerd doordat de server portsecurity triggerde op de switch waar deze op verbonden zit. We zullen uitzoeken waarom dit gebeurde en hoe dit in de toekomst verkomen kan worden. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

This morning around 10.15u there was a failover of roles in our MSSQL-cluster. This caused all databases to go unreachable for a few minutes. Engineers were witnessing this happening and immediately started working on the problem. It appears the server triggered port security on the switch it was connected to. We will try to find why this happened and make sure this will not happen again in the future. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Sinds +/- 0.25u is er een storing aan het shared MS-SQL cluster waardoor klanten die gebruik maken van dit cluster hun database instances niet kunnen benaderen. Engineers van BIT zijn op dit moment de oorzaak van deze storing aan het onderzoeken.


Update geplaatst op 07-09-2017, 1.32 uur
Inmiddels draaien alle instances weer en zijn alle databases weer beschikbaar. De oorzaak leek te liggen in het falen van de synchronisatie van het cluster. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Since ~0.25h there are problems with out MS-SQL cluster. As a result, customers using a MS-SQL instance can experience problems connecting to their database. BIT engineers are working on resolving this problem.


Update placed at 07-09-2017, 1.40h
At ~1.30h all MS-SQL instances were available again. It seems the outage was caused by failure of the cluster synchronisation. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Omstreeks 05.18 uur is er een storing ontstaan aan een van de servers van het virtualisatieplatform van klanten. De hypervisor heeft problemen gekregen met een van zijn disks (iin een raid-1 mirror). Dit heeft tot meerdere OS systeem problemen geleid waaronder de virtuele switches, welke offline zijn gegaan. De hypervisor is momenteel niet meer via het netwerk bereikbaar, net als de virtuele machines die erop draaien. Een engineer onderzoekt deze storing en zal de getroffen virtuele machines elders starten.


Update geplaatst op 01-09-2017, 06.16 uur:
Alle virtuele machines op de betreffende hypervisors zijn inmiddels herstart op andere hypervisors.

EN

At approximately 5.18h an outage occured on one of the servers of our virtualisation platform for customers. One of the disks in a raid-1 mirror of this hypervisor failed, resulting in multiple OS problems including problems with its virtual switches, which went offline. The hypervisor is currently unavailable, as are virtual machines which were running on this hypervisor. An engineer is investigating the problem and is currently moving these affected virtual machines to other hypervisors.


Update placed at 01/09/2017, 06h19:
All virtual machines have been rebooted on other hypervisors and are available again.

Fixed
7 years ago —

NL

Tijdens het aangekondigde onderhoud van afgelopen nacht is er een onaangekondigde onderbreking van een deel van de dienstverlening geweest. Er wordt geschreven aan een RFO (reason for outage) met details over de verstoring, die in de loop van de dag op onze site gepubliceerd zal worden. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


Update Een rapport inzake de onderbreking kunt u hier vinden.

EN

During the maintenance works last night (a part of) our services became unavailable. No notice was send out regarding this. We are working on a reason for outage (RFO) with details. This RFO will get published today on our website. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.


Update
The report on service disruption during maintenance works has been published. It is available only in Dutch.

7 years ago —

NL

Een storing op ons netwerk heeft kortstondig voor problemen gezorgd. De oorzaak en impact ervan wordt nog onderzocht door onze engineers. Zodra er meer bekend is melden we dat op onze site.


Update geplaatst om 23.11 uur
Het netwerk is op dit moment weer volledig stabiel. Zodra duidelijk is wat de oorzaak is geweest van de onderbreking melden we dat op onze site.
Update geplaatst om 23.33 uur
De storing is om 22.51 uur ontstaan en is het gevolg van een redundante set routers die normaliter in een active-passive opstelling staan, maar beiden actief werden. Wat de oorzaak daarvan is zal met de fabrikant besproken worden. Rond 23.01 uur was het netwerk weer volledig bereikbaar. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

For a brief moment our network was unavailable. Cause and impact are under investigation. As soon as we know more, we will publish that on our website.


Update placed at 23:13
The network is fully functional at the moment. When we know the cause of the problem, we will publish that on our website. Update placed at 23:37
The disruption started at 22:51h and was resolved at around 23:01h. It was caused by a redundant set of routers that normally operate in an active-passive setup, but both became active. The reason for that will be subject of discussion with the vendor. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Rond 19.18 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 19.20 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

 At around 19:18h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack was successfully mitigated around 19:20h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Ons monitoringsysteem meldt een verstoring in het opvragen van statusgegevens van onze actieve loadbalancer. Er is geen verstoring in de loadbalancing services zelf, maar omdat de statusgegevens niet correct op te vragen is kan onze monitoringsysteem niet met zekerheid stellen of een node online is. Om dit probleem te verhelpen zullen wij een failover doen naar de standby loadbalancer.  


Update geplaatst om 20:55 De failover is met success uitgevoerd, en onze monitoringsysteem ontvangt weer data.

EN

Our monitoring system is reporting problems in collecting status information from our active loadbalancer. We have detected no actual problems with our loadbalancing services itself, however because collecting of the status information is not possible our monitoring system cannot assure us that a node is online. To solve this issue we will do a failover to our standby loadbalancer.  


Update placed at 20:55 The failover has been completed successfully, and our monitoring is received data again

7 years ago —

NL

Om 3.12 uur heeft er een korte verbinding van ongeveer 20 seconden plaatsgevonden op onze glasvezelverbinding tussen BIT-2 en SARA. Verkeer is automatisch omgeleid via alternatieve paden, maar het is mogelijk dat actieve netwerkverbindingen een korte onderbrekingen gehad hebben. Klanten die een eigen wavelength tussen BIT-2 en SARA afnemen en klanten die een eigen AMS-IX aansluiting in BIT-2 hebben via BIT zullen een onderbreking bemerkt hebben van deze diensten. Op dit moment is de reden voor deze onderbreking onbekend. Er zijn geen onderhoudswerkzaamheden op deze verbinding bij ons aangemeld. Wij zullen deze onderbreking door onze glasvezelleverancier laten uitzoeken. Na deze enkele korte onderbreking is de verbinding stabiel gebleven.


EN

At 3.12h we observed a short disruption of approximately 20 seconds on our fiber between BIT-2 and SARA. Traffic was automatically rerouted via alternative paths, but it possible that you observed a short disruption on active network connections. Customers with a dedicated wavelength between BIT-2 and SARA and customers with their own dedicated AMS-IX connection in BIT-2 will notice a disruption of these services. At this moment the reason for the disruption is unknown. We are unaware of any planned maintenance by our fiber provider, we will contact them to investigate the cause of this disruption. The connection has been stabke since this single link flap.

7 years ago —

NL

Op dit moment is het algemene nummer van BIT slecht bereikbaar wegens vermoedelijke problemen bij onze telefonieleverancier. Wanneer u telefonisch contact wenst met een van onze medewerkers gebruikt u dan de "Bel mij" knop bovenaan deze pagina, u word dan teruggebeld door een van onze medewerkers. Wij zijn tevens bereikbaar via e-mail op info@bit.nl en via de "Chat" knop bovenaan deze pagina. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst om 11.28
Sinds ongeveer 10.40 uur zijn wij weer bereikbaar op ons reguliere nummer. De onbereikbaarheid werd veroorzaakt door een probleem bij onze VoIP leverancier. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

At this moment we are unreachable through our regular phone number due to a suspected disturbance at our supplier. If you need to contact us please use the "Call me" button on top of this page and other pages at our website to contact us during office hours. Furthermore you can contact us by email on info@bit.nl or through chat using the "Chat" button on top op this page. We will contact you as soon as possible. Follow the incident on our website for updates concerning this incident.


Update placed at 11:25
Our phone number is reachable again since ~10:40. The outage was caused by a problem at our VoIP supplier. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

7 years ago —

NL

Rond 16.24 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 16.25 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

 At around 16:24h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack was successfully mitigated around 16:25h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 17.28 uur is er een storing in ons netwerk ontstaan. Onze engineers zijn bezig met het achterhalen van oorzaak en impact. Zodra meer bekend, melden we dat op onze site.


Update geplaatst op 28-04-2017, 17.46
Vanaf ~17.37 is het netwerk weer bereikbaar geworden.
Update geplaatst op 28-04-2017, 17.50
Er is nog impact voor VLAN's tussen Ede en Amsterdam die in BIT-2A uitkomen.
Update geplaatst op 28-04-2017, 18.06
De VLAN's worden nu weer terug gebracht.
Update geplaatst op 28-04-2017, 18.19
Alle VLAN's zijn weer beschikbaar.
Update geplaatst op 28-04-2017, 18.23
De storing is veroorzaakt door een storing aan een core-switch. Onze engineers zullen hier nader onderzoek naar verrichten en zodra daar meer over bekend is, wordt dat gemeld op onze site.
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.
Update geplaatst op 01-05-2017, 17.36
De RFO voor het netwerk incident van 28 april 2017 is hier beschikbaar. Mocht u naar aanleiding van deze RFO vragen hebben, dan kunt u contact opnemen met onze afdeling customer care via 0318-648688 of support@bit.nl.

EN

At approximately 17:28h an incident happened on out network. Engineers are investigating cause and impact. As soon as more info is available, this will be published on our website.


Update placed at 28/04/2017, 17:48
From ~17:37h the network became responsive again.
Update placed at 28/04/2017, 17:51
VLAN's between Ede and Amsterdam are still unavailable.
Update placed at 28/04/2017, 18:07
VLAN's are being brought back online.
Update placed at 28/04/2017, 18:20
All VLAN's are available again.
Update placed at 28/04/2017, 18:27
The incident was caused by a core switch. Our engineers will investigate this further. As soon as more info is available we will publish this on our website.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.
Update placed at 01/05/2017, 17:38
The RFO for the network incident on April 28th is available in Dutch here. For any questions relating to this RFO, you can contact our customer care department on +31(0)318-648 688 or support@bit.nl.

8 years ago —

NL

Rond 11.56 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 11:57 uur succesvol gemitigeerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 11:56h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack was successfully mitigated around 11:57h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 00.10 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 00.12 uur succesvol gemitigeerd.

Het incident is opgelost. Heeft u vragen over dit incident, neemt u dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 00:10h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack was successfully mitigated around 00:12h.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Er is sinds 15.35 uur een storing aan de MS-SQL Instances. Onze medewerkers zijn bezig om dit probleem te onderzoeken en op te lossen. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 23-03-2017, 16.38 uur
De onderbreking werd veroorzaakt door een failover van het MS-SQL cluster. Tijdens het omschakelen naar en weer terug vanuit failoversituatie waren de MS-SQL Instances verminderd bereikbaar. Wij zijn inmiddels weer terug in de normale staat. Voor een klein aantal klanten wilde de instances in de failover situatie niet opstarten. Het probleem met de niet startende instances is verholpen.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Since 13:35h we have a disruption on our MS-SQL instances. Our colleagues are looking into this disrubtion and are working on a solution. Follow the incident on our website for updates concerning this incident.


Update placed at 23/03/2017, 16:38
The disruption was caused by a failover of the MS-SQL cluster. During the switch to and back from the failover situation the MS-SQL instances experienced reduced availability. We are now back in normal state. For a small number of customers the instances did not start in the failover situation. The problem with those instances has been resolved. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Om 07.57 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 08.00 uur succesvol gemitigeerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 07:57h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack was successfully mitigated around 08:00h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Om 15.31 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 15.49 uur succesvol gemitigeerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 15:31h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack was successfully mitigated around 15:49h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Sinds +/- 14.30 uur meten wij een verhoogde temperatuur in serverruimte BIT-2D. Datacenter engineers zijn de oorzaak van deze verhoging op dit moment aan het onderzoeken. Zodra er meer informatie beschikbaar is zullen wij dit bericht bijwerken.


Update geplaatst op 09-01-2017, 15.05 uur
Sinds 15.00 uur is de temperatuur weer op normale waarden. Volgens onze metingen is de temperatuur in de koude paden van BIT-2D niet buiten de in onze SLA vastgelegde waarden geweest.
Update geplaatst op 09-01-2017, 15.15 uur
De storing is herleid tot een menselijke fout bij onze installateur. Deze is hierop aangesproken. We gaan in overleg met de installateur om te bepalen hoe herhaling van dergelijke fouten voorkomen kan worden.

EN

We observe an increase in the ambient temperature of BIT-2D since 14:30h. Datacenter engineers are investigating the cause of this increase. We will update this notification when new information is available.


Update placed at 09/01/2017, 15:08h
As of 15.00h ambient temperature in BIT-2D is back to normal. Our measurements indicate that the temperature was within SLA level at all times.
Update placed at 09/01/2017, 15:15h
The cause of this incident was a human error made by our installation company. We will discuss with them how we can prevent reoccurance of incidents like these

8 years ago —

NL

Om 13.46 uur kwam er een DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 14.00 uur succesvol gemitigeerd.
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 13:46h a DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack stopped around 14:00h.The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

E-mail naar Microsoft domeinen (hotmail.com, live.com, outlook.com) wordt vertraagd en in sommige gevallen in het geheel niet afgeleverd.

Als gevolg van een spamrun via een gehackt account van een klant van BIT heeft Microsoft de e-mailservers van BIT beperkingen opgelegd ten aanzien van het aantal e-mails dat afgeleverd kan worden bij Microsoft. Veel klanten van BIT versturen momenteel valide e-mails naar veel e-mailadressen. Het gaat daarbij veelal om kerstberichten. De aflevering van deze e-mails wordt door de beperking van Microsoft beperkt waardoor e-mails vertraagd of in het geheel niet aankomen.

Helaas zijn er geen mogelijkheden om deze beperkingen weg te nemen. Omdat Microsoft met reputatie gebaseerde toegang werkt is het ook niet mogelijk om de mailservers van andere IP-adressen te voorzien. Als u meer zekerheid wilt over de afleverbaarheid van uw e-mail naar Microsoft adressen adviseren wij u om een eigen SMTP server of andere mailrelay te gebruiken.


Update geplaatst op 21-12-2016, 17.16 uur
Er staat geen e-mail meer in de BIT mailrelays die nog afgeleverd moet worden bij Microsoft. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

E-mail to Microsoft domains (hotmail.com, live.com, outlook.com) gets delivered with a delay and sometimes not at all. As result of a spam run with a hacked account of a customer of BIT, Microsoft has limited the e-mail servers of BIT. Many customers of BIT send these days valid e-mails to many e-mail accounts, most of these are holiday greetings. Delivering these e-mails to Microsoft gets delayed or they do not get delivered at all. Unfortunately there are no possibilities for BIT to take away Microsoft' limitations. Microsoft limits the amount of e-mails that get accepted based on reputation. Therefore we can not give our mail servers different IP-addresses. You might want to use your own SMTP server or a different e-mail relay to get your e-mails to Microsoft.


Update placed at 21/12/2016, 17:20
The backlog of e-mail to be delivered at Microsoft is empty. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Om 18.48 uur kwam er een grote DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 18.52 uur succesvol gemitigeerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 18:48h a short DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack stopped around 18:52h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Het is op dit moment niet mogelijk om virtual machines te beheren (start/stop/reboot/vnc) via portal.bit.nl. De virtual machines zelf zijn wel actief en bereikbaar. Engineers van BIT zijn bezig dit probleem op te lossen.


Update geplaatst op 08-11-2016, 14.50 uur
Het probleem is verholpen. De virtual machines zijn weer via de portal te beheren.   Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

At this moment we are having an issue that virtual machines are not manageable via our portal. The virtual machines themselves are active and accessible. BIT engineers are investigating this issue.  


Update placed at 08/11/2016, 15:00
The virtual machines are manageable through the portal again. The issue has been resolved. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 16.38 uur kwam er een grote DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 16.41 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 16:38h a short DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack stopped around 16:41h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 17.15 uur kwam er een grote DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 17.19 uur succesvol gemitigeerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 17:15h a short DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack stopped around 17:19h.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 11.09 uur kwam er een grote DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 11.14 uur succesvol gemitigeerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 11:09h a short DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack stopped around 11:14h.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 13:29 uur kwam er een korte DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is rond 13.31 uur weer verdwenen.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 13:29h a short DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack stopped around 13:29h.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Om 17.47 uur is er een DDoS aanval gestart op een IP van een klant van BIT. Deze DDoS is niet automatisch gemitigeerd, hierdoor hebben een aantal klanten last gehad van deze aanval. Om 17.56 uur is de aanval handmatig gemitigeerd. Wij zullen onderzoeken waarom de automatische mitigatie niet gewerkt heeft.


EN

At 17:47h a DDoS attack was launched to an IP of a BIT customer. This DDoS has not been mitigated automatically, as a result some customers noticed partly unavailable connections. At 17:56h the attack has been mitigated by engineers of BIT. We will investigate the reason of failure of automatic mitigation.

8 years ago —

NL

Op dit moment is het algemene nummer van BIT slecht bereikbaar wegens vermoedelijke problemen bij onze telefonieleverancier. Indien u ons wilt bereiken en dit niet lukt via het algemene telefoonnummer dan kunt u op dit moment bellen met 026-3724617 en uw bericht achterlaten. Een medewerker van BIT neemt dan zo spoedig mogelijk contact met u op. Via de knop "Bel mij" bovenaan deze en andere pagina's op onze site kunt u, tijdens kantooruren, rechtstreeks telefonisch contact opnemen met BIT. Wij zijn tevens bereikbaar via e-mail op info@bit.nl en via de "Chat" knop bovenaan deze pagina. Ook de klanten die VoIP via ons afnemen zijn door deze storing van onze telefonieleverancier getroffen. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 13-10-2016, 09.20
Wij hebben contact gehad met onze telefonieleverancier. Het probleem is ontstaan doordat anti-DDoS maatregelen te strak afgesteld zijn.
Update geplaatst op 13-10-2016, 11.30
Onze telefonieleverancier heeft aangegeven dat de problemen zijn onstaan door DDoS-aanvallen en te strak afstellen van anti-DDoS maatregelen. Er zijn op dit moment geen DDoS-aanvallen gaande, maar het is niet te voorspellen noch te voorkomen dat ze in de komende dagen weer worden aangevallen. Daarbij is wel aangegeven dat ze wel meetbaar succes geboekt hebben bij het bestrijden van deze aanvallen en het minimaliseren van de impact op deze dienstverlening.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At this moment we are unreachable through our regular phone number due to a suspected disturbance at our supplier. If you need to contact us and are unable to reach us on our regular number you can dial +31 (0)26 3724617 and leave a message. We will contact you as soon as possible. Please use the "Call me" button on top of this page and other pages at our website to contact us during office hours. Furthermore you can contact us by email on info@bit.nl or through chat using the "Chat" button on top op this page. Our VoIP customers are also affected by this disturbance of our supplier. Follow the incident on our website for updates concerning this incident.


Update placed at 13/10/2016, 09:20
We contacted our supplier. This disturbance originated from anti DDoS measures that are adjusted too tight.
Update placed at 13/10/2016, 11:30
Our supplier has indicated that the problems originated from DDoS attacks and too tight anti DDoS measures. There are no DDoS attack at this moment, but it is not possible to predict or to prevent these attacks could happen in the coming days. Our supplier has indicated that they have made progress in fighting these attacks and minimizing the impact on the services. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Op dit moment is het algemene nummer van BIT slecht bereikbaar wegens spoedonderhoud van onze telefonieleverancier. Indien u ons wilt bereiken en dit niet lukt via het algemene telefoonnummer dan kunt u op dit moment bellen met 026-3724617 en uw bericht achterlaten. Een medewerker van BIT neemt dan zo spoedig mogelijk contact met u op.


Update geplaatst op 12-10-2016, 09.07
Onze telefonieleverancier wordt momenteel getroffen door een DDOS aanval. Als gevolg hiervan is ons algemene telefoonnummer nog niet bereikbaar. Via de knop "Bel mij" bovenaan deze en andere pagina's op onze site kunt u, tijdens kantooruren, rechtstreeks telefonisch contact opnemen met BIT. Wij zijn tevens bereikbaar via e-mail op info@bit.nl en via de "Chat" knop bovenaan deze pagina.


Update geplaatst op 12-10-2016, 18.25
Onze telefonieleverancier heeft ons laten weten dat de aanval succesvol afgeslagen wordt. BIT is weer bereikbaar op het reguliere nummer 0318-648688.

EN

At this moment we are unreachable through our regular phone number due to emergency maintenance of our supplier. If you need to contact us and are unable to reach us on our regular number you can dial +31 (0)26 3724617 and leave a message. We will contact you as soon as possible.


Update placed at 12-10-2016, 09:10
Our SIP (phone) provider is under attack of a DDOS. As a result our regular phone number is unavailable. Please use the "Call me" button on top of this page and other pages at our website to contact us during office hours. Furthermore you can contact us by email on info@bit.nl or through chat using the "Chat" button on top op this page.


Update placed at 12-10-2016, 18:20
Our SIP (phone) provider informed us that their counter measures against the attack prove to be effective, BIT is reachable on the regular phone number again.
8 years ago —

NL

Op dit moment is het algemene nummer van BIT onbereikbaar. We zoeken contact met onze telefonieprovider omdat het probleem niet aan onze systemen lijkt te liggen.
Indien u ons wilt bereiken kunt u op dit moment bellen met 026-3724617 en uw bericht achterlaten. Een medewerker van BIT neemt dan zo spoedig mogelijk contact met u op.


Update geplaatst op 11-10-2016, 09.00
Deze storing is nog in onderzoek bij onze SIP provider. Tot de storing is opgelost kunt u contact met ons opnemen via e-mailadres info@bit.nl, via chatsupport op deze site of via onze berichtenservice op 026-3724617.


Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.  

EN

At this moment we are unreachable through our regular phone number. We are contacting our supplier to find what is causing this problem. If you need to contact us you can dial +31 (0)26 3724617 and leave a message. Our personal will contact you as soon as possible after that.


Update placed at 10/11/2016, 09:00
Our telephone number is still unavailable. Our SIP provider is investigating the matter. Until this problem gets resolved you can contact us by email on info@bit.nl, by chatsupport on this page or through our message service on +31 26 3724617.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Vanaf 21:13 uur is de glasvezelverbinding naar Londen en Frankfurt onderbroken. Verkeer via die verbindingen kan hier kort hinder van hebben ondervonden.


Update geplaatst op 08-10-2016, 23.00
Omstreeks 22:33 uur is de verbinding hersteld en vanaf 22:40 uur zijn de BGP sessies met de routers van BIT in Ede weer hersteld.
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Since 21:13h we experience a disruption on our fibers to London and Frankfurt. Traffic going through these connections might have experienced short hindrance.


Update placed at 08/10/2016, 23:11
The connection recovered around 22:33h and since 22:40h the BGP sessions with the routers of BIT in Ede have been established again.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

[06:57] Sinds 06:21 wordt datacenter BIT-2A voorzien van noodstroom door de aggregaten. De oorzaak hiervan wordt onderzocht. Dit is mogelijk gerelateerd aan het onderhoud aan de stroominfra van BIT-2A (https://www.bit.nl/news/985/92/Onderhoud-Stroominfra-BIT-2)


[Update 07:48] Het vermoeden bestaat dat de schakelaar tussen transformator van de netbeheerder en onze hoofdverdeler van BIT-2A defect is. De netbeheerder en onze installateur zijn ingeschakeld om dit defect te verhelpen. Een tijdslijn hiervoor is nog niet te geven.
Op dit moment draait geheel BIT-2A op de noodstroom aggregaten.

Wij zullen deze storingsmelding updaten zodra er nieuwe informatie beschikbaar is.
[Update 08:10] Sinds enkele minuten draait BIT-2A weer geheel op netspanning. Engineers van BIT en onze installateur hebben de transformator schakelaar weten in te schakelen.

De reden waarom de transformator schakelaar uitgeschakeld geweest is is nog onbekend en zal verder onderzocht worden.
[Update 08:50] Er blijkt bij 1 zaalverdeler in BIT-2A 1 fase te missen. Dit heeft voor een aantal racks in BIT-2A tot gevolg dat er in de getroffen racks maximaal 1 feed geen netspanning geeft. Collega's van datacenterbeheer zijn bezig het probleem met deze zaalverdeler te verhelpen.
[Update 09:12] De ontbrekende fase van de betreffende zaalverdeler is weer beschikbaar. De reguliere stroomvoorziening in BIT-2A is hiermee hersteld.

EN

[06:57] Since 06:21 datacenter BIT-2A is supplied by power from an emergency generator. Engineers are investigating this issue. This might be related to the electrical maintenance in BIT-2 (https://www.bit.nl/news/986/90/Electrical-maintenance-BIT-2).


[Update 07:48] It is suspected that the transformer switch between the grid and the main distributor of BIT-2A is defective. The mains network operator and our installers are enabled to remedy this defect. A timeline for this is not to give yet.

At this moment BIT-2A runs entirely on backup generators.

We will update this incident message as soon as new information becomes available.


[Update 08:10] For several minutes BIT 2A runs whole on mains. Engineers of BIT and our installer managed to turn on the switch of the transformer.

The reason why the transformer switch has been turned off is still unknown and will be investigated further.
[Update 08:50] It appears that to one phase is missing in one room divider in BIT-2A. This results in that a number of racks in BIT-2A have no power on maximum one of two power feed. Colleagues of data center management are working to resolve the issue with this room divider.
[Update 09:15] The phase that was unavailable has been restored. Regular power supply to BIT-2A has been restored.

8 years ago —

NL

Rond 08:49 uur kwam er een grote DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 08.51 uur succesvol gemitigeerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 08:49h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack has been succesfully mitigated around 08:51h.

The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 04.14 uur kwam er een grote DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 04.17 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 04:14h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack has been succesfully mitigated around 04:17h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 14.25 uur kwam er een grote DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 14.27 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 14:25h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack has been succesfully mitigated around 14:27h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 14.16 uur kwam er een grote DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 14.19 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 14:16h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack has been succesfully mitigated around 14:19h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Er zijn problemen met de koude-opwekking in serverruimtes BIT-2BC. Engineers van BIT zijn ter plaatse en hebben de storing in onderzoek. Zodra er meer bekend is, melden we dat op onze site.


Update geplaatst om 10.40
Het probleem wordt veroorzaakt door het koelregelsysteem. Maatregelen om dat probleem weg te nemen worden nu genomen.
Update geplaatst om 10.45
De temperatuur daalt in de ruimtes.
Update geplaatst om 11.05
De temperatuur in BIT-2C is weer binnen specificaties.
Update geplaatst om 11.20
De temperatuur in BIT-2B is weer binnen specificaties.
Update geplaatst om 11.27
Het incident is opgelost. Een beschrijving van de storing en de aanleiding daartoe volgt zo spoedig mogelijk en zal op onze site gepubliceerd worden. Heeft u nu vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

Update geplaatst op 10-08-2016 om 11.18
Het incidentrapport (RFO) over deze storing is hier beschikbaar.


EN

There are problems with the cooling system in server rooms BIT-2BC. BIT engineers are at the location and investigating the issue. When more information is available it will be published on the site.


Update placed at 10:42
The cause of the problem is the cooling control system. Engineers are working on solving the issue.
Update placed at 10:45
Temperature in the server rooms is falling.
Update placed at 11:05
The temperature in BIT-2C is within specifications.
Update placed at 11:18
The temperature in BIT-2B is within specifications.


Update placed at 11:28
The incident has been resolved. A report with root cause analysis will be published on our website soon. If you have any questions for now regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 17.06 uur kwam er een grote DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 17.10 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 17:06h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack has been succesfully mitigated around 17:10h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Op dit moment ondervinden we problemen met onze inbelomgeving. Inbelnummer 06760-24865 is op dit moment niet bereikbaar. Samen met onze leverancier wordt gepoogd dit zo spoedig moegelijk op te lossen.


Update geplaatst op 1-8-2016, 13.00u
KPN heeft de storing in onderzoek. Wij zijn in afwachting van hun onderzoek.
Update geplaatst op 1-8-2016, 18.45u
KPN heeft de storing om 18.10 verholpen. Inbeldienst is weer beschikbaar. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

At this moment we are experiencing problems with our dial-up environment. Telephone number 06760-24865 is unreachable at this moment. Together with our supplier we are trying to resolve this issue as soon as possible.


Update placed at 01-08-2016, 13.00h
KPN is researching this incident. We are awaiting their response.
Update placed at 01-08-2016, 18.45h
KPN has restored telephone service at 18.10. Dial-up service is available again. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 21.04 uur kwam er een grote DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 21.07 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 21:04h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack has been succesfully mitigated around 21:07h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 08.48 uur kwam er een grote DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 08.52 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 08:48h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack has been succesfully mitigated around 08:52h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 19.57 uur kwam er een grote DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 20.00 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 19:57h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack has been succesfully mitigated around 20:00h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 18.00 uur kwam er een grote DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is omstreeks 18.04 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 18:00h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack has been succesfully mitigated around 18:04h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Sinds +/- 6.45 uur is er een storing op de ring-switch in BIT-2A. Deze switch wordt enkel gebruikt om klanten directe koperverbindingen aan te bieden tussen BIT-2A en BIT-1. Klanten die een dergelijke verbinding afnemen kunnen nu een grote hoeveelheid packetloss en als gevolg daarvan slecht functionerende verbindingen tussen BIT-2A en BIT-1 ondervinden. Gezien de aard van de problemen en de overlast die dit oplevert voor klanten die een dergelijke verbinding afnemen zijn we genoodzaakt om de switch een reset te geven. Dit zal deze verbindingen tussen BIT-1 en BIT-2A voor enkele minuten onderbreken. We verwachten deze reset voor 7.30 uit te voeren.


Update geplaatst op 24-06-2016, 7.51 uur
De switch is spanningsloos gemaakt en weer opnieuw opgestart. Dit heeft de problemen verholpen, we zien geen foutmeldingen meer in de logs die op software-problemen wijzen en er is geen packetloss meer op verbindingen tussen BIT-1 en BIT-2A.   Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Since approximately 6.45h we observe problems on the ring switch in BIT-2A. This switch is only used for providing direct copper connections between BIT-2A and BIT-1. Customers using this product will observe large amounts of packetsloss and as a result bad connections on these links. We need to reboot this switch. As a result, connections between BIT-1 and BIT-2 over this ring will be disrupted for several minutes. We expect to perform this reboot before 7.30h.  


Update placed at 24/06/2016, 7:55h
The switch has been turned off and on again. We do not see any errors in our logs indicating software problems anymore. No packetloss between BIT-2A and BIT-1 has been observed since the reboot. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 12.45 uur is er een probleem geconstateerd met één van de CCU's op BIT-1. Deze CCU is momenteel uitgeschakeld en dat heeft tot gevolg dat de koelinstallatie in BIT-1 verminderd redundant is. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst om 16.37
Vanmiddag is er een monteur van de leverancier bij de CCU geweest. Hij heeft de CCU nagelopen en heeft de CCU weer in bedrijf genomen. De koeling in BIT-1 is weer volledig redundant. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 12:45h a problem has been detected with one of the CCU's at BIT-1. The CCU is offline at this moment. As a result the cooling in BIT-1 is degraded redundant. Follow the incident on our website for updates concerning this incident.


Update placed at 16:40
An engineer from the CCU supplier checked the machine this afternoon and took it back in to production. Cooling in BIT-1 completely redundant again. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Om 18.53 uur is één van de UPS'en in storing gegaan. Engineers van BIT hebben de UPS in bypass gezet. Dit heeft geen onderbreking in de stroomvoorziening tot gevolg gehad. De leverancier is onderweg om het probleem te onderzoeken. Deze zal naar verwachting 21.30 uur op locatie zijn. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


Update geplaatst op 06-06-2016, 00.17
De afgelopen uren is de UPS nagekeken en is er nog geen reden voor de storing gevonden. De komende uren zal extra analyse apparatuur gebracht worden. Maandagochtend zal de UPS hiermee verder onderzocht worden. Tot die tijd blijft de UPS in bypass. De andere UPS is in bedrijf en zal een eventuele onderbreking van het lichtnet opvangen.
Update geplaatst op 06/06/2016, 11:13
Na verdere inspectie van de UPS is besloten de volledige UPS te vervangen. Zodra bekend, zal de plaatsingsdatum vermeld worden. Als gevolg van deze storing zal de maandelijkse noodstroomtest morgen niet uitgevoerd worden.
Update geplaatst op 06/06/2016, 14:16
De nieuwe UPS is ontvangen. Deze UPS zal vanmiddag geplaatst en getest worden.
Update geplaatst op 06/06/2016, 16:56
De nieuwe UPS zal morgen in bedrijf worden genomen.
Update geplaatst op 07/06/2016, 21:25
De UPS is geconfigureerd en getest, daarna is de UPS in bedrijf gezet.

EN

At 18.53h one of the two UPS'es started to malfunction. BIT engineers have put the UPS in bypass. This had no impact on the power feed. The provider of the UPS system is underway to investigate the issue. Estimated time of arrival is 21.30h. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.


Update placed at 06/06/2016, 00:10
The malfunction has been investigated. The cause of the malfunctioning has not been found yet. The coming hours equipment will be brought in to do further analyses Monday morning. The UPS stays in bypass. The other UPS on site is functioning as it should be. Non-break power is available.
Update placed at 06/06/2016, 11:17
Further investigation of the UPS has led to the conclusion that the UPS will be replaced. As soon as possible we will communicate the date and time the new UPS will be placed. Because of this incident the monthly emergency power test that should happen tomorrow, will be cancelled.
Update placed at 06/06/2016, 14:20
The new UPS has arrived. It will be placed and tested this afternoon.
Update placed at 06/06/2016, 16:54
The new UPS will be taken in production tomorrow.
Update placed at 07/06/2016, 21:27
The new UPS is configured and tested. The UPS is in production now.

8 years ago —

NL

Een zware DDoS naar een IP-adres van een klant van BIT heeft rond 13.35 uur gezorgd voor mogelijke onderbrekingen in een deel van ons netwerk.


Update geplaatst om 13.45
Deze DDoS is automatisch gemitigeerd maar werd onmiddellijk gevolgd door een tweede DDoS. Er wordt gewerkt aan maatregelen tegen deze tweede DDoS .
Update geplaatst om 13.50
De tweede DDoS is ook succesvol gemitigeerd.


EN

A large DDOS to an IP address of a BIT customer caused unavailability of a part of our network at around 13:35h.


Update placed at 13:44
The first DDOS was automatically mitigated. But it was immediately followed by a second DDOS. We are working to mitigate that DDOS as well.
Update placed at 13:51
The second DDOS is mitigated as well.
8 years ago —

NL

Rond 04.06 uur kwam er een grote DDOS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDOS is succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 04.06h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack has been succesfully mitigated. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 18.00 uur kwam er een grote DDOS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDOS is omstreeks 18.02 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 18:00h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack has been succesfully mitigated around 18:02h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 13.10 uur kwam er een grote DDOS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDOS is omstreeks 13.12 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 13:10h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack has been succesfully mitigated around 13:12h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

Fixed
8 years ago —

NL

Rond 15.45 uur ontstond er een storing op ons netwerk. Zo lang het netwerk nog niet stabiel is, wordt over dit incident gerapporteerd op http://www.bit.org/.  


Update geplaatst op 17-05-2016, 16.55
Onderstaande is vanaf ~15.55 uur op www.bit.org geplaatst. De storingsmelding zal op www.bit.org gesloten worden. 2016-05-17 15:45h Wij ondervinden momenteel een storing in ons netwerk. Zodra daar meer over bekend is melden we dat op deze plaats. ===== Update 16:00h Grote delen van het netwerk zijn weer bereikbaar. ==== Update 16:10h Een storing in de core switching zorgde voor het netwerk probleem. Verkeer dat via bepaalde paden naar ons netwerk komt kan nog niet aankomen. Netwerk engineers zijn deze problemen aan het oplossen. ==== Update 16:17h Het volledige netwerk is inmiddels weer bereikbaar.
Update geplaatst op 17-05-2016, 17.05 Het incident is opgelost. Onze excuses voor het ongemak. Meer informatie inzake de storing volgt op deze website zodra onze engineers hun analyse hebben afgerond. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.
Update geplaatst op 17-05-2016, 17.45 De verstoring in het netwerk op 17 mei is veroorzaakt door een falende core-switch. Helaas is er geen logging beschikbaar gebleven die aanwijzingen kan geven voor de oorzaak van het falen. Omdat dit de tweede keer in een relatief korte periode is dat deze switch problemen geeft, zal de switch vervangen worden. Deze vervanging zal in een apart onderhoudsmelding aangekondigd worden. Als gevolg van de problematische switch waren een aantal paden in ons netwerk niet bereikbaar. De voorzieningen die getroffen zijn om in dergelijke gevallen de problemen tot een minimum te beperken hebben niet naar volledige tevredenheid gefunctioneerd. De core-routers kwamen in een 'split-brain' situatie terecht, waardoor het automatisch rerouten naar andere paden langer duurde dan gewenst en nodig. Onze netwerk engineers doen verder onderzoek naar de oorzaak van de split-brain situatie en zullen maatregelen nemen om deze in de toekomst te voorkomen. Nogmaals onze excuses voor het ongemak.
Update geplaatst op 18-05-2016, 14.15 De RFO omtrent deze storing wordt opgesteld. Zodra de RFO gereed is zal deze beschikbaar worden gemaakt op onze website.
Update geplaatst op 19-05-2016, 10.40 De RFO is hier te downloaden.

EN

There is a problem on our network. Untill further notice updates regarding this incident will be placed on http://www.bit.org/.  


Update placed at 17/05/2016, 16:59
The following is the incident as it appeared on www.bitorg. The incident there will be closed soon. 2016-05-17 15:45h There is a problem in our network. More info when available on this site. ===== Update 16:00h Large parts of the network are available again. ==== Update 16:10h An incident in our core switching caused the network issue. Traffic coming from certain paths to our network might still be disrupted. Engineers are working on this issue. ==== Update 16:17h The complete network is available again.
Update placed at 17/05/2016, 17:02 The incident has been resolved. Our apologies for the inconvenience. More information regarding the incident will follow on this website as soon as our network engineers finished their analysis. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.
Update placed at 17/05/2016, 17:56 The disruption in our network on May 17th has been caused by a failing core switch. Unfortunately no logging is available that can give any clues to the cause of this failure. Because this is the second time in a relative short period that this switch fails, we will replace the switch. This replacement will be announced in a separate maintenance notice. The problematic switch led to the unavaivalability of several paths within our network. The precautions for these type of problems did not perform as expected. The core routers saw themselves in a 'split brain' situation. As a result rerouting to other paths took longer than wished for and necessary. Our network engineers will analyse the cause of this split brain situation and will take appropiate actions to prevent this in the future. Again we apologise for any inconvenience.
Update placed at 18/05/2016, 14:16 The RFO regarding this outage is being made. The RFO will be made available on our website as soon as this RFO is ready.
Update placed at 19/05/2016, 10:41 The RFO regarding this outage is available (in Dutch) and can be found here.

8 years ago —

NL

Rond 06.17 uur kwam er een grote DDOS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDOS is omstreeks 06:18 uur succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 06:17h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack has been succesfully mitigated around 06:18h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 16.15 uur kwam er een grote DDOS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDOS is inmiddels succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 16:15h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack had been succesfully mitigated. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

8 years ago —

NL

Rond 4.30 uur kwam er een grote DDOS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDOS is inmiddels succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 4:30h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack had been succesfully mitigated. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Sinds 00.06u is onze router in Frankfurt onbereikbaar geworden. We zijn bezig met onderzoek naar de oorzaak. Verkeer is omgeleid.


Update geplaatst op 19-04-2016, 01.04
De leverancier van de verbinding naar Frankfurt is ingeschakeld om het probleem verder te onderzoeken. Zodra er meer informatie bekend is over dit probleem zullen wij dit melden.
Update geplaatst op 19-04-2016, 01.42
Een herstart van de router in Frankfurt heeft de verbinding hersteld. Met onze leverancier zullen wij verder onderzoeken naar de preciese oorzaak van dit probleem. Heeft u verdere vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Since 00:06u our router in Frankfurt became unreachable. We are looking into the source of the problem. Traffic has been diverted.


Update placed 19/04/2016, 01:05
Our supplier of the connection to Frankfurt is investigating this incident. Once we have more information we will update this incident.
Update placed 19/04/2016, 01:43
After a reboot of the router in Frankfurt the connection has been restored. We will further investigating with our supplier to find the cause of this problem. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Rond 14.00 uur kwam er een grote DDOS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDOS is inmiddels succesvol gemitigeerd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 14:00h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack had been succesfully mitigated. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Rond 11.10 uur kwam er een grote DDoS binnen, gericht op een IP van een klant van BIT. Dit kan tot tijdelijke onbereikbaarheid voor een deel van ons netwerk geleid hebben. De DDoS is inmiddels succesvol gemitigeerd.


EN

Around 11:10h a large DDOS attack was encountered to an IP of a customer of BIT. Several other customers might have noticed unreachability of their networks as a result. The attack had been succesfully mitigated.

9 years ago —

NL

Om +/- 21:10 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS was voorbij voordat er automatisch gemitigeerd zou worden, maar kan wel overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 21.10h a DDoS attack was launched at one of BIT's customers. This attack was detected and was over before the moment we would normally mitigated automatically. It is possible that customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Op maandag 14 maart omstreeks 07:00 uur is er een storing ontstaan aan het Windows Shared Hosting platform. Websites die van dit platform gebruik maken zijn niet of verminderd beschikbaar. Engineers zijn bezig het probleem te onderzoeken.


Update geplaatst op 14-03-2016, 07.47
De storing is verholpen. Het platform is weer volledig redundant. Heeft u vragen of opmerkingen naar aanleiding van deze storing, neemt u dan contact op met onze afdeling Customer Care, via email op support@bit.nl of via telefoon op 0318 648 688.    

EN

On monday 14 march around 07:00 h an issue occured with the shared windows hosting platform. Engineers from BIT are investigating the issue.


Update placed at 14/03/2016, 07:52
The issue has been resolved and the platform is fully redundant again.   If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Wij ondervinden een storing aan onze coreswitch in BIT-2A. Het probleem wordt op dit moment onderzocht.


Update geplaatst om 15.24 uur
Engineers zijn nog bezig de storing op te lossen. Updates over deze storing blijven op www.bit.org geplaatst worden.
Update geplaatst om 15.30 uur
De bereikbaarheid van het BIT netwerk komt terug. De switch die in eerste instantie voor het probleem heeft gezorgd, staat nog uit.
Update geplaatst om 15.35 uur
VLAN's voor klanten tussen BIT-2 en Amsterdam zijn nog niet beschikbaar.
Update geplaatst om 15.50 uur
Ook de dienst Pinnen over IP is nog niet beschikbaar.
Update geplaatst om 16.18 uur
De switch die de storing heeft veroorzaakt, is weer beschikbaar. Eén voor één worden de diensten opnieuw beschikbaar gemaakt die nog niet beschikbaar waren, waaronder verbindingen over het Tele2 netwerk.
Update geplaatst om 16.37 uur
VLAN's tussen BIT-2 en Amsterdam worden één voor één weer beschikbaar gemaakt.
Update geplaatst om 16.50 uur
Alle diensten zijn weer beschikbaar. Mocht u nog problemen ervaren neemt u dan telefonisch contact met ons op op +31(0)318648688. Er zal een onderzoek uitgevoerd worden naar de oorzaak en impact van deze storing. De resultaten van dit onderzoek zullen als RFO op www.bit.nl gepubliceerd worden. Onze oprechte excuses voor het ongemak.
De RFO van deze storing vindt u via dit nieuwsbericht

EN

There is a disruption of our core network. Updates on this incident will be placed on www.bit.org.


Update placed at 15:24
Engineers are still working on this incident. Updates on this incident will be placed on www.bit.org.
Update placed at 15:30
BIT's network is coming back online. The switch that caused this problem is offline for now.
Update placed at 15:35
VLAN's of customers between BIT-2 and Amsterdam are not available yet.
Update placed at 15:50
The service 'Pinnen over IP' is not available yet.
Update placed at 16:18
The switch that caused the problems, is online again. Services that are still disconnected will be brought online one-by-one.
Update placed at 16:38
VLAN's between BIT-2 and Amsterdam are coming available one-by-one.
Update placed at 15:24
All services are back online. In case you still experience problemes, please contact us on +31(0)318648688. An investigation will be executed to the cause and impact of this incident. The results of that investigation will be published in a RFO on www.bit.nl. Our sincere apologies for any inconvenience.

9 years ago —

NL

Om +/- 10.30 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS was voorbij voordat er automatisch gemitigeerd zou worden, maar kan wel overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 10.30h a DDoS attack was launched at one of BIT's customers. This attack was detected and was over before the moment we would normally mitigated automatically. It is possible that customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om +/- 13.00 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS is snel gemitigeerd maar kan wel overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 13.00h a DDoS attack was launched at one of BIT's customers. This attack was detected and automatically mitigated. It is possible that customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om 11.42 uur is de glasvezelverbinding tussen BIT-1 en Telecity 2 onderbroken. Verkeer wat over deze glasvezel gerouteerd wordt is automatisch via andere paden omgeleid, maar mogelijk heeft u hier wel een korte onderbreking bemerkt. Klanten die een unprotected wavelength over dit pad afnemen ervaren nog steeds onderbreking. Wij nemen contact op met onze glasvezelleverancier om te achterhalen wat de oorzaak van deze onderbreking is.


Update geplaatst om 11.55 De glasvezelverbinding is ondertussen hersteld. Wij zijn op dit moment bezig met controle. Verbinding was ongeveer 6 minuten onbeschikbaar.
Update geplaatst om 13.18 Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

At 11.42h we observed a short of approximately six minutes on the fiber connection between BIT-1 and Telecity 2. Traffic routed through this fiber may have been disrupted before it was rerouted via other paths. Customers who use an unprotected wavelength on this path will have observed a disruption as well. We will contact our fiber supplier to find out what caused this disruption.


Update placed at 13:17
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

Fixed
9 years ago —

NL

Sinds een aantal minuten krijgen wij berichten binnen die er op duiden dat er een verstoring in ons netwerk is. Engineers zoeken naar de oorzaak ervan. Zodra er meer bekend is melden we dat op onze site.


Update geplaatst om 12.17 De verstoring lijkt veroorzaakt te worden door problemen met één van onze core routers. Het kan hierdoor voorkomen dat verbindingen soms wel en soms niet werken. Er wordt nog onderzoek gedaan.
Update geplaatst om 12.23 Het probleem is gevonden en de oplossing hiervoor wordt nu uitgerold.
Update geplaatst om 12.37 De oplossing lijkt nog niet alle problemen op te lossen, er wordt verder onderzoek gedaan.
Update geplaatst om 13.02 De storingsmelding gaat verder op www.bit.org omdat www.bit.nl niet voor iedereen bereikbaar is.
Update geplaatst om 13.10 Eén van de core routers is nu uitgeschakeld. Dat verbetert de problemen, maar zorgt er voor dat het netwerk verminderd redundant is.
Update geplaatst om 13.14 Het uitzetten van de router zorgt ervoor dat ons gehele netwerk weer bereikbaar is. Vooralsnog zullen updates over dit probleem op deze site geplaatst worden.
Update geplaatst om 14.10 Klanten met internet verbindingen op glasvezel netwerken (NDIX, Eurofiber, etc.) kunnen nog problemen ondervinden.
Update geplaatst om 14.30 Internet verbindingen op glasvezelnetwerken zijn ook weer werkzaam.
Update geplaatst om 14.40 De uitgeschakelde router zal stap voor stap weer online gebracht en in productie gebracht worden. Na voltooiing is het netwerk weer volledig redundant.
Update geplaatst om 17.30 Door een menselijke fout in het aanpassen van de configuratie van een van onze core routers ontstond er een probleem met de routering naar een deel van het netwerk van BIT: dit verkeer werd niet doorgestuurd maar werd weggegooid. Engineers detecteerden deze configuratiefout snel en deze is hersteld. Als gevolg trad er echter een nieuw probleem op: de processor van de router die verantwoordelijk is voor het afhandelen van wijzigingen in routetabellen werd overbelast. Hierdoor ontstond een situatie waarin routetabellen niet meer correct bijgewerkt werden, waardoor de router ten onrechte dacht delen van het internet en het BIT-netwerk te kunnen bereiken terwijl dit niet het geval is. Als noodmaatregel hebben engineers van BIT uiteindelijk al het verkeer van deze router weggeleid en daarna zeer geleidelijk en gecontroleerd weer teruggebracht. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

There are clues that there might be disruption in our network. Engineers have this problem under investigation. Any news on this matter will be published on our website.


Update placed at 12:20 The problem seems to be caused by one of our core routers. Some connections work and some don't.
Update placed at 12:24 The cause is found and a patch is being made at this moment.
Update placed at 12:37 The patch does not seem to solve all problems yet, further investigation is on its way.
Update placed at 12:59 News on this incident will be published on www.bit.org because www.bit.nl is not available for everybody.
Update placed at 13:10 One of the core routers is disabled at the moment. This improves the situation, but makes the network less redundant.
Update placed at 13:15 The problem is isolated for now. Our network is completely available. For the moment any updates will be published on this site.
Update placed at 14:10 Customers with internet connections on access networks (NDIX, Eurofiber, etc.) stil experience problems.
Update placed at 14:30 Internet connections on fiber networks are available as should be.
Update placed at 14:40 The faulted router will be brought back online step by step and taken into production. After completion the network will be fully redundant again.
Update placed at 17:30 A human error made during configuration updates on one of our core routers caused a problem in routing to parts of the BIT network: the traffic got filtered instead of routed. This error was detected early and restored swiftly. As a result a new problem arose: the router's processor that takes care of changes in the routing tables got overloaded. This resulted in a situation where routing tables were not updated correctly anymore. Therefore the router mistakenly routed traffic to parts of the internet and the BIT network that could not be reached by that router. As a counter measure BIT engineers routed away all traffic from this router and afterwards brought traffic back to this router. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om +/- 18.35 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS is snel gemitigeerd maar kan wel overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 18:35h a DDoS attack was launched at one of BIT's customers. This attack was detected and automatically mitigated. It is possible that customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om +/- 17.14 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS is snel gemitigeerd maar kan wel overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 17:14h a DDoS attack was launched at one of BIT's customers. This attack was detected and automatically mitigated. It is possible that customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om +/- 16.54 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS is gemitigeerd maar kan wel overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 16:54h a DDoS attack was launched at one of BIT's customers. This attack was detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om +/- 20.03 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS is gemitigeerd maar kan wel overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 20:03h a DDoS attack was launched at one of BIT's customers. This attack was detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Op vrijdag 29 januari omstreeks 18.30u is de backup server van BIT stuk gegaan. Engineers van BIT zijn bezig vervangende hardware in te richten. Deze storing heeft geen gevolgen voor de reeds gemaakte backups, alleen zijn deze backups op dit moment niet zondermeer benaderbaar. Wij zullen ons best doen er voor te zorgen dat de backup server voor het startmoment van de meeste backups weer online is. Deze server verzorgt backups voor Linux- en Windows systemen. Heeft u vragen of opmerkingen naar aanleiding van deze storing, neemt u dan contact op met onze afdeling Customer Care, via email op support@bit.nl of via telefoon op 0318 648 688. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst om 22:50
Vervangende hardware is geplaatst en wordt geinstalleerd.
Update geplaatst om 00:15
Server is weer bereikbaar en de laatste wijzigingen worden doorgevoerd. Eventueel gemiste 'startmomenten' worden handmatig alsnog gestart.
Update geplaatst om 00:50
De server is weer operationeel en de backups lopen weer. Indien uw server een NFS-mount heeft naar deze backup server, kan het zijn dat deze NFS-mount opnieuw moet worden opgezet. In vrijwel alle gevallen komt dit vanzelf goed.

EN

On friday, the 29th of january, around 18.30hrs, our backup server experienced hardware issues. Engineers are working hard to replace the hardware. This incident is purely server-side related and has no effect on backups already stored, just that these backups are currently unavailable. We will try our hardest to get this server back online before the next backup run would start. This server stores Linux- and Windows backups. If you have any questions or comments about this incident, do not hesitate to contact us by email at support@bit.nl or by phone at 0318 648 688. Follow the incident on our website for updates concerning this incident.


Update placed at 22:50
Replacement hardware was placed in the cabinet and is being installed.
Update placed at 00;15
The replacement server is back online. The last changes are being applied to the configuration. Backups that have missed their 'start moment' will be started manually.
Update placed at 00:50
The server is back and operational. Backups have been started. If your server has an NFS-mount to this backup server this should recover automaticaly. On occasion the NFS-mount has to be re-mounted.

9 years ago —

NL

Om +/- 19.22 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS is gemitigeerd maar kan wel overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 19:22h a DDoS attack was launched at one of BIT's customers. This attack was detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om +/- 11.20 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS is gemitigeerd maar kan wel overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 11:20h a DDoS attack was launched at one of BIT's customers. This attack was detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om +/- 14.12 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS is gemitigeerd maar kan wel overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 14.12h a DDoS attack was launched at one of BIT's customers. This attack was detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Naar een deel van het netwerk van BIT treedt packetloss op. De oorzaak voor dit probleem is in onderzoek bij onze netwerk engineers. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst om 12.10
Het probleem lijkt beperkt tot een enkele blade op een enkele switch. Deze blade zal rond 12.15 uur een reboot krijgen, verwachte downtime daardoor is 2 minuten. Mocht de reboot het probleem niet oplossen zal deze blade vervangen worden en is de verwachte downtime 15 minuten.
Update geplaatst om 12.55
Helaas heeft de reboot en daarna het vervangen van de blade het probleem niet opgelost. Komende nacht zal om 00.00 uur de volledige switch een reboot krijgen. Hierdoor zullen alle poorten op switch rbfs1.bit-2b gedurende 15 minuten niet beschikbaar zijn. U kunt op uw factuur zien of u een poort op deze switch afneemt. Voor klanten met redundante uplinks zullen BIT-engineers er zorg voor dragen dat de redundante poort op een andere switch prioriteit krijgt boven de poort op de te rebooten switch.
Update geplaatst om 16.10
Omdat het probleem met packetloss zich heeft uitgebreid naar een andere switch, zullen komende nacht beide switches een reboot krijgen. Zie de onderhoudsaankondiging voor details.
Update geplaatst om 00.10
De verstoring is verholpen door twee blades in de switch rbfs1.bit-2c te herstarten. Alle netwerk componenten zijn weer volledig redundant en er is geen packetloss meer bemerkt.


EN

We notice packetloss to a part of the BIT network. Our network engineers are investigating the cause of this loss. Follow the incident on our website for updates concerning this incident.


Update placed at 12.10
The probleem seems to be reserved to 1 blade on 1 switch. At 12.15h the blade will be rebooted, expected downtime is 2 minutes. In case the reboot does not solve the problem, the blade will be replaced. Expected downtime when it gets replaced is 15 minutes.
Update placed at 13.00
Unfortunately the problem is not solved by rebooting and replacing the blade. Therefore at 00:00h coming night the complete switch will be rebooted. All uplinks on switch rbfs1.bit-2b will experience downtime of approximately 15 minutes. You can check on your invoice whether your uplink comes from this switch. For customers with redeundant uplinks we will change the preference to the redundant uplink on the other switch.
Update placed at 16.10
Since the problem with packet loss is expanding to another switch, coming night both switches will be rebooted. See the maintenance announcement for further details.
Update placed at 00.10
This incident is resolved. Two network blades from rbfs1.bit-2c have been reset. All network components are completely redundant and no packetloss is seen ever since.

9 years ago —

NL

Om 12.48 uur is er een korte onderbreking opgetreden op de glasvezelverbinding tussen BIT-2 en SARA. Verkeer werd automatisch omgeleid via andere verbindingen, maar klanten kunnen een kortstondige onderbreking in verbindingen gemerkt hebben. Wij zullen met onze leverancier contact opnemen om de oorzaak van deze storing te achterhalen. Op dit moment is de verbinding weer operationeel.


EN

At 12.48h we experienced a short disruption on our fiber between BIT-2 and SARA. Traffic was rerouted automatically via other paths, but customers may have noticed a short disruption in connections. At this moment, the connection is stable again. We will contact our supplier to find out the cause of this disruption.

9 years ago —

NL

Tussen 1.09 en 1.10 uur zijn er enkele korte onderbrekingen opgetreden op de glasvezelverbinding tussen BIT-2A en SARA. Verkeer is automatisch omgeleid via andere paden, maar het is mogelijk dat u kortstondige onderbreking van verbindingen bemerkt heeft. Klanten met een unprotected wavelength op dit pad en klanten die een eigen AMS-IX aansluiting via BIT afnemen hebben ook hinder ondervonden van deze onderbrekingen. Er is aan BIT geen onderhoud aangekondigd door de leverancier van deze verbinding, er zal contact opgenomen worden om te achterhalen wat de oorzaak van deze onderbrekingen was. Na deze korte onderbrekingen is de verbinding nu weer stabiel beschikbaar. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Between 1.09 and 1.10h we observed several short disruptions on the fiber between BIT-2A and SARA. Traffic was rerouted via alternative path automatically, but customers may have observed a short disruption of connections. Customers with an unprotected wavelength on this path and customers with their own AMS-IX connection via BIT will have observed these disruptions as well. We are not aware of any scheduled maintenance on this fiber by the supplier, but will contact them to figure out what caused these disruptions. The fiber has been stable and available since 1.10h. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Door een fout tijdens het wijzigen van netwerk configuratie is er een onderbreking geweest op VM's die draaiden op hypervisors in BIT-2A. Ondertussen is de fout hersteld. U kunt een kleine onderbreking hebben bemerkt.


EN

Because of a network configuration error an interuption of network traffic on VM's was noticeable. The error has been undone and all VM's should work as expected.

9 years ago —

NL

Om 0.02 uur trad er een onderbreking  op op de glasvezelverbinding tussen BIT-1 en Telecity 2. Verkeer wat over deze glasvezel gerouteerd werd heeft een korte verstoring ondervonden, waarna het automatisch via andere paden is omgeleid. Klanten die een unprotected wavelength over dit pad afnemen zullen hierop een onderbreking ervaren. Wij nemen contact op met onze glasvezelleverancier om te achterhalen wat de oorzaak van deze onderbreking is.  


Update geplaatst op 23-10-2015, 00.51
De glasvezelleverancier laat weten dat dit gepland onderhoud betreft waarvoor wij geen aankondiging hebben gekregen. Het onderhoudsvenster loopt tot 06.00 uur.

EN

We're experiencing an outage on the fiber between BIT-1 and Telecity 2 since 00.02h. Traffic has been rerouted via other paths, a short disruption of connections may have been observed. Our fiber provider is currently investigating this problem.


Update placed at 23/10/2015, 00:57
Our fiber provider confirms that they are performing scheduled maintenance on this fiber, but failed to announce this maintenance. The maintenance window is until 06.00h.

9 years ago —

NL

Om +/- 19:37 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS is gemitigeerd maar kan wel  overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 19:37h a DDoS attack was launched at one of BIT's customers. This attack was detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om +/- 22:42 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd na enkele minuten gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 22:42h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Het is op dit moment niet mogelijk om virtual machines te beheren (start/stop/reboot/vnc) via portal.bit.nl. De communicatie tussen onze portal en virtualisatie backend is op dit moment onderbroken. Dit probleem wordt door onze engineers onderzocht.

De virtual machines zelf zijn wel actief en bereikbaar. Het is voor BIT wel mogelijk om virtual machines te beheren.

Mocht het nodig zijn om een virtual machine te starten, te stoppen of te rebooten kunt u dit aan ons verzoeken.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 19-10-2015, 13.30uur
Het probleem in de communicatie is verholpen, virtuele machines zijn weer normaal te beheren via onze portal. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At this moment we are having an issue that virtual machines are not manageable via our portal. The communication between our portal and the virtualisation backend is disrupted. Our engineers are trying to find out the cause of this problem.

The virtual machines are active and accessible. It is possible for our engineers to manage these virtual machines.

If needed we can start, stop or reboot a virtual machine on your request.

Follow the incident on our website for updates concerning this incident.


Update placed at 19/10/2015, 13:28
The communication problems have been resolved, management of virtual machines via our portal works normally again. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Wij ondervinden op dit moment problemen met onze DNS servers. De exacte oorzaak en impact is in onderzoek door onze engineers. Volg de incidentmeldingen op onze website voor updates inzake dit incident.


Update geplaatst op 14-10-2015, 10.45
Er zijn aanpassingen gemaakt aan de DNS infrastructuur die de problemen hebben opgelost. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

We have noticed a disturbance on DNS. The underlying cause is being investigated by our engineers. Follow the incidents on our website for updates concerning this incident.


Update placed on 14/10/2015, 10:45
Changes have been made in our infrastructure to fix the resolving issues. The incident is resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om 16.48 uur vond een onverwachte overschakeling tussen de actieve en standby MSSQL servers plaats. Dit kan een kleine onderbreking in de beschikbaarheid van MSSQL instances opgeleverd hebben. Oorzaak van de overschakeling is nog onbekend en in onderzoek, maar de handmatige terugschakeling is zojuist uitgevoerd. De primaire server is weer actief en het platform is weer volledig redundant.


EN

At 16:48 pm there was an unexpected failover between our active and our standby MSSQL servers. This failover might have led to short disruption for MSSQL instances. The cause of the failover is still unknown, however the manual switch back has been issued and both MSSQL servers are now back in full redundancy state.

9 years ago —

NL

Om 12.02 uur vond een onverwachte overschakeling tussen de actieve en standby loadbalancers plaats. Dit kan een kleine onderbreking in loadbalanced diensten van BIT en van klanten die loadbalancing via BIT afnemen opgeleverd hebben. De exacte oorzaak hiervan is nog in onderzoek.


Update geplaatst op 12:20
Oorzaak van de overschakeling is nog onbekend en in onderzoek, maar de handmatige terugschakeling is zojuist uitgevoerd. De primaire loadbalancer is weer actief en het platform is weer volledig redundant.
Update geplaatst op 13:59
Langdurig hoge processor belasting was de oorzaak van de onverwachte overschakeling. De primaire loadbalancer is weer actief gemaakt en het platform is weer volledig redundant. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

At 12:02 pm there was an unexpected failover between our active and our standby loadbalancer. This failover might have led to short disruption of the services behind these load balancers. Our engineers are trying to find the root cause of the failover.


Update placed at 12:20
The cause of the failover is still unknown, however the manual switch back has been issued and both load-balancers are now back in full redundancy state.
Update placed at 13:59
The cause of the failover was high load on the primary load-balancer. The load-balancers failover state is resolved and are now back in full redundancy state. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om +/- 12:15 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd na enkele minuten gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


Update geplaatst op 30-12-2015, 12.40
De mitigatie van de DDoS is pas later effectief geworden en kan gedurende langere tijd voor overlast hebben gezorgd.

EN

At around 12.15h a DDoS attack was launched at one of BIT's customers. This attack has stopped, but some customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.


Update geplaatst op 30-12-2015, 12.40
The mitigation of the DDoS wasn't effective immediately and can have caused network connectivity issues for longer time.
9 years ago —

NL

Vanmorgen kon u problemen ervaren met uw dataverbinding van BIT over het Vodafone netwerk. De storing is ondertussen verholpen. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

This morning you could have experienced problems with data connections through the Vodafone network. At the moment the problem is resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om 08.05 uur vond een onverwachte overschakeling tussen de actieve en standby loadbalancers plaats. Dit kan een kleine onderbreking in loadbalanced diensten van BIT en van klanten die loadbalancing via BIT afnemen opgeleverd hebben. De exacte oorzaak hiervan is nog in onderzoek.


Update geplaatst op 09:28
Langdurig hoge processor belasting was de oorzaak van de onverwachte overschakeling. De primaire loadbalancer is weer actief gemaakt en het platform is weer volledig redundant. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

At 8:05 am there was an unexpected failover between our active and our standby loadbalancer. This failover might have led to short disruption of the services behind these load balancers. Our engineers are trying to find the root cause of the failover.


Update placed at 09:18
The cause of the failover was high load on the primary load-balancer. The load-balancers failover state is resolved and are now back in full redundancy state. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Zojuist is er een korte verstoring geweest in de ring-switches tussen BIT-1 en BIT-2A. We zijn aan het onderzoeken wat dit geweest kan zijn.


Update geplaatst op 16-09-2015, 10.50
Verstoring is veroorzaakt door een fout tijdens het configureren. Onderbreking heeft ongeveer 1 minuut geduurd. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

A short moment ago there was a short disruption on the ring-switches between BIT-2A and BIT-1. We are invertigating the source of the problem.


Update placed at 16-09-2015, 10:50 Disruption of service has been caused by a configuration error. Duration of the disruption was about 1 minute. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Als gevolg van een storing op de storagesystemen tussen 16.27 uur en 16.47 uur zijn de shared diensten zoals webhosting en email verminderd goed bereikbaar geweest. Tevens was de website www.bit.nl en ons reguliere telefoonnummer minder goed bereikbaar. Inmiddels werken alle diensten weer naar behoren. Meer info over de oorzaak volgt nog in deze melding.


Update geplaatst op 08-09-2015, 17.20
Vandaag heeft onze storageleverancier een kritische update uitgebracht voor de disk firmware van onze storagesystemen. Dergelijke updates kunnen non-disruptive uitgerold worden, dat hebben wij in het verleden al vaker gedaan. Als gevolg van een menselijke fout bij het gereedzetten van deze update, werden alle disks op het cluster in één keer geupdatet. Dat had grote beperkingen in de hoeveelheid beschikbare I/O tot gevolg. Als gevolg daar weer van waren de bovengenoemde diensten minder goed bereikbaar. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

As a result of issues on our storage platforms the shared services like webhosting and email experienced problems between 16.27 and 16.47h. The website www.bit.nl and our phone number had problems as well. The disruption is resolved. We will update this notice to inform you on reasons for the problems.


Update placed at 08-09-2015, 17.25 Our storage vendor has published a critical update for the disk firmware we use on our storage systems. The disks can be updated without disruption of the services running on the disks, this procedure has been done often by our engineers. As a result of a human error all disks got their update at the same time. This caused great impact on the amount of available I/O. And that caused impact for the earlier mentioned services. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Op dit moment ervaren wij een storing aan onze loadbalancers waardoor er mogelijke hinder is voor diensten die hier gebruik van maken. Engineers van BIT zijn op dit moment aan het onderzoeken wat de oorzaak is van deze storing. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 02-09-2015, 17.01
Erg hoge netwerk belasting zorgde voor instabiliteit op onze loadbalancers. Een bandbreedte beperking is ingesteld om de instabliteit tegen te gaan.
Update geplaatst op 02-09-2015, 18.33
Hoge netwerkbelasting is opgelost door een wijziging bij systemen van een klant van BIT. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

At this moment we are having an issue on our load balancers that may lead to short disruptions of the services behind these load balancers. Our engineers are trying to find out the cause of this problem. Follow the incident on our website for updates concerning this incident.


Update placed on 02-09-2015, 17:01h
A very high load on our load balancers has caused some instability. Network rate-limits have been set to address those issues.
Update placed on 02-09-2015, 18:33h
Some adjustments have been made on customer systems which reduced the high load. This incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.
9 years ago —

NL

In verband met een nog onbekende storing op ons mail filter platform bestaat de kans dat een e-mail vertraagd wordt afgeleverd. Engineers van BIT hebben het probleem in onderzoek.  


Update geplaatst op 02-09-2015, 13.26 Het incident is opgelost. Inmiddels is de vertraging ingelopen en zijn er geen wachtrijen meer op het filter platform. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Due to an unknown issue on our mail filtering platform there exists a possiblitity that mails are delivered with a delay. BIT engineers are investigating this issue.


Update placed at 02/09/2015, 13:26 The incident has been resolved. There is no delay anymore in delivering e-mail messages through are filtering platform. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Zojuist ervaarden wij een storing aan onze loadbalancers waardoor er mogelijk enige hinder is geweest voor alle diensten die hier gebruik van maken (webhosting, mail, etc.). Engineers van BIT zijn aan het onderzoeken wat de oorzaak van deze storing was. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst om 10.55
De oorzaak van de storing was een verstoring van de verbinding tussen beide loadbalancers. Dit zorgde voor een failover. De verstoring is hersteld en beide loadbalancers zijn weer volledig redundant. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

An unexpected failover of the load balancers might have led to short disruption of the services behind these load balancers. Our engineers are trying to find the root cause of the fail over. Follow the incident on our website for updates concerning this incident.


Update placed at 10:55
The cause of the failover was a link flap between the two load-balancers. The load-balancers failover state is resolved and are now back in full redundancy state. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.
9 years ago —

NL

Om +/- 00:14 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd na enkele minuten gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 00:14h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om 7.32 uur trad er een korte onderbreking van ongeveer een seconde op op de glasvezelverbinding tussen BIT-1 en Telecity 2. Verkeer wat over deze glasvezel gerouteerd werd kan een korte verstoring ondervonden hebben, waarna het automatisch via andere paden omgeleid is tot de verbinding weer werkte. Klanten die een unprotected wavelength over dit pad afnemen zullen hierop een onderbreking ervaren hebben. Wij nemen contact op met onze glasvezelleverancier om te achterhalen wat de oorzaak van deze onderbreking is.


EN

At 7.32h we observed a short disruption of approximately one second on the fiber connection between BIT-1 and Telecity 2. Traffic routed through this fiber may have been disrupted before it was rerouted via other paths. Customers who use an unprotected wavelength on this path will have observed a disruption as well. We will contact our fiber supplier to find out what caused this disruption.

9 years ago —

NL

Op dit moment lijkt er een storing te zijn bij de leverancier van VDSL/SDL.bis internetverbindingen. BIT ontvangt meldingen dat diverse van deze verbindingen offline zijn. We zijn in contact met onze leverancier en zullen deze storingsmelding bijwerken wanneer er meer informatie bekend is.


Update geplaatst op 17-08-2015, 9.18u
Onze leverancier bevestigt dat er een storing is aan een core switch in hun netwerk die verantwoordeijk is voor transport van verkeer van VSDL en SDSL.bis verbindingen. Zij zijn bezig deze switch te vervangen.
Update geplaatst op 17-08-2015, 9.40u
Wij zien dat verschillende VDSL/SDSL.bis verbindingen weer werken. Wij hebben nog geen bevestiging ontvangen van onze leverancier, het is dus mogelijk dat deze storing nog niet volledig verholpen is en dat verbindingen het dus nog niet doen of nu werkende verbindingen nog onderbroken worden.
Update geplaatst op 17-08-2015, 13.10u
De leverancier heeft veklaard dat de storing om 10.15 uur volledig verholpen is. Mocht u toch nog problemen ondervinden met een VDSL- of SDSL.bis-verbinding dan kunt u contact met ons opnemen via 0318 648 688 of support@bit.nl.

EN

It seems there is a disruption of services at our supplier of VDSL/SDSL.bis internet connections. BIT receives multiple notifications of these connections being unreachable.
We've contacted our supplier and will keep this incident up-to-date when new information arrives.

Update placed on 17-09-2015, 9:20h
Our supplier confirms an outage on a core switch which transports VDSL/SDSL.bis traffic. They're currently replacing this switch.
Update placed on 17-09-2015, 9:38h
We observe connectivity on at least some of the VSDL/SDSL.bis connections. We haven't received any confirmation from our supplier yet that this outage has been resolved, so more disruptions may follow.
Update placed on 17-09-2015, 13:10h
Our supplier confirms that as of 10.15h the faulty switch has been replaced andall connections have been restored. If you still experience problems with your VDSL or SDSL.bis connection, please do not hesitate to contact us via 0318 648 688 or support@bit.nl.

9 years ago —

NL

Rond 11.15 uur vond er een DDoS plaats op een klant van BIT. De DDoS is inmiddels gestopt, maar een deel van onze klanten heeft last ondervonden in de vorm van onbereikbare delen van het netwerk. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At around 11.15h a DDoS attack was launched at one of BIT's customers. This attack has stopped, but some customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om +/- 19:11 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd na enkele minuten gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 19:11h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om +/- 20:22 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd na enkele minuten gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 20:22h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om +/- 20:20 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd na enkele minuten gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.  


Update geplaatst op 31-07-2015, 21.14
Om +/- 21:08 uur vond er nogmaals een DDoS plaats van een andere type. Deze DDoS werd na enkele minuten gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten.

EN

At +/- 20:20h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.  


Update placed at 31/07/2015, 21.14
At +/- 21:08h another DDoS attack of a different type was launched at one of BIT's customers. This attack was detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result.

9 years ago —

NL

Om +/- 22:36 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd na enkele minuten gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 22:36h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om +/- 19:55 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd na enkele minuten gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 19:55h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Als gevolg van een storing aan een router van Tele2 heeft een deel van de internetverbindingen die BIT over het netwerk van Tele2 heeft geleverd geen internettoegang meer. Zodra er meer bekend is over deze storing wordt deze incidentmelding geüpdatet.


Update geplaatst om 10.44
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Some of the BIT internet connections transported over the Tele2 network will suffer with disruptions, due to the disruption of a Tele2 router. Please follow updates for this incident on our website.


Update placed at 10:42
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om +/- 17:36 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd na enkele minuten gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 17:36h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Een onverwachte failover van de load-balancers kan ervoor gezorgd hebben dat de diensten die gebruik maken van de load-balancers kortstondig onderbroken zijn geweest. Onze engineers hebben de reden voor de failover in onderzoek.


Update geplaatst op 06-07-2015, 17.17u
Er is nog geen duidelijke oorzaak gevonden van de failover. Inmiddels is de loadbalancer die actief was preventief gereboot en vervolgens weer gecontroleerd actief gemaakt.


EN

An unexpected fail over of the load balancers might have led to short disruption of the services behind these load balancers. Our engineers are trying to find the root cause of the fail over.


Update placed at 06/07/2015, 17:20
A root cause hasn't been found yet. The previously active load balancer has been given a reboot and is now active again.

9 years ago —

NL

Sinds 10.39u is onze router in Frankfurt onbereikbaar geworden. We zijn bezig met onderzoek naar de oorzaak. Verkeer is omgeleid.  


Update geplaatst op 26-06-2015, 11.34 De deels onbeschikbaarheid van de router in Frankfurt heeft ervoor gezorgd hebben dat sommige hosts op internet slecht bereikbaar waren. We hebben hierop aanpassingen in het netwerk gemaakt. We verwachten dat er op dit moment geen verstoring meer merkbaar zijn.
Update geplaatst op 26-06-2015, 14.30 De router is handmatig gereboot. Er worden controles uitgevoerd en als die succesvol zijn zullen de route omleidingen verwijderd worden.
Update geplaatst op 26-06-2015, 15.23 Na uitvoerige controle blijkt dat we tegen een known-bug zijn aangelopen. Deze bug is inmiddels opgelost in recentere software. De router wordt nu bijgewerkt naar deze versie.
Update geplaatst op 26-06-2015, 17.15 De router is ge-update en weer in productie genomen. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Since 10:39u our router in Frankfurt became unreachable. We are looking into the source of the problem. Traffic has been diverted.  


Update placed at 26/06/2015, 11:34
Because of the partialy unavailable router in Frankfurt some hosts on the internet may have been unreachable. We have made changes to our network to address this problem and suspect that disruption is no longer noticeable.
Update placed at 26/06/2015, 14:28
The router has been manually rebooted. Checks will be performed on the router and when these checks succeed the route diversions will be removed.
Update placed at 26/06/2015, 15:23
It seems that we have ran into a known-bug. This bug has been fixed in newer software. The router is in the process of being updated to this version.
Update placed at 26/06/2015, 17:14
The router is updated and back in production. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Rond 8.02 uur is de extern gehoste authoratieve nameserver nsauth3.bit.org niet meer bereikbaar wegens nog onbekende problemen bij de externe hoster. De overige authoratieve nameservers zijn wel bereikbaar. Hierdoor is het mogelijk dat lookups van domeinen op onze authoratieve nameservers vertraagd zijn.  


Update geplaatst op 24/06/2015, 14:12
Het incident is opgelost. De oorzaak van de storing was een probleem in de stroomvoorziening bij de hoster. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

Around 8.02h our externally hosted authorative nameserver nsauth3.bit.org is unreachable due to unknown problems at the hoster. Our other authoritive nameservers are available. Lookups of domains on our authoritive nameservers can take longer than usual because of this.


Update placed at 24/06/2015, 14:12
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Om +/- 20:17 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd na enkele minuten geblackholed maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 20.17h a DDoS attack was launched at one of BIT's customers. This attack was detected and blackholed, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Een menselijke fout heeft een ongecontroleerde failover van load-balancers veroorzaakt. Diensten die gebruik maken van de load-balancers kunnen daardoor zeer kortstondig onderbroken zijn geweest. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

A human error led to an uncontrolled fail over of our load-balancers. Load-balanced services might have experienced a very short hick-up. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

9 years ago —

NL

Sinds vanmiddag kunt u problemen ervaren met uw dataverbinding van BIT over het Vodafone netwerk. Storingsengineers van BIT hebben het probleem in onderzoek, er zijn aanwijzigingen dat het probleem in het Vodafone domein ligt. Er is contact opgenomen met Vodafone. Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 14-06-2015, 20.02u
Vodafone geeft aan dat ze een hardwarestoring hebben op de apparatuur die de verbinding tussen het netwerk van Vodafone en BIT verzorgt. Het zal naar verwachting nog minimaal enige uren gaan duren voor deze storing verholpen is.
Update geplaatst op 15-06-2015, 08.55u
Vodafone geeft aan dat defecte hardware is vervangen. De storing is verholpen.

EN

As of this afternoon you can experience problems with data connections through the Vodafone network. On duty engineers are investigation the incident, we have strong indications that the problem lies within the Vodafone network. Vodafone has been contacted. Follow the incident on our website for updates concerning this incident.


Update placed at 14/06/2015, 20:02 Vodafone has indicated that they have a hardware failure on the equipment which connects the Vodafone and BIT networks. They expect that it will take at least several hours to replace this equipment and to solve this problem.
Update placed at 15/06/2015, 08:55 Vodafone has indicated that defective hardware has been replaced. The problem is solved.

9 years ago —

NL

Om 23.53 uur is er een storing opgetreden op een access switch in BIT-1. Op een van de twee management module is de zelf test mislukt, waarna deze is uitgeschakeld. Deze functionaliteit is overgenomen door de stand-by module wat mogelijk een kortstondige onderbreking kan opgeleverd hebben.

De oorzaak van deze storing wordt onderzocht en indien nodig zal deze management module vervangen worden.


Update geplaatst op 06/06/2015, 00:36
De module is defect en zal vervangen gaan worden. Engineers zijn momenteel bezig om dit in te plannen.
Update geplaatst op 06/06/2015, 01:03
Er wordt contact opgenomen met de leverancier voor het regelen van een vervangende module. Een update hierover volgt wanneer duidelijk is hoe laat de nieuwe module arriveert.
Update geplaatst op 10/06/2015, 11:31
Vervangende module is geleverd en zal morgen 11 juni om 0.00 uur in het chassis worden geplaatst.
Update geplaatst op 11/06/2015, 00:41
De management module is vervangen en de access switch is weer volledig redundant. Tijdens het plaatsen is er een korte onderbreking van een paar seconden van netwerkverkeer geweest.

EN

At 23.53h we observed an outage on one of the access switches in BIT-1 : One of the two  management modules has failed a self test. As a result this module was disabled and services were taking over by the standby module. During this take-over it was possible that customers connected to this switch experienced a short interruption.

We're currently investigating the cause of the failed module and if needed will replace it


Update placed at 06/06/2015, 00:36
The module has been deemed defective and will be replaced. Engineers are currently planning the replacement.
Update placed at 06/06/2015, 01:03
We are contacting our supplier to arrange a replacement of this module. A update will follow when a ETA is provided.
Update placed at 10/06/2015, 11:31
Spare module has arrived and will be seated in the chassis on June 11th at 0.00h.
Update placed at 11/06/2015, 00:41
Management module is placed and switch is fully redundant. A short interruption of a couple of seconds of network traffic was noticed during insertion.

9 years ago —

NL

Om +/- 12:21 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd na enkele minuten geblackholed maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 12.21h a DDoS attack was launched at one of BIT's customers. This attack was detected and blackholed, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

Fixed
9 years ago —

NL

Rond 12.25 uur is er een verstoring opgetreden in ons netwerk. De oorzaak en impact ervan wordt onderzocht. Zodra daar meer over bekend is, wordt dat op onze site geplaatst.


Update geplaatst om 12.40
Er zijn sterke aanwijzingen dat meerdere providers grote problemen hebben. Wij zien (een deel van) onze diensten weer beschikbaar komen.
Update geplaatst om 12.47
Al onze diensten zijn weer beschikbaar. Omdat andere delen van het internet mogelijk nog wel problemen ervaren, kan het zijn dat bepaalde gebruikers nog wel last hebben. De storing is veroorzaakt door problemen op de AMS-IX, één van de internetknooppunten waar BIT op is aangesloten.
Update geplaatst om 13.47
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

Around 12:25h we experienced a major outage on our network. Impact and cause is being investigated.


Update placed at 12:40
There are strong pointers that more providers experience issues. (Part of) our services are coming back online.
Update placed at 12:50
All our services are available again. Because other parts of the internet still experience some issues, not all users might be able to connect to our services. The outage is caused by problems on AMS-IX, one of the internet exchanges where BIT has presence. Update placed at 13:48
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.