BIT Status

All systems are operational.

Past Incidents

10 years ago —

NL

Om +/- 19.43 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd na enkele minuten gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 19.43h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

10 years ago —

NL

Om +/- 10:45 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd binnen enkele minuten gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 10.45h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

10 years ago —

NL

Om 11.42 uur vond een onverwachte overschakeling tussen de actieve en standby loadbalancers plaats. Dit kan een kleine onderbreking in loadbalanced diensten van BIT en van klanten die loadbalancing via BIT afnemen opgeleverd hebben. De exacte oorzaak hiervan is nog in onderzoek. UPDATE: De primaire loadbalancer is om 12.55 uur weer actief gemaakt.


EN

At 11.42am today we experienced an unexpected failover of our active loadbalancer. Customers may have noticed a small interruption on loadbalanced services hosted by BIT and on their loadbalanced services hosted by BIT. We are currently investigating the possible cause. UPDATE: The primary loadbalancer has been set active again at 12.55h.

10 years ago —

NL

Om +/- 11:41 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd binnen enkele minuten automatisch gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 11.41h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

10 years ago —

NL

Om +/- 9:08 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd binnen enkele minuten automatisch gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 9:08h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

10 years ago —

NL

Om +/- 13:54 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd binnen enkele minuten automatisch gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 13.54h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

10 years ago —

NL

Om +/- 10.59 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd binnen enkele minuten automatisch gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 10.59h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

10 years ago —

NL

Er is op dit moment een storing aan het shared windows hosting platform. Sites worden niet of vertraagd geserveerd. Het probleem is in onderzoek bij engineers van BIT.


Update geplaatst op 08/04/2015, 16:22
De storing aan het platform is verholpen maar zijn we nog wel verminderd redundant. Op dit moment wordt er gewerkt om het platform weer volledig redundant te maken.
Update geplaatst op 08/04/2015, 16:32
Alle nodes in het platform zijn weer beschikbaar waarmee het platform ook weer volledig redundant is. Naar de oorzaak van de storing wordt nog gezocht.
Update geplaatst op 08/04/2015, 16:57
De oorzaak van het incident is (vermoedelijk) een proces dat alle CPU-cycles van alle nodes in gebruik nam.

EN

We are currently experiencing issues with the shared windows hosting platform. Engineers from BIT are investigating the issue.  


Update placed at 08/04/2015, 16:26
The issue has been resolved and the platform is fully redundant again.
Update placed at 08/04/2015, 16:54
The issue was (probably) caused by a process that took all CPU-cycles on all nodes.
10 years ago —

NL

Om +/- 10.55 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd binnen enkele minuten automatisch gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 10.52h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident is resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

10 years ago —

NL

Om +/- 14.16 uur vond er een DDoS plaats op een klant van BIT. Deze DDoS werd binnen enkele minuten automatisch gemitigeerd maar kan wel enige overlast in de vorm van packetloss of verbroken verbindingen opgeleverd hebben voor andere klanten. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.


EN

At +/- 14.16h a DDoS attack was launched at one of BIT's customers. This attack was automatically detected and mitigated, but all customers may have experienced packetloss or disconnected sessions as a result. The incident is resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

10 years ago —

NL

Om 12.17 uur is er een storing opgetreden aan een glasvezelverbinding tussen BIT-1 en Telecity 2. Verkeer wordt inmiddels via andere paden omgeleid, maar het is mogelijk dat er korte onderbrekingen in netwerkverkeer geweest zijn. Onze glasvezelleverancier bevestigt dat er meerdere glasvezels op dit traject onderbroken zijn en heeft de storing in onderzoek.


Update geplaatst om 13:38
De leverancier voert metingen uit om de locatie van de kabelbreuk te achterhalen. De verwachting is dat het geruime tijd zal duren aleer de verbinding weer operationeel is.
Update geplaatst om 15:03
De metingen hebben bevestigd dat er een volledige kabelbreuk is. De lokatie van deze breuk is bepaald en een reparatieploeg is inmiddels onderweg hiernaartoe.
Update geplaatst om 17:23
De kabelbreuk lijkt nabij of in een kanaal in Utrecht te zijn. De reparatieploeg is op dit moment graafwerkzaamheden aan het uitvoeren om de exacte positie van de breuk te bepalen.
Update geplaatst om 20:17
Er wordt gepoogd om een nieuwe glasvezelkabel te trekken door een onbeschadigde kabelbuis.
Update geplaatst om 23:28
Het is niet gelukt om een onbeschadigde kabelbuis hiervoor te vinden. Onze leverancier probeert nu via een andere provider een onbeschadigde duct onder het kanaal door te verkrijgen.
Update geplaatst om 3:53
Het is niet gelukt om via een andere provider een onbeschadigde duct onder het kanaal door te verkrijgen. Onze leverancier probeert nu de kabel om te leggen via nabijgelegen spoorwegbrug.
Update geplaatst om 3:53
Deze poging is gelukt. Om 4.53u is de verbinding hersteld. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

We're experiencing an outage on the fiber between BIT-1 and Telecity 2 since 12.17h. Traffic has been rerouted via other paths, a short disruption of connections may have been observed. Our fiber provider is currently investigating this problem.


Update placed at 13:41
The supplier is measuring the connection to find the location of the damage. Please expect that it will take a considerable amount of time to repair the fiber.
Update placed at 15:04
Measurements indicate a complete cable break. The location of this break has been determined, a repair crew is on its way.
Update placed at 17:21
The location of the cable break is under or near a canal in Utrecht. The repair crew is currently digging to determine the exact location of the fiber cut.
Update placed at 20:22
An attempt is being made to pull a new fiber through a undamaged fiber duct.
Update placed at 23:27
This attempt failed. Our provider is now looking for alternative fiber ducts of other providers to use.
Update placed at 3:53 This attempt failed as well. Our provider is now trying to divert the fibre cable across a nearby railway bridge.
Update placed at 3:53 This attempt was successful. Connection has been restored at 4.53u. The incident is resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

10 years ago —

NL

Wij ondervinden op dit moment problemen met DNS.

Dit probleem is in onderzoek bij onze engineers.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 03/04/2015, 15:32
Ons netwerk is ook (voor een gedeelte) getroffen door deze storing.
Update geplaatst op 03/04/2015, 16:00
Er is een probleem gevonden op een router in Londen, verkeer van en naar deze router hebben we geshut. Hiermee is het probleem geïsoleerd.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.
Update geplaatst op 05/04/2015, 00:38
Het incident rapport over dit incident is hier te downloaden.


EN

We have noticed a disturbance on DNS.

The underlying cause is being investigated by our engineers.

Follow the incident on our website for updates concerning this incident.


Update placed on 03/04/2015, 15:32
Our network is also (partially) impacted by this disturbance.
Update placed on 03/04/2015, 16:00
A problem was found on a router in London, we have shut the traffic from and to this router. This has isolated the problem.

The incident is resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.
Update placed on 05/04/2015, 00:43
The incident report can be found here.

10 years ago —

NL

Vanaf 13.45 uur is er een ddos aanval op een ipadres van een klant van BIT gestart. Er worden passende maatregelen genomen. Een deel van onze klanten ondervindt mogelijk enige hinder van de grote hoeveelheid packets/verkeer die naar het netwerk van BIT werd gestuurd.


EN

At 13.45h an attack was launched at an IP of a customer of BIT. A great number of packets are involved in this attack. We are taking measures to mitigate the attack. Some of our customers might find their connections being slow or saturated during the attack.

10 years ago —

NL

Vanaf 10.33 uur is er een ddos aanval op een ipadres van een klant van BIT gestart.Er worden passende maatregelen. Een deel van onze klanten ondervindt mogelijk enige hinder van de grote hoeveelheid packets/verkeer die naar het netwerk van BIT werd gestuurd.


Update geplaatst om 10:45 uur
De aanval is succesvol afgeslagen. Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

At 10.33h an attack was launched at an IP of a customer of BIT. A great number af packets are involved in this attack. We are taking measures to mitigate the attack. Some of our customers might find their connections being slow or saturated during the attack.


Update placed at 10:48
The attack is being mitigated succesfully. The incident is resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

10 years ago —

NL

Tussen 12.16 uur en 12.22 uur was er een ddos aanval op een ipadres van een klant van BIT. Nadat er passende maatregelen genomen zijn is de aanval voorbij. Een deel van onze klanten heeft mogelijk enige hinder ondervonden van de grote hoeveelheid packets/verkeer die naar het netwerk van BIT werd gestuurd.


EN

Between 12.16h and 12.22h an attack was launched at an IP of a customer of BIT. A great number af packets are involved in this attack. After taking meassures the attack is over. Some of our customers might have found their connections being slow or saturated during the attack. No further impact is expected.

10 years ago —

NL

Op dit moment vindt er een DDoS aanval plaats op een IP-adres van een klant van BIT. Er worden passende maatregelen genomen. Een deel van onze klanten zal mogelijk enige hinder ondervinden van de grote hoeveelheid packets/verkeer die naar het netwerk van BIT wordt gestuurd.


Update geplaatst om 13:17
De aanval is afgeslagen.


EN

An attack is launched at an IP of a customer of BIT. A great number af packets are involved in this attack. We will take appropiate measures. Some of our customers might find their connections being slow or saturated during the attack.


Update placed at 13:18
The attack has been repelled.

10 years ago —

NL

Er is zojuist een probleem opgetreden aan onze omgeving voor klanten-storage en klanten-VM's.

Dit probleem is in onderzoek bij onze engineers.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst om 12:46
Bij een geforceerde failover naar de andere filer in het metrocluster is ook die filer onbereikbaar geworden. Daardoor was ook bit.nl onbereikbaar. Storingsmeldingen worden bij onbereikbaarheid van bit.nl op bit.org geplaatst. Eén van de filers is weer beschikbaar gekomen en daarmee ook bit.nl. De oorzaak en impact van de storing is nog in onderzoek.
Update geplaatst om 12:56
Engineers van BIT zijn aan het werk om alle diensten terug online te krijgen.
Update geplaatst om 13:00
Er wordt gesproken met NetApp TAC over deze storing. De meeste diensten, behalve windows webruimtes, zijn weer beschikbaar.
Update geplaatst om 13:04
Eén van de twee filers in het MetroCluster is beschikbaar, dat betekent dat de storage nog niet redundant beschikbaar is.
Update geplaatst om 13:27
Specialisten van de storageleverancier zijn gearriveerd en hebben samen met BIT engineers de oorzaak in onderzoek.
Update geplaatst om 13:37
Totdat duidelijk is wat de oorzaak is van de storing, zal het cluster niet redundant gemaakt worden. Dit zou namelijk kunnen leiden tot het opnieuw triggeren van de oorzaak. Alle diensten, behalve windows webruimtes, zouden weer beschikbaar moeten zijn. Neemt u contact met ons op als u nog problemen ervaart.
Update geplaatst om 14:09
Ook de windows webruimtes werken weer. Neemt u contact met ons op als u nog problemen ervaart.


Update geplaatst om 15:51
De leverancier heeft een eerste analyse van de crashdumps gemaakt en heeft geconcludeerd dat de storing niet hardware-gerelateerd is. Ook zien zij dat er geen relatie is tot de high availability functionaliteit. Daarom is zojuist de redundantie van het cluster weer ingeschakeld. Tevens heeft de leverancier een bug geïdentificeerd bij het oveschakelen tussen de twee filers die de storing op de tweede filer verklaart.
Update geplaatst om 17:30
Op dit moment is het metrocluster stabiel. In beide filers van het cluster is echter nog één disk met problemen. Hiervoor worden spare disks ingezet. Deze disks moet opnieuw in het cluster opgenomen worden, dit zal in totaal ongeveer 10 uur in beslag nemen. Tot die tijd zijn er géén problemen met de filers, er is alleen verminderde redundantie in ieder van de filers. Data wordt altijd op beide filers opgeslagen en is dus nog steeds redundant beschikbaar. Engineers van BIT blijven op lokatie totdat het metrocluster volledig in normale status is om snel te kunnen ingrijpen bij problemen.
Update geplaatst om 22:28
De oorzaak van het probleem is gevonden. Het probleem blijkt disk gerelateerd te zijn. Er zijn drie disken geïdentificeerd die vervangen moeten worden. We zullen de disken één voor één vervangen. We gaan echter na het vervangen van de eerste disk een aantal tests uitvoeren om er zeker van te zijn dat dit het probleem verhelpt én dat we er zeker van zijn dat het probleem niet nog een keer kan optreden.
Update geplaatst om 23:42
Na het vervangen van de eerste disk en de testen die we gedaan hebben blijkt dit helaas niet het gewenste resultaat te geven. We zijn nu weer in overleg met de leverancier en zoeken verder naar een oplossing voor dit probleem. 
Update geplaatst om 04:44
We hebben met NetApp Technical Support uitgebreid getroubleshoot. We zullen nu nog een aantal testen uitvoeren om zeker te weten dat we de oorzaak geïdentificeerd hebben. Zodra deze testen gedaan zijn zullen we onderhoud gaan uitvoeren. Wat de impact van dat onderhoud zal zijn zal in een nieuwe update worden aangekondigd.
Update geplaatst om 07:00
We hebben met NetApp Technical Support een plan opgesteld en dat wordt nu uitgevoerd. Uit alle testen blijkt nu dat we hiermee de problemen kunnen oplossen. Zodra alle handelingen en testen zijn doorlopen zullen we een nieuwe update plaatsen.
Update geplaatst om 08:12
Alle werkzaamheden om de volledige redundantie te herstellen, en alle benodigde controles om dit te bevestigen zijn succesvol geweest. Het NetApp MetroCluster is weer volledig redundant.
Update geplaatst om 11:16
Onze storage leverancier heeft alle logs geanalyseerd en heeft geen afwijkingen meer gevonden. Omdat we echter zeker willen weten dat het NetApp MetroCluster functioneert zoals het zou moeten (voor het geval van onderhoud / storing) zullen we de MetroCluster-werking gaan controleren. Hiertoe zullen we vrijdagochtend 19 december om 08.30 uur een spoedonderhoud gaan uitvoeren. Dat zal een "takeover / giveback" zijn van de vfilers van NetApp2. We verwachten geen impact, maar er is wel een verhoogde kans daarop. Dit spoedonderhoud zal nog apart van deze melding worden aangekondigd.
Update geplaatst om 19-12-2014 11:41
De takeover / giveback test van vanochtend is succesvol afgerond. Binnenkort verschijnt in de nieuws sectie op deze site een RFO.

EN

We have noticed a disturbance on our customer storage and customer VM platform.

The underlying cause is being investigated by our engineers.

Follow the incident on our website for updates concerning this incident.


Update placed at 12:53
During a forced takeover to the other filer in the metrocluster, the redundant filer became unavailable. That caused bit.nl to be unavailable. In these cases bit.org becomes available for updates on incidents. One of the filers is available again en bit.nl can be checked for updates. Cause and impact of the incident is under investigation.
Update placed at 12:56
We are speaking with NetApp TAC on this matter. Engineers of BIT are working to get all services back online. Most of the services are back, we are still working on shared windows websites.
Update geplaatst om 13:05
One of two filers in the MetroCluster is back online. That means the storage is not redundant yet.
Update placed at 13:29
Specialists of the storage supplier have arrived. Together with BIT engineers they are investigating the cause of the incident.
Update placed at 13:40
The root cause of the incident has not been found yet. Untill that moment we will not make the storage redundant again. Because it might trigger the cause. All services except for windows websites are back available. Please contact us if you continue to experience problems.
Update placed at 14:10
Windows websites are back online. Please contact us if you continue to experience problems.


Update placed at 15:57
Our vendor has done an initial investigation of the crash reports and has concluded that the crash of the first filer was not hardware or high availability related. Therefor we have reenabled the metrocluster and the setup is redundant again. It will take our vendor another 48 hours to do a complete analysis of the crash reports. Also, a bug has been identified which caused the crash of the second filer.
Update placed at 17:30
At this moment the metrocluster is stable. However, both filers have one defective disk. These disks need to be replaced by spares. This replacement will take approximately 10 hours. Until these disks are operational both filers don't have any spare disks. Data is always stored on both filers in the metrocluster, so it's still redundant. BIT engineers will stay onsite until the metrocluster is back in a completely stable situation again.
Update placed at 00:40
After replacing the first disk and the tests we performed we did not get the expected and desired result. We are discussing the issue with NetApp technical support and try to find a way to resolve the issue.
Update placed at 04:49
We have did a fair amount of troubleshooting. We are going to perform some more tests to make sure we isolated the issue. As soon as those tests have been conducted we will perform maintenance. We will update what possible impact this maintenance might have in a new update.
Update placed at 07:08
We created a plan to recover from the issues we are facing. The plan is being executed at the moment. Based on all the tests we have done we should be able to resolve all issues. As soon as procedures and tests have been performed we will add an update.
Update placed at 08:32
All maintenance to restore full redundant operation has been completed succesfully, and all required checks have been performed. The NetApp MetroCluster is fully redundant again.
Update placed at 11:32
NetApp Technical Support and our storage supplier have gone through all logs and have not found any discrepancies. But because we want to ensure ourselves that the NetApp MetroCluster is functioning correctly (in case of maintenance / emergency) we will test the NetApp MetroCluster functionality in an emergency maintenance window friday 19th december, 08.30 h AM. We will perform a "takeover / giveback" of filer NetApp2. We do not expect any impact but the risk thereof is increased. This emergency maintenance will also be announced in a seperate emergency maintenance notice. Update placed at 19-12-2014 - 11:37
The takeover / failover test went succesfully. A RFO (in Dutch) will appear within the Dutch news section soon.

10 years ago —

NL

Sind +/- 17.57 uur is er een storing aan ethernetverbindingen tussen BIT-1 en BIT-2A. Hierdoor kunnen klanten die een ethernetverbinding tussen deze lokaties packetloss ervaren op deze verbinding. Een engineer is onderweg naar BIT-2A om de oorzaak van deze storing te onderzoeken. Glasvezelverbindingen tussen BIT-1 en BIT-2A zijn niet getroffen door deze storing. Update 19.28u: De switch die deze ethernetverbinding in BIT-2A uitkoppelt bleek om (nog) onbekende redenen een hoge CPU-load te hebben. Omdat de oorzaak hiervan niet getraceerd kon worden is deze switch uiteindelijk is spanningsloos gemaakt en daarna opnieuw opgestart om 19.21u. Dit lijkt vooralsnog het probleem verholpen te hebben.


EN

We've been experiencing packetloss on ethernetconnections between BIT-1 and BIT-2A since 17.57h. An engineer has been dispatched to investigate the problems onsite. Update 19.30h: The switch terminating these connections in BIT-2A had a high CPU load due to unknown reasons. Eventually, the switch was powercycled at 19.21h which caused the packetloss to disappear. The incident is resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.

10 years ago —

NL

Tussen 07.37 uur en 07.45 uur vond er een DDoS aanval plaats op een IP-adres van een klant van BIT. Nadat er passende maatregelen genomen zijn is de aanval voorbij. Een deel van onze klanten heeft mogelijk enige hinder ondervonden van de grote hoeveelheid packets/verkeer die naar het netwerk van BIT werd gestuurd.


EN

Between 07.37h and 07.45h a DDoS attack was launched at an IP of a customer of BIT. A great number af packets are involved in this attack. After taking meassures the attack is over. Some of our customers might have found their connections being slow or saturated during the attack. No further impact is expected.

10 years ago —

NL

Tussen 07.21 uur en 07.39 uur was er een ddos aanval op een ipadres van een klant van BIT. Nadat er passende maatregelen genomen zijn is de aanval voorbij. Een deel van onze klanten heeft mogelijk enige hinder ondervonden van de grote hoeveelheid packets/verkeer die naar het netwerk van BIT werd gestuurd.


EN

Between 07.21h and 07.39h an attack was launched at an IP of a customer of BIT. A great number af packets are involved in this attack. After taking meassures the attack is over. Some of our customers might have found their connections being slow or saturated during the attack. No further impact is expected.

10 years ago —

NL

Tussen 21.25 uur en 21.55 uur was er een ddos aanval op een ipadres van een klant van BIT. Nadat er passende maatregelen genomen zijn is de aanval voorbij. Een deel van onze klanten heeft mogelijk enige hinder ondervonden van de grote hoeveelheid packets/verkeer die naar het netwerk van BIT werd gestuurd.


EN

Between 21.25h and 21.55h an attack was launched at an IP of a customer of BIT. A great number af packets are involved in this attack. After taking meassures the attack is over. Some of our customers might have found their connections being slow or saturated during the attack. No further impact is expected.

10 years ago —

NL

Tussen 18.30 uur en 18.40 uur was er een korte ddos aanval op een ipadres van een klant van Bit. Voordat er passende genomend konden worden was de aanval weer over. Een deel van onze klanten heeft mogelijk enige hinder ondervonden van de grote hoeveelheid packets/verkeer die naar het netwerk van BIT werd gestuurd.


EN

Between 18.30h and 18.40h an attack was launched at an IP of a customer of BIT. A great number af packets are involved in this attack. Before any action could be taken the attack was over. Some of our customers might have found their connections being slow or saturated during the attack. No further impact is expected.

10 years ago —

NL

Er is zojuist een verstoring opgetreden aan ons shared http-linux webhosting platform. De onderliggende oorzaak wordt nog onderzocht door onze engineers.

Volg de incidentmelding op onze website voor updates inzake dit incident.


Update geplaatst op 03/12/2014, 18:07
Na onderzoek hebben we een website gevonden die problemen veroorzaakte en deze is offline gehaald. Na het offline halen van de website zijn alle servers in het platform weer normaal functioneren.

Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.

EN

We have noticed a disturbance on our shared http-linux webhosting platform. The underlying cause is being investigated by our engineers.

Follow the incident on our website for updates concerning this incident.


Update placed on 03/12/2014, 18:07
After investigation we identified a website causing the problems and took it offline. After disabling the website all servers started functioning properly which solved the disturbance.

If you have further questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl

10 years ago —

NL

Rond 20.26 uur is er een grote aanval begonnen op een IP van een klant van BIT. Grote hoeveelheden packets worden naar dit IP gestuurd. Vanaf 20.33 uur zijn de anti-DDOS maatregelen effectief geworden. De aanval wordt met succes afgeslagen. Een deel van onze klanten heeft mogelijk enige hinder ondervonden van de grote hoeveelheid packets/verkeer die naar het netwerk van BIT werd gestuurd.


EN

At around 20.26h an attack was launched at an IP of a customer of BIT. A great number af packets are involved in this attack. At 20.33h the anti-DDOS measures were succesfully in place. The attack is under control at the moment. Some of our customers might have found their connections being slow or saturated during the attack. No further impact is expected.

10 years ago —

NL

Rond 20.50 uur is er een grote aanval begonnen op een IP van een klant van BIT. Grote hoeveelheden packets worden naar dit IP gestuurd. Vanaf 21.00 uur zijn de anti-DDOS maatregelen effectief geworden. De aanval wordt met succes afgeslagen. Een deel van onze klanten heeft mogelijk enige hinder ondervonden van de grote hoeveelheid packets/verkeer die naar het netwerk van BIT werd gestuurd.


EN

At around 20.50h an attack was launched at an IP of a customer of BIT. A great number af packets are involved in this attack. At 21.00h the anti-DDOS measures were succesfully in place. The attack is under control at the moment. Some of our customers might have found their connections being slow or saturated during the attack. No further impact is expected.

10 years ago —

NL

Rond 15.30 uur is er een grote aanval begonnen op een IP van een klant van BIT. Grote hoeveelheden packets worden naar dit IP gestuurd. Vanaf 15.45 uur zijn de anti-DDOS maatregelen effectief geworden. De aanval wordt met succes afgeslagen. Een deel van onze klanten heeft mogelijk enige hinder ondervonden van de grote hoeveelheid packets/verkeer die naar het netwerk van BIT werd gestuurd.


EN

At around 15:30h an attack was launched at an IP of a customer of BIT. A great number af packets are involved in this attack. At 15.45h the anti-DDOS measures were succesfully in place. The attack is under control at the moment. Some of our customers might have found their connections being slow or saturated during the attack. No further impact is expected.

10 years ago —

NL

Om 9.14 uur vond een onverwachte overschakeling tussen de actieve en standby loadbalancers plaats. Dit kan een kleine onderbreking in loadbalanced diensten van BIT en van klanten die loadbalancing via BIT afnemen opgeleverd hebben. De exacte oorzaak hiervan is nog in onderzoek. Rond 9.30 uur is teruggeschakeld naar de eerder actieve loadbalancer.


EN

At 9.14h today we experienced an unexpected failover of our active loadbalancer. Customers may have noticed a small interruption on loadbalanced services hosted by BIT and on their loadbalanced services hosted by BIT. At approximately 9.30h we switched back to the previously active loadbalancer.

10 years ago —

NL

Rond 17.45 uur is er een grote aanval begonnen op een IP van een klant van BIT. Grote hoeveelheden packets worden naar dit IP gestuurd. Engineers van BIT zijn bezig om de aanval af te slaan.


Update geplaatst op 24/10/14, 18:01 door Wido Potters Vanaf 17.54 uur zijn de anti-DDOS maatregelen effectief geworden. De aanval wordt met succes afgeslagen. Een deel van onze klanten heeft mogelijk enige hinder ondervonden van de grote hoeveelheid packets/verkeer die naar het netwerk van BIT werd gestuurd.


EN

At around 17:45h an attack was launched at an IP of a customer of BIT. A great number af packets are involved in this attack. Engineers of BIT are working on mitigation of the attack.


Update geplaatst op 24/10/14, 18:05 door Wido Potters At 17.54h the anti-DDOS measures were succesfully in place. The attack is under control at the moment. Some of our customers might have found there connections being slow or saturated during the attack. No further impact is expected.

Fixed
10 years ago —

NL

Ten gevolge van een verkeerde configuratiewijziging in ons netwerk zijn de MS-SQL servers ten behoeve van Shared Hosting en de MS-SQL instances van klanten automatisch actief geworden op de failover server. Tijdens deze failover waren de MS-SQL servers gedurende maximaal 1 seconde niet bereikbaar.

In de loop van de dag zal er handmatig teruggeschakeld worden naar de productie server. Zodra bekend is hoe laat dat gebeurt, melden we dat op onze site.

Neemt u contact met ons op als u vragen heeft over deze storing, dat kan telefonisch op 0318-648 688 of via email op support@bit.nl.


Update geplaatst op 15/10/14, 14:29 door Wido Potters
Om 15.00 uur zal er teruggeschakeld worden naar de productie server. Naar verwachting levert deze schakeling een onderbreking op van maximaal 1 seconde voor de MS-SQL servers.
Update geplaatst op 15/10/14, 15:48 door Wido Potters
De teruggeschakeling is zonder problemen uitgevoerd.


EN

As a result of an incorrect configuration change in our network, the MS-SQL servers for the benefit of shared hosting and MS-SQL instances for customers automatically become active on the failover server. During the failover, the MS-SQL servers were unreachable for up to 1 second.
In the course of the day we will manually switched back to the production server. Once it is known what time that will happen, we will announce it on our site.
Please contact us if you have questions about this error. You can contact us by email at support@bit.nl or by phone +31 (0)318 648 688.


Update placed at 15.10.14, 14:29 by Wido Potters
At 15.00 there will be switched back to the production server. We expect that this will cause an interruption of +/- 1 second for the MS-SQL servers.
Update posted on 10/15/14, 15:48 by Wido Potters
The switchback is performed without any problems.

10 years ago —

NL

Om circa 00.50 uur is er een brandmelding en brandblussing op BIT-2B geweest. De brandweer is inmiddels ter plaatse en is een onderzoek gestart. Engineers van BIT zijn inmiddels ook ter plaatse. Er is nog niet duidelijk wat er aan de hand is maar dat is in onderzoek.
Neemt u bij vragen contact met ons op telefoonnummer 0318-648 688.


Update geplaatst op 09/10/14, 01:43 door Wido Potters
De brandweer heeft de ruimte gecontroleerd. De ruimte is door de brandweer nog niet vrij gegeven voor toegang. Zodra dat wel het geval is, zal er direct begonnen worden met inventarisatie van eventuele schade. BIT is met veel medewerkers aanwezig om gevolgen van deze blussing zo spoedig mogelijk te verhelpen.
Update geplaatst op 09/10/14, 02:05 door Wido Potters
Medewerkers van BIT mogen nu de ruimte in, klanten op dit moment nog niet op orders van de brandweer. Er komt materiaal aan om de ruimte zo spoedig mogelijk van voldoende zuurstof te voorzien zodat er weer gewoon toegang mogelijk is. De medewerkers van BIT doen een eerste inventarisatie van gevolgen. Er wordt contact opgenomen met klanten waarvan vermoed wordt dat er iets mis is met hun apparatuur.
Update geplaatst op 09/10/14, 02:16 door Wido Potters
Extra middelen om het zuurstofniveau in de ruimte sneller omhoog te krijgen zijn gearriveerd. De ruimte is nog niet vrijgegeven voor bezoek van klanten.
Update geplaatst op 09/10/14, 02:22 door Wido Potters
De ruimte is zojuist vrijgegeven voor bezoek door klanten.
Update geplaatst op 09/10/14, 03:29 door Wido Potters
Alle klanten die volgens onze eerste inspectie problemen hebben zijn gebeld. Voor de klanten die wij gebeld hebben, maar niet gesproken: graag telefonisch contact met ons opnemen.
Medewerkers van BIT hebben al diverse powercycles uitgevoerd en staan gereed voor meer powercycles en/of overige remote-hands werkzaamheden.
Update geplaatst op 09/10/14, 03:59 door Wido Potters
Er is contact geweest met de leverancier van het blusgasmiddel. In de loop van de komende dag zullen de blusgasflessen opnieuw gevuld worden. Totdat de automatische gasblussing weer volledig operationeel is, zullen er medewerkers van BIT op locatie aanwezig zijn om een handmatige blussing uit te voeren in het onwaarschijnlijke geval dat er een nieuwe brandmelding optreedt.

De oorzaak van de brandmelding en blussing is nog in onderzoek. Zodra daar meer over bekend is, zullen we dat op onze website melden.
Update geplaatst op 09/10/14, 09:24 door Kristian de Bruijn
De oorzaak van deze blussing is vrijwel zeker gevonden.

De partij die het onderhoud verzorgd van onze gasblusinstallatie is reeds bezig om de gasflessen los te koppelen van de gasblusinstallatie en klaar te zetten voor transport. De partij die de gasflessen gaat vullen is onderweg met een vrachtwagen om deze gasflessen op te halen.
Update geplaatst op 09/10/14, 09:55 door Kristian de Bruijn
De oorzaak van de meldingen is zeer waarschijnlijk gevonden in een machine van een klant. Die machine is inmiddels uit de ruimte gehaald en gedeeltelijk gedemonteerd voor onderzoek, waarbij sporen van kortsluiting en brand zijn aangetroffen.
Update geplaatst op 09/10/14, 10:26 door Teun Vink
De leverancier van de gasflessen zal rond 11.30 uur aanwezig zijn om ze op te halen. We verwachten de gevulde flessen in de avond terug, een exact tijdstip is nog onduidelijk.
Update geplaatst op 09/10/14, 12:13 door Teun Vink
De lege blusflessen zijn inmiddels ingeladen en worden getransporteerd naar het vulstation.
Update geplaatst op 09/10/14, 19:52 door Stefan Kooman
De leverancier van de gasflessen zal naar verwachting tussen 20.00 - 21.00 uur met volle gasflessen bij BIT aankomen.
Update geplaatst op 09/10/14, 20:11 door Stefan Kooman
De leverancier van de gasflessen is gearriveerd. De gasflessen worden nu geplaatst.
Update geplaatst op 10/10/14, 00:51 door Stefan Kooman
De werkzaamheden zijn succesvol afgerond. De blusinstallatie is weer volledig operationeel.


EN

At approximately 00:50 pm a fire detection and fire extinguishing has taken place at BIT-2B. The fire department is onsite and has started an investigation. Engineers of BIT are now also onsite. It is not yet clear what is going on but that is now being investigated.

If you have questions, please contact us  on + (0)318 648 688.


Update posted on 10/09/14, 01:43 by Wido Potters
The fire department has checked the room. The datacenter has not yet been released by the fire department to access. As soon as possible, an inventory of the damage will immediately be started.
Update posted on 10/09/14, 02:05 by Wido Potters
Employees of BIT are now allowed into the datacenter. Customers still have to wait. There will be material brought into the datacenter to increase the oxygen level and access to the space is possible. We will contact customers if we suspected that there is something wrong with their equipment.
Update posted on 10/09/14, 02:16 by Wido Potters
Additional resources to quickly increase the oxygen level in the room up have arrived. Customers are not allowed yet to enter the space.
Update posted on 10/09/14, 02:22 by Wido Potters
The space has just been released for customers.


Update on 10/09/14, 03:29 by Wido Potters
All customers who have problems according to our initial inspection have been called. For clients we have called, but have not spoken: please contact us by telephone.
Employees of BIT have already carried out several power cycles and are ready for more power cycles and/or other remote-hands proceedings.
Update posted on 10/09/14, 03:59 by Wido Potters
There has been contact with the supplier of the extinguishing gas. The extinguishing gas bottles will be refilled today. Until the automatic extinguishing gas bottles are fully operational again, employees of BIT will be present on site to perform in the unlikely event that a new fire alarm occurs.
The cause of the fire alarm and extinguishing is still under investigation. As soon as more is known about it, we will inform you through our website.
Update posted on 10/09/14, 09:24 by Kristian de Bruijn
The cause of this extinguishing is almost certainly determined.
The party who takes care of our gas extinguishing system is already the bottle for the transport. The party who is going to fill the bottles are already on their way to BIT.
Update posted on 10/09/14, 09:55 by Kristian de Bruijn
The cause of the extinguishing is very likely be found in a machine of a customer. That machine has now been removed from the room and partially disassembled for research.
Update posted on 10/09/14, 10:26 by Teun Vink
The supplier of the cylinders will be present around 11.30 hours to pick them up. We expect the filled bottles will be back in the evening.
Update posted on 10/09/14, 12:13 by Teun Vink
The empty extinguisher bottles are now loaded and transported to the filling station.
Update posted on 10/09/14, 19:52 by Stefan Kooman
The supplier of the gas cylinders is expected between 20:00 to 21:00 hours with full gas tanks.
Update on 10/09/14, 20:11 by Stefan Kooman
The supplier of the gas bottles has arrived. The cylinders are now being placed.
Update posted on 10/10/14, 00:51 by Stefan Kooman
The proceedings have been completed successfully. The extinguishing system is fully operational again.

10 years ago —

NL

Er is om 03:57 een korte onderbreking geweest van de netspanning vanuit de netleverancier in onze datacenters. Dit is goed opgevangen door de noodstroomvoorzieningen.
Engineers van BIT zijn bezig om alles na te lopen.


Update geplaatst op 06/10/14, 05:43 door Bart Vrancken
Bij controle is gebleken dat de module van BIT-2A die controleert of de netspanning correct is niet volledig meer functioneert.

Deze module wordt momenteel vervangen en in het geval van een stroomstoring tijdens het vervangen zal dit gedeelte van de installatie handmatig overgeschakeld worden.

Update geplaatst op 06/10/14, 06:59 door Bart Vrancken
De defecte module is vervangen. De installatie is getest en werkt weer naar behoren.

Uit voorzorg zal het relais van deze module ook worden vervangen. De leverancier wordt ingeschakeld voor het regelen van een vervangende relais.


EN

At 03:57 there was a brief interruption of the power supply from our supplier in our data centers. This is well captured by the Emergency Services. Engineers of BIT are checking everything.


Update posted on 10/06/14, 05:43 by Bart Vrancken
The check revealed that the BIT-2A module, which checks the mains voltage, is not properly functioning anymore.
This module is currently being replaced, and in the event of a power failure when replacing the module, this part of the installation will be manually switched.
Update posted on 10/06/14, 06:59 by Bart Vrancken
The faulty module is replaced. The installation is tested and is working properly again.
As a precaution, the relay of the module will also be replaced. The supplier will be approached for a replacement relay.

10 years ago —

NL

Door een nog onbekende oorzaak is er een verstoring op de ring-switches. De verbinding tussen BIT-1, BIT-2a en BIT-2b wordt met regelmaat onderbroken. Deze verbinding verzorgt back-end verkeer tussen klantenracks onderling. Verkeer richting internet wordt hierdoor niet direct verstoord.


Update geplaatst op 26/09/14, 13:25 door Jeroen Louwes
De verstoring op de ring-switches is opgelost. De exacte oorzaak is nog onbekend. Vanaf 12:30 is er geen probleem meer gezien. Ondervindt u nog steeds problemen, neem dan contact op met de afdeling Customer Care via 0318 648 688 of via support@bit.nl.


EN

We have noticed a disturbance on the ring switches by an unknown cause. The connection between BIT-1 BIT BIT-2A and-2B is interrupted regularly. This connection provides back-end traffic between clients racks. Traffic towards internet will not be disturbed. 


Update placed on 09/26/14, 13:25 Jeroen Louwes

The disruption of the ring switches is resolved. The exact cause is still unknown. From 12:30 there are no problems anymore. If you still experience any problems, please contact the Customer Care Department on +31 (0)318 648 688 or via support@bit.nl.

10 years ago —

NL

Vanaf ongeveer 23.30 uur vindt er een distributed denial of service attack plaats gericht op een klant van BIT. Door de grote hoeveelheid verkeer die hiermee het BIT-netwerk binnen komt kan het zijn dat andere klanten gedurende deze DDoS last hebben gehad van packetloss of trage verbindingen. Wij zijn ondertussen maatregelen aan het treffen om overlast tot een minimum te beperken.


Update geplaatst op 18/09/14, 00:02 door Teun Vink
Vanaf +/- 23.40 uur zijn de genoemde maatregelen actief en is er geen overlast meer van de DDoS.


EN

As of 23:30 hrs there is a distributed denial of service attack aimed at a customer of BIT. Due to the large amount of traffic that enters the BIT network, it is possible that other customers have had packet loss or slow connections. We are now taking measures to restrict the inconveniency to a minimum.


Update posted on 09/18/14, 00:02 by Teun Vink
From +/- 23.40 the above measures are made and there is no more nuisance of the DDoS.

10 years ago —

NL

Om 21.30 uur is er een storing van ongeveer 2 minuten opgetreden op een core switch in SARA, Amsterdam. Verkeer wat normaliter via deze switch gerouteerd was is omgeleid via andere paden, dit kan wel een korstondige onderbreking opgeleverd hebben. Verkeer via BIT UMTS-accounts, DSL-verbindingen en extended ethernet verbindingen hebben gedurende deze periode niet gewerkt. Klanten die een VLAN van BIT-1 of BIT-2 in Ede naar SARA afnemen zullen gedurende deze 2 minuten een storing ondervonden hebben. Inmiddels is de switch weer een uur stabiel.


Update geplaatst op 17/09/14, 02:44 door Teun Vink
Om 2.20 uur is er opnieuw een probleem opgetreden met deze router, wat weer een onderbreking op eerdergenoemde diensten en onderbrekingen opleverde van +/- 2 minuten. Wij zijn hardwareproblemen op deze switch gerelateerd aan defect of corrupt geheugen. Daarom gaan wij deze switch nu onmiddelijk vervangen. Een engineer van BIT is onderweg met een reserve-switch naar SARA om deze daar in te richten en vervolgens te vervangen. Dit zal de komende uren gaan gebeuren.
Update geplaatst op 17/09/14, 03:30 door Teun Vink
Om 3.20 uur was er opnieuw een verstoring van enkele minuten. Onze engineer is nog onderweg naar SARA met de vervangende hardware.
Update geplaatst op 17/09/14, 04:13 door Teun Vink
Onze engineer is inmiddels op lokatie en is bezig om voorbereidingen voor het vervangen van de switch en het overzetten van de configuratie uit te voeren. Als dit omgezet gaat worden zal dit gedurende enige minuten een verstoring van alle verbindingen via deze switch veroorzaken. Dit heeft gevolgen voor alle diensten genoemd in het eerste bericht van deze storingsmelding.
Update geplaatst op 17/09/14, 04:14 door Teun Vink
Om 4.11 uur trad er opnieuw een verstoring op op de diensten genoemd in het eerste bericht van deze storingsmelding. Het lijkt erop dat de switch nu volledig gecrasht is, alle diensten blijven onbereikbaar. We streven ernaar de defecte switch zo snel mogelijk te vervangen.
Update geplaatst op 17/09/14, 05:17 door Teun Vink
De defecte switch is inmiddels verwijderd, de vervangende switch wordt nu geconfigureerd.
Update geplaatst op 17/09/14, 05:50 door Teun Vink
De configuratie is afgerond, we zijn nu bezig te controleren of alles weer naar verwachting werkt.
Update geplaatst op 17/09/14, 06:03 door Teun Vink
De controles zijn uitgevoerd, de switch functioneert goed.

EN

At 21.30 a failure of +/- 2 minutes occurred on a core switch in SARA, Amsterdam. Traffic which was normally routed through this switch is routed through different paths, this may have generated a short interruption. Traffic through BIT UMTS accounts, DSL connections and extended Ethernet connections have not worked during this period.
Customers who have a VLAN from BIT-1 or BIT-2 in Ede to SARA will have experienced a malfunction during these 2 minutes.
Meanwhile, this switch is stable again.


Update posted on 17/09/14, 02:44 by Teun Vink
At 2:20 pm another problem occured with this router, which is a break on the aforementioned services and interruptions of +/- 2 minutes. We found hardware problems on this switch, related to defective or corrupt memory. Therefore we will now immediately replace this switch. An engineer from BIT is on his way to SARA with a spare switch to replace the old switch.


Update posted on 17/09/14, 03:30 by Teun Vink
At 3:20 pm there was another disturbance of a few minutes. Our engineer is still on his way to SARA with the replacement hardware.
Update posted on 17/09/14, 04:13 by Teun Vink
Our engineer has been on site and is working to prepare the replacement of the switch and transfer the configuration to perform. This will cause a disturbance of all connections to this switch for a few minutes. This has implications for all the services mentioned in the first post of this storingsmelding.
Update posted on 17/09/14, 04:14 by Teun Vink
At 4:11 pm another disruption in the services, as mentioned in the first post of this error message, occured. It seems that the switch is now completely crashed, all the services remain out of reach. We strive to replace the broken switch as soon as possible.
Update posted on 17/09/14, 05:17 by Teun Vink
The damaged switch has been removed, the replacement switch is now geconfigureerd.
Update posted on 17/09/14, 05:50 by Teun Vink
The configuration is completed, we now make sure everything works as we have expected.
Update replaced on 17/09/14, 06:03 by Teun Vink busy
The checks have been done, the switch is functioning properly.