NL
Sinds een aantal minuten krijgen wij berichten binnen die er op duiden dat er een verstoring in ons netwerk is. Engineers zoeken naar de oorzaak ervan. Zodra er meer bekend is melden we dat op onze site.
Update geplaatst om 12.17
De verstoring lijkt veroorzaakt te worden door problemen met één van onze core routers. Het kan hierdoor voorkomen dat verbindingen soms wel en soms niet werken. Er wordt nog onderzoek gedaan.
Update geplaatst om 12.23
Het probleem is gevonden en de oplossing hiervoor wordt nu uitgerold.
Update geplaatst om 12.37
De oplossing lijkt nog niet alle problemen op te lossen, er wordt verder onderzoek gedaan.
Update geplaatst om 13.02
De storingsmelding gaat verder op www.bit.org omdat www.bit.nl niet voor iedereen bereikbaar is.
Update geplaatst om 13.10
Eén van de core routers is nu uitgeschakeld. Dat verbetert de problemen, maar zorgt er voor dat het netwerk verminderd redundant is.
Update geplaatst om 13.14
Het uitzetten van de router zorgt ervoor dat ons gehele netwerk weer bereikbaar is. Vooralsnog zullen updates over dit probleem op deze site geplaatst worden.
Update geplaatst om 14.10
Klanten met internet verbindingen op glasvezel netwerken (NDIX, Eurofiber, etc.) kunnen nog problemen ondervinden.
Update geplaatst om 14.30
Internet verbindingen op glasvezelnetwerken zijn ook weer werkzaam.
Update geplaatst om 14.40
De uitgeschakelde router zal stap voor stap weer online gebracht en in productie gebracht worden. Na voltooiing is het netwerk weer volledig redundant.
Update geplaatst om 17.30
Door een menselijke fout in het aanpassen van de configuratie van een van onze core routers ontstond er een probleem met de routering naar een deel van het netwerk van BIT: dit verkeer werd niet doorgestuurd maar werd weggegooid. Engineers detecteerden deze configuratiefout snel en deze is hersteld. Als gevolg trad er echter een nieuw probleem op: de processor van de router die verantwoordelijk is voor het afhandelen van wijzigingen in routetabellen werd overbelast. Hierdoor ontstond een situatie waarin routetabellen niet meer correct bijgewerkt werden, waardoor de router ten onrechte dacht delen van het internet en het BIT-netwerk te kunnen bereiken terwijl dit niet het geval is. Als noodmaatregel hebben engineers van BIT uiteindelijk al het verkeer van deze router weggeleid en daarna zeer geleidelijk en gecontroleerd weer teruggebracht.
Het incident is opgelost. Heeft u vragen over dit incident, neem dan contact op met de afdeling Customer Care via +31 (0)318 648 688 of via support@bit.nl.
EN
There are clues that there might be disruption in our network. Engineers have this problem under investigation. Any news on this matter will be published on our website.
Update placed at 12:20 The problem seems to be caused by one of our core routers. Some connections work and some don't.
Update placed at 12:24
The cause is found and a patch is being made at this moment.
Update placed at 12:37
The patch does not seem to solve all problems yet, further investigation is on its way.
Update placed at 12:59
News on this incident will be published on www.bit.org because www.bit.nl is not available for everybody.
Update placed at 13:10
One of the core routers is disabled at the moment. This improves the situation, but makes the network less redundant.
Update placed at 13:15
The problem is isolated for now. Our network is completely available. For the moment any updates will be published on this site.
Update placed at 14:10
Customers with internet connections on access networks (NDIX, Eurofiber, etc.) stil experience problems.
Update placed at 14:30
Internet connections on fiber networks are available as should be.
Update placed at 14:40
The faulted router will be brought back online step by step and taken into production. After completion the network will be fully redundant again.
Update placed at 17:30
A human error made during configuration updates on one of our core routers caused a problem in routing to parts of the BIT network: the traffic got filtered instead of routed. This error was detected early and restored swiftly. As a result a new problem arose: the router's processor that takes care of changes in the routing tables got overloaded. This resulted in a situation where routing tables were not updated correctly anymore. Therefore the router mistakenly routed traffic to parts of the internet and the BIT network that could not be reached by that router. As a counter measure BIT engineers routed away all traffic from this router and afterwards brought traffic back to this router.
The incident has been resolved. If you have any questions regarding this incident, please contact the Customer Care department by phone on +31 (0)318 648 688 or by email on support@bit.nl.
