Vanmorgen hebben we eventplanner.net offline gehaald. Bewust, uit voorzorg, en met alles wat we nu weten zouden we precies dezelfde keuze opnieuw maken. Alles werkt weer normaal en je kunt precies verdergaan waar je gebleven was.
Als je de site in die uren bezocht, zag je ons bericht waarin we uitlegden dat we de site offline hadden gehaald vanwege een kritiek beveiligingsprobleem met een technologie die overal op het web wordt gebruikt. Dat was de korte versie, geschreven terwijl ons team druk bezig was het probleem op te lossen. Nu we weer online zijn, vertellen we je het hele verhaal in begrijpelijke taal.
Wat er is gebeurd
Bijna elke website ter wereld is gebouwd op een klein aantal gedeelde bouwstenen. Een daarvan heet PHP. Je hebt er nooit over hoeven nadenken en dat hoeft ook niet, maar het is de motor achter een groot deel van het internet: banken, webshops, nieuwssites en veel software die onze eigen sector dagelijks gebruikt.
Gisteravond deed het team dat PHP onderhoudt iets wat ze bijna nooit doen. Ze waarschuwden de wereld dat er twee ernstige beveiligingsproblemen waren gevonden, dat de oplossing de volgende middag zou worden gepubliceerd en dat iedereen klaar moest staan om die meteen te installeren. Wat ze bewust niet vertelden, was wat de problemen precies waren.
Ze hadden een goede reden om te zwijgen. Dit waren de ergste soorten kwetsbaarheden: ze maakten het mogelijk dat een complete buitenstaander de controle over een server overnam, zonder gebruikersnaam, wachtwoord of account.
Maar de waarschuwing zorgde voor een ongemakkelijke periode van ongeveer een dag. De hele wereld wist nu dat er een manier was om binnen te komen, terwijl de oplossing nog niet bestond. Dat is een open uitnodiging, en daar werd gebruik van gemaakt. Criminelen gingen op zoek naar de kwetsbaarheid, vonden die en de eerste echte aanvallen op websites werden vanochtend vroeg gemeld, voordat iemand een oplossing kon installeren.
Waarom we offline gingen
Er was vanochtend dus een bekende manier om binnen te komen op servers zoals die van ons, en er was nog niets om daartegen te installeren. Dat is een gat dat je niet met slimheid kunt dichten. Er is geen instelling die je kunt veranderen, geen extra slot dat je kunt plaatsen en geen enkele vorm van monitoring die een aanval betrouwbaar tegenhoudt als je nog niet weet hoe die eruitziet. Het enige wat zeker werkt, is helemaal niet bereikbaar zijn.
Dus dat hebben we gedaan. We hebben de deur gesloten, hielden die dicht tot de officiële oplossing werd gepubliceerd en gebruikten de tijd om de update voor te bereiden en te testen, zodat we die konden installeren zodra die beschikbaar was.
Dit is geen beslissing die we lichtvaardig nemen
In de 25 jaar dat eventplanner.net bestaat, is dit de eerste keer dat we zo'n uitval hebben gehad. We weten precies wat een onderhoudspagina kost. Op elk moment van de dag gebruiken organisatoren het platform voor evenementen die op dat moment plaatsvinden. De deuren gaan open. Gastenlijsten worden bij de ingang gecontroleerd. Achter de schermen staat een draaiboek open op een laptop, de crew vinkt taken af, een budget wordt bijgewerkt terwijl een leverancier aan de telefoon wacht. De site offline halen is voor ons geen abstracte technische beslissing. We weten wiens dag we onderbreken.
We hebben dat afgewogen tegen het alternatief, en de keuze was snel gemaakt. Aan de ene kant een paar uur echte, maar tijdelijke overlast. Aan de andere kant de mogelijkheid dat een vreemde toegang krijgt tot een platform met jullie gastenlijsten, budgetten, afspraken met leveranciers en persoonsgegevens van jullie bezoekers. Het risico was simpelweg te groot, en dat is geen risico dat we namens jullie mogen nemen.
Dus kozen we voor de overlast. We zouden het opnieuw doen.
Waarom we zo snel konden handelen
Ons team volgde de situatie vanaf het moment dat de eerste waarschuwing verscheen. We brachten in kaart welke systemen getroffen waren, bereidden de update voor, testten die en zorgden dat alles klaarstond voordat de oplossing überhaupt bestond.
Uiteindelijk werd die eerder gepubliceerd dan aangekondigd. Omdat we klaarstonden, waren onze servers binnen vijftien minuten bijgewerkt, gecontroleerd en weer online.
Die snelheid is geen geluk. Het is het resultaat van investeringen in serieuze technologie op bedrijfsniveau, met goede automatisering, in plaats van een handvol servers die iemand handmatig bijwerkt. Het is een investering die je als gebruiker nooit ziet en waar je nooit over nadenkt, totdat die op een dag het enige is dat ertoe doet. Vandaag was die dag.
Wat dit voor jou betekent
Niets, en dat is precies de bedoeling. Je hoeft niets bij te werken, te veranderen of opnieuw in te stellen. Je gegevens, evenementen en instellingen zijn precies zoals je ze hebt achtergelaten.
Onze excuses voor de onderbreking en bedankt voor je geduld vandaag. Heel wat van jullie hadden aan de onderhoudspagina door wat er aan de hand was, en meer dan een paar van jullie kregen vanochtend op jullie eigen website met precies dezelfde noodsituatie te maken. We denken aan alle IT-teams die hier vanavond nog aan werken.
En nu terug naar jullie evenementen.
