Vandaag hebben we voor het eerst in ons twintigjarig bestaan aan een deel van onze klanten geadviseerd de externe toegang tot hun bedrijfsnetwerk dicht te zetten. We realiseren ons dat de impact van dit besluit enorme gevolgen heeft voor de bedrijfsvoering. Extern inloggen op de servers wordt hierdoor immers onmogelijk en een groot deel van de data en applicaties wordt hierdoor onbenaderbaar.

Wat is er nu eigenlijk aan de hand?

Halverwege december 2019 (17 december om precies te zijn) ontvingen we een intern bericht van Citrix dat er een lek in één van hun belangrijkste componenten was ontdekt (de Citrix Netscaler / ADC / Gateway servers). Dit soort berichten ontvangen we wel vaker en in eerste instantie maakten we ons niet echt zorgen. We hebben zoals gebruikelijk direct de voorgestelde tijdelijke fix doorgevoerd (voor de techneuten: we hebben een responder policy op de Netscalers aangemaakt) en nog voor het nieuws op internet naar buiten werd gebracht waren we niet meer kwetsbaar. Tenminste, dat dachten we.

De dag daarna (18 december 2019) kwam Citrix met een aanvullend bericht waarin werd aangegeven dat de kwetsbaarheid weliswaar niet meer automatisch detecteerbaar was na de fix (via zogenaamde scanbots) maar dat er handmatig nog altijd acties konden worden uitgevoerd op twee kwetsbare URL’s van de software (voor de techneuten: “/vpn” en “/../” waren nog steeds kwetsbaar). Het advies was om een block te zetten op deze url’s. Dit hebben we gedaan en aanvullend hebben we onze application firewall zo geconfigureerd dat verzoeken naar deze URL’s zouden worden opgemerkt en gerapporteerd. Eindelijk was daarmee het probleem opgelost. Tenminste, dat dachten we.

Er was overigens wel een lek gevonden in de software, maar op dat moment waren er nog geen scripts voorhanden om ook daadwerkelijk aanvallen uit te voeren.

Wat ons wel zorgen baarde, was dat Citrix erg vaag bleef over een mogelijke definitieve oplossing voor het probleem. Het zou om een groot probleem in de basis software (de kernel) van de Netscaler gaan en een eenvoudige fix was niet snel voorhanden. Een definitieve oplossing voor het lek was dan ook niet op korte termijn te verwachten. Heel solide klonk het allemaal niet en na de uitleg van Citrix was er aan onze kant meer twijfel ontstaan dan dat we zekerheid hadden gekregen over de maatregelen die we reeds hadden genomen. Nergens werd aangegeven of er nog andere methodes waren om misbruik te maken van het lek. Op zich begrijpelijk omdat hackers niet wijzer gemaakt moeten worden dan ze helaas toch al zijn maar voor ons was het hierdoor wel erg lastig in te schatten hoe groot het risico was.

Nessus (een grote leverancier van software die op van buitenaf op kwetsbaarheden kan scannen) kwam gelukkig op 18 december met een update waarmee het mogelijk was om alle Netscalers te scannen op kwetsbaarheden.  Al onze Netscalers kwamen glansrijk door de test. We moesten wel echt veilig zijn nu. Toch?

Nog steeds waren er geen aanvallen gerapporteerd en er waren op dat moment geen scripts beschikbaar die gebruikt konden worden voor een aanval. We waren er redelijk zeker van dat alle omgevingen van onze klanten veilig waren, maar omdat we niet beschikten over alle informatie die we graag zouden hebben bleven we alert en controleerden we dagelijks handmatig alle Netscalers op onregelmatigheden. Een aanval zou immers zichtbaar zijn in de logs. Gelukkig konden we met zekerheid zeggen dat er geen hacks hadden plaatsgevonden.

Tot 11 januari bleef het rustig. In de media werd weinig aandacht besteed aan het lek en aanvallen op bedrijven bleven uit. 11 januari kwam Citrix met de planning voor de security fixes. Een deel van de security fixes voor de Netscalers komt naar verwachting uit op maandag 20 januari 2020. Een ander deel (met een andere build / softwareversie) komt uit om maandag 27 januari 2020. We moesten dus nog ruim een week tot twee weken wachten voor een definitieve oplossing. Positief was dat er in ieder geval wereldwijd geen actieve aanvallen waren gemeld en dat er nog steeds geen scripts voorhanden waren om een aanval mee uit te voeren. Dat was een hele geruststelling. Nou…voor twee hele dagen dan.

Op 13 januari werden we midden in de nacht door onze partner Fox-IT gebeld met de melding dat er op Github een script was ontdekt waarmee aanvallen uitgevoerd zouden kunnen worden op het lek in de software van Citrix. Onze dienstdoende consultant ging in zijn pyjama achter zijn laptop zitten en omdat we nu beschikten over de inhoud van het script konden we weer extra maatregelen nemen. Om veiligheidsredenen kunnen we die maatregelen hier niet delen.

Voor de zekerheid namen we nog wat extra maatregelen waaronder het blokkeren van IP-adressen uit Oekraine en Rusland (geoblocking). Vrijwel iedere aanval kwam namelijk uit die landen en we konden daarmee de kans op een aanval in ieder geval nog verder verkleinen. Verder hebben we URL whitelisting aangezet waardoor alle URL’s die wij niet actief gebruikten voor onze klanten direct werden geblokkeerd. Ook hebben we zelf een script gebouwd en geactiveerd op onze Netscalers. Zodra er van buitenaf extra code op de Netscalers zou worden geplaatst dan zou het script dit merken en ons direct informeren.

We hadden nu al diverse maatregelen genomen om een aanval af te slaan. We hebben het script laten uitvoeren door een extern ingehuurde expert. Deze testaanval is niet gelukt. Dit gaf ons in ieder geval een goed gevoel. Het leek erop dat we de juiste stappen hadden genomen om alle aanvallen af te slaan. In de logs zagen we geen pogingen tot aanvallen en het zelfgebouwde script was niet geactiveerd.

16 januari 2020 kwam Citrix met een eigen scantool waarmee alle Netscalers op kwetsbaarheden konden worden gescand. Uiteraard hebben we deze meteen gedraaid en er kwamen geen kwetsbaarheden naar voren. We konden vanaf nu rustig wachten op de echte security fix van Citrix. Of in ieder geval tot de volgende ochtend dan.

Vandaag, 17 januari, stond op de planning om een door ons ingehuurde externe Citrix Netscaler expert ons hele Citrix netwerk nogmaals te laten scannen en testen op kwetsbaarheden. Zover zijn we echter niet gekomen. Vanmorgen vroeg kwam het advies van het NCSC (Het Nationaal Cyber Security Center) om alle Netscalers uit te zetten omdat de veiligheid niet meer kon worden gegarandeerd. Er waren actief aanvallen aan de gang bij diverse grote organisaties in Nederland waaronder zorgorganisaties en gemeenten. Ondanks dat we van mening waren dat we afdoende maatregelen hadden genomen om een aanval af te slaan konden we niets anders dan onze klanten adviseren om het advies van het NCSC over te nemen en de externe toegang tot de Citrix systemen dicht te zetten. We konden het uitblijven van aanvallen immers niet garanderen.

De rest van de dag hebben we met een team van 15 consultants en MT leden alle betrokken klanten te woord gestaan. We hebben uitgelegd waarom we niet anders konden dan dit advies uitbrengen. Ruim 8500 Citrix gebruikers de toegang tot het bedrijfsnetwerk (vanaf het internet) blokkeren doet wel iets met je voorgenomen dagindeling kan ik melden.

En nu?

Nou, voorlopig niets dus. De externe toegang staat bij al onze Citrix klanten dicht en zal dicht blijven totdat er een oplossing is vanuit Citrix.

Wat kunnen we hiervan leren?

We wisten al dat een goed werkend ICT systeem van cruciaal belang is voor organisaties. Ook wisten we al dat er regelmatig (dagelijks) lekken worden gevonden in software. Wat we wel voor het eerst hebben gezien is dat een lek dermate diep in de basissoftware van een apparaat (in de kernel) kan zitten dat het zelfs voor de maker van de software een hele opgave is om het lek te dichten. En dat is voorzichtig uitgedrukt nogal een probleem. Als de maker van de software geen idee heeft hoe het probleem snel op te lossen dan is het voor ICT bedrijven al helemaal niet te doen om dergelijke lekken adequaat te dichten.

In ons jaarplan van 2020 hadden we al benoemd dat security wel eens de grootste uitdaging zou kunnen worden bij het leveren van onze ICT diensten en dat de focus sterk moet blijven liggen op het veilig houden van onze netwerken en de netwerken van onze klanten. Hackers worden steeds slimmer in het vinden van gaten in software. Dit komt doordat er veel geld te verdienen is met het hacken van netwerken (denk aan ransomware en het installeren van mining software). Mining software is software die kan worden gebruikt om bijvoorbeeld Bitcoins te minen (maken). We benoemen dit omdat bij diverse Nederlands bedrijven mining software is teruggevonden op de Netscalers. Dit was zelf voor ons een bijzonder fenomeen. Computers worden regelmatig misbruikt voor dit doel maar minen vanaf een apparaat dat primair is gebouwd voor het verlenen van externe toegang is ook voor ons nieuw.

Wat wij als bedrijf geleerd hebben in de afgelopen dagen is dat we nog meer moeten gaan inzetten op security. We vinden ons al jaren vooruitstrevend op het gebied van security en we adviseren al jaren grote organisaties en overheidsinstellingen op het gebied van veiligheid. En toch ben ik van mening dat ook wij nog meer moeten doen om hackers buiten de deur te houden. Het is wachten op de volgende grote aanval en we moeten klaar staan om terug te slaan.

Tijdens het schrijven van dit stuk zijn onze consultants overigens op kantoor al weer bezig met het dichten van het volgende lek. Windows 10/Windows Server blijkt eveneens vatbaar voor aanvallen. De NSA heeft het lek ontdekt en gerapporteerd aan Microsoft. Gelukkig heeft Microsoft snel een fix uitgebracht die we nu gecontroleerd uitrollen over zo’n 20.000 werkplekken bij onze klanten en een kleine 1000 servers in ons datacenter. Voer voor een volgend stuk? Wie zal het zeggen?

Bitnami