Dit is waarom AI niet veilig is

Het zakelijk gebruik van artificial intelligence is het afgelopen jaar omhoog geschoten. Bedrijven gebruiken AI bijvoorbeeld voor interactie met klanten of baseren belangrijke beslissingen op AI-systemen. Slim? Niet volgens het Amerikaanse NIST dat waarschuwt voor ‘Adversarial AI’. Hoe slagen cybercriminelen erin om AI-systemen om de tuin te leiden?

Het National Institute for Standards and Technology windt er geen doekjes om. Aanvallers kunnen AI-systemen eenvoudig misleiden of zelfs ‘vergiftigen’. “En er bestaat nog geen waterdichte methode om AI te beschermen tegen misleiding”, stelt het NIST. “AI-ontwikkelaars en -gebruikers moeten op hun hoede zijn voor mensen die iets anders beweren.”

4 typen aanvallen

In de publicatie ‘Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations’ schetsen computerwetenschappers vier typen aanvallen op AI-systemen:

• Evasion attacks Evasion attacks vinden plaats nadat een AI-systeem is uitgerold en operationeel is. Bij een ‘ontwijkingsaanval’ proberen aanvallers de input naar het systeem zodanig te wijzigen dat het AI-systeem wordt misleid en een verkeerde uitvoer produceert. Een klassiek voorbeeld is het manipuleren van visuele herkenningssystemen. Bij een onderzoek werden kleine stickers op stopborden geplakt. Deze stickers zorgden ervoor dat zelfrijdende auto’s het bord niet zagen als een stopbord maar als een bord met een snelheidsbeperking. Mensen merkten bijna niks van deze stickers, maar de auto's werden hierdoor wel verkeerd aangestuurd.

• Abuse attacks Abuse attacks richten zich op het misbruiken van de functionaliteiten van een AI-systeem door het invoeren van misleidende informatie uit legitieme maar gecompromitteerde bronnen. Dit kan leiden tot het onbedoeld verspreiden van onjuiste of schadelijke informatie. Een bekend voorbeeld is het manipuleren van YouTube’s aanbevelingssysteem. Door het systeem te ‘voeden’ met strategisch ontworpen content en engagement zoals views, likes en reacties, konden bepaalde actoren het algoritme manipuleren om dergelijke content vaker en aan meer gebruikers voor te stellen. Dit leidde tot een versterking van bepaalde ideologieën of desinformatie.

• Privacy attacks Met privacy attacks proberen aanvallers persoonlijke informatie uit AI-systemen te halen, of data te verzamelen waarop het AI-systeem is getraind. Dit is gevaarlijk omdat het niet alleen de vertrouwelijkheid van informatie in gevaar brengt, maar ook kan laten zien hoe de AI werkt. Daardoor kunnen andere aanvallen weer makkelijker worden opgezet. Een privacy attack kan bijvoorbeeld gericht zijn tegen AI-systemen voor gezichtsherkenning. Met toegang tot data en voldoende kennis van het model is het mogelijk om gezichten te reconstrueren die zijn gebruikt voor de training van het model. Deze reconstructies kunnen genoeg informatie bevatten om de privacy van de personen in kwestie te schenden. Zo kunnen ze iets zeggen over de gezondheidssituatie van een persoon, of over de aanwezigheid op een bepaalde locatie.

• Poisoning attacks Poisoning attacks vinden plaats tijdens de training van een AI-systeem, waarbij de aanvallers opzettelijk verkeerde data in de trainingsset invoegen. Dit kan ertoe leiden dat het systeem onjuiste patronen aanleert en verkeerde beslissingen neemt. Een klassiek voorbeeld van een poisoning attack is gericht op AI-systemen voor spamfiltering. In zo'n aanval kunnen spammers opzettelijk e-mails opstellen die kenmerken bevatten van legitieme e-mails maar toch spam zijn. Door deze e-mails in grote hoeveelheden te verzenden, hopen ze dat sommige van deze e-mails als legitiem worden gemarkeerd en daardoor in de trainingsdata van het spamfilter terechtkomen. Bedrijven kunnen hierop anticiperen door spamfilters niet te trainen met inkomende e-mails, maar juist met uitgaande e-mails die door de eigen medewerkers zijn opgesteld. Dit zorgt ervoor dat de training van het AI-systeem plaatsvindt binnen een gecontroleerde context, waarbij de inhoud door de medewerkers zelf wordt gecreëerd.

Mitigerende maatregelen

Hoewel er volgens het NIST dus geen ‘silver bullet’ is tegen de risico’s van Adversarial AI, zijn er wel mitigerende maatregelen die we kunnen treffen. Effectieve verdediging begint met een grondige monitoring van het netwerkverkeer en de endpoints. Ongebruikelijk gedrag dat op een aanval kan duiden, wordt hiermee snel geïdentificeerd.

Daarnaast is het cruciaal om systemen en data te beschermen met geavanceerde encryptie, waardoor de kans op misbruik door ongeautoriseerde partijen wordt verminderd. Tot slot speelt continue educatie over de nieuwste cyberdreigingen en verdedigingstechnieken een sleutelrol in het voorbereiden van organisaties op de uitdagingen van morgen.

WatchGuard Technologies ondersteunt deze gelaagde beveiligingsaanpak met een uitgebreide suite van tools en adaptieve beveiligingsstrategieën, die ontworpen zijn om organisaties te beschermen tegen een breed spectrum aan cyberdreigingen. Partners zoals WatchGuard bieden de expertise en de middelen die nodig zijn om deze nieuwe golf van cyberdreigingen het hoofd te bieden.

Martijn Nielen is senior sales engineer bij WatchGuard Technologies