Kunstmatige intelligentie biedt binnen het veiligheidsdomein ongekende mogelijkheden. AI analyseert bijvoorbeeld chatverkeer tussen criminelen, identificeert potentiële bedreigingen en herkent fraudeurs. Veiligheidsdiensten kunnen hierdoor sneller en effectiever optreden. De nieuwe AI Act stelt wel strikte eisen aan de gebruikte AI-systemen. Wat betekent deze Europese verordening voor bijvoorbeeld politie en de rechtsketen?
De AI Act trad op 1 augustus officieel in werking. De gloednieuwe wet van de Europese Unie beschermt onze grondrechten, democratie, rechtsstaat en milieuduurzaamheid tegen de risico’s van AI. Dit doet de AI Act onder andere door de ontwikkeling en het gebruik van veilige en betrouwbare AI-systemen te bevorderen. Veilig bevonden AI-systemen krijgen een zogeheten CE-markering die al jaren verplicht is voor bijvoorbeeld liften, mobiele telefoons en speelgoed. Op die manier kunnen Europeanen vertrouwen op wat AI te bieden heeft.
Risicogebaseerde aanpak
Waaraan een veilig systeem moet voldoen, is afhankelijk van het risiconiveau. De Europese wet verdeelt AI-systemen onder in vier risiconiveaus: onaanvaardbaar risico, hoog risico, beperkt risico en minimaal risico.
Systemen met een beperkt risico hebben lichte transparantieverplichtingen, terwijl systemen met een hoog risico aan strenge eisen moeten voldoen. Voor deze systemen komt er bovendien een verplichte registratie. AI-toepassingen met een onaanvaardbaar risico worden verboden. Dat geldt bijvoorbeeld voor het gebruik van AI voor politiewerk op basis van profilering.
Hoog risico, strenge eisen
Veel AI-toepassingen binnen het veiligheidsdomein zullen het stempel ‘hoog risico’ krijgen. Denk dan aan AI-toepassingen die de betrouwbaarheid van bewijsmateriaal evalueren, visumaanvragen geautomatiseerd afhandelen of rechterlijke uitspraken doorzoeken.
Aan deze systemen worden onder de AI Act strenge eisen gesteld. Zo moet er sprake zijn van:
Grondige risicobeoordeling: er is voor hoogrisicosystemen een verplichte beoordeling van de impact op de grondrechten.
Hoogwaardige datasets: het gebruik van kwalitatieve datasets om risico’s en discriminatie te minimaliseren, is verplicht.
Loggen van activiteiten: bijhouden van logboeken om de werking van het AI-systeem en de beslissingen te documenteren en te traceren.
Hoge mate van robuustheid, beveiliging en nauwkeurigheid: AI-systemen moeten nauwkeurig, robuust en cyberveilig zijn.
Gedetailleerde documentatie en transparantie: exploitanten moeten documentatie bijhouden van de risicobeoordeling en de genomen maatregelen. Deze documentatie moet beschikbaar zijn voor toezichthoudende autoriteiten.
Passende toezichtsmaatregelen: er moet sprake zijn van continu toezicht op het AI-systeem om de effectiviteit van maatregelen te waarborgen en nieuwe risico’s tijdig te identificeren en aan te pakken. Dit kan menselijk toezicht in het besluitproces (in-the-loop) zijn of nauw toezicht (in-command).
Elke AI-toepassing binnen de categorie ‘hoog risico’ moet voldoen aan de hoogste standaarden als het gaat om transparantie, betrouwbaarheid en veiligheid. Zeker voor het veiligheidsdomein, waar AI-systemen direct invloed hebben op de bescherming en het welzijn van burgers, zijn deze maatregelen essentieel.
Compliant AI-ontwikkeling
Dat de AI Act nu officieel in werking is getreden, wil nog niet zeggen dat de gebruikte AI-toepassingen ook per direct moeten voldoen aan deze nieuwe wet. De regels worden gefaseerd ingevoerd en zullen midden 2027 volledig van kracht zijn.
Bij de ontwikkeling van nieuwe AI-toepassingen is het echter verstandig om nu al rekening te houden met de verplichtingen. KPN kan hierbij ondersteunen met onder andere:
eenvoudig te gebruiken en geavanceerde logboekoplossingen voor transparantie en verifieerbaarheid van AI-systemen;
betrouwbare en robuuste AI-modellen door samenwerking met toonaangevende ontwikkelaars;
geïntegreerde risicobeheersingssystemen voor continue monitoring en aanpassing, zowel op locatie als op afstand.
Met deze oplossingen helpt KPN organisaties in het veiligheidsdomein om veilige en compliant AI-toepassingen te ontwikkelen en implementeren en verantwoord om te gaan met AI.
De lat hoger leggen
“De AI Act biedt een kader om de lat hoger te leggen voor AI-toepassingen en draagt bij aan een veiligere, efficiëntere en effectievere inzet van AI”, zegt Michiel Hogenboom, VP Public en Public Critical bij KPN. “Onze ervaring met kritieke infrastructuren stelt ons in staat om oplossingen te bieden die voldoen aan de strenge eisen van de AI Act. Bij KPN begrijpen we de complexe uitdagingen in het veiligheidsdomein en zijn we klaar om organisaties te ondersteunen bij het navigeren door de nieuwe AI-verordening.”
eBook: De toekomst van security
Innoveren doe je met veilige digitale entiteiten. Lees alles over het cruciale belang van digitale identiteiten in een verbonden wereld en identity vanuit 4 strategische invalshoeken.
Download
