1 | Inleiding AI, recht & samenleving
Kunstmatige intelligentie (AI) kan processen sneller, efficiënter en consequenter maken. Tegelijkertijd brengt het gebruik van algoritmes duidelijke risico’s met zich mee, zoals fouten, discriminatie, gebrek aan transparantie en een aantasting van de rechtszekerheid. Met de komst van de Europese AI Act, die op 1 augustus 2024 in werking is getreden, worden deze risico’s strenger gereguleerd. Burgers krijgen meer bescherming en overheidsorganisaties worden aan uitgebreidere verplichtingen gebonden. In dit artikel wordt er nader uitgelegd wat AI in de rechtspraak en bestuurspraktijk inhoudt, welke risico’s er bestaan, wat de AI Act verandert, én welke rechten burgers hebben wanneer zij vermoeden dat een besluit is genomen op basis van een onjuist of discriminerend algoritme.

2 | AI in de rechtspraak en bestuurlijke besluitvorming
AI wordt in Nederland nog niet gebruikt om rechterlijke uitspraken te doen, omdat een menselijke rechter altijd eindverantwoordelijk is. Wel wordt AI in toenemende mate toegepast in de voorfase van juridische processen:

• bij bestuursorganen (bijv. risicoprofilering bij belastingheffing of uitkeringscontrole);
• bij de politie (predictive policing en gegevensanalyse);
• bij rechtbanken voor administratieve taken, voorspellende analyses en documentselectie;
• bij juridische ondersteuning (samenvatten van dossiers, genereren van conceptteksten).

Deze systemen worden vaak aangedreven door machine learning en kunnen grote hoeveelheden gegevens verwerken. Maar hoe geavanceerd AI ook is, deze systemen kunnen fysieke mensen nooit volledig vervangen. Het blijft noodzakelijk dat menselijke professionals blijven controleren, uitleggen en corrigeren.

Het gebruik van AI-technologie (zowel door procespartijen als door de Rechtspraak zelf) dient in overeenstemming te zijn met rechtsstatelijke eisen voor een eerlijk proces, de toegang tot de rechter en de rechterlijke onafhankelijkheid en onpartijdigheid. De rechtspraak blijft zich voortdurend inspannen om te voorkomen dat ongewenste technologische ontwikkelingen het rechterlijk domein beïnvloeden. Een hulpmiddel hierbij is de Europese AI-verordening. Deze verordening maakt onderscheid tussen laag en hoog risico toepassingen en stelt allerlei verplichtingen bij het gebruik van AI, afhankelijk van het risicoprofiel. Binnen de juridische wereld volgt men deze verordening als vanzelfsprekend.

3 | Risico’s van AI in de besluitvorming
Hoewel algoritmes efficiënt kunnen zijn, kleven er stevige risico’s aan:

I) Onrechtmatige of onnauwkeurige besluiten: Algoritmes kunnen fouten bevatten, verkeerde aannames maken of verkeerd getraind zijn. Wanneer een bestuursorgaan zo’n foutief systeem gebruikt, kunnen burgers te maken krijgen met verkeerde besluiten – zoals onteigening, onterechte toeslagterugvorderingen of een ten onrechte toegekende risicostatus.

II) Gebrek aan transparantie: Veel algoritmes zijn niet inzichtelijk Burgers weten niet welke gegevens zijn gebruikt, hoe het model werkt & waarom een bepaalde uitkomst is gekozen. Zonder transparantie is het bijna onmogelijk om bezwaar te maken.

III) Discriminatie en bias: Een van de grootste maatschappelijke zorgen is dat AI bestaande ongelijkheden versterkt. Dat kan gebeuren wanneer een model wordt getraind met historische data die al discriminerend is (bijv. naar afkomst of inkomen). De Toeslagenaffaire heeft laten zien hoe ernstig de gevolgen kunnen zijn wanneer algoritmes burgers onterecht als fraudeur bestempelen.

IV) Aantasting van rechtszekerheid en rechtseenheid: Als overheidsorganen systemen gebruiken die willekeurig of inconsistent beslissen, kan dat leiden tot rechtsonzekerheid. AI mag nooit leiden tot onvoorspelbaarheid of ongelijkheid in de toepassing van de wet.

4 | De Europese AI Act: een nieuw juridisch kader (2024–2026)
Op 1 augustus 2024 is de AI Act, de eerste alomvattende AI-wet ter wereld, in werking getreden. De regels worden gefaseerd ingevoerd tussen 2024 en 2026. De kern van deze verordening is een risico gebaseerde aanpak:

I) Verboden AI-systemen: Sommige AI-systemen zijn direct verboden, waaronder:

• AI die mensen manipuleert of hun gedrag stuurt (bijv. via subliminale technieken);
• AI die burgers rangschikt op basis van sociaaleconomische kenmerken (“social scoring”);
• Ongecontroleerde real-time gezichtsherkenning in publieke ruimtes (met zeer beperkte uitzonderingen).

II) Hoog-risico AI-systemen: AI die wordt gebruikt voor toegang tot overheidsvoorzieningen, rechtshandhaving, vreemdelingentoezicht, gerechtelijke taken of rechtsbedeling, valt onder de categorie hoog risico. Hier gelden strenge verplichtingen:

• uitgebreide documentatie;
• menselijke controle;
• strenge transparantie-eisen;
• foutdetectie en risicobeoordeling;
• non-discriminatie-maatregelen.

Een algoritme dat gebruikt wordt voor bijvoorbeeld uitkeringscontrole of risicoprofilering valt dus vrijwel altijd in de categorie hoog risico.

III) Nieuwe rechten voor burgers: Onder de AI Act hebben burgers recht op:

• uitleg over het gebruik van AI in procedures die hen raken;
• kennis van welke gegevens zijn gebruikt;
• menselijke tussenkomst bij belangrijke besluiten;
• bezwaar wanneer AI onjuist of discriminerend werkt.

Deze rechten komen naast bestaande AVG-rechten.

5 | AI, privacy en de AVG
De Algemene verordening gegevensbescherming (AVG) blijft het centrale kader voor bescherming van persoonsgegevens. De belangrijkste rechten:

• Recht op inzage: burgers mogen vragen of AI is gebruikt en welke gegevens zijn verwerkt.
• Recht op correctie: onjuiste gegevens moeten worden aangepast.
• Recht op bezwaar: burgers kunnen bezwaar maken tegen geautomatiseerde besluitvorming.
• Recht op menselijke tussenkomst: bij belangrijke besluiten (zoals over uitkeringen of belastingen) mag een AI-systeem nooit zelfstandig beslissen zonder menselijke beoordeling (art. 22 AVG).

Overheidsinstanties moeten dus altijd kunnen uitleggen hoe een algoritme werkt.

6 | Wat kunnen burgers doen als een besluit mogelijk door een foutief algoritme is genomen?
Wanneer een burger vermoedt dat een besluit gebaseerd is op AI, foutief is, of discriminerend werkt, kan die persoon de volgende stappen zetten:

I) Informatie opvragen (AVG-verzoek): Vraag welk systeem is gebruikt, welke gegevens zijn verwerkt en om uitleg van de logica.

II) Bezwaar indienen tegen het besluit: Stel dat een uitkering wordt stopgezet wegens “risico-indicatie”, dan kan men bezwaar maken wegens:

• gebrek aan transparantie;
• onvoldoende motivering;
• verboden discriminatie;
• schending van art. 22 AVG;
• schending van de AI Act (indien toepasselijk).

III) Klacht indienen bij de Autoriteit Persoonsgegevens: Dit kan als gegevensverwerking onrechtmatig lijkt te zijn door bijvoorbeeld gebrek aan rechtsgrondslag (art. 6 AVG), gebrek aan transparantie (art. 12 t/m 14 AVG), verwerking van overbodig informatie (oftewel dataminimalisatiebeginsel) (art. 5, lid 1, sub c AVG), verwerking die leidt tot discriminatie (art. 5, lid 1, sub a AVG & art. 9 AVG), onvoldoende beveiliging (art. 32 AVG), etc.

IV) Naar de bestuursrechter gaan: De rechter kan besluiten vernietigen die onvoldoende zijn gemotiveerd of die op een onrechtmatig algoritme zijn gebaseerd.

7 | Wat betekent dit alles voor de samenleving?
De inzet van AI heeft grote voordelen: efficiency, snelheid, betere gegevensanalyse en consistentie. Maar wanneer algoritmes zonder controle worden toegepast, kan dit burgers ernstig schaden. Het vertrouwen in de overheid en rechtspraak staat dan onder druk.

De AI Act en de AVG vormen daarom samen een stevig juridisch kader dat burgers moet beschermen tegen:

• ondoorzichtige systemen;
• discriminatie;
• willekeur;
• privacyschendingen.

Tegelijkertijd verplicht de wet overheidsinstanties om uiterst zorgvuldig te zijn bij het trainen, gebruiken en controleren van algoritmes in juridische processen.

8 | Conclusie
AI biedt kansen voor de rechtspraak en overheid, maar de risico’s zijn reëel. De AI Act en de AVG geven burgers belangrijke rechten: het recht op uitleg, transparantie, menselijke tussenkomst en bescherming tegen discriminatie. Wanneer een algoritme een besluit beïnvloedt, moeten overheidsinstanties kunnen aantonen dat het systeem betrouwbaar, eerlijk en transparant is. Zo worden rechtszekerheid en rechtseenheid gewaarborgd. Als burgers zelf twijfelen aan de juistheid van een besluit, kunnen zij via informatieverzoeken, bezwaarprocedures en juridische stappen effectieve bescherming zoeken. AI mag een hulpmiddel zijn, maar nooit een bedreiging voor fundamentele rechten.

Heeft u vragen naar aanleiding van dit artikel? De Rechtswinkel Rotterdam is telefonisch bereikbaar op maandag en donderdag om 13:30-17:30 en op dinsdag, woensdag en vrijdag om 8:30-12:30.