Kamer ongerust over vooringenomenheid bij politie-algoritmes

Close-up van het logo van de politie op een politie-uniform

De Tweede Kamer maakt zich zorgen over mogelijke vooringenomenheid door de politie door het gebruik van algoritmes. Het is niet uit te sluiten dat de politie eerlijk en onpartijdig selectiecriteria heeft gebruikt, wat betekent dat het gebruikte algoritme mogelijk niet voldoet aan de basiseisen. Kamerleden willen weten wat het kabinet eraan gaat doet om risico’s op vooringenomenheid in het algoritmesysteem van de politie weg te nemen.

Dat blijkt uit schriftelijke vragen van Songül Mutluer (PvdA) en Stephan van Baarle (DENK) aan minister Dilan Yeşilgöz-Zegerius van Justitie en Veiligheid.

Merendeel onderzochte algoritmes voldoet niet aan basisvereisten

Eerder deze maand publiceerde de Algemene Rekenkamer een onderzoeksrapport naar het gebruik van algoritmes door overheidsdiensten. De onderzoekers concludeerden dat zes van de negen onderzochte algoritmes niet voldeden aan de basiseisen. Dat brengt allerlei risico’s met zich mee, waaronder een gebrekkige controle op prestaties en effecten, vooringenomenheid, een datalek of ongeautoriseerde toegang.

In het rapport schrijft de Rekenkamer dat de onderzochte algoritmes gebruikt worden door de politie, het directoraat-generaal Migratie van het ministerie van Justitie en Veiligheid en de Rijksdienst voor Identiteitsgegevens. Er is bij de organisaties geen overzicht welke medewerkers toegang hebben tot de data en het algoritme. “Ongeautoriseerde toegang tot systemen kan tot beschadiging of verlies van data leiden, met alle gevolgen voor burgers of bedrijven”, aldus de Algemene Rekenkamer.

Staatssecretaris van Koninkrijksrelaties en Digitalisering Alexandra van Huffelen beloofde met uitvoeringsorganisaties in gesprek te gaan om te kijken hoe tekortkomingen kunnen worden aangepakt. Nog voor het zomerreces wil ze de Tweede Kamer informeren over eventuele vervolgstappen.

Discriminerende selectiecriteria

Songül Mutluer (PvdA) en Stephan van Baarle (DENK) waren de conclusies aanleiding om minister Yeşilgöz-Zegerius van Justitie en Veiligheid aan de tand te voelen. De Kamerleden vragen of het Criminaliteit Anticipatie Systeem (CAS) mogelijk gebruik heeft gemaakt van “discriminatoire gronden in de selectiecriteria”. Ze willen van de minister horen zij ervoor gaat zorgen dat controles in de toekomst wel mogelijk zijn.

CAS probeert aan de hand van data criminaliteitspatronen in kaart te brengen. Tevens is het systeem uitgerust met geavanceerde plannings- en voorspellingsmethoden. Daarmee kan het voorspellen welke incidenten waar plaatsvinden. Deze werkwijze wordt ook wel predictive policing genoemd.

Mutluer en Van Baarle vragen zich af waarom bij de start van het systeem geen basisvereiste van zorgvuldigheid in acht is genomen. “Wat zijn de criteria op grond waarvan het lerende algoritme CAS voorspelt waar de kans groot is dat misdaden zullen worden gepleegd?”, zo willen ze van de minister weten.

Menselijke toets

De Kamerleden zijn bezorgd dat de samenstelling van een woonwijk mogelijk als criterium wordt gebruikt door CAS. Een wijk waar veel inwoners met een migratieachtergrond wonen zijn daardoor mogelijk het haasje. Ze vragen aan minister Yeşilgöz-Zegerius of ze kan uitsluiten dat dit momenteel het geval is.

De politie vindt het niet nodig om CAS tijdelijk buiten werking te stellen. De PvdA en DENK vragen aan de minister of zij er ook zo over denkt. Tevens informeren ze naar het menselijke aspect van het systeem. “Hoe ziet de menselijk toets eruit die naast het CAS plaatsvindt? Welke criteria worden door de mens getoetst? Vindt die toets altijd plaats? Is de menselijke toets daarbij altijd doorslaggevend?”

Doorlichten op mogelijke vooringenomenheid

Tot slot vragen Mutluer en Van Baarle welke stappen de minister gaat zetten om risico’s op vooringenomenheid in het systeem van de politie weg te nemen. Ze willen van haar horen of ze bereid is het huidige algoritme door te lichten op mogelijke vooringenomenheid. “Zo ja, op welke termijn wilt u dit onderzoek voltrekken? Zo nee, waarom niet?”

Update (29 juni 2022): minister van Justitie en Veiligheid Dilan Yeşilgöz-Zegerius zegt zich niet te herkennen in het beeld dat de politie geen basisvereiste van zorgvuldigheid in acht zou hebben genomen bij het gebruik van het Criminaliteit Anticipatie Systeem (CAS). Het systeem ligt voortdurend onder de loep en de politie neemt alle aanbevelingen serieus.

Naast de Algemene Rekenkamer heeft ook de Inspectie Justitie en Veiligheid naar het algoritme gekeken. Die concludeert dat “de code onder de motorkap” helder is. “Aan de code is te zien dat de meeste best practices op het gebied van programmeren zijn toegepast. Er is geprogrammeerd in de taal ‘Python’, wat een toegankelijke taal is. De werking van het systeem is daarmee goed navolgbaar”, aldus de Inspectie.

De selectiecriteria van het CAS-systeem zijn vorig jaar openbaar gemaakt. Daaruit blijkt onder meer dat afkomst en nationaliteit niet gebruikt worden om misdaadvoorspellingen te doen. Volgens minister Yeşilgöz-Zegerius  is het dan ook niet nodig om het algoritme buiten werking te stellen.

Techredacteur
Techliefhebber pur sang: Anton is gek op alles wat met technologie en internet te maken heeft. Cybersecurity, privacy en internetcensuur hebben dan ook zijn volle aandacht. Meer over Anton.
Plaats een reactie
Een reactie plaatsen