De Vrije Universiteit Amsterdam (VU) heeft een zwarte studente niet gediscrimineerd door gebruik te maken van antispieksoftware van Proctorio. De universiteit heeft aangetoond dat de studente tijdens haar tentamens niet meer problemen heeft ondervonden dan andere studenten, en dat die problemen niet veroorzaakt werden door haar huidskleur. Wel had de universiteit haar klacht over discriminatie zorgvuldiger moeten behandelen.
Tot deze conclusie komt het College van de Rechten van de Mens in de zaak tussen de VU en masterstudente Robin Pocornie.
Studente dient klacht in wegens discriminatie door VU
Door de coronapandemie was het voor onderwijsinstellingen onmogelijk om tentamens op de reguliere manier te organiseren. Studenten kregen daarom de gelegenheid om vanuit hun huis of studentenkamer examen af te leggen. Daarvoor moesten ze inloggen bij hun onderwijsinstelling, één of meerdere camera’s op hun werkplek richten en surveillancesoftware installeren op hun computer. Dergelijke software kijkt of studenten niet stiekem spieken tijdens tentamens. Dergelijke programma’s kunnen hiervoor foto’s en video’s maken met de webcam, de microfoon afluisteren, nagaan wat er op het beeldscherm is te zien, toetsaanslagen registreren en de surfgeschiedenis van studenten bekijken.
Robin Pocornie, studente aan de Vrije Universiteit Amsterdam, was van mening dat de VU haar discrimineerde. De surveillancesoftware die de universiteit gebruikte, Proctorio, herkende haar niet als mens vanwege haar donkere huidskleur. Een melding als ‘face not found’ of ‘room too dark’ verscheen dan in beeld. Om dat op te lossen moest de studente een felle lamp in haar gezicht schijnen. Tot overmaat van ramp werd ze meerdere keren door de antispieksoftware uit de online tentamenomgeving verwijderd. Studenten met een blanke huidskleur hadden nergens last van.
Samen met het Racism and Technology Center in Amsterdam diende Pocornie in juli 2022 een klacht in bij de VU en vroeg om te stoppen met deze software. Toen het College van Bestuur niets deed met hun klacht, besloten ze om naar het College van de Rechten van de Mens te stappen.
College van de Rechten van de Mens komt tot ander eindoordeel
Het College kwam in december 2022 met een tussenvonnis. Daarin stelde de toezichthouder vast dat er voldoende aanwijzingen waren voor het vermoeden dat de VU de studente discrimineerde op grond van haar huidskleur. Wetenschappelijk onderzoek zou hebben aangetoond dat gezichtsdetectiesoftware minder goed werkt bij mensen met een donkere huidskleur. De VU kreeg de gelegenheid om te bewijzen dat zij de studente niet discrimineerde door gebruik te maken van Proctorio.
Vandaag heeft het College van de Rechten van de Mens zijn eindoordeel over deze zaak openbaar gemaakt. In tegenstelling tot het tussenoordeel komt de belangenorganisatie tot de conclusie dat de VU Robin Pocornie niet heeft gediscrimineerd door het surveillanceprogramma van Proctorio te gebruiken.
“De VU heeft met behulp van gegevens over het inlogproces kunnen aantonen dat de student tijdens haar tentamens niet meer problemen heeft ondervonden dan andere studenten. Dat de student bij een van haar tentamens langer deed over het verificatieproces en tijdens het tentamen een herstart moest maken kwam door andere dingen, die geen verband hielden met haar huidskleur. Zoals een slechte internetverbinding of het dragen van een bril”, zo schrijft het College.
VU verzaakte haar zorgplicht niet, klachtafhandeling was wel onzorgvuldig
Verder stelt het College van de Rechten van de Mens dat de VU haar zorgplicht niet heeft verzaakt. Pocornie stelde dat de universiteit een onafhankelijk onderzoek had moeten laten uitvoeren voordat zij de software van Proctorio in gebruik nam. “Het door de VU uitgevoerde eigen onderzoek heeft geen aanknopingspunten opgeleverd om aan te nemen dat gebruik van Proctorio mogelijk zou leiden tot verboden onderscheid op grond van persoonskenmerken. Volgens de huidige gelijkebehandelingswetgeving hoeft zo’n onderzoek niet door een onafhankelijke instantie te worden gedaan”, aldus het College.
Tot slot concludeert het College van de Rechten van de Mens dat de VU de klachtafhandeling onzorgvuldig deed. “Mede gezien de ernst van de klacht was het volgens het College aan de studentenombudsman om de student naar de juiste instantie te verwijzen. Pas na 11 mei 2022 heeft de VU de klacht voortvarend opgepakt.”
Pocornie en Appelman hoopten op een andere uitkomst
Pocornie vertelt dat ze op een andere uitkomst had gerekend. “De feiten blijven staan zoals ze zijn: ik moest met een lamp in mijn gezicht mijn tentamens maken, terwijl mijn witte medestudenten dat niet hoefden te doen. Het College heeft ook aangegeven dat ik gediscrimineerd ben door mijn eigen universiteit in hoe die mijn klacht heeft behandeld, en dat is pijnlijk.” Verder vertelt ze dat ze blij is met alle aandacht die haar zaak heeft gekregen en ze ziet dat onderwijsinstellingen daardoor “een stuk bewuster” zijn gaan nadenken over de uitwerking van technologie op gebruikers.
Naomi Appelman, jurist en voorzitter van het Racism and Technology Center, is evenmin blij met de uitspraak. “Het oordeel laat zien hoe moeilijk het is om ook juridisch te bewijzen dat een algoritme discrimineert. Er is een overweldigende hoeveelheid wetenschappelijk bewijs dat gezichtsdetectie minder goed werkt voor mensen met een donkere huidskleur, zie ook het recente onderzoek van RTL Nieuws. Dit inzicht deelt het College. Hoewel volgens het College in dit specifieke geval niet onomstotelijk bewezen is dat er gediscrimineerd zou zijn, sluit dit volgens het College niet uit dat het gebruik van Proctorio of vergelijkbare AI-software in andere situaties wel tot discriminatie kan leiden.”
Pocornie zet haar strijd tegen racisme voort. “Als computerwetenschapper en als persoon van kleur begrijp ik heel goed hoe institutioneel racisme zich kan manifesteren in technologie. Ik blijf me dus hard maken voor een samenleving waarin iedereen gelijk behandeld wordt.”
Update (5 februari 2024): acht van de twaalf hogescholen en universiteiten in ons land blijft de tentamensoftware van Proctorio gebruiken, of houdt deze optie open. Dit ondanks de zorgen die er bestaan over mogelijke discriminatie. De Radboud Universiteit Nijmegen is de enige onderwijsinstelling die om deze specifieke reden de software van het bedrijf niet meer gebruikt.
“Onbegrijpelijk en roekeloos”, zo vindt Naomi Appelman van het Racism and Technology Center. “Er is voldoende bewijs dat er iets mis is. Deze publieke instellingen nemen op de koop toe dat studenten van kleur hun onderwijs minder goed kunnen volgen. Dat is problematisch. We willen dat zij hun verantwoordelijkheid nemen en dat het besef indaalt dat er significante risico’s aan kleven.”
Ook het College voor de Rechten van de Mens is teleurgesteld. “Het is goed om te zien dat een aantal onderwijsinstellingen het gebruik van Proctorio onder de loep heeft genomen en dat de Radboud Universiteit het risico op discriminatie serieus neemt. Daartegenover staat dat het jammer is dat zo weinig onderwijsinstellingen rekening houden met het feit dat dit soort software kan discrimineren. Want dit blijft een terechte zorg”, zo zegt het College in een reactie.
Proctorio zegt dat het bedrijf hard werkt aan het verbeteren van zijn producten, waaronder de algoritmes.
