vak & mens

advocaat en algoritme

De opvolgers van Omtzigt en Leijten

Algoritmes krijgen aandacht in het hoofdlijnenakkoord van de formerende partijen. Sommige Kamerleden hebben persoonlijke ervaring met risicoprofilering.

De Dienst Uitvoering Onderwijs (DUO) heeft nog ernstiger gediscrimineerd dan eerder werd gedacht. Dat blijkt uit onafhankelijk onderzoek dat eind mei werd gepresenteerd. Het algoritme profileerde studenten die dicht bij hun ouders woonden. Om die reden werden studenten met een migratieachtergrond onbedoeld veel vaker gecontroleerd dan de anderen. Een typisch geval van een proxy, zo legde Arthur van der Linden, docent Belastingen en Technologie aan Tilburg University, uit. Op de dag dat het DUO-onderzoek verscheen, sprak hij tijdens een rondetafelgesprek van de vaste Kamercommissie voor Binnenlandse Zaken.

Een proxy is een groepseigenschap waarmee het algoritme via een omweg toch etnisch kan profileren. Zelflerende algoritmes gaan er al snel mee de fout in. Een klassiek algoritme is als een flitspaal die alleen te hard rijdende auto’s registreert. Maar zodra ook de kleur of het type van de hardrijder wordt opgeslagen, kan de AI correlaties gaan leggen en groeit de kans dat rode sportauto’s sneller een bon krijgen, zelfs als ze helemaal niet te hard rijden. ‘Machine learning betekent dat vanuit de trainingsdata profielen worden gemaakt van mensen die zich wel of niet aan de norm houden.’ Hoe ‘slimmer’ de software, hoe groter het risico op onbedoelde effecten.

Het hoofdlijnenakkoord van de formerende partijen heeft veel aandacht voor dit onderwerp. Omtzigt heeft niet alleen zijn constitutioneel hof binnengehaald, maar ook bijvoorbeeld een ‘recht op vergissen’: een foutje maken mag en de aanmanings- en incassokosten van de overheid moeten omlaag. Verder belooft het akkoord meer waarborgen en transparantie omtrent het gebruik van algoritmes en AI. Tegelijkertijd moet het aantal ambtenaren fors omlaag en de strafmaat omhoog. Softwareleveranciers zullen zich aandienen met de nieuwste automatisering. Wie kan overzien wat er allemaal in de programmatuur is ingebouwd? Het coalitieakkoord wil een ‘wetenschappelijke standaard voor het gebruik van modellen en algoritmes’, maar de ontwikkelingen in de markt gaan veel sneller dan die in de wetenschap.

Nu Omtzigt aan het formeren is en Renske Leijten haar boek schreef over advocaat Eva González Pérez en het begin van het Toeslagenschandaal, moeten nieuwe volks­vertegen­woordigers het stokje overnemen. Tijdens de commissievergadering vielen twee namen op. Sandra Palmen die, als jurist bij de Belasting­dienst, al in 2017 concludeerde dat het fraudebeleid ontspoord en racistisch was. Later loog de directie het memo nooit gezien te hebben. Nu is Palmen Kamerlid voor NSC en met het rondetafelgesprek wilde ze zich laten bijpraten over etnisch profileren anno 2024. Naast haar zat Mpanzu Bamenga, die in 2018 door de marechaussee uit de rij werd geplukt, samen met vier andere mensen van kleur. Hij diende een klacht in, stapte naar de rechter en kreeg vorig jaar in hoger beroep zijn gelijk. Nu voelde hij als Kamerlid voor D66 ICT-functionarissen van politie en marechaussee aan de tand. Die kwamen er overigens beter vanaf dan de Belasting­dienst en de VNG, beide vastgeroest in de ontkenningsfase.

Misschien komt dat door de kloof tussen leiding en werkvloer. Iedereen heeft de mond vol van ethische commissies, algoritme-apk’s, voorzorgsplicht en bias toetsing. Maar het handelen van politie en marechaussee is zichtbaar, verkeerde beslissingen over uitkeringen of toeslagen zijn dat niet. De VNG en de fiscus bezweren dat alles nu goed gaat, maar gedupeerden, de ombudsman en Amnesty International waren er tijdens de bijeenkomst niet gerust op. Amnesty-directeur Dagmar Oudshoorn sprak ook uit eigen ervaring. ‘Het uitblijven van erkenning vergroot het risico van herhaling,’ zo waarschuwde ze.