De FairTrade-methode tegen oneerlijke algorithmen
Algoritmen kunnen discriminerend of seksistisch zijn wanneer gevoelige persoonsgegevens invloed hebben op hun besluitvorming. Mag een burger als risicofraudeur wordt bestempeld terwijl hij niets heeft misdaan? Mag geslacht een rol spelen in een algoritme dat bepaalt wie de droom-kandidaat is? De Fair Trade-Methode biedt de kans om technologie te blijven inzetten terwijl onze digitale rechten beschermd blijven.
Het onderzoek van Rik Helwegen, in samenwerking met het CBS en de Gemeente Amsterdam, naar eerlijke algoritmen heeft op basis van de FairTrade-methode geleid tot een aanpak om discriminerende algoritmen tegen te gaan. Het uitgangspunt van de methode is dat de uitkomst van een algoritme hetzelfde blijft wanneer persoonsgegevens zoals etniciteit of geslacht worden verwisseld.
https://www.cbs.nl/nl-nl/corporate/2019/32/onderzoek-naar-eerlijke-algoritmen-voor-beleid
Datagedreven aanpak
Onlangs kwam een grote Nederlandse gemeente in het nieuws omdat die gemeente algoritmen inzet om fraude met sociale welzijnsregelingen op te sporen. Daar protesteerden tientallen burgers tegen, omdat dit gebeurde in wijken met relatief veel inwoners met een migratie-achtergrond. Dat vonden ze discriminerend. ‘Steeds meer gemeenten experimenteren met een data gedreven aanpak’, zegt Helwegen. ‘Daarbij worden in toenemende mate algoritmen ingezet die gebruik maken van machine learning. Dat hoeft geen nadelig effect te hebben, maar op het moment dat etniciteit of andere gevoelige achtergrondkenmerken van personen de beslissingen die gemeenten of andere organisaties nemen beïnvloeden, kan dat ethische of wettelijke bezwaren opleveren.’
FairTrade-methode
Voor de jonge onderzoeker was dat reden om een praktische methode te ontwikkelen, die ervoor zorgt dat de inzet van algoritmen tot een eerlijk antwoord op complexe vragen leidt. Voor deze zogeheten FairTrade-methode baseert Helwegen zich op de causaliteitstheorie. De methode corrigeert aan de hand van schattingen causale verbanden, die voortkomen uit de combinatie van data en domeinkennis. Helwegen: ‘Het uitgangspunt is dat de uitkomst van het model hetzelfde moet zijn als de waarde van een gevoelig persoonskenmerk wordt omgewisseld, bijvoorbeeld een niet-westerse achtergrond voor een westerse achtergrond.’
Experimentele setting
Helwegen was een paar maanden bezig met theoretisch onderzoek in een experimentele setting. Vervolgens wilde hij het model testen in de praktijk. ‘Daarvoor heb ik meerdere organisaties en bedrijven benaderd. De gemeente Amsterdam reageerde gelijk, want zij herkenden het probleem.’
Helwegen sprak met deskundigen bij de gemeente Amsterdam en het CBS op het gebied van het sociaal domein en testte zijn model met succes op een selectie van ongeveer 11.000 profielen van Nederlanders die bijstand ontvangen of in het verleden veroordeeld zijn omdat zij onterecht een uitkering kregen. Voor het experiment kreeg hij toegang tot het Stelsel van Sociale Bestanden van het CBS. De testen voerde hij uit in de streng beveiligde werkomgeving van het CBS, onder strikte privacy-voorwaarden.
Ethische normen en standaarden
Een aantal incidenten heeft de discussie over de ongewenste gevolgen van het gebruik van algoritmen in de afgelopen periode aangezwengeld. Barteld Braaksma, innovatiemanager bij het CBS en begeleider van Helwegen: ‘Er zijn talrijke voorbeelden. Zo zag een groot bekend Amerikaans bedrijf dat zijn algoritmen om personeel te werven de voorkeur gaven aan mannen boven vrouwen. Dat kwam doordat de aanpak was gebaseerd op het verleden waarin meer mannen in dienst werden genomen. Daarnaast kwamen andere ongewenste effecten naar boven. Het betreffende bedrijf is dan ook gestopt met deze aanpak. Door dit soort voorbeelden neemt het besef toe dat we nadelen en risico’s van het gebruik van algoritmen goed in de gaten moeten houden. Ethische normen en standaarden spelen hierbij een belangrijke rol. Het CBS heeft vanwege de rijke beschikbare informatie uitstekende mogelijkheden andere overheidsorganisaties te helpen bij het ontwikkelen en testen van methoden om ongewenste bijeffecten te vermijden of minimaliseren.’
Maatschappelijk belang
Braaksma is zeer lovend over het onderzoek van Helwegen. ‘Niet alleen vanwege de wetenschappelijke waarde ervan, maar ook gezien het grote maatschappelijke belang. Helwegen heeft met dit onderzoek een aanpak ontworpen om oneerlijke algoritmen tegen te gaan in de praktijk. Daarbij waren de CBS-gegevens van cruciaal belang.’ De inzet van algoritmen was onlangs ook in de Tweede Kamer onderwerp van gesprek. Meerdere partijen willen strengere regels en een toezichthouder die let op het gebruik van algoritmen door de overheid.
Toename kansenongelijkheid
Tamas Erkelens is programmamanager data innovatie bij de gemeente Amsterdam. Ook hij erkent dat een verkeerde inzet van algoritmen nadelig kan uitpakken voor bepaalde groepen in de samenleving. ‘De kansenongelijkheid in Amsterdam en andere steden neemt toe. Bij de toepassing van algoritmen – vooral door niet overheidsorganisaties – wordt steeds meer rekening gehouden met de achtergronden van personen, hun opleiding, inkomen, de buurt waarin ze wonen, et cetera. Daarmee dreigt de digitale samenleving discriminatie van bevolkingsgroepen te versterken. Amsterdam heeft de ambitie dat geen enkel algoritme dat in de stad wordt gebruikt discrimineert of ongewenste beslissingen neemt.’
Algoritmen screenen
Amsterdam wil zijn eigen algoritmen screenen, maar wil ook dat andere bedrijven en organisaties in de hoofdstad eerlijke algoritmes ontwikkelen. Hoe gaat de gemeente dat aanpakken? Erkelens: ‘We nemen verschillende maatregelen. Zo willen we het gebruik van eerlijke algoritmen opnemen als aanbestedingsvoorwaarde van de gemeente. Ook het instellen van keurmerken kan een bijdrage leveren. Daarnaast vergroten we het bewustzijn rond de inzet van algoritmen, onder andere door te vertellen hoe ze werken en hier discussies over te voeren. Dat gebeurt binnen de gemeente met mensen van verschillende disciplines, bijvoorbeeld beleidsmakers en specialisten op het gebied van privacy en communicatie, maar ook met de inwoners van Amsterdam. Uiteindelijk dient de gemeenteraad – door Amsterdammers gekozen – voorwaarden aan algoritmes te stellen.’ Volgens Erkelens moeten mensenrechten zoals het verbod op discriminatie digitaal worden gehandhaafd, zowel landelijk als Europees. ‘We kunnen technologie inzetten om onze digitale rechten te beschermen.’
Begrip voor technologische ontwikkelingen
De gemeente Amsterdam en het CBS werken al jaren samen. Voor dit project heeft de gemeente Amsterdam het CBS nadrukkelijk ingeschakeld. Erkelens: ‘Daar zijn drie redenen voor. Allereerst heeft het CBS de methodologische kennis en ervaring. Daarnaast beschikt het CBS over een zwaar beveiligde werkomgeving en geanonimiseerde data. Verder willen we dat hetgeen wij open source maken ook toegepast kan worden in andere gemeenten. Het CBS kan daaraan een bijdrage leveren.’ Ook Erkelens is vol lof over het werk dat Rik Helwegen heeft verricht: ‘Het is een geweldig onderzoek qua inhoud. Maar het heeft er ook voor gezorgd – door de vele gesprekken die Helwegen heeft gevoerd met allerlei deskundigen binnen de gemeente – dat medewerkers meer begrip hebben gekregen voor technologische ontwikkelingen en veranderingen.’
