Status: pending Date: 2020-02-14 19:31:32 Link: https://goodgrid.nl/?p=1285 De overheid maakt op grote schaal gebruik van algoritmen, maar niemand weet welke data gebruikt wordt en dat zorgt voor discriminatie.
“Overheid gebruikt op grote schaal voorspellende algoritmes, ‘risico op discriminatie’”, kopte de NOS in mei vorig jaar. Meer dan 54 organisaties maken gebruik van voorspellende algoritmen om beslissingen te maken en fraudeurs te ontdekken.
Nu deze technologie zo’n groot onderdeel van het bestuur is geworden, zouden ook de controle en transparantie mee moeten groeien. Dit gebeurt alleen niet, waardoor de input en verwerking van data lastig te meten zijn.
“Onbewust word je de hele dag gemonitord en via de data die je achterlaat in hokjes gestopt”, schrijft Nicole Testerink van de TU. Algoritmen verzamelen bestaande data en maken een voorspellingen op basis van deze informatie. Je krijgt hierdoor beslissingen die gebaseerd is op jouw historische data.
Het probleem hiervan is dat criminelen met oude patronen er moeiteloos uitgehaald worden (wat natuurlijk een voordeel is), maar dat criminelen die op een nieuwe manier werken gemakkelijk onder de radar blijven. Er is immers geen matchende historische data van dit nieuwe gedrag.
En zo kan het zijn dat mensen met een lager inkomen, wonende in sociale huurwoningen de politie veel vaker in de wijk zien, dan wijken waar mensen met een hoger inkomen wonen.
Ook rechters gebruiken voorspellende algoritmen voor het bepalen van boetes. De computer houdt rekening met boetes die andere rechters hebben gegeven en de omstandigheden van de situatie. Erg handig natuurlijk, maar de algoritmen zijn tegelijkertijd ook oncontroleerbaar voor diezelfde rechters.
“Stel dat iemand wordt afgewezen bij een sollicitatie. Dan kan die persoon een algoritme lastig aanvechten, aangezien alle informatie bij de tegenpartij zit”, verklaart Max Vetzo van de Universiteit Utrecht.
Ook de transparantie van de gebruikte data is nu lastig te achterhalen, zelfs door de gebruikers zelf: gemeenten, politie en andere overheidsinstanties. Toch wijken medewerkers weinig af van het advies dat een algoritme geeft, terwijl dit juist de kracht van het systeem is, dat de mens aan de eindknoppen zit en alleen hulp krijgt.
Mykola Pechenizkiy van de TU pleit dan ook dat er een standaard auditing komt voor algoritmen. “En dan hebben we het niet alleen over het stukje code dat de beslissing uitspuugt, maar ook het hele proces ervoor en erna moet onder de loep genomen worden”, vertelt de hoogleraar data-mining.
Meer lezen over dit onderwerp? Bekijk meer van onze Ethiek Blogs