Automatiserad profilering ett hot för USA:s fattiga

av Marcus Floman

Den amerikanska forskaren och författaren Virginia Eubanks har gjort en odyssé genom USA i sin bok Automating Inequality: How High-Tech Tools Profile, Police and Punish the Poor där hon beskriver hur sjuka, fattiga och hemlösa skuffats åt sidan av en byråkratiapparat där automatiseringen gått för långt.

Eubanks talade under de nordiska socialarbetarnas konferens i slutet av november som hölls i Helsingfors universitet. Ny Tid träffade Albanyprofessorn för en intervju.

I USA har en del delstater tagit hjälp av algoritmer för att profilera till exempel bidragstagare eller personer i bostadskön. Programmen poängsätter folk och sållar ut så kallade riskklienter men också ”potentiella” bidragsbedragare. Virginia Eubanks visar i boken att miljontals amerikaner går miste om socialbidrag och bostadshjälp för att ett dataverktyg klassat dem som icke-behövande.

– De flesta system jag granskar har uppstått för att  man velat öka effektiviteten, förbättra kundservicen –för  att spara pengar helt enkelt.

I Automating Inequality beskriver Eubanks några separata case men läsaren får också ta del av generella trender i amerikansk socialpolitik. Om du är till exempel är svart eller fattig – då är risken mycket högre att information om dig hamnar in i den digitala granskningens nätverk.

Många av de granskade har inte kapacitet att ifrågasätta redan fattade beslut.

Och visst, i vissa fall kan en människa ingripa – men enligt Eubanks finns inga garantier inbyggda i systemen.

Eubanks frågar vad jämlikt bemötande innebär i dagens värld? Klarar en maskin av att neutralt behandla de människor som ansöker om bidrag – eller förverkligas jämlikhet bättre när en människa kan fundera, ställa frågor, göra undantag?

– Man har tänkt att algoritmerna, i motsats till människor, inte bär på fördomar.

Eubanks påminner om att jo, visst: vi har en verklig historia av strukturell diskriminering av svarta i USA. Svarta var mer eller mindre avskurna från att få socialbidrag mellan 1935 fram till 1970.

– Men: de som designar datorprogram för den offentliga sektorn verkar inte vara medvetna om att en systematisk och strukturell fördom finns inbyggd i dessa program.

– I delstaten Allegheny i Pennsylvania – har man infört ett screeningverktyg för familjer för att bedöma vilka familjer som är i behov av stöd. Syftet är bland annat att sålla fram vilka barn som kan tänkas vara försummade eller utsatta för övergrepp. Problemet ligger i att en central del av den information som matas in i systemet kommer från en ”hotline”, ett telefonnummer, som allmänheten kan ringa till om de misstänker att barn far illa. Och statistiken visar att familjer med mörkhyade familjemedlemmar löper tre och en halv gånger så stor risk att få omgivningen att ringa  ”hotlinen”.

Eubanks tror inte att ett dataverktyg är kapabelt att genomskåda de mekanismer som finns i samhället – eller avslöja de fördomar som kan skapa en obalans i antalet ”angivarsamtal”.    

Virginia Eubanks lyfter också upp att en del människor i nöd, i behov av bidrag eller drägligt boende, tekniskt sätt byter ut sin personliga integritet mot eventuell hjälp. Om du sträckt ut en hand och gett dina personuppgifter kan det leda till problem framöver.

– 75 procent av de fall där en familj undersöks av barnskyddsmyndigheterna för ett eventuellt omhändertagande av barn i USA fattas baserat på uppfattad vanvård (neglect). Du kan bli prickad för att du inte anses ge ditt barn tillräckligt med mat eller ett tillräckligt tryggt boende – eller att barnet lämnats hemma ensamt utan uppsikt när du måste jobba – det är definintionen av vanvård svart på vitt.

Hur kunde då utvecklingen vändas?

– Det viktiga är att man inte kan separera politik och teknologi – dessa system är inte neutrala. Vi måste börja bygga dessa program utgående från den sociala verklighet som vi på riktigt lever i – och dagens USA är totalt genomsyrad av ojämlikhet. Om man då tror att teknologin kan förbättra situationen tar man fel – det bästa den kan göra är att upprätthålla ett status quo. Jag anser att vi måste tänka om och se till att de här dataverktygen kan bedöma vad rättvisa betyder. Programmen måste klara av att vrida utvecklingen och det är ett jättestort jobb, både på ett politiskt, kulturellt och teknologiskt plan.

Virginia Eubanks, idag statsvetarprofessor vid universitet i Albany, har tidigare forskat i teknologi, fattigdom och kvinnligt medborgarskap och har också verkat inom flera sociala gräsrotsrörelser.

– De här digitiala systemen återskapar historien på ett osynligt sätt. Vi tillåter dem att svara på svåra politiska frågor – i vårt ställe. Och när datorsystem gör det så uppstår ytterligare ett stort känslomässigt och politiskt gap mellan beslutsfattare och dem som besluten gäller – oss.

– De här systemen är etiskt väldigt flexibla, de kan användas för väldigt olika syften. Jag vill att dessa datasystem uttryckligen designas med demokratiska värderingar och att de är omöjliga att hacka – så att systemen inte kan användas för att motverka sina ursprungliga syften.

Finland och GDPR

I en finländsk kontext kan de erfarenheter från USA som Virginia Eubanks berättar om verka främmande. Nyligen godkändes den europeiska dataskyddsförordningen som i sig ger ett starkt skydd av individers personuppgifter och ger, åtminstone till pappers, en garanti att datainsamling endast sker för ett specifikt angivet ändamål.

Men tanken om att utnyttja dataverktyg och algoritmer till profilering av befolkningen är kankse inte så långt borta – här heller. Dataombudsmannen Reijo Aarnio skrev i slutet av oktober 2018 ett upprört blogginlägg där han förundrade sig över tongångarna i ”Statsrådets framtidsredogörelse, del 2” som gäller framtidens arbetsliv. Aarnio ser vissa passager som storebrors våta dröm. Han citerar ett av regeringens åtgärdsförslag som gäller ”fullskaligt utnyttjande av digitalisering i arbetslivets övergångsfas”:

”Digitalisering gör det möjligt att få en bild, som även innebär en prognos, i realtid av människors livssituationer […] Offentliga uppgifter från olika källor har redan nu börjat samlas in centraliserat […] Nästa steg skulle vara att utnyttja ännu fler offentliga och privata datakällor samt använda maskininlärning och artificiell intelligens för analys av data och vid behov för att identifiera nödvändiga interventioner […] Detta skulle kunna innebära att man genom att automatiskt kombinera till exempel uppgifter om antalet sociala kontakter från sociala media, läkares data om viktindex och släktens sjukdomshistoria, inkomstregistrets uppgift om utkomst och butikens data om matinköp kan förutse och förebygga hälsoproblem.”

Regeringstext eller dystopisk roman?

Också gröna riksdagsledamoten Olli-Poika Parviainen, reagerade i riksdagsdebatten kring regeringens dokument på den okritiska hållningen gentemot datainsamling och profilering.

– Det är oroväckande läsning, men lyckligtvis kommer allt att behandlas av framtidsutskottet – där måste vi sätta stopp för sådana formuleringar.

Parviainen är ändå väldigt oroad över att folk högt uppe i lagstiftingsmaskineriet släpper ifrån sig en text som är som direkt ur en dystopisk roman.

– Tänkt att de presenterar sådana här naiva formuleringar – texten måste ändå ha passerat flera personer på vägen och ingen har reagerat! Vi får inte glömma att framtidsredogörelserna är den bas på vilken vi bygger vår framtida lagstiftning!

– Vi måste hela tiden ha integritetsfrågorna i åtanke. Profilering av människor kan få många dåliga konsekvenser – och vi vet också att algoritmer kan lära sig att diskriminera.

Parviainen påminner att GDPR i princip sätter stopp för massiv profilering av befolkningen – men kruxet ligger i frågan om individernas medgivande.

– Dina personuppgifter får ändå användas om du ger ditt medgivande. Det kan uppstå fall där en aktör bakar in frågan om du tillåter att dina personuppgifetr används, i ett ”erbjudande som man inte tackar nej till”. Om alla inte förstår vad de gått med – ja då har ju GDPR:s anda frångåtts.

– Vi har under senaste år haft flera separata digitala projekt där vi rör oss nära personlig integritet och datasekretess. De har behandlats separat utan att vi har en helhetssyn – frågan är om vi idag har en nationell datapolitik: Vi borde ha en politik som genomgående tar de etiska aspekterna i åtanke, säger Olli-Poika Parviainen. N

Text & foto Marcus Floman

Lämna en kommentar

Denna webbplats använder Akismet för att minska skräppost. Lär dig hur din kommentardata bearbetas.