Ogenomskinliga, ansvarslösa, felkonstruerade, påstått objektiva. Det är matematikern och startup-entreprenören Cathy O'Neils dom över algoritmerna som styr allt mer av samhället – i riktning mot ökande orättvisor och kringskurna rättigheter.
inUse ger inspirationsföreläsningar – kolla utbudet här!
På From Business to Buttons 2017 talade både Mike Monteiro (se filmen med hans tal!) och Alan Cooper om den digitala teknikens "Oppenheimer moment". Det är en anspelning på hur fysikern Robert Oppenheimer, "atombombens fader" strax efter den första provsprängningen insåg vilket fruktansvärt vapen han utvecklat.
Vi har nog alla upplevt det, under det senaste dryga året eller så: en accelererande backlash mot "tech" och internet som löftet om en bättre värld och lysande framtid. Fake news, följetongen Uber, trollfabriker, gamergate, Snowdens avslöjanden om den totala övervakningen, cyberkrigföring, branschens kvinnofientlighet... Och, mindre uppmärksammat, men minst lika allvarligt: produktivitetstillväxten i USA sjönk förra året så lågt att den blev negativ. Det blev alltså lite dyrare eller tog längre tid att tillverka produkter 2016 än 2015 (!).
Det har kommit allt fler texter och böcker om det här; inte präglade av teknikfientlighet, men av ett uppvaknande kring framför allt de sociala konsekvenserna av tekniken. "Utopia is creepy"; titeln på Nicholas Carrs nya bok är rätt talande. (En tidig och svensk var för övrigt Eric Schüldts och Jonas Anderssons Framtiden.)
På samma sätt som atomfysiker var bland de första att varna för atombomben, är det personer som varit engagerade i den digitala revolutionen som nu börjar varna för den riktning utvecklingen tagit. Anil Dash har nyligen visat hur internet lovade öppna marknader, men gav oss riggade marknader med ambitionen att bli monopol. Douglas Rushkoffs bok "Throwing rocks at the Google bus" är också rätt typisk.
Frågan är om inte Weapons of Math Destruction av Cathy O'Neil kan bli den mest inflytelserika av dessa böcker.
O'Neil är doktorerad matematiker från Harvard, som lämnade akademin för att jobba på Wall Street. På första parkett fick hon uppleva hur de finansiella produkter hon hjälpt till att ta fram höll på att krossa hela världsekonomin.
Hon hamnade senare i startupvärlden och tog fram formler för annons-styrning på webbplatser, och liknande. Men efterhand blev hon mer och mer kritisk till hur allt fler verksamheter i samhället kommit att domineras av algoritmiska verktyg. Därav boktiteln: "Math destruction" är en anspelning på "mass destruction".
I boken följer O'Neil huvudsakligen en tänkt levnadsbana: hur en person väljer en utbildning, söker jobb, försöker få lån till en bostad, vill teckna en försäkring, och så vidare. Hon granskar risken att hen kanske kommer i kontakt med rättsväsendet, och tänkbara konsekvenser av det – kanske till och med att hamna i fängelse.
I varje läge är personen idag utsatt för värdering, sortering och styrning utifrån matematiska formler. Hens cv granskas av en maskin, hens kreditvärdighet bedöms av en formel.
Algoritmer är aldrig neutrala, framhåller O'Neil. De innehåller de värderingar som skrivits in i dem när de designade. Till exempel att varje människa med titeln "doktor" automatiskt är man. Men ofta fördomar som är mer subtila och svårare att se.
Ett typiskt fel med många algoritmer, framhåller O'Neil, är att de saknar vettiga feedback-mekanismer. En algoritm för att bedöma cv:n har ingen möjlighet att ta reda på om en sökande som rensats bort sedan blir en stjärna på nästa jobb som hon faktiskt landar. Algoritmen uppdateras inte och kommer att fortsätta att skapa missledande rekommendationer.
Ett ännu värre fel är att många algoritmer skapar egna feedback-loopar, som typiskt missgynnar minoritetsgrupper: svarta, fattiga, kvinnor. Algoritmerna blir självuppfyllande: om algoritmen säger att du riskerar att återfalla i brott, döms du till fängelse, vilket är en av de tyngsta faktorerna bakom att återfalla i brott.
Ett av O'Neils starkaste resonemang kommer just i avsnittet om hur algoritmer används i rättsväsendet, i domstolarna. Hon visar hur våra västerländska rättssystem är (har varit) designade för att prioritera rättvisa högre än effektivitet. Den grundläggande principen är att vi hellre låter tio skyldiga gå fria, än att en oskyldig döms. Och även de som befunnits skyldiga har rätt att överklaga en dom. Det här drar enorma resurser för rättsväsendet, men vi har valt det för att vi värderar rättvisa högre än effektivitet.
Algoritmerna däremot – inom rättsväsende och på övriga ställen – designas för att prioritera effektivitet framför rättvisa. Alla som skapar algoritmer medger – åtminstone när de pressas – att "falska positiva" kan slinka med i den sortering eller sållning som systemen gör, men att det är värt det i effektivitetens namn. Det är ett fundamentalt skifte i rättsuppfattningen, som inte varit särskilt uppmärksammat hittills.
Boken är lite långsam i början. Och lite USA-centrerad, när O'Neil börjar med att förklara hur statistik allt mer kommit att styra baseball, den amerikanska nationalsporten. Men beskrivningen har en poäng, för baseball-resultaten är öppna och transparenta, och algoritmerna som styr rekryteringar och rankningar uppdateras hela tiden. Om en tidigare nedprioriterad slagman eller kastare presterar bättre nästa säsong, i sitt nästa lag, uppdateras algoritmerna. Vilket är precis vad som inte sker för den jobbsökande som sorterats bort från ett jobb men blir stjärna på sin nästa arbetsplats.
Där är algoritmerna normalt inte transparenta. Man får inte veta varför man blivit utstraffad. De är inte heller möjliga att överklagas. Modellerna är "opaque, unquestioned and unaccountable", som O'Neil framhåller.
Ytterligare en typisk egenskap är att många algoritmer saknar vettiga indata, och i stället använder "proxies"; andra data som får hoppa in för det man inte riktigt kan ringa in eller fråga om. Postnummer, eller dina facebook-kompisar, blir en proxie för att bedöma din brottsbenägenhet eller din kreditvärdighet – vilket i USA nästan blir detsamma som att profilera på ras eller fattigdom.
Och kreditvärdighet blir i sin en tur proxie, som används för en rad andra bedömningar. "Creditworthiness has become an all too easy stand-in for other virtues. Bad credit has grown to signal a host of sins and shortcomings that have nothing to do with paying your bills," konstaterar O'Neil.
Och om dålig kredit används för att maskinellt sortera bort jobbansökningar, kommer troligen den drabbade at få ännu sämre ekonomi, och ännu svårare att landa nästa jobb, och så vidare. (Upp till 7 av 10 cv:s läses aldrig av mänskliga ögon, enligt en flera år gammal uppgift).
"Being poor in a world of WMDs is getting more and more dangerous and more and more expensive". Men "[it] also hammers the middle class."
Vad kan vi göra? Utvecklingen medför konsekvenser som "all to often passes for inevitability", säger O'Neil. Men det kommer att krävas kamp.
Algoritmer måste vara öppna för revision och granskning, menar O'Neil. Deras beslut måste kunna överklagas. Vi måste kunna mäta deras påstådda effektivitet. Hon refererar dessutom ett förslag på en motsvarighet till den "hippokratiska ed" som läkare svär: algoritm-skapare ska lova att till exempel aldrig ge människor "false comfort about [the models] accuracy. Instead, I will make explicit its assumptions and oversights."
Men årgärderna måste gå längre än så. Och vad som oroar mig mest är att en grundläggande förutsättning i samhället tycks vara hotad: övertygelsen att utvecklingen kan, och bör, tyglas – och styras av andra värderingar än de som kommit att präglas den idag.
O'Neil bloggar på mathbabe.org. Hon är kolumnist hos Bloomberg News.