I somras utspelade sig en liten storm i de kretsar som följer med forskning kring artificiell intelligens (AI). Det privata forskningsinstitutet OpenAI (ägt av bl.a. Elon Musk) publicerade GPT-3, sin senaste språkmodell, och resultaten från modellen var häpnadsväckande. GPT-3, uppföljare till GPT-1 och GPT-2, kunde på basis av bara några ord skriva flytande text om nästan vilket som helst ämne i så gott som varje genre, inklusive poesi. En hobbyentusiast med tillgång till modellen producerade till och med några GPT-3-genererade prutthurtiga bloggtexter om produktivitet och lyckades på den uppskattade sajten HackerNews lura läsare att texterna var skrivna av en människa.
GPT-3 skapade mycket diskussion, kanske främst på grund av att modellen producerar text som i skrämmande hög grad ter sig mänsklig. Men denna häpnadsväckande förmåga har också en politisk ekonomi och en fenomenologi. Om vi tittar in under motorhuven på GPT-3, så ser vi hur tekniska utmaningar inom det fält som kallas AI är sammankopplade både med en utveckling mot oligopol inom samma fält och ett ökat behov av att samla in data hela tiden och överallt, inte minst genom ”sakernas internet” och ”smarta städer”.
GPT-3 är en språkmodell som representerar det senaste nya inom det forskningsområde som kallas för språkteknologi (natural language processing). Syftet med språkmodeller är att utgående från tidigare språkbruk bedöma hur sannolika olika kombinationer av ord är. Dessa sannolikheter kan användas både för att klassificera och producera språk. Det kanske mest vardagliga exemplet på en språkmodell kan vi bevittna då vi skriver meddelanden med våra smarttelefoner. För varje ord vi skriver föreslår de flesta smarttelefoner nästa ord. Förslagen är baserade på vilka ord som är mest sannolika, baserat på de ord vi redan skrivit. Om vi alltså skriver att ”maten är” så skulle kanske en bra rekommendation vara ”färdig”, men även ”god” kunde passa.
Språkmodeller tar alltså sampel från vårt kollektiva skrivna språkliga arv för att lära sig producera texter för olika sammanhang. År 2018 anses allmänt vara ett genombrottsår för språkmodeller och flera mycket avancerade och algoritmiskt innovativa modeller publicerades då, bland annat GPT-3:s företrädare GPT-1.
Men för GPT-3 verkar den främsta innovationen i förhållande till tidigare modeller inte ha varit algoritmisk, utan består i mängden data modellen ”skolats” på. GPT-3 innefattar egentligen inte några nämnvärda tekniska innovationer, utan det nya är att modellen närt sig på en hittills aldrig tidigare skådad mängd dokument, webbsidor, kommentarer med mera som samlats in från det öppna nätet.
Denna strategi, där språkmodeller i allt högre grad utvecklas genom att utöka datan de skolas på, pekar på en av de mest centrala spänningarna inom AI-forskning, nämligen balansgången mellan varians och bias. Varians är i detta sammanhang måttet på feltolkningar en modell gör då den är för specifik, medan bias är måttet på feltolkningar en modell gör då den är för generell. Å ena sidan vill vi att våra modeller lär sig från data vi skolar modellen på, men å andra sidan vill vi att modellerna kan generalisera tillräckligt för att förstå data de inte sett. En modell med hög varians blir så påverkad av den data den skolas på, att den inte klarar av att generalisera till andra sammanhang. En modell med hög bias försöker generalisera så mycket att den inte lär sig från data (bias betyder ju bokstavligen ”fördom”). Ett slags dragkamp mellan det generella och det partikulära, med andra ord.
En utväg ur denna dragkamp är att bygga algoritmiskt mer komplexa modeller. Större neuronät (en typ av AI), kan till exempel minska både feltolkningar som beror på varians och feltolkningar som beror på bias. En annan utväg är att använda mer data. GPT-3 bygger på innovationer från mer komplexa modeller, men bryter barriären tidigare generationer av modeller mött genom att utöka mängden data.
Just här ligger en av orsakerna till att AI-industrins håller på att utvecklas till ett oligopol: Efter en viss gränspunkt minskar betydelsen av tekniska ”innovationer”. Istället ökar betydelsen av data. De som har de ekonomiska resurserna att samla, lagra och skola sina modeller på enorma mängder data, bygger de bästa modellerna. Datan blir med andra ord en priviligerad genväg till bättre modeller, förbi algoritmiska innovationer. Och bättre modeller blir en genväg till mer makt, mer inflytande.
Problemet med bias och varians understryker också hur alla former av mänskligt uttryck ändras i tid och rum och lever med sitt sammanhang. I sin bok What Computers Can’t Do, en av de första filosofiska sågningarna av vetenskapen kring AI, skrev Hubert Dreyfus om hur intelligens inte kan utvecklas i tomma intet, utan endast i kroppar och i världen. Feministisk och postkolonial forskning skulle tala om situerad och förkroppsligad kunskap. Kroppar och platser har betydelse då vi använder språket för att uttrycka mening. Språk som är vardagligt, lokalt, felstavat, slangmässigt och så vidare kan till exempel inte uppfattas av en modell som bara skolats på mycket välredigerade och akademiska böcker.
Omvänt kan vi begripa hypen kring ”smarta städer” och ”sakernas internet” i detta sammanhang: AI måste bäddas in i vår levda verklighet för att låta modeller lära sig av olika sammanhang och samla oändliga mängder av data. Generellt och partikulärt. Kevin Ashton, som myntade uttrycket ”Internet of Things” skriver att vi måste låta datorer ”se, höra, och lukta världen själva, i dess fulla slumpmässiga glans”. Låter poetiskt, men om vi läser meningen genom spänningen mellan bias och varians får den kanske en annan klang. Istället för sakernas uppror, som den finlandssvenska modernisten Henry Parland hyllade, pågår det just nu ett slags rekrytering till sakernas reaktion. Alla saker ska integreras i ett nätverk av noder som samlar signaler om vårt liv, införlivas i den ”härskandets konst” som Foucault talade om. Sakernas partikulära, ”förkroppsligade” perspektiv värvas till ett slags materiellt angivarnätverk med syftet att bättre tjäna det generella, och målet att förutspå allt.
