Debatten om AI har de senaste veckorna kommit att präglas av ett ett upprop från Max Tegmark och Future of Life Institute för att införa ett moratorium på delar av AI-utvecklingen. I föregående del av den här bloggföljetongen skrev jag om hur uppropsmakarna blandar ihop olika typer av AI och hur det i sin tur hämmar riskhanteringen av både dagens och framtidens AI. I del 2 problematiseras hur existentiella AI-risker målas upp idag och hur AI förhåller sig till marknadsekonomin.
En återkommande gemensam nämnare för beskrivningen av existentiella hot från AI är att de optimerar ett lovvärt och ofarligt mål – bota cancer eller tillverka gem – så effektivt att utfallet istället blir negativ eller till och med utgör ett hot mot mänskligheten. Utmaningen att formulera målfunktioner för en AI-modeller kallas alignment problems (inriktnings- eller kalibreringsproblem). Samma problem finns även i dagens smala AI, där en illa formulerad målfunktion kan ge undermåliga eller negativa utfall, men dessa utgör inte något existentiellt hot. En bärande punkt i problemformuleringen är att målfunktionen formuleras på förhand och förblir densamma även när AI-modellen passerar sitt tilltänkta optimum och till exempel börjar tillverka gem av människor.
I en intervju med Lex Fridman beskriver Max Tegmark hotet med sådan här extremoptimering genom att jämföra en tänkbar superintelligens med den kapitalistiska marknadsekonomin. Tegmark menar att marknaden till en början var effektivare än till exempel planekonomi för att ”få saker gjorda”, men att vi med tiden har sett en extremoptimering av vad han beskriver som kapitalismens enda målfunktion: profit. Men det är en retorisk halmgubbe som bygger på en allt för kraftig förenkling av marknadsekonomins funktion.
Marknaden har inte en målfunktion, utan lika många som det finns aktörer på den. Profit är i bästa fall ett teoretiskt koncept för summan av nytta utifrån individuella preferenser, eller i mer praktiska sammanhang det minst dåliga sättet vi har att hitta gemensamma mått för att addera vad som i allt väsentligt är äpplen och päron. Människor eftersträvar inte bara pengar utan också andra saker som status, ägodelar, vänner, kärlek och lycka. Det är vad som döljer sig bakom Tegmarks beskrivning av att ”få saker gjorda”. Marknaden är ett ett sätt för människor med olika målfunktioner att samarbeta. Det betyder också att individers heterogena målfunktioner kommer att skifta i takt med att deras omgivning förändras och på så vis kommer marknaden att utvecklas och förändras i relation till sin omgivning.
Tegmark misstar sig inte bara om marknadsekonomin utan också om dess inverkan på AI. Beskrivningar av hur AI med en ensidig och konstant målfunktion kan utgöra ett existentiellt hot liknar Romklubbens rapport Limits to Growth som på 1970-talet drog slutsatsen att jordens resurser skulle ta slut på grund av befolkningsökningen. Modellen de förlitade sig på var otroligt avancerad för sin tid men missbedömde kraftigt utvecklingen på grund av att den inte inkluderade varken teknisk utveckling eller marknadens anpassningsförmåga. På samma vis tenderar formuleringen av existentiella AI-risker att kraftigt förenkla och underskattar hur ny teknik implementeras i och påverkas av sin omgivning i ekonomin.
Att AI:ns målfunktion skulle vara konstant och inte kunna stängas av om dess utfall bli negativa kräver att AI:n antingen är självmedveten (och har en egen agenda eller någon påverkan på sin egen målfunktion) eller att den redan har tillräcklig kontroll över människor för att förhindra dem från att stänga av den. Det är långtgående antaganden som förespråkare av den här tolkningen av existentiell AI-risk gör. För AI och AGI som faller utanför dessa antaganden finns det dock starka skäl att ha en mer nyanserad ansats riskerna i arbetet med reglering och riskhantering. Annars blir AI lätt ett gammalt spöke i nytt lakan.
Det här sättet att beskriva existentiell AI-risk som ett ”stort” hot lockar till slutsaten att det krävs en lika ”stor” centraliserad lösning. Det leder i sin tur till krav på någon typ av (överstatlig) styrning av tekniken som på förhand ska förhindra negativa utfall (se exempelvis här och här). Den regim som kommit närmast att förverkliga den här tanken om centraliserad styrning av AI är Kina (se exempelvis här, här eller här). Men det kinesiska exemplet stämmer sannolikt inte särskilt väl överens med vad förespråkarna för sådana lösningar ser framför sig.
En alternativ ansats vi behöver fundera mer på är hur ”stora” problem som AI-risker, även existentiella, kan bemötas med många små och heterogena lösningar på en marknad snarare än en stor centraliserad plan. Prioritera att utveckla marknaden före att styra tekniken.
Pingback:Ett AI-upprop värt att ställa sig bakom! – SoeTech