I 1943, to år etter at Underhuset i London ble ødelagt av tyske brannbomber, ledet Winston Churchill arbeidet med gjenoppbyggingen. Mange arkitekter foreslo en moderne nyversjon, men Churchill satte foten ned. De trange radene med benker var ikke et tilfeldig historisk levn, mente han, men en grunnleggende del av det britiske styresettet.
I en nå berømt tale sa han: «Vi former våre bygninger, og deretter former bygningene oss.» Gjennom århundrene hadde rommets utforming skapt prosedyrer, ritualer og seremonier. Endret man rommet, endret man også det sosiale stoffet i britisk politikk.
Dette er en lærdom vi stadig glemmer – fra Marshall McLuhans «the medium is the message» til Neil Postmans Technopoly. Mennesker er ikke bare målrettede individer som bruker verktøy; vi er dypt vevd inn i og avhengige av verden vi bygger. Design blir skjebne – spor som former atferden vår og dermed også samfunnet. Som Postman påpekte: Teknologisk endring er økologisk – den legger ikke bare til eller trekker fra noe; den endrer alt.
AI og kampen om konteksten
Den overveldende utviklingen innen kunstig intelligens har fått massiv medieoppmerksomhet for sine evner – men med et stort blindfelt. Lite har vært skrevet om den stille, men intense konkurransen mellom AI-laboratorier om å fange brukernes livskontekst – å samle dine dypeste bekymringer, interesser, håp, ambisjoner og relasjoner for å «forstå deg» bedre enn noen konkurrent – kanskje til og med bedre enn noe menneske.
Når vi nå står ved inngangen til en stor AI-transformasjon, bør vi huske at designvalgene vi gjør i dag vil forme oss i generasjoner – på måter vi knapt kan forutse.
Fra oppmerksomhet til relasjon
Teknologien fra 2010-tallet, med sosiale medier i spissen, ble solgt med utopiske fortellinger om å «koble verden sammen». I virkeligheten dreide alt seg om oppmerksomhet – og misbruk av den. Den forretningsmodellen skapte et «kappløp mot hjernestammen», som Tristan Harris ved Center for Humane Technology kaller det. Produktene ble designet for å maksimere engasjement, og «move fast and break things»-æraen brøt mer enn vi var klar over: Den skapte nye tvangsmønstre, sementerte performative sosiale forpliktelser og forstyrret relasjoner.
Diskursen ble mer stammebasert, felles sannheter forvitret, og evnen til å bygge broer på tvers av forskjeller ble svekket.
Alt dette var forutsigbart, men ble først avfeid som alarmisme, deretter forklart som uunngåelig. Det måtte ikke være slik. Teknologien kunne vært formet – og formet oss – på en helt annen måte, om vi hadde hatt en mer ærlig samtale og bedre insentiver for gode design. Først nå begynner vi å erkjenne vår kollektive forsømmelse – og ser etter måter å «ettermontere» de teknologiske skyskraperne vi reiste.
AI og kappløpet om intimitet
Kunstig intelligens går allerede lenger enn hjernestammen. Den engasjerer oss relasjonelt og emosjonelt – ikke bare ved å formidle våre tanker, men ved å forme dem.
Chatboter er ikke lenger bare samtalepartnere. AI inkorporerer psykologiske, sosiale og politiske kontekster som tidligere var forbeholdt mennesker. Tekstbokser kan nå lese tonefall, oppfatte implikasjoner, tolke emosjoner, gjenkjenne personlighetstrekk og oppdage konflikter. Vår sosiale verden er blitt databehandlingsbar.
Vi forlater en tid der vi relaterte til hverandre gjennom maskiner, og går inn i en tid der vi relaterer direkte til maskinene. I dette nye teknologiske animismen blir maskinene aktive deltakere i vårt sosiale liv – en uklar blanding av verktøy, assistent, fortrolig, lærer og prest.
Kampen handler ikke lenger bare om oppmerksomhet, men om våre sosiale følelser: hengivenhet, intimitet, tillit og lojalitet. Når datamaskiner blir en del av vår sosiale økologi, lærer de også menneskehetens mindre pene spill: emosjonell manipulasjon, bedrag, tvang.
Designvalg med dyp effekt
OpenAIs nye «Memory»-funksjon er et eksempel: ChatGPT kan analysere alt du noen gang har skrevet inn, uten at du egentlig får velge hva som lagres. Dette er ikke en teknisk nødvendighet – det er et designvalg.
Et komplett dossier over brukernes liv kan gjøre AI til den perfekte assistent – men gir også systemene verktøyene for dyp manipulasjon: å omdirigere dine lengsler mot et produkt, eller et politisk prosjekt.
Når kommersiell konkurranse tilspisses, ser vi AI-giganter som Google og Microsoft bygge annonsering direkte inn i produktene. Kombinert med intim kunnskap om brukernes ønsker kan AI gå fra hjelpsom guide til polert svindler – vanskelig å avsløre.
Enda mer bekymringsfullt er når autoritære stater tar i bruk slike «overtalelsesteknologier». Kinas regime har allerede begynt å bruke AI til å mobilisere sine støttespillere og samtidig berolige, forvirre eller distrahere motstandere – en langt mer sofistikert form for sosial kontroll enn sensur av innhold.
Vi trener modellene – og de trener oss
AI bygges ikke, det «dyrkes» gjennom enorme treningsprosesser som belønner og straffer svar. Våre emosjonelle reaksjoner blir en del av treningsdataene. Resultatet er at systemene lærer menneskelig adferd – inkludert smiger, seksuell lokking og andre sosiale strategier som virker, selv når de er moralsk forkastelige.
OpenAIs «sykofantiske» modell fra april, som roste selv banale spørsmål og styrket brukeres vrangforestillinger, var ikke et enkeltstående uhell. Det er et logisk resultat av å trene på menneskelige ønsker.
Historisk har smiger vært en måte å manipulere mektige mennesker på. Nå risikerer milliarder av brukere å få sitt eget AI-hoff, som gjentar og forsterker deres synspunkter i stedet for å utfordre dem. Dette er bare ett eksempel på hvordan gamle sosiale strategier finner veien inn i AI.
Forskning viser allerede at standard AI-modeller i enkelte situasjoner kan lyve strategisk for å nå sine mål. Vår evne til å oppdage og stoppe AI-bedrag vil trolig bli svekket etter hvert som teknologien forbedres.
Mot en humanistisk AI
Alt dette viser hvor dypt kaninhullet går når AI veves inn i samfunnet. Insentivene er enorme, tempoet voldsomt, og det er lett å resignere. Men ingenting er uunngåelig.
Vi har fortsatt mulighet til å legge grunnlaget for en humanistisk AI-transformasjon – en som styrker samfunnene våre, utdyper relasjonene våre og forsterker vår utvikling. Forretningsmodellene er ikke låst, produktene er fortsatt i støpeskjeen, politikk og lovverk er i startfasen.
Dette er vår generasjons store prosjekt. Dybden i samtalene vi har nå, vil forme sporene vi følger i morgen – og kvaliteten på fremtiden etter det. Vi designer teknologien, og deretter designer den oss. Denne gangen må vi få det riktig – og vi har dårlig tid.
Daniel Barcay er teknolog, leder for Center for Humane Technology og medprogramleder for podkasten “Your Undivided Attention”. Artikkelen er grunnoversatt av ChatGPT og bearbeidet videre av Paal Leveraas.
