Ur1843 Magazine, 29 november 2024, skriven av Peter Guest, översatt av InPress. ©2024 The Economist Newspaper Limited. Alla rättigheter förbehållna.
Vad handlar artikeln om?
Stuart Russell, en ledande AI-expert, har organiserat möten i Peking, Storbritannien och Italien med forskare från både Kina och väst för att etablera ”röda linjer” för AI-utveckling.
Guiden vid Sommarpalatset i Peking fick anstränga sig hårt för att få turistgruppenatt lyssna denna marsdag. Istället för att titta på de magnifika paviljongerna i de kejserliga trädgårdarna pratade turisterna – en grupp kinesiska och västerländska teknikexperter – hellre med varandra. ”Jag tyckte synd om guiden”, sade en av deltagarna. ”Alla gick runt i detta vackra världsarv, men de pratade mest om AI.”
Det fanns ett djupt allvar i diskussionerna. I mer än ett år hade AI-verktyget ChatGPT visat på enorma tekniska framsteg. I takt med att en rad stora företag tävlar om att utveckla sina egna, smarta produkter intensifieras debatten om hur de här modellerna kommer att utvecklas i framtiden.
Många experter oroar sig över att AI kan användas för att utveckla nya sjukdomar eller cybervapen – om det inte finns några skyddsbarriärer. Vissa menar att utvecklingen kan nå en punkt där människor tappar kontrollen över verktyget. Och det kan få närmast apokalyptiska konsekvenser. Den spända relationen mellan de två stormakterna som är pådrivande inom AI-utvecklingen – USA och Kina – gör situationen än mer oroväckande.
Arbetsgruppens besök på Sommarpalatset var tänkt att stärka samhörigheten. Gruppen hade satts samman av Stuart Russell, en brittisk datavetare vid University of California i Berkeley och en av de mest framträdande ”domedagsprofeterna” inom AI-området.
Russell menar att farorna med AI kan jämföras med de risker som kärnvapenkapprustningen skapade under kalla kriget. USA och Kina vill inte reglera den egna AI-industrin, delvis för att ingen av parterna vill att den andra sidan ska få ett försteg. Många experter anser att Russells farhågor är långsökta, men delar oron över att det inte pågår någon meningsfull dialog mellan stormakterna.
Russell har en arketypisk akademisk framtoning, med sina grå tinningar och mjuka röst. Men 2023 bestämde han sig för att ge sig in i geopolitiken. Han hade tidigare arbetat med flera kinesiska datavetare och var knuten till Tsinghua-universitet i Peking. Med hjälp av dessa kontakter försökte han skapa ett nytt forum där AI-experter från öst och väst kunde prata med varandra. ”Forskare”, berättade han, ”delar ofta ett intresse för mänsklighetens välbefinnande.”
Målet med konferensen var att få delegaterna att komma överens om hur man skulle kunna behålla kontrollen över AI. Var och hur kan man dra en gräns för när modellen riskerar att bli alltför farlig? Man skulle inte prata politik. Flera av deltagarna tänkte sällan på spänningarna mellan Kina och västvärlden.
Gillian Hadfield, som då var professor i juridik vid University of Toronto (nu på John Hopkins University, red.anm.), hade planerat att ta med sin egen bärbara dator och mobil. Kollegor varnade henne dock för att risken var stor att kineserna skulle försöka hacka dem. ”Jag sysslar inte med geopolitik”, sade hon till mig senare. Arrangörerna hade bättre koll på situationen och försåg deltagarna från väst med tillfälliga elektroniska enheter innan de gick ombord på planet. ”Vi blev varnade för att alla samtal kunde vara avlyssnade”, säger Hadfield. ”Också på hotellrummen.”
Foto: UC Berkeley
I ett PM som en amerikansk general i flygvapnet skickade ut till staben förra året, förutspåddes att USA och Kina snart skulle vara i krig över Taiwan. ”Min magkänsla är att vi kommer att vara i strid under 2025”, skrev han. Även om de officiella uttalandena från Pentagon inte är fullt lika oroväckande, råder det ingen tvekan om att försvarsetablissemanget i båda länderna förbereder sig för öppen konflikt.
Det har blivit oerhört viktigt för den amerikanska regeringen att hindra Kina från att få tillgång till avancerade halvledare – i synnerhet de högpresterande chip som används för att träna de mest avancerade AI-modellerna. Washington har i flera omgångar infört sanktioner mot kinesiska företag, offentliga organ och akademiska institutioner, och har begränsat exporten av chip och utrustning för chiptillverkning till Kina. Peking har svarat med att investera kraftfullt i forskning och utveckling.
Kampen om att ligga steget före i den tekniska utvecklingen gör det svårt för Kina och USA att komma överens om gemensamma säkerhetsprotokoll på AI-området. När företrädare för båda ländernas regeringar träffades i Genève i maj i fjol för att diskutera riskerna med AI, hade de svårt att ta sig vidare. Kinas ilska över exportförbudet för halvledare blockerade samtalet.
Det förs också andra, mindre formella, samtal. Under många år har tankesmedjor och andra organisationer med kopplingar till de kinesiska och amerikanska regeringarna genomfört så kallade ”spår två”-samtal, det vill säga informella samtal om AI. Teorin bakom den här typen av diplomati, som oftast sköts av analytiker och experter snarare än regeringsrepresentanter, är att båda sidor har utrymme att prova olika idéer utan de begränsningar som den officiella hållningen medför.
Men också i dessa mer avslappnade forum skapar officiella ställningstaganden ofta låsningar. Det är svårt för kinesiska representanter att vara fristående från regeringen på riktigt – de som träffar amerikanska motparter gör det ofta med den kinesiska regeringens godkännande.
”Under de första tio minuterna handlade allt egentligen bara om att föra ut politiska budskap”, sade en anonym deltagare i ett ”spår två”-samtal. ”Den kinesiska sidan redogjorde för alla amerikanska övertramp och vi gav tillbaka genom att tala om Xinjiang och liknande.” Kinesiska myndigheter påstås ha använt AI-baserade övervakningsverktyg för att spionera på uigurerna, en förföljd minoritet i Xinjiang-provinsen.
USA sätter hela tiden upp nya kinesiska individer och institutioner på sanktionslistan, vilket gör att amerikanska deltagare inte alltid vet om de får lov att prata med sina motparter. Tiotals kinesiska forskningsinstitutioner, som Beijing Institute of Technology och Beijing Computational Science Research Centre, finns nu med på den amerikanska sanktionslistan. Under det senaste året har ”spår två”-samtal vid flera tillfällen behövt pausas för att den amerikanska sidan måste utreda rättsläget. En person som arbetade med att organisera Russells konferens i Peking medgav att man gått igenom gästlistan noga för att inte bryta mot sanktionerna.
Även om de amerikanska och kinesiska regeringarna skulle vara beredda att samarbeta, är det ändå svårt att sätta upp skyddsbarriärer för AI. De personer som utvecklat de mest banbrytande AI-modellerna förstår inte fullt ut hur modellerna lär sig. Därför är det svårt att peka ut i vilket ögonblick de riskerar att bli okontrollerbara.
Här kände Russell att forskarna kunde spela en viktig roll. Han var delvis inspirerad av det partiella provstoppsavtalet från 1963. Avtalet var ett mindre diplomatiskt mirakel och syftade till att få USA och Sovjetunionen att, mitt under kalla kriget, komma överens om vissa gränser för kärnvapenprov. Avtalet möjliggjordes av att ett konsortium av internationella forskare utvecklade ett övervakningssystem, som gav båda sidor garantier för att den andra parten inte i hemlighet skulle försöka utnyttja avtalet för att vidareutveckla sitt eget program.
Under 00-talet och början av 2010-talet anlitades Russell av det FN-organ som ansvarar för övervakningen. De ville ha hjälp med att förbättra detekteringskapaciteten. Han lärde känna några av forskarna som var med i början av projektet och insåg att experterna från Sovjet och väst hade utvecklat goda relationer. De här relationerna hade till och med bidragit till framsteg i det diplomatiska arbetet. Varför skulle man inte kunna använda samma arbetssätt på AI-området? Han började med att kontakta två tidigare vinnare av Turingpriset för framsteg inom datavetenskap: kanadensaren Yoshua Bengio och kinesen Andrew Yao. Tillsammans började de tre männen sätta samman en grupp med ett tjugotal experter.
Foto: Maryse Boyce
I oktober 2023 träffades gruppen för första gången på Ditchley Park, ett gods i Storbritannien. Mötet hade arrangerats i all hast, eftersom det just hade meddelats att företrädare för 27 länder skulle träffas månaden därpå för att prata om AI-säkerhet. Det mötet skulle hållas på Bletchley Park, där brittiska kodknäckare en gång avkodade nazistregimens kommunikation. Russell och hans kollegor hoppades att de skulle kunna bidra med ett grundarbete.
I början hade Russells grupp svårt att hålla sig borta från politiken. Tanken var att detta skulle vara ett möte mellan olika forskare, men vissa av de kinesiska delegaterna verkade se mötet som ett vanligt spår två-samtal och ville prata om frågor som Kinas bestridda anspråk på öar i Sydkinesiska sjön. ”Jag tror att många av oss tänkte: Jaha. Det här är inte våra frågor”, säger Russell. Men delegaterna kunde ändå komma överens om principerna för nästa samtal i Peking.
Det var med viss bävan juridikprofessorn Hadfield anlände till Peking. Hon hade träffat de kinesiska motparterna vid Russells första möte i Storbritannien och de hade visserligen varit tillmötesgående, många talade flytande engelska, men hon väntade sig att samtalen skulle vara lite stelare i Kina.
Men stämningen var överraskande avslappnad. Under den första kvällen var delegaterna inbjudna till Beijing Academy of Artificial Intelligence, där de minglade över ett glas vin, Moutai (en kinesisk spritsort) och kanapéer. När de kinesiska delegaterna hörde att den kanadensiske datavetaren Yoshua Bengio nyligen fyllt år, skålade de för honom.
Under den första dagens samtal träffades gruppen i ett konferensrum på ett femstjärnigt hotell i närheten av Sommarpalatset. Vid officiella diskussioner, och även vid informella samtal, sitter de olika parterna normalt mittemot varandra vid bordet. Under Russells konferens blandades deltagare med olika nationaliteter i rummet. Russell sade att han och de andra organisatörerna hade velat skapa en känsla av att ”det inte handlar om två olika sidor. Vi arbetar för att lösa det här problemet tillsammans”.
Målet med samtalen var att ta fram en serie röda linjer – tekniskt hållbara, politiskt genomförbara gränser för vad AI-system kan tillåtas att göra. Efter inledande anföranden av Russell, Bengio och Yao, delades deltagarna in i mindre grupper för att arbeta med olika ämnen, som hur man mäter hur en AI-modell utvecklas. Evenemanget kändes lite som en fortbildningsdag hos ett företag, enligt de som deltog. Bengio och Yao intog rollerna som chefer som alla ville imponera på.
”Yoshua Bengio och Andrew Yao är halv- eller helkändisar”, sade en deltagare. ”Det blev lite som: Yoshua är i den gruppen och pratar om risker vid förlorad kontroll – där vill jag vara med.”
Diskussionerna handlade mest om tekniska frågor, även om de ibland gled över i politik. Ingen klagade öppet över exportkontroller, men det fanns ändå underförstådda hänvisningar till det – ”elefanten i rummet”, som två olika deltagare sade. Ett samtal om vetenskapligt samarbete spårade ur efter ett utdraget klagomål om hur svårt det var för kinesiska akademiker att få visum.
Hadfield märkte att stämningen förändrades lite när samtalet kom in på politiska frågor. Politiker och tjänstemän var inte inbjudna till de tekniska diskussionerna, även om de deltog i de ceremoniella mötena i början och slutet av konferensen, men några av deltagarna hade kopplingar till den kinesiska regeringen. Hadfield hade en känsla av att de andra kinesiska delegaterna var väldigt medvetna om när de avvek från den officiella linjen. ”Ibland kunde någon påpeka att ’det här borde jag inte säga’ och jag uppfattade att de visste att de kunde vara övervakade.”
I slutet av konferensen tog gruppen fram ett dokument där de principer man enats om beskrevs: AI bör inte ha kapacitet att förbättra eller replikera sig själv, och inte heller ha kapacitet att söka efter mer prestanda för att kunna uppnå ett mål. AI bör inte kunna användas för att utveckla massförstörelsevapen, kemiska eller biologiska vapen och inte heller för att genomföra cyberattacker. AI bör inte kunna lura sina skapare – en AI som ”vet” att den kan stängas av för att den är för kraftfull kan ljuga om sin kapacitet i syfte att överleva och uppnå sina mål.
Andra experter jag talade med ansåg generellt att dessa röda linjer var sunda och rimliga. Men poängen med mötet i Peking var att visa att de också var praktiskt genomförbara. Russell och hans kollegor pratade inte bara om vad de ville förhindra. De pratade om mekanismer för förebyggande, som automatiska revisioner av alla AI-modeller över en viss storlek. Det skulle kräva att utvecklarna publicerar matematiska bevis för att deras AI inte kan överträda de röda linjerna och att programmerande AI-modeller måste följa vissa regler.
Foto: John Hopkins University
Det finns de som tycker att Russells initiativ inte fyller någon funktion. Vissa menar att han och andra har för stort fokus på hypotetiska och osannolika framsteg inom AI. Åter andra, inte minst inom det amerikanska försvarsetablissemanget, anser att den kinesiska regeringen enbart går med på den här typen av dialoger i PR-syfte. På så sätt kan de verka mer öppna för samarbete än de egentligen är.
AI-experter i väst kan vara ”helt naiva när det gäller de tekniker som Kina använder för att styra sitt budskap eller för de kinesiska eliternas påverkansoperationer”, säger en tidigare tjänsteman inom Pentagon, som har deltagit i förhandlingar med Kina om AI. ”Jag menar inte att de här informella dialogerna måste upphöra”, säger tjänstemannen. ”Men jag anser att de är enormt överskattade.”
Ett uppföljningsmöte genomfördes i september. Visumregler gör det svårt för kinesiska forskare att komma till USA och därför genomfördes mötet i ett nygotiskt palats i Venedig. Deltagarna försökte fördjupa sig ytterligare i de tekniska aspekterna av att övervaka de röda linjerna – hur skulle de kunna genomdrivas om de inkluderades i ett avtal? Med tanke på hur stor del av AI-forskningen som bedrivs i slutna rum inom privata teknikbolag, är detta ingen oviktig fråga. De pratade om behovet av att ha mekanismer för ”tidiga varningar” och om hur man fastställer tröskelnivåer för en säker utformning av AI-modeller.
Utsikterna för att få till stånd ett internationellt avtal om AI-säkerhet är för närvarande små. Nu när den värsta hajpen kring AI – som uppstod i samband med lanseringen av ChatGPT – har mattats av något, har de existentiella riskerna börjat halka ned på de politiska beslutsfattarnas dagordning. När de pratar om farorna med AI tenderar de att fokusera på mer närliggande frågor som arbetsmarknadsrelaterade problem, desinformation och övervakning. Omvalet av Donald Trump har samtidigt väckt oro för att relationerna försämras ytterligare.
Russell tror ändå att det finns ett värde i att gå vidare med initiativet. ”Kina är inte ideologiskt enhetligt”, säger han, och menar att vissa kinesiska forskare, och till och med regeringstjänstemän, närmar sig de här frågorna i en sfär som ligger utanför stormakternas nollsummespel.
I grund och botten är han optimist och vägrar delta i den makabra sysselsättningen att räkna på sannolikheten för en AI-apokalyps (”P(doom)”), som en del av hans ”domedagskollegor” gärna gör. ”Hela idén bakom ”P(doom)” bygger på att man är en opartisk utomjording som betraktar allt från ovan och slår vad om hur det ska gå”, säger han. ”Men vi befinner oss nere på jorden och måste göra vårt yttersta för att se till att utvecklingen går i rätt riktning.”
Denna text publicerades ursprungligen i det tryckta magasinet Världen Om april 2025. Översättare: Helen Gustafsson
Läs fler artiklar från samma nummer här.
Så här jobbar Världen Om med kvalitetsjournalistik: Vi väljer ut artiklar. analyser, data och intervjuer från The Economist som täcker in geopolitik, vetenskap, livsstil, affärer och kultur. The Economist har funnits sedan 1843 för att "stärka kampen för intelligent upplysning i syfte att motverka okunskap som hindrar framsteg och utveckling."
