Konsten att förutsäga en oförutsägbar värld

Varje morgon under det gångna året har en grupp brittiska tjänstemän, diplomater, poliser och spioner vaknat upp, loggat in på en websajt och gissat om Kina kommer att invadera Taiwan vid ett visst datum. Eller om en viss mängd av Arktis is kommer att försvinna. Eller hur mycket infektionerna i covid-19 kommer att minska. Dessa omöjliga uppgifter ingår i Cosmic Bazaar, en prognostiseringstävling, skapad av den brittiska regeringen. Syftet är att förbättra underrättelseanalyser.

1300 prognosmakare har gjort fler än 10 000 prognoser sedan man lanserade websajten i april 2020. Dessa prognosmakare kommer från 41 olika statliga myndigheter och flera allierade länder.

Websajten har omkring 200 regel­bundna prognosmakare. Dessa får bara använda sig av offentligt tillgänglig information för att tackla de 30–40 frågor som läggs ut i taget. Cosmic Bazaar är en del av underrättelse­tjänstens gamification. Användarna rankar siten med ett enda, brutalt mått: hur rätt deras förutsägelser är.

Superprognostiserare lyckas ofta göra korrekta förutsägelser

Prognostävlingar som Cosmic Bazaar baserar sig på några få grundläggande idéer. En av dem, vilket det här fallet visar, är ”massans vishet”. Det var statistikern Francis Galton som först belyste begreppet 1907. Galton observerade en tävling på en jordbruksmarknad som handlade om att uppskatta en oxes vikt. 800 personers median­gissning var då korrekt med en marginal på 1 procent från det korrekta svaret.

Crowdsourcing, som den här idén nu kallas, har förstärkts av mer och nyare forskning om männi­skors förmåga till goda bedömningar och hur de gör dem. Experiment av Philip Tetlock vid University of Pennsylvania med flera, visar att experters uppskattningar ofta inte är bättre än slumpen.

Ändå lyckas vissa människor, så kallade superprognostiserare, ofta göra korrekta förutsägelser. Detta till stor del på grund av hur de bildar sina bedömningar – som genom en drivkraft att granska prognoser i ljuset av nya data och ha en medvetenhet om typiska mänskliga fördomar. Tetlocks idéer fick uppmärksamhet förra året när Domici Cummings, dåvarande rådgivare till Storbritanniens premiärminister Boris Johnson, offentligt ställde sig bakom hans bok och anställde en kontroversiell super­prognostiserare att arbeta på Johnsons kontor på Downing Street.

Superprognostiserare lyckades bättre än forskarteamen

Det var USA:s stora underrättelseetablissemang som var först med att använda sig av de här principerna. Under de senaste tio åren har det genomfört mer än ett dussin prognostiseringsprojekt. Dessa inkluderar marknadsprognostisering, där folk kan slå vad om pengar eller poäng, och prognosomröstningar som Cosmic Bazaar. Den främsta turneringen var programmet Aggregative Contingent Estimation (ACE). Turneringen genomfördes 2010 till 2015 av Intelligence Advanced Research Projects Activity (IARPA), en grundforskningsorganisation för amerikanska spioner. Ett kurerat lag med superprognostiserare från Good Judgment Project, lett av Tetlock, visade sig vara minst en tredjedel mer korrekt än andra forskningsteam.

Läs även

Mästare på förutsägelser ger prognoser för 2024

Prognoser för nyckelhändelser 2024 från superprognosmakarna på Good Judgment.

ACE och liknande program inspirerade Storbritannien att skapa Cosmic Bazaar. Ett av dess syften är att identifiera en grupp prognosmakare som är återkommande framgångsrika. Dessa skulle kunna hjälpa till att svara på svåra frågor vid en kris.

De 20 som befinner sig i toppen ”har otroligt ofta rätt”, säger Charlie Edwards, som utbildar brittiska underrättelseanalytiker. De är besatta av sina Brier scores, ett mått på korrekthet över tid. De delar också entusiastiskt med sig av datakällor och nyheter, helt i enlighet med resultaten från Good Judgment Project. Belöningarna är endast virtuella märken och särskilda anteckningsböcker. Men för analytiker som är vana att arbeta med hemliga underrättelser där framgångarna förblir okända, är en hög poäng här – och en och annan pryl som bevisar det – något av en ”hedersutmärkelse”, säger Edwards.

Identifierar blinda punkter

Ändå handlar det inte bara om att hitta stjärnor. Det gäller också att uppmuntra ”kognitiv mångfald”. Det görs genom att se till att underrättelsetjänsterna använder sig av talang också utanför Storbritanniens lilla grupp heltidsunderrättelseanalytiker. Cosmic Bazaars anonymitet innebär jämställdhet. En junior datavetare kan till exempel konkurrera med en erfaren ambassadörs förutsägelser och resonemangen bakom dem, utan hänsyn till rangskillnad. Sajten uppmuntrar till debatt och diskussion. Användare kan ”rösta upp” andras insiktsfulla kommentarer och frågorna kompletteras med seminarier med experter. Dessutom, eftersom systemet är oklassificerat (till skillnad från de flesta amerikanska motsvarigheter), kan tjänstemän logga in både hemifrån och från utlandet.

Programmet är också tänkt att identifiera blinda punkter i analyser. Tjänstemän säger att regeringen riktar så mycket av sin uppmärksamhet mot covid-19, att man riskerar att missa mer långsiktiga frågor och saker som händer längre bort. I oktober ställde Cosmic Bazaar till exempel en fråga till sina användare om Mozambique. Svaren pekade på att risken för jihadistisk aktivitet var större än man trodde (något som senare skulle visa sig stämma). Något som i förlängningen fick andra att ägna mer uppmärksamhet åt frågan.

Europas största prognosturnering

För ögonblicket är Cosmic Bazaar den största prognosturneringen i Europa. Men fler börjar bli intresserade. Storbritannien hoppas dra in europeiska allierade i tävlingen. Adam Siegel, medgrundare av Cultivate Labs, företaget som skrev programvaran för Cosmic Bazaar, säger att Tjeckien använder företagets plattform för offentliga tävlingar som involverar flera olika statliga myndigheter, och att en annan europeisk regering har kört en klassificerad version. Regina Joseph från konsultföretaget Sibylink, har genomfört turneringar för den holländska regeringen och Organisationen för säkerhet och samarbete i Europa, OSSE.

Men USA:s erfarenheter av prognosmakande ger anledning till försiktighet. Trots den uppmärksamhet som ACE har fått, har de amerikanska turneringarna och prognosmarknaderna haft svårt att få finansiering och acceptans. I dag finns inga aktiva prognostiseringsturneringar inom den amerikanska underrättelsetjänsten, även om det finns några kvar hos bland annat Pentagon.

En orsak till det, enligt ”Keeping Score: A New Approach to Geopolitical Forecasting”, en ny rapport av forskningsgruppen Perry World House vid University of Pennsylvania, är att sådana plattformar hotar att exponera dåliga analytiker och kasta om existerande hierarkier. ”Redan anställda”, skriver rapportens författare, ”kan betrakta en mekanism som överträffar många traditionella analytiker som ett potentiellt hot, ungefär som en fabriksarbetare ser på en ny monteringsrobot.”

Men en större fråga kan helt enkelt vara att den funktion som gör precisa prognoser möjliga, också begränsar dess attraktivitet. Ett grundläggande krav är att frågorna är falsifierbara, så att det blir ovedersägligt vem som fick rätt och vem som hade fel. Det innebär att det inte finns något utrymme från det som psykologer kallar klärvoajans, eller påståenden efteråt att en vag förutsägelse slog in. Men beslutsfattare dras ofta till större och vagare frågor som inte lämpar sig för sådan poängsättning, som ”vad vill Ryssland?” eller ”kommer Kina att bli mer aggressivt?”. Tetlock kallar detta “en avvägning mellan relevans och strikthet”.

”Bayerska frågekluster”

Ett sätt att tackla detta problem, säger Steven Rieber, som övervakar prognostisering vid IARPA, är att använda sig av en avancerad statistisk teknik som kallas Bayesiskt nätverk och använder sig av villkorade sannolikheter. Till exempel kan man be prognosmakarna att bedöma sannolikheten att Kina skulle konfiskera en ö i Sydkinesiska havet vid ett visst datum om landet blev mer aggressivt. Och därtill bedöma sannolikheten för att landet skulle göra det även om det inte blev mer aggressivt.

På det sättet kan man bryta ned en stor och gäckande fråga i flera mindre, mer lätthanterliga. Dessa kallas ”Bayesiska frågekluster”. Foretell, ett projekt som drivs av Centre for Security and Emerging Technology, CSET, vid Georgetown University, som också använder en Cultivate-plattform, använder sig av denna metodologi för att förutsäga hur teknikkonkurrensen mellan USA och Kina kommer att utveckla sig. Det är ännu inte klart om metoden kommer att vara framgångsrik.

Sällsynt uppmärksamhet

Just nu uppmärksammar omvärlden för ovanlighetens skull prognosmakarnas arbete. I Storbritannien påverkar insikter från Cosmic Bazaar de politiska team som arbetar med covid-19 och antiterrorism. I USA tillkännagav Joe Biden sin avsikt att etablera ett nationellt center för epidemiprognostisering och utbrottsanalys. Detta dagen efter att han svurit presidenteden. Under mars månad anställde hans administration Jason Matheny, tidigare chef vid IARPA och grundare av CSET, som rådgivare kring teknik och nationell säkerhet.

Hur livskraftigt prognosmakandet blir på lång sikt beror dock inte bara på hur exakt det visar sig vara. Det beror även på på hur lätt det är att förklara. ”Det räcker inte att få reda på att det finns en 70-procentig risk för att ett krig bryter ut mellan dessa två länder under nästa år och inte 30 procent, som du trodde”, säger Rieberg. ”Du behöver förstå vad som leder till denna högre sannolikhetsbedömning.”

En uppskattning kompletterad med en färgstark psykologisk profil av Xi Jinping har större sannolikhet att ge gensvar hos en premiärminister eller president än ett procenttal. ”Man måste bygga upp en tillitsrelation med den här typen av beslutsfattare”, säger Siegler. ”Du måste berätta en historia samtidigt som du presenterar siffrorna.”