Ubegrunnet prediksjonspessimisme

I Morgenbladet 11. november skriver Ketil Raknes at det amerikanske presidentvalget utgjør et «mørkt kapittel for kvantitativ samfunnsforskning» og hevder at prediksjonsmodeller er «et akademisk blindspor». På neste side av samme avis sammenligner professor Bernt Aardal prediksjonsmodeller med en «sort gryte», og antyder at det ikke er «skikkelig vitenskap». Deres pessimisme er feilslått, og motsetningen de tegner opp mellom kvantitative modeller og dyp samfunnsvitenskapelig kunnskap, eksisterer ikke.

For det første er det feil at kvantitative prediksjonsmodeller ikke forutså Trump. For eksempel viste helt konvensjonelle kvantitative modeller fra statsvitenskapen, basert på makroøkonomiske trender og regjeringsslitasje, at Trump mest sannsynlig kom til å vinne. Disse modellene baserer seg ikke på meningsmålinger, men på strukturelle faktorer som indikerer om sittende presidents parti vil tape eller vinne valg. Slike modeller har i årevis blitt sett på som gullstandarden innen valgprediksjon i USA, men har i senere år måttet konkurrere om oppmerksomheten med meningsmålingsbaserte modeller. Det er riktig at meningsmålingsbaserte modeller, og ikke minst meningsmålingene, nå bør settes under lupen, men det er galt å slutte at prediksjonsmodeller som sådan bør forkastes.

For det andre hviler prediksjonspessimismen på en misforståelse av hva probabilistisk prediksjon er. Nate Silver, mannen bak den mest autoritative meningsmålingsbaserte modellen, anslo i dagene før valget at det var rundt 30 prosent sannsynlighet for Trump-seier. Et meget trivielt poeng mange ser ut til å ha glemt, er at dersom en hendelse har 30 prosent sannsynlighet for å inntreffe, betyr det at den inntreffer i 3 av 10 tilfeller, ikke at den aldri gjør det. Silvers modell tilskrev Trump-seier nesten samme sannsynlighet som utfallet «fem eller seks» ved et terningkast. Utfall som ikke får oss til å lure på om terningen er tuklet med. Det er først når terningen viser fem eller seks mange ganger på rad vi har grunn til å tvile. På samme måte må prediksjonsmodeller evalueres over flere valg.

For det tredje finnes ikke fullgode alternativer til systematiske prediksjonsmodeller. Det eneste reelle alternativet er en metode som har vist seg å være enda mer mangelfull, nemlig den kvalitative diagnosen. Også i dette presidentvalget slo denne tilnærmingen feil. I opptakten til valget var konsensus blant samfunnsforskere og kommentatorer som ikke brukte kvantitative modeller, at Hillary kom til å vinne. Faktisk var den delen av samfunnsforskningen som ga flest varslinger om Trump-seier, den modellbaserte, ikke den «konvensjonelle visdommen» til USA-eksperter og kvalitative diagnostikere. Siden disse ikke tallfestet sine anslag, er det umulig å vite hvor feil de tok, men vi har god grunn til å tro at de tok mer feil enn Silver. Dette fordi overraskelsen ved et utfall er omvendt proporsjonalt med sannsynligheten vi tilskrev utfallet. Kvalitative diagnostikere som sier «jeg er dypt sjokkert» over at Trump vant, hvis de gjør det i betydningen «overrasket», må derfor ha tilskrevet Trump en mye lavere sannsynlighet for å vinne enn det Silver gjorde. Silver er ikke så veldig overrasket.

Riktignok finnes det nok av «eksperter» som forutså utfallet. To slike er samfunnsdebattanten Michael Moore og historikeren Allan Lichtman. Problemet er at vi ikke vet om disse har rett på slump, og at kvaliteten til slike prediksjoner er umulig å evaluere. Med tilstrekkelig mange vise menn i sine ørelappstoler må jo noen gjette riktig, men det er umulig å vite hvem av dem vi bør lytte til neste gang. Intet rasjonelt menneske er 100 prosent sikker på utfallet av et presidentvalg. For er man 100 prosent sikker på noe, er man villig til å vedde alt man eier og har på utfallet, uansett hvor liten gevinsten måtte være. Et slikt veddemål er det svært få kvalitative kommentatorer og eksperter som er villige til å inngå, altså har de sannsynligheter knyttet til sine prediksjoner. Men hva er disse? Så lenge vi ikke vet noe om disse sannsynlighetene, er det umulig å si noe om hvor gode de er ved dette valget, og over tid.

Det vi vet, er at kvalitative diagnoser uten støtte fra kvantitative modeller er ekstremt dårlige til å predikere politikk. Forskningen til Phillip Tetlock ved University of Pennsylvania – oppsummert i boken Expert Political Judgement – viser nettopp dette. Uansett hvor nøye man leser avisen og hvor god man er i sin sammfunnsvitenskapelige teori, må denne kunnskapen suppleres med kvantitative data, statistiske modeller og litt sannsynlighetsregning dersom man ønsker å forutsi fremtiden.

Dette er et viktig poeng Raknes og Aardal ser ut til å ha gått glipp av: Den kvalitative og dype kunnskapen er nødvendig, men den er ikke tilstrekkelig. Det motsatte gjelder selvfølgelig også: Statistiske modeller alene er ikke nok, man må ha god peiling på politikk og samfunn også. At Silvers modeller bygger på denne blandingen av «harde» data og «myk» innsikt er et gjennomgangstema i hans bok The Signal and the Noise.

Trumps seier er langt på vei en seier for antivitenskapelighet og ignoranse. Den utgjør således et skritt på veien mot det fryktede «post-fakta samfunnet». I denne situasjonen må alle rasjonelle krefter hegne om vitenskapsidealer og fastholde verdien av systematisk analyse og harde data. Idealer vi frykter kan bli enda mer presserende å forsvare når de mørkeste hjørner av det republikanske partiet inntar Trump-administrasjonens rekker. Gir vi opp dette, vil Trump ha vunnet ikke bare valget, men også ideologisk.

Tore Wig er postdoktor ved Institutt for Statsvitenskap, Universitetet i Oslo. Emil Aas Stoltenberg er doktorgradsstipendiat i statistikk, Matematisk institutt, Universitetet i Oslo.