Forskersonen er forskning.nos side for debatt og forskernes egne tekster. Meninger i tekstene gir uttrykk for skribentenes holdninger. Hvis du ønsker å delta i debatten, kan du lese hvordan her.

Vi er blitt vant til formuleringer som «forskning viser» eller «studien fant». Det høres definitivt ut. Nesten maskinelt. Som om data går inn i den ene enden og et klart svar kommer ut i den andre. Slik fungerer forskning sjelden i praksis.

I en ny internasjonal studie publisert i Nature deltok vi sammen med 453 andre forskere i å reanalysere data fra 100 tidligere publiserte studier innen samfunnsvitenskap. Alle fikk samme datasett og samme overordnede spørsmål, men stod fritt til å analysere materialet slik de mente var best.

Det vi fant, er både enkelt og viktig: Når mange forskere analyserer de samme dataene, kommer de ikke alltid fram til samme konklusjon.

Mange veier til Rom

I alt ble det gjennomført 504 reanalyser. I kun en tredjedel av studiene kom alle re-analytikerne til samme konklusjon som originalartikkelen. Rundt 74 prosent av analysene støttet den opprinnelige konklusjonen. 

Omtrent 24 prosent endte i en uklar konklusjon, og et lite mindretall pekte i motsatt retning. I tillegg var det stor variasjon i de numeriske estimatene, selv blant analyser som kom til samme konklusjon.

Det betyr ikke at forskningen har feilet. Og det betyr heller ikke at forskere gjør slurvete arbeid. Tvert imot viser studien noe mer grunnleggende: Forskning innebærer mange valg, og det er mange veier til Rom. 

Hvordan skal data forberedes? Hvilke variabler skal brukes? Hvilken statistisk modell passer best? Hvilke kontrollvariabler bør med? Her fins det ikke fasitsvar, og flere av disse valgene kan være faglig forsvarlige. Likevel kan de gi litt ulike resultater.

Det er dette vi undersøkte i studien: hvor robuste de var når andre forskere gjorde andre rimelige analyser av de samme dataene.

Hvor robust er funnene?

Studien publiseres sammen med flere andre artikler fra et stort, internasjonalt prosjekt som undersøker ulike sider ved empirisk forsknings troverdighet, blant annet reproduksjon, robusthet og replikasjon. 

Å reprodusere et resultat betyr å kjøre den samme analysen på de samme dataene. Å undersøke robusthet betyr å se om resultatet holder når man bruker andre forsvarlige analyser på de samme dataene. Replikasjon betyr å teste det samme spørsmålet i nye data. 

Dette er tre ulike måter å undersøke hvor troverdig et funn er. Vår studie handler om det midterste: robusthet.

Det er viktig, fordi én publisert analyse ofte framstår som om den gir «svaret». I realiteten viser den ofte bare ett av flere mulige svar som kan komme ut av de samme dataene. Når dette ikke kommer tydelig fram, kan både forskere, journalister og lesere få et for skråsikkert bilde av hva forskningen faktisk viser.

Dette er ikke bare et internt akademisk problem. Forskning brukes som grunnlag for politikk, reformer og offentlig debatt. Da betyr det noe om et funn er svært robust, eller om det er følsomt for hvilke analysevalg som gjøres. 

For journalister og lesere betyr dette at spørsmålet ikke bare bør være «var funnet statistisk og substansielt signifikant?», men også «hvor robust er det?» Hvis usikkerheten er større enn artikkelen gir inntrykk av, bør også formidlingen være mer forsiktig.

Større usikkerhet enn det som synes

Samtidig betyr ikke våre funn at forskning ikke er til å stole på. De betyr heller ikke at «alt er relativt», eller at alle svar er like gode. Selv om det var stor variasjon, var det også tydelige tendenser: 

Tre fjerdedeler av re-analysene kom til samme konklusjon som den opprinnelige artikkelen. Men de viser at usikkerheten rundt forskningsfunn ofte er større enn det som blir synlig i en enkelt publisert analyse.

Det har også betydning for hvordan vi forbedrer forskning. Åpenhet, deling av data og kode, forhåndsregistrering, og replikasjoner er viktige tiltak. Men de er ikke noe vidundermiddel. 

Selv en forhåndsregistrert analyse er bare én av flere mulige, faglig forsvarlige måter å analysere data på. Derfor trengs også mer systematisk testing av hvor robuste funn er når ulike rimelige analysevalg prøves ut. Det gjelder kanskje spesielt samfunnsvitenskap.

Ikke skjul usikkerhet

Vitenskap er ikke en maskin som alltid produserer ett fasitsvar. Det er en kollektiv prosess for å redusere usikkerhet, steg for steg. Noen ganger betyr det at vi må tåle å se at ett og samme datasett kan gi flere troverdige svar. Det er ikke et tegn på sammenbrudd. Det er et tegn på at vi endelig ser forskningen litt mer slik den faktisk er. 

Evig selvransakelse er en av de viktigste egenskapene til god vitenskap.

Og det er kanskje den viktigste lærdommen: Troverdig forskning er ikke forskning uten usikkerhet. Det er forskning som viser oss usikkerheten i stedet for å skjule den.

Les også:

Vitenskap handler mer om hva vi ikke vet enn hva som er sant

Én samtale kan få forsknings­­formidlingen til å blomstre