Det syndes i vitenskapen

Datafisking, eller såkalt p-hacking, er å bruke ett sett av resultater til å teste mange forskjellige hypoteser og deretter bare rapportere de tilfellene der man får treff.  

Denne uredelige praksisen er en viktig årsak til de enorme mengdene med bortkastet helseforskning. Lykketreff blir presentert som solide funn og kan utløse en kaskade av følgeproblemer ved at andre forskere bygger sin forskning på lykketreffene. Og mer bekymringsverdig: Vi kan ende med å behandle pasienter med uvirksomme eller farlige behandlinger. 

Allerede i 2004 annonserte International Committee of Medical Journal Editors (ICMJE), en sammenslutning av viktige medisinske tidsskrift, at de ikke lenger ville publisere studier som ikke var forhåndsregistrert. En slik registrering innebærer at man på forhånd må fortelle verden hva man skal teste, og hvordan man skal gjøre det. 

Kravet om forhåndsregistrering støttes nå av nær sagt alle som har med klinisk forskning å gjøre, deriblant WHO og Norges forskningsråd.  

Utbredt praksis 

Forhåndsregistrering er den beste motgiften mot datafisking. Det skulle man i alle fall tro. Men i 2018 kom en studie i BMC som konkluderte med at ikke engang de mest prestisjetunge medisinske tidsskriftene overholder sine egne standarder. Det er med andre ord fullt mulig å få publisert studier der forskerne har kunnet fiske etter resultater. 

At muligheten finnes, betyr ikke at forskerne benytter seg av den, men dessverre viser studier at den uredelige praksisen er utbredt.  

Et mulig tegn på datafisking er bytte av utfallsmål. For eksempel om forskere som i forhåndsregisteringen sier de skal se på effekten av et medikament på kolesterolverdier, har endret til å måle blodtrykk i den publiserte studien. Siden dette endrer på premissene for studien, sier CONSORT-retningslinjene at alle slike endringer tydelig skal beskrives og redegjøres for.   

Portvokterne må passe på 

Den britiske legen Ben Goldacre ønsket å se nærmere på hvor ofte det ble gjort slike endringer i fem av de viktigste medisinske tidsskriftene, som alle følger CONSORT. I 58 av de 67 studiene de undersøkte, ble utfallsmål endret uten forklaring. Av totalt 846 forhåndsregistrerte utfallsmål ble 354 fjernet. I tillegg ble 357 nye utfallsmål lagt til i det stille.  

Og enda verre: Da forskerne sendte tidsskriftene brev med oppfordring om å korrigere feilrapporteringen, ble de stort sett avvist. «I retur fikk vi i stedet en uventet strøm av personangrep», sier Goldacre i et intervju med Gemini. «Svarene vi fikk fra tidsskriftene, viste dessuten at redaktørene i mange tilfeller ikke forstår viktigheten av korrekt resultatrapportering, eller hvordan man implementerer de retningslinjene de har vedtatt.» 

Det er såre enkelt å signere opprop og vedta retningslinjer, men de betyr ingenting om man ikke er villig til å ta kostnaden med å følge det opp. 

Kravet om forhåndsregistrering er den beste motgiften mot datafisking.

For meg virker det ikke rimelig å forvente at forskerne eller forskningsinstitusjonene på eget initiativ skal gjøre noe med problemet, hvis de ikke trenger det. Det er de tre portvokterne – finansiørene, tidsskriftene og myndighetene – som i mye større grad må sikre etterlevelsen av kravene de selv stiller.  

Det vil vi alle tjene på. Resultatet blir mindre bortkastet forskning, bedre forskning og bedre behandlinger. 

Les flere spalter i serien: 
Ærlig talt: Forskningsfyll
Ærlig talt: Kan forskningsintegritet læres?