Uredelighetsforskeren

Han er seniorforsker ved det nye METRICS-senteret ved universitetet i Stanford i USA, som jobber for å bedre kvaliteten på vitenskapelige studier. Med bakgrunn fra biologi og journalistikk har Fanelli spesialisert seg på studier av vitenskapelig uredelighet, bias (skjevhet i forskningen) og liknende problemstillinger.

Dette gjør han ved hjelp av meta-analyser, en type statistiske metoder for å kombinere resultatene fra en rekke uavhengige studier av samme problemstilling. Fanelli var først ute med å gjøre denne typen analyser på tvers av alle forskningsfelt og resultatene har vakt oppsikt. Vi møter ham på en EU-konferanse om ansvarlig forskning og innovasjon i Roma.

Virkelighet versus ideal

Du har en doktorgrad i evolusjonær biologi. Hvorfor begynte du å studere vitenskapelig uredelighet?

– Jeg startet som forsker. Etter doktorgraden opplevde jeg at idealismen jeg hadde gått inn i forskningen med, var kraftig dempet. Man har et idealbilde av hvordan vitenskapen skal være, og så er virkeligheten ganske annerledes.

– Jeg beveget meg etter hvert over i forskningsjournalistikken. Der opplevde jeg mange av de samme problemstillingene som i forskningen, for eksempel hvor vanskelig det er å sikre etterrettelighet og at mange prinsipper ikke blir fulgt. Det kan dreie seg om å sjekke fakta eller å publisere negative resultater. I journalistikken kan dette for eksempel være å ikke fortelle den andre siden av en historie.

– Mens jeg jobbet som journalist, så jeg at mange, spesielt innenfor medisinsk forskning, brukte metaanalyser for å studere skjevheter i forskningen. Da falt alt på plass. Jeg tenkte at dette er jeg veldig motivert for å gjøre, for jeg elsker vitenskap!

– Gjennom et stipend fra EUs 7. rammeprogram i 2008 fikk jeg sjansen til å begynne å forske på dette. Det var en gryende interesse for disse problemstillingene og et stort behov for data. Prosjektet handlet om å samle statistikk om utbredelsen av bias på tvers av fagfelt.

Overraskende resultater

Hvordan går du frem for å undersøke dette?

– Jeg gjør det som ser ut til å gi mening. Det jeg synes er mest interessant, er å se etter mønstre på tvers av forskningslitteraturen og hvordan fagfelt og land skiller seg fra hverandre. Målet er å undersøke om det er mulig å finne noen fellestrekk ved forskere eller forskningsgrupper som kan forutsi sannsynligheten for at forskningen vil ha systematiske skjevheter.

– Andre hadde gjort tilsvarende studier innenfor enkelte forskningsfelt, men jeg var nysgjerrig på hva som går igjen overalt. Hvordan ville for eksempel det som foregår innenfor mitt forskningsfelt, se ut i sammenlikning med det som foregår innenfor andre fagfelt? Det ga noen overraskende resultater.

Hva overrasket deg mest?

– For det første var det en rekke ting jeg forventet å se, som jeg ikke gjorde. For eksempel antok jeg at evolusjonær biologi, eller generelt forskning på dyr, ville være mer utsatt for bias enn forskning på mennesker. Man kunne tenke seg at forskerens innstilling var at «ingen bryr seg egentlig om en studie av veps i tropiske land, så hva er problemet med å massere dataene litt?».

– Det viste seg, i alle fall ifølge de indikatorene jeg brukte, å være stikk motsatt. Det er forskning på mennesker, spesielt innenfor psykologi og psykiatri, som i størst grad rapporterer en klar overvekt av positive og signifikante funn.

– Store mørketall

I 2009 gjorde Fanelli en metaanalyse av spørreskjemadata om vitenskapelig uredelighet. Artikkelen har siden publisering vært en av de mest leste artiklene i Public Library of Science (PLOS). Målet var å få innblikk i hvor mange som er villige til å innrømme at de har manipulert data.

Hva var hovedfunnene i denne studien?

– Det viste seg, på tvers av alle spørreundersøkelsene, at i gjennomsnitt mellom én og to prosent av respondentene innrømmet å ha manipulert data ved minst ett tilfelle. Og hvis det er det folk innrømmer i en spørreundersøkelse, er det grunn til å tro at det er store mørketall.

Hva jobber du med nå?

– Bedre og mer robuste metoder for å teste en del av de antakelsene vi gjør om vitenskapelig uredelighet og hva som er risikofaktorene. Jeg forsøker å gå vitenskapelig til verks om vitenskap, kan du si.

Mange antagelser om uredelighet

Hva mener du er de viktigste problemstillingene innenfor dette området
fremover? Hvilke problemer har vi ennå ikke tatt tak i?

– Først vil jeg si at endringene vi har sett i samfunnet, i forskningssystemet og -kulturen de siste årene, har vært enorme og veldig positive. Nå snakker vi åpent om vitenskapelig uredelighet og bias, og vi diskuterer mulige løsninger, som hvordan man kan endre publiseringssystemet og -belønningssystemet i forskningen. Dette er viktige grep.

– Alle er enige om at vitenskapelig uredelighet og bias er et problem, samtidig som vi mener vi allerede har løsningene klare. Men måten vi snakker om dette på, styres av en masse antakelser som i veldig liten grad er vitenskapelig bevist. For eksempel er det mye snakk om publiseringspress, og at det er de unge forskerne som er i risikosonen. Jeg vil se data, og sjekke om dette virkelig stemmer. Det er en vanskelig oppgave, men nettopp fordi vi forsøker å ha en vitenskapelig tilnærming til dette bør vi også anerkjenne begrensningene, og ikke bare trekke forhastede slutninger.