Kommentar: Statistikere alene kan ikke få slutt på «datamishandlingen»

Av: Nigel G. Yoccoz, og Sandra Hamel, Institutt for Arktisk og Marin Biologi, UiT Norges arktiske universitet

Kommentar til artikkelen Sju måter å feile med statistikk på.

I Forskningsetikk nr. 4 2018 har Kristin S. Grønli en viktig artikkel om «datamishandling». Den inneholder gode forslag til hva man bør gjøre for å endre den «ukultur» som preger de fleste forskningsdisiplinene.

Mye av problemet ligger i det som kan avgjøre om en vitenskapelig artikkel blir publisert eller ikke – det vil si om man har funnet noe som er «statistisk signifikant».

Statistikere bør endre sin praksis

Artikkelen anbefaler at løsningen ligger hos statistikerne – med andre ord, hvis man hadde spurt en statistiker først, hadde ikke problemet oppstått. Vi synes at det er to utfordringer med dette.

For det første er «statistisk signifikans» og den binære måten å se bevis på (enten har man en effekt, eller man har ingen) noe som også statistikere bruker og underviser i. En undersøkelse av de amerikanske statistikerne McShane og Gal har vist at problemet med en slik «dichotomization of evidence» nok preger statistikere like mye som andre forskere. Statistikerne Gelman og Cole sier det slik: «det statistiske fagmiljøet burde ta ansvar for kaoset det har bidratt til å skape».

Den andre utfordringen er rent praktisk: Det er altfor få statistikere sammenlignet med antall forskere, og det er heller ikke gitt at de kan gi gode svar. For å kunne gi gode svar, må man forstå problemstillingen og kjenne til ulemper og fordeler med forskjellige typer design. Ut fra dette kan man bygge egnede modeller.

Men de fleste statistikere, som også er forskere, er ofte spesialister og opptatt av én type modeller. Som regel, mens forskere prøver å finne den modellen som er best egnet til å analysere dataene, prøver statistikere å finne data som passer til modellene de utvikler.

Mer om statistikk og etikk

Det største problemet ligger i hvordan vi har blitt tvunget til å presentere resultater på en svart-hvitt-måte – altså effekt/ingen effekt. Artikkelen i Forskningsetikk brukte et eksempel med medisinsk signifikans. Dette er selvsagt et veldig viktig poeng, samfunnsrelevans er noe som bør bety noe for en del av vår forskning.

Men ifølge medisin- og statistikkprofessor John Ioannidis er effektene som blir presentert i den publiserte forskningen, ofte biologisk sett urealistiske. Statistikere kan ikke vite det – unntatt hvis de kan mye om problemstillingen som er analysert.

I tillegg til bygging av en kultur hvor samarbeid mellom anvendte statistikere og forskere er sterkere, syns vi at et viktig tiltak er å forandre hvordan statistikk blir undervist, og spesielt å undervise mer om statistikk og etikk.

Forskningspraksisen er i endring – i retning av en åpen prosess helt fra datainnsamling til dataanalyser og tolkning av resultater. Vi får håpe at disse endringene kan gjøre det enklere å presentere usikkerheten i våre konklusjoner, uten at det blir sett som noe negativt («forskerne er ikke sikre»). Det er spennende med oppdagelser, men det er enda viktigere med robuste studier som vi kan stole på.