Nye forskningstall eller bare tullball? Her er sjekklisten.

Nesten halvparten av nordmenn stoler ikke på forskning, skrev Aftenposten i 2017. Alarmbjellene bør ringe, mente direktøren i Norges forskningsråd, som var den institusjonen som hadde bestilt undersøkelsen.   

Problemet var bare at kun 30 prosent av de spurte hadde svart. «Det skal godt gjøres å generalisere frekvenser ut fra en så lav svar­prosent», skrev Ragnhild Ørstavik, assisterende redaktør i Tidsskrift for Den norske legeforening.   

Dessuten fant organisasjonen faktisk.no ut at en endring avisen rapporterte om, bygde på et spørsmål som kun var stilt én gang. Aftenposten justerte i ettertid saken noe, men likevel er den et godt eksempel på at ting ikke alltid er så enkle. Kanskje må vi innrømme at selv den beste kan snuble litt innimellom?   

I disse dager fyller Covid-19-forskning både internett og avisspalter. Hva kan vi egentlig stole på? Og hva skal vi se etter? Heldigvis finnes det nyttige råd.   

Råd 1 
Undersøk hva slags studie du leser om.   

I forbindelse med saken nevnt over uttalte Forskningsrådets direktør at det var snakk om en undersøkelse, ikke et forskningsresultat, og at funnene «må tolkes deretter». Slik informasjon kan være viktig å få med seg.    

Jan Ole Hesselberg er kjendispsykolog, programsjef i Stiftelsen Dam og medlem i Den nasjonale forskningsetiske komité for medisin og helsefag (NEM). Han påpeker at typen studie og størrelsen på den kan fortelle mye.     

– Det kan være vanskelig for lesere å vite om studien er stor eller liten, god eller dårlig. Det beste er om du finner en kunnskapsoppsummering, som på en systematisk måte samler all forskning på temaet, sier han.   

Slike oppsummeringer heter «systematic reviews», og noen fagfelt har egne organisasjoner som lager slike. Cochrane Library samler helseforskning, mens The Campbell Collaboration samler samfunnsfaglige studier.  

Råd 2  
Sjekk hvem det forskes på.  

Hadde alle mediesaker bygd på kunnskapsoppsummeringer, ville det kanskje vært greit. Men slik er det ikke. Hvem det forskes på, kan da være et godt spørsmål å stille.   

– Hvis det bare er barn mellom fem og åtte år som er testet, er funnet neppe relevant for en voksen, sier Hesselberg.  

Et annet eksempel er musestudier, ifølge Nina Kristiansen, redaktør for forskning.no.   

– Noen museforsøk blir slått stort opp. Man skulle tro det handlet om folk, og så er det egentlig forskning i et tidlig stadium gjennomført på mus, sier hun.   

I Aftenposten ble det i juli debatt rundt et oppslag om liten fare for koronasmitte på treningssentre. Den omtalte norske studien hadde hatt i underkant av 4.000 deltakere, men forskerne kjente bare til smitte hos én av dem, og han hadde ikke vært på trening. Professor Joar Vittersø kritiserte forskerne for ikke å ha lagt studien i skuffen, men de var uenige. Studien var publisert som en såkalt «pre-print» (se punkt 5) og fikk mye omtale, også internasjonalt.  

Råd 3 
Sjekk hvor mange det er forsket på.   

Eksemplet over illustrerer at både hvem som deltar og hvor mange som deltar, er viktige spørsmål. Tommelfingerregelen er at jo flere, jo bedre.   

Men det finnes unntak. Kvalitative studier går i dybden heller enn i bredden, og også noen kvantitative studier kan være gode med få deltakere.  

– Antibiotika kan for eksempel demonstrere effekt i veldig små studier fordi det virker så utrolig bra, sier Hesselberg.  

Hans egne fagfeller har fått merke følgene av små studier: De siste årene har en rekke psykologistudier blitt tilbakevist fordi nyere studier har gitt andre resultater. Ifølge sosialpsykologen Brian Nosek i Reproducibility Project, er én årsak at studiene har hatt for få deltakere. Andre årsaker er dårlig kontrollerte studier (se råd 9) og at hypoteser eller utfallsmål har blitt endret underveis.  

Råd 4  
Bruk hodet.   

Dette er det første rådet redaktør Nina Kristiansen gir sine ansatte. Stusser de over noe? Virker det for godt til å være sant?   

– Plutselig kom det en studie fra Sverige som ble slått opp i nesten alle norske aviser, om at melk ikke hjalp mot benskjørhet. Tvert imot ble stordrikkerne mer benskjøre. Dette var det motsatte av det vi hadde hørt før, forteller hun.   

Resultatene viste seg faktisk å være fra en troverdig kunnskapsoppsummering, og forskning.no trykket saken – litt senere enn de store avisene.   

– Men når det er forsket på en sannhet på et felt og det kommer et helt annet resultat, må du sjekke nøye. Også lesere og lyttere bør se forsknings­resultatene opp mot annen forskning, råder Kristiansen.   

Råd 5  
Undersøk om studien er publisert.

Under Covid-19 har mange studier blitt publisert på nett som såkalte pre-prints, altså før publisering i et tidsskrift. En del av disse studiene har vist seg ikke å holde mål.    

Er en studie derimot publisert i et anerkjent, fagfellevurdert tidsskrift, innebærer det at andre forskere har lest gjennom og godkjent den. Det er som regel et godt tegn.  

Det kan imidlertid være vanskelig å vite hva som er anerkjent og ikke. Et tips kan være å sjekke registeret til Det nasjonale publiseringsutvalget. Der er publikasjonene som gir uttelling i det vitenskapelige finansieringssystemet, listet opp. 

Merk likevel at det finnes ulike fagtradisjoner. Mens naturvitenskapelige studier som regel må gjennom en lang prosess før resultater offentliggjøres, kan samfunnsfaglige forskere legge fram interessante resultater på konferanser uten at de har blitt publisert. Da kan en journalist selvsagt skrive om dem, ifølge Nina Kristiansen.  

Les også: Røvertidsskrifter truer vitenskapens legitimitet

Råd 6
Sjekk hvem som snakker.

Et mer håndterbart råd kan være å sjekke om personen som uttaler seg, jobber ved en anerkjent institusjon.    

– Det bør være en vitenskapelig ansatt eller forsker som faktisk har forsket på det han eller hun uttaler seg om, sier Kristiansen.  
Det er altså en grunn til å være litt kritisk til såkalte rikssynsere. Og er du i tvil om instituttet, så gjør et lite søk på nett, råder hun.  

Råd 7
Undersøk hvem som står bak studien. 

En annen ting å sjekke er om forskningen er bestilt. I slike tilfeller kan oppdragsgiver legge begrensninger på hva som undersøkes, og også på hva som publiseres.   

– Hvis en bedrift har finansiert forskningen, bør du lese med forsiktighet og finne ut om forskeren har stått fritt. Dette skal stå i de vitenskapelige artiklene, sier Kristiansen.  

Råd 8
Undersøk hva som faktisk er testet ut.

Ifølge Jan-Ole Hesselberg kan det også være lurt å sjekke om det som omtales i en mediesak, er det samme som det har blitt forsket på. Er et stoff fra belgisk sjokolade testet i pilleform, kan virkningen være en helt annen enn hvis du spiser en sjokoladeplate, påpeker han.   

Et annet eksempel er kolesterol­dempende midler. Har du høyt kolesterol, er hovedmålet ditt gjerne å unngå en tidlig død på grunn av hjerte- og karsykdommer.   

– Men det som ofte testes, er ikke om middelet påvirker risikoen for hjerte- og karsykdommer, men derimot hva det gjør med kolesterolnivåene dine, sier Hesselberg.  

Så virker det intuitivt riktig at hvis middelet gir lavere kolesterolnivå, gir det også en lavere risiko for hjerte- og karsykdom. Men det trenger ikke nødvendigvis å være en slik sammenheng.

Råd 9
Sjekk årsaken til virkningen.

I en del forskning henter man inn mange tall fra registre. Da kan forskerne finne sammenhenger, men de kan ikke si noe om årsak–virkning, påpeker Nina Kristiansen.   

Vil man finne årsaker, må man forske på hvordan to ting henger sammen. Mange forskere gjør dette også, men det er ikke alltid så lett, ifølge Hesselberg.   

– Det kan være vanskelig å kontrollere for alle faktorer. Et forskningsresultat kan tyde på at du får lavere BMI av å spise belgisk sjokolade, mens det som viser seg, er at det bare er rike som har råd til å kjøpe slik sjokolade, og at de også har råd til personlig trener, sier han.   

Hvis du leser en studie av hvordan to ting henger sammen, bør studien være randomisert og kontrollert. Randomisert betyr at deltakerne blir tilfeldig delt i to grupper, slik at forskjellene mellom dem jevnes ut. Kontrollert betyr at forskerne ikke kan påvirke resultatet, for eksempel skal de ofte ikke vite hvem som får sjokolade, og hvem som ikke får det.   

Råd 10
Kontroller kontrollgruppen.

Enten det gjelder belgisk sjokolade eller helt andre ting, er det smart å sjekke hvem kontrollgruppen består av. Hesselberg har et eksempel fra virkeligheten:   

– Når du tester en psykoterapeutisk behandling, er det ganske vanlig å sammenligne de som får behandlingen, med en kontrollgruppe som står på venteliste. Da kan behandlingen framstå mye bedre enn den burde, sier han.   

Å stå på venteliste kan nemlig være en negativ opplevelse.   

– Kanskje har du det helt forferdelig og håper at du skal få det bedre av å bli med på en studie. Så må du bare stå der og vente. Det kan faktisk bidra til en forverring. 

Myter under lupen: Tvil om tospråklighet 

Tospråklige hevdes ofte å ha en kognitiv fordel i forhold til enspråklige. Det har blitt antatt at tospråklighet kan styrke hjernens eksekutive funksjon, som omfatter en persons evne til problemløsning, planlegging, gjennomføring av oppgaver og regulering av atferd.   

Nyere kunnskapsoppsummeringer reiser imidlertid tvil. Forskere har blant annet spurt om oppfatningen har fått feste på grunn av publiseringsskjevhet, altså at studier som viser forskjeller eller effekter, oftere har blitt publisert enn de som ikke gjør det.  

Kilder: snl.no, Hilde L. Gunnerud m.fl.: Is Bilingualism Related to a Cognitive Advantage in Children? A Systematic Review and Meta-Analysis (2020), Angela de Bruin m.fl.: Example of Publication Bias? (2015).  

Myter under lupen: Godt for kroppen, godt for hjertet? 

Det ble lenge ansett som en sannhet at omega-3-olje fra fisk, som finnes i tran, var godt for hjertet. De siste årene har flere kunnskapsoppsummeringer reist tvil.  

I 2020 kom en ny slik oppsummering fra organisasjonen Cochrane Library.

Her fant forskerne liten eller ingen effekt  
på flere hjertehendelser, men de fant en liten positiv effekt på koronar hjertesykdom og risikoen for å dø av dette, noe som blant annet omfatter hjerteinfarkt.   

Debatten er nok langt fra over: I november gikk norske forskere ut og frarådet omega-3 for eldre hjertepasienter,  
fordi de mener at det ikke har effekt, og at det kan øke risikoen for hjerteflimmer noe.  

Kilder: Omega-3 hindrer ikke hjertetrøbbel (forskning.no); Asmaa S. Abdelhamid: Omega-3 fatty acids for the primary and secondary prevention of cardiovascular disease; Hjerteforsker fraråder eldre hjertepasienter å ta Omega-3-tilskudd (nrk.no).