– Man skal ikke være redd for debatt

Metodekritikken har i høst haglet over direktøren i Forskningsrådet, John-Arne Røttingen. Dårlig spørreundersøkelse, spissa mediebudskap, terningkast over statsrådene og sammenblanding av roller. Hvordan ble det sånn, er han selv fornøyd med innsatsen? Og kan han egentlig nok om forskningsetikk?

Spørreundersøkelsen.

I september ble det rabalder rundt en spørreundersøkelse som Kantar utførte for Forskningsrådet. Du gikk ut i Aftenposten og sa at alarmene bør gå, fordi folk har for liten tillit til forskning. Så kom Ottar Hellevik og sa at vi ikke kan stole på undersøkelsen om folks tillit til forskning. Så fulgte en drøss innlegg som nyanserte både kritikken og funnet. Ble saken egentlig et skoleeksempel på hvorfor folk kanskje mister tillit til forskning?

I forkant av Forskningsdagene gikk vi ut med noe info – ikke helheten, men en teaser. At 40 prosent mener at forskere påvirkes av sine interesser og politiske ståsted, og at forskningsresultatene påvirkes av det. Men så ble det av mediene oversatt til at to av fem har mistillit til forskning. Så det ble vel et godt eksempel på utfordringer ved forskningsformidling, når noe enkelt spisses enda mer. Men mye av kritikken var basert på sekundærinformasjon om hva undersøkelsen viste og et utvalg av spørsmål.

Du har fått kritikk for at du sa at 'alarmene bør gå', men gikk de hos deg, da du leste undersøkelsen?

Ja, jeg mener jo det at når – og det var blant annet klimaforskning vi stilte spørsmål om – når over halvparten mener at forskernes resultater er påvirket av deres interesser og politiske ståsted, så er det urovekkende. Vi kan ikke leve med at så mange mener det er en systematisk skjevhet i forskningen. Selv om forskning aldri er sikker, og selvfølgelig påvirkes av forskerne – ingenting er objektivt, så er forskningsprosessen den beste metoden folk har funnet frem til for å prøve å systematisk kritisere både teoretiske og empiriske analyser for å fremstille kunnskap. Det er den beste kunnskapen vi har. Det er viktig å formidle til folk flest at det er forskjell på kunnskap forankret i forskning og meningsytringer i offentligheten.

Burde dere ventet med å fronte undersøkelsen til dere kunne vise frem helheten, i stedet for å gå ut med en teaser?

Nei. Det satte en agenda, det ble debatt, det er flott og viktig.
Men ble det den debatten vi trengte? Metodekritikk av surveyspørsmål?
Det ble veldig mye metode, det overrasket meg! De som var opptatt av metode kunne kanskje kikka på selve studien.
Mye var basert på sekundærinformasjon. Men det var flere debatter. Hvor langt skal forskerne gå i forhold til å være offentlige debattanter, at de bør og har plikt til å melde seg på i en offentlig debatt, men at det er viktig å deklarere hva som er hva. Det kom frem i debatten både eksplisitt og implisitt. Om omtalen av undersøkelsen kom skjevt ut i forhold til hva man kan vise og hvordan tolke den, det syns jeg er ganske uproblematisk.

Er store temaer som tillit til forskning egentlig egnet for denne typen spørreundersøkelse? Det er forskjell på å spørre hvor mange poteter folk spiser til middag versus i hvor stor grad de tror forskning er politisk styrt.

Samfunnsforskning er full av ganske brede spørsmål, for å si det sånn. Dersom jeg selv skulle fylt ut vår undersøkelse ville jeg nok ofte tenke: ja, men hva betyr det, hvordan defineres dette... Det er ikke en objektiv undersøkelse som prøver å kvantifisere, men det er et barometer for noe.
Vi hadde for øvrig ingen direkte spørsmål om tillit. Selv om mange trodde at resultater ble påvirket, viser et annet spørsmål stor grad av tillit – over 80 prosent mente det var riktig at samfunnet støttet grunnforskning. Man har altså på en måte tillit til forskning som en helhet, men tenker samtidig at det er mye som påvirker forskningsresultatene illegitimt.

Kunne du ikke sagt det til Aftenposten? Hvorfor plukke ut de negative tallene sånn som dere gjorde?

Målet var fokus på debatt om forskningens rolle i samfunnet, og dette med forskningens verdi som en kilde til solid og robust kunnskap. Da er det ikke dumt at man ga disse tallene oppmerksomhet, selv om debatten avsporet litt. Jeg syns ikke man skal være så redd for at det blir litt debatt. Også på litt ufullstendig grunnlag. Undersøkelsen som helhet ble offentliggjort et par dager etter, ved åpningen av Forskningsdagene.

Forskningsetikk.

Når jeg sier forskningsetikk, hva tenker du da?

Når man er medisiner, tenker man veldig fort etikk i gjennomføring av kliniske studier på pasienter. Jeg vet at det er snevert, men det slår inn først. Helsinkideklarasjonen, behov for å ivareta autonomi for pasienter, men samtidig skaffe frem kunnskap om grupper, populasjoner.

Det neste som faller meg inn er mer, ja, forskningsetterrettelighet. Selve forskningsprosessen, uredelighet, og hva som er god forskning.
Og det siste er det store, brede, forskningssystemets etiske og moralske ansvar. Hva forsker man på og hvorfor, hvilke spørsmål velger man. Jeg har vært mye opptatt av dette med interessenters ønske om å påvirke kunnskapsbildet med forskning. Studier har funnet at det å være sponset av et privat firma versus en akademisk institusjon, gir systematisk forskjellige resultater. Det viser hvor viktig det er med gode prosesser på dette.

Hva er de største forskningsetiske dilemmaene du har støtt på i løpet av din forskerkarriere?

Godt spørsmål. Jeg har støtt på dette med... du kan si er det forskningsetikk... jo, det med åpenhet om kliniske studier. Da jeg var direktør i Kunnskapssenteret for helsetjenesten, skulle vi oppsummere effekter av en legemiddelklasse, av antihistaminer. Vi identifiserte at det var studier som aldri var publisert, og prøvde å få utlevert dataene eller resultatene fra ulike firmaer. Men det fikk vi aldri.

Vi var også helt klart inne på mange etiske dilemmaer knytta til ebolautbruddet i Vest Afrika. Det var jo en krisesituasjon, og vi skulle gjennomføre en klinisk studie, men kan man ha kontrollgrupper i en sånn setting? Det var mye debattert og er fortsatt mye debattert, særlig når det gjelder eksperimentell behandling.

Hvor ofte tenker du på forskningsetikk i ditt daglige arbeid?

Det spørs hva du legger i det. Ansvaret forskerne og forskersamfunn har for hva man velger å forske på og hvorfor, er også en del av det forskningsetiske. Hvis du legger det til grunn, så er det viktig hver dag.

Hvor høyt opp på prioriteringslista er forskningsetikk som tema i Forskningsrådet?

Det er feil spørsmål – spørsmålet er hvordan kan man integrere perspektivet når man utarbeider forskningsprioriteringene. Vi må integrere forskningsetiske betraktninger i alle prosjektene. Så er nok ikke det alltid like lett, og helt sikkert ofte slik at det blir rask utsjekk av etiske perspektiver i en søknad, og ikke et reelt perspektiv.
Etikk er et normativt fag, eller, det er både empirisk og normativt. Det er den utfordringen vi også har generelt med humaniora – å sørge for at det ikke blir et vedheng eller sideprosjekt, men at det er integrert i større tverrfaglige prosjekter.

Terningtrillingen.

Så har du trillet terning. Den saken handler jo egentlig om hvordan forskning finansieres i Norge. Du mener det må mer penger til Forskningsrådet for å ta hånd om den forskningen som ingen av departementene tar seg av. Men det ble mest snakk om terninger og timing. Oppnådde du det du ville?

Nei, som jeg har sagt andre steder, hadde vi ønsket å komme på tidligere i valgkampen, helst under Arendalsuka. Det var ikke meningen at det skulle komme så tett oppunder valget. Sånn sett fikk vi ikke mulighet til å få en diskusjon. Det kom for tett opptil valget, og så ble det bare litt debatt i etterkant, først og fremst om hvorvidt man kan gjøre sånt som underliggende etat i statsforvaltningen.

Du spurte på Facebook hva folk syns om terningtrillingen, og fikk umiddelbart svar fra Bjørn Haugstad som skrev at «min ærlige reaksjon er at dette er en idé som forhåpentligvis ble unnfanget på den gærne siden av et par flasker rødvin. Da sover man på den, våkner og tenker seg om.» Er det innafor at statssekretæren i Kunnskapsdepartementet skriver sånt til direktøren for Forskningsrådet på Facebook?

Ja, det er det. Det var vel hans ærlige mening, det er helt greit at han står for det. Han mente at det var uklokt å gjøre det på den måten. På samme måte som jeg spisset budskapet i form av å redusere måloppnåelse i forhold til sektordepartementenes midler til forskning til terningkast, så spisset han sin formulering. Han kunne gitt meg et terningkast eller en karakter – det var vel på strykgrensa da, hehe. Jeg tenker at det må være helt greit.

Hvorfor har det vært viktig for deg å skape spillerom for å få være en politisk aktør i det offentlige ordskiftet?

Forskningsrådet må være en politisk aktør. Ikke partipolitisk, men å jobbe for forskningens posisjon og investeringsvilje er en del av vår oppgave. Vi forvalter noen interesser og perspektiver i samfunnet, og det er politikk. Vi er ikke bare et implementeringsredskap.

Bortkasta forskning.

Bortkasta forskning – du delte en sak om dette nylig, er det et tema som er høyt på agendaen din?

Det er ikke noe som vi har et systematisk arbeid med i Forskningsrådet for øyeblikket, men noe jeg tenker at forsyningssystemet internasjonalt i økende grad er opptatt av.

I mai var Forskningsrådet en av flere tunge forskningsfinansiører som kom med en felles uttalelse via WHO om at dere i løpet av de neste 12 månedene, altså frem mot mai 2018, skal få på plass nye regler og systemer som sørger for at alle kliniske studier registreres, og at resultater rapporteres.
Hva innebærer dette?

I praksis er dette på plass i Norge – skal du få noe godkjent for publikasjon eller som klinisk legemiddelstudie, er det krav til registrering i en av de store databasene for kliniske studier. I kliniske studier er forskningsspørsmålet klart definert på forhånd, og forklart i protokoller, slik at man unngår at det som publiseres gir et skeivt bilde. Også når man ikke får interessante resultater, skal det gjøres tilgjengelig og publiseres.

Så dere har i praksis vedtatt at dere skal få på plass noe dere mener allerede er på plass?

Ja...vi har vel i grunnen det når det gjelder registrering av studier, men når det gjelder rapportering er det også mangler i Norge.

Jeg skrev om bortkastet forskning i forrige nummer av Forskningsetikk. Det tallet som fremkommer i mange studier er at rundt 50 prosent av kliniske studier ikke blir publisert. Allikevel sa mange at dette ikke er et stort problem i Norge – uten at påstanden underbygges med fakta, for det har vi ikke, og vi har ikke systemer på plass som sjekker at det rapporteres. Er det godt nok?

Dette med at det ikke er noe problem i Norge, den kjenner jeg godt. «Nei alle pasienter får tilbud om den behandlingen, alle følger retningslinjene», så gjør man en studie, også er det kanskje bare 75 prosent etterlevelse. Det å sette opp systemer som titter en selv i kortene, det er nyttig.
Vi burde nok gjennomføre tydeligere sjekking av at det rapporteres. Vi har jo stilt andre krav som vi heller ikke har greid å følge opp, at det som publiseres fra prosjekter vi finansierer skal være i Open Access-tidsskrifter eller tilgjengelig i vitenarkiver, for eksempel. Men dette er i utgangspunktet noe som burde være lett å sjekke. For alle kliniske studier må registreres i 3-4 toneangivende databaser. Og så er det mulig et antall år etter at studien er igangsatt å undersøke om det er publisert data fra den.

Ja, det tenkte jeg også. Og dette er jo modellen til kampanjen alltrials og deres trialstracker, de sjekker publikasjoner opp mot databaser som clinicaltrials.gov. Skal vi tro dem mangler 59% av OUS og 66,9% av NTNUs prosjekter rapportering. Men tallene kritiseres for å ikke tillate lang nok tid fra ferdigstillelse av prosjekt til publisering. Og forskere mener at det er for mange databaser som skal oppdateres, publiseringen finnes kanskje, men den er ikke registrert i akkurat clinicaltrials.com, og man bruker allerede for mye tid på administrative oppgaver.

Forskningssystemet er ikke flinke nok til å være etterrettelige for å vise at vi gjør det vi skal gjøre. Vi vil ikke at forskerne skal bruke ekstra tid på å dokumentere det de allerede gjør, så vi må ha lavest mulig terskel for dette. Da tenker nok jeg at i dagens verden er det mulig å gjøre dette automatisert. I våre database ligger alle inne med prosjektnummer som kan kobles til publikasjoner.

Gitt at dette ikke er på plass, hvordan skal dere følge opp punktet om rapportering fra WHO-uttalelsen?

Vi vil kunne gjøre det for alle kliniske studier som finansieres av Forskningsrådet, men de regionale helseforetakene finansierer nok flere studier enn oss, og i tillegg er det mange andre studier som gjennomføres med støtte fra andre kilder. Jeg tror det mest hensiktsmessige derfor er å etablere en nasjonal ordning hvor dette følges opp. Vi vil gå i dialog med de andre aktørene om dette.

Les også:
Uetisk å ikke ta ansvar for bortkastet forskning
- Problemet er ikke så stort

Vitenskapelig publisering.

Granskingsutvalget har tatt til orde for at Kunnskapsdepartementet som systemeier bør gå gjennom publiseringsindikatoren (tellekantsystemet) med tanke på forskningsetikk, fordi de mener at et system der antall publikasjoner får større verdi enn kvaliteten kan føre til at forskere tar snarveier for å komme seg opp og frem. Burde KD gå gjennom systemet, syns du?

I utgangspunktet bør alle aktører signere DORA-erklæringen, som legger vekt på at alle bør sørge for å måle forskningskvalitet basert på det den enkelte gjør, og ikke basert på publiseringskanaler og hvor man har publisert. Artikkelens egenverdi bør telle.
Jeg tenker det er litt uheldig at publiseringsindikatoren i dag gir noen publiseringskanaler forrang foran andre, for da gir man automatisk et veldig sterkt insentiv for å kjempe seg inn i de tidsskriftene. Fokus på å telle gir også insentiv til salamipublisering, for å få mange publikasjoner, og det er ikke ønskelig heller. Det viser vel at det å måle forskningsoutput på en god måte ikke er helt lett.

Så da er svaret ja – at Kunnskapsdepartementet kanskje burde ta en gjennomgang av systemet?

I Brekke-utvalget om åpen tilgang drøftet vi behovet for å unngå at tellekantsystemet gir disinsentiver for åpen publisering. I dag er det slik at få nivå 2 tidsskrifter har åpen tilgang. På sikt bør det derfor vurderes å benytte indikatorer som måler gjennomslag og synlighet for den enkelte artikkel i stedet for å legge publiseringskanalen til grunn.

Også de nasjonale forskningsetiske komiteene har tatt opp problemer i publiseringsbransjen, i relasjon til det politiske målet om åpen publisering og det økende antallet useriøse tidsskrifter på markedet. «Kombinert med høyt publikasjonspress, er dette en systemisk kilde til fusk og uredelighet», skriver komiteene. Hva tenker du om det?

De er jo en downside av Open Access, røvertidsskriftene, men disse ville nok uansett ha kommet gjennom økt digital publisering. Jeg har ikke tenkt så mye over hvordan vi kan få større tydelighet på om en artikkel har vært gjennom en god fagfellevurdering. Det er kanskje noe vi også bør utvikle i vitenskapssamfunnet. Mange taler for en større åpenhet om peer review, det må bli lettere å dokumentere det, og også de som bidrar som fagfeller bør bli kreditert.

Du satt i ekspertgruppen, da som representant fra Folkehelseinstituttet, som skrev en rapport til Kunnskapsdepartementet om nasjonale retningslinjer for åpen tilgang til forskningsresultater. Dere nevner problemet med røvertidsskrifter og anbefaler at NSDs arbeid med kanalregisteret må styrkes. Dette har foreløpig ikke skjedd.

Det burde egentlig vært et internasjonalt ansvar. Egentlig burde det være en forskningsinfrastruktur man gikk sammen med andre land for å vedlikeholde. Kanalregisteret burde være felles europeisk. Det slår meg nå, dette er et fellesgode man burde investere i sammen, legge litt ressurser i. Det burde jeg jo tenkt på da jeg satt i den gruppa. Kunne man greid å investere litt på Europeisk nivå kunne man jo faktisk ha sjekket kvaliteten på tidsskriftene, gjort stikkprøver og i praksis satt en svarteliste. Om den ikke var eksplisitt, så implisitt: Var man ikke med i kanalregisteret, var man ute.

Har norske politikere bestemt seg for å dytte på i retning open access, uten å ha tatt en nødvendig grundig diskusjon først?

Nei, det mener jeg ikke. Jeg syns det er en dårlig unnskyldning, rett og slett. Andre tidsskrifter har de samme utfordringene som OA-tidsskriftene. Det er viktig at vi har bevissthet om kvaliteten på fagfellevurderingsprosessen og at kanalene er over en viss standard.

I hvilken grad har de rett, de som hevder at det eksisterer en publish or perish-kultur som ødelegger for kvalitet i forskning?

Den formuleringen husker jeg fra jeg selv var ung student og forsker. En sånn kultur eksisterer til en viss grad, men jeg syns ikke det bare er et onde. Det er bra at det er en kultur på at man skal publisere. Man skal være produktiv, det er nyttig.
Det som er viktig er å ha balanse mellom en kultur eller insentiver til produktivitet, og kvalitetskultur, dybdekultur. Jeg syns kanskje vi har fått for stor oppmerksomhet rundt insentivene. Vi lar økonomene definere hva som styrer menneskelig adferd. Enten skriker vi om at vi ikke får insentiver for å formidle, eller at insentivene stimulerer til å formidle raskt og dårlig. Kultur og normer, hva som er god adferd, er like viktig. Vi burde heller bruke mer tid på å snakke om de kulturene istedenfor å be om insentiver for alt.

Kulturer for kvalitet?

Ja, tilbake til det du spurte om i sted, med hvor viktig er forskningsetikk. Forskningen skal være grundig og etterrettelig. En god venn av meg som tok doktorgrad samtidig som meg, har ikke vært opptatt av å publisere mye, men godt og grundig. Han har greid å overleve i forskningssystemet så langt, men det er litt mot trenden, jeg ser det. Det å være medforfatter, å ha nok artikler, blir veldig drivende. Men vi må dyrke frem de som vil gjøre det gode. Det som er mer høyrisiko, som kanskje tar litt mer tid, men som virkelig kan føre til viktige funn.

Les også: 
Røvertidsskrifter truer vitenskapens legitimitet
Etterlyser fagspesifikke svartelister
Open Access på norsk: Gratis til enhver pris?