En kur mot dårlig forskning?
Forskningen sliter med reproduksjonsproblemer og manglende tillit. Men flere forskere er frelst og mener de har funnet en viktig del av løsningen: en ny publiseringsprosess kalt Registered Reports.
– Jeg tenkte at dette er fantastisk, jeg vil være på den andre siden – jeg vil være forfatteren, utbryter Dan Quintana.
Han er forsker ved NORMENT ved Oslo universitetssykehus og forteller om sin første, og ganske ferske, erfaring med å være fagfelle for det som kalles Registered Reports.
Hva er det som gjør Quintana så begeistret? Den nye veien fram til målet, altså publisering i et vitenskapelig tidsskrift, skiller seg fra den gamle veien på to viktige måter: For det første kobles fagfeller på allerede før datainnsamlingen har startet.
For det andre avgjøres skjebnen til forskernes arbeid tidlig. Fagfellene vurderer en grundig og detaljert forskningsprotokoll. Slipper denne gjennom første stadium av vurderingen, forplikter tidsskriftet seg i prinsippet til å publisere den endelige artikkelen – uavhengig av resultatet.
Fikk nok av systemet
I 2012 rant det over for den australske nevropsykologen Chris Chambers. Han hadde fått nok av publiseringspress, av kolleger som analyserte dataene sine på hundre forskjellige måter for å finne statistisk signifikans, og av å glatte over og glasere forskningsresultater for at de skulle bli spiselige for tidsskriftene.
«Vi mottok et avslagsbrev fra tidsskriftet Neuropsychologia hvor artikkelen vår ble refusert fordi en av analysene (...) ga et statistisk ikke-signifikant resultat. Vi hadde ikke glattet over det, vi hadde ikke massert det bort ved p-hacking eller HARK-ing; vi hadde rapportert det ærlig og åpent», skriver han i boka «The 7 Deadly sins of Psychology».
P-hacking og HARK-ing viser til ulike måter å fikse og trikse med statistiske metoder på. Chambers satte seg ned og skrev et åpent brev til Neuropsychologia:
«Mitt største problem er at ved å refusere artikler basert på at resultatene ikke er perfekte, forsterker Neuropsychologia dårlig vitenskapelig praksis og fremmer falske oppdagelser», fastslo han i brevet.
Tilfeldigvis ble Chambers mer eller mindre samtidig bedt om å delta i redaksjonsrådet i tidsskriftet Cortex. Få dager etter skapte han oppstandelse ved å foreslå at Cortex burde tenke nytt i publiseringsprosessen.
Hans kjepphest var at selve resultatene ikke burde spille noen rolle for en artikkels skjebne. Det avgjørende burde være om hypotesen var innovativ og at metode og prosess var gode. Før året var omme ble Cortex det første tidsskriftet som tilbød forskere å publisere en Registered Report.
Chambers er nå professor i kognitiv nevrovitenskap ved Cardiff University i Wales, redaktør i en rekke vitenskapelige tidsskrifter og leder i The Registered Reports Committee som er finansiert av Center for Open Science.
Et svar på tillitskrisen
I dag tilbyr i overkant av 200 tidsskrifter denne formen for publisering. I Norge er Registered Reports hittil såpass lite kjent at noe norsk begrep ikke har festet seg ennå. Forskningsetikk ber Gruppe for norsk medisinsk fagspråk i «Tidsskrift for Den norske legeforening» om innspill. Etter en uformell diskusjon foreslår de foreløpig «protokollartikkel», som vi enn så lenge velger å bruke.
Nyvinningen er et svar på tillitskrisen som har preget forskningen de siste årene. En rekke store forsøk på å repetere forskningsresultater har mislyktes. Én forklaring kan være feil i den opprinnelige studien, eller dårlige beskrivelser av hvordan den ble gjennomført.
Samtidig har det blitt avdekket at visse typer studier sjeldnere blir publisert, noe som skaper skjevheter og hull i forskningslitteraturen. Særlig studier med negative resultater, det vil si at hypotesen ikke stemte, møter ofte stengte dører. Artikler med slikt innhold blir ikke sett på som lesverdige nok til at tidsskriftene vil bruke plass på dem.
Sprer det glade budskap
Fra kontoret sitt på Ullevål engasjerer australske Dan Quintana forskersamfunnet verden over i tematikken. Han forkynner om protokollartikler på Twitter-kontoen sin og diskuterer på sosiale medier.
I podcasten Everything Hertz som han produserer sammen med forskerkompisen James Heathers i Boston, vier de en episode til Chris Chambers og det nye publiseringsformatet.
– Som fagfelle vil man ofte lure på hvorfor forskerne valgte dette spørsmålet eller rekrutterte akkurat disse deltakerne. Men som regel er det ikke noe poeng i stille slike spørsmål, for datainnsamlingen er allerede gjort, det er for sent, påpeker Quintana.
Med protokollartikler slipper fagfellene å rive seg i håret til ingen nytte. Der er poenget tvert imot at de skal ha mange meninger om det meste nesten fra starten av. Fagfellene kobles også på igjen for en ny vurdering når forskerne er klare for å publisere. Da er oppdraget i hovedsak å undersøke om de har gjort nøyaktig det de sa de skulle, og at konklusjonene i artikkelen er i i tråd med resultatene.
Ifølge Quintana er fagfelleinstruksen tydelig på at det ikke nytter å være etterpåklok. I den andre runden kan de ikke kritisere eller nevne noe som handler om metode, for den godkjente de i den første runden.
– Flere fordeler for forskerne
For protokollartikler er det et krav at forskningsplanen skal forhåndsregistreres i en anerkjent database, som for eksempel Open Science Framework. Forhåndsregistrering har vært vanlig i kliniske studier i flere år, men for protokollartikler er kravene om innhold ekstra strenge.
– Forskning som er forhåndsregistrert på en skikkelig måte, gjør forskningsprosessen mer åpen. Det blir tydelig hvordan studien var planlagt og hvordan den ble gjennomført. Slike avgjørelser blir ellers borte og ikke dokumentert, sier David Mellor ved Center for Open Science.
Senteret jobber for økt åpenhet, integritet og reproduserbarhet i forskningen og er en viktig pådriver for protokoll-artikler.
Mellor medgir at protokollartikler betyr mer arbeid for forskeren i planleggingsfasen, men han mener det også følger med flere fordeler.
– En tidlig fagfellevurdering gir forskerne mulighet til å rette opp i metodologiske problemer før de blir til feil som gjør dataene upubliserbare.
Samtidig flyttes tidsskriftets oppmerksomhet fra banebrytende resultater til om spørsmålene som stilles, er viktige. Å få en tidlig aksept fra et tidsskrift betyr at forskerne kan fokusere på arbeidet og ikke bekymre seg for om de får publisert til slutt.
Trigget av tankevandring
Når Quintana nå søker om forskerstipend fra ERC/EU, er han på vei over til «den andres siden», slik han drømte om tidligere i år. I søknaden foreslår han nemlig at hovedtyngden av forskningen, den såkalt hypotesedrevne forskningen, skal publiseres som en protokollartikkel.
Mens Quintana ennå er i startgropa i Oslo, har hans forskerkollega Matthias Mittner ved Norges Arktiske Universitet – UiT i Tromsø nådd målstreken allerede én gang. I januar 2019 publiserte Mittner og samarbeidspartnere i Nederland og Tyskland en protokollartikkel i tidsskriftet European Journal of Neuroscience.
Forskerne undersøkte om tankevandring, eller oppmerksomhetsfluktuasjoner på fagspråket, kan påvirkes med en spesiell type elektrisk hjernestimulering kalt tDCS. En tidligere studie gjennomført av andre forskere, og publisert i et anerkjent tidsskrift, hadde vist at slik stimulering har en effekt.
– Jeg har forsket på denne typen stimulering i flere år og var skeptisk til om det ville fungere, men jeg var villig til å prøve å se om det gikk an å replisere forskergruppens funn, forteller Mittner.
Les også: Tidsskrift for Den norske legeforening: – Dette er veldig interessant
Les også: Ny studie: Fornøyde fagfeller og forskere
Kom kritikerne i forkjøpet
Skulle de følge standardmåten å publisere på, var Mittner sikker på at negative resultater ville skapt utfordringer. Han antok at de ville møte kraftig motbør fra forskere på feltet generelt og forskerne fra den opprinnelige studien spesielt. Dessuten, fantes det tidsskrift som ønsket å publisere slike funn? Han kjente til flere enn nok eksempler på det motsatte.
For å prøve å unngå disse klassiske utfordringene, bestemte Mittner og kollegene seg å prøve protokollartikkelformatet. Én av Mittners bange anelser slo til: Analysene viste at TDC ikke har noen effekt på tankevandring. Resten av visa ble imidlertid ikke en klassisk klagesang, men noe Mittner beskriver med nøyaktig samme ord som Quintana: «Fantastisk».
– Vi møtte som forventet mye motvind fra forskerne bak den opprinnelige studien. Men vi hadde gjort grundige forberedelser og skrevet en detaljert forskningsprotokoll, så det var vanskelig for dem å finne hull i arbeidet vårt. Det var heller ingen andre som tvilte på prosessen, forklarer han.
– Og siden artikkelen var akseptert på forhånd, var det ikke noe spørsmål om den skulle publiseres.
Fagfellene blir nesten medforfattere
Mittner opplevde fagfellene som svært hjelpsomme og at de bidro til betydelige forbedringer i studien. Enkelte mener fagfellene i en slik prosess bidrar så mye at de nesten får en medforfatter-rolle.
Dan Quintana ved NORMENT kjenner seg igjen i den beskrivelsen.
– Studien jeg vurderte, vil bli en siteringsmagnet, så jeg gjorde mitt ytterste for å bidra til at den blir så god som mulig. Man er ikke medforfatter i tradisjonell forstand, men sammenlignet med en standard fagfelleprosess, føles det mer som et partnerskap.
Quintana mener selv han bidro til viktige forbedringer av metodologien i studien.
Denne lovprisingen får protokollartikler til å høres for god for godt ut til å være sant.
– Er dette redningen for forskningen?
– Ikke selve redningen, men et viktig bidrag til å rehabilitere den hypotesedrevne forskningen, mener Quintana.
– Alle metoder har sine ulemper, men her er det ingen store. Om ti år vil vi se tilbake og tenke: «Hvorfor har vi ikke alltid gjort dette?!»
Tidsskrift for Den norske legeforening: – Dette er veldig interessant
– Det er en spennende og fin tanke at man kan inngå et slags samarbeid med forskeren på et tidlig tidspunkt, sier assisterende sjefredaktør Ragnhild Ørstavik.
Hun forteller at de ofte får innsendt manuskripter som er skreddersydd for Tidsskrift for Den norske legeforening (Tidsskriftet). Forskerne tar for seg problemstillinger som er særlig relevante for norske forhold, og manuskriptet er skrevet på norsk.
– Forskerne har nok ofte ikke en plan B eller C. Blir de refusert, vil det eventuelt kreve mye arbeid og ressurser å oversette og prøve å få publisert i et internasjonalt tidsskrift, sier Ørstavik.
Hun understreker at protokollartikler er noe Tidsskriftet så vidt er kjent med. Umiddelbart synes den assisterende sjefredaktøren det er en spennende tanke å kunne inngå en tidlig avtale med forskere om publisering.
– Fordi vi er et tidsskrift hvor forskerne har tenkt nøye gjennom at de vil skal sende inn til nettopp oss, bør vi vurdere om protokollartikler kan være et alternativ. Det vil i så fall være et tilbud som én av flere måter å publisere på hos oss og for enkelte typer prosjekter, understreker Ørstavik.
Mindre bortkastet forskning
I tillegg til at en slik løsning kan gjøre hverdagen mer forutsigbar for forskerne, tror Ørstavik vi kan få mindre bortkastet forskning.
– Mye av forskningen har jo allerede gått gjennom en form for tidlig fagvurdering i søknadsprosessen. Men en grundigere fagfellevurdering på et tidlig tidspunkt kan kanskje stanse forskning som har for dårlig metode til å kunne svare på spørsmålene forskerne stiller.
Fagfellene involveres i to stadier i protokollartikler. Ørstavik er bekymret for at arbeidet de legger ned, skal bli omfattende og ikke satt nok pris på.
– Hvor mye skal forskere hjelpe andre uten å få noe igjen for det? Man bør nok ikke gå bort fra at dette skal være gratis, men man må lage et system som gjør at fagfellene føler de får noe igjen for det, at det i alle fall er en gjensidig læring.
Ny studie: Fornøyde fagfeller og forskere
Center for Open Science (COS) har undersøkt hvordan protokollartikkelformatet fungerer for forskere, fagfeller og redaktører tilknyttet forlagt Wiley.
– Både forskerne og fagfellene er veldig positive, forteller David Mellor i COS.
Redaktørene støttet generelt sett initiativet. Mange hadde imidlertid ikke fått inn slike artikler ennå og hadde derfor ingen praktiske erfaringer som de kunne evaluere.
Mellor og kollegene ved COS arbeider mot ulike aktører, som forskningsmiljøer, utgivere og finansiører for å fremme protokollartikler som et viktig alternativ.
– Vår visjon er at forskere alltid skal kunne velge protokollartikler. Vi vil også at de som bruker forskningsresultater for å gi råd og ta beslutninger, skal tenke at protokollartikler bidrar med den mest pålitelige kunnskapen, sier han.