– Vi må eksperimentere med fagfellevurderingen

Antallet vitenskapelige artikler som blir trukket tilbake på grunn av vitenskapelig uredelighet eller feil, øker kraftig. Samtidig fuskes det i selve portvaktfunksjonen – fagfellevurderingen (se faktaboks) – blant annet ved at forskere på finurlige måter påvirker vurderingen av egne artikler.

For noen få år siden ble det blant avslørt omfattende forekomst av forfalskede fagfellevurderinger. I noen tilfeller innebar det at det i realiteten ikke var gjort noen fagfellevurdering.

Nå mener mange at fagfelleordningen er i ferd med å bryte sammen. Har den noen framtid?

Slumsete og ustabil

– En hel gruppe forskere sier at fagfellevurdering bare er tull og foreslår at man heller legger forskningen direkte ut på nett og lar den korrigere seg selv. De fleste som har jobbet innen publisering, har nok ikke like stor tro på at vitenskapen er selvkorrigerende, sier Charlotte Haug.

Hun er international correspondent i New England Journal of Medicine (NEJM), noe som blant annet innebærer at hun skriver artikler og er med på utviklingen av tidsskriftet. Hun har også vært redaktør i Tidsskriftet for den norske legeforening og nestleder i Committee on Publication Ethics (COPE).

Kvalitetssikring av publikasjoner er ett av temaene Haug er engasjert i.

– Det er lett å tenke at fagfellevurdering er en slumsete og ustabil ordning. Jeg mener at den også tilfører noe hvis det gjøres riktig. Vi er nå inne i en litt uoversiktlig fase hvor vi er nødt til å eksperimentere med mange ulike måter å kvalitetssikre forskningen på. Ulike metoder kan fungere i ulike sammenhenger, sier Haug.

Åpenhetstrend

New England Journal of Medicine holder seg foreløpig til den tradisjonelle ordningen. De som vurderer artiklene, får vite forfatterens navn, men ikke omvendt. Kommentarer og vurderinger holdes innenfor gruppen av involverte forfattere, fagfeller og redaktører.

Andre tidsskrift har derimot latt seg inspirere av åpenhetstrenden som nå preger publiseringsverdenen. I tråd med et voksende engasjement for at artikler og forskningsdata skal være åpent tilgjengelig for alle, åpnes også fagfellevurderingen opp.

Open peer review ble prøvd ut allerede på slutten av 1990-tallet og betydde opprinnelig at navnene på fagfellevurdererne var kjent for forfatteren. Nå brukes det også i betydningen at selve fagfellevurderingen, inkludert navn, er åpent tilgjengelig på nett – men variantene er mange.

Hittil har ikke åpen fagfellevurdering vært særlig utbredt. Tidsskriftene British Medical Journal (BMJ) og PeerJ hører til unntakene. I 2014 innførte BMJ en ordning hvor de automatisk publiserer blant annet navn på alle versjoner av artikkelen, navn på fagfellevurderere, deres kommentarer og forfatterens svar på disse kommentarene.

PeerJ lar det foreløpig være opp til fagfellevurdererne om de vil stå fram med navn, og forfatterne kan velge om de vil publisere deres kommentarer og lignende.

Uheldig kjedereaksjon

–Fagfellevurdering var opprinnelig noe som ble gjort muntlig og offentlig i vitenskapelige klubber. Etter hvert forandret dette seg, og vi fikk den metoden for fagfellevurdering som vi er kjent med i dag.

Det forteller Astrid Lægreid, professor ved Institutt for kreftforskning og molekylærmedisin ved NTNU og medlem av Det nasjonale utvalget for gransking av redelighet i forskning (Granskingsutvalget). Hun er glad for at åpenhet er i ferd med å vinne terreng igjen.

–Jeg har liten respekt for at fagfeller ikke skal kunne være ærlige og stå fram under fullt navn med sine kritiske og konstruktive tilbakemeldinger. Jeg synes også at ulike versjoner av manus og kommentarer godt kan publiseres. God vitenskapelig praksis innebærer at man skal kunne diskutere åpent, hevder hun.

Lægreid beskriver den uheldige kjedereaksjonen som følge av anonym fagfellevurdering slik: Forskere får ikke anerkjennelse for jobben de gjør, det blir vanskeligere å rekruttere fagfellevurderere, tidsskriftene ender opp med å fire på kravene om kvalifikasjoner hos fagfellevurdererne og senker i verste fall kravene til hvor skikkelig jobben gjøres.

–Dette betyr økt fare for at dårlig arbeid, dårlig dokumenterte påstander og direkte juks sklir gjennom, hevder hun.

Ifølge Lægreid kan åpenhet i fagfelleprosessen bidra til å løse en rekke utfordringer, som fusk, interessekonflikter forskere imellom og tyveri av ideer og forskningsresultat.

Foretrakk dobbeltblind vurdering

Med en åpen prosess blir det mulig å godskrive fagfelleinnsatsen som vitenskapelig produksjon. Dermed blir det lettere å rekruttere flere som har kompetanse og kapasitet til å gjøre jobben, tror Lægreid.

Hun er også åpen for at artikler legges ut på nett før publisering, en slags pre-publisering, og at det er fritt fram for fagfolk og andre interesserte å komme med kommentarer og vurderinger.

Men hva skjer hvis tidsskrifter krever at fagfellevurderere skal stå fram med navn – blir det egentlig lettere å rekruttere?

I forbindelse med overgangen til åpen fagfellevurdering i tidsskriftforlaget BioMed Central ble det gjennomført en undersøkelse blant medlemmene i redaksjonsrådet i tidsskriftet BMC Pharmacology and Toxicology. Medlemmene ble spurt om hvilken type fagfellevurdering de foretrakk i de ulike rollene sine: som forfatter, redaktør og fagfelle.

Resultatene (fra 2014) viste at hver enkelt foretrakk dobbelblind fagfellevurdering (se faktaboks) framfor åpen fagfellevurdering, uavhengig av rolle. Begrunnelsen var at dobbeltblind fagfellevurdering ble sett på som det mest objektive systemet.

Bekjemper fiendskap

Jan Erik Frantsvåg ved Universitetsbiblioteket ved UiT Norges arktiske universitet jobber med Open Access, altså gratis tilgang til artikler. Han beskriver seg selv som tilhenger av «alt som er åpent».

– Jeg snakket med sjefsredaktøren i BMC Medicine for noen år siden. Han kunne bekrefte at åpen fagfellevurdering gjorde det vanskeligere å skaffe fagfeller. Samtidig ble kvaliteten på vurderingene bedre, sier Frantsvåg.

– Når alt blir offentliggjort, slår man beina under destruktiv kritikk og oppmuntrer til konstruktiv kritikk. Åpen fagfellevurdering kan bidra til å bekjempe kameraderi, fiendskap og territoriekamp, mener han.

– Kan det ikke også tvert imot være en risiko for at nye fiendskap og «hevnaksjoner» kan oppstå, for eksempel som følge av forskere som er misfornøyd med en fagfelles vurdering?

– Negative kritikker kan nok utløse fiendskap. I et landskap hvor fagfellevurderingen er åpen vil det likevel være vanskeligere enn i dag å «utøve» fiendskapet uten at fagfeller og redaktører gjennomskuer det. Men også dette aspektet fortjener oppmerksomhet, medgir Frantsvåg.

«Tannlaus» eller tøff?

Går man inn på BMC Medicine på nett, finner man artikkelen “Anatomy of open access publishing: a study of longitudinal development and internal structure”. Der kan man klikke seg inn på fagfellerapportene og formelig se artikkelens oppvekst og utvikling, fra første til sjette versjon, med tre fagfellevurderere som en slags strenge, men likevel oppmuntrende foreldre. Jan Erik Frantsvåg er en av dem.

Han synes det var en interessant erfaring og mener åpen fagfellevurdering er det eneste riktige. Men han medgir at han ikke er helt fornøyd med å ha navnet sitt på trykk under artikkelen.

–Det plager meg litt at jeg framstår som noe «tannlaus» i kritikken. Open Access-miljøet er veldig lite, og alle kjenner stort sett hverandre, men det er ikke forklaringen på at jeg var såpass mild. Artikkelen er skrevet av noen av toppfolkene innen Open Access, og det var rett og slett ikke veldig mye å kritisere.

Frantsvåg forsikrer at han ikke ville vært redd for å stille spørsmål eller si fra om uklarheter i en artikkel hvis det var behov for det. Han utelukker imidlertid ikke at unge, uerfarne forskere blir mer tilbakeholdne med kritikk overfor nestorer i en åpen fagfelleprosess.

–Hadde jeg vært i en slik situasjon, ville jeg nok heller takket nei til oppdraget, enn å legge meg ned som faglig dørmatte, medgir han.

Grundigere jobb

Henrik Karlstrøm er bibliometriker ved Universitetsbiblioteket ved NTNU, noe som blant annet innebærer å holde oversikt over publikasjonsaktiviteten til forskerne. Han har tidligere vært forsker og redaktør for Nordic Journal of Science and Technology Studies.

Karlstrøm har også erfaring med åpen fagfellevurdering, men likevel litt mer lukket enn i BMC. Fagfellenes navn var kjent for forfatteren av artikkelen, men verken navn, kommentarer eller de ulike artikkelversjonene ble offentliggjort.

Karlstrøm forteller at han likevel gjorde en grundigere jobb enn om det hadde vært en tradisjonell fagfellevurdering.

– Mottakeren kunne jo se hvem som hadde skrevet kommentarene, så jeg brukte nok mer tid på å begrunne min endelige dom over artikkelen. Jeg følte et visst press om i større grad å klargjøre hva jeg mente. Ideelt sett skulle man alltid skrevet lange, velbegrunnede svar, men det er ikke tilfelle, medgir Karlstrøm.

Nordic Journal of Science and Technology bruker lukket fagfellevurdering. Karlstrøm sitter fortsatt i redaksjonen for tidsskriftet og forteller at de nå diskuterer mulighetene for å gå over til åpen fagfellevurdering. En viktig betingelse er at det er interesse for en slik ordning i fagfeltet, understreker han.

Frarådet «slåsskamp»

– Generelt sett må hver enkelt redaktør velge hvordan han eller hun vil legge opp en prosess med åpen fagfellevurdering. Det viktigste er at man har en prosess hvor en redaktør avgjør om sluttproduktet er vitenskapelig solid og dermed kan publiseres, mener Karlstrøm.

Charlotte Haug understreker også at redaktørene spiller en viktig rolle i kvalitetssikringsprosessen, og mener det er avgjørende at de har ressurser og tid til å følge opp fagfellevurdererne. I de tilfellene dette ikke er mulig, for eksempel for forlag med mange tusen tidsskrifttitler, er hennes vurdering at det kan være tryggere å bruke åpen fagfellevurdering.

– New England Journal of Medicine og andre store tidsskrifter er veldig risikoutsatt når det gjelder fusk fordi det har så mye å si å publisere der. Derfor er det avgjørende med fagfellevurderere som kan feltet, som redaktørene kan stole på og som tør å si sin hjertens mening hvis de mistenker at noe ikke er riktig, sier Haug.

– Betyr det at du mener åpen fagfelle- vurdering svekker sannsynligheten for at noen melder fra om uredelighet?

–Det å mistenke noen for uredelighet er en alvorlig sak. Hvis man kan formidle sin mistanke til en redaktør uten å bli identifisert overfor forfatteren, er det én ting. Hvis man må stå frem med fullt navn på internett med sin mistanke, vil de aller fleste la være, resonnerer Haug.

–Men foreløpig er det ingen som har fasiten når det gjelder fagfellevurdering. Vi bør ikke gå inn i en slåsskamp der det ene er perfekt og det andre er håpløst. Som vanlig innenfor forskningen bør man ha et åpent sinn, oppfordrer hun.

Tekst og foto: Elin Fugelsnes