Oppfordrer til DORA-signering, fortsetter selv å telle publikasjoner

– Det virker bare som en utrolig idiotisk metode, og forbausende simpelt, er Stephen Currys første kommentar til det norske tellekant­systemet.

Lederen for DORAs styringsgruppe har ikke inngående kjennskap til den norske publiseringsindikatoren, men har lest seg opp innen intervjuet. Det er særlig nivå­­inndelingen av tidsskrifter han reagerer på.

– For et nivå to tidsskrift får du tre poeng. Altså, tallene er jo helt tilfeldige. Hvordan vurderer du om en bok er på nivå en eller to? Har staten blitt saksøkt noen gang for å sette en utgiver på feil nivå? Hvordan forsvarer de denne inndelingen, og disse tallene? Det ignorerer jo fullstendig at ikke alle artikler publisert i for eksempel Nature er banebrytende. For meg høres det ut som om Norge har kræsjet med hodet først rett i alt som er negativt med kvantitative mål på forskning. Et stykke arbeid må vurderes ut ifra innhold, ikke hvor det er publisert. Dette er sånt som DORA har blitt skapt for å motvirke.

Les også hovedsaken: Forskersamfunnet er lei av å måles på enkle tall

Logiske brister i argumentasjonen

I tildelingsbrevet til norske universiteter i 2017 oppfordrer Kunnskapsdepartementet institusjonene om å vurdere og signere DORA deklarasjonen. Dette står under punkt 4.7 – Åpen forskning.

Curry synes det er motstridende at Kunnskapsdepartementet både står som ansvarlig for et system som rangerer tidsskrifter, til dels basert på Journal Impact Factor, og så be institusjonene om å signere DORA.

– Norske myndigheter og flere utredninger av publiseringsindikatoren holder fast ved at den ikke skal oppfattes som et mål på kvalitet. Brukes den slik så er dette feil bruk.

– Der har de et logisk problem. Hvis du ikke evaluerer kvalitet, hvorfor har du da delt inn tidsskriftene i to nivåer? De vil åpenbart ha noe som er raskt og enkelt å jobbe med, det fremstår som den viktigste motivasjonen. Og det virker åpenbart at denne indikatoren har påvirket måten universitetene oppfører seg på, så vi må anta at det er nok penger i potten til at det spiller en rolle, sier Curry.

– Som svar på kritikk av nivåinndelingen av indikatoren pleier myndigheter og andre å svare at den er nødvendig for å unngå det som skjedde i Australia, der forskere publiserte masse, men i tidsskrifter av lav kvalitet. Med nivåinndeling mener man dette unngås.

– Kanskje de har klart å unngå noen av de negative effektene, men de omgår ikke problemet. De koker noe ned til et eneste tall, og dømmer det basert på tidsskriftet, ikke arbeidet i seg selv. Jeg ser ikke hvordan de kan late som at de gjør noe annet enn det.

– Norske myndigheter knytter sin interesse for DORA opp til agendaen for åpen vitenskap, i brevet til universitetene står oppfordringen under overskriften «åpen forskning». I hvilken grad handler DORA om åpen forskning?

– Det er absolutt koblinger der. Det var mine skriverier om åpen tilgang til forskning som brakte meg inn på sporet om evaluering av forskning og det systemet vi har skapt. Det er mange parallelle problemstillinger, og begge deler – forskningsevaluering og åpen forskning – handler om måten vi gjør forskning på. Men jeg skulle likt å se de norske myndighetenes argumenter for hvordan de mener DORA henger sammen med åpen forskning. Jeg stiller så langt spørsmål ved kvaliteten på argumentene deres.

DORA + tellekanter = sant

Forskningsetikk har fremlagt Currys kritikk av det norske tellekantsystemet for Kunnskapsdepartementet (KD), og spurt om KD tenker at de bør se over egen praksis i lys av sitt DORA-engasjement.

Avdelingsdirektør Rolf L. Larsen skriver i en epost at DORA og tellekanter fint lar seg forene.

«Vi mener at det er mulig for departementet å både ha en nivåinndelt publiseringsindikator og å oppfordre institusjonene til å vurdere DORA-­erklæringen. Det siste kan ses på som et budskap om å ta på alvor de potensielt uheldige virkningene av nivå 2 brukt på individnivå. Med andre ord: Dette er ikke nødvendigvis dobbeltkommunikasjon, men mer en måte å håndtere innebygde dilemmaer og spenninger i systemet på.»

Larsen skriver også at det i det siste har blitt diskutert om tellekantsystemet står i veien for at forskere følger DORAs anbefalinger. Det gjør det ikke, slår han fast.

«Vi forstår at problemstillingen løftes frem. Vi er enige i at vi hele tiden må spørre om insentivene våre fortsatt er nødvendige og hensiktsmessige, eller om de kan fjernes eller byttes ut med andre. Men konklusjonen vår er at til tross for enkelte spenninger er publiseringsindikatoren fortsatt til gavn og lar seg kombinere med DORA og med ambisjonene om større åpenhet i forskningen.»

Departementet viser som vanlig til at nivåinndelingen er nødvendig for å unngå det som skjedde i Australia, og at det ikke er nivåinndelingen som er problemet men hvordan dette brukes eller misbrukes på individnivå.

Forskningsetikk har også spurt Kunnskapsdepartementet om hvorfor de først og fremst knytter DORA til åpen forsking, og hvordan de mener at signering av DORA vil gi mer åpen forskning. Dette svarer departementet ikke på.

Utfordrer tellekantene

Kunnskapsdepartementet og andre aktører som mener systemet fungerer godt, gjentar gjerne at publiseringsindikatoren ikke handler om kvalitet, og ikke er ment å måle kvalitet. En masteroppgave fra 2016, «Styring mot kvalitet» av Rune Flessen ved NTNU, finner imidlertid at forskningspolitiske dokumenter stadig vekk kobler forskningskvalitet til vitenskapelige publiseringer og siteringer, og stadig er ute etter kvantitative måter å måle kvalitet på.

Nylig signerte Forskningsrådet DORA-erklæringen. Til Khrono forsikrer direktør John-Arne Røttingen at dette ikke er en symbolsk handling, men at det vil innebære endringer i hvordan rådets fageksperter jobber.

Røttingen mener DORA ikke henger helt sammen med prinsippene i dagens tellekantsystem, og at det må tas tak i. «Det er en stor utfordring for oss, og her har både vi og myndighetene en jobb å gjøre for å forene dagens politikk for vurdering av forskning og forskningsarbeider.»

UNDERSAK: Australia-eksempelet

I Australia på 1990-tallet innførte myndighetene en ny form for resultat-basert finansiering for universitetene. Penger ble knyttet til antall publikasjoner. Så forskerne publiserte, masse. De fleste av dem i det som anses som tidsskrifter av lavere kvalitet. De lærte seg også å dele opp resultater i mindre enheter, for å få flere publikasjoner, såkalt salamipublisering.

To komiteer ble nedsatt for å se på hvordan Australia kunne lage et bedre system. En så på kvantitative mål. Claire Donovan ledet den som skulle se på «impact», bredere samfunnseffekt. «Impact» ble definert som sosiale, økonomiske, miljømessige og kulturelle fordelaktige effekter av forskning.

Så fikk Australia ny regjering. De ville ikke ha noe av komplekse kvalitative evalueringer.

– De ville ha kvantitative mål, ikke fagfellevurdering, forteller Donovan på telefon fra Storbritannia. I dag er hun førsteamanuensis ved Brunel University i London.

– Vi la ned masse arbeid, forsknings-evalueringen skulle bli bedre og mer kompleks, så kom det nye folk inn og syntes det var lettere å bare telle litt. Så begynte det hele om igjen.

Mister samfunnseffekt av syne

I 2010, før hun forlot Australia, skrev Claire Donovan at tiden for enkle kvantitative mål var over.

– Haha! Så feil kan man ta!, utbryter hun.

– Men mye har skjedd på ti år. Det har kommet mange gode rapporter i det siste som påviser svakhetene ved disse kvantitative målene.

Å hekte seg på enkle tall begrenser det vi ser, og hvordan vi leter etter svar, mener Donovan, som av en australsk avis fikk tittelen «quality-guru». Enkle kvantitative mål evner ikke å ta opp i seg den bredere samfunnseffekten som forskningen bidrar til, og det går ut over vår oppfatning av særlig hva samfunnsvitenskapen og humaniora har å bidra med.

– Jeg håper alle disse nye initiativene betyr at bevegelsen mot simple kvantitative mål er i ferd med å samle kraft og få gjennomslag. For vi må virkelig begynne å se det større bildet her. Kvalitet må vurderes på et helhetlig vis, basert på eksperter og fagfellers vurderinger.