Forskersamfunnet er lei av å måles på enkle tall

H-indeks, Journal Impact Factor (JIF), tellekantsystemet (publiseringsindikatoren). Elsevier’s Scopus, Google Scholar, og hvorfor ikke også måle gjennomslag på sosiale medier med Altmetric. Det lages lister, det telles, det lages gjennomsnittvurderinger. Og det deles ut penger, prestisje, stillinger og promoteringer i henhold til tallene.

Tall som bare skulle dokumentere, har blitt mål på suksess. Innholdet i selve forskningen, er mindre viktig. Bred samfunnseffekt er vanskelig å måle med tall.

At disse ulike tallbaserte målene innebærer statistiske skjevheter som ikke nødvendigvis premierer den forskning vi trenger, er på det rene. Mye tyder også på at de bringer med seg forskningsetisk tvilsom praksis. Det går for eksempel an å manipulere systemet for å oppnå bedre tall.

Nå begynner forskerne å få nok.

Det første store initiativet tatt av forskersamfunnet for å motvirke telle­kulturen var the San Francisco ­Declaration on Research Assessment, DORA-­erklæringen. Gruppen med redaktører og tidsskriftsutgivere som møttes i San Francisco i desember 2012, var lei av å sitte og se på de negative konsekvensene av kvantitative mål på forskning.

– Når du introduserer tall på denne måten, så blir tallene målet, sier Stephen Curry. 

Biologiprofessoren fra Storbritannia var en av de første enkeltpersonene som skrev under på erklæringen, og begynte raskt å promotere den på bloggen sin og i foredrag. I dag er han leder for DORAs styringskomité. 

– Det er helt klart kvantitative aspekter ved forskeres produktivitet. Og noen forskere er bedre enn andre. Men å redusere evaluering av forskning til en mekanisk evaluering av et tidsskrifts kvalitet, basert på tidsskriftets innflytelses­faktor, det er å strippe prosessen for nyanser og dybde, det er brutalt. Dessuten vil det ha utilsiktede konsekvenser, som at forskere deler opp resultater i flere publikasjoner og den slags.

Les også: Oppfordrer til DORA-signering, fortsetter selv å telle publikasjoner

Vurder innhold, ikke publikasjon

Det generelle budet i DORA er at kvantitative mål basert på tidsskrifter, som Journal Impact Factor, ikke skal benyttes for å ta avgjørelser om finansiering, ansettelser eller promoteringer. Forskning skal vurderes ut ifra innhold, ikke tidsskriftet der det er publisert. I tillegg bør mulighetene som byr seg med publisering på nett utnyttes bedre, for eksempel at tidsskriftene fjerner ­begrensninger på blant annet lengde på artikkelen og antall referanser.

I februar i år ble DORA relansert, med ny nettside, og penger til en fast ansatt som skal sørge for å holde på oppmerksomheten.

I underkant av 500 institusjoner har signert erklæringen, deriblant nylig Forskningsrådet og NTNU. Rundt 12 000 individer har gitt sin tilslutning. Enkelte har ment at DORA fokuserer for mye på Journal Impact Factor.

– DORA er et barn av sin tid, og fokuserer på ett særlig skadelig kvantitativt mål, det finnes selvsagt flere. Men poenget er ikke at alle signerer DORA, det er at det gjøres en bedre jobb når vi skal forske og evaluere forskning, sier Curry.

– DORAs eventuelle makt ligger i at ansatte og andre kan bruke det som et verktøy for å utfordre systemer. Vi kommer ikke til å følge opp de som skriver under og sjekke at de lever opp til erklæringen. Vi har fokus på å samle eksempler på gode måter å evaluere forskning på.

Under re-lanseringen av DORA presenterte Forum for responsible use of research metrics en rapport som viste at et stort flertall av britiske universiteter ikke hadde noe bevisst forhold til sin bruk av denne typen kvantitative forskningsmål. Mange skrev under på erklæringen i etterkant.

Curry kan også fortelle at The European University Association, med over 850 universiteter som medlemmer, kommer til å inkludere spørsmål om forskningsevaluering og DORA i årets spørreundersøkelse.

Tallenes makt

DORA-erklæringen nevnes gjerne sammen med to andre initiativer, The Leiden Manifesto og britiske the Metric Tide Report med sin oppfølging på nettstedet responsiblemetrics.org.

Rapporten The Metric Tide, fra 2015, skulle svare på spørsmålet om hvilken rolle «metrics», kvantitative mål, skulle ha i det britiske systemet for forsknings­evaluering. Lederen for evalueringen, professor James Wilsdon, sparer ikke på kruttet i rapportens forord. Han viser til biolog Stefan Grimm som tok livet sitt i 2014, etter å ha fått beskjed av Imperial College i London om at han ikke oppfylte kvantitative krav for å bli professor, og dermed var under evaluering. Historien viser, ifølge Wilsdon, at «det som står på spill i disse debattene er mer enn bare hvordan vi lager effektive styringssystemer innen forskning. Tallene innehar reell makt: de legger grunnlaget for verdier, identiteter og levebrød.»

– Det var noen som ønsket at ­evalueringene av universitetene skulle reduseres til enkle, raske og billige kvantitative mål, forteller Curry, som til daglig er professor ved Imperial College.

– Men majoriteten sa et klart nei. Vi vil ha fagfellevurderinger, vi vil måles på det vi faktisk leverer.

Det britiske systemet for evaluering går under navnet REF – the Research Excellence Framework. Evalueringene foregår hvert 5.–6. år, og er knyttet til finansiering av sektoren. Den siste evalueringen ble gjort i 2014, da med en ny komponent, «impact» - samfunns­effekt, som skulle telle for 20 prosent av det totale resultatet.

– Den siste runden kostet 250 millioner pund, fire ganger så mye som vanlig, på grunn av det nye kravet om «impact studies», forteller Curry.

– Det var mye motstand mot dette. Det tok lang tid og krevde ekstra ressurser og ansatte å grave frem eksempler på 15–20 år gamle artikler som hadde resultert i for eksempel vellykkede politiske tiltak. Men det viste seg å være en vellykket ­komponent. Universiteter oppdaget ting om hvordan forskningen deres hadde påvirket samfunnet som de ikke visste fra før, de fikk ny politisk kapital og nye historier å promotere seg med.

– Er den britiske REFen en såkalt «best practice» i hvordan man bør gjøre forskningsevalueringer?

– Det er vanskelig å svare på. Det er en «good practice» i hvert fall, i at den er basert på fagfellevurderinger. Og å foretrekke fremfor å velge den mekaniske kvantitative metoden.

Ville gi forskerne et verktøy

The Leiden Manifesto for research metrics ble publisert som en kommentar i Nature i april 2015.

– Dette kommer fra folk innenfor bibliometrifaget, som har laget de kvantitative målene som i dag misbrukes, og som kjente at de måtte si fra om at nå må folk begynne å bruke indikatorene på en mer ansvarlig måte, sier Curry.

Han opplevde Leiden-manifestet som en helomvending fra bibliometrifaget.

– Før hadde de vært mer sånn «vi lager bare verktøyene og bruker dem for å forske på forskning, det er ikke meningen at de skal brukes til evaluering». I Leiden manifestet anerkjenner de at de er ansvarlige for å tenke gjennom mulige utilsiktede konsekvenser og misbruk av målene.

Diana Hicks, professor ved Georgia Institute of Technology, Atlanta og en av forfatterne bak manifestet, forteller at bibliometri-miljøet hadde vært bekymret i lengre tid for den utbredte misbruken av kvantitative mål i evalueringer av forskning. En rekke seminarer ble arrangert, og en konferanse, som til slutt resulterte i Leiden manifestet med sine ti prinsipper for hvordan evaluere forskning.

– Tanken var at hvis vi får det publisert i et profilert tidsskrift, så gir det forskerne noe å bruke når de blir utsatt for denne typen nonsens, sier Hicks.

– Vi ville gi folk et verktøy å kjempe tilbake med.

Både misbruken og motstanden mot de enkle målene på forskning har bygget seg opp over tid, forteller Hicks.

– Man har alltid kunnet bruke tall i evalueringer, men bruken var noe mer begrenset da du måtte bruke en cd-rom og ha kunnskap om programmering.

I dag er dette enkelt tilgjengelig, og myndig­heter som vil ha enkle måter å evaluere forskning på trenger ingen ekspertise for å sette i gang. Det fremstår som en måte å få mer ut av pengene sine i systemet, uten å putte så veldig mye mer penger inn.

Det degenererer til slutt

Samtidig er professoren tydelig på at forskere må tåle å bli telt og målt.

– Ja, det er ukomfortabelt. Akademikere er supersmarte og kan lage masse gode argumenter for hvorfor vi ikke bør kvantifisere det de driver med. Men dette er skattebetalernes penger, og de må stå til ansvar. Og man kan faktisk få verdifull informasjon også fra å legge sammen tall.

På individnivå er det ikke greit å fokusere på hvor noen har publisert en artikkel, men dersom det skal brukes for å distribuere penger på nasjonalt nivå, slik det norske tellekantsystemet gjør, så er det innafor, synes Hicks.

Samtidig er det ikke fullt så enkelt heller. For når det nye målesystemet har oppnådd den utnyttelsen av kapasitet som er mulig, blir systemet gjerne skadelig.

– Man lærer seg å manipulere systemet. Det er vanskelig over tid å ikke degenerere til et nivå der folk bare fokuserer på det som blir målt, i stedet for å fokusere på å bedre sin egen prestasjon og sitt bidrag til faget.

Vil påvirke intern kultur

NTNU signerte DORA i januar i år.

– Vi har signert fordi det er viktig ikke bare å bruke kvantitative mål som for eksempel h-faktor, men også gjøre selvstendige vurderinger av den ­vitenskapelige kvaliteten når man vurderer prosjektsøknader og CVer. Man bør lese noen av de sentrale verkene til forskerne, sier Bjarne Foss, prorektor for forskning ved NTNU.

– Ved å signere DORA ønsker vi å påvirke vår interne kultur til at dette blir løfta frem.

– I hvilken grad er det et problem at kvantitative mål tillegges for mye vekt?

– Det er noe med å sette av nok ressurser og tid for en evaluering. Det er viktig at de som evaluerer, er seg dette bevisst. Noen ganger er det fristende å legge for mye vekt på kvantitative mål som h-faktor siden det er raskest.

Etter signeringen har NTNU opprettet en nettside med lenker til informasjon om DORA, og informert universitetet og forskningsledelsen. Oppfølgingen vil skje i fagmiljøene.

Tidligere i år kritiserte sosiolog Svein Hammer, i et oppslag i Universitetsavisa, akademias tilsettingsprosesser. Han mener de er fullstendig dominert av tellekantsystemet. Prorektor Foss sa seg uenig i karakteristikken, og viste blant annet til at NTNU har signert DORA.

– Jeg syntes kritikken gikk altfor langt. Vi skal ha balanse. Å si at det kvantitative ikke har noe for seg er ikke korrekt.

– Du sier i saken at du ønsker at forskere skal fokusere mer på antall siteringer enn antall publikasjoner. Er ikke det bare to sider av samme sak?

– Det er litt mer nyansert enn det. Vår nye strategiplan har noen formuleringer om å flytte fokus fra antall publikasjoner til siteringer. Hvis du har et høyt antall siteringer har mange andre funnet det interessant å bruke resultatene dine. Det er nærmere et godt kvalitetsmål enn antall publikasjoner.

– Kunnskapsdepartementet (KD) oppfordret universitetssektoren til å signere DORA i tildelingsbrevet til institusjonene i 2017. Bør de følge sin egen anbefaling og ta en titt på sitt eget tellekantsystem også?

– Det er et relevant spørsmål, synes Foss.

– Det norske systemet er litt mer avansert i og med at vi har to nivåer på publikasjonskanalene. Det er en måte å tenke kvalitet på. Det er klart det er vanskelig for KD å finne enkle måle­parametre. De evaluerer jo også de ulike miljøene, nå nylig humaniora. Men det er vanskelig å koble en bred evaluering direkte til bevilgninger. Det er jo det som er med publiseringsindikatoren, den kobler seg til en bevilgningsmodell. Så ja, det er et relevant spørsmål. Alle snakker om god kvalitet, dette problematiserer hva som er god kvalitet. 

Mener det måles for mye

Universitetet i Oslo har ikke signert DORA.

– Vi har vurdert det, og det kan hende vi gjør det, sier rektor Svein Stølen ved UiO.

– Det spørs litt hvor katolsk du skal være i tolkningen. Når vi får 600 søkere til en stilling kan vi ikke lese hver enkelt artikkel de har skrevet. I de tilfellene bruker vi noen tall for å gjøre et utvalg. Etter det tror jeg vi etterlever DORA i alle sammenhenger. Men det at Forskningsrådet nå har signert har stor betydning, og gjør at UiO vil vurdere saken på nytt.

Stølen er ikke fan av det norske tellekantsystemet, som han blant annet mener straffer de store universitetene.

– På Universitetet i Oslo er vi mer opptatt av kvalitet enn kvantitet. Men vi har en økonomimodell i Norge i dag der vi straffes fordi vi er en høykvalitets­institusjon. Det er begrenset hvor mye mer vi kan publisere enn det som allerede gjøres. Institusjoner av lav kvalitet kan publisere mye mer, og dermed tjene mer penger. Selv om vi øker litt, så taper vi, fordi de øker mer.

– De som forsvarer det norske systemet mener at det er snakk om svært lite penger og at det dermed er av liten betydning?

– Grunnen til at tellekantene har så stor innvirkning på forskersamfunnet er at det passer inn i logikken til den enkelte forsker som er opptatt av å lykkes som enkelt­person. Selv om det er små penger så har det stor effekt. Forskere er alltid opptatt av hvordan de gjør det i forhold til andre.

Stølen mener det måles altfor mye i sektoren i dag.

– Vi må fortsette å ha et sterkt ­verdigrunnlag, og få frem hva vi faktisk oppnår. Mange vil at vi skal telle mer, for eksempel hvor mange ganger vi er på NRK og i avisen. Jeg tror vi kan telle oss i hjel. Ressurser bør heller brukes på å styrke basisvirksomheten – utdanning og forskning. Det er det som gir alt det andre.