Høringsuttalelse fra De nasjonale forskningsetiske komiteer om siteringsidikator

De nasjonale forskningsetiske komiteene (FEK) viser til høring i sak nr. 16/7765 «Vekt på forskningskvalitet – En mulig utvidelse av publiseringsindikatoren med en siteringsindikator», med høringsfrist 1. mars 2017. FEK mottok ikke høringen fra Kunnskapsdepartementet (KD), og var heller ikke oppført på listen over høringsmottakere. Etter avtale med seniorrådgiver Steinar Johannessen i KD avgir FEK derfor høringssvar etter utløpet av fristen.

FEK ber om at høringssvaret publiseres på departementets nettsider sammen med de øvrige høringsuttalelsene.

Kunnskapsdepartementet ba høringsinstansene ta stilling til tre konkrete spørsmål. Høringssvaret fra FEK besvarer spørsmålene 1 og 3. Kort oppsummert mener FEK at det ikke er forskningsetisk forsvarlig å utvide publiseringsindikatoren med en siteringskomponent. Dersom systemet likevel skal utvides med en siteringskomponent, er det visse forhold som bør inngå i det videre grunnlagsarbeidet. Grunnlaget for vår konklusjon utdypes i punktene nedenfor.

1. Innledende kommentarer

Forslaget som er sendt på høring gjelder primært en begrenset del av forskningsfinansieringen. Det er likevel grunn til å tro at siteringskomponenten i praksis kan få et langt større nedslagsfelt, for eksempel ved utvidelse til andre fagområder, tildeling av forskningsmidler, ansettelser og kompetansevurderinger, fagevalueringer m.m. - på samme måte som publiseringsindikatoren fikk anvendelse langt utenfor bibliometriske målinger. Dette betyr at siteringskomponenten vil kunne påvirke forskeres adferd på flere nivåer. Hovedansvaret for forskningsetikk ligger primært hos forskere og forskningsinstitusjoner, men andre aktører har også ansvar for å bidra til etisk god og ansvarlig forskning. Ikke minst har myndighetene ansvar for å legge forholdene til rette for ansvarlig forskning. Høringssvaret fra FEK tar derfor utgangspunkt i Kunnskapsdepartementets ansvar for det norske forskningssystemet.

Er det en siteringsindikator eller en komponent i publiseringsindikatoren?

FEK registrerer at dokumentet som er sendt på høring er en utredning utarbeidet av NIFU ved Gunnar Sivertsen på oppdrag fra Kunnskapsdepartementet. Bestillingen var begrenset til en utredning av en resultatbasert siteringsindikator med formål å «stimulere til mer forskning av høyere kvalitet ved å premiere institusjoner med høy impact/stort gjennomslag i anerkjente publiseringskanaler» (side 11 i utredningen). Andre steder er forslaget omtalt som en siteringskomponent i publiseringsindikatoren. Den uklare begrepsbruken er uheldig i en høring, og bør unngås i videre omtale av produktet. I fortsettelsen legger vi til grunn at forslaget gjelder en siteringskomponent i publiseringsindikatoren, ikke som en selvstendig indikator.

2. Til spørsmål 1 – bør det innføres en siteringskomponent i publiseringsindikatoren

Kunnskapsgrunnlaget

Forskningsetiske aspekter og konsekvenser av siteringskomponenten er ikke omtalt i departementets bestilling til NIFU; NIFU oppfordres kun til å drøfte «styrker og svakheter ved flere ulike alternativer for utforming av en siteringsindikator». Utredningens punkt 2.1.1 gjelder spørsmålet om sitering kan anses som et uttrykk for kvalitet. Punktet presenterer enkelte innsigelser mot siteringsmålinger, som for eksempel at metode- eller oversiktsartikler siteres mer enn andre artikler, at man gjennom en siteringsindikator kan komme til å «premiere» såkalte negative artikler, samt faren for urettmessig påvirkning av indikatoren gjennom «siteringskarteller», «coercive citation» eller selvsitering. Innsigelsene avvises relativt kort. Det mangler dessverre referanser til kunnskapsgrunnlaget, som gjør det umulig å etterprøve NIFUs argumentasjon. Mangelen på etterprøvbarhet utgjør i seg selv en forskningsetisk problematisk begrensing, og fremstår som en klar mangel ved utredningen. Det er videre uklart om utvalget av innsigelser representerer en uttømmende liste eller bare gjelder de mest alvorlige, eventuelt om det er et tilfeldig utvalg av innsigelser. Forskerne som sitter som medlemmer i de ulike forskningsetiske komiteene kan vise til flere innsigelser til siteringsmålinger enn dem som er behandlet i utredningen, basert på deres egne erfaringer.

Kvalitetsbegrepet

Uavhengig av om det er en egen indikator eller en komponent i publiseringsindikatoren, ser det ut som departementet legger til grunn at mengden siteringer er et uttrykk for forskningskvalitet. Begrepet forskningskvalitet er derimot ikke definert eller forklart, verken i Kunnskapsdepartementets bestilling eller i utredningen fra NIFU.

Dersom det skal innføres en indikator for kvalitet i forskning, vil det være avgjørende å vite hva kvalitet er. I St.meld. nr. 20 (2004-2005) og St.meld. nr. 30 (2008-2009) presiserer departementet at forskningskvalitet ikke er et entydig begrep, men at det vanligvis består av fire hovedelementer: originalitet, soliditet, faglig relevans og samfunnsmessig eller praktisk nytteverdi. Det er uklart for FEK hvordan den foreslåtte siteringskomponenten kan måle og stimulere til forskningskvalitet slik begrepet er definert av departementet. I utredningen fra NIFU advares det mot å sette likhetstegn mellom siteringshyppighet og forskningskvalitet. NIFU skriver at siteringskomponenten «vil være en robust indikator som uttrykker internvitenskapelig innflytelse eller nytte» (s. 14 i utredningen, vår kursivering). FEK forstår dette som at den foreslåtte komponenten kun indikerer ett av de fire elementene i Kunnskapsdepartementets kvalitetsbegrep. Av denne grunn oppfatter FEK det som misvisende når siteringskomponenten omtales som en generell indikator for forskningskvalitet.

FEK er enige med Kunnskapsdepartementet i at arbeidet med forskningskvalitet har betydning, men stiller spørsmål om den foreslåtte siteringskomponenten vil bidra til å måle forskningskvalitet eller til å øke kvaliteten på norsk forskning. Tvert imot er det en stor fare for at den foreslåtte komponenten vil bidra til at kvalitetsbegrepet forringes ved at det bare fokuseres på ett av aspektene ved forskningskvalitet. Idet man kobler siteringer til penger skapes det en dynamikk som kan føre til at idealer for god forskning og idealer for god forskningskarriere kommer i spenn, som igjen kan true selve kvaliteten på forskningen. Avstanden mellom det som måles i siteringskomponenten til det som utgjør reell kvalitet i forskning, er for stor. Omtalen av siteringskomponenten bør derfor begrenses til det den faktisk måler: antallet siteringer, evt. med tillegg av internvitenskapelig innflytelse. Indikatoren bør under enhver omstendighet ikke omtales som måling av forskningskvalitet, og heller ikke som måling av kvalitet generelt. Her har departementet et særlig ansvar for å være ryddige og tydelige slik at en evt. komponent brukes og oppfattes korrekt, og for å unngå at den perverterer forskningssystemet.

Konsekvensanalyse

FEK registrerer at det ikke er utarbeidet en konsekvensanalyse for den nye siteringskomponenten, bortsett fra enkelte bibliometriske og økonomiske problemstillinger. KD har det overordnede ansvaret for forskningssystemet, herunder eventuelle utilsiktede eller uønskete konsekvenser den nye komponenten vil føre med seg. Noen konsekvenser kan allerede nå forventes, som at siteringskomponenten gis betydning på individnivå. Erfaringene fra publiseringsindikatoren tilsier at dette er en reell problemstilling. Ved å utrede mulige konsekvenser på forhånd, vil departementet ha en beredskap for å motvirke uønskede konsekvenser av siteringskomponenten. Problemstillinger som bør utredes, fortrinnsvis gjennom andre metoder enn bibliometri, inkluderer:

- Hvilke konsekvenser kan det gi når humaniora og deler av samfunnsvitenskapen ikke kan måles for «kvalitet»? Hva med tverrfaglige fagområder?

- Hvilke konsekvenser vil det ha for forskning i andre sektorer enn høyere utdanning?

- Hvilke konsekvenser har det for valg av publiseringskanaler – bøker vs. tidsskriftsartikler?

- Hvilke konsekvenser gir det for publisering av forskning? Oversiktsartikler og metodeartikler siteres mye, men bidrar ikke nødvendigvis til de største vitenskapelige fremskrittene. Kan komponenten virke konserverende på forskningsfronten ved å premiere eksisterende forskningstrender (i form av mange siteringer) på bekostning av nye ideer?

- Hvilke konsekvenser har det for norsk som fagspråk?

- Kan siteringskomponenten bli et insentiv for misbruk av kildehenvisninger? Forskeres ansvar for å vise til andres arbeid utgjør en grunnleggende forpliktelse som bunner i kollegialitet og sporbarhet, som igjen bidrar til kvalitetssikring. Hvilke konsekvenser har komponenten for forskeres kildebruk? Et reelt eksempel er forskere som ber om at en artikkel siteres i stedet for primærkilden som er en bok, fordi sistnevnte ikke gir uttelling i en siteringskomponent.

- Hvilke konsekvenser vil det gi for unge forskere? I noen fagmiljøer er det ikke tradisjon for at veileder står som medforfatter på stipendiaters publikasjoner - vil en siteringskomponent føre til utilbørlig press på stipendiatene og deres veiledere?

- Hvilke konsekvenser gir det for forskersamfunnet/forskerfellesskapet? Vitenskapen utgjør et fellesskap, og som forsker inngår man i et samfunn der man bygger på andres innsikter og arbeider tett med andre. En siteringskomponent fremstår som lite solidarisk; det knyttes insentiver til å sikte seg mot noen få som siteres mest, og ikke til å løfte andre miljøer.

- Hvordan unngå at komponenten brukes på individnivå? Hvordan unngå at den sprer seg til andre områder, som for eksempel kompetansevurderinger, offentlige godkjenninger (NOKUT) og tildeling av forskningsmidler?

3. Andre synspunkter på forslaget - innspill til det tredje spørsmålet i høringsnotatet

Kontrollmekanismer for å fange opp misbruk

Nasjonalt utvalg for gransking av redelighet i forskning (Granskingsutvalget – del av FEK) har nylig avgitt en uttalelse i en sak som gjaldt publiseringspraksisen til en tidligere forsker ved Universitetet i Agder. Granskingsutvalget fikk en ekstern sakkyndig til å vurdere om den omtalte saken gjaldt siteringskarteller. Den sakkyndige uttalte at

There are no established bibliometric methods to identify citations cartels or to differentiate between relevant and non-relevant citations…. As pointed out below it is very difficult to prove the existence of a citation cartel with statistics only. Nor is it possible to totally exclude the possibility that such a cartel exists.

Granskingsutvalget la frem den tilsynelatende motstriden mellom den sakkyndige uttalelsen og det som står i NIFUs utredning for Gunnar Sivertsen. Sivertsen forklarte at NIFUs forslag til siteringskomponent inneholder visse kontrollmekanismer som forhindrer misbruk, men at mekanismene ikke fremgår eksplisitt av utredningen.

Granskingsutvalgets behandling av publiseringssaken ved UiA viste at det var indikasjoner på at de forskningsetiske kriteriene for medforfatterskap ikke var oppfylt. Disse kriteriene inngår som kriterier i publiseringsindikatoren, som igjen betyr at publiseringsindikatoren kan ha ført til tilpasninger som er forskningsetisk tvilsomme. Granskingsutvalgets behandling viste videre at kontrollmekanismene i publiseringsindikatoren ikke fungerer. I et eventuelt videre arbeid med siteringskomponenten, vil FEK anbefale at Kunnskapsdepartementet avklarer og synliggjøre hvilke kontrollmekanismer som skal ligge til grunn for systemet. I tillegg bør det tydeliggjøres hvilket ansvar de ulike aktørene ha, slik at de blir i stand til å ta ansvar.

Forskningsetiske konsekvenser bør inngå i en konsekvensanalyse før innføring, jf. ovenfor, samt i fremtidige evalueringer av publiseringsindikatoren (med eller uten siteringskomponent).

De nasjonale forskningsetiske komiteene bistår gjerne med råd om forskningsetikk, og ser frem til videre samarbeid på området.

[...]

• Espen Engh, Direktør
• Dag Bruusgaard, leder NEM
• Øyvind Mikkelsen, leder NENT
• Bjørn Hvinden, leder NESH
• Jacob Hølen, sekretariatsleder NEM
• Helene Ingierd, sekretariatsleder NENT
• Vidar Enebakk, sekretariatsleder NESH