Å kjempe mot papirmøller

Det var nytt for meg at en hel artikkel kunne være falsk! Det er veldig trist. Situasjonen var ille nok i Kina fra før, men den er altså mye verre enn jeg hadde trodd, sier «Morty.»

Papirmølle er kallenavnet på lyssky selskaper som etter alt å dømme tar seg av artikkeljobben fra A til Å; fra produksjon av falske data og artikkelskriving til publisering i et respektabelt internasjonalt tidsskrift.

Fenomenet har vært kjent i noen år, men de siste månedene har omfanget virkelig kommet for en dag. Sammen med et liten gruppe ubetalte, selvutnevnte detektiver i redelighetens tjeneste har «Morty» vært med på å hekte den ene artikkelen etter en andre til én og samme papirmølle i Kina.

– Situasjonen er uoversiktlig. Vi tror at det vi har funnet til nå kun er en liten del av en omfattende, systematisk falsifisering av forskningslitteratur, forteller «Morty».

Foreløpig har han vurdert det slik at det ville være altfor tidkrevende og sannsynlig­vis skadelig for karrieren å stå fram offentlig med innsatsen han gjør for å rydde opp i andres forskning. Derfor skjuler han seg bak identiteten «Morty» når han Twitrer om funn og mistanker, og også i denne artikkelen.

Vitenskapelig «Bildelotto»

Til daglig jobber Morty ved en større medisinsk forskningsinstitusjon i Norge. Siden 2013 har han brukt mye av fritida på en slags vitenskapelig form for «Bildelotto». Da setter han seg foran PC'en og leter etter forskningsartikler med problematiske bilder.

Det er som regel ikke snakk om bilder slik vi bruker det i dagligtalen, men vanligvis illustrasjoner og figurer som viser biomedisinske forskningsdata: Proteiner som er undersøkt med en metode kalt western blotting, cellers egenskaper målt med flowcytometri og plottet inn i histogrammer, og celler og vevsprøver vist i mikroskopibilder.

Morty forteller at identisk duplisering, hvor nøyaktig samme bilde er brukt flere ganger, er den mest åpenbare formen for problematisk bildebruk.

Ett bilde gir seg da for eksempel ut for å illustrere forskjellige eksperimenter.

– Så lenge man ikke har gjort noe med selve bildet, kan det være snakk om «honest mistakes», altså at forskerne ved en feiltagelse har brukt feil bilde, forteller han.

Andre ganger er det snakk om forfalskning, fabrikkering og regelrett fusk. Et utsnitt fra ett mikroskopibilde kan for eksempel både være rotert, speilvendt og forstørret, og deretter plassert inn i et annet bilde igjen.

– Da er det ingen tvil, oppsummerer Morty.

Photoshoppede proteiner

Forskeren kom på sporet av den kinesiske papirmøllen (se faktaboks) ved en tilfeldighet.

– De to første eksemplene fant jeg ironisk nok da jeg tok for meg noen tilfeldig utvalgte publikasjoner for å undersøke om problemet med data­duplikasjoner er blitt mindre, forteller han.

Han la ut artiklene på PubPeer, som er et diskusjonsforum for forskere (se faktaboks). Han diskuterte også eksemplene med den lille gruppa bildejegere. Sammen med Morty utgjør de et uformelt team som hovedsakelig kommuniserer via Twitter.

– En av de andre i teamet, «Smut», fant straks flere liknende eksempler, sier Morty.

Artiklene som Morty og samarbeidspartnerne mener stammer fra en og samme papirmølle, har flere særegne trekk. Men det mest karakteristiske er visse kjennetegn i western blot-bildene.

Nå sitter Morty foran PC-en på jakt etter flere artikler å plotte inn i papirmølle­skjemaet. Han får raskt napp.

– Se her – dette ser shady ut med én gang. Informasjonen som dette western blot-et gir, er meningsløs. De båndene skal ikke være så feite, de er overeksponert. Og så er de diffuse, det er et dårlig tegn, da blir jeg mistenksom med én gang.

Proteinene kommer til uttrykk som svarte bånd i forskjellige størrelser, fasonger og nyanser. I utgangspunktet skal ingen av dem være like.

Med øyne som er vant til å skanne side opp og side ned, oppdager Morty og kollegene raskt gjentagende mønstre og fasonger. Med litt Photoshop-aktivitet kan de også fastslå om figurene har et annet karakteristisk trekk:

– Hvis vi justerer kontrasten, trer bakgrunnen tydeligere fram. I papirmølle­artiklene ser vi da at bakgrunnen er helt lik, både fra figur til figur og i ulike artikler. Det er unaturlig, forklarer Morty.

Artikkelen han skroller gjennom nå, er publisert i Journal of Cellular Biochemistry, et relativt anerkjent tidsskrift. Han trenger bare finstille blikket litt før han slår fast at proteinbildet han har foran seg, er manipulert.

– Denne havner på lista, konkluderer han.

Har sett gjennom 60 000 artikler

På den andre siden av Atlanteren, i San Fransisco, sitter en av Mortys allierte også foran PC-en med blikket intenst fokusert på artikler som potensielt kan være rullet ut av en kinesisk papirmølle.

Det er straks midnatt, men Elisabeth Bik har fortsatt flere oppgaver hun skal krysse av før hun lukker PC-en. Én av dem er intervjuet med Forskningsetikk. Hun har sluttet i jobben som forsker for å bli ubetalt bildedetektiv på heltid, men dagen strekker fortsatt ikke til.

– Det er tøft å være uten fast inntekt, men jeg kan gjøre mer for forskningen nå enn da jeg var ansatt, mener Bik.

I 2016 publiserte hun og to andre forskere en artikkel om forekomsten av upassende bildeduplisering i over 20 000 biomedisinske forskningsartikler. Artiklene stammet fra 40 tidsskrifter i perioden 1995–2014. Problematiske bilder er urovekkende vanlig, lød konklusjonen.

– Nesten fire prosent av artiklene inneholdt problematiske bilder, spesielt knyttet til western blots. Minst halvparten av disse bildene igjen hadde trekk som tydet på bevisst manipulering, forteller Bik.

Siden da har Bik latt øynene sveipe over endeløse rekker av bilder. Hun anslår at hun nå er oppe i 60 000 gjennomgåtte artikler, og totalt 2000 dupliserte bilder.

– Jeg har visst et bra blikk for dette. Mange sier at vi må bruke software til å screene artikler for dupliseringer. Men for meg er en duplisering i mange tilfeller like åpenbar som at det er Eiffeltårnet man ser på et bilde.

Slår alarm

Mens Morty og de to andre i den lille bildejegergruppa er anonyme, er Elisabeth Bik den som står fram og gir arbeidet et ansikt. Hun innrømmer at hun i noen tilfeller har tenkt at «søren, dette burde jeg gjort anonymt». Som den gangen det viste seg at en kinesisk toppforsker med tette bånd til myndighetene stod bak artiklene hun stilte kritiske spørsmål ved på PubPeer.

I stedet for å lage vanskeligheter for Bik tillot myndighetene overraskende nok at kinesiske medier omtalte saken. Forskeren selv svarte på noen få av de femti innleggene på PubPeer og forklarte seg med at det hadde skjedd en feil.

– Men de fleste av sakene så ut til å være manipulasjon av bilder, og de svarte han ikke på. Jeg kontaktet rundt 30 tidsskrift. Hittil har ingen av artiklene blitt trukket tilbake, sier Bik.

Papirmøllesaken hun er med og ruller opp nå, er av en helt annen dimensjon.

«I'm ringing the alarm», skrev Bik på Twitter i slutten av februar og fortalte følgerne om de mer enn 400 artiklene som var funnet da. Hun gjorde også oppmerksom på at de i tillegg hadde funnet titalls andre artikler som kanskje er del av andre papirmøller. «Jeg er redd det kan være hundrevis av artikler til», fortsatte hun.

I skrivende stund er antall artikler oppe i 439 fra den ene store papirmøllen.

Kastet bor tid og penger

Mortys interesse for feil og fusk i ­forskningen ble vekket da nettforumet PubPeer ble etablert i 2012. Samtidig støtte han på hindringer i sin egen forskning.

– I relevante artikler opplevde jeg flere ganger at det var noe rart, som at samme bilde var brukt to ganger. Gjentatte ganger prøvde jeg også å reprodusere andres forskningsresultater uten hell. Jeg brukte tid og penger på dette, og ble frustrert og sinna, forteller han.

I løpet av årene har det gått opp for ham at situasjonen er mye verre enn han hadde trodd.

– Avsløringene rundt papirmøllene viser at noe fundamentalt må endres i vitenskapelig publisering, hevder han.

Morty mener systemet har sviktet totalt: Institusjonene har ikke sjekket forskningen de sender fra seg. Fagfellene burde stanset artiklene før de ble publisert, og forlagshusene har ikke vært kritiske nok når det gjelder å kvalitetssikre artikler de publiserer.

National Library of Medicine i USA er i praksis portvokter for artiklene som legges inn i de største databasene for medisinsk forskning, MedLine og PubMed. De har latt altfor mange artikler passere, ifølge Morty.

Foreslår et forskningens «WADA»

Elisabeth Bik mener upassende bildebruk generelt sett er et stort problem.

– Ny forskning bygger på tidligere forskning ved at man refererer til publiserte artikler. Artiklene er som mursteiner i et bygg. Hvis noen av mursteinene ikke er solide, kan hele bygget rase, illustrerer hun.

Papirmøllesaken har gjort henne mer bekymret på forskningens vegne, og nå frykter hun at det er en stor, ukjent andel av forskningslitteraturen som er fullstendig fabrikkert. Samtidig kommer bilde­jegerne over stadig mer avansert manipulering som er vanskelig å avdekke.

Både Bik og Morty mener det må gjøres flere og store grep for å stanse papirmøllene i Kina og å få hele den store forskningsskuta på rett kjøl igjen. De håper arbeidet de gjør, kan skape bevissthet om problemet.

– Jeg vil vise hvor lite noen forleggere gjør med problemet. For flere år siden rapporterte jeg mulige feil i til sammen 800 artikler. Bare én av tre har blitt korrigert eller trukket tilbake. Jeg bruker vanligvis noen sekunder å oppdage disse tingene, da burde det ikke ta fem år å ta en avgjørelse, sier Bik.

Hun etterlyser modigere redaktører som både tar varslere på alvor og som selv tar ansvar for å rydde opp. Allerede publiserte artikler må gås gjennom med et kritisk blikk. Men viktigst av alt – tidsskriftene må ansette profesjonelle folk som screener artikler for problematiske bilder før publisering.

– Slik kan uklarheter fanges opp og oppklares, eller artikler avvises, før andre forskere ser dem og prøver å replikere dem, sier Bik.

Morty mener det trengs en kontrollinstans på overordnet nivå. Han trekker paralleller til idrett der man har WADA, Verdens antidopingbyrå.

– Vi trenger en internasjonal organisasjon som er uavhengig, men med penger og makt, som både kan kreve tilbake­trekkinger og sparke ut de useriøse tidsskriftene fra indeksering i MedLine/PubMed. Feilaktig informasjon bygget på falsifisering må rett og slett bli gjort utilgjengelig for forskere.

For å få bukt med trenden de kinesiske papirmøllene står for, må man gå hardt til verks, mener han.

– Tidsskriftene burde stoppe inntak av alle artikler fra Kina for en periode, for å signalisere til myndighetene i Kina at de må rydde opp. Det vil også ramme ærlige forskere, men situasjonen er så ille at den krever drastiske tiltak.

 Les mer: Norske forskere feiler også med bilder

 
Wiley øker screeningaktiviteten

Det akademiske forlaget Wiley skal sørge for at flere bilder sjekkes før publisering.

Wiley utgir flere av tidsskriftene som har publisert artikler fra de kinesiske papirmøllene.

Forlaget understreker at det er opptatt av å opprettholde en etter­rettelig forskningslitteratur og å verne om offentlighetens tillit til forskning.

– Vi tar forskningsintegritet på alvor, og undersøker alle påstander om falske data eller bilder i henhold til COPE-retningslinjene, skriver Wiley i en e-post til Magasinet Forskningsetikk.

I noen av forlagets tidsskrifter screenes bildene allerede. Nå planlegger Wiley også en screeningtjeneste for i alle fall to av tidsskriftene involvert i papirmøllesaken: Journal of Cellular Biochemistry og Journal of Cellular Physiology.