- Prioriter forsking vi kan gjenta

Folk er subjektive vesen som juksar, slurvar og gjer feil. For at noko skal vere vitskap, må objektiviteten sikrast. Andre må ha mogelegheit til å gå arbeidet etter i saumane. Det kallast etterprøving.

Når dokumentasjonen av forskingsprosessen er god og tilgjengeleg, blir det mogeleg for uavhengige forskarar å gjere heile eller delar av arbeidet omatt – for å sjå om resultatet blir nokon lunde det same. Debatten rundt temaet har flamma opp den siste tida. På fleire fagfelt har til dels oppsiktsvekkande mange forskingsfunn ikkje vore mogelege å reprodusere (sjå faktaboks). Dette har ført til spørsmål kring verdien av dei originale funna – og enkelte har trekt heile fagfelt i tvil.

Praktisk vanskeleg

Geir Kjetil Sandve forskar på biomedisinsk informatikk ved Universitetet i Oslo (UiO) og veit kor praktisk vanskeleg etterprøvinga kan vere. Fleire gonger har han og mastergradsstudentane han rettleier prøvd seg på reproduksjon.

– Ved å få tak i data frå originalarbeid og gjere utrekningar og analyser på nytt, kan ein setje seg effektivt inn i eit felt, forklarer Sandve.

Bioinformatikk handlar dessutan myke om å utvikle metodar. Det kan vere interessant å prøve desse på andre sitt arbeid og samanlikne resultata. Problemet er at det nesten aldri fungerer.

– Det har ikkje vore nok detaljar i artiklane – sjølv frå tidsskrift som Nature. Då har vi kontakta forfattarane, men utan å få gode nok svar, seier Sandve.

Han meiner det berre er nokre få vitskapelege tidsskrift som går i bresjen og legg skikkeleg til rette for etterprøving. Konsekvensen er at få tek seg tid til slikt, trur Sandve.

Publiserer likevel

Mange tidsskrift ser gjennom fingrane med forsking som er vanskeleg å nøste opp i, trass i eigne retningsliner, meiner Joar Øveraas Halvorsen, psykolog og forskar ved Nidaros DPS ved St Olavs Hospital i Trondheim.

Dei største tidsskrifta innan klinisk psykologi og klinisk medisin er samde om
berre å publisere kliniske studiar der forskingsprotokollen er publisert i offentlege databasar på førehand.

Slike protokollar skildrar i detalj kva forskarane vil finne ut, og korleis dei skal gå fram. Etterpå blir det enklare å sjå om strikken blei strekt for langt. Om protokollen skildrar noko anna enn den publiserte artikkelen, er det eit raudt flagg. Halvorsen er oppgitt over at retningsliner av denne typen kun blir etterlevd i avgrensa grad.

– Når tidsskrifta får inn sexy forskingsresultat, publiserer dei gjerne likevel, trass i at førehandsregistreringa manglar, seier psykologen.

Fisketur

Han understrekar at ein aldri kan stole på enkeltvise funn. Forskarar kan ha eigeninteresser både økonomisk og intellektuelt som påverkar resultata. Ein del statistisk signifikante funn kjem av tilfeldig variasjon. Dersom ein forskar prøvar ut ulike analysemetodar på jakt etter noko å publisere, aukar faren for slike falske positive. Halvorsen meiner vi her står ved kjernen av det som blir kalla tvilsam praksis i forsking.

– Ein samlar inn store mengder data og set i gong med analysar utan å ha ein plan. Enkelte nyttar uttrykket «å dra på fisketur», seier han.

Sandve skildrar problemet på denne måten:

– Det kan vere mykje prøving og feiling i forskingsprosessen. Ein startar kanskje med ti ulike mogelegheiter og tek ikkje bryet med å notere ned alle detaljar før ein kjem over noko som fungerer.

«Forskingsparasittar»

Dessutan er det lite prestisje å hente for forskarar som vil reprodusere andre sitt arbeid. «Forskingsparasittar» var omgrepet som blei brukt av to redaktørar i ein kommentarartikkel i New England Journal of Medicine i januar.

– Sjølv om dei fleste er samde i at reproduksjon er viktig, så har ein synda mot det. Auka fokus på temaet er på høg tid, seier Halvorsen.

Han meiner forskarar bør vere forplikta til å gjere data tilgjengelege når finansieringa stammar frå det offentlege. Han etterlyser også meir fokus på reproduksjon frå institusjonane som løyver pengar.

Dei som har lyst å gjere den typen studiar, bør få finansiering. Finansieringsinstitusjonane bør også legge vekt på mogelegheitene for reproduksjon ved vurdering av metodedelen i eit prosjekt.

– Dersom det står mellom ein studie med ein sexy hypotese, og ein reproduksjon med god metode, meiner eg det er reproduksjonen som bør få finansiering, seier Halvorsen.

Han har ikkje sett at Forskingsrådet eller andre norske finansieringsinstitusjonar har hatt eksplisitt fokus på dette. Det same rapporterer Sandve:

– Eg har høyrt forskarar seie det er flott med reproduserbarheit, men at det ikkje opnar dører hjå Forskingsrådet, seier han.

Automatisk loggføring

Bioinformatikaren har trur på å bruke og utvikle system som automatisk loggfører statistiske utrekningar og endringar i data.

– Med dagens publiseringspress nyttar det ikkje å moralisere for å få folk til å loggføre prosessane meir nøyaktig. Det er betre med rutinar der ein nesten ikkje treng tenkje på dette, seier Sandve.

Han arbeider i systemet Galaxy, som UiO har satsa på som plattform for sine nettportalar innan livsvitskap.

– Dette er eitt av dei fremste systema i verda når det gjeld automatisk sikring av mogelegheitene til å kunne reprodusere forsking. Bruken er ikkje avhengig av forskingsdisiplinen, seier Sandve.

Verdifullt også utan robuste funn

Der omattforskinga til slutt viser nok anna enn originalforskinga, vil det ikkje nødvendigvis seie at den avkreftar dei føregåande resultata. Det inneber likevel at vi ikkje kan vere trygge på at originalfunna var robuste. Det treng på si side ikkje bety at den første forskinsinnsatsen taper verdi.

– I mi verd fins det ikkje feil forskingsfunn med mindre det er snakk om juks eller metodiske feil. Testing av hypotesar som viser seg å ikkje stemme, har like stor verdi som forsking der hypotesane blir stadfesta, seier Halvorsen.

– Eit grunnleggande krav til all forsking

Forskingsrådet kunne kanskje finansiert fleire reproduksjonar, seier administrerande direktør Arvid Hallén.

Han meiner det er svært viktig at forskingsresultat lar seg reprodusere.

– Ein enkeltståande studie vil normalt ikkje vere avklarande, men når fleire studiar kan stadfeste resultata, blir forskinga ny kunnskap, seier Hallén.

– Er reproduserbarheit eit sjølvstendig kriterium i søknadsprosessane?

– Reproduserbarheit er eit grunnleggande krav til forsking. Våre prosjekt blir vurdert ut frå vitskapeleg kvalitet. Dei internasjonale ekspertane vi brukar, er raske til å påpeike svak metodisk kvalitet i søknadane.

– Finansierer Forskingsrådet reproduksjonsstudier – eventuelt kor mange?

– Vi har ikkje eit system der vi registrerer talet på reproduksjonsstudier vi finansierer, men det er ikkje umogeleg at vi burde hatt fleire enn det vi har.

– Har Forskingsrådet på andre måtar signalisert til norske forskarar at reproduserbarheit er viktig?

– Søkarane til Forskingsrådet må gjere grundig greie for design, metode og gjennomføring. Krav om lagring av forskingsdata er éin måte å gjere forskinga etterprøvbar på.

– Meiner Forskingsrådet at reproduksjonsstudier er viktige?

– Ja, og medvitet kring dette hjå oss og i forskingsmiljøa er aukande. Summen av forsking, inkludert reprodusering og overlappande studiar, gir solid kunnskap, seier Hallén.