Tviler på at etikken strekker til i KI-utviklingen

– Når jeg snakker med ledende forskere innen kunstig intelligens, sier de at dette er deres Oppenheimer-øyeblikk. 
 
Det uttalte regissør Christopher Nolan til NBC News i sommer. Anledningen var lanseringen av filmen om den teoretiske fysikeren som under andre verdenskrig ledet USAs atom­våpenprogram. 
 
– Disse forskerne ser nå til J. Robert Oppenheimers historie for å forstå ansvaret sitt når de utvikler teknologi med mulige utilsiktede konsekvenser, fortsatte Nolan. 

Katastrofebilder

Forskningen på kunstig intelligens (KI) utvikler seg veldig raskt, og teknologien påvirker allerede de fleste samfunnsområder. Mange katastrofescenarioer og advarsler sirkulerer. Menneskehetens utslettelse er ett av dem. Det blir tegnet abstrakte bilder av superintelligente, muligens bevisste og ukontrollerbare maskiner. 
 
Sentrale aktører signerte i vår et opprop om å sette de store KI-eksperimentene på pause, et såkalt moratorium. Forskningen og utviklingen har siden fortsatt med full kraft, også blant de som signerte – for eksempel Elon Musk. Noen få måneder etter oppropet lanserte han sitt eget KI-selskap. 
 
Mer jordnære problemstillinger må slåss for å ikke drukne i alt dette: spørsmål om personvern og overvåkning, slagsider og diskriminering, dypforfalskninger, autonome systemer, manglende regulering, gjennomsiktighet og ansvar, kreativitet og eierskap, manipulasjon og misinformasjon, økende fremmedgjøring og så videre. 
 
Har vi lært nok av tidligere samfunnsomveltende forskning til å møte denne utviklingen på en god måte? Hvordan har synet på potensielt farlig forskning utviklet seg innad i forskningsmiljøene?  

En ukontrollert kjedereaksjon 

Beregningene viste at det var høyst usannsynlig, men Oppenheimer og kollegaene kunne ikke utelukke at den første prøvesprengningen av en atombombe ville starte en ukontrollert kjedereaksjon med antenning av atmosfæren og ødeleggelse av verden. 
 
Det skjedde ikke. Den nye filmens siste scene viser et møte med Albert Einstein etter krigen, der Oppenheimer uttrykker at han likevel tror han har vært med på å starte en verdensødeleggende kjede­reaksjon. 
 
Én tolkning er at han tror det kjerne­fysiske kappløpet vil føre til at menneskene til slutt utsletter seg selv. En annen tolkning er at han ser for seg hvordan selv udetonerte atombomber får så stor og negativ innvirkning på verden og samfunnet at det blir en ødeleggelse. 
 
– Det hadde han kanskje rett i. Atomvåpnenes tilstedeværelse endret jo verden fullstendig, sier professor emeritus Ragnar Fjelland ved Senter for vitenskapsteori ved Universitetet i Bergen (UiB). 
 
Han er fysiker og filosof, og tidligere medlem av både Den nasjonale forskningsetiske komité for naturvitenskap og teknologi (NENT) og Teknologirådet. 

Forskningsetiske vannskiller

Lidelsene og ødeleggelsen som atombombene påførte japanske sivile i Hiroshima og Nagasaki, og nazistenes medisinske eksperimenter på mennesker i konsentrasjonsleir, har blitt stående som skjellsettende forskningsetiske vannskiller. 
 
I Nürnbergprosessene ble leger som hadde eksperimentert på fanger, dømt for krigsforbrytelser. I kjølvannet kom Nürnbergkodeksen, et dokument med etiske standarder for medisinsk forskning på mennesker. 
 
Viktige etiske prinsipper ble meislet ut, for eksempel frivillighet og informert samtykke. Helsinkideklarasjonen fra 1964 bygde videre på dette. 
 
– I fysikken var det mye mer problematisk å enes på den måten. Sterke krefter ville bare ruste opp. Mange fysikere deltok villig i dette, men det var også en veldig klar opposisjon, sier Fjelland. 
 
Flere som deltok i Manhattan-prosjektet, var imot at atombomben skulle brukes. Den polske fysikeren Joseph Rotblat var likevel den eneste forskeren som forlot Manhattan-prosjektet av moralske grunner. 
 
I 1943 skjønte han at tyskerne ikke ville klare å utvikle noen atombombe før krigen var over, og at amerikanernes motivasjon for å likevel fortsette utviklingen handlet mer om forholdet til Sovjet­unionen. Det ville han ikke være med på. 

Startskudd i fiskerlandsby  

I 1947 skrev Einstein et brev til FNs generalforsamling. Han mente den teknologiske utviklingen ikke hadde bidratt til å øke stabiliteten og menneskehetens velferd, men heller bidratt til farene som truet freden og menneskenes eksistens. 
 
Den danske fysikeren Niels Bohr reiste rundt og snakket med mange statsledere om sin bekymring.  
 
– De ville ikke høre på ham. De ville bare starte opprustningen, sier Fjelland. 
 
Bohr skrev også brev til FN i 1950, hvor han understreket at vitenskapelig fremgang bare må brukes til menneskehetens beste. 
 
I 1955 kom Russel-Einstein-manifestet hvor Bertrand Russell, Albert Einstein, Joseph Rotblat og andre ledende forskere advarte mot atomkrig. Dette førte til en lang rekke konferanser, først i den lille kanadiske fiskerlandsbyen Pugwash. 
 
Pugwash-bevegelsen lever fremdeles. Nobels fredspris ble i 1995 delt mellom Joseph Rotblat og organisasjonen. Nobelkomiteen skrev at et av de viktigste temaene for Pugwash var ansvaret vitenskapen har overfor samfunnet. 
 
– Her er det kanskje mer å lære av Rotblat enn av Oppenheimer, mener Fjelland. 

Første indre motreaksjon 

Matthias Kaiser er også professor emeritus ved UiBs Senter for vitenskapsteori. Frem til 2019 ledet han senteret, og han ledet NENT fra 1991–2011. 
 
– Før Manhattan-prosjektet fantes en holdning i forskningsmiljøene om at kunnskap alltid ga positiv utvikling for samfunnet. Bare man ga forskerne frie tøyler, så ville det komme noe godt ut av det. Denne troen på automatisk fremskritt fikk en knekk under andre verdenskrig, sier han. 
 
Kaiser beskriver Pugwash-bevegelsen som den første motreaksjonen på denne holdningen innad i forskningsmiljøene. 
 
– Senere kom lignende reaksjoner på mange andre områder også. Bevisstheten rundt utilsiktede konsekvenser av forskning ble større, sier han. 
 
Reaksjonen på den såkalte grønne revolusjonen som ble lansert på 1960-tallet, er ett eksempel. Man skulle øke produksjonen i landbruket ved å bruke insektmidler og ugressmidler. 
 
– Den medfølgende ødeleggelsen av biodiversitet førte til mer aktiv tenking på økologi, påpeker Kaiser.  

ELSA og RRI førte til endring

På 1970-tallet kom muligheten for å spleise gener eller biter av DNA fra ulike organismer. Det utløste først et moratorium, senere retningslinjer for forsvarlig bruk av teknologien. 
 
Kartleggingen av det menneskelige genom tok dette videre, og enda mer vekt ble lagt på forholdet mellom vitenskap, teknologi og samfunn. I Human Genome Project skulle tre–fem prosent av pengene gå til forskning på etiske, juridiske og samfunnsmessige aspekter (ELSA). Dette startet en internasjonal trend med ELSA-forskning som følgeforskning. 
 
Etter hvert dukket det opp kritiske røster som ønsket slike perspektiver mer integrert i forskningen og utviklingen. Begrepet ansvarlig forskning og innovasjon (responsible research and innovation, RRI) dukket opp. 
 
Her ble det understreket at forskere, utviklere, forvaltere og andre samfunns­aktører og interessenter har et ansvar for å forholde seg aktivt til hverandre og arbeide for at forskingsresultater og teknologi blir etisk akseptable, bærekraftige og ønsket av samfunnet. 
 
– Utviklingen førte til en oppfordring om at vitenskapen skulle ta et større sosialt ansvar. Den gode nyheten er altså at mange på forskningsfeltet har erkjent at det er et behov for å forsikre seg om at det ikke går den gale veien, sier Kaiser. 

Ser etikken som brems 

I EUs forrige forskningsprogram, Horizon 2020, ble RRI et hovedfokus og tverr­gående prinsipp. Underprogrammet Science with and for Society var en viktig finansieringsmotor, men i EUs nåværende forskningsprogram, Horizon Europe (HE), er dette lagt ned. Å fremme RRI finnes likevel som målsetting i det overordnede rammeverket for HE. 
 
– Forskningen på forskningsetikk har fått dårligere kår, sier Rasmus T. Slaattelid, nåværende leder for UiBs Senter for vitenskapsteori. 
 
Han trekker frem finanskrisen som en viktig forklaring. 
 
– Europa skulle innovere seg ut av uføret. Det ga grobunn for holdninger om at for mye etisk refleksjon kunne bremse takten, fortsetter han. 
 
Slaattelid understreker at alle forskere har et selvstendig ansvar for å gjøre en etisk vurdering av eget arbeid, men også tenke gjennom hvordan forskningen kan bli brukt av andre.  
 
– I Norge er det NENTs retningslinjer som er mest radikale i å spesifisere forskeres ansvar for å vurdere dette, sier han. 
 
De slår fast at forskningen har et selvstendig ansvar for egen rolle i samfunnsutviklingen. Forskerne har selvstendig ansvar for at forskningen direkte eller indirekte skal komme samfunnet til gode, og for å minimere risiko. 
 
Der forskningen kan misbrukes til å svekke individenes selvbestemmelse, menneskeverd og demokratiske rettigheter, skal forskerne gjør det de kan for å hindre dette, og for å ikke bli delaktige i slik misbruk.  
 
– Dette gjelder grunnforskning så vel som anvendt forskning og teknologiutvikling, sier Slaattelid. 

– Syting og sutring 

Den første mottakelsen av denne typen etiske retningslinjer i Norge var ganske negativ, husker professor emeritus Fjelland, som satt i NENT fra opprettelsen i 1991 og frem til 1999. 
 
– Flere mente det var å kreve for mye at man skulle ha ansvar for å vurdere de samfunnsmessige implikasjonene. Det ble mye syting og sutring, og enkelte oppfattet det som tull, sier han. 
 
Fjelland peker på at forskere blir mer og mer spesialiserte. Da er det lett å gjemme seg bak at man bare jobber med en liten bit, og kanskje stille seg uforstående til hvordan man skal kunne ha oversikt nok til å vurdere helheten. 
 
– Veien er lang fra å opprette en etisk komité og lage etiske retningslinjer til at dette gjennomsyrer forskningsmiljøene, sier Fjelland. 
 
Når det gjelder kunstig intelligens spesielt, publiserte NENT i 2019 en egen betenkning som går i dybden på hvordan forskningens samfunnsansvar bør forstås. 

Mangler insentiver

De forskningsetiske retningslinjene er altså på plass, og det finnes store mengder RRI-forsking som viser hvordan etikken kan anvendes i praksis. Fjelland er likevel ikke så sikker på om utviklingen er kommet så mye lenger i dag enn da han var student på 60- og 70-tallet. 
 
– Spørsmålet er hvordan vi kommer fra prinsippene, som det ikke koster så mye å si seg enig i, til hva vi skal gjøre i det praktiske. 
 
Kaiser sier noe av det samme. 
 
– Fortsatt blir etikken ofte et fikenblad. Man vil gjerne krysse den av på huskelista og få et stempel som viser at man er etisk ansvarlig. 
 
De genuine og åpne etiske diskusjonene er fremdeles vanskelige å få til, blant annet fordi insentivene mangler, mener han. 
 
– Det er en skandale at forskersamfunnet er så tause som vi er om den lille andelen av forskningen som har mulige farlige konsekvenser. Se for eksempel på den norske utredningen av dyphavsgruvedrift. 
 
Kaiser tror den offentlige debatten er viktigere enn etiske komitéer ved slike korsveier, og at en større del av forsker­samfunnet må melde seg på. 

Rot i sysakene 

Anders Braarud Hanssen ved NTNU er teknologifilosof og leder Senter for digitalt liv Norge. Han mener det er viktig å forstå at kunstig intelligens, på et helt grunn­leggende nivå, ikke er en nøytral eller objektiv databehandler. 
 
– Algoritmene som utvikles, og datasettene som brukes til å trene dem, er ikke nøytrale. De har ulike typer forutinntatthet. Dette trenger ikke være et problem, om vi vet hva antagelsene er. Det kan raskt bli et stort problem om vi ikke vet, sier han. 
 
Hanssen tror alle aktørene, inkludert forskerne, må tvinges til å pakke ut sine antagelser, både faglige og verdimessige, hvis kunstig intelligens skal utvikles på en ansvarlig måte. 
 
– Jeg er ikke optimist. Om 10–15 år tror jeg vi kommer til å kjenne på at vi ikke hadde orden i sysakene, altså at det ikke var en god dialog mellom forvaltningen og forskningsmiljøene bak kunstig intelligens, sier Hanssen. 

Må ikke få sitte i fred

– Forskningsetikken er veldig viktig, og vi trenger den i dag enda mer enn før, men den er ikke nok. Vi trenger sterkere verktøy, mener teknologifilosofen. 
 
Han mener det er sentralt å øke forskningsmiljøenes forståelse av at de må lytte til andre stemmer og narrativer rundt teknologiutvikling enn de har pleid å gjøre – for eksempel brukere, sårbare grupper eller folk i interesseorganisasjoner. 
 
– Etikken er teoribasert. Vi kan heller kalle det et moralsk ansvar. Forskere og utviklere må ikke få sitte på kontorene eller laboratoriene sine i fred, slik de kanskje aller helst vil. Vi kan ikke stole på at de fokuserer nok på usikkerhet, for det er ikke i deres interesse, sier Hanssen. 
 
Kjetil Rommetveit er professor ved Senter for vitenskapsteori ved UiB og forsker på politisk styring gjennom store digitale systemer. Han er helt enig i at veien å gå er samarbeid på tvers – av både fag, samfunnssektorer og stater. 
 
– Dette må løftes opp på et kollektivt nivå, så vi får til en form for forpliktende regulering som virker på tvers av de som utvikler, finansierer, implementerer, bruker og regulerer kunstig intelligens, sier han. 

Forskningsetikken er veldig viktig, og vi trenger den mer enn før, men den er ikke nok. Vi trenger sterkere verktøy.
Anders Braarud Hanssen

I en situasjon hvor sterke aktører posisjonerer seg geopolitisk, er det ikke så enkelt å se for seg hvordan dette skal skje. 
 
– Jeg ser konturene av noe nytt i for­søkene på å designe etikk inn i infrastrukturen gjennom standardiseringsprosesser, som for eksempel i EUs personvernforordning (GDPR) og i forslaget til EUs lov om kunstig intelligens, sier Rommetveit. 
 
Forslaget forsøker å få i stand en risikovurdering basert på teknologiens konkrete anvendelser. Ulike typer teknologi er gradert fra minimal risiko til uakseptabel risiko. I den siste kategorien finner vi for eksempel kognitiv manipulasjon, sosial rangering og ansiktsgjenkjenning. 
 
– Dette forutsetter imidlertid at offentlige institusjoner har en makt som de kanskje ikke har, siden feltet er så sterkt preget av private aktører som gjerne handler i samsvar med militære interesser og lignende, forklarer Rommetveit. 

Ned på jorda 

Både Hanssen og Rommetveit mener et viktig første skritt er å få bukt med teknologideterminismen. Dette er forestillingen om at den teknologiske utviklingen dundrer i vei, og at vi bare må henge med for å unngå å sakke akterut. 
 
På dette punktet er parallellen til Oppenheimer og Manhattan-prosjektet tydelig. Mange forskere ble med fordi de trodde de var i et kappløp med fysikere i Tyskland. 
 
Ulike aktører kan ha en egen interesse av å opprettholde et slikt bilde.  
 
– Forslaget om et moratorium på utvikling av kraftig kunstig intelligens var ikke helt troverdig, fordi man snakket om at kunstig intelligens kan ta over verden eller utslette menneskeheten. Det nærmer seg science fiction og tilskriver teknologien en veldig stor makt, sier Rommetveit. 
 
Han tror slik oppblåsning bidrar til å fremme agendaen til aktører som signerte oppropet, samtidig som det får dem til å fremstå som ansvarlige. 
 
– De enorme dystopiene og utopiene bygger opp under teknologideterminismen og skaper resignasjon og en følelse av avmektighet. Dette tar oppmerksom­heten bort fra de mer jordnære problemene som er potensielt farlige, sier Rommetveit. 
Rommetveit mener det er viktig å huske at teknologien ikke lever sitt eget liv, men at det alltid er menneskelige prosesser i bakgrunnen. 
 
– Det er disse vi bør se på. Her er det dypt problematiske ting, sier han. 
 
Spørsmålet er hvem som skal legge til rette for dette. Hanssen beskriver et forskningspolitisk vakuum. 
 
– Nå mangler øremerkede midler til RRI-forskning. De etiske, juridiske og samfunnsmessige aspektene skal integreres mer i alle forskningsprosjekter, i strate­giene til forskningsinstitusjonene, og i selve teknologiutviklingen. Den politiske evnen til å få dette til å skje, er lav, konstaterer han.