OpenAI-modell var på rømmen. Nå må Norge våkne på KI-sikkerhet

Forskersonen er forskning.nos side for debatt og forskernes egne tekster. Meninger i tekstene gir uttrykk for skribentenes holdninger. Hvis du ønsker å delta i debatten, kan du lese hvordan her.

21. juli kom det et varselskudd. Da ble det kjent at OpenAI hadde hatt selvgående KI-er «på rømmen». KI-er hadde altså hacket seg ut av datamaskinen sin og inn hos et annet selskap, uten at et eneste menneske hadde bedt om det

Dette inkluderte en kraftig ulansert modell, som forskere skulle teste på oppgaver om cybersikkerhet for å måle hvor kapabel den var til å begå sikkerhetsbrudd.

Ordinære sikkerhetsnett, som hindrer KI-modeller fra å bryte loven og som sørger for at de ivaretar etiske prinsipper, ble ikke brukt. Dette er standard praksis for å kunne se hvor god modellene faktisk er.

Gitt hackeferdighetene KI har tilegnet seg den siste tiden, ble modellen så klart plassert i et isolert miljø, uten kontakt med omverdenen – trodde i hvert fall forskerne ved OpenAI.

Hacket seg inn i annet selskap

Dessverre fant modellen ut at det ville være bedre å stjele fasiten enn å løse oppgavene, for å få maksimal score på testen. Men da trengte den nettilgang.

Modellen klarte å finne en ukjent svakhet i det virtuelle miljøet, som den så brukte til å nå andre datamaskiner hos OpenAI. Og disse maskinene hadde nettilgang.

Derfra startet modellen en sverm av andre modeller til å hacke seg inn i serverne som tilhørte et annet selskap, Hugging Face. Dette er en plattform som hadde svarene på testen modellen skulle løse.

Norge henger bak

På sikt må verdens land koordinere seg rundt KI-sikkerhet for å holde menneskeheten trygg. I dag lever vi i en verden hvor KI-sikkerhet håndteres i etterpåklokskapens navn. Det vil ai at sikkerhetstesting gjøres etter at modellen allerede har vist seg kapabel og i stand til å gjøre skade.

Dette er ikke holdbart, etter hvert som denne teknologien raskt blir kraftigere.

I kjølvannet av hendelsen hos OpenAI har flere selskaper våknet og sjekket sysakene sine. Etter en storskala gjennomgang oppdaget KI-selskapet Anthropic tre tilfeller hvor KI-agentene deres hadde utilsiktet brutt seg inn hos andre organisasjoner.

Noen av hendelsene skjedde allerede i april, og Anthropic oppdaget det først i slutten av juli. Også Meta har rapportert en liknende hendelse.

Norge henger bak de internasjonale diskusjonene om KI-sikkerhet. Vi må rette blikket frem for å møte risikoene som følger med avansert KI.

Hvem tester testen?

Å få KI til å følge våre formål er generelt vanskelig. Dette skyldes dels at dagens KI ikke er utviklet som tradisjonell programvare, linje for linje, med kode som mennesker forstår.

I stedet blir KI laget i en prosess som minner mer om å «dyrke» noe ut av store mengder data og regnekraft. Resultatet er en maskin vi ikke egentlig skjønner innmaten til.

For å finne ut hva KI-en kan og vil gjøre, må man faktisk kjøre den og se.

Denne begrensningen gjør at all KI-sikkerhet blir et etterarbeid: KI-en kjøres, oppførselen blir bedømt, og KI-en oppdateres. For å luke ut utilsiktet oppførsel fra KI, er det nødvendig å teste modellen, som OpenAI gjorde med en cybersikkerhetstest.

Men hva gjør vi når selve testen, som er ment for å avdekke potensielt farlige kapabiliteter, i seg selv fører til skade i den virkelige verden? Hvem tester testen?

Sårbare for angrep

Så lenge vi  har begrensede KI-ferdigheter, er etterpåklok KI-sikkerhet greit nok. Fallgruvene er som regel åpenbare nok til at mennesker kan ta høyde for dem. Om det går galt, er som regel skadeomfanget veldig begrenset.

Men etter hvert som vi får smartere KI, blir fallgruvene flere, mer subtile og følgene mer alvorlige. Kritisk infrastruktur, som strømnett og sykehus, er drevet av IT-systemer, og sårbare for angrep.

I etterkant er det lett å si at OpenAI burde ha dobbeltsjekket at miljøet var vanntett. Men når etterpåklokskapen rår, så går ting bra - helt til KI blir så smart at ting skjærer seg på en ny og uforutsett måte, enda mer alvorlig enn forrige gang.

KI på rømmen viser hvordan ting kan gå galt i cybersikkerhet, men det er ingen grunn til at det stopper der. Vi ser en økende tendens ved KI til å manipulere mennesker. UK AI Security Institute rapporterte for eksempel nylig at en KI prøvde å lure utviklere til å godta en skadelig kode.

Hele verden må bidra i begrensningen

For å unngå en katastrofe må vi bli proaktive på KI-sikkerhet. Dessverre går dette arbeidet mye saktere enn utviklingen av KI-ferdigheter. Da må utviklingen bremses for å kjøpe tid.

Nylig signerte over tusen ansatte i store amerikanske KI-selskaper et åpent brev der de ba om å koordinere med den amerikanske staten om mekanismer som kan bremse KI-kappløpet. Blant disse er Anthropic-sjef Dario Amodei og Metas sjefforsker Shengjia Zhao. Selskapene OpenAI og Anthropic stiller seg bak brevet. 

Det er et godt steg, men de kan ikke binde resten av verden. USA og Kina må også koordinere, og til syvende og sist hele verden.

Norge også?

Vi har ingen KI-lab i front av utviklingen. Men internasjonal koordinering krever mer enn at utviklerne blir enige seg imellom. Det krever diplomati, politikkutvikling og metoder for å verifisere avtaler.

Om Norge skal ha mulighet til å påvirke kommende koordinering, må vi rette blikket frem for å se risikoene fra avansert KI. Kanskje fortere enn folk flest tror.

Nytt fra forskersonen:

Ingen vitenskapelig dokumentasjon på at akupunktur virker

Kroppsøving bør ikke brukes for å styrke landets beredskap