Forskersonen er forskning.nos side for debatt og forskernes egne tekster. Meninger i tekstene gir uttrykk for skribentenes holdninger. Hvis du ønsker å delta i debatten, kan du lese hvordan her.

Kunstig intelligens (KI) er allerede integrert i en rekke kritiske systemer på tvers av ulike sektorer.

Likevel vurderer kun én tredjedel av norske virksomheter dette som en sikkerhetsrisiko, ifølge en stor undersøkelse utført av Atea.

Denne avslappede holdningen til KI er kanskje ikke så overraskende. For selv om teknologien har eksistert en stund, oppleves den nok fortsatt ny og litt ullen for folk flest, og da er det vanskelig å mene så mye om hvilke muligheter og risikoer den faktisk innebærer.

Hvetebrødsdagene er over

KI er nå i ferd med å vikle seg stadig dypere inn i livene og samfunnet vårt, og det er helt nødvendig at vi inntar en mer offensiv holdning til de mange sikkerhetsutfordringene knyttet til teknologien.

En av grunnene til at det er at KI innebærer flere nye sikkerhetsutfordringer, særegne for teknologien.

For å ta et konkret eksempel: KI trenes som kjent opp på data. Hvor pålitelig en KI-modell presterer er derfor i stor grad avhengig av kvaliteten på datagrunnlaget. Dersom noen har manipulert dette, kan det føre til at modellen ikke bare presterer dårlig, men også utgjør en alvorlig sikkerhetsrisiko.

Se for deg at du trener opp et ansiktsgjenkjenningssystem. Av en eller annen grunn ønsker uvedkommende tilgang til informasjonen bak sikkerhetssystemet ditt. De sørger derfor for at en slags «utløsermekanisme» blir lagt til på visse bilder i datagrunnlaget ditt.

Det behøver ikke være snakk om mer enn noen få bildepunkter satt opp i et visst mønster. Det er likevel nok til at systemet trenes opp til å utføre visse handlinger når det presenteres for bestemte fjes.

Når systemet så tas i bruk, kan det med andre ord i teorien allerede være trent opp til å gi uvedkommende tilgang til systemet ditt.

Slike angrep er både effektive og vanskelige å oppdage. De skiller seg dessuten fra tradisjonelle cyberangrep ved at de bakes inn i selve systemet lenge før det er oppe og går.

Et rammeverk for sikkerhet

Heldigvis finnes det måter å forhindre slike angrep på. Skal vi hamle opp med dem må imidlertid sikkerhet være mer enn bare en ettertanke. Sikkerhetshensyn må prioriteres gjennom hvert steg av utviklingen – fra innsamling av datagrunnlaget til systemet er installert og i bruk.

Problemet er bare at det ikke finnes noe gode framgangsmåter for å gjøre dette i praksis på.

I samarbeid med en rekke europeiske universiteter og selskaper jobber vi nå med å lage et rammeverk for nettopp dette. Prosjektet heter cPAID og er delt opp i fem pilotprosjekter. For oss som representerer havnasjonen Norge, var det naturlig å bidra inn i det som omhandler selvkjørende skip.

Sikkerhet, KI og selvkjørende skip

I 2022 la verdens første selvkjørende ferge ut på prøvetur i Trondheim. I fjor fraktet ferga flere hundre turister daglig gjennom hele sommeren. Dette er riktignok et lite fartøy. Men det illustrerer likevel at teknologien langt på vei er der, og at det bare er et spørsmål om tid før vi vil se større selvkjørende skip i drift.

Slike skip vil nødvendigvis være utstyrt med en rekke KI-systemer, og mange av dem vil ha kritiske oppgaver som kan få store konsekvenser dersom de tukles med.

Ta for eksempel objektgjenkjenning: Selvkjørende skip er helt avhengige av å tolke omgivelsene sine korrekt for å navigere trygt. Dersom noen har manipulert datagrunnlaget på en måte som gjør at disse systemene plutselig tolker et annet skip som en fugl, er det ikke vanskelig å forestille seg hvor galt det kan gå.

Disse og lignende utfordringene viser at det ikke er nok å tenke sikkerhet når et KI-system først er oppe og går: Teknologien byr på helt særegne utfordringer som gjør at vi må ha «worst-case scenario» i bakhodet allerede i de tidlige stadiene.

(Kronikken er også publisert i Dagens Næringsliv og på gemini.no)

Aktuelt fra forskersonen:

Vi er omringet av teknologi, men hva med håp, lek og fantasi?

Oversetting bør gjøres av mennesker