Forskersonen er forskning.nos side for debatt og forskernes egne tekster. Meninger i tekstene gir uttrykk for skribentenes holdninger. Hvis du ønsker å delta i debatten, kan du lese hvordan her.

Like før jul kunne digitaliserings- og forvaltningsminister Karianne Tung fornøyd konstatere at «kunstig intelligens kan bidra til nye og mer effektive måter å løse oppgavene på i alle deler av offentlig sektor. Jeg er derfor glad for at så mange virksomheter nå tester og tar i bruk kunstig intelligens». 

Bruken av kunstig intelligens (KI) i offentlig forvaltning er altså i voldsom vekst. Bruken bygger på en antakelse om at KIs avgjørelser kan forklares og forstås. Men hva om noen KI-avgjørelser ligger fundamentalt utenfor vår fatteevne?

Vi forstår ikke forklaringene som KI gir

EU har heldigvis klassifisert bruk av KI til avgjørelser som har direkte påvirkning på menneskers liv som «høyrisiko» i sin KI-forordning. Dette innebærer et krav om at man skal kunne få en forklaring på hvorfor modellen traff den avgjørelsen den gjorde, på lik linje med forklaringen man kunne spurt et menneske om, dersom hen var satt til å ta avgjørelsen. 

I tillegg forventer vi at modellen skal handle i tråd med våre etiske prinsipper. Det høres jo betryggende ut.

Problemet er at vi fortsatt mangler metoder for å oversette det modellene gjør til forklaringer mennesker kan forstå, og vi har ingen garantier for at slike forståelige forklaringer i det hele tatt eksisterer. 

Det er kanskje nærliggende å tenke at dette er en midlertidig hindring som kan løses med mer teknologi og forskning på disse modellene, slik at vi med tiden vil kunne forstå hvordan de «tenker» og «resonnerer». 

Jeg frykter imidlertid at problemet i mange tilfeller er mer grunnleggende enn som så, og ikke nødvendigvis løsbart med mer avansert teknologi. Det er nemlig langt fra sikkert at de komplekse matematiske operasjonene som maskinlæringsmodellen baserer seg på kan oversettes til menneskelige begreper og konsepter. 

Som kvantefysikk for femåringer

For å forstå noe må vi kunne konseptualisere det, så om vi ikke kan fatte konseptene som modellen opererer med, klarer vi heller ikke å forstå hvorfor den gjør som den gjør.

Kanskje kan situasjonen sammenlignes med å prøve å forklare kvantefysikk til en femåring. Da har du to alternativer. Enten kjører du på og snakker i vei om at elektroner kan være i en superposisjon av å ha «elektronspinn opp og elektronspinn ned».

 Jeg tror vi kan være enige om at alt du får er en forvirret og sannsynligvis nokså uinteressert femåring. Og det skyldes ikke bare at femåringen ikke vet hva ordene superposisjon og elektronspinn betyr.

 Jeg vil hevde at uansett hvor pedagogisk du går frem i å forklare kvantefysikkens grunnprinsipper, så vil disse begrepene forbli utenfor barnets forestillingsverden.

KI kan heller ikke forstå oss

Alternativt kan du prøve å oversette fysikk-språket til femåringens språk, som å sammenligne elektronene med snurrebasser som spinner? 

Problemet er at slike sammenligninger raskt bryter sammen, for selv ikke den mest fantasifulle femåring klarer virkelig å forestille seg en snurrebass som snurrer i begge retninger samtidig. 

Vi må bare erkjenne at kvantefysikk rett og slett er for komplekst til at et barn virkelig kan forstå det.

Så hva om vi, i møte med komplekse maskinlæringsmodeller, er som femåringen som prøver å forstå kvantefysikk? Og med «vi» mener jeg ikke bare du og jeg, men også ekspertene som utvikler dem. 

Disse modellene fungerer på en grunnleggende annen måte enn vår menneskelige rasjonalitet og logikk, og det finnes trolig ikke alltid en entydig oversettelse mellom de mønstrene en maskinlæringsmodell lærer seg på egenhånd, og de konseptene vi mennesker opererer med. Og det man ikke kan konseptualisere er det særs vanskelig å forstå. 

Problemet går begge forøvrig veier, for vi vet heller ikke hvordan man skal oversette våre etiske prinsipper til maskinlæringsmodellens rent matematiske språk, eller om det i det hele tatt er mulig.

Først ta stilling, deretter ta i bruk

Med andre ord må vi være åpne for muligheten for at det faktisk ikke er mulig for mennesker å fullt ut forstå hva disse modellene gjør. Flere reguleringer og mer teknologi er ikke nødvendigvis tilstrekkelig for å løse de utfordringene som følger med den uvitenheten. 

Vi må kort sagt ta stilling til hvordan bruk av KI i ulike sektorer skal se ut dersom det faktisk ikke er mulig å forstå hva modellene gjør, og det helst før de tas i bruk.

Aktuelt på forskersonen:

En nærsynt skjermdebatt

USA er en trussel