Portrett av mann i mørk genser mot en mørk, teksturert bakgrunn.
Etter hvert som et KI-system blir mer intelligent blir det vanskeligere og vanskeligere å forutse hvordan det vil oppføre seg, om det vil handle til vårt beste – eller i det hele tatt ha oss i tankene, skriver KI-forsker Kristian Wold.

Trygg KI: Terskelen er krysset

KRONIKK: Et av verdens ledende KI-selskaper sier selv at kunstig intelligens nå fremskynder sin egen utvikling så mye at det har krysset sin egen sikkerhetsterskel. Vi kan ikke ta for gitt at utviklingen bremser av seg selv.

Publisert

Forskersonen er forskning.nos side for debatt og forskernes egne tekster. Meninger i tekstene gir uttrykk for skribentenes holdninger. Hvis du ønsker å delta i debatten, kan du lese hvordan her.

I sine interne retningslinjer har KI-selskapet Anthropic satt en terskel for hvor fort kunstig intelligens skal være i stand til å fremskynde sin egen utvikling før det er å anse som en sikkerhetsrisiko.

Ifølge dem selv har de nå krysset denne terskelen.

Påstanden underbygges av en uavhengig rapport som nylig ble gitt ut av evalueringsinstituttet METR. I rapporten har de undersøkt hvor fort Anthropics modeller har blitt bedre det siste året.

De anslår at modellene siden oktober 2025 har forbedret seg dobbelt så raskt som før, riktignok med stor usikkerhet, og at mesteparten av denne akselerasjonen i dag skyldes at selskapet får hjelp av sin egen KI til å drive utviklingen.

Etter hvert som et KI-system blir mer intelligent blir det vanskeligere og vanskeligere å forutse hvordan det vil oppføre seg, om det vil handle til vårt beste – eller i det hele tatt ha oss i tankene.

Å la KI egenhendig forbedre seg selv kalles på fagspråket for rekursiv selvforbedring. Om utviklingen etter hvert blir i stand til å fortsette uten menneskelig innblanding, er det mulig at vi snart vil stå på sidelinjen mens teknologien rett og slett utvikler seg selv.

KI-assistenter som forsker på KI

Men hvordan kan KI utvikle seg selv? Arbeidshverdagen til en KI-forsker består kort sagt av å komme på gode idéer til nye teknikker å prøve ut, implementere dem, kjøre eksperimenter, og deretter evaluere resultatene.

Når mange nok forskere gjør dette, i høyt nok tempo, og med gode nok resultater, får vi en rask utvikling.

Det er denne sløyfen fra idé til implementasjon til evaluering KI-forskerne selv mener at deres egen KI er i ferd med å få til på egen hånd. Med andre ord begynner kanskje forskerne å merke at de selv er erstattelige.

At modellenes ferdigheter vokser med dobbel hastighet er nemlig ikke hele bildet. Ifølge rapporten fant METR ingen tegn til flaskehalser som vil bremse akselerasjonen, selv om de tar forbehold om at de kan ha oversett noen.

Hvis vi antar at akselerasjonen fortsetter som den har det siste året, kan vi potensielt se en firedobling om 6 måneder, en åttedobling om 9 måneder, en sekstendobling om 10,5 måneder, og så videre, slik forskeren Ajeya Cotra ved METR har vist med et enkelt regnestykke.

Nå har et av verdens ledende KI-selskaper selv meldt at det har krysset sin egen terskel.

Dette betyr at man til slutt kan oppnå det som tilsvarer flere tiår med forskning i løpet av ett år.

En slik uhemmet vekst kalles for en intelligenseksplosjon, og er noe mange eksperter frykter kan føre til uante konsekvenser for menneskeheten. Etter hvert som et KI-system blir mer intelligent blir det vanskeligere og vanskeligere å forutse hvordan det vil oppføre seg, om det vil handle til vårt beste – eller i det hele tatt ha oss i tankene.

Spådommer som har truffet

Det finnes imidlertid noen personer som har forsøkt å forutse denne utviklingen i flere år, og de har til nå hatt forbausende rett. Forskergruppen AI Futures Project, som er mest kjent for å stå bak fremtidsscenarioet AI 2027, prøver å forutse KI-utviklingen ved å analysere eksisterende trender og spekulere i hva som vil skje dersom de fortsetter.

I kjølvannet av rapporten fra METR har de oppdatert sine prediksjoner, og de mener nå at KI-utviklingen sannsynligvis vil bli helautomatisert i løpet av 2027 dersom det ikke skjer en nedbremsning.

Ting går allerede fort, og om det får lov å fortsette i samme tempo kan det snart bli urealistisk å innføre effektiv regulering eller i det hele tatt rekke å reagere på sikkerhetshendelser.

Er vi heldige vil kanskje utviklingen avta av seg selv, men det er ingen grunn til å ta det for gitt. Vi må derfor planlegge for det verste og samles om en global strategi for ansvarlig KI-utvikling umiddelbart.

Norge har tatt et første steg

Norge har allerede tatt et viktig initiativ. I september lanserte statsminister Jonas Gahr Støre og Finlands president Alexander Stubb et internasjonalt opprop for kontroll med de mest avanserte KI-modellene, som over tjue statsledere har stilt seg bak.

Oppropet ber FNs medlemsland utforske en internasjonal institusjon som kan samle statene når kritiske terskler for KI-ferdigheter krysses. Det er et godt steg i riktig retning, men foreløpig er det bare en oppfordring. Hvem som skal definere tersklene, hvordan de skal måles, og hva som faktisk skal skje når de krysses, er fortsatt ubesvart.

Nå har et av verdens ledende KI-selskaper selv meldt at det har krysset sin egen terskel. Oppropet må få innhold mens det fortsatt er mulig å handle. Hvis ikke, vil fremtiden ikke lenger ligge i fellesskapets hender, men utelukkende hos KI-selskapene og deres teknologi.

Nytt fra forskersonen:

Vi vil gjerne høre fra deg!

TA KONTAKT HER
Har du en tilbakemelding på denne kronikken. Eller spørsmål, ros eller kritikk til Forskersonen/forskning.no? Eller tips om en viktig debatt?

Powered by Labrador CMS