Forskersonen er forskning.nos side for debatt og forskernes egne tekster. Meninger i tekstene gir uttrykk for skribentenes holdninger. Hvis du ønsker å delta i debatten, kan du lese hvordan her.

Siden lanseringen av ChatGPT i november 2022 har debatten om kunstig intelligens (KI) i utdanning og samfunn eksplodert. Mediene har vært fulle av både dommedagsprofetier og euforiske visjoner. 

Men hva skjer når vi faktisk setter de ulike verktøyene på prøve – i møte med reelle akademiske krav og praksisnære oppgaver? 

Dette innlegget bygger på egne systematiske tester av ChatGPT og 13 andre lignende samtaleroboter, gjennomført over to år. Jeg vil hevde at disse verktøyene ikke representerer et paradigmeskifte i høyere utdanning – men kun en ny variant av gamle verktøy med bedre markedsføring.

Språklig briljans – faglig svakhet

ChatGPT og de ulike samtalerobotene imponerer ved første øyekast. Det skriver flytende, høflig og grammatisk korrekt. 

Men når systemene blir bedt om å besvare arbeidskrav utformet i tråd med høyere nivå i Blooms taksonomi fra fagemner knyttet til samfunnsinformatikk-feltet, der det ikke finnes klare svar eller evige sannheter, faller de gjennom. 

De klarer ikke å analysere, vurdere eller reflektere – kjernekompetanser i høyere utdanning. I stedet produserer de overfladiske svar som ofte bare reformulerer oppgaveteksten. 

Det som fremstår som innsikt, er i realiteten statistisk sannsynlige ordkombinasjoner.

En dårlig støtte for svake studenter

Basert på resultatene av mine tester vil bruk av samtaleroboter i fagemner der det finnes få eller ingen klare fasitsvar, i liten grad hjelpe faglig svake studenter. Tvert imot vil de antakelig forsterke svakhetene. 

Studenter uten grunnleggende fagforståelse klarer ikke å stille gode spørsmål (prompting), og ender opp med generiske svar uten dybde. Samtidig kan faglig sterke studenter bruke verktøyene som en slags «digital sekretær» – til å strukturere tekst, oppsummere kilder eller generere utkast. 

Men det krever høy grad av kritisk vurdering og etterarbeid, og studenten slipper ikke unna å selv måtte formulere sine faglige refleksjoner forankret i egen yrkespraksis og i relevant faglitteratur.

Og besvarelsene fra de faglige svake studentene, den gruppen som med størst sannsynlighet lar seg friste til å ta snarveier, er slett ikke vanskelig å oppdage, noe også andre forskere har pekt på (Molnes, G, 2024).

Ikke kunstig intelligens – bare avansert statistikk

Til tross for at media og andre stadig henviser til ChatGPT og lignende samtaleroboter som kunstig intelligens (KI) er disse verktøyene absolutt ikke intelligente. De forstår ikke spørsmål, resonnerer ikke, og har ingen bevissthet. 

De er basert på avanserte språkmodeller som gjetter neste ord basert på sannsynlighet.

Stipendiat David Samuel ved Universitetet i Oslo sin språkteknologigruppe var ganske klar i et intervju i Universitas i 2022 på at ChatGPT ikke på noen måte var intelligent (Gundersen, 2022) og Ian Venner ved Hurricane peker på at de store språkmodellene først og fremst har indeksert internett. 

Ved å behandle alle dataene de har tilgang til der, samt de data som ulike aktører har lagt inn i systemene, har de skapt koblinger mellom datasett basert på faste regelsett. Dette betyr at lignende informasjon grupperes sammen, vektes og kobles til andre lignende områder – et stort nettverk av sammenkoblet data. 

Dette, hevder Venner, er ikke kunstig intelligens, men datamining (Venner, 2024). Og sist, men ikke minst, KI er ikke en teknologi, men et upresist og kontroversielt «sekkebegrep» som omfatter en rekke ulike teknologier hvis intelligens er ytterst diskutabel. 

Professor Jan Ketil Arnulf ved BI foreslår at vi bør droppe begrepet «kunstig intelligens» og heller bruke begrepet «kunstige aktører» (Arnulf, 2024), noe jeg for min del er enig i.

Å ukritisk kalle de ulike samtalerobotene for KI er misvisende og det tilslører det faktum at disse verktøyene verken er spesielt revolusjonerende, eller spesielt nye og utelukkende er programmert for å skrive gode setninger basert på statistisk analyse av de bokstavsammensetninger en bruker legger inn.

Hva betyr dette for høyere utdanning?

Det er etter min mening ingen grunn til panikk. Samtaleroboter truer ikke utdanningen ved våre høyskoler og universiteter – så lenge vi utformer eksamensoppgaver og arbeidskrav i tråd med høyere nivå i Blooms taksonomi. 

Oppgaver som krever refleksjon, faglig forankring og personlig erfaring, lar seg ikke løse av samtaleroboter.

I mine tester klarte ingen av de ulike samtalerobotene å levere besvarelser som ville oppnå ståkarakter, og internasjonal forskning peker da også på at samtaleroboter virker å ha begrensninger når de skal håndterer mer kompliserte kognitive oppgaver (Govender, R. G., 2024) .

Så inntoget av ulike samtaleroboter er ingen apokalypse. Tvert imot gir dette oss som underviser en gyllen mulighet til å styrke undervisningskvaliteten i våre fagemner: 

ved å fokusere på oppgavedesign, veiledning og vurderingsformer som fremmer dyp læring.

Avslutning: Fra hype til realisme

Samtaleroboter er nyttige verktøy innenfor begrensede områder – men ikke mer enn det. De kan brukes til oversettelser, oppsummeringer og idéutkast. Men de kan ikke tenke, forstå eller lære. 

Det er derfor på tide å legge bort både frykten og euforien, og møte teknologien med nøkternhet og faglig dømmekraft.

For i en tid der «bullshit» kan genereres på kommando, blir evnen til kritisk tenkning viktigere enn noen gang.

Kilder:

• Arnulf, J. K. (2024). Bør vi snakke om kunstige «aktører» i stedet for «intelligens»? BI Business Review. Hentet fra https://www.bi.no/forskning/business-review/articles/2024/09/bor-vi-snakke-om-kunstige-aktorer-i-stedet-for-intelligens/
• Govender, R. G. (2024). My AI students: Evaluating the proficiency of three AI chatbots in completeness and accuracy. Contemporary Educational Technology. Retrieved from https://www.cedtech.net/article/my-ai-students-evaluating-the-proficiency-of-three-ai-chatbots-in-completeness-and-accuracy-14564
• Gundersen, G. M. (2022). Forsker avmystifiserer «ChatGPT»: – Den er ikke intelligent på noen måte. Universitas. Hentet fra https://www.universitas.no/ai-chatgpt-david-samuel/den-er-ikke-intelligent-pa-noen-mate/366594
• Venner, I. (2024). How AI has been hijacked, the AGI fallacy and leveraging Vertical AI. Hurricane Commerce. Hentet fra https://hurricanecommerce.com/how-ai-has-been-hijacked-the-agi-fallacy-and-leveraging-vertical-ai/

Aktuelt fra forskersonen:

Med skjermen til bords: Nesten alle unge scroller mens de spiser

Vi kan bygge tryggere tunneler med kunstig intelligens