16
This study explores the neural and behavioral consequences of LLM-assisted essay writing. Participants were divided into three groups: LLM, Search Engine, and Brain-only (no tools). Each completed three sessions under the same condition. In a fourth session, LLM users were reassigned to Brain-only group (LLM-to-Brain), and Brain-only users were reassigned to LLM condition (Brain-to-LLM). A total of 54 participants took part in Sessions 1-3, with 18 completing session 4. We used electroencephalography (EEG) to assess cognitive load during essay writing, and analyzed essays using NLP, as well as scoring essays with the help from human teachers and an AI judge. Across groups, NERs, n-gram patterns, and topic ontology showed within-group homogeneity. EEG revealed significant differences in brain connectivity: Brain-only participants exhibited the strongest, most distributed networks; Search Engine users showed moderate engagement; and LLM users displayed the weakest connectivity. Cognitive activity scaled down in relation to external tool use. In session 4, LLM-to-Brain participants showed reduced alpha and beta connectivity, indicating under-engagement. Brain-to-LLM users exhibited higher memory recall and activation of occipito-parietal and prefrontal areas, similar to Search Engine users. Self-reported ownership of essays was the lowest in the LLM group and the highest in the Brain-only group. LLM users also struggled to accurately quote their own work. While LLMs offer immediate convenience, our findings highlight potential cognitive costs. Over four months, LLM users consistently underperformed at neural, linguistic, and behavioral levels. These results raise concerns about the long-term educational implications of LLM reliance and underscore the need for deeper inquiry into AI's role in learning.
De kan ikke citere dem fordi de ikke har skrevet dem, de har ikke gjort arbejdet, og derfor kan de naturligvis ikke huske hvad der står.
Jamen jeg siger ikke at vi ikke bliver “dummere.”
Men hvis opgaven er løst så kan du vel egentlig være ret ligeglad med hvordan, du ved hvordan du får resultatet. (Sådan lidt sat på spidsen)
Det er bekvemt og hurtigt. Det bliver en ny måde at “tænke”
Det er vel i bund og grund ikke så meget anderledes end matematik, mine forældre er langt bedre til hovedregning end jeg er, jeg skal bruge en lommeregner til nærmest at regne 2+2 ud. Bad du mig udregne 33992/974,4 skal jeg ærligt sige at det ville tage mig ret så lang tid at gøre i hånden. Timer måske.
Der hvor jeg virkeligt ser problemet er at kildekritkken ved de her ting, for mig at se, bliver tæt på umuligt.
Det synes jeg ikke man kan være ligeglad med - i matematik med lommeregner svarer det jo til at skrive facit uden at vise mellemregninger. Ja det er rigtigt, men man skal jo kunne forklare hvorfor det er rigtigt. Nu er teknologien nået så langt at vi har “lommeregnere for sprog”, altså AI, men derfor skal man altså stadig vise mellemregninger. Faktisk er det endnu vigtigere at vise mellemregninger end før.
Hvordan “mellemregninger” ser ud i et essay i danskundervisningen dog… det er jeg ikke helt sikker på. Men det er vel noget med kildehenvisninger og kildekritik - hvor ved du det fra, det du har skrevet?
Helt bestemt ikke, specielt ikke i undervisningssammenhænge. Vi uddanner som udgangspunkt kritiske tænkere i DK, og her erstatter vi kilde, kildekritik, og kritisk tænkning med en blackbox der er en blanding af RNG + predictive text. Som du jo også selv skriver.
En lommeregner er en anden ting - den leverer som udgangspunkt korrekte svar hvis du kan betjene den, det gør en LLM ikke. Der er altså tæt på ingen risiko ved at gå fra hovedregning eller kugleramme til at bruge en lommeregner. Der er enorme risici ved at forlade sig på en semi-pålidelig tekstgenerator med falsk “logik” under motorhjelmen.
Nu siger jeg også sat på spidsen.
Jeg er fra generationen hvor mathcad begyndte sit indtog. Der var også ret stor diskussion på htx omkring det dengang.
Jeg tog det hele i hånden og det samme til installatør-eksamen. Jeg er måske gammeldags, men jeg var enig med mig selv om at jeg ikke ville forstå hvad jeg lavede selv om jeg fik de rette resultater i mathcad, det er jeg ikke klog nok til 🙂 Og jeg lærer bedre når jeg skriver ting ned på papir.
Med hensyn til llm skal vi lære at håndtere det i skolen. For som studiet lidt peger på har de studerende næppe fattet noget som helst af det de har “skrevet” om.
Om vi så skal tilbage til håndskrevne afleveringer og eksamen uden hjælpemidler ved jeg ikke.
Omend en vigtig pointe, tegner du det lidt sort/hvidt op. Ja, forkert brug af teknologien kan fordumme - f.eks.: “Skriv mit essay for mig, Grok”. Det er alt for nemt og et reelt problem.
- Anders Puck Nielsen, Bluesky
Og så må vi skabe nogle gennemtænkte rammer herom (f.eks. med tiltag som SkoleGPT)