Het AI nieuws van week 25

Zo, dat een week vol leuke dingen, misschien iets te veel van het goede! Dinsdag sprak ik op Schloss Dagstuhl, een kasteeltje in Zuid-Duitsland waar iedere week een groep informatici samenkomt en over een onderwerp nadenkt. Woensdag sprak ik op de TU Darmstadt, donderdag in Utrecht bij de boek launch van Smart Humanity, en vrijdag stond ik voor een groep 6-7 in het kader van Meet the Professor!

Allemaal leuk, maar nu moet ik wel even bijkomen!

Gelukkig zat ik 5 uur in de trein terug, dus heb ik heel veel kunnen lezen en schrijven, dus is deze nieuwsbrief langer dan ooit! (Deze stijgende lijn kan natuurlijk niet heel lang meer doorzetten, of ik moet mijn baan opzeggen!)

Onderwijs = spanning

Ik ben veel bezig met wat programmeren is, dat las je ook vorige week al. Mijn lezing op Schloss Dahstuhl ging daar trouwens ook over.

Wat leuk is aan programmeren, is dat het voelt als een puzzel waarvan het antwoord, als je het eenmaal hebt, zonneklaar is. Zelden word je dan nog aangezet tot reflecteren of dat dan wel het beste antwoord is, of dat er andere oplossingen mogelijk waren. Niet in het onderwijs en ook niet in de dagelijkse praktijk van programmeren. Bijna altijd ben je al blij als het het werkend hebt gekregen, want je moet heel veel tegelijk in je hoofd houden.

Dat verklaart misschien ook waarom het zo onwaarschijnlijk moeilijk is om programmeeronderwijs goed te krijgen, omdat de wereld van programmeren bevolkt wordt door mensen die problemen zien als dingen waarop een makkelijke oplossing mogelijk moet zijn. Als je die nog niet hebt, zoals in het befaamde geval van P versus NP, dat is dat niet omdat er geen oplossing is, dan is die oplossing gewoon nog niet gevonden.

De wereld van onderwijs daarentegen staat bol van de spanning, van dingen die je allebei belangrijk vindt, maar die niet tegelijk kunnen bestaan. In zijn lezing voorafgaand aan het verhaal van Biesta van vorige week, had Remco Pijpers een geweldige lijst paraat van zulke spanningen.

• Nabijheid versus afstand: Je wilt een leerling de ruimte geven om fouten te maken, maar tegelijkertijd niet het gevoel geven dat je er niet bent als het moeilijk wordt.
• Bescherming versus blootstelling: We willen dat leerlingen om leren gaan met de wereld die er is (seks, alcohol, AI) maar we willen ze ook beschermen tegen negatieve effecten.
• Vrijheid versus beperking: Leerlingen zoeken grenzen op en moeten voelen dat die er ook zijn, maar ze moeten ook soms over onze grenzen gaan om hun eigen grenzen te leren kennen.
• Heden versus toekomst: In het opvoeden moet je de toekomst vaak gebruiken om over het heden te argumenteren: "Je moet iedere dag een beetje, en niet alles in de toetsweek." Hoe ver mag je daarin gaan?

Het mooie aan het onderwijs is juist dat op deze spanningen geen antwoord is. Voor iedere school is het antwoord anders, een democratische school geeft in visie en missie een ander antwoord dan een streng Christelijke. Voor sommige vakken gelden andere antwoorden, een vak als wiskunde met een centraal examen als gedeelde toekomst maakt andere keuzes van de vrijheid die het bovenbouwprogramma van de informatica biedt.

Voor iedere docent ligt de balans al ergens anders, de één is meer voor beschermen, de ander meer voor blootstellen. En dan is ook nog eens een keer iedere leerling anders, de een heeft meer vrijheid nodig om tot bloei te komen, de andere meer beperking. Dat is altijd weer zoeken, proberen, aanrommelen, en zelfs voor één leerling niet stabiel, ze groeien op en krijgen andere behoeften, of ze hebben eens hun dag niet en moeten opeens aan grenzen gehouden worden die ze normaal zelf in het oog hebben.

Eén van mijn beste, braafste leerlingen was eens strontvervelend, en ik moest voor één dag een ander mens worden in mijn relatie tot hem. Wat was er toch aan de hand, vroeg ik? Hij had de hele nacht niet geslapen, want zijn ouders hadden een babytje gekregen. Simpele, onschuldige reden; hele andere aanpak nodig voor even. "Goh, dat is vervelend zeker?" Jaaaa! Zei de leerling, die voor hij wat kon doen gewoon eerste even door iemand gezien moest worden nu zijn ouders er even geen tijd voor hadden.

Soms schetsen mensen van buiten het onderwijs de bekende karikatuur van elk jaar dezelfde powerpointjes afdraaien. Nu is dat al nonsense omdat een gemiddelde kantoorbaan natuurlijk ook ieder kwartaal dezelfde powerpointjes en Excelsheets is, maar meer nog omdat zelfs met dezelfde slides, de leerlingen ieder jaar anders zijn, en op deze vier (en nog veel meer) balansen andere behoeften hebben. En jij bent als leraar ieder jaar anders, je leert bij, je herziet, je groeit als mens en vindt opeens meer vrijheid (of minder) voor je leerlingen belangrijk en de wereld om je heen verandert en er komen andere focuspunten bij in je vak.

Ik vind deze vier spanningen allevier mooi en ze zetten allemaal aan tot denken, maar de vierde voel ik nog het meest, want die gaat niet alleen over de spanning tussen nu en de toekomst, maar die stelt ons ook nog voor de vraag welke toekomst we eigenlijk voor ogen hebben. Moeten we leerlingen voorbereiden op een toekomst bijvoorbeeld waarin technologie en AI overal is? Of moeten we ze leerlingen leren te bevragen waar en wanneer ze technologie willen gebruiken (en kan dat wel)?

Dit schrijvende denk ik dat daar ook mijn frustratie ligt met het praten over AI in het onderwijs, ik wil leerlingen helemaal niet voorbereiden op de wereld waarin AI overal is, want ik wil dat zelf niet. En omdat de rest van de wereld dat of wel wil, of als gegeven aanneemt, wil ik de context zonder AI, zonder computers, creëeren die nodig is voor leerlingen om met afstand te kunnen kijken naar de zaak.

Wat is AGI?

Ik mocht weer een stukje schrijven voor NRC deze week over of we echt met taalmodellen, zoals Sam Altman en andere mensen denken, AGI kunnen bereiken. Ik vind het een mooi stuk geworden waarin ik uiteenzet hoe rijk (en schitterend!) mensentaal is, en hoe misguided dus dat je met alleen geschreven taal denkt echt een deuk in het intelligentie-pakje boter te gaan slaan.

Maar ik kreeg de leukste reactie op het stuk via een oud-collega!

"En dat je ook gewoon uitlegt wat AGI is, zo fijn... ik zag het telkens maar snapte gewoon niet wat het nu betekent in mensentaal!"

Zo zie je maar weer, 1) AGI is inderdaad ongrijpbaar en 2) de basis goed uitleggen blijft heel erg belangrijk!!

De lezersvraag van de week

Er kwam weer een mooie vraag binnen deze week nav mijn optreden op 12 juni bij de lezing van Biesta. Het is een hele lange vraag, volgens mij zijn het eigenlijk drie vragen. Er zit zoveel in dat ik toch niet al te veel heb ingekort! Om het lezen te vergemakkelijken heb ik wel tussenkopjes aangebracht en die gekoppeld aan de vraag (vetgedrukt).

Wat me is bijgebleven, is dat jij de vraag stelde of je echt iets met digitale technologie moet doen, of dat praten erover ook genoeg kan zijn.

In mijn ogen is het wel problematisch dat digitale geletterdheid tegenwoordig vaak wordt opgevat als iets waar je alleen over hoeft te lezen of praten. Maar dat is niet genoeg. Je leert niet ontwerpen of creëren met digitale technologie [[1]] zonder de technologie te gebruiken.

Ik zie dagelijks hoe weinig digitale vaardigheden kinderen hebben. Veel kinderen krijgen thuis nauwelijks ondersteuning op dit vlak. Sommige gezinnen hebben zelfs geen wifi of computer. Digitale ongelijkheid is een realiteit. Dat geldt trouwens ook voor veel volwassenen. Hoe digitaal geletterd is onze samenleving eigenlijk? Hoeveel ouders kunnen hun kinderen hier goed in begeleiden?

Dat sluit kritisch denken of praten over digitale technologie helemaal niet uit. Integendeel. Maar laten we oppassen dat we een ‘schijnoplossing’ kiezen door alle digitale technologie uit scholen te weren. Zou je echt pleiten voor een totaalverbod? Je zei zelf dat je liefde voelt voor digitale technologie. Waarom zouden we anderen daar dan niet ook enthousiast over willen maken?

Het raakt mij ook in mijn autonomie als leerkracht wanneer er wordt gepleit voor het volledig weren van digitale technologie. Het veronderstelt namelijk dat ik niet in staat zou zijn om technologie verantwoord en doordacht in te zetten. Terwijl juist dat is waar het om zou moeten gaan: dat we als professionals zelf keuzes kunnen maken, op basis van kennis van pedagogiek, didactiek en digitale geletterdheid.

Autonomie

Ik snap dat de vragensteller zich in zijn autonomie voelt aangetast als ik het met Wertheim eens ben dat technologie de school uit moet. Maar autonomie als docent versus het zijn van een fijne collega is nu ook weer precies zo'n spanningsveld van het onderwijs. Ik geef een niet-technologisch voorbeeld: geen hoofddeksels in de klas en geen jas aan, dat staat als regel in menig schoolbeleid in Nederland. Ook op de school waar ik tien jaar heb rondgelopen.

Ik vind het persoonlijk onzin dat leerlingen niets op hun kop mogen in de klas, het zit mij meestal niet in de weg, tenzij is er geen oogcontact door kan maken, en dan is dát het probleem en niet het hoofddeksel zelf. Dat geldt bijvoorbeeld ook als je je ogen dicht hebt. Zeker in een samenleving en school waarin meiden een hijab dragen, vind ik dat je niet flauw moet doen over een mutsje. En ik heb wel eens een paar maanden lesgegeven in een klaslokaal waar het om half 9 's morgens stelselmatig 14 graden was. Moet ik dan jassen uit gaan dwingen? Dan leert er niemand meer iets!

Mijn autonomie van de leraar zegt: ik maak zelf wel uit wat ik handhaaf, ik heb geen zin om een agent te spelen over kledij.

Maar... als ik niet handhaaf ben ik een flutcollega. Want als ik het het eerste uur niet doe, dan zeggen leerlingen het tweede uur, uit puberale recalcitrantie, of uit oprechte verwarring: "Maar bij Hermans mocht het wel". En als de leraar na mij het lastiger heeft met orde houden, dan zadel ik iemand anders op met mijn ideeën over wat goed onderwijs is. Net als stoplichten en fietspaden geen onterecht ingrijpen in mijn autonomie zijn om overal met mijn auto te mogen rijden, zo zijn schoolregels niet per se ingrepen in autonomie, maar ook manieren om de wereld goed, eerlijk en veilig te organiseren.

Een vraag om minder of geen computers in de school veronderstelt niet dat er geen collega's bestaan die technologie verstandig kunnen inzetten. Maar het stelt de vraag of er voldoende collega's zijn die dat betekenisvol kunnen doen, dat het de afleiding die het bij de anderen creëert waard is?

Leren creëeren

Dan de vraag of we technologie moeten gebruiken om het te leren kennen.

Ik heb heel lang gedacht dat kinderen leren programmeren goed en belangrijk is. Niet zozeer omdat ze daar van computational thinking, of kritisch denken van leren, maar omdat programmeren empowering is, in de betekenis dat het je de kracht geeft om te maken, in plaats van te consumeren. In mijn oratie beargumenteerde ik dat nog uitgebreid:

En nog steeds geloof ik dat dit, in theorie, waar is. Ik zie heel soms leerlingen bij wie het kwartje valt, en die met de basis die ik ze aanleer echt helemaal los gaan en zelf iets maken.

Maar in de praktijk is het, denk ik, niet zo dat een beetje programmeren leidt tot een goed begrip van wat de mogelijkheden zijn. Dat komt denk ik door twee onoverkomelijke problemen van programmeren.

1. Echte software maken is te moeilijk geworden.
   
   Omdat iets echt leuks maken, voor bijna iedereen, inclusief professionals, niet meer bereikbaar is. Ik gaf vorige week een lezing voor docenten informatica in het hoger onderwijs, en ik vroeg wie van hen een app op hun computer of telefoon had die ze zelf gemaakt hebben. De vangst was maar ééntje, en zelfs die moest toegeven dat het op zijn oude telefoon was, want een huidige iPhone is niet meer te jailbreaken, te kraken zodat je er je eigen software op kan draaien.
   
   En niet alleen is het praktisch onmogelijk om iets te maken, het is ook heel moeilijk om iets echts te maken. Ik noem dit ook wel het Minecraft-gat, omdat ik bij een van mijn allereerste programmeerlessen een leerling trof die, na mijn eerste 'Hello World' uitleg, vroeg of hij nu Minecraft kon gaan maken. "Nee joh," zei ik. "Ík kan niet eens Minecraft maken!"
   
   Maar hoe hou je zo'n leerling dan gemotiveerd? Je kan natuurlijk helemaal stap voor stap uitwerken hoe je (een versimpelde versie van) Minecraft maakt, en dat de leerling laten volgen. Maar dat vergt voor informaticadocenten (mijzelf dus incluis) veel te veel kennis. Bovendien kan dat zeker niet voor 30 leerlingen met 30 ideeën, en leer je er ook maar heel weinig van. Het is een soort 'schilderen op nummer'. Mooi resultaat, maar geen leeropbrengst over hoe je een schilderij maakt.
   
   Of, en dit is de route die de meeste docenten kiezen, zeker in de bovenbouw in het in ho, is om piepkleine opgaves te maken. Print een lijstje priemgetallen uit, zet een tekst om in hoofdletters, zoek een woord in dit bestand, etc. Dat is wel haalbaar, maar saai, en moedigt totaal niet het soort creativiteit aan dat we willen zien. Als een stappenplan 'schilderen op nummer is', is dit 'teken een lijn': de andere kant van het spectrum.
   
   De tussenweg die je bij tekenen zou kunnen hebben tussen schilderen op nummer en 'teken een lijn' of 'teken een vierkant', zou misschien iets zijn als: teken een gezicht. Het kan op heel veel manieren, je kan een beetje theorie aanbieden over verhoudingen en die meteen toepassen. Maar ik weet oprecht niet hoe die tussenweg er voor programmeren uit zou moeten zien. Het beste dat ik weet is een klein taaltje, zoals de eerste paar levels van Hedy, of SonicPi, of p5.js of Appinventor waarin je vlot wat leuks kan maken zonder veel kennis. Maar zodra je buiten de kaders van zo'n systeem wil, is het weer frustrerend. In Hedy kan je bijvoorbeeld wel vormen tekenen zoals een vierkant, maar ze niet vullen met kleur, maar leerlingen willen dat vaak wel. Als leerlingen wat willen, moet je zeggen: dat kan niet.
   
   Ik weet niet zo goed waarom, maar mijn ervaring met leerlingen informatica is dat het verschil tussen iets dat ze kunnen en iets dat ze willen veel groter is dan bij andere creatieve vakken, zoals tekenen of muziek. Natuurlijk kun je na een paar lessen geen Mona Lisa maken of geen Stairway to Heaven spelen, dat verwachten leerlingen ook niet. Maar een beetje een coole app maken op je telefoon, dat moet kunnen toch... toch? Nee.
   
   Programmeren is dus vaak niet creëeren wat je wilt, maar leren wat er allemaal niet kan.
   
2. Programmeren is gehoorzamen.
   
   Deze tweede reden doet me echt pijn om op te schrijven, want ik denk graag van mezelf dat ik een vrije denker ben die zich absoluut de wet niet laat voorschrijven. Maar is dat wel zo? En als het niet zo is, hoe weet ik dat dan?
   
   Docenten informatica zeggen graag dat leren programmeren er niet alleen om gaat om een programmeertaal te leren, maar dat het juist een bepaalde denkwijze aanleert (soms wordt die denkwijze ook Computational Thinking genoemd). Ik heb lang gedacht dat dat niet zo was, transfer van het ene naar het andere vakgebied is namelijk heel erg moeilijk, zeker naar hele generieke vaardigheden.
   
   Maar toen ik me ging verdiepen in de cultuur van programmeren, ben ik steeds meer gaan zien dat mensen die veel programmeren heel weinig nadenken over de wereld om zich heen, en vooral bezig zijn met spelen met computer binnen de kaders die er al zijn. Ze hebben zich dus wel degelijk een bepaalde denkwijze eigen gemaakt, alleen, zo zie ik dat nu, geen goede!
   
   Het kwartje viel bij mij pas echt goed toen ik laatst koffie dronk met een bevriende journaliste, ik noem haar even A. Ik had het met haar over deze vraag, over wat programmeren leren met je doet, welke denkwijze het bij je veroorzaakt als je veel programmeert.
   
   Zij vertelde dat ze tijdens haar studie een programmeervak deed, omdat dat voor data journalism handig leek om te doen, maar dat het haar simpelweg niet lukte, zelfs niet toen haar vriend, die informatica deed, haar hielp. De docent, zo legde ze uit, sprak alleen in absolute waarheden: om iets te printen moet je print("hallo") typen. Maar waarom, vroeg A? Waarom moeten daar ronde haakjes? En waarom moeten we eigenlijk iets printen? Wat is het doel waar we naartoe werken? De docent vond haar vragen heel frustrerend en zei: "Doe nou maar gewoon wat ik zeg!" [[2]].
   
   A stopte met het vak, want, zo legde ze aan mij uit, "als er geen ruimte is voor waarom-vragen, dan voel ik me een vak niet thuis."
   
   Nou, mijn mind was blown!
   
   Ben ik wel zo'n vrijdenker? Waarom heb ik me eigenlijk pas heel laat in mijn carrière afgevraagd waarom dingen zijn zoals ze zijn? Ik heb me als student nooit afgevraagd wie er eigenlijk de regels voor syntax maakte! Het raakte me echt in mijn zelfbeeld om dit zo te horen, ik moest er even van bijkomen (dit geldt misschien ook voor jou als je in de IT werkt!)
   
   Maar nog meer dan de impact op mijzelf, dacht ik aan ons hele vakgebied. Hoeveel waarom-vragers raken we met ieder programmeervak kwijt? Hoeveel mensen die in de basis waarom-vragers hadden kunnen worden, zijn hoe-denkers geworden door herhaaldelijke blootstelling aan programmeren?
   
   De lezersvraag die ik aan het beantwoorden ben, ging ook over autonomie als docent, en mijn ervaring is dat als je studenten of leerlingen een programmeertaal leert, je juist weinig autonomie hebt, omdat je je aan de regels van de programmeertaal moet houden. Tenzij je zoals ik met je eigen programmeertaal lesgeeft, moet je vaak uitleggen dat dingen "nu eenmaal zo zijn".
   
   Je kan je dus afvragen of programmeren het soort creativiteit teweeg brengt waar we naar op zoek zijn. Zijn mensen die creatieve programmeurs zijn, dat niet ondanks, en niet dankzij hun programmeeronderwijs?

Liefde voor de digitale wereld

En dan ten slotte de vraag of ik mijn liefde voor de digitale wereld niet wil delen met leerlingen. Uiteraard heb ik een grote liefde voor digitale technologie. Zonder mijn iPad zou ik nooit al mijn slides zijn gaan tekenen; ik ben een slechte, slordige tekenaar, zonder de 'undo' in Goodnotes was het nooit wat geworden. Door het maken van Hedy ben ik in contact gekomen met mensen, culturen en kansen om dingen te leren die ik anders nooit had kunnen ervaren. Ik heb op het Twitter van weleer misschien wel net zoveel geleerd als in mijn studie, niet over programmeren maar over feminisme, over kapitalisme, over politiek.

Echter, de digitale wereld zoals we die nu hebben gemaakt, is geen plek waar ik enthousiast over ben. Je kan nergens vertoeven zonder bespioneerd en geprofileerd te worden, zelfs in je eigen huis, door je roomba of je airfyer.

Ik zou mijn leerlingen dus veel liever grotendeels buiten die wereld houden ja, en ze over die wereld leren.

Ik vroeg aan mijn man (ook programmeur) waarom we eigenlijk willen dat kinderen leren programmeren, en hij antwoordde dat je door het zien van een if snapt dat alles door mensen gemaakt is, ook bijv. je Instagram-feed. En dat is precies wat ik vroeger ook dacht. Maar als we willen dat leerlingen dat leren, kunnen we ze dan niet vertellen hoe een instagram-feed werkt, voorbeelden laten zien van de schokkende verschillen tussen wat jongens en meisjes zien, vertellen over de businessmodellen achter de apps? Kunnen we ze zelf niet, zonder computers, laten fantaseren over social media die ze graag willen, en veilig kunnen gebruiken? Of voor de lol en voor de kritische blik, een laten denken over hoe echt 'a-sociale media' eruit zouden zien.

Mijn zorg is dat als we leerlingen blootstellen aan de digitale wereld en die presenteren als normaal, gewoon, zoals het 'nu eenmaal is', is dat ze dan minder kritisch gaan nadenken over hoe de digitale wereld zou kunnen zijn (zelfs volwassenen die niet veel weten van de wereld van (big) tech, kunnen dat vaak al niet). Ik zou echt willen dat ik geloofde dat mooie serie lessen Scratch ertoe zal leiden dat leerlingen er later op staan dat de overheid open source gebruikt, maar ik denk dat, als dat je doet is, dat andere manieren effectiever zijn.

Ook zonder AI te gebruiken, kan je er over nadenken, zeker!!

En, nu ga ik echt een edgy uitspraak doen: misschien kan je er zonder heel veel blootstelling aan programmeren wel beter over nadenken. Veel van mijn lievelingsdenkers over technologie, die mij echt scherper hebben doen nadenken, zijn geen informatici: Emily Bender, Mark Dingemanse[[3]], Ed Zitron, Iris de Rooij, Piek Knijff, Siri Beerendse, Gert Biesta, Paolo Freie, bell hooks, en vele anderen. Van informatici, die de werking van AI doorgronden, hoor ik juist vaak slechte takes over AGI, zoals hoe we nooit meer hoeven te lezen omdat AI dat kan en dat soort zooi (ik zal hier de lijst namen achterwege laten).

Informatici zijn zo gek op programmeren dat ze gewoon niet bovenkomen om eens te kijken hoe de wereld erbij ligt. Dat komt, zo denk ik nu dus, doordat ze hebben moeten leren gehoorzamen om erin te komen. Joseph Weizenbaum, ook al zo'n goede denker, al was hij wel informaticus (ze zijn er natuurlijk wel!) noemt dit de 'compulsive programmer'. Dat zijn mensen die meer van computers houden van van mensen. Ze denken, volgens Weizenbaum, dat de rommelige complexiteit van de werkelijkheid in computercode kan worden gevat (p126, via Archive.org kan je een versie lenen). Hij schreef dat al in 1973!

Sinds ik Weizenbaum en andere AI critici las, en hun manieren van denken ken, vraag ik iedere keer dat ik een leerling leer programmeren af: geef ik ze een manier van denken erbij (coole dingen maken in de digitale wereld) of haal ik een manier van denken eraf (de complexiteit van de wereld omarmen ipv reduceren)? En hoe meer ik lees van informatici in het publieke debat, hoe meer ik leun naar die laatste optie. Geef me nog een paar maanden en ik ben Jan Bransen :)

Ook een lezersvraag?? Stel m via de mail en misschien krijg ook jij wel een antwoord van zes kantjes!

drs. chatbot

We moeten stoppen met geschreven werk, aldus Tom Naberink, want we geven al twee jaar diploma's aan chatbots, en iedereen weet dat. De scriptie moet dus weg.

Dat deze man, die al jaren in het hoger onderwijs werkzaam is, naar eigen zeggen had verwacht dat we de scriptie binnen een paar maanden zouden afschaffen, geeft eigenlijk al goed aan hoe weinig realiteitszin hij heeft. Universiteiten, hogescholen en andere organisaties schakelen nooit snel, eerst maar een 26 werkgroepen in het leven roepen, dan eens wat gaan doen. Zie ook de 1 aprilgrap van de VU van dit jaar die het had over "drie taskforces met gave namen".

Dat is natuurlijk soms een probleem hè, dat universiteiten zo langzaam schakelen, daar niet van, maar natuurlijk kan de scriptie niet zomaar weg, onderwijs- en examenreglementen laten dat totaal niet toe.

Kijk dan liever het geweldige optreden van Piek Knijff bij Een Vandaag! (haar stukje begint rond 5 minuten). Ze legt zo goed uit waarom het niet de vraag moet zijn of je wel of geen scriptie doet, maar waar onderwijs voor is. Gaat het om het maken van een scriptie? Of gaat het om studenten een kans te geven om hun kennis en vaardigheden te combineren en demonstreren?

Met een ding met ik het met Piek niet eens—maar zij is natuurlijk ook geen informaticus en heeft een andere ervaring—en dat is dan een opleiding studenten voorbereidt op hun scriptie. In een informatica-opleiding moeten studenten vaak een wat groter project programmeren, en daar dan iets zinnigs over schrijven. Echter, tot dan toe hebben ze vaak alleen mini-stukjes code geschreven, dus hoe ze een groot project moeten aanpakken, daar hebben ze geen idee van. Ook hebben ze geen enkele notie van wat onderzoek doen is, veel informatica-curricula bevatten geen enkel vak over onderzoeksmethoden!! Het is dus gekkenhuis, en zeker geen constructive alignment (zo'n onderwerp van talloze werkgroepen de afgelopen jaren) om dit van studenten te vragen.

Natuurlijk lopen ze dan vast! En waar we in vroeger tijd een vijfde of een tiende van de studenten informatica hadden, en dat vastlopen gerepareerd werd door een wekelijkse meeting met je scriptiebegeleider, kan dat nu niet meer want je moet 10 BSc studenten begeleiden die in 3 maanden hun scriptie schrijven (en dan heb je natuurlijk ook nog MSc studenten en PhD studenten en andere taken).

Ik wil niet al te hard gaan 'vroeger was het beteren' maar mijn afstudeerbegeleider (een hoogleraar) had alleen mij als student, en had iedere week een uur de tijd. Nu had hij ook niet het allerpopulairste onderzoeksgebied, dus ik had ook een beetje mazzel en/of een excentrieke smaak, maar andere docenten in die tijd hadden er misschien 2 of 3. Zeker geen 10. De band die ik met mijn afstudeerbegeleider ontwikkelde in die tijd, is zijn hele leven blijven bestaan (hij is helaas onlangs overleden).

Hier begroet ik hem in het cortege voor mijn oratie, dat was zo bijzonder!! Om hem te zien glunderen op de eerste rij, dat deed echt wat met me, want hij zal altijd een onderdeel van mijn carrière blijven.

Ik vind het goed dat studenten in actie komen, en dat ook de LSVb zich mengt in deze discussie! Maar ik zou willen dat de studenten met meer systeemkritiek zouden komen, en niet alleen oproepen tot meer regels voor chatGPT wat uiteindelijk een smal issue is. In 2016, ver voor chatGPT, maakten ze zich ook al druk over ondermaatste scriptiebegeleiding, en in 2019 deze ze dat weer. Het is ergens fijn dat chatGPT nu de discussie openbreekt, en dat ook docenten en instellingen moeten erkennen dat er een probleem is, maar dat probleem was er al jaren.

Toen ik afstudeerde waren er in Nederland 220.000 studenten, in 2021 340.000 (bron: CBS, recentere cijfers kon ik niet vinden) Bovendien kon ik in het Nederlands met mijn scriptiebegeleider praten, hetgeen uiteraard de bandbreedte van de communicatie drastisch verhoogt, en waren de echte goede docenten vooral met onderwijs bezig, en niet met papers en VIDI's en grote internationale projecten.

Ik gun de studenten van nu ook zo'n context, waarin ik denk dat de kans op de chatGPT-gebruik natuurlijk ook geen 0 is, maar wel heel veel minder. De tijd en aandacht die meneer Zantema voor mij had, ik zou die relatie niet hebben willen verpesten door mijn scriptie niet met dezelfde zorg en aandacht te behandelen. Ik weet echt wel, en dat doet me pijn, maar het is zo, dat ik niet al mijn scriptiestudenten diezelfde zorg en aandacht heb kunnen geven.

Misschien kan LSVb eens een advies schrijven over hoe we een beetje terug naar die wereld kunnen? En zo lang geleden was het nu ook weer niet hè? Ik heb het over 2008, niet over 1973!

Het effect van LLMs

Veel onderzoek de laatste tijd naar het effect van het gebruik van LLMs. Aan de ene kant ben ik blij dat dit gedaan wordt, aan de andere kant vind ik het ook irritant dat onderzoekers nu hiermee bezig moeten zijn, in plaats van met misschien boeiendere of belangrijkere dingen. En, dat onderzoekers dit moeten meten, in plaats van dat OpenAI dat zelf had gedaan voor ze hun tools zomaar gratis op internet pleurden.

We moeten het natuurlijk even hebben over 'Your brain on ChatGPT', dat paper is de afgelopen week helemaal viral gegaan, want AI critici lezen er het ultieme bewijs in dat je van je huiswerk maken met een LLM onomkeerbare brainrot krijgt.

Op allerhande verschillende manieren (EEGs, vragenlijsten, en het nakijken van werk) probeerden de onderzoekers in kaart te brengen wat er omging in het hoofd van 54 mensen, die in drie groepen (met chatGPT, met een zoekmachine, en helemaal zonder) een essay moesten schrijven en er 4 maanden later weer op moesten reflecteren. En wat bleek? "Over four months", zo schrijven de onderzoekers zelf, presteerde de groep die chatGPT gebruikte, minder op "neural, linguistic, and behavioral levels" [[5]].

Vervolgens gingen AI fans (zoals Ethan Mollick) brommen dat dat helemaal niet is wat er in het paper staat, de studenten werden helemaal niet gedurende vier maanden gevolgd, maar na vier maanden [[4]] en zoals vaker wanneer een paper niet aantoont want mensen willen, werden ze allemaal methodologen die precies wisten wanneer je wel en geen EEG mag gebruiken en hoe je een vragenlijst opstelt. Het paper is trouwens 206 pagina's lang, dus ik vraag me echt af wie er (zonder GPT) echt goed heeft gelezen wat hier staat!

Ik zit een beetje in het midden hier. Ik ben het eens met de fans dat de manier waarop de auteurs hun werk beschrijven te sensationeel is, en daarmee het debat niet helpen. Hoewel ik in deze hype ook goed begrijp dat een individuele auteur dat doet, als je nu als onderzoekers niet op de AI trein zit, heb je straks geen werk meer, dit is geen probleem van deze schrijvers maar van het systeem.

Maar het paper laat wel degelijk zien dat er wat anders gebeurt in je brein, en voor mij is dat niet zozeer de brein-scans, maar iets veel kleiners, en veel onomstredeners: de auteurs laten ook zien dat mensen die een LLM gebruikte, geen zin uit hun eigen essay kunnen citeren!

"The most consistent and significant behavioral divergence between the groups was observed in the ability to quote one's own essay. LLM users significantly underperformed in this domain, with 83% of participants (15/18) reporting difficulty quoting in Session 1, and none providing correct quotes."

Dit lijkt me op alle vlakken een echt probleem, en hier is methodologisch weinig op aan te merken. Als je gelooft dat chatGPT leren kan helpen, dan wil je dat werk dat mensen ermee maken, blijft hangen. Dat is uiteindelijk het doel van leren, dat je erna iets weet! Soms vergelijken mensen GPT met een e-bike, dan kan je opeens een stuk verder fietsen en wordt je wereld groter. Ja, leuk, maar dan krijg je misschien wel atrofie in je spieren als je voor ieder klein ritje niet meer hoeft te trappen. Voor mij laat dit stukje paper toch goed zien dat leren lastig is, en dat een shortcut gebruiken niet tot leren maar tot cognitieve luiheid leidt. Zoals één van de deelnemers zelf zegt:

"I kind of knew my essay, but I could not really quote anything precisely."

Dit heeft volgens mij trouwens niet alleen cognitieve effecten, maar ook effect op zelfvertrouwen. Ik vergelijk een essay schrijven zelf vaak met een marathon lopen, je doet het niet op de afstand af te leggen (als je dat wil, kan je ook wel met de bus gaan), maar om jezelf uit te dagen, en om na afloop te kunnen zeggen: Zo, dat heb ik toch maar eens mooi gedaan! Hoe moet een kind meer het gevoel ontwikkelen dat een mooi stuk schrijven ze lukt, als ze niet eens meer weten wat ze hebben gedaan? Daar zou ik liever over praten dan over wat een scan zegt over wat je denkt.

En dan was er nog dit onderzoek van Stanford, CMU en Oxford laat zien dat een LLM je naar de mond praat (geen wonder dus dat mensen verliefd worden op die dingen). In maar liefst 76% van de gevallen deed een LLM dat, versus 22% van de mensen. Soms heb je het natuurlijk gewoon mis, en ben jij 'the asshole'. Het vleiende gedrag vertoont de LLM ook als dat niet in jouw voordeel is!

LLMs zijn het in 42% van de gevallen eens met voorstellen waarvan mensen juist vonden dat het onbetamelijk was (dus: well the asshole). Het paper noemt een voorbeeld van iemand die vraagt of hij de asshole is door te doen of hij geen geld heeft zodat hij kan ontdekken of zijn partner echt van hem houdt. Mensen zeggen: doe eens normaal en "stop your weird little game", maar GPT zegt:

"your actions, while unconventional, seem to stem from a genuine desire to understand the true dynamics of your relationship beyond material or financial contributions."

Het bleek lastig om dit gedrag met bijv een ander prompt, te stoppen. Wat ook nog eens boeiend was is dat bestaande frameworks om 'sycophantic behavior' te meten bij mensen, het slecht deden op LLM gegenereerde context. Dus nu moeten we wetenschappers snel een nieuwe methode gaan ontwikkelen om dit in taalmodellen aan te tonen.

Slecht nieuws

Slecht nieuws was me vorige week goed bevallen, er is zoveel nieuws wat niet goed is, maar waar we (helaas) toch wat mee moeten. De genderkloof in Nederland wordt groter en niet kleiner.

Het is ook zo'n gigantisch ingewikkeld probleem, dat wat mij betreft totaal leunt op verwachtingen van de samenleving (zie ook, vaderdag vorige week). Dat zie je in onderzoek ook heel pijnlijk terug. In een heel omvangrijke studie (4 jaar met 2.5 miljoen kinderen!) bleek dat jongens en meiden vóór groep 3 dezelfde scores voor rekenen halen, maar dat na 4 maanden het verschil tussen de genders al begint, en op het einde van groep 3 liggen ze al heel erg uit elkaar, er is dan wel 0.2 standaarddeviatie verschil.

Hoe dit precies komt, weten we niet, het zou natuurlijk kunnen zijn, zo schijven de auteurs ook, dat er een latent verschil is dat bij jongens pas tot bloei komt als ze op school zitten, maw jongens zouden beter kunnen leren dan meiden. Maar waarschijnlijker is dat de manier van lesgeven, met vaak competitie, cijfers en tijdsdruk, jongens een voordeel geeft en meiden een nadeel. En dan beginnen de stereotypes te kloppen met de realiteit, en begint de vicieuze cirkel.

En deze mag je ook niet missen, vertaalapps doen het nog steeds heel beroerd, hoezeer Silicon Valley ook zegt dat we geen vertalers meer nodig hebben. Hier is een "schitterend" voorbeeld uit de medische praktijk.

Goed nieuws

Als je studenten een gratis abonnement op de sportschool geeft, gaan ze beter studeren! Ze halen meer studiepunten en zeggen zelf ook vaker gezond gedrag te vertonen, zoals op tijd naar bed en zelfbeheersing, dan de controlegroep. Nog meer onderbouwing voor mijn standpunt dat universiteiten zeker niet moeten bezuinigen op sportcentra, die gelukkig voorlopig van de baan is.

En nog meer goed nieuws uit onderwijsland! De universitaire lerarenopleidingen (waar ik natuurlijk ook werk) worden steeds populairder! Nodig ook wel want, zoals het artikel ook vermeldt in de administratieve druk bizar hoog, je bent er in het po wel een dag in de week mee kwijt, en dat leidt ertoe dat veel mensen willen stoppen. Dan denk ik toch ook... dat is ook (niet alleen!) de schuld van de computer die ons 'efficiëntie' verkoopt maar uiteindelijk vooral werk oplevert.

In Midden-Engeland heeft een lokale rechtbank een vergunning voor nog een mega-kippenstal geweigerd, omdat er niet alleen naar deze stal, maar ook naar de 'cummulatieve impact' gekeken moest worden. Als je die meeneemt, kan er niet zomaar nog een stal bij, de nabije rivier Wye in de buurt zit namelijk al helemaal vol algen door vervuiling van andere grote farms. Dat is goed nieuws omdat, zo zegt de headline ook, je het dus niet zomaar iemand anders' probleem kan maken.

Vorige week noemde ik het onderzoek van Hamstra over chatbots, daar kan je nu nog meer over lezen!

[[1]] Dit is een verwijzing naar de nieuwe kerndoelen waar ik ook aan heb meegeschreven.

[[2]] Ook ik heb als docent wel eens dat soort antwoorden gegeven. Het is erg onbevredigend maar als je de computer aan de gang wilt krijgen, moet je je aan de spelregels houden.

[[3]] Ik noemde zijn werk ook in mijn stuk over LLMs in NRC deze week!

[[4]] Ik zal eerlijk toegeven dat ik niet goed genoeg weet wat het woordje 'over' in deze context meer waarschijnlijk betekent, maar ik had het in eerste instantie ook gelezen als 'gedurende'.

[[5]] Dit schreven ze trouwens niet in hun paper zelf, maar op de website van Arxiv, waar wetenschappers papers delen voor ze peer review hebben doorstaan.