AI in week 14

Nou, het was weer een week! (English below, again!)

Misschien moet ik eens gaan turven hoe vaak ik dat dit jaar geschreven heb, maar ik was dus woensdag te gast in de Tweede Kamer en dat wat heel erg bijzonder. Zo'n zaal die je normaal op TV ziet en dan zit je er opeens zelf!

Welkom ook nieuwe lezers die mij door dit optreden gevonden hebben! Meer van mij lezen (of zin in een extra portie Felienne in dit extralange weekend)? Je kan hier een random nieuwsbrief (her)lezen!

In de Tweede Kamer!

Heb je het gemist? Geen zorgen! Je kan de Ronde Tafel nog terugkijken, je kan mijn stuk dat ik vooraf heb aangeleverd hier teruglezen, en ik heb ongeveer dit gezegd in mijn openingswoorden (die je ook op BlueSky kon zien):

"De droom van beter onderwijs met technologie is van alle tijden, al in 1922 voorspelde Thomas Edison dat schoolboeken binnenkort passé zouden zijn; met film kon je immers 100% efficiëntie bereiken. Het gebeurde niet, en ook niet met video, internet, of YouTube. Ik dacht vroeger ook zo positief over technologie, maar als je voor de klas staat, zie je dat leren veel meer is dan kennis overdragen. Het gaat veel meer over kennis bieden en interesses aanwakkeren. En dat moet dus juist niet gepersonaliseerd, want we moeten alle leerlingen de kans geven om te ontdekken of scheikunde of literatuur wat voor ze is. We moeten ze iets aanbieden wat ze nog niet interessant vinden!

En technologie verstoort dat vaak. Het internet kan in theorie een bron van kennis zijn, maar is meestal een bron van afleiding. Zodra de laptops open zijn moet ik waarschuwen: Nee geen Youtube, blijf bij de les! Een leerlingvolgsysteem als Magister lijkt handig, al je huiswerk op één plek, maar wat blijkt? Het zelf opschrijven van huiswerk heeft een andere waarde. Bovendien bleek het al snel leerlingen (en ouders) cijferstress op te leveren. Telefoons, laptops en ook Magister worden voorzichtig weer uit scholen geweerd en dat vind ik een goede ontwikkeling.

Ik ben dus niet cynisch maar eigenlijk heel optimistisch over mijn collega's. De meeste docenten die ik ken zijn prima in staat om om te gaan met deze nieuwe realiteit waarin maakwerk thuis soms met AI gemaakt wordt; meer inzetten op mondelingen, meer snelle overhoringen die leerwerk testen, en het maken van betekenisvoller huiswerk dan een boekverslag of een profielwerkstuk op basis van 10 vragenlijsten. Ermee omgaan hoeft zo ingewikkeld niet te zijn.

Als we maar wegblijven bij "Maar ze gebruiken het toch". Klopt. Dat hoeven we dus niet meer te doen. De hele wereld vraagt om snel, browsertabje met Chat open, huiswerk op je telefoon, Netflix op de achtergrond. Als ik het voor het zeggen had dan zette ik scholen aan tot de tegenovergestelde beweging. Wij moeten leerlingen leren langzaam en met oog voor detail te werken, samen met elkaar en van elkaar. Laten we het eens over de voordelen van bestaande technologie hebben. Een boek zit niet vol met popups en reclame, en hevelt geen geld en macht over naar big tech. De batterij van je pen gaat niet leeg en het loopt niet vast. Het huidige internet nodigt uit tot vluchtigheid, de analoge wereld tot aandacht en dat verdient de volgende generatie. En dat is ook nog eens bewezen: van papier leer je beter dan van een scherm.

Scholen moeten niet gaan experimenteren met AI, daar zijn wij helemaal niet voor, er is al genoeg vernieuwd in de afgelopen decennia. Laat de wetenschap dat maar rustig uitpluizen en scholen zich bij hun kerntaak houden en dat onderbouwd doen."

En nog even over dat uitpluizen, dat gebeurt natuurlijk al regelmatig. Ik schreef al eerder over onderzoek waarvan:

De resultaten laten zien dat de AI groep 11% lager scoorde op een toets, iets meer dan een punt lager op een cijfer zoals we dat in Nederland toekennen tot en met 10. Dat komt, schrijven de auteurs, omdat je met AI niet zo "diep" leert.

Tsja, dat is in lijn met het werk van Carr, die in zijn boek the Shallows schreef over een studie waarin sommige mensen van papier lazen en andere van een scherm met hypertext [[1]]:

One group searched through electronic hypertext documents, while the other searched through traditional paper documents. The group that used the paper documents outperformed the hypertext group in completing the assignment.

Dat komt, citeert hij dit boek omdat hypertext "imposes a higher cognitive load on the reader". Het hele boek The Shallows is echt de moeite waard, omdat het zo goed aantoont dat lezen op het web heel anders is dan lezen op papier, door het non-lineaire formaat en doordat je bij iedere link moet denken "klik ik erop of niet" (jaja ik zou er dus niet zo mee moeten strooien!).

Andere resultaten laten zien dat mensen er niet goed mee om kunnen gaan, zoals dit recente paper van de Wharton Business School waarover Forbes schrijft:

experiments with almost 1,300 subjects and found that in 80% of the cases when participants chose to consult ChatGPT, they went with wrong answers without stopping to scrutinize them.

De onderzoekers zelf schrijven dat:

Decision-makers overrely on AI advice in that they follow it even when said advice contradicts available context information.

Dus zelfs bij bewijs van het tegendeel geloven mensen AI, omdat ze nu eenmaal denken dat een computer het beter weet. Iets vergelijkbaars vond een ander paper, dat meer dan 2500 mensen tekst liet schrijven met AI autocomplete, maar die AI was bevooroordeeld. De deelnemers gingen de vooroordelen van de AI overnemen, vaker dan je zou verwachten als ze een gewone tekst zouden lezen. En, waarschuwen hielp niet!

En dan kan je zeggen: je moet het beter gebruiken, je moet wel controleren, maar dat gaat echt voorbij aan het feit dat controleren moeilijk is, uitputtend en saai. En dat gaat voorbij aan het feit dat waarschuwen niet helpt.

Kortom, ze zien in de (kortlopende en kleine) studies die nu uitkomen keer op keer dat het zelfs professionals niet lukt om AI goed te gebruiken, dus het is meer dan redelijk om heel heel voorzichtig te zijn met het inzetten van deze technologie voor kinderen. Laten we met ze boeken lezen! Die hallucineren niet!

Hoe dan? Nou bijvoorbeeld met de de fan-tas-tische werkvormen van docent Engels Wouter de Jong, die zijn leerlingen een fysiek leesdagboek laat bijhouden.

Dit is toch smullen als leraar, zoiets moois?!

En als je denkt dat ik met mijn suggestie van een boek ouderwets ben?! Think again, op Cornell is er eentje die de typmachine uit het vet hebben gehaald! Deed me denken aan dat mooie verhaal over die man die ze opknapte.

En naast lezen in de klas kunnen we ook eens heel kritisch nadenken over huiswerk. Dat sluit goed aan bij deze fijne tips van Rene Kneyber. Dus niet "we kregen die niet af in de les dus schuif maar door" maar doelgericht, en niet straffen bij ongemaakt werk, maar overhoren en zelf tot de conclusie laten komen dat leren handig is. Dat helpt beter tegen AI dan waarschuwen dat het niet mag, lijkt mij!

[[1]]: Het is niet precies helder welke studie Carr bedoelt, vermoedelijk deze.

Optimisme en rouw

Soms noemen mensen mij cynisch en pessimistisch over AI op school, maar ik ben dat echt niet! Mensen die mij in de echte wereld kennen zullen dat, denk ik, ook niet over mij zeggen. Ik ben niet pessimistisch over collega's in het onderwijsveld, zoals ik in mijn openingswoorden zei in de Tweede Kamer, en niet over leerlingen.

Mijn eigen leerlingen kunnen heel kritisch kijken naar het zelf gebruiken van AI en hoe een goede AI eruit zou kunnen zien (daar hebben ze helemaal niet zoveel uitleg voor nodig gehad!) en wat te denken van deze geestige leerlingen in een brief in de Volkskrant?

Ik ben dus niet cynisch over leerlingen, maar wel over het systeem. Ik had er geen tijd meer voor in mijn openingsstuk, maar ik wilde nog wat zeggen over het verdrietige stuk in NRC van HBO-docente Merel Kamp dat ik vorige week al kort aanhaalde. Kamp legt geweldig uit dat leraren niet teleurgesteld zijn in leerlingen die het gebruiken—spieken is ook van alle tijden en veel leerlingen zijn er terecht voorzichtig mee—maar in de buitenwereld en soms leidinggevenden die zeggen dat het maar omarmd moet worden, dat leesvaardigheid en kennis er niet meer toe doen. Dat doet pijn en zal, als je het mij vraagt, bijdragen aan het verder verlagen van de status van het beroep en tot minder leraren leiden.

En niet alleen het verhaal van Kamp was herkenbaar, ik herkende ook veel van het verdriet en frustratie in deze open brief van docente Emily Tucker van Georgetown in reactie op het besluit van haar universiteit om AI te omarmen. Makers van AI hebben nodig dat jij hun tools gebruikt (dat zei Nadella natuurlijk gewoon hardop) dus het verhaal dat zappen zinloos is, is in hun voordeel.

The reason is that in order to preserve their wealth and power, they need us to be so in the habit of denying our own capacity to resist that we actually do lose the capacity to resist. 

En studenten snappen zelf ook prima trouwens dat werken met AI ze geen leerwinst oplevert, lezen we in een (verder wel heel positief) stuk in Nature dat een aantal PhD studenten interviewde:

The AI worked well, he says. But a couple of weeks later, he couldn’t remember the code it had produced, or even what he had asked the AI to do. By contrast, he remembers exactly what he did for each plot in his undergraduate thesis almost ten years ago. “That’s what frustrates me about AI. It gives immediate reward, but you don’t learn or improve.”

En snap je dat toch nog niet? Lees dan deze hele fijne achtergrond van Olivia Guest, je kent haar als de aanvoerder van het Against the uncritical adoption-paper, dat trouwens inmiddels geaccepteerd is in het Journal of Digital Culture and Education, als het definitieve paper er is, deel ik het hier ook weer!

Vibe coding, waar dan?

Geweldige analyse van onderzoekers van Answer.ai over de impacts van taalmodellen op programmeren, je weet wel "vibe coding". Als het werkelijk zo revolutionair is, waarom zijn er dan niet inmiddels, drie jaar na de introductie, heel veel nieuwe apps gemaakt? Als de belofte waar zou zijn dat het met AI zo makkelijk is om te programmeren, dan zouden we dat toch ondertussen al moeten terugzien op Github. Dan zou je een enorme toename verwachten van libraries (gedeelde stukjes software). Maar, dat blijft uit! Er was even een fikse spike (waarschijnlijk spam, schrijven de auteurs) en daarna was het.... business as usual.

Luisteren maar!

Geen zin om deze hele lange nieuwsbrief te lezen? Geen probleem! Toevallig was ik de afgelopen tijd in een paar podcasts te gast die allemaal deze week uitkwamen, allemaal natuurlijk over/rondom AI in het onderwijs

• AIToday Live
• KnowVU podcast (van de VU)
• Taal en Digitaal (van Probiblio)
• Digitale geletterdheid is van iedereen (van Rhea Flohr)

En dan nog even dit

• Fijne aflevering van de Lost Women of Science-podcast interview over Eunice Newton Foot die als eerste het broeikaseffect ontdekte (in een echte broeikas!) maar daar natuurlijk niet voor de annalen in is gegaan.
• Lijst met een hoop nuttige tips over hoe je beter kan zoeken met Google; veel van de technieken werken ook in andere zoekmachines zoals aanhalingstekens voor letterlijk zoeken, of beperken of site of bestandsnaam. Sommige truukjes kende ik nog niet, zoals AROUND gebruiken om te zoeken naar content waarin bepaalde woorden bij elkaar staan (al moet gezegd dat ik het heb geprobeerd en niet zag dat het altijd zo uitpakte, en de auteur geeft zelf ook aan dat het niet altijd werkt)

Events, voor in de agenda!

• Dinsdag ben ik in Pakhuis de Zijger
• Op zaterdag 11 april spreek ik bij de Amsterdamse Nacht van de Filosofie waar over het gedachtegoed van Big Tech
• Donderdag 17 april spreek ik op ICT Open over het veranderen van informatica-curricula (dat is in het Engels)
• Woensdag 9 juni spreek ik in Brussel over AI en programmeren op DDD Europe

Slecht nieuws

In het stopzetten van wetenschappelijke beurzen van de NIH, onder andere door Elon Musk en zijn DOGE waren vrouwen en jonge wetenschappers veel vaker de sigaar dan anderen, ondanks dat zij juist minder beurzen ontvangen. Logisch ergens want juist vrouwen en jongere mensen zijn meestal meer begaan met ongelijkheid waartegen DOGE optrad. Dit is dus niet zozeer toeval, maar opzet (en passend ook in de denkwijze die we de laatste tijd openlijk bij Alex Karp van Palentir hebben gezien)

Hoe moet AI gefinancierd worden? Het kan haast niet anders of er moeten advertenties in, zie ook het afschaffen van SORA dat OpenAI aan een rechtenkwestie toeschreef maar dat ook geen fatsoenlijk betaalmodel had natuurlijk. En inderdaad, daar komen ze al: Microsoft zet CoPilot reclame in pull requests (ze noemen het zelf "product tips").

Gewoon lesgeven in Florida, dat kan eigenlijk niet meer. Van nieuwe regels mag je bijvoorbeeld niet uitleggen dat vrouwen voor hetzelfde werk minder verdienen dan mannen ("de pay gap"), je mag het niet meer over structureel racisme hebben en je mag als docent literatuur alleen nog westerse boeken aanbieden. Iedere keer als ik mensen (ook in Nederland) hoor over hoe de wetenschap niet aan genoeg stemmen de ruimte biedt, denk ik: dit is ook ons voorland... Het is allemaal wraak voor het hele kleine stukje macht en curriculumruimte dat vrouwen en niet-witte mensen hebben weten te bevechten de afgelopen decennia.

Goed nieuws

Maar er is ook goed nieuws! Dit hoopvolle verhaal bijvoorbeeld in Financial Times over hoe Parijs er de afgelopen jaren in is geslaagd om auto's uit de stad te weren. Meer dan 300 straten bij scholen zijn voetgangersgebied geworden. En zorgen over de "bv Parijs"? Ongegrond! "Retailers often worry it will deter their customers. Studies repeatedly show it doesn’t."

En het afschaffen van diversiteitsinitiatieven? Dat willen tech bazen misschien wel, maar gewone mensen blijven voorstanders, zoals de aandeelhouders van Apple.

Geniet van je boterham en van een lekker lang weekend!

English

Well, this was quite a week again! Maybe I should start keeping track of how many times I've written that this year, but this week was really special as I spoke in the Dutch parliament! It’s one of those rooms you usually see on TV, and then suddenly you are there yourself!

Welcome to new readers who found me through this appearance! Want to read more from me (or in the mood for an extra dose of Felienne in this extra-long weekend)? You can read (or re-read) a random newsletter here!

In the Dutch Parliament!

Did you miss it? No worries! You can still watch the Round Table discussion, you can read the piece I submitted beforehand here, and here's roughly what I said in my opening remarks (which you can also see on BlueSky):

"The dream of improving education with technology is old; as early as 1922, Thomas Edison predicted that textbooks would soon be obsolete; after all, film could achieve 100% efficiency. It didn't happen, nor did it happen with video, the internet, or YouTube. I used to be just as optimistic about technology, but then you start to work as a school teacher, and, you see that learning is much more than transferring knowledge. It's much more about offering knowledge and sparking interest. And that's precisely why it shouldn't be personalized—because we need to give all students the chance to discover whether they have a love for chemistry or literature. We need to offer them something they don't yet find interesting!

And technology often disrupts that. The internet can, in theory, be a source of knowledge, but it's usually a source of distraction. As soon as laptops are open in my classroom, I have to warn students: "No, no YouTube—stay focused on the lesson!" A student tracking system like Magister seems convenient—all your homework in one place—but what do you know? Writing down homework by hand has a different value. Moreover, it causes grade-stress for students (and parents). Phones, laptops, and Magister are cautiously being phased out of schools again, and I think that's a positive development.

So I'm not cynical, but actually very optimistic about my colleagues. Most teachers I know are perfectly capable of dealing with this new reality where assignments are sometimes done at home with AI; focusing more on oral exams, more quick quizzes that test learning, and creating more meaningful homework than a book report or a research paper based on 10 questionnaires. Dealing with it doesn't have to be that complicated.

As long as we stay away from "But students using it anyway". Sure. So we don’t have to do that anymore. The whole world demands speed: a browser tab with Chat open, homework on your phone, Netflix in the background. If I was in charge, I'd encourage schools to move in the opposite direction. We need to teach students to work slowly and with an eye for detail, together and from one another. Let's talk about the benefits of existing technology. A book isn't full of pop-ups and ads, and it doesn;t funnel money and power to big tech. Your pen's battery doesn't run out, and it doesn't crash. The current internet encourages fleetingness, while the analog world encourages focus—and that's what the next generation deserves. And it's been proven: you learn better from paper than from a screen.

Schools shouldn't start experimenting with AI—that's not what we are for; there's already been enough innovation in recent decades. Let science figure that out on its own, and let schools stick to their core mission with proven methods and tools."

And just a quick note on the "figuring out"—that is already happening, of course. I wrote earlier about research in which:

The results show that the AI group scored 11% lower on a test, slightly more than one point lower on a scale like the one we use in the Netherlands, which goes up to 10. That’s because, the authors write, with AI you don’t learn as “deeply.”

This is in line with the work of Carr, who wrote in his book *The Shallows* about a study in which some people read from paper and others from a screen with hypertext [[11]]:

One group searched through electronic hypertext documents, while the other searched through traditional paper documents. The group that used the paper documents outperformed the hypertext group in completing the assignment.

He cites this book, explaining that this is because hypertext "imposes a higher cognitive load on the reader". The entire book The Shallows is truly worth reading, as it so effectively demonstrates that reading on the web is very different from reading on paper, due to the non-linear format and the fact that with every link you have to think, "Do I click on it or not?" (Yes, yes, I really shouldn't be sprinkling them around so much!).

Other findings show that people struggle to handle this, such as this recent paper from the Wharton Business School, about which Forbes writes:

experiments with nearly 1,300 subjects found that in 80% of cases where participants chose to consult ChatGPT, they accepted incorrect answers without pausing to scrutinize them.

The researchers themselves write that:

Decision-makers overrely on AI advice in that they follow it even when said advice contradicts available context information.

So even in the face of evidence to the contrary, people believe AI, simply because they assume a computer knows better. Something similar was found in another paper, in which over 2,500 people wrote text using an AI autocomplete, but the AI was biased. The participants adopted the AI's biases more often than you’d expect if they were reading a regular text. And, warnings didn't help!

And then you might say: you have to use it better, you have to check it, but that really ignores the fact that checking is difficult, exhausting, and boring. And it ignores the fact that warnings don't help.

In short, the (short-term and small-scale) studies now coming out show time and again that even professionals fail to use AI properly, so it's more than reasonable to be very, very cautious about using this technology with children. Let's read books with them! They don't hallucinate!

How? Well, for example, with the fantastic teaching methods of English teacher Wouter de Jong (Dutch), who lets students keep a physical reading journal.

Isn’t this just a treat as a teacher, something so wonderful?!

And if you think I'm old-fashioned with my book suggestion?! Think again—at Cornell, there's someone who dusted off the typewriter! It reminded me of that lovely story about the man who restored it.

And besides reading in class, we can also take a very critical look at homework. That ties in well with these great tips from Rene Kneyber(Dutch). So not "we didn't finish that in class, so just do it at home" but goal-oriented, and not punishing for unfinished work, but quizzing students and letting them come to the conclusion themselves that learning is useful. That seems to me to be a better defence against AI than warning them that it's not allowed!

[[11]]: It's not entirely clear which study Carr is referring to, but I think this one.

Optimism and Grief

Sometimes people call me cynical and pessimistic about AI in schools, but I really am not! People who know me in the real world, I think, wouldn't say that about me either. I am not pessimistic about colleagues in the education field, as I said in my opening remarks in the Parliament, nor about students.

My own students can take a very critical look at their own use of AI and what good AI might look like (they didn't need much explanation for that at all!). So I'm not cynical about students, but I am about the system. I didn't have time for it in my opening piece, but I wanted to say a few words about the sad piece in NRC by HBO lecturer Merel Kamp that I briefly mentioned last week (Dutch).

Kamp explains brilliantly that teachers aren't disappointed in students who use it—cheating has always been around, and many students are rightly cautious about it—but in the outside world and sometimes in administrators who say it should just be embraced, that reading comprehension and knowledge no longer matter. That hurts and, if you ask me, will contribute to further lowering the status of the profession and lead to fewer teachers.

And it wasn't just Kamp;s story that resonated; I also recognized much of the sadness and frustration in this open letter from Georgetown professor Emily Tucker in response to her university's decision to embrace AI. AI developers need you to use their tools (as Nadella, of course, simply said out loud), so the narrative that studying is pointless works in their favor.

The reason is that in order to preserve their wealth and power, they need us to be so in the habit of denying our own capacity to resist that we actually do lose the capacity to resist.

And students themselves understand perfectly well, by the way, that working with AI doesn't yield any learning gains, as we read in a (otherwise very positive) article in Nature that interviewed a number of PhD students:

The AI worked well, he says. But a couple of weeks later, he couldn’t remember the code it had produced, or even what he had asked the AI to do. By contrast, he remembers exactly what he did for each plot in his undergraduate thesis almost ten years ago. “That’s what frustrates me about AI. It gives immediate reward, but you don’t learn or improve.”

And if you still don't get it? Then read this excellent background piece by Olivia Guest—you know her as the lead author of the Against the uncritical adoption paper, which, by the way, has since been accepted in the Journal of Digital Culture and Education. Once the paper is published, I'll share it here too!

Vibe coding, where exactly?

Great analysis by researchers at Answer.ai on the impacts of language models on programming—you know, "vibe coding." If it's really so good, why aren't we seeing tons of new apps been created by now, three years after its introduction? If the promise that AI makes programming so easy were true, we’d surely see evidence of that on GitHub by now. You expect a massive increase in libraries (shared pieces of software). But that hasn't happened! There was a brief spike (the authors likely attribute this to spam), and after that, it was… business as usual.

And then there's this

• Great episode of the Lost Women of Science podcast featuring an interview with Eunice Newton Foot, who was the first to discover the greenhouse effect (in an actual greenhouse!) but, of course, didn't get credit for it.
• List of lots of useful tips on how to search better with Google; many of the techniques also work in other search engines, such as using quotation marks for exact searches, or limiting results to a specific site or file name. I wasn't familiar with some of these tricks, such as using AROUND to search for content where certain words appear together (though I should admit I tried it and didn't necessarily find that it always worked well, and the author also notes that it is not a documented feature)

Events (in English)

• On Thursday, April 17, I'll be speaking at ICT Open about changing computer science curricula
• June 10th, I am speaking at DDD Europe about AI and software development

Bad news

In the suspension of NIH research grants, driven in part by Elon Musk and his DOGE, women and young scientists were disproportionately affected, despite the fact that they receive fewer grants to begin with. Logical in a way, since women and younger people are typically more concerned with the very inequalities that DOGE was targeting. So this isn't so much a coincidence as it is intentional (and also fits the mindset we've recently seen openly expressed by Alex Karp of Palantir)

How should AI be funded? It's almost inevitable that ads will have to be included; see also the abolition of SORA, which OpenAI attributed to a rights issue but which, of course, also lacked a decent payment model. And indeed, here they come: Microsoft is placing CoPilot ads in pull requests (they call them "product tips").

Normal teaching in Florida—that's basically no longer possible. For example, new rules prohibit you from explaining that women earn less than men for the same work ("the pay gap"), you can no longer discuss structural racism, and as a literature teacher, you're only allowed to teach Western books. Every time I hear people (including in the Netherlands) talk about how academia doesn't give enough space to diverse voices, I think: this is our future too... It is all payback for the tiny bit of power and curriculum space that women and people of color have managed to fight for over the past decades.

Good news

But there is good news too! Take this hopeful story, for example, in the Financial Times about how Paris has managed to ban cars from the city in recent years. More than 300 streets near schools have become pedestrian zones. And concerns about the economy? Unfounded! "Retailers often worry it will deter their customers. Studies repeatedly show it doesn’t."

And ending DEI initiatives? Tech bosses might want this, but popular opinion is often in favor, like the shareholders of Apple.

Enjoy your sandwich and a nice long weekend!