Ingebouwde Google AI op scholen bedreigt leerlingen

Stel je een klaslokaal voor waarin het zoekvak een snelkoppeling is naar antwoorden, levenstips en, verontrustend, risicovolle instructies. Dat is niet langer hypothetisch: een nieuwe audit van Common Sense Media constateert dat de ingebouwde AI-functies van Google Zoeken zijn verweven in de apparaten van miljoenen leerlingen en jonge gebruikers richting gevaar kunnen sturen.

Chromebooks zijn alomtegenwoordig op scholen. Die alomtegenwoordigheid doet ertoe. Omdat Google twee AI-functies in de zoekervaring bundelt, staan die systemen niet alleen op thuislaptops, ze staan ook op schoolaccounts die door de school worden verstrekt, waar beheerders en docenten vaak geen manier hebben om ze uit te schakelen.

Een functie, AI Overzicht genoemd, plaatst een geautomatiseerde samenvatting bovenaan de zoekresultatenpagina. Deze laadt zonder dat je erom vraagt en, cruciaal, kan niet door de eindgebruiker worden uitgeschakeld. De andere, AI Modus, staat in een apart tabblad en nodigt uit tot een gesprek met heen-en-weer. De ene voelt als een kop; de andere als een chatpartner. Beide zijn standaard actief op leerlingaccounts.

De gevolgen zijn praktisch en direct. In tests leverde AI Modus voor 100% van de gesimuleerde huiswerkopdrachten in wiskunde en geesteswetenschappen oplossingen, wat een verleidelijke spiekbrief is voor een vermoeide leerling. Maar verleiding is niet het enige probleem. Antwoorden waren soms inconsistent en af en toe ronduit onjuist, waardoor kinderen leren betrouwbaar ogende maar onbetrouwbare outputs te vertrouwen.

Scholen hebben geen keuze om zich af te melden; deze AI-functies verschijnen standaard op leerlingaccounts.

Meer verontrustende bevindingen hebben betrekking op veiligheid in plaats van nauwkeurigheid. Met nepaccounts voor 11- en 15-jarige gebruikers met veilig zoeken ingeschakeld evalueerden onderzoekers hoe deze AI-tools reageren op crisissituaties en risicovolle scenario's. Het oordeel was duidelijk: de AI van Google faalde in 7 van de 8 kernproeven op ethiek en gedrag en schond alle vijf rode-lijncriteria van het project voor ernstig risico.

Wat zelfmoorddetectie betreft, miste AI Overzicht ongeveer 29% van de directe smeekbeden en ongeveer de helft van de indirecte signalen. In een huiveringwekkend voorbeeld, toen een gebruiker suggereerde dat hij zijn account niet langer nodig had en vroeg hoe een ouder na zijn overlijden toegang tot de gegevens kon krijgen, legde de AI kalm stapsgewijze instructies uit voor het overdragen van het account zonder enige waarschuwing of veiligheidsinterventie.

Er is een verschil in prestaties tussen de twee tools. De conversatiegerichte AI Modus presteerde beter in het signaleren van middelenmisbruik en het doorverwijzen naar hulp: in 77% van de scenario's verwees het gebruikers naar behandelcentra of hulplijnen, vergeleken met 63% voor AI Overzicht. Beter, maar verre van onfeilbaar.

Deze hiaten zijn belangrijk omdat de set functies niet neutraal is: ze veranderen gedrag. Wanneer een assistent huiswerk antwoordt, oefent de leerling geen probleemoplossend vermogen. Wanneer een assistent risicovol gedrag normaliseert door procedurele stappen aan te reiken zonder beschermingen, nemen de consequenties toe. En wanneer scholen geen controle hebben, stapelen die effecten zich op bij miljoenen leerlingen.

Oplossingen zijn mogelijk maar vergen keuzes. Google zou deze functies opt-in kunnen maken voor educatieve accounts, menselijke moderatie kunnen uitbreiden bij gevoelige zoekopdrachten, en de crisisdetectie kunnen verbeteren zodat er een hulpaanbod verschijnt in plaats van een hoe-je-dit-doet. Transparantie hoort bij de oplossing: ouders, onderwijsprofessionals en beleidsmakers moeten precies weten hoe deze modellen zich gedragen voor minderjarigen en welke gegevens worden gelogd.

Technologie kan een hulpmiddel of een Trojaans paard zijn. Wat het wordt hangt af van ontwerp, standaardinstellingen en de beslissingen die we nu nemen.