Nadella: AI moet vanaf het begin met beheersmaatregelen

Microsoft-topman Satya Nadella schreef in een uitgebreid bericht op X dat ontwikkelaars en toezichthouders ervan moeten uitgaan dat geavanceerde modellen voor kunstmatige intelligentie vanaf het begin een potentieel risico vormen. Ze moeten daarom worden ontworpen met mechanismen om ze onder controle te houden. Volgens Nadella moet de 'architectuur van vertrouwen' rond AI opnieuw worden bekeken. De huidige praktijk, waarbij krachtige modellen worden behandeld als een reeks geneste zwarte dozen, schiet volgens hem tekort.

Modellen scheiden van controle en toezicht

Nadella stelde dat we niet langer zonder structurele waarborgen de aanbevelingen, reacties of handelingen van een model moeten accepteren. Hij pleitte voor architecturen waarin modellen worden gescheiden van de systemen die taken aansturen en uitvoeren. Daardoor kunnen beheersmaatregelen en veiligheidscontroles buiten het model zelf worden geplaatst. Die scheiding zou, schreef hij, meer onafhankelijke controle en monitoring van het gedrag van modellen mogelijk maken.

Als het gaat om het risico dat een model wordt gecompromitteerd, adviseerde Nadella ervan uit te gaan dat het vanaf het begin buiten controle kan raken en de beheersmaatregelen daarop in te richten. Hij omschreef dit als een operationele veiligheidsvereiste: "We moeten ervan uitgaan dat het model vanaf het begin buiten controle is en we moeten het inperken. Denk eraan als een noodrem. Een bevoegde persoon moet altijd in staat zijn het model te stoppen of uit te schakelen terwijl het een taak uitvoert." Hij voegde eraan toe dat krachtigere modellen geavanceerdere inperkingstechnologie vereisen en dat daarvoor gezamenlijke standaarden moeten worden ontwikkeld.

Naast stopmechanismen pleitte Nadella voor uitgebreide logging van belangrijke handelingen van modellen. Volgens hem moeten die registraties zowel leesbaar zijn voor mensen als bestand tegen manipulatie, zodat prestaties en beslissingen kunnen worden onderzocht en geaudit. Dergelijke registraties zouden de beoordeling en evaluatie ondersteunen van de manier waarop modellen in de praktijk functioneren.

Veel onderdelen van Nadella's voorstellen sluiten aan bij aanbevelingen die elders in de AI-gemeenschap al naar voren zijn gebracht. Hij merkte op dat onder meer tijdige melding van incidenten, onafhankelijke audits, verifieerbare herkomst van data en mechanismen om modellen te beheersen wanneer ze zich onverwacht gedragen, al worden besproken.

Nadella gaf in zijn bericht geen technische blauwdrukken of tijdlijnen. Hij presenteerde zijn opmerkingen als voorstellen en principes, niet als concrete beleidsvoorschriften. Wel benadrukte hij de noodzaak van gedeelde standaarden en strengere externe controles, om robuuster en onafhankelijk toezicht op geavanceerde AI-systemen mogelijk te maken.