Hoe fysieke promptinjectie robots misleidt en risico's

Een robot die de wereld "leest" met een camera en een visie-taalmodel kan mogelijk eerst opdrachten opvolgen van een gedrukt bord voordat hij naar een menselijke instructie luistert. Nieuw onderzoek laat zien dat promptinjectie — vooral bekend als een probleem bij chatbots — van het scherm kan springen naar de fysieke wereld en daarmee autonome machines stilletjes van koers kan laten veranderen. Deze fysieke promptinjectie vormt een direct risico voor autonome systemen, robotveiligheid en operationele betrouwbaarheid.

In plaats van software te hacken of sensoren te manipuleren, behandelt deze aanval de omgeving als een invoerveld. Een misleidend etiket, poster of wegwijzerachtig bord wordt zodanig geplaatst dat de camera van de robot het zal zien. Voor een voorbijganger kan het onschuldig lijken. Voor een AI-systeem dat is getraind om tekst en visuele aanwijzingen te volgen, kan zo'n object echter als een expliciete of impliciete instructie fungeren.

De onderzoekers rapporteren in simulatie-experimenten een succespercentage van 81,8% voor een scenario met autonoom rijden en 68,1% voor een noodlandingsopdracht van een drone. In real-world tests met een kleine robotauto overschreven geprinte prompts de navigatie met ten minste 87% succes onder verschillende belichtingscondities en kijkhoeken — wat aangeeft dat dit niet slechts een laboratoriumcuriositeit is. Dergelijke resultaten benadrukken dat fysieke promptinjectie een serieuze bedreiging vormt voor autonome voertuigen, logistieke robots en drones in reële omstandigheden.

When a sign turns into an instruction

De techniek, CHAI genoemd door de auteurs, richt zich op een cruciale stap in veel moderne autonome stacks: de zogenaamde "command layer". In systemen die visie-taalmodellen (vision-language models, VLMs) gebruiken, genereert het model vaak een tussenliggende instructie — in wezen een plan in woorden — voordat een downstream controller dat plan omzet naar stuur-, rem- of motorkommandos. Deze tussenstap is bedoeld om interpretabele beslissingen mogelijk te maken, maar vormt tegelijkertijd een kwetsbaar oppervlak voor manipulatie.

Als een aanvaller die planningsstap subtiel kan sturen richting een verkeerde instructie, kan de rest van de robot die instructie vervolgens nauwgezet uitvoeren. Geen malware, geen privileged access of fysieke manipulatie van de boordelektronica is vereist. De robot doet precies wat hij ontworpen is te doen — alleen op basis van onjuiste of misleidende tekst. Dit illustreert hoe interpretatie van tekst in de waarnemingspijplijn een onverwacht risico introduceert voor autonoom gedrag en veiligheid.

Belangrijk is dat het dreigingsmodel opzettelijk laagdrempelig is beschreven. De aanvaller wordt behandeld als een buitenstaander zonder toegang tot boordsystemen. Alles wat nodig is, is de mogelijkheid om tekst binnen het zichtveld van de camera te plaatsen: een bord geplakt aan een muur, een poster op een deur, een geprint label bij een waypoint of zelfs een tijdelijk aangebracht bord langs de weg. Dat maakt de aanval praktisch uitvoerbaar in openbare ruimten en magazijnen, waar fysieke objecten eenvoudig te plaatsen zijn.

Designed to “travel” across scenes, models, and languages

CHAI optimaliseert niet alleen wat de prompt zegt. Het optimaliseert ook hoe de prompt verschijnt — door factoren als kleur, grootte, lettertype, contrast en positionering aan te passen — omdat de leesbaarheid voor het model kan bepalen of de boodschap verandert in een uitvoerbare instructie. Kenmerken die menselijke waarneming onopvallend vinden (bijvoorbeeld klein, laag contrast of meertalige tekst) kunnen door een VLM juist zeer leesbaar en richtinggevend zijn.

Het paper beschrijft bovendien "universele" prompts die blijven werken op niet eerder geziene beelden en in verschillende omgevingen. Deze universele voorbeelden haalden gemiddeld ten minste 50% succes over taken en modellen, en overtroffen 70% in één op GPT gebaseerd opzet. CHAI werkt zelfs over talen heen, inclusief Chinese, Spaans en gemengde taalprompts. Dat is relevant omdat een meertalige boodschap minder opvalt of minder verdacht kan lijken voor omstanders, terwijl hij voor het model goed te interpreteren blijft.

Met andere woorden: dit gaat niet alleen over één robot in één kamer. Het betreft een hele klasse AI-roboticasystemen die geschreven tekst steeds vaker opnemen als onderdeel van hun wereldmodel. Naarmate steeds meer autonome platforms visie-taalintegratie gebruiken voor taakplanning en beslisvorming, groeit de impact van fysieke promptinjectie op bedrijvigheid, veiligheid en vertrouwen in autonome technologie.

Why robot safety teams may need a new checklist

De onderzoekers wijzen op meerdere verdedigingsrichtingen die relevant zijn voor teams verantwoordelijk voor robotveiligheid, systeemintegriteit en operationele risicoanalyse. Eén aanpak is filtering en detectie: het scannen van camerabeelden (en de tussenliggende output van het model) op verdachte of uit-context geplaatste tekst. Dit kan bestaan uit optische tekenherkenning (OCR) gekoppeld aan heuristieken of een metadetectiemodel dat afwijkingen in typografie, positionering of taalgebruik signaleert.

Een andere richting is alignment-werk: modellen trainen zodat ze veel minder geneigd zijn om willekeurige omgevingsschriften als uitvoerbare instructies te behandelen — vooral wanneer die instructies in strijd zijn met missieparameters of veiligheidsbeperkingen. Dergelijke alignment kan bestaan uit dataset-augmentatie, tegenvoorbeelden, calibratie van vertrouwensscores en expliciete veiligheidsfilters in de command layer.

Op de langere termijn pleiten de auteurs voor robuustheidsonderzoek dat sterkere garanties kan bieden. Praktische kortetermijnstappen zijn eenvoudiger: behandel waargenomen tekst standaard als onbetrouwbare input en eis dat zulke signalen eerst een reeks missie- en veiligheidscontroles doorstaan voordat ze de bewegingsplanning mogen beïnvloeden. Dit kan onder meer inhouden dat tekst alleen wordt geaccepteerd wanneer deze consistent is met meerdere onafhankelijke sensoren, temporale continuïteit of expliciete authenticatie van contextuele bronnen.

Als uw robot borden kan lezen, is het verstandig om te testen wat er gebeurt wanneer die borden liegen. Simulaties, red-team oefeningen en gecontroleerde fysieke tests met verschillende belichting, kijkhoeken, lettertypen en meertaligheid moeten deel uitmaken van de veiligheidschecklist. De studie staat gepland voor presentatie op SaTML 2026, waar deze reële promptinjectierisico's — en de verdedigingen ertegen — waarschijnlijk veel meer aandacht zullen krijgen.

De implicaties reiken verder: van autonome voertuigen en magazijnrobots tot zoek- en reddingsdrones en stadsrobots die publieke informatiepanelen interpreteren. Bedrijven en teams die autonome systemen inzetten, moeten mitigaties integreren in lifecycle-beheer, van design en datasetselectie tot runtime monitoring en incident response. Daarbij horen organisatorische maatregelen zoals beveiligingsbeleid, fysieke toegangscoderingen voor gevoelige gebieden en periodieke audits op visuele aanvalsvectoren.

Technische aanbevelingen omvatten onder meer:

• Implementeer OCR met contextuele filters: verwerk gedetecteerde tekst alleen als deze semantisch en mission-specifiek relevant is.
• Gebruik meerdere sensorfusie-checks: valideer visuele tekst via LIDAR-, radar- of redundante camera-opnamen wanneer mogelijk.
• Voer modelkalibratie en onzekerheidsmeting in: indien de tussenliggende instructie een hoge onzekerheidsscore heeft, moet de controller terugvallen op veilige defaults of menselijke supervisie vragen.
• Ontwikkel "no-trust by default" policies: behandel externe tekst als niet-geauthenticeerde input totdat aanvullende verificatie plaatsvindt.

Deze maatregelen versterken de operationele veiligheid en verminderen het risico dat fysieke promptinjecties leiden tot gevaarlijke of ongewenste gedragingen.

Tegelijkertijd roept dit werk belangrijke vragen op voor regelgeving en normen binnen robotica en AI-implementatie. Toekomstige richtlijnen voor autonome systemen zouden moeten overwegen hoe omgevingsinteracties, signage en publieke communicatie gecontroleerd kunnen worden om misbruik te voorkomen — bijvoorbeeld via infrastructuurstandaarden, verantwoordingsrapportage en verplichte penetratietests gericht op visuele manipulatie.

Tot slot benadrukt de studie de noodzaak van multidisciplinaire samenwerking: onderzoekers op het snijvlak van computerzicht, natuurlijke taalverwerking, robotbesturing en veiligheidsengineering moeten samenwerken met praktijkspecialisten uit industrie en regulering. Alleen zo ontstaan robuuste, praktijkgerichte oplossingen die zowel technisch effectief als uitvoerbaar zijn in echte operationele omgevingen.