Hoeveel controle geeft u uw AI-agent?
Hoe autonoom moet een AI-agent eigenlijk zijn? Het korte antwoord: minder dan de demo van het ontwikkelteam doet vermoeden.Voordat een agent zelfstandig mag handelen, moeten developers en product owners duidelijke grenzen stellen aan de autonomie, de kwetsbaarheid voor manipulatie en wat de agent mag benaderen.
Dit is de eerste van de zeven vragen uit de OWASP Top10 for Agentic Applications, en waarschijnlijk de vraag die teams het snelst overslaan. Het is verleidelijk om een agent zoveel mogelijk zelf te laten beslissen – dat is vaak precies het doel van de bouw ervan.
Maar OWASP beschrijft autonomie als iets dat bewust verdiend moet worden via testen en monitoring, niet standaard toegekend omdat het technisch mogelijk is. Dit principe wordt ook wel "least agency" genoemd: geef een agent alleen zoveel zelfstandige beslissingsruimte als de taak daadwerkelijk vereist.
Autonomie is echter niet de enige variabele. Een agent die beïnvloed kan worden, is een agent die omgeleid kan worden door iemand met andere bedoelingen. Prompts, opgehaalde documenten en de tools waarmee de agent verbinding maakt, zijn allemaal mogelijke toegangspunten voor manipulatie.
OWASP categoriseert dit als prompt injection en tool misuse. Een gemanipuleerde databron of een gecompromitteerde plugin hoeft de code van de agent niet te breken om schade aan te richten; het hoeft alleen te veranderen wat de agent als waar beschouwt.
Ten slotte is er de kwestie van toegang. De rechten en identiteitscontroles van een agent bepalen hoeveel schade deze kan aanrichten als er iets misgaat. OWASP wijst privilege abuse aan, agents die meer toegang erven of verzamelen dan ze nodig hebben, als een van de grootste risico's in agentische systemen. En niet zonder reden: een agent met beperkte, goed gedefinieerde toegang kan ook alleen beperkte, goed gedefinieerde schade aanrichten.
Drie vragen om te beantwoorden voordat u meer autonomie toekent
- Hoeveel kan deze agent zelfstandig beslissen, en vereist de taak dat daadwerkelijk?
- Hoe zou deze agent gemanipuleerd kunnen worden – via prompts, data of tools?
- Wat is de maximale schade die deze agent kan aanrichten met de huidige rechten?
In de volgende post kijken we naar wat er gebeurt zodra een agent draait: wat hij moet onthouden, wanneer een mens moet ingrijpen, en hoe u weet dat hij klaar is voor productie.
Onze cursus, Veilige AI-agents bouwen, leidt uw developers en product owners in de praktijk door dit alles.
