Hur mycket kontroll ger ni er AI-agent?

Det här är den första av de sju frågorna i OWASP Top10 for Agentic Applications, och sannolikt den fråga som utvecklingsteam lättast hoppar över. Det är lockande att låta en agent bestämma så mycket som möjligt – att den ska vara självgående är ofta hela poängen med att bygga den.

Men OWASP beskriver autonomi som något som ska uppnås genom testning och övervakning, inte ges som standard bara för att det är tekniskt möjligt. Principen kallas ibland "least agency": ge en agent bara så mycket självständigt beslutsutrymme som uppgiften faktiskt kräver.

Autonomi är dock inte den enda variabeln. En agent som kan påverkas är en agent som kan omdirigeras. Prompter, hämtade dokument och de verktyg agenten ansluter till är alla potentiella ingångar för manipulation och de risker som OWASP kategoriserar som prompt injection och tool misuse. En manipulerad datakälla eller en komprometterad plugin behöver inte helt förstöra agentens kod för att orsaka skada; den behöver bara ändra vad agenten uppfattar som sant.

Slutligen finns frågan om access. En agents behörigheter och identitetskontroller avgör omfånget av en skada om något ändå går fel. OWASP pekar ut privilege abuse, att agenter ärver eller samlar på sig mer access än de behöver, som en av de största riskerna i agentiska system. Och av goda skäl: en agent med snäv, väldefinierad access kan bara orsaka snäv, väldefinierad skada.

Tre frågor att besvara innan ni ger mer autonomi

• Hur mycket kan den här agenten bestämma på egen hand, och kräver uppgiften verkligen det?
• Hur skulle den här agenten kunna manipuleras – via prompter, data  eller verktyg?
• Vad är den maximala skada agenten skulle kunna orsaka med sina  nuvarande behörigheter?

I nästa inlägg tittar vi på vad som händer när agenten väl är i drift: vad den bör minnas, när en människa behöver ta över, och hur ni vet att den är redo för produktion.

Vår kurs, Att bygga säkra AI-agenter, går igenom allt detta i praktiken för utvecklare och produktägare.

‍