Är er AI-agent redo för implementering?
När måste en människa ta över? Det korta svaret: innan ett enda misstag hinner sprida sig. Den sista delen innan produktion handlar om vad en agent ska kunna minnas, var en människa fortfarande behöver finnas med i loopen, och hur ni faktiskt vet att agenten är redo.
En AI-agents minne är en del av dess attackyta. Agenter som behåller samma kontext mellan sessioner kan föra vidare information som är föråldrad, missvisande eller medvetet manipulerad, det som OWASP kallar memory poisoning och context manipulation. En agent som "minns" något felaktigt fattar inte bara sämre beslut; den kan agera utifrån den falska premissen i varje efterföljande interaktion. Att avgöra vad en agent bör och inte bör behålla, och under hur lång tid, är lika mycket ett designbeslut som en behörighetsinställning.
Det är också därför mänsklig kontroll inte kan vara en efterkonstruktion. I ett system där en agents output blir en annan agents input kan ett enda felaktigt beslut spridas snabbt, något som OWASP kallar kaskadeffekter. Lösningen är inte att ta bort autonomin helt, utan att bygga in kontrollpunkter i de ögonblick där ett felaktigt beslut skulle vara kostsamt eller svårt att återställa. På så vis kan en människa fånga upp det innan det sprider sig vidare.
Vilket leder till den sista frågan: Är systemet faktiskt säkert nog för att driftsättas? Det här är ingen engångscheck – det är en löpande bedömning mot de risker resten av ramverket har lyft fram. Har autonomin avgränsats till uppgiften? Är manipulations- och accessriskerna genomtänkta och hanterade? Är minne och mänsklig kontroll inbyggda från början, istället för tillagda i efterhand? Om svaret på någon av dessa frågor är "vi är inte helt säkra", då är systemet sannolikt inte redo för produktion.
Tre frågor innan driftsättning:
- Vad minns den här agenten, och skulle det minnet kunna vara felaktigt eller manipulerat?
- Var finns kontrollpunkterna som gör att en människa kan ingripa innan ett fel riskerar sprida sig?
- Om vi var tvungna att argumentera för att systemet är redo för driftsättning idag – skulle vi kunna det?
I tre blogposter har vi nu gått igenom frågorna från OWASP Top 10 for Agentic Applications – det ramverk som ni måste utgå ifrån för att svara på om det är redo för produktion.
Om era utvecklare och produktägare jobbar med de här frågorna just nu går vår nya kurs, Att bygga säkra AI-agenter, igenom alla frågorna praktiken.
