Er AI-agenten deres klar for produksjon?
Når må et menneske ta over? Det korte svaret: før en enkelt feil rekker å spre seg. Den siste strekningen før produksjon handler om hva en agent skal kunne huske, hvor et menneske fortsatt må være i loopen, og hvordan dere faktisk vet at agenten er klar.
En agents minne er en del av angrepsflaten. Agenter som beholder gammel kontekst mellom økter, kan føre videre informasjon som er utdatert, villedende eller bevisst manipulert, eller det OWASP kaller memory poisoning og context manipulation. En agent som «husker» noe feilaktig, tar ikke bare én dårlig beslutning; den kan handle ut fra den falske forutsetningen i hver etterfølgende interaksjon. Å avgjøre hva en agent bør og ikke bør beholde, og hvor lenge, er like mye en designbeslutning som en tillatelsesinnstilling.
Det er også derfor menneskelig kontroll ikke kan være en ettertanke. I et system der én agents output blir en annen agents input, kan en enkelt feilaktig beslutning spre seg raskt – det OWASP kaller kaskadeeffekter. Løsningen er ikke å fjerne autonomien helt, men å bygge inn kontrollpunkter i de øyeblikkene der en feilaktig beslutning ville vært kostbar eller vanskelig å reversere. Slik kan et menneske fange den opp før den sprer seg videre.
Som bringer oss til det siste spørsmålet: er systemet faktisk trygt nok til å settes i drift? Dette er ingen engangssjekk – det er en løpende vurdering mot risikoene resten av rammeverket har pekt på. Er autonomien avgrenset til oppgaven? Er manipulasjons- og tilgangs risikoene forstått og håndtert? Er minne og menneskelig kontroll bygget inn fra starten, ikke lagt til i etterkant? Hvis svaret på noen av disse er at dere ikke er sikre, da er systemet sannsynligvis ikke klart for produksjon ennå.
Tre spørsmål før driftsetting
- Hva husker denne agenten, og kan det minnet være feil eller manipulert?
- Hvor er kontrollpunktene som lar et menneske gripe inn før en feil sprer seg?
- Om vi måtte forsvare systemets driftsberedskap i dag – kunne vi det?
I tre blogginnlegg har vi nå gått gjennom spørsmålene i OWASP Top 10 forAgentic Applications – de rammeverk fra hva dere bygger til om det er klart for produksjon.
Hvis utviklerne og produkteierne deres jobber med disse spørsmålene nå, går vårt nye kurs, Å bygge sikre AI-agenter, gjennom alle desse spørsmål i praktisk dybde.
