Hvor mye kontroll gir dere AI-agenten deres?

Dette er det første av de sju spørsmålene i OWASP Top10 for Agentic Applications, og sannsynligvis det spørsmålet utviklingsteam lettest hopper over. Det er fristende å la en agent bestemme så mye som mulig –at den skal være selvstendig er ofte hele poenget med å bygge den.

Men OWASP beskriver autonomi som noe som skal oppnås gjennom testing og overvåking, ikke gis som standard bare fordi det er teknisk mulig. Prinsippet kalles noen ganger «least agency»: gi en agent bare så mye selvstendig beslutningsrom som oppgaven faktisk krever.

Autonomi er likevel ikke den eneste variabelen. En agent som kan påvirkes, er en agent som kan omdirigeres av noen med andre hensikter. Prompter, hentede dokumenter og verktøyene den kobler seg til, er alle potensielle inngangsporter for manipulasjon.

OWASP kategoriserer dette som prompt injection og tool misuse. En manipulert datakilde eller et kompromittert plugin trenger ikke å ødelegge agentens kode for å forårsake skade; det trenger bare å endre hva agenten oppfatter som sant.

Til slutt er det spørsmålet om tilgang. En agents tillatelser og identitetskontroller avgjør hvor stor skade den kan for årsakehvis noe går galt. OWASP peker på privilege abuse, at agenter arver eller samler på seg mer tilgang enn de trenger, som en av de største risikoene i agentiske systemer. Av gode grunner: en agent med snever, veldefinert tilgang kan bare forårsake snever, veldefinert skade.

Tre spørsmål å besvare før dere gir mer autonomi

• Hvor mye kan denne agenten bestemme på egen hånd, og krever oppgaven faktisk det?
• Hvordan kan denne agenten manipuleres – via prompter, data eller verktøy?
• Hva er den maksimale skaden agenten kan forårsake med sine nåværende tillatelser?

I neste innlegg ser vi på hva som skjer når agenten eri drift: hva den bør huske, når et menneske må ta over, og hvordan dere vet atden er klar for produksjon.

Vårt kurs, Å bygge sikre AI-agenter, går gjennomalt dette i praksis for utviklere og produkteiere.

‍