AI 에이전트 도입, 사람 승인 단계는 '실행' 앞에 둬요

AI 에이전트(스스로 도구를 써서 일을 이어 가는 AI)를 도입할 때 가장 많이 나오는 걱정은 이거예요. "AI가 잘못 보내거나 지워 버리면 어떡하죠?" 그렇다고 모든 단계마다 사람이 확인 버튼을 누르게 하면, 에이전트를 쓰는 의미가 줄어들어요.

답은 승인을 어디에 두느냐에 있어요. 이 글은 에이전트가 하는 일을 나누고, 꼭 필요한 곳에만 사람 승인을 두는 방법을 다뤄요.

에이전트의 일을 세 단계로 나눠요

에이전트가 하는 일은 대부분 아래 셋 중 하나예요.

읽기와 초안은 틀려도 사람이 보기 전까지 밖으로 나가지 않아요. 문제가 되는 건 실행이에요. 그래서 사람 승인은 실행 바로 앞에 두는 게 기본이에요.

OpenAI가 공개한 에이전트 설계 가이드도 비슷하게 말해요. 도구마다 위험도를 낮음 · 중간 · 높음으로 매기되, 읽기만 하는지 쓰기도 하는지, 되돌릴 수 있는지, 필요한 계정 권한과 돈이 오가는지를 기준으로 삼으라고 해요. 그리고 민감하거나 되돌릴 수 없는 행동, 예를 들어 주문 취소 · 큰 금액 환불 · 결제는 에이전트가 충분히 믿을 만해질 때까지 사람이 확인하게 하라고 권해요.

승인 화면에는 세 가지를 보여 줘요

승인 버튼만 덩그러니 있으면 사람은 내용을 보지 않고 누르게 돼요. 승인 화면에는 이 세 가지가 있어야 해요.

• 무엇을: 보낼 메일 본문, 바꿀 값의 전후, 지울 항목 목록처럼 실제로 일어날 일
• 왜: 에이전트가 이 행동을 고른 이유와 근거 자료
• 되돌리기: 승인 후 취소할 수 있는지, 취소할 수 없다면 그 사실을 분명히

하나 더, 승인 대기 중인 일이 쌓이지 않게 해야 해요. 승인할 사람과 기다릴 시간이 정해져 있지 않으면 에이전트는 멈춰 있고, 결국 사람이 직접 처리하게 돼요.

기록을 남기고, 권한은 좁게 줘요

사람 승인과 함께 챙길 두 가지가 있어요.

기록. 에이전트가 무엇을 읽고, 어떤 초안을 만들고, 누가 무엇을 승인했는지 순서대로 남겨요. 문제가 생겼을 때 어디서 잘못됐는지 되짚을 수 있어야 해요.

권한 최소화. 에이전트에 주는 계정 권한은 그 일에 필요한 만큼만 줘요. 메일 초안만 쓰는 에이전트라면 보내기 권한은 빼 두는 식이에요. Anthropic의 에이전트 설계 글도 에이전트가 정해 둔 지점에서 멈춰 사람의 확인을 받을 수 있다고 설명하고, 격리된 환경에서 충분히 시험하고 알맞은 안전장치를 함께 두라고 권해요.

도입 순서: 초안부터 시작해요

처음부터 실행까지 맡기기보다 단계를 나눠 넓혀 가는 게 안전해요.

1. 읽기 · 초안만: 에이전트는 초안까지만 만들고, 사람이 직접 보내요.
2. 실행 + 승인: 사람이 승인 버튼을 누르면 에이전트가 실행해요.
3. 일부 자동 실행: 되돌리기 쉬운 일(예: 내부 일정 잡기)부터 승인 없이 맡겨요.

• 에이전트가 쓰는 도구를 읽기 · 초안 · 실행으로 나눴나요?
• 실행 앞 승인 화면에 무엇을 · 왜 · 되돌리기가 보이나요?
• 승인할 담당자와 대기 시간이 정해져 있나요?
• 에이전트 계정 권한이 필요한 만큼만 있나요?

정리

AI 에이전트 도입에서 사람 승인은 많을수록 좋은 게 아니라, 되돌리기 어려운 실행 앞에 정확히 있어야 해요. 일을 읽기 · 초안 · 실행으로 나누고, 승인 화면에 무엇을 · 왜 · 되돌리기를 보여 주고, 기록과 좁은 권한으로 뒤를 받쳐 주세요.

참고

• OpenAI, A practical guide to building agents: https://cdn.openai.com/business-guides-and-resources/a-practical-guide-to-building-agents.pdf
• Anthropic, Building effective agents: https://www.anthropic.com/research/building-effective-agents

SOL LABS AI

웹 · 앱 · 업무 시스템을 만들고 그 위에 필요한 AI를 붙여 운영하는 팀이에요. 회의록 · 계약서 · 기업 분석 AI를 직접 만들어 운영해요.

만든 프로젝트 보기