ARI Tools

AI 에이전트 작업 검증 — "다 했습니다"를 그대로 믿지 않는 법

AI 에이전트에게 일을 맡기다 보면 이런 장면을 한 번쯤 봅니다.

  • "테스트를 모두 통과했습니다" — 실제로는 테스트를 돌리지 않았습니다.
  • "20개 파일을 변환했습니다" — 폴더를 열어 보니 17개뿐이고 3개는 0바이트입니다.
  • "배포했습니다" — 사이트에는 어제 버전이 떠 있습니다.

에이전트가 거짓말을 하려는 것은 아닙니다. 명령이 에러 없이 끝나면 성공이라고 여기고, 앞 단계가 됐으니 뒤도 됐으리라 짐작합니다. 사람 신입도 하는 실수입니다. 차이는 에이전트가 이 말을 아주 자신 있게, 매일 한다는 점입니다.

그래서 AI 에이전트 작업 검증의 원칙은 하나입니다. "했다"는 말이 아니라, 미리 정한 확인으로 판정한다.

왜 "완료"가 틀리는가

에이전트가 보는 것 실제로 확인해야 할 것
명령이 에러 없이 끝났다 결과물이 원하는 모양으로 생겼나
파일을 저장했다 파일 크기가 0이 아닌가, 개수가 맞나
푸시했다 실제 서비스에 새 버전이 떴나
페이지가 200을 돌려준다 그 페이지에 기대한 내용이 있나

마지막 줄이 특히 함정입니다. 요즘 웹 앱은 없는 주소로 가도 200과 대문 화면을 돌려주는 경우가 많습니다. "열렸다"만 보면 늘 성공입니다.

검증을 세 겹으로 나눈다

1. 계산이 답하는 판정 — 확인 명령과 기대값

숫자나 글자로 답이 나오는 것은 사람 판단에 맡기지 않습니다. 단계마다 확인 명령과 기대값을 같이 적어 둡니다.

  • 결과 폴더의 파일 수 → 20 이상
  • 크기가 0인 파일 수 → 0
  • 영상 길이(초) → 180 이하

에이전트는 일을 마친 뒤 확인 명령을 돌려 기대값과 비교합니다. 맞지 않으면 "완료"가 아닙니다. 판정 기준이 일을 시작하기 전에 적혀 있다는 점이 중요합니다. 끝난 뒤에 기준을 정하면 결과에 맞춰 기준이 느슨해집니다.

2. 눈으로 볼 것 — 체크리스트

계산으로 판정할 수 없는 것도 있습니다. "대본과 장면이 맞나", "글에 없는 기능을 쓰지 않았나" 같은 것들입니다. 이런 것은 단계마다 체크리스트로 적어 두고, 에이전트가 마치기 전에 하나씩 짚게 합니다. 그리고 무엇을 어떻게 확인했는지 결과에 말로 남깁니다.

3. 마지막 확인은 바깥에서

내 컴퓨터에서 빌드가 통과한 것과 사용자가 보는 화면이 바뀐 것은 다른 일입니다. 배포, 발송, 게시처럼 밖으로 나가는 일은 밖에서 다시 봅니다. 실제 주소를 열어 새 내용이 있는지, 받는 쪽에 도착했는지 확인합니다.

Agent Automation 에서는

Agent Automation의 워크플로에서는 단계마다 확인 명령, 기대값, 체크리스트를 적는 칸이 따로 있습니다. 앱은 명령을 직접 실행하지 않습니다. 확인 명령을 돌리고 판정하는 것은 에이전트이고, 앱은 그 기준을 단계에 붙여 두어 에이전트가 단계를 맡을 때마다 같은 기준을 보게 합니다. 확인한 결과는 그 단계의 결과 칸에 한 줄로 남습니다.

실제 사례: 이 블로그의 발행 확인

이 블로그는 에이전트가 매일 아침 글을 써서 직접 배포합니다(예약 실행 이야기). 배포가 끝났다고 바로 "발행했습니다"라고 하지 않습니다. 발행 단계에는 "이 사이트는 SPA라 어느 주소든 200이 뜨니, 확인은 새 글의 제목과 robots.txt 의 형식으로 한다"는 기준이 적혀 있습니다.

그래서 에이전트는 배포 뒤에 실제 사이트에서 다음을 봅니다.

  1. 새 글 주소에서 제목과 대표 주소(canonical)가 이 글의 것인가
  2. sitemap, RSS, 블로그 목록에 새 글이 들어갔나
  3. robots.txt 가 대문 HTML이 아니라 텍스트 파일로 오는가
  4. 어제 글이 그대로 있는가

글을 쓰는 단계에도 체크리스트가 있습니다. "키워드가 제목·첫 문단·소제목에", "description 80~160자", "내부 링크", "사실 확인 — 없는 기능 쓰지 않기". 사람이 매일 글을 검토하지 않기로 했기 때문에, 이 확인이 검토를 대신합니다.

검증을 설계할 때 조심할 것

  • "성공 메시지가 떴다"는 확인이 아닙니다. 결과물 자체를 봅니다.
  • 확인 명령이 결과를 고치게 하지 않습니다. 확인은 읽기만 합니다. 고치는 것은 다음 단계입니다.
  • 실패하면 실패라고 남깁니다. 기대값에 못 미치면 "21개 중 20개"처럼 숫자 그대로 적고, 넘어갈지 사람에게 묻습니다(승인 단계 이야기).
  • 한 번 겪은 함정은 기준으로 올립니다. "200만 보고 성공이라 했다가 틀렸다"를 겪었다면, 다음부터는 그 자리에 더 정확한 확인을 적어 둡니다(에이전트 메모리 이야기).

정리

  • 에이전트의 "완료"는 짐작일 때가 많습니다. 말이 아니라 확인으로 판정합니다.
  • 숫자로 답이 나오는 것은 확인 명령과 기대값으로, 눈으로 볼 것은 체크리스트로 나눕니다.
  • 기준은 일을 시작하기 전에 단계에 적어 둡니다.
  • 밖으로 나가는 일은 밖에서 다시 봅니다. 이 블로그도 매일 그렇게 확인하고 나서 "발행했다"고 말합니다.
#AI 에이전트#작업 검증#에이전트 자동화#체크리스트#Claude Code

Agent Automation — 에이전트의 할 일을 워크플로로 꺼내 두는 무료 데스크톱 앱(macOS · Windows)

쓰고 있는 에이전트에게 이 한 줄을 붙여넣으면 설치부터 에이전트가 합니다.

https://ariwith.me/agent.txt 읽고 그대로 설치해서, 앞으로 이 앱으로 워크플로를 관리해줘

Agent Automation 자세히 보기 →