Agent의 계획 능력은 어떻게 평가할까? 추론 깊이, 작업 분해, 자기 교정 실전 평가

Agent 평가를 밤새 실행한 결과 정확도가 94%로 나왔습니다. 꽤 훌륭해 보였지만 프로덕션 환경에 배포한 뒤 사흘 만에 사용자 불만이 11건 접수됐습니다. 작업 도중 멈추거나, 같은 도구를 무한히 반복 호출하거나, 갑자기 중요한 단계를 건너뛰었습니다.

기존 평가 방식에는 문제가 있습니다. 정확도 94%는 단일 질의응답을 맞힐 수 있다는 뜻일 뿐, 7~8단계 추론이 필요한 작업을 완수할 수 있는지는 보여주지 못합니다. 객관식 시험만으로 업무 능력을 판단하는 것과 비슷합니다. 높은 점수는 받을 수 있어도 실제 일은 해내지 못할 수 있습니다.

그렇다면 Agent의 계획 능력은 어떻게 평가해야 할까요? 정확도만 봐서는 왜 부족할까요? 실제 문제를 발견할 수 있는 평가 체계는 어떻게 구축할까요? 이 글에서는 추론 깊이, 작업 분해, 자기 교정 평가 방법론을 자세히 설명하고 AgentBench, ToolBench, ACPBench 등 주요 benchmark를 비교합니다.

1. Agent 평가는 왜 모델 평가보다 복잡할까?

모델 평가는 사실 꽤 직관적입니다. 문제를 하나 주고 답이 맞는지 확인하면 됩니다. 객관식에서 A와 B 중 무엇을 골랐는지, 생성한 코드가 테스트 케이스를 통과하는지, 번역 품질이 좋은지처럼 차원은 다양해도 논리는 명확합니다.

Agent는 다릅니다. Anthropic 엔지니어링 팀은 2025년 블로그에서 Agent의 능력은 ‘단일 지점 능력’이 아니라 ‘과정 능력’이라는 관점을 제시했습니다. 평가 대상은 ‘알고 있는가’가 아니라 ‘복잡한 환경에서 일련의 올바른 결정을 내릴 수 있는가’입니다.

구체적으로 Agent에는 여섯 가지 핵심 능력이 필요합니다.

1. 도구 호출 능력: 언제 어떤 도구를 사용해야 하는지 알고 매개변수를 올바르게 전달하는 능력
2. 작업 분해 능력: 큰 목표를 실행 가능한 작은 단계로 나누고 단계 간 의존 관계를 합리적으로 구성하는 능력
3. 추론 능력: 한 번에 답을 내는 대신 차근차근 다중 홉 추론을 수행하는 능력
4. 메모리 능력: 이전 맥락을 기억해 두 번째 단계에서 첫 번째 단계를 잊지 않는 능력
5. 자기 교정 능력: 잘못을 발견하고 방향을 조정해 같은 길을 계속 고집하지 않는 능력
6. 장기 계획 능력: 수십 단계에 이르는 긴 작업 체인을 중간 문제 없이 수행하는 능력

기존 평가 지표인 정확도, F1, BLEU는 모두 단일 출력에 초점을 맞춥니다. 하지만 Agent는 ‘과정’을 평가해야 하므로 일이 훨씬 복잡해집니다.

예를 들어 Agent에게 베이징에서 상하이로 가는 항공권을 예약해 달라고 요청하면서 내일 오후 출발, 예산 800위안 이하라는 조건을 제시했다고 해봅시다. 간단해 보이지만 실제로는 다음 과정이 필요합니다.

• 먼저 항공편 정보를 조회합니다(도구 호출).
• 결과에서 조건에 맞는 항공편을 선별합니다(추론 능력).
• 모든 조건을 만족하는 항공편이 없다면 시간과 예산 중 어느 조건을 완화할지 결정합니다(의사결정 능력).
• 선택한 뒤 예약 API를 호출합니다(도구 호출).
• API에서 오류가 발생하면 예외를 처리합니다(자기 교정).

어느 한 단계라도 문제가 생기면 작업은 실패합니다. 하지만 최종 결과만 보고 ‘예약에 성공했는가’만 확인하면 많은 정보를 놓치게 됩니다. Agent가 잘못된 시간대의 항공편을 골랐을 수도 있고, 예산을 초과했는데도 문제없다고 판단했을 수도 있으며, API 오류가 발생했는데 재시도하지 않았을 수도 있습니다.

이 때문에 Agent 분야에서는 eval-driven development(평가 주도 개발)가 매우 중요합니다. Anthropic은 개발 단계부터 평가를 설계하고, 출시 후에야 문제를 발견하는 대신 평가를 통해 Agent의 반복 개선 방향을 잡으라고 권장합니다.

2. Agent 계획 능력 평가의 핵심 차원

Agent 계획 능력 평가는 작업 분해, 추론 깊이, 장기 일관성이라는 세 가지 차원을 중심으로 합니다. 다소 추상적으로 들릴 수 있으니 하나씩 살펴보겠습니다.

작업 분해 능력

간단히 말하면 Agent가 큰 목표를 실행 가능한 작은 단계로 나눌 수 있는지, 그리고 그 단계들의 관계가 합리적인지를 확인하는 것입니다.

이 능력의 핵심 평가 지표는 Plan Graph Coherence(계획 그래프 일관성)입니다. Agent가 만든 작업 단계를 방향 그래프로 표현한다고 생각해 봅시다. 각 노드는 하위 작업이고, 간선은 의존 관계를 나타냅니다. 그다음 두 가지를 확인합니다.

1. 위상 정렬 유효성: 합리적인 실행 순서를 찾을 수 있어야 하며, ‘B를 먼저 해야 A를 할 수 있는데 A를 하려면 다시 B가 먼저 필요한’ 식의 교착 상태가 없어야 합니다.
2. 순환 의존성 없음: 그래프에 순환이 없어야 합니다.

이전에 이런 실패 사례를 본 적이 있습니다. Agent에게 데이터 분석 보고서를 작성하라고 했더니 다음과 같은 계획을 생성했습니다.

1. 데이터 수집
2. 데이터 정제
3. 데이터 분석
4. 보고서 생성
5. 분석 결과를 바탕으로 데이터 수집 보완

문제가 보이시나요? 5단계에서 1단계로 돌아가야 하지만 1단계는 이미 실행됐습니다. Agent는 이것이 순환이라는 사실을 알아차리지 못했고 전체 프로세스는 같은 작업을 반복하며 멈췄습니다.

Vultr - 고성능 NVMe 클라우드 서버, 전 세계 32개 노드, Docker 원클릭 배포

요금 보기 →광고

대표적인 작업 분해 실패 유형은 세 가지입니다.

• 순환 의존성: 위 사례처럼 단계들이 순환을 형성합니다.
• 단계 누락: 바로 결론으로 넘어가 중간의 중요한 단계를 빠뜨립니다.
• 불완전한 하위 작업: 분해한 단계만으로는 목표를 달성할 수 없습니다.

추론 깊이

이 차원은 Agent가 다단계 추론을 처리할 수 있는지를 측정합니다. 기술 보고서에 따르면 DeepSeek-V3-0324는 다중 홉 추론 테스트에서 91%의 정확도를 기록했습니다. 그렇다면 ‘다중 홉’이란 정확히 무엇일까요?

간단히 말해, 알려진 사실 하나에서 출발해 최종 답을 얻기까지 N단계의 추론이 필요한 경우를 뜻합니다. 예를 들면 다음과 같습니다.

• 전제: A는 B보다 크고, B는 C보다 큽니다.
• 질문: A와 C 중 어느 것이 더 큰가요?
• 이것이 2홉 추론 문제입니다.

실제 상황에서 Agent는 흔히 5단계 이상의 추론 체인을 마주합니다. 예를 들어 사용자가 ‘지난달 매출이 가장 높은 제품을 찾아 잘 팔린 이유를 분석해 줘’라고 요청했다고 합시다. 이 작업에는 다음 단계가 필요합니다.

1. 지난달 매출 데이터 조회
2. 정렬해 매출이 가장 높은 제품 찾기
3. 해당 제품의 특성 분석
4. 다른 제품과 비교
5. 원인 정리

각 단계는 이전 단계의 결과를 바탕으로 추론을 이어가야 합니다. 이 능력은 다중 홉 추론 정확도로 평가하지만, 홉 수별 정확도를 따로 봐야 합니다. 3홉까지는 괜찮아도 5홉부터 무너지는 경우가 많기 때문입니다.

장기 계획 일관성

가장 문제가 생기기 쉬운 차원입니다. 50단계가 필요한 작업에서 Agent가 30단계에 도달했을 때도 처음의 맥락을 기억할 수 있을까요?

평가 지표는 State Drift Rate(상태 표류율)입니다. 긴 작업을 실행하는 동안 Agent의 내부 상태가 기대 상태와 일치하지 않은 횟수를 전체 단계 수로 나누어 계산합니다.

실제 사례를 하나 본 적이 있습니다. 고객 서비스 Agent가 사용자의 환불 요청을 처리하고 있었고 처음에는 모든 과정이 정상적이었습니다. 그런데 사용자가 ‘아니요, 제가 말한 건 다른 주문이에요’라고 하자 Agent가 갑자기 혼란에 빠졌습니다. 이후의 모든 대화는 그 ‘다른 주문’에만 초점을 맞췄지만, 실제로 사용자가 환불하려던 것은 처음에 말한 주문이었습니다. 이것이 상태 표류입니다. 긴 대화 도중 Agent가 최초의 맥락 기준점을 잃은 것입니다.

이상적인 State Drift Rate는 0.05 미만, 즉 100단계에서 상태 불일치가 최대 5회여야 합니다. 하지만 실제 테스트에서는 많은 오픈 소스 Agent의 표류율이 0.15~0.25로 나타나 상당한 차이를 보입니다.

3. 주요 Benchmark 심층 비교

현재 Agent 평가용 benchmark는 많지만 각각 초점이 다릅니다. 주요 네 가지를 자세히 살펴보고 선택 방법도 함께 제안하겠습니다.

AgentBench: 범용 평가 도구

AgentBench는 칭화대학교 연구팀이 ICLR’24에서 발표한 것으로, 가장 폭넓은 영역을 다룹니다. LLM이 Agent로서 갖는 종합 능력을 평가하며 다음 8개 환경을 포함합니다.

• 운영체제 상호작용
• 데이터베이스 쿼리
• 지식 그래프 추론
• 쇼핑 시나리오
• 검색 엔진
• 가사 계획
• 웹 탐색
• 비디오 게임

이 benchmark는 주요 LLM 29개를 테스트해 매우 포괄적인 비교 데이터를 제공합니다. 어떤 모델의 Agent 능력이 어느 수준인지 빠르게 파악하려면 AgentBench 간소화 버전을 한 번 실행하는 것으로 충분합니다.

하지만 분명한 한계가 있습니다. 자기 교정 능력 평가를 다루지 않습니다. 즉, ‘첫 시도에 성공하는가’만 측정하고 ‘실패한 뒤 스스로 발견해 수정할 수 있는가’는 측정하지 않습니다. 실제 환경의 Agent에 가장 필요한 능력 중 하나가 바로 자기 교정인데도 말입니다.

ACPBench: 추론 깊이 전문가

IBM의 ACPBench는 계획 논리의 심층 추론을 전문적으로 평가합니다. ACP는 Action, Change, Planning의 약자로, 이름부터 목적이 분명합니다.

특징은 형식화된 추론 검증입니다. 단순히 출력 결과가 맞는지만 보는 것이 아니라 추론 과정 자체가 논리 규칙을 따르는지도 검사합니다. 예를 들어 Agent에게 여행 일정을 계획하게 하면 각 단계의 전제 조건이 충족되는지, 인과관계가 성립하는지를 검증합니다.

적합한 상황은 최종 결과뿐 아니라 Agent의 계획 및 추론 능력을 심층적으로 테스트해야 하는 경우입니다. 단점은 범위가 비교적 좁다는 것입니다. 주로 계획 논리에 집중하며 도구 호출이나 멀티모달 같은 차원은 다루지 않습니다.

ToolBench: 도구 호출 전문

ToolBench는 API 도구 호출 능력을 평가합니다. 다양한 외부 API를 호출할 수 있는 도구형 Agent를 개발하고 있다면 이 benchmark가 가장 적합합니다.

대규모 API-planning 테스트 시나리오를 제공하며 다음 항목을 측정합니다.

• 호출할 API를 올바르게 선택하는가
• 매개변수를 올바르게 전달하는가
• 여러 API를 연결해 호출하는 논리가 올바른가
• API 호출 실패를 처리할 수 있는가

Agent의 도구 사용 능력을 평가하는 데 매우 실용적인 테스트입니다.

DeepPlanning: 장기 계획

DeepPlanning은 장기간의 Agentic Planning을 전문적으로 평가합니다. 다른 benchmark가 510단계 작업을 평가한다면 DeepPlanning은 2050단계 또는 그보다 긴 작업 체인을 평가합니다.

장기 계획 일관성을 평가하는 데 특히 중요합니다. Agent가 수십 단계 뒤에도 최초 목표를 기억할 수 있는지, 도중에 방향을 잃지는 않는지 등을 DeepPlanning으로 발견할 수 있습니다.

선택 가이드

개인적으로는 먼저 AgentBench로 기준선을 측정해 Agent의 대략적인 수준을 파악하는 방법을 권합니다. 그런 다음 비즈니스에서 가장 중요한 차원을 전문 benchmark로 깊이 평가합니다. Agent가 주로 도구를 호출한다면 ToolBench를 중점적으로 실행하고, 복잡한 계획이 핵심이라면 ACPBench와 DeepPlanning을 사용하세요.

KiloClaw - 기업용 매니지드 OpenClaw, AI Agent 오케스트레이션 및 스마트 라우팅

시작하기 →광고

4. 자기 교정 능력 평가 실전

솔직히 말해 이 장이 글 전체에서 가장 중요한 부분일 수 있습니다. 왜냐하면 실제 환경의 Agent는 언제나 실수할 수 있기 때문입니다. 중요한 것은 실수를 스스로 발견하고 수정할 수 있느냐입니다.

자기 교정은 얼마나 중요할까?

데이터로 확인해 봅시다. Reflexion은 대표적인 자기 성찰 프레임워크로 HumanEval 작업의 통과율을 80%에서 91%로 끌어올렸습니다. 11%포인트 상승은 결코 작은 차이가 아닙니다. AlfWorld 환경 테스트에서는 134개 과제 중 130개를 해결해 성공률 97%를 기록했습니다.

"Reflexion은 실패 후 Agent가 원인을 분석하고 전략을 조정하게 하는 자기 성찰 프레임워크입니다. 이를 통해 HumanEval 작업 통과율을 80%에서 91%로 높였고, AlfWorld 과제 해결률은 97%(130/134)에 달했습니다."

또 다른 연구(Galileo 팀)에 따르면 자기 성찰 메커니즘은 문제 해결 성능을 9%~18.5% 높일 수 있습니다. 그만큼 차이가 큽니다.

Reflexion 아키텍처는 어떻게 작동할까?

핵심 메커니즘은 사실 간단하며 네 단계로 구성됩니다.

1. 실행: Agent가 작업 수행을 시도합니다.
2. 성찰: 실패하면 Agent가 실패 원인을 분석합니다.
3. 교정: 성찰 결과를 바탕으로 전략을 조정합니다.
4. 재시도: 새로운 전략으로 다시 시도합니다.

핵심은 ‘성찰’ 단계입니다. 단순히 ‘다시 시도하기’가 아니라 ‘왜 틀렸는지’와 ‘어떻게 고쳐야 하는지’를 설명할 수 있어야 합니다. 이를 위해서는 Agent가 자신의 사고 과정을 돌아볼 수 있는 메타인지 능력을 갖춰야 합니다.

자기 교정 능력은 어떻게 평가할까?

다음과 같은 실전 방식을 사용할 수 있습니다.

1단계: 통제 가능한 오류 주입

테스트 환경에서 의도적으로 몇 가지 오류 상황을 만듭니다.

• 도구 호출 시간 초과
• API 오류 코드 반환
• 잘못된 매개변수 형식
• 존재하지 않는 리소스

서로 다른 Agent가 같은 오류 조건에서 어떻게 반응하는지 비교할 수 있도록 이러한 오류는 재현 가능해야 합니다.

2단계: Agent의 반응 관찰

다음 정보를 기록합니다.

• Agent가 오류 발생을 인식할 수 있는가?
• 오류 원인을 분석하려고 시도했는가?
• 어떤 교정 전략을 사용했는가?
• 교정 후 성공했는가?
• 몇 번 재시도했는가?

3단계: 지표 집계

핵심 지표는 세 가지입니다.

1. 교정 성공률: 오류 발생 후 Agent가 스스로 수정해 최종 성공한 비율
2. 평균 재시도 횟수: 오류 발생 후 성공할 때까지 평균적으로 재시도한 횟수
3. 최종 달성률: 교정이 필요했던 작업까지 포함해 최종적으로 완료된 작업의 비율

잘 설계된 평가는 ‘한 번에 성공한 경우’와 ‘실패했지만 교정한 경우’를 구분할 수 있어야 합니다. 전자는 기본 능력이 강한 것이고 후자는 자기 교정 능력을 보여줍니다.

실제 사례

이전에 한 Agent에게 데이터베이스에서 사용자 정보를 조회한 뒤 보고서를 생성하는 작업을 맡겨 테스트한 적이 있습니다.

첫 실행에서 쿼리를 잘못 작성해 데이터베이스가 빈 결과를 반환했습니다. 이때 두 가지 상황으로 나뉩니다.

• 자기 교정 능력이 없는 Agent: 빈 결과를 그대로 사용해 모든 내용이 ‘데이터를 찾을 수 없음’인 보고서를 생성합니다.
• 자기 교정 능력이 있는 Agent: 결과가 비어 있음을 발견하고 쿼리 조건에 문제가 있는지 검토한 뒤 수정해 다시 시도합니다.

평가는 이런 차이를 포착해야 합니다. 평가 보고서에는 다음 항목을 별도로 제시할 수 있습니다.

• 최초 성공률: 첫 시도에 성공한 비율
• 교정 후 성공률: 교정이 필요했지만 최종적으로 성공한 비율
• 완전 실패율: 교정 후에도 실패한 비율

이 세 가지 데이터를 모두 봐야 Agent 능력을 완전하게 파악할 수 있습니다.

5. 나만의 Agent 평가 체계 구축하기

이제 이론을 충분히 살펴봤으니 실제로 적용해 보겠습니다. 바로 활용할 수 있는 3계층 평가 아키텍처를 소개합니다.

3계층 평가 아키텍처

첫 번째 계층: 기본 능력 계층

Alibaba Cloud - 개발자 클라우드 1순위, Lighthouse 서버 15% 할인

15% 할인 받기 →광고

각 능력을 개별적으로 평가합니다.

• 도구 호출 정확도: 호출한 API와 매개변수가 올바른가
• 소규모 작업 분해 정확도: 간단한 작업을 합리적인 단계로 나눌 수 있는가
• 단일 단계 추론 정확도: 한 단계의 추론을 올바르게 수행할 수 있는가

이 계층에서는 단위 테스트처럼 각 테스트를 서로 영향을 주지 않도록 독립적으로 실행합니다.

두 번째 계층: 시나리오 작업 계층

실제 비즈니스 상황을 본뜬 작업을 평가합니다.

• 대표적인 비즈니스 프로세스를 몇 가지 설계합니다.
• 각 프로세스는 5~15단계로 구성합니다.
• 정상 흐름과 예외 분기(교정이 필요한 상황)를 모두 포함합니다.

이 계층에서는 단일 능력이 아니라 여러 능력의 조합을 평가합니다.

세 번째 계층: 종합 평가 계층

모든 테스트 결과를 집계합니다.

• 차원별 점수를 종합합니다.
• 비즈니스 중요도에 맞춰 가중치를 조정해 종합 점수를 계산합니다.
• 시각화 보고서를 생성합니다.

평가 프로세스 표준화

반복 실행할 수 있는 평가 체계를 구축하려면 다음과 같이 구성하는 것을 권장합니다.

# 평가 환경 시작
docker compose -f eval-spec.yml up --build

# 지정한 benchmark를 실행하고 3회 반복한 평균값 산출
python run_eval.py --benchmark agentbench-v2.1 --num-trials 3

# 평가 보고서 내보내기
python export_report.py --format markdown --output eval_results.md

핵심은 ‘3회 반복’입니다. Agent의 출력에는 어느 정도 무작위성이 있어 한 번의 테스트 결과만으로는 안정적인 판단이 어렵습니다. 여러 번 실행해 평균값을 구하는 편이 더 신뢰할 만합니다.

핵심 지표 목록

평가 기준으로 바로 활용할 수 있도록 표로 정리했습니다.

이 임계값은 실제 경험을 바탕으로 제시한 참고값입니다. 물론 구체적인 기준은 비즈니스 상황에 따라 달라집니다. 더 높은 기준이 필요한 경우도 있고 적절히 완화할 수 있는 경우도 있습니다.

결론

지금까지 살펴본 내용을 한 문장으로 요약하면 이렇습니다. Agent 평가는 최종 결과가 아니라 과정의 품질을 봐야 합니다. 기존 평가 지표는 ‘맞았는지 틀렸는지’만 알려주지만, Agent에는 결과에 도달하기까지 어떤 단계를 거쳤는지, 도중에 우회하거나 실수하지 않았는지, 실수했다면 스스로 바로잡을 수 있는지를 분석하는 더 세밀한 과정 평가가 필요합니다.

eval-driven development는 Agent 개발의 기본 프로세스가 되어야 합니다. 출시 후에야 문제를 발견하지 말고 개발 단계부터 평가 체계를 구축해 평가 데이터로 개선 방향을 정하세요.

지금 바로 시작한다면 다음 순서를 권장합니다.

1. 먼저 AgentBench로 기준 테스트를 실행해 현재 Agent의 수준을 파악합니다.
2. 비즈니스 상황에 따라 전문 benchmark 2~3개를 선택해 심층 평가합니다.
3. 3계층 평가 아키텍처를 구축해 평가 프로세스를 표준화합니다.
4. 반복 개선할 때마다 평가를 실행하고 데이터로 변화를 비교합니다.

Agent의 신뢰성은 ‘느낌’으로 판단할 수 없습니다. 평가 데이터로 증명해야 합니다. 이 글의 방법론과 실전 가이드가 시행착오를 줄이는 데 도움이 되기를 바랍니다.

참고 자료

• Anthropic Engineering: Demystifying evals for AI agents - 공식 엔지니어링 블로그, 2025
• AgentBench: Evaluating LLMs as Agents (ICLR’24) - 칭화대학교 연구팀, 학술 benchmark
• Survey on Evaluation of LLM-based Agents - arXiv 서베이, 2026
• Self-Reflection in LLM Agents - Reflexion 논문
• ACPBench: Reasoning about Action, Change, and Planning - IBM 연구