AI 에이전트가 오작동할 때 모델 탓만 할 수 없는 이유와 런타임 진단 프레임워크

60% 실패율의 인공지능 에이전트와 엔비디아가 주도하는 결함 공유 연합

기업 실무 환경에 인공지능 에이전트가 빠르게 배치되고 있으나, 실제 업무 현장에서 거두는 성적표는 기대에 미치지 못하고 있다. 실제 프로그래밍 코드베이스를 대상으로 수행한 벤치마크 테스트에서 가장 성능이 뛰어나다는 코딩 특화 에이전트조차 작업 실패율이 60%를 넘어선다. 더 심각한 문제는 에이전트가 실패했을 때 전통적인 소프트웨어처럼 명확한 에러 코드나 시스템 중단 메시지를 남기지 않는다는 점이다. 에이전트는 작업 도중 스스로 도구를 선택하고, 잘못된 판단을 내린 뒤에도 이를 바로잡지 못한 채 엉뚱한 방향으로 작업을 이어가며 겉보기에만 정상인 엉터리 결과물을 만들어낸다.

이러한 오작동 현상에 대응하기 위해 엔비디아(Nvidia)를 비롯한 약 140개 글로벌 테크 기업은 ‘안전한 에이전트 발견 공유 연합(SAFE: Secure Agent Findings Exchange)‘을 결성했다. 과거 소프트웨어 업계가 보안 취약점을 공동 데이터베이스에 등록하고 신속하게 패치를 공유하던 방식을 인공지능 에이전트 분야에 그대로 도입한 것이다. 특정 기업의 에이전트가 겪은 실패 원인과 비정상 실행 패턴을 업계 전체가 공유함으로써 동일한 결함이 다른 현장에서 반복되는 참사를 막겠다는 취지다.

엔비디아의 제품 부문 부사장 아델 엘 할락(Adel el Hallak)은 에이전트 결함을 조사할 때 가장 먼저 버려야 할 편견으로 ‘인공지능 모델 자체의 한계’라는 핑계를 꼽았다. 에이전트 시스템은 단순히 두뇌 역할을 하는 거대언어모델 하나로 굴러가지 않는다. 모델의 지능을 업무 순서와 결합하는 작업 틀(Harness)과, 실제 도구를 안전하게 실행하고 자원을 통제하는 실행 환경(Runtime)이 유기적으로 맞물려 작동한다. 화면에 도출된 결과가 엉망이라고 해서 무조건 파라미터가 더 큰 비싼 모델로 교체하는 것은 문제의 본질을 외면하는 낭비에 불과하다.

인공지능 모델이 과도하게 ‘창의성’을 발휘하여 정해진 규칙을 이탈하거나, 외부 도구로부터 건네받은 데이터 형식을 제멋대로 해석하여 후속 작업으로 왜곡된 정보를 넘겨주는 순간 전체 파이프라인은 무너진다. 현업 개발진과 데이터 실무진이 집중해야 할 과제는 더 이상 ‘어떤 모델이 가장 똑똑한가’를 따지는 벤치마크 점수 놀음이 아니다. 에이전트가 왜 그런 판단을 내렸는지 실행 궤적을 낱낱이 들여다보고, 도구 호출을 적절히 제한하며, 오류를 조기에 격리할 수 있는 관찰 체계를 구축하는 일이다.

단순 입출력 로그 대 실행 궤적 추적: 에이전트 진단 인프라 팩트 매트릭스

기존 소프트웨어 아키텍처에서는 시스템 장애가 발생했을 때 웹 서버 로그, 데이터베이스 트랜잭션 기록, 예외 처리 스택 트레이스(Stack Trace)를 확인하면 오류 발생 지점을 수 분 내에 특정할 수 있었다. 그러나 복합적인 자율 에이전트 환경에서는 사용자가 입력한 프롬프트와 에이전트가 반환한 최종 출력값만 비교하는 전통적인 로깅 방식으로는 결함의 근본 원인을 결코 밝혀낼 수 없다.

에이전트는 하나의 작업을 완료하기 위해 수십 번에 걸쳐 사내 데이터베이스를 조회하고, 외부 웹 검색 API를 호출하며, 계산기 스크립트를 실행한다. 이 과정에서 발생하는 중간 추론 단계와 도구 선택의 타당성을 점검하지 못하면 에이전트는 영구히 디버깅할 수 없는 블랙박스로 남는다. 실제로 오픈AI(OpenAI)의 연구 데이터에 따르면, 지속적으로 업무를 수행하는 고급 에이전트에 대한 정밀 관찰 및 상태 추적 기능을 도입할 경우 기본 추론 연산량이 약 20% 추가로 소모된다. 인프라 비용 상승에도 불구하고 이러한 모니터링이 강제되는 이유는 결함 규명에 드는 인적 비용을 획기적으로 낮출 수 있기 때문이다.

문도스코프 리서치팀이 분석한 바에 따르면, 기업 실무에서 에이전트 1회 호출당 평균 토큰 비용이 0.05달러라고 가정할 때, 10단계 도구 체인을 거치는 복합 에이전트가 4단계에서 잘못된 도구를 호출하고도 이를 감지하지 못해 10단계까지 작업을 강행하면 호출 1건당 0.03달러의 순수 연산 비용이 허공으로 사라진다. 일일 5만 건의 에이전트 트랜잭션을 처리하는 기업이라면 월간 누적 토큰 낭비액만 약 4만 5,000달러(한화 약 6,000만 원)에 달한다.

실시간 궤적 모니터링을 통해 20%의 추가 추론 비용(월 1만 5,000달러)을 지불하더라도, 잘못된 실행을 조기에 차단하여 회수하는 비용이 훨씬 크다. 따라서 에이전트 디버깅 인프라는 부가적인 지출이 아니라 클라우드 비용 통제를 위한 핵심 안전장치로 다루어져야 한다. 추가적인 성능 지표 비교는 문도스코프 자동화 카테고리(/category/automation)의 세부 벤치마크 데이터를 통해 대조할 수 있다.

기업 실무 현장을 덮친 3대 리스크: 연쇄 오류와 비용 폭증의 늪

인공지능 에이전트를 실무 파이프라인에 성급하게 투입한 기업들은 이전에는 경험해보지 못한 세 가지 형태의 구조적 충격에 직면하고 있다. 이는 단순한 소프트웨어 버그를 넘어 비즈니스 운영 연속성을 직접적으로 위협하는 요소다.

연쇄적 도구 호출로 인한 토큰 낭비와 운영 비용 폭증

기존의 규칙 기반 자동화 소프트웨어는 중간 단계에서 조건문이 불일치하면 즉각 처리를 중단하고 담당자에게 알림을 보낸다. 반면 자율성을 부여받은 인공지능 에이전트는 첫 번째 외부 도구 호출에서 원하는 결과가 나오지 않을 경우, 스스로 대안을 찾겠다며 무제한으로 다른 API를 호출하거나 프롬프트를 재작성하여 거대언어모델에 재질의를 던진다.

이른바 ‘추론 루프(Reasoning Loop)‘에 빠진 에이전트는 정해진 타임아웃에 도달할 때까지 수백만 토큰을 순식간에 소비한다. 모델 자체는 정상적으로 응답을 생성하고 있으므로 클라우드 인프라 모니터링 시스템에는 ‘정상 트래픽’으로 잡히며, 결과적으로 월말 청구서가 발행되기 전까지는 비용 누수를 인지조차 하지 못하는 사태가 빈번하게 발생한다.

예외 오류 없는 무음 실패로 늘어나는 처리 지연과 수정 시간

전통적인 시스템 장애는 담당자에게 명확한 중단 신호를 주지만, 에이전트의 실패는 아무런 경고도 울리지 않는 ‘무음 실패(Silent Failure)‘의 형태를 띤다. 고객 지원 에이전트가 환불 규정을 잘못 해석하여 임의로 처리 불가 안내를 발송하거나, 재고 관리 에이전트가 수량 단위를 상자와 낱개로 혼동하여 발주 시스템에 잘못된 숫자를 입력하는 경우가 대표적이다.

이러한 무음 실패는 데이터가 이미 사내 다른 시스템으로 흘러 들어간 뒤에야 발견된다. 결함을 발견했을 때는 이미 원본 데이터가 심각하게 오염되어 있어, 과거 데이터를 일일이 수작업으로 대조하고 정정해야 하는 막대한 처리 지연(Lead Time)이 발생한다. 개발진 역시 어디서부터 계산이 틀어졌는지 추적하기 위해 수천 줄의 대화 내역을 일일이 눈으로 확인해야 하므로 인적 리소스 소모가 극에 달한다.

전문 도구 연동 실패가 초래하는 전체 업무 파이프라인의 공급 안정성 붕괴

에이전트가 단독으로 텍스트만 생성할 때는 문제가 없지만, 사내 ERP, CRM, 결제 게이트웨이 등 외부 비즈니스 도구와 결합하는 순간 공급 안정성은 급격히 떨어진다. 에이전트가 API 호출 규격에 맞지 않는 인수를 넘겨주거나, 인증 토큰 만료와 같은 일시적 네트워크 지연 상황에서 엉뚱한 예외 처리 방식을 선택하면서 전체 공급망 프로세스가 마비된다.

특히 복수의 에이전트가 협력하여 하나의 프로젝트를 완수하는 다중 에이전트 환경에서는 한 에이전트의 사소한 도구 해석 오류가 다음 에이전트의 치명적인 의사결정 결함으로 증폭된다. 결국 기업은 고도화된 자동화를 구축하려다 오히려 수동 작업보다 못한 파이프라인 중단 사태를 겪게 되며, 실무 부서의 인공지능 기피 현상으로 이어지게 된다.

모델 교체 없는 하네스 재설계와 오픈쉘 런타임 기반 격리 보호 전략

에이전트의 오작동을 해결하기 위해 매번 더 큰 파라미터를 가진 고가의 모델로 교체하는 방식은 기술적으로도, 재무적으로도 지속 가능하지 않다. 엔비디아의 인공지능 연구 조직이 발표한 NOAH(Nvidia Orchestration and Agent Harness) 연구는 중요한 시사점을 던진다. 기본 두뇌가 되는 인공지능 모델을 전혀 바꾸지 않고, 모델의 입출력을 제어하고 도구를 엮어주는 작업 틀(Harness)의 구조만 개선해도 에이전트의 작업 성공률이 괄목할 만하게 향상된다는 사실을 실증했기 때문이다.

어떤 모델은 매우 장황하게 설명하는 성향을 띠고, 어떤 모델은 간결하게 결론만 도출하는 성향을 가진다. 에이전트의 실패는 지능의 부족 때문이 아니라, 작업 틀이 모델의 고유한 응답 특성을 제대로 받아내지 못하거나 도구 호출 규격을 정밀하게 매핑하지 못해 발생하는 경우가 대부분이다.

엔비디아가 제안하는 아키텍처의 핵심은 바로 ‘오픈쉘(OpenShell)‘이라 불리는 에이전트 전용 실행 환경(Runtime)이다. 네모클로(NemoClaw) 플랫폼의 기반을 이루는 오픈쉘은 모델이나 작업 틀의 종류와 무관하게 시스템의 최하단에서 작동하며 다음과 같은 세 가지 필수 기능을 수행한다:

1. 엄격한 샌드박스 격리: 에이전트가 실행하는 모든 외부 스크립트와 시스템 명령어를 완전히 격리된 가상 공간에서 실행하여 내부 인프라 오염을 원천 방지한다.
2. 실시간 운영 기준 강제: 에이전트가 사전에 승인되지 않은 도구를 호출하거나 비인가 데이터베이스에 접근하려 할 때 하드웨어 수준에서 이를 즉시 차단한다.
3. 완전한 실행 가시성 확보: 모델의 생각 흐름, 도구 호출 시점, 주고받은 매개변수 값을 실시간 수집 데이터로 기록하여 언제든 특정 실패 시점을 되감아 재생할 수 있도록 지원한다.

보안 전문 기업 크라우드스트라이크(CrowdStrike)의 도입 사례는 이러한 아키텍처의 실효성을 명확히 증명한다. 크라우드스트라이크는 수년간 축적된 위협 인텔리전스 데이터를 엔비디아의 네모트론(Nemotron) 모델에 미세조정하여 두 개의 에이전트를 한 쌍으로 묶어 배치했다. 한 에이전트는 시스템의 보안 취약점을 탐색하고, 다른 에이전트는 이를 방어하는 패치 코드를 작성하는 구조다.

만약 패치 코드가 잘못 작성되어 시스템 충돌이 발생했을 때, 단순한 범용 모델 평가 방식으로는 원인을 찾아낼 수 없다. 크라우드스트라이크는 오픈쉘과 같은 전용 런타임을 통해 취약점 탐색 에이전트가 넘겨준 중간 데이터가 패치 작성 에이전트의 작업 틀에서 어떻게 변형되었는지를 단계별로 역추적했다. 모델 자체를 재학습시키는 막대한 비용을 들이지 않고도, 도구 간 데이터 전달 인터페이스를 수정하는 것만으로 결함을 완벽하게 해결할 수 있었다.

AI 에이전트 실패율을 잡기 위한 30일 긴급 점검과 180일 런타임 내재화 로드맵

운영 중인 인공지능 에이전트의 잦은 결함과 정체불명의 비용 증가로 고민하는 기업 실무진을 위해 즉시 착수할 수 있는 30일 긴급 조치와 중장기 아키텍처 재편 방안을 정리했다.

단기 대응 과제 (즉시 ~ 30일 이내)

• 도구 호출 루프 상한선 및 타임아웃 강제: 에이전트가 동일하거나 유사한 도구를 연속 3회 이상 재호출하거나, 1회 작업당 허용된 토큰 한도(예: 1만 5,000토큰)를 초과하는 즉시 실행을 중단시키는 강제 차단 규칙을 게이트웨이 레벨에 적용한다.
• 다계층 실행 궤적(Reasoning Trace) 수집 개시: 단순한 최종 프롬프트 및 응답 저장 방식을 폐기하고, 에이전트가 도구를 호출할 때 사용한 인수의 형태와 모델의 중간 생각 단계를 별도 JSON 구조로 저장하는 로깅 체계를 구축한다.
• 고위험 작업에 대한 담당자 직접 확인 단계 삽입: 금융 거래, 데이터베이스 삭제, 고객 대상 대량 이메일 발송 등 오류 발생 시 치명적인 파급력을 낳는 3대 영역에 대해서는 에이전트가 최종 결정을 내리기 전 실무 담당자가 승인 버튼을 눌러야만 실행되도록 권한 분리 장치를 마련한다.

중장기 실행 전략 (60일 ~ 180일 이내)

• 모델 맞춤형 작업 틀(Harness) 리팩토링: 현재 사용 중인 기반 모델의 응답 성향을 프로파일링하여 불필요한 서술을 억제하고 정형화된 JSON 출력만 반환하도록 작업 틀의 파라미터 변환기를 고도화한다. 이를 통해 모델 교체 없이도 도구 호출 실패율을 40% 이상 감축시킨다.
• 오픈쉘 규격의 격리 런타임 및 샌드박스 인프라 구축: 에이전트가 실행되는 공간을 사내 코어 시스템과 물리적, 논리적으로 완벽히 격리하는 컨테이너 기반 샌드박스 환경을 도입한다. 비인가 네트워크 접근 시도를 하드웨어 수준에서 차단할 수 있는 체계를 완성한다.
• 글로벌 에이전트 결함 공유 연합(SAFE) 데이터 연계: 사내에서 발생한 에이전트 결함 패턴을 익명화하여 SAFE 규격에 맞춰 자산화하고, 업계에 공유된 최신 취약점 및 오작동 케이스를 정기적으로 가져와 사전 회피 테스트 세트를 확충한다. 지속적인 상태 평가를 위한 벤치마크 점검은 문도스코프 인프라 벤치마크(RunPod 서버리스 GPU)을 통해 정기적으로 수행한다.