일일 450억 토큰의 구조 조정: AT&T가 메인프레임에 자율 에이전트를 직결한 방식

AT&T가 500개 자율 에이전트 워크플로우를 가동해 메인프레임 처리 지연을 제거하고 1년 만에 5배의 투자 회수를 달성한 엔터프라이즈 아키텍처를 분석한다.

발행일: 2026.11.15

일일 토큰 처리량
450억 토큰

월간 100만 건 이상 자율 트랜잭션 집행

초기 투자 대비 회수
5배 (연간 기준)

광통신 전용망 개통 소요 시간 50% 단축

전면 자율화 전환 기준
정확도 95% 이상

파운드리 보안 심사 및 드리프트 모니터링

핵심 판정 ·개별 업무를 봇으로 대체하는 파편화 방식을 버리고, 중앙 비즈니스 로직 메모리와 엄격한 운영 관리 파운드리를 결합해야 레거시 시스템의 운영 지연을 실질적으로 해소할 수 있다.

많은 대기업이 생성형 인공지능을 단순 문서 요약이나 사내 질의응답 같은 직원 생산성 보조 도구로 소비하는 단계에 머물러 있다. 반면 통신 인프라 기업 AT&T는 비즈니스 프로세스 자체를 재설계하는 에이전틱 AI 아키텍처로 방향을 전환했다.

현재 AT&T는 전사적으로 일일 약 450억 개의 AI 토큰을 처리하며, 500개에 달하는 자율 에이전트 워크플로우를 프로덕션 환경에서 가동 중이다. 월간 처리 트랜잭션은 100만 건을 넘어섰다. 개별 과업의 자동화에 매몰되지 않고 엔드투엔드 운영 파이프라인을 완전히 해체한 뒤 재구축한 결과다.

에이전트 난립 차단: 중앙 컨텍스트 메모리 기반의 2계층 분리 아키텍처

기존 엔터프라이즈 환경에서 에이전트를 도입할 때 흔히 발생하는 오류는 부서마다 독립된 특화 에이전트를 우후죽순 생성하는 것이다. 이 방식은 에이전트 간 데이터 충돌, 버전 관리 실패, 막대한 API 호출 비용을 유발한다. AT&T는 이러한 에이전트 무차별 증식을 차단하기 위해 소수의 핵심 에이전트만 유지하는 구조를 채택했다.

핵심 비즈니스 로직은 개별 에이전트 코드에 하드코딩되지 않고 컨텍스트 및 중앙 메모리 계층에 통합 저장된다. 시스템은 역할을 명확히 분리한 두 가지 에이전트 군으로 작동한다. 정보 검색 에이전트는 해당 업무에 적용할 전사 지식 베이스를 식별하고, 계획 수립 에이전트는 작업을 완수하는 데 필요한 도구, 데이터셋, 실행 순서를 동적으로 결정한다.

AT&T 비즈니스 에이전트 파운드리 3단계 파이프라인

중앙 로직 메모리와 레거시 시스템을 직결하는 실행 구조

01
비즈니스 프로세스 매핑 단계 01

파운드리 팀이 불필요한 결재선과 레거시 의존성을 제거하고 표준 프레임워크로 재설계

02
검색 및 계획 분리 실행 단계 02

중앙 메모리 로직을 참조하여 검색 에이전트와 계획 에이전트가 도구 호출을 최적화

03
레거시 메인프레임 직결 단계 03

수작업 티켓 큐를 우회하여 메인프레임 데이터베이스 및 전산망 레코드를 실시간 갱신

이 아키텍처의 실질적 가치는 수십 년간 누적된 레거시 인프라와의 연동에서 드러났다. AT&T의 광통신 설비 변경 작업은 과거 직원이 티켓 대기열에서 작업 지시서를 직접 수령해 메인프레임 전산망에 수동으로 입력하는 과정을 거쳤다.

새로운 아키텍처는 에이전트가 메인프레임 인터페이스와 직접 상호작용하도록 설계되었다. 수작업 큐 대기 시간을 제거함으로써 이미 광케이블이 인입된 빌딩의 기업용 전용 회선 개통 소요 시간을 50% 단축했다. 가장 진보된 AI 추론 엔진이 1970년대에 도입된 메인프레임 코어 시스템과 지연 없이 통신하는 구조를 완성한 셈이다.

실측 데이터로 검증한 TCO 및 3대 접근 방식 비교

엔터프라이즈 인프라에서 AI 투자의 성패는 운영 비용 대비 절감된 인건비와 단축된 리드타임의 절대적 규모로 판가름 난다. AT&T는 에이전트 파운드리 시스템을 통해 1년 만에 투자 비용의 5배(ROI 500%)를 회수했다. 이는 레거시 애플리케이션의 유지보수 비용, 직원 교육 비용, 수작업 전산 입력 오류에 따른 수정 비용을 동시에 상쇄한 결과다.

아래 표는 기존 수작업 중심 레거시 운영, 단순 RPA 도구 도입, 그리고 AT&T가 구축한 중앙 통제형 에이전트 아키텍처의 기술 규격과 비용 구조를 대조한 결과다.

평가 기준수작업 및 레거시 전산망단순 RPA 및 포인트 봇 도입AT&T 중앙 집중형 에이전틱 플랫폼
핵심 실행 주체현장 운영 인력의 수동 터미널 입력UI 좌표 기반 매크로 및 단순 스크립트계획/검색 이원화 자율 에이전트
레거시 연동 방식티켓 발급 후 순차 대기열 처리화면 스크래핑 위주 (UI 변경 시 장애)중앙 비즈니스 로직 메모리 기반 직접 제어
일일 트랜잭션 규모일 수천 건 미만 (인력 가용성 종속)봇 라이선스당 수만 건 (규칙 기반)일일 450억 토큰, 월 100만 건 자율 처리
회선 개통 리드타임기준치 (100%)기준치 대비 15–20% 단축기준치 대비 50% 단축 검증
연간 유지보수 비용 (TCO)높음 (인건비, 교육비, 시스템 유지비)중간 (화면 변경 시 스크립트 재작성 비용)낮음 (중앙 메모리 로직 수정으로 즉시 반영)
연간 투자 대비 회수율측정 불가 (순수 운영 지출)1.2–1.8배 수준1년 이내 5배 (500% ROI 달성)

단순 RPA나 개별 단위 봇은 대상 애플리케이션의 화면 구조가 바뀌면 전체 파이프라인이 중단되는 구조적 한계를 안고 있다. 반면 비즈니스 로직을 중앙 메모리에 분리한 시스템은 인터페이스의 변화와 무관하게 작업 목적과 컨텍스트를 유지한다. 업계 평균적으로 워크플로우 500개를 독립된 개별 봇으로 개발할 경우 연간 수백만 달러의 스크립트 유지보수 비용이 발생하지만, 중앙 통제 아키텍처는 이를 플랫폼 엔지니어링 수준으로 흡수한다.

AT&T 에이전틱 AI 프로덕션 핵심 운영 지표

대규모 엔터프라이즈 환경에서 검증된 정량 수치

01
프로덕션 자율 워크플로우

익년 1,500개로 3배 확장 계획

500개
02
전용 인터넷 개통 소요 시간

메인프레임 직결로 수기 대기열 제거

50% 단축
03
투자 회수율 (ROI)

운영 비용 절감 및 매출 창출 1년 만에 달성

5배

파편화된 M&A 인프라의 데이터 정합성과 자율 전환 운영 관리

대규모 엔터프라이즈가 자율 에이전트를 전면 도입하지 못하는 가장 큰 이유는 파편화된 데이터와 보안 컴플라이언스 리스크다. AT&T는 지난 수십 년간 수많은 인수합병을 거치며 사내 데이터 구조가 여러 데이터센터, 프라이빗 클라우드, 퍼블릭 클라우드, 모바일 환경으로 쪼개져 있었다. 정제되지 않은 데이터 위에 에이전트를 얹으면 환각 현상으로 인해 실시간 통신 장애나 오청구가 발생할 위험이 높았다.

AT&T는 이를 해결하기 위해 에이전트 도입 전 단계에서 데이터 파편화를 정리하고 하이브리드 인프라 간의 연결성을 재정비했다. 또한 에이전트의 운영 관리를 두 가지 층위로 엄격히 분리했다.

에이전트 운영 관리 및 자율 권한 부여 조건
해당 워크플로우가 고객 접점이나 핵심 재무 트랜잭션을 건드리는가?
개인 업무 및 단순 사내 생산성 (No)
개별 직원 자율 생성 허용

사내 보안 가이드라인 내에서 자유로운 에이전트 생성 및 활용 권한 부여

→ 일반 업무 생산성 영역
고객 접점, 계약, 인프라 변경 (Yes)
비즈니스 에이전트 파운드리 필수 통과

보안, 개인정보, 컴플라이언스 사전 심사 및 정확도 95% 이상 도달 전까지 인간 개입 의무화

→ 핵심 비즈니스 운영 영역

개별 임직원이 자체적으로 제작하는 개인 생산성 에이전트는 자율적으로 생성할 수 있도록 개방했다. 그러나 고객에게 직접 영향을 미치거나 코어 전산망을 건드리는 엔터프라이즈 워크플로우는 2025년 초 신설된 ‘비즈니스 에이전트 파운드리(Business Agent Foundry)‘의 통제를 거쳐야만 한다.

파운드리는 모든 신규 워크플로우에 대해 초기 단계에서 인간 개입(Human-in-the-loop)을 강제한다. 현장 실행 과정에서 작업 정확도가 허용 위험 범위 내에서 95% 이상에 도달한 것이 입증된 이후에만 자율 실행 권한을 부여한다. 시스템이 가동된 이후에도 성능 저하와 데이터 드리프트를 상시 감시하는 모니터링 파이프라인이 백그라운드에서 동작한다.

내부 자동화를 넘어 신규 채널 개척으로 확장하는 전사 분산화 로드맵

AT&T의 에이전트 전략은 기존 비효율을 걷어내는 내부 최적화 단계에서 신규 매출을 창출하는 외연 확장 단계로 진입했다. 대표적인 사례가 기업 영업(Sales Prospecting) 워크플로우다.

영업 담당자가 잠재 고객을 발굴할 때, 에이전트가 해당 사업장의 물리적 위치를 확인하고 광통신 인프라 가용 여부를 백엔드에서 사전 검증한다. 설치 불가능한 지역에 영업 자원을 낭비하는 현상을 차단하고, 개통 가능한 고부가가치 타깃에만 영업력을 집중시켜 전환율을 끌어올렸다. 서비스 출시, 신규 시장 진입, 새로운 판매 채널 개척 전반에 에이전트가 선제적으로 투입되는 구조다.

중앙 집중 파운드리 운영의 구조적 득실

초기 운영 관리 통제 확보와 장기적 전사 분산화 사이의 균형

중앙 파운드리 체제의 직접적 이점
  • + 보안 취약점 및 고객 데이터 유출 리스크의 선제적 차단
  • + 비즈니스 로직 중복 개발 방지 및 토큰 소비 효율 최적화
  • + 메인프레임 등 핵심 레거시 시스템 접근 권한의 일원화
감수해야 할 조직적 비용 및 병목
  • – 파운드리 심사 통과를 위한 초기 배포 리드타임 발생
  • – 중앙 전담 조직에 대한 부서별 개발 의존도 심화
  • – 향후 현업 부서로 완전 분산 전환 시 재교육 비용 요구

주목할 점은 이 변혁을 주도한 리더십의 최종 목표가 전담 조직의 영구화가 아니라 해체에 있다는 사실이다. 초기에는 엄격한 아키텍처 표준과 운영 관리를 확립하기 위해 중앙 파운드리가 필수적이지만, 장기적으로는 비즈니스 프로세스 재설계 권한이 전사 각 사업 단위로 완전히 분산되어야 지속 가능한 확장이 가능하다.

기업 의사결정권자가 AT&T 사례에서 도출해야 할 기준은 명확하다. 직원들에게 챗봇 UI를 쥐여주는 방식으로는 레거시 인프라의 근본적 병목을 해결할 수 없다. 비즈니스 로직을 데이터와 메모리 계층에 중앙화하고, 메인프레임과 클라우드를 넘나드는 실행 파이프라인을 구축하며, 95% 정확도 검증 기준을 충족한 워크플로우부터 단계적으로 자율화하는 엔지니어링 규율이 뒷받침되어야 실제 재무 성과로 이어진다.

관련 심층 분석 리포트

카테고리 전체 보기 →
업무 자동화

수만 개 에이전트와 단기 샌드박스의 연결 폭주: CNCF 졸업한 NATS가 메시징 레이어의 표준으로 부상한 이유

AI 에이전트 플릿과 임시 샌드박스 환경에서 기존 카프카의 연결 오버헤드가 한계를 드러냈다. CNCF를 공식 졸업한 NATS의 경량 아키텍처와 엔비디아 DSX 채택 배경을 분석한다.

2026.11.14

업무 자동화

알파벳 캐피털G의 3억 달러 베팅: LangChain 30억 달러 평가와 엔터프라이즈 에이전트 인프라의 손익 계산서

LangChain이 3억 달러 신규 투자를 유치하며 30억 달러 기업가치를 인정받았다. 오픈소스 프레임워크 3종과 유료 관측 플랫폼 LangSmith를 결합한 상용화 구조와 실제 엔터프라이즈 TCO를 정밀 분석한다.

2026.11.13

업무 자동화

스노우플레이크 독점에 던진 쿠스토 팀의 승부수: 7,000만 달러 유치한 에델바이트의 100ms 연합 쿼리 해부

마이크로소프트 애저 데이터 익스플로러 개발진이 설립한 에델바이트가 5억 달러 기업가치로 7,000만 달러를 확보하고 데이터 이동 없는 페타바이트급 AI 에이전트 분석 플랫폼을 공개했다.

2026.11.12

업무 자동화

공개 벤치마크의 종말과 200억 달러의 베팅: 머코어가 입증한 엔터프라이즈 AI 에이전트 검증 시장

AI 학습·평가 데이터 기업 머코어가 200억 달러 기업가치로 7억 5,000만 달러 투자를 유치했다. 프론티어 AI 연구소에서 일반 기업으로 축이 이동하는 에이전트 검증 인프라의 실무 경제성을 분석한다.

2026.11.11

주간 뉴스레터

테크 & 비즈니스 데이터 주간 브리핑

새로 검증된 소프트웨어 분석과 실무 유의점, 최신 공급망 지표를 매주 정리해 드립니다.

언제든 1클릭으로 구독을 해지할 수 있습니다. 스팸 메일은 보내지 않습니다.

* 본 리포트의 링크를 통해 가입 시 수수료를 지급받을 수 있으나, 실측 데이터와 평가에는 일체 영향을 주지 않습니다.