사원 대신 일하는 AI가 사고 치면 누가 물어내나: PwC가 밝힌 기업 책임 공백

회사에 일 시킨 AI가 사고 치면 누가 책임질까: PwC가 드러낸 사각지대

직원에게 중요한 법인카드를 건네줄 때는 사용 한도를 정하고 영수증을 반드시 확인한다. 그런데 최근 기업들이 앞다투어 도입하는 자율형 인공지능(에이전틱 AI)에는 아무런 신원 확인도 없이 사내 핵심 서버를 열어주고 있다. 알아서 시장을 분석하고, 소프트웨어 코드를 고치며, 심지어 외부 결제까지 처리하는 인공지능 에이전트가 기업 내부망 곳곳을 자유롭게 누비는 시대가 열렸다.

문제는 이 자율형 일꾼이 예상치 못한 실수를 저지르거나 외부 해커의 침투 통로로 악용될 때 발생한다. 정상적인 업무를 수행하던 인공지능이 악성 명령에 속아 사내 기밀 문서를 외부에 유출하거나, 통제 범위를 벗어난 과도한 API 호출로 수천만 원의 클라우드 청구서를 만들어내는 일이 실제로 벌어지고 있다.

이런 상황에서 과연 기업 안에서 누가 이 사고의 책임을 져야 할까? 글로벌 회계 컨설팅 기업 프라이스워터하우스쿠퍼스(PwC)가 전 세계 71개국 4,000여 명의 비즈니스 및 기술 리더를 대상으로 진행한 설문조사 결과는 충격적이다. 인공지능 기술의 위험성을 이사회 차원에서 인지하고 있다고 답한 기업은 절반에 달했지만, 막상 사고가 터졌을 때 전적인 책임을 질 주체가 누구인지에 대해서는 경영진 내부에서도 의견이 뿔뿔이 흩어졌다.

기술을 도입해 성과를 내는 부서와 보안을 지키는 부서가 서로 책임을 미루는 핑퐁 게임이 벌어지는 셈이다. 1994년 씨티그룹이 러시아 해커들에게 털린 뒤에야 비로소 정보보호최고책임자(CISO)라는 보직을 처음 만든 것처럼, 지금 기업들은 자율형 인공지능이라는 보이지 않는 직원을 통제할 새로운 조직 체계와 관리 기준을 마련해야 하는 기로에 섰다.

4,000명 리더의 동상이몽: AI 리스크 총책임자를 둘러싼 응답 분석

PwC의 이번 조사에서 가장 두드러진 현상은 AI 리스크의 최종 책임자가 누구인가를 묻는 질문에 기업 리더들의 답변이 극단적으로 갈렸다는 점이다. 기업의 디지털 인프라를 총괄하는 최고정보책임자(CIO)나 최고기술책임자(CTO)에게 책임이 있다고 답한 비율은 29%에 불과했다. 반면 전통적으로 회사 보안을 책임져 온 정보보호최고책임자(CISO)를 지목한 비율은 17%에 그쳤다.

더욱 눈여겨볼 대목은 응답자의 26%가 최근 신설된 AI 전담 리더나 별도의 AI 부서가 책임을 져야 한다고 보았고, 11%는 책임 소재가 불분명해 여러 부서가 모호하게 나눠 갖고 있다고 털어놓았다는 사실이다. 실제로 전체 기업의 33%는 최고인공지능책임자(CAIO) 같은 전담 임원을 뽑았지만, 이들에게 사업 성과를 넘어 보안 사고의 법적·운영적 책임까지 완전히 쥐어준 기업은 드물다.

기업들이 이렇게 우왕좌왕하는 사이, 통제받지 않는 인공지능이 유발하는 실제 손실 위험은 나날이 불어나고 있다. 실무 현장에서 권한 관리가 누락된 인공지능 에이전트가 일으키는 주요 위협과 현실적인 관리 비용 격차를 정리하면 다음과 같다.

통계적으로 보안 팀이 인지하지 못하는 그림자 AI 에이전트가 사내에 10개 이상 방치될 경우, 비정상적인 권한 남용을 감지하는 데 걸리는 시간은 평균 120일을 훌쩍 넘긴다. 누군가 분명히 키를 쥐고 있지 않으면, 사고가 터진 뒤 책임 공방을 벌이는 사이에 기업 신뢰와 자산이 한순간에 무너져 내릴 수밖에 없다.

통제 안 되는 자율 에이전트가 기업 일선에 던지는 3가지 치명타

인공지능 도입을 서두르느라 책임 소재를 명확히 정하지 않은 기업은 현업 실무에서 세 가지 거대한 벽에 부딪히게 된다. 단순한 이론적 위험이 아니라 매달 회계 장부와 고객 신뢰에 직격탄을 날리는 실질적인 위협들이다.

예산 누수와 클라우드 비용 폭탄: 통제 없는 API 호출의 덫

직원이 야근할 때는 연장근로 승인을 받지만, 자율 에이전트는 밤새 쉬지 않고 일을 벌인다. 특히 다른 소프트웨어와 연동되어 스스로 판단하고 움직이는 에이전트는 잘못된 반복문(루프)에 빠지거나 외부 공격자의 유도 질문에 걸려들었을 때 천문학적인 비용을 쓴다.

실제로 외부 해커가 인공지능 모델의 취약점을 파고들어 회사가 구독 중인 고성능 대형 언어 모델의 연산 자원을 몰래 가로채 쓰는 ‘LLM 재킹’ 사례가 급증하고 있다. 택시 미터기가 고장 나 밤새 달린 것처럼 하룻밤 사이에 수천만 원 상당의 토큰 사용료가 청구되지만, 누구의 예산으로 이를 메워야 할지 재무팀과 IT팀 사이에 고성이 오가는 일이 다반사다.

보안 감사 지연과 신뢰 상실: 권한 추적 불가로 멈추는 업무

유럽연합의 인공지능법(EU AI Act)을 비롯해 전 세계 규제 당국은 고위험 인공지능을 활용하는 기업에 엄격한 설명 책임과 로그 기록 보관을 요구하고 있다. 문제는 현재 많은 기업의 에이전트가 개발자 개인의 계정이나 부서 공용 API 키를 빌려 쓰고 있다는 점이다.

정기 보안 감사나 외부 침해 사고 조사가 시작되면, 특정 데이터 조회가 사람 직원의 행동이었는지 아니면 자율 에이전트의 오작동이었는지조차 구분해 내지 못한다. 감사 대응 기간이 기존 2주에서 8주 이상으로 늘어나고, 규제 위반에 따른 입증 책임을 다하지 못해 글로벌 대형 파트너사와의 납품 계약이 줄줄이 보류되는 사태가 벌어진다.

기업 내부망 무단 접근: 퇴사자 방치보다 무서운 유령 에이전트

퇴사한 직원의 사번과 출입증을 회수하지 않는 기업은 없다. 하지만 과거 특정 프로젝트를 위해 만들어졌다가 방치된 인공지능 에이전트는 내부망 속에서 유령처럼 살아 숨 쉰다.

이 유령 에이전트들은 인사 데이터베이스, 재무 회계 원장, 고객 상담 이력 등에 여전히 높은 수준의 읽기·쓰기 권한을 유지하고 있는 경우가 많다. 외부 침입자 입장에서는 까다로운 방화벽을 뚫을 필요 없이, 관리 사각지대에 놓인 취약한 에이전트 하나만 해킹하면 기업의 안방 문을 통째로 열어젖힐 수 있게 된다.

디지털 사원증과 킬스위치: RSA가 제시한 기계 신원 관리 해법

그렇다면 기술 리더들은 이 통제 불능의 에이전트들을 어떻게 다루어야 할까? 글로벌 보안 기업 RSA의 짐 테일러 최고제품책임자(CPO)는 해답의 실마리로 ‘신원 제어(Identity Control)‘를 꼽는다. 지난 수십 년 동안 사람 직원의 출입과 권한을 통제해 온 검증된 방식을 인공지능 에이전트에도 똑같이 적용해야 한다는 뜻이다.

사람이 입사하면 주민등록번호를 확인하고 사번을 부여하듯, 회사 시스템에 투입되는 모든 인공지능 모델과 에이전트에도 고유한 ‘디지털 사원증(Machine Identity)‘을 발급해야 한다. 이 에이전트가 어떤 데이터에 접근할 수 있는지, 1회당 쓸 수 있는 예산 한도는 얼마인지, 외부로 보낼 수 있는 파일 형식은 무엇인지를 중앙에서 엄격하게 통제하는 구조다.

선도적인 기업들은 이미 이 같은 기계 신원 관리 체계를 실무에 안착시키고 있다. 첫째, 사내 중앙 등록소(Registry)를 구축해 승인받지 않은 인공지능 에이전트가 회사 서버에 연결되는 것을 원천 차단한다. 둘째, 모든 에이전트마다 반드시 현실의 ‘인간 관리자(Human Owner)‘를 1:1로 묶어둔다. 에이전트가 주요 시스템의 설정을 바꾸거나 대규모 데이터를 외부로 전송할 때는 이 인간 관리자의 스마트폰으로 결재 요청이 전송된다.

셋째, 이상 징후가 발견되는 즉시 전원을 내릴 수 있는 ‘킬스위치(Kill Switch)‘를 마련했다. 오작동을 일으키거나 공격받은 에이전트의 네트워크 연결을 단 1초 만에 끊어버림으로써 사내 다른 시스템으로 피해가 번지는 것을 막는 방화벽 역할을 수행한다.

책임 공백을 막는 실무 리스크 방어선 구축 방안

인공지능 도입을 미루는 기업은 시장에서 도태되지만, 안전장치 없이 달리는 기업은 단 한 번의 사고로 침몰한다. 운영 관리 규칙가 무너진 현장에서 실무진과 리더십이 즉시 가동해야 할 3단계 방어선은 다음과 같다.

1차 방어선: 즉각적인 법적·운영 리스크 스크리닝

가장 먼저 해야 할 일은 사내에서 가동 중인 모든 인공지능 도구와 에이전트를 남김없이 찾아내 장부에 적는 일이다. 공식적으로 도입한 소프트웨어뿐만 아니라, 현업 부서나 개발자들이 업무 효율을 위해 임의로 연동해 둔 비인가 도구까지 전수 조사를 진행해야 한다.

• 사내 비인가 AI 도구 전수 파악: 전사 네트워크 트래픽을 점검하여 개발팀 및 마케팅팀에서 외부 AI 서비스와 연동해 쓰는 비공식 API 키를 식별한다.
• 인간 책임자(Owner) 의무 배정: 현재 운영 중인 모든 자동화 스크립트와 에이전트에 대해 현업 실무 책임자(팀장급 이상)의 이름을 공식 등록한다.
• 클라우드 비용 알림 임계치 설정: 각 부서별 AI 호출 비용이 전월 대비 150% 이상 급증할 경우 자동으로 담당자에게 경고를 보내고 호출을 일시 정지하도록 청구 시스템을 연동한다.

2차 방어선: 대체 공급망 및 계약 조항 재설계

다음 단계는 외부 인공지능 공급업체나 클라우드 제공사와의 계약 관계를 다시 뜯어보는 일이다. 모델 자체의 취약점으로 인해 데이터 유출이나 오작동 사고가 났을 때, 기술 공급사가 어디까지 손해를 배상할 것인지에 대한 법적 책임을 명확히 매듭지어야 한다.

• 외부 모델 제공업체의 배상 책임 조항 명시: 인공지능 모델의 보안 결함이나 환각 현상으로 인한 직접적 손실 발생 시 공급업체의 보상 한도를 계약서에 못 박는다.
• 최소 권한 기반의 기계 신원 격리: 에이전트에게 회사 데이터베이스 관리자(DBA) 권한을 통째로 주지 말고, 해당 업무 수행에 필요한 단일 테이블만 읽을 수 있도록 접근 권한을 쪼갠다.
• 민감 업무에 대한 인간 개입(Human-in-the-Loop) 강제: 법적 계약 체결, 500만 원 이상의 비용 결제, 고객 개인정보의 대량 수정 등 치명적인 3대 작업은 반드시 사람의 최종 클릭 승인이 있어야만 실행되도록 시스템 순서를 설계한다.

3차 방어선: 정기 평가 및 즉각적인 권한 회수 규정

마지막은 에이전트의 생애 주기를 마감하는 출구 전략이다. 사람 직원이 회사를 떠날 때 오프보딩 절차를 밟듯, 사용 목적을 다한 인공지능 도구의 권한을 시스템에서 완벽하게 지워내는 규칙을 세워야 한다.

• 분기별 유령 에이전트 폐기 감사: 최근 30일 동안 가동 이력이 없거나 프로젝트가 종료된 자동화 에이전트의 접근 토큰을 매 분기 말 일괄 삭제한다.
• 비상 정지 훈련 및 킬스위치 테스트: 핵심 업무용 에이전트가 악성 명령을 받았을 때 30초 이내에 해당 계정의 접속을 차단할 수 있는지 반기별로 가상 시뮬레이션을 수행한다.
• 이사회 보고 정례화: PwC 보고서가 권고하듯, 인공지능 운영 현황과 보안 사고 징후를 매 분기 이사회 정기 안건으로 올려 기술팀만의 문제가 아닌 전사 경영 리스크로 다룬다.