토큰 지출 80%가 오픈소스로 돌아선 이유: 델과 엔비디아가 겨냥한 하이브리드 추론 인프라 손익 계산서

3개월 만에 일어난 토큰 대역전: 값비싼 독점 API를 버리고 하이브리드로 내려앉는 기업들

기업 인공지능 시장의 무게중심이 거대 모델 학습에서 일상적인 업무에 적용하는 ‘추론(Inference)’ 단계로 넘어가면서, 재무 총괄 책임자들의 계산기가 바빠지고 있다. 불과 몇 달 전까지만 해도 기업들은 오픈AI나 앤트로픽 같은 소수 빅테크가 만든 최고 사양의 폐쇄형 프론티어 모델 API를 호출해 쓰는 것을 당연하게 여겼다. 그러나 매달 날아오는 API 청구서 금액이 눈덩이처럼 불어나자 기업들은 즉각 실용적인 계산을 시작했다.

델 테크놀로지스 뉴욕 심포지엄에서 공개된 수치는 이 같은 변화를 생생하게 증명한다. 델의 카일 듀프레인(Kyle Dufresne) 수석 부사장은 “불과 3개월 전만 해도 전 세계 토큰의 80%가 빅테크의 독점 프론티어 모델에서 생성되었지만, 지금은 그 수치가 정반대로 뒤집혀 전 세계 토큰의 80%가 오픈소스 모델에서 뿜어져 나오고 있다”고 밝혔다. 이유는 단순하다. 바로 ‘토큰 경제학(Tokenomics)’, 즉 감당할 수 없는 비용 문제 때문이다.

이러한 지출 위기감은 기업 인프라의 설계 자체를 뒤흔들고 있다. 모델을 학습시킬 때는 중앙 클라우드의 대규모 GPU 팜을 빌려 단기간에 끝내는 것이 유리할 수 있지만, 고객 응대와 내부 데이터 분석처럼 24시간 내내 돌아가는 추론 작업은 택시 미터기처럼 비용이 계속 누적된다. 결국 기업들은 데이터가 처음 만들어지는 현장, 즉 자체 사내 데이터센터와 공장, 심지어 임직원의 PC 에지 단말로 모델을 내려보내는 하이브리드 인프라를 선택하고 있다. 델과 엔비디아가 합작한 ‘AI 팩토리’ 시스템을 이미 6,500개 이상의 기업이 도입한 배경에는 데이터 주권 확보와 함께 바로 이 비용 방어가 자리 잡고 있다.

실제 숫자로 검증한 팩트 비교: 독점 API 호출 vs 오픈소스 자체 인프라 TCO

현재 기업 엔지니어링팀이 맞닥뜨린 가장 큰 고민은 ‘과연 사내에 직접 GPU 인프라를 마련하는 것이 클라우드 API를 구독하는 것보다 저렴한가’라는 점이다. 원문에서 지적한 토큰 비용 폭발 현상을 검증하기 위해, 하루 평균 1,000만 건의 토큰(월 약 3억 토큰)을 처리하는 중견 금융·엔터프라이즈 환경을 기준으로 실무 시뮬레이션 수치를 비교해 보면 인프라 뼈대를 바꿔야 하는 이유가 뚜렷해진다.

아래 표는 상용 독점 프론티어 모델 API 호출 방식과 사내 전용 인프라(Modal 같은 현대적 컨테이너 자동 순서 제어 도구나 델 AI 팩토리 형태의 자체 GPU 노드)에 고성능 오픈소스 모델(Llama 3.1 70B 등)을 올려 가동했을 때의 비용과 지연 시간을 비교한 데이터다.

이와 더불어 원문에서 강조된 또 다른 핵심 변수는 ‘부품 공급망의 인플레이션’이다. 듀프레인 부사장이 제시한 데이터에 따르면, 내년도 고성능 메모리 공급은 약 20% 증가하는 데 그치지만 수요는 200% 폭증할 것으로 예측된다. 즉, 시간이 지날수록 하드웨어 구매 비용이 내려가는 것이 아니라 오히려 부품 품귀로 인해 단가가 올라갈 공산이 크다. 이 때문에 현금 동원력이 있는 기업들은 부품 가격 상승률이 자본 조달 비용을 웃돈다고 판단하고 인프라 선구매를 서두르고 있다.

기업 실무와 예산 통제에 미치는 3대 직접적 파급력

인프라가 클라우드 독점 체제에서 온프레미스·에지 하이브리드로 흩어지는 현상은 일선 개발팀과 재무 부서의 일하는 방식을 근본적으로 바꾸고 있다.

1. 운영 비용(OPEX): 고정 자산화 전략을 통한 청구서 불확실성 제거

과거 클라우드 마이그레이션의 가장 큰 장점은 설비 투자(CAPEX) 없이 쓴 만큼만 내는 운영 비용(OPEX) 모델이었다. 하지만 추론 작업의 빈도가 하루 수억 건에 이르는 비즈니스 환경에서는 이 종량제 모델이 오히려 예산 계획을 마비시키는 주범이 된다.

어느 달에는 트래픽이 폭증해 수만 달러의 API 요금이 빠져나가고, 다른 달에는 지출을 줄이느라 서비스 기능을 제한하는 악순환이 반복된다. 자체 온프레미스 장비나 장기 예약 인프라를 확보하면 초기 하드웨어 구매 비용은 들지만, 이후 발생하는 토큰은 전력비와 유지보수 비용 수준으로 묶어둘 수 있어 재무 안정성이 극대화된다.

2. 처리 속도 및 데이터 지연(Lead Time): 네트워크 병목을 건너뛰는 현장 완결

중앙 클라우드로 데이터를 쏘아 올리고 모델의 답변을 돌려받는 과정에는 물리적인 네트워크 왕복 시간이 걸린다. 공장의 불량품 검사 시스템, 매장의 결제 단말기, 혹은 금융사의 실시간 이상 거래 탐지(FDS) 시스템은 0.1초의 지연도 용납하기 어렵다.

인프라를 데이터가 생성되는 현장 바로 옆이나 임직원의 업무용 단말기(에지 PC)로 내려보내면, 외부 인터넷망을 거치지 않고 즉각 답변을 도출할 수 있다. 이는 단순한 속도 향상을 넘어 통신망이 끊긴 오프라인 환경에서도 서비스 연속성을 보장하는 강력한 무기가 된다.

3. 통제권과 차별화 자산(Data Control): 모델 제공업체에 종속되지 않는 독립성

독점 API를 사용하는 것은 가장 뛰어난 모델을 손쉽게 맛볼 수 있는 지름길이지만, 장기적으로는 비즈니스의 핵심 데이터를 남의 서버에 넘겨주는 위험을 안게 된다.

특히 규제 준수가 생명인 금융 기관이나 독점적인 연구 데이터를 다루는 제조업체는 외부 모델에 사내 지식 기반을 연동하는 순간 데이터 유출이나 규제 위반 처벌을 걱정해야 한다. 오픈소스 기반의 소형 특화 모델을 사내 인프라에 올리면, 데이터가 외부로 단 1바이트도 빠져나가지 않으면서도 자사만의 데이터로 모델을 미세 조정해 경쟁사가 흉내 낼 수 없는 맞춤형 인텔리전스를 완성할 수 있다.

부품 공급망 충격을 피하는 선도 기업들의 하이브리드 완충 전략

메모리 공급 부족과 부품 단가 상승이라는 구조적 장벽 앞에서 실무 엔지니어링팀은 하드웨어를 마냥 증설하는 대신, 기술적 소프트웨어 완충 장치를 함께 배치하고 있다.

대표적인 방식이 바로 경량화 기술의 현장 적용이다. 과거에는 파라미터 수가 수천억 개에 달하는 거대 모델만이 업무를 처리할 수 있다고 믿었지만, 지금은 80억(8B), 140억(14B) 파라미터 수준의 오픈 모델을 4비트나 8비트로 양자화(Quantization)하여 일반 워크스테이션이나 에지 서버에서도 부드럽게 돌아가도록 만든다. 이를 통해 필요한 GPU 메모리 용량을 4분의 1 이하로 줄이면서도 실무 작업 정확도는 95% 이상 유지하는 성과를 거두고 있다.

또한 기업들은 특정 클라우드 벤더나 특정 하드웨어 제조사에 얽매이지 않기 위해 오픈 표준 자동 순서 제어 체계를 선제적으로 구축하고 있다. 사내 인프라에는 델과 엔비디아 기반의 고정 노드를 심어 평상시 기본 부하(Base Load)를 감당하게 하고, 연말 정산이나 대규모 이벤트처럼 요청이 일시적으로 폭증하는 피크 타임에만 퍼블릭 클라우드 인프라로 유연하게 워크로드를 넘기는 ‘클라우드 버스팅(Cloud Bursting)’ 방식이 대표적이다. 이렇게 구성하면 고가의 하드웨어를 과도하게 선구매해 놀리는 유휴 자산 낭비를 막고, 메모리 가격 급등의 파도를 지혜롭게 피해 갈 수 있다.

향후 1–2년 시장 재편 시나리오와 승자의 조건

인공지능 도입 열풍이 실험실을 벗어나 재무제표의 영업이익을 갉아먹는 현실로 다가오면서, 시장은 기술의 화려함이 아닌 ‘운영 단위당 마진을 얼마나 지켜내는가’의 싸움으로 재편되고 있다.

기존 레거시 기업이 직면할 마진 압박 시나리오

독점 모델 API에 무비판적으로 자사 서비스를 묶어둔 기업들은 심각한 마진 압박에 직면하게 된다. 사용자가 늘어날수록 매출보다 클라우드 API 사용료가 더 가파르게 증가하는 ‘역마진 함정’에 빠지기 때문이다. 더욱이 공급망 병목으로 인해 클라우드 서비스 제공업체들이 API 호출 단가를 인상하거나 할당량을 제한할 경우, 자체 인프라가 없는 기업은 가격 협상력을 완전히 잃고 서비스 수익성을 통제할 수 없게 된다.

변화하는 생태계에서 주도권을 쥘 승자의 핵심 조건 3가지

• 첫째, 워크로드 배치 최적화 능력: 들어오는 질문의 복잡도를 실무 현장에서 즉각 판별하여, 단순 작업은 직원 단말의 에지 모델로 보내고, 고난도 추론 작업만 사내 GPU 클러스터로 보내는 지능형 라우팅 시스템을 갖추어야 한다. 모든 질문을 최고 사양 모델로 보내는 낭비를 없애는 것이 비용 방어의 시작이다.
• 둘째, 하드웨어 부품 인플레이션에 대비한 선제적 자본 집행: 메모리 공급 부족률이 200%에 달할 것으로 예상되는 상황에서, 하드웨어 가격 하락을 막연히 기다리는 것은 패착이다. 자본 조달 비용과 부품 인플레이션을 면밀히 대조하여 필요한 사내 추론 장비를 한 분기 앞서 확보하는 공급망 민첩성을 확보해야 한다.
• 셋째, 모델 교체 유연성을 담보한 오픈 생태계 체질화: 특정 빅테크의 독점 API에 코드 베이스를 종속시키지 않고, 허깅페이스나 오픈소스 커뮤니티에서 검증된 경량화 모델을 자유자재로 갈아 끼울 수 있는 컨테이너 기반 파이프라인을 유지해야 한다. 가격과 성능의 균형점이 바뀔 때마다 즉시 갈아탈 수 있는 기업만이 장기적인 토큰 경제학 전쟁에서 살아남는다.