엔비디아 네모트론 3.5 슈퍼 VL의 아마존 세이지메이커 입점: 120B 체급을 12B 비용으로 굴리는 비전 언어 모델

엔비디아와 AWS가 던진 시각 AI 승부수: 120억 개 활성 파라미터로 1200억 개 체급을 내는 MoE 아키텍처

기업 현장에서 인공지능에 눈을 달아주는 멀티모달 모델은 언제나 막대한 비용이라는 벽에 부딪혀 왔다. 사내 수만 장의 계약서 PDF를 읽히거나, 몇 시간짜리 물류창고 폐쇄회로(CCTV) 영상을 분석하고, 복잡한 전사적 자원관리(ERP) 화면을 스스로 조작하는 인공지능 에이전트를 만들려면 지금까지는 두 가지 극단적인 선택지밖에 없었다. 값비싼 빅테크의 독점 API를 호출하며 매달 눈덩이처럼 불어나는 클라우드 청구서를 감당하거나, 오픈소스 비전 모델을 직접 구축하려다 부족한 문맥 기억 용량과 느린 추론 속도 때문에 개발을 포기하는 길이었다.

엔비디아가 공개하고 아마존웹서비스(AWS)가 세이지메이커 점프스타트(Amazon SageMaker JumpStart)를 통해 즉각 배포를 시작한 ‘네모트론 3.5 슈퍼 VL(Nemotron 3.5 Super VL)‘은 이 고질적인 비용과 성능의 줄다리기를 기술 아키텍처로 정면 돌파한 모델이다. 이 모델은 이미지, 비디오, 텍스트를 동시에 받아들여 고도의 추론 텍스트를 뽑아내는 시각 언어 모델(Vision-Language Model)이다.

핵심 뼈대는 1,200억 개(120B)의 방대한 전체 매개변수를 갖추고 있으면서도, 실제 질문 하나를 처리할 때는 질문 성격에 맞는 전문가 두뇌만 콕 집어 깨우는 하이브리드 전문가 혼합(Mixture-of-Experts, MoE) 방식을 채택했다는 점이다. 실제로 한 번의 연산에 동원되는 활성 매개변수는 전체의 10분의 1 수준인 120억 개(12B)에 불과하다. 덩치는 헤비급 챔피언인데, 밥은 플라이급 선수만큼만 먹는 셈이다.

여기에 엔비디아는 긴 글이나 영상을 읽을 때 모델이 길을 잃지 않도록 문맥 창(Context Window)을 최대 100만 토큰까지 늘렸다. 단행본 책 수십 권, 혹은 몇 시간 분량의 고화질 비디오를 통째로 입력창에 집어넣어도 앞뒤 맥락을 놓치지 않고 꿰뚫어 본다는 뜻이다. 또한 다음 단어를 하나씩 띄엄띄엄 예측하던 기존 방식에서 벗어나 여러 단어를 한 번에 미리 내다보고 찍어내는 복수 토큰 예측(Multi-Token Prediction, MTP) 기술을 탑재해 텍스트 생성 속도를 끌어올렸다.

학습 과정 역시 기업 실무에 철저히 맞춰졌다. 표, 차트, 그래픽 사용자 화면(GUI), 계약서 등 기업 실무 데이터에 대한 지도 학습(SFT)을 거친 뒤, 최근 오픈AI o1 계열에서 주목받은 집단 상대 정책 최적화(GRPO) 강화학습을 거쳤다. 그 결과 사람이 시키지 않아도 알아서 정형화된 JSON 데이터를 칼같이 뽑아내고, 외부 데이터베이스나 업무용 소프트웨어를 스스로 호출하는 도구 연동 능력을 갖췄다.

120B 모델을 12B 비용으로 구동하는 팩트 지표: NVFP4와 100만 토큰 스펙 비교

이번 출시에서 인프라 엔지니어들이 가장 주목하는 부분은 AWS가 제공하는 배포 옵션이다. 엔비디아와 AWS는 네모트론 3.5 슈퍼 VL을 두 가지 명확한 형태로 나누어 세이지메이커 점프스타트에 올렸다.

첫 번째는 최신 블랙웰(Blackwell) 아키텍처 기반의 ‘엔비디아 RTX PRO 4500 서버 에디션’이 탑재된 G7 인스턴스 전용 NVFP4(4비트 부동소수점) 양자화 모델이다. 과거 1,000억 개가 넘는 모델을 띄우려면 고가의 80GB VRAM GPU 4–8장을 묶어야 했지만, 정밀도를 4비트로 압축하면서 메모리 대역폭 병목을 완전히 없앴다.

두 번째는 기업 고유의 사내 데이터로 추가 학습(파인튜닝)이나 증류(Distillation)를 진행하려는 연구팀을 위한 ml.p5en.48xlarge 인스턴스 전용 BF16 원본 가중치 버전이다.

비교 항목	네모트론 3.5 슈퍼 VL (G7 / NVFP4)	기존 단일 밀집형 VLM (예: 70B FP16)	상용 클라우드 독점 시각 API
전체 / 활성 파라미터	120B 전체 / 12B 활성 (MoE)	70B 전체 / 70B 활성 (Dense)	비공개 (초거대 밀집형 추정)
최대 지원 문맥	1,000,000 토큰	8,000 – 128,000 토큰	128,000 – 1,000,000 토큰
추론 메모리 점유(추정)	약 70–80GB (4비트 압축)	160GB 이상 (최소 GPU 2–4장)	서버리스 관리형 (GPU 불필요)
추론 가속 기술	MTP 헤드 (복수 토큰 투기적 디코딩)	일반 자동회귀 디코딩 (단일 토큰)	공급사 자체 가속기 적용
학습 및 정렬 방식	멀티모달 SFT + GRPO 강화학습	일반 SFT + DPO/RLHF	비공개 인간 피드백 강화학습
사내 데이터 파인튜닝	가능 (BF16 점프스타트 제공)	가능	불가능 또는 제한적 가중치 튜닝
데이터 외부 유출 위험	완전 격리 (고객사 AWS VPC 내부)	완전 격리 (사내 인프라)	API 호출사 서버로 전송

위의 비교에서 보듯, 네모트론 3.5 슈퍼 VL은 단일 밀집형(Dense) 70B 모델보다 훨씬 거대한 지식 기반을 가지면서도, 실제 추론 시 필요한 연산량은 12B 경량 모델 수준으로 억제한다.

기업 워크플로와 클라우드 청구서에 미치는 3대 실무 파급 효과

이번 모델의 등장은 단순히 기술적인 숫자의 개선에 머물지 않는다. 데이터 분석팀, 인프라 운영팀, 사업 부서가 매일 마주하는 클라우드 비용과 시스템 지연 시간, 그리고 실제 업무 자동화의 안정성에 즉각적인 영향을 미친다.

클라우드 추론 연산 비용: 4비트 양자화와 MoE가 깎아내는 GPU 지출

비전 언어 모델을 사내 시스템에 붙일 때 가장 발목을 잡는 것은 지속적인 서버 비용이다. 이미지를 인코딩하고 텍스트로 풀어내는 과정은 일반적인 텍스트 모델보다 3–5배 이상의 연산량을 잡아먹는다.

네모트론 3.5 슈퍼 VL은 NVFP4 양자화를 통해 가중치 크기를 대폭 줄였다. 기존에 1,000억 개급 모델을 올리려면 시간당 수십 달러에 달하는 고성능 GPU 묶음 인스턴스를 상시 켜두어야 했지만, 차세대 G7 인스턴스 한 대 수준에서 넉넉하게 돌아간다. 비즈니스 현장에서 하루 수만 장의 영수증, 발주서, 도면을 읽어 들이는 백오피스 자동화 파이프라인을 가동할 때, 인프라 비용을 기존 밀집형 모델 대비 절반 이하로 떨어뜨릴 수 있는 구조적 바탕이 마련되었다.

지연 시간과 응답 속도: 100만 토큰 문서 처리와 복수 토큰 예측

실시간 고객 대응 챗봇이나 직원의 화면을 보며 작업을 보조하는 에이전트는 응답 속도가 생명이다. 질문을 던지고 5초 이상 기다려야 한다면 현업 실무진은 그 기능을 외면한다.

네모트론 3.5 슈퍼 VL에 내장된 복수 토큰 예측(MTP) 헤드는 투기적 디코딩(Speculative Decoding) 기법을 모델 자체에 심어놓은 형태다. 모델이 한 번에 단어 하나만 계산하고 쉬는 것이 아니라, 문맥 흐름상 뒤따라올 2–3개 단어를 동시에 확정 짓는다. 그 결과 텍스트가 화면에 찍혀 나오는 체감 속도가 2배 이상 빨라진다. 여기에 100만 토큰 입력창이 결합하면서, 이전처럼 100쪽짜리 기술 문서를 잘게 쪼개어 검색하는 복잡한 검색 증강 생성(RAG) 파이프라인 없이도 원본 파일 전체를 그대로 올려 즉각적인 답변을 뽑아낼 수 있다.

에이전트 시스템 안정성: GRPO 강화학습 기반의 정형 JSON 및 도구 호출

인공지능 모델을 소프트웨어와 연결할 때 개발자를 가장 괴롭히는 문제는 환각(Hallucination)과 형식 오류다. 데이터베이스에 넣어야 할 결과물을 달라고 했더니 줄글로 풀어서 답하거나, JSON 괄호를 닫지 않아 시스템 전체가 멈추는 식이다.

이 모델은 사후 학습 단계에서 대규모 GUI 조작 화면과 문서, 차트 데이터를 학습하고 GRPO 강화학습을 거쳤다. 요청마다 사용자가 원하는 추론 강도를 조절할 수 있으며, 시스템이 요구하는 규격화된 JSON 출력과 도구 호출(Tool Calling)을 정밀하게 유지한다. 복잡한 전사 화면에서 특정 버튼의 좌표를 찾거나, 웹 브라우저를 직접 띄워 정보를 수집하는 멀티모달 자율 에이전트 시스템의 오류율을 획기적으로 낮춘다.

독점 클라우드 종속을 막는 대체재 지형과 오픈 인프라 운영 전략

네모트론 3.5 슈퍼 VL이 세이지메이커 점프스타트에 들어왔다는 것은 기업들에게 매우 중요한 전략적 의미를 가진다. 특정 폐쇄형 AI 기업의 API에 데이터와 서비스 운명을 전적으로 맡기는 ‘벤더 종속(Lock-in)’ 위험에서 벗어날 수 있기 때문이다.

현재 글로벌 시장에서는 자체 서버나 유연한 클라우드 GPU 자원을 직접 대여해 오픈소스 가중치 모델을 돌리려는 수요가 급증하고 있다. 예를 들어 유연한 컨테이너 기반 추론을 구성할 때는 Together AI 같은 전문 분산 추론 환경을 통해 오픈 가중치 모델의 토큰당 비용을 통제하거나, 사내 보안 규정에 맞춰 AWS 세이지메이커 내부 VPC 안에 모델을 가두는 방식이 팽팽히 맞서고 있다.

이번 네모트론 모델은 BF16 참조 가중치까지 온전히 제공하므로, 기업은 AWS 안에서 세이지메이커로 쓰다가 필요하면 언제든 온프레미스 데이터센터나 다른 GPU 클라우드로 가중치를 들고 이전할 수 있다. 인프라 운영팀 입장에서는 특정 클라우드 플랫폼에 발목 잡히지 않고 언제든 주도권을 쥘 수 있는 완충벽을 확보한 셈이다.

엔비디아 네모트론 3.5 슈퍼 VL 도입 판정: 즉시 도입 vs 관망 보류 기준

엔터프라이즈 아키텍트와 최고기술책임자(CTO)는 이번 모델을 우리 회사 시스템에 지금 당장 도입해야 할지, 아니면 조금 더 지켜봐야 할지 명확한 판단 기준을 세워야 한다.

지금 즉시 도입해야 할 기업 (Fit 조건 3가지)

• 보안 컴플라이언스 때문에 외부 상용 API를 쓸 수 없는 금융·공공·제조 기업:
  고객의 신분증 이미지, 계약서, 회로 도면, 공장 공정 비디오 등 민감한 자산을 외부 API 제공업체 서버로 쏠 수 없는 조직이다. 세이지메이커 점프스타트는 모든 연산이 고객의 가상 사설망(VPC) 안에서 완결되므로 데이터 유출 위험을 원천 차단한다.
• 수천 장의 문서를 다루며 복잡한 RAG 파이프라인 유지보수에 지친 엔지니어링 팀:
  문서를 쪼개고 임베딩 벡터로 변환하는 청킹(Chunking) 과정에서 맥락이 깨져 고통받던 팀이라면, 100만 토큰 창을 지원하는 네모트론 3.5 슈퍼 VL을 통해 원본 문서를 통째로 컨텍스트에 밀어 넣는 방식으로 아키텍처를 단순화할 수 있다.
• 웹 화면이나 업무 소프트웨어를 조작하는 컴퓨터 사용 에이전트를 개발 중인 팀:
  GUI 이해도와 도구 호출에 특화되어 사후 학습된 모델이므로, 화면의 버튼 위치를 파악하고 다음 동작을 정형화된 JSON 코드로 생성해야 하는 업무 자동화 에이전트 시스템에 최적의 성능을 낸다.

도입을 보류하고 지켜봐야 할 기업 (Non-Fit 리스크 3가지)

• 하루 시각 데이터 처리량이 수십에서 수백 건에 불과한 소규모 서비스:
  세이지메이커 인스턴스를 상시 띄워두는 비용은 아무리 G7이나 4비트 양자화를 적용하더라도 매달 수백 달러 이상의 고정비가 발생한다. 트래픽이 간헐적인 서비스는 요청 건당 과금되는 서버리스 형태의 상용 API를 쓰는 편이 훨씬 경제적이다.
• 블랙웰 G7 인스턴스 할당량을 확보하지 못한 AWS 계정:
  NVFP4의 진정한 성능과 비용 절감 혜택을 누리려면 블랙웰 아키텍처 인스턴스 배정이 필수적이다. 현재 소속된 AWS 리전이나 계정의 G7 서비스 할당량이 묶여 있는 상태라면, 무리하게 구형 P4/P5 인스턴스에 BF16 모델을 올려 과도한 비용을 낭비하지 말고 쿼터 확보를 먼저 확인해야 한다.
• 사내에 멀티모달 프롬프트 엔지니어링 및 강화학습 파인튜닝 경험이 전무한 조직:
  이 모델의 진가는 요청별 추론 강도 조절과 GRPO 기반의 정밀 도구 연동에 있다. 모델이 내뱉는 원시 출력을 사내 워크플로에 연결할 백엔드 개발 역량이 없다면, 단순 질의응답 이상의 가치를 뽑아내기 어렵다.