NVIDIA Cosmos 3 출시: 로봇이 현실 세계를 미리 학습하는 법

NVIDIA GTC Taipei의 핵심 발표: Cosmos 3

2026년 6월 1일, NVIDIA는 대만 컴퓨텍스(COMPUTEX)와 연계된 GTC Taipei 키노트에서 Cosmos 3를 공식 발표했습니다. Cosmos 3는 로봇, 자율주행차(AV), 스마트 팩토리 같은 물리 AI(Physical AI) 시스템이 실제 세계를 이해하고, 미래 상황을 예측하며, 행동 데이터를 생성할 수 있도록 설계된 **세계 기반 모델(World Foundation Model)**입니다.

기존 AI 모델이 텍스트·이미지 이해에 집중했다면, Cosmos 3는 텍스트·영상·이미지·환경음·행동 데이터를 하나의 모델에서 처리하는 옴니모델(Omnimodel) 구조를 채택했습니다. 특히 로봇 관절 각도, 그리퍼 위치, 이동 경로 같은 액션 데이터를 직접 생성할 수 있다는 점이 기존 비전-언어 모델과의 결정적 차이입니다.

왜 '세계 모델'이 필요한가

현실 데이터 수집의 한계

로봇을 학습시키려면 수만 가지 상황에서의 행동 데이터가 필요합니다. 그런데 창고 로봇이 처음 보는 물체 배치를 만나거나, 자율주행차가 보행자가 주차 차량 사이에서 갑자기 튀어나오는 상황을 매번 실제로 재현해 데이터를 수집하는 것은 느리고, 비용이 크며, 위험합니다.

Cosmos 3는 이 문제를 합성 데이터(Synthetic Data) 생성으로 해결합니다. 모델이 물리 법칙을 이해한 상태에서 다양한 시나리오를 생성하면, 개발자는 현실에서 재현하기 어려운 충돌, 이상 상황, 희귀 엣지 케이스의 훈련 데이터를 대규모로 확보할 수 있습니다.

MoT 아키텍처: 먼저 추론하고 그 다음 생성

Cosmos 3는 혼합 트랜스포머(MoT, Mixture-of-Transformers) 구조를 사용합니다. 추론 블록이 먼저 장면에서 무슨 일이 일어나고 있는지 해석한 뒤, 생성 블록이 그 맥락을 바탕으로 물리적으로 타당한 출력물을 만들어 냅니다. 단순히 그럴듯한 영상을 생성하는 것이 아니라, 물리 법칙을 내재화한 상태로 "다음에 무슨 일이 일어날지"를 예측하는 것이 핵심입니다.

실제 적용 사례

• Agile Robots: 산업용 휴머노이드 로봇 Thor 3의 정책 훈련에 Cosmos 3를 활용해 다양한 작업 궤적 데이터를 대규모로 생성
• Linker Vision: 스마트시티 수천 개 카메라 스트림을 실시간 분석해 이상 상황 감지 및 근본 원인 분석에 적용
• Foxconn & Pegatron: NVIDIA Factory Operations Blueprint(FOX)와 결합해 공장 불량 이미지 합성 데이터 생성, 시각 검사 AI 배포 시간을 최대 67% 단축

Cosmos 3는 스마트 인프라 장면 이해 벤치마크인 VANTAGE-Bench와 교통 이상 추론 TAR Challenge에서 오픈 비전-언어 모델 중 1위를 기록했습니다.

글로벌 AI 클라우드 생태계 확장과의 연결

Cosmos 3 발표와 동시에 NVIDIA는 AI 클라우드 생태계의 글로벌 확장도 함께 발표했습니다. CoreWeave, Nebius 등 주요 파트너가 Cosmos 3를 로보틱스 데이터 플라이휠 가속에 활용하고 있으며, 아프리카(Cassava), 남미(Claro)를 포함한 6대륙으로 NVIDIA AI 클라우드 인프라가 확대되었습니다. 이는 이전에는 특정 국가·기관만 접근할 수 있었던 대규모 AI 컴퓨팅 자원이 더 많은 지역의 개발자와 연구자에게 열리고 있음을 의미합니다.

교육 분야 시사점

물리 AI는 다음 커리어 프런티어

텍스트 기반 생성 AI 시장이 빠르게 성숙하면서, 로보틱스·자율시스템·스마트 팩토리로 대표되는 물리 AI 분야가 차세대 고성장 영역으로 부상하고 있습니다. Cosmos 3는 로봇공학 입문 장벽을 낮추는 도구입니다. 고가의 물리 로봇 없이도 시뮬레이션 환경에서 모델을 학습시키고 평가해 볼 수 있기 때문입니다.

로봇공학, 컴퓨터비전, 자율주행에 관심 있는 학생이라면 Cosmos 3가 새로운 포트폴리오 소재가 될 수 있습니다.

오픈 라이선스로 학습 장벽 최소화

Cosmos 3는 Linux Foundation의 OpenMDW 1.1 라이선스로 공개됩니다. 모델 가중치, 아키텍처, 문서, 데이터셋, 벤치마크, 코드를 단일 라이선스로 사용할 수 있어 학술 및 비상업적 연구에 활용하기 용이합니다.

학생 활용 가이드

Hugging Face(nvidia/cosmos3 컬렉션)에서 모델을 직접 내려받고, GitHub의 NVIDIA Cosmos 저장소에서 합성 데이터 생성 튜토리얼을 따라 해볼 수 있습니다. NVIDIA Build(build.nvidia.com)에서는 별도 GPU 없이 브라우저로 Cosmos 3를 테스트해볼 수 있어 초급자도 바로 시작할 수 있습니다.