32GB 노트북에서 80B AI를 돌리는 방법

Janas-LLM은 메모리보다 큰 대규모 언어 모델(LLM, Large Language Model)을 일반 노트북에서 실행하려는 실험적 도구입니다. 필요한 전문가 가중치만 NVMe SSD에서 읽어 오는 방식으로, 32GB 메모리 환경에서도 48.4GB 크기의 Qwen3-Next-80B-A3B 모델을 구동했다고 공개했습니다.

메모리가 부족해도 큰 모델을 실행하는 방식

대규모 모델은 보통 모델 파일 전체를 메모리나 그래픽 메모리(VRAM, Video Random Access Memory)에 올려야 하므로 개인용 PC에서 실행하기 어렵습니다. Janas-LLM은 혼합 전문가 모델(MoE, Mixture of Experts)의 특성을 활용합니다. 입력 토큰마다 실제로 필요한 일부 전문가만 SSD에서 불러오고, 자주 쓰이는 전문가는 메모리에 남겨 두는 구조입니다.

공개된 동일 노트북 비교에서 Qwen3-Next-80B-A3B의 응답 생성 속도는 초당 24토큰으로 제시됐습니다. 같은 조건의 비교 대상인 llama.cpp는 초당 2.8토큰이었습니다. 다만 이 수치는 하나의 특정 노트북, 특정 SSD와 내장 GPU 환경에서 측정한 결과입니다. 다른 CPU·GPU·디스크에서는 속도와 안정성이 달라질 수 있습니다.

교육 현장에 주는 변화

이 접근이 성숙하면 대학 수업과 개인 연구에서 ‘모델 크기 때문에 클라우드를 써야만 하는’ 상황을 일부 줄일 수 있습니다. 학생은 민감한 과제 초안, 연구 노트, 코드 등을 외부 서비스에 전송하지 않고 로컬에서 요약·질의·코드 보조를 실험할 여지를 얻습니다. 교육자는 네트워크 연결이나 API 사용량에 덜 의존하는 실습 환경을 설계할 수 있습니다.

반대로 이것이 곧바로 저비용 AI 환경을 뜻하지는 않습니다. SSD 성능, 메모리 여유, 발열, 전력 사용량이 모두 경험을 좌우합니다. Janas 프로젝트도 초기 개발 단계이며, 시스템 메모리를 크게 사용하거나 GPU 드라이버 문제가 발생할 수 있다고 밝힙니다. 강의실 공용 PC나 중요한 작업용 기기에서는 검증되지 않은 실행 도구를 바로 적용하기보다 별도 실험 환경에서 테스트해야 합니다.

VRAM 경쟁과 로컬 AI의 현실

로컬 AI 실행에서는 그래픽 카드의 VRAM도 중요한 기준입니다. RTX 5080의 24GB 모델 출시 가능성이 보도된 것은, 소비자용 GPU에서도 대형 모델 추론 수요가 커지고 있음을 보여 주는 신호입니다. 다만 해당 제품 정보는 공식 발표 전 소문이므로 구매 판단의 근거로 삼아서는 안 됩니다.

SSD 스트리밍은 VRAM을 완전히 대체하는 기술이라기보다, 제한된 장비에서 선택지를 늘리는 방법에 가깝습니다. 빠른 응답과 안정적인 긴 문맥 처리가 필요하면 충분한 VRAM이 여전히 유리하고, 큰 모델을 제한된 장비에서 탐색하려면 저장장치 중심 방식이 대안이 될 수 있습니다.

학생 활용법

학생이라면 먼저 작은 공개 모델로 로컬 실행과 벤치마크 측정을 경험해 보며 메모리·VRAM·토큰 속도의 관계를 비교해 보세요. 이후 개인 자료를 다루는 요약 또는 코드 읽기 과제에 적용하되, 결과의 사실성 검증과 원문 확인은 반드시 직접 수행해야 합니다.