로컬 AI 시대, 교실의 컴퓨터가 달라진다

Perplexity는 사용자의 컴퓨터에서 파일 분석과 보고서 작성을 수행하는 로컬 AI 에이전트를 공개했습니다. Apple도 M6와 M5 Ultra의 온디바이스 AI(On-device AI·기기 내부에서 실행하는 인공지능) 성능을 강화했습니다. AI 연산의 무게중심이 클라우드에서 개인용 컴퓨터로 이동하고 있습니다.

클라우드를 거치지 않는 AI 에이전트

Perplexity와 Nvidia가 선보인 Portable Computer는 모델과 사용자 파일, 도구 실행 환경을 로컬 기기에 묶은 AI 에이전트입니다. Linux와 24GB 이상의 VRAM(그래픽 메모리)을 갖춘 Nvidia RTX GPU가 초기 지원 대상입니다. Qwen 계열의 270억 매개변수 모델을 이용해 문서 검토, 데이터 분석, 보고서 작성 같은 여러 단계의 작업을 기기 안에서 처리합니다.

Local-first(로컬 우선) 구조에서는 작업이 기본적으로 사용자 기기에서 시작됩니다. 로컬 모델의 능력이 부족해 클라우드 모델의 조언이 필요할 때는 사용자의 허락을 구하고, 외부로 전송될 내용을 보여주는 방식입니다. 학생의 과제 초안이나 연구 자료, 학교가 보관하는 상담 기록처럼 외부 전송에 민감한 데이터를 다룰 때 유용한 설계입니다.

다만 회사가 공개한 성능 수치는 자체 평가라는 점을 고려해야 합니다. 동일한 Qwen 모델을 사용한 내부 지식 작업 평가에서 Perplexity의 시스템은 82.6%를 기록했고, 비교 대상인 Pi와 Hermes는 각각 77.6%, 74.0%였습니다. 모델 크기만으로 결과가 정해지는 것이 아니라 Agent harness(에이전트 실행 체계·모델에 프롬프트와 도구, 작업 절차를 연결하는 소프트웨어)의 설계도 성능에 영향을 준다는 뜻입니다.

Apple 칩도 로컬 AI를 향한다

Apple의 M6는 2nm(나노미터) 공정과 두 개의 16코어 Neural Engine(신경망 연산 장치)을 채택했습니다. 12코어 CPU와 12코어 GPU를 갖추고, GPU 코어마다 AI 연산을 돕는 가속기가 들어갑니다. 최대 32GB Unified Memory(통합 메모리)와 초당 170GB의 메모리 대역폭도 지원합니다.

새 Mac mini는 M6 또는 M5 Pro를 선택할 수 있으며, Apple은 M6 모델의 AI 작업 성능이 비교 기준으로 제시한 M4 모델보다 최대 4배 빠르다고 설명합니다. 그러나 이는 제조사가 제시한 특정 조건의 결과이므로 실제 수업용 프로그램과 로컬 LLM(대규모 언어 모델)에서 같은 차이가 나는지는 독립적인 검증이 필요합니다.

상위 제품용 M5 Ultra는 최대 512GB 통합 메모리와 초당 1.2TB의 메모리 대역폭을 제공합니다. 수백억 개를 넘어 수천억 개의 매개변수를 가진 모델이나 대규모 데이터셋을 기기 안에 올릴 수 있는 방향입니다. 이는 대학 연구실이 일부 AI 실험을 외부 API(Application Programming Interface·응용 프로그램 인터페이스) 없이 수행할 가능성을 넓힙니다.

교육 현장에 생기는 세 가지 변화

개인정보 보호가 쉬워집니다

자료가 기기 밖으로 나가지 않으면 학생 정보와 미공개 연구 데이터를 다루는 위험을 줄일 수 있습니다. 다만 로컬 실행 자체가 안전을 보장하지는 않습니다. 학교는 파일 접근 권한, 도구 실행 범위, 외부 연결 기록을 함께 관리해야 합니다.

반복 작업의 비용 구조가 바뀝니다

클라우드 AI는 입력과 출력 토큰 사용량에 따라 비용이 늘어날 수 있습니다. 로컬 AI는 하드웨어를 구입한 뒤 반복 추론의 추가 비용을 낮출 수 있어 장시간 문헌 분류나 데이터 정제에 적합합니다. 반대로 전기료, 장비 관리, 초기 구매비까지 포함한 총비용을 비교해야 합니다.

새로운 디지털 격차가 생길 수 있습니다

Portable Computer의 24GB VRAM 기준이나 고용량 통합 메모리를 갖춘 Mac은 모든 학생이 접근하기 어려운 장비입니다. 학교가 로컬 AI를 수업에 도입한다면 개인 장비 소유를 전제로 하기보다 공동 실습실, 예약형 워크스테이션, 제한적인 클라우드 지원을 함께 설계해야 합니다.

학생은 어떻게 활용할 수 있나

학생은 공개 자료나 개인정보를 제거한 문서로 로컬 모델의 요약 정확도와 처리 시간을 먼저 시험해 볼 수 있습니다. 같은 과제를 로컬 모델과 클라우드 모델에 수행하게 한 뒤 출처 정확성, 비용, 개인정보 전송 범위를 비교하면 AI 시스템을 평가하는 실습이 됩니다.

결국 중요한 변화는 컴퓨터의 속도만이 아닙니다. 앞으로 AI 학습 환경을 선택할 때는 모델 성능과 함께 데이터가 머무는 장소, 하드웨어 접근성, 운영 비용을 동시에 따져야 합니다.