쿠버네티스 1.37, AI 학습 인프라의 기준을 바꾸다

쿠버네티스(Kubernetes) 1.37은 AI·ML 워크로드를 더 안정적이고 안전하게 운영하는 데 초점을 맞춘 업데이트입니다. 특히 메트릭 API의 정식 기능화와 루트리스 큐블릿의 베타 전환은 교육용 AI 실습 환경에서도 비용, 확장성, 보안을 함께 다뤄야 한다는 흐름을 분명히 보여줍니다.

AI를 만드는 일과 운영하는 일의 경계가 좁아집니다

쿠버네티스는 컨테이너화한 애플리케이션을 여러 서버에 배포하고 관리하는 오픈소스 플랫폼입니다. 1.37에서는 메트릭 API(Metrics API·자원 측정 인터페이스)가 정식 기능으로 제공됩니다. 이 API는 노드와 파드(Pod·쿠버네티스에서 실행되는 최소 작업 단위)의 자원 사용량을 공통 방식으로 확인하게 해줍니다.

이 변화는 수업이나 프로젝트에서 AI 모델을 배포하는 학생에게도 중요합니다. 단순히 모델이 실행되는지 확인하는 데서 끝나지 않고, 어느 시점에 CPU·메모리·GPU 사용량이 늘어나는지 관찰할 수 있기 때문입니다. 이를 바탕으로 수평 파드 자동 확장(Horizontal Pod Autoscaler·부하에 따라 실행 단위를 늘리거나 줄이는 기능)과 수직 파드 자동 확장(Vertical Pod Autoscaler·실행 단위에 배정할 자원을 조정하는 기능)을 학습할 수 있습니다.

AI 실습 환경의 비용과 대기 시간을 함께 관리합니다

AI·ML 작업은 학습이나 추론 수요가 급격히 달라질 수 있습니다. 사용자가 없을 때 실행 단위를 줄이고, 요청이 몰릴 때 다시 늘리는 방식은 클라우드 자원을 효율적으로 쓰는 기본 전략입니다. 특히 GPU처럼 비용이 큰 자원을 쓰는 프로젝트에서는 모델 성능만큼 자원 배분의 설계가 중요합니다.

1.37에는 우선순위가 높은 작업을 위해 낮은 우선순위 작업의 자원을 조정하는 작업 인지형 스케줄링 기능도 알파 단계로 포함됐습니다. 아직 실서비스에 즉시 적용할 기능은 아니지만, 앞으로는 “어떤 모델을 실행할까”와 함께 “어떤 작업을 먼저 실행할까”를 설계해야 한다는 방향을 보여줍니다.

보안도 실습의 일부가 됩니다

루트리스 큐블릿(Rootless Kubelet·관리 구성 요소를 관리자 권한 없이 실행하는 방식)은 베타 단계로 올라왔습니다. 운영체제의 사용자 네임스페이스를 활용해 핵심 구성 요소를 비관리자 권한으로 실행함으로써, 컨테이너 탈출 같은 공격이 발생했을 때 피해 범위를 줄이는 데 목적이 있습니다.

이는 학생 프로젝트에도 유효한 관점입니다. 공개 저장소의 예제 코드나 외부 이미지를 실행할 때는 편리함만 보지 말고, 최소 권한 원칙과 격리 환경을 함께 고려해야 합니다. 소프트웨어 샌드박싱(Software Sandboxing·프로그램의 접근 권한을 제한한 실행 환경) 역시 이러한 사고방식을 뒷받침합니다.

교육 현장에 남는 과제

기술 교육은 모델 사용법을 넘어 배포, 관측, 보안을 함께 가르쳐야 합니다. 학생이 생성형 AI 서비스를 만들 때도 사용량 지표를 읽고, 트래픽 변화에 대응하며, 권한을 최소화하는 경험이 필요합니다. 이런 역량은 클라우드 네이티브(Cloud Native·클라우드 환경에 맞춰 설계·운영하는 방식) 개발 직무에서 점점 기본값이 되고 있습니다.

노트북 선택도 같은 맥락에서 살펴볼 수 있습니다. 최신 기기는 성능뿐 아니라 메모리 구성, 발열, 배터리 지속 시간, 확장 가능성에 따라 실제 개발 경험이 크게 달라집니다. 따라서 학생용 장비를 고를 때는 특정 모델의 순위보다 본인이 사용할 개발 도구와 컨테이너·로컬 AI 작업의 자원 요구량을 먼저 정하는 편이 좋습니다.

학생 활용법

쿠버네티스 실습을 시작한다면 간단한 웹 API를 컨테이너로 만든 뒤, 자원 사용량을 관찰하고 자동 확장 조건을 설정해 보세요. 이후에는 외부 이미지와 비밀값을 분리하고 최소 권한으로 실행하는 과제를 추가하면, AI 서비스 운영에 필요한 감각을 함께 기를 수 있습니다.