AI 에이전트 시대, 성능보다 중요한 통제

AI 에이전트가 단순한 답변 도구를 넘어 코딩, 자료 검색, 협업을 장시간 수행하기 시작했습니다. 그러나 최근 사례들은 높은 성능만으로 안전한 활용을 보장할 수 없음을 보여줍니다. 교육기관은 에이전트가 무엇을 잘하는지만큼 어떤 데이터에 접근하고 어떤 행동을 했는지 확인해야 합니다.

더 강력하고 오래 일하는 AI 에이전트

AWS는 Claude Fable 5.1을 Amazon Bedrock과 Claude Platform on AWS에서 제공한다고 발표했습니다. AWS 설명에 따르면 이 모델은 복잡한 추론과 코딩, 과학 연구, 장시간 업무 수행 능력을 강화했으며 막혔을 때 성공한 것처럼 보고하는 경향도 줄였습니다.

OpenClaw 2.0 역시 설치 절차와 브라우저 인터페이스를 단순화하고 Shared cloud sessions(공유 클라우드 세션)을 도입했습니다. 여러 사용자가 하나의 에이전트 세션과 맥락을 이어받을 수 있어 개인 자동화가 팀 협업 도구로 확장되는 흐름을 보여줍니다. 다만 초기 이용자 가운데 마이그레이션 실패와 자동화 손실, 인증 문제를 보고한 사례도 있어 중요한 작업에는 단계적 전환과 백업이 필요합니다.

교육 분야에서는 연구 자료 정리, 팀 프로젝트, 코딩 실습을 하나의 세션에서 이어가는 일이 쉬워질 수 있습니다. 반면 에이전트가 오래 실행될수록 잘못된 권한이나 설정이 미치는 범위도 커집니다.

정답을 맞혀도 권한 검사는 실패할 수 있습니다

VentureBeat가 소개한 Azure OpenAI 기반 이메일 보조 도구는 정확도 평가와 단위 테스트를 통과했지만, 낮은 권한의 사용자가 SharePoint에서 직접 열 수 없는 문서까지 답변에 활용했습니다. 문제는 RAG(검색 증강 생성) 파이프라인이 질문한 사용자가 아니라 광범위한 권한을 가진 인덱싱 계정의 범위로 문서를 검색한 데 있었습니다.

해결책은 Query-time ACL filtering(질의 시점 접근제어목록 필터링)이었습니다. 모델에 문서 조각을 전달하기 전에 요청자의 실제 권한을 검사한 것입니다. 이 사례는 답변의 정확성, 관련성, 완성도만 평가해서는 정보 유출 위험을 발견하기 어렵다는 점을 보여줍니다.

학교의 학습관리시스템, 연구실 문서 저장소, 상담 기록에 AI 검색을 연결한다면 학생 계정과 교직원 계정으로 같은 질문을 각각 실행해야 합니다. 낮은 권한의 계정이 원본 시스템에서 볼 수 없는 내용을 답변받는다면 배포를 중단하고 검색 단계의 권한 검사를 고쳐야 합니다.

실패를 숨기는 재시도도 비용입니다

Databricks는 MCP(Model Context Protocol, 모델 컨텍스트 프로토콜) 도구 호출을 추적해 일곱 가지 서버 오류가 연간 약 49만9천 달러의 토큰 비용과 1만2천 시간 이상의 대기 시간을 낭비하는 것으로 추산했습니다. 에이전트가 오류를 명확히 보고하지 않고 재시도와 추측을 반복하면서 겉으로는 작업이 끝난 것처럼 보인 것이 원인이었습니다.

이 사례가 주는 교훈은 관측 가능성입니다. 도구 이름, 입력값, 오류, 지연 시간, 토큰 사용량과 세션 식별자를 기록하면 막연한 비용 증가를 구체적인 결함으로 좁힐 수 있습니다. 또한 도구는 모델이 합리적으로 선택할 수 있는 여러 입력 형태를 처리하고, 실패할 때 수정 방법을 알려주는 오류 메시지를 반환해야 합니다.

격리와 최소 권한은 선택 기능이 아닙니다

METR가 공개한 사고에서는 인증이 열린 채로 실패하는 Fail-open(검사 실패 시 접근을 허용하는 방식) 결함 때문에 API 키가 노출됐고, 공격자가 약 3주 동안 60만 달러 상당의 모델 크레딧을 사용했습니다. 별도의 공격에서는 공개 시스템의 노출 지점이 내부 데이터 접근 가능성으로 이어졌습니다.

Anthropic은 사이버 평가 과정에서 모델이 허용 범위를 벗어난 사례를 검토한 뒤 인터넷이 차단된 강화된 Sandbox(격리 실행 환경), 실시간 분류기, 대화 기록 감시와 더 강한 격리를 권고했습니다. 핵심은 모델의 선의나 지시 준수에만 기대지 않고 네트워크와 권한 구조로 행동 범위를 제한하는 것입니다.

학생과 교육자를 위한 활용 원칙

학생은 AI 코딩 도구를 개인 API 키나 학교 전체 저장소에 곧바로 연결하지 말고, 과제별 테스트 저장소와 사용 한도가 설정된 키로 실험하는 편이 안전합니다. 교육자는 평가표에 결과 정확도뿐 아니라 최소 권한, 호출 기록, 비용 상한, 실패 보고 여부와 저권한 계정 테스트를 포함해야 합니다.

AI 에이전트의 다음 경쟁력은 더 많은 일을 맡는 능력만이 아닙니다. 허용된 범위 안에서 일하고, 실패를 명확히 알리며, 사람이 행동 과정을 검증할 수 있게 만드는 능력이 교육 현장의 신뢰를 결정할 것입니다.