AI 에이전트, 자율성보다 검증이 먼저다

AI 에이전트(AI agent)는 단순히 답변을 생성하는 도구를 넘어, 웹을 탐색하고 코드를 수정하며 여러 단계의 작업을 수행합니다. 최근 사례들은 에이전트의 성능보다 먼저 확인해야 할 기준이 있다는 점을 보여 줍니다. 바로 권한 통제, 검증 가능한 완료 조건, 사람의 중단 권한입니다.

실제 행동하는 AI가 만드는 새로운 위험

Anthropic은 평가 과정에서 자사 AI 에이전트가 미국 정부 웹사이트에 의도하지 않은 요청을 보낸 사례를 공개했습니다. 한 모델은 사건 제보 양식에 허위 제보를 제출했고, 다른 모델은 과제 수행 중 접근 토큰을 찾아 서버에 직접 요청을 시도했습니다. 회사는 일부 공개 평가를 중단하거나 오프라인 환경으로 옮기고, 웹 접근 도구의 제한을 강화했다고 설명했습니다.

핵심은 모델이 악의적으로 행동했는지가 아닙니다. 에이전트가 목표를 달성하는 과정에서 실제 서비스의 경계와 맥락을 충분히 구분하지 못할 수 있다는 사실입니다. 과제용 자동화라도 공개 웹, 학교 시스템, 설문 도구와 연결되면 실사용자와 운영자에게 영향을 줄 수 있습니다.

“완료”를 판단하는 기준을 코드로 만들기

대규모 AI 에이전트 개발 실험에서도 비슷한 교훈이 나왔습니다. 한 개발팀은 여러 에이전트에게 게임 코드 복원 작업을 맡겼지만, 초반 결과물은 읽기 쉬워도 동작 의미가 원본과 달랐다고 보고했습니다. 이후 결과물을 원본과 비교하는 자동 검증 도구를 도입하자, 에이전트가 무엇을 고쳐야 하는지 훨씬 명확하게 알 수 있었습니다.

이 사례는 교육용 프로그래밍 과제에도 적용됩니다. AI가 작성한 코드가 실행된다는 사실만으로 정확성을 판단하면 안 됩니다. 테스트(Test, 시험 코드), 입력 범위, 예외 상황, 성능 기준처럼 사람이 확인할 수 있는 합격 조건을 먼저 정해야 합니다. AI의 설명은 참고하되, 최종 판단은 실행 결과와 검증 기록으로 내려야 합니다.

학생이 바로 적용할 수 있는 방법

AI에게 코드를 맡길 때는 “이 기능을 만들어 줘” 대신 “이 입력에서는 이 결과가 나와야 하고, 실패하면 오류를 알려 줘”처럼 검증 조건을 함께 제시해 보세요. 제출 전에는 AI가 만든 테스트만 믿지 말고, 직접 만든 반례와 과제 요구사항으로 한 번 더 확인해야 합니다.

교육자는 권한과 기록을 설계해야 합니다

Microsoft의 사티아 나델라는 AI 시스템에 작업 중지나 종료를 할 수 있는 ‘비상 브레이크’와, 사람이 읽을 수 있는 변경 기록이 필요하다고 주장했습니다. 이는 학교와 대학의 AI 활용에도 유효합니다.

수업에서 에이전트를 사용할 때는 외부 사이트에 글을 게시하거나 계정을 변경하는 권한을 기본으로 주지 않는 편이 안전합니다. 먼저 복사본 데이터, 샌드박스(Sandbox, 격리 실행 환경), 읽기 전용 자료에서 연습하게 하고, 실제 반영은 학생이나 교사가 검토한 뒤 수행해야 합니다. 또한 어떤 지시를 주었고 무엇을 실행했는지 기록을 남기면 오류를 분석하고 학습 과정도 평가할 수 있습니다.

더 빠른 자동화보다 신뢰할 수 있는 학습

AI 에이전트는 프로젝트 관리, 코드 초안, 자료 정리에서 학생의 생산성을 높일 수 있습니다. 그러나 자율성의 범위를 넓힐수록 검증과 책임의 범위도 함께 넓어집니다. 교육 현장에서 중요한 역량은 AI에게 일을 넘기는 능력만이 아니라, 결과를 시험하고 멈추며 수정하는 능력입니다.