AI 에이전트 시대, 검증 역량이 핵심입니다

AWS가 여러 코딩 에이전트를 비동기로 운영하는 오픈소스 시스템 Kiro Crew를 공개했습니다. 그러나 최근의 대규모 개발 자료 노출과 잘못된 AI 법률 조언 사례는 분명한 교훈을 줍니다. AI가 더 많은 일을 맡을수록 사람의 검증 능력과 보안 책임은 더욱 중요해집니다.

코딩 AI는 대화 도구에서 작업 시스템으로

Kiro Crew는 여러 Coding Agent(코딩 작업을 수행하는 AI 에이전트)가 세션을 넘어 업무를 이어가도록 설계됐습니다. 공유 메모리, 재사용 가능한 Skill(반복 업무 지침), 예약 작업, 동시 실행, MCP(Model Context Protocol·AI와 외부 도구를 연결하는 표준)를 지원합니다. 개발자는 장애 조사나 티켓 분류, 마이그레이션, PR 모니터링 같은 일을 맡긴 뒤 결과를 나중에 검토할 수 있습니다.

이는 프로그래밍 교육에도 변화를 예고합니다. 학생의 경쟁력은 코드를 얼마나 빨리 직접 입력하는지가 아니라, 문제를 적절히 나누고 에이전트의 작업 범위를 정하며 결과를 검증하는 능력으로 이동합니다. 여러 에이전트를 쓰면 작업 속도는 높아질 수 있지만, 잘못된 전제가 동시에 확산되거나 토큰 비용이 빠르게 증가할 수도 있습니다.

학생 활용법

작은 프로젝트에서 문서 작성, 테스트 설계, 오류 원인 조사처럼 서로 독립적인 업무를 나눠 맡겨 보세요. 각 에이전트의 계획과 도구 호출, 변경 결과를 직접 검토하고 승인 전후의 차이를 기록하면 실무형 협업 역량을 기를 수 있습니다.

자동 실행에는 추적 가능한 안전장치가 필요합니다

Kiro Crew는 OS-level Sandbox(운영체제 수준 격리 환경), 기본 차단 명령, 민감 경로 보호, 자격증명 가림, 서명된 감사 기록 등을 내세웁니다. 이런 장치는 단순한 부가 기능이 아닙니다. 에이전트가 장시간 자율적으로 움직일수록 누가 어떤 명령을 실행했고 무엇을 변경했는지 확인할 수 있어야 합니다.

Valve의 오래된 Steam2 인프라에 연결된 엔드포인트가 잘못 노출돼 약 12TB 규모의 초기 개발 자료가 공개됐다는 보도도 같은 문제를 보여줍니다. 보도에 따르면 정교한 공격보다 단순한 설정 오류가 원인이었습니다. 오래된 시스템과 방치된 저장소도 현재의 공격 표면이 될 수 있으므로, 교육용 서버와 팀 프로젝트에서도 공개 범위와 접근 권한을 정기적으로 점검해야 합니다.

AI 답변은 근거가 아니라 검토 대상입니다

호주 공정근로위원회 사례에서는 한 신청자가 AI를 사실상 법률 조언자로 사용해 승산이 낮은 주장을 이어갔고, 결국 일부 법률 비용을 부담하라는 결정을 받았습니다. 위원회는 AI 사용 자체를 문제로 보지는 않았지만, 신청자가 생성된 답변과 인용을 제대로 확인하지 않았다는 점을 지적했습니다. 2026년 10월 20일부터는 신청자가 AI 사용 여부를 밝히고 사실, 판례, 링크를 검증하도록 하는 절차도 예고됐습니다.

교육 현장에서도 같은 원칙이 필요합니다. 생성형 AI의 문장은 완성도가 높아 보여도 출처의 존재, 인용문의 맥락, 적용되는 법과 제도의 범위를 별도로 확인해야 합니다. 여러 모델에 같은 질문을 던져 답이 일치하는지 보는 것만으로는 충분하지 않습니다. 여러 모델이 동일한 부정확한 자료를 참고할 수 있기 때문입니다.

출처 선별은 검색보다 먼저 이뤄져야 합니다

온라인에 이미 널리 퍼진 거짓 주장은 검색 과정에서 반복적으로 발견되기 때문에, 단순한 유사도 중심 검색이 오히려 그 주장을 뒷받침하는 자료를 우선할 수 있다는 개발자 논의도 나왔습니다. RAG(검색 증강 생성) 시스템이 관련 문서를 먼저 모은 뒤 출처를 평가하면, 신뢰하기 어려운 내용이 이미 잘게 나뉘고 요약된 상태로 답변 문맥에 들어갈 위험이 있습니다.

따라서 사실 확인용 AI에는 출처의 작성 주체, 원자료 여부, 독립적인 교차 확인 가능성 등을 먼저 평가하는 절차가 필요합니다. 학생이 보고서에 AI를 사용할 때도 검색 결과를 곧바로 요약시키기보다 정부·학술기관·원문 자료를 우선 모으고, 주장과 근거를 표로 대응시키는 방식이 안전합니다.

교육의 목표는 자동화가 아니라 책임 있는 위임입니다

AI 에이전트는 개발 과정의 상당 부분을 맡을 수 있지만, 목표 설정과 증거 평가, 보안 판단, 최종 책임까지 대신하지는 못합니다. 앞으로의 AI 교육은 프롬프트 작성에 머물러서는 안 됩니다. 작업을 나누는 법, 권한을 제한하는 법, 실행 기록을 읽는 법, 인용을 원문과 대조하는 법을 하나의 과정으로 가르쳐야 합니다.

학생에게 가장 필요한 능력은 AI를 무조건 믿거나 배제하는 태도가 아닙니다. 어떤 일은 맡겨도 되는지, 어떤 결과는 사람이 다시 확인해야 하는지 설명할 수 있는 판단력입니다.