AI의 다음 경쟁력, 성능보다 신뢰와 통제

AI 기술의 다음 경쟁력은 더 빠른 답변만이 아닙니다. 애플은 Siri에 최신 뉴스를 제공하기 위한 언론사 계약을 논의하고 있으며, AWS는 새 AI 기능을 기본 차단하는 권한 설정을 도입했습니다. 구글과 Anthropic도 각각 On-device AI(기기 내 인공지능)와 코딩 에이전트 안전성을 강화하고 있습니다.

최신 정보를 얻는 방식이 AI의 품질을 좌우합니다

보도에 따르면 애플은 올가을 출시 예정인 새 Siri AI가 최신 뉴스와 정보를 활용할 수 있도록 언론사들과 다년 계약을 논의하고 있습니다. 콘텐츠가 실제로 사용될 때 대가를 지급하는 방안도 거론됩니다. 협상이 아직 확정된 것은 아니지만, 생성형 AI가 무단에 가까운 광범위한 데이터 수집에서 벗어나 라이선스와 출처를 갖춘 정보 공급망으로 이동하고 있다는 점은 주목할 만합니다.

교육 분야에서는 이 변화가 특히 중요합니다. 학생이 AI로 시사 보고서나 토론 자료를 만들 때 답변의 자연스러움보다 정보의 출처, 작성 시점, 이용 권한을 확인해야 하기 때문입니다. 학교 역시 AI가 제시한 내용을 곧바로 정답으로 취급하지 않고 원문과 교차 검증하는 평가 기준을 마련할 필요가 있습니다.

새 AI 기능은 허용한 뒤 쓰는 방식으로

Amazon Quick은 Deny by default(기본 거부) 정책을 추가했습니다. 관리자가 특정 AI 기능 범주를 제한하면 새 기능이 출시되더라도 사용자에게 자동으로 열리지 않으며, 검토를 마친 기능만 명시적으로 허용할 수 있습니다.

이는 대학과 학교의 AI 도입 방식에도 적용할 만한 원칙입니다. 서비스가 업데이트될 때마다 새로운 데이터 처리 기능이 예고 없이 활성화되면 학생 정보나 연구 자료가 의도하지 않은 방식으로 사용될 수 있습니다. 교육기관은 계정 전체에 AI를 일괄 허용하기보다 수업 목적, 사용자 역할, 처리할 데이터의 민감도에 따라 권한을 나누는 편이 안전합니다.

AI는 스마트폰 안에서 더 가까워집니다

구글의 Pixel 11 제품군은 Tensor G6 칩과 빨라진 Gemini Nano를 바탕으로 On-device AI를 확대했습니다. 보도된 기능에는 더 빠른 탐색, 카메라 지원, 음성을 자연스럽게 받아쓰는 기능, 미국 수어를 텍스트로 바꾸는 접근성 기능이 포함됩니다.

기기 내 처리는 응답 지연과 네트워크 의존도를 낮출 가능성이 있으며, 청각장애 학생의 의사소통과 실시간 학습 보조에도 의미가 있습니다. 다만 기기에서 작동한다는 이유만으로 개인정보 보호가 자동 보장되는 것은 아닙니다. 어떤 데이터가 외부 서버로 전송되는지, 번역과 기록의 정확도가 수업에 충분한지는 별도로 확인해야 합니다.

코딩 에이전트의 자동화에는 경계가 필요합니다

Claude Code의 Auto mode(자동 권한 판단 모드)는 8월 14일부터 일부 요금제의 새 세션에서 기본값이 될 예정입니다. 소개된 평가에서는 위험한 명령을 인간 참가자가 거부한 비율이 13.6%였던 반면 자동 모드는 89%를 차단한 것으로 전해졌습니다. 별도의 간접 Prompt injection(프롬프트 주입) 평가에서는 720건의 공격이 성공하지 않았다고 보고됐습니다.

그러나 89% 차단은 모든 위험을 막았다는 뜻이 아닙니다. 외부 패키지, 문서, 웹페이지에 숨은 악성 지시가 에이전트의 도구 사용과 결합하면 피해가 발생할 수 있습니다. 개발 교육에서는 자동 승인 여부보다 샌드박스, 최소 권한, 비밀정보 분리, 변경 내역 검토를 기본 실습으로 가르쳐야 합니다.

학생 활용법

AI로 조사할 때는 답변마다 원문 링크와 날짜를 기록하고, 서로 독립된 출처 두 곳 이상으로 핵심 사실을 확인해 보세요. 코딩 에이전트는 과제 폴더처럼 피해 범위가 제한된 환경에서 실행하고, 파일 삭제나 외부 전송 명령은 직접 검토하는 습관이 필요합니다.

교육에서 필요한 것은 편리함을 다루는 능력입니다

이번 발표들의 공통점은 AI의 성능 경쟁이 정보 계약, 권한 관리, 기기 내 처리, 에이전트 보안으로 넓어졌다는 사실입니다. 앞으로의 AI 리터러시는 질문을 잘 쓰는 기술에 머물지 않습니다. 출처를 확인하고, 접근 권한을 제한하며, 자동화가 실패해도 피해가 커지지 않도록 환경을 설계하는 능력까지 포함해야 합니다.