AI 에이전트, 실무 과제 절반도 못 풀었다 — 과대광고와 현실 사이

AI 에이전트(AI Agent), 실무에서는 아직 멀었다

MIT Technology Review가 4월 27일 보도한 분석에 따르면, AI 업계는 기술 개발(Step 1)과 변혁 약속(Step 3) 사이의 Step 2 — 실제 현장 적용 방법론이 여전히 공백이라고 진단했습니다. 이 비유는 미국 애니메이션 사우스파크의 '속옷 요정' 밈(meme)에서 차용한 것으로, "Phase 1: 속옷 수집 → Phase 2: ? → Phase 3: 이익"이라는 구조가 현재 AI 산업의 현주소를 정확히 꿰뚫고 있습니다.

연구가 보여주는 냉정한 현실

Mercor 에이전트 테스트: 480개 과제, 대부분 실패

AI 채용 스타트업 Mercor의 연구진은 OpenAI·Anthropic·Google DeepMind의 최상위 모델로 구동되는 AI 에이전트(Agent, 자율 수행 AI)를 은행, 컨설팅, 법률 분야의 실무 과제 480개에 투입했습니다. 결과는 충격적이었습니다. 테스트된 모든 에이전트가 대부분의 업무를 완수하지 못했습니다.

LLM(대규모 언어 모델)이 코딩 작업에서 빠르게 발전하고 있다는 점이 업계의 낙관론을 이끌지만, 전략적 판단이 필요한 업무에서는 여전히 취약하다는 것이 핵심 발견입니다.

Anthropic 노동시장 영향 예측: 추정일 뿐

Anthropic이 발표한 직종별 LLM 영향도 연구도 주목할 만합니다. 이 연구는 관리자, 건축가, 미디어 종사자가 변화에 대비해야 한다고 예측했지만, MIT Technology Review는 이 예측이 LLM이 잘하는 것처럼 보이는 과제 유형에 기반한 추정이지, 실제 현장 성과 데이터에 근거한 것이 아니라고 지적합니다.

왜 Step 2가 비어 있는가

기술이 실제 환경에 배치될 때는 클린룸(cleanroom)이 아닌, 사람과 기존 워크플로(workflow, 업무 절차)가 뒤섞인 공간에 놓입니다. 때로는 AI 도입이 오히려 상황을 악화시킬 수도 있습니다.

기존 업무 프로세스를 AI 중심으로 재설계하려면 시간과 용기 모두 필요합니다. 그러나 이 과도기적 방법론에 대한 합의가 부재하기 때문에, 정보 공백을 매주 등장하는 과대 주장이 채우는 악순환이 반복됩니다.

MIT Technology Review는 해결책으로 세 가지를 제안합니다:

1. 모델 개발사의 투명성 확대
2. 연구자-기업 간 협력 체계 구축
3. 실제 배포 환경 기반의 새로운 평가 방법론 개발

교육 분야에 주는 시사점

학생·교육자가 주목해야 할 포인트

이 연구 결과는 교육 현장에도 중요한 함의를 갖습니다.

첫째, AI를 만능 도구로 여기는 것은 위험합니다. 과제 작성, 리서치, 코딩 보조 등에서 AI가 유용한 것은 사실이지만, 비판적 사고와 전략적 판단을 AI에 위임하면 학습 효과가 오히려 떨어질 수 있습니다.

둘째, 'AI 시대의 역량'은 프롬프트 작성이 아니라 판단력입니다. AI가 잘 못하는 영역 — 전략적 의사결정, 맥락 파악, 윤리적 판단 — 이 곧 인간이 차별화할 수 있는 역량입니다. 교육 과정에서 이러한 고차원 사고력을 더 강조해야 합니다.

셋째, AI 도구를 '비판적으로' 사용하는 연습이 필요합니다. AI가 생성한 결과물을 그대로 수용하는 것이 아니라, 검증하고 개선하는 과정 자체가 핵심 학습이 됩니다.

학생 활용법

AI 코딩 도구나 챗봇을 활용할 때, "이 결과가 정말 맞는가?"를 항상 검증하는 습관을 들이세요. Mercor 연구처럼 AI 에이전트의 한계를 직접 실험해 보는 것도 AI 리터러시(AI Literacy, AI 이해력)를 높이는 좋은 방법입니다.

정리: 냉정함이 곧 경쟁력

AI 기술의 미래를 낙관하든 비관하든, 현재 확실한 것은 Step 2가 비어 있다는 사실입니다. 과대광고에 휩쓸리지 않고 실제 성능과 한계를 구분할 줄 아는 사람이, 이 전환기에 가장 큰 경쟁력을 갖게 될 것입니다.