AI 에이전트, 왜 혼자서는 부족한가

여러분께서는 클로드(Claude)에게 긴 기획서를 부탁해 보신 적이 있으십니까? 앞부분은 괜찮다가, 뒷부분에서 앞의 내용을 되풀이하는 일이 생깁니다. 챗GPT(ChatGPT)에 같은 질문을 두 번 했는데 전혀 다른 답이 나온 적은 없으십니까? 지난번 대화에서 "우리 브랜드는 영어 혼용을 하지 않는다"고 분명히 말했는데, 다음 날 새 대화에서 또 영어가 섞여 나온 적은 없으십니까? "분명 똑똑한 AI인데, 왜 이러지?"라는 생각이 드셨다면, 그 감각은 정확히 맞습니다.

이것은 AI의 지능이 부족해서가 아닙니다. AI가 작동하는 환경이 부족해서입니다.

좋은 직원도 잘못된 환경에서는 제 능력을 발휘하지 못합니다. 업무 지침도 없고, 품질 기준도 없고, 이전 작업 이력도 없는 상태에서 매번 처음부터 시작해야 한다면 그렇습니다. AI도 같습니다. 모델이 아무리 뛰어나도, 작동하는 환경이 갖춰져 있지 않으면 결과가 불안정합니다.

그리고 이 환경을 만드는 것은 개발자만의 일이 아닙니다. 코드를 모르는 분도 지금 쓰는 도구 안에서 환경을 설계할 수 있습니다. 저는 그 방법을 이 책에서 다룹니다.

특정 기업의 분기 실적을 AI에게 물어보십시오. AI는 자신 있는 어투로 구체적인 숫자를 답합니다. 문제는 그 숫자가 실제 데이터가 아닐 수 있다는 것입니다. 이것을 환각(Hallucination)이라고 부릅니다.

계산기가 고장 나면 에러 메시지가 뜹니다. AI는 에러 대신 "정답처럼 보이는 오답"을 내놓습니다. 검증하지 않는 한 발견할 수 없다는 점에서 단순 오류보다 위험합니다. 계산기 오류에는 "이상한 결과"라는 신호가 있습니다. AI의 환각은 "맞는 것처럼 보이는" 형태로 나타납니다. 그래서 더 주의가 필요합니다.

실무에서 이것이 문제가 되는 이유는 이렇습니다. AI가 틀린 내용을 자신 있게 말하기 때문에, 사람은 그것이 틀렸을 수 있다는 의심을 하지 않습니다. 보고서에 인용된 통계가 AI가 지어낸 것이라는 사실을 나중에 발견하면, 신뢰 문제가 됩니다. 환각은 AI의 근본적인 작동 방식에서 오는 것이라 완전히 없앨 수 없습니다. 그러나 환경에 "출처를 명시하라", "불확실한 내용은 표시하라"는 규칙을 심으면 관리할 수 있습니다.

크로마의 2025년 연구 결과부터 말씀드리겠습니다. 최신 AI 모델 18개를 대상으로 실험했더니, 입력 길이가 늘어날수록 성능이 점점 불안정해졌습니다. 토큰(token) 수로 보면, 전체 대화 이력은 약 113,000토큰이었고 핵심만 추린 짧은 프롬프트는 약 300토큰이었습니다. 전체 이력을 넣은 경우, 짧은 프롬프트에 견주어 정확도가 최대 30% 하락했습니다.

이 현상을 컨텍스트 부패(Context Rot)라고 부릅니다. 두 시간짜리 전화 통화를 떠올려 보십시오. 통화가 끝날 무렵이면, 처음에 한 중요한 이야기를 정확히 기억하기 어렵습니다. AI도 비슷합니다. 다만 사람은 "기억이 안 난다"고 말할 수 있지만, AI는 기억이 흐려진 사실 자체를 인식하지 못합니다. 그래서 자신 있게 엉뚱한 답을 냅니다.

실무에서 나타나는 방식은 이렇습니다. 대화 초반에 "분량은 A4 2장"이라고 정했는데, 한 시간 뒤에는 5장짜리 결과물이 나옵니다. "우리 브랜드 색상은 파란색 계열"이라고 했는데, 뒤로 갈수록 다른 색상 추천이 섞입니다. AI가 지시를 어긴 것이 아닙니다. 잊은 것입니다. 이 한계에는 대화를 작업 단위로 분할하고, 진행 상태를 별도로 기록하는 환경 설계로 대응합니다.

방해 정보가 많을수록 컨텍스트 부패가 빨라진다는 사실도 확인되었습니다. 관련 없는 정보가 하나만 추가되어도 성능이 크게 떨어지고, 네 개가 추가되면 급락한다는 것이 크로마 연구의 발견입니다. 긴 대화에서는 이런 방해 정보가 자연스럽게 쌓입니다. 이전 질문의 맥락, 중간에 나온 부차적인 이야기, 수정 요청의 기록이 모두 AI의 처리 공간을 차지합니다.

여러분이 "5장짜리 마케팅 기획서를 써 달라"고 요청했다고 해 보겠습니다. 1장의 시장 분석에 흥미를 느낀 AI가 시장 데이터를 3장 분량으로 쏟아냅니다. 그러고는 "나머지는 다음에 이어서 작성하겠다"고 마무리합니다.

이것이 목표 이탈(Goal Drift)입니다. AI는 전체 목표("5장짜리 기획서")보다 당장 처리 중인 하위 작업("시장 분석")에 몰입합니다. 사람은 "전체 일정이 있었지"라고 스스로 깨달을 수 있습니다. AI는 누군가가 환경에 "전체 목표를 잊지 마"라는 장치를 설치해 두지 않으면, 하위 작업에 빠진 채 돌아오지 않습니다.

구체적으로는 이렇습니다. 챕터 구성을 설계하는 작업에서 AI가 첫 번째 챕터를 지나치게 상세하게 쓰는 것이 그렇습니다. 요약을 요청했는데 새로운 분석이 더해지는 것, 형식이 지정되었는데 그것을 벗어나는 것도 그렇습니다. 이 패턴들이 모두 목표 이탈의 형태입니다. 환경에 최종 목표를 고정하고 전체 구조를 명시하면 이탈 범위가 줄어듭니다.

사람도 비슷한 경험을 합니다. 긴 프로젝트를 진행하다 보면 세부 작업에 빠져 전체 방향을 잊는 경우가 있습니다. 사람은 그것을 인식하고 "큰 그림을 봐야 한다"고 스스로 조정할 수 있습니다. AI에게는 그 자각 능력이 없습니다. 외부에서 "이것이 전체 목표다"라는 장치를 심어 두지 않으면, 이탈한 사실 자체를 알지 못합니다.

같은 프롬프트를 같은 AI에게 세 번 입력하면, 세 번 모두 다른 결과가 나올 수 있습니다. AI의 출력은 본질적으로 확률에 기반합니다. 이것은 버그가 아니라 AI가 작동하는 방식 자체입니다. 이 "무작위성"은 창의성의 원천이기도 하지만, 동시에 일관성을 방해하는 원인이기도 합니다.

"어제 잘 되었으니 오늘도 잘 되겠지"라는 기대가 깨지는 것이 문제입니다. 일관성을 확보하려면 AI 자체를 바꾸는 것이 아니라, AI가 작동하는 환경에 규칙을 심어야 합니다. 출력 기준을 환경에 고정하면, 확률 기반의 AI도 그 기준 안에서 작동합니다.

매번 결과가 달라지면, 그 편차는 AI를 쓰는 이득을 상쇄합니다. 환경에 출력 기준을 명시하고, 예시를 심고, 검증 체계를 갖추면 편차가 줄어듭니다.

여기서 네 가지 한계를 관통하는 공통점을 하나 더 짚겠습니다. "잘해줘", "꼼꼼하게 해줘"라고 말하는 것만으로는 해결되지 않는다는 점입니다.

AI에게 "꼼꼼하게 검토해"라고 말하면 어떤 일이 생기겠습니까. AI는 "네, 꼼꼼하게 검토하겠습니다"라고 답합니다. 그리고 자기가 쓴 글을 자기가 보고 "잘 됐다"고 판단하고는 거기서 멈춥니다. 같은 AI가 같은 관점으로 같은 결과물을 검토하면, 같은 편향이 반복됩니다. "꼼꼼하게"라는 지시는 자기 검증의 한계를 뚫지 못합니다.

"잘해줘"는 지시, 곧 프롬프트입니다. 지시를 아무리 다듬어도 환경에 있어야 할 것이 없으면 결과는 불안정합니다. 환각을 방지하는 검증 체계, 컨텍스트 부패를 막는 대화 분할 전략이 그것입니다. 목표 이탈을 잡는 체크포인트(checkpoint), 품질 편차를 줄이는 규칙도 마찬가지입니다.

프롬프트는 "무엇을 하라"고 말하는 것이고, 하네스는 "어떤 환경에서 하라"고 설계하는 것입니다.

운전자에게 "조심히 운전해"라고 말하는 것과, 도로에 중앙선·속도 제한·신호등을 설치하는 것은 전혀 다른 수준의 안전 장치입니다. 프롬프트가 운전자의 지시라면, 하네스는 도로의 인프라(infrastructure)입니다.