AI 시스템
모델 바깥의 껍데기를 고쳐 성능을 올린다는 발상은 2026년 들어 재귀적 자기 개선 논의의 중심으로 올라섰다. 공개된 수치를 늘어놓고 보면, 이득이 나오는 자리와 그 이득이 사라지는 속도가 함께 보인다.
2026년의 코딩 에이전트 논의에서 하네스(harness)는 기반 모델을 둘러싸고 실행을 조율하는 소프트웨어 층을 가리키는 말로 굳었다. 모델이 무엇을 보고, 어떤 도구를 부르고, 무엇을 기억하고, 결과가 어떻게 채점되는지를 정하는 코드다. 릴리안 웡이 2026년 7월 4일 공개한 기술 노트는 이 층을 재귀적 자기 개선(RSI, recursive self-improvement)의 단기 경로로 지목했다. 모델이 자기 가중치를 다시 쓰는 시나리오보다, 모델을 감싼 실행 장치가 먼저 최적화 대상이 되고 그 성숙한 장치가 다시 모델 개선용 자동 연구를 가능하게 하는 순서가 현실적이라는 예측이다.
이 예측은 검증 가능한 형태로 제시됐다는 점에서 다루기 좋다. 하네스가 성능에 얼마나 기여하는지, 그 기여를 자동화하면 얼마가 더 나오는지, 어느 모델이 그 이득을 가져가는지는 모두 공개 숫자가 있는 질문이다. 문제는 그 숫자들이 한 방향을 가리키지 않는다는 데 있다.
Laude Institute가 만든 터미널 작업 벤치마크 Terminal-Bench는 89개 과제로 구성되며, 리더보드가 모델 단독이 아니라 에이전트-모델 조합 단위로 점수를 매긴다. 하네스가 점수에 미치는 영향이 무시할 수 없기 때문이다. 2026년 5월 공개된 2.1 버전 개정 자료에는 같은 모델을 서로 다른 하네스에 얹은 짝이 여럿 실려 있다.
| 모델 | 벤더 하네스 | Terminus 2 | 차이 |
|---|---|---|---|
| GPT-5.4 mini | 66.1% (Codex CLI) | 36.9% | +29.2 |
| GPT-5.4 | 77.3% (Codex CLI) | 54.8% | +22.5 |
| Sonnet 4.6 | 58.5% (Claude Code) | 51.5% | +7.0 |
| Opus 4.6 | 70.1% (Claude Code) | 63.8% | +6.3 |
| Gemini 3.1 Pro | 67.1% (Gemini CLI) | 70.7% | −3.6 |
가장 큰 격차인 29.2퍼센트포인트는 어떤 모델 세대 교체보다 크다. 그러나 이 표를 하네스 엔지니어링의 위력을 보여주는 증거로 읽으면 두 가지를 뭉갠다. 첫째, 벤더 하네스와 그 벤더의 모델은 함께 훈련되고 함께 조정된다. Codex CLI와 GPT 계열의 격차 대부분은 범용적인 껍데기 설계 실력이 아니라 특정 도구 스키마와 루프에 맞춘 사후 훈련의 결과다. 둘째, Gemini 3.1 Pro는 중립 하네스에서 자사 하네스보다 3.6퍼센트포인트 높았다. 부호가 뒤집히는 사례가 있다는 것은 "하네스 효과"라는 단일 변수가 없다는 뜻이다.
벤치마크 점수는 모델과 하네스의 곱이며, 둘 중 하나를 고정하지 않으면 기여를 분리할 수 없다. 독립 평가 기관 vals.ai가 모든 모델을 Terminus 2로 통일해 돌리는 이유가 이것이다. 그런데 그 통일된 조건에서도 Fable 5 점수는 거부 응답을 다른 모델로 대체 처리하느냐 실패로 계산하느냐에 따라 84.64%와 81.27% 사이에서 움직였다. 3.4퍼센트포인트가 회계 방식 하나에서 나온다.
같은 문제가 능력 추세 지표에도 있다. METR이 발표하는 작업 완수 시간 지평은 모델이 50% 확률로 해내는 과제의 인간 소요 시간을 재는데, 이 측정 역시 특정 스캐폴드를 통해 이뤄진다. METR 자신도 시간 지평 1.1 갱신에서 기존 33개 모델 중 14개만 재추정했고, 제외 사유 중 하나로 도구 호출 스캐폴드를 크게 바꿔야 한다는 점을 들었다. 오차 범위도 각 방향으로 대략 2배라고 스스로 밝힌다. 하네스와 모델을 갈라 보려는 시도는 측정 도구 자체가 그 둘의 합성물이라는 데서 출발한다.
하네스를 사람이 아니라 프로그램이 고치게 하는 연구는 2025년 이후 여러 갈래로 나왔다. 널리 인용되는 수치는 Darwin Gödel Machine(DGM)의 것이다. Claude 3.5 Sonnet을 고정한 채 에이전트가 자기 하네스 코드베이스를 편집하고 성능이 오른 후보만 남기는 진화 루프를 돌려, SWE-bench Verified를 20%에서 50%로, Polyglot을 14.2%에서 30.7%로 끌어올렸다.
같은 종류의 실험이지만 출발점을 달리한 결과도 있다. 2026년 4월 공개된 Agentic Harness Engineering(AHE)은 편집 가능한 구성 요소를 파일 단위로 노출하고, 실패 궤적을 계층화된 증거로 요약하고, 모든 편집에 다음 라운드에서 검증할 예측을 붙이는 폐쇄 루프다. 열 번 반복해 Terminal-Bench 2의 pass@1을 69.7%에서 77.0%로 올렸고, 사람이 설계한 Codex-CLI의 71.9%를 넘었다.
두 연구의 증분은 30.0퍼센트포인트와 7.3퍼센트포인트로 네 배 차이가 난다. 방법의 우열이 아니라 출발선의 차이다. DGM은 의도적으로 단순한 초기 하네스에서 시작했고, AHE는 이미 사람이 다듬은 강한 시드에서 시작했다. 맥락 관리 코드 자체를 최적화하는 Meta-Harness도 Terminal-Bench 2 탐색을 Terminus-KIRA와 Terminus-2라는 강한 하네스에서 출발시켰다.
여기서 나오는 규칙은 단순하다. 자동 하네스 진화가 보고하는 이득은, 시드 하네스가 유능한 엔지니어라면 이미 도달했을 지점에서 얼마나 떨어져 있었는지의 함수다. DGM의 30퍼센트포인트 중 상당 부분은 새로 창출된 성능이 아니라, 다른 곳에서 이미 수작업으로 수행된 설계를 자동으로 재발견한 몫이다. 인간 수준을 넘어선 순증분에 해당하는 숫자는 AHE 쪽의 5퍼센트포인트 남짓이다. 같은 현상을 다루는 두 수치가 실험 설계 선택 하나로 네 배 벌어진다는 사실은, 이 분야에서 인용할 숫자를 고를 때 시드 조건을 함께 읽어야 한다는 뜻이다.
AHE 논문의 제거 실험은 부수적으로 보이지만 이 논의에서 가장 무거운 결과를 담고 있다. 성능 향상의 출처를 구성 요소별로 분해하니 이득이 도구, 미들웨어, 장기 메모리에 몰려 있었고 시스템 프롬프트에는 거의 없었다. 논문의 표현으로는 하네스의 사실적 구조는 전이되지만 산문 수준의 전략은 전이되지 않는다. 실제로 진화가 끝난 하네스를 그대로 얼려 SWE-bench Verified로 옮겼을 때 시드보다 12% 적은 토큰으로 총 성공률 1위를 기록했고, 다른 세 모델 계열에 얹었을 때도 5.1~10.1퍼센트포인트가 올랐다.
이 결과와 정확히 맞물리는 산업 쪽 사건이 3주 뒤에 있었다. Anthropic은 2026년 7월 24일 Claude 5 세대 모델의 맥락 엔지니어링 지침을 공개하면서, Claude Code의 시스템 프롬프트 80% 이상을 Opus 5와 Fable 5용으로 삭제했고 코딩 평가에서 측정 가능한 손실이 없었다고 밝혔다. 사유는 성능 부족이 아니라 과잉 제약이었다. 주석을 달지 말라는 규칙과 문서를 적절히 남기라는 규칙이 충돌하면서, 모델이 본 작업 전에 모순을 해소하는 데 토큰을 쓰고 있었다는 것이다. 같은 발표에서 사용자의 CLAUDE.md와 스킬 파일을 모델 세대에 맞게 줄여주는 진단 명령이 함께 안내됐다.
도구 정의, 메모리 인터페이스, 권한 표면은 만들기 비싸고 모델 계열을 넘어 전이된다. 시스템 프롬프트와 지침 문서는 쓰기 싸고 한 세대 만에 가치를 잃는다. 그런데 현장에서 하네스 엔지니어링이라 불리며 실제로 작성되는 것 대부분은 두 번째 층이다. 2026년 상반기 기준으로 그 층의 수명은 대략 모델 한 세대, 몇 달 단위다.
하네스 개선 상당수가 결국 모델 내부 행동으로 흡수되고 목표·제약·맥락을 지정할 필요만 남는다는 예측은 공개 20일 만에 그 예측이 대표 사례로 든 제품에서 확인됐다. 다만 흡수의 방향이 예측과 완전히 같지는 않다. 흡수된 것은 판단에 관한 지시이고, 남은 것은 도구 인터페이스와 진행형 맥락 공급 방식이다. 즉 하네스는 얇아지는 것이 아니라 무게중심을 산문에서 배관으로 옮기는 중이다.
2026년 5월 28일 공개된 연구 하나는 하네스 자기 진화 능력을 두 축으로 갈랐다. 실행 증거로부터 쓸모 있는 하네스 수정을 만들어내는 능력과, 수정된 하네스를 활용해 실제로 과제를 더 잘 푸는 능력이다. 결과는 두 축이 전혀 다르게 움직인다는 것이었다.
수정 능력은 모델 등급에 대해 평평했다. Qwen3.5-9B가 만든 하네스 수정이 Claude Opus 4.6이 만든 것과 비슷한 이득을 냈고, 9B 제안자가 절차적으로 동형인 기술 문서를 작성했다. 반면 활용 능력은 단조롭지 않았다. 약한 모델은 관련 하네스 자산을 아예 호출하지 못하거나 호출해도 충실히 따르지 못해 이득이 작았고, 중간 등급이 가장 크게 이득을 봤으며, 최상위 등급은 중간보다 적게 얻었다. 저자들이 도출한 실무 결론은 능력 예산을 진화기가 아니라 과제 수행 에이전트에 넣으라는 것이다.
이 비단조성은 재귀적 자기 개선 서사의 전제를 정면으로 건드린다. RSI가 성립하려면 이득이 프런티어에 집중되고 세대를 넘어 누적돼야 한다. 그런데 활용 이득 곡선의 정점이 중간에 있다면, 하네스 진화는 가속 기술이 아니라 확산 기술이다. 자체 호스팅 가능한 중형·공개 가중치 모델을 프런티어 쪽으로 끌어올리는 효과가 프런티어 자신을 밀어올리는 효과보다 크다는 뜻이고, 이는 선두 격차가 복리로 벌어지는 그림의 반대다.
앞서 본 Terminal-Bench 표에도 같은 결이 남아 있다. 같은 계열 안에서 GPT-5.4 mini의 하네스 격차가 29.2퍼센트포인트로 GPT-5.4의 22.5퍼센트포인트보다 컸고, Sonnet 4.6의 격차가 Opus 4.6보다 컸다. 다만 확산 해석을 확정하기엔 반대 근거도 있다. AHE의 얼린 하네스가 다른 세 모델 계열에서 5.1~10.1퍼센트포인트를 냈다는 것은 구조적 구성 요소가 등급과 무관하게 일반화된다는 뜻이고, 프런티어 연구소는 하네스를 훈련 시점의 최적화 대상으로도 다루기 때문에 외부 관측으로 잡히지 않는 내부 이득이 별도로 존재할 수 있다.
확산 해석이 옳다면 하네스는 해자로 쓰기 나쁜 자산이다. 산문 층은 복제가 사실상 자유롭고, 구조 층은 계열을 넘어 전이되며, 최상위 모델일수록 얻는 몫이 작다. Anthropic이 자사 프롬프트를 줄이면서 사용자 프롬프트까지 줄여주는 도구를 함께 배포한 선택은, 이 층에서 방어선을 유지할 계획이 없는 회사의 행동과 일치한다.
자기 개선 루프가 성과를 낸 영역을 나열해 보면 공통점이 하나뿐이다. 행렬 곱셈, GPU 커널 최적화, 알고리듬 대회, 데이터센터 스케줄링, 터미널 과제. 모두 빠르고 정확하며 값싼 검증기가 존재한다. 평가가 느리거나 모호하거나 휴리스틱에 기대는 영역에서는 같은 방법이 작동하지 않는다.
이 경계는 실험으로도 드러났다. 최소한의 도구만 주고 연구 아이디어에서 논문까지 자율 실행을 시킨 2026년 1월 연구는 월드 모델, 다중 에이전트 강화학습, AI 안전·정렬 세 분야에서 분야당 45~50개의 고품질 시드 문서를 제공했다. 인간 전문가가 전체 파이프라인에 올릴 만하다고 고른 아이디어는 4개였고, 논문까지 완주한 것은 1개였다. 반복 관찰된 실패 유형에는 훈련 데이터 기본값 편향, 구현이 어려워지면 흔한 단순 해법으로 이탈하는 현상, 잡음뿐인 결과를 성공으로 선언하는 과도한 낙관이 포함됐다.
사람과의 비교에서도 같은 경계가 보인다. 현실적인 기계학습 연구 엔지니어링 환경 7개로 구성된 RE-Bench에서, 최고 성능 에이전트는 2시간 예산에서 인간보다 4배 높은 점수를 냈지만 8시간과 32시간 설정에서는 인간에게 역전당했다. 61명의 전문가가 시도한 71건의 8시간 세션 중 82%가 0점을 넘겼고 24%가 강한 참조 해법과 같거나 앞섰다. 짧고 채점 가능한 구간에서 기계가 앞서고, 판단이 누적돼야 하는 구간에서 사람이 앞선다.
AHE의 설계에서 성능 수치보다 중요한 것은 제약이다. 편집은 하네스 작업 공간에만 허용되고 실행 디렉터리, 추적기, 검증기, 모델 설정은 읽기 전용이다. 검증기를 끄거나 모델을 바꾸거나 추론 예산을 늘리는 경로를 막아야, 얻은 점수를 하네스 편집에 귀속시킬 수 있다. 이 제약이 없으면 하네스 개선과 평가 기준 침식을 구분할 방법이 없다.
검증기가 없는 대표 영역이 유지보수성이다. Faros AI가 2026년 발표한 보고서는 22,000명의 개발자와 4,000개 이상 팀에서 2년간 수집한 원격 계측을 저 도입군과 고 도입군으로 갈라 비교했다. 개발자당 완료 에픽은 66%, 과제 처리량은 34% 늘었고 생성 코드 수용률은 20%에서 60%로 올랐다. 같은 구간에서 개발자당 버그는 54% 늘었는데 이는 직전 해 보고서의 9%에서 크게 뛴 값이고, 병합 요청당 사고 비율은 242.7% 증가했으며, 검토 중간 소요 시간은 441.5% 늘었고, 검토 없이 병합되는 비율이 31% 증가했다. 관측 연구이므로 인과로 읽을 수는 없지만, 처리량 지표와 품질 지표가 반대 방향으로 함께 움직인다는 사실만으로도 충분히 다루기 어려운 결과다.
여기서 갈리는 것은 진단이다. 저장소의 장기 건강, 소유권 경계, 마이그레이션 비용, 하위 호환성 같은 항목은 샌드박스 기반 검증 가능 보상 훈련이 잡아내지 못한다는 지적은 하네스 논의 안에서도 과제로 명시돼 있다. 반면 HumanLayer의 덱스 호티는 2026년 7월 AI Engineer World's Fair 기조에서 더 강한 주장을 폈다. 코딩 모델은 단위 테스트 통과로 보상받지 설계 품질 보존으로 보상받지 않으며, 이는 껍데기가 아니라 훈련 목적함수의 문제이므로 하네스 최적화로는 원리상 고칠 수 없다는 것이다. 2025년 7월 자기 회사에서 코드 검토를 완전히 걷어낸 실험이 무너진 경험이 근거로 제시됐다.
두 진단은 처방이 다르다. 전자는 더 나은 검증기를 하네스 바깥에 세우라고 하고, 후자는 하네스 바깥이 아니라 훈련 쪽을 고치라고 한다. 현재 공개 증거는 후자를 배제하지 못한다. 검증기를 개선해 유지보수성을 목적함수로 만든 루프가 장기간 운영돼 사후 지표 개선을 보인 사례가 아직 보고되지 않았기 때문이다.
하네스 우선 순서라는 주장은 시장의 거의 모든 위치에서 편리하다. 그 편리함이 주장을 틀리게 만들지는 않지만, 어느 대목이 강조되고 어느 대목이 생략되는지는 설명한다.
웡의 기술 노트는 Thinking Machines Lab 공동창업자 신분으로 나왔다. 프런티어 밖에서 보면 더 똑똑한 모델이 하네스를 단순하게 유지해 준다는 명제는 비용이 적게 드는 진술이다. 최상위 모델 접근 없이도 설계 실력으로 성능을 만들 수 있다는 함의를 담기 때문이다. 그는 2026년 7월 27일 건강을 이유로 회사를 떠난다고 밝혔고, 이틀 뒤 OpenAI로 복귀한다는 보도가 나왔다. 노트 공개에서 복귀까지 25일이 걸렸다.
프런티어 쪽 서술은 강조점이 다르다. Anthropic Institute가 2026년 6월 공개한 자료는 2025년 2월 Claude Code 출시 이전 한 자릿수 초반이던 자사 코드 병합 중 Claude 작성 비중이 2026년 5월 기준 80%를 넘었고, 엔지니어 1인당 분기 코드 출하량이 2021~2025년 대비 8배라고 밝혔다. 130명 대상 내부 설문에서 응답자 중앙값은 최상위 내부 모델로 약 4배 향상을 추정했고, 표준 코드 최적화 과제에서 2025년 5월 Claude Opus 4의 3배였던 속도 향상이 2026년 4월 52배로 보고됐다. 발표 시점은 회사가 비공개 기업공개 신청서를 제출하고 1조 달러에 근접한 기업가치 평가를 받은 직후였으며, 조지아공대의 마크 리들은 대형 AI 기업들이 재귀적 자기 개선 유행 열차에 올라탔다고 공개적으로 논평했다. OpenAI는 AI 연구자 완전 자동화 목표 시점을 2028년 3월로 잡고 있으며, 2026년 2월 공개된 GPT-5.3-Codex에 대해 연구 부사장 어밀리아 글리즈가 처음부터 끝까지 자기 개발에 실질적으로 관여한 첫 모델이라고 말했다.
이 서술들의 공통 구조는 하네스와 모델의 기여를 분리하지 않는다는 데 있다. 8배와 52배는 모델 능력, 하네스 성숙, 조직 프로세스 변화, 그리고 측정 대상이 된 작업 구성 변화의 합성값이다. 자기 자신을 대상으로 잰 수치를 가속의 증거로 제시하는 구조에서는, 앞 절에서 본 읽기 전용 제약에 해당하는 장치가 없다. 공개 기록에서 어느 진영의 이해관계에도 걸리지 않는 유일한 숫자는, 동일 모델과 동일 벤치마크에 검증기를 고정한 조건에서 열 번 반복해 얻은 7.3퍼센트포인트다.
산문 층은 계속 얇아진다. 주요 코딩 에이전트의 기본 시스템 프롬프트 분량은 앞으로 12개월간 현 수준을 유지하거나 더 줄고, 지침 문서 축소를 돕는 도구가 표준 기능으로 자리 잡는다.
반증 조건. 2027년 상반기까지 Claude Code나 Codex 중 하나가 기본 시스템 프롬프트를 2026년 7월 이전 분량 수준으로 되돌리고, 그 근거로 평가 개선 수치를 제시하면 이 예측은 틀린다.
강한 시드에서 출발한 자동 하네스 진화의 공개 보고 이득은 한 자릿수 퍼센트포인트대에 머문다. 두 자릿수 증분은 시드를 약하게 잡은 실험에서만 계속 나온다.
반증 조건. 동일 모델·동일 벤치마크에 검증기와 모델 설정을 읽기 전용으로 고정한 조건에서, 사람이 설계한 최상급 하네스 대비 15퍼센트포인트 이상 향상을 24개월 안에 독립 재현 가능한 형태로 보고하는 연구가 나오면 틀린다.
하네스 진화의 주 수혜자는 중형 및 공개 가중치 모델이며, 그 결과 상위권 벤치마크 점수 분포는 위쪽에서 더 촘촘해진다.
반증 조건. 활용 이득이 모델 능력에 대해 단조 증가하고 최상위 모델이 중간 등급보다 큰 이득을 얻는다는 결과가 서로 다른 연구진에 의해 복수로 재현되면 틀린다.
검증기가 값싸지 않은 영역, 특히 저장소 유지보수성과 연구 안목에서는 하네스 루프가 측정 가능한 성과를 내지 못한다.
반증 조건. 사고율·재작업률 같은 장기 지표를 목적함수로 삼은 하네스 루프를 12개월 이상 운영해, 대조군 대비 개선을 보고하면서 그 개선이 지표 자체의 침식으로 설명되지 않음을 함께 보이는 사례가 나오면 틀린다.
하네스는 지속적인 해자가 되지 못한다. 도구·메모리 구조는 논문과 공개 저장소를 통해 계속 확산되고, 남는 차별화는 하네스 설계가 아니라 모델·하네스 공동 훈련에 있다.
반증 조건. 2027년 말까지 특정 하네스가 타사 모델에 얹혔을 때도 우위를 유지하고, 도구 정의와 프롬프트가 공개된 뒤에도 경쟁자가 그 성능을 복제하지 못하는 상태가 지속되면 틀린다.
다섯 예측을 관통하는 판단은 하나다. 하네스는 실재하는 성능 변수이고 어떤 조건에서는 모델 세대 교체만큼 큰 차이를 만들지만, 그 차이의 크기는 검증기의 존재 여부와 시드의 조악함에 비례한다. 검증기가 값싼 곳에서 하네스는 잘 작동하고 빠르게 확산되며, 확산되는 만큼 우위로 남지 않는다. 검증기가 없는 곳에서는 하네스를 아무리 정교하게 짜도 루프가 돌지 않는다. 자기 개선이 어디까지 갈지를 묻는 질문은, 결국 무엇을 값싸게 채점할 수 있는지를 묻는 질문으로 환원된다.
본문 수치는 Terminal-Bench 2.1 개정 발표, arXiv 공개 논문(AHE 2604.25850, 하네스 수정·활용 분리 2605.30621, DGM 2505.22954), Anthropic·Anthropic Institute 공개 자료, Faros AI 2026 엔지니어링 보고서, METR 시간 지평 자료에서 직접 확인했다. Faros 수치는 저 도입군과 고 도입군을 비교한 관측값이며 인과 추정치가 아니다. Anthropic이 밝힌 시스템 프롬프트 축소의 절대 토큰 수치는 출처마다 다르게 보도돼 축소 비율만 실었다.