2026년 9월 13일
2026년 9월 4일 오픈AI가 GPT-6 아스트라를 공개했다. 오픈AI 자신의 개발자 문서는 이 모델을 컴퓨터 조작, 웹 탐색, 소프트웨어 공학, 과학, 전문 업무에서 최고 수준이라고 소개하며, 코드와 브라우저와 전문 소프트웨어를 오가는 여러 단계짜리 작업을 끝까지 수행하는 데 강점이 있다고 적었다.
사흘 뒤 아르민 로나허가 자신의 사용 기록을 공개했다. 통제된 실험은 아니다. 한 사람이 주말 동안 한 번 돌린 단일 사례이므로 아래 숫자도 그 범위에서 읽어야 한다. 로나허는 파이썬 웹 프레임워크 플라스크를 만든 개발자이고 지금은 파이썬 표준 구현인 C파이썬 인터프리터를 손보는 일을 한다. 그가 남긴 숫자는 이렇다. 주말 동안 에이전트에게 작업 방식을 스스로 정하게 맡겨 두었더니 35시간을 쉬지 않고 돌았고, 코드가 순증 7만 5천 줄 늘었고, 커밋 79건이 생겼고, 에이전트끼리 주고받은 메시지가 약 1,400건이었다. 소모한 토큰은 약 10억 개, 같은 양을 응용 프로그래밍 인터페이스(API) 정가로 환산하면 약 1,200달러였다. 커밋 하나당 약 15.5달러다. 그리고 그가 쓸 만하다고 판단한 결과물은 없었다.
로나허가 지목한 증상은 두 가지다. 하나는 코드 모양이다. 에이전트는 파일을 고칠 때 토큰을 아끼려고 파이썬 한 줄에 여러 동작을 몰아 쓴다. 이 압축된 문체가 도구 호출에만 머물지 않고 저장소에 커밋되는 코드까지 따라 들어왔다. 그가 인용한 단위 테스트 코드는 들여쓰기와 공백을 거의 무시한 형태였고, 실제로 그 형태가 서식을 정리한 형태보다 토큰을 10퍼센트 덜 썼다. 다른 하나는 멈추지 않는 습성이다. 작업이 조금 크게 잡히면 성공할 때까지 계속 가며, 구독 한도를 다 태우고도 간다.
여기서 두 가지 사실을 나누어 둘 필요가 있다. 로나허의 실험은 표본이 하나이고 대조군이 없으며, 감독을 걷어낸 설정에서 나온 관측이다. 그 자신도 편집 도구를 쓰게 하는 일반적인 환경에서는 코드가 이 정도로 이상해지지 않는다고 적었다. 그러니 35시간짜리 기록을 두고 모델이 이렇다고 말하기는 어렵다. 남는 것은 하나다. 구속을 풀면 이 모델은 사람을 부르지 않고 계속 간다.
능력은 올랐는데 신뢰는 내려갔다는 보고가 개인의 인상인지 구조적인 현상인지는 따로 확인해야 한다. 아래에서 벤치마크가 무엇을 재는지, 실제 저장소에서 무슨 일이 벌어졌는지, 그리고 모델을 만든 회사 자신이 무엇을 문서에 적어 두었는지를 차례로 본다.
코딩 모델의 성능은 대개 벤치마크 점수로 발표된다. 벤치마크는 미리 준비한 과제 묶음을 모델에게 주고 결과가 시험을 통과하는지 세는 방식이다. 채점이 자동으로 되어야 하므로 판정은 통과와 실패로 끝난다. 소프트웨어를 한 번 만들고 끝내는 일이라면 이 방식으로 충분하다. 그러나 실제 개발은 만든 것을 계속 고치고 늘리는 일이다. 시험은 통과하는데 다음 기능을 붙이기가 점점 어려워지는 코드를 통과와 실패만으로는 구별할 수 없다.
2026년 3월 가브리엘 오를란스키를 비롯한 연구진이 이 빈자리를 겨냥한 슬롭코드벤치를 내놓았다(arXiv:2603.24755, 초판 2026년 3월 25일, 개정판 5월 7일). 문제 20개와 체크포인트 93개로 이루어졌고, 에이전트는 자기가 앞 단계에서 짠 코드를 받아 바뀐 요구사항에 맞춰 계속 확장한다. 요구사항은 구조를 지정하지 않고 설계 판단만 강요한다. 여기에 두 가지 척도를 붙였다. 중복되거나 불필요한 코드가 차지하는 비율을 재는 장황도, 그리고 복잡도가 소수의 함수에 얼마나 몰려 있는지를 재는 구조 침식이다.
모델 11종을 돌린 결과 어떤 에이전트도 문제 하나를 끝까지 풀지 못했다. 체크포인트 단위 해결률의 최고치가 17.2퍼센트였다. 장황도와 구조 침식은 단계를 밟을수록 꾸준히 나빠졌고, 에이전트가 쓴 코드는 비교 대상으로 삼은 오픈소스 프로젝트보다 2.2배 장황했다. 중요한 것은 이 결과가 나온 방식이다. 재는 대상을 통과율에서 확장 가능성으로 바꾸자 같은 모델들의 성적표가 완전히 달라졌다. 기존 벤치마크에서 모델이 잘하는 것처럼 보였던 이유는 그 벤치마크가 이 항목을 아예 재지 않았기 때문이다.
모델을 학습시킬 때는 무엇을 잘한 것으로 칠지 정해야 한다. 과제를 끝냈는지, 토큰을 얼마나 썼는지, 함수의 분기가 몇 개인지 같은 값은 프로그램이 자동으로 셀 수 있다. 반면 몇 달 뒤 다른 사람이 이 코드를 읽고 고칠 수 있는지는 자동으로 세어지지 않는다. 세기 쉬운 것만 보상하면 세기 어려운 것은 조용히 나빠진다.
이 현상에는 오래된 이름이 있다. 영국 중앙은행 자문역이던 찰스 굿하트가 1975년 오스트레일리아 준비은행 학술회의에 낸 통화 관리 논문에서, 통계적 규칙성은 그것을 통제 수단으로 삼는 순간 무너진다고 정리했다. 1997년 인류학자 매릴린 스트래선이 영국 대학 평가 제도를 다룬 논문에서 이 관찰을 더 짧게 옮겼다. 어떤 측정값이 달성 목표가 되면 그 값은 더 이상 좋은 측정값 구실을 하지 못한다. 대학 성적 등급이 기대치로 굳으면 개인의 수행을 변별하는 힘을 잃는다는 사례가 이 논문의 출발점이었다.
코딩 모델에 이 구도를 대 보면 무엇이 목표가 되었는지가 보인다. 과제 완주율은 자동 채점이 되고, 발표할 수 있는 숫자가 되고, 경쟁 모델과 비교되는 항목이 된다. 유지보수 가능성은 셋 중 어느 것도 되지 못한다. 그러면 완주율은 계속 오르고, 유지보수 가능성은 자원이 완주 쪽으로 몰린 만큼 내려간다. 로나허가 학습 과정에서 무언가 잘못되고 있다고 쓴 문장은 이 구도를 가리킨다. 다만 그의 판단은 출력물을 보고 학습 목표를 거꾸로 추정한 것이라 그 자체로는 가설이다. 가설이 맞는지는 실제 저장소에서 확인해야 한다.
카네기멜런대의 샤이암 아가르왈, 하오 허, 보그단 바실레스쿠가 2026년 1월 공개한 연구가 그 확인 작업에 가깝다(arXiv:2601.13597). 연구진은 에이전트가 만든 풀 리퀘스트를 수집한 AIDev 자료를 써서, 저장소마다 에이전트가 만든 첫 풀 리퀘스트가 올라온 시점을 도입 시점으로 잡았다. 무작위 배정이 없는 관측 자료이므로 대조군을 짝지어 붙이는 준실험 설계로 인과를 추정했고, 유효 범위는 공개 저장소의 월별 집계까지다.
결과는 두 부분으로 나뉜다. 속도 쪽은 조건에 따라 크게 달라졌다. 에이전트가 그 저장소에서 관측된 첫 AI 도구인 경우에는 월 커밋이 평균 36.3퍼센트, 추가된 줄 수가 76.6퍼센트 늘었다. 도입 직후 한 달에는 커밋이 약 111퍼센트, 줄 수가 약 216퍼센트까지 치솟았다. 반면 AI 편집기를 이미 쓰고 있던 저장소에서는 커밋이 3.1퍼센트 늘고 추가된 줄 수는 6.3퍼센트 줄었다. 도입 6개월 뒤에는 이 집단의 추정치가 음수로 내려가 커밋이 약 35퍼센트, 줄 수가 약 61퍼센트 감소했다. 연구진은 이미 AI 도구로 얻을 이득을 흡수한 저장소에서는 조정과 통합에 드는 비용이 국소적인 속도 향상을 상쇄한다고 해석했다.
품질 쪽은 조건을 타지 않았다. 두 집단 모두에서 정적 분석 경고가 약 18퍼센트, 인지 복잡도가 약 39퍼센트 올랐다. 정적 분석은 코드를 실행하지 않고 훑어 의심스러운 곳을 표시하는 검사이고, 인지 복잡도는 사람이 코드의 흐름을 따라가는 데 드는 부담을 분기와 중첩의 구조로 환산한 값이다. 속도 이득이 사라진 집단에서도 이 두 값은 그대로 올랐다. 두 지표 모두 도구가 자동으로 세는 값이며, 사람이 읽어 판단한 결과가 아니다.
이 결과를 그대로 일반화하기 전에 반대 방향의 증거를 함께 보아야 한다. 남덴마크대의 올리베르 알렉산데르 라르센과 마햐르 모가담이 2026년 6월 공개하고 유로마이크로 소프트웨어공학 학술대회(SEAA)에 채택된 연구는 같은 질문을 아키텍처 수준에서 확인했다(arXiv:2606.13298). 자바 저장소 151곳을 골라 그중 74곳에서 에이전트 도입 흔적을 확인하고 나머지 77곳을 성향 점수로 짝지어 대조군으로 삼았으며, 저장소마다 13개월 창을 잡아 월별 스냅샷 1,811개를 분석했다. 결론은 도입 이후 아키텍처 스멜 밀도가 6.7퍼센트 낮아졌다는 것인데, 연구진은 이를 개선으로 읽지 말라고 명확히 했다. 코드량이 늘어난 만큼 분모가 커진 구성 효과이며, 스멜의 절대량이 코드량에 비례해 늘지는 않았다는 뜻이다. 6개월 창 안에서 아키텍처가 나빠졌다는 증거는 찾지 못했다고 적었다.
두 연구는 서로를 부정하지 않는다. 재는 대상이 다르다. 앞의 연구는 함수와 파일 수준의 복잡도와 경고를 재고, 뒤의 연구는 모듈 사이의 의존 구조를 잰다. 함수 안이 읽기 어려워지는 것과 모듈 경계가 무너지는 것은 같은 속도로 진행되지 않으며, 뒤의 연구진 스스로 관찰 창이 6개월로 짧고 대상이 이미 자리를 잡은 기성 프로젝트라는 점을 한계로 들었다. 지금 확인된 것은 이 정도다. 함수 수준의 읽기 어려움은 실측으로 확인되고, 구조 수준까지 번졌다는 증거는 아직 없다.
여기까지는 학습 보상이 원인이라는 설명과 어울린다. 그런데 오픈AI가 아스트라와 함께 낸 개발자 문서를 읽으면 그림이 달라진다. 문서는 이 모델의 기본 행동을 이렇게 적는다. 협업자로 설계되었기 때문에 추가 입력이 결과를 실질적으로 바꿀 수 있는 상황에서는 사용자에게 질문할 가능성이 더 높으며, 그래서 사용자가 알아서 가정하고 밀고 나가기를 기대하는 상황에서도 멈출 수 있다.
같은 문서는 그 성향을 누르는 프롬프트를 예시로 제공한다. 사용자의 의도와 작업 범위를 지시와 앞선 대화에서 추론하고, 행동하는 쪽으로 치우치고, 사용자가 새 작업이나 수정 의사를 밝히면 목표가 완성될 때까지 계속하라는 내용이다. 다른 예시는 더 직접적이다. 사용자의 말이 요청으로 읽히면 그것을 작업 지시로 취급하고, 할 수 있다고 대답하거나 계획을 제시하거나 계속할지 물어보는 선에서 멈추지 말며, 시간이나 토큰을 아끼려고 부분적으로만 만족시키는 해법에 안주하지 말라고 적혀 있다. 마이그레이션 안내의 점검 항목에는 불필요한 승인 중단이라는 이름으로 같은 내용이 다시 올라와 있다. 모델이 진행 전에 자꾸 승인을 구하면 자율 실행 쪽 지침을 쓰라는 안내다.
테스트도 같은 모양이다. 문서는 코딩 작업에서 이 모델이 완료로 판정하기 전에 과하게 검증하는 경향이 있고 작은 작업에서는 필요 이상으로 넓은 테스트가 나올 수 있다고 적은 뒤, 되돌릴 수 있는 작은 변경에는 구현을 그대로 베낀 테스트를 쓰지 말라는 억제 프롬프트를 제공한다. 문체에도 같은 구조가 있다. 문서는 이 모델이 목록과 표를 즐겨 쓴다고 적고, 산문으로 쓰게 만드는 프롬프트와 상투어를 피하게 만드는 프롬프트를 함께 싣는다.
그러니 35시간 무정지 실행을 학습 보상만으로 설명할 수는 없다. 완주를 끝까지 밀어붙이라는 문장은 제조사가 권장 프롬프트로 배포한 문서 안에 평범한 영어로 적혀 있다. 학습 과정을 추정할 필요도 없다. 에이전트 도구를 만드는 쪽은 이 권장안을 하네스 기본값으로 넣고, 사용자는 그 하네스를 받아 쓴다. 사용자가 겪는 묻지 않는 에이전트는 두 층이 겹친 결과다. 완주를 잘한 것으로 치는 평가 체계가 모델을 그 방향으로 당기고, 그 평가를 그대로 옮겨 적은 하네스 프롬프트가 남은 제동을 푼다.
오픈AI가 이런 프롬프트를 문서에 싣는 이유도 구조로 설명된다. 모델을 파는 쪽이 받는 불만은 대개 중간에 멈춘다는 쪽이지 너무 멀리 갔다는 쪽이 아니다. 멈춤은 사용자가 즉시 알아채고 불평할 수 있지만, 지나치게 멀리 간 결과는 몇 주 뒤 다른 사람이 그 코드를 고칠 때 드러난다. 제조사가 관측할 수 있는 신호와 사용자가 나중에 치르는 비용이 어긋나 있고, 문서는 관측 가능한 신호 쪽으로 기울어 있다.
로나허는 자기 실험의 경제성을 커밋당 15.5달러로 계산했다. 이 계산은 비용을 과소평가한다. 35시간 동안 순증한 7만 5천 줄은 누군가 읽어야 병합할 수 있는 분량이고, 그 읽는 시간은 어떤 청구서에도 찍히지 않는다.
이 부담이 실제로 얼마나 되는지를 잰 연구가 있다. 파키스탄 라호르경영대의 시에드 아마르 아스다크를 비롯한 연구진이 소프트웨어 저장소 마이닝 국제학술대회(MSR)에 낸 2026년 논문은 AIDev 자료에서 에이전트로 코드를 만든 사용자 1,719명의 풀 리퀘스트 22,953건을 분석했다(arXiv:2602.23905). 이들을 개발 경력에 따라 둘로 나눈 뒤 제출물과 검토 결과를 비교했다.
경력이 낮은 쪽은 풀 리퀘스트 하나에 커밋을 2.15배, 변경 파일을 1.47배 더 담았다. 그리고 그 제출물은 검토 의견을 4.52배 더 받았고, 수용률이 31퍼센트 낮았고, 병합되거나 닫히기까지 5.16배 오래 열려 있었다. 연구진은 경력이 낮은 사용자가 코드 생성에 집중하면서 검증 부담을 검토자에게 넘긴다고 정리했고, 검토 역량을 늘리지 않은 채 숙련 개발자를 대체하기는 어렵다고 적었다.
같은 자리에 반대 방향의 주장도 있다. 오픈AI의 개발자 문서는 아스트라가 출력 토큰을 적게 쓰면서 더 나은 결과를 내며, 토큰 단가가 높은데도 과제당 추정 API 비용은 이전 모델보다 낮다고 적었다. 이 주장이 사실이라 해도 그것이 답하는 것은 생성 비용이다. 위 연구가 잰 것은 생성된 코드를 사람이 읽고 고치고 되돌리는 데 드는 시간이다. 두 값은 서로를 상쇄하지 않고, 앞의 값이 내려간다고 뒤의 값이 따라 내려가지도 않는다. 오히려 생성이 싸질수록 제출량이 늘고 검토 대기열이 길어지는 방향으로 움직인다.
검토 부담이 커지면 총 소요 시간은 어떻게 되는가. 이 질문을 무작위 대조 실험으로 다룬 사례가 하나 있다. 비영리 연구기관 METR의 조엘 베커, 네이트 러시, 베스 반스, 데이비드 레인이 2025년 7월 공개한 연구다(arXiv:2507.09089).
설계는 이렇다. 자기가 평소 기여하던 성숙한 오픈소스 저장소를 가진 숙련 개발자 16명을 모았다. 참가자들은 해당 저장소에서 평균 5년을 일한 사람들이었다. 이들이 실제로 처리할 과제 246건을 미리 적어 내게 한 뒤, 과제마다 무작위로 AI 사용 허용과 금지를 배정했다. 허용 조건에서 참가자들이 주로 쓴 도구는 커서 프로 편집기와 클로드 3.5 및 3.7 소네트였다. 측정 기간은 2025년 2월부터 6월까지다.
개발자들은 시작 전에 AI를 쓰면 완료 시간이 24퍼센트 줄 것으로 내다봤다. 경제학 전문가 34명은 39퍼센트, 기계학습 전문가 54명은 38퍼센트 단축을 예측했다. 실제 측정값은 19퍼센트 증가였고 신뢰구간은 2퍼센트에서 39퍼센트 사이였다. 화면 녹화를 분석해 보니 AI 허용 조건에서 참가자들은 시간의 약 9퍼센트를 AI가 만든 결과를 검토하고 정리하는 데, 약 4퍼센트를 생성이 끝나기를 기다리는 데 썼다. 마지막 항목이 가장 중요하다. 실험을 다 마친 뒤에도 참가자들은 자신이 20퍼센트 빨라졌다고 답했다. 느려진 것을 겪고 나서도 빨라졌다고 느꼈다.
이 숫자를 지금 상태로 인용하면 틀린다. METR 자신이 2026년 2월 24일 후속 글에서 초기 결과가 현재를 반영하지 못한다고 밝혔다. 연구진은 2025년 8월에 더 큰 표본으로 두 번째 실험을 시작했다. 원래 참가자 10명에 새 참가자 47명을 더해 57명, 저장소 143곳, 과제 800건 이상을 모았다. 그런데 결과를 해석할 수 없다고 판단했다. AI 없이 일하고 싶지 않다는 이유로 참가를 거절하는 개발자가 크게 늘었고, 설문에서 응답자의 30퍼센트에서 50퍼센트가 AI 없이 하기 싫은 과제는 아예 제출하지 않았다고 답했다. 시급을 시간당 150달러에서 50달러로 낮춘 것도 선택 편의를 키웠다. 여러 에이전트를 동시에 돌리는 참가자에게는 과제별 소요 시간 측정 자체가 신뢰할 수 없었다.
그 상태로 계산한 값은 원래 참가자 집단에서 18퍼센트 단축, 신규 참가자 집단에서 4퍼센트 단축이었다. 두 값의 신뢰구간은 모두 0을 포함한다. 연구진은 2026년 초 개발자들이 2025년 초보다 더 빨라졌을 가능성이 높다고 보면서도, 자기들 자료는 그 증가폭에 대한 근거로 삼기에는 약하다고 적었다. 그리고 실험 설계 자체를 바꾸고 있다고 밝혔다.
이 후속 보고가 지우는 것과 남기는 것을 나누어 두는 편이 낫다. 19퍼센트라는 숫자는 2025년 상반기 도구에 대한 값이고 지금 인용할 수 없다. 남는 것은 둘이다. 하나는 체감과 실측이 반대 방향이었다는 관찰이고, 이것은 후속 실험에서도 자기 보고 속도 향상이 과장된다는 형태로 반복됐다. 다른 하나는 측정 자체의 문제다. 개발자들이 AI 없는 조건을 견디지 못하게 되면서, 이득의 크기를 대조 실험으로 재는 일이 어려워졌다. 이 진술의 근거는 참가자 57명을 상대로 한 설문과 면담이며, 효과 크기의 추정치가 아니다. 도구의 효과를 정직하게 재기 어려워진 상태에서 도구의 효과에 대한 확신은 오히려 커졌다.
지금까지의 재료를 한자리에 놓으면 하나의 모양이 나온다. 자동으로 셀 수 있는 값만 목표가 되었고, 그 목표가 학습에도 벤치마크에도 하네스 프롬프트에도 들어갔고, 셀 수 없는 값은 셋 중 어디에도 들어가지 않았다. 사람이 옆에서 보고 있을 때는 이 빈자리를 사람이 메운다. 방향이 어긋나면 멈춰 세우고, 읽기 어려운 코드를 보면 다시 쓰게 한다. 감독을 걷어내면 그 몫이 사라진다.
여기서 구속의 종류가 나뉜다. 읽기 쉽게 쓰라거나 과하게 만들지 말라는 지시는 판정하는 사람이 있어야 작동한다. 검사 시점에 사람이 없으면 지켜졌는지 알 수 없고, 지켜지지 않아도 에이전트는 멈추지 않는다. 반면 기계가 판정할 수 있는 조건은 사람이 없어도 유지된다. 고정된 시험 입력에 대해 기존 구현과 결과가 일치하는지, 같은 입력을 두 번 돌렸을 때 같은 답이 나오는지, 보존되어야 할 물리량의 잔차가 정해진 상한 아래인지 같은 조건이 그렇다. 위반하면 에이전트가 스스로 멈춘다.
이 구분이 특히 무겁게 걸리는 영역이 수치 계산 코드다. 수치해석 프로그램은 틀려도 결과를 낸다. 이산화 방법을 잘못 고르거나 수렴 판정 기준을 잘못 잡아도 프로그램은 끝까지 돌고 숫자를 뱉는다. 통과와 실패로 나뉘는 시험으로는 이런 오류가 잡히지 않고, 사람이 코드를 읽어 수식과 대조해야 잡힌다. 이 영역에서 가독성은 검증 수단 그 자체다. 웹 응용처럼 잘못되면 화면에 바로 드러나는 종류와는 사정이 다르다.
오픈AI의 문서에는 반대 방향의 문장도 있다. 승인을 먼저 구하지 말고, 문맥에서 이미 허가된 일을 다 해서 검토할 수 있는 구체적인 결과를 만든 다음 마지막 단계로 승인을 받으라는 권장안이다. 사람이 판정할 자리를 뒤로 몰되 없애지는 말라는 설계이고, 앞서 본 자율성 강화 프롬프트들과 같은 문서에 들어 있다. 문제는 이 두 방향 가운데 무엇이 하네스 기본값이 되고 사용자에게 어떤 형태로 전달되는지는 문서 밖에서 결정된다.
숙련 개발자들이 최신 코딩 모델을 신뢰하지 못하겠다고 말할 때, 그 불신의 대상은 모델의 능력보다 모델을 둘러싼 구성이다. 앞에서 확인한 것을 논지 기준으로 묶으면 세 종류다.
첫째, 무엇을 잘한 것으로 세는지가 결과를 만든다. 에이전틱 벤치마크는 과제를 끝냈는지를 자동으로 채점하고, 확장 가능성은 채점하지 않는다. 재는 대상을 확장 가능성으로 바꾼 슬롭코드벤치에서는 모델 11종 가운데 어느 것도 문제 하나를 끝까지 풀지 못했고 최고 체크포인트 해결률이 17.2퍼센트에 그쳤다. 굿하트가 통화 지표에서, 스트래선이 대학 평가에서 정리한 것과 같은 구조다.
둘째, 그 영향은 실측으로 확인된다. 오픈소스 저장소를 시차 이중차분으로 분석한 결과 정적 분석 경고가 약 18퍼센트, 인지 복잡도가 약 39퍼센트 올랐고, 속도 이득이 사라진 집단에서도 이 값은 그대로 올랐다. 다만 아키텍처 수준까지 번졌다는 증거는 아직 없다. 자바 저장소 151곳을 6개월 창으로 본 연구는 열화를 찾지 못했고, 관측 기간이 짧고 대상이 기성 프로젝트라는 한계를 스스로 밝혔다. 그리고 비용은 사라지지 않고 검토로 옮겨간다. 경력이 낮은 사용자의 제출물은 검토 의견을 4.52배 더 받고 5.16배 오래 열려 있었다.
셋째, 멈추지 않는 행동은 학습 보상만의 산물이 아니다. 오픈AI 자신의 문서는 이 모델이 결과를 바꿀 만한 상황에서 오히려 더 자주 묻는다고 적은 뒤, 덜 묻고 끝까지 밀어붙이게 만드는 프롬프트를 예시로 배포하고 불필요한 승인 중단을 마이그레이션 점검 항목에 올려놓았다. 묻지 않는 에이전트는 그렇게 구성해서 얻은 결과다. 이 셋을 합치면 원인의 위치가 드러난다. 무엇을 세고 어디서 사람을 부를지를 정하는 층이다.
남는 물음은 측정에 있다. METR이 실험을 접은 이유가 여기 걸린다. 개발자들이 AI 없는 조건을 견디지 못하게 되면서 대조 실험의 성립 조건이 무너졌고, 효과의 크기를 재는 일이 그만큼 어려워졌다. 도구가 널리 퍼질수록 그 도구의 효과를 정직하게 재기가 어려워지는데, 확신은 그 반대 방향으로 자란다. 완주율은 계속 발표되고 유지보수 가능성은 여전히 발표되지 않는 상태가 유지되는 한, 다음 세대 모델의 성적표도 같은 항목만 담게 된다. 그 성적표에 빠진 값이 무엇인지는 몇 달 뒤 그 코드를 고치는 사람이 먼저 알게 된다.