2026년 8월 6일, 개발자 블로그 notashelf.dev에 「Taste Is All That's Left」(남은 것은 안목뿐이다)라는 글이 실렸다. 논지는 이렇다. 예전에는 머릿속 구상과 작동하는 프로그램 사이에 몇 주치의 타이핑과 설명서 읽기가 놓여 있었고, 그 비용이 세상에 나오는 결과물의 양을 제한하는 문턱 노릇을 했다. 생성형 AI가 그 문턱을 치웠으므로 이제 무엇을 남기고 무엇을 버릴지 정하는 판단만 사람의 몫으로 남는다.
용어를 먼저 풀어 둔다. 생성형 AI는 글·그림·코드처럼 새로운 내용물을 만들어 내는 인공지능을 가리킨다. 그 중심에 있는 것이 대규모 언어모델(LLM, large language model)로, 인터넷과 책에서 모은 방대한 문장을 학습해 다음에 올 말을 확률로 예측하는 방식으로 작동한다. 이 글에서 계속 나오는 GPT-4는 오픈AI가 만든 그런 모델의 하나다. 여기서 말하는 안목(taste)은 무엇이 좋고 나쁜지를 이유를 대기 전에 알아보는 판단력을 뜻한다. 개인의 기호와는 다른 말이다.
이 글은 해커뉴스와 Lobste.rs 상단에 올랐다. 그런데 댓글에서는 글 자체가 LLM이 쓴 것처럼 읽힌다는 지적이 이어졌다. 작성자는 LLM을 쓰지 않았다고 밝히면서 사후 기록을 덧붙였는데, 그 안에서 자기 글의 품질과 통찰이 떨어졌음을 인정했다. 1년 동안 AI의 출력을 읽고 그 옆에서 매일 작업하는 사이에, 의식적으로 고른 적 없는 그 리듬이 자기 문장에 들어왔다는 것이다.
8월 30일 Christine Lemmer-Webber는 dustycloud.org에 반론을 실었다. 요지는 이렇다. Rick Rubin이나 Steve Jobs처럼 직접 만들지 않으면서 안목만으로 결과를 좌우한 인물은 실재한다. 하지만 그들은 결정권을 쥔 상태에서 평균에서 벗어난 실무자를 골라 썼다. 실무자가 LLM이면 고르는 대상 자체가 평균이다. 그러니 안목은 직접 만들고 실패하는 과정에서만 생기며, 안목을 기르려면 생성형 AI를 쓰지 않는 시간을 길게 확보해야 한다.
두 글은 서로 다른 두 주장을 한데 묶어 놓았다. 하나는 분업에 관한 것으로, AI가 실무를 맡으면 사람에게 판단만 남는다는 내용이다. 다른 하나는 발달에 관한 것으로, 그 판단력은 실무 경험에서만 자란다는 내용이다. Rubin 사례는 앞의 주장을 흔드는 재료일 뿐 뒤의 주장을 떠받치지 못한다. 그리고 실험으로 확인할 수 있는 것은 발달에 관한 주장이다. 도구를 쓴 사람과 쓰지 않은 사람이 나중에 무엇을 얼마나 할 줄 아는지는 실험으로 잰다.
이 물음을 정면으로 측정한 연구가 2025년과 2026년에 나왔다. 두 건 모두 무작위 대조시험이다.
첫 번째는 Hamsa Bastani, Osbert Bastani, Alp Sungu 등이 2025년 6월 미국 국립과학원회보(PNAS)에 실은 「Generative AI without guardrails can harm learning」이다. 튀르키예의 한 고등학교에서 9~11학년 학생 약 1000명을 대상으로 수학 수업 네 차례를 진행했다. 각 수업은 90분이었고 교사의 복습, 보조 도구를 쓰는 연습 시간, 도구 없이 치르는 30분 시험으로 짜였다. 학생들은 세 무리로 나뉘었다. 일반 ChatGPT와 비슷한 화면을 쓰는 무리, 답을 바로 주지 않고 교사가 설계한 힌트만 주도록 지시문을 걸어 둔 무리, 아무 도구도 쓰지 않는 대조군이다.
연습 시간의 성적은 도구를 쓴 두 무리가 확연히 높았다. 일반형은 48%, 힌트형은 127% 올랐다. 문제는 도구를 거둔 뒤의 시험이었다. 일반형을 쓴 학생들의 성적은 애초에 도구를 만져 본 적 없는 대조군보다 17% 낮았다. 연구진은 이를 목발이라는 말로 설명했다. 학생들이 연습 중에 GPT-4에 기대어 문제를 넘겼고, 그렇게 잘 넘길수록 혼자 남았을 때 더 못했다.
두 번째는 Judy Hanwen Shen과 Alex Tamkin이 2026년 1월 28일 arXiv에 올린 「How AI Impacts Skill Formation」이다. 실무 개발자 52명을 26명씩 두 무리로 나누고, 참가자들이 써 본 적 없는 파이썬 라이브러리 Trio로 두 개의 과제를 35분 안에 풀게 했다. 라이브러리란 남이 미리 만들어 둔 기능 묶음을 뜻하고, Trio는 여러 작업을 동시에 굴리는 비동기 처리를 다룬다. 한 무리에는 채팅형 AI 보조를 붙였고 다른 무리에는 붙이지 않았다. 과제가 끝난 뒤 두 무리 모두 도구 없이 27점짜리 퀴즈를 풀었다.
AI를 쓴 무리의 평균이 4.15점 낮았다. 27점 만점에서 17%, 학점으로 두 단계에 해당한다. 통계적으로도 뚜렷했다(Cohen's d=0.738, p=0.010). 그러면서 과제 완료 시간에는 유의한 차이가 없었다. 문항을 유형별로 나눠 보면 차이가 가장 큰 곳은 디버깅, 즉 코드에서 잘못된 부분을 찾아내고 왜 그런지 진단하는 능력이었다. 차이가 가장 작은 곳은 코드 읽기였다.
디버깅에서 가장 크게 벌어졌다는 사실이 이 결과의 골자다. AI가 쓴 코드를 사람이 검토하고 승인하는 방식으로 일이 옮겨 가는 중이라면, 사람에게 마지막까지 필요한 능력은 그 코드가 틀렸을 때 알아채는 능력이다. 실험은 그 능력이 가장 크게 깎였다고 보고했다.
여기까지만 보면 결론은 간단해 보인다. 그런데 두 실험 모두 같은 도구를 쓰고도 손실이 발생하지 않은 집단을 함께 보고했다. 이쪽이 더 중요하다.
PNAS 연구의 힌트형은 일반형과 같은 GPT-4를 썼다. 같은 교실, 같은 진도, 같은 시간이었다. 달랐던 것은 지시문 하나다. 학생이 물으면 답을 내놓지 말고 교사가 미리 설계해 둔 힌트만 주라고 걸어 두었다. 이 무리의 시험 성적은 대조군과 통계적으로 구별되지 않았고, 추정치의 크기 자체가 일반형보다 한 자릿수 작았다. 도구는 그대로 두고 도구가 넘겨받는 일의 종류만 바꿨는데 손실이 사라졌다.
연구진은 학생들이 실제로 무엇을 입력했는지도 분석했다. 일반형을 쓴 학생들이 가장 자주 보낸 첫 메시지는 문제를 그대로 옮겨 붙이거나 답을 알려 달라고 요구하는 것이었다. 힌트형을 쓴 학생들은 회차가 지날수록 자기가 푼 답을 제시하고 확인을 요청하는 쪽으로 옮겨 갔고, 도구와 주고받은 메시지 수도 더 많았다. 한 가지 더 확인해 둘 것이 있다. 연구진이 연습 문제 57개에 대해 일반형에 열 번씩 답을 물어 채점해 보니 정답률이 평균 51%였다. 논리 전개가 틀린 경우가 42%, 계산이 틀린 경우가 8%였다. 그런데도 그 오답이 학생들의 시험 성적에 미치는 영향은 확인되지 않았다. 연구진은 이를 학생들이 답을 이해하지 않고 옮겨 적었다는 근거로 읽었다.
Shen과 Tamkin은 51명분의 화면 녹화를 돌려 보고 AI를 쓰는 방식을 여섯 갈래로 분류했다. 여섯 갈래의 퀴즈 성적은 24%에서 86%까지 벌어졌다. 같은 모델, 같은 과제, 같은 제한 시간이었다.
| 사용 방식 | 인원 | 퀴즈 성적 |
|---|---|---|
| 코드 생성을 통째로 맡김 | 4명 | 40% 미만 (가장 빠름) |
| 처음엔 묻다가 점차 생성으로 넘김 | 4명 | 40% 미만 |
| 오류가 나면 AI에 고쳐 달라고 반복 | 4명 | 40% 미만 (느린 편) |
| 생성한 뒤 이해를 되묻기 | 2명 | 65% 이상 |
| 생성과 설명을 한 번에 요청 | 3명 | 65% 이상 |
| 개념 질문만 하고 코드는 직접 작성 | 7명 | 65% 이상 (높은 쪽에서 가장 빠름) |
Shen & Tamkin(2026)이 화면 녹화 분석으로 분류한 여섯 갈래. 각 무리가 작으므로 개별 수치보다 두 덩어리의 간격을 볼 것.
세 번째 줄이 특히 눈여겨볼 만하다. 오류를 AI에 던져 고쳐 달라고 반복한 사람들은 질문을 가장 많이 했다. 겉으로는 배우는 모습에 가장 가까웠다. 성적은 40%를 넘지 못했고 완료 시간도 느렸다. 질문의 개수가 아니라 질문이 무엇을 요구했느냐가 결과를 정했다. 답을 대신 내 달라는 요청과 왜 그런지 설명해 달라는 요청은 같은 창에 같은 길이로 입력되지만 남는 것이 다르다.
이 결과는 다음 반론에 답한다. 주판 대신 엑셀을 쓴다고 회계사가 회계를 못 배우게 되지는 않으며, 중요한 것은 도구 자체보다 과정과 결과를 능동적으로 검토하느냐라는 반론이다. 앞부분은 맞다. 다만 엑셀과 생성형 AI는 넘겨받는 자리가 다르다. 엑셀은 무엇을 어떻게 계산할지 사람이 정한 다음의 실행을 가져간다. 무엇을 계산할지 정하는 일과 나온 수가 말이 되는지 판정하는 일은 그대로 사람에게 남는다. 생성형 AI는 걸어 둔 조건에 따라 실행만 가져갈 수도 있고, 무엇을 만들지 알아내는 과정까지 통째로 가져갈 수도 있다. PNAS의 일반형과 힌트형이 그 차이였고, 코드 생성을 통째로 맡긴 사람과 개념만 물은 사람의 차이도 그것이었다.
손실이 어느 길로 발생하는지는 Shen과 Tamkin의 녹화 분석에 드러난다. AI를 쓴 무리가 과제 도중 마주친 오류는 참가자당 중앙값 1건이었고, 쓰지 않은 무리는 3건이었다. 두 과제를 한 번도 오류 없이 끝낸 12명 가운데 대조군은 2명뿐이었다.
어떤 오류였는지가 중요하다. 흔한 오류는 변수 이름 오타처럼 개념과 무관한 것들이다. 반면 Trio를 배울 때 나오는 오류 두 가지는 성격이 다르다. 실행을 기다리라는 표시를 빠뜨렸을 때 나오는 경고와, 함수 자체를 넘겨야 할 자리에 실행 결과를 넘겼을 때 나오는 오류다. 이 두 오류를 만나면 비동기 처리의 핵심 개념을 이해하지 않고서는 넘어갈 수 없다. 대조군은 이 오류들을 훨씬 자주 만났고, 퀴즈에서 물은 것도 그 개념들이었다.
이 구도를 설명하는 개념이 인지심리학에 있다. Robin Hogarth, Tomás Lejarraga, Emre Soyer가 2015년 『Current Directions in Psychological Science』에 정리한 친절한 학습 환경과 고약한 학습 환경의 구분이다.
프로그래밍은 이 구분에서 유리한 쪽에 있었다. 코드를 잘못 쓰면 몇 초 안에 오류 메시지가 돌아오고, 그 메시지는 어디가 왜 틀렸는지를 가리킨다. 즉각적이고 모호하지 않은 피드백이라는 친절한 환경의 조건을 갖췄다. 이 조건 때문에 프로그래밍은 검증 장치가 없는 분야보다 안전하다는 위안이 성립할 것 같지만, 실험 결과는 그 위안을 지운다. AI가 오류를 미리 막아 주면 피드백이 아예 발생하지 않는다. 검증 장치가 그대로 작동하고 있어도 그것과 부딪히는 사람이 없으면 배움도 생기지 않는다. 환경 자체는 그대로인데 사람이 그 바깥으로 옮겨진다.
글쓰기나 그림처럼 컴파일러도 시험도 없는 분야는 처음부터 고약한 쪽에 있었다. 잘못 쓴 문장은 오류를 내지 않는다. 몇 달이 지나 남이 지적해 주지 않으면 아무 신호도 오지 않는다. notashelf.dev 작성자가 자기 문장의 변화를 1년이 지나서야, 그것도 남들이 지적한 뒤에야 알아차렸다고 적은 것이 이 환경의 모습이다.
여기서 처방의 문제가 생긴다. 덜 쓰자는 조언은 자기 상태를 알아차린 사람에게만 닿는다. 그런데 실험들이 함께 보고한 것은 그 알아차림이 잘 일어나지 않는다는 사실이다.
비영리 연구기관 METR이 2025년 7월 공개한 무작위 대조시험이 이 어긋남을 가장 선명하게 잰다. 경험 많은 오픈소스 개발자 16명이 자기가 평균 5년씩 다뤄 온 저장소에서 실제 과제 246건을 처리했고, 과제마다 AI 도구 사용을 허용할지 금지할지를 제비뽑기로 정했다. 시작 전 개발자들은 AI를 허용하면 시간이 24% 줄 것으로 예상했다. 실험을 마친 뒤에도 20% 줄었다고 답했다. 측정된 값은 19% 증가였다. 사후 자기 평가와 실측이 39%포인트 어긋났다.
이 수치를 지금 그대로 옮기면 안 된다. METR은 2026년 2월 후속 보고에서 2025년 8월에 시작한 두 번째 실험이 신뢰할 만한 신호를 주지 못했다고 밝혔다. AI 없이 일하기를 원치 않아 참가를 거절하는 개발자가 늘었고, 참가자들도 AI가 크게 도움이 될 과제는 제출을 피했다. 응답자의 30~50%가 그런 이유로 일부 과제를 빼놓았다고 답했다. 원래 참가자 하위 집단에서는 18% 단축, 신규 참가자에서는 4% 단축으로 추정됐으나 두 값 모두 신뢰구간이 0을 넘나든다. METR 자신은 2026년 초의 실제 가속이 2025년 초보다 클 것으로 보면서도 그 크기에 대해서는 자기 자료가 약한 근거라고 적었다.
속도에 관한 결론은 이렇게 흔들린다. 흔들리지 않는 것은 방향이 반대였다는 사실이다. 같은 사람이 같은 일을 하면서, 자기가 빨라졌다고 느낀 그 시간에 실제로는 느려져 있었다.
같은 어긋남이 다른 자료에서도 나온다. PNAS 연구진은 학생들의 자기 평가가 실제 결과보다 낙관적이었다고 적었다. Shen과 Tamkin의 실험에서 AI를 쓴 무리는 과제가 더 쉬웠다고 응답했고, 스스로 배웠다고 느낀 정도는 대조군이 더 높았다. 그리고 마이크로소프트와 카네기멜런대 연구진(Hao-Ping Lee 등)이 2025년 CHI 학회에 발표한 조사에서는 지식노동자 319명이 실제 업무 사례 936건을 제출했는데, AI에 대한 신뢰가 높은 사람일수록 결과를 비판적으로 따져 보는 행동을 덜 했다. 반대로 그 일에 대한 자기 확신이 높은 사람일수록 더 따졌다. 이 설문은 참가자 319명의 자기 보고에 기댄 것이므로 인과의 방향을 말하지 못한다. 인과는 앞의 두 실험이 맡고, 이 설문은 그 조건이 현장에서 어떻게 분포하는지를 보여 준다.
판별의 실패는 만드는 쪽에만 있지 않다. 일러스트레이터 David Revoy는 2026년 8월 5일 자기 그림이 AI 생성물이라고 주장하는 댓글 수십 건을 Reddit, YouTube, Instagram, Facebook에서 모아 공개했다. 손으로 그리는 과정을 타임랩스로 올려 왔는데도 그런 댓글은 계속 늘었다. 그는 20년 넘게 온라인에 쌓아 온 자기 그림이 동의 없이 학습 자료로 쓰였다는 사실도 함께 적었다. 사람이 만든 것과 기계가 만든 것을 독자가 구별하지 못하는 상태에서는, 잘 만들어 놓아도 그 사실이 신호로 돌아오지 않는다.
안목이 만들어 보는 과정에서 자란다는 주장은 실험으로 지지된다. 도구를 쓰고 배운 학생과 개발자는 도구를 거둔 자리에서 대조군보다 낮은 점수를 받았다. 개발자 실험에서는 그 차이가 개념 이해와 디버깅에 몰렸다. 다만 같은 실험들이 함께 보여 준 것은 위임의 위치가 결과를 정한다는 사실이다. 답을 주지 말고 힌트만 주라고 지시문을 건 무리에서는 손실이 사라졌고, 개념만 묻고 코드는 직접 쓴 참가자들은 가장 높은 점수를 받았다. 손실은 특정한 경로로 발생했다. 사람이 오류와 부딪히는 자리가 없어질 때 발생했다.
그리고 그 손실은 당사자에게 보이지 않는다. 자기가 빨라졌다고 느낀 시간에 실제로는 느려져 있었고, 배웠다고 느낀 정도는 실제 성적과 반대로 나왔다. 이것이 개인에게 절제를 요구하는 처방의 약점이다. 절제는 지금 무언가를 잃고 있다는 신호를 받은 사람만 실행할 수 있는데, 그 신호가 도착하지 않는 구조라는 것이 측정된 내용이기 때문이다.
자동화가 기량을 깎는 문제를 먼저 겪은 분야는 다른 길을 택했다. 인지심리학자 Lisanne Bainbridge는 1983년 『Automatica』에 실은 「Ironies of Automation」에서, 자동화가 쉬운 부분을 가져가면 사람에게 남은 어려운 부분이 오히려 더 어려워진다고 정리했다. 조작 기량은 쓰지 않으면 퇴화하는데, 자동화된 시스템에서 사람에게 맡겨진 일은 이상이 생겼을 때 넘겨받는 것이기 때문이다. 항공 분야가 이 지적을 규정으로 옮겼다. 미국 연방항공청(FAA)은 2013년 1월 4일 운항자 안전경보 SAFO 13002를 내어, 자동조종에 계속 의존하면 조종사가 비정상 상태에서 기체를 되찾는 능력이 떨어진다고 밝히고 항공사에 수동 조종을 장려하도록 요구했다. 2017년 SAFO 17007로 내용을 넓히면서 수동으로 훈련해야 할 상황들을 구체적으로 열거했다. SAFO가 요구한 것은 수동 비행을 운항 정책과 정기 훈련 과정에 집어넣는 일이었다. 조종사 개인의 자제에 맡기지 않았다.
소프트웨어 조직에서 이에 대응하는 것은 검토 절차다. 코드 검토가 승인 도장을 찍는 형식으로 굴러가면 오류와 부딪히는 사람이 사라진다. 검토자가 왜 이 설계인지 묻고 제안자가 답해야 하는 절차, 검토 능력이 평가에 반영되는 규칙이 남아 있는 조직에서는 오류와의 접촉이 제도로 보존된다. 실험이 지목한 손실 경로가 그 접촉의 소멸이었으므로, 대응도 그 자리에 놓여야 한다.
측정되지 않은 것도 분명히 해 둘 필요가 있다. 실험들은 모두 짧다. Shen과 Tamkin의 관찰은 한 시간짜리였고 PNAS 연구는 수업 네 차례였다. 몇 달에서 몇 년에 걸친 기량 형성을 측정한 자료는 아직 없다. 두 연구 모두 채팅형 보조를 썼다는 한계도 있다. Shen과 Tamkin은 사람이 질문을 짜는 과정조차 필요 없는 자율형 도구에서는 손실이 더 클 것으로 예상하면서도 그것을 재지는 못했다고 적었다. 지금 현장에서 빠르게 늘고 있는 것이 바로 그 자율형 도구다. 어떤 절차를 어디에 걸어야 하는지 정하려면 그 구간의 자료가 필요하고, 그 자료는 아직 나오지 않았다.