Analysis
2026년의 '취향' 담론은 무엇을 옳게 짚었고, 어디서 검증되지 않은 채 넘어갔는가. 실험 데이터로 확인되는 부분과 아직 주장에 머무는 부분을 나눠 본다.
지난 2월, OpenAI의 샘 올트먼(Sam Altman)은 비기술 인력도 연구 조직에 기여할 수 있다는 취지의 글을 올리면서, 좋은 연구팀을 만드는 요소로 맥락과 취향, 그리고 분야가 어디로 가고 있는지에 대한 감각을 꼽았다. 같은 회사의 사장 그레그 브록먼(Greg Brockman)은 취향이 새로운 핵심 역량이라고 한 줄로 정리했다. Y Combinator의 공동 창업자 폴 그레이엄(Paul Graham)은 2002년에 이미 취향은 객관적이지 않지만 좋은 것을 만들려면 좋은 취향이 필요하다고 썼고, 2026년 2월에 그 논지를 확장했다. 누구나 무엇이든 만들 수 있게 되면 무엇을 만들기로 선택하는지가 차별점이 된다는 것이다. Cloudflare의 최고기술책임자 데인 크네흐트(Dane Knecht)는 여기에 짧게 동의를 붙였다. 만드는 일은 쉬워졌고, 무엇을 만들고 무엇을 만들지 않을지가 어려운 부분이라고.
이 주장들의 공통점은 내용이 아니라 발화 위치에 있다. 넷 다 채용과 투자를 결정하는 자리에 있고, 그중 둘은 생산 자동화를 판매하는 회사를 경영한다. 인력을 줄이는 근거로 자동화를 제시하면서 동시에 인간의 판단은 대체되지 않는다고 말하는 구도다. 이해관계가 주장을 틀리게 만들지는 않지만, 근거를 따로 확인해야 할 이유는 된다.
반론도 같은 달에 나왔다. OthersideAI의 최고경영자 매트 슈머(Matt Shumer)는 널리 읽힌 글에서 OpenAI의 GPT-5.3 Codex를 쓰면서 처음으로 판단 같은 것, 취향 같은 것을 느꼈다고 적었고, 뒤이어 취향과 방향 설정이 인간 고유의 능력일 이유를 모르겠다고 덧붙였다. AI가 학습할 수 있는 것이라면 학습된다는 논리다. 이 반론은 무시하기 어렵다. 취향이 희소하다는 주장의 근거가 대개 일화이기 때문이다.
그래서 이 글은 양쪽 주장을 실험으로 확인할 수 있는 형태로 바꿔 하나씩 따져 본다.
먼저 논의의 좌표를 잡아 둔다. 무언가를 만들어 내놓는 과정은 대략 네 칸으로 나뉜다. 무엇을 좋다고 할지 정하는 칸, 후보를 만드는 칸, 만들어진 후보 대부분을 버리는 칸, 그리고 남은 하나가 결과가 되는 칸이다.
지난 3년간 값이 내려간 것은 두 번째 칸이다. 세 번째 칸의 비용은 거의 그대로 남았고, 오히려 두 번째 칸이 싸진 만큼 처리할 후보가 늘어 부담이 커졌다. 취향 담론이 겨냥하는 지점은 정확히 이 세 번째 칸이다. 다만 담론은 이 칸을 '취향'이라는 한 단어로 덮어 버리는 경향이 있다.
사람이 결과물의 좋음을 얼마나 안정적으로 판정하는지부터 확인해야 한다. 취향이 희소한 자원이라는 주장은 인간의 판단이 신뢰할 만하다는 전제에 서 있기 때문이다.
2023년 Cognitive Research: Principles and Implications에 실린 듀크대 연구진의 실험이 이 전제를 직접 건드린다. 연구진은 전부 AI가 만든 회화 30점을 준비하고, 작품에 붙은 제작자 라벨만 무작위로 바꿨다. 절반에는 인간이 만들었다고 알리고, 절반에는 AI가 만들었다고 알렸다. 그림은 동일했다. 인간 라벨이 붙은 쪽이 선호도와 아름다움, 심오함, 가치 평정에서 유의하게 높게 나왔다. 두 번째 실험에서 그 차이를 매개한 변수가 드러났다. 작품에서 읽히는 서사성과, 제작에 들어갔을 것으로 짐작되는 노력이었다.
2018년의 선행 연구도 같은 방향을 가리키면서 한 가지를 더 보여 준다. 인간 작품에 높은 미적 가치를 부여하는 편향이 확인됐지만, 로봇이 실제로 그림을 그리는 영상을 보여 주자 그 편향이 줄었다. 판정을 움직이는 것은 결과물의 속성이 아니라 제작 과정에 대한 추정이었다.
여기서 두 명제를 붙여서는 안 된다. 하나는 사람의 미적 판정이 귀속 정보에 오염된다는 것이고, 다른 하나는 AI가 판단을 수행한다는 것이다. 라벨 실험이 보여 주는 것은 앞의 것뿐이다. 생성 결과가 라벨 없이는 구별되지 않을 정도로 그럴듯해졌다는 사실과, 그 결과를 만드는 과정 안에 판단이 있었다는 주장은 별개의 문제다.
이 구분은 실무적으로도 중요하다. 사람이 산출물을 검토할 때, 그것을 누가 또는 무엇이 만들었는지 아는 순간 검토의 성격이 바뀐다는 뜻이기 때문이다. 사람이 만들었다고 알면 더 오래 들여다보고, 기계가 만들었다고 알면 트집을 잡을 준비를 하고 본다. 어느 쪽도 대상 자체를 본 것이 아니다.
두 번째 칸이 실제로 얼마나 빨라졌는지는 생각보다 확정하기 어렵다. 이 분야에서 가장 자주 인용되는 데이터가 그 어려움을 그대로 보여 준다.
비영리 연구기관 METR은 2025년 7월, 무작위 대조 시험 결과를 공개했다. 자기가 오래 기여해 온 오픈소스 저장소에서 일하는 숙련 개발자 16명에게 실제 과제 246건을 배정하고, 과제마다 AI 도구 사용 허용과 금지를 무작위로 나눴다. 개발자들은 착수 전에 AI가 24% 시간을 줄여 줄 것으로 예상했고, 실험을 마친 뒤에도 20% 빨라졌다고 답했다. 실측값은 반대였다. AI 허용 조건에서 과제 소요 시간이 19% 늘었다. 신뢰구간은 +2%에서 +39%였다.
여기서 멈추면 잘못 읽게 된다. METR은 2026년 2월, 후속 실험의 설계를 바꾼다고 발표했다. 2025년 중 에이전트형 도구가 널리 퍼지면서 AI 없이 일하는 조건 자체를 거부하는 개발자가 늘었고, 설문에서 응답자의 30~50%가 AI 금지로 배정될까 봐 일부 과제를 제출하지 않았다고 답했다. 즉 AI 이득이 큰 개발자와 과제가 표본에서 체계적으로 빠졌다. 재설계 발표에서 METR은 2026년 초에는 실제로 개발자가 빨라졌을 가능성이 높다고 밝히면서, 자기 데이터는 그 크기에 대해 매우 약한 증거일 뿐이라고 덧붙였다. 원 실험 참가자 중 재참여자에게서는 18% 단축, 신규 참가자에게서는 4% 단축이 추정됐고 두 신뢰구간 모두 0을 포함했다.
속도 수치는 이렇게 흔들린다. 흔들리지 않은 것은 다른 항목이다. 체감과 실측이 반대 방향을 가리켰다는 사실, 그리고 그 격차가 사후에도 교정되지 않았다는 사실이다. 자기 보고로 생산성을 관리하는 조직은 부호가 뒤집힌 계기판을 보고 있을 수 있다.
산출량과 산출물의 상태는 별개 축이다. 코드 저장소 분석 도구를 만드는 GitClear는 6억 건 이상의 커밋을 분기마다 갱신해 추적하면서 일곱 개 품질 신호를 관측했다. 2023년 대비 2026년 현재까지의 변화는 한쪽으로 정렬돼 있다.
다섯 줄 이상 연속으로 반복되는 코드 블록은 2023년 백만 줄당 40.3건에서 2026년 73.0건으로 늘었다. 예외를 처리하지 않고 삼켜 버리는 구문이 47% 늘었고, 작성 후 2주 안에 다시 쓰이는 코드의 비중도 15% 늘었다. 반대편에서는 리팩터링에 해당하는 코드 이동이 70% 줄고, 파일 간 함수 호출이 35% 줄었다. 새 코드를 붙여 넣는 쪽으로 습관이 이동했다는 뜻이다.
같은 기간 반대 방향의 데이터도 있다. GitHub이 2024년에 개발자 202명을 대상으로 진행한 무작위 대조 시험에서는 가독성과 신뢰성, 유지보수성, 간결성 지표가 모두 소폭 개선됐다. DORA의 2024년 보고서는 두 결과를 한 문장에 담을 수 있는 형태로 정리했다. 코드 품질 지표는 3.4% 올랐고 배송 안정성은 7.2% 떨어졌다. 개별 함수 수준의 미시 품질과 시스템 수준의 신뢰성이 갈릴 수 있다는 것이다.
이 갈림이 취향 담론의 실질적 내용이다. AI가 만든 코드는 형식이 정돈되고 주석이 붙어 있어 검토 화면에서 좋아 보인다. 반면 churn과 되돌림을 유발하는 항목은 구조 오정렬, 불필요한 중복, 놓친 경계 조건이다. 검토에서 잡아내기 가장 어렵고 지나치기 가장 쉬운 항목들이 늘어난 셈이다. 병목은 생산에서 검토로 옮겨갔고, 검토는 생산과 달리 자동화 이득이 작다.
코드에만 해당하는 얘기가 아니다. Nielsen Norman Group은 자기 회사의 실제 프로젝트를 재료로 삼아 AI 프로토타이핑 도구를 평가했다. 온라인 교육 수강자용 프로필 페이지를 다시 설계하는 과제였고, 요구사항과 스케치, 기존 Figma 파일에서 프롬프트를 뽑아 구체성 수준을 네 단계로 나눈 뒤 도구 세 범주에 각각 넣었다.
결론은 이렇게 정리됐다. 도구는 지시를 따라 일반적인 목표에는 도달하지만, 설계 상충을 저울질하고 근거를 댈 정도의 정교함에는 이르지 못했다. 상세한 프롬프트를 준 조건에서도 간격과 묶음, 위계 같은 미묘한 항목이 빠졌다. 평가진은 그 원인을 패턴 매칭 성향으로 봤다. 가장 흔한 해법으로 끌려가고, 이 맥락에서 가장 적절한 해법으로는 가지 않는다는 것이다. 그래서 결과물이 멀리서는 괜찮고 가까이서는 아니게 된다.
이 평가 이후 도구는 개선됐다. 팀의 실제 컴포넌트와 브랜드 규격을 읽어 생성하는 제품들이 나오면서, 산출물이 일반적으로 보이는 문제는 상당히 해결됐다. 그런데 해결된 것은 무엇으로 만드는가다. 무엇을 넣고 무엇을 뺄 것인가는 그대로 남는다. 화면에 빈 상태가 그냥 백지로 남아도 되는지, 데모에서 깔끔했던 배치가 실제 데이터의 지저분함을 견디는지는 컴포넌트를 주입해서 답이 나오는 질문이 아니다. 애초에 생산 문제가 아니었기 때문이다.
취향 담론을 옹호할 실증 근거를 하나만 고르라면 이것이다. 2024년 Science Advances에 실린 실험에서 연구진은 작가 293명에게 짧은 소설을 쓰게 하고, 일부에게만 언어모형이 제시한 이야기 아이디어를 제공했다. 평가자 600명이 결과물을 채점했다.
개인 수준에서는 개선이었다. AI 아이디어에 접근한 작가의 이야기는 더 창의적이고 더 잘 썼으며 더 재미있다는 평가를 받았고, 그 효과는 원래 창의성이 낮게 측정된 작가에게서 특히 컸다. 집단 수준에서는 반대였다. AI를 쓴 이야기들은 서로 더 비슷해졌다. 연구진은 이 구조를 사회적 딜레마라고 불렀다. 개인은 이득을 보지만 집단이 만드는 새로움의 폭은 좁아진다.
이것이 무엇을 만들지 고르는 일의 값이 실제로 오르는 이유다. 모든 참여자가 평균으로 수렴하는 생성기를 공유하면, 남들이 만들지 않을 것을 만드는 선택 자체가 희소해진다. 취향 담론이 옳게 짚은 지점은 인간의 미적 우월성이 아니라 이 수렴 구조다.
슈머의 반론으로 돌아가자. 학습할 수 있는 것이면 학습된다는 주장은 검증 가능한 형태로 바꿀 수 있다. 모형이 모형의 출력을 신뢰할 만하게 채점할 수 있는가. 실무에서 이미 널리 쓰이는 방식이라 데이터도 쌓여 있다.
결과는 일관되게 세 종류의 편향을 가리킨다. 위치 편향은 프롬프트 안에서 앞이나 뒤에 놓인 답을 내용과 무관하게 선호하는 현상이고, 장황함 편향은 더 긴 답에 높은 점수를 주는 현상이며, 자기선호 편향은 자기가 생성한 출력에 관대해지는 현상이다. 2023년에 처음 체계적으로 보고된 뒤 반복 확인됐고, 15개 심판 모형과 40개가량의 생성 모형으로 15만 건 이상을 평가한 후속 연구도 위치 편향이 심판 유형 전반에 퍼져 있다고 보고했다. 2026년에 나온 멀티모달 심판 벤치마크에서도 세 편향이 모두 남아 있었으며, 특히 장황함 편향이 위치 편향보다 취약한 지점으로 나타났다.
완화 기법은 존재한다. 선택지 순서를 무작위화하고 양쪽 순서를 모두 평가해 평균을 내면 위치 편향은 상당히 줄고, 길이 정규화와 모형 정체 숨김, 심판 앙상블도 쓰인다. 다만 어느 문헌도 편향이 제거된다고 말하지 않는다.
여기서 판단은 인간 고유의 능력이라고 결론 내리면 근거를 넘어선다. 정확한 결론은 이렇다. 지금의 자동 채점은 내용보다 표면 속성에 반응하며, 특히 자기 출력을 자기가 고르는 구조는 신뢰하기 어렵다. 취향의 희소성은 형이상학적 사실이 아니라 지금 시점의 공학적 상태다. 편향 완화가 진전되면 이 절의 결론도 바뀐다.
흥미로운 비대칭이 하나 남는다. 사람의 판정은 제작자 라벨에 흔들리고, 모형의 판정은 순서와 길이에 흔들린다. 어느 쪽도 대상만 보고 있지 않다. 취향을 인간의 순수한 능력으로 놓는 서술은 3절의 라벨 실험에서 이미 무너진다.
'취향'이라는 단어의 문제는 그것이 틀렸다는 데 있지 않다. 옮길 수 없다는 데 있다. 한 단어로 두면 채용 기준이나 훈련 과정, 평가 항목으로 번역되지 않는다. 그래서 담론은 취향을 갖춘 사람을 뽑겠다는 말까지만 하고 멈춘다. 앞 절들에서 확인된 실패 지점들을 모아 보면 이 단어를 세 층으로 쪼갤 수 있다.
무엇을 최적화할지 쓰는 작업이다. 목적함수가 없으면 후보의 우열을 논할 수 없다. 생성기는 이 칸을 채워 주지 않는다. 프롬프트에 목표를 적는 사람이 이 일을 하고 있고, 대부분의 프롬프트는 이 일을 대충 한다.
두 원칙이 반대 방향을 가리킬 때 어느 쪽이 이기는지 아는 작업이다. 원칙 자체는 책에 적혀 있다. 간격은 관계를 표시하고 위계는 주의를 배분한다는 규칙은 누구나 읽을 수 있다. 읽어서 얻을 수 없는 것은 이 화면에서는 교과서의 답이 틀렸다는 판정이다. 프로토타이핑 도구가 상세한 지시를 받고도 놓친 항목이 정확히 여기에 해당한다.
그럴듯한 후보 더미의 대부분을 버리는 작업이다. 생성 비용이 0에 가까워지면 후보는 무한히 늘어나므로, 이 층에서 필요한 것은 더 보는 능력이 아니라 그만 보는 규칙이다. 지금 조직에서 가장 정비되지 않은 층이기도 하다. 산출량을 세는 지표는 흔하고, 버린 후보와 버린 이유를 세는 지표는 드물다.
이렇게 쪼개면 세 층 모두 관측 가능한 산출물을 남긴다. 첫 층은 명시된 기준으로, 둘째 층은 상충 결정에 붙은 근거로, 셋째 층은 반품률과 재작성률로 남는다. 4절에서 확인한 체감과 실측의 괴리가 여기서 다시 문제가 된다. 산출량과 소요 시간만 재는 계기판은 세 층 중 어느 것도 보여 주지 않는다. 5절의 지표들은 셋째 층이 무너질 때 어떤 신호가 뜨는지를 알려 준다. 2주 내 재작성 비중과 되돌림 비율은 검토가 통과시킨 것 중 통과시키지 말았어야 할 몫이다.
둘째 층과 셋째 층은 대체로 첫 칸부터 손으로 만들어 보는 과정에서 축적된다. 무엇이 어긋나는지를 반복해서 지적받은 사람이 나중에 지적 없이 알아본다. 그런데 지금 신규 인력은 생산 단계를 건너뛰고 검토 단계에 바로 배치된다. 판단을 배우는 지면이 사라지는 셈이다.
이 추론에는 아직 좋은 실증이 없다. 확인되려면 몇 년이 필요하고, 반대 방향의 가능성도 열려 있다. 생산에 쓰던 시간을 검토에 쓰면 검토를 더 빨리 배울 수도 있다. 다만 이 문제가 취향 담론에서 거의 다뤄지지 않는다는 점은 지적해 둘 만하다. 취향을 채용으로 조달할 수 있는 자원으로 보는 위치에서는, 그 자원이 어디서 생산되는지가 질문으로 떠오르지 않는다.
정리하면 이렇다. 라벨 실험은 사람의 판정이 오염된다는 것을 보였을 뿐 AI가 판단한다는 것을 보이지 않았다. 생산성 실험은 속도의 크기에 대해서는 흔들리는 답을 주지만 체감과 실측이 갈린다는 점에서는 흔들리지 않는다. 품질 지표와 프로토타이핑 평가는 부담이 검토로 옮겨갔음을 같은 형태로 가리킨다. 다양성 실험은 무엇을 만들지 고르는 일의 값이 오르는 구조를 보여 준다. 자동 채점 문헌은 그 일을 모형에게 넘기기에는 아직 심판이 표면 속성에 흔들린다고 말한다.
확정할 수 없는 것도 밝혀 둔다. 2026년 현재 AI 도구의 실제 생산성 효과의 크기는 표본 선택 편향 때문에 확정되지 않았고, 코드 품질 신호의 악화가 AI 도입 때문이라는 인과도 관측 데이터로는 확정되지 않는다.
생성기는 후보를 끝없이 내놓지만 언제 그만 보아야 하는지는 알려 주지 않는다. 지금 값이 붙은 자리는 거기다.