강연 정리 · AI & 소프트웨어
소프트웨어가 또 바뀌고 있다
안드레이 카파시(Andrej Karpathy)가 말하는 'Software 3.0' — 영어가 프로그래밍 언어가 되고, 대규모 언어 모델이 새로운 컴퓨터가 되는 시대
소프트웨어는 70년 가까이 근본 구조가 거의 바뀌지 않았다. 그런데 카파시는 최근 몇 년 사이에 그 토대가 두 번이나 빠르게 흔들렸다고 본다. 그가 정리한 변화의 지도는 단순하다. 소프트웨어 1.0은 사람이 짠 코드, 2.0은 데이터로 학습한 신경망의 가중치, 그리고 3.0은 영어로 작성하는 프롬프트다. 이 글은 그 강연의 흐름을 따라가며, 비전공자도 그림과 비유로 이해할 수 있게 핵심을 정리한 것이다.
01코드에서 가중치, 다시 프롬프트로
핵심 메시지: 프로그래밍 패러다임이 세 개로 늘었고, 셋 다 다룰 줄 알아야 한다.
카파시는 2017년에 이미 '소프트웨어 2.0'이라는 개념을 제시했다. 소프트웨어 1.0이 사람이 컴퓨터에게 직접 명령을 적어 넣는 코드라면, 2.0은 신경망의 가중치다. 개발자가 코드를 한 줄씩 쓰는 대신, 데이터셋을 다듬고 최적화기를 돌려 가중치를 만들어 낸다. 1.0의 저장소가 깃허브(GitHub)라면, 2.0의 저장소는 허깅페이스(Hugging Face)인 셈이다.
그가 이번에 새로 더한 것이 소프트웨어 3.0이다. 대규모 언어 모델 LLM (Large Language Model, 대규모 언어 모델)이 등장하면서 신경망이 프로그래밍 가능한 대상이 되었기 때문이다. 이제 프롬프트가 곧 프로그램이고, 그 프로그램은 놀랍게도 영어로 작성된다. 같은 작업(예를 들어 문장의 감정 분류)을 두고 파이썬 코드를 짤 수도, 신경망을 학습시킬 수도, 또는 LLM에 몇 개의 예시를 프롬프트로 줄 수도 있다. 세 가지 방식이 공존한다.
가장 핫한 새 프로그래밍 언어는 영어다.안드레이 카파시
카파시는 테슬라 오토파일럿(Autopilot) 개발을 사례로 든다. 처음에는 방대한 C++ 코드가 차의 조향과 가속을 담당했고, 그 안에 이미지 인식을 맡은 신경망이 일부 들어 있었다. 그런데 자율주행 성능이 좋아질수록 신경망의 역할과 크기가 커졌고, C++ 코드는 점점 지워졌다. 여러 카메라와 시간축의 정보를 꿰매는 작업까지 신경망이 흡수하면서, 2.0이 1.0 스택을 말 그대로 먹어 치웠다는 것이다. 그는 지금 같은 일이 3.0에서 다시 벌어지고 있다고 본다.
정리
1.0은 코드, 2.0은 가중치, 3.0은 프롬프트다. 산업에 들어선다면 어떤 기능을 명시적 코드로 짤지, 신경망을 학습시킬지, LLM에 프롬프트만 줄지를 그때그때 판단하고 세 패러다임을 자유롭게 오갈 수 있어야 한다.
02LLM은 무엇인가 — 전기, 반도체 공장, 그리고 운영체제
핵심 메시지: LLM은 유틸리티이자 반도체 공장이지만, 가장 잘 맞는 비유는 운영체제다.
카파시는 LLM의 정체를 세 겹의 비유로 풀어낸다. 첫째는 전기 같은 공공 유틸리티다. 앤드루 응(Andrew Ng)이 오래전 "인공지능은 새로운 전기"라고 말한 그대로다. LLM 개발사들은 자본적 지출 capex (Capital Expenditure, 자본적 지출)로 모델을 학습시키는데, 이는 발전 설비를 짓는 일에 해당한다. 그리고 운영 지출 opex (Operating Expenditure, 운영 지출)로 그 지능을 API (Application Programming Interface, 응용 프로그래밍 인터페이스)를 통해 우리에게 공급한다. 우리는 토큰 단위로 요금을 내고, 낮은 지연과 높은 가동률, 일관된 품질을 요구한다. 전기처럼 공급원을 갈아 끼우는 전환 스위치도 있다. 오픈라우터(OpenRouter) 같은 서비스로 모델을 손쉽게 바꿀 수 있기 때문이다.
⊙ 비유로 이해하기 — 지능의 정전
전력망의 전압이 불안정해지면 도시 전체가 멈칫하듯이, 최신 LLM이 다운되면 세상 전체가 잠시 멍청해진다. 카파시는 이를 '지능의 정전(intelligence brownout)'이라고 부른다. 우리가 이 모델들에 의존할수록, 그 정전의 충격도 함께 커진다.
둘째는 반도체 공장(fab)이다. LLM을 만드는 데 드는 자본은 발전소 수준을 넘어선다. 깊은 기술 트리와 연구 비밀이 소수의 LLM 연구소 안으로 집중된다. 엔비디아 GPU (Graphics Processing Unit, 그래픽 처리장치)만 쓰고 하드웨어는 만들지 않으면 팹리스(fabless) 모델에, 구글처럼 자체 칩 TPU (Tensor Processing Unit, 텐서 처리장치) 위에서 직접 학습시키면 공장을 소유한 인텔 모델에 가깝다. 다만 LLM은 결국 소프트웨어라 하드웨어만큼 방어가 단단하지는 않다는 단서가 붙는다.
셋째이자 카파시가 가장 적절하다고 보는 비유는 운영체제 OS (Operating System, 운영체제)다. LLM은 수도꼭지에서 나오는 단순한 상품이 아니라 점점 복잡해지는 소프트웨어 생태계다. 소수의 폐쇄형 공급자(윈도우나 macOS에 해당하는 GPT, Claude, Gemini)와 오픈소스 대안(리눅스의 초기 모습에 가까운 라마 계열)이 경쟁하는 구도까지 닮았다. 커서(Cursor) 같은 LLM 앱을 GPT 위에서도, Claude 위에서도, Gemini 위에서도 드롭다운 하나로 바꿔 실행할 수 있는 모습은 운영체제 위에서 같은 앱을 돌리는 것과 같다.
이 비유를 도식으로 옮기면, LLM은 연산을 맡는 중앙처리장치 CPU (Central Processing Unit, 중앙처리장치)에, 컨텍스트 윈도우는 작업 메모리 RAM (Random Access Memory, 임의접근기억장치)에 대응한다. 모델은 이 메모리와 연산을 조율하면서 웹 검색, 코드 실행, 멀티모달 입력 같은 도구를 주변 장치처럼 불러 쓴다. 우리가 챗봇과 텍스트로 대화하는 것은 운영체제를 터미널로 다루는 느낌에 가깝고, 모든 작업을 아우르는 범용 그래픽 사용자 인터페이스 GUI (Graphical User Interface, 그래픽 사용자 인터페이스)는 아직 발명되지 않았다.
03지금은 컴퓨팅의 1960년대다
핵심 메시지: 연산이 비싸 모든 것이 클라우드에 집중된, 시분할 메인프레임 시대를 다시 살고 있다.
카파시는 지금을 1960년대 컴퓨팅에 빗댄다. LLM 연산은 여전히 비싸서 클라우드에 중앙집중될 수밖에 없고, 우리는 네트워크 너머의 거대한 컴퓨터에 접속하는 단말에 불과하다. 누구도 이 컴퓨터를 혼자 다 쓰지 못하니, 여러 사용자의 요청을 묶어 처리하는 시분할(time-sharing) 방식이 자연스럽다. 개인용 컴퓨터 혁명에 해당하는 단계는 아직 오지 않았다. 다만 맥 미니(Mac mini) 같은 기기가 일부 모델 추론에 잘 맞는다는 점은 개인용 컴퓨팅의 초기 신호일 수 있다고 그는 덧붙인다.
⊙ 비유로 이해하기 — 거꾸로 흐르는 기술
전기, 암호, 컴퓨터, 비행, 인터넷, 위성항법 같은 기술은 보통 정부와 대기업이 먼저 쓰고, 한참 뒤에야 소비자에게 내려왔다. 초기 컴퓨터의 첫 용도가 탄도 계산이었던 식이다.
그런데 LLM은 방향이 뒤집혔다. 가장 강력한 신기술이 소비자의 손에 먼저 쥐어졌고, 사람들은 그것으로 달걀 삶는 법을 묻는다. 오히려 정부와 기업이 도입에서 뒤처져 있다. 챗봇이 하룻밤 사이에 수십억 명의 컴퓨터로 내려온 것은 전례 없는 일이다.
04LLM의 심리 — 사람의 영혼을 닮은 존재
핵심 메시지: LLM은 초인적 능력과 인지적 결함을 동시에 지닌, 사람을 닮은 시뮬레이션이다.
카파시는 LLM을 '사람의 영혼(people spirits)'이라고 부른다. 인터넷의 방대한 텍스트로 학습된 탓에, 사람을 닮은 심리가 창발(創發)했다는 것이다. 이들의 능력과 결함을 동시에 이해해야 제대로 부릴 수 있다.
먼저 초능력이 있다. 백과사전적 지식과 기억이다. 한 사람이 외울 수 있는 양을 훨씬 넘어선다. 카파시는 영화 '레인 맨'의 자폐 서번트가 전화번호부를 통째로 외우는 장면에 빗댄다. 어떤 문제 영역에서는 인간을 능가한다.
그러나 인지적 결함도 뚜렷하다. 사실을 그럴듯하게 지어내는 환각(hallucination)이 있고, 자신이 무엇을 아는지에 대한 내부 모델이 부실하다. 능력이 들쭉날쭉한 '톱니형 지능(jagged intelligence)'도 특징이다. 어떤 문제는 초인적으로 풀면서, 사람이라면 하지 않을 실수를 한다. 9.11이 9.9보다 크다고 우기거나, 'strawberry'에 들어 있는 알파벳 r이 실제로는 세 개인데 두 개라고 고집하는 식의 사례가 유명하다.
⊙ 비유로 이해하기 — 매일 기억이 지워지는 동료
새 동료는 시간이 지나며 조직을 익히고, 밤에 잠을 자며 지식을 정리해 전문성을 쌓는다. 그런데 LLM은 이런 장기 기억 통합을 기본적으로 하지 못한다. 컨텍스트 윈도우가 곧 작업 기억이며, 우리가 그 기억을 매번 직접 채워 넣어야 한다.
영화 '메멘토'나 '첫 키스만 50번째'의 주인공처럼, 가중치는 고정돼 있고 작업 기억은 아침마다 지워진다. 이 상태로 일을 하거나 관계를 맺으려면 매번 맥락을 다시 적어 줘야 한다.
보안 측면의 한계도 있다. LLM은 잘 속는다. 프롬프트 인젝션(prompt injection) 공격에 취약하고, 데이터를 흘릴 위험도 있다. 결국 초인적이면서도 결함투성이인 이 존재의 약점을 우회하고 강점을 누리도록 설계하는 일이 관건이 된다.
05부분 자율 앱과 자율성 슬라이더
핵심 메시지: 완전 자율 에이전트가 아니라, 사람이 통제권을 쥔 '부분 자율' 제품을 만들어야 한다.
카파시가 가장 기대하는 기회는 '부분 자율(partial autonomy)' 앱이다. 코딩을 예로 들면, 챗봇에 코드와 버그 리포트를 일일이 복사해 붙여 넣는 대신, 그 일에 특화된 앱을 쓰는 편이 낫다. 커서가 대표적이다. 그는 좋은 LLM 앱이 공유하는 속성을 이렇게 정리한다. 첫째, 앱이 컨텍스트 관리를 대신 해 준다. 둘째, 여러 모델 호출을 조율한다(임베딩, 채팅, 코드 수정 적용 모델 등). 셋째, 작업에 맞는 전용 GUI가 있다. 넷째, 자율성의 정도를 조절하는 '자율성 슬라이더'가 있다.
커서의 자율성 슬라이더는 구체적이다. 탭 자동완성처럼 사람이 대부분을 통제하는 단계, 코드 한 덩어리만 바꾸는 단계, 파일 전체를 손보는 단계, 그리고 저장소 전체를 맡기는 완전 자율 단계까지 펼쳐진다. 사용자가 작업의 복잡도에 맞춰 슬라이더를 조절한다. 검색 도구인 퍼플렉시티(Perplexity)도 같은 패턴이다. 정보를 묶어 주고, 여러 모델을 조율하며, 인용한 출처를 사용자가 검증할 수 있게 보여 주고, 빠른 검색부터 깊은 리서치까지 자율성을 단계별로 제공한다.
그래서 카파시는 묻는다. 앞으로 많은 소프트웨어가 부분 자율로 바뀐다면, 우리 제품과 서비스는 어떻게 부분 자율이 될 것인가. LLM이 사람이 보는 것을 모두 볼 수 있는가, 사람이 하는 모든 행동을 할 수 있는가, 그리고 사람이 그 활동을 감독하며 루프 안에 머무를 수 있는가. 이 질문에 답하려면 사람을 위해 설계된 기존 인터페이스의 수많은 스위치와 메뉴가 LLM도 접근할 수 있는 형태로 바뀌어야 한다.
06생성-검증 루프를 빠르게 돌려라
핵심 메시지: AI가 생성하고 사람이 검증하는 루프의 회전 속도가 생산성을 좌우한다.
카파시가 충분히 주목받지 못한다고 보는 지점이 여기다. 우리는 지금 AI와 협업하면서, 대개 AI가 생성하고 사람이 검증한다. 이 루프를 최대한 빠르게 돌리는 것이 곧 생산성이다. 방법은 두 가지다. 하나는 검증을 가속하는 것이고, 다른 하나는 AI를 통제하는 것이다.
검증을 가속하는 가장 강력한 수단은 GUI다. 텍스트를 읽는 일은 수고스럽지만, 무언가를 눈으로 보는 일은 빠르고 즐겁다. 코드 변경을 빨강과 초록의 차이로 보여 주고 단축키로 수락하거나 거절하게 하면, 결함이 있는 시스템의 결과물을 사람이 훨씬 빠르게 점검할 수 있다. 시각적 표현은 사람의 시각 처리 능력을 곧장 두뇌로 연결하는 고속도로인 셈이다.
다른 한 축은 AI를 목줄에 묶어 두는 것이다. 카파시는 많은 사람이 에이전트에 지나치게 흥분한다고 본다. 코드 1만 줄짜리 변경이 순식간에 쏟아져도, 버그와 보안 문제가 없는지 확인하는 사람이 여전히 병목이다. 그래서 그는 자신의 작업에서 늘 작은 단위로 끊어 진행하고, 한 번에 하나의 구체적 일만 시키며 루프를 빠르게 돌린다. 프롬프트가 모호하면 AI가 엉뚱한 결과를 내고 검증이 실패하므로, 처음에 시간을 조금 더 들여 구체적으로 지시하는 편이 결국 빠르다.
⊙ 비유로 이해하기 — AI에게 교과서를 쥐여 주기
카파시는 교육을 예로 든다. 챗봇에 "물리학을 가르쳐 줘"라고만 하면 AI는 숲에서 길을 잃는다. 그래서 그는 두 개의 앱으로 나눈다. 하나는 교사가 강의를 설계하는 앱, 다른 하나는 그 강의를 학생에게 전달하는 앱이다.
중간에 '강의'라는 점검 가능한 산출물을 두면, 내용이 일관되고 정확한지 사람이 확인할 수 있다. AI는 정해진 커리큘럼이라는 목줄에 묶여 길을 잃지 않는다. 이것이 부분 자율이 잘 작동하게 만드는 방식이다.
07오토파일럿이 주는 교훈, 그리고 아이언맨
핵심 메시지: 자율주행이 그랬듯, 자율 소프트웨어도 한 해가 아니라 10년이 걸리는 일이다.
카파시는 테슬라에서 5년간 부분 자율 제품을 만들었다. 계기판에는 신경망이 무엇을 보는지 보여 주는 GUI가 있었고, 재임 기간 동안 자율성 슬라이더를 조금씩 오른쪽으로 옮겨 더 많은 작업을 자동화했다. 그가 처음 자율주행차를 탄 것은 2013년이다. 구글의 자율주행 프로젝트(이후 웨이모로 분사)에서 일하던 친구 덕에 팰로앨토를 30분간 달렸는데, 단 한 번의 개입도 없는 완벽한 주행이었다. 그때는 자율주행이 임박했다고 느꼈다.
그러나 12년이 지난 지금도 자율주행은 여전히 진행 중이다. 거리의 무인차는 운전자가 없어 보여도 그 뒤에는 상당한 원격 조작과 사람의 개입이 남아 있다. 그래서 그는 "2025년은 에이전트의 해"라는 구호에 오히려 경계심을 느낀다. 이것은 한 해의 일이 아니라 '에이전트의 10년'이며, 사람을 루프 안에 두고 신중하게 가야 하는 소프트웨어라는 것이다.
⊙ 비유로 이해하기 — 로봇이 아니라 슈트를
아이언맨 슈트는 토니 스타크가 직접 조종하는 증강 장치이면서, 때로는 스스로 날아다니는 자율 에이전트이기도 하다. 자율성 슬라이더의 양 끝을 한 몸에 담고 있는 셈이다.
카파시의 결론은 명확하다. 결함 있는 LLM과 일하는 지금 단계에서는, 화려한 자율 로봇 데모보다 사람을 빠르게 보조하는 '아이언맨 슈트'를 만들어야 한다. 다만 언젠가 이 일을 자동화할 수 있다는 가능성을 놓치지 말고, 제품에 자율성 슬라이더를 두어 시간이 지날수록 오른쪽으로 밀어 가야 한다.
08바이브 코딩 — 이제 누구나 프로그래머다
핵심 메시지: 영어로 프로그래밍하게 되면서, 소프트웨어 제작의 진입장벽이 무너졌다.
3.0의 또 다른 특이점은 프로그래밍 언어가 영어라는 점이다. 자연어를 쓰는 사람이라면 누구나 프로그래머가 될 수 있다. 무언가를 만들려고 5년에서 10년을 공부해야 하던 시절은 끝나가고 있다. 카파시가 2025년 2월에 던진 '바이브 코딩(vibe coding)'이라는 표현은, 정확한 프롬프트를 다듬기보다 영어로 하고 싶은 바를 흘려보내며 AI에게 코드를 맡기는 방식을 가리킨다. 본인도 흥할 줄 몰랐다는 이 트윗은 거대한 밈이 되어 위키백과 항목까지 생겼다. (이 표현은 콜린스 영어사전이 2025년 올해의 단어로 선정했다.)
그는 직접 해 보았다. 스위프트(Swift)를 다룰 줄 모르는데도 기본적인 iOS 앱을 만들어 그날 저녁 휴대폰에서 돌렸다. '메뉴젠(MenuGen)'이라는 웹 앱도 만들었다. 식당 메뉴를 사진으로 찍으면 각 메뉴의 이미지를 생성해 보여 주는 서비스로, 지금도 menugen.app에서 쓸 수 있다. 메뉴에 적힌 음식이 뭔지 몰라 답답했던 경험에서 출발한 앱이다.
바이브 코딩의 진짜 교훈
코드를 짜는 일은 오히려 쉬웠다. 어려운 것은 '진짜 제품으로 만드는' 과정이었다. 인증, 결제, 도메인, 배포 같은 개발-운영 DevOps (Development and Operations, 개발-운영) 작업이 일주일을 잡아먹었다. 대부분은 코드 편집기가 아니라 브라우저에서 탭을 옮겨 다니며 설정을 클릭하는 일이었다. 구글 로그인 하나를 붙이는 데도 라이브러리 문서가 "이 주소로 가서, 이 메뉴를 누르고, 저것을 선택하라"고 지시했다. 컴퓨터가 사람에게 클릭하라고 시키는 셈이다.
09에이전트를 위한 인프라를 짓자
핵심 메시지: 이제 디지털 정보의 새로운 소비자인 에이전트가 읽고 행동할 수 있게 인프라를 바꿔야 한다.
그 클릭 작업을 사람이 아니라 에이전트가 대신할 수는 없을까. 카파시는 디지털 정보를 소비하고 다루는 새로운 주체가 등장했다고 본다. 사람도 컴퓨터도 아닌, 사람을 닮은 에이전트다. 우리는 이들을 위해 인프라를 지을 수 있다. 웹 크롤러에게 행동 지침을 주는 robots.txt가 있듯이, 도메인이 무엇에 관한 것인지 LLM에게 알려 주는 llms.txt 같은 마크다운 파일을 둘 수 있다. LLM이 사람용 HTML을 억지로 파싱하다 틀리게 두는 것보다, 읽기 쉬운 형식으로 직접 말해 주는 편이 낫다.
문서를 LLM이 읽기 좋은 형태로 바꾸는 움직임도 시작됐다. 버셀(Vercel)과 스트라이프(Stripe)는 문서를 마크다운으로 제공하는 선도 사례다. 단순히 형식만 바꾸는 게 아니라 내용도 손봐야 한다. 문서에 "여기를 클릭하라"고 적혀 있으면 LLM은 그 행동을 할 수 없으므로, 버셀은 '클릭'을 에이전트가 대신 실행할 수 있는 명령(curl)으로 바꿔 놓는다. 앤트로픽(Anthropic)이 만든 모델 컨텍스트 프로토콜 MCP (Model Context Protocol, 모델 컨텍스트 프로토콜)도 에이전트에게 직접 말을 거는 또 하나의 방법이다.
데이터를 LLM 친화적으로 떠먹여 주는 작은 도구들도 늘고 있다. 깃허브 저장소 주소를 깃인제스트(gitingest)로 바꾸면 모든 파일이 하나의 텍스트로 합쳐져 그대로 LLM에 붙여 넣을 수 있고, 딥위키(DeepWiki)는 저장소를 분석해 문서 페이지를 만들어 준다. 카파시는 수학 애니메이션 라이브러리 매님(Manim, 3Blue1Brown 제작)의 문서를 통째로 LLM에 붙여 넣어 원하는 애니메이션을 바이브 코딩했던 경험을 든다. 언젠가 LLM이 직접 화면을 클릭하는 날도 오겠지만, 당분간은 우리가 중간 지점까지 마중 나가 정보를 떠먹여 주는 편이 값지다는 것이다.
정리 — 지금은 LLM의 1960년대다
카파시의 메시지를 한데 모으면 이렇다. 다시 써야 할 코드가 산더미처럼 쌓여 있다. LLM은 유틸리티이자 반도체 공장이지만 무엇보다 운영체제에 가깝고, 그 운영체제는 아직 1960년대처럼 초기 단계다. 모델은 초능력과 결함을 함께 지닌 '사람의 영혼'이며, 우리는 그 존재와 일하는 법을 익혀야 한다. 그러려면 인프라를 에이전트에 맞게 조정하고, 생성-검증 루프를 빠르게 돌리는 부분 자율 제품을 만들어야 한다. 그리고 향후 10년에 걸쳐 자율성 슬라이더를 왼쪽에서 오른쪽으로 천천히 밀어 가게 될 것이다.
덧붙임 — 그 후의 이야기
이 강연 약 1년 뒤인 2026년, 카파시는 세쿼이아(Sequoia)의 행사에서 본인의 메뉴젠 앱이 제미나이의 이미지 기능 한 번으로 무력화되는 것을 보고 충격을 받았다고 밝혔다. 그는 '바이브 코딩'을 넘어 '에이전틱 엔지니어링(agentic engineering)'을 제시한다. 바이브 코딩이 누구나 소프트웨어를 만들 수 있게 바닥을 높였지만, 규모가 커지면 감독 부재, 누적되는 기술 부채, 조용히 스며드는 보안 취약점이라는 실패 양상이 나타난다는 것이다. 전문 소프트웨어의 품질 기준을 지키는 것이 에이전틱 엔지니어링이며, 사람의 역할은 코드를 직접 쓰는 데서 에이전트를 지시하고 결과를 검토하며 실패를 잡아내고 품질을 유지하는 쪽으로 옮겨 간다. 본 강연에서 그가 그린 '자율성 슬라이더를 오른쪽으로'라는 궤적과 정확히 이어지는 후속편인 셈이다.
출처 및 더 보기
Andrej Karpathy, "Software Is Changing (Again)", Y Combinator AI Startup School, 2025년 6월 17일.
영상: youtube.com/watch?v=LCEmiRjPEtQ
메뉴젠 회고: karpathy.bearblog.dev/vibe-coding-menugen