jacobhan.me

강연 정리 · AI & Startups

AI로 더 빠르게 만들기
앤드루 응의 스타트업 실행론

앤드루 응(Andrew Ng)이 와이콤비네이터(Y Combinator) AI 스타트업 스쿨에서 한 강연 "Building Faster with AI"를 정리한 글이다. 그의 주장은 한 단어로 압축된다 ― 속도. 그러나 그 속도가 어디서 나오는지에 대한 설명이 이 강연의 알맹이다.

출처: 앤드루 응, "Building Faster with AI", Y Combinator AI Startup School (미국 샌프란시스코, 2025년 6월) · 본문은 강연 녹취를 토대로 재구성한 해설이며, 굵은 표시와 비유 박스는 이해를 돕기 위해 글쓴이가 덧붙인 것이다.


앤드루 응은 온라인 교육 플랫폼 코세라(Coursera), 교육 기업 딥러닝닷에이아이(DeepLearning.AI), 그리고 벤처 스튜디오 AI 펀드(AI Fund)를 만든 인물이다. 이 강연에서 그가 내세운 자격은 화려한 이력이 아니라 손에 흙을 묻힌 경험이었다. AI 펀드는 평균 한 달에 한 개꼴로 스타트업을 직접 공동창업하는 곳이고, 응의 팀은 그 안에서 코드를 짜고 고객과 이야기하고 기능을 설계하며 가격을 정한다. 남이 만드는 것을 구경한 경험이 아니라, 수십 번 직접 만들어 본 경험에서 길어 올린 이야기라는 뜻이다.

01왜 하필 '속도'인가

응은 스타트업의 성공 확률을 가장 잘 예측하는 변수 중 하나로 실행 속도를 꼽는다. 그는 "일을 정말 빠르게 해내는 창업자와 임원을 깊이 존경한다"고 말한다. 그리고 새로운 AI 기술이 바로 그 속도를 끌어올리고 있다고 본다.

다만 한 가지 단서를 단다. 이 분야에서 '빠르게 가는 방법'에 관한 모범 사례는 2-3개월마다 바뀐다는 것이다. 그래서 이 강연의 조언도 영구 진리가 아니라 지금 이 순간의 최적해에 가깝다. 속도를 다루는 강연이 정작 "내가 말하는 방법조차 곧 낡는다"는 경고로 시작한다는 점이 인상적이다.

02기회는 어디에 있나 ― AI 스택의 꼭대기

창업을 고민하는 사람들이 가장 자주 던지는 질문이 "기회가 어디 있느냐"다. 응은 AI 산업을 층층이 쌓인 '스택(stack)'으로 그린다. 맨 아래에 반도체 회사가 있고, 그 위에 클라우드를 운영하는 거대 사업자(하이퍼스케일러)가 있으며, 다시 그 위에 파운데이션 모델 기업이 올라간다. 언론과 소셜미디어의 흥분은 대부분 이 기술 계층에 쏠려 있다.

그런데 응의 결론은 정반대 방향을 가리킨다. 거의 정의상, 가장 큰 기회는 애플리케이션 계층에 있을 수밖에 없다. 논리는 단순하다. 애플리케이션이 매출을 일으켜 줘야, 그 수익으로 아래에 있는 파운데이션 모델·클라우드·반도체 비용을 감당할 수 있기 때문이다. 무슨 이유에서인지 미디어는 애플리케이션 계층을 잘 다루지 않지만, 돈이 처음 들어오는 입구가 바로 그곳이다.

AI 스택 다이어그램 반도체, 클라우드, 파운데이션 모델, 에이전트 오케스트레이션, 애플리케이션의 5개 계층과 매출 흐름 AI 스택 ― 위로 갈수록 기회가 커진다 애플리케이션 가장 큰 기회 · 수익이 발생하는 곳 에이전트 오케스트레이션 · 신규 파운데이션 모델 클라우드 · 하이퍼스케일러 반도체 매출은 아래로 흐른다
맨 위 애플리케이션에서 매출이 발생하고, 그 수익이 아래 계층(모델·클라우드·반도체)의 비용을 떠받친다. 그래서 응은 모든 계층에 기회가 있되 가장 큰 기회는 꼭대기에 있다고 본다.
비유 ― 식당과 공급망

아무리 좋은 농장과 식자재 도매상, 주방 설비 회사가 있어도, 손님에게 직접 돈을 받는 곳은 식당이다. 식당이 음식을 팔아 매출을 일으켜야 그 돈이 도매상과 농장으로 흘러간다. AI 스택에서 애플리케이션은 바로 이 '식당'에 해당한다. 반도체와 모델은 식자재와 설비처럼 필수적이지만, 시장의 현금이 처음 들어오는 입구는 애플리케이션이다.

03에이전트 AI ― 한 번에 쓰지 말고 돌려가며 쓴다

응이 꼽은 가장 중요한 기술 흐름은 '에이전트 AI(agentic AI)'다. 그는 약 1년 반 전부터 "AI 에이전트가 중요해질 것"이라고 설득하러 다녔는데, 지난여름부터 마케터들이 이 단어를 스티커처럼 아무 데나 붙이면서 의미가 닳아 버렸다고 농담한다. 그래도 기술적으로 왜 중요한지는 분명하다.

대부분의 사람이 LLM(Large Language Model, 대규모 언어 모델)을 쓰는 방식은 프롬프트를 한 번 주고 결과를 한 번에 받는 것이다. 응의 비유로 하면, 이는 사람에게 백스페이스 한 번 쓰지 말고 첫 단어부터 마지막 단어까지 단숨에 에세이를 써 내라고 시키는 것과 같다. 사람도 그렇게 강제하면 최고의 글을 못 쓴다. AI도 마찬가지다. 그런데도 LLM은 의외로 잘 해낸다.

에이전트 워크플로는 이 강제를 푼다. AI에게 먼저 개요를 잡게 하고, 필요하면 웹을 검색해 자료를 가져오게 하고, 초안을 쓰게 한 뒤, 그 초안을 스스로 읽고 비평하고 고치게 한다. 이 고리를 여러 번 돌면 작업은 느려지지만 결과물은 훨씬 좋아진다.

에이전트 워크플로 순환 다이어그램 개요, 리서치, 초안, 자기 비평, 수정의 다섯 단계가 고리를 이루며 반복된다 에이전트 워크플로 ― 돌릴수록 좋아진다 반복할수록 품질 향상 ① 개요 ② 리서치 ③ 초안 ④ 자기 비평 ⑤ 수정
한 번에 출력하는 대신 개요·리서치·초안·자기 비평·수정을 여러 차례 돌린다. AI 펀드는 규정 준수 문서 추출, 의료 진단, 복잡한 법률 문서 추론 등에서 이 방식이 "되느냐 안 되느냐"를 가르는 큰 차이였다고 말한다.
비유 ― 사람의 글쓰기

당신이 보고서를 쓸 때 첫 글자부터 마지막 글자까지 고치지 않고 단번에 쓰는가? 보통은 목차를 잡고, 자료를 찾고, 초고를 쓴 뒤 며칠 묵혀 두었다가 다시 읽으며 고친다. 에이전트 워크플로는 AI에게 바로 이 '사람다운 작업 순서'를 허락하는 것이다.

이 흐름이 자리 잡으면서 스택에도 변화가 생겼다. 응은 지난 한 해 사이에 새로 떠오른 계층으로 에이전트 오케스트레이션 계층을 지목한다. 애플리케이션 개발자가 아래 기술 계층을 여러 번 호출하고 조율하도록 돕는 층이다. 덕분에 애플리케이션을 만들기는 더 쉬워졌고, "가장 가치 있는 층은 애플리케이션"이라는 결론은 그대로 유지된다.

04구체적인 아이디어가 속도를 산다

AI 펀드는 '구체적인 아이디어'만 다룬다. 응이 말하는 구체적인 아이디어란 엔지니어가 가서 바로 만들 수 있을 만큼 상세하게 규정된 것이다. 예를 들어 "AI로 의료 자산을 최적화하자"는 구체적이지 않다. 너무 모호해서 엔지니어 열 명에게 시키면 열 가지 다른 결과물이 나온다. 만들 수가 없으니 속도도 없다.

반면 "환자가 온라인으로 MRI(Magnetic Resonance Imaging, 자기공명영상) 장비의 예약 슬롯을 잡아 가동률을 높이는 소프트웨어"라고 하면 ― 이게 좋은 아이디어인지 나쁜 아이디어인지는 별개로 ― 구체적이라서 엔지니어가 빠르게 만들 수 있다. 좋은지 나쁜지는 만들어 보면 빨리 드러난다.

여기에 응이 짚는 함정이 있다. 모호한 아이디어일수록 칭찬을 많이 받는다. "AI로 의료 자산을 최적화하자"고 하면 누구나 "좋은 생각"이라고 한다. 모호할 때는 거의 항상 옳기 때문이다. 하지만 구체적이면 맞을 수도 틀릴 수도 있다. 그리고 어느 쪽이든 빨리 알아낼 수 있다는 점이 스타트업에는 중요하다.

비유 ― 식당 주문

주방에 "맛있는 거 아무거나 주세요"라고 하면 무엇이 나올지 알 수 없고 주방도 바로 움직이지 못한다. "마늘 빼고 매운맛 2단계로 새우 알리오 올리오 1인분"이라고 해야 주방이 즉시 조리에 들어간다. 구체적인 주문만이 속도를 만든다.

좋은 구체적 아이디어는 어디서 오나

구체적이면서도 좋은 아이디어는 대개 한 주제를 오래 고민한 사람에게서 나온다. 응 자신도 코세라를 만들기 전 수년간 온라인 교육을 고민하고 사용자와 대화하며 직관을 쌓았다. 와이콤비네이터가 '아이디어 미로(idea maze)'라 부르는 과정이다. 충분히 헤맨 사람의 '직감(gut)'은 즉각적이면서도 놀랍도록 좋은 의사결정 수단이 된다.

AI 연구자인 응이 "데이터가 필요하다"고 말할 것 같지만, 그는 오히려 스타트업에게 데이터 수집은 느린 의사결정 수단일 때가 많다고 본다. 충분히 고민한 전문가의 직감이 더 빠른 결정 도구라는 것이다. 그리고 한순간에는 하나의 명확한 가설만 끈질기게 밀어붙이되, 데이터가 그 믿음을 흔들면 동전을 뒤집듯 다른 구체적 아이디어로 피벗한다. 단, 새 데이터가 들어올 때마다 매번 방향을 바꾼다면 그것은 기반 지식이 너무 얕다는 신호다.


05빠른 프로토타이핑 ― 코드의 가치가 떨어진다

스타트업이 무너지는 가장 큰 위험은 만들 수 없어서가 아니라, 잘 만들었는데 아무도 원하지 않아서다. 그래서 소프트웨어를 만들고(엔지니어링) 사용자 피드백을 받아(제품 관리) 다시 고치는 고리를 빠르게 여러 번 돌려 제품-시장 적합성(PMF, Product-Market Fit)으로 수렴해 가야 한다.

응은 자신이 다루는 소프트웨어를 둘로 나눈다. 하나는 아이디어를 시험하는 '빠르고 거친 프로토타입(quick and dirty prototype)'이고, 다른 하나는 운영·유지되는 프로덕션 코드다. AI 코딩 도구로 프로덕션 코드는 대략 30-50% 빨라지는 정도라고 한다(엄밀한 수치를 찾기는 어렵다는 단서를 단다). 그러나 프로토타입은 사정이 다르다. 그는 프로토타입 제작이 10배, 어쩌면 그 이상 빨라졌다고 본다.

이유는 명확하다. 프로토타입은 레거시 시스템·데이터와의 통합 부담이 적고, 요구되는 신뢰성·확장성·보안 수준이 낮다. 응은 도발적으로 "안전하지 않은 코드를 써라"라고 팀에 말한다고 한다. 단서가 핵심이다. 그 코드가 오직 내 노트북에서만 돌고, 내가 내 노트북을 해킹할 일이 없다면 일단은 괜찮다는 뜻이다. 다만 남에게 배포하기 전에는 반드시 보안과 확장성을 갖춰야 한다. PII(Personally Identifiable Information, 개인식별정보)나 민감정보 유출은 매우 위험하기 때문이다.

비유 ― 종이 모형과 콘크리트 집

건축가가 아이디어를 시험하려고 만드는 종이 모형은 100채를 만들어 버려도 부담이 적다. 실제 콘크리트 집은 다르다. 프로토타입은 종이 모형처럼 다뤄야 한다. 20개를 만들어 무엇이 통하는지 보고, 대부분을 버려도 괜찮다. 모형 한 채의 비용을 충분히 낮추면, 빛을 보지 못하는 모형이 많아도 문제가 되지 않는다.

'빠르게 움직이고 깨뜨려라(Move fast and break things)'라는 구호는 실제로 무언가를 깨뜨려 평판이 나빠졌다. 어떤 팀은 여기서 "빠르게 움직이지 말라"는 교훈을 얻었지만, 응은 그것이 오해라고 본다. 그의 버전은 "빠르게, 그러나 책임감 있게 움직여라"이다. 빠르게 가면서도 책임을 지키는 길은 많다.

가장 흥미로운 변화는 코드 자체의 위상이다. 코드는 만들기 어려워서 귀한 자산이었다. 그런데 만드는 비용이 급락하면서 코드는 예전만큼 귀하지 않게 됐다. 응은 한 달에 코드베이스를 세 번 통째로 갈아엎은 팀을 예로 든다. 데이터 구조(스키마)를 새로 고르는 일조차 부담이 크게 줄었다. 그는 제프 베조스의 '양방향 문(two-way door)과 일방향 문(one-way door)' 개념을 빌려 온다. 되돌리기 쉬운 결정이 양방향 문, 되돌리기 어려운 결정이 일방향 문이다. 기술 스택 선택은 한때 전형적인 일방향 문이었지만, 이제는 양방향 문에 가까워지고 있다는 것이다.

06모두가 코딩을 배워야 한다

지난 한 해 동안 적지 않은 사람이 "AI가 자동화할 테니 코딩을 배우지 말라"고 조언했다. 응은 이것이 역대 최악의 커리어 조언으로 기록될 것이라고 단언한다. 그의 논리는 역사에서 나온다. 천공카드에서 키보드와 단말기로 넘어갔을 때 코딩은 쉬워졌다. 어셈블리어에서 COBOL(코볼) 같은 고급 언어로 넘어갔을 때도 마찬가지였는데, 당시에도 "이제 프로그래머는 필요 없다"는 주장을 담은 글이 나왔다. 물론 틀렸다. 도구가 쉬워질 때마다 프로그래밍은 더 널리 퍼졌다. AI 코딩 도구는 그 연장선이다. 코딩이 쉬워질수록 더 많은 사람이, 더 적은 사람이 아니라, 코딩을 해야 한다.

응은 다소 도발적인 의견을 덧붙인다. 이제 직무를 가리지 않고 모두가 코딩을 배워야 할 때라는 것이다. 그의 팀에서는 CFO(Chief Financial Officer, 최고재무책임자), 인재 책임자, 리크루터, 안내데스크 직원까지 코딩을 안다. 그리고 모두 자기 일을 더 잘하게 됐다고 한다. 자신이 시대를 조금 앞서간다는 점은 인정하지만, 미래에는 모두가 AI로 무언가를 만들 수 있게 권한을 부여하는 방향으로 갈 것이라고 본다.

비유 ― 미드저니와 미술사

응이 코세라 강의용 배경 그림을 미드저니(Midjourney)로 만들 때의 일화다. 미술사를 아는 팀원은 장르·색채·예술적 영감을 정교하게 지정해 원하는 이미지를 정확히 뽑아냈다. 반면 미술사를 모르는 응은 기껏해야 "예쁜 로봇 그림 그려줘" 수준이라 통제력이 떨어졌고, 그만큼 좋은 결과를 얻지 못했다. 핵심 교훈은 이것이다 ― 미래의 가장 중요한 기술은 컴퓨터에게 원하는 바를 정확히 말하는 능력이다. 직접 코드를 한 줄 한 줄 쓰지 않더라도, AI가 코딩하도록 정확히 지휘하는 능력은 오래도록 가장 강력한 무기로 남을 것이다.

07새로운 병목 ― 무엇을 만들지 결정하기

엔지니어링이 빨라지자 병목이 옮겨 갔다. 응이 여러 팀에서 관찰한 바로는, 이제 막히는 지점은 코드가 아니라 제품 관리다. 사용자 피드백을 받아 무엇을 만들지 결정하는 일이 엔지니어링만큼 빨라지지 못한 것이다.

빌드-피드백 고리와 병목 이동 엔지니어링과 제품 관리 사이의 순환에서 병목이 제품 관리 쪽으로 이동했다 빨라진 엔지니어링, 옮겨 간 병목 엔지니어링 코드 빌드 AI로 10배 빨라짐 제품 관리 사용자 피드백 · 무엇을 만들지 그대로 → 새 병목 만든다 피드백 ⟵ 여기가 막힌다
엔지니어링이 10배 빨라지자 고리의 다른 쪽 ― 사용자가 무엇을 원하는지 알아내고 결정하는 제품 관리 ― 가 새로운 병목이 됐다.

구체적인 신호도 있다. 3-5년 전 실리콘밸리에는 PM(Product Manager, 제품 관리자) 한 명당 엔지니어 4-7명이라는 경험칙이 있었다. 엔지니어가 빨라지면서 이 비율이 흔들리고 있다. 응에게 한 팀이 이례적으로 PM 1명당 엔지니어 0.5명, 즉 PM을 엔지니어의 두 배로 두자는 인력 계획을 제안했다. 응 자신도 이게 좋은 안인지는 아직 모른다고 했지만, 세상이 어디로 가는지 보여 주는 신호로 받아들였다. 코딩할 줄 아는 PM, 제품 감각이 있는 엔지니어가 결국 더 잘하더라는 것이 그의 관찰이다.

피드백을 빠르게 얻는 전술 사다리

병목이 제품 결정으로 옮겨 갔다면, 피드백을 빨리 얻는 기술이 곧 속도가 된다. 응은 빠르지만 덜 정확한 쪽부터 느리지만 더 정확한 쪽까지 전술을 늘어놓는다.

피드백 전술 스펙트럼 내 직감에서 A/B 테스트까지, 빠름·덜 정확에서 느림·더 정확으로 이어지는 다섯 전술 피드백을 얻는 다섯 가지 방법 빠름 · 덜 정확 느림 · 더 정확 ① 내 직감 전문가면 의외로 정확 ② 동료·친구 3명 ③ 낯선 사람 3-10명 카페·호텔 로비에서 정중히 ④ 테스터 100명 ⑤ A/B 테스트 출시가 느려 의외로 가장 느림
응은 카페나 호텔 로비처럼 유동 인구가 많은 곳에서 낯선 사람에게 정중히 제품을 보여 주고 피드백을 구하는 일을 가장 값진 기술 중 하나로 꼽는다. A/B 테스트는 흔히 첨단으로 여겨지지만, 출시 자체가 느리기 때문에 사다리에서 가장 느린 축에 속한다.

한 가지 중요한 단서가 있다. 응은 A/B 테스트로 단지 A안과 B안 중 하나를 고르는 데서 그치지 않는다. 데이터를 들여다보며 "왜 내 예상이 빗나갔는지"를 따져 자신의 직감을 교정한다. 결과를 멘탈 모델 업데이트에 쓰는 것이다. 그래야 다음번에는 사다리의 첫 단계, 즉 직감만으로도 더 좋은 결정을 빨리 내릴 수 있게 된다.

08AI를 이해하면 더 빨라진다

응은 AI를 깊이 이해하는 것 자체가 속도를 만든다고 본다. 이유는 기술의 성숙도에 있다. 모바일처럼 성숙한 기술은 비전문가도 "앱이 무엇을 할 수 있는지" 직관이 있다. 영업·마케팅·인사·법무처럼 성숙한 직무도 노하우가 사회에 널리 퍼져 있어, 잘하는 사람을 찾기가 어렵지 않다. 지난 6개월 사이 마케팅하는 법이 급변하지는 않았기 때문이다.

그러나 AI는 신생 기술이다. "AI를 정말 잘하는 법"에 관한 지식은 아직 널리 퍼지지 않았다. 그래서 AI를 제대로 이해하는 팀은 그렇지 못한 팀에 비해 진짜 우위를 가진다. 인사 문제는 잘 아는 사람을 구하면 되지만, AI 문제를 제대로 풀 줄 아는 것은 곧 경쟁사를 앞서는 일이 된다.

구체적으로는 이런 판단들이다. 고객 서비스 챗봇의 정확도를 어디까지 끌어올릴 수 있나, 프롬프트로 풀까 파인튜닝을 할까 워크플로를 짤까, 음성 응답의 지연(latency)을 어떻게 낮출까. 옳은 기술적 결정을 내리면 며칠 만에 문제를 풀지만, 틀린 결정을 내리면 석 달 동안 막다른 골목을 헤맬 수 있다.

응은 여기서 흥미로운 관찰을 덧붙인다. 두 가지 아키텍처 중 하나를 고르는 일은 정보량으로 치면 '1비트'다. 정답을 모르면 둘 다 해 보면 되니, 직관적으로는 최대 2배 느려질 뿐이어야 한다. 이론상으로는 맞다. 그런데 현실에서는 잘못된 비트를 고르면 2배가 아니라 10배 더 오래 막다른 골목을 추적하게 된다. 그래서 처음부터 옳은 기술적 판단을 갖추는 것이 스타트업을 훨씬 빠르게 만든다.

레고 블록으로서의 AI 도구

응이 AI를 이해해야 한다고 강조하는 또 다른 이유는 '빌딩 블록'이다. 지난 2년간 쏟아진 도구들 ― 프롬프팅, 워크플로, 평가(evals), 가드레일, RAG(Retrieval-Augmented Generation, 검색증강생성), 음성, 비동기 프로그래밍, ETL(Extract·Transform·Load, 추출·변환·적재), 임베딩, 파인튜닝, 그래프 데이터베이스, 모델 통합 등 ― 은 각각 레고 블록과 같다. 블록을 많이 알수록 조합할 수 있는 결과물의 수가 조합론적으로, 사실상 지수적으로 늘어난다.

블록 수에 따른 조합 가능 수의 지수적 증가 아는 빌딩 블록이 늘수록 조합 가능한 결과물의 수가 폭발적으로 증가한다 블록이 늘면 조합은 폭발한다 조합 가능한 결과물의 수 아는 블록의 수 1 2 3 4 5 6 7 폭발적 증가
곡선은 개념을 보여 주기 위한 예시다. 블록을 하나만 알면 만들 수 있는 것이 적지만, 색과 모양이 늘수록 조합의 수는 가파르게 치솟는다. 응이 직접 딥러닝닷에이아이 강좌를 들으며 새 블록을 익히는 이유다.
비유 ― 레고

흰색 블록 하나만 있으면 만들 수 있는 모양이 몇 가지뿐이다. 검은색 블록이 더해지면 더 흥미로워지고, 파란색·빨간색·노란색이 더해질수록 조합 가능한 모양의 수는 곱셈으로 불어난다. AI 빌딩 블록도 똑같다. 한 가지를 깊이 아는 것보다 여러 블록을 두루 알 때 만들 수 있는 것이 비약적으로 늘어난다.


09질의응답에서 건진 통찰

강연 뒤 이어진 청중 질의에서 응은 더 솔직하고 날카로운 의견을 내놓았다. 핵심만 추린다.

과대광고를 거르는 필터

응은 무엇이 과대광고이고 무엇이 진짜인지 가르는 자신만의 기준을 제시한다. 지난 2년간 일부 기업이 홍보·펀딩·영향력 확보를 위해 특정 서사를 부풀려 왔다는 것이다. 기술이 워낙 새로워서 누구도 사실 검증을 하지 못한 틈을 탔다. 그가 과장으로 보는 대표적 서사는 이렇다. "AI가 너무 강력해서 실수로 인류를 멸종시킬 수 있다." "곧 아무도 일자리가 없을 것이다." "새 모델 하나를 훈련시키면 수천 개의 스타트업이 무심코 쓸려 나간다." "AI에는 전력이 너무 많이 필요해서 원자력만이 충분하다(풍력·태양광으로는 어림없다)." 응은 이 모두가 해당 기업을 더 강력해 보이게 만드는 서사이며 그래서 증폭됐다고 본다. 재스퍼(Jasper) 같은 회사가 어려움을 겪고 소수가 사라진 것은 사실이지만, 수천 개를 손쉽게 쓸어버리는 일은 그리 쉽지 않다는 것이다.

AGI와 컴퓨트

한 청중이 "지능이 민주화되는 세상에서 인간은 어떻게 쓸모를 유지하느냐"고 물었다. 응의 답은 분명했다. AGI(Artificial General Intelligence, 범용인공지능)는 과대평가됐고, 한동안 AI가 못 하는 일이 많을 것이다. 미래에 가장 강력한 사람은 컴퓨터가 자신이 원하는 바를 정확히 하도록 만들 줄 아는 사람이다. AI를 잘 쓰는 사람이 못 쓰는 사람보다 훨씬 강력해질 뿐, 사람이 할 일이 없어질 걱정은 하지 않는다고 했다. 컴퓨트에 대해서도, GPU(Graphics Processing Unit, 그래픽처리장치)를 우주로 쏘아 올린다는 식의 이야기에 대해 "지상의 GPU만으로도 아직 달려갈 여지가 많다"며 거리를 뒀다.

AI 안전이 아니라 책임 있는 AI

응은 'AI 안전(AI safety)'이라는 표현을 잘 쓰지 않는다고 했다. 위험한 것을 만들어도 된다는 뜻이 아니라, 안전은 기술의 속성이 아니라 그것을 어떻게 쓰느냐의 속성이라고 보기 때문이다. 그래서 그는 'AI 안전' 대신 '책임 있는 AI(responsible AI)'라는 말을 선호한다.

비유 ― 전기 모터

전기 모터 제조사는 자기 모터가 하류에서 어떻게 쓰일지 통제할 수 없다. 전기 모터는 투석기에도, 전기차에도 들어간다. 전기차는 다시 스마트 폭탄을 만드는 데 악용될 수도 있다. 그렇다고 전기 모터 자체가 안전하거나 위험한 것은 아니다. 안전은 모터의 속성이 아니라 그것을 적용하는 방식의 속성이다. 응은 AI도 마찬가지라고 본다 ― AI는 그 자체로 안전하지도 위험하지도 않으며, 어떻게 쓰느냐가 결과를 가른다.

해자(moat)와 토큰 비용

"하루 만에 무엇이든 복제되는 세상에서 사업을 어떻게 생각해야 하느냐"는 질문에, 응은 가장 먼저 걱정할 것은 단 하나라고 답했다 ― 사용자가 사랑하는 제품을 만들고 있는가. 진입 채널, 경쟁자, 가격, 해자도 중요하지만, 사용자가 진짜로 원하는 것을 만들기 전에는 가치 있는 사업을 세우기 어렵다는 것이다. 그는 해자가 과대평가되는 경향이 있으며, 대개 제품이 먼저고 해자는 나중에 진화한다고 본다. 소비자 제품은 브랜드와 모멘텀으로 다소 방어가 되고, 엔터프라이즈 제품은 진입이 어려운 채널이 해자가 될 수 있다. 그러나 지금 이 순간 가능한 일의 양이 그것을 해낼 사람의 수보다 훨씬 많아 보인다는 점에서, 특히 애플리케이션 계층에는 아무도 손대지 않은 빈 공간이 넓다고 강조했다.

토큰 비용에 대한 조언도 명쾌했다. 대부분의 개발자는 우선 토큰 비용을 신경 쓰지 말라는 것이다. 토큰 비용이 문제가 될 만큼 사용자가 제품을 많이 쓰는 행운을 누리는 스타트업은 소수다. 실제로 그런 행운이 찾아오면, 그때 가서 프롬프팅·파인튜닝·증류 등 엔지니어링으로 비용 곡선을 다시 끌어내릴 수 있다.

또 하나 실용적인 팁이 있다. 응의 팀은 빌딩 블록 공급자를 갈아 끼우기 쉽도록 소프트웨어를 설계한다. 평가(evals) 체계를 갖춰 두면 새 모델이 나올 때마다 빠르게 비교해 더 나은 쪽으로 바꾼다. 그래서 정작 특정 제품이 지금 어떤 모델을 쓰는지 응 자신도 모를 때가 있다고 한다. 파운데이션 모델의 전환 비용은 낮은 편이고, 오케스트레이션 플랫폼의 전환 비용은 그보다 높다. 어느 쪽이든 전환 유연성을 미리 설계에 넣어 두면 더 빨리 갈 수 있다.

교육, 그리고 오픈소스를 지키는 싸움

교육에 대해서는 신중했다. 변화가 오고 있다는 느낌은 분명하지만 파괴적 전환은 아직 도래하지 않았고, 지금은 수많은 실험이 진행 중이라는 것이다. 교육은 결국 초개인화될 것이나, 그 형태가 아바타인지 텍스트 챗봇인지 어떤 워크플로인지는 불확실하다. 그는 향후 10년간 우리가 할 일은 복잡한 실제 업무를 하나하나 들여다보며 그것을 에이전트 워크플로에 매핑하는 작업이며, 교육은 그 매핑이 아직 무르익지 않은 분야라고 봤다.

가장 목소리가 높았던 대목은 오픈소스였다. 응은 모바일 생태계가 그다지 흥미롭지 못한 이유로 두 문지기(안드로이드와 iOS)를 든다. 그들이 허락하지 않으면 시도조차 할 수 없기 때문이다. 그는 일부 기업이 AI의 '거짓 위험'을 부풀려 규제를 끌어내고, 이를 통해 오픈소스를 틀어막아 소수의 문지기 체제를 만들려 한다고 비판했다. 그 예로 캘리포니아 주 상원 법안 1047호(SB 1047)를 들며 무산된 것을 다행으로 평가했다(이 법안은 2024년 캘리포니아 주지사의 거부권 행사로 폐기됐다). 소수 기업의 허락을 받아야만 모델을 파인튜닝하거나 특정 방식으로 프롬프트할 수 있는 세상이 되면 혁신과 지식 확산이 막힌다는 것이다. 그는 오픈소스를 지키는 싸움에서 이겨 오고 있지만 위협은 여전하며, 계속 지켜 내야 한다고 강조했다.

마지막으로 윤리에 관한 질문이 나왔다. 응의 답은 단순하지만 실천하기 어려운 것이었다 ― 마음속을 들여다보고, 만들려는 것이 사람들을 전반적으로 더 낫게 만들지 않는다면 만들지 마라. AI 펀드는 경제성이 충분한데도 윤리적 이유로 여러 프로젝트를 접었다고 한다. "이것이 세상에 존재하기를 원치 않는다"는 판단만으로 사업을 죽인 것이다.


10정리 ― 빠르게, 그러나 책임감 있게

응은 속도가 스타트업의 전부는 아니라고 분명히 했다. 그러나 AI 펀드가 만든 스타트업들을 돌아보면, 경영진의 실행 속도는 성공 확률과 강하게 상관한다는 것이 그의 결론이다. 그가 제시한 속도의 처방은 네 갈래로 요약된다.

응의 속도 처방 네 가지

  1. 좋은 구체적 아이디어에서 출발하라. 엔지니어가 바로 만들 수 있을 만큼 구체적이어야 하고, 그것은 오래 고민한 전문가의 직감에서 나온다.
  2. AI 코딩으로 빠르게 만들고 버려라. 코드의 가치가 떨어진 시대에 프로토타입은 종이 모형처럼 다룬다. 빠르게, 그러나 책임감 있게.
  3. 피드백 전술의 포트폴리오를 갖춰라. 엔지니어링이 빨라진 만큼 병목은 '무엇을 만들지' 결정하는 쪽으로 옮겨 갔다. 직감부터 A/B 테스트까지 빠른 피드백 수단을 두루 쓴다.
  4. AI 기술 위에 올라타라. 옳은 기술적 판단 하나가 석 달의 막다른 골목을 며칠로 줄인다. 빌딩 블록을 많이 알수록 만들 수 있는 것이 폭발적으로 늘어난다.

그 위에 응이 거듭 강조한 두 개의 닻이 있다. 하나는 책임이다. 빠른 실행과 윤리적 판단은 충돌하지 않으며, 만들지 말아야 할 것은 만들지 않는 결단이 필요하다. 다른 하나는 사람을 함께 데려가는 일이다. 직무를 가리지 않고 모두가 AI로 무언가를 만들 수 있게 될 때, 더 많은 사람이 더 생산적이 된다는 것이 그의 믿음이다.

속도를 다루는 강연이 마지막에 가서 책임과 사람으로 돌아온다는 점이 이 강연의 인상적인 마무리다. 응의 표현을 빌리면, 결국 더 빠른 소프트웨어 위에서 무엇이 만들어질지를 결정하는 것은 여전히 인간의 판단과 책임이다.

이 글은 앤드루 응의 강연 "Building Faster with AI"(Y Combinator AI Startup School, 2025년 6월, 샌프란시스코) 녹취를 토대로 재구성한 해설이다. 인용된 사례와 발언은 모두 강연 내용에 근거하며, 비유 박스와 도식은 일반 독자의 이해를 돕기 위해 글쓴이가 덧붙였다. 곡선 그래프는 개념 설명을 위한 예시이지 실제 측정값이 아니다.