AI 안전 · 논증 검증
초지능은 통제 불가능하며 인류는 몇 년 안에 대부분의 일자리를 잃는다 — 로만 얌폴스키의 주장은 어디까지 논증이고 어디부터 추정인가. 다섯 개의 핵심 명제를 근거 단위로 분해해 검증한다.
로만 얌폴스키(Roman Yampolskiy)는 루이빌대학교 컴퓨터공학 부교수이자 같은 대학 사이버보안연구소 소장이다. 1979년 라트비아 리가에서 태어나 2008년 뉴욕주립대 버팔로에서 박사학위를 받았고, 학위논문은 침입 탐지와 행동 생체인식을 다루었다. 온라인 포커 봇을 탐지하는 연구에서 출발해 "봇은 계속 나아질 것이고 결국 인간을 넘어선다"는 추론에 도달한 것이 그의 문제의식의 시작이었다.
그는 2010년 '인공지능 안전공학(Artificial Intelligence Safety Engineering)'이라는 표현과 그 축약형인 'AI 안전(AI safety)'을 제안했고, 2011년 동료심사 학술대회에서 이를 정식 발표했다. 용어의 최초 사용자라는 주장에는 유보가 붙지만 — 그 이전에 비공식적으로 쓰였을 가능성은 그 자신도 인정한다 — 동료심사 문헌에서 이 표현을 처음 쓰고 확산시킨 인물이라는 평가는 대체로 받아들여진다.
그의 이력에서 논쟁이 되는 것은 용어의 소유권이 아니라 결론의 극단성이다. 그는 초지능이 인류를 절멸시킬 확률을 99.9%로 제시하며, 어떤 자리에서는 99.999%라는 수치까지 말한다. 이 글은 그 결론에 동의하거나 반박하기 위한 것이 아니라, 결론에 이르는 각 단계가 어떤 종류의 진술인지 — 검증된 사실인지, 형식적 논증인지, 아니면 유비와 직관인지 — 를 구분하기 위한 것이다.
얌폴스키의 주장은 흩어진 경고의 나열이 아니라 네 단계로 이어지는 하나의 논증이다. 각 단계는 앞 단계에 의존하며, 어느 한 고리가 끊어지면 결론의 강도가 급격히 떨어진다.
역량은 지수적으로, 안전 연구는 선형에 가깝게 진보한다는 것이 첫 전제다. 안전 분야에는 "이 문제는 해결되었으니 더 걱정하지 않아도 된다"고 말할 수 있는 정초적 성과가 없고, 임시방편적 보완만 쌓이며 그 보완은 곧 우회된다는 것이다. 그는 기업의 사내 규정에 이를 견준다. 직원은 범용 지능이므로 규정을 아무리 촘촘히 만들어도 충분히 영리한 사람은 규정이 미치지 않는 영역으로 행동을 옮긴다.
두 번째 전제가 논증의 핵심이다. 그는 초지능의 무기한 통제를 '어려운 문제'가 아니라 '불가능한 문제'로 분류한다. 자기 자신을 재작성하고 개선하는 시스템에 대해 영구적으로 유효한 안전장치를 만드는 것은, 예산이나 인력의 문제가 아니라 영구기관을 만드는 것과 같은 범주의 요구라는 것이다. 형식 검증으로 99.9%의 신뢰도에 도달해도, 초당 수억 건의 결정을 내리는 시스템에서 남은 0.1%는 결국 실현된다.
세 번째는 핵무기와의 대비다. 핵무기는 기술적으로 아무리 파괴적이어도 도구다. 누군가 사용을 결정해야 하고, 따라서 그 누군가를 억제·제거·설득하는 것이 통제 전략이 된다. 반면 초지능은 스스로 결정하는 행위자이므로 인간 결정권자를 제거해도 위험이 사라지지 않는다는 것이다. "플러그를 뽑으면 되지 않느냐"는 반문에 그는 컴퓨터 바이러스와 비트코인 네트워크를 예로 든다. 분산된 시스템은 끄고 싶다고 꺼지지 않는다.
결론은 금지가 아니라 범위 제한이다. 그는 인공지능 기술 자체에 반대하지 않는다고 명시한다. 오늘날 인공지능은 전력망·병원·주식시장을 운용하고 있으므로 전부 끄면 그 자체로 재난이 된다는 것이 그의 판단이다. 그가 중단을 요구하는 것은 범용 초지능이며, 특정 문제를 푸는 좁은 인공지능은 계속 개발하라는 쪽이다. 자신이 만든 논증의 결론이 "기술 반대"가 아니라 "설계 목표의 변경"이라는 점을 그는 반복해서 강조한다.
개념 정리 — 좁은 인공지능 · AGI · 초지능
세 개념은 능력의 크기가 아니라 적용 범위로 구분된다. 좁은 인공지능은 한 영역에서만 작동하지만 그 영역 안에서는 이미 인간을 압도한다. 단백질 구조 예측이 대표 사례로, 알파폴드는 그 문제에서 모든 인간보다 낫지만 다른 일은 하지 못한다. 인공일반지능(AGI)은 영역을 가로질러 작동하는 시스템이며, 초지능은 모든 영역에서 모든 인간을 능가하는 시스템이다.
비유하자면 좁은 인공지능은 한 종목만 뛰는 세계 기록 보유자, AGI는 모든 종목에 출전할 수 있는 평균 이상의 선수, 초지능은 모든 종목에서 세계 기록을 동시에 보유한 선수다. 얌폴스키는 오늘날의 대규모 언어모델을 "약한 형태의 AGI"로 분류하며, 20년 전 과학자에게 보여주었다면 완성된 AGI로 판정했을 것이라고 말한다.
얌폴스키가 인터뷰에서 제시한 연도는 세 개다. 2027년 AGI, 2030년 인간 수준 휴머노이드, 2045년 특이점. 이 중 앞의 두 개는 그가 "예측시장과 주요 연구소 최고경영자들의 견해"라고 출처를 밝혔으므로, 그 출처를 직접 확인할 수 있다.
대조 결과는 명확하다. 그가 근거로 든 예측시장의 집계값은 2027년이 아니다. Metaculus 커뮤니티의 일반 AI 문항은 현재 2033년을 중앙값으로 두고 있고, 여러 예측 출처를 종합하는 대시보드는 2026년 7월 16일 기준 2031년을 제시한다. 2027년이라는 숫자와 가장 가까운 것은 AI 2027 프로젝트가 지목한 2027년 3월의 '초인간 코더'인데, 이는 AGI 전체가 아니라 코딩 한 영역의 초인간 성능을 가리킨다.
다만 방향에 대해서는 그의 서술이 맞다. Metaculus 커뮤니티의 중앙값은 2020년에 약 50년 후였고, 2026년에는 10년 이내로 압축되었다. 검증된 실적을 가진 슈퍼예측가 집단 Samotsvety도 2022년에 2042년경 32%였던 추정을 2026년 1월에 2030년까지 28%로 옮겼다. 예측자들은 같은 방향으로, 그러나 그가 말한 것보다 완만하게 이동했다.
인터뷰에서 가장 널리 인용된 대목은 5년 안에 실업률이 99%에 이른다는 예측이다. 논리는 단순하다. 무료에 가까운 인지 노동이 무한정 공급되면 대부분의 직무에서 인간을 고용할 경제적 이유가 사라진다는 것이다. 그는 자신도 이 예측에 조건을 붙인다. 대체할 능력이 생기는 것과 실제로 대체되는 것은 다르다. 기술은 존재해도 배치되지 않는 경우가 많고, 화상전화가 1970년 상용 서비스로 나온 뒤 스마트폰이 등장할 때까지 사실상 쓰이지 않은 것을 예로 든다.
이 구분이 중요한 이유는, 2026년 중반까지 축적된 노동시장 데이터가 정확히 그 지점에서 갈리기 때문이다.
| 관측 항목 | 2026년 기준 데이터 |
|---|---|
| 총량 실업 | 고노출 직군의 실업률 상승은 아직 검출되지 않았다. 2026년 3월 발표된 대규모 노동시장 분석은 ChatGPT 출시 이후 고노출 직군과 저노출 직군의 실업률 격차 변화가 통계적으로 유의하지 않다고 보고했다. |
| 초년생 진입 | 같은 분석에서 22~25세 청년이 고노출 직군에 취업하는 성사율은 2022년 대비 약 14% 하락했다. 실업률은 평탄한데 진입 관문만 좁아지는 형태다. |
| 구인 수요 구조 | 2026년 5월 연방준비은행 계열 분석은 고노출 직군 내부에서 주니어와 시니어 수요가 갈라지는 현상을 확인하지 못했다. 초년생 채용 둔화를 인공지능만으로 설명하기는 어렵다는 결론이다. |
| 고용주 인식 | 2026년 봄 조사에서 초년생이 하던 업무의 필요가 줄었다고 답한 고용주는 4분의 1을 조금 넘는 수준이었다. 절반 이상은 그런 변화를 보고하지 않았다. |
정리하면, 2026년 중반의 데이터는 "대량 실업이 이미 왔다"는 서술도 "아무 일도 일어나지 않았다"는 서술도 지지하지 않는다. 총량 지표는 평탄하고, 변화는 진입 단계에서만 관측된다. 얌폴스키의 5년 시한은 아직 절반이 남아 있으므로 반증되지 않았지만, 그 궤도에 올라 있다는 증거 또한 지금 시점에서는 제시되지 않는다.
물리 노동의 자동화에 대해 그는 5년 정도의 시차를 둔다. 인지 노동이 먼저 대체되고, 휴머노이드 로봇이 그 뒤를 따라 배관공까지 포함한 모든 육체 노동을 대체한다는 그림이다. 이 예측은 특정 기업의 구체적 일정과 직접 대조할 수 있다는 점에서 검증하기 가장 쉽다.
2026년 7월 중순 기준, 테슬라의 옵티머스는 프리몬트 공장에서 아직 양산에 들어가지 않았다. 일론 머스크는 4월 실적 발표에서 생산 개시 시점을 7월 말 또는 8월로 제시하면서 초기 생산 속도는 느릴 것이고 연간 생산량은 예측할 수 없다고 밝혔다. 1월 실적 발표에서는 옵티머스가 자사 공장에서 유의미한 규모로 사용되고 있지 않으며 주로 학습 목적이라고 말했다. 2025년 목표였던 5,000대에 대해 실제 생산은 수백 대 수준이었다는 보도가 있었다.
검증된 배치 실적은 오히려 주목도가 낮은 기업들에 있다. Figure는 BMW 스파턴버그 공장에서 11개월 파일럿을 마쳤고, Agility Robotics는 도요타에 소수 단위의 Digit을 납품했다. 물량 기준 세계 1위는 2025년 약 5,500대를 출하한 중국 유니트리이며, 서구 경쟁사의 10분의 1 수준 가격에도 2026년 1분기 이익은 절반으로 줄었다. 인터넷에 널리 돌아다니는 "옵티머스 누적 5만 대", "Figure 1만 대 배치" 같은 수치는 해당 기업이 발표한 적이 없다.
비유 — 능력의 존재와 배치의 속도
발전소 건설과 송전망 확충의 관계와 같다. 발전 설비를 완공했다고 전력이 곧바로 소비지에 도달하지는 않는다. 계통 연계, 인허가, 계전 협조, 운영 인력 확보가 각각 시간을 잡아먹고, 그 지연은 설비 성능과 거의 무관한 요인들에 의해 결정된다.
휴머노이드도 같다. 하나의 로봇이 시연 영상에서 작업을 해내는 것과, 1만 대가 안전 인증과 신뢰성 데이터와 부품 공급망을 갖추고 현장에 상주하는 것 사이에는 별개의 공학이 놓여 있다. 산업 추적 기관들은 1만 대 규모의 실작업 배치를 2028~2029년 구간으로 본다.
구술 인터뷰에서 세부 수치가 흔들리는 것은 흔한 일이지만, 그가 근거로 삼은 사례들은 확인 가능하므로 정리해 둔다.
| 인터뷰 진술 | 대조 | 판정 |
|---|---|---|
| OpenAI가 초정렬 팀을 발표하며 4년 안에 해결하겠다고 했고, 반년 뒤 팀을 없앴다 | 초정렬(Superalignment) 팀은 2023년 7월 5일 발표되었고 2024년 5월 해체되었다. 반년이 아니라 약 10개월이다. 4년 계획과 '확보한 연산 자원의 20% 배정' 약속은 진술대로다. 후속 보도에 따르면 실제 배정된 연산 자원은 1~2% 수준이었다 | 기간 부정확 |
| OpenAI를 나와 창업하면 제품도 고객도 없이 200억 달러 가치를 받는다 | 일리야 수츠케버가 2024년 6월 세운 Safe Superintelligence는 2024년 9월 50억 달러, 2025년 4월 320억 달러 가치를 인정받았다. 누적 조달액은 60억 달러이며 공개된 제품은 없다 | 과소 진술 |
| 3년 전 대규모 언어모델은 세 자리 수 곱셈도 버거웠는데 지금은 수학 올림피아드에서 우승한다 | 2025년 7월 OpenAI와 구글 딥마인드의 모델이 국제수학올림피아드 문제 6개 중 5개를 풀어 42점 만점에 35점, 금메달 기준선을 넘었다. 딥마인드는 대회 조직위의 공식 인증을 받았고 OpenAI는 자체 평가로 먼저 발표했다 | 사실 |
| 미국 연방 최저임금이 7.25달러이며 경제 성장에 맞췄다면 25달러여야 한다 | 연방 최저임금 7.25달러는 2009년 이후 동결되어 사실이다. 25달러라는 환산치는 어떤 지수를 적용하느냐에 따라 크게 달라지는 값으로, 인용 가능한 단일 기준은 없다 | 앞은 사실, 뒤는 추정 |
| 화상전화는 1970년대에 발명되었지만 아이폰이 나올 때까지 아무도 쓰지 않았다 | AT&T 픽처폰은 1964년 시연되었고 1970년 피츠버그에서 상용 서비스를 시작했다가 실패했다. 연대는 대체로 맞다 | 사실 |
이 부분이 그의 논증에서 가장 견고하다. 과거의 기술은 특정 작업을 대체하는 도구였고, 대체된 노동은 그 도구가 만들어낸 새 작업으로 이동했다. 불과 바퀴는 그 자체가 발명가는 아니었다는 것이 그의 정리다. 인공지능이 다른 점은 그것이 메타 발명, 즉 발명하는 주체를 발명한 것이라는 데 있다. 새 직무가 생기더라도 같은 기술을 그 직무에 적용할 수 있다면 재훈련의 사다리는 한 칸씩 밟아 올라갈 대상이 되지 못한다.
그는 최근 몇 년의 조언 변천을 반례가 아니라 사례로 든다. "코딩을 배워라"에서 "프롬프트 엔지니어가 되어라"로, 다시 "에이전트를 설계하라"로 넘어가는 데 걸린 시간이 각각 몇 년이 되지 않았다는 것이다. 논리 자체는 반박하기 어렵고, 논쟁은 전제 — 인공지능이 정말 모든 인지 직무를 흡수하는가 — 로 되돌아간다.
모델을 만든 사람도 그것이 무엇을 할 수 있는지 실험으로 알아내야 한다는 그의 서술은 과장이 아니다. 훈련은 데이터에서 패턴을 학습시키는 과정이고, 그 결과물의 능력 목록은 사후에 탐침으로 발견된다. 같은 질문을 다르게 물으면 없던 능력이 드러나기도 한다. 그는 이를 "공학이 아니라 과학"이라고 표현한다. 초기 50년의 인공지능이 지식 공학자가 규칙을 짜 넣는 작업이었다면, 지금은 외계 식물을 키워 놓고 그것을 관찰하는 작업에 가깝다는 것이다. 이 진술은 업계 내부에서도 큰 이견이 없는 편이다.
반면 논증의 중심축인 두 번째 전제는 형식적 증명의 외형을 갖추고 있지만 실제로는 유비에 의존한다. 영구기관과의 대비는 수사적으로 강력하나, 영구기관의 불가능성은 열역학 법칙에서 연역되는 반면 통제 불가능성에는 그에 상응하는 보존 법칙이 없다. 그 자신도 목표를 "불가능하다는 것을 증명하는 것"이라고 말하는데, 이는 증명이 아직 완결되지 않았음을 뜻한다.
더 실질적인 반론은 목표 설정에 있다. 완전하고 영구적인 통제가 불가능하다는 것이 곧 위험 감축이 무의미하다는 결론으로 이어지지는 않는다. 항공기 사고를 영원히 0으로 만드는 것이 불가능하다는 사실은 항공 안전공학을 포기할 이유가 되지 못했다. 그의 답은 실패 비용의 비대칭 — 한 번의 실패가 회복 불가능하다는 것 — 인데, 이 답이 성립하려면 결국 세 번째 전제가 참이어야 한다.
확률 진술로서 이 수치는 검증 가능한 형태가 아니다. 대조 지점을 몇 개 두면 그 위치가 분명해진다. 2023년 2,778명의 연구자를 대상으로 한 조사에서 인류 멸종을 포함한 극단적 나쁜 결과의 확률 중앙값은 5%였고, 응답자의 68.3%는 초인간 인공지능의 좋은 결과가 나쁜 결과보다 가능성이 높다고 답했다. 2026년 3월 기준 Metaculus의 2100년까지 인류 멸종 확률 평균값은 5%이며, 그중 인공지능 기여분은 약 3%포인트다. 얀 르쿤은 이 확률을 사실상 0으로 본다.
얌폴스키의 99.9%는 분포의 한쪽 끝에서도 바깥에 있다. 이 사실이 그를 틀리게 만들지는 않는다. 다만 그가 인터뷰에서 제프리 힌턴, 요슈아 벤지오, 수천 명의 서명자를 자기편으로 열거할 때, 그들이 공유하는 것은 "위험이 진지하게 다뤄져야 한다"는 명제이지 그의 확률값이 아니라는 점은 구분되어야 한다.
인터뷰 후반부는 그가 시뮬레이션 가설을 사실상 확신한다는 진술로 넘어간다. 논리는 조건부다. 인간 수준의 행위자를 만들 수 있고 현실과 구분되지 않는 가상 환경을 만들 수 있다면, 그 순간 누군가는 특정 장면을 수십억 번 복제해 돌릴 것이고, 따라서 지금 이 순간이 원본일 확률은 수십억분의 1이라는 것이다.
이 논변은 닉 보스트롬의 2003년 삼도논법과 계보를 공유하지만 결론의 강도가 다르다. 보스트롬은 세 명제 중 적어도 하나가 참이라는 데까지만 나아간다. 문명이 그 단계에 도달하기 전에 소멸하거나, 도달해도 조상 시뮬레이션을 돌리지 않기로 선택하거나, 아니면 우리가 시뮬레이션 안에 있거나. 얌폴스키는 두 번째 선택지를 자신의 개인적 의사 표명 — 가능해지면 자기가 돌리겠다는 — 으로 봉쇄하고 세 번째로 직행한다. 한 사람의 의향이 미래 문명 전체의 선택 분포를 대표할 수 있는가가 이 도약의 약한 고리다.
더 근본적인 문제는 반증 가능성이다. 그 자신도 이 믿음이 삶에 미치는 영향은 1% 정도이며 고통은 여전히 아프고 사랑은 여전히 사랑이라고 말한다. 어떤 관측으로도 구별되지 않는 가설이라면, 그 가설의 참·거짓은 그의 인공지능 안전 논증에 아무 하중도 싣지 못한다. 그가 종교를 시뮬레이션 이론의 지역적 변형으로 환원하는 대목 — 모든 종교가 세계를 만든 초월적 설계자와 이 세계가 최종적 세계가 아니라는 명제를 공유한다는 관찰 — 도 흥미로운 유비이지만, 각 전통이 신을 설계자가 아니라 인격적 존재로, 세계를 실험장이 아니라 피조물로 규정하는 부분을 지운 뒤에야 성립한다.
논증의 강도는 가장 약한 고리에서 결정된다. 통제 불가능성이 유비이고 시뮬레이션이 반증 불가능하다면, 남는 것은 첫 번째와 세 번째 전제 — 격차의 확대와 행위자성의 등장 — 이며 이 둘은 원리가 아니라 관측의 문제다.
얌폴스키의 주장에서 확률값과 연도를 걷어내면 세 가지가 남는다. 어느 것도 그의 결론을 요구하지 않지만, 셋 다 실제로 확인되는 사안이다.
그가 제안하는 검증 절차는 그 자신의 방법론과 일관된다. 초지능을 통제할 수 있다고 주장하는 이들에게 그 방법을 동료심사 논문의 형태로 제시하라고 요구하는 것이다. 같은 요구는 반대 방향으로도 성립한다. 통제가 불가능하다는 주장 역시 유비가 아니라 증명으로 제시될 때 논쟁의 지위를 얻는다. 2027년까지 남은 시간은 두 요구 모두에 대해 짧다.