추론 실리콘 분석
모델 하나에 칩 하나. AMD가 인수한 스타트업은 신경망 가중치를 마스크 ROM 회로에 영구히 새겨 메모리 병목을 없앴다. 같은 반년 동안 엔비디아는 디코드 단계를, 구글은 모델 아키텍처를 실리콘에 고정했다. 세 회사가 굳힌 것은 서로 다르며, 그 차이가 위험의 성격을 결정한다.
2026년 상반기 인공지능 하드웨어 시장에서 가장 크게 움직인 축은 학습이 아니라 추론이었다. 추론은 프리필(prefill)과 디코드(decode)라는 성질이 다른 두 구간으로 나뉜다. 프리필은 입력된 프롬프트 전체를 한꺼번에 읽어 들이므로 연산량이 많고 그래픽처리장치(GPU)에 잘 맞는다. 디코드는 토큰 하나를 만들 때마다 모델 가중치 전체를 메모리에서 다시 읽어야 하므로 연산 성능이 아니라 메모리 대역폭에 묶인다. GPU를 더 붙여도 사용자 한 명이 느끼는 응답 속도가 좀처럼 오르지 않는 이유가 여기 있다.
지난 여덟 달 동안 세 회사가 이 병목에 각기 다른 방식으로 실리콘을 들이댔다. 엔비디아는 Groq의 자산을 사들여 디코드 전용 가속기를 Vera Rubin 플랫폼에 붙였다. 구글은 Gemini의 아키텍처 일부를 칩에 고정하는 프로젝트를 준비하고 있다는 보도가 나왔다. 그리고 8월 6일 AMD는 신경망의 가중치 자체를 회로에 새기는 캐나다 스타트업 Taalas를 인수했다.
세 조치는 흔히 하나의 흐름으로 묶여 소개된다. 그러나 굳힌 대상이 다르면 감수한 위험도 다르다. 이 보고서는 사실관계를 먼저 정리하고, 겉으로 같아 보이는 세 선택의 구조적 차이를 짚은 뒤, 이후 판세가 어디서 갈릴지 예측한다.
AMD는 2026년 8월 6일 토론토 소재 Taalas를 인수하는 확정 계약을 체결했다고 발표했다. 인수 금액은 공개하지 않았고, 통상적인 거래 종결 조건과 규제 승인이 남아 있다. Taalas는 2023년 설립된 24~25명 규모의 회사로, 지난 2월 1억 6,900만 달러를 조달해 누적 조달액이 약 2억 1,900만 달러에 이르렀다. 인수 팀은 AMD 인공지능 조직을 이끄는 밤시 보파나 산하로 합류하며, AMD는 이 기술을 Instinct GPU와 Helios 랙 규모 시스템에 결합할 계획이라고 밝혔다.
창업자 류비샤 바이치는 텐스토렌트의 공동창업자이자 전 최고경영자이며, 그 전에는 AMD에서 하이브리드 중앙처리장치·GPU와 집적회로 설계를 담당했다. 이번 거래는 AMD가 아홉 달 사이 진행한 세 번째 인공지능 인수로, 앞서 지난해 11월 MK1, 올해 6월 메모리 최적화 스타트업 Mext를 사들였고 7월에는 FastFlowLM 팀을 흡수했다.
Taalas의 첫 시험용 칩 HC1은 메타의 Llama 3.1 8B만 실행한다. 가중치를 메모리에 올려두고 필요할 때 불러오는 대신, 마스크 ROM 기반 회로에 영구히 새겨 넣기 때문이다. 배선과 트랜지스터 배치가 곧 모델이므로 다른 모델을 돌리려면 칩을 다시 찍어야 한다. 미세조정 가중치와 KV 캐시만 별도의 정적 임의접근메모리(SRAM)에 둔다. 이 방식 자체는 새로운 발명이 아니라 2000년대 초 구조화 주문형 반도체(ASIC)의 아이디어를 되살린 것이다. 인텔도 2018년 eASIC을 인수해 같은 계열의 기술을 통신 장비와 방산에 쓰고 있다.
고속 인터커넥트와 복잡한 메모리 스케줄링, 수랭 설비가 함께 빠진다. 소프트웨어 스택 담당 엔지니어는 한 명이라고 회사는 밝혔다.
단위: 토큰/초. 경쟁 제품 수치는 Artificial Analysis 측정값, 블랙웰은 Taalas 자체 측정, H200은 엔비디아 공개 기준값.
전문지가 직접 시험한 공개 데모 챗봇에서는 초당 1만 5,000토큰을 넘겼고, 회사는 조건에 따라 1만 7,000토큰에 가깝다고 밝혔다. 다만 같은 조건의 비교가 아니다. Taalas가 실은 Llama 3.1 8B는 3~6비트로 상당히 공격적으로 양자화되어 있고, 회사도 첫 실리콘에서 모델 품질 저하가 나타난다고 인정했다. 정확도를 맞춘 비교가 아니라는 전제 아래에서도 속도 차이는 한 자릿수가 아니라 수십 배다.
외부 분석에 따르면 HC1의 100만 토큰 처리 비용은 0.75센트 수준으로, 세레브라스의 10센트, 상용 응용프로그래밍인터페이스(API)의 2~15달러와 자릿수가 다르다. 이 숫자에는 전제가 하나 붙는다. GPU는 4년 주기로 교체하는 반면 Taalas 칩은 매년 새로 찍는 비용까지 포함한 값이라는 것이다. 고객이 같은 모델을 최소 1년은 쓰겠다고 약속해야 성립하는 구조이며, 창업자도 이 전제를 받아들이지 않을 고객이 많을 것이라고 인정했다.
물리적 한계는 뚜렷하다. 칩 한 장에 담을 수 있는 모델은 8B 안팎이고, SRAM을 별도 칩으로 분리하는 2세대 HC2에서 200억 파라미터를 목표로 한다. 1조 파라미터급 모델을 올리려면 파이프라인 병렬로 50장 규모가 필요한데, 그 50장은 서로 다른 칩을 각각 테이프아웃해 합동 동작까지 전부 시뮬레이션으로 검증해야 한다. 테이프아웃 이후에는 수정이 불가능하다. 처음 보는 모델을 받아 실제로 추론이 도는 카드까지 만드는 데 약 두 달이라는 목표는 유지되고 있다.
엔비디아는 2025년 12월 24일 Groq의 자산을 사들이고 인력을 영입하는 200억 달러 규모 거래를 공개했다. 결과물은 3월 GTC에서 나왔다. 삼성 파운드리 4나노에서 생산하는 LP30 칩과, 이를 256개 묶은 Groq 3 LPX 랙이다. LP30은 다이당 512메가바이트 온칩 SRAM으로 150테라바이트/초 대역폭을 내며, 이는 Rubin GPU에 실린 HBM4의 22테라바이트/초를 크게 웃돈다. 랙 단위로는 SRAM 128기가바이트에 대역폭 40페타바이트/초다. 그 대가로 지난해 9월 프리필용으로 예고했던 Rubin CPX는 로드맵에서 사라졌다. 인공지능·고성능컴퓨팅 부사장 이언 벅은 올해는 LPU를 Rubin에 통합해 디코드를 최적화하는 데 집중한다고 설명했다.
AMD는 7월 23일 세레브라스와 제휴를 발표했다. Helios 랙이 프리필을, 세레브라스 웨이퍼 스케일 엔진이 디코드와 토큰 생성을 맡는 분리형 구성이다. 양사가 제시한 와트당 토큰 최대 5배는 세레브라스 단독 구성을 기준선으로 삼은 값이며, Kimi 2.6 1T 모델에서 두 회사가 자체 모델링한 결과다. 세레브라스는 올해 2분기 반도체 사상 최대 규모인 64억 달러를 조달해 상장했고, OpenAI와 750메가와트·200억 달러 이상의 다년 기본계약을 맺고 있다. 세레브라스는 자사 데이터센터에 Helios를 들이는 고객이기도 하다.
구글은 방향이 다르다. 7세대 Ironwood는 칩당 HBM 192기가바이트에 대역폭 7.37테라바이트/초, 팟 하나에 9,216개를 묶는 구성이고, 4월 Cloud Next에서 공개한 8세대는 학습용과 추론용을 아예 분리했다. 여기에 Gemini 아키텍처 일부를 실리콘에 고정하는 Frozen v2가 준비되고 있다는 보도가 나왔다. 최신 텐서처리장치(TPU)보다 와트당 토큰을 6~10배 높이는 것이 목표이고 2028년 배치를 계획한다. 구글이 확인하지 않은 프로젝션이라는 점, 익명 취재원에 근거한 보도라는 점은 그대로 남는다. 주목할 대목은 폐기된 원안이다. 제프 딘이 이끌던 첫 설계는 Gemini의 가중치까지 칩에 새기는 방식이었지만, 모델 한 버전에 하드웨어가 묶이면 수명이 너무 짧아진다는 이유로 접혔다. Frozen v2는 아키텍처만 고정하고 가중치는 계속 갱신할 수 있게 남겨둔다.
모델을 만드는 쪽도 같은 계산을 하고 있다. 앤트로픽은 8월 5일 사내 실리콘 팀을 꾸리고 있다고 공식 확인했다. 32만~48만 5,000달러 급여로 프런트엔드 설계부터 패키징까지 채용하면서도, 자체 칩을 여러 공급사 스택 가운데 하나로 쓰겠다는 다중 공급 전략은 유지한다고 밝혔다. 실리콘에 무언가를 굳히는 회사는 더 있다. Etched는 6월 30일 스텔스에서 나온 뒤 7월 23일 3억 달러를 조달해 기업가치 103억 달러를 인정받았다. 다만 트랜스포머 구조를 고정한다는 이 회사의 Sohu는 칩당 HBM3E 144기가바이트를 쓰는 하이브리드 설계로, 온칩 SRAM만 쓸 때의 비용·수율·발열 문제를 피했다.
AMD 입장에서 이번 인수는 규모가 작다. 2분기 매출 115억 달러 가운데 데이터센터가 67억 달러로 1년 만에 두 배 이상 늘었고, Helios는 메타·마이크로소프트·OpenAI 물량을 확보했으며 앤트로픽과는 최대 2기가와트 규모 MI450 계열 공급이 걸려 있다. 금액을 공개하지 않은 인수가 실적에 영향을 줄 규모는 아니다.
세 조치를 "무엇을 어디까지 굳혔는가"라는 하나의 눈금 위에 세우면 이해가 편하지만, 그 눈금은 서로 다른 것을 같은 줄에 놓는다. Taalas는 특정 가중치를, Frozen v2는 아키텍처를 굳혔다. 그러나 엔비디아 LP30과 세레브라스 웨이퍼 스케일 엔진은 모델을 굳히지 않았다. 이들이 고정한 것은 메모리 계층이다. HBM 대신 SRAM을 주메모리로 삼고 실행 순서를 컴파일러가 미리 정하는 구조이며, 어떤 모델이 올라와도 동작한다.
| 주체 · 제품 | 굳힌 대상 | 남겨둔 유연성 | 위험의 성격 |
|---|---|---|---|
| 엔비디아 LP30 | 디코드 단계 | 모델 제약 없음 | 단계 분리 수요 |
| 세레브라스 WSE | 메모리 계층 | 모델 교체 자유 | 웨이퍼 단가 |
| 구글 Frozen v2 | 모델 아키텍처 | 가중치 갱신 가능 | 아키텍처 변경 |
| AMD Taalas HC1 | 가중치 자체 | 미세조정·KV 캐시 | 모델 수명·가동률 |
이 구분이 중요한 이유는 모델 수명 위험을 지는 것이 마지막 줄뿐이라는 데 있다. 그래서 "구글이 검토했다가 접은 설계를 AMD가 사들였다"는 요약은 절반만 맞다. 구글이 접은 것은 6~12개월 주기로 갱신되는 프런티어 모델의 가중치 고정이고, Taalas가 겨냥한 Llama 3.1 8B는 2024년 7월 공개 이후 2년째 현역인 오픈 가중치 모델이다. 같은 도박이 아니다.
100만 토큰당 0.75센트는 마스크와 웨이퍼, 설계 비용을 실제로 서빙한 토큰 수로 나눈 값이다. 즉 이 사업의 비용 구조는 사실상 전부 고정비다. GPU 플릿은 수요가 다른 워크로드로 옮겨가면 재배치할 수 있지만, 특정 모델 전용 카드가 비면 손실이 그대로 남는다. 따라서 성립 조건은 "1년 뒤에도 그 모델이 최신인가"보다 "그 한 모델에 예상한 만큼의 트래픽이 계속 붙는가"다. 수요를 합산할 수 있는 클라우드 사업자에게 맞는 물건이고, 개별 기업이 사서 세워둘 물건이 아니다.
금액 비공개, 누적 조달 2억 1,900만 달러, 25명 안팎의 팀, 창업자가 AMD 출신이라는 조합이 가리키는 것은 제품 인수보다 인력 회수다. 바이치는 AMD를 떠나 텐스토렌트를 세웠고, 그가 떠난 자리는 짐 켈러가 받았다. AMD가 되찾은 것은 HC1이라기보다 한때 놓친 설계자들이다. 스타트업 단독 로드맵이 인수 후에도 그대로 굴러간 전례는 드물다.
두 조치를 "디코드 자리를 놓고 고를 수 있는 두 장의 카드"로 읽으면 현재 능력과 어긋난다. 세레브라스 조합은 1조 파라미터급을 상정하고 벤치마크도 그 급에서 냈지만, Taalas는 8B가 상한이고 2세대에서 200억이다. 두 기술이 같은 워크로드를 두고 경합하는 시점은 몇 세대 뒤다. 2주 간격의 두 조치를 붙여 읽으면 다른 그림이 나온다. Helios에는 저지연 디코드 자체 해법이 없고, AMD는 그 구간을 빌리고(제휴) 동시에 사들였다(인수). "작업마다 맞는 칩"이라는 전략을 실무 언어로 옮기면 "못 만드는 구간은 사거나 빌린다"이며, MK1·Mext·FastFlowLM에 이은 네 번째 흡수라는 점이 이 해석을 지지한다.
세 설계의 공통항을 다시 보면 아키텍처 신념이 아니다. Taalas는 HBM을 한 장도 쓰지 않고 DRAM 인터페이스가 없다. LP30은 SRAM을 주메모리로 쓴다. Frozen v2는 온칩 SRAM으로 첨단 패키징을 우회한다는 관측이 나온다. 공통항은 메모리와 첨단 패키징을 덜 쓰는 방법이다. HBM과 DRAM 가격이 1년 내내 높고 물량 확보가 어려운 국면에서, 설계 담론의 외피 아래 실제로 조정되고 있는 것은 공급망이다.
다만 효율 개선이 총수요를 줄인다고 보기는 어렵다. 8B 모델 하나를 굽는 칩이 절약하는 HBM 물량과 1조 파라미터 모델을 서빙하는 랙이 쓰는 물량은 자릿수가 다르다. Taalas가 겨냥하는 자리도 대형 HBM 랙을 대체하는 쪽보다, 그런 랙으로 처리하기에는 아까운 대규모 반복 트래픽에 가깝다.
카드당 250와트, 10장 2.5킬로와트로 공랭 랙에 들어간다는 사양은 데이터센터 설비 관점에서 별개의 의미를 갖는다. 랙당 100킬로와트를 넘기며 수랭과 전력 인프라를 재설계하게 만든 흐름과 반대 방향이기 때문이다. 경쟁의 기준이 확보한 기가와트에서 기가와트당 만들어내는 토큰으로 옮겨가는 국면에서, 저전력·공랭으로 특정 워크로드를 처리하는 선택지는 계통 접속 지연이 병목인 지역에서 특히 값이 붙는다. 물론 이는 총수요 감소가 아니라 수요의 배치 변화다.
실리콘에 무언가를 새기는 행위는 2028년까지 트랜스포머 계열 구조가 크게 바뀌지 않는다는 베팅이다. 하드웨어 쪽 자본이 그 베팅을 하고 있다는 것은, 모델 기업들이 공개적으로 말하는 급속한 아키텍처 진보 서사를 자본 배분이 그만큼 믿지 않는다는 뜻이다. 구글이 가중치는 남기고 아키텍처만 굳힌 것은 이 불일치를 절반만 받아들인 타협이다.
비교 수치는 양자화 조건이 다른 측정을 포함하므로 동일 조건 성능 비교가 아니다. Frozen v2 관련 내용은 회사가 확인하지 않은 보도에 근거한다.