Tae Kim
· Key Context by Tae Kim
· 2026년 9월 3일, 00:24
· ⏱ 10 분 소요
| Substack에서 읽기 ↗
요약
Google은 8세대 TPU 제품군을 추론 최적화 모델인 8i와 학습 최적화 모델인 8t로 분리하고 있습니다. 이는 소규모 에이전트 서비스부터 10만 개 이상의 칩을 사용하는 사전 학습에 이르는 AI 워크로드에서 이제 핵심 제약 요인은 단순 FLOPS가 아닌 인터커넥트 대역폭과 지연 시간이라고 판단했기 때문입니다. 384MB SRAM, 보드플라이(boardfly) 토폴로지, 134,400개의 TPU로 구성된 Virgo 스케일아웃 네트워크, HBM3E 및 액체 냉각 신뢰성에 대한 발표 내용은 하이퍼스케일러의 커스텀 실리콘이 빠르게 발전하고 있음을 시사하며, 이는 AI 가속기, HBM 및 데이터 센터 냉각 수요에 직접적인 영향을 미칩니다.
•Google은 대규모 사전 학습 및 소형 모델 서비스와 같은 더욱 다양해진 AI 워크로드에 대응하기 위해 기존 연 1회였던 TPU 칩 출시를 연 2회로 늘린다고 밝혔습니다.
•TPU 8i는 384MB SRAM, 더 높은 HBM 용량/대역폭을 포함하며, Mixture-of-Experts(MoE) 및 에이전트 모델의 저지연 서비스를 지원하기 위해 ICI 대역폭을 두 배로 늘렸습니다.
•추론 지연 시간과 관련하여, TPU 8i는 3D Torus의 최대 16홉 대비 최대 7홉의 보드플라이 네트워크를 사용하며, IO 다이에서 집합 연산(collectives)을 수행하여 온칩 리덕션(on-chip reductions) 속도를 5배 향상시켰습니다.
•학습 중심의 TPU 8t는 학습에서 이분 대역폭(bisection bandwidth)이 우선시됨에 따라 3D Torus 구조를 유지하며, 단일 도메인에서 약 134,400개의 TPU를 연결하는 논블로킹(non-blocking) 스케일아웃 패브릭인 Virgo 네트워크를 도입했습니다.
•Google은 고객들이 이미 수십 개의 Ironwood 슈퍼포드에서 "최대 규모의 프론티어 모델"을 학습 중이며, 향후 수요는 100만 개 이상의 TPU 칩에서 학습되는 1조~수십 조 파라미터 모델을 목표로 한다고 보고했습니다.
•Google이 8t에 HBM4 대신 HBM3E를 선택한 이유는 20만~40만 개 칩 규모에서는 칩당 HBM 대역폭보다 칩 간 연결성이 더 중요하기 때문입니다. 또한 HBM 온도 상승으로 인한 고장률 문제를 해결하기 위한 방안으로 액체 냉각 방식을 강조했습니다.
이 기사는 Google의 맞춤형 TPU 하드웨어 발전의 구체적인 증거를 제시하며, 고객들이 이미 "수십 개의 Ironwood 슈퍼 포드에서 가장 큰 프론티어 모델을 학습시키고 있다"고 언급하여 Google을 뒷받침합니다.
이 기사는 Google의 맞춤형 TPU 하드웨어 발전의 구체적인 증거를 제시하며, 고객들이 이미 "수십 개의 Ironwood 슈퍼 포드에서 가장 큰 프론티어 모델을 학습시키고 있다"고 언급하여 Google Cloud/Alphabet의 AI 인프라 신뢰도를 뒷받침합니다.
리스크: TPU 하드웨어의 성공이 곧 Alphabet의 수익성으로 직결되는 것은 아닙니다. AI 자본 지출(capex) 강도와 클라우드 경쟁이 수익률에 압박을 줄 수 있습니다.
Google의 TPU 8i는 "HBM 용량과 대역폭을 모두 증가"시켰으며, 8t는 HBM3E를 유지하고 있어 AI 가속기를 위한 대규모 HBM 조달이 지속되고 있음을 보여줍니다. 이는 HBM 공급업체에 긍정적인 신호입니다.
Google의 TPU 8i는 "HBM 용량과 대역폭을 모두 증가"시켰으며, 8t는 HBM3E를 유지하고 있어 AI 가속기를 위한 대규모 HBM 조달이 지속되고 있음을 보여줍니다. 이는 Micron과 같은 HBM 공급업체에 긍정적인 신호입니다.
리스크: 메모리/HBM 가격 주기, 고객 집중도, 향후 세대에서 Google이 HBM4로 전환할 가능성.
해당 기사는 "우리는 거의 10년 전부터 액체 냉각 기술을 도입해 왔다"는 Google의 발언을 인용하며, 이를 HBM 신뢰성 및 아레니우스(Arrhenius) 고장률 이점과 연결 짓고 있습니다. 이는 AI 데이터 센터 액체 냉각 수요 내러티브를 강화합니다.
해당 기사는 "우리는 거의 10년 전부터 액체 냉각 기술을 도입해 왔다"는 Google의 발언을 인용하며, 이를 HBM 신뢰성 및 아레니우스(Arrhenius) 고장률 이점과 연결 짓고 있습니다. 이는 Vertiv에 수혜가 되는 AI 데이터 센터 액체 냉각 수요 내러티브를 강화합니다.
리스크: Google과의 명시된 공급업체 관계가 없으며, 하이퍼스케일러의 자체 냉각 관리나 AI 데이터 센터 설비투자(capex) 둔화가 수혜를 제한할 수 있습니다.
This newsletter, published September 03, 2026,
features Tae Kim
discussing GOOGL, MU, VRT.
3 trade ideas extracted by AI with direction and confidence scoring.