Nvidia – The Inference Kingdom Expands

Dylan Patel · SemiAnalysis · 2026년 3월 24일, 00:27 · ⏱ 34 분 소요  | Substack에서 읽기 ↗
요약
엔비디아의 GTC 2026은 추론 지배력을 확장하기 위한 다각적 전략을 공개했습니다: 어텐션-FFN 분리를 통한 저지연 디코드를 위해 Groq의 LPU 통합, 랙 시스템을 구리에서 CPO로 확장(Rubin Ultra NVL576, Feynman NVL1152), CMX/STX로 스토리지 영역 진출. 기사는 엔비디아의 공동 패키징 광학 램프업과 고밀도 CPU 랙(Vera ETL256)이 기존 네트워킹 및 메모리 공급업체에 압력을 가하면서 TSMC의 고급 패키징에 대한 새로운 파운드리 수요를 창출할 것이라고 주장합니다.
  • 엔비디아는 반독점을 피하기 위해 200억 달러 규모의 Groq '인수'를 IP 라이선스/채용으로 구조화했습니다. Groq의 LPU 3(LP30)는 Samsung SF4에서 제조되고, 차세대 LP40은 CoWoS-R 및 SK Hynix의 하이브리드 본딩 DRAM과 함께 TSMC N3P로 이동합니다.
  • 어텐션-FFN 분리(AFD)는 어텐션을 GPU(상태 저장, 고HBM)에 매핑하고 FFN을 LPU(무상태, 고SRAM 대역폭)에 매핑하여 희소 MoE 모델의 디코드 지연 시간과 처리량을 개선합니다.
  • LPX 랙에는 32개의 컴퓨트 트레이가 있으며 각각 16개의 LPU, 2개의 Altera FPGA(NIC, PCIe 브리지 및 추가 DDR5 풀 역할), Granite Rapids 호스트 CPU가 있습니다. 노드 내 올-투-올 C2C는 PCB 트레이스를 통해 LPU당 4x100G를 사용합니다.
  • CPO 데뷔는 Rubin Ultra NVL576(8개의 Oberon 랙, 랙 간 CPO를 사용한 2단계 올-투-올) 및 Feynman NVL1152(8개의 Kyber 랙, 현재 랙 내 구리이지만 랙 간 CPO)로 연기되었습니다. Jensen은 Feynman이 '올 CPO'가 될 수 있다고 암시했습니다.
  • Vera ETL256은 32개의 컴퓨트 트레이, Spectrum-X 4-스위치 멀티플레인 토폴로지, 랙 내 올 구리 및 액체 냉각을 사용하여 랙당 256개의 CPU를 수용합니다. 근거는 스파인에서 광학을 제거하여 비용을 절감하는 것입니다.
  • STX 참조 스토리지 랙은 Vera CPU, 듀얼 CX-9 NIC 및 SOCAMM과 함께 BF-4 DPU를 사용합니다. 엔비디아는 15개의 스토리지 벤더를 STX 지원사로 지명하여 인프라 소프트웨어 계층으로의 진출을 시사합니다.
  • Rubin Ultra NVL144용 엔비디아의 Kyber 랙에는 36개의 컴퓨트 블레이드(각 4개의 GPU + 2개의 Vera), 72개의 NVLink 7 스위치가 있으며 미드플레인에 구리 플라이오버 케이블을 사용합니다. 랙 내 CPO는 없습니다.
  • NVLink 7 스위치는 대역폭과 radix를 NVLink 6 대비 두 배로 늘려 올-투-올 NVL288을 가능하게 할 것으로 예상되지만 현재 공급망 증거는 엇갈립니다. NVL288은 더 높은 radix 스위치 없이는 오버서브스크립션이 필요할 수 있습니다.
읽는 시간 34 분
길이 34,431 자
카테고리 finance
아이디어
Dylan Patel 창업자, 최고경영자 및 수석 애널리스트, SemiAnalysis
엔비디아의 LP40이 TSMC N3P와 CoWoS-R로 이동, 기사는 'TSMC의 N3...가 가속기 생산에 제한을 가하고 있다'고 말함 — TSMC의 첨단 노드와 패키징 용량이 병목 현상으로, 이를 제공함.
엔비디아의 LP40이 TSMC N3P와 CoWoS-R로 이동, 기사는 'TSMC의 N3...가 가속기 생산에 제한을 가하고 있다'고 말함 — TSMC의 첨단 노드와 패키징 용량이 병목 현상으로, 가격 결정력과 높은 가동률을 제공. 위험: 대만의 지정학적 위험; 일부 노드(LP30을 SF4로)의 삼성 전환 가능성이 TSMC의 점유율 희석시킬 수 있음.
Dylan Patel 창업자, 최고경영자 및 수석 애널리스트, SemiAnalysis
Altera FPGA(현재 인텔의 일부)는 모든 LPX 컴퓨트 트레이에서 '패브릭 확장 로직' 역할을 하여 NIC 변환, PCIe 브리징 및 추가 DDR5 메모리를 처리합니다. 이는
Altera FPGA(현재 인텔의 일부)는 모든 LPX 컴퓨트 트레이에서 '패브릭 확장 로직' 역할을 하여 NIC 변환, PCIe 브리징 및 추가 DDR5 메모리를 처리합니다. 이는 인텔의 프로그래머블 로직 사업에서 새로운 대규모 설계 수주입니다. 위험: 인텔의 Altera 부문은 자일링스/AMD와 경쟁에 직면해 있으며, 엔비디아가 향후 세대에서 FPGA 기능을 자체 조달할 수 있습니다.
더 보기 SemiAnalysis

This newsletter, published March 24, 2026, features Dylan Patel discussing TSM, INTC. 2 trade ideas extracted by AI with direction and confidence scoring.

Speakers: Dylan Patel  · Tickers: TSM, INTC