OpenAI Jalapeño: Better Than Nvidia Blackwell

Bryan Shan · SemiAnalysis · 2026년 8월 25일, 14:00 · ⏱ 31 분 소요  | Substack에서 읽기 ↗
요약
OpenAI는 Broadcom과의 파트너십을 통해 'Jalapeño'라는 범용 AI 추론 ASIC을 성공적으로 개발했습니다. 이 칩은 업계 최고 수준의 와트당 성능을 달성하여 Nvidia의 Blackwell을 능가하고 곧 출시될 Vera Rubin과 견줄 만합니다. 16개월이라는 빠른 개발 주기와 AI 지원 소프트웨어 부트업(bring-up)은 프런티어 AI 연구소가 하드웨어 공동 설계를 통해 Nvidia의 CUDA 해자를 우회하고 상용 실리콘에 대한 의존도를 크게 줄일 수 있음을 보여줍니다.
  • OpenAI는 Broadcom과 협력하여 약 16개월 만에 Jalapeño ASIC을 개발했으며, TSMC의 N3P 노드와 CoWoS 패키징을 활용했습니다.
  • Jalapeño는 와트당 성능에서 Nvidia의 Blackwell을 능가하고, 추측성 디코딩(speculative decoding)을 사용하지 않고도 TCO 대비 성능에서 Vera Rubin과 정면으로 경쟁합니다.
  • 이 칩은 삼성에서 공급했을 가능성이 높은 HBM4 메모리를 갖추고 있어 패키지당 15.4TB/s의 메모리 대역폭을 제공하며 현재 HBM3E 가속기를 앞섭니다.
  • 동시성 1에서 Jalapeño는 DeepSeek R1에서 사용자당 초당 700개 이상의 토큰을 달성하고, Kimi-K2.5 및 GPT-OSS에서는 단일 토큰 예측으로 사용자당 초당 약 1,400개 토큰을 달성합니다.
  • OpenAI의 AI 지원 코딩 도구인 Codex는 이 칩용 기능 커널을 빠르게 작성하여 Nvidia CUDA 소프트웨어 해자의 지배력이라는 인식에 도전했습니다.
  • Celestica와 설계한 랙 아키텍처는 130kW를 소비하는 128개의 ASIC을 수용하며, Broadcom Tomahawk 6 스위치를 통해 최대 2,048개의 XPU를 지원하는 스케일업 네트워크를 갖추고 있습니다.
  • OpenAI는 전반적인 하드웨어 활용도를 높게 유지하고 네트워크 전체의 KV 캐시 이동 오버헤드를 없애기 위해 의도적으로 프리필-디코드 분리(prefill-decode disaggregation)를 피했습니다.
읽는 시간 31 분
길이 31,375 자
카테고리 finance
아이디어
Bryan Shan Substack 작가, SemiAnalysis
기사는 OpenAI의 커스텀 칩이 성능/W에서 Blackwell을 능가하며, 'OpenAI가 자체 실리콘에서 신모델을 빠르게 구동할 수 있다는 점을 고려하면 CUDA 해자는 잠재적으로 죽었다'고 주장합니다.
기사는 OpenAI의 커스텀 칩이 성능/W에서 Blackwell을 능가하며, 'OpenAI가 자체 실리콘에서 신모델을 빠르게 구동할 수 있다는 점을 고려하면 CUDA 해자는 잠재적으로 죽었다'고 주장합니다. 리스크: 엔비디아의 소프트웨어 생태계는 프런티어 연구소 외부에 여전히 깊이 자리 잡고 있으며, 그들의 상용 실리콘은 여전히 더 넓은 시장의 기본 선택입니다.
Bryan Shan Substack 작가, SemiAnalysis
브로드컴은 OpenAI의 Jalapeño ASIC 설계 파트너로 명시적으로 지목되었으며, 스케일업 네트워크의 Chana 스위치 트레이에 사용되는 102.4T Tomahawk 6 스위치 공급업체로도 지목되었습니다.
브로드컴은 OpenAI의 Jalapeño ASIC 설계 파트너로 명시적으로 지목되었으며, 스케일업 네트워크의 Chana 스위치 트레이에 사용되는 102.4T Tomahawk 6 스위치 공급업체로도 지목되었습니다. 리스크: 커스텀 ASIC 마진은 일반적으로 상용 실리콘 마진보다 낮으며, 물량은 전적으로 OpenAI의 배포 성공에 달려 있습니다.
Bryan Shan Substack 작가, SemiAnalysis
TSMC는 자사의 N3P 노드에서 Jalapeño 컴퓨트 다이를, N3E에서 I/O 칩렛을 제조하고 있으며, 대량 양산 램프업을 위한 CoWoS 패키징도 처리하고 있다.
TSMC는 N3P 노드에서 Jalapeño 컴퓨트 다이를, N3E에서 I/O 칩렛을 제조하고, 대량 양산을 위한 CoWoS 패키징을 담당합니다. 리스크: 고급 노드 및 CoWoS 패키징의 용량 제약이 OpenAI 출시 물량을 제한할 수 있습니다.
Bryan Shan Substack 작가, SemiAnalysis
기사는 '시스템 수준 설계는 Celestica와의 파트너십으로 이루어진다'고 명시적으로 언급하며, 이들이 OpenAI의 랙 스케일 하드웨어 출시에 직접적인 노출을 갖게 된다고 밝힙니다.
기사는 '시스템 수준 설계는 Celestica와의 파트너십으로 이루어진다'고 명시적으로 언급하며, 이들이 OpenAI의 랙 스케일 하드웨어 출시에 직접적인 노출을 갖게 된다고 밝힙니다. 리스크: 하드웨어 제조 및 시스템 통합은 치열한 경쟁에 노출된 저마진 사업입니다.
Bryan Shan Substack 작가, SemiAnalysis
AMD가 시스템용 호스트 CPU를 공급하고 있으며, 기사에 따르면 각 호스트 랙에는 '호스트 CPU 트레이 16개... 각 트레이에는 Turin급 AMD EPYC CPU 2개'가 들어 있습니다.
AMD가 시스템용 호스트 CPU를 공급하고 있으며, 기사에 따르면 각 호스트 랙에는 '호스트 CPU 트레이 16개... 각 트레이에는 Turin급 AMD EPYC CPU 2개'가 들어 있습니다. 리스크: 호스트 CPU 매출은 가속기 및 네트워킹에 비해 전체 AI 클러스터 지출에서 차지하는 비중이 상대적으로 작습니다.
더 보기 SemiAnalysis

This newsletter, published August 25, 2026, features Bryan Shan discussing NVDA, AVGO, TSM, CLS, AMD. 5 trade ideas extracted by AI with direction and confidence scoring.

Speakers: Bryan Shan  · Tickers: NVDA, AVGO, TSM, CLS, AMD