Ep. 027 - OpenAI Jalapeño: Better Than Nvidia Blackwell (Accelerators)
발언자
이 팟캐스트는 OpenAI가 자체 설계한 Jalapeño 가속기에 관한 SemiAnalysis의 기사를 다룹니다. 이 가속기는 메가와트당 토큰 및 추론 TCO 측면에서 Nvidia의 GB300 및 7월 Vera Rubin 결과보다 뛰어납니다. 출연자들은 벤치마크의 주의사항, CUDA 해자 약화, AI 보조 칩 설계 및 커널 브링업, 그리고 Jalapeño에 효율성을 제공하는 아키텍처에 대해 논의합니다. 또한 삼성의 HBM4가 왜 승리하고 있는지, 그리고 커스텀 ASIC으로의 전환이 Nvidia, Broadcom, AMD에 어떤 의미를 갖는지 자세히 설명합니다.
- OpenAI Jalapeño는 효율성 면에서 Nvidia GB300 및 초기 Vera Rubin 추론 결과를 능가하는 신뢰할 만한 ASIC입니다.
- 성능 논쟁은 메가와트당 토큰, TCO, 그리고 인터랙티브 토큰 대 처리량 토큰에 집중되어 있습니다.
- AI 보조 프로그래밍과 커스텀 ASIC이 소프트웨어 종속성을 낮춤에 따라 CUDA 해자가 약화되고 있습니다.
- 삼성 HBM4는 고급 1C DRAM과 SF4 베이스 다이로 SK하이닉스와 마이크론을 앞서며 선두를 달리고 있습니다.
- 커스텀 ASIC 경제성은 Broadcom에 이익을 주며 더 광범위한 수직 계열화 추세를 반영합니다.
- Anthropic은 AI 보조 포팅이 소프트웨어 스택 장벽을 낮춤에 따라 AMD를 사용하고 있습니다.
- OpenAI의 발표 이후 Meta와 Microsoft의 실리콘 팀이 가장 취약해 보입니다.
- 에피소드는 시스템 확장 문제와 Jalapeño에서 Doom을 구동하는 것으로 마무리됩니다.
아이디어
맞춤형 ASIC으로의 전환은 Broadcom의 설계 마진에 긍정적입니다.
맞춤형 사내 AI 가속기는 구매자가 NVIDIA나 [REDACTED_TOKEN]의 마진이 아닌 Broadcom의 설계 마진만 지불하면 되기 때문에 하이퍼스케일러의 칩 비용을 낮출 수 있습니다. GB300 및 Vera Rubin 대비 토큰당 비용(TCO) 측면에서 OpenAI의 Jalapeño가 갖는 이점은 이러한 맞춤형 ASIC 경제성을 뒷받침하며, Broadcom을 하이퍼스케일러 실리콘 프로그램의 핵심 수혜자로 만들고 있습니다.
OpenAI Jalapeño가 Nvidia의 CUDA 해자를 위협하고 있습니다.
OpenAI의 Jalapeño는 공개 추론 벤치마크에서 NVIDIA의 GB300 및 Vera Rubin을 능가한 최초의 비(非) NVIDIA, 비(非) AMD 가속기로, 메가와트당 처리량과 상호작용성 모두에서 우위를 점했습니다. 이는 AI 보조 프로그래밍과 수직 계열화된 ASIC이 NVIDIA의 소프트웨어 종속성을 줄임에 따라 CUDA의 해자가 약화되고 있음을 시사하지만, NVIDIA의 광범위한 생태계와 공급망은 여전히 가치가 있습니다.
AI 보조 포팅은 AMD의 소프트웨어적 불리함을 감소시킵니다.
Anthropic은 에이전트형 AI 프로그래밍을 통해 연구소들이 AMD의 소프트웨어 스택 문제를 우회할 수 있게 됨에 따라 AMD를 하드웨어 공급업체로 영입하고 있습니다. 이는 AI 보조 커널 개발이 NVIDIA의 소프트웨어 해자를 약화시키고 AMD 가속기의 유효 시장을 확대하고 있음을 시사합니다.
삼성전자 HBM4 선도; SK하이닉스, 마이크론은 뒤처짐.
삼성전자는 DRAM 다이가 더 진보된 1C 공정으로 구축되고 베이스 다이에 삼성 파운드리 SF4 4nm 공정을 사용함에 따라 HBM4 분야의 선두주자로 부상했습니다. 반면 SK하이닉스와 마이크론은 구형 공정을 사용 중이며 HBM4 지연이나 재설계 문제에 직면해 있습니다. 삼성전자의 HBM4 공급은 OpenAI Jalapeño/Broadcom에 15.4 TB/s의 대역폭을 제공하며, 이는 NVIDIA Rubin HBM4의 예상치를 상회하는 수준입니다. 따라서 삼성전자가 HBM4의 승자이며 SK하이닉스와 마이크론은 뒤처져 있습니다.
삼성전자 HBM4 선도; SK하이닉스, 마이크론은 뒤처짐.
삼성전자는 DRAM 다이가 더 진보된 1C 공정으로 구축되고 베이스 다이에 삼성 파운드리 SF4 4nm 공정을 사용함에 따라 HBM4 분야의 선두주자로 부상했습니다. 반면 SK하이닉스와 마이크론은 구형 공정을 사용 중이며 HBM4 지연이나 재설계 문제에 직면해 있습니다. 삼성전자의 HBM4 공급은 OpenAI Jalapeño/Broadcom에 15.4 TB/s의 대역폭을 제공하며, 이는 NVIDIA Rubin HBM4의 예상치를 상회하는 수준입니다. 따라서 삼성전자가 HBM4의 승자이며 SK하이닉스와 마이크론은 뒤처져 있습니다.
다음
This SemiAnalysis video, published August 29, 2026, features Jordan Nanos, Myron discussing AVGO, NVDA, AMD, 005930.KS, MU, 000660.KS. 5 trade ideas extracted by AI with direction and confidence scoring.
Speakers: Jordan Nanos, Myron · Tickers: AVGO, NVDA, AMD, 005930.KS, MU, 000660.KS