Ep. 012 - Cerebras IPO (AI Cloud TCO)

진행자들은 세레브라스(Cerebras)의 다가오는 IPO, 웨이퍼 스케일 엔진 아키텍처, 빠른 토큰 추론의 경제성에 대해 논의함. 또한 OpenAI 및 아마존과의 계약, 래디컬 스티칭(radical stitching)과 같은 기술적 혁신, 생산 및 대역폭 확장 시의 과제들을 탐구함. 대화는 AI 추론에서 속도와 비용 간의 트레이드오프를 저울질함. - 세레브라스는 상장을 앞두고 있으며, OpenAI 및 아마존과의 신규 계약을 통해 중동 투자자들에 대한 의존도를 낮추고 있음. - 웨이퍼 스케일 엔진은 전체 웨이퍼에 걸쳐 84개의 다이를 스티칭하여 극도의 컴퓨팅 밀도를 달성함. - SRAM 기반 아키텍처의 빠른 토큰은 10배의 속도 향상을 가능하게 하지만 토큰당 비용이 상당히 높음. - 세레브라스의 강점은 대규모 배치 고동시성 추론이 아닌, 단일 사용자 디코딩과 같은 저산술 강도 커널에 있음. - 생산 확장은 웨이퍼에 구멍을 뚫는 공정을 포함한 독자적인 사내 조립 공정으로 인해 병목 현상을 겪고 있음. - 회사는 조 단위 파라미터 모델을 서비스하기 위해 여러 대의 고가 시스템이 필요하여 잠재 고객이 제한된다는 타당성 문제에 직면해 있음. - 빠른 토큰 시장은 초선형 가격 책정을 정당화할 수 있는 애플리케이션이 등장할 경우 성장할 수 있으나, 그 상한선은 불분명함.