Training a 400B Model on 2,048 Blackwell GPUs for $20M | Researcher Conversations at GTC

Arcee AI의 CTO인 Lucas Atkins가 회사의 사전 학습(pre-training) 분야 진출, 주권 및 보안을 위한 오픈 웨이트 모델의 중요성, 그리고 AGI보다는 실무적인 과제를 위한 비용 효율적이고 신뢰할 수 있는 모델에 집중함으로써 프론티어 랩(frontier labs)보다 저렴한 가격을 제시하겠다는 전략적 결정에 대해 논의합니다. 그는 또한 3개 기업 간의 협력을 통해 2,048개의 Nvidia B300 GPU에서 진행된 Trinity 모델 학습에 대해 자세히 설명합니다. - Arcee AI는 전체 AI 스택을 제어하고 기업의 규정 준수 요구 사항을 충족하기 위해 사후 학습(post-training)에서 사전 학습(pre-training)으로 전환했습니다. - 서구권 기업들이 중국산 베이스 모델을 기피하는 경향이 커지면서, 서구권 전용 오픈 웨이트 랩에 대한 수요가 창출되고 있습니다. - 오픈 웨이트 모델은 사용자에게 주권과 통제권을 부여하며, 값비싼 프론티어 API에 의존하지 않고도 커스터마이징할 수 있는 능력을 제공합니다. - 오픈 리서치는 폐쇄적인 상업용 AI 군비 경쟁과 대조적으로, 혁신의 복리 효과와 더 광범위한 안전성 분석을 가능하게 합니다. - 오픈 웨이트와 소규모의 다기능 연구 팀이라는 미션 중심적 접근 방식은 인재 영입을 용이하게 합니다. - Arcee는 프론티어 수준의 수학이나 정리 증명에서 경쟁하기보다는 경제적으로 실행 가능한 과제에서 탁월한 성과를 냄으로써 프론티어 랩보다 낮은 가격을 제시하는 것을 목표로 합니다. - Trinity 모델은 Daytology 및 Prime Intellect와의 파트너십을 통해 2,048개의 Blackwell B300 GPU에서 학습되었으며, DeepSeek의 오픈 소스 아티팩트를 활용했습니다. - B300 GPU 사용은 대규모 벤치마크 제한 및 희소 커널(sparse kernel) 지원 부족과 같은 어려움이 있었으나, 속도와 가용성 측면에서 이점을 제공했습니다.