The true cost of a GPU cluster

이 영상은 AI 학습 및 추론을 위한 GPU 클러스터 임대의 실제 총비용을 분석합니다. 흔히 비교되는 지표인 'GPU 시간당 비용(dollar-per-GPU-hour)'은 스토리지, 네트워킹, 지원, 설정, 디버깅, 그리고 특히 굿풋(goodput, 완료된 유효 작업량)과 같은 숨겨진 비용이 실제 경제성에 막대한 영향을 미치기 때문에 오해의 소지가 있다고 주장합니다. 발표자는 이러한 요소들을 통합한 SemiAnalysis의 GPU 클라우드 순위인 ClusterMAX를 소개하며, 고객들에게 공급업체와 계약하기 전에 상세한 운영 관련 질문을 할 것을 조언합니다. - GPU 시간당 가격은 8가지 비용 항목 중 하나일 뿐이며, 스토리지, 네트워킹, 제어 평면, 지원, 굿풋, 설정 및 디버깅이 숨겨진 비용을 추가합니다. - 굿풋은 장애, 재시작, 튜닝 이후의 실제 생산적인 작업을 측정하며, 낮은 굿풋은 사실상 비용 낭비를 의미합니다. - 대규모 클러스터는 지속적인 장애 확률에 직면하며, 복구 속도와 핫 스페어(hot spare)가 실제 비용에 큰 영향을 미칩니다. - 세 가지 장애 복구 방식: 콜드 스페어 재시작(가장 느림), 핫 스페어 재시작(더 빠름), 그리고 트레이드오프가 존재하는 내결함성 학습. - ClusterMAX는 가격뿐만 아니라 총비용을 종합적으로 평가하여 GPU 클라우드의 등급을 매기는 독립적인 순위 시스템으로 소개됩니다. - 잠재적 임대 고객은 공급업체에 장애율, 복구 시간, 핫 스페어, 상태 점검, 스토리지 처리량 및 예상 굿풋에 대해 질문해야 합니다. - 궁극적인 목표는 단순히 GPU 시간을 사는 것이 아니라 연구 및 모델 개발 시간을 확보하는 것이며, 가장 저렴한 GPU는 작업을 가장 빠르게 완료하는 GPU입니다.