H100、H200 與 B300：應該租用哪款 GPU？
發佈於
如工作負載每 GPU 用量在 80 GB 以內，而你希望有最多供應商可選，可租用 H100。如額外記憶體可簡化分片或支援更長的上下文，可測試 H200（141 GB HBM3E）。如需要最大記憶體容量及多節點擴展，可評估 B300（Blackwell Ultra）。
先準備一個能夠運行的工作負載、一個可量度的結果，以及完成整項工作的預算。合適的租用方案，是能以可接受的總成本達到這些要求的配置。單憑 GPU 較新，並不足以作出決定。
比較確切型號
| 候選型號 | 實用的起點資料 | 選擇前須確定的事項 |
|---|---|---|
| H100 SXM | NVIDIA 列明 GPU 記憶體為 80 GB | 工作負載能否容納，並保留實際運行所需的餘量？ |
| H200 SXM | NVIDIA 列明 HBM3E 記憶體為 141 GB | 額外記憶體能否減少分片，或支援所需的批次及上下文長度？ |
| 以 B300 為基礎的系統 | Blackwell Ultra 的每 GPU 記憶體多於上述 Hopper 配置 | 供應商提供哪種平台、可用記憶體、軟件堆疊及叢集佈局？ |
H100 這個名稱亦涵蓋其他型號。NVIDIA 列明 H100 NVL 每 GPU 為 94 GB，因此不應在未有說明的情況下將 H100 NVL 報價當作 H100 SXM 報價。請比較實際 SKU 及拓撲。NVIDIA H100 specifications · NVIDIA H200 specifications · NVIDIA Blackwell Ultra specifications
首先，檢查記憶體是否足夠
訓練方面，要計及模型、激活值、優化器狀態及框架本身的工作記憶體。自行管理的推理服務方面，要計及模型權重、KV 快取，以及你計劃支援的並發量及上下文長度。
應以具代表性的配置實測，而不是將模型大小除以標示的 VRAM。將工作負載分片到更多 GPU，會帶來額外的通訊需求。更多記憶體或可讓你調整佈局，但效益必須在端到端測試中體現。
然後，檢查軟件及系統
確認供應商支援的框架、CUDA、驅動程式及通訊函式庫版本。記錄精度設定，以及為測試而對模型作出的任何修改。以不同質素目標或批次大小得出的結果，並非公平比較。
多節點訓練方面，網絡應與 GPU 一併評估。NVIDIA 的 NCCL 指引將節點內連接與節點間效能分開處理，並建議檢查實際通訊路徑。單看 GPU 型號，無法判斷供應商的網絡架構是否合適。NVIDIA NCCL performance guidance
按總支出比較完成的工作量
要求每家供應商報上能達到同一工作負載目標的配置，當中包括所有已分配的 GPU、計費時長、儲存、數據傳輸及必選服務。如有最低承諾用量而工作負載用不完，亦須計入相關成本。
訓練方面，比較達到同一議定結果所需的實際時間。推理服務方面，在相同延遲及質素要求下比較可持續的吞吐量。如有需要，計入安裝設定、數據搬移及重啟的額外開銷。
時租較高，完成整項工作的成本仍可能較低。較大的叢集亦可能成本更高，但完成速度並未按比例提升。兩種可能都應實測。
實用的候選清單
- 如工作負載已能容納，並希望取得實測基準，可納入 H100 SXM
- 如額外記憶體可簡化配置，可測試 H200
- 如記憶體、支援的低精度運算或擴展需求值得評估 Blackwell Ultra，可測試 B300
以上只是評估方向，並非效能保證。供應情況及商業條款可能會改變候選清單。
請向 RackShore 提供工作負載、所需 GPU 數量、地區、時間安排及可接受的替代方案。我們負責配對買家與供應商；獲選的供應商會直接負責租用的合約、計費及支援。
已有明確需求？
提交不具約束力的需求簡介，供應及條款由供應商確認。