B300 GPU 租用:採購互連叢集

租用 B300 GPU 時,應清楚列明所需的互連配額、運行地點,以及必須通過驗收的時間。供應商宣傳提供 B300,並不代表它能在你的開始日期交付整個叢集。RackShore 只負責轉介;你直接與供應商簽約及付款,基礎設施支援亦由供應商提供。

概念圖:三組石墨色機櫃模組在鼠尾草綠網格上互連,組成 GPU 叢集。

你所指的 B300 租用是甚麼?

說明你需要的是專用裸機伺服器、雲端執行個體,還是代管叢集,並列明確切的平台及租用模式。NVIDIA 文件將 DGX B300 列為八 GPU 系統。GB300 NVL72 則是採用 Grace CPU 的另一種機櫃級設計;未核實軟件及工作負載前,不應互相替代。NVIDIA DGX B300 user guide · NVIDIA GB300 NVL72

要求供應商列明應用程式實際可用的 GPU 記憶體、每節點 GPU 數量、CPU 架構、主機 RAM、本地儲存及支援的軟件版本。產品名稱和標示的記憶體總量,不能取代供應商的確切規格。

如需公開資料起點,以及各供應商 B300 狀態背後的證據,請參閱我們註明日期的 B300 供應商採購指南。硬件取捨方面,請參閱 H100、H200 與 B300 比較。

128 節點、1,024 GPU 示例

僅為說明用途的需求示例:這並非買家訂單、可供應配額或 RackShore 的報價。以每節點八個 GPU 計算,128 個節點即 1,024 個 GPU。需求是在同一約定地點、為單一分散式工作負載互連的 128 個節點,而不是在互不相關的站點湊合 1,024 個 GPU。

就這個示例而言,詢價書(RFQ)可要求:

需求 供應商應確認的內容
配額 128 個專用八 GPU B300 節點,一併交付;列明任何共用資源
地區 指定國家及雲端區域或設施位置;可接受的替代地點另行列出
交付 目標日期、最遲可接受日期、部署里程碑,以及一次過或分階段交付
網絡架構 節點間技術、每 GPU 及每節點的有效頻寬、拓撲、超額訂閱比率及隔離方式
儲存 可用容量、持續讀取及檢查點吞吐量,以及包含哪些儲存層級
租期 所需期限、計費開始日期、付款安排,以及擴充或縮減權利
驗收 涵蓋整個合約配額的測試、工作負載目標、測試時段,以及測試失敗時的處理

這是一份可供比較的需求簡介示例,並非指每個工作負載都需要這個規模。獨立的推理工作可能只需分開的節點;分散式訓練工作則可能依賴互連網絡架構。

按合約規模確認網絡架構

伺服器內部的 NVLink,並不代表 128 部伺服器之間已經互連。應詢問所提供的節點間網絡架構是 InfiniBand 還是支援 RDMA 的 Ethernet、哪些鏈路屬共用,以及報價中的頻寬是按端口、GPU 還是整個節點計算。要求供應商提供實際配額的拓撲,包括網絡架構域之間的任何邊界。

在預定規模下進行集體通訊測試,並運行具代表性的工作負載。記錄 GPU 數量、軟件、精度、批次大小、運行時間及儲存配置。單節點基準測試無法證明整個叢集的擴展表現。NVIDIA NCCL performance guidance

地區與交付同屬報價的一部分

提供首選國家或地區,並說明任何數據存放或延遲方面的限制。如果美國、歐洲或亞太區均可接受,請註明這種彈性;這些只是偏好示例,並非 RackShore 對供應情況的聲明。確認運算、持久儲存及備份所在地,以及支援團隊的運作地點。

要求供應商將建議標示為已運行容量、安裝中或計劃交付,並註明核實日期。將硬件到貨、網絡架構調試、帳戶開通、工作負載驗收及開始計費分開處理。事先議定部分交付、延遲交付及驗收失敗對付款及合約配額的影響。

B300 報價應包括甚麼

比較整套交付服務:運算、網絡架構、儲存、數據傳輸、編排或軟件授權、安裝設定、支援、稅項,以及任何已披露的轉介費用。記錄最低計費時數及承諾總支出。時租較低但需大額預付,代表的是另一種現金承擔;請參考三年報價比較示例。

列明簽約實體、基礎設施營運商,以及負責故障處理及升級處理的團隊。在供應商報價中確認維護、替換容量、服務抵免條件、續約及退出安排。

提交 B300 需求

提供 GPU 數量及節點數、互連規模、可接受的平台、首選地區、開始時段、租期、網絡架構、儲存,以及簡短的工作負載說明。標明哪些是硬性要求、哪些可接受替代方案。RackShore 可根據這份簡介探索合適的供應商配對。供應情況、價格、交付及服務承諾均須由供應商確認;提交查詢並不會預留容量。

已有明確需求?

提交不具約束力的需求簡介,供應及條款由供應商確認。

商討 B300 需求