GPU 叢集租用清單

發佈於 2026年10月1日

需求寫得完整，供應商報價就更容易比較。無論你已確定所需的加速器，還是希望評估其他選擇，在查詢專用 GPU 叢集前都可以使用這份清單。

1. 界定工作及所需結果

說明工作負載、框架及預計運行時間。列出你已測試的 GPU 數量、記憶體需求，以及任何可分享的擴展測試結果。說明令某個配置可被接受的期限或效能目標。

將硬性要求與偏好分開。固定的數據存放地點或軟件依賴，可能會令某些報價出局；偏好的 GPU 世代則可以商量，只要另一個系統能通過你的測試。

2. 列明配額

要求列明確切的 GPU 型號及外形規格、每部伺服器的 GPU 數量、伺服器數量、主機記憶體、CPU 架構及本地儲存。說清楚你需要獨佔實體伺服器、虛擬機中的完整 GPU，還是其他租用模式。

「專用」、「裸機」和「預留」回答的是不同問題。應分開詢問資源隔離、機器存取權限及商業承諾。固定期限的預留本身，並不說明你會獲得甚麼硬件。

3. 說明網絡架構及儲存

如屬單一分散式工作負載，應列明所要求的節點必須互連成可用的叢集。詢問網絡技術、網卡數量及速度、拓撲、超額訂閱比率，以及相關路徑是否共用。

以下三項應分開處理：GPU 之間的連接、節點之間的通訊，以及通往儲存的路徑。NVIDIA 的 NCCL 文件將通訊拓撲與網絡配置視為不同的檢查項目。NVIDIA networking troubleshooting

向供應商提供數據集大小、儲存容量及預計檢查點大小。詢問初次數據傳輸需時多久、檢查點存放在哪裏，以及租期結束時已儲存的數據如何處理。

4. 議定交付及驗收

列明首選開始日期、最遲可用的開始日期及租期。詢問容量是已在運行、等待調試，還是要視乎日後的硬件到貨。

訂立有明確範圍的驗收測試：具代表性的工作負載、節點數量、軟件版本、效能目標及測試時長。同時要求提供 GPU 健康狀況資料及合適的通訊測試。在開始計費前，議定如何處理故障節點、驗收失敗及交付延誤。

5. 指定營運負責人

確認由誰開通存取權限、誰支援硬件及網絡、誰處理你的軟件環境。查詢支援時間、升級處理聯絡人、維護通知安排，以及更換故障 GPU 或節點的流程。

如有地點或保安要求，應索取適用於實際服務及設施的證明。記錄運算、儲存及備份的核准地點。任何合約或合規要求，應交由團隊內合適的人員審閱。

可複製的需求簡介

• 工作負載及框架：
• 所需結果或期限：
• GPU 型號、可接受的替代型號及記憶體需求：
• GPU 數量及每節點 GPU 數量：
• 單節點、獨立節點或互連叢集：
• 網絡架構及儲存需求：
• 運算及數據存放地點限制：
• 首選及最遲開始日期：
• 租期及擴充選項：
• 租用模式及存取要求：
• 驗收測試及支援要求：
• 預算範圍、貨幣及所需計費單位：

開始洽談前，毋須每一項都已確定。請清楚標明未知項目，讓供應商說明其假設。

將簡介交給 RackShore，以探索合適的供應商配對。RackShore 負責轉介；你的合約、計費及基礎設施支援均由供應商負責。