甚麼是 GPU 經紀?
發佈於
GPU 經紀是一種中介,協助企業向並非由自己擁有的營運商採購 GPU 運算資源,方式包括物色合適容量、轉介雙方或轉售使用權。各類經紀最大的分別在於一個問題:由誰與買家簽約,以及由誰向買家收費。
這個問題決定了節點故障時由誰負責、你的預付款由誰持有,以及你與誰議價。「經紀」一詞用法寬鬆,因此下文會分開說明四種常見模式,以及應向每一種提出的問題。
經中介購買 GPU 運算資源的四種方式
| 模式 | 由誰與買家簽約及收費 | 典型買家 | 典型租期 |
|---|---|---|---|
| 轉介經紀 | GPU 營運商或獲授權轉售商 | 預留叢集數月至數年的團隊 | 數月至 5 年 |
| 轉售商 | 轉售商,其容量購自營運商 | 希望以一份合約涵蓋多個來源的買家 | 數星期至數年 |
| 交易平台 | 視乎情況:交易平台本身,或按平台條款運作的個別主機商 | 按需購買或購買短期區塊的團隊 | 數小時至數月 |
| 聚合平台 | 通常是底層雲端供應商,經單一介面提供 | 比較按需執行個體的開發人員 | 數小時至數星期 |
轉介經紀:經紀將買家需求與供應商配對,然後退出。供應商確認供應情況、與買家簽約,並直接向買家收費。經紀通常由供應商支付轉介費。RackShore 正是採用這種模式。
轉售商:轉售商購入或租入容量,再以自己的合約轉售。你只需面對一個交易對手,但你獲得的服務取決於轉售商與背後營運商之間的協議。
交易平台:平台刊登來自多個主機商或營運商的容量,通常可自助下單。例子包括刊登獨立主機商容量的 Vast.ai,以及出售 GPU 時段區塊的 SF Compute。應細閱每項刊登的條款:交易對手及支援模式可能因刊登而異。
聚合平台:可在多個雲端啟動執行個體的單一控制台或 API,例如 Shadeform。它適合按需工作,但甚少用於採購多年期專用叢集。
何時值得使用 GPU 經紀
需求規模大、要求具體或租期長時,經紀最能發揮價值。例子包括配備特定網絡架構的 128 節點 B300 叢集、3 年預留租期,或你不熟悉當地營運商的地區。
如只需按需使用少量 GPU,直接向公有雲或交易平台購買通常較快。就小型、短期的工作負載而言,經紀甚少能提供比公開自助價格更好的條件。
應向任何 GPU 經紀提出的問題
- 誰是我的簽約對手,誰向我收費?在分享詳細需求簡介前,先取得法律實體名稱。
- 你如何收取報酬?詢問費用來自供應商、買家,還是轉售差價,以及會否影響你支付的價格。
- 你有甚麼證據證明容量確實存在?具名的營運商、數據中心地區及交付日期才算證據。網站上的型號名稱並不算。
- 簽約後由誰處理故障及支援?答案應指明營運商或轉售商的某個團隊,並在合約中訂明回應時間。
- 我的預付款會付給誰?應根據你已細閱的合約條款,付給實際提供服務的一方。
我們的經紀評估評分表將這些問題整理成並列比較。
RackShore 的定位
RackShore 是只提供轉介服務的 GPU 運算經紀。買家提交所需的 GPU 型號及數量,價格及租期再以電郵商討。RackShore 會聯絡容量可能合適的營運商及獲授權轉售商。其後由供應商直接與買家簽約及收費,並可能根據另行簽訂的書面協議向 RackShore 支付轉介費。
RackShore 不擁有 GPU、不轉售運算資源,亦不持有買家資金。
相關問題
GPU 經紀與 GPU 雲端供應商是否相同?
不相同。GPU 雲端供應商營運硬件並出售使用權。經紀協助你物色及接觸供應商;在轉售商模式下,經紀亦可能出售向供應商購入的使用權。
GPU 經紀會否向買家收費?
視乎模式而定。轉介經紀通常由供應商支付費用。轉售商從你支付的價格中賺取差價。交易平台可能向任何一方收費。應要求以書面列明收費安排。
經紀能否取得未公開刊登的容量?
有時可以。營運商往往透過直接銷售出租大型預留叢集,部分容量從不在公開價格頁面上出現。與營運商有聯繫的經紀可代你查詢,但只有營運商才能確認配額。
已有明確需求?
提交不具約束力的需求簡介,供應及條款由供應商確認。