GPU 集群租赁清单
发布于
需求说明越完整,供应商的报价就越容易比较。无论您已经确定所需的加速卡,还是希望评估其他方案,在申请独享 GPU 集群之前都可以使用这份清单。
1. 明确任务和所需结果
说明工作负载、框架和预计运行时长。写明已测试过的 GPU 数量、显存需求,以及可以分享的扩展测试结果。说明决定某个配置是否可接受的截止时间或性能目标。
区分硬性要求和偏好。固定的数据存放地或软件依赖可能直接排除某个报价;而偏好的 GPU 代际,如果其他系统能通过测试,或许可以商量。
2. 明确算力配额
写明具体的 GPU 型号和外形规格、每台服务器的 GPU 数量、服务器数量、主机内存、CPU 架构和本地存储。说明您需要的是独占物理服务器、虚拟机中的整卡,还是其他租户模式。
“独享”“裸金属”和“预留”回答的是不同的问题。请分别询问资源隔离、对机器的访问权限以及商务承诺。固定期限的预留本身并不能说明您实际拿到的是什么硬件。
3. 说明网络和存储
对于同一个分布式工作负载,应写明所需节点必须作为一个可用集群互联。询问网络技术、网卡数量和速率、拓扑、收敛比,以及相关路径是否共享。
把三件事分开看:GPU 之间的互联、节点之间的通信,以及到存储的路径。NVIDIA 的 NCCL 文档将通信拓扑和网络配置作为不同的检查项。NVIDIA 网络故障排查
向供应商提供数据集大小、存储容量和预计的检查点大小。询问初始数据传输需要多长时间、检查点保存在哪里,以及租期结束时存储数据如何处理。
4. 约定交付和验收
写明期望开始时间、最晚可用的开始时间和租期。询问算力是已在运行、等待调试,还是取决于未来的硬件到货。
定义一个有边界的验收测试:具有代表性的工作负载、节点数量、软件版本、性能目标和测试时长。同时索取 GPU 健康状态信息和相应的通信测试。在开始计费之前,约定节点故障、验收失败和交付延迟的处理方式。
5. 明确运维责任方
确认由谁开通访问权限、谁负责硬件和网络支持、谁处理您的软件环境。询问支持时间、升级联系人、维护通知以及更换故障 GPU 或节点的流程。
如有地点或安全方面的要求,请索取适用于实际服务和机房的证明材料。记录算力、存储和备份的获批地点。由团队中合适的人员审核所有合同或合规要求。
可直接复制的需求说明
- 工作负载和框架:
- 所需结果或截止时间:
- GPU 型号、可接受的备选和显存需求:
- GPU 数量及每节点 GPU 数:
- 单节点、独立多节点还是互联集群:
- 网络和存储要求:
- 算力和数据存放地限制:
- 期望开始日期和最晚开始日期:
- 租期和扩容选项:
- 租户模式和访问要求:
- 验收测试和支持要求:
- 预算范围、币种和所需计费单位:
开始沟通前不必把每一项都定下来。把尚未确定的事项明确标出,供应商就能说明他们的假设。
将需求说明发给 RackShore,以寻找匹配的供应商。RackShore 负责牵线介绍;合同、计费和基础设施支持由供应商负责。
已有明确需求?
提交不具约束力的需求简介,供应和条款由供应商确认。