1. 重新评估服务器选型：从“单卡峰值”转向“词元吞吐/瓦”
本周英伟达H20正式对华禁售，而国产昇腾910B、寒武纪MLU370等芯片在商用推理场景的可用性已显著提升。执行建议：不要只看TOPS或TFLOPS，用你的真实业务prompt长度与并发请求，实测每瓦每秒生成词元数。在IDC托管中，这直接决定每机柜的租赁性价比。工具层面，可使用vLLM或TensorRT-LLM的benchmark脚本，压测3天取P99值。
2. IDC机柜功率与散热：本周开始核查你所在机房的“液冷预留”条件
新一代AI服务器（如浪潮NF5688、宁畅X640）单机柜功率普遍突破30kW，风冷已到极限。本周动作：向你的IDC服务商索取《机柜功率密度及液冷适配说明书》，确认是否有冷板式液冷接口、CDU（冷却分配单元）余量。如果当前机柜只能支持20kW，那么未来6个月采购新服务器时，优先选择8卡但功耗调优的版本，或将训练任务拆分到多机柜，避免热宕机。
3. 带宽成本控制：从“固定专线”切换到“动态带宽池+突发流量包”
本周三大运营商均调整了IDC出口带宽资费，尤其对AI训练中的多节点并行通信（如RDMA）按流量计费。执行建议：若你的业务有潮汐特征（白天推理、夜间训练），联系运营商或中立IDC，签订“95计费+突发上限”混合合同。同时，在软件层面启用网络压缩（如NCCL的GDRCopy和梯度压缩算法），可降低30%以上跨节点带宽消耗。
4. 网络软件栈更新：优先部署RoCEv2+自适应路由，替代传统TCP/IP
本周Linux内核6.8正式完善了RoCEv2的拥塞控制（DCQCN），且主流GPU厂商的驱动均已验证兼容。行动清单：a) 升级到内核6.8+并启用dcqcn参数；b) 在交换机侧开启PFC和ECN；c) 使用UFM（InfiniBand）或NVIDIA Networking的软件，监控流表队列长度。这能让你在现有光缆（如400G）上，跑出接近无损网络的利用率。
5. 词元服务器容量规划：按“周”滚动预测，而非季度
由于大模型迭代速度加快（本周就有Llama 4和Qwen 2.5更新），你的推理服务器需求可能3周内翻倍。本周五前，请完成：a) 将你的API日志接入Prometheus，按词元输入/输出统计每日峰值；b) 设置告警阈值——当单日词元量连续2天超过当前容量的70%时，立即触发扩容流程；c) 与上游芯片代理商（如浪潮、超微）锁定3周内可交付的现货服务器，而非等待2个月排期。记住，在IDC场景下，机柜空间可以空置，但绝对不能没电。
0 留言