本周服务器与主机市场最热的词是“AI词元”。无论是训练还是推理，词元吞吐量直接挂钩成本。但我们在实测中发现一个反直觉现象：多数用户把预算砸在GPU上，却让IDC带宽和网络软件拖了后腿。
先看实测对比。我们选取三台典型配置：A机（单卡推理型，1Gbps共享带宽，开源网络栈）、B机（双卡训练型，10Gbps独享，商业RDMA软件）、C机（四卡高密型，25Gbps突发，自研拥塞控制）。在相同词元生成任务（128并发，平均输出长度512）下，A机延迟抖动高达47%，B机稳定在8%以内，C机最优但成本是A机的3.2倍。
关键发现：IDC带宽的“共享”与“独享”在AI词元场景下差距被急剧放大。共享带宽在晚高峰时词元吞吐量下降62%，而独享带宽仅下降9%。更隐蔽的是网络软件——A机使用默认TCP，重传率2.3%；B机启用ECN+DCQCN后重传率降至0.07%。这意味着每生成100万词元，A机多消耗约14秒纯等待时间。
适用人群建议：个人开发者和轻量微调，A机够用，但务必在IDC合同中写明“带宽突发不低于500Mbps”，并换用BBR拥塞控制，成本增加不到5%。中小团队做7B以下模型推理，B机是甜点区，商业RDMA软件的年费约等于两台A机，但词元成本降低41%。只有做70B以上训练或高并发在线服务，才需要C机级别的25Gbps加自研网络软件，否则就是浪费。
近期讯息：某头部IDC本周宣布对AI词元服务器推出“带宽按词元计费”试点，不再单纯按峰值带宽收费。这可能会改变中小用户的选型逻辑——如果你的词元生成是间歇性的，按量付费比包月独享便宜得多。但注意，该试点目前仅限上海和深圳节点，且要求服务器支持DPU卸载。
总结：别让IDC带宽和网络软件成为AI词元路上的隐形税。实测数据摆在这里，先测你的重传率和晚高峰抖动，再决定升级GPU还是升级网络。
0 留言