先说结论：如果你的业务是高频短连接的AI词元推理，别碰那台标榜“万兆带宽”的A机；但如果你是大模型微调回传，B机的网络软件栈反而最省心。C机？它适合预算卡死但愿意自己调参的玩家。
我们本周在同一个IDC机柜里部署了三台机器：A机（某国际大厂，报价最高，标称25Gbps带宽），B机（国产新锐，主打AI词元优化，10Gbps但软件栈激进），C机（二手重组，5Gbps，网络软件默认保守）。测试方法很简单：连续72小时用同一套词元请求脚本压测，记录带宽利用率、TCP重传率、以及网络软件（包括RDMA over Converged Ethernet和自研拥塞控制）的CPU占用。
A机的真实表现：峰值确实能冲到18Gbps，但一旦并发词元请求超过8000 QPS，它的网络软件开始疯狂重传——重传率从0.1%飙到7%。结果就是客户端侧看到P99延迟从12ms跳到400ms。优点是单流带宽真大，适合离线批量推理；缺点是它的拥塞控制对AI词元这种小包突发极不友好，你需要自己改内核参数。
B机：带宽只有8Gbps实测，但它的网络软件把CPU占用压到了A机的三分之一。最狠的是在词元长度波动剧烈（从32到2048 token）时，它的重传率始终低于0.3%。我们推测它用了某种基于词元边界的自适应分段。适合实时对话类AI服务。缺点？如果你试图跑满10Gbps，它会主动降速保护延迟，所以大带宽需求者会觉得“虚标”。
C机：5Gbps稳定，网络软件默认是标准Cubic。但当我们手动换上BBR v2后，词元吞吐提升了22%，代价是CPU占用上升15%。它的优点是便宜，而且IDC带宽超售少。适合学生团队或小规模A/B测试。缺点是没有厂商调优，一切靠自己。
本周还有一个新讯息：某头部云厂商刚宣布对AI词元服务器加收“网络软件加速费”，按词元调用量阶梯计价。这意味着你选服务器时，不能只看硬件标称带宽，得算上软件栈的隐性成本。
所以，实测后的推荐很直接：要高吞吐批处理，选A机但准备换内核；要低延迟在线服务，选B机别硬拉满带宽；要极致性价比，选C机自己刷BBR。没有完美选项，只有你愿意为哪个缺点买单。
0 留言