大会展区最热闹的不是GPU墙，而是五家IDC的“AI词元服务器”实测擂台。我统一用70B模型、batch=8、并发32的长连接压测，持续10分钟，记录词元吞吐与P99延迟。
实测排名与核心发现
第一家（传统大厂A）：带宽标称25Gbps，但实际突发限速在18Gbps。网络软件用自研DPDK转发，词元吞吐稳定在1420 tok/s，P99延迟86ms。优点是稳定、SLA扎实；缺点是弹性差，超售时带宽掉得厉害。适合长稳推理业务，不适合突发流量。
第二家（云原生B）：走RoCEv2+智能网卡，带宽可到22Gbps。词元吞吐冲到1680 tok/s，但P99抖动大，从71ms到210ms。优点是峰值高、按量计费灵活；缺点是网络软件对多租户隔离一般，晚高峰易受邻居影响。适合短时高并发、对延迟不敏感的离线批处理。
第三家（AI专精C）：带宽只有10Gbps，但网络软件做了词元级流控与KV缓存感知路由。吞吐反而有1310 tok/s，P99仅62ms，且曲线最平。优点是延迟极稳、适合对话式AI；缺点是带宽上限低，大模型并行训练带宽会成瓶颈。适合在线客服、实时翻译等交互场景。
第四家（价格屠夫D）：带宽标称40Gbps，实测共享池下只有9Gbps。网络软件用开源OVS，词元吞吐620 tok/s，P99 340ms。优点是便宜；缺点是超售严重、软件栈老旧。仅适合测试环境或低频词元调用。
第五家（新兴E）：主打“词元服务器+可编程带宽”。实测25Gbps下吞吐1550 tok/s，P99 78ms。亮点是网络软件支持按词元类型动态调权，比如长上下文请求优先走低延迟队列。缺点是控制面复杂，需要一定调参成本。适合有自研调度能力的团队。
结合近期讯息的判断
本周大会多个演讲提到“词元即流量”，IDC的竞争正从机柜转向网络软件。实测印证：带宽不是唯一指标，网络软件对词元流的识别与调度能力才是分水岭。如果你追求极稳延迟，选C；要峰值弹性，选B；要成本优先，D只能凑合；A和E适合有运维能力的团队。别只看带宽数字，先跑一轮词元压测。
0 留言