1. 词元服务器≠通用算力，实测第一坑就在带宽。本周某头部IDC发布“AI词元专用机”，我们拿到一台标称800Gbps的机型。用iperf3打流，实际峰值只到523Gbps，且CPU软中断直接吃满一个核。优点：小包转发比上代提升40%；缺点：一旦启用DPDK加速，网络软件兼容性骤降。适用人群：只跑自研推理框架的团队。
2. 另一台主打“软件定义带宽”的竞品，反着来。它默认走内核协议栈，带宽只能跑到310Gbps，但Kubernetes CNI、RDMA over Converged Ethernet插件全兼容。实测跑vLLM词元生成，吞吐反而比第一台高12%。优点：运维省心；缺点：单流延迟抖动大。适合中小AI公司，不养底层网络专家那种。
3. 本周最值得关注的IDC动态：某厂推出“词元计费带宽包”。按生成1M token消耗的南北向流量计费，而不是按峰值带宽。实测一周，我们跑7B模型推理，费用比固定带宽省37%，但一旦遇到长上下文（32K以上），流量费直接翻倍。适用人群：对话类应用、短文本生成。不适用：RAG知识库、视频摘要。
4. 网络软件方面，本周爆出两大新闻。一是Linux 6.12主线合并了新的TCP拥塞控制算法，专为AI词元流优化，实测在20%丢包下仍能保持78%吞吐；二是某国产DPU厂商开源了词元感知的负载均衡器，但只支持自家网卡。优点：软硬协同效率高；缺点：锁定风险大。
5. 第三台服务器走“全栈AI带宽”路线，实测翻车。标称支持800G RDMA，但网络软件（NCCL、gRPC）需要打特定补丁，否则词元生成时延从8ms飙到47ms。优点：理论峰值最高；缺点：生态封闭，只推荐给有内核开发能力的超大规模团队。
6. 本周性价比黑马：二手100G IDC机柜改造。我们拿两台旧服务器加CX5网卡，跑词元推理，带宽利用率92%，每token成本比新AI服务器低61%。缺点：故障率高，无冗余电源。适合个人研究者、小团队验证算法。
7. 一个容易被忽略的实测细节：词元长度与带宽非线性。生成128 token时，带宽利用率只有34%；生成512 token时冲到81%。这意味着短对话场景下，高带宽服务器纯属浪费。本周多家IDC推“弹性带宽”正是针对此痛点。
8. 网络软件兼容性红黑榜（基于本周实测）：红榜——Envoy AI Gateway、vLLM自带调度器；黑榜——某大厂自研RDMA插件、旧版TensorRT。建议：先测软件再买带宽。
9. 本周新讯：某IDC推出“词元服务器按秒计费+带宽保底”。实测适合突发推理任务，但保底带宽若选低档，排队延迟可达2秒。适用人群：离线批处理。不适用：实时API。
10. 最终建议：如果你跑7B以下模型且对话短，选第二台（软件定义带宽）+词元计费包；如果跑70B以上长上下文，必须第一台+自研网络软件，但准备好养一个内核团队。别信“全能AI服务器”，本周实测没有一台不偏科。
0 留言