1. 优先启用vLLM的Chunked Prefill，而非盲目加带宽。本周HuggingFace热榜上，关于vLLM 0.6.x的讨论集中在长上下文场景。社区实测：在相同QPS下，开启chunked prefill可让词元服务器GPU显存占用下降30%，从而减少跨机张量并行导致的南北向带宽需求。可执行建议：如果你的IDC机柜内带宽按GB计费，先检查vLLM参数--enable-chunked-prefill是否已开启，而不是直接扩容到100G口。
2. 用TGI的Router模式代替传统Nginx负载均衡。本周text-generation-inference更新了多节点路由逻辑，社区反馈在8卡A100集群上，token吞吐提升18%，同时减少了CPU到GPU的拷贝网络开销。IDC侧可落地动作：将软件负载均衡从Nginx换成TGI内置router，并关闭TCP_NODELAY延迟优化——因为词元流更适合批量小包，而非极低延迟大包。带宽利用率能提高约12%。
3. 关注SGLang的RadixAttention缓存命中率，直接影响CDN回源流量。社区本周新帖显示，SGLang在共享前缀场景（如多轮对话、RAG）下，radix cache命中率超过70%时，回源到对象存储的流量减少一半。可执行建议：在IDC机房里，把模型前置缓存节点（如Squid或Varnish）的TTL设置为与radix cache过期时间一致，避免重复拉取tokenizer和embedding文件。同时，监控每个词元服务器的缓存miss率，超过30%就调整prefix caching策略。
4. 网络软件层：尝试eBPF加速的XDP，而不是升级网卡。本周内核社区关于XDP在AI场景的测试帖指出，在接收大流量词元请求时，使用XDP+AF_XDP socket可以让单核处理PPS提升5倍。对于IDC机柜内东西向流量（比如多节点pipeline parallel），这比换100G网卡更省钱。具体做法：用Cilium 1.16的eBPF host-routing替代iptables，并开启GRO（Generic Receive Offload）——社区实测在Llama-3-70B推理集群中，网络延迟降低0.4ms，这个差异在长连接下累积成可感知的TTFT改善。
5. 带宽合约按“词元/秒/千兆”计价，而非按95峰值。这是本周最“反常识”的IDC建议。多个社区运维在讨论中透露，AWS和部分二线IDC开始支持按Token吞吐量计费。可执行动作：向你的IDC服务商要一个基于“每百万词元”的带宽报价单，如果你的模型平均输出长度超过2000字符，这种计费方式通常比95峰值便宜40%以上。同时，在软件侧用max_tokens限制每个请求长度，把突发流量压到词元级别，而不是IP级别——这能显著降低被IDC标记为“异常高带宽”的风险。
总结：本周开源社区的热点不在新模型，而在“如何在现有IDC网络和软件栈里榨出更多词元吞吐”。先做vLLM和SGLang的缓存优化，再谈带宽扩容；先试eBPF，再换网卡；最后，重新谈一份按词元计费的带宽合同。这三步做完，你的AI服务器单位成本至少能降20%。
0 留言