近期开源社区释放出一个明确信号：AI推理正在从“拼算力”转向“拼词元吞吐与网络效率”。IDC场景下，词元服务器（Token Server）的瓶颈往往不在GPU，而在带宽调度与网络软件栈。本周热门项目如 llm-d、vLLM production stack 以及 SGLang router 都在强化请求路由与KV缓存传输。下面按三档预算给建议。
预算5千元以内：单机词元服务+轻量带宽整形
适合小型IDC或边缘节点。核心思路是用一台带单张消费级显卡的服务器，跑量化后的7B模型。开源方案选 Ollama + OpenResty，再用 tc (traffic control) 做入口限速。带宽建议独享50Mbps即可支撑5-8路并发词元输出。网络软件重点不是加速，而是防止某一路请求打满上行。推荐本周新晋项目 token-throttle，它能在应用层按词元速率动态调整TCP窗口，避免IDC交换机端口拥塞。
预算1.5万至2.5万元：多机词元池+RDMA over Converged Ethernet
这是当前IDC改造的主流档位。两台或三台二手GPU服务器组成词元池，用 vLLM 的分布式推理模式。带宽至少10Gbps内网，推荐RoCEv2。网络软件组合：DOCA 或 OpenOnload 做用户态网络加速，配合 Envoy AI Gateway 做词元级负载均衡。本周开源社区热门项目 kv-cache-transfer 值得关注——它把KV缓存当作独立数据流，走RDMA直传，实测首词元延迟降低40%。注意：IDC交换机需支持PFC/ECN，否则RoCE会丢包。
预算5万元左右：全闪词元集群+可编程网络软件
面向中型IDC或AI SaaS服务商。三到五台服务器，每台配L40S或A100 40G，内网25Gbps起步。网络软件采用 SONiC 开源网络操作系统，搭配 P4 可编程流水线做词元感知调度。本周趋势里，NVIDIA Dynamo 与 llm-d 的集成方案热度极高，它把词元生成与网络拥塞控制解耦，允许IDC运维按租户分配带宽配额。另外推荐 eBPF-based token shaper，无需改应用即可在IDC边界按词元速率整形。此档位下，带宽成本约占40%，网络软件调优可再挤出20%有效吞吐。
总结：无论哪档预算，本周开源社区的共同方向是“词元级网络可见性”。先测你的IDC交换机是否支持ECN，再选软件栈。别盲目追新，从 token-throttle 或 kv-cache-transfer 这类小项目入手，迭代成本最低。
0 留言