1. 词元服务器带宽计量：先分清“95计费”还是“按月峰值”
本周争论最激烈的是IDC销售口中的“百兆带宽”实际可用性。近期多家云厂商上调了超额流量费，导致AI推理集群（如vLLM部署）因Token流式返回产生大量短连接，触发高PPS（每秒包数）而非高带宽。建议：
· 签约前明确带宽计费模式，若为95计费，要求IDC提供近3个月同规格机柜的月95曲线；
· 对于流式输出场景，优先选用按“月流量总额”计费的机房，而非按峰值，可节省30%-50%成本；
· 用tc或iftop实测Token生成时的实际PPS，若超过1万PPS，普通千兆网卡会丢包，必须上Intel X710或Mellanox ConnectX-5以上网卡。
2. 软件层：别让“词元缓存”变成带宽黑洞
本周热议的KV Cache复用方案（如PagedAttention优化）虽降低了显存，但部分实现会频繁重传未变化的历史Token。本周LMSYS社区帖子指出，某开源框架默认开启“全量缓存广播”，导致多卡间带宽占用增加4倍。可执行建议：
· 检查推理框架的--enable-cache-reuse参数，务必启用“仅广播增量Token”模式；
· 在Nginx或网关层增加proxy_buffering off，但需搭配sendfile与tcp_nodelay，否则小包泛滥；
· 使用gRPC流式接口替代REST，可减少HTTP头开销约60%，但需将grpc.keepalive_time调至10秒内，避免死连接占用并发槽位。
3. IDC机柜选型：网络设备与电力同样关键
近期IDC行业因“AI算力扩容”哄抬机柜价格，但多数机柜仍配旧款TOR交换机（如10G SFP+）。本周有实测显示，词元服务器因模型并行（TP/PP）产生东西向流量，老旧交换机缓存不足导致微突发丢包。清单建议：
· 要求机柜内TOR交换机支持至少8MB以上动态缓存，并确认支持ECN（显式拥塞通知）；
· 若预算有限，强制开启NVIDIA NCCL的NCCL_BUFFSIZE=16777216与NCCL_IB_TIMEOUT=22，可缓解拥塞但非根治；
· 签订机柜合同时，写明“峰值带宽”与“包转发率”两项SLA，而非只写带宽。
4. 软件限流：针对Token速率而非请求数
本周争论焦点之一是：用Redis计数器限流（每秒请求数）完全无效，因为词元服务器单次请求可能持续20秒，期间Token速率波动。近期OpenAI的Rate Limit文档暗示了“Token桶”算法。落地建议：
· 在API网关层集成token-bucket（如Java的Bucket4j或Go的golang.org/x/time/rate），按“每秒输出Token数”限流；
· 若使用Nginx，需借助lua-resty-limit-traffic编写自定义限流逻辑，禁止使用limit_req（仅限请求数）；
· 为每个词元服务器实例设置本地Token预算（例如100 Tokens/ms），并同步到ETCD，防止分布式限流导致的误杀。
5. 下周可执行清单：三天内完成降本验证
· 周一：抓取生产环境ss -s与sar -n DEV数据，找出PPS超过1万的时段；
· 周二：联系IDC销售，要求提供“95峰值带宽”月度账单，比对实际Token输出总量，计算每百万Token的带宽成本；
· 周三：在测试环境开启“增量KV缓存”并对比nvidia-smi dmon中的NVLink吞吐，若下降不足20%，则强制升级网卡驱动至最新；
· 周五前：将限流策略切换为Token桶，并灰度10%流量，观察客户端重试率是否下降。
0 留言