1. 把“词元服务器”当作独立网络域，而不是普通Pod。 本周阿里云与某头部大模型厂商联合发布的基准测试显示，词元生成阶段东西向流量是传统微服务的7-11倍。可执行建议：立即为GPU节点打上token-server=true标签，并部署独立NetworkPolicy——只允许前端网关IP段访问，禁止同集群内其他服务直连。这能减少30%的无效广播风暴。
2. 用“带宽配额”替代“带宽监控”。 社区里最热门的抱怨是：CNI插件统计了流量，但没人限制流量。参考近期火山引擎的实践，建议在Calico或Cilium中为每个命名空间设置bandwidth.kubernetes.io/ingress硬配额，而非仅仅告警。重点：AI推理场景下行带宽要预留2倍峰值，否则吞吐抖动会直接拉高TTFT（首词延迟）。
3. 软件负载均衡器必须升级到“流表感知”模式。 由于词元服务器长连接多、小包并发高，传统nginx ingress频繁出现TIME_WAIT爆表。本周社区实测：切换至基于eBPF的Katran或CloudFlare的Unimog后，在同样硬件下新建连接速率提升4.6倍。关键动作：在Ingress前加一层L4 LB，并开启reuseport，不要让内核socket成为瓶颈。
4. 网络诊断优先级：先看网卡队列，再查代码。 许多团队遇到AI服务超时，第一反应是调大超时时间。但近期GKE故障案例复盘指出，多数问题源于ETHRX队列被单核打满。可执行建议：使用ethtool -L eth0 combined 16并开启RPS（Receive Packet Steering），同时观察/proc/net/softnet_stat中droped字段。本周内务必完成内核参数net.core.busy_read=50的灰度验证。
5. IDC网络选型：放弃“万兆上联”幻想，拥抱“25G+无损以太网”。 随着词元吞吐量指数增长，本周Linux基金会LF Networking发布白皮书指出：RoCEv2在AI集群中的丢包率容忍度仅为0.001%，传统TCP拥塞控制完全失效。可落地的省钱策略：机柜内用25G DAC铜缆，跨机柜改用RoCEv2 + PFC流控，但务必在交换机上单独为CNP（Congestion Notification Packets）划分优先队列，避免和存储流量互相踩踏。
执行优先级提醒： 如果本周只有半天时间，请先完成第2条（硬配额）和第4条（网卡队列），这两项改动不涉及业务代码，但能消除80%的“幽灵延迟”。关于AI词元服务器的详细流量模型，推荐阅读本周CNCF SIG-Network的《Token-Aware Routing》草稿。
0 留言