本周复盘了三起与网络相关的事故：一是AI推理服务突发流量把单线带宽打满，导致词元响应P99抖动；二是某节点网卡多队列与中断绑核配置不当，软中断丢包引发重传风暴；三是接入层BGP路由策略变更后未做回滚演练，造成局部绕行。共性结论：带宽选型与网络软件调优必须按业务场景和预算分层设计，不能一刀切。
场景一：低预算起步（月带宽支出控制在数千元）
适合小规模AI词元服务或测试环境。建议选择单线或双线大带宽独服，带宽冗余按峰值×1.5预留；网络软件侧优先开启BBR拥塞控制、调整RPS/RFS分散软中断，并用tc做突发限速保护。近期有IDC推出“按小时计费+95峰值”的轻量带宽包，适合波动型推理负载，可降低闲置成本。操作要点：上线前用iperf3长稳跑24小时，记录丢包与重传曲线。
场景二：中等预算稳态（月支出1-3万元）
面向已上量的词元服务器集群。建议采用多线BGP接入，带宽按“基线+突发”组合采购，并配置链路聚合与ECMP；网络软件层启用XDP/DPDK加速转发、精细化QoS为推理API流量打高优先级。近期讯息显示部分IDC已支持RDMA无损网络选项，若推理节点间有AllReduce通信，可优先试点。此档关键动作是建立带宽水位告警（80%预警、90%限流），并做季度故障切换演练。
场景三：高预算高可靠（月支出5万元以上）
适合大规模AI词元服务和核心SRE生产环境。建议双IDC多活+专线互联，带宽按业务SLA反推并保留30%冷备；网络软件采用SDN控制器统一编排，结合eBPF做细粒度可观测。近期有云商上线“带宽弹性池”能力，可跨实例共享突发带宽，适合推理潮汐场景。务必配套变更灰度与自动回滚，本周第三起事故正是缺了这一步。
总结：先定场景再谈预算，带宽是成本也是稳定性的边界，网络软件调优是放大带宽价值的关键。下周复盘将跟进弹性带宽池的实测数据。
0 留言