本周事故复盘：某AI词元推理集群在晚高峰出现P99延迟从80ms飙升至1.2s，根因是批处理任务与在线推理共享25Gbps上行，突发流量打满网卡导致RDMA队列积压。这起事故让我们重新审视IDC内AI服务器的带宽分配与网络软件调优。
实测对象为三台同配置词元服务器（A100×2，25Gbps双口），分别采用：方案A纯内核TC+HTB限速；方案BDPDK用户态转发+自研轮询调度；方案C商用智能网卡+流量编排软件。
带宽实测对比（每词元平均负载）：方案A在混合流量下抖动最大，P99延迟约320ms，优点是零额外依赖、部署快；方案B吞吐最高，可稳定跑满24Gbps且P99仅95ms，但CPU占用增加18%，且对运维门槛高；方案C延迟最低（P99 62ms），支持动态优先级，但授权成本是前者的6倍。
适用人群建议：小型SRE团队（<5人）优先方案A，配合cgroup v2隔离批处理任务；中型团队（10-30人）推荐方案B，需储备DPDK排障能力；大型IDC或对SLA要求严苛的AI推理平台选方案C，但务必先做PoC验证与现有监控体系的兼容性。
结合近期某云厂商发布的新一代词元服务器网卡（支持可编程拥塞控制），我们建议在选型时增加“是否支持带内遥测”作为硬指标，这能大幅缩短下次事故的定位时间。下周将分享具体TC脚本与DPDK调优参数。
0 留言