本周连着跟完三个IDC机房的AI词元服务器上线压测，场景都是高并发推理服务，但网络软件选型各不相同。先说结论：带宽不是瓶颈，网络软件栈才是。
案例一：万兆直通+自研用户态协议栈。单机64核、双万兆网卡，词元服务QPS跑到设计值1.4倍时，CPU软中断占比从12%飙到38%，尾延迟P99直接翻了三倍。优点是部署快、无额外硬件成本；缺点是并发一过拐点就雪崩，适合流量平稳的中小推理服务商，不适合突发拉满的在线业务。
案例二：智能网卡+DPDK卸载。把词元请求的包解析和分流转到网卡侧，主机CPU释放出约22%的算力给模型推理。压测下P99稳定在8ms以内，带宽利用率到92%仍未见明显抖动。近期不少智算中心交付时默认配这类网卡，算是踩中了趋势。缺点很现实：迁移改造两周起步，运维团队得懂底层，小团队慎入。
案例三：传统内核栈+带宽整形。最省事的方案，靠tc限速和连接数控制硬压并发。实测带宽跑到七成时QPS就开始锯齿状波动，优点是零改造、零学习成本，适合预算紧、并发曲线平缓的IDC转售型客户；缺点是上限肉眼可见，AI词元高峰期基本顶不住。
综合看，本周这组数据指向一个取舍：愿意投人力改网络软件栈的，带宽能多用两成；只想堆带宽不碰软件的，拐点来得比想象早。结合近期IDC行业AI词元服务器密集上架的动向，建议按业务峰谷特征选型，别被“万兆”“低延迟”这类标签带节奏。适用人群一句话：突发型选案例二，平稳型选案例一，预算敏感型选案例三，但别指望案例三扛高并发。
0 留言