问一：为什么说“AI词元”正在改变IDC的网络架构？
过去数据中心流量以南北向为主，现在AI推理产生的词元流是典型的东西向、高频次、小包化。近期多家云厂商披露，单个推理集群的每秒词元请求数在半年内增长3倍，导致传统三层网络在汇聚层出现微突发。IDC运营商开始把叶脊架构的收敛比从1:3收紧到1:1.5，并引入动态负载均衡软件。
问二：服务器带宽到底缺在哪？
缺的不是单机带宽，而是“有效带宽”。一台8卡GPU服务器标称400Gbps，但当词元请求碎片化后，实际有效吞吐可能只有标称的40%。近期某头部厂商测试显示，启用RoCEv2与自适应路由后，有效带宽回升到70%以上。所以问题在协议栈和拥塞控制，而非单纯加光纤。
问三：绿色计算与带宽矛盾吗？
不矛盾，但需要协同设计。带宽利用率越低，单位词元的能耗越高。本周有研究指出，把网络软件的重传率从2%降到0.3%，整体PUE可间接改善0.05。这意味着优化网络协议本身就是绿色计算的一部分。
问四：IDC行业最近在软件侧有哪些动作？
一是可编程网卡开始支持词元级QoS标记；二是DCIM系统与网络控制器打通，实现“带宽-功耗”联合调度；三是出现针对AI推理的轻量级传输协议，替代部分TCP场景。近期某开源项目发布了基于eBPF的拥塞控制框架，专门针对小包词元流。
问五：中小企业要不要跟进？
不必追最前沿，但可以关注两个信号：一是你的推理服务P99延迟是否随并发上升而恶化；二是网络重传率是否超过1%。如果两者都中，优先升级网卡固件和拥塞控制算法，而不是直接换交换机。
问六：本周最值得记住的一个数字？
0.3%。这是某绿色数据中心通过软件优化将词元请求网络重传率压低后的数值。它提醒我们：在AI时代，带宽效率就是能效。
0 留言