问：最近总听到“AI词元”这个词，它和IDC带宽有什么关系？
答：本周大会上，多位讲师指出，“词元”是大模型处理文本的最小单位。一个词元对应一次向量计算和一次网络往返。当推理请求并发量上升，词元吞吐量会直接转化为对IDC内部东西向带宽的压力。近期某头部云厂商公布的数据显示，千亿参数模型在线服务时，单机柜内部带宽需求已从25Gbps跃升至200Gbps以上。
问：传统IDC的服务器和网络软件还能扛住AI负载吗？
答：演讲嘉宾明确表示“不能简单复用”。传统IDC以南北向流量为主，而AI训练与推理产生大量东西向突发流量。近期业内开始推广“无损网络+RDMA over Ethernet”方案，配合智能网卡（DPU）卸载协议栈。软件层面，拥塞控制算法从DCQCN向更激进的TIMELY演进。大会现场演示了某开源网络软件在200G环境下的词元级调度延迟，比默认内核协议栈降低约40%。
问：我们小团队没有自建IDC，租用带宽时要注意什么？
答：近期多家IDC服务商上调了AI专用机柜的带宽单价。演讲者建议关注三点：一是是否支持按词元计费的弹性带宽；二是内部交换架构是否全叶脊（Leaf-Spine）且无收敛；三是网络软件是否开放可编程接口。大会现场有厂商展示了基于P4的智能调度插件，可让租户自定义词元优先级队列。
问：未来半年，IDC网络软件最值得关注的变化是什么？
答：结合本周演讲与近期讯息，三个方向最热：第一，基于AI词元感知的动态带宽分配，从“按流”转向“按语义单元”；第二，服务器侧DPU与网络软件协同，实现词元级负载均衡；第三，开源社区正在制定词元传输的轻量级封装标准。大会最后圆桌环节提醒：不要盲目追新，先测清自己业务中词元与带宽的换算曲线。
0 留言