问：AI词元服务器和传统GPU服务器到底差在哪？
演讲者指出，词元服务器并非硬件品类，而是面向大模型推理的“词元吞吐”优化单元。近期某社区实测显示，同样GPU下，词元生成速率受限于显存带宽与网络往返时延，而非单纯算力。IDC选型时若只盯GPU型号，容易忽略南北向流量模型。
问：为什么说带宽是词元服务器的隐形瓶颈？
现场演示了一组数据：千亿参数模型单次推理需搬运数十GB权重，若节点间采用25G网络，参数同步耗时可能超过计算本身。演讲建议IDC在机柜级预留100G上行，并关注“带宽与并发词元数”的线性拐点，而非峰值标称值。
问：网络软件栈该怎么选？RDMA还是TCP？
大会共识是：小规模推理集群可先用TCP+内核旁路过渡；当词元并发超过阈值，RoCEv2的拥塞控制调优收益明显。近期某开源项目发布了面向词元服务的轻量RDMA封装，降低了IDC部署门槛，值得关注。
问：IDC机柜功率密度要预留多少？
演讲给出参考：词元服务器常配8卡，单柜功率易突破30kW，风冷IDC需提前评估配电与散热。近期多家IDC运营商推出“AI就绪”高密机柜，支持液冷改造，社区建议签约前确认承重与管路接口。
问：软件层面有哪些容易被忽视的配置？
一是连续批处理（continuous batching）对网络突发流量的放大效应；二是词元缓存命中率对带宽的削减作用。演讲者提醒，监控应覆盖“每词元网络字节数”这一指标，而非只看GPU利用率。
问：本周大会还释放了哪些近期信号？
多个分享提到，2026年下半年IDC行业正从“卖机柜”转向“卖词元吞吐能力”，带宽与网络软件协同优化成为招标新评分项。社区建议运维团队提前梳理词元服务链路，避免扩容时网络成为短板。
0 留言