Q1：本周AI芯片市场最大的变量是什么？
一边是英伟达B200开始规模交付，单卡推理吞吐较H100提升明显；另一边国产GPU厂商接连发布面向大模型推理的加速卡，主打“每瓦词元数”。对IDC而言，选型不再只看峰值算力，而是看单位带宽下能稳定吐出多少词元。近期某云厂商实测显示，同一模型下，高带宽HBM版本比普通版词元吞吐高约40%，但功耗也上去了。
Q2：为什么说“词元服务器”正在取代传统AI服务器叫法？
因为业务指标变了。以前卖算力按PFLOPS，现在客户按“每千词元成本”算账。词元服务器强调内存带宽、KV Cache容量和网络软件调度效率。本周有IDC运营商反馈，客户签合同时直接要求承诺“每路词元延迟低于阈值”，倒逼服务器带宽从400G向800G迁移。
Q3：IDC行业最头疼的带宽问题具体指什么？
不是总出口带宽，而是GPU间和节点间的东西向流量。大模型推理时，张量并行和专家并行会产生大量all-to-all通信。如果IDC内部还是传统三层网络，词元生成会被网络软件排队拖慢。近期某智算中心把RoCEv2换成基于UEC的拥塞控制后，词元吞吐提升了18%。所以现在采购词元服务器，必须同步问网络软件是否支持自适应路由和在网计算。
Q4：网络软件在AI词元链路里到底管什么？
管三件事：一是通信库与集合通信的卸载，减少CPU介入；二是多租户下的带宽隔离，防止一个客户的词元任务打满全网；三是故障秒级切换。本周有开源的网络软件项目新增了对词元级遥测的支持，能按请求追踪丢包和重传。对IDC来说，这意味着SLA可以从“端口可用”升级到“词元可用”。
Q5：中小IDC现在跟进还来得及吗？
来得及，但别盲目堆卡。建议先评估现有带宽和网络软件能否支撑至少70B模型的词元推理。如果不行，优先升级交换机和拥塞控制算法，而不是先买最贵的芯片。近期已有厂商推出“词元服务器+网络软件”一体化租赁方案，按实际消耗的词元计费，降低了中小IDC的试错成本。
0 留言