疑问一：英伟达H20被砍单，国内AI芯片荒反而加剧？
本周供应链传出消息，部分云厂商下调了H20订单量，转而加码国产芯片（如华为昇腾、寒武纪）的测试部署。这并非‘芯片荒缓解’，而是结构性切换：H20算力密度低、互联成本高，在推理场景性价比已不如国产方案。但国产芯片的软件生态（如CUDA兼容层）仍是硬伤，短期内真正的瓶颈是‘可用生态’，而非‘裸算力’。
疑问二：IDC采购‘词元服务器’（Token服务器）是厂商炒作吗？
本周阿里云、火山引擎相继发布‘词元计价’的推理服务，带动了IDC对‘词元服务器’（即优化KV Cache和Prefill/Decode分离架构的AI服务器）的采购意向。这不是炒作，而是因为大模型推理成本中，词元生成（Decode）阶段的内存带宽占用远超算力。传统GPU服务器跑推理时，GPU利用率常低于30%，而词元服务器通过高带宽HBM（如HBM3e）和专用缓存调度，可将单位词元成本降低40%以上。但注意：只有日均请求量超百万级的客户才划算，中小IDC跟风采购可能造成闲置。
疑问三：带宽（网络）升级，真能解决算力集群的‘木桶效应’？
本周，中际旭创、新易盛等光模块厂商的800G出货指引上调，同时英伟达发布Spectrum-X以太网方案，针对AI集群优化RoCE和拥塞控制。但实测数据显示，在大规模训练（万卡级）中，网络延迟占比可高达20%-30%，单纯升级带宽（从400G到800G）只能提升吞吐，无法降低尾延迟——关键在软件层（集合通信库、调度器）和拓扑设计（如Fat-Tree变体）。也就是说，带宽是必要条件，但‘网络软件+无损协议’才是今年超大规模IDC竞争的真正分水岭。本周华为发布的CloudEngine 16800-X系列，重点就放在‘网络级负载均衡’而非单纯端口速率，验证了这一趋势。
结论：本周市场并非简单的‘缺芯’或‘过剩’，而是进入‘精细化算力运营’阶段。芯片选择、服务器形态、网络软件三者的协同优化，比单一指标更重要。IDC决策者应警惕‘参数崇拜’，用实际业务负载（词元吞吐量、P99延迟）来做采购依据。
0 留言