问一：本周GPU供应到底有没有变好？
有，但属于结构性缓和。近期部分二线云厂商和中小IDC反馈，中端推理卡（如L40S、A10G）的到货周期从八周缩短至四到六周。不过高端训练卡（H100/H200及国内合规替代型号）依然紧张，头部客户锁量占比超过七成。所谓“缓解”更多体现在推理侧，而非训练侧。
问二：IDC行业常说的“AI词元”和服务器带宽有什么关系？
AI词元（token）是模型处理文本的最小单位，每个词元的生成与传输都依赖服务器带宽。近期大模型上下文窗口从128K向1M演进，单次推理产生的词元交互量激增。若IDC内部网络仍用25G/100G，词元排队延迟会明显拉高首包时间。本周已有IDC开始将AI集群的叶脊带宽从100G升级到400G，直接目的就是降低词元级抖动。
问三：云服务交付周期为什么有的快有的慢？
关键在“网络软件定义能力”。能快速交付GPU云实例的厂商，普遍采用了可编程DPU+自研网络调度软件，把物理GPU池化后按词元吞吐量计费。而依赖传统虚拟化、手动配置VPC和负载均衡的云平台，交付一个多机多卡训练集群仍需两周以上。本周某云商上线“词元级弹性带宽”后，小规模推理实例交付缩至30分钟。
问四：服务器带宽不够用，能否靠网络软件优化弥补？
能缓解，但不能根治。通过RDMA over Converged Ethernet（RoCEv2）、拥塞控制算法（如DCQCN）以及动态路由，可把有效带宽利用率从60%提到85%左右。但若物理端口只有100G，而AI词元突发流量需要200G，软件只能丢包或排队。本周业内讨论较多的是“带宽感知调度器”，它根据词元优先级分配带宽，适合混合推理与训练负载。
问五：接下来一个月，IDC和云用户该关注什么？
三个信号：一是推理卡现货价格是否继续下探；二是头部IDC的400G端口采购量；三是云厂商是否推出按“每百万词元”计费的网络套餐。若三者同步向好，说明GPU供应与云交付正在从“抢卡”转向“拼网络效率”。建议用户本周先盘点自身AI词元的峰值带宽需求，再与IDC或云商谈SLA中的词元级延迟指标。
0 留言