本周GPU供应出现了一个微妙变化:部分渠道的H20和L20到货量比上周多了一点点,但别高兴太早——这些卡大多绑定了整机方案,不单卖。如果你是小客户,直接问“有没有裸卡”,对方大概率回你“走套餐”。
第一步,先分清你要的是训练还是推理。训练卡依然紧,推理卡稍微松了点。很多云服务商现在推“AI词元服务器”,这个词听着高级,其实就是按token吞吐量计费的推理实例。避坑点:注意看它的网络软件栈是不是用了RDMA over Converged Ethernet。如果只写了“高速内网”,大概率是普通TCP,跑大模型推理时延迟会跳。
第二步,问清楚带宽是“共享”还是“独享”。本周某二线云商被爆出“50M独享”实际是整柜共享,晚高峰掉到5M。新手签合同前,要求对方提供过去72小时的带宽监控截图,并且写进SLA。IDC行业里,服务器带宽的水分比GPU价格还大。
第三步,看网络软件是否预装了容器网络插件。如果你要跑Kubernetes,对方只说“支持Docker”,那你还得自己折腾CNI。近期有个案例:某创业公司买了“AI词元服务器”,结果因为宿主机没开SR-IOV,GPU利用率只有30%。这就是网络软件没调优的典型坑。
最后提醒:本周云服务交付周期普遍拉长到5-7个工作日,别信“当天开通”。先拿测试机跑一遍all-reduce,再决定付不付全款。记住,GPU供应紧的时候,卖家越热情,你越要查他的网络软件版本和带宽拓扑。


0 留言