本周上游GPU供应出现微妙变化：消费级40系与专业级A6000库存回补，交期从8周缩至3-4周；但H100/H200及国产替代算力卡仍受先进封装与HBM产能制约，云厂商普遍将新增交付周期锁定在6-8周。对IDC和AI团队而言，按预算选方案比追单一卡型更务实。
1. 千元级：AI词元推理与轻量微调
预算1-3千元/月，推荐云上单卡A10或T4实例。近期多家云商推出“词元包”计费，适合API调用型业务。注意：必须确认实例带宽不低于5Gbps，否则高并发词元生成会卡在出口。网络软件侧，用vLLM或TGI自带的连续批处理，比裸跑PyTorch吞吐高2-3倍。
2. 万元级：小规模训练与私有化推理
预算1-3万元，可自购或长租2-4张RTX 4090/A6000服务器。IDC托管时，要求机柜上行带宽≥10Gbps，并支持RDMA over Converged Ethernet。近期某国产网络软件栈已支持在RoCEv2下做GPU Direct Storage，数据加载延迟降40%。若云交付，优先选“裸金属+共享存储”方案，避免虚拟化损耗。
3. 十万元级：中型模型微调与多路推理
预算10-30万元，考虑8卡A100/H800节点或国产等效集群。本周某云商放出少量现货H800，但要求绑定3个月带宽保底。建议：训练用InfiniBand，推理用以太网+DPU卸载。软件栈选支持PyTorch FSDP与TensorRT-LLM的发行版。注意检查IDC是否提供带外管理网络，否则重启一次要等20分钟。
4. 百万元级：大模型预训练与大规模服务
预算100万以上，直接找IDC定制集群。关键不是GPU数量，而是东西向带宽收敛比——建议1:1无收敛，并部署SONiC或英伟达Spectrum-X。近期某AI公司踩坑：软件栈未对齐NCCL版本，导致AllReduce效率掉30%。务必在交付前跑通NCCL Test与ib_write_bw。
总结：本周供应松动集中在边缘算力，核心训练卡仍紧。按预算选场景，先锁带宽与软件兼容性，再谈卡型。
0 留言