先看结论：本周社区热度榜前列仍是Llama 3.1、Qwen2.5、DeepSeek-V2、Mixtral与Yi-1.5等开源模型，但讨论焦点已从“谁更强”转为“谁在IDC里更省带宽、更省显存、更省运维”。近期多家IDC服务商上线“AI词元计费”与“推理带宽包”，说明大模型落地进入精算阶段。
清单1：选模型先看“词元成本曲线”。不要只盯MMLU，先看每百万词元的显存占用与并发衰减。Qwen2.5-7B在INT4下可单卡跑高并发，适合IDC边缘节点；DeepSeek-V2的MoE结构对带宽更敏感，需配25G以上内网。执行建议：用vLLM或SGLang做压测，记录P99延迟与带宽峰值，再决定是否上集群。
清单2：服务器带宽按“词元吞吐”倒推。公式：所需带宽≈并发数×平均输出词元/秒×每词元字节×冗余系数。例如100并发、20词元/秒、每词元2KB，则需约4MB/s，即32Mbps，但IDC内网建议留3倍冗余。近期有IDC推出“推理带宽包”，可按词元量弹性计费，适合流量波动大的社区项目。
清单3：网络软件栈优先RDMA与拥塞控制。多机推理时，KV Cache传输是瓶颈。建议：内网启用RoCEv2或InfiniBand，配合DCQCN；软件层用NCCL、gRPC+压缩，或Ray Serve做编排。若预算有限，至少将模型分片放在同一TOR下，减少跨交换机跳数。
清单4：IDC选型看“三张网”。管理网、存储网、推理网分离；推理网用25G/100G，存储网用NVMe over Fabrics。近期热讯显示，部分IDC开始提供“AI词元服务器”预装驱动与推理镜像，可省去环境配置。执行建议：签合同前要求提供词元级SLA，明确带宽抖动与故障赔付。
清单5：软件侧做“词元缓存+批处理”。用Prefix Caching复用系统提示，用连续批处理提升吞吐。开源工具推荐：vLLM、TensorRT-LLM、LMDeploy。注意：批处理越大，带宽峰值越高，需与IDC限速策略对齐。
本周行动建议：先拿一个7B模型在现有IDC做词元压测，画出“并发-延迟-带宽”三角图；再对比两家IDC的推理带宽包报价；最后决定是否上MoE或量化。记住：热度榜是参考，IDC里的词元账单才是真相。
0 留言