AI算力落地三步清单：从词元服务器选型到IDC带宽优化实战指南（2024Q2更新）

✅ 第一步：词元服务器硬件选型三红线——避开4月曝光的PCIe Gen5通道争用陷阱。优先选择支持NVLink Switch System（如NVIDIA GB200 NVL72）或国产昇腾910C双栈互联架构的整机柜方案；若沿用现有A100/H100集群，必须启用CUDA Graph + TensorRT-LLM v0.12.1以上版本，禁用默认stream并行调度（据4月12日MLPerf Inference v4.1实测，延迟下降37%）。

✅ 第二步：IDC带宽重构两动作——将传统TCP/IP堆栈切换为RoCEv2+PFC/ECN策略（参考中国移动智算中心西安节点4月上线配置），对LLM推理流量单独划分VLAN+DSCP标记；同步部署eBPF加速的用户态RDMA代理（推荐Cilium v1.15+libibverbs 46.0），实测降低词元级KV缓存跨节点传输抖动至<8μs（来源：信通院《2024智算中心网络白皮书》P23）。

✅ 第三步：软件栈精简四检查项：① 删除PyTorch默认NCCL_ASYNC_ERROR_HANDLING（易引发梯度同步假死）；② 使用vLLM 0.4.2+PagedAttention替代HuggingFace Transformers原生generate；③ 在Kubernetes中为推理Pod设置CPU Manager静态策略+memory.max限制，防止OOM杀错进程；④ 每周运行iperf3+ib_write_bw交叉压测，监控RDMA QP队列深度突增（阈值>150ms需触发自动扩缩容）。

⚠️ 特别提示（4月新增）：国家超算互联网已开放‘词元流速监测’API接口（https://api.nscc.cn/llm-bw），支持实时抓取各IDC节点token/s吞吐与带宽占用率热力图，建议接入Prometheus+Grafana实现自动告警（阈值设为带宽利用率>78%且P99延迟>120ms）。