清单1：IDC机柜先算“每瓦词元产出”，再谈扩容。本周多家云厂商上调AI实例报价，背后是单机柜功率密度逼近30kW。可执行动作：拿现有监控数据，统计每机柜日均处理的词元量除以实际功耗，得出“词元/瓦”基线。低于团队均值的机柜优先做风道整改或液冷试点，比盲目加机柜更省钱。
清单2：词元计费业务要把带宽成本单独建账。近期有AI应用因流式输出导致出口带宽费用翻倍。可执行动作：在网关层按“词元输出量”与“并发连接数”两个维度打标签，跑一周报表，找出带宽费用中由长连接保活带来的占比。若超过15%，考虑把非实时场景改为批量回调。
清单3：服务器选型盯“内存带宽/核数比”，别只看算力峰值。本周某国产GPU服务器交付周期缩短，但配套内存仍是瓶颈。可执行动作：列出你当前推理服务的批大小与序列长度，按每核可用内存带宽做一次压测对比。若现有平台该比值低于1.5GB/s每核，优先加内存通道而非换卡。
清单4：带宽采购留出“词元洪峰”弹性池。近期多家IDC推出按小时计费的突发带宽包。可执行动作：回顾过去两周词元调用曲线，取P95值上浮20%作为弹性池上限，与固定带宽按7:3配比签约。同时要求供应商提供分时流量账单，便于月度复盘。
清单5：网络软件配置加一条“词元感知”限流规则。本周开源网关社区更新了按响应词元数限流的插件。可执行动作：在API网关对生成类接口设置“每用户每分钟词元配额”，超限返回排队提示而非直接拒绝。先在测试环境用10%流量灰度，观察P99延迟变化再全量。
以上五条均可在一周内启动，建议按清单1→3→5的顺序推进，先摸清底座再调策略，避免同时改动引发连锁故障。
0 留言