1. 重新核算“词元服务器”的带宽配比（周一执行）
近期新上架的AI推理服务器（如H20/GB200）单机柜功耗普遍超30kW，但更关键的是“词元吞吐”对带宽的依赖。建议下周一对现有客户租用清单做一次带宽/Token比排查：若每台AI服务器配比低于500Mbps/千词元，大概率会出现排队延迟。立即调整交换机端口速率，或启用智能限速策略，优先保障高价值推理任务。
2. 部署轻量级SD-WAN代理，替代昂贵专线（周三前完成测试）
本周有云厂商推出“AI专用通道”产品，但月费仍贵。建议利用开源软件（如OpenVSwitch+DPDK）在核心层部署SD-WAN代理，将非实时训练流量导流至普通公网，保留少量专线给实时推理。测试重点：丢包率<0.1%时，Token延迟能否控制在200ms内。
3. 盯紧“电力+带宽”捆绑定价的窗口期（周四商谈）
由于新PUE标准要求IDC上架率不低于70%，部分二线城市IDC开始推出“买带宽送电力配额”的促销。建议周四前整理自家客户负载曲线，对波动性较大的客户（如夜间训练任务）主动申请“分时带宽计费”，可降低15%成本。
4. 更新网络监控软件，增加“词元级”流量可视化（周五升级）
传统监控只看到带宽占用率，但无法区分“图片传输”和“词元交互”。推荐升级至支持L7协议识别的软件（如ntopng或ElasticFlow），设置阈值：当单会话词元/秒超过1000且带宽占用超60%时，自动触发告警并迁移至低延迟路径。避免因突发大文件传输挤占推理带宽。
5. 预备“断网演练”应对突发（下周一前发布预案）
近期某头部云厂商因光模块故障导致AI服务中断2小时。建议制定“降级预案”：将非关键任务（如模型备份）的带宽降至10%，并强制走备用路由。同时，在软件层面设置“熔断开关”——当核心交换机CPU超过80%时，自动拒绝新连接，防止雪崩。此预案需在周例会模拟一次。
0 留言