本周更新核心：BI分析平台新增“AI词元-带宽关联”看板模板，支持按机柜、交换机端口、GPU节点三个粒度下钻。数据看板侧优化了实时刷新频率，从分钟级提升到15秒级，但需要手动开启。以下按执行顺序给出清单。
第一步：检查词元吞吐与带宽的映射关系。近期多个IDC反馈，AI推理集群的词元输出速率（tokens/s）与出口带宽利用率呈非线性增长。建议在看板中新增计算字段：bandwidth_per_1k_tokens = 出口带宽(Mbps) / (词元吞吐/1000)。若该值突然下降，说明网络软件层（如DPU卸载、TCP窗口调优）可能成为新瓶颈。
第二步：为服务器带宽看板增加“突发窗口”标记。结合近期某头部云厂商的推理流量特征，词元请求常在整点后3-5分钟出现脉冲。建议在BI平台中设置动态阈值：当5分钟带宽均值超过基线30%且持续2个周期，自动在看板上打标。运维可据此提前检查QoS策略或临时升配。
第三步：网络软件层看板新增三项指标。1）RDMA重传率（针对RoCEv2环境）；2）DPU或智能网卡的流表命中率；3）TCP重传超时中由AI流量触发的比例。这些指标可直接从交换机Telemetry或服务器侧eBPF采集。建议在数据看板中设置为“红黄绿”三色阈值，避免淹没在大量图表中。
第四步：执行一次看板刷新策略的回归测试。本周更新后，部分历史看板的缓存策略有变。请对核心看板（如“机柜级词元-带宽热力图”）执行：清空缓存→手动刷新→对比15秒与60秒粒度的数据差异。若差异超过5%，需在BI平台中调整物化视图的刷新周期。
可执行建议小结：今天先做第一步和第三步，明天完成第二步和第四步。注意：所有新增指标需同步到告警规则中，否则看板只是“事后回看”。近期AI词元流量波动大，建议将带宽告警阈值从固定值改为基于上周同期的动态基线。
0 留言