问题一：AI词元（Token）到底是不是‘流量’？我的带宽计费要改吗？
很多IDC老板最近被客户问住了：‘你们带宽按M算，但AI公司说按词元算，这怎么换算？’
先说结论：词元不是带宽，但决定了带宽的‘爆发模式’。传统网站流量是平滑的，而AI大模型推理（比如ChatGPT回答）是‘脉冲式’的——请求瞬间需要拉取大量参数，带宽峰值可能是平时的10倍以上。近期阿里云、华为云发布的AI服务器租用方案中，均明确将‘峰值带宽保障’单独计价，而不是沿用传统95计费。如果你还在按‘平均带宽’卖机柜，遇到AI客户大概率亏本。
本周要闻：国内某头部IDC已推出‘Token感知型带宽套餐’，即按每百万词元消耗加收0.5元网络调度费，引发行业讨论。
问题二：AI服务器必须配‘智算交换机’吗？普通万兆网络够不够？
这是网络工程师本周问得最多的。答案是：如果你只跑开源小模型（7B以下），普通万兆够用；但跑千亿参数模型，必须上RoCE（无损网络）或IB。原因在于，AI训练时GPU之间要频繁交换中间激活值，普通TCP/IP丢包重传会导致算力闲置率高达40%。近期英伟达发布财报时强调，其DGX H100服务器默认搭载400G InfiniBand，而国内浪潮、新华三也在本周密集发布‘AI网络交换机’，支持智能路由和自适应路由。
避坑提示：别只买服务器不升级网络，否则你的GPU利用率可能还不如隔壁用老CPU的机房。
问题三：软件定义算力（SDS）是不是新噱头？IDC如何靠‘软件’赚钱？
最近，IDC行业流行一句话：‘硬件不赚钱，软件赚服务费。’这里说的软件，指的是AI调度平台和词元计量系统。传统IDC卖机柜和带宽，利润透明；但今年开始，头部厂商（如世纪互联、数据港）开始提供‘按Token输出质量计费’的增值服务——比如为客户的AI客服做实时情绪分析，每次调用额外收0.02元。这本质是把网络带宽变成‘可计量的智能管道’。
本周动向：工信部最新《新型IDC行动计划》征求意见稿中，首次将‘词元处理能力’纳入绿色数据中心评价指标。这意味着，未来IDC机房如果不部署词元缓存加速软件，可能无法获得能耗优惠。
给IDC从业者的行动建议
综合本周新闻（包括中际旭创发布800G硅光模块、中国电信启动AI智算带宽集采），建议你立刻做三件事：1）在销售合同中增加‘动态带宽调整条款’，避免AI客户突发流量打穿设备；2）升级网络监控软件，从‘看流量’转为‘看Token吞吐效率’；3）测试一下你的机房电源能不能扛住AI服务器瞬时3倍功耗——本周已有两个小机房因电压跌落导致客户训练中断。不要等客户问你‘为什么我的Llama3卡顿’，那已经晚了。
0 留言