十一月五号上午十点，一家智算机房的运维主管小林，把两块表并排打在屏幕上。左边是八张显卡的利用率，一天平均一成五。右边是同一个柜子的电量，一天六十度。
上个月这批卡还在跑训练，二十个小时不停，一天一百三十九度。这个月训练收了尾，改成对外接推理，活儿少了八成五。他估摸着电费也该降八成五，结果只降了五成七。
卡明明大部分时间闲着，电表为什么还这么转。他把那天的曲线拉长，看见的不是平线，是一排锯齿，锯齿底下还垫着一层厚厚的底。
为什么会这样
因为显卡的电，不是按算多少付的，是按醒着多久付的。
先看满载那一档。八张卡，一张七百瓦，加起来五千六百瓦；加上 CPU、内存、网卡和风扇，整柜六点六千瓦。这相当于家里六点六个一千瓦的电暖器一起开，只是挤在半个平方米里。
再看空等那一档。卡不干活，可它不关机：显存里的模型一直通电保着，风扇不敢停，供电模块也一直在转换。这时候整柜还有一点八千瓦，是满载的两成七；这个比例随机型变，这里当假设看。
一点八千瓦插着不拔，一整天四十三度，够一户人家用四天。推理那天只空等了二十点四小时，也烧掉三十七度；剩下三点六小时真干活，二十三点八度。两笔加起来六十度，三十七度是白烧的，六成。
为什么不敢让它睡，因为服务得随时能接。请求来了要在几百毫秒里回，卡就得一直醒着。真关掉再拉起来，光把模型读回显存就要几十秒，这几十秒来的请求全得排队。
所以训练和推理，耗电的样子不一样。训练是一条平线，贴着满格二十个小时不动，吃的是总量。推理是一排锯齿，尖峰一会儿一冒，尖峰之间还垫着一点八千瓦的底，吃的是底噪。
怎么解决
先让闲下来的卡真睡。 把推理服务改成没请求就卸载模型、降到最低功耗的形态，冷门时段干脆下电。底噪从一点八千瓦掉到零点四千瓦，一天空等从三十七度降到八度，省二十九度，改的只是配置。
再把活儿攒起来一起算。 请求不要来一个算一个，攒两百毫秒凑一批，一次算三十二条。吞吐按两点四倍算，真干活从三点六小时压到一点五小时，满载那笔电从二十三点八度降到九点九度，净省十度。
换硬件那条，先别碰。 新卡的待机功耗确实低，底噪能降到零点九千瓦。可那是一整柜机器，几十万往上，靠这点电费十年也攒不回来。
别踩的三个坑：只看利用率不看整柜电量，利用率一成五，风扇和配电还在满负荷转；为省电把卡全下电，请求一来冷启动几十秒，响应承诺先破，赔的钱比电费多；把空等电摊进算力报价却不算清，报低了，越忙越亏。
平台怎么管这些问题
分路计量先接头一件，把一天的六十度拆成显卡、CPU 内存、风扇、配电四条。小林那块电量表就是它出的。
显卡利用率采集接第二件，每十秒读一次八张卡，一天画出一条锯齿，那个一成五就是从这儿来的。
空等时长统计接第三件，算出每张卡醒着没活多少小时，折成度数和钱。三十七度这个数是它给的。
排队与合批调度接第四件，把零散请求攒批，指定哪几张卡常驻、哪几张可以睡。
闲置卡自动下线接第五件，连续几分钟没请求就降到最低功耗，来活儿再拉起来。门槛设多少，决定省多少电、冒多少风险。
电费核算接第六件，每天对一次账，省下的二十九度有没有真从账单上掉下去。
这六件事平时谁管，得落到人。哪些卡能睡、睡多久，只许算力调度负责人改，值班运维能看不能改。给客户的报价里要不要摊空等电，得商务总监签。
每次下线、拉起都带操作人和时间，客户投诉慢了，一查就知道卡在哪一次下线。显卡功率读数掉线不发群，直接发给值班运维，五分钟不响应升给调度负责人。
这笔钱值不值
掏钱的是机房自己。让卡睡这条几乎不花钱，一天一个柜子省二十九度，五十个柜子一年五十二万九千度，按七毛一度是三十七万块，改完当天见效。
攒批那条要两个工程师干两周，按四万块算。五十个柜子一天省五百度，一年十八万度，折十二万八千块，四个月回本。
换硬件那条，十年也回不了本，先放着。前两条做完，一个柜子一天从六十度掉到十九度，剩的还有九度是压不下去的底。
国家为什么也盯这件事
2023 年 10 月 8 日，工业和信息化部、中央网信办、教育部、国家卫生健康委、中国人民银行、国务院国资委六家联合印发《算力基础设施高质量发展行动计划》，文号是工信部联通信〔2023〕180 号。文件要求着力提升算力设施利用效率，加强数据中心上架率等指标监测，整体上架率低于 50% 的地区规划新建项目应加强论证。
小林那八张卡是上了架的，上架率算它一份。可利用率只有一成五，文件里那句提升利用效率，说的正是他屏幕上那排锯齿。
十一月五号那块电量表还挂在屏幕上。他现在每天先看利用率，再看电表，两张表中间差的那一截，才是真能省下来的钱。那截差多宽，全看锯齿底下垫多厚。
算力柔性调度、虚拟电厂接入与绿电消纳，装在自己服务器上，能改能扩。