十一月一号凌晨一点，智算中心的李工盯着屏幕。一个训练任务在这里跑了十一天，明天要搬到八百公里外的机房。屏幕上只有一行进度：检查点上传中，百分之八。
搬的理由是电价。这边一度电六毛五，那边三毛，差价明摆着。同样的卡跑一天，能省一千五百块，一个月四万五。
他守在屏幕前，进度条走了两个多小时才到头。这两小时里，两边的机器都是满载，一度电也没省下来。财务把账核完，他愣了半天：搬这一趟，挪的到底是什么，怎么路上也要烧钱？
为什么会这样
因为搬的不是程序，是"跑到哪儿了"。程序到处都有一份，真正只有一份的那件东西，才要上路。
检查点就是那张"跑到哪儿了"的快照：权重、优化器状态、数据读到了第几个批次。这个任务存下来是 1 TB。程序那部分叫镜像，几十个 GB，谁都能提前拷一份。
1 TB 是 1,024 GB，换成比特是 8,192 Gb。两地之间那条线是 1 Gbps，8,192 除以 1，就是 8,192 秒，两小时十七分。这就像缸里有一千升水、管子一秒过一升，只能守着等一千秒；换根十倍粗的管，一百秒就完，水一滴没少。
这两小时十七分里，两头都得开着。旧机器不能停，停了状态就散；新机器要提前把卡点着、框架装好，等文件到。一头 180 千瓦，两头 360 千瓦。
360 千瓦乘 2.28 小时，是 821 度。按老机房六毛五算，五百三十四块。想省电费，先得为"搬"这件事付一笔电费；至于正在排队的推理请求，那东西根本搬不走。
怎么解决
三条路，从最便宜的排起。
一、把不动的先搬过去。 镜像、数据集、依赖包，提前一周拷，走夜里的空闲带宽，不花一分钱。路上只剩检查点，要搬的从 3 TB 降到 1 TB，六小时五十分压到两小时十七分。
二、把检查点做瘦。 只存权重和优化器里还在变的那部分，不存全量。改的是配置，几小时人力。
瘦完是 260 GB，路上三十五分钟，电费从五百三十四块降到一百三十五块。代价是恢复时多算一步，二十分钟、六十度电、四十块，远比省下的四百块便宜。
三、把线加粗。 1 Gbps 换成 10 Gbps，两小时十七分变十四分钟。一条跨城 10 G 专线一年几十万，只有天天在两地之间倒腾的才划算。
别踩三个坑：
- 只算带宽不算落盘。检查点写完还要刷进磁盘才能读，这三分钟一样在烧钱。
- 搬家时旧机器不停手。你以为在搬，其实两头都满载，账是双份的。
- 把推理任务当训练搬。排队的请求搬不走，断一次赔一次，赔的比省的多。
平台怎么管这些问题
在这个场景里，平台干六件事，一件接一件。
任务画像把每个任务的大小、存盘频率、上次存盘时间记下来，搬之前先算出路上要多久。搬迁窗口把两地的电价曲线摆在一起，挑出差价最大、任务又正好能停的那两小时。
检查点管理定多久存一次、存多大，瘦身规则在这里落地。断点续跑负责从第几个批次接着跑，读回来的时候对得上。
双跑记账把两头同时开着的那段单独记一笔，不让它混进日常电费。回切开关是后路：搬过去跑不起来，十分钟内退回原机房，不用从头再来。
这些功能平时谁管，得落到人身上。
谁能改规则：检查点多久存一次、哪几个小时算搬迁窗口，算法负责人签字，改一次留一版。
谁能批减免：搬家那几天算力预算超了，由业务负责人点头，超出的部分单独走一笔。
出事能不能倒查到人：哪次搬家、谁点的、卡在哪一步，都带时间戳，能翻到具体的人。
告警发给谁：搬迁超时先发值班工程师，半小时不接升给算法负责人；两小时没动静，直接升到中心负责人。
这笔钱值不值
掏钱的是算力中心自己，省下来的是电费。算一笔假设的账。
搬一趟电费五百三十四块，加两个人半天人力算八百，一趟一千三百三十四块。搬过去一天省 4,320 度乘三毛五，一千五百一十二块。
只算电费，八小时半回本；加上人力，二十一个小时。所以一天都待不满的任务，不要搬。
一个 180 千瓦的任务在那边跑三十天，省四万五千。扣掉来回两趟的钱，四万三。
国家为什么也盯这件事
《全国一体化大数据中心协同创新体系算力枢纽实施方案》，国家发展改革委、中央网信办、工业和信息化部、国家能源局联合印发，2021 年 5 月，文号发改高技〔2021〕709 号。
文件要求在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏八地布局国家算力枢纽，把东部密集的算力需求有序引到西部可再生资源多的地方。起步阶段每个枢纽划一个集群，一共十个。
李工那条 1 TB 的检查点，走的就是这八条线里的一条。文件上写的是"引导"，落到凌晨一点的进度条上，是一格一格挪过去的。
凌晨三点二十，进度条到一百。李工把五百三十四块记进了搬家成本，没混进日常电费。搬得动的是状态，搬不动的是那两小时两头一起烧的钱。
算电：貮号开源算电协同平台
算力柔性调度、虚拟电厂接入与绿电消纳，装在自己服务器上，能改能扩。
点这里看详情 →