十一月十号上午九点，老周把最后一批训练任务从城东机房挪到三百公里外的城西。机器、机柜、网线都到位，那边的电便宜三成。他在群里发了两个字：搬完。
下午三点他打开训练日志，头一轮还没跑完。这批任务的数据集两百 TB，留在城东的存储里。两边只拉了一条专线，就是租来的那根网线，带宽 10 Gbps；原地跑一轮两个多小时，那天跑到半夜才过一半。
第二天早上七点，头一轮结束，四十四小时。集群八百千瓦，就是一千多台机器一起开工，四十四个小时三万五千度电；原地只要两千二百四十度。钱多花两万，卡有九成四的时间在等数据——为什么机器搬了，反而更慢？
为什么会这样
搬机器搬的是壳子，数据才是活儿本身。壳子过去了，数据没过去，卡就只能干等。
两百 TB 换成 GB 是二十万 GB。10 Gbps 一秒过一点二五 GB。二十万除以一点二五，十六万秒，四十四点四小时。
城东的存储和机器挨着，读一盘一秒二十 GB，二十万 GB 只要一万秒，两小时四十七分。差了十六倍。
打个比方，本地存储是根粗管，一秒过二十桶水；专线是根细管，一秒一桶多一点。同一块地浇一遍，细管得花十六倍的时间。
四十四个小时里，真正在算的只有两小时四十七分。剩下四十一小时二十分，卡通着电在等。八百千瓦的集群一个钟头八百度电，等这一趟就是三万三千度，按六毛一度算，两万块。
怎么解决
**这条先做，几乎不花钱：**用现成的专线排一个搬迁作业，把两百 TB 拷进城西的本地盘。嫌慢就买二十块十 TB 的硬盘寄过去，两天到。拷一趟四十四小时，之后每轮回到两小时四十七分，省三万三千度电、两万块。
**把要过去的东西变小：**全量数据的预处理留在城东，只把抽完的特征送到城西。特征是模型真正要吃的那份数据。两百 TB 的原始数据抽完是四 TB，缩五十倍。
四 TB 跨城读一遍三千二百秒、五十三分钟。代价是改流水线，两个人干一个月。
**两边各存一份：**城西加两百 TB 存储，按三百块一个 TB 算六万，再配一台同步服务器。每天夜里同步新增数据，两地都能跑，哪边电价便宜就往哪边派活。代价是存储翻倍，还得有人管版本。
**坑一，只测带宽不看小文件：**10 Gbps 是连续大文件的成绩。几千万个小文件只能跑到三四成，四十四小时会变成一百多小时。
**坑二，以为搬机器等于搬任务：**镜像、驱动、挂载路径一处对不上，任务起来了也读不到数据。日志只报一行文件不存在。
**坑三，忘了出口流量另算钱：**专线按带宽包月，超出按流量计费。一回两百 TB 可能多出一张账单。
平台怎么管这些问题
数据位置台账先派上用场：哪个数据集放在哪、多大、谁能读，一屏都在。它一眼就能看出训练集在城东、算力在城西。
任务下发前，平台做一次距离校验：路径和执行节点不在一个机房就标红，超过阈值直接拦住。
接上去是实测算力网带宽：不看合同上的 10 Gbps，每十分钟测一次真实吞吐。标称和实测并排摆着。
再往下是数据预热作业：把拷两百 TB 做成能排期的任务，排在谷段跑。跑完才放行训练。
任务跑起来以后，等待时长和能耗分开记：算的时间、等的时间各一栏。各自折成电，钱漏在哪就藏不住。
最后一环是告警：单个任务等待超过半小时推到值班手机。超过两小时推到机房负责人。
这些功能平时谁管。规则由平台运维组长改，「跨城任务必须先预热」这一条要数据集 Owner 在平台上点确认才算数。例外放行由机房负责人批，批一次只管一批任务。
出事能不能倒查到人，看调度指令有没有带操作人和秒级时间戳。查得到谁在几点几分把哪个任务指到了城西。告警发给谁，先发当班值班手机，十五分钟没人接就转数据组组长。
这笔钱值不值
掏钱的是用这批任务的算法团队，机房只出电和网。省下来的一笔是电：一轮三万三千度、两万块，一年跑一百轮就是两百万。
另一笔在专线上：跑满和空转交一样的月租，搬过去以后能从 10 Gbps 降到 2 Gbps，月租砍掉一多半。
回本：二十块硬盘三万块，跑两轮就回来。走特征那条路，两个人一个月按六万算，三轮回来。
有一笔不算进去：卡空出来的时间值多少钱，看手里有没有活。没活的时候，等和算一样闲着。
国家为什么也盯这件事
2023 年 12 月，五个部门联合印发《关于深入实施"东数西算"工程 加快构建全国一体化算力网的实施意见》。部门是国家发展改革委、国家数据局、中央网信办、工业和信息化部、国家能源局。
文件把「算力与数据、算法一体化应用」单列为一个统筹。还要求到 2025 年底，跨国家枢纽节点的算力网时延做到 20 毫秒，时延就是一来一回的时间。
20 毫秒有多远：光在光纤里一秒跑二十万公里，20 毫秒单程四千公里。所以这条管的是「问一句、答一句」的活儿能不能跨省。
老周搬的是两百 TB 文件，不是一句话。文件没到位之前，二十毫秒帮不上忙——管子一秒只过一点二五 GB。
那天晚上老周在群里补了一句：机器搬完了，数据还在路上。四十四小时之后，头一轮才跑完。壳子搬得快，活儿搬得慢，中间那四十一小时的电白烧。
算力柔性调度、虚拟电厂接入与绿电消纳，装在自己服务器上，能改能扩。
https://huitongdao.doc.huizhidata.com/docs/
https://huitongdao.doc.huizhidata.com/docs/
信息来源：公开政策文件与平台运行记录，场景中人物与数值为示例，电价为六毛一度、专线月租与硬盘单价均按市场常见水平假设。