10 月 26 日夜里十一点，老陈在 A 机房拔掉最后一台机器的电源线。上面通知，这间机房下周断电检修，六十台机器要挪到三百公里外的 B 机房。他在台账上排了个序，先搬最大的：一个跑了十九天的训练任务，权重加数据集，1.2 TB。
走的是备份专线，一百兆。他从十一点盯着进度条，看到第二天下午，二十七个小时才走完。算下来对得上，他没觉得奇怪。
让他坐直的是后面两件事。搬过去一启动，卡在加载权重那一步，路径不对，镜像版本也不对。而原来的训练，最后一个断点是搬之前四小时存的。卡一张没少，活往后推了三天。
为什么会这样
一句话：搬家搬的不只是卡，还有三样东西——数据、跑到哪了的进度、跑它的那套环境。
先看数据。走多快不看文件多大，看路多宽。一百兆的专线，每秒只过一百兆比特；1.2 TB 折成比特是九千六百吉比特，除下来九万六千秒，二十六点七个钟头，算二十七小时。
这就像小货车进城，一趟两小时；跑三百公里，同样装一车，得走一整天。车没换，路变了。
备份专线本来不是干这个的，它的活是防主链路断。主链路六百兆，宽出六倍，二十七除以六，四个半小时。
再看进度。训练不是存一个文件就完事，它跑一段存一个断点，出事从断点接着跑。两个断点之间那段，等于白跑。这次断点隔四小时，四乘八，三十二个卡时扔了。
最后是环境。镜像里装着编译好的算子，算子跟卡型绑死。A 机房一个型号，B 机房另一个，容器起得来，一算就报错。重新编译、重装依赖，又是六小时。
怎么解决
三条路，从便宜的往上走。
- 先算一遍再动手。 数据量除以带宽，就是小时数。九千六百吉比特除一百兆，九万六千秒；换六百兆，四个半小时。一支笔一张纸，零成本。
- 换条路搬。 不大不小的数据走主链路，二十七小时压到四个半小时。实在太沉就别走网线，装硬盘：四十 TB 走一百兆要三十八天，五块八 TB 的盘装一箱，快递一天到。
- 搬之前把进度钉住、把环境配齐。 手动打一个断点，四小时的进度不用扔；提前在新机房把镜像拉一遍、空跑一步，六小时的配置压到三小时。改完，停机从三十三小时降到七个半小时。
别踩的三个坑：坑一，只搬数据不管镜像，挪过去连不上；坑二，等任务自己存断点，最后几小时白跑；坑三，搬完直接开跑，跑到一半才发现卡型不对。
平台怎么管这些问题
搬不搬、什么时候搬、搬完算不算过，这些事得有地方记。平台接住六件事。
台账先说话：六十台机器、多少卡、多大存储、哪个任务在哪台，一次圈出要动的范围，不用挨个机房问。
断点能手动触发：不用等它到点存，搬前点一下，进度钉在这一步。
镜像走中心仓库：新机房从最近的节点拉，不用跨三百公里传。
搬前先空跑：起容器、加载权重、算一步、停。过了才真搬，没过就原地改。
过程有进度页：搬到哪步、还剩几小时、重试几次，一页看完。
搬完那段时间的卡，计费可以暂停，账上留一条，事后对得上。
这些功能平时谁管，比功能本身要紧。
- 谁能改规则：平台运维负责人，一个账号一个权限，改一次留一条记录。
- 谁能批计费减免：机房负责人和财务，两家都签才算数。
- 出了事能不能倒查到人：能，搬迁记录带账号、时间和每一步结果，翻到哪天都查得到是谁点的。
- 搬失败、机器掉线的告警发给谁：值班运维，十五分钟没接就升级到机房负责人。
这笔钱值不值
掏钱的是租机器那一方，也就是这个训练任务的负责人。
这一单：八张卡停三十三小时，二百六十四个卡时，按十元一个卡时算，二千六百四十块。白扔的三十二个卡时三百二十块，合起来两千九百多。
按第三条办法改完，停机七个半小时，六十个卡时，六百块。投入是一小时的验证空跑，八十块。一次就回来。
放大到整间机房：六十台四百八十张卡，同样停三十三小时，一万五千八百四十个卡时，十五万八千块。压到七个半小时，三千六百个卡时，三万六千块。差十二万二。
国家为什么也盯这件事
2023 年 12 月 25 日，国家发展改革委、国家数据局、中央网信办、工业和信息化部、国家能源局五部门印发《关于深入实施“东数西算”工程 加快构建全国一体化算力网的实施意见》（发改数据〔2023〕1779 号）。
文件要求，推动东部的人工智能模型训练、推理等业务向西部迁移，到 2025 年底国家枢纽节点新增算力占全国六成以上；枢纽节点之间要用弹性带宽、数据快递这类办法，把传输费用降下来。
“数据快递”四个字，说的正是老陈该干的事：数据太沉，就别走网线。
东部要算的活挪到西部，靠的就是一次次搬迁。老陈那六十台机器，和文件里讲的是同一件事，只是他手里那条线只有一百兆。
后来老陈改了流程：搬之前先打一个断点，镜像提前拉到新机房，数据走主链路。同样六十台机器，七个半小时搬完，开机接着跑。慢不慢不在网线，在搬之前那张单子。
算力：慧知开源智算调度平台
GPU 资源池化、任务调度、多租户和计费一套管，装在自己服务器上，能改能扩。
点这里看详情 →