算力技术拆解(11月11日)|四十台机器搬了八百米,三天后只有八台在跑,两百五十多张卡空转

封面

11 月 6 日夜里十点,老周站在 A 楼三层,看末了一台机器被叉车推走。四十台八卡整机,搬到同园区的 B 楼,直线八百米。地上只剩四十个空机位,和一卷没拆的网线。

搬运用了九个小时。周六早上七点,四十台机器码在新机房,电通了,网也通了,面板上一排绿灯,风扇声跟老机房一模一样。他绕着走了一圈,跟同事说回去睡吧,这就算完了。

周一早上再看监控,只有八台在跑任务。剩下三十二台亮着灯,风扇转着,一张卡也没派活,钥匙还在他兜里。三百二十张卡里,两百五十六张就这么空着,机器像根本没搬过来。

为什么会这样

机器搬得动,机器身上那层"让它能干活"的东西搬不动。

一台机器能跑任务,靠的不只是卡。卡上面还压着五样:驱动、计算库版本、网卡里那段小程序、存储挂在这台机器上的地址、任务脚本里写死的路径。这五样没有一样在箱子里,全是搬之前人一台台调出来的。

新机房的存储换了个名字。老机器上写的是 /mnt/a-nas,新挂上来的是 /mnt/b-nas。

四十台机器平均每台十几处写着老地址,不改就跑不起来。地址改起来不难,难在找全。

装完驱动要重启,一次六分钟。网卡固件刷错一版,整台机器的网络起不来,得拆下来重刷,又是两个钟头。

一台机器从通电到真能跑,一个人一天半。四十台,六十个人日。

团队四个人,六十除以四,十五个工作日。搬完头三天,四个人干出十二个人日,配好八台,面板上那八台就是这么多出来的。

这就像把整个厨房搬到隔壁楼。灶台、冰箱、抽油烟机都在,位置一米不差。

可燃气要重新报装,水管要重新接,调料得一样样摆回原来的格子。搬家公司只负责搬,不负责让厨房能开火。

因果链图

怎么解决

  1. 搬之前把配置抄成单子。 一台机器调好就把驱动、固件、挂载点、脚本里的地址记下来,存进一张表,成本是一个人干两天。搬完照着表核对,一台从一天半压到半天,四十台从六十个人日降到二十个。

  2. 把写死的地址改成变量。 脚本里不写具体路径,写一个名字,所有机器都去一个地方读这个名字。搬家只改那一个地方,四十台机器上的十几处不用再逐台找,改动估三个人日。

  3. 先拿两台做样板。 配到能跑,把踩到的坑写成步骤,剩下三十八台照着抄。这一步不省时间,省的是返工:样板没验就批量上,固件错一版要重刷四十台。

别踩的三个坑:坑一只搬机器不搬配置单,搬完靠人回忆,一台机器配三遍。坑二信"同批买的机器配置一样",同一个订单里的固件也能差一版。

坑三搬完先拿大任务试水,一台配错,整个任务跟着垮。

平台怎么管这些问题

机器台账把每台的驱动、固件、挂载点记在册子上,搬之前一键导出一张配置单,不用等人回忆。环境模板把配好的一台存成样板,新机器照样板装,装完自动比对,差一版固件就标红。

搬迁清单给每台机器六个状态,从断电到能跑,谁卡在哪一步看得见。任务脚本里的存储地址收在一处,改一次全生效。每台配完自动跑一个两分钟的小任务,跑通才算完。

平时谁管这四件事。模板谁能改,平台管理员改,改一次留一个版本号。搬迁窗口谁能批,机房主管签字,窗口排进变更单。

每台机器动过什么,记工号和时间,年底翻得到人。设备掉线推到值班运维手机上,十分钟不回转机房主管。

这笔钱值不值

掏钱的是这家智算中心的运营方。机器空着不产生收入,房租电费照付。

按二十块一个卡时算,十五个工作日里平均一百二十八张卡闲着,四万六千零八十个卡时,九十二万。这笔钱没有发票,只有一块空着的面板。

改造按假设两个人做十天,两万块人工。两万对九十二万,一次搬家就收回来了,下次搬家还能再用。

国家为什么也盯这件事

国家发展改革委、国家数据局、中央网信办、工业和信息化部、国家能源局 2023 年 12 月 25 日联合印发《关于深入实施"东数西算"工程 加快构建全国一体化算力网的实施意见》。

文件要求以"结对子"方式推动西部枢纽节点与东部、中部城市建立跨区域算力资源调度机制。到 2025 年底,东西部算力协同调度机制逐步完善。

文件要的是任务能跨省调。可老周这四十台机器,连八百米都搬了三个星期。跨省调度的前提,是任务能从一台机器上摘下来,换个地方挂上去就能跑。

周一晚上,老周把那八台的配置单打印出来,贴在 B 楼机房门后。剩下三十二台,他打算照着单子一台台对。机器是搬过来了,能让它开火的那部分活才刚开始。

算力:慧知开源智算调度平台

GPU 资源池化、任务调度、多租户和计费一套管,装在自己服务器上,能改能扩。

点这里看详情 →

https://huitongdao.doc.huizhidata.com/docs/

文档与在线试用 →

https://huitongdao.doc.huizhidata.com/docs/

Last Updated: 2026/11/11 06:24:06
虚拟电厂技术拆解(11月11日)|分账单下来,让八百千瓦的厂拿一千二,一瓦没让的拿两千四
OωO 取消
  • |´・ω・)ノ
  • ヾ(≧∇≦*)ゝ
  • (☆ω☆)
  • (╯‵□′)
  •  ̄﹃ ̄
  • (/ω\)
  • →_→
  • (ノ°ο°)ノ
  • ⌇●﹏●⌇
  • (ฅ´ω`ฅ)
  • φ( ̄∇ ̄o)
  • ヾ(´・ ・`。)ノ"
  • (ó﹏ò。)
  • Σ(っ °Д °;)っ
  • ( ,,´・ω・)ノ
  • ╮(╯▽╰)╭
  • (。•ˇ‸ˇ•。)
  • >﹏<
  • ( ๑´•ω•)
  • "(´っω・`。)
  • "(ㆆᴗㆆ)