
八月十四号上午,老周在机房验收八张国产卡。基准脚本跑完,八张卡一起跑满,速度是进口卡的七成,他在验收单上签了字。单子末尾还有一行:三个月内把业务迁过来。
十一月十四号盘点,他把表拉出来。原来在进口卡上跑二十四个任务,只挪过来六个。剩下十八个还压在老机器上,新机柜里那八张卡有一半时间空着,风扇一直响,指示灯一直是绿的。
签字那天,一屋子人都觉得七成够用,没人问一句代码能不能跑。老周后来才明白,卡慢一点不是事,跑不起来才是事。
为什么会这样
一句话:卡是能算的,难在别人写好的程序不认它。
像灶台换了个牌子,火更旺,可原来那口锅放不稳,铲子还短一截。菜谱没变,你得先把锅和铲子改一遍。
程序里真正干活的是算子,就是一小段一小段的计算,比如矩阵相乘、归一化。一个训练任务,平均要用到八个算子。
进口卡有一套用了十年的库,这些算子伸手就有。国产卡的库年轻,常用的都有,偏一点的还缺一个。
缺的那一个,得自己写,写完还要调。调的是精度:同一段代码,两个牌子算出来的小数尾数不一样,模型的输出就对不上。
所以一个任务缺一个算子,一个人写加调,要花五天。
二十四个任务乘五天,一百二十个人日。团队里只能抽一个人干这事,另一个得盯线上。六十个工作日,够改十二个。
实际只挪过去六个。差的那一半时间,全耗在精度对不上上。

怎么解决
三条路,从便宜的往上走。
- 先盘一遍家底。 把二十四个任务挨个跑一次,记下哪一步报错、缺哪个算子。一支笔一张表,两三天,不花钱。盘完常常发现,缺的不是二十四个,是十来个,很多任务缺的是同一个。
- 先搬算子全的那批。 二十四个里挑只用常用算子的先上。老周按这个挪了六个,不到一个月就跑起来了。
- 缺的算子集中写,写成公用的。 别一个任务写一遍。把缺的十来个做成一个内部库,谁用谁调,一百二十个人日能压到六十个左右。
别踩的三个坑:坑一,只看基准脚本的速度,不看自己的代码;坑二,拿一个任务试通了就全面推,那个任务恰好算子最全;坑三,每个组各写一遍同样的算子,四个人写四遍。
平台怎么管这些问题
迁移最怕没人知道走到哪了。平台接住六件事。
任务台账先摆出来:二十四个任务,哪些还在老机器上,哪些搬完了,每个跑了多少小时,一页看完。
试跑环境给一套:同一个任务两边各跑一遍,输出并排放,差在哪一眼看得见。
算子缺口有清单:哪个任务缺哪个算子,谁在写,写到哪一步,挂在任务下面,不用挨个问。
资源池不绑卡型:国产卡和进口卡放一个池子,任务按需领,不会一边排队一边空着。
计费按卡型分开记:两种卡单价不一样,一笔一笔分开,月底对账不用猜。
迁移进度出报表:搬完几个,还差几个,哪天能完,每周自动发一次。
这些功能平时谁管,比功能本身要紧。
- 谁能改规则:平台运维负责人,改一次留一条记录,谁改的、改了什么都在。
- 谁能批减免:迁移期减掉的那部分费用,机房负责人和业务负责人两家都签才算。
- 出了事能不能倒查到人:能,每次试跑都带账号和时间,精度改了哪一版查得到。
- 卡掉线、任务失败的告警发给谁:值班运维,十五分钟没接就升级到机房负责人。
这笔钱值不值
掏钱的是这个智算中心的运营方。一张卡跑一小时,算一个卡时。
先把空转算清:八张卡九十天,一天二十四小时,一万七千二百八十个卡时。六个任务各占一张卡跑了三十天,四千三百二十个卡时。剩下的一万二千九百六十个卡时没人用,按十元一个算,十二万九千六百块。
这是已经花掉的。按第三条办法改,总工期从六个月压到三个月,同样八张卡,后面三个月本来还要再空十二万九千六,现在不用了。
多花的钱是把十来个算子集中写,多投一个人两个月,六万。省的除投的,净剩六万九千六,投入一个半月就回来。
还有一笔不在表上:老机器退不掉,机柜电费加租金一个月五千二,拖三个月就是一万五千六。
上面这些按假设的单价算,实际要拿自己机房的合同核一遍。
国家为什么也盯这件事
2025 年 10 月 21 日,工业和信息化部办公厅发出《关于开展 2025 年人工智能产业及赋能新型工业化创新任务揭榜挂帅工作的通知》。
通知附件里的「大模型训练芯片」榜单,把要求写得很实。到 2027 年,训练芯片要覆盖主流模型框架,适配 90% 以上的国内大模型。半精度浮点算力性能,要达到国际先进训练芯片的 90% 以上。
两个 90%,说的就是老周手里那张表。能适配九成,剩下那一成还得人动手。他缺的那一个算子,正是还没被盖住的那一小块。
文件没要求今天就把卡全换掉,要求的是三年内把这一成补上。补不上的时候,八张卡就只能亮着灯。
十一月下旬,老周把二十四个任务重排了一遍,先挑算子全的搬。机柜里还是那八张卡,风扇声没变,指示灯也没变,只是亮着的从两张变成了六张。
算力:慧知开源智算调度平台
GPU 资源池化、任务调度、多租户和计费一套管,装在自己服务器上,能改能扩。
点这里看详情 →