夜里十一点，小林把八张卡的活一起提上去，提交单上写着“八卡并行”。机器是新到的，八张卡在面板上全绿，风扇声比走廊里那台旧机器响一截。他在便签上写了一行：八卡全绿，等早上看日志。
第二天早上他翻日志，一步耗时两点五秒上下。同一份模型，上个月在另一台机器上跑，一步只用半秒。卡是同一批，型号一样，钱也一样。
两台机器的区别只有一个：新的这台，八张卡插在主板那八个槽里，走主板那条公共通道。旧那台，卡和卡之间另有一根专门的线。他说不上那条通道有多宽，只知道两台都是八张卡。
为什么会这样
一句话：买卡买的是每张卡自己干活的力气，卡与卡之间怎么说话是另一件事，也是另一笔钱。
拿八个会计对账打比方。一个人记一本账很快，八个人各记一本、每小时对一次，对账方式决定这活能干多快。轮流念给对方听，念到天亮；八个人围一张桌子同时报数，十分钟完事。
模型六十 GB，切成八份，每张卡装七点五 GB，卡自己的内存刚好装得下。算完一步，八张卡得把各自算出的改动互相对一遍，凑成同一份再往下走。
这步叫全归约，说白了就是八个人把各自的账凑成一本，谁也不能先走。
每张卡要发出去的是六十乘八分之七，五十二点五 GB。收回来同样多。
主板公共通道，一张卡一秒走二十五 GB。五十二点五除二十五，二点一秒。这一步纯算只要零点三五秒，两点四五秒里有二点一秒在等别人。
八乘零点三五，二点八；二点八除二点四五，一点一四。八张卡，实际顶一张多一点。
换成卡与卡之间的专线，一张卡一秒走三百 GB。五十二点五除三百，零点一八秒。一步零点五三秒，二点八除零点五三，五点三三张。
同样八张卡，同样六十 GB 的活，一条线差出四点七倍。
怎么解决
三条，从便宜的往上走。
- 先量一步的时间。 随便跑十步，看日志里一步几秒、其中等别人几秒。半天，不花钱。量出来也许是一点八不是二点一，那更好，至少数是真的。
- 把要发的量压小。 算出来的改动先压一遍再发，能并的并，能攒几步一起对的就攒着。发的东西砍一半，二点一秒变一点零五秒，八张卡从一点一四张到二点零张。改代码，两个人两周。
- 换机器，让卡之间有专线。 八张卡塞进一台机、走卡间那条专线，一秒三百 GB。两点四五秒变零点五三秒，八张卡顶五点三三张。整机差价十二万。
别踩的三个坑：坑一，先加卡不看线，八张加到十六张，有效还是一点一五张；坑二，八张卡分在四个柜子里，跨柜那条线比主板还窄；坑三，只把纯算调快，零点三五压到零点二，一步从两点四五变两点三，快百分之六。
平台怎么管这些问题
不管谁家的卡，先得让“那条线”在系统里看得见。平台接住五件事。
机器和卡的连线档案先摆出来：哪八张卡在同一台机、走的哪条线、一秒多少 GB，下单前就看得见。
任务提交时算一遍要发多少：报上模型多大、切几张卡，平台算出这一步等多久。等太久的当场提示，别等跑一夜才知道。
按连线排机器：同一个任务的卡优先落在同一台机、同一条线上。排不到就先提示，别让它散在四个柜子里。
一步耗时拆开记：纯算多久、等别人多久，两条数分开记。等的时间过半，任务标黄。
卡时台账：一张卡跑一个小时叫一个卡时。每张卡每小时真算了多少，跟买的差多远，一页看完。
这些功能平时谁管，比功能本身要紧。
- 谁能改规则：平台管理员，连线优先级、等多久算慢归他，改一次留一条记录。
- 谁能批减免：算力运营负责人，卡时不够要让，他一个人签。
- 出了事能不能倒查到人：能，每条卡时带任务号、卡号、提交人。
- 卡掉线、连线降速的告警发给谁：值班运维，十分钟没接升级到机房负责人。
这笔钱值不值
掏钱的是小林他们公司。价按市面常见档位估，八卡机两百万。
八张卡一个月按七百二十小时算，五千七百六十卡时。一步两点四五秒里只有零点三五秒在算，折下来八百二十三个有效卡时。
加十二万换成卡间带专线的机型，同样五千七百六十卡时，有效变三千八百四十，多三千零一十七。
按对外十元一个卡时算，一个月多三万，四个月抹平这十二万。三年多出十万八千个有效卡时。
国家为什么也盯这件事
2025 年 5 月 21 日，工业和信息化部印发《算力互联互通行动计划》，文号工信部信管〔2025〕119 号。
里面“优化算力设施互联”的头一条叫加速节点内互联：要联合产业链上下游，把新型高速互联总线协议做出来、用起来。
节点内互联，就是一个机房里机器与机器、卡与卡之间那条线。文件给的期限是到 2026 年，把标准、标识和规则体系建起来。
全国要连成一张网，先得每个节点里面连得动。落到小林那台机器上，就是那两点一秒。
早上八点，小林把那八张卡的活拆成两份，先让要发的量减半。下次排期，他不打算再把“八卡并行”当成八倍的力气来算。卡与卡之间那条线有多宽，他得先问一句。
算力：慧知开源智算调度平台
GPU 资源池化、任务调度、多租户和计费一套管，装在自己服务器上，能改能扩。
点这里看详情 →