老周把验收单摊在机柜顶上，风扇声从走廊那头一直响过来。单子右下角印着一行小字：单卡半精度算力九百八十九万亿次每秒。
八张卡插上去，监控面板上那个数字一直在三百一十上下跳，八张都一样。卡是新的，机器没报错，机房温度也正常。
他按九百八十九排的工期，三个月的活，合同上写得清清楚楚。那天下午他按了两遍计算器：三百一十除九百八十九，三成出头，三个月要变成九个半月。他把单子拍给供应商，对面回得很快：卡没问题，是你自己没跑满。
为什么会这样
一句话：单子上印的是这张卡最快能跑多快，不是你这份活能跑多快。它中间要过三道折扣。
像买水泵。铭牌写着每小时抽九百八十九吨，你接在自己那根管子上，管子细，实际只流三百一十吨。泵没坏，是管子和水的事。
头一道折扣是喂不饱。卡上有几千个计算单元，一次得喂进去几千条数据才吃得饱。你的模型一个批次只喂几百条，等于请了十个厨子只炒一盘菜。
实测只能喂到六成。九百八十九乘零点六，五百九十三。
第二道是排队。八张卡一起跑，每算完一步要互相对一遍数，对完才能往下走。卡里面取数一秒三 TB 上下，卡与卡之间走通用插槽只有一秒六十四 GB，差近五十倍。
对数的要排队，排队就是卡在干等。三成半时间花在这儿，五百九十三乘零点六五，三百八十五。
第三道是边角活：从硬盘读数据、隔一段把训练状态写回盘，再占两成。三百八十五乘零点八，三百零八，跟面板上那个三百一十对得上。
三个月的活乘九百八十九再除三百一十，九点五个月。卡一张没少，慢在这三道折扣上。
怎么解决
三条，从便宜的往上走。
- 先量，别信单子。 拿自己那个模型跑半小时，看监控上单卡实际停在多少。半天，不花钱。量出来可能是四百不是三百一十，那更好，至少数是真的。
- 把批次喂饱，用梯度累积。 显存装不下大批次，就把一个大批次拆成几次算、攒着一起更新，效果一样。喂养率从六成到九成，单卡三百一十变四百六十。框架自带，两个人调五天。
- 换拓扑，八张卡塞进一台机。 拓扑就是卡与卡怎么连线。塞进一台机，卡间从六十四 GB 提到六百 GB，通信占比从三成半掉到一成二，四百六十变六百三，工期四点七个月。一次性六万。
别踩的三个坑：坑一，先加卡不喂饱，卡翻倍有效算力只多三成；坑二，八张卡分在四个柜子里，通信更堵；坑三，盯着监控上的瞬时峰值，那是毫秒的数，要看一小时平均。
平台怎么管这些问题
不管买谁的卡，先得看清每张卡真能跑多少。平台接住五件事。
卡型台账先摆出来：每张卡记三列，标称、实测、喂养率。老周下单前看的是实测那一列。
批次和显存画像接着上：任务提交时报批次多大、显存占多少，平台算得出这张卡能喂到几成，喂不到六成的当场提示。
拓扑感知调度：同一个任务的八张卡优先落在同一台机、同一个交换下。排不出来先提示，别等跑起来才发现卡在四个柜子里。
卡时台账和看板：每张卡每小时实际算了多少，跟标称差多远，一页看得见。卡时就是一张卡跑一个小时。
队列和配额按项目分：卡时额度写死，超了排队，谁也占不住别人的卡。
这些功能平时谁管，比功能本身要紧。
- 谁能改规则：平台管理员，喂养率门槛、拓扑策略归他，改一次留一条记录。
- 谁能批减免：算力运营负责人，卡时不够要让，他一个人签。
- 出了事能不能倒查到人：能，每条卡时带任务号、卡号、提交人。
- 卡掉线、算力掉档的告警发给谁：值班运维，十分钟没接升级到机房负责人。
这笔钱值不值
掏钱的是老周他们公司，八张卡两百万设备款。
按三年摊，一个月五万六。工期从九点五个月缩到四点七个月，省四点八个月，少摊二十七万。
调批次的人工算四万，换拓扑六万，一共十万。十万除五万六，不到两个月回来。
电费另算：一个机柜七千瓦，一天一百六十八度，七毛一度一个月三千五，多等这几个月的电钱一万七上下，不是大头。
国家为什么也盯这件事
2023 年 10 月 8 日，工业和信息化部、中央网信办、教育部、国家卫生健康委、中国人民银行、国务院国资委六部门联合印发《算力基础设施高质量发展行动计划》。
里面有一条：到 2025 年，算力规模超过 300 EFLOPS，智能算力占比达到 35%。
EFLOPS 是每秒百亿亿次浮点运算。跟老周那张单子上的万亿次是同一把尺子，只是后面多六个零。
按同一把尺子折：300 EFLOPS 除九百八十九万亿次，三十万张卡。按实测的三百一十算，得九十七万张才凑得出这个数。
文件管的是全国的盘子。落到那张验收单上，就是一行小字和六成九的落差。要补的不是卡，是那三百一十。
十一月六号早上，老周把验收单折起来塞进抽屉，先让人把批次的喂法改了一遍。三百一十这个数，他不打算再当九百八十九来排工期。
算力：慧知开源智算调度平台
GPU 资源池化、任务调度、多租户和计费一套管，装在自己服务器上，能改能扩。
点这里看详情 →