验收那天，小陈把监控投到会议室大屏。一行绿字一直跳：每秒 28 个字，验收单还摊在桌上，签字栏空着。台下有人翻出采购单，指着上面那句"每秒一千万亿次"，问他这两个数怎么差这么远。
这套系统做客服问答，五百个坐席同时在问。按采购单的口径算，一张卡一秒能出七千多字，够用十几倍。他们只订了一张，机位上还留着七个空位。
上线三天，排队提示开始往外冒，补到十八张才算压住五百。可预算批的只有三张，多出来的十五张，账记在了运维头上。为什么会这样？
为什么会这样
卡上那个"每秒一千万亿次"，说的是它脑子转多快。真正卡住一秒能吐几个字的，是它每吐一个字要搬多少东西。
一个七百亿参数的模型，压成 8 位存下来是 70 GB，一张卡的显存刚好放得下。模型不记事，每说一个字，都得把这 70 GB 从头过一遍。
这就像一个人搬货，手快得能一秒数七千件，可他每数一件都要跑去仓库搬七十斤。跑一趟 0.035 秒，一秒就只跑得完 28 趟。
卡从自己内存里往外掏东西的速度是每秒 2,000 GB，行话叫显存带宽。这是个和"能算多快"不相干的数。70 除以 2,000 是 0.035 秒，倒过来就是每秒 28 个字。
那"一千万亿次"用掉多少？一个字只要 1,400 亿次运算，等于 0.14 万亿次。1,000 除以 0.14，得 7,142。
7,142 和 28 差 255 倍。卡一天到晚在等显存，真正算的那部分，只忙了千分之四。
一份模型占满一张卡，摆不下另一份。要同时接五百个坐席，只能一张卡摆一份。500 除以 28 得 17.9，往上取整，十八张。
怎么解决
三条路，从便宜的往外走，一条比一条贵。
-
攒批：一趟搬运，多个人用。 同一趟搬运，同时给八个客户出字，每个字摊到的搬运只剩八分之一。单卡从 28 字跳到 224 字，代价是首字多等 0.3 秒。
-
压模型：东西变小，路就短。 从 8 位压到 4 位，70 GB 变 35 GB，单卡从 28 字到 57 字。代价是抽两百条问题重问一遍，压太狠会开始胡说。
-
换卡：把路修宽。 显存带宽从每秒 2,000 GB 换到 8,000 GB，70 GB 只要 0.0088 秒，单卡 114 字。代价是一张卡贵几万，还得停机换。
别踩的三个坑：坑一，只看"每秒多少次"下单，不看显存容量和带宽。坑二，批攒到六十四，首字要等两秒多，客户以为死机。坑三，压到 4 位不抽检，答案开始瞎编。
平台怎么管这些问题
模型进平台时先登记两件事：占多少显存，每个字要搬多少。下单前用容量测算倒推，客户要每秒五百字，该配几张卡当场能算出来。跑起来交给调度，副本分开摆，谁闲着谁接新请求。
批处理参数按业务各给一条线：一批攒几个、等多久算超时。出字数单独计量，账单按字算，不按占住的钟点算。字/秒掉到线以下，告警直接响。
平时谁管，得落到具体的人，这些数字平时没人翻，出事才有人来问。规矩谁能改，是平台管理员，改"每张卡跑几个副本"要过一道审批。减免谁能批，是业务负责人，八折以上的单子要他签字。
出事能不能倒查到人，看日志：每次改批大小、改副本数都记操作人和时间，能翻到具体哪一次。设备掉线告警发给值班工程师的手机，白天抄送组长，夜里只发值班。
这笔钱值不值
十八张卡，每张每月 720 小时，按 10 元一小时算，是 12.96 万。攒批之后三张就够，2.16 万。
一个月差 10.8 万，一年 129.6 万。改造是两个人干五天，一万五。四天就把改造的钱收回来。
这笔钱本来可以不花。一开始就按每秒出多少字报需求，预算会是三张。
国家为什么也盯这件事
2026 年 7 月 20 日，工业和信息化部在国新办发布会上讲了下一步。要印发《算力标准体系建设指南》，重点是"算力服务能力评估"和"算力市场化定价"两件事。指南定了到 2027 年，围绕九个部分制修订五十项以上标准。
翻成现场的话：以后不能只报"每秒一千万亿次"。得报这套服务一秒能出多少字，按什么口径算。
小陈那张采购单上的数字没错，错在它没写清按什么算。标准真落地那天，验收单上大概会多一行"每秒出字数"。
补到十八张那阵子，小陈天天盯着大屏那行绿字。后来他明白了，卡上那个数说的是脑子转多快，屏上那个数才是它一天能干多少活。中间差的，是搬东西的那条路。
GPU 资源池化、任务调度、多租户和计费一套管，装在自己服务器上，能改能扩。