
11 月 3 日上午十点,老周端着没喝完的豆浆,站在机房走廊那块屏前面。屏幕上那条线从 300 顶到 900,用了不到半分钟。八张卡的风扇声一下连成一片,脚下地板都在震,值班室的门没关严,被风顶得直响。
这家客户做客服问答,三个月前把合同从包月改成按次收费,两厘钱一次。上个月对账,账单 14 万 9,比包月多收九万一。老周在群里发了个红包,说这门生意总算卖出价了。
四分钟后电话响了。客户说 App 弹了个窗,用户一拥而上,有人等了七分钟才拿到回复。合同上写着两秒,八张卡当时看着还挺宽裕。
为什么会这样
因为钱是按平均收的,卡却得按挤的那几分钟备。卖卡像把车位按月租出去,卖服务像开一个随叫随到的停车场:钱按进场的车数收,车位按挤的那半小时备。车位费按月交,车流按秒来,两头不在一个尺子上。
老周手里八张卡,一张一秒答 40 次短问答,八张 320 次。客户当初报的数是一天里挤的时候一秒 300 个问题,320 刚好压住线,八张就按这个签了下来。
11 月 3 日那四分钟,真实流量冲到一秒 900 个,是报上来的三倍。四分钟灌进 21.6 万次请求,八张卡只答得出 7.68 万次。剩下 13.9 万次排在后面,按一秒 320 次往下走,要 435 秒。
收钱走的是另一套账。一天 24 小时,23 小时平均一秒 17 个,那一小时一秒 300 个,加起来 248.8 万次。摊平到一秒 28.8 个,0.72 张卡就够;扛住一秒 900 个却要 23 张,中间差 15 张。

怎么解决
-
先给每个客户划一条每秒上限。 在入口加一条规则,超过 320 个就排到后面等,页面上告诉用户前面还有多少人。一个人三天改完,代价是那四分钟里 13.9 万次调用做不成,按两厘算是 278 元。
-
活动提前报,卡按小时借。 客户有活动提前一天说,平台把那几小时单独划 15 张卡过来,结束就还回去。15 张按 15 元一小时是 225 元,一个月三次 675 元。
-
自己压一遍,把报上来的数换成测出来的数。 拿客户三个月的日志重放,看每小时到底冲到多少。两个人五天,一万元;改完合同那条两秒按实测写,超了客户自己担。
别踩的三个坑:坑一按客户报的 300 备卡,实到 900,八张等于只备了三张的量。坑二把合同写成"尽力而为"就以为没风险,客户不看条款,只看那七分钟。
坑三只加卡不限流,900 后面还能冒到 3,000,加多少都不够。
平台怎么管这些问题
客户进来先定一条每秒上限,写进合同也写进平台,超了排队不报错。排队分两条道:要两秒的走实时,不急的走批量,批量排在夜里,不抢白天的卡。
客户报活动就下一张预约单,平台提前锁卡,到点放开,结束收回,按小时单独出账。每分钟记一次同时在答的请求数和等待时长,月底出一张曲线,客户报的数和平台测的数并排摆。
计费只算答完的次数,超时的退回去,减免自动落进账单。哪个客户这个月流量涨了两成,看板提前一周提示要不要预约。
平时谁管这四件事。每秒上限谁能改:平台管理员,改一次留版本号,客户经理签字确认。减免谁批:财务批,单笔过五万要运营总监签。
出事倒查:按请求号查到客户、任务、哪张卡、当班是谁。设备掉线推到值班工程师手机,十分钟不回升级到平台负责人。
这笔钱值不值
掏钱的是平台自己。包月一个月 5.76 万,改按次一个月 14.93 万,多 9.17 万。
要是按 900 个那个数、按月租备 23 张,一个月 16.56 万,比原来多 10.8 万。9.17 万盖不住 10.8 万,倒亏 1.6 万,这条路走不通。
改成按小时借,一个月 675 元。9.17 万减 675 元,9.1 万才算落袋;改造花 1.2 万,四天就回来。
国家为什么也盯这件事
工信部、中央网信办等六部门 2023 年 10 月 8 日印发《算力基础设施高质量发展行动计划》。
文件要求到 2025 年算力规模超过 300 EFLOPS,也就是每秒百亿亿次,智能算力要占到 35%。
文件里还写着"着力提升算力设施利用效率",并要求盯着上架率。上架率就是机柜里装没装设备,低于一半的地区再建新项目要加强论证。
文件盯的是效率,现场看到的是八张卡里七张吃灰。这两件事不打架:吃灰要看替谁留的,替那四分钟留的十五张,砍了就换七分钟等待。
那四分钟过去以后,老周把八张卡的曲线调出来,一分钟一分钟看了一遍。他要找的不是哪张卡空着,是哪一分钟该多一张。
晚上他把对账单和那条曲线订在一起,签了字。多收的九万一不算赚来的,是借来的:借得到卡就落袋,借不到就得拿月租还。
GPU 资源池化、任务调度、多租户和计费一套管,装在自己服务器上,能改能扩。