周二上午十点，一家做客服机器人的小公司开促销。三分钟里，2,400 个客户同时在对话框里问“我的单到哪了”。四个人的技术团队，前一天刚把整个月的广告预算全押在这一场活动上。
三分钟过去，只有 1,500 个人拿到回答。剩下 900 个的页面上一直转圈，最后弹出一行“服务繁忙，请稍后再试”。客服那边的电话一直没停，两个人都接不过来。
技术负责人翻日志，满屏 429，意思是“请求太急，先别发了”。他看了一眼服务器，CPU 才用到两成，带宽也空着。机器明明闲着，人为什么被挡在门外？
为什么会这样
因为官方给每个账号发了一张固定的进门票，票面写着每分钟 500 次。
一分钟 500 次，三分钟就是 1,500 次。涌进来 2,400 个人，多出的 900 个连门都进不去，直接被挡回来。挡回来时官方回一个 429，意思是“你问得太急了”。
这个 500 不按钱算，按请求条数算。你一个月充十万块，它还是 500。就像水管，水费交得再多，管子的粗细不变。
小区里每户接一根细管。你家同时开浴缸、洗衣机和厨房龙头，水就细成一条线。想多要水得换粗管，多交水费没用。
中转站干的事，是在小区中间修一个蓄水池。它用企业身份接一根粗管，一户的细管接不动的水，它接得动。
池子按总表进水，一小时进 30,000 升。你家一小时只用 200 升。你这会儿猛开龙头，池子里攒的水顶上来了。
所以你能跑过自己那张 500 的票。不是官方给你加了额，是池子里别人闲着的那部分，在你用的时候借给了你。
借是要还的。全小区一起开龙头，池子也会见底。
池子敢这么借，是因为各家忙的时间不一样。做美洲生意的白天闲着，做亚洲生意的白天忙，两拨人的高峰正好错开。
怎么解决
三件事，从便宜的往下排。
一，把三分钟的洪峰摊平。前端挂一句“正在排队，请稍候”，后端失败就等一下再试，头一次等 1 秒，第二次 2 秒，第三次 4 秒。
2,400 人摊到 20 分钟，每分钟 120 次，500 的票就用不完。一分钱不花，被退回从 900 降到 0。
二，活动前找官方临时提额。写工单说明时间和量，把每分钟 500 提到 1,500，三分钟能放 4,500 次。代价是提前三天报，还要企业资质。
提额多数按天批。活动一结束就去调回来，别白占着额度。
三，在中间加一层接多家上游的入口。一个模型挂三个货源，这家满了自动换下一家，换不动就排队。代价是按量加点钱，一般一成上下。
别踩的三个坑：
- 只加服务器，不加额度。CPU 再空，票还是 500 张。
- 失败就立刻重试，不限次数。429 会变成雪崩，越试越堵。
- 以为买贵的模型就不堵。限流按条数算，跟单价无关。
平台怎么管这些问题
一个统一入口，把几家的模型都收在同一个 base_url（接口地址）后面。促销当天改配置，不用改代码。
多条上游做备份。一个模型挂三个货源，这家撞了上限，下一秒切到那家，前端感觉不到。
按业务分额度。客服机器人分到每秒 6 次，内部报表工具分到每秒 2 次，促销时互不挤占。
失败了自动退避重试。429 回来先等，等完再试，不让客户一直看转圈。
用量看板提前告警。每分钟打到 400 次就发消息，别等撞满 500 才动手。
账单按项目归集。客服、报表、内部试用各算各的钱，月底不用猜。
这些功能平时归谁管，得落到人头上。
规则谁能改：只有当天值班的技术负责人能动每秒额度，其他人只能看。
减免谁能批：超量扣的钱要退，得财务负责人在工单上签字。
出事能不能追到人：每次调用带业务标记，日志留 30 天，能查到哪个功能、谁发起的。
告警发给谁：发当天值班人和技术负责人，两个手机同时响，不能只丢进群里。
这笔钱值不值
掏钱的是业务负责人。
先算损失。900 个客户没拿到回答，假设下单率 5%，一单 200 元，就是 900 × 5% × 200 = 9,000 元。
再算成本。第二条提额不要钱，只要资质。第三条按一成加价，一个月用三万块的量，多付 3,000 元。
9,000 对 3,000，一次促销就回来了。一个月做两次，账更清楚。
这里的 9,000 是保守值。200 元要是毛利，那 900 个人里跑掉一个都疼。
行业规则怎么管这件事
这条线没有对口的国家政策，管这件事的是平台自己的服务条款。
OpenAI 开发者文档里有一节叫 Rate limits，写清了五类上限：每分钟请求数、每天请求数、每分钟 token 数、每天 token 数、每分钟图片数。超了返回 429，不给你排队。
它按组织和使用层级分配额度，用得多才往上提。这条对所有调用方一样，中转站自己也得守。
所以第 2 段那 900 个人，不是官方针对谁，是那张票本来就只有 500 张。
那次促销之后，他们把排队提示和自动重试补上了。下一场活动涌进 2,600 人，一个都没被退回。
票没变，还是每分钟 500 张。只是不再让所有人挤在同一分钟里。
主流大模型 API token 统一接入、统一计费，改个地址就能用。