11 月 11 日零点，一家卖家居用品的店铺，客服后台一分钟涌进来 40 条咨询。双十一预售刚开场，谁都不想让人等。每条咨询都得先带上商品说明和前几轮对话，再交给模型写回复。
运维小陈是这家店管后台的那个人。他把同时处理的窗口从 4 个调到 12 个，想的是窗口多两倍，回得就快两倍。一分钟过去，回出去 25 条，15 条标着 429，那是平台拒收的编号。
他又加到 20 个，回来的还是 25 条上下，红字倒翻了一倍。一分钟 60 次的额度，他连一半都没用掉，先撞上的那道墙为什么是字数？
为什么会这样
因为没有一把尺子在量，是两把：一把数次数，一把数字数，撞上任何一把都拒。
一档的文本模型，额度常常写成一分钟 60 次、一分钟 10 万个 token（模型算字数的单位，一个汉字大约算 0.6 到 0.7 个）。
一条咨询带 3,200 个输入、800 个输出，加一起 4,000。10 万除以 4,000，得 25。
所以这一分钟最多过 25 条。那把数次数的尺子留着 35 次没用，永远也用不上。
第二把尺子还有一层：它不按一分钟给，按秒给。10 万除以 60，一秒 1,666 个。
像自来水管。一分钟给你 10 万升，可管子每秒只过 1,666 升。你拿 4,000 升的桶去接，两秒四才满一桶。
同时伸 12 个桶过去，水不会变多，只会把管子憋停。12 乘 4,000 是 48,000，是 1,666 的 28.8 倍，这一秒进去的活全被退回。
小陈加到 20 个窗口，等于又往那一秒里塞了 8 个桶。25 条的上限一点没动。
重试也在添乱。被拒的 15 条，客户端默认立刻重发，又挤进同一秒，把刚空出来的额度再吃一遍。
怎么解决
三条路，从最便宜的排到最贵的。
先把桶改小。 商品说明两万字，其实一条咨询只用到其中一部分。按问题挑出相关的那 2,000 字带上去，历史对话从 8 轮压到 3 轮，输入从 3,200 降到 1,800。
一次变 2,600，10 万除以 2,600 是 38 条。改的是拼接那几行代码，不花钱。
再给发送加节奏。 客户端排个队，按 token 算好间隔：一条 2,600 个，一秒 1,666，间隔 1.6 秒放一条。
一分钟 38 条，一条不丢，429 归零。花半天。
最后才是提额。 跟平台把一分钟 10 万提到 30 万，一秒变 5,000，2,600 的桶半秒多就满，一分钟能过 115 条。这条要按月多付钱，量大才划算。
别踩的三个坑：
坑一，以为加窗口能提吞吐。窗口只改“同时挤进去几个”，不改每秒能过多少，加得越多 429 越多。
坑二，被拒就立刻重发。没有间隔的重试会把仅剩的额度自己吃掉，越急越慢。
坑三，只盯次数额度。60 次那把尺子在这种场景里永远用不满，盯着它等于没看。
平台怎么管这些问题
这条链接到平台上，是六件事串成一条线。
限流看板：两条尺子分开显示，次数用了多少、字数用了多少，五秒刷一次。小陈看一眼就知道卡在 25 那条线，不是次数。
按 token 计速的发送桶：客户端先扣额度再发，扣不到就等，不往平台上硬撞。这个桶放在公共库里，谁接都生效。
排队：请求进门先排队，排着的请求不占额度，等太久可以撤。撤掉的单子回到队列头，不重复花钱。
失败分类：429 是额度满了，500 是平台自己出问题，两种分开统计，别混成一个失败率。429 按平台给的时间等，带一点随机。
按会话分摊：一条咨询吃了多少 token 记在会话上。哪个店铺、哪个商品吃得多，当天就能看出来——40 条里有几条带着两万字的长说明。
预算与提额：日用量到八成推一条提醒，附一页最近七天的峰值，直接拿去提额。
这些事平时落在四个人身上。
改规则的是平台运维。额度、桶的大小、队列长度要动，他和复核的人各签一次名，一个人改不动。
批提额的是值班工程师。忙时可临时把字数额度提一倍，一小时后自动回落，不用等商务流程。
能倒查的是运维。每次调用记四个数：输入多少 token、输出多少 token、什么状态码、跑了多久，留 90 天。从 key 追到账号，再从账号追到人。
收告警的是应用负责人。429 占比五分钟超过 5% 就发给他，夜里没人接就升级给值班。
这笔钱值不值
掏钱的是店铺自己的技术预算。
改桶两小时，按 100 元一个人时算 200 元；加节奏半天，400 元。一共 600 元。
换回来什么：一分钟从 25 条到 38 条，一小时多 780 条，双十一当天按 12 小时算多 9,360 条。
这些单子原来落到人工，一条 1.5 分钟、一分钟 0.8 元（假设）算 1.2 元，9,360 条是 11,232 元。
600 元当天就回来了。提额那条要按月多付，等一分钟稳定超过 115 条再谈。
行业规则怎么管这件事
管这件事的规则写在平台文档里，叫《限流》，发布方是阿里云百炼，页面更新到 2026 年 11 月 7 日。
原文两处。限流表格的标题是“限流条件（超出任一数值时触发限流）”，次数和字数两栏并列，字数那栏注明“含输入与输出 Token”。
另一处写着：限流除按分钟级 RPM/TPM 外，还可能按秒级 RPS（RPM/60）与 TPS（TPM/60）执行，短时间内的请求爆发即使未超出分钟级上限也可能触发限流。
小陈那 12 个窗口，撞的是后一条；那 25 条，是前一条的 10 万除以 4,000。
第二天小陈把窗口调回 4 个，商品说明只带相关那 2,000 字。同一分钟进来 40 条，回了 38 条，红字没再出现。他说不是模型慢，是自己一直往一秒里塞桶，管子就那么大。
主流大模型 API token 统一接入、统一计费，改个地址就能用。