十月二十七号早上九点，一家给跨境电商做客服机器人的五人团队在算账。十月二十号那天，他们把机器人背后的大模型全换成了一款国内的便宜货。一周两万次问答，单价只有原来的九分之一。
七天过去，账上确实少了 896 块。也是这七天，五单货发错了国家，赔出去 2,400 块。赔的是省下的两倍多。
那位老板翻着后台嘀咕了一句：单价便宜九倍，怎么算下来还倒亏 1,504？
为什么会这样
一句话：便宜模型省的是每一次的几分钱，出错的时候赔的是一整单的钱。
像寄快递不保价。保价费五块，不交就省五块；丢一件，赔两千。五块和两千之间，差的不是价格，是你愿不愿意为"万一"付钱。
先把单价摊开算。一次客服问答，进去 1,200 个 token（模型眼里的字，一个汉字大约算一个），出来 400 个。
按原来的价目（假设）：输入 18 块一百万字，输出 72 块一百万字。1,200 除一百万乘 18，零点零二一六；400 除一百万乘 72，零点零二八八。一次五分钱出头。
一周两万次，乘零点零五零四，1,008 块。
换成便宜那款（假设）：输入 2 块、输出 8 块一百万字。一次零点零零五六，两万次 112 块。差的 896 块，就是这么来的。
问题出在"顺一下"。客户写的是 Unit 5B, 22 King St，便宜模型回填成了 Unit 58。一个字母的位置，货到了隔壁那栋楼。
一单寄错国家，来回运费加平台罚款 480 块。七天错了五单，480 乘 5，2,400。
896 减 2,400，倒亏 1,504 块。
快也是同一个道理。国内节点首字零点六秒，跨境那条线一点八秒（假设）。客服场景里，客户等一秒半就走了。
怎么解决
三条路，从最便宜的开始。
- 先按"错了会怎样"分档，别一次全换。 做什么：把两万次调用摊在纸上分三层。七成八是打标签、写摘要这类错了能重来的，走便宜的；一成七错了有人看一眼，走中间档；剩下一成是地址、金额、时效，走贵的。改完差多少：一万五千六百次乘零点零零五六、三千四百次乘零点零一一二、一千次乘零点零五零四，加起来 176 块，比全便宜多 64 块。花半天。
- 给要赔钱那一档加一道核对。 做什么：地址、金额、时间三样，模型写完再用规则比一遍，对不上就退回人工。改完差多少：那五单里四单能被拦住（假设），2,400 变 480。花的是两天。
- 贵的那档配两家，留一条备用线。 做什么：同一份请求接两个来源，一家超时自动换另一家。改完差多少：半夜那条跨境线抖一次，最多慢三秒，不会整条停掉。钱按贵的算，一个月多花不到一百。
别踩的三个坑：坑一，只比单价不比字数，有的模型中文一个字算一点五个 token。坑二，拿榜单平均分选模型，榜单不考"地址里一个字都不能错"。坑三，便宜的档不设上限，跑飞了没人知道。
平台怎么管这些问题
这些事落到平台上，是六个功能串成一条线。
- 一个地址接所有模型：
base_url（接口地址，代码里填的那一行）换个名字就换模型，业务代码不动。 - 按业务线分线路：打标签走一条，报地址走另一条，各配各的模型，互不影响。
- 单价对照：一次调用的成本按模型拆开摆出来，谁贵谁便宜当场看见。
- 失败自动切换：一条线路超时，请求落到备用那家，前台感觉不到。
- 额度分开：关键那条线单独留额度，不被批量的活挤掉。
- 按模型留日志：每次调用记下走了哪家、哪个型号、吃了多少
token。
这些功能平时谁管，比功能本身更要紧。
- 谁能改规则：技术负责人。哪条线走哪个模型，改一次留一条记录。
- 谁能批预算：业务负责人。关键那条线超预算，要他签字。
- 出事能不能倒查到人：能。日志带线路名、模型名、时间，能定位到具体哪一次。
- 告警发给谁：线路负责人加值班。关键线断了先打值班电话，十分钟没接升级。
这笔钱值不值
掏钱的是这个团队自己。一周从 1,008 掉到 176，省 832 块，一个月 3,328。
改动的活是两天半，按一小时八十块算（假设），1,600 块。半个月就回来了。
赔的那头更明显：一周少赔 1,920。这比省下的钱还多。
行业规则怎么管这件事
这条线没有专门的价格文件，管的是"谁能在这儿提供模型服务"。
《生成式人工智能服务管理暂行办法》，国家网信办等七部门 2023 年 7 月 13 日公布，2023 年 8 月 15 日施行。第十七条要求，有舆论属性或社会动员能力的服务，要做安全评估、履行算法备案。
第二十条留了一句：境外来源向境内提供不符合规定的服务，网信部门可通知有关机构采取技术措施处置。
这句对使用方不是禁令，是提醒。十月那五单赔的是钱；整条线要是断了，赔的是客户。
十月二十七号下午，那位老板把两万次调用重新分了三档。省下的还是 896 块，赔出去的从 2,400 变成 480。
他说这 64 块花得值：便宜是跟别人比的，错一次是跟自己算的。
Token工厂：贰号token工厂
主流大模型 API token 统一接入、统一计费，改个地址就能用。
点这里看详情 →