Token工厂技术拆解(11月9日)|多付218块的那个月:提示词开头写了日期,缓存一次没命中

封面

11 月月初那份账单出来,周岩把输入那一栏看了两遍。871 块变成 1,089 块,多了 218。

他这个月只动了一个地方:把后台那个缓存开关打开了,别的参数一个没碰。团队 20 个人,每天问 330 次左右,问的都是同一份 6 万字的产品手册。

手册占的地方不小,一次调用的输入就是 40,000 个 token(模型算钱的最小单位,一个汉字大概占 0.6 到 0.7 个)。

开关开完,账单上"命中"那一栏整月是 0,一次都没落到便宜的那档。省下的钱一分没见着,单价反倒往上走了一格:整月的输入全按 1.25 倍收。他先想到的是自己开关点错了。

为什么会这样

因为缓存认的是开头:开头差一个字,前面那 40,000 个 token 就一次也认不出来。

缓存不是存进去就能用。平台认的规矩是,请求最前面那一段,从开头那个字符起必须完全相同,才算一次命中。

周岩的模板最上面那行写着"当前时间:2026年11月9日 09:14",往下两行是工单号。330 次调用,这两行次次不一样。开头一变,后面 40,000 个 token 全跟着作废。

作废的代价落在单价上。普通输入按 3 元/百万 token 算(这是假设的价,只为好算),一次 40,000 个是 0.12 元。写缓存贵 1.25 倍,3.75 元/百万,一次 0.15 元。

一次多 0.03 元,330 次是 9.9 元,22 个工作日正好 217.8 元。账上那 218 块就是这么垒起来的。

同一份规则里,读缓存只要 0.1 倍,一次 0.012 元。所以真命中一次就把这 25% 赚回来,一次都没命中,这 25% 就是白付。

因果链图

怎么解决

三条路,从最便宜的排到最贵的。

先把会变的那句话挪走。 时间、工单号、提问人姓名,全从模板开头挪到用户问题里去,模板只留手册和规则。这是一行代码的活,不花钱。

按这帮人一天 330 次、命中一半估:165 次写 0.15 元,165 次读 0.012 元,一天 26.73 元,22 天 588 元。比原来省 501 元。

再把同前缀的活攒起来跑。 上午的、下午的分两批,两次调用之间从几分钟缩到几秒,命中能到八成。66 次写 0.15 元,264 次读 0.012 元,一天 13 元,月费 287 元。

代价是问答不能即时回,只适合能等的活,比如每晚跑一遍日报。

最后才是缩前缀。 6 万字里只留真正被问到的 2 万字,约 13,000 个 token,其余做成按需检索。每次 0.039 元,一天 330 次是 12.87 元,月 283 元。

注意,283 元和第二条的 287 元差不多,可它花的人力是第二条的好几倍。这条最贵,要搭检索、要试两周,人比钱贵。

别踩的三个坑:

坑一,以为开关一开就有缓存。多数平台要你在内容里标出"从哪断开",不标就整段硬碰,碰不上就是零。

坑二,忘了 5 分钟就过期。隔半小时再问,等于重新写一次,还是 1.25 倍。

坑三,把用户的问题也塞进缓存段。问题一换,前缀就变,等于没开。

平台怎么管这些问题

这条链子接到平台上,是六件事,串成一条线。

模板:手册、规则、示例这些不变的内容做成一个模板,带版本号。谁动了缓存那一段,版本号跟着变,翻记录就知道是谁。

断点:在模板里直接标出"到这里可以缓存",让系统知道认到哪一行,不用整段硬碰。

日志:每次调用记下命中、写入、未命中三种状态,按模板汇总。哪个模板的命中率掉到零,当天就能看见。

单价表:输入、输出、写缓存、读缓存四栏分开配。账单一出来,四栏的数对得上正文那套算法。

预算:日花费到八成推一条提醒给值班的人,不用等月底对账才发现。

分摊:按项目或部门拆账,谁问得多谁认这笔钱。

这些事平时落在四个人身上。

改规则的是技术负责人。模板和单价表要动,得他和复核的人各签一次名,一个人改不动。

批减免的是业务负责人。差额超过 500 元要他签字,财务只认这条签字记录。

能倒查的是运维。日志留 90 天,从 key 追到账号,再从账号追到人,出了问题当天能定位到某一次调用。

收告警的是值班表上那个名字。早班 9 点到 18 点,晚班 18 点到次日 9 点,命中率归零只发给他,不发全员。

这笔钱值不值

掏钱的是技术团队的月度预算,不是哪一个人。

最省的那条改一行,半小时人力,按 100 元一个人时算是 50 元。月省 501 元,一年 6,012 元,头一周就把这半小时赚回来了。

第二条要投两天,1,600 元,每月再省 301 元,五个多月才回本。量小的时候做到最省那条就够,不用急着上。

第三条投入最大,省下的和第二条差不多,人少的时候不划算。

行业规则怎么管这件事

Anthropic 的《定价》文档(platform.claude.com/docs/zh-CN/about-claude/pricing,Anthropic 发布,2026 年 11 月核对)把缓存写成三档:5 分钟写入按基础输入价的 1.25 倍,1 小时写入按 2 倍,命中按 0.1 倍。

文档里还写着一句:一次读取即可回本。倒过来读就是,一次没命中,那 25% 白付。

周岩模板最上面那行日期,正好卡在这条规则的开头:开头不一样,后面全不算。

周岩把那行日期从模板最上面挪到问题最后,顺手把半年的日志翻了一遍,12 月的账单回到 588 块。缓存这东西不看开关,只看开头那一个字对不对。

Token工厂:贰号token工厂

主流大模型 API token 统一接入、统一计费,改个地址就能用。

点这里看详情 →

https://huitongdao.doc.huizhidata.com/docs/

文档与在线试用 →

https://huitongdao.doc.huizhidata.com/docs/

Last Updated: 2026/11/09 07:05:03
AI编程技术拆解(11月9日)|同一句话问五个工具,四份一样,偏挑了不一样那份,三个用例白写 零碳园区技术拆解(11月9日)|2600万度电,尺子差0.14,碳账多算3666吨,报表退回重填
OωO 取消
  • |´・ω・)ノ
  • ヾ(≧∇≦*)ゝ
  • (☆ω☆)
  • (╯‵□′)
  •  ̄﹃ ̄
  • (/ω\)
  • →_→
  • (ノ°ο°)ノ
  • ⌇●﹏●⌇
  • (ฅ´ω`ฅ)
  • φ( ̄∇ ̄o)
  • ヾ(´・ ・`。)ノ"
  • (ó﹏ò。)
  • Σ(っ °Д °;)っ
  • ( ,,´・ω・)ノ
  • ╮(╯▽╰)╭
  • (。•ˇ‸ˇ•。)
  • >﹏<
  • ( ๑´•ω•)
  • "(´っω・`。)
  • "(ㆆᴗㆆ)