模型单价之外,企业 AI 调用的隐性成本
重试、冗余上下文和模型错配,往往比单价差异更影响最终账单。这篇文章列出四个常见来源,以及各自的治理方法。
比较模型价格时,大家习惯看每百万 Token 的单价。但我们复盘过不少企业账单,发现真正拉高成本的,常常不是单价,而是调用方式。
失败重试
超时就重试,看似稳妥。可如果超时发生在模型已经生成了大半内容之后,这部分 Token 照样计费,重试等于付了两次钱。更糟的是,多个服务各自重试,高峰期会把一次故障放大成一次账单事故。
治理方法:设置合理的超时与重试上限,优先使用流式输出判断是否真的卡住;把重试收拢到网关一层,不要每个业务各写一套。
冗余上下文
对话类应用常把完整历史塞进每次请求。第 20 轮对话时,前 19 轮的内容都要再付一次输入费用。系统提示词写得过长,也是同样的问题。
- 对较早的历史做摘要,只保留最近几轮原文;
- 检索增强场景里,控制召回片段的数量和长度;
- 定期审查系统提示词,删掉已经不起作用的规则。
模型错配
用最强的模型处理所有任务,是最常见的浪费。分类、抽取、改写这类任务,小模型往往就够用,单价可能只有大模型的几分之一。
一个实用的做法是按任务类型分级:先用小模型处理,只在置信度不够或任务复杂时升级到大模型。统一接口下,切换只是改一个 model 参数。
输出过长
输出 Token 通常比输入更贵。没有设置 max_tokens,或者提示词没有约束输出格式,模型可能会给出远超需要的长篇回答。
从哪里开始治理
先让成本可见。把调用按项目、按密钥拆开统计,找出消耗最大的前三个场景,再逐个对照上面四条排查。多数团队只做这一步,就能看到明显的下降。
星引控制台可以按密钥查看调用与消耗明细。如果需要更细的成本分析,欢迎联系我们。