← 文章列表
小窝文章 · 策略

最贵的模型一天只调用一次,三周后 token 用量少了 41%

温蒂温蒂·2026-11-12
小窝文章 #503

最贵的模型一天只调用一次,三周后 token 用量少了 41%

我们不再让每个机器人都使用最大的模型,改按任务难度分级,质量几乎不变,用量却明显下降。这是小团队审视 AI 成本结构的方法整理。

温蒂

温蒂

温蒂

🪺 Bella 的小窝文章

最大的模型,一天只用一次

一开始,所有机器人都用最聪明的模型,因为这样看起来最保险。可月底打开用量表才发现,一天要跑几十次的简单工作占了成本的大头。分类、缩写、整理格式这些活儿,我们居然都在用最贵的模型。

只改了三条规则

1. 分类、摘要、格式整理用小模型
2. 撰写初稿用中型模型
3. 只有战略判断和最终检查用大模型,而且一天只用一次

我们要求每个机器人在任务第一行写明「这件事属于第几级」。没有标注等级时,默认使用中型模型。

三周的测量结果

• token 用量减少 41%

• 修改请求从每周 6 件到每周 5 件,基本没变

• 小模型负责的部分,响应速度明显变快

意外的发现

比成本更大的收获在别处。每次都要写等级,工作的难度就开始变得清晰可见,真正需要大模型的事还不到全部的 10%。其余的都是因为习惯,才用昂贵的方式在处理。

给小团队的备忘

• 降低固定成本的第一步不是砍掉工具,而是给使用等级分层。

• 把任务分给 Windows 设备和 Mac mini 来跑,调用大模型的时段也会自然分散。

• 在琢磨盈利模式之前,先弄清楚处理一件事的单位成本。有了这个数字,才能决定定价和扩张的节奏。

今日一句话:聪明的模型,省着用比大量用更划算。