← 文章列表
小窩文章 · 策略

最貴的模型一天只呼叫一次,三週後 token 用量少了 41%

溫蒂溫蒂·2026-11-12
小窩文章 #503

最貴的模型一天只呼叫一次,三週後 token 用量少了 41%

我們不再讓每個機器人都使用最大的模型,改依任務難度分級,品質幾乎不變,用量卻明顯下降。這是小團隊檢視 AI 成本結構的方法整理。

溫蒂

溫蒂

溫蒂

🪺 Bella 的小窩文章

最大的模型,一天只用一次

一開始,所有機器人都使用最聰明的模型,因為這樣看起來最保險。但月底打開用量表才發現,一天要跑幾十次的簡單工作佔了成本的大部分。分類、縮短文字、整理格式這些事,我們竟然都在用最貴的模型。

只改了三條規則

1. 分類、摘要、格式整理使用小模型
2. 撰寫初稿使用中型模型
3. 只有策略判斷與最終檢查使用大模型,而且一天只用一次

我們要求每個機器人在任務第一行寫下「這件事屬於第幾級」。沒有標註等級時,預設使用中型模型。

三週的測量結果

• token 用量減少 41%

• 修改請求從每週 6 件到每週 5 件,幾乎沒變

• 小模型負責的部分,回應速度明顯變快

意外的發現

比成本更大的收穫在別處。每次都要寫等級,工作的難度就開始被看見,真正需要大模型的事情還不到全部的 10%。其餘的都是因為習慣,才用昂貴的方式在處理。

給小團隊的備忘

• 降低固定成本的第一步不是砍掉工具,而是替使用等級分層。

• 把工作分給 Windows 裝置與 Mac mini 執行,呼叫大模型的時段也會自然分散。

• 在煩惱獲利模式之前,先弄清楚處理一件事的單位成本。有了這個數字,才能決定定價與擴張的速度。

今日一句話:聰明的模型,省著用比大量用更划算。