Token 用量与成本Token Usage & Cost
AI 概念Token 用量与成本是模型在每轮任务中处理输入和生成输出所累计的资源消耗例如,系统规则、聊天记录、文件、工具结果和模型回答都会计入 Token,多轮任务需加总每轮输入与输出。只缩短最后回答不一定能显著减少用量。
也常被叫作Token 费用模型调用成本
开始前
知道 Token 是模型处理文字的小片段。
看完后
能判断多轮任务的成本要看每轮输入和输出的总和。
三轮任务的 Token 为什么不是只算最后一句回答
第 1 轮 · 读需求输入 1,200输出 180
三轮累计到现在1,380 Token输入 1,200 + 输出 180
每轮都会重新带上必要规则、历史和新结果;费用不是只看最后一句回答。
刚才发生了什么
- 1每轮都有输入
系统规则、聊天历史、新文件和工具结果会一次次随任务送入模型。
- 2每轮也有输出
模型的回答、下一步建议或工具请求同样会产生输出 Token。
- 3总量逐轮相加
查看成本时要加总所有轮次,不只看最终展示给用户的那段话。
只缩短最后的回答未必省很多;重复带入的历史和文件往往也是大头。
接下来学什么