大模型竞争进入下一阶段：比参数更重要的是每次有效任务成本
模型发布仍然会展示一长串榜单，但对生产团队来说，真正决定预算和体验的指标已经变了：不是一次回答用了多少 token，而是一个任务从进入系统到通过验收，究竟消耗多少时间、调用、重试和人工复核。
同一个模型可能 token 单价更高，却因为少走弯路、少调用三次工具、少失败一次而更便宜。反过来，一个便宜快模型如果经常返工，最终成本可能远高于旗舰模型。
先把成本单位改对
生产 Agent 的单位经济性可以写成：
每次有效任务成本
=（模型推理 + 工具调用 + 检索存储 + 沙箱计算
+ 重试回退 + 人工复核 + 失败损失）
÷ 通过业务验收的任务数
这里的分母不是请求数。超时、被丢弃、输出正确但执行越权、需要人工重做的请求，都不能算有效任务。
这一区别会直接改变模型选型。假设模型 A 每次尝试 0.8 元，通过率 60%；模型 B 每次尝试 1.2 元，通过率 90%。忽略重试时，A 看起来便宜；只按成功率折算，A 的每次成功至少 1.33 元，B 为 1.33 元。再把人工复核与失败损失放进去，B 往往更有优势。
效率发生在三个层面
模型层：更直接地完成任务
模型不仅要“会做”，还要学会减少无效思考、重复读取和无意义解释。对 Agent 而言，效率表现为：
- 能尽早识别缺失条件，而不是执行到末尾才报错；
- 一次选择正确工具，而不是在相似工具间试探；
- 压缩中间状态，只保留继续执行需要的信息；
- 发现结果可验证时主动运行检查；
- 达到完成条件后停止，不继续美化无关部分。
这类能力很难用单轮问答看出来，却会在长任务里累积成巨大的时延和成本差异。
推理基础设施层：让硬件少空转
模型本身高效，不代表服务就高效。请求路由、批处理、KV cache、推测解码、GPU 内核和数据搬运都会影响实际成本。
一个典型请求要先按地区、可用容量、加速器和缓存命中情况路由，再在实例内部切分计算。如果调度只看当前队列长度，不看上下文长度和缓存位置，就可能把请求送到“看似空闲、实际需要重新预填”的实例。
生产优化应同时观测：
- prefill 与 decode 各自的耗时；
- 每个请求的缓存读写与命中；
- 批次中最长序列造成的尾部浪费；
- GPU 算力利用率与显存带宽利用率；
- 跨卡同步、数据拷贝和等待时间；
- 首 token、稳定输出和端到端三种时延。
单看 tokens/s，容易掩盖长上下文预填、工具等待和重试造成的真实瓶颈。
Agent 运行时层：控制上下文与工具回路
许多成本不是模型产生的，而是 harness 设计出来的。最常见的浪费包括：
- 每一步都回灌完整历史；
- 工具返回整份文件而不是相关片段；
- 没有幂等键，超时后重复执行外部动作；
- 计划、执行、验证三个阶段共享一个无限增长的上下文；
- 失败后整条任务重跑，而不是从最近检查点恢复；
- 没有明确完成条件，模型持续“再优化一点”。
成熟运行时应把上下文分为稳定前缀、任务工作集、外部证据和可丢弃过程信息；为工具调用设置预算；在高成本步骤前保存检查点；把验证结果变成结构化信号，而不是再塞一段自然语言。
不要只做单模型替换，要做分层路由
一套常见的生产组合是：
| 层级 | 任务 | 模型策略 |
|---|---|---|
| L0 | 分类、抽取、格式校验 | 快模型或确定性代码 |
| L1 | 常规工具调用与短流程 | 高性价比执行模型 |
| L2 | 跨系统、多步骤、模糊任务 | 强推理模型 |
| L3 | 高风险、不可逆动作 | 强模型 + 独立验证 + 人工批准 |
路由不应只根据用户问题长度，而要根据任务风险、预计工具数、历史失败率、可验证性和时限。快模型可以先做意图识别和计划草案；若置信度不足、工具连续失败或验证器拒绝，再升级。
关键是记录升级原因。否则团队只看到旗舰模型使用量上涨，却不知道是输入质量差、工具不稳定，还是路由阈值设置错误。
评测必须重放完整轨迹
模型榜单只能告诉你能力上限，生产评测要回答任务经济性。建议为每个工作流记录：
任务通过率
一次通过率
平均 / P95 工具调用数
平均 / P95 端到端时长
重试率与升级率
人工修改分钟数
不可接受错误数
每次通过任务总成本
评测样本至少包含正常任务、边界任务、历史失败和恶意输入。每次更换模型、提示、工具描述或上下文策略，都重放同一批轨迹，才能知道“省 token”是否真的省钱。
一套可执行的迁移顺序
- 先从日志还原当前每次有效任务成本，不急着换模型。
- 找出浪费来自推理、工具、上下文、重试还是人工复核。
- 对高频低风险任务引入快模型，对高难任务保留强模型。
- 加入结构化验证器、预算和升级条件。
- 用影子流量跑满一个业务周期，比较成本与失败分布。
- 只在护栏指标不下降时扩大流量。
模型竞争正在从“谁一次答得最好”转向“谁能在完整系统里稳定完成更多有效任务”。对企业而言，最值得跟踪的不是新的参数规模，而是每一元预算最终换回多少可验收结果。