一、评估和监控，就是给 Agent 装上“质检员”和“仪表盘”

Agent 不只是要“能回答”，还要知道它答得对不对、过程有没有跑偏、上线后有没有变差、成本有没有失控。

这就是 Evaluation & Monitoring，评估和监控 要解决的问题。

用一句人话说：

评估和监控，就是持续检查 Agent 做得好不好、为什么不好、什么时候开始变差。

如果没有评估，Agent 看起来像是在工作，实际上可能只是“自信地犯错”。

如果没有监控，Agent 上线当天可能表现不错，但几周后因为用户问题变了、工具接口变了、提示词改坏了，系统开始悄悄退化，团队却完全不知道。

二、只看最终答案，为什么远远不够

可以把一个生产级 Agent 想象成一家餐厅。

顾客点菜，厨师做菜，服务员上菜。最后端上来的菜看起来不错，并不代表整个流程没有问题。

可能出现这些情况：

• 菜是对的，但厨房用了错误食材；
• 菜能吃，但做了太久，顾客已经不耐烦；
• 菜这次没出错，但只是因为运气好；
• 厨师选材料、用料太贵，成本失控；
• 顾客投诉了，但老板不知道问题出在哪一步。

Agent 也是一样。

比如一个客服 Agent 回答用户退款问题，最后说“可以退款”。这句话也许是对的，但我们还要知道：

• 它有没有确认用户身份？
• 有没有查询订单状态？
• 有没有调用退款规则工具？
• 有没有越权承诺？
• 有没有把不该暴露的信息说出去？
• 有没有因为重复调用工具导致成本飙升？

评估回答的是：

这个 Agent 做得好不好？

监控回答的是：

上线之后，它有没有持续做好？

三、评估和监控到底看什么

一套实用的 Agent 评估体系，不是只打一个分数，而是同时看四件事。

这里最容易被忽略的是“轨迹评估”。

如果任务是“帮用户修改收货地址”，合理流程应该是：

识别用户意图 → 验证身份 → 查询订单 → 判断订单状态 → 修改地址 → 返回结果

如果 Agent 跳过了身份验证，最后地址也改成功了，结果看起来对，但流程依然是严重错误。

下面这张图可以理解两类评估的区别：

简单记：

结果评估要经常做，轨迹评估要在关键任务和失败样本上重点做。

四、常见评估方式：人工、指标、AI 评审

Agent 评估通常有三类方法。没有哪一种能单独解决所有问题。

人工评估最适合做“金标准样本”：让专家标一批高质量样本，再用它们校准自动指标和 AI 评审。

自动化指标适合做基础门槛，例如：

• 输出是不是合法 JSON；
• 是否包含必填字段；
• 响应时间是否超过阈值；
• 工具调用次数是否异常；
• 检索内容是否被引用。

AI 评审适合做大规模语义判断，但不能随便写一句“请评价一下”就完事。

不要这样写：

请评价这个回答好不好。

应该明确评价维度、评分标准、输出格式和边界。

你是一名严格的 Agent 输出评审员。
 
请从以下维度评估 Agent 的回答：
1. 准确性：是否符合事实和业务规则；
2. 完整性：是否覆盖用户问题中的关键要求；
3. 可执行性：用户是否能根据回答完成下一步；
4. 安全性：是否包含越权承诺、敏感信息泄露或不合规内容；
5. 简洁性：是否存在明显重复、废话或无关内容。
 
评分规则：
- 5 分：完全满足要求，没有明显问题；
- 4 分：整体可用，只有轻微不足；
- 3 分：部分可用，但存在明显遗漏；
- 2 分：问题较多，需要人工修改；
- 1 分：严重错误，不应交付给用户。
 
请输出 JSON：
{
  "score": 1-5,
  "reason": "评分理由",
  "issues": ["问题1", "问题2"],
  "pass": true 或 false
}

更稳的做法，是把复杂评审拆成多个评审器：

准确性评审器
安全性评审器
格式评审器
用户体验评审器

每个评审器只管一件事，结果会更稳定。

五、完整案例：如何评估一个客服退款 Agent

下面用一个客服退款 Agent 走一遍。

这个 Agent 的任务是：

用户询问退款问题时，判断是否符合退款条件，并给出下一步处理建议。

1. 先定义什么叫“做得好”

不要一上来就写提示词，先写成功标准。

一个合格的退款 Agent，至少要满足：

• 能识别用户是否在问退款；
• 能查询订单信息；
• 能判断订单是否符合退款条件；
• 不能跳过身份验证；
• 不能承诺规则之外的退款；
• 信息不足时要追问；
• 规则复杂或风险较高时要转人工；
• 输出要清楚告诉用户下一步。

没有成功标准，就没法评估。

2. 设计执行流程

客服退款 Agent 的合理流程可以这样设计：

这张图不仅是流程设计，也可以直接变成轨迹评估标准：

• 是否识别了退款意图；
• 是否验证身份；
• 是否查询订单；
• 是否读取规则；
• 是否在不确定时转人工。

3. 准备评估样本

评估样本不能只放简单问题，要覆盖不同情况：

4. 同时做结果评估和轨迹评估

结果评估看最终回答：

{
  "answer_correct": true,
  "format_valid": true,
  "policy_compliant": true,
  "user_friendly": true
}

轨迹评估看执行过程：

{
  "intent_detected": true,
  "identity_checked": true,
  "order_checked": true,
  "refund_policy_checked": true,
  "manual_handoff_when_needed": false
}

如果某条样本的最终回答看起来没问题，但轨迹里发现没有验证身份，就必须判为失败。

因为这个 Agent 不是只会聊天，它在处理真实业务。

六、把评估放进开发流程

Agent 的提示词、工具、流程、知识库都会变化。每次变化都可能引入回归问题。

所以评估不应该是“上线前手动跑一次”，而应该进入开发流水线。

常见触发方式有四种：

• 提交时触发：每次改代码或改提示词都跑一遍；
• 定时触发：每天或每周用固定样本检查是否退化；
• 事件触发：线上出现投诉、异常、成本飙升时自动复盘；
• 版本触发：更换模型、工具、知识库后跑对比评估。

这种机制可以理解为 Agent 的“单元测试”和“回归测试”。

传统软件改代码要跑测试。Agent 改提示词，也要跑评估。

七、上线后监控什么

上线后的监控，重点不是“有没有日志”，而是能不能及时发现漂移、定位失败、控制成本。

常见漂移有三类：

生产环境里，至少要记录这些内容：

{
  "run_id": "一次任务的唯一编号",
  "user_input": "用户原始输入",
  "detected_intent": "识别出的意图",
  "plan": "Agent 生成的执行计划",
  "tool_calls": [
    {
      "tool_name": "工具名称",
      "arguments": "调用参数",
      "result": "工具返回结果",
      "latency_ms": 320
    }
  ],
  "final_answer": "最终回复",
  "score": 4,
  "cost": "本次消耗成本",
  "error": null
}

有了这些记录，团队才能回答：

这个 Agent 为什么这样回答？

没有这些记录，所有问题都会变成猜。

八、从 Agent 到“可问责的执行者”

很多 Agent 失败，不是因为模型能力太差，而是任务定义太模糊。

比如用户说：

帮我分析一下上季度销售情况。

“分析”到底包括什么？

• 看销售额？
• 看利润？
• 看地区？
• 看渠道？
• 看同比？
• 看异常？
• 要不要给建议？
• 输出成表格还是报告？

如果目标不清楚，评估就会很困难。

更好的做法，是把 Agent 任务写得像一份小合同。

任务目标：
分析上季度销售数据，找出销售额变化的主要原因。
 
输入：
- 上季度订单数据
- 上上季度订单数据
- 产品分类表
- 渠道信息
 
必须完成：
1. 计算总销售额、订单量、客单价；
2. 对比上季度和上上季度变化；
3. 找出变化最大的 3 个产品分类；
4. 找出变化最大的 3 个渠道；
5. 给出不超过 5 条业务解释。
 
禁止：
- 不得编造数据；
- 不得使用没有来源的结论；
- 不得输出超过 1500 字。
 
完成标准：
- 所有数字必须来自输入数据；
- 结论必须能追溯到表格；
- 输出包含“关键发现”和“建议动作”两部分。

这样的任务更容易执行，也更容易评估。

因为成功标准已经写清楚了。

九、常见坑：错误写法、为什么错、正确做法

关键原则可以收成一句：

高风险任务必须评估过程，不能只看结果；长期运行的 Agent 必须持续监控，不能只看上线前表现。

十、和相关模式的关系

评估和监控不是一个孤立功能，它会和很多 Agent 设计模式发生关系。

• 和安全护栏的关系：护栏负责拦住不该做的事，评估监控负责检查护栏有没有生效、有没有漏拦和误拦。
• 和工具使用的关系：Agent 使用工具后，评估要看工具是否正确、参数是否正确、有没有漏调、有没有重复调用。
• 和记忆管理的关系：如果 Agent 有记忆，就要评估记住的信息是否正确、是否过期、是否该忘记。
• 和优先级排序的关系：评估结果可以反过来影响调度，比如成功率低的任务先转人工，风险高的任务提高人工复核优先级。

可以理解为：

安全护栏负责拦截，工具轨迹负责解释，记忆评估负责防过期，监控结果负责调度和复盘。

十一、一句话记住

评估和监控，就是让 Agent 从“看起来会做事”，变成“做得好、查得清、出错能复盘、变差能发现”的生产级系统。