_agent_score_traces。
开始之前
- 质量页签要
agent.manage，默认授予所有者与管理员。持有它的人本来就能读所有团队对话；个人对话只计入合计，谁都看不到它们的内容。 - 评审用组织的一个模型服务，参见 Mole Agent。没有评审时，每个回答仍按规则打分。
给什么打分
回答写下时打分；提问人评价或撤回评价之后再打一次。
规则
规则看回答和它那一轮留下的东西，给下面每一项打 0 到 100 分。一个回答的规则分是适用各项的平均。评审
评审按评分标准给回答打 1 到 5 分，并用一两句话说明理由；分数显示为 0、25、50、75 或 100。它读的是问题、工具查到的结果与回答；RCA 读的是事件的事实与 RCA。- 评审评新回答里你设定的百分比，按回答抽取：同一个回答抽几次结果都一样。
- 被评为没帮助的回答一定会评，评审已经评过的除外。
- 评审给的分低于待审阈值时会再评一次，取两次的平均。
- 评审从不评个人对话。
- 评审写理由用最后保存它的人的界面语言。
- 评审的模型调用计入组织的每日 token 预算，在用量的来源分布中显示为质量打分。预算用完时，评审不评新回答。
evaluation）为指令，组织可以在设置 → Prompt 管理中覆盖它。不论 Prompt 怎么写，评审都按固定格式返回分数。
一个回答的分数：有评审评过时取评审的平均，否则取规则分。
质量页签
打开 Mole Agent → 质量。概览与回答看最近 7、30 或 90 天，可以只看一个来源。审核回答
回答在以下情况进入待审：
一个回答只进一次待审。点开它，在备注里写清错在哪里、好的回答应该答对什么，然后选择：
- 采纳：回答有问题。它加入回归集；Prompt 检查重新回答这个问题时，备注会交给评审参考。
- 驳回：回答没有问题。
评审与设置
在评审中选择新建评审打开表单：
一个组织最多有 10 个评审。删除评审后，它给过的分数会保留。
评审下面的设置：
Prompt 设为默认之前先检查
在对话用的（系统指令）或事件 RCA 用的（根因定位）组织 Prompt 上选择设为默认时，按组织的设置处理：
一次检查最多取 8 个回答：先取回归集，再取评这类回答的第一个评审最近评过的。每个回答用现在的默认与新版本各重新回答一次，用同一个模型，不再调用工具：模型拿到的是原来的问题和那一轮工具查到的结果；RCA 则由两个版本各按事件的事实写一份。之后评审给每一对回答打分。新版本的平均分比现在的默认低 5 分以上为变差了，高 5 分以上为更好，否则为没有变差。能比较的回答少于 3 个时说不准，不影响设为默认。
对话框里先显示进度，再显示每个回答的结果。一次检查只针对 Prompt 的一个版本和一个默认：Prompt 改过或默认换了之后要重新检查。检查的模型调用计入质量打分。
其他用途的 Prompt 设为默认时不检查。直接修改已经是默认的 Prompt 也不检查；要检查一处改动，请把它存成新的 Prompt，再设为默认。
流里的分数
每个分数也是内部流_agent_score_traces 中的一行，可以在日志中查询：
想在质量下降时收到告警，可以在这个流上建一条异常检测告警规则，例如看评审的平均分：