> ## Documentation Index
> Fetch the complete documentation index at: https://docs.molesignal.com/llms.txt
> Use this file to discover all available pages before exploring further.

# 质量

> Mole Agent 回答得怎么样：规则给每个回答打分，评审用模型抽样打分，分数低的进入待审，新的默认 Prompt 先检查再生效。

Mole Agent 写下的每个回答都会打分。规则马上打分，不调模型：工具是否成功、是否引用证据、查询能否解析、回答是不是要求的形状，以及提问人的评价。你设置的评审用模型、照你写的评分标准给一部分回答打分。分数低的、被评为没帮助的与随机抽到的回答进入待审；审核人采纳的组成回归集。组织 Prompt 设为默认之前，检查会用新版本和现在的版本把其中一些问题各回答一次，由评审给两份回答打分。

分数按 0 到 100 显示。**质量**页签里能看到这些分数，每个分数也会写进流 `_agent_score_traces`。

## 开始之前

* **质量**页签要 `agent.manage`，默认授予所有者与管理员。持有它的人本来就能读所有团队对话；个人对话只计入合计，谁都看不到它们的内容。
* 评审用组织的一个模型服务，参见 [Mole Agent](https://docs.molesignal.com/zh-Hans/agent#配置模型服务)。没有评审时，每个回答仍按规则打分。

## 给什么打分

| 来源 | 是什么 |
| - | - |
| **团队对话** | 团队对话里的回答。 |
| **个人对话** | 个人对话里的回答。只按规则打分，只计入合计。 |
| **自动化** | 组织与团队自动化每次运行的回答，参见[自动化](https://docs.molesignal.com/zh-Hans/automations.md)。个人自动化的运行算作个人对话。 |
| **事件 RCA** | 根因分析自动或按需生成的 RCA，以及有人评价过的 RCA。 |

回答写下时打分；提问人评价或撤回评价之后再打一次。

## 规则

规则看回答和它那一轮留下的东西，给下面每一项打 0 到 100 分。一个回答的规则分是适用各项的平均。

| 规则项 | 分数 | 适用于 |
| - | - | - |
| **工具调用** | 没有出错的工具调用所占的比例。 | 调过工具的回答。 |
| **证据** | 没有引用证据为 0；引用了证据但没有成功的工具调用撑着为 50；引用一条为 75，两条及以上为 100。 | 是要求的形状且调过工具的回答。 |
| **查询** | 工具调用里能解析的 SQL 与 PromQL 所占的比例。 | 工具执行过查询的回答。 |
| **格式** | 回答是要求的形状时为 100。 | 除只生成查询以外的所有对话回答。 |
| **完成** | 做完的为 100；自动化运行途中要人处理的为 50；失败、被停下或没有回答的为 0。 | 所有回答。 |
| **评价** | **有帮助**为 100，**没帮助**为 0。RCA 只要有一个**没帮助**就算没帮助。 | 有人评价过的回答。 |

## 评审

评审按评分标准给回答打 1 到 5 分，并用一两句话说明理由；分数显示为 0、25、50、75 或 100。它读的是问题、工具查到的结果与回答；RCA 读的是事件的事实与 RCA。

* 评审评新回答里你设定的百分比，按回答抽取：同一个回答抽几次结果都一样。
* 被评为**没帮助**的回答一定会评，评审已经评过的除外。
* 评审给的分低于待审阈值时会再评一次，取两次的平均。
* 评审从不评个人对话。
* 评审写理由用最后保存它的人的界面语言。
* 评审的模型调用计入组织的每日 token 预算，在用量的来源分布中显示为**质量打分**。预算用完时，评审不评新回答。

所有评审都以内置 Prompt **回答评审**（用途 `evaluation`）为指令，组织可以在**设置 → Prompt 管理**中覆盖它。不论 Prompt 怎么写，评审都按固定格式返回分数。

一个回答的分数：有评审评过时取评审的平均，否则取规则分。

## 质量页签

打开 **Mole Agent → 质量**。**概览**与**回答**看最近 7、30 或 90 天，可以只看一个来源。

| 视图 | 内容 |
| - | - |
| **概览** | 打过分的回答数、规则与评审的平均分、评为有帮助与没帮助的回答数，以及待审数。下面是每天的分数、各规则项，以及按来源、Prompt 版本、Skill 与模型的分组。 |
| **回答** | 打过分的回答，新的在前；**只看低分**只留低于待审阈值的。点开一行能看到完整的问题与回答、每个规则项查到的事实、每个评审的分数与理由，以及这个回答的待审。**打开对话**或**打开事件**转到它所在的地方。 |
| **待审** | 等待审核、已采纳与已驳回的回答。 |
| **评审** | 评审与设置。 |

### 审核回答

回答在以下情况进入待审：

| 原因 | 何时 |
| - | - |
| **分数低** | 评审再评一次后分数仍低于待审阈值；没有评审评的回答，规则分低于阈值。 |
| **被评为没帮助** | 提问人评为**没帮助**。 |
| **随机抽到** | 按**随机复核**的比例抽到，用来看分数是否可信。 |

一个回答只进一次待审。点开它，在**备注**里写清错在哪里、好的回答应该答对什么，然后选择：

* **采纳**：回答有问题。它加入回归集；Prompt 检查重新回答这个问题时，备注会交给评审参考。
* **驳回**：回答没有问题。

### 评审与设置

在**评审**中选择**新建评审**打开表单：

| 字段 | 说明 |
| - | - |
| **名称** | 在组织内唯一。 |
| **评分标准** | 好的回答该做到什么、什么会扣分，最长 4000 个字符。表单里预先填好了一份可以改的。 |
| **回答** | 团队对话、自动化、事件 RCA。 |
| **抽样比例** | 新回答里评的百分比，0 到 100。 |
| **模型服务**与**模型** | 留空时用组织第一个可用的模型服务与它的默认模型。 |
| **温度** | 0 到 1；0 让分数更稳定。 |
| **启用** | 停用的评审不评任何回答。 |

一个组织最多有 10 个评审。删除评审后，它给过的分数会保留。

评审下面的设置：

| 设置 | 默认 | 说明 |
| - | - | - |
| **待审阈值** | 60 | 分数低于它的回答进入待审。 |
| **随机复核** | 0 | 其余回答里随机抽进待审的百分比。 |
| **Prompt 设为默认之前** | 检查，变差时再确认 | 见下文。 |

## Prompt 设为默认之前先检查

在对话用的（**系统指令**）或事件 RCA 用的（**根因定位**）组织 Prompt 上选择**设为默认**时，按组织的设置处理：

| 设置 | Prompt 没检查过，或检查发现变差时 |
| - | - |
| **检查，变差时再确认** | 对话框提供**开始检查**，也可以**仍然设为默认**。 |
| **检查，变差时不允许** | 只有检查过且没有变差的 Prompt 才能设为默认。 |
| **不检查** | 直接设为默认。 |

一次检查最多取 8 个回答：先取回归集，再取评这类回答的第一个评审最近评过的。每个回答用现在的默认与新版本各重新回答一次，用同一个模型，不再调用工具：模型拿到的是原来的问题和那一轮工具查到的结果；RCA 则由两个版本各按事件的事实写一份。之后评审给每一对回答打分。新版本的平均分比现在的默认低 5 分以上为**变差了**，高 5 分以上为**更好**，否则为**没有变差**。能比较的回答少于 3 个时说不准，不影响设为默认。

对话框里先显示进度，再显示每个回答的结果。一次检查只针对 Prompt 的一个版本和一个默认：Prompt 改过或默认换了之后要重新检查。检查的模型调用计入**质量打分**。

其他用途的 Prompt 设为默认时不检查。直接修改已经是默认的 Prompt 也不检查；要检查一处改动，请把它存成新的 Prompt，再设为默认。

## 流里的分数

每个分数也是内部流 `_agent_score_traces` 中的一行，可以在**日志**中查询：

| 字段 | 说明 |
| - | - |
| `target_kind`、`target_id` | `chat_answer` 与消息 ID，或 `incident_rca` 与事件 ID。 |
| `source` | `personal_chat`、`team_chat`、`automation` 或 `incident_rca`。 |
| `scorer`、`scorer_kind` | `rules`，或评审的 ID 与 `evaluator`。 |
| `score`、`samples` | 0 到 1 的分数，以及它是几次打分的平均。 |
| `tool_success`、`evidence`、`query_validity`、`answer_format`、`completion`、`feedback` | 适用的规则项，0 到 1。 |
| `reason`、`evaluator_model` | 评审的理由与模型。 |
| `chat_id`、`team_id`、`automation_id`、`user_id`、`prompt_template_id`、`prompt_version`、`prompt_key`、`provider_id`、`model`、`skill`、`skill_version` | 回答出自哪里、用了什么。 |

想在质量下降时收到告警，可以在这个流上建一条[异常检测告警规则](https://docs.molesignal.com/zh-Hans/alerting)，例如看评审的平均分：

```sql theme={null}
SELECT avg(score) AS value FROM "_agent_score_traces" WHERE scorer_kind = 'evaluator'
```


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.