定好哪些内容会发给模型
Mole Agent 会把对话发送给模型服务商,其中包括它所调用工具的返回结果。在第一次对话之前,和负责数据保护的同事一起定好这些控制项。
同时为每个模型服务填写单价,这样用量里就能看到成本。
先给建议,再做改动
在大家熟悉 Mole Agent 会提出什么之前,让对话保持在推荐的 建议模式:它查询数据并给出改动建议,但不执行改动。等它的建议经得起检验后,再改用 执行模式(需审批):改动会按工具的执行方式,先确认或提交审批。参见执行模式。- 共享的 Agent Profile 在 审批策略 中保持 允许 Bypass permissions 关闭。
- 保留按风险等级的默认策略:从 L0 自动执行到 L4 禁用。在 工具与能力 中用 配置工具策略 让 Production 比其他环境更严格,例如 L1 改动也需要单人审批。
- 审批需要
agent.approve,Owner 和 Admin 持有它。通过自定义角色把它授予那些本来就会亲自做这类改动的人。 - MCP 服务器的新工具在有人启用之前保持停用。先用 启用全部只读工具 打开只读工具。技能和 MCP 工具不会放宽策略。
让它了解环境
Mole Agent 对服务了解多少,回答就有多好。- 在
MOLE.md中写下组织的知识,或运行/init让它来写:有哪些服务、各由谁负责,有哪些环境,重要的数据流和仪表盘,以及操作手册在哪里。用@路径指向更长的文件,例如runbooks/checkout.md。参见知识与记忆。 - 让每个团队维护自己的知识,团队对话会读取它;在团队对话中处理事件,值班的人就能查看并接着同一个调查继续。
- 打开 对话结束后提炼记忆,保留对话中学到的东西,并不时翻看 记忆,删除错误的内容。
- 把反复出现的做法写成技能,放在开启了 每天自动同步 的技能仓库里,这样做法的改动会像代码一样经过评审。
把例行工作交给它
自动化让 Mole Agent 在没人参与对话时工作。从模板开始:
自动化以最后一次保存它的人的身份、按这个人的权限运行。这个人离开后,运行会一直失败,直到有人重新保存,因此要为每条共享的自动化记录负责人。
运行期间没有人能回答:需要确认的工具不会执行,运行会被标为 需要有人处理。自动化适合读取和汇报,改动留在对话中进行。
关注成本
- 在 Mole Agent → 设置 → 用量 中设置每日预算:沿用实例默认值
[agent].daily_token_budget,或设为 自定义 上限。按最近 30 天各来源的用量来定,并为事件集中爆发留出余量:预算用完后,自动根因分析会等到第二天,日志巡检会失败,LLM 函数的这一步也会失败。 - 保留默认的 不再调用模型。只有对话必须在超出预算后继续回答时,才选择 照常回答,只提示。
- 需要明细时,在 日志 中查询内部数据流
_agent_model_traces:按origin、model和user_id查看每次调用的 token、延迟和成本。参见用量与预算。
衡量并提升质量
- 请大家为回答打分。带原因的 没帮助 会指出要改进的地方。
- 添加一个评审,对团队对话和 RCA 抽样打分,并每周在 质量 页签中审核低分回答。
- 把
/insight作为每周的自动化运行。它最多列出五项值得做的改动,例如需要补写的知识文件。 - 把 Prompt 检查设为 检查,变差时不允许,避免新的组织 Prompt 让回答变差。参见 Prompt 设为默认之前先检查。
验收标准
- 模型服务符合数据政策,并填写了单价。
- 默认 Profile 只读取它需要的环境、服务和数据流,并且不联网。
- 没有共享的 Profile 允许 Bypass permissions,Production 的工具策略是有意设置的。
MOLE.md写明了各个服务、负责人和操作手册,每个值班团队都有自己的知识。- 有一条 事件自动分析 自动化为错误和严重级别的事件写 RCA。
- 每日预算为自动分析留有余量,并且每周有人审核 质量 页签。