决定谁响应什么
配置任何东西之前,先为每个服务写下:负责它的团队、谁第一个值班、谁接着值班,以及哪些严重度值得在夜里打电话。
把每个负责团队的人员归入团队:排班、升级目标和兜底路由都引用团队。
为每个人准备经过验证的联系方式
- 管理员在设置 → 通知 → 连接器中配置连接器:IM App、邮件,以及用于严重告警的电话和短信。逐个 发送测试。
- 每位成员在账号设置 → 通知设置中绑定个人通知方式,并逐个发送测试。
- 拥有
org.members.manage的管理员确认通知方式属于本人后,逐个点击 验证。未验证的通知方式永远不会投递。 - 每位成员为 告警事件 排列通知方式的顺序,并用等待时间逐级升级渠道:例如立即发 IM,3 分钟后发短信,5 分钟后打电话。一旦有人确认,后续步骤就会停止。
搭建没有空班的排班
为每个团队按团队所在时区创建一个值班排班:- 使用 每周 轮换,交接时间放在双方都清醒的工作时间;
- 需要跟随日照或只覆盖工作时间时,第一个轮值限定在工作时段,第二个轮值放在它下方覆盖其余时间;
- 按轮换顺序加入所有成员,每个排班至少两个人。
先创建默认升级策略
在规则工作台中保存的规则使用名为default 的策略;没有它,这些规则的事件不会通知任何人。参见默认策略。
对关键服务开启 循环整个策略直到被确认,并设置较小的 最大循环次数。需求不同的团队另建策略,并通过 API 用
escalation_policy_id 把规则指向这些策略。
加上安全网
- 兜底路由在接收人的个人通知方式都不可用时,投递到团队频道或组织地址。
- 通知策略决定每个事件的模板和连接器;实时预览会显示谁会收到事件,而不会真的发送。
- 投递记录显示每一次投递尝试,让失效的连接器在事件真正需要它之前就被发现。
演练
在工作时间进行一次演练,并在每次较大的改动后重复:- 用触发规则接口有意触发一条测试规则。
- 确认值班人在每个渠道上按预期顺序收到通知。
- 不确认并等待,确认升级推进到第 2 级。
- 确认事件,检查后续级别和渠道都已停止。
- 解决事件,并在 投递记录 中检查失败的投递。
验收标准
- 排班中的每个人至少有两种已验证的通知方式,其中一种是用于严重告警的电话。
- 未来 7 天内没有排班存在空班。
- 存在名为
default的策略,并且每一级都指向人员或排班。 - 每个接收告警的团队都配置了兜底路由。
- 最近一次演练送达了值班人,按预期升级,并在确认后停止。