外部告警

​

来源类型

​

新建来源

1. 打开 告警 → 告警来源，点击 新建告警来源。
2. 选择 类型，填写 名称。
3. 选择 升级策略。默认是 按路由分派（默认），与规则工作台相同：告警路由按路由规则、服务的负责团队和 team 标签选出团队和升级策略，都没有时用名为 default 的默认策略。选某条策略时事件用它，路由只定团队。选 不升级，只按通知策略通知 时，事件照常开启和通知，只是不会按升级策略叫人。
4. 选择 默认严重度：告警自己没带严重度时用这一档。
5. 按需添加 附加标签，例如 team=payments。它们加在这个来源开的每个事件上，告警自己带了同名标签时以告警的为准。
6. 点击 创建。页面打开来源详情，并弹出这个来源的 Token 和填好 Token 的配置；阿里云云监控只需要接入地址，弹出的是带 Token 的接入地址。

​

接入地址与 Token

https://<molesignal-host>/api/v1/intake/alerts

Authorization: Bearer <token>

​

配置发送方

​

API

curl -X POST https://<molesignal-host>/api/v1/intake/alerts \
  -H "Authorization: Bearer <token>" \
  -H "Content-Type: application/json" \
  -d '{"dedup_key": "disk-full/web-1", "summary": "web-1 磁盘使用率 95%", "severity": "critical", "labels": {"host.name": "web-1"}}'

​

Alertmanager

route:
  receiver: molesignal
receivers:
  - name: molesignal
    webhook_configs:
      - url: https://<molesignal-host>/api/v1/intake/alerts
        send_resolved: true
        http_config:
          authorization:
            credentials: <token>

​

Grafana

1. 在 Grafana 中打开 Alerting → Contact points，点击 Add contact point。
2. Integration 选 Webhook，URL 填接入地址。
3. 在 Optional Webhook settings 中，Authentication Header Scheme 填 Bearer，Authentication Header Credentials 填 Token。
4. 不要勾选 Disable resolved message，保存后在通知策略里使用这个联系点。

apiVersion: 1
contactPoints:
  - orgId: 1
    name: molesignal
    receivers:
      - uid: molesignal
        type: webhook
        settings:
          url: https://<molesignal-host>/api/v1/intake/alerts
          httpMethod: POST
          authorization_scheme: Bearer
          authorization_credentials: <token>

​

Datadog

1. 在 Datadog 中打开 Integrations → Webhooks，新建一个 Webhook，名称例如 molesignal。
2. URL 填接入地址，Custom Headers 填 {"Authorization": "Bearer <token>"}，不要勾选 Encode as form。
3. Payload 填下面的模板。字段名是 MoleSignal 的，值是 Datadog 的变量；不是这个模板的请求会被拒收。

{
  "alert_id": "$ALERT_ID",
  "alert_cycle_key": "$ALERT_CYCLE_KEY",
  "transition": "$ALERT_TRANSITION",
  "alert_type": "$ALERT_TYPE",
  "priority": "$ALERT_PRIORITY",
  "title": "$ALERT_TITLE",
  "event_title": "$EVENT_TITLE",
  "message": "$TEXT_ONLY_MSG",
  "scope": "$ALERT_SCOPE",
  "tags": "$TAGS",
  "hostname": "$HOSTNAME",
  "link": "$LINK",
  "snapshot": "$SNAPSHOT",
  "query": "$ALERT_QUERY",
  "org_id": "$ORG_ID",
  "last_updated": "$LAST_UPDATED"
}

4. 在监控的通知消息里写 @webhook-molesignal。

​

PagerDuty

1. 在 PagerDuty 中打开 Integrations → Generic Webhooks (v3)，点击 New Webhook。
2. Webhook URL 填接入地址，按需要选择 Scope Type（整个账号、某个服务或某个团队）。
3. Event Subscription 勾选 incident.triggered、incident.acknowledged、incident.resolved、incident.reopened 和 incident.priority_updated。
4. 添加自定义请求头 Authorization，值为 Bearer <token>。

​

阿里云云监控

https://<molesignal-host>/api/v1/intake/alerts?token=<token>

• 阈值报警：在报警规则的 报警回调 中填写这个地址。云监控以表单编码 POST 回调，MoleSignal 也认 JSON。
• 系统事件：在 事件中心 → 事件订阅 → 推送渠道 中新建渠道，目标类型 选 Webhook，请求方式 选 POST，数据格式 选 JSON，地址填上面这个地址，再在订阅策略里使用这个渠道。

​

腾讯云可观测平台

• 去重：账号、告警策略、指标或事件名和告警对象相同的是同一个告警。分了级别的策略每个级别一个事件，跟腾讯云一样各自恢复。
• 严重度：alarmLevel 的紧急（Serious）为 critical，严重（Warn）为 error，提示（Remind）为 info；不分级别的策略用来源的默认严重度。
• 无状态的事件（alarmStatus 为 5）开了事件不会等到恢复，要人来解决。
• 时间：回调的时间不带时区，按北京时间算。

​

Amazon CloudWatch

1. 在告警的通知里，把进入 告警（ALARM）和回到 正常（OK）都发到同一个 SNS 主题。没有 OK 时事件不会自动解决。要收无数据告警，把 数据不足（INSUFFICIENT_DATA）也发过去。
2. 给主题加一个 HTTPS 订阅，端点填接入地址，Token 写在地址里：
   aws sns subscribe \
     --topic-arn <主题的 ARN> \
     --protocol https \
     --notification-endpoint 'https://<molesignal-host>/api/v1/intake/alerts?token=<token>'
   
3. 订阅自动确认：MoleSignal 验过确认消息的签名后访问它的 SubscribeURL。

​

Zabbix

1. 把它存成 YAML，在 Alerts → Media types → Import 导入，确认 token 参数。
2. 设好全局宏 {$ZABBIX.URL}（Zabbix 前端的地址）。它算在去重键里，一个来源接几台 Zabbix 时不撞，事件上也能链回 Zabbix；没设也能用。
3. 给一个用户加这个媒介，发送到 随便填（脚本不用它）。
4. 新建一个触发器动作：操作、恢复操作 和 更新操作 都发给这个用户。没有恢复操作，事件不会自动解决。

​

邮件

• 只读：用 EXAMINE 和 BODY.PEEK[]，不改已读状态，也不删邮件。可以给它一个只读的账号。
• 不吃存量：第一次连上时记下当时的位置，只读这之后到的邮件。换了主机、账号或文件夹，或服务器重排了邮箱（UIDVALIDITY 变了），都重新从当时开始。来源停用期间不读、也不留位置，重新启用后从那时开始。
• 发件人名单必填：知道地址的人都能给邮箱发信。在来源设置的 接受谁发来的 写完整地址或 @example.com 整个域；要谁都接受就写 *。名单看的是 From，它可以被伪造：邮箱服务商的反垃圾和 DMARC 还要开着。不在名单上的邮件记成 已拒收，不开事件。
• 登录方式：密码，或邮箱服务给的授权码、应用专用密码。Microsoft 365 不再收密码登录，选 OAuth 2.0，填令牌地址 https://login.microsoftonline.com/<tenant>/oauth2/v2.0/token、客户端 ID、客户端密钥和 Scope https://outlook.office365.com/.default，应用要有 IMAP.AccessAsApp 权限并被授予这个邮箱。
• 不加密 只该用在可信的内网：密码明文过网。
• 读失败时，来源详情写明原因，下一轮再试。多个告警节点时每个邮箱归一个节点读。开了联邦时，邮箱配在来源的接收集群上，不随联邦同步，密码不出集群。

curl -X POST 'https://<molesignal-host>/api/v1/intake/alerts' \
  -H 'Authorization: Bearer <token>' \
  -H 'Content-Type: message/rfc822' \
  --data-binary @alert.eml

​

外部告警怎样变成事件

• 开事件：同一个来源、同一个去重键同时最多一个活动事件。事件带标签 alert.source=external 和 external.kind=<类型>，加上告警自己的标签（Alertmanager 与 Grafana 为分组的 commonLabels）和来源的附加标签。标签 service.name 或 service 进受影响服务，host.name、host 或 hostname 进主机。
• 标题：API 用 summary；Alertmanager 与 Grafana 用 summary 注解，没有就用 alertname；Datadog 用 $ALERT_TITLE；PagerDuty 用事件标题；阿里云云监控为「报警名 · 实例名」。
• 链接：回到发送方的地址写进注解，例如 alertmanager_url、generator_url、dashboard_url、datadog_url、pagerduty_url，事件详情把它们显示成链接。API 的 links 按 name 写进注解。
• 分组里的告警：Alertmanager 与 Grafana 的事件记着组里的每条告警（最多 100 条）和它们的状态，每收到一次通知更新一次，事件详情的 外部告警 一节列出它们，并标出区分它们的标签。
• 严重度变化：尚未确认的事件的严重度跟着告警变，经告警流水线重新判定；升到更高一档时，升级从第一步重新开始。手动设置过的严重度保持不变。
• 确认：API 的 acknowledge、PagerDuty 的 incident.acknowledged 和 Zabbix 确认问题的更新操作确认事件，停止后续升级和来电。确认人为空。
• 解决：来源报恢复时解决事件，已确认的事件也一起解决。解决人为空，时间线显示为已恢复。
• 晚到的旧消息：每个去重键记着用过的发送方时间，比它早的消息直接忽略。迟到的触发不会开出僵尸事件，迟到的恢复也不会关掉新事件。API 不带时间，按收到的先后处理。
• 有人先解决了：来源还在报这条告警时，下一次重发会开一个新事件，与规则的行为相同。
• 无数据：阿里云云监控的 INSUFFICIENT_DATA、Datadog 的 No Data 开的事件带 alert.condition=no_data，通知标题以 NO DATA 开头。
• 停用与删除：停用的来源拒收告警（409），已开的事件保留。删除来源时，它的 Token 立即失效，它开着的事件都会被解决。

​

最近收到

​

多个集群

• 来源和其他告警配置一样在集群之间同步，Token 一起同步，所以同一个 Token 在每个集群的接入地址上都能用。
• 一个来源的事件只在它的 接收集群 上开，默认是新建它的集群，可以在来源设置中改。别的集群收到这个来源的告警，经集群之间的 gRPC 转给接收集群，再把接收集群的答复回给发送方。所以一条外部告警不管从哪个集群的地址进来，都只对应一个事件。
• 接收集群连不上时回 503，发送方会重试。接收集群所在的地域长时间不可用时，在来源设置中把 接收集群 改成可用的集群。
• 最近收到 记在处理请求的集群上。来源详情在其他集群上打开时会说明这一点。

​

限制

​

告警来源 API