跳转到主要内容
数据流是采集、查询、流水线和保留策略共同使用的组织级数据契约。打开 数据流 可以查看到达的数据,并检查或配置每条数据流。

数据流类型

不同数据流类型可以使用相同名称。调用 API 或编写自动化时,请始终传入 stream_type。

数据流列表

数据流 列出工作区的所有数据流。切换标签页可以显示 全部 数据流或某一种类型,也可以按名称或描述搜索,并按运行状态筛选。页面顶部统计正常接收和需要关注的数据流数,并汇总时段内写入的压缩数据和当前存储。 标记为 不可查询 的数据流仍在接收数据,但不会出现在查询选择器中。每一行都有 查询 或 探索、查看详情 和 复制数据流 ID。页头的 搜索任务 打开搜索任务。

创建数据流

数据第一次写入时 MoleSignal 会自动创建数据流,所以大多数数据流会自己出现。如果要从一开始就设置保留期、加密字段或查询权限,可以提前创建。点击 创建数据流:

数据流详情

点击数据流即可打开详情。查询数据 在对应的探索页中打开它,菜单中有 复制数据流 ID 和 删除数据流。各标签页: 各标签页上的修改会先汇总为草稿。保存并应用 立即应用,放弃更改 丢弃草稿。保存前,页面会提示无法撤回的修改:缩短保留期会删除过期数据,降采样会删除原始样本。 最大查询窗口 限制对该数据流的一次 SQL 或 PromQL 查询最多覆盖多少小时。时间范围更长的查询会被拒绝,误选“最近 90 天”也不会把一个大数据流从头扫到尾。留空或 0 表示不限制。 如果一个兜底数据源仍需接收数据、但不应出现在查询选择器中,请关闭 可查询。路由流水线仍可读取该数据流。extend 数据应通过 扩展表 管理,而不是通用遥测查询路径。

Schema 与字段

字段包含名称、数据类型、nullable 标志、索引类型与 encrypted 标志。数据类型有 bool、int64、float64、utf8、timestamp 与 json。传入的数据中首次出现新字段时,该字段会加入 schema;类型不一致的值会被拒绝,并报 type mismatch on field。 索引类型决定 MoleSignal 为字段构建哪种辅助结构: 传入数据中首次出现的字段按名称获得索引类型: 其余新字段为 none。level 建了 exact 索引后,日志直方图可以直接从索引统计错误数,不必读取数据文件。修改索引类型只影响之后写入的数据;更早的文件在 Compactor 合并时按新的索引类型建立索引。 要修改字段,打开 字段与索引,点击字段的编辑按钮,然后选择:
  • 索引类型:未索引、全文搜索、精确匹配、Bloom 过滤器 或 跳过索引。全文搜索适用于文本字段;
  • 返回时字段遮掩 的 流级策略:继承全局规则、流级自定义 或 流级明确不遮掩。参见字段遮掩。指标数据流不参与遮掩。
点击 应用到草稿,再点击 保存并应用。字段的类型不会改变。

加密字段

创建数据流时把字段标记为 encrypted,该字段会在写入 Parquet 之前被加密。存储的列保存密文,普通查询返回的也是密文。在 SQL 中用 decrypt(field) 读回明文:
该标志之后无法修改,否则已有数据将无法读取。密钥来自组织加密密钥与加密根密钥 MS_CIPHER_KEY,丢失根密钥会导致加密字段无法恢复,参见安全与多租户。

保留与删除

保留策略决定 Compactor 何时删除数据。在 保留策略 标签页设置 数据保留期(天),留空则使用平台默认值 30 天,该默认值在 _sys 组织的设置 → 数据保留中修改。超过保留期的数据会在下一次清理时删除,因此缩短保留期会删除随之过期的数据,删除的文件无法恢复。指标数据流里在保留期内再没出现过的指标,也会从指标列表中移除。 在指标数据流的保留策略标签页,降采样较早的样本会把流里每个指标早于设定天数的样本按 1 分钟到 1 天的时间桶聚合:同一 series 在一个桶里的样本合成一个点,数值取平均,增量计数取总和,原始样本随之删除。长时间范围的查询读得少得多,更早的数据只剩时间桶的精度。原始样本无法恢复。 日志与链路数据流的按天合并小文件设置(默认开启)会在一天结束一小时后,把这一天的文件在加起来不超过 Compactor 的 [compactor].target_size 时合成一个文件,跨多天的查询要打开的文件少得多。保留期随之按天生效:合并后的文件在一整天都过期后才删除。要保留按小时的文件,在数据流的设置标签页关闭这个设置。 删除数据流 会删除数据流及其配置,无法撤回。它可能导致仪表盘、保存的视图、告警、报告和流水线失效,删除前请先查看 使用位置 标签页。

搜索任务

搜索任务是在后台运行的查询,结果保留到任务过期。任务有三个来源:
  • 带 Prefer: respond-async 请求头的查询,或预计结果过大、不适合交互式请求的查询;
  • 流水线的回填;
  • Mole Agent 提交的查询。
在 数据流 的页头选择 搜索任务 打开列表。列表头部的视图按状态筛选,每个视图带有数量:全部、排队、运行中、完成、失败 和 已取消。有任务在排队或运行时,列表会自动刷新。 每一行显示任务的类型(查询 或 回填)、语句、状态、查询时间范围、提交时间、耗时、结果行数、尝试次数和过期时间。每个任务有一个与状态对应的操作: 删除 可以在任何状态下移除任务及其结果。 成员可以查看和管理自己提交的任务。拥有 org.settings.manage 的管理员可以查看和管理组织内的全部任务。任务 API 参见查询。

权限

采集数据

接入 OTLP、Prometheus、Loki、Elasticsearch 和云服务发送端。

流水线

转换、扩展并路由数据流事件。
最后修改于 2026年10月26日