集成与导出
把平台与租户的指标、日志、调用记录、审计、护栏命中、用量、告警、智能体日志与客户端会话持续发送到自有系统
集成与导出
「集成与导出」把平台产生的数据持续发送到企业自己的系统,例如 Kafka、Elasticsearch、云日志服务、SIEM、对象存储或可观测性平台。平台与租户各有一页,结构相同,数据互不可见:
| 平台「集成与导出」 | 租户「集成与导出」 | |
|---|---|---|
| 入口 | 平台管理 → 系统 → 集成与导出 | 租户管理 → 系统 → 集成与导出 |
| 谁可以操作 | 平台管理员 | 租户管理员 |
| 可发送的数据 | 平台指标、平台日志、平台操作审计、平台告警事件 | 调用记录、操作审计、护栏与敏感数据命中、小时用量、告警事件、智能体运行日志、客户端会话观测 |
| 目录分组 | 可观测性、指标、日志 | 消息队列、搜索与日志、安全 SIEM、存储、通用 |
| 导出数据(一次性 ZIP) | 全部租户或指定租户的调用记录、小时用量 | 本租户的调用记录、小时用量 |
平台管理员看不到任何租户的集成条目与发送计数;租户管理员只看到本租户的条目。平台页的「导出数据」是唯一可以读取租户数据的入口,见下文「导出数据」。
页面分为「已启用」与「导出记录」两个页签,右上角是「导出数据」与「新建集成」。
智能体运行日志只在 Zenova 中提供;Zentrix Gateway 的目录里没有这一项。
接入一个目的地
- 点击右上角「新建集成」,进入创建页。左栏按类别列出全部产品,可按名称搜索,产品旁显示已配置的条数;不可选的产品置灰并说明原因。选择产品,例如「阿里云 Kafka」。
- 在右栏填写连接信息与凭据。字段说明随表单显示,常见产品的默认端点已预先填入。
- 选择要发送的数据。调用记录可按部门过滤(包含其下级部门),也可只发送失败的调用;其余数据不提供过滤,按全部记录发送。
- 选择起点:「从现在开始」只发送启用之后产生的数据;「从保留期起点补发」先补发该类数据保留期内的全部历史记录,再持续发送新数据。选择了多类数据时,补发起点取其中最晚的保留期起点。
- 点击「测试发送」。平台按「地址解析与出网校验 → 建立连接 → 认证 → 写入测试记录」四步检查,并逐步显示结果。测试记录带有
"test": true标记。 - 测试通过后「启用」才可点击。测试结果在 15 分钟内有效;测试之后再修改连接字段或凭据,需要重新测试。
- 保存后回到列表页。表单有未保存的修改时,点击返回或取消会先请求确认。
编辑已有条目时,在行菜单或详情中点击「编辑」进入编辑页,产品不可更换。凭据只需填写要更换的字段,留空的字段沿用已保存的值。
每个租户最多配置 20 条。达到上限后创建页左栏的产品均不可选,并显示原因。
运行方式与投递语义
- 实时:数据入库后约 10 秒内开始发送。只有对端确认收到,平台才会前进到下一批;对端故障期间数据在平台侧保留,恢复后从中断处继续发送,不会丢失。
- 定时报表:按日、周或月在指定时刻生成一份报表文件,投递到对象存储、Webhook 或「平台托管下载」。只支持调用记录与小时用量两类数据:调用记录导出为 NDJSON,可按终端用户筛选;小时用量可导出为 CSV 或 NDJSON,可选择归集方式与筛选条件。对象存储与 Webhook 的连接字段与凭据和实时模式完全相同;Webhook 的完成通知必须签名,需填写签名密钥。
定时报表适合周期性投递;只需要一次性拿到一份文件时,使用下文的「导出数据」,不必新建条目。
原「报表导出」页面的定时任务已全部转为定时报表,计划与目的地保持不变。投递到平台托管下载的报表保持原启用状态;由原报表导出迁移来的对象存储报表需要在编辑中补全服务地址、区域与访问密钥后重新启用,Webhook 报表需要补填签名密钥后重新启用。补全之前,详情中显示「连接不完整」,「恢复」与「立即运行」不可用。
投递语义由目的地决定,重新导出前的确认弹窗会给出提示:
| 目的地 | 重复数据 |
|---|---|
| Elasticsearch、OpenSearch、ClickHouse、对象存储、Prometheus 写入 | 按记录 ID 覆盖,不产生重复 |
| Kafka、云日志服务、Syslog、Webhook、Splunk HEC、OTLP、Loki | 至少一次投递,故障恢复或重新导出时可能收到重复记录,请按记录 ID 去重 |
每条记录都带稳定的记录 ID:Elasticsearch 的文档 ID、Kafka 的消息键、Webhook 载荷中的 id 字段都使用它。
导出数据
「导出数据」一次性生成一份 ZIP 文件,适合临时取数、对账与审计取证,不需要新建集成条目。
- 点击右上角「导出数据」。
- 选择数据与格式:调用记录导出为 NDJSON,可按终端用户筛选;小时用量可导出为 CSV 或 NDJSON,并可选择归集方式。
- 选择开始时间与结束时间。单次最长 93 天,结束时间不能晚于当前时间。
- 平台页还需选择租户:「全部租户」(默认)或「指定租户」(最多 100 个,可按名称搜索)。ZIP 中每个租户一个文件,没有数据的租户也会生成文件(CSV 只有表头,NDJSON 为空文件),以便区分「没有数据」与「未导出」。
- 点击「开始导出」,页面切换到「导出记录」页签。新记录依次显示为排队中、运行中、成功,页面自动刷新状态。
- 成功后点击「下载」获取 ZIP 文件。文件保留 90 天,过期后显示「文件已过期」,下载不可用,可通过「重新导出」按同样的条件再生成一份。
失败时记录中显示原因,例如时间段内的数据已超过保留期并被清理、超出单次导出的行数上限(平台页按全部选中租户合计)、数据读取失败、平台存储未配置。超出行数上限时,请缩短时间段或减少租户后重新导出。删除记录会同时删除文件。
创建、删除与下载导出都记录在操作审计中。
状态
| 状态 | 含义与处理 |
|---|---|
| 未配置 | 尚未填写连接信息 |
| 待验证 | 已保存,尚未有成功的发送 |
| 验证失败 | 从未发送成功,详情中显示失败原因 |
| 发送失败 | 曾经成功,最近一次发送失败;平台按退避间隔自动重试,数据不丢失 |
| 正常 | 最近一次发送成功 |
| 已暂停 | 不再发送;恢复时可选择从暂停处续接,或跳过暂停期间的数据 |
| 重新导出中 | 正在从选定时刻起补发,详情中显示进度 |
失败原因分为:目的地不可达、认证被拒绝、对端返回错误、对端拒收数据、发送超时。认证被拒绝时请在编辑中更换凭据,更换凭据不会导致重发。
重新导出
在条目详情中选择「重新导出」,选定起始时刻后,平台显示预计条数与重复提示,确认后从该时刻起重新发送全部选中的数据。重新导出期间状态为「重新导出中」,追平后自动回到「正常」。同一条目同时只能有一次重新导出。
修改目的地地址或增减数据类型时,平台会提示「将从起点重新发送」,确认后生效;只修改名称、过滤条件或凭据不会重发。
平台目录
| 类别 | 产品 | 协议 |
|---|---|---|
| 可观测性 | OTLP、Datadog、Grafana Cloud、New Relic、Elastic APM、阿里云 ARMS、腾讯云 APM | OTLP/HTTP |
| 指标 | VictoriaMetrics、Thanos / Mimir、夜莺、阿里云 Prometheus | Prometheus Remote Write |
| 指标 | Prometheus 抓取 | 平台提供条目专属的抓取地址,由 Prometheus 定期拉取 |
| 日志 | Grafana Loki | Loki 推送接口 |
平台页的「已启用」表中同时列出 Sentry 错误上报,操作与其他条目一致。
租户目录
| 类别 | 产品 | 说明 |
|---|---|---|
| 消息队列 | Kafka、Redpanda、阿里云 Kafka、腾讯云 CKafka、华为云 DMS | 每类数据写入一个主题,消息键为记录 ID |
| 搜索与日志 | Elasticsearch、OpenSearch、阿里云 Elasticsearch | 批量写入,文档 ID 为记录 ID |
| 搜索与日志 | 阿里云 SLS、腾讯云 CLS、华为云 LTS、火山引擎 TLS | 使用各云厂商的访问密钥签名写入日志服务 |
| 安全 SIEM | Syslog、奇安信、安恒、深信服、Splunk | RFC 5424 格式,支持 TCP 与 TLS |
| 存储 | S3、阿里云 OSS、腾讯云 COS、华为云 OBS、MinIO | S3 兼容接口,按批写入文件;也可用于定时报表 |
| 存储 | 平台托管下载 | 仅定时报表,文件在平台保存并提供限时下载链接 |
| 存储 | ClickHouse | HTTP 接口写入,按记录 ID 去重 |
| 通用 | Webhook | HTTP POST,请求头带 HMAC-SHA256 签名,可用于定时报表(定时报表必须签名) |
| 通用 | Splunk HEC | Splunk HTTP Event Collector |
客户端会话观测
客户端会话观测按事件完整发送,包含会话正文。启用前请确认目的地的访问控制与保留策略满足企业的数据要求。
网络与安全
- 租户填写的目的地地址不能指向平台内部服务、内网保留地址或部署内置组件;Kafka 集群返回的节点地址、对象存储的虚拟主机地址同样受此限制。被拒绝时失败原因显示为「目的地不可达」。
- 平台不跟随目的地返回的重定向。
- 凭据保存在平台的密钥服务中,编辑时不回显。
- 每个租户的发送速率上限为每秒 2,000 条,平台为每秒 20,000 条;超出部分顺延到下一个周期发送,不会丢弃。