产品概述
Orchestra 是一款云原生编排平台,旨在将编排与数据栈其他部分解耦,提供低代码界面用于构建、调度和监控复杂数据流程。它可无缝集成 Python 环境、数据仓库及 dbt-core™ 等数据转换框架,帮助数据团队自动化工作流、保障高数据质量,并实现对流程执行的全面可视化。借助基于资产的血缘关系、内置可观测性和统一告警,Orchestra 支持技术及非技术用户,加速开发效率,同时确保模块化和治理能力。
主要功能
| 低代码工作流编排 | 通过用户友好的界面或声明式 YAML 构建有向无环图(DAG),无需大量编程即可快速开发数据流程。 |
| 集成可观测性与数据质量监控 | 自动收集细粒度元数据,并展示基于资产的血缘关系,持续提供对流程失败和数据质量的全方位可视化。 |
| 模块化架构与 Git 集成 | 支持基于 YAML 的流程定义进行版本控制和持续集成(CI),便于技术和非技术用户协作,降低平台锁定风险。 |
| 丰富的托管集成 | 可无缝连接主流数据工具、云服务和 AI/ML 平台,无需自定义告警脚本和第三方 API 管理。 |
| 灵活的调度与执行 | 提供完整的 cron 调度器,支持时区和夏令时,并采用无服务器执行方式,确保成本可控且低廉。 |
| 统一告警与治理 | 集中管理所有流程的告警,并强制执行最小权限访问,助力数据治理和运维管控。 |
使用场景
- 数据流程自动化:数据工程师可以用极少代码自动化数据采集、转换和加载等复杂流程。
- 数据质量与可观测性:团队可持续监控数据质量,并借助详细元数据和血缘关系快速定位和恢复流程故障。
- 跨团队协作:通过低代码界面结合代码版本管理,促进技术与非技术用户协作,简化运维和知识传递。
- AI 与机器学习产品编排:通过集成向量数据库、非结构化数据平台和云基础设施,支持 AI/ML 工作流编排。
- 数据产品成本与使用分析:帮助数据产品经理追踪成本和使用指标,评估并优化数据流程的业务价值。
