产品概述
Hatchet 是一款强大的后台任务管理平台,基于开源高可用队列系统构建,适用于大规模任务调度。开发者可高效分发任务至各工作节点,即使在高负载或系统故障下也不会丢失任务。Hatchet 支持复杂工作流的编排、并发控制、调度与实时可观测性,非常适合对后台处理可靠性和可扩展性有高要求的关键业务场景。
主要功能
| 持久化任务队列 | 确保任务能够可靠地被接收并以可控速率分发给工作节点,支持自动重试和失败告警,防止任务丢失。 |
| 高级任务编排 | 支持复杂工作流与有向无环图(DAG),实现任务的串联、并行和持久化编排。 |
| 流量控制与限速 | 提供并发限制、速率限制和多种公平策略(FIFO、LIFO、轮询、优先级队列),保障系统稳定性,应对流量高峰。 |
| 全面的调度能力 | 内置定时任务(cron)、一次性调度和持久化延迟执行,精准控制任务的运行时间。 |
| 内置可观测性与告警 | 实时仪表盘、日志集成和Slack/邮件告警,帮助主动监控并快速定位和解决问题。 |
| 灵活的任务路由 | 支持粘性分配和工作节点亲和性,将任务智能路由到最合适的工作节点,优化处理效率。 |
使用场景
- AI智能体工作流:定义和编排智能体工作流,支持自动重试与并行操作,助力构建高可靠性的AI系统。
- 应对流量高峰:通过任务排队和限流,平滑处理用户请求高峰,保障系统响应和公平性。
- 批量处理:支持大规模数据集处理,如文档索引、图片处理等,具备任务持久化与中断恢复能力。
- 多模态工作流编排:协调多种输入输出类型的复杂工作流,支持DAG式执行和持久化状态管理。
- 事件驱动处理:对内外部事件做出响应,确保任务可靠执行,并支持自动事件重放以保证正确性。
