Ploomber

一个用于构建模块化、协作式、生产级数据 pipeline 的框架，可无缝集成 Jupyter 及其他编辑器。

2

评分

Ploomber 旨在简化数据科学与机器学习 pipeline 的开发与部署，帮助用户将脚本、notebook 或函数转化为易维护的 pipeline。它解决了 notebook 重构的常见难题，让团队可在 Jupyter notebook 中原型开发并顺利部署，无需中断工作流。Ploomber 支持 Python、SQL 及 notebook 任务，自动追踪代码变更以优化执行，并可部署于 Kubernetes 及各类云平台。

AI全栈开发者工具箱AI 数据挖掘

产品概述

Ploomber 旨在简化数据科学与机器学习 pipeline 的开发与部署，帮助用户将脚本、notebook 或函数转化为易维护的 pipeline。它解决了 notebook 重构的常见难题，让团队可在 Jupyter notebook 中原型开发并顺利部署，无需中断工作流。Ploomber 支持 Python、SQL 及 notebook 任务，自动追踪代码变更以优化执行，并可部署于 Kubernetes 及各类云平台。

主要功能

模块化 Pipeline 构建	将脚本、notebook 或函数集合转化为具备明确任务依赖和输出的 pipeline。
无缝 Jupyter 集成	可在 Jupyter notebook 或任意编辑器中交互式开发，无需重写代码即可部署 pipeline。
增量式执行	自动缓存结果，仅重新执行源码发生变化的任务，加快开发周期。
多环境部署	可在本地或分布式系统（如 Kubernetes、Airflow、AWS Batch、SLURM）上部署 pipeline，无需修改代码。
遗留 Notebook 重构	自动将大型 notebook 转换为模块化、易维护的 pipeline。
丰富的任务类型支持	在同一个 pipeline 中支持 Python 函数、脚本、notebook 及 SQL 脚本。

使用场景

数据科学流程自动化：通过模块化、可复用组件，简化数据处理与模型训练 pipeline 的构建。
协作式机器学习开发：支持团队成员协作原型开发、共享与部署 pipeline，保障代码不被破坏。
遗留 Notebook 现代化：将现有 Jupyter notebook 转换为生产可用的 pipeline，提升可维护性。
可扩展的 Pipeline 部署：可在本地运行 pipeline，或轻松扩展至云端和集群环境。
增量式 Pipeline 执行：仅重新运行变更部分，优化开发效率。

常见问题（FAQ）

Ploomber 解决了什么问题？

它让 notebook 无需重构即可直接部署为模块化、易维护的 pipeline。

Ploomber 支持哪些编辑器？

Ploomber 可与 Jupyter、VSCode、PyCharm 集成，并支持所有支持 Python 的编辑器。

Ploomber 支持 SQL 脚本吗？

是的，Ploomber 支持将 Python 函数、脚本、notebook 和 SQL 脚本作为 pipeline 任务。

Ploomber 如何加速 pipeline 开发？

它会缓存历史结果，仅重新运行代码发生变更的任务，减少不必要的计算。

Ploomber pipeline 可以部署到哪里？

Ploomber pipeline 可本地部署，也可部署于 Kubernetes、Airflow、AWS Batch、SLURM 等分布式平台。

Ploomber 支持协作吗？

是的，Ploomber 支持团队成员协作开发 pipeline，方便自定义和共享模块化流程。

Ploomber 可以将已有 notebook 转换成 pipeline 吗？

是的，Ploomber 提供自动化工具，将遗留 notebook 重构为易维护的 pipeline。

Ploomber 适合生产环境使用吗？

是的，Ploomber 从第一天起就为生产级 pipeline 而设计。