415KB
18.5MB
2.18MB
DolphinScheduler是一款专业的可视化工作流任务调度系统。DolphinScheduler可以有效解决数据处理过程中的复杂依赖关系,使调度系统在数据处理过程中开箱即用。
软件功能
高可靠性分散式多主多任务,支持HA功能,使用任务队列避免过载,不会造成机器卡顿。
使用方便
DAG监控界面,所有过程定义都是可视化的。DAG通过拖拽任务定制,通过API连接第三方系统,一键部署。
丰富的使用场景
支持暂停恢复操作,支持多租户,更好的应对大数据的使用场景,支持更多的任务类型,比如Spark,Hive,MR,Python,sub _ process,shell。
高可扩展性
支持用户定义的任务类型。调度器使用分布式调度,调度能力随集群线性增长。master和worker支持动态在线和离线。
功能介绍
1.通过以DAG图的形式根据任务的依赖关系来关联任务,可以实时可视化地监控任务的运行状态。2.支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql)、Python、Sub_Process、Procedure等。
3.支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,还支持失败重试/报警、指定节点恢复失败、Kill task等操作。
4.支持工作流优先级、任务优先级、任务故障转移和任务超时报警/失败。
5.支持工作流全局参数和节点自定义参数的设置。
6.支持资源文件的在线上传/下载和管理,以及文件的在线创建和编辑。
7.支持在线查看和滚动任务日志,在线下载日志等。
8.实现集群HA,通过Zookeeper分散主集群和工作者集群。
9.支持在线查看主/工作cpu负载、内存和cpu。
10.支持工作流运行历史树/甘特图、任务状态统计和流程状态统计的显示。
1.支持补充。
12.支持多租户。
13.支持国际化
14.还有更多等待合作伙伴去探索。