Apache DolphinScheduler如何部署?
1. 分布式易扩展的可视化工作流任务调度平台
Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用
2. 后端部署
参考
工作流任务调度系统:Apache DolphinSchedulerblog.csdn.net/github_39577257/article/details/102783298
2.1 基础环境
Mysql (5.5+) : 必装
JDK (1.8+) : 必装
ZooKeeper(3.4.6+) :必装
Hadoop(2.6+) :选装, 如果需要使用到资源上传功能,MapReduce任务提交则需要配置Hadoop(上传的资源文件目前保存在Hdfs上)
Hive(1.2.1) : 选装,hive任务提交需要安装
Spark(1.x,2.x) : 选装,Spark任务提交需要安装
PostgreSQL(8.2.15+) : 选装,PostgreSQL PostgreSQL存储过程需要安装
2.2 部署步骤
创建部署用户
服务器下载解压
ssh免密配置
数据库初始化
执行创建表和导入基础数据脚本
执行脚本一键部署
2.3 服务进程的说明
由前面我们可以看到,后端服务正常启动后,共有 5 个进程:WorkerServer、ApiApplicationServer、MasterServer、AlertServer、LoggerServer。
3. 使用
快速入门
浏览器访问http://192.168.33.6:8888,如下图所示。
创建一个队列。队列管理 -> 创建队列 -> 输入名称和队列值 -> 提交
创建租户。租户管理 -> 创建租户 -> 输入租户编码、租户名称和队列值 -> 提交。
建普通用户。用户管理 -> 创建用户 -> 输入用户名称、密码、租户名和邮箱,手机号选填 -> 提交。
4. 与 Azkaban 的对比
5. 总结
Apache DolphinScheduler是一个分布式、去中心化、易扩展的可视化DAG工作流任务调度系统
从上面的安装可以看到这个调度系统集成了ZooKeeper,很好的实现了去中心化,每个角色的服务可以起多个,从znode上可以看到masters和workers的一些元信息都注册在了上面,交由ZK去选举,当然它也是一个分布式的
如果某个服务挂了,ZooKeeper会在剩下的其它节点进行选举
-
Apache DolphinScheduler(工作流任务调度系统)
DolphinScheduler官方版是专业的可视化工作流任务调度系统。处理工作调度,有效解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。支持多租户,更好的应对大数据的使用场
-
Apache DolphinScheduler和Apache Airflow任务调度系统对比
目前世界上最流行的两款任务调度系统是 Apache DolphinScheduler 和 Apache Airflow。什么是任务调度系统呢?它类似于平时工作与生活中使用的日程表,可以让某一类型的任务
-
Apache DolphinScheduler分布式工作流任务调度系统
Apache DolphinScheduler(Incubator, 原 Easy Scheduler) 是一个可视化的分布式大数据工作流任务调度系统,DolphinScheduler 致力于 “可视
关注公众号:拾黑(shiheibook)了解更多
赞助链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

随时掌握互联网精彩
- Ignite China | 两周后,来这里抢先看AI先行者们创造新增长
- 日元对人民币汇率2023年12月12日
- 美元兑人民币汇率2023年9月26日
- 英镑兑换人民币汇率2023年8月11日
- 李斌放话:明年蔚来的销量会超过雷克萨斯
- 【杂谈快报】小米年底裁员?内部人士:确实有,规模没那么大,补偿政策为N+2
- 今日直播 | 2022世界智能网联汽车大会
- 切片分组网SPN算力网络新突破——中国移动研究院、中国移动浙江公司联合烽火通信率先完成算网SPN现网试点
- 乐视回应员工过着无内卷、无老板的神仙日子;苹果拒绝在俄罗斯存储用户iCloud数据;Dapr 1.8.0 发布|极客头条
- Java 发现年度加密漏洞,15/16/17/18 版本用户需尽快修复!
- 个人信息保护法出炉:为用户隐私上把“安全锁”
- B站微博,终有一战