一个计算机技术爱好者与学习者

0%

好好学Docker：Docker安装配置DolphinScheduler

发表于 更新于 分类于 ， ， ， ， ，

1. DolphinScheduler简介

Apache DolphinScheduler provides a distributed and easy to expand visual workflow task scheduling open-source platform. It is suitable for enterprise-level scenarios. It provides a solution to visualize operation tasks, workflows, and the entire data processing procedures.

参考文档：

2. 安装Docker

参考文档《Docker入门篇》

3. 安装DS

参考文档：DolphinScheduler 3.1.2 - Docker Quick Start

1
2
3
4
5
6
7
8
9
mkdir -p /data/ds
cd /data/ds
wget https://dlcdn.apache.org/dolphinscheduler/3.1.2/apache-dolphinscheduler-3.1.2-src.tar.gz
tar -xzvf apache-dolphinscheduler-3.1.2-src.tar.gz
cp -r apache-dolphinscheduler-3.1.2-src/deploy/docker .
cd docker
docker-compose --profile schema up -d
docker-compose --profile all up -d
docker-compose --profile all ps

暂时不要安装3.1.3，web ui会出现白屏。

4. 访问DS

http://192.168.56.101:12345/dolphinscheduler/ui
用户名：admin
密码：dolphinscheduler123

5. 使用DS

参考文档DolphinScheduler 3.1.2 - 快速上手

6. 添加MySQL数据源

参考文档：数据源配置

6.1. 添加jar驱动

添加MySQL数据源之前，需要先配置好MySQL驱动，否则会报错：
Faild to load driver class.com.class.cj.jdbc.Driver in either of HikariConfig class loader or Thread context classloader

1、下载mysql-connector-java jar包

1
2
3
mkdir -p /data/ds/libs
cd /data/ds/libs
wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/8.0.16/mysql-connector-java-8.0.16.jar

2、修改docker-compose.yml配置，添加jar包挂载

1
2
volumes:
- /data/ds/libs/mysql-connector-java-8.0.16.jar:/opt/dolphinscheduler/libs/mysql-connector-java-8.0.16.jar

api-server、alert-server、master-server、worker-server四个容器都需要挂载。

3、重建DS

1
2
3
4
5
6
7
docker-compose --profile all down
docker-compose --profile schema down
docker-compose --profile schema up -d
#如果报错Error response from daemon: network xxx not found，那就改成下面的命令：
#docker-compose --profile schema up -d --force-recreate
docker-compose --profile all up -d
docker-compose --profile all ps

重建后，之前的数据还是存在的，因为我们没有删除volume数据。

6.2. 添加MySQL数据源

http://192.168.56.101:12345/dolphinscheduler/ui/datasource

页面操作，添加MySQL数据源即可。

7. 添加Spark数据源

7.1. 启动Spark thriftserver

启动Spark thriftserver

1
2
3
cd /usr/local/spark/spark-3.3.1-bin-hadoop3-scala2.13/
sbin/start-thriftserver.sh --help
sbin/start-thriftserver.sh

7.2. 添加Spark数据源

页面操作，添加Spark数据源。
用户名可以随便填（建议填入spark），密码为空；数据库名填入default。