|
|
|
|
移动端

大数据Spark运行环境:Standalone模式与配置详解

这里我们来看看只使用Spark自身节点运行的集群模式,也就是我们所谓的独立部署(Standalone)模式。Spark的Standalone模式体现了经典的master-slave模式。

作者:大数据与智能技术来源:今日头条|2020-09-22 18:01

大数据Spark运行环境:Standalone模式与配置详解

大数据Spark运行环境:Standalone模式与相关配置详解

Standalone模式

这里我们来看看只使用Spark自身节点运行的集群模式,也就是我们所谓的独立部署(Standalone)模式。Spark的Standalone模式体现了经典的master-slave模式。

集群规划:

大数据Spark运行环境:Standalone模式与配置详解

1 解压缩文件

将spark-3.0.0-bin-hadoop3.2.tgz.tgz文件上传到Linux并解压缩在指定位置

  1. tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module 
  2. cd /opt/module  
  3. mv spark-3.0.0-bin-hadoop3.2 spark-standalone 

2 修改配置文件

1) 进入解压缩后路径的conf目录,修改slaves.template文件名为slaves

  1. mv slaves.template slaves 

2) 修改slaves文件,添加work节点

  1. hadoop102hadoop103hadoop104 

3) 修改spark-env.sh.template文件名为spark-env.sh

  1. mv spark-env.sh.template spark-env.sh 

4) 修改spark-env.sh文件,添加JAVA_HOME环境变量和集群对应的master节点

  1. export JAVA_HOME=/opt/module/jdk1.8.0_212 
  2. SPARK_MASTER_HOST=hadoop102SPARK_MASTER_PORT=7077 

注意:7077端口,相当于hadoop3.x内部通信的8020端口,此处的端口需要确认自己的虚拟机配置

5) 分发spark-standalone目录

  1. xsync spark-standalone 

3 启动集群

1) 执行脚本命令:

  1. sbin/start-all.sh 

2) 查看三台服务器运行进程

  1. ================hadoop102================ 
  2. 3330 Jps 
  3. 3238 Worker 
  4. 3163 Master 
  5. ================hadoop103================ 
  6. 2966 Jps 
  7. 2908 Worker 
  8. ================hadoop104================ 
  9. 2978 Worker 
  10. 3036 Jps 

3) 查看Master资源监控Web UI界面: http://hadoop102:8080

4 提交应用

  1. bin/spark-submit \ 
  2. --class org.apache.spark.examples.SparkPi \ 
  3. --master spark://hadoop102:7077 \ 
  4. ./examples/jars/spark-examples_2.12-3.0.0.jar \ 
  5. 10 
  • --class表示要执行程序的主类
  • --master spark://hadoop102:7077 独立部署模式,连接到Spark集群
  • spark-examples_2.12-3.0.0.jar 运行类所在的jar包
  • 数字10表示程序的入口参数,用于设定当前应用的任务数量

执行任务时,会产生多个Java进程

大数据Spark运行环境:Standalone模式与配置详解

执行任务时,默认采用服务器集群节点的总核数,每个节点内存1024M。

5 配置历史服务

由于spark-shell停止掉后,集群监控hadoop102:4040页面就看不到历史任务的运行情况,所以开发时都配置历史服务器记录任务运行情况。

1) 修改spark-defaults.conf.template文件名为spark-defaults.conf

  1. mv spark-defaults.conf.template spark-defaults.conf 

2) 修改spark-default.conf文件,配置日志存储路径

  1. spark.eventLog.enabled          true 
  2. spark.eventLog.dir               hdfs://hadoop102:8020/directory 

注意:需要启动hadoop集群,HDFS上的directory目录需要提前存在。

  1. sbin/start-dfs.sh 
  2. hadoop fs -mkdir /directory 

3) 修改spark-env.sh文件, 添加日志配置

  1. export SPARK_HISTORY_OPTS=" 
  2. -Dspark.history.ui.port=18080 
  3. -Dspark.history.fs.logDirectory=hdfs://hadoop102:8020/directory 
  4. -Dspark.history.retainedApplications=30" 

注:写成一行!!空格隔开!!!

  • 参数1含义:WEB UI访问的端口号为18080
  • 参数2含义:指定历史服务器日志存储路径
  • 参数3含义:指定保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,这个是内存中的应用数,而不是页面上显示的应用数。

4) 分发配置文件

  1. xsync conf 

5) 重新启动集群和历史服务

  1. sbin/start-all.sh 
  2. sbin/start-history-server.sh 

6) 重新执行任务

  1. bin/spark-submit \ 
  2. --class org.apache.spark.examples.SparkPi \ 
  3. --master spark://hadoop102:7077 \ 
  4. ./examples/jars/spark-examples_2.12-3.0.0.jar \ 
  5. 10 

7) 查看历史服务:http://hadoop102:18080

6 配置高可用(HA)

所谓的高可用是因为当前集群中的Master节点只有一个,所以会存在单点故障问题。所以为了解决单点故障问题,需要在集群中配置多个Master节点,一旦处于活动状态的Master发生故障时,由备用Master提供服务,保证作业可以继续执行。这里的高可用一般采用Zookeeper设置

集群规划:

大数据Spark运行环境:Standalone模式与配置详解

1) 停止集群

  1. sbin/stop-all.sh 

2) 启动Zookeeper

3) 修改spark-env.sh文件添加如下配置

  1. 注释如下内容: 
  2. #SPARK_MASTER_HOST=hadoop102#SPARK_MASTER_PORT=7077 
  3.  添加如下内容:#Master监控页面默认访问端口为8080,但是会和Zookeeper冲突,所以改成8989,也可以自定义,访问UI监控页面时请注意 
  4. SPARK_MASTER_WEBUI_PORT=8989 
  5.  export SPARK_DAEMON_JAVA_OPTS=" 
  6. -Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 -Dspark.deploy.zookeeper.dir=/spark" 

注:写成一行!!空格隔开!!!

4) 分发配置文件

  1. xsync conf/ 

5) 启动集群

  1. sbin/start-all.sh 

6) 启动hadoop103的单独Master节点,此时hadoop103节点Master状态处于备用状态

  1. [bigdata@hadoop103 spark-standalone]$ sbin/start-master.sh 

7) 提交应用到高可用集群

  1. bin/spark-submit \ 
  2. --class org.apache.spark.examples.SparkPi \ 
  3. --master spark://hadoop102:7077,hadoop103:7077 \ 
  4. ./examples/jars/spark-examples_2.12-3.0.0.jar \ 
  5. 10 

8) 停止hadoop102的Master资源监控进程

9) 查看hadoop103的Master 资源监控Web UI,稍等一段时间后,hadoop103节点的Master状态提升为活动状态

【编辑推荐】

  1. 半小时,将你的Spark SQL模型变为在线服务
  2. 面向数据科学的5个Apache Spark最佳实践
  3. Spark优化之小文件是否需要合并?
  4. 为什么Spark能成为最火的大数据计算引擎?它是怎样工作的?
  5. 面试必知的Spark SQL几种Join实现
【责任编辑:未丽燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

云原生架构实践

云原生架构实践

新技术引领移动互联网进入急速赛道
共3章 | KaliArch

17人订阅学习

数据中心和VPDN网络建设案例

数据中心和VPDN网络建设案例

漫画+案例
共20章 | 捷哥CCIE

172人订阅学习

搭建数据中心实验Lab

搭建数据中心实验Lab

实验平台Datacenter
共5章 | ITGO(老曾)

111人订阅学习

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微