当前位置: 首页 > news >正文

Scala、Spark的安装及配置

安装Scala

1、进入Scala安装包位置,解压

cd /opt/packages
tar -zxvf scala-2.11.8.tgz -C /opt/programs/  

2、环境变量

vim /etc/profile
export SCALA_HOME=/opt/programs/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
source /etc/profile

3、检验是否安装成功

scala -version

若出现 Scala code runner version 2.11.8 – Copyright 2002-2016, LAMP/EPFL 则说明安装成功

4、进入Scala命令模式

scala

5、退出

:quit

安装spark

伪分布式模式安装spark

1、进入spark安装包位置,解压

cd /opt/packages
tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz -C /opt/programs/  

2、进入spark目录下conf文件夹,将spark-env.sh.template文件复制并重命名spark-env.sh,并修改spark-env.sh文件

cd /opt/programs/spark-2.3.3-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

文件末尾加上

export JAVA_HOME=/opt/programs/jdk1.8.0_144
export SCALA_HOME=/opt/programs/scala-2.11.8
export HADOOP_HOME=/opt/programs/hadoop-2.7.2
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_HOST=hadoop0

3、将slaves.template文件复制并重命名slaves,修改slaves文件

cp slaves.template slaves
vim slaves
# 将文件中localhost修改为
hadoop0

4、启动Spark(前提是启动Hadoop服务)

cd /opt/programs/spark-2.3.3-bin-hadoop2.7
sbin/start-all.sh

5、停止Spark

cd /opt/programs/spark-2.3.3-bin-hadoop2.7
sbin/stop-all.sh

6、进入spark shell命令模式

cd /opt/programs/spark-2.3.3-bin-hadoop2.7
bin/spark-shell
退出
:quit

7、在浏览器中输入"http://hadoop0:8080/“,可查看spark的运行状态。在浏览器中输入"http://hadoop0:4040/”,可查看spark任务的运行情况(前提是进入spark shell)

完全分布式模式安装spark

1、hadoop01节点进入spark安装包位置,解压

cd /opt/packages
tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz -C /opt/programs/  

2、进入spark目录下conf文件夹,将spark-env.sh.template文件复制并重命名

spark-env.sh,并修改spark-env.sh文件
cd /opt/programs/spark-2.3.3-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh
#文件末尾加上
export JAVA_HOME=/opt/programs/jdk1.8.0_144
export SCALA_HOME=/opt/programs/scala-2.11.8
export HADOOP_HOME=/opt/programs/hadoop-2.7.2
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_HOST=hadoop01

3、将slaves.template文件复制并重命名slaves,修改slaves文件

cp slaves.template slaves
vim slaves
# 将文件中localhost修改为
hadoop02
hadoop03

4、将整个hadoop01节点的整个HBase安装目录远程复制到hadoop02和hadoop03节点

scp -r /opt/programs/spark-2.3.3-bin-hadoop2.7 root@hadoop02:/opt/programs/
scp -r /opt/programs/spark-2.3.3-bin-hadoop2.7 root@hadoop03:/opt/programs/

5、启动Spark(在hadoop01节点运行,前提是启动zookeeper和Hadoop服务)

cd /opt/programs/spark-2.3.3-bin-hadoop2.7
sbin/start-all.sh

6、停止Spark(在hadoop01节点运行)

cd /opt/programs/spark-2.3.3-bin-hadoop2.7
sbin/stop-all.sh

7、进入spark shell命令模式(在hadoop01节点运行)

cd /opt/programs/spark-2.3.3-bin-hadoop2.7
bin/spark-shell
退出
:quit

8、在浏览器中输入"http://hadoop01:8080/“,可查看spark的运行状态。在浏览器中输入"http://hadoop01:4040/”,可查看spark任务的运行情况(前提是进入spark shell)

相关文章:

  • 【前端内容学习】vue的引用,下载,语法
  • Sentinel流控规则
  • mysql8.0以上修改密码-干货版
  • 图的拓扑序列
  • 六.方法与接口
  • 基于SpringBoot的篮球竞赛预约平台
  • 计算机毕业设计之java+ssm理发店会员管理系统
  • 基于JAVA的鲜花店商城平台【数据库设计、源码、开题报告】
  • openEuler之RPM软件包管理命令
  • (附源码)计算机毕业设计JavaJava毕设项目补课管理系统
  • 章节4 Linux操作系统基础知识
  • Shell脚本学习指南(四)——管道的神奇魔力
  • launcher homeSettings notificationDots
  • 【Kotlin 协程】协程的挂起和恢复 ② ( 协程挂起 和 线程阻塞 对比 )
  • 基于JSP的敬老院信息管理系统【数据库设计、源码、开题报告】
  • 【优化分配】粒子群算法求解火车票分配优化问题【含Matlab源码 1137期】
  • 网络流算法
  • Python工程师Java之路(h)Java字符串拼接+null拼接处理
  • 如何在openstack环境下实现高性能的网络服务
  • 基于STM32设计物联网在线智能称重系统(OneNet)_2022
  • 【torch.utils.data.sampler】采样器的解析和使用
  • Springboot魅力乡村管理系统srb4s计算机毕业设计-课程设计-期末作业-毕设程序代做
  • 【星球】【slam】 研讨会(5)VINS:Mono+Fusion 重点提炼
  • 数据结构:二叉树的链式结构
  • [附源码]计算机毕业设计小区疫情事件处理系统Springboot程序
  • 03、自定义镜像上传阿里云
  • 除氧器良好除氧的条件_锅炉除氧器价格
  • 猪舍升温锅炉厂家_陕西电锅炉厂家
  • 无压锅炉能当蒸汽锅炉使吗_北京燃煤蒸汽锅炉厂