为学习spark,虚拟机中开4台虚拟机安装spark3.0.0
底层hadoop集群已经安装好,见ol7.7安装部署4节点hadoop 3.2.1分布式集群学习环境
首先,去http://spark.apache.org/downloads.html下载对应安装包
解压
[hadoop@master ~]$ sudo tar -zxf spark-3.0.0-bin-without-hadoop.tgz -C /usr/local [hadoop@master ~]$ cd /usr/local [hadoop@master /usr/local]$ sudo mv ./spark-3.0.0-bin-without-hadoop/ spark [hadoop@master /usr/local]$ sudo chown -R hadoop: ./spark
四个节点都添加环境变量
export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
配置spark
spark目录中的conf目录下cp ./conf/spark-env.sh.template ./conf/spark-env.sh后面添加
export SPARK_MASTER_IP=192.168.168.11 export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_LOCAL_DIRS=/usr/local/hadoop export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
然后配置work节点,cp ./conf/slaves.template ./conf/slaves修改为
master
slave1
slave2
slave3
写死JAVA_HOME,sbin/spark-config.sh最后添加
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191
复制spark目录到其他节点
sudo scp -r /usr/local/spark/ slave1:/usr/local/ sudo scp -r /usr/local/spark/ slave2:/usr/local/ sudo scp -r /usr/local/spark/ slave3:/usr/local/ sudo chown -R hadoop ./spark/
...
启动集群
先启动hadoop集群/usr/local/hadoop/sbin/start-all.sh
然后启动spark集群
通过master8080端口监控
完成安装
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件!
如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
岱庙资源网 Copyright www.zgmyg.com
暂无“ol7.7安装部署4节点spark3.0.0分布式集群的详细教程”评论...
稳了!魔兽国服回归的3条重磅消息!官宣时间再确认!
昨天有一位朋友在大神群里分享,自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址,com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后,确实是网易的网址,也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情,因为以前都没有出现这样的情况,现在突然提示跳转到国服战网的网址,是不是说明了简体中文客户端已经开始进行更新了呢?
更新日志
2024年05月21日
2024年05月21日
- 《哈迪斯2》发售被骂,你认为发售日需要提前公布吗?
- 潘活活(TiffanyPoon)《日记舒曼DiariesSchumann》(2024)[Hi-Res96kHz_24bitFLAC]
- 林一峰2012-家课新曲+精选2CD[引进版][WAV+CUE]
- 叶蕴仪1990-S.O.S[日本版][WAV+CUE]
- 《塔瑞斯世界》正式定档6.19!九大职业先行登场
- 《地平线:零之曙光》确认登陆WeGame!5.31上线
- 育碧《渡神纪》官宣登陆Wegame!包含全部DLC内容
- 陈慧娴《极品之选》环球SACD天碟[DFF][1.9G]
- 沈媛《沈媛 国家大剧院管风琴》[320K/MP3][229.22MB]
- 沈媛《沈媛 国家大剧院管风琴》[FLAC/分轨][368.14MB]
- ECHO.1990-GOODBYE.SUMMER【丰艺】【WAV+CUE】
- 林宇中.2008-干物世界(引进版)【海蝶】【WAV+CUE】
- 二手玫瑰.2003-二手玫瑰【国际文化】【WAV+CUE】
- 半永恒统辖矩阵隐藏成就怎么做?成就攻略
- 托马邀约任务怎么做?全结局完成攻略分享