大数据-Hadoop+Hive+Spark集群安装(二)

陈德兵 1年前 ⋅ 2975 阅读

接上文:大数据-Hadoop+Hive+Spark集群安装(一)


七、Zookeeper启动

jq1,jq2,jq3 zookeeper依次全部启动,bin/zookeeper start



八、Hadoop启动

第一次启动:

启动所有journalnode :sbin/hadoop-daemon.sh start journalnode (jq2,jq3,jq4)

所有namenode格式化:bin/hdfs namenode -format (jq1,jq2)

启动namenode:sbin/hadoop-daemon.sh start namenode (jq1,jq2)

单点进行复制:bin/hdfs namenode -bootstrapStandby (jq1)

单点zkfc格式化:bin/hdfs zkfc -formatZK (jq1)

sbin/stop-all.sh全部停止后再重启


非第一次:

全部启动,sbin/start-all.sh

全部停止,sbin/stop-all.sh



九、Mysql启动

    docker start mysql_0 (docker安装的,docker run --name mysql_0 -e MYSQL_ROOT_PASSWORD=123456 -e TZ=Asia/Shanghai -v $PWD/conf:/etc/mysql/conf.d -v $PWD/logs:/logs -v $PWD/data:/var/lib/mysql -d --restart=always -p 3306:3306 mysql:5.7

    并新建hivedb数据库。


十、Hive启动

环境变量:/etc/profile

export HIVE_HOME=/data/apache-hive-2.3.7-bin

export PATH=$HIVE_HOME/bin:$PATH

export HADOOP_USER_NAME=hdfs

source /etc/profile



lib文件夹中增加mysql驱动包:mysql-connector-java-5.1.49.jar

初始化元数据:schematool -dbType mysql -initSchema

启动metastore:nohup hive --service metastore &

启动hiveserver2:nohup hive --service hiveserver2 &

创建数据库:create database myhive;


十一、Spark启动

启动全部:start-all.sh

启动其他master:sbin/start-master.sh



注意:本文归作者所有,未经作者允许,不得转载

全部评论: 0

    我有话说: