Hadoop搭建部署

| 文章字数:3.2k | 阅读时长:14min
这是一篇更新于 162 天前的文章,其中的信息可能已经有所发展或是发生改变。

本文为Hadoop搭建部署的学习笔记

Hadoop的三种模式

Hadoop运行模式包括:单机模式、伪分布式模式以及完全分布式模式。

Hadoop官方网站:hadoop.apache.org/

单机模式

  • 默认模式。
  • 不对配置文件进行修改。
  • 使用本地文件系统,而不是分布式文件系统。
  • Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程,Map()和Reduce()任务作为同一个进程的不同部分来执行的。
  • 用于对MapReduce程序的逻辑进行调试,确保程序的正确。

伪分布式模式

  • 在一台物理主机上模拟多台主机。
  • Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行,是相互独立的Java进程。
  • 在这种模式下,Hadoop使用的是分布式文件系统,各个作业也是由JobTraker服务,来管理的独立进程。在单机模式之上增加了代码调试功能,允许检查内存使用情况,HDFS输入输出,以及其他的守护进程交互。类似于完全分布式模式,因此,这种模式常用来开发测试Hadoop程序的执行是否正确。
  • 修改3个配置文件:core-site.xml(Hadoop集群的特性,作用于全部进程及客户端)、hdfs-site.xml(配置HDFS集群的工作属性)、mapred-site.xml(配置MapReduce集群的属性)
  • 格式化文件系统

完全分布式模式

  • Hadoop的守护进程运行在由多台主机搭建的集群上,是真正的生产环境。
  • 在所有的主机上安装JDK和Hadoop,组成相互连通的网络。
  • 在主机间设置SSH免密码登录,把各从节点生成的公钥添加到主节点的信任列表。
  • 修改3个配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml,指定NameNode和JobTraker的位置和端口,设置文件的副本等参数
  • 格式化文件系统

参考CSDN文章链接📁

综上所述单机版适合开发调试;伪分布式版,适合模拟集群学习;完全分布式,生产使用的模式。


基础环境准备

环境准备

系统版本 jdk版本 Hadoop版本 服务器IP 服务器台数
centos 6.5 jdk 1.8 hadoop-2.10.0 192.168.1.0 4台

配置host和主机名

🖥查看默认主机名:使用hostname命令来查看

🖥查看和修改主机名:使用hostname + *命令来修改主机名,*代表主机名

不过上述修改主机名只是暂时的,重启后会失效。如果永久修改主机名,要修改配置文件执行命令: vim /etc/sysconfig/network

编辑文件中的HOSTNAME例如

1
HOSTNAME=master

绑定hostname与IP,修改四台服务器的hosts文件

1
2
3
4
5
vim /etc/hosts
192.168.1.2 master
192.168.1.3 slave1
192.168.1.4 slave2
192.168.1.5 slave3

分别修改服务器的主机名:HOSTNAME,master为例说明

1
2
vim /etc/sysconfig/network
HOSTNAME=master

执行reboot重启后生效,完成之后依次修改其它salve服务器为: slave1~3。

配置防火墙

查看防火墙状态

1
service iptables status

关闭防火墙

1
2
service iptables stop 
chkconfig iptables off

关闭SELINUX

1
setenforce 0

配置免密登录

一、配置免密访问本机

1.生成密钥

1
ssh-keygen -t rsa

2.将公钥追加到”authorized_keys”文件

1
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

3.赋予权限

1
chmod 600  ~/.ssh/authorized_keys

4.验证本机能无密码访问

1
ssh master

通过测试发现是可以不用输入密码就能访问的,然后下面依次配置salve1~3无密访问。

二、配置master本机无密码登录slave1、slave2、slave3,以master无密码登录slave1为例进行讲解:

1.登录slave1,复制master服务器的公钥”id_rsa.pub”到slave1服务器的”root”目录下。

1
scp root@master:/root/.ssh/id_rsa.pub /root/

2.将master的公钥(id_rsa.pub)追加到slave1的authorized_keys中

1
2
cat id_rsa.pub >> .ssh/authorized_keys
rm -rf id_rsa.pub

3.master上面测试

1
ssh  slave1

三、配置slave1~slave3本机无密码登录master

下面以slave1无密码登录master为例进行讲解,需参照下面步骤完成slave2~slave3无密码登录master。

1.登录master,复制slave1服务器的公钥”id_rsa.pub”到master服务器的”/root/”目录下。

1
scp root@slave1:/root/.ssh/id_rsa.pub /root/

2.将slave1的公钥(id_rsa.pub)追加到master的authorized_keys中。

1
2
cat id_rsa.pub >> .ssh/authorized_keys
rm -rf id_rsa.pub //删除id_rsa.pub

3.在 slave1上面测试

1
ssh  master

并且依次配置 slave2、slave3

到此主从的无密登录已经完成了。各台服务器之间无需密码就可以远程登录了!

环境搭建

安装并配置Java

JAVA环境JDK推荐使用Oracle的JDK,自行到网站下载即可。这里我使用的版本是1.8.

解压文件

1
tar -zxvf jdk-8u241-linux-x64.tar.gz -C /usr/local

重命名文件夹

1
mv jdk-8u241-linux-x64.tar.gz java

配置环境变量vim /etc/profile

1
2
3
4
export JAVA_HOME=/usr/local/java
export JRE_HOME=/usr/local/java/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

保存退出最后,需要让该环境变量生效,执行如下代码:

1
source /etc/profile

检验是否配置成功

1
2
3
java
javac
java -version

如果三个命令执行均为报错,并且有结果输出,则说明配置正确。

Hadoop环境搭建

配置master的hadoop环境

1、master上 解压缩安装包及创建基本目录

1
2
3
4
5
6
#下载hadoop  
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.0/hadoop-2.10.0.tar.gz
#解压
tar -xzvf hadoop-2.10.0.tar.gz -C /usr/local
#重命名
mv hadoop-2.10.0 hadoop

2、 配置master的hadoop环境变量

配置环境变量,修改配置文件vim /etc/profile

1
2
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

使得hadoop命令在当前终端立即生效

1
source /etc/profile

单机模式

官方案grep例

1
2
3
4
5
6
7
8
##hadoop目录下创建一个input文件夹
mkdir input
##将Hadoop的xml配置文件复制到input
cp etc/hadoop/*.xml input
##执行share目录下的MapReduce程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar grep input output 'dfs[a-z.]+'
##查看输出结果
cat output/*

官方WordCount案例

1
2
3
4
5
##创建wcinput文件夹
mkdir wcinput
cd wcinput
touch wc.input
vim wc.input

虽然输入一些自己想要的内容比如

1
2
3
4
hello hello
world world world
hadoop hadoop BigData
hive hbase spark java rust python Go

然后回到Hadoop目录

1
2
3
4
##返回Hadoop目录
cd ..
##执行程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar wordcount wcinput wcoutput

查看结果cat wcoutput/part-r-00000输出结果如下

1
2
3
4
5
6
7
8
9
10
11
BigData	1
Go 1
hadoop 2
hbase 1
hello 2
hive 1
java 1
python 1
rust 1
spark 1
world 3

单机伪分布式模式

Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。

配置hadoop-env.sh修改其中的JAVA_HOME

1
export JAVA_HOME=/usr/local/java/

配置core-site.xml,将其中的改为如下所示

1
2
3
4
5
6
7
8
9
10
11
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>

配置hdfs-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
13
14
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>

配置mapred-site.xml

1
2
3
4
5
6
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

配置yarn-site.xml

1
2
3
4
5
6
7
8
9
10
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

Hadoop 的运行方式是由配置文件决定的(运行 Hadoop 时会读取配置文件),伪分布式只需要配置 fs.defaultFS 和 dfs.replication 就可以运行(官方教程如此),不过我还是配置了yarn跟marped。若没有配置 hadoop.tmp.dir 参数的话,则默认使用的临时目录为 /tmp/hadoo-hadoop,然而这个目录在重启时有可能被系统清理掉,导致必须重新执行 format 才行。所以我们进行了设置,同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir,否则在接下来的步骤中可能会出错。

配置完成后,执行 NameNode 的格式化:

1
bin/hdfs namenode -format

启动hadoop

1
sbin/start-all.sh

成功启动后,运行jps命令

1
2
source /etc/profile
jps

如果安装成功,则会出现如下如下进程

1
2
3
4
5
6
14577 Jps
13284 ResourceManager
14006 DataNode
14201 SecondaryNameNode
13853 NameNode
14447 NodeManager

此时可以通过http://master:50070 访问HDFS的web界面,通过http://master:8088/来访问YARN的web界面

完全分布式运行模式

配置master的hadoop环境

配置core-site.xml

修改Hadoop核心配置文件/usr/local/hadoop/etc/hadoop/core-site.xml,通过fs.default.name指定NameNode的IP地址和端口号,通过hadoop.tmp.dir指定hadoop数据存储的临时文件夹。

1
2
3
4
5
6
7
8
9
10
11
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

特别注意:如没有配置hadoop.tmp.dir参数,此时系统默认的临时目录为:/tmp/hadoo-hadoop。而这个目录在每次重启后都会被删除,必须重新执行format才行,否则会出错。

配置hdfs-site.xml

修改HDFS核心配置文件/usr/local/hadoop/etc/hadoop/hdfs-site.xml,通过dfs.replication指定HDFS的备份因子为3,通过dfs.name.dir指定namenode节点的文件存储目录,通过dfs.data.dir指定datanode节点的文件存储目录。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/usr/local/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop/hdfs/data</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
4<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave1:50090</value>
4</property>

</configuration>

配置mapred-site.xml

拷贝mapred-site.xml.template为mapred-site.xml,然后再进行修改

1
2
3
4
5
6
7
8
9
10
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>http://master:9001</value>
</property>
</configuration>

配置yarn-site.xml

1
2
3
4
5
6
7
8
9
10
11
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
</configuration>

6、配置masters文件

修改/usr/local/hadoop/etc/hadoop/masters文件,该文件指定namenode节点所在的服务器机器。删除localhost,添加namenode节点的主机名master;不建议使用IP地址,因为IP地址可能会变化,但是主机名一般不会变化。

1
2
3
vi /usr/local/hadoop/etc/hadoop/masters
## 内容
master

配置slaves文件(Master主机特有)

修改/usr/local/hadoop/etc/hadoop/slaves文件,该文件指定哪些服务器节点是datanode节点。删除locahost,添加所有datanode节点的主机名,如下所示。

1
2
3
4
5
vim /usr/local/hadoop/etc/hadoop/slaves
## 内容
slave1
slave2
slave3

配置slave的hadoop环境

下面以配置slave1的hadoop为例进行演示,用户需参照以下步骤完成其他slave2~3服务器的配置。

复制hadoop到slave1节点

1
scp -r /usr/local/hadoop slave1:/usr/local/

登录slave1服务器,删除slaves内容

1
rm -rf /usr/local/hadoop/etc/hadoop/slaves

2)配置环境变量

1
2
3
4
vim /etc/profile
## 内容
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

使得hadoop命令在当前终端立即生效;

1
source /etc/profile

并且依次配置其它slave服务

启动集群

格式化HDFS文件系统进入master的~/hadoop目录,执行以下操作

1
bin/hadoop namenode -format

格式化namenode,第一次启动服务前执行的操作,以后不需要执行。

然后启动hadoop:

1
sbin/start-all.sh

命令查看Hadoop集群的状态

通过简单的jps命令虽然可以查看HDFS文件管理系统、MapReduce服务是否启动成功,但是无法查看到Hadoop整个集群的运行状态。我们可以通过hadoop dfsadmin -report进行查看。用该命令可以快速定位出哪些节点挂掉了,HDFS的容量以及使用了多少,以及每个节点的硬盘使用情况。

1
hadoop dfsadmin -report

参考文章:纯洁的微笑hadoop分布式集群搭建

​              mm1小辣椒零基础搭建Hadoop集群

扫码加我微信