Ubuntu 16.04 安装配置 Hadoop集群

环境:

  • 192.168.0.101:Ubuntu 16.04 充当master节点
  • 192.168.0.102:Ubuntu 16.04 充当slave节点
  • 我使用两个节点为例,你可以添加更多的slave节点

参考官方文档:http://hadoop.apache.org/docs/stable/

#1 配置hosts

编辑192.168.0.101主机的hosts文件:

编辑192.168.0.102主机的hosts文件:

#2 安装JDK

hadoop的运行需要java运行环境,在两个主机上安装JDK:

或安装Oracle JDK:Ubuntu 16.04 安装 Oracle JDK9

Ubuntu 16.04 安装配置 Hadoop集群

JDK的安装路径:

把jdk添加到.bashrc文件中:

使生效:

#3 安装配置SSH

在两个主机上安装ssh服务:

在master主机上执行下面命令生成SSH密钥:

保存路径默认即可。

允许ssh使用前面创建的key连接master:

测试:

Ubuntu 16.04 安装配置 Hadoop集群

把在master上生成的public密钥发送到slave1主机上:

#4 安装hadoop

在两个服务器上分别安装hadoop,下载hadoop,目前版本是2.7.3。

master、slave1主机:

在.bashrc文件中添加一些环境变量:

使环境变量生效:

编辑hadoop-env.sh文件,配置hadoop使用的JAVA:

Ubuntu 16.04 安装配置 Hadoop集群

创建NameNode和DataNode目录:

Hadoop的配置文件较多,我的配置如下。

hadoop-2.7.3/etc/hadoop/core-site.xml:

hadoop-2.7.3/etc/hadoop/hdfs-site.xml:

hadoop-2.7.3/etc/hadoop/yarn-site.xml:

master主机:

写入:

写入:

slave主机:

写入:

#5 运行hadoop

格式化HDFS,只执行一次:

启动 NameNode、DataNode、ResourceManager和NodeManager服务:

查看运行的服务:

master运行的服务:

Ubuntu 16.04 安装配置 Hadoop集群

slave1运行的服务:

Ubuntu 16.04 安装配置 Hadoop集群

使用浏览器访问:http://master(192.168.0.101):50070/dfshealth.html,查看NameNode状态。

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注