CentOS 7 安装 Hadoop(单节点)

Hadoop是一个由Apache基金会所开发的开源分布式系统基础框架,使用Java开发,是处理大规模数据的软件平台。Hadoop可以从单一节点扩展到上千节点。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

CentOS 7 安装 Hadoop

#1 安装Java JDK

由于Hadoop使用Java编写,要运行它我们需要安装Java运行环境。从Oracle下载jdk rpm包:

安装下载的jdk:

查看java版本:

#2 创建一个新用户

设置密码:

#3 下载Hadoop

下载最新的二进制包:

解压下载的tar包:

移动到/opt目录:

更改目录所有者为hadoop:

#4 配置hadoop

登录hadoop用户:

添加环境变量,编辑.bash_profile文件:

在文件尾写入:

使新添加的环境变量:

编辑hadoop-env.sh文件:

找到如下一行:

改为:

编辑core-site.xml文件:

CentOS 7 安装 Hadoop(单节点)

configuration中的内容:

编辑hdfs-site.xml文件:

configuration中的内容:

创建目录:

创建mapred-site.xml文件:

编辑mapred-site.xml文件:

configuration中的内容:

编辑yarn-site.xml文件:

configuration中的内容:

上面配置了Hadoop单节点;

初始化HDFS文件系统:

CentOS 7 安装 Hadoop(单节点)

Hadoop相关的执行脚本:

CentOS 7 安装 Hadoop(单节点)

启动Hadoop服务:

启动YARN:

查看服务运行状态:

CentOS 7 安装 Hadoop(单节点)

#5 测试

默认情况下,Hadoop namenode服务使用50070端口:

CentOS 7 安装 Hadoop(单节点)

Hadoop All Applications,访问:

CentOS 7 安装 Hadoop(单节点)

查看NodeManager信息:

CentOS 7 安装 Hadoop(单节点)

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注