[Vmware + CentOS 7.9]部署测试环境 Hadoop 服务！

环境准备

1. Vmware 17软件（如果没有安装，下面有链接教程）
2. Centos 7.9系统（如果没有安装，下面有链接教程）
3. Hadoop 3.3 文件
4. Java 8 文件（如果没有安装，下面有链接教程）
5. Xshell 和 Xftp 软件

VMware17 软件下载

4个月前

0447

【手残党推荐】VMware安装CentOS系统图文教程

3个月前

0497

[服务器环境部署 + 详细教程] Java 环境的配置！

2个月前

04911

基础工具

使用 yum update -y 命令进行更新系统！

等待更新完成后，使用命令 yum install -y wget tar ssh rsync vim 安装基础工具

Hadoop下载

wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

至此，安装就已经准备就绪！

安装教程

使用 sudo useradd hadoop 命令，创建专用的 Hadoop 用户

使用 sudo passwd hadoop 命令为该用户设置登录密码！

注意：输入密码时，命令行是没有变化的！

使用 sudo usermod -aG wheel hadoop 命令赋予 该用户为 root 权限！

配置其用户为免密登录，依次执行以下命令！

su - hadoop                                      # 切换用户
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh localhost                                     # 验证免密登录（首次需输入yes）

安装Java 8 环境：

[服务器环境部署 + 详细教程] Java 环境的配置！

2个月前

04911

将下载的文件使用 xftp 软件上传至系统中，这里需要注意一下文件存放的位置！

注意：如果是通过 直链【VIP版本】下载的文件为 .zip 后缀的，需要先解压在上传！

接下来打开 xshell 软件，登录到系统中，使用 cd /opt 命令切换到文件存放的路径。

使用 sudo tar -xzvf hadoop-3.3.6.tar.gz -C /usr/local 命令进行解压文件。

然后我们使用命令 sudo mv /usr/local/hadoop-3.3.6 /usr/local/hadoop 将解压的文件移动到 /usr/local/hadoop 路径下的文件夹中。

使用 sudo chown -R hadoop:hadoop /usr/local/hadoop 命令，修改文件的拥有者

接下来使用 vi ~/.bashrc 命令进行配置环境变量

进入文件后，将光标移至最后一行，按 i 键进行编辑！

在文件中输入以下内容！

export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"  # 解决本地库警告 

最后按 ESC 键，输入 :wq 命令并回车退出编辑页面。

使用命令 source ~/.bashrc 进行设置并运用环境变量。

使用 vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh 编辑文件！

在文件的最后面加入以下配置信息！

export JAVA_HOME=$(dirname $(dirname $(readlink -f $(which java))))

使用 vim $HADOOP_HOME/etc/hadoop/core-site.xml 编辑文件！

在文件的最后面加入以下配置信息！

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

使用 vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml 编辑文件！

在文件的最后面加入以下配置信息！

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>  <!-- 单机副本数设为1 -->
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///usr/local/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///usr/local/hadoop/data/datanode</value>
    </property>
</configuration>

使用命令 mkdir -p $HADOOP_HOME/data/{namenode,datanode} 创建数据目录

启动与检查

至此就安装完成了，现在进行启动，检查是否安装成功！

使用命令 hdfs namenode -format 格式化HDFS（仅首次执行）

使用命令 start-dfs.sh 启动 HDFS 服务！

验证服务状态：（四选一）

1. 进程检查
2. HDFS 状态报告
3. Web UI 访问
4. 运行测试任务

使用命令 jps 验证服务状态！（应显示 NameNode、DataNode、SecondaryNameNode）

使用命令 hdfs dfsadmin -report 查看 HDFS 状态报告！

在浏览器中输入 http://<服务器IP>:9870（若本地访问可替换为localhost）进行访问！

运行测试任务！

hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar pi 2 4

注意

如果是在 VMware 中进行部署的，并且在使用 Web UI 进行访问时，如果访问不了，需要在 虚拟网络编辑器 中进行配置！

具体步骤如下：

在顶部工具选项栏中找到 编辑 => 虚拟网络编辑器 点击进去！

如果一开始显示的是这样的界面，需要点击如图中所示的位置进行授予 管理员权限 ！

等待一会，就能正常显示出我们需要配置的选项！

然后按照步骤进行操作！

最后，填写如图所示的位置，进行填写相关信息！

主机端口：固定的 9870 （为 Hadoop 服务的端口，由内到外进行映射）

类型：不用改！

虚拟机 IP 地址：你虚拟机的 IP 地址！

虚拟机端口：固定的 9870 （为 Hadoop 服务的端口）

如果还不能正常访问到网站，可能防火墙没有开放端口或是关闭防火墙！

具体步骤：（二选一）

• 关闭防火墙，命令：systemctl stop firewalld
• 开放端口：

使用下面命令依次执行！

sudo firewall-cmd --permanent --add-port=9870/tcp
sudo firewall-cmd --permanent --add-port=9864/tcp
sudo firewall-cmd --reload