hadoop 集群安装

分享未结  0  919

李延 LV6 2021-09-13

悬赏：20积分

# 说明

本次集群部署方案是固定的节点方式，我们将namenode固定在第一台机器上，resourceManage 固定在第二台机器上，这样导致对应机器出现故障后，故障没办法转移。导致服务器不可用。

具体改进方案我们在后续说明
参考：[https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html](https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html)
# 1. 设置ssh免密

本地客户端生成公私钥：（一路回车默认即可）

ssh-keygen

上面这个命令会在用户目录.ssh文件夹下创建公私钥

cd ~/.ssh

下创建两个密钥：

id_rsa （私钥）
    id_rsa.pub (公钥)

创建authorized_keys文件，将几台服务器的公钥添加到这个文件中，并将3个文件添加到3台服务器上

cd ~/.ssh
    vim authorized_keys 
    
    
    
# 2. 程序下载

[https://dlcdn.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz](https://dlcdn.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz)

# 3. 设置环境变量

需要设置的有 HADOOP_HOME、JAVA_HOME

其中hadoop文件下的bin和sbin需要设置到path中

# 4. 服务编排

![dbb38475197274f1498556c0475e882f.png](//cdn.hiboot.cn/226ee0a4834744529d87d27aed3d58de.png)

# 5. 文件配置说明
![99e0598852eb63fc23e329eb0118b838.png](//cdn.hiboot.cn/c044c4fe9d0e4087b94639e8888b3b7a.png)
![63cb11030f728c819896cfb331231d64.png](//cdn.hiboot.cn/620572b17527422eb1ff2c79732cba9c.png)

# 6.根据服务编排修改配置文件

core-site.xml

```xml

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://node-1:8020</value>
 </property>

<property>
   <name>hadoop.tmp.dir</name>
   <value>/work/hadoop-3.3.1/data/hdfs</value>
   <description>A base for other temporary directories.</description>
 </property>

<property>
   <name>hadoop.http.staticuser.user</name>
   <value>appuser</value>
 </property>

```

hdfs-site.xml

```xml

<property>
 <name>dfs.replication</name>
   <value>1</value>
 </property>
 <property>
  <name>dfs.namenode.http-address</name>
   <value>node-1:9870</value>
 </property>
 <property>
  <name>dfs.namenode.secondary.http-address</name>
   <value>node-3:9870</value>
 </property>

```

yarn-site.xml

```xml
 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
 
 <property>
 <name>yarn.resourcemanager.hostname</name>
   <value>node-2</value>
 </property>

```

# 7. 启动

参考：[https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html](https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html)

格式化文件系统：

$ bin/hdfs namenode -format
  
  
  
启动 NameNode 守护进程和 DataNode 守护进程：

$ sbin/start-dfs.sh
      
      
 YARN
 
    sbin/start-yarn.sh
 
 
 # 8. 异常
 
 
 ## 8.1 用户异常
 [https://www.cnblogs.com/nihilwater/p/13849396.html](https://www.cnblogs.com/nihilwater/p/13849396.html)
 
 
 ```java

Starting datanodes
ERROR: Attempting to operate on hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.
Starting secondary namenodes [node-3]
ERROR: Attempting to operate on hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.

```

输入如下命令，在环境变量中添加下面的配置

vi /etc/profile

然后向里面加入如下的内容

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
输入如下命令使改动生效

source /etc/profile

## 8.2 java_home 异常
[https://developer.aliyun.com/article/288461](https://developer.aliyun.com/article/288461)

解决办法：

修改/etc/hadoop/hadoop-env.sh中设JAVA_HOME。

应当使用绝对路径。

export JAVA_HOME=$JAVA_HOME                  //错误，原来就这样的 不该就报错

export JAVA_HOME=/usr/java/jdk1.6.0_45        //正确，应该这么改

回帖

消灭零回复