第3-1 章在idea运行hdfs

分享未结  0  1000

李延 LV6 2021-09-19

悬赏：20积分

# 说明

本次主要为在idea中运行hdfs。使我们可以在idea中debug 源码。这次主要运行namdNode和datgaNode两个进程，是我们可以创建一个最基本的hdfs运行环境。

# 运行主函数

我们要运行的这两个进程都在hadoop-hdfs-project 中 hadoop-hdfs 中的下面两个类中

-org.apache.hadoop.hdfs.server.datanode.DataNode
-org.apache.hadoop.hdfs.server.namenode.NameNode

# 修改pom文件

pom文件需要修改两处地方

1. 修改所有 <scope>provided</scope> 为  <scope>compile</scope>
2. 添加 hadoop-project-dist 依赖

```java

<dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-project-dist</artifactId>
      <version>3.3.1</version>
    </dependency>
```

# 添加配置文件

添加两个配置文件

- log4j.xml
- core-site.xml

其中log4j.xml为日志配置。core-site.xml中需要配置fs.defaultFS和hadoop.tmp.dir 可以参考服务器上的配置

# 添加webapps

将resources 外面的webapps 添加到resources内.这样我们的idea才能加载到

# 启动服务

## 初始化

我们在部署hadoop开始是，初始化了namenode。同样这里我们也要进行初始化

在执行NameNode类的主函数，添加参数：-format

![12ef3fca971ac24fc2b0a1cc39d81a6b.png](evernotecid://78108361-9B48-4A27-A0A0-BA71D7B0A819/appyinxiangcom/36326952/ENResource/p80)

## 启动服务

执行NameNode和DataNode两类的主函数，不添加任何参数。

访问页面：http://127.0.0.1:9870/

我们可以看到datanode和NameNode的情况

回帖

消灭零回复

第3-1 章 在idea运行hdfs

第3-1 章在idea运行hdfs