搭建Hadoop开发环境

### 搭建Hadoop开发环境

搭建Hadoop开发环境主要分为两个部分：安装Hadoop和配置Hadoop集群。以下是基本的步骤和要点：

#### 安装Hadoop

1. **环境准备**：
   - 确保你的操作系统（如Linux）已经安装并正常运行。
   - 安装Java开发环境（JDK），因为Hadoop是用Java编写的。

2. **下载Hadoop**：
   - 访问Apache Hadoop的官方网站下载页面：[Hadoop Releases](https://hadoop.apache.org/releases.html)。
   - 选择适合你需求的版本进行下载。

3. **解压Hadoop**：
   - 将下载的Hadoop压缩包解压到一个合适的目录。

4. **设置环境变量**：
   - 将Hadoop的`bin`和`sbin`目录添加到你的系统环境变量`PATH`中，以便可以在任何位置执行Hadoop命令。

5. **验证安装**：
   - 使用`hadoop version`命令来验证Hadoop是否安装成功。

#### 配置Hadoop集群

1. **配置文件准备**：
   - Hadoop的配置文件位于Hadoop安装目录的`etc/hadoop`中。

2. **配置HDFS**：
   - 编辑`core-site.xml`文件，设置HDFS的URI，例如：
     ```xml
     <property>
       <name>fs.defaultFS</name>
       <value>hdfs://namenode:8020</value>
     </property>
     ```
   - 编辑`hdfs-site.xml`文件，配置副本策略和数据存储路径。

3. **配置YARN**：
   - 编辑`yarn-site.xml`文件，设置ResourceManager的地址和NodeManager的资源限制。

4. **配置MapReduce**：
   - 编辑`mapred-site.xml`文件，设置MapReduce作业的运行参数。

5. **格式化HDFS**：
   - 在NameNode上执行`hdfs namenode -format`命令来格式化HDFS文件系统。

6. **启动Hadoop集群**：
   - 使用`start-dfs.sh`和`start-yarn.sh`脚本启动HDFS和YARN服务。
   - 使用`jps`命令检查NameNode、DataNode、ResourceManager和NodeManager是否已经启动。

#### Hadoop的配置文件详解

Hadoop的配置文件主要位于`$HADOOP_HOME/etc/hadoop`目录下，以下是一些重要的配置文件：

1. **core-site.xml**：
   - 配置Hadoop核心设置，如HDFS的URI。

2. **hdfs-site.xml**：
   - 配置HDFS的高级设置，如副本策略、存储路径等。

3. **mapred-site.xml**：
   - 配置MapReduce作业的运行参数，如作业的默认资源需求。

4. **yarn-site.xml**：
   - 配置YARN的资源管理参数，如ResourceManager的地址、NodeManager的资源限制等。

5. **hadoop-env.sh**：
   - 配置Hadoop环境变量，如Java的安装路径。

6. **yarn-env.sh** 和 **mapred-env.sh**：
   - 分别配置YARN和MapReduce的环境变量。

7. **slaves** 或 **workers** 文件：
   - 列出所有DataNode和NodeManager的主机名。

配置文件中的每个属性都有默认值，可以根据实际需求进行调整。在配置集群时，需要确保所有节点的配置文件都同步更新，以保证集群的正常运行。