HDFS分布式文件系统

### HDFS分布式文件系统

HDFS（Hadoop Distributed File System）是Hadoop项目的核心组件之一，它是一个高度可靠的、可扩展的、分布式文件系统，设计用于跨成百上千台机器存储大规模数据集。

#### HDFS架构

HDFS架构主要由以下组件构成：

1. **NameNode**：
   - 管理文件系统的命名空间和控制对文件的访问。
   - 处理客户端对文件的读写请求。
   - 维护文件系统中所有文件和目录的元数据，但不存储实际的数据。

2. **DataNode**：
   - 存储实际的数据块。
   - 响应来自NameNode的命令，如创建、删除和复制数据块。
   - 执行数据块的读写操作。

3. **Secondary NameNode**（在Hadoop 2.x中被废弃，由HA配置取代）：
   - 辅助NameNode，主要负责合并编辑日志和文件系统映像，以防NameNode故障。

4. **Client**：
   - 与NameNode和DataNode交互，执行文件操作命令。
   - 缓存文件的元数据。

#### 数据存储与复制

1. **数据块(Block)**：
   - HDFS将文件分割成一系列的数据块，默认大小为128MB（可配置）。
   - 这些数据块分散存储在集群的多个DataNode上。

2. **复制策略(Replication)**：
   - 为了提高数据的可靠性，HDFS默认为每个数据块创建三个副本。
   - 副本存储在不同的DataNode上，以防止单点故障导致数据丢失。

3. **心跳和块报告(Heartbeats and BlockReports)**：
   - DataNode定期向NameNode发送心跳信号，表明其正常运行。
   - DataNode还定期发送块报告给NameNode，列出其上存储的所有数据块。

#### HDFS的命令行操作

HDFS提供了一系列的命令行操作，用于文件和目录的管理。以下是一些基本的HDFS命令：

1. **文件系统操作**：
   - `hdfs dfs -ls <path>`：列出目录中的文件。
   - `hdfs dfs -mkdir <path>`：创建新目录。
   - `hdfs dfs -rm <path>`：删除文件或目录。

2. **文件操作**：
   - `hdfs dfs -put <localsrc> ... <dst>`：将文件从本地复制到HDFS。
   - `hdfs dfs -get <src> ... <localdst>`：将文件从HDFS复制到本地。
   - `hdfs dfs -cat <path>`：显示文件内容。
   - `hdfs dfs -copyFromLocal <localsrc> ... <dst>`：将本地文件复制到HDFS。

3. **权限和所有权**：
   - `hdfs dfs -chown <owner> <path>`：改变文件或目录的所有者。
   - `hdfs dfs -chmod <permission> <path>`：改变文件或目录的权限。

4. **查看文件系统状态**：
   - `hdfs dfsadmin -report`：显示集群状态和每个DataNode的存储情况。
   - `hdfs dfs -df -h`：显示文件系统的使用情况。

5. **快照操作**：
   - `hdfs dfs -createSnapshot <path> <snapshotName>`：创建目录的快照。

这些命令为HDFS的日常管理提供了强大的支持，使得用户可以轻松地在HDFS上进行文件操作。

当然，以下是一些常用的HDFS命令行操作示例代码：

### 文件系统操作

1. **列出目录中的文件**：
   ```shell
   hdfs dfs -ls /
   ```
   这个命令会列出HDFS根目录下的所有文件和文件夹。

2. **创建新目录**：
   ```shell
   hdfs dfs -mkdir /new_directory
   ```
   这个命令会在HDFS上创建一个名为`new_directory`的新目录。

3. **删除文件或目录**：
   ```shell
   hdfs dfs -rm -r /new_directory
   ```
   这个命令会递归地删除`new_directory`目录及其所有内容。

### 文件操作

1. **将文件从本地复制到HDFS**：
   ```shell
   hdfs dfs -put localfile.txt /user/hadoop/localfile.txt
   ```
   这个命令会将本地的`localfile.txt`文件复制到HDFS的`/user/hadoop/`目录下。

2. **将文件从HDFS复制到本地**：
   ```shell
   hdfs dfs -get /user/hadoop/localfile.txt localfile.txt
   ```
   这个命令会将HDFS上的`/user/hadoop/localfile.txt`文件复制到本地当前目录。

3. **显示文件内容**：
   ```shell
   hdfs dfs -cat /user/hadoop/localfile.txt
   ```
   这个命令会显示HDFS上`/user/hadoop/localfile.txt`文件的内容。

### 权限和所有权

1. **改变文件或目录的所有者**：
   ```shell
   hdfs dfs -chown hadoop:hadoopgroup /user/hadoop/localfile.txt
   ```
   这个命令会将`/user/hadoop/localfile.txt`文件的所有者更改为用户`hadoop`和组`hadoopgroup`。

2. **改变文件或目录的权限**：
   ```shell
   hdfs dfs -chmod 755 /user/hadoop/localfile.txt
   ```
   这个命令会将`/user/hadoop/localfile.txt`文件的权限更改为`755`。

### 查看文件系统状态

1. **显示集群状态和每个DataNode的存储情况**：
   ```shell
   hdfs dfsadmin -report
   ```
   这个命令会显示HDFS集群的详细报告，包括每个DataNode的存储使用情况。

2. **显示文件系统的使用情况**：
   ```shell
   hdfs dfs -df -h
   ```
   这个命令会以易读的格式显示HDFS文件系统的使用情况。

### 快照操作

1. **创建目录的快照**：
   ```shell
   hdfs dfs -createSnapshot /snapshotdir snapshot1
   ```
   这个命令会在`/snapshotdir`目录上创建一个名为`snapshot1`的快照。

这些示例代码提供了HDFS命令行操作的基本框架，可以根据实际的文件路径和需求进行调整。在执行这些命令之前，请确保Hadoop集群已经正确配置并且正在运行。