hadoop完全分布式搭建步骤

以下是hadoop完全分布式搭建的步骤：

1. 在所有节点上安装Java。确保所有节点上都已安装了相同版本的Java。

2. 下载Hadoop，并将其解压到所有节点的相同目录中。

3. 在所有节点的~/.bashrc文件中添加以下Hadoop环境变量：

export HADOOP_HOME=<hadoop_installation_directory>
export PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

4. 编辑hadoop-env.sh文件，设置JAVA_HOME环境变量。该文件位于$HADOOP_HOME/etc/hadoop目录中。

5. 在每个数据节点上创建一个目录，并将这些目录添加到hdfs-site.xml文件中：

<property>
  <name>dfs.data.dir</name>
  <value>/hadoop/data</value>
</property>

6. 在NameNode节点上编辑core-site.xml文件，并添加以下内容：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://<namenode_hostname>:9000</value>
</property>

7. 在所有节点上编辑hdfs-site.xml文件，并添加以下内容：

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>
<property>
  <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/hadoop/name</value>
</property>
<property>
  <name>dfs.datanode.hostname</name>
  <value><datanode_hostname></value>
</property>

对于NameNode节点，dfs.namenode.name.dir的值应为/hadoop/name;对于DataNode节点，dfs.namenode.name.dir的值可以为空。

8. 在所有节点上编辑hadoop-env.sh文件，并添加以下内容：

export HADOOP_HOME_WARN_SUPPRESS=true
export HADOOP_NAMENODE_OPTS="-XX:+UseParallelGC -XX:ParallelGCThreads=4 -XX:-UseAdaptiveSizePolicy -Xms2g -Xmx2g -Djava.net.preferIPv4Stack=true"
export HADOOP_DATANODE_OPTS="-XX:+UseParallelGC -XX:ParallelGCThreads=4 -XX:-UseAdaptiveSizePolicy -Xms2g -Xmx2g -Djava.net.preferIPv4Stack=true"
export HADOOP_OPTS="-Djava.net.preferIPv4Stack=true"

9. 在NameNode节点上启动HDFS服务：

hdfs namenode -format
start-dfs.sh

10. 在DataNode节点上启动HDFS服务：

start-dfs.sh

11. 使用jps命令检查Hadoop服务是否正常启动。如果一切正常，NameNode节点上应该运行NameNode和SecondaryNameNode服务，DataNode节点上应该运行DataNode服务。

这些是Hadoop完全分布式搭建的步骤。在部署前建议仔细阅读官方文档，以确保正确配置所有的参数。