hadoop：伪分布模式参数配置指南

欢迎大家来到IT世界,在知识的湖畔探索吧!

Hadoop通过改变其配置文件来更改运行模式，我们通过修改如下四个配置文件core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml即可让Hadoop以伪分布模式运行。

Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value的方式来实现。接下来让我们开始进行hadoop的配置吧，配置之前首先启动Ubuntu虚拟机，然后打开Xshell软件并连接登录虚拟机。

欢迎大家来到IT世界,在知识的湖畔探索吧!

1、设置hadoop-env.sh配置文件

首先，我们需要修改hadoop运行相关的sh文件，以保证hadoop运行过程中能够正常使用其他软件或组件的功能，此处一般而言只需将JAVA功能添加在内既可。

cd ~/hadoop/etc/hadoop # 进入hadoop配置文件夹 vim hadoop-env.sh

在弹出的框体中输入i进入输入模式，此时可以编辑hadoop-env.sh了。

将JAVA路径写入到文件，只需修改

为如下代码

export JAVA_HOME=/usr/local/lib/jdk1.8

然后按Esc进入命令模式再输入：wq保存文件并退出。

注：后面编辑文件的操作有将不再反复赘述编辑器打开关闭过程，只对需要更改、编辑的内容进行说明。

2、配置core-site.xml文件

首先是core-site.xml，文件，该文件决定Hadoop core组件部分运行模式，在命令行中输入开始编辑文件

vim core-site.xml

在弹出的框体中输入i，然后配置如下内容

fs.default.name

hdfs://localhost:9000

编辑完成内容如下

3、配置hdfs-site.xml文件

hdfs-site.xml将决定hdfs的部分运行情况，在命令行中输入

vim hdfs-site.xml

在弹出的框体中输入配置内容

dfs.replication

1

dfs.namenode.name.dir

file:/home/hduser/tmp/dfs/name

dfs.datanode.data.dir

file:/home/hduser/tmp/dfs/data

4、配置mapred-site.xml文件

mapred-site.xml用于设置监控Map与Reduce程序的JobTracker任务分配情况以及运行情况。hadoop这里只提供了模板，可先复制再编辑，在命令行中输入

cp mapred-site.xml.template mapred-site.xml # 复制模板 vim mapred-site.xml

在弹出的框体中输入配置内容

mapreduce.framework.name

yarn

5、配置yarn-site.xml文件

在命令行中输入

vim yarn-site.xml

在弹出的框体中输入配置内容

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce_shuffle.class


org.apache.hadoop.mapred.ShuffleHandler

伪分布模式的配置内容就这里，下篇文章我们介绍如何启动单节点集群。