Monthly Archive: 二月 2015

【翻译】在集群上部署MapReduce v2 (YARN)

原文:http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_yarn_cluster_deploy.html#topic_11_4

环境hadoop01~03三台机器,其中hadoop01为rm及JobHistory Server。

一、修改mapred-site.xml

在configuration之间添加内容(标明使用yarn代替MapReduce1的框架功能):

二、yarn-site.xml中一定要配的参数

1.添加以下内容以确保ResourceManager配置到正确的主机(日志位置要对应在hdfs上创建好目录,否则执行时会无报错的卡住)。

2.创建对应的hdfs上的目录

三、配置history server

如果在集群上使用YARN代替MRv1. 需要运行MapReduce JobHistory server。

1.以下是需要配置到mapred-site.xml文件的参数。

Property

Recommended value

Description

mapreduce.jobhistory.address

historyserver.company.com:10020

The address of the JobHistory Server host:port

mapreduce.jobhistory.webapp.address

historyserver.company.com:19888

The address of the JobHistory Server web applicationhost:port

In addition, make sure proxying is enabled for the mapred user; configure the following properties in core-site.xml:

2.在core-site.xml文件中配置以下参数,以确保mapred用户的代理功能可用。

Property

Recommended value

Description

hadoop.proxyuser.mapred.groups

*

Allows the mapreduser to move files belonging to users in these groups

hadoop.proxyuser.mapred.hosts

*

Allows the mapreduser to move files belonging on these hosts

JobHistory Server的参考:http://dongxicheng.org/mapreduce-nextgen/hadoop-2-0-jobhistory-log/

3.创建对应的目录

四、配置staging 目录

1.配置mapred-site.xml文件

2.创建hdfs上的目录

五、将各配置文件部署到其余两个节点

六、安装启停脚本

1.在hadoop01上安装ResourceManager的启停脚本,JobHistory Server的启停脚本

2.在hadoop01~3上安装NodeManager的启停脚本

七、启动

1.在hadoop01上启动Resource Manager

2.在hadoop01~3上启动nodemananger

3.启动JobHistory Server

三、测试yarn

1.建立测试目录及文件

2.YARN测试

3.查看结果

四、故障及排除

1.卡map0% reduce0%:

hdfs namenode -format

删除datanode在本地的存储

2.卡map 100% reduce0%

修改/etc/hosts

删掉各种域,变为:

 

 

 

linux 查看当前登陆用户 与之发信息

查看当前登陆用户:

w

比较逗趣的是可以给用户发信息

机器一

机器二