【翻译】部署hive

安装及配置Metastore:

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_hive_metastore_configure.html

安装及配置HiveServer2:

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_hiveserver2_configure.html

配置hive运行内存:

http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_hive_install.html

预安装环境参考:

yarn:http://bananalighter.com/cdh-yarn-installation/

zookeeper: http://bananalighter.com/cdh-install-zookeeper

物理环境:hadoop01、02、03三台机器。

1.Hive metastore server安装

(1) 安装hive包

选用hadoop01作为元数据服务所在机器,安装hive-metastore

yum install hive-metastore hive-server2

(2) 在hadoop02上安装metastore所用的mysql数据库

(3) 修改hive-site.xml参数

参照1-(1)表修改参数。

注意以下参数请根据自己实际情况填写,主机、账号及密码不要搞错。

javax.jdo.option.ConnectionURL jdbc:mysql://hadoop01/metastore
javax.jdo.option.ConnectionUserName hive
javax.jdo.option.ConnectionPassword yourpassword
hive.metastore.uris thrift://hadoop01:9083

(4) 创建metastore所用的mysql实例及账号

数据库的示例脚本位置为:/usr/lib/hive/scripts/metastore/upgrade/mysql/hive-schema-0.13.0.mysql.sql;

注意hive schema的版本应该与metastore一致,否则会报schema的错。

2.安装Hive server2

(1) 安装hive包

为三台测试机hadoop01~03安装hive server2。

(2) 配置到zookeeper的连接参数

参考表中的内容配置hadoop01。

与Hive server2有关的配置
hive.support.concurrency true Enable Hive’s Table Lock Manager Service
hive.zookeeper.quorum hadoop01,hadoop02,hadoop03 Zookeeper quorum used by Hive’s Table Lock Manager
hive.zookeeper.client.port 2181 The port at which the clients will connect.

然后拷贝hive-site.xml文件到hadoop02、hadoop03的对应位置。

本步骤未正确配置会引发hive server无法获得锁的错误。

3.创建Hive在hdfs上的工作目录

在hdfs上创建 /user/hive/warehouse目录,并将权限修改为1777.

该目录为hive的默认工作目录。如果需要指定,则需要在hive-site.xml文件中配置参数:hive.metastore.warehouse.dir

4.启动hive metastore及hive server2

(1) 启动metastore service

在hadoop01上执行:

(本步骤需要正确部署zookeeper,zookeeper部署参考文初链接)

(2) 启动hive server2

在hadoop01-03上执行:

(3) 检查日志

检查/var/log/hive目录下*.log文件内容有无异常、报错。有就搜索引擎解决吧。

5.使用配置

(1) reducer设置

参数:hive.exec.reducers.bytes.per.reducer

说明:每个reducer读取的字节数大小。假如输入是10G,本属性值为1G,则系统将会分配10个reducer。

修改方法:

编辑hive-site.xml,添加:

重启HiveServer2生效。

参数:mapred.reduce.tasks

说明:设置reducer任务数量。设置-1则系统自动根据情况

修改方法:

编辑hive-site.xml,添加:

重启HiveServer2生效。

(2) HiveServer2内存

拷贝/etc/hive/conf/hive-env.sh.template 为/etc/hive/conf/hive-env.sh

下面的例子配置HiveServer2及Metastore的运行内存为2G,hive client的总内存为2G

重启HiveServer2及Metastore生效。

(3) 关闭任务推测式执行

修改hive-site.xml文件,添加:

重启HiveServer2生效

修改mapred-site.xml文件,添加:

重启hadoop-yarn-resourcemanager生效

(4) cli设置

编辑hive-site.xml,添加:

展示效果:

 

 

 

 

 

Leave a Comment

电子邮件地址不会被公开。 必填项已用*标注