【翻译】安装Hive

参考:http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_hive_install.html

一、安装Hive

1.安装hive包

2.配置hive组件的堆大小及垃圾回收(暂时保持默认)

 

二、配置Hive元存储

Hive元数据服务使用关系型数据库存储Hive表及分区的信息。使用元数据服务API对外提供前述信息的客户端连接。接下来的部分介绍部署选项及推荐配置。

1.元数据部署模式

嵌入式模式

hive_embeddedmetastore

 

默认安装模式。将元数据存储在derby中。数据库及及元数据服务都嵌入在HiveServer进程中,随HiveServer一起启动。这种模式配置最简单,但同时仅支持一个活动用户,不能用于生产。

本地模式

hive_localmetastore

Hive元数据服务内嵌在HiveServer中,但元数据数据库在单独进程中执行,并可以在分离的主机上。内嵌的元数据服务通过JDBC与元数据数据库通信。

远程模式(CDH推荐的生产环境部署方案)

hive_remotemetastore

元数据服务在独立的JVM进程中,HiveServer2, HCatalog, Cloudera Impala™,及其他进程与元数据服务通过网络API(通过 hive.metastore.uris 参数进行配置)通信。元数据服务通过JDBC与元数据数据库通信(通过 javax.jdo.option.ConnectionURL 参数进行配置)。元数据服务、元数据数据库及HiveServer可以在同一主机上运行,但是将HiveServer分离到单独的主机可以提供更好的可用性和扩展性。

远程模式较之本地模式先进之处在于:远程模式不需要管理员为每一个Hive用户共享JDBC登陆信息。HCatalog需要这种模式。

2.安装元数据数据库

 (1)安装mysql

 (2)创建mysql实例及账号

3.配置元数据服务相关参数(hive-site.xml)

配置连接到mysql数据库的参数。可以将此配置文件传播到每一台hive主机上。每一台Hive的相关主机(client, metastore, HiveServer)都需要配置hive.metastore.uris。该文件中其他的参数仅用于配置metastore服务所在主机。

 三、配置HiveServer2

1.向hive-site.xml添加参数

适当的配置Hive表锁管理器。这需要安装zookeeper。

2.创建hive在hdfs上的工作目录

在hdfs上创建 /user/hive/warehouse目录,并将权限修改为1777。

四、打开服务

1.启动元数据服务

在hadoop01上:

2.启动hive server2

在hadoop01~03上:

3.检查启动日志(/etc/hive/conf/hive-site.xml),没有报错则可测试hive。

五、测试使用

 1.测试连接

 2.测试执行

 

大功告成。

 

 

 

 

 

Leave a Comment

电子邮件地址不会被公开。 必填项已用*标注