【翻译】hbase installation

原文:(安装)http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_hbase_install.html

(BlockCache)http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/admin_hbase_blockcache_configure.html

Installing HBase(安装Hbase)

配置HBase(Configuration Settings for HBase)

使用hdfs的线程数参数(Using dfs.datanode.max.transfer.threads with HBase)

HDFS datanode有最大伺服文件数限制。该上限由dfs.datanode.max.transfer.threads参数控制。在加载HBase之前,确认已经在$HADOOP_HOME/conf/hdfs-site.xml文件中配置了该参数:

将配置文件发送到集群,并重启HDFS以生效。

否则会报与block相关的奇怪错误。

配置HBase的BlockCache(Configuring the HBase BlockCache)

扩展阅读:

堆内存与堆外内存:http://bananalighter.com/java-off-heap-on-heap/

块缓存1:http://www.cnblogs.com/panfeng412/archive/2012/09/24/hbase-block-cache-mechanism.html

块缓存2:http://punishzhou.iteye.com/blog/1277141

HBase提供了堆内存及堆外内存两种块缓存的实现。

堆内存:默认的堆内存块缓存实现是LruBlockCache(java)。桶缓存可以用堆内存,也可以用堆外内存。

结合:如果操作的数据超出堆容量,可以使用桶缓存作为堆内存LruBlockCache的二级缓存(L2 cache)。这个实现在CombinedBlockCache中有涉及。

 

 

 

 

 

 

 

 

 

Leave a Comment

电子邮件地址不会被公开。 必填项已用*标注