原文:(安装)http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_hbase_install.html
(BlockCache)http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/admin_hbase_blockcache_configure.html
Installing HBase(安装Hbase)
1 |
[root@hadoop01 conf]# yum install hbase |
配置HBase(Configuration Settings for HBase)
使用hdfs的线程数参数(Using dfs.datanode.max.transfer.threads with HBase)
HDFS datanode有最大伺服文件数限制。该上限由dfs.datanode.max.transfer.threads参数控制。在加载HBase之前,确认已经在$HADOOP_HOME/conf/hdfs-site.xml文件中配置了该参数:
1 2 3 4 |
<property> <name>dfs.datanode.max.transfer.threads</name> <value>4096</value> </property> |
将配置文件发送到集群,并重启HDFS以生效。
否则会报与block相关的奇怪错误。
配置HBase的BlockCache(Configuring the HBase BlockCache)
扩展阅读:
堆内存与堆外内存:http://bananalighter.com/java-off-heap-on-heap/
块缓存1:http://www.cnblogs.com/panfeng412/archive/2012/09/24/hbase-block-cache-mechanism.html
块缓存2:http://punishzhou.iteye.com/blog/1277141
HBase提供了堆内存及堆外内存两种块缓存的实现。
堆内存:默认的堆内存块缓存实现是LruBlockCache(java)。桶缓存可以用堆内存,也可以用堆外内存。
结合:如果操作的数据超出堆容量,可以使用桶缓存作为堆内存LruBlockCache的二级缓存(L2 cache)。这个实现在CombinedBlockCache中有涉及。