HBase安装配置snappy压缩算法

[一]、前提

首先是snappy编译安装和hadoop-snappy编译,这个可以直接参考: Hadoop安装配置snappy压缩,所有前提准备好后,HBase上安装配置snappy压缩算法就相对简单多了。

[二]、实验环境

角色 OS(系统) JDK
Master CentOS 6.3 1.7.0_75
RegionServer CentOS 5.8 1.7.0_75
RegionServer CentOS 5.8 1.7.0_75
RegionServer CentOS 5.8 1.7.0_75

PS:正因为 Master和 RegionServer 的操作系统版本不一样,所以需要在各自的系统下重新编译相关软件生成本地动态库。

[三]、安装配置

3.1、配置本地动态库

把 hadoop的动态库 ($HADOOP_HOME/lib/native 目录下所有文件 ) 和 hadoop-snappy的动态库 ($HADOOP-SNAPPY_CODE_HOME/target/hadoop-snappy-0.0.1-SNAPSHOT/lib/native/Linux-amd64-64 文件夹)  复制到 $HBASE_HOME/lib/native 目录。

PS: CentOS 5.8中需要把 hadoop-snappy 的动态库直接放在 $HBASE_HOME/lib/native  根目录下才生效(CentOS 6.3 可以放在$HBASE_HOME/lib/native/Linux-amd64-64),这个原因还没有查明。

3.2、配置环境变量 $HBASE_HOME/conf/hbase-env.sh

可以用命令验证本地库配置是否正确:

3.3、全部节点配置完成后,重启hbase即可

[四]、验证成功

4.1、自带的CompressionTest 测试snappy

看到运行日志没有错误,最后输出 SUCCESS 只能表示本机基本安装配置成功。

4.2、验证集群

创建snappy压缩格式的表进行常规基本CRUD的操作,执行过程都正常才真正表示hbase集群环境中配置snappy压缩算法成功。

—————–  EOF @Michael Sun —————–

原创文章,转载请注明: 转载自micmiu – 软件开发+生活点滴[ http://www.micmiu.com/ ]

本文链接地址: http://www.micmiu.com/bigdata/hbase/hbase-snappy-install-config/

发表评论?

0 条评论。

发表评论


注意 - 你可以用以下 HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">