Skip to content

天楚锐齿

人工智能 云计算 大数据 物联网 IT 通信 嵌入式

天楚锐齿

  • 下载
  • 物联网
  • 云计算
  • 大数据
  • 人工智能
  • Linux&Android
  • 网络
  • 通信
  • 嵌入式
  • 杂七杂八

HBase和Hadoop增加 Snappy压缩

2018-03-14

# tar -zxvf snappy-1.0.5.tar.gz
# ./configure
# make
# make install

# vi /etc/ld.so.conf.d/snappy.conf
/usr/local/lib

# ldconfig
# ldconfig -p |grep snappy
# ldconfig -v |grep snappy

下面两行可以防止在不同的操作系统下hadoop原来自带的snappy native库不能使用的问题:
# cp -P /usr/local/lib/libsnappy* $HADOOP_HOME/lib/native/Linux-amd64-64/
# cp -P /usr/local/lib/libsnappy* $HBASE_HOME/lib/native/Linux-amd64-64/

# vi $HADOOP_HOME/conf/core-site.xml
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

# vi $HADOOP_HOME/conf/mapred.xml
<property>
<name>mapred.output.compression.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
<description>If the job outputs are compressed, how should they be compressed?
</description>
</property>

<property>
<name>mapred.compress.map.output</name>
<value>true</value>
<description>Should the outputs of the maps be compressed before being
sent across the network. Uses SequenceFile compression.
</description>
</property>

<property>
<name>mapred.map.output.compression.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
<description>If the map outputs are compressed, how should they be
compressed?
</description>
</property>

<property>
<name>mapred.output.compress</name>
<value>true</value>
<description>Should the job outputs be compressed?
</description>
</property>

要把$HADOOP_HOME/conf加入hbase-env.sh,HADOOP_HOME必须是绝对路径:
# vi hbase-env.sh
export HADOOP_HOME=/data1/oHive/hadoop-0.20.2-cdh3u2
export HBASE_CLASSPATH=${HADOOP_HOME}/conf

测试:
# ./hbase org.apache.hadoop.hbase.util.CompressionTest file:///tmp/aaa snappy

# ./hbase shell
hbase(main):003:0> create ‘t1’, { NAME => ‘cf1’, COMPRESSION => ‘SNAPPY’ }
hbase(main):004:0> describe ‘t1’
DESCRIPTION                                                                           ENABLED
{NAME => ‘t1’, FAMILIES => [{NAME => ‘cf1’, BLOOMFILTER => ‘NONE’, REPLICATION_SCOPE true
=> ‘0’, COMPRESSION => ‘SNAPPY’, VERSIONS => ‘3’, TTL => ‘2147483647’, BLOCKSIZE =>
‘65536’, IN_MEMORY => ‘false’, BLOCKCACHE => ‘true’}]}
1 row(s) in 0.5370 seconds
hbase(main):014:0> put ‘t1’, ‘r1’, ‘cf1’, ‘1234’
hbase(main):020:0> put ‘t1’, ‘r2’, ‘cf1’, ‘1234’
hbase(main):016:0> get ‘t1’, ‘r1’
COLUMN                             CELL
cf1:                              timestamp=1347353707019, value=1234
1 row(s) in 0.0900 seconds
hbase(main):021:0> get ‘t1’, ‘r2’
COLUMN                             CELL
cf1:                              timestamp=1347353737455, value=1234
1 row(s) in 0.0870 seconds

 

866次阅读

Post navigation

前一篇:

iozone进行linux下的硬盘性能测试

后一篇:

Ubuntu安装之后:修改root密码、开启sshd、sudo免密码、修改IP地址

发表回复 取消回复

您的电子邮箱地址不会被公开。 必填项已用*标注

个人介绍

需要么,有事情这里找联系方式:关于天楚锐齿

=== 美女同欣赏,好酒共品尝 ===

微信扫描二维码赞赏该文章:

扫描二维码分享该文章:

分类

  • Linux&Android (79)
  • Uncategorized (1)
  • 下载 (28)
  • 云计算 (37)
  • 人工智能 (8)
  • 大数据 (25)
  • 嵌入式 (34)
  • 杂七杂八 (34)
  • 物联网 (59)
  • 网络 (23)
  • 通信 (21)

归档

近期文章

  • SpringBoot把本地的第三方jar文件打包进jar包
  • 使用Python渲染OpenGL的.obj和.mtl文件
  • 用LVGL图形库绘制二维码
  • Android使用Messenger和SharedMemory实现跨app的海量数据传输
  • CAN信号的c语言解析代码

近期评论

  • linux爱好者发表在《Linux策略路由及iptables mangle、ip rule、ip route关系及一种Network is unreachable错误》
  • maxshu发表在《使用Android的HIDL+AIDL方式编写从HAL层到APP层的程序》
  • Ambition发表在《使用Android的HIDL+AIDL方式编写从HAL层到APP层的程序》
  • Ambition发表在《使用Android的HIDL+AIDL方式编写从HAL层到APP层的程序》
  • maxshu发表在《Android9下用ethernet 的Tether模式来做路由器功能》

阅读量

  • 使用Android的HIDL+AIDL方式编写从HAL层到APP层的程序 - 17,817次阅读
  • 卸载深信服Ingress、SecurityDesktop客户端 - 12,653次阅读
  • 车机技术之Android Automotive - 6,808次阅读
  • 车机技术之车规级Linux-Automotive Grade Linux(AGL) - 6,166次阅读
  • 在Android9下用ndk编译vSomeIP和CommonAPI以及使用例子 - 5,955次阅读
  • Linux策略路由及iptables mangle、ip rule、ip route关系及一种Network is unreachable错误 - 5,916次阅读
  • linux下的unbound DNS服务器设置详解 - 5,785次阅读
  • linux的tee命令导致ssh客户端下的shell卡住不动 - 5,287次阅读
  • 车机技术之360°全景影像(环视)系统 - 5,056次阅读
  • Windows下安装QEMU并在qemu上安装ubuntu和debian - 4,994次阅读

其他操作

  • 登录
  • 条目feed
  • 评论feed
  • WordPress.org

联系方式

地址
深圳市科技园

时间
周一至周五:  9:00~12:00,14:00~18:00
周六和周日:10:00~12:00

标签

android AT命令 CAN centos Hadoop hdfs ip kickstart linux mapreduce mini6410 modem nova openstack os python socket ssh uboot 使用 内核 协议 安装 嵌入式 性能 报表 授权 操作系统 数据 月报 模型 汽车 测试 深信服 深度学习 源代码 神经网络 统计 编译 脚本 虚拟机 调制解调器 车机 迁移 金融
© 2023 天楚锐齿