Hadoop 2.x build native library on Mac os x

查阅有关官方介绍 http://wiki.apache.org/hadoop/HowToContribute 中有说明:Hadoop本地库只支持*nix平台,已经广泛使用在GNU/Linux平台上,但是不支持 Cygwin  和 Mac OS X 。搜索后发现已经有人给出了Mac OSX 系统下编译生成本地库的patch,下面详细介绍在Mac OSX 平台下编译Hadoop本地库的方法。

[一]、环境说明:

  • Hadoop 2.2.0
  • Mac OS X 10.9.1

详细的环境依赖(protoc、cmake 等)参见:Hadoop2.2.0源码编译 (http://www.micmiu.com/opensource/hadoop/hadoop-build-source-2-2-0/)中介绍。

[二]、Mac OSX 编译本地库的步骤:

 1、checkout Hadoop 2.2.0的源码

2、patch 相关补丁

官方讨论地址:https://issues.apache.org/jira/browse/HADOOP-9648 里面有详细介绍

补丁下载链接:https://issues.apache.org/jira/secure/attachment/12617363/HADOOP-9648.v2.patch

ps:如果要回退patch 执行:patch -RE -p1 < HADOOP-9648.v2.patch 即可。

3、编译本地库

在Hadoop源码的根目录下执行编译本地库命令:

编译成功看到如下日志信息:

编译通过后可在 <HADOOP源码根目录>/hadoop-dist/target/hadoop-2.2.0/lib/ 目录下看到如下内容:

然后把 上面生成的本地库 copy到部署环境相应的位置,再建立软连接即可:

下载地址:http://yun.baidu.com/s/1c0jBZDQ

[三]、参考:

—————–  EOF @Michael Sun —————–

原创文章,转载请注明: 转载自micmiu – 软件开发+生活点滴[ http://www.micmiu.com/ ]

本文链接地址: http://www.micmiu.com/bigdata/hadoop/hadoop-build-native-library-on-mac-os-x/

发表评论?

14 条评论。

  1. 楼主,我编译到最后面没过,
    [INFO] Apache Hadoop Pipes ………………………….. FAILURE [ 0.627 s]
    [INFO] Apache Hadoop OpenStack support ……………….. SKIPPED
    [INFO] Apache Hadoop Amazon Web Services support ………. SKIPPED
    [INFO] Apache Hadoop Azure support …………………… SKIPPED
    [INFO] Apache Hadoop Client …………………………. SKIPPED
    [INFO] Apache Hadoop Mini-Cluster ……………………. SKIPPED
    [INFO] Apache Hadoop Scheduler Load Simulator …………. SKIPPED
    [INFO] Apache Hadoop Tools Dist ……………………… SKIPPED
    [INFO] Apache Hadoop Tools ………………………….. SKIPPED
    [INFO] Apache Hadoop Distribution ……………………. SKIPPED

    [ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.7:run (make) on project hadoop-pipes: An Ant BuildException has occured: exec returned: 1
    [ERROR] around Ant part …… @ 5:135 in /Users/wanwenqing/Hadoop/hadoop-2.7.2-src/hadoop-tools/hadoop-pipes/target/antrun/build-main.xml
    [ERROR] -> [Help 1]

    能帮忙看看吗

  2. :razz: 博主,给俺也发一份吧,下载的不好使

  3. 不知 博主有没有 2.5.0 版本的

  4. 博主能给我传一份吗,simonyy81@gmail.com,谢谢了

  5. :razz: 给我传一个吧,谢谢了,搞了2天了,还是有很多错误

  6. :razz: 你好,你的网盘下载链接失效了,能再放一个吗?

发表评论


注意 - 你可以用以下 HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">