maven编译Spark源码

Spark 源码除了用 sbt/sbt assembly 编译,也可用Maven进行编译,具体步骤如下:

1、配置Maven 的参数

如果不配置Maven参数,编译时会看到类似如下的错误信息:

2、执行编译命令

对于Apache Hadoop versions 1.x, Cloudera CDH MRv1, and other Hadoop versions without YARN等版本用命令:

对于Apache Hadoop 2.x, 0.23.x, Cloudera CDH MRv2, and other Hadoop versions with YARN 等版本需要开启 “yarn-alpha” or “yarn” 属性配置,并且要指定 “hadoop.version”, “yarn.version” 的属性值:

我们以Hadoop2.2.0为例,详细过程如下:

参考:

https://spark.apache.org/docs/latest/building-with-maven.html

—————–  EOF @Michael Sun —————–

原创文章,转载请注明: 转载自micmiu – 软件开发+生活点滴[ http://www.micmiu.com/ ]

本文链接地址: http://www.micmiu.com/bigdata/spark/spark-building-with-maven/

发表评论?

0 条评论。

发表评论


注意 - 你可以用以下 HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">