Spark编译安装和运行

本文记录Spark编译安装和演示简单demo的详细过程:

  • 环境说明
  • 编译安装
  • Local模式运行demo

[一]、环境说明

  • Mac OSX 10.9.2
  • Java  1.6.0_65
  • Spark 0.9.1

[二]、编译安装

从Spark的官方地址下载源码包:spark-0.9.1.tgz ,解压编译

该版本默认hadoop的版本是1.0.4 ,如果需要指定hadoop版本,比如2.2.0需要执行如下编译命令:

ps:如果之前执行过编译,需要执行 ./sbt/sbt clean  清理后才能重新编译。

默认版本的编译过程日志:

启动Spark shell: ./bin/spark-shell

ps:看到日志信息包含:Unable to load realm info from SCDynamicStore ,在Mac OSX需要修改jvm参数,vi <SPARK_HOME>conf/spark-env.sh :

[三]、Local模式运行demo

运行官方实现逻辑递归的demo:./bin/run-example org.apache.spark.examples.SparkLR local[2]

参考:

  • https://spark.apache.org/screencasts/1-first-steps-with-spark.html

本文介绍到此结束。

—————–  EOF @Michael Sun —————–

原创文章,转载请注明: 转载自micmiu – 软件开发+生活点滴[ http://www.micmiu.com/ ]

本文链接地址: http://www.micmiu.com/bigdata/spark/spark-build-run/

发表评论?

0 条评论。

发表评论


注意 - 你可以用以下 HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">