eclipse中开发Hadoop2.x的Map/Reduce项目

本文演示如何在Eclipse中开发一个Map/Reduce项目:

1、环境说明

2、新建MR工程

依次点击 File → New → Ohter…  选择 “Map/Reduce Project”,然后输入项目名称:micmiu_MRDemo,创建新项目:

eclipse-mr-01

eclipse-mr-02

3、创建Mapper和Reducer
依次点击 File → New → Ohter… 选择Mapper,自动继承Mapper<KEYIN, VALUEIN, KEYOUT, VALUEOUT>

eclipse-mr-03

eclipse-mr-04

创建Reducer的过程同Mapper,具体的业务逻辑自己实现即可。

本文就以官方自带的WordCount为例进行测试:

4、准备测试数据

micmiu-01.txt:

micmiu-02.txt:

micmiu-03.txt:

把 micmiu 打头的三个文件上传到hdfs:

5、配置运行参数
Run As → Run Configurations… ,在Arguments中配置运行参数,例如程序的输入参数:

eclipse-mr-05

6、运行
Run As -> Run on Hadoop ,执行完成后可以看到如下信息:

eclipse-mr-06

到此Eclipse中调用Hadoop2x本地伪分布式模式执行MR演示成功。

ps:调用集群环境MR运行一直失败,暂时没有找到原因。

—————–  EOF @Michael Sun —————–

原创文章,转载请注明: 转载自micmiu – 软件开发+生活点滴[ http://www.micmiu.com/ ]

本文链接地址: http://www.micmiu.com/bigdata/hadoop/hadoop2x-eclipse-mapreduce-demo/

发表评论?

0 条评论。

发表评论


注意 - 你可以用以下 HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">