Hadoop2.x在Ubuntu系统中编译源码

本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点:

[一]、基础环境

  • Ubuntu 12.04 LTS 64  位
  • Hadoop2.2.0
  • Java version: 1.7.0_55
  • Apache Maven 3.2.1

[二]、[……]

Read more

Ubuntu设置默认jdk

JAVA_HOME=/usr/lib/jvm/jdk1.7.0_55/ 为例:

配置完成后执行 java -version 验证是否成功。

—————–  EOF @Michael Sun —————–

Ubuntu12.04中Eclipse安装svn插件问题

一般Ubuntu12.04中Eclipse安装svn插件经常碰到两种问题:

  1. Failed to load JavaHL Library.
  2. ubuntu Incompatible JavaHL library loaded.  1.8.x or later required

以我的环[……]

Read more

eclipse中开发Hadoop2.x的Map/Reduce项目

eclipse-mr-01

本文演示如何在Eclipse中开发一个Map/Reduce项目:

1、环境说明

Read more

Hadoop2.x eclipse plugin插件编译安装配置

hadoop2x-eclipse-plugin-01

本文主要讲解如何编译安装配置 Hadoop2.x eclipse plugin插件的详细过程:

  • 环境参数
  • 编译过程
  • 安装配置

[一]、环境参数

  • Eclipse Juno Service Release 2
  • Hadoop2.2.0
  • Java 1.6.0_65
  • [……]

Read more

maven编译Spark源码

Spark 源码除了用 sbt/sbt assembly 编译,也可用Maven进行编译,具体步骤如下:

1、配置Maven 的参数

如果不配置Maven参数,编译时会看到类似如下的错误信息:
[crayon-590424[……]

Read more

java.net.ConnectException: to 0.0.0.0:10020 failed on connection exception

在DataNode节点中的Hive CLI中执行 select count(*) from table_name 查询时报错:

从错误信息中需要访问端口 10020 可以大概看出,DataNode 需要访问 MapReduce J[……]

Read more

ERROR tool.ImportTool: Imported Failed: Attempted to generate class with no columns!

Sqoop 把数据从Oracle中迁移到Hive中时发生错误:

这个原因是因为:-username micmiu 用户名这个参数, 需要把用户名大写:-username MICMIU ,再执行就ok了。

—————–  EO[……]

Read more

Spark编译安装和运行

本文记录Spark编译安装和演示简单demo的详细过程:

  • 环境说明
  • 编译安装
  • Local模式运行demo

[一]、环境说明

  • Mac OSX 10.9.2
  • Java  1.6.0_65
  • Spark 0.9.1

[二]、编译安装

从Spark的官方地址下[……]

Read more

Sqoop安装配置及演示

Sqoop是一个用来将Hadoop(Hive、HBase)和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL ,Oracle ,Postgres等)中的数据导入到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。

Sqoop目前已经是Apache[……]

Read more

第 4 页,共 31 页« 最新...23456...102030...最旧 »