java.lang.NoSuchMethodError: org.eclipse.jdt.internal.compiler.CompilationResult.getProblems()

最普通的web项目增加hadoop、hive 相关jar包后,打开页面报错:

查资料应该是Hadoop相关jar中依赖jetty、servlet等第三方jar包和当前项目中的有冲突,在pom文件中排除这些jar包后,启动访问页面就[……]

Read more

Hadoop在Map阶段获取当前split的文件名

在mapper处理阶段中有时候我们需要获取当前正在处理的HDFS文件名/HDFS目录名,其实我们可以通过 Context 来获取相关参数,代码类似如下:

输出的日志信息如下:
[crayon-584a45eeab6bc96950[……]

Read more

hadoop多硬盘配置注意点

[一]、实验环境

1.1、环境

  • hadoop 2.6.0
  • namenode 2个  各增加 2个1T硬盘
  • datanode   3个  各增加3个1T硬盘

1.2、挂载硬盘

  • fdisk    分区 (输入m—n—p—1–回车—回车—p—w[……]

Read more

Hadoop修改配置PID文件路径

[一]、 概述

Hadoop启动后的PID文件默认配置是保存在 /tmp 目录下的,而linux下 /tmp 目录会定时清理,所以在集群运行一段时间后如果在停Hadoop相关服务是会出现类似:no datanode to stop 的错误提示,一般生产环境中我们需要重新修改PID的保存路径。[……]

Read more

HBase安装配置snappy压缩算法

[一]、前提

首先是snappy编译安装和hadoop-snappy编译,这个可以直接参考: Hadoop安装配置snappy压缩,所有前提准备好后,HBase上安装配置snappy压缩算法就相对简单多了。

[二]、实验环境

角色
OS(系统)
JDK

Mas[……]

Read more

Hadoop安装配置snappy压缩

本文的主要详细介绍hadoop2.x中snappy压缩算法安装配置的详细步骤。

[一]、  实验环境

  • CentOS 6.3 64位
  • Hadoop 2.6.0
  • JDK 1.7.0_75

[二]、  snappy编译安装

2.1、下载源码

到官网 http://c[……]

Read more

Happy New Year!

2015-01-14 173640

好久不见,祝大家新年快乐~

2015-01-14 173640

HBase+Hadoop2 NN HA+Zookeeper独立安装的整合

Hadoop2 NN HA+Zookeeper独立安装的步骤参见:http://www.micmiu.com/bigdata/hadoop/hadoop2-cluster-ha-setup/ ,本文HBase的整合是在此环境搭建好的基础上进行的。

1、各节点的角色分配

hostn[……]

Read more

Hadoop2分布式及NN和RM实现HA的实验

目录结构

  • 引言
  • 实验环境
  • 实验过程
  • 演示demo

[一]、 引言

在Hadoop2.x初期的时候写过一篇 hadoop 2.2.0 集群模式安装配置和测试,记录了分布式搭建的最基本的搭建步骤和运行演示,那篇文章中没有对HA的配置做实验,本文会详细介绍 Hadoop2的[……]

Read more

ansible requires a json module, none found

ansible 执行操作后看到日志有错误提示如下:

原因是python版本过,解决办法是:升级python 或者 安装python-simplejson。

 

—————–  EOF @Michael Sun[……]

Read more

第 1 页,共 31 页12345...102030...最旧 »