分类存档: Hadoop

Hadoop在Map阶段获取当前split的文件名

在mapper处理阶段中有时候我们需要获取当前正在处理的HDFS文件名/HDFS目录名,其实我们可以通过 Context 来获取相关参数,代码类似如下:
[crayon-674c9407199b97[……]

Read more

hadoop多硬盘配置注意点

[一]、实验环境

1.1、环境

  • hadoop 2.6.0
  • namenode 2个  各增加 2个1T硬盘
  • datanode   3个  各增加3个1T硬盘

1.2、挂载硬盘[……]

Read more

Hadoop修改配置PID文件路径

[一]、 概述

Hadoop启动后的PID文件默认配置是保存在 /tmp 目录下的,而linux下 /tmp 目录会定时清理,所以在集群运行一段时间后如果在停Hadoop相关服务是会出现类似:n[......]

Read more

Hadoop安装配置snappy压缩

本文的主要详细介绍hadoop2.x中snappy压缩算法安装配置的详细步骤。

[一]、  实验环境

  • CentOS 6.3 64位
  • Hadoop 2.6.0
  • JDK 1.7.0_[……]

Read more

Hadoop2分布式及NN和RM实现HA的实验

目录结构

  • 引言
  • 实验环境
  • 实验过程
  • 演示demo

[一]、 引言

在Hadoop2.x初期的时候写过一篇 hadoop 2.2.0 集群模式安装配置和测试,记录了分布式[……]

Read more

Hadoop2.x在Ubuntu系统中编译源码

本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点:

[一]、基础环境

  • Ubuntu 12.04 LTS 64  位
  • Hadoop2.2.0
  • J[……]

Read more

eclipse中开发Hadoop2.x的Map/Reduce项目

eclipse-mr-01

本文演示如何在Eclipse中开发一个Map/Reduce项目:

1、环境说明

  • Hadoop2.2.0
  • Eclipse Juno SR2
  • Hadoop2.x-eclipse-pl[……]

Read more

Hadoop2.x eclipse plugin插件编译安装配置

hadoop2x-eclipse-plugin-01

本文主要讲解如何编译安装配置 Hadoop2.x eclipse plugin插件的详细过程:

  • 环境参数
  • 编译过程
  • 安装配置

[一]、环境参数

  • Eclipse Juno[……]

Read more

hadoop 2.2.0 集群模式安装配置和测试

本文详细记录Hadoop 2.2.0 集群安装配置的步骤,并运行演示一个简单的job。基本目录结构如下:

  • 环境准备
  • Hadoop安装配置
  • 启动及演示

[一]、环境准备

本文所有集群节点的操[……]

Read more

hadoop 2.2.0 单节点安装和测试

本文是详细记录Hadoop 2.2.0 在Mac OSX系统下单节点安装配置启动的详细步骤,并且演示运行一个简单的job。目录结构如下:

  • 基础环境配置
  • Hadoop安装配置
  • 启动及[……]

Read more

第 1 页,共 2 页12