在mapper处理阶段中有时候我们需要获取当前正在处理的HDFS文件名/HDFS目录名，其实我们可以通过 Context 来获取相关参数，代码类似如下：
[crayon-662ccf9a6c8946[……]
分类存档: Hadoop
Hadoop在Map阶段获取当前split的文件名
作者: Michael
日期: 2015 年 3 月 30 日
没有评论 | 2,506 views
hadoop多硬盘配置注意点
作者: Michael
日期: 2015 年 3 月 30 日
没有评论 | 2,254 views
Hadoop修改配置PID文件路径
作者: Michael
日期: 2015 年 3 月 24 日
没有评论 | 5,695 views
[一]、 概述
Hadoop启动后的PID文件默认配置是保存在 /tmp 目录下的，而linux下 /tmp 目录会定时清理，所以在集群运行一段时间后如果在停Hadoop相关服务是会出现类似：n[......]
Hadoop安装配置snappy压缩
作者: Michael
日期: 2015 年 3 月 18 日
2 条评论 | 18,408 views
本文的主要详细介绍hadoop2.x中snappy压缩算法安装配置的详细步骤。
[一]、 实验环境
- CentOS 6.3 64位
- Hadoop 2.6.0
- JDK 1.7.0_[……]
Hadoop2分布式及NN和RM实现HA的实验
作者: Michael
日期: 2015 年 2 月 4 日
没有评论 | 6,109 views
Hadoop2.x在Ubuntu系统中编译源码
作者: Michael
日期: 2014 年 4 月 22 日
没有评论 | 3,623 views
本文主要记录Hadoop2.x在Ubuntu 12.04下编译源码的主要步骤和注意点：
［一］、基础环境
- Ubuntu 12.04 LTS 64 位
- Hadoop2.2.0
- J[……]
eclipse中开发Hadoop2.x的Map/Reduce项目
作者: Michael
日期: 2014 年 4 月 15 日
没有评论 | 3,980 views
本文演示如何在Eclipse中开发一个Map/Reduce项目：
1、环境说明
- Hadoop2.2.0
- Eclipse Juno SR2
- Hadoop2.x-eclipse-pl[……]
Hadoop2.x eclipse plugin插件编译安装配置
作者: Michael
日期: 2014 年 4 月 15 日
没有评论 | 8,554 views
hadoop 2.2.0 集群模式安装配置和测试
作者: Michael
日期: 2014 年 1 月 22 日
5 条评论 | 13,288 views
本文详细记录Hadoop 2.2.0 集群安装配置的步骤，并运行演示一个简单的job。基本目录结构如下：
- 环境准备
- Hadoop安装配置
- 启动及演示
[一]、环境准备
本文所有集群节点的操[……]
hadoop 2.2.0 单节点安装和测试
作者: Michael
日期: 2014 年 1 月 19 日
8 条评论 | 5,097 views
本文是详细记录Hadoop 2.2.0 在Mac OSX系统下单节点安装配置启动的详细步骤，并且演示运行一个简单的job。目录结构如下：
- 基础环境配置
- Hadoop安装配置
- 启动及[……]
近期评论