课程目标
适用于使用Apache Hadoop来创建开发强大的数据处理应用的各类Hadoop开发技术人员。通过本课程的学习，学员将掌握开启海量数据处理技术大门的金钥匙，为企业提供前所未有的从所有不同类型数据里挖掘商业价值的机会。
学员基础
具备编程经验的开发人员（最好是面向对象高级编程语言，譬如Java）。不需要事先掌握Hadoop相关知识。
课时
为期4天
课程内容
- Hadoop分布式文件系统（HDFS）和MapReduce的工作原理
- 如何利用JAVA API或者其他编程语言来开发MapReduce应用
- MapReduce任务开发中的注意事项
- 如何在Hadoop上实现常见算法
- Hadoop开发和调试的最佳实用经验
- 如何利用其他Hadoop相关技术，包括Apache Hive， Apache Pig，Sqoop和Oozie等
- 满足解决实际数据分析问题的高级Hadoop API
授课形式
采取教师讲解和学员上机操作相结合的形式。上机实验有机地穿插在重要课题讲解后，学员能马上学以致用，巩固刚刚所学的概念和知识，转化为自身的技能应用到实战中。我�**睦г痹诳翁蒙洗蟮ㄗ杂傻靥嵛剩褪诳谓淌谢ザ竦米畲蟮氖找妗�
认证考试
Cloudera ApacheHadoop资格开发员考试提供Hadoop上软件开发在业界唯一且最具权威性、并得到全球认可的认证。为企业提供高质量保证的Hadoop开发人员；为工程师技术人员提供了最新的技术装备，开拓了职业发展。
课程大纲
Hadoop的来源和动机
- 传统大规模系统存在的问题
- 对一种新的解决方案的需求
Hadoop基本概念
- Hadoop概述
- Hadoop分布式文件系统
- 上机实验
- MapReduce工作原理
- 上机实验
- Hadoop机群剖析
- Hadoop生态系统
编写MapReduce程序
- MapReduce流程
- 剖析一个MapReduce程序
- 基本MapReduceAPI 概念
- 驱动代码
- Mapper
- Reducer
- Hadoop流API
- 使用Eclipse进行快速开发
- 上机实验
- 新MapReduce API
集成Hadoop到现有工作流
- 关系数据库管理系统
- 存储系统
- 利用Sqoop从关系型数据库系统中导入数据到Hadoop
- 上机实验
- 利用Flume导入实时数据到Hadoop
- 使用FuseDFS和Hoop访问HDFS
Hadoop API深入探讨
- ToolRunner介绍
- 使用MRUnit进行测试
- 利用Combiners来减少中间数据
- 使用Configure和Close方法来进行Map/Reduce设置和关闭
- 编写Partitioner来优化负载平衡
- 上机实验
- 直接访问Hadoop分布式文件系统（HDFS）
- 使用分布式缓存（Distributed Cache）
- 上机实验
常见MapReduce算法
- Hadoop概述
- Hadoop分布式文件系统
- 上机实验
- MapReduce工作原理
- 上机实验
- 如何利用其他Hadoop相关技术，包括Apache Hive， Apache Pig，Sqoop和Oozie等
- 满足解决实际数据分析问题的高级Hadoop API
使用Hive和Pig
实用开发技巧
- 排序和搜索
- 索引
- 上机实验
- 用Mahout进行机器学习
- Term Frequency – Inverse Document Frequency
- Word Co-Occurrence
- 上机实验
使用Hive和Pig
实用开发技巧
- 调试MapReduce代码
- 使用LocalJobRunner模式进行轻松调试
- 利用计数器来检索任务信息
- 日志
- 可分割文件格式
- 如何确定最优的Reducer数目
- 只使用Mapper的MapReduce任务
- 上机试验
高级MapReduce编程
- 定制Writables和WritableComparables
- 使用SequenceFiles和Avro文件保存二进制数据
- 创建InputFormats和OutputFormats
- 上机实验
用MapReduce合并数据集
- 在Map方的合并
- 辅助排序在Reducer方的合并
图的操作
- 图论简介
- 用Hadoop表示图
- 一个图算法的实现：单源最短路径
使用Oozie创建工作流
- 使用Oozie的动机
- Oozie工作流定义格式
- 上机实验
http://www.ruanko.com/portal/hadoop/Cloudera_Hadoop_Developer Training.html
