EasyHadoop 开发培训课程
课程目标:此课程面向企业软件工程师、数据库工程师、以及对Hadoop开发感兴趣的各类技术人员。通过此课程的学习,学员可以全面掌握Hadoop的架构原理和使用场景,并通过贯
穿课程的习题项目进行实战锻炼,从而熟练使用Hadoop进行MapReduce程序开发。课程还涵盖了分布式计算领域的常用算法介绍,帮助学员为企业在利用大数据方面体现
自身价值。目标学员:软件工程师、高级软件工程师、数据库开发人员、互联网服务后台开发人员、运维人员
培训大纲
一、Hadoop MapReduce
流程分析
·Hadoop JobTracker 详解回顾
·Hadoop TaskTracker 详解回顾
·Hadoop 任务提交流程详解"
二、使用 Hadoop MapReduce Streaming 编程
·Hadoop Streaming 和 Java MapReduce Api 差异。
·学习使用 MapReduce 实现数据库功能,比如select group by join union all )
三、MapReduce分布式程序
·MapReduce流程
·剖析一个MapReduce程序
·基本MapReduceAPI 概念
·驱动代码
·Mapper
·Reducer
·API 使用Eclipse进行快速开发
·上机实验
·新MapReduce API
四、Hadoop 核心代码导读
·Hadoop Mapper 类核心代码导读
·Hadoop Reducer 类核心代码导读
五、HDFS分布式文件系统编程
·Hadoop HDFS 回顾
·Hadoop NameNode 回顾
·Hadoop DataNode 回顾
·hadoop I/O 操作
·使用Hadoop HDFS API对HDFS编程
六、Hadoop Mapreduce高级编程
· ToolRunner介绍
·使用MRUnit进行测试
·利用Combiners来减少中间数据
·使用Configure和Close方法来进行Map/Reduce设置和关闭
·编写Partitioner来优化负载平衡
·上机实验
·直接访问Hadoop分布式文件系统(HDFS)
·使用分布式缓存(Distributed Cache)
·上机实验 "
七、MapReduce的优化
·map优化
·reduce优化
·小文件优化"
八、MapReduce的任务调度
·Queue调度的使用
·公平调度的使用
·能力调度的使用"
九、MapReduce编程实战
·Hadoop的join操作
·Hadoop的二次排序
·Hadoop的海量日志分析"
十、flume+hadoop日志的收集实战
·flume介绍
·flume核心组件讲解
·flume自带的组件分析
·flume二次开发实战
如果您想学习本课程,请
预约报名
如果没找到合适的课程或有特殊培训需求,请
订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击
服务优势:
丰富专家资源,精准匹配相关行业,相关项目技术精英,面向用户实际需求,针对性培训或咨询,互动式交流,案例教学,精品小班,实际工程项目经验分享,快捷高效,节省时间与金钱,少走弯路与错路。
专家力量:
中国科学院相关研究所高级研究人员
西门子,TI,vmware,MSC,Ansys,MDI,Mentor, candence,Altium,Atmel 、Freescale,达索,华为等
大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关学历背景专业,理论素养高
多年实际项目实践,大型复杂项目实战案例分享,热情,乐于技术分享
针对客户实际需要,真实案例演示,互动式沟通,学有所值