Hadoop开发、运维和调优实战培训课程-中科信软培训

　　Hadoop这门课程从理论到实战再到公司的项目，还有hadoop集群的搭建和性能的调优，再到HDFS性能的测试和MapReduce性能的测试再到网络的需求等全面的详解Hadoop的开发和维护，深刻理解MapReduce的原理，能过使用mapreduce进行高级编程，使用Hive进行数据分析，使用Hbase进行线上分析，关系型数据和HDFS、hive之间的相互迁移，理解Hadoop的使用场景，面对一个需求适不适合使用hadoop。

　　课程大纲

　　Hadoop的来源和动机

　　1.传统大规模系统存在的问题n2.Hadoop概述n3.Hadoop分布式文件系统 n4.MapReduce工作原理 n5.Hadoop集群剖析n6.Hadoop生态系统对一种新的解决方案的需求n7.Hadoop的行业应用案例分析n8.Hadoop在云计算和大数据的位置和关系

　　Hadoop集群规划

　　1.Hadoop 集群内存要求nØ Namenode的机器配置nØ Datanode的机器配置nØ SNN的机器配置n2.Hadoop集群磁盘分区n3.集群和网络拓扑要求n4.集群软件的端口配置

　　Hadoop简介和生态系统介绍

　　1.传统大规模数据分析存在的问题n2.Hadoop概述n3.Hadoop与分布式文件系统 n4.Hadoop生态系统n5.Hadoop的行业应用案例分析n6.Hadoop在云计算和大数据的位置和关系n7.Hadoop版本介绍n8.Hadoop与Google FS的关系n9.Hadoop在国内的使用情况和未来

　　Hadoop安装和主要配置文件介绍

　　1.Hadoop安装所需软件介绍n2.Hadoop单机安装n3.Hadoop伪分布式安装n4.Hadoop完全分布式安装n5.Hadoop三个节点安装的配置介绍n6.Hahoop多节点ssh配置n7.Hadoop格式化详解n8.Hadoop核心配置文件介绍n9.核心配置文件core-site.xmln10.HDFS配置文件hdfs-site.xmln11.Mapreduce配置文件mapred-site.xmln12.master文件配置详解n13.slave文件配置详解n14.Hadoop启动和停止方法一n—start-all.sh详解n—stop-all.sh详解n15.Hadoop的启动和停止方法二n—hadoop-deamon.sh详解n16.Hadoop安装的常见错误介绍和解决方案n17.使用自带的wordcount和pi测试集群安装是否成功n18.使用Streaming来测试集群安装是否成功

　　Hadoop组件介绍

　　1.Hadoop NameNode 介绍n2.Hadoop SecondaryNameNode 介绍n3.Hadoop DataNode 介绍n4.Hadoop JobTracker 介绍n5.Hadoop TaskTracker 介绍

　　Hadoop的HDFS模块

　　1.HDFS架构介绍n2.HDFS原理介绍n3.NameNode功能详解n4.DataNode功能详解n5.SecondaryNameNode功能详解n6.HSFD的fsimage和editslog详解n7.HDFS的block详解n8.HDFS的block的备份策略n9.Hadoop的机架感知配置n10.HDFS的shell命令介绍n11.HDFS的thrift server服务介绍n12.HDFS的API接口介绍n13.HDFS的权限详解n14.Hadoop的客服端接入案例

　　MapReducer入门和高级开发实战

　　1.Mapreduce原理n2.MapReduce流程n3.剖析一个MapReduce程序n4.Mapper和Reducer抽象类详解n5.Mapreduce的最小驱动类n6.MapReduce自带的类型n7.自定义Writables和WritableComparablesn8.Mapreduce的输入InputFormatsn9.MapReduce的输出OutputFormatsn10.自定义InputFormatn11.自定义InputSPlitsn12.自定义RecorderReadern13.Combiner详解n14.Partitioner详解n15.DistributeFileSystem详解n16.Hadoop Tools工具介绍n17.Counter计数器详解n18.自定义Counter计数器n19.基于Hadoop二次开发实战n20.MapReduce的优化n21.Map和Reduce的个数设置n22.Hadoop小文件优化n23.任务调度n24.默认的任务调度n25.公平任务调度n26.能力任务调度n27.使用 Hadoop MapReduce Streaming 编程n28.MapReduce的单元测试

　　Hive的使用和实战

　　1.Hive和Pig基础n2.Hive、Impala和presto的比较 n3.Hive的作用和原理说明n4.Hadoop仓库和传统数据仓库的协作关系n5.Hadoop/Hive仓库数据数据流n6.Hive 部署和安装n7.Hive Cli 的基本用法n8.Hive的server启动n9.HQL基本语法n10.Hive的加载数据本地加载和HDFS加载n11.Hive的partition详解n12.Hive的存储方式详解n13.RCFILE、TEXTFILE和SEQUEUEFILEn14.Hive的UDF和UDAFn15.Hive的transform详解n16.Hive的JDBC连接

　　Hbase使用

　　1.Hbase原理n2.Hmaster详解n3.RegionServer详解n4.Zookeeper介绍n5. Hbase安装n6.Hbase逻辑视图介绍n7.Hbase物理视图介绍n8.Hbase的二级索引介绍n9.Hbase 的DDL和DMLn10.Hbase表的设计案例n11.Hbase的import功能介绍n12.MapReduce操作Hbasen13.Hbase的 thrift Server介绍n14.Hbase 的API介绍n15.Hbase案例分析

　　Hadoop安全和性能优化

　　1.Hadoop的可伸缩性应用n2.Hadoop的线性伸缩性n3. Hadoop的最佳实战n4.Map/Reduce性能测试n5.HDFS的性能测试n6.Hadoop企业级架构n7.Hadoop的安全实战n8.Hadoop的运维知识总结

　　Hadoop集群配置介绍和维护

　　1.Hadoop集群的部署要点n2.NameNode和SecondaryNameNode和JobTracker机器的配置要求n3.dataNode与tasktracker机器的配置要求n4.Hadoop集群管理的工具介绍n5.Ganglia和nigos监控Hadoop集群介绍n6.Ambri介绍n7.添加和删除节点演示n8.Namenode的单点解决方案n9.NameNode的NFS备份介绍n10.集群所有dataNode挂掉的故障介绍n11.集群NameNode的fsimage丢掉恢复方法n12.Hadoop集群维护的注意点

　　Sqoop介绍

　　1.Sqoop是什么n2.Sqoop安装n3.Sqoop把mysql数据导入HDFSn4.Sqoop把HDFS数据导入Mysqln5.Sqoop吧Mysql数据导入Hiven6.Sqoop吧Mysql数据导入Hive分区

如果您想学习本课程，请预约报名
如果没找到合适的课程或有特殊培训需求，请订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击

服务优势：
丰富专家资源，精准匹配相关行业，相关项目技术精英，面向用户实际需求，针对性培训或咨询，互动式交流，案例教学，精品小班，实际工程项目经验分享，快捷高效，节省时间与金钱，少走弯路与错路。

专家力量：
中国科学院相关研究所高级研究人员
西门子，TI,vmware，MSC,Ansys，MDI，Mentor, candence,Altium,Atmel 、Freescale,达索，华为等
大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关学历背景专业，理论素养高
多年实际项目实践，大型复杂项目实战案例分享，热情，乐于技术分享
针对客户实际需要，真实案例演示，互动式沟通，学有所值

报名表下载

点击进入报名表

联系我们更多>>

咨询电话：010-62883247

4007991916

咨询邮箱：soft@info-soft.cn