Hadoop架构与大数据开发应用实践培训课程-中科信软培训

培训目标：

大数据的基础介绍
开源Hadoop生态圈的介绍
HDFS分布式文件系统详解
ZooKeeper分布式协作服务
Yarn资源管理系统
Sqoop大数据同步工具详介
MapReduce分布式计算框架详解
Hive 数据仓库及案例
Impala准实时分析
Hbase列数据库及应用案例
大数据平台部署及案例

大数据的基础介绍	什么是大数据大数据时代的背景学术上怎么定义大数据大数据的构成大数据的演进过程大数据的关键技术大数据分布式系统的构成计算模式大数据产业大数据与云计算的关系大数据和物联网的关系
开源Hadoop生态圈的介绍	1、Hadoop生态圈 2、组件功能概要 3、介绍Cloudera公司 4、CDH5.0的技术优势 5、ClouderaManager的介绍 6、CM集群监控 7、HDFS监控 8、Hbase监控 9、Hive监控 10、服务维护页面
HDFS分布式文件系统详解	什么是分布式文件系统HDFS 2、HDFS基本架构 3、基本概念 4、主要涉及理念 5、hdfs常用命令 6、hdfs的上传文件 7、hdfs的下载文件 8、hdfs的查看数据 9、hdfs优点和缺点 10、案例：实现HDFS文件上传和下载
ZooKeeper分布式协作服务	1.ZooKeeper概述 2.ZooKeeper结构与原理 3.安装和运行ZooKeeper 4.Zookeeper的API接口 5.ZK实操(创建节点等) 6.Zookeeper的4个应用场景详解
Yarn资源管理系统	1、什么是Yarn 2、Yarn特点 3、Yarn原理 4、Yarn核心架构 5、优势和不足 6、ResourceManager(RM)介绍 7、ApplicationMaster(AM)介绍 8、NodeManager(NM)介绍 9、Container介绍
Sqoop大数据同步工具详解	1、Sqoop基本介绍 2、基本原理 3、应用场景 4、Sqoop和mysql的连接 5、mysql数据到HDFS 6、HDFS数据到mysql 7、关系型数据库到hive 8、hive到关系型数据库 9、Sqoop优点和缺点 10、案例：oracle到hdfs的大数据量转换
MapReduce分布式计算框架详解	1、MapReduce基本介绍 2、为什么要用MR 3、MR是什么 4、工作原理 5、Map的原理 5、Reduce的原理 6、MR例子-单词计数 7、MR的优点和不足 8、适用场景 9、案例：统计多个数据文件每个单词出现次数并倒序排列
Hive 数据仓库及案例	1、Hive 基本介绍 Hive 是什么 Hive 不是什么 Hive 结构图 Hive 元数据 Hive 和普通关系数据的异同 Hive 和 SQL 比较 2、Hive 命令建表显示表修改表 load 数据 3、Hive 优化分区概念分区适用场景分区例子优化例子优化建议方案 4、Hive 的用户自定义函数 UDF 函数 UDAF 函数 UDTF 函数 5、案例讲解：Hive分区表的优化设计
Impala准实时分析	1、Impala基本介绍 2、技术架构 3、Impala与HIVE的关系 4、基本原理 5、优点和缺点 6、建表 7、加载数据 8、批量处理 9、常用脚本 10、和hive的性能比较 11、和oracle的对比2亿数据性能 12、和oracle的对比12亿数据性能 13、案例：Impala调用外部文件
Hbase列数据库及应用案例	1、Hbase感性认识 Hbase简介 Hbase特点 HBase与RDBMS对比 HBase体系结构 Hbase常见概念 2、Hbase主要组成 HBase基本命令介绍 Zookeeper、Hmaster HRegionServer、Region HStore存储、Hfile Hbase内部扫描RowKey的原理 Hbase内部读写原理 HBase设计原理、架构分析 Hadoop+HBase伸缩性（自动扩容、热部署） HBase相关表结构设计（列族、列详细分析） HBase主HMaster与备用HMaster间的切换原理 3、Hbase性能测试测试数据测试过程测试结论和Oracle Rac等进行对比 4、Hbase设计原则和优化 Hbase的RowKey设计原则性能参数的设置性能参数的调整模型和性能优化 5、项目案例：HBase在小米业务的应用 6、项目案例：运营商全国用户上网记录案例介绍
大数据平台部署及案例	hadoop有哪几个版本 2、Hadoop版本介绍 3、CDH和Apache版本主要区别 4、集群硬件应该如何选配网络拓扑内存硬盘 CPU 价格 5、集群硬件应该如何选配 6、英特尔Hadoop发行版的介绍 7、英特尔功能增强 8、项目案例：某省级通信运营商清帐单查询系统 9、项目案例：新清账单中心的部署方案