大数据架构设计实战演练培训课程-中科信软培训

培训目标：

主要希望帮助培训方解决的问题，
理解大数据平台的架构与各组件的使用场景，
核心的组件的架构设计与原理，
使用中的经验分享，
互联网行业的使用案例，使其帮助客户有大数据行业入门的思维，能够自行搭建大数据平台，完成一些数据对接与分析能力、并且提升对大数据平台的认识与理解。

一、云计算	云计算架构概览云计算能带来什么好处云计算之虚拟机云计算之大数据经典的使用案例
二、大数据之分布式存储	分布式存储-HDFS 大数据的好处大数据的核心架构企业使用大数据的案例什么是分布式文件系统和HDFS HDFS设计目标 HDFS的基本组件 HDFS架构图和工作原理 HDFS服务进程详解 HDFS的未来发展 NameNode详解 DataNode详解 HDFS副本备份策略
三、分布式存储实战	HDFS实战-命令行等使用 HDFS安装须知 HDFS命令行工具启动、停止HDFS服务如何查看HDFS日志如何查看HDFS Web控制台 HDFS参数配置上机练习 HDFS实战-Java API使用 Eclipse 开发环境介绍 HDFS 开发基本步骤 HDFS Java API详解 oConfiguration oPath oFileSystem oStream、IOUtils HDFS Java API使用场景示例 FuseHDFS WebHDFS RESTful API 上机练习
四、大数据之分布式计算	什么是MapReduce MapReduce服务 MapReduce服务 MapReduce作业执行流程 MapReduce错误处理机制 MapReduce高级特性 MapReduce任务调度 MapReduce任务调度
五、分布式计算实战	MapReduce命令行使用启动、停止MapReduce服务查看MapReduce日志查看MapReduce控制台 MapReduce参数配置 MapReduce 编程实战 MapReduce框架类库介绍开发MapReduce程序步骤 WordCount流程分解 WordCount代码分析上机练习 Hadoop IO 框架为什么要学习Hadoop I/O框架序列化 SequenceFile MapFile 数据完整性数据压缩上机练习
六、大数据之数据仓库-Ｈive	什么是Hive？ Hive的架构原理如何利用Hive来建造数据仓库？ Hive的使用 HQL的调优：操作练习
七、大数据之NOSQL-Ｈbase	什么是Hbase？ Hbase的架构原理 Hbase核心知识点 HBase列族与列 HBase时间戳 HBase物理模型数据存储结构:LSM HBase Log HBase Filter HBase安装配置与优化表设计与相关参数操作练习
八、大数据之内存计算-Spark	Spark架构介绍 Scala介绍 Mesos介绍 Spark介绍 Spark原理及架构剖析 Spark RDD计算模型解析 Spark的任务执行机制解析 Spark的调试与任务分配 Spark的容错机制剖析 Spark集群部署 Standalone 集群分布式与HDFS结合 Spark Shell命令行分析构建与运行Spark应用 Spark RDD操作方法解析 Spark作业测试解析 Spark的性能调优 Spark生态体系剖析 SPARK SQL SPARK ML SPARK Streaming Spark应用实践
九、大数据之资源管理-Yarn	Yarn 与MapReduce的不同 Yarn 原理与架构 Apache YARN基本框架 Apache YARN工作流程 Apache YARN设计细节 Yarn 核心技术模块原理解析 Yarn ResouceManager原理解析 Yarn NodeManager 原理解析 Yarn ApplicationMaster MapReduce与YARN结合如何与Yarn来结合 Yarn 配置及搭建
十、大数据之分析脚本工具-Pig	Pig基础使用Pig进行简单数据分析使用Pig处理复杂数据使用Pig分析处理多数据集扩展Pig Pig排错和优化
十一、数据安全	安全体系图应用安全、数据安全多级认证体系产品安全思路学员实际演练与老师现场指导
十二、云计算运维体系	云计算运维体系架构图服务可靠性提高服务质量降低服务成本现场演示：实际项目中云计算运维体系架构图。
十三、大练习：以实际项目案例为基础	进行云计算分布式架构的设计思路和流程实际演练。（此内容是本课程的重点内容，课程压轴大作，从而使云计算架构设计最终落地）