课程培训
中国海关大数据培训,hadoop培训,spark培训

大数据培训日程

 

课程目标:

 

通过该课程的学习,会对大数据离线计算、实时计算的企业级构架有清晰的理解以及对常用的成熟的大数据开源项目从原理到使用有深入的理解。

 

实时计算的项目常用组合为Flume(数据采集) + Kafka(高可用高并发分布式消息队列) + spark streaming(流式计算) + hbase(分布式列式存储数据库,亿级行百万列毫秒级查询)

 

离线计算项目常用组合为分布式文件存储HDFS,资源调度器、分布式计算框架MapReduce、数据仓库Hive

 

课程大纲:

 

时间

主题

内容

第一天

上午

 

 

 

 

离线计算:

Hadoop大数据生态圈、分布式存储HDFS、资源管理

大数据生态圈介绍

开源相关项目说明以及每个项目的用途

实时计算整体构架详解

离线计算整体构架详解

分布式文件系统HDFS是什么

HDFS的体系结构

HDFS高可用集群原理详解

HDFS如何使用

资源管理器介绍以及构架

资源管理器核心组件详解

资源调度器详解 

下午

 

 

离线计算:

Hadoop MapReduce&Hive

 

分布式计算MapReduce介绍

MapReduce整体流程

MapReduce实例

数据仓库工具Hive介绍

Hive模型介绍:数据库、表、分区、高级函数

Hive元数据介绍

第二天

上午

 

 

实时计算:

数据采集Flume、分布式消息队列Kafka

实时计算整体构架设计

Flume是什么以及体系结构介绍

Flume组件介绍:agentsourcechannelsink

Flume高可用拓扑介绍

Kafka体系结构详解

Kafka核心概念

Kafka高可用高并发原理

Kafka生产者消费者

Flume写入kafka

下午

 

实时计算:

spark streaming流式计算、HBase分布式列存储

spark是什么以及体系结构

弹性分布式数据集RDD

spark streaming流式计算体系结构

spark steaming读取kafka

spark算子详解

HBase存储数据库体系结构

Hbase的高可用

HBase数据模型详解

HBase毫秒级查询

 

 

以上课程可以根据客户实际情况进行灵活调整。

中科信软高级技术培训中心

电话:010-62884854   

网址:www.info-soft.cn   www.zksoft.org




如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击

服务优势:
丰富专家资源,精准匹配相关行业,相关项目技术精英,面向用户实际需求,针对性培训或咨询,互动式交流,案例教学,精品小班,实际工程项目经验分享,快捷高效,节省时间与金钱,少走弯路与错路。

专家力量:
中国科学院相关研究所高级研究人员
西门子,TI,vmware,MSC,Ansys,MDI,Mentor, candence,Altium,Atmel 、Freescale,达索,华为等
大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关学历背景专业,理论素养高
多年实际项目实践,大型复杂项目实战案例分享,热情,乐于技术分享
针对客户实际需要,真实案例演示,互动式沟通,学有所值
报名表下载
联系我们 更多>>

咨询电话010-62883247

                4007991916

咨询邮箱:soft@info-soft.cn  

 

微信号.jpg

  微信咨询

随时听讲课

聚焦技术实践

订制培训 更多>>