培训目标:
|
主要希望帮助培训方解决的问题
- 理解Storm的架构与各组件的使用场景
- Storm核心的组件的架构设计与原理
- Storm使用中的经验分享
- 互联网行业的使用案例,使其帮助客户有大数据行业入门的思维,能够自行搭建大数据平台,完成一些数据对接与分析能力、并且提升对大数据平台的认识与理解。
Storm基础知识 |
storm基本概念
storm应用场景
storm与hadoop的区别
Storm与spark的区别
|
Storm的架构与原理 |
Nimbus进程与Supervisor进程
storm集群环境搭建:
- zookeeper集群的搭建
- storm配置文件配置项讲解 storm常用组件和编程API:
- Topology
- Spout
- Bolt Storm分组策略(Stream Groupings)、
storm项目环境的搭建
storm单词计数例子
|
storm高并发策略 |
工作进程、执行器与任务的区别
配置topology的并行度
topology实例
如何改变运行中topology的并行度
|
storm可靠性机制 |
消息处理的含义
storm的ack/fail机制
storm如何保证可靠性
storm如何实现可靠性
|
拓扑的常见模式 |
流链接(stream join)
批处理(Batching)
BasicBolt
内存中缓存与字段的组合
流的topN
|
storm批处理事务处理 |
storm批处理详解
storm事务工作原理深入讲解
storm事务相关API详解
storm事务案例分析
storm分区事务与不透明分区事务
|
Kafka |
kafka概述
- kafka是什么
- kafka概念详解:Topics/logs、Distributitions、Producers、Consumers、Guarantees。
- kafka的应用场景
kafka的体系架构与设计原理
- 消息持久化
- 生产者与消费者
- 消息传输机制
- 复制备份
- 分配机制
kafka的安装部署
- kafka集群环境的搭建
- kafka配置项的配置与讲解
kafka的存储策略
kafka的分布与订阅
- 分布与订阅的原理
- 分布与订阅的接口
kafka使用zookeeper进行协调管理
- zookeeper在kafka中的作用
- zookeeper如何进行协调管理
|
Spark-streaming |
Spark streaming架构设计
Spark与storm消费kafka的对比
吞吐量对比
|
应用案例 |
中移动流计算平台介绍
阿里J storm服务介绍
百度流计算平台设计
58飞流服务系统设计
联通流计算平台设计
|
案例演练与能力评测 |
搭建storm服务平台
搭建kafka消息中心
编写测试storm程序消费kafka数据统计ID出现次数
笔试
|
|
如果您想学习本课程,请
预约报名
如果没找到合适的课程或有特殊培训需求,请
订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击
服务优势:
丰富专家资源,精准匹配相关行业,相关项目技术精英,面向用户实际需求,针对性培训或咨询,互动式交流,案例教学,精品小班,实际工程项目经验分享,快捷高效,节省时间与金钱,少走弯路与错路。
专家力量:
中国科学院相关研究所高级研究人员
西门子,TI,vmware,MSC,Ansys,MDI,Mentor, candence,Altium,Atmel 、Freescale,达索,华为等
大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关学历背景专业,理论素养高
多年实际项目实践,大型复杂项目实战案例分享,热情,乐于技术分享
针对客户实际需要,真实案例演示,互动式沟通,学有所值