| 培训目标：
|
- 了解大数据运维都有什么内容
- 大数据系统核心组件介绍
- 性能调优策略实战
- 离线服务平台介绍
- 业务实时监控介绍
- Hadoop 集群硬件监控
- 通过应用案例了解工作 方法与流程
-
-
| 大数据运维概览 |
大数据的运维案例回顾：
大数据运维涉及哪些内容
大数据运维关注的问题
大数据运维平台的典型架构 |
| 大数据系统核心组件介绍 |
1、集群管理工具—ambari
2、数据仓库—hive
3、分布式计算— MapReduce
4、noSQL数据库—Hbase
5、工作流工具—Oozie
6、数据的并行采集—Flume
7、MapReduce脚本工具—Pig
8、与关系型数据库之间的数据迁移—Sqoop
9、资源管理平台—Yarn
10、数据挖掘算法—Mahout
11、分布式统一服务—Zookeeper
12、流式计算—Strom
13、内存计算—Spark
|
| 性能调优策略实战 |
1、 Linux版本选择
2、 安装HDFS系统调优
3、 网络优化策略
4、 Hdfs优化策略
5、 安装HDFS服务
6、 HDFS配置参数介绍
7、 HDFS运维工具介绍
8、 Hbase服务优化
9、 Hbase表设计
10、 spark服务介绍 |
| 离线服务平台介绍 |
1、 大数据平台架构设计
2、 底层存储服务平台架构设计与应用场景
3、 离线计算框架实现对比
4、 元数据服务治理与数据生命周期管理
5、 统一调度平台设计
6、海量日志处理架构介绍 |
| 业务实时监控介绍 |
1、 流计算框架服务介绍
2、 Storm流计算服务介绍与应用场景
3、 Spark Streaming服务框架介绍与应用场景
4、 Flink服务框架介绍与应用场景
5、 流计算案例分享（天猫双十服务）
6、 58业务数据监控方案设计
|
| Hadoop 集群硬件监控 |
1、查看集群状态
- HDFS数据管理
- Mapreduce 任务管理
- HDFS安全模式
- 添加删除节点
- 数据平衡
- 文件数据跨集群拷贝
2、 使用Ganglia 监控Hadoop集群
3、 使用Cacti 监控操作系统
4、 使用Zabbix监控
5、 ganglia nagios联合使用分析
6、 集群监控
7、 服务监控运行的进程监控
8、 主机状态监控
9、 主机磁盘存储情况监控
10、网络状况监控
11、ganglia 监控
12、zabbix监控
13、提供的服务监控监控
14、堡垒机监控
15、任务监控
16、任务运行时常、资源数、读取数量、shuffle数量等
17、按人任务按部门的任务汇总
18、队列监控
19、队列下的任务运行历史监控
20、总量超过一个小时的任务列表监控报表
21、数据量监控
22、各个一级部门目录的数据增长量监控
|
| 应用案例 |
1、互联网行业大数据平台的搭建
2、移动手机上网日志分析系统
3、电信业使用hadoop场景分析
4、电商个性化推荐系统
|
|
如果您想学习本课程，请
预约报名
如果没找到合适的课程或有特殊培训需求，请
订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击
服务优势：
丰富专家资源，精准匹配相关行业，相关项目技术精英，面向用户实际需求，针对性培训或咨询，互动式交流，案例教学，精品小班，实际工程项目经验分享，快捷高效，节省时间与金钱，少走弯路与错路。
专家力量：
中国科学院相关研究所高级研究人员
西门子，TI,vmware，MSC,Ansys，MDI，Mentor, candence,Altium,Atmel 、Freescale,达索，华为等
大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关学历背景专业，理论素养高
多年实际项目实践，大型复杂项目实战案例分享，热情，乐于技术分享
针对客户实际需要，真实案例演示，互动式沟通，学有所值
