大数据处理与优化最佳实践培训课程
课程安排
|
|
主题
|
内容见要
|
|
第一部分
|
海量数据处理系统
的架构设计
|
这个部分主要讲解海量数据处理的架构设计，针对海量数据的问题设计海量数据的架构解决方案。
Ø 海量数据处理的系统场景
Ø 大数据时代的数据架构解决方案
Ø 海量数据处理的架构汇总
Ø 8种海量数据处理的架构设计比较
Ø 分布式系统架构的海量数据处理设计
Ø 海量数据处理设计
典型案例分析：
|
|
NoSQL的实践应用
|
 NoSQL综述解决的实际问题
 关系数据库暴露的问题
n High performance并发要求
n Huge Storage的存取
n High Scalability的服务器分布要求
n High Availability的服务器健壮要求
 关系型数据库失效的场景
 NoSQL与关系型数据库设计理念比较
 NoSQL设计模型分析
n K-V模型的Column设计
n Document模型的B Tree设计
n Object模型的基于Object数据访问设计
 NoSQL实例分析
n Apache Hbase架构解析
n Facebook Cassandra架构解析
n Google BigTable架构解析
典型案例分析：
|
|
进入Hadoop的精彩世界
|
 文件存储-HDFS
 HDFS-工作原理
 数据计算MapReduce
 MapReduce工作原理
 SQL分析-Hive
 海量实时读写-HBase
 工作流调度-Ooize
 分布式协调系统—Zookeeper
|
|
第二部分
|
Hadoop部署与编程
|
 Hadoop版本介绍与选择
 Hadoop部署实践
 Hadoop安装文件构成与配置体系
 机器硬件建议配置
 系统环境配置
 基本参数配置与说明
 进程分布规划与启动
 Hadoop基本使用操作
 HDFS
 权限
 MapReduce
 HDFS编程
 开发环境准备
 读文件
 写文件
 Hadoop系统容灾策略
 Hadoop资源调度策略
 Hadoop安全
 Hadoop系统监控与报警策略
|
|
Hive架构及实践案例沙盘演练
|
 Hive系统部署与搭建
 Hive工作机制
 基于Hive的网站日志分析示例
 Hive的用户自定义函数开发
 Hive底层数据文件与数据压缩选择
n gzip
n bz2
n lzo
n rcfile
 Hive运行参数调优
 Hive程序编写性能建议
n MapJoin
n 数据倾斜
n Join顺序
n UDF编写注意事项
n 快速获取结果TopN
 通过Explain观察Hive行为
 典型案例分析
|
|
第三部分
|
Hadoop集群架构搭建及实践案例沙盘演练
|
 Hadoop集群架构搭建方法
 Hadoop集群架构性能管理
 HDFS，NameNode，DataNode的调优和节点扩展最佳实践
 主要调优工具和性能监控工具
 Hadoop集群对于硬件的要求和选型
 Hadoop集群中对硬件、操作系统的调优方法
 实际案例分析
 基于Hadoop的集群解决方案
 典型案例分析：
|
|
MapReduce架构及实践案例沙盘演练
|
 MapReduce剖析
n MapReduce的原理和运行过程
n 构建MapReduce的开发环境
 MapReduce案例实战
n 使用MapReduce的Java接口实现经典的WordCount
n wordcount运行过程解析
n MapReduce实现数据去重操作
n MapReduce实现数据排序
n MapReduce实现数据平均数据的计算
 典型案例分析：
|
|
HBase架构及实践案例沙盘演练
|
 为什么实用Hadoop/HBase
 Hadoop的架构体系与HBase的应用关系
 HBase的核心设计机制
 HBase的使用场景？什么情况下使用HBase，为什么使用HBase，HBase使用带来的实践价值
 关系型数据库与HBase
 HBase的Client端
 HBase架构分析
 基于HBase项目架构设计
 HBase开发环境搭建
 入库和查询的设计与实现
 统计功能的设计与实现
 案例演练HBase的主体特性
n Features:Scalability实现
n HBaseFeatures:Column-Oriented实现
n High Performance Random R/W实现
n HBase Features: Scan Search实现
n HBase Features: High‐Availability实现
典型案例分析：
|
如果您想学习本课程，请
预约报名
如果没找到合适的课程或有特殊培训需求，请
订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击
服务优势：
丰富专家资源，精准匹配相关行业，相关项目技术精英，面向用户实际需求，针对性培训或咨询，互动式交流，案例教学，精品小班，实际工程项目经验分享，快捷高效，节省时间与金钱，少走弯路与错路。
专家力量：
中国科学院相关研究所高级研究人员
西门子，TI,vmware，MSC,Ansys，MDI，Mentor, candence,Altium,Atmel 、Freescale,达索，华为等
大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关学历背景专业，理论素养高
多年实际项目实践，大型复杂项目实战案例分享，热情，乐于技术分享
针对客户实际需要，真实案例演示，互动式沟通，学有所值
