Spark内存计算框架原理与实践应用培训课程2019-中科信软培训

培训目标：

1、通过培训使学员深入理解Spark的大数据实现技术原理；
2、通过培训使学员深入理解并能运行Spark 的Core、Streaming、SQL、Mllib、GraphX等子项目；
3、通过培训使学员具备Spark内存计算框架的开发能力；
4、通过培训使学员学会Scala语言开发，以及开发Spark程序，处理业务数据；

大数据内存计算技术介绍（深入理解Spark Core实现原理）	1、Spark应用现状 2、Spark应用优势 3、Spark应用案例 4、Scala介绍 5、Mesos介绍 6、Spark介绍 7、Spark基本概念介绍 8、Spark架构剖析 9、Spark RDD计算模型解析 10、Spark RDD操作剖析 11、DAG有向无环图介绍 12、Spark编程 a)Java编写Spark程序 b)Scala编写Spark程序 c)Python编写Spark程序 d)R编写Spark程序 13、Spark可访问的数据源介绍 a)文件系统 b)HDFS c)HBase d)Hive e)Cassandra f)Tachyon 14、Spark编程技巧分享 15、Spark开发分析 16、Spark的执行机制解析 17、Spark运行原理剖析 18、Spark的调试与任务分配 19、Spark的性能调优 20、Spark与MapReduce对比分析 21、Spark生态体系剖析 22、Spark监控管理 23、Spark的容错机制剖析 24、Spark集群部署 25、Spark集群部署经验分享 26、Spark大规模集群运维经验分享 27、 Spark实战案例：Spark与HBase整合分析数据
大数据内存计算技术实战分享（深入理解Spark Core使用实战操作）	1、Spark Shell 2、PySpark 3、构建与运行Spark应用 4、Spark的性能调优 5、Spark实战案例：预测国际经济危机实战案例开发
Shark数据仓库工具实战（深入理解Shark实现原理及开发实战）	1、Spark Shark概述 2、Hive与Shark 3、Spark Shark原理剖析 4、Spark Shark框架介绍 5、Spark Shark编程 6、Spark Shark分布式文件HDFS读写 7、Spark Shark APIs全面介绍 8、Shark UDFs 9、Shark UADFs 10、Shark HiveQL 11、Shark基于Spark的综合应用 12、Spark Shark实战案例：运营商话务数据分析案例剖析
Spark SQL技术实战（深入理解Spark SQL实现原理及开发实战）	1、Spark SQL概述 2、Spark SQL原理剖析 3、Spark SQL架构介绍 4、SparkSQL CLI 5、Tree和Rule 6、sqlContext和hiveContext的运行过程 7、Load/Save函数 8、Parquet文件读写 9、Spark SQL连接JDBC 10、Spark SQL连接ODBC 11、Spark SQL分布式文件HDFS读写 12、JSON数据集 13、Hive表 14、数据类型 15、Spark SQL与 Cassandra集成 16、Spark SQL APIs全面介绍 17、Spark SQL and DataFrames 18、Spark SQL and DataSets 19、Spark SQL HiveQL 20、Spark SQL编程 21、运行Spark SQL程序 22、在内存中缓存数据 23、Spark SQL UDFs 24、Spark SQL UADFs 25、Spark SQL SerDes 26、Spark SQL BI Tools 27、Spark SQL实战案例：数据分析案例剖析
Spark Streaming流计算技术实战（深入理解Spark Streaming实现原理及开发实战）	1、Spark Streaming概述 2、Spark Streaming原理剖析 3、Spark Streaming流数据处理框架介绍 4、Spark Streaming编程剖析 5、初始化StreamingContext 6、Discretized Streams (DStreams) 7、输入DStreams与Receivers 8、基于DStreams的Transformations 9、基于DStreams的输出操作 10、Accumulators和Broadcast Variables 11、DataFrame和SQL操作 12、MLlib操作 13、Caching与Persistence 14、Checkpointing 15、运行Spark Streaming程序 16、性能调优：减少批处理时间 17、性能调优：设置正确的批处理间隔时间 18、内存调优 19、容错元语实战案例：Spark Streaming与Kafka整合实现数据实时数据分析处理设计与分析
Spark GraphX图计算框架实战（深入理解Spark GraphX实现原理及开发实战）	1、Spark GraphX概述 2、Spark GraphX图计算理论剖析 3、Spark GraphX框架剖析 4、Spark GraphX的图属性 5、Spark GraphX的图操作 6、操作列表 7、属性操作 8、结构操作 9、连接操作 10、近邻集合操作 11、Caching and Uncaching 12、Pregel APIs 13、Graph Builders 14、Vertex与Edge RDDs 15、Optimized Representation 16、Graph Algorithms 17、PageRank 18、Connected Components 19、Triangle Counting 20、Spark GraphX编程剖析 21、Spark GraphX APIs介绍 22、实战案例：Spark GraphX实现社交网络关系分析
spark MLlib机器学习库实战（深入理解Spark MLlib实现原理及开发实战）	Spark MLlib概述 Spark MLlib算法库介绍 Spark MLlib架构剖析 Spark MLlib机器学习算法剖析数据类型基本统计算法分类与回归协同过滤聚类降维特征提取与转换频繁模式挖掘评价指标 Spark MLlib编程 Spark MLlib APIs介绍 Spark MLlib机器学习算法应用实战 Spark MLlib实战案例：数据聚类分析案例剖析
Spark集成R语言SparkR（R语言与大数据内存计算框架Spark集成）	R语言概述 R语言语法介绍 R语言绘图函数 R语言高级绘图函数 SparkR集群部署 SparkR原理剖析 SparkR框架介绍 SparkR DataFrames DataFrame的操作选择行和列 Grouping和Aggregation SparkContext和SQLContext 在SparkR中运行SQL查询 SparkR编程在YARN上SparkR运行 SparkR机器学习 SparkR实战案例：运营商话务数据绘图
大数据推荐实战（深入理解大数据推荐技术以及推荐技术编程）	1、个性化推荐的理论依据 2、个性化推荐的价值 3、个性化推荐能达到的目的 4、个性化推荐的原则 5、个性化推荐技术发展史 6、个性化推荐的相关技术 7、基于用户的常用推荐算法 8、基于用户的协同过滤推荐