课程培训
IBM公司spark培训

Spark及其在机器学习中的应用

 

课程目标:

 

通过该课程的学习,学员应能够熟练掌握 Spark 并能利用 Spark 解决机器学习的相关问题 具体的,学员将了解: 1.SparkUbuntu虚拟机上的分布式集群环境搭建; 2.基于PythonSpark编程基础; 3.Spark MLlib的使用(.py文件)包括回归预测、聚类、关联规则、神经网络预测; 4.Spark在阿里云的使用(.py文件) ; 5.SparkAWS亚马逊云的使用。

 

课程大纲:

 

时间

主题

内容

第一天

 

上午

 

 

Spark简介及环境搭建

 

l Spark 简介

l Spark 环境搭建(Ubuntu , 分布式集群).使用的是 Hadoop 2.7.3 和 Spark 2.0.1 版本

 

下午

 

 

 

基于PythonSpark 编程

 

 

l 基于 Python 的 Spark 常用函数及其使用方法。map/reduce/groupByKey/reduceByKey/filter/ flatMap/saveAsTextFile/join 等

l 基于 Python 的 Spark 编程样例。通过基本的统计分析和数据处理样例说明该怎样进行基于 Python 的 Spark 编程

 

 

 

第二天

 

上午

 

 

Spark 和机器学习

 

 

l MLLib 全方位介绍 。MLLib 包含的各种算法函数的介绍。个别算法根据情况可以讲解源代码

l MLLib 编程样例 (回归预测 , 聚类 , 关联规则,  神经网络预测等)

 

下午

 

云环境下的 Spark 以及预测的简介

 

l Spark 在阿里云的使用

l Spark 在 AWS 亚马逊云的使用

l 预测方法简介:包括时间序列预测,机器学习方法进行预测(GBDT, 逻辑回归等)

 

 




如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击

服务优势:
丰富专家资源,精准匹配相关行业,相关项目技术精英,面向用户实际需求,针对性培训或咨询,互动式交流,案例教学,精品小班,实际工程项目经验分享,快捷高效,节省时间与金钱,少走弯路与错路。

专家力量:
中国科学院相关研究所高级研究人员
西门子,TI,vmware,MSC,Ansys,MDI,Mentor, candence,Altium,Atmel 、Freescale,达索,华为等
大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关学历背景专业,理论素养高
多年实际项目实践,大型复杂项目实战案例分享,热情,乐于技术分享
针对客户实际需要,真实案例演示,互动式沟通,学有所值
报名表下载
联系我们 更多>>

咨询电话010-62883247

                4007991916

咨询邮箱:soft@info-soft.cn  

 

微信号.jpg

  微信咨询

随时听讲课

聚焦技术实践

订制培训 更多>>