|
大数据-基于Spark的机器学习-智能客户系统项目实战
课程介绍
项目背景：
1、现在很多平台客户关系管理系统都是使用传统的CRM，所有的信息全靠手工录入，用户寻找上下游企业或者信息只能靠手工去查找并且标注。
2、大数据时代的到来，人工智能，云计算，先进的分析，用机器去替代人工的部分，从 2016 年趋势看，机器学习和人工智能 (AI) 将在未来几年内将会彻底改变 CRM。
因此我们对CRM进行了改造，主要有如下部分：
1、企业信息、商品信息来自互联网，机器学习去自动统计分析并且分类。
2、用户录入的商品信息和新从互联网爬来的商品信息全部通过机器学习计算的模型去分类。
3、机器学习自动计算企业和供求信息上下游。
4、机器学习每隔一段时间自动去优化计算模型。
根据图识，项目将分为三个部分。整个项目基本思路是如何通过爬虫爬取大量数据放到Hbase，然后通过ETL工具初步转化筛选将数据存到mongodb，抽取mongodb的数据进行清洗处理算出模型放到hdfs。后续进来数据通过模型运算出数据的类型。项目系统主要包括前端+后端+机器学习，前端采用React Native，Native，后端采用Dubbo+Spring+java，机器学习采用Spark进行实现，本项目机器学习-spark代码运行在mesos上。
本课程我们只针对以上图示的浅蓝色部分内容（即与机器学习相关的内容），通过用真实的智能客户项目系统作为案例（案例附带源码，可以直接做二次开发），主要根据项目实例穿讲机器学习以及相关知识，包括有：数据提取，数据清洗以及分词，数据特征值提取、机器学习模型计算、数据分类等等，进行详细讲解。
本课程所需掌握的技术：java、scala、IK、Hdfs、Spark ml、Spark Streaming、Spark SQL、Kafka、Zookeeper、Mongodb、Spring-Data-Mongodb，由于每个技术需要掌握的程度不一样，对于我们用到的一些开源技术，课程中将会是简单介绍如何使用，不会着重讲解。课程重点讲解spark ml、spark Streaming，以及如何使用这些技术进行项目的实战，贯穿项目系统并且最后串联所有技术。spark基于2.0.1版本讲解
课程大纲
第1节项目介绍以及在本课程中能学到什么东西、如何应用到实际项目中 [免费观看] 00:09:43分钟 |
第2节scala和IDE的安装以及使用以及maven插件的安装 [免费观看] 00:07:04分钟 |
第3节Centos环境准备（java环境、hosts配置、防火墙关闭） [免费观看] 00:06:24分钟 |
第4节scala基础知识讲解-1 [免费观看] 00:08:51分钟 |
第5节scala基础知识讲解-函数和闭包-2 [免费观看] 00:30:07分钟 |
第6节scala基础知识讲解-数组和集合-3.1 [免费观看] 00:48:33分钟 |
第7节scala基础知识讲解-数组和集合-3.2 [免费观看] 00:14:16分钟 |
第8节scala基础知识讲解-类和对象-400:23:06分钟 |
第9节scala基础知识讲解-特征和模式匹配-500:13:46分钟 |
第10节scala基础知识讲解-正则表达式和异常处理-600:12:41分钟 |
第11节scala基础知识讲解-知识回顾00:15:58分钟 |
第12节nosql数据库mongodb安装00:04:57分钟 |
第13节spring data for mongodb-简单连接mongodb00:07:52分钟 |
第14节spring data for mongodb-spring配置+CRUD操作(不实现repo，默认操作)00:36:20分钟 |
第15节spring data for mongodb-实现repo接口+mongoTemplate+CRUD操作00:36:17分钟 |
第16节spring data for mongodb-分页查询00:13:32分钟 |
第17节zookeeper集群安装00:13:41分钟 |
第18节zookeeper基本介绍-100:22:36分钟 |
第19节zookeeper工作原理-选举流程（basic paxos算法）-200:24:27分钟 |
第20节zookeeper工作原理-选举流程（fast paxos算法）-300:31:16分钟 |
第21节kafka-背景及架构介绍00:12:28分钟 |
第22节kafka集群安装以及测试00:14:29分钟 |
第23节kafka数据发送与接收实现-java00:31:28分钟 |
第24节hdfs单机安装部署00:18:51分钟 |
第25节连接hdfs查询存储-java00:35:45分钟 |
第26节机器学习基本线性代数介绍00:05:08分钟 |
第27节IKAnalyzer中文分词工具介绍00:17:54分钟 |
第28节IKAnalyzer中文分词工具结合java应用00:16:29分钟 |
第29节Spark以及生态圈介绍00:11:45分钟 |
第30节Spark运行架构介绍及原理之job，stage，task00:26:19分钟 |
第31节Spark编程模型RDD设计以及运行原理00:15:48分钟 |
第32节纯手写第一个Spark应用程序：WordCount00:23:57分钟 |
第33节RDD常用函数介绍00:29:22分钟 |
第34节Spark Sql介绍、DataFrame创建以及使用、RDD DataFrame DataSet相互转化00:12:54分钟 |
第35节Spark Streaming介绍00:12:56分钟 |
第36节Spark Streaming+Kafka集成操作00:18:44分钟 |
第37节avro结合maven使用,实现序列化和反序列化00:21:07分钟 |
第38节Spark ML（机器学习）介绍（监督学习、半监督学习、无监督学习） [免费观看] 00:13:59分钟 |
第39节特征抽取：TF-IDF原理介绍 [免费观看] 00:17:49分钟 |
第40节特征提取：TF-IDF代码实现计算 [免费观看] 00:26:37分钟 |
第41节聚类算法：KMEANS原理介绍00:20:55分钟 |
第42节聚类算法：KMEANS代码实现计算00:20:03分钟 |
第43节其它Spark ML算法简单介绍00:03:48分钟 |
第44节Spark连接Mongodb代码实现00:13:08分钟 |
第45节Mesos总体架构介绍00:08:25分钟 |
第46节Mesos安装部署00:12:04分钟 |
第47节Spark on Mesos安装部署00:11:12分钟 |
第48节系统整体架构再次介绍+技术串联介绍（将学习的技术全部整合到项目中）00:03:57分钟 |
第49节项目代码：父类工程，管理各个jar的版本00:03:47分钟 |
第50节项目代码：avro序列化jar，用于客户端和机器学学习实现序列化和反序列化00:04:46分钟 |
第51节项目代码：kafka发送数据jar，给app调用并实现切词并发送数据到kafka00:06:23分钟 |
第52节项目代码：工具类jar，实现操作hdfs、切词以及操作mongodb00:03:28分钟 |
第53节项目代码：操作类jar，调用工具类具体进行切词以及数据清洗并且存储到Hdfs00:05:34分钟 |
第54节项目代码：机器学习集合jar，主要用来存放record00:02:56分钟 |
第55节项目代码：机器学习算法jar，主要进行tf-idf以及kmeans计算，主要实现企业上下游、供求上下游模型计算00:07:11分钟 |
第56节项目代码：流式计算jar，主要是接受客户端发送到kafka的数据加载模型进行计算00:04:35分钟 |
第57节项目代码：测试模拟jar，主要模拟实现用户加载avro序列化jar写数据到kafka00:01:51分钟 |
第58节Spark on Mesos部署提交参数介绍00:08:17分钟 |
第59节Spark代码提交到Mesos运行（Spark-submit）00:07:13分钟 |
第60节项目整体流程跑通，结果展示00:06:54分钟 |
第61节Spark调优介绍00:08:01分钟 |
第62节基于Spark的机器学习项目-智能客户系统实战课程总结00:04:12分钟 |
第63节实际工作及面试注意问题00:03:45分钟 |
下载地址回复可见：
| 
[复制链接]
/1 
发表于 2018-3-29 07:40:31
变色卡
发表于 2018-3-29 08:58:20