热点推荐

查看: 13000|回复: 34

基于大数据技术之电视收视率企业项目实战(hadoop+Spark)

[复制链接]

1418

主题

1532

帖子

3万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
39191
发表于 2018-2-1 00:35:58 | 显示全部楼层 |阅读模式
基于大数据技术之电视收视率企业项目实战(hadoop+Spark)


这个将通过一个电视收视率项目实战驱动讲解,项目案例是国内的一家广电企业作为非洲国家的一个运营商,以用户收视行为数据作为基础数据,通过对频道和节目的分析,采用多维度统计分析的方法挖掘用户的收视行为特征。

通过此案例可以学习大数据整体开发流程,课程是围绕一个大数据整理流程而做的教学课程,让大家明白大数据不同技术的相互协调,从收集数据,过滤数据,数据分析,数据展示,
调度的使用而开发的课程,而且怎么从hadoop,hive应用快速的过度到spark上面而做的整套流程。学完此课程可以企业流程做一个整体的认识。' E:

课程大纲:

1、项目的简介*
2、项目的背景/ O& ?
3、项目流程演示
4、讲课的内容和对应的知识点( t) ~* z
5、php展示统计分析之后的数据
6、大数据架构介绍并且企业使用的测试集群环境和人员配置
7、VM的安装- ?& T- {$ Z, S8
8、centos的安装和网络配置
9、通过第三方连接centos的方法7 l' F;
10、CentOS的yum源更新已经关闭防火墙7 ^: R" v# ?
11、JAVA的安装和hadoop安装8 ?2 \) `' V8 I, g
12、完全分布式搭建(上)% }' @1 k& ] `
13、完全分布式搭建(下)1 c! {3 k
* B2 H; u& @1
14、通过hadoop自带的demo运行单词统计, Y( z4 r$ j+ W
15、写一个sh脚本,可以通过一台机器控制多台机器
16、hadoop常用的命令简单介绍  R* j- _+ ?' g: ~8 Y"
17、maven的安装
18、maven的使用时出现的问题以及解决问题方法
19、MAPREDUCE 示例编写及编程规范4 D4 j+ J/  ~
20、安装时间同步工具,让所有电脑进行同步. Q4 }- G+ ^
21、Hive简介和工作流程8 O2 h) d# M4 q
22、Mysql的安装,centos7安装mysql注意点
23、安装Hive,并且使用Hive做一个小案例1 z: P, ^!
24、把txt文件的数据导入到Hive表中
25、Flume采集系统结构图  I' k( v4 N$
26、Flume的安装部署和实战2 h8 z5
27、sqoop数据迁移和安装+ X) r  P$
28、sqoop数据从hadoop里面导入到mysql里面( N7 _! |0 G- L
29、sqoop数据从mysql里面导入到hadoop里面
30、Azkaban介绍和安装
31、Azkaban创建SSL配置和配置文件# s3 I%
32、Azkaban实战通过5个不同场景介绍原理* k5 }* @$ v
33、电视采集项目流程篇之通过linux日志收集数据到hdfs上面
34、电视采集项目流程篇之通过MAPREDUCE 把收集数据进行清洗0  A3
35、电视采集项目流程篇之清洗数据绑定到hive表中(上)* l7 k3 b5 o
36、电视采集项目流程篇之清洗数据绑定到hive表中(下), g2 a9 [$ E" k6 h^
37、电视采集项目流程篇之根据hive绑定数据统计计算保存到hive表中/ Y7 M u
38、电视采集项目流程篇之把hive表中数据导入到mysql中5 }3 b& O" k6 V n
39、电视采集项目流程篇之安装php环境并且快速熟悉php语法
40、电视采集项目流程篇之安装php和echarts进行结合展示图表* U" \S
41、电视采集项目流程篇之Azkaban调度脚本的编写/ ?* _- k5 M+ Q$ M
42、电视采集项目流程篇之Azkaban流程调度演示,最终在php页面展示
43、hadoop和hive项目怎么平滑的转到spark上面介绍2 N# ]7 i0 t/ T
45、Spark历史和特点0 f) G6 C4
46、Spark下载源码和安装和使用
47、Spark创建RDD集合6 B8 a1 B. o
48、Spark中transformation的介绍
49、Spark中action的介绍
50、Spark SQL发展史' Z' MD
51、HiveContext
52、Spark SQL和DataFrame
53、电视采集项目流程如何把hadoop项目平滑过渡到spark项目上
54、电视采集项目流程spark篇通过sparksql处理业务逻辑上. a; I6 C8 \# y53 d
55、电视采集项目流程spark篇通过sparksql处理业务逻辑下' |; k$ D  Ir" \
56、电视采集项目流程spark篇通过Azkaban调度spark5 V: O, {7 j7 d:
57、项目总体总结& j: h: q4 s1 i, O
58、简历指导

下载地址:
游客,如果您要查看本帖隐藏内容请回复

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

0

主题

1

帖子

13

积分

Lv1码农小白

Rank: 1

积分
13
发表于 2018-2-5 17:51:55 | 显示全部楼层
fix the bug
回复

使用道具 举报

1

主题

541

帖子

1403

积分

Lv1码农小白

Rank: 1

积分
1403
发表于 2018-3-28 14:29:40 | 显示全部楼层
必须学习下
回复

使用道具 举报

1

主题

152

帖子

516

积分

Lv1码农小白

Rank: 1

积分
516
发表于 2018-3-28 18:43:43 | 显示全部楼层
谢谢分享
回复

使用道具 举报

1

主题

262

帖子

1068

积分

永久VIP会员

Rank: 3Rank: 3

积分
1068
发表于 2018-3-29 11:01:26 | 显示全部楼层
基于大数据技术之电视收视率企业项目实战
回复

使用道具 举报

0

主题

387

帖子

1183

积分

永久VIP会员

Rank: 3Rank: 3

积分
1183
发表于 2018-4-10 15:07:17 | 显示全部楼层
12312312424a
回复

使用道具 举报

0

主题

78

帖子

377

积分

永久VIP会员

Rank: 3Rank: 3

积分
377
发表于 2018-4-10 21:21:58 | 显示全部楼层
66666666666666666
回复

使用道具 举报

0

主题

399

帖子

1369

积分

永久VIP会员

Rank: 3Rank: 3

积分
1369
发表于 2018-4-16 17:37:45 来自手机 | 显示全部楼层
手机腾讯网
回复

使用道具 举报

0

主题

68

帖子

331

积分

永久VIP会员

Rank: 3Rank: 3

积分
331
发表于 2018-5-6 22:49:37 | 显示全部楼层
非常感谢分享
回复

使用道具 举报

发表于 2018-5-7 13:57:06 | 显示全部楼层
项目总体总结
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

快速回复 返回顶部 返回列表