热点推荐

查看: 21798|回复: 65

Spark Streaming实时流处理项目实战

  [复制链接]

1418

主题

1532

帖子

3万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
39191
发表于 2018-4-17 08:25:57 | 显示全部楼层 |阅读模式
Spark Streaming实时流处理项目实战





本课程从实时数据产生和流向的各个环节出发,通过集成主流的分布式日志收集框架Flume、分布式消息队列Kafka、分布式列式数据库HBase、及当前最火爆的Spark Streaming打造实时流处理项目实战,让你掌握实时处理的整套处理流程,达到大数据中级研发工程师的水平!

  • 第1章 课程介绍

    课程介绍


  • 第2章 初识实时流处理

    本章节将从一个业务场景分析出发引出实时流处理的产生背景,对比离线处理和实时处理的区别,了解常用的实时流处理框架有哪些,实时流处理在企业级应用中各个环节的架构以及技术选型


  • 第3章 分布式日志收集框架Flume

    本章节将从通过一个业务场景出发引出Flume的产生背景,将讲解Flume的架构及核心组件,Flume环境部署以及Flume Agent开发实战让大家学会如何使用Flume来进行日志的采集


  • 第4章 分布式发布订阅消息系统Kafka

    本章节将讲解Kafka的架构以及核心概念,Kafka环境的部署及脚本的使用,Kafka API编程,并通过Kafka容错性测试让大家体会到Kakfa的高可用性,并将Flume和Kafka整合起来开发一个功能


  • 第5章 实战环境搭建

    工欲善其事必先利其器,本章将讲解Hadoop、ZooKeeper、HBase、Spark的安装,以及如何使用IDEA整合Maven/Spark/HBase/Hadoop来搭建我们的开发环境


  • 第6章 Spark Streaming入门

    本章节将讲解Spark Streaming是什么,了解Spark Streaming的应用场景及发展史,并从词频统计案例入手带大家了解Spark Streaming的工作原理


  • 第7章 Spark Streaming核心概念与编程

    本章节将讲解Spark Streaming中的核心概念、常用操作,通过Spark Streaming如何操作socket以及HDFS上的数据让大家进一步了解Spark Streaming的编程


  • 第8章 Spark Streaming进阶与案例实战

    本章节将讲解Spark Streaming如何处理带状态的数据,通过案例让大家知道Spark Streaming如何写数据到MySQL,Spark Streaming如何整合Spark SQL进行操作


  • 第9章 Spark Streaming整合Flume

    本章节将讲解Spark Streaming整合Flume的两种方式,讲解如何在本地进行开发测试,如何在服务器上进行测试


  • 第10章 Spark Streaming整合Kafka

    本章节将讲解Spark Streaming整合Kafka的两种方式,讲解如何在本地进行开发测试,如何在服务器上进行测试


  • 第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础

    本章节将通过实战案例彻底打通Spark Streaming和Flume以及Kafka的综合使用,为后续项目实战打下坚实的基础


  • 第12章 Spark Streaming项目实战

    本章节将通过一个完整的项目实战让大家学会大数据实时流处理的各个环境的整合,如何根据业务需要来设计HBase的rowkey


  • 第13章 可视化实战

    本章节将通过两种方式来实现实时流处理结果的可视化操作,一是使用Spring Boot整合Echarts实现,二是使用更加炫酷的阿里云产品DataV来实现


  • 第14章 Java拓展

    本章节作为扩展内容,将带领大家使用Java来开始Spark应用程序,使得大家对于使用Scala以及Java来开发Spark应用程序都有很好的认识





下载地址回复可见:
游客,如果您要查看本帖隐藏内容请回复



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

0

主题

52

帖子

458

积分

Lv1码农小白

Rank: 1

积分
458
发表于 2018-4-17 08:57:52 | 显示全部楼层
,工作需要,学习下
回复

使用道具 举报

1

主题

541

帖子

1403

积分

Lv1码农小白

Rank: 1

积分
1403
发表于 2018-4-17 09:00:53 | 显示全部楼层
必须学习下
回复

使用道具 举报

2

主题

159

帖子

678

积分

永久VIP会员

Rank: 3Rank: 3

积分
678
发表于 2018-4-17 09:03:27 | 显示全部楼层
6666666666666
回复

使用道具 举报

1

主题

235

帖子

875

积分

永久VIP会员

Rank: 3Rank: 3

积分
875
发表于 2018-4-17 09:08:17 | 显示全部楼层
谢谢楼主
回复

使用道具 举报

6

主题

75

帖子

383

积分

Lv1码农小白

Rank: 1

积分
383
发表于 2018-4-17 10:07:41 | 显示全部楼层
66666666666666
回复

使用道具 举报

1

主题

262

帖子

1068

积分

永久VIP会员

Rank: 3Rank: 3

积分
1068
发表于 2018-4-17 11:25:12 | 显示全部楼层
Spark Streaming实时流处理项目实战
回复

使用道具 举报

1

主题

152

帖子

516

积分

Lv1码农小白

Rank: 1

积分
516
发表于 2018-4-17 19:19:47 | 显示全部楼层
谢谢分享
回复

使用道具 举报

3

主题

297

帖子

983

积分

永久VIP会员

Rank: 3Rank: 3

积分
983
发表于 2018-4-17 20:45:14 | 显示全部楼层
感谢分享~~~~
回复

使用道具 举报

0

主题

110

帖子

646

积分

30天VIP会员

Rank: 1

积分
646
发表于 2018-4-17 21:42:25 | 显示全部楼层
Spark Streaming实时流处理项目实战
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

快速回复 返回顶部 返回列表