|
基于Spark2大数据新闻网实时分析可视化系统
课程课程& v! F9 V R5 _! m) t! j/ g
第一章:案例需求分析与设计
1. 全套课程内容概述
2. 案例需求分析% A, t, m! y" O" }. `6 p
3. 系统架构设计. S* W: `9 }9 {) T# u; @: `7 ~. B
4. 系统数据流程设计
5. 集群资源规划设计
第二章:linux环境准备与设置
1. Linux系统常规设置
2. 克隆虚拟机并进行相关的配置, f( Y0 Y Z& J9 q+ r) B% F
3. 对集群中的机器进行基本配置. e3 u4 X2 e3 N: r
第三章:Hadoop2.X分布式集群部署1 d% G: |. k- I V0 @9 w+ y& e/ J' u& t) u
1. Hadoop2.X版本下载及安装( l. ^# w0 O0 A0 f/ U7 R P' F" h! Q
2. Hadoop2.X分布式集群配置$ M$ g, m1 S3 o: I5 w6 n. H
3. 分发到其他各个机器节点
4. HDFS启动集群运行测试9 ~& }$ k, E( u: m. ^, k* O
5. YARN集群运行MapReduce程序测试; U! M: `. ~: [( w( F. |' I; ~
6. 配置集群中主节点到各个机器的SSH无密钥登录
第四章:Zookeeper分布式集群部署) K3 U* q+ ?7 U! ]
1. Zookeeper版本下载及安装: j, h4 _3 D; R4 a. e2 v
2. 分布式集群配置及参数介绍
3. Zookeeper服务启动及测试+ L% @: A9 V0 i: k, s
第五章:Hadoop2.X HA架构与部署
1. HDFS-HA架构原理介绍
2. HDFS-HA 详细配置
3. HDFS-HA 服务启动及自动故障转移测试
4. YARN-HA架构原理介绍
5. YARN-HA 详细配置2 r. W$ K- Z7 u( Y* w9 q( J* e1 k; T
6. YARN-HA 服务启动及自动故障转移测试
第六章:HBase分布式集群部署与设计
1. 下载HBase版本并安装
2. 分布式集群的相关配置& k* z! R) k# q5 h6 o5 H
3. 启动依赖于Zookeeper和HDFS的两个服务% [3 E' g& m4 @$ p& N7 V
4. 通过shell测试数据库: [( U. A0 ^. \) a4 n
5. 日志信息存储需求分析及表的创建
第七章:Kafka分布式集群部署8 U7 T7 U8 [4 K* l, u8 n3 ^
1. 下载Kafka版本并安装' l6 Z% |( ?9 w6 I) ]' @
2. Kafka集群配置
3. 启动Kafka依赖于Zookeeper的服务并进行测试1 U8 O: M, m2 h, ^
第八章:Flume数据采集准备
1. Flume节点服务设计+ d# d3 q9 V! Z
2. Flume版本下载安装
3. Flume agent-1采集节点服务配置
4. Flume agent-2采集节点服务配置- m- S2 d$ S) a. ~
第九章:Flume+HBase+Kafka集成与开发
1. 下载Flume源码并导入Idea开发工具
2. 根据业务需求做采集入库的程序设计
3. 自定义SinkHBase程序开发6 |/ E7 v* e& O, h
4. idea程序打包并部署5 \/ I* z8 d( b/ f0 C8 I* `2 P
5. 官方Flume与HBase集成的参数介绍; @( P; _9 r& J# {7 T o
6. Flume agent-3聚合节点与HBase集成的配置
7. 官方Flume与Kafka集成的参数介绍5 _0 ~* S* l* X0 r7 {- t
8. Flume agent-3聚合节点与Kafka集成的配置
第十章:数据采集/存储/分发完整流程测试
1. idea工具开发数据生成模拟程序
2. 编写启动Flume服务程序的shell脚本
3. 启动Flume采集相关的所有服务
4. 编写脚本并启动Flume agent三台采集节点服务
5. 编写Kafka consumer执行脚本并运行
6. java开发业务数据生成模拟器
7. 运行模拟程序并通过HBase shell检查数据
第十一章:MySQL安装: g+ N( q$ s7 ~
1. 配置linux本地镜像源
2. linux联网安装mysql数据库
3. myql设置用户连接权限
4. 分析业务需求并设计表结构) q4 I, Q- S8 R. }, @
5. 创建数据库和与业务相关的表" v9 ~- S$ H$ I0 z7 F( Z
第十二章:Hive与HBase集成进行数据分析
1.Hive 概述
2.Hive 架构设计
3.Hive 应用场景. b$ i6 i7 i! [. ^
4.Hive 安装部署
5.Hive与MySQL集成
6.Hive 服务启动与测试, \- a* f, I+ n6 J; R* Q# O
7.根据业务创建表结构( K/ i+ w: N+ J* ]+ Q
8.Hive与HBase集成进行数据离线分析/ |! K) R" X* E# g
第十三章:Cloudera HUE大数据可视化分析. i5 b% l( e/ J1 E) n3 |
1.Hue概述7 b' ^2 U# |. v0 L) k$ W" n
2.Hue安装部署
3.Hue基本配置与服务启动6 M9 K* O& s6 N* V9 q/ f4 R
4.Hue与HDFS集成
5.Hue与YARN集成
6.Hue与Hive集成
7.Hue与MySQL集成
8.Hue与HBase整合0 s) H2 ~. D$ ^( R' s
9.对采集的数据进行可视化分析1 s p h, D0 r7 U5 R
10.Hue使用的经验总结
第十四章:Spark2.X环境准备、编译部署及运行
1.Spark 概述
2.Spark 生态系统介绍
3.Spark2.X学习注意事项
4.Spark2.2源码下载及编译
5.Scala安装及环境变量设置" t9 S3 n- @3 }8 A
6.Spark2.2本地模式运行测试
7.Spark服务WEB监控页面. M7 P, w% W4 ^
第十五章:基于IDEA环境下的Spark2.X程序开发
1.Windows开发环境配置与安装
2.IDEA Maven工程创建与配置, u: T+ C, z0 l2 q
3.开发Spark Application程序并进行本地测试
4.打Jar包并提交spark-submit运行
第十六章:Spark2.X集群运行模式
1.Spark几种运行模式介绍
2.Spark Standalone集群模式配置与运行& I& D. ]* B. h1 K2 a7 h3 _) e# U
3.Spark on YARN集群模式配置与运行1 R) Q7 {: e# _ @% y
第十七章:Spark2.X分布式弹性数据集0 E% Q* t' X1 c; T3 P% O# R) r" X
1.三大弹性分布式数据集介绍* U5 U) g2 _, M4 u+ t
2.Spark RDD概述与创建方式
3.Spark RDD五大特性
4.Spark RDD操作方式及使用
5.DataFrame创建方式及功能使用
6.DataSet创建方式及功能/ s0 m/ S+ @/ D* B6 z& H& o
7.数据集之前的对比与转换
第十八章:Spark SQL快速离线数据分析/ g5 [' ~+ J4 x7 e
1.Spark SQL概述及特点' `" ~7 [( C, t
2.Spark SQL服务架构; V4 `/ E6 _) O+ K1 G
3.Spark SQL与Hive集成(spark-shell)
4.Spark SQL与Hive集成(spark-sql)
5.Spark SQL之ThirftServer和beeline使用 q1 j6 g+ }/ V$ m6 ]$ W
6.Spark SQL与MySQL集成7 f+ i2 h4 m. y% h2 P: f5 h3 q1 _
7.Spark SQL与HBase集成
第十九章:Spark Streaming实时数据分析
1.Spark Streaming功能介绍* G% _. _/ e- f* n
2.NC服务安装并运行SparkStreaming
3.Spark Streaming服务架构及工作原理4 a. V/ u( t q7 I
4.Spark Streaming编程模型
5.Spark Streaming读取Socket流数据 l) G5 v( b' y8 C8 @
6.Spark Streaming结果数据保存到外部数据库$ V D: Y0 f* t5 h8 Z/ \
7.SparkStreaming与Kafka集成进行数据处理
第二十章:Structrued Streaming业务数据实时分析
1.Structured Streaming 概述及架构
2.Structured Streaming 编程模型
3.实时数据处理业务分析
4.Stuctured Streaming 与Kafka集成(一)! Q; [8 ^9 k1 c, c5 N
5.Stuctured Streaming 与Kafka集成(二), l2 \5 m/ y/ m, H, S3 E
6.Stuctured Streaming 与MySQL集成
7.基于结构化流完成业务数据实时分析(一)
8.基于结构化流完成业务数据实时分析(二). D0 ~1 k0 Q; [5 j+ @+ t( @
9.基于结构化流完成业务数据实时分析(三)# b; Y7 f) m5 s9 h! @) g: z
第二十一章:大数据Web可视化分析系统开发. ^" p4 B; j) d" u* j" n9 t
1.基于业务需求的WEB系统设计, R4 A9 L, A3 s9 j! B
2.下载Tomcat并创建Web工程
3.Web系统数据处理服务层开发. p. k& D- a* \
4.基于WebSocket协议的数据推送服务开发; c( W% w$ |' k# e+ ?. j
5.基于Echart框架的页面展示层开发(一): m( d% a& j* I7 p5 s( f" i; k. p8 k1 x
6.基于Echart框架的页面展示层开发(二)# x8 c# ?, X0 S' i- |- h, C& G+ p
7.工程编译并打包发布& F2 Q) U: _5 i+ o5 ^
8.启动各个服务并展示最终项目运行效果
下载地址回复可见:v3 大讲台 基于Spark2.x新闻网大数据实时分析可视化系统
|
|