601 9大业务场景实战Hadoop+Flink，完成大数据能力进修

课程介绍：
一课掌握热门技术栈，从0到1构建数据思维

随着互联网、大数据的快速发展，许多企业都加入了大数据的“抢人大战”，人才需求很强。但大数据对新人并不友好，技术栈众多，学习曲线陡峭，项目体量大，都成了入门路上的绊脚石。我结合自己十余年的从业经验，设计了这门大数据入门课程，从大数据基石——Hadoop讲起，再到Flink、ClickHouse、Hudi等热门核心技术，并通过一系列大型项目的实战，让你成为实力派岗位人才！

课程目录：
第1章 高薪择业：为什么大数据行业更有前途？7 节 | 26分钟
本章将从什么是大数据说起，让大家明白大数据是与我们的生活息息相关的，并不是遥不可及的。课程中，将介绍大数据的特性、大数据对我们带来的技术变革、大数据处理过程中涉及到的技术以及大数据典型应用。在这里，希望大家掌握学习的方法，得以真正不变应万变。...

1-1 本章概览 (01:08)

1-2 什么是大数据 (03:23)

1-3 大数据特点(4V) (05:32)

1-4 大数据带来的变革 (06:19)

1-5 大数据应用场景 (03:26)

1-6 大数据前景 (01:55)

1-7 大数据学习方法论 (04:03)

第2章 急速入门大数据Hadoop：到底什么是Hadoop7 节 | 36分钟
本章中，将带领大家一起认识Hadoop：Hadoop生态系统、Hadoop的发展史、Hadoop的优势、Hadoop的三个核心组件（HDFS、YARN、MapReduce）；探讨Hadoop生态圈的常用框架及职责，以及在工作中如何选择更适合的Hadoop的发行版，为后续深入学习打下坚实的基础。...

2-1 本章概览 (01:15)

2-2 Hadoop概述 (07:26)

2-3 Hadoop发展史(了解) (05:22)

2-4 认识Hadoop三大核心组件 (05:56)

2-5 大数据生态圈 (07:58)

2-6 发行版的选择 (07:24)
图文：
2-7 【面试官来啦】面试讨论题

第3章 大数据基石之文件系统：系统玩转分布式文件系统HDFS38 节 | 256分钟
本章中，将从Hadoop的设计目标、架构及文件系统命令空间出发，带领大家快速搭建单节点伪分布式HDFS的环境。通过讲解使用hdfs shell以及Java API的方式操作HDFS文件系统，详细分析HDFS文件的读写流程以及安全模式在Hadoop中的使用，并结合HDFS API来实现词频统计案例，帮助大家对Hadoop分布式文件系统HDFS有深刻的认识并...

3-1 本章概览 (02:24)
图文：
3-2 【前置准备】云主机开通及使用

3-3 初识HDFS (07:08)

3-4 HDFS假设和目标 (16:25)

3-5 【重要！必掌握】HDFS架构 (12:25)

3-6 文件系统命名空间 (03:55)

3-7 副本因子及副本拜访策略 (12:13)

3-8 【重要！必掌握】经典面试题 (05:41)

3-9 HDFS优缺点 (03:26)

3-10 Hadoop解压及重要目录讲解 (07:23)

3-11 HDFS核心配置文件及免密码登陆 (09:36)

3-12 HDFS启停(整体和单个) (11:18)

3-13 环境变量补充 (02:05)

3-14 初识HDFS常用命令 (03:29)

3-15 HDFS命令行操作之文件上传 (09:30)

3-16 HDFS命令行操作之文件内容查看 (02:44)

3-17 HDFS命令行操作之文件下载 (02:57)

3-18 HDFS命令行操作之其他常用操作 (08:42)

3-19 HDFS API开发之基本环境介绍 (05:23)

3-20 jUnit快速入门 (08:42)

3-21 jUnit生命周期（上） (03:58)

3-22 jUnit生命周期（下） (04:06)

3-23 HDFS API开发之创建文件夹 (11:10)

3-24 HDFS API开发之上传文件 (07:36)

3-25 HDFS API开发之参数优先级问题 (07:10)

3-26 HDFS API开发之文件下载和重命名 (03:37)

3-27 HDFS API开发之代码重构 (03:36)

3-28 HDFS API开发之列表展示功能 (07:51)

3-29 HDFS API开发之删除操作 (01:14)

3-30 HDFS API开发之基于IO流的方式 (05:44)

3-31 【重要！必掌握】经典面试题之HDFS写数据流程 (14:07)

3-32 【重要！必掌握】经典面试题之HDFS读数据流程 (07:51)

3-33 【重要！必掌握】NameNode&SecondaryNameNode工作机制（上） (12:45)

3-34 【重要！必掌握】NameNode&SecondaryNameNode工作机制（下） (10:32)

3-35 【重要！必掌握】DataNode工作机制 (12:09)

3-36 安全模式 (06:58)
图文：
3-37 【面试官来啦】面试讨论题
作业：
3-38 【练练练】阶段作业题

第4章 大数据基石之计算框架：系统玩转分布式计算框架MapReduce61 节 | 427分钟
本章将从架构、编程模型等角度带大家认识Hadoop的分布式计算框架MapReduce，掌握MapReduce整体执行流程以及各个核心组件编程，并通过N个实战案例让大家深入掌握，如何结合各种不同场景的应用基于MapReduce进行开发。本章中会详细剖析如何在MapReduce中实现JOIN，这也是面试中经常被考察到的点，考察你的MapReduce功底以及优...

4-1 本章概览 (08:04)

4-2 初识MapReduce框架 (06:42)

4-3 MapReduce框架的优缺点 (07:17)

4-4 MapReduce思想(非常重要) (09:54)

4-5 MapReduce核心进程 (03:29)

4-6 官方词频统计案例分析 (13:59)

4-7 词频统计数据流图解 (03:29)

4-8 MapReduce编程规范 (06:56)

4-9 初识MR编程中的数据类型 (03:09)

4-10 词频统计之自定义Mapper (08:08)

4-11 词频统计之自定义Reducer (05:10)

4-12 词频统计之自定义Driver (05:53)

4-13 词频统计之测试及重构 (05:53)

4-14 词频统计之Mapper源码分析 (12:10)

4-15 词频统计之Reducer源码分析 (04:17)

4-16 词频统计之模板方法模式 (07:20)

4-17 序列化概述 (04:13)

4-18 序列化之JDK自带的序列化机制 (05:37)

4-19 序列化之Data序列化机制 (06:23)

4-20 Hadoop序列化之Writable接口详解 (06:42)

4-21 Hadoop序列化之需求分析 (08:16)

4-22 Hadoop序列化之自定义序列化类 (03:20)

4-23 Hadoop序列化之自定义Mapper类 (03:51)

4-24 Hadoop序列化之自定义Reducer类 (02:59)

4-25 Hadoop序列化之自定义Driver类及测试 (06:58)

4-26 Hadoop序列化之总结 (04:01)

4-27 初识InputFormat&InputSplit (10:16)

4-28 InputSplit和Block的关系 (05:18)

4-29 本地IDEA运行时InputSplit的大小测试 (08:16)

4-30 认识FileInputFormat (02:18)

4-31 TextInputFormat编程 (06:39)

4-32 KeyValueTextInputFormat编程 (10:15)

4-33 NLineInputFormat编程 (06:55)

4-34 DBInputFormat编程 (14:55)

4-35 Partitioner功能及编程 (11:21)

4-36 本地预计算Combiner意义 (08:10)

4-37 本地预计算Combiner编程 (08:44)

4-38 排序概述 (07:16)

4-39 排序之全局排序编程 (08:27)

4-40 排序之分区排序编程 (04:07)

4-41 通过源码认识OutputFormat (06:07)

4-42 OutputFormat编程之输出数据到MySQL表中 (09:24)

4-43 OutputFormat编程之自定义OutputFormat (14:24)

4-44 MapReduce全流程之MapTask工作原理 (16:53)

4-45 MapReduce全流程之ReduceTask工作原理 (07:21)

4-46 MapReduce全流程之Shuffle工作原理 (06:27)

4-47 MapReduce全流程之加强 (04:16)

4-48 场景题之group by需求分析 (05:03)

4-49 场景题之group by功能开发及测试 (05:56)

4-50 场景题之group by功能开发及测试 (05:56)

4-51 场景题之distinct需求分析 (02:46)

4-52 场景题之distinct功能实现及测试 (02:58)

4-53 场景题之ReduceJoin需求分析 (09:36)

4-54 场景题之ReduceJoin自定义序列化类 (04:06)

4-55 场景题之ReduceJoin功能开发及测试 (13:09)

4-56 场景题之ReduceJoin的弊端 (03:14)

4-57 场景题之MapJoin原理分析 (08:29)

4-58 场景题之MapJoin功能实现及测试 (12:19)

4-59 基于MR编程开发核心组件系统性梳理 (10:48)
图文：
4-60 【面试官来啦】面试讨论题
作业：
4-61 【练练练】阶段作业题


第5章 大数据基石之管理框架：系统玩转资源管理系统YARN19 节 | 107分钟
本章将从YARN的产生背景、YARN的架构及执行流程的角度，带大家认知Hadoop的资源调度框架YARN，能够快速搭建单节点伪分布式YARN的实验环境，掌握如何提交MapReduce作业提交到YARN上运行，以及资源调度器的配置、使用及区别。

5-1 本章概览 (01:33)

5-2 YARN产生背景 (06:56)

5-3 YARN架构核心组件 (05:52)

5-4 【重要！必掌握】YARN核心组件职责 (13:26)

5-5 【重要！必掌握】YARN工作原理 (08:14)

5-6 YARN容错性 (02:56)

5-7 以YARN为核心的生态系统 (02:37)

5-8 YARN单节点部署 (03:30)

5-9 提交官方自带案例到YARN上运行并认识YARN UI界面 (06:36)

5-10 开启作业历史服务器 (03:49)

5-11 YARN命令(掌握使用方法) (11:01)

5-12 【重要！必掌握】打包自己开发的作业到YARN上运行 (07:08)

5-13 初识YARN调度器 (03:37)

5-14 调度器之FIFO (02:05)

5-15 调度器之CapacityScheduler深入详解 (11:49)

5-16 【重要！必掌握】调度器之CapacityScheduler队列配置及测试 (12:45)

5-17 【重要！必掌握】调度器之CapacityScheduler优先级配置及测试 (02:55)
图文：
5-18 【面试官来啦】面试讨论题
作业：
5-19 【练练练】阶段作业题

第6章 分布式协调框架ZooKeeper：ZK在Hadoop生态圈中的使用15 节 | 87分钟
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，在后续Hadoop高可用部署时，需要使用ZK来进行主备切换。在本章中，将带领同学们学习ZooKeeper在企业级应用中的使用，掌握ZooKeeper的部署以及命令行使用。

6-1 本章概览 (01:51)

6-2 初识ZK (04:32)

6-3 ZK角色及选举机制 (12:30)

6-4 ZK在企业中的使用场景 (07:45)

6-5 ZK单机单Server部署 (08:44)

6-6 【重要！必掌握】ZK数据模型 (08:15)

6-7 ZK命令行详解之创建 (07:38)

6-8 ZK命令行详解之修改和删除 (03:17)

6-9 初识ZK中的监听器 (01:55)

6-10 【重要！必掌握】ZK监听器实操 (06:17)

6-11 ZK命令行详解之四字命令 (06:55)

6-12 ZK集群核心概念 (04:38)

6-13 ZK单节点多Server部署及HA测试 (12:24)
图文：
6-14 【面试官来啦】面试讨论题
作业：
6-15 【练练练】阶段作业题

第7章 轻松部署Hadoop集群环境：构建多个节点的Hadoop集群环境9 节 | 56分钟
本章将带领大家搭建一个三个节点的分布式Hadoop集群环境，帮助大家掌握Hadoop集群的规划，掌握Hadoop HA的架构&原理 以及Hadoop集群的部署及测试，并能将项目实战案例轻松运行在分布式集群环境中。

7-1 本章概览 (02:01)

7-2 从单机版引入到集群版 (04:21)

7-3 Hadoop集群规划及准备工作 (08:41)

7-4 Hadoop集群部署及测试 (09:50)

7-5 Hadoop HA架构 (15:37)

7-6 ZK分布式环境部署 (03:49)

7-7 Hadoop集群HDFS HA配置及测试 (11:03)
图文：
7-8 【面试官来啦】面试讨论题
作业：
7-9 【练练练】阶段作业题

第8章 SQL on Hadoop框架基础：急速入门数据仓库工具Hive和DDL&DML40 节 | 233分钟
本章将从Hive的产生背景、体系架构、Hive部署出发，帮助大家快速入门Hive，轻松掌握Hive的DDL以及DML操作、HiveQL的写法。在掌握JOIN MR的写法基础上通过执行计划重点掌握Hive Join的底层的执行原理；并结合多案例实战，帮助大家轻松掌握Hive中窗口分析函数的用法。...

8-1 本章概览 (02:42)

8-2 Hive产生背景 (08:23)

8-3 Hive是什么 (10:56)

8-4 Hive的优缺点 (05:27)

8-5 【重要！必掌握】Hive架构 (13:48)

8-6 Hive部署架构 (05:36)

8-7 经典面试题 (07:27)

8-8 Hive部署及快速使用 (11:47)

8-9 Hive中参数的设置和使用 (11:33)

8-10 Hive访问方式之HS2&beeline (03:16)

8-11 【重要！必掌握】Hive中两个重要参数的用法 (02:58)
图文：
8-12 【面试官来啦】面试讨论题
作业：
8-13 【练练练】阶段作业题

8-14 【重要！必掌握】Hive数据模型 (05:01)

8-15 DDL之创建数据库 (10:20)

8-16 DDL之修改和删除数据库 (04:03)

8-17 Hive数据类型&分隔符 (06:11)

8-18 DDL之创建表语法 (06:38)

8-19 DDL之创建表实操 (05:51)

8-20 经典面试题分析之内部表 (04:19)

8-21 经典面试题分析之外部表 (03:29)

8-22 经典面试题分析之内外部表转换问题 (04:17)

8-23 【重要！必掌握】经典面试题分析之内外部表对比及使用场景 (03:00)

8-24 DDL之修改表实操 (05:39)

8-25 经典面试题之drop和truncate的区别 (02:46)

8-26 【重要！必掌握】DML之表数据加载的N种姿势 (18:26)

8-27 经典面试题之为什么不使用insert values的写法呢 (03:36)

8-28 DML之通过SQL导出数据 (05:11)

8-29 【重要！必掌握】DML之export&import实操 (03:13)

8-30 关于truncate的思考题 (01:43)

8-31 分区表意义何在 (04:03)

8-32 分区表实操之单分区表创建及数据加载 (11:34)

8-33 分区表实操之多级分区表创建及数据加载 (02:19)

8-34 场景题之使用动态分区解决复杂问题 (10:07)

8-35 SQL查询之基础使用 (06:41)

8-36 SQL查询之聚合函数的使用 (01:47)

8-37 【重要！必掌握】SQL查询之分组函数的使用 (05:08)

8-38 【重要！必掌握】SQL查询之JOIN的使用 (13:03)
图文：
8-39 【面试官来啦】面试讨论题
作业：
8-40 【练练练】阶段作业题

第9章 SQL on Hadoop框架进阶：如何快速掌握Hive核心函数31 节 | 186分钟
本章将带领大家掌握，针对复杂数据时如何使用复杂数据类型（如：array、map、struct）对数据进行处理；学习Hive中内置函数的使用，能够轻松应对当内置函数不满足我们的生产需求时，如何自定义开发UDF函数来完成需求。

9-1 本章概览 (01:58)

9-2 动手实操复杂数据类型之array (07:37)

9-3 动手实操复杂数据类型之map (10:55)

9-4 动手实操复杂数据类型之struct (03:35)

9-5 如何去挖掘Hive中内置函数使用的方法论 (03:07)

9-6 动手实操日期时间函数的使用 (13:22)

9-7 动手实操取整相关函数的使用 (03:25)

9-8 动手实操字符串相关函数的使用 (07:57)

9-9 动手实操场景题之处理json数据 (10:58)

9-10 动手实操URL函数的使用 (03:44)

9-11 动手实操NVL函数的使用 (01:53)

9-12 动手实操场景题之条件控制函数的使用 (11:23)

9-13 【重要！必掌握】动手实操场景题之行列转换功能一 (04:40)

9-14 【重要！必掌握】动手实操场景题之行列转换功能二 (06:57)

9-15 【重要！必掌握】动手实操场景题之使用Hive完成wc统计 (03:39)

9-16 初识Hive UDF函数 (02:30)

9-17 动手实操开发自定义UDF函数之UDF实现类的开发 (03:08)

9-18 【重要！必掌握】动手实操开发自定义UDF函数之UDF临时函数的注册和使用 (08:29)

9-19 【重要！必掌握】动手实操开发自定义UDF函数之UDF永久函数的注册和使用 (04:10)

9-20 自定义UDF扩展之如何集成Hive源码进行二次开发 (02:53)

9-21 动手实操开发自定义UDF函数之新版本UDF开发及使用 (09:14)

9-22 动手实操开发自定义UDTF函数开发及使用 (08:28)

9-23 【重要！必掌握】窗口分析函数场景sum over的使用 (19:46)

9-24 窗口分析函数场景NTILE的使用 (04:50)

9-25 【重要！必掌握】窗口分析函数场景row_number&rank&dense_rank的使用 (05:43)

9-26 窗口分析函数场景lag&lead的使用 (07:11)

9-27 窗口分析函数场景firstvalue&lastvalue的使用 (02:18)

9-28 窗口分析函数场景cume_dist&precent_rank的使用 (07:39)

9-29 动手实操之窗口函数综合使用 (03:56)
图文：
9-30 【面试官来啦】面试讨论题
作业：
9-31 【练练练】阶段作业题

第10章 SQL on Hadoop框架进阶：如何快速学会Hive调优20 节 | 94分钟
生产上业务对应的Hive作业如何能高效的运行，这是作为一枚合格的大数据工程师的必备技能。本章节中，将带领大家一起针对Hive方方面面的调优进行探讨和学习，帮助大家认识Hive在生产上的必备的各种调优手段。

10-1 本章概览 (01:52)

10-2 Hive调优概述 (03:00)

10-3 Hive作业什么时候跑MR作业 (07:41)

10-4 Hive作业如何以本地方式运行 (04:24)

10-5 Hive严格模式带来的好处 (03:53)

10-6 Hive4大by之order by (03:25)

10-7 Hive4大by之sort by (05:13)

10-8 Hive4大by之distribute by (08:22)

10-9 Hive4大by之cluster by (02:41)

10-10 Hive4大by总结 (03:44)

10-11 Hive并行执行的适用场景 (04:04)

10-12 Hive推测式执行能为我们带来的利弊 (07:50)

10-13 Hive如何设置合理的MapTask数量 (06:44)

10-14 Hive如何设置合理的ReduceTask数量 (04:51)

10-15 分布式计算框架中产生数据倾斜的根本原因 (05:49)

10-16 场景之groupby的数据倾斜解决方案 (06:23)

10-17 场景之count(disintct)的数据倾斜解决方案 (05:12)

10-18 场景之join的数据倾斜解决方案 (08:40)
图文：
10-19 【面试官来啦】面试讨论题
作业：
10-20 【练练练】阶段作业题


第11章 日志收集利器Flume实战：如何使用Flume进行日志的收集25 节 | 167分钟
本章将带领大家学习Flume框架是什么、能做什么、核心组件的功能、如何高效部署、如何采用Flume来完成日志数据（文件&文件夹）的收集工作、Flume在生产上不同的场景的经典部署方案、Flume Agent的不同选型及配置、以及在生产环境Flume高可用的使用方式。帮助大家快速入门！...

11-1 本章概览 (02:47)

11-2 Flume产生背景 (08:29)

11-3 采集vs收集 (06:27)

11-4 初识Flume及学习姿势 (09:15)

11-5 竞品分析 (04:31)

11-6 发展史 (02:41)

11-7 【重要！必掌握】Flume核心组件 (10:33)

11-8 Flume Agent配置文件编写指南 (08:46)

11-9 Flume部署 (03:15)

11-10 Agent启动及测试 (07:46)

11-11 数据传输基本单元Event (03:27)
图文：
11-12 【面试官来啦】面试讨论题
作业：
11-13 【练练练】阶段作业题

11-14 实战之监控某个文件新增的内容并输出到HDFS (16:30)

11-15 实战之监控某个文件夹下新增的内容并输出到HDFS (15:08)

11-16 实战之监控某个文件夹下新增的内容并输出到HDFS分区中 (09:29)

11-17 【重要！必掌握】实战之TAILDIR断点续传收集数据 (11:23)

11-18 【重要！必掌握】生产场景理解 (04:46)

11-19 avrosink和avrosource配对使用 (11:18)

11-20 认识Channel Selector (07:30)

11-21 【重要！必掌握】实战之Channel Selector (07:25)

11-22 认识Sink Processor (03:22)

11-23 【重要！必掌握】实战之Sink Processor (12:09)
图文：
11-24 【面试官来啦】面试讨论题
作业：
11-25 【练练练】阶段作业题


第12章 高效简洁编程Scala入门：为什么大数据编程首选Scala语言&快速入门29 节 | 189分钟
本章将介绍，Scala是什么、能为我们带来什么、Scala与Java开发方式的对比、帮助大家快速入门，掌握Scala编程的基础语法、运算符&流程控制语句的使用、函数的定义以及默认参数、命名参数、可变参数的使用，为后续Scala进阶的学习打下基础。...

12-1 本章概览 (02:37)

12-2 Scala是什么 (06:55)

12-3 学习Scala的意义何在 (05:30)

12-4 Scala安装及快速使用 (06:41)

12-5 Scala与JVM的关系 (06:37)

12-6 基于IDEA构建Scala项目 (05:04)
图文：
12-7 【面试官来啦】面试讨论题
作业：
12-8 【练练练】阶段作业题

12-9 注释之论一个码农的自我修养 (12:52)

12-10 标识符之论起名的艺术 (13:14)

12-11 宏观了解Scala中的数据类型 (02:23)

12-12 值和变量(注意理解第二个场景) (09:41)

12-13 数据类型 (09:30)

12-14 数据类型转换 (09:15)

12-15 【重要！必掌握】字符串操作 (09:53)

12-16 实操之从控制台终端获取数据 (05:07)

12-17 运算符的用法 (05:32)

12-18 条件分支详解 (10:37)

12-19 循环之while&dowhile (09:37)

12-20 循环之while以优雅的方式退出 (05:45)

12-21 【重要！必掌握】循环之for (18:10)

12-22 通过场景引出方法 (02:53)

12-23 【重要！必掌握】方法的定义和使用 (09:43)

12-24 【重要！必掌握】 默认参数 (04:59)

12-25 命名参数 (03:50)

12-26 【重要！必掌握】变长参数 (06:43)

12-27 数据类型补充之Unit&Null&Nothing (05:48)
图文：
12-28 【面试官来啦】面试讨论题
作业：
12-29 【练练练】阶段作业题

第13章 高效简洁编程Scala进阶：如何熟练掌握Scala面向对象编程&集合&模式匹配48 节 | 300分钟
本章节是Scala中面向对象开发的【重中之重】，每个知识点【务必都要掌握】。在本章中，将带领大家系统学习基于Scala的面向对象编程；类、构造器、继承、重写、抽象类的使用；伴生类、伴生对象的使用；case class的使用；Trait的使用；Scala中数组、List、Set、Map、Tuple、Option等各种不同数据结构的集合在开发过程中的使...

13-1 本章概览 (04:06)

13-2 面向对象三大特性 (07:17)

13-3 【重要！必掌握】通过女朋友认识类和对象的关系 (04:50)

13-4 定义类并通过反编译掌握属性对应的方法构成 (08:55)

13-5 【重要！必掌握】占位符在Scala中的使用 (02:37)

13-6 通过反编译掌握private关键字的使用 (02:22)

13-7 构造器与附属构造器的使用及阅读源码 (07:47)

13-8 继承&重写的使用及阅读源码 (10:48)

13-9 抽象类的使用及阅读源码 (08:23)

13-10 【重要！必掌握】伴生类&伴生对象 (17:13)

13-11 从面试题说起case class&case object (08:13)

13-12 trait的定义及使用 (13:08)

13-13 动态混入&自身类型 (07:50)

13-14 包管理以及隐式转换导入 (10:20)

13-15 【重要！必掌握】packageobject的使用 (05:19)

13-16 类型转换&类型判断&类型别名 (08:12)

13-17 枚举的使用 (03:13)

13-18 App小技巧的使用 (03:35)
图文：
13-19 【面试官来啦】面试讨论题
作业：
13-20 【练练练】阶段作业题

13-21 Scala集合架构 (10:20)

13-22 不可变数组的定义和使用 (14:24)

13-23 【重要！必掌握】可变数组的定义和使用 (13:47)

13-24 不可变和可变Set的定义和使用 (10:47)

13-25 【重要！必掌握】不可变和可变List的定义和使用 (12:40)

13-26 List方法的补充 (06:55)

13-27 【重要！必掌握】Tuple的定义和使用 (13:44)

13-28 【重要！必掌握】不可变Map的定义和使用及使用注意事项 (08:51)

13-29 可变Map的定义和使用 (04:29)
图文：
13-30 【面试官来啦】面试讨论题
作业：
13-31 【练练练】阶段作业题

13-32 隐式转换能为我们带来什么 (03:44)

13-33 模式匹配概念的理解 (04:11)

13-34 模式匹配之快速上手 (04:36)

13-35 模式匹配之内容匹配 (03:56)

13-36 模式匹配之守卫模式 (04:28)

13-37 模式匹配之类型匹配 (06:09)

13-38 模式匹配之Array匹配 (05:50)

13-39 模式匹配之Tuple匹配 (01:42)

13-40 模式匹配之List匹配 (04:43)

13-41 模式匹配之class匹配 (03:32)

13-42 【重要！必掌握】模式匹配之caseclass匹配 (01:22)

13-43 模式匹配之结合Spark讲解 (03:18)

13-44 模式匹配之Scala异常处理 (05:29)

13-45 初识偏函数 (06:44)

13-46 【重要！必掌握】偏函数剥丝抽茧迭代 (09:27)
图文：
13-47 【面试官来啦】面试讨论题
作业：
13-48 【练练练】阶段作业题


第14章 高效简洁编程Scala进阶：如何熟练掌握Scala函数式编程&隐式转换27 节 | 142分钟
本章节是Scala基于函数式编程的核心所在!!!将带领大家，掌握Scala中字符串的高级操作、匿名函数、偏函数以及高阶函数的使用和自定义实现【此处是重点呦】、隐式转换的使用【此处是难点呦】。为后续学习Spark、Flink等打下坚实的基础（Spark、Flink开发过程中的很多算子都是和Scala的非常类似，源码及开发中涉及到非常多的隐...

14-1 本章概览 (02:38)

14-2 经典面试题之函数和方法的区别 (09:05)

14-3 【重要！必掌握】方法与函数的转换 (08:02)

14-4 【重要！必掌握】高阶函数定义及使用 (08:52)

14-5 Currying定义及使用 (03:07)

14-6 【重要！必掌握】经典面试题之自定义实现一些高阶算子 (17:30)

14-7 高阶算子详解之map (08:37)

14-8 高阶算子详解之filter&foreach&结合map的综合使用 (08:17)

14-9 高阶算子详解之flatter&flatMap (06:40)

14-10 高阶算子详解之reduce&reduceLeft&reduceRight(一定要体会中间过程的理解) (03:23)

14-11 高阶算子详解之fold&foldLeft&foldRight(一定要体会中间过程的理解) (03:44)

14-12 高阶算子详解之zip系列 (04:30)

14-13 高阶算子详解之groupBy (06:30)

14-14 高阶算子详解之mapValues (01:38)

14-15 高阶算子详解之排序系列 (09:31)

14-16 高阶算子详解之算子综合实操 (05:22)

14-17 注意一个小小的面试题 (01:07)
图文：
14-18 【面试官来啦】面试讨论题
作业：
14-19 【练练练】阶段作业题

14-20 隐式转换能为我们带来什么 (03:28)

14-21 【重要！必掌握】 隐式转换函数的定义和使用 (08:28)

14-22 【重要！必掌握】隐式转换函数的封装 (03:48)

14-23 隐式类的定义和使用 (07:03)

14-24 隐式类的封装 (01:53)

14-25 隐式参数的定义和使用 (08:11)
图文：
14-26 【面试官来啦】面试讨论题
作业：
14-27 【练练练】阶段作业


第15章 高效简洁编程Scala进阶：如何熟练掌握Scala泛型11 节 | 53分钟
本章将结合对比Java泛型的使用，系统学习泛型在Scala中的使用。带领大家轻松掌握在Scala中如何使用泛型来为框架的开发提供更强的通用性；如何使用逆变和协变来对已有类型来进行增强和变化【这部分是面试过程中的常考点！！！】...

15-1 本章概览 (01:12)

15-2 Java泛型基础回顾 (08:00)

15-3 Java泛型上下限回顾 (04:06)

15-4 Java中两种不同的排序 (08:48)

15-5 Scala中泛型类的定义和使用 (06:40)

15-6 Scala泛型上下限 (05:13)

15-7 【重要！必掌握】Scala视图界定 (09:21)

15-8 【重要！必掌握】Scala泛型结合隐式转换的使用 (05:56)

15-9 Scala中的逆变和协变 (03:07)
图文：
15-10 【面试官来啦】面试讨论题
作业：
15-11 【练练练】阶段作业题


第16章 高效简洁编程Scala实战：基于Akka编程模型实战通信项目13 节 | 62分钟
Akka基于Actor模型，提供了一个用于构建可扩展的（Scalable）、弹性的（Resilient）、快速响应的（Responsive）应用程序的平台。本章节将带领大家，掌握基于Akka的编程模型，掌握基于Akka来完成实现Hadoop NameNode和DataNode的通信方式，并能实战模拟Hadoop中NN和DN的通信机制。...

16-1 本章概览 (00:52)

16-2 Akka概述 (02:14)

16-3 剖析Actor模型工作机制 (13:42)

16-4 需求分析 (04:55)

16-5 功能实现之启动NN和DN (10:19)

16-6 功能实现之DN向NN建立连接并发送注册消息 (04:17)

16-7 功能实现之封装消息 (05:30)

16-8 功能实现之NN向DN发送注册成功消息 (02:23)

16-9 功能实现之DN周期性的向NN发送心跳消息 (07:29)

16-10 功能实现之NN定期检查超时的DN并移除 (07:31)

16-11 功能实现之单机器多进程方式测试 (02:16)
图文：
16-12 【面试官来啦】面试讨论题
作业：
16-13 【练练练】阶段作业题


第17章 大数据高手养成记之一：Hadoop源码研读，高薪秘笈25 节 | 167分钟
本章重点介绍RPC通信机制及编程。将带大家通过阅读Hadoop的核心源码，彻底掌握Hadoop底层的工作机制及原理；掌握Hadoop中RPC的编程模型及开发、Hadoop源码中核心节点的启动流程、MapReduce作业的执行流程及数据分片原理，以及Hadoop源码中数据的读写流程。本章节是面试中的常考点，更是我们必须要拿下的得分项。...

17-1 本章概览 (01:21)

17-2 初识RPC (05:33)

17-3 自定义RPC协议实现 (11:57)

17-4 如何以正确的姿势阅读源码&NN职责 (14:55)

17-5 NameNode入口点函数 (03:46)

17-6 NameNode核心成员变量初始化 (07:41)

17-7 NameNodeHttpServer创建及启动 (03:32)

17-8 加载命名空间 (03:43)

17-9 创建NameNodeRpcServer (02:52)

17-10 NameNode启动流程梳理 (03:34)

17-11 NameNode资源检查 (04:27)

17-12 NameNode心跳检测 (03:30)

17-13 NameNode安全模式 (04:49)

17-14 DataNode启动宏观流程梳理 (08:43)

17-15 startDataNode方法梳理 (07:03)

17-16 初始化DataXceiverServer&DatanodeHttpServer&RPCServer (04:16)

17-17 DataNode向NameNode注册 (10:29)

17-18 DataNode和NameNode的心跳处理 (07:20)

17-19 MR作业提交流程源码分析 (15:47)

17-20 MR作业提交流程小结 (08:23)

17-21 MR作业提交流程之切片源码分析 (15:44)

17-22 MapTask&ReduceTask执行流程源码分析 (08:52)

17-23 提交作业到YARN上执行分析 (08:38)
图文：
17-24 【面试官来啦】面试讨论题
作业：
17-25 【练练练】阶段作业题


第18章 大数据高手养成记之二：Hive源码研读，高薪秘笈19 节 | 107分钟
Hive是一个将Hive QL翻译成底层分布式作业执行的框架，那么从Hive QL发起后，中间经历了哪些过程？是如何将Hive QL翻译成分布式作业并执行的呢？我们将在本章节中带领大家阅读Hive的源码来体会整个过程，本章节能快速提升对Hive的认知，掌握如何进行Debug Hive源码一步步的跟踪底层实现，并能轻松应付面试过程中关于Hiv...

18-1 本章概览 (01:35)

18-2 源码分析准备工作 (09:36)

18-3 hiveconf的用法 (06:00)

18-4 hivevar的用法 (03:50)

18-5 !的用法 (01:20)

18-6 寻找源码入口点 (07:01)

18-7 CliDriver的run方法详解 (07:38)

18-8 prompt的使用 (03:52)

18-9 executeDriver方法剖析 (07:35)

18-10 processCmd方法剖析 (05:44)

18-11 processLocalCmd方法剖析 (08:25)

18-12 SQL执行流程剖析 (07:50)

18-13 逻辑执行计划&物理执行计划剖析 (13:59)

18-14 compile方法剖析 (06:37)

18-15 analyze方法剖析 (04:21)

18-16 execute方法剖析 (05:34)

18-17 Hive源码分析总结 (05:12)
图文：
18-18 【面试官来啦】面试讨论题
作业：
18-19 【练练练】阶段作业题

第19章 完整Hadoop项目实战：基于Hadoop全流程实战离线数仓项目45 节 | 384分钟
本章节将系统讲解基于Hadoop的大数据离线数仓项目，通过四个业务帮助大家，从架构设计、数据采集、数据处理、可视化、调优、拓展思路的角度掌握框架的综合使用。课程中，将帮助大家，掌握通用的几种大数据离线处理架构，以达到举一反三的应用；掌握如何基于MapReduce实现数据清洗、数据质量；掌握基于Hive QL掌握各种业务...

19-1 本章概览 (02:07)

19-2 大数据离线处理架构分析（上） (13:41)

19-3 大数据离线处理架构分析（下） (09:09)

19-4 CDN日志及指标了解 (11:09)

19-5 日志类定义 (11:31)

19-6 日志解析 (17:05)

19-7 使用MR完成数据清洗功能 (15:51)

19-8 数据质量指标统计 (05:57)

19-9 数据清洗作业提交到YARN上运行 (07:05)

19-10 创建Hive表并加载数据到表中 (06:32)

19-11 维度指标分析 (05:08)

19-12 通过JDBC查询Hive中的统计结果 (05:10)

19-13 现在的处理方式引出的问题 (04:44)

19-14 【重要】数仓分层（上） (15:36)

19-15 【重要】数仓分层（下） (11:01)

19-16 脚本封装etl及加载到hive表 (15:01)

19-17 ODS层改进方案 (06:16)

19-18 shell脚本补充 (04:50)

19-19 调优之压缩能为我们带来什么 (12:17)

19-20 调优之压缩如何选型 (13:57)

19-21 调优之压缩的代码实现方式 (11:41)

19-22 调优之压缩在MR中的使用 (13:15)

19-23 调优之压缩在Hive中的使用 (08:01)

19-24 调优之存储格式的使用(TextFile&RCFile) (11:41)

19-25 调优之存储格式的使用(ORC&Parquet) (06:51)

19-26 DWD层创建 (04:28)

19-27 DWS&ADS层统计 (07:21)

19-28 指标补充 (01:56)

19-29 业务数据构建数仓架构 (08:37)

19-30 项目背景 (08:54)

19-31 从产品角度梳理业务流转 (16:51)

19-32 统计指标详解 (18:00)

19-33 DataV使用 (07:56)

19-34 ODS层实现 (08:29)

19-35 DWD层实现 (06:02)

19-36 ADS之学校使用情况 (07:06)

19-37 ADS之全区平均时长分析- (04:55)

19-38 ADS之家长反馈情况- (04:41)

19-39 项目背景及相关指标 (06:06)

19-40 项目表结构 (02:55)

19-41 防控大屏效果展示 (02:38)

19-42 健康码情况统计 (09:53)

19-43 红黄绿码数情况统计 (02:34)

19-44 完成率情况统计 (05:40)

19-45 URL请求在DataV中的使用 (03:19)

第20章 大厂技术首选高薪必备：揭开Flink的神秘面纱11 节 | 59分钟
要论当前业界最火的大数据实时处理引擎，Flink要说第二，无人敢称第一。本章节为大家揭开Flink的神秘面纱：Flink是什么、它的发展史、特性；对比Spark它的优势；以及Flink在大厂中是如何被广泛实践的。

20-1 只熟悉Hadoop，就够了么？ (14:58)

20-2 本章概览 (02:01)

20-3 认识Flink (08:24)

20-4 部署应用到任意地方&运行任意规模应用 (05:04)

20-5 Flink的起源及发展史 (05:29)

20-6 Flink中的API (09:33)

20-7 Flink核心特性 (05:44)

20-8 Flink对比Spark (07:32)
图文：
20-9 【科普小贴士】Flink发展史&特点&行业应用
图文：
20-10 【面试官来啦】面试讨论题
作业：
20-11 【练练练】阶段作业题

第21章 批流一体丝滑开发体验：快速上手使用Flink进行编程11 节 | 79分钟
批流一体是当前以及未来的发展方向，如何使用Flink快速开发出批流一体的应用程序，是我们本章节的重点。同时，也会带领大家，总结出基于Flink进行开发的编程套路，助力轻松实践。

21-1 本章概览 (02:42)

21-2 基于Flink官方提供的命令构建Flink应用程序 (13:37)

21-3 基于IDEA+Maven构建Flink应用程序的本地开发环境 (11:25)

21-4 词频统计案例需求分析 (07:41)

21-5 Flink以批处理的方式实现功能开发 (11:57)

21-6 开发重构之自定义Function的方式 (04:20)

21-7 开发重构之Lambda表达式写法 (11:26)

21-8 Flink以流处理的方式实现功能开发 (07:44)

21-9 通过参数控制Flink以何种模式运行作业 (03:48)

21-10 Flink对接socket数据并进行统计分析 (03:25)
作业：
21-11 【练练练】阶段作业题

第22章 工欲善其事必先利其器：Flink部署及作业运行16 节 | 94分钟
Flink应用程序开发完之后，在生产上都是运行在服务器上的。在知晓Flink的架构之后，我们将一起进行Flink环境的部署，并实践如何将Flink作业运行在服务器上。本章中，将涉及Flink的不用运行模式以及Flink UI的详细讲解，为后续要进行Flink应用的调优打下坚实的基础。...

22-1 本章概览 (03:39)
图文：
22-2 【环境配置】云主机开通及配置

22-3 从宏观角度认识Flink架构 (11:23)

22-4 再次认识JobManager和TaskManager (09:42)

22-5 Flink Standalone模式部署及Flink UI介绍 (10:38)

22-6 flink run运行官方自带案例 (03:24)

22-7 [补充]如何在本地运行环境中设定Flink WebUI (07:14)

22-8 动态传递参数给Flink应用程序改造 (04:02)

22-9 使用Flink WebUI提交自己开发的Flink应用程序 (03:33)

22-10 取消作业的两种方式 (03:39)

22-11 [重要]如何使用命令行的方式提交Flink应用程序 (08:11)

22-12 初探Flink集群部署模式 (13:20)

22-13 Flink Standalone之Application Mode方式运行 (05:37)

22-14 Flink on YARN之Application Mode方式运行 (08:46)
图文：
22-15 【面试官来啦】面试讨论题
作业：
22-16 【练练练】阶段作业题

第23章 便捷接入处理输出：Source&Transformation&Sink编程32 节 | 202分钟
大数据处理经典的三段论：接入数据、处理数据、输出结果。本章节将带领大家结合实战轻松掌握Flink如何对接外部数据、如何使用算子对数据进行各种处理以及如何将结果输出到外部系统。并会带领大家扩展，如何对Flink提供的API定制开发出自己需要的功能。...

23-1 本章概览 (02:03)

23-2 DataStream API编程规范以及DataStream是什么 (10:02)

23-3 Flink多种执行环境的获取方式 (08:15)

23-4 结合源码分析Data Source (11:17)

23-5 单并行度Source测试用例 (09:54)

23-6 多并行度Source测试用例 (07:55)

23-7 结合源码分析SourceFunction (04:48)

23-8 自定义实现单并行度数据源 (07:20)

23-9 自定义实现多并行度数据源 (01:03)

23-10 自定义数据源实现MySQL数据的读取 (16:36)
图文：
23-11 【面试官来啦】面试讨论题
作业：
23-12 【练练练】阶段作业题

23-13 认识Flink中有哪些Transformation算子 (02:29)

23-14 Tranformation算子实操之map算子 (09:15)

23-15 Tranformation算子实操之filter算子 (04:38)

23-16 Tranformation算子实操之flatMap算子 (05:54)

23-17 Tranformation算子实操之keyBy算子 (08:15)

23-18 Tranformation算子实操之union算子 (04:14)

23-19 Tranformation算子实操之connect算子 (06:22)

23-20 Tranformation算子实操之自定义分区器 (16:01)

23-21 DataStream分流 (09:52)
图文：
23-22 【面试官来啦】面试讨论题
作业：
23-23 【练练练】阶段作业题

23-24 认识Flink中的Sink (05:25)

23-25 Sink算子实操之print (07:35)

23-26 Sink算子实操之自定义Sink到终端 (03:36)

23-27 Sink算子实操之自定义Sink到文件系统 (10:45)

23-28 Flink处理结果输出到Redis中 (12:04)

23-29 Flink处理结果输出到MySQL中 (11:24)

23-30 Sink算子实操之输出到socket (04:55)
图文：
23-31 【面试官来啦】面试讨论题
作业：
23-32 【练练练】阶段作业题


第24章 玩转Flink项目实战之一：实时统计之商品分析14 节 | 66分钟
如何使用Flink进行各种不同维度的统计分析并入库？如何在生产环境中，进行Flink应用开发的同时进行调优的思考？这将是我们本次实战场景将与大家一同探讨的问题。

24-1 本章概览 (01:36)

24-2 企业中基于Flink实时处理的架构分析 (11:37)

24-3 需求分析 (07:39)

24-4 本地开发环境搭建 (03:38)

24-5 项目日志字段说明及生产数据注意事项 (04:43)

24-6 对接数据及清洗 (07:25)

24-7 日期格式清洗 (03:23)

24-8 统计结果 (01:58)

24-9 统计结果入Redis库 (03:53)

24-10 自定义RedisSink (04:49)

24-11 实现改造并进行统计结果的diff (09:45)

24-12 拓展 (04:46)
图文：
24-13 【面试官来啦】面试讨论题
作业：
24-14 【练练练】阶段作业题


第25章 工欲善其事必先利其器：Kafka架构&核心术语&部署&监控17 节 | 116分钟
在实时流处理框架中，Kafka和Flink是一对绝对且经典的CP，在生产上基本都是这2者的搭配使用。本章中，将带领大家通过对Kafka架构的图解引出核心概念，揭开Kafka的神秘面纱；轻松掌握Kafka的多种不同部署方式，以及如何使用命令行对Kafka进行操作，并对Kafka进行相关指标的监控。...

25-1 本章概览 (01:56)

25-2 认识JMS (06:21)

25-3 通过官网的介绍知晓Kafka是什么 (10:03)

25-4 自我语言总结Kafka是什么 (05:34)

25-5 Kafka在大数据中的典型使用场景screenflow (06:53)

25-6 图解Kafka架构 (16:31)
图文：
25-7 【面试官来啦】面试讨论题

25-8 -1 动起我们的小手进行单节点单Kafka的部署 (02:27)

25-9 -2 动起我们的小手进行单节点单Kafka的部署 (18:22)

25-10 kafka-topics命令行核心参数讲解 (08:07)

25-11 Kafka Topic命令行操作 (10:11)

25-12 Kafka生产者消费者命令行操作 (08:40)

25-13 动起我们的小手进行单节点多Kafka的部署 (09:04)

25-14 单节点多Kafka脚本命令测试 (03:41)

25-15 Kafka监控部署及使用 (07:56)
图文：
25-16 【面试官来啦】面试讨论题
作业：
25-17 【练练练】阶段作业题


第26章 深度剖析Kafka内部机制：生产者&Broker&消费者47 节 | 391分钟
帮助大家彻底掌握整个执行流程，以及各个数据流转环节的调优，并能实现基于Java API对Kafka进行访问【核心知识点均采用面试题的方式进行逐一突破，带你轻松摆平面试官】。

26-1 本章概览 (02:54)

26-2 【经典面试题--必掌握】生产者消息发送流程 (21:39)

26-3 生产者消息发送流程核心参数详解 (11:38)

26-4 生产者API开发之普通异步发送 (14:34)

26-5 生产者API开发之普通异步发送代码重构 (06:23)

26-6 生产者API开发之带回调的异步发送 (04:59)

26-7 生产者API开发之同步发送 (02:41)

26-8 Kafka的分区机制能为我们带来什么 (10:29)

26-9 Kafka分区策略结合源码分析 (06:53)

26-10 Kafka分区策略结合源码分析进行功能验证 (10:56)

26-11 Kafka自定义分区器功能开发及测试 (05:48)

26-12 Kafka性能调优参数在代码中的使用 (08:06)

26-13 【经典面试题--必掌握】谈谈你对Kafka中的副本以及同步副本的看法 (11:29)

26-14 【经典面试题--必掌握】谈谈你对Kafka中的acks的看法 (17:20)

26-15 【经典面试题--必掌握】谈谈你对Kafka中的消费语义的看法 (03:45)

26-16 精准一次消费实现之幂等性 (10:56)

26-17 精准一次消费实现之事务 (05:09)

26-18 精准一次消费实现之事务功能开发及测试 (05:31)

26-19 Kafka中Topic内的Partition中数据的有序性 (02:14)
图文：
26-20 【面试官来啦】面试讨论题
作业：
26-21 【练练练】阶段作业题

26-22 Kafka相关信息在ZK上的存储机制 (14:45)

26-23 Leader选择与ZK的关系 (10:48)

26-24 Kafka副本机制 (11:28)

26-25 Kafka数据存储机制 (08:18)

26-26 Kafka数据存储机制更深入讲解 (26:03)

26-27 Kafka核心参数讲解 (07:49)
图文：
26-28 【面试官来啦】面试讨论题

26-29 Kafka为什么使用的是pull的消费方式 (10:12)

26-30 有了消费者之后为什么还需要消费者组 (07:11)

26-31 消费者组和Topic的关系 (08:45)

26-32 Kafka消费流程 (12:12)

26-33 结合源码了解GroupCoordinator初始化过程 (20:30)

26-34 消费者API编程之单消费者消费所有分区数据（上） (11:25)

26-35 消费者API编程之单消费者消费所有分区数据（下） (10:57)

26-36 消费者API编程之消费指定分区数据 (05:44)

26-37 消费者API编程之多消费者消费各自分区数据 (03:55)

26-38 Kafka分区策略之Range (10:32)

26-39 Kafka的Rebalance机制 (05:18)

26-40 根据源码描述测试Range的分区策略及Rebalance (11:36)

26-41 统一思想完成其他策略的验证 (03:12)

26-42 认识__consumer_offsets (07:53)

26-43 Kafka offset管理之自动提交 (09:38)

26-44 Kafka offset管理之手动提交 (03:17)

26-45 offset管理不当带来的隐患 (05:10)
图文：
26-46 【面试官来啦】面试讨论题
作业：
26-47 【练练练】阶段作业题

第27章 经典Kafka CP整合使用：Kafka整合外部系统9 节 | 61分钟
Flink和Kafka是一对完美的CP，那这对CP是如何配对使用呢？本章中，将带领大家一起实践，Kafka分别作为Producer和Consumer如何整合Flume、Flink的综合使用技巧。

27-1 本章概览 (01:10)

27-2 认识Kafka在离线&实时处理处理架构中的位置 (13:13)

27-3 Flume Sink到Kafka方案理解 (06:34)

27-4 Flume Sink到Kafka功能开发及测试 (09:53)

27-5 Flume KafkaSource对接到终端功能开发及测试 (07:25)

27-6 Flink KafkaSource解读 (10:40)

27-7 Flink KafkaSource功能开发及测试 (05:48)

27-8 Flink KafkaSink功能开发及测试 (06:09)
作业：
27-9 【练练练】阶段作业题

第28章 玩转Flink项目实战之二：实时统计之商品分析(对接Kafka)9 节 | 61分钟
在掌握Flink和Kafka这对CP在生产上的使用之后，本章中，将带领大家，再次理解Kafka和Flink这组CP在生产上的搭配使用。如何使用Flink对接Kafka数据完成各项指标的统计分析？Flink对接Kafka在生产上使用时要注意如何优雅避坑？这些都将在课程中一一讲解。...

28-1 本章概览 (01:19)

28-2 架构及内容介绍 (04:24)

28-3 Flink接入Kafka数据 (10:27)

28-4 重构代码 (04:15)

28-5 Flink Stream关联MySQL数据操作 (13:15)

28-6 Flink Asynchronous IO (11:23)

28-7 Flink异步IO读取MySQL的数据 (15:26)
图文：
28-8 【面试官来啦】面试讨论题
作业：
28-9 【练练练】阶段作业题

第29章 时间对实时处理的影响：Flink时间语义&Window&Watermark30 节 | 235分钟
如何对窗口进行选型并结合Flink在生产上的使用？生产上如何处理由于网络抖动带来的数据乱序以及数据延迟的问题？Flink中的窗口能为我们带来将无穷无尽的流切分成小批次的处理，在本章中，将带领大家，通过案例实战彻底掌握Flink中有非常多的不同语义的窗口定义，并对划分后的窗口进行数据处理；结合Watermark机制，以及前一...

29-1 本章概览 (03:50)

29-2 揭开Flink时间语义的面纱 (17:30)

29-3 时间语义如何选择呢 (10:27)

29-4 Window在实时计算中的地位 (05:39)

29-5 Window的分类 (09:40)

29-6 Window Assigners的职责及对应Window的分类 (07:32)

29-7 Tumbling Window (04:37)

29-8 Sliding Windows (07:53)

29-9 Session Windows (04:51)

29-10 动手实操之CountWindow (11:13)

29-11 动手实操之TumblingWindow (08:44)

29-12 动手实操之SlidingWindow (07:38)

29-13 动手实操之SessionWindow (02:11)

29-14 Flink支持的WindowFunction (08:31)

29-15 WindowFunction动手实操之ReduceFunction (08:59)

29-16 WindowFunction动手实操之AggregateFunction (12:20)

29-17 WindowFunction动手实操之ProcessWindowFunction (09:20)

29-18 WindowFunction动手实操之AllWindowFunction (01:44)

29-19 WindowFunction动手实操之全量配合增量使用 (14:36)
图文：
29-20 【面试官来啦】面试讨论题
作业：
29-21 【练练练】阶段作业题

29-22 引入WM (09:50)

29-23 WM策略 (07:09)

29-24 WM策略代码演示 (14:27)

29-25 测试数据的WM (11:25)

29-26 【重要】综合编程之滚动窗口 (10:07)

29-27 【重要】综合编程之滑动窗口 (07:09)

29-28 【重要】数据延迟&乱序解决方案 (17:31)
图文：
29-29 【面试官来啦】面试讨论题
作业：
29-30 【练练练】阶段作业题

第30章 Flink容错核心状态管理：状态在Flink中的应用15 节 | 165分钟
为什么说Flink是基于状态的流处理引擎，Flink是如何进行状态管理？为什么Flink要为我们提供要状态的管理？Flink有多种不同的状态管理方式，本掌中，将通过我们自定义的状态管理引入，结合案例实战，彻底掌握不同的状态管理的编程，并结合checkpoint&状态管理后端做到生产上端到端的状态管理一致性。...

30-1 本章概览 (02:20)

30-2 初识State (08:28)

30-3 自定义完成类似Flink状态管理的功能 (12:49)

30-4 Flink KeyedState的使用 (18:13)

30-5 [重要]Flink Operator State的使用并体会Flink State的强大特性 (14:10)

30-6 Flink ValueState编程 (19:02)

30-7 Flink State Ttl编程 (20:42)

30-8 process方法的用法一 (05:36)

30-9 process方法的用法二 (04:48)

30-10 process方法的用法三 (08:59)

30-11 Checkpoint配置参数 (13:56)

30-12 Flink Task重启策略 (22:25)

30-13 [重要]Flink State Backend (13:16)
图文：
30-14 【面试官来啦】面试讨论题
作业：
30-15 【练练练】阶段作业题

第31章 玩转Flink项目实战之三：实时统计之数据大盘12 节 | 76分钟
Flink在生产上如何基于Window和State整合的最佳实践？如何重构出标准的Flink对接Kafka的代码，以便后期的复用？这一章中，让我们一起，深入探究并掌握，Flink中端到端的Exactly-once语义、数据乱序的解决方案吧。

31-1 本章概览 (01:48)

31-2 多个Flink整合Kafka应用程序代码存在的问题 (12:05)

31-3 读取配置文件中的参数 (07:34)

31-4 Flink对接Kafka代码重构V1 (07:11)

31-5 Flink对接Kafka代码重构V2 (03:12)

31-6 【重要】 Flink EOS (12:03)

31-7 【重要】 Flink EOS再次剖析 (11:25)

31-8 Flink EOS代码开发及本地测试并打包 (08:57)

31-9 Flink EOS全流程在服务器上测试 (04:46)

31-10 Flink checkpoint vs savepoint (06:04)
图文：
31-11 【面试官来啦】面试讨论题
作业：
31-12 【练练练】阶段作业题

第32章 Flink更加精简的开发方式：Flink Table & SQL API31 节 | 312分钟
相对于编程来说，SQL面向的受众更广，如果一个框架最终能落地到SQL进行数据处理，那必然是一个完美的选择，这也是业界大数据引擎所正在追求的路线。本章节我们重点来掌握，Flink如何使用SQL的方式来接入数据、处理数据、输出结果；以及如何基于Flink函数进行二次开发的技巧和套路。...

32-1 本章概览 (03:00)

32-2 Flink Table API&SQL概述及依赖 (09:21)

32-3 Concepts&Common API (08:36)

32-4 Dynamic Tables (15:14)

32-5 DataStream和Table之间的相互转换 (17:32)

32-6 Table API编程范式 (10:26)

32-7 Table API&SQL Query (09:09)

32-8 创建Table对象 (13:17)

32-9 创建Table对象续 (12:42)

32-10 获取到SQL中用到的表名或者视图名 (07:49)

32-11 临时表vs永久表 (08:50)

32-12 初始Connector (05:40)

32-13 csv格式数据处理（上） (15:24)

32-14 csv格式数据处理（下） (07:40)

32-15 json格式数据处理 (21:21)

32-16 Kafka Connector的使用 (16:03)

32-17 时间语义在DDL中如何定义 (16:07)

32-18 Upsert Kafka Connector的使用 (12:21)

32-19 JDBC Connector的使用 (10:47)

32-20 HBase Connector的使用 (04:31)

32-21 拓展之开发实时处理平台 (05:49)

32-22 自定义UDF函数之ScalarFunction (19:16)

32-23 自定义UDF函数之AggregateFunction (12:24)

32-24 自定义UDF函数之TableFunction (10:22)

32-25 SQL常用Query (04:39)

32-26 sql-client的用法 (02:45)

32-27 Windowing TVF之TUMBLE (12:13)

32-28 Windowing TVF之HOP (06:36)

32-29 Window Top-N (11:17)
图文：
32-30 【面试官来啦】面试讨论题
作业：
32-31 【练练练】阶段作业题

第33章 数据采集神器Flink CDC：基于Flink CDC 进行实时数据采集14 节 | 94分钟
在不写代码的前提下，Flink CDC如何快速高效的对接外部数据库的数据? 对接外部各种数据库，在以前我们都是通过数据源的方式进行接入，是需要进行编程开发的，Flink深知痛点，提出CDC的解决方案，本章中，我们将一起实践，使用代码的方式，以及直接使用SQL的方式快速高效的将数据源对接到Flink框架上来。...

33-1 本章概览 (00:49)

33-2 实时数据采集场景介绍 (05:09)

33-3 Canal原理 (05:58)

33-4 Canal部署及使用 (17:24)

33-5 Canal编程 (11:18)

33-6 Canal编程测试 (03:22)

33-7 Flink CDC概述 (06:58)

33-8 DataStream API对接CDC (09:28)

33-9 CDC从什么位置开始读取数据设置 (02:28)

33-10 自定义定制开发输出样式 (10:37)

33-11 FlinkCDC源码修改 (14:13)

33-12 FlinkCDC对接sql方式 (05:58)
图文：
33-13 【面试官来啦】面试讨论题
作业：
33-14 【练练练】阶段作业题

第34章 玩转Flink项目实战之四：实时统计之直播榜分析9 节 | 58分钟
如何使用Flink CDC实时快速高效收集业务库数据？如何使用Flink SQL进行各维度统计分析？当使用Flink CDC时遇到整合Flink版本不兼容时，如何进行基于源码的二次开发？带着这些问题，我们一起开始本章的学习吧。

34-1 本章概览 (01:03)

34-2 背景及数据准备 (14:43)

34-3 功能实现之数据接入 (09:46)

34-4 功能实现之数据处理及写入 (12:41)

34-5 可视化框架部署 (10:47)

34-6 可视化大屏制作 (06:15)

34-7 Flink处理过程简单化带来的好处 (02:22)
图文：
34-8 【面试官来啦】面试讨论题
作业：
34-9 【练练练】阶段作业题

第35章 战斗民族开源神器ClickHouse：揭开CH的神秘面纱&数据类型&内置函数32 节 | 183分钟
本章将带领大家，揭开当前业内最火的OLAP框架ClickHouse的面纱。基于场景入手，找出现存解决方案的痛点，应用ClickHouse的优势；ClickHouse的部署策略；如何对ClickHouse的配置进行修改，并使用官方提供的数据集；如何合理应用ClickHouse的各种不同数据类型以及注意事项；如何优雅使用ClickHouse的各种内置函数等等实用技巧...

35-1 本章概览 (02:44)

35-2 产生背景 (05:45)

35-3 OLAP特性 (11:39)

35-4 列式存储特性 (06:41)

35-5 ClickHouse部署 (09:11)

35-6 ClickHouse核心目录 (08:08)

35-7 Clickhouse-client命令参数 (06:18)

35-8 ClickHouse官方数据使用说明 (03:44)

35-9 ClickHouse跑分 (02:05)
作业：
35-10 【练练练】阶段作业题

35-11 数据类型 (03:33)

35-12 数值类型之整型 (06:16)

35-13 数值类型之浮点型 (07:02)

35-14 【重要】数值类型之Decimal (11:33)

35-15 布尔类型 (02:11)

35-16 【重要】String和FixedString类型 (09:27)

35-17 UUID类型 (02:47)

35-18 【重要】日期和时间类型 (14:01)

35-19 Array类型 (08:16)

35-20 Tuple类型 (05:26)

35-21 Map类型 (03:17)
作业：
35-22 【练练练】阶段作业题

35-23 算数函数 (08:26)

35-24 比较函数 (03:58)

35-25 逻辑函数 (02:31)

35-26 取整函数 (04:42)

35-27 类型转换函数 (07:40)

35-28 条件函数 (05:15)

35-29 URL函数 (05:01)

35-30 字符串函数 (07:25)

35-31 日期时间函数 (07:51)
作业：
35-32 【练练练】阶段作业题

第36章 ClickHouse核心DDL&DML：库&表&视图的使用13 节 | 72分钟
在本章节中，让我们一起来玩转，ClickHouse中关于库、表、视图的核心操作。掌握库&表&视图的DDL以及DML操作。

36-1 本章概览 (01:14)

36-2 DDL之创建数据库 (07:51)

36-3 DDL之创建表 (10:33)

36-4 DDL之删除表 (01:21)

36-5 DDL之修改表 (08:22)

36-6 DDL之重命名表 (03:36)

36-7 DDL之清空表数据 (02:21)

36-8 DML之插入数据 (10:47)

36-9 DML之修改和删除数据 (05:25)

36-10 分区表的创建及加载数据 (11:30)

36-11 分区表删除分区 (03:55)

36-12 分区表复制分区 (04:28)
作业：
36-13 【练练练】阶段作业题第37章 ClickHouse核心引擎分析：各家族核心引擎使用及选型24 节 | 134分钟
ClickHouse为我们提供了非常多的引擎，在本章节中，我们将来彻底掌握，ClickHouse中各种不同引擎的选择及使用(这也是ClickHouse中最核心的部分)。课程中我们将通过案例实战的方式，在掌握不同引擎的使用以及区别的基础上，根据不同引擎的特性掌握在生产上遇到不同场景时选择引擎的最优策略。...

37-1 本章概览 (02:01)

37-2 表引擎概览 (05:09)

37-3 Log Engine Family的共性 (03:13)

37-4 TinyLog引擎 (08:04)

37-5 Stripelog引擎 (05:32)

37-6 Log引擎 (03:56)

37-7 【重要】Log Engine Family总结 (05:40)

37-8 表引擎之Integrations概览 (03:18)

37-9 表引擎Integrations之HDFS引擎 (14:44)

37-10 表引擎Integrations之MySQL引擎 (06:46)

37-11 数据库引擎之MySQL引擎 (03:42)

37-12 表引擎Special之File引擎 (04:44)

37-13 表引擎Special之Merge引擎 (04:29)

37-14 表引擎Special之Memory引擎 (03:29)

37-15 MergeTree Engine概览 (04:01)

37-16 MergeTree Engine核心语法详解 (06:48)

37-17 【重要】MergeTree Engine非分区表功能测试 (05:40)

37-18 【重要】MergeTree Engine日期类型分区表功能测试 (05:07)

37-19 【重要】MergeTree Engine执行流程分析 (14:33)

37-20 ReplacingMergeTree引擎 (08:42)

37-21 ReplacingMergeTree引擎带ver的使用 (05:39)

37-22 SummingMergeTree引擎 (08:31)
图文：
37-23 【面试官来啦】面试讨论题
作业：
37-24 【练练练】阶段作业题

第38章 经典CH整合Flink编程：元数据管理&整合Flink开发15 节 | 82分钟
本章中，我们将结合对ClickHouse中所涉及到的库、表、函数等的元数据管理的系统梳理，深度探究ClickHouse中创建的表在底层是如何进行拆分和组合的；如何应用ClickHouse的标准jdbc编程，以及Flink整合ClickHouse的数据读写操作编程中的各种避坑技巧。...

38-1 本章概览 (02:02)

38-2 【重要】元数据在大数据中的作用 (12:24)

38-3 ClickHouse元数据之tables (11:38)

38-4 ClickHouse元数据之columns (09:06)

38-5 ClickHouse元数据之表相关元数据 (04:00)

38-6 ClickHouse元数据之执行相关元数据 (01:59)

38-7 ClickHouse元数据之内置不同种类的维度表元数据 (03:24)

38-8 ClickHouse元数据之用户&角色&权限&配额元数据 (03:31)

38-9 ClickHouse元数据之其他元数据 (02:10)
图文：
38-10 【面试官来啦】面试讨论题
作业：
38-11 【练练练】阶段作业题

38-12 ClickHouse JDBC编程概述 (05:57)

38-13 ClickHouse JDBC编程 (08:23)

38-14 Flink整合ClickHouse写操作 (13:23)

38-15 Flink整合ClickHouse读操作 (03:11)

第39章 玩转Flink项目实战之五：基于Flink和ClickHouse构建实时数据分析13 节 | 107分钟
如何打造基于Flink的标准化将数据清洗后统一接入到ClickHouse？如何基于ClickHouse SQL进行各种维度的统计分析？如何进行Flink&ClickHouse的运行指标可视化监控？好了，让我们在本章的实践中，一一揭秘。


39-1 本章概览 (03:50)

39-2 实战功能改善 (05:18)

39-3 场景一之功能实现一 (08:08)

39-4 场景一之功能实现二 (15:25)

39-5 场景一之功能实现三 (15:28)

39-6 场景一之扩展 (04:28)

39-7 场景二需求分析 (06:38)

39-8 场景二之功能实现一 (13:39)

39-9 场景二之功能实现二 (11:07)

39-10 场景二之功能实现三 (11:26)

39-11 场景二之功能扩展 (03:13)

39-12 可视化 (04:53)

39-13 总结与扩展 (03:18)

第40章 揭开数据湖的神秘面纱：数据湖开源产品Hudi的使用19 节 | 195分钟
数据湖是什么？能为企业带来什么？湖仓一体是未来的发展趋势，现在很多云产商都在基于开源数据湖框架进行自研，构建出数据湖的商业产品，所以数据湖相关技术是我们必须要掌握的技能。本章中，让我们一起揭开Hudi的神秘面纱，带你认识目前企业应用对最高的数据湖产品。...

40-1 本章概览 (01:29)

40-2 引入数据湖 (15:44)

40-3 常用数据湖框架对比 (08:21)

40-4 初识Hudi (12:56)

40-5 再次认识Hudi (08:09)

40-6 Hudi发展历史 (08:25)

40-7 核心概念之TimeLine (15:02)

40-8 快速使用Spark写入数据到Hudi (14:52)

40-9 核心概念之File Layouts (12:52)

40-10 核心概念之Index (07:05)

40-11 核心概念之Index Type (10:26)

40-12 核心概念之Table Type(COW) (10:30)

40-13 核心概念之Table Type(MOR) (10:24)

40-14 核心概念之Table Type(对比) (02:19)

40-15 核心概念之Query Types (08:48)

40-16 核心概念之其他 (04:18)

40-17 Hudi整合Flink SQL快速入门 (08:24)

40-18 Flink SQL对接Kafka数据 (04:29)

40-19 Flink SQL对接Kafka数据落入Hudi (29:39)

第41章 玩转Flink项目实战之六：基于Flink和Hudi的数据湖构建项目20 节 | 153分钟
湖仓一体能为我们带来什么？存算分离带来的优缺点？如何基于Flink和Hudi构建数据湖？这些就是我们本章将带领大家实践的重要内容！

41-1 本章概览 (01:17)

41-2 回顾离线处理架构 (06:29)

41-3 引入Hudi后的架构 (10:56)

41-4 架构中重要环节的补充说明 (06:21)

41-5 Flink中Catalog使用 (12:54)

41-6 Flink对接catalog之读取Hive数据 (12:33)

41-7 Flink对接catalog之写入Hive数据 (05:46)

41-8 Hudi版本升级 (05:35)

41-9 Flink整合Hive Catalog (11:05)

41-10 表结构讲解 (08:09)

41-11 分层 (08:08)

41-12 CDC层建设 (07:29)

41-13 产生数据 (07:07)

41-14 订单表ODS层建设 (15:55)

41-15 商品表ODS层建设 (01:54)

41-16 订单详情表ODS层建设 (02:15)

41-17 DWD层建设思路 (08:26)

41-18 订单相关DWD层建设思路_1 (06:14)

41-19 ADS层建设 (09:23)

41-20 总结 (04:05)