机器学习中的概率统计应用实践

第1章 概率统计课程导学

介绍课程安排以及课前准备工作。
1-1 机器学习中的概率统计应用实践-课程导学 (06:02)

第2章 统计思维基石：条件概率与独立性

条件概率是概率统计世界的理论基石，这一讲将从一般性的概率过渡到条件概率，利用条件概率来描述事
件之间的独立性，并进行概念延伸：一方面从独立性延伸到条件独立性；另一方面从条件概率延伸到全
概率公式，进而引出贝叶斯公式以及先验概率和后验概率的概念...
2-1 本讲知识概览与导引 (01:35)
2-2 从概率到条件概率 (06:22)
2-3 条件概率与独立性 (06:15)
2-4 从独立到条件独立 (09:07)
2-5 全概率公式与贝叶斯基础 (09:52)
2-6 本讲小节及小讲预告 (01:00)

第3章 聚焦基本元素：深入理解随机变量

这一讲介绍离散型和连续型两类随机变量，针对离散型随机变量，重点介绍他的核心要素、分布列以及几
种重要概型：二项分布、几何分布和泊松分布；针对连续型随机变量，介绍概率密度函数、数字特征以
及几类典型分布：正态分布、指数分布和均匀分布。...
3-1 本讲知识概览与导引 (02:08)
3-2 离散型随机变量及其分布列 (06:23)
3-3 二项分布及其PMF函数（含代码实战） (09:11)
3-4 二项分布的采样与数字特征（含代码实战） (13:55)
3-5 几何分布的性质与采样（含代码实战） (11:07)
3-6 泊松分布的性质与采样（含代码实战） (07:16)
3-7 连续型随机变量及其概率密度函数 (04:50)
3-8 正态分布的性质与采样（含代码实战） (10:32)
3-9 指数分布的性质与采样（含代码实战） (08:55)
3-10 均匀分布的性质与采样（含代码实战） (06:32)
3-11 本讲小节及小讲预告 (00:49)

第4章 从一元到多元：探索多元随机变量

这一讲介绍多元随机变量。首先介绍基础理论，包括：多元随机变量的分布特性、独立性、相关性，比较
协方差与相关系数的概念；然后以二元正态分布为例，回归分布特性，分析他的参数形式与几何特征。
4-1 本讲知识概览与导引 (02:28)
4-2 多元随机变量的重要分布列 (06:34)
4-3 随机变量的独立性与条件独立性 (09:48)
4-4 多元随机变量的相关性与协方差矩阵 (06:44)
4-5 二元正态分布：从标准到一般（含代码实战） (16:23)
4-6 协方差与相关性的一个小问题（含代码实战） (08:01)
4-7 相关系数的概念和特性（含代码实战） (06:03)
4-8 随机变量独立与相关的概念辨析（含代码实战） (05:41)
4-9 多元高斯分布的参数特征（含代码实战） (09:23)
4-10 二元高斯分布几何特征实证分析（含代码实战） (06:21)
4-11 本讲小节及下讲预告 (00:46)

第5章 极限思维：大数定律与蒙特卡罗方法

这一讲主要介绍大数定律及其应用，一方面会重点介绍大数定律和中心极限定理的内涵与其背后蕴含的极
限思想，然后介绍蒙特卡洛方法的应用场景和实际案例
5-1 本讲知识概览与导引 (01:48)
5-2 从平均身高问题引入大数定律 (01:53)
5-3 大数定律背后的理论支撑 (03:23)
5-4 样本均值与随机变量期望的关系（含代码实战） (08:44)
5-5 样本均值的方差与分布（含代码实战） (07:28)
5-6 蒙特卡罗方法的应用背景 (01:39)
5-7 用蒙特卡罗方法近似计算圆面积（含代码实战） (10:16)
5-8 中心极限定理的基本概念和工程背景 (03:14)
5-9 中心极限定理的模拟与验证（含代码实战） (08:19)
5-10 本讲小结及下讲预告 (00:41)

第6章 由静到动：随机过程导引

这一讲对随机过程做一个导引，介绍随机变量与随机过程之间的关系，采用蒙特卡洛方法实际模拟两个有
趣的随机过程案例，真实展现随机过程的整体面貌，同时归纳总结最常见的两类重要的随机过程：到达
过程和马尔科夫过程
6-1 本讲知识概览与导引 (01:36)
6-2 随机过程应用背景概述 (00:47)
6-3 博彩中的随机过程（含代码实战） (15:25)
6-4 随机过程模拟：股票价格的总体分布（含代码实战） (06:58)
6-5 股票价格变化过程的展现（含代码实战） (05:46)
6-6 两类重要的随机过程 (01:47)
6-7 本讲小结及下讲预告 (00:41)

第7章 马尔科夫链（上）：转移与概率

这一讲主要介绍马尔科夫链概率转移的基本特征。首先解析离散时间、状态空间和转移概率三大核心要素
，并借助转移概率图进行集中展示。然后详细解剖马尔科夫链的重要特性：马尔科夫性，学习利用状态
转移矩阵描述马尔科夫链，并进行多步转移和路径概率的计算...
7-1 本讲知识概览与导引 (01:12)
7-2 离散时间马尔科夫链的三要素 (02:19)
7-3 马尔科夫链的基本性质和矩阵表示 (06:11)
7-4 多步转移概率的计算 (06:21)
7-5 多步转移与概率乘法（含代码实战） (05:09)
7-6 路径概率问题举例 (03:31)
7-7 本讲小结及下讲预告 (00:42)

第8章 马尔科夫链（下）：极限与稳态

这一讲介绍马尔科夫链的重要性质：极限与稳态。具体分析马尔科夫链的极限与其初始状态无关和有关的
不同情况，同时引出吸收态和收敛性的概念。接着基于马尔科夫链可达、常返与周期性的概念，聚焦马
尔科夫链的稳态，学习稳态的分析、判定和求法...
8-1 本讲知识概览与导引 (01:04)
8-2 马尔可夫过程的两种典型极限状态 (08:07)
8-3 马尔可夫链中的常返类和周期性 (06:21)
8-4 马尔可夫链的稳态及求法 (04:39)
8-5 本讲小结与下讲预告 (00:36)

第9章 隐马尔科夫模型（上）：明暗两条线

这一讲介绍隐马尔科夫模型的基本特征，重点聚焦模型的观测随机序列和状态随机序列这明暗两条线。利
用盒子摸球和婴儿的日常生活案例来演示模型的运行机理，结合模型的外在表征，解析推动模型运转的
内核三要素：状态转移矩阵、观测概率矩阵和初始隐含状态概率向量，并揭示模型的关键性质：齐次马
尔科夫性和观测独立性。...
9-1 本讲知识概览与导引 (01:34)
9-2 隐马尔科夫模型导引 (00:59)
9-3 隐马尔科夫典型案例1：盒子摸球试验 (06:16)
9-4 隐马尔科夫典型案例2：小宝宝的日常生活 (01:54)
9-5 隐马尔科夫模型的外在特征和内核三要素 (03:27)
9-6 齐次马尔可夫性和观测独立性 (02:26)
9-7 本讲小结及下讲预告 (00:35)

第10章 隐马尔可夫模型（下）：概率估计与状态解码

这一讲介绍如何利用隐马尔科夫模型进行概率估计和状态解码。首先介绍这两个问题的应用场景，然后分
别详细介绍利用前向概率算法进行概率估计，以及利用维特比算法实现状态解码的具体过程
10-1 本讲知识概览与导引 (01:12)
10-2 隐马尔可夫模型的两个研究主题 (03:06)
10-3 观测序列概率估计直观解法及其问题 (03:29)
10-4 用前向概率算法进行概率估计的原理 (05:39)
10-5 前向概率算法应用举例 (03:10)
10-6 前向概率算法的程序实现（含代码实战） (07:09)
10-7 状态解码问题的描述 (01:02)
10-8 维特比算法与最大路径概率 (09:23)
10-9 用维特比算法进行状态解码的理论基础 (04:46)
10-10 盒子摸球案例中的状态解码实战 (07:46)
10-11 维特比算法的程序实现（含代码实战） (05:04)
10-12 本讲小结及下讲预告 (00:33)

第11章 推断未知：统计推断的基本框架

这一讲作为统计推断内容的概念导入，介绍统计推断的基本框架，首先介绍统计学的两大分类以及统计推
断所要研究的内容，接着介绍统计推断中，总体、样本、统计量这几个核心概念，然后分析估计量的偏
差性以及有偏、无偏估计...
11-1 本讲知识概览与导引 (00:47)
11-2 统计推断的一个引例 (02:59)
11-3 总体、样本与统计量 (03:28)
11-4 估计误差与无偏估计（含代码实战） (06:43)
11-5 总体方差估计与有偏性（含代码实战） (08:44)
11-6 本讲小结及下讲预告 (00:42)

第12章 探寻最大可能：极大似然估计法

这一讲介绍第一种经典的参数估计方法：极大似然估计法，细致分析极大似然估计法中似然函数的由来和
方法的核心思想，然后结合实践案例，介绍利用极大似然估计法进行单参数和多参数估计的理论方法
12-1 本讲知识概览与导引 (01:07)
12-2 极大似然估计法的引例（含代码实战） (04:34)
12-3 似然函数的由来- (03:10)
12-4 扩展到连续型的似然函数 (00:19)
12-5 极大似然估计的思想 (03:13)
12-6 极大似然估计的计算方法 (02:25)
12-7 单参数极大似然估计案例 (02:04)
12-8 多参数极大似然估计案例 (05:09)
12-9 本讲小结及下讲预告 (00:24)

第13章 贝叶斯统计推断：最大后验

这一讲介绍第二种经典的参数估计方法：贝叶斯统计推断，基于贝叶斯思想详细介绍其理论过程，并重点
对先验分布选取、观测数据获取和后验分布计算的过程进行细致分析，同时对共轭先验等重要概念进行解读
13-1 本讲知识概览与导引 (01:10)
13-2 贝叶斯定理的回顾 (03:03)
13-3 贝叶斯推断的理论过程 (02:46)
13-4 贝叶斯推断实战-选取先验分布（含代码实战） (06:08)
13-5 贝叶斯推断实战-选择观测数据的分布（含代码实战） (06:13)
13-6 贝叶斯推断实战-计算后验分布 (04:03)
13-7 贝叶斯推断全过程模拟验证（含代码实战） (33:19)
13-8 关于共轭先验的问题 (01:40)
13-9 本讲小结及下讲预告 (00:36)

第14章 近似推断的思想和方法

这一讲开始介绍统计推断中的近似推断，细致分析近似推断以及随机近似方法的概念和背景，并围绕近似
推断中的核心环节：近似采样方法，重点介绍接受-拒绝采样和重要性采样，作为马尔科夫链-蒙特卡
洛方法相关内容的起步
14-1 本讲知识概览与导引 (01:09)
14-2 统计推断的场景与关注重点 (02:43)
14-3 精确推断与近似推断的概念 (01:17)
14-4 随机近似方法的理论基础 (05:13)
14-5 接受-拒绝采样的基本方法 (03:42)
14-6 接受-拒绝采样中建议分布及参数选取（含代码实战） (05:21)
14-7 接受-拒绝采样过程实践（含代码实战） (08:14)
14-8 接受-拒绝采样的方法内涵分析 (02:48)
14-9 重要性采样的方法介绍 (02:35)
14-10 两类采样方法的问题与思考 (01:18)
14-11 本讲小结及下讲预告 (00:33)

第15章 助力近似采样：基于马尔科夫链的采样过程

这一讲将马尔科夫链引入到近似采样的过程中，利用马尔科夫链稳态的重要性质，让他成为辅助进行近似
采样的有力工具，为最终实践马尔科夫链-蒙特卡洛方法打下重要基础
15-1 本讲知识概览与导引 (01:04)
15-2 马尔科夫链重点内容回顾 (03:57)
15-3 马尔科夫链平稳分布的理解 (04:14)
15-4 马尔科夫链进入稳态的过程演示（含代码实战） (14:27)
15-5 稳态过程的再剖析与意义分析 (03:01)
15-6 基于马尔科夫链的采样过程 (05:22)
15-7 基于马尔科夫链的采样过程实践（含代码实战） (13:21)
15-8 一个显而易见的难题 (01:26)
15-9 本讲小结及下讲预告 (00:42)

第16章 马尔科夫链-蒙特卡洛方法详解

这一讲详细阐述马尔科夫链-蒙特卡洛方法，并一举解决最核心的关键问题：对于任意给定的目标分布，
如何找到以他为唯一平稳分布的马尔科夫链，并且基于马尔科夫链采样的方法，实现对其的近似采样
16-1 本讲知识概览与导引 (01:03)
16-2 问题的目标与细致平稳条件 (04:49)
16-3 Metropolis-Hastings方法的基本思路 (03:43)
16-4 M-H方法中的随机游走与接受因子 (06:49)
16-5 M-H方法中建议矩阵Q的选取 (10:03)
16-6 M-H方法的实践（含代码实战） (11:18)
16-7 本讲小结 (00:32)