更多:贝叶斯…
1.1 基本概念
贝叶斯理论是机器学习中一个核心方法,它由英国数学家托马斯贝叶斯在1763年发表的一篇论文中首先提出这个定理。贝叶斯定理是用来度量不确定性事件的,比如今天下雨概率,是一种概率模型。
在介绍贝叶斯理论之前我们先看看统计模式识别(statistical pattern recognition)中的一些概率知识。
假设有一组随机数据

它们属于M个类别

下面有三个比较常用的概念。
- 首先是类别出现的概率,我们称之为先验概率(priori probability)。

- 然后是某个样本属于类别的概率,称为后验概率(Posterior probability):

- 最后是似然(Likelihood):

贝叶斯定理就是一个条件概率,所谓“条件概率”,就是指在事件B发生的情况下,事件A发生的概率,用

表示。
1.2 全概率公式
这部分内容主要是属于概率论中的内容,具体的例子,请看本站的基础数学部分。这里简单明了的直接阐述定理。
定理(来自浙大概率论第4版):


上式就称为全概率公式。
物理意义:


1.3 贝叶斯公式
定理(来源于浙大概率论第4版):


证明:
由条件概率的定义及全概率公式既得:

通常的,在进行分类判断的时候,我们将贝叶斯公式写成如下形式。


我们对上式两边取对数,得到如下形式。

1.4 参考文献
[1] 《概率论与数理统计(浙大第4版)》