贝叶斯定理

贝叶斯定理是关于随机事件A和B的条件概率(或边缘概率)的一则定理。其中P(A|B)是在B发生的情况下A发生的可能性。

更多:贝叶斯

1.1 基本概念

贝叶斯理论是机器学习中一个核心方法,它由英国数学家托马斯贝叶斯在1763年发表的一篇论文中首先提出这个定理。贝叶斯定理是用来度量不确定性事件的,比如今天下雨概率,是一种概率模型。

在介绍贝叶斯理论之前我们先看看统计模式识别(statistical pattern recognition)中的一些概率知识。
假设有一组随机数据

它们属于M个类别 

下面有三个比较常用的概念。

  • 首先是类别出现的概率,我们称之为先验概率(priori probability)
  • 然后是某个样本属于类别的概率,称为后验概率(Posterior probability):
  • 最后是似然(Likelihood):

贝叶斯定理就是一个条件概率,所谓“条件概率”,就是指在事件B发生的情况下,事件A发生的概率,用 

表示。

1.2 全概率公式

这部分内容主要是属于概率论中的内容,具体的例子,请看本站的基础数学部分。这里简单明了的直接阐述定理。

定理(来自浙大概率论第4版):

上式就称为全概率公式

物理意义

1.3 贝叶斯公式

定理(来源于浙大概率论第4版):

证明:
由条件概率的定义及全概率公式既得: 

通常的,在进行分类判断的时候,我们将贝叶斯公式写成如下形式。

我们对上式两边取对数,得到如下形式。 

1.4 参考文献

[1] 《概率论与数理统计(浙大第4版)》

发表评论

电子邮件地址不会被公开。 必填项已用*标注