贝叶斯分类规则

1 决策错误概率(probability of decision error)
2 平均风险最小(minimizing the average risk)

更多:贝叶斯

2.2.1 决策错误概率(probability of decision error)

由此我们可以得到(如果样本空间是连续的),

如果x是属于w_2,但是分类到了w_1,这个时候产生的决策错误为如下。

由此我们可以得到一个结论,贝叶斯在最小错误概率(PE)准则中表现是最好的。如下图所示,贝叶斯找到的是x_0作为分界线,该分解线划分所得到的错误概率(阴影部分的面积)永远是最小的,所以不可能会有一个算法MPE值比贝叶斯分类更小。因为不管如何移动该条分界线都会增加阴影部分面积。

2.2.2 平均风险最小(minimizing the average risk)

在某些特定的场景下,平均风险最小化比错误率最低更加重要。比如当判决某个细胞是正常细胞还是癌细胞的时候,显然把一个正常细胞错判为癌细胞的风险要比把一个癌细胞错判为正常细胞的风险大很多,后者的错误是致命的。这个时候我们往往需要给错判的情况加上一个权重,用来显示风险的大小。

下面我们首先介绍一下风险矩阵,或者又称为损失矩阵。我们假设进行一个二分类的分类器设计。这个时候风险矩阵可以写成如下的式子。

那么这个时候,分类器判决为第1类的风险就可以用如下的式子表示。

如果样本空间是连续的我们可以改写成如下的式子。

上述式子也是平均风险的定义式。

发表评论

电子邮件地址不会被公开。 必填项已用*标注