更多：贝叶斯…
生活中的许多决策都是不确定性的，比如明天是否下雨，我需要带伞么？这个时候就需要我们做出决策，如果认为明天会下雨，显然我们就会带上伞，否则不然。那么这个时候我们怎么判断我们的决策是否可信？又是否是最佳的决策呢？这个时候往往就需要引入评价准则(evaluation criteria)。不同的评价准则在相同的决策机制中往往会导致不同的决策结果。
贝叶斯决策常用的评价准则一般如下。
- 最小错误概率(The minimum probability of error, the decision is optimal in the sense of minimum PE).
- 最小风险误差(the minimum risk, the decision is optimal in the sense of minimum average risk).
- 个人准则(we should construct the decision rule to have maximum probability of detection while not allowing the probability of false alarm to exceed a certain value.)
2.1 贝叶斯决策理论
上述准则使用将在贝叶斯决策理论之后进行介绍。接下来，我们将详细的讲述贝叶斯决策理论。我们假设一个样本的特征向量
而这个样本可能属于的类别空间为
那么贝叶斯决策理论就是计算出每个后验概率
由此我们可以画一个简单的决策图。
根据上图可以知道，虚线就是我们想要找的一个决策线，虚线左边判决给类别1，虚线右侧判决给类别2。但是由该图我们可以清楚的知道，在阴影部分中(比如虚线左侧的阴影部分)，样本为类别2也是可能的。我们称这些阴影部分为决策失误域，这就是为什么决策需要一个决策准则(evaluation criteria )。