最小欧式距离

这不是最小欧式距离分类器么?

更多:贝叶斯

7.2.2 简化case1: 最小欧式距离

Step1: 做个假设

我们发现这个方程其实还是很难的,而且虽然每个类别样本都是服从正态分布,但是正态分布也会因为协方差矩阵不同而千差万别(就像单变量正态分布,如果方差不一样,那么他们之间的胖瘦就不一样)。不仅如此,多变量正态分布还存在属性之间的关系等等。所以,这里为了进一步分析上面的方程,就像朴素贝叶斯一样,我们也可以做一些强的假设。假设条件如下:

  • 我们假设协方差矩阵元素相等,而且是一个对角阵。即特征向量之间是相互独立的,方差相等
  • 因为每个类别的协方差矩阵相等,我们可以忽略决策函数(公式(1))中的第1项和第2项,那么可以得到一个简化的判定函数如下。
  • 上式中的第1个二次项与类别无关,因此完全可以忽略。

经过上述简化过程之后,简化后的决策函数(公式2)可以接着改写为如下的式子。

简化后的决策函数(公式3)过于冗余,我们可以用一些变量来进行替换,做如下几个定义。

由此,我们可以将公式3改写成如下的式子。

哇哦~~~~可以说是非常的爽了。数学讲究的简单就是美~!!!不着急。。。还没完呢,现在我们假设的是类别样本都是标准的、

从上式可以看出,这个判决函数是一个线性函数,所以我们所要得到的决策面是一个超平面(Hyperplane)。

接着,同样的,我们做一些定义(定义有点多,有点绕,但,相信,结果会非常美好的!!)

我们将这个定义带入上述决策函数(公式5)中,并结合之前的决策面方程,得到如下的表达式。

这个式子可以说是完美了~~~~

Step3: 中场分析

重新温习一下。。。我们得到了公式6,其中:

所以这个式子是完美的。由这个式子,我们能轻而易举的得到如下的启示:

这样真的堪称完美了吧? 怎么还是中场分析? 别着急。。。

Step4: 再假设

总感觉不舒服。搞个假设,再次弱化这个case。

假设:

我的天啊,,这是什么玩意。。看看我们的决策面:

我的天啊,这不是最小欧式距离分类器么?

怎么说呢?我们先将我们的前置、结果展现一下。我们是假设每个类别都是服从正态分布的,然后设计了一个MPE贝叶斯分类器。然后我们假设了类内的元素都是独立的,然后继续推导就得到了上述式子。整理这个过程表达式如下。

下面我们仔细分析一下这个结果。我们假设,有2个类别(M = 2),为了方便展示,我们假设特征空间是2维的(l = 2),那么我们能得到如下的图像。

如上图所示,同心圆可以表示两个类别。同心圆的中心点就是均值点。为什么是同心圆?显然因为我们的特征空间是2维,如果画出来,正态分布肯定是一座小山,朝xoy平面投影后就成了上述形式(这里还有假设元素相互独立,协方差矩阵元素是相等的,由此更上一层,变成等距同心圆了),可以详细的看正态分布所简述的特点。由此,我们可以得到如下启示。

  • 决策面是一条线(通过了x_0点),而且垂直于两个类别均值点的连线,也就是我们之前所阐述的w
  • 如果样本x落在了线的左侧,那么显然就是属于类别1。如果落在了线的右侧,显然就是类别2了。
  • 在这样的case中,x_0显然是两个类别均值点连线线段的中点。

思考:
上述推导我们做了很多假设条件。现在我们回退一步,之前不是要类别出现的概率相等么?

现在我们假设他们不相等会怎么样?

读者可以按照上述推导过程,自己推导一遍,加深对该推导过程的理解。非常interesting。

当然,我们会告诉你结果的。。

如上图所示,如果类别概率不相等,那么决策面将在两类别均值连线上移动。

发表评论

电子邮件地址不会被公开。 必填项已用*标注