线性不可分支持向量机

在前一篇 线性支持向量机 中已经知道通过支持向量能够找到一个超平面,将两类样本正确划分。但是实际生活中,原始的样本空间中可能并不存在这样的超平面将两类样本正确划分,也就是线性不可分,支持向量机通过将原始特征空间映射到高维特征空间来解决样本线性不可分的情况。

更多:支持向量机

在前一篇 线性支持向量机

从线性不可分到线性可分

实际上,如果样本的原始特征空间是有限维,即特征个数有限,虽然样本有可能在原始空间中线性不可分,但一定存在一个高维空间使得样本可分。

令  \( \phi(x) \) 表示将样本x映射到高维的特征向量,那么在特征空间中划分超平面所对应的模型可表示为:

则支持向量机的基本型可以表示为:

既然通过核技巧能够解决特征映射到高维后计算量过大的问题,但面对一个现实任务, 我们很难知道应该具体向什么样的高维空间映射, 即应该选什么样的核函数, 而核函数选择的适合与否直接决定整体的性能 。

通过 Mercer定理 可以得到核函数的充分必要条件,这里我们不做深入介绍,只是列举一些常见的核函数。

线性(Linear)核函数

发表评论

电子邮件地址不会被公开。 必填项已用*标注