核函数与支持向量机(SVM)简介

核函数的定义
设X为输入空间(一般为欧氏空间)，给定从X到另一空间的映射\(f:X\to H\)，使得\[\forall x, y\in X, K(x,y)=f(x)\cdot f(y),\]则称K为核函数，这里\(f(x)\cdot f(y)\)为欧氏空间上的内积。

对于低维空间中非线性可分的样本，可以将样本映射到高维空间，从而完成线性分类。但这需要计算高维空间中的内积，使得计算量加大，甚至造成"维数灾难"。核函数K(x,y)则避免了高维运算，实现了与\(f(x)\)相同的运算结果，同时减小了计算量。

常用核函数
(1) 线性核函数\[K(x,y)=x\cdot y.\]对应的映射为\(f(z)=z.\)

(2) 多项式核函数\[K(x,y) = [\gamma(x\cdot y)+c]^d.\]一般\(\gamma\)表示对内积进行放缩，c代表常数项，d为阶次。

(3) 高斯径向基核函数(RBF)\[K(x,y)=e^{-\frac{\lVert x-y\rVert^2}{2\sigma^2}}.\]正数\(\sigma\)称为核半径，是用户定义的函数值下降到0的速度参数。

支持向量机(SVM)
支持向量机(Support Vector Machine)的基本模型是二类分类模型，在高维空间中找到一个超平面作为边界，将数据分为两类，同时满足每一类样本中，距离分类边界最近的样本到边界的距离尽可能远，从而使分类误差最小化。
最优分类超平面应该具备两个条件：最近距离最远和等距性。首先，两类样本中距离超平面最近的点，都要离超平面尽可能远；同时，距离超平面最近的两类样本到超平面距离是相等的。它们"支撑"起了样本的边界，这些样本称为"支持向量"，从而有了支持向量机算法的概念。
支持向量机属于有监督学习。

    所属分类：机器学习     发表于2022-02-06