什么是范式
简单来说,一个 $l_p$ 范式可以被定义为
$||x||_p = \sqrt[p]{\Sigma_i|x_i|^p}$
l0范式
定义
根据定义,l0范式应该是:
$||x||_0 = \sqrt[0]{\Sigma_i|x_i|^0}$
严格地说,l0范数实际上不是一个范数。它是一个基数函数,尽管许多人称之为范式。显然,任何x>0都会变成1,但是零次幂的定义,特别是零次根的定义问题,在这里是混乱的。因此实际上,大多数数学家和工程师使用以下定义来代替l0范式:
$||x||_0 = \sharp(i|x_i \neq 0)$
这是指一个向量中非零元素的总数。
优化
许多应用,包括压缩感测,都试图将对应于某些约束的向量的l0范数最小化,因此称为“l0最小化”。标准最小化问题的公式如下:
$min ||x||_0$ subject to $Ax = b$
然而,这样做并不容易。由于缺乏l0范数的数学表示,l0最小化被计算机科学家视为一个NP难题,简单地说它太复杂,几乎不可能解决。
在许多情况下,l0最小化问题被放宽为高阶规范问题,如l1最小化和l2最小化。
l1范式
定义
$||x||_1 = \Sigma_i|x_i|$
这个规范在规范家族中很常见。它在各个领域有许多名称和形式,如曼哈顿范式是它的别称。
应用
如果计算两个向量或矩阵之间的差的l1范数,即
$SAD(x_1,x_2)=||x_1-x_2||_1=\Sigma_i|x_{1_i}-x_{2_i}|$
它在计算机视觉科学家之间被称为绝对差异之和(SAD)。
在信号差测量的一般情况下,可通过以下方式将其缩放为单位矢量:
$MAE(x_1, x_2) = \frac1n ||x_1-x_2|| _1 = \frac1n \Sigma_i |x_{1_i} - x_{2_i}|$ where $n$ is a size of $x$ .
这就是所谓的平均绝对误差(MAE)。
l2范式
定义
所有范式中最流行的是l_2-norm。它几乎应用于整个工程和科学的各个领域。根据基本定义,l_2-norm定义为
$||x||_2 = \sqrt{\Sigma_i|x_i|^2}$
应用
l2范数也被称为欧几里得范数,它被用作测量向量差的标准量。在l1范数中,如果欧几里得范数是针对向量差计算的,则称为欧几里得距离:
$||X_1-X_2||_2=\sqrt{\Sigma_i(x_{1_i}-x_{2_i})^2}$
或者以平方形式,即计算机视觉科学家之间所说的平方差之和(SSD):
$SSD(x_1,x_2)=||X_1-X_2||_2^2=\Sigma_i(x_{1_i}-x_{2_i})^2$
在信号处理领域最著名的应用是均方误差(MSE)测量,它用于计算两个信号之间的相似性、质量或相关性。最小均方误差
$MSE(x_1,x_2)=\frac1n||X_1-X_2||_2^2=\frac1n\Sigma_i(x_{1_i}-x_{2_i})^2$
正如前面在L_0-优化部分讨论的那样,由于从计算和数学的角度来看有许多问题,许多L_0-优化问题放松自己,变成L_1-和L_2-优化。因此,我们现在将讨论L_2的优化。
l $\infty$ 范式
定义
$||x||_\infty = \sqrt[\infty]{\Sigma_i|x_i|^\infty}$
现在,这个定义看起来又很棘手,但实际上它是相当狭隘的。考虑向量 $x$ ,假设 $x_j$ 是向量 $x$ 中的最高项,根据无穷大本身的属性,我们可以这样说
$x_j^\infty \gg x_i^\infty \forall i \neq j$
然后
$\Sigma_ix_i^\infty=x_j^\infty$
然后
$||x||_\infty=\sqrt[\infty]{\Sigma_ix_i^\infty}=\sqrt[\infty]{x_j^\infty}=|x_j|$
现在我们可以将l $\infty$ 范式简化为
$||x||_\infty=max(|x_i|)$
其实也就是该向量的最大项的大小。
ref:https://rorasa.wordpress.com/2012/05/13/l0-norm-l1-norm-l2-norm-l-infinity-norm/