什么是范式
简单来说，一个 $l_p$ 范式可以被定义为
$||x||_p = \sqrt[p]{\Sigma_i|x_i|^p}$
l0范式
定义
根据定义，l0范式应该是：
$||x||_0 = \sqrt[0]{\Sigma_i|x_i|^0}$
严格地说，l0范数实际上不是一个范数。它是一个基数函数，尽管许多人称之为范式。显然，任何x>0都会变成1，但是零次幂的定义，特别是零次根的定义问题，在这里是混乱的。因此实际上，大多数数学家和工程师使用以下定义来代替l0范式：
$||x||_0 = \sharp(i|x_i \neq 0)$
这是指一个向量中非零元素的总数。
优化
许多应用，包括压缩感测，都试图将对应于某些约束的向量的l0范数最小化，因此称为“l0最小化”。标准最小化问题的公式如下：
$min ||x||_0$ subject to $Ax = b$
然而，这样做并不容易。由于缺乏l0范数的数学表示，l0最小化被计算机科学家视为一个NP难题，简单地说它太复杂，几乎不可能解决。
在许多情况下，l0最小化问题被放宽为高阶规范问题，如l1最小化和l2最小化。
l1范式
定义
$||x||_1 = \Sigma_i|x_i|$
这个规范在规范家族中很常见。它在各个领域有许多名称和形式，如曼哈顿范式是它的别称。
应用
如果计算两个向量或矩阵之间的差的l1范数，即
$SAD(x_1,x_2)=||x_1-x_2||_1=\Sigma_i|x_{1_i}-x_{2_i}|$
它在计算机视觉科学家之间被称为绝对差异之和（SAD）。
在信号差测量的一般情况下，可通过以下方式将其缩放为单位矢量：
$MAE(x_1, x_2) = \frac1n ||x_1-x_2|| _1 = \frac1n \Sigma_i |x_{1_i} - x_{2_i}|$ where $n$ is a size of $x$ .
这就是所谓的平均绝对误差(MAE)。
l2范式
定义
所有范式中最流行的是l_2-norm。它几乎应用于整个工程和科学的各个领域。根据基本定义，l_2-norm定义为
$||x||_2 = \sqrt{\Sigma_i|x_i|^2}$
应用
l2范数也被称为欧几里得范数，它被用作测量向量差的标准量。在l1范数中，如果欧几里得范数是针对向量差计算的，则称为欧几里得距离：
$||X_1-X_2||_2=\sqrt{\Sigma_i(x_{1_i}-x_{2_i})^2}$
或者以平方形式，即计算机视觉科学家之间所说的平方差之和（SSD）：
$SSD(x_1,x_2)=||X_1-X_2||_2^2=\Sigma_i(x_{1_i}-x_{2_i})^2$
在信号处理领域最著名的应用是均方误差（MSE）测量，它用于计算两个信号之间的相似性、质量或相关性。最小均方误差
$MSE(x_1,x_2)=\frac1n||X_1-X_2||_2^2=\frac1n\Sigma_i(x_{1_i}-x_{2_i})^2$
正如前面在L_0-优化部分讨论的那样，由于从计算和数学的角度来看有许多问题，许多L_0-优化问题放松自己，变成L_1-和L_2-优化。因此，我们现在将讨论L_2的优化。
l $\infty$ 范式
定义
$||x||_\infty = \sqrt[\infty]{\Sigma_i|x_i|^\infty}$
现在，这个定义看起来又很棘手，但实际上它是相当狭隘的。考虑向量 $x$ ，假设 $x_j$ 是向量 $x$ 中的最高项，根据无穷大本身的属性，我们可以这样说
$x_j^\infty \gg x_i^\infty \forall i \neq j$
然后
$\Sigma_ix_i^\infty=x_j^\infty$
然后
$||x||_\infty=\sqrt[\infty]{\Sigma_ix_i^\infty}=\sqrt[\infty]{x_j^\infty}=|x_j|$
现在我们可以将l $\infty$ 范式简化为
$||x||_\infty=max(|x_i|)$
其实也就是该向量的最大项的大小。
ref：https://rorasa.wordpress.com/2012/05/13/l0-norm-l1-norm-l2-norm-l-infinity-norm/
