什么是L1范数和L2范数?_范数是向量里每个元素的绝对值加起来_L2范数则是把每个元素的平方加起来然后开平方根

什么是L1范数和L2范数?

L1范数和L2范数在机器学习和数据分析里经常被用到,它们有点像衡量向量大小的方式。L1范数是向量里每个元素的绝对值加起来,而L2范数是每个元素平方后再加起来,最后开平方根。

它们有什么不同?

下面我们来看看它们之间的几个主要区别:

1、定义差异

L1范数:简单来说,就是向量里每个元素的绝对值加总。

L2范数:则是把每个元素的平方加起来,然后开平方根。

2、几何意义

L1范数:在二维空间里,它的单位球是个菱形。

L2范数:在二维空间里,它的单位球是个圆。

3、稀疏性

L1范数:有时候能使得解向量的很多元素变成零,这就叫稀疏性。

L2范数:不具备这种特性。

4、鲁棒性

L1范数:对那些异常值不那么敏感,更鲁棒。

L2范数:对异常值比较敏感。

5、计算复杂度

L1范数:有时候比较难算。

L2范数:通常更容易算,特别是用梯度下降这类方法。

6、在正则化中的应用

L1范数:经常用于Lasso正则化,这有助于特征选择。

L2范数:常用于Ridge正则化。

范数在机器学习中非常重要,它们不仅帮助我们衡量向量的大小,还能在正则化中防止模型过拟合,提高模型的泛化能力。