损失函数 | 东方少

损失函数是代价函数的一部分，而代价函数是目标函数的一种类型

损失函数可以分为三类：回归损失函数、分类损失函数和排序损失函数。

L1 Loss

平均绝对误差（Mean Absolute Error， MAE），它衡量的是预测值与真实值之间距离的平均误差幅度，作用范围为0到正无穷。

优点：对离群点或者异常值更具有鲁棒性。

缺点：在0处导数不连续，求解效率低，收敛速度慢；对于所有的损失值，梯度一样，不利于网络学习。

均方差（Mean Squred Error， MSE），它衡量的是预测值与真实值之间距离平方和的均值，作用范围同为0到正无穷。

优点：收敛速度快，能够对梯度给予合适的惩罚权重，而不是“一视同仁”，使梯度更新的方向可以更加精确。

缺点：对异常值十分敏感，梯度更新的方向很容易受离群点所主导，不具备鲁棒性。

出自 Fast RCNN，L1 loss 在0附近采用L2 loss，解决了L1在0处不可导的问题，使其更加平滑易于收敛，同时在1以后采用固定梯度，能够快速下降。

用预测分布编码随机变量所需的期望编码长度，

交叉熵损失函数，能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。

在机器学习中，我们认为数据的分布是真实分布，而模型输出的分布用来逼近真实分布，因此优化交叉熵即让两个分布接近。

优点：对于 softmax 函数，常用的 MSE 误差越大，下降越慢。但交叉熵能很好改善这个问题，当误差较大时，梯度也大，下降的较快；也避免了某些情况下激活函数进入饱和区，梯度消失的问题。对于MSE当激活层采用sigmoid时，误差越大，梯度越小，产生梯度消失

均方误差损失向最后一层传递梯度时，梯度与最后一层的激活函数的导数成正比，当输入较大时，梯度较小，收敛慢。
交叉熵损失函数对最后一层权重的梯度与激活函数的导数无关，只与输出值与真实值的差值成正比

用于二分类，多标签二分类

KL散度又称为相对熵，是真实分布与预测分布的交叉熵与真实分布的熵的差，最小化KL散度，可以令两个分布相近。

机器学习的过程就是希望在训练数据上模型学到的分布和真实数据分布越接近越好但由于没有真实的数据分布，就采用交叉熵损失函数，优于真实分布熵是不变的，最小化KL散度等价于最小化交叉熵。

集合相似度度量函数，用于计算两个样本的相似度，常用于图像分割。

一般会结合交叉熵损失或其他分类损失一同进行优化。

用于解决样本类别不均衡的问题，如果直接采用原始的交叉熵损失，负样本所占比例会非常大，主导梯度的优化方向。
Focal loss聚焦于训练一个困难样本的稀疏集，通过直接在标准的交叉熵损失基础上做改进，引进了两个惩罚因子，来减少易分类样本的权重，使得模型在训练过程中更专注于困难样本。

$FL(p,\hat{p}) = -( \alpha(1-\hat{p})^\gamma p log(\hat{p}) + (1-\alpha) \hat{p}^\gamma (1-p) ) log(1-\hat{p})$

参数 $\alpha$ 和 $(1-\alpha)$ 分别用于控制正负样本的比例。
参数 $\gamma$ 称为聚焦参数，取值范围是 $[0,+\infty)$ ，目的是通过减少易分类样本的权重，从而使模型在训练时更专注于困难样本。当 $\gamma=0$ 时，Focal Loss退化为交叉熵损失函数， $\gamma$ 越大，对易分类样本的惩罚力度就越大。