梯度下降

前面的系列文章都有写到,机器学习实际上就是找到一个 f(x) 来完成各种各样的任务,比如预测、分类、生成,只是不同的算法 f(x)的复杂程度有所区别

  f(x) 有以下三步:

- 定义一个函数集合(define a function set

- 判断函数的好坏(goodness of a function

- 选择最好的函数(pick the best one

判断函数的的好坏其实就是怎么定义损失函数,比如 MSE。而选择最好的函数,核心的目标就是损失函数最小化。而梯度下降则是求解最小化问题的好方法

梯度下降通过计算参数与损失值之间的导数,梯度是一个向量,它指向误差值增加最快的方向。这样我们只要按照向着梯度的反方向按照一定速度挪动应该就能达到一个接近最优的点

当然,由于计算量的原因,还有随机梯度下降等方法。这里我来介绍一种有趣的机器学习现象:对抗样本。

对抗样本是一类人眼难以辨别,但是会使得模型错误分类的样本。比如经典的 goodfellow 的论文中的熊猫被误识别为长臂猿。

对抗样本是怎么生成的呢,其实它与梯度也密切相关。

简单来说对抗找本追求的是在人眼难以辨别的基础上让模型的误差更大,也就是说和最优化损失函数的思路相反,在一定的条件约束下(比如样本大小、L2 度量下两张图片的距离不大于2等)让损失函数最大。

对抗样本是一种有趣的思路,也是对损失函数的新理解,很有意思,分享给你

Sign in or Sign up Leave Comment