从线性回归到正则化

线性回归是一个简单的模型,即:一条直线,最大程度的拟合样本特征和样本数据标记之间的关系

此前也写过逻辑回归的东西,因此这里比较好理解。其实不光是现行回归,机器学习中,所有的算法模型其实都依赖于最小化或最大化某一个函数,我们称之为“目标函数

有趣的是不一定所有的用户需求都能用目标函数承载。比如在近期对于如何评价目标检测算法被对抗样本攻击成功了的事情上。让模型检测到的目标少一其实并不能转化为“约束” 也就是目标函数。

当然,这里我们来聊另一个有趣的话题,如何防止过拟合。其实防止过拟合有很多种方法(但好像和产品无关,而是一个纯技术性问题)

从线性回归到正则化

正则化是 Stein 的发现,从均方误差的角度,上面的极大似然估计或者最小二乘估计是很差的,但是我们可以想一个办法让曲线收缩。过拟合的本质是模型过于逼近训练样本,那让它不那么逼近是不是会获得更好的性能呢?

我觉得这个是很有创意的思考,在损失函数中加入另一个由模型参数构造的函数来抑制过于逼近的问题。解决问题有很多方式,这是一种面向问题的解法,而不是按部就班的方法。

也许应该称之为水平思考法?之后可以研究下。另外知乎这两篇文章写的不错,mark 一下:

为啥正则化能抑制过拟合 - 匠人的OP的文章 - 知乎
https://zhuanlan.zhihu.com/p/5...

机器学习中使用正则化来防止过拟合是什么原理? - 慧航的回答 - 知乎
https://www.zhihu.com/question...

Sign in or Sign up Leave Comment