查看: 113|回复: 1

[分享] 岭回归

[复制链接]
新浪微博达人勋 aomi 未实名认证
论坛徽章:
0
发表于 2019-10-20 22:42 | 显示全部楼层 |阅读模式

数据分析 函数 元素

岭回归(英文名:ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法,实质上是一种改良的最小二乘估计法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法,对病态数据的拟合要强于最小二乘法。

对于有些矩阵,矩阵中某个元素的一个很小的变动,会引起最后计算结果误差很大,这种矩阵称为“病态矩阵”。有些时候不正确的计算方法也会使一个正常的矩阵在运算中表现出病态。对于高斯消去法来说,如果主元(即对角线上的元素)上的元素很小,在计算时就会表现出病态的特征。
回归分析中常用的最小二乘法是一种无偏估计。对于一个适定问题,X通常是列满秩的

采用最小二乘法,定义损失函数为残差的平方,最小化损失函数

上述优化问题可以采用梯度下降法进行求解,也可以采用如下公式进行直接求解

当X不是列满秩时,或者某些列之间的线性相关性比较大时, 的行列式接近于0,即 接近于奇异,上述问题变为一个不适定问题,此时,计算 时误差会很大,传统的最小二乘法缺乏稳定性与可靠性。
为了解决上述问题,我们需要将不适定问题转化为适定问题:我们为上述损失函数加上一个正则化项,变为

其中,我们定义,于是:

上式中, 是单位矩阵。
随着 的增大, 各元素 的值均趋于不断变小,它们相对于正确值 的偏差也越来越大。 趋于无穷大时, 趋于0。其中, 随 的改变而变化的轨迹,就称为岭迹。实际计算中可选非常多的 值,做出一个岭迹图,看看这个图在取哪个值的时候变稳定了,那就确定 值了。
岭回归是对最小二乘回归的一种补充,它损失了无偏性,来换取高的数值稳定性,从而得到较高的计算精度。
回复

使用道具 举报

新浪微博达人勋 ainivip  实名认证
论坛徽章:
11
R研习者初级
日期:2013-01-11 14:32:51Hadoop研习者初级
日期:2019-10-11 09:57:57python徽章
日期:2019-09-05 14:18:12Git徽章
日期:2019-08-01 16:32:03Excel徽章
日期:2015-09-24 16:21:34数据陷阱解读徽章
日期:2015-08-13 15:21:45spss初级
日期:2015-08-13 12:05:22统计徽章
日期:2014-11-06 14:50:39R研习者中级
日期:2014-09-19 14:17:27Oracle研习者初级
日期:2013-03-02 10:06:43python徽章
日期:2019-11-14 15:08:06
发表于 2019-10-20 22:46 | 显示全部楼层
很有难度的数学,如何简化这些知识让初学者快速的入门呢?
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

本版积分规则

 

GMT+8, 2019-11-16 04:51 , Processed in 0.108847 second(s), 31 queries .

关闭

扫一扫加入
本版微信群