人工智能-Python实现岭回归

1 概述

1.1 线性回归

对于一般地线性回归问题，参数的求解采用的是最小二乘法，其目标函数如下：

参数 w 的求解，也可以使用如下矩阵方法进行：

这个公式看着吓人，其实推导过程简单由（

推导而来，纸老虎）

对于矩阵 编程客栈X ，若某些列线性相关性较大（即训练样本中某些属性线性相关），就会导致

的值接近 0 ，在计算

时就会出现不稳定性。

结www.cppcns.com论 ： 传统的基于最小二乘的线性回归法缺乏稳定性。

1.2 岭回归 

岭回归的优化目标：

 对应的矩阵求解方法为：&http://www.cppcns.comnbsp;               

岭回归(ridge regression) 是一种专用于rgtIx共线性数据分析的有偏估计回归方法。

是一种改良的最小二乘估计法，对某些数据的拟合要强于最小二乘法。

1.3 过拟合

图二就是正常拟合，符合数据的趋势，而图三，虽然在训练集上拟合得很好，但是出现未知数据时，比如Size很大时，根据目前拟合来看，可能得到的结果很小，与实际误差会很大。 

2 sklearn中的岭回归

在sklearn库中，可以使用sklearn.linear_model.Ridge调用岭回归模型，其主要参数有：

• alpha：正则化因子，编程客栈对应于损失函数中的