【Lasso回归和岭回归】
线性回归（linear regression），就是用线性函数 f(x)=wx b 去拟合一组数据 D={(x1,y1),(x2,y2),...,(xn,yn)} 并使得损失 J=1nni=1(f(xi)yi)2 最小 。线性回归的目标就是找到一组 (w,b)，使得损失 J 最小 。
线性回归的拟合函数（或 hypothesis）为：
f(x)=wx b(1)
cost function (mse) 为：
J=1ni=1n(f(xi)yi)2=1ni=1n(wxi byi)2(2)
Lasso 回归和岭回归（ridge regression）都是在标准线性回归的基础上修改 cost function 。
Lasso 的全称为 least absolute shrinkage and selection operator，又译最小绝对值收敛和选择算子、套索算法 。
Lasso 回归对式（2）加入 L1 正则化 ， 其 cost function 如下：
J=1ni=1n(f(xi)yi)2 λw1(3)
岭回归对式（2）加入 L2 正则化，其 cost function 如下：
J=1ni=1n(f(xi)yi)2 λw22(4)
Lasso回归和岭回归的同和异：
相同： 都可以用来解决标准线性回归的过拟合问题 。
不同：
lasso 可以用来做 feature selection，而 ridge 不行 。或者说，lasso 更容易使得权重变为 0 ， 而 ridge 更容易使得权重接近 0 。
从贝叶斯角度看，lasso（L1 正则）等价于参数 w 的先验概率分布满足拉普拉斯分布，而 ridge（L2 正则）等价于参数 w 的先验概率分布满足高斯分布 。具体参考博客 从贝叶斯角度深入理解正则化 -- Zxdon。
也许会有个疑问，线性回归还会有过拟合问题？
加入 L1 或 L2 正则化，让权值尽可能?。詈蠊乖煲桓鏊胁问急冉闲〉哪Ｐ?。因为一般认为参数值小的模型比较简单，能适应不同的数据集 ， 也在一定程度上避免了过拟合现象 。
可以设想一下对于一个线性回归方程，若参数很大 ， 那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够?。萜频枚嘁坏阋膊换岫越峁斐墒茬塾跋欤?一种流行的说法是『抗扰动能力强』 。
【Lasso回归和岭回归 lasso回归和岭回归】
