Linear least squares, Lasso,ridge regression有何本质区别？
关注者
2,213被浏览
225,732登录后你可以
不限量看优质回答私信答主深度交流精彩内容一键收藏
Linear regression一般只对low dimension适用，比如n=50, p=5，而且这五个变量还不存在multicolinearity.
Ridge Regression的提出就是为了解决multicolinearity的，加一个L2 penalty term也是因为算起来方便。然而它并不能shrink parameters to 0.所以没法做variable selection。
LASSO是针对Ridge Regression的没法做variable selection的问题提出来的，L1 penalty虽然算起来麻烦，没有解析解，但是可以把某些系数shrink到0啊。
然而LASSO虽然可以做variable selection，但是不consistent啊，而且当n很小时至多只能选出n个变量；而且不能做group selection。
于是有了在L1和L2 penalty之间做个权重就是elastic net, 针对不consistent有了adaptive