Linear least squares, Lasso,ridge regression有何本质区别？
关注者
2,213被浏览
225,734登录后你可以
不限量看优质回答私信答主深度交流精彩内容一键收藏
shallow statistic student
从应用的角度讲两句。
linear regression应用在反应变量和观测量成线性关系加一个高斯误差的模型上。怎么估计参数？最基础常见的是least square，其结果的好处在于无偏。但是当观测量X接近singular的时候，least square估计量的方差大。
ridge是在最优化的函数上做l2的regularization，而lasso是l1的。ridge是修改优化函数后的升级版regression。而lasso最大的好处在于，curve常和数轴上的顶点相交，自动完成了feature selection，不用再看显著性的脸色。