残差平方和ssr的计算公式为_如何为你的回归问题选择最合适的机器学习方法？...
文章发布于公号【数智物语】 （ID：decision_engine），关注公号不错过每一篇干货。
转自 | AI算法之心（公众号ID：AIHeartForYou）
作者 | 何从庆
什么是回归呢？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。回归分析在机器学习领域应用非常广泛，例如，商品的销量预测问题，交通流量预测问题。那么，如何为这些回归问题选择最合适的机器学习算法呢？这篇文章将从以下三个方面介绍：
1、常用的回归算法
2、回归竞赛问题以及解决方案
3、正在进行中的回归竞赛问题
01常用的回归算法
这里介绍一些回归问题中常用的机器学习方法，sklearn作为机器学习中一个强大的算法包，内置了许多经典的回归算法，下面将一一介绍各个算法：
01线性回归
线性回归拟合一个带系数的线性模型，以最小化数据中的观测值与线性预测值之间的残差平方和。
sklearn中也存在线性回归的算法库的接口，代码示例如下所示：
#加载线性模型算法库
from sklearn import linear_model
# 创建线性回归模型的对象
regr = linear_model.LinearRegression()
# 利用训练集训练线性模型
regr.fit(X_train, y_train)
# 使用测试集做预测
y_pred = regr.predict(X_test)02岭回归
上述的线性回归算法使用最小二乘法优化各个系数，对于岭回归来说，岭回归通过对系数进行惩罚(L2范式)来解决普通最小二乘法的一些问题，例如，当特征之间完全共线性(有解)或者说特征之间高度相关，这个时候适合用岭回归。
#加载线性模型算法库
from sklearn.linear_model import Ridge
# 创建岭回归模型的对象
reg = Ridge(alpha=.5)
# 利用训练集训练岭回归模型
reg.fit([[0, 0], [0, 0], [1, 1]], [0, .1, 1])
#输出各个系数
reg.coef_
reg.intercept_ 03Lasso回归
Lasso是一个估计稀疏稀疏的线性模型。它在某些情况下很有用，由于它倾向于选择参数值较少的解，有效地减少了给定解所依赖的变量的数量。Lasso模型在最小二乘法的基础上加入L1范式作为惩罚项。
#加载Lasso模型算法库
from sklearn.linear_model import Lasso
# 创建Lasso回归模型的对象
reg = Lasso(alpha=0.1)
# 利用训练集训练Lasso回归模型
reg.fit([[0, 0], [1, 1]], [0, 1])
"""
Lasso(alpha=0.1, copy_X=True, fit_intercept=True, max_iter=1000,normalize=False, positive=False, precompute=False, random_state=None,selection='cyclic', tol=0.0001, warm_start=False)
"""
# 使用测试集做预测
reg.predict([[1, 1]])04Elastic Net回归
Elastic Net 是一个线性模型利用L1范式和L2范式共同作为惩罚项。这种组合既可以学习稀疏模型，同时可以保持岭回归的正则化属性。
#加载ElasticNet模型算法库
from sklearn.linear_model import ElasticNet
#加载数据集
from sklearn.datasets import make_regression
X, y = make_regression(n_features=2, random_state=0)
#创建ElasticNet回归模型的对象
regr = ElasticNet(random_state=0)
# 利用训练集训练ElasticNet回归模型
regr.fit(X, y)
print(regr.coef_)
print(regr.intercept_)
print(regr.predict([[0, 0]])) 05贝叶斯岭回归
贝叶斯岭回归模型和岭回归类似。贝叶斯岭回归通过最大化边际对数似然来估计参数。
from sklearn.linear_model import BayesianRidge
X = [[0., 0.], [1., 1.], [2., 2.], [3., 3.]]
Y = [0., 1., 2., 3.]
reg = BayesianRidge()
reg.fit(X, Y)06SGD回归
上述的线性模型通过最小二乘法来优化损失函数，SGD回归也是一种线性回归，不同的是，它通过随机梯度下降最小化正则化经验损失。
import numpy as np
from sklearn import linear_model
n_samples, n_features = 10, 5
np.random.seed(0)
y = np.random.randn(n_samples)
X = np.random.randn(n_samples, n_features)
clf = linear_model.SGDRegressor(max_iter=1000, tol=1e-3)
clf.fit(X, y)
"""
SGDRegressor(alpha=0.0001, average=False, early_stopping=False,epsilon=0.1, eta0=0.01, fit_intercept=True, l1_ratio=0.15,learning_rate='invscaling', loss='squared_loss', max_iter=1000,n_iter=None, n_iter_no_change=5, penalty='l2', power_t=0.25,random_state=None, shuffle=True, tol=0.001, validation_fraction=0.1,verbose=0, warm_start=False)
"""07SVR
众所周知，支持向量机在分类领域应用非常广泛，支持向量机的分类方法可以被推广到解决回归问题，这个就称为支持向量回归。支持向量回归算法生成的模型同样地只依赖训练数据集中的一个子集(和支持向量分类算法类似)。
#加载SVR模型算法库
from sklearn.svm import SVR
#训练集
X = [[0, 0], [2, 2]]
y = [0.5, 2.5]
#创建SVR回归模型的对象
clf = SVR()
# 利用训练集训练SVR回归模型
clf.fit(X, y)
"""
SVR(C=1.0, cache_size=200, coef0=0.0, degree=3, epsilon=0.1,gamma='auto_deprecated', kernel='rbf', max_iter=-1, shrinking=True,tol=0.001, verbose=False)
"""
clf.predict([[1, 1]])08KNN回归
在数据标签是连续变量而不是离散变量的情况下，可以使用KNN回归。分配给查询点的标签是根据其最近邻居标签的平均值计算的。
X = [[0], [1], [2], [3]]
y = [0, 0, 1, 1]
from sklearn.neighbors import KNeighborsRegressor
neigh = KNeighborsRegressor(n_neighbors=2)
neigh.fit(X, y)
print(neigh.predict([[1.5]]))09决策树回归
决策树也可以应用于回归问题，使用sklearn的DecisionTreeRegressor类。
from sklearn.tree import DecisionTreeRegressor
X = [[0, 0], [2, 2]]
y = [0.5, 2.5]
clf = DecisionTreeRegressor()
clf = clf.fit(X, y)
clf.predict([[1, 1]])10神经网络
神经网络使用slearn中MLPRegressor类实现了一个多层感知器(MLP)，它使用在输出层中没有激活函数的反向传播进行训练，也可以将衡等函数视为激活函数。因此，它使用平方误差作为损失函数，输出是一组连续的值。
from sklearn.neural_network import MLPRegressor
mlp=MLPRegressor()
mlp.fit(X_train,y_train)
"""
MLPRegressor(activation='relu', alpha=0.0001, batch_size='auto', beta_1=0.9,beta_2=0.999, early_stopping=False, epsilon=1e-08,hidden_layer_sizes=(100,), learning_rate='constant',learning_rate_init=0.001, max_iter=200, momentum=0.9,n_iter_no_change=10, nesterovs_momentum=True, power_t=0.5,random_state=None, shuffle=True, solver='adam', tol=0.0001,validation_fraction=0.1, verbose=False, warm_start=False)
"""
y_pred = mlp.predict(X_test)11RandomForest回归
RamdomForest回归也是一种经典的集成算法之一。
from sklearn.ensemble import RandomForestRegressor
from sklearn.datasets import make_regression
X, y = make_regression(n_features=4, n_informative=2,random_state=0, shuffle=False)
regr = RandomForestRegressor(max_depth=2, random_state=0,n_estimators=100)
regr.fit(X, y)
print(regr.feature_importances_)
print(regr.predict([[0, 0, 0, 0]]))12XGBoost回归
XGBoost近些年在学术界取得的成果连连捷报，基本所有的机器学习比赛的冠军方案都使用了XGBoost算法，对于XGBoost的算法接口有两种，这里我仅介绍XGBoost的sklearn接口。更多请参考：
https://xgboost.readthedocs.io/en/latest/python/index.html
import xgboost as xgb
xgb_model = xgb.XGBRegressor(max_depth = 3,learning_rate = 0.1,n_estimators = 100,objective = 'reg:linear',n_jobs = -1)xgb_model.fit(X_train, y_train,eval_set=[(X_train, y_train)], eval_metric='logloss',verbose=100)
y_pred = xgb_model.predict(X_test)
print(mean_squared_error(y_test, y_pred))13LightGBM回归
LightGBM作为另一个使用基于树的学习算法的梯度增强框架。在算法竞赛也是每逢必用的神器，且要想在竞赛取得好成绩，LightGBM是一个不可或缺的神器。相比于XGBoost，LightGBM有如下优点，训练速度更快，效率更高效；低内存的使用量。对于LightGBM的算法接口有两种，这里我同样介绍LightGBM的sklearn接口。更多请参考：https://lightgbm.readthedocs.io/en/latest/
import lightgbm as lgb
gbm = lgb.LGBMRegressor(num_leaves=31,learning_rate=0.05,n_estimators=20)
gbm.fit(X_train, y_train,eval_set=[(X_train, y_train)], eval_metric='logloss',verbose=100)
y_pred = gbm.predict(X_test)
print(mean_squared_error(y_test, y_pred))上述回归算法的代码作者已上传至这里：
https://hnueducn-my.sharepoint.com/:f:/g/personal/hecongqing_hnu_edu_cn/Eg6IDJrr5A5Ptm_V97nL3WUBLLTV_Y3yM6wrQFSuYUN_pQ?e=LPHLoK
02回归竞赛问题以及解决方案
为了方便小伙伴们练习机器学习中的相关项目，这里整理一些回归竞赛问题，帮助入门机器学习的小伙伴们更加深入的掌握机器学习中的回归问题。
01入门级比赛
Kaggle——房价预测
这个比赛作为最基础的回归问题之一，很适合入门机器学习的小伙伴们。
网址：https://www.kaggle.com/c/house-prices-advanced-regression-techniques
经典解决方案：
XGBoost解决方案： https://www.kaggle.com/dansbecker/xgboost
Lasso解决方案： https://www.kaggle.com/mymkyt/simple-lasso-public-score-0-12102
02进阶比赛
Kaggle——销售量预测
这个比赛作为经典的时间序列问题之一，目标是为了预测下个月每种产品和商店的总销售额。
网址：https://www.kaggle.com/c/competitive-data-science-predict-future-sales
经典解决方案：
LightGBM: https://www.kaggle.com/sanket30/predicting-sales-using-lightgbm
XGBoost: https://www.kaggle.com/fabianaboldrin/eda-xgboost
第一名解决方案：https://www.kaggle.com/c/competitive-data-science-predict-future-sales/discussion/74835#latest-503740
03TOP比赛方案
Kaggle——餐厅访客预测
网址：https://www.kaggle.com/c/recruit-restaurant-visitor-forecasting
解决方案：
1st 方案： https://www.kaggle.com/plantsgo/solution-public-0-471-private-0-505
7th 方案：https://www.kaggle.com/c/recruit-restaurant-visitor-forecasting/discussion/49259#latest-284437
8th 方案：https://github.com/MaxHalford/kaggle-recruit-restaurant
12th 方案：https://www.kaggle.com/c/recruit-restaurant-visitor-forecasting/discussion/49251#latest-282765
Kaggle——CorporaciónFavoritaGrocery销售预测
网址：https://www.kaggle.com/c/favorita-grocery-sales-forecasting
解决方案：
1st 方案： https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47582#latest-360306
2st 方案：https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47568#latest-278474
3st 方案：https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47560#latest-302253
4st 方案：https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47529#latest-271077
5st方案：https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47556#latest-270515
6st方案：https://www.kaggle.com/c/favorita-grocery-sales-forecasting/discussion/47575#latest-269568
03正在进行中的回归竞赛
小伙伴们看到上面的解决方案是不是跃跃欲试，最近国内也有各大回归比赛，赶紧趁热打铁，来学习学习回归比赛吧！
2019年腾讯广告大赛——广告曝光预估
网址：https://algo.qq.com/application/home/home/index.html
上述比赛的数据集作者已上传至这里：
https://hnueducn-my.sharepoint.com/:f:/g/personal/hecongqing_hnu_edu_cn/En8QBIS-zQ1LolGCeTVASkYBGtclabP1T7M2PET5Jq9Pjg?e=VpOZxS
推荐阅读：
星标我，每天多一点智慧
更多相关：
-
逻辑回归 Logistic Regression3. 逻辑回归补充: 凸性 Convexity定义3.1定理3.2定理3.3成本函数的凸性3.1逻辑回归的替代方法3.2 线性可分性和逻辑回归定理3.43.3 逻辑回归的额外内容3.3.1 梯度 ∇w,bL abla_{mathbf{w}, b} L∇w,bL3.3.2 损失函数的...
-
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里技术人对外发布原创技术内容的最大平台；社区覆盖了云计算、大数据、人工智能、IoT、云原生、数...
-
c++ https://www.cnblogs.com/riddick/p/8486223.html python 原理：https://zhuanlan.zhihu.com/p/94244568 代码：https://github.com/1368069096/Calibration_ZhangZhengyou_Met...
-
https://zhuanlan.zhihu.com/p/60962760 https://blog.csdn.net/qq_35644234/article/details/53013738 https://blog.csdn.net/u012285643/article/details/78524758...
-
colmap-3.6-dev工程第三方依赖库 Eigen==3.3.7 https://gitlab.com/libeigen/eigen/-/archive/3.3.7/eigen-3.3.7.zipFreeImage==3.17.0 https://github.com/twnkls/FreeImage-3.17.0-VS...
-
理论知识和其它实现算法可参考： https://stackoverflow.com/questions/29678510/convert-21-equirectangular-panorama-to-cube-map http://paulbourke.net/dome/dualfish2sphere/ 如果着急输出Cub...
-
一.xgboost前奏1,介绍一下啥是xgboostXGBoost全称是eXtreme Gradient Boosting，即极限梯度提升算法。它由陈天奇所设计，致力于让提升树突破自身的计算极限，以实现运算快速，性能优秀的工程目标。2,XGBoost的三大构件XGBoost本身的核心是基于梯度提升树实现的集成算法，整体来说可以有三...
-
这是3D 点云的深度学习框架，提供常见的点云分析方法的一种通用深度学习模型。它主要依赖Pytorch Geometric和Facebook Hydra。该框架能够以最小的代价和极大的可重复性来构建精简而复杂的模型。目标是建立一个工具，用于对SOTA模型进行基准测试，同时允许研究者们有效地研究点云分析，最终目标是建立可应用于实际应用的...
-
【从零开始的ROS四轴机械臂控制（三）】五、在gazebo中添加摄像头1.修改arm1.gazebo.xacro文件2.修改arm1.urdf.xacro文件3.查看摄像头图像六、为模型添加夹爪（Gripper）1.通过solidworks建立模型2.将夹爪添加进gazebo（1）模型导入（2）更改urdf文件夹3.gazebo模型抖...
-
使用Keras训练自动驾驶（使用Udacity自动驾驶模拟器） 1.完成项目所需要的资源 （1）模拟器下载 • Linux • macOS • Windows （2）Unity 下载 运行Udacity模拟器需要Unity，这是下载链接。 https://unity.cn/releases （3）Behavioral Cl...
-
maxtree–工厂模型第74卷 大小解压后：2.34G 信息: 植物模型第74卷是高质量的三维植物模型的集合。包括12个物种，共72个单一模式。 获取地址：三维植物树木模型 Maxtree – Plant Models Vol 74-云桥网 种类 三角枫 槭树 复叶槭 鸡爪槭 白桦 Chitalpa tashkente...