最近在自学图灵教材《Python机器学习基础教程》,在csdn以博客的形式做些笔记。

决策树集成

集成(ensemble)是合并多个机器学习模型来构建更强大模型的方法。在机器学习文献中有许多模型都属于这一类,但已证明有两种集成模型对大量分类和回归的数据集都是有效的,二者都以决策树为基础,分别是随机森林(random
forest)和梯度提升决策树 (gradient boosted decision tree)

随机森林

对于决策树而言,其存在对训练集过拟合的问题;而随机森林就是解决该问题的一种方法。随机森林本质就是许多决策树的集合,其中每颗决策树都略有不同。随机森林背后的思想是,每棵树的预测可能都相对较好,但可能对部分数据过拟合。
如果构造很多树,并且每棵树的预测都很好,但都以不同的方式过拟合,那么我们可以对这些树的结果取平均值来降低过拟合。既能减少过拟合又能保持树的预测能力。

为了实现这一策略,我们需要构造许多决策树。每棵树都应该对目标值做出可以接受的预测,还应该与其他树不同。随机森林的名字来自于将随机性添加到树的构造过程中,以确保每棵树都各不相同。随机森林中树的随机化方法有两种:一种是通过选择用于构造树的数据点,另一种是通过选择每次划分测试的特征。

构造随机森林

构造一个随机森林,首先需要确定用于构造的树的个数(RandomForestRegressor 或 RandomForestClassifier 的
n_estimators
参数)。比如我们要构造10棵树。而这些树在构造时彼此独立,算法对每颗树进行不同的随机选择,以确保树与树之间是有区别的。想要构造一棵树,首先需要对数据进行
自助采样;也就是说,从 n_samples 个数据点中有放回地(即同一样本可以被多次抽取)重复随机抽取一个样本,共抽取 n_samples
次。这样会创建一个与原数据集大小相同的数据集,但有些数据点会缺失(大约三分之一),有些会重复。

比如我们想要创建列表 ['a', 'b', 'c', 'd'] 的自助采样。一种可能的自主采 样是 ['b', 'd', 'd',
'c'],另一种可能的采样为 ['d', 'a', 'd', 'a']。

接下来,基于这个新创建的数据集来构造决策树。但是,要对我们在介绍决策树时描述的算法稍作修改。在每个结点处,算法随机选择特征的一个子集,并对其中一个特征寻找最佳测试,而不是对每个结点都寻找最佳测试。选择的特征个数由
max_features 参数来控制。每个结点中特征子集的选择是相互独立的,这样树的每个结点可以使用特征的不同子集来做出决策。

max_features:如果将max_features设置为n_features,那么每次划分都应该考虑所有特征,此时在特征选择的过程中就不具备随机性,只在自主采样中具有。若将max_features设置为1,那么划分时将不能选择对哪个特征进行测试,只能对随机选择的某个特征搜索不同的阈值。因此,如果
max_features 较大,那么随机森林中的树将会十分相似,利用最独特的特征可以轻松拟合数据。如果 max_features
较小,那么随机森林中的树将会差异很大,为了很好地拟合数据,每棵树的深度都要很大。

对于利用随机森林进行预测,算法首先对每颗树进行预测。对于回归问题,我们可以把每棵树的预测结果取平均值当作预测。对于分类问题,测需要“软投票”,也就是说,每棵树做出“软”预测,给出每个可能输出标签的概率。对所有树的预测概率取平均值,将概率最大的类别作为预测结果。

下面我们对官方数据集make_moons进行由5棵树组成的随机森林的应用。并对每棵树的效果和随机森林的最终效果进行可视化。
import mglearn import numpy as np import matplotlib.pyplot as plt from
sklearn.ensemble import RandomForestClassifier from sklearn.datasets import
make_moons from sklearn.model_selection import train_test_split X, y =
make_moons(n_samples=100, noise=0.25, random_state=3) X_train, X_test, y_train,
y_test = train_test_split(X, y, stratify=y, random_state=42) forest =
RandomForestClassifier(n_estimators=5, random_state=2) forest.fit(X_train,
y_train) fig, axes = plt.subplots(2, 3, figsize=(20, 10)) for i, (ax, tree) in
enumerate(zip(axes.ravel(), forest.estimators_)): ax.set_title("Tree
{}".format(i)) mglearn.plots.plot_tree_partition(X_train, y_train, tree, ax=ax)
mglearn.plots.plot_2d_separator(forest, X_train, fill=True, ax=axes[-1, -1],
alpha=.4) axes[-1, -1].set_title("Random Forest")
mglearn.discrete_scatter(X_train[:, 0], X_train[:, 1], y_train)

 你可以清楚地看到,这 5 棵树学到的决策边界大不相同。每棵树都犯了一些错误,因为这
里画出的一些训练点实际上并没有包含在这些树的训练集中,原因在于自助采样。
随机森林比单独每一棵树的过拟合都要小,给出的决策边界也更符合直觉。在任何实际应用中,我们会用到更多棵树(通常是几百或上千),从而得到更平滑的边界。

我们下面来看作用在乳腺癌数据集上的集成100棵树的随机森林的效果。
from sklearn.datasets import load_breast_cancer cancer=load_breast_cancer()
X_train, X_test, y_train, y_test = train_test_split( cancer.data,
cancer.target, random_state=0) forest =
RandomForestClassifier(n_estimators=100, random_state=0) forest.fit(X_train,
y_train) print("Accuracy on training set: {:.3f}".format(forest.score(X_train,
y_train))) print("Accuracy on test set: {:.3f}".format(forest.score(X_test,
y_test)))

 在没有调节任何参数的情况下,随机森林的精度为 97.2%,比线性模型或单棵决策树都要 好。我们可以调节 max_features
参数,或者像单棵决策树那样进行预剪枝。但是,随机森林的默认参数通常就已经可以给出很好的结果。

参数选择:

需要调节的重要参数有 n_estimators 和 max_features,可能还包括预剪枝选项(如 max_ depth)。n_estimators
总是越大越好。对更多的树取平均可以降低过拟合,从而得到鲁棒 性更好的集成。不过收益是递减的,而且树越多需要的内存也越多,训练时间也越长。常
用的经验法则就是“在你的时间 / 内存允许的情况下尽量多”。 max_features 决定每棵树的随机性大小,较小的 max_features 可以降低过拟
合。一般来说,好的经验就是使用默认值:对于分类,默认值是 max_features=sqrt(n_ features);对于回归,默认值是
max_features=n_features。增大 max_features 或 max_ leaf_nodes
有时也可以提高性能。它还可以大大降低用于训练和预测的时间和空间要求。

优缺点:

用于回归和分类的随机森林是目前应用最广泛的机器学习方法之一。
这种方法非常强大,通常不需要反复调节参数就可以给出很好的结果,也不需要对数据进行缩放。对于维度非常高的稀疏数据(比如文本数据),随机森林的表现往往不是很好。对于这种数据,使用线性模型可能更合适。即使是非常大的数据集,随机森林的表现通常也很好,
训练过程很容易并行在功能强大的计算机的多个 CPU
内核上。不过,随机森林需要更大的内存,训练和预测的速度也比线性模型要慢。对一个应用来说,如果时间和内存很重要 的话,那么换用线性模型可能更为明智。

梯度提升回归树

梯度提升回归树是另一种集成方法,通过合并多个决策树来构建一个更为强大的模型。虽然名字中含有“回归”,但这个模型既可以用于回归也可以用于分类。与随机森林方法不
同,梯度提升采用连续的方式构造树,每棵树都试图纠正前一棵树的错误。默认情况下,
梯度提升回归树中没有随机化,而是用到了强预剪枝。梯度提升树通常使用深度很小的树,这样模型占用的内存更少,预测速度也更快。

梯度提升背后的主要思想是合并许多简单的模型(弱学习器),比如深度较小的树。每棵树只能对部分数据做出好的预测,因此,添加的树越来越多,可以不断迭代提高性能。与随机森林相比,它通常对参数设置更为敏感,但如果参数设置正确的话,模型精度更高。

除了预剪枝与集成中树的数量之外,梯度提升的另一个重要参数是
learning_rate(学习率),用于控制每棵树纠正前一棵树的错误的强度。较高的学习率意味着每棵树都可以做出较强的修正,这样模型更为复杂。通过增大
n_estimators 来向集成中添加更多树,也可以增加模型复杂度,因为模型有更多机会纠正训练集上的错误。

下面是在乳腺癌数据集上应用 GradientBoostingClassifier 的示例。默认使用 100 棵树, 最大深度是 3,学习率为 0.1:
from sklearn.ensemble import GradientBoostingClassifier X_train, X_test,
y_train, y_test = train_test_split( cancer.data, cancer.target, random_state=0)
gbrt = GradientBoostingClassifier(random_state=0) gbrt.fit(X_train, y_train)
print("Accuracy on training set: {:.3f}".format(gbrt.score(X_train, y_train)))
print("Accuracy on test set: {:.3f}".format(gbrt.score(X_test, y_test)))

 由于训练集精度达到 100%,所以很可能存在过拟合。为了降低过拟合,我们可以限制最大深度来加强预剪枝,也可以降低学习率:
gbrt = GradientBoostingClassifier(random_state=0, max_depth=1)
gbrt.fit(X_train, y_train) print("Accuracy on training set:
{:.3f}".format(gbrt.score(X_train, y_train))) print("Accuracy on test set:
{:.3f}".format(gbrt.score(X_test, y_test)))

gbrt = GradientBoostingClassifier(random_state=0, learning_rate=0.01)
gbrt.fit(X_train, y_train) print("Accuracy on training set:
{:.3f}".format(gbrt.score(X_train, y_train))) print("Accuracy on test set:
{:.3f}".format(gbrt.score(X_test, y_test)))

降低模型复杂度的两种方法都降低了训练集精度,这和预期相同。在这个例子中,减小树的最大深度显著提升了模型性能,而降低学习率仅稍稍提高了泛化性能。 

由于梯度提升和随机森林两种方法在类似的数据上表现得都很好,因此一种常用的方法就
是先尝试随机森林,它的鲁棒性很好。如果随机森林效果很好,但预测时间太长,或者机 器学习模型精度小数点后第二位的提高也很重要,那么切换成梯度提升通常会有用。

优缺点:

梯度提升决策树是监督学习中最强大也最常用的模型之一。其主要缺点是需要仔细调参,而且训练时间可能会比较长。与其他基于树的模型类似,这一算法不需要对数据进行缩放就可以表现得很好,而且也适用于二元特征与连续特征同时存在的数据集。与其他基于树的模型相同,它也通常不适用于高维稀疏数据。 

技术
今日推荐
阅读数 155
下载桌面版
GitHub
百度网盘(提取码:draw)
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱:ixiaoyang8@qq.com
QQ群:766591547
关注微信