boosting和bootstrap的区别！老男孩IT教育
2021-06-04 发布
Boosting和bootstrap是机器学习之中几种常用的重采样方法，也是学习Python过程中会涉及的知识，那么boosting和bootstrap的区别是什么呢?我们一起来看看吧。
Bootstrap重采样方法主要用于统计量的估计;boosting方法则主要用于多个子分类器的组合。
首先我们来了解一下bootstrap：估计统计量的重采样方法。
Bootstrap方法是从小到大为N的原始训练数据集DD中随机选择N个样本点组成一个新的训练集，这个选择过程独立重复B次，然后用这B个数据集对模型统计量进行估计，由于原始数据集的大小就是N，所以这B个的训练集中不可避免的会存在重复的样本。
接下来我们再来学习一下boosting，依次训练K个子分类器，最终的分类结果由这些子分类器投票决定。
首先从大小为N的原始训练数据集中随机选取N1N1个样本训练出第一个分类器，记为C1C1，然后构造第二个分类器C2C2的训练集D2D2。要求：D2D2中一半样本能被C1C1正确分类，而另一半样本被C1C1错分。
接着继续构造第三个分类器C3C3的训练集D3D3，要求：C1C1、C2C2对D3D3中样本的分类结果不同，剩下的子分类器按照类似的思路进行训练。
Boosting构造新训练集的主要原则就是使用最富信息的样本。
想要学习Python课程，可以关注老男孩教育“Python全栈开发+AI课程”，0基础教学，线上、线下齐发力，确保学员掌握真正有用的知识，满足企业用人需求。
Bootstrap重采样方法主要用于统计量的估计;boosting方法则主要用于多个子分类器的组合。
首先我们来了解一下bootstrap：估计统计量的重采样方法。
Bootstrap方法是从小到大为N的原始训练数据集DD中随机选择N个样本点组成一个新的训练集，这个选择过程独立重复B次，然后用这B个数据集对模型统计量进行估计，由于原始数据集的大小就是N，所以这B个的训练集中不可避免的会存在重复的样本。
接下来我们再来学习一下boosting，依次训练K个子分类器，最终的分类结果由这些子分类器投票决定。
首先从大小为N的原始训练数据集中随机选取N1N1个样本训练出第一个分类器，记为C1C1，然后构造第二个分类器C2C2的训练集D2D2。要求：D2D2中一半样本能被C1C1正确分类，而另一半样本被C1C1错分。
接着继续构造第三个分类器C3C3的训练集D3D3，要求：C1C1、C2C2对D3D3中样本的分类结果不同，剩下的子分类器按照类似的思路进行训练。
Boosting构造新训练集的主要原则就是使用最富信息的样本。
想要学习Python课程，可以关注老男孩教育“Python全栈开发+AI课程”，0基础教学，线上、线下齐发力，确保学员掌握真正有用的知识，满足企业用人需求。
温馨提示：boosting和bootstrap的区别！老男孩IT教育信息由轻信息网网友发布，其真实性及合法性由发布人负责。轻信息网仅引用以供用户参考。详情请阅读轻信息网免责条款。
皖公网安备 34082402000356号