首页 ›存档› 技术 › 查看内容

Python的机器学习实战：AadBoost 目录: 1. Boosting方法的简介 2. AdaBoost算法 3.基 ...

2018-3-30 13:00 |来自: 互联网 442 0

摘要: 数据挖掘入门与实战公众号： datadw 目录: 1. Boosting方法的简介 2. AdaBoost算法 3.基于单层决策树构建弱分类器 4.完整的AdaBoost的算法实现 5.总结 1. Boosting方法的简介 Boosting方法的基本思想：对于一个 ...

数据挖掘入门与实战公众号： datadw

1. Boosting方法的简介

2. AdaBoost算法

3.基于单层决策树构建弱分类器

4.完整的AdaBoost的算法实现

5.总结

1. Boosting方法的简介

Boosting方法的基本思想：对于一个复杂的任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好. 实际上就是“三个臭皮匠顶个诸葛亮的道理。”（

对于分类问题而言，给定一个训练集，求比较粗糙的分类规则（弱分类器）要比求精确的分类规则（强分类器）容易得多。Boosting方法就是从弱学习算法出发，反复学习，得到一系列弱分类器（又称基本分类器），然后组合这些弱分类器，构成一个强分类器。

对于Boosting方法来说，需要回答两个问题：

每一轮如何改变训练数据的权值或者概率分布

如何将若分类器组合成一个强分类器

2. AdaBoost算法

boosting 方法拥有多个版本，其中最流行的一个版本就是AdaBoost，即adaptive boosting.

对与上面提到的两个问题，AdaBoost的做法分别是：

对于第一个问题：提高那些被前一轮弱分类器错误分类的样本的权值，而降低那些被正确分类样本的权值.

对于第二个问题：采取加权多数表决的方法，具体就是，加大分类误差率较小的弱分类器的权值，使其在表决中起较大的作用，减小分类误差率大的弱分类器的权值，使其在表决中起较小的作用.

具体算法流程描述如下：

假定给定一个二分类的训练数据集

$声明：文章版权归原作者所有部分文章转自互联网如有侵权请联系 [邮箱地址] 删除 (function() { // 邮箱地址使用 Base64 编码伪装，防止爬虫直接抓取 var encodedEmail = "YWRtaW5AaGFja2Jhc2UubmV0"; // admin@hackbase.net 的 Base64 编码 var email = atob(encodedEmail); // 解码得到真实邮箱 var container = document.getElementById("email-placeholder"); if (container) { container.textContent = email; } })();$