GBDT (Gradient Boosting Decision Tree)屬于集成學(xué)習(xí)中的Boosting流派，迭代地訓(xùn)練基學(xué)習(xí)器 (base learner)，當(dāng)前基學(xué)習(xí)器依賴于上一輪基學(xué)習(xí)器的學(xué)習(xí)結(jié)果。 不同于AdaBoost自適應(yīng)地調(diào)整樣本的權(quán)值分布，GBDT是通過不斷地?cái)M合殘差 (residual)來“糾錯(cuò)”基學(xué)習(xí)器的。
1. Gradient Boosting
Gradient Boosting Machine (GBM) 是由大牛Friedman [1,2] 提出來，基本思想非常簡(jiǎn)單：基學(xué)習(xí)器存在著分類/回歸錯(cuò)誤的情況，在下一輪基學(xué)習(xí)器學(xué)習(xí)時(shí)努力地糾正這個(gè)錯(cuò)誤。在回歸問題中，這個(gè)錯(cuò)誤被稱為殘差。比如，在學(xué)習(xí)樣本(
延伸閱讀
學(xué)習(xí)是年輕人改變自己的最好方式