勾配ブースティング(Gradient Boosting )について
前回は、CARTについてまとめてみましたが、
ブースティングの中では勾配ブースティング(gradient boosting)が
特によく用いられます。
【木１＋残差→木１＋木２＋残差】
と残差について（小さな）木を次々に適用していく（Gradient）モデルです。
残差は連続数であり、これに回帰木をあてはめていくことから
Multiple additive regression trees: MARTと呼ばれることがあります*1。
他にはGradient boosting machine やGeneralized boosting model、
TreeNetなどと記載してあることもあり、混乱させてくれます。
アルゴリズムの中でXGBoost *2は、使いやすくて、性能もよく、大変重宝します。
XGBoostのpythonインストールに困った方は
をご覧下さい。少しでも参考になれば幸いです。
