勾配ブースティングとは？-AI関連の用語集【クラベルAI】-

勾配ブースティング（Gradient Boosting）

勾配ブースティングとは、前の木の間違いを次の木が直す形で、小さな木を1本ずつ足していく手法のことです。木を並べて足し合わせる点はランダムフォレストと似ていますが、順番に学ぶ点が違います。1本目で外れたところを2本目が補う、という流れを重ねて精度を高めます。表形式のデータで、特に高い精度が出やすい手法です。

勾配ブースティング（Gradient Boosting）関連用語

勾配ブースティング（Gradient Boosting）に関連する単語は以下の通りです。

• XGBoost人気のライブラリはどれ？→
• ランダムフォレスト並べて学ぶ方法との違いは？→
• ブースティング弱い予測を重ねる考え方とは？→
• 決定木（Decision Tree）土台となる木とは？→
• 勾配降下法（Gradient Descent）勾配とは何のこと？→
• 早期終了（Early Stopping）足しすぎを防ぐには？→

勾配ブースティング（Gradient Boosting）で知っておくと得する有益情報

勾配ブースティングは高精度ですが、設定しだいで結果が変わります。

• 順番に学ぶ前の木の誤差を見て、次の木を作ります。ランダムフォレストは並行して作ります。
• 足しすぎに注意木を増やしすぎると過学習になるため、早期終了などで止めます。
• 設定が成績を左右する木の数、深さ、1本の影響の大きさなどを調整して、最良の組み合わせを探します。

ランダムフォレストとの違い

順番に弱点を直す仕組みが、高い精度を生みます。

勾配ブースティング（Gradient Boosting）やさしい解説

木が前の木の間違いを直すって、どういうこと？

答案の直しにたとえられます。1人目が採点し、間違いを2人目が補い、3人目がさらに補います。

一度に完璧を目指さず、少しずつ直して、最後に全員の直しを足し合わせます。

需要予測のように、データの傾向が複雑な場面で力を発揮します。精度が出やすい反面、設定を調整する手間はかかります。また、学習用のデータに合わせすぎないよう、取り分けたデータで確かめながら進めます。

勾配ブースティング（Gradient Boosting）についてのみんなの疑問

勾配ブースティングと、XGBoostは同じものですか？

XGBoostは、勾配ブースティングを実装した人気のツールです。同じ考え方を使った、LightGBMやCatBoostなどもあります。名前は違っても、順番に木を足していく基本は共通です。

ランダムフォレストと、どちらを使えばいいですか？

まず手軽なランダムフォレスト、精度を追うなら勾配ブースティングが目安です。どちらも表形式のデータが得意です。試して、検証データの成績が良いほうを選ぶのが確実です。

データが少ないときにも使えますか？

使えますが、過学習に気をつけます。データが少ないと、順番に直す仕組みが偶然の癖まで拾いがちです。木を浅くして、小さく試すところから始めましょう。

AI関連の用語集【まとめ】

AI関連の用語集が気になる方のために、用語集一覧を作成しました。AIに関する学びを深めたいとお考えの方は、ぜひご覧ください。

AI関連の用語集（全用語）気になった言葉は、ここからまとめて探せます。用語集を開く →

参考にした公式情報：scikit-learn：Gradient Boosting

この記事は役に立ちましたか？

はい、役に立った いまいち

この記事をシェア

X Facebook LINE はてブ URLをコピー

ブログやSNSで紹介していただくときは、このページのURLをそのままお使いください（リンクはご自由にどうぞ）。

このサイトをホーム画面に追加

分からない言葉が出たとき、すぐ開けます。