ドロップアウト（Dropout）とは？-AI関連の用語集【クラベルAI】-

ドロップアウト（Dropout）

ドロップアウト（Dropout）とは、ニューラルネットワークの学習中に、ユニットの一部をランダムに休ませて、過学習を防ぐ手法のことです。2014年にSrivastavaらが論文で示しました。毎回違うユニットを休ませるため、特定のユニットに頼りきりにならず、初めてのデータにも強くなります。休ませる割合はドロップ率といい、実際の利用時には全ユニットを使います。

ドロップアウト（Dropout）関連用語

ドロップアウト（Dropout）に関連する単語は以下の通りです。

• 過学習（Overfitting）防ぎたい過学習とは？→
• 正則化（Regularization）同じ目的の工夫には何がある？→
• 汎化性能（Generalization Performance）初めてのデータに強いとは？→
• 全結合層どの層で使うことが多い？→
• 早期終了（Early Stopping）学習を止めて防ぐ方法は？→
• アンサンブル学習（Ensemble Learning）複数の力を合わせる考え方は？→

ドロップアウト（Dropout）で知っておくと得する有益情報

ドロップアウトは、手軽に使える過学習対策です。設定の考え方を3つにまとめました。

• ドロップ率が主な設定各ユニットを休ませる確率で、0.5前後を最初に試すことが多いです。
• 学習中だけ働く実際に使う段階では休ませず、全ユニットを使います。
• 大きすぎると逆効果休ませすぎると学習が進まず、精度が下がることがあります。

過学習を防ぐ主な方法

過学習が気になるときは、ドロップアウトを手軽な対策として試しましょう。

ドロップアウト（Dropout）やさしい解説

わざと休ませたら、逆に弱くならないの？

チームスポーツの練習にたとえます。毎回ランダムに数人を休ませると、残りの人がそれぞれ力をつけて、エースだけに頼らないチームになります。

本番は全員で臨むので、とても強くなります。

自社のデータで予測AIを作ると、手持ちのデータには強くても、新しいデータでは外れる過学習が起こりがちです。ドロップアウトは、その対策として標準的に使われる工夫なので、開発会社の説明に出てきたら理解しやすくなります。

ドロップアウト（Dropout）についてのみんなの疑問

ドロップ率はいくつがよいですか？

0.5前後が、よく使われる出発点です。入力に近い層は低め、全結合層は高めにする例があります。検証データの結果を見て調整しましょう。

ドロップアウトを使うと、精度が下がりませんか？

学習中の精度は下がりますが、新しいデータへの強さは上がりやすいです。目的は初めてのデータで当てることなので、検証用のデータで確かめて判断します。

最近のモデルでも使われていますか？

はい、画像や言語など多くのモデルで使われています。一方で、大きなモデルを大量のデータで学習する場面では、あまり使わないこともあります。

AI関連の用語集【まとめ】

AI関連の用語集が気になる方のために、用語集一覧を作成しました。AIに関する学びを深めたいとお考えの方は、ぜひご覧ください。

AI関連の用語集（全用語）気になった言葉は、ここからまとめて探せます。用語集を開く →

この記事は役に立ちましたか？

はい、役に立った いまいち

この記事をシェア

X Facebook LINE はてブ URLをコピー

ブログやSNSで紹介していただくときは、このページのURLをそのままお使いください（リンクはご自由にどうぞ）。

このサイトをホーム画面に追加

分からない言葉が出たとき、すぐ開けます。