AI関連の用語集

確率的勾配降下法(Stochastic Gradient Descent:SGD)とは?-AI関連の用語集【クラベルAI】-

確率的勾配降下法(Stochastic Gradient Descent:SGD)とは?-AI関連の用語集【クラベルAI】-

確率的勾配降下法(Stochastic Gradient Descent:SGD)

1件ずつ学習の方法
アイちゃんのイラスト1件ずつ見て、ふらつきながら下る
  1. データを1件だけ選びます。
  2. そのたびに少しだけ坂を下ります。
  3. ふらつきながら谷底に近づきます。

確率的勾配降下法(SGD)とは、学習データを1件ずつ(またはごく少数)選び、そのたびにモデルの重みを少しずつ直していく最適化の方法のことです。普通の勾配降下法は、全データを使って1回だけ直します。SGDは1件ごとに直すため、更新が速く、大きなデータでも進めやすいのが特徴です。一方で、1件ごとの結果にぶれがあり、進み方は少しジグザグになります。

確率的勾配降下法(Stochastic Gradient Descent:SGD)関連用語

確率的勾配降下法(Stochastic Gradient Descent:SGD)に関連する単語は以下の通りです。

確率的勾配降下法(Stochastic Gradient Descent:SGD)で知っておくと得する有益情報

SGDは、いまの最適化手法の土台です。特徴を3つにまとめました。

  • 更新が速い1件ごとに直すので、全データの計算を待たずに学習を進められます。
  • ぶれが出る1件ずつの結果は偏りがあるため、誤差の減り方は上下に揺れます。
  • 実際はミニバッチが主流1件ではなく少数のまとまりで直す、ミニバッチ版が多く使われます。

勾配降下法の3つのやり方

やり方1回の更新に使うデータ
バッチ(普通の勾配降下法)全データ
SGD1件
ミニバッチ数十〜数百件のまとまり

1周あたりの更新回数を比べる

データ件数を入れて、全データを1周する間の更新回数を比べます。

バッチ方式の更新回数0回
SGDの更新回数0回

1周(1エポック)あたりの回数です。件数は仮の例で、1件ずつ更新する場合の計算です。

SGDは速さを優先し、ぶれをある程度受け入れる方法です。

確率的勾配降下法(Stochastic Gradient Descent:SGD)やさしい解説

いたずらなくまのイラスト
全部のデータを見てから直したほうが、正確じゃないの?
アイちゃんのイラスト
道案内にたとえます。地図を全部調べてから歩き出すより、1歩ごとに足元を見て、方向を直すほうが早く進めます。
アイちゃんのイラスト
少しふらつきますが、全体としては目的地に近づいていきます。それがSGDの考え方です。

データが大量にあるとき、全件を毎回計算していては時間がかかりすぎます。SGDなら、少しずつ直しながら学習を進められるため、実務のAI開発では、この考え方をもとにした手法が土台に使われています。

確率的勾配降下法(Stochastic Gradient Descent:SGD)についてのみんなの疑問

質問する、いたずらなくまのイラスト

SGDと普通の勾配降下法は何が違いますか?

答えるアイちゃんのイラスト

1回の更新に使うデータの量が違います。普通の勾配降下法は全データを、SGDは1件だけを使う方式です。SGDは更新が速く、大きなデータ向きです。

質問する、いたずらなくまのイラスト

SGDはいまも使われていますか?

答えるアイちゃんのイラスト

はい、ミニバッチ版を含めて広く使われています。AdamなどもSGDの考え方を土台にした手法です。画像認識などでは、モーメンタム付きのSGDが選ばれることもあります。

質問する、いたずらなくまのイラスト

ぶれが大きいと困りませんか?

答えるアイちゃんのイラスト

学習率を調整したり、まとまりで更新したりして抑えます。ミニバッチにする、学習率を徐々に下げる、モーメンタムを加えるなどの工夫が一般的です。

AI関連の用語集【まとめ】

AI関連の用語集が気になる方のために、用語集一覧を作成しました。AIに関する学びを深めたいとお考えの方は、ぜひご覧ください。

アイちゃんのイラストAI関連の用語集(全用語)気になった言葉は、ここからまとめて探せます。用語集を開く →

この記事は役に立ちましたか?

分からない言葉が出たとき、すぐ開けます。

  • この記事を書いた人
  • 最新記事

クラベルAI運営事務局

AI活用の第一相談なら「クラベルAI」 このコンテンツはクラベルAI運営事務局が作成しております。 事務局メンバーには、第1回生成AIパスポートの資格保有者も在籍。 AI活用における、誰に・何を・どう聞けばいいの?というところからAIを使った大規模開発の相談まで、「クラベルAI」なら何度でも無料でご相談いただけます。ご相談内容に合わせて最適なパートナーとのマッチングサービスも提供。提携パートナーも随時募集中です。(個人・法人どなた様もご応募可能いただけます。) AI活用の第一相談所を目指し、日々有益な情報発信に努めております。 ご意見・ご感想等ございましたらお気軽にご連絡ください。運営会社は株式会社フィオリエラ(https://fioriera.co.jp/)です。

-AI関連の用語集
-,