AI関連の用語集

カルバック・ライブラー・ダイバージェンス(Kullback-Leibler Divergence:KL Divergence)とは?-AI関連の用語集【クラベルAI】-

カルバック・ライブラー・ダイバージェンス(Kullback-Leibler Divergence:KL Divergence)とは?-AI関連の用語集【クラベルAI】-

カルバック・ライブラー・ダイバージェンス(KL Divergence)

本当の形予想評価の言葉
アイちゃんのイラスト本当の形と、予想の形のズレ
  1. 本当の山の形があります。
  2. ロボットが別の形を予想します。
  3. 食い違いの大きさを測ります。

KLダイバージェンスとは、本当の確率分布と、AIが予想した確率分布のズレの大きさを測る指標のことです。2つの分布が同じなら0になり、違うほど大きな値になります。AからBを測る場合と、BからAを測る場合で値が変わるため、距離とは少し性質が違います。生成モデルの学習や、モデルの軽量化などで使われます。

カルバック・ライブラー・ダイバージェンス(KL Divergence)関連用語

カルバック・ライブラー・ダイバージェンス(KL Divergence)に関連する単語は以下の通りです。

カルバック・ライブラー・ダイバージェンス(KL Divergence)で知っておくと得する有益情報

KLダイバージェンスは、確率分布どうしを比べる基本の道具です。押さえる点を3つにまとめました。

  • 0なら完全に一致2つの分布が同じとき0になり、違うほど大きくなります。
  • 向きで値が変わるAからBとBからAでは値が違うので、どちらを基準にするか決めます。
  • クロスエントロピーと近いクロスエントロピーから、本当の分布のエントロピーを引いた値です。

KLダイバージェンスが使われる場面

場面何と何を比べるか
変分オートエンコーダ学習した分布と標準的な分布
知識蒸留大きいモデルと小さいモデルの出力
強化学習の安定化更新前後の方針の分布
分布のずれの監視学習時と運用時のデータ

2つの分布のズレを計算する

表が出る確率で表したコインの分布を、本物と予想で比べます。

KLダイバージェンス0

初期値は説明用の例です。自然対数を使っており、予想と本当が同じ確率なら0になります。

KLダイバージェンスは、予想の分布が本物からどれだけ外れたかを示します。

カルバック・ライブラー・ダイバージェンス(KL Divergence)やさしい解説

いたずらなくまのイラスト
「分布のズレ」って、どういうこと?
アイちゃんのイラスト
サイコロの出方を例にします。本当は6つの目が同じ確率で出るのに、「1が出やすい」と予想した人のズレを測るものです。
アイちゃんのイラスト
予想が本当に近いほど、値は0に近づきます。

たとえば店舗の来客数の分布を、学習したときの時期と今で比べるとします。ズレが大きければ、AIが学んだ状況と実際が変わった合図です。モデルの再学習が必要かを考える目安として、分布のズレを監視する場面で使われます。

カルバック・ライブラー・ダイバージェンス(KL Divergence)についてのみんなの疑問

質問する、いたずらなくまのイラスト

KLダイバージェンスは、距離と同じですか?

答えるアイちゃんのイラスト

いいえ。向きによって値が変わる点が違います。数学的な距離は、AからBもBからAも同じ値になります。KLダイバージェンスはそうならないため、距離とは呼ばれません。

質問する、いたずらなくまのイラスト

クロスエントロピーとの関係は何ですか?

答えるアイちゃんのイラスト

クロスエントロピーから、本当の分布のエントロピーを引いた値です。本当の分布が決まっているなら、クロスエントロピーを小さくすることは、KLダイバージェンスを小さくすることと同じです。

質問する、いたずらなくまのイラスト

どんなAIで使われていますか?

答えるアイちゃんのイラスト

生成モデルや知識蒸留などが代表例です。画像や文章を作る生成モデルの学習、大きなモデルを小さなモデルに写し取る知識蒸留で、分布を近づける目的に役立っています。

AI関連の用語集【まとめ】

AI関連の用語集が気になる方のために、用語集一覧を作成しました。AIに関する学びを深めたいとお考えの方は、ぜひご覧ください。

アイちゃんのイラストAI関連の用語集(全用語)気になった言葉は、ここからまとめて探せます。用語集を開く →

この記事は役に立ちましたか?

分からない言葉が出たとき、すぐ開けます。

  • この記事を書いた人
  • 最新記事

クラベルAI運営事務局

AI活用の第一相談なら「クラベルAI」 このコンテンツはクラベルAI運営事務局が作成しております。 事務局メンバーには、第1回生成AIパスポートの資格保有者も在籍。 AI活用における、誰に・何を・どう聞けばいいの?というところからAIを使った大規模開発の相談まで、「クラベルAI」なら何度でも無料でご相談いただけます。ご相談内容に合わせて最適なパートナーとのマッチングサービスも提供。提携パートナーも随時募集中です。(個人・法人どなた様もご応募可能いただけます。) AI活用の第一相談所を目指し、日々有益な情報発信に努めております。 ご意見・ご感想等ございましたらお気軽にご連絡ください。運営会社は株式会社フィオリエラ(https://fioriera.co.jp/)です。

-AI関連の用語集
-,