AI関連の用語集

不均衡データとは?-AI関連の用語集【クラベルAI】-

不均衡データとは?AI関連の用語集【クラベルAI】

不均衡データ(Imbalanced Data)

全部ふつう!データの言葉
アイちゃんのイラストまれな事例が、ごく一部しかない
  1. ふつうのデータが大量にあります。
  2. 見つけたい事例はごくわずかです。
  3. 「全部ふつう」でも正解率は高く見えます。

不均衡データとは、見つけたい事例が、全体のごく一部しかないデータのことです。不正利用や機械の故障、解約のように、起きること自体がまれな出来事で起こりがちです。「全部が正常」と答えるだけで正解率が高くなるため、AIが肝心の事例を学ばないまま見かけだけ優秀になる落とし穴があります。評価の方法や学習のさせ方に工夫が必要です。

不均衡データ(Imbalanced Data)関連用語

不均衡データ(Imbalanced Data)に関連する単語は以下の通りです。

不均衡データ(Imbalanced Data)で知っておくと得する有益情報

不均衡データは、実務で頻繁に出会う問題です。気をつけたい点を3つにまとめました。

  • 正解率に注意ほとんどが正常なら、全部を正常と答えても正解率は高くなります。
  • 見逃しの数を見る少数派を拾えた割合(再現率)や、F1スコアも合わせて確認します。
  • データ側と学習側で対策少数派を増やす、多数派を減らす、間違いの重みを変えるなどの方法があります。

主な対策

対策内容
少数派を増やす複製や合成で件数を足す
多数派を減らす一部だけ使い、件数をそろえる
重みをつける少数派の間違いを重く数える
評価を変える正解率でなく再現率やF1を見る

正解率の落とし穴を試算する

「全部正常」と答える役に立たないAIでも、正解率が高くなることを確かめましょう。

全部正常と答えた正解率0%
見逃す不正の件数0件

数値は例です。実際の割合は、自社のデータで確かめてください。

正解率だけで判断せず、見逃した数を必ず確認しましょう。

不均衡データ(Imbalanced Data)やさしい解説

いたずらなくまのイラスト
正解率が99%なら、すごく優秀なAIじゃないの?
アイちゃんのイラスト
クラスに100人いて、遅刻者が1人だけの場合を考えてください。「誰も遅刻しない」と言い続けても、99%当たりますよね。
アイちゃんのイラスト
でもそれでは、肝心の遅刻者を一人も見つけられません。不均衡データの落とし穴です。

たとえば不良品が1%しかない製造ラインで、AIの正解率が99%と聞くと安心しがちです。ところが「全部良品」と答えているだけかもしれません。不良品をどれだけ拾えたか、良品を誤って不良と言った数はどうかを、必ず別に確認しましょう。

不均衡データ(Imbalanced Data)についてのみんなの疑問

質問する、いたずらなくまのイラスト

どのくらい偏ると「不均衡」ですか?

答えるアイちゃんのイラスト

明確な線引きはなく、少数派が全体の数%以下なら注意が必要です。偏りが大きいほど対策が要ります。まずは件数の割合を数え、評価に再現率や適合率も使うことから始めましょう。

質問する、いたずらなくまのイラスト

データを増やせば解決しますか?

答えるアイちゃんのイラスト

少数派が増えれば効果はありますが、まれな事例は集めにくいのが現実です。複製だけで増やすと、同じ例を丸暗記してしまいます。合成データの利用や、間違いの重みを変える方法も組み合わせます。

質問する、いたずらなくまのイラスト

どの評価指標を見ればいいですか?

答えるアイちゃんのイラスト

見逃しが怖いなら再現率、誤報が困るなら適合率を重視します。両方を見たいときはF1スコアが便利です。何を避けたいかを先に決めると、見るべき指標も自然に決まります。

AI関連の用語集【まとめ】

AI関連の用語集が気になる方のために、用語集一覧を作成しました。AIに関する学びを深めたいとお考えの方は、ぜひご覧ください。

アイちゃんのイラストAI関連の用語集(全用語)気になった言葉は、ここからまとめて探せます。用語集を開く →

この記事は役に立ちましたか?

分からない言葉が出たとき、すぐ開けます。

  • この記事を書いた人
  • 最新記事

クラベルAI運営事務局

AI活用の第一相談なら「クラベルAI」 このコンテンツはクラベルAI運営事務局が作成しております。 事務局メンバーには、第1回生成AIパスポートの資格保有者も在籍。 AI活用における、誰に・何を・どう聞けばいいの?というところからAIを使った大規模開発の相談まで、「クラベルAI」なら何度でも無料でご相談いただけます。ご相談内容に合わせて最適なパートナーとのマッチングサービスも提供。提携パートナーも随時募集中です。(個人・法人どなた様もご応募可能いただけます。) AI活用の第一相談所を目指し、日々有益な情報発信に努めております。 ご意見・ご感想等ございましたらお気軽にご連絡ください。運営会社は株式会社フィオリエラ(https://fioriera.co.jp/)です。

-AI関連の用語集
-