AI関連の用語集

データポイズニングとは?-AI関連の用語集【クラベルAI】-

データポイズニングとは?AI関連の用語集【クラベルAI】

データポイズニング(Data Poisoning)

攻撃
アイちゃんのイラスト学習データに毒を混ぜ、AIを狂わせる
  1. AIは学習データから規則を覚えます。
  2. 悪意あるデータが混ぜられます。
  3. 覚えた判断がゆがみます。

データポイズニングとは、AIの学習データに悪意あるデータを混ぜ、AIの判断を狂わせる攻撃のことです。AIは学習データから規則を覚えるため、材料が汚されると、判断がゆがみます。特定の条件でだけ誤作動する「裏口」を仕込む手口も知られています。ネット上の情報を大量に集めて学習する場合や、外部のデータを使う場合に注意が必要です。

データポイズニング(Data Poisoning)関連用語

データポイズニング(Data Poisoning)に関連する単語は以下の通りです。

データポイズニング(Data Poisoning)で知っておくと得する有益情報

データポイズニングは、データの出どころを管理することで備えられます。要点を3つにまとめました。

  • 出どころを確認信頼できる提供元か、改ざんされていないかを確かめます。
  • 異常を見つける外れた値や不自然なデータを、学習前に取り除きます。
  • 定期的に試験学習後に、決めたテストで精度の急な変化を点検します。

データポイズニングの主な型

型内容
精度を落とす誤ったデータで全体の判断を悪化させる
裏口を仕込む特定の合図があるときだけ誤動作させる
偏りを作る特定の結果に偏るよう仕向ける

学習データの安全チェック

AIに学習させるデータについて、確認できた項目を選んでください。

確認できた数 0 / 5
アイちゃんのイラスト

出どころの管理から始めましょう。まず一覧づくりです。

学習データの出どころと変更履歴を管理することが、最初の守りです。

データポイズニング(Data Poisoning)やさしい解説

いたずらなくまのイラスト
AIの勉強に使う資料に、毒が入るってどういうこと?
アイちゃんのイラスト
給食の材料に、こっそり悪いものが混ぜられるようなものです。作った料理は、見た目では分かりません。
アイちゃんのイラスト
だから、材料の仕入れ先を確かめることと、食べる前の検査が大切になります。

不良品を見つけるAIを自社で育てる場合、検査の画像データの中に、誤ったラベルの画像が混ざると、見逃しが増えます。データを追加するときは、誰が・いつ・どこから入れたかを記録し、定期的に抜き取りで確認しましょう。

データポイズニング(Data Poisoning)についてのみんなの疑問

質問する、いたずらなくまのイラスト

生成AIを使うだけの会社にも関係ありますか?

答えるアイちゃんのイラスト

自社で学習させない場合は、直接の影響は小さいです。自社のデータで調整する場合や、外部のデータを取り込む仕組みを作る場合は、注意が必要です。

質問する、いたずらなくまのイラスト

データポイズニングは見つけられますか?

答えるアイちゃんのイラスト

見つけにくい場合があります。学習前にデータを点検し、学習後に精度の急な変化を調べると、異常に気づける例が知られています。

質問する、いたずらなくまのイラスト

誰が仕掛けるのですか?

答えるアイちゃんのイラスト

競合や悪意ある第三者などが考えられます。一方、人為的なミスで誤ったデータが混ざる例もあります。どちらにも、出どころの管理が有効です。

AI関連の用語集【まとめ】

AI関連の用語集が気になる方のために、用語集一覧を作成しました。AIに関する学びを深めたいとお考えの方は、ぜひご覧ください。

アイちゃんのイラストAI関連の用語集(全用語)気になった言葉は、ここからまとめて探せます。用語集を開く →

この記事は役に立ちましたか?

分からない言葉が出たとき、すぐ開けます。

  • この記事を書いた人
  • 最新記事

クラベルAI運営事務局

AI活用の第一相談なら「クラベルAI」 このコンテンツはクラベルAI運営事務局が作成しております。 事務局メンバーには、第1回生成AIパスポートの資格保有者も在籍。 AI活用における、誰に・何を・どう聞けばいいの?というところからAIを使った大規模開発の相談まで、「クラベルAI」なら何度でも無料でご相談いただけます。ご相談内容に合わせて最適なパートナーとのマッチングサービスも提供。提携パートナーも随時募集中です。(個人・法人どなた様もご応募可能いただけます。) AI活用の第一相談所を目指し、日々有益な情報発信に努めております。 ご意見・ご感想等ございましたらお気軽にご連絡ください。運営会社は株式会社フィオリエラ(https://fioriera.co.jp/)です。

-AI関連の用語集
-