レッドチーミングとは？-AI関連の用語集【クラベルAI】-

レッドチーミング（Red Teaming）

レッドチーミングとは、攻撃する側の立場でAIを試し、公開前に弱点を見つける検査のことです。元は軍事や情報セキュリティで使われた言葉です。AIでは、有害な回答を引き出そうとしたり、禁止事項を破らせようとしたりして、守りの穴を探します。主要なAI開発会社が、新しいモデルの公開前に実施していることを公表しています。

レッドチーミング（Red Teaming）関連用語

レッドチーミング（Red Teaming）に関連する単語は以下の通りです。

• ジェイルブレイク制限を外させる手口とは？→
• プロンプトインジェクション攻撃指示を乗っ取る攻撃とは？→
• ガードレール（AI）見つけた穴をふさぐ仕組みは？→
• AIセーフティ安全評価の全体像は？→
• AI監査点検との違いは？→
• AIセーフティ・インスティテュート（AISI）日本の評価の取り組みは？→

レッドチーミング（Red Teaming）で知っておくと得する有益情報

レッドチーミングは、公開前だけでなく運用中にも役立ちます。要点を3つにまとめました。

• 攻撃側の発想でいじわるな質問を、あえて大量に作って試します。
• 見つけたら記録破られた例を記録すると、次の対策と研修に使えます。
• 何度でも行うAIを更新するたびに、同じ試験をくり返します。

試す内容の例

自社でできる簡易試験チェック

公開前の試験として、できている項目を選んでください。

• 答えてはいけない質問の一覧を作った
• 言い回しを変えて10件以上試した
• 裏の指示を聞き出せないか確かめた
• 見つけた問題を記録して直した
• 直したあとにもう一度試した

確認できた数 0 / 5

試験はこれからです。いじわるな質問の一覧から作りましょう。

公開前に、攻撃する側の目で弱点を探しておきます。

レッドチーミング（Red Teaming）やさしい解説

わざとAIにいじわるするの？それって意味あるの？

建物の防犯なら、泥棒役の専門家に忍び込んでもらい、鍵の弱いところを教えてもらうのと同じです。

本当の悪い人に見つかる前に、味方に見つけてもらうのが狙いです。

お客様向けのAIチャットを公開する前に、社内の数人で「禁止された話題を聞く」「裏の指示を聞き出す」といった質問を試します。答えてしまった例を記録し、設定を直して再度試す。この流れだけでも、事故の予防になります。

レッドチーミング（Red Teaming）についてのみんなの疑問

レッドチーミングは専門家しかできませんか？

簡易的な試験なら、社内の人でも始められます。本格的な評価は専門会社が行いますが、いじわるな質問を用意して試すだけでも、見つかる問題があります。

一度行えば、安全だと言えますか？

言えません。AIの更新や新しい手口の登場で、状況は変わります。更新のたびにくり返し、新しい攻撃の事例も取り入れて、試験の内容を見直します。

普通のテストとは何が違いますか？

普通のテストは、正しい使い方で動くかを確かめます。レッドチーミングは、悪意ある使い方をされても耐えるかを見る検査です。目的が違うので、両方行います。

AI関連の用語集【まとめ】

AI関連の用語集が気になる方のために、用語集一覧を作成しました。AIに関する学びを深めたいとお考えの方は、ぜひご覧ください。

AI関連の用語集（全用語）気になった言葉は、ここからまとめて探せます。用語集を開く →

この記事は役に立ちましたか？

はい、役に立った いまいち

この記事をシェア

X Facebook LINE はてブ URLをコピー

ブログやSNSで紹介していただくときは、このページのURLをそのままお使いください（リンクはご自由にどうぞ）。

このサイトをホーム画面に追加

分からない言葉が出たとき、すぐ開けます。