Self-Attention（自己注意機構）とは？-AI関連の用語集【クラベルAI】-

Self-Attention（自己注意機構）

Self-Attention（自己注意機構）とは、一つの文章の中で、各言葉が他のどの言葉と関係が深いかを計算する仕組みのことです。たとえば「それは甘かった」の「それ」が、文中のどの言葉を指すかを、周囲の言葉との関係から見つけます。すべての言葉の組み合わせを調べるので、文章が長くなるほど計算量が増えます。Transformerの中心的な部品です。

Self-Attention（自己注意機構）関連用語

Self-Attention（自己注意機構）に関連する単語は以下の通りです。

• Attention（注意機構）注目の基本の考え方は？→
• Transformer（トランスフォーマー）この仕組みを使うモデルは？→
• コンテキストウィンドウ読める長さの上限はなぜある？→
• 大規模言語モデル（LLM）文章AIでどう使われている？→
• BERT（バート）文の理解に使うモデルは？→
• コンテキスト依存性（Context Dependency）文脈で意味が変わるとは？→

Self-Attention（自己注意機構）で知っておくと得する有益情報

Self-Attentionは、AIが文脈を読めるようになった理由の中心です。押さえたい点を3つにまとめました。

• 文の中の全部の言葉を見るすべての言葉の組み合わせの関係を調べて、文脈をつかみます。
• 並行して計算できる順番に読まなくてよいため、学習を速く進められます。
• 長さで計算量が増える文章が長くなると、組み合わせの数が急に増えます。

文章の長さと組み合わせの数（例）

Self-Attentionは、文脈を読む力の源で、長さに応じて計算が増えます。

Self-Attention（自己注意機構）やさしい解説

文の中の言葉同士が、お互いを見るの？

会議で、全員がほかの全員の発言を聞いて、「誰の意見と関係が深いか」を考えている場面を想像してください。

Self-Attentionでは、言葉の一つ一つが、文の中のほかの言葉との関係を、順番にたしかめます。

仕事に置き換えると、長い資料をAIに読ませるほど、処理に時間や費用がかかる理由がこの仕組みにあります。資料を要点に絞って渡すと、速く、安く、正確になりやすいです。

Self-Attention（自己注意機構）についてのみんなの疑問

AttentionとSelf-Attentionの違いは？

Self-Attentionは、同じ文章の中の言葉同士で行うAttentionです。元のAttentionは、翻訳のように、二つの文章の間で注目する形でした。

長い文章が苦手なのは、この仕組みのせいですか？

一因です。長いほど、調べる組み合わせが増えて重くなります。計算を減らす工夫が、各社で研究されています。

Self-Attentionは画像にも使われますか？

はい。画像を小さく区切って、同じ考え方で関係を調べる方法があります。Vision Transformerという名前で知られています。

AI関連の用語集【まとめ】

AI関連の用語集が気になる方のために、用語集一覧を作成しました。AIに関する学びを深めたいとお考えの方は、ぜひご覧ください。

AI関連の用語集（全用語）気になった言葉は、ここからまとめて探せます。用語集を開く →

この記事は役に立ちましたか？

はい、役に立った いまいち

この記事をシェア

X Facebook LINE はてブ URLをコピー

ブログやSNSで紹介していただくときは、このページのURLをそのままお使いください（リンクはご自由にどうぞ）。

このサイトをホーム画面に追加

分からない言葉が出たとき、すぐ開けます。