チャンク分割とは？-AI関連の用語集【クラベルAI】-

チャンク分割（Chunking）

チャンク分割とは、長い文書を、AIが探しやすく読みやすい大きさに区切って分けることです。「チャンク」は塊という意味です。文書を丸ごと扱うと、AIに入れられる量を超えたり、必要な部分が埋もれたりします。細かすぎると前後の文脈が切れてしまうため、ちょうどよい大きさを探すのがコツです。

チャンク分割（Chunking）関連用語

チャンク分割（Chunking）に関連する単語は以下の通りです。

• RAG（検索拡張生成）分けた文書をAIの回答に使うには？→
• 埋め込み（Embedding）塊を数字にするには？→
• ベクトルデータベース分けた塊はどこに保存する？→
• ベクトル検索塊から近いものを探す方法は？→
• リランキング探した塊を並べ直すと？→
• コンテキストウィンドウAIが一度に読める量とは？→

チャンク分割（Chunking）で知っておくと得する有益情報

チャンクの切り方に正解はありません。文書の性質に合わせて、試しながら決めます。

• 大きすぎると埋もれる必要な一文が長い文書の中に隠れ、探しにくくなります。
• 小さすぎると意味が切れる前後の説明と離れて、何の話か分からなくなります。
• 重なりを持たせる前後の塊を少し重ねると、境目で情報が切れにくくなります。

主な切り方の種類

塊の大きさは、試して比べながら決めるのが確実です。

チャンク分割（Chunking）やさしい解説

どうして文書を小さく切るの？そのまま渡せばいいのに。

辞書で調べるとき、1ページずつ見出しがあるから探せますよね。分厚い本が1行にまとまっていたら、探せません。

チャンク分割は、AIのために見出し付きのページを作る作業です。

たとえば100ページの就業規則を、1つの塊にしてしまうと、「有給の繰り越し」を聞かれても必要な条文を見つけにくくなります。条ごとに区切れば、該当の条だけをAIに渡せます。

チャンク分割（Chunking）についてのみんなの疑問

1つの塊は何文字くらいが良いですか？

決まった正解はなく、文書に合わせて試します。まず数百文字から始め、質問に正しく答えられるか確かめます。FAQなら1問1答、規程なら1条のように、意味のまとまりに合わせます。

表や図が入った資料はどうすれば？

表は行ごとではなく、見出しと一緒にまとめます。表だけ切り出すと、何の表か分からなくなります。題名や前後の説明を付けて1つの塊にすれば、探しやすいです。

あとから切り方を変えられますか？

変えられますが、数字の作り直しが必要です。塊を変えると保存済みのデータも作り直します。先に少量の文書で試し、納得してから全体に広げましょう。

AI関連の用語集【まとめ】

AI関連の用語集が気になる方のために、用語集一覧を作成しました。AIに関する学びを深めたいとお考えの方は、ぜひご覧ください。

AI関連の用語集（全用語）気になった言葉は、ここからまとめて探せます。用語集を開く →

この記事は役に立ちましたか？

はい、役に立った いまいち

この記事をシェア

X Facebook LINE はてブ URLをコピー

ブログやSNSで紹介していただくときは、このページのURLをそのままお使いください（リンクはご自由にどうぞ）。

このサイトをホーム画面に追加

分からない言葉が出たとき、すぐ開けます。