RAGの回答精度を上げる5つの改善ステップ|ハルシネーションを減らす手順

RAGの回答精度を上げる5つの改善ステップ|ハルシネーションを減らす手順

「AI活用」で、社内業務の自動化・コスト削減を実現しませんか?

AIのCTA画像

・最新の生成AI導入からシステム開発まで幅広く対応
・企業の生産性向上を強力にバックアップします

社内向けにRAG(検索拡張生成)を作ったものの、もっともらしい誤答(ハルシネーション)が多く、現場で使われなくなってしまった。この記事は、そうした悩みを持つ方に向けた改善手順です。

RAGは基本的な構成だけでは回答精度が実用レベルに届かないことが多く、構成要素ごとに改善手法が提案されていると、研究動向をまとめた国内の論文は述べています。この記事では、RAGの精度向上を「評価・前処理・検索・リランキング・回答制御」の5ステップに分けて、順番に何をすればよいかを解説します。最後に、自社で試行錯誤を続けるか、外部のエンジニアに任せるかの判断材料も整理します。

RAGの精度向上は「検索」と「生成」を分けて考える

RAGの精度向上は「検索」と「生成」を分けて考えているイメージ

RAGは、質問に関連する文書を探し(検索)、その内容をLLMに渡して回答を作らせる(生成)仕組みです。誤答が出たとき、まず確かめるべきなのは次の2点です。

  • 正しい文書が検索で取れていたか(取れていないなら検索側の問題)
  • 取れていたのに、回答が文書と食い違っていたか(生成側の問題)

この切り分けをしないまま、プロンプトを直したりモデルを変えたりしても、どこを直すべきか分からないままになります。検索で正しい情報が取れていなければ、どれだけ優れたLLMでも正しく答えられないためです。以降の5ステップは、この切り分けを前提にしています。

RAGの仕組みを理解したら、次は「AIエージェントとの連携」にも目を向けてみましょう。
社内情報を活用した高度な業務自動化がどのように実現できるのか、具体的な仕組みや活用事例を紹介します。
▼

💡AIエージェント×RAGで何が変わる?仕組みから業務効率化の活用事例まで徹底解説

RAGの精度向上 5つの改善ステップ

STEP1 評価の物差しを作る

最初にやるべきは、改善ではなく「測る準備」です。測れないと、直したのに良くなったのか悪くなったのか判断できません。

  • 実際に現場から出そうな質問を数十問集める
  • 各質問に「正しい答え」と「根拠になる文書の場所」を人手で付ける
  • 検索で根拠文書が上位に出たか、回答が根拠と合っているかを毎回記録する

最初から完璧な評価セットは不要です。まず小さく作り、誤答が出るたびに質問を足していきます。以降のステップは、すべてこの評価セットで効果を確かめながら進めます。

STEP2 データの前処理とチャンキングを見直す

チャンキングとは、文書をLLMが扱える長さに切り分ける作業です。切り方が悪いと、大事な文脈が途中で切れてしまいます。

研究動向を整理した国内の論文でも、チャンクを長くすると文脈は保ちやすい一方、検索の精度は短いほうが高いという報告があること、切る位置の設計をめぐって様々な議論があることが紹介されています。つまり「この長さが正解」という決まりはなく、自社の文書で比べて決めるものです。

見直すポイントは次のとおりです。

  • 見出し・段落の単位で切る:文字数だけで機械的に切らない
  • 表・図・箇条書きを壊さない
  • ヘッダーやフッター、目次などのノイズを取り除く
  • 古い版と新しい版の混在を整理する:誤った情報が混ざっていても、LLMは渡された文書の内容を優先して答える傾向が報告されている
  • 文書名・章タイトル・更新日などのメタデータを付ける

地味ですが、RAGの精度を競うコンペティションの上位解法でも、不要な文字列の除去や文書形式に合わせた分割といった地道な処理が併用されていたと、先の論文は紹介しています。LLMや検索の手法を変える前に、まず文書の状態を確認してください。

RAGの精度を高めるには、検索対象となる文書の整え方も重要です。
「AIが正しく情報を読み取れるデータの構造化」によって、検索精度や回答の質を改善する方法を確認してみましょう。
▼

💡社内データをAIが使いこなせる形にするには?構造化の具体的な方法とデータ設計のポイントを解説

STEP3 検索を強化する(ハイブリッド検索とコンテキスト付与)

ベクトル検索(意味の近さで探す方法)は、型番・社内用語・製品名のような固有の文字列に弱いことがあります。そこで、キーワード一致で探すBM25などを組み合わせる「ハイブリッド検索」が使われます。

さらに、各チャンクに「どの文書の、どの部分の話か」を短い説明文として付け足してから登録する方法もあります。Anthropicが2024年9月に公開した「Contextual Retrieval」がその例です。同社の評価では、上位20件に正解のチャンクが入らない割合が、通常の5.7%から次のように下がったと報告されています。

手法失敗率通常比の削減
通常のRAG(ベクトル検索のみ)5.7%―
コンテキスト付与(埋め込み)3.7%約35%
コンテキスト付与(埋め込み+BM25)2.9%約49%
上記+リランキング1.9%約67%

注意点として、これはAnthropicが複数分野の評価データで測った平均値(埋め込みはGemini Text 004、上位20件で評価、リランキングはCohereを使用)で、自社の文書で同じ結果になるとは限りません。また、すでにハイブリッド検索やリランキングを導入済みなら、追加の改善幅は小さくなります。数字は「効果の方向性の目安」として読み、STEP1の評価セットで自社の効果を確かめてください。

STEP4 リランキングで上位の並びを整える

リランキングは、最初の検索で多めに取った候補を、より精密なモデルで評価し直し、本当に関連が高い数件に絞り込む処理です。LLMに渡す情報の「質」を上げる、検索側の仕上げにあたります。

  • 最初の検索では候補を広めに取り、リランキングで絞る
  • 応答時間とコストは増えるため、社内の利用規模に合うか確かめる
  • 最初の検索で正解が候補に入っていなければ、リランキングでは救えない

最後の点が重要です。リランキングは万能ではなく、STEP2〜3で土台を整えたうえで効く工程です。順番を飛ばさないでください。

STEP5 プロンプトと回答のルールを整える

検索が改善されたら、最後にLLMへの指示を整えます。ここでの狙いは、ハルシネーションが起きにくい「答え方のルール」を決めることです。

  • 渡した文書の範囲だけで答えさせる
  • 根拠が見つからないときは、推測せず「わかりません」と答えさせる
  • 回答に、根拠となった文書名・箇所を付けさせる
  • 質問があいまいなときは、聞き返させる

根拠の提示は、RAGが選ばれる主な理由のひとつとされています。ただし、必要な情報だけに絞り込むことは現実的に難しく、誤りを完全にゼロにするのも困難です。そのため、重要な業務では人が確認する運用も併せて決めておきます。

症状別:どのステップから手を付けるか

症状疑う場所まず見直すステップ
正しい文書が検索で出てこない前処理・検索STEP2、STEP3
型番や社内用語での質問に弱い検索方式STEP3(ハイブリッド検索)
文書は出るが、順位が低い並び替えSTEP4
文書が出ているのに、答えが食い違う回答の制御STEP5
改善したのか悪化したのか分からない評価STEP1
古い情報・矛盾する情報で答えるデータ管理STEP2

自社で続ける?専門エンジニアに頼む?

自社で続ける?専門エンジニアに頼むかを考えているイメージ

5つのステップは、どれも一度で終わる作業ではありません。評価セットの作成、文書の整理、検索方式の比較、リランキングの検証を繰り返す必要があります。研究動向をまとめた論文も、用途や文書によっては検索精度の向上の難易度が高いと述べています。

社内に生成AIの実装や活用の知見を持つ人材が少ない場合は、外部の専門人材を迎える方法もあります。

自社で続けるか迷う場合は、次の項目が当てはまるか確認してください。

  • 誤答の原因が「検索」なのか「生成」なのか切り分けられていない
  • 精度を測る質問セットがない
  • 数週間試したが、改善の手応えがない
  • 社内でRAGに詳しい人が1人に偏っている
  • 公開や全社展開の時期が決まっている

当てはまる項目が多いほど、外部の知見を取り入れることを検討する材料になります。

RAGの精度改善を自社だけで進めるのが難しい場合は、「外部の専門家に協力を依頼する方法」もあります。
構築費用やAI PoCの外注方法を知り、自社に合った進め方を検討してみましょう。
▼

💡RAG構築にはいくらかかる?費用相場・見積もりの見方・コストを最適化する方法

💡AIのPoCを外注するには?依頼するメリットや実施期間、失敗しない外注先の選び方

まとめ

RAGの精度向上は、次の順番で進めるのが基本です。

  1. 評価の物差しを作る
  2. データの前処理とチャンキングを見直す
  3. ハイブリッド検索とコンテキスト付与で検索を強化する
  4. リランキングで上位の並びを整える
  5. プロンプトと回答のルールを整える

まず「検索」と「生成」のどちらに原因があるかを切り分け、評価セットで効果を確かめながら進めてください。自社だけで時間をかけるのが難しい場合は、外部の専門人材の知見を取り入れることも選択肢になります。

参考リンク

CONTACT

株式会社TWOSTONE&Sonsグループでは
60,000人を超える
人材にご登録いただいており、
ITコンサルタント、エンジニア、マーケターを中心に幅広いご支援が可能です。
豊富な人材データベースと創業から培ってきた豊富な実績で貴社のIT/DX関連の課題を解決いたします。

  • コンサルティング対応
    コンサルティング
  • 内製化支援・人材紹介・派遣対応
    内製化支援・人材紹介・派遣
  • 受託開発対応
    受託開発

幅広い支援が可能ですので、
ぜひお気軽にご相談ください!