社内文書を読ませても、AIはすぐ賢くならない
社内文書をAIに読ませれば、問い合わせ対応、提案書作成、社内FAQ、業務マニュアル検索が一気に楽になる。そう期待して、RAG（検索拡張生成）や社内ナレッジAIを検討する会社が増えています。
RAGは、AIが回答する前に関連資料を検索し、その内容を参考にして回答を作る考え方です。何も見ずに答えるAIより、社内資料や公開情報を参照できるため、業務利用では重要な選択肢になります。
ただし、ここで誤解しやすい点があります。
文書が存在することと、AIが正しい文脈で使えることは別です。
社内フォルダに資料がある。過去の提案書がある。料金表がある。議事録がある。マニュアルがある。だからAIが正しく答えられる、とは限りません。
むしろ、資料が多い会社ほど、AIが古い情報、断片的な説明、例外的な判断、過去の暫定案を拾ってしまうことがあります。RAGの失敗は、検索精度だけの問題ではありません。会社側の文脈設計が足りないときに起こります。
AIは「断片」と「全体」を行き来する
人間が文章を読むときも、いきなり一文だけで意味を決めているわけではありません。細かい一文を読みながら、全体の目的、前後の流れ、書かれた背景、読み手の前提を行き来しています。
たとえば「この費用は初期費用に充当します」という一文だけを見ても、それがどの商品に関する説明なのか、どの条件のときに有効なのか、古い案なのか現在の正本なのかが分からなければ、判断を誤ります。
AIも似ています。検索で見つけた断片を使って回答を作りますが、その断片が全体の中でどの位置づけなのかまでは、必ずしも分かりません。
特に社内資料では、次のような情報が混ざりやすくなります。
- 現在の正本
- 過去の検討メモ
- 途中で廃止したサービス案
- 一部の顧客だけに当てはまる例外対応
- 担当者のメモ
- 外部記事の切り抜き
- 更新日が古いマニュアル
人間なら「これは古い案ではないか」と疑える場面でも、AIは検索結果として渡された情報をそのまま重要そうに扱うことがあります。だから、RAGを入れる前に、AIが参照する文書の上下関係を決めておく必要があります。
よくある失敗は、検索器より前に起きている
社内AIが見当違いの回答をすると、検索エンジン、埋め込みモデル、LLMの性能を疑いたくなります。もちろん技術選定も大事です。キーワード検索、ベクトル検索、再ランキング、質問分解、知識グラフなど、精度を上げる手段はいくつもあります。
しかし中小企業の現場では、それ以前のところで失敗していることが多くあります。
たとえば、次のような状態です。
| 起きていること | AI側で起きる問題 |
|---|---|
| 正式版と下書きが同じフォルダにある | 古い説明を正しい前提として使う |
| 料金表の更新履歴が分からない | 現在の価格と過去価格を混ぜる |
| 例外対応メモが多い | 例外を標準ルールのように回答する |
| 業務ごとの判断基準がない | 似た言葉の資料を拾っても、使い分けられない |
| 回答後の確認者が決まっていない | もっともらしい誤答がそのまま使われる |
この状態でRAGを導入すると、AIは「資料を読んでいる」のに、回答はずれます。
問題は、AIが情報を見つけられないことだけではありません。見つけた情報を、業務上どのように扱うべきかが定義されていないことです。
RAG導入前に決めるべき3つの文脈
社内AIを使う前に、少なくとも次の3つを決めておくと、回答品質が安定しやすくなります。
1. 正本の文脈
まず、AIがもっとも優先して参照すべき文書を決めます。
料金、提供範囲、契約条件、業務手順、顧客対応ルールなどは、複数の資料に散らすより、正本を1つ決める方が安全です。過去資料を消せない場合でも、「参考」「旧版」「利用禁止」「検討メモ」と分類しておきます。
AIに渡す資料は、量よりも優先順位が大事です。
2. 判断の文脈
次に、AIが何を判断してよいのかを決めます。
たとえば、問い合わせ対応AIなら「FAQから回答案を作る」ことはできても、「返金可否を確定する」ことは人間が見るべきかもしれません。営業提案AIなら「提案書のたたき台」は作れても、「値引き条件」は承認が必要かもしれません。
AIに任せる範囲、人に残す範囲、回答してはいけない範囲を分けておくことが、RAGの精度以上に重要です。
3. 検証の文脈
最後に、AIの回答をどう確認するかを決めます。
確認者、根拠表示、更新日、参照文書、未確定情報の扱いを決めておきます。AIが自信ありげに答えても、根拠が古ければ使えません。参照元が不明な回答も、そのまま顧客対応や社外資料に使うのは危険です。
社内AIでは、「答えを出す」だけでなく「どの根拠から答えたか」「どこを人間が確認するか」まで設計します。
小さく始めるなら、1業務だけでよい
最初から全社文書をAIに入れる必要はありません。
おすすめは、1つの業務に絞ることです。
- 問い合わせ対応
- 営業提案書の下書き
- 社内FAQ
- 採用応募者への返信案
- 議事録からのタスク整理
- 月次報告のたたき台
1業務に絞ったうえで、次の表を作ります。
| 確認項目 | 決めること |
|---|---|
| 使ってよい資料 | 正本、FAQ、マニュアル、最新提案書など |
| 使わない資料 | 旧版、検討メモ、社外秘、未承認案など |
| 回答してよい範囲 | 案内、要約、下書き、分類など |
| 人が確認する範囲 | 価格、契約、法務、顧客別例外など |
| 出力形式 | 箇条書き、メール案、表、チェックリストなど |
| 根拠表示 | 参照文書名、更新日、該当箇所など |
この表があるだけで、AIに渡す資料、プロンプト、確認フローが整理しやすくなります。逆に、この表が作れない業務は、まだRAG導入より先に業務整理が必要です。
技術選定は、文脈設計の後でよい
RAGの精度を上げる技術は重要です。検索結果の再ランキング、複数回検索、質問の分解、知識グラフ、文書単位ではなく業務単位のインデックス設計などは、実際に役立ちます。
ただし、それらは文脈設計の代わりにはなりません。
正本が決まっていないまま再ランキングをしても、古い文書が上位に来る可能性は残ります。検証者が決まっていないまま回答精度を上げても、誤答が業務に流れ込むリスクは残ります。AIに任せてよい範囲が曖昧なまま社内検索を広げると、便利になる前に運用が不安定になります。
社内AIの設計順序は、次の方が現実的です。
- どの業務で使うかを決める
- 正本と使わない資料を分ける
- AIが答えてよい範囲を決める
- 根拠表示と確認者を決める
- そのうえで検索方式やモデルを選ぶ
この順序なら、RAGは「社内文書を何でも読むAI」ではなく、「決めた業務を支えるAI」になります。
Optiensで支援できること
Optiensでは、中小企業がAIを業務に入れる前に、どの業務をAI化しやすいか、既存ツールや運用整備で足りるか、人に残すべきかを整理します。
RAGや社内ナレッジAIも同じです。いきなり全資料を投入するのではなく、まずは業務、資料、判断基準、確認フローを分けるところから始めます。
AI活用をどこから始めるべきか迷っている場合は、まず AI活用診断簡易版（無料） で、既存業務のどこがAIパッケージ化しやすいかをご確認ください。より具体的に整理したい場合は、詳細版AI活用診断（¥5,500税込・MTGなし） で、AIパッケージ適合性、構成案、優先順位、費用前提を整理してお届けします。
まとめ
RAGは、社内AIの重要な土台です。しかし、RAGを入れれば社内文書がそのまま知識になるわけではありません。
AIが外す理由は、検索が弱いからだけではありません。
正本がない。古い資料が混ざっている。例外処理が整理されていない。AIが判断してよい範囲が決まっていない。回答後の確認者がいない。こうした文脈の欠落が、もっともらしい誤答を生みます。
社内AIを使う前に、まず文書の意味と使い方を整える。
それが、RAGを業務で使える形にするための第一歩です。