「AIは嘘をつく」は事実、しかし設計で抑えられる
中小企業の経営者・情シス担当の方とAI導入の話をすると、ほぼ必ず出てくるのがこの懸念です。
「AIに任せたいけれど、平気で嘘をつくのが怖い」 「お客様に出す資料で間違いがあったら取り返しがつかない」 「社内で使ったら、社員がAIの言うことを鵜呑みにしそう」
この懸念は正しい認識です。生成AI（ChatGPT・Claude等）は確率的に文章を生成する仕組みのため、それらしいが事実ではない情報を断定口調で出力することがあります。これを業界では「ハルシネーション（hallucination：幻覚）」と呼びます。
重要なのは、ハルシネーションは完全には消えないという前提に立つことです。モデルの精度向上だけでは限界があります。一方で、運用の設計でリスクを業務に耐える水準まで抑え込む手法は、この2〜3年で大きく整理されてきました。
本記事では、中小企業がそのまま採用できる5つの設計を、仕組み・実装の現実解・Optiensでの社内採用例とあわせて解説します。
設計1: RAG——AIの参照源を社内データに限定する
RAG（Retrieval-Augmented Generation：検索拡張生成）は、AIに回答させる前に、社内ドキュメント・マニュアル・過去のやり取り等から関連情報を検索し、その情報だけを根拠に回答させる仕組みです。
仕組み
通常のChatGPTは「世界中の学習データの記憶」から回答を組み立てます。これに対しRAGは、「あなたの会社の社内文書から、質問に関連する箇所を抜き出してきました。この内容のみを根拠に回答してください」とAIに指示します。
参照源が限定されるため、AIが知らない情報を勝手に作り出す余地が大きく減ります。
中小企業向け実装の現実解
「自社で大規模な検索基盤を構築する」と聞くと身構えてしまいますが、現実解はもっと軽量です。
- 小規模（100文書以下）: ChatGPTのカスタムGPT、Claudeのプロジェクト機能にPDF・テキストをアップロードするだけで動く
- 中規模（数百〜数千文書）: Supabaseのベクトル検索機能、もしくはNotion AIの社内検索で対応
- 大規模・基幹連携: 専用RAG基盤の構築（数十万〜）
最初は「営業マニュアル」「社内規定」「過去の提案書」など、よく参照される文書セットだけをRAG化するのが現実的です。
Optiensでの社内採用例
Optiens では、AI 診断レポートの作成時に、サンプルレポート 9 業種・社内テンプレート・業界別ヒアリング項目を RAG 参照対象として設計しています。AI が「一般論」ではなく「Optiens のレポート設計に沿った形」で下書きを生成するため、レポートの一貫性が保たれます。
設計2: 構造化出力——JSON Schema等で逸脱を機械的に防ぐ
ハルシネーションの多くは、自由文での出力で起きます。AIが「気を利かせて余計な情報を足す」「フォーマットを勝手に変える」ところに事故が紛れ込みます。
仕組み
構造化出力（Structured Output）は、AIに「この形式（スキーマ）でしか出力してはいけない」と機械的に縛る仕組みです。たとえば請求書から情報を抽出する場合、こう指定します。
{
"請求元会社名": "string",
"請求金額": "number",
"支払期日": "YYYY-MM-DD",
"明細": [{ "品目": "string", "金額": "number" }]
}この形式から外れた出力は、システム側で機械的に弾かれます。AIが「請求書の右上に印鑑があったので念のため記載しておきます」のような余計な情報を足す余地がなくなります。
中小企業向け実装の現実解
OpenAI APIもAnthropic APIも、構造化出力（Structured Output / Tool Use）を標準サポートしています。プログラミングが必要ですが、実装そのものは数十行で完結します。
ノーコードで近い効果を得たい場合は、プロンプトで「以下の項目を箇条書きで、それ以外は出力しない」と強く縛るだけでも、自由文よりは事故が減ります。
Optiensでの社内採用例
業務資料からのフォーム自動入力機能（無料診断ページ）では、アップロードされた資料からAIが情報を抽出する際に構造化出力を使っています。「会社名」「業種」「従業員数」「課題」の4項目に出力を限定することで、AIが勝手に解釈した余分な情報をフォームに入れる事故を防いでいます。
設計3: Human in the Loop——重要処理の前に人間レビューを必須にする
「全部自動化したい」気持ちはわかりますが、ダメージの大きい処理の手前に人間を1人差し込むだけで、ハルシネーション由来の事故はほぼ防げます。
仕組み
Human in the Loop（HITL：人間を介在させる設計）は、AIが実行する処理を「下書きまで」「実行前確認まで」で止め、最終承認を人間に委ねる運用設計です。
[完全自動化]
AI生成 → 即実行（事故時のダメージ大）
[Human in the Loop]
AI生成 → 人間レビュー → 承認後に実行「人間が確認する」というだけのことですが、これがハルシネーションへの最強の防衛線です。
中小企業向け実装の現実解
専用ツールは要りません。重要なのは「AIの出力をそのまま外に出さない業務を明確に決める」ことです。
- 顧客向けメール送信前に上長または本人がレビュー
- 見積書送信前に営業担当が金額・条件を目視確認
- SNS投稿は予約投稿に積み、翌朝に確認してから配信
「予約投稿・下書き保存を挟む」という運用ルールに落とし込むだけで、ほとんどの事故は未然に防げます。
Optiensでの社内採用例
書類添削ツール（推敲ツール業務版）は、AIが添削案を提示するだけで実際の修正は上長レビュー後に手動で反映する設計にしました。AIが過剰に直しすぎる・意図と違う方向に直す事故を、運用フローで吸収しています。
設計4: 出典明示——根拠を出力に必ず添える
AIの回答が「正しいかどうか」を判断するには、根拠の出処が見える必要があります。
仕組み
回答に「この情報は社内マニュアル○○ページから引用」「この数値はSupabaseの売上テーブル2026年4月分に基づく」のような出典・根拠を必ず添えさせる設計です。設計1（RAG）と組み合わせると効果が最大化します。
出典がない回答は「AIが記憶から推測した」可能性が高いと判断でき、レビュアーが疑うべき箇所を瞬時に見分けられるようになります。
中小企業向け実装の現実解
プロンプトに「必ず根拠となる文書名・ページ番号・日付を添えること。根拠がない場合は『不明』と明記すること」と指示するだけで、かなりの効果があります。
「不明」と書かせることが重要です。AIに「わからないと言っていい」と明示的に許可しないと、AIは何かしら答えを作ろうとする傾向があります。
Optiensでの社内採用例
経営判断支援AIに業績推移を質問するとき、回答に「データ参照元: freee会計 / 期間: 2026-04-01〜04-30 / 取得日時」を必ず添える設計にしています。数字の根拠を遡れる状態を維持することで、経営判断にAIの出力を組み込めるようになります。
設計5: ファクトチェック専用エージェント——分業で精度を上げる
最後の設計は、上級者向けです。1つのAIに全部やらせず、生成役と検証役を分けるアプローチです。
仕組み
[従来] 1つのAIが回答を生成 → そのまま出力
[分業設計]
生成エージェント: 回答案を作成
↓
ファクトチェック専用エージェント:
生成された回答を社内データと突合し、
「事実と異なる箇所」「根拠不明な箇所」を指摘
↓
生成エージェントが修正 → 出力人間で言えば、ライターと校正者を分けるのと同じ発想です。同じAIに「自分の回答をチェックして」と頼んでも、自分のミスは見つけにくい性質があります。別の役割・別のプロンプトで動くエージェントが突合することで、検出率が上がります。
中小企業向け実装の現実解
複数エージェント連携は実装難易度が上がるため、最初から手を出す必要はありません。設計1〜4で大半の事故は防げます。
採用するべきタイミングは、「AI出力を顧客に直接届ける業務」「金額・契約条件など事故時のダメージが特に大きい業務」を自動化したくなった時点です。それまでは設計3（人間レビュー）で十分です。
Optiensでの社内採用例
AI診断レポートの最終生成プロセスで、生成エージェントが書いた提案内容を、別のエージェントが「Optiensのサービス範囲外の提案を含んでいないか」「過去の類似診断と矛盾していないか」を突合する設計を試行中です。レポート品質の安定化と、CEO（最終レビュアー）の負担軽減を両立する目的です。
まとめ：ハルシネーション対策は「設計」で解決する
ハルシネーションは、AI導入の最大の懸念であると同時に、最も誤解されているリスクでもあります。「AIは嘘をつくから使えない」ではなく、「AIは確率的に間違えるから、それを前提に設計する」が正しい姿勢です。
| 設計 | 効果 | 着手難易度 |
|---|---|---|
| 1. RAG（参照源限定） | AIの根拠を社内データに固定 | 低〜中 |
| 2. 構造化出力 | 出力フォーマットを機械的に縛る | 中 |
| 3. Human in the Loop | 重要処理の手前に人間レビュー | 低（運用ルールのみ） |
| 4. 出典明示 | 根拠を遡れる状態を維持 | 低（プロンプトのみ） |
| 5. ファクトチェック分業 | 生成と検証を別エージェントで分業 | 高 |
設計3と設計4はプロンプトと運用ルールだけで今日から始められます。設計1と設計2は本格運用に入る段階で必須です。設計5は事業の中核業務をAIに任せる段階で検討してください。
「AIに任せて事故が起きた」事例の多くは、これらの設計を1つも採用していなかったケースです。逆に言えば、最低限の設計を入れるだけで、AIは中小企業でも安心して業務に組み込める水準に達します。
Optiensが提供するAI導入支援は、上記5つの設計を前提条件として組み込んだ形で構築します。「AIを入れたいが、嘘をつかれるのが怖い」という段階から、「業務で安心して使える設計」までを伴走します。
御社の業務にどの設計が必要か、どこから着手するべきかは、業務内容・データの整備状況・許容できるリスクで変わります。まずは AI活用診断 で、AI 活用の方向性とコスト感をご確認ください。本記事で取り上げた5つの設計を踏まえた個別の構成案は 詳細レポート（¥5,500税込） でお届けします。