AIが拒否したとき業務を止めない：refusalとfallbackの設計

AIを業務システムに組み込むとき、つい「AIが正しく答えるか」だけを見てしまいます。

しかし実務で同じくらい大事なのは、AIが答えないときに業務をどう戻すかです。

高性能なAIモデルほど、安全分類やポリシー判定によって、特定のリクエストを拒否する場合があります。AnthropicのClaude Fable 5の公式docsでも、Claude Fable 5には安全分類器があり、リクエストを拒否する場合があること、拒否時はMessages APIで stop_reason: "refusal" が返ること、別モデルへのfallback手段があることが説明されています。

これは「AIが壊れた」という話ではありません。業務設計としては、拒否応答を正常な分岐として扱う必要があります。

refusalはエラーではなく業務イベント

AIが拒否したとき、システム側で単に「失敗」と扱うと、現場では次のような問題が起きます。

画面上は処理済みに見えるが、実際には回答が空になる
担当者が原因を理解できず、同じ入力を何度も試す
顧客対応や社内承認の途中でワークフローが止まる
ログ上はHTTP 200などの成功扱いになり、監視から漏れる

つまり、refusalは技術的なエラーコードだけでなく、業務上の判断分岐として扱う必要があります。

たとえば、問い合わせ対応の下書きAIなら、拒否時に「別モデルで再試行する」「担当者確認に戻す」「入力内容を修正して再依頼する」のどれかを選べるようにしておきます。

まず3つの戻し先を決める

中小企業が最初に決めるべき戻し先は、細かい技術仕様ではありません。次の3つです。

1. 別モデルに回す
2. 人間に戻す
3. 処理を止める

すべての拒否を別モデルに回せばよいわけではありません。顧客情報、契約条件、医療・法務・安全保障に近い内容、削除・送信・公開を伴う操作は、人間確認に戻す方が安全です。

一方で、社内メモの要約、文章の言い換え、公開前ではない下書き作成のような低リスク作業なら、別モデルへのfallbackで十分な場合があります。

大事なのは、拒否されてから現場が考えるのではなく、拒否されたらどこへ戻すかを先に決めておくことです。

fallback設計の基本形

実務で使いやすいfallback設計は、次のように分けると整理できます。

低リスク:
  別モデルで再試行する

中リスク:
  AIの出力を下書き扱いにして、人間が確認する

高リスク:
  自動処理を止め、責任者へ通知する

入力に問題がある:
  依頼文を修正して再入力してもらう

この分岐を決めずにAIを導入すると、「AIがたまに止まる」「どこまで任せてよいかわからない」という不満が現場に残ります。

逆に、戻し先が決まっていれば、AIが拒否しても業務は止まりません。AIは常に答える存在ではなく、条件によっては止まる業務部品として扱えます。

ログに残すべき項目

refusalやfallbackを業務に組み込むなら、最低限次の項目をログに残します。

どの業務で発生したか
入力カテゴリは何か
どのモデルで拒否されたか
別モデルに回したか
人間確認に戻したか
最終的に公開・送信・保存されたか
担当者がどの判断をしたか

ここまで残しておくと、あとから「AIが使えない」の一言で終わらず、業務ごとに改善できます。

たとえば、社内FAQの要約で頻繁に拒否されるなら、入力文に不要な個人情報や契約情報が混ざっているのかもしれません。顧客返信の下書きで頻繁に人間確認へ戻るなら、AIへ渡す前の分類ルールが粗い可能性があります。

「AIが止まる前提」で画面を作る

AIを使う画面では、成功時だけを想定しない方がよいです。

画面上にも、次の状態を用意しておきます。

生成中
生成完了
AIが回答を控えた
別モデルで再試行中
人間確認待ち
入力修正が必要

これだけで、現場の混乱はかなり減ります。

特に顧客対応や社内承認のように、途中で止まると困る業務では、「AIが止まった」ではなく「確認待ちに移った」と表示されるだけで、担当者は次の行動を取りやすくなります。

AI導入前に決める1枚のルール

最初から複雑な運用規程を作る必要はありません。まずは1枚で十分です。

業務名:
AIに渡してよい情報:
AIに渡してはいけない情報:
通常時の処理:
拒否時の戻し先:
別モデルに回してよい条件:
必ず人間確認に戻す条件:
ログ保存先:
確認責任者:

この1枚があるだけで、AI導入は「便利そうだから試す」から「止まったときも運用できる」に変わります。

高性能AIモデルは、処理できる範囲が広がる一方で、安全分類や利用条件も複雑になります。だからこそ、中小企業ではモデル名より先に、業務側の戻し方を決めておくべきです。

Optiensの見方

Optiensでは、AI導入を「最新モデルを入れること」ではなく、「業務と責任の分岐を設計すること」と見ています。

無料のAI活用診断簡易版では、どの業務がAI化に向くかを整理します。詳細版AI活用診断では、導入可否、優先順位、構成案、費用前提を整理します。実装や伴走が必要な場合は、診断とは別の導入支援領域として扱います。

AIが答えるときだけでなく、答えないときも業務が止まらないか。ここを見ておくことが、実務でAIを長く使うための土台になります。