AIエージェントを放置する前に決めること：ゴール・停止条件・権限の設計

AIエージェントを業務に入れるとき、最初に期待しがちなのは「一度指示したら、あとは勝手に良い結果まで進んでくれる」状態です。

たしかに、最近のAIは文章作成、調査、コード実行、外部API連携、ファイル操作などを組み合わせ、かなり長い作業を続けられるようになっています。単なるチャットよりも、業務自動化に近い動きができます。

ただし、ここで誤解してはいけないのは、AIが長く動くことと、会社にとって有益な成果を出すことは別だという点です。

人間側がゴールを曖昧にしたまま「何か役に立つことをして」と渡すと、AIは作業らしいものを増やします。ダッシュボードを作る、通知を送る、情報を集める、ログを更新する。見た目には動いていますが、それが顧客対応の改善、売上、時間削減、品質安定につながっているとは限りません。

AIエージェントは、自由にするほど賢くなる道具ではありません。自由にするほど、設計していない部分の責任が人間側に戻ってくる道具です。

自由に動かすほど、AIは安易な目標に逃げる

AIに「自律的に動いて」とだけ伝えると、AIは実行しやすい作業を選びやすくなります。

たとえば、次のような作業です。

実行しやすいが、成果が曖昧になりやすい作業
- 情報を集め続ける
- 通知やレポートを増やす
- 監視画面や一覧表を作る
- 似たような改善案を繰り返す
- 完了確認と再確認をループする

これらは悪い作業ではありません。むしろ、目的が明確なら有効です。

問題は、AI自身が「会社にとって何が有益か」を自動で決められるわけではないことです。AIは、与えられた文脈の中で「それらしい次の行動」を選びます。だから、目的が曖昧だと、測りやすいこと、実行しやすいこと、過去によく見たパターンへ寄っていきます。

中小企業の業務で必要なのは、作業量の増加ではありません。必要なのは、問い合わせ対応が早くなる、社内確認が減る、資料作成の手戻りが減る、判断が遅れない、といった具体的な改善です。

そのため、AIを動かす前に「何をしたら成功か」を人間が決めておく必要があります。

最初に決めるべき5つの設計項目

AIエージェントを業務に入れる前に、最低限、次の5つを決めてください。

1. ゴール
何を完成させたら成功か。
例: 問い合わせ20件を分類し、返信が必要な5件を抽出する。

2. 成果物
AIが最後に何を出せばよいか。
例: 対応優先度、返信草案、確認が必要な論点、担当者メモ。

3. 使ってよい情報
どの資料、どのフォルダ、どのシステムを参照してよいか。

4. やってはいけないこと
送信、削除、契約条件の確定、価格回答、顧客別判断など。

5. 停止条件
何分、何円、何回失敗、どの状態になったら止めるか。

この5つがない状態でAIを走らせると、後から人間がログを見て「結局これは何のための作業だったのか」を判断することになります。

特に重要なのは、ゴールと成果物を分けることです。

「顧客対応を改善する」はゴールとしては広すぎます。AIに渡すなら、「未返信メールを分類し、返信草案と確認事項を1件ずつ出す」のように、最後に見える形まで落とす必要があります。

AIに任せる業務は、夢ではなく納品物で定義した方が安定します。

停止条件がないAIは、改善ではなくループを作る

AIエージェントは、途中結果を見ながら次の作業へ進めます。これは便利ですが、停止条件が弱いと、改善ではなくループになります。

よくあるループは次の形です。

確認する
  ↓
問題なさそうだと判断する
  ↓
念のため再確認する
  ↓
別の観点でも確認する
  ↓
もう一度まとめ直す

人間の作業なら、途中で「もう十分」と判断できます。しかしAIは、与えられた指示の中に終わり方がなければ、追加の確認や別案作成を続けることがあります。

そのため、業務用のAIエージェントには、次のような停止条件を入れるべきです。

停止条件の例
- 最大実行時間: 10分で止める
- 最大試行回数: 同じエラーが2回出たら止める
- 最大コスト: 1タスクあたり想定金額を超えたら止める
- 人間確認: 顧客送信、削除、確定処理の前で止める
- 品質条件: 根拠が2つ以上取れない場合は断定しない

停止条件は、AIを信用していないから置くものではありません。

むしろ、AIを業務で使い続けるための安全装置です。止め方が決まっていれば、失敗しても戻せます。止め方がないと、担当者は怖くなって使わなくなります。

権限は「できること」ではなく「やってよいこと」で渡す

AIエージェントに外部ツールや社内システムを触らせるとき、最も危険なのは「技術的にはできるから」という理由で権限を広く渡すことです。

OWASPのLLM Top 10 for 2025では、AIに過剰な機能、過剰な権限、過剰な自律性を持たせることを「Excessive Agency」として整理しています。たとえば、本来は読むだけでよい業務なのに、更新や削除までできる権限を渡すと、AIの誤解や悪意ある入力によって影響範囲が広がります。

業務で考えるなら、次のように分けます。

読み取りだけでよい業務
- 社内FAQの検索
- 過去提案書の参照
- 問い合わせ履歴の分類
- 請求書情報の確認

人間承認を挟む業務
- 顧客への返信送信
- 見積金額の提示
- 契約条件に関わる回答
- 公開ページの更新

AIに渡さない業務
- 顧客データの一括削除
- 未確認情報を含む外部公開
- 代表者個人情報や機微情報の処理
- 法的判断や最終的な責任判断

権限設計の基準は、「AIが何をできるか」ではありません。

その業務でAIに何をやってよいことにするかです。

OpenAI Agents SDKのドキュメントでも、ツール、ガードレール、トレーシング、承認を含む実行管理が扱われています。これは開発者向けの機能説明ですが、経営者側に置き換えると「AIに何をさせ、どこで止め、何を記録するか」を決める話です。

コストは月額ではなく1成果物単位で見る

AIエージェントは、1回の質問に見えても、内部では複数回の推論、検索、ツール実行、確認を行うことがあります。

そのため、導入前に見るべきなのは「このAIサービスは月いくらか」だけではありません。

見るべきなのは、1つの成果物を作るのにいくらかかるかです。

見るべき単位
- 問い合わせ1件を分類するコスト
- 提案書1本を下書きするコスト
- 社内資料1本を要約するコスト
- 日次レポート1回を作るコスト
- エラー時にやり直すコスト

AIのコストは、単価だけでは判断できません。

安いモデルでも、何度も失敗してやり直すなら高くなります。高いモデルでも、人間の確認時間が大きく減るなら採算が合うことがあります。

中小企業では、次の式で見ると判断しやすくなります。

AI導入の粗い採算

削減できた人間の時間価値
  - AI利用料
  - 確認・修正に残る人間の時間
  - 失敗時のやり直しコスト
  = 実際の効果

「AIが何か作ってくれた」ではなく、「人間の確認時間を含めても安くなったか」で見る必要があります。

中小企業で始めるなら、自由研究ではなく定型業務から

AIエージェントの魅力は、自由に動くことです。

しかし、業務導入の最初から自由に動かす必要はありません。むしろ、最初は定型業務に閉じ込めた方が成功しやすくなります。

最初に向いているのは、次のような業務です。

初期導入に向く業務
- 問い合わせの一次分類
- 社内資料からの回答候補作成
- 会議メモからのTODO抽出
- 提案書のたたき台作成
- 日次・週次レポートの下書き

共通しているのは、AIの出力を人間が見て判断できることです。

逆に、最初から避けたいのは、顧客への自動送信、金額確定、契約条件の回答、削除操作、公開ページの自動更新です。これらは、AIの精度だけでなく、会社の責任や信頼に直結します。

AIを自由にするのは、定型業務でログ、失敗パターン、確認ポイントが見えてからで十分です。

Optiensの見方

AIエージェントは、「人間の代わりに勝手に考えてくれる存在」として見ると危険です。

実務では、「人間が決めたゴールに向けて、作業を連続実行する仕組み」として見る方が安定します。

中小企業が導入前に決めるべきなのは、ツール名ではありません。

導入前に決めること
- どの業務で使うか
- 何を成果物とするか
- どこまでAIに触らせるか
- どこで人間が承認するか
- 何分・何円・何回で止めるか
- 失敗時に誰が確認するか

この設計があると、AIは「怖い自動化」ではなく「管理できる業務アシスタント」になります。

AI活用をどこから始めるべきか迷っている場合は、まず AI活用診断簡易版（無料）で、既存業務のどこがAI化しやすいかをご確認ください。具体的な導入順序や、権限・停止条件まで整理したい場合は、スポット相談チケットで次の進め方を確認できます。

AIエージェントを放置する前に、人間が設計する。ここを飛ばさない会社ほど、AIを長く使えるようになります。

AIエージェントを放置する前に決めること