AIに事業案や資料を見せて、「客観的に評価してください」と頼む。便利な使い方に見えますが、返ってきた点数をそのまま信じるのは危険です。
AIは、依頼文に含まれる熱意や前提を読み取り、改善案を返そうとします。その結果、弱い案にも長所を見つけ、厳しい判断を避けた回答になることがあります。問題は、特定のモデルが甘いことではありません。評価の目的、基準、反証の出し方、最終判断者が決まっていないことです。
この記事では、新しいAIモデルの順位をつけるのではなく、事業案、営業資料、業務改善案をAIに評価させるときの検証手順を整理します。
「何点ですか」だけでは判断材料にならない
点数を聞くだけの依頼では、評価の尺度がAI側に委ねられます。あるときは市場性を重く見て、別のときは文章の分かりやすさを重く見るかもしれません。点数が同じでも、何を根拠にしたのか分からなければ比較できません。
まず評価を、少なくとも次の項目へ分解します。
- 誰の、どんな困りごとを解決するのか
- 困りごとが実際に存在すると言える根拠はあるか
- 代替手段と比べて、選ばれる理由はあるか
- 顧客へ届ける経路と、継続して使われる条件は何か
- 売上、費用、運用負荷の見通しはどこまで確認できているか
- 法務、品質、情報管理、信用面のリスクは何か
各項目を0から5点で採点する場合も、点数の前に根拠を書かせます。根拠がない項目は、低得点ではなく「未確認」として分けてください。未確認を平均点に混ぜると、情報不足が高評価に見えてしまいます。
評価の順番を「反証」から始める
AIに最初から改善案を求めると、案を成立させる方向へ思考が進みます。評価の順番を変え、まず成立しない条件を探します。
次のような出力順を指定すると、回答を検証しやすくなります。
- 現時点の結論と、その確信度
- 結論を支える確認済みの情報
- 成立を妨げる最大の要因を三つ
- その要因が事実か確かめる最小のテスト
- 続けてよい条件と、中止する条件
- まだ判断できない項目
ここで大切なのは、AIに悲観的な結論を出させることではありません。反証を先に出すことで、何を調べれば判断が進むのかを明確にすることです。根拠が見つからないまま、文章だけを整える作業を続ける必要もなくなります。
作り手の思い込みを評価から切り離す
「自分が初めて考えた案です」「時間をかけて作りました」といった情報は、人間同士の相談では重要です。しかし、案の妥当性だけを検証したい場面では、評価を誘導する情報にもなります。
評価対象を匿名化し、案A・案Bのように同じ形式へ整えてから、同じ指示で評価させます。作り手、作成時間、期待する点数、思い入れは、一次評価が終わるまで隠します。
その後で、評価者がどの弱点を見落としたかを確認します。人は思い入れのある案を高く評価しやすく、AIは依頼文の文脈に合わせやすい。両方の偏りを減らすには、評価対象と評価者に距離を置く必要があります。
AI同士を比べる前に、評価の仕事を固定する
複数のAIへ同じ内容を渡す比較は有効です。ただし、モデル名や画面の印象から順位を決めるのではなく、評価タスクを固定します。
比較表には、次の項目を残します。
| 項目 | 記録する内容 |
|---|---|
| 入力 | 使った資料、前提、個人情報の有無 |
| 指示 | 評価基準、出力順、禁止事項 |
| 実行条件 | 使用ツール、時間、再試行回数 |
| 発見力 | 重要な弱点や未確認事項を何件見つけたか |
| 根拠性 | 出典や前提を追跡できるか |
| 手戻り | 人が修正・再確認するのにかかった時間 |
| 費用 | 利用料だけでなく確認にかかった作業も含む |
文章が読みやすいことと、評価が正しいことは別です。見栄えのよい回答を高く評価する前に、重要な反証を拾えているかを確認してください。比較条件を揃えられない場合は、優劣を断定せず「この条件での観察結果」と記録します。
最終判断はAIの点数ではなく、人の停止条件で行う
AIは、論点整理や反証候補の作成を助けられます。しかし、顧客へ送る、金額を提示する、契約を進める、公開する、データを削除するといった行為の承認者にはなりません。
評価結果を採用する前に、次の停止条件を決めます。
- 根拠を確認できない主張が残っている
- 重要なリスクに担当者が割り当てられていない
- 最小テストで顧客課題の存在を確認できなかった
- 予算、納期、確認工数のどれかが上限を超えた
- 問題が起きたときに、元の手順へ戻せない
停止条件に該当したら、AIへ追加の改善案を求める前に、調査、人手確認、企画の縮小、または中止へ進みます。AIの回答を増やすことが、判断を良くするとは限りません。
1件の評価を再利用できる記録にする
評価を会話の中だけで終わらせると、次回は同じ検討を最初からやり直します。最低限、次の記録を残してください。
評価対象：
目的：
入力資料と確認日：
評価基準：
見つかった反証：
未確認事項：
最小テスト：
継続条件・停止条件：
最終判断者と判断日：
次回に再利用する質問・確認項目：この記録が増えると、AIに渡す資料や質問の質も改善します。モデルを変えたときも、同じ評価対象と記録様式を使えば、変更の影響を追跡できます。AIを賢く見せることではなく、人が判断を再現できることが業務上の価値です。
Optiensの見方
AI活用の最初の課題は、どのモデルを選ぶかより、何を評価し、どこで止めるかを決めることです。業務の重要度、入力情報、確認者、失敗時の影響を整理すれば、AIを使う仕事と、人が担う仕事の境界が見えてきます。
OptiensのAI活用診断（無料）では、フォーム入力をもとに現在の業務を棚卸しし、診断レポートとして整理します。診断は入口であり、評価シートの個別設計、実装、運用ルール化、導入支援の範囲は、導入前に確認します。
まとめ
AIに事業案や資料を評価させるとき、点数だけを受け取ってはいけません。
- 評価項目と根拠を先に固定する
- 反証、未確認事項、停止条件を出させる
- 作り手の思い入れを隠して同一条件で比較する
- モデルではなく、発見力・根拠性・手戻りで測る
- 最終判断と公開・実行の承認は人が担う
AIの回答が厳しいか、優しいかを感想で語るだけでは、業務改善につながりません。評価の方法そのものを設計し、次の判断へ使える記録に変えることから始めてください。