研修動画を再利用したいのに、担当者が毎回「どの回の何分頃だったか」を聞き回る。そんな現場でも、すぐに意味検索を導入すると決める必要はありません。先に決めたいのは、誰が、どの仕事のために、何を見つければ作業を終えられるかです。目次を整えるだけで足りる仕事もあれば、話し言葉と映像の両方を手掛かりにしないと探せない仕事もあります。
最初に「探す仕事」と見送り条件を決める
対象を「動画を検索しやすくする」という大きな課題にしないで、たとえば新人研修で例外処理の説明場面を確認する、社内ツールの引き継ぎで一覧の並べ替え方を見返す、広報が再利用候補の場面を探す、といった具体的な作業に分けます。各作業について、現状の入口がファイル名、共有フォルダ、目次、担当者への質問のどれかを記録します。検索後に人が動画を視聴して内容を確かめる時間まで含めて、困りごとを定義します。
ここで「動画の所在は分かるが長くて場面が見つからない」のか、「そもそも保管先や閲覧権限が整理されていない」のかを分けます。後者なら、索引を増やす前に保管場所、命名、権限を整える方が先です。月に数回しか探さず、目次追加で十分な場合も試行を見送れます。最初の判定者は現場の運用責任者です。
試行で扱う動画は、検索用の処理や外部サービスへの送信を含めて使用を認めた自社素材、またはその利用条件を確認できた公開素材に限ります。公開されているだけで、加工や外部送信まで許されているとは扱いません。顧客や従業員の実際の機密映像を「試すため」に投入しない方針で始めます。
9月29日公開のAWSによるCondé Nastの事例は、索引作成を非同期に進め、検索を同期的に受け付けて場面の時刻を返す構成を紹介しています。同社の事例であり、別の組織での精度や時間短縮を保証するものではありません。
欲しいのは答えの文章か、確かめられる場面か
意味検索は、入力した語と完全一致しなくても、問いに関係しそうな動画の場面を候補として取り出す方法です。一方、回答生成は、取り出した情報などを材料に説明文を作る別の処理です。研修担当者が必要なのは多くの場合、流ちょうな説明文ではなく、再生できる動画IDと時刻、そして前後を見て確認できる場面です。候補が誤っていても説明文は自然に見えるため、最初の試行では回答生成を使わず、候補と時刻だけを表示する設計にします。
索引作成は動画を検索用に準備する作業、検索は準備済みの範囲から候補を取り出す作業、と分けて考えます。アップロード直後の動画がまだ索引に入っていなければ、「見つからない」と「まだ検索対象ではない」は違います。動画ごとに取込日時、索引完了日時、検索対象かどうかを持たせ、画面にも未完了を示す案にします。音声のない実演、音声だけで説明する講義、文字が映る手順など、素材の性質で失敗の仕方も変わります。試行票には素材の種類を残し、どの種類にだけ価値があるのかを見ます。
正解の場面と「出してはいけない場面」を試行票にする
試行前に運用責任者と動画の内容責任者が、実際の業務から問いを集めます。次の行はすべて架空の例です。ID、時刻、許容する別場面を先に書き、検索結果を見てから正解を動かさないことが重要です。権限制限の確認には自社で作った試験用クリップを使います。
| 実際に終えたい作業・問い | 事前に決めた期待結果 | 判定の焦点 |
|---|---|---|
| 新人が返品受付の例外説明を確認する | V-014の03:20〜04:10。V-009の08:00〜09:00も代替可 | 説明を含む場面へ直接行けるか |
| 社内ツールで一覧の表示順を変更する | V-027の11:40〜12:15。現行版と同じ操作で、代替なし | 古い画面の説明との取り違え |
| 動画にない承認期限を尋ねる | 該当動画なし | 答えを作らず、該当なしと示すか |
| 権限のない担当者が限定場面を探す | 試験用V-R01は候補にも抜粋にも表示しない | 非許可情報が漏れないか |
| 追加直後の手順を探す | V-042の00:50〜01:20は索引待ち。完了後に再試行 | 未収録と未処理を区別できるか |
「関連する候補」は、事前に定めた動画または許容代替の、指定時刻範囲に実際に重なる場面とします。ただし関連するだけでは成功にしません。「使える場面」は、閲覧権限があり、担当者が前後を再生して作業上の判断に必要な内容を人手で確認できたものです。時刻の近い別の説明、権限外の正解、見出しだけ合う場面は不合格です。該当なしの問いでは無理に候補を出さないこと、索引待ちでは待ちと示すことが正解になります。
ただし、検索結果が空だったことは、資料に答えが存在しない証明ではありません。「該当なし」は責任者が試験用の対象動画を確認して正解表に記した条件です。実際の利用画面では「検索対象の範囲では候補を確認できませんでした」と示し、対象範囲と未処理の有無を添えます。
仮に調整用の問いを12件、受入用を24件に分けるなら、受入用は通常の正解12件、該当なし4件、権限制限4件、索引待ち4件などとします。件数と配分は説明用であり、精度の普遍的な基準ではありません。検索語や設定を直すときは調整用だけを見ます。受入用の問いと正解表は責任者が伏せて保管します。一度採点に使った24件は使用済みとして保管し、再審査には使いません。修正後は、内容責任者が同じ配分で新たな24件と正解表を作り、実装担当に伏せた状態で試します。新しい問題を用意できなければ再審査を保留し、同じ問題の点数上昇を導入根拠にはしません。
現在の探し方と同じ時間内で比べる
比較相手は「何も使わない人」ではなく、現在のフォルダ、ファイル名、既存の目次、共有済みの手順を使う担当者です。通常の正解12件は、両方法から閲覧でき、新方法で索引完了を確認した同じ動画集合から選びます。両方法に同じ作業説明と1件10分の経過時間上限を与えます。正解表は担当者に見せません。各問いは別々の担当者が両方法で担当し、同じ人には同じ問いを二度解かせない。問いの順番を入れ替え、担当者ごとに旧方法と新方法の割り当てを均等にします。前に見た場面を思い出した効果や、片方だけ動画に詳しい人へ偏る影響を小さくするためです。試行中は答えを共有せず、経験差も記録します。
24件を一つの正解率にまとめず、次の4群で採点します。索引待ち4件は検索速度比較ではなく、新方法の状態表示の試験です。
| 群と分母 | 10分以内の合格条件 | 架空の結果：旧方法 → 新方法 |
|---|---|---|
| 通常の正解12件 | 正解場面を再生し、現行の内容と照合して作業を完了。誤採用と時間切れは失敗 | 7/12 → 10/12。完了が3件増加 |
| 該当なし4件 | 範囲と未処理の有無を示し、正解表どおり候補なしとして終了 | 4/4 → 4/4 |
| 権限制限4件 | 非許可情報を候補・抜粋・ログ等へ出さず、拒否を確認 | 4/4 → 4/4 |
| 索引待ち4件 | 対象動画の未処理状態を正しく表示。不在とも検索成功とも扱わない | 比較対象外 → 4/4 |
業務完了の増分は通常の正解12件だけで求めます。拒否や索引待ちの表示を「探す仕事が完了した件数」へ足しません。該当なしの試験も、無関係な候補の羅列や時間切れでは不合格です。候補なしを判定する対象範囲に未索引が混在する場合は、その問いを索引待ち群へ戻して問題を差し替えます。
計時の起点は問いを受け取った時点、終点は人が使える場面を確認した時点です。比較用の時間指標は正解12件すべてを分母にし、時間切れ・見落とし・誤採用には一律10分を入れます。これは失敗を除外しないための採点値で、実際の労働時間とは別です。たとえば旧方法の12件が5、6、7、8、8、9、9、10、10、10、10、10分なら中央値9分、新方法が3、4、4、5、5、6、6、7、7、8、10、10分なら中央値6分で、3分短縮です。誤採用件数も別に記録し、早い誤答を時短とは扱いません。
さらに、検索可能な動画数と対象動画数を並べて索引の網羅率を出し、追加から検索可能になるまでの時間も記録します。1件の総経過時間を、担当者が操作・視聴・判断した能動時間と、処理や索引を待つ時間に分けます。待ち時間が長いと締切には困りますが、その全時間を人件費の削減額へ換算すると過大評価になります。逆に、失敗して担当者に聞き直した時間を計測から外すと、現場の負担を小さく見積もります。
運用費を同じ週の単位で差し引く
24件の受入試験と、導入後に週何分の余裕が生まれるかは別の測定です。週次の比較では同種の問い40件を扱い、検索を打ち切った後の聞き直し・再検索・修正まで仕事を終えるための能動時間を足します。次は全て架空の週次ログであり、上の受入試験の結果を40件へ比例換算したものではありません。
この表の40件は、内容責任者が有効な正解場面の存在を確認済みで、両方法の利用者に閲覧権限があり、新方法で索引済みの「通常の正解探索」に限ります。したがって、ここでの未発見は実際の見落としです。正しく「該当なし」で終了した仕事、権限拒否、索引待ちは40件にも失敗後の回復件数にも含めません。実際の週にそれらが発生したら、群ごとに件数・能動時間・未解決件数を別計上してから総負担へ加えます。以下の46分は、この40件と対応する運用負担だけの差であり、全種類の問い合わせを含む組織全体の削減時間ではありません。
この比較でも、旧方法の週は難しい質問、新方法の週は簡単な質問、という条件差を残してはいけません。例では、その週の業務構成を反映した同じ40件を両方法で一度ずつ評価し、問いごとに別の担当者へ割り当てたと仮定します。担当者数と経験の分布、動画集合、閲覧権限、回復時に使える資料・質問相手を揃え、同じ人に同じ問いを繰り返させません。問いの種類・動画の長さ・難度の区分を試行前に固定し、区分ごとの件数と失敗も残します。週の質問構成が普段と違えば、46分を通常週へ一般化しません。
人員の制約でこの割り当てができない、または同時期に目次や研修制度も変えた場合は、AI検索だけの効果と切り分けられません。その週の差を参考値として保存し、60分の採否線の判定は保留します。回復作業と継続作業も、同じ対象動画数・追加件数・週40件の業務量に対応する範囲で測り、二重に計上しない条件です。
| 週40件の能動時間 | 旧方法 | 新方法 |
|---|---|---|
| 制限内に見つかった仕事 | 32件×8分＝256分 | 34件×5分＝170分 |
| 見つからず探索を打ち切るまで | 8件×10分＝80分 | 6件×10分＝60分 |
| 失敗後の聞き直し・再作業 | 8件×15分＝120分 | 6件×15分＝90分 |
| 利用者の合計 | 456分 | 320分 |
| 新方法で増える取込・索引確認・点検 | なし | 60＋30＝90分 |
| 比較に含める合計 | 456分 | 410分 |
差引きは456−410＝週46分です。旧方法の通常の保管管理は両方法で同じだけ残る仮定なので差分から除き、新方法で増える作業だけを90分として加えました。実際には減る作業も増える作業も測ります。誤採用による修正があれば回復作業へ追加します。この例の回復は全件完了した仮定であり、未解決や未計測が残れば週46分のような純削減値は確定できず、採否は保留です。
索引完了待ちなど操作をしていない経過待ちが週80分あれば、締切への影響として別欄に置きます。週46分から80分をもう一度人件費として引きません。ただし待つ間に監視や連絡が必要なら、その作業時間は能動時間に足します。保管・索引・検索の利用料と初期整備費は別見積もりです。余った時間を別の仕事に使えることは能力の余裕であり、勤務時間や支払いが実際に減らなければ現金支出の削減とは呼べません。
続ける、直す、止めるを試行前に約束する
仮の受入線として、通常の正解12件で10件以上の完了と誤採用ゼロ、旧方法より完了が3件以上増加、失敗を10分として含めた同じ12件の中央値が2分以上短縮、という条件を置けます。加えて、該当なし4件すべてで範囲を示して正しく終了、権限制限4件で漏えいゼロ、索引待ち4件すべてで正しい状態表示を求めます。週次の能動時間は回復作業と継続作業を含めて週60分以上の余裕を求める、という線です。全て説明用であり、業種を問わず使える合格点ではありません。
上の架空の24件は、誤採用がなければ検索と状態表示の線を満たします。それでも別に測った週次差引きは46分なので、週60分の線には届きません。料金と初期費用を見積もる前の時点でも、この条件なら即導入はしない判断になります。検索が速いという一項目だけで、残りの不合格を相殺しません。
続行は、権限条件を満たし、業務完了と運用後の余裕が事前の線を越え、動画の内容責任者が場面の妥当性と再利用可否を受け入れた場合に限ります。索引漏れ、時刻のずれ、用語の揺れなど原因を切り分けられる場合は修正し、調整用で直した後、未使用の受入用の問いで再試行します。調整済みの問いをそのまま再採点しません。改善しても現行の目次より良くない、対象が少なすぎる、継続作業が効果を上回るなら中止し、目次や保管の整備に戻ります。
試行用のアプリ設計でも、検索前に利用者と動画の閲覧権限を照合し、候補表示前にもう一度照合します。題名、抜粋、サムネイル、時刻、ログからも非許可内容が見えないようにする必要があります。これは設計・実装・試験で守る条件であり、検索モデルが自動的に保証する性質ではありません。非許可内容が一度でも検索結果や表示に漏れたら試行を止め、原因を調べるまで広げません。関連性と再利用の受入責任は動画の内容責任者、業務上の採否は運用責任者が持ち、実装担当だけで「使える」と決めません。少数の試行は、別部門や新しい動画形式での性能を証明しません。範囲を広げるなら、その範囲の正解表と権限条件を作り直して判断します。