INSIGHT
「最後は人が確認する」。それだけで、そのAIを業務に入れるな
確認する人に根拠・時間・判断する力・差し止める権限がないのに、人が見ることを導入の根拠にしてよいのか。
見積もりの一次判定をAIに任せる計画で、「最後は担当者が確認するから大丈夫です」と説明された。一日に数百件。確認者は通常業務と兼務し、AIが何を根拠に判定したかは画面から分からない。
この条件で「人が見る」を導入の根拠にする決裁は、取り下げてください。
確認者という名前を置くだけでは、誤りを見抜き、結果を止める仕事は生まれません。根拠、時間、判断できる人、差し止める権限がそろって初めて、人の確認は導入条件になります。
確認は「見る」ではなく、四つの仕事
確認者の仕事を、動詞で分けます。
- AIの結果を原資料と照合する。
- 業務ルールから外れる例外を判断する。
- 根拠不足や不明な結果を保留する。
- 送信、更新、支払いなどを差し止める。
結果を眺めて承認ボタンを押すだけなら、この四つは成立しません。修正してよいが止められない、保留すると評価が下がる、差戻し先がない、といった状態も同じです。
ここで止めるのは、回答案の作成や少数件の試行ではありません。根拠も時間も権限もない確認者を置き、それを理由に外部送信や金額判断へ広げる決裁です。確認済みの条件では試行を続け、確定は既存の手順へ戻せます。
AISI（AIセーフティ・インスティテュート）のAIセーフティに関する評価観点ガイド は、エージェントの観測と制御、権限、実行履歴、介入・停止を評価項目の例に含めています。認可や安全を保証する資料ではありません。「人がいる」ではなく、何を見て、どこで止め、何を追えるかを考える観点になります。
根拠は、確認者が判定できる形で見せる
見積もりなら、単価表、適用条件、顧客区分、基準の時点が必要です。問い合わせ対応なら、契約、該当する規程、過去の対応を見ます。AIの回答文だけを読んでも、参照資料の誤り、古い版、適用条件の取り違えを判別できません。
一方で、参照した資料をすべて並べても確認は進みません。確認者が業務時間内に読めるよう、適用した規則、該当箇所、判断に使った条件、前回からの変更、確信できない箇所を絞って示します。原文を開けるリンクも必要です。
根拠がない、資料が矛盾する、対象外の案件である場合は、無理に承認させず「判断できない」として保留へ戻します。
原資料と照らせない結果は確認済みと扱わず、確定前に保留へ戻せるようにします。
一件の確認時間より、忙しい日の残り方を見る
通常の一件を丁寧に確認できても、一日数百件を同じように扱えるとは限りません。繁忙時、例外の多い案件、資料が不足する案件、複数の資料が矛盾する案件を含め、次の数字を取ります。
- 一件に必要な確認時間
- 修正・保留・差戻しの割合
- 時間内に処理できず残った件数
- 誤りを見つけて差し止めた件数と理由
速さだけを評価すると、保留は失敗に見えます。しかし保留は、分からない結果を相手への送信や会社の台帳へ流さず、業務責任者や資料の所有者へ戻すための正常な選択です。確認者が止めた案件を引き取る人と期限を決め、滞留も導入評価へ含めます。
処理量が増えて確認時間がなくなるなら、確認者を急がせる前に、AIが扱う対象や件数を減らします。確認作業を成立させられない量まで出力を増やすことは、確認者を置いたことにはなりません。
たとえば一件の確認に三分かかり、一日二百件届くなら、確認だけで延べ十時間です。これは説明のための仮定ですが、「通常業務の合間に一人で見る」という計画との差は計算できます。実際の時間を測り、件数、分担、締切のいずれを変えるか決めます。誤りを見つけた件数だけでなく、試験に入れた誤りを見逃さず止められたかも確認します。
研究は、人の確認が機能する保証ではない
Microsoft Researchの知識労働者に関する調査 は、319人、936件の利用例をもとに、AIへの信頼、自分への自信、確認などの認知的努力の関係を調べました。自己申告に基づく調査であり、AIが人の知能を低下させることや、確認者が必ず見落とすことの因果を示すものではありません。確認のしかたが、AIへの信頼と無関係とは限らないと考える材料になります。
Navigating the Jagged Technological Frontier は、BCGのコンサルタント758人を無作為に割り付け、AIの能力範囲内外に設計した仕事で、効果の方向が異なったと報告しています。2023年に実施された特定の参加者と仕事による実験であり、現在のあらゆるAIや自社業務の性能を示すものではありません。
どちらの研究も「人が確認すれば安全」という保証にはなりません。また、「人は必ず確認に失敗する」という証明でもありません。自社の仕事で、何を見抜く必要があり、実際にどこまで処理できるかを試す理由として使います。
導入を再開するのは、止められた証拠があるとき
「人が確認する」を根拠に業務へ組み込む決裁は、次の五点がそろってから再審議します。
- 確認者が原資料、適用条件、時点、変更点を見られる。
- 通常時と繁忙時に必要な確認時間と未処理量を測っている。
- 根拠不足と例外を保留し、差し戻す相手と期限が決まっている。
- 確認者が送信・更新を実行前に止められ、訂正と履歴の手順がある。
- 誤り・保留・滞留の傾向から、対象を縮小・停止する責任者がいる。
欠ける場合は、AIを回答案や分類候補までにとどめ、確定は既存の手順へ戻します。再開は「人を置いた」ではなく、人が根拠を見て、時間内に判断し、実際に止めて差し戻せた結果で決めます。
確認者が何を見て、何件を扱い、どこで止められるかを試す
人の確認は、AIの外側に置く飾りではありません。結果と原資料を照らし、例外を判定し、分からないものを保留し、業務への反映を止める仕事です。その仕事に情報、時間、能力、権限を渡せないなら、AIの速さだけが業務へ入り、責任だけが確認者に残ります。
「誰かが見る」から一歩進めて、「その人は何を見て、何件を扱い、どこで止められるか」を試す。そこまでが、人の確認を導入条件にするための設計です。