INSIGHT
AIの回答を、業務で使える品質へ——評価例と合格基準の作り方
平均点だけでなく、通す・直す・保留する条件をどう作るか。
社内問い合わせに答えるAIを十件試した。九件は自然な回答で、会議では「かなり使えそうだ」という声が出た。残る一件は、個別事情が必要な質問に、もっともらしい結論を返していた。この九勝一敗を、合格と呼んでよいのでしょうか。
答えは、件数だけでは決まりません。間違えた一件が、社内で直せる案内なのか、金額や契約の判断なのかで影響が変わるからです。評価では、実際の仕事から質問を選び、期待する回答だけでなく「人へ戻すべき場面」を先に決めます。
評価例は、よくある質問だけで作らない
最初に、評価する仕事を一文にします。「社内の質問に答える」では広すぎます。「公開済みの就業規則から標準手順を案内し、根拠の条項を示す。個別の承認判断は人事へ渡す」と書けば、回答してよい範囲が見えます。
その仕事から、質問を四つの箱へ分けます。
| 箱 | 質問の例 | 期待する扱い |
|---|---|---|
| 通常 | 申請期限と提出先を知りたい | 正本に沿って案内し、根拠を示す |
| 間違えると困る | 金額、権利、顧客への約束に関わる | 必要な条件がそろうまで確定しない |
| 材料が足りない | 所属、日付、契約条件が不明 | 不足を示し、人へ戻す |
| 対象外 | 例外の承認や個別解釈を求める | 担当窓口を案内する |
この一式を評価セットと呼びます。作成者だけで選ぶと、作りながら使った例に偏りがちです。日々質問を受ける人、資料を更新する人、回答の影響を引き受ける責任者からも例を出してもらいます。
設定の調整に使う例と、最後に確かめる例は分けて残します。いつも同じ十件を見ながら直せば、その十件への答えだけがよくなることもあります。新しい例を現場から少しずつ加え、元の例も再試験して、改善と引き換えに別の回答を壊していないかを見ます。
合格させたい回答を並べるのではなく、止めるべき回答を止められるかまで試して、利用範囲を決めます。
正解・修正・保留・不合格を分ける
回答の結果を、正解と不正解の二つにしないでください。業務での扱いに合わせ、少なくとも四つに分けます。
- そのまま使える：内容と根拠が決めた条件に合う
- 直して使える：確認者が修正し、修正理由を説明できる
- 保留して人へ戻せる：材料不足や対象外を見分け、確定しない
- 使えない：誤りを確定的に示す、根拠が違う、止めるべき場面を通す
ここでの保留条件は、AIが結論を作らず、業務担当へ渡すべき条件です。契約書にない個別条件を尋ねられたとき、「契約担当へ確認してください」と返すことが合格になる場合があります。答えなかったことを一律に失点にすると、分からない場面でも回答を作る方が高得点になってしまいます。
記録には、質問、利用者、参照した資料と版、期待する扱い、実際の回答、判定、理由、確認者を残します。点数より、どの条件で使えなかったかを次の修正へ渡せることが重要です。
見逃しと過剰な保留は、影響で重みを変える
見逃しは、止めるべき回答を通すことです。反対に、使える回答まで止めれば、確認者の負担や待ち時間が増えます。両方を減らすのが理想でも、どちらを厳しく見るかは用途で変わります。
顧客への金額案内や権利に関わる回答では、一件の見逃しが大きな影響を持つため、人へ戻す条件を広く取ることがあります。社内の資料探しなら、誤った候補を確認者がすぐ見抜けるか、保留が多すぎて結局使われなくならないかを同時に見ます。全用途に共通する合格率を置かず、質問の箱ごとに「一件でも通してはいけない結果」「一定数までは人が補える結果」を決めます。
BCGのコンサルタント758人を対象とした査読研究Navigating the Jagged Technological Frontier では、2023年の実験で、AIの能力内に設計された仕事と能力外の仕事で結果の方向が異なりました。2026年に査読公開された研究ですが、現在の全製品や自社の問い合わせ業務の性能を示すものではありません。代表例だけでなく、任せる境界の外側も試す理由を考える材料です。
合格率を先に決めるのではなく、どの誤りを通せず、どの保留を人が引き受けられるかを業務側が決めます。
判定が割れた例は、業務の基準を確かめられる人と読む
自分では使えると思った回答を、業務担当が保留と判定することがあります。逆に、確認すれば使える回答を自分が止め過ぎているかもしれません。割れた一件を原文と一緒に持ち寄り、事実の誤り、業務条件、使いにくさのどこが違うかを確かめます。
作成者は入力・設定・出力を説明する。現場は実際の受渡しと修正負担を見る。資料管理者は正本と版を確かめる。業務責任者は、残る誤りと保留を踏まえて使う範囲を決める。この分担を評価表に書けば、作った人だけが合否を抱えずに済みます。
NISTのGenerative AI Profile は、虚偽出力、人とAIの役割、継続的な評価などを扱います。ここで参照するのは2024年7月の文書です。日本企業への一律の合格点は定めておらず、今回の判断基準は自社の仕事に合わせて決める必要があります。
AIセーフティ・インスティテュートが2026年7月7日に公開した評価観点ガイド第1.20版 は、AIエージェントについて観測と制御、権限、実行履歴、介入・停止などの評価項目例を示します。利用を認可する証明ではなく、問題を見つけた後に止められるかまで確認する視点です。
合格は、用途と再評価の条件を添えて共有する
評価の共有結果は「合格」だけにしません。どの利用者が、どの資料を使い、どの種類の質問へ、どこまで回答を使えるかを書きます。未確認の質問は対象外とし、誰へ戻すかを決めます。
たとえば、次のように合意できます。
「人事二人が、現行就業規則にある標準手順の案内に使う。個別承認、金額計算、資料にない質問は人事責任者へ戻す。重要例で根拠違いが一件でも出た場合は利用を止める。規程、検索対象、設定を変更したときは、通常・重要・材料不足の代表例で再評価する」
合格とは、すべての質問へ正しく答える宣言ではなく、確認した用途と人へ戻す境界を関係者が引き受けた状態です。
平均点より先に、その一件を通す理由と保留を引き受ける人を決める
自然な回答が多かったことは、評価を始める材料です。そこから通常例、影響の大きい例、材料不足、対象外をそろえ、期待する回答と保留を先に決めます。
まず、自分が試した中から迷った一件を選び、質問、原文、回答、判定理由を並べてください。業務基準を確認できる人と読み、使える範囲と人へ戻す条件を整理します。全体の合格率を急ぐより、次の修正に使える一件を残せます。