INSIGHT
社内で使えた回答AI。そのまま顧客へ出すな。——会社が守れる回答範囲
社内の担当者が補っていた回答AIを、その確認なしで顧客へ提供してよいか。
社内の問い合わせ対応を助けるAIが好評だった。担当者が回答案を読み、不足を補い、例外は詳しい人へ回している。そこで、同じ仕組みを顧客向けに公開しようという話が出た。
この段階で、顧客へ直接回答する公開・販売の決裁はいったん止める。顧客用の権限付与、既存窓口からの切替、回答範囲を広げる判断も同じである。社内で人が確認して使った実績だけでは、会社が顧客へどこまで答え、誤案内をどう回収するかが決まっていないからだ。
止める対象はAIの検討そのものではない。条件が決まらないまま顧客へ回答を届ける公開・販売である。
今、差し戻す決裁を具体的にする
「慎重に検討する」だけでは、開発、営業、運用が別々に準備を進めてしまう。決裁を差し戻すときは、対象を具体的に書く。
- 顧客がAIの回答をそのまま受け取る画面の公開
- その回答機能を含む契約、販売資料、利用申込みの開始
- 契約情報や個別の履歴を参照できる権限の付与
- 人が受けている問い合わせ窓口をAIへ置き換える変更
- 検証済みの質問から、未検証の質問へ回答範囲を広げる変更
一方、担当者が根拠を確かめてから送る社内補助や、顧客へ届かない試験は、情報の取扱いを確認したうえで継続できる場合がある。ここを分ければ、停止の目的が「技術を否定すること」ではなく「顧客へ負わせる不確かさを減らすこと」だと共有できる。
決裁書には、止める機能、対象顧客、開始予定日、解除を判断する責任者を残す。営業には販売開始を保留すること、開発には公開権限を閉じたままにすること、運用には試験中の回答を顧客対応へ転用しないことを伝える。部門ごとに同じ停止状態を持つことが先である。
社内の「使えた」から顧客への約束は作れない
社内では、AIが不完全でも仕事が進むことがある。担当者が質問の意図を知り、間違いに気づき、別の資料を探し、必要なら上司へ相談できるからだ。その補助を評価対象から外したまま、画面の回答だけを顧客へ出せば、試行時とは別の仕組みになる。
Generative AI at Work は、5,172人の顧客対応担当者を対象にした研究で、生成AI導入後の時間あたり解決件数が平均15%増えたと報告している。ここで評価されたのは担当者を支援する利用である。完全自動の顧客回答、現行のあらゆるサービス、苦情や契約判断の品質を証明した研究ではない。この数字を「人を介さず公開してよい」という根拠にはできない。
確かめるべきなのは平均的な読みやすさだけではない。顧客が回答を根拠に申込み、支払い、設定変更などを進めたとき、会社としてその案内を守れるかである。守れない場合に、誰が止め、誰へ連絡し、どこまでやり直すかも提供品質に含まれる。
回答範囲と人への切替を提供条件にする
回答範囲は、対象の顧客、質問の種類、参照してよい資料、AIが案内してよい行動を組み合わせて決める。たとえば、公開済みの操作手順は回答しても、個別契約の解釈、返金の確定、本人確認を伴う変更、法的・医療的な個別判断は人へ切り替える、といった境界である。「分からないときは有人窓口へ」だけでは足りない。分からない状態をどう検知するかも必要になる。
提供前に、次の質問へ一つずつ答える。
- どの資料を正本とし、更新日はどこに表示するか
- 根拠が見つからない、資料が食い違う、質問が範囲外のとき、AIは何と答えるか
- 人へ渡す窓口、受付時間、引き継ぐ会話記録は何か
- AIによる回答であること、使ってよい範囲、重要事項の確認方法をどこで伝えるか
- 回答に基づく申込みや変更は、どの段階で人が確定するか
NISTのGenerative AI Profile（NIST AI 600-1） は、虚偽の出力、情報、人とAIの役割、継続評価などを扱う2024年7月の文書である。個別製品の精度を保証するものではない。ここでは、顧客へ返す文章だけでなく、人の監督や訂正の仕組みまで検討するために参照する。
答えられない質問を明示し、人へ確実に渡せることも、顧客へ提供する機能の一部である。
誤案内を出した想定で停止と訂正を通す
正常な質問に正しく答える試験だけでは、公開後の損失を抑えられない。誤った料金、古い手続き、対象外の顧客への案内などをあえて試験環境で発生させ、次の流れを通す。
最初に、回答の配信やその先の手続きを止める。次に、質問、回答、参照資料、時刻、利用者、後続処理を保全する。同じ回答を受けた可能性のある顧客を特定し、訂正文と連絡方法を決める。資料、検索、生成ルールのどこを直すかを分け、修正後は同じ質問と周辺の質問を再試験する。申込みや設定変更まで進んでいれば、その取扱いを業務責任者が判断する。
ここで見たいのは、開発担当者が回答を直せるかだけではない。顧客対応、法務・品質、営業、システム運用が、同じ事実と優先順位で動けるかである。連絡先や判断者が決まらず訓練が止まったなら、それ自体が公開を止める理由になる。
再開は七つの証拠で判断する
顧客向け公開を再開する条件は、「精度が上がった」「関係者で確認した」では曖昧である。少なくとも、次の七つを記録で確認する。
- 対象の質問、顧客、利用場面と、対象外の境界
- 参照する正本、その更新責任者、反映確認の方法
- 通常、高影響、情報不足、範囲外を含む評価例と合否
- 顧客への説明、重要事項の確認方法、人への切替手順
- 回答、根拠、利用者、後続処理を追える記録
- 誤案内の停止、影響確認、訂正、復旧を通した結果
- 公開後の監視担当、停止判断者、見直し日
七つがそろった範囲だけを再開対象にする。未確認の質問や顧客層は外し、限定公開中は問い合わせと訂正の記録を短い間隔で確認する。新しい資料、機能、顧客層を加えるときは、再び境界と評価例を見直す。
再開の根拠は期待や平均精度ではない。会社が回答の範囲を守り、外れたときに止めて訂正できる証拠である。
回答範囲・人への切替・訂正を確認できた範囲だけ、顧客へ提供する
社内で役立った回答AIを、顧客へ直接届ける仕組みに変えると、会社が負う約束も変わる。だから、回答範囲、根拠、人への切替、記録、訂正を確認できるまで、公開・販売の決裁を止める。条件がそろった範囲だけを限定して再開し、公開後も停止判断と見直しを続ける。それが、顧客を守りながら提供を続けるための最低条件である。