INSIGHT
AIのモデルを変える前に——いまの仕事で使えるかを比べる
変更前と同じ仕事ができるか、切替前に何を比べるか。
提供元から更新の案内が届いた。「性能が上がるなら、自動で新しいものへ切り替えよう」。通常の質問では、より読みやすい回答が出るかもしれません。しかし、社内の略語、判断に迷う例外、決まった出力形式でも、同じ仕事を続けられるかは一般的な性能表示から分かりません。
新しいモデルが一般に高性能でも、自社の通常業務と例外に使えるかは別に比べます。
変わるのは、モデルだけとは限らない
切替の前後で記録するのは、モデルの名称だけではありません。指示文、参照する資料、検索設定、出力形式、外部連携、実行時の主な設定も一緒に残します。どれかが同時に変わると、結果の差がどこから来たのか判断しにくくなります。
この組み合わせを、ここでは業務の版と呼びます。「変更前の版」と「変更後の版」を作り、比較した日時と担当者を付けます。変更理由も、終了予定、価格、速度、品質、提供地域など、確認できた事実へ分けます。
Amazon BedrockのModel lifecycle は、提供中、終了予定、提供終了という状態を説明しています。終了予定の状態に入ると終了日が通知され、終了後は原則として要求が失敗し、移行は自動ではないとしています。2026年9月13日確認時点のこのページは、同年9月7日以降に同サービスで提供開始したモデルの方針です。それ以前のモデルには別の方針への案内があり、通知期間や終了日は対象モデルの情報で確認します。他サービスにも同じ条件があるとは扱いません。
評価例は、普段の仕事から作る
評価セットは、変更前後を同じ条件で比べる入力例と、期待する扱いをまとめたものです。大量の一般問題から始めず、現場の仕事を四つ集めます。
- 毎週繰り返す通常の依頼
- 担当者でも判断に迷う例外
- 答えずに保留すべき依頼
- 形式を崩すと次工程が止まる出力
問い合わせ対応なら、よくある質問だけでなく、契約の例外、資料が古い場合、顧客を特定できない場合、権限外の質問を含めます。集計へ渡す結果なら、自然な文章かどうかより、分類名、必須項目、日付や金額の形式が合うかを見ます。
実際の顧客情報をそのまま評価へ使う必要はありません。内容を置き換えた例を作り、必要な環境と権限で扱います。評価例の横に、期待する結果、判定する業務担当、間違えた場合の影響を書きます。
「同じ答え」ではなく「同じ仕事ができるか」を比べる
文章の言い回しが変わっても、仕事に支障がないことはあります。反対に、分類コードが一つ違う、出典が抜ける、保留すべき依頼へ断定するだけで、後続の担当や集計を誤らせる場合があります。
比較表には、正確さだけでなく、根拠、出力形式、保留、権限外の依頼、処理時間、費用、手直し時間を置きます。変更前後の出力を、結果を実際に使う担当者が判定します。「よくなった」「似ている」ではなく、許容する違いと、切替を保留する違いを先に決めます。
重大な誤りが平均点に埋もれないようにします。通常の回答が読みやすくなっても、権限外の情報を返す、承認前に外部へ送る、といった一件が増えれば、全体の平均だけで切り替えません。また、一度通っただけの例は、繰り返しても必要な条件を守れるか確かめます。
NISTのGenerative AI Profile は、利用目的に応じた評価、役割、継続的な確認、第三者への依存などを含む任意の枠組みです。個別の切替を合格とする資料でも、日本企業へ同じ評価例を義務づけるものでもありません。一般的な評価の観点を、自社の受入条件へ戻す参考にします。
比べるのは文章の好みではなく、決めた条件で仕事を受け渡せるかです。
一斉切替の前に、戻れる時間を使う
評価結果は「全面切替」か「不採用」の二択ではありません。通常業務だけを変更後の版へ移す。例外は変更前の版または手作業へ残す。限られた利用者で一定期間試す。提供終了が迫るなら、移行期限と未確認事項を並べて優先順位を付ける。結果に応じて範囲を選べます。
ロールバックは、問題が出たときに前の業務の版へ戻す手順です。前のモデルがいつまでも使えるとは限りません。戻せる期限、設定と参照資料の控え、判断者、利用者への案内、戻せない場合の手作業を確認します。
切替後は、苦情、手直し、保留、処理失敗を一定期間見ます。問題が出たらモデルだけを原因と決めつけず、指示、資料、検索、設定、連携の変更も照合します。評価セットに入っていなかった例は、次回の比較へ追加します。
比較した結果と未確認を、切替を判断する担当へ渡す
自分が使う仕事について、変更前後で使えた結果、困った例、未試験の条件を整理します。技術担当には比較した構成を、業務の担当には結果の許容範囲を、運用責任者には切戻しと問い合わせ先を確認します。自分の試用結果は切替の材料であり、全員の設定を変更する承認ではありません。
共有する一枚には、変更理由、比較した版、評価例、合格・不合格・判定保留、未試験条件、利用範囲、切戻し期限、次の確認日を載せます。価格や速度を変更理由にする場合も、業務上の受入条件を同じ資料で見ます。
変更の案内を切替指示にせず、業務担当が受け入れた範囲を運用条件にします。
同じ仕事で変更前後を比べ、戻せる範囲からモデルを切り替える
まず、いつもの依頼と判断に迷う一件を、許可された比較環境で試してみてください。結果と条件を残し、分からない違いは担当へ渡します。切替が認められた範囲で使い、変更後に困った例を次の比較へ戻す。その繰返しが、自分の仕事に合う更新につながります。