問い合わせの分類や要約をAIに任せ、動き始めたあとに残るのが「これは正しく動き続けているのか」をどう確かめるかです。手順書には書きにくい部分で、たいていは「気づいたときに担当者が目で見る」に落ち着きます。それでは、誤りが増えたのか減ったのかが分かりません。
やることは3つに絞れます。成功基準を先に決めること、採点を自動でできる形にすること、モデルが入れ替わる前提で測り直す予定を持つことです。順番も大事です。基準がないまま出力を眺めても、良くなったか悪くなったかを言える材料になりません。
先に誤解を1つ外しておきます。AIの出力は、同じ入力でも毎回同じ結果が返るとは限りません。だから「1回試して合っていた」は品質の根拠になりません。検査は1回の確認ではなく、同じ条件で繰り返せる形にしておく必要があります。
この記事では、AnthropicとOpenAIが開発者向けに公開しているドキュメントの記載と、総務省が公開しているガイドラインの掲載情報だけを使います。どこまでが公式の記載で、どこからが当社の整理かも節ごとに分けて書きます。確認日は2026年11月20日です。自動化そのものの進め方はAIによる業務自動化とは?導入の判断と進め方を解説で扱っています。
先に決めるのは成功基準。あとから決めると比べられない
Anthropicの開発者向けドキュメントは、評価を作る前に成功基準を決めることを求めています。そして良い成功基準の要件を4つ挙げています。
具体的であること。達成したいことを明確に定義し、「良いパフォーマンス」ではなく「正確な感情分類」のように指定する、と説明されています。測定可能であること。定量的な指標または明確に定義された定性的な尺度を使います。数値は明確さとスケーラビリティをもたらすが、定性的な尺度も定量的な尺度と併せて一貫して適用すれば価値がある、とされています。
達成可能であること。業界のベンチマーク、過去の実験、AI研究、専門家の知識に基づいて目標を設定し、現在のフロンティアモデルの能力に対して非現実的なものにしない、という内容です。そして関連性があること。基準をアプリケーションの目的とユーザーのニーズに合わせます。高い引用精度は医療アプリでは重要かもしれないが、カジュアルなチャットボットではそれほど重要ではないという例が付いています。
この4つで効くのは「達成可能」です。社内で基準を決めると、たいてい「誤りはゼロ」になります。ゼロを基準にすると、未達が常態になって誰も見なくなります。手作業のときの誤りの率を先に測っておくと、比べられる基準が置けます。比較対象のない基準は、運用に乗りません。これは当社の整理です。
同じドキュメントは、ユースケースにとって重要になる可能性のある基準も並べています。下の表は、その項目を左の列にそのまま置き、右の列に当社が定型業務へ当てはめた問いを添えたものです。右の列は公式の記載ではありません。
| 公式が挙げている基準 | 定型業務に当てはめたときの問い(当社の整理) |
|---|---|
| タスク忠実度 | 分類や要約を、どの水準まで正しくこなす必要があるか |
| 一貫性 | 同じ問い合わせが2件来たとき、同じ扱いになるか |
| 関連性と一貫性 | 聞かれたことに直接答えているか。筋道が追えるか |
| トーンとスタイル | 社外へ出る文面として、言葉遣いが相手に合っているか |
| プライバシー保護 | 個人情報や機密情報を、指示どおり書かずにいられるか |
| コンテキスト活用 | 渡した資料や履歴を、実際に参照できているか |
| レイテンシ | 何分以内に返ってくれば業務が回るか |
| 価格 | 1件あたりいくらまでなら、手作業より安いか |
8項目を全部測る必要はありません。自社の業務でどれが重いかを選び、選ばなかった項目は「今回は測らない」と書いて残します。あとから結果を読む人が、測っていないことと問題がないことを混同しないためです。
採点は自動でできる形に寄せる
基準が決まったら、次は測り方です。Anthropicのドキュメントは評価設計の原則として3つを挙げています。原文の表現で引用します。
タスク固有にする:実世界のタスク分布を反映した評価を設計します。エッジケースを考慮に入れることを忘れないでください!
可能な限り自動化する:自動採点が可能になるように質問を構成します(例:多肢選択、文字列一致、コードによる採点、LLMによる採点)。
質より量を優先する:シグナルがやや低い自動採点による多くの質問の方が、高品質な人間の手作業による採点の少ない質問よりも優れています。
3つめは、社内の感覚と逆になることがあります。人が丁寧に少数を見るより、粗い採点で多数を見るほうを公式は推しています。実務でもここが分かれ目になります。少数を人が吟味する運用は、担当者が忙しい週に止まります。多数を自動で採点する運用なら、止まったこと自体が記録に残ります。
エッジケースとして挙げられているものも具体的です。無関係または存在しない入力データ、長すぎる入力データやユーザー入力、チャットの用途では不適切・有害・無関係なユーザー入力、そして人間でも評価の合意に達するのが難しい曖昧なテストケースです。最後の1つは、検査を作るときに外す判断をしておくと揉めません。人が決められないものを、AIの誤りとして数えないためです。
採点の方法は、同じドキュメントに5つの例が載っています。完全一致評価、コサイン類似度評価、ROUGE-L評価、LLMベースのリッカート尺度、LLMベースの二値分類です。下の図は、この5つを「出力の正しさを何で判定するか」という軸で4つにまとめ直したものです。まとめ方は当社の整理で、公式が4分類にしているわけではありません。
図の左上から順に見ていきます。問い合わせを「請求」「解約」「技術」に振り分ける処理なら、正解は1つに決まるので完全一致で数えられます。同じ質問を言い換えて2回投げ、返答が意味として近いかを見たいなら、類似度を測る形になります。要約が原文の要点を含んでいるかを見るなら、重なりを測る指標が使われます。トーンや、個人情報を書いていないかといった主観の入る基準は、別のモデルに採点させる形が例として挙げられています。
ここで決めておくとよいのが、テスト入力を保存しておくことです。毎回ちがう入力で採点すると、数字が動いた理由が入力の違いなのか出力の変化なのか分かりません。これは当社の整理ですが、次の節で見る公式の手順とも噛み合います。
検査を組み立てて回す4つの工程
OpenAIの開発者向けドキュメントは、評価の作成と実行を3つの段取りで説明しています。やるべきタスクを評価として記述する、テスト入力(プロンプトと入力データ)で評価を実行する、結果を分析し、プロンプトを反復して改善するという流れです。実装の形としても、評価にはテストデータのスキーマ(data_source_config)と、モデルの出力が正しいかを判定する採点基準(testing_criteria)の2つが要る、と説明されています。
この3段取りの前に、前節の成功基準を置くと4工程になります。下の図は、公式の記載を並べ替えて工程にしたものです。4つに分けたのは当社の整理です。
工程4で直すのは、まず指示の書き方です。OpenAIのドキュメントが挙げているのも、結果を分析してプロンプトを反復して改善するという順序です。モデルを変える前に、指示を直して測り直すほうが原因を切り分けられます。両方を同時に変えると、どちらが効いたのか分かりません。これは当社の整理です。
工程が1周したら、同じテスト入力と同じ採点基準を残しておきます。次に測るときの比較対象になります。残していないと、半年後に「前より悪くなった気がする」という話を数字で扱えません。
人が見る範囲は、影響の大きさで決める
自動採点を用意しても、人の確認がなくなるわけではありません。どこに人を置くかは、誤った出力が誰のところまで届くかで決まります。ここから先は公式ドキュメントの記載ではなく、当社が支援の現場で使っている整理です。
社内で止まる処理なら、抜き取りで足ります。分類の結果を担当者が見る、要約だけを通知して原文も添える、といった形です。誤りがあっても、次の工程で人が気づけます。
顧客や取引先に直接届く処理は、実行前に人を挟みます。送信、公開、削除のように取り消せない処理は、その時点で確認を入れるしかありません。自動化のツール側にも、実行を止めて承認を求める機能があります。具体的な設定と制約はZapierの承認ステップで自動化を止める|公表された設定と制約で扱いました。問い合わせ対応そのものの設計はAIで問い合わせ対応を自動化する方法|導入の判断と設計を解説にまとめています。
抜き取りで決めるのは3つです。何件に1件を見るか、誰が見るか、見た結果をどこに書くか。3つめが抜けている運用をよく見ます。見た人の頭の中にしか残らないと、翌月に同じ誤りが出ても「前にもあった」と言えません。
比率の目安を公式が示しているわけではありません。当社としては、動かし始めた最初の数週間は多めに見て、誤りの出方が落ち着いてから減らす形を取っています。件数を先に決めて固定しないほうが、現実に合います。
モデルは入れ替わる。廃止日から逆算して測り直す
自動化が壊れる理由のうち、社内の変更では説明できないものがあります。使っているモデルが入れ替わることです。Anthropicは、モデルのライフサイクルを4つの状態で説明しています。
アクティブは完全にサポートされ、使用が推奨される状態。レガシーは今後更新されず、将来的に非推奨になる可能性がある状態。非推奨は引き続き機能するが推奨されなくなり、推奨される代替と廃止日が設定される状態。廃止済みは使用できなくなり、そのモデルへのリクエストは失敗します。
通知についても記載があります。廃止が予定されているモデルをアクティブにデプロイしている顧客へ通知し、一般公開されたモデルについてはモデル廃止の少なくとも60日前に通知するとされています。そしてベストプラクティスとして、現在使っているモデルの廃止日よりも十分前に、新しいモデルでアプリケーションをテストすることが挙げられています。代替モデルのパフォーマンスを測定するために、廃止日より前に徹底的にテストすることを検討してほしい、という書き方です。
日付の入った例も載っています。同ドキュメントの一覧では、claude-sonnet-4-5-20250929 が2026年9月30日に非推奨となり、廃止日は2026年11月30日、推奨される代替は claude-sonnet-5-5 と示されています。日付なしのID(claude-sonnet-4-5)も同じ廃止に含まれるとされています。2か月で入れ替わる前提の予定表です。
自分がどのモデルを使っているか分からない場合の手順も書かれています。Claude Consoleの使用量ページを開き、エクスポートを押し、ダウンロードしたCSVでAPIキーおよびモデルごとの使用状況を確認する、という流れです。この監査によって、非推奨モデルを使っている箇所を特定できるとされています。自動化を外注して作った場合、社内の誰もモデル名を把握していないことがあります。先に棚卸しをしておく価値があります。
ここまではAnthropicのドキュメントの記載です。他の提供元が同じ通知期間や同じ状態の呼び方を採っているかは、今回確認していません。使っているサービスの記載を自分で確かめてください。モデルが変わったら、前節で保存したテスト入力と採点基準をそのまま回します。これが、保存しておく一番の理由です。
測れている検査と、測れていない検査
ここまでを、運用の状態として並べ直します。下の図の左右は当社の整理です。公式の分類ではありません。
右側の3つは、どれも悪意なく起きます。基準を「精度が高いこと」と書くのは、決めた気になれるからです。目で見るだけになるのは、採点の仕組みを作る時間が取れないからです。モデルを変えた日が残らないのは、記録する場所を決めていないからです。
直す順番としては、記録から始めるのが軽く済みます。いつ、どのモデルで、どの指示文で動かしていたかを1行ずつ残すだけなら、採点の仕組みがなくても今日から始められます。記録がないと、あとから検査を作っても比較対象が手に入りません。これは当社の整理です。
社内の規程に落とすときに参照できる公的資料
社内のルールとして文書に残す段になると、拠りどころが欲しくなります。総務省は、経済産業省と共同で「AI事業者ガイドライン」を公開しており、同省の掲載ページから版ごとの資料を取得できます。2026年11月20日時点で、掲載されている最新版は第1.2版です。
| 版 | 公表日 |
|---|---|
| 第1.0版 | 令和6年(2024年)4月19日 |
| 第1.01版 | 令和6年(2024年)11月22日 |
| 第1.1版 | 令和7年(2025年)3月28日 |
| 第1.2版 | 令和8年(2026年)3月31日 |
掲載ページには、本編と附属書のほかに、前の版からの変更箇所を表示した版、チェックリスト(附属書7)、ネットワークシート(附属書7)、概要及び詳細な解説資料(附属書8)、外国ガイドラインとの参照相関(附属書9)、英語版が並んでいます。社内の確認表を白紙から作る前に、チェックリストが公開されていることを知っておくと手間が減ります。
この節で確認したのは、版の名称、公表日、提供されている資料の種類までです。ガイドラインが求めている内容そのものは、この記事では参照していません。社内規程に落とすときは、掲載ページから原本を読んでください。版が上がると構成も変わります。
今回確認できなかったこと
参照した5つのページに記載がなかったものを残します。まず、抜き取りで何件に1件を見ればよいかという比率の目安はありません。採点の結果が何点なら合格、という水準も示されていません。どちらも業務ごとに決めるほかありません。
日本語の業務文に対して、どの採点方法がよく効くかの比較もありません。挙げられている方法と用途の例は、英語での例を含む一般的な説明です。要約の評価に使う指標についても、日本語での扱いは今回の参照範囲に記載がありません。
モデルの入れ替わりについては、Anthropic以外の提供元の通知期間と状態の定義を確認していません。評価の実行にかかる費用、必要なテスト件数、採点に別のモデルを使うときの選び方も、今回参照したページでは扱っていません。
検査の仕組みを入れた結果どうなるかは、業務の内容、入力の性質、運用の体制によって変わります。この記事で確認できたのは、公式ドキュメントが成功基準と採点についてどう書いているか、モデルの状態と通知がどう定められているか、公的なガイドラインがどの版まで公開されているかまでです。確認日は2026年11月20日です。
まとめ
AI自動化の品質管理は、3つの順番で組み立てられます。成功基準を先に決め、採点を自動でできる形に寄せ、モデルの入れ替わりに備えて測り直します。
成功基準の要件として公式ドキュメントが挙げているのは、具体的、測定可能、達成可能、関連性があることの4つです。重要になりうる基準として、タスク忠実度、一貫性、関連性と一貫性、トーンとスタイル、プライバシー保護、コンテキスト活用、レイテンシ、価格が並んでいます。全部を測る必要はなく、測らないものを書き残すほうが大事です。
採点では、タスク固有にすること、可能な限り自動化すること、質より量を優先することが原則として挙げられています。方法の例は完全一致、コサイン類似度、ROUGE-L、LLMによる尺度評価と二値分類です。評価の流れは、タスクを評価として記述し、テスト入力で実行し、結果を分析して指示を改善する順です。
モデルには、アクティブ、レガシー、非推奨、廃止済みという状態があり、一般公開されたモデルは廃止の少なくとも60日前に通知されるとされています。廃止日より十分前に新しいモデルでテストすることが推奨されています。保存したテスト入力と採点基準が、そのときの比較対象になります。確認日は2026年11月20日です。
この分野の実務を相談したい方へ
記事で扱っている内容は、当社が実務として支援している領域です。 自社で進めるか外部に任せるかの判断からご相談いただけます。