クレーム対応 × AIチャット
AIチャットのプロンプト改善手順と評価チェックリスト
短時間で「ぶれない回答」に寄せるために、入力・方針・出力を段階で整え、現場の観点で評価できる形に落とし込みます。
狙い：クレーム対応を“再現可能”にする
クレームは感情と背景情報が入り乱れます。だからこそ、プロンプト改善は「文章をうまくする」作業ではなく、「同じ状況なら同じ判断フローで出力できる状態」を作る工程です。
全体の進め方（5ステップ）
-
1) まず現状ログを“型”に切る
過去の問い合わせを、原因（事象）・顧客の困りごと・期待する解決・NG行動（やってはいけないこと）に分解します。AIが失敗するパターンを、少数でも必ず抽出してください。
-
2) 目標の“優先順位”を明示する
同じクレームでも、優先順位が違えば最適回答は変わります。例として「謝罪の範囲」「代替案の提示」「手続き案内」「エスカレーション条件」を優先順位つきで文章化します。
-
3) 出力フォーマットを固定する
自由文だけにすると評価できません。返信を「受領→共感→事実確認→解決策→次アクション→締め」の順序で固定し、必要な項目が埋まらない場合は質問を返すようにします。
-
4) 境界条件（禁止・例外）を入れる
医療・法務・返金保証など、断定が危険な領域は“言い回し”だけでなく、出力方針で制御します。例外は「こういう時は担当部署へ」のように判定条件まで落とし込みます。
-
5) 評価して、改善は“差分”で行う
毎回プロンプト全体を作り直すのではなく、チェックリストのどこが崩れたかに合わせて、差分（優先順位・フォーマット・境界条件・質問文）だけを更新します。
評価チェックリスト（そのまま採点表にできる）
以下は、担当者間で合意しやすい観点に絞っています。各項目を 0/1 で採点し、合計点の低い項目から改善します。
A. 安心・信頼（基礎品質）
- 謝罪は事象に結びついているか
- 断定しすぎない表現になっているか（不確実性の扱い）
- 顧客の感情に対して受け止めがあるか
- 誤解を招く言い回しがないか
B. 判断・手順（クレーム処理の筋）
- 事実確認の質問が不足していないか
- 解決策が“現実的な次アクション”につながっているか
- エスカレーション条件が守られているか
- 必要な情報の案内が明確か（手順・期限・連絡方法）
C. コミュニケーション（分かりやすさ）
- 長すぎず、要点が追える構成か
- 専門用語を避けるか、説明があるか
- 相手の状況に合わせた言葉になっているか
- 同じ内容でも丁寧語・語調が整っているか
D. 一貫性（ぶれの検知）
- 同種クレームで出力順序が揃っているか
- 禁止事項が再発していないか
- 質問の“逃げ”がないか（先延ばしになっていないか）
- 評価基準の運用がチームで揃っているか
失点が多い箇所の改善パターン
出力例（短いテンプレ）を示し、「埋まらない場合は質問を返す」を明記します。採点表の A/B が良くても、C が低い場合は“読みやすさ”より順序を先に固定します。
条件を「顧客の要求」「影響範囲」「必要情報の欠落」の三軸に分け、どの軸で条件に当てはまると判断するかを書き直します。
“確定情報のみ断定”というルールと、未確認時の表現テンプレ（例：確認します、状況により変わります）を提示します。文章修正ではなく、方針を上書きする形にします。
運用のコツ（短時間で回す）
- 評価は毎回同じ観点で採点する。採点者を固定できると精度が上がります。
- 改善は一度に一項目。フォーマットならフォーマットだけを更新します。
- “良い例”と“避けたい例”を混ぜて学習させるのではなく、判断基準として明文化します。
このチェックリストを運用に組み込み、クレーム対応を短時間で安定化させましょう。