ooligo
STACK

サポート品質保証スタック — 請求されている解決を採点する

verified resolution 単位で課金されるサポート組織が、スコアもサンプルも異議申し立ての証拠も、請求書を送ってくるベンダー以外の場所から得るための構成です。

Difficulty
中級
Tools
5
Customer Success

The stack

2026 年 3 月 26 日、Zendesk は Forethought の買収を完了しました。その 2 か月前、同社はすでに自動対応の結果を 3 つの段階に分けています — assisted escalation、contained resolution、そして割当を消費する唯一の段階である verified resolution です。判定は、顧客からの返信がないまま 72 時間のウィンドウが閉じたあとに LLM が下します。この 2 つを並べると、1 つの会社が AI エージェントを売り、何を解決と数えるかを定義し、その定義が満たされたかを判断するモデルを動かし、請求書を発行し、さらにその仕組み全体を採点する quality assurance 製品まで売っていることになります。

これは悪意を疑う話ではありません。測定の問題を記述しているだけです。このスタックは監査レイヤーです。すべての会話を採点し、誤っている可能性が高いものを抽出し、エージェントのベンダーが書いていない照合台帳を保持し、機械のスコアと人間のスコアの差を、口論ではなくキャリブレーションの判断に変えます。

構成

  • Zendesk が記録システムであり、同時にメーターです。 Suite Team は年払いで 1 エージェントあたり月額 $55、Suite Professional は $115 です。automated resolution はプランに応じて 1 エージェントあたり月 5、10、15 件が含まれ、年間 10,000 件が上限で、それを超えるとコミット時 $1.50、従量課金では $2.00 になります。異議申し立てに使うすべての数字は、ここにある conversation ID にひも付いている必要があります。
  • Decagon または Fin(Intercom)が採点される側です。 どのエージェントが解決したかにかかわらず、このスタックはその出力をレポートではなく証拠として扱います。エージェント同士の比較は Decagon vs Fin に、導入判断は AI サポートエージェントスタック にあります。
  • 採点者は Zendesk QA か Solidroad であり、どちらを選ぶかが論点のすべてです。 Zendesk QA は AI エージェントと音声を含むすべてのインタラクションに AutoQA をかけ、Spotlight でチャーンリスクや行き詰まったループを検出し、進行中の会話を採点し、AI Agent QA でボットと人間のスコアを並べて比較します。販売形態は 年払いで 1 エージェントあたり月額 $50 の Workforce Engagement Bundle で、workforce management も同じ料金に含まれます。Solidroad は 2 つの製品ラインを別々に売っています — 人間向けの QA automation、コーチング、トレーニングシミュレーションと、エージェント向けの QA and benchmarking、プロセス改善、カスタム AI スコアカードです。Decagon、Sierra、Fin に直接接続して評価でき、Guru や Notion からポリシーやマクロを取り込むため、スコアカードは実際の自社ルールを反映します。同社は 2026 年 4 月 16 日に $25M のシリーズ A を Hedosophia のリードで調達し、First Round Capital、Y Combinator、Sony Innovation Fund が参加、顧客として Ryanair、ŌURA、Crypto.com、ActiveCampaign を挙げています。価格は公開しておらず、数字にたどり着く手段はデモだけです。
  • Assembled がキャパシティのレイヤーで、こちらは価格を公開しています。 workforce management は 1 エージェントあたり月額 $25(Core)、$45(Pro)、$75(Enterprise)にプラットフォーム料金が加算され、AI Copilot は 1 エージェントあたり月額 $35 から、同社の AI エージェントは 1 会話あたり $0.65 からです。社内エージェント、BPO ベンダー、AI を 1 か所で管理する製品として売られており、ここで効いてくる理由は絞られています。エージェントが volume の 60% を吸収すると、人間には残りが回ってきますが、その残りは平均よりも 1 会話あたり難しいからです。
  • n8n がサンプルを抽出し、台帳を保持します。 スタックの中で最も安いコンポーネントであり、監査対象のベンダーが書き換えられない唯一の記録です。
  • Slack がキャリブレーションの場です。 ダッシュボードではなく、機械のスコアと人間のスコアが食い違った会話を並べる週次スレッドで、最後に必ず判断を 1 つ出します。

名前のあるハンドオフ

  1. Zendesk で会話がクローズ → webhook が発火 → n8n がサンプルを層化します。 まずリスクの層から: 7 日以内の再オープン、エージェント対応後のエスカレーション、CSAT が 1 または 2、売上のしきい値を超えるアカウント。残った枠をランダム抽出で埋めます。
  2. すべての会話 → 自動で採点者へ → 抽出された部分集合 → 人間のレビュアーへ。 機械が 100% をカバーし、人間は間違いが高くつく部分をカバーします。
  3. 72 時間のウィンドウが閉じる → Zendesk が段階を割り当てる → n8n が行を書き込みます。 conversation ID、段階、QA スコア、7 日以内の再オープンフラグ、エスカレーションフラグを、自社のストアに記録します。
  4. 月末 → 台帳と請求書を照合します。 verified resolution として課金された会話が 7 日以内に再オープンも発生させていたなら、それは飲み込む端数ではなく、提起すべき明細です。
  5. 機械のスコアと人間のスコアが合意したしきい値を超えて乖離 → そのペアが Slack のキャリブレーションスレッドへ。 出力は、修正された人間か、修正されたスコアカードか、修正されたプロンプトのいずれかです。
  6. QA がナレッジの欠落を検出 → 人間にはコーチングの割り当て、エージェントにはスコアカードの改訂。 同じ発見に対して是正の経路が 2 つに分かれるのは、文脈を欠いた人間と文脈を欠いたボットでは、失敗の仕方が違うからです。

コストの基準線

エージェント 12 人、月間 6,000 会話のサポート組織で、そのうち 3,600 件を AI エージェントが処理し、2,400 件が verified resolution になる場合:

  • Workforce Engagement Bundle 経由の Zendesk QA: $50 × 12 シート × 12 か月 = 年間 $7,200。workforce management も同梱です。
  • 代わりに Assembled Pro でキャパシティ層を別途買う場合: $45 × 12 × 12 = 年間 $6,480 に、非公開のプラットフォーム料金が加わります。バンドルと比較する前に、その料金を明細として出させてください。
  • Solidroad: 見積もりのみです。Zendesk のバンドルを基準に予算を組み、価格以外の何かで勝たせてください — 買う理由は、解決の請求書を送ってくる会社に報告する立場ではない、という一点です。
  • n8n Pro: 10,000 実行で月額 €60、年間およそ €720 です。
  • 人間のレビュー工数: 6,000 会話の 2% を抽出すると月 120 件、1 時間あたり 8 件なら 15 時間で、FTE のおよそ 10 分の 1 です。全員が見落とす行であり、スコアに意味を与える唯一の行でもあります。

ここから居心地の悪い計算です。2,400 件の verified resolution はコミット単価で月 $3,600、年間 $43,200 です。そのうち 5% がベンダーに有利な形で誤分類されていたとして、全額を取り戻しても戻るのは年間およそ $2,160、対して監査レイヤーの費用は $8,000 以上です。請求の異議申し立てでは、このスタックの元は取れません。 元を取るのは再オープンです。解決として課金された会話が戻ってくると、メーターと、そのあと対応する人間の両方に二重で払うことになります。このスタックは再オープン件数と CSAT の回復で評価し、請求の正確さは副産物として扱ってください。

バリエーションと乗り換えの基準

  • すでに Zendesk 一色で、エージェントだけが他社製なら Zendesk QA。 解決しているのが Decagon や Fin なら、Zendesk QA は自社の雇い主ではなく競合のボットを採点していることになり、独立性の問題はほぼ消えます。バンドルの $50 は workforce management も吸収するので、Assembled の行は丸ごと不要になります。
  • エージェントとヘルプデスクが同じベンダーなら Solidroad。 Zendesk 自身の AI エージェントを Zendesk QA で採点するということは、結果の定義、判定、請求、通信簿を同じ会社が握るということです。スコアカードのために 2 社目と契約する価値があるのは、まさにこのケースです。
  • エージェント 15 人程度を下回るなら Assembled は外します。 表計算に収まる forecast にプラットフォームは要りません。BPO ベンダーが入った時点で戻してください。他社が管理する人員こそ、forecast の誤差が他人の SLA に変わる場所だからです。
  • n8n をヘルプデスクのネイティブトリガーに置き換えてよいのは、抽出ルールが 1 つのシステムだけを読んでいる間だけです。サンプルが CRM のアカウント売上や 2 つ目のツールの再オープンデータに依存し始めたら、n8n を残してください。

このスタックが置き換えないもの

  • エージェントが何を解決してよいかは決めません。 インテントの線引きは ticket deflection agent template です。
  • エージェントの導入もエスカレーション経路の保有もしません。 それは AI サポートエージェントスタック であり、このスタックはそれを監査する側です。
  • 顧客を維持するものではありません。 解決したチケットは更新された契約ではありません — 顧客リテンションスタック を参照してください。
  • スコアカードを書いてはくれません。 ここにあるすべてのレイヤーは、誰かが「良い」を決めて文書化していることを前提にしています。
  • 会話を読むマネージャーの代わりにはなりません。 代わりになるのは、都合のよいサンプルだけを読んで QA プログラムと呼んでいたマネージャーです。

注意点と、それぞれの防御策

  • 採点する側と採点される側が同じ会社になり得ます。 Zendesk は 2026 年 3 月 26 日から Forethought を保有し、AI エージェントを採点する QA 製品も売っています。防御策: 照合台帳はエージェントのベンダーが書き込めないストアに置くか、採点者をエージェントとは別の会社から買ってください。
  • AutoQA のスコアはモデルの判断であり、モデルやプロンプトが動けばスコアも動きます。 スコアカードを改訂しただけで、誰の振る舞いも変わらないまま平均が動くことがあります。防御策: 手作業で採点した 50 会話の gold set を凍結し、スコアカードやモデルを変更するたびに再実行してください。凍結セットでのずれは、成績の変化ではなく測定の変化です。
  • 100% のカバレッジはサンプリングの言い訳を消しますが、偏りは消しません。 人間のレビューは、短くて読みやすい会話へ流れ続けます。防御策: リスクの層 — 再オープン、エスカレーション、低い CSAT、高単価アカウント — を n8n のサンプラー側で必須の枠にし、ランダム抽出には残りだけを埋めさせてください。
  • 課金の段階と QA スコアは別々の時計で届きます。 段階は最後のメッセージから 72 時間後、スコアは即時です。防御策: すべての行を conversation ID にひも付け、照合は月次にしてください。週次で照合すると、遅延が乖離に見えます。
  • 人間のシート単位で課金される QA は、エージェントが volume を吸収するほど作業単位あたりで割高になります。 1 エージェントあたり月 $50、12 シート、ボットの比率が上がる状況では、縮んでいく人間の作業量に対して同じ金額を払い続けることになります。防御策: AI の比率が 50% を超える前に、QA 契約がシート課金か会話課金かを確認し、更新時ではなくその分岐点で再交渉してください。
  • 誰も読んでいないルーブリックで行うコーチングは、実質的には人事評価です。 防御策: 誰かを採点する前にスコアカードをチームに公開し、最初の 1 か月のスコアは成績データではなくキャリブレーションデータとして扱ってください。個別のエスカレーションが失敗したときは escalation RCA を回します。

適合ルール

選ぶべき条件: 月間 2,000 会話以上を回していて、解決 volume の少なくとも一部が成果単位で課金され、人間と AI が同じキューに触れており、CFO、ボード、更新の判断者といった誰かが最終的に「その deflection の数字が本物だとなぜ言えるのか」と聞いてくる状況です。最も噛み合うのはサポートシート 10〜50 の規模で、メーターが十分に大きく、スコアリングのパイプラインを自前で作る analytics 機能が社内にない場合です。

選ぶべきでない条件: 月に数百会話で、難しいものはマネージャーが全部読める規模か、サポートが完全に人間だけでシート定額の場合です。監査レイヤーの費用が、買える正確さを上回ります。スコアカードの持ち主が決まらない場合も同じく不適です。持ち主のいないルーブリックは全員が黙って無視するスコアを生み、ベンダーのダッシュボードの隣に、無視するための 2 つ目のダッシュボードを買っただけになります。

1 つだけやるなら: 書き出したルーブリックに沿って 50 会話を手で採点し、保存してください。この gold set は 1 日で作れて契約も要らず、あとで買う採点者が — ベンダー所有かどうかにかかわらず — 解決の定義について自社と一致しているかを確かめる唯一の方法です。エージェントが対応した会話の CSAT と組み合わせれば、ベンダーが定義を変えても生き残る 2 つの数字が手に入ります。