JP7654681B2 - コールセンター応答生成のための意図分析 - Google Patents

Description

関連出願の相互参照
[0001]本願は、２０２０年２月２５日に出願された「コールセンター応答生成のための意図分析」と題された米国仮特許出願第６２／９８１，４６６号の利益を主張し、これは、参照によってその全体が本明細書に組み込まれる。

[0002]本開示は、一般に、好ましい会話応答を届けるために構造化フレームワークを使用する通信処理に関する。より具体的には、仮想エージェント及び／又は人間エージェントが、これらの顧客によって伝達された意図に基づいて顧客に会話応答を提供するのを支援するフレームワークを展開するための技術が提供される。

[0003]本開示の様々な実施形態が以下に詳細に説明される。特定のインプリメンテーションが説明されるが、これは、例示の目的のみで行われることが理解されるべきである。当業者であれば、本開示の主旨及び範囲から逸脱することなく、他のコンポーネント及び構成を使用できることを認識するであろう。したがって、以下の説明及び図面は例示的なものであり、限定するものとして解釈されるべきではない。多数の特定の詳細が、本開示の完全な理解を提供するために説明される。しかしながら、ある特定の事例では、説明を不明瞭にすることを回避するために、周知又は従来の詳細は説明されていない。本開示における１つ又はある実施形態への参照は、同じ実施形態又は任意の実施形態への参照であることがあり、そのような参照は、実施形態のうちの少なくとも１つを意味する。

[0004]「１つの実施形態」、又は「ある実施形態」への参照は、実施形態と関連して説明される特定の特徴、構造、又は特性が本開示の少なくとも１つの実施形態に含まれることを意味する。本明細書中の様々な箇所において、「１つの実施形態」、「ある実施形態」というフレーズが現れるが、必ずしも同一の実施形態をすべて指しているわけではなく、他の実施形態を相互に除外する別個あるいは代替の実施形態でもない。さらに、一部の実施形態によって表され、他の実施形態によっては表されないこともある、様々な特徴が説明される。

[0005]本明細書で使用される用語は、一般に、本開示の文脈内で、及び各用語が使用される特定の文脈において、当技術分野における通常の意味を有する。代替言語及び同義語は、本明細書で論じられる用語のうちのいずれか１つ以上に使用されることができ、用語が本明細書で詳述又は論じられるかどうかに特別な重要性は置かれるべきではない。場合によっては、特定の用語の同義語が提供される。１つ以上の同義語の詳述は、他の同義語の使用を排除しない。本明細書で論じられる任意の用語の例を含む、本明細書のどこかでの例の使用は、例示にすぎず、本開示又は任意の例示的な用語の範囲及び意味をさらに限定することを意図するものではない。同様に、本開示は、本明細書で与えられる様々な実施形態に限定されない。

[0006]本開示の範囲を限定することを意図せずに、本開示の実施形態による器具、装置、方法、及びそれらの関連する結果の例を以下に示す。タイトル又はサブタイトルは、読者の便宜のために実施例において使用されることができ、本開示の範囲を限定するものではないことに留意されたい。別途定義されない限り、本明細書で使用する全ての技術用語及び科学用語は、本開示が属する技術分野の当業者によって一般に理解されるような意味を有する。矛盾が生じた場合、定義を含めて本文書が優先されることになる。

[0007]本開示の追加の特徴及び利点が、以下に説明され、部分的に説明から明らかとなるか、又は本明細書に開示される原理の実践によって学習されることができる。本開示の特徴及び利点は、添付の特許請求の範囲で特に指摘された命令及び組み合わせによって実現及び取得されることができる。本開示のこれら及び他の特徴は、以下の説明及び添付の特許請求の範囲からより十分に明らかとなるか、又は本明細書に記載された原理の実践によって学習されることができる。

[0008]本開示は、添付の図面に関連して説明される。
[0009]図１は、少なくとも１つの実施形態による、意図に対する解決策を決定し、エージェントによって提供することができる応答を生成するために、顧客からの意図が評価される環境の例示的な例を示す。 [0010]図２は、少なくとも１つの実施形態による、顧客とエージェントとの間の通信セッション中に取得された意図、応答、及びフィードバックが、エージェントの性能を決定するために評価される環境の例示的な例を示す。 [0011]図３は、少なくとも１つの実施形態による、性能監視サービスが組織の会話動作の性能を測定及び管理する環境の例示的な例を示す。 [0012]図４は、少なくとも１つの実施形態による、会話の間、顧客発話に応答して、エージェントを支援するようにフレームワークを実現するためのプロセス４００の例示的な例を示す。 [0013]図５は、少なくとも１つの実施形態による、性能メトリックのセットと、クライアントのための性能メトリックのセットの向上又は強化のための推奨とを生成するためのプロセス５００の例示的な例を示す。 [0014]図６は、少なくとも１つの実施形態による、これらの性能メトリックを様々な性能メトリックにわたってターゲット及び／又は業界団体と比較することによってクライアントの性能をベンチマーキングするためのプロセス６００の例示的な例を示す。 [0015]図７は、少なくとも１つの実施形態による、１つ以上のメトリックに基づいてクライアントに対する性能概要を提示するためのユーザインターフェースの例示的な例を示す。 [0016]図８は、少なくとも１つの実施形態による、異なる性能メトリックに対応する計算されたスコアを提示するためのユーザインターフェースの例示的な例を示す。 [0017]図９は、少なくとも１つの実施形態による、可能なエントリポイントによって、締めくくられた会話量への洞察を提示するためのユーザインターフェースの例示的な例を示す。 [0018]図１０は、少なくとも１つの実施形態による、特定の業務（line of business）についての様々な性能メトリックを提示するためのユーザインターフェースの例示的な例を示す。 [0019]図１１は、少なくとも１つの実施形態による、主要業績評価指標（ＫＰＩ）を業界ベンチマークと比較するために使用可能な情報を提供するためのユーザインターフェースの例示的な例を示す。 [0020]図１２は、少なくとも１つの実施形態による、１つ以上の性能メトリックを向上するための推奨又は強化を提示するためのユーザインターフェースの例示的な例を示す。 [0021]図１３は、少なくとも１つの実施形態による、指定された日付範囲にわたる締めくくられた会話及びエージェントログイン時間に対応するデータを提示するためのユーザインターフェースの例示的な例を示す。 [0022]図１４は、少なくとも１つの実施形態による、クライアント性能を駆動してもよい構成設定を表示するためのユーザインターフェースの例示的な例を示す。 [0023]図１５は、様々な実施形態による、バスなどの接続を使用して互いに電気通信している様々なコンポーネントを含むコンピューティングシステムアーキテクチャの例示的な例を示す。 [0024]図１６は、様々な実施形態が実現されてもよい環境の例示的な例を示す。

[0025] 添付の図面では、同様のコンポーネント及び／又は特徴は、同じ参照ラベルを有することができる。さらに、同じタイプの様々なコンポーネントは、参照ラベルの後に、ダッシュと、同様のコンポーネント同士を区別する第２のラベルとを続けることによって区別できる。本明細書において第１の参照ラベルのみが使用される場合、その説明は、第２の参照ラベルにかかわらず、同じ第１の参照ラベルを有する同様のコンポーネントのうちの任意の１つに適用可能である。

[0026]次の説明は、実施形態の好ましい例のみを提供しており、本開示の範囲、適用可能性、又は構成を限定することを意図するものではない。むしろ、実施形態の好ましい例の次に続く説明は、実施形態の好ましい例を実現することを可能にする説明を当業者に提供する。様々な変更が、添付の特許請求の範囲に記載されるような主旨及び範囲から逸脱することなく、要素の構成及び機能において行われることができることが理解される。

[0027]図1は、少なくとも１つの実施形態による、意図に対する解決策を決定し、エージェント１１２によって提供することができる応答を生成するために、顧客１０８からの意図が評価される環境１００の例示的な例を示す。特定の実施形態は、顧客１０８及びエージェント１１２が顧客サービスメッセージングセッションなどの通信セッションに関与することを可能にするために、（顧客１０８によって操作されることができる）ネットワークデバイス１１０と（エージェント１１２によって操作されることができる）端末デバイス１１４との間の接続を確立することに関する。ネットワークデバイス１１０は、移動体デバイス（例えば、スマートフォン、タブレットコンピュータ等）、コンピューティングデバイス（例えば、ラップトップ、パーソナルコンピュータ、サーバ等）、及びこれらに類するものを含んでもよい。

[0028]いくつかの実施形態では、顧客１０８は、顧客サービスコールセンター１０２のエージェント１１２によって解決又は別様に処理されることができる問題又は要求を提示するために、顧客サービスコールセンター１０２にアクセスする人であることがある。例えば、顧客１０８は、自分の代わりにサービスが実行されることに期待を寄せる人であることがある。そのようなサービスは、答えられる質問、タスク又はサービスを用いてエージェント１１２から援助を得ること、取引を行うことなどを含むことができる。

[0029]顧客サービスコールセンター１０２は、顧客１０８などのその顧客にサービス及び／又は商品を提供するクライアント又は他の組織の顧客に支援を提供するためのオンラインサービスを提供、運営、又は実行するエンティティであることがある。例えば、顧客サービスコールセンター１０２は、クライアント又は他の組織の代わりに顧客サポートを提供することができる。いくつかの実施形態では、顧客サービスコールセンター１０２は、クライアントの顧客によって提示された要求及び／又は問題を処理するために、クライアント又は他の組織によって提供される。

[0030]顧客サービスコールセンター１０２は、１つ以上のエージェント１１２を用いることができる。エージェント１１２は、オンラインサービスに関するサポート又は情報（例えば、オンラインストアで入手可能な製品についての情報）を顧客１０８に提供すること、及び／又は顧客１０８によって提示された任意の問題又は要求（例えば、払い戻しの要求、トラブルシューティング要求等）に対処することを課されたサポートエージェント又は販売員等の人であることがある。エージェント１１２は、クライアントと提携していてもよいし、又は提携していなくてもよい。各エージェントは、１つ以上のクライアントに関係付けられることができる。いくつかの非限定的な例では、顧客１０８は、パーソナルコンピューティングデバイスからオンラインストアで買い物する人であることがあり、クライアントは、オンラインで製品を販売する企業であることがあり、エージェント１１２は、この企業によって雇用された販売員であることがある。様々な実施形態において、顧客１０８、クライアント、及びエージェント１１２は、他の個人又はエンティティであることがある。

[0031]一実施形態では、顧客サービスコールセンター１０２は、顧客１０８からの着信意図を処理するように構成された意図処理システム１０４を実現する。意図処理システム１０４は、顧客１０８から顧客サービスコールセンター１０２への（例えば、抽出又は受信された）メッセージをアセスして、要求又は問題を解決するためにエージェント１１２に関与してもよい。意図の例は、（例えば）トピック、感情、複雑さ、及び緊急性を含むことができる。トピックは、主題、製品、サービス、技術的問題、使用質問、苦情、払戻要求又は購入要求などを含むことができるが、これらに限定されない。意図は、例えば、（例えば、キーワード、文構造、反復語、句読点文字及び／又は非冠詞語を識別することによる）メッセージの意味分析、（例えば、選択された１つ以上のカテゴリを有する）ユーザ入力、及び／又はメッセージに関係付けられた統計値（例えば、タイピング速度及び／又は応答待ち時間）に基づいて決定されることができる。

[0032]一実施形態では、意図処理システム１０４は、顧客１０８からの着信メッセージを分析して、要求又は問題が共有される文脈を決定する。さらに、意図処理システム１０４は、緊急性のレベルがどの程度であるか、顧客１０８がどの程度ストレスを受けているか、要求又は問題を処理する際に時間的制約があるかどうか、及びこれらに類するものを決定する。例えば、メッセージが顧客のテレビに関連する問題に対処するための要求を含み、顧客１０８が見たいと望む大きなゲームが始まろうとしていることを顧客１０８が示した場合、意図処理システム１０４は、この問題に対処する際に時間的制約があり、顧客１０８があるレベルのストレス又は不安を示しているかもしれないと決定することができる。

[0033]一実施形態では、意図処理システム１０４は、新しいメッセージ又は顧客発話を取得したことに応答して、顧客プロファイルリポジトリ１１６から顧客プロファイルを取得する。顧客プロファイルリポジトリ１１６は、顧客サービスコールセンター１０２によって維持されてもよく、又はクライアントによって遠隔で維持されてもよい。顧客プロファイルは、顧客１０８についての履歴情報及び他のデータを含むことができ、これには、顧客１０８が有していた可能性のある他の要求又は問題に対処するための、顧客１０８と顧客サービスコールセンター１０２のエージェントとの間の過去の対話が含まれるが、これに限定されない。顧客プロファイルは、顧客１０８から取得されたメッセージの特性をより良く決定するために、意図処理システム１０４によって使用されてもよい。

[0034]一実施形態では、意図処理システム１０４は、意図とともに、意図又は顧客発話への応答を構築するためにエージェント１１２によって使用できる他の情報を、エージェント１１２に提供する。いくつかの例では、意図処理システム１０４は、顧客１０８から肯定的な応答を生成することができる要素を組み込むベースライン応答をエージェント１１２に提供することができる。例えば、意図処理システム１０４は、エージェント１１２からの応答が、特定の基礎（例えば、伝達されるメッセージ）、終了（例えば、問題／要求への解決のタイムラインなどのメッセージの結果）、及び／又は顧客１０８にアピールすることができる、もしくは顧客の懸念を緩和し、顧客のストレスレベルを低減することができる、応答に特色を提供する他の肯定的な要素を含むことになることを示すことができる。意図処理システム１０４によって提供される情報は、受信した意図に対処しながら、顧客の既知の又は知覚された選好に合わせて調整された応答を準備する際にエージェント１１２をガイドすることができる。

[0035]一実施形態では、エージェント１１２が顧客１０８に関与すると、顧客１０８は、顧客１０８とエージェント１１２との間で確立された通信セッションを介して追加の発話又は応答を提供することができる。これらの追加の発話は、これらの発話に対する応答のための推奨及びパラメータをさらに生成するために、意図処理システム１０４によって処理されてもよい。したがって、通信セッション中に、意図処理システム１０４は、新しい発話を評価し、顧客プロファイルの分析、新しい発話が行われた文脈、顧客１０８によって提示された元の意図、及び会話の他の特徴に基づいて、エージェント１１２が顧客１０８にどのように応答すべきかを決定することができる。いくつかの実施形態では、意図処理システム１０４は、応答を生成するために、顧客プロファイルとともに、意図及び他の顧客発話を入力として処理するために使用されてもよい機械学習モデル又は人工知能（ＡＩ）を含む。この応答は、エージェント１１２に提供されてもよく、エージェントは、この調整された応答を顧客１０８に提供してもよい。

[0036]一実施形態では、エージェント１１２は、仮想及び／又は人間のエージェントが顧客サービスコールセンター１０２の顧客に肯定的な会話体験を届けるのを支援するように設計されたフレームワークを使用してトレーニングされる。例えば、顧客サービスコールセンター１０２は、エージェントとの会話において顧客サービスコールセンター１０２の顧客によって表される重要な要素を正確に捕捉し、どのように最良に顧客に適切に応答するかを識別するために実行されるアクションのシーケンスを定義するエージェントトレーニングシステム１１８を含むことができる。エージェントトレーニングシステム１１８は、（例えば、顧客サービスコールセンター１０２によって提供される、顧客サービスコールセンター１０２に関係付けられたサードパーティサービスによって提供されるなどの）顧客サービスコールセンター１０２に関係付けられたコンピューティングデバイスを使用して実現されてもよい。エージェントトレーニングシステム１１８は、流動的で自然な会話を維持しながら、エージェントが顧客の意図及び期待を満たすことを可能にするために、（明示的であるか暗示的であるかにかかわらず）状況的要素及び感情的要素に対処するように構成されてもよい。

[0037]エージェントトレーニングシステム１１８は、「分析、識別、応答」フレームワークの下で動作することができ、それを通して、エージェントトレーニングシステム１１８は、顧客サービスコールセンター１０２の顧客により良好に応答するためにエージェント１１２によって行われることができる任意の向上を識別することができる。例えば、一実施形態では、エージェントトレーニングシステム１１８は、エージェント１１２と顧客サービスコールセンター１０２の顧客との間の以前の対話に対応する履歴データを処理する。この履歴データは、顧客サービスコールセンター１０２によって維持される顧客関係管理（ＣＲＭ）システム（図示せず）から、又はエージェントトレーニングシステム１１８によって維持される履歴会話データストアから取得されてもよい。エージェントトレーニングシステム１１８は、エージェント１１２と顧客サービスコールセンター１０２の顧客との間の会話に対応する履歴会話データとともに、顧客プロファイルリポジトリ１１６からの顧客の対応する顧客プロファイルを処理して、顧客応答内の明示的要素及び暗示的要素を識別し、これらの応答を文脈化することができる。

[0038]一実施形態では、エージェントトレーニングシステム１１８は、機械学習アルゴリズム又は人工知能を使用して、エージェント１１２が取ることができるアクションを識別して、顧客応答内の明示的要素及び暗示的要素を認識する能力を向上させ、これらの要素を文脈化して、それらが関係してもよいもの（例えば、関係付けられた意図など）を決定する。機械学習アルゴリズム又は人工知能は、教師ありトレーニング技術を使用してトレーニングされてもよい。例えば、機械学習アルゴリズム又は人工知能は、明示的要素及び暗示的要素を識別し、これらの要素を文脈化するために、サンプル会話と、サンプル会話に基づいて機械学習アルゴリズム又は人工知能によって生成された推奨に関して提供される対応するフィードバックとを使用してトレーニングされてもよい。例示的な例として、機械学習アルゴリズム又は人工知能の評価者（例えば、エージェントトレーニングシステム１１８の管理者、顧客サービスコールセンター１０２のエージェント、そのような評価を実行するために紹介された独立した当事者など）は、提供された推奨をレビューし、推奨が顧客に対するエージェント応答の向上につながるかどうかを決定することができる。いくつかの例では、評価者は顧客の役割を果たすことができ、顧客は、新しいメッセージをサンプルエージェントに送信して、これらのメッセージへの応答に関するサンプルエージェントの性能が、提供された推奨の結果として向上したかどうかを決定することができる。例えば、評価者は、提供された推奨に基づいて、エージェントが評価者の意図を迅速に識別し、肯定的な方法で意図に対処する際に評価者に有利であった応答を提供することができたかどうかを決定してもよい。このフィードバックに基づいて、機械学習アルゴリズム又は人工知能は、エージェントに利用可能な過去の会話データに基づいてエージェントにより正確な又は向上された推奨を提供するように再トレーニングされてもよい。

[0039]一実施形態では、機械学習アルゴリズム又は人工知能の出力は、顧客のメッセージの検出された暗示的要素及び明示的要素が何に関係するかをエージェントが識別すると、エージェントによって使用されてもよい条件付きロジックを提供する。この条件付きロジックは、顧客のメッセージの検出された暗示的要素及び明示的要素に基づいて識別された意図に対処するための異なる要素を導入することができる。例えば、条件付きロジックは、顧客の意図（例えば、顧客が顧客サービスコールセンター１０２へのメッセージングを開始したときに顧客が何を要求又は希望しているか）に対処するように機能するコンポーネントと、顧客によって行われる可能性のある次の質問又はアクションに対応する別のセクションを構成するコンポーネントとを含むことができる。これらの要素に加えて、機械学習アルゴリズム又は人工知能は、フラストレーション、失望、ストレス、喜び、幸せ、満足等の会話における肯定的又は否定的な感情的要素に適切に反応するための推奨を提供してもよい。

[0040]顧客のメッセージの暗示的要素及び明示的要素を識別し、決定し、これらの要素に基づいて意図を識別し、会話内の感情的要素に応答するための推奨を提供することに加えて、機械学習アルゴリズム又は人工知能は、エージェント応答が提示される前にエージェント応答の定性的及び定量的態様をさらにアセスすることができる。例えば、エージェント１１２が、提示されることになる顧客メッセージに対する応答を生成するとき、エージェントトレーニングシステム１１８は（機械学習アルゴリズム又は人工知能を使用して）、応答をリアルタイムで評価して、すべての識別された要素がエージェント１１２によって提案された応答において対処されたかどうかを決定することができる。さらに、エージェントトレーニングシステム１１８は、識別された要素及び顧客１０８による努力の肯定的な知覚の可能性に従って、応答を向上するために必要と考えられる任意のフィードバックを提供してもよい。

[0041]エージェントトレーニングシステム１１８は、通信セッションの着信データストリーム及び／又は会話のトランスクリプトに基づいて、エージェント１１２がエージェントトレーニングシステム１１８によって準備された提案又は応答に従ったかどうかを決定してもよい。エージェントトレーニングシステム１１８は、エージェント１１２がエージェントトレーニングシステム１１８によって準備された提案又は応答に従わなかったと決定した場合、エージェントトレーニングシステム１１８は、エージェント１１２又はエージェント１１２の監督者に通知を送信して、エージェント１１２の性能を向上するために行われる必要なステップを示すなど、１つ以上の是正措置を実行することができる。

[0042]一実施形態では、前述の機械学習アルゴリズムは、新しい会話からの文脈、明示的要素、及び暗示的要素とともに、これらの新しい会話中に交換されるメッセージ、これらの新しい会話中にエージェントに提供される推奨に対応するデータ（例えば、推奨への準拠率など）、及びこれらの新しい会話のためのエージェント性能に対応するメトリックに基づいて再トレーニングされる。例えば、機械学習アルゴリズムが準拠されていない推奨を生成しており、エージェント性能が向上を示している場合、機械学習アルゴリズムは、結果として向上した性能をもたらすエージェントによって実行されるアクションに対応するより正確な又は適切な推奨を生成するように再トレーニングされてもよい。代替的に、エージェントが提供された推奨に準拠しており、エージェントの性能がこれらの会話について向上を示した場合、機械学習アルゴリズムは、同様の推奨の生成を強化するようにトレーニングされてもよい。

[0043]一実施形態において、顧客サービスコールセンター１０２は、顧客１０８とエージェント１１２との間の通信セッション中のエージェントの応答に関する顧客１０８のフィードバックに基づいてエージェント１１２の性能を決定するように構成された性能監視システム１０６を含む。例えば、性能監視システム１０６は、通信セッションの着信データストリーム及び／又は顧客１０８とエージェント１１２との間の会話のトランスクリプトを処理して、顧客１０８が各エージェント１１２の発話にどのように応答したかを決定することができる。

[0044]一実施形態では、性能監視システム１０６は、意図処理システム１０４及び／又はエージェントトレーニングシステム１１８によって準備された提案又は応答に対するエージェントの整合性に関して、エージェントトレーニングシステム１１８にフィードバックを提供する。さらに、性能監視システム１０６は、顧客１０８とエージェント１１２との間の通信セッションに関して顧客１０８によって提供される任意のフィードバックをエージェントトレーニングシステム１１８に提供することができる。例えば、通信セッションの終わりに、又は通信セッション中の任意の時点で、性能監視システム１０６は、顧客１０８に要求を送信して、顧客の意図又は他の問題に対処する際のエージェント１１２の性能を評価することができる。性能監視システム１０６は、エージェント１１２が顧客の意図又は他の問題に肯定的な方法で効果的に応答することができたかどうかを示すように顧客１０８に促すことができる。さらに、性能監視システム１０６は、通信セッションに関するその感情を示すように顧客１０８に促すことができる。例えば、顧客１０８が通信セッションにわたってエージェント１１２と否定的な経験をした場合、顧客１０８は、エージェントの向上のため、及び／又は顧客の意図もしくは他の問題に対処するためにフィードバックを提供することができる。あるいは、顧客１０８が通信セッションにわたってエージェント１１２との肯定的な経験を有する場合、顧客１０８は、顧客の意図又は他の問題を識別し、意図又は他の問題に対処する際にエージェント１１２が何を正しく行ったかを示すフィードバックを提供することができる。

[0045]いくつかの実施形態では、性能監視システム１０６は、通信セッション中に顧客１０８がエージェントの発話にどのように応答したかに基づいて、顧客１０８の顧客プロファイルを更新する。例えば、性能監視システム１０６は、通信セッションの着信データストリーム及び／又は会話のトランスクリプトを評価して、顧客のストレス又は不安レベルが、意図に対するエージェントの応答の結果として減少したかどうかを決定することができる。これは、顧客ストレス又は不安に関係するものとして分類される顧客１０８の既知の意味パターンと比較した顧客の発話の意味分析を含むことができる。顧客の感情のそのような変化が検出された場合、性能監視システム１０６は、エージェントの発話が顧客１０８を落ち着かせるか、又はそうでなければ顧客１０８を鎮めるのに有効であったことを示すように顧客１０８の顧客プロファイルを更新することができる。

[0046]一実施形態では、性能監視システム１０６はまた、通信セッションの着信データストリーム及び／又は会話のトランスクリプトを評価して、意図がエージェント１１２によって満たされたかどうかを決定する。例えば、性能監視システム１０６は、顧客１０８が、その要求又は問題がエージェント１１２によって成功裏に解決されたことの評価又は他の肯定応答を提供したかどうかを決定することができる。そうである場合、性能監視システム１０６は、意図処理システム１０４によって生成された応答が問題又は要求を解決するのに有効であったことを示すことができる。しかしながら、性能監視システム１０６が、意図が満たされなかったと決定した場合、性能監視システム１０６は、意図処理システム１０４を更新して、意図処理システム１０４に、意図を満たすために使用されてもよい代替応答を生成させてもよい。これは、顧客意図に対する応答を生成するために意図処理システム１０４によって利用される機械学習モデル又はＡＩをトレーニングするために使用されてもよいトレーニングデータを更新することを含んでいてもよい。

[0047]性能監視システム１０６は、他の機構を通じて顧客フィードバックを取得することができる。例えば、通信セッションの終わりに、顧客１０８は、エージェント１１２の性能に関するフィードバックを提供するために、顧客１０８によって記入されてもよいフォーム又は調査を提供されてもよい。顧客１０８は、エージェント１１２が会話ギルディングを効果的に使用し、会話の感情的側面に応答することができたかどうかを示すように促されてもよい。さらに、顧客１０８は、エージェント１１２が顧客の意図をうまく満たすことができたかどうかを決定するように促されてもよい。性能監視システム１０６は、顧客１０８からのこのフィードバックを使用して、上述したようにエージェント１１２を評価することができる。

[0048]一実施形態では、エージェント又は個人のグループのトレーニング及びコーチングの機会を正確に識別し、それらがクライアント動作の全体的な性能にどのように影響を与えるか、及び是正活動に優先順位を付けるために、性能監視システム１０６は、各エージェント１１２の性能を追跡し、この性能を顧客サービスコールセンター１０２の既存の性能メトリックと相関させる。例えば、一実施形態では、性能監視システム１０６は、各エージェント１１２の性能に対応する詳細なメトリックをエージェントトレーニングシステム１１８に提供して、顧客メッセージに応答する際にこれらのエージェントの性能を向上するために実行されてもよい一連のアクションを識別する。例示的な例として、エージェントトレーニングシステム１１８は、１つ以上の会話に対するエージェント１１２の性能に対応する詳細なメトリックとともに、これらの１つ以上の会話に対応するトランスクリプト又は交換されたメッセージを、機械学習アルゴリズム又は人工知能への入力として使用して、エージェント１１２によって実行されてもよい性能向上の推奨を生成し、顧客意図を識別して顧客から肯定的な応答を生成する可能性が高い形でこれらの意図に応答する能力を向上することができる。場合によっては、性能監視システム１０６は、エージェントトレーニングシステム１１８によって提供される推奨及びトレーニングへのエージェント１１２による準拠を追跡することができ、それによって、性能監視システム１０６は、顧客サービスコールセンター１０２に関係付けられた顧客に肯定的な顧客体験を提供する際に、これらの推奨及びトレーニングへの準拠をエージェント１１２の性能に相関させることができる。

[0049]一実施形態では、性能監視システム１０６は、クライアントの様々な性能メトリックを追跡するとともに、クライアントの性能を競合他社の性能と比較するために使用することができるポータルをクライアントに提供する。性能監視システム１０６は、ポータル又は他のインターフェースを介して、効率性と有効性とのバランスをとるメトリック駆動型の最良の実践を提示してもよい。例えば、性能監視システム１０６は、異なる測定ピラー（例えば、動作、自動化、意図、販売など）に整合された対話型ダッシュボードのセットを提供するユーザインターフェースを提供することができる。これらの測定ピラーのそれぞれは、１次及び２次ＫＰＩが成功及びクライアント性能にどのように影響を与えるかを明確にするために使用されるダッシュボードモジュール及び有効化フレームワークを含んでいてもよい。ユーザインターフェースは、業界ベンチマーク、アカウント設定、及びメトリック相関等の関連文脈を伴う異なるクライアントメトリックの統合されたビューを提供してもよい。

[0050]顧客サービスコールセンター１０２に関係付けられたエージェントの性能への洞察を提供するために性能監視システム１０６によって利用されるフレームワークは、努力、感情、効率性、及び有効性に基づいて生成されたメトリックに依存してもよい。例えば、努力に関係付けられたメトリックは、顧客サービスコールセンター１０２のエージェント又は顧客サービスコールセンター１０２に関与する他のクライアントによって顧客の意図に対処するために必要とされる努力の量に対応してもよい。例えば、顧客の意図及び問題に対処する際のエージェントの性能に基づいて、性能監視システム１０６は、顧客の意図及び問題に対処するためにエージェントによって必要とされる努力の量を決定し、この努力の量に対応する１つ以上のメトリックを計算することができる。例示的な例として、顧客１０８が、彼らの問題に対処するために顧客サービスコールセンター１０２との繰り返しのコンタクトを必要とした場合、彼らの問題に対処するためにエージェント間で複数回の転送を経験した場合、及び／又は彼らの問題に対処したためにかなりの待ち時間を経験した場合、性能監視システム１０６は、顧客の意図及び他の問題に対処するために必要な大量の努力に対応するスコアを割り当てることができる。例えば、性能監視システム１０６は、必要とされる高い量の努力に対応する高いスコアを割り当てることができる一方で、低いスコアは、顧客の意図又は問題に対処するためにエージェントによって必要とされる低い量の努力に対応することができる。

[0051]同様に、性能監視システム１０６は、顧客サービスコールセンター１０２の顧客又は顧客サービスコールセンター１０２に関係付けられた他のクライアントの間の感情のレベルを決定して、エージェントの感情スコアを計算することができる。例えば、キャンセル及び請求紛争にかなりの数の会話が関連しており、これらが感情的に変化する傾向が高く、エージェントの苦情又はエスカレーションの数がより多くなる場合、性能監視システム１０６は、顧客のネガティブな感情的負荷に対応する感情スコアを計算することができる。代替的に、かなりの数の会話が肯定的に解決され、それによって顧客が解決に満足するようになった場合、性能監視システム１０６は、顧客に対する肯定的な感情的負荷に対応する感情スコアを計算することができる。

[0052]性能監視システム１０６は、顧客サービスコールセンター１０２又は顧客サービスコールセンター１０２に関係付けられた他のクライアントの効率性スコアを計算するために、経時的な顧客の意図又は問題を処理する際のエージェントの効率性のレベルをさらに決定することができる。性能監視システム１０６は、例えば、利用可能なリソース（例えば、エージェント可用性など）と需要（例えば、顧客サービスコールセンター１０２との顧客コンタクトなど）との間のバランスを重み付けすることができる。例えば、エージェントが低いオンラインレートを有し、それによってエージェントが１日／シフトの間の限られた期間中に新しい会話を受信することしかできない場合、性能監視システム１０６は、エージェント間の低いレベルの効率性に対応する効率性スコアを割り当てることができる。代替的に、エージェントが高いオンラインレートを有し、１日／シフトの間のより広い範囲の時間中に新しい会話を受信することができる場合、性能監視システム１０６は、エージェント間のより高いレベルの効率性に対応する効率性スコアを割り当てることができる。

[0053]性能監視システム１０６によって利用されるフレームワークは、利用可能な能力及びツールを活用する顧客意図及び問題に対処する際のエージェントの有効性のレベルの決定をさらに提供することができる。例えば、性能監視システム１０６が、エージェントの性能の評価に基づいて、エージェントが会話を終えるための、又はエージェント間で会話を分配するための自動化ツールを活用していないと決定する場合、性能監視システム１０６は、エージェント間の低レベルの有効性に対応する有効性スコアを割り当てることができる。同様に、性能監視システム１０６が、顧客の意図又は問題に対する解決策のエンジニアリングのための時間をほとんど又は全く残さずに、エージェントが平均を上回る高速レートで複数のメッセージを送信していると決定する場合、性能監視システム１０６は、エージェント間の低レベルの有効性に対応する有効性スコアを割り当ててもよい。

[0054]上述のように、性能監視システム１０６は、ポータル又は他のインターフェースを介して、顧客サービスコールセンター１０２の管理者又は顧客サービスコールセンター１０２に関係付けられた他のクライアントに、上述のスコア及び他のメトリックを提供することができる。一実施形態では、これらのスコア及び他のメトリックに加えて、性能監視システム１０６は、機械学習アルゴリズム又は人工知能を利用して、すべての会話動作のアセスメントを自動的に提供し、これは、エージェント性能の向上のためのデータ駆動意思決定につながることができる。例えば、性能監視システム１０６は、エージェントと顧客との間の会話に対応するメトリック及び特性（例えば、会話トピック又は意図、顧客調査又はフィードバック、メッセージングレートメトリック、エージェント可用性メトリック、自動化ツール又は能力の使用に関係付けられたメトリックなど）、実際の会話トランスクリプト、及びこれらに類するものを、機械学習アルゴリズム又は人工知能への入力として提供して、エージェント性能のアセスメントを取得し、向上のための可能な解決策又は推奨を識別することができる。例えば、機械学習アルゴリズム又は人工知能の出力は、エージェント及び顧客の間で何が起こったか又は起こっているのかの記述を提供することができ、その結果、これらのエージェントの現在の性能レベルがもたらされる。さらに、機械学習アルゴリズム又は人工知能の出力は、何が起こったか又は起こっているかに関する理論的根拠に対応する診断情報を提供することができる。例えば、エージェントは、応答するのに時間がかかりすぎて、通常、タイムリーに顧客問題を識別することができないか、又は他の方法で顧客問題に対処することができないので、顧客がエージェントによって提供された応答に満足しないことを出力は示すことができる。

[0055]いくつかの事例では、エージェント性能のアセスメントを提供し、向上のための解決策及び推奨を識別するために性能監視システム１０６によって利用される機械学習アルゴリズムは、提供された解決策及び推奨の準拠又は無視から結果として生じるエージェントのための更新された性能メトリックに基づいて再トレーニングされてもよい。例えば、クライアントは、提供された解決策及び推奨のインプリメンテーションから結果として生じるエージェント性能に関するフィードバックを提供することができる。このフィードバックは、機械学習アルゴリズムを再トレーニングして、アルゴリズムを強化する（例えば、解決策及び推奨への準拠がエージェント性能の著しい向上につながった）か、又はアルゴリズムを再トレーニングして、より正確もしくは適切な解決策及び推奨を提供する（例えば、解決策及び推奨への準拠がエージェント性能の変化をもたらさなかったか、又は著しく悪化させた）ために使用されてもよい。いくつかの例では、性能監視システム１０６は、エージェント性能と提供された解決策及び推奨への準拠との間に相関があるかどうかを決定するために、経時的なエージェント性能とともに、提供された解決策及び推奨への準拠を評価することができる。この評価に基づいて、性能監視システム１０６は、機械学習アルゴリズムを再トレーニングして、エージェント性能に基づいてより良い解決策及び推奨を提供することができる。

[0056]顧客－エージェント会話が直面する問題及びこれらの問題の背後にある理由の説明を提供することに加えて、機械学習アルゴリズム又は人工知能は、顧客体験を向上するためにこれらの問題をどのように修正するかについての１つ以上の推奨を提供することができる。例えば、エージェントが顧客に応答するのに時間がかかりすぎ、顧客の問題をタイムリーに識別することができないために顧客が満足しない上記の例を使用して、機械学習アルゴリズム又は人工知能は、問題又は意図を識別するために顧客メッセージを処理するように構成されたツールなどの自動化されたツールを使用して、エージェントがこれらの問題をよりよく識別するための是正トレーニングを推奨することができる。そのようなツールがすでに実現されており、エージェントがこれらのツールを効果的に使用していない場合、機械学習アルゴリズム又は人工知能は、顧客の意図及び問題を識別し、対処するための適切な推奨をエージェントに提供するために、これらのツールをどのように効果的に利用するかについてエージェントがトレーニングされること、又は代替として、これらのツールを自動的に使用してすべてのメッセージを処理させることを推奨してもよい。

[0057]一実施形態では、性能監視システム１０６は、機械学習アルゴリズム又は人工知能を使用して、ポータル又は他のインターフェースを介して、前述の推奨が実現される場合のエージェントの性能の向上に関する予測をさらに提供することができる。例えば、機械学習アルゴリズム又は人工知能は、提供された推奨が実現される場合、努力、感情、効率性、及び有効性に対応するメトリックがあるマージンだけ向上できることを示してもよい。機械学習アルゴリズム又は人工知能は、識別された問題の説明、なぜこれらの問題が発生しているか又は発生したかを説明する診断情報、及びこれらの問題に対処するための推奨と併せて、ポータル又は他のインターフェースを介して提示されてもよい、数値メトリック値（例えば、「効率性が５６％向上する」等）及び／又は記述話術（例えば、「エージェント効率性は劇的に増加するはずである」）を使用して、この予測を提供してもよい。

[0058]機械学習アルゴリズム又は人工知能は、教師ありトレーニング技術を使用して動的にトレーニングされてもよい。例えば、入力会話、フィードバック、エージェント性能メトリック、既知の向上手順、及び向上手順を適用又は無視した結果と生じる結果のデータセットを、機械学習モデルのトレーニングのために選択することができる。機械学習モデルを評価して、機械学習モデルに供給されたサンプル入力に基づいて、機械学習モデルが、顧客の意図又は問題に対処する際のエージェントの性能に基づいて期待される推奨及び予測を抽出しているかどうかを決定することができる。この評価に基づいて、機械学習モデルは、機械学習モデルが所望の結果を生成する可能性を増加させるように修正されてもよい。機械学習モデルはさらに、エージェント性能を向上するための機械学習アルゴリズム又は人工知能によって提供される評価、推奨、及び予測に関して、顧客サービスコールセンター１０２又はエージェント１１２に関係付けられたクライアントを含むクライアントからフィードバックを求めることによって動的にトレーニングされてもよい。例えば、顧客サービスコールセンター１０２が、機械学習アルゴリズム又は人工知能によって提供される１つ以上の推奨を実現する場合、性能監視システム１０６は、顧客との会話に対処する際のそれらの性能に基づいて、エージェント１１２に対応する新しい性能メトリックを取得することができる。性能監視システム１０６は、性能監視システム１０６によって識別された問題に対処するために顧客サービスコールセンター１０２及びエージェント１１２によってどのステップが取られたかを決定し、新しい性能メトリックが機械学習アルゴリズム又は人工知能によって示された予測された性能向上に対応するかどうかを決定することができる。この決定（分散などを含む）を使用して、機械学習アルゴリズム又は人工知能をさらにトレーニングして、性能向上のより正確な予測を提供し、性能向上のための推奨をより良く生成することができる。

[0059]一実施形態では、性能監視システム１０６はさらに、ベンチマークダッシュボード又は他のインターフェースを提供し、それを通して、管理者は、上記で説明されるもの等のさまざまなＫＰＩにわたって、ターゲット及び／又は業界団体に対するエージェントの性能を比較してもよい。例えば、管理者及び他のエンティティは、ベンチマーキングダッシュボードを介して、性能監視サービス１０６が様々なＫＰＩにわたる比較を生成することができる１つ以上のターゲット及び／又は業界団体を選択することができる。これらの１つ以上のターゲット及び／又は業界団体は、顧客との会話における彼らの性能に関して彼らのエージェント及び組織を評価するために性能監視システム１０６を利用することもできる。加えて、又は代替として、性能監視システム１０６は、他のソース（例えば、出版物、サードパーティ性能評価者等）を通して、これらの１つ以上のターゲット及び／又は業界団体についての種々の性能メトリックを取得してもよい。

[0060]性能監視システム１０６は、ベンチマーキングダッシュボードを介して、それらの性能メトリックを達成するために管理者によって選択された１つ以上のターゲット及び／又は業界団体によって取られたアクションに関連する任意の洞察を示してもよい。例えば、性能監視システム１０６は、特定のターゲットに対して、１つ以上のアクション（例えば、顧客意図を識別し、エージェントトレーニングシステム１１８からの推奨に準拠するようにエージェントをトレーニングするための自動化された能力を実現することなど）の実行前の性能メトリックと、１つ以上のアクションの実行後の性能メトリックとを提供することができる。これにより、管理者は、これらのアクションの影響を容易に決定することができ、そのエージェントに対して同様のアクションを実現することができるかどうかを決定することができる。いくつかの例では、性能監視システム１０６は、１つ以上のターゲット及び／又は業界団体が遭遇した問題、これらの問題に遭遇した理由、これらの問題に対処するためにどのようなアクションが取られたか又は推奨されたか、及びこれらのアクションの実行又は省略から生じる結果に関する洞察を提供することができる。

[0061]いくつかの事例では、性能監視システム１０６は、ベンチマーキングダッシュボードを介して、組織（例えば、顧客サービスコールセンター１０２など）についてのＫＰＩと、１つ以上のターゲット及び／又は業界団体についてのＫＰＩとの比較を、意図及び／又は業務によって提供することができる。例えば、性能監視システム１０６は、会話トランスクリプト及び組織の運営に関して提供される任意の情報（例えば、ビジネスユニット、組織によって典型的に対処される問題等）の評価を介して、性能監視システム１０６によって決定されるような特定の意図、意図のカテゴリ、及び／又は業務に従って、種々のエージェント１１２のための性能メトリックを集約してもよい。性能監視システム１０６は、ベンチマーキングダッシュボードを利用して管理者によって選択された特定の意図、カテゴリ、及び／又は業務に従って、組織と１つ以上のターゲット及び／又は業界団体とについての性能メトリック間の比較を生成してもよい。これは、異なる意図に対処する際、又は異なる業務に関連する問題に対処する際のエージェント１１２の性能に関して、より粒度の細かい詳細を提供することができる。

[0062]性能監視システム１０６は、クライアント（例えば、顧客サービスコールセンター１０２など）が報告単位を定義し、関連するセグメンテーションにデータを保存することを可能にする構成エンジンを含むことができる。これらのセグメンテーションは、経時的に持続することができ、フィルタを定義するために費やされる時間をなくし、したがって、洞察を生成するための時間を短縮する。クライアントはまた、２４／７ 動作、専用メッセージングエージェント、プログラム目標、およびこれらに類するもののような記述データを用いて、ユーザインターフェースを介して報告ユニットにラベル付けしてもよい。

[0063]図２は、少なくとも１つの実施形態による、顧客２０６とエージェント２１０との間の通信セッション中に取得された意図２１４、応答２１６、及びフィードバックが、エージェント２１０の性能を決定するために評価される環境２００の例示的な例を示す。顧客２０６及びエージェント２１０は、それぞれネットワークデバイス２０８及び端末デバイス２１２を介して確立された通信セッションに参加することができる。

[0064]環境２００において、顧客２０６は、通信セッションを介して意図処理システム２０２に意図２１４を提示することができる。例えば、図２に図示するように、顧客２０６は、自身のメインアカウントと自身が開設した新たなフレックスアカウントとの間でお金を移動しようとしていることを示している。意図処理システム２０２は、この意図２１４を評価して、顧客２０６が対処したいと望む問題を決定することができる。この特定の事例では、顧客２０６は、１つのオンラインアカウントから別のアカウントに資金を振り込むのにトラブルがある可能性がある。提供された意図２１４に基づいて、意図処理システム２０２は、要求又は問題が共有される文脈、緊急性のレベル、顧客２０６のストレス又は不安レベル、時間的制約があるかどうか、及びこれらに類するものを決定することができる。さらに、意図処理システム２０２は、意図２１４に基づいて、顧客２０６が解決したいものを識別することができる。

[0065]一実施形態では、識別された意図２１４に基づいて、意図処理システム２０２は、顧客２０６によって提供された問題又は要求を解決するために必要なプロセスを識別する。例えば、顧客２０６によって提供された意図２１４に基づいて、意図処理システム２０２は、顧客が資金をアカウントに振り込むことができる前に、アカウントが認証されなければならないことを決定してもよい。さらに、意図処理システム２０２は、アカウントを認証することがオンラインで実行できると決定してもよい。識別されたプロセスに基づいて、意図処理システム２０２は、意図を解決するだけでなく、肯定的な顧客体験につながるように顧客意図２１４に応答するための戦略を展開することができる。これは、応答のための基礎、応答の所望の結果、及び／又は応答に特色を与えるための任意の肯定的な追加を展開することを含んでいてもよい。提案された応答の内容は、エージェントとの過去の顧客対話の分析を介して顧客プロファイルにおいて識別されるような顧客選好に基づいて生成されてもよい。

[0066]意図処理システム２０２は、提案された応答戦略及び準備された応答をエージェント２１０に提供することができ、エージェント２１０は、これを使用して顧客意図２１４への応答を準備することができる。図２に図示されるように、エージェント２１０は、問題を理解していることを示す確認を提供することができ（「問題を確認しました」）、顧客２０６にとって魅力的であるかもしれない言葉を使用して、意図２１４に対する解決策を提供する。

[0067]一実施形態では、エージェントトレーニングシステム２０４は、顧客２０６とエージェント２１０との間の対話を監視して、エージェント２１０が、意図２１４に対処する際に意図処理システム２０２によって生成された提案された応答戦略に準拠しているかどうかを決定する。例えば、エージェントトレーニングシステム２０４は、任意の顧客の発話を評価して、意図２１４が満たされているかどうかを決定することができる。さらに、性能監視システム２０４は、エージェントの発話を評価して、これらが意図処理システム２０２によって提供される提案された応答及び戦略に適合するかどうかを決定することができる。例示的な例として、エージェントトレーニングシステム２０４は、顧客２０６が「できました」で応答したときに、顧客２０６がエージェントの命令を受け入れており、これらの命令に従って動作を成功裏に実行することができたと決定することができる。さらに、顧客２０６が「ありがとう！うまくいきました！」と応答したとき、エージェントトレーニングシステム２０４は、顧客２０６がエージェント２１０によって提供された支援に対して感謝しており、肯定的な経験をしたと決定することができる。この情報は、エージェント２１０の性能とともに、顧客プロファイルを更新して、どのように顧客の意図に最も良く応答するかを決定するための追加のデータポイントを提供するために使用されてもよい入力を測定するために使用されてもよい。

[0068]一実施形態では、エージェントトレーニングシステム２０４が、エージェント２１０が意図処理システム２０２によって提供された提案された応答戦略及び準備された応答に準拠していない、又はエージェントトレーニングシステム２０４によって提供された推奨に準拠していないと決定する場合、エージェントトレーニングシステム２０４は、エージェント２１０と通信して提案された応答戦略を強化し、エージェント２１０が特定の及び／又は同様の意図に関して顧客と通信するときに提案された応答戦略及び準備された応答を組み込むことをさらに奨励することができる。それに加えて、又はその代わりに、エージェントトレーニングシステム２０４は、エージェント２１０の管理者又は他の監督者に通知を送信して、エージェントトレーニングシステム２０４によって提供される推奨及び／又は意図処理システム２０２によって提供される提案された応答戦略及び準備された応答に準拠するようにエージェント２１０を促すために行われるべき任意の必要なステップを示してもよい。

[0069]上述したように、エージェントトレーニングシステム２０４は、仮想及び／又は人間のエージェントが肯定的な会話体験を顧客に届けるのを支援するように設計されたフレームワークを提供する。エージェントトレーニングシステム２０４は、「分析、識別、応答」フレームワークの下で動作してもよく、それを通して、エージェントトレーニングシステム２０４は、顧客により良く応答するためにエージェント２１０によって行われることができる任意の向上を識別してもよい。エージェントトレーニングシステム２０４は、エージェントと顧客との間の以前の対話に対応する履歴データを処理して、顧客応答内の明示的要素及び暗示的要素を識別し、これらの応答を文脈化することができる。このプロセスは、顧客のメッセージの検出された暗示的要素及び明示的要素が何に関係するかをエージェントが識別すると、エージェントによって使用されてもよい条件付きロジックの作成を結果としてもたらしてもよい。いくつかの実施形態では、この条件付きロジック及び識別された向上を使用して、意図処理システム２０２をさらに向上させて、意図処理システム２０２が顧客応答内の明示的要素及び暗示的要素をリアルタイムでよりよく識別し、エージェント２１０に提供されてもよい推奨された応答を動的に生成して、顧客の意図に対して肯定的な解決を生成する可能性が高い応答を顧客に提供する際にエージェント２１０をよりよくガイドすることを可能にすることができる。さらに、エージェントトレーニングシステム２０４は、エージェント応答が提示される前に、エージェント応答の質的及び量的な態様をアセスすることができる。エージェントトレーニングシステム２０４は、応答をリアルタイムで評価して、すべての識別された要素がエージェント２１０によって提案された応答において対処されたかどうかを決定することができる。

[0070]図３は、少なくとも１つの実施形態による、性能監視サービス３０２が組織の会話動作の性能を測定及び管理する環境３００の例示的な例を図示する。環境３００において、性能監視システム３０２は、顧客３１４と顧客サービスコールセンターに関係付けられたエージェント３１６との間の会話に基づいて生成された会話データ３１８を処理して、エージェント３１６に対する性能メトリックを生成し、これらのエージェント３１６の性能に関連する様々な洞察を提供することができる。一実施形態では、性能監視システム３０２は、会話データ３１８を処理してエージェント３１６の性能メトリックを生成するように構成された性能評価サブシステム３０４を含む。性能評価サブシステム３０４は、性能監視システム３０２に関係付けられたコンピューティングデバイスを使用して実現することができる。

[0071]性能評価サブシステム３０４は、会話データ３１８を周期的に取得してもよい。例えば、性能評価サブシステム３０４は、顧客３１４とエージェント３１６との間の既存の会話に関係付けられた記録を維持するタスクを課された顧客サービスコールセンター又は他のエンティティによって維持される会話データリポジトリ又はデータストアにアクセスしてもよい。会話データリポジトリ又はデータストアは、顧客サービスコールセンターによって処理される各会話に対応する会話トランスクリプト又は記録を含んでもよい。会話のトランスクリプト又は記録は、特定の意図又は問題に対処するために、会話の過程で特定の顧客と１つ以上のエージェントとの間で交換される様々なメッセージを含むことができる。したがって、会話のトランスクリプト又は記録は、特定の顧客、及び顧客が解決しようとした特定の意図又は問題に関係付けられてもよい。さらに、会話のトランスクリプト又は記録は、特定の意図又は問題に対処するために顧客に関与したエージェント又はエージェントのセット（例えば、仮想及び／又は人間）に関係付けられた識別情報を含んでもよい。したがって、性能評価サブシステム３０４は、既存の会話を処理し、既存の会話のためのエージェント又はエージェントのセットに関係付けられた性能メトリックを生成し、これらの性能メトリックを特定の意図、顧客、及び／又は業務に関係付けて、エージェントの性能と、特定の意図／意図のタイプ、顧客、及び／又は業務との間の相関関係を作成してもよい。

[0072]一実施形態では、性能評価サブシステム３０４は、会話の会話データ３１８をリアルタイムで処理して、特定の会話に関するエージェント又はエージェントのセットのリアルタイム性能を決定することができる。例えば、性能評価サブシステム３０４は、顧客３１４とエージェント３１６との間の既存の会話に対応するメッセージの着信データストリームを評価して、これらのエージェント３１６についての性能メトリックの動的セットをリアルタイムで決定するように構成されてもよい。例示的な例として、新しいメッセージが特定の顧客とエージェントとの間で交換されるとき、性能評価サブシステム３０４は、エージェントについての１つ以上の性能メトリックを計算することができる。性能評価サブシステム３０４が、新しいメッセージが交換されたことを検出した場合、性能評価サブシステム３０４は、エージェントについての１つ以上の性能メトリックを動的かつリアルタイムで再計算することができ、したがって、エージェントについての更新された性能メトリックを提供する。

[0073]上述したように、これらの性能メトリックは、努力、感情、効率性、及び有効性に結び付けられた顧客及びクライアントの関心に基づいて構築されたフレームワークに対応してもよい。例えば、努力に関係付けられたメトリックは、エージェント３１６によって顧客の意図に対処するために必要とされる努力の量に対応してもよい。例えば、顧客の意図及び問題に対処する際のエージェント３１６の性能に基づいて、性能評価サブシステム３０４は、顧客の意図及び問題に対処するためにエージェント３１６によって必要とされる努力の量を決定し、この努力の量に対応する１つ以上のメトリックを計算することができる。同様に、性能評価サブシステム３０４は、エージェント３１６との会話に関与している間の顧客３１４の間の感情のレベルを決定して、エージェントの感情スコアを計算することができる。性能評価サブシステム３０４はさらに、利用可能なリソース（例えば、エージェント可用性等）と需要（例えば、クライアントとの顧客コンタクト等）との間のバランスを重み付けすることによって、各エージェントに対する効率性スコアを計算するために、経時的な顧客意図又は問題を処理する際のエージェント３１６の効率性のレベルを決定してもよい。性能評価サブシステム３０４はさらに、利用可能な能力及びツールを活用する顧客意図及び問題に対処する際のエージェント３１６の有効性のレベルの決定を提供してもよい。

[0074]一実施形態では、性能評価サブシステム３０４は、性能監視システム３０２によって提供されるダッシュボード３１０を通して、各エージェント又はエージェントのセット３１６について計算された性能メトリックをクライアント３１２に提示する。性能評価サブシステム３０４は、クライアント３１２によって提供される１つ以上の構成設定に従って、計算された性能メトリックを提示することができる。例えば、業務又はエージェントの他の分類に従ってエージェントの集約された性能メトリックを見たいとクライアント３１２が示す場合、性能評価サブシステム３０４は、（クライアント３１２によって示されるように）業務又はエージェントの他の分類に従ってこれらの性能メトリックを集約し、集約された性能メトリックをダッシュボード３１０を介してクライアント３１２に提示することができる。いくつかの事例では、クライアント３１２は、ダッシュボード３１０を介して、特定のエージェント又はエージェントのセットについての性能メトリックを取得するためにクエリを提示してもよい。クエリに応答して、性能評価サブシステム３０４は、特定のエージェント又はエージェントのセットに関する性能メトリックを集約し、集約された性能メトリックを提供するようにダッシュボード３１０を更新することができる。一実施形態では、性能評価サブシステム３０４は、ダッシュボード３１０を動的かつリアルタイムで更新して、メッセージが顧客３１４とエージェント３１６との間でリアルタイムで交換されている間にエージェント３１６に関する最新の性能メトリックを提供することができる。これは、クライアント３１２が、任意のエージェントの性能をリアルタイムで追跡し、任意のエージェント問題が発生したときにそれらを潜在的に識別することが可能にする。

[0075]一実施形態では、これらの性能メトリックに加えて、性能監視システム３０２は、クライアント３１２に関係付けられたエージェント３１６の向上又は強化の領域を識別するために使用されてもよいエージェント性能への様々な洞察を生成してもよい。例えば、図３に図示するように、性能評価サブシステム３０４は、会話データ３１８とともに、エージェント３１６に関する計算された性能メトリックを性能洞察ジェネレータ３０８に送信して、これらの向上又は強化の領域を識別し、クライアント３１２の会話動作への任意の貴重な洞察を提供することができる。性能洞察ジェネレータ３０８は、性能監視システム３０２に関係付けられたコンピューティングデバイスを使用して実現されてもよい。

[0076]一実施形態では、性能洞察ジェネレータ３０８は、クライアントの会話動作のアセスメントを自動的に提供するために機械学習アルゴリズム又は人工知能を利用し、これは、エージェント性能の向上のためのデータ駆動意思決定につながることができる。例えば、性能洞察ジェネレータ３０８は、エージェントと顧客との間の会話に対応するメトリック及び特性（例えば、会話トピック又は意図、顧客調査又はフィードバック、メッセージングレートメトリック、エージェント可用性メトリック、自動化ツール又は能力の使用に関係付けられたメトリックなど）、実際の会話トランスクリプト、及び（性能評価サブシステム３０４によって提供され、クライアント３１２から直接取得されるなどのような）これらに類するものを機械学習アルゴリズム又は人工知能への入力として提供して、エージェント性能のアセスメントを取得し、向上のための可能な解決策又は推奨を識別することができる。機械学習アルゴリズム又は人工知能の出力は、エージェント３１６と顧客３１４との間で何が発生したか又は発生しており、これらのエージェント３１６に対する現在の性能レベルをもたらしたかの記述を提供することができる。さらに、機械学習アルゴリズム又は人工知能の出力は、何が起こったか又は起こっているかに関する理論的根拠に対応する診断情報を提供することができる。例えば、エージェント３１６が応答するのに時間がかかりすぎて、通常、タイムリーに顧客問題を識別することができないか、又は他の方法で顧客問題に対処することができないので、顧客３１４がエージェント３１６によって提供された応答に満足しないことを出力は示すことができる。

[0077]性能洞察ジェネレータ３０８は、顧客体験を向上するためにこれらの問題をどのように修正するかについての１つ以上の推奨をさらに提供することができる。例えば、エージェントが顧客に応答するのに時間がかかりすぎ、タイムリーに顧客問題を識別することができないために顧客が不満足である上記の例を使用して、性能洞察ジェネレータ３０８によって利用される機械学習アルゴリズム又は人工知能は、エージェントが自動化ツールを使用してこれらの問題をより良く識別するために、是正トレーニングを推奨することができる。そのようなツールがすでに実現されており、エージェント３１６がこれらのツールを効果的に使用していない場合、機械学習アルゴリズム又は人工知能は、顧客の意図及び問題を識別し、対処するための適切な推奨をエージェントに提供するために、エージェント３１６が、これらのツールを効果的に利用する方法についてトレーニングされること、又は代替として、これらのツールを自動的に使用してすべてのメッセージを処理させることを推奨してもよい。

[0078]エージェント性能を向上又は強化するための１つ以上の推奨を提供することに加えて、性能洞察ジェネレータ３０８は、エージェント３１６の性能が１つ以上の推奨を実現することによってどのように影響を受ける可能性があるかに関する予測を提供することができる。例えば、性能洞察ジェネレータ３０８は、提供された推奨が実現される場合、努力、感情、効率性、及び有効性に対応するメトリックがあるマージンだけ向上できることを示してもよい。性能洞察ジェネレータ３０８は、数値メトリック値（例えば、「効率性は５６％向上する」など）及び／又は記述話術（例えば、「エージェント効率性は劇的に増加すべき」）を使用してこの予測を提供することができ、これは、識別された問題の説明、これらの問題がなぜ発生しているか又は発生した理由を説明する診断情報、及びこれらの問題に対処するための推奨と併せてダッシュボード３１０を介して提示することができる。

[0079]上述したように、性能監視システム３０２は、ダッシュボード３１０を提供することができ、それを通して、クライアント３１２は、様々な性能メトリック（例えば、ＫＰＩ）にわたってターゲット及び／又は業界団体に対してそのエージェント３１６の性能を比較することができる。例えば、クライアント３１２は、ダッシュボード３１０を介して、性能監視サービス３０２が様々な性能メトリックにわたる比較を生成することができる１つ以上のターゲット及び／又は業界団体を選択することができる。これらの１つ以上のターゲット及び／又は業界団体は、顧客との会話における彼らの性能に関して彼らのエージェント及び組織を評価するために性能監視システム３０２を利用することもできる。加えて、又は代替として、性能監視システム３０２は、他のソース（例えば、出版物、サードパーティ性能評価者等）を通して、これらの１つ以上のターゲット及び／又は業界団体についての様々な性能メトリックを取得してもよい。

[0080]一実施形態では、性能監視システム３０２は、クライアント３１２ならびに他のターゲット及び／又は業界団体に関係付けられた性能データを比較データストア３０６に記憶する。例えば、性能評価サブシステム３０４がクライアント３１２に関係付けられたエージェントのセットの性能メトリックを計算するとき、性能評価サブシステム３０４は、クライアント３１２に関係付けられた性能メトリックを比較データストア３０６に記憶することができる。さらに、クライアント３１２に関係付けられたエージェント３１６の性能メトリックに基づいて性能洞察ジェネレータ３０８によって生成された洞察、推奨、及び予測は、エージェント３１６について性能評価サブシステム３０４によって計算された性能メトリックに関連して比較データストア３０６に記憶されてもよい。このプロセスは、性能監視システム３０２に関係付けられた各クライアントに対して実行されてもよく、その結果、比較データストア３０６は、各クライアントに対する比較可能な性能メトリック及び洞察を記憶してもよい。

[0081]加えて、比較データストア３０６は、性能監視システム３０２によってサービスされない可能性があるが、別の方法で性能監視システム３０２に関係付けられたクライアントの相対的性能を決定するためのベンチマークを提供する可能性がある他のターゲット及び／又は業界団体についてのデータを記憶することができる。例えば、性能監視システム３０２は、他のソース（例えば、出版物、サードパーティ性能評価者など）を通して、これらの１つ以上のターゲット及び／又は業界団体に対する様々な性能メトリックを取得することができる。例えば、性能監視システム３０２は、これらの１つ以上のターゲット及び／又は業界団体についての性能メトリックを取得するために、性能メトリックの他のソースに関係付けられた１つ以上のデータストリームに加入されてもよい。いくつかの例では、１つ以上のターゲット及び／又は業界団体に関係付けられた取得された性能メトリック又は他のデータが、クライアント３１２の性能メトリックとのベンチマーキング比較を提供する助けとなるフォーマットでない場合、性能監視システム３０２は、性能評価サブシステム３０４を使用して、取得された性能メトリック又は他のデータを処理して、本明細書で説明されるようなベンチマーキング目的のために使用できる１つ以上のターゲット及び／又は業界団体のための性能メトリックの新しいセットを生成してもよい。

[0082]ダッシュボード３１０を通して、性能監視システム３０２は、クライアント３１２によって選択された１つ以上のターゲット及び／又は業界団体によって取られたアクションに関連する任意の洞察を示して、異なる分類（例えば、業務、エージェントのタイプごとなど）に沿ったそれらの対応する性能メトリックを達成することができる。例えば、性能監視システム３０２は、特定のターゲットについて、ダッシュボード３１０を介して、１つ以上のアクション（例えば、顧客意図を識別するための自動化された能力を実現すること、エージェントトレーニングシステムからの推奨に準拠するようにエージェントをトレーニングすることなど）の実行前の特定のターゲットについての性能メトリックと、１つ以上のアクションの実行後の特定のターゲットについての性能メトリックとを提供することができる。これは、クライアント３１２が、これらのアクションの影響を容易に決定し、同様のアクションがそのエージェント３１６に対して実現されてもよいかどうかを決定することを可能にしてもよい。いくつかの例では、性能監視システム３０２は、性能洞察ジェネレータ３０８を介して、１つ以上のターゲット及び／又は業界団体が遭遇した問題、これらの問題が遭遇した理由、これらの問題に対処するためにどのようなアクションが取られたか又は推奨されたか、及びこれらのアクションの性能又は省略から生じる結果に関する洞察を提供することができる。

[0083]場合によっては、性能洞察ジェネレータ３０８によって提供され、ダッシュボード３１０を介して提示される洞察及び推奨に基づいて、クライアント３１２は、提供された洞察及び推奨がエージェントトレーニングシステムによって使用されることを要求して、エージェント３１６との会話において顧客３１４によって表される重要な要素を正確に捕捉し、顧客３１４に適切に応答する最良の方法を識別するために実行される一連のアクションを定義することができる。上述したように、エージェントトレーニングシステムは、エージェント３１６が流動的で自然な会話を維持しながら顧客の意図及び期待を満たすことを可能にするために、状況的要素及び感情的要素（明示的であるか暗示的であるかにかかわらず）に対処するように構成されてもよい。性能洞察ジェネレータ３０８によって提供される洞察及び推奨に基づいて、エージェントトレーニングシステムは、生成された洞察及び推奨に従ってエージェント３１６が顧客の意図及び期待を満たすことを可能にするために、これらの要素に対処するためにどのようなアクションをとることができるかを識別してもよい。

[0084]図４は、少なくとも１つの実施形態による、会話の間の顧客発話に応答してエージェントを支援するためのフレームワークを実現するためのプロセス４００の例示的な例を示す。プロセス４００は、顧客サービスコールセンターのエージェントトレーニングシステムによって実行されてもよい。エージェントトレーニングシステムは、上述したように、エージェントとの会話において顧客によって表現される重要な要素を正確に捕捉し、顧客に適切に応答する最良の方法を識別するために実行される一連のアクションを定義するように構成されてもよい。さらに、エージェントトレーニングシステムは、流動的で自然な会話を維持しながら、エージェントが顧客の意図及び期待を満たすことを可能にするために、（明示的であるか暗示的であるかにかかわらず）状況及び感情的要素に対処するように構成されてもよい。

[0085]ステップ４０２において、エージェントトレーニングシステムは、クライアントに関係付けられたエージェントと顧客との間の以前の対話に対応する履歴データを処理する。この履歴データは、クライアントによって維持されるＣＲＭシステムから、又はエージェントトレーニングシステムによって維持される履歴会話データストアから取得することができる。エージェントトレーニングシステム１１８は、エージェントとクライアントの顧客との間の会話に対応する履歴会話データとともに、顧客の対応する顧客プロファイルを処理して、顧客応答内の明示的要素及び暗示的要素を識別し、これらの応答を文脈化することができる。場合によっては、エージェントトレーニングシステムは、性能監視システムから、クライアントに関係付けられた性能メトリックを取得することができる。例えば、エージェントトレーニングシステムは、性能監視システムに問い合わせて、クライアントに関係付けられた各エージェントについての性能メトリックとともに、これらの性能メトリックの向上のために性能監視システムによって生成された任意の洞察又は推奨を取得することができる。

[0086]ステップ４０４において、エージェントトレーニングシステムは、履歴データにおいて指定された以前の対話における明示的要素及び暗示的要素を識別する。エージェントトレーニングシステムは、これらの以前の対話における明示的要素及び暗示的要素を抽出し、これらの対話中に対応する顧客によって提示される任意の意図及び／又は問題を識別するようにトレーニングされた機械学習アルゴリズム又は人工知能を使用して、これらの以前の対話を処理することができる。さらに、一実施形態では、エージェントトレーニングシステムは、これらの対話を評価して、これらの以前の対話中の顧客発話内の明示的要素及び暗示的要素を識別する際のエージェント性能を測定することができる。明示的要素及び暗示的要素を識別する際のこのエージェント性能は、対応するエージェントのための性能監視システムから取得される性能メトリックに対して評価されてもよく、それによって、会話内の明示的要素及び暗示的要素を識別する際のエージェント性能と、エージェントのために性能監視システムによって計算される性能メトリックとの間の相関を作成する。

[0087]ステップ４０６において、エージェントトレーニングシステムは、履歴データ内の重要な情報を使用して、以前の対話の識別された明示的要素及び暗示的要素を文脈化することができる。例えば、エージェントトレーニングシステムは、履歴データに記録された以前の対話に関係付けられた顧客によって提供された過去の通信セッションの以前の評価に対応するデータを取得することができる。これらの以前の評価に対応するデータは、特定の感情、圧力、意図、及びこれらに類するものを示してもよい顧客の通信の特定の要素を示してもよい。したがって、これらの履歴及び顧客発話から識別された要素に基づいて、エージェントトレーニングシステムは、顧客発話内の識別された要素が以前の対話の文脈における何に関係するかを決定することができる。

[0088]ステップ４０８において、エージェントトレーニングシステムは、顧客の発話の明示的要素及び暗示的要素に基づいて意図に対処するためのエージェントによって使用できる条件付きロジックを生成する。例えば、前述の機械学習アルゴリズム又は人工知能の出力は、顧客のメッセージの検出された暗示的要素及び明示的要素が何に関係するかをエージェントが識別すると、エージェントによって使用されてもよい条件付きロジックを提供することができる。この条件付きロジックは、顧客のメッセージの検出された暗示的要素及び明示的要素に基づいて識別された意図に対処するための異なる要素を導入することができる。例えば、条件付きロジックは、顧客の意図（例えば、顧客がクライアントへのメッセージングを開始したときに顧客が何を要求又は希望しているか）に対処する働きをするコンポーネントと、顧客によって取られるべきありそうな次の質問又はアクションに対応する別のセクションを構成するコンポーネントとを含むことができる。

[0089]ステップ４１０において、エージェントトレーニングシステムは、これらの要素に加えて、フラストレーション、失望、ストレス、喜び、幸せ、満足などの会話における肯定的又は否定的な感情的要素に適切に反応するための推奨を提供することができる。例えば、エージェントトレーニングシステムは、推奨として、会話内の異なる感情的要素に対応する顧客発話に対するサンプル応答を提供することができる。これらのサンプル応答は、顧客からのより肯定的な感情的応答を提供するために生成されてもよく、これは次に、会話に関して向上された顧客フィードバックにつながるかもしれない。１つ以上の推奨はさらに、エージェントに、特定の意図又は問題をより効率的に処理するために１つ以上の自動化ツールを利用する命令を提供することができる。例えば、顧客の意図が支払い請求に関連する場合、エージェントトレーニングシステムは、エージェントが自動請求システムを利用して顧客の意図に自動的に対処することを推奨することができる。

[0090]ステップ４１２において、エージェントトレーニングシステムは、エージェントトレーニングシステムによってクライアントに関係付けられたエージェントに提供される条件付きロジック及び推奨へのエージェントの準拠を監視することができる。例えば、エージェントトレーニングシステムは、エージェント応答が提示される前に、エージェント応答の質的及び量的側面をアセスしてもよい。エージェントが、提示されるべき顧客メッセージに対する応答を生成するとき、（機械学習アルゴリズム又は人工知能を使用する）エージェントトレーニングシステムは、応答をリアルタイムで評価して、すべての識別された要素がエージェントによって提案された応答において対処されたかどうかを決定することができる。さらに、エージェントトレーニングシステムは、識別された要素及び顧客による努力の肯定的な知覚の可能性に従って、応答を向上するために必要と考えられる任意のフィードバックを提供してもよい。さらに、エージェントトレーニングシステムは、通信セッションの着信データストリーム及び／又は会話のトランスクリプトを評価して、エージェントが、エージェントトレーニングシステムによって提供される推奨及び条件付きロジックに従っているかどうかを決定することができる。エージェントトレーニングシステムによって準備された推奨及び条件付きロジックにエージェントが従っていないとエージェントトレーニングシステムが決定した場合、エージェントトレーニングシステムは、エージェントの性能を向上するために行われるべき任意の必要なステップを示す通知をエージェント又はエージェントの監督者に送信することのような、１つ以上の是正措置を実行することができる。

[0091]図５は、少なくとも１つの実施形態による、性能メトリックのセットと、クライアントのための性能メトリックのセットの向上又は強化のための推奨とを生成するためのプロセス５００の例示的な例を示す。プロセス５００は、クライアントのエージェントに関係付けられた性能メトリックの向上のための洞察及び推奨を生成してもよい、性能監視システムによって実行されもよい。ステップ５０２において、性能監視システムは、顧客とクライアントに関係付けられたエージェントとの間の会話に基づいて生成された会話データを取得する。会話データは、ある期間にわたって顧客とクライアントに関係付けられたエージェントとの間で交換されたメッセージに対応するトランスクリプト又は他のデータを含んでいてもよい。例えば、特定の会話の会話データは、顧客によって提示された意図又は他の問題の解決のために顧客と１つ以上のエージェントとの間で交換されたメッセージを含むことができる。さらに、会話データは、顧客が対話した可能性がある１つ以上のエージェントの性能に関して顧客によって提供される任意のフィードバックを含むことができる。性能監視システムは、顧客とエージェントとの間の既存の会話に関係付けられた記録を維持するタスクを課されたクライアント又は他のエンティティによって維持される会話データリポジトリ又はデータストアにアクセスして、会話データを取得してもよい。

[0092]ステップ５０４において、性能監視システムは、会話データの評価に基づいてエージェントについての１つ以上の性能メトリック（例えば、ＫＰＩ）を計算することができる。
上述したように、これらの性能メトリックは、努力、感情、効率性、及び有効性に結び付けられた顧客及びクライアントの関心に基づいて構築されたフレームワークに対応してもよい。努力に関係付けられた性能メトリックは、エージェントによる顧客の意図に対処するために必要とされる努力の量に対応してもよい。同様に、性能監視システムは、エージェントの感情スコアを計算するために、エージェントとの会話に従事している間の顧客の間の感情のレベルを決定することができる。性能監視システムはさらに、利用可能なリソース（例えば、エージェント可用性等）と需要（例えば、クライアントとの顧客コンタクト等）との間のバランスを重み付けすることによって、各エージェントの効率性スコアを計算するために、経時的な顧客意図又は問題を処理する際のエージェントの効率性のレベルを決定してもよい。性能監視システムはさらに、利用可能な能力及びツールを活用して顧客の意図及び問題に対処する際のエージェントの有効性のレベルの決定を提供することができる。

[0093]ステップ５０６において、性能監視システムは、計算された性能メトリックに基づいて１つ以上の洞察及び／又は推奨を生成してもよい。例えば、一実施形態では、性能監視システムは、機械学習アルゴリズム又は人工知能を使用して、すべての会話動作のアセスメントを自動的に提供することができ、これは、エージェント性能の向上のためのデータ駆動意思決定につながるかもしれない。例えば、性能監視システムは、エージェントと顧客との間の会話に対応するメトリック及び特性（例えば、会話トピック又は意図、顧客調査又はフィードバック、メッセージングレートメトリック、エージェント可用性メトリック、自動化ツール又は能力の使用に関係付けられたメトリックなど）、実際の会話トランスクリプト、及びこれらに類するものを、機械学習アルゴリズム又は人工知能への入力として提供して、エージェント性能のアセスメントを取得し、向上のための可能な解決策又は推奨を識別することができる。機械学習アルゴリズム又は人工知能の出力は、何が起こったか又は起こっているかに関する理論的根拠に対応する診断情報を提供することができる。さらに、出力は、顧客体験を向上するためにこれらの問題をどのように修正するかについての１つ以上の推奨を提供することができる。

[0094]ステップ５０８において、性能監視システムは、性能監視システムによって生成された洞察及び／又は推奨への準拠に対応する１つ以上の予測を生成する。例えば、前述の機械学習アルゴリズム又は人工知能を使用して、性能監視システムは、前述の洞察及び／又は推奨が実現される場合に、エージェントの性能における向上に関する１つ以上の予測を提供することができる。例えば、機械学習アルゴリズム又は人工知能は、提供された推奨が実現される場合、努力、感情、効率性、及び有効性に対応するメトリックがあるマージンだけ向上できることを示してもよい。機械学習アルゴリズム又は人工知能は、数値メトリック値（例えば、「効率性は５６％向上する」等）及び／又は記述話術（例えば、「エージェント効率性は劇的に増加するはずである」）を使用して、この予測を提供してもよい。

[0095]ステップ５１０において、性能監視システムは、計算された性能メトリック、洞察及び／又は推奨、ならびに予測を、ダッシュボード又はクライアントによってアクセス可能な他のインターフェースを介して提示することができる。例えば、ダッシュボードを介して、クライアントは、識別された問題の説明、なぜこれらの問題が発生しているか又は発生したかを説明する診断情報、及びこれらの問題に対処するための推奨と併せて、前述の予測を提示されてもよい。さらに、ダッシュボードを介して、クライアントは、データのクライアントの所望の提示に基づいて、様々な意図、エージェントタイプ、及び／又は業務にわたる性能メトリックを提示されてもよい。

[0096]図６は、少なくとも１つの実施形態による、これらの性能メトリックを様々な性能メトリックにわたってターゲット及び／又は業界団体と比較することによってクライアントの性能をベンチマーキングするためのプロセス６００の例示的な例を示す。プロセス６００は、クライアントに関係付けられたエージェントの性能に関する追加の洞察及び推奨を提供するために、１つ以上のターゲット及び／又は業界団体に対応する性能データを取得し、処理することができる前述の性能監視システムによって実行することができる。ステップ６０２において、性能監視システムは、クライアントから要求を受信して、様々な性能メトリック（例えば、ＫＰＩ）にわたってクライアント性能を１つ以上のターゲット及び／又は業界団体と比較することができる。例えば、性能監視システムによって提供されるダッシュボード又は他のインターフェースを介して、クライアントは、クライアントが１つ以上の性能メトリックにわたってそのエージェントについてのベンチマークを取得したい１つ以上のターゲット及び／又は業界団体を選択することができる。１つ以上のターゲット及び／又は業界団体は、本明細書で説明されるように、性能監視システムの他のクライアント、及び性能データが１つ以上のリモートソースを介して利用可能であり得る他のエンティティに対応してもよい。

[0097]ステップ６０４において、性能監視システムは、選択されたターゲット及び／又は業界団体についての性能メトリックが性能監視システムの比較データストアの中で利用可能であるかどうかを決定することができる。例えば、選択されたターゲット及び／又は業界団体が性能監視システムのクライアントである場合、性能監視システムは、ステップ６１０において、比較データストアからこれらのターゲット及び／又は業界団体の性能メトリックを取得することができる。代替的に、選択されたターゲット及び／又は業界団体についての性能メトリックが比較データストアを介して利用可能でない場合、性能監視システムは、ステップ６０６において、選択されたターゲット及び／又は業界団体に関係付けられた性能データを１つ以上のリモートソースから取得してもよい。これらのリモートソースは、パブリケーション、サードパーティ性能エバリュエータ、又は性能監視システムが、性能データを取得するために加入されてもよい任意の他のソースを含んでいてもよい。

[0098]ステップ６０８において、性能監視システムは、リモートソースから取得されたデータを使用して、選択されたターゲット及び／又は業界団体についての性能メトリックを生成することができる。例えば、１つ以上のターゲット及び／又は業界団体に関係付けられた取得された性能メトリック又は他のデータが、クライアントの性能メトリックとのベンチマーキング比較を提供する助けとなるフォーマットでない場合、性能監視システムは、性能評価サブシステムを使用して、取得された性能メトリック又は他のデータを処理して、ベンチマーキング目的のために使用できる１つ以上のターゲット及び／又は業界団体のための性能メトリックの新しいセットを生成してもよい。いくつかの例では、性能監視システムは、選択されたターゲット及び／又は業界団体の性能メトリックを匿名化して、これらの性能メトリックのソースを不明瞭にすることができる。

[0099]ステップ６１２において、性能監視システムは、クライアントの性能メトリックを、１つ以上の分類に従ってクライアントによって選択された１つ以上のターゲット及び／又は業界団体の性能メトリックと比較することができる。１つ以上の分類は、特定の意図、意図のタイプ、及び／又は業務、及びこれらに類するものに対応することができる。さらに、ステップ６１４において、性能監視システムは、前述の性能メトリックの比較に基づいて洞察及び／又は推奨を生成することができる。例えば、性能監視システムは、クライアントによって選択された１つ以上のターゲット及び／又は業界団体によって取られたアクションに関連する洞察を生成して、異なる分類に沿ったそれらの対応する性能メトリックを達成することができる。例えば、性能監視システムは、特定のターゲットについて、１つ以上のアクション（例えば、顧客意図を識別し、エージェントトレーニングシステムからの推奨に準拠するようにエージェントをトレーニングするための自動化された能力を実現することなど）の実行前の特定のターゲットについての性能メトリックと、１つ以上のアクションの実行後の特定のターゲットについての性能メトリックとを決定することができる。いくつかの例では、性能監視システムは、１つ以上のターゲット及び／又は業界団体が遭遇した問題、これらの問題に遭遇した理由、これらの問題に対処するためにどのようなアクションが取られたか又は推奨されたか、及びこれらのアクションの性能又は省略から生じる結果に関する洞察を生成してもよい。

[0100]ステップ６１６において、性能監視システムは、ダッシュボード又は他のインターフェースを介して、性能監視システムによって生成された比較及び任意の洞察及び／又は推奨をクライアントに提示することができる。例えば、性能監視システムは、ダッシュボードを介して、クライアントの性能メトリックと、選択されたターゲット及び／又は業界団体の性能メトリックとの比較を提供することができる。同様に、性能監視システムは、ダッシュボードを更新して、１つ以上のターゲット及び／又は業界団体によって取られたアクションへの洞察を提供して、それらの性能メトリックを向上することができる。上述したように、選択された１つ以上のターゲット及び／又は業界団体に対応する情報を匿名化して、性能メトリック及び性能メトリックを向上するために実行された既知のアクションが取得されたエンティティのプライバシーを確保することができる。

[0101]図７は、少なくとも１つの実施形態による、１つ以上のメトリックに基づいてクライアントのための性能概要を提示するためのユーザインターフェース７００の例示的な例を示す。ユーザインターフェース７００を通して、クライアントは、チャート、グラフ、又は他のグラフィカル表現のセットを介して、さまざまな性能メトリックを提示されることができる。加えて、これらの性能メトリックは、動作モデルに基づいて分類されてもよい。例えば、図７に図示するように、クライアントについての様々な性能メトリックは、効率性ピラー、有効性ピラー、努力ピラー、及び感情ピラーの一部として分類することができる。図７に提示されるカテゴリは、例示目的のためのものであり、追加の、より少ない、又は代替のカテゴリが実現され、ユーザインターフェース７００を介して提示されてもよいことに留意されたい。

[0102]図７に図示されるように、性能監視システムは、ユーザインターフェース７００を介して、クライアントに、どのデータがクライアントに提示されるかとともに、データの提示のための粒度のレベルを定義するための１つ以上のオプションを提供することができる。例えば、性能監視システムは、クライアントが、ユーザインターフェース７００を介して、クライアントが性能メトリックを取得することを望む可能性がある業務を選択し、ユーザインターフェース７００を介して提示されるデータの日付範囲、及び指定された日付範囲内で提示されるデータの粒度のレベル（例えば、図７に図示するように、毎週もしくは毎月、又は任意の他の粒度レベル）を選択することを可能にすることができる。

[0103]性能監視システムは、努力、感情、効率性、及び有効性ピラーに対応するＫＰＩの概要を提供することができるとともに、（グラフ、表などを介して）クライアントによって示された指定された日付範囲にわたるこれらのＫＰＩに対する任意の変更を示すことができる。例えば、図７に図示するように、性能監視システムは、効率性ピラーに対して、選択された業務に対するログイン時間ごとの現在の締めくくられた会話（ＣＣＰＬＨ）を示すことができる。さらに、性能監視システムは、指定された日付範囲にわたるＣＣＰＬＨに対する任意の変更を示して、この指定された日付範囲にわたる選択された業務の効率性に対する任意の変更の表示をクライアントに提供することができる。別の例示的な例として、性能監視システムは、有効性ピラーに対して、選択された業務に対する現在の反復コンタクトレート３日（ＲＣＲ ３Ｄ）を示すことができる。業務に対するＲＣＲ ３Ｄは、同じ顧客識別子が１日から３日の間に後続の会話を始めた場合の、締めくくられた会話の割合に対応してもよい。指定された日付範囲にわたるＣＣＰＬＨ変更のグラフィカル表現と同様に、性能監視システムは、指定された日付範囲にわたるＲＣＲ ３Ｄに対する任意の変更を示して、この指定された日付範囲にわたる顧客の意図又は問題に対処する際の選択された業務の有効性に対する任意の変更の表示をクライアントに提供することができる。

[0104]努力ピラーに関して、性能監視システムは、選択された業務の現在の反復コンタクトレート１時間（ＲＣＲ １ ＨＲ）を示すことができる。業務に対するＲＣＲ １ ＨＲは、同じ顧客識別子が１時間以内に後続の会話を始めた場合の、締めくくられた会話の割合に対応してもよい。ＲＣＲ ３Ｄとは対照的に、ＲＣＲ １ ＨＲは、肯定的な解決を生成するために適切な方法で顧客の意図又は問題に対処するためのエージェントの努力の表示として機能してもよい。例示的な例として、エージェントが、顧客の意図又は問題を解決するのにほとんど又は全く努力を払わずに特定の顧客との会話を終了する場合、顧客が同じ又は同様の意図又は問題に対して短い期間内に後続の会話を始める可能性が高くなるかもしれない。

[0105]感情ピラーは、有意義な会話スコア（ＭＣＳ）を使用してユーザインターフェース７００を介して表されることができ、ＭＣＳは、任意の割り当てられていない会話を含む、締めくくられた会話についての顧客感情の自動化されたリアルタイム測定を表す。いくつかの例では、ＭＣＳは、会話において最後に割り当てられたエージェントのみに帰属する。一実施形態において、性能監視システムは、機械学習アルゴリズム又は他の人工知能を利用して、選択された業務に関係付けられたエージェントに対するＭＣＳを決定する。例えば、機械学習アルゴリズム又は他の人工知能は、顧客とエージェントとの間の会話に対応する会話データを処理して、これらのエージェントとの顧客の実際の会話のトーン、内容、及び感情をリアルタイムで分析することができる。例えば、機械学習アルゴリズム又は他の人工知能は、自然言語処理（ＮＬＰ）を利用して、会話をリアルタイムで評価し、これらの会話中に交換される各メッセージの背後にあるトーン、内容、及び感情を識別することができる。各メッセージにＭＣＳを割り当てることができ、会話ＭＣＳは、会話のためのすべてのメッセージＭＣＳの組み合わせに基づいて決定することができる。これらのスコアは、ユーザインターフェース７００を介して表されてもよい、選択された業務のためのＭＣＳを形成するために集約されてもよい。

[0106]上記で説明した異なる性能ピラーに対応する性能メトリックを提供することに加えて、性能監視システムは、ユーザインターフェース７００を介して、機会パネルをさらに提供することができる。機会パネルを通して、性能監視システムは、（クライアントによって定義されるような）業界ベンチマーク又はターゲット値からの偏差に基づいて、及びメトリック構成（ベンチマーク又は数値ターゲット）によって決定されて、異なる性能ピラーにわたる一次及び二次性能メトリックをランク付けしてもよい。いくつかの事例では、機会パネル内に表される性能メトリックは、それらのそれぞれの性能ピラーによって色分けされ、次いで、どの性能メトリックが選択されたベンチマーク又は数値ターゲットからの最大偏差を有するかに基づいてランク付けされてもよい。これは、クライアントが、顧客との会話における全体的なクライアント性能を向上する最も影響力のある性能メトリックに集中することを可能にしてもよい。

[0107]いくつかの事例では、性能監視システムは、クライアントがそれらの対応する性能ピラーに従って様々な性能メトリックをフィルタリングすることを可能にしてもよい。例えば、性能監視システムは、フィルタドロップダウンメニューを提供してもよく、これは、クライアントが機会パネルに表示する性能ピラーを選ぶことを可能にする複数選択オプションを表示してもよい。さらに、性能監視システムは、本明細書でより詳細に説明するように、クライアントが、特定の性能メトリックに対応する個々のバーを選択して、インターフェースの性能ピラー詳細セクション内のその性能メトリックに自動的にナビゲートすることを可能にすることができる。

[0108]性能監視システムは、ユーザインターフェース７００を介して、制御された配信パネルをさらに提供することができ、それを通して、選択された各業務が、２軸チャート上のドットによって表される。制御された配信パネルに表されるチャートは、各業務について、効率性（例えば、リソースの浪費が最小である最良の方法で実行すること）及び有効性（例えば、顧客の意図又は問題を解決する意図された結果を達成する能力）についての全体的なスコアを比較することができる。全体スコアは、効率性及び有効性に関する性能メトリックカテゴリ内の全ての一次及び二次性能メトリックの加重スコアによって決定されてもよい。制御された配信パネルを通して、クライアントは、チャート内のこれらの業務の位置に基づいて、焦点を合わせる業務をアセスすることができる。例えば、チャートの右上隅に位置する業務（例えば、高い有効性及び効率性）は、非常に有効かつ効率的であるかもしれないが、チャートの左下隅に位置する業務は、非常に無効かつ非効率的であるかもしれない。いくつかの例では、クライアントがカーソルを使用してチャート内の特定のデータポイント上に停止する場合、性能監視システムは、ユーザインターフェース７００を介して、業務の名前及び業務に対する全体的な性能スコアを提示することができる。さらに、チャート内のデータポイントの選択は、本明細書でより詳細に説明されるように、性能監視システムに、ユーザインターフェース７００を更新させて、性能概要詳細パネルを提示させてもよい。

[0109]図８は、少なくとも１つの実施形態による、異なる性能メトリックに対応する計算されたスコアを提示するためのユーザインターフェース８００の例示的な例を示す。ユーザインターフェース８００を通じて、性能監視システムは、上述の性能ピラーのそれぞれ（例えば、効率性、有効性、努力、及び感情）に従って性能メトリックの概要を提供してもよい。例えば、ユーザインターフェース８００を介して、性能監視システムは、性能ピラーのそれぞれについて複合性能スコアを生成して、性能ピラーのそれぞれについての性能に関する概要をクライアントに提供することができる。各性能ピラーについて、性能監視システムは、性能ピラーに関係付けられたすべての一次性能メトリック及び二次性能メトリックを組み込むことができる。さらに、性能監視システムは、各性能メトリックについて識別された影響レベルに基づいて、これらの性能メトリックのそれぞれを重み付けすることができる。

[0110]一実施形態では、性能監視システムは、ユーザインターフェース８００を介して、上述した性能ピラーのそれぞれに関する業界ベンチマークに対するクライアントの性能を提供する。例えば、性能監視システムは、２５パーセンタイル増分で業界ベンチマークを表示することができ、それによって、各性能ピラーに対するクライアント性能を特定の業界ベンチマーク四分位数に従って定量化することができる。場合によっては、これらのパーセンタイル増分は、色分けされてもよく、それによって、赤色は、５０パーセンタイル未満の四分位数を示すために使用されてもよく、緑色は、５０パーセンタイルを上回る四分位数を示すために使用されてもよい。したがって、性能ピラーのそれぞれについての性能スコアは、業界ベンチマークに従って調整又はスケーリングされて、業界ベンチマークに対するクライアントの性能を決定することができる。例示的な例として、効率性ピラーについてのクライアントの性能スコアは、（図８に図示されるように）５５％の値を割り当てられてもよく、これは、クライアントが特定の業界内の５０から７５パーセンタイル（第３の四分位数）内で実行しているという表示として機能してもよい。

[0111]性能ピラーのそれぞれに関する性能スコアを提供することに加えて、性能監視システムは、性能ピラーのそれぞれ内のクライアントの性能への任意の追加の洞察を提供することができる。上述したように、性能監視システムは、クライアントに関係付けられたエージェントに対する向上又は強化の領域を識別するために使用されてもよいエージェント性能への様々な洞察を生成してもよい。例えば、性能監視システムは、会話データとともに、エージェントについて計算された性能メトリックを利用して、これらの向上又は強化の領域を識別し、クライアントの会話動作への任意の貴重な洞察を提供することができる。向上／強化及び洞察のこれらの領域は、ユーザインターフェース８００に表される性能ピラーのそれぞれに従って生成されてもよい。したがって、性能監視システムは、業界ベンチマークに対して、様々な性能ピラーに沿ったクライアントの性能を定量化することに加えて、ユーザインターフェース８００内のクライアントの性能を適格化することができる。

[0112]図９は、少なくとも１つの実施形態による、可能なエントリポイントによって締めくくられた会話量への洞察を提示するためのユーザインターフェース９００の例示的な例を示す。ユーザインターフェース９００は、クライアントが様々なエントリポイント（例えば、ソーシャルメディアプラットフォーム、異なるオペレーティングシステムにわたるアプリケーションなど）にわたるアクティビティを理解することを可能にするチャネル固有のビューを提供することができる。例えば、図９に図示するように、性能監視システムは、顧客とエージェントとの間の会話のためにクライアントによって利用される様々なエントリポイントにわたる締めくくられた会話の分布を表示する棒グラフを提供することができる。

[0113]前述の棒グラフに加えて、性能監視システムは、ユーザインターフェース９００を介して、エントリポイントのそれぞれについて、締めくくられた会話の量のグラフィカル表現を経時的にクライアントに提示することができる。例えば、図９に図示するように、性能監視システムは、クライアントによって利用される各可能なエントリポイントに従って、エントリポイントボリュームを経時的に表示する折れ線グラフを生成することができる。

[0114]図１０は、少なくとも１つの実施形態による、特定の業務に対する様々な性能メトリックを提示するためのユーザインターフェース１０００の例示的な例を示す。性能監視システムは、ユーザインターフェース１０００を介して、前述の性能ピラーに対応する様々な性能メトリックを表示することができる。例えば、性能監視システムは、効率性、有効性、努力、及び感情ピラーに対応する一次及び二次性能メトリックを提供することができる。いくつかの事例では、性能監視システムは、ユーザインターフェース１０００を介して、提供された性能メトリックをフィルタリングするための１つ以上のオプションをクライアントに提供してもよい。例えば、クライアントは、特定の性能ピラーに結び付けられた性能メトリックを表示することを選択することができる。あるいは、クライアントは、ユーザインターフェース１０００を介して表示される特定の性能メトリックを選択してもよい。

[0115]一実施形態では、性能監視システムは、様々なベンチマークに対する特定のクライアント業務の性能（例えば、業界ベンチマークに対する性能）、ターゲット（例えば、クライアントによって定義される場合、ターゲット値）、及び傾向（例えば、上向き又は下向きの傾向）に対応するデータを提供することができる。クライアントは、ユーザインターフェース１０００を介して、ベンチマーク、ターゲット、及び／又は傾向に対する性能メトリックを表示するための様々なオプションに対応する選択を切り替えることができる。いくつかの例では、性能監視システムは、特定の業務の性能メトリックの提示のための様々なデフォルトオプションを提供することができる。例えば、性能監視システムは、クライアントによって入力されたフィルタリングされた日付範囲（例えば、図７に定義され図示された日付範囲など）に基づいて、各性能メトリックに対するベンチマーク値、実際値、傾向値、及び偏差値を提供することができる。

[0116]図１１は、少なくとも１つの実施形態による、ＫＰＩを業界ベンチマークと比較するために使用可能な情報を提供するためのユーザインターフェース１１００の例示的な例を示す。性能監視システムは、ユーザインターフェース１１００を介して、膨大な量の情報をクライアントに提供して、クライアントが上述の性能ピラーのそれぞれについて性能メトリックを比較することを可能にすることができる。ユーザインターフェース１１００を通じて、クライアントは、これらの性能ピラーのそれぞれについての一次及び二次性能メトリックを、業界ベンチマーク及び／又はターゲットと比較することができる。例えば、図１１に図示されるように、クライアントは、（白い数値を使用して提示される）各性能ピラーについての実際の性能メトリック値、業界ベンチマークと比較してクライアントがどのように傾向を示したか（例えば、上向き又は低下傾向インジケータを有するより小さい値）とともに、業界ベンチマークに対するクライアントの性能の分散（パーセンテージを介して表され、予想されたものと生じたものとの間のギャップを示す）を提示されてもよい。加えて、クライアントには、ユーザインターフェース１１００を介して、各性能メトリックに対する詳細な傾向線とともに、対応する性能メトリックに従ったそれらの性能に対する最小値、最大値、及び平均値を提示してもよい。

[0117]一実施形態では、性能監視システムは、ユーザインターフェース１１００を介して、診断セクションをさらに提供する。ユーザインターフェース１１００の診断セクションは、クライアントの業務の性能の詳細な説明を提供することができる。上述したように、性能監視システムは、クライアントの会話動作のアセスメントを自動的に提供するために機械学習アルゴリズム又は人工知能を使用してもよく、これは、エージェント性能の向上のためのデータ駆動意思決定につながることができる。例えば、性能監視システムは、クライアント性能のアセスメントを取得し、向上のための可能な解決策又は推奨を識別するために、機械学習アルゴリズム又は人工知能への入力として、エージェントと顧客との間の会話に対応するメトリック及び特性（例えば、会話トピック又は意図、顧客調査又はフィードバック、メッセージングレートメトリック、エージェント可用性メトリック、自動化ツール又は能力の使用に関係付けられたメトリック等）、実際の会話トランスクリプト、及びこれらに類するものを提供してもよい。機械学習アルゴリズム又は人工知能の出力は、現在の性能レベルをもたらしたクライアントの業務の間で何が起こったか又は起こっているのかの記述を提供することができる。さらに、機械学習アルゴリズム又は人工知能の出力は、何が起こったか又は起こっているかに関する理論的根拠に対応する診断情報を提供することができる。

[0118]性能監視システムは、ユーザインターフェース１１００の診断セクションを介して、クライアントによって選択された様々な性能ピラー及びアカウント構成設定に従ってクライアントの性能メトリックデータを文脈化して、選択された業務及び日付範囲に基づいて性能を向上するようにクライアントに対して自動化されカスタマイズされた推奨を提供することができる。いくつかの例では、性能監視システムは、クライアント性能を向上するために実行されてもよい動作手順を含む診断プレイブック又は他のリソースを提供してもよい。

[0119]図１２は、少なくとも１つの実施形態による、１つ以上の性能メトリックに対する推奨及び洞察を提示するためのユーザインターフェース１２００の例示的な例を図示する。ユーザインターフェース１２００は、上述したユーザインターフェース１１００とのクライアント対話を介してアクセスされてもよい。例えば、一実施形態では、性能監視システムは、ユーザインターフェース１１００の診断セクションを介して、特定の性能メトリックが向上を必要とする可能性があるか（例えば、性能メトリックが許容可能な閾値を満たさない）、許容可能なパラメータ内にあるか（例えば、性能メトリックが許容可能な状態に対応すると考えられる範囲内にある）、又は好ましい状態にあると考えられるか（例えば、性能メトリックが好ましい状態に対応すると考えられる範囲内にある）に関する表示を提供することができる。加えて、性能監視システムは、性能メトリックの向上のための推奨及び洞察に対応してもよい、各性能メトリックに対するヘッダを提供してもよい。

[0120]一実施形態では、ヘッダの選択は、性能監視システムに、選択された性能メトリックのためのユーザインターフェース１２００を提供させる。例えば、図１２に示すように、ユーザインターフェース１２００は、クライアントによって選択された業務に対するＣＣＰＬＨ性能メトリックに対応してもよい。ユーザインターフェース１２００を通して、性能監視システムは、選択された性能メトリックに関する文脈を提供することができる。例えば、性能監視システムは、選択された性能メトリックについての定義を提供することができ、性能メトリックがクライアントの全体的な性能にどのように影響を及ぼす可能性があるかについての洞察を提供することができる。例えば、図１２に示すように、性能監視システムは、

[0121]さらに、性能監視システムは、メトリック性能を向上するための１つ以上の推奨を提供してもよい。例えば、ＣＣＰＬＨメトリックに関して図１２に図示されるように、クライアントが、エージェントが一定の生産能力の状態に留まるのに十分なボリュームを有し、自動化及びプロセスを構成してエージェントから不要な管理を除去し、より高い実行エージェントの会話トランスクリプトをレビューして向上の機会を識別することを確実にし、エージェントが使用する任意のシステムツールが非同期作業に対して最適化されることを確実にすべきであることを、性能監視システムは示すことができる。これらの推奨に加えて、性能監視システムは、これらの推奨に関する追加の洞察を提供することができる。例えば、図１２に図示するように、性能監視システムは、エージェントができるだけ少ないメッセージで全体論的解決を提供することに焦点を合わせるべきであること、及びエージェントが顧客照会を解決する権限を完全に与えるために、プロセスが他部署又は個人へのできるだけ少ない依存を可能にするように設計されるべきであることを示すことができる。したがって、性能監視システムは、提供された推奨に関して強化を提供して、これらの推奨への準拠を奨励することができる。

[0122]上述したように、性能監視システムによって提供され、ユーザインターフェース１２００を介して提示される洞察及び推奨に基づいて、クライアントは、提供された洞察及び推奨がエージェントトレーニングシステムによって使用されることを要求して、エージェントとの会話において顧客によって表現される重要な要素を正確に捕捉し、顧客に適切に応答する最良の方法を識別するために実行される一連のアクションを定義することができる。性能監視システムによって提供される洞察及び推奨に基づいて、エージェントトレーニングシステムは、生成された洞察及び推奨に従ってエージェントが顧客の意図及び期待を満たすことを可能にするために、これらの要素に対処するためにどのようなアクションがとることができるかを識別してもよい。

[0123]図１３は、少なくとも１つの実施形態による、指定された日付範囲にわたる締めくくられた会話及びエージェントログイン時間に対応するデータを提示するためのユーザインターフェース１３００の例示的な例を示す。性能監視システムは、ユーザインターフェース１３００を介して、利用可能なクライアントリソース（例えば、エージェント可用性等）及びクライアントに対する需要（例えば、締めくくられた会話の量等）に関連する傾向を提示してもよい。ユーザインターフェース１３００を通して、クライアントは、（例えば、エージェント、顧客、又は自動閉鎖による）締めくくられた会話の量、及び（上記で説明されるユーザインターフェース７００を通してのような）クライアントによって指定される日付範囲にわたるエージェントログイン時間を見てもよい。同じ期間にわたるエージェントログイン時間と締めくくられた会話の量との間の相関は、クライアントによって使用されて、クライアントのエージェント人員配置を最適化し、及び／又は経時的な需要の急増に対処するための自動化ツール（例えば、ボットなど）を実現することができる。

[0124]図１４は、少なくとも１つの実施形態による、クライアント性能を駆動できる構成設定を表示するためのユーザインターフェース１４００の例示的な例を示す。図１４に図示されるように、アカウント構成は、自動終了時間、非アクティブ時間、スマート容量最小値、及びスマート容量最大値を含んでいてもよい。これらの設定のそれぞれについての値は、ユーザインターフェース１４００を介してクライアントによって定義されてもよい。これらの設定は、性能ピラーのそれぞれに関するエージェント性能の影響を決定するために使用されてもよい。例えば、自動終了時間の設定は、会話において測定された努力ピラーに関係付けられた性能メトリックに潜在的に影響を及ぼしてもよい。これらのアカウント構成に加えて、性能監視システムは、エージェント最大スロットの分布のチャート又は他のグラフィカル表現を提供することができる。

[0125]図１５は、いくつかのインプリメンテーションによる、バスなどの接続１５０６を使用して互いに電気通信する様々なコンポーネントを含むコンピューティングシステムアーキテクチャ１５００を示す。例示的なシステムアーキテクチャ１５００は、処理ユニット（ＣＰＵ又はプロセッサ）１５０４と、ＲＯＭ１５１８及びＲＡＭ１５１６等のシステムメモリ１５２０を含む様々なシステムコンポーネントをプロセッサ１５０４に結合するシステム接続１５０６と、を含む。システムアーキテクチャ１５００は、プロセッサ１５０４に直接接続されるか、それに近接しているか、又はその一部として一体化されている高速メモリのキャッシュ１５０２を含むことができる。システムアーキテクチャ１５００は、プロセッサ１５０４による迅速なアクセスのために、メモリ１５２０及び／又は記憶デバイス１５０８からキャッシュ１５０２にデータをコピーできる。このようにして、キャッシュは、データを待っている間にプロセッサ１５０４が遅延することを回避する性能ブースト（performance boost）を提供できる。これら及び他のモジュールは、様々なアクションを実行するために、プロセッサ１５０４を制御できるか、制御するように構成できる。

[0126]他のシステムメモリ１５２０も、使用のために利用可能であり得る。メモリ１５２０は、異なる性能特性を有する複数の異なるタイプのメモリを含むことができる。プロセッサ１５０４は、任意の汎用プロセッサ、及び記憶デバイス１５０８に記憶され、プロセッサ１５０４を制御するように構成されたサービス１ １５１０、サービス２ １５１２、及びサービス３ １５１４等の、ハードウェアサービス又はソフトウェアサービス、ならびにソフトウェア命令が実際のプロセッサ設計に組み込まれている専用プロセッサを含んでいてもよい。プロセッサ１５０４は、完全に自己完結型のコンピューティングシステムであってもよく、複数のコア又はプロセッサ、バス、メモリコントローラ、キャッシュ等を含んでいる。マルチコアプロセッサは、対称型又は非対称型であってもよい。

[0127]コンピューティングデバイス１５００とのユーザ対話を可能にするために、入力デバイス１５２２は、発話用のマイクロフォン、ジェスチャ又はグラフィック入力用のタッチ感応スクリーン、キーボード、マウス、動作入力、発話、等などの任意の数の入力機構を表すことができる。出力デバイス１５２４もまた、当業者に知られているいくつかの出力メカニズムのうちの１つ以上であることがある。いくつかの事例では、マルチモーダルシステムによって、ユーザがコンピューティングシステムアーキテクチャ１５００と通信するために複数のタイプの入力を提供することを可能にしてもよい。通信インターフェース１５２６は一般に、ユーザ入力及びシステム出力を統制及び管理できる。任意の特定のハードウェア構成上で動作することに制限はなく、したがって、ここでの基本的な機能は、向上されたハードウェア又はファームウェア構成が展開されると、それらで容易に置き換えられてもよい。

[0128]記憶デバイス１５０８は、不揮発性メモリであり、磁気カセット、フラッシュメモリカード、固体メモリデバイス、デジタル多用途ディスク、カートリッジ、ＲＡＭ１５１６、ＲＯＭ１５１８、及びそれらのハイブリッドなど、コンピュータによってアクセス可能であるデータを記憶することができるハードディスク又は他のタイプのコンピュータ読取可能媒体であることがある。

[0129]記憶デバイス１５０８は、プロセッサ１５０４を制御するためのサービス１５１０、１５１２、１５１４を含むことができる。他のハードウェアモジュール又はソフトウェアモジュールが企図される。記憶デバイス１５０８は、システム接続１５０６に接続されることができる。一態様では、特定の機能を実行するハードウェアモジュールが、その機能を行うために、プロセッサ１５０４、接続１５０６、出力デバイス１５２４等のような、必要なハードウェアコンポーネントに関連してコンピュータ読取可能媒体に記憶されたソフトウェアコンポーネントを含むことができる。

[0130]図１６は、様々な実施形態を企図できる環境１６００の例示的な例を示す。環境１６００では、図１及び図２に関連して上述した意図処理システム及び性能監視システムを組み込んだ分析－識別－応答（analyze-identify-respond）（ＡＩＲ）フレームワークが提示される。ＡＩＲフレームワークを通じて、顧客意図に対する応答を生成することができ、顧客意図に応答するエージェントの性能を評価して、肯定的な顧客体験を提供する際のそれらの有効性を決定することができる。上述したように、性能監視システムは、顧客サービスコールセンター（例えば、トレーナー、チームマネージャー、品質保証チーム、リーダーシップ要員など）内の異なるエンティティに、エージェント性能に関するフィードバックを提供することができ、これにより、これらのエンティティがどのように顧客に最もよく応答するか、又はどのように他の是正タスクを実行するかについて、エージェントを指導することが可能になる。

[0131]ＡＩＲフレームワークを介して実行される評価は、４Ｅ（Effectiveness，Effort，Emotion，Efficiency）（有効性、努力、感情、効率性）フレームワーク内でコンパイルできる、クライアントのためのメトリック及び他の性能データのセットを生成するために使用されてもよい。４Ｅフレームワークを通じて、クライアントには、図７から図１４に関連して上述したようなユーザインターフェースが提示されてもよく、それを通じて、クライアントは、クライアント及び他のクライアントに関するこれらの様々なメトリック及び他の性能データを取得してもよい。これにより、クライアントは、そのエージェントが全体としてどのように実行しているかを決定し、その性能を他のクライアントの性能と比較することができる。これは、クライアントが向上のための可能な手段を定義するのを助けることができる。

[0132]開示される方法は、コンピューティングシステムを使用して実行することができる。例となるコンピューティングシステムは、プロセッサ（例えば、中央処理ユニット）、メモリ、不揮発性メモリ、及びインターフェースデバイスを含むことができる。メモリは、データ及び／又は１つ以上のコードセット、ソフトウェア、スクリプト等を記憶してもよい。コンピュータシステムのコンポーネントは、バスを介して、又は何らかの他の既知のもしくは便利なデバイスを通じて、互いに結合できる。プロセッサは、例えば、例えばメモリに記憶されたコードを実行することによって、本明細書で説明された方法の全て又は一部を実行するように構成されてもよい。ユーザデバイスもしくはコンピュータ、プロバイダサーバもしくはシステム、又はサスペンドされたデータベース更新システムのうちの１つ以上が、コンピューティングシステム又はそのようなシステムのバリエーションのコンポーネントを含んでいてもよい。

[0133]本開示は、ポイントオブセールシステム（「ＰＯＳ」）を含むがこれに限定されない、任意の適切な物理的形態をとるコンピュータシステムを企図する。限定ではなく例として、コンピュータシステムは、埋込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータオンモジュール（ＣＯＭ）又はシステムオンモジュール（ＳＯＭ）等）、デスクトップコンピュータシステム、ラップトップもしくはノートブックコンピュータシステム、インタラクティブキオスク、メインフレーム、コンピュータシステムのメッシュ、移動体電話機、パーソナルデジタルアシスタント（ＰＤＡ）、サーバ、又はこれらのうちの２つ以上の組み合わせであってもよい。適切な場合、コンピュータシステムは、１つ以上のコンピュータシステムを含んでいてもよく；単一か又は分散されてもよく；複数のロケーションにまたがってもよく；複数の機械にまたがってもよく；及び／又は１つ以上のネットワーク内の１つ以上のクラウドコンポーネントを含んでいてもよいクラウド内に存在してもよい。適切な場合、１つ以上のコンピュータシステムは、実質的な空間的又は時間的制限なしに、本明細書で説明又は例示された１つ以上の方法の１つ以上のステップを実行してもよい。限定ではなく、例として、１つ以上のコンピュータシステムは、本明細書で説明又は図示された１つ以上の方法の１つ以上のステップをリアルタイムで又はバッチモードで実行してもよい。１つ以上のコンピュータシステムは、適切な場合、本明細書で説明又は例示された１つ以上の方法の１つ以上のステップを、異なる時間又は異なるロケーションにおいて実行してもよい。

[0134]プロセッサは、例えば、Intel Pentium（登録商標）マイクロプロセッサ又はMotorola Power PCマイクロプロセッサなどの従来のマイクロプロセッサであってもよい。当業者であれば、「機械読取可能（記憶）媒体」又は「コンピュータ読取可能（記憶）媒体」という用語が、プロセッサによってアクセス可能な任意のタイプのデバイスを含むことを認識するであろう。

[0135]メモリは、例えば、バスによってプロセッサに結合されることができる。メモリは、限定ではなく例として、ダイナミックＲＡＭ（ＤＲＡＭ）及びスタティックＲＡＭ（ＳＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）を含むことができる。メモリは、ローカル、リモート、又は分散型であってもよい。

[0136]バスはまた、プロセッサを不揮発性メモリ及びドライブユニットに結合することができる。不揮発性メモリは、多くの場合、磁気フロッピー（登録商標）もしくはハードディスク、光磁気ディスク、光ディスク、ＣＤ－ＲＯＭ、ＥＰＲＯＭ、もしくはＥＥＰＲＯＭ（登録商標）等のリードオンリーメモリ（ＲＯＭ）、磁気もしくは光カード、又は大量のデータのための別の形態の記憶装置である。このデータの一部は、多くの場合、コンピュータにおけるソフトウェアの実行中に、ダイレクトメモリアクセスプロセスによって、メモリに書き込まれる。不揮発性記憶装置は、ローカル、リモート、又は分散型であることがある。システムは、全ての適用可能なデータがメモリにおいて利用可能な状態で作成できるので、不揮発性メモリはオプションである。典型的なコンピュータシステムは、通常、少なくともプロセッサと、メモリと、メモリをプロセッサに結合するデバイス（例えば、バス）とを含むことになる。

[0137]ソフトウェアは、不揮発性メモリ及び／又はドライブユニットに格納することができる。実際、大きいプログラムの場合、プログラム全体をメモリに記憶することさえ可能でないかもしれない。とはいえ、ソフトウェアを実行するためには、必要であれば、それは処理に適したコンピュータ読取可能ロケーションに移動され、例示を目的として、そのロケーションは、本明細書ではメモリと呼ばれることが理解されるべきである。ソフトウェアが実行のためにメモリに移動されるときでさえも、プロセッサは、ソフトウェアに関係付けられた値を記憶するためのハードウェアレジスタと、理想的には実行を高速化する機能を果たすローカルキャッシュとを利用できる。本明細書で使用される場合、ソフトウェアプログラムは、ソフトウェアプログラムが「コンピュータ読取可能媒体で実現される」と言及されるとき、（不揮発性記憶装置からハードウェアレジスタまで）あらゆる既知の又は便利なロケーションにおいて記憶されていると仮定される。プロセッサは、プログラムに関係付けられた少なくとも１つの値が、プロセッサによって読取可能なレジスタに記憶されているとき、「プログラムを実行するように構成されている」と見なされる。

[0138]バスはまた、プロセッサをネットワークインターフェースデバイスに結合することができる。インターフェースは、モデム又はネットワークインターフェースのうちの１つ以上を含むことができる。モデム又はネットワークインターフェースは、コンピュータシステムの一部であると見なされてもよいことが理解されよう。インターフェースは、アナログモデム、統合サービスデジタルネットワーク（ＩＳＤＮ０モデム、ケーブルモデム、トークンリングインターフェース、衛星伝送インターフェース（例えば、「ダイレクトＰＣ」）、又はコンピュータシステムを他のコンピュータシステムに結合するための他のインターフェースを含んでいてもよい。インターフェースは、１つ以上の入力及び／又は出力（Ｉ／Ｏ）デバイスを含むことができる。Ｉ／Ｏデバイスは、限定ではなく例として、キーボード、マウス又は他のポインティングデバイス、ディスクドライブ、プリンタ、スキャナ、ならびにディスプレイデバイスを含む他の入力デバイス及び／又は出力デバイスを含むことができる。ディスプレイデバイスは、限定ではなく例として、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、又は何らかの他の適用可能な既知の又は便利なディスプレイデバイスを含むことができる。

[0139]動作中、コンピュータシステムは、ディスクオペレーティングシステムなどのファイル管理システムを含むオペレーティングシステムソフトウェアによって制御できる。関係するファイル管理システムソフトウェアを有するオペレーティングシステムソフトウェアの一例は、ワシントン州レドモンドのMicrosoft CorporationからのWindows（登録商標）として知られるオペレーティングシステムのファミリー、及びそれらの関係するファイル管理システムである。関係するファイル管理システムソフトウェアを有するオペレーティングシステムソフトウェアの別の例は、Linux（登録商標）オペレーティングシステム及びその関係するファイル管理システムである。ファイル管理システムは、不揮発性メモリ及び／又はドライブユニットに格納することができ、プロセッサに、オペレーティングシステムによって必要とされる様々な動作を実行させて、データを入出力し、不揮発性メモリ及び／又はドライブユニットにファイルを格納することを含む、メモリにデータを格納することができる。

[0140]以下の詳細な説明のいくつかの部分を、コンピュータメモリ内のデータビット上の動作のアルゴリズム及び象徴に関して提示してもよい。これらのアルゴリズム的記述及び表現は、データ処理技術分野の当業者によって、彼らの作業の内容を他の当業者に最も効果的に伝えるために用いられる手段である。アルゴリズムは、本明細書において、及び一般に、所望の結果をもたらす、動作の首尾一貫したシーケンス（self-consistent sequence）であると考えられている。動作は、物理量の物理的操作を必要とするものである。必ずしもではないが、通常、これらの量は、記憶される、転送される、組み合わされる、比較される、又は他の方法で操作されることが可能な電気信号又は磁気信号の形をとる。主に一般的な使用法の理由から、これらの信号を、ビット、値、要素、シンボル、文字、項 （terms）、数字、又はこれらに類するものとして参照することが、時として好都合であることがわかっている。

[0141]しかしながら、これらのすべて及び類似の用語は、適切な物理量と関係付けられるものであり、単に、これらの量に適用される便利なラベルにすぎないことに留意されたい。以下の議論から明らかであるように、そうではないとの具体的に述べられない限り、本願全体を通して、「処理すること」、又は「計算すること」、又は「決定すること」、又は「表示すること」、又は「生成すること」、又はこれらに類するもののような用語を利用した議論は、コンピュータシステムのレジスタ及びメモリ内で物理（電子）量として表されるデータを操作して、コンピュータシステムメモリ又はレジスタ、あるいは、他のそのような情報記憶装置、送信又は表示デバイス内で物理量として類似して表される他のデータへと変換する、コンピュータシステム又は類似する電子コンピューティングデバイスのアクション及び処理を指していることが理解される。

[0142]本明細書で提示されるアルゴリズム及び表示は、本質的に、任意の特定のコンピュータ又は他の装置に関連しない。様々な汎用システムが、本明細書の教示に従ってプログラムとともに使用されてもよく、又はいくつかの例の方法を実行するために、より特化された装置を構築することが好都合であるとわかるかもしれない。様々なこれらのシステムに必要な構造は、以下の説明から明らかになるであろう。加えて、本技術は、任意の特定のプログラミング言語を参照して説明されず、したがって、様々な例は、様々なプログラミング言語を使用して実現されてもよい。

[0143]様々なインプリメンテーションでは、システムは、スタンドアロンデバイスとして動作するか、又は他のシステムに接続（例えば、ネットワーク接続）されてもよい。ネットワーク化された展開では、システムは、クライアントサーバネットワーク環境においてサーバ又はクライアントシステムのキャパシティで動作してもよいか、又はピアツーピア（又は、分散型）ネットワーク環境におけるピアシステムとして動作してもよい。

[0144]システムは、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、ラップトップコンピュータ、セットトップボックス（ＳＴＢ）、パーソナルデジタルアシスタント（ＰＤＡ）、セルラ電話機、ｉＰｈｏｎｅ（登録商標）、Ｂｌａｃｋｂｅｒｒｙ（登録商標）、プロセッサ、電話機、ウェブ機器、ネットワークルータ、スイッチもしくはブリッジ、又はそのシステムによってとられるべきアクションを指定する命令のセット（連続又はそれ以外）を実行することが可能な任意のシステムであってもよい。

[0145]機械読取可能媒体又は機械読取可能記憶媒体は、例として、単一の媒体であるように示されているが、「機械読取可能媒体」及び「機械読取可能記憶媒体」という用語は、命令の１つ以上のセットを記憶する単一の媒体又は複数の媒体（例えば、集中型もしくは分散型データベース、ならびに／または関係するキャッシュ及びサーバ）を含むと解釈されるべきである。「機械読取可能媒体」及び「機械読取可能記憶媒体」という用語はまた、システムによる実行のための命令のセットを記憶、符号化、又は搬送することが可能であり、システムに本明細書で開示される方法論又はモジュールのうちの任意の１つ以上を実行させる、任意の媒体を含むと解釈されるものとする。

[0146]一般に、本開示のインプリメンテーションを実現するために実行されるルーチンは、オペレーティングシステム又は特定のアプリケーション、コンポーネント、プログラム、オブジェクト、モジュール、又は「コンピュータプログラム」と呼ばれる命令のシーケンスの一部として実現されてもよい。コンピュータプログラムは、典型的には、コンピュータ内の様々なメモリ及び記憶デバイス内に様々な時間に設定され、コンピュータ内の１つ以上の処理ユニット又はプロセッサによって読み取られ実行されるとき、本開示の様々な態様を含む要素を実行するための動作をコンピュータに実行させる１つ以上の命令を含む。

[0147]さらに、完全に機能するコンピュータ及びコンピュータシステムの文脈で例が説明されたが、様々な例が様々な形式のプログラムオブジェクトとして分散されることが可能であること、及び分散に実際に影響を及ぼすために使用される特定のタイプの機械又はコンピュータ読取可能媒体にかかわらず本開示が等しく適用されることを、当業者は理解されよう。

[0148]機械読取可能記憶媒体、機械読取可能媒体、又はコンピュータ読取可能（記憶）媒体のさらなる例は、限定はしないが、特に、揮発性及び不揮発性メモリデバイス、フロッピー及び他のリムーバブルディスク、ハードディスクドライブ、光ディスク（例えば、コンパクトディスクリードオンリーメモリ（ＣＤ ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）など）などの記録可能タイプ媒体と、デジタル及びアナログ通信リンクなどの送信タイプ媒体とを含む。

[0149]いくつかの状況では、バイナリ１からバイナリ０への状態における変化又はその逆のようなメモリデバイスの動作は、例えば、物理的変換のような変換を備えてもよい。特定のタイプのメモリデバイスでは、そのような物理的変換は、異なる状態又は物への物品の物理的変換を備えてもよい。例えば、限定はしないが、いくつかのタイプのメモリデバイスについては、状態における変化は、電荷の蓄積及び貯蔵、又は貯蔵された電荷の解放を伴うかもしれない。同様に、他のメモリデバイスにおいて、状態の変化は、物理的変化、又は磁気オリエンテーションの変換、又は結晶状からアモルファスへの、又はその逆などの、分子構造の物理的変化もしくは変換を備えてもよい。前述は、メモリデバイスにおけるバイナリ１からバイナリ０への、又はその逆の、状態の変化が、物理的変換などの変換を備えてもよい全ての例の網羅的なリストであることを意図されない。むしろ、前述は、例示的な例として意図される。

[0150]記憶媒体は、典型的には、非一時的であってもよく、又は非一時的なデバイスを備えていてもよい。この文脈では、非一時的な記憶媒体は、有形であるデバイスを含んでいてもよく、これは、デバイスがその物理的状態を変化させることができるが、デバイスが形のある物理的形態を有することを意味する。したがって、例えば、非一時的とは、状態におけるこの変化にもかかわらず、有形のままであるデバイスを指す。

[0151]上記の説明及び図面は例示的なものであり、主題事項を開示された厳密な形態に限定するものとして解釈されるべきではない。当業者は、多くの修正及びバリエーションが上記の開示に照らして可能であることを理解してもよい。多くの特定の詳細が、本開示の十分な理解を提供するために説明される。しかしながら、ある特定の事例では、説明を不明瞭にすることを回避するために、周知又は従来の詳細は説明されていない。

[0152]本明細書で使用される場合、システムのモジュールに適用されるときの「接続された」、「結合された」という用語、又はそれらの任意の変形は、２つ以上の要素間の直接的又は間接的な任意の接続又は結合を意味し、要素間の接続の結合は、物理的、論理的、又はそれらの任意の組み合わせであることがある。加えて、「本明細書において」、「上記」、「以下」という用語、及び同様の趣旨の用語は、本願で使用されるとき、本願の任意の特定の部分ではなく、本願全体を指すものとする。文脈が許す場合、単数又は複数の数を使用する上記の発明を実施するための形態における用語はまた、それぞれ複数又は単数の数を含んでいてもよい。２つ以上のアイテムのリストに関する、「又は」という用語は、その用語の次の解釈の全てを網羅する：リスト中のアイテムのうちのいずれか、リスト中のアイテムの全て、又はリスト中のアイテムの任意の組み合わせ。

[0153]当業者は、開示された主題事項が、以下に示されていない他の形態及び方法で具現化されてもよいことを理解されよう。もしあれば、第１、第２、最上位及び最下位、ならびにこれらに類するもののような関連用語の使用は、そのようなエンティティ又はアクション間の任意のそのような実際の関連又は順序を必ずしも必要とすること又は暗示することなく、１つのエンティティ又はアクションを別のものから区別するためにのみ使用されることが理解される。

[0154]プロセス又はブロックが所定の順序で提示されているが、代替インプリメンテーションは、異なる順序で、ステップを有するルーチンを実行するか、又はブロックを有するシステムを用いることができ、代替又はサブ組み合わせを提供するために、いくつかのプロセス又はブロックを削除、移動、追加、再分割、置換、組み合わせ、及び／又は修正することができる。これらのプロセス又はブロックのそれぞれは、様々な異なる方法で実現されてもよい。また、プロセス又はブロックは、時として順次実行されるものとして示されているが、これらのプロセス又はブロックは、代わりに、並行して実行されてもよいか、又は異なった時間に実行されてもよい。さらに、本明細書で言及される任意の特定の数は、例に過ぎず、代替のインプリメンテーションは、異なる値又は範囲を採用してもよい。

[0155]本明細書で提供される本開示の教示は、必ずしも上記で説明したシステムではなく、他のシステムに適用できる。上記で説明された様々な例の要素及び動作は、さらなる例を提供するために組み合わせることができる。

[0156]添付の出願書類に列挙されてもよい任意のものを含む、上記の任意の特許及び出願ならびに他の参考文献は、参照により本明細書に組み込まれる。本開示の態様は、必要に応じて、上記で説明された様々な参考文献のシステム、機能、及び概念を用いるために修正されて、本開示のなおさらなる例を提供できる。

[0157]上記の詳細な説明に照らして、本開示に対してこれら及び他の変更を行うことができる。上記の説明は、ある特定の例を説明し、企図される最良のモードを説明しているが、上記がテキスト中でいかに詳細に書かれていたとしても、本教示は多くの方法で実施されてもよい。システムの詳細は、本明細書に開示される主題事項によって依然として包含されながらも、そのインプリメンテーションの詳細において大幅に異なるかもしれない。上でも述べられたように、本発明の特定の特徴又は態様を説明するときに使用される特定の用語は、その用語が関係付けられた本開示の任意の特定の特性、特徴、又は態様に限定されるように、その用語が本明細書で再定義づけられることを暗に意味するように受け取られるべきではないことに留意すべきである。一般に、以下の特許請求の範囲で使用される用語は、上記の詳細な説明のセクションがそのような用語を明示的に定義しない限り、本開示を本明細書で開示される特定のインプリメンテーションに限定するように解釈されるべきではない。したがって、本開示の実際の範囲は、開示されたインプリメンテーションだけでなく、特許請求の範囲の下で本開示を実施又は実現する全ての同等な方法も包含する。

[0158]本開示のいくつかの態様は、いくつかの請求項の形態で以下に提示されるが、本発明者らは、任意の数の請求項の形態で本開示の様々な態様を企図する。３５Ｕ．Ｓ．Ｃ．§１４２（ｆ）の下で取り扱われることが意図される任意の請求項は、「～のための手段（means for）」という用語で始まることになる。したがって、本出願人は、本開示の他の態様についてのそのような追加の請求項の形態を追求するために、出願後に追加の請求項を追加する権利を留保する。

[0159]本明細書で使用される用語は、一般に、本開示の文脈内で、及び各用語が使用される特定の文脈において、当技術分野における通常の意味を有する。本開示を説明するために使用されるある特定の用語は、本開示の説明に関して実施者に追加のガイダンスを提供するために、上記で説明されているか、又は本明細書中の他の箇所で説明されている。便宜上、ある特定の用語は、例えば、大文字、イタリック体、及び／又は引用符を使用して、強調表示されてもよい。強調表示の使用は、用語の範囲及び意味に影響を及ぼさず、用語の範囲及び意味は、強調表示されているか否かにかかわらず、同じ文脈においては同じである。同じ要素が１つより多くの方法で説明できることが理解されよう。

[0160]したがって、代替の言語及び同義語が、本明細書で論じられる用語のうちの任意の１つ以上に対して使用されてもよく、用語が本明細書で詳述又は論じられるかどうかに関して、いかなる特別な重要性も置かれない。ある特定の用語の同義語が提供される。１つ以上の同義語の詳述は、他の同義語の使用を排除しない。本明細書で説明された任意の用語の例を含む、本明細書の任意の箇所における例の使用は、例示的なものに過ぎず、本開示の又は任意の例示された用語の範囲及び意味をさらに限定することは意図されていない。同様に、本開示は、本明細書で与えられる様々な例に限定されない。

[0161]本開示の範囲をさらに限定することを意図せずに、本開示の例による器具、装置、方法、及びそれらの関連する結果の例を以下に示す。タイトル又はサブタイトルが、読者の便宜のために例において使用されてもよいが、これは決して本開示の範囲を限定すべきではないことに留意されたい。別段に定義されていない限り、本明細書で使用された全ての技術的及び科学的用語は、本開示が関連する当該技術分野の当業者によって一般に理解されているものと同じ意味を有する。矛盾が生じた場合、定義を含めて本文書が優先されることになる。

[0162]この説明のいくつかの部分は、情報に対する動作のアルゴリズム及び記号表現に関して例を説明する。これらのアルゴリズム的記述及び表現は、データ処理技術分野の当業者によって、彼らの作業の内容を他の当業者に最も効果的に伝えるために一般的に用いられている。これらの動作は、機能的、コンピュータ的、又は論理的に説明されているが、コンピュータプログラムもしくは同等の電気回路、マイクロコード、又はこれらに類するものによって実現されることが理解される。さらに、一般性を失うことなく、これらの動作の構成（arrangements）をモジュールと呼ぶことが時として好都合であることもわかっている。説明された動作及びそれらの関係付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、又はこれらの任意の組み合わせで具現化されてもよい。

[0163]本明細書で説明したステップ、動作、又はプロセスのいずれも、１つ以上のハードウェア又はソフトウェアモジュールを単独で、又は他のデバイスと組み合わせて用いて実行又は実現されてもよい。いくつかの例において、ソフトウェアモジュールは、説明したステップ、動作、又は処理のいずれか又はすべてを実行するためにコンピュータプロセッサによって実行できる、コンピュータプログラムコードを含むコンピュータ読取可能媒体を備えるコンピュータプログラムオブジェクトを用いて実現される。

[0164]例はまた、本明細書の動作を実行するための装置に関連してもよい。この装置は、必要な目的のために特別に構築されてもよく、及び／又はコンピュータに記憶されたコンピュータプログラムによって選択的に起動又は再構成される汎用コンピューティングデバイスを備えてもよい。そのようなコンピュータプログラムは、コンピュータシステムバスに結合されてもよい、非一時的、有形コンピュータ読取可能記憶媒体、又は電子命令を記憶するのに適した任意のタイプの媒体に記憶されてもよい。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含んでもよく、又はコンピューティング能力を高めるために複数のプロセッサ設計を採用するアーキテクチャであってもよい。

[0165]例は、本明細書で説明されるコンピューティングプロセスによって生成されるオブジェクトにも関連してもよい。そのようなオブジェクトは、コンピューティングプロセスから結果として生じた情報を備えてもよく、ここで、情報は、非一時的、有形コンピュータ読取可能記憶媒体上に記憶され、コンピュータプログラムオブジェクト又は本明細書で説明される他のデータ組み合わせの任意のインプリメンテーションを含んでいてもよい。

[0166]本明細書で使用される文言は、主に読みやすさ及び教示目的のために選択されたものであり、主題事項を詳細に描写又は制限するために選択されたものではない。したがって、本開示の範囲は、この詳細な説明ではなく、本明細書に基づく出願に関して発行される任意の特許請求の範囲によって限定されることが意図される。したがって、例の開示は、以下の特許請求の範囲に記載される主題事項の範囲を例示するものであり、限定するものではないことが意図される。

[0167]文脈接続システムのためのシステム及びコンポーネントの様々なインプリメンテーションの完全な理解を与えるために、上記の説明において具体的な詳細が与えられた。しかしながら、これらのインプリメンテーションがこれらの特定の詳細なくして実践できることが当業者に理解されるべきである。例えば、回路、システム、ネットワーク、プロセス、及び他のコンポーネントが、不要な詳細で実施形態を曖昧にしないように、ブロック図形式のコンポーネントとして示されてもよい。他の例では、周知の回路、プロセス、アルゴリズム、構造、及び技術が、実施形態を曖昧にすることを避けるために、不要な詳細なく示されてもよい。

[0168]また、個々のインプリメンテーションが、フローチャート、フロー図、データフロー図、構造図、又はブロック図として描かれるプロセスとして説明されてもよいことに留意されたい。フローチャートは、連続的なプロセスとして動作を説明してもよいが、動作の多くは並行して又は同時に実行されることができる。さらに、動作の順序は再配置されてもよい。プロセスは、その動作が完了したときに終了するが、図面に含まれていない追加のステップを有してもよい。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応してもよい。プロセスが関数に対応するとき、その終了は、関数の呼び出し又は主関数に関数が戻ることに対応してもよい。

[0169]クライアントデバイス、ネットワークデバイス、及び他のデバイスは、とりわけ、１つ以上の集積回路、入力デバイス、出力デバイス、データ記憶デバイス、及び／又はネットワークインターフェースを含むコンピューティングシステムであることがある。集積回路は、例えば、とりわけ、１つ以上のプロセッサ、揮発性メモリ、及び／又は不揮発性メモリを含んでいてもよい。入力デバイスは、例えば、キーボード、マウス、キーパッド、タッチインターフェース、マイクロフォン、カメラ、及び／又は他のタイプの入力デバイスを含んでいてもよい。出力デバイスは、例えば、ディスプレイスクリーン、スピーカ、触覚フィードバックシステム、プリンタ、及び／又は他のタイプの出力デバイスを含んでいてもよい。ハードドライブ又はフラッシュメモリ等のデータ記憶デバイスは、コンピューティングデバイスがデータを一時的又は永久的に記憶することを可能にできる。ワイヤレス又はワイヤードインターフェース等のネットワークインターフェースは、コンピューティングデバイスがネットワークと通信することを可能にできる。コンピューティングデバイスの例は、デスクトップコンピュータ、ラップトップコンピュータ、サーバコンピュータ、ハンドヘルドコンピュータ、タブレット、スマートフォン、パーソナルデジタルアシスタント、デジタルホームアシスタント、ならびにコンピューティングデバイスが組み込まれている機械及び装置を含む。

[0170]「コンピュータ読取可能媒体」という用語は、ポータブル又は非ポータブル記憶デバイスと、光記憶デバイスと、命令及び／又はデータを記憶、包含、あるいは搬送することが可能である様々な他の媒体とを含むが、それらに限定されない。コンピュータ読取可能媒体は、データが記憶されることができ、ワイヤレスにあるいはワイヤード接続を通して伝搬する搬送波及び／又は一時的電子信号を含まない、非一時的媒体を含んでいてもよい。非一時的媒体の例は、磁気ディスク又はテープや、コンパクトディスク（ＣＤ）又はデジタル多用途ディスク（ＤＶＤ）等の光記憶媒体や、フラッシュメモリ、メモリ又はメモリデバイスを含んでいてもよいがこれらに限定されない。コンピュータ読取可能媒体は、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、又は命令、データ構造、もしくはプログラムステートメントの任意の組み合わせを表してもよい、コード及び／又は機械実行可能な命令を記憶してもよい。コードセグメントは、情報、データ、引数、パラメータ、又はメモリコンテンツを渡すこと及び／又は受け取ることによって、別のコードセグメント又はハードウェア回路に結合されてもよい。情報、引き数、パラメータ、データ、等は、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信、又はこれらに類するもの含む任意の適した手段を介して渡されてもよいか、転送されてもよいか、又は送信されてもよい。

[0171]さらに、上述したさまざまな例はさらに、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせによって実現されてもよい。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実現されるとき、必要なタスクを実行するためのプログラムコード又はコードセグメント（例えば、コンピュータプログラム製品）は、コンピュータ読取可能媒体又は機械読取可能媒体（例えば、プログラムコード又はコードセグメントを記憶するための媒体）に記憶されてもよい。集積回路で実現されるプロセッサが、必要なタスクを実行してもよい。

[0172]コンポーネントがある特定の動作を実行する「ように構成される」ものとして説明される場合、そのような構成は、例えば、動作を実行するように電子回路又は他のハードウェアを設計することによって、動作を実行するようにプログラマブル電子回路（例えば、マイクロプロセッサ、又は他の適した電子回路）をプログラミングすることによって、又はそれらの任意の組み合わせで、達成されることができる。

[0173]本明細書に開示されたインプリメンテーションに関連して説明された様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、又はそれらの組み合わせとして実現されてもよい。ハードウェアとソフトウェアとのこの互換性を明確に示すために、様々な例示的なコンポーネント、ブロック、モジュール、回路、及びステップが、それらの機能性の観点から一般的に上述されている。そのような機能性が、ハードウェアとして実現されるか、またはソフトウェアとして実現されるかは、特定のアプリケーション及びシステム全体に課せられる設計制約に依存する。当業者は、説明された機能性を特定のアプリケーションごとに様々な方法で実現してもよいが、そのようなインプリメンテーションの決定は、本開示の範囲からの逸脱を引き起こしているとして解釈されるべきではない。

[0174]ここに説明された技術はまた、電子ハードウェア、コンピュータソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実現されてもよい。そのような技術は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、又はワイヤレス通信デバイスハンドセット及び他のデバイスにおけるアプリケーションを含む複数の用途を有する集積回路デバイスなどの様々なデバイスのうちの任意のものにおいて実現されてもよい。モジュール又はコンポーネントとして説明されたどの特徴も、集積論理デバイスにおいて共に、又はディスクリートではあるが相互運用可能な論理デバイスとして別個に、実現されてもよい。ソフトウェアにおいて実現される場合、本技術は、実行されるとき、上述された方法のうちの１つ以上を実行する命令を含むプログラムコードを備えるコンピュータ読取可能データ記憶媒体によって少なくとも部分的に実現されてもよい。コンピュータ読取可能データ記憶媒体は、コンピュータプログラム製品の一部を形成してもよく、それは、パッケージング材料を含んでいてもよい。コンピュータ読取可能媒体は、同期ダイナミックミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、不揮発ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ（登録商標））、ＦＬＡＳＨ（登録商標）メモリ、磁気又は光データ記憶媒体、及びこれらに類するもののようなメモリ又はデータ記憶媒体を備えていてもよい。本技術は加えて、又は代替として、命令又はデータ構造の形態でプログラムコードを搬送又は通信し、並びに伝搬される信号又は波のような、コンピュータによってアクセス、読み取り、及び／又は実行されることができる、コンピュータ読取可能通信媒体によって少なくとも部分的に実現されてもよい。

[0175]プログラムコードは、プロセッサによって実行されてもよく、それは、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の同等の集積回路又はディスクリート論理回路のような１つ以上のプロセッサを含んでいてもよい。そのようなプロセッサは、本開示に説明された技術のうちの任意のものを実行するように構成されてもよい。汎用プロセッサはマイクロプロセッサであってもよいが、代替では、プロセッサは、任意の従来のプロセッサ、制御装置、マイクロ制御装置、又は、状態機械であってもよい。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携した１つ以上のマイクロプロセッサ、あるいは任意の他のそのような構成として実現されてもよい。したがって、本明細書で使用される場合、「プロセッサ」という用語は、前述の構造の任意のもの、前述の構造の任意の組み合わせ、又は本明細書で説明された技術のインプリメンテーションに好適なその他任意の構造又は装置を指してもよい。加えて、いくつかの態様では、本明細書で説明された機能性は、サスペンドされたデータベース更新システムの実現のために構成された専用のソフトウェアモジュール又はハードウェアモジュール内で提供されてもよい。

[0176]本テクノロジーの前述の詳細な説明は、例示及び説明を目的として提示されてきた。それは、網羅的であること、又は本テクノロジーを開示された厳密な形態に限定することを意図したものではない。上記教示を踏まえて、多くの修正及びバリエーションが可能である。説明された実施形態は、テクノロジーの原理、その実際の適用を最もよく説明するために、また、他の当業者が、様々な実施形態において、及び企図される特定の使用に適した様々な修正を伴って、テクノロジーを利用することを可能にするために選ばれた。本テクノロジーの範囲は、特許請求の範囲によって定義されることが意図される。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
［Ｃ１］
コンピュータ実現方法であって、
会話データを取得することと、前記会話データは、顧客とクライアントのエージェントとの間の１つ以上の会話に対応し、前記１つ以上の会話は、意図のセットに対応し、
前記意図のセットの明示的要素及び暗示的要素を識別することと、
前記意図のセットから文脈のセットを決定することと、前記文脈のセットは、前記明示的要素、前記暗示的要素、及び前記顧客と前記エージェントとの間の前記１つ以上の会話に基づいて決定され、
機械学習アルゴリズムをトレーニングすることと、前記機械学習アルゴリズムは、前記文脈のセット、前記明示的要素、前記暗示的要素、及び前記顧客と前記エージェントとの間の前記１つ以上の会話を使用してトレーニングされ、前記機械学習アルゴリズムは、新しい意図に対するエージェント応答を向上するために実行可能なアクションのセットを生成するようにトレーニングされ、
新しい会話に対応する新しい会話データを受信することと、
前記新しい会話に関係付けられた新しい意図へのエージェント応答を向上するために実行可能なアクションを識別することと、前記アクションは、前記新しい会話データ及び前記機械学習アルゴリズムを使用して識別され、
前記アクションに対応する１つ以上の推奨を生成することと、前記１つ以上の推奨は、前記新しい会話に関係付けられた前記新しい意図に対処するために提示され、
前記１つ以上の推奨への準拠をリアルタイムで動的に監視することとを含む、コンピュータ実現方法。
［Ｃ２］
前記１つ以上の推奨は条件付き論理を含み、前記条件付き論理は、前記新しい会話に関係付けられた前記新しい意図に対処するために、新しい明示的要素及び新しい暗示的要素を文脈化するように実行可能である、Ｃ１に記載のコンピュータ実現方法。
［Ｃ３］
前記１つ以上の推奨への準拠を動的に監視することは、顧客とエージェントとの間の新しい会話のデータストリームを処理することを含み、前記データストリームは、前記新しい会話中にリアルタイムで処理され、前記データストリームからの前記エージェント応答は、前記エージェントが前記１つ以上の推奨に準拠しているかどうかを決定するためにリアルタイムで評価される、Ｃ１に記載のコンピュータ実現方法。
［Ｃ４］
前記１つ以上の推奨への準拠を動的に監視することは、前記エージェントにフィードバックを提供することを含み、前記フィードバックは、前記１つ以上の推奨にしたがうエージェント応答の評価に基づいて提供される、Ｃ１に記載のコンピュータ実現方法。
［Ｃ５］
前記１つ以上の推奨への準拠を動的に監視することは、新しい会話から感情を決定することを含み、前記感情は、前記新しい会話におけるエージェント応答が前記１つ以上の推奨に準拠するかどうかを決定するために評価される、Ｃ１に記載のコンピュータ実現方法。
［Ｃ６］
前記エージェントに対応する性能メトリックのセットを生成することをさらに含み、前記性能メトリックのセットは、前記顧客の意図及び感情の前記セットに対処する際の前記エージェントの性能に対応する、Ｃ１に記載のコンピュータ実現方法。
［Ｃ７］
前記会話に対応するフィードバックを取得することをさらに含み、前記フィードバックは、前記新しい意図に対する前記エージェント応答を向上するために実行可能な前記アクションのセットを識別するように処理される、Ｃ1に記載のコンピュータ実現方法。
［Ｃ８］
前記機械学習アルゴリズムをさらにトレーニングするために、文脈の新しいセット、新しい明示的要素、新しい暗示的要素、前記新しい会話、及び前記１つ以上の推奨への準拠に対応するデータを使用することをさらに含む、Ｃ1に記載のコンピュータ実現方法。
［Ｃ９］
システムであって、
１つ以上のプロセッサと、
命令を記憶しているメモリとを備え、前記命令は、前記１つ以上のプロセッサによって実行された結果として、前記システムに、
会話データを取得させ、前記会話データは、顧客とクライアントのエージェントとの間の１つ以上の会話に対応し、前記１つ以上の会話は、意図のセットに対応し、
前記意図のセットの明示的要素及び暗示的要素を識別させ、
前記意図のセットから文脈のセットを決定させ、前記文脈のセットは、前記明示的要素、前記暗示的要素、及び前記顧客と前記エージェントとの間の前記１つ以上の会話に基づいて決定され、
機械学習アルゴリズムをトレーニングさせ、前記機械学習アルゴリズムは、前記文脈のセット、前記明示的要素、前記暗示的要素、及び前記顧客と前記エージェントとの間の前記１つ以上の会話を使用してトレーニングされ、前記機械学習アルゴリズムは、新しい意図に対するエージェント応答を向上するために実行可能なアクションのセットを生成するようにトレーニングされ、
新しい会話に対応する新しい会話データを受信させ、
前記新しい会話に関係付けられた新しい意図に対するエージェント応答を向上するために実行可能なアクションを識別させ、前記アクションは、前記新しい会話データ及び前記機械学習アルゴリズムを使用して識別され、
前記アクションに対応する１つ以上の推奨を生成させ、前記１つ以上の推奨は、前記新しい会話に関係付けられた前記新しい意図に対処するために提示され、
前記１つ以上の推奨への準拠をリアルタイムで動的に監視させる、システム。
［Ｃ１０］
前記１つ以上の推奨は条件付き論理を含み、前記条件付き論理は、前記新しい会話に関係付けられた前記新しい意図に対処するために新しい明示的要素及び新しい暗示的要素を文脈化するように実行可能である、Ｃ９に記載のシステム。
［Ｃ１１］
前記システムに前記１つ以上の推奨への準拠を動的に監視させる前記命令はさらに、前記システムに、顧客とエージェントとの間の新しい会話のデータストリームを処理させ、前記データストリームは、前記新しい会話中にリアルタイムで処理され、前記データストリームからの前記エージェント応答は、前記エージェントが前記１つ以上の推奨に準拠しているかどうかを決定するためにリアルタイムで評価される、Ｃ９に記載のシステム。
［Ｃ１２］
前記システムに前記１つ以上の推奨の準拠を動的に監視させる前記命令はさらに、前記システムに、前記エージェントへのフィードバックを提供させ、前記フィードバックは、前記１つ以上の推奨にしたがうエージェント応答の評価に基づいて提供される、Ｃ９に記載のシステム。
［Ｃ１３］
前記システムに前記１つ以上の推奨への準拠を動的に監視させる前記命令はさらに、前記システムに、新しい会話からの感情を決定させ、前記感情は、前記新しい会話におけるエージェント応答が前記１つ以上の推奨に準拠するかどうかを決定するために評価される、Ｃ９に記載のシステム。
［Ｃ１４］
前記命令はさらに、前記システムに、前記エージェントに対応する性能メトリックのセットを生成させ、前記性能メトリックのセットは、前記顧客の意図及び感情の前記セットに対処する際の前記エージェントの性能に対応する、Ｃ９に記載のシステム。
［Ｃ１５］
前記命令はさらに、前記システムに、前記会話に対応するフィードバックを取得させ、前記フィードバックは、前記新しい意図に対する前記エージェント応答を向上するために実行可能な前記アクションのセットを識別するように処理される、Ｃ９に記載のシステム。
［Ｃ１６］
前記命令はさらに、前記システムに、文脈の新しいセット、新しい明示的要素、新しい暗示的要素、前記新しい会話、及び前記１つ以上の推奨への準拠に対応するデータを使用させて、前記機械学習アルゴリズムをさらにトレーニングさせる、Ｃ９に記載のシステム。
［Ｃ１７］
実行可能な命令を記憶している非一時的コンピュータ読取可能記憶媒体であって、
前記実行可能な命令は、コンピュータシステムの１つ以上のプロセッサによって実行される結果として、前記コンピュータシステムに、
会話データを取得させ、前記会話データは、顧客とクライアントのエージェントとの間の１つ以上の会話に対応し、前記１つ以上の会話は、意図のセットに対応し、
前記意図のセットの明示的要素及び暗示的要素を識別させ、
前記意図のセットから文脈のセットを決定させ、前記文脈のセットは、前記明示的要素、前記暗示的要素、及び前記顧客と前記エージェントとの間の前記１つ以上の会話に基づいて決定され、
機械学習アルゴリズムをトレーニングさせ、前記機械学習アルゴリズムは、前記文脈のセット、前記明示的要素、前記暗示的要素、及び前記顧客と前記エージェントとの間の前記１つ以上の会話を使用してトレーニングされ、前記機械学習アルゴリズムは、新しい意図に対するエージェント応答を向上するために実行可能なアクションのセットを生成するようにトレーニングされ、
新しい会話に対応する新しい会話データを受信させ、
前記新しい会話に関係付けられた新しい意図に対するエージェント応答を向上するために実行可能なアクションを識別させ、前記アクションは、前記新しい会話データ及び前記機械学習アルゴリズムを使用して識別され、
前記アクションに対応する１つ以上の推奨を生成させ、前記１つ以上の推奨は、前記新しい会話に関係付けられた前記新しい意図に対処するために提示され、
前記１つ以上の推奨への準拠をリアルタイムで動的に監視させる、非一時的コンピュータ読取可能記憶媒体。
［Ｃ１８］
前記１つ以上の推奨は条件付き論理を含み、前記条件付き論理は、前記新しい会話に関係付けられた前記新しい意図に対処するために、新しい明示的要素及び新しい暗示的要素を文脈化するように実行可能である、Ｃ１７に記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ１９］
前記コンピュータシステムに、前記１つ以上の推奨への準拠を動的に監視させる前記実行可能な命令はさらに、前記コンピュータシステムに、顧客とエージェントとの間の新しい会話のデータストリームを処理させ、前記データストリームは、前記新しい会話中にリアルタイムで処理され、前記データストリームからの前記エージェント応答は、前記エージェントが前記１つ以上の推奨に準拠しているかどうかを決定するためにリアルタイムで評価される、Ｃ１７に記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ２０］
前記コンピュータシステムに、前記１つ以上の推奨の準拠を動的に監視させる前記実行可能な命令はさらに、前記コンピュータシステムに、前記エージェントへのフィードバックを提供させ、前記フィードバックは、前記１つ以上の推奨にしたがうエージェント応答の評価に基づいて提供される、Ｃ１７に記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ２１］
前記コンピュータシステムに前記１つ以上の推奨への準拠を動的に監視させる前記実行可能な命令はさらに、前記コンピュータシステムに、新しい会話から感情を決定させ、前記感情は、前記新しい会話内のエージェント応答が前記１つ以上の推奨に準拠するかどうかを決定するために評価される、Ｃ１７に記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ２２］
前記実行可能な命令はさらに、前記コンピュータシステムに、前記エージェントに対応する性能メトリックのセットを生成させ、前記性能メトリックのセットは、前記顧客の意図及び感情の前記セットに対処する際の前記エージェントの性能に対応する、Ｃ１７に記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ２３］
前記実行可能な命令はさらに、前記コンピュータシステムに、前記会話に対応するフィードバックを取得させ、前記フィードバックは、前記新しい意図に対する前記エージェント応答を向上するために実行可能な前記アクションのセットを識別するように処理される、Ｃ１７に記載の非一時的コンピュータ読取可能記憶媒体。
［Ｃ２４］
前記実行可能な命令はさらに、前記コンピュータシステムに、文脈の新しいセット、新しい明示的要素、新しい暗示的要素、前記新しい会話、及び前記１つ以上の推奨への準拠に対応するデータを使用させて、前記機械学習アルゴリズムをさらにトレーニングさせる、Ｃ１７に記載の非一時的コンピュータ読取可能記憶媒体。

Claims (24)

1. コンピュータによって実行される方法であって、
   履歴データを取得することと、前記履歴データは、顧客とクライアントのエージェントとの間の以前の対話に対応し、
   前記以前の対話に関連付けられた顧客応答内の明示的要素及び暗示的要素を識別することと、
   前記明示的要素、前記暗示的要素、及び前記顧客と前記エージェントとの間の前記以前の対話から文脈のセットを決定することと、
   機械学習アルゴリズムをトレーニングすることと、前記機械学習アルゴリズムは、前記文脈のセット、前記明示的要素、前記暗示的要素、及び前記顧客と前記エージェントとの間の前記以前の対話を使用してトレーニングされ、前記機械学習アルゴリズムは、異なる顧客応答に対するエージェント応答を向上するために実行可能なアクションのセットを生成するようにトレーニングされ、
   新しい会話に対応する新しい会話データを受信することと、
   前記新しい会話に関係付けられた新しい顧客応答内の新しい明示的要素及び新しい暗示的要素へのエージェント応答を向上するために実行可能なアクションを識別することと、前記アクションは、前記新しい会話データ及び前記機械学習アルゴリズムを使用して識別され、
   前記アクションに対応する１つ以上の推奨を生成することと、前記１つ以上の推奨は、前記新しい顧客応答へのエージェント応答を向上するために提示され、
   前記１つ以上の推奨への準拠をリアルタイムで動的に監視することとを含む、方法。
2. 前記１つ以上の推奨は条件付き論理を含み、前記条件付き論理は、前記新しい顧客応答への前記エージェント応答を向上するために、前記新しい明示的要素及び前記新しい暗示的要素を文脈化するように実行可能である、請求項１に記載の方法。
3. 前記１つ以上の推奨への準拠を動的に監視することは、顧客とエージェントとの間の新しい会話のデータストリームを処理することを含み、前記データストリームは、前記新しい会話中にリアルタイムで処理され、前記データストリームからの前記エージェント応答は、前記エージェントが前記１つ以上の推奨に準拠しているかどうかを決定するためにリアルタイムで評価される、請求項１に記載の方法。
4. 前記１つ以上の推奨への準拠を動的に監視することは、前記エージェントにフィードバックを提供することを含み、前記フィードバックは、前記１つ以上の推奨にしたがう前記エージェント応答の評価に基づいて提供される、請求項１に記載の方法。
5. 前記１つ以上の推奨への準拠を動的に監視することは、新しい会話から感情を決定することを含み、前記感情は、前記新しい会話における前記エージェント応答が前記１つ以上の推奨に準拠するかどうかを決定するために評価される、請求項１に記載の方法。
6. 前記エージェントに対応する性能メトリックのセットを生成することをさらに含み、前記性能メトリックのセットは、前記新しい顧客応答内の感情的要素に対処する際の前記エージェントの性能に対応する、請求項１に記載の方法。
7. 前記会話に対応するフィードバックを取得することをさらに含み、前記フィードバックは、前記新しい顧客応答に対する前記エージェント応答を向上するために実行可能な前記アクションのセットを識別するように処理される、請求項１に記載の方法。
8. 前記機械学習アルゴリズムをさらにトレーニングするために、前記文脈の新しいセット、前記新しい明示的要素、前記新しい暗示的要素、前記新しい会話、及び前記１つ以上の推奨への準拠に対応するデータを使用することをさらに含む、請求項１に記載の方法。
9. システムであって、
   １つ以上のプロセッサと、
   命令を記憶しているメモリとを備え、前記命令は、前記１つ以上のプロセッサによって実行された結果として、前記システムに、
   履歴データを取得させ、前記履歴データは、顧客とクライアントのエージェントとの間の以前の対話に対応し、
   前記以前の対話に関連付けられた顧客応答内の明示的要素及び暗示的要素を識別させ、
   前記明示的要素、前記暗示的要素、及び前記顧客と前記エージェントとの間の前記以前の対話から文脈のセットを決定させ、
   機械学習アルゴリズムをトレーニングさせ、前記機械学習アルゴリズムは、前記文脈のセット、前記明示的要素、前記暗示的要素、及び前記顧客と前記エージェントとの間の前記以前の対話を使用してトレーニングされ、前記機械学習アルゴリズムは、異なる顧客応答に対するエージェント応答を向上するために実行可能なアクションのセットを生成するようにトレーニングされ、
   新しい会話に対応する新しい会話データを受信させ、
   前記新しい会話に関係付けられた新しい顧客応答内の新しい明示的要素及び新しい暗示的要素に対するエージェント応答を向上するために実行可能なアクションを識別させ、前記アクションは、前記新しい会話データ及び前記機械学習アルゴリズムを使用して識別され、
   前記アクションに対応する１つ以上の推奨を生成させ、前記１つ以上の推奨は、前記新しい顧客応答へのエージェント応答を向上するために提示され、
   前記１つ以上の推奨への準拠をリアルタイムで動的に監視させる、システム。
10. 前記１つ以上の推奨は条件付き論理を含み、前記条件付き論理は、前記新しい顧客応答への前記エージェント応答を向上するために前記新しい明示的要素及び前記新しい暗示的要素を文脈化するように実行可能である、請求項９に記載のシステム。
11. 前記システムに前記１つ以上の推奨への準拠を動的に監視させる前記命令はさらに、前記システムに、顧客とエージェントとの間の新しい会話のデータストリームを処理させ、前記データストリームは、前記新しい会話中にリアルタイムで処理され、前記データストリームからの前記エージェント応答は、前記エージェントが前記１つ以上の推奨に準拠しているかどうかを決定するためにリアルタイムで評価される、請求項９に記載のシステム。
12. 前記システムに前記１つ以上の推奨の準拠を動的に監視させる前記命令はさらに、前記システムに、前記エージェントへのフィードバックを提供させ、前記フィードバックは、前記１つ以上の推奨にしたがう前記エージェント応答の評価に基づいて提供される、請求項９に記載のシステム。
13. 前記システムに前記１つ以上の推奨への準拠を動的に監視させる前記命令はさらに、前記システムに、新しい会話からの感情を決定させ、前記感情は、前記新しい会話における前記エージェント応答が前記１つ以上の推奨に準拠するかどうかを決定するために評価される、請求項９に記載のシステム。
14. 前記命令はさらに、前記システムに、前記エージェントに対応する性能メトリックのセットを生成させ、前記性能メトリックのセットは、前記新しい顧客応答内の感情的要素に対処する際の前記エージェントの性能に対応する、請求項９に記載のシステム。
15. 前記命令はさらに、前記システムに、前記会話に対応するフィードバックを取得させ、前記フィードバックは、前記新しい顧客応答に対する前記エージェント応答を向上するために実行可能な前記アクションのセットを識別するように処理される、請求項９に記載のシステム。
16. 前記命令はさらに、前記システムに、前記文脈の新しいセット、前記新しい明示的要素、前記新しい暗示的要素、前記新しい会話、及び前記１つ以上の推奨への準拠に対応するデータを使用させて、前記機械学習アルゴリズムをさらにトレーニングさせる、請求項９に記載のシステム。
17. 実行可能な命令を記憶している非一時的コンピュータ読取可能記憶媒体であって、
    前記実行可能な命令は、コンピュータシステムの１つ以上のプロセッサによって実行される結果として、前記コンピュータシステムに、
    履歴データを取得させ、前記履歴データは、顧客とクライアントのエージェントとの間の以前の対話に対応し、
    前記以前の対話に関連付けられた顧客応答内の明示的要素及び暗示的要素を識別させ、
    前記明示的要素、前記暗示的要素、及び前記顧客と前記エージェントとの間の前記以前の対話から文脈のセットを決定させ、
    機械学習アルゴリズムをトレーニングさせ、前記機械学習アルゴリズムは、前記文脈のセット、前記明示的要素、前記暗示的要素、及び前記顧客と前記エージェントとの間の前記以前の対話を使用してトレーニングされ、前記機械学習アルゴリズムは、異なる顧客応答に対するエージェント応答を向上するために実行可能なアクションのセットを生成するようにトレーニングされ、
    新しい会話に対応する新しい会話データを受信させ、
    前記新しい会話に関係付けられた新しい顧客応答内の新しい明示的要素及び新しい暗示的要素に対するエージェント応答を向上するために実行可能なアクションを識別させ、前記アクションは、前記新しい会話データ及び前記機械学習アルゴリズムを使用して識別され、
    前記アクションに対応する１つ以上の推奨を生成させ、前記１つ以上の推奨は、前記新しい顧客応答へのエージェント応答を向上するために提示され、
    前記１つ以上の推奨への準拠をリアルタイムで動的に監視させる、非一時的コンピュータ読取可能記憶媒体。
18. 前記１つ以上の推奨は条件付き論理を含み、前記条件付き論理は、前記新しい顧客応答への前記エージェント応答を向上するために、前記新しい明示的要素及び前記新しい暗示的要素を文脈化するように実行可能である、請求項１７に記載の非一時的コンピュータ読取可能記憶媒体。
19. 前記コンピュータシステムに、前記１つ以上の推奨への準拠を動的に監視させる前記実行可能な命令はさらに、前記コンピュータシステムに、顧客とエージェントとの間の新しい会話のデータストリームを処理させ、前記データストリームは、前記新しい会話中にリアルタイムで処理され、前記データストリームからの前記エージェント応答は、前記エージェントが前記１つ以上の推奨に準拠しているかどうかを決定するためにリアルタイムで評価される、請求項１７に記載の非一時的コンピュータ読取可能記憶媒体。
20. 前記コンピュータシステムに、前記１つ以上の推奨の準拠を動的に監視させる前記実行可能な命令はさらに、前記コンピュータシステムに、前記エージェントへのフィードバックを提供させ、前記フィードバックは、前記１つ以上の推奨にしたがう前記エージェント応答の評価に基づいて提供される、請求項１７に記載の非一時的コンピュータ読取可能記憶媒体。
21. 前記コンピュータシステムに前記１つ以上の推奨への準拠を動的に監視させる前記実行可能な命令はさらに、前記コンピュータシステムに、新しい会話から感情を決定させ、前記感情は、前記新しい会話内の前記エージェント応答が前記１つ以上の推奨に準拠するかどうかを決定するために評価される、請求項１７に記載の非一時的コンピュータ読取可能記憶媒体。
22. 前記実行可能な命令はさらに、前記コンピュータシステムに、前記エージェントに対応する性能メトリックのセットを生成させ、前記性能メトリックのセットは、前記新しい顧客応答内の感情的要素に対処する際の前記エージェントの性能に対応する、請求項１７に記載の非一時的コンピュータ読取可能記憶媒体。
23. 前記実行可能な命令はさらに、前記コンピュータシステムに、前記会話に対応するフィードバックを取得させ、前記フィードバックは、前記新しい顧客応答に対する前記エージェント応答を向上するために実行可能な前記アクションのセットを識別するように処理される、請求項１７に記載の非一時的コンピュータ読取可能記憶媒体。
24. 前記実行可能な命令はさらに、前記コンピュータシステムに、前記文脈の新しいセット、前記新しい明示的要素、前記新しい暗示的要素、前記新しい会話、及び前記１つ以上の推奨への準拠に対応するデータを使用させて、前記機械学習アルゴリズムをさらにトレーニングさせる、請求項１７に記載の非一時的コンピュータ読取可能記憶媒体。

Images