JP2024521150A - アノテーション解決のためのデータ駆動タクソノミ - Google Patents

Abstract

インテント混同評価エンジンは、顧客とエージェントとの間の会話に対応する会話データを受信する。エンジンは、顧客とエージェントとの間で交換されたメッセージから識別されたインテントに対応する会話データ中のアノテーションを評価して、異なるインテント間の混同レベルを決定する。これらの混同レベルに基づいて、エンジンは、様々なインテントと、会話のセットについてのインテントの異なるペアリング間の混同レベルとを例示するグラフ表示を作成する。更新がアノテーションに提供される場合、グラフ表示は、更新に従って様々なインテント間の更新された混同レベルを提供するために、動的に且つリアルタイムで更新される。【選択図】図１

Description

関連出願の相互参照

[0001]本特許出願は、２０２１年５月２４日に出願された米国仮特許出願第６３／１９２，３１４号の優先権の利益を主張し、その開示は、本明細書に参照によって援用される。

[0002]本開示は、一般に、インテントを分類する際のアノテータ混同を解決するために、アノテータ間のタクソノミの曖昧さを評価するためのシステム及び方法に関する。より具体的には、タクソノミの曖昧さを識別するインテント発見ツールを提供し、これらのタクソノミの曖昧さに対処するためのツールを提供するフレームワークを展開するための技法が提供される。

[0003]開示される実施形態は、異なるインテントを分類する際のどんなアノテータ混同も解決するために、アノテータ間のタクソノミの曖昧さを評価するためのフレームワークを提供し得る。いくつかの実施形態によると、コンピュータ実施方法が提供される。コンピュータ実施方法は、エージェントとユーザとの間の会話に対応する進行中の会話データを受信することを備える。進行中の会話データは、エージェントとユーザとの間で交換されたメッセージに関連付けられたアノテーションを含む。更に、アノテーションは、インテントを指定する。コンピュータ実施方法は、リアルタイムでメトリックのセットを動的に算出することを備える。メトリックのセットは、進行中の会話データが受信されると、リアルタイムで算出される。追加として、メトリックのセットは、アノテーションに基づいて算出され、インテントのペアリング間の混同量に対応する。コンピュータ実施方法は、リアルタイムでグラフ表示を動的に生成することを備える。グラフ表示は、エッジのセットを使用してノードのペア間の混同量を図示する。更に、ノードは、インテントに対応し、エッジは、ノードのペアを使用して表されるインテントのペアリング間の混同量に対応する。グラフ表示は、進行中の会話データが受信されると、リアルタイムで動的に更新される。

[0004]いくつかの実施形態では、ノードは、アノテーションがインテントを指定する頻度に従ってサイズ決定される。

[0005]いくつかの実施形態では、エッジは、インテントのペアリングについての混同量に従ってサイズ決定される。

[0006]いくつかの実施形態では、エッジのセットは、対応するメトリックが最小混同量閾値を上回ることの結果として生成される。

[0007]いくつかの実施形態では、コンピュータ実施方法は、グラフ表示への更新を受信することを更に備える。更新は、２つ以上のインテントを単一のインテントに統合することを示す。コンピュータ実施方法は、メトリックのセットを再算出するために、単一のインテントとインテントのセットのうちの他のインテントとの間の新しい混同量を決定することを更に備える。コンピュータ実施方法は、２つ以上のインテントに対応するノードを単一のノードに統合することを更に備え、単一のノードは、単一のインテントに対応する。コンピュータ実施方法は、単一のインテントと他のインテントとの間の新しい混同量を示すために、単一のノードと残りのノードとの間に新しいエッジを生成することを更に備える。

[0008]いくつかの実施形態では、メトリックは、第１のインテントが第２のインテントよりも選択される条件付き確率と、第２のインテントが第１のインテントよりも選択される条件付き確率との平均に対応する。

[0009]いくつかの実施形態では、コンピュータ実施方法は、グラフ表示内のノードの選択を検出することを更に備える。ノードは、特定のインテントに関連付けられる。コンピュータ実施方法は、特定のインテントに対応する追加のメトリックをリアルタイムで提供するためにグラフ表示を動的に更新することを更に備える。追加のメトリックは、特定のインテントがメッセージの数のアノテーションに使用されたメッセージの数を含む。

[0010]実施形態では、システムは、１つ以上のプロセッサと、命令を含むメモリとを備え、命令は、１つ以上のプロセッサによって実行されることの結果として、システムに、本明細書で説明されるプロセスを実行させる。別の実施形態では、非一時的コンピュータ可読記憶媒体は、実行可能命令を記憶し、実行可能命令は、コンピュータシステムの１つ以上のプロセッサによって実行されることの結果として、コンピュータシステムに、本明細書で説明されるプロセスを実行させる。

[0011]本開示の様々な実施形態が以下で詳細に議論される。特定の実装形態が議論されるが、これは、例示の目的としてのみ行われることを理解されたい。当業者は、本開示の趣旨及び範囲から逸脱することなく、他の構成要素及び構成が使用されることができることを認識するであろう。このことから、以下の説明及び図面は例示的なであり、限定するものとして解釈されるべきではない。本開示の完全な理解を提供するために、多数の具体的な詳細が説明される。しかしながら、ある特定の事例では、説明を曖昧にすることを回避するために、周知又は従来の詳細は説明されない。本開示における１つの実施形態又は実施形態への言及は、同じ実施形態又は任意の実施形態への言及であり得、そのような言及は、実施形態のうちの少なくとも１つを意味する。

[0012]「一実施形態」又は「実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造、又は特性が本開示の少なくとも１つの実施形態中に含まれ得ることを意味する。本明細書の様々な箇所で「一実施形態では」という語句が出現するが、必ずしも全てが同じ実施形態を指すとは限らず、他の実施形態と相互に排他的な別個の又は代替の実施形態であるとも限らない。その上、いくつかの実施形態によって示される可能性があるが、他の実施形態によっては示されない可能性がある様々な特徴が説明される。

[0013]本明細書で使用される用語は、一般に、本開示の文脈内で、及び各用語が使用される文脈中で、当該技術分野におけるそれらの通常の意味を有する。代替の文言及び同義語が、本明細書で議論される用語のうちの任意の１つ以上に使用されることができ、用語が本明細書で詳述又は議論されるか否かに関して、特別な重要性が置かれるべきではない。場合によっては、ある特定の用語に対する同義語が提供される。１つ以上の同義語の記載は、他の同義語の使用を除外しない。本明細書で議論される任意の用語の例を含む、本明細書の任意の箇所での例の使用は、例示に過ぎず、本開示又は任意の実例的な用語の範囲及び意味を更に限定することを意図されない。同様に、本開示は、本明細書で与えられる様々な実施形態に限定されない。

[0014]本開示の範囲を限定することを意図することなく、本開示の実施形態による器具、装置、方法、及びそれらの関連する結果の例が以下に与えられる。題又は副題が、読者の便宜のために例において使用されることができ、それは、決して本開示の範囲を限定すべきではないことに留意されたい。別段に定義されない限り、本明細書で使用される技術的及び科学的用語は、本発明が関連する技術分野の当業者によって一般に理解されるような意味を有する。矛盾する場合、定義を含めて、本明細書が優先されるであろう。

[0015]本開示の追加の特徴及び利点が、以下の説明に記載され、部分的に説明から明らかとなるか、又は本明細書に開示される原理の実践によって習得されることができる。本開示の特徴及び利点は、添付された特許請求の範囲で特に指摘された命令及び組み合わせによって実現及び取得されることができる。本開示のこれら及び他の特徴は、以下の説明及び添付された特許請求の範囲からより十分に明らかとなるか、又は本明細書に記載された原理の実践によって習得されることができる。

[0016]本開示は、添付の図面と併せて説明される。

[0017]様々な実施形態が実施されることができる環境の例示的な例を示す。 [0018]少なくとも１つの実施形態による、インテント混同評価エンジンが会話データと過去の会話のインテントに関してアノテータのプールによって行われたアノテーションとを処理して、アノテータのプール内のインテント混同を識別する環境の例示的な例を示す。 [0019]少なくとも１つの実施形態による、インテント混同視覚化サブシステムが様々な会話についてのタクソノミの曖昧さのグラフ表示を生成する環境の例示的な例を示す。 [0020]少なくとも１つの実施形態による、識別されたインテントについての異なるインテント分類間のインテント混同レベルを決定するためのプロセスの例示的な例を示す。 [0021]少なくとも１つの実施形態による、修正に対応するエッジ及び／又はノードに対するアノテーション修正の影響を判断するためのプロセスの例示的な例を示す。 [0022]様々な実施形態が実施されることができる環境の例示的な例を示す。

[0023]添付の図面では、同様の構成要素及び／又は特徴は、同じ参照ラベルを有することができる。更に、同じタイプの様々な構成要素は、参照ラベルに、ダッシュと、同様の構成要素間を区別する第２のラベルとを後続させることによって区別されることができる。本明細書中で第１の参照ラベルのみが使用される場合、その説明は、第２の参照ラベルにかかわらず、同じ第１の参照ラベルを有する同様の構成要素のうちのどの１つにも適用可能である。

[0024]次に続く説明は、実施形態（複数可）の好ましい例のみを提供し、本開示の範囲、適用可能性、又は構成を限定することを意図されない。むしろ、実施形態（複数可）の好ましい例の次に続く説明は、実施形態の好ましい例を実施することを可能にする説明を当業者に提供するであろう。添付の特許請求の範囲に記載されるような趣旨及び範囲から逸脱することなく、要素の機能及び配置において様々な変更が行われることができることを理解されたい。

[0025]図１は、様々な実施形態が実施されることができる環境１００の例示的な例を示す。環境１００では、顧客１０８は、彼らのコンピューティングデバイス１１０を介して、顧客サービスコールセンター１０２の異なるエージェント１０４との通信セッションに従事し得る。異なるエージェント１０４は、会話ボットエージェントを含み得、それは、コンピューティングデバイス１１０などのネットワークデバイスと自律的に通信するように構成されることができる。更に、会話ボットエージェントは、特定の能力に対して構成されることができる。能力の例は、データベースレコードを更新することと、顧客に更新を提供することと、顧客１０８についての追加のデータを人間エージェント又は他の会話ボットエージェントに提供することと、顧客のインテントを決定し、インテントに基づいて顧客１０８を宛先システムにルーティングすることと、顧客１０８と通信する人間エージェントへの応答を予測又は示唆することと、１つ以上の追加のボット又は人間エージェントを含むように通信セッションをエスカレートさせることと、他の適切な能力とを含むことができる。いくつかの実装形態では、会話ボットエージェントが（例えば、チャット対応インタフェースを使用して）通信セッション中に顧客と通信している間、通信サーバ（図示せず）は、会話ボットエージェントを人間エージェントによって利用される端末デバイスと切り替えることを自動的に且つ動的に決定することができる。例えば、会話ボットエージェントは、ある特定のタスク（例えば、顧客に関連付けられたデータベースレコードを更新すること）について顧客１０８と通信することができ、それに対して、人間エージェントは、より困難なタスク（例えば、技術的問題を解決するために通信チャネルを使用して通信すること）について顧客１０８と通信することができる。

[0026]会話ボットエージェントは、実行されると、コンピューティングデバイス１１０を介して顧客１０８と自律的に通信するように構成されたコードであり得る。例えば、会話ボットエージェントは、コンピューティングデバイスに関連付けられた顧客との会話を開始するために、及び／又はコンピューティングデバイスからのメッセージに自動的に応答するために、メッセージを自動的に生成するボットであり得る。実施形態では、顧客サービスコールセンター１０２は、クライアント（例えば、顧客サービスコールセンター１０２のプラットフォームに対する外部システム）が顧客サービスコールセンター１０２を介してそれらの内部通信システム中に会話ボットエージェントを展開することを可能にすることができる。いくつかの例では、クライアントは、顧客サービスコールセンターのプラットフォーム中でそれら自体のボットを使用することができ、それは、クライアントが、本明細書で説明される方法及び技法をそれらの内部通信システム中に実装することを可能にする。

[0027]いくつかの実装形態では、会話ボットエージェントは、１つ以上のソースによって定義されることができる。例えば、顧客サービスコールセンター１０２のデータストアは、顧客サービスコールセンター１０２のクライアントによって定義された（例えば、作成又はコーディングされた）会話ボットエージェントを表すコードを記憶することができる。例えば、それ自体の会話ボットエージェントを定義したクライアントは、会話ボットエージェントを顧客サービスコールセンター１０２にロードすることができる。クライアントによって定義された会話ボットエージェントは、クライアントボットデータストア中に記憶されることができる。いくつかの事例では、顧客サービスコールセンター１０２は、サードパーティシステムによって定義された会話ボットエージェントを表すコードを記憶するために使用されることができるデータストアを含むことができる。例えば、サードパーティシステムは、独立系ソフトウェアベンダを含むことができる。別のデータストアは、顧客サービスコールセンター１０２に関連付けられたエンティティによって定義された会話ボットエージェントを表すコードを記憶することができる。例えば、エンティティによってコーディングされた会話ボットエージェントは、顧客サービスコールセンター１０２にロードされることができるか、又はそれによってアクセス可能であり得、そのため、会話ボットエージェントは、実行され、顧客と自律的に通信することができる。いくつかの実装形態では、顧客サービスコールセンター１０２は、クラウドネットワークを使用して、これらのデータストア中に記憶されたボットにアクセスすることができる。クラウドネットワークは、任意のネットワークであり得、オープンネットワーク、例えば、インターネット、パーソナルエリアネットワーク、ローカルエリアネットワーク（ＬＡＮ）、キャンパスエリアネットワーク（ＣＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、プライベートネットワーク、例えば、イントラネット、エクストラネット、又は他のバックボーンを含むことができる。

[0028]いくつかの実施形態では、顧客サービスコールセンター１０２は、会話ボットエージェントと顧客のコンピューティングデバイスとの間の特定の通信セッション中に会話ボットエージェントと顧客との間で会話を動的に切り替えさせるための自動化を推奨することができる。例えば、顧客サービスコールセンター１０２は、顧客のコンピューティングデバイスと会話ボットエージェントとの間の通信セッションを容易にすることができる。会話ボットエージェントは、通信セッション中に顧客のコンピューティングデバイスと１つ以上のメッセージを交換することによって、顧客のコンピューティングデバイスと自律的に通信するように構成されることができる。顧客サービスコールセンター１０２は、生身の人間エージェントが会話ボットエージェントの代わりに顧客のコンピューティングデバイスと通信することができるように、会話ボットエージェントを人間エージェントと切り替えるかどうか（又は、場合によってはその逆）を動的に判断することができる。いくつかの実装形態では、切り替えは、顧客又は人間エージェントから促されることなく実行されることができる。例えば、切り替えは、コンピューティングデバイスに人間エージェントへの転送を要求するように促すことなく、顧客のコンピューティングデバイスと会話ボットエージェントとの間で交換されるメッセージのメッセージパラメータ（例えば、メッセージ又は一連のメッセージの感情を表すスコア）に基づくことができる。

[0029]実施形態では、顧客サービスコールセンター１０２は、顧客１０８とエージェント１０４との間の会話を評価のために記録して、これらの会話のアノテーションを可能にし、アノテータ１１２間のアノテーション混同を識別する。例えば、顧客がエージェントとの会話に従事するとき、顧客サービスコールセンター１０２は、各メッセージを、任意の関連付けられたメタデータと共に、会話データストア１０６中に記録し得る。会話データストア１０６内で、顧客サービスコールセンター１０２は、各メッセージを、顧客とエージェントとの間の特定の会話に対応する一意の識別子に関連付け得る。顧客サービスコールセンター１０２は、この会話を監視して、顧客とエージェントとの間の会話が終わったかどうかを判断し得る。例えば、顧客サービスコールセンター１０２は、特定の問題が解決されたことを示すメッセージ又は会話が終わったことの他の確認応答を顧客が提出したことの結果として、特定の会話が終わったと判断し得る。いくつかの事例では、顧客サービスコールセンター１０２は、エージェントと顧客によって利用されるコンピューティングデバイス１１０との間の通信セッションが終了したときに会話が終わったと判断し得る。

[0030]実施形態では、会話データストア１０６中に記憶された会話のサンプルセットが、手動評価のためにアノテータ１１２のセットに提供される。例えば、いくつかの事例では、特定の会話が、アノテータ１１２のセットに提供されて、会話のセットの各メッセージが、特定の分類又はインテントに関連付けられているものとして分類され得る。実施形態では、各アノテータ１１２は、会話のセットの各メッセージを評価し、考えられるインテント又は他の分類のリストから、メッセージのアノテーションのための特定のインテント又は分類を選択し得る。例えば、アノテータ１１２は、メッセージが関連付けられ得る特定のインテントを示すために、会話のセットの各メッセージにアノテーションを付け得る。いくつかの事例では、アノテータ１１２は、メッセージに、特定のインテント又は分類に関連付けられているものとしてアノテーションを付けるために、特定のメッセージを取り巻くコンテキストを使用し得る。

[0031]アノテータ１１２がインテント又は分類を各メッセージに割り当てると、顧客サービスコールセンター１０２は、アノテータ１１２によってメッセージに割り当てられたインテント又は分類を示すために、メッセージに対応する会話データストア１０６中のエントリを更新し得る。例えば、１０人のアノテータのセットが、インテント又は分類を特定のメッセージに割り当てるタスクを課される場合、顧客サービスコールセンター１０２は、会話データストア１０６中のメッセージに対応するエントリ中に、１０人のアノテータがインテント又は分類をメッセージに割り当てることによって生成された１０個のアノテーションの各々を記録し得る。このことから、特定のメッセージに対応するエントリは、アノテータ１１２によって決定されたいくつかの異なるインテント又は分類と、特定のメッセージについてアノテータ１１２によって選択された各インテント又は分類の頻度（例えば、一致のレベル）とを示し得る。

[0032]アノテータ１１２は、例示を目的で本開示全体を通して広範に使用されるが、他の技法又は方法が、会話データストア１０６からの会話のセットの各メッセージについてのアノテーションのセット（例えば、各メッセージについてのインテント又は分類の選択）を生成するために使用され得ることに留意されたい。例えば、実施形態では、顧客サービスコールセンター１０２は、信頼性スコアの対象になる会話のセットの各メッセージについてのインテント又は分類を決定するように訓練された機械学習アルゴリズム又は人工知能を実装することができる。例えば、顧客サービスコールセンター１０２は、サンプル会話及び対応するアノテーションを使用して訓練された分類モデルを利用し得、それは、分類モデルの訓練のための「グラウンドトゥルース」又はサンプルデータセットとしての役割を果たし得る。異なる会話からのメッセージにアノテーションを付けて、各メッセージについてのインテント又は分類を示すために使用され得る分類モデルは、ロジスティック回帰アルゴリズム、ランダムフォレストモデル、単純ベイズモデル、線形回帰モデル、決定木モデル、Ｋ平均クラスタリングモデル、ｋ最近傍（ｋＮＮ）モデル、サポートベクターマシン（ＳＶＭ）モデル、勾配ブースティングマシンモデル、等を含む。

[0033]実施形態では、分類モデルは、出力として、及び分類モデルによって処理される各メッセージについて、メッセージに割り当てられ得る各考えられるインテント又は分類についての信頼性スコアを提供する。例えば、特定のメッセージについて、分類モデルは、メッセージについてのいくつかの考えられるインテント又は分類と、特定のメッセージについて分類モデルによって識別されたこれらの考えられるインテント又は分類の各々についての対応する信頼性スコアとを識別し得る。

[0034]実施形態では、顧客サービスコールセンター１０２のインテント混同評価エンジン１１４は、顧客１０８とエージェント１０４との間の会話に対応する会話データと、これらの会話に対応する各メッセージに関してアノテータ１１２によって行われたアノテーションとを評価して、アノテータ１１２間の混同レベルを決定する。インテント混同評価エンジン１１４は、顧客サービスコールセンター１０２のコンピューティングシステム上で実行されるアプリケーション又は他のプロセスとして実装され得る。実施形態では、インテント混同評価エンジン１１４は、異なるインテント又は分類ペアリングについてのアノテータ１１２間の混同レベルを決定するために集約戦略を実施する。例えば、インテント混同評価エンジン１１４は、顧客１０８とエージェント１０４との間の会話のセットに対応する様々なメッセージに対して特定のインテント又は分類が選択される頻度を計算し得る。例示的な例として、特定のメッセージが３人のアノテータ１１２によって評価され、アノテータのうちの１人がメッセージを他のアノテータによって選択されたインテント又は分類とは異なるインテント又は分類に関連付けられているものとして分類した場合、インテント混同評価エンジン１１４は、メッセージについて３人のアノテータ１１２によって選択された異なるインテント又は分類に対応する３人のアノテータ１１２間にあるレベルの混同があると判断し得る。

[0035]いくつかの事例では、インテント混同評価エンジン１１４は、アノテータのセット間で検出された混同レベルに対応するメトリックを算出又は別様に決定し得る。例えば、インテント混同評価エンジン１１４は、各メッセージについて、及び各インテント又は分類ペアリングについて、アノテータが、メッセージについて別のアノテータによって選択された異なるインテント又は分類よりも特定のインテント又は分類を選択した平均回数を決定し得る。例示的な例として、アノテータが、異なるアノテータがインテントＢを選んだ特定のメッセージについてインテントＡを選んだ場合、インテント混同評価エンジン１１４は、これら２つのインテントについてのアノテータ間の混同レベルを示すために、式１に従って以下のメトリックを算出し得る：

ここで、ｐ（Ａ｜Ｂ）は、インテントＢの選択が考慮された場合のインテントＡの選択の条件付き確率を示し、ｐ（Ｂ｜Ａ）は、インテントＡの選択が考慮された場合のインテントＢの選択の条件付き確率を示す。

[0036]実施形態では、インテント混同評価エンジン１１４は、会話データストア１０６からの会話のセットに対応するメッセージのそれらのアノテーションにおけるアノテータ１１２間の混同レベルのグラフ表示１１６を生成することができる。例えば、図１に例示されるように、インテント混同評価エンジン１１４は、アノテータ１１２によって選択された各インテント又は分類に対応するノード１１８を定義し得る。グラフ表示１１６中に表される各ノード１１８のサイズは、アノテータ１１２がこのインテント又は分類を会話データストア１０６から評価されている会話のセットに関連付けられたメッセージに適用する頻度に基づいて決定され得る。例えば、アノテータ１１２によって頻繁に選択されるインテント又は分類に対応するノードは、アノテータ１１２によってそれほど頻繁に選択されないインテント又は分類に対応するノードと比較して、より大きいサイズを有し得る。いくつかの事例では、インテント混同評価エンジン１１４は、特定のインテント又は分類に対応する各ノードのサイズを決定し、各ノードの色及び／又は形状を決定するためにアルゴリズムを利用し得る。例えば、ノードは、インテント若しくは分類タイプ、又は基礎となるインテント若しくは分類のカテゴリに従って特定の色のセットを割り当てられ得る。例えば、製品特性及びレビューに対応するインテント又は分類は、特定の色（対応する色合いを有する）を割り当てられ得、それに対して、支払いに対応するインテント又は分類は、異なる色（対応する色合いを有する）を割り当てられ得る。

[0037]アノテータ１１２によって選択された各インテント又は分類についてノード１１８を生成することに加えて、インテント混同評価エンジン１１４は、２つのノード間の混同レベルが検出された２つのノード間のエッジ１２０を生成し得る。実施形態では、インテント混同評価エンジン１１４は、２つのノードに関連付けられたインテント又は分類の選択に対応する混同レベルに基づいて、２つのノード間のエッジ１２０のサイズを決定する。例えば、インテント又は分類のペア間に著しいレベルの混同がある場合、インテント混同評価エンジン１１４は、より大きい太さを有する、インテント又は分類のペアに対応するノード間のエッジを生成し得る。代替として、インテント又は分類のペア間に最小レベルの混同がある場合、インテント混同評価エンジン１１４は、より小さい太さを有する、分類またはインテントのペアに対応するノード間のエッジを生成し得る。実施形態では、インテント混同評価エンジン１１４は、インテント又は分類のペアに関連付けられた２つのノード間のエッジを定義するために必要とされる最小混同レベルを決定するためにアルゴリズムを利用する。いくつかの事例では、２つのノードに関連付けられたインテント又は分類のペア間の混同レベルが混同レベル閾値を満たす場合、これらの２つのノード間のエッジが生成され得る。例えば、上記の式１を使用して算出されたメトリックを使用して、インテント混同評価エンジン１１４は、メトリックが最小混同レベル閾値を上回るかどうかを判断し得る。上回る場合、インテント混同評価エンジン１１４は、インテント又は分類のこのペアに対応する２つのノード間のエッジを定義し得る。

[0038]実施形態では、インテント混同評価エンジン１１４は、インテント又は分類の異なるペアリングについてのアノテータ１１２間の混同レベルのグラフ表示１１６を、レビューのために管理者又は専門家アノテータに提供する。アノテータ１１２間の混同レベルのグラフ表示１１６は、顧客サービスコールセンター１０２によって提供され、管理者又は専門家アノテータによって利用されるコンピューティングデバイスを介してアクセス可能なインタフェース又はポータルを介して提供され得る。グラフ表示１１６は、アノテータ１１２によって選択された異なるインテント又は分類に対応する様々なノード１１８と、これらの様々なノード１１８間の任意のエッジ１２０とを含み得、それらは、異なるノード１１８間のアノテータ１１２間の混同レベルをグラフで表し得る。いくつかの事例では、インテント又は分類の異なるペアリングについてのアノテータ１１２間の混同レベルの前述されたグラフ表示１１６を提供することに加えて、インテント混同評価エンジン１１４は、アノテータ１１２間の混同に対処する際に管理者又は専門家アノテータによって使用され得るインサイトを提供し得る。例えば、２つのインテント又は分類間の混同レベルが特定のメッセージタイプについて著しい場合、管理者又は専門家アノテータは、アノテータ１１２が同様のメッセージについてのこれらのインテント又は分類間で混同される可能性を低減するために、インテント又は分類のリストへの更新を生成し得る。

[0039]実施形態では、グラフ表示１１６を使用して、管理者又は専門家アノテータは、アノテータ混同の可能性を低減するために、２つ以上のインテント又は分類を統合するための更新を動的に提供することができる。例えば、管理者又は専門家アノテータは、グラフ表示１１６内の異なるノード１１８と対話して、対応するインテント又は分類及び対応するエッジ１２０を識別して、これらの特定のインテント又は分類についてのアノテータ１１２間の混同レベルを決定し得る。管理者又は専門家アノテータは、これらのノード１１８のうちの２つ以上を、２つ以上のノード１１８に関連付けられたインテント又は分類を包含するインテント又は分類に対応する単一のノードに統合するための要求をインテント混同評価エンジン１１４に提出し得る。例えば、管理者又は専門家アノテータがグラフ表示１１６を介して特定のノードと対話するとき、インテント混同評価エンジン１１４は、特定のノードについてのインテント又は分類を動的に変更又は別様に更新するための１つ以上のオプションを管理者又は専門家アノテータに提供し得る。例示的な例として、管理者又は専門家アノテータがグラフ表示１１６から特定のノードを選択した場合、インテント混同評価エンジン１１４は、グラフ表示１１６を介して、アノテータ１１２に利用可能な様々なインテント又は分類のリストを提示することができる。管理者又は専門家アノテータは、このリストからインテント又は分類を選択して、特定のノードを選択されたインテント又は分類に関連付けるための特定のノードへの更新を要求し得る。いくつかの事例では、管理者又は専門家アノテータは、特定のノードに指定されることができる新しいインテント又は分類を生成し得る。インテント混同評価エンジン１１４は、新しいインテント又は分類を特定のノードに割り当て、新しく生成されたインテント又は分類を組み込むために、アノテータ１１２に利用可能な様々なインテント又は分類のリストを更新し得る。

[0040]実施形態では、管理者又は専門家アノテータが、２つ以上のノードが同じインテント又は分類に関連付けられるように、グラフ表示１１６内の１つ以上のノード１１８を更新する場合、インテント混同評価エンジン１１４は、インテント又は分類の異なるペアリングについてのアノテータ１１２間の新しい混同レベルを提供するために、グラフ表示１１６を動的に且つリアルタイムで更新することができる。例えば、インテント混同評価エンジン１１４は、新しいインテント又は分類に対応する新しいアノテーションを含めるために、管理者又は専門家アノテータによって選択された新しいインテント又は分類によって置き換えられているインテント又は分類で以前にアノテーションを付けられた可能性があるメッセージに対応するエントリを動的に且つリアルタイムで更新し得る。例えば、メッセージについてのエントリが、置き換えられたインテント又は分類に対応する４つのアノテーションを含む場合、インテント混同評価エンジン１１４は、これらの４つのアノテーションが、今度は、管理者又は専門家アノテータによって選択された新しいインテント又は分類に対応するように、エントリを更新し得る。

[0041]インテント混同評価エンジン１１４が、１つ以上のノード１１８のインテント又は分類の変化によって影響を受ける会話データストア１０６中の１つ以上のメッセージエントリを更新すると、インテント混同評価エンジン１１４は、顧客１０８とエージェント１０４との間の会話に対応する会話データと、これらの会話に対応する各メッセージに関する更新されたアノテーションとを動的に且つリアルタイムで再評価して、更新されたアノテーションに対応するアノテータ１１２間の新しい混同レベルを決定し得る。更新されたアノテーションに対応する結果として生じる混同レベルに基づいて、インテント混同評価エンジン１１４は、会話データストア１０６からの会話のセットに対応するメッセージのそれらのアノテーションにおけるアノテータ１１２間の混同レベルのグラフ表示１１６を更新することができる。例えば、インテント混同評価エンジン１１４は、管理者又は専門家アノテータによって提供された選択されたインテント又は分類と、アノテータ１１２によってアノテーションを付けられたか又は上記で説明された機械学習アルゴリズムによって提供された任意の他の変更されていないインテント又は分類とに対応するノード１１８を含めるために、グラフ表示１１６を更新し得る。

[0042]更新されたグラフ表示１１６中に表される各ノード１１８のサイズは、会話のセットに関連付けられたメッセージに対応するインテント又は分類が会話データストア１０６から評価される頻度に基づいて再び決定され得る。このことから、グラフ表示１１６内のノード１１８のサイズ及び数は、１つ以上のノード１１８を新しい又は代替のインテント又は分類に関連付けるために管理者又は専門家アノテータによって提供されるグラフ表示１１６内の１つ以上のこれらのノード１１８への更新に応答して動的に変化し得る。

[0043]１つ以上のノードのインテント又は分類の変化に応答してグラフ表示１１６内のノード１１８を更新することに加えて、インテント混同評価エンジン１１４は、混同レベルが検出されたノードの各ペアリング間の混同レベルを表示するために、更新されたノード１１８間のエッジ１２０を更に更新し得る。インテント混同評価エンジン１１４は、上記で説明されたように、ペアリングにおける２つのノードに関連付けられたインテント又は分類の選択に対応する混同レベルに基づいて各エッジ１２０のサイズを決定し得る。このことから、特定のノードについてのインテント又は分類への更新に応答して、インテント混同評価エンジン１１４は、１つ以上のインテント又は分類に対する変更（例えば、統合、再ラベル付け、等）の結果として生じ得る混同レベルへの更新されたインサイトを提供するために、グラフ表示１１６を動的に且つリアルタイムで更新し得る。

[0044]実施形態では、インテント混同評価エンジン１１４は、アノテータ１１２及び／又はインテント混同評価エンジン１１４によってメッセージが交換され、アノテーションを付けられると、顧客１０８とエージェント１０４との間の進行中の会話についてのグラフ表示１１６を動的に更新することができる。例えば、進行中の会話中に顧客１０８とエージェント１０４との間でメッセージが交換されると、アノテータ１１２及び／又はインテント混同評価エンジン１１４は、これらのメッセージを直ちに且つリアルタイムで処理し、アノテーションを付け得る。進行中の会話に対して新しいアノテーション及び／又は信頼性スコアが生成されると、インテント混同評価エンジン１１４は、新しいアノテーションに対応するアノテータ１１２間の新しい混同レベルを動的に且つリアルタイムで決定し得る。新しいアノテーションに対応する結果として生じる混同レベルに基づいて、インテント混同評価エンジン１１４は、進行中の会話のセットに対応するメッセージのそれらのアノテーションにおけるアノテータ１１２間の混同レベルのグラフ表示１１６を動的に且つリアルタイムで更新することができる。

[0045]例示的な例として、管理者又は専門家アノテータがグラフ表示１１６と対話している間、インテント混同評価エンジン１１４は、顧客１０８とエージェント１０４との間の進行中の会話に対応するメッセージの動的且つリアルタイムの分析に基づいて新しいアノテーションが決定されると、それらを動的に且つリアルタイムで処理し続け得る。インテント混同評価エンジン１１４は、インテントの様々なペアリング間の混同量又はレベルに対応するメトリックのセットをリアルタイムで動的に再算出し得る。このメトリックのセットの再算出に基づいて、インテント混同評価エンジン１１４は、ノード１１８のペア間の更新された混同量を図示するために、グラフ表示１１６をリアルタイムで動的に更新し得る。例えば、管理者又は専門家がグラフ表示１１６と対話しているとき、インテント混同評価エンジン１１４は、顧客１０８とエージェント１０４との間の進行中の会話について新しいアノテーションが受信されると、グラフ表示１１６内の様々なノード１１８及びエッジ１２０のサイズを動的に且つリアルタイムで更新し得る。このことから、グラフ表示１１６をレビューする管理者又は専門家アノテータは、進行中の会話に対応する新しいメッセージがリアルタイムで処理されると、様々なインテント及びインテント間の混同量をそれぞれ表すノード１１８及びエッジ１２０がリアルタイムで動的に変化することを見得る。

[0046]図２は、少なくとも１つの実施形態による、インテント混同評価エンジン２０２が会話データと過去の会話のインテント又は分類に関してアノテータ２１２のプールによって行われたアノテーションとを処理して、アノテータ２１２のプール内のインテント混同を識別する環境２００の例示的な例を示す。環境２００では、アノテータ２１２のプールは、会話データストア２１０中に記憶された会話のセットからのメッセージを評価して、これらのメッセージについての対応するインテント又は分類を識別するタスクを課され得る。例えば、会話データストア２１０中に記憶された会話のセットが、手動評価のためにアノテータ２１２のプールに提供され得る。例示的な例として、会話データストア２１０からの特定の会話は、会話の各メッセージについてのインテント又は分類を識別するためにアノテータ２１２のセットに提供され得る。実施形態では、各アノテータは、特定の会話の各メッセージを評価し、各メッセージについて、特定のインテント又は分類を示し得る。

[0047]実施形態では、インテント混同評価エンジン２０２は、インテント分類サブシステム２０６を含み、インテント分類サブシステム２０６は、アノテータ２１２によってメッセージに割り当てられ得る利用可能なインテント又は分類のリスト又は他のリポジトリを維持し得る。インテント分類サブシステム２０６は、インテント混同評価エンジン２０２のコンピューティングシステム上で実行されるアプリケーション又は他のプロセスとして実装され得る。インテント分類サブシステム２０６は、会話データストア２１０からの会話のセットに対応するメッセージのアノテーションのために、利用可能なインテント又は分類のリスト又は他のリポジトリをアノテータ２１２に提供し得る。

[0048]上述されたように、顧客サービスコールセンターは、顧客とエージェントとの間の会話を評価のために記録して、これらの会話のアノテーションを可能にし、アノテータ２１２間のアノテーション混同を識別することができる。実施形態では、インテント分類サブシステム２０６は、会話データストア２１０からの会話のセットにアノテーションを付けるために、アノテータ２１２に命令又は他の要求を送信する。例えば、インテント分類サブシステム２０６は、多様なインテント又は分類についてのアノテータ２１２間の混同レベル（もしあれば）を決定するために、アノテータ２１２からアノテーションを取得するための管理者又は専門家アノテータからの要求に応答して、アノテータ２１２に命令又は他の要求を送信し得る。代替として、インテント分類サブシステム２０６は、会話データストア２１０からの会話のセットにアノテーションを付けるために、アノテータ２１２に命令又は他の要求を周期的に（例えば、毎日、毎週、毎月、等）送信し得る。いくつかの事例では、インテント分類サブシステム２０６は、トリガリングイベントに応答して、アノテータ２１２に命令又は他の要求を送信することができる。例えば、インテント分類サブシステム２０６は、閾値数の会話が会話データストア２１０中に記録及び記憶されると、アノテータ２１２に会話データストア２１０からの会話にアノテーションを付けるように促し得る。追加として又は代替として、インテント分類サブシステム２０６は、特定の会話中のエージェント又は会話ボットエージェントとの否定的な顧客対話に応答して、アノテータ２１２に、特定の会話にアノテーションを付けるように促すことができる。別の例として、インテント分類サブシステム２０６は、会話が会話ボットエージェントから人間エージェントに転送されたことに応答して、アノテータ２１２に、特定の例にアノテーションを付けるように促すことができる。

[0049]上述されたように、アノテータ２１２が各メッセージにインテント又は分類を割り当てると、メッセージに対応する会話データストア２１０中のエントリは、アノテータ２１２によってメッセージに割り当てられたインテント又は分類を示すために更新され得る。特定のメッセージに対応するエントリは、アノテータ２１２によって決定されたいくつかの異なるインテント又は分類と、特定のメッセージについてアノテータ２１２によって選択された各インテント又は分類の頻度（例えば、一致のレベル）とを示し得る。

[0050]実施形態では、インテント混同評価エンジン２０２は、インテント発見サブシステム２０４を実装し、インテント発見サブシステム２０４は、会話データストア２１０中の会話を自動的に且つ自律的に処理し、これらの会話内のメッセージにアノテーションを提供し得る。インテント発見サブシステム２０４は、インテント混同評価エンジン２０２のコンピューティングシステム上で実行されるアプリケーション又は他のプロセスとして実装され得る。実施形態では、インテント発見サブシステム２０４は、信頼性スコアの対象になる会話データストア２１０からの会話のセットの各メッセージについてのインテント又は分類を決定するように訓練された機械学習アルゴリズム又は人工知能を実装することができる。例えば、インテント発見サブシステム２０４は、サンプル会話及び対応するアノテーションを使用して訓練された分類モデルを利用し得、それは、分類モデルの訓練のための「グラウンドトゥルース」又はサンプルデータセットとしての役割を果たし得る。分類モデルは、出力として、及び分類モデルによって処理される各メッセージについて、メッセージに割り当てられ得る各考えられるインテント又は分類についての信頼性スコアを提供し得る。例えば、特定のメッセージについて、分類モデルは、メッセージについてのいくつかの考えられるインテント又は分類と、特定のメッセージについて分類モデルによって識別されたこれらの考えられるインテント又は分類の各々についての対応する信頼性スコアとを識別し得る。

[0051]実施形態では、インテント分類サブシステム２０６は、会話データストア２１０からの会話データと、これらの会話に対応する各メッセージに関してアノテータ２１２及び／又はインテント発見サブシステム２０４によって行われたアノテーション（例えば、メッセージ当たりの異なるインテント／分類についての信頼性スコア、等）を評価して、アノテータ２１２及び／又はインテント発見サブシステム２０４によって利用される機械学習アルゴリズム間の混同レベルを決定する。実施形態では、インテント分類サブシステム２０６は、異なるインテント又は分類のペアリングについての、アノテータ２１２及び／又はインテント発見サブシステム２０４によって利用される機械学習アルゴリズム間の混同レベルを決定するために集約戦略を実施する。例えば、インテント分類サブシステム２０６は、特定のインテント又は分類が会話のセットに対応する様々なメッセージに対して選択される頻度を計算し得る。実施形態では、インテント分類サブシステム２０６は、本明細書で説明されるように、インテントクラスデータストア２０８中に、アノテータ２１２及び／又はインテント発見サブシステム２０４によって識別されたインテント又は分類と、アノテータ２１２及び／又はインテント発見サブシステム２０４によって利用される機械学習アルゴリズム間の混同レベルに対応する任意のメトリックとを記憶することができる。

[0052]上述されたように、アノテータのセット２１２及び／又は機械学習アルゴリズム間で検出された混同レベルに対応するメトリックが、算出又は別様に決定され得る。例えば、インテント分類サブシステム２０６は、各メッセージについて、及び各インテント又は分類ペアリングについて、アノテータ（例えば、人間アノテータ及び／又は機械学習アルゴリズム）が、メッセージについて別のアノテータによって選択された異なるインテント又は分類よりも特定のインテント又は分類を選択又はスコア付けした平均回数を決定し得る。インテントのペアについてのアノテータ２１２及び／又はインテント発見サブシステム２０４間の混同レベルを示すために算出され得るメトリックの例は、式１に関連して上記で説明されている。インテント分類サブシステム２０６によって算出されたメトリックは、上記で説明されたように、インテントクラスデータストア２０８中に記憶され得る。

[0053]インテント混同評価エンジン２０２は、インテント混同視覚化サブシステム２１４を介して、会話データストア２１０からの会話のセットに対応するメッセージのそれらのアノテーションにおいて、アノテータ２１２及び／又はインテント発見サブシステム２０４間の混同レベルのグラフ表示を生成することができる。インテント混同視覚化サブシステム２１４は、インテント混同評価エンジン２０２のコンピューティングシステム上で実行されるアプリケーション又は他のプロセスとして実装され得る。インテント混同視覚化サブシステム２１４は、会話データストア２１０からの会話のセットについての異なるアノテーション及びアノテーションペアリングについてのメトリックの生成を完了したというインテント分類サブシステム２０６からのインジケーションに応答して、アノテータ２１２及び／又はインテント発見サブシステム２０４間の混同レベルのグラフ表示を自動的に生成し得る。例えば、インテント分類サブシステム２０６が、会話のセットに対応するアノテーション及びアノテーションペアリングについての様々なメトリックの算出を完了すると、インテント分類サブシステム２０６は、インテント混同視覚化サブシステム２１４に通知を送信して、会話のセットについてこれらのアノテーションによって選択されたアノテーションについてのアノテータ間の混同レベルのグラフ表示を生成することができる。通知は、会話のセットについてインテント分類サブシステム２０６によって算出されたメトリックを組み込むインテントクラスデータストア２０８中のエントリに対応する識別子を含み得る。このことから、通知に応答して、インテント混同視覚化サブシステム２１４は、インテントクラスデータストア２０８にクエリして、会話のセットに対応するメッセージのそれらのアノテーションにおいてアノテータ２１２及び／又はインテント発見サブシステム２０４間の混同レベルのグラフ表示を生成するために必要とされる必須データ（例えば、会話のセットのアノテーションに対応するメトリックのセット、等）を取得し得る。

[0054]いくつかの事例では、インテント混同視覚化サブシステム２１４は、グラフ表示を生成するための管理者又は専門家アノテータからの要求に応答して、会話のセットに対応するそれらのメッセージのアノテーションにおけるアノテータ２１２及び／又はインテント発見サブシステム２０４間の混同レベルのグラフ表示を生成し得る。例えば、インテント混同視覚化サブシステムは、グラフィカルユーザインタフェース（ＧＵＩ）などのインタフェースを提供し得、それを通じて、ユーザ（例えば、管理者、専門家アノテータ、等）は、会話のセットについてのアノテータ混同のグラフ表示の生成を要求し得る。例えば、ＧＵＩを介して、管理者又は専門家アノテータは、特定のブランドに関連する会話についてのアノテータ混同のグラフ表示を取得したいと指定し得る。別の例として、ＧＵＩを介して、管理者又は専門家アノテータは、特定のブランド又は他の組織構造についての１つ以上のインテントクラス（例えば、販売、技術サポート、請求、等）に関連する会話についてのアノテータ混同のグラフ表示を取得したいと指定し得る。要求に応答して、インテント混同視覚化サブシステム２１４は、インテントクラスデータストア２０８にクエリして、関連する会話のセットに対して行われたアノテーションに対応するメトリックを取得し得る。これらのメトリックを使用して、インテント混同視覚化サブシステム２１４は、管理者又は専門家アノテータのために適切なグラフ表示を生成し得る。

[0055]上述されたように、ノードは、アノテータ２１２によって選択された、及び／又は機械学習アルゴリズムを介してインテント発見サブシステム２０４によって識別された各インテント又は分類（例えば、閾値を上回る対応する信頼性スコアを有する任意のインテント又は分類、等）に対応するアノテータ混同のグラフ表示中に生成され得る。インテント混同視覚化サブシステム２１４は、アノテータ２１２がこのインテント又は分類を会話データストア２１０から評価されている会話のセットに関連付けられたメッセージに適用する頻度に基づいて、グラフ表示中に表される各ノードのサイズを決定し得る。いくつかの事例では、インテント混同視覚化サブシステム２１４は、特定のインテント又は分類に対応する各ノードのサイズを決定し、各ノードの色及び／又は形状を決定するためにアルゴリズムを利用し得る。例えば、ノードは、インテント若しくは分類タイプ、又は基礎となるインテント若しくは分類のカテゴリに従って特定の色のセットを割り当てられ得る。

[0056]会話のセットについて、アノテータ２１２によって選択された及び／又はインテント発見サブシステム２０４によって識別された各インテント又は分類についてのノードを生成することに加えて、インテント混同視覚化サブシステム２１４は、２つのノード間の混同レベルが検出された２つのノード間のエッジを生成し得る。上述されたように、インテント混同視覚化サブシステム２１４は、２つのノードに関連付けられたインテント又は分類の選択に対応する混同レベルに基づいて、２つのノード間のエッジのサイズを決定し得る。実施形態では、インテント混同視覚化サブシステム２１４は、インテント又は分類のペアに関連付けられた２つのノード間のエッジを定義するために必要とされる最小混同レベルを決定するためにアルゴリズムを利用する。いくつかの事例では、２つのノードに関連付けられたインテント又は分類のペア間の混同レベルが混同レベル閾値を満たす場合、これらの２つのノード間のエッジが生成され得る。例えば、上記の式１を使用して算出されたメトリックを使用して、インテント混同視覚化サブシステム２１４は、メトリックが最小混同レベル閾値を上回るかどうかを判断し得る。上回る場合、インテント混同視覚化サブシステム２１４は、インテント又は分類のこのペアに対応する２つのノード間のエッジを定義し得る。

[0057]インテント混同視覚化サブシステム２１４が、インテント又は分類の異なるペアリングについてアノテータ２１２間の混同レベルのグラフ表示を生成した後、このグラフ表示を管理者又は専門家アノテータに提示するために、インテント混同視覚化サブシステム２１４は、ＧＵＩを更新し得る。グラフ表示は、アノテータ２１２によって選択された、及び／又はインテント発見サブシステム２０４によって識別された異なるインテント又は分類に対応する様々なノードと、これらの様々なノード間の任意のエッジとを含み得、それらは、異なるノード間のアノテータ２１２及び／又はインテント発見サブシステム２０４間の混同レベルをグラフで表し得る。いくつかの事例では、インテント又は分類の異なるペアリングについての混同レベルの前述されたグラフ表示を提供することに加えて、インテント混同視覚化サブシステム２１４は、アノテータ２１２及び／又はインテント発見サブシステム２０４間の混同に対処する際に管理者又は専門家アノテータによって使用され得るインサイトを提供し得る。例えば、２つのインテント又は分類間の混同レベルが特定のメッセージタイプについて著しい場合、管理者又は専門家アノテータは、アノテータ２１２及び／又はインテント発見サブシステム２０４が同様のメッセージについてのこれらのインテント又は分類間で混同される可能性を低減するために、インテント又は分類のリストへの更新を生成し得る。

[0058]インテント混同視覚化サブシステム２１４によって提供されるインタフェースを通じて、管理者又は専門家アノテータは、アノテータ混同の可能性を低減するために、インテント又は分類のペアリングについての混同レベルのグラフ表示と対話して、２つ以上のインテント又は分類を統合し得る。管理者又は専門家アノテータは、ＧＵＩ内の異なるノードと対話して、対応するインテント又は分類及び対応するエッジを識別して、これらの特定のインテント又は分類についてのアノテータ２１２及び／又はインテント発見サブシステム２０４間の混同レベルを決定し得る。実施形態では、管理者又は専門家アノテータは、ＧＵＩを通じて、これらのノードのうちの２つ以上を、２つ以上のノードに関連付けられたインテント又は分類を包含するインテント又は分類に対応する単一のノードに統合するための要求を提出することができる。例えば、管理者又は専門家アノテータがＧＵＩを介して特定のノードと対話するとき、インテント混同視覚化サブシステム２１４は、特定のノードについてのインテント又は分類を動的に変更又は別様に更新するための１つ以上のオプションを管理者又は専門家アノテータに提供し得る。例示的な例として、管理者又は専門家アノテータがＧＵＩから特定のノードを選択した場合、インテント混同視覚化サブシステム２１４は、インテントクラスデータストア２０８にクエリして、会話のセットについてアノテータ２１２に利用可能な様々なインテント又は分類のリストを識別することができる。インテント混同視覚化サブシステム２１４は、ＧＵＩを介して、アノテータ２１２に利用可能な様々なインテント又は分類のこのリストを提示し得る。管理者又は専門家アノテータは、このリストからインテント又は分類を選択して、特定のノードを選択されたインテント又は分類に関連付けるための特定のノードへの更新を要求し得る。いくつかの事例では、管理者又は専門家アノテータは、特定のノードに指定されることができる新しいインテント又は分類を生成し得る。インテント混同視覚化サブシステム２１４は、新しいインテント又は分類を特定のノードに割り当て、新しく生成されたインテント又は分類を組み込むために、アノテータ２１２に利用可能な様々なインテント又は分類のリストを更新し得る。

[0059]管理者又は専門家アノテータが、２つ以上のノードが同じインテント又は分類に関連付けられるように、ＧＵＩ内の１つ以上のノードを更新する場合、インテント混同視覚化サブシステム２１４は、インテント又は分類の異なるペアリングについてのアノテータ２１２及び／又はインテント発見サブシステム２０４間の新しい混同レベルを提供するために、動的に且つリアルタイムでＧＵＩを更新し得る。例えば、管理者又は専門家アノテータによって提供された更新に応答して、インテント混同視覚化サブシステム２１４は、更新に対応する情報をインテント分類サブシステム２０６に送信し得る。インテント分類サブシステム２０６は、管理者又は専門家アノテータによって提出された更新に応答して、新しいインテント又は分類に対応する新しいアノテーションを含めるために、管理者又は専門家アノテータによって選択された新しいインテント又は分類によって置き換えられているインテント又は分類で以前にアノテーションを付けられた可能性があるメッセージに対応するエントリを動的に且つリアルタイムで更新し得る。例えば、メッセージについてのエントリが、置き換えられたインテント又は分類に対応する４つのアノテーションを含む場合、インテント分類サブシステム２０６は、これらの４つのアノテーションが、今度は、管理者又は専門家アノテータによって選択された新しいインテント又は分類に対応するように、エントリを更新し得る。インテント分類サブシステム２０６は、更新されたアノテーションを組み込むために、インテントクラスデータストア２０８中のこの更新によって影響を受ける会話のセットに対応するエントリを更新し得る。

[0060]インテント分類サブシステム２０６がこれらのエントリを更新すると、インテント分類サブシステム２０６は、顧客とエージェントとの間の会話に対応する会話データと、これらの会話に対応する各メッセージに関する更新されたアノテーションとを再評価して、更新されたアノテーションに対応するアノテータ２１２及び／又はインテント発見サブシステム２０４間の新しい混同レベルを決定し得る。インテント分類サブシステム２０６は、インテント混同視覚化サブシステム２１４に通知を送信して、管理者又は専門家アノテータによって提出された更新が、アノテータ２１２及び／又はインテント発見サブシステム２０４間の混同レベルが提示される会話のセットに適用されたことを示し得る。これは、インテント混同視覚化サブシステム２１４に、会話データストア２１０からの会話のセットに対応するメッセージのそれらのアノテーションにおけるアノテータ２１２及び／又はインテント発見サブシステム２０４間の混同レベルのグラフ表示を動的に且つリアルタイムで更新させ得る。例えば、インテント混同視覚化サブシステム２１４は、管理者又は専門家アノテータによって提供された選択されたインテント又は分類と、アノテータ２１２によってアノテーションを付けられたか又はインテント発見サブシステム２０４によって提供された任意の他の変更されていないインテント又は分類とに対応するノードを含めるために、グラフ表示を更新し得る。

[0061]インテント混同視覚化サブシステム２１４は、会話のセットに関連付けられたメッセージに対応するインテント又は分類の頻度に基づいて、更新されたグラフ表示中に表される各ノードのサイズを決定し得る。このことから、ＧＵＩ内のノードのサイズ及び数は、１つ以上のノードを新しい又は代替のインテント又は分類に関連付けるために管理者又は専門家アノテータによって提供されるＧＵＩ内のこれらの１つ以上のノードへの更新に応答して動的に変化し得る。１つ以上のノードのインテント又は分類の変化に応答してＧＵＩ内のノードを更新することに加えて、インテント混同視覚化サブシステム２１４は、混同レベルが検出されたノードの各ペアリング間の混同レベルを表すために、更新されたノード間のエッジを更に更新し得る。インテント混同視覚化サブシステム２１４は、上記で説明されたように、ペアリングにおける２つのノードに関連付けられたインテント又は分類の選択に対応する混同レベルに基づいて各エッジのサイズを決定し得る。

[0062]図３は、少なくとも１つの実施形態による、インテント混同視覚化サブシステム３０２が様々な会話についてのタクソノミの曖昧さのグラフ表示３０４を生成する環境３００の例示的な例を示す。上述されたように、インテント混同視覚化サブシステム３０２は、インタフェース（例えば、ＧＵＩ）を介して、様々なインテントとインテントの異なるペアリング間の混同レベルとのグラフ表示３０４を生成することができる。例えば、インテント混同視覚化サブシステム３０２は、会話のセットについての異なるアノテーション及びアノテーションペアリングについてのメトリックの生成を完了したというインテント分類サブシステムからのインジケーションに応答して、グラフ表示３０４を生成し得る。インテント分類サブシステムからのインジケーションは、会話のセットについてインテント分類サブシステムによって算出されたメトリックを組み込むエントリに対応する識別子を含み得る。このことから、インジケーションに応答して、インテント混同視覚化サブシステム３０２は、エントリにアクセスして、会話のセットに対応するメッセージのそのアノテーションにおいてアノテータ及び／又はインテント発見サブシステムによって使用される機械学習アルゴリズム間の混同レベルのグラフ表示３０４を生成するために必要とされる必須データ（例えば、会話のセットについてのアノテーションに対応するメトリックのセット、等）を取得し得る。

[0063]上述されたように、インテント混同視覚化サブシステム３０２は、会話のセットについてのグラフ表示３０４を生成するための管理者３０６又は専門家アノテータからの要求に応答して、グラフ表示３０４を生成し得る。例えば、管理者３０６又は専門家アノテータは、インテント混同視覚化サブシステム３０２又は顧客サービスコールセンターによって提供されるインタフェース（例えば、ＧＵＩ）を介して、会話のセットについてのグラフ表示３０４の生成のための要求を提出し得る。このインタフェースを通じて、管理者３０６又は専門家アノテータは、グラフ表示３０４を生成するためにどの会話が評価されるべきかを指定し得る。例えば、管理者３０６又は専門家アノテータが、上記で説明されたように、インテント混同視覚化サブシステム３０２にアクセスして、アノテータ及び／又はインテント発見サブシステムによって使用される機械学習アルゴリズム間の混同レベルを例示するグラフ表示３０４を要求すると、インテント混同視覚化サブシステム３０２は、管理者３０６又は専門家アノテータがアクセスし得るメッセージ及び会話を識別し得る。例えば、管理者３０６又は専門家アノテータが特定のブランドに対応する会話を評価することを認可されている場合、インテント混同視覚化サブシステム３０２は、管理者３０６又は専門家アノテータが特定のブランドに関連付けられた会話のセットを選択することを可能にし得る。

[0064]実施形態では、インテント混同視覚化サブシステム３０２は、異なる会話についてアノテータ及び／又はインテント発見サブシステムによって使用される機械学習アルゴリズムによって識別された様々なインテント又は分類のリストを、インタフェースを介して管理者３０６又は専門家アノテータに提供することができる。これは、管理者３０６又は専門家アノテータが、管理者３０６又は専門家が評価したい特定のインテント又は分類を選択し、適用可能な会話についての、選択されたインテント又は分類と他のインテント又は分類との間の混同レベルを決定することを可能にし得る。いくつかの事例では、管理者３０６又は専門家アノテータは、インタフェースを介して、インテント混同視覚化サブシステム３０２によって使用され得る任意の閾値を定義して、グラフ表示３０４内のノード及びエッジのサイズを定義し得る。例えば、管理者３０６又は専門家アノテータは、別個のインテント又は分類に対応する２つのノード間のエッジを生成するかどうかを判断するために使用され得る最小混同レベル閾値を定義し得る。同様に、管理者３０６又は専門家のアノテーションは、インテント又は分類に対応するノードを生成するかどうかを判断するために使用され得る最小頻度閾値を定義し得る。例えば、特定のインテント又は分類が最小頻度閾値を下回る回数選択された場合、インテント混同視覚化サブシステム３０２は、特定のインテント又は分類についてのノードを生成することを控え得る。

[0065]管理者３０６又は専門家アノテータによって選択された会話及び／又はインテント若しくは分類のセットに基づいて、インテント混同視覚化サブシステム３０２は、アノテータ及び／又はインテント発見サブシステムによって使用される機械学習アルゴリズム間の混同レベルのグラフ表示３０４を生成し得る。上述されたように、インテント混同視覚化サブシステム３０２は、管理者３０６若しくは専門家アノテータによって選択された会話若しくはメッセージのセットについて、アノテータ及び／又はインテント発見サブシステムによって使用される機械学習アルゴリズムによって識別された各インテント又は分類に対応するノードを定義し得る。グラフ表示３０４中に表される各ノードのサイズは、アノテータ及び／又は機械学習アルゴリズムがこのインテント又は分類を評価されている会話の選択されたセットに関連付けられたメッセージに適用する頻度に基づいて決定され得る。例えば、アノテータ及び／又は機械学習アルゴリズムによって頻繁に選択されるインテント又は分類に対応するノードは、アノテータ及び／又は機械学習アルゴリズムによってそれほど頻繁に選択されないインテント又は分類に対応するノードと比較して、より大きいサイズを有し得る。

[0066]いくつかの事例では、インテント混同視覚化サブシステム３０２は、特定のインテント又は分類に対応する各ノードのサイズを決定し、各ノードの色及び／又は形状を決定するためにアルゴリズムを利用し得る。例えば、ノードは、インテント若しくは分類タイプ、又は基礎となるインテント若しくは分類のカテゴリに従って特定の色のセットを割り当てられ得る。例えば、製品特性及びレビューに対応するインテント又は分類は、特定の色範囲（対応する色合いを有する）を割り当てられ得、それに対して、支払いに対応するインテント又は分類は、異なる色範囲（対応する色合いを有する）を割り当てられ得る。これは、管理者３０６又は専門家アノテータが、グラフ表示３０４から、異なるタイプのインテント又は分類間のあらゆるアノテータ混同を直ちに決定することを可能にし得る。

[0067]グラフ表示３０４中に、会話又はメッセージの選択されたセットについての異なるインテント又は分類に対応するノードを定義及び提示することに加えて、インテント混同視覚化サブシステム３０２は、対応するインテント又は分類間の混同レベルが検出された２つのノード間のエッジを生成し得る。グラフ表示３０４中に表される各エッジのサイズは、エッジが生成されている２つのノードに関連付けられたインテント又は分類の選択に対応する混同レベルに基づいて決定され得る。例えば、インテント又は分類のペア間に著しいレベルの混同がある場合、インテント混同視覚化サブシステム３０２は、より大きい厚さを有するインテント又は分類のペアに対応するノード間にエッジを生成し得る。代替として、インテント又は分類のペア間に最小レベルの混同がある場合、インテント混同視覚化サブシステム３０２は、より小さい太さを有する分類のインテントのペアに対応するノード間のエッジを生成し得る。実施形態では、インテント混同視覚化サブシステム３０２は、インテント又は分類のペアに関連付けられた２つのノード間のエッジを定義するために必要とされる最小混同レベルを決定するためにアルゴリズムを利用する。いくつかの事例では、２つのノードに関連付けられたインテント又は分類のペア間の混同レベルが混同レベル閾値を満たす場合、これらの２つのノードの間のエッジが生成され得る。例えば、上記の式１を使用して算出されたメトリックを使用して、インテント混同視覚化サブシステム３０２は、メトリックが最小混同レベル閾値を上回るかどうかを判断し得る。上回る場合、インテント混同視覚化サブシステム３０２は、インテント又は分類のこのペアに対応する２つのノード間のエッジを定義し得る。上述されたように、管理者３０６又は専門家アノテータは、インタフェースを介して、別個のインテント又は分類に対応する２つのノード間のエッジを生成するかどうかを判断するために使用され得る最小混同レベル閾値を定義し得る。この最小混同レベル閾値に基づいて、インテント混同視覚化サブシステム３０２は、アノテータ及び／又は機械学習アルゴリズムによって選択されたインテント又は分類に対応するノードのペア間のエッジを生成及び提示するかどうかを判断し得る。

[0068]インテント混同視覚化サブシステム３０２が、会話のセットに関連付けられた対応するインテント又は分類に対してどのノード及びエッジを提示すべきかを決定すると、インテント混同視覚化サブシステム３０２は、グラフ表示３０４を生成し得る。グラフ表示３０４は、インタフェースを介して、又は顧客サービスコールセンターによって提供され、管理者３０６又は専門家アノテータによって利用されるコンピューティングデバイスを介してアクセス可能なポータルを通して提供され得る。グラフ表示３０４は、アノテータ及び／又は機械学習アルゴリズムによって選択又は別様に識別された異なるインテント又は分類に対応する様々なノードと、これらの様々なノード間の任意のエッジとを含み得、それらは、異なるノード間のアノテータ及び／又は機械学習アルゴリズム間の混同レベルをグラフで表し得る。いくつかの事例では、インテント又は分類の異なるペアリングについてのアノテータ及び／又は機械学習アルゴリズム間の混同レベルの前述されたグラフ表示３０４を提供することに加えて、インテント混同視覚化サブシステム３０２は、アノテータ及び／又は機械学習アルゴリズム間の混同に対処する際に管理者３０６又は専門家アノテータによって使用され得るインサイトを提供し得る。

[0069]グラフ表示３０４を通じて、管理者３０６又は専門家アノテータは、特定のノードと対話して、対応するインテント又は分類と、特定のノードと他のインテント又は分類に対応する他のノードとの間のエッジを使用して表される、インテント又は分類とこれらの他のインテント又は分類との間の混同レベルとに関する追加情報を取得し得る。例えば、管理者３０６又は専門家アノテータがグラフ表示３０４から特定のノードを選択した場合、インテント混同視覚化サブシステム３０２は、選択されたノード並びに選択されたノードに関連付けられた任意のエッジ及び他のノードを強調表示し得る。例えば、選択されたノードと別のノードとの間にエッジが定義されている場合、インテント混同視覚化サブシステム３０２は、選択されたノード、別のノード、及び選択されたノードと別のノードとを接続するエッジを強調表示し得る。いくつかの事例では、選択されたノード、別のノード、及び選択されたノードと別のノードとを接続するエッジを強調表示することに加えて、インテント混同視覚化サブシステム３０２は、選択されたノードに関連付けられていない任意のノード及び／又はエッジを隠し得るか、又は別様に不明瞭にし得る（例えば、暗くする、半透明にする、等）。このことから、インテント混同視覚化サブシステム３０２は、選択されたノード並びに関連付けられたエッジ及び別のノードに焦点を当て得、それは、管理者３０６又は専門家アノテータが、選択されたノードに関連付けられたインテント又は分類と、他の強調表示されたノードに関連付けられた任意の他のインテント又は分類との間の混同レベルをより良好に視覚化することを可能にし得る。

[0070]選択されたノード並びに任意の関連付けられたノード及びエッジを強調表示することに加えて、インテント混同視覚化サブシステム３０２は、グラフ表示３０４を介して、及びノードの選択に応答して、選択されたノードに関連付けられたインテント又は分類に関連付けられたメトリックを提供し得る。例えば、インテント混同視覚化サブシステム３０２は、選択されたノードと別のインテント又は分類に関連付けられた別のノードとを接続するエッジを使用してグラフ表示３０４を通じて表されるように、グラフ表示３０４を介して、選択されたインテント若しくは分類と別のインテント若しくは分類との間でアノテータ及び／又は機械学習アルゴリズム間の混同があった可能性がある会話のセットのメッセージの数を提示し得る。グラフ表示３０４を通じて、管理者３０６又は専門家アノテータは、これらのメッセージのうちの任意のものにアクセスして、これらのメッセージのコンテキストを決定し、これらのメッセージの各々についての正しいインテント又は分類を決定し得る。更に、これらのメッセージを評価することによって、管理者３０６又は専門家アノテータは、アノテータ及び／又は機械学習アルゴリズム間の混同についての考えられる原因を決定し得る。

[0071]実施形態では、管理者３０６又は専門家アノテータがグラフ表示３０４から特定のノードを選択すると、インテント混同視覚化サブシステム３０２は、ノードに関連付けられた特定のインテント又は分類を再分類するためのオプションを管理者３０６又は専門家アノテータに提供することができる。例えば、管理者３０６又は専門家アノテータが特定のノードを選択することに応答して、インテント混同視覚化サブシステム３０２は、ノード及び任意の対応するアノテーションを再分類するために管理者３０６又は専門家アノテータに利用可能であり得るインテント又は分類のリストを提示するために、グラフ表示３０４を更新し得る。インテント又は分類のリストは、顧客とエージェントとの間で通信されるメッセージにアノテーションを付けるために、アノテータ及び／又は機械学習アルゴリズムに利用可能であり得る様々なインテント又は分類を指定し得る。リスト中に提供されるインテント又は分類は、特定のブランド又は他のエージェントグループ（例えば、ブランドの特定の組織単位に対応するエージェント、等）に関連付けられ得る。このことから、管理者３０６又は専門家アノテータは、どのインテント又は分類がアノテータ及び／又は機械学習アルゴリズムに利用可能であるかを容易に識別し、特定のノードについての適切なインテント又は分類を選択し得る。

[0072]実施形態では、インテント混同視覚化サブシステム３０２は、選択されたノードに関連付けられた既存のインテント又は分類を置き換えるために新しいインテント又は分類を作成するためのオプションを管理者３０６又は専門家アノテータに更に提供することができる。例えば、管理者３０６又は専門家アノテータが、グラフ表示３０４から特定のノードを選択した場合、インテント混同視覚化サブシステム３０２は、利用可能なインテント又は分類のリストを提供することに加えて、ノードに、並びにアノテータ及び／又は機械学習アルゴリズムによって以前に行われた対応するアノテーションに割り当てられ得る新しいインテント又は分類を生成するためのオプションを管理者３０６又は専門家アノテータに提供し得る。管理者３０６又は専門家アノテータが、選択されたノードについての新しいインテント又は分類を生成する場合、インテント混同視覚化サブシステム３０２は、新しいインテント又は分類を特定のノードに割り当て、新しく生成されたインテント又は分類を組み込むために、アノテータ及び機械学習アルゴリズムに利用可能な様々なインテント又は分類のリストを更新し得る。

[0073]グラフ表示３０４を通じて、インテント混同視覚化サブシステム３０２はまた、管理者３０６又は専門家アノテータが、単一のインテント又は分類を２つ以上のノードに割り当てることによって、これらの２つ以上のノードを統合することを可能にし得る。例えば、管理者３０６又は専門家アノテータは、グラフ表示３０４から２つ以上のノードを選択し、選択された２つ以上のノードに特定のインテント又は分類を割り当て得る。代替として、管理者３０６又は専門家アノテータは、特定のノードを選択し、別のノードにも割り当てられているこの特定のノードにインテント又は分類を割り当て得、ノードのペアが同じインテント又は分類に関連付けられることをもたらし得る。

[0074]上述されたように、管理者３０６又は専門家アノテータが、２つ以上のノードが同じインテント又は分類に関連付けられるようにグラフ表示３０４内の１つ以上のノードを更新する場合、インテント混同視覚化サブシステム３０２は、インテント又は分類の異なるペアリングについてのアノテータ及び／又はインテント発見サブシステム間の新しい混同レベルを提供するために、動的に且つリアルタイムでグラフ表示３０４を更新し得ることができる。例えば、管理者３０６又は専門家アノテータによって提供された更新に応答して、インテント混同視覚化サブシステム３０２は、更新に対応する情報をインテント分類サブシステムに送信し得、インテント分類サブシステムは、新しいインテント又は分類に対応する新しいアノテーションを含めるために、管理者３０６又は専門家アノテータによって選択された新しいインテント又は分類によって置き換えられているインテント又は分類で以前にアノテーションを付けられた可能性があるメッセージに対応するエントリを更新し得る。インテント分類サブシステムは、更新されたアノテーションを組み込むために、この更新によって影響を受ける会話のセットに対応するエントリを更新し得る。

[0075]管理者又は専門家アノテータの１つ以上のノードへの更新によって影響を受ける会話のセットに対応するエントリが更新されると、これらの会話に対応する会話データが再評価されて、更新されたアノテーションに対応するアノテータ及び／又は機械学習アルゴリズム間の新しい混同レベルを決定することができる。この新しい混同レベルに基づいて、インテント混同視覚化サブシステム３０２は、会話のセットに対応するメッセージのそれらのアノテーションにおけるアノテータ及び／又は機械学習アルゴリズム間の混同レベルのグラフ表示３０４を動的に且つリアルタイムで更新し得る。例えば、インテント混同視覚化サブシステム３０２は、管理者又は専門家アノテータによって提供された選択されたインテント又は分類と、アノテータによってアノテーションを付けられたか又は機械学習アルゴリズムによって提供された任意の他の変更されていないインテント又は分類とに対応するノードを含めるために、グラフ表示３０４を更新し得る。

[0076]上述されたように、インテント混同視覚化サブシステム３０２は、会話のセットに関連付けられたメッセージに対応するインテント又は分類の頻度に基づいて、更新されたグラフ表示中に表される各ノードのサイズを決定し得る。このことから、グラフ表示３０４内のノードのサイズ及び数は、１つ以上のノードを新しい又は代替のインテント又は分類に関連付けるために管理者３０６又は専門家アノテータによって提供されるグラフ表示３０４内のこれらの１つ以上のノードへの更新に応答して、動的に且つリアルタイムで変化し得る。１つ以上のノードのインテント又は分類の変化に応答してグラフ表示３０４内のノードを更新することに加えて、インテント混同視覚化サブシステム３０２は、混同レベルが検出されたノードの各ペアリング間の混同レベルを表すために、更新されたノード間のエッジを更に更新し得る。インテント混同視覚化サブシステム３０２は、上記で説明されたように、ペアリングにおける２つのノードに関連付けられたインテント又は分類の選択に対応する混同レベルに基づいて各エッジのサイズを決定し得る。このことから、特定のノードについてのインテント又は分類への更新に応答して、インテント混同視覚化サブシステム３０２は、１つ以上のインテント又は分類に対する変更（例えば、統合、再ラベル付け、等）の結果として生じ得る混同レベルへの更新されたインサイトを提供するために、グラフ表示３０４を動的に且つリアルタイムで更新し得る。

[0077]図４は、少なくとも１つの実施形態による、識別されたインテントについての異なるインテント分類間のインテント混同レベルを決定するためのプロセス４００の例示的な例を示す。プロセス４００は、顧客サービスコールセンターのインテント混同評価エンジンによって実行され得る。実施形態では、インテント混同評価エンジンは、周期的に（例えば、毎日、毎週、毎月、等）、又はトリガリングイベントに応答して、プロセス４００を実行することができる。上述されたように、インテント混同評価エンジンは、会話データストア中に記憶された会話のセットにアノテーションを付けるために、アノテータに命令又は他の要求を周期的に送信し得る。代替として、インテント混同評価エンジンは、多様なインテント又は分類についてのアノテータ間の混同レベル（もしあれば）を決定するために、アノテータからアノテーションを取得するための管理者又は専門家アノテータからの要求に応答して、アノテータに命令又は他の要求を送信し得る。いくつかの事例では、インテント混同評価エンジンは、閾値数の会話が会話データストア中に記録及び記憶されると、アノテータに会話データストアからの会話にアノテーションを付けるように促し得る。追加として又は代替として、インテント混同評価エンジンは、特定の会話中のエージェント又は会話ボットエージェントとの否定的な顧客対話に応答して、アノテータに、特定の会話にアノテーションを付けるように促すことができる。別の例として、インテント混同評価エンジンは、会話が会話ボットエージェントから人間エージェントに転送されたことに応答して、アノテータに、特定の例にアノテーションを付けるように促すことができる。これらのアノテーションが取得されると、インテント混同評価エンジンは、プロセス４００を実行し得る。

[0078]４０２において、インテント混同評価エンジンは、顧客とエージェントとの間の対話に対応する会話データを取得し得る。例えば、インテント混同評価エンジンは、会話データストアにクエリして、ある時間期間にわたって顧客とエージェントとの間で通信されたメッセージに対応するエントリを取得し得る。上述されたように、アノテータが各メッセージにインテント又は分類を割り当てると、メッセージに対応する会話データストア中のエントリは、アノテータによってメッセージに割り当てられたインテント又は分類を示すために更新され得る。特定のメッセージに対応するエントリは、アノテータによって決定されたいくつかの異なるインテント又は分類と、特定のメッセージについてアノテータによって選択された各インテント又は分類の頻度（例えば、一致のレベル）とを示し得る。いくつかの事例では、アノテーションが機械学習アルゴリズムを使用して提供される場合、特定のメッセージに対応するエントリは、メッセージに割り当てられ得る各考えられるインテント又は分類についての信頼性スコアを定義し得る。例えば、特定のメッセージについて、分類モデルは、メッセージについてのいくつかの考えられるインテント又は分類と、特定のメッセージについて分類モデルによって識別されたこれらの考えられるインテント又は分類の各々についての対応する信頼性スコアとを識別し得る。

[0079]ステップ４０４において、インテント混同評価エンジンは、会話データから１つ以上のインテントを識別し得る。インテント混同評価エンジンは、会話データを評価して、会話データの組織構造を決定し得る。例えば、インテント混同評価エンジンは、会話データが特定のブランド、ブランドに関連付けられた特定の組織単位、特定のタイプ（複数可）のインテント（例えば、販売、技術サポート、請求、等）などについての会話に対応するかどうかを判断し得る。インテント混同評価エンジンは、会話データストアから、顧客とエージェントとの間の会話を追跡するために使用される組織構造に基づいて、アノテータ及び／又はメッセージのアノテーションのために（上記で説明されたように）インテント発見サブシステムによって利用される機械学習アルゴリズムに何のインテント又は分類が利用可能であるかを決定し得る。例えば、顧客とエージェントとの間の会話に対応するメッセージがブランドに従って組織される場合、インテント混同評価エンジンは、アノテータ及び／又はブランドに関連付けられた機械学習アルゴリズムに利用可能にされる、ブランドに対応するインテント又は分類を識別し得る。

[0080]ステップ４０６において、インテント混同評価エンジンは、アノテータ及び／又は識別されたインテントに対応する機械学習アルゴリズムによって何のアノテーションが提供されたかを判断する。上述されたように、アノテータが各メッセージにインテント又は分類を割り当てると、メッセージに対応するエントリは、アノテータによってメッセージに割り当てられたインテント又は分類を示すために更新され得る。特定のメッセージに対応するエントリは、アノテータによって決定されたいくつかの異なるインテント又は分類と、特定のメッセージについてアノテータによって選択された各インテント又は分類の頻度（例えば、一致のレベル）とを示し得る。例えば、１０人のアノテータのセットが、インテント又は分類を特定のメッセージに割り当てるタスクを課される場合、メッセージに対応するエントリは、１０人のアノテータがインテント又は分類をメッセージに割り当てることによって生成された１０個のアノテーションの各々を指定し得る。いくつかの事例では、インテント混同評価エンジンが、インテント発見サブシステムを介して、各メッセージにアノテーションを付けるために、機械学習アルゴリズムを利用する場合、インテント混同評価エンジンは、メッセージについてのいくつかの考えられるインテント又は分類と、各メッセージについて機械学習アルゴリズムによって識別されたこれらの考えられるインテント又は分類の各々についての対応する信頼性スコアとを取得し得る。

[0081]ステップ４０８において、インテント混同評価エンジンは、異なるインテント又は分類間のアノテータ及び／又は機械学習アルゴリズム間の混同レベルを決定するために、会話のセットについての識別されたインテントのアノテーションを分析し得る。インテント混同評価エンジンは、異なるインテント又は分類のペアリングについての、アノテータ及び／又はインテント発見サブシステムによって利用される機械学習アルゴリズム間の混同レベルを決定するために集約戦略を実施し得る。例えば、インテント混同評価エンジンは、特定のインテント又は分類が会話のセットに対応する様々なメッセージに対して選択される頻度を計算し得る。実施形態では、インテント混同評価エンジンは、本明細書で説明されるように、アノテータ及び／又はインテント発見サブシステムによって識別されたインテント又は分類と、アノテータ及び／又はインテント発見サブシステムによって利用される機械学習アルゴリズム間の混同レベルに対応する任意のメトリックとを記憶することができる。

[0082]追加として、インテント混同評価エンジンは、アノテータのセット及び／又は機械学習アルゴリズム間で検出された混同レベルに対応するメトリックを算出又は別様に決定し得る。例えば、インテント混同評価エンジンは、各メッセージについて、及び各インテント又は分類ペアリングについて、アノテータ（例えば、人間アノテータ及び／又は機械学習アルゴリズム）が、メッセージについて別のアノテータによって選択された異なるインテント又は分類よりも特定のインテント又は分類を選択又はスコア付けした平均回数を決定し得る。インテントのペアについてのアノテータ及び／又はインテント発見サブシステム間の混同レベルを示すために算出され得るメトリックの例は、式１に関連して上記で説明されている。

[0083]ステップ４１０において、インテント混同評価エンジンは、異なるインテント又は分類間の混同レベルに基づいて、アノテータ混同のグラフ表示を生成し得る。アノテータ混同のグラフ表示は、ノードのセットを含み得、各ノードは、特定のインテント又は分類に対応し得る。実施形態では、インテント混同評価エンジンは、アノテータがこのインテント又は分類を評価されている会話のセットに関連付けられたメッセージに適用する頻度に基づいて、グラフ表示中に表される各ノードのサイズを決定することができる。いくつかの事例では、インテント混同評価エンジンは、特定のインテント又は分類に対応する各ノードのサイズを決定し、各ノードの色及び／又は形状を決定するためにアルゴリズムを利用し得る。例えば、ノードは、インテント若しくは分類タイプ、又は基礎となるインテント若しくは分類のカテゴリに従って特定の色のセットを割り当てられ得る。

[0084]インテント混同評価エンジンは、対応するインテント又は分類間の混同レベルが検出されたノードのペア間のエッジを更に生成し得る。インテント混同評価エンジンは、２つのノードに関連付けられたインテント又は分類の選択に対応する混同レベルに基づいて、２つのノード間のエッジのサイズを決定し得る。インテント混同評価エンジンは、インテント又は分類のペアに関連付けられた２つのノード間のエッジを定義するために必要とされる最小混同レベルを決定するためにアルゴリズムを使用し得る。いくつかの事例では、２つのノードに関連付けられたインテント又は分類のペア間の混同レベルが混同レベル閾値を満たす場合、これらの２つのノードの間のエッジが生成され得る。例えば、上記の式１を使用して算出されたメトリックを使用して、インテント混同評価エンジンは、メトリックが最小混同レベル閾値を上回るかどうかを判断し得る。上回る場合、インテント混同評価エンジンは、インテント又は分類のこのペアに対応する２つのノード間のエッジを定義し得る。

[0085]インテント混同評価エンジンは、異なるインテント又は分類についてのアノテータ混同のグラフ表示を提示するために、ＧＵＩなどの、管理者又は専門家アノテータによって利用されるインタフェースを更新し得る。グラフ表示は、アノテータによって選択された、及び／又はインテント発見サブシステムによって識別された異なるインテント又は分類に対応する様々なノードと、これらの様々なノード間の任意のエッジとを含み得、それらは、異なるノード間のアノテータ及び／又はインテント発見サブシステム間の混同レベルをグラフで表し得る。いくつかの事例では、インテント又は分類の異なるペアリングについての混同レベルの前述されたグラフ表示を提供することに加えて、インテント混同評価エンジンは、上記で説明されたように、アノテータ及び／又はインテント発見サブシステム間の混同に対処する際に管理者又は専門家アノテータによって使用され得るインサイトを提供し得る。

[0086]図５は、少なくとも１つの実施形態による、修正に対応するエッジ及び／又はノードに対するアノテーション修正の影響を判断するためのプロセス５００の例示的な例を示す。プロセス５００は、顧客サービスコールセンターの前述されたインテント混同評価エンジンによって実行され得る。上述されたように、インテント混同評価エンジンは、会話のセットについてのグラフ表示を生成するための管理者又は専門家アノテータからの要求に応答して、会話のセットについてのアノテータ及び／又は機械学習アルゴリズム間の混同レベルのグラフ表示を生成し得る。例えば、管理者又は専門家アノテータは、インテント混同評価エンジンによって提供されるインタフェース（例えば、ＧＵＩ）を介して、会話のセットについてのグラフ表示の生成のための要求を提出し得る。このインタフェースを通じて、管理者又は専門家アノテータは、グラフ表示を生成するためにどの会話が評価されるべきかを指定し得る。例えば、管理者又は専門家アノテータが、上記で説明されたように、インテント混同評価エンジンにアクセスして、アノテータ及び／又は機械学習アルゴリズム間の混同レベルを例示するグラフ表示を要求すると、インテント混同評価エンジンは、管理者又は専門家アノテータがアクセスし得るメッセージ及び会話を識別し得る。例えば、管理者又は専門家アノテータが特定のブランドに対応する会話を評価することを認可されている場合、インテント混同評価エンジンは、管理者又は専門家アノテータが特定のブランドに関連付けられた会話のセットを選択することを可能にし得る。

[0087]ステップ５０２において、インテント混同評価エンジンは、会話のセットに対応するデータセットの選択を検出し得る。例えば、管理者又は専門家アノテータが、特定のブランドに関連付けられた会話から１つ以上の会話を選択した場合、インテント混同評価エンジンは、会話データストアから、選択された１つ以上の会話に関連付けられたアノテーションを付けられたメッセージに対応するエントリを取得し得る。上述されたように、特定のメッセージに対応するエントリは、アノテータによって決定されたいくつかの異なるインテント又は分類と、特定のメッセージについてアノテータによって選択された各インテント又は分類の頻度（例えば、一致のレベル）とを示し得る。更に、選択されたデータセット（例えば、会話のセット、等）について、インテント混同評価エンジンは、異なるインテント又は分類ペアリングに対応する混同レベルに対応するメトリックを維持し得る。インテントのペアについてのアノテータ及び／又はインテント発見サブシステム間の混同レベルを示すために算出され得るメトリックの例は、式１に関連して上記で説明されている。

[0088]ステップ５０４において、インテント混同評価エンジンは、会話のセットから識別されたインテント又は分類のセットに基づいて、アノテータ混同のグラフ表示を生成し得る。インテント混同評価エンジンは、図４に関連して上記で説明されたプロセス４００を実行して、アノテータ混同のこのグラフ表示を生成し得る。例えば、インテント混同評価エンジンは、管理者又は専門家アノテータによって選択されたデータセットに対応する会話データを取得し、この会話データを処理して、利用可能なインテント又は分類、及びデータセットの会話のセットに対応する様々なメッセージに対してアノテータ及び／又は機械学習アルゴリズムによって行われたアノテーションを識別し得る。インテント混同評価エンジンは、これらのアノテーションを分析して、異なるインテント又は分類間の混同レベルを決定し得る。これらの異なるインテント又は分類間の混同レベルに基づいて、インテント混同評価エンジンは、アノテータ混同のグラフ表示を生成し得る。

[0089]ステップ５０６において、インテント混同評価エンジンは、管理者又は専門家アノテータがアノテータ混同のグラフ表示から特定のノード又はエッジを選択したかどうかを判断し得る。上述されたように、グラフ表示を通じて、管理者又は専門家アノテータは、特定のノードと対話して、対応するインテント又は分類と、特定のノードとこれらの他のインテント又は分類に対応する他のノードとの間のエッジを使用して表される、インテント又は分類と他のインテント又は分類との間の混同レベルとに関する追加情報を取得し得る。同様に、管理者又は専門家アノテータは、特定のエッジと対話して、選択されたエッジの両端に接続された２つのノードに対応するインテント又は分類間の混同レベルに関する追加の情報を取得し得る。

[0090]インテント混同評価エンジンが、管理者又は専門家がグラフ表示から特定のノード又はエッジを選択したと判断した場合、インテント混同評価エンジンは、ステップ５０８において、選択されたノード又はエッジに対応する関連ノード及び／又はエッジに焦点を当てるようにグラフ表示上の視点を制限し得る。例えば、インテント混同評価エンジンは、選択されたノード並びに選択されたノードに関連付けられた任意のエッジ及び他のノードを強調表示し得る。例えば、選択されたノードと別のノードとの間にエッジが定義されている場合、インテント混同評価エンジンは、選択されたノード、別のノード、及び選択されたノードと別のノードとを接続するエッジを強調表示し得る。いくつかの事例では、選択されたノード、他のノード、及び選択されたノードと他のノードとを接続するエッジを強調表示することに加えて、インテント混同評価エンジンは、選択されたノードに関連付けられていない任意のノード及び／又はエッジを隠し得るか、又は別様に不明瞭にし得る（例えば、暗くする、半透明にする、等）。このことから、インテント混同評価エンジンは、選択されたノード並びに関連付けられたエッジ及び他のノードに焦点を当て得、それは、管理者又は専門家アノテータが、選択されたノードに関連付けられたインテント又は分類と、他の強調表示されたノードに関連付けられた任意の他のインテント又は分類との間の混同レベルをより良好に視覚化することを可能にし得る。

[0091]実施形態では、選択されたノード並びに任意の関連付けられたノード及びエッジを強調表示することに加えて、インテント混同評価エンジンは、グラフ表示を介して、及びノード又はエッジの選択に応答して、選択されたノード又はエッジに関連付けられたインテント又は分類に関連付けられたメトリックを提供し得る。例えば、インテント混同評価エンジンは、選択されたノードと別のインテント又は分類に関連付けられた別のノードとを接続するエッジを使用してグラフ表示を通じて表されるように、グラフ表示を介して、選択されたインテント若しくは分類と別のインテント若しくは分類との間でアノテータ及び／又は機械学習アルゴリズム間の混同があった可能性がある会話のセットのメッセージの数を提示し得る。グラフ表示を通じて、管理者又は専門家アノテータは、これらのメッセージのうちの任意のものにアクセスして、これらのメッセージのコンテキストを決定し、これらのメッセージの各々についての正しいインテント又は分類を決定し得る。更に、これらのメッセージを評価することによって、管理者又は専門家アノテータは、アノテータ及び／又は機械学習アルゴリズム間の混同についての考えられる原因を決定し得る。

[0092]上述されたように、管理者又は専門家アノテータがグラフ表示から特定のノード又はエッジを選択すると、インテント混同評価エンジンは、ノードに関連付けられた特定のインテント又は分類を再分類するためのオプションを管理者又は専門家アノテータに提供し得る。例えば、管理者又は専門家アノテータが特定のノードを選択することに応答して、インテント混同評価エンジンは、ノード及び任意の対応するアノテーションを再分類するために管理者又は専門家アノテータに利用可能であり得るインテント又は分類のリストを提示するために、グラフ表示を更新し得る。インテント又は分類のリストは、顧客とエージェントとの間で通信されるメッセージにアノテーションを付けるために、アノテータ及び／又は機械学習アルゴリズムに利用可能であり得る様々なインテント又は分類を指定し得る。リスト中に提供されるインテント又は分類は、特定のブランド又は他のエージェントグループ（例えば、ブランドの特定の組織単位に対応するエージェント、等）に関連付けられ得る。このことから、管理者又は専門家アノテータは、どのインテント又は分類がアノテータ及び／又は機械学習アルゴリズムに利用可能であるかを容易に識別し、特定のノードについての適切なインテント又は分類を選択し得る。更に、インテント混同評価エンジンは、選択されたノードに関連付けられた既存のインテント又は分類を置き換えるために新しいインテント又は分類を作成するためのオプションを管理者又は専門家アノテータに更に提供し得る。例えば、管理者又は専門家アノテータが、グラフ表示から特定のノードを選択した場合、インテント混同評価エンジンは、ノードに及び対応するアノテーションに割り当てられ得る新しいインテント又は分類を生成するためのオプションを管理者又は専門家アノテータに提供し得る。

[0093]ステップ５１０において、インテント混同評価エンジンは、管理者又は専門家アノテータがグラフ表示を介してアノテーション修正を行ったかどうかを判断し得る。例えば、インテント混同評価エンジンは、管理者又は専門家アノテータが新しい又は代替のインテント又は分類をグラフ表示内の特定のノードにいつ割り当てたかを検出し得る。別の例として、インテント混同評価エンジンは、ノードのセットを単一のノードに統合するための管理者又は専門家アノテータからの要求を検出し得、それによって、対応するインテント又は分類が、単一のインテント又は分類に集約され得る。例えば、管理者又は専門家アノテータは、グラフ表示から２つ以上のノードを選択し、選択された２つ以上のノードに特定のインテント又は分類を割り当て得る。代替として、管理者又は専門家アノテータは、特定のノードを選択し、別のノードにも割り当てられているこの特定のノードにインテント又は分類を割り当て得、ノードのペアが同じインテント又は分類に関連付けられることをもたらし得る。

[0094]インテント混同評価エンジンが、管理者又は専門家アノテータがグラフ表示を介してアノテーション修正を行ったと判断した場合、インテント混同評価エンジンは、ステップ５１２において、アノテーション修正に対応する影響を受けるノード及び／又はエッジに対するアノテーション修正の影響を判断し得る。例えば、管理者又は専門家アノテータによって提供された更新に応答して、インテント混同評価エンジンは、新しいインテント又は分類に対応する新しいアノテーションを含めるために、管理者又は専門家アノテータによって選択された新しいインテント又は分類によって置き換えられているインテント又は分類で以前にアノテーションを付けられた可能性があるメッセージに対応するエントリを更新し得る。インテント混同評価エンジンは、更新されたアノテーションを組み込むために、この更新によって影響を受ける会話のセットに対応するエントリを更新し得る。更に、インテント混同評価エンジンは、これらの会話に対応する会話データを再評価して、更新されたアノテーションに対応するアノテータ及び／又は機械学習アルゴリズム間の新しい混同レベルを決定し得る。この再評価は、異なるインテント又は分類についてのアノテータ及び／又は機械学習アルゴリズム間の混同レベルを決定するための上記で説明されたプロセスを介して実行され得る。

[0095]ステップ５１４において、インテント混同評価エンジンは、管理者又は専門家アノテータによって提出されたアノテーション修正を組み込むために、グラフ表示を更新し得る。例えば、アノテーション修正に応答してインテント混同評価エンジンによって決定されるような、異なるインテント又は分類間の新しい混同レベルに基づいて、インテント混同評価エンジンは、会話のセットに対応するメッセージのそれらのアノテーションにおけるアノテータ及び／又は機械学習アルゴリズム間の混同レベルのグラフ表示を動的に且つリアルタイムで更新し得る。インテント混同評価エンジンは、管理者又は専門家アノテータによって提供された選択されたインテント又は分類と、アノテータによってアノテーションを付けられたか又は機械学習アルゴリズムによって提供された任意の他の変更されていないインテント又は分類とに対応するノードを含めるために、グラフ表示を更新し得る。更に、グラフ表示内のノードのサイズ及び数は、１つ以上のノードを新しい又は代替のインテント又は分類に関連付けるために管理者又は専門家アノテータによって提供されるグラフ表示内のこれらの１つ以上のノードへの更新に応答して、動的に且つリアルタイムで変化し得る。１つ以上のノードのインテント又は分類の変化に応答してグラフ表示内のノードを更新することに加えて、インテント混同評価エンジンは、混同レベルが検出されたノードの各ペアリング間の混同レベルを表すために、更新されたノード間のエッジを更新し得る。インテント混同評価エンジンは、上記で説明されたように、ペアリングにおける２つのノードに関連付けられたインテント又は分類の選択に対応する混同レベルに基づいて各エッジのサイズを決定し得る。

[0096]図６は、いくつかの実装形態による、バスなどの接続部６０６を使用して互いに電気通信する様々な構成要素を含むコンピューティングシステムアーキテクチャ６００を例示する。実例的なシステムアーキテクチャ６００は、処理ユニット（ＣＰＵ又はプロセッサ）６０４と、ＲＯＭ６１８及びＲＡＭ６１６などのシステムメモリ６２０を含む様々なシステム構成要素をプロセッサ６０４に結合するシステム接続部６０６とを含む。システムアーキテクチャ６００は、プロセッサ６０４と直接接続されるか、それに近接しているか、又はその一部として統合された高速メモリのキャッシュ６０２を含むことができる。システムアーキテクチャ６００は、プロセッサ６０４による素早いアクセスのために、メモリ６２０及び／又は記憶デバイス６０８からキャッシュ６０２にデータをコピーすることができる。このようにして、キャッシュは、データを待っている間にプロセッサ６０４が遅延することを回避する性能向上を提供することができる。これら及び他のモジュールは、様々なアクションを実行するために、プロセッサ６０４を制御することができるか、制御するように構成されることができる。

[0097]他のシステムメモリ６２０も、使用のために利用可能であり得る。メモリ６２０は、異なる性能特性を有する複数の異なるタイプのメモリを含むことができる。プロセッサ６０４は、任意の汎用プロセッサ、及び記憶デバイス６０８中に記憶され、プロセッサ６０４を制御するように構成されたサービス１ ６１０、サービス２ ６１２、及びサービス３ ６１４などのハードウェア又はソフトウェアモジュール、並びにソフトウェア命令が実際のプロセッサ設計に組み込まれる専用プロセッサを含むことができる。プロセッサ６０４は、完全に自己完結型のコンピューティングシステムであり得、複数のコア又はプロセッサ、バス、メモリコントローラ、キャッシュ、等を包含し得る。マルチコアプロセッサは、対称又は非対称であり得る。

[0098]コンピューティングシステムアーキテクチャ６００とのユーザ対話を可能にするために、入力デバイス６２２は、音声用のマイクロフォン、ジェスチャ又はグラフィック入力用のタッチ感応スクリーン、キーボード、マウス、モーション入力、音声、等などの任意の数の入力機構を表すことができる。出力デバイス６２４もまた、当業者に知られたいくつかの出力機構のうちの１つ以上であり得る。いくつかの事例では、マルチモーダルシステムは、ユーザがコンピューティングシステムアーキテクチャ６００と通信するための複数のタイプの入力を提供することを可能にすることができる。通信インタフェース６２６は、一般に、ユーザ入力及びシステム出力を統制及び管理することができる。どの特定のハードウェア構成上で動作することについても制限がなく、従って、ここでの基本的な特徴は、改善されたハードウェア又はファームウェア構成が開発されるにつれて、それらと容易に置換され得る。

[0099]記憶デバイス６０８は、不揮発性メモリであり、ハードディスク、又は磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタル多用途ディスク、カートリッジ、ＲＡＭ６１６、ＲＯＭ６１８、及びそれらのハイブリッドなど、コンピュータによってアクセス可能なデータを記憶することができる他のタイプのコンピュータ可読媒体であり得る。

[0100]記憶デバイス６０８は、プロセッサ６０４を制御するためのサービス６１０、６１２、６１４を含むことができる。他のハードウェア又はソフトウェアモジュールが企図される。記憶デバイス６０８は、システム接続部６０６に接続されることができる。一態様では、特定の機能を実行するハードウェアモジュールは、機能を実施するために、プロセッサ６０４、接続部６０６、出力デバイス６２４、等などの必要なハードウェア構成要素に関連してコンピュータ可読媒体中に記憶されたソフトウェア構成要素を含むことができる。

[0101]開示された方法は、コンピューティングシステムを使用して実行されることができる。実例的なコンピューティングシステムは、プロセッサ（例えば、中央処理ユニット）、メモリ、不揮発性メモリ、及びインタフェースデバイスを含むことができる。メモリは、データ及び／又は１つ以上のコードセット、ソフトウェア、スクリプト、等を記憶し得る。コンピュータシステムの構成要素は、バスを介して、又は何らかの他の既知の若しくは便利なデバイスを通して共に結合されることができる。プロセッサは、例えば、メモリ中に記憶されたコードを実行することによって、例えば、本明細書で説明された方法の全部又は一部を実施するように構成され得る。ユーザデバイス若しくはコンピュータ、プロバイダサーバ若しくはシステム、又は一時停止されたデータベース更新システムのうちの１つ以上が、コンピューティングシステムの構成要素又はそのようなシステムの変形形態を含み得る。

[0102]本開示は、販売時点情報管理システム（「ＰＯＳ」）を含むが、それに限定されない、任意の適切な物理的形態を取るコンピュータシステムを企図する。限定ではなく例として、コンピュータシステムは、埋め込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、シングルボードコンピュータシステム（ＳＢＣ）（例えば、コンピュータオンモジュール（ＣＯＭ）若しくはシステムオンモジュール（ＳＯＭ）など）、デスクトップコンピュータシステム、ラップトップ若しくはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、又はこれらのうちの２つ以上の組み合わせであり得る。適切な場合には、コンピュータシステムは、１つ以上のコンピュータシステムを含み、単一若しくは分散型であり、複数の位置にまたがり、複数の機械にまたがり、及び／又は１つ以上のネットワーク中に１つ以上のクラウド構成要素を含み得るクラウド中に存在し得る。適切な場合には、１つ以上のコンピュータシステムは、実質的な空間的又は時間的制限なしに、本明細書で説明又は例示される１つ以上の方法の１つ以上のステップを実行し得る。限定ではなく例として、１つ以上のコンピュータシステムは、本明細書で説明又は例示される１つ以上の方法の１つ以上のステップをリアルタイムで又はバッチモードで実行し得る。１つ以上のコンピュータシステムは、適切な場合、本明細書で説明又は例示される１つ以上の方法の１つ以上のステップを異なる時間に又は異なる位置で実行し得る。

[0103]プロセッサは、例えば、Ｉｎｔｅｌ Ｐｅｎｔｉｕｍ（登録商標）マイクロプロセッサ又はＭｏｔｏｒｏｌａ ＰｏｗｅｒＰＣマイクロプロセッサなどの従来のマイクロプロセッサであり得る。当業者は、用語「機械可読（記憶）媒体」又は「コンピュータ可読（記憶）媒体」が、プロセッサによってアクセス可能な任意のタイプのデバイスを含むことを認識するであろう。

[0104]メモリは、例えばバスによってプロセッサに結合されることができる。メモリは、限定ではなく例として、動的ＲＡＭ（ＤＲＡＭ）及び静的ＲＡＭ（ＳＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）を含むことができる。メモリは、ローカル、リモート、又は分散されることができる。

[0105]バスはまた、プロセッサを不揮発性メモリ及びドライブユニットに結合することができる。不揮発性メモリは、磁気フロッピー（登録商標）若しくはハードディスク、磁気光ディスク、光ディスク、ＣＤ－ＲＯＭ、ＥＰＲＯＭ、若しくはＥＥＰＲＯＭ（登録商標）などの読取専用メモリ（ＲＯＭ）、磁気若しくは光カード、又は大量のデータのための別の形態の記憶装置であることが多い。このデータのうちの一部は、コンピュータにおけるソフトウェアの実行中に、ダイレクトメモリアクセスプロセスによってメモリ中に書き込まれることが多い。不揮発性記憶装置は、ローカル、リモート、又は分散されることができる。不揮発性メモリは、メモリ中で利用可能な全ての適用可能なデータを用いてシステムが作成されることができるので、任意選択である。典型的なコンピュータシステムは、通常、少なくともプロセッサ、メモリ、及びメモリをプロセッサに結合するデバイス（例えば、バス）を含むであろう。

[0106]ソフトウェアは、不揮発性メモリ及び／又はドライブユニット中に記憶されることができる。実際、大きいプログラムの場合、プログラム全体をメモリ中に記憶することさえ可能ではない場合がある。それにもかかわらず、ソフトウェアを実行するために、必要であれば、ソフトウェアは、処理に適したコンピュータ可読位置に移動され、例示を目的として、その位置は、本明細書ではメモリと呼ばれることを理解されたい。ソフトウェアが実行のためにメモリに移動されるときでさえ、プロセッサは、ソフトウェアに関連付けられた値を記憶するためのハードウェアレジスタと、理想的には実行を高速化する役割を果たすローカルキャッシュとを利用することができる。本明細書で使用される場合、ソフトウェアプログラムは、ソフトウェアプログラムが「コンピュータ可読媒体で実装される」と言及されるとき、任意の既知の又は便利な位置（不揮発性記憶装置からハードウェアレジスタまで）に記憶されると仮定される。プロセッサは、プログラムに関連付けられた少なくとも１つの値がプロセッサによって読み取り可能なレジスタ中に記憶されているとき、「プログラムを実行するように構成されている」とみなされる。

[0107]バスはまた、プロセッサをネットワークインタフェースデバイスに結合することができる。インタフェースは、モデム又はネットワークインタフェースのうちの１つ以上を含むことができる。モデム又はネットワークインタフェースは、コンピュータシステムの一部であるとみなされることができることを認識されたい。インタフェースは、アナログモデム、統合サービスデジタルネットワーク（ＩＳＤＮ０モデム、ケーブルモデム、トークンリングインタフェース、衛星伝送インタフェース（例えば、「ダイレクトＰＣ」）、又はコンピュータシステムを他のコンピュータシステムに結合するための他のインタフェースを含むことができる。インタフェースは、１つ以上の入力及び／又は出力（Ｉ／Ｏ）デバイスを含むことができる。Ｉ／Ｏデバイスは、限定ではなく例として、キーボード、マウス又は他のポインティングデバイス、ディスクドライブ、プリンタ、スキャナ、並びにディスプレイデバイスを含む他の入力及び／又は出力デバイスを含むことができる。ディスプレイデバイスは、限定ではなく例として、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、又は何らかの他の適用可能な既知の若しくは便利なディスプレイデバイスを含むことができる。

[0108]動作中、コンピュータシステムは、ディスクオペレーティングシステムなどのファイル管理システムを含むオペレーティングシステムソフトウェアによって制御されることができる。関連するファイル管理システムソフトウェアを有するオペレーティングシステムソフトウェアの一例は、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎ（レドモンド、ＷＡ）からのＷｉｎｄｏｗｓ（登録商標）として知られるオペレーティングシステムのファミリ、及びそれらの関連するファイル管理システムである。その関連するファイル管理システムソフトウェアを有するオペレーティングシステムソフトウェアの別の例は、Ｌｉｎｕｘ（登録商標）（商標）オペレーティングシステム及びその関連するファイル管理システムである。ファイル管理システムは、不揮発性メモリ及び／又はドライブユニット中に記憶されることができ、プロセッサに、オペレーティングシステムによって必要とされる様々な動作を実行させて、データを入力及び出力し、不揮発性メモリ及び／又はドライブユニット上にファイルを記憶することを含めて、メモリ中にデータを記憶することができる。

[0109]発明を実施するための形態のいくつかの部分は、コンピュータメモリ内のデータビットに対する動作のアルゴリズム及び記号表現に関して提示され得る。これらのアルゴリズム記述及び表現は、データ処理技術分野の当業者によって、彼らの研究の内容（the substance of their work）を他の当業者に最も効果的に伝達するために使用される手段である。アルゴリズムはここで、及び一般に、所望される結果につながる動作の首尾一貫したシーケンス（self-consistent sequence）であると考えられる。動作は、物理量の物理的操作を必要とするものである。通常、ただし必ずしもではないが、これらの量は、記憶、転送、組み合わせ、比較、及び別様に操作されることが可能な電気信号又は磁気信号の形態を取る。主に共通使用の理由により、これらの信号をビット、値、要素、記号、文字、用語、番号、等として言及することは時に便利であることが分かっている。

[0110]しかしながら、これら及び同様の用語の全ては、適切な物理量に関連付けられるべきであり、これらの量に適用される単に便利なラベルに過ぎないことに留意されたい。以下の議論から明らかなように、別段に明記されない限り、本説明全体を通して、「処理する」又は「計算する」又は「算出する」又は「決定する」又は「表示する」又は「生成する」、等などの用語を利用する議論は、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを操作し、コンピュータシステムメモリ若しくはレジスタ、又は他のそのような情報記憶、送信、若しくはディスプレイデバイス内の物理量として同様に表される他のデータに変換する、コンピュータシステム又は同様の電子コンピューティングデバイスのアクション及びプロセスを指すことを認識されたい。

[0111]本明細書で提示されるアルゴリズム及びディスプレイは、任意の特定のコンピュータ又は他の装置に本質的に関連しない。様々な汎用システムが、本明細書の教示に従ってプログラムと共に使用され得るか、又はいくつかの例の方法を実行するためにより特化された装置を構築することが好都合であると分かり得る。多様なこれらのシステムに必要とされる構造は、以下の説明から明らかになるであろう。加えて、本技法は、任意の特定のプログラミング言語を参照して説明されず、様々な例が、このことから、多様なプログラミング言語を使用して実装され得る。

[0112]様々な実装形態では、システムは、スタンドアロンデバイスとして動作するか、又は他のシステムに接続（例えば、ネットワーク化）され得る。ネットワーク化された展開では、システムは、クライアントサーバネットワーク環境におけるサーバ若しくはクライアントシステムのキャパシティで、又はピアツーピア（若しくは、分散型）ネットワーク環境におけるピアシステムとして動作し得る。

[0113]システムは、サーバコンピュータ、クライアントコンピュータ、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、ラップトップコンピュータ、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、携帯電話、ｉＰｈｏｎｅ（登録商標）、Ｂｌａｃｋｂｅｒｒｙ、プロセッサ、電話、ウェブアプライアンス、ネットワークルータ、スイッチ若しくはブリッジ、又はそのシステムによって取られるべきアクションを指定する命令のセット（順次又はその他）を実行することが可能な任意のシステムであり得る。

[0114]機械可読媒体又は機械可読記憶媒体は、例として、単一の媒体であるように示されているが、用語「機械可読媒体」及び「機械可読記憶媒体」は、１つ以上の命令のセットを記憶する単一の媒体又は複数の媒体（例えば、集中型若しくは分散型データベース、並びに／又は関連するキャッシュ及びサーバ）を含むものと解釈されたい。用語「機械可読媒体」及び「機械可読記憶媒体」はまた、システムによる実行のための命令のセットを記憶、符号化、又は搬送することが可能であり、本明細書で開示された方法又はモジュールのうちの任意の１つ以上をシステムに実行させる、任意の媒体を含むものと解釈されたい。

[0115]一般に、本開示の実装形態を実装するために実行されるルーチンは、オペレーティングシステム、又は「コンピュータプログラム」と呼ばれる、特定のアプリケーション、構成要素、プログラム、オブジェクト、モジュール、若しくは命令のシーケンスの一部として実装され得る。コンピュータプログラムは、典型的には、コンピュータ中の様々なメモリ及び記憶デバイス中に、様々な時間に設定され、その上、コンピュータ中の１つ以上の処理ユニット又はプロセッサによって読み取られ、実行されると、コンピュータに、本開示の様々な態様を伴う要素を実行するための動作を実行させる、１つ以上の命令を備える。

[0116]その上、完全に機能するコンピュータ及びコンピュータシステムの文脈で例が説明されているが、当業者であれば、様々な例が多様な形態のプログラムオブジェクトとして分散されることが可能であり、その上、本開示が、実際に分散を行うために使用される特定のタイプの機械可読媒体又はコンピュータ可読媒体にかかわらず等しく適用されることを認識するであろう。

[0117]機械可読記憶媒体、機械可読媒体、又はコンピュータ可読（記憶）媒体の更なる例は、とりわけ、揮発性及び不揮発性メモリデバイス、フロッピー及び他のリムーバブルディスク、ハードディスクドライブ、光ディスク（例えば、コンパクトディスク読取専用メモリ（ＣＤ ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、等）などの記録可能なタイプの媒体、並びにデジタル及びアナログ通信リンクなどの送信タイプの媒体を含むが、それらに限定されない。

[0118]いくつかの状況では、バイナリ１からバイナリ０への状態における変化又はその逆などのメモリデバイスの動作は、例えば、物理的変換などの変換を備え得る。特定のタイプのメモリデバイスでは、そのような物理的変換は、異なる状態又は物への物品（an article）の物理的変換を備え得る。例えば、限定されないが、いくつかのタイプのメモリデバイスの場合、状態の変化は、電荷の蓄積及び貯蔵又は貯蔵された電荷の解放を伴い得る。同様に、他のメモリデバイスでは、状態の変化は、磁気の向きにおける物理的変化若しくは変換、又は結晶性から非結晶性への若しくはその逆などの分子構造における物理的変化若しくは変換を備え得る。前述は、メモリデバイス中でのバイナリ１からバイナリ０への状態の変化又はその逆が物理的変換などの変換を備え得る全ての例の網羅的なリストであることを意図されない。むしろ、前述は、例示的な例として意図される。

[0119]記憶媒体は、典型的には、非一時的であり得るか、又は非一時的デバイスを備え得る。この文脈では、非一時的記憶媒体は、有形であるデバイスを含み得、これは、デバイスがその物理的状態を変化させ得るが、デバイスが具体的な物理的形態を有することを意味する。このことから、例えば、非一時的とは、この状態の変化にもかかわらず有形のままであるデバイスを指す。

[0120]上記の説明及び図面は、例示的であり、主題を開示された厳密な形態に限定するものとして解釈されるべきではない。当業者であれば、上記の開示を踏まえて多くの修正形態及び変形形態が可能であることを認識することができる。本開示の完全な理解を提供するために、多数の具体的な詳細が説明される。しかしながら、ある特定の事例では、説明を曖昧にすることを回避するために、周知又は従来の詳細は説明されない。

[0121]本明細書で使用される場合、システムのモジュールに適用されるときの用語「接続された」、「結合された」、又はそれらの任意の変形形態は、２つ以上の要素間の直接的又は間接的のうちのいずれかの任意の接続又は結合を意味し、要素間の接続の結合は、物理的、論理的、又はそれらの任意の組み合わせであり得る。追加として、単語「本明細書」、「上記」、「以下」、及び同様の意味の単語は、本出願において使用されるとき、本出願全体を指すものとし、本出願の任意の特定の部分を指すものではない。文脈が許す場合、単数又は複数を使用する上記の発明を実施するための形態における単語はまた、複数又は単数をそれぞれ含み得る。２つ以上の項目のリストに関する単語「又は／若しくは（or）」は、単語の以下の解釈の全てをカバーする：リスト中の項目のうちのいずれか、リスト中の項目の全て、又はリスト中の項目の任意の組み合わせ。

[0122]当業者は、開示された主題が、以下に示されていない他の形態及び様式で具現化され得ることを認識するであろう。もしあれば、第１、第２、頂部、及び底部などの関係語の使用は、あるエンティティ又はアクションを別のエンティティ又はアクションから区別するためだけに、必ずしもそのようなエンティティ又はアクション間のいかなるそのような実際の関係又は順序も必要とする又は暗示することなく、使用されることを理解されたい。

[0123]プロセス又はブロックが所与の順序で提示されているが、代替の実装形態は、異なる順序で、ステップを有するルーチンを実行し得るか、又はブロックを有するシステムを用い得、いくつかのプロセス又はブロックは、代替の又はサブ組み合わせを提供するために、削除、移動、追加、再分割、置換、組み合わせ、及び／又は修正され得る。これらのプロセス又はブロックの各々は、多様な異なる方法で実装され得る。また、プロセス又はブロックは、時には順次実行されるものとして示されているが、これらのプロセス又はブロックは、代わりに、並行して実行され得るか、又は異なる時間に実行され得る。更に、本明細書に記載される任意の特定の数は、例に過ぎず、代替の実装形態は、異なる値又は範囲を用い得る。

[0124]本明細書で提供される本開示の教示は、必ずしも上記で説明されたシステムではなく、他のシステムに適用されることができる。上記で説明された様々な例の要素及び動作は、更なる例が提供するために組み合わせられることができる。

[0125]添付の出願書類に列挙され得るいずれをも含む、上記に記載されたどの特許及び出願並びに他の参考文献も、参照によって本明細書に援用される。本開示の態様は、必要であれば、本開示のまた更なる例を提供するために、上記で説明された様々な参考文献のシステム、機能、及び概念を用いるように修正されることができる。

[0126]これら及び他の変更は、上記の発明を実施するための形態を踏まえて、本開示に対して行われることができる。上記の説明は、ある特定の例を説明し、企図される最良のモードを説明しているが、上記が文書においていかに詳細に見えても、本教示は、多くの方法で実施されることができる。システムの詳細は、本明細書で開示された主題によって依然として包含されながら、その実装形態の詳細において大幅に変化し得る。上記に記載されたように、本開示のある特定の特徴又は態様を説明するときに使用される特定の専門用語は、その専門用語が関連する本開示の任意の特定の特性、特徴、又は態様に制限されるように、その専門用語が本明細書で再定義されていることを暗示するものと解釈されるべきではない。一般に、以下の特許請求の範囲で使用される用語は、上記の発明を実施するための形態のセクションがそのような用語を明示的に定義しない限り、本開示を本明細書で開示された特定の実装形態に限定するものと解釈されるべきではない。それ故に、本開示の実際の範囲は、開示された実装形態だけでなく、特許請求の範囲の下で本開示を実施又は実装する全ての同等な方法も包含する。

[0127]本開示のある特定の態様は、ある特定の請求項の形式で以下に提示されるが、本発明者らは、任意の数の請求項の形式で本開示の様々な態様を企図する。３５Ｕ．Ｓ．Ｃ．§１１２（ｆ）下で扱われることを意図されるどの請求項も、単語「のための手段」で始まるであろう。それ故に、本出願人は、本開示の他の態様についてのそのような追加の請求項の形式を追求するために、出願後に追加の請求項を追加する権利を保有する。

[0128]本明細書で使用される用語は、一般に、本開示の文脈内で、及び各用語が使用される特定の文脈中で、当該技術分野におけるそれらの通常の意味を有する。本開示を説明するために使用されるある特定の用語は、本開示の説明に関して実施者に追加のガイダンスを提供するために、上記で又は本明細書の他の箇所で議論されている。便宜上、ある特定の用語は、例えば、大文字、イタリック体、及び／又は引用符を使用して強調表示され得る。強調表示の使用は、用語の範囲及び意味に影響を及ぼさず、用語の範囲及び意味は、強調表示されているか否かにかかわらず、同じ文脈において同じである。同じ要素が１つよりも多くの方法で説明されることができることを認識されたい。

[0129]その結果として、代替の文言及び同義語が、本明細書で議論される用語のうちの任意の１つ以上に使用され得、用語が本明細書で詳述又は議論されるか否かに関して、いかなる特別な重要性も置かれない。ある特定の用語に対する同義語が提供される。１つ以上の同義語の記載は、他の同義語の使用を除外しない。本明細書で議論されるどの用語の例も含む、本明細書のどの箇所での例の使用も、例示に過ぎず、本開示の又はどの例証された用語の範囲及び意味も更に限定することを意図されない。同様に、本開示は、本明細書で与えられる様々な例に限定されない。

[0130]本開示の範囲を更に限定することを意図することなく、本開示の例による器具、装置、方法、及びそれらの関連する結果の例が以下に与えられる。題又は副題が、読者の便宜のために例において使用され得、それは、決して本開示の範囲を限定すべきではないことに留意されたい。別段に定義されない限り、本明細書で使用される全ての技術的及び科学的用語は、本発明が関連する技術分野の当業者によって一般に理解されるのと同じ意味を有する。矛盾する場合、定義を含めて、本明細書が優先されるであろう。

[0131]本説明のいくつかの部分は、情報に対する動作のアルゴリズム及び記号表現に関して例を説明する。これらのアルゴリズム記述及び表現は、データ処理技術分野の当業者によって、彼らの研究の内容を他の当業者に効果的に伝達するために一般に使用される。これらの動作は、機能的、計算的、又は論理的に説明されているが、コンピュータプログラム又は同等の電気回路、マイクロコードなどによって実施されると理解されたい。更に、一般性を失うことなく、これらの動作の構成をモジュールと呼ぶことが時には好都合であることも分かっている。説明された動作及びそれらの関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、又はそれらの任意の組み合わせで具現化され得る。

[0132]本明細書で説明されるステップ、動作、又はプロセスのうちのどれも、単独で、又は他のデバイスと組み合わせて、１つ以上のハードウェア又はソフトウェアモジュールを用いて実行又は実装され得る。いくつかの例では、ソフトウェアモジュールは、コンピュータプログラムコードを包含するコンピュータ可読媒体を備えるコンピュータプログラムオブジェクトを用いて実装され、コンピュータプログラムコードは、説明されたステップ、動作、又はプロセスのうちのいずれか又は全てを実行するためにコンピュータプロセッサによって実行されることができる。

[0133]例はまた、本明細書の動作を実行するための装置に関し得る。この装置は、必要とされる目的のために特別に構築され得、及び／又は、それは、コンピュータ中に記憶されたコンピュータプログラムによって選択的に起動又は再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、コンピュータシステムバスに結合され得る、非一時的有形コンピュータ可読記憶媒体、又は電子命令を記憶するのに適した任意のタイプの媒体中に記憶され得る。更に、本明細書で言及されるどのコンピューティングシステムも、単一のプロセッサを含み得るか、又はコンピューティング能力を増大させるために複数のプロセッサ設計を用いるアーキテクチャであり得る。

[0134]例はまた、本明細書で説明されるコンピューティングプロセスによって生成されるオブジェクトに関し得る。そのようなオブジェクトは、コンピューティングプロセスから生じる情報を備え得、ここで、情報は、非一時的有形コンピュータ可読記憶媒体上に記憶され、本明細書で説明されるコンピュータプログラムオブジェクト又は他のデータ組み合わせの任意の実装形態を含み得る。

[0135]本明細書で使用される文言は、主に読みやすさ及び教示目的のために選択されており、主題を線引き又は制限するために選択されていない場合がある。従って、本開示の範囲は、この発明を実施するための形態によってではなく、むしろ本明細書に基づく出願に関して発行される任意の請求項によって限定されることを意図される。それ故に、例の開示は、以下の特許請求の範囲に記載された主題の範囲を例示するが、それを限定しないことを意図される。

[0136]コンテキスト接続システムのためのシステム及び構成要素の様々な実装形態の完全な理解を提供するために、特定の詳細が先行する説明において与えられた。しかしながら、上記で説明された実装形態がこれらの特定の詳細なしに実施され得ることは、当業者によって理解されるであろう。例えば、回路、システム、ネットワーク、プロセス、及び他の構成要素は、不必要な詳細で実施形態を曖昧にしないために、ブロック図形式の構成要素として示され得る。他の事例では、周知の回路、プロセス、アルゴリズム、構造、及び技法は、実施形態を曖昧にすることを回避するために不必要な詳細なしに示され得る。

[0137]個々の実装形態が、フローチャート、フロー図、データフロー図、構造図、又はブロック図として図示されるプロセスとして説明され得ることにも留意されたい。フローチャートは、動作を順次プロセスとして説明し得るが、動作の多くは、並行して又は同時に実行されることができる。加えて、動作の順序は並べ替えられ得る。プロセスは、その動作が完了したときに終了されるが、図に含まれない追加のステップを有する可能性がある。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラム、等に対応し得る。プロセスが関数に対応するとき、その終了は、その関数が呼び出し関数又はメイン関数に戻ることに対応する可能性がある。

[0138]クライアントデバイス、ネットワークデバイス、及び他のデバイスは、とりわけ、１つ以上の集積回路、入力デバイス、出力デバイス、データ記憶デバイス、及び／又はネットワークインタフェースを含むコンピューティングシステムであり得る。集積回路は、例えば、とりわけ、１つ以上のプロセッサ、揮発性メモリ、及び／又は不揮発性メモリを含むことができる。入力デバイスは、例えば、キーボード、マウス、キーパッド、タッチインタフェース、マイクロフォン、カメラ、及び／又は他のタイプの入力デバイスを含むことができる。出力デバイスは、例えば、ディスプレイスクリーン、スピーカ、触覚フィードバックシステム、プリンタ、及び／又は他のタイプの出力デバイスを含むことができる。ハードドライブ又はフラッシュメモリなどのデータ記憶デバイスは、コンピューティングデバイスがデータを一時的又は永続的に記憶することを可能にすることができる。ワイヤレス又はワイヤードインタフェースなどのネットワークインタフェースは、コンピューティングデバイスがネットワークと通信することを可能にすることができる。コンピューティングデバイスの例は、デスクトップコンピュータ、ラップトップコンピュータ、サーバコンピュータ、ハンドヘルドコンピュータ、タブレット、スマートフォン、携帯情報端末、デジタルホームアシスタント、並びにコンピューティングデバイスが組み込まれた機械及び装置を含む。

[0139]用語「コンピュータ可読媒体」は、ポータブル又は非ポータブル記憶デバイスと、光記憶デバイスと、命令（複数可）及び／又はデータを記憶、包含、又は搬送することが可能な様々な他の媒体とを含むが、それらに限定されない。コンピュータ可読媒体は、データが記憶されることができ、且つワイヤレスに又はワイヤード接続を通して伝播する搬送波及び／又は一時的電子信号を含まない、非一時的媒体を含み得る。非一時的媒体の例は、磁気ディスク又はテープ、コンパクトディスク（ＣＤ）又はデジタル多用途ディスク（ＤＶＤ）などの光記憶媒体、フラッシュメモリ、メモリ又はメモリデバイスを含み得るが、それらに限定されない。コンピュータ可読媒体は、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、又は命令、データ構造、若しくはプログラムステートメントの任意の組み合わせを表し得るコード及び／又は機械実行可能命令を記憶している場合がある。コードセグメントは、情報、データ、引数、パラメータ、又はメモリ内容を渡すこと及び／又は受け取ることによって、別のコードセグメント又はハードウェア回路に結合され得る。情報、引数、パラメータ、データ、等は、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信などを含む任意の適切な手段を介して渡され得るか、フォワーディングされ得るか、又は送信され得る。

[0140]上記で議論された様々な例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組み合わせによって更に実装され得る。ソフトウェア、ファームウェア、ミドルウェア、又はマイクロコードで実装されるとき、必要なタスクを実行するためのプログラムコード又はコードセグメント（例えば、コンピュータプログラム製品）は、コンピュータ可読又は機械可読記憶媒体（例えば、プログラムコード又はコードセグメントを記憶するための媒体）中に記憶され得る。集積回路で実装されるプロセッサ（複数可）は、必要なタスクを実行し得る。

[0141]構成要素がある特定の動作を実行するように「構成される」と説明されている場合、そのような構成は、例えば、動作を実行するように電子回路又は他のハードウェアを設計することによって、動作を実行するようにプログラマブル電子回路（例えば、マイクロプロセッサ、又は他の適切な電子回路）をプログラムすることによって、又はそれらの任意の組み合わせによって達成されることができる。

[0142]本明細書で開示された実装形態に関連して説明された様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、又はそれらの組み合わせとして実装され得る。ハードウェア及びソフトウェアのこの交換可能性を明確に例示するために、様々な例示的な構成要素、ブロック、モジュール、回路、及びステップが、一般にそれらの機能の観点から上記で説明されている。そのような機能がハードウェアとして実装されるか、又はソフトウェアとして実装されるかは、特定の用途及びシステム全体に課される設計制約に依存する。当業者は、説明された機能を特定の用途毎に様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を引き起こすものとして解釈されるべきではない。

[0143]本明細書で説明される技法はまた、電子ハードウェア、コンピュータソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、又はワイヤレス通信デバイスハンドセット及び他のデバイスにおける適用を含む複数の用途を有する集積回路デバイスなど、多様なデバイスのうちの任意のもので実装され得る。モジュール又は構成要素として説明される任意の特徴は、集積論理デバイスで共に実装され得るか、又は個別であるが相互運用可能な論理デバイスとして別個に実装され得る。ソフトウェアで実装される場合、本技法は、実行されると、上記で説明された方法のうちの１つ以上を実行する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含み得るコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期動的ランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気又は光データ記憶媒体など、メモリ又はデータ記憶媒体を備え得る。本技法は、追加として又は代替として、伝播される信号又は波など、命令又はデータ構造の形式でプログラムコードを搬送又は通信し、コンピュータによってアクセスされ、読み取られ、及び／又は実行されることができるコンピュータ可読通信媒体によって少なくとも部分的に実現され得る。

[0144]プログラムコードは、プロセッサによって実行され得、プロセッサは、１つ以上のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、又は他の同等の集積若しくは個別論理回路などの１つ以上のプロセッサを含み得る。そのようなプロセッサは、本開示で説明された技法のうちの任意のものを実行するように構成され得る。汎用プロセッサは、マイクロプロセッサであり得るが、代替形態では、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであり得る。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つ以上のマイクロプロセッサ、又は任意の他のそのような構成として実装され得る。それ故に、用語「プロセッサ」は、本明細書で使用される場合、前述の構造のうちの任意のもの、前述の構造の任意の組み合わせ、又は本明細書で説明される技法の実装に適した任意の他の構造若しくは装置を指し得る。加えて、いくつかの態様では、本明細書で説明された機能は、一時停止されたデータベース更新システムを実装するために構成された専用ソフトウェアモジュール又はハードウェアモジュール内で提供され得る。

[0145]本技術の前述の発明を実施するための形態は、例示及び説明を目的として提示されてきた。それは、網羅的であること、又は開示されたまさにその形態に本技術を限定することを意図されない。上記の教示を踏まえて、多くの修正形態及び変形形態が可能である。説明された実施形態は、本技術の原理、その実際の適用を最も良く説明するために、及び当業者が、様々な実施形態において、及び企図される特定の用途に適した様々な修正形態を伴って本技術を利用することを可能にするために選ばれた。本技術の範囲は、特許請求の範囲によって定義されることを意図される。

Claims (21)

1. コンピュータ実施方法であって、
   エージェントとユーザとの間の会話に対応する進行中の会話データを受信することと、ここにおいて、前記進行中の会話データは、前記エージェントと前記ユーザとの間で交換されたメッセージに関連付けられたアノテーションを含み、前記アノテーションは、インテントを指定し、
   リアルタイムでメトリックのセットを動的に算出することと、ここにおいて、前記メトリックのセットは、前記進行中の会話データが受信されると、リアルタイムで算出され、前記メトリックのセットは、前記アノテーションに基づいて算出され、前記メトリックのセットは、インテントのペアリング間の混同量に対応し、
   リアルタイムでグラフ表示を動的に生成することと、ここにおいて、前記グラフ表示は、エッジのセットを使用してノードのペア間の混同量を図示し、ノードは、インテントに対応し、エッジは、ノードのペアを使用して表されるインテントのペアリング間の混同量に対応し、前記グラフ表示は、前記進行中の会話データが受信されると、リアルタイムで動的に更新され、
   を備える、コンピュータ実施方法。
2. 前記ノードは、前記アノテーションが前記インテントを指定する頻度に従ってサイズ決定される、請求項１に記載のコンピュータ実施方法。
3. 前記エッジは、インテントの前記ペアリングについての前記混同量に従ってサイズ決定される、請求項１に記載のコンピュータ実施方法。
4. 前記エッジのセットは、対応するメトリックが最小混同量閾値を上回ることの結果として生成される、請求項１に記載のコンピュータ実施方法。
5. 前記グラフ表示への更新を受信することと、ここにおいて、前記更新は、２つ以上のインテントを単一のインテントに統合することを示し、
   前記メトリックのセットを再算出するために、前記単一のインテントとインテントのセットのうちの他のインテントとの間の新しい混同量を決定することと、
   前記２つ以上のインテントに対応するノードを単一のノードに統合することと、ここにおいて、前記単一のノードは、前記単一のインテントに対応し、
   前記単一のインテントと他のインテントとの間の前記新しい混同量を示すために、前記単一のノードと残りのノードとの間に新しいエッジを生成することと
   を更に備える、請求項１に記載のコンピュータ実施方法。
6. 前記メトリックは、第１のインテントが第２のインテントよりも選択される条件付き確率と、前記第２のインテントが前記第１のインテントよりも選択される条件付き確率との平均に対応する、請求項１に記載のコンピュータ実施方法。
7. 前記グラフ表示内のノードの選択を検出することと、ここにおいて、前記ノードは、特定のインテントに関連付けられ、
   前記特定のインテントに対応する追加のメトリックをリアルタイムで提供するために前記グラフ表示を動的に更新することと、ここにおいて、前記追加のメトリックは、前記特定のインテントがメッセージの数のアノテーションに使用された前記メッセージの数を含み、
   を更に備える、請求項１に記載のコンピュータ実施方法。
8. システムであって、
   １つ以上のプロセッサと、
   命令を記憶するメモリと
   を備え、前記命令は、前記１つ以上のプロセッサによって実行されることの結果として、前記システムに、
   エージェントとユーザとの間の会話に対応する進行中の会話データを受信することと、ここにおいて、前記進行中の会話データは、前記エージェントと前記ユーザとの間で交換されたメッセージに関連付けられたアノテーションを含み、前記アノテーションは、インテントを指定し、
   リアルタイムでメトリックのセットを動的に算出することと、ここにおいて、前記メトリックのセットは、前記進行中の会話データが受信されると、リアルタイムで算出され、前記メトリックのセットは、前記アノテーションに基づいて算出され、前記メトリックのセットは、インテントのペアリング間の混同量に対応し、
   リアルタイムでグラフ表示を動的に生成することと、ここにおいて、前記グラフ表示は、エッジのセットを使用してノードのペア間の混同量を図示し、ノードは、インテントに対応し、エッジは、ノードのペアを使用して表されるインテントのペアリング間の混同量に対応し、前記グラフ表示は、前記進行中の会話データが受信されると、リアルタイムで動的に更新され、
   を行わせる、システム。
9. 前記ノードは、前記アノテーションが前記インテントを指定する頻度に従ってサイズ決定される、請求項８に記載のシステム。
10. 前記エッジは、インテントの前記ペアリングについての前記混同量に従ってサイズ決定される、請求項８に記載のシステム。
11. 前記エッジのセットは、対応するメトリックが最小混同量閾値を上回ることの結果として生成される、請求項８に記載のシステム。
12. 前記命令は、前記システムに、
    前記グラフ表示への更新を受信することと、ここにおいて、前記更新は、２つ以上のインテントを単一のインテントに統合することを示し、
    前記メトリックのセットを再算出するために、前記単一のインテントとインテントのセットのうちの他のインテントとの間の新しい混同量を決定することと、
    前記２つ以上のインテントに対応するノードを単一のノードに統合することと、ここにおいて、前記単一のノードは、前記単一のインテントに対応し、
    前記単一のインテントと他のインテントとの間の前記新しい混同量を示すために、前記単一のノードと残りのノードとの間に新しいエッジを生成することと
    を更に行わせる、請求項８に記載のシステム。
13. 前記メトリックは、第１のインテントが第２のインテントよりも選択される条件付き確率と、前記第２のインテントが前記第１のインテントよりも選択される条件付き確率との平均に対応する、請求項８に記載のシステム。
14. 前記命令は、前記システムに、
    前記グラフ表示内のノードの選択を検出することと、ここにおいて、前記ノードは、特定のインテントに関連付けられ、
    前記特定のインテントに対応する追加のメトリックをリアルタイムで提供するために前記グラフ表示を動的に更新することと、ここにおいて、前記追加のメトリックは、前記特定のインテントがメッセージの数のアノテーションに使用された前記メッセージの数を含み、
    を更に行わせる、請求項８に記載のシステム。
15. 実行可能命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記実行可能命令は、コンピュータシステムの１つ以上のプロセッサによって実行されることの結果として、前記コンピュータシステムに、
    エージェントとユーザとの間の会話に対応する進行中の会話データを受信することと、ここにおいて、前記進行中の会話データは、前記エージェントと前記ユーザとの間で交換されたメッセージに関連付けられたアノテーションを含み、前記アノテーションは、インテントを指定し、
    リアルタイムでメトリックのセットを動的に算出することと、ここにおいて、前記メトリックのセットは、前記進行中の会話データが受信されると、リアルタイムで算出され、前記メトリックのセットは、前記アノテーションに基づいて算出され、前記メトリックのセットは、インテントのペアリング間の混同量に対応し、
    リアルタイムでグラフ表示を動的に生成することと、ここにおいて、前記グラフ表示は、エッジのセットを使用してノードのペア間の混同量を図示し、ノードは、インテントに対応し、エッジは、ノードのペアを使用して表されるインテントのペアリング間の混同量に対応し、前記グラフ表示は、前記進行中の会話データが受信されると、リアルタイムで動的に更新され、
    を行わせる、非一時的コンピュータ可読記憶媒体。
16. 前記ノードは、前記アノテーションが前記インテントを指定する頻度に従ってサイズ決定される、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
17. 前記エッジは、インテントの前記ペアリングについての前記混同量に従ってサイズ決定される、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
18. 前記エッジのセットは、対応するメトリックが最小混同量閾値を上回ることの結果として生成される、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
19. 前記実行可能命令は、前記コンピュータシステムに、
    前記グラフ表示への更新を受信することと、ここにおいて、前記更新は、２つ以上のインテントを単一のインテントに統合することを示し、
    前記メトリックのセットを再算出するために、前記単一のインテントとインテントのセットのうちの他のインテントとの間の新しい混同量を決定することと、
    前記２つ以上のインテントに対応するノードを単一のノードに統合することと、ここにおいて、前記単一のノードは、前記単一のインテントに対応し、
    前記単一のインテントと他のインテントとの間の前記新しい混同量を示すために、前記単一のノードと残りのノードとの間に新しいエッジを生成することと
    を更に行わせる、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
20. 前記メトリックは、第１のインテントが第２のインテントよりも選択される条件付き確率と、前記第２のインテントが前記第１のインテントよりも選択される条件付き確率との平均に対応する、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
21. 前記実行可能命令は、前記コンピュータシステムに、
    前記グラフ表示内のノードの選択を検出することと、ここにおいて、前記ノードは、特定のインテントに関連付けられ、
    前記特定のインテントに対応する追加のメトリックをリアルタイムで提供するために前記グラフ表示を動的に更新することと、ここにおいて、前記追加のメトリックは、前記特定のインテントがメッセージの数のアノテーションに使用された前記メッセージの数を含み、
    を更に行わせる、請求項１５に記載の非一時的コンピュータ可読記憶媒体。