JP2024501052A - 双方向通信におけるボット選択較正のためのシステムおよび方法 - Google Patents

Abstract

本開示は、一般に、双方向通信を促進することに関する。一例は、複数のボットに関連付けられた双方向通信セッションの一部として入力データを受信することと、ボットからの信頼性スコアにアクセスすることとを伴う。次いで、ボットスコアマッパを使用して信頼性スコアから複数のボットについてのマッピングされたスコアが生成される。マッピングされたスコアを使用して、選択されたボットが識別され、双方向通信セッションは、選択されたボットを使用して促進される。さらに、フィードバックと機械学習システムとを使用して、選択されたボットの性能と、ボットスコアマッパにおける動的に更新されたマッピング調整とを追跡するための技法が、提供される。

Description

関連出願の相互参照
[0001]本特許出願は、その開示が参照により本明細書に組み込まれる、２０２０年１２月２９日に出願された米国仮特許出願第６３／１３１，４３４号の優先権の利益を主張する。

[0002]本開示は、一般に、双方向通信を促進することに関する。より詳細には、双方向通信におけるコンテンツを改善するためにボットまたは同様の自動サポートシステムを動的に識別し、ネットワークデバイスと端末デバイスとの間のメッセージングをボットに転送し、自動化中にボットの性能を追跡するための技法が提供される。

[0003]クライアントは、しばしば、製品またはサービスに関する支援を求めるユーザからの通信に対応する（field）ためにテレフォニーシステムおよび／またはネットワークベースチャットシステムを使用する。そのようなユーザ対話をサポートする通信システムは、ユーザがクライアントのライブ担当（live representative）と話すまたはチャットすることを可能にし得る。そのような通信システムは、追加または代替として、ユーザとの双方向対話のために自動ボットシステムを使用し得る。

[0004]実施形態という用語および同様の用語は、本開示の主題と以下の特許請求の範囲とのすべてを広く指すことが意図される。これらの用語を含んでいる記述は、本明細書で説明される主題を限定せず、あるいは以下の特許請求の範囲の意味または範囲を限定しないと理解されたい。本明細書で包含される本開示の実施形態は、本発明の概要ではなく、以下の特許請求の範囲によって定義される。本発明の概要は、本開示の様々な態様の高レベルの概観であり、以下の発明を実施するための形態のセクションにおいてさらに説明される概念のうちのいくつかを紹介する。本発明の概要は、請求される主題の主要なまたは本質的な特徴を識別することが意図されず、請求される主題の範囲を決定するために独立して使用されることも意図されない。主題は、本開示の明細書全体、いずれかまたはすべての図面、および各請求項の適切な部分を参照することによって理解されたい。

[0005]本明細書で説明される例は、「ボット」と呼ばれることがある、支援算出ベースシステムにより、ユーザに情報を提供するように構成された通信システムに関する。そのようなシステムは、多種多様なユーザ照会について、支援を行い、双方向通信を促進するように構成され得る。ユーザ照会の性質が、広い考えられる範囲をカバーするとすれば、システム通信に関連付けられたユーザ意図をカテゴリー分類し、応答のための適切なシステムを識別することは、ユーザに肯定的な経験を提供する際の主要な問題である。

[0006]通信システムは、多種多様なユーザ照会に関して支援するために多くの異なるボットに関連付けられ得る。個々のボットは、しばしば、特定のユーザ意図またはタスクに関連付けられるので、肯定的なユーザ経験の一態様は、ユーザ照会に応答して有用なまたは有効なボットを識別することである。このコンテキストにおいてボットが動作する１つの方法は、ボットが、入力データ（たとえば、ユーザクエリからのテキスト）を受け付けることと、信頼性スコアで応答することとである。多くのボット（たとえば、数十、数百、数千、またはそれ以上のボット）をもつシステムでは、ボットによって返される信頼性スコアは、関係付けられず、または標準化されない。さらに、ボットを修正または更新することを試みるフィードバックシステムは、ボットの動作に対して、意図しない影響を及ぼすことがある。

[0007]本明細書で説明される例は、ユーザ入力データに応答してボットについての較正スコアを調整するためにローカルに関連のあるフィードバックを使用することができる較正システムを使用する。調整は、ローカルに関連のあるデータについての較正スコアを訂正することと、ボットが提供した較正スコアから調整されたマッピングされたスコアを使用してボットを動的に選択することとを行うためのマッピングとして機能することができる。マッピングまたは較正システムは、ボット自体を修正することに関連付けられた複雑さを回避しながら、ボット選択プロセスの精度に対する改善を提供することができる。マッピングプロセスは、代わりに、ボット選択を効率的に改善するために、較正スコアに対するオーバーレイまたは独立した修正として働く。ボット動作からの独立は、さらに、マッピングシステムに対するフィードバックの影響を適切に判断する（weigh）ための、ボット修正の認識と、ボットトレーニングとボット使用の両方へのリアルタイムフィードバックの組込みとを可能にすることができ、ボット選択にフィードバックを組み込むためのコンピューティングリソースの効率的な使用を可能にすることができる。本明細書で説明されるように、および本明細書全体にわたって、追加の例および変形形態も可能である。

[0008]本開示のいくつかの実施形態は、システムを含む。本システムは、１つまたは複数のデータプロセッサと、命令を含んでいる非一時的コンピュータ可読記憶媒体とを含み得、命令は、１つまたは複数のデータプロセッサ上で実行されたとき、１つまたは複数のデータプロセッサに、上記で説明されたおよび本明細書で説明される方法を実施させる。

[0009]本開示のいくつかの実施形態は、データ処理装置に、上記で説明されたおよび本明細書で説明される方法を実施させるように構成された命令を含む、非一時的機械可読記憶媒体中に有形に具現されたコンピュータプログラム製品を含む。

[0010]本開示は、添付の図に関して説明される。

[0011]本明細書で説明される例に従って使用され得る、ネットワーク対話システムの一実施形態のブロック図。 [0012]本明細書で説明される例に従って使用され得る、ネットワーク対話システムの別の実施形態のブロック図。 [0013]本明細書で説明される例に従って使用され得る、接続管理システムを含むネットワーク対話システムの他の実施形態のブロック図。 本明細書で説明される例に従って使用され得る、接続管理システムを含むネットワーク対話システムの他の実施形態のブロック図。 本明細書で説明される例に従って使用され得る、接続管理システムを含むネットワーク対話システムの他の実施形態のブロック図。 [0014]本明細書で説明される例に従って使用され得る、接続構成要素の動作のプロトコルスタックマッピングの表現を示す図。 [0015]本明細書で説明される例に従って使用され得る、マルチデバイス通信交換システムを表す図。 [0016]本明細書で説明される例に従って使用され得る、接続管理システムの一実施形態のブロック図。 [0017]本明細書で説明される例による、通信セッション中にボットと端末デバイスとを動的に切り替えるためのネットワーク環境のブロック図。 [0018]本明細書で説明される例に従って使用され得る、通信を表すブロック図。 [0019]本明細書で説明される例による、機械学習技法を使用するフィードバックのためのネットワーク環境を表すブロック図。 [0020]本明細書で説明される例による、双方向通信セッションと、関連付けられた入力データとの態様を示す図。 [0021]本明細書で説明される例による、選択されたボットを使用して促進される双方向通信の態様を示す図。 [0022]本明細書で説明される例による、自然言語理解（ＮＬＵ）と、ボットと、フィードバックシステムとを用いて促進される双方向通信を示す図。 [0023]本明細書で説明されるいくつかの例による、ボット選択較正の態様を示すフローチャート。 [0024]本明細書で説明される例による、ボット選択較正のための方法のフローチャート。 [0025]本明細書で説明される例による、ボット選択較正を伴う双方向通信システムにおいてデバイスを実装するために使用され得るコンピューティングデバイスの一例を示す図。

[0026]添付の図では、同様の構成要素および／または特徴は、同じ参照ラベルを有することができる。さらに、同じタイプの様々な構成要素は、参照ラベルの後に、ダッシュと、同様の構成要素同士を区別する第２のラベルとを続けることによって区別され得る。本明細書において第１の参照ラベルのみが使用される場合、説明は、第２の参照ラベルにかかわらず、同じ第１の参照ラベルを有する同様の構成要素のどの１つにも適用可能である。

[0027]以下の説明は、（１つまたは複数の）実施形態の好ましい例を提供するにすぎず、本開示の範囲、適用可能性または構成を限定するものではない。そうではなく、（１つまたは複数の）実施形態の好ましい例の以下の説明は、実施形態の好ましい例を実装することを可能にする説明を当業者に提供する。添付の特許請求の範囲に記載された趣旨および範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得ることを理解されたい。

[0028]上記で説明されたように、例は、「ボット」と呼ばれることがある、支援算出ベースシステムにより、ユーザに情報を提供するように構成された通信システムに関する。ユーザ（たとえば、ビジネスの個人または顧客）が、クライアント（たとえば、双方向通信システムを介して情報またはサービスを提供する業者（merchant）またはビジネス）に関係する情報のために、双方向通信システムを介して接触するかまたは接触されるとき、そのようなボットは、完全に自動化された様式で、またはエージェントが多種多様なユーザ照会に応答するのを支援することによって、のいずれかで、支援を行うように構成され得る。ユーザ照会の性質が、広い考えられる範囲をカバーするとすれば、システム通信に関連付けられたユーザ意図をカテゴリー分類し、応答のための適切なシステムを識別することは、ユーザに肯定的な経験を提供する際の主要な問題である。

[0029]通信システムは、多種多様なユーザ照会に関して支援するために多くの異なるボットに関連付けられ得る。個々のボットは、しばしば、カスタマイズされたタスクに関連付けられ、ボットがユーザ照会に関連があるかどうかを識別することによって肯定的なユーザ経験をもたらすために自然言語理解（ＮＬＵ）を使用することができる。このコンテキストにおいてボットが動作する１つの方法は、ボットが、入力データ（たとえば、ユーザクエリからのテキスト）を受け付け、そのデータをＮＬＵシステムを用いて処理し、信頼性スコアで応答することである。多くのボット（たとえば、数十、数百、数千、またはそれ以上のボット）をもつシステムでは、ボットによって返される信頼性スコアは、関係付けられず、または標準化されない。さらに、ボットは、業者について、特定の実装形態、または顧客の特定のセットに関連付けられたローカルデータとは異なる特性を有するデータに関して、トレーニングされ得る。したがって、一般的なトレーニングデータに基づいて決定されたボットの関連性は、関連付けられた異なる「正しい」信頼性スコアを伴う、特定のローカル実装形態とのボットの関連性とは異なり得る。

[0030]本明細書で説明される例は、ボットが生成した信頼性スコアを修正するためにマッピングまたは較正システムを使用する。ボットについての較正スコアを調整するために、ローカルに関連のあるフィードバックが使用され得る。調整は、ローカルに関連のあるデータについての較正スコアを訂正することと、ボットが提供した較正スコアから調整されたマッピングされたスコアを使用してボットを動的に選択することとを行うためのマッピングとして機能することができる。マッピングまたは較正システムは、ボット自体を修正することに関連付けられた複雑さを回避しながら、ボット選択プロセスの精度に対する改善を提供することができる。マッピングプロセスは、代わりに、ボット選択を効率的に改善するために、較正スコアに対するオーバーレイまたは独立した修正として働く。ボット動作からの独立は、さらに、マッピングシステムに対するフィードバックの影響を適切に判断するための、ボット修正の認識と、ボットトレーニングとボット使用の両方へのリアルタイムフィードバックの組込みとを可能にすることができ、ボット選択にフィードバックを組み込むためのコンピューティングリソースの効率的な使用を可能にすることができる。

[0031]いくつかの例は、さらに、ローカルに関連のある信頼性スコアを効率的に見つけるために各フィードバックループにおいて行われる調整の量を調整する適応フィードバック機構を使用してボットの自然信頼性スコアとは異なるローカルに関連のある信頼性スコアを求めるために、および経時的にスコアの変更を追跡するために、ローカルフィードバックを追跡することができる。たとえば、大きい較正調整を行うために、初期フィードバックが使用され得、較正調整のサイズは、追加のローカルフィードバックが受信されるにつれて、経時的に低減され得る。さらに、いくつかの例では、マッピングシステムは、ボットがいつ変更または改訂されたかを識別し、この識別に基づいてフィードバックシステムをリセットすることができる。たとえば、ボットが、同じ入力に応答して異なる信頼性スコアを一貫して返し始めた場合、較正システムは、フィードバックシステムをリセットすることができる。いくつかの例では、ボット改訂は、他のボット提供データ（たとえば、ボット改訂、入力コマンドの変更などに関する報告）から識別され得る。

[0032]図１は、本明細書で説明されるいくつかの実施形態および特徴を実装およびサポートするネットワーク対話システム１００の一実施形態のブロック図を示す。いくつかの実施形態は、（ユーザ１１０によって動作され得る）ネットワークデバイス１０５と、（エージェント１２０によって動作され得る）端末デバイス１１５との間の接続チャネルを確立することに関する。いくつかの実施形態では、ネットワーク対話システム１００は、クライアント１２５に関連付けられたクライアントデバイス１３０を含むことができる。

[0033]いくつかの実施形態では、ユーザ１１０は、リモートサーバ１４０によって提供されるウェブサイトをブラウズしているかまたはオンラインサービスにアクセスしている個人であり得る。クライアント１２５は、ウェブサイトまたはオンラインサービスを提供するか、動作させるか、または実行するエンティティであるか、あるいは本明細書で説明されるようにクライアント１２５にとって利用可能なタスクを実施するためにそのようなエンティティによって採用されたかまたは割り当てられた個人であり得る。エージェント１２０は、ウェブサイトまたはオンラインサービスに関するサポートまたは情報をユーザ１１０に提供するというタスクを与えられたサポートエージェントなどの個人であり得る。多数のエージェントのうち、エージェントのサブセットが、特定のクライアント１２５にサポートまたは情報を提供するために適切であり得る。エージェント１２０は、クライアント１２５と提携することも、提携しないこともある。各エージェントは、１つまたは複数のクライアント１２５に関連付けられ得る。いくつかの非限定的な例では、ユーザ１１０は、パーソナルコンピューティングデバイスからオンラインストアで買物をしている個人であり得、クライアント１２５は、製品をオンラインで販売する会社であり得、エージェント１２０は、会社によって採用された担当であり得る。様々な実施形態では、ユーザ１１０、クライアント１２５、およびエージェント１２０は、他の個人またはエンティティであり得る。

[0034]図１は単一のネットワークデバイス１０５、端末デバイス１１５、およびクライアントデバイス１３０のみを示すが、対話システム１００は、これらのタイプのデバイスのうちの１つまたは複数の各々のうちの複数または多数（たとえば、数十、数百または数千）を含むことができる。同様に、図１は、単一のユーザ１１０、エージェント１２０およびクライアント１２５のみを示すが、対話システム１００は、そのようなエンティティのうちの１つまたは複数の各々のうちの複数または多数を含むことができる。したがって、所与のネットワークデバイスと通信するために、どの端末デバイスが選択されるべきかを決定することが必要であり得る。さらに複雑なことには、リモートサーバ１４０も、ネットワークデバイス通信を選択するために受信および応答するように構成され得る。さらに、ボット較正またはボット選択を実装する任意のデバイスが、動的におよびリアルタイムで、の両方で、ならびに多くのボットシステムとの並列プロセスとして同時に、較正および関連付けられたボット選択を実施することができる。そのような同時ボット動作は、デバイスまたはシステムが同時に多くのボットを実行することを伴うことができ、単一のシステムによって実行されるボットについて、ボット選択システムに対するフィードバック、較正、および更新が、同時に（たとえば、並列に）行われる。あるボットが、たとえば、ある顧客と通信するために、別の顧客が、別個の通信からのボットに関連付けられたフィードバックを提供しているのと同時に、動作することができ、第３のボットが、それらの他の２つのボット、または任意の数の他のボットに関連付けられた動作が行われているのと同時に、更新されたボット較正メトリックを使用して始動され得る。

[0035]接続管理システム１５０は、通信の戦略的ルーティングを促進することができる。通信は、（たとえば、タイプされたまたは話された入力など、エンティティからの入力に基づいて定義された）コンテンツをもつメッセージを含むことができる。通信は、送信デバイスに関するデータ（たとえば、ＩＰアドレス、アカウント識別子、デバイスタイプおよび／またはオペレーティングシステム）、宛先アドレス、クライアントの識別子、ウェブページもしくはウェブページ要素（たとえば、通信が生成されたときに訪問されているまたは他の方法で通信に関連付けられた、ウェブページまたはウェブページ要素）の識別子またはオンライン履歴データ、時間（たとえば、時刻および／または日付）、および／あるいは宛先アドレスなど、追加のデータをも含むことができる。他の情報が通信中に含まれ得る。いくつかの事例では、接続管理システム１５０は、通信全体を別のデバイスにルーティングする。いくつかの事例では、接続管理システム１５０は、（たとえば、初期通信に基づいて）通信を修正するかまたは新しい通信を生成する。新しいまたは修正された通信は、メッセージ（またはそれの処理されたバージョン）、（たとえば、送信デバイス、ウェブページまたはオンライン履歴および／あるいは時間に関する）追加のデータの少なくとも一部（または全部）、および／または接続管理システム１５０によって識別された他のデータ（たとえば、特定のアカウント識別子またはデバイスに関連付けられたアカウントデータ）を含むことができる。新しいまたは修正された通信は、同様に他の情報を含むことができる。

[0036]戦略的ルーティング促進の一部は、ネットワークデバイス１０５と１つまたは複数の端末デバイス１１５との間の１つまたは複数の接続チャネルを確立、更新および使用することを含むことができる。たとえば、ネットワークデバイス１０５から通信を受信すると、接続管理システム１５０は、通信が（もしあれば）どのクライアントに対応するかを最初に推定することができる。クライアントを識別すると、接続管理システム１５０は、ネットワークデバイス１０５との通信のためにクライアントに関連付けられた端末デバイス１１５を識別することができる。いくつかの事例では、識別は、複数のエージェント（または専門家または代表）の各々のプロファイルを評価することを含むことができ、複数のエージェント中の各エージェント（たとえば、エージェント１２０）は、端末デバイス（たとえば、端末デバイス１１５）に関連付けられる。評価は、ネットワークデバイスメッセージ中のコンテンツに関係することができる。端末デバイス１１５の識別は、たとえば、すべての目的のために、その全体が参照により本明細書に組み込まれる、２０１０年３月１７日に出願された、米国出願第１２／７２５，７９９号で説明される技法を含むことができる。

[0037]いくつかの事例では、接続管理システム１５０は、何らかの接続チャネルが、ネットワークデバイス１０５と、クライアント（またはリモートサーバ１４０）に関連付けられた端末デバイスとの間に確立されるかどうかと、そうである場合、そのようなチャネルが、その通信を含む一連の通信を交換するために使用されるべきであるかどうかとを決定することができる。

[0038]ネットワークデバイス１０５と通信するための端末デバイス１１５を選択すると、接続管理システム１５０は、ネットワークデバイス１０５と端末デバイス１１５との間の接続チャネルを確立することができる。いくつかの事例では、接続管理システム１５０は、選択された端末デバイス１１５にメッセージを送信することができる。メッセージは、ネットワークデバイス１０５と通信するための提案される割当ての受付けを要求するか、またはそのような割当てが生成されたことを識別し得る。メッセージは、ネットワークデバイス１０５に関する情報（たとえば、ＩＰアドレス、デバイスタイプ、および／またはオペレーティングシステム）、関連付けられたユーザ１１０に関する情報（たとえば、話される言語、クライアントと対話した持続時間、スキルレベル、感情、および／またはトピック選好）、受信された通信、ネットワークデバイス１０５への通信を生成および送信するためのコード（たとえば、クリック可能なハイパーリンク）、ならびに／またはネットワークデバイス１０５への通信を生成および送信するための命令を含むことができる。

[0039]一事例では、ネットワークデバイス１０５と端末デバイス１１５との間の通信は、接続管理システム１５０を通してルーティングされ得る。そのような構成は、接続管理システム１５０が、通信交換を監視し、デバイスまたは拡張されたレイテンシのいずれかの非応答性などの（たとえば、ルールに基づいて定義された）問題を検出することを可能にすることができる。さらに、そのような構成は、たとえば、特定の通信後のターゲットを推進するために、通信交換の品質を査定し、および／あるいはルーティングルールを更新または生成するための学習をサポートするために、後で使用され得る、通信の選択的なまたは完全な記憶を促進することができる。

[0040]いくつかの実施形態では、接続管理システム１５０は、通信交換をリアルタイムで監視し、ライブ通信に基づいて、自動化されたアクション（たとえば、ルールベースのアクション）を実施することができる。たとえば、接続管理システム１５０が、通信が特定のアイテム（たとえば、製品）に関すると決定したとき、接続管理システム１５０は、アイテムに関する追加の情報（たとえば、入手可能なアイテムの量、アイテムに関係するドキュメントをサポートするためのリンク、あるいはアイテムまたは同様のアイテムに関する他の情報）を含んでいる追加のメッセージを端末デバイス１１５に自動的に送信することができる。

[0041]一事例では、指定された端末デバイス１１５は、接続管理システム１５０を通して通信を中継することなしにネットワークデバイス１０５と通信することができる。一方または両方のデバイス１０５、１１５は、通信監視および／またはデータ記憶を促進するために、特定の通信メトリックまたはコンテンツを接続管理システム１５０に報告することがある（または報告しないことがある）。

[0042]上述のように、接続管理システム１５０は、選択の通信をリモートサーバ１４０にルーティングし得る。リモートサーバ１４０は、所定の様式で情報を提供するように構成され得る。たとえば、リモートサーバ１４０は、通信に応答して送信するために、定義された１つまたは複数のテキストパッセージ、音声記録および／またはファイルにアクセスし得る。リモートサーバ１４０は、たとえば、受信された通信の分析（たとえば、セマンティックまたはマッピング分析）に基づいて、特定のテキストパッセージ、記録またはファイルを選択し得る。

[0043]接続管理システム１５０において実施されるルーティングおよび／あるいは他の決定または処理は、１つまたは複数のクライアントデバイス１３０によって少なくとも部分的に定義または提供されたルールおよび／またはデータに基づいて実施され得る。たとえば、クライアントデバイス１３０は、エージェントの優先度付け、端末デバイスタイプ、および／またはトピック／スキルマッチングを識別する通信を送信し得る。別の例として、クライアントデバイス１３０は、ルーティング決定に潜在的に影響を及ぼす様々な変数（たとえば、言語適合性、予測される応答時間、デバイスタイプおよび能力、ならびに／または端末デバイス負荷分散）に適用されるべき１つまたは複数の重みを識別し得る。どの端末デバイスおよび／またはエージェントがクライアントに関連付けられるべきであるかは、動的であり得ることを諒解されよう。クライアントデバイス１３０および／または端末デバイス１１５からの通信は、所与の端末デバイスおよび／またはエージェントが、クライアントに関連付けられたものとして追加または削除されるべきであることを示す情報を提供し得る。たとえば、クライアントデバイス１３０は、ＩＰアドレスと、クライアントに関連付けられた端末デバイスを識別するリストからそのアドレスをもつ端末デバイスが追加または削除されるべきかどうかに関する指示とを伴う通信を送信することができる。

[0044]（たとえば、デバイス間の、デバイスと接続管理システム１５０との間の、リモートサーバ１４０と接続管理システム１５０との間の、またはリモートサーバ１４０とデバイスとの間の）各通信は、１つまたは複数のネットワーク１７０上で行われ得る。オープンまたはクローズドネットワークの任意の組合せが、１つまたは複数のネットワーク１７０中に含まれ得る。好適なネットワークの例は、インターネット、パーソナルエリアネットワーク、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、またはワイヤレスローカルエリアネットワーク（ＷＬＡＮ）を含む。他のネットワークも好適であり得る。１つまたは複数のネットワーク１７０は、イントラネット、エクストラネット、またはそれらの組合せ内に完全に組み込まれ得るか、あるいはイントラネット、エクストラネット、またはそれらの組合せを含むことができる。いくつかの事例では、１つまたは複数のネットワーク１７０中のネットワークは、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＢｌｕｅｔｏｏｔｈ低エネルギーチャネルなど、短距離通信チャネルを含む。一実施形態では、２つまたはそれ以上のシステムおよび／またはデバイス間の通信は、セキュアソケットレイヤ（ＳＳＬ）またはトランスポートレイヤセキュリティ（ＴＬＳ）などのセキュア通信プロトコルによって達成され得る。さらに、データおよび／またはトランザクション詳細は、限定はしないが、データ暗号化規格（ＤＥＳ）、トリプルＤＥＳ、リベスト－シャミア－エーデルマン暗号化（ＲＳＡ）、ブローフィッシュ暗号化、高度暗号化規格（ＡＥＳ）、ＣＡＳＴ－１２８、ＣＡＳＴ－２５６、無相関化高速暗号（ＤＦＣ：Decorrelated Fast Cipher）、小型暗号化アルゴリズム（ＴＥＡ：Tiny Encryption Algorithm）、拡張ＴＥＡ（ＸＴＥＡ）、補正ブロックＴＥＡ（ＸＸＴＥＡ）、および／またはＲＣ５など、任意の好都合な、既知の、または開発されるべき様式に基づいて暗号化され得る。

[0045]ネットワークデバイス１０５、端末デバイス１１５および／またはクライアントデバイス１３０は、たとえば、ポータブル電子デバイス（たとえば、スマートフォン、タブレット、ラップトップコンピュータ、またはスマートウェアラブルデバイス）または非ポータブル電子デバイス（たとえば、１つまたは複数のデスクトップコンピュータ、スマートアプライアンス、サーバ、および／またはプロセッサ）を含むことができる。接続管理システム１５０は、ネットワーク、端末およびクライアントデバイスとは別個に格納され得るか、または（たとえば、デバイスへのアプリケーションのインストールを介して）１つまたは複数のそのようなデバイスの一部であり得る。リモートサーバ１４０は、各デバイスおよび接続管理システム１５０とは別個に格納され得、ならびに／あるいは別のデバイスまたはシステムの一部であり得る。図１中の各デバイス、サーバおよびシステムは単一のデバイスとして示されているが、複数のデバイスが代わりに使用され得ることを諒解されよう。たとえば、ネットワークデバイスのセットは、単一のユーザからの様々な通信を送信するために使用され得るか、またはリモートサーバ１４０は、サーバスタックを含み得る。

[0046]ソフトウェアエージェントまたはアプリケーションは、図示されたデバイス、システムまたはサーバ上にインストールされ、および／またはそれらの上で実行可能であり得る。一事例では、ソフトウェアエージェントまたはアプリケーションは、様々な図示された要素が相補的様式で働くことができるように構成される。たとえば、デバイス上のソフトウェアエージェントは、デバイス使用に関するデータを収集し、別個の接続管理システムに送信するように構成され得、別個の接続管理システム上のソフトウェアアプリケーションは、そのデータを受信および処理するように構成され得る。

[0047]図２は、ネットワーク対話システム２００の別の実施形態のブロック図を示す。概して、図２は、ネットワークデバイス２０５が１つまたは複数の端末デバイス２１５と通信することを可能にするように構成および配置された様々な構成要素を示す。図示された事例は、３つのローカルエリアネットワーク２３５中に含まれる９つの端末デバイス２１５を含む。

[0048]いくつかの事例では、ネットワークデバイス２０５からの通信は、どの端末デバイスが通信を受信するべきであるかを少なくとも部分的にまたは完全に示す宛先データ（たとえば、宛先ＩＰアドレス）を含む。ネットワーク対話システム２００は、宛先データを処理し、適切なルーティングを促進することができる、１つまたは複数のネットワーク間接続構成要素２４５および／または１つまたは複数のネットワーク内接続構成要素２５５を含むことができる。

[0049]各ネットワーク間接続構成要素２４５は、複数のネットワーク２３５に接続され得、インストールされた複数のネットワークカード（たとえば、異なるネットワークに接続された各カード）を有することができる。たとえば、ネットワーク間接続構成要素２４５は、ワイドエリアネットワーク２７０（たとえば、インターネット）と、１つまたは複数のローカルエリアネットワーク２３５とに接続され得る。図示された事例では、通信がネットワークデバイス２０５から端末デバイスのうちのいずれかに送信されるために、図示されたシステム中で、通信は複数のネットワーク間接続構成要素２４５によって扱われなければならない。

[0050]ネットワーク間接続構成要素２４５が、通信（または通信に対応するパケットのセット）を受信したとき、ネットワーク間接続構成要素２４５は、宛先に関連付けられたネットワークに通信をパスするためのルートの少なくとも一部を決定することができる。ルートは、たとえば、あらかじめ定義されているか、（たとえば、別のルータからまたは別のデバイスからの）着信メッセージに基づいて生成されるか、または学習される、１つまたは複数のルートを含むことができる、（たとえば、ルータにおいて記憶された）ルーティングテーブルを使用して決定され得る。

[0051]ネットワーク間接続構成要素２４５の例は、ルータ２６０とゲートウェイ２６５とを含む。ネットワーク間接続構成要素２４５（たとえば、ゲートウェイ２６５）は、ネットワークシステムまたはプロトコル間でコンバートするように構成され得る。たとえば、ゲートウェイ２６５は、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）デバイスとネットワーク間パケット交換／逐次パケット交換（ＩＰＸ／ＳＰＸ：Internetwork Packet Exchange/Sequenced Packet Exchange）デバイスと間の通信を促進し得る。

[0052]ローカルエリアネットワーク２３５において通信を受信すると、さらなるルーティングが依然として実施される必要があり得る。そのようなネットワーク内ルーティングは、スイッチ２８０またはハブ２８５などのネットワーク内接続構成要素２５５を介して実施され得る。各ネットワーク内接続構成要素２５５は、複数の端末デバイス２１５に（たとえば、ワイヤレスに、またはイーサネット（登録商標）ケーブルを介してなど、ワイヤードで）接続され得る。ハブ２８５は、すべての受信された通信を、ハブ２８５が接続された各デバイスに再送するように構成され得る。各端末デバイスは、次いで、端末デバイスが宛先デバイスであるかどうか、または通信が無視されるべきであるかどうかを決定するために、各通信を評価することができる。スイッチ２８０は、通信を宛先端末デバイスのみに選択的にダイレクトするように構成され得る。

[0053]いくつかの事例では、ローカルエリアネットワーク２３５は、複数のセグメントに分割され得、それらの各々は、独立したファイアウォール、セキュリティルールおよびネットワークプロトコルに関連付けられ得る。ネットワーク内接続構成要素２５５は、セグメント内ルーティングを促進するために、１つ、複数またはすべてのセグメントの各々の中に提供され得る。ブリッジ２９０は、セグメント２７５にわたって通信をルーティングするように構成され得る。

[0054]ネットワークにわたってまたはネットワーク内で通信を適切にルーティングするために、様々な構成要素が、通信中の宛先データを分析する。たとえば、そのようなデータは、通信がどのネットワークにルーティングされるべきであるか、通信がネットワーク内のどのデバイスにルーティングされるべきであるか、または端末デバイスがどの通信を処理するべきであるか（反対に、無視するべきであるか）を示すことができる。しかしながら、いくつかの事例では、どの端末デバイス（さらにはどのネットワーク）が、ネットワークデバイスからの通信に参加するべきであるかは、直ちに明らかでない。

[0055]例示のために、端末デバイスのセットは、同様のタイプの応答通信を提供するように構成され得る。したがって、ネットワークデバイスからの通信中のクエリは、どのネットワークデバイスに通信がルーティングされるかにかかわらず、同様の様式で応答され得ることが予想され得る。この仮定は高レベルでは真であり得るが、端末デバイスに関係する様々な詳細は、他のものと比較して有利である特定のルーティングを生じることができる。たとえば、セット中の端末デバイスは、（たとえば）どの通信チャネルがサポートされるか、ネットワークデバイスへの地理的および／またはネットワーク近接度、ならびに／あるいは関連付けられたエージェントの特性（たとえば、知識ベース、経験、話される言語、利用可能性、一般的なパーソナリティまたは感情など）に関して、互いに異なり得る。したがって、選択ルーティングは、ネットワークデバイス通信に対してより正確におよび／または完全に応答する、より高速な応答を促進し得る。厄介な問題は、ネットワークデバイスを端末デバイスにマッピングする静的ルーティングが、通信トピック、チャネルタイプ、エージェント利用可能性などの変動を考慮することに失敗し得ることである。

[0056]図３Ａ～図３Ｃは、接続管理システムを含むネットワーク対話システム３００ａ～ｃの他の実施形態のブロック図を示す。図示されたシステム３００ａ～ｃの各々は、簡単のために、２つのローカルエリアネットワーク２３５のみを示すが、実施形態は、ローカルエリアネットワークの数を増やすように拡張され得ることを諒解されよう。システム３００Ａ～Ｃの各々は、どの端末デバイスがネットワークデバイス２０５と通信するべきであるかを識別することができ、接続チャネルを確立および管理する（たとえば、維持または閉鎖する）ことができ、交換において通信を再ルーティングすべきかどうか、およびいつ再ルーティングすべきかを決定することなどを行うことができる、接続管理システム３５０を含む。したがって、接続管理システム３５０は、ルーティング決定に影響を及ぼすために、通信、エージェント利用可能性、端末デバイスまたはエージェントの能力などを動的におよびリアルタイムで評価するように構成され得る。

[0057]図３Ａでは、接続管理システム３５０は、ネットワークデバイス２０５およびリモートサーバ３４０の各々に関連付けられる（たとえば、接続管理システム３５０ａは、ネットワークデバイス２０５に関連付けられ、接続管理システム３５０ｂは、リモートサーバ３４０に関連付けられる）。たとえば、接続管理システム３５０ａおよび／または接続管理システム３５０ｂは、それぞれ、ネットワークデバイス２０５およびリモートサーバ３４０の各々の上にアプリケーションとしてインストールまたは記憶され得る。（１つまたは複数の）アプリケーションの実行は、たとえば、ネットワークデバイス２０５との通信交換に参加するために選択された端末デバイス２１５を識別するために、ネットワークデバイス２０５とリモートサーバ３４０との間の通信を促進することができる。識別は、本明細書で開示される１つまたは複数のファクタ（たとえば、利用可能性、通信のトピック／詳細のレベルとエージェントまたは端末デバイスの知識ベースとの間のマッチング、予測されるレイテンシ、チャネルタイプ利用可能性など）に基づいて行われ得る。

[0058]クライアントデバイス３３０は、ルーティング決定がどのように行われるべきであるかを示すクライアントデータを提供することができる。たとえば、そのようなデータは、特定の特性がどのように重み付けまたはマッチされるべきであるかに関する指示、あるいは（たとえば、負荷分散または予測される応答レイテンシに関係する）制約またはバイアスを含むことができる。クライアントデータは、通信チャネルがいつ確立（または閉鎖）されるべきであるか、あるいは通信が異なるネットワークデバイスにいつ再ルーティングされるべきであるかに関係する仕様をも含むことができる。クライアントデータは、通信ルーティングについてのルールなど、様々なクライアント固有のルールを定義するために使用され得る。

[0059]リモートサーバ３４０上で実行する接続管理システム３５０ｂは、どの通信チャネルがサポートされるか、ネットワークデバイスに対する地理的および／またはネットワーク近接度、端末デバイスとの通信レイテンシおよび／または安定性、端末デバイスのタイプ、端末デバイスの能力、端末デバイス（またはエージェント）が所与のネットワークデバイス（またはユーザ）と前に通信したかどうか、および／または関連付けられたエージェントの特性（たとえば、知識ベース、経験、話される言語、利用可能性、一般的なパーソナリティまたは感情など）など、端末デバイスに関係する（たとえば、所与のクライアントに関係する）様々なメトリックを監視することができる。したがって、接続管理システム３５０ｂは、それらのメトリックに基づいて、ネットワークデバイス通信に対してより正確におよび／または完全に応答する、より高速の応答を促進するためのルーティングを選択することが可能にされ得る。

[0060]図３Ａに図示された例では、ネットワークデバイス２０５とリモートサーバ３４０との間の通信交換は、宛先アドレスの早期識別を促進することができる。ネットワークデバイス２０５は、次いで、後続の通信をダイレクトするために宛先アドレスを使用し得る。たとえば、ネットワークデバイス２０５は、（たとえば、１つまたは複数のネットワーク間接続とワイドエリアネットワークとを介して）初期通信をリモートサーバ３４０に送り得、リモートサーバ３４０は、１つまたは複数の対応するクライアントを識別し得る。リモートサーバ３４０は、次いで、１つまたは複数の対応するクライアントに関連付けられた端末デバイスのセットを識別し、それらの端末デバイスについてのメトリックを収集し得る。通信交換に関与すべき端末デバイスを選択し、端末デバイスに関係する情報（たとえば、ＩＰアドレス）がネットワークデバイス２０５に送られ得るために、メトリックは、（たとえば、リモートサーバ３４０によって）評価され得る。いくつかの実施形態では、リモートサーバ３４０は、様々な端末デバイスについてのメトリックを連続的にまたは周期的に収集し、評価し、評価結果をデータストアに記憶し得る。そのような実施形態では、１つまたは複数の対応するクライアントに関連付けられた端末デバイスのセットを識別すると、リモートサーバ３４０は、データストアからの記憶された評価結果にアクセスし、記憶された評価結果に基づいて、通信交換に関与すべき端末デバイスを選択することができる。

[0061]図３Ｂでは、接続管理システム３５０は、リレーおよび／または宛先アドレスとして働くように構成され得る。したがって、たとえば、ネットワークデバイス２０５のセットは、宛先として接続管理システム３５０を各々が識別する通信を送信し得る。接続管理システム３５０は、各通信を受信することができ、（たとえば、各端末デバイスについてのメトリックを生成するために）端末デバイスのセットを同時に監視することができる。監視とルールとに基づいて、接続管理システム３５０は、それが各通信を中継し得る端末デバイス２１５を識別することができる。実施形態によっては、端末デバイス通信が、さらなる中継のために（たとえば、接続管理システム３５０の）一貫した宛先に同様にダイレクトされ得るか、または、端末デバイスが、対応するネットワークデバイスと直接通信し始め得る。これらの実施形態は、効率的なルーティングと、徹底的な通信監視とを促進することができる。

[0062]図３Ｃに図示された実施形態は、図３Ｂ中の実施形態と同様である。しかしながら、いくつかの実施形態では、接続管理システム３５０は、ネットワーク内構成要素（たとえば、端末デバイス、ネットワーク内接続など）に直接接続される。

[0063]図３Ａ～図３Ｃの多くの変形形態が企図されることを諒解されよう。たとえば、接続管理システム３５０は、接続管理システム３５０（またはそれの一部）に対応するアプリケーションが構成要素上にインストールされるように、接続構成要素（たとえば、ネットワーク間接続構成要素２４５またはネットワーク内接続構成要素２５５）に関連付けられ得る。アプリケーションは、たとえば、独立して、あるいは（たとえば、１つまたは複数の他の構成要素、ネットワークデバイスまたはリモートサーバ上で実行する）１つまたは複数の同様のまたは相補的アプリケーションと通信することによって実施し得る。

[0064]図４は、接続構成要素の動作のプロトコルスタックマッピング４００の表現を示す。より詳細には、図４は、様々な接続構成要素に対応するオープンシステム対話（ＯＳＩ）モデル中の動作のレイヤを識別する。

[0065]ＯＳＩモデルは、複数の論理レイヤ４０２～４１４を含むことができる。レイヤは、レイヤ４０２～４１２が各々上位レベルをサービスし、レイヤ４０４～４１４が各々下位レイヤによってサービスされるように、順序付きスタック中に配置される。ＯＳＩモデルは物理レイヤ４０２を含む。物理レイヤ４０２は、パラメータ物理通信（たとえば、電気的、光学的、または電磁的）を定義することができる。物理レイヤ４０２はまた、接続を確立および閉鎖するためのプロトコルなど、接続管理プロトコルを定義する。物理レイヤ４０２は、フロー制御プロトコルと送信モードとをさらに定義することができる。

[0066]リンクレイヤ４０４は、ノード間通信を管理することができる。リンクレイヤ４０４は、エラー（たとえば、物理レイヤ４０２における送信エラー）を検出し、訂正し、アクセス許可を管理することができる。リンクレイヤ４０４は、媒体アクセス制御（ＭＡＣ）レイヤと論理リンク制御（ＬＬＣ）レイヤとを含むことができる。

[0067]ネットワークレイヤ４０６は、（たとえば、データグラムとして）同じネットワーク中のノードにわたって（たとえば、可変長の）データを転送することを協調させることができる。ネットワークレイヤ４０６は、論理ネットワークアドレスを物理機械アドレスにコンバートすることができる。

[0068]トランスポートレイヤ４０８は、送信および受信品質を管理することができる。トランスポートレイヤ４０８は、伝送制御プロトコル（ＴＣＰ）など、データを転送するためのプロトコルを提供することができる。トランスポートレイヤ４０８は、送信のためのデータパケットのセグメント化／非セグメント化を実施することができ、レイヤ４０２～４０６において生じる送信エラーを検出および考慮することができる。セッションレイヤ４１０は、ローカルアプリケーションとリモートアプリケーションとの間の接続を始動、維持、および終了することができる。セッションは、リモートプロシージャ対話の一部として使用され得る。プレゼンテーションレイヤ４１２は、アプリケーションまたはネットワークレイヤによって受け付けられることが知られているデータタイプに基づいて、データを暗号化し、解読し、フォーマットすることができる。

[0069]アプリケーションレイヤ４１４は、通信を制御または管理するソフトウェアアプリケーションと対話することができる。そのようなアプリケーションを介して、アプリケーションレイヤ４１４は、（たとえば）宛先、ローカルリソース状態または利用可能性、および／あるいは通信コンテンツまたはフォーマッティングを識別することができる。様々なレイヤ４０２～４１４は、利用可能および適用可能なとき、他の機能を実施することができる。

[0070]ネットワーク内接続構成要素４２２、４２４は、物理レイヤ４０２およびリンクレイヤ４０４において動作するように示されている。より詳細には、ハブは、動作が通信の受信と送信とに関して制御され得るように、物理レイヤにおいて動作することができる。ハブは、通信に対処する能力またはデータをフィルタ処理する能力がないので、ハブは、上位レベルにおいて動作する能力を、ほとんどからまったく持たない。一方、スイッチは、それらがアドレス（たとえば、ＭＡＣアドレス）に基づいて通信フレームをフィルタ処理することが可能であるので、リンクレイヤ４０４において動作することができる。

[0071]一方、ネットワーク間接続構成要素４２６、４２８は、上位レベル（たとえば、レイヤ４０６～４１４）で動作するように示されている。たとえば、ルータが、アドレス（たとえば、ＩＰアドレス）に基づいて通信データパケットをフィルタ処理することができる。ルータは、パケットを適切なネットワークにダイレクトするために、アドレスに基づいてパケットを特定のポートにフォワーディングすることができる。ゲートウェイが、ネットワークレイヤ以上において動作し、同様のフィルタ処理およびダイレクティング、ならびに（たとえば、プロトコルまたはアーキテクチャにわたる）データのさらなる変換を実施することができる。

[0072]接続管理システム４５０が、様々な実施形態では、様々なレイヤのうちの１つ、複数、すべてまたはいずれかと対話し、および／またはそれの上で動作することができる。たとえば、接続管理システム４５０は、ハブがどの端末デバイスと通信するかを動的に調整するために、ハブと対話することができる。別の例として、接続管理システム４５０は、構成要素が宛先（たとえば、ＭＡＣ、論理または物理）アドレスとしてどの端末デバイスを選択するかに影響を及ぼすために、ブリッジ、スイッチ、ルータまたはゲートウェイと通信することができる。さらなる例として、接続管理システム４５０は、トランスポートレイヤ４０８上でのデータパケットのセグメント化、セッションレイヤ４１０上でのセッション持続時間、ならびに／あるいはプレゼンテーションレイヤ４１２上での暗号化および／または圧縮を監視、制御、またはダイレクトすることができる。いくつかの実施形態では、接続管理システム４５０は、特定のレイヤ上で動作する機器（たとえば、リンクレイヤ４０４上で動作するスイッチ）と通信を交換する（たとえば、それにコマンドを送る）ことによって、特定の様式で（たとえば、ネットワークデバイスと端末デバイスとの間の）既存の通信をルーティングまたは修正することによって、および／あるいは既存の通信に基づいて特定の情報（たとえば、新しい宛先アドレス）を含んでいる新しい通信を生成することによって、様々なレイヤと対話することができる。したがって、接続管理システム４５０は、様々なデバイスとの対話を介して、および／または様々なプロトコルスタックレイヤにおける動作に影響を及ぼすことを介して、通信ルーティングおよびチャネル確立（または維持または終了）に影響を及ぼすことができる。

[0073]図５は、一実施形態によるマルチデバイス通信交換システム５００を表す。システム５００は、様々なタイプの通信チャネルを介して様々なタイプの端末デバイスと通信するように構成されたネットワークデバイス５０５を含む。

[0074]図示された事例では、ネットワークデバイス５０５は、セルラーネットワーク上で（たとえば、基地局５１０を介して）通信を送信することができる。通信は、動作可能なネットワーク５１５にルーティングされ得る。動作可能なネットワーク５１５は、通信を受信し、どの端末デバイスが通信に応答するべきであるかを識別する、接続管理システム５２０を含むことができる。そのような決定は、（たとえば、クライアントを示すコンテンツ分析またはユーザ入力に基づいて）その通信が関係するクライアントを識別することと、クライアントに関連付けられた１つまたは複数の端末デバイスの各々について１つまたは複数のメトリックを決定することとに依存することができる。たとえば、図５では、端末デバイス５３０ａ～ｃの各クラスタは、異なるクライアントに対応することができる。端末デバイスは、地理的にコロケートされるかまたは分散し得る。メトリックは、（たとえば、利用可能性に基づいて）記憶または学習されたデータおよび／あるいはリアルタイム監視に基づいて決定され得る。

[0075]接続管理システム５２０は、１つまたは複数のルータ５２５、あるいは他のネットワーク間またはネットワーク内接続構成要素を介して、様々な端末デバイスと通信することができる。接続管理システム５２０は、通信、端末デバイス動作、クライアントルール、および／または１つまたは複数のデータストアにおけるユーザ関連アクション（たとえば、オンラインアクティビティ）からの、またはそれらに関係する、データを収集、分析、および／または記憶し得る。そのようなデータは、通信ルーティングに影響を及ぼし得る。

[0076]特に、通信ルーティングおよび／または処理に影響を及ぼすために、様々な他のデバイスがさらに使用され得る。たとえば、図示された事例では、接続管理システム５２０は、ウェブサーバ５４０にも接続される。したがって、接続管理システム５２０は、技術的なアイテム詳細など、関心を引くデータを取り出し得る。

[0077]ネットワークデバイス５０５はまた、（たとえば、ウェブサーバ５４５を含む）ウェブサーバに接続され得る。いくつかの事例では、そのようなサーバとの通信は、接続管理システム５２０と通信交換を始動するための初期オプションを提供した。たとえば、ネットワークデバイス５０５は、特定のウェブページを訪問している間、通信機会が利用可能であり、そのようなオプションが提示され得ることを検出し得る。

[0078]通信システム５００の１つまたは複数の要素はまた、ソーシャルネットワーキングサーバ５５０に接続され得る。ソーシャルネットワーキングサーバ５５０は、様々なユーザデバイスから受信されたデータをアグリゲートすることができる。したがって、たとえば、接続管理システム５２０は、所与のユーザまたはユーザのクラスの一般的な（またはユーザ固有の）挙動を推定することが可能であり得る。

[0079]図６は、接続管理システム６００の一実施形態のブロック図を示す。メッセージ受信機インターフェース６０５は、メッセージを受信することができる。いくつかの事例では、メッセージは、たとえば、ネットワークデバイスまたは端末デバイスなど、（たとえば、接続管理システム６００とは別個に、または同じハウジング内に格納された）ソースデバイスによって送信される通信の一部として受信され得る。いくつかの事例では、通信は、２つのデバイス（たとえば、ネットワークデバイスおよび端末デバイス）間でルーティングされる一連のメッセージまたはメッセージ交換を含むことができる、一連の通信または通信交換の一部であり得る。このメッセージまたは通信交換は、デバイス間の対話の一部であり得、および／またはそれを定義し得る。通信チャネルまたは動作可能なチャネルは、デバイス間のルーティングと通信交換とを促進するために使用される１つまたは複数のプロトコル（たとえば、ルーティングプロトコル、タスク割当てプロトコルおよび／またはアドレス指定プロトコル）を含むことができる。

[0080]いくつかの事例では、メッセージは、ローカルまたはリモートユーザインターフェースにおいて受信された入力に基づいて生成されるメッセージを含むことができる。たとえば、メッセージは、ボタンまたはキー押下あるいは記録されたスピーチ信号に基づいて生成されたメッセージを含むことができる。一事例では、メッセージは、ネットワークデバイスが特定のアプリページまたはウェブページを提示しているかあるいは特定の入力コマンド（たとえば、キーシーケンス）を提供したことを検出すると生成されるものなど、自動的に生成されるメッセージを含む。メッセージは、通信交換を始動するためのものなど、命令または要求を含むことができる。

[0081]いくつかの事例では、メッセージは、クライアントの識別子を含むか、またはそれに関連付けられ得る。たとえば、メッセージは、クライアント（またはクライアントに関連付けられたデバイス）を明示的に識別することができるか、メッセージは、クライアントに関連付けられたウェブページまたはアプリページを含むかまたはそれに関連付けられ得るか、メッセージは、クライアントに関連付けられた宛先アドレスを含むかまたはそれに関連付けられ得るか、あるいはメッセージは、クライアントに関連付けられたアイテム（たとえば、製品）またはサービスの識別情報を含むかまたはそれに関連付けられ得る。例示のために、ネットワークデバイスは、エージェントに通信を送信するためのオプションを与え得る、特定のクライアントのアプリページを提示していることがある。メッセージに対応するユーザ入力を受信すると、通信は、メッセージと、特定のクライアントの識別子とを含むように生成され得る。

[0082]処理エンジン６１０は、受信された通信および／またはメッセージを処理し得る。処理は、たとえば、１つまたは複数の特定のデータ要素（たとえば、メッセージ、クライアント識別子、ネットワークデバイス識別子、アカウント識別子など）を抽出することを含むことができる。処理は、（たとえば、特定のデバイスタイプ、オペレーティングシステム、通信チャネルタイプ、プロトコルおよび／またはネットワークに適合するように）フォーマッティングまたは通信タイプを変換することを含むことができる。

[0083]メッセージ査定エンジン６１５は、（たとえば、抽出または受信された）メッセージを査定し得る。査定は、たとえば、メッセージのための１つまたは複数のカテゴリーまたはタグを識別することを含むことができる。カテゴリーまたはタグタイプの例は、（たとえば）トピック、感情、複雑さ、および緊急度を含むことができる。メッセージをカテゴリー分類することと、タグ付けすることとの間の差は、カテゴリーは（たとえば、カテゴリーオプションのあらかじめ定義されたセットに従って）限定され得るが、タグはオープンであり得ることであり得る。トピックは、たとえば、技術的問題、使用の質問、または要求を含むことができる。カテゴリーまたはタグは、たとえば、（たとえば、キーワード、文構造、繰り返されるワード、句読文字および／または非冠詞ワードを識別することによる）メッセージのセマンティック分析、（たとえば、選択された１つまたは複数のカテゴリーを有する）ユーザ入力、および／またはメッセージ関連の統計（たとえば、タイピングスピードおよび／または応答レイテンシ）に基づいて決定され得る。

[0084]いくつかの事例では、メッセージ査定エンジン６１５は、メッセージについてのメトリックを決定することができる。メトリックは、たとえば、文字、ワード、大文字、すべて大文字のワード、あるいは特定の文字または句読点（たとえば、感嘆符、疑問符および／またはピリオド）のインスタンスの数を含むことができる。メトリックは、感嘆符（または疑問符）で終了する文の比、すべて大文字で書かれたワードの比などの比率を含むことができる。

[0085]メッセージ査定エンジン６１５は、メッセージ、メッセージメトリックおよび／またはメッセージ統計をメッセージデータストア６２０に記憶することができる。各メッセージはまた、対応するソースデバイス、宛先デバイス、ネットワークデバイス、端末デバイス、クライアント、１つまたは複数のカテゴリー、１つまたは複数の段階および／またはメッセージ関連の統計を識別するデータなどの）他のデータ（たとえば、メタデータ）に関連して記憶され得る。接続管理システム６００の様々な構成要素（たとえば、メッセージ査定エンジン６１５および／または対話管理エンジン６２５）は、クエリ応答メッセージ、メッセージメトリックおよび／またはメッセージ統計を取り出すために、メッセージデータストア６２０に問い合わせることができる。

[0086]対話管理エンジン６２５は、通信がどのデバイスにルーティングされるべきであるかと、受信デバイスおよび送信デバイスがどのように通信するべきであるかと、双方向通信の一部として使用されるべきまたはエージェントに推奨されるべき関連のあるボットとを決定することができる。これらの決定の各々は、たとえば、特定のネットワークデバイス（または特定のユーザに関連付けられたいずれかのネットワークデバイス）が前に端末デバイスのセット中の端末デバイス（たとえば、接続管理システム６００に関連付けられたいずれかの端末デバイス、あるいは１つまたは複数の特定のクライアントに関連付けられたいずれかの端末デバイス）と通信したかどうかに依存することができる。

[0087]対話管理エンジン６２５は、様々なコンテキストにおいてアカウントエンジン６３０と対話することができる。たとえば、アカウントエンジン６３０は、ネットワークデバイスまたは端末デバイスに対応するアカウントを識別するために、アカウントデータストア６３５中でそのデバイスの識別子をルックアップし得る。さらに、アカウントエンジン６３０は、前の通信交換（たとえば、時間、（１つまたは複数の）関与する他のデバイス、チャネルタイプ、解決段階、（１つまたは複数の）トピックおよび／または関連付けられたクライアント識別子）、（たとえば、１つまたは複数のクライアントの各々について、何らかのチャネルが存在するかどうか、各チャネルに関連付けられた端末デバイス、確立時間、使用頻度、最後の使用日、何らかのチャネル制約および／またはサポートされる通信のタイプを示す）接続チャネル、（たとえば、端末デバイス選択、応答レイテンシ、端末デバイス一貫性、エージェント専門知識、および／あるいは通信タイプ選好または制約に関係する）ユーザまたはエージェント選好または制約、および／あるいはユーザまたはエージェント特性（たとえば、年齢、話されるまたは選好される（１つまたは複数の）言語、地理的ロケーション、関心など）に関するデータを維持することができる。

[0088]さらに、対話管理エンジン６２５は、アカウントデータストア６３５が現在のチャネルデータを反映するように更新され得るように、アカウントエンジン６３０に様々な接続チャネルアクションについてアラートすることができる。たとえば、チャネルを確立すると、対話管理エンジン６２５は、アカウントエンジン６３０にその確立を通知し、ネットワークデバイス、端末デバイス、アカウント、およびクライアントのうちの１つまたは複数を識別することができる。アカウントエンジン６３５は、（いくつかの事例では）その後、ユーザが、エージェント一貫性が役立っていることに気づくことができるように、ユーザにチャネルの存在を通知することができる。

[0089]対話管理エンジン６２５は、通信を１つまたは複数のクライアント（および／または関連付けられたブランド）にマッピングすることができる、クライアントマッピングエンジン６４０とさらに対話することができる。いくつかの事例では、ネットワークデバイス自体から受信される通信は、クライアントに対応する識別子（たとえば、クライアント、ウェブページ、またはアプリページの識別子）を含む。識別子は、（たとえば、クライアントマッピングエンジン６４０が検出し得る）メッセージの一部として含まれるか、またはメッセージを包含している通信中の他のデータとして含まれ得る。クライアントマッピングエンジン６４０は、次いで、クライアントに関する追加のデータおよび／またはクライアントの識別子を取り出すために、クライアントデータストア６４５中の識別子をルックアップし得る。

[0090]いくつかの事例では、メッセージは、どんなクライアントにも特に対応しないことがある。たとえば、メッセージは、一般的なクエリを含み得る。クライアントマッピングエンジン６４０は、たとえば、メッセージに対してセマンティック分析を実施し、１つまたは複数のキーワードを識別し、（１つまたは複数の）キーワードに関連付けられた１つまたは複数のクライアントを識別し得る。いくつかの事例では、単一のクライアントが識別される。いくつかの事例では、複数のクライアントが識別される。各クライアントの識別情報は、次いで、ユーザが（たとえば、関連付けられた端末デバイスを介して）通信すべきクライアントを選択することができるように、ネットワークデバイスを介して提示され得る。

[0091]クライアントデータストア６４５は、クライアントに関連付けられた１つまたは複数の端末デバイス（および／またはエージェント）の識別情報を含むことができる。端末ルーティングエンジン６５０は、ルーティング決定に影響を及ぼすために、１つ、複数またはすべてのそのような端末デバイス（および／またはエージェント）の各々に関係するデータを取り出すかまたは収集することができる。たとえば、端末ルーティングエンジン６５０は、端末デバイスのデバイスタイプ、オペレーティングシステム、通信タイプ能力、インストールされたアプリケーションアクセサリ、地理的ロケーションおよび／または識別子（たとえば、ＩＰアドレス）などの情報を記憶することができる、端末データストア６５５を維持し得る。一部の情報は動的に更新され得る。たとえば、端末デバイスが利用可能であるかどうかを示す情報は、（たとえば）（たとえば、デバイスがスリープであるか、オフ／オンにされているか、非アクティブ／アクティブであるかどうかを識別するか、または入力が時間期間内に受信されたかどうかを識別する）端末デバイスからの通信、（たとえば、端末デバイスが、通信交換の一部に関与するかまたは通信交換の一部になるように割り当てられているかどうかを示す）通信ルーティング、あるいは通信交換が終了または開始したことを示すネットワークデバイスまたは端末デバイスからの通信に基づいて、動的に更新され得る。

[0092]様々なコンテキストにおいて、１つまたは複数の通信交換に関与することは、端末デバイスが別の通信交換に関与するために利用可能でないことを必ずしも示すとは限らないことを諒解されよう。（たとえば、概してまたはユーザに関して）通信タイプ（たとえば、メッセージ）、クライアント識別されたまたはユーザ識別されたターゲット応答時間、および／あるいはシステム負荷などの様々なファクタは、端末デバイスがいくつの交換に関与し得るかに影響を及ぼし得る。

[0093]（たとえば、ユーザによって動作される）ネットワークデバイスとの通信セッション中にボットを介してメッセージングを自動化に転送するためのシステムおよび方法が提供される。ユーザは、問題の解決に関してエージェントとの会話を始動するためにネットワークデバイスを使用し得る。エージェントは、ユーザの意図の解決を加速させるために、関連付けられた端末デバイス上でウィジェットを起動し得る。ユーザの意図は自動的に識別され得、ボットに転送するための推奨される自動化が行われ得る。注文番号、アカウント番号など、主要なユーザ情報も提供され得る。エージェントは、ボットへの転送を、手動でまたは自動的に始動し得、これは、エージェントが、転送するための推奨についてのフィードバックを提供することを可能にする。さらに、エージェントは、転送された会話をウォッチし、ユーザが不満足であるように思われ始めた場合、会話を助けるために、端末デバイスを使用し得る。ユーザとボットとの間の会話は、エージェントとの会話にインラインで出現し得る。

[0094]いくつかの実施形態では、エージェントは、ボットに転送された複数の会話を監視し、必要に応じて、会話を助けることが可能である。感情スコアは、会話を助ける優先度を促進するために端末デバイス上に表示されるために利用され得る。「意図のヒント」および「推奨される自動化」など、人工知能を利用する支援特徴は、会話ウィンドウ内にアクション可能なインライン示唆として示され得る。フィードバックは、データ科学をトレーニング入力としてモデルに適用するために全体として使用および分析され得る。

[0095]いくつかの実装形態では、ボットは、ネットワークデバイスと自律的に通信するように構成され得る。さらに、ボットは、特定の能力のために構成され得る。能力の例は、データベース記録を更新すること、更新をユーザに提供すること、ユーザに関する追加データをエージェントに提供すること、ユーザの意図を決定し、その意図に基づいて、ユーザを宛先システムにルーティングすること、ユーザと通信しているエージェントに対する応答を予測または示唆すること、１つまたは複数の追加のボットまたはエージェントを含めるために通信セッションをエスカレートさせること、および他の好適な能力を含むことができる。いくつかの実装形態では、ボットが（たとえば、チャット対応インターフェースを使用した）通信セッション中に（たとえば、ユーザによって動作される）ネットワークデバイスと通信している間、通信サーバは、ボットを端末デバイスと切り替えることを自動的におよび動的に決定することができる。たとえば、ボットは、いくつかのタスク（たとえば、ユーザに関連付けられたデータベース記録を更新すること）に関してユーザと通信することができるが、端末デバイスは、より困難なタスクに関してユーザと通信することができる（たとえば、技術的問題を解決するための通信チャネルを使用した通信）。

[0096]いくつかの実装形態では、通信セッション中に自動化に切り替えるかべきかどうかを決定することは、通信セッション中のメッセージの１つまたは複数の特性の分析に基づき得る。さらに、メッセージ、会話、エンティティ、エージェントなどの感情を表すために、動的感情パラメータが生成され得る。たとえば、動的感情パラメータが、ユーザがボットに苛立っていることを示す場合、システムは、ライブエージェントがユーザと通信することができるように、ボットを端末デバイスと自動的に切り替えることができる。いくつかの例では、ボットと端末デバイスとを切り替えるべきかどうかを決定することは、ユーザからの催促なしに実施され得る。決定は、通信セッション（たとえば、チャット）中の現在のメッセージの特性、前の通信セッションにおいてユーザによって送信された前のメッセージの特性、会話中の複数のメッセージにわたる特性（たとえば、感情）の軌道、またはユーザに関連付けられた追加の情報（たとえば、プロファイル情報、選好情報、およびユーザに関連付けられた他の好適な情報）を含む、任意の数のファクタに基づいて、通信サーバにおいて自動的に実施され得る。

[0097]上記で説明された機能とともに、対話管理エンジン６２５は、いくつかの例では、入力データの特定のセットとのボットの関連性を示す信頼性スコアをボットに返させるために、ボットに問い合わせることができる。クエリは、上記で説明された感情または意図分析とともに行われ得るか、あるいは独立していることがある。いくつかの例では、クエリはローカルであり、ボットが、対話管理エンジン６２５をもつ共有デバイスまたはシステム上で動作し得る。いくつかの例では、ボットは、独立したサーバ上でまたはリモートクラウドベースシステム上でなど、リモートで動作され得る。そのような例では、クエリは、信頼性スコアリモートシステムについての要求の送信に関連付けられる。対話管理エンジン６２５は、次いで、以下でさらに説明されるように、較正またはマッピング動作の管理を含めて、信頼性スコアの査定を管理することができる。

[0098]図７は、通信セッション中にボットと端末デバイスとを動的に切り替えるためのネットワーク環境のブロック図を示す。いくつかの実装形態では、ネットワーク環境７００は、ネットワークデバイス７０５と、通信サーバ７１０と、端末デバイス７１５と、ボット７２０とを含むことができる。通信サーバ７１０は、少なくとも１つの記憶デバイスをもつ１つまたは複数のプロセッサをもつサーバであり得、本明細書で説明される方法および技法を実施するように構成され得る。たとえば、通信サーバ７１０は、（たとえば、ユーザによって動作される）ネットワークデバイスと（たとえば、エージェントによって動作される）端末デバイスとの間の通信セッションを管理することができる。通信サーバ７１０は、ネットワークデバイス７０５と端末デバイス７１５とが、通信セッション中に互いと通信することができるように、ネットワークデバイス７０５と端末デバイス７１５との間に通信チャネルを確立することができる。通信セッションは、ネットワークデバイス７０５と端末デバイス７１５との間の１つまたは複数のメッセージの交換を促進することができる。本開示は、通信セッション中のメッセージの交換に限定されない。他の形態の通信が、通信セッション、たとえば、ビデオ通信（たとえば、ビデオフィード）およびオーディオ通信（たとえば、ボイスオーバＩＰ接続）によって促進され得る。

[0099]いくつかの実装形態では、通信サーバ７１０は、ネットワークデバイス７０５とボット７２０との間で通信チャネルを確立することができる。ボット７２０は、実行されたとき、ネットワークデバイス７０５と自律的に通信するように構成されたコードであり得る。たとえば、ボット７２０は、ネットワークデバイス７０５に関連付けられたユーザとの会話を始動するためのメッセージを自動的に生成する、および／またはネットワークデバイス７０５からのメッセージに自動的に応答するための、ボットであり得る。さらに、通信サーバ７１０は、プラットフォームに関連付けられ得る。クライアント（たとえば、プラットフォームに対する外部システム）は、プラットフォームを使用してそれらの内部通信システムにおいて異なるタイプのボットを展開することができる。いくつかの例では、クライアントは、クライアントが本明細書で説明される方法および技法をそれらの内部通信システム内に実装することを可能にするプラットフォーム内でそれら自体のボットを使用することができる。

[00100]いくつかの実装形態では、ボットは１つまたは複数のソースによって定義され得る。たとえば、データストア７３０は、通信サーバのクライアントによって定義された（たとえば、作成または符号化された）ボットを表すコードを記憶することができる。たとえば、それ自体のボットを定義したクライアントは、そのボットを通信サーバ７１０にロードすることができる。クライアントによって定義されたボットは、クライアントボットデータストア７３０に記憶され得る。データストア７４０は、サードパーティシステムによって定義されるボットを表すコードを記憶することができる。たとえば、サードパーティシステムは、独立したソフトウェアベンダーを含むことができる。データストア７５０は、通信サーバ７１０に関連付けられたエンティティによって定義されるボットを表すコードを記憶することができる。たとえば、エンティティによって符号化されるボットは、ボットが実行され、ユーザと自律的に通信することができるように、通信サーバ７１０にロードされるかまたはそれによってアクセス可能であり得る。いくつかの実装形態では、通信サーバ７１０は、クラウドネットワーク７６０を使用して、データストア７３０、データストア７４０、および／またはデータストア７５０に記憶されたボットにアクセスすることができる。クラウドネットワーク７６０は、任意のネットワークであり得、インターネット、パーソナルエリアネットワーク、ローカルエリアネットワーク（ＬＡＮ）、キャンパスエリアネットワーク（ＣＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、イントラネット、エクストラネットなどのプライベートネットワーク、または他のバックボーンなど、オープンネットワークを含むことができる。

[00101]さらに、端末デバイス７１５は、エージェントによって動作され得る。端末デバイス７１５は、任意のポータブル（たとえば、モバイルフォン、タブレット、ラップトップ）または非ポータブルデバイス（たとえば、電子キオスク、デスクトップコンピュータなど）であり得る。いくつかの事例では、エージェントは、端末デバイス７１５上で実行しているブラウザを使用してウェブサイトにアクセスすることができる。たとえば、ウェブサイトは、端末デバイス７１５のブラウザ上で実行しているコンソールまたはプラットフォームを含むことができる。エージェントは、ブラウザを使用してプラットフォームにログインされ得る。１つまたは複数のログイン資格証明（たとえば、ユーザ名、パスワードなど）は、エージェントがコンソールまたはコンソール中に含まれるウェブアプリケーションに対するアクセスを得ることを可能にする前に、エージェントの識別情報を認証するために使用され得る。コンソールの例は、１つまたは複数のＡＰＩ（アプリケーションプログラミングインターフェース）、１つまたは複数の機能を含むダッシュボード、通信セッションを確立することまたはそれに加わることが可能である（プラグインをダウンロードする必要なしに）ウェブブラウザ上で実行するウェブホストアプリケーション、および他の好適なインターフェースを含む、プラットフォームを含むことができる。さらに、コンソールは、実行され得る１つまたは複数のウェブアプリケーションまたは機能を含むことができる。ウェブアプリケーションまたは機能は、ブラウザにおいて、通信サーバ７１０、ローカルサーバ、リモートサーバ、または他の好適なコンピューティングデバイスにおいて実行され得る。たとえば、ウェブアプリケーション、ネイティブアプリケーション、または機能は、エージェントが、ユーザと通信することと、ユーザと１つまたは複数のボットとの間の通信を閲覧することとを可能にすることができる。

[00102]いくつかの実装形態では、通信サーバ７１０は、特定の通信セッション中に会話がボット７２０と端末デバイス７１５との間で動的に切り替わることを引き起こす自動化を推奨することができる。そのような自動化またはサポートは、通信サーバ７１０にとって利用可能なボットのセットから選択され得る。いくつかの例では、通信サーバ７１０は、双方向通信からの入力データが分析されるとき、リアルタイムで、クライアントボット７３０、外部ボット７４０、またはソースボット７５０など、任意の数のボットに問い合わせることができる。ボットクエリは、通信サーバ７１０が、問い合わせられたボットから信頼性スコアを受信することを生じる。信頼性スコアが通信サーバ７１０において利用可能である（たとえば、ボット７３０、７４０、および／または７５０を実行するリモートデバイスから受信された、ならびに／あるいはスコアがローカルに生成された）とき、信頼性スコアを修正するためにローカルマッピング較正が使用され、双方向通信を促進する際に使用されるように選択されるボットが、修正された信頼性スコアに基づいて選択される。修正は、しきい信頼性値に基づいて、いくつかのボットを、考慮することから拒否するためのフィルタ、または履歴フィードバックに基づくスコア修正を含むことができる。

[00103]いくつかの例では、通信サーバ７１０は、ネットワークデバイス７０５と選択されたボット７２０との間の通信セッションを促進することができる。ボット７２０は、通信セッション中に１つまたは複数のメッセージをネットワークデバイス７０５と交換することによって、ネットワークデバイス７０５と自律的に通信するように構成され得る。通信サーバ７１０は、ライブエージェントが、ボット７２０の代わりに、ネットワークデバイス７０５と通信することができるように、ボット７２０を端末デバイス７１５と切り替える（または、場合によっては、逆）べきかどうかを動的に決定することができる。いくつかの実装形態では、切替えは、ネットワークデバイス７０５または端末デバイス７１５からの催促なしに実施され得る。たとえば、切替えは、端末デバイスに要求するようにネットワークデバイス７０５に催促せずに、ネットワークデバイス７０５とボット７２０との間で交換されるメッセージのメッセージパラメータ（たとえば、あるメッセージまたは一連のメッセージの感情を表すスコア）に基づき得る。

[00104]いくつかの実装形態では、通信サーバ７１０は、ボット７２０を端末デバイス７１５と切り替える（または、場合によっては、逆）べきかどうかを自動的に決定するために、１つまたは複数の機械学習モデルまたは人工知能を利用する。たとえば、ネットワークデバイス７０５とボット７２０との間で交換されるメッセージは、出力を生成するために、１つまたは複数の機械学習モデルまたは人工知能によって入力として使用され得る。出力は、ネットワークデバイス７０５とボット７２０との間の通信セッションが、ライブエージェントに切り替えられるべきであるのか、維持されるべきであるのかを指定し得る。機械学習モデルは、教師あり学習技法を使用してトレーニングされ得る。たとえば、入力メッセージのデータセットと、適切な応答エンティティ（たとえば、ライブエージェントまたはボット）を指定する対応する出力とが、機械学習モデルのトレーニングのために選択され得る。いくつかの例では、入力メッセージは、通信サーバ７１０の管理者、ネットワークデバイス７０５の、および通信サーバ７１０と対話し得る他のネットワークデバイスのユーザ、ならびに／または通信サーバ７１０に関連付けられた他のソースから取得され得る。機械学習モデルまたは人工知能は、機械学習モデルまたは人工知能に供給された入力メッセージに基づいて、機械学習モデルまたは人工知能が、対応する通信セッションがライブエージェントによって処理されるべきであるのか、ボットによって処理されるべきであるのかを決定するために使用され得る有用な出力を提供しているかどうかを決定するために、評価され得る。この評価に基づいて、機械学習モデルまたは人工知能は、機械学習モデルまたは人工知能が所望の結果を生成する可能性を増加させるために修正され得る（たとえば、１つまたは複数のパラメータまたは変数が更新され得る）。

[00105]いくつかの実装形態では、１つまたは複数の機械学習モデルまたは人工知能は、入力メッセージまたは一連のメッセージの感情を表すスコアを出力として生成し得る。通信サーバ７１０は、生じたスコアがボット７２０またはライブエージェントへの通信セッションの割振りに対応するしきい値を超えるかどうかを決定し得る。たとえば、スコアがしきい値を超える場合、通信サーバ７１０は、通信セッションがボット７２０に最も適していると決定し得る。したがって、通信セッションが現在ネットワークデバイス７０５と端末デバイス７１５（たとえば、ライブエージェント）との間にある場合、通信サーバ７１０は、通信セッションを端末デバイス７１５からボット７２０に自動的に遷移させるか、または、端末デバイス７１５を動作させるライブエージェントに、ボット７２０がネットワークデバイス７０５との通信セッションを扱い得ることを示し得る。代替として、スコアがこのしきい値を超えない場合、通信サーバ７１０は、通信セッションが端末デバイス７１５（たとえば、ライブエージェント）に最も適していると決定し得る。この例では、通信セッションが現在ネットワークデバイス７０５とボット７２０との間にある場合、通信サーバ７１０は、通信セッションをボット７２０から端末デバイス７１５に自動的に遷移させ得る。いくつかの事例では、スコアがこのしきい値を超えない場合、通信サーバ７１０は、端末デバイス７１５を動作させるライブエージェントに、それが通信セッションに介入するべきであることを示し得る。上記で説明されたしきい値およびスコアは例示的であるように意図されており、ネットワークデバイス７０５との特定の通信セッションのためにボット７２０を利用すべきなのか、端末デバイス７１５を利用すべきなのかを決定するために、代替のしきい値およびスコアリング機構が実装され得ることに留意されたい。

[00106]いくつかの事例では、通信サーバ７１０は、ネットワークデバイス７０５との所与の通信セッションのための関連のあるアクションを決定するために使用され得るルールまたはポリシーの動的セットを実装し得る。ルールのセットは、管理者、または通信サーバ７１０に関連付けられた他の許可されたエンティティによって提供され得るか、あるいは上記で説明されたような１つまたは複数の機械学習アルゴリズムまたは人工知能を使用して生成され得る。例示的な例として、通信サーバ７１０は、ルールまたはポリシーのセットに基づいて、（たとえば、通信セッションをボット７２０から端末デバイス７１５に遷移させること、またはその逆などの）代替アクションを起動させるべきかどうかを決定するために、ネットワークデバイス７０５とボット７２０または端末デバイス７１５のいずれかとの間の会話の進行を評価し得る。たとえば、通信サーバ７１０が、通信セッション中に交換された取得されたメッセージに基づいて、ボット７２０についての信頼性スコアにおいておよび／またはネットワークデバイス７０５のユーザについての感情スコアにおいてフラックスがあると決定した場合、通信サーバ７１０は、通信セッションに関連のあるルールまたはポリシーのセットに基づいて、適切なアクションを決定し得る。これは、通信セッションをボット７２０から端末デバイス７１５に遷移させること、端末デバイス７１５に、それが通信セッションに介入するべきであることを示す通知を送信することなどを含み得る。関連のあるアクションがとられると、通信サーバ７１０は、ルールまたはポリシーのセットを条件としてとられたアクションの影響を評価するために、通信セッション中に交換された後続のメッセージを監視し続け得る。これらの後続のメッセージからおよび／またはユーザとライブエージェントのセッション後から蓄積されたフィードバックに基づいて、通信サーバ７１０は、ルールまたはポリシーのセットを生成するために利用される機械学習アルゴリズムまたは人工知能を更新し得る。これらの更新は、通信セッション中にとられるべきアクションについての改善された推奨を提供するために、ルールまたはポリシーのセットの動的作成または修正を生じ得る。ルールまたはポリシーのセットが、管理者、または通信サーバ７１０に関連付けられた他の許可されたエンティティによって定義される場合、通信サーバ７１０は、取得されたフィードバックと、ルールまたはポリシーのセットを更新するための推奨のセットとを、管理者または他の許可されたエンティティに提供し得る。

[00107]いくつかの実装形態では、通信サーバ７１０は、ボット７２０とネットワークデバイス７０５との間で交換されたメッセージの特性に基づいて、ボット７２０と端末デバイス７１５とを自動的に切り替えることを決定することができる。いくつかの事例では、特性（たとえば、メッセージパラメータ）を決定するためにメッセージのテキストを分析することは、メッセージに関連付けられたテキストまたは非テキスト属性の分析を含むことができる。たとえば、通信サーバ７１０は、メッセージ中に含まれるテキストの１つまたは複数の行をネットワークデバイス７０５から抽出することができる。通信サーバ７１０は、テキストの１つまたは複数の行がアンカーを含むかどうかを識別することができる。アンカーの例は、極性に関連付けられたテキストのストリング（たとえば、感情または意図、否定的極性（negative polarity）または苛立ち極性に対応する「苛立っている」というワード、肯定的極性（positive polarity）に対応する「幸せな」というワードなど）を含む。たとえば、１つのクライアントにとっての「論争」という用語は、否定的であり得るが、第２のクライアントにとって中立または肯定的であり得る。いくつかの事例では、アンカーは、教師あり機械学習技法を使用して動的に決定され得る。たとえば、１つまたは複数のクラスタリングアルゴリズムが、記憶されたメッセージ内のパターンを見つけるために、記憶されたメッセージに対して実行され得る。クラスタリングされたメッセージは、アンカーを決定するためにさらにフィルタ処理および評価され得る。さらに、識別されたアンカー近くの１つまたは複数のワードが、アンプリファイア（amplifier）についてパースされ得る。アンプリファイアの一例は、「とても（really）」、「あまり（not really）」、「ちょっと（kind of）」など、アンカーの極性に関連付けられた強度を増加または減少させる用語である。特性は、たとえば、タイピングの速度、メッセージ中で使用される特殊文字（たとえば、感嘆符、疑問符など）の数、（たとえば、キーワード、文構造、繰り返されるワード、句読文字および／または非冠詞ワードを識別することによる）メッセージのセマンティック分析、（たとえば、選択された１つまたは複数のカテゴリーを有する）ユーザ入力、および／またはメッセージ関連統計（たとえば、応答レイテンシ）を含むことができる。

[00108]非限定的な例として、メッセージパラメータは、否定的極性の高い強度を示す数値であり得る（たとえば、より低い数が否定的極性を示し、より高い数が肯定的極性を示す、０～１００のスケールで２０のメッセージパラメータ）。アルゴリズムは、メッセージパラメータを計算するために使用され得る。たとえば、アルゴリズムは、教師あり機械学習技法に基づき得る。さらなる例では、「ちょっと」という用語が（たとえば、「私はちょっと好きではありません（I kind of don’t like）」という文の場合のように）「好きではありません（don’t like）」というアンカーの近くにある場合、「ちょっと」という用語は、否定的極性の中間強度を示すアンプリファイア用語として識別され得る。この場合、メッセージパラメータは、否定的極性の中間強度の識別に基づいて生成され得る。非限定的な例として、メッセージパラメータは、否定的極性の中間強度を示す数値（たとえば、２０のメッセージパラメータとは対照的に、４０のメッセージパラメータ）であり得る。いくつかの事例では、メッセージパラメータは、どの２次キューが通信を記憶するべきであるかを決定するために使用され得る。

[00109]いくつかの実装形態では、メッセージの特性は、メッセージに関連付けられた感情であり得る。メッセージパラメータは、メッセージの感情を表すことができる。たとえば、メッセージの感情が、幸せなである場合、メッセージパラメータは、ある値またはある範囲の値であり得、メッセージの感情が、怒っているである場合、メッセージパラメータは、別の値または別の範囲の値であり得る。ボットと端末デバイスとを切り替えるべきかどうかを決定することは、通信サーバ７１０において受信された各新しいメッセージで連続的におよび自動的に更新される、メッセージパラメータに基づき得る。

[00110]いくつかの実装形態では、通信サーバ７１０が、会話がボット７２０から端末デバイス（たとえば、ライブエージェント）に切り替えられるべきであると決定した場合、通信サーバ７１０は、どの端末デバイス（たとえば、エージェント）がネットワークデバイス７０５のユーザによって提示された技術的問題を確実に解決する可能性がより高いかを識別する。たとえば、ネットワークデバイス７０５から受信されたメッセージの特性と、そのメッセージを介してネットワークデバイス７０５のユーザによって表現された技術的問題とに基づいて、通信サーバ７１０は、ユーザとの肯定的な対話のより高い可能性を提供しながら、技術的問題に対処する可能性があるエージェントに関連付けられた端末デバイスを識別し得る。

[00111]どのエージェントが技術的問題についてユーザに応答するのに最も適しているかを識別するために、通信サーバ７１０は、出力として特定のエージェントの選択を提供するように構成された機械学習モデルまたは人工知能アルゴリズムへの入力として、ネットワークデバイス７０５から受信されたメッセージの特性と、ネットワークデバイス７０５のユーザによって表現された技術的問題とを使用し得る。機械学習モデルまたは人工知能アルゴリズムは、ユーザとライブエージェントとの間の前に行われた会話に関連付けられたフィードバックを使用してトレーニングされ得る。このフィードバックは、各エージェントについてのいくつかの特性を識別するために使用され得る。これらの特性は、限定はしないが、技術的問題に関連付けられた専門分野、特定の感情に対する応答性（たとえば、ユーザの苛立ちまたは怒りを低減する能力など）、応答レイテンシ、ユーザ満足度レーティングまたはスコアなどを含み得る。エージェントが、ネットワークデバイス７０５とボット７２０との間の会話に介入することを必要とされる場合、通信サーバ７１０は、会話に介入し、肯定的なユーザ経験の増加された可能性を提供し得る、特定のエージェントを選択するために、機械学習モデルまたは人工知能アルゴリズムを使用し得る。

[00112]いくつかの実装形態では、通信サーバ７１０は、ネットワークデバイスとボットとの間の会話に介入するためのエージェントを選択するために使用される機械学習モデルまたは人工知能アルゴリズムをトレーニングまたは更新するために、ネットワークデバイス７０５からのフィードバックを使用する。たとえば、ネットワークデバイス７０５が、選択されたエージェントとの否定的な経験を示すフィードバックを提供する場合、通信サーバ７１０は、受信されたフィードバックに関連付けられた会話と同等または同様の特性を有する会話についてのエージェントの選択の可能性を低減するために機械学習モデルまたは人工知能アルゴリズムを更新し得る。代替として、ネットワークデバイス７０５が、選択されたエージェントとの肯定的な経験を示すフィードバックを提供する場合、通信サーバ７１０は、同等または同様の会話に肯定的に対処するエージェントの能力をさらに強化するために機械学習モデルまたは人工知能アルゴリズムを更新し得る。

[00113]いくつかの実装形態では、通信サーバ７１０は、ネットワークデバイス７０５から受信されたメッセージに対する応答を推奨または予測し得る。たとえば、通信サーバ７１０は、ネットワークデバイス７０５から受信されたメッセージを評価し、それらの受信されたメッセージに対する応答を推奨するために機械学習モデルを使用することができる、メッセージ推奨システムを含むことができる。メッセージ推奨システムは、エージェントがネットワークデバイス７０５と通信するのを支援するために、推奨されるメッセージのセットを端末デバイス７１５上に表示することができる。

[00114]図８は、いくつかの実施形態による、通信サーバ８０５のブロック図を示す。通信サーバ８０５は、図７の通信サーバ７１０の内部構成要素を示し得る。通信サーバ８０５は、プロセッサ８１０とメモリ８１５とを含む、中央処理ユニット（ＣＰＵ）８０７を含み得る。通信サーバ８０５は、ストレージ８２０をさらに含み得る。

[00115]ＣＰＵ８０７は、コンピュータ可読媒体８２５に結合され得る。コンピュータ可読媒体８０５は、任意の数のモジュールおよびエンジンを有し得る。５つのモジュールおよびエンジンが示されているが、本明細書で説明される機能を実施するために、より少数のまたはより多数のモジュールまたはエンジンがコンピュータ可読媒体８２５において実装され得ることが企図される。図８に示されているように、コンピュータ可読媒体８２５は、意図決定エンジン８２７と、ボット転送エンジン８２９と、フィードバックモジュール８３１と、ユーザインターフェース（ＵＩ）構成エンジン８３３と、機械学習エンジン８３５とを含み得る。

[00116]意図決定エンジン８２７は、プロセッサ８１０とともに、会話についての要求を受信するように構成され得る。要求は、ユーザによって動作されるネットワークデバイスから受信され得る。要求は、たとえば、エージェントによって動作される端末デバイスにおいて受信され得る。意図決定エンジン８２７は、プロセッサ８１０とともに、会話の意図を決定するようにさらに構成され得る。意図は、要求から決定され得る。たとえば、要求は「私の注文状況を希望します（I want my order status）」と述べ得る。その意図は、「ｏｒｄｅｒ＿ｓｔａｔｕｓ」として要求から抽出され得る。

[00117]較正エンジン８３７は、本明細書で説明されるように、双方向通信セッション中にボットまたは他のリソースの選択を管理するように構成され得る。たとえば、意図決定エンジン８２７からの意図を使用して、通信サーバ８０５にとって利用可能なおよび識別された意図に関連のある、ボットのサブセットが識別され得る。ボットのサブセットへの初期クエリが、ボットのサブセットから受信された信頼性スコアのセットを生じることができる。較正エンジン８３７は、次いで、双方向通信セッションにおいて使用されるべきボットまたはリソースのリアルタイム選択を提供するために、機械学習エンジン８３５により生成されたマッピングデータを使用することができる。たとえば、システムが、入力データをパースして、意図として「注文状況」を識別した場合、システムは、その意図に関連のある５つの利用可能なボットを識別し得る。ボットは、０．９、０．８５、０．６、０．５、および０．５のそれぞれの信頼性スコアを返すことができる。最も高い返された信頼性スコアをもつボットを選択するのではなく、システムは、前の双方向通信からのフィードバックに基づいて動的較正マッピングをこれらのスコアに適用することができる。マッピングは、たとえば、０．９の信頼性スコアが０．７８のマッピングされたスコアに調整されることと、０．８５のスコアが０．８４のマッピングされたスコアに調整されることとを生じることができる。残りのボットについてのマッピングされたスコアがこれよりも低い場合、０．８４の信頼性スコアと０．８４のマッピングされたスコアとをもつボットが使用のために選択され得る。

[00118]このボットの使用中に、双方向通信への参加者（たとえば、顧客またはエージェントのいずれか）は、ボットに関するフィードバックを提供し得る。肯定的なフィードバックは、調整がより肯定的にされることを生じることができる（たとえば、同じまたは同様の入力データについて、次のマッピングは、０．８５から、０．８４へではなく、０．８５へのものであり得る）。否定的なフィードバックは、調整がより否定的にされることを生じることができる（たとえば、次のマッピングは、０．８５から、０．８４ではなく、０．８３へのものであり得る）。否定的なフィードバックは、さらに、較正エンジン８３７とボット転送エンジン８２９との組合せを使用して、現在の双方向通信について、リアルタイムで、異なるボットの動的選択をトリガすることができる。

[00119]ボット転送エンジン８２９は、プロセッサ８１０および較正エンジン８３７とともに、異なるタイプのボットのセットからのあるタイプのボットへの会話を動的に選択するか、変更するか、または転送するための、１つまたは複数のオプションを自動的に提供するように構成され得る。たとえば、双方向通信は、エージェントと顧客とが交互に通信を送ることを伴い得る。そのような通信中に、通信の分析は、信頼性スコアについてボットに送られる入力データを伴うことができる。入力データは、ＮＬＵ処理トリガおよび意図分析によってまたはエージェントからの要求によって識別され得る。しきい値を上回る信頼性スコアが生成されたとき、エージェントからあるタイプのボットに会話を転送するためのオプションがエージェントに提示され得る。このオプションがエージェントによって選択されたとき、対応するタイプのボットとの会話が促進され得る。会話は、手動でまたは自動的にのいずれかで、エージェントによって動作される端末デバイスからボットに転送され得る。自動転送は、たとえば、機械学習技法または過去の経験から決定される、特定のタイプのボットによる解決の高い信頼性を伴う意図について行われ得る。いくつかの実装形態では、ボット転送エンジン８２９が、高い信頼性を伴って、意図が特定のタイプのボットによって解決され得ると決定した場合、ボット転送エンジン８２９は、特定のタイプのボットに会話を転送するためのオプションを提供することなしに、エージェントによって動作される端末デバイスから特定のタイプのボットに会話を自動的に転送し得る。これは、ボットとの会話を促進するためのオプションの手動選択の必要をなくし得る。いくつかの実装形態では、ボット転送エンジン８２９は、あるタイプのボットに会話を転送するための上述の１つまたは複数のオプションを提示すべきかどうかを決定するために、信頼性しきい値を利用し得る。たとえば、ボット転送エンジン８２９が、特定の意図が、あるタイプのボットによる解決についての高い信頼性スコアを有すると決定し、高い信頼性スコアが信頼性しきい値を超える場合、ボット転送エンジン８２９は、ボットに会話を転送するためのオプションを提示することなしに、この特定のタイプのボットに会話を自動的に転送し得る。代替として、ボット転送エンジン８２９が、特定の意図が、信頼性しきい値を超えない、あるタイプのボットによる解決についての信頼性スコアを有すると決定した場合、ボット転送エンジン８２９は、そのボットに会話を転送するための１つまたは複数のオプションを提示し得る。通信内で異なるボットを使用するための、ボット転送エンジン８２９の動作は、通信の他の態様の通信サーバ８０５管理と同時に行われ得る。たとえば、顧客が通信の一部として応答をタイピングまたは送信している間、ボット転送エンジンは、同時に、前のデータを処理しており、通信の一部として、新しいボットに通信を転送しているか、または新しいボットの実行を始動していることがある。顧客からの新しい通信が、ボット転送エンジン８２９によって行われた転送決定を動的に知らせるためにリアルタイムで分析され得、転送決定は、現在のボットが通信のための動作を実施しているのと同時に行われ得る。したがって、ボットは、通信のための動作を実行している（たとえば、通信テキストまたは他の通信応答を生成している）ことがあり、ボット転送エンジン８２９は、新しいボットを選択している。いくつかの態様では、ボット転送エンジン８２９によって新しいボットが選択された後に、新しいボットは、現在のボットが新しいボットへの転送より前に最終通信を終了している間に、双方向通信の一部として後続の出力または応答を構築するために通信データの分析を始めることができる。いくつかの態様では、ボット転送エンジン８２９は、複数のボットが通信の一部として同時に動作するべきであると決定することができ、ボットは、並列に分析動作を実施しながら顧客と連続的に通信するように構成され得る。そのような動作では、あるボットは、通信を支援するための処理リソースを、異なるボットも、同じ通信を支援するための処理リソースを使用しているのと同時に、使用することができる。ボット転送エンジン８２９は、次いで、顧客に通信されるべき異なるボットからの出力を管理することができる。さらに、本明細書で説明されるように、任意の数の顧客が通信サーバ８０５と同時に対話することができ、したがって、（１つまたは複数の）ボット転送エンジン８２９は、顧客との任意の数の双方向通信のためのボット選択および使用を同時に支援するように動作することができる。

[00120]いくつかの事例では、ボット転送エンジン８２９は、会話についての要求から決定された意図に基づいて、１つまたは複数のタイプのボットを識別し得る。たとえば、ボット転送エンジン８２９は、異なるタイプのボットが所与の意図に対する満足な応答を作り出す可能性または確率に対応する信頼性スコアを計算するために使用される、信頼性スコアアルゴリズムを実装し得る。信頼性スコアは、割合または値が低いほど、その応答が着信メッセージのための良好な予測である可能性が低くなり、割合が高いほど、その応答が着信メッセージのための良好な予測である可能性が高くなる、割合または他の値であり得る。ユーザが特定のタイプのボットとの会話に関して不満足を表現した場合、インテリジェントルーティングシステムは、信頼性スコアアルゴリズムを更新し得、したがって、同等または同様の意図について、特定のタイプのボットはより低い信頼性スコアを割り当てられ、これは、それにより、それらの同等または同様の意図が端末デバイス（たとえば、ライブエージェント）または別のタイプのボットによって適切に扱われる可能性がより高いという指示として働く。別の非限定的な例として、ユーザが特定のタイプのボットとの会話に関して満足を表現した場合、インテリジェントルーティングシステムは、信頼性スコアアルゴリズムを更新し得、したがって、同等または同様の意図について、特定のタイプのボットは等しいかまたはより高い信頼性スコアを割り当てられ、これは、それにより、それらの同等または同様の意図がその特定のタイプのボットによって適切に扱われる可能性がより高いという指示として働く。

[00121]いくつかの実装形態では、ボット転送エンジン８２９は、エージェントによって動作される端末デバイスからあるタイプのボットに会話を転送するための１つまたは複数のオプションを動的に提供し得る。たとえば、ボットを推奨し、フィードバックを受信するために端末デバイス上に表示され得るインターフェースを介して、ボット転送エンジン８２９は、識別された意図を扱うことが可能であり得るタイプのボットについての１つまたは複数の推奨をエージェントに提供し得る。各推奨は、意図が、対応するタイプのボットを使用して解決可能である可能性を示す、対応する信頼性スコアを含み得る。要求を扱うことが可能であり得る各タイプのボットについての信頼性スコアを提供することに加えて、ボット転送エンジン８２９は、インターフェースを介して、そのタイプのボットに通信セッションまたは会話を転送するためのオプションをエージェントに提供し得る。エージェントが、特定のタイプのボットに通信セッションを転送するためのオプションを選択した場合、ボット転送エンジン８２９は、この特定のタイプのボットに通信セッションを転送し得る。ボット転送エンジン８２９は、１つまたは複数のファクタに基づいて、特定のタイプのボットを選択し得る。たとえば、ボット転送エンジン８２９は、要求をサブミットしたユーザとの通信セッションに入るために十分な帯域幅を有する特定のタイプのボットを選択し得る。ボット転送エンジン８２９は、追加または代替として、ユーザの１つまたは複数の特性に基づいて、特定のタイプのボットを選択し得る。たとえば、ボット転送エンジン８２９は、ユーザの言語で通信するように構成された特定のタイプのボットを選択し得る。

[00122]いくつかの実装形態では、ボット転送エンジン８２９は、あるタイプのボットに会話を転送するための各推奨に関するフィードバックを提供するためのオプションをエージェントにさらに提供し得る。たとえば、エージェントが、特定のタイプのボットに会話を転送するための特定の推奨が不適切である（たとえば、そのタイプのボットが、識別された意図を扱うことができない、正しくない意図が識別された、など）と決定した場合、ボット転送エンジン８２９は、所与の意図および／または同様の意図について異なるタイプのボットについて、信頼性スコアを計算し、信頼性スコアに基づいて推奨を生成するために利用される機械学習アルゴリズムまたは人工知能をトレーニングするか、またはさもなければ更新するために、このフィードバックを使用し得る。これは、より低い信頼性スコアが同等または同様の意図について機械学習アルゴリズムまたは人工知能によってそのタイプのボットに割り当てられることを生じ得る。代替として、エージェントが、通信セッションが転送されるべきである特定のタイプのボットを選択した場合、ボット転送エンジン８２９は、特定のタイプのボットを利用するためのそれの推奨に関する肯定的なフィードバックの指示として、この選択を使用し得る。このフィードバックは、同等または同様の意図について特定のタイプのボットの使用についての信頼性スコアおよび推奨をさらに検証するように、上記で説明された機械学習アルゴリズムまたは人工知能をトレーニングするか、またはさもなければ更新するために使用され得る。

[00123]いくつかの実装形態では、エージェントが、特定のタイプのボットに会話を転送するための特定の推奨を拒否した場合、ボット転送エンジン８２９は、識別された意図に基づいて、他のタイプのボットに会話を転送するための１つまたは複数の新しい推奨を生成するために、機械学習アルゴリズムまたは人工知能を使用し得る。上述のように、エージェントが、特定のタイプのボットに会話を転送するための特定の推奨を拒否した場合、ボット転送エンジン８２９は、所与の意図および／または同様の意図について異なるタイプのボットについて、信頼性スコアを計算し、信頼性スコアに基づいて推奨を生成するために利用される機械学習アルゴリズムまたは人工知能をトレーニングするか、またはさもなければ更新するために、このフィードバックを使用し得る。ボット転送エンジン８２９は、識別された意図についての新しい推奨をエージェントに提供するために、更新された機械学習アルゴリズムまたは人工知能を使用し得る。したがって、ボット転送エンジン８２９は、その意図と、機械学習アルゴリズムまたは人工知能を使用して計算された異なるタイプのボットについての信頼性スコアとに基づいて、これらの異なるタイプのボットに会話を転送するための推奨をエージェントに動的および連続的に提供し得る。

[00124]異なるタイプのボットは、自動化された様式でいくつかの意図を扱うことが可能であり得る。たとえば、「ｏｒｄｅｒ＿ｓｔａｔｕｓ」という意図の場合、注文状況ボットが、提供された注文番号、顧客名、顧客電子メールアドレス、ＩＰアドレスなどを使用して、注文情報をプルすることが可能であり得る。注文情報が決定されると、注文状況は、注文状況ボットによって確かめられ、会話においてユーザに提供され得る。別の例として、「ｐａｙｍｅｎｔ＿ｓｔａｔｕｓ」という意図の場合、支払状況ボットが、提供されたアカウント番号、顧客名、顧客電子メールアドレス、ＩＰアドレスなどを使用して、請求情報をプルすることが可能であり得る。さらに、請求情報を使用して、支払状況ボットは、顧客が支払をサブミットしたかどうか、サブミットされた支払が処理されたかどうかなどを決定し得る。他のタイプのボットが、より複雑な技術的問題を扱うこと（たとえば、ハードウェアまたはソフトウェア問題をトラブルシュートすること、不正報告に対処することなど）が可能であり得る。

[00125]いくつかの実施形態では、ネットワークデバイスとボットとの間の会話は、端末デバイスを動作させるエージェントが会話に介入することを可能にするために、端末デバイスにおいて表示され得る。エージェントは、会話についてのユーザの満足度の計算された感情スコアに基づいて、会話に介入することを決定し得る（または、会話は、端末デバイスに自動的に転送され得る）。たとえば、ユーザが会話に満足している場合、感情スコアがそれを上回るべきである、しきい値が存在し得る。感情スコアがしきい値を下回る場合、会話は手動でまたは自動的に端末デバイスに転送され得る。

[00126]感情スコアは、感情スコアを生成するための入力として会話中に交換されるメッセージを利用するように構成され得る、機械学習エンジン８３５によって計算され得る。機械学習エンジン８３５は、教師あり学習技法を使用してトレーニングされた、１つまたは複数の機械学習モデルを利用し得る。たとえば、入力メッセージのデータセット、ならびに対応する感情および感情スコアが、機械学習モデルのトレーニングのために選択され得る。いくつかの例では、入力メッセージは、通信サーバ８０５の管理者、ユーザ、エージェント、および他のソースから取得され得る。１つまたは複数の機械学習モデルは、１つまたは複数の機械学習モデルに供給された入力メッセージに基づいて、１つまたは複数の機械学習モデルが、会話についての感情および対応する感情スコアを決定するために使用され得る有用な出力を提供しているかどうかを決定するために評価され得る。この評価に基づいて、１つまたは複数の機械学習は、１つまたは複数の機械学習モデルが所望の結果を生成する可能性を増加させるために修正され得る（たとえば、１つまたは複数のパラメータまたは変数が更新され得る）。

[00127]いくつかの事例では、１つまたは複数の機械学習モデルは、ネットワークデバイスとボットとの間の特定の会話についての感情を決定するために、１つまたは複数のクラスタリングアルゴリズムを利用し得る。たとえば、機械学習エンジン８３５は、極性に関連付けられ得るテキストのアンカーまたは他のストリングを識別するために、ネットワークデバイスとボットとの間の会話中に交換されたメッセージを抽出し得る。機械学習エンジン８３５は、抽出されたメッセージが既知の感情に関連付けられた特定のクラスタに対応するかどうかを決定し得る。クラスタはまた、会話についてのユーザの満足度の感情スコアに関連付けられるか、またはさもなければ、それを決定するために使用され得る。たとえば、各クラスタは、特定の感情に対応することに加えて、上記で説明されたような、極性を示し得る特定のスコアに関連付けられ得る。

[00128]いくつかの実装形態では、ネットワークデバイスとボットとの間の会話は、端末デバイスを動作させるエージェントが、会話を評価し、その会話に手動で介入することを必要とすることなしに、端末デバイスに自動的に転送され得る。たとえば、特定の会話についての感情スコアが感情スコアしきい値を下回る場合、ボット転送エンジン８２９は、ライブエージェントが会話に介入することを引き起こすために、ボットから端末デバイスに会話を自動的に転送し得る。いくつかの事例では、ボット転送エンジン８２９は、端末デバイスを動作させるエージェントが、会話に介入することまたは端末デバイスに会話を自動的に転送することを可能にするために、端末デバイスにおいて会話を提示すべきかどうかを決定するために、複数のしきい値を利用し得る。たとえば、会話についての感情スコアが、第１の感情スコアしきい値を下回るが、より低い第２の感情スコアしきい値を下回らない場合、ボット転送エンジン８２９は、エージェントが、必要であれば、会話に介入することを可能にするために、端末デバイスにおいて会話を提示し得る。しかしながら、感情スコアが第１の感情スコアしきい値と第２の感情スコアしきい値の両方を下回る場合、ボット転送エンジン８２９は、エージェント介入のために端末デバイスに会話を自動的に転送し得る。あるボットの信頼性スコアの代わりに、マッピングされたスコアを使用して選択されたそのボットについての感情スコアは、マッピングについてのフィードバックとして使用され得る。高い感情スコアはマッピング調整の値を増加させ得、低い感情スコアはマッピング調整の値を低下させ得る。

[00129]フィードバックモジュール８３１は、プロセッサ８１０とともに、会話に関するフィードバックを受信するように構成され得る。そのようなフィードバックは、ボットを変更することなしに、ローカルデータを使用してボットについてのマッピング調整を変更するために、較正エンジン８３７にフィードされ得る。フィードバックは、端末デバイスを動作させるエージェントによって、自動感情システムによって、顧客によって、または任意の他のそのようなソースによって提供され得る。フィードバックは、ボットが、どの程度良好に、意図を識別したか、および／またはネットワークデバイス上でユーザによって表現された要求を扱ったかを反映し得る。さらに、フィードバックモジュール８３１は、会話に関与したユーザからフィードバックを取得し得る。たとえば、会話の終了時に、フィードバックモジュール８３１は、ユーザによって利用されるネットワークデバイスに、ボットおよび／またはライブエージェントとのそれの会話に関するフィードバックを提供するための要求を送信し得る。この要求は、それを通して、ユーザが、会話に関するそれの感情を示し、ならびにボットおよび／またはライブエージェントの性能評価を提供し得る、調査の形態で提供され得る。いくつかの事例では、フィードバックモジュール８３１は、会話中に会話に関与したユーザからフィードバックを取得し得る。たとえば、フィードバックモジュール８３１は、ユーザの感情を決定するために、会話中にユーザの応答を評価し得る。たとえば、フィードバックモジュール８３１は、ユーザメッセージが、極性に関連付けられたアンカーを含むかどうかを識別するために、ユーザメッセージに関連付けられたテキストまたは非テキスト属性を分析し得る。例示的な例として、ユーザが、メッセージ中で、ユーザが「苛立っている」ことを示すか、または提案された解決策が正しくないこと（たとえば、「いいえ」応答など）を示す場合、フィードバックモジュール８３１は、メッセージが否定的極性を表すと決定し、したがって、ボットが、満足のいく様式で、意図を識別すること、および／またはユーザによって表現された要求を扱うことに失敗したと決定し得る。フィードバックは、任意の好適な形態で受信され得る。たとえば、フィードバックは、文字で、数字で、ワードを通して、アイコンまたはグラフィックスの選択を通してなどで表現され得る。フィードバックを提供し、会話のビューをレンダリングするために、エージェントおよび／またはユーザに表示されるインターフェースは、プロセッサ８１０とともにユーザインターフェース構成エンジン８３３によって扱われ得る。

[00130]機械学習エンジン８３５は、プロセッサ８１０とともに、会話、識別された意図、および提供されたフィードバックをデータベースにフィードし、どの程度良好にあるタイプのボットおよび／またはライブエージェントがその会話を扱ったかに関する推論を引き出すためにデータを分析するように構成され得る。このデータは、他の履歴会話データおよびフィードバックとともに、１つまたは複数の将来の要求に関連付けられた将来の意図を決定するために使用され得るモデルを構築するために使用され得る。たとえば、特定のタイプのボットが、ユーザの満足のいくように「ｏｒｄｅｒ＿ｓｔａｔｕｓ」意図を成功裏に扱った場合、将来の「ｏｒｄｅｒ＿ｓｔａｔｕｓ」意図もその特定のタイプのボットに転送され得る。さらに、「私の注文状況を希望します」と述べる将来の要求は、肯定的なフィードバックに基づいて「ｏｒｄｅｒ＿ｓｔａｔｕｓ」意図と自動的に相関され得る。しかしながら、特定のタイプのボットが、ユーザの満足のいかないように意図を不成功に扱った場合、前述の意図と同様の将来の意図は、これらの将来の意図がライブエージェントによって扱われるために端末デバイスに転送されるか、または、意図を扱うのにより適していることがある別のタイプのボットに、そのタイプのボットについてのおよび意図に基づいて計算された信頼性スコアに基づいて、転送され得る。

[00131]一例として、ユーザが「ｄｅｌｉｖｅｒｙ＿ｓｔａｔｕｓ」の意図を伴ってエージェントに初めて接触したとき、システムは、関連のあるボットに問い合わせ、較正（たとえば、マッピング）システムの現在のリアルタイム状況に基づいて、そのボットから受信された信頼性値を調整し、注文状況ボットについてのマッピングされたスコアに基づいて、利用可能なボットから注文状況ボットを選択し得る。ユーザは、次いで、（たとえば、双方向通信の一部として）双方向通信中にリアルタイムで注文状況ボットに自動的にリダイレクトされ得る。双方向通信が完了した後に、ボットへの転送を管理したエージェントは、注文状況ボットが、会話を転送するのに適したボットであったかどうか、および注文状況ボットが意図を解決することが可能であったか否か、および注文状況ボットがアクティブであったときに双方向通信がどの程度良好に進んだかのエージェントレーティングなど、対話の１つまたは複数の態様に関するフィードバックを提供し得る。さらに、ユーザは、注文状況ボットがユーザの意図を成功裏に解決したかどうか、注文状況ボットがユーザのメッセージに応答したかどうか、注文状況ボットからの応答が、その意図、および／またはユーザによってサブミットされた特定のメッセージに関連があったかどうかなど、対話の同様のまたは異なる態様に関するフィードバックをも提供し得る。注文状況ボットが正しいボットでなかったこと、会話が自動的に転送されるべきでなかったこと、または注文状況ボットが意図を解決することができなかったことを示し得る、エージェントが会話に介入しなければならなかったか否かを観測することによってなど、エージェントおよび／またはユーザからの明示的なフィードバックなしに、対話に関するフィードバックを収集するための他の技法が使用され得る。フィードバックは、将来の対話に適用され得るモデルをトレーニングするために使用され得る。そのような情報は、次いで、注文状況ボットについてのマッピング値を調整するために使用され得る。更新された調整は、次いで、同じまたは同様の入力データ（たとえば、「配達状況」、あるいはＮＬＵによって識別された配達状況意図にマッチするかまたは関連付けられた入力）に関連付けられたボットの将来の選択のために動的に使用されることになる。モデルは、将来の対話に適用された。

[00132]図９は、機械学習技法を使用してエンドポイント選択（すなわち、端末デバイスまたはボット）を向上させるためのネットワーク環境９００を表すブロック図を示す。ネットワーク環境９００は、（ユーザによって動作される）ネットワークデバイス９０５と、通信サーバ９１０と、ボット９１５と、端末デバイス９２０とを含み得る。通信サーバ９１０は、ネットワークデバイス９０５と、少なくとも１つのボット９１５と、端末デバイス９２０とが通信することを可能にする通信チャネルの確立を促進することができる。

[00133]通信サーバ９１０は、インテリジェントルーティングシステム９２５と、メッセージ推奨システム９３０と、メッセージデータストア９３５とを含み得る。そのようなシステムでは、インテリジェントルーティングシステム９２５は、双方向通信中に、信頼性スコアについてボットに問い合わせ、選択されたボットと、エージェント端末との間の通信の選択および転送を管理するための、較正またはマッピングエンジンを含むことができる。インテリジェントルーティングシステム９２５およびメッセージ推奨システム９３０の各々は、いくつかの動作を実装するための命令を実行するプロセッサとメモリとをもつ１つまたは複数のコンピューティングデバイスを含み得る。いくつかの実装形態では、インテリジェントルーティングシステム９２５は、ボット較正を実装し、ネットワークデバイスから受信された通信を適切な宛先にインテリジェントにルーティングするように構成された、ボットであり得る。インテリジェントルーティングシステム９２５は、１つまたは複数の機械学習技法または人工知能技法が、メッセージのリアルタイムインテリジェントルーティングとともに動的フィードバックを較正およびボット選択動作に提供することを引き起こす、コードを実行するように構成された、１つまたは複数のプロセッサを含み得る。いくつかの実装形態では、インテリジェントルーティングシステム９２５は、ネットワークデバイス９０５から受信されたメッセージがボット９１５によって成功裏に対処され得るかどうかを予測するモデルをトレーニングするために、１つまたは複数の機械学習技法を実行することができる。

[00134]非限定的な例として、インテリジェントルーティングシステム９２５は、通信サーバ９１０（たとえば、ユーザが様々なデバイスにわたって互いと通信することを可能にするように構成されたネイティブアプリケーション）によって確立または促進された通信チャネルを通してネットワークデバイス９０５からメッセージを受信し得る。インテリジェントルーティングシステム９２５は、上記で説明されたいくつかの実施形態に従って、着信メッセージを評価し得る。たとえば、インテリジェントルーティングシステム９２５は、意図を識別するために、トレーニングされた機械学習モデルを使用して、受信されたメッセージ中に含まれるコンテンツ（たとえば、テキスト、オーディオクリップ、画像、エモーティコン、または他の好適なコンテンツ）を評価し得る。入力データ（たとえば、通信テキストおよび／または意図データ）は、信頼性スコアを受信するために、利用可能なボットに送られ得、インテリジェントルーティングシステム９２５は、次いで、受信された信頼性スコアを較正することができる。信頼性スコアは、選択されたボット９１５に通信をダイレクトするために使用され得るか、または、ボットが選択されない（たとえば、マッピングされたスコアがしきい値を超えない、著しく異なるタイプのボットが、しきい値を上回る信頼性スコアを有する、など）場合、通信は、端末デバイス９２０を使用するエージェントにルーティングされる。インテリジェントルーティングからのデータは、メッセージデータストア９３５に記憶され、メッセージ推奨システム９３０を使用して様々なフィードバックシステムと統合され得る。

[00135]いくつかの実装形態では、インテリジェントルーティングシステム９２５は、予測された宛先のネットワークデバイス９０５に肯定応答を要求し得る。非限定的な例として、インテリジェントルーティングシステム９２５は、機械学習技法を使用してメッセージを評価し得、評価の結果は、ボット９１５がそのメッセージについての宛先であるという予測を含み得る。確認するために、インテリジェントルーティングシステム９２５は、フィードバック信号９４０を自動的に要求し得る。たとえば、フィードバック信号９４０は、ネットワークデバイス９０５が、ボット９１５がそのメッセージについての正しい宛先であるかどうかを肯定応答するための要求（たとえば、「技術的サポートは正しい宛先ですか？（Is Technical Support the correct destination?）」）を含み得る。ネットワークデバイス９０５が、ボット９１５が正しい宛先（たとえば、ネットワークデバイス９０５を動作させるユーザによって意図された宛先）であるという肯定応答を送信した場合、インテリジェントルーティングシステム９２５は、受信されたメッセージに厳密なまたはそれと同様のコンテンツ（たとえば、コンテンツ中の１０パーセントの差異など、類似性のしきい値）を含む将来のメッセージがボット９１５にルーティングされるべきであることを予測するように機械学習モデルをトレーニングし得る。しかしながら、インテリジェントルーティングシステム９２５が、ボット９１５が、受信されたメッセージについての正しいまたは意図された宛先でなく、むしろ端末デバイス９２０が正しいまたは意図された宛先であることを示す、フィードバック信号９４０を受信した場合、インテリジェントルーティングシステム９２５は、受信されたメッセージに厳密なまたはそれと同様のコンテンツを含む将来のメッセージが（ボット９１５の代わりに）端末デバイス９２０にルーティングされるべきであることを機械学習モデルにトレーニングし得る。いくつかの実装形態では、インテリジェントルーティングシステム９２５は、将来のメッセージを端末デバイス９２０にルーティングするように機械学習モデルを即時に更新またはトレーニングしないことがあるが、むしろ、インテリジェントルーティングシステム９２５は、受信されたメッセージと全く同じまたはそれと同様のコンテンツをもつすべての将来のメッセージを端末デバイス９２０にルーティングする前に、しきい値数の、ボット９１５への正しくないルーティングの間待機し得る。

[00136]メッセージデータストア９３５は、１つまたは複数のネットワークデバイスから過去に受信されたいくつかのまたはすべてのメッセージを記憶し得る。さらに、メッセージデータストア９３５は、ネットワークデバイスとの前の通信セッション中に端末デバイスまたはボットによって送信されたいくつかのまたはすべてのメッセージをも記憶し得る。メッセージデータストア９３５は、通信セッション中にネットワークデバイスによってボットに送信されたいくつかのまたはすべてのメッセージをも記憶し得る。さらに、メッセージデータストア９３５は、通信セッション中にボットによってネットワークデバイスに送信されたいくつかのまたはすべてのメッセージを記憶し得る。いくつかの実装形態では、メッセージデータストア９３５は、（たとえば、通信サーバ９１０で送信されたまたは受信された）処理されたすべてのメッセージのデータベースであり得る。

[00137]メッセージ推奨システム９３０は、メッセージデータストア９３５において記憶されたメッセージのデータベースを分析し得る。いくつかの実装形態では、メッセージ推奨システム９３０は、１つまたは複数の機械学習アルゴリズムまたは人工知能アルゴリズムを使用して、メッセージデータストア９３５において記憶されたメッセージを評価し得る。たとえば、メッセージ推奨システム９３０は、メッセージデータストア９３５に記憶されたメッセージのデータベースに対して、Ｋ－ｍｅａｎｓクラスタリング、ミーンズシフト（means-shift）クラスタリング、ノイズをもつアプリケーションの密度ベース空間クラスタリング（ＤＢＳＣＡＮ：Density-Based Spatial Clustering of Applications with Noise）クラスタリング、混合ガウスモデル（ＧＭＭ）を使用する期待値最大化（ＥＭ：Expectation-Maximization）クラスタリング、および他の好適な機械学習アルゴリズムなど、１つまたは複数のクラスタリングアルゴリズムを実行し得る。いくつかの実装形態では、エージェントを支援するための応答メッセージを予測するために、リカレントニューラルネットワーク（ＲＮＮ）または畳み込みニューラルネットワーク（ＣＮＮ）が使用され得る。いくつかの実装形態では、メッセージ推奨システム９３０は、通信セッション中にネットワークデバイスから受信された着信メッセージに対する応答を予測するためにすべての前のメッセージを評価するために、サポートベクターマシン（ＳＶＭ）、教師あり、半教師あり、アンサンブル技法、または教師なし機械学習技法を使用し得る。たとえば、メッセージ推奨システム９３０は、ネットワークデバイスから受信されたメッセージ（あるいはボットまたは端末デバイスから通信サーバ９１０において受信されたメッセージ）のコンテンツを評価し、評価の結果を、メッセージデータストア９３５に記憶された前のメッセージの１つまたは複数のクラスタと比較し得る。クラスタが識別されると、メッセージ推奨システム９３０は、信頼性しきい値に基づいて、最も関連のある応答メッセージを識別することができる。たとえば、（たとえば、ネットワークデバイス９０５から通信サーバ９１０において受信された）着信メッセージは、着信メッセージのコンテンツに基づく技術的問題に対応し得る。メッセージ推奨システム９３０は、着信メッセージが、着信メッセージのコンテンツの評価（たとえば、テキスト評価）に基づく技術的問題に対応することを識別することができる。メッセージ推奨システム９３０は、技術的問題に関連付けられたメッセージのクラスタを識別するために、メッセージデータストア９３５にアクセスすることができる。メッセージ推奨システム９３０は、信頼性しきい値に基づいて、メッセージのクラスタ内の１つまたは複数の応答メッセージを選択することができる。非限定的な例として、信頼性アルゴリズムは、信頼性スコアを生成するために実行され得る。信頼性スコアは、割合が低いほど、その応答が着信メッセージのための良好な予測である可能性が低くなり、割合が高いほど、その応答が着信メッセージのための良好な予測である可能性が高くなる、割合値であり得る。最小信頼性しきい値は、各発見されたパターンに関連付けられた確実性または信用性の測度として定義され得る。さらに、信頼性アルゴリズムの一例は、アプリオリアルゴリズム、２つのデータセット間の類似性を示す類似性アルゴリズム、および他の好適な信頼性アルゴリズムであり得る。

[00138]図１０は、本明細書で説明される例による、双方向通信セッションと、関連付けられた入力データとの態様を示す。図１０は、上記で説明された、ボット較正の態様を示す。図１０のチャートでは、入力データ１０１０（たとえば、双方向通信の一部としてのユーザ入力）が受信される。いくつかの例では、ユーザ入力はテキストデータであるが、他の例では、ユーザ入力は、音声データと、テキストデータにコンバートされた音声データと、自然言語処理システムからの構造化された出力データとを含む、任意のそのようなデータであり得る。次いで、ボットＡ １０２０Ａ、ボットＢ １０２０Ｂ、ボットＣ １０２０Ｃ、およびボットＤ １０２０Ｄとして示されている、複数のボット１０２０が、信頼性スコアについて問い合わせられる。ボットによって提供される信頼性スコアは、入力データに対する各ボットの応答の独立した（たとえば、不均一な）表現である。信頼性スコアが受信されたとき、それらは、マッピングされたスコアを生成し、マッピングされたスコアに基づいてボットを選択するために、（たとえば、ボットスコアマッパを使用する）ボット較正器１０２２において使用される。図示のように、各ボット１０２０は、ボット較正器１０２２の一部としての、関連付けられたボットスコアマッパ１０３０を有する。他の実装形態では、共有ボットスコアマッパ１０３０が、異なるボットについての相対信頼性スコアを決定するために使用され得る。いくつかの態様では、使用されるボット較正器は、較正されているボットのセットに基づき得る。たとえば、ボットＡ １０２０ＡとボットＢ １０２０Ｂとのみを使用する実装形態では、ボットＡ～Ｄ １０２０Ａ～１０２０Ｄのすべてを使用する別のシステムのためのものとは異なる較正器または較正が使用され得る。そのような異なる較正器は、ボットの特定のセットと比較して相対較正スコアを生成するように、ボットの以前の使用からのフィードバックとボットを使用した通信からの結果とに基づいて、独立してトレーニングされ得る。他の実装形態では、一般的な較正システムが、システム動作の所与のインスタンスにおいて特定のボットが使用されることにかかわらず、そのシステムにとって利用可能なすべてのボットのために使用される。動作１０４０において、ボット較正器は、（１つまたは複数の）ボットマッパ１０３０からの、マッピングされたスコアのうちの最も高いマッピングされたスコアを識別し、最も高いマッピングされたスコアに関連付けられた、複数のボット１０２０のうちのボットを選択する。動作１０５０において、最も高いマッピングされたスコアをもつ選択されたボットは、ユーザにルーティングするために査定される。いくつかの態様では、これは、単に、ボットをユーザに接続すること（たとえば、ここで、ボットがユーザにルーティングされ、次いで、動作１０８０において、双方向通信を促進するために使用される）を伴うことができる。他の例では、ユーザと直接ボット対話しなければならないかどうかを決定するための、あるいは動作１０６０および１０６５におけるボットの使用基準および／またはエージェント査定を有するための、追加の論理が使用され得る。促進は、選択されたボットに双方向通信をリダイレクトすること（たとえば、双方向通信が、顧客と、選択されたボットを実行するデバイスとの間の通信になるように、エージェントまたは扱っているボットから、選択されたボットに双方向通信をルーティングすること）を伴うことができる。動作１０９０において、選択されたボットについてのボットマッピングを機械学習または他のフィードバック機構が更新するために使用されるように、選択されたボットに関する情報が、双方向通信中にリアルタイムで集められ得る。フィードバック情報は、動作１０８５において分析された双方向通信中のデータのメタデータ、調査、または分析を含むことができる。フィードバック情報は、動作１０６５における、エージェントによるボット性能および選択の分析をも含むことができる。図１０の例では、選択されたボットを使用するように双方向通信をルーティングした後に、マッピングされたスコアは、選択されたボットが使用されるべきであるかどうかを決定するために、ボット使用基準に対して検査される。ボット使用基準は、動作１０６０において、ボット固有しきい値であり得る。しきい値がエージェント分析をトリガした場合、エージェントは、追加のフィードバックを提供するために、動作１０６５において、データ（たとえば、入力データ、ボット動作または機能の説明、あるいはボットに関する他のデータ）を分析する。いくつかのそのような例では、エージェントが、選択に異議を唱えるか、または否定的なフィードバックを提供した場合、別のボットが選択され得、ボット較正器中のボット固有情報は、入力データまたは同様のデータ（たとえば、同様の意図値をもつ入力データ）と、選択されたボットとの間の関連付けを否定的に調整するために更新され得る（たとえば、それのボットスコアマッパ１０３０が、選択されたボットについてのマッピングされたスコアを生成する）。動作１０６０において、ボット使用基準は、選択されたボットが基本エラー検査または妥当な関連性検査を満たすかどうかを決定するために、（たとえば、単独での、または他のデータと組み合わせた）信頼性スコアまたはマッピングされた信頼性スコアに基づく任意の基準であり得る。選択されたボットが使用検査に失敗した場合、ボット較正器は、選択されたボットを、考慮することから除外し、別のボットを選択するために動作１０４０に戻ることができる。いくつかの例では、しきい値数のボット（たとえば、２つのボット、３つのボット、５つのボットなど）が使用基準を満たすことに失敗した場合、システムは、ボットまたは関係する情報が自動システムを通して利用可能でないと仮定し、入力データのＮＬＵ分析に基づいて、現在の人間エージェントとの双方向通信を維持するかまたは人間エージェントに通信をルーティングすることができる。

[00139]いくつかの例では、動作１０５０において、選択されたボットにユーザをルーティングするのではなく、介入分析が実施され得る。介在分析は、手動エージェント分析、またはしきい値に対する自動検査であり得る。いくつかの例では、選択されたボットが、しきい値を下回るマッピングされた信頼性スコアを有する場合、エージェントは、ユーザがボットにルーティングされる前に、ボットの選択を確認するために使用され得る。いくつかの例では、エージェントが、（１つまたは複数の）スコアマッパ１０３０によって提供されたマッピングされたスコアからの上位ボットを選択または拒否するために、複数のボットが選択され、エージェントに送られる。いくつかの例では、分析が、識別されたボットにおける不規則性を識別するために、上位のマッピングされたスコアに関して実施される。たとえば、複数の無関係のボットが、あるしきい値を上回るマッピングされたスコアを有する場合、エージェントは、選択されたボットが双方向通信に適していることを確認するために使用され得る。

[00140]いくつかの例では、サーバデバイスまたはサーバシステムが、通信の所与のインスタンスまたはタイプに関連付けられた、通信の現在の状況に応じて、図１０で説明される分析の多くの異なるインスタンスを同時に実施し、異なるインスタンスは異なるステップを同時に実施することができる。たとえば、上記で説明されたような、いくつかの意図値に関連付けられたいくつかの通信は、いくつかのボットが、異なる顧客意図について異なる性能を提供することができるので、関連付けられたボットスコアの異なるセットを有することができる。通信サーバが、異なる基準（たとえば、意図値、顧客問題値など）についての複数の異なるボット較正セッションをアクティブに管理することができる。いくつかのそのようなシステムでは、異なる基準についてのボットスコアマッピングが、同時に異なる基準について、動的におよびリアルタイムで実施され、ボットスコア更新および基準は、異なる基準について別個に使用され得る。次いで、異なる基準についての、異なるボット較正器に対する更新が、所与の基準についてのデータが、関連付けられた通信セッションから集められるので、同じデバイスまたはシステムによって同時に実施され得る。

[00141]一例では、ボットＡ １０２０Ａは、販売についてのアポイントメントスケジューリングを支援するボットであり得、ボットＢ １０２０Ｂは、サービス呼についてのアポイントメントスケジューリングを支援するボットであり得、ボットＣ １０２０Ｃは、製品「ウィジェット」のためのデータベースから情報を見つけることを支援するボットであり得、ボットＤ １０２０Ｄは、ユーザを技術サポートに接続することを支援するボットであり得る。ユーザ入力は、顧客からコールセンターへの音声入力であり得、これは、音声－テキストシステムによってテキストにコンバートされ、および「私のウィジェットに関する問題についての支援をスケジュールするのに助けが必要です（I need help scheduling assistance for a problem with my widget）」として入力される。この情報は、ボット１０２０の各々にサブミットされ得、各ボットは、較正されていない関連性スコアを出力することができる。たとえば、ボットＡ １０２０Ａは、２００のスコアを返し得、ボットＢ １０２０Ｂは、９のスコアを返し得、ボットＣは、５０のスコアを返し得、ボットＤは、１５のスコアを返し得る。次いで、ボットＡ～Ｄのためのボットマッパ１０３０は、ボット較正器１０２２の一部としてスコアを受け付け、正規化されたスコアを出力することができる。ボットＡ １０２０Ａからのスコアは、１０００のスケールに基づき、２００の標準化されたスコアから９０の調整された標準化されたスコアへの、同様の入力データをもつ履歴データに基づく調整を伴って、スコアマッパによって、１０００の標準化されたスケールにマッピングされ得る。スコアマッパ中の標準化されたスコアは、単にスコアのベーススケールを標準化したスコアであり得る（たとえば、２０の最大スコアから、１０００の最大スコア、または任意の他のそのような最大スコアに変更する）。調整は、スコアをシフトするためにフィードバックを使用する、履歴データに基づく機械学習駆動型調整であり得る。たとえば、どのあるボットが選択されるか、フィードバックデータが、ボットがユーザ入力に適していなかったことを示し、スコアマッパは、同様のユーザ入力データが将来において受信されるときにそのボットについての否定的調整値を作成するための入力を受信することができる。

[00142]例に戻ると、ボットＢからのスコアは、１０のスケールに基づき得、スコアマッパ１０３０は９００の標準化されたスコアを生成することができ、前の肯定的結果に基づく、９５０の調整されたスコアを伴う（たとえば、入力データからの「支援をスケジュールする（scheduling assistance）」というサブタームを、ボットＢのためのスコアマッパ１０３０において肯定的調整を作成するために使用される、履歴データ中の肯定的結果にマッピングする）。ボットＣからのスコアは、１００のスケールに基づき得、ボットマッパは５００の標準化されたスコアを生成することができ、５００の調整されたスコアを伴う（たとえば、履歴データに基づく調整なし）。ボットＤからのスコアは、２０のスケールに基づき、７５０の標準化されたスコアを生成し得、（「私のウィジェットに関する問題（a problem with my widget）」）に関連付けられた履歴データに基づく、８５０の調整されたスコアを伴う。

[00143]ボット較正器１０２２は、次いで、最も高い調整された標準化されたスコアを有するボットを識別することができ、これは、この状況では、１０００のうち９５０の調整されたスコアをもつ、ボットＢである。動作１０５０において、ボットルーティングは、追加の基準について、選択されたボットの特性を分析することができる。いくつかの実装形態では、ボットは、動作１０８０においてボット／ユーザ会話を進めるためにユーザに直接ルーティングされ得る。他の実装形態では、追加の基準が実装され得る。たとえば、クライアント（たとえば、ボットと「ウィジェット」製品とに関連付けられた業者）が、自動ボット（たとえば、ボットＣ）が、人間エージェントに関連付けられたボット（たとえば、人間エージェントとのスケジューリングまたは接続を伴う、ボットＡ、Ｂ、およびＤ）より前に使用されるべきであるという基準を実装した場合、動作１０６０において、ボットＢは、人間エージェントに関連付けられたものとして拒否されることになり、ボットＣは、自動ボットが使用されるべきであるという基準に基づいて選択されることになる。いくつかの態様では、動作１０６０の基準分析の一部として、人間エージェントは、ユーザ入力１０１０と、追加の情報（たとえば、ユーザ入力１０１０に関連付けられた顧客が、ウィジェットを修復することに関する情報を繰り返し要求した履歴）とを分析し、スケジューリングボットＢが使用されることを可能にするために使用基準をオーバーライドすることができる。他の態様では、ボットＣは、使用基準に基づいて使用され得る。いくつかの実装形態では、ボットＣ動作が、ボットＣが顧客問題を解決することができないことをボットＣが識別する、エンドポイントを有し得、追加のボット選択が使用され得る。追加のボット選択は、自動ボットに関連付けられた基準とともに、メモリに記憶された、以前の較正されたスコアを使用することができる。次いで、自動ボットが使用され、失敗したことを示す履歴データが、最も高いスコアをもつ、ただし、人間エージェントに関連付けられた、以前のボットＢが、自動ボット（たとえば、人間エージェント対話に関連付けられないボット）の失敗に基づいて選択されることを可能にするために、ボット使用基準動作１０６０の一部として使用され得る。

[00144]ボット選択に関連付けられた通信の解決（たとえば、完了または遅延）の後に、ユーザ入力データ１０１０、ボット／ユーザ会話動作１０８０からのデータ、ボット較正器１０２２および（１つまたは複数の）スコアマッパ１０３０からの較正されたスコア、動作１０６５からの人間エージェント入力、または動作１０６０からのシステムにおける使用基準決定を含む任意のデータが、動作１０８５から受信されたフィードバックデータとともに使用され得る。すべてのそのようなデータは、次いで、動作１０９０において、ボットマッパを更新するために使用され得る。いくつかの態様では、動作１０９０におけるボットマッパに対する更新は、所与の（１つまたは複数の）ボットマッパのためのトレーニングを更新するために機械学習を使用することができる。いくつかの実装形態では、履歴データが、所与の時間期間の間集められ、（１つまたは複数の）ボットマッパ１０３０は、周期的間隔において、更新されたデータを使用して再トレーニングされる。いくつかの実装形態では、データは、リアルタイムで集められ、したがって、ボット較正器１０２２を使用するシステムが数百または数千の顧客と同時に対話するとき、顧客との各通信からのデータがボットマッパトレーニングシステムにリアルタイムでフィードされ、ボットマッパは、ボットマッパが、システムによって受信された新しいユーザ入力についてのスコアを較正するために使用されているのと同時に、リアルタイムフィードバックデータを使用して動的に更新され得る。新しいユーザ入力は、次いで、新しいユーザ入力のためのボットを選択するために査定され、それらの通信からのフィードバックが、同様に、（たとえば、特定のユーザ入力に関連付けられた標準化されたスコアの調整に対する修正として）ボットスコアマッパトレーニングにフィードバックされて、顧客問題を解決するために使用されるボットの選択を改善することによってシステム動作を改善する。

[00145]図１１は、本明細書で説明される例による、選択されたボットを使用して促進される双方向通信の態様を示す。図１１は、本明細書で説明されるボット較正を使用する、双方向通信における各ターン（turn）（たとえば、ユーザ／クライアントとエージェントまたはボットとの間の双方向通信の一部としての通信またはアクション）の分析を示す。

[00146]図１１によって示されているように、各ターンのための入力データが会話編成動作１１００のセットを生じる。ターンのための入力データが、最初に、ＮＬＵサービス１１１０によって処理される。そのようなＮＬＵサービスは、意図値、キーワード、または他のそのような入力データを識別することができる。意図値は、ローカルＮＬＵサービスまたはリモートＮＬＵサービスを含む、１つまたは複数のＮＬＵサービスを活用することによって生成され得る。そのようなＮＬＵ分析は、リアルタイムまたはほぼリアルタイムで実施され、したがって、あるターンのためのＮＬＵ分析は、別のターンが行われるときのプロセスにおけるものであり得、その追加のターンは、双方向通信のための進行中の（in process）ＮＬＵ分析に組み込まれ得るか、または追加のＮＬＵ分析が新しいターンのためにリアルタイムで行われ得る。ＮＬＵデータ（たとえば、意図値）は、次いで、会話プランニング１１２０において使用される。会話プランニングは、会話「タイプ」または応答プランを識別するためにＮＬＵサービスからのＮＬＵデータを使用することができる。さらに、会話プランニング１１２０は、（たとえば、ユーザが、新しいアポイントメントをスケジュールすることと、前に行われたアポイントメントのリストを受信することの両方を行うこと、または複数の異なるボットなどの異なるシステムサービスを使用し得る任意のそのような複数の異なるアクションをとることを希望する）マルチ意図双方向通信を識別することができる。会話プランニング１１２０は、双方向通信を促進するために追加の情報の収集またはサポートを管理するために、ＮＬＵサービス１１１０または初期ボットによって識別された初期意図からのスクリプトを識別し得る。

[00147]次いで、会話プランニング１１２０とＮＬＵサービス１１１０からのＮＬＵデータとに基づいて双方向通信のための最も良好なリソースを識別するために、プロバイダ発見１１３０が動的に実施される。プロバイダ発見１１３０は、ボットに問い合わせ、ボット信頼性スコアを受信し、信頼性スコアをマッピングするための、図１０において上記で説明された動作を含むことができる。プロバイダ発見は、さらに、識別されたボットを、ＮＬＵデータに関連付けられた人間エージェント（たとえば、意図に関連付けられた特殊な情報をもつエージェント）、双方向通信を促進し得る非ボットアプリケーション、エージェントまたは顧客のための情報コンテンツ、あるいは他のそのようなデータなど、追加のオプションと比較することができる。たとえば、上記で説明されたマッピングまたは較正システムは、ボットから較正データを受信し得るだけでなく、さらに、ＮＬＵデータに関連付けられた静的ヘルプテキスト、またはＮＬＵデータに関連付けられたエージェントプロファイルなど、他のリソースについての値または信頼性スコアにもアクセスし得る。識別されたボットではなく、非ボットリソースを、顧客にいつ提供すべきかを決定するために、様々な基準が使用され得る。たとえば、上記で説明されたように、ボットが、しきい値レベルを上回るマッピングされたスコアを有しない場合、エージェントリソースが識別され得るか、あるいは現在のエージェントが、現在のエージェントが選択するための情報テキスト、ボット、スクリプト、またはそのようなリソースの任意の組合せを含む、リソースのリストを提供され得る。

[00148]次のアクション選択１１４０において、次のアクションを選択するために、プロバイダ発見１１３０において識別されたリソースが使用される。たとえば、ボットしきい値選択基準を伴う上記の実装形態では、ボットが、しきい値を上回るマッピングされたスコアを有する場合、次のアクション選択１１４０は、最も高いマッピングされたスコアをもつボットを自動的に選択し得る。別の例では、現在のエージェントは、プロバイダ発見１１３０によって識別された１つまたは複数のオプションを提示され、エージェントは、選択１１４０において、利用可能なオプションから次のアクションを選択する。選択１１４０が行われると、選択されたリソースが、ディスパッチ動作１１５０において実行される。ディスパッチ１１５０は、選択されたボットとの接続に顧客をルーティングすること、識別された情報を顧客に提供すること、または次のアクション選択１１４０において選択されたリソースに関連付けられた他のそのようなアクションを含むことができる。ＮＬＵサービス１１１０からディスパッチ１１５０にわたるすべてのそのような動作は、リアルタイムで動的に行われ、これは、図１２に関して以下で説明されるように、ユーザが複数のターンを行う場合、複数のそのようなスレッドが同時に行われることを含む。会話プランニング１１２０は、たとえば、マルチ意図通信における複数の異なるリソースの提示を管理することができ、ならびに、通信において使用されるリソースに関するフィードバックを管理する（たとえば、ディスパッチされたボットに関する否定的なフィードバックをユーザが提供したとき、再プランニングする）。会話編成１１００のリアルタイム性質は、顧客が、双方向通信の一部として迅速に応答を受信することを可能にし、動的性質は、会話編成１１００が、双方向通信における顧客からの複数のターンに適応または応答することを可能にする。プロバイダ発見を通して識別されたボットは、標準顧客要求に対する効率的な応答を提供し、ＮＬＵサービス１１１０およびプランニング１１２０による動的分析は、会話編成１１００が、様々なリソースを使用すること、ならびに、システムの効率と、双方向通信システムを通して顧客に提供される情報およびサービスの品質とを改善するために複雑な対話のために人間エージェントを活用することを可能にする。

[00149]学習動作１１６０が、さらに、会話編成１１００の各ターンからのアクティブおよびパッシブフィードバック、ならびに、システム動作についてのアグリゲートされたデータ（たとえば、テキスト、メタデータ、エージェント分析、顧客ポーリングデータなど）を収集することができる。上記で説明されたように、そのような情報は、会話編成１１００の各ステップを改善するためにシステムによって使用され得る。本明細書で説明される例は、詳細には、図１０において上記で説明されたように、ボット較正データからのマッピングされたスコアを生成するために使用されるマッピングデータ更新するために、学習動作１１６０からのフィードバックを使用する。フィードバックは、ＮＬＵデータおよび／または入力データを特定のボットに関連付けるマッピングテーブルまたはマッピングファイル中のスコアを調整することとと、マッピングされたスコアを動的に生成するようにボット較正スコアを調整することとを行うために、使用され得る。システムは、フィードバックに応答してマッピングテーブルデータをリアルタイムで調整することによって、更新のためのダウンタイムなしにマッピングテーブルまたは他のそのようなマッピングシステムをリアルタイムで更新することができる。リアルタイムフィードバックは、第１の双方向通信からのデータが、第１の双方向通信と同時に行われている第２の双方向通信におけるボットの選択を知らせることを可能にする。第１の双方向通信からのフィードバックが受信されるとすぐに、マッピングスコアは、フィードバックを反映することと、第２の双方向通信のターンのための発見１１３０動作において同じボットを分析する、関連付けられた入力が受信された場合、第２の双方向通信のためのマッピングを提供することとを行うために、更新され得る。

[00150]マッピングファイルは、ＮＬＵデータ、入力データ、および特定のボットに関連付けられた、調整データを記憶することができるだけでなく、フィードバックに応答した将来の調整がどのように行われるかを決定するために使用され得るフィードバック履歴データをも記憶することができる。たとえば、入力データとボットとの間で初期関連付けが行われるとき、マッピングデータが存在しないことがあり、したがって、ボットからの信頼性スコアは調整なしで使用され得る。第１のシステム識別に応答した初期フィードバック、または入力データに応答したボットの選択が、同じまたは同様の入力データに応答したボットの将来の選択のための大きい調整較正を行うために使用され得る。システムは、同様の入力データに応答した同じボットの追加の選択を受けるので、フィードバックに応答して可能にされる調整の大きさは、フィードバックシステムが、ボットによって直接生成される信頼性とは異なるローカル信頼性を追跡するので、限定され得る。

[00151]いくつかの例では、ボットが、フィードバックならびにマッピングシステムを組み込み得る。そのような例では、マッピングシステムは、ボット信頼性スコアの変更を追跡することができ、したがって、ボットスコアに対する調整を提供するのではなく、マッピングシステムは、調整されたローカルスコアを識別する。たとえば、「スケジュール」ボットが、「アポイントメント」という入力データに応答して、．９５の信頼性スコアを返し得る。マッピングシステムが、入力データとボットとのその組合せについて、．８のマッピングされたスコアを識別し得る。単に、その組合せについて－０．１５だけ信頼性スコアを調整するのではなく、マッパは、．８をターゲットにし得、したがって、スケジュールボットによって組み込まれた更新およびフィードバックが、アポイントメントに対するスケジュールボットの信頼性応答を、．８８までシフトした場合、マッピングシステムは、．８のマッピングされたスコアを維持する。他の例では、調整が、マッピングシステムにおいて追跡され得、マッピングシステムは、ボットの信頼性スコアが、同じ入力に応答して変化したとき、フィードバック分析をリセットして、ボット動作の変更を反映し得る。同じ入力データによって生成されたる信頼性スコアを経時的に追跡することによって、マッピングシステムは、ボットについての更新に自動的に応答することができる。たとえば、マッピングシステムが１つの特定の入力データについての較正スコアに対する更新を識別する場合、分析しきい値は、ボットに対する変更がマッピングシステムによって識別される程度まで、ボットに関連付けられたすべての入力について調整またはリセットされ得る。ボットに対する小さい変更は、ボットに対する変更が識別された後でも履歴データが使用されることを可能にすることができ、ボットに対する大きい変更は、ボットについての履歴データが廃棄されることと、マッピングシステムが、履歴なしの新しいボットとしてそのボットを扱うこととを生じることができる。マッピングシステムは、次いで、ボットに対する別の大きい更新または変更が行われるまで、ローカルデータに関するローカル信頼性スコアを求めるために、経時的に、更新されたボットを動的に追跡することができる。

[00152]図１２は、本明細書で説明される例による、自然言語理解（ＮＬＵ）と、ボットと、フィードバックシステムとを用いて促進される双方向通信を示す。図１２は、双方向通信のためのユーザインターフェース１２００を示す。インターフェース１２００は、双方向通信への参加者についてのタイムスタンプおよび識別情報など、メタデータを含むことができる。インターフェース１２００は、対話の各ターンのためのテキスト入力データをさらに含むことができる。図１２に示されているように、インターフェース１２００は、「訪問者」と標示された顧客によって連続的に行われた２つのターンのための入力データ１２１０と入力データ１２２０とを含む。上記で説明されたように、各ターンは、会話編成１１００に従って、個別に処理され得る。図１２の例では、「注文状況」という入力データ１２１０は、「返品ポリシー」という入力データ１２２０から独立して処理され得る。これらの入力データの各々は、ＮＬＵサービス１１１０がＮＬＵデータを識別することと、会話プランニング１１２０が入力データ応答についてのプランを識別することと、プロバイダ発見１１３０が、入力データに関連付けられた可能なリソースを識別することとを伴う、図１１において上記で説明されたフローを使用して処理され得る。

[00153]図１３は、プロバイダ発見１１３０システムが、上記の入力データ１２１０および１２２０の各々のための上位リソースをエージェントに提示する、実装形態のためのユーザインターフェース１３００を示す。応答要素１３１０が、「ｏｒｄｅｒＢｏｔ」という識別されたボットとともに、「注文状況」入力データ１２１０を提示する。ｏｒｄｅｒＢｏｔは、システム中のボットに問い合わせることと、システムボットから受信された較正スコアをマッピングすることと、最も高いマッピングされたスコア（たとえば、図１３のサンプルでは、９６％）をもつボットとしてｏｒｄｅｒＢｏｔを選択することとによって、識別され得る。同様に、入力データ１２１０は、同じ分析を用いて処理され得る。ただし、ボットを識別するのではなく、「返品ポリシー」という入力データ１２２０に関連のある情報をもつ記事（article）が識別される。プロバイダ発見１１３０動作において、しきい値またはより高い関連性または信頼性スコアをもつボットが識別されないことがあり、したがって、「返品ポリシー」記事リソースは、「返品ポリシー」という識別された入力データに応答した、双方向通信を促進するための最良のリソースとして識別される。応答要素１３２０が、双方向通信を促進するためにリソースが使用されることを可能にする入力インターフェース要素とともに、エージェントユーザインターフェース１３００においてエージェントに記事に関する情報を提示する。図１３の例では、双方向通信に参加しているエージェントが、返品ポリシーに関する情報を提供するために応答要素１３２０の「記事を使用する」要素を選択することによって、連続的な顧客ターンによって行われた２つの入力に応答することができ、次いで、応答要素１３１０の「加える」要素を選択することによって、ユーザをｏｒｄｅｒＢｏｔにルーティングすることができる。

[00154]他の例では、双方向通信を管理するためにユーザインターフェース１３００に人間エージェントが提示されるのではなく、会話のためのボットまたは他の機械キュレータ（curator）が、識別されたリソースを双方向通信に自動的に組み込むことができる。いずれの場合も、双方向通信における顧客からのフィードバックデータが、双方向通信のためのフローまたは会話プランを変更するために（たとえば、会話プランニング１１２０のために）、代替リソースを動的に選択することと、リアルタイムフィードバックを提供することとを行うために、使用され得る。

[00155]図１４は、本明細書で説明される例による、ボット選択較正のための方法１４００のフローチャートである。方法１４００は、接続管理システム１５０または４５０、対話管理エンジン６２５、通信サーバ７１０または８０５、あるいは方法１４００を実施するように構成されたメモリと１つまたは複数のプロセッサとを含む任意の他のそのようなデバイスなど、双方向通信に参加しているデバイスによって実装され得る。いくつかの例では、エージェント端末またはユーザデバイスが、方法１４００のための機能を組み込むことができる。いくつかの例では、方法１４００は、デバイスの１つまたは複数のプロセッサによって実行されたとき、デバイスに、方法１４００を備える動作を実施させる、非一時的コンピュータ可読媒体に記憶された命令として実装される。

[00156]方法１４００は、双方向通信セッションの一部として入力データを受信するための動作１４０２を含み、ここにおいて、双方向通信は複数のボットに関連付けられる。方法１４００は、第１のボットと入力データとに関連付けられた第１の信頼性スコアにアクセスすることを含む動作１４０４を含み、ここにおいて、第１の信頼性スコアは、第１のボットによる入力データの分析によって生成され、ここにおいて、分析は、第１のボットと入力データとの間の関連付け強度を不均一に表す。方法１４００は、第２のボットと入力データとに関連付けられた第２の信頼性スコアにアクセスすることを含む動作１４０６を含み、ここにおいて、第２の信頼性スコアは、第２のボットによる入力データの分析によって生成され、ここにおいて、分析は、第２のボットと入力データとの間の関連付け強度を不均一に表す。方法１４００は、少なくとも、第１の信頼性スコアに関連付けられた第１のマッピングされたスコアと、第２の信頼性スコアに関連付けられた第２のマッピングされたスコアとを含む、複数のボットについてのマッピングされたスコアを生成することを含む動作１４０８を含み、ここにおいて、マッピングされたスコアは、複数のボットから受信された不均一な信頼性スコアを較正するために、ボットスコアマッパを使用して少なくとも第１の信頼性スコアおよび第２の信頼性スコアを分析することによって生成される。方法１４００は、マッピングされたスコアに基づいて、複数のボットのうちの選択されたボットを識別することを含む動作１４１０を含む。方法１４００は、選択されたボットを使用して双方向通信セッションを促進することを含む動作１４１２を含む。

[00157]いくつかの例では、選択されたボットは、複数のボットによって生成された自己生成された信頼性スコアの中からの最も高い信頼性スコアを有せず、選択されたボットは、複数のボットについてのマッピングされたスコアのうちの最も高いマッピングされたスコアを有する。いくつかの例では、方法１４００は、第１のマッピングされたスコアが、マッピングされたスコアのうちの最も高い値のスコアであるとき、第１のマッピングされたスコアをボット固有しきい値と比較することと、第１のマッピングされたスコアがボット固有しきい値を下回るとき、第１のマッピングされたスコアを拒否することとをさらに含むことができる。

[00158]いくつかの例では、方法１４００は、選択されたボットについてのフィードバックデータを受信することと、フィードバックデータに基づいて、ユーザ入力データと、ボットスコアマッパの選択されたボットとに関連付けられたマッピング調整値を動的に更新することとをさらに含むことができる。

[00159]いくつかの例では、方法１４００は、ユーザ入力データに関連付けられた入力データタイプに関連付けられたフィードバックを繰り返し受信することと、フィードバックに基づいて、ユーザ入力データと、ボットスコアマッパの選択されたボットとに関連付けられたマッピング調整値を動的に更新することとをさらに含むことができ、ここにおいて、マッピング調整値の最大調整が、選択されたボットについてのマッピング調整値に対する前の調整の数に基づいて選択され、ここで、選択されたボットは、ユーザ入力データの受信に関連付けられたボットスコアマッパのリアルタイムフィードバック状態に基づく。

[00160]いくつかの例では、方法１４００は、フィードバックデータに基づいて、ユーザ入力データと、ボットスコアマッパの選択されたボットとに関連付けられたマッピング調整値を更新することをさらに含むことができ、ここにおいて、フィードバックデータは、双方向通信セッションのメタデータと、双方向会話データとから自動的に生成される。

[00161]いくつかの例では、方法１４００は、フィードバックデータに基づいて、ユーザ入力データと、ボットスコアマッパの選択されたボットとに関連付けられたマッピング調整値を更新することをさらに含むことができ、ここにおいて、フィードバックデータは、双方向通信セッションに参加しているエージェントによって提供された手動フィードバックである。

[00162]いくつかの例では、方法１４００は、選択されたボットを拒否するエージェント入力を受信することと、選択されたボットのスコアを除くマッピングされたスコアに基づいて、第２の選択されたボットを選択することとをさらに含むことができる。いくつかの例は、複数のボットが、１つまたは複数のクライアントボットと、１つまたは複数のソースボットと、１つまたは複数の外部ボットとを含む場合、動作することができる。

[00163]いくつかの例では、方法１４００は、１つまたは複数の信頼性スコア要求を送信することをさらに含むことができ、ここにおいて、１つまたは複数の信頼性スコア要求は、１つまたは複数のボットを実行するサーバによって受信されたとき、サーバは、１つまたは複数のボットについての信頼性スコアを生成し、信頼性スコアは、第１の信頼性スコアと第２の信頼性スコアとを含む。

[00164]いくつかの例では、方法１４００は、デバイスの１つまたは複数のプロセッサを使用して第１のボットおよび第２のボットについての命令を実行することと、デバイスの１つまたは複数のプロセッサを使用して第１の信頼性スコアおよび第２の信頼性スコアを生成することとをさらに含むことができる。いくつかの例は、ユーザ入力データがテキストデータである場合、動作することができる。

[00165]いくつかの例では、方法１４００のいずれかの動作が、多くの異なる通信のために同時に実施され得、したがって、方法１４００のあるインスタンスの動作が、方法１４００の別のインスタンスの動作と同時に実施され得る。上記で説明されたように、そのような例は、異なる意図値または顧客問題値など、異なるボット基準についての別個のボット分析および較正の使用を可能にする。別個のボット較正は、単一のデバイスまたはシステムが、基準のあるセットについてのボット較正を基準の別個のセットについてのボット較正と同時に実施することを含むことができる。さらに、本明細書で説明されるボット較正、および他のそのような動作は、任意の数の通信セッションと同時に行われ得、その通信セッションからのデータおよびフィードバックが、システムが任意の数の通信セッションを促進しているとき、トレーニングのために使用されるデータセットを更新するためにリアルタイムで使用される。

[00166]上記の説明では、実施形態の完全な理解を提供するための具体的な詳細が与えられた。ただし、実施形態は、これらの具体的な詳細なしに実践され得ることを理解されたい。たとえば、実施形態を不必要な詳細で不明瞭にしないために、回路はブロック図として示されることがある。他の事例では、実施形態を不明瞭にすることを回避するために、よく知られている回路、プロセス、アルゴリズム、構造、および技法は、不必要な詳細なしに示されることがある。さらに、いくつかの例は、繰返し動作または介入動作を伴って動作することができ、動作の複数のインスタンスは、リアルタイムフィードバックに応答して行われる動的調整を伴って行われて、ボットスコアマッパについてのデータを更新して、信頼性スコアに対する調整を変更し、選択されるリソース（たとえば、ボット、記事、人間エージェントなど）の選択を変更して、双方向通信を促進することができる。

[00167]上記で説明された技法、ブロック、ステップおよび手段の実装は、様々な方法で行われ得る。たとえば、これらの技法、ブロック、ステップおよび手段は、ハードウェア、ソフトウェア、またはそれらの組合せで実装され得る。ハードウェア実装の場合、処理ユニットは、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、上記で説明された機能を実施するように設計された他の電子ユニット、および／あるいはそれらの組合せの内部に実装され得る。

[00168]また、実施形態の部分は、フローチャート、流れ図、データフロー図、構造図、またはブロック図として示されるプロセスとして説明され得ることに留意されたい。フローチャートは、動作を逐次的なプロセスとして説明することができるが、動作の多くは、並列にまたは同時に実施され得る。さらに、動作の順序は並べ替えられ得る。プロセスの動作が完了されるとき、プロセスは終了されるが、図中に含まれない追加のステップを有し得る。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応することができる。プロセスが関数に対応するとき、それの終了は、呼出し関数またはメイン関数への関数の復帰に対応する。

[00169]さらに、実施形態は、ハードウェア、ソフトウェア、スクリプト言語、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、および／またはそれらの任意の組合せによって実装され得る。ソフトウェア、ファームウェア、ミドルウェア、スクリプト言語、および／またはマイクロコードで実装されたとき、必要なタスクを実施するためのプログラムコードまたはコードセグメントは、記憶媒体などの機械可読媒体に記憶され得る。コードセグメントまたは機械実行可能命令は、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、スクリプト、クラス、あるいは、命令、データ構造、および／またはプログラムステートメントの任意の組合せを表すことができる。コードセグメントは、情報、データ、引数、パラメータ、および／またはメモリコンテンツをパスおよび／または受信することによって、別のコードセグメントまたはハードウェア回路に結合され得る。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、チケットパッシング、ネットワーク送信などを含む、任意の好適な手段を介してパス、フォワーディング、または送信され得る。

[00170]ファームウェアおよび／またはソフトウェア実装の場合、方法は、本明細書で説明される機能を実施するモジュール（たとえば、プロシージャ、関数など）を用いて実装され得る。命令を有形に具現するいかなる機械可読媒体も、本明細書で説明される方法を実装する際に使用され得る。たとえば、ソフトウェアコードは、メモリに記憶され得る。メモリは、プロセッサの内部またはプロセッサの外部に実装され得る。本明細書で使用される「メモリ」という用語は、長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他の記憶媒体のいずれかのタイプを指し、メモリの特定のタイプまたはメモリの数、あるいはメモリが記憶される媒体のタイプに限定されるべきではない。

[00171]その上、本明細書で開示される「記憶媒体」、「ストレージ」または「メモリ」という用語は、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ＲＡＭ、コアメモリ、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、および／または情報を記憶するための他の機械可読媒体を含む、データを記憶するための１つまたは複数のメモリを表すことができる。「機械可読媒体」という用語は、限定はしないが、ポータブルまたは固定記憶デバイス、光記憶デバイス、ワイヤレスチャネル、ならびに／あるいは、（１つまたは複数の）命令および／またはデータを含んでいるかまたは搬送する、記憶することが可能な様々な他の記憶媒体を含む。

[00172]本開示の原理が特定の装置および方法に関して上記で説明されたが、本説明は、本開示の範囲に対する限定ではなく、例としてのみ行われることを明確に理解されたい。

Claims (30)

1. 双方向通信セッションの一部として入力データを受信することと、ここにおいて、前記双方向通信セッションが複数のボットに関連付けられる、
   第１のボットと前記入力データとに関連付けられた第１の信頼性スコアにアクセスすることと、ここにおいて、前記第１の信頼性スコアが、前記第１のボットによる前記入力データの第１の分析によって生成され、ここにおいて、前記第１の分析が、前記第１のボットと前記入力データとの間の第１の関連付け強度を不均一に表す、
   第２のボットと前記入力データとに関連付けられた第２の信頼性スコアにアクセスすることと、ここにおいて、前記第２の信頼性スコアが、前記第２のボットによる前記入力データの第２の分析によって生成され、ここにおいて、前記第２の分析が、前記第２のボットと前記入力データとの間の第２の関連付け強度を不均一に表す、
   少なくとも、前記第１の信頼性スコアに関連付けられた第１のマッピングされたスコアと、前記第２の信頼性スコアに関連付けられた第２のマッピングされたスコアとを含む、前記複数のボットについてのマッピングされたスコアを生成することと、ここにおいて、前記マッピングされたスコアが、前記複数のボットから受信された不均一な信頼性スコアを較正するために、ボットスコアマッパを使用して少なくとも前記第１の信頼性スコアおよび前記第２の信頼性スコアを分析することによって生成される、
   前記マッピングされたスコアに基づいて、前記複数のボットのうちの選択されたボットを識別することと、
   前記選択されたボットを使用して前記双方向通信セッションを促進することと
   を備える、コンピュータ実装方法。
2. 前記選択されたボットが、前記複数のボットによって生成された自己生成された信頼性スコアの中からの最も高い信頼性スコアを有せず、
   前記選択されたボットが、前記複数のボットについての前記マッピングされたスコアのうちの最も高いマッピングされたスコアを有する、
   請求項１に記載のコンピュータ実装方法。
3. 前記第１のマッピングされたスコアが、前記マッピングされたスコアのうちの最も高い値のスコアであるとき、前記第１のマッピングされたスコアをボット固有しきい値と比較することと、
   前記第１のマッピングされたスコアがボット固有しきい値を下回るとき、前記第１のマッピングされたスコアを拒否することと
   をさらに備える、請求項１に記載のコンピュータ実装方法。
4. 前記選択されたボットについてのフィードバックデータを受信することと、
   前記フィードバックデータに基づいて、前記入力データと、前記ボットスコアマッパの前記選択されたボットとに関連付けられたマッピング調整値を動的に更新することと
   をさらに備える、請求項１に記載のコンピュータ実装方法。
5. 前記入力データに関連付けられた入力データタイプに関連付けられたフィードバックを繰り返し受信することと、
   前記フィードバックに基づいて、前記入力データと、前記ボットスコアマッパの前記選択されたボットとに関連付けられたマッピング調整値を動的に更新することと
   をさらに備え、ここにおいて、前記マッピング調整値の最大調整が、前記選択されたボットについての前記マッピング調整値に対する前の調整の数に基づいて選択され、
   ここにおいて、前記選択されたボットが、前記入力データの受信に関連付けられた前記ボットスコアマッパのリアルタイムフィードバック状態に基づく、請求項１に記載のコンピュータ実装方法。
6. フィードバックデータに基づいて、前記入力データと、前記ボットスコアマッパの前記選択されたボットとに関連付けられたマッピング調整値を更新すること
   をさらに備え、ここにおいて、前記フィードバックデータが、前記双方向通信セッションのメタデータと、双方向会話データとから自動的に生成される、請求項１に記載のコンピュータ実装方法。
7. フィードバックデータに基づいて、前記入力データと、前記ボットスコアマッパの前記選択されたボットとに関連付けられたマッピング調整値を更新すること
   をさらに備え、ここにおいて、前記フィードバックデータが、前記双方向通信セッションに参加しているエージェントによって提供された手動フィードバックである、請求項１に記載のコンピュータ実装方法。
8. 前記選択されたボットを拒否するエージェント入力を受信することと、
   前記選択されたボットのスコアを除く前記マッピングされたスコアに基づいて、第２の選択されたボットを選択することと
   をさらに備える、請求項１に記載のコンピュータ実装方法。
9. 前記複数のボットが、１つまたは複数のクライアントボットと、１つまたは複数のソースボットと、１つまたは複数の外部ボットとを含む、請求項１に記載のコンピュータ実装方法。
10. １つまたは複数の信頼性スコア要求を送信すること
    をさらに備え、ここにおいて、前記１つまたは複数の信頼性スコア要求が、１つまたは複数のボットを実行するサーバによって受信されたとき、前記サーバが、前記１つまたは複数のボットについての信頼性スコアを生成し、前記信頼性スコアが、前記第１の信頼性スコアと前記第２の信頼性スコアとを含む、請求項１に記載のコンピュータ実装方法。
11. デバイスの１つまたは複数のプロセッサを使用して前記第１のボットおよび前記第２のボットについての命令を実行することと、
    前記デバイスの前記１つまたは複数のプロセッサを使用して前記第１の信頼性スコアおよび前記第２の信頼性スコアを生成することと
    をさらに備える、請求項１に記載のコンピュータ実装方法。
12. 前記入力データがテキストデータである、請求項１に記載のコンピュータ実装方法。
13. メモリと、
    前記メモリに結合された１つまたは複数のプロセッサと
    を備える、システムであって、前記１つまたは複数のプロセッサは、
    双方向通信セッションの一部として入力データを受信することと、ここにおいて、前記双方向通信セッションが複数のボットに関連付けられる、
    第１のボットと前記入力データとに関連付けられた第１の信頼性スコアにアクセスすることと、ここにおいて、前記第１の信頼性スコアが、前記第１のボットによる前記入力データの第１の分析によって生成され、ここにおいて、前記第１の分析が、前記第１のボットと前記入力データとの間の関連付け強度を不均一に表す、
    第２のボットと前記入力データとに関連付けられた第２の信頼性スコアにアクセスすることと、ここにおいて、前記第２の信頼性スコアが、前記第２のボットによる前記入力データの第２の分析によって生成され、ここにおいて、前記第２の分析が、前記第２のボットと前記入力データとの間の関連付け強度を不均一に表す、
    少なくとも、前記第１の信頼性スコアに関連付けられた第１のマッピングされたスコアと、前記第２の信頼性スコアに関連付けられた第２のマッピングされたスコアとを含む、前記複数のボットについてのマッピングされたスコアを生成することと、ここにおいて、前記マッピングされたスコアが、前記複数のボットから受信された不均一な信頼性スコアを較正するために、ボットスコアマッパを使用して少なくとも前記第１の信頼性スコアおよび前記第２の信頼性スコアを分析することによって生成される、
    前記マッピングされたスコアに基づいて、前記複数のボットのうちの選択されたボットを識別することと、
    前記選択されたボットを使用して前記双方向通信セッションを促進することと
    を含む動作を実施するように構成された、システム。
14. 前記選択されたボットが、前記複数のボットによって生成された自己生成された信頼性スコアの中からの最も高い信頼性スコアを有せず、
    前記選択されたボットが、前記複数のボットについての前記マッピングされたスコアのうちの最も高いマッピングされたスコアを有する、
    請求項１３に記載のシステム。
15. 前記第１のマッピングされたスコアが、前記マッピングされたスコアのうちの最も高い値のスコアであるとき、前記第１のマッピングされたスコアをボット固有しきい値と比較することと、
    前記第１のマッピングされたスコアがボット固有しきい値を下回るとき、前記第１のマッピングされたスコアを拒否することと
    をさらに備える、請求項１３に記載のシステム。
16. 前記選択されたボットについてのフィードバックデータを受信することと、
    前記フィードバックデータに基づいて、前記入力データと、前記ボットスコアマッパの前記選択されたボットとに関連付けられたマッピング調整値を動的に更新することと
    をさらに備える、請求項１３に記載のシステム。
17. 前記入力データに関連付けられた入力データタイプに関連付けられたフィードバックを繰り返し受信することと、
    前記フィードバックに基づいて、前記入力データと、前記ボットスコアマッパの前記選択されたボットとに関連付けられたマッピング調整値を動的に更新することと
    をさらに備え、ここにおいて、前記マッピング調整値の最大調整が、前記選択されたボットについての前記マッピング調整値に対する前の調整の数に基づいて選択され、
    ここにおいて、前記選択されたボットが、前記入力データの受信に関連付けられた前記ボットスコアマッパのリアルタイムフィードバック状態に基づく、請求項１３に記載のシステム。
18. フィードバックデータに基づいて、前記入力データと、前記ボットスコアマッパの前記選択されたボットとに関連付けられたマッピング調整値を更新すること
    をさらに備え、ここにおいて、前記フィードバックデータが、前記双方向通信セッションのメタデータと、双方向会話データとから自動的に生成される、請求項１３に記載のシステム。
19. フィードバックデータに基づいて、前記入力データと、前記ボットスコアマッパの前記選択されたボットとに関連付けられたマッピング調整値を更新すること
    をさらに備え、ここにおいて、前記フィードバックデータが、前記双方向通信セッションに参加しているエージェントによって提供された手動フィードバックである、請求項１３に記載のシステム。
20. 前記選択されたボットを拒否するエージェント入力を受信することと、
    前記選択されたボットのスコアを除く前記マッピングされたスコアに基づいて、第２の選択されたボットを選択することと
    をさらに備える、請求項１３に記載のシステム。
21. 前記複数のボットが、１つまたは複数のクライアントボットと、１つまたは複数のソースボットと、１つまたは複数の外部ボットとを含む、請求項１３に記載のシステム。
22. １つまたは複数の信頼性スコア要求を送信すること
    をさらに備え、ここにおいて、前記１つまたは複数の信頼性スコア要求が、１つまたは複数のボットを実行するサーバによって受信されたとき、前記サーバが、前記１つまたは複数のボットについての信頼性スコアを生成し、前記信頼性スコアが、前記第１の信頼性スコアと前記第２の信頼性スコアとを含む、請求項１３に記載のシステム。
23. 前記システムの１つまたは複数のプロセッサを使用して前記第１のボットおよび前記第２のボットについての命令を実行することと、
    前記システムの前記１つまたは複数のプロセッサを使用して前記第１の信頼性スコアおよび前記第２の信頼性スコアを生成することと
    をさらに備える、請求項１３に記載のシステム。
24. 前記入力データがテキストデータである、請求項１３に記載のシステム。
25. 命令を備える非一時的コンピュータ可読媒体であって、前記命令は、デバイスの１つまたは複数のプロセッサによって実行されたとき、前記デバイスに、
    双方向通信セッションの一部として入力データを受信することと、ここにおいて、前記双方向通信セッションが複数のボットに関連付けられる、
    第１のボットと前記入力データとに関連付けられた第１の信頼性スコアにアクセスすることと、ここにおいて、前記第１の信頼性スコアが、前記第１のボットによる前記入力データの第１の分析によって生成され、ここにおいて、前記第１の分析が、前記第１のボットと前記入力データとの間の関連付け強度を不均一に表す、
    第２のボットと前記入力データとに関連付けられた第２の信頼性スコアにアクセスすることと、ここにおいて、前記第２の信頼性スコアが、前記第２のボットによる前記入力データの第２の分析によって生成され、ここにおいて、前記第２の分析が、前記第２のボットと前記入力データとの間の関連付け強度を不均一に表す、
    少なくとも、前記第１の信頼性スコアに関連付けられた第１のマッピングされたスコアと、前記第２の信頼性スコアに関連付けられた第２のマッピングされたスコアとを含む、前記複数のボットについてのマッピングされたスコアを生成することと、ここにおいて、前記マッピングされたスコアが、前記複数のボットから受信された不均一な信頼性スコアを較正するために、ボットスコアマッパを使用して少なくとも前記第１の信頼性スコアおよび前記第２の信頼性スコアを分析することによって生成される、
    前記マッピングされたスコアに基づいて、前記複数のボットのうちの選択されたボットを識別することと、
    前記選択されたボットを使用して前記双方向通信セッションを促進することと
    を備える動作を実施させる、非一時的コンピュータ可読媒体。
26. 前記選択されたボットが、前記複数のボットによって生成された自己生成された信頼性スコアの中からの最も高い信頼性スコアを有せず、
    前記選択されたボットが、前記複数のボットについての前記マッピングされたスコアのうちの最も高いマッピングされたスコアを有する、
    請求項２５に記載の非一時的コンピュータ可読媒体。
27. 前記第１のマッピングされたスコアが、前記マッピングされたスコアのうちの最も高い値のスコアであるとき、前記第１のマッピングされたスコアをボット固有しきい値と比較することと、
    前記第１のマッピングされたスコアがボット固有しきい値を下回るとき、前記第１のマッピングされたスコアを拒否することと
    をさらに備える、請求項２５に記載の非一時的コンピュータ可読媒体。
28. 前記選択されたボットについてのフィードバックデータを受信することと、
    前記フィードバックデータに基づいて、前記入力データと、前記ボットスコアマッパの前記選択されたボットとに関連付けられたマッピング調整値を動的に更新することと
    をさらに備える、請求項２５に記載の非一時的コンピュータ可読媒体。
29. 前記入力データに関連付けられた入力データタイプに関連付けられたフィードバックを繰り返し受信することと、
    前記フィードバックに基づいて、前記入力データと、前記ボットスコアマッパの前記選択されたボットとに関連付けられたマッピング調整値を動的に更新することと
    をさらに備え、ここにおいて、前記マッピング調整値の最大調整が、前記選択されたボットについての前記マッピング調整値に対する前の調整の数に基づいて選択され、
    ここにおいて、前記選択されたボットが、前記入力データの受信に関連付けられた前記ボットスコアマッパのリアルタイムフィードバック状態に基づく、請求項２５に記載の非一時的コンピュータ可読媒体。
30. フィードバックデータに基づいて、前記入力データと、前記ボットスコアマッパの前記選択されたボットとに関連付けられたマッピング調整値を更新すること
    をさらに備え、ここにおいて、前記フィードバックデータが、前記双方向通信セッションのメタデータと、双方向会話データとから自動的に生成される、請求項２５に記載の非一時的コンピュータ可読媒体。

Images