JP2023510241A - 仮想エージェント対話システムの会話ログの検索方法、システム、プログラム - Google Patents

仮想エージェント対話システムの会話ログの検索方法、システム、プログラム Download PDF

Info

Publication number
JP2023510241A
JP2023510241A JP2022541601A JP2022541601A JP2023510241A JP 2023510241 A JP2023510241 A JP 2023510241A JP 2022541601 A JP2022541601 A JP 2022541601A JP 2022541601 A JP2022541601 A JP 2022541601A JP 2023510241 A JP2023510241 A JP 2023510241A
Authority
JP
Japan
Prior art keywords
pattern
traces
cluster
value
symmetry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022541601A
Other languages
English (en)
Other versions
JP7575843B2 (ja
Inventor
アガーワル、シュブハム
ミューズ、クリスチャン
キム、ジョセフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2023510241A publication Critical patent/JP2023510241A/ja
Application granted granted Critical
Publication of JP7575843B2 publication Critical patent/JP7575843B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)
  • Machine Translation (AREA)

Abstract

自動化された仮想対話エージェントを使用して対話システムの性能を改善するためのコンピュータ・システム、コンピュータ・プログラム、および方法に関連する実施形態が提供される。実施形態は、対話の会話ログのトレースをセットにクラスタ化することを含み、セット間の１つまたは複数の対照性の時間的パターンに関してトレースを検索する。

Description

本実施形態は、例えば「チャットボット」などの自動化された仮想対話エージェント（virtualdialog agent）を採用する仮想対話エージェント・システム、ならびに関連するコンピュータ・プログラム製品およびコンピュータ実装方法に関する。特定の実施形態例では、システムからの会話ログ・ファイルが、自動化された仮想対話エージェントの性能を改善するために使用される。
チャットボットは、人工知能（ＡＩ：artificial intelligence）を、自動化された仮想対話エージェントと、通常はコンシューマなどのユーザとの間のトランザクションを実施するためのプラットフォームとして使用する、コンピュータ・プログラムである。トランザクションは、製品販売、顧客サービス、情報取得、または他の種類のトランザクションを含むことがある。チャットボットは、多くの場合は文字（例えば、オンラインまたはテキストによる）または聴覚（例えば、電話による）のいずれかによる対話を通じて、ユーザとやりとりする。
実施形態は、対話システムの性能を改善するためのシステム、コンピュータ・プログラム製品、および方法を含み、特定の実施形態では、改善は、システムの自動化された仮想対話エージェントの性能を対象にする。
１つの態様では、システムは、プロセッシング・ユニット（例えば、プロセッサ）を含むコンピュータ・システム、および人工知能（ＡＩ）プラットフォームと共に使用するために提供される。プロセッシング・ユニットは、対話システムの自動化された仮想対話エージェントとの対話に関連する複数の会話ログ・ファイルを受信するために、メモリに動作可能に結合され、会話ログ・ファイルの各々は、１つまたは複数の対話イベントのトレースを含んでいる。ＡＩプラットフォームは、プロセッシング・ユニットと通信し、会話ログ・ファイルのトレースの対話イベントを、複数の構文解析されたイベントに構文解析し、各挙動特性をトレースから抽出し、各挙動特性値をトレースに割り当てるためのトレース・マネージャと、トレース・マネージャに動作可能に結合され、各結果値へのトレースの各挙動特性値の近接性に基づいてトレースを複数のクラスタにクラスタ化するためのクラスタ・マネージャであって、複数のクラスタが、第１の結果を表す第１の結果値に最も近い各挙動特性値を有しているトレースの第１のクラスタ、および第１の結果と異なる第２の結果を表す第２の結果値に最も近い各挙動特性値を有しているトレースの第２のクラスタを含む、クラスタ・マネージャと、クラスタ・マネージャに動作可能に結合され、時間条件を伴うパターン仕様を複数の構文解析されたイベントのうちの少なくとも１つの構文解析されたイベントに適用することを含む、対照性パターンに関して複数の構文解析されたイベントを検索するための検索マネージャとを含み、少なくとも１つの構文解析されたイベントに関して、検索マネージャが、対照性パターンが対照性しきい値（contrastive threshold）を満たすかどうかを判定し、対照性パターンが、パターン仕様が当てはまる第１のクラスタのトレースの第１の比率、およびパターン仕様が当てはまらない第２のクラスタのトレースの第２の比率に基づく。ＡＩプラットフォームからの出力は、対話システムの性能を改善するために、少なくとも１つの構文解析されたイベントに対応する対話イベントに関して、自動化された仮想対話エージェントに適用される。
別の態様では、仮想対話エージェント・システムの性能を改善するために、コンピュータ・プログラム製品が提供される。コンピュータ・プログラム製品は、プログラム・コードが具現化されているコンピュータ可読ストレージ媒体を備える。プログラム・コードは、プロセッサによって実行可能であり、対話システムの自動化された仮想対話エージェントとの対話に関連する複数の会話ログ・ファイルを受信することであって、会話ログ・ファイルが、１つまたは複数の対話イベントを含んでいる各トレースを含む、受信することと、受信された会話ログ・ファイルを学習プログラムを含んでいる人工知能（ＡＩ）プラットフォームに適用して、会話ログ・ファイルのトレースの対話イベントを複数の構文解析されたイベントに構文解析することと、各挙動特性をトレースから抽出し、各挙動特性値をトレースに割り当てることと、各結果値へのトレースの各挙動特性値の近接性に基づいてトレースを複数のクラスタにクラスタ化することであって、複数のクラスタが、第１の結果を表す第１の結果値に最も近い各挙動特性値を有しているトレースの第１のクラスタ、および第１の結果と異なる第２の結果を表す第２の結果値に最も近い各挙動特性値を有しているトレースの第２のクラスタを含む、クラスタ化することと、対照性パターンに関して複数の構文解析されたイベントを検索することであって、時間条件を伴うパターン仕様を複数の構文解析されたイベントのうちの少なくとも１つの構文解析されたイベントに適用することを含む、検索することと、少なくとも１つの構文解析されたイベントに関して、対照性パターンが対照性しきい値を満たすかどうかを判定することとを実行し、対照性パターンが、パターン仕様が当てはまる第１のクラスタのトレースの第１の比率、およびパターン仕様が当てはまらない第２のクラスタのトレースの第２の比率に基づく。ＡＩプラットフォームからの出力は、対話システムの性能を改善するために、少なくとも１つの構文解析されたイベントに対応する対話イベントに関して、自動化された仮想対話エージェントに適用される。
さらに別の態様では、対話システムの性能を改善するコンピュータ実装方法が提供される。この方法は、コンピューティング・デバイスのプロセッサによって、対話システムの自動化された仮想対話エージェントとの対話に関連する複数の会話ログ・ファイルを受信することであって、会話ログ・ファイルが、１つまたは複数の対話イベントを含んでいる各トレースを含む、受信することと、プロセッサによって、受信された会話ログ・ファイルを、学習プログラムを含んでいる人工知能（ＡＩ）プラットフォームに適用することとを含む。適用することは、会話ログ・ファイルのトレースの対話イベントを複数の構文解析されたイベントに構文解析することと、各挙動特性をトレースから抽出し、各挙動特性値をトレースに割り当てることと、各結果値へのトレースの各挙動特性値の近接性に基づいてトレースを複数のクラスタにクラスタ化することであって、複数のクラスタが、第１の結果を表す第１の結果値に最も近い各挙動特性値を有しているトレースの第１のクラスタ、および第１の結果と異なる第２の結果を表す第２の結果値に最も近い各挙動特性値を有しているトレースの第２のクラスタを含む、クラスタ化することと、対照性パターンに関して複数の構文解析されたイベントを検索することであって、時間条件を伴うパターン仕様を複数の構文解析されたイベントのうちの少なくとも１つの構文解析されたイベントに適用することを含む、検索することと、少なくとも１つの構文解析されたイベントに関して、対照性パターンが対照性しきい値を満たすかどうかを判定することとを含み、対照性パターンが、パターン仕様が当てはまる第１のクラスタのトレースの第１の比率、およびパターン仕様が当てはまらない第２のクラスタのトレースの第２の比率に基づく。この方法は、対話システムの性能を改善するために、少なくとも１つの構文解析されたイベントに対応する対話イベントに関して、自動化された仮想対話エージェントを改良することをさらに含む。
これらおよび他の特徴および利点は、添付の図面とあわせて、本実施形態例の以下の詳細な説明から明らかになるであろう。
本明細書において参照される図面は、本明細書の一部を形成し、参照によって本明細書に組み込まれる。図面に示された特徴は、特に明示されない限り、すべての実施形態ではなく、単に一部の実施形態の例示を意図している。
ネットワーク環境内の人工知能プラットフォームのコンピューティング・システムを示すシステム図である。 図１に示され説明される人工知能プラットフォームのツール、およびそれらに関連するアプリケーション・プログラム・インターフェースを示す、ブロック図である。 対話ログのトレースをクラスタ化する方法の実施形態を示すフローチャートである。 クラスタ化されたトレースを検索する方法の実施形態を示すフローチャートである。 対照性しきい値が満たされたかどうかを判定する方法の実施形態を示すフローチャートである。 図１～５に関して上で説明されたシステムおよびプロセスを実装するための、クラウドベースのサポート・システムのコンピュータ・システム／サーバの例を示すブロック図である。 クラウド・コンピューティング環境を示すブロック図である。 クラウド・コンピューティング環境によって提供される一連の機能的抽象モデル・レイヤを示すブロック図である。
本明細書の図において概略的に説明され、示されているように、本実施形態のコンポーネントが、多種多様な異なる構成で配置および設計されるということが、容易に理解されるであろう。したがって、図で提示された本実施形態の装置、システム、方法、およびコンピュータ・プログラム製品の実施形態に関する以下の詳細な説明は、特許請求される実施形態の範囲を制限するよう意図されておらず、選択された実施形態を単に代表している。
本明細書全体を通じて、「選択された実施形態」、「１つの実施形態」、または「実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造、または特性が少なくとも１つの実施形態に含まれるということを意味する。したがって、本明細書全体を通じてさまざまな場所に現れる「選択された実施形態」、「１つの実施形態では」、または「実施形態では」という語句は、必ずしも同じ実施形態を指していない。
示された実施形態は、全体を通じて類似する部分が類似する数字によって指定される図面を参照することによって、最もよく理解されるであろう。以下の説明は、単なる例示を意図しており、本明細書において特許請求される実施形態と一致するデバイス、システム、およびプロセスの特定の選択された実施形態を単に示す。
人工知能コンピュータ・システムの分野では、自然言語システム（ＩＢＭ Ｗａｔｓｏｎ（ＴＭ）人工知能コンピュータ・システムまたは他の自然言語システムあるいはその両方など）は、システムによって取得された知識に基づいて自然言語を処理する。自然言語を処理するために、システムは、知識のデータベースまたはコーパスから得られたデータを使用してトレーニングされるが、得られた結果は、さまざまな理由のために、正しくないか、または不正確である可能性がある。
人工知能（ＡＩ）のサブセットである機械学習（ＭＬ：Machine learning）は、アルゴリズムを利用して、データから学習し、このデータに基づいて予知を作成する。ＡＩとは、機械が情報に基づいて、特定のテーマにおける成功の可能性を最大化する決定を行うことができる場合の知能のことを指す。より詳細には、ＡＩは、問題を解決して適切な推奨を提供するように、データ・セットから学習することができる。認知計算は、コンピュータ科学および認知科学の混合である。認知計算は、自己学習アルゴリズムを利用し、最小限のデータ、視覚認識、および自然言語処理を使用して問題を解決し、人間のプロセスを最適化する。
ＡＩおよび関連する推論の中心には、類似性の概念がある。自然言語およびオブジェクトを理解するプロセスは、関係の観点からの推論を必要とし、これは困難である可能性がある。静的構造および動的構造を含む構造は、特定の限定された入力に対して決定された出力または動作を指示する。より詳細には、決定された出力または動作は、構造内の明確な関係または固有の関係に基づく。この構成は、選択された環境および条件にとって十分であることがある。しかし、動的構造が本質的に変更を受け、それに応じて、出力または動作が変更を受けることがあるということが理解される。オブジェクトを効率的に識別し、自然言語を理解し、この識別および理解ならびに構造に対する変更に応じてコンテンツを処理するための既存の解決策は、実用レベルでは極めて困難である。
チャットボットは、事前に計算された語句および聴覚またはテキストに基づく信号を使用することによって、双方向の人間の会話をシミュレートする人工知能（ＡＩ）プログラムである。チャットボットは、顧客サービスのサポートのために、電子プラットフォームにおいてますます使用されるようになっている。１つの実施形態では、チャットボットは、インテリジェントな仮想エージェントとして機能してよい。各チャットボットの体験は、ユーザの動作および対話システムの動作から成る一連のコミュニケーションで構成され、この体験は、特徴的な挙動パターンを含んでいる。将来のチャットボット体験を改良するための変更を保証し得るチャットボットの要素を確認するために、チャットボットの対話が評価され、診断を受け得るということが、当技術分野において理解される。そのような評価は、挙動のパターンを識別する。これらのパターンを学習することによって、より詳細には、パターンの異なる特性を識別することによって、チャットボット・プログラムは、チャットボットの指標および将来のチャットボット体験を改善するように改良または修正され得る。
チャットボットの評価の１つの態様は、一連の対話が挙動においてどのように異なるかを識別するための、基礎になる対話の調査を目的とする。対話は、一連のコミュニケーションから成り、対話のトレース（例えば、トレース）が対話の特性決定になる。１つの実施形態では、これらのトレースに基づいて対話がクラスタ化される。調査は、対話の１つのセットを伴うが対話の他のセットを伴わない論理仕様を発見することによって、対応する説明を生成する。１つの実施形態では、調査は、修正または改善されることができるチャットボット・プラットフォームにおける異常を検出することがあり得る。したがって、対応する図面と共に本明細書において詳細に説明されるシステム、コンピュータ・プログラム製品、および方法は、複数の対話間の違いを説明し、チャットボット・プラットフォームの失敗を軽減して対話体験を改善するように対話プログラム・コードを改良することに焦点を合わせる。
図１を参照すると、人工知能（ＡＩ）プラットフォームおよび対応するシステム（１００）の概略図が示されている。図に示されているように、サーバ（１１０）が、ネットワーク接続（例えば、コンピュータ・ネットワーク（１０５））を経由して複数のコンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）と通信して提供される。サーバ（１１０）は、バスを経由してメモリと通信するプロセッシング・ユニット（例えば、プロセッサ）を使用して構成される。サーバ（１１０）は、対話システム（１６０）（本明細書では、チャットボットとしての仮想対話エージェント（１６２）と共に示されている）に動作可能に結合されたＡＩプラットフォーム（１５０）、知識ベース（１７０）と共に示されている。ユーザが仮想エージェント（例えば、ディスプレイ（１３０）上のチャットボット（１３２））の表現とインターフェースをとることができるようにするために、コンピュータ画面またはスマートフォンなどの視覚ディスプレイ（１３０）が提供されている。図１では視覚ディスプレイが示されているが、ディスプレイ（１３０）が、音声インターフェース（例えば、マイクロホンおよびスピーカ）、オーディオビデオ・インターフェースなどの他のインターフェースに置き換えられるか、または補完されるということが理解されるべきである。
ＡＩプラットフォーム（１５０）は、ネットワーク（１０５）に動作可能に結合され、コンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）のうちの１つまたは複数からの仮想対話エージェント（１６２）との対話をサポートする。より詳細には、コンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、および（１８８）は、１つまたは複数の有線データ通信リンクまたは無線データ通信リンクあるいはその両方を介して、互いに、および他のデバイスまたはコンポーネントと通信し、各通信リンクは、ワイヤ、ルータ、スイッチ、送信器、受信器などのうちの１つまたは複数を含んでよい。このネットワーク構成では、サーバ（１１０）およびネットワーク接続（１０５）は、通信の検出、認識、および解決を可能にする。サーバ（１１０）の他の実施形態は、本明細書に示されている以外のコンポーネント、システム、サブシステム、またはデバイス、あるいはその組み合わせと共に使用されてよい。
ＡＩプラットフォーム（１５０）は、本明細書では対話システム（１６０）に動作可能に結合されて示され、種々のソースから入力（１０２）を受信するように構成される。例えば、対話システム（１６０）は、ネットワーク（１０５）を経由して入力を受信し、データ・ソース（１７０）（本明細書では知識ベースまたは情報のコーパスとも呼ばれる）を活用して出力または応答のコンテンツを作成してよい。
図に示されているように、データ・ソース（１７０）は、会話ログ・ファイル（記録とも呼ばれる）のライブラリ（１７２Ａ）を使用して構成され、各ログ・ファイルは仮想対話エージェントとの対話を記録する。実施形態例によれば、各会話ログ（例えば、ログ・ファイル）は、ユーザと仮想エージェントの間の電子プラットフォーム内の対話を含む、チャットボットからの（過去の）トレースの記録である。トレースは、１つまたは複数の対話イベント（状態変数とも呼ばれる）を含む。例として、休暇を予約するためのチャットボット・プラットフォームとの関連において、対話イベントまたは状態変数は、出発の日時などのフィールドを含んでよく、状態変数のインスタンス化は、出発の日時に関してユーザによって入力された情報またはデータであってよい。そのようなチャットボットの他の状態変数は、帰りの日時、目的地、車両のレンタル、ホテルの予約などを含んでよい。
本明細書において示されるように、第１のライブラリＡ（１７２）は、ログ・ファイル０（１７４Ａ，０）およびログ・ファイル１（１７４Ａ，１）を含む複数のログ・ファイルを含む。２つのログ・ファイルのみが示されているが、この数は制限と見なされるべきではない。実際に、ライブラリ（１７２Ａ）が数百個または数千個のログ・ファイルを含むことがあるということが企図される。ログ・ファイル０（１７４Ａ，０）およびログ・ファイル１（１７４Ａ，１）は、本明細書ではトレース０（１７６Ａ，０）およびトレース１（１７６Ａ，１）としてそれぞれ示されている対応するトレースと共に示されている。同様に、各トレースは、挙動特性値（ＢＣＶ：behavior characteristic value）および１つまたは複数の対話イベントを含む（状態変数のインスタンス化を含む）。例えば、トレース０（１７６Ａ，０）およびトレース１（１７６Ａ，１）は、それぞれ対応する挙動特性値ＢＣＶ０（１７６Ａ，０，Ｂ）およびＢＣＶ１（１７６Ａ，１，Ｂ）と共に示されている。図１では、トレース０（１７６Ａ，０）が対話イベント０（１７８Ａ，０）と共に示されており、トレース１（１７６Ａ，１）が対話イベント１（１７８Ａ，１）と共に示されている。自動化された仮想対話エージェント（１６２）は、状態変数の各々をクエリとしてユーザに提起してよく、ユーザは、状態変数のインスタンス化の形態で応答を提供する。
図１さらに示されているように、データ・ソース（１７０）は、第２のライブラリＢ（１７２Ｂ）および第３のライブラリＣ（１７２Ｃ）を使用して構成される。データ・ソース（１７０）は３つのライブラリ（１７２Ａ、１７２Ｂ、および１７２Ｃ）と共に示されているが、ライブラリが組み合わせられるか、または任意の数のライブラリに分割されるということ、および追加のライブラリがアクセスされるということが理解されるべきである。例えば、ライブラリＢ（１７２Ｂ）およびライブラリＣ（１７２Ｃ）が単一のライブラリに組み合わせられてよい。代替として、ライブラリＢ（１７２Ｂ）およびライブラリＣ（１７２Ｃ）のいずれかまたは両方が、複数のライブラリを含んでよい。ライブラリＢ（１７２Ｂ）は、パターン仕様、および任意に、パターン仕様に関連付けられた加重値（ＷＶ：weighted value）をそれぞれ含んでいる複数のファイルを含む。図に示されているように、ライブラリＢ（１７２Ｂ）は、関連する加重値ＷＶＢ，０（１７６Ｂ，０）を伴うパターン仕様０（１７４Ｂ，０）、関連するＷＶＢ，１（１７６Ｂ，１）を伴うパターン仕様１（１７４Ｂ，１）、および関連するＷＶＢ，Ｎ（１７６Ｂ，Ｎ）を伴うパターン仕様Ｎ（１７４Ｂ，Ｎ）を含んでいる。図に示されているように、ライブラリＣ（１７２Ｃ）は、変数仕様、および任意に、変数仕様に関連付けられた加重値（ＷＮ）を含んでいる複数のファイルを含む。図に示されているように、ライブラリＣ（１７２Ｃ）は、関連するＷＶＣ，０（１７６Ｃ，０）を伴う変数仕様０（１７４Ｃ，０）、関連するＷＶＣ，１（１７６Ｃ，１）を伴う変数仕様１（１７４Ｃ，１）、および関連するＷＶＣ，Ｎ（１７６Ｃ，Ｎ）を伴う変数仕様Ｎ（１７４Ｃ，Ｎ）を含んでいる。３つのファイルと共に示されているが、ライブラリＢ（１７２Ｂ）およびライブラリＣ（１７２Ｃ）の各々は、より少ないファイル、または数十個、数百個、または数千個のファイルを含むより多いファイルを含んでよい。
ライブラリＢ（１７２Ｂ）のファイルのパターン仕様（例えば、パターン仕様０（１７４Ｂ，０）、パターン仕様１（１７４Ｂ，１）、パターン仕様Ｎ（１７４Ｂ，Ｎ））は、時間条件を伴ってよく、例えば時相論理を使用してよい。実施形態例では、ライブラリＢ（１７２Ｂ）のパターン仕様（１７４Ｂ，０、１７４Ｂ，１、．．．１７４Ｂ，Ｎ）のうちの、各々ではないとしても、１つまたは複数に、線形時相論理（ＬＴＬ：linear temporal logic）が使用される。例えば、ＬＴＬは、会話のトレースを通じて常に保持する条件、別の条件の後に続くか、または別の条件によって先行される条件、あるいはＬＴＬの他の例であってよい。ライブラリＣ（１７２Ｃ）のファイルの変数仕様（１７４Ｃ，０、１７４Ｃ，１、．．．１７４Ｃ，Ｎ）は、典型的にはチャットボットなどの仮想エージェントとの対話またはトランザクションに含まれる情報（または状態変数）のフィールドを含んでよい。ライブラリＢ（１７２Ｂ）およびライブラリＣ（１７２Ｃ）のファイルの加重値（ＷＶ）は任意である。実施形態例では、関連するパターン仕様または変数仕様の認識された重要性に応じて、異なる加重値が異なるパターン仕様および変数仕様に割り当てられる。実施形態例では、加重値は、０～１の範囲内であり、その間の１０分の１または１００分の１の任意の倍数あるいはその両方を含む。
ネットワーク（１０５）と通信するさまざまなコンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）は、対話システム（１６０）へのアクセス・ポイントを含んでよい。ＡＩプラットフォーム（１５０）が、ローカルおよびグローバル（例えば、インターネット）を含む任意のサイズの環境内で動作し得るように、ネットワーク（１０５）は、さまざまな実施形態では、ローカル・ネットワーク接続およびリモート接続を含んでよい。さらに、ＡＩプラットフォーム（１５０）は、文書、ネットワーク・アクセス可能なソース、または構造化されたデータ・ソース、あるいはその組み合わせから抽出されたか、またはこれらで表された、さまざまな知識を使用可能にすることができるバックエンド・システムとして機能する。このようにして、何らかのプロセスがＡＩプラットフォーム（１５０）にデータを追加し、ＡＩプラットフォーム（１５０）は、要求を受信し、それに応じて応答するための、入力インターフェースも含む。
図に示されているように、コンテンツは、知識ベース（１７０）を介してＡＩプラットフォーム（１５０）に動作可能に結合された１つまたは複数のログ・ファイル（「記録」と互換的に使用される）の形態であってよい。コンテンツのユーザは、ネットワーク（１０５）へのネットワーク接続またはインターネット接続を介して、ＡＩプラットフォーム（１５０）および動作可能に結合された対話システム（１６０）にアクセスしてよく、自然言語入力をＡＩプラットフォーム（１５０）に提出してよく、ＡＩプラットフォーム（１５０）は、知識ベース（１７０）およびＡＩプラットフォーム（１５０）を構成するツールを活用することによって、入力に関連する出力応答を効果的に決定してよい。
ＡＩプラットフォーム（１５０）は、本明細書では、対話システム（１６０）および対応する仮想エージェント（例えば、チャットボット）（１６２）をサポートするための複数のツールと共に示されており、より詳細には、対話システム（１６０）および仮想エージェント（１６２）の体験の性能を改善することを目的とするツールと共に示されている。ＡＩプラットフォーム（１５０）は、仮想エージェント（１６２）とインターフェースをとり、その性能の改善をサポートするための複数のツールを使用する。これらのツールは、トレース・マネージャ（１５２）、クラスタ・マネージャ（１５４）、サンプリング・マネージャ（１５６）、検索マネージャ（１５８）、および出力マネージャ（１６４）を含む。
トレース・マネージャ（１５２）は、会話ログ・ファイルのトレースの対話イベントを、状態変数のインスタンス化を含んでいる複数の構文解析されたイベントに構文解析する。トレース・マネージャ（１５２）は、トレースから挙動特性をさらに抽出し、各挙動特性値をトレースの各々に割り当てる。本明細書において示されるように、トレース０（１７６Ａ，０）が対応する挙動特性値（ＢＣＶ０）（１７６Ａ，０，Ｂ）と共に示されており、トレース１（１７６Ａ，１）が対応する挙動特性値（ＢＣＶ１）（１７６Ａ，１，Ｂ）と共に示されている。
クラスタ・マネージャ（１５４）は、各結果値へのトレースの各挙動特性値の近接性に基づいて、トレースを複数のクラスタ（またはグループ）にクラスタ化する。複数のクラスタは、第１の結果を表す第１の結果値に関連付けられた第１のクラスタおよび第１の結果と異なる（および任意に反対の）第２の結果を表す第２の結果値に関連付けられた第２のクラスタを含む。第１および第２の結果は、例えば、それぞれ対話の完了の成功および対話の完了の失敗であってよい。第１のクラスタにクラスタ化されたトレースは、第１の結果値に最も近い（例えば、同一の）各挙動特性値を有し、一方、第２のクラスタにクラスタ化されたトレースは、第２の結果値に最も近い（例えば、同一の）各挙動特性値を有する。例えば、休暇を予約するために使用されるチャットボットの場合、第１の結果値は、休暇の予約が成功した（挙動特性値が０に等しい）という結果を表してよく、一方、第２の結果値は、休暇の予約が成功しなかった（挙動特性値が１に等しい）という結果を表してよい。実施形態例では、第１および第２の結果値は０および１である。上記の例は２つの結果を含むが、実施形態が３つ以上の結果、例えば、目的地の宿泊施設（例えば、リゾート地）の予約が成功したが、旅行（例えば、航空便）が予約されなかったという第３の結果を含むということが理解されるべきである。
実施形態によれば、サンプリング・マネージャ（１５６）は、さらなる処理のために、第１のクラスタのトレースのサブセットおよび第２のクラスタからのトレースのサブセットを選択する。サンプリング・マネージャ（１５６）は、多数の会話ログ・ファイルからのトレースがクラスタ化される場合に特に役立つ。サンプリング・マネージャ（１５６）は、ランダム・サンプリングを含む、任意のサンプリング技術を使用してサンプリングしてよい。サンプリング・マネージャは、従来技術において知られているため、さらに詳細に説明されない。
検索マネージャ（１５８）は、サンプリングされたトレースの複数の構文解析されたイベント（または状態変数）を探索する。実施形態例では、検索マネージャ（１５８）は、優先モジュール（１５８Ａ）および対照性チェッカー（contrast checker）（１５８Ｂ）を含む。優先モジュール（１５８Ａ）は、ライブラリＢ（１７２Ｂ）にアクセスして、パターン仕様および関連する加重値（例えば、関連するＷＶＢ，０（１７６Ｂ，０）を伴うパターン仕様０（１７４Ｂ，０））を選択し、ライブラリＣ（１７２Ｃ）にアクセスして、変数仕様および関連する加重値（例えば、関連するＷＶＣ，０（１７６Ｃ，０）を伴う変数仕様０（１７４Ｃ，０））を選択する。検索マネージャ（１５８）の優先モジュール（１５８Ａ）は、時間条件を伴う選択されたパターン仕様および選択された変数仕様を、第１のクラスタのサンプル・トレースの構文解析されたイベントに適用し、選択された変数仕様に対応する構文解析されたイベントが選択されたパターン仕様の時間条件を満たす、第１のクラスタのサンプル・トレースの第１の比率を決定する。検索マネージャ（１５８）の優先モジュール（１５８Ａ）は、同じ時間条件を伴う同じ選択されたパターン仕様および同じ選択された変数仕様を、第２のクラスタのサンプル・トレースの構文解析されたイベントにさらに適用し、選択された変数仕様に対応する構文解析されたイベントが選択されたパターン仕様の時間条件を満たさない、第２のクラスタのサンプル・トレースの第２の比率を決定する。
検索マネージャ（１５８）の対照性チェッカー（１５８Ｂ）は、通常は０～１の値であり、その間の１０分の１または１００分の１の任意の倍数を含めて任意にプログラマによって事前に決定される対照性しきい値が満たされているかどうかを、第１のクラスタのトレースの第１の比率および第２のクラスタのトレース第２の比率に基づいて判定する。対照性しきい値の満足度の判定は、実施形態例によれば、第１の比率および第２の比率を掛け合わせて積を計算し、計算された積が対照性しきい値以上であるかどうかを評価することを含む。１つまたは複数の加重値が考慮される場合、対照性しきい値の満足度の判定は、別の実施形態例によれば、第１の比率、第２の比率、および加重値を掛け合わせて加重積を計算し、計算された加重積が対照性しきい値以上であるかどうかを評価することを含む。
出力マネージャ（１６４）は、実施形態例によれば、視覚ディスプレイ（１３０）上の読み出しのための出力（１６４Ａ）を提供する。別の実施形態によれば、出力マネージャ（１６４）は、検索マネージャ（１５８）と共に検索に使用される変数仕様に関連して、対話システム（１６０）、および実施形態例では、対話システム（１６０）の自動化された仮想対話エージェント（１６２）を、自動的に改良する。実施形態によれば、対話システムの改良は、検索マネージャ（１５８）と共に検索に使用される変数仕様に関して、対話内のチェックポイントを選択的に課すことを含む。別の実施形態によれば、対話システム（１６０）の改良は、仮想エージェント（１６２）によって提起されたクエリを変更することを含む。この改良は、出力マネージャ（１６４）によって自動的に実施されることができ、またはプログラマによって実施されてもよい。
ログ・ファイル（記録）が受信されたときに、トレース・マネージャ（１５２）は、さまざまなプロトコルを使用して、単語、語句、符号、および記号などの能記、ならびに能記が表すもの（明示的意味または暗示的意味）との間の関係に基づいてトレース内のコンテンツを識別することを含めて、受信されたログ・ファイルの対応するトレースの対話イベントを構文解析することができる。トレース・マネージャ（１５２）は、本明細書では、人工知能プラットフォーム（１５０）内に組み込まれたツールとして示されており、実施形態によれば、自然言語処理プロトコルを利用する。
受信されたログ・ファイルのトレースは、ＩＢＭ Ｗａｔｓｏｎ（Ｒ）サーバ（１１０）および対応する人工知能プラットフォーム（１５０）によって処理されてよい。本明細書において示されるように、トレース・マネージャ（１５２）は、さまざまな推論アルゴリズムを使用して、トレースの言語に対して分析を実行する。おそらく、適用される数百または数千もの推論アルゴリズムが存在しており、それらの各々が異なる分析（例えば、比較）を実行する。例えば、一部の推論アルゴリズムは、受信されたトレースおよびデータのコーパスの発見された部分の言語内の用語および同義語の一致を調べてよい。１つの実施形態では、トレース・マネージャ（１５４）は、電子通信を単語ベクトル表現に処理し、通信内の特徴を識別して抽出する。単語ベクトル表現の使用または電子記録を処理するための代替のプラットフォームのいずれによろうと、ＮＬマネージャ（１５２）は、トレースの構文解析されたイベントおよび挙動特性を識別しようとして電子記録を処理する。１つの実施形態では、プラットフォームは、電子記録内の、名詞、動詞、形容詞、句読、句読点などの文法的構成要素を識別する。同様に、１つの実施形態では、１つまたは複数の推論アルゴリズムは、電子記録の言語内の時間的特徴または空間的特徴を調べることがあり得る。
一部の実施形態例では、サーバ（１１０）は、インターナショナル・ビジネス・マシーンズ・コーポレーション（ニューヨーク州アーモンク）から提供されるＩＢＭ Ｗａｔｓｏｎ（Ｒ）システムであってよく、このシステムは、以下で説明される実施形態例のメカニズムを使用して拡張されている。
サンプリング・マネージャ（１５６）は、形成されたクラスタからのトレースに対するサンプリングを含む。サンプリングはランダムであってよく、または従来技術において知られたサンプリング技術を含む、任意のサンプリング技術を含んでよい。実施形態では、第１の選択された数のサンプル・トレースが第１のクラスタに割り当てられ、第２の選択された数のサンプル・トレースが第２のクラスタ（クラスタ１）に割り当てられる。
検索マネージャ（１５８）は、クラスタの形成および評価から利用された情報が対照性しきい値を満たすかどうかを評価する。対照性チェッカー（１５８Ｂ）は、第１および第２のクラスタの比率を互いに掛けて積値を提供するように動作する。任意に、対照性チェッカー（１５８Ｂ）は、積値に１つまたは複数の加重係数を掛けて、加重積を決定する。実施形態によれば、加重係数の各々は、０～１の範囲内であり、その間の１０分の１または１００分の１のすべての倍数を含む。実施形態によれば、加重係数は、例えばパターン仕様に割り当てられた重要性に基づく、パターン仕様の加重係数である。別の実施形態によれば、加重係数は、例えば変数仕様に割り当てられた重要性に基づく、変数仕様の加重係数である。例えば、出発日の満足度に関連する変数仕様はプログラマにとって高い重要性を有してよく、したがって、１に近い加重値が割り当てられてよく、車両のレンタルの満足度に関連する変数仕様は低い重要性を有してよく、したがって、０に近い加重値が割り当てられてよい。１つの実施形態では、パターン仕様または変数仕様あるいはその両方への加重の適用は省略されるか、または１に設定されてよい。同様に、１つの実施形態では、加重の値は構成可能であってよい。
対照性しきい値が割り当てられる。任意に、対照性チェッカー（１５８Ｂ）が対照性しきい値を割り当てるが、対照性しきい値はプログラマによって割り当てられてもよい。実施形態例では、対照性しきい値は、０～１の範囲内の任意のインクリメント（例えば、１０分の１、１００分の１など）を含む、０～１の範囲内の値である。検索マネージャ（１５８）の対照性チェッカー（１５８Ｂ）は、加重積が対照性しきい値を満たす（例えば、対照性しきい値以上である）かどうかを判定する。
加重積が対照性しきい値を満たす場合、出力マネージャ（１６４）は、対話システムの性能を改善するために、構文解析されたイベントに関連して、仮想エージェントに対する改良に対応する出力を作成する。一方、加重積が対照性しきい値を満たさない場合、ＡＩプラットフォーム（１５０）またはプログラマは、例えば、新しい対照性しきい値を割り当て、ステップ（４１２）および（４３２）に戻ることと、別のパターン仕様または変数仕様あるいはその両方を選択することと、プロセスを終了することとを含む、継続するためのさまざまなステップを選択してよい。
以下で集合的にＡＩツールと呼ばれるトレース・マネージャ（１５２）、クラスタ・マネージャ（１５４）、サンプリング・マネージャ（１５６）、検索マネージャ（１５８）、および出力マネージャ（１６４）は、サーバ（１１０）の人工知能プラットフォーム（１５０）内で具現化されているか、または統合されているように示されている。ＡＩツールは、ネットワーク（１０５）を経由してサーバ（１１０）に接続された別のコンピューティング・システム（例えば、１９０）内で実装されてよい。どこで具現化されても、ＡＩツールは、対話ログの記録を評価し、対話ログの記録のトレースの対話イベントを構文解析されたイベントに構文解析し、トレースから挙動特性を抽出して値を挙動特性に割り当て、トレースをクラスタ化し、クラスタ化されたトレースをサンプリングし、サンプリングされたトレースに関して、対照性しきい値が満たされているかどうかを判定するように機能する。
選択された実施形態例では、トレース・マネージャ（１５２）は、ＮＬ処理を適用して、受信された対話ログの記録のトレースの挙動特性を識別するように構成されてよい。例えば、トレース・マネージャ（１５２）は、構文分析を実行してよく、この分析は、対象の文の構文解析を伴い、この構文解析は文法的用語および発話の部分を示す。１つの実施形態では、トレース・マネージャ（１５２）は、Ｓｌｏｔ Ｇｒａｍｍａｒ Ｌｏｇｉｃ（ＳＧＬ）パーサーを使用して構文解析を実行してよい。トレース・マネージャ（１５２）は、１つまたは複数の学習方法を適用し、検出されたコンテンツを既知のコンテンツと照合して、値を決定し、挙動特性に割り当てるように構成されてもよい。
人工知能プラットフォーム（１５０）を利用できる情報処理システムの種類は、ハンドヘルド・コンピュータ／携帯電話（１８０）などの小型のハンドヘルド・デバイスから、メインフレーム・コンピュータ（１８２）などの大型のメインフレーム・システムに及ぶ。ハンドヘルド・コンピュータ（１８０）の例としては、パーソナル・デジタル・アシスタント（ＰＤＡ：personal digital assistants）、パーソナル・エンターテイメント・デバイス（ＭＰ４プレイヤー、ポータブル・テレビ、およびコンパクト・ディスク・プレイヤー）が挙げられる。情報処理システムの他の例としては、ペンまたはタブレット・コンピュータ（１８４）、ラップトップまたはノートブック・コンピュータ（１８６）、パーソナル・コンピュータ・システム（１８８）、およびサーバ（１９０）が挙げられる。図に示されているように、さまざまな情報処理システムが、コンピュータ・ネットワーク（１０５）を使用して一緒にネットワーク化されることができる。さまざまな情報処理システムを相互接続するために使用されることができるコンピュータ・ネットワーク（１０５）の種類としては、ローカル・エリア・ネットワーク（ＬＡＮ：Local Area Networks）、無線ローカル・エリア・ネットワーク（ＷＬＡＮ：WirelessLocal Area Networks）、インターネット、公衆交換電話網（ＰＳＴＮ：PublicSwitched Telephone Network）、他の無線ネットワーク、および情報処理システムを相互接続するために使用されることができる任意の他のネットワーク・トポロジーが挙げられる。情報処理システムの多くは、ハード・ドライブまたは不揮発性メモリあるいはその両方などの、不揮発性データ・ストアを含む。情報処理システムの一部は、別々の不揮発性データ・ストアを使用し得る（例えば、サーバ（１９０）は不揮発性データ・ストア（１９０Ａ）を利用し、メインフレーム・コンピュータ（１８２）は不揮発性データ・ストア（１８２Ａ）を利用する）。不揮発性データ・ストア（１８２Ａ）は、さまざまな情報処理システムの外部にあるコンポーネントであることができ、または情報処理システムのうちの１つの内部にあることができる。
人工知能プラットフォーム（１５０）をサポートするために採用される情報処理システムは、さまざまな形態をとってよく、その一部が図１に示されている。例えば、情報処理システムは、デスクトップ、サーバ、ポータブル、ラップトップ、ノートブック、または他の形状因子のコンピュータもしくはデータ処理システムの形態をとってよい。加えて、情報処理システムは、パーソナル・デジタル・アシスタント（ＰＡＤ）、ゲーミング・デバイス、ＡＴＭマシン、携帯電話デバイス、通信デバイス、またはプロセッサおよびメモリを含む他のデバイスなどの、他の形状因子を選択してよい。加えて、他のアーキテクチャが採用されてもよいということが理解されるため、情報処理システムは、ノース・ブリッジ／サウス・ブリッジ・コントローラ・アーキテクチャを必ずしも具現化する必要がない。
アプリケーション・プログラム・インターフェース（ＡＰＩ：ApplicationProgram Interface）は、当技術分野において、２つ以上のアプリケーション間の中間のソフトウェアとして理解されている。図１に示されて説明された人工知能プラットフォーム（１５０）に関して、ツール（１５２）、（１５４）、（１５６）、（１５８）、および（１６４）のうちの１つまたは複数、ならびにそれらに関連する機能をサポートするために、１つまたは複数のＡＰＩが利用されてよい。図２を参照すると、ツール（１５２）、（１５４）、（１５６）、（１５８）、および（１６４）、ならびにそれらに関連するＡＰＩを示すブロック図（２００）が提供されている。図に示されているように、複数のツールがＡＩプラットフォーム（２０５）内に組み込まれており、ツールは、ＡＰＩ０（２１２）に関連付けられたトレース・マネージャ（２５２）、ＡＰＩ１（２２２）に関連付けられたクラスタ・マネージャ（２５４）、ＡＰＩ２（２３２）に関連付けられたサンプリング・マネージャ（２５６）、ＡＰＩ３（２４２）に関連付けられた検索マネージャ（２５８）、およびＡＰＩ４（２６２）に関連付けられた出力マネージャ（２６４）を含む。ＡＰＩの各々は、１つまたは複数の言語およびインターフェース仕様で実装されてよい。ＡＰＩ０（２１２）は、トレースの対話イベントを構文解析するための機能的サポートを提供し、トレースの挙動特性を決定し、ＡＰＩ１（２２２）は、トレースをクラスタ化するための機能的サポートを提供し、ＡＰＩ２（２３２）は、トレースをサンプリングするための機能的サポートを提供し、ＡＰＩ３（２４２）は、構文解析されたイベントを検索（例えば、探索）するための機能的サポートを提供し、ＡＰＩ４（２６２）は、対話システムを改良することを含む、出力に対する機能的サポートを提供する。図に示されているように、ＡＰＩ（２１２）、（２２２）、（２３２）、（２４２）、および（２６２）の各々は、ＡＰＩオーケストレータ（２６０）（または、オーケストレータ・レイヤ（orchestration layer）と呼ばれる）に動作可能に結合されており、ＡＰＩオーケストレータ（２６０）は、当技術分野において、別々のＡＰＩを透過的につなぐための抽象レイヤとして機能すると理解される。実施形態では、別々のＡＰの機能が結合されるか、または組み合わせられてよい。そのため、本明細書に示されたＡＰＩの構成は、限定的と見なされるべきではない。したがって、本明細書において示されるように、ツールの機能は、それらのＡＰＩによって具現化されるか、またはサポートされてよい。
図３を参照すると、チャットボット・プラットフォームなどの対話システムの会話ログ・ファイル（本明細書では、記録とも呼ばれる）を処理し、対応するトレースにクラスタ化プロセスを施すためのプロセスを示すフローチャート（３００）が提供されている。図に示されているように、会話ログ・ファイルの形態での入力が、処理するために受信される（３０２）。会話ログ・ファイルは、例えば、製品販売、サービスの購入、顧客サービス、情報取得などを含む、さまざまな種類のトランザクション、対話、および活動に関連してよい。実施形態例によれば、各会話ログ・ファイルは、ユーザと仮想エージェントとの間の電子プラットフォーム内の対話を含む、チャットボットからのトレースの記録である。記録は、テキスト、音声、ビデオ、オーディオビデオなどのさまざまな形態であってよい。
トレースは、１つまたは複数の対話イベント（状態変数のインスタンス化（または値）とも呼ばれる）を含む。例として、休暇を予約するためのチャットボット・プラットフォームとの関連において、状態変数は、出発の日時、帰りの日時、目的地、ホテルでの宿泊、車両（例えば、自動車）のレンタルなどのフィールドであってよい。トレースは、出発の日時、帰りの日時、目的地、ホテルでの宿泊、車両のレンタルなどに関してユーザによって入力された情報またはデータを表す対話イベント（または状態変数のインスタンス化）を含む。例えば、自動化された仮想対話エージェントは、状態変数の各々をクエリとしてユーザに提起してよく、ユーザは、応答またはインスタンス化を提供する。
会話ログは、ログのクラスタ化を容易にし、可能にするために、人工知能（ＡＩ）プラットフォーム（図１のＡＩプラットフォーム（１５０）など）による処理の対象になる。より詳細には、実施形態例によれば、ＡＩプラットフォームは、会話ログ・ファイルのトレースの対話イベント（または状態変数のインスタンス化）を構文解析されたイベントに構文解析し（３０４）、トレースから（例えば、構文解析されたイベントから（３０４）、または全体としてトレースから）挙動特性を抽出し、挙動特性値をトレースの各々に割り当てる（３０６）。実施形態によれば、挙動特性は、トランザクション、対話、または他の活動の完了の成功（または完了の失敗）である。
ＡＩプラットフォームは、トレースの挙動特性値と結果値との近接性に基づいて、トレースにクラスタ化プロセスをさらに施す（３０８）。実施形態例によれば、ステップ（３０８）で形成された各クラスタに、クラスタのうちの１つの各結果値と同じまたは類似する挙動特性値を有する会話ログが追加される。出力は、複数のクラスタ（例えば、クラスタ０、クラスタ１、．．．クラスタＮ）である（３１０）。実施形態例では、形成されるクラスタの数は、少なくとも２つであり、２つであることが好ましいが、この数は限定的と見なされるべきではない。
図４を参照すると、図３で形成されたクラスタを検索するための、およびより詳細には、クラスタに割り当てられたトレースの構文解析されたイベントを評価するためのプロセスを示すフローチャート（４００）が提供されている。図４の目的のために、２つのクラスタ（すなわち、クラスタ０およびクラスタ１）が示されている。形成されたクラスタのうちのどちらか１つに割り当てられるトレースは膨大な数になることがあり、そのため、クラスタの分析のためにトレースのサンプリングが適用されるということが理解される。そのため、検索分析のためにＡＩ学習プログラムが活用され、クラスタ０およびクラスタ１の各々からのトレースのサンプリングを識別する（４０２）。実施形態例では、検索分析は、分析の対象になる各クラスタのトレースまたはトレースのサンプリングを含む、図３のフローチャート（３００）に従って形成されたクラスタ０およびクラスタ１を対象にする（例えば、ステップ（３１０）を参照）。図４に示されているように、クラスタの分析は並列に行われてよい。代替の実施形態では、第１および第２のクラスタからトレースを交互またはランダムに選択し、評価することを含む、直列の方法または他の方法もしくは順序でクラスタの分析が行われてよい。
ステップ（４０４）および（４２４）で、例えばクラスタ０およびクラスタ１などのクラスタから、トレースがサンプリングされる。サンプリングはランダムであってよく、または従来技術において知られたサンプリング技術を含む、任意のサンプリング技術を含んでよい。実施形態では、第１の選択された数のサンプル・トレースが第１のクラスタ（クラスタ０）に割り当てられ（４０４）、第２の選択された数のサンプル・トレースが第２のクラスタ（クラスタ１）に割り当てられる（４２４）。第１のクラスタに関して、第１のクラスタ（クラスタ０）のサンプル・トレース用の第１のサンプル・トレース集計変数Ｗが初期化される（４０６）。第１のクラスタ（クラスタ０）に割り当てられるサンプル・トレースの数が識別され、変数ＷＴｏｔａｌに割り当てられる（４０８）。その後、第１のクラスタに対応するトレース評価変数が初期化される（４１０）。ステップ（４１０）に続いて、第１のクラスタのパターン仕様の評価が実施され、変数Ｘが、適用される対応する時相論理を満たす第１のクラスタ内のサンプル・トレースの数を表し、変数Ｚが、適用される対応する時相論理を満たさない第２のクラスタ内のサンプル・トレースの数を表す。
第１のクラスタと同様に、第２のクラスタが処理を受ける。図に示されているように、第２のクラスタ（クラスタ１）のサンプル・トレース用の第２のサンプル・トレース集計変数Ｙが初期化される（４２６）。第２のクラスタ（クラスタ１）に割り当てられるサンプル・トレースの数が識別され、変数ＹＴｏｔａｌに割り当てられる（４２８）。それに応じて、サンプリングからのトレースが各クラスタに割り当てられ、対応するクラスタおよび論理変数が定義されて初期化される。
ステップ（４１２）での第１のクラスタの評価には、時間条件を伴うパターン仕様および構文解析されたイベントに対応する変数仕様を選択することと、選択されたパターン仕様の時間条件に関して、選択された変数仕様に対応する構文解析されたイベントを評価することとを含む、２つの態様がある。実施形態では、ステップ（４１２）での評価は、サンプリングに基づく推論を使用して、選択されたパターン仕様の線形時相論理（ＬＴＬ）の形態での条件（または特性）を検索する。ステップ（４１２）でのパターン仕様の評価は、会話のトレースを通じて常に保持する条件、別の条件の後に続くか、または別の条件によって先行される条件などの、抽出するための時間条件の種類を表明することを含む。パターン仕様は、パターン仕様のライブラリから選択されることができる。ライブラリ内のパターン仕様の各々は、加重値（例えば、確率分布）に関連付けられることができる。同様に、変数仕様は、同じライブラリまたは異なるライブラリから選択されることができる。実施形態では、考慮するためのパターン仕様および変数仕様、ならびに検索された特性において、例えば確率分布を介して関連付けられた加重値（例えば、好ましさ）の選択は、構成可能である。
ステップ（４１２）での第１のクラスタ（クラスタ０）に関して、選択されたパターン仕様の時間条件が、サンプル・トレース（例えば、トレースＷ）の選択された変数仕様に対応する少なくとも１つの構文解析されたイベントに当てはまるかどうかの判定が行われる。例えば、選択された変数仕様に対応する構文解析されたイベントに適用される選択されたパターン仕様は、構文解析されたイベント（または状態変数）に対する線形時相論理（ＬＴＬ）の実施を含んでよい。実施形態によれば、パターン仕様は、対話イベントの完了の成功などの第１の条件がクラスタ０の結果につながるかどうかであってよい。例えば、ステップ（４１２）は、結果が例えば予約の成功である第１のクラスタ（クラスタ０）のサンプル・トレースの結果に関して、旅行の出発時間（状態変数のインスタンス化）のユーザの仕様を満たすことが成り立つかどうかの判定を含んでよい。ステップ（４１２）での判定に対する肯定的応答の後に、トレース論理集計変数Ｘのインクリメントが続き（４１４）、Ｘは、パターン仕様の論理を満たすクラスタ０のサンプル・トレースを表す。しかし、ステップ（４１２）での判定に対する否定的応答の場合、（４１４）でトレース論理集計変数Ｘはインクリメントされない。ステップ（４１２）での否定的応答に続いて、またはステップ（４１２）での肯定的応答の場合、ステップ（４１４）に続いて、トレース集計変数Ｗがインクリメントされる（４１６）。その後、第１のクラスタ内のサンプル・トレースの各々が評価されたかどうかが判定される（４１８）。ステップ（４１８）での否定的応答の後に、第１のクラスタ（クラスタ０）からサンプリングされたトレースの処理を続行するために、ステップ（４１２）に戻ることが続く。しかし、ステップ（４１８）での肯定的応答は、クラスタのパターン仕様および変数仕様に関して、第１のクラスタ（クラスタ０）に割り当てられたトレースのサンプリングが評価されたということを示す。図に示されているように、第１のクラスタ０の比率（比率０）が評価され（４２０）、本明細書では、パターン仕様を満たしたサンプル・トレースの数Ｘおよび第１のクラスタに割り当てられたサンプル・トレースの数の値の比率（すなわち、Ｘ／ＷＴｏｔａｌ）として示されている。実施形態では、比率０は、０～１の範囲内であり、その間の１０分の１または１００分の１のすべての倍数を含む。
第１のクラスタと同様に、第２のクラスタ（クラスタ１）からサンプリングされたトレースも、第１のクラスタ（クラスタ０）のトレースと同じパターン仕様および同じ変数仕様の対象になるが、この場合は、選択された変数仕様に対応する選択された構文解析されたイベントがパターン仕様を満たさない、第２のクラスタ（クラスタ１）に割り当てられたサンプル・トレースの比率を識別する。第２のクラスタ（クラスタ１）に関して、ステップ（４３２）で、ステップ（４１２）で選択された同じ変数仕様に対応する構文解析されたイベントに対して、選択されたパターン仕様（すなわち、ステップ（４１２）の同じパターン仕様）が成り立つかどうかを評価するための判定が実施される。例えば、選択された変数仕様に適用されるパターン仕様は、選択された変数仕様に対応する構文解析されたイベントに対する線形時相論理（ＬＴＬ）の実施を含んでよい。実施形態によれば、パターン仕様は、対話イベントの完了の成功などの第１の条件がクラスタ１の結果につながるかどうかであってよい。例えば、ステップ（４３２）は、結果が例えば予約の失敗である第２のクラスタ（クラスタ１）のサンプル・トレースの結果に関して、旅行の出発時間（状態変数のインスタンス化）のユーザの仕様を満たすことが成り立つかどうかの判定を含んでよい。
ステップ（４３２）での判定に対する肯定的応答（例えば、予約の失敗の結果に関して、旅行の出発日のユーザの仕様の満足度が成り立たないという決定）の後に、トレース論理集計変数Ｚのインクリメントが続き（４３４）、Ｚは、パターン仕様の論理を満たさないサンプル・トレースを表す。しかし、ステップ（４３２）での判定に対する否定的応答の後に、トレース論理集計変数Ｚのインクリメントは続かない。ステップ（４３２）での否定的応答またはステップ（４３４）でのインクリメントに続いて、トレース集計変数Ｙがインクリメントされる（４３６）。その後、第２のクラスタ（クラスタ１）のすべてのサンプル・トレースが評価されたかどうかが判定される（４３８）。ステップ（４３８）での否定的応答の後に、第２のクラスタ（クラスタ１）に割り当てられたサンプル・トレースの処理を続行するために、ステップ（４３２）に戻ることが続く。しかし、ステップ（４３８）での肯定的応答は、クラスタのパターン仕様および変数仕様に関して、第２のクラスタからサンプリングされたトレースが評価されたということを示す。図に示されているように、第２のクラスタ（クラスタ１）の比率１が評価され（４４０）、本明細書では、選択された変数仕様に関する選択されたパターン仕様を満たさなかったサンプル・トレースの数および第２のクラスタ（クラスタ１）に割り当てられたサンプル・トレースの数の値の比率（すなわち、Ｚ／ＹＴｏｔａｌ）として示されている。実施形態では、比率１は、０～１の範囲内であり、その間の１０分の１または１００分の１のすべての倍数を含む。
図４のフローチャート（４００）は、１つの選択されたパターン仕様および１つの選択された変数仕様に関して上で説明された。実施形態では、フローチャート（４００）のステップは、パターンおよび変数仕様の他の組み合わせに対して繰り返されてよい。
図５を参照すると、クラスタの形成および評価を活用し、対照性しきい値を満たす対照性パターンがトレース内に存在するかどうかを判定し、存在する場合は仮想対話エージェントを改良するためのプロセスを示すフローチャート（５００）が提供されている。対照性パターンは、図４で評価されたように、第１のクラスタ（クラスタ０）の第１の比率（比率０）、および第２のクラスタ（クラスタ１）の第２の比率（比率１）に基づく値を有する。実施形態例では、第１および第２の比率が掛け合わされて、積値をもたらす（５０２）。ステップ（５０４）で、ステップ（５０２）の積値に、１つまたは複数の加重係数が掛けられ、対照性パターンの値を表す加重積を決定する。実施形態によれば、加重係数の各々は、０～１の範囲内であり、その間の１０分の１または１００分の１のすべての倍数を含む。実施形態によれば、加重係数は、例えばパターン仕様に割り当てられた重要性に基づく、パターン仕様の加重係数である。別の実施形態によれば、加重係数は、例えば変数仕様に割り当てられた重要性に基づく、変数仕様の加重係数である。例えば、出発日の満足度に関連する変数仕様はプログラマにとって高い重要性を有してよく、したがって、１に近い加重値が割り当てられてよく、車両のレンタルの満足度に関連する変数仕様は低い重要性を有してよく、したがって、０に近い加重値が割り当てられてよい。１つの実施形態では、パターン仕様または変数仕様あるいはその両方への加重の適用は省略されるか、または１に設定されてよい。同様に、１つの実施形態では、加重の値は構成可能であってよい。
ステップ（５０６）で、対照性しきい値が割り当てられる。実施形態例では、対照性しきい値は、０～１の範囲内の値として選択され、０～１の範囲内の任意のインクリメント（例えば、１０分の１、１００分の１など）を含む。対照性しきい値は、プログラマによって、またはＡＩプラットフォーム（１５０）によって選択されてよい。その後、実施形態例では加重積として上で説明された対照性パターンの値が対照性しきい値を満たす（例えば、対照性しきい値以上である）かどうかが判定される（５０８）。判定（５０８）に対する肯定的応答の後に、対話システムの性能を改善するために、構文解析されたイベントに関連して、仮想エージェントに対する改良に対応する出力を作成することが続く（５１０）。ステップ（５０８）での判定に対する否定的応答の後に、続行するための１つまたは複数の選択肢の決定（５１２）が続く。選択肢は、例えば、新しい対照性しきい値を割り当て、ステップ（５０８）に戻ることと、別のパターン仕様または変数仕様あるいはその両方を選択し、図４のフローチャート（４００）に戻ることと、プロセスを終了することとを含む。
対照性しきい値は、例えば満足度および複雑さを含む、さまざまな要因に基づくことができる。満足度は、検索された特性が入力された会話のトレースと一致する程度を計算することを含み、１つの実施形態では、入力セット間の差異を強調することを最大化する。加えて、満足度は、入力トレースに対してＬＴＬ特性の一致および不一致をチェックすることを含む。対照性評価の複雑さの側面は、より少ない命題を含むことに関して低複雑度の仕様への動機を与え、検索された特性の範囲内で簡潔さおよび解釈可能性も促進する。
図３～５のフローチャートに示された方法を含む、本明細書に記載された例示的な方法は、トレースのセット間の差異を表す時間的特性の形態で出力を作成する。実施形態例によれば、列挙されたステップに従って、計画言語（例えば、ＰＤＤＬ）などの、トレースがどのように生成されるかを説明する領域知識の使用可能性を評価するという決定が行われる。前述したように、実施形態例は、認識された重要性に応じて加重値をパターン仕様および変数仕様に割り当てることを含む。ＰＤＤＬは、計画問題を記述するために一般に使用される計画言語の一例である。ＰＤＤＬは、開始状態および目標状態を含む一連の状態を伴う環境から成る。このモデルは、開始状態から目標状態までの経路（例えば、トレース）を見つけることを目指す。したがって、本明細書において示されたように、グループの挙動間の特徴的なパターンが自動的に抽出され、対応する対照性の説明が検索され、選択的な変更のためにチャットボット・プラットフォームに適用される。
本明細書において示され、説明された実施形態は、特に対話システムの性能を改善することに関連して、会話の対話記録を処理して分析するために、インテリジェントなコンピュータ・プラットフォームと共に使用するためのコンピュータ・システムの形態であってよい。プロセッシング・ユニットは、メモリに動作可能に結合され、人工知能プラットフォームと通信する。
図１～５に示された会話ログ・ファイルおよび記録の処理の態様は、図１に示されて説明されたように、１つまたは複数の機能的ツールを使用する。機能的ツール（１５２）、（１５４）、（１５６）、（１５８）、および（１６４）、ならびにそれらに関連する機能の態様は、単一の位置でコンピュータ・システム／サーバにおいて具現化されてよく、または１つの実施形態では、計算リソースを共有するクラウドベースのシステム内で構成されてよい。図６を参照すると、図３～５に関して上で説明されたプロセスを実施するためにクラウドベースのサポート・システムと通信するコンピュータ・システム／サーバ（６０２）（以下では、ホスト（６０２）と呼ばれる）の例を示すブロック図（６００）が提供されている。ホスト（６０２）は、他の多数の汎用または専用のコンピューティング・システム環境または構成と共に動作可能である。ホスト（６０２）と共に使用するのに適することがあり得る周知のコンピューティング・システム、環境、または構成、あるいはその組み合わせの例としては、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサベース・システム、セット・トップ・ボックス、プログラマブル・コンシューマ・エレクトロニクス、ネットワークＰＣ、マイクロコンピュータ・システム、メインフレーム・コンピュータ・システム、ならびにこれらのシステム、デバイス、およびこれらと同等のもののいずれかを含むファイル・システム（例えば、分散ストレージ環境および分散クラウド・コンピューティング環境）が挙げられるが、これらに限定されない。
ホスト（６０２）は、コンピュータ・システムによって実行されているプログラム・モジュールなどの、コンピュータ・システムによって実行可能な命令との一般的な関連において説明されてよい。通常、プログラム・モジュールは、特定のタスクを実行するか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、論理、データ構造などを含んでよい。ホスト（６０２）は、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される、分散クラウド・コンピューティング環境で実行されてよい。分散クラウド・コンピューティング環境において、プログラム・モジュールは、メモリ・ストレージ・デバイスを含む、ローカルおよびリモートの両方のコンピュータ・システム・ストレージ媒体に配置されてよい。
図６に示されているように、ホスト（６０２）は、汎用コンピューティング・デバイスの形態で示されている。ホスト（６０２）のコンポーネントは、１つまたは複数のプロセッサまたはプロセッシング・ユニット（６０４）（例えば、ハードウェア・プロセッサ）、システム・メモリ（６０６）、およびシステム・メモリ（６０６）を含むさまざまなシステム・コンポーネントをプロセッサ（６０４）に結合するバス（６０８）を含んでよいが、これらに限定されない。バス（６０８）は、メモリ・バスまたはメモリ・コントローラ、ペリフェラル・バス、アクセラレーテッド・グラフィックス・ポート、およびさまざまなバス・アーキテクチャのいずれかを使用するプロセッサまたはローカル・バスを含む、複数の種類のバス構造のいずれかのうちの１つまたは複数を表す。そのようなアーキテクチャの例としては、ＩＳＡ（Industry Standard Architecture）バス、ＭＣＡ（MicroChannel Architecture）バス、ＥＩＳＡ（Enhanced ISA）バス、ＶＥＳＡ（Video Electronics Standards Association）ローカル・バス、およびＰＣＩ（Peripheral Component Interconnects）バスが挙げられるが、これらに限定されない。ホスト（６０２）は、通常、さまざまなコンピュータ・システム可読媒体を含む。そのような媒体は、ホスト（６０２）によってアクセスできる任意の使用可能な媒体であってよく、揮発性および不揮発性媒体、取り外し可能および取り外し不可の媒体を含む。
メモリ（６０６）は、ランダム・アクセス・メモリ（ＲＡＭ：random accessmemory）（６３０）またはキャッシュ・メモリ（６３２）あるいはその両方などの、揮発性メモリの形態でのコンピュータ・システム可読媒体を含むことができる。単に例として、取り外し不可、不揮発性の磁気媒体（図示されておらず、典型的には「ハード・ドライブ」と呼ばれる）に対する読み取りと書き込みを行うために、ストレージ・システム（６３４）を提供することができる。図示されていないが、取り外し可能、不揮発性の磁気ディスク（例えば、「フロッピー（Ｒ）・ディスク」）に対する読み取りと書き込みを行うための磁気ディスク・ドライブ、およびＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または他の光媒体などの取り外し可能、不揮発性の光ディスクに対する読み取りと書き込みを行うための光ディスク・ドライブを提供することができる。そのような例では、それぞれを、１つまたは複数のデータ媒体インターフェースによってバス（６０８）に接続することができる。
例えば、一連の（少なくとも１つの）プログラム・モジュール（６４２）を含むプログラム／ユーティリティ（６４０）がメモリ（６０６）に格納されるが、これに限定されず、オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データも格納されてよい。オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データ、またはこれらの組み合わせの各々は、ネットワーク環境の実装を含んでよい。プログラム・モジュール（６４２）は、一般に、実施形態の機能または方法あるいはその両方を実行して、論理（例えば、時相論理）を活用し、自動化された仮想対話エージェントの性能を改善することができる。例えば、プログラム・モジュールのセット（６４２）は、図１で説明されたツール（１５２）、（１５４）、（１５６）、（１５８）、および（１６４）を含んでよい。
ホスト（６０２）は、キーボード、ポインティング・デバイスなどの１つまたは複数の外部デバイス（６１４）、ディスプレイ（６２４）、ユーザがホスト（６０２）と情報をやりとりできるようにする１つまたは複数のデバイス、またはホスト（６０２）が１つまたは複数の他のコンピューティング・デバイスと通信できるようにする任意のデバイス（例えば、ネットワーク・カード、モデムなど）、あるいはその組み合わせと通信してもよい。そのような通信は、入出力（Ｉ／Ｏ：Input/Output）インターフェース（６２２）を介して行うことができる。さらに、ホスト（６０２）は、ローカル・エリア・ネットワーク（ＬＡＮ：local area network）、一般的な広域ネットワーク（ＷＡＮ：widearea network）、またはパブリック・ネットワーク（例えば、インターネット）、あるいはその組み合わせなどの１つまたは複数のネットワークと、ネットワーク・アダプタ（６２０）介して通信することができる。図示されているように、ネットワーク・アダプタ（６２０）は、バス（６０８）を介してホスト（６０２）の他のコンポーネントと通信する。実施形態では、分散ファイル・システム（図示されていない）の複数のノードは、Ｉ／Ｏインターフェース（６２２）を介して、またはネットワーク・アダプタ（６２０）を介して、ホスト（６０２）と通信する。図示されていないが、他のハードウェア・コンポーネントまたはソフトウェア・コンポーネントあるいはその両方を、ホスト（６０２）と併用できるということが理解されるべきである。その例として、マイクロコード、デバイス・ドライバ、冗長プロセッシング・ユニット、外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・ドライブ、およびデータ・アーカイブ・ストレージ・システムなどが挙げられるが、これらに限定されない。
本文書では、「コンピュータ・プログラム媒体」、「コンピュータ使用可能媒体」、および「コンピュータ可読媒体」という用語は、一般に、ＲＡＭ（６３０）、キャッシュ（６３２）、ならびに取り外し可能ストレージ・ドライブおよびハード・ディスク・ドライブに取り付けられたハード・ディスクなどのストレージ・システム（６３４）を含むメイン・メモリ（６０６）などの媒体を指すために使用される。
コンピュータ・プログラム（コンピュータ制御論理とも呼ばれる）は、メモリ（６０６）に格納される。コンピュータ・プログラムは、ネットワーク・アダプタ（６２０）などの通信インターフェースを介して受信されてもよい。そのようなコンピュータ・プログラムは、実行された場合、コンピュータ・システムが、本明細書で説明された本実施形態の特徴を実行できるようにする。特に、コンピュータ・プログラムは、実行された場合、プロセッシング・ユニット（６０４）が、コンピュータ・システムの機能を実行できるようにする。したがって、そのようなコンピュータ・プログラムは、コンピュータ・システムのコントローラを表す。
コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用するための命令を保持および格納できる有形のデバイスであることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、またはこれらの任意の適切な組み合わせであってよいが、これらに限定されない。コンピュータ可読ストレージ媒体のさらに具体的な例の非網羅的リストは、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ダイナミックまたはスタティック・ランダム・アクセス・メモリ（ＲＡＭ：random access memory）、読み取り専用メモリ（ＲＯＭ：read-onlymemory）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：erasableprogrammable read-only memoryまたはフラッシュ・メモリ）、磁気ストレージ・デバイス、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：compact disc read-only memory）、デジタル・バーサタイル・ディスク（ＤＶＤ：digital versatile disk）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチカードまたは命令が記録されている溝の中の隆起構造などの機械的にエンコードされるデバイス、およびこれらの任意の適切な組み合わせを含む。本明細書において使用されるとき、コンピュータ可読ストレージ媒体は、それ自体が、電波または他の自由に伝搬する電磁波、導波管または他の送信媒体を伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、あるいはワイヤを介して送信される電気信号などの一過性の信号であると解釈されるべきではない。
本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体から各コンピューティング・デバイス／処理デバイスへ、またはネットワーク（例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、または無線ネットワーク、あるいはその組み合わせ）を介して外部コンピュータまたは外部ストレージ・デバイスへダウンロードされることができる。このネットワークは、銅伝送ケーブル、光伝送ファイバ、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組み合わせを備えてよい。各コンピューティング・デバイス／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、コンピュータ可読プログラム命令をネットワークから受信し、それらのコンピュータ可読プログラム命令を各コンピューティング・デバイス／処理デバイス内のコンピュータ可読ストレージ媒体に格納するために転送する。
本実施形態の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ：instruction-set-architecture）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいは、Ｊａｖａ（Ｒ）、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組み合わせで記述されたソース・コードまたはオブジェクト・コードであってよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体を実行するか、ユーザのコンピュータ上でスタンドアロン・ソフトウェア・パッケージとして部分的に実行するか、ユーザのコンピュータ上およびリモート・コンピュータ上でそれぞれ部分的に実行するか、あるいはリモート・コンピュータ上またはサーバもしくはサーバのクラスタ上で全体を実行してよい。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてよく、または接続は、（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して行われてよい。一部の実施形態では、実施形態の態様を実行するために、例えばプログラマブル・ロジック回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ：field-programmable gate arrays）、またはプログラマブル・ロジック・アレイ（ＰＬＡ：programmable logic arrays）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用して電子回路をカスタマイズすることによって、コンピュータ可読プログラム命令を実行してよい。
実施形態では、ホスト（６０２）はクラウド・コンピューティング環境のノードである。従来技術において知られているように、クラウド・コンピューティングは、最小限の管理上の手間またはサービス・プロバイダとのやりとりで迅速にプロビジョニングおよび解放することができる、構成可能な計算リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールへの便利なオンデマンドのネットワーク・アクセスを可能にするためのサービス提供モデルである。このクラウド・モデルは、少なくとも５つの特徴、少なくとも３つのサービス・モデル、および少なくとも４つの展開モデルを含んでよい。そのような特徴の例は次のとおりである。
オンデマンドのセルフ・サービス：クラウドのコンシューマは、サーバの時間、ネットワーク・ストレージなどの計算機能を、サービス・プロバイダとの人間的なやりとりを必要とせず、必要に応じて自動的に、一方的にプロビジョニングすることができる。
幅広いネットワーク・アクセス：機能は、ネットワーク上で利用可能であり、異種のシン・クライアントまたはシック・クライアント・プラットフォーム（例えば、携帯電話、ラップトップ、およびＰＤＡ）による利用を促進する標準的なメカニズムを通じてアクセスされる。
リソース・プーリング：プロバイダの計算リソースは、マルチテナント・モデルを使用して、複数のコンシューマにサービスを提供するためにプールされており、さまざまな物理的および仮想的リソースが、要求に従って動的に割り当ておよび再割り当てされる。コンシューマは通常、提供されるリソースの正確な場所に関して制御することも知ることもないが、より高いレベルの抽象化では、場所（例えば、国、州、またはデータセンター）を指定できることがあるという点で、場所に依存しないという感覚がある。
迅速な弾力性：機能は、迅速かつ弾力的に、場合によっては自動的にプロビジョニングされ、素早くスケールアウトし、迅速に解放されて素早くスケールインすることができる。プロビジョニングに使用できるこれらの機能は、コンシューマにとって、無制限であるように見えることが多く、任意の量をいつでも購入できる。
測定されるサービス：クラウド・システムは、サービスの種類（例えば、ストレージ、処理、帯域幅、およびアクティブなユーザのアカウント）に適した任意の抽象化のレベルでの計測機能を活用することによって、リソースの使用を自動的に制御および最適化する。リソースの使用状況は、監視、制御、および報告され、利用されるサービスのプロバイダとコンシューマの両方に透明性を提供することができる。
サービス・モデルは、次のとおりである。
ＳａａＳ（Software as a Service）：コンシューマに提供されるこの機能は、クラウド・インフラストラクチャ上で稼働しているプロバイダのアプリケーションを使用する機能である。それらのアプリケーションに、Ｗｅｂブラウザ（例えば、Ｗｅｂベースの電子メール）などのシン・クライアント・インターフェースを介して、さまざまなクライアント・デバイスからアクセスできる。コンシューマは、ネットワーク、サーバ、オペレーティング・システム、ストレージ、または個々のアプリケーション機能をも含む、基礎となるクラウド・インフラストラクチャを、限定的なユーザ固有のアプリケーション構成設定を行う可能性を除き、管理することも制御することもない。
ＰａａＳ（Platform as a Service）：コンシューマに提供されるこの機能は、プロバイダによってサポートされるプログラミング言語およびツールを使用して作成された、コンシューマが作成または取得したアプリケーションをクラウド・インフラストラクチャ上に展開するために、コンシューマに提供される機能である。コンシューマは、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含む、基礎となるクラウド・インフラストラクチャを管理することも制御することもないが、展開されたアプリケーション、および場合によってはアプリケーション・ホスティング環境の構成を制御することができる。
ＩａａＳ（Infrastructure as a Service）：コンシューマに提供されるこの機能は、処理、ストレージ、ネットワーク、および他の基本的な計算リソースのプロビジョニングする機能であり、コンシューマは、オペレーティング・システムおよびアプリケーションを含むことができる任意のソフトウェアを展開して実行できる。コンシューマは、基礎となるクラウド・インフラストラクチャを管理することも制御することもないが、オペレーティング・システム、ストレージ、展開されたアプリケーションを制御することができ、場合によっては、選択されたネットワーク・コンポーネント（例えば、ホスト・ファイアウォール）を限定的に制御することができる。
展開モデルは、次のとおりである。
プライベート・クラウド：このクラウド・インフラストラクチャは、組織のためにのみ運用される。このクラウド・インフラストラクチャは、この組織またはサード・パーティによって管理することができ、オンプレミスまたはオフプレミスに存在することができる。
コミュニティ・クラウド：このクラウド・インフラストラクチャは、複数の組織によって共有され、関心事（例えば、任務、セキュリティ要件、ポリシー、およびコンプライアンスに関する考慮事項）を共有している特定のコミュニティをサポートする。このクラウド・インフラストラクチャは、これらの組織またはサード・パーティによって管理することができ、オンプレミスまたはオフプレミスに存在することができる。
パブリック・クラウド：このクラウド・インフラストラクチャは、一般市民または大規模な業界団体に利用可能にされ、クラウド・サービスを販売する組織によって所有される。
ハイブリッド・クラウド：このクラウド・インフラストラクチャは、データおよびアプリケーションのポータビリティを可能にする標準化された技術または独自の技術（例えば、クラウド間の負荷分散のためのクラウド・バースティング）によって固有の実体を維持したまま互いに結合された２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の複合体である。
クラウド・コンピューティング環境は、ステートレス性、低結合性、モジュール性、および意味的相互運用性に重点を置いたサービス指向の環境である。クラウド・コンピューティングの中心になるのは、相互接続されたノードのネットワークを備えるインフラストラクチャである。
ここで図７を参照すると、例示的なクラウド・コンピューティング・ネットワーク（７００）が示されている。図に示されているように、クラウド・コンピューティング・ネットワーク（７００）は、クラウドのコンシューマによって使用されるローカル・コンピューティング・デバイスが通信し得る１つまたは複数のクラウド・コンピューティング・ノード（７１０）を含むクラウド・コンピューティング環境（７５０）を含む。これらのローカル・コンピューティング・デバイスの例として、パーソナル・デジタル・アシスタント（ＰＤＡ）または携帯電話（７５４Ａ）、デスクトップ・コンピュータ（７５４Ｂ）、ラップトップ・コンピュータ（７５４Ｃ）、または自動車コンピュータ・システム（７５４Ｎ）、あるいはその組み合わせが挙げられるが、これらに限定されない。ノード（７１０）内の個別のノードは、互いにさらに通信してよい。ノード７１０は、１つまたは複数のネットワーク内で、本明細書において前述されたプライベート・クラウド、コミュニティ・クラウド、パブリック・クラウド、またはハイブリッド・クラウド、あるいはこれらの組み合わせなどに、物理的または仮想的にグループ化されてよい（図示されていない）。これによって、クラウド・コンピューティング環境（７００）は、クラウドのコンシューマがローカル・コンピューティング・デバイス上でリソースを維持する必要のないインフラストラクチャ、プラットフォーム、またはＳａａＳ、あるいはその組み合わせを提供できる。図７に示されたコンピューティング・デバイス（７５４Ａ～Ｎ）の種類は、例示のみが意図されており、クラウド・コンピューティング環境（７５０）は、任意の種類のネットワークまたはネットワーク・アドレス可能な接続（例えば、Ｗｅｂブラウザを使用した接続）あるいはその両方を経由して任意の種類のコンピュータ制御デバイスと通信することができると理解される。
ここで図８を参照すると、図７のクラウド・コンピューティング・ネットワークによって提供される機能的抽象レイヤのセット（８００）が示されている。図８に示されたコンポーネント、レイヤ、および機能は、例示のみが意図されており、実施形態がこれらに限定されないということが、あらかじめ理解されるべきである。図に示されているように、ハードウェアおよびソフトウェア・レイヤ（８１０）、仮想化レイヤ（８２０）、管理レイヤ（８３０）、およびワークロード・レイヤ（８４０）、ならびに対応する機能が提供されている。
ハードウェアおよびソフトウェア・レイヤ（８１０）は、ハードウェア・コンポーネントおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例としては、メインフレーム（一例を挙げると、ＩＢＭ（Ｒ）ｚＳｅｒｉｅｓ（Ｒ）システム）、ＲＩＳＣ（Reduced Instruction Set Computer）アーキテクチャ・ベース・サーバ（一例を挙げると、ＩＢＭ ｐＳｅｒｉｅｓ（Ｒ）システム）、ＩＢＭ ｘＳｅｒｉｅｓ（Ｒ）システム、ＩＢＭ ＢｌａｄｅＣｅｎｔｅｒ（Ｒ）システム、ストレージ・デバイス、ネットワークおよびネットワーク・コンポーネントが挙げられる。ソフトウェア・コンポーネントの例としては、ネットワーク・アプリケーション・サーバ・ソフトウェア（一例を挙げると、ＩＢＭ ＷｅｂＳｐｈｅｒｅ（Ｒ）アプリケーション・サーバ・ソフトウェア）、およびデータベース・ソフトウェア（一例を挙げると、ＩＢＭ ＤＢ２（Ｒ）データベース・ソフトウェア）が挙げられる（ＩＢＭ、ｚＳｅｒｉｅｓ、ｐＳｅｒｉｅｓ、ｘＳｅｒｉｅｓ、ＢｌａｄｅＣｅｎｔｅｒ、ＷｅｂＳｐｈｅｒｅ、およびＤＢ２は、世界中の多くの管轄区域で登録されているＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎの商標である）。
仮想化レイヤ（８２０）は、仮想サーバ、仮想ストレージ、仮想プライベート・ネットワークを含む仮想ネットワーク、仮想アプリケーションおよびオペレーティング・システム、ならびに仮想クライアントなどの仮想的実体を提供できる抽象レイヤを備える。
１つの例では、管理レイヤ（８３０）は、リソース・プロビジョニング、計測および価格設定、ユーザ・ポータル、サービス・レイヤ管理、ならびにＳＬＡ計画および実行の機能を提供してよい。リソース・プロビジョニングは、クラウド・コンピューティング環境内でタスクを実行するために利用される計算リソースおよび他のリソースの動的調達を行う。計測および価格設定は、クラウド・コンピューティング環境内でリソースが利用される際のコスト追跡、およびそれらのリソースの利用に対する請求書の作成と送付を行う。一例を挙げると、それらのリソースは、アプリケーション・ソフトウェア・ライセンスを含んでよい。セキュリティは、クラウドのコンシューマおよびタスクの識別情報の検証を行うと共に、データおよび他のリソースの保護を行う。ユーザ・ポータルは、クラウド・コンピューティング環境へのアクセスをコンシューマおよびシステム管理者に提供する。サービス・レイヤ管理は、必要なサービス・レイヤを満たすように、クラウドの計算リソースの割り当てと管理を行う。サービス・レイヤ合意（ＳＬＡ：Service Level Agreement）計画および実行は、今後の要求が予想されるクラウドの計算リソースの事前準備および調達を、ＳＬＡに従って行う。
ワークロード・レイヤ（８４０）は、クラウド・コンピューティング環境が利用できる機能の例を示している。このレイヤから提供されるワークロードおよび機能の例としては、マッピングおよびナビゲーション、ソフトウェア開発およびライフサイクル管理、仮想クラスルーム教育の配信、データ解析処理、トランザクション処理、ならびに仮想対話エージェント管理が挙げられるが、これらに限定されない。
本明細書では、自然言語入力を評価し、対応する通信において質問を検出し、会話ログの記録を処理して、回答またはサポートするコンテンツあるいはその両方を使用して検出された質問を解決し、対話システムの性能を改善するために使用される出力を生成するためのシステム、方法、装置、およびコンピュータ・プログラム製品が開示されているということが理解されるであろう。
本実施形態のうちの特定の実施形態が示されて説明されたが、本明細書の内容に基づいて、実施形態およびより広い態様から逸脱することなく変更および修正が行われてよいということが、当業者にとって明らかであろう。したがって、添付の特許請求の範囲は、実施形態の真の思想および範囲内にあるすべてのそのような変更および修正を、その範囲内に包含する。さらに、実施形態が添付の特許請求の範囲のみによって定義されるということが理解されるべきである。導入された請求項要素に特定の数が意図される場合、そのような意図が特許請求の範囲内で明示的に記載され、そのような記載がない場合、そのような制限は存在しないということが、当業者によって理解されるであろう。非限定的な例に関する理解の補助として、以下の添付の特許請求の範囲は、請求項要素を導入するための「少なくとも１つ」および「１つまたは複数」という導入的語句の使用を含んでいる。しかし、そのような語句の使用は、同じ請求項が導入的語句「１つまたは複数」または「少なくとも１つ」および「ａ」または「ａｎ」などの不定冠詞を含んでいる場合でも、不定冠詞「ａ」または「ａｎ」による請求項要素の導入が、そのような導入された請求項要素を含んでいるいずれかの特定の請求項を、１つのそのような要素のみを含んでいる実施形態に制限するということを意味すると解釈されるべきではなく、同じことが、特許請求の範囲における定冠詞の使用にも当てはまる。
本実施形態は、システム、方法、またはコンピュータ・プログラム製品、あるいはその組み合わせであってよい。加えて、本実施形態の選択された態様は、全体がハードウェアの実施形態、全体がソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアの態様またはハードウェアの態様あるいはその両方を組み合わせる実施形態の形態をとってよく、これらはすべて、本明細書では、一般に「回路」、「モジュール」、または「システム」と呼ばれることがある。さらに、本実施形態の態様は、プロセッサに本実施形態の態様を実行させるためのコンピュータ可読プログラム命令を含むコンピュータ可読ストレージ媒体に具現化されたコンピュータ・プログラム製品の形態をとってよい。このようにして具現化された、開示されたシステム、方法、またはコンピュータ・プログラム製品、あるいはその組み合わせは、意図の識別および識別された意図に関連する対応する応答を使用して質問を解決するために、人工知能プラットフォームの機能および動作を改良するよう機能する。
コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用するための命令を保持および格納できる有形のデバイスであることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、またはこれらの任意の適切な組み合わせであってよいが、これらに限定されない。コンピュータ可読ストレージ媒体のさらに具体的な例の非網羅的リストは、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ダイナミックまたはスタティック・ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、磁気ストレージ・デバイス、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、パンチカードまたは命令が記録されている溝の中の隆起構造などの機械的にエンコードされるデバイス、およびこれらの任意の適切な組み合わせを含む。本明細書において使用されるとき、コンピュータ可読ストレージ媒体は、それ自体が、電波または他の自由に伝搬する電磁波、導波管または他の送信媒体を伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、あるいはワイヤを介して送信される電気信号などの一過性の信号であると解釈されるべきではない。
本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体から各コンピューティング・デバイス／処理デバイスへ、またはネットワーク（例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、または無線ネットワーク、あるいはその組み合わせ）を介して外部コンピュータまたは外部ストレージ・デバイスへダウンロードされることができる。このネットワークは、銅伝送ケーブル、光伝送ファイバ、無線送信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組み合わせを備えてよい。各コンピューティング・デバイス／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、コンピュータ可読プログラム命令をネットワークから受信し、それらのコンピュータ可読プログラム命令を各コンピューティング・デバイス／処理デバイス内のコンピュータ可読ストレージ媒体に格納するために転送する。
本実施形態の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいは、Ｊａｖａ（Ｒ）、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組み合わせで記述されたソース・コードまたはオブジェクト・コードであってよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体を実行するか、ユーザのコンピュータ上でスタンドアロン・ソフトウェア・パッケージとして部分的に実行するか、ユーザのコンピュータ上およびリモート・コンピュータ上でそれぞれ部分的に実行するか、あるいはリモート・コンピュータ上またはサーバもしくはサーバのクラスタ上で全体を実行してよい。後者のシナリオでは、リモート・コンピュータを、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、または接続を、（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して行うことができる。一部の実施形態では、本実施形態の態様を実行するために、例えばプログラマブル・ロジック回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用して電子回路をカスタマイズすることによって、コンピュータ可読プログラム命令を実行してよい。
本実施形態の態様は、本明細書において、実施形態に従って、方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して説明される。フローチャート図またはブロック図あるいはその両方の各ブロック、ならびにフローチャート図またはブロック図あるいはその両方に含まれるブロックの組み合わせが、コンピュータ可読プログラム命令によって実装されるということが理解されるであろう。
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定された機能／動作を実施するための手段を作り出すべく、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてマシンを作り出すものであってよい。また、これらのコンピュータ可読プログラム命令は、命令が格納されたコンピュータ可読ストレージ媒体がフローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定された機能／動作の態様を実施する命令を含む製品を備えるように、コンピュータ可読ストレージ媒体に格納され、コンピュータ、プログラム可能なデータ処理装置、または他のデバイス、あるいはその組み合わせに特定の方式で機能するように指示できるものであってもよい。
また、コンピュータ可読プログラム命令は、コンピュータ上、他のプログラム可能な装置上、または他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定された機能／動作を実施するように、コンピュータ実装プロセスを生成すべく、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスに読み込まれ、それによって、一連の動作可能なステップを、コンピュータ上、他のプログラム可能な装置上、または他のデバイス上で実行させるものであってもよい。
図内のフローチャートおよびブロック図は、本実施形態のうちのさまざまな実施形態に従って、システム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。これに関連して、フローチャートまたはブロック図内の各ブロックは、指定された論理機能を実装するための１つまたは複数の実行可能な命令を備える、モジュール、セグメント、または命令の部分を表してよい。一部の代替の実装では、ブロックに示された機能は、図に示された順序とは異なる順序で発生してよい。例えば、連続して示された２つのブロックは、実際には、含まれている機能に応じて、実質的に同時に実行されるか、または場合によっては逆の順序で実行されてよい。ブロック図またはフローチャート図あるいはその両方の各ブロック、ならびにブロック図またはフローチャート図あるいはその両方に含まれるブロックの組み合わせは、指定された機能または動作を実行するか、または専用ハードウェアとコンピュータ命令の組み合わせを実行する専用ハードウェアベースのシステムによって実装されるということにも留意されたい。
本明細書では、例示の目的で特定の実施形態が説明されたが、実施形態の思想および範囲から逸脱することなくさまざまな変更が行われてよいということが理解されよう。特に、さまざまなコンピューティング・プラットフォームによって、または複数のデバイスにわたって、自然言語処理が実行されてよい。さらに、データ・ストレージまたはコーパスあるいはその両方が、局在するか、遠隔に存在するか、または複数のシステムにわたって分散されてよい。したがって、実施形態の保護の範囲は、以下の特許請求の範囲およびそれらと同等のもののみによって制限される。

Claims (18)

  1. コンピュータ・システムであって、
    対話システムの自動化された仮想対話エージェントとの対話に関連する複数の会話ログ・ファイルを受信するために、メモリに動作可能に結合されたプロセッシング・ユニットであって、前記会話ログ・ファイルの各々が１つまたは複数の対話イベントのトレースを含んでいる、前記プロセッシング・ユニットと、
    前記プロセッシング・ユニットと通信する人工知能（ＡＩ）プラットフォームとを備え、前記ＡＩプラットフォームが、
    前記会話ログ・ファイルの前記トレースの前記対話イベントを複数の構文解析されたイベントに構文解析し、各挙動特性を前記トレースから抽出し、各挙動特性値を前記トレースに割り当てるためのトレース・マネージャと、
    前記トレース・マネージャに動作可能に結合され、各結果値への前記トレースの前記各挙動特性値の近接性に基づいて前記トレースを複数のクラスタにクラスタ化するためのクラスタ・マネージャであって、前記複数のクラスタが、第１の結果を表す第１の結果値に最も近い前記各挙動特性値を有している前記トレースの第１のクラスタ、および前記第１の結果と異なる第２の結果を表す第２の結果値に最も近い前記各挙動特性値を有しているトレースの第２のクラスタを含む、前記クラスタ・マネージャと、
    前記クラスタ・マネージャに動作可能に結合され、時間条件を伴うパターン仕様を前記複数の構文解析されたイベントのうちの少なくとも１つの構文解析されたイベントに適用することを含む、対照性パターンに関して前記複数の構文解析されたイベントを検索するための検索マネージャとを備え、
    前記少なくとも１つの構文解析されたイベントに関して、前記検索マネージャが、前記対照性パターンが対照性しきい値を満たすかどうかを判定し、前記対照性パターンが、前記パターン仕様が当てはまる前記第１のクラスタの前記トレースの第１の比率、および前記パターン仕様が当てはまらない前記第２のクラスタの前記トレースの第２の比率に基づき、
    前記ＡＩプラットフォームからの出力が、前記対話システムの性能を改善するために、前記少なくとも１つの構文解析されたイベントに対応する前記対話イベントに関して、前記自動化された仮想対話エージェントに適用される、コンピュータ・システム。
  2. 前記対照性パターンが前記対照性しきい値を満たすかどうかを判定するための前記検索マネージャが、前記第１の比率に前記第２の比率を掛けて対照性パターンの値を計算し、前記計算された対照性パターンの値を前記対照性しきい値と比較するように構成された前記検索マネージャを含む、請求項１に記載のコンピュータ・システム。
  3. 前記対照性パターンが前記対照性しきい値を満たすかどうかを判定するための前記検索マネージャが、前記第１および第２の比率の積に０～１の範囲内の加重値を掛けて対照性パターンの値を計算し、前記計算された対照性パターンの値を前記対照性しきい値と比較するように構成された前記検索マネージャを含む、請求項１に記載のコンピュータ・システム。
  4. 前記各挙動特性がそれぞれ、前記対話システムによって成功したトランザクションおよび前記対話システムによって失敗したトランザクションを含む、請求項１に記載のコンピュータ・システム。
  5. 時間条件を伴うパターン仕様を適用する前記検索マネージャが、複数のパターン仕様から前記パターン仕様を選択するように構成された前記検索マネージャを含み、前記複数のパターン仕様が第１のライブラリに格納される、請求項１に記載のコンピュータ・システム。
  6. 時間条件を伴うパターン仕様を前記複数の構文解析されたイベントのうちの少なくとも１つの構文解析されたイベントに適用する前記検索マネージャが、第２のライブラリに格納された複数の変数仕様から、前記少なくとも１つの構文解析されたイベントに対応する変数仕様を選択するように構成された前記検索マネージャを含み、前記第１および第２のライブラリが同じまたは異なるライブラリであってよい、請求項５に記載のコンピュータ・システム。
  7. 仮想対話エージェント・システムの性能を改善するためのコンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品が、プログラム・コードが具現化されているコンピュータ可読ストレージ媒体を備え、プロセッサによって実行可能な前記プログラム・コードが、
    対話システムの自動化された仮想対話エージェントとの対話に関連する複数の会話ログ・ファイルを受信することであって、前記会話ログ・ファイルが、１つまたは複数の対話イベントを含んでいる各トレースを含む、前記受信することと、
    前記受信された会話ログ・ファイルを学習プログラムを含んでいる人工知能（ＡＩ）プラットフォームに適用して、
    前記会話ログ・ファイルの前記トレースの前記対話イベントを複数の構文解析されたイベントに構文解析することと、
    各挙動特性を前記トレースから抽出し、各挙動特性値を前記トレースに割り当てることと、
    各結果値への前記トレースの前記各挙動特性値の近接性に基づいて前記トレースを複数のクラスタにクラスタ化することであって、前記複数のクラスタが、第１の結果を表す第１の結果値に最も近い前記各挙動特性値を有している前記トレースの第１のクラスタ、および前記第１の結果と異なる第２の結果を表す第２の結果値に最も近い前記各挙動特性値を有しているトレースの第２のクラスタを含む、前記クラスタ化することと、
    対照性パターンに関して前記複数の構文解析されたイベントを検索することであって、時間条件を伴うパターン仕様を前記複数の構文解析されたイベントのうちの少なくとも１つの構文解析されたイベントに適用することを含む、前記検索することと、
    前記少なくとも１つの構文解析されたイベントに関して、前記対照性パターンが対照性しきい値を満たすかどうかを判定することであって、前記対照性パターンが、前記パターン仕様が当てはまる前記第１のクラスタの前記トレースの第１の比率、および前記パターン仕様が当てはまらない前記第２のクラスタの前記トレースの第２の比率に基づく、前記判定することとを実行し、
    前記ＡＩプラットフォームからの出力が、前記対話システムの性能を改善するために、前記少なくとも１つの構文解析されたイベントに対応する前記対話イベントに関して、前記自動化された仮想対話エージェントに適用される、コンピュータ・プログラム製品。
  8. 前記対照性パターンが前記対照性しきい値を満たすかどうかを判定するための前記プログラム・コードが、前記第１の比率に前記第２の比率を掛けて対照性パターンの値を計算し、前記計算された対照性パターンの値を前記対照性しきい値と比較するように、前記プロセッサによって実行可能なプログラム・コードを含む、請求項７に記載のコンピュータ・プログラム製品。
  9. 前記対照性パターンが前記対照性しきい値を満たすかどうかを判定するための前記プログラム・コードが、前記第１および第２の比率の積に０～１の範囲内の少なくとも１つの加重値を掛けて対照性パターンの値を計算し、前記計算された対照性パターンの値を前記対照性しきい値と比較するように、前記プロセッサによって実行可能なプログラム・コードを含む、請求項７に記載のコンピュータ・プログラム製品。
  10. 前記各挙動特性がそれぞれ、前記対話システムによって成功したトランザクションおよび前記対話システムによって失敗したトランザクションを含む、請求項７に記載のコンピュータ・プログラム製品。
  11. 時間条件を伴うパターン仕様を適用するための前記プログラム・コードが、第１のライブラリに格納された複数のパターン仕様から前記パターン仕様を選択するように、前記プロセッサによって実行可能なプログラム・コードを含む、請求項７に記載のコンピュータ・プログラム製品。
  12. 時間条件を伴うパターン仕様を前記複数の構文解析されたイベントのうちの少なくとも１つの構文解析されたイベントに適用するための前記プログラム・コードが、第２のライブラリに格納された複数の変数仕様から、前記少なくとも１つの構文解析されたイベントに対応する変数仕様を選択するように、前記プロセッサによって実行可能なプログラム・コードを含み、前記第１および第２のライブラリが同じまたは異なるライブラリであってよい、請求項１１に記載のコンピュータ・プログラム製品。
  13. 対話システムの性能を改善するための機械実装方法であって、
    コンピューティング・デバイスのプロセッサによって、対話システムの自動化された仮想対話エージェントとの対話に関連する複数の会話ログ・ファイルを受信することであって、前記会話ログ・ファイルが、１つまたは複数の対話イベントを含んでいる各トレースを含む、前記受信することと、
    前記プロセッサによって、前記受信された会話ログ・ファイルを、学習プログラムを含んでいる人工知能（ＡＩ）プラットフォームに適用することとを含み、前記適用することが、
    前記会話ログ・ファイルの前記トレースの前記対話イベントを複数の構文解析されたイベントに構文解析することと、
    各挙動特性を前記トレースから抽出し、各挙動特性値を前記トレースに割り当てることと、
    各結果値への前記トレースの前記各挙動特性値の近接性に基づいて前記トレースを複数のクラスタにクラスタ化することであって、前記複数のクラスタが、第１の結果を表す第１の結果値に最も近い前記各挙動特性値を有している前記トレースの第１のクラスタ、および前記第１の結果と異なる第２の結果を表す第２の結果値に最も近い前記各挙動特性値を有しているトレースの第２のクラスタを含む、前記クラスタ化することと、
    対照性パターンに関して前記複数の構文解析されたイベントを検索することであって、時間条件を伴うパターン仕様を前記複数の構文解析されたイベントのうちの少なくとも１つの構文解析されたイベントに適用することを含む、前記検索することと、
    前記少なくとも１つの構文解析されたイベントに関して、前記対照性パターンが対照性しきい値を満たすかどうかを判定することであって、前記対照性パターンが、前記パターン仕様が当てはまる前記第１のクラスタの前記トレースの第１の比率、および前記パターン仕様が当てはまらない前記第２のクラスタの前記トレースの第２の比率に基づく、前記判定することと、
    を含み、前記機械実装方法がさらに、
    前記対話システムの性能を改善するために、前記少なくとも１つの構文解析されたイベントに対応する前記対話イベントに関して、前記自動化された仮想対話エージェントを改良することを含む、
    機械実装方法。
  14. 前記対照性パターンが前記対照性しきい値を満たすかどうかを前記判定することが、前記第１の比率に前記第２の比率を掛けて対照性パターンの値を計算し、前記計算された対照性パターンの値を前記対照性しきい値と比較することを含む、請求項１３に記載の機械実装方法。
  15. 前記対照性パターンが前記対照性しきい値を満たすかどうかを前記判定することが、前記第１および第２の比率の積に０～１の範囲内の加重値を掛けて対照性パターンの値を計算し、前記計算された対照性パターンの値を前記対照性しきい値と比較することを含む、請求項１３に記載の機械実装方法。
  16. 前記各挙動特性がそれぞれ、前記対話システムによって成功したトランザクションおよび前記対話システムによって失敗したトランザクションを含む、請求項１３に記載の機械実装方法。
  17. 時間条件を伴うパターン仕様を前記適用することが、第１のライブラリに格納された複数のパターン仕様から前記パターン仕様を選択することを含む、請求項１３に記載の機械実装方法。
  18. 時間条件を伴うパターン仕様を前記複数の構文解析されたイベントのうちの少なくとも１つの構文解析されたイベントに前記適用することが、第２のライブラリに格納された複数の変数仕様から、前記少なくとも１つの構文解析されたイベントに対応する変数仕様を選択することを含み、前記第１および第２のライブラリが同じまたは異なるライブラリであってよい、請求項１７に記載の機械実装方法。
JP2022541601A 2020-01-15 2020-12-17 仮想エージェント対話システムの会話ログの検索方法、システム、プログラム Active JP7575843B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/743,211 2020-01-15
US16/743,211 US11409965B2 (en) 2020-01-15 2020-01-15 Searching conversation logs of a virtual agent dialog system for contrastive temporal patterns
PCT/IB2020/062080 WO2021144638A1 (en) 2020-01-15 2020-12-17 Searching conversation logs of virtual agent dialog system for contrastive temporal patterns

Publications (2)

Publication Number Publication Date
JP2023510241A true JP2023510241A (ja) 2023-03-13
JP7575843B2 JP7575843B2 (ja) 2024-10-30

Family

ID=

Also Published As

Publication number Publication date
AU2020422535B2 (en) 2023-11-23
GB2607482A (en) 2022-12-07
US20210216724A1 (en) 2021-07-15
US11409965B2 (en) 2022-08-09
DE112020005296T5 (de) 2022-08-25
GB202211294D0 (en) 2022-09-14
AU2020422535A1 (en) 2022-06-09
WO2021144638A1 (en) 2021-07-22
CN115004174A (zh) 2022-09-02
KR20220103147A (ko) 2022-07-21

Similar Documents

Publication Publication Date Title
US11455473B2 (en) Vector representation based on context
US11915123B2 (en) Fusing multimodal data using recurrent neural networks
US10185753B1 (en) Mining procedure dialogs from source content
AU2020422535B2 (en) Searching conversation logs of virtual agent dialog system for contrastive temporal patterns
US11030402B2 (en) Dictionary expansion using neural language models
US11741371B2 (en) Automatically generating diverse text
US11687709B2 (en) Domain knowledge based feature extraction for enhanced text representation
JP2023002475A (ja) コンピュータシステム、コンピュータプログラムおよびコンピュータで実装される方法（因果関係知識の識別および抽出）
TW202314582A (zh) 與外部事件相關之對話系統內容
WO2022219435A1 (en) Transformer-based model knowledge graph link prediction
US11714855B2 (en) Virtual dialog system performance assessment and enrichment
JP2024505334A (ja) マルチパーティ対話における談話解析のための構造自己認識モデル
JP2023508599A (ja) 会話型エージェント・システム、方法、プログラム
US20230316101A1 (en) Knowledge Graph Driven Content Generation
US11334716B2 (en) Document anonymization including selective token modification
US20230359758A1 (en) Privacy protection in a search process
US20210073334A1 (en) Removal of Personality Signatures

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220805

RD16 Notification of change of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7436

Effective date: 20220805

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240906

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20241004

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20241004