JP2024506519A

JP2024506519A - 仮想対話システムの性能評価及び強化

Info

Publication number: JP2024506519A
Application number: JP2023544551A
Authority: JP
Inventors: マヒンドル，ルチ; クマール，アトゥル; マンダル，アトリ; ロス，ダニエラ
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2021-01-29
Filing date: 2022-01-04
Publication date: 2024-02-14
Also published as: WO2022161745A1; CN116806339A; US20220245199A1; US11714855B2; EP4285275A1

Abstract

自動化された仮想対話エージェントを用いて仮想対話エージェントシステムの性能を向上する為の、コンピュータシステム、コンピュータプログラム製品及びコンピュータに実装された方法に関する複数の実施形態が提供される。該複数の実施態様は、ナレッジベースからグラウンドトルース（GT）を生成すること、及び該GTを活用して、該仮想対話エージェントが該GTを用いてどのように動作するかを評価することを含む。該評価は、マルチターンの仮想対話の品質を測定し、そして、該仮想対話エージェントのアルゴリズム的な向上に向けられたレメディエーション計画を生成する。
【選択図】図２

Description

本実施態様の１以上は、自動化された仮想対話エージェント、例えば「チャットボット」等、を使用する仮想対話システム、並びに関連付けられたコンピュータプログラム製品及びコンピュータに実装された方法に関する。或る例示的な実施態様において、対応する自動化された仮想対話エージェントインタラクションの品質基準が評価され、そして、選択的に解決され、ここで、該解決は例えば、自然言語（NL：natural language）対話イベントに関する性能を向上する為に、１以上のレメディエーションアクション（remediation action）を該自動化された仮想対話エージェントに選択的に適用することに向けられている。

自動化された仮想対話エージェントは、プラットフォームとして人工知能（AI：artificial intelligence）を使用し、自動化された仮想対話エージェントと、典型的にはユーザ、例えば消費者若しくはクライアント又は別の対話エージェント、との間でNLインタラクションを実施する。該インタラクションは、製品販売、顧客サービス、情報取得、又は他の種類のインタラクション若しくはトランザクションを包含しうる。チャットボットはしばしば、テキスト形式（例えば、オンラインで又はテキストによる）又は聴覚形式（例えば、電話による）のいずれかの対話を通じて、ユーザとインタラクションする。チャットボットが、ユーザとAIプラットフォームとの間の質問解答コンポーネントとして機能することが当該技術分野において知られている。質問（すなわち、クエリ）及び解答（すなわち、応答）の品質は、質問理解、質問変換、及び解答解決の品質から導き出される。品質基準を達成できない原因は、対応する応答を求める為の不適切な質問の作成又は非効率な質問の作成のいずれかにおいて共通して見られる。これは、質問を答えにマッピングする同等のナレッジ表現に効果的に変換する為のナレッジの不足が原因である場合、又はAIプラットフォーム若しくはチャットボット内の非効率が原因である場合がある。例えば、同義語又は概念関係の欠如により、顧客又はクライアントによって入力された質問が、データセット又はデータベース内で解答が利用可能であるところの既知の質問と同等であるか又は該既知の質問と関連していると判断する為のAIプラットフォームの能力を制限する可能性がある。

企業は、或る要件、例えば、仮想システムの商業的展開の前に満たされることが期待される仮想支援における精度又はインタラクション品質、を課しうる。例えば、該仮想システムは、最低性能要件、例えば、サポートエージェントのユーザベースの場合に50パーセントの精度又はエンドユーザベースの場合に90パーセントの精度の最低性能要件、を有しうる。従って、対話システムは、展開前にベンチマーク又は品質テストに付されることが望ましい。

該実施態様は、対話システムの性能を向上させる為の、システム、コンピュータプログラム製品及び方法を包含する。この要約は、詳細な説明において以下に更に説明されている代表的な概念の選択を簡略化した形式で紹介する為に提供される。この要約は、特許請求される主題の重要な特徴又は本質的な特徴を識別することを意図されておらず、特許請求される主題の範囲を限定するような如何なる方法において使用されることも意図されていない。

１つの観点において、メモリに動作可能に接続されたプロセッサと該プロセッサに動作可能に接続された人工知能（AI）プラットフォームとを備えているコンピュータシステムが提供される。該AIプラットフォームは、仮想対話エージェントの性能を向上させる為の１以上のツールを備えている。該ツールは、グラウンドトルース（GT：ground truth）マネージャ、シミュレータ、評価マネージャ及びレメディエーション（remediation）マネージャを備えている。該GTマネージャは、ナレッジソースからGTを自動的に生成するように構成されている。該シミュレータは、該仮想対話エージェントを用いてNL対話インタラクションをシミュレーションするように構成されている。より特には、該シミュレータは、該GTを活用して、シミュレーションされたNL対話生成された出力を駆動し、そして、対応するシミュレーションログを作成するように構成されている。該評価マネージャは、該シミュレーションログに関する該仮想対話エージェントの性能を該GTの観点から評価するように構成されている。該レメディエーションマネージャは、性能閾値の観点から、対話システムに対する１以上のレメディエーションアクション（remediation action）を識別し、そして選択的に実施するように構成されている。

他の観点において、１以上のコンピュータ可読記憶媒体、及び該１以上のコンピュータ可読記憶媒体上に記憶されたプログラムコードを備えているコンピュータプログラム製品が提供される。該プログラムコードは、仮想対話エージェントの性能を向上させる為にコンピュータプロセッサによって実行可能である。該プログラムコードは、ナレッジソースからグラウンドトルース（GT）を自動的に生成する為に提供される。該プログラムコードは更に、該仮想対話エージェントを用いてNL対話インタラクションをシミュレーションする為に提供される。該シミュレーションは、該GTを活用して、シミュレーションされたNL対話生成された出力を駆動し、そして、対応するシミュレーションログを作成する。該シミュレーションログに関する該仮想対話エージェントの性能を該GTの観点から評価し、並びに、性能閾値の観点から対話システムに対する１以上のレメディエーションアクションを識別し、そして、選択的に実行する為のプログラムコードが提供される。

更に別の観点において、仮想対話エージェントの性能を向上させる為の、コンピュータに実装された方法が提供される。該方法は、ナレッジソースからグラウンドトルース（GT）を自動的に生成するように構成されている。NL対話インタラクションは、該仮想対話エージェントを用いて、シミュレーションに付される。該シミュレーションは、該GTを活用して、シミュレーションされたNL対話生成された出力を駆動し、そして、対応するシミュレーションログを作成する。該仮想対話エージェントの性能が、該作成されたシミュレーションログに関して、該GTの観点から評価に付される。該対話システムに対する１以上のレメディエーションアクションが、性能閾値の観点から、識別され、そして、選択的に実施される。

これらの及び他の特徴及び利点は、添付の図面と併せて考慮される、現時点での１以上の例示的な実施態様の以下の詳細な説明から明らかになるであろう。

本明細書において参照される図面は、本明細書の一部を形成し、参照によって本明細書内に組み込まれる。図面に示されている特徴は、特に明示されない限り、一部の実施態様のみを例示するものとして意図されており、全ての実施態様を例示するものでない。

図1は、ネットワーク環境における人工知能プラットフォームコンピューティングシステムを例示するシステム図を図示する。図2は、図1に示され且つ説明されている人工知能プラットフォームツール、及びそれらに関連付けられたアプリケーションプログラムインタフェースを示すブロック図である。図3は、対応するナレッジソースからグラウンドトルースを自動的に生成する方法の１つの実施態様を示すフローチャート図を図示する。図4は、使用量ベースのGTを生成する方法の１つの実施態様を示すフローチャート図を図示する。図5は、キュレーションベースのGTを生成する方法の１つの実施態様を示すフローチャート図を図示する。図6は、対話システムとのインタラクションをシミュレーションする方法の１つの実施態様を示すフローチャート図を図示する。図7は、仮想対話システムの性能評価を行う方法の１つの実施態様を示すフローチャート図を図示する。図8は、図1～図7に関して上述されたシステム及びプロセスを実施する為の、クラウドベースのサポートシステムのコンピュータシステム／サーバの一例を示すブロック図を図示する。図9は、クラウドコンピュータ環境を例示するブロック図を図示する。図10は、クラウドコンピューティング環境によって提供される機能抽象化モデル層の１組を例示するブロック図を図示する。

本明細書に添付された図面において一般的に記載され及び図示されている本実施態様のコンポーネントは、多種多様な異なる構成で配置及び設計されうることが容易に理解されるであろう。従って、図面において提示されている装置、システム、方法及びコンピュータプログラム製品の例示的な実施態様の下記の詳細な説明は、特許請求の範囲において請求された実施態様の範囲を制限することを意図したものでなく、選択された実施態様の単に代表的なものである。

本明細書全体を通じて「選択された実施態様」、「１つの実施態様」、「例示的な実施態様」、又は「或る実施態様」への言及は、実施態様に関連して説明される特定の特徴、構造、又は特性が、少なくとも1つの実施態様に含まれることを意味する。従って、本明細書を通じて様々な場所において「選択された実施態様において」、「１つの実施態様において」、「例示的な実施態様において」、又は「或る実施態様において」という句が出現しても、必ずしも同じ実施態様を言及するとは限らない。本明細書において記載された実施態様は、互いに組み合わされることができ、互いの特徴を含むように変更されることができる。その上、様々な実施態様の記載された特徴、構造、又は特性は、任意の適切な様式において組み合わされ及び変更されうる。

図示された実施態様は、図面を参照することによって最もよく理解されるであろう。ここで、同様の部品は、本明細書全体を通じて同様の数字によって指定される。以下の説明は、例示としてのみ意図されており、本明細書で請求される実施態様と一致するデバイス、システム、製品及びプロセスの或る選択された実施態様を単に例示する。

人工知能コンピュータシステムの分野において、自然言語システム（例えば、IBM^{（登録商標）}Watson^{（登録商標）}人工知能コンピュータシステム、及び他の自然言語システム）が、該システムによって獲得されたナレッジに基づいて自然言語を処理する。自然言語を処理する為に、該システムはナレッジのデータベース又はコーパスから得られたデータで訓練されうるが、結果として得られた結果は、様々な理由で正確ではなかったり又は不正解であったりする可能性がある。

機械学習（ML：Machine learning）は、人工知能（AI：Artificial intelligence）のサブセットであり、データから学習するアルゴリズムを利用し、及びこのデータに基づいて予見を作成する。AIとは、機械が情報に基づいて意思決定を行い、所与のテーマにおける成功の機会を最大化する為の知能を云う。より特には、AIはデータセットから学習して問題を解決し、及び関連する推奨事項を提供することができる。コグニティブコンピューティング（cognitive computing）は、コンピュータサイエンスと認知科学との組み合わせである。コグニティブコンピューティングは、データ最小化、視覚認識及び自然言語処理を使用する自己学習アルゴリズムを利用して、問題を解決し及び人間のプロセスを最適化する。

AI及びそれに関連付けられた推論の中核には、類似の概念がある。自然言語及び物体を理解するプロセスは、関係性の観点から推論を行う必要があるが、これは困難が伴うことがある。静的構造と動的構造とを備えている構造は、所与の確定的な入力の場合に確定的な出力又はアクションを指示する。より特には、該決定された出力又はアクションは、構造内の明示的又は固有の関係に基づく。この配置は、選択された状況及び条件について満足できる場合がある。しかしながら、動的構造は本質的に変化する可能性があり、それに応じて出力又はアクションが変化する可能性があることが理解される。オブジェクトを効率的に識別し、及び自然言語を理解し、及び該識別と該理解だけでなく該構造への変化に対するコンテント応答を処理する為の既存の解決策では、実用的なレベルにおいて非常に困難である。

本明細書においてチャットボットと云われる自動化された仮想エージェントは、事前に計算されたフレーズと聴覚又はテキストベースの信号とを用いて、対話型の人間の会話をシミュレーションする人工知能（AI）プログラムである。チャットボットは、顧客サービスサポートの為の電子プラットフォームで益々使用されている。１つの実施態様において、該チャットボットは、インテリジェントな仮想エージェントとして機能しうる。各チャットボットエクスペリエンスは、ユーザアクションと対話システムアクションとで構成されているコミュニケーションの１組で構成され、ここで、該エクスペリエンスは識別可能な挙動パターンを有する。将来のチャットボットエクスペリエンスをレメディエーションする為の変更を保証しうるチャットボットの要素を確認する為に、該チャットボットの対話が評価され且つ診断に付されうることが当該技術分野において理解されている。

システム、コンピュータプログラム製品及び方法は、ナレッジベースから本明細書においてグラウンドトルース（GT）としてまた言及されるベンチマークデータを自動的に生成し、自動化された仮想対話エージェントを評価することによって、自動化された仮想対話エージェント並びに例示的な実施態様においてマルチターン対話システムを評価する。例示的な実施態様において、GTは、ユーザのナレッジベースから自動的に生成され、標準又は汎用データセットからは生成されない。該ベンチマークデータの生成は、該ナレッジベースの範囲内でGTを抽出する為の場として機能する。GTでサポートされるように、自動化された仮想対話エージェントを用いて、シミュレーションされた対話インタラクションが実施される。本明細書に示され且つ記載されているように、該自動化された仮想対話エージェントは、GTの観点から、対応するシミュレーションログの比較を包含する性能評価に付される。該自動化された仮想対話エージェントの評価を測定する為のメトリクスは例えば、該自動化された仮想対話エージェントの応答の正しさの決定、該自動化された仮想対話エージェントによって尋ねられる曖昧性解消若しくはフォローアップの１以上の質問の関連性、該自動化された仮想対話エージェントによって尋ねられる曖昧性解消若しくはフォローアップ質問の数、若しくは該自動化された仮想対話エージェントによって尋ねられる曖昧性解消若しくはフォローアップ質問の順、又はそれらの組み合わせを包含する。

該自動化された仮想対話エージェント（本明細書において、「チャットボットプラットフォーム」又は「チャットボット」としてまた言及される）は、AIインタラクションインタフェースとして機能する。本明細書に示され且つ記載されているように、該チャットボットプラットフォームは、GTとのシミュレーションされた対話の比較に基づいて評価に付される。グラウンドトルース（本明細書において「GT」としてまた言及される）は、機械学習において使用される語であり、推論によって提供される情報とは対照的に、直接観察、例えば経験則、によって提供される情報を言及する語である。以下により詳細に説明されているように、GTデータは例えば、コンテントベースの情報、例えば、ナレッジグラフ又はナレッジベース、使用ログ（特にそれらのログに関するフィードバック情報）、内容領域専門家（SME：subject matter expert）記録、又はそれらの任意の組み合わせを包含する。

図1を参照すると、人工知能（AI）プラットフォーム及び対応するシステム（100）の概略図が図示されている。図1に示されているように、サーバ（110）が、ネットワーク接続、例えばコンピュータネットワーク（105）、を介して、複数のコンピューティングデバイス（180）、（182）、（184）、（186）、（188）及び（190）と通信するように提供される。サーバ（110）は、バスを介してメモリと通信する処理ユニット、例えばプロセッサ、を備えているように構成される。サーバ（110）は、対話システム（160）、対応する仮想エージェント（162）、例えばチャットボット、及び関連付けられたナレッジベース（170）、例えばデータソース、に動作可能に接続されたAIプラットフォーム（150）を備えているように示されている。コンピューティングデバイス（180）、（182）、（184）、（186）、（188）及び（190）は、視覚ディスプレイ、オーディオインタフェース、オーディオ－ビデオインタフェース、又はユーザが仮想エージェント（162）、例えばチャットボット、の表現とインタフェースすることができるように構成された他の種類のインタフェースを備えていてもよい。

AIプラットフォーム（150）は、コンピューティングデバイス（180）、（182）、（184）、（186）、（188）及び（190）のうちの１以上から仮想対話エージェント（162）との相互作用をサポートするようにコンピュータネットワーク（105）に動作可能に接続される。より特には、コンピューティングデバイス（180）、（182）、（184）、（186）、（188）及び（190）は、１以上の有線データ通信リンク若しくは無線データ通信リンク又はそれらの組み合わせのデータ通信リンクを介して互いに及び他のデバイス若しくはコンポーネントと通信し、ここで、各通信リンクは、ワイヤ、ルータ、スイッチ、送信器、受信器等のうちの１以上を備えていてもよい。このネットワーク化された配置において、サーバ（110）及びネットワーク接続（105）は、通信の検出、認識、及び解決を可能にする。サーバ（110）の他の実施態様は、本明細書において図示されている以外のコンポーネント、システム、サブシステム、若しくはデバイス又はそれらの組み合わせと共に使用されてもよい。

AIプラットフォーム（150）はまた、本明細書において情報のコーパスとしてまた言及されるナレッジベース（170）に動作可能に接続されることが本明細書において示されている。図示されているように、ナレッジベース（170）は、本明細書において例としてライブラリ_A（172_A）及びライブラリ_B（172_B）として示されている複数のライブラリを備えているように構成される。図1において2つのライブラリが示されているが、ナレッジベース（170）は、より少ない又はより多くのライブラリを備えうることが理解されるべきである。更に、該複数のライブラリ、例えばライブラリ_A（172_A）及びライブラリ_B（172_B）は、共に接続されていてもよい。該複数のライブラリ、すなわち、ライブラリ_A（172_A）及びライブラリ_B（172_B）、は、複数のナレッジドメイン、例えば、ナレッジベース（170）及び他のナレッジドメイン（図示せず）を備えているナレッジドメイン、にわたって存在してもよい。各ライブラリには、構造化された形式又は構造化されていない形式のいずれかのデータが取り込まれる。例えば、例示的な１つの実施態様において、該構造化されたデータは、ナレッジグラフの形式でありうる。例として、ライブラリ_A（172_A）は、ナレッジグラフ（KG）として表される構造化されたナレッジドメインとして実装され、図1においてKG₀（172_A,0）、KG₁（172_A,1）、及びKG₂（172_A,2）として示されている。

AIプラットフォーム（150）は、対話システム（160）及び対応する自動化された仮想エージェント（例えば、チャットボット）（162）エクスペリエンスの評価、ベンチマーク、及び性能の改善を支援する為の複数のツールと共に本明細書において示されている。該ツールは、GTマネージャ（152）、シミュレータ（154）、評価マネージャ（156）、及びレメディエーションマネージャ（本明細書において「ディレクター」（director）とも称される）（158）を備えている。

GTマネージャ（152）は、１以上のナレッジソース、例えば、本明細書において例としてライブラリ_A（172_A）に示されているナレッジドメイン、からGTを自動的に生成するように構成されている。該生成されたGTは、コンテントベース（content based）、使用量ベース（usage based）、若しくはキュレーションベース（curation based）、又はそれらの組み合わせでありうる。コンテントベースのGTは、対応する構造化されたデータセットを活用して、症状（symptoms）、質問のバリエーション（question variants）、及びグラフ横断（graph traversal）に基づいて質問を生成し、そして、該症状に対する関連エンティティを取得することによって自動的に生成される。例示的な１つの実施態様において、症状は、システム、又はその複数のコンポーネントのうちのいずれかの幾つかの問題又は課題を説明するフレーズである。コンテントベースのGT生成の詳細は、図3に示され且つ記載されている。使用量ベースのGTは、クエリテキストの為のワークフローとして、収集されたデータの記録の形式の使用ログからのGT生成に向けられている。使用量ベースのGT生成の詳細は、図4に示され且つ記載されている。キュレーションベースのGTは、内容領域専門家（SME）によって手動で生成されたデータに向けられている。この実施態様において、該SMEは、テストデータを生成する為に、該ナレッジベースからの選択オプションについての支援を提供する。キュレーションベースのGT生成の詳細は、図5に示され且つ記載されている。従って、該コンテントベースの、該使用量ベースの、及び該キュレーションベースのGTの各々は、構造化された形式又は構造化されていない形式のいずれかにおいて対応するナレッジドメインを活用して、GTの自動生成を支援し且つ可能にする。

各ライブラリには、GTマネージャ（152）によって処理に付される、構造化されたナレッジ、例えばナレッジグラフ、として表される１以上のナレッジドメインが取り込まれる。例として示されているように、第1のナレッジドメインは、図1においてKG₀（172_A,0）として示されている第1のナレッジグラフ（KG）として表され、及び対応するコンテントベースのGT、すなわちGT_0,0（174_0,0）、使用量ベースのGT、すなわちGT_0,1（174_0,1）、及びキュレーションベースのGT_0,2（174_0,2）、で示されている。同様に、第2のナレッジドメインは、第2のKGとして表され、図1においてKG₁（172_A,1）として示され、並びにコンテントベースのGT、すなわちGT_1,0（174_1,0）、使用量ベースのGT、すなわちGT_1,1（174_1,1）、及びキュレーションベースのGT_1,2（174_1,2）、で示されており、更には、第3のナレッジドメインは、第3のKGとして表され、図1においてKG₂(172_A,2)として示され、並びにコンテントベースのGT、すなわちGT_2,0(174_2,0)、使用量ベースのGT、すなわちGT_2,1(174_2,1)、及びキュレーションベースのGT_2,2(174_2,2)、で示されている。本明細書に示されたGTの3つのカテゴリ、例えば、コンテント、使用法、及びキュレーション、は、仮想エージェントの評価の為に異なる役割を果たしうる。例示的な１つの実施態様において、GTの3つのカテゴリの任意の組み合わせが、仮想エージェント評価の為に活用されうる。本明細書において示されているGTカテゴリの量は、限定的であると考えられるべきでない。例示的な１つの実施態様において、カテゴリの量は、該カテゴリのサブセット、該カテゴリの組み合わせ、又は新しいカテゴリを含みうる。

チャットボット（162）とのインタラクションは、クエリ及び対応する応答、並びにフォローアップの曖昧性解消の質問とそれらの応答のシーケンスの形式である。そのようなインタラクション、及び具体的には該インタラクションに関連付けられたデータは、ナレッジベース（170）のライブラリの１以上に記録され、且つ取り込まれる。１以上の実施態様において、１つの初期NLクエリ及び1つの結果が、対応する構造化されたナレッジ、例えばKG、の観点において生成される。１以上の他の実施態様において、最初のNLクエリが生成され、そして、１以上のフォローアップNLクエリが、マルチターン又はマルチステップの会話又はインタラクションの一部として、NL結果に到達するように生成される。１つのフォローアップクエリ又は複数のフォローアップクエリの生成は、例えば、最初のNLクエリに対する最初の応答が、該最初の応答における曖昧さ又は他の理由によるものであっても、満足のいく応答を提供しない場合に特に有用である。そのような場合、対応する構造化されたナレッジ、例えばKG、の観点において、最初のフォローアップクエリ又は曖昧性解消クエリが生成される。該最初のフォローアップクエリが満足のいく応答を提供しない場合に、該対応する構造化されたナレッジの観点から、2番目のフォローアップクエリ又は曖昧性解消クエリが生成される。このマルチターン会話（multi-turn conversation）は、曖昧性解消が満足に解決されるまで継続されうる。説明の目的の為に、フォローアップクエリの第1の組及び第2の組のみが上記で説明されている。しかしながら、追加の（例えば、第3、第4等）フォローアップクエリが、マルチターン会話又はインタラクションの一部として生成されうることが理解されるべきである。従って、症状に基づく生成された質問、質問のバリエーション、及び症状についての関連エントリを取得する為のナレッジグラフ横断（knowledge graph traversal）の形式におけるコンテントベースのGTは、GTマネージャ（152）によって生成される。

コンテントベースのGTに加えて、GTマネージャ（152）は、使用量ベースのGT及びキュレーションベースのGTを生成する。該使用量ベースのGTは、本明細書において、GT_0,1（174_0,1）、GT_1,1（174_1,1）、及びGT_2,1（174_2,1）として示されている。該使用量ベースのGTは、ログとフィードバックデータとの両方から構成されている。例として示されているように、使用量ベースのGT、すなわちGT_0,1（174_0,1）、は、ログ_0,1（176_0,1）とフィーバック_0,1（178_0,1）で示され、使用量ベースのGT、すなわちGT_1,1（174_1,1）、は、ログ_1,1(176_1,1)とフィーバック_1,1(178_1,1)で示され、使用量ベースのGT、すなわちGT_2,1(174_2,1)、は、ログ_2,1(176_2,1)とフィーバック_2,1(178_2,1)で示されている。同様に、キュレーションベースのGT、すなわちGT_0,2（174_0,2）、は、本明細書においてc_データ_0,2（178_0,2）として云われるキュレーションデータが取り込まれており、キュレーションベースのGT、すなわちGT_1,2（174_1,2）、は、c_データ_1,2（178_1,2）で示されており、キュレーションベースのGT、すなわちGT_2,2（174_2,2）、は、c_データ_2,2（178_2,2）で示されている。従って、GTマネージャ（152）はGTの複数のカテゴリを生成し、GTの該複数のカテゴリの各々は、対応するナレッジドメインに関連付けられ、そして、ナレッジベース（170）内に記憶される。

対話システム（160）は、仮想エージェントと、人間又はソフトウェアである可能性がある非仮想エージェント、例えばユーザ（例えば、エンドユーザ）、潜在的にはAI仮想エージェント、との間のコミュニケーションをサポートするように構成された対話型AIインタフェースである。発生するインタラクションにより、ユーザと仮想エージェントとの間のそのような会話又は対話インタラクションのコンテントを伴う会話又は対話インタラクションとして言及されるものを生成する。

AIプラットフォーム（150）は、対話システム（160）及びその仮想対話エージェント（162）に動作可能に接続されて本明細書において示されており、それは、コンピュータネットワーク（105）を介して様々なソースから入力（102）を受信するように構成されている。例えば、対話システム（160）は、コンピュータネットワーク（105）を介して入力を受け取り、そして、ナレッジドメイン及び対応するGTのうちの1つを活用して、出力又は応答コンテントを作成しうる。該作成された出力又は応答コンテントは、コンピュータネットワーク（105）を介して、出力（104）として、同じソース若しくは別の１以上のソース又はそれらの組み合わせに返されうる。

コンピュータネットワーク（105）と通信する様々なコンピューティングデバイス（180）、（182）、（184）、（186）、（188）及び（190）は、対話システム（160）へのアクセスポイントを備えうる。コンピュータネットワーク（105）は、AIプラットフォーム（150）が任意のサイズの環境、例えばローカル及びグローバル、例えばインターネット、を包含する上記の任意のサイズの環境、において動作しうるように、様々な実施態様においてローカルネットワーク接続及びリモート接続を備えていてもよい。加えて、AIプラットフォーム（150）は、ドキュメント、ネットワークアクセスソース若しくは構造化されたデータソース又はそれらの組み合わせから抽出された又はそれらで表された様々なナレッジを利用可能にすることができるところのバックエンドシステムとして機能する。この様式において、幾つかのプロセスは、AIプラットフォーム（150）に取り込まれ、ここで、AIプラットフォーム（150）はまた、要求を受け取り、そして、それに応じて応答する為の入力インタフェースを備えている。

図示されているように、ユーザは、ネットワーク接続又はコンピュータネットワーク（105）へのインターネット接続を介してAIプラットフォーム（150）及び動作可能に接続された対話システム（160）にアクセスし得、そして、自然言語（NL）入力を対話システム（160）に提出し得、そこから、AIプラットフォーム（150）が、動作可能に接続されたナレッジベース（170）とAIプラットフォーム（150）を備えているツールとを活用することによって入力に関する出力応答を有効に決定しうる。

シミュレータ（154）は、対話システム（160）の自動化された仮想対話エージェント（162）を用いて１以上のNL対話インタラクションをシミュレーションする為に、対話システム（160）とインタフェースする。例示的な実施態様において、シミュレータ（154）は、チャットボット（162）とのシミュレーションされたインタラクションを実施する為に、動作可能に接続されたシミュレータアプリケーション（154_A）を活用する。該シミュレーションの詳細は、図6に示され且つ記載されている。該シミュレーションは、例示的な実施態様においてナレッジグラフとして表されるところの対応するナレッジドメイン中に存在する夫々の解答を有するテストクエリの1組を定義する。該シミュレーションからの出力は、本明細書においてシミュレーションデータとして云われ、全てのクエリ及び対応する応答のログを含み、例示的な実施態様において、解決策又は１以上の曖昧性解消オプションを含む。第2のライブラリ、すなわちライブラリ_B（172_B）は、ナレッジベース（170）内に取り込まれ、そして、本明細書においてデータと云われるシミュレーションデータが更に取り込まれる。本明細書において例として示されているように、s_データ₀（154₀）は、ナレッジドメイン（172_A,0）を活用するチャットボット（162）のシミュレーションの為のシミュレーションデータを表し、s_データ₁（154₁）は、ナレッジドメイン（172_A,1）を活用するチャットボット（162）のシミュレーションの為のシミュレーションデータを表し、s_データ₂（154₂）は、ナレッジドメイン（172_A,2）を活用するチャットボット（162）のシミュレーションの為のシミュレーションデータを表す。各ナレッジドメインに関連付けられたシミュレーションデータの1組のみが示されているが、該ナレッジドメインのうちの任意の1つがチャットボット（162）のシミュレーションの為に利用されてもよく、ここで、各シミュレーションは、別個又は追加のシミュレーションデータを生成しうることが理解される。同様に、各ナレッジドメインはシミュレーションデータと共に示されているが、例示的な実施態様において、該ナレッジドメインの全てがチャットボット（162）のシミュレーションの為に活用されていない可能性があり、そのような場合は対応するシミュレーションデータを有していないであろうことが理解される。従って、対話シミュレータ（154）によって活用される各ナレッジドメインについて、シミュレーションデータの形式における出力が作成され、そして、該対応するナレッジドメインに関連付けられる。

本明細書において示されているように、評価マネージャ（156）は、シミュレータ（154）に動作可能に接続されており、自動化された仮想対話エージェント（162）の性能を評価するように構成されている。評価マネージャ（156）は、シミュレーションデータとして表されるシミュレーションされたインタラクションを、該対応するナレッジドメインの為のGTと比較する。比較において使用されるGTは、コンテントベースのGT、使用量ベースのGT、及びキュレーションベースのGTを包含するGTタイプのうちの１以上を含みうる。シミュレーションインタラクション評価の詳細は、図7に示され且つ記載されている。評価マネージャからの出力は多次元であり、該多次元は、質問された曖昧性解消質問の量とテストデータに関する差、該質問が特定の順序で質問されたかどうか、及び提示された解決策が意図された解決策と一致するかどうかを含む。本明細書において例として示されているように、出力₀（156₀）は、ナレッジドメイン（172_A,0）を活用したシミュレーションデータ（154₀）の評価の多次元出力を表し、出力₁（156₁）は、ナレッジドメイン（172_A,1）を活用したシミュレーションデータ（154₁）の評価の多次元出力を表し、及び出力₂（156₂）は、ナレッジドメイン（172_A,2）を活用したシミュレーションデータ（154₂）の評価の多次元出力を表す。従って、評価マネージャ（156）は、チャットボット（162）の査定（assessment）を実施し、対応する出力データの形式で該査定を文書化する。

該出力データは、収集された様々なメトリクスに基づく洞察及び推奨事項を含む。ビジネス目標は、許容可能な誤差範囲と共に、メトリクス及び対応するメトリクス測定値、例えば、チャットボットの期待される正確さ、の観点から事前に定義されうる。そのようなメトリクスの例は、正確さ、インタラクションオーバーヘッド、インタラクションの長さ、フォローアップ質問の質、及び応答時間を包含するが、これらに限定されるものでない。例示的な１つの実施態様において、該メトリクスは、優先順位付けされてもよく、例えば、応答時間の代わりに正確さに優先順位を割り当ててもよい。該収集されたメトリクスに対応する推奨事項は、性能を反映する実際のメトリクスに対する定義された又は予め定義されたビジネス目標の自動比較と、１以上の対応するレメディエーションアクションの識別とに向けられている。本明細書において示されているように、レメディエーションマネージャ（158）は、評価マネージャ（156）に動作可能に接続されており、対応する出力に基づいて、対話システム（160）に適用する為の１以上のレメディエーションアクションを識別するように機能する。例えば、１つの実施態様において、仮想対話エージェント（162）の性能評価が性能閾値を満たさない場合に、１以上のレメディエーションアクションが識別されうる。例示的な１つの実施態様において、本明細書において推奨事項計画としてまた言及される１以上の推奨事項アクションは、追加のリアルタイムデータを収集することによって実施されうるインタラクションオーバーヘッドを改善すること、及びインタラクションの長さを短縮することに向けられている。１つの実施態様において、他の推奨事項が実施され得、その為に、本明細書において提供される例は、限定的であるとみなされるべきでない。従って、レメディエーションマネージャ（158）は、自動化された仮想対話エージェント（162）の性能を改善する為に、１以上のレメディエーションアクションを実施するように構成される。

対話システム（160）によって生成される又は有効化される対話イベントは、IBM^{（登録商標）}Watson^{（登録商標）}サーバ（110）、及び対応するAIプラットフォーム（150）によって処理されうる。GTマネージャ（152）は、ユーザのナレッジベースからGTを生成し、そして、該生成されたGTによってサポートされるように対話システム（160）を評価することを容易にし且つ可能にする。幾つかの例示的な実施態様において、サーバ（110）は、以下に記載される例示的な実施態様のメカニズムで増強された、ニューヨーク州アーモンクのInternational Business Machines Corporation^{（登録商標）}から入手可能なIBM^{（登録商標）}Watson^{（登録商標）}システムでありうる。

本明細書の以降においてAIツールと総称される、GTマネージャ（152）、シミュレータ（154）、評価マネージャ（156）、及びレメディエーションマネージャ（158）は、サーバ（110）のAIプラットフォーム（150）内で具現化され又はその中に統合されているものとして示されている。該AIツールは、サーバ（110）にコンピュータネットワーク（105）を介して接続される別のコンピューティングシステム（例えば、190）内に実装されうる。どこで具現化される場合であっても、該AIツールは、対話イベントを評価し、要求及び応答から挙動特性を抽出し、対話システム（160）の性能を改善する為に１以上の対応するレメディエーションアクションを選択的に識別し、そして適用するように機能する。

人工知能プラットフォーム（150）を利用することができる情報取扱システムの種類は、小型のハンドヘルドデバイス、例えば、ハンドヘルドコンピュータ／携帯電話（180）、から、大型のメインフレームシステム、例えばメインフレームコンピュータ（182）、まである。ハンドヘルドコンピュータ（180）の例は、パーソナルデジタルアシスタント（PDA：personal digital assistant）、パーソナルエンターテイメントデバイス（例えば、MP4プレーヤ）、ポータブルテレビ、及びコンパクトディスクプレーヤを包含する。情報取扱システムの他の例は、ペン、又はタブレットコンピュータ（184）、ラップトップコンピュータ又はノートブックコンピュータ（186）、パーソナルコンピュータシステム（188）、及びサーバ（190）を包含する。図示されているように、様々な情報取扱システムが、コンピュータネットワーク（105）を用いてネットワークで接続されることができる。様々な情報取扱システムを相互接続する為に使用されることができるコンピュータネットワーク（105）の種類は、ローカルエリアネットワーク（LAN：Local Area Network）、無線ローカルエリアネットワーク（WLAN：Wireless Local Area Network）、インターネット、公衆交換電話網（PSTN：Public Switched Telephone Network）、他の無線ネットワーク、及び情報取扱システムを相互接続する為に使用できる任意の他のネットワークトポロジを包含する。情報取扱システムの多くは、不揮発性データストア、例えば、ハードドライブ若しくは不揮発性メモリ又はそれらの組み合わせ、を包含する。情報取扱システムの幾つかは、別々の不揮発性データストアを使用しうる（例えば、サーバ（190）は不揮発性データストア（190_A）を利用し、及びメインフレームコンピュータ（182）は不揮発性データストア（182_A）を利用する）。不揮発性データストア（182_A）は、様々な情報取扱システムの外部にあるコンポーネントであることができ、又は複数の情報取扱システムのうちの1つの内部にあることができる。

AIプラットフォーム（150）をサポートする為に使用される情報取扱システムは、多くの形態をとってもよく、そのうちの幾つかは、図1において示されている。例えば、情報取扱システムは、デスクトップ、サーバ、ポータブル、ラップトップ、ノートブック、又は他のフォームファクタのコンピュータ又はデータ処理システムの形態を取りうる。加えて、情報取扱システムは、他のフォームファクタ、例えば、パーソナルデジタルアシスタント（PDA）、ゲームデバイス、ATM機、携帯電話デバイス、通信デバイス、又はプロセッサとメモリとを備えている他のデバイス、の形態を取りうる。

アプリケーションプログラムインタフェース（API：Application Program Interface）は、当該技術分野において、2以上のアプリケーション間のソフトウェア仲介物として理解される。図1に示され且つ記載されている人工知能プラットフォーム（150）に関して、ツール（152）、（154）、（156）、及び（158）のうちの１以上、並びにそれらに関連付けられた機能性をサポートする為に、１以上のAPIが利用されうる。図2を参照すると、ツール（152）、（154）、（156）、及び（158）、並びにそれらに関連付けられたAPIを例示するブロック図（200）が提供される。図示されているように、複数のツールがAIプラットフォーム（205）内に埋め込まれ、ここで、該複数のツールは、API₀（212）に関連付けられたGTマネージャ（252）、API₁（222）に関連付けられたシミュレータ（254）、API₂（232）に関連付けられた評価マネージャ（256）、API₃（242）に関連付けられたレメディエーションマネージャ（258）を備えている。各APIは、１以上の言語及びインタフェース仕様において実装されうる。API₀（212）は、ナレッジソースからGTを自動的に生成する為の機能的サポートを提供する；API₁（222）は、該GTを活用した該自動化された仮想エージェントとのNL対話をシミュレーションする為の機能的サポートを提供する；API₂（232）は、シミュレーションに基づく該自動化された仮想対話エージェントの性能を評価する為の機能的サポートを提供する；並びに、API₃（242）は、対話システムの性能を改善することに向けられ１以上のレメディエーションアクションを選択的に識別し且つ実装する為の機能サポートを提供する。図示されているように、API（212）、（222）、（232）及び（242）の各々は、別称オーケストレーション層（orchestration layer）として知られているAPIオーケストレータ（API orchestrator）（270）に動作可能に接続され、それは、別々のAPIを透過的に一緒にスレッド化する為の抽象化層として機能することが当分野において理解されている。１つの実施態様において、別個のAPIの機能は、結合され又は一緒にされうる。その為に、本明細書において示されているAPIの構成は、限定的であると考えられるべきでない。従って、本明細書において示されているように、該複数のツールの機能性は、それらの夫々のAPIによって具現化又はサポートされてもよい。

図3を参照すると、対応するナレッジソースからグラウンドトルース（GT）を自動的に生成する為のプロセスを例示するフローチャート図（300）が提供されている。図示され且つ記載されているように、該ナレッジソースは、構造化された形式、例えばナレッジグラフ、又は構造化されていない形式、でありうる。説明の目的の為に、該GT生成プロセスは、構造化されたナレッジソースに関して記載されているが、そのような構造化された形式は限定的であるとみなされるべきでない。関連するナレッジソースが識別され、そして、該ナレッジソースからの症状の１組が取得される（302）。例示的な１つの実施態様において、症状のサブセットは、１以上の選択基準を用いて識別される。各症状について、自然言語クエリが生成され（304）、それは、例示的な実施態様において、分散生成（variance generation）及びエンティティの追加又は削除を使用する。１つの実施態様において、分散生成は、フレーズの自然言語等価物であり、及び比較可能な又は等価な語の識別を通じてクエリの範囲を拡大する為に本明細書において利用される。該ナレッジグラフ、例えばナレッジドメインの構造化された表現、は、症状に一致するクエリテキストについて検索される（306）。例示的な１つの実施態様において、工程（306）において、テキストマッチング技法、例えば、普遍的な文章エンコーディング（universal sentence encoding）、が利用される。出力は、工程（306）での検索から、本明細書においてマッチ（matches）としてまた言及されるマッチング症状（matching symptoms）の形態で生成される（308）。各マッチング症状は、対応するスコア又は重みを有する。例示的な１つの実施態様において、2以上のフレーズ又は文の近似的なマッチングが、自然言語処理における一般的な操作である。工程（308）からのマッチング症状の１組は、例示的な実施態様において、該マッチング症状の品質に向けられている閾値評価に付される。各マッチング症状は、制約を有する。制約ノード及び該制約ノードに接続されたノードが、各マッチング症状についてフェッチされる（310）。制約ノードは、他の制約ノードに接続されない。工程（310）でのフェッチは、１以上の制約ノードと該１以上の制約ノードに接続された他の全てのノードの両方を識別することに向けられている。例えば、症状「充電中のバッテリ問題」に対する解決策、及びこの症状に対する特定の解決策は、特定のハードウェアモデル番号及びシリーズによって制約されうる。従って、該１以上の制約ノードは、該制約の指標として、グラフにおける全ての関連ノードに接続される。

変数X_合計が制約の量に代入され（312）、そして、対応する制約カウント変数Xが初期化される（314）。制約、例えば制約_X、に基づいて、解答選択肢を有する曖昧性解消質問の１組が生成される（316）。例示的な１つの実施態様において、複数の制約が複数の工程の会話を表し、及び、各工程で曖昧性解消質問と解答選択肢とが生成され、そして、曖昧性解消が不要になるまで該プロセスが繰り返される。工程（316）に続いて、制約カウント変数Xがインクリメントされ（318）、そして、該制約の各々が処理されたかどうかが判定される（320）。該判定に対する否定的な応答は工程（316）に戻り、肯定的な応答は、該質問と１以上の解答の生成を終了する。従って、各制約及び各曖昧性解消選択経路についての１以上の曖昧性解消質問及び１以上の対応する解答選択肢は、記録され、そして、GTとして保存される。

図3に示され且つ記載されているように、コンテントベースのGTは、質問を生成する為にナレッジグラフを活用し、そして、１以上の対応する解答の為に１以上の関連エンティティを識別する為にグラフ横断（graph traversal）を行うことによって自動的に生成される。図1に示され且つ記載されているように、使用量ベースのGT及びキュレーションベースのGTを包含するGTの2つの他の形態が生成される。図4を参照すると、使用量ベースのGTを生成する為のプロセスを説明する為のフローチャート図（400）が提供されている。元のクエリテキスト、ユーザに提示された全てのフォローアップ質問、及び最終的な解決策又はアクション計画を伴うユーザによってなされた選択を記録する又は録画された使用ログが提供される（402）。該使用ログは、該クエリテキスト中に表されるようなクエリが満足に答えられたかどうかについてのフィードバックを含む。変数X_合計は、少なくとも満足のいく解決策を示すフィードバックを有する該使用ログ内のクエリの量に割り当てられる（404）。対応するクエリカウント変数Xが初期化される(406)。クエリ_Xの場合に、該クエリテキストが使用ログから取得され（408）、クエリ_Xに対するフォローアップ質問がまた該使用ログから取得され（410）、そして、ユーザ選択が取得される（412）。ユーザとチャットボットとの間のインタラクションにおいて、該チャットボットは、ユーザにフォローアップ質問、及び解答として、選択可能な選択肢を提供しうる。該選択肢に対する選択解答を含むこのインタラクションは、工程（408）～工程（412）で収集又は取得される。次に、クエリに対する解決策に到達しているかが判断される（414）。システムは、ユーザに送信している情報がフォローアップ質問であることを知っており、及び、どの情報がユーザの問題に対する解決策であるかも知っている。該システムが解決策を送信し、次のフォローアップ質問を送信しないとき、該クエリに対する解決策に到達したと判定される。工程（414）での判定に対する否定的な応答は、クエリカウント変数のインクリメント（416）と工程（408）へのリターンとが続く。逆に、工程（414）での判定に対する肯定的な応答は、ユーザ選択が解決策として識別されること（418）に続く。工程（408）～（412）及び（418）夫々で得られたクエリテキスト、１以上のフォローアップ質問及びユーザ選択は、ワークフローとして記録され、本明細書において使用量ベースのGTとして言及される。従って、該使用ログは、クエリテキストに対応する１以上の質問及びユーザ選択を識別し、そして使用量ベースのGTとして記録する為に評価される。

図5を参照すると、キュレーションベースのGTを生成する為のプロセスを例示する為のフローチャート図（500）が提供されている。例示的な１つの実施態様において、該キュレーションベースのGTは、1以上の内容領域専門家（SME）によって手動で生成される。図示されているように、該SMEに、参照の為にナレッジベースにおける症状のリストが提供される（502）。該SMEに１以上のテキストクエリが書き込まれ（504）、そして、参照の為に、該SMEには、該テキストクエリに対する１以上の潜在的な解答と、各質問についての関連エンティティ、例えば制約、とが提供される（506）。該SMEは、該クエリに対する好ましい解答、及び任意的に、曖昧性解消の為のフォローアップ質問の好ましいシーケンスを選択する（508）。曖昧性解消質問の場合に、1以上の曖昧性解消選択肢が対応するナレッジベースと一致するかどうかを検証する為に一貫性チェックが実行され、該ナレッジベースは任意的に、表現の一貫性を持たせる為に更新されてもよい（510）。該テキストクエリ及び対応する解答、並びに例示的な実施態様において、曖昧性解消の為の１以上のフォローアップ質問の流れは、GTとして記録され、そして保存される。従って、キュレーションベースのGTの記録は、SMEの支援によって提供される。

図1に示され且つ記載されているように、シミュレータ（154）は、NL対話インタラクションのシミュレーションをサポートする為に提供される。図6を参照すると、対話システム（160）とのインタラクションをシミュレーションする為のプロセスを例示する為のフローチャート図（600）が提供されている。曖昧性解消選択経路カウント変数Nが初期化され（602）、GTデータが仮想対話エージェントとのインタラクションを駆動するソースとして活用され、そして、クエリ、例えばクエリ_N、が生成され、そして、動作的に接続されたシミュレータアプリケーションを用いて、自動化された仮想エージェントに送られる（604）。該クエリは、対応するシミュレーションログ内に記録される（606）。該自動化された仮想エージェントは、解決策、又は曖昧性解消選択肢の1組でクエリに応答する（608）。該応答が該解決策である場合、該解決策は対応するログ内に記録され（610）、該応答が曖昧性解消質問の1組である場合、曖昧性解消選択経路カウント変数Nがインクリメントされ（612）、その後、このクエリの為に該GT内の曖昧性解消質問を見つける為に該GTを協議する（614）。例示的な１つの実施態様において、該曖昧性解消質問がこのクエリの為の該GT内で見つからない場合に、構成に依存して該プロセスが停止するか、選択肢が提供される場合に「任意」（any）を選択するか、又は提供される複数の選択肢のうちの１つをランダムに選択しうる。質問が選択された場合、プロセスは工程（606）に戻る。工程（610）に続いて、曖昧性解消選択経路の数量が変数N_合計に代入される（616）。その後、該シミュレーションから得られた又は識別された質問及び解答のログが、シミュレーションログ内に記録される（618）。従って、該シミュレータアプリケーションは、該対応するGTから受信した入力と生成された出力とを記録するシミュレーションインタラクションログを作成する。

対話システム（160）及び該対応する自動化された仮想エージェント（162）は、該GT及び該対応するシミュレーションログを活用することによって、性能評価に付される。図7を参照すると、該仮想対話システムの性能評価を実施する為のプロセスを例示する為のフローチャート図（700）が提供されている。図示されているように、変数N_合計が、該シミュレーションログ内に記録されたクエリ－応答の数量に代入され（702）、そして、対応するカウント変数Nが初期化される（704）。各クエリ－応答_Nについて、該GT内の対応するエントリが見つけられる（704）。該シミュレーションログにおけるクエリ－応答が、該GTにおけるクエリ－応答と比較される（706）。工程（706）での比較から、以下を包含する多次元出力が生成される：1．実際に尋ねられた曖昧性解消質問の量と該GTにおける量との差、2．質問が同じ順序で尋ねられたかどうか、及び、3．該シミュレーションログにおいて提示された解決策がGT解決策と一致するかどうか。複数の次元の各々について生成された出力に基づいて、洞察及び推奨事項が生成される（708）。例示的な１つの実施態様において、１以上の追加の次元が評価に追加されてもよく、又は逆に、次元の減少した量が評価の為に用いられてもよい。従って、本明細書において示されているように、該シミュレーションログと該GTとの比較は、対話システム（160）の性能に関する洞察を提供する。

工程（708）での出力データは、収集された様々なメトリクスに基づく洞察及び推奨事項を含む。ビジネス目標は、許容可能な誤差範囲と共に、メトリクス及び対応するメトリクス測定値、例えば、チャットボットの期待される正確さ、の観点から事前に定義されうる。そのようなメトリクスの例は、正確さ、インタラクションオーバーヘッド、インタラクションの長さ、フォローアップ質問の質、及び応答時間を包含するが、これらに限定されるものでない。例示的な１つの実施態様において、該メトリクスは、優先順位付けされてもよく、例えば、応答時間の代わりに正確さに優先順位を割り当ててもよい。該収集されたメトリクスに対応する推奨事項は、性能を反映する実際のメトリクスに対する定義された又は予め定義されたビジネス目標の自動比較と、１以上の対応するレメディエーションアクションの識別に向けられている。本明細書において示されているように、対応する出力に基づく対話システム（160）への適用の為の１以上のレメディエーションアクションが識別され（710）、選択的に実施される（712）。例えば、１つの実施態様において、仮想対話エージェント（162）の性能評価が性能閾値を満たさない場合に、１以上のレメディエーションアクションが識別されうる。例示的な1つの実施態様において、本明細書において推奨事項計画としてまた言及される1以上の推奨事項アクションは、追加のリアルタイムデータを収集することによって実施されうるインタラクションオーバーヘッドを改善すること、及びインタラクションの長さを短縮することに向けられている。１つの実施態様において、他の推奨事項が実施され得、その為に、本明細書において提供される例は、限定的であるとみなされるべきでない。従って、レメディエーションアクションは、対話システム（160）及び対応する自動化仮想対話エージェント（162）の性能をレメディエーションすることに向けられている。

図1～図7に示され且つ記載されているように、コンピュータシステム、プログラム製品、及び方法は、動作可能に接続されたナレッジソースから自動的に生成されたGTを用いて、マルチターン自動バーチャルエージェントの性能を評価する為に提供される。該自動化された仮想エージェントを用いて、及び対応する対話を駆動する為に該GTを活用して、NL対話のシミュレーションが行われる。シミュレーションを記録する為にログが作成される。該シミュレーションログを対応するGTと比較することによって、該自動化された仮想エージェントの性能が評価される。該自動化された仮想エージェントの性能を改善することに向けられた1以上のレメディエーションアクションが、該シミュレーションと該シミュレーションログの性能評価とに基づいて識別され、そして、選択的に実施される。

本明細書に示され且つ記載されている実施態様は、対話システム及び対応する該自動化された仮想エージェントの性能を強化する為のインテリジェントなコンピュータプラットフォームと共に使用する為のコンピュータシステムの形態でありうる。ツール（152）、（154）、（156）及び（158）の観点並びにそれらに関連付けられた機能は、単一の場所におけるコンピュータシステム／サーバにおいて具現化されてもよく、又は１つの実施態様において、コンピューティングリソースを共有するクラウドベースシステムにおいて構成されてもよい。図8を参照すると、図1～図7において上述されたシステム、ツール及びプロセスを実行する為に、クラウドベースのサポートシステム（810）と通信するホスト（802）として云われるコンピュータシステム／サーバ（802）の一例を示すブロック図（800）が提供されている。１つの実施態様において、ホスト（802）は、クラウドコンピューティング環境のノードである。ホスト（802）は、多数の他の汎用目的又は特殊目的のコンピューティングシステム環境又は構成で運用可能である。ホスト（802）と共に使用する為に適した周知のコンピューティングシステム、環境若しくは構成又はそれらの組み合わせの例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドデバイス若しくはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家電、ネットワークPC、ミニコンシステム、メインフレームコンピュータシステム、並びに上記のシステム、デバイス及びそれらの等価物のいずれかを備えているファイルシステム（例えば、分散型ストレージ環境及び分散型クラウドコンピューティング環境）を包含するが、それらに限定されない。

ホスト（802）は、コンピュータシステム実行可能な命令、例えばプログラムモジュール、がコンピュータシステムによって実行されるという一般的な文脈において記載されうる。一般的に、プログラムモジュールは、特定のタスクを実行する又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、論理、データ構造等を包含しうる。ホスト（802）は、通信ネットワークを介してリンクされるところのリモート処理デバイスによってタスクが実行される分散型クラウドコンピューティング環境において実施されうる。分散型クラウドコンピューティング環境において、プログラムモジュールは、ローカル及びリモートの両方のコンピュータシステムストレージ媒体、例えばメモリストレージデバイス、に配置されうる。

図8において示されているように、ホスト（802）は、汎用目的のコンピューティングデバイスの形態で示されている。ホスト（802）のコンポーネントは、１以上のプロセッサ又は処理ユニット（804）、例えばハードウェアプロセッサ、システムメモリ（806）、及び様々なシステムコンポーネント、例えばシステムメモリ（806）、を包含する上記の様々なシステムコンポーネント、を１以上のプロセッサ又は処理ユニット（804）に接続するバス（808）を備えていてもよいが、これに限定されるものでない。バス（808）は、幾つかの種類のバス構造、例えば、メモリバス又はメモリコントローラ、周辺機器バス、加速グラフィックスポート、及び様々なバスアーキテクチャのいずれかを使用するプロセッサ又はローカルバスを包含する上記の幾つかの種類のバス構造、のうちのいずれか1以上を表す。限定でなく例として、そのようなアーキテクチャは、インダストリスタンダードアーキテクチャ（ISA：Industry Standard Architecture）バス、マイクロチャネルアーキテクチャ（MCA：Micro Channel Architecture）バス、拡張ISA（EISA：Enhanced ISA）バス、ビデオ電子標準協会（VESA：Video Electronics Standards Association）ローカルバス、及び周辺コンポーネント相互接続（PCI：Peripheral Component Interconnects）バスを包含する。ホスト（802）は典型的には、様々なコンピュータシステムの可読媒体を備えている。そのような媒体は、ホスト（802）によってアクセス可能な任意の利用可能な媒体であってもよく、及び揮発性媒体と不揮発性媒体、取り外し可能媒体と取り外し不可能媒体の両方を包含する。

システムメモリ（806）は、揮発性メモリ、例えば、ランダムアクセスメモリ（RAM：random access memory）（830）若しくはキャッシュメモリ（832）又はそれらの組み合わせ、の形態におけるコンピュータシステム可読媒体を備えていることができる。例示のみであるが、ストレージシステム（834）は、取り外し不可能な不揮発性磁気媒体（図示せず、典型的には「ハードドライブ」として言及される）からの読み出し及びそれへの書き込みの為に提供されることができる。図示されていないが、取り外し可能な不揮発性の磁気ディスク（例えば、フロッピーディスク）からの読み出し及びそれへの書き込みの為の磁気ディスクドライブ、及び取り外し可能な不揮発性の光学ディスク、例えばCD-ROM、DVD-ROM又は他の光学媒体、から読み出し及びそれへの書き込みの為の光ディスクドライブが提供されることができる。そのような場合、各々は、１以上のデータ媒体インタフェースによってバス（808）に接続されることができる。

プログラム／ユーティリティ（840）は、プログラムモジュール（842）の1組（少なくとも1組）を有し、オペレーティングシステム、１以上のアプリケーションプログラム、他のプログラムモジュール、及びプログラムデータと同様に、例示であって限定でないシステムメモリ（806）内に記憶されうる。オペレーティングシステム、１以上のアプリケーションプログラム、他のプログラムモジュール及びプログラムデータ又はそれらの幾つかの組み合わせの各々は、ネットワーキング環境の実装を包含しうる。プログラムモジュール（842）は一般的に、リクエスト及びアクションの記述を動的に解釈し且つ理解し、対応するドメインナレッジを効果的に増強する為の実施態様の機能若しくは方法又はそれらの組み合わせを実行する。例えば、プログラムモジュール（842）の1組は、図1において示されているように、ツール（152）、（154）、（156）及び（158）を備えていてもよい。

ホスト（802）はまた、１以上の外部デバイス（814）、例えばキーボード、ポインティングデバイス等；ディスプレイ（824）；ユーザがホスト（802）と対話することを可能にする１以上のデバイス；若しくは、ホスト（802）が１以上の他のコンピューティングデバイスと通信することを可能にする任意のデバイス（例えば、ネットワークカード、モデム等）；又は、それらの組み合わせと通信しうる。そのような通信は、1以上の入力／出力（I／O）インタフェース（822）を介して行われることができる。また、ホスト（802）は、ネットワークアダプタ（820）を介して、１以上のネットワーク、例えば、ローカルエリアネットワーク（LAN：local area network）、一般的なワイドエリアネットワーク（WAN：wide area network）、若しくはパブリックネットワーク（例えば、インターネット）、又はそれらの組み合わせ、と通信することができる。図示されているように、ネットワークアダプタ（820）は、バス（808）を介してホスト（802）の他のコンポーネントと通信する。１つの実施態様において、分散型ファイルシステムの複数のノード（図示せず）は、I／Oインタフェース（822）を介して、又はネットワークアダプタ（820）を介して、ホスト（802）と通信する。図示されていないが、他のハードウェア若しくはソフトウェア又はそれらの組み合わせのコンポーネントが、ホスト（802）と共に使用される可能性があることが理解されるべきである。例は、マイクロコード、デバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、RAIDシステム、テープドライブ、及びデータアーカイバルストレージシステム等を包含するが、これらに限定されない。

本明細書において、語「コンピュータプログラム媒体」、語「コンピュータ使用可能媒体」、語「コンピュータ可読媒体」は、媒体、例えば、RAM（830）及びキャッシュ（832）を包含するメインメモリ（806）、ストレージシステム（834）、例えば、リムーバブルストレージドライブ及びハードディスクドライブ中に搭載されたハードディスク、を一般的に云う為に使用される。

コンピュータプログラム（コンピュータ制御ロジックとも云われる）は、メモリ（806）内に記憶される。コンピュータプログラムはまた、通信インタフェース、例えばネットワークアダプタ（820）、を介して受信されうる。そのようなコンピュータプログラムは、実行されるときに、コンピュータシステムが本明細書において論じられているような本実施態様の特徴を実行することを可能にする。特に、該コンピュータプログラムは、実行されるときに、処理デバイス（804）がコンピュータシステムの機能を実行することを可能にする。従って、そのようなコンピュータプログラムは、該コンピュータシステムのコントローラを表す。

該コンピュータ可読記憶媒体は、命令実行デバイスによって使用する為の命令を保持且つ記憶することができる有形のデバイスであることができる。該コンピュータ可読記憶媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、又はこれらの任意の適切な組み合わせでありうるが、これらに限定されない。該コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、下記を包含する：ポータブルのコンピュータディスケット^{（登録商標）}、ハードディスク、ランダムアクセスメモリ（RAM：random access memory）、読み取り専用メモリ（ROM：read only memory）、消去可能なプログラム可能な読み取り専用メモリ（EPROM（erasable programmable read-only memory）又はフラッシュメモリ）、スタティックランダムアクセスメモリ（SRAM：static random access memory）、ポータブル・コンパクトディスク読み取り専用メモリ（CD-ROM：compact disc read-only memory）、デジタル多用途ディスク（DVD：digital versatile disk）、メモリスティック、フロッピーディスク、機械的に符号化されたデバイス、例えば、パンチカード若しくは命令が記録されている溝内の隆起構造又はこれらの任意の適切な組み合わせ。本明細書において使用される場合、該コンピュータ可読記憶媒体は、一時的な信号それ自体、例えば、電波又は他の自由に伝播する電磁波、導波管若しくは他の伝送媒体を伝播する電磁波（例えば、光ファイバケーブルを通過する光パルス）、又は電線を介して送信される電気信号、であると解釈されるべきでない。

本明細書において記載されたコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から夫々のコンピューティングデバイス／処理デバイスに、又はネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク若しくはワイヤレスネットワーク又はそれらの組み合わせ、を介して外部コンピュータ又は外部記憶デバイスにダウンロードされることができる。該ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ若しくはエッジサーバ又はこれらの組み合わせで構成されうる。各コンピューティングデバイス／処理デバイスにおけるネットワークアダプタカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、そして、該コンピュータ可読プログラム命令を、個々のコンピューティングデバイス／処理デバイス内にコンピュータ可読記憶媒体中に記憶する為に伝送する。

本発明の動作を実行する為のコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ISA：instruction-set-architecture）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路の為の構成データ、又は、１以上のプログラミング言語、例えばオブジェクト指向プログラミング言語、例えば、Smalltalk、C++等、慣用的な手続き型プログラミング言語（例えば、「C」プログラミング言語又は同様のプログラミング言語）、の任意の組み合わせで書かれているソースコード又はオブジェクトコードのいずれか、でありうる。該コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に、ユーザのコンピュータ上で部分的に、ユーザのコンピュータ上でスタンドアロン・ソフトウェア・パッケージとして部分的に、ユーザのコンピュータ上で部分的に且つリモート・コンピュータ上で部分的に、又はリモート・コンピュータ若しくはサーバ上で全体的に、実行されうる。後者のシナリオにおいて、該リモート・コンピュータは、任意の種類のネットワーク、例えば、ローカルエリアネットワーク（LAN：local area network）若しくはワイドエリアネットワーク（WAN：wide area network）、を介してユーザのコンピュータに接続されうるか、又は該接続は（例えば、インターネットサービスプロバイダを使用したインターネットを通じて）外部コンピュータに対して行われうる。幾つかの実施態様において、電子回路、例えば、プログラム可能な論理回路、フィールドプログラム可能なゲートアレイ（FPGA：field-programmable gate arrays）又はプログラム可能なロジックアレイ（PLA：programmable logic arrays）、は、本発明の観点を実行する為に、コンピュータ可読プログラム命令の状態情報を利用することによって、電子回路をパーソナライズすることによって、コンピュータ可読プログラム命令を実行しうる。

本明細書において記載されている機能ツールは、マネージャとしてラベル付けされている。マネージャは、プログラム可能なハードウェアデバイス、例えば、フィールドプログラム可能なゲートアレイ、プログラム可能なアレイロジック、プログラム可能なロジックデバイス、内に実装されうる。該マネージャはまた、様々な種類のプロセッサによる処理の為にソフトウェア内に実装されうる。実行可能コードの識別されたマネージャは例えば、オブジェクト、手順、機能、又は他の構築物として編成されうるコンピュータ命令の１以上の物理的又は論理的なブロックを備えうる。それにも関わらず、識別されたマネージャの実行可能コードは、物理的に一緒に配置されている必要はなく、異なる場所に記憶された異種の命令を含んでいてもよく、論理的に接続されるときに、該マネージャを構成し、そして、該マネージャの言及された目的を達成する。

実際、実行可能コードのマネージャは、単一の命令又は多くの命令である可能性があり、並びに幾つかの異なるコードセグメント、異なるアプリケーション間、及び幾つかのメモリデバイスにわたって分散されうる。同様に、運用データは、該マネージャ内で識別され且つ本明細書内に図示されてもよく、任意の適切な形態で具現化され、及び任意の適切な種類のデータ構造内で組織化されてもよい。該運用データは、単一のデータセットとして収集されてもよく、又は異なるストレージデバイス上を包含する異なる場所に分散されていてもよく、及びシステム又はネットワーク上の電子信号として少なくとも部分的に存在してもよい。

ここで、図9を参照すると、例示的なクラウドコンピューティングネットワーク（900）が図示されている。図示されているように、クラウドコンピューティングネットワーク（900）は、クラウドコンシューマによって使用されるローカルコンピューティングデバイスが通信しうる１以上のクラウドコンピューティングノード（910）を有するクラウドコンピューティング環境（950）を備えている。これらのローカルコンピューティングデバイスの例は、パーソナルデジタルアシスタント（PDA：personal digital assistant）又は携帯電話（954A）、デスクトップコンピュータ（954B）、ラップトップコンピュータ（954C）、若しくは自動車コンピュータシステム（954N）又はそれらの組み合わせを包含するが、これらに限定されるものでない。ノード（910）内の夫々のノードは更に、互いに通信しうる。それらは、１以上のネットワーク、例えば、本明細書において記載されている、プライベートクラウド、コミュニティクラウド、パブリッククラウド、若しくはハイブリッドクラウド、又はそれらの組み合わせ、において、物理的又は仮想的にグループ化されていてもよい（図示せず）。これにより、クラウドコンピューティング環境（900）は、クラウドコンシューマがローカルコンピューティングデバイス上のリソースを維持する必要がないサービスとして、インフラストラクチャ、プラットフォーム若しくはソフトウェア又はそれらの組み合わせを提供することができる。図9に示されているコンピューティングデバイス（954A～954N）の種類は、例示のみを意図していること、並びにクラウドコンピューティング環境（950）は、任意の種類のネットワーク若しくはネットワークアドレス可能接続又はそれらの組み合わせを介して（例えば、ウェブブラウザを用いて）任意の種類のコンピュータ化されたデバイスと通信することができることが理解される。

ここで図10を参照すると、図9のクラウドコンピューティングネットワークによって提供される機能的抽象化層の１組（1000）が示されている。図10において示されているコンポーネント、層及び機能は、単に例示であることが意図されていること、並びに本実施態様はそれらに限定されないことが理解されるべきである。図示されている通り、下記の複数の層及び対応する複数の機能が提供される：ハードウェア及びソフトウェア層（1010）、仮想化層（1020）、管理層（1030）、及びワークロード層（1040）。

ハードウェア及びソフトウェア層（1010）は、ハードウェアコンポーネント及びソフトウェアコンポーネントを包含する。ハードウェアコンポーネントの例は、メインフレーム、一例としてIBM^{（登録商標）}zSeries^{（登録商標）}システム；RISC（Reduced Instruction Set Computer）アーキテクチャベースのサーバ、一例としてIBM^{（登録商標）}pSeries^{（登録商標）}システム；IBM^{（登録商標）}xSeries^{（登録商標）}システム；IBM^{（登録商標）}BladeCenter^{（登録商標）}システム；ストレージデバイス；ネットワーク及びネットワーキングコンポーネントを包含する。ソフトウェアコンポーネントの例は、ネットワークアプリケーションサーバソフトウェア、一例としてIBM^{（登録商標）}WebSphere^{（登録商標）}アプリケーションサーバソフトウェア；及び、データベースソフトウェア、一例としてIBM^{（登録商標）}DB2^{（登録商標）}データベースソフトウェアを包含する（IBM^{（登録商標）}、zSeries、pSeries、xSeries、BladeCenter、WebSphere、及びDB2は、世界中の多くの法域で登録されているInternational Business Machines Corporation^{（登録商標）}の商標である）。

仮想化層（1020）は、抽象化層を提供し、この抽象化層から、仮想エンティティの下記の例が提供されうる：すなわち、仮想サーバ；仮想ストレージ；仮想ネットワーク、例えば仮想プライベートネットワークを包含する上記の仮想ネットワーク；仮想アプリケーション及びオペレーティングシステム；並びに、仮想クライアント。

１つの例において、管理層（1030）は、下記の複数の機能を提供しうる：リソース・プロビジョニング、計量及び価格決定、ユーザ・ポータル、サービスレベル管理、並びにサービスレベルアグリーメント（SLA：Service Level Agreement）の計画及び履行。リソース・プロビジョニングは、クラウドコンピューティング環境内でタスクを実行する為に利用されるコンピューティングリソース及び他のリソースの動的な調達を提供する。計量及び価格決定は、リソースがクラウドコンピューティング環境内で利用される場合のコスト追跡と、これらのリソースの消費についての課金又は請求とを提供する。１つの例において、これらのリソースは、アプリケーション・ソフトウェア・ライセンスを包含しうる。セキュリティは、クラウドコンシューマ及びタスクに対する識別検証と、データ及び他のリソースに対する保護とを提供する。ユーザ・ポータルは、コンシューマ及びシステム管理者の為に、クラウドコンピューティング環境へのアクセスを提供する。サービスレベル管理は、要求されるサービスレベルが満たされるように、クラウド・コンピューティング・リソースの割り当て及び管理を提供する。サービスレベルアグリーメント（SLA）の計画及び履行は、将来の要件がSLAに従って予想されるクラウド・コンピューティング・リソースの為の事前配置及びその調達を提供する。

ワークロード層（1040）は、該クラウドコンピューティング環境が利用されうる複数の機能の例を提供する。この層から提供されうる複数のワークロード及び複数の機能の例は下記を包含するが、これらに限定されない：マッピング及びナビゲーション；ソフトウェア開発及びライフサイクル管理；仮想教室教育の提供；データアナリティクス処理；トランザクション処理；並びに、仮想対話システム評価及び強化。

本実施態様の特定の実施態様が示され且つ記載されてきたが、本明細書の教示に基づき、本実施態様及びその広範な観点から逸脱すること無しに変更及び修正を行うことができることは当業者にとって明らかであろう。それ故に、添付の特許請求の範囲は、その範囲内に、本実施態様の真の精神及び範囲内にあるような全ての変更及び修正を包含するものとする。その上、本実施態様は添付の特許請求の範囲によってのみ定義されることが理解されるべきである。導入された請求項要素の特定の数が意図される場合、そのような意図は請求項に明示的に記載され、そのような記載がない場合、そのような制限は存在しないことが当業者には理解されるであろう。非限定的な例の場合、理解の助けとなるように、添付の請求項は、請求項要素を導入する為の導入句「少なくとも1つ」及び「1以上」の用法を含む。しかしながら、そのような句の使用は、不定冠詞「1つ」（a）又は「1つ」（an）による請求項要素の導入が、同じ請求項に導入句「1以上」又は「少なくとも1つ」及び「1つ」（a）又は「1つ」（an）等の不定冠詞が含まれていても、当該導入した請求項要素を含む任意の特定の請求項が1つの当該要素のみを含む実施態様に制限されるものであると解釈されるべきでなく、同様のことが、請求項において定冠詞が用いられていても当てはまる。本明細書において使用される場合、語「及び／又は」は、いずれか１つ又はそれらの両方（又は、言及される語又は表現の一方又は任意の組み合わせ又は全て）を意味する。

本実施態様は、システム、方法、若しくはコンピュータプログラム製品又はそれらの組み合わせでありうる。加えて、本実施態様の選択された観点は、完全にハードウェアの実施態様、完全にソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコード等を包含する）の実施態様、又はソフトウェアとハードウェアの態様を組み合わせた実施態様の形態をとり得、これらは全て、本明細書において一般的に、「回路」、「モジュール」又は「システム」して言及されうる。その上、本実施態様の観点は、プロセッサに本実施態様の観点を実行させる為のコンピュータ可読プログラム命令をその上に有する１以上のコンピュータ可読ストレージ媒体において具現化されたコンピュータプログラム製品の形態をとりうる。このように具現化された、開示されたシステム、方法、若しくはコンピュータプログラム製品又はそれらの組み合わせは、仮想対話システムの評価及び強化を支援する為に動作可能である。

本実施態様の観点は、実施態様に従う、方法、装置（システム）及びコンピュータプログラム製品のフローチャート図若しくはブロック図又はそれらの組み合わせを参照して本明細書において記載されている。該フローチャート図若しくは該ブロック図又はそれらの組み合わせの各ブロック、並びに該フローチャート図若しくは該ブロック図又はそれらの組み合わせにおける複数のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装されることができることが理解されるであろう。

これらのコンピュータ可読プログラム命令は、該コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサを介して実行する命令が該フローチャート図若しくはブロック図又はそれらの組み合わせの１以上のブロックにおいて特定された機能／動作を実装する為の手段を作成するように、コンピュータのプロセッサ又は他のプログラム可能なデータ処理装置に提供されて、マシンを作り出しうる。記憶された命令を有するコンピュータ可読記憶媒体が該フローチャート図若しくはブロック図又はそれらの組み合わせの１以上のブロックにおいて特定される機能／動作の観点を実装する命令を含む製造品を含むように、これらのコンピュータ可読プログラム命令はまた、コンピュータプログラム可能なデータ処理装置若しくは他のデバイス又はこれらの組み合わせに特定の様式で機能するように指示することができるコンピュータ可読記憶媒体中に記憶されうる。

該コンピュータ可読プログラム命令はまた、コンピュータ上、他のプログラム可能なデータ処理装置上又は他のデバイス上で実行される命令が、該フローチャート図若しくはブロック図若しくはそれらの組み合わせの１以上のブロックにおいて特定される機能／動作を実装するように、上記のコンピュータ上、他のプログラム可能なデータ処理装置上又は他のデバイス上にロードされて、コンピュータ、他のプログラム可能な装置又は他のデバイス上で一連の操作工程を実行させて、コンピュータに実装されたプロセスを生成しうる。

図面中のフローチャート図及びブロック図は、本発明の様々な実施態様に従う、システム、方法及びコンピュータプログラム製品若しくはコンピュータプログラムの在りうる実装の、アーキテクチャ、機能及び動作を示す。これに関連して、該フローチャート図又はブロック図における各ブロックは、命令のモジュール、セグメント、又はその一部を表し得、それは、特定された１以上の論理機能を実装する為の１以上の実行可能命令を含む。幾つかの代替の実装において、該ブロックにおいて示されている機能は、図面中に示されている順序とは異なって生じうる。例えば、連続して示されている２つのブロックは、実際には、関与する機能に依存して、同時に、実質的に同時に、部分的又は全体的に時間的に重複する様式で実行される１つの工程として達成されうるか、又は該ブロックは、逆の順序で実行されうる。該ブロック図若しくはフローチャート図又はこれらの組み合わせの各ブロック、並びに該ブロック図若しくはフローチャート図又はこれらの組み合わせの複数のブロックの組み合わせは、特定された機能又は動作を実行する特別な目的のハードウェアベースのシステムによって実装することができ、又は特別な目的のハードウェアとコンピュータ命令との組み合わせを実行することができることに留意されたい。

本明細書において、例示の目的で特定の実施態様が記載されてきたが、該実施態様の精神及び範囲から逸脱すること無しに、様々な変更が加えられることができることが理解されるであろう。従って、該実施態様の保護範囲は、添付の特許請求の範囲及びそれらの均等物によってのみ限定される。

Claims

コンピュータシステムであって、該コンピュータシステムは、
メモリに動作可能に接続されたプロセッサと、該プロセッサに動作可能に接続された人工知能（AI）プラットフォームとを備えており、
前記AIプラットフォームは、仮想対話エージェントとインタフェースする１以上のツールを備えており、
前記ツールは、
ナレッジソースからグラウンドトルース（GT）を自動的に生成するように構成されたグラウンドトルース（GT）マネージャ；
前記仮想対話エージェントを用いてNL対話インタラクションをシミュレーションするように構成されたシミュレータ、ここで、該シミュレータは、前記GTを活用して、シミュレーションされたNL対話生成された出力を駆動し、そして、対応するシミュレーションログを作成するように構成されている；
前記作成されたシミュレーションログに関する前記仮想対話エージェントの性能を前記GTの観点から評価するように構成された評価マネージャ；及び、
前記評価された性能が性能閾値を満たさないことに応答して、前記仮想対話エージェントに対する１以上のレメディエーションアクションを識別し、そして、前記識別されたレメディエーションアクションのうちの１以上を選択的に実施するように構成されたレメディエーションマネージャ
を備えている、前記コンピュータシステム。
GTデータが、使用ログ及び該使用ログに対応するフィードバック、構造化されたデータ、内容領域専門家によって生成された記録、又はそれらの任意の組み合わせを含む、請求項１に記載のコンピュータシステム。
前記評価マネージャは、前記GT内のクエリ－応答の１対を前記シミュレーションログ内の対応するクエリ－応答の１対と比較するように構成されている、請求項１に記載のコンピュータシステム。
前記GTマネージャが、第１の曖昧性解消選択経路をコンパイルするように更に構成されており、該コンパイルすることが、
NLクエリ及び少なくとも１つの曖昧性解消NLクエリを生成すること；
前記少なくとも１つの曖昧性解消NLクエリに応答して、NL結果を生成すること；並びに、
前記第１の曖昧性解消選択経路についての第１のログを記録すること
を含む、請求項１に記載のコンピュータシステム。
前記シミュレータが、第２の曖昧性解消選択経路をコンパイルするように更に構成されており、該コンパイルすることが、
テストNLクエリ及び少なくとも１つのテスト曖昧性解消NLクエリを生成すること；
前記少なくとも１つのテスト曖昧性解消NLクエリに対するテストNL応答を生成すること；並びに、
前記第２の曖昧性解消選択経路についての第２のログを記録すること
を含む、請求項４に記載のコンピュータシステム。
前記評価マネージャが、前記記録された第１のログを前記記録された第２のログと比較するように更に構成されている、請求項５に記載のコンピュータシステム。
仮想対話エージェントの性能を向上させる為のコンピュータプログラム製品であって、該コンピュータプログラム製品が、
１以上のコンピュータ可読記憶媒体、並びに、
前記１以上のコンピュータ可読記憶媒体上に記憶されたプログラムコードであって、
ナレッジソースからグラウンドトルース（GT）を自動的に生成すること；
前記仮想対話エージェントを用いてNL対話インタラクションをシミュレーションすること、ここで、該シミュレーションすることは、前記GTを活用して、シミュレーションされたNL対話生成された出力を駆動し、そして、対応するシミュレーションログを作成することを含む；
前記作成されたシミュレーションログに関する前記仮想対話エージェントの性能を前記GTの観点から評価すること；
前記評価された性能が性能閾値を満たさないことに応答して、前記仮想対話エージェントに対する１以上のレメディエーションアクションを識別すること；及び、
前記１以上のレメディエーションアクションを選択的に実施すること
をコンピュータプロセッサによって実行可能な前記プログラムコード
を備えている、前記コンピュータプログラム製品。
GTデータが、使用ログ及び該使用ログに対応するフィードバック、ナレッジグラフ、内容領域専門家によって生成された記録、又はそれらの任意の組み合わせを含む、請求項７に記載のコンピュータプログラム製品。
性能を評価する為に前記コンピュータプロセッサによって実行可能な前記プログラムコードが、前記GT内のクエリ－応答の１対を前記シミュレーションログ内の対応するクエリ－応答の１対と比較することを前記コンピュータプロセッサによって実行可能なコンピュータコードを含む、請求項７に記載のコンピュータプログラム製品。
GTデータを活用する為に前記コンピュータプロセッサによって実行可能な前記プログラムコードが、第１の曖昧性解消選択経路をコンパイルする為に前記コンピュータプロセッサによって実行可能なプログラムコードを含み、該コンパイルすることが、
前記NLクエリ及び少なくとも１つの曖昧性解消NLクエリを生成すること；
前記少なくとも１つの曖昧性解消NLクエリに応答して、NL結果を生成すること；並びに、
前記第１の曖昧性解消選択経路についての第１のログを記録すること
を含む、請求項７に記載のコンピュータプログラム製品。
シミュレーションする為に前記コンピュータプロセッサによって実行可能な前記プログラムコードが、第２の曖昧性解消選択経路をコンパイルする為に前記コンピュータプロセッサによって実行可能なプログラムコードを更に含み、該コンパイルすることが、
テストNLクエリ及び少なくとも１つのテスト曖昧性解消NLクエリを生成すること；
前記少なくとも１つのテスト曖昧性解消NLクエリに対するテストNL応答を生成すること；並びに、
前記第２の曖昧性解消選択経路についての第２のログを記録すること
を含む、請求項１０に記載のコンピュータプログラム製品。
自動化された仮想対話エージェントの性能を評価する為に前記コンピュータプロセッサによって実行可能な前記プログラムコードが、前記記録された第１のログを前記記録された第２のログと比較する為に前記コンピュータプロセッサによって実行可能なプログラムコードを更に含む、請求項１１に記載のコンピュータプログラム製品。
仮想対話エージェントの性能を向上することに向けられた、コンピュータに実装された方法であって、
ナレッジソースからグラウンドトルース（GT）をコンピュータプロセッサによって自動的に生成すること；
前記仮想対話エージェントを用いてNL対話インタラクションを前記コンピュータプロセッサによってシミュレーションすること、ここで、該シミュレーションすることは、前記GTを活用して、シミュレーションされたNL対話生成された出力を駆動し、そして、対応するシミュレーションログを作成することを含む；
前記作成されたシミュレーションログに関する前記仮想対話エージェントの性能を前記GTの観点から前記コンピュータプロセッサによって評価すること；
前記評価された性能が性能閾値を満たさないことに応答して、前記仮想対話エージェントに対する１以上のレメディエーションアクションを前記コンピュータプロセッサによって識別すること；及び、
前記識別された１以上のレメディエーションアクションを前記コンピュータプロセッサによって選択的に実施すること
を含む、前記方法。
GTデータが、使用ログ及び該使用ログに対応するフィードバック、構造化されたデータ、内容領域専門家によって生成された記録、又はそれらの任意の組み合わせを含む、請求項１３に記載の、コンピュータに実装された方法。
前記評価することが、前記GT内のクエリ－応答の１対を前記シミュレーションログ内の対応するクエリ－応答の１対と比較することを含む、請求項１３に記載の、コンピュータに実装された方法。
GTデータを活用することが、第１の曖昧性解消選択経路を前記コンピュータプロセッサによってコンパイルすることを含み、該コンパイルすることが、
前記NLクエリ及び少なくとも１つの曖昧性解消NLクエリを生成すること；
前記少なくとも１つの曖昧性解消NLクエリに応答して、NL結果を生成すること；並びに、
前記第１の曖昧性解消選択経路についての第１のログを記録すること
を含む、請求項１３に記載の、コンピュータに実装された方法。
前記シミュレーションすることが、第２の曖昧性解消選択経路を前記コンピュータプロセッサによってコンパイルすることを含み、該コンパイルすることが、
テストNLクエリ及び少なくとも１つのテスト曖昧性解消NLクエリを生成すること；
前記少なくとも１つのテスト曖昧性解消NLクエリに対するテストNL応答を生成すること；並びに、
前記第２の曖昧性解消選択経路についての第２のログを記録すること
を含む、請求項１６に記載の、コンピュータに実装された方法。
前記自動化された仮想対話エージェントの性能を評価することが、前記記録された第１のログを前記記録された第２のログと比較することを更に含む、請求項１７に記載の、コンピュータに実装された方法。