JP7052016B2 - 訓練データを更新するための方法、システム、およびコンピュータ・プログラム - Google Patents

Description

本発明は、概して、自然言語理解に関し、より詳細には、自然言語分類器（ＮＬＣ：Natural Language Classifier）において使用される訓練データに関する。

ＮＬＣは、自然言語を意味論的かつ文脈的に理解し、解釈する能力をソフトウェア・アプリケーションに与え、当該理解および解釈を使用するアプリケーションによって様々なタスクを実施することを可能にすることによって、様々な分野に有用性を見出している。ＮＬＣは、自然言語の単語または文字を含む受信テキストの処理において機械学習（ＭＬ）アルゴリズムを使用して、受信テキストが属する可能性が最も高い、マッチングするクラスまたはカテゴリを決定し、返す。ＮＬＣは、使用中の「新規データ（ｎｅｗ ｄａｔａ）」に応答して情報を正確に返すために、訓練中に「実例データ（ｅｘａｍｐｌｅ ｄａｔａ）」から学習する。

ＮＬＣは、顧客サポートを提供するのに使用することができる。例えば、ＮＬＣは、顧客またはユーザから受信される質問を、回答のために適切な顧客サポート人員または部門に予測的に転送するのに使用することができる。ＮＬＣを使用するソフトウェア・アプリケーションに音声テキスト化機能を組み込むことによって、音声による質問も予測的に転送することができる。さらに、ＮＬＣは、問題を重大性などによって分類する際に、質問と回答またはトピックとのマッチングに使用することができる。ＩＢＭ（Ｒ）によるＷａｔｓｏｎ（商標）、Ａｍａｚｏｎ（Ｒ）によるＡｌｅｘａ（Ｒ）、およびＭｉｃｒｏｓｏｆｔ（Ｒ）によるＣｏｒｔａｎａ（Ｒ）などの多種多様なソフトウェア・アプリケーション、サービス、および製品に使用するために様々なＮＬＣが開発されている。

ＮＬＣを使用のために確立するプロセスは、典型的には、クラス・ラベルを識別し、代表的なテキストを収集し、クラスとテキストとをマッチングすることを必要とし得る、訓練データを準備することと、ＮＬＣのＭＬアルゴリズムによって処理するためにアプリケーション・プログラミング・インターフェース（ＡＰＩ）によって、準備されている訓練データをＮＬＣにアップロードすることを必要とし得る、ＮＬＣを訓練することと、ＡＰＩによって、訓練されているＮＬＣにテキストを送信し、引き換えに、送信テキストが属する可能性が最も高い、マッチングするクラスまたはカテゴリを含む結果を受信することを必要とし得る、訓練されているＮＬＣを照会または試験することと、結果を評価することと、評価された結果に基づいて当初準備された訓練データを更新することと、必要に応じて、更新された訓練データを使用してＮＬＣを再訓練することとを含む。

タスクを実施するために、テキストなどの形態の、自然言語の表現されているインスタンスの理解または解釈を効率的に適用する方法は、表現されているインスタンスの意味および意図に関して判定を行うことと、次いで、判定に基づいて、表現されているインスタンスを１つまたは複数のクラスに分類することとを含む。実施されるタスクは、例えば、自動テキスト要約、感情分析、トピック抽出、関係抽出などを含み得る。

使用中、ＮＬＣは、１つまたは複数のクラスのうち、受信テキストが属する可能性が最も高いのはいずれかを判定するために、テキストを受信することができる。テキストは、質問またはクエリを代表するものであり得、クラスは、対応する回答のグループまたはタイプを代表するものであり得る。一例において、クラスは、質問のグループまたはタイプに対応する回答のグループまたはタイプから形成され得る。その例において、ＮＬＣは、受信されている質問の特性に基づいて、受信されている質問に関連して、１つまたは複数の回答グループのうちのいずれが、関連する回答を含む可能性が最も高いかを判定することができる。ＮＬＣは、訓練中にＮＬＣにアップロードされている、準備されている訓練データに基づいて開発および精製されているモデルに従って動作することができる。訓練データは、テキスト・コーパスなどのようなコーパスから形成することができる。コーパスは、テキスト、特徴ベクトル、数の集合などから形成することができる。その例において、コーパスのテキストは、関連する回答のグループ、および、個々の質問の各々が属する可能性が最も高い、関連する回答のグループを指定しようとする１つまたは複数の指示を各々が含む個々の質問を含むことができる。

目標ビジネス・エリアにおいて使用するためにＮＬＣを適切に訓練することによって、例えば、顧客サポートなどを提供するために質問に回答することなどによって、目標ビジネス・エリアにおいてタスクを実施するように構成されている仮想顧客サービス・エージェントを形成する自動システムを提供することが可能である。提供される顧客サポートなどの品質は、ＮＬＣの訓練に使用される訓練データの品質および解釈精度に依存し得る。

目標ビジネス・エリアにおいて使用するためにＮＬＣを確立するために訓練データを準備するプロセスは、目標ビジネス・エリアに関して、適切なクラス・ラベルを識別することと、サンプル・テキストを収集することを含むことができる。訓練データの準備において、目標ビジネス・エリアの主題専門家は、様々なサンプル・テキストを、様々なクラスに関して分類されるように、考慮または想定することができる。様々なサンプル・テキストおよびクラスは、例えば、予測されるエンド・ユーザ、対象オーディエンスなどに関係するものを含み得る。

米国特許第９，３４２，５８８号、米国特許第９，３９０，３７８号、および米国特許第８，２３４，１７９号は各々、ＮＬＣの訓練に使用される訓練データを開発および改良する様々な方法を記載しており、参照により本明細書に組み込まれる。非特許文献“Automatic Training Data Cleaning for Text Classification,” by Hassan H. Malik et al. (ICDMW '11 Proceedings of the 2011 IEEE 11th International Conference on Data Mining Workshops, Pgs. 442-449, December11, 2011)は、別の訓練データ開発および改良方法を記載しており、これも参照により本明細書に組み込まれ、ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｃｏｌｕｍｂｉａ．ｅｄｕ／～ｈｈｍ２１０４／ｐａｐｅｒｓ／ａｔｄｃ．ｐｄｆにおいて入手可能である。

米国特許第９，３４２，５８８号 米国特許第９，３９０，３７８号 米国特許第８，２３４，１７９号

"Automatic Training Data Cleaning for Text Classification," by Hassan H. Malik et al.(ICDMW '11 Proceedings of the 2011 IEEE 11th International Conference on Data Mining Workshops, Pgs. 442-449, December 11, 2011)

従って本発明の課題は、訓練データ更新、すなわち訓練データを更新するための方法、システム、およびコンピュータ・プログラムを提供することである。

本発明の一態様によれば、自然言語分類器において使用される訓練データを更新するためのコンピュータ実施方法が提供される。方法は、訓練データをメモリに読み出すことを含むことができ、訓練データは第１の質問グループおよび第２の質問グループを含み、各質問は、回答と関連付けられる。第１の質問グループおよび第２の質問グループの各質問について、質問に対する回答を含む回答クラスに関して決定が行われ、回答クラスは、質問の各々と関連付けられているクラス・ラベルを有し、質問の各々は、それぞれの回答クラスに分類される。第１の質問グループおよび第２の質問グループ、ならびに、それぞれ第１のクラシファイア（classifier）および第２のクラシファイアにおいて使用するための対応する回答クラスを含む、第１の訓練データおよび第２の訓練データが生成される。第１の質問グループおよび第２の質問グループの各質問は、それぞれ第１のクラシファイアおよび第２のクラシファイアによって分類され、分類によって、対応する分類結果が生成される。第１の訓練データまたは第２の訓練データは、分類結果に基づいて更新されて、それぞれ対応する、更新された第１の訓練データまたは第２の訓練データが生成される。

好ましくは、本発明は、それぞれ、更新された第１の訓練データおよび第２の訓練データに基づいて第１のクラシファイアおよび第２のクラシファイアのうちの一方を更新することをさらに含む、コンピュータ実施方法を提供する。

好ましくは、本発明は、第１の訓練データおよび第２の訓練データを分類すること、更新すること、ならびに、第１のクラシファイアおよび第２のクラシファイアのうちの一方を更新することの各々が、マッチングの程度が所定の閾値を超えるまで反復される、コンピュータ実施方法を提供し、マッチングの程度は、分類の前と後の両方において、第１の質問グループおよび第２の質問グループのうちの一方の各質問に関して、回答を含む回答クラスについて決定される。

好ましくは、本発明は、第１の訓練データおよび第２の訓練データを分類すること、更新すること、ならびに、第１のクラシファイアおよび第２のクラシファイアのうちの一方を更新することの各々が、連続するマッチングの程度の間の差が所定の閾値を超えなくなるまで反復される、コンピュータ実施方法を提供し、マッチングの程度は、分類の前と後の両方において、第１の質問グループおよび第２の質問グループのうちの一方の各質問に関して、回答を含む回答クラスについて決定される。

好ましくは、本発明は、分類すること、第１の訓練データおよび第２の訓練データを更新すること、ならびに、第１のクラシファイアおよび第２のクラシファイアのうちの一方を更新することの各々が、マッチングの程度の移動平均値が所定の閾値を超えるまで反復される、コンピュータ実施方法を提供し、マッチングの程度は、分類の前と後の両方において、第１の質問グループおよび第２の質問グループのうちの一方の各質問に関して、回答を含む回答クラスについて決定される。

好ましくは、本発明は、分類結果が、それぞれ第１のクラシファイアおよび第２のクラシファイアによる対応する回答クラスに関する各質問の分類に対応する信頼度値（degree of confidence value）を含み、第１の訓練データおよび第２の訓練データのうちの１つまたは複数を更新することは、信頼度値が所定の閾値を超えるときに行われる、コンピュータ実施方法を提供する。

好ましくは、本発明は、質問に対する回答を含む回答クラスを決定することが、質問に対する回答を含む各回答クラスの信頼度値を決定することと、信頼度値が最も高い回答クラス、および、対応する信頼度値が所定の閾値を超える回答クラスのうちの一方に基づいて、回答クラスを決定することとを含む、コンピュータ実施方法を提供する。

好ましくは、本発明は、分類結果が、それぞれ第１のクラシファイアおよび第２のクラシファイアによる対応する回答クラスに関する各質問の分類に対応する信頼度値を含み、第１の訓練データおよび第２の訓練データのうちの１つまたは複数を更新することは、対応する信頼度値が所定の閾値を超えるときに、質問を１つの回答クラスから別の回答クラスに再分類することを含む、コンピュータ実施方法を提供する。

好ましくは、本発明は、それぞれ、更新された第１の訓練データおよび第２の訓練データのうちの一方に基づいて第１のクラシファイアおよび第２のクラシファイアのうちの１つまたは複数を更新することをさらに含む、コンピュータ実施方法を提供する。

好ましくは、本発明は、質問グループを第１の質問グループと第２の質問グループとに分割することと、各質問を回答と関連付けることとをさらに含む、コンピュータ実施方法を提供する。

好ましくは、本発明は、分類結果が、それぞれ第１のクラシファイアおよび第２のクラシファイアによる対応する回答クラスに関する各質問の分類に対応する信頼度値を含み、各質問を回答と関連付けることは、所定の閾値を超えない最低の相対信頼度値を含む対応する回答クラスに関する質問の分類が行われるまで反復される、コンピュータ実施方法を提供する。

好ましくは、本発明は、分類結果が、それぞれ第１のクラシファイアおよび第２のクラシファイアによる対応する回答クラスに関する各質問の分類に対応する信頼度値を含み、各質問を回答と関連付けることは、検索エンジンおよび回答コーパスのうちの１つまたは複数を使用することを含む、コンピュータ実施方法を提供する。

好ましくは、本発明は、回答が、最高の相対信頼度値を有する回答クラスのものであり、回答が、検索エンジンおよび回答コーパスのうちの１つまたは複数を使用して識別される、コンピュータ実施方法を提供する。

好ましくは、本発明は、各質問を回答と関連付けることが、最低の相対信頼度値を超える相対信頼度値を含む対応する回答クラスに関する質問の分類が行われるまで反復される、コンピュータ実施方法を提供する。

本発明の一態様によれば、コンピュータ・システムが提供される。コンピュータ・システムは、１つまたは複数のコンピュータ・プロセッサと、１つまたは複数のコンピュータ可読記憶媒体と、１つまたは複数のコンピュータ・プロセッサのうちの少なくとも１つによって実行するための、コンピュータ可読記憶媒体のうちの１つまたは複数に記憶されているプログラム命令とを含むことができる。プログラム命令は、開示されている方法を実施するために実行することができる。

本発明の一態様によれば、コンピュータ・プログラム製品が提供される。コンピュータ・プログラム製品は、１つまたは複数のコンピュータ可読記憶デバイスと、コンピュータ・システムの少なくとも１つまたは複数のコンピュータ・プロセッサによって実行するための、１つまたは複数のコンピュータ可読記憶デバイスのうちの少なくとも１つに記憶されているプログラム命令とを含むことができる。プログラム命令は、開示されている方法を実施するために、コンピュータ・システムの少なくとも１つまたは複数のコンピュータ・プロセッサによって実行することができる。

本開示は、図面を参照しながら好ましい実施形態の以下の説明において詳細を提示する。図面は必ずしも原寸比例とは限らない。図面は、概略表現にすぎず、本発明の特定のパラメータを表現するようには意図されていない。図面は、本発明の典型的な実施形態のみを示すように意図されている。図面において、同様の参照符号は同様の要素を表す。

本発明の一実施形態によるコンピュータ・システムを示すブロック図である。 本発明の一実施形態による、訓練データ更新を可能にするための動作ステップを示す機能ブロック図である。 本発明の一実施形態による、訓練データ更新を可能にするための動作ステップを示す機能ブロック図である。 本発明の一実施形態による、訓練データ更新を可能にするための動作ステップを示す機能ブロック図である。 本発明の一実施形態による、訓練データ更新を可能にするための動作ステップを示す機能ブロック図である。 本発明の一実施形態による、クラシファイアを更新するための動作ステップを示す機能ブロック図である。 本発明の一実施形態による、訓練データを反復して更新するための動作ステップを示す機能ブロック図である。 本発明の一実施形態による、訓練データを反復して更新し、クラシファイアを反復して更新するための動作ステップを示す機能ブロック図である。 本発明の一実施形態による、訓練データを更新するプロセスを示す流れ図である。 本発明の一実施形態による、訓練データを更新するプロセスを示す流れ図である。 本発明の一実施形態による、図９および図１０のプロセスに関係するシステム・ハードウェアを示す全体的な機能ブロック図である。 本発明の一実施形態による、訓練データを更新する実施例の態様を示す図である。 本発明の一実施形態による、訓練データを更新する実施例の態様を示す図である。 本発明の一実施形態による、訓練データを更新する実施例の態様を示す図である。 本発明の一実施形態による、訓練データを更新する実施例の態様を示す図である。 本発明の一実施形態による、クラウド・コンピューティング環境を示す図である。 本発明の一実施形態による、抽象化モデル・レイヤを示す図である。

本発明の実施形態の説明は、例示の目的のために提示および開示されており、網羅的であることも、開示されている実施形態に限定されることも意図していない。説明されている実施形態の範囲および思想から逸脱することなく、多くの修正および変形が当業者には明らかであろう。本明細書において使用されている用語は、実施形態の原理、実際の適用または従来の技術にまさる技術的改善を最良に説明するため、または、当業者が本明細書において開示されている実施形態を理解し、実践することを可能にするために選択されている。

当業者が理解するように、本発明の一実施形態は、方法、システム、またはコンピュータ・プログラム製品として具現化することができる。したがって、本発明の一実施形態は、ファームウェア、常駐ソフトウェアおよびマイクロコードなどを含む全体がハードウェアをベースとした実施形態、全体がソフトウェアをベースとした実施形態をとることができ、または、本明細書においてすべてまとめて「回路」、「モジュール」または「システム」と称する場合がある、ソフトウェアをベースとした態様とハードウェアをベースとした態様とを組み合わせた実施形態の形態をとることができる。

本明細書において使用される場合、「１つの（ａ／ｏｎｅ）」という表現は、「少なくとも１つ」として理解されるものとする。「１つの～を備える（ｃｏｍｐｒｉｓｅ（ｓ）／ｃｏｍｐｒｉｓｉｎｇ ａ／ｏｎｅ）」という表現は、「少なくとも１つの～を備える（ｃｏｍｐｒｉｓｅ（ｓ）／ｃｏｍｐｒｉｓｉｎｇ ａｔ ｌｅａｓｔ ｏｎｅ）」として理解されるものとする。「～を備える（ｃｏｍｐｒｉｓｅ（ｓ）／ｃｏｍｐｒｉｓｉｎｇ）」という表現は、「少なくとも～を備える（ｃｏｍｐｒｉｓｅ（ｓ）／ｃｏｍｐｒｉｓｉｎｇ ａｔ ｌｅａｓｔ）」として理解されるものとする。「／」という表現は、「～または、あるいはその両方（ａｎｄ／ｏｒ）」として理解されるものとする。

本明細書において使用されている用語をより明確に定義するために、本発明が関係する分野または技術分野の当業者に知られているように広範に解釈されるべきである、用語の例示された定義が以下に示される。

本明細書において使用される場合、「訓練データ」または「訓練データセット」という用語は、自然言語分類器のようなクラシファイアに入力されるデータおよび情報のセットを指す。訓練データは、文書またはテキストが相関、対応、または他の様態で属する可能性があるクラスを指定するためにマッピングまたはラベリングされている、質問、陳述、発言、表現、意見、感嘆、命令、概念、着想などを表す文書またはテキストを含むことができる。訓練データは、例えば、電子ファイルまたは記録の形態をとることができる。

本明細書において使用される場合、「ラベリング」という用語は、文書またはテキストを訓練データのクラスに関連付けるプロセスを指す。

本明細書において使用される場合、「クラス」という用語は、１つまたは複数の文書またはテキストが関連付けられる個別のカテゴリを指す。個別のカテゴリは、他の様態では、回答のクラス、グループ、またはタイプ、トピック、分類、専門領域などであってもよく、または、それらとして定義することができる。

本明細書において使用される場合、「訓練」という用語は、クラシファイアが、クラシファイアにアップロードされる訓練データに基づいて動作モデルを開発および生成するプロセスを指す。

本明細書において使用される場合、「クラシファイア」という用語は、ラベリングされていない文書を入力として受け入れ、個別のクラスを出力として返すソフトウェア構成要素を指す。クラシファイアは、自然言語分類器であってもよい。クラシファイアは、ラベリングされていない文書またはテキストに関連して使用する前に、ラベリングされている文書またはテキストを含む訓練データを使用して訓練される。訓練後、クラシファイアは、訓練データに従って、ラベリングされている文書またはテキストを分類するために使用することができる。

分類の動作は、テキストまたは文を理解することを必要とし、多量の労働関連リソースを必要とする。さらに、標的ビジネス・エリアにおける主題専門家による分類の品質は、経験レベル、専門領域知識の量、および主題専門家が文書の各々をラベリングするのに利用可能な時間に依存する。加えて、例えば、主題専門家による分類が実施される日時に起因する、標的ビジネス・エリアにおける主題専門家による操作の差に起因して、分類のばらつきが発生する場合がある。したがって、クラシファイアを使用した分類性能は、分類動作の正確度および精度によって大きく影響される。

図１は、本発明の一実施形態によるコンピュータ・システムを示すブロック図である。

システム（１０１）は、例えば、デスクトップ・コンピュータ、ラップトップ・コンピュータ、ノートブック・コンピュータ、タブレット・コンピュータ、ネットブック・コンピュータ、サーバ・コンピュータ、汎用または専用コンピュータなどであってもよい。サーバ・コンピュータは、例えば、ラック・マウント型サーバ、ブレード型サーバ、またはメインフレーム・サーバの形態をとることができ、または、例えば、１つまたは複数の仮想機械を作成および作動させるためのハイパーバイザを実装することができる。システム（１０１）は、バス（１０４）によって相互接続されている１つまたは複数のＣＰＵ（１０２）および主記憶装置（１０３）を備えることができる。ＣＰＵ（１０２）の１つまたは複数は、例えば、３２ビットまたは６４ビットのアーキテクチャに基づくことができる。ＣＰＵ（１０２）の１つまたは複数は、ＩＢＭ（Ｒ）のＰｏｗｅｒ（Ｒ）シリーズ、Ｉｎｔｅｌ ＣｏｒｐｏｒａｔｉｏｎのＣｏｒｅ ｉ（商標）シリーズ、Ｃｏｒｅ ２（商標）シリーズ、Ａｔｏｍ（商標）シリーズ、Ｘｅｏｎ（商標）シリーズ、Ｐｅｎｔｉｕｍ（Ｒ）シリーズ、またはＣｅｌｅｒｏｎ（Ｒ） ｓｅｒｉｅｓ、Ａｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ， Ｉｎｃ．のＰｈｅｎｏｍ（商標）シリーズ、Ａｔｈｌｏｎ（商標）シリーズ、Ｔｕｒｉｏｎ（商標）シリーズ、またはＳｅｍｐｒｏｎ（商標）シリーズのものであってもよい。

システム（１０１）は、Ｗｉｎｄｏｗｓ（Ｒ）、ＵＮＩＸ（Ｒ）、Ｍａｃ ＯＳ（Ｒ）、Ｌｉｎｕｘ（Ｒ）、またはＪａｖａ（Ｒ）処理環境を提供するもののような、オペレーティング・システムを含んでもよい。Ｊａｖａ（Ｒ）アプリケーション、Ｊａｖａ（Ｒ）仮想機械（ＶＭ）、Ｊ２ＥＥ（Ｒ）のようなＪａｖａ（Ｒ）ジャスト・イン・タイム（ＪＩＴ）コンパイラ、他のタイプのプログラムのような様々なソフトウェア・アプリケーション、および任意のタイプのデータを、主記憶装置によってロードおよび使用するためにディスク（１０８）内に記憶することができる。

ディスプレイ（１０６）は、例えば、液晶ディスプレイ（ＬＣＤ）であってもよい。ディスプレイ（１０６）は、例えば、ディスプレイ・コントローラ（１０５）によってバス（１０４）に相互接続することができる。ディスプレイ（１０６）は、例えば、例として通信回線（１１５）によって、１つまたは複数の他のコンピュータからネットワークを介してシステム（１０１）によって受信される情報を表示するために使用することができる。ディスク（１０８）のようなメモリ・ディスクは、例えば、ハード・ディスクまたはＳＳＤの形態をとってもよい。ドライブ（１０９）は、例えば、ＣＤドライブ、ＤＶＤドライブ、またはＢｌｕ－ｒａｙディスク（商標）（ＢＤ）ドライブ、の形態をとってもよく、ＳＡＴＡまたはＩＤＥコントローラ（１０７）によってバス（１０４）に相互接続することができる。キーボード（１１１）またはマウス（１１２）のような様々な入力デバイスが、例えば、キーボード－マウス・コントローラ（１１０）またはＵＳＢバス（図示せず）によってバス（１０４）に相互接続されてもよい。

ドライブ（１０９）は、本発明によるコンピュータ・プログラムのようなプログラムをシステム（１０１）にインストールするために使用することができる。プログラムは、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、またはＢＤからディスク（１０８）へと、または、直接的に主記憶装置（１０３）へと読み出し可能またはロード可能あるいはその両方であってもよい。

通信インターフェース（１１４）は、例えば、Ｅｔｈｅｒｎｅｔ（Ｒ）プロトコルを実施することができる。通信インターフェース（１１４）は、システム（１０１）を通信回線（１１５）に物理的に接続するために、例えば、通信コントローラ（１１３）によってバス（１０４）に相互接続することができる。通信インターフェース（１１４）は、システム（１０１）における通信機能を有効化するために、ＴＣＰ／ＩＰ通信プロトコルを含むネットワーク・インターフェース・レイヤを提供することができる。通信回線（１１５）は、例えば、有線ＬＡＮ環境、または、ＩＥＥＥ（Ｒ）８０２．１１ａ／ｂ／ｇ／ｎのようなワイヤレスＬＡＮ接続規格に基づくワイヤレスＬＡＮ環境であってもよい。

本発明の一実施形態において、クラシファイアが、訓練データを生成するために使用される。クラシファイアは、訓練データを使用してクラシファイアを訓練した後は、例えば、通常どおり、慣例に従って使用されてもよい。

図２、図３、図４、および図５は各々、本発明の一実施形態による、訓練データ更新を可能にするための動作ステップを示す機能ブロック図である。

図２を参照すると、第１世代訓練データセットは、第１の訓練データおよび第２の訓練データを含むことができる。本発明の一実施形態において、第１世代訓練データセットは、例えば、対応する候補回答グループとともに質問のセットを形成する文書またはテキストを含んでもよく、または、他の様態でそれらによって形成されてもよい。当該実施形態において、質問のセットは、例えば、検索エンジンに入力され得るもののような、検索クエリまたは質問を係止するテキストを含んでもよい。当該実施形態において、質問は、関連する候補回答のクラスまたはグループに関連して定義され得るクラス・ラベルを含み、これと関連付けることができる。クラス・ラベルは、質問が属する、関連する候補回答のクラスまたはグループを指定することができる。関連する候補回答のグループは、共通のトピック、専門領域などに関係する回答を含むことができる。当該実施形態において、質問セットの質問の識別されている特性は、質問を、対応する関連候補回答グループに関連付けるための基礎として使用することができる。当該実施形態において、第１世代訓練データセットは、例えば、最初に準備し、クラシファイアによる処理のためにシステム（１０１）に入力することができる。当該実施形態において、第１世代訓練データセットは、例えば、標的ビジネス・エリアの主題専門家によって準備することができる。様々な実施形態において、第１世代訓練データセットは、他の様態で、例えば、陳述、発言、表現、意見、感嘆、命令、概念などの関連するセットを形成する文書またはテキストを含んでもよく、または、それらによって形成されてもよい。

一例において、第１世代訓練データセットは、各々がそれぞれのクラス・ラベルによって定義される、候補回答のグループを含む。当該例において、第１世代訓練データセットは、各々が関連する候補回答の１つまたは複数のグループに関してラベリングされている５～１０個の質問を含む質問セットを含む。少数または多数の質問を有する質問セットを含む訓練データがクラシファイアを訓練するために称される場合、クラシファイアに関連する結果として過剰訓練または過剰適合が発生する可能性があり、クラシファイアが、使用中に、解釈エラーまたはマッチング・エラーの形態などの様々な出力エラーを生成させられる。訓練データが、大きい数または多数の質問を有する質問セットを含む場合、訓練中の計算リソースに対する需要が大きくなり得る。

図２を参照すると、質問セットは、質問＿００１～質問＿０２０（２１１）の２０個の質問を含むことができる。質問セットは、例えば、ストレージに記憶することができ（２９１）、主記憶装置（１０３）またはディスク（１０８）によって実施することができる。本発明の一実施形態において、候補回答の各グループは、例えば、コーパス（２９２）のような対応するコーパスに基づくことができ、または、他の様態でコーパスから引き出すことができる。当該実施形態において、コーパス（２９２）は、例えば、候補回答の集合を含む回答コーパスであり得る。１つまたは複数の候補回答は、質問セットの質問に対応することができる。コーパス（２９２）は、例えば、ＦＡＱまたはマニュアルであってもよい。図２に示すように、それぞれ回答＿α、回答＿β、回答＿γ、回答＿δ、回答＿ε、回答＿ζ、回答＿η、および回答＿θによって示される、候補回答の８つのクラス（２１４）を各々、クラス・ラベルによって定義することができる。コーパス（２９２）は、例えば、ストレージに記憶することができ（２９２）、主記憶装置（１０３）またはディスク（１０８）によって実施することができる。質問セットおよび候補回答グループは、システム（１０１）によって収集することができる。

ステップ２７１において、システム（１０１）が、質問セットを２つ以上の相互に排他的な質問グループに分割することができる。質問セットは、例えば、質問の各々と関連付けられる識別子または固有のインデックスに基づいて分割することができる。質問セットは、他の様態で、例えば、質問の各々の識別されている特性に基づいて分割することができる。質問セットを分割する様式は、設計選択の問題として選択することができる。図２に示すように、２つのグループは、グループ＿１（２２１）およびグループ＿２（２３１）を含むことができる。グループ＿１（２２１）は、質問＿００１～質問＿０１０（２１２）の各々を含むことができる。グループ＿２（２３１）は、質問＿０１１～質問＿０２０（２１３）の各々を含むことができる。

ステップ２７２において、システム（１０１）は、コーパス（２９２）によって、グループ＿１（２２１）内の各質問に対応する候補回答を識別することができる。候補回答は、例えば、検索エンジン（図示せず）を実施することによって識別することができる。

ステップ２７３において、システム（１０１）は、グループ＿１（２２１）内の各質問に対応する、１つまたは複数の識別されている候補回答を出力することができる。出力は、識別されている候補回答と対応する質問との間のそれぞれの関係の関数として決定される、識別されている各候補回答の信頼度を含むことができる。識別されている候補回答は、識別されている候補回答の相対信頼度に基づいて、グループ＿１（２２１）内の質問と関連付けることができる。システム（１０１）は、例えば、信頼度が所定の閾値を超える、識別されている候補回答に基づいて、質問を分類するために、グループ＿１（２２１）内の質問が属する関連候補回答クラスまたはグループを決定することができる。それに従って、質問が属する回答と関連付けられる識別子が、クラス・ラベルとして質問に付着され得る。

図２に示すように、質問＿００１は、クラス＿α（２５１）に分類することができ、回答＿αのような、対応するクラス・ラベルと関連付けることができる。質問＿００２～質問＿０１０も、同様に分類し、対応するクラス・ラベルと関連付けることができる。回答と１つまたは複数の対応する質問との間の関係または関連の数ｎを、正の整数に関して定義することができる。一例において、１つの質問との関連を有する回答は、ｎ＝１によって定義することができる。当該例において、２つの質問との関連を有する別の回答は、ｎ＝２によって定義することができる。したがって、システム（１０１）は、図２に示すように、訓練データ＿１（２２２）のような第１の訓練データを生成することができる。

一例において、訓練データ＿１（２２２）は、図２に示すように、質問＿００１～質問＿０１０を含む。質問＿００１および質問＿００２はクラス＿α（２５１）に分類され、共通してクラス・ラベル回答＿αと関連付けられる。質問＿００３はクラス＿ε（２５４）に分類され、クラス・ラベル回答＿εと関連付けられる。質問＿００４および質問＿００６はクラス＿β（２５２）に分類され、共通してクラス・ラベル回答＿βと関連付けられる。質問＿００５および質問＿００７はクラス＿δ（２５３）に分類され、共通してクラス・ラベル回答＿δと関連付けられる。質問＿００８、質問＿００９および質問＿０１０はクラス＿ζ（２５５）に分類され、共通してクラス・ラベル回答＿ζと関連付けられる。当該例において、図２に示すように、質問＿００１～質問＿０１０はいずれも、クラス＿γ、クラス＿η、またはクラス＿θに分類されない。したがって、訓練データ＿１（２２２）は、そのようなクラスを含み得ない。

ステップ２７２と同様にして、ステップ２８２において、システム（１０１）は、コーパス（２９２）によって、グループ＿２（２３１）内の各質問に対応する候補回答を識別することができる。

ステップ２７３と同様にして、ステップ２８３において、システム（１０１）は、グループ＿２（２３１）内の各質問に対応する、１つまたは複数の識別されている候補回答を出力することができる。出力は同様に、識別されている各候補回答の信頼度を含むことができる。識別されている候補回答は、識別されている候補回答の相対信頼度に基づいて、グループ＿２（２３１）内の質問と関連付けることができる。システム（１０１）は、同様に、質問を分類するために、グループ＿２（２３１）内の質問が属する関連候補回答クラスまたはグループを決定することができる。それに従って、質問が属する回答と関連付けられる識別子が、同様にクラス・ラベルとして質問に付着され得る。そのため、システム（１０１）は、図２に示すように、訓練データ＿２（２３２）のような第２の訓練データを生成することができる。

当該例において、訓練データ＿２（２３２）は、図２に示すように、質問＿０１１～質問＿０２０を含む。質問＿０１１および質問＿０１４はクラス＿α（２５１）に分類され、共通してクラス・ラベル回答＿αと関連付けられる。質問＿０１２はクラス＿β（２６２）に分類され、クラス・ラベル回答＿βと関連付けられる。質問＿０１３および質問＿０１７はクラス＿ε（２６４）に分類され、共通してクラス・ラベル回答＿εと関連付けられる。質問＿０１５、質問＿０１６および質問＿０１９はクラス＿η（２６５）に分類され、共通してクラス・ラベル回答＿ηと関連付けられる。質問＿０１８および質問＿０２０はクラス＿γ（２６３）に分類され、共通してクラス・ラベル回答＿γと関連付けられる。当該例において、図２に示すように、質問＿０１１～質問＿０２０はいずれも、クラス＿δ、クラス＿ζ、またはクラス＿θに分類されない。したがって、訓練データ＿２（２３２）は、そのようなクラスを含み得ない。

本発明の一実施形態において、訓練データ＿１（２２２）および訓練データ＿２（２３２）は、例えば、２つの個別のクラシファイアを訓練するのに使用することができる。当該実施形態において、ステップ２７２および２７３は、ステップ２８２および２８３と同時に実施されてもよく、または、されなくてもよい。

図３を参照すると、第１のクラシファイアおよび第２のクラシファイアを、第１の訓練データおよび第２の訓練データに基づいて生成することができる。

ステップ２７４において、システム（１０１）は、訓練データ＿１（２２２）に基づいて、例えばクラシファイア＿Ａ（２２３）などの、第１のクラシファイアを訓練および生成することができる。同様に、ステップ２８４において、システム（１０１）は、訓練データ＿２（２３２）に基づいて、例えばクラシファイア＿Ｂ（２３３）などの、第２のクラシファイアを訓練および生成することができる。本発明の一実施形態において、ステップ２７４は、ステップ２８４と同時に実施されてもよく、または、されなくてもよい。

図４および図５を参照すると、第１の訓練データおよび第２の訓練データの各々を更新することができる。

ステップ２７５において、システム（１０１）は、クラシファイア＿Ｂ（２３３）によって訓練データ＿１（２２２）内の質問＿００１～質問０１０（２１２）の各々を分類することができる。例えば、所定の閾値が５０％に設定され、質問＿００２が８５％の信頼度でクラス＿βに対して分類され、１０％の信頼度でクラス＿αに対して分類され、５％の信頼度でクラス＿θに対して分類される場合、システム（１０１）は質問＿００２をクラス＿βに分類することができる。これは、クラシファイア＿Ａ（２２３）によって質問＿００２をクラス＿αに分類することとは対照的であることに留意されたい。本発明の一実施形態において、質問が所定の閾値よりも低い信頼度で１つまたは複数のクラスの各々に対して分類される場合、質問は、相対信頼度が最も高いクラスと関連付けられるが、そのクラスには分類されない。

ステップ２７６において、システム（１０１）は、クラシファイア＿Ｂ（２３３）によって生成される分類結果を使用して、訓練データ＿１（２２２）を更新することができる。例えば、更新は、質問＿００２をクラス＿α（２５１）からクラス＿β（２５２）へと再分類すること（２９８）を含むことができる。更新は、他の様態で、質問＿００２の初期クラスを適切な様態で変更することを含むことができる。更新は、他の様態で、設計選択の問題として選択することができる、任意の他のタイプの修正動作を含むことができる。本発明の一実施形態において、第１の訓練データに対する更新は、訓練データ＿１’（２２４）などの形態で生成することができる。訓練データ＿１’（２２４）は、訓練データ＿１（２２２）の更新されたバージョンであり得る。

ステップ２７５と同様にして、ステップ２８５において、システム（１０１）は、クラシファイア＿Ａ（２２３）によって訓練データ＿２（２３２）内の質問＿０１１～質問０２０（２１３）の各々を分類することができる。例えば、所定の閾値が５０％に設定され、質問＿０１１が７５％の信頼度でクラス＿βに対して分類され、１５％の信頼度でクラス＿αに対して分類され、１０％の信頼度でクラス＿ηに対して分類される場合、システム（１０１）は質問＿０１１をクラス＿βに分類することができる。これは、クラシファイア＿Ｂ（２３３）によって質問＿０１１をクラス＿αに分類することとは対照的であることに留意されたい。質問が所定の閾値よりも低い信頼度で１つまたは複数のクラスの各々に対して分類される場合、質問は、相対信頼度が最も高いクラスと関連付けられるが、そのクラスには分類されない。

ステップ２７６と同様にして、ステップ２８６において、システム（１０１）は、クラシファイア＿Ａ（２２３）によって生成される分類結果を使用して、訓練データ＿２（２３２）を更新することができる。例えば、更新は、例として質問＿０１１をクラス＿α（２６１）からクラス＿β（２６２）へと再分類すること（２９９）を含むことができる。システム（１０１）はその後、訓練データ＿２’（２３４）を生成することができる。訓練データ＿２’（２３４）は、訓練データ＿２（２３２）の更新されたバージョンであり得る。

図６は、本発明の一実施形態による、クラシファイアを更新するための動作ステップを示す機能ブロック図である。図６を参照すると、第１のクラシファイアおよび第２のクラシファイアを、更新された第１の訓練データおよび第２の訓練データに基づいて更新することができる。

ステップ３１１において、システム（１０１）は、訓練データ＿１’（２２４）を使用してクラシファイア＿Ａ（２２３）を更新して、更新済みクラシファイア＿Ａ’（３３３）を生成することができる。同様に、ステップ３２１において、システム（１０１）は、訓練データ＿２’（２３４）を使用してクラシファイア＿Ｂ（２３３）を更新して、更新済みクラシファイア＿Ｂ’（３４３）を生成することができる。

図７は、本発明の一実施形態による、訓練データを反復して更新するための動作ステップを示す機能ブロック図である。

本発明の一実施形態において、クラシファイア＿Ａ（２２３）のような第１のクラシファイアによる、訓練データ＿１’（２２４）のような第１の訓練データの分類されている質問の間のマッチングの程度が、クラシファイア＿Ｂ（２３３）のような第２のクラシファイアによる第１の訓練データの分類されている質問に対する所定の閾値以上である場合、訓練データの反復的なまたは繰り返される更新が影響を受け得る。マッチングの程度は、例えば、クラス＿α（２５１）内の１つまたは複数の質問と、クラス＿α（２５６）のものとの比較に基づいて決定することができる。図５を参照して説明されているように、質問＿００２はクラス＿α（２５１）からクラス＿β（２５７）に再分類することができる。したがって、クラス＿α（２５１）は、再分類の前は質問＿００１および質問＿００２を含んでおり、再分類後は質問＿００１のみを含んでいる。そのため、再分類前のクラス＿α（２５１）内の質問と、再分類後のクラス＿α（２５６）内の質問との間のマッチングの程度は、５０％であると決定することができる。

引き続き図７を参照すると、ステップ４７５において、システム（１０１）は、クラシファイア＿Ｂ’（３４３）によって訓練データ＿１’（２２４）内の質問＿００１～質問０１０（２１２）の各々を分類することができる。ステップ４７６において、システム（１０１）は、クラシファイア＿Ｂ’（３４３）によって得られる分類結果を使用して訓練データ＿１’（２２４）を更新して、訓練データ＿１’’（４２６）を生成することができる。訓練データ＿１’’（４２６）は、訓練データ＿１’（２２４）の更新されたバージョンであり得る。

本発明の一実施形態において、クラシファイア＿Ｂ（２３３）のような第２のクラシファイアによる、訓練データ＿２’（２３４）のような第２の訓練データの分類されている質問の間のマッチングの程度が、クラシファイア＿Ａ（２２３）のような第１のクラシファイアによる第２の訓練データの分類されている質問に対する所定の閾値以上である場合にも、訓練データの反復的な更新が影響を受け得る。マッチングの程度は、例えば、クラス＿α（２６１）内の１つまたは複数の質問と、クラス＿α（２６６）のものとの比較に基づいて決定することができる。図５を参照して説明されているように、質問＿０１１はクラス＿α（２６１）からクラス＿β（２６７）に再分類することができる。したがって、クラス＿α（２５１）は、再分類の前は質問＿０１１および質問＿０１４を含んでおり、再分類後は質問＿０１４のみを含んでいる。そのため、再分類前のクラス＿α（２６１）内の質問と、再分類後のクラス＿α（２６６）内の質問との間のマッチングの程度は、５０％であると決定することができる。

引き続き図７を参照すると、ステップ４８５において、システム（１０１）は、クラシファイア＿Ａ’（３３３）によって訓練データ＿２’（２３４）内の質問＿０１１～質問０２０（２１３）の各々を分類することができる。ステップ４８６において、システム（１０１）は、クラシファイア＿Ａ’（３３３）によって得られる分類結果を使用して訓練データ＿２’（２３４）を更新して、訓練データ＿２’’（４３６）を生成することができる。訓練データ＿２’（４３６）は、訓練データ＿２’（２３４）の更新されたバージョンであり得る。

図８は、本発明の一実施形態による、訓練データを反復して更新し、クラシファイアを反復して更新するための動作ステップを示す機能ブロック図である。図８に示すように、それぞれ、第１の訓練データに対する反復的な更新５６１、４７６および５７７ならびに第２の訓練データに対する反復的な更新６８６、４８６および５９７を適用することができる。さらに、それぞれ、第１のクラシファイアに対する反復的な更新２７４、３１１および５７６ならびに第２のクラシファイアに対する反復的な更新２８４、３２１および５９６を適用することができる。

本発明の一実施形態において、訓練データに対する反復的な更新は、再分類前のクラス内の質問と、再分類後の対応するクラス内の質問との間のマッチングの程度が、所定の閾値以上になるまで適用することができる。当該実施形態において、クラシファイアに対する反復的な更新も、同様に適用することができる。

本発明の別の実施形態において、訓練データに対する反復的な更新は、再分類前のクラス内の質問と、再分類後の対応するクラス内の質問との間の連続的なマッチングの程度が、所定の閾値以上になるまで適用することができる。当該実施形態において、対応する更新済みクラシファイアを使用することができる。当該実施形態において、クラシファイアに対する反復的な更新も、同様に適用することができる。

本発明のまた別の実施形態において、訓練データに対する反復的な更新は、再分類前のクラス内の質問と、再分類後の対応するクラス内の質問との間の目下のまたは現在の連続的なマッチングの程度の連続的な移動平均値が、直前のマッチングの程度の値以上になるか、所定の閾値を超える、または、下回るまで適用することができる。当該実施形態において、対応する更新済みクラシファイアを使用することができる。当該実施形態において、クラシファイアに対する反復的な更新も、同様に適用することができる。

図９および図１０は、本発明の一実施形態による、訓練データを更新するプロセスを示す流れ図である。システム（１０１）のようなシステムが、図９および図１０の各々を参照しながら説明されるような、ステップの各々を実施することができる。システムは、単一のコンピュータによって、または、複数のコンピュータによって実施されてもよい。

図９を参照すると、ステップ６０１において、システムは、訓練データを更新するプロセスを開始することができる。

ステップ６０２において、システムは、複数の質問を第１のグループと第２のグループとに分割することができる。本発明の別の実施形態において、標的ビジネス・エリアにおける主題専門家が、複数の質問を第１のグループと第２のグループとに手動で分割してもよい。本発明のまた別の実施形態において、システムが、最初に複数の質問を第１の予備グループと第２の予備グループとに分割してもよく、標的ビジネス・エリアにおける主題専門家が、その後、予備グループを手動で調整して、第１のグループおよび第２のグループを生成してもよい。

ステップ６０３において、システムは、候補回答グループの回答を、上記第１のグループ内の質問のうちの１つの質問と関連付けることができる。本発明の別の実施形態においては、標的ビジネス・エリアにおける主題専門家が、候補回答グループの回答を、上記第１のグループ内の質問のうちの１つの質問と手動で関連付けてもよい。本発明のまた別の実施形態においては、システムが、最初に、候補回答グループの回答を、上記第１のグループ内の質問のうちの１つの質問と関連付けてもよく、標的ビジネス・エリアにおける主題専門家が、その後、必要に応じて関連付けを調整してもよい。

ステップ６０４において、システムは、質問の各々と関連付けられる回答に基づいて、第１のグループ内の質問の各々が属するクラスを決定して、対応するクラス・ラベルを質問の各々に関連付け、それに従って、質問の各々を分類することができる。システムは、その後、それに従って第１の訓練データセットを生成することができる。

ステップ６０５において、システムは、第１の訓練データセットに基づいて第１のクラシファイアを生成することができる。

ステップ６０６において、システムは、下記のステップ６１５を参照して生成され、説明されているような、第２のクラシファイアによって、第１の訓練データ内の質問の各々を再分類することができる。ステップ６０７において、システムは、第２のクラシファイアによって生成される再分類結果に基づいて、第１の訓練データを更新して、更新された第１の訓練データを生成することができる。ステップ６０８において、システムは、更新された第１の訓練データセットに基づいて第１のクラシファイアを更新することができる。

ステップ６０９において、システムは、分類、訓練データの更新、およびクラシファイアの更新のそれぞれに関連して、ステップ６０６、６０７、および６０８のうちの１つを繰り返すべきか否かを決定することができる。本発明の一実施形態において、分類、訓練データの更新、およびクラシファイアの更新は、上記で説明したように、マッチングの程度が所定の閾値以上になるまで適用することができる。

本発明の一実施形態において、マッチングの程度は、例えば、式（Ｉ）～（ＩＶ）を使用して決定することができる。関数φ（ｑ，ｃ）は、式（Ｉ）によって表すことができる。

式中、ｑは質問を示し、ｃはクラスを示す。当該関数は、質問ｑがクラスｃに属するときは１を返し、すべての他の場合においては０を返す。

当該実施形態において、第１のクラシファイアＡを使用してクラスＣ_ｊに分類された質問ｑと、第２のクラシファイアＢを使用して質問ｑを再分類した結果との間のマッチングの程度を、それぞれ式（ＩＩ）および（ＩＩＩ）によって表すことができる。

式中、φ_Ａ（ｑ，ｃ）は第１のクラシファイアＡが使用される関数を示し、φ_Ｂ（ｑ，ｃ）は第２のクラシファイアＢが使用される関数を示し、ｉは質問と関連付けられる識別子を示し、ｊはクラスと関連付けられる識別子を示す。

反復を続けるべきか否かに関する決定は、式（Ｉ）～（ＩＩＩ）に従って各クラスの値を計算し、これらの値の各々が、上記で説明したように、所定の閾値以上になるかに関して決定を行うことによって、決定することができる。所定の閾値は、例えば、標的ビジネス・エリアの主題専門家によって定義することができる。所定の閾値は、例えば、式（ＩＶ）に示すように、０．８に設定されてもよい。

本発明の別の実施形態において、訓練データの更新およびクラシファイアの更新は、更新済みクラシファイアのうちの１つによる再分類の前のクラス内の質問と再分類の後のクラス内の質問との間の目下のおよび直近のマッチングの程度が所定の閾値未満になるまで継続し得る。所定の閾値は、差に関して、例えば、式（Ｖ）によって計算することができる。

式中、ｎは目下の反復を示し、ｎ－１は目下の反復の直前の反復を示す。所定の閾値は、例えば、標的ビジネス・エリアの主題専門家によって定義することができる。

本発明のまた別の実施形態において、訓練データの更新およびクラシファイアの更新は、更新済みクラシファイアのうちの１つによる再分類の前および後のクラス内の質問に対して、目下のおよび後続のマッチングの程度の移動平均値が所定の閾値以上になるかについて判定または決定が行われるまで継続し得る。移動平均値は、例えばそれぞれ式（ＶＩ）および（ＶＩＩ）によって計算することができる。

式中、ｋは、目下の反復に関するｋ回の先行するまたは過去の更新を示す。所定の閾値は、例えば、標的ビジネス・エリアの主題専門家によって定義することができる。判定または決定が肯定的または真である場合、システムはステップ６１０に進み、次いで、ステップ６０６に進む。

ステップ６１０において、システムは、候補回答グループの別の回答を、第１のグループ内の質問のうちの、信頼度のより低い質問と関連付けることができる。システムはその後、ステップ６０６、６０７、６０８および６０９を繰り返すために、ステップ６０６に進む。

ステップ６０３のものと同様に、ステップ６１３において、システムは、候補回答グループの回答を、上記第２のグループ内の質問のうちの１つの質問と関連付けることができる。標的ビジネス・エリアにおける主題専門家が、候補回答グループの回答を、上記第１のグループ内の質問のうちの１つの質問と手動で関連付けてもよい。システムが、他の様態で、最初に、候補回答グループの回答を、上記第２のグループ内の質問のうちの１つの質問と関連付けてもよく、標的ビジネス・エリアにおける主題専門家が、その後、必要に応じて関連付けを調整してもよい。

ステップ６０４のものと同様に、ステップ６１４において、システムは、質問の各々と関連付けられる回答に基づいて、第２のグループ内の質問の各々が属するクラスを決定して、対応するクラス・ラベルを質問の各々に関連付け、それに従って、質問の各々を分類することができる。システムは、その後、それに従って第２の訓練データセットを生成することができる。

ステップ６０５のものと同様に、ステップ６１５において、システムは、第２の訓練データセットに基づいて第２のクラシファイアを生成することができる。

ステップ６０６のものと同様に、ステップ６１６において、システムは、上記ステップ６０５を参照して生成され、説明されているような、第１のクラシファイアによって、第２の訓練データ内の質問の各々を再分類することができる。ステップ６０７のものと同様に、ステップ６１７において、システムは、第１のクラシファイアによって生成される再分類結果に基づいて、第２の訓練データを更新して、更新された第２の訓練データを生成することができる。ステップ６０８のものと同様に、ステップ６１８において、システムは、更新された第２の訓練データを使用して第２のクラシファイアを更新することができる。

ステップ６０９のものと同様に、ステップ６１９において、システムは、それぞれ分類、訓練データの更新、および第２のクラシファイアの更新に関係して、ステップ６１６、６１７、および６１８のうちの１つを繰り返すべきか否かを決定することができる。分類、訓練データの更新、および第２のクラシファイアの更新は、上記で説明したように、マッチングの程度が所定の閾値以上になるまで適用することができる。マッチングの程度は、上記で説明したように、式（Ｉ）～（ＩＶ）を適合させることによって決定され得、したがって、第２の訓練データおよび第２のクラシファイアに適用するための式（Ｉ’）～（ＩＶ’）が生成される。そのため、式（Ｉ’）は、以下によって表すことができる。

式中、ｑは質問を示し、ｃはクラスを示す。

本発明の一実施形態において、第２のクラシファイアＢを使用してクラスＣ_ｊに分類された質問ｑと、第１のクラシファイアＡを使用して質問ｑを再分類した結果との間のマッチングの程度を、それぞれ式（ＩＩ’）および（ＩＩＩ’）によって表すことができる。

式中、φ_Ｂ（ｑ，ｃ）は第２のクラシファイアＢが使用される関数を示し、φ_Ａ（ｑ，ｃ）は第１のクラシファイアＡが使用される関数を示し、ｉは質問と関連付けられる識別子を示し、ｊはクラスと関連付けられる識別子を示す。

反復を続けるべきか否かに関する決定は、式（Ｉ’）、（ＩＩ’）、および（ＩＩＩ’）に従って各クラスの値を計算し、これらの値の各々が、上記で説明したように、所定の閾値以上になるかに関して決定を行うことによって、決定することができる。所定の閾値は、例えば、標的ビジネス・エリアの主題専門家によって定義することができる。所定の閾値は、例えば、式（ＩＶ’）に示すように、０．８に設定されてもよい。

本発明の別の実施形態において、訓練データの更新およびクラシファイアの更新は、更新済みクラシファイアのうちの１つによる再分類の前のクラス内の質問と再分類の後のクラス内の質問との間の目下のおよび直近のマッチングの程度が所定の閾値未満になるまで継続し得る。所定の閾値は、差に関して、例えば、式（Ｖ’）によって計算することができる。

式中、ｎは目下の反復を示し、ｎ－１は目下の反復の直前の反復を示す。所定の閾値は、例えば、標的ビジネス・エリアの主題専門家によって定義することができる。

本発明のまた別の実施形態において、訓練データの更新およびクラシファイアの更新は、更新済みクラシファイアのうちの１つによる再分類の前および後のクラス内の質問に対して、目下のおよび後続のマッチングの程度の移動平均値が所定の閾値以上になるかについて判定または決定が行われるまで継続し得る。移動平均値は、例えばそれぞれ式（ＶＩ’）および（ＶＩＩ’）によって計算することができる。

式中、ｋは、目下の反復に関するｋ回の先行するまたは過去の更新を示す。所定の閾値は、例えば、標的ビジネス・エリアの主題専門家によって定義することができる。判定または決定が肯定的または真である場合、システムはステップ６２０に進み、次いで、ステップ６１６に進む。

ステップ６１０において、システムは、候補回答グループの別の回答を、第１のグループ内の質問のうちの、信頼度のより低い質問と関連付けることができる。システムはその後、ステップ６０６、６１７、６１８および６１９を繰り返すために、ステップ６１６に進む。

図９を参照すると、ステップ６２１において、システムは、訓練データを更新するプロセスを終了することができる。

ステップ６０２に従って、質問のセットは第１のグループと第２のグループとの、２つのグループに分割される。システムはその後、第１のグループのためのステップ６０３～６１０、および、第２のグループのためのステップ６１３～６２０に進むことができる。クラシファイアを生成するために、初期訓練データの単一のセットが使用される場合、結果として過剰訓練が発生する可能性があり、クラシファイアは、例えば、バイアス・エラーを含む様々な出力エラーを生成させられる。有利には、本発明の実施形態は、ステップ６０６および６１６にあるように、質問のセットを２つの相互に排他的なグループに分割することにおいて、過剰訓練の発生を防止する。

図１１は、本発明の一実施形態による、図９および図１０のプロセスに関係するシステム・ハードウェアを示す全体的な機能ブロック図である。システム（７０１）は、図１を参照して説明されているような、システム（１０１）に対応する。システム（７０１）は、質問分割区画（question-dividing section）（７１１）と、関連付け区画（associating section）（７１２）と、訓練データ生成区画（training data-generating section）（７１４）と、クラシファイア生成区画（classifier-generating section）（７１５）と、分類区画（classifying section）（７１６）と、訓練データ更新区画（training data-updating section）（７１７）とを備えることができる。システム（７０１）は、質問分割区画（７１１）および関連付け区画（７１２）の代わりに読み出し区画（７１３）を備えてもよい。システム（７０１）は、クラシファイア更新区画（classifier-updating section）（７１８）と、判定区画（judging section）（７１９）とをさらに備えることができる。

質問分割区画（７１１）は、ストレージ（２９１）から複数の質問を読み出し、その後、複数の質問を第１のグループと第２のグループとに分割することができる。質問分割区画（７１１）は、前述したようなステップ６０２を実施することができる。

関連付け区画（７１２）は、候補回答グループの回答を、第１のグループおよび第２のグループ内の質問の各質問と関連付ける。回答は、候補回答グループの他の回答に対して最高の相対信頼度を有することができる。関連付け区画（７１２）は、前述したようなステップ６０３および６１３を実施することができる。

読み出し区画（７１３）は、複数の質問を第１のグループおよび第２のグループに分割して回答を関連付ける代わりに、第１のグループおよび第２のグループをメモリに読み出し、第１のグループおよび第２のグループの各々は複数の質問を有し、質問の各々は回答と関連付けられる。読み出し区画（７１３）は、訓練データをメモリに読み出すことを可能にし、訓練データは第１の質問グループおよび第２の質問グループを含み、各質問は、回答と関連付けられる。

訓練データ生成区画（７１４）は、前述したように、第１のグループ内の質問の各々と関連付けられる回答を使用して、質問の各々が属するクラスを決定し、その後、第１の訓練データとして訓練データ＿１（２２２）を生成する。訓練データ＿１（２２２）内の質問は、判断されたクラスに分類される。判断されたクラスの各々は、１つまたは複数の質問と関連付けられる。第１のグループ内の質問の各々が属するクラスに関する決定は、所定の閾値よりも信頼度が高いクラスを識別することによって行われ、クラスが識別されない場合、回答と関連付けられるクラスが、クラス・ラベルとして、質問が属するクラスに付着される。訓練データ生成区画（７１４）は、前述したように、第２のグループ内の質問の各々と関連付けられる回答を使用して、質問の各々が属するクラスをさらに決定し、その後、第２の訓練データとして訓練データ＿２（２３２）を生成する。第２の訓練データ（２３２）内の質問はその後、分類および関連付けされ、第２のグループ内の質問の各々が属するクラスに関する決定が、第１のグループのものと同様にして行われる。訓練データ生成区画（７１４）は、前述したようなステップ６０４および６１４を実施することができる。訓練データ生成区画（７１４）は、第１の質問グループおよび第２の質問グループの各質問について、質問に対する回答を含む回答クラスを決定することを可能にし、回答クラスは、質問の各々と関連付けられているクラス・ラベルを有し、質問の各々は、それぞれの回答クラスに分類される。

クラシファイア生成区画（７１５）は、第１の訓練データ（２２２）に基づいて、第１のクラシファイアとしてクラシファイア＿Ａ（２２３）を生成する。クラシファイア生成区画（７１５）は、第２の訓練データ（２３２）に基づいて、第２のクラシファイアとしてクラシファイア＿Ｂ（２３３）をさらに生成する。クラシファイア生成区画（７１５）は、前述したようなステップ６０５および６１５を実施することができる。クラシファイア生成区画（７１５）は、第１の質問グループおよび第２の質問グループ、ならびに、それぞれ第１のクラシファイアおよび第２のクラシファイアにおいて使用するための対応する回答クラスを含む、第１の訓練データおよび第２の訓練データを生成することを可能にする。

分類区画（７１６）は、第２のクラシファイア（２３３）を使用して、第１の訓練データ内の質問の各々を分類する。分類区画（７１６）は、第１のクラシファイア（２２３）を使用して、第２の訓練データ内の質問の各々をさらに分類する。分類区画（７１６）は、前述したようなステップ６０６および６１６を実施することができる。分類区画（７１６）は、第２のクラシファイアによって第１の質問グループの各質問を分類し、第１のクラシファイアによって第２の質問グループの各質問を分類することを可能にし、各質問は、対応する回答クラスに分類され、第１のクラシファイアおよび第２のクラシファイアによる分類は各々、それぞれの分類結果を生成する。

訓練データ更新区画（７１７）は、第２のクラシファイア（２３３）によって得られる分類結果を使用して第１の訓練データ（２２２）を更新し、その後、更新された第１の訓練データとして訓練データ＿１’（２２４）を生成する。第１の訓練データ（２２２）に対する更新は、前述したように、第２のクラシファイア（２３３）によって返されたクラスの信頼度が、所定の閾値以上であるときに適用することができる。訓練データ更新区画（７１７）は、第１のクラシファイア（２２３）によって得られる分類結果を使用して、同様に第２の訓練データ（２３２）をさらに更新し、その後、更新された第２の訓練データとして訓練データ＿２’（２３４）を生成する。第２の訓練データ（２３２）に対する更新は、前述したように、第１のクラシファイア（２２３）によって返されたクラスの信頼度が、所定の閾値以上であるときに適用することができる。訓練データ更新区画（７１７）は、前述したようなステップ６０７および６１７を実施することができる。訓練データ更新区画（７１７）は、分類結果に基づいて第１の訓練データおよび第２の訓練データのうちの１つまたは複数を更新し、それぞれ第１のクラシファイアおよび第２のクラシファイアにおいて使用するための更新された第１の訓練データおよび第２の訓練データを生成することを可能にする。

クラシファイア更新区画（７１８）は、更新された第１の訓練データ（２２４）を使用して第１のクラシファイア（２２３）を更新し、その後、更新された第１のクラシファイアとしてクラシファイア＿Ａ’（３３３）を生成する。クラシファイア更新区画（７１８）は、更新された第２の訓練データ（２３４）を使用して第２のクラシファイア（２３３）をさらに更新し、その後、更新された第２のクラシファイアとしてクラシファイア＿Ｂ’（３４３）を生成する。クラシファイア更新区画（７１８）は、前述したようなステップ６０８および６１８を実施することができる。クラシファイア更新区画（７１８）は、それぞれ、更新された第１の訓練データおよび第２の訓練データに基づいて第１のクラシファイアおよび第２のクラシファイアのうちの一方を更新することを可能にする。

判定区画（７１９）は、更新済みクラシファイア（３３３、３４３）の各々を使用して分類される前の、質問が属するクラスと関連付けられる１つまたは複数の質問と、分類または再分類後のクラスと関連付けられる１つまたは複数の質問との間のマッチングの程度が所定の閾値以上になるか否かを判定または決定する。判定区画（７１９）は、他の様態で、更新済みクラシファイア（３３３、３４３）の各々を使用して分類される前の、質問が属するクラスと関連付けられる１つまたは複数の質問と、分類後のクラスと関連付けられる１つまたは複数の質問との間の目下のマッチングの程度と、直前のマッチングの程度との間の差が所定の閾値未満になるか否かを判定または決定する。判定区画（７１９）は、他の様態で、更新済みクラシファイア（３３３、３４３）の各々を使用して分類される前の、質問が属するクラスと関連付けられる１つまたは複数の質問と、分類後のクラスと関連付けられる１つまたは複数の質問との間の目下のマッチングの程度の移動平均値が所定の閾値以上になるか否かを判定または決定する。判定区画（７１９）は、前述したようなステップ６０９および６１９を実施することができる。

反復プロセスのステップにおいて、関連付け区画（７１２）は、第２のクラシファイアを使用して、第１の訓練データとしての訓練データ＿１（２２２）内の質問の各々を分類することによって得られる信頼度が、所定の閾値よりも低い場合に、候補回答グループの別の回答を、信頼度がより低い質問と関連付ける。この別の回答は、回答の中で信頼度が２番目に高い回答であり得る。関連付け区画（７１２）は、第１のクラシファイアを使用して、第２の訓練データとしての訓練データ＿２（２３２）内の質問の各々を分類することによって得られる信頼度が、所定の閾値よりも低い場合に、候補回答グループの別の回答を、信頼度がより低い質問とさらに関連付ける。この別の回答は、回答の中で信頼度が２番目に高い回答である。

図１２および図１３は、本発明の一実施形態による、訓練データを更新する実施例の態様を示す。クラシファイアの信頼度の閾値０．６と０．８との間の収束状態の比較が示される。

一例において、使用される検索エンジンは、ＩＢＭ（Ｒ）Ｂｌｕｅｍｉｘ Ｒｅｔｒｉｅｖｅ ＆ Ｒａｎｋ （Ｒ＆Ｒ）であってもよい。当該例において、使用されるクラシファイアは、ＩＢＭ（Ｒ）Ｂｌｕｅｍｉｘ自然言語分類器（ＮＬＣ）であってもよい。当該例において、使用される質問のセットは、ＩＢＭ（Ｒ）Ｂｌｕｅｍｉｘ自然言語分類器（ＮＬＣ）のチュートリアル上で与えられるような、訓練データの一部として含まれてもよい。当該例において、使用される候補回答のセットは、ＦＡＱにおいて準備され得るような、質問と回答との対のうちの回答であってもよい。

プロセスは、以下のステップを含むことができる。

繰り返し分類プロセスにおいて、分類の信頼度の値が、クラシファイアの信頼度の閾値よりも大きい質問の分類結果が採用された。信頼度の値が閾値以下である質問の各々について、質問は、検索エンジンによって再び処理され、２番目の結果が採用された。

訓練データの収束状態が、グループの各々の繰り返し分類の後に合意の割合を調べることによって測定された。

収束状態は、クラシファイアの信頼度の閾値が０．６および０．８に変化することによって測定された。

図１２を参照すると、グラフ（８０１）は、クラシファイアの信頼度の閾値＝０．６である場合の結果を示す。グラフ（８０１）は、６回目の反復の後にマッチングの程度の割合の増大が観察されなかったことを示す。グラフ（８０２）は、クラシファイアの信頼度の閾値＝０．８である場合の結果を示す。グラフ（８０２）は、すべての反復においてマッチングの程度の割合の増大が観察されたことを示す。

図１３を参照すると、クラシファイアの信頼度の閾値が０．６である場合の、図１２に示す実施例によって得られる訓練データの分布を示す。図１３に示すように、クラスに対する質問のクラスタ化を達成することができる。しかしながら、質問には、特定の回答の各々と関連付けられる文書ＩＤ（クラス・ラベルに対応する）に大きく局在化されるという傾向がある。文書ＩＤ６、１２および１８に対応する回答は、それらの回答が多くの質問の２番目の検索結果として見出されているような、検索処理によって見出される可能性が高い。クラシファイアによる分類の結果の信頼度が低い場合、質問は、検索エンジンによって処理される。グラフ（８１１、８１２、８１３および８１４）に見られるように、低い信頼値を多数回もたらす質問は、最終的に、文書ＩＤ６、１２および１８と関連付けられるクラスに集積されている。

図１４および図１５は、本発明の一実施形態による、訓練データを更新する実施例の態様を示す。図１４および図１５において使用されるプロセスは、図１２および図１３のものに対して、以下の修正を含んでいる。

１つのグループの質問の繰り返し分類において、質問が、他のグループのクラシファイアによって、１つのグループにおいて質問が属するクラスに分類されず、かつ、信頼度が２回以上、閾値以下になっている場合、質問は除外され、目下のクラスから、「他のクラス」、または、回答と関連付けられる識別子と共通の識別子を有するクラスの外側に移動する。

いずれのクラスにも分類されない質問は、クラシファイアに他のクラスを追加することによって抽出することができると仮定される。

図１４を参照すると、グラフ（９０１）は、クラシファイアの信頼度の閾値＝０．６である場合の結果を示す。グラフ（９０１）は、反復の前および後にマッチングの程度の割合の著しい差が観察されなかったことを示す。グラフ（９０２）は、クラシファイアの信頼度の閾値＝０．８である場合の結果を示す。グラフ（９０２）は、訓練データの反復プロセスが早期に収束することを示す。マッチングの程度の割合は、９回目の反復において９５％を超えた。

図１５を参照すると、クラシファイアの信頼度の閾値が０．６である場合の、図１４に示す別の実施例によって得られる訓練データの分布を示す。図１５に示すように、グラフ９１１、９１２、９１３、および９１４の各々は、局在化が大幅に回避されたことを示す。

得られた結果によれば、図１２、図１３、図１４および図１５の例によって示されるように、以下が確認された。

検索エンジン（質問と回答との間のマッチングの程度）およびクラシファイア（質問の間のマッチングの程度）を相補的に利用することによって、質問の自動クラスタ化を可能にすることができる。

マッチングの程度は、反復を繰り返すことによってより良好にすることができ、マッチングの程度は最終的に一定の値に集束し得るという傾向があり得る。他方、質問のクラスタ化結果は、初期クラスタの作成において実行される検索処理の正確度に依存することが分かっている。

図１２、図１３、図１４および図１５において説明されている例によって得られる結果によれば、以下の方式が、本方法の実施形態を実施するのに有効である。

分類信頼値が低く、検索処理が再び実行されるとき、検索処理の結果が利用される様態における多くの自由度がある。

繰り返し分類プロセスにおいて、それら自体のクラスに２回以上分類されず、分類の信頼度が閾値以下である質問は「他のクラス」に移動され、結果、分類結果が改善される。

有利には、本開示による繰り返し分類プロセスは、自然言語理解モデルを訓練するのに使用される訓練データの精度を、的を絞って改善することを可能にすることによって、使用中に自然言語理解モデルの解釈エラーを効率的に低減するために適用することができる。例えば、繰り返し分類プロセスは、本発明の実施形態によって提供される、質問（および回答）の自動クラスタ化効果の結果として、訓練データを意味的に正確に組み立てるタスクを容易にするために、主題専門家によって系統立てて適用することができる。さらに、本開示による繰り返し分類プロセスは、モデルが、訓練に使用される訓練データをより良好に活用することを可能にする。その目的のために、本発明の実施形態は、訓練データを効率的かつ効果的に使用して、自然言語理解モデルを精密かつ正確に訓練するという自然言語処理中心の問題に対処することによって、認知コンピューティング、より詳細には、自然言語処理の技術分野を改善することができる。

本発明は、任意の可能な技術的詳細レベルの統合における、システム、方法、またはコンピュータ・プログラム製品あるいはその組合せであってもよい。コンピュータ・プログラム製品は、プロセッサに、本発明の諸態様を実行させるためのコンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体を含み得る。

コンピュータ可読記憶媒体は、命令実行デバイスによって使用するための命令を保持および記憶することができる有形デバイスとすることができる。コンピュータ可読記憶媒体は例えば、限定ではないが、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または上記の任意の適切な組合せであってもよい。コンピュータ可読記憶馬体のより特定的な例の包括的でないリストは、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリス・ティック、フロッピー（Ｒ）ディスク、パンチ・カード、または、命令を記録されている溝の中の隆起構造のような機械的に符号化されているデバイス、および、上記の任意の適切な組合せを含む。コンピュータ可読記憶媒体は、本明細書において使用されるものとしては、無線波、または、他の自由に伝播する電磁波、導波路もしくは他の伝送媒体（例えば、光ファイバケーブルを通過する光パルス）を通じて伝播する電磁波、または、ワイヤを通じて伝送される電気信号のような、過渡的信号自体として解釈されるべきではない。

本明細書において記載されているコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体からそれぞれのコンピューティング／処理デバイスへ、または、ネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワークもしくはワイヤレス・ネットワークまたはその両方を介して外部コンピュータもしくは外部記憶デバイスへダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス送信、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各コンピューティング／処理デバイス内のネットワークアダプタカードまたはネットワークインターフェースが、ネットワークからコンピュータ可読プログラム命令を受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体内に記憶するために、コンピュータ可読プログラム命令を転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または、Ｊａｖａ（Ｒ）、Ｐｙｔｈｏｎ（Ｒ）、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのようなオブジェクト指向プログラミング言語、および、「Ｃ」プログラミング言語もしくは同様のプログラミング言語のような従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組合せで書かれているソース・コードもしくはオブジェクト・コードのいずれかであってもよい。コンピュータ可読プログラム命令は、その全体をユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして、部分的にユーザのコンピュータ上でかつ部分的に遠隔コンピュータ上で、またはその全体を遠隔コンピュータもしくはサーバ上で実行することができる。後者のシナリオにおいて、遠隔コンピュータが、ユーザのローカル・エリア・ネットワーク（ＬＡＮ）もしくは広域ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続されてもよく、または、接続は、外部コンピュータに対して（例えば、インターネット・サービス・プロバイダを使用してインターネットを通じて）行われてもよい。いくつかの実施形態において、例えば、プログラム可能論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラム可能論理アレイ（ＰＬＡ）を含む電子回路が、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路をカスタマイズすることによって、コンピュータ可読プログラム命令を実行することができる。

本発明の態様は、本明細書において、本発明の実施形態による、方法、装置（システム）およびコンピュータ・プログラム製品のフローチャートまたはブロック図あるいはその両方を参照して説明されている。フローチャートまたはブロック図あるいはその両方の各ブロック、および、フローチャートまたはブロック図あるいはその両方の中の複数のブロックの組合せはそれぞれ、コンピュータ可読プログラム命令によって実施されることができることは理解されよう。

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプラグラム可能データ処理装置のプロセッサを介して実行する命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作を実施するための手段を作り出すように、汎用コンピュータ、専用コンピュータ、または他のプログラム可能データ処理装置のプロセッサに提供されてマシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令はまた、命令が記憶されているコンピュータ可読記憶媒体が、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて指定される機能／動作の態様を実施する命令を含む製造品を含むように、コンピュータ可読記憶媒体内に記憶され、コンピュータ、プログラム可能データ処理装置、および／または他のデバイスに特定の様式で機能するように指示することができるものであってもよい。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行する命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックにおいて指定される機能／動作を実施するように、コンピュータで実施されるプロセスを生成すべく、コンピュータ、他のプログラム可能データ処理装置、または他のデバイス上にロードされて、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを実行させるものであってもよい。

図面内のフローチャートおよびブロック図は本発明の様々な実施形態によるシステム、方法およびコンピュータ・プログラム製品の可能な実施態様のアーキテクチャ、機能、および動作を例示する。これに関連して、流れ図およびブロック図内の各ブロックは、指定の論理機能を実施するための１つまたは複数の実行可能命令を含む、モジュール、セグメント、または命令の一部分を表すことができる。いくつかの代替的な実施態様において、ブロックに記載されている機能は、図面に記載されている順序と一致せずに行われてもよい。例えば、連続して示されている２つのブロックは実際には、関与する機能に応じて、実質的に同時に実行されてもよく、または、これらのブロックは、時として逆順に実行されてもよい。また、ブロック図または流れ図あるいはその両方の図解の各ブロック、およびブロック図または流れ図あるいはその両方の図解のブロックの組合せは、指定の機能もしくは動作を実施するか、または、専用ハードウェアとコンピュータ命令との組合せを実行する専用ハードウェアベース・システムによって実施することができることも留意されよう。

本開示は、クラウド・コンピューティングに関する詳細な説明を含むが、本明細書において記載されている教示の実施態様は、クラウド・コンピューティング環境に限定されないことは理解されたい。むしろ、本発明の実施形態は、現在知られているかまたは後に開発される任意の他のタイプのコンピューティング環境とともに実施されることが可能である。

クラウド・コンピューティングは、最小限の管理労力またはサービスの提供者との対話によって迅速に提供しリリースすることができる、設定可能なコンピューティング・リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想機械、およびサービス）の共有されるプールに対する簡便なオンデマンドのネットワーク・アクセスを可能にするためのサービス配信のモデルである。このクラウド・モデルは、少なくとも５つの特性、少なくとも３つのサービス・モデル、および少なくとも４つの展開モデルを含むことができる。

特性は以下のとおりである。
オンデマンド・セルフサービス：クラウド顧客は、人間がサービスの提供者と対話することなく、必要に応じて自動的に、サーバ時間およびネットワーク・ストレージのようなコンピューティング能力を一方的に供給することができる。
ブロード・ネットワーク・アクセス：機能がネットワークを介して利用可能であり、異種のシンまたはシック・クライアント・プラットフォーム（例えば、携帯電話、ラップトップ、およびＰＤＡ）による使用を促進する標準的なメカニズムを通じてアクセスされる。
リソース・プーリング：提供者のコンピューティング・リソースが、種々の物理的および仮想リソースが需要に従って動的に割り当てられ、再割り当てされる、マルチテナント・モデルを使用して、複数の消費者にサービスするためにプールされる。消費者が一般的に、提供されるリソースの正確なロケーションに対する制御または知識を有しないが、より上位の抽象化（例えば、国家、州、またはデータセンター）におけるロケーションを指定することが可能であり得るという点において、位置独立の感覚がある。
スピーディな拡張性：機能を、場合によっては自動的に、迅速かつ適応的に供給して、迅速にスケール・アウトし、迅速にリリースして、迅速にスケール・インすることができる。消費者にとって、供給するために利用可能な機能は多くの場合、無制限であるように見え、いつでも任意の量を購入することができる。
サービスが計測可能であること：クラウド・システムは、サービスのタイプにとって適切な何らかのレベルの抽象化（例えば、ストレージ、処理、帯域幅、およびアクティブなユーザ・アカウント）における計量機能を活用することによって、リソース使用を自動的に制御および最適化する。リソース使用は、監視、制御、および報告することができ、利用されるサービスの提供者と消費者の両方にとっても透明性を提供する。

サービス・モデルは以下のとおりである。
サービス型ソフトウェア（ＳａａＳ）：消費者に提供される機能は、クラウド・インフラストラクチャ上で作動する提供者のアプリケーションを使用することである。アプリケーションは、ウェブ・ブラウザ（例えば、ウェブベースの電子メール）のようなシン・クライアント・インターフェースを通じて様々なクライアント・デバイスからアクセス可能である。消費者は、場合によっては制限されたユーザ特有のアプリケーション構成設定を除いて、ネットワーク、サーバ、オペレーティング・システム、ストレージ、またはさらには個々のアプリケーション機能を含む、基礎となるクラウド・インフラストラクチャを管理せず、制御しない。
サービス型プラットフォーム（ＰａａＳ）：消費者に提供される機能は、プログラミング言語および提供者によってサポートされるツールを使用して作成された、消費者が作成または取得しているアプリケーションを、クラウド・インフラストラクチャ上に展開することである。消費者は、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含む、基礎となるクラウド・インフラストラクチャを管理せず、制御しないが、展開されているアプリケーション、および、場合によっては、環境設定をホストするアプリケーションを制御する。
サービス型インフラストラクチャ（ＩａａＳ）：消費者に提供される機能は、消費者が、オペレーティング・システムおよびアプリケーションを含むことができる、任意のソフトウェアを展開および作動させることが可能である場合に、処理、ストレージ、ネットワーク、および他の基礎的なコンピューティング・リソースを供給することである。消費者は、基礎となるクラウド・インフラストラクチャを管理せず、制御しないが、ペレーティング・システム、ストレージ、展開されているアプリケーションを制御し、場合によっては、ネットワーク接続構成要素（例えば、ホスト・ファイアウォール）の選択を制限付きで制御する。

展開モデルは以下のとおりである。
プライベート・クラウド：クラウド・インフラストラクチャは、組織のためにのみ運用される。当該インフラストラクチャは、組織またはサード・パーティによって管理され得、施設内または施設外に存在し得る。
コミュニティ・クラウド：クラウド・インフラストラクチャは、いくつかの組織によって共有され、関心事（例えば、任務、セキュリティ要件、ポリシ、およびコンプライアンス考慮事項）を共有している特定のコミュニティをサポートする。当該インフラストラクチャは、組織またはサード・パーティによって管理され得、施設内または施設外に存在し得る。
公衆クラウド：クラウド・インフラストラクチャは、一般人または大規模な業界団体にとって利用可能にされ、クラウド・サービスを販売する組織によって所有される。
ハイブリッド・クラウド：クラウド・インフラストラクチャは、固有の実体を保持するが、データおよびアプリケーションの移植性（例えば、クラウド間の負荷平衡のためのクラウド・バースティング）を有効化する標準化されたまたは専有の技術によってともに拘束される２つ以上のクラウド（プライベート、コミュニティ、または公衆）から成る構成体である。

クラウド・コンピューティング環境は、処理状態を把握しないこと、コンピュータ使用が少ないこと、モジュール方式であること、およびセマンティック相互運用性であることに焦点を当てた、サービス指向のものである。クラウド・コンピューティングの中核には、相互接続されたノードのネットワークを含むインフラストラクチャがある。

ここで図１６を参照すると、例示的なクラウド・コンピューティング環境５０が示されている。図示されているように、クラウド・コンピューティング環境５０は、例えば、個人情報端末（ＰＤＡ）もしくは携帯電話５４Ａ、デスクトップ・コンピュータ５４Ｂ、ラップトップ・コンピュータ５４Ｃ、または自動車コンピュータ・システムあるいはその組合せのような、クラウド消費者によって使用されるローカル・コンピューティング・デバイスが通信することができる１つまたは複数のクラウド・コンピューティング・ノード１０を含む。ノード１０は、互いに通信することができる。それらのノードは、上記で説明したようなプライベート、コミュニティ、公衆、またはハイブリッド・クラウド、またはその組合せのような、１つまたは複数のネットワークに物理的または仮想的にグループ化され得る（図示せず）。これによって、クラウド・コンピューティング環境５０は、インフラストラクチャ、プラットフォームまたはソフトウェアあるいはその組合せをサービスとして提供することが可能になり、そのため、クラウド消費者は、ローカル・コンピューティング・デバイス上にリソースを維持する必要がない。図１６に示すコンピューティング・デバイス５４Ａ～Ｎのタイプは例示的であるようにのみ意図されており、コンピューティング・ノード１０およびクラウド・コンピューティング環境５０は、（例えば、ウェブ・ブラウザを使用して）任意のタイプのネットワークまたはネットワーク・アドレス指定可能接続あるいはその両方を介して任意のタイプのコンピュータ化デバイスと通信することができる。

ここで図１７を参照すると、クラウド・コンピューティング環境５０（図１６）によって提供される機能抽象化レイヤのセットが示されている。図１７に示す構成要素、レイヤ、および機能は、例示的であるようにのみ意図されており、本発明の実施形態はこれに限定されないことは、事前に理解されたい。図示されているように、以下のレイヤおよび対応する機能が提供される。

ハードウェアおよびソフトウェア・レイヤ６０は、ハードウェアおよびソフトウェア構成要素を含む。ハードウェア構成要素の例は、メインフレーム６１、ＲＩＳＣ（縮小命令セット・コンピュータ）アーキテクチャベースのサーバ６２、サーバ６３、ブレード・サーバ６４、記憶デバイス６５、ならびにネットワークおよびネットワーク接続構成要素６６を含む。特定の実施形態において、ソフトウェア構成要素は、ネットワーク・アプリケーション・サーバ・ソフトウェア６７およびデータベース・ソフトウェア６８を含む。

仮想化レイヤ７０が、仮想エンティティの以下の例、すなわち、仮想サーバ７１、仮想ストレージ７２、仮想私設ネットワークを含む仮想ネットワーク７３、仮想アプリケーションおよびペレーティング・システム７４、ならびに仮想クライアント７５を提供することができる抽象化レイヤを提供する。

一例において、管理レイヤ８０が、後述する機能を提供することができる。リソース・プロビジョニング８１が、コンピューティング・リソース、および、クラウド・コンピューティング環境内でタスクを実施するために利用される他のリソースの動的な調達を可能にする。計量および価格決定８２が、クラウド・コンピューティング環境内でリソースが利用されるときのコスト追跡、および、これらのリソースの消費に対する課金または請求を可能にする。一例において、これらのリソースは、アプリケーション・ソフトウェア使用許諾を含んでもよい。セキュリティが、クラウド消費者およびタスクの識別検証、ならびに、データおよび他のリソースの保護を可能にする。ユーザ・ポータル８３が、消費者およびシステム管理者がクラウド・コンピューティング環境にアクセスすることを可能にする。サービス・レベル管理８４が、必要なサービス・レベルが満たされるように、クラウド・コンピューティング・リソース配分および管理を可能にする。サービス品質保証契約（ＳＬＡ）計画および履行８５は、ＳＬＡにより将来必要とされることが予測されるクラウド・コンピューティング・リソースの事前手配および調達を可能にする。

作業負荷レイヤ９０は、クラウド・コンピューティング環境が利用され得る機能の例を与える。このレイヤから提供される可能性がある作業負荷および機能の例は、地図およびナビゲーション９１、ソフトウェア開発およびライフサイクル管理９２、仮想教室の教育の配信９３、データ分析処理９４、トランザクション処理９５、および訓練データ更新９６を含む。

Claims (15)

1. 自然言語分類器において使用される訓練データを更新するためのコンピュータ実施方法であって、
   前記訓練データをメモリに読み出すことであり、前記訓練データは第１の質問グループおよび第２の質問グループを含み、各質問は、回答と関連付けられる、前記読み出すことと、
   前記第１の質問グループおよび前記第２の質問グループの各質問について、質問に対する前記回答を含む回答クラスを決定することであり、前記回答クラスは、前記質問の各々と関連付けられているクラス・ラベルを有し、前記質問の各々は、それぞれの回答クラスに分類される、前記決定することと、
   前記第１の質問グループおよび前記第２の質問グループ、ならびに、それぞれ第１のクラシファイアおよび第２のクラシファイアにおいて使用するための対応する回答クラスを含む、第１の訓練データおよび第２の訓練データを生成することと、
   前記第２のクラシファイアによって前記第１の質問グループの各質問を分類し、前記第１のクラシファイアによって前記第２の質問グループの各質問を分類することであり、各質問は、対応する回答クラスに分類され、前記第１のクラシファイアおよび前記第２のクラシファイアによる分類は各々、それぞれの分類結果を生成する、前記分類することと、
   前記分類結果に基づいて前記第１の訓練データおよび前記第２の訓練データのうちの１つまたは複数を更新することと、
   それぞれ、前記第１のクラシファイアおよび前記第２のクラシファイアにおいて使用するための、更新された第１の訓練データおよび第２の訓練データを生成することと
   を含む、コンピュータ実施方法。
2. それぞれ、前記更新された第１の訓練データおよび第２の訓練データに基づいて前記第１のクラシファイアおよび前記第２のクラシファイアのうちの一方を更新することをさらに含む、請求項１に記載のコンピュータ実施方法。
3. 前記分類すること、前記第１の訓練データおよび前記第２の訓練データを前記更新すること、ならびに、前記第１のクラシファイアおよび前記第２のクラシファイアのうちの一方を前記更新することが、マッチングの程度が所定の閾値を超えるまで反復され、前記マッチングの程度は、前記分類の前と後の両方において、前記第１の質問グループおよび前記第２の質問グループのうちの一方の各質問に関して、前記回答を含む前記回答クラスについて決定される、請求項２に記載のコンピュータ実施方法。
4. 前記分類すること、前記第１の訓練データおよび前記第２の訓練データを前記更新すること、ならびに、前記第１のクラシファイアおよび前記第２のクラシファイアのうちの一方を前記更新することが、連続するマッチングの程度の間の差が所定の閾値を超えなくなるまで反復され、前記マッチングの程度は、前記分類の前と後の両方において、前記第１の質問グループおよび前記第２の質問グループのうちの一方の各質問に関して、前記回答を含む前記回答クラスについて決定される、請求項２に記載のコンピュータ実施方法。
5. 前記分類すること、前記第１の訓練データおよび前記第２の訓練データを前記更新すること、ならびに、前記第１のクラシファイアおよび前記第２のクラシファイアのうちの一方を前記更新することが、マッチングの程度の移動平均値が所定の閾値を超えるまで反復され、前記マッチングの程度は、前記分類の前と後の両方において、前記第１の質問グループおよび前記第２の質問グループのうちの一方の各質問に関して、前記回答を含む前記回答クラスについて決定される、請求項２に記載のコンピュータ実施方法。
6. 前記分類結果が、それぞれ前記第１のクラシファイアおよび前記第２のクラシファイアによる対応する回答クラスに関する各質問の前記分類に対応する信頼度値を含み、前記第１の訓練データおよび前記第２の訓練データのうちの１つまたは複数を更新することは、信頼度値が所定の閾値を超えるときに行われる、請求項１に記載のコンピュータ実施方法。
7. 前記分類結果が、それぞれ前記第１のクラシファイアおよび前記第２のクラシファイアによる対応する回答クラスに関する各質問の前記分類に対応する信頼度値を含み、前記第１の訓練データおよび前記第２の訓練データのうちの１つまたは複数を更新することは、
   対応する信頼度値が所定の閾値を超える場合、質問を１つの回答クラスから別の回答クラスへと再分類することを含む、請求項１に記載のコンピュータ実施方法。
8. それぞれ、前記更新された第１の訓練データおよび第２の訓練データのうちの一方に基づいて前記第１のクラシファイアおよび前記第２のクラシファイアのうちの１つまたは複数を更新することをさらに含む、請求項１に記載のコンピュータ実施方法。
9. 質問グループを前記第１の質問グループおよび前記第２の質問グループに分割することと、
   各質問を前記回答と関連付けることと
   をさらに含む、請求項１に記載のコンピュータ実施方法。
10. 前記分類結果が、それぞれ前記第１のクラシファイアおよび前記第２のクラシファイアによる対応する回答クラスに関する各質問の前記分類に対応する信頼度値を含み、各質問を前記回答と前記関連付けることは、
    検索エンジンおよび回答コーパスのうちの１つまたは複数を使用することを含む、請求項９に記載のコンピュータ実施方法。
11. 自然言語分類器において使用される訓練データを更新するためのコンピュータ・システムであって、
    １つまたは複数のコンピュータ・プロセッサと、１つまたは複数のコンピュータ可読記憶媒体と、前記１つまたは複数のコンピュータ・プロセッサのうちの少なくとも１つによって実行するための、前記コンピュータ可読記憶媒体のうちの１つまたは複数に記憶されているプログラム命令とを備え、前記プログラム命令は、前記１つまたは複数のコンピュータ・プロセッサのうちの前記少なくとも１つによって実行されると、前記コンピュータ・システムに、訓練データを更新するための方法を実施させ、前記方法は、
    前記訓練データをメモリに読み出すことであり、前記訓練データは第１の質問グループおよび第２の質問グループを含み、各質問は、回答と関連付けられる、前記読み出すことと、
    前記第１の質問グループおよび前記第２の質問グループの各質問について、質問に対する前記回答を含む回答クラスを決定することであり、前記回答クラスは、前記質問の各々と関連付けられているクラス・ラベルを有し、前記質問の各々は、それぞれの回答クラスに分類される、前記決定することと、
    前記第１の質問グループおよび前記第２の質問グループ、ならびに、それぞれ第１のクラシファイアおよび第２のクラシファイアにおいて使用するための対応する回答クラスを含む、第１の訓練データおよび第２の訓練データを生成することと、
    前記第２のクラシファイアによって前記第１の質問グループの各質問を分類し、前記第１のクラシファイアによって前記第２の質問グループの各質問を分類することであり、各質問は、対応する回答クラスに分類され、前記第１のクラシファイアおよび前記第２のクラシファイアによる分類は各々、それぞれの分類結果を生成する、前記分類することと、
    前記分類結果に基づいて前記第１の訓練データおよび前記第２の訓練データのうちの１つまたは複数を更新することと、
    それぞれ、前記第１のクラシファイアおよび前記第２のクラシファイアにおいて使用するための、更新された第１の訓練データおよび第２の訓練データを生成することと
    を含む、コンピュータ・システム。
12. 前記方法が、
    それぞれ、前記更新された第１の訓練データおよび第２の訓練データに基づいて前記第１のクラシファイアおよび前記第２のクラシファイアのうちの一方を更新することをさらに含む、請求項１１に記載のコンピュータ・システム。
13. コンピュータ・プログラムであって、
    １つまたは複数のコンピュータ可読記憶デバイスと、コンピュータ・システムの少なくとも１つまたは複数のコンピュータ・プロセッサによって実行するための、前記１つまたは複数のコンピュータ可読記憶デバイスのうちの少なくとも１つに記憶されているプログラム命令とを備え、前記プログラム命令は、前記１つまたは複数のコンピュータ・プロセッサのうちの前記少なくとも１つによって実行されると、前記コンピュータ・システムに、訓練データを更新するための方法を実施させ、前記方法は、
    前記訓練データをメモリに読み出すことであり、前記訓練データは第１の質問グループおよび第２の質問グループを含み、各質問は、回答と関連付けられる、前記読み出すことと、
    前記第１の質問グループおよび前記第２の質問グループの各質問について、質問に対する前記回答を含む回答クラスを決定することであり、前記回答クラスは、前記質問の各々と関連付けられているクラス・ラベルを有し、前記質問の各々は、それぞれの回答クラスに分類される、前記決定することと、
    前記第１の質問グループおよび前記第２の質問グループ、ならびに、それぞれ第１のクラシファイアおよび第２のクラシファイアにおいて使用するための対応する回答クラスを含む、第１の訓練データおよび第２の訓練データを生成することと、
    前記第２のクラシファイアによって前記第１の質問グループの各質問を分類し、前記第１のクラシファイアによって前記第２の質問グループの各質問を分類することであり、各質問は、対応する回答クラスに分類され、前記第１のクラシファイアおよび前記第２のクラシファイアによる分類は各々、それぞれの分類結果を生成する、前記分類することと、
    前記分類結果に基づいて前記第１の訓練データおよび前記第２の訓練データのうちの１つまたは複数を更新することと、
    それぞれ、前記第１のクラシファイアおよび前記第２のクラシファイアにおいて使用するための、更新された第１の訓練データおよび第２の訓練データを生成することと
    を含む、コンピュータ・プログラム。
14. 前記方法が、
    それぞれ、前記更新された第１の訓練データおよび第２の訓練データに基づいて前記第１のクラシファイアおよび前記第２のクラシファイアのうちの一方を更新することをさらに含む、請求項１３に記載のコンピュータ・プログラム。
15. 請求項１４に記載の前記コンピュータ・プログラムを、コンピュータ可読記録媒体に記録した、記録媒体。

Images