JP2023518220A

JP2023518220A - 多様なテキストを自動的に生成する方法

Info

Publication number: JP2023518220A
Application number: JP2022555159A
Authority: JP
Inventors: スルタン、エム・ディー、アラファト; カステリ、ヴィットーリオ; チャンデル、シュバム; フェルナンデス・アストゥディーヨ、ラモン
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2020-03-20
Filing date: 2021-03-08
Publication date: 2023-04-28
Also published as: GB2609337A; GB202215281D0; WO2021186286A1; AU2021236965A1; AU2021236965B2; KR20220127332A; CN115298659A; US20210295172A1; US11741371B2

Abstract

実施形態は、合成データおよびグラウンド・トゥルース・データを組み込み、合成データを生成する際の多様性および精度を促進する、人工知能（ＡＩ）コンピュータ・プラットフォームに関する。合成質問は、意味的に関連するグラウンド・トゥルース・パッセージおよび回答データに応答して質問ジェネレータによって生成される。生成された各質問は、意味的に関連するグラウンド・トゥルース・パッセージと共に回答ジェネレータに提示される。各合成質問は、同一のグランド・トゥルース・パッセージについて生成された以前の合成質問と回答データとから、その多様性に関して評価される。各合成質問は、回答ジェネレータによって生成された回答の精度に関しても評価される。各合成質問の精度と多様性との両方を把握する報酬関数を活用して、質問ジェネレータを選択的に修正し、選択的修正は、テキストの多様性を増加させ、生成された合成質問の精度を維持することに向けられている。

Description

本実施形態は、受信した入力パッセージおよび入力回答に対応する多様なテキストを自動的に生成するための人工知能プラットフォームおよび最適化方法に関する。より具体的には、本実施形態は、生成されたテキストを品質、具体的には多様性および精度に関して評価し、生成されたテキストの多様性および品質特性をサポートする強化学習アルゴリズムの１つまたは複数のパラメータを選択的に調整することに向けられている。

本実施形態は、コンピュータ・システム、コンピュータ・プログラム製品、および強化学習のための方法を含む。

一態様では、コンピュータ・システムは、人工知能（Ａｌ）プラットフォームおよび対応するＡＩツールと共に使用するためのプロセッサおよびメモリを備える。プロセッサはメモリに動作可能に結合され、ＡＩプラットフォームと通信する。ＡＩプラットフォーム・ツールは、質問マネージャと、回答マネージャと、評価マネージャと、ディレクタとを含む。質問マネージャは、質問ジェネレータを活用して、グラウンド・トゥルース・パッセージおよびグラウンド・トゥルース回答に対応する第１の合成質問を生成するように機能する。回答マネージャは、訓練されたニューラル・ネットワークに合成質問を提示し、グラウンド・トゥルース・パッセージから第１の回答を得るように機能する。第１の回答は、第１の合成質問とグラウンド・トゥルース・パッセージとに意味的に関連している。評価マネージャは、第１の回答に関する第１の合成質問を自動的に評価するように機能し、評価は、第１の合成質問の多様性および精度を把握する報酬関数を組み込んでいる。ディレクタは、評価に応答する質問ジェネレータを選択的に修正する強化学習を採用するように機能し、ここで、修正された質問ジェネレータは、修正前よりもテキストの多様性が増加した１つまたは複数の合成質問を生じる。

別の態様では、コンピュータ・プログラム・デバイスが、強化学習をサポートするために提供される。本コンピュータ・プログラム製品は、それを以て具現化されたプログラム・コードを有するコンピュータ可読記憶媒体を含む。プログラム・コードは、合成質問を生成し、さらに多様なテキストの合成質問および正確な回答を産生するように、プロセッサによって実行可能である。プログラム・コードは、質問ジェネレータを活用して、グラウンド・トゥルース・パッセージおよびグラウンド・トゥルース回答に対応する第１の合成質問を生成する。プログラム・コードは、訓練されたニューラル・ネットワークに合成質問を提出し、第１の回答が第１の合成質問およびグラウンド・トゥルース・パッセージに意味的に関連している状態で、グラウンド・トゥルース・パッセージから第１の回答を得る。第１の回答に関する第１の合成質問を自動的に評価するためのプログラム・コードが提供され、この評価は、第１の合成質問の多様性および精度を把握する報酬関数を組み込んでいる。プログラム・コードは、評価に応答する質問ジェネレータを選択的に修正する強化学習を採用し、ここで、修正された質問ジェネレータは、修正前よりもテキストの多様性が増加した１つまたは複数の合成質問を生じる。

さらに別の態様では、強化学習をサポートするための方法が提供される。グラウンド・トゥルース・パッセージおよびグラウンド・トゥルース回答に対応する第１の合成質問が、質問ジェネレータから生成される。合成質問は、訓練されたニューラル・ネットワークに提示され、ニューラル・ネットワークから、グラウンド・トゥルース・パッセージからの第１の回答が得られる。第１の回答は、第１の合成質問とグラウンド・トゥルース・パッセージとに意味的に関連している。第１の合成質問は、第１の回答に関して自動的に評価される。この評価は、第１の合成質問の多様性および精度を把握する報酬関数を組み込んでいる。強化学習は、評価に基づいて質問ジェネレータを選択的に修正するために利用され、修正された質問ジェネレータは、修正前よりもテキストの多様性の増加した１つまたは複数の合成質問を生じる。

これらおよび他の特徴および利点は、添付の図面と関連して行われる例示的な実施形態の以下の詳細な説明から明らかになるものとなる。

本明細書で参照する図面は、本明細書の一部を形成する。図面に示される特徴は、他に明示的に示されない限り、いくつかの実施形態を例示するに過ぎず、全ての実施形態ではないことを意味する。

コンピュータ・システムを示すシステム図である. コンピューティング・システムおよびそれらの関連するアプリケーション・プログラム・インターフェースからのツールを示すブロック図である多様で正確な質問を生成することをサポートし可能にする、強化学習のアプリケーションを示すフローチャートである。図１～図３を参照して上述したシステムおよびプロセスを実装する、クラウドベースのサポート・システムのコンピュータ・システム／サーバの一例を示すブロック図である。クラウドコンピュータ環境を示すブロック図である。クラウド・コンピューティング環境によって提供される機能抽象モデル層のセットを示すブロック図である。

本実施形態の構成要素は、本明細書の図面に概ね記載され図示されているように、広範囲の異なる構成で配置され設計され得ることが容易に理解されるであろう。このように、装置、システム、方法、およびコンピュータの実施形態の以下の詳細な説明は、特許請求の範囲に記載されるような実施形態の範囲を限定することを意図するものではなく、選択された実施形態を表しているに過ぎない。

本明細書全体を通して「選択された実施形態」、「一実施形態」、または「実施形態」とは、実施形態に関連して記載された具体的な特徴、構造、または特性が、少なくとも一実施形態に含まれることを意味する。したがって、本明細書全体の様々な場所における「選択された実施形態」、「一実施形態では」、または「実施形態では」という語句の出現は、必ずしも同じ実施形態を参照するわけではない。様々な実施形態が互いに組み合わされてもよい。

図示された実施形態は、図面を参照することによって最もよく理解されるものとなる。以下の記載は、例としてのみ意図され、実施形態に一致するデバイス、システム、およびプロセスの特定の選択された実施形態を例示するに過ぎない。

人工知能（ＡＩ）は、人間に関するコンピュータおよびコンピュータの挙動に向けられたコンピュータ科学の分野に関する。ＡＩとは、マシンが情報に基づいて、所与のトピックにおける成功の機会を最大にするような決定を行うことができる際の知能を指す。より具体的には、ＡＩは、データ・セットから学習して、問題を解決し妥当な勧告を提供することができる。例えば、人工知能コンピュータ・システムの分野では、自然言語システム（例えば、ＩＢＭワトソン（登録商標）人工知能コンピュータ・システムまたは他の自然言語質問回答システム）は、システム取得された知識に基づいて自然言語を処理する。自然言語を処理するために、システムは、データベースまたは知識のコーパスから導出されたデータを用いて訓練され得るが、結果として生じる結果は、様々な理由で正しくなかったり不正確であったりすることがある。

人工知能（ＡＩ）のサブセットである機械学習（ＭＬ）は、アルゴリズムを利用して、データから学習し、このデータに基づいて予見を作成する。より具体的には、ＭＬは、明示的にプログラムされていないタスクを実行することによって学習挙動を示すことができるニューラル・ネットワークの作成を介するＡＩのアプリケーションである。ＭＬは、機械学習モデルを構築し、機械学習アルゴリズムを訓練するために分析、フォーマット化、および調整されるデータを必要とする。ＭＬアルゴリズムは、データ上で訓練された場合にＭＬモデルを生成するというよりもコンピュータ化された手順であることが当業者には理解される。ＭＬアルゴリズムを選択することは、ＭＬをうまく適用するのに必須である。ＭＬの例としては、以下に限定されないが、回帰アルゴリズム、決定樹、インスタンスベースのアルゴリズム、およびクラスタリング・アルゴリズムが挙げられる。データが準備され、アルゴリズムが訓練されると、ＭＬモデルは、データについての決定または予測を行うことができる。提供されるデータの量が大きければ大きいほど、モデルは学習し、その予測の精度を向上させる。

ＭＬモデルは、教師あり機械学習、教師なし機械学習、強化機械学習、および深層学習に分類される。教師あり学習アルゴリズムは、既存の分類を有するデータ・セットのマッピング関数を学習し、上記既存の分類では、教師なし学習アルゴリズムは、データ内のいくつかの隠しフィーチャに基づいてラベル化されていないデータ・セットを分類することができる。強化学習は、その環境の反復探索を介して不確実な環境で意思決定を行うためのポリシーを学習することができる。深層学習は、連続層にニューラル・ネットワークを組み込んで、反復的な方法でデータから学習する。ニューラル・ネットワークは、神経系が動作する方法のモデルである。基本ユニットはニューロンと呼ばれ、典型的には層に編成される。ニューラル・ネットワークは、ニューロンの抽象バージョンに類似する多数の相互接続された処理ユニットをシミュレートすることによって動作する。ニューラル・ネットワークには、典型的には３つの部分があり、入力フィールドを表すユニットを有する入力層と、１つまたは複数の隠れ層と、ターゲット・フィールドを表す１つまたは複数のユニットを有する出力層とを含む。これらのユニットは、様々な接続強度または重みで接続されている。入力データは第１の層に与えられ、値は各ニューロンから次の層の各ニューロンに伝播される。最終的に、結果が出力層から送り出される。深層学習複合ニューラル・ネットワークは、人間の脳がどのように動作するかをエミュレートするように設計されているため、コンピュータは、不十分に定義された抽象化および問題をサポートするように訓練され得る。ニューラル・ネットワークおよび深層学習は、しばしば、画像認識、発話、およびコンピュータ・ビジョン・アプリケーションにおいて使用される。

言語モデルは、句または部分句などの単語のシーケンスを入力とし、次の単語の確率分布の形で出力を生じる機構である。語彙中の各単語について、言語モデルは、シーケンス内の次の単語がその特定の単語である確率を予測する。変数Ｙは、単語を占めている語彙を表すために利用され、ここで、単語ｙ_０、ｙ_１、ｙ_２、．．．、ｙ_ｎ－１は、シーケンス内の最初のｎ－１個の単語であり、ｙ_ｎは次の未知語である。言語モデルは、語彙内の各単語ｙを評価する確率を生じ、確率は以下のように表される。

言語モデルと同様に、シーケンス・ツー・シーケンス・モデルは、固定長入力を固定長出力と共にマッピングし、入力と出力の固定長は異なっていてもよい。シーケンス・ツー・シーケンス・モデルは、シーケンスｘ_０、．．．、ｘ_ｎをとり、出力シーケンスｙ_０、．．．、ｙ_ｍよりも高い確率分布を生じる。例えば、機械翻訳に関して、シーケンスｘ_０、．．．、ｘ_ｎは、ｎ個の単語を有する第１の言語の文を表し、ｙ_０、．．．、ｙ_ｍは、第１の言語とは異なる第２の言語の文を表し、ことによると異なる量の単語を有する。シーケンス・ツー・シーケンス・モデルは、チャットボットによって生じる次の発話を生成すること、または質問と対応するパッセージとを入力として与えて質問に対する回答を生成することを含めて、様々なタスクに使用され得る。

モデルは通常、連続的にテキストを生成し、例えば一度に１つの単語を生成する。典型的には、生成される次の単語に対する確率分布は、既に生成された入力および単語に依存する。生成される「次の」単語は、生成される文に影響を及ぼし、一実施形態では、生成される文を変更する。本明細書に示され説明されるように、モデルは、出力の多様性を作り出すように修正される。シーケンス・ツー・シーケンス・モデルは、入力としてパッセージと応答とを取り、対応する質問を出力する。一実施形態では、質問出力を有するこのモデルを質問ジェネレータ（ＱＧ）と呼ぶ。本明細書に示され説明されるように、一実施形態は、多様な質問を生成し、所望のセマンティクスを有する質問を生成するために、ＱＧを教示するよう指向されている。多様性は、同じ質問を繰り返し生成することを軽減または回避するよう指向され、一方、対応する質問および回答から脱線したテキストを生成することを軽減または回避するよう指向される。所望のセマンティクスは、合理的な機構が期待通りに回答する質問を生成するよう指向される。

本明細書に示され説明されたシステム、コンピュータ・プログラム製品、および方法は、質問ジェネレータ（ＱＧ）を教示して、多様性およびセマンティクスの特性に対処する合成質問を生成するよう指向される。より具体的には、実施形態は、ＱＧを教示して、多様な質問を自動的に生成することができ、合理的なテキストを生成することを制限し、生成された質問の多様性を評価し、強化学習を介して品質、すなわち、生成された質問の精度、多様性、流暢さ、または他の関連する属性を評価するよう指向される。

図１を参照すると、図１を参照すると、コンピューティング・システム（１００）の概略図が示されている。示すように、サーバ（１１０）は、コンピュータ・ネットワーク（１０５）を越える複数のコンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）との、リンク（１０２）および（１０４）を介した通信に提供される。サーバ（１１０）は、バス（１１４）を介してメモリ（１１６）と通信するプロセッサ（１１２）を有して構成される。サーバ（１１０）は、コンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）のうちの１つまたは複数からコンピュータ・ネットワーク（１０５）を強化学習するための人工知能（Ａｌ）プラットフォーム（１５０）を備えることが示されている。より具体的には、コンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）は、互いに、および他のデバイスまたはコンポーネントと、１つまたは複数の有線もしくは無線またはその両方のデータ通信リンクを介して通信し、各通信リンクは、１つまたは複数のワイヤ、ルータ、スイッチ、送信器、受信器などを含むことができる。サーバ（１１０）は、本明細書に図示されるもの以外のコンポーネント、システム、サブシステム、もしくはデバイス、またはそれらの組合せと共に使用されてもよい。

ＡＩプラットフォーム（１５０）は、機械学習をサポートするためのツールを用いて、より具体的には、合成データ、例えば、機械生成されたデータに関する強化学習を支援するためのツールを用いて構成されており、それらのデータは、対応するグラウンド・トゥルース（ＧＴ）データ、例えば、有効化またはラベル化されたデータに関連する。合成データは人工的に製造され、一実施形態では、対応するニューラル・モデルからの出力として製造されることが当技術分野で理解されている。ツールとしては、以下に限定されないが、質問マネージャ（１５２）、回答マネージャ（１５４）、評価マネージャ（１５６）、およびディレクタ（１５８）を含む。ＡＩプラットフォーム（１５０）は、訓練されたニューラル・ネットワークを活用し、一実施形態では修正する。ＡＩプラットフォーム（１５０）は、コンピュータ・ネットワーク（１０５）からの入力を受信し、本明細書ではコーパスまたは知識ベースとも呼ばれるデータ・ソース（１７０）を活用して、データを選択的に処理することができる。この処理は、合成データを生成すること、および選択または識別されたニューラル・モデルからの出力を最適化するために合成データを活用することを含むが、これらに限定されない。

図示されているように、データソース（１７０）は、本明細書にモデル_Ａ（１７４_Ａ）、モデル_Ｂ（１７４_Ｂ）、．．．、モデル_Ｎ（１７４_Ｎ）として示されている複数のニューラル・モデルを有するライブラリ（１７２）により構成されている。３つのモデルのみが示されているが、この量は限定的であるものと考えられるべきではない。同様に、一実施形態では、データソース（１７０）は、それぞれが１つまたは複数のニューラル・モデルを有する、１つまたは複数の追加ライブラリと考えてもよい。各ニューラル・モデルは、質問ジェネレータ、ＱＧ、および回答ジェネレータ、ＡＧの機能を単一のニューラル・モデル内に結合していてもよい。一実施形態では、ニューラル・モデルは、モデルのコンポーネントとしてＱＧおよびＡＧを具体化することができ、例えば、モデル_Ａ（１７４_Ａ）に第１の質問ジェネレータＱＧ_Ａ，０（１７６_Ａ，０）、第２の質問ジェネレータＱＧ_Ａ，１（１７６_Ａ，１）、およびＡＧ_Ａ（１７８_Ａ）を具体化し、モデル_Ｂ（１７４_Ｂ）にＱＧ_Ｂ（１７６_Ｂ）およびＡＧ_Ｂ（１７８_Ｂ）を具体化し、モデル_Ｎ（１７２_Ｎ）にＱＧ_Ｎ（１７６_Ｎ）およびＡＧ_Ｎ（１７８_Ｎ）を具体化することができる。モデルがどのように利用され、一実施形態では修正されるのかを、以下に詳細に示し説明する。

教師あり学習は、データ・ソース内のモデルの１つで反映されたデータを活用することが理解される。本明細書に示されるように、データ・ソースは知識ベース（１７０）と呼ばれ、論理的にグループ化されたモデルにより構成される。質問マネージャ（１５２）は、対応するＧＴデータに意味的に関連する適切なライブラリおよびモデルを識別するように機能する。識別されると、質問マネージャは、ＧＴの第１のパッセージ（１６０_Ｐ）および対応するグラウンドの第１の回答（１６０_Ａ，０）を識別されたモデル、例えばモデル_Ａ（１７４_Ａ）に提示または入力し、このモデルは、説明を目的として、本明細書では第１のＱＧコンポーネントＱＧ_Ａ，０（１７６_Ａ，０）と呼ばれるＱＧコンポーネントと、ＡＧコンポーネントＡＧ_Ａ（１７８_Ａ）とを含む。第１のＱＧコンポーネント、例えばＱＧ_Ａ，０（１７６_Ａ，０）からの出力は、ＧＴの第１のパッセージ（１６０_Ｐ）とＧＴの第１の回答（１６０_Ａ，０）との両方に対し意味的な対応を有する合成される第１の質問の形

である。したがって、ＧＴデータの投稿の提示に応じて、質問マネージャ（１５２）は、第１のＧＱコンポーネントＱＧ_Ａ，０（１７６_Ａ，０）から出力される意味的に対応する第１の合成質問

を受信するかまたは取得する。

本明細書に示されている回答マネージャ（１５４）は、質問マネージャ（１５２）に動作可能に結合され、合成質問

の処理を管理する。より具体的には、回答マネージャ（１５４）は、識別されたまたは対象のニューラル・モデル、例えばモデル_Ａ（１７４_Ａ）に応じて、ＡＧコンポーネント、例えばＡＧ_Ａ（１７８_Ａ）に合成質問

を提示または入力する。ＡＧコンポーネントＡＧ_Ａ（１７８_Ａ）は、回答マネージャ（１５４）に提示される第１の回答（１６０_Ａ，１）を生成する。ＡＧ、すなわちＡＧ_Ａ（１７８_Ａ）による生成された第１の回答（１６０_Ａ，１）は、合成質問

とＧＴパッセージ（１６０_Ｐ）との両方に意味的に関連している。したがって、ＱＧは合成質問

を生成し、ＡＧは回答（１６０_Ａ，１）を生成し、生成された両方のコンポーネントは、ＧＴパッセージ（１６０_Ｐ）およびＧＴ応答（１６０_Ａ，０）に意味的に関連する。

本明細書に示される評価マネージャ（１５６）は、質問マネージャ（１５２）および回答マネージャ（１５４）の両方に動作可能に結合されている。評価マネージャ（１５６）は、生成された第１の回答（１６０_Ａ，１）に関して、生成された合成質問

を自動的に評価するように機能する。この目的は、ＡＧからの出力を高めつつ、同じ質問の反復を緩和するのに多様でありながら、対応する意味的な関係の要件を満たす合成質問を生成することである。評価マネージャ（１５６）は、合成質問

の多様性と品質との両方を把握する報酬関数を採用する。したがって、評価マネージャ（１５６）は、多様性および品質を評価し、対応する報酬関数における評価を反映する。

本明細書に示されているディレクタ（１５８）は、評価マネージャ（１５６）に動作的に結合され、第１の合成質問

の評価に基づいて、第１の質問ジェネレータＱＧ_Ａ，０（１７６_Ａ，０）を選択的に修正するように機能する。この修正は、生成された合成質問のテキストの多様性を増加させる目的で選択的である。図示のように、第２の質問ジェネレータＱＧ_Ａ，１（１７６_Ａ，１）は、質問マネージャ（１５２）によって作り出され、モデルであるモデル_Ａ（１７４_Ａ）に動作可能に結合される。第２の質問ジェネレータＱＧ_Ａ，１（１７６_Ａ，１）は、第１の質問ジェネレータＱＧ_Ａ，０（１７６_Ａ，０）の修正であり、対応するＧＴパッセージ（１６０_Ｐ）およびＧＴ回答（１６０_Ａ，０）に関して正確でありつつ第１の合成質問

とは異なる第２の合成質問

を生成するように機能する。例えば、一実施形態では、評価は、質問マネージャ（１５２）を用いて、修正済みＱＧ_Ａ，１（１７６_Ａ，１）を活用して第２の合成質問

を生成し、回答マネージャ（１５４）が、対応する第２の合成質問

に基づいて第２の回答（１６０_Ａ，２）を生成することを指示し、進行することができる。一実施形態では、最適化は、報酬関数に基づいてそのパラメータにポリシー勾配アルゴリズムを使用して、第１の質問ジェネレータＱＧ_Ａ，０（１７６_Ａ，０）を修正することを含む。第１および第２の合成質問

および

を生成する際に、ディレクタ（１５８）は、合成質問の多様性を促進するためにテキスト生成を用いたサンプリングを採用する。サンプリングは、核サンプリングであってもよいし、別の実施形態では、トップ－ｋサンプリングであってもよい。質問ジェネレータの最適化は、第１の合成質問

を多様性スコアで表現し、第１の質問ジェネレータＱＧ_Ａ，０（１７６_Ａ，０）の１つまたは複数のパラメータを多様性スコアに基づいて修正し、それによって第２の質問ジェネレータＱＧ_Ａ，１（１７６_Ａ，１）を効果的に作り出すための、ディレクタ（１５８）を含む。ディレクタ（１５８）によって採用される最適化は、第１または以前の合成質問

と同様のコンテキストで、モデルであるモデル_Ａ（１７４_Ａ）からの出力として、第２または後続の合成質問

の生成を軽減する。一実施形態では、評価は、第１の合成質問

および対応する回答（１６０_Ａ，０）が報酬関数の閾値またはパラメータを満たすことを標示することができることを理解されたい。したがって、ディレクタ（１５８）は、評価マネージャ（１５６）とインターフェースして、１つまたは複数の追加の合成質問を選択的に生成する。

簡単に説明したように、合成質問は多様性に関して評価される。さらに、評価マネージャ（１５６）は、確実にＧＴの第１のパッセージ（１６０_Ｐ）が合成質問をサポートできるようにするために、精度について合成質問を評価または検討する。合成質問は、回答ジェネレータＡＧ_Ａ（１７８_Ａ）に与えられ、各合成質問に関連する生成された回答は、ＧＴ回答（１６０_Ａ，０）と比較される。評価は評価マネージャ（１５６）を必然的に伴い、評価マネージャ（１５６）は、ＡＧ、すなわちＡＧ_Ａ（１７８_Ａ）からの出力を、第１の合成質問

に応答した第１の回答（１６０_Ａ，０）および第２の合成質問

に応答した第２の回答（１６０_Ａ，１）の形で、ＧＴ回答（１６０_Ａ，０）と比較する。評価マネージャ（１５６）は、さらに、精度スコアにより評価の精度を定量化する。精度スコアに割り当てられた値に基づいて、質問マネージャ（１５２）は、合成質問の生成を含む１つまたは複数のパラメータを選択的に修正するものとなる。本明細書に説明される精度スコアおよび多様性スコアは、評価マネージャ（１５６）によって結合されて、報酬を計算し、計算された報酬に基づき質問マネージャ（１５２）と通信して、１つまたは複数の以前に生成された合成質問と意味的に類似する質問マネージャ（１５２）による合成質問の産生を軽減または排除するために、合成質問の生成を含む１つまたは複数のパラメータを選択的に修正することができる。一実施形態では、報酬は、精度と多様性スコアとの凸結合である。同様に、一実施形態では、評価マネージャ（１５６）は、凸結合の対応するコンポーネントまたはパラメータを選択的に調整することによって、報酬関数の１つまたは複数のコンポーネントを選択的に優先させることができる。生成された合成質問における多様性を促進することによってパッセージ内で識別された回答データの形式の応答出力（１３２）は、動作可能に結合されたビジュアル・ディスプレイ（１３０）上に提示されるか、または１つもしくは複数のコンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）に通信され得る。

図示されているように、コンピュータ・ネットワーク（１０５）は、様々な実施形態においてローカル・ネットワーク接続およびリモート接続を含むことができ、その結果、ＡＩプラットフォーム（１５０）は、ローカルおよびグローバル、例えば、インターネットを含む任意のサイズの環境で動作することができる。さらに、ＡＩプラットフォーム（１５０）は、ネットワーク・アクセス可能なソースもしくは構造化データ・ソースまたはその両方から抽出されたかまたはそれらに表現された様々な知識を利用可能にするフロントエンド・システムとして機能する。このようにして、いくつかのプロセスは、ＡＩプラットフォーム（１５０）をポピュレートし、人工知能プラットフォーム（１５０）はまた、要求を受信しそれに応じて応答するための入力インターフェースを含む。

知識ベース（１６０）は、ライブラリと、ＡＩプラットフォーム（１５０）による使用のためにポピュレートされたかまたは論理的にグループ化された１つまたは複数のニューラル・ネットワークとで構成される。コンピュータ・ネットワーク（１０５）と通信する様々なコンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）は、論理的にグループ化されたモデルについてアクセス・ポイントを含んでいてもよい。コンピューティング・デバイスのいくつかは、応答出力（１３２）を生成して、コンピュータ・ネットワーク（１０５）を越えてサーバ（１１０）またはコンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（（１９０）のうち１つもしくは複数に動作可能に結合された対応するネットワークデバイス、例えばビジュアル・ディスプレイ（１３０）などに応答出力（１３２）を通信するために、ＡＩプラットフォーム（１５０）によって使用される情報のボディとしてのデータのコーパスを格納するデータベースのためのデバイスを含むことができる。

いくつかの例示的な実施形態では、サーバ（１１０）は、以下に説明する例示的な実施形態の機構によって拡張される、ニューヨーク州アーモンクのインターナショナル・ビジネス・マシンズ・コーポレーションから入手可能なＩＢＭワトソン（登録商標）システムとしてもよい。マネージャ（１５２）、（１５４）、（１５６）、および（１５８）は、以降は総称してＡＩツールと呼ばれ、サーバ（１１０）のＡＩプラットフォーム（１５０）内で具体化または統合されて示されている。ＡＩツールは、別々のコンピューティング・システム（例えば１９０）に実装されてもよいし、一実施形態では、それらは、コンピュータ・ネットワーク（１０５）を越えてサーバ（１１０）に接続された１つまたは複数のシステムにおいて実装され得る。具体化されるどの場所でも、ＡＩツールは、多様で正確な合成質問の生成を動的に最適化して、生成された回答を最適化するように機能する。

人工知能プラットフォーム（１５０）を利用することができるデバイスおよび対応するシステムのタイプは、ハンドヘルド・コンピュータ／携帯電話機（１８０）などの小型のハンドヘルド・デバイスからメインフレーム・コンピュータ（１８２）などの大型のメインフレーム・システムまでに及ぶ。ハンドヘルド・コンピュータ（１８０）の例としては、パーソナル・デジタル・アシスタント（ＰＤＡ）、ＭＰ４プレーヤ、携帯テレビ、およびコンパクト・ディスク・プレーヤなどのパーソナル・エンターテイメント・デバイスが挙げられる。情報処理システムの他の例としては、ペンまたはタブレット・コンピュータ（１８４）、ラップトップまたはノートブック・コンピュータ（１８６）、パーソナル・コンピュータ・システム（１８８）、およびサーバ（１９０）が挙げられる。図示のように、様々なデバイスおよびシステムは、コンピュータ・ネットワーク（１０５）を使用して合わせてネットワーク化することができる。様々なデバイスおよびシステムを相互接続するために使用することができるコンピュータ・ネットワーク（１０５）のタイプとしては、ローカル・エリア・ネットワーク（ＬＡＮ）、無線ローカル・エリア・ネットワーク（ＷＬＡＮ）、インターネット、公衆交換電話ネットワーク（ＰＳＴＮ）、他の無線ネットワーク、ならびにデバイスおよびシステムを相互接続するために使用できる任意の他のネットワーク・トポロジーが挙げられる。多くのデバイスおよびシステムは、ハード・ドライブもしくは不揮発性メモリまたはその両方などの不揮発性データ・ストレージを含む。デバイスおよびシステムのいくつかは、別々の不揮発性データ・ストレージを使用してもよい（例えば、サーバ（１９０）が不揮発性データ・ストレージ（１９０_Ａ）を利用し、メインフレーム・コンピュータ（１８２）が不揮発性データ・ストレージ（１８２_Ａ）を利用する）。不揮発性データ・ストレージ（１８２_Ａ）は、様々なデバイスおよびシステムの外部にあるコンポーネントであってもよいし、デバイスおよびシステムのうちの１つの内部にあってもよい。

人工知能プラットフォーム（１５０）をサポートするために採用されるデバイスおよびシステムは、数多くの形態をとることができ、そのいくつかは、図１に示されている。例えば、情報処理システムは、デスクトップ、サーバ、ポータブル、ラップトップ、ノートブック、または他のフォーム・ファクタ・コンピュータまたはデータ処理システムの形態をとり得る。さらに、デバイスおよびシステムは、パーソナル・デジタル・アシスタント（ＰＤＡ）、ゲーム・デバイス、ＡＴＭ機、携帯電話デバイス、通信デバイス、またはプロセッサとメモリとを含む他の装置など、他のフォーム・ファクタをとり得る。

アプリケーション・プログラム・インタフェース（ＡＰＩ）は、当技術分野では、２つ以上のアプリケーション間のソフトウェア媒介として理解される。図１に示され説明されたＡＩプラットフォーム（１５０）に関して、１つまたは複数のＡＰＩを利用して、ツール（１５２）、（１５４）、（１５６）、および（１５８）のうちの１つまたは複数と、それらの関連付けられた機能性とをサポートすることができる。図２を参照すると、ツール（２５２）、（２５４）、（２５６）、および（２５８）のうち少なくともいくつかとそれらの関連するＡＰＩとを説明するブロック図（２００）が提供されている。図示されているように、複数のツールがＡＩプラットフォーム（２０５）内に埋め込まれており、ツールは、ＡＰＩ_０（２１２）に関連付けられた（２５２）として本明細書に示されている質問マネージャ（１５２）と、ＡＰＩ_１（（２２２）に関連付けられた（２５４）として本明細書に示されている回答マネージャ（１５４）と、ＡＰＩ_２（２３２）に関連付けられた（２５６）として本明細書に示されている評価マネージャ（１５６）と、ＡＰＩ_３（（２４２）に関連付けられた（２５８）として本明細書に示されるディレクタ（１５８）とを含む。各ＡＰＩは、１つまたは複数の言語およびインターフェース仕様で実装されてもよい。ＡＰＩ_０（（２１２）は、１つまたは複数の合成質問を生成するための機能的サポートを提供し、生成された各合成質問は、ＧＴパッセージおよびＧＴの第１の回答に意味的に対応する。ＡＰＩ_１（（２２２）は、対応する合成質問およびＧＴパッセージに意味的に関連する回答の生成のための機能的サポートを提供する。ＡＰＩ_２（２３２）は、評価に報酬関数を組み込むことを含む、ＧＴ応答に関して生成された回答を評価するための機能的サポートを提供し、報酬関数は第１の合成質問の多様性と精度との両方を把握し、精度は第１の生成された回答を用いて測定される。ＡＰＩ_３（２４２）は、回答評価に応答して質問ジェネレータを選択的に修正するための機能的サポートを提供し、修正は、テキストの多様性を増加させ、合成質問の精度を維持することに向けられている。図示のように、ＡＰＩ（２１２）、（２２２）、（２３２）、および（２４２）のそれぞれは、オーケストレーション層としても知られているＡＰＩオーケストレータ（２６０）に動作可能に結合され、オーケストレーション層は、別々のＡＰＩを透明にスレッド化する抽象化層として機能することが当技術分野に理解されている。一実施形態では、別々のＡＰＩの機能性は、結合または結合されてもよい。このように、本明細書に示されるＡＰＩの構成は、限定的ではないと考えられるべきである。したがって、本明細書に示されるように、ツールの機能性は、それらのそれぞれのＡＰＩによって具現化またはサポートされることがある。

図３を参照すると、質問ジェネレータに強化学習を適用して、多様で正確な合成質問をサポートし生成するためのプロセスを説明するフローチャート（３００）が提供されている。ＧＴとは、信頼できる参照真値を含む機械学習技術のための訓練セットを指す、機械学習で使用される用語である。例えば、ＧＴ訓練セットは、真であることが知られている人間によって生成された質問および回答を含む。例えば、ＧＴとして分類されたデータ・セットのラベルは正確であるものとされる。本明細書に示され、説明され、ＱＧモデルを訓練する際に指示されるように、ＧＴは、パッセージＰ、質問Ｑ、および対応する回答Ａの形態で提供される（３０２）。示されているように、パッセージＰおよび回答Ａは、訓練されたニューラル・ネットワーク質問ジェネレータ（ＱＧ）への入力として提示される（３０４）。一実施形態では、質問から回答を生成するように、第２のニューラル・ネットワークが提供される。同様に、一実施形態では、単一のニューラル・ネットワークが、質問ジェネレータおよび回答システムの両方に構築される。ＱＧは、受信された入力に対応する出力を作り出し、すなわち、提示されたパッセージＰおよび回答Ａに連携された合成質問Ｑ_０’を生成する（３０６）。合成質問Ｑ_０’を生成するプロセスは、合成質問Ｑ_０’を形成する単語ｑ_ｊを順次生成し、単語ｑ_ｊを多様性評価に供する。一実施形態では、および本明細書に示されているように、単語ｑ_ｊはサンプリングに供され、その際に、各単語生成ステップでは、可能性のある次の単語がソートされる。核サンプリングの場合、確率質量が確立され、例えば確率限界が確立され、確率質量に関して単語ｑ_ｊが制限される。一実施形態では、確率質量は構成可能なパラメータである。合成質問を形成し構成する単語は、合成質問の終わりの文字の単語に到達するまで、生成されて評価され、その後、合成質問は、サンプリングから選択された単語を有するＱＧモデルから生成される。したがって、ＱＧモデルから生成された合成質問Ｑ_０’は、ＧＴパッセージＰおよびＧＴ応答Ａと連携するように作り出される。

ステップ（３０６）で生成された合成質問は、多様性および精度に関してさらに評価および改良に付される。示されているように、回答ジェネレータ（ＡＧ）モデルを利用して、合成質問Ｑ_０’およびパッセージＰに対応する、回答Ａ_０’と本明細書に呼ばれる第２の出力を生成する（３０８）。回答の精度報酬が計算される。一実施形態では、精度報酬ｒ_ａｃｃは、以下の通りである。

精度報酬は、ＡＧモデルによって生成されかつ合成質問に対応する回答Ａ_０’とＧＴ回答との間の類似性を評価する。さらに、多様性報酬ｒ_ｄｉｖも、生成された合成質問に対して計算される（３１０）。一実施形態では、多様性報酬ｒ_ｄｉｖは、ＧＴ質問Ｑに関する生成された合成質問と、ＧＴパッセージＰおよび回答Ａに対しＱＧにより以前生成されたすべての質問｛Ｑ’_１、．．．、Ｑ’_ｉ－１｝の新規性を定量化するための多様性距離を評価する。精度報酬と多様性報酬とが組み合わされて、ＱＧモデルについての品質スコア、例えば報酬が計算される。以下は、品質報酬Ｒの計算の表現である。

式中、ｗ_１およびｗ_２は、それぞれ、精度報酬および多様性報酬について調整可能な重みである。したがって、示されるように、報酬Ｒは、精度と多様性との加重平均である。

損失は、報酬Ｒから獲得され、ＱＧモデルに提供されて、１つまたは複数の将来的に生成された合成質問の品質を最適化する（３１２）。この損失は、ＱＧモデル（３１４）のパラメータを更新するために利用され、最適化アルゴリズムはステップ（３１２）で獲得された損失に基づいてＱＧ（３１６）を調整するために活用される。ステップ（３１４）および（３１６）における最適化は、訓練中の強化学習を使用する。図３に示されているこのプロセスは、訓練セットに存在する訓練例のすべてのインスタンスにわたって繰り返されてもよく、プロセスは、そのようなすべてのインスタンスにわたって複数回繰り返されてもよい。強化学習は、ＱＧモデルから出力された合成質問を生成する方法を学習するために損失を獲得し適用するように利用され、合成質問は、生成された他の合成質問に関する多様な内容またはコンテキストと、ＧＴパッセージＰおよび回答Ａに関する正確な内容またはコンテキストとを表す。

ツールおよびその対応する機能性は、強化学習および対応する強化学習アルゴリズムを利用して、合成質問および対応する生成された回答に基づいて質問ジェネレータを最適化する。強化学習アルゴリズムからの出力は、多様性および精度などの異なる状態の値を学習し、これらの状態を包含する対応する報酬を評価する。強化学習は、報酬のコンポーネントの選択的な調整、例えば、１つまたは複数のコンポーネントの優先順位付けをサポートして、合成質問の多様性もしくは精度またはその両方、ならびにＧＴパッセージからの対応する回答を強化する。したがって、本明細書に示され記載された強化学習は、異なる状態の値を動的に学習し、これを適用して、対応するニューラル・モデルを作成することができる。

本明細書に示され記載されている実施形態は、多様な合成質問を生成する際に向けられた強化学習を提供およびサポートするためのインテリジェント・コンピュータ・プラットフォームと共に使用するためのコンピュータ・システムの形態であってもよい。ツール（１５２）、（１５４）、（１５６）、および（１５８）の態様およびそれらの関連付けられた機能性は、単一の場所でコンピュータ・システム／サーバ内で具現化されてもよいし、または一実施形態では、コンピューティング・リソースを共有するクラウドベースのシステムにおいて構成されていてもよい。図４を参照すると、ブロック図（４００）は、図１～図３を参照して上述したシステム、ツール、およびプロセスを実装するための、クラウドベースのサポート・システム（４１０）と通信するホスト（４０２）と以降呼ばれるコンピュータ・システム／サーバ（４０２）の一例を示す。ホスト（４０２）は、多数の他の汎用または専用のコンピューティング・システム環境または構成で動作可能である。ホスト（４０２）と共に使用するのに適し得る周知のコンピューティング・システム、環境、もしくは構成、またはそれらの組合せの例としては、以下に限定されないが、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサベース・システム、セット・トップ・ボックス、プログラマブル・コンシューマ・エレクトロニクス、ネットワークＰＣ、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、ならびに前記システム、デバイス、またはそれらの等価物のいずれかを含むファイル・システム（例えば、分散型ストレージ環境および分散型クラウド・コンピューティング環境）が挙げられる。

ホスト（４０２）は、コンピュータ・システムによって実行されているコンピュータ・システム実行可能な命令、例えばプログラム・モジュールなどの一般的な文脈で記載され得る。一般に、プログラム・モジュールは、特定のタスクを実施するか、または特定の抽象データ・タイプを実装する、ルーチン、プログラム、オブジェクト、コンポーネント、論理、データ構造などを含み得る。ホスト（４０２）は、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実施される分散型クラウド・コンピューティング環境で実践されてもよい。分散型クラウド・コンピューティング環境では、プログラム・モジュールは、メモリ・ストレージ・デバイスを含むローカルおよびリモートの両方のコンピュータ・システム記憶媒体に位置していてもよい。

図４に示されるように、ホスト（４０２）は、コンピュータ・システムもしくはサーバまたはその両方などの汎用コンピューティング・デバイスの形で示されている。ホスト（４０２）のコンポーネントは、以下に限定されないが、１つまたは複数のプロセッサまたは処理ユニット（４０４）、例えば、ハードウェア・プロセッサ、システム・メモリ（４０６）、およびシステム・メモリ（４０６）を含む様々なシステム・コンポーネントをプロセッサ（４０４）に結合するバス（４０８）を含む。バス（４０８）は、１つまたは複数の任意の複数タイプのバス構造を表し、そのようなものとしては、メモリ・バスまたはメモリ・コントローラ、周辺バス、加速グラフィックス・ポート、および種々のバス・アーキテクチャのいずれかを用いるプロセッサまたはローカル・バスが挙げられる。例として、以下に限定されないが、このようなアーキテクチャとしては、業界標準アーキテクチャ（ＩＳＡ）バス、マイクロ・チャネル・アーキテクチャ（ＭＣＡ）バス、拡張型ＩＳＡ（ＥＩＳＡ）バス、ビデオ・エレクトロニクス規格協会（ＶＥＳＡ）ローカル・バス、および周辺コンポーネント相互接続（ＰＣＩ）バスが挙げられる。ホスト（４０２）は、典型的には、種々のコンピュータ・システム可読媒体を含む。このような媒体は、ホスト（４０２）によってアクセス可能な任意の利用可能な媒体であってもよく、揮発性媒体と不揮発性媒体との両方、取り外し可能な媒体と取り外し不能な媒体との両方を含む。

メモリ（４０６）は、ランダム・アクセス・メモリ（ＲＡＭ）（４３０）もしくはキャッシュ・メモリ（４３２）またはその両方などの揮発性メモリの形態のコンピュータ・システム可読媒体を含むことができる。例として、記憶システム（４３４）は、取り外し不可能な不揮発性磁気媒体（図示せず、典型的には「ハード・ドライブ」と呼ばれる）からの読出しおよびそこへの書込みのために提供され得る。図示されていないが、取り外し可能な不揮発性磁気ディスク（例えば、「フロッピー・ディスク」）、ならびに取り外し可能な不揮発性光ディスクからの読出しおよびそこへの書込みのための光ディスクドライブ、例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、その他の光学媒体などを提供することができる。このような場合、それぞれを、１つまたは複数のデータ媒体インターフェースによってバス（４０８）に接続することができる。

プログラム／ユーティリティ（４４０）は、一連の（少なくとも１つの）プログラム・モジュール（４４２）を有し、一例としてメモリ（４０６）に格納されてもよく、限定はないが同様にオペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データに格納されてもよい。各オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データまたはそれらのいくつかの組み合わせは、ネットワーキング環境の実装を含んでいてもよい。プログラムモジュール（４４２）は、概して、リスクを最小にするために１つまたは複数のドメインにわたって活動を動的にオーケストレートするために、実施形態の機能もしくは方法またはその両方を行う。例えば、プログラム・モジュール（４４２）のセットは、図１に記載されているように、ツール（１５２）、（１５４）、（１５６）、および（１５８）を含むことができる。

ホスト（４０２）はまた、キーボードやポインティング・デバイスなどの１つまたは複数の外部デバイス（４１４）、ディスプレイ（４２４）、ユーザがホスト（４０２）と対話することを可能にする１つまたは複数のデバイス、もしくはホスト（４０２）が１つまたは複数の他のコンピューティング・デバイスと通信することを可能にする任意のデバイス（例えば、ネットワーク・カード、モデム）、またはそれらの組合せと通信することができる。このような通信は、入力／出力（Ｉ／Ｏ）インターフェース（４２２）を介して起こり得る。さらに、ホスト（４０２）は、ネットワーク・アダプタ（４２０）を介して、ローカル・エリア・ネットワーク（ＬＡＮ）、一般的なワイド・エリア・ネットワーク（ＷＡＮ）、もしくは公衆ネットワーク（例えば、インターネット）、またはそれらの組合せなど、１つまたは複数のネットワークと通信することができる。図示のように、ネットワーク・アダプタ（４２０）は、バス（４０８）を介してホスト（４０２）の他のコンポーネントと通信する。一実施形態では、分散型ファイル・システム（図示せず）の複数のノードは、Ｉ／Ｏインターフェース（４２２）を介して、またはネットワーク・アダプタ（４２０）を介して、ホスト（４０２）と通信する。示されていないが、他のハードウェアもしくはソフトウェアまたはその両方のコンポーネントを、ホスト（４０２）と併せて使用することができることを理解するべきである。例としては、以下に限定されないが、マイクロコード、デバイス・ドライバ、冗長処理ユニット、外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・ドライブ、およびデータ・アーカイブ・ストレージ・システムなどが挙げられる。

この文献では、「コンピュータ・プログラム媒体」、「コンピュータ使用可能媒体」、「コンピュータ可読媒体」という用語は、概して、メイン・メモリ（４０６）などの媒体を参照するために使用され、そのような媒体としては、ＲＡＭ（４３０）、キャッシュ（４３２）、ならびに取り外し可能な記憶ドライブおよびハードディスク・ドライブ内に設置されたハードディスクなどの記憶システム（４３４）が挙げられる。

コンピュータ・プログラム（コンピュータ制御ロジックとも呼ばれる）は、メモリ（４０６）に格納される。コンピュータ・プログラムはまた、ネットワーク・アダプタ（４２０）などの通信インターフェースを介して受信されてもよい。そのようなコンピュータ・プログラムは、実行時に、コンピュータ・システムが、本明細書で説明するように本実施形態の特徴を実施することを可能にする。具体的には、コンピュータ・プログラムは、実行時に、処理ユニット（４０４）がコンピュータ・システムの特徴を実施することを可能にする。したがって、このようなコンピュータ・プログラムは、コンピュータ・システムのコントローラを表す。

コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を保持および格納することができる有形デバイスとすることができる。コンピュータ可読記憶媒体は、以下に限定されないが、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または前述の任意の適した組合せとしてよい。コンピュータ可読記憶媒体のより具体的な例の非網羅的な一覧としては、ポータブル・コンピュータ・ディスケット、ハードディスク、動的または静的ランダム・アクセス・メモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、消去可能なプログラム可能な読出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、磁気ストレージ・デバイス、ポータブル・コンパクト・ディスク読出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル汎用ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク、機械的に符号化されたデバイス、例えば、命令を上に記録したパンチ・カードまたは溝内の隆起構造など、および前述の任意の適切な組合せが挙げられる。コンピュータ可読記憶媒体は、本明細書で使用される際に、それ自体が電波または他の自由に伝搬する電磁波、導波管または他の伝送媒体（例えば、光ファイバ・ケーブルを通る光パルス）を伝搬する電磁波、またはワイヤを介して伝送される電気信号などの一時的な信号であるものと解釈されるべきではない。

本明細書に記載のコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各演算／処理デバイスに、またはネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、もしくは無線ネットワーク、またはそれらの組合せを介して外部コンピュータまたは外部記憶装置に、ダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、もしくはエッジ・サーバ、またはそれらの組合せを含むことができる。各演算／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、各演算／処理デバイス内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム命令を送る。

本実施形態の動作を実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、または１つもしくは複数のプログラミング言語の任意の組み合わせで書かれたソースコードもしくはオブジェクトコードのいずれかとしてよく、プログラミング言語としては、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、および「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語が挙げられる。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に、ユーザのコンピュータ上で部分的に、スタンドアロン・ソフトウェア・パッケージとして、ユーザのコンピュータ上で部分的にかつリモート・コンピュータ上に部分的に、またはリモート・コンピュータ上またはサーバ上またはサーバのクラスタ上で全体的に、実行してもよい。後者のシナリオでは、リモート・コンピュータが、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含めた任意のタイプのネットワークを介してユーザのコンピュータに接続されていてもよいし、または接続が、外部コンピュータに（例えば、インターネットサービスプロバイダを用いてインターネットを介して）なされていてもよい。いくつかの実施形態では、例えば、プログラム可能なロジック回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、またはプログラム可能なロジックアレイ（ＰＬＡ）を含めた電子回路は、本実施形態の態様を実施するために、コンピュータ可読プログラム命令の状態情報によって、コンピュータ可読プログラム命令を実行してもよい。

一実施形態では、ホスト（４０２）は、クラウド・コンピューティングのノードである。当技術分野に公知であるように、クラウド・コンピューティングは、最小限の管理努力またはサービスの提供者との対話によって迅速にプロビジョニングおよびリリースされ得る構成可能なコンピューティング・リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールへの簡便かつオンデマンドのネットワーク・アクセスを可能にするためのサービス・デリバリのモデルである。このクラウドモデルは、少なくとも５つの特性、少なくとも３つのサービス・モデル、および少なくとも４つの展開モデルを含むことがある。このような特性の例は以下の通りである。
オンデマンド・セルフサービス：クラウド消費者は、サービスのプロバイダとの人間の対話を必要とすることなく必要に応じて自動的に、サーバ時間やネットワーク・ストレージなどのコンピューティング機能を単方向に（unilaterally）プロビジョニングし得る。
ブロード・ネットワーク・アクセス（broad network access）：機能は、ネットワークを介して利用可能であり、異種シンまたはシック・クライアント・プラットフォーム（たとえば、携帯電話、ラップトップ、およびＰＤＡ）による使用を促進する標準機構を通じてアクセスされる。
リソース・プーリング：マルチテナント・モデルを使用して複数の消費者にサービスするためにプロバイダのコンピューティング・リソースがプールされ、相異なる物理および仮想リソースが、要求に従って動的に割り当てられ、再割当てされる。消費者は一般に、提供されるリソースの厳密な部分についての制御または知識を持たないが、より高いレベルの抽象化（たとえば、国、州、またはデータセンタ）で部分を指定することができ得るという点で、ある意味で部分独立性がある。
迅速な弾力性（elasticity）：機能が迅速かつ弾力的に、いくつかのケースでは自動的にプロビジョニングされて、迅速にスケールアウトされ、迅速にリリースされ、迅速にスケールインされ得る。消費者にとって、プロビジョニングのために利用可能な機能は、多くの場合無制限であるように見え、任意の量をいつでも購入することができる。
測定サービス（measured service）：クラウド・システムは、サービスのタイプ（たとえば、ストレージ、処理、帯域幅、およびアクティブ・ユーザ・アカウント）にとって適切なあるレベルの抽象化で測定機能を活用することによって、リソース使用を自動的に制御し、最適化する。リソース使用量が監視され、制御され、報告され、利用されるサービスのプロバイダと消費者の両方について透過性（transparency）が実現され得る。

サービス・モデルは以下の通りである。
Software as a Service（SaaS）：消費者に提供される機能は、クラウド・インフラストラクチャ上で実行中のプロバイダのアプリケーションを使用することである。アプリケーションは、ウェブ・ブラウザなどのシン・クライアント・インターフェースを通じて、様々なクライアント・デバイスからアクセス可能である（たとえば、ウェブ・ベースのｅメール）。消費者は、ネットワーク、サーバ、オペレーティング・システム、ストレージ、さらには個々のアプリケーション機能を含む、基礎となるクラウド・インフラストラクチャを管理または制御せず、可能性のある例外は、限定されたユーザ特有のアプリケーション構成設定である。
Platform as a Service（PaaS）：消費者に提供される機能は、プロバイダによってサポートされるプログラミング言語およびツールを使用して作成された、消費者が作成または取得したアプリケーションをクラウド・インフラストラクチャ上に配置することである。消費者は、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含む、基礎となるクラウド・インフラストラクチャを管理または制御しないが、配置されたアプリケーション、および場合によってはアプリケーション・ホスティング環境構成（application hosting environment configuration）についての制御を有する。
Infrastructure as a Service（IaaS）：消費者に提供される機能は、処理、ストレージ、ネットワーク、および他の基本コンピューティング・リソースをプロビジョニングすることであり、消費者は、オペレーティング・システムおよびアプリケーションを含み得る任意のソフトウェアを配置し、実行することができる。消費者は、基礎となるクラウド・インフラストラクチャを管理または制御しないが、オペレーティング・システム、ストレージ、配置されたアプリケーションについての制御を有し、場合によっては選択ネットワーキング構成要素（select networking component）（たとえば、ホスト・ファイアウォール）の限られた制御を有する。

配置モデルは以下の通りである。
プライベート・クラウド：クラウド・インフラストラクチャがもっぱら組織のために運用される。クラウド・インフラストラクチャは、組織または第３者によって管理され得、オンプレミスまたはオフプレミスで存在し得る。
コミュニティ・クラウド：クラウド・インフラストラクチャがいくつかの組織によって共有され、共有される関心事（たとえば、ミッション、セキュリティ要件、ポリシー、およびコンプライアンス考慮事項）を有する特定のコミュニティをサポートする。クラウド・インフラストラクチャは、組織または第３者によって管理され得、オンプレミスまたはオフプレミスで存在し得る。
パブリック・クラウド：クラウド・インフラストラクチャが、一般的な公共グループまたは大規模産業グループに対して利用可能にされ、クラウド・サービスを販売する組織によって所有される。
ハイブリッド・クラウド：クラウド・インフラストラクチャが、固有のエンティティのままであるが、データおよびアプリケーション・ポータビリティを可能にする標準化技術またはプロプラエタリ技術（たとえば、クラウド間のロード・バランシングのためのクラウド・バースティング）によって互いに結合される２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の合成である。

クラウド・コンピューティング環境は、ステートレス性（statelessness）、低結合、モジュラリティ、およびセマンティック相互運用性（semantic interoperability）に対して焦点を向けるサービスである。クラウド・コンピューティングの核心は、相互接続されたノードのネットワークを含むインフラストラクチャである。

図５には、クラウド・コンピューティング・ネットワーク（５００）が示されている。図示されるように、クラウド・コンピューティングネットワーク（５００）は、クラウド消費者によって使用されるローカル・コンピューティング・デバイスが通信し得る１つまたは複数のクラウド・コンピューティングノード（５１０）を有するクラウド・コンピューティング環境（５５０）を含む。これらのローカル・コンピューティング・デバイスの例としては、以下に限定されないが、携帯情報端末（ＰＤＡ）またはセルラ電話（５５４Ａ）、デスクトップ・コンピュータ（５５４Ｂ）、ラップトップ・コンピュータ（５５４Ｃ）、もしくは自動車コンピュータ・システム（５５４Ｎ）、またはその組合せが挙げられる。ノード（５１０）内の個々のノード３００は互いに通信し得る。それらは、プライベート、コミュニティ、パブリック、もしくはハイブリッド・クラウド、またはその組合せなどの１つまたは複数のネットワークに物理的または仮想的にグループ化され得る。これにより、クラウド・コンピューティング環境（５００）が、インフラストラクチャ、プラットフォーム、もしくはソフトウェア、またはその組合せを、クラウド消費者がローカル・コンピューティング・デバイス上でリソースを維持する必要がないサービスとして提供することが可能となる。図５に示されるコンピューティング・デバイス（５５４Ａ～Ｎ）のタイプは例示的なものに過ぎず、クラウド・コンピューティング環境（５５０）が、任意のタイプのネットワークもしくはネットワーク・アドレス指定可能な接続あるいはその両方を介して（例えば、ウェブ・ブラウザを用いて）任意のタイプのコンピュータ化デバイスと通信できることを理解されたい。

図６を次に参照すると、図５のクラウド・コンピューティング・ネットワークによって提供される１組の機能抽象化層（functional abstraction layer）が示されている。図６に示されるコンポーネント、層、および機能は例示を意図されているに過ぎず、実施形態はそれに限定されないことをあらかじめ理解されたい。図示されるように、以下の層：ハードウェアおよびソフトウェア層（６１０）、仮想化層（６２０）、管理層（６３０）、ならびに作業負荷層（６４０）、ならびに対応する機能が設けられる。

ハードウェアおよびソフトウェア層（６１０）は、ハードウェアおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例としては、メインフレームであり一例ではＩＢＭ（登録商標）ｚＳｅｒｉｅｓ（登録商標）システム、ＲＩＳＣ（縮小命令セット・コンピュータ）アーキテクチャ・ベースのサーバであり一例ではＩＢＭｐＳｅｒｉｅｓ（登録商標）システム、ＩＢＭｘＳｅｒｉｅｓ（登録商標）システム、ＩＢＭＢｌａｄｅＣｅｎｔｅｒ（登録商標）システム、記憶デバイス、ならびにネットワークおよびネットワーキング・コンポーネントが挙げられる。ソフトウェア・コンポーネントの例としては、ネットワーク・アプリケーション・サーバ・ソフトウェアであり一例ではＩＢＭＷｅｂＳｐｈｅｒｅ（登録商標）アプリケーション・サーバソフトウェア、およびデータベース・ソフトウェアであり一例ではＩＢＭＤＢ２（登録商標）データベース・ソフトウェア（ＩＢＭ、ｚＳｅｒｉｅｓ、ｐＳｅｒｉｅｓ、ｘＳｅｒｉｅｓ、ＢｌａｄｅＣｅｎｔｅｒ、ＷｅｂＳｐｈｅｒｅ、およびＤＢ２が、世界中の数多くの管轄内で登録されたインターナショナル・ビジネス・マシンズ・コーポレーションの商標である）が挙げられる。

仮想化層（６２０）は、仮想エンティティの以下の例が提供され得る抽象化層を提供する：仮想サーバ、仮想ストレージ、仮想プライベート・ネットワークを含む仮想ネットワーク、仮想アプリケーションおよびオペレーティング・システム、ならびに仮想クライアント。

一例として、管理層（６３０）は、以下の機能を提供し得る：リソース・プロビジョニング、計測および価格設定（Metering and Pricing）、ユーザ・ポータル、サービス・レイヤ管理、ならびにＳＬＡの計画および履行。リソース・プロビジョニングは、クラウド・コンピューティング環境内のタスクを実施するために利用されるコンピューティング・リソースおよび他のリソースの動的獲得を実現する。計測および価格決定は、リソースがクラウド・コンピューティング環境内で利用されるときのコスト追跡と、これらのリソースの消費に対する課金または請求とを実現する。一例として、これらのリソースはアプリケーション・ソフトウェア・ライセンスを含み得る。セキュリティは、クラウド消費者およびタスクについての識別検証、ならびにデータおよび他のリソースに対する保護を実現する。ユーザ・ポータルは、消費者およびシステム管理者に対してクラウド・コンピューティング環境へのアクセスを実現する。サービス・レイヤ管理は、必要とされるサービス・レベルが満たされるようにクラウド・コンピューティング・リソースの割振りおよび管理を実現する。サービス・レベル合意書（Service Level Agreement、SLA）の計画および履行は、ＳＬＡに従って将来の要件が予想されるクラウド・コンピューティング・リソースの事前構成および獲得を実現する。

作業負荷層（６４０）は、クラウド・コンピューティング環境が利用され得る機能性の例を提供する。この層から提供され得る作業負荷および機能の例としては、以下に限定されないが、マッピングおよびナビゲーション、ソフトウェア開発およびライフサイクル管理、仮想クラスルーム教育配信、データ解析処理、トランザクション処理、ならびに合成データの生成および強化学習が挙げられる。

本実施形態の具体的な実施形態が示され記載されている一方で、本明細書の教示に基づき、本実施形態およびそのさらに広義の態様から逸脱することなく変形および改変がなされ得ることが、当業者には明らかとなる。そのため、添付の特許請求の範囲は、その範囲内に、すべてのそのような変形および改変を、本実施形態の真の趣旨および範囲内にあるように包含するものとなる。さらに、本実施形態は、添付の特許請求の範囲によってのみ定義されることが理解されよう。具体的な数の特許請求の範囲の構成要件の導入が意図されている場合、そのような意図は明示的に特許請求の範囲に記載されるものとなり、そのような記載がない場合、そのような制限はないことを、当業者は理解するものとなる。非制限的な例として、理解の一助として、以下の添付の特許請求の範囲は、請求項の構成要件を導入するための「少なくとも１つ」および「１つまたは複数の」という導入句の利用を含む。しかし、そのような句の使用は、不定冠詞「ａ」または「ａｎ」により請求項の構成要件を導入することが、その導入された請求項の構成要件を含む任意の具体的な請求項を、その構成要件を１つのみ含む実施形態に限定することを含意するものと解釈されるべきではなく、同じ請求項が導入句「１つまたは複数の」または「少なくとも１つ」および「ａ」や「ａｎ」などの不定冠詞を含んでいたとしてもそのように解釈されるべきではない。請求項における定冠詞の使用についても同様である。

本実施形態は、システム、方法、もしくはコンピュータ・プログラム製品、またはそれらの組合せであり得る。さらに、本実施形態の選択された態様は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または本明細書では全て一般的に「回路」、「モジュール」、または「システム」と呼ばれることがあるソフトウェアもしくはハードウェアまたはその両方の態様を組み合わせた実施形態の形態をとり得る。さらに、本実施形態の態様は、プロセッサに本発明の態様を行わせるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体（または複数の媒体）内に組み込まれているコンピュータ・プログラム製品の形をとっていてもよい。したがって具現化されて、開示されたシステム、方法、もしくはコンピュータ・プログラム製品は、人工知能プラットフォームの機能性および動作を改善して、フェデレートされた学習フレームワークを構築するように動作する。

本実施形態の態様は、本実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図もしくはブロック図またはその両方を参照して本明細書に説明される。フローチャート図もしくはブロック図またはその両方の各ブロック、ならびにフローチャート図もしくはブロック図またはその両方におけるブロックの組合せは、コンピュータ可読プログラム命令によって実装できることが理解されよう。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されて、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令がフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックにおいて指定された機能／動作を実装する手段を生成するように、機械を生成し得る。これらのコンピュータ可読プログラム命令はまた、コンピュータ、プログラム可能なデータ処理装置、もしくは他のデバイス、またはそれらの組合せを特定の方法で機能させることのできるコンピュータ可読記憶媒体に格納されてもよく、ゆえに、命令を中に格納したコンピュータ可読記憶媒体は、フローチャートもしくはブロック図またはその両方の１つまたは複数のブロックにおいて指定された機能／動作の態様を実装する命令を含む、製品を含み得る。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラム可能な装置、または他のデバイス上で実行される命令がフローチャートもしくはブロック図またはその両方の１つまたは複数のブロックにおいて指定された機能／動作を実装するように、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイス上にロードされて、一連の動作ステップをコンピュータ、他のプログラマブル装置、または他のデバイス上で実施させて、コンピュータ実装プロセスを生じる。

図中のフローチャートおよびブロック図は、本実施形態の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実施形態のアーキテクチャ、機能性、およびオペレーションを説明する。この点に関して、フローチャートまたはブロック図の各ブロックは、指定されたロジック機能を実装するための１つまたは複数の実行可能な命令を含む、命令のモジュール、セグメント、または部分を表すことがある。いくつかの代替的な実施形態では、ブロックに記載された機能は、図に記載された順序の外に生じ得る。例えば、連続して示される２つのブロックが、実際には、実質的に同時に実行されてもよいし、またはブロックが、関与する機能性に応じて、逆の順序で実行されてもよい。また、ブロック図もしくはフローチャート図またはその両方の各ブロック、ならびにブロック図もしくはフローチャート図またはその両方におけるブロックの組合せは、指定された機能もしくはオペレーションを実行するか、または専用ハードウェアとコンピュータ命令との組合せを実施する、専用ハードウェアベースのシステムによって実装できることに留意されたい。

説明を目的として特定の実施形態が本明細書に記載されてきたが、実施形態の趣旨および範囲から逸脱することなく様々な変更が可能であることが理解されよう。したがって、実施形態の保護の範囲は、以下の特許請求の範囲およびそれらの同等物によってのみ限定される。

Claims

メモリに動作可能に結合されたプロセッサと、
強化学習をサポートするために前記プロセッサと通信し、ツールを有する人工知能（Ａｌ）プラットフォーム
とを含み、前記ツールは、
訓練されたニューラル・ネットワークにグラウンド・トゥルースの第１のパッセージおよびグラウンド・トゥルースの第１の回答を入力し、前記訓練されたニューラル・ネットワーク内の質問ジェネレータによって生成された第１の合成質問を取得する質問マネージャであって、前記生成された第１の合成質問は、前記グラウンド・トゥルースの第１のパッセージと第１の回答とに意味的な対応を有する、質問マネージャと、
前記訓練されたニューラル・ネットワークに前記第１の合成質問を入力し、前記訓練されたニューラル・ネットワークによって生成された第１の回答を前記グラウンド・トゥルース・パッセージから取得する回答マネージャであって、前記第１の回答は、前記生成された第１の合成質問および前記グラウンド・トゥルース・パッセージに意味的に関連する、回答マネージャと、
前記生成された第１の回答に関する前記生成された第１の合成質問を自動的に評価する評価マネージャであって、前記評価は、前記生成された第１の合成質問の多様性および精度を把握する報酬関数を組み込むためのものである、評価マネージャと、
前記評価マネージャに動作可能に結合され、前記評価に応答する前記質問ジェネレータを選択的に修正する強化学習を採用するディレクタであって、前記修正された質問ジェネレータは、前記修正前よりもテキストの多様性の増加した１つまたは複数の合成質問を生じる、ディレクタと
を有する、コンピュータ・システム。
前記質問ジェネレータの前記選択的な修正は、核サンプリングを採用して、前記第１の合成質問とは異なる前記１つまたは複数の合成質問を生成する、請求項１に記載のシステム。
前記生成された第１の合成質問の変化の最適化は、前記ディレクタが前記生成された第１の合成質問を多様性スコアで表し、前記多様性スコアに基づき前記訓練されたニューラル・ネットワークの１つまたは複数のパラメータを修正することを含み、前記最適化は、前記第１の質問と同様のコンテキストを有する訓練されたニューラル・ネットワークからの出力としての第２の合成質問の生成を緩和する、請求項２に記載のシステム。
前記評価マネージャが、前記第１の生成された回答と前記グラウンド・トゥルース回答との比較により、前記生成された第１の合成質問の精度を評価し、前記精度評価を精度スコアで定量化すること、ならびに前記質問マネージャが、前記精度スコアに応答する１つまたは複数の質問生成パラメータを選択的に修正することをさらに含む、請求項３に記載のシステム。
前記評価マネージャが、前記精度スコアと前記多様性スコアとの凸結合として報酬関数を計算すること、前記質問マネージャが、前記計算された報酬関数に応答する１つまたは複数の質問生成パラメータを選択的に修正すること、ならびに前記修正が、前記生成された第１の合成質問と意味的に類似した第２の合成質問の産生を緩和することをさらに含む、請求項４に記載のシステム。
前記評価マネージャが、前記報酬関数の１つまたは複数のコンポーネントを選択的に優先順位付けするように前記凸結合を調整することをさらに含む、請求項５に記載のシステム。
強化学習をサポートするためのコンピュータ・プログラム製品であって、それを以て具現化されるプログラム・コードを有するコンピュータ可読記憶媒体を含み、前記プログラム・コードは、プロセッサによって、
訓練されたニューラル・ネットワークにグラウンド・トゥルースの第１のパッセージおよびグラウンド・トゥルースの第１の回答を入力し、前記訓練されたニューラル・ネットワーク内の質問ジェネレータによって生成された第１の合成質問を取得することであって、前記生成された第１の合成質問は、前記グラウンド・トゥルースの第１のパッセージと第１の回答とに意味的な対応を有すること、
前記訓練されたニューラル・ネットワークに前記第１の合成質問を入力し、前記訓練されたニューラル・ネットワークによって生成された第１の回答を前記グラウンド・トゥルース・パッセージから取得することであって、前記第１の回答は、前記生成された第１の合成質問および前記グラウンド・トゥルース・パッセージに意味的に関連すること、
前記生成された前記第１の回答に関する前記生成された第１の合成質問を自動的に評価することであって、前記評価は、前記生成された第１の合成質問の多様性および精度を把握する報酬関数を組み込むためのものであること、
前記評価に応答する前記質問ジェネレータを選択的に修正する強化学習を採用することであって、修正された質問ジェネレータは、修正前よりもテキストの多様性が増加した１つまたは複数の合成質問を生じること
を実行可能である、コンピュータ・プログラム製品。
前記質問ジェネレータの前記選択的な修正は、前記プログラム・コードが核サンプリングを採用して前記第１の合成質問とは異なる前記１つまたは複数の合成質問を生成することを含む、請求項７に記載のコンピュータ・プログラム製品。
前記生成された第１の合成質問の変化の最適化は、前記プログラム・コードが前記生成された第１の合成質問を多様性スコアで表し、前記多様性スコアに基づき前記訓練されたニューラル・ネットワークの１つまたは複数のパラメータを修正することを含み、前記最適化は、前記第１の合成質問と同様のコンテキストを有する前記訓練されたニューラル・ネットワークからの出力としての第２の合成質問の産生を緩和する、請求項８に記載のコンピュータ・プログラム製品。
前記プログラムが、前記第１の生成された回答と前記グラウンド・トゥルース回答との比較により、前記生成された第１の合成質問の精度を評価し、前記精度評価を精度スコアで定量化すること、ならびに前記プログラム・コードが、前記精度スコアに応答する１つまたは複数の合成質問生成パラメータを選択的に修正することをさらに含む、請求項９に記載のコンピュータ・プログラム製品。
前記プログラム・コードが、前記精度スコアと前記多様性スコアとの凸結合として報酬関数を計算し、前記計算された報酬関数に応答する１つまたは複数の質問生成パラメータを選択的に修正すること、ならびに前記修正が、前記生成された第１の合成質問と意味的に類似した第２の合成質問の産生を緩和することをさらに含む、請求項１０に記載のコンピュータ・プログラム製品。
前記プログラム・コードが、前記報酬関数の１つまたは複数のコンポーネントを選択的に優先順位付けするように前記凸結合を調整することをさらに含む、請求項１１に記載のコンピュータ・プログラム製品。
訓練されたニューラル・ネットワークにグラウンド・トゥルースの第１のパッセージおよびグラウンド・トゥルースの第１の回答を入力し、前記訓練されたニューラル・ネットワーク内の質問ジェネレータによって生成された第１の合成質問を取得することであって、前記生成された第１の合成質問は、前記グラウンド・トゥルースの第１のパッセージと第１の回答とに意味的な対応を有すること、
前記訓練されたニューラル・ネットワークに前記第１の合成質問を入力し、前記訓練されたニューラル・ネットワークによって生成された第１の回答を前記グラウンド・トゥルース・パッセージから取得することであって、前記第１の回答は、前記生成された第１の合成質問および前記グラウンド・トゥルース・パッセージに意味的に関連すること、
前記生成された前記第１の回答に関する前記生成された第１の合成質問を自動的に評価することであって、前記評価は、前記生成された第１の合成質問の多様性および精度を把握する報酬関数を組み込むためのものであること、
強化学習を採用し、前記評価に応答する前記質問ジェネレータを選択的に修正することであって、修正された質問ジェネレータは、前記修正前よりもテキストの多様性が増加した１つまたは複数の合成質問を生じること
を含む、コンピュータ実装方法。
前記質問ジェネレータの前記選択的な修正は、核サンプリングを採用して前記第１の合成質問とは異なる前記１つまたは複数の合成質問を生成することを含む、請求項１３に記載のコンピュータ実装方法。
前記生成された第１の合成質問の変化の最適化は、前記生成された第１の合成質問を多様性スコアで表すこと、ならびに前記多様性スコアに基づき前記訓練されたニューラル・ネットワークの１つまたは複数のパラメータを修正することを含み、前記最適化は、前記第１の合成質問と同様のコンテキストを有する前記訓練されたニューラル・ネットワークからの出力としての第２の合成質問の生成を緩和する、請求項１４に記載のコンピュータ実装方法。
前記第１の生成された回答と前記グラウンド・トゥルース回答との比較により、前記生成された第１の合成質問の精度を評価し、前記精度評価を精度スコアで定量化すること、ならびに前記精度スコアに応答する１つまたは複数の合成質問生成パラメータを選択的に修正することをさらに含む、請求項１５に記載のコンピュータ実装方法。
前記精度スコアと前記多様性スコアとの凸結合として前記報酬関数を計算すること、ならびに前記計算された報酬関数に応答する１つまたは複数の質問生成パラメータを選択的に修正することをさらに含み、前記修正は、前記生成された第１の合成質問と意味的に類似した第２の合成質問の産生を緩和する、請求項１６に記載のコンピュータ実装方法。
前記報酬関数の１つまたは複数のコンポーネントを選択的に優先順位付けするように前記凸結合を調整することをさらに含む、請求項１７に記載のコンピュータ実装方法。