JP6562982B2 - 対話システム、対話方法、および対話システムを適合させる方法 - Google Patents

Description

本開示は、対話システム、対話方法、および対話システムを適合させる方法に関する。

対話システム、例えば音声対話システム（ＳＤＳ）は、例えば、自動化されたコールセンター、支援技術、音声駆動型またはテキスト駆動型の対話型モバイルアプリケーション、ウェアラブルデバイスおよびヒューマンロボットインタラクション用の音声インターフェースまたはテキストインターフェースなどの多くの適用において使用されており、人間と対話すること、例えば、人間と言葉で対話することが意図されている。

対話システムは、あらかじめ定義されたドメイン固有オントロジーと、特定のあらかじめ定義されたドメイン内で機能するように学習されたポリシーモデルとを使用し得る。マルチドメイン対話システムは、入力に最も密接に合致するあらかじめ定義されたドメインを識別するために話題追跡部を使用して、あらかじめ定義されたドメインオントロジーおよび対応する対話ポリシーを切り換え得る。

複数のドメインにわたって動作可能であるが、学習と、メンテナンスと、システムに必要とされる人間設計入力とを減少させる対話システムを作製することが継続的に必要とされている。

以下、添付の図面を参照しながら非限定的な構成によるシステムおよび方法を説明する。
図１（ａ）は、音声対話システムの概略図である。 図１（ｂ）は、例示的なＳＤＳアーキテクチャの概要である。 図２は、対話システムによって実行される例示的な方法を示すフローチャートである。 図３は、関連カテゴリを識別するために識別子モデルによって実行される例示的な方法を示すフローチャートである。 図４は、ドメイン非依存パラメータ化を使用する、対話システムによって実行される例示的な方法を示すフローチャートである。 図５は、ポリシーモデルを学習する例示的な方法のフローチャートである。 図６は、対話ポリシーモデルを学習する方法の概略図である。 図７は、システムアーキテクチャの概略図である。 図８は、パラメータ化されたポリシーを学習するための例示的な方法を示す。 図９は、第１のオントロジーを用いて第１のドメインにおいてポリシーを学習し、そのポリシーを、エンドユーザオントロジーを用いてエンドユーザドメインに移すためのさらなる方法を概略的に示す。 図１０は、識別子モデルを学習する例示的な方法のフローチャートを示す。 図１１（ａ）は、音声対話方法の評価結果を示すグラフである。 図１１（ｂ）は、音声対話方法の評価結果を示すグラフである。

ユーザから発生した音声信号またはテキスト信号に関するデータを受け取るための入力部と、
アクションによって指定された情報を出力するための出力部と、
１つまたは複数の状態追跡モデルを使用して入力データに基づいて１つまたは複数のシステム状態を更新することと、ここで、１つまたは複数のシステム状態は、複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備え、カテゴリは、音声信号またはテキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとることができる、
アクション関数を決定し、システム状態を使用して生成された情報と記憶された情報のセットとをポリシーモデルに入力することによってアクション関数入力を決定することと、ここで、記憶された情報のセットは、複数のアクション関数を備える、
決定されたアクション関数および決定されたアクション関数入力によって指定された情報を出力部において出力することを行うように構成されたプロセッサと
を備える対話システムが提供される。

複数のカテゴリは、複数の異なるあらかじめ定義されたドメイン固有オントロジーからのものであり、あらかじめ定義されたドメインは、特定の対話話題に対応し、あらかじめ定義されたドメイン固有オントロジーは、特定の対話話題に関する複数のカテゴリを備え、複数のアクション関数は、ドメインに依存しない。

複数のアクション関数は、greet、goodbye、inform、confirm、select、request、request more、およびrepeatのうちの１つまたは複数を備えてもよい。

システム状態を使用して生成された入力される情報または記憶された情報のセットは、可能なアクション関数入力のセットを備える。アクション関数入力は、カテゴリを備えてもよい。各アクション関数入力は、カテゴリであってもよい。

任意で、アクション関数を決定し、アクション関数入力を決定することは、可能なアクション関数入力ごとに、値のベクトルを生成することを備え、ここで、各ベクトル内の各値は、アクション関数に対応し、アクション関数およびアクション関数入力が出力情報を生成するために使用される場合における対話性能の推定値であり、値は、記憶されたパラメータから生成され、決定されたアクション関数およびアクション関数入力は、ベクトルのすべてからの最高値に対応するアクション関数に対応する。

ポリシーモデルは、ニューラルネットワークを備えてもよい。任意に、アクション関数を決め、アクション関数入力を決めることは、同様にシステム状態とともに各可能なアクション関数入力をニューラルネットワークに入力することを含む。ニューラルネットワークは、入力ごとに、値のベクトルを生成するように構成され、各ベクトル内の各値は、アクション関数に対応し、アクション関数およびアクション関数入力が出力情報を生成するために使用される場合における対話性能の推定値である。ニューラルネットワークは、各ベクトルに関する最高値に対応するアクション関数を出力する。決定されたアクション関数およびアクション関数入力は、ベクトルのすべてからの最高値に対応するアクション関数に対応する。

ニューラルネットワークは、オントロジーに依存しないパラメータで動作するように構成されてもよく、
プロセッサは、
１つまたは複数のオントロジーに依存しないパラメータの第１のセットに関してシステム状態を使用して生成された情報をパラメータ化することと、
ニューラルネットワークに入力された各アクション関数入力をパラメータ化することと
を行うようにさらに構成される。

各アクション関数入力は、パラメータ化され、パラメータは、アクション関数入力に関する値のベクトルを生成するために使用され、値のベクトルの各々は、ドメイン固有アクション関数入力に対応する。

システム入力部は、音声信号を受け取るためのものであってもよく、出力部は、音声信号を出力するための出力部であり、
プロセッサは、
入力音声信号から、関連付けられた確率（associated probability）を有する自動音声認識仮説を生成すること、
アクションに基づいてテキストを生成することと、
テキストを、出力されることになる音声に変換することと
を行うようにさらに構成される。

アクション関数入力がカテゴリを備える場合、プロセッサは、
１つまたは複数の関連カテゴリを識別することと、
関連カテゴリの各々に関する複数の可能な値のうちの１つまたは複数に関連付けられた確率値を備える減少されたシステム状態（reduced system state）を生成することと、ここで、減少されたシステム状態の少なくとも一部は、モデルに入力される、
を行うようにさらに構成されてもよい。

アクション関数入力がカテゴリを備える場合、プロセッサは、
１つまたは複数の関連カテゴリを識別することと、
関連すると識別されないカテゴリを、システム状態およびニューラルネットワークに入力されるアクション関数入力から除外することと
を行うようにさらに構成されてもよい。

アクション関数入力が、記憶される情報のセットに備わっている場合、記憶される情報のセットは、関連しないカテゴリを除外する。

アクション関数入力が、更新されたシステム状態を使用して生成される情報に備わっている場合、アクション関数入力は、減少されたシステム状態から得られる。減少されたシステム状態はまた、ポリシーモデルに入力される。それは、入力される前にパラメータ化されてもよい。

１つまたは複数の関連カテゴリを識別することは、更新されたシステム状態情報の少なくとも一部を識別子モデルに入力することを備え、識別子モデルは、更新されたシステム状態に基づいて各カテゴリが関連する確率を求め、閾値よりも高い確率を有するカテゴリである関連カテゴリを識別し、関連カテゴリは、異なるあらかじめ定義されたドメイン固有オントロジーからのカテゴリを備え、減少されたシステム状態は、関連すると識別されなかったカテゴリのいずれかに関する複数の可能な値のいずれかに関連付けられた確率値を備えない。

１つまたは複数の関連カテゴリを識別することは、更新されたシステム状態情報の少なくとも一部を対話話題追跡モデルに入力することを備え、対話話題追跡モデルは、更新されたシステム状態に基づいて各対話話題が関連する確率を求め、最も関連する対話話題を識別し、関連カテゴリは、最も関連する対話話題に対応するあらかじめ定義されたドメイン固有オントロジーからのカテゴリを備え、減少されたシステム状態は、関連すると識別されなかったカテゴリのいずれかに関する複数の可能な値のいずれかに関連付けられた確率値を備えない。

カテゴリは、スロットであってもよい。

１つまたは複数のシステム状態を更新することは、複数の状態追跡モデルを使用して入力データに基づいて複数のシステム状態を更新することを備え、各システム状態は、あらかじめ定義されたドメインに関連付けられた複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備える。

ユーザから発生した音声信号またはテキスト信号に関するデータを受け取ることと、
１つまたは複数の状態追跡モデルを使用して入力データに基づいて１つまたは複数のシステム状態を更新することと、ここで、１つまたは複数のシステム状態は、複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備え、カテゴリは、音声信号またはテキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとることができる、
アクション関数を決定し、システム状態を使用して生成された情報と記憶された情報のセットとをポリシーモデルに入力することによってアクション関数入力を決定することと、ここで、記憶された情報のセットは、複数のアクション関数を備える、
決定されたアクション関数および決定されたアクション関数入力によって指定された情報を出力部において出力することと
を備える対話方法がさらに提供される。

人間またはシミュレートされた人間（simulated human）との対話を入力するために対話システムを繰り返し使用し、各対話に関する性能インジケータを提供することによって、対話システムを適合させる方法であって、
対話における音声信号またはテキスト信号に関するデータを受け取ることと、
状態追跡モデルを使用して入力データに基づいてシステム状態を更新することと、ここで、システム状態は、複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備え、カテゴリは、音声信号またはテキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとることができる、
アクション関数を決定し、システム状態を使用して生成された情報と記憶された情報のセットとをポリシーモデルに入力することによってアクション関数入力を決定することと、ここで、記憶された情報のセットは、複数のアクション関数を備える、
決定されたアクション関数および決定されたアクション関数入力によって指定された情報を出力部において出力することと、
性能インジケータを増加させるようにポリシーモデルを適合させることと
を備える方法がさらに提供される。

システム状態を使用して生成された入力される情報または記憶された情報のセットは、可能なアクション関数入力のセットを備えてもよく、
アクション関数を決定し、アクション関数入力を決定することは、
可能なアクション関数入力ごとに、値のベクトルを生成することと、ここで、各ベクトル内の各値は、アクション関数に対応し、アクション関数およびアクション関数入力が出力情報を生成するために使用される場合における対話性能の推定値であり、値は、記憶されたパラメータから生成される、
ベクトルごとに、最も高い値に対応するアクション関数を識別することと
を備え、
決定されたアクション関数およびアクション関数入力は、ベクトルのすべてからの最高値に対応するアクション関数に対応し、
ポリシーモデルを適合させることは、性能インジケータに基づいて記憶されたパラメータを更新することを備える。

システム状態を使用して生成された入力される情報または記憶された情報のセットは、複数のアクション関数入力を備え、アクション関数入力は、カテゴリを備え、
方法は、１つまたは複数の関連カテゴリを識別することをさらに備え、
情報のセットは、関連すると識別されなかったカテゴリを除外し、
システム状態は、関連カテゴリの各々に関する複数の可能な値のうちの１つまたは複数に関連付けられた確率値を備える減少されたシステム状態である。

１つまたは複数の関連カテゴリは、識別子モデルを使用して入力システム状態情報の少なくとも一部に基づいて識別されてもよい。

方法は、対話内に存在するカテゴリごとに、達成された性能インジケータと最大可能性能インジケータの比の累積移動平均をカテゴリ重要性の推定値として決定することをさらに備えてもよく、重要性は、パラメータの第２のセットのうちの１つとして使用される。

方法は、対話内のカテゴリごとに、対話内の相対位置の累積移動平均をカテゴリ優先度の推定値として決定することをさらに備えてもよく、優先度が、パラメータの第２のセットのうちの１つとして使用される。

上記方法のいずれかをコンピュータに実行させるように構成されたコンピュータ可読コードを備える搬送媒体がさらに提供される。

実施形態によるいくつかの方法は、ソフトウェアによって実施可能であるので、いくつかの実施形態は、任意の適切な搬送媒体上に、汎用コンピュータに提供されるコンピュータコードを含む。搬送媒体は、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気デバイスもしくはプログラマブルメモリデバイスなどの記憶媒体、または、任意の信号、例えば、電気信号、光信号、もしくはマイクロ波信号などの任意の一時的媒体を備えることができる。搬送媒体は、非一時的なコンピュータ可読記憶媒体を備えてもよい。

多くのタスク指向型音声対話システムでは、オントロジーは、複数の可能な値のうちの１つ（または複数）で満たされるべき複数のスロットを指定する。次いで、ポリシーは、タスクを完了するために、スロットを値で満たすように会話の流れを制御するように構成される。例えば、部分観測マルコフ決定過程音声対話システム（ＰＯＭＤＰ−ＳＤＳ）では、対話における各ターンにおいて、確信度スコアを有する自動音声認識（ＡＳＲ）仮説のリスト（ＡＳＲ ｎ−ｂｅｓｔリストと呼ばれる）が観測され、これは、意味表現（対話アクト）のｎ−ｂｅｓｔリストを取得するために、音声言語理解（ＳＬＵ）ユニットによって解析され得る。この後、信念状態（belief state）と呼ばれる、対話状態の分布表現（ユーザの目標と対話履歴とを備える）が、例えばＳＬＵ出力および前のシステムアクションに基づいて対話の各ターンにおいて信念を更新する対話状態追跡モデルによって維持される。ポリシーモデル１８は、意味表現における次のシステムアクションを決定し、これは、次いで、自然言語生成（ＮＬＧ）モジュールによって理解され、音声合成（ＴＴＳ：Text-to-speech）部によってユーザに読み上げられる。ポリシーモデル１８および１つまたは複数の他の構成要素は、例えば、ニューラルネットワークに接続されてもよいし、単一のニューラルネットワークによって置き換えられてもよい。

図１（ａ）は、そのようなＳＤＳ汎用アーキテクチャの一例の概要である。そのような音声対話システムは、例えば、人間ユーザ１０からの音声をテキストに変換し（自動音声認識１２）、意味情報を識別および照合し（自然言語処理部１４）、システム状態を更新し（システム状態追跡部１６）、出力アクションを生成し（ポリシーモデル１８）、アクションによって指定される必要なテキストを生成し（自然言語生成部２０）、音声を合成する（テキスト音声合成部２２）ために、いくつかの構成要素を備えてもよい。代替として、ポリシーモデル１８および１つまたは複数の他の構成要素は、例えば、単一のニューラルネットワークによって置き換えられてもよい。

図１（ｂ）は、対話システム１の概略図である。対話システム１は、情報検索ＳＤＳであってもよい。システム１は、プロセッサ３を備え、人間発話の表現である入力を得る。これは、人間発話の意味表現であってもよいし、人間発話から抽出された情報を表すデータの集まりであってもよい。それは、音声信号またはテキスト信号であってもよい。システムはまた、意味表現、テキスト信号もしくは音声信号、または他の出力情報、例えば電話機に関する電話をつなぐための命令などの、デバイスに対する、タスクを実行するための命令を出力してもよい。処理部は、対話管理部であってもよく、システム１によって行われるべきアクションを決定するためにポリシーを実施してもよい。

コンピュータプログラム５は、不揮発性メモリに記憶される。不揮発性メモリはプロセッサ３によってアクセスされ、記憶されたコンピュータプログラムコードは、プロセッサ３によって読み出され、実行される。記憶部７は、プログラム５によって使用されるデータを記憶する。

システム１は、入力モジュール１１をさらに備える。入力モジュール１１は、音声信号またはテキスト信号に関するデータを受け取るための入力部１５に接続される。入力部１５は、ユーザがデータを直接に入力することを可能にするインターフェース、例えばマイクロホンまたはキーボードであってもよい。代替として、入力部１５は、外部記憶媒体またはネットワークからデータを受け取るための受信器であってもよい。表現は、意味解読器（semantic decoder）から受け取られてもよい。

システム１は、出力モジュール１３をさらに備えてもよい。出力モジュール１３に接続されているのは、出力部１７であってもよい。出力部１７は、ユーザにデータを提供するインターフェース、例えば、スクリーン、ヘッドフォン、またはスピーカであってもよい。代替として、出力部１７は、外部記憶媒体またはネットワークにデータを送信するための送信器であってもよい。代替として、出力部１７は、別のデバイスまたはデバイスの一部に命令を提供してもよい。

使用に際して、システム１は、入力部１５を通して音声信号またはテキスト信号を受け取る。プログラム５は、以下の図を参照して説明される様式で、プロセッサ３上で実行される。プログラム５は、出力部１７においてテキスト信号または音声信号を出力し得る。

システム１は、以下の図を参照して説明される様式で構成および適合されてもよい。音声対話システムの例が説明され得るが、任意の対話システム、例えばテキストベースの対話システムが、同様に動作し、構成されてもよい。

図２は、対話システムによって実行される例示的な方法を示すフローチャートである。

システムは、記憶部７内にオントロジー情報を記憶する。オントロジー情報は、アクション関数と、カテゴリと、カテゴリに関する可能な値とを備える。

カテゴリは、音声信号またはテキスト信号が関連し得る主題に対応し、カテゴリに対応する可能な値のセットからの１つまたは複数の値をとる（take on）ことができる。カテゴリは、例えば、情報検索ＳＤＳにおけるスロットであってもよい。

アクション関数は、通信関数（communicative function）である。アクション関数は、アクション関数入力をとる。アクションは、アクション関数入力をアクション関数と組み合わせることによって生成される。フルシステムアクション（full system actions）の場合、アクション関数入力は、ヌルである（例えば、ｒｅｑｍｏｒｅ（）、ｈｅｌｌｏ（）、ｔｈａｎｋｙｏｕ（）、…などのアクションの場合）ことがあり、１つまたは複数のカテゴリを備える（例えば、ｒｅｑｕｅｓｔ（ｆｏｏｄ）、…などのアクションの場合）ことがあり、または、１つまたは複数のカテゴリと、各カテゴリに関する１つまたは複数の値とを備える（例えば、ｃｏｎｆｉｒｍ（ａｒｅａ＝ｎｏｒｔｈ）、ｓｅｌｅｃｔ（ｆｏｏｄ＝Ｃｈｉｎｅｓｅ，ｆｏｏｄ＝Ｊａｐａｎｅｓｅ）、ｏｆｆｅｒ（ｎａｍｅ＝“Ｐｅｋｉｎｇ Ｒｅｓｔａｕｒａｎｔ”，ｆｏｏｄ＝Ｃｈｉｎｅｓｅ，ａｒｅａ＝ｃｅｎｔｒｅ）、…などのアクションの場合）ことがある。後で説明される要約アクションの場合、アクション関数入力は、ヌルであることがあり、または１つまたは複数のカテゴリを備えることがある。値は含まれない。例えば、アクション関数入力が１つのカテゴリである要約アクションのみが使用されることがある。この場合、各アクション関数入力は、単一のカテゴリである。

各カテゴリは、システムが、複数の異なるあらかじめ定義されたドメイン固有オントロジーからのオントロジー情報を記憶することができるように、１つまたは複数のあらかじめ定義されたドメイン固有オントロジーに対応する。あらかじめ定義されたドメインは、特定の対話話題に対応する。あらかじめ定義されたドメインは、例えば、特定の基準に合致するいくつかのレストランをユーザに提供すること、または購入者にとって適切なラップトップを識別することなど、対話のタイプおよび目的に固有であってもよい。あらかじめ定義されたドメインは、そのドメインに固有のエンティティのタイプと性質と相互関係とを備えるドメイン固有オントロジーを有してもよい。あらかじめ定義されたドメイン固有オントロジーは、特定の対話話題に関する複数のカテゴリを備えてもよい。

アクション関数は、あらかじめ定義されたドメインに依存しない。アクション関数から生成されるアクションは、アクション関数入力がヌルである場合は、あらかじめ定義されたドメインに依存しないが、アクション関数入力がカテゴリを備える場合は、ドメインに依存する。

いくつかのあらかじめ定義されたドメイン固有オントロジーからの情報は、本システム内に記憶され、単一のマルチ事前定義ドメインオントロジー（single, multi-pre-defined-domain ontology）であると見なすことができる。したがって、システムは、ドメインに依存しないアクション関数を備え、カテゴリと、複数のあらかじめ定義されたドメインＤ_１〜Ｄ_Ｎの各々に関する可能な値のセットとをさらに備える、オントロジー情報を記憶する。ここで、Ｎは、あらかじめ定義されたドメインの総数を表すために使用される。１つまたは複数のあらかじめ定義されたドメインからのオントロジー情報は、いずれの段階においても、追加または除去可能である。

ドメインに依存しないパラメータを使用してカテゴリをパラメータ化することによって、カテゴリは、ドメインに依存しないようにされ得る。そのようなシステムでは、アクションは、アクション関数と、アクション関数入力としてパラメータ化されたカテゴリ（またはヌル）とを備える。これらのアクションは、この形式では、現在の対話ターンに関するパラメータ化されたシステム状態とともに、ポリシーモデルに入力される。したがって、パラメータ化されたアクション関数入力と組み合わされたアクション関数を備えるアクションのリストがポリシーモデルに入力され、ポリシーモデルは、パラメータ化された入力と組み合わされたアクション関数を備えるこれらのアクションのうちの１つを選択および出力する。したがって、ポリシーモデル出力から「真の」アクション−スロットペアへのいくつかの種類のマッピング、すなわち、アクション関数とアクション関数入力としてのドメインに依存したスロット（パラメータ化されていない）とを備えるアクションへのマッピングが必要である。パラメータ化によって、ポリシーは、各あらかじめ定義されたドメインの詳細から抽象することが可能である。しかしながら、そのようなシステムは、依然として、選択されたアクションを真のドメインに依存した空間に戻してマップするために、手動で作成されたルールを使用し得る。しかしながら、以下で説明される方法では、そのようなマッピングは自動化され得る、すなわち、ポリシーモデルは、ドメインに依存しないアクション関数と、別個の、ドメインに依存した入力（またはヌル入力）とを出力し得る。

以下で説明されるシステムおよび方法における対話ポリシーモデルは、各対話ターンにおいて２つの決定を行うように構成される。言い換えれば、各対話ターンにおいて１つの決定（どのアクションを出力するか）を行う代わりに、対話ポリシーモデルは、２つの決定、すなわち、１）どのドメインに依存しないアクション関数を行うか、２）どのアクション関数入力（例えばカテゴリ）を選択するか、を行う。ポリシーは、ドメイン固有アクション関数入力を決定し、それによって、アクション−スロットペアを自動的に生成するように構成され得る。これは、ドメインに依存したアクション関数入力ごとに値のベクトルを生成することによって行われる。各ベクトル内の各値は、アクション関数に対応し、アクション関数およびアクション関数入力が選択される（例えば、Ｑ値）場合における対話性能の推定値である。値は、記憶されたパラメータから生成され、ベクトルに対応するアクション関数入力のパラメータ化された形式を使用して生成される。ベクトルごとに、最高値に対応するアクション関数が識別される。対話ターンに関して出力された決定されたアクション関数およびアクション関数入力は、ベクトルのすべてからの最高値に対応するアクション関数（および、この最高値が見出されたベクトルに対応するアクション関数入力）に対応する。この様式で２つの決定（どのアクション関数をとるか、およびどのドメイン依存入力（例えばスロット）を選択するか）を行うことによって、ポリシーモデルは、一般的なアクション−スロットペアをドメイン固有アクション−スロットペアに自動的に変換する。

ポリシーモデルへの入力は、設定された数のドメインに依存しないアクション関数を備えるので、アクションカーネルはあらかじめ定義されたドメインの数およびサイズに関して固定されるため、ＧＰ−ＳＡＲＳＡなどのカーネル方法は、容易にスケーリングすることが可能であり得る。そのうえ、アクションの数が固定されるので、ニューラルネットワーク（ＮＮ）手法が使用されてもよい。ポリシーが決定することが必要であるアクション関数の数を制限することによって、後者は、アクションとスロットの両方に関して、任意の所与のあらかじめ定義されたドメインのサイズに依存しない。ドメイン非依存パラメータ化が使用されるとき、ＮＮモデルは、アクション関数の数、および使用されるパラメータ特徴の数に依存する。より多くのスロットが追加される（すなわち、より多くのドメイン）場合であっても、それらは、依然として、同じサイズのＤＩＰベクトルにマップされ、そのため、ＮＮモデルは、固定されたサイズのままである。

カテゴリのドメイン非依存パラメータ化とともに使用されるとき、対話ポリシーは、ドメインに依存しないスロット−アクション空間内で動作することができ、これは、Ｑ値が、アクション関数入力ごとのドメインに依存しないパラメータとドメインに依存しないアクション関数とを使用して生成されることを意味する。しかしながら、Ｑ値は、ドメインに依存したスロットごとに一度に生成され、これは、出力がドメイン固有アクション関数入力を備えることを意味する。したがって、Ｑ値を生成するために使用されるスロットは、ドメインに依存しないパラメータに関して定義され、アクションは、別個のドメインに依存しないアクション関数によって置き換えられる。アクションに対するドメイン独立性は、特定のドメインではなく対話の進捗に関連する一般的なアクション関数のセットを定義することによって達成される。そのようなアクションの例示的なセットは、［ｈｅｌｌｏ，ｂｙｅ，ｉｎｆｏｒｍ，ｃｏｎｆｉｒｍ，ｓｅｌｅｃｔ，ｒｅｑｕｅｓｔ，ｒｅｑｕｅｓｔ ｍｏｒｅ，ｒｅｐｅａｔ］であってもよい。次いで、学習アルゴリズムは、現在の状態（スロットが、ドメインに依存しないパラメータに関して定義される）を入力としてとり、ドメインに依存しないアクション関数ならびにドメイン固有スロットを出力する。これは、各Ｑ値が、ドメイン固有入力（スロット）に対応するが、入力に対応するドメインに依存しないパラメータを使用して生成される場合、Ｑ値が生成されると、リアルタイムでスロットをパラメータ化することによって行われる。したがって、対話が進むと、ポリシーモデルは、ドメインに依存しないパラメータを使用して、ドメイン固有入力（スロット）のための確率分布を生成する。しかしながら、更新されたシステム状態は、ポリシーモデルに入力される前にパラメータ化される。

図２に関連して説明される方法は、一般的なケースに関する。図４は、ドメイン非依存パラメータ化が使用される方法を示す。

ステップＳ２０１では、人間発話の表現、例えば入力音声信号または入力テキスト信号が受け取られる。発話は、ユーザとの対話の一部である。

入力音声信号が受け取られる場合、システムは、入力音声からテキスト信号を生成するために、自動音声認識（ＡＳＲ）モジュールを備えてもよい。

システムは、自然言語処理部モジュールをさらに備えてもよく、自然言語処理部モジュールは、入力テキスト信号、またはＡＳＲモジュールによって生成されるテキスト信号から、関連付けられた確率を有する言語理解仮説のｎ−ｂｅｓｔリストを生成する。

Ｓ２０２では、システム状態は、状態追跡モデルを使用して入力に基づいて更新される。システム状態は、対話状態と呼ばれることもある。追跡モデルは、意図認識モデルであってもよい。テキストおよびＳ２０１において生成された関連付けられた確信度スコアが追跡モデルに入力され、追跡モデルは、更新されたシステム状態を出力する。例えば、Ｓ２０１から出力される仮説（例えば、関連付けられた最大の確率を有する仮説のみであってもよい）のｎ−ｂｅｓｔリストは、状態追跡モデルに入力される。状態追跡モデルは、仮説を考慮して、スロット値に確率分布を使用し、これはメモリに記憶される。

システム状態は、複数のカテゴリの各々に対する複数の可能な値の各々に関連付けられた確率値を備える。

カテゴリは、例えばタスク指向型音声対話システムにおいて、スロットであってもよい。そのようなシステムでは、ポリシーは一般に、タスクを完了するために、スロットを値で満たすように会話の流れを制御するように構成される。各スロットは、２つ以上の値に関連付けられ、値は、対話管理部がスロットに関して認識することができる可能な妥当な応答である。例えば、あらかじめ定義されたドメイン「レストラン」では、スロットは「価格」であってもよく、可能な値は「低い」、「中間」、および「高い」であってもよい。

いくつかの場合、スロットは、可能な値「提供される」と「提供されない」とを持ち得る。例えば、ユーザが特定のレストランを名前で探しているケースでは、恣意的なレストラン名が変数に保存され、スロットは、２つの値、すなわち、「レストラン名が提供された」と「レストラン名が提供されていない」とをとる。変数は、レストランの実際の名前を記憶するために使用される。例えば、最初は、変数は空であり、スロットは値「名前が提供されていない」を有する。ユーザが「Ｗｏｋ−ｗｏｋレストラン」を求める場合、変数はその名前を記憶し、スロットは、「名前が提供された」という値をとる。スロットおよび値のみが（その後のステップＳ２０６において）ポリシーモデルに入力されるが、実際のレストラン名は単に、システム状態の一部として記憶される。アクションが（その後のステップＳ２０６において）ポリシーモデルによって生成されると、変数がアクションに追加され、例えば、ｉｎｆｏｒｍ（ｎａｍｅ＝‘Ｗｏｋ−ｗｏｋ’）である。

状態追跡モデルは、ＰＯＭＤＰベースのモデルであってもよく、この場合のシステム状態は信念状態である。以下の例は、ＰＯＭＤＰベースの信念状態追跡モデルを使用するシステムに関して説明されるが、他のシステム、例えばマルコフ決定過程音声対話システム（ＭＤＰ−ＳＤＳ）が使用されてもよいことが理解されるべきである。

信念状態は、対話系列内のシステムの観測のうちのいくつかまたはすべてを備えてもよいし、これを表してもよく、観測は、システムへの入力である。したがって、信念状態は、対話系列内でユーザによって行われたシステムへの先行する入力のすべてを追跡してもよいし、これらを備えてもよいし、これらによって決定されてもよい。したがって、信念状態は、完全な対話履歴と文脈とを提供し得る。

したがって、Ｓ２０２では、時間ｔにおいて発生する対話内の入力音声信号または入力テキスト信号に対して、信念状態が更新され、
を与える。時間ｔにおける信念状態
は、各スロットｓに対する信念のベクトルｂ_ｓを備える。スロットｓに対する信念は、スロットが各可能な値を有する確率のセットであってもよい。例えば、スロット「価格」に対して、値および確率は、［ｅｍｐｔｙ（空）：０．１５，ｃｈｅａｐ（安価）：０．３５，ｍｏｄｅｒａｔｅ（中間）：０．１，ｅｘｐｅｎｓｉｖｅ（高価）：０．４］であってもよい。これらの確率は、新しい入力発話に基づいて、各タイムスロットｔにおいて追跡モデルによって更新される。信念追跡モデルは、入力発話をスロット値にマップし、それに応じて確率を更新する、記憶された学習されたモデルである。

信念状態は、スロットに依存しない信念、例えば、対話履歴に関連する信念も備えてもよい。信念状態は、複数のスロットの値、例えば、価格および所在地に対する確率分布である（ユーザが「安価なレストラン」と「町の中心部」の両方を言った確率）共同信念も備えてもよい。

任意で、複数の状態追跡モデルがＳ２０２において使用される。上記で説明されたように、システムは、複数の異なるあらかじめ定義されたドメイン固有オントロジーからのオントロジー情報を記憶する。システムは、複数のあらかじめ定義されたドメインに、またはあらかじめ定義されたドメインのうちの各々に対応する、複数の状態追跡モデルを備えてもよい。各状態追跡モデルは、特定のあらかじめ定義されたドメインに関連付けられた複数のスロットのうちの各々に対する複数の可能な値のうちの各々に関連付けられた確率値を備える、あらかじめ定義されたドメイン固有信念状態を更新する。したがって、時間ｔにおいて、複数の信念状態
が生成される。ここで、添字ｎは、あらかじめ定義されたドメインを識別するために使用される。各信念状態
は、別個の追跡モデルによって生成され、別個の追跡モデルは、特定のあらかじめ定義されたドメインのための実施の前に学習される、すなわち、別個の追跡モデルは、そのあらかじめ定義されたドメインに関するデータを使用して学習される。信念状態
は、ドメインＤ_ｎからの各スロットｓに対する信念のベクトルｂ_ｓを備える。
次いで、単一の複合信念状態
は、Ｎ個の信念状態から形成され得る。複合信念状態は、あらかじめ定義されたドメインのすべてからの各一意のスロットに対する信念のベクトルｂ_ｓを備える。一意のスロットのみが保たれる。言い換えれば、あらかじめ定義されたドメインは、（所在地、価格などについての信念などの）重複した特徴を有してもよいので、各重複した特徴は、複合信念状態内に１回のみ含まれる。スロットが多くのドメイン固有信念状態内に存在する場合、例えば、最高確率を有するスロットが選択され、複合信念状態に使用されてもよい。スロットが現在のターンで言及されていない場合、最新の確率が、そのスロットに使用される。

この複合信念状態は、特定のあらかじめ定義されたドメインに固有でないが、あらかじめ定義されたドメインのすべてに対する信念を含む。したがって、この場合、ステップＳ２０２は、２つのステップ、すなわち、あらかじめ定義されたドメインごとに信念状態を更新することと、複合信念状態を形成することとを備える。対話内で時間ｔに入力された入力音声信号または入力テキスト信号のためのＳ２０２の出力は、複数のあらかじめ定義されたドメインにわたる各一意のスロットに対する信念を備える信念状態
である。

代替として、単一の状態追跡モデルが使用される。この状態追跡モデルは、複数のあらかじめ定義されたドメインに関するデータに対する実施の前に学習される。この状態追跡モデルは、時間ｔにおける単一のグローバル信念状態
を出力し、このグローバル信念状態は、複数のあらかじめ定義されたドメインにわたる各一意のスロットに対する信念を備える。

代替として、複合信念状態を生成する代わりに、あらかじめ定義されたドメインごとに別個のシステム状態が維持される。

任意で、Ｓ２０３において、現在のシステム状態に関する関連カテゴリが識別される。以下で説明されるＳ２０３からＳ２０５は任意のものであり、代替として、あらかじめ定義されたドメインにわたる複合信念状態、またはあらかじめ定義されたドメインにわたる複数の信念状態が、あらかじめ定義されたドメイン全体からのオントロジー情報のセットとともに使用され、Ｓ２０６においてポリシーモデルに入力されることが理解されるべきである。カテゴリは、システム状態内に備えられるので、任意で、情報のセットは、アクション関数入力を含まないことがあり、これらは、システム状態から取り出されてもよい。この場合、情報のセットは単に、アクション関数を備える。

任意で、Ｓ２０３において、話題追跡モデルは、入力に最も密接に合致するあらかじめ定義されたドメインを識別するために使用されてもよい。この場合、Ｓ２０３は、あらかじめ定義されたドメインを識別し、次いで、あらかじめ定義されたドメインからカテゴリを決定論的に選択することを備える。対話中のターンごとの話題追跡モデルへの入力は、テキスト形式でのユーザの発話である。話題追跡部は、（文を利用可能なドメインのうちの１つに分類するように構成された）１つのモデル、または（例えば、最高スコアを有するドメインを見出すために）組み合わされた、（各々が、発話が特定のドメインに属する確信度スコアを与えるように構成された）複数のモデルのいずれかであってもよい。マルチドメインシステム状態は、依然として、最初は、ドメイン間での情報の共有を可能にするために（例えば、ユーザが中心部のホテルを予約し、次いで、ユーザが、近くにあるレストランを希望し得る場合）、（ドメインごとに１つの状態の代わりに）関連カテゴリが識別される前に生成され得る。代替として、複合信念状態を生成する代わりに、あらかじめ定義されたドメインごとに別個のシステム状態が維持される。

代替として、識別子モデルは、記憶されたオントロジー内の一意のカテゴリのすべてから、現在のシステム状態に関する関連カテゴリを識別する。識別された関連カテゴリのセットは、異なるあらかじめ定義されたドメイン固有オントロジーからのカテゴリを備え得る。したがって、１つまたは複数の関連カテゴリは、識別子モデルを使用して更新されたシステム状態情報の少なくとも一部に基づいて識別される。識別子モデルは、進捗する対話にどのカテゴリが関連するかを各対話ターンにおいて識別するように構成された記憶された学習されたモデルである。これによって、（その後のステップＳ２０４における）あらかじめ定義される必要のない、その場での「サブドメイン」の作成が可能になる。このオプションは、以下で図３に関連してさらに説明される。

Ｓ２０３の出力は、関連すると識別されているカテゴリのリストである。

システムは、ドメインに依存しないアクション関数とカテゴリと可能な値とを備える情報を記憶する。Ｓ２０４では、システムは、記憶された情報から情報のセットを定義し、記憶された情報は、複数のアクション関数と、あらかじめ定義されたドメイン全体からの複数のカテゴリとを備え、情報のセットは、Ｓ２０３において関連すると識別されなかったカテゴリを除外する。

あらかじめ定義されたドメインがＳ２０３において識別される場合、識別されたあらかじめ定義されたドメイン以外のドメインからのカテゴリは、このステップにおいて除外される。したがって、情報のセットは、ドメインに依存しないアクション関数と、識別されたあらかじめ定義されたドメインからのカテゴリとを備える。そうでない場合、カテゴリは、ドメイン全体からの関連すると識別されたカテゴリ（または、Ｓ２０３からＳ２０５が実行されない場合、あらかじめ定義されたドメイン全体からのすべてのカテゴリ）である。

カテゴリは、Ｓ２０３において関連すると識別され、それらのカテゴリとドメインに依存しないアクション関数とを備える情報のセットは、Ｓ２０４において決定論的に定義される。

全体的なシステムアクションａは、以下の形式、すなわち、ｆ_ａ（）（例えば、ｒｅｑｍｏｒｅ（）、ｈｅｌｌｏ（）、ｔｈａｎｋｙｏｕ（）など）、ｆ_ａ（ｓ）（例えば、ｒｅｑｕｅｓｔ（ｆｏｏｄ））、ｆ_ａ（ｓ＝ｖ）（例えば、ｃｏｎｆｉｒｍ（ａｒｅａ＝ｎｏｒｔｈ））、ｆ_ａ（ｓ＝ｖ_１;ｓ＝ｖ_２）（例えば、ｓｅｌｅｃｔ（ｆｏｏｄ＝Ｃｈｉｎｅｓｅ，ｆｏｏｄ＝Ｊａｐａｎｅｓｅ））、およびｆ_ａ（ｓ_１＝ｖ_１，ｓ_２＝ｖ_２，…，ｓ_ｎ＝ｖ_ｎ）（例えば、ｏｆｆｅｒ（ｎａｍｅ＝“Ｐｅｋｉｎｇ Ｒｅｓｔａｕｒａｎｔ”，ｆｏｏｄ＝Ｃｈｉｎｅｓｅ，ａｒｅａ＝ｃｅｎｔｒｅ））のうちの１つをとることができる。ここで、ｆ_ａは、ドメインに依存しないアクション関数、例えば、通信関数であり、ｓ_ｘおよびｖ_ｘはそれぞれ、スロットおよび値を意味する。一般に、全体的なシステムアクションは、形式ｆ_ａ（ｉ_ａ）をとり、ｉ_ａはアクション関数入力であり、ヌル、１つもしくは複数のカテゴリ、または複数のカテゴリおよびカテゴリごとの１つもしくは複数の値であってもよい。

全体的なシステムアクションの代わりに、要約アクションが使用されてもよい。要約アクションの場合、アクション関数入力ｉ_ａは、ヌルまたは１つもしくは複数のカテゴリであってもよい。アクション関数入力が単一カテゴリである要約アクションが使用されてもよい。この場合、各アクション関数入力は、単一のカテゴリである。アクション関数入力は値を備えない。要約アクションは、現在の信念状態における最大値をスロットに代入することによって、全体的なシステムアクションに戻してマップ可能である。したがって、要約アクションを使用すると、最大値以外の値を有するすべての全体的なシステムアクションが除外される。以下は、各アクション関数入力がカテゴリである、要約アクションを使用するシステムについて説明されるが、全体的なシステムアクションは、同様に使用可能である。

したがって、記憶された情報は、ドメインに依存しないアクション関数の記憶されたセット（例えば、ｇｒｅｅｔ、ｉｎｆｏｒｍ、ｒｅｑｕｅｓｔ、…）を備える。記憶された情報は、複数のあらかじめ定義されたドメインからのアクション関数入力、この場合はカテゴリ（例えば価格、所在地）も備える。Ｓ２０３において、関連するカテゴリが、現在のターンに関して識別され、Ｓ２０４において、アクション関数入力とアクション関数とを備える情報のセットが定義される。セットは、Ｓ２０３において識別された関連カテゴリのうちの１つでないカテゴリを含むそれらのアクション関数入力を除外することによって定義される。要約アクションが使用されるので、値は、アクション関数入力に含まれない。カテゴリは、信念状態に備わっているので、任意で、情報のセットがアクション関数入力を含まないことがあり、これらは、信念状態から取り出されてもよい。この場合、情報のセットは、各対話ターンに対して同じであり、単にアクション関数を備える。

Ｓ２０５では、減少されたシステム状態Ｂ_ｒが、Ｓ２０２において生成された複合システム状態
から生成される。減少されたシステム状態は、Ｓ２０３において識別された関連カテゴリの各々に対する複数の可能な値のうちの１つまたは複数に関連付けられた確率値を備える。したがって、あらかじめ定義されたドメインのすべてからの各一意のスロットに対する信念のベクトルｂ_ｓは、関連する信念のみのベクトルに減少される。減少されたシステム状態は、Ｓ２０３において関連すると識別されなかったカテゴリに関連付けられた確率値を備えない。

任意で、減少されたシステム状態は、スロットごとのｎ−ｂｅｓｔ値のみ、例えば、カテゴリ（要約信念）ごとの最高確率に対応する値のみを含むように要約される。あらかじめ定義されたドメインがＳ２０３において識別される場合、信念状態は、そのあらかじめ定義されたドメインからのカテゴリを備え、他のものを含まない。共同信念は、すべての対応するスロットがＳ２０３において関連すると選択されている場合、減少された信念状態内に含まれ得る。上記で説明されたように、代替として、複合信念状態（やはり要約され得る）が使用されてもよい。

Ｓ２０６では、Ｓ２０５において生成された減少されたシステム状態およびＳ２０４において定義された情報のセットが、ポリシーモデルに入力される。システムは、単一のマルチドメイン対話ポリシーモデルを使用してもよい。

ポリシーモデルは、アクション関数ｆ_ａとアクション関数入力ｉ_ａとを出力するために、実施の前に学習される。ポリシーモデルへの入力は、Ｓ２０５において生成された（例えば、カテゴリごとの関連カテゴリと最大値とを備える）減少されたシステム状態Ｂ_ｒと、Ｓ２０４において定義された（例えば、アクション関数とアクション関数入力（この場合ではカテゴリ）とを備える）オントロジー情報の記憶されたセットである。

ポリシーは、アクション関数ｆ_ａに対する確率分布とアクション関数入力ｉ_ａに対する確率分布とを定義することによって、これを行ってもよい。ポリシーモデルは、次に最大予想報酬（maximum expected reward）を有するアクションが実施中に各対話ターンにおいて選択されるように、システム状態Ｂにおいて実行されるシステムアクションａに対する予想長期報酬（expected long-term reward）を推定することによって、実施の前に最適化される。

具体的には、対話ポリシー最適化は、強化学習（ＲＬ）により解決可能であり、学習中の目標は、入力状態Ｂの場合に、アクション関数入力ｉ_ａを有するアクション関数ｆ_ａに対応する、アクションａを実行するシステムの予想累積報酬（expected cumulative reward）を反映する、各Ｂ、ｆ_ａ、およびｉ_ａに対する量Ｑ（Ｂ、ｆ_ａ、ｉ_ａ）を推定することである。これは、実施中の入力システム状態Ｂを考慮して、ｆ_ａとｉ_ａの各組み合わせに対してＱ値を生成するために使用される記憶されたパラメータのセットを学習することによって行われる。次いで、最高Ｑ値に対応するｆ_ａとｉ_ａの組み合わせが選択される。

ポリシーモデルは、記憶されたパラメータを備え、記憶されたパラメータは、入力システム状態Ｂを考えてＱ値を生成することを可能にする。システム状態Ｂは、対話ターンに対して更新される。各アクション関数入力ｉ_ａに対して、Ｑ値のベクトルが、記憶されたパラメータを使用して生成され得る。Ｑ値のベクトルは、Ｑ（Ｂ，＊，ｉ_ａ）に対応する。ベクトル内の各行は、アクション関数ｆ_ａに対応する。この場合、各ベクトルがカテゴリに対応するように、アクション関数入力はカテゴリである。各ベクトルに対して、最高Ｑ値を有するエントリ（アクション関数に対応する）が得られ、記憶された最大アクション関数とアクション関数入力とを更新するために使用される。例えば、最初に生成されたベクトルに対して、ベクトルに対するアクション関数および最大Ｑ値を有する入力は単に、最大アクション関数および入力として記憶される。その後に生成された各ベクトルに対して、ベクトルに対するアクション関数および最大Ｑ値を有する入力（および、プロセスの終了時において比較されるすべての記憶されたＱ値）も記憶されてもよいし、ベクトルに対するアクション関数および最大Ｑ値を有する入力は、すでに記憶されているアクション関数および入力と比較され、Ｑ値が記憶されたＱ値よりも大きい場合、記憶されたアクション関数および入力と置き換えられてもよい。

モデルは、最大アクション関数とアクション関数入力とを更新するたびに、ベクトルのすべて（すなわち、すべてのアクション関数入力、この場合はカテゴリ）に対して反復する。Ｑ値はリアルタイムに生成される。次いで、最高Ｑ値に対応するアクション関数ｆ_ａおよび入力ｉ_ａが選択される。Ｑ値を生成するために使用されるパラメータは、実施の前に、学習ステージ中に生成された。

したがって、入力システム状態Ｂに対するＱ値の単一ベクトルを生成する代わりに、ベクトル内の各行はアクションに対応し、ポリシーモデルは、ｆ_ａとｉ_ａの各組み合わせを入力システム状態のためにマップして、複数のＱ値のベクトルを生成する。例えば、ニューラルネットワークベースのポリシーモデルは、パラメータを記憶し、入力（パラメータ化されたスロット）を考えて、Ｑ値のベクトルを出力し得る。Ｂにおいてスロットに対して反復すること、および各々に対してネットワークの出力を観測することは、アクション関数およびアクション関数入力の選択を可能にする。ポリシーモデルは、アクション関数と、アクション関数入力とを出力する。Ｑ値Ｑ（Ｂ，ａ）を生成する代わりに、ポリシーモデルは、Ｑ値Ｑ（Ｂ，ｆ_ａ，ｉ_ａ）を生成する。

したがって、Ｓ２０５からの減少されたシステム状態Ｂ_ｒ出力およびＳ２０４からのオントロジー情報出力のセットは、Ｓ２０６においてポリシーモデルに入力され、Ｑ値のベクトルが生成される。したがって、Ｑ値の複数のベクトルがリアルタイムで生成され、入力システム状態Ｂ_ｒに対応する。各ベクトルがアクション関数入力（スロット）に対応する場合、各ベクトル内の各行はアクション関数ｆ_ａに対応する。ベクトルからの最高Ｑ値を有するエントリは、次のベクトルが生成される前に、記憶された最大アクション関数とアクション関数入力とを更新するために使用される。アクション関数入力のすべてに対するベクトルが生成されると、最高Ｑ値に対応するアクション関数入力およびアクション関数が出力される。これは、学習中に決定される最高予想長期報酬を有するアクション関数とアクション関数入力の組み合わせに対応する。次いで、このエントリに対応するアクション関数ｆ_ａおよびアクション関数入力ｉ_ａは、ポリシーモデルから出力される。

したがって、各アクション入力ｉ_ａに対して、Ｑ（Ｂ，＊，ｉ_ａ）に対応するベクトルが生成される。（アクション関数に対応する）最大値を有する位置が記憶される。すべての可能なｉ_ａにわたって反復することは、本質的に、最大ｆ_ａと最大ｉ_ａとを更新するたびに、Ｑ行列を１行ずつ検索することである。Ｑ値は３Ｄ行列であると考えられてもよく、対話ターンごとに、要素Ｑ（Ｂ，＊，＊）が考えられるが、これは２Ｄ行列である。しかしながら、この２Ｄ行列の各列は順に生成される。その「座標」がｆ_ａおよびｉ_ａに対応する最大値の所在地が発見される。ポリシーモデルは、入力Ｂとｆ_ａとｉ_ａをとり、Ｑ（Ｂ，ｆ_ａ，ｉ_ａ）を生じさせる記憶されたモデルである。

ニューラルネットワークは、入力ごとにＱ値のベクトルを生成するために使用されてもよい。したがって、パラメータ化された信念状態Ｂおよびパラメータ化されたアクション関数入力はニューラルネットワークに入力され、ニューラルネットワークは、アクション関数ｆ_ａごとにＱ値を生成し、最大Ｑ値に対応するアクション関数を出力する。ポリシーモデルは、最大Ｑ値に対応するアクション関数とアクション関数入力とを更新するために、これらの値を使用する。これは、それらを記憶されたリストに追加することによって、またはＱ値を以前に記憶された値と比較し、新しい値の方が大きい場合、以前に記憶されたアクション関数と、入力と、Ｑ値とを置き換えることによって、行われてもよい。ポリシーモデルは、最大Ｑを決定するためにすべての可能な入力（スロット）に対して反復し、この値に対応する入力とアクション関数の両方を出力する。

上記で説明されたように、要約アクションが使用される場合、アクション関数入力は単にカテゴリである。したがって、各アクション関数入力はカテゴリに対応する。ヌル入力をとるアクション関数の場合、ポリシーモデルは、依然として、アクション関数入力としてアクション関数とカテゴリとを出力する。ヌル入力を必要とするとアクション関数を認識し、カテゴリを破棄する規則が記憶されてもよい。代替として、「ヌル」は、アクション関数入力のうちの１つであってもよい。

したがって、ステップＳ２０６は、アクション関数入力ごとに値のベクトルを生成することを備え、各ベクトル内の各値は、アクション関数に対応し、アクション関数およびアクション関数入力が選択される場合における対話性能の推定値であり、値は、記憶されたパラメータから生成される。ベクトルごとに、最高値に対応するアクション関数が識別される。対話ターンに対するＳ２０６から出力された決定されたアクション関数およびアクション関数入力は、ベクトルのすべてからの最高値に対応するアクション関数に対応する。記憶されたパラメータは、学習されたパラメータである。対話性能の推定値は、対話に関する報酬関数の期待値である。

上記で説明されたように、入力されるシステム状態は、要約システム状態であってもよく、すなわち、最高確率を有する値のうちの１つまたは複数がカテゴリごとに含まれ、他の値のいずれもカテゴリに関して含まれない。

対話ポリシーは、現在のシステム状態（他の任意の特徴とともに、以前のシステムアクションを備えてもよい）を入力としてとり、次のドメインに依存しないシステムアクションと、入力（スロット）とを出力する。信念状態に含まれる他の特徴は、例えば、システムがすでにユーザに項目を示した場合、またはユーザが応じた（greeted）場合などであってもよい。入力システム状態Ｂ_ｒに対して、Ｑ値Ｑ（Ｂ_ｒ，ａ）から最大値Ｑ（これはサイズ｜Ａ｜のベクトルであり、ここで、Ｂ_ｒは与えられるので、Ａはアクションセットである）を選択する代わりに、方法は、Ｑ値Ｑ（Ｂ_ｒ，ｉ_ａ，＊）のベクトルを備えるＱの一部をリアルタイムで作成する（ここで、各ベクトルはサイズ｜Ｆ_ａ｜であり、｜Ｉ_ａ｜個のベクトルがある。ここで、Ｆ_ａはＳ２０４において定義されるアクション関数セット、Ｉ_ａはＳ２０４において定義されるアクション関数入力セットである）。したがって、これらのベクトルからの最大Ｑ値を有する、Ｉ_ａ内で入力ｉ_ａと、Ｆ_ａ内でアクション関数ｆ_ａとを発見することによって、ポリシーモデルは、適切な入力（例えばスロット）と、次のアクション関数の両方を効果的に選択する。

Ｓ２０７では、決定されたアクション関数入力は、アクションを生じさせるために、決定されたアクション関数に入力される。アクションは、ｆ_ａとｉ_ａの組み合わせｆ_ａ（ｉ_ａ）として生成される。アクション関数は関数であり、アクション関数入力（例えばスロット）は引数である。

このアクションによって指定される情報は、出力部において出力される。これは、例えば、テキスト信号であってもよいし、テキスト信号から生成された音声信号であってもよい。

上記で説明されたように、関連カテゴリは、Ｓ２０３において、話題追跡モデルを使用してあらかじめ定義されたドメインを識別することによって識別されてもよい。代替として、識別子モデルは、Ｓ２０３において関連カテゴリを識別するために使用されてもよい。これは、以下で図３に関連してさらに説明される。

Ｓ３０１では、信念状態追跡が実行される。これは、システム状態更新の一例であり、上記で説明されたＳ２０２に対応する。

Ｓ３０２では、１つまたは複数の関連カテゴリが、識別子モデルを使用して更新されたシステム状態情報の少なくとも一部に基づいて識別される。識別子モデルは、進捗する対話にどのカテゴリが関連するかを各対話ターンにおいて識別するように構成された記憶された学習されたモデルである。これは、（その後のステップＳ３０５における）あらかじめ定義される必要のない、その場での「サブドメイン」の作成を可能にする。

任意で、更新されたシステム状態の少なくとも一部は、スロットごとの上位信念（top belief）（例えば、スロット「価格」に対してｅｘｐｅｎｓｉｖｅ＝０．４）である。この場合のシステム状態は、カテゴリごとに最高確率を有するｎ個の値のみが含まれるように「要約され」、例えば、各カテゴリに対する最大値のみが含まれる。次いで、この「要約」システム状態が識別子モデルに入力され、各カテゴリに対する他の値は識別子モデルに入力されない。したがって、要約システム状態は、複数のあらかじめ定義されたドメインにわたってのカテゴリのすべてを備えるが、各スロットに対する限られた数の値および対応する確率値を備える。代替として、各カテゴリに対する可能な値のすべてが識別子モデルに入力されてもよい。

Ｓ３０２では、信念状態が抽出され、Ｓ３０３において識別子モデルに入力される。モデルは、Ｓ３０３において関連するスロットを識別し、これらをＳ３０４において出力する。ステップＳ３０２からＳ３０４は、上記で説明されたＳ２０３に相当する。

ステップＳ３０２は、Ｓ３０１において生成された更新されたシステム状態情報の少なくとも一部を識別子モデルに入力することを備える。識別子モデルは、入力システム状態をカテゴリ関連性にマップするように構成され、入力システム状態は、上記で説明された要約システム状態であってもよい。したがって、識別子は、すべてのあらかじめ定義されたドメイン間の各一意のスロットに関する関連性スコアを出力する。任意で、閾値スコアよりも大きいまたはこれに等しい関連性スコアを有するスロットが関連すると決定されるように、閾値スコアが定義されてもよい。

任意で、対話内の各新しい入力信号に関する更新されたシステム状態は、ある時間の期間にわたって記憶される。言い換えれば、対話履歴が記憶される。対話全体の間の以前のシステム状態が記憶されてもよく、次いで、対話が終了されると消去されてもよい。代替として、対話内の以前の状態のうちの１つまたは複数が順次に（on a rolling basis）記憶される。次いで、ステップＳ３０２は、以前の入力信号のうちの１つまたは複数に関する更新されたシステム状態情報の少なくとも一部を識別子モデルに入力することを備えてもよい。任意で、入力は、忘却係数によって乗算された、過去の信念状態の連結である。忘却係数は、例えば、０から１の間の数であってもよい。

任意で、サイズの窓ｗが定義可能であり、過去の信念状態の連結として生成された識別子モデルへの入力は、次のように示す。
は、２つのベクトルを連結する演算子を表す。窓ｗは、入力がどのくらい戻るかを制御する。例えば、ｗは３に等しくてもよい。ｔは離散時間指数であり、各時間ｔは入力発話に対応する。忘却係数は、より最近の信念がより大きい影響を有することを意味する。最初に、窓全体を満たすために十分でない過去の信念が対話に利用可能であるとき、対話ごとに、入力バッファはゼロで埋め込み可能である。最終的な信念状態「Ｂ_ｉｎ」は、Ｂ_ｔの特徴の数のｗ倍を有する。

次いで、Ｓ３０５において、関連するスロットが、記憶されたオントロジー（アクション関数とアクション関数入力とを備える）からサブドメインを生成するために使用される。これは、図２ではＳ２０４に相当する。情報のセットは、記憶された情報を使用して定義される。これは、Ｓ３０５において、新しいサブドメインとして出力される。このプロセスは、対話ターンごとに、すなわちユーザの発話の後に、繰り返される。

したがって、対話ターンごとに、スロット識別子モデルは、複数のあらかじめ定義されたドメインにわたる一意の特徴を備える信念状態を入力として受け取る。特徴は、例えば、スロットのための値の分布（例えば、ｐｒｉｃｅ：［ｅｍｐｔｙ：０．１５，ｃｈｅａｐ：０．３５，ｍｏｄｅｒａｔｅ：０．１，ｅｘｐｅｎｓｉｖｅ：０．４］）とすることができる。簡略化するために、スロットごとの上位信念（例えば、ｐｒｉｃｅ：［ｅｘｐｅｎｓｉｖｅ：０．４］）のみがとられてもよい。スロット識別子の出力は、現在の対話ターンに関連するスロットのセットである。これらのスロットは、実行時にサブドメインを作成し、それを現在の対話ターンに使用するために使用される。

任意で、識別子モデルはディープニューラルネットワーク（ＤＮＮ）である。学習中に、ＤＮＮは、入力信念状態を関連するスロットにマップすることを学習する。代替として、異なるように学習された他の分類器／モデルが使用可能である。識別子の学習は、以下でさらに詳細に説明される。

任意で、実施中に、統計学的識別子モデルは学習せず（すなわち、統計学的識別子モデルはその内部重みを更新しない）、信念状態を関連するスロットにマップするのみである。次いで、これらのスロットは、現在の対話ターンに対する新しいサブドメインを生成するために使用される。代替として、識別子モデルは、実施中に更新し続けてもよい。

代替として、Ｓ２０３からＳ２０５は含まれず、あらかじめ定義されたドメインのすべてにわたってカテゴリを備える複合信念状態が、あらかじめ定義されたドメインのすべてからのオントロジー情報とともに使用される。

以下で説明されるように、ポリシーモデルに基づくドメイン非依存パラメータ化は、そのようなシステムにおいて使用されてもよい。

図４は、ドメイン非依存パラメータ化（ＤＩＰ：domain independent parametrisation）を使用する、音声対話システムによって実行される例示的な方法を示すフローチャートである。本明細書では、ＤＩＰベースのポリシーが説明されるが、複数のあらかじめ定義されたドメイン上で学習される代替ポリシーが使用されてもよい。

Ｓ４０１からＳ４０３は、上記で説明されたＳ２０１からＳ２０３に相当する。

Ｓ４０４では、Ｓ２０４に関連して上記で説明されたように、アクション関数とアクション関数入力とを備える情報のセットが定義される。アクション関数入力のセットは、関連カテゴリを備える。次いで、アクション関数入力が、ドメインに依存しないパラメータに関して定義されるように、アクション関数入力がパラメータ化される。「オントロジーパラメータ化」と呼ばれるこのパラメータ化は、以下でより詳細に説明される。パラメータのうちのいくつか（すなわち、現在の対話ターンからの情報に依存しないパラメータ）は、カテゴリごとに記憶されてもよい。このステップは、ドメインが以前のスロットに対するものと同じ場合（例えば、同じあらかじめ定義されたドメインが、以前のターンに対するものとして選択されている場合）、実行されないことがある。カテゴリは、システム状態内に備えられるので、任意で、情報のセットは、アクション関数入力を含まないことがあり、これらは、システム状態から取り出されてもよい。この場合、情報のセットは単に、アクション関数を備える。

次いで、Ｓ４０５では、サブドメイン作成部４０３内の統計モデルによって関連すると識別されたスロットを備える減少された信念状態が生成される。これは、図２のＳ２０５に相当する。次いで、減少されたシステム状態が、ポリシーモデルに入力される前に、ドメイン非依存パラメータ化（ＤＩＰ）によってパラメータ化される。やはり、これも以下でより詳細に説明される。

ポリシーモデルは、パラメータ化されたシステム状態入力およびパラメータ化されたオントロジーで動作するように構成される。

別個のステップである代わりに、オントロジー情報がポリシーモデルに入力される前にパラメータ化されるＳ４０４が、代替として、ポリシーモデルの動作中に実行される。言い換えれば、Ｑベクトルが決定される間、カテゴリは、リアルタイムでパラメータ化され得る。この場合、ポリシーモデルは、パラメータ化された入力システム状態をとるが、ドメインに依存したアクション関数入力（スロット）を出力する。例えば、ニューラルネットワークベースのポリシーモデルは、以下の様式で動作し得る。対話ターンごとに、Ｑ値のベクトルが、パラメータ化された入力システム状態を考えて、各カテゴリに対して生成される。各ベクトル内の各行は、アクション関数に対応する。各Ｑベクトルを生成するために、ベクトルＱに対応するカテゴリがパラメータ化され、カテゴリに対応するパラメータ値と行に対応するアクション関数のセットの各組み合わせに対するＱ値が生成され、ベクトルに入力される。カテゴリは、行ごと、すなわちアクション関数ごとに異なるパラメータ化関数を使用してパラメータ化され得る。

したがって、ベクトルは、ドメインに依存したカテゴリに対応するが、Ｑ値は、カテゴリに対応するドメインに依存しないパラメータを使用して生成される。このようにして、オントロジー情報は、ポリシーモデルによってリアルタイムでパラメータ化され、オントロジー情報の入力されたセット内のアクション関数入力（カテゴリ）ごとに、ポリシーモデルは、信念を考えてＤＩＰ特徴を計算し、Ｑ値の推定値を生成する。Ｑベクトルは、ドメインに依存したスロットに対応する。以前に説明されたように、ベクトルごとに、最高Ｑ値を有するアクション関数が、記憶された最大アクション関数と入力情報とを更新するために使用され、次いで、すべてのベクトルが生成されると、最終的な最大関数および入力が選択される。したがって、システム状態Ｂは、Ｓ４０５と同様に、ポリシーモデルに入力される前にパラメータ化される。アクション関数は、ドメインに依存せず、したがって、ポリシーモデルに入力される前にパラメータ化されない。アクション関数入力、この場合カテゴリは、ポリシーモデルの動作中にパラメータ化される。アクション関数入力は、代替として、入力される前に１つのステップにおいてパラメータ化されてもよく、各ベクトルが生成されると、パラメータが取り出されてもよい。

また、上記は、各アクション関数入力がスロットであるケースに関して説明してきたが、一般的なアクション関数入力のケースの場合でも、上記は同様に動作する。言い換えれば、要約アクションが使用されない場合、アクション関数入力はスロットの値を含むであろうが、これもパラメータ化可能である。ヌル入力を有するアクション関数の場合、ポリシーモデルが出力するスロットは無視されてもよい。

したがって、Ｓ４０４は、オントロジー情報のセットが入力される前に実行されてもよく、その場合、ポリシーモデルは、パラメータ化されたスロットをアクション関数入力として出力することができ、パラメータ化されたスロットは、次いで、元のスロットに変換される。または、Ｓ４０４は、ポリシーモデルの動作中に順にカテゴリごとに実行されてもよく、その場合、ポリシーモデルは、元のスロットをアクション関数入力として出力することができる。

オントロジーまたはドメインに依存しないパラメータによって、任意のあらかじめ定義されたドメインに関するいかなる情報にも依存しないパラメータが意味される。

Ｓ４０５においてシステム状態をパラメータ化することは、パラメータに関して各スロットを定義することを備え、これは、スロットをオントロジーに依存しないパラメータに変換することと、オントロジーに依存しないパラメータに関するスロットを表すこととを含み得る。このステップでは、信念状態における特定のスロットに対するパラメータのための適切な値が決定され、これは、ポリシーモデルに対して、入力として使用されてもよいし、入力の一部として使用されてもよい。信念状態−アクション空間は、いかなるドメイン情報にも依存しない特徴空間にマップされる。したがって、信念状態の代わりに、ポリシーは、単一の、または複数の、オントロジーに依存しないパラメータを受け取り、これとともに動作するように構成される。

Ｓ４０４においてオントロジー情報のセットをパラメータ化することは、パラメータに関して各スロットを定義することを含み、これは、スロットをオントロジーに依存しないパラメータに変換することと、オントロジーに依存しないパラメータに関してスロットを表すこととを含み得る。

使用されるポリシーモデルは、ドメインに依存しない。生成されるＱ値は、ドメインに依存したカテゴリに対応するベクトルに対して生成され得るが、Ｑ値を生成するために、カテゴリはパラメータ化される。したがって、ポリシーは、異なるオントロジーを有する複数の異なるドメインとともに効果的に働くことが可能である。ポリシー４０５は、Ｑ値を生成するために、オントロジー固有スロットではなく、ドメインに依存しないパラメータを入力として使用するので、ポリシーは、ドメインに依存しない。これは、同じポリシー４０５が複数の異なるオントロジーとともに使用可能であることを意味する。したがって、ポリシーは、特に単一のあらかじめ定義されたドメインオントロジーに関して最適化される必要はない。言い換えれば、第１のオントロジーに関して最適化されたポリシーは、特に第２のオントロジーに対してポリシーを最適化しなければならないのではなく、第２のオントロジーとともに使用可能である。

一般に、オントロジーに依存しないパラメータは数値パラメータであり得る。パラメータは、数、ベクトル、または分布であってもよい。オントロジーに依存しないパラメータは、特定のオントロジーに依存しないパラメータを表す、級数、数列、または数の行列であってもよい。オントロジーに依存しないパラメータは、定義または式を備えてもよい。パラメータが、エンティティによって決定されると言われる場合、そのエンティティは、パラメータ化されたポリシーに入力として入力するためのパラメータ−量を決定するために、オペランド（被演算子）として使用されてもよい。パラメータがエンティティによって決定されると言われる場合、そのエンティティは、パラメータを決定するうえでの唯一のオペランドまたは影響因子でないことがあることが理解されるべきである。したがって、「によって決定される」は、もっぱら決定されることを必ずしも意味するとは限らない。パラメータがエンティティによって決定されると言われる場合、そのパラメータは、エンティティに依存してもよいし、これに比例してもよいし、これに反比例してもよいし、これに関連してもよい。

パラメータに関して定義されるカテゴリは、パラメータ−量または複数のパラメータ−量を備え得る。例えば、パラメータは、スロットがとることができる可能な値の数すなわちＭによって決定されてもよい。パラメータは、Ｍをオペランドとして使用する式であってもよい。スロットに適用されるとき、Ｍは、値を生じさせるために使用される。この値はパラメータ−量であってもよく、パラメータ−量は、数、ベクトル、または分布であってもよい。パラメータ化されたポリシーは、パラメータ−量をその入力として用いて動作するように構成され得る。

オントロジーに依存しないパラメータは、オントロジーに依存しない空間を介して、１つのオントロジーのスロットが異なるオントロジーのスロットと効果的に比較されることを可能にするように定義され得る。オントロジーに依存しないパラメータは、複数の異なるオントロジーに属する複数の異なるスロットに関して測定、計算、決定、または推定可能であるスロットの性質であってもよい。

オントロジーに依存しないパラメータで動作するように構成されたポリシーは、それとともに機能しているオントロジーに固有でないまたは依存しない入力に基づいてＳＤＳの挙動を定義することを可能にし得る。パラメータ化されたポリシーは、パラメータに対して動作するように構成されたポリシーであってもよい。パラメータ化されたポリシーは、Ｑ値を生成するために、パラメータに関して定義されるスロットおよび／または信念状態の表現を入力として受け取るように構成され得る。したがって、特定のパラメータ値は、あるパラメータまたは各パラメータに対して（および、任意で、各スロットに対して）決定され得、パラメータ化されたポリシーは、これらの特定のパラメータ値で動作するように構成され得る。

パラメータ化されたポリシーは、オントロジーに依存しないパラメータを入力として用いて動作するように構成されるが、パラメータ化されたポリシーは、複数のパラメータを入力として用いて動作するように構成されてもよいことが理解されるべきである。オントロジーまたは信念状態のスロットはそれぞれ、複数のオントロジーに依存しないパラメータに関して定義され得る。

そのようなパラメータを使用することは、固定サイズのドメインに依存しない空間を許容し、この空間に対して学習されたポリシーは、任意のドメインに使用可能である。ポリシーモデルは、一般的な情報探索問題を効果的に解決する。これは、例えば、「ｉｎｆｏｒｍ（ｆｏｏｄ）」というアクションを起こす代わりに、システムが、Ｑ値を生成するために、「ｉｎｆｏｒｍ」というタイプのアクション関数と、「最大信念とＸよりも大きい重要性とを有するスロット」（重要性は、後で説明され、エンドユーザオントロジーのスロットが、ユーザの要件を満たすためにパラメータ化されたポリシーに対して満たされなければならないという可能性がどれくらいかの尺度である）というタイプのアクション関数入力とをとることを意味する。Ｑ値は、特定のスロットに対応するベクトルに対して生成され得る。代替として、システムは、各あらかじめ定義されたドメインに対するそれぞれのオントロジーを利用できるので、システムは、ドメインに依存しない空間からのその生成されたアクションを各ドメイン固有空間に戻してマップすることができる。

パラメータは、情報探索対話におけるスロットの一般的な特性であってもよく、例えば、
−スロットが値を有するときの検索結果に対する潜在的な影響（例えば、データベース内に、３３％の安価なレストラン、３３％の適度な価格のレストラン、および３３％の高価なレストランがあり、「ｐｒｉｃｅ」というスロットが特定の値（例えば、安価）を有する場合、効果的に、関連する項目の数が２／３減少される。他の値、例えば所在地または食物タイプは、より少ない弁別力を有してもよい。これは、例えば、どのスロットの値が対話においてより早く要求するべきかに影響を与え得る。）
−重要性：エンドユーザオントロジーのスロットが、ユーザの要件を満たすためにパラメータ化されたポリシーに対して満たされなければならないという可能性がどれくらいかの尺度。処理部は、この重要性を決定するように構成されてもよい。または、それは、ユーザによって定義されてもよく、連続的であってもよいし、２値（任意または必須）であってもよい。
−優先度：検索結果に対するユーザの知覚した潜在的な影響の尺度。処理部は、この優先度を決定するように構成されてもよい。または、それは、ユーザによって定義されてもよく、連続的であってもよいし、２値であってもよい。
−記述的特性（例えば、許容可能な値の数、データベース（ＤＢ）内のそれらの値の分布）
−対話について説明する特徴（例えば、前回のユーザアクト）
のうちの１つまたは複数であってもよい。

例えば、オントロジーに依存しないパラメータは、スロットがユーザによって要求または参照される、対話内の可能性のある位置によって決定されてもよい。オントロジーに依存しないパラメータは、それぞれのスロットに対する値分布のエントロピーに比例してもよいし、これに反比例してもよい。それぞれのスロットに対する値分布のエントロピーは、オントロジーに依存しないパラメータを決定するために、複数のエントロピー範囲ビンのうちの１つに割り当てられてもよい。オントロジーに依存しないパラメータは、各スロットが、基礎タスクを完了することにどのようにして関連するかによって決定されてもよいし、これに関連してもよい。オントロジーに依存しないパラメータが決定されるデータは、選択された場合に閾値数に等しいまたはこれを下回る結果の数をもたらすであろうスロットに関する値の割合であってもよい。

オントロジーに依存しないパラメータのいくつかのさらなるより具体例が以下で説明され、Ｖ_ｓは、スロットｓがとることができる値のセットを示し、｜Ｖ_ｓ｜はＶ_ｓのサイズである。ｈ＝（ｓ_１＝ｖ_１∧ｓ_２＝ｖ_２…ｓ_ｎ＝ｖ_ｎ）は、スロット−値ペアのセットからなるユーザ目標仮説である。ＤＢ（ｈ）は、ｈを満たす記憶されたデータベース（ＤＢ）内の候補のセットを示す。ＤＢ内の候補は、システムがユーザに提示する特定の値（例えば、名前、食物タイプ、価格、所在地など）を有する、レストランなどの項目である。さらに、
は、ｘよりも小さいおよびｘに等しい最大の整数と定義される。

以下の量のうちの１つまたは複数は、パラメータ化に使用可能である。
・値の数
○例えば、連続パラメータ１／｜Ｖ_ｓ｜（ここで、正規化された量が、数値安定性の目的で、すべてのパラメータに類似の値範囲を持たせるために使用されてもよい）
○例えば、
によって示される、｜Ｖ_ｓ｜をＮ個のビンにマップする離散パラメータ、例えば、｜Ｖ_ｓ｜＝８であるスロットが次のパラメータ：［０，０，１，０，０，０］を割り振られるように、ｍｉｎ｛ｉｎｔ［ｌｏｇ_２（｜Ｖ_ｓ｜）］，６｝に従う６つの２値ビンのうちの１つを割り振る。ここで、「ｉｎｔ」は、最も近い整数を発見する関数を指す。これは、カテゴリ／ビンがとることができる値の数に従って、スロットをカテゴリ／ビンにグループ化する。
・重要性、例えば、対話においてスロットが生じる可能性がどのくらいであるか、生じない可能性がどのくらいであるかを表す２つのパラメータ
○例えば、タスクを完了するまたはユーザの基準を十分に満たすためにスロットが満たされなければならないかどうかの２値標識（０＝いいえ、１＝はい）
○例えば、エンドユーザオントロジーのスロットが、ユーザの要件を満たすためにパラメータ化されたポリシーに対して満たされなければならないという可能性がどれくらいかの連続的尺度。ここで、処理部は、この重要性を決定するように構成されてもよい。
・優先度
○例えば、スロットが、｛［１，０，０］，［０，１，０］，［０，０，１］｝にマップされる｛１，２，３｝のスケールとして対話内で扱われるべき第１の属性、第２の属性、およびこれらより後の属性である可能性がどれくらいかをそれぞれ示す３つのパラメータ
○例えば、検索結果に対するユーザの知覚した潜在的な影響の連続的尺度。ここで処理部は、この優先度を決定するように構成されてもよい。
・あらかじめ定義されたドメインのすべてからの値の記憶されたデータベースＤＢ内の値分布
○例えば、ＤＢ（ｓ＝ｖ）が、属性ｓ＝ｖを有するデータベース内のエンティティのセットを示し、｜ＤＢ（ｓ＝ｖ）｜および｜ＤＢ｜がそれぞれ、上記のセットのサイズおよびデータベースのサイズを示す場合、値分布は、離散分布（正規化されたヒストグラム）を生じさせるためにスロットｓの各可能な値ｖに対して｜ＤＢ（ｓ＝ｖ）｜／｜ＤＢ｜を計算することによって計算されてもよく、次いで、エントロピーは、この正規化されたヒストグラムに対して算出されてもよい。
・例えば現在の上位ユーザ目標仮説ｈ^＊とあらかじめ定義された閾値τを考えての、ＤＢ検索に対する潜在的な貢献
○充填（filling）ｓが、合致するＤＢ結果の数をτよりも下に減少させる可能性がどれくらいか、すなわち、｜｛ｖ：ｖ∈Ｖ_ｓ，｜ＤＢ（ｈ^＊∧ｓ＝ｖ）｜≦τ｝｜／｜Ｖ_ｓ｜（スロットの値が、データベース内で取得された結果において閾値数よりも下になる割合）
○充填ｓが、合致するＤＢレコードの数をτよりも下に減少させない可能性がどれくらいか、すなわち、｜｛ｖ：ｖ∈Ｖ_ｓ，｜ＤＢ（ｈ^＊∧ｓ＝ｖ）｜＞τ｝｜／｜Ｖ_ｓ｜（スロットの値が、データベース内で取得された結果において閾値数よりも上になる割合）
○充填ｓが、合致するレコードがＤＢ内で発見されないという結果をもたらす可能性がどれくらいか、すなわち、｜｛ｖ：ｖ∈Ｖ_ｓ，ＤＢ（ｈ^＊∧ｓ＝ｖ）＝φ｝｜／｜Ｖ_ｓ｜（スロットの値が、取得された結果において、データベース内でユーザの基準を満たす結果がないという結果を招く割合）
言い換えれば、システムが、それらのスロットに対する制約をまだ観測していないことを信じるとき、このパラメータは、信念における現在の上位仮説がヌルであるスロットに対して非ゼロであるにすぎないことに留意されたい。

ポリシーは、Ｑを生成するために、各スロットに対して複数のオントロジーに依存しないパラメータを受け取るように構成されてもよい。したがって、スロットは、複数のオントロジーに依存しないパラメータに関して定義され得る。スロットは、５、１０、または１１以上のオントロジーに依存しないパラメータに関して定義されてもよい。スロットは、上記のオントロジーに依存しないパラメータのすべてに関して定義されてもよい。

Ｓ４０４において定義される情報のセット内のカテゴリを定義するためのオントロジーに依存しないパラメータの第１のセットと、Ｓ４０５において生成された減少されたシステム状態においてカテゴリを定義するためのオントロジーに依存しないパラメータの第２のセットがある場合がある。第１のセットは、第２のセットと異なってもよいし、同じであってもよい。第１のセットと第２のセットは、相互に排他的であってもよい。

Ｓ４０５における減少されたシステム状態のパラメータ化は、以下でより詳細に説明される関数Ψ（ｂ，ｓ）によって説明され得る。

システム状態を定義するためのオントロジーに依存しないパラメータは、システム状態における最大確率（すなわち、上位仮説に対応する確率）によって決定され得る。システム状態を定義するためのオントロジーに依存しないパラメータは、分布のエントロピーによって決定され得る。システム状態を定義するためのオントロジーに依存しないパラメータは、上位２つの仮説間の確率差によって決定され得る（例示的な実装形態では、この値は、間隔サイズ０．２を有する５つのビンに離散化され得る）。システム状態を定義するためのオントロジーに依存しないパラメータは、非ゼロの率、例えば、非ゼロの確率を有するシステム状態内の要素の割合によって決定され得る。

ＰＯＭＤＰベースのシステムにおいて信念状態をパラメータ化する具体的な例が、以下で説明される。

信念状態は一般に、ドメインに依存し、すなわち、Ｓ４０５において生成される信念状態は、各関連するスロットに対するマージナル（marginal）（すなわち、スロットごとの（ｓｌｏｔ−ｗｉｓｅ））信念を備える（この信念状態は、他のドメインに依存しない情報、例えば対話履歴も備えてもよい）。以前に説明されたように、フル信念状態ｂは、対話履歴、通信方法などのドメインに依存しない要因に関するものである３つの部分、すなわち、共同信念ｂ_{ｊｏｉｎｔ}、スロットごとの信念のセット｛ｂ_ｓ｝、および他の信念ｂ_ｏにおいて表され得る。各ｂは、ここでは、離散分布（非負の正規化されたベクトル）である。さらに、各々はスロットがユーザによって要求されている確率を示す（例えば、ユーザ「このラップトップはいくらか？」の場合、「価格」というスロットが要求されている）（一次元の）値のセットがあり得る。ｂｒ_ｓは、スロットｓが要求されていることに関する信念確率を示す。

ｂ_ｏは、ドメインに依存せず、したがって、このステップではパラメータ化されない。

離散分布
を仮定すると、その次元に関係なく、少数の一般的なオントロジーに依存しないパラメータは、それを定義するために使用可能である。これらのパラメータは、任意の離散分布に適用可能である。以下は、例示的なパラメータである。
（１）
における最大確率（すなわち、上位仮説に対応する確率）
（２）分布のエントロピー
（３）上位２つの仮説間の確率差（一実装形態では、この値は、間隔サイズ０．２を有する５つのビンに離散化された）
（４）非ゼロ率：非ゼロ確率を有する、
における要素の割合

システム状態パラメータ化ステップは、上記のパラメータ化のリスト（１）から（４）のうちの１つまたは複数をｂ_{ｊｏｉｎｔ}に適用し、共同信念に対するドメインに依存しないパラメータベクトルを提供する。

他のドメインに依存した構成要素は、ｂ_ｓ（およびｂｒ_ｓ）である。アクションａを実行するべきかどうかを決定するとき、システムは、他のスロットの場合はどうかに関係なく、グローバルパラメータ（共同信念パラメータおよび上記の他のパラメータ）とともに、ａが依存するスロットｓ（ｓは、ａから一意に導出可能である）を考慮しさえすればよい場合、あらゆるａは、その一意的に対応するｂ_ｓ（およびｂｒ_ｓ）に対する依存のみを有する。次いで、上記のパラメータ化（１）から（４）のうちの１つまたは複数は、ｂ_ｓに適用可能である（ｂｒ_ｓは、その数がパラメータ化されなくても単に追加パラメータとして使用可能であるような、単なる数である）。

次いで、取得されるパラメータは、全体的な信念状態パラメータ化がオントロジーに依存しないように、共同信念パラメータおよび「他の」パラメータに連結可能である。これは、Ｓ４０６においてポリシーに対する入力として使用可能である。

含まれ得る「他の」パラメータとしては、
（１）４つの通信方法すなわち「ｂｙｃｏｎｓｔｒａｉｎｔ」、「ｂｙｎａｍｅ」、「ｂｙａｌｔｅｒｎａｔｉｖｅｓ」、「ｆｉｎｉｓｈｅｄ」に対する信念確率、および
（２）現在のターンにおいて観測されるユーザ通信関数に対するマージされた確信度スコア
のうちの１つまたは複数があり得る。

減少された信念状態における通知可能スロットｓごとに、関数ψ（ｂ，ｓ）が、スロットをパラメータ化するために使用される。この関数は、例えば、上位マージナル仮説
の確率と、ｂ_ｓのエントロピーと、上位２つのマージナル仮説間の確率差（間隔サイズ０．２を有して５つのビンに離散化された）と、非ゼロ率（｜｛ｖ：ｖ∈Ｖ_ｓ，ｂ_ｓ（ｖ）＞０｝｜／｜Ｖ_ｓ｜）とを抽出する。さらに、スロットが要求可能である場合、それがユーザによって要求されている確率は、臨時パラメータとして使用される。類似のパラメータ化手順（「要求される」確率を除く）は、共同信念にも適用され、取得されるパラメータは、すべての通信関数に使用される。基礎タスク（ＤＢ検索）の性質を得るために、２つの追加パラメータ、すなわち、インジケータ
と、前者が偽である場合は実数値パラメータ
が共同信念に対して定義される。ここで、τは、上記で紹介されたようにスロットパラメータ化に使用される同じあらかじめ定義された閾値である。関数ψ（ｂ，ｓ）、学習および実施中にシステム状態をパラメータ化するために使用される。

任意で、信念の異なる態様が異なるアクションにとって重要である場合があるので、アクションによって異なるψ関数が存在することがある。例えば、入力信念状態は、各々が異なるアクション関数に対応する複数の異なるパラメータ化関数を使用してパラメータ化されてもよい。各ベクトル内の各行に対するＱ値は、その行に対応するアクション関数に対応するパラメータを使用して生成される。通信方法に対する信念と現在のターンにおけるユーザ対話アクトタイプ（通信関数）のマージナル確信度スコアとを含む、含まれるいくつかの他のスロットに依存しないパラメータもある。

任意で、パラメータのうちのいくつかはフル確率分布に関連することがあるので、パラメータ化は、フル信念状態に対して実行される。

信念要約部において用いられる方法とは異なり、信念パラメータ化部は、オントロジーに依存しないパラメータに関する信念状態を定義する。一致した（according）信念パラメータ化部はまた、フル信念状態を低次元形式に変換し、したがって、フル信念状態からの次元の数を減少させ得る。信念パラメータ化部の出力は、オントロジーおよびドメインに依存しない。次いで、オントロジーに依存しないパラメータに関して定義される信念状態は、Ｓ４０６において、ポリシーモデルのための入力として使用可能である。

オントロジーパラメータ化部は、ドメインに依存しないパラメータに関してＳ４０４において識別された情報のセット内のスロットを定義する（これは、ポリシーモデルの動作の前に実行されてもよいし、その間に実行されてもよい）。これは、システム状態のパラメータ化とは別に行われてもよい。これらのドメインに依存しないパラメータは、オントロジーに固有でない。オントロジー情報は、（ポリシーモデルの動作の前、またはその間のいずれかで）対話中の各ターンにおいてパラメータ化されてもよいし、または代替として、オントロジー情報のいくつかもしくはすべてがパラメータに関して記憶されてもよい。ドメインがターン間で変化しない場合、以前の生成されたオントロジー情報が使用されてもよい。

Ｓ４０４において定義されるオントロジー情報のセットは、アクション関数と、アクション関数入力とを備える。上記で説明されたように、アクション関数ｆ_ａは、例えば、ｉｎｆｏｒｍ、ｄｅｎｙ、ｃｏｎｆｉｒｍなどであってもよく、アクション関数入力は、ヌルであってもよいし、例えばスロット（例えば、食物、価格帯など）であってもよい。

アクション関数は、すでにドメインに依存せず、したがって、このステップではパラメータ化されない。しかしながら、アクション関数入力のうちのいくつかはドメインに依存しており、このステップにおいてパラメータ化される。

各アクション関数入力は、パラメータ化するための関数
を使用して、ドメイン汎用方策でパラメータ化可能である。ここで、パラメータ化されたアクション関数入力は、
によって与えられる。

また、カテゴリも、各々が異なるアクション関数に対応する複数の異なるパラメータ化関数を使用してパラメータ化されてもよい。次いで、各ベクトル内の各行に対するＱ値は、その行に対応するアクション関数に対応するパラメータを使用して生成される。

記憶されたオントロジースロットをパラメータ化するための例示的な関数
が、以下で説明される。オントロジーに依存しない多数のパラメータが、オントロジーのスロットを定義するために使用可能であり、そのうちの以下が例である。
・値の数
○例えば、連続パラメータ１／｜Ｖ_ｓ｜（ここで、正規化された量が、数値安定性の目的で、すべてのパラメータに類似の値範囲を持たせるために使用されてもよい）。
によって示される、｜Ｖ_ｓ｜をＮ個のビンにマップする離散パラメータ、例えば、｜Ｖ_ｓ｜＝８であるスロットが次のパラメータ：［０，０，１，０，０，０］を割り振られるように、ｍｉｎ｛ｉｎｔ［ｌｏｇ_２（｜Ｖ_ｓ｜）］，６｝に従って６つの２値ビンのうちの１つを割り振る。
・重要性、例えば、対話においてスロットが生じる可能性がどのくらいであるか、生じない可能性がどのくらいであるかを表す２つのパラメータ
○例えば、タスクを完了するまたはユーザの基準を十分に満たすためにスロットが満たされなければならないかどうかの２値標識（０＝いいえ、１＝はい）
○例えば、エンドユーザオントロジーのスロットが、ユーザの要件を満たすためにパラメータ化されたポリシーに対して満たされなければならないという可能性がどれくらいかの連続的尺度。ここで、処理部は、この重要性を決定するように構成されてもよい。
・優先度
○例えば、スロットが、｛［１，０，０］，［０，１，０］，［０，０，１］｝にマップされる｛１，２，３｝のスケールとして対話内で扱われるべき第１の属性、第２の属性、およびこれらより後の属性である可能性がどれくらいかをそれぞれ示す３つのパラメータ
○例えば、検索結果に対するユーザの知覚した潜在的な影響の連続的尺度。ここで処理部は、この優先度を決定するように構成されてもよい。
・ＤＢ内の値分布
○例えば、ＤＢ（ｓ＝ｖ）が、属性ｓ＝ｖを有するデータベース内のエンティティのセットを示し、｜ＤＢ（ｓ＝ｖ）｜および｜ＤＢ｜がそれぞれ、上記のセットのサイズおよびデータベースのサイズを示す場合、値分布は、離散分布（正規化されたヒストグラム）を生じさせるためにスロットｓの各可能な値ｖに対して｜ＤＢ（ｓ＝ｖ）｜／｜ＤＢ｜を計算することによって計算されてもよく、次いで、エントロピーは、この正規化されたヒストグラムに対して算出されてもよい。
・例えば現在の上位ユーザ目標仮説ｈ^＊とあらかじめ定義された閾値τを考えての、ＤＢ検索に対する潜在的な貢献
○充填ｓが、合致するＤＢ結果の数をτよりも下に減少させる可能性がどれくらいか、すなわち、｜｛ｖ：ｖ∈Ｖ_ｓ，｜ＤＢ（ｈ^＊∧ｓ＝ｖ）｜≦τ｝｜／｜Ｖ_ｓ｜（スロットの値が、データベース内で取得された結果において、閾値数よりも下になる割合）
○充填ｓが、合致するＤＢレコードの数をτよりも下に減少させない可能性がどれくらいか、すなわち、｜｛ｖ：ｖ∈Ｖ_ｓ，｜ＤＢ（ｈ^＊∧ｓ＝ｖ）｜＞τ｝｜／｜Ｖ_ｓ｜（スロットの値が、データベース内で取得された結果において、閾値数よりも上になる割合）
○充填ｓが、合致するレコードがＤＢ内で発見されないという結果をもたらす可能性がどれくらいか、すなわち、｜｛ｖ：ｖ∈Ｖ_ｓ，ＤＢ（ｈ^＊∧ｓ＝ｖ）＝φ｝｜／｜Ｖ_ｓ｜（スロットの値が、取得された結果において、データベース内でユーザの基準を満たす結果がないという結果を招く割合）
言い換えれば、システムが、それらのスロットに対する制約をまだ観測していないことを信じるとき、このパラメータは、信念における現在の上位仮説がヌルであるスロットに対して非ゼロであるにすぎないことに留意されたい。

例えば、上記のパラメータのうちの任意の１つまたは複数が使用されてもよいし、上記のパラメータのどれも使用されなくてもよい。

例えば、基礎タスクが、システムが適切な候補（例えば、会場、製品など）を発見するためにデータベース（ＤＢ）検索を実行できるように、各スロットに対するユーザの制約を取得することである場合、スロットパラメータは、スロットが満たされている場合、検索結果を改良する（適切な候補の数を減少させる）ためのこのスロットの可能性を表し得る。別の例では、タスクが、システムコマンド（例えば、リマインダの設定またはルートの立案）を実行するために必要な情報と任意の情報とを収集することである場合、各スロットの値の数は無制限が可能であれば、スロットパラメータは、スロットが必須かそれとも任意かを示し得る。さらに、スロットは、対話中に人々に異なるように対処させるいくつかの特定の特性を有してもよい。例えば、ラップトップを購入するとき、バッテリ定格よりも価格について最初に話す可能性が高い。したがって、各スロットの優先度を示すパラメータも、自然な対話をもたらすために必要である。パラメータの例示的なリストは、上記で提供されている。

Ｓ４０４において識別されたオントロジー情報のセットをパラメータ化するための方法は、以下の通りであってもよい。スロットは、オントロジーに依存しないパラメータに関して定義される。これは、問題のスロットに関する上記で列挙されたパラメータを計算することを備えてもよい。オントロジーに依存しないパラメータは、上記のリストによるものであってもよいし、他のオントロジーに依存しないパラメータであってもよい。このようにして、オントロジーのあらゆるスロットは、オントロジーに依存しないパラメータにおいて定義される。スロットのうちのいくつかは、上記のパラメータのリストにおいて説明されたように、値を計算することによって、オントロジーに依存しないパラメータに関して定義される。信念状態に関して説明されたように、各アクション関数に対応する異なるパラメータ化関数が使用されてもよい。

上記で説明された重要性パラメータおよび優先度パラメータは、２進値を手動で割り当てられてもよい。

代替として、一方または両方は、例えば、ドメイン内の人間対人間の例示的な対話（例えば、ウィザードオブオズ手法の実験から収集された）から、自動的に推定されてもよい。重要性および優先度の値は、学習段階中に学習可能であり、実施中に更新されてもよい。代替として、重要性および優先度の値は、実施中にパラメータ値から直接的に学習されてもよい。

したがって、重要性および／または優先度は、以下のように、サブドメインごとにオントロジー情報のスロットに対して決定されてもよい。

対話中にユーザによって言及された（および値を有する）スロットごとに、達成された報酬と可能な最大報酬との比の累積移動平均が、スロット重要性の推定値として決定される。したがって、カテゴリごとに、達成された性能インジケータと可能な最大性能インジケータとの比の累積移動平均が、カテゴリ重要性の推定値として決定される。

同じスロットの場合、スロット優先度は、スロットがユーザによって言及されたときの対話エピソード中の相対位置（すなわち、ターン番号）の累積移動平均を計算することによって決定される。

実施中に値を学習または更新するとき、システムは、時間が進むにつれて潜在的な変化に適合することが可能である。

具体的には、特徴は、次のように推定される。
ここで、Ｉ_ｓおよびＰ_ｓはそれぞれ、スロットｓに関する重要性および優先度の推定値、ｒ_ｔは対話ｔにおける報酬、Ｒ_ｍａｘ＝ｍａｘ｛Ｒ（ｓ，ａ）｝、Ｒ_ｍｉｎ＝ｍｉｎ｛Ｒ（ｓ，ａ）｝、ＮはＰまたはＩが更新された回数、ｐｏｓ^ｔ _ｓは対話ｔ中にスロットがユーザによって言及されたターン番号である。Ｎは、複数の対話にわたってスロットの重要性（または優先度）が更新された合計回数を指す。Ｒ値は、手動で定義され得る報酬関数によって決定される。報酬関数は、ポリシーモデルを学習するために使用される報酬関数であってもよい。この関数は、対話中の各ターンにおける報酬ｒを提供する。Ｒ_ｍｉｎおよびＲ_ｍａｘは、関数Ｒが割り当てできる可能な最小値／最大値である。実際には、全体的な報酬値は、対話に対して決定されてもよく、これは、次いで、対話中で言及されたスロットに関連し、各ターンに対する報酬を与える。最大値および最小値は、報酬関数または人間による格付けを通じて決定可能である。例えば、報酬関数は、１００の値を成功に割り当て得る。そのとき、これは最大値であり、０は最小値である。代替として、人間が、５が最大で０が最小であるように、スケール０〜５で対話を格付けすることを求められることがある。

パラメータ化の後、次いで、Ｓ４０６において、減少されたシステム状態および情報のセットがポリシーモデルに入力され、ポリシーモデルは、アクション関数とアクション関数入力とを出力する。上記でＳ２０６に関して説明されたように、対話ポリシーは、現在のパラメータ化されたシステム状態を入力としてとり、次のドメインに依存しないシステムアクション関数と入力とを出力する。入力は、例えば、ドメインに依存してもよい。ポリシーモデルのサブセット（Ｑテーブル）がリアルタイムで選択され、Ｑ値
を備える。これらのＱ値は、各々がアクション関数入力に対応する一連のベクトルとして生成され得る（｜Ｉ_ａ｜個のベクトルがある場合、各ベクトルはサイズ｜Ｆ_ａ｜であり、ここで、Ｆ_ａは、入力信念状態に対してＳ４０４において定義されるアクション関数セット、Ｉ_ａは、入力信念状態に対してＳ４０４において定義されるアクション関数入力セットである）。これは、次の入力とアクション関数
の両方を導出するために使用され、ここで、ｉ_ａ⊆Ｉ_ａ、ｆ_ａ⊆Ｆ_ａであり、Ｑ値は、特定の入力信念状態Ｂに対するＱ値である。

ポリシーモデルからの出力は、通信関数（例えば、「ｓｅｌｅｃｔ」）とアクション関数入力であり、このアクション関数入力は、ドメインに依存したアクション関数入力であってもよい。これは、次いで、そのスロットに対応する値（例えば、日本語）を加えることによって要約アクションからフルアクションに変換される。

Ｓ４０７は、上記で説明されたＳ２０７に相当する。アクションは、テキストの形式であってもよい。システムは、出力されることになる音声にテキストを変換する自然言語生成部（ＮＬＧ）を備えてもよい。

図５は、ポリシーモデルを学習する例示的な方法のフローチャートを示す。ポリシーモデルは、入力信念状態を出力アクションにマップするように学習される。ポリシーモデルは、記憶されたデータのコーパスを用いて学習されてもよいし、人間またはシミュレートされたユーザを用いて学習されてもよい。

例示的な方法が以下で説明され、ＤＩＰが使用される。ＤＩＰは、（信念）状態空間を、特定のドメインに依存しないサイズＮの特徴空間にマップする方法
であり、ここで、Ｉ_ａはスロットのセット、
は実数のセットである。したがって、Φ_ＤＩＰは、現在の信念状態を考慮して、各スロットに対する特徴を抽出し、任意で、異なるアクションに対する異なるパラメータ化を可能にするためにＦ_ａに依存する。

これは、固定サイズのドメインに依存しない空間の定義を可能にし、この空間に対して学習されたポリシーは、さまざまなドメイン内で、例えば情報探索対話の文脈において、使用可能である。したがって、例えば情報探索対話に適用可能な、単一の、ドメインに依存しないポリシーモデルが学習され得る。リカレントニューラルネットワーク（ＲＮＮ）は、以下で説明されるようにＱ関数を近似するために使用可能である。

同じポリシーモデルおよび同じオントロジーパラメータ化が新しいオントロジーに使用されるならば、ＤＩＰベースのポリシーが、データ駆動型アプローチを使用してあらかじめ定義されたドメイン内で最適化されると、取得されるポリシー（すなわち、学習されたモデルパラメータ）は、異なるオントロジーを有する異なるドメイン内のポリシーに予備知識（または、数学的な事前分布）を提供する。したがって、ポリシーモデルは、例えば、単一のあらかじめ定義されたドメインに対して学習され得るが、次いで、複数のドメインからの情報を備える記憶されたオントロジーを有する上記で説明されたシステム内で使用され得る。

複数のドメインからの情報を備える記憶されたオントロジーは、エンドユーザオントロジーと呼ばれることがあり、エンドユーザオントロジーは、対話管理部が機能することが意図されるオントロジーであってもよい。しかしながら、パラメータ化されたポリシーは、第１のオントロジーを使用して最適化され得る。第１のオントロジーは、エンドユーザオントロジーと異なっていてもよく、例えば、単一のあらかじめ定義されたドメインであってもよい。パラメータ化されたポリシーは、エンドユーザオントロジーとともに使用される前に最適化され得る。ポリシーは、エンドユーザオントロジーを用いて実施または展開される前に最適化され得る。パラメータ化されたポリシーは、パラメータを入力として使用し、パラメータは、異なるオントロジーのスロットが客観的にマップまたは比較され得るパラメータ「空間」を定義するために使用され得る。したがって、それによって、第１のオントロジーに関して最適化されたポリシーは、エンドユーザオントロジーに関しても最適化され得る。エンドユーザオントロジーは、複数のあらかじめ定義されたドメインを備えるグローバルオントロジーまたは任意の単一のあらかじめ定義されたドメインオントロジーのいずれかであってもよい。任意で、識別子は、関連するスロットを識別し、使用されるドメインを、各ターンにおいてエンドユーザオントロジーとして定義するために使用可能である。

第１のオントロジーに関してポリシーを最適化するために、第１のオントロジーのスロットは、パラメータ化されたポリシーへの入力として使用されるのに適しているように、オントロジーに依存しないパラメータのうちの少なくとも１つに関して定義され得る。第１のオントロジーのスロットの各々は、オントロジーに依存しないパラメータのうちの少なくとも１つに関して定義され得る。これは、上記で実装形態に関して説明された様式と同じように行われてもよい。上記で説明されたように、オントロジー情報のうちのいくつかは、パラメータに関して記憶され得る。オントロジー情報のうちのいくつかまたはすべては、ポリシーモデルの動作の前またはその間のいずれかにおいて、各対話ターンに関してパラメータ化され得る。

最適化プロセスは、人間またはシミュレートされた人間との対話を入力するためにポリシーモデルを繰り返し使用することを備えてもよい。本物の人間またはシミュレートされた人間との対話と組み合わせて、またはこれに応答して、ポリシーは、性能インジケータを増加させるように適合され得る。対話ポリシー最適化は、最大予想報酬を有するアクションが各対話ターンにおいて選択可能であるように、システム状態または信念状態で実行されるシステムアクションに対する予想長期報酬を推定することが目指されてもよい。ポリシーモデルは、例えば、ディープニューラルネットワークベースのポリシーモデルであってもよい。対話ポリシー最適化は、ディープＱネットワークを使用して実行されてもよい。

対話はテキスト信号を備えていてもよく、その場合、学習の方法は、データからシステム状態を抽出するステップを備える。システム状態は、記憶された、すでに学習された追跡モデルを使用して抽出され得る。この例における追跡モデルは、したがって、ポリシーモデルを学習するステップの前に学習され、学習された追跡モデルは、次いで、ポリシーモデルを学習する際に使用される。同様に、データが音声信号を備える場合、学習する方法は、あらかじめ学習された音声言語ユニットを使用してテキスト信号を抽出し、次いで、そのテキスト信号に対応するシステム状態を抽出することを備えてもよい。

したがって、Ｓ５０１において受け取られる各入力信号は、状態追跡モデルを使用してＳ５０２において受け取られるシステム状態を更新するために使用される。この例では、ポリシーモデルは、単一のあらかじめ定義されたドメインに対して学習されるので、システム状態は、あらかじめ定義されたドメインに対するカテゴリのみを備える。図２に関して説明された実装段階に関連して以前に説明されたように、前のシステム状態が含まれてもよい。同様に、システム状態は、図２における実装段階に関して以前に説明されたように要約されてもよい。

次いで、各入力システム状態がＳ５０３においてパラメータ化される、すなわち、各スロットが、パラメータ化されたポリシーへの入力として使用されるに適しているように、オントロジーに依存しないパラメータのうちの少なくとも１つに関して定義される。第１のオントロジーのスロットの各々は、オントロジーに依存しないパラメータのうちの少なくとも１つに関して定義され得る。これは、上記で図４において実施段階に関して説明された様式と同じように行われてもよい。記憶されたオントロジー情報は、各対話ターンにおいてパラメータ化されてもよいし、記憶されたオントロジー情報のいくつかもしくはすべてがパラメータに関して記憶されてもよい。

次いで、Ｓ５０４において、各抽出されたシステム状態が統計学的ポリシーモデルに入力され、統計学的ポリシーモデルは、図２において説明された実施段階に関して説明されたように、記憶されたＱ値に基づいてアクション関数とアクション関数入力とを出力する。同じく以前に説明されたように、アクションが生成され、Ｓ５０５において出力される。

Ｓ５０６では、ポリシーモデルが適合される。これは、性能インジケータに基づいてＱ値を決定するために使用される記憶されたパラメータを更新することを備える。任意で、ポリシーモデルパラメータは、１０対話ごとに更新される。しかしながら、更新は、各対話ターンの後、各対話の後、または多くの対話の後であってもよい。複数の学習ステップまたは「エポック（epoch）」が、各更新時に実行されてもよい。任意で、ポリシーモデルパラメータは、１つのエポック（すなわち、これまで収集されたデータに対して１つの「パス（pass）」）に対して１０対話ごとの後で更新される。

ポリシーを最適化することは、特定のドメインおよびオントロジーに対する特定の性能インジケータを最大化すること、または初期値に対して性能インジケータを増加させることを備えてもよい。ポリシーの最適化は、成功率または平均報酬を増加させるようにポリシーを適合させることを備えてもよい。最適化は、平均、または上記のインジケータの組み合わせが最大化されるようにポリシーを適合させることを備えてもよい。最適化プロセスは、関数近似手順であってもよい。

最適化プロセスの一例は、ディープＱネットワーク（ＤＱＮ）である。別の例は、ガウス過程時間差（ＧＰＴＤ：Gaussian Process Temporal Difference）である。

上記で説明されたように、ＳＤＳシステムにおけるアクションは、２つの部分、すなわち通信関数ａ（例えば、ｉｎｆｏｒｍ、ｄｅｎｙ、ｃｏｎｆｉｒｍなど）とアクション関数入力とを備えてもよく、アクション関数入力は、例えばスロット−値ペアｓ，ｖのリスト（例えば、ｆｏｏｄ＝Ｃｈｉｎｅｓｅ、ｐｒｉｃｅｒａｎｇｅ＝ｅｘｐｅｎｓｉｖｅなど）を備えてもよい。要約アクションが使用される場合、アクション関数入力はカテゴリのみであってもよい、すなわち、値はない。対話ポリシー最適化は、強化学習（ＲＬ）を介して解決可能であり、強化学習（ＲＬ）では、学習中の目標は、各Ｂ、ｆ_ａ、およびｉ_ａに対して、信念状態Ｂにおけるアクション関数ｆ_ａとアクション関数入力ｉ_ａとを備えるアクションａを実行するシステムの予想累積報酬を反映して、量Ｑ（Ｂ，ｆ_ａ，ｉ_ａ）を推定することである。報酬関数は、現在の状態と行われるアクションとを仮定して、報酬ｒを割り当てる。これは、（例えば、人間入力からの）各対話の終了時における報酬値Ｒを決定し、次いで、対話に対するこの最終的な値Ｒから対話の各ターンに対する（すなわち、そのターンにおける状態および行われるアクションに対応する）報酬ｒを決定することによって行われてもよいし、各ターンにおいて推定されてもよい。Ｑは、状態ｂとアクションａとを仮定して、将来の報酬の期待値（累積されたｒ）を推定する。Ｑの値は、Ｑ学習更新規則を使用して、ｒ値に基づいて更新されてもよい。

が仮定される場合、関数近似が使用されてもよく、ここで、θは学習するべきモデルパラメータ、φ（．）は上記で説明されたΦ_ＤＩＰと同じ、すなわち、（Ｂ，ｆ_ａ，ｉ_ａ）をパラメータベクトルにマップするパラメータ関数である。ｆは、パラメータθを有する関数である。例えば、ｆ（φ（Ｂ，ｆ_ａ，ｉ_ａ））＝θ＊（φ（Ｂ，ｆ_ａ，ｉ_ａ））＋ｚ、ここで、θおよびｚは、ｆ（φ（Ｂ，ｆ_ａ，ｉ_ａ））＝Ｑ（（Ｂ，ｆ_ａ，ｉ_ａ））であるように最適化するパラメータである。より一般的には、ｆは、φに重みθを乗じる関数である。

学習中に、Ｑは、各Ｂ，ｆ_ａ，ｉ_ａの組み合わせに対して推定される。これらの値を生成するために使用されるパラメータは記憶される。学習中および実施中に、上記で説明されたように、Ｑ値が生成され、同じく上記で説明されたように、入力状態Ｂに対して最高Ｑを有するアクション関数ｆ_ａおよびアクション関数入力ｉ_ａが選択される。Ｑを生成するために使用されるパラメータは、実施中に更新され続けてもよい。

Ｑ（Ｂ，ｆ_ａ，ｉ_ａ）を算出するために、カーネル方法が使用される場合、次元削減に要約信念を使用するか、フル信念を適用するか、のいずれかが可能である。どちらの場合も、アクションは、追跡可能な算出を達成するために、要約アクションであってもよい。要約アクションは、上記で説明されており、マスタアクションａを形成する意味表現を簡略化し、いくつかのあらかじめ定義された規則に基づいてマスタアクションにマップ可能である。この場合、アクション関数入力ｉ_ａは、カテゴリのみを含み、値を含まない。

この場合、パラメータ化関数は、
と記述可能であり、ここで、δはクロネッカーのデルタであり、
はテンソル積である。Ｂは、｛ｂ_{ｊｏｉｎｔ}、ｂ_ｏ｝∪｛ｂ_ｓ｝_ｓ∈Ｓと表される、個々の信念ベクトルのセットを備え、ここで、ｂ_ｏは任意のスロットに依存しない信念状態の部分（例えば、通信方法に対する信念、対話履歴など）を示し、Ｓは、ドメインオントロジーにおいて定義された（通知可能）スロットのセットを表し、
であり、ここで、
は、２つのベクトルを連結する演算子を表す。そのオペランドｂ_ｘをパラメータ化するための各ψ_ｘにおける機構は、ドメインに依存しなくてもよいので、結果として生じる全体的なパラメータベクトルはドメイン一般的（domain-general）である。信念状態をパラメータ化するための例示的な関数ψ（ｂ，ｓ）は、上記で説明されている。

入力アクションｉ_ａを備える記憶されたオントロジーにおける各スロットは、やはり上記で説明された
を使用してパラメータ化される。

任意で、パラメータ関数
およびψ_ａは、異なるパラメータ化が各ａに適用可能であるように、ａとともに変化してもよい。

したがって、記憶されたオントロジーにおける各スロットは、
を使用してパラメータ化され、信念状態における各スロットは、ψ_ａを使用してパラメータ化される。記憶されたオントロジー情報とシステム状態とをパラメータ化するための例示的な関数
およびψ_ａは、上記で説明されている。

ポリシー学習、すなわち、ポリシーの最適化は、パラメータθ（例えば、線形モデルが当てはまる場合、重みベクトル）を割り当てる。パラメータの数は、入力における次元の数に１を足したものに等しくてもよい。この場合、次元の数は、システム状態ベクトルＢのサイズに異なるｆａおよびｉａの数を足したものである。ＤＩＰを使用すると、次元の数は、ＤＩＰパラメータの数にアクション関数の数を足したものに等しい。学習中に学習されるモデルパラメータθの数は、この数に１を足したものに等しくてもよい。これは、あらかじめ定義されたドメインの数に対して固定される。

ニューラルネットワークベースのポリシーモデルが使用される場合、Ｑを近似するニューラルネットワーク（ＮＮ）は、学習中に各組み合わせにパラメータをどのようにして自動的に割り当てるかを決定する。ＮＮは、１つの入力層（組み合わせＢ，ｆ，ｉを受け取る）と、後に接続される複数の層と、最終出力層とを有する。各層は、いくつかの隠れ変数（ノード）を有し、これらの変数は、（連続する層内の）それらの間の接続を有する。各接続は重みを有する。これらの重みは、学習中に学習されるパラメータである。パラメータは、現在の層内の所定の隠れ変数が、次の層内の所定の隠れ変数にどれくらい影響するかを決定する。したがって、ＤＱＮベースの学習は、入力の次元よりも大きくてもよいパラメータのセットを決定する。この数は、あらかじめ定義されたドメインの数に対して固定される。

したがって、ＤＩＰを使用するポリシー最適化技法の出力は、異なるデータ構造（より少数のモデルパラメータ）を有する。重みが学習されると、同じパラメータ化関数
およびψ_ａはそれぞれ、実施中にオントロジーおよび信念状態をパラメータ化するために使用される。

最適化中に、ポリシーモデルは、人間またはシミュレートされたユーザと対話し、重みθ_ａの決定を可能にするフィードバックを受け取ってもよい。対話は、例えば、単一のあらかじめ定義されたドメインに関する対話を備えてもよい。システム状態追跡部は、入力発話をシステム状態にマップし、システム状態は、次いで、関数ψ（Ｂ）を使用して、オントロジーに依存しないパラメータに変換される。アクション関数とアクション関数入力とを備える記憶されたオントロジーも、関数
を使用して、オントロジーに依存しないパラメータに変換される。ポリシーモデルは、通信関数とアクション関数入力とを出力する。ポリシーモデルのサブセット（Ｑテーブル）がリアルタイムで選択され、Ｑ値
を備える。これは、すなわち、最高のＱ値を有する次の入力とアクション関数とを選択することによって、次の入力とアクション関数の両方を導出するために使用される。次いで、フルアクションが、現在の信念状態のためのスロットに関する上位信念をアクション関数入力に含めることによって生成可能である。対話の成功に関するフィードバックは、アクション関数に関連付けられた重みθ_ａを更新するために使用され、Ｑを生成するために使用される。

したがって、アクション関数ｆ_ａを備える一般的なアクション空間Ａが定義され、アクション関数ｆ_ａは、例えば情報探索問題に関するアクション関数のセットであってもよい。一般的なアクション空間は、以下のシステムアクション、すなわち、ｈｅｌｌｏ、ｂｙｅ、ｉｎｆｏｒｍ、ｃｏｎｆｉｒｍ、ｓｅｌｅｃｔ、ｒｅｑｕｅｓｔ、ｒｅｑｕｅｓｔ ｍｏｒｅ、ｒｅｐｅａｔを備えてもよい。

したがって、ポリシーは、信念−アクション空間ではなく、Φ_ＤＩＰ×Ａ空間に対して動作する。Φ_ＤＩＰは、スロットに対するドメイン独立性を達成する。Ａ空間内で動作し、ポリシーに、どのアクションを次にとるべきか、ならびにアクションがどのスロットを参照するかを決定させることによって、アクションに関する独立性が達成される。

任意のドメインのアクションは、Ａ×Ｉ_ａという関数として表され、ここで、Ｉ_ａはドメインのスロットである。

Ｑ値を生成するために使用されるパラメータは、学習中に学習される。次いで、学習されたポリシーは、
のように、アクションとスロットの両方に対して最大化することによって、実施中にどのアクションをとるべきかを決定し、ここで、Ｂ_ｔは時間ｔにおける信念状態であり、ｆ_ａ∈Ａである。

Ｑ関数を近似するために、例えば、各々６４の隠れたＬＳＴＭセルを有する４つの積層されたＲＮＮが使用される。入力層はＤＩＰ特徴ベクトルΦ_ＤＩＰ（Ｂ_ｔ，ｉ_ａ，ｆ_ａ）を受け取り、出力層はサイズＡである。各出力次元は、Ｑ［Φ_ＤＩＰ（Ｂ、ｉ_ａ、ｆ_ａ）、ｆ_ａ］と解釈することができる。
ここで、
はサイズ｜Ａ｜のベクトルであり、Ｗ^ｍは、セルｋに対する（合計でＭ個の層からの）ｍ番目の層の重みであり、ｘ^ｍ _ｋはｍ番目の層の活性を保持し、ここで、ｘ^０＝Φ_ＤＩＰ（Ｂ_ｔ，ｉ_ａ，ｆ_ａ）であり、ｂ^ｍはｍ番目の層のバイアスである。任意で、Ｍ＝４である。したがって、ニューラルネットワークは、所与のパラメータ化された入力ｉ_ａおよびパラメータ化された信念状態Ｂに関する各アクション関数ｆ_ａに対する値を生成し、最大Ｑ値に対応するアクション関数を出力する。ポリシーモデルは、最大Ｑ値に対応するアクション関数とアクション関数入力とを更新するために、それらの値を使用し、全体的な最大Ｑに対応するアクション関数と入力とを決定するために、すべての可能な入力（スロット）にわたって反復して、この値に対応する入力とアクション関数の両方を出力する。要約システムアクションを生成するために、選択されたスロットとアクションが組み合わされる。モデルは、経験の再現を有するＤＱＮで学習され、経時的に同じ分布に従うことを保証するために各ミニバッチの入力ベクトルを正規化してもよい。ＤＱＮは、強化学習の一種である。ＤＱＮの代わりに、他のポリシー学習アルゴリズムが使用可能である。

図６は、対話ポリシーを最適化する方法の概略図である。図６は、ニューラルネットワーク、例えばディープニューラルネットワークを使用するときの、例示的な対話ポリシー学習方法を示す。異なる層は、例示的な状態とアクション抽象化とを示す。方法は、自動的に実行される、信念状態と要約アクション状態との間の部分を重視する。

対話ポリシー学習アルゴリズムは、例えば以前のシステムアクションと他の任意の特徴とを備え得る現在の状態を入力として取得し、次のドメインに依存しないシステムアクション関数を出力する。しかしながら、Ｑ（Ｂ，ａ）（これはサイズ｜Ａ｜のベクトルであり、ここで、Ｂすなわち信念状態が与えられているので、Ａはアクションセットである）を最大化にする代わりに、方法は、上記で説明されたように、Ｑの一部：Ｑ（Ｂ，ｆ_ａ，ｉ_ａ）をリアルタイムで作成する。したがって、：Ｑ（Ｂ，ｆ_ａ，ｉ_ａ）を最大化する入力とアクション関数とを発見することによって、方法は、適切な入力（例えばスロット）と次のアクションの両方を効果的に選択する。次いで、これらの組み合わせとして、出力アクションが生成される。

方法は、データからモデルを学習し、これは、システムが動作するドメインの数およびサイズに依存しない、言い換えれば、それは、１つのドメインに対して学習するが、次いで、マルチドメインシステムのために実施され得る。代替として、モデルは、人間またはシミュレートされたユーザとの対話を入力することによって学習し得る。同じポリシーモデルは、いかなる処理の必要なしに新しいドメインに適用可能である。さらに、モデルは、ドメインの数またはドメインのサイズが成長するにつれて成長せず、したがって、スケーラブルであり、大規模なマルチドメインシステムまたは単一ドメインシステムにおいて使用するのに効率的である。これは、次のアクションと、使用するスロットとを同時に選択することによって、達成される。

フル状態空間は、状態追跡モデルを使用して、現在のターンに対する状態にマップされる。次いで、信念状態は、パラメータ化された信念状態Φ_ｉ［Ｂ（ｓ）］を与えるために、ＤＩＰを使用してパラメータ化され、ここで、Φは、信念状態をパラメータ化するために使用されるパラメータ化関数である（例えば、上記で説明されたψ）。信念状態は、例えば示されるような、前のシステムアクションを含んでよい。これは、次いで、ポリシー学習アルゴリズムに入力され、ポリシー学習アルゴリズムは任意のポリシー学習アルゴリズムであってもよい。

フルアクション空間の代わりに、システムは、要約アクション空間に対して動作する。要約アクションは、以下の規則によって定義され得る。
（１）アクションがそのオペランドとして１つのスロット−値ペアのみをとる場合、実際の値は消去され、アクションは、ａ（ｓ＝＜スロットｓにおける現在／上位値仮説＞）に要約される；および、
（２）アクションがそのオペランドとしてスロット値のリストをとる場合、それは、ａ（ｓ１＝＜ｓ１における現在／上位／共同スロット−値仮説＞、ｓ２＝＜ｓ２における現在／上位／共同スロット−値仮説＞、…）として要約される。

言い換えれば、現在のシステム状態（決定論的状態が使用される場合、すなわち、ＭＤＰ−ＳＤＳにおいて）または上位信念（信念状態が使用される場合、すなわち、ＰＯＭＤＰ−ＳＤＳにおいて）仮説は、アクションごとに、＜＞へと置き換えられる。次いで、スロット情報はアクションから除去可能であり、これは、各アクションは、ドメインに依存しないアクション関数ｆ_ａと、ヌルであってもよいし１つまたは複数のカテゴリであってもよいアクション関数入力とを備えることを意味する。

次いで、要約アクションは、アクション関数ｆ_ａのみを備える、ドメインに依存しないアクション空間にマップされる。カテゴリは、システム状態内に備えられるので、この場合、情報のセットはカテゴリを含まず、これらは、入力システム状態から取り出される。

ポリシーモデルは、入力として、ドメインに依存しないアクション関数と、パラメータ化されたドメインに依存しない信念状態とをとる。ポリシーモデルは、ドメインに依存しない信念状態を、ドメインに依存しないアクション関数およびスロットにマップする。信念状態に対する最大Ｑ値に対応するアクション関数およびスロットが、出力として選択される。これは、１つのスロットに対応するパラメータ値（アクション関数入力）および信念状態をニューラルネットワークに入力することによって行われ、これは、各アクション関数に対するＱ値を生成し、
に従って、最大Ｑ値に対応するアクション関数を出力する。

ポリシーモデルは、各スロットに対してニューラルネットワークを実行し、このようにして、最大Ｑ値に対応するスロットとアクション関数の組み合わせを発見する。

Ｑ値を生成するために使用されるニューラルネットワークパラメータは、性能インジケータに基づいて更新される。

図７は、システムアーキテクチャの概略図である。複数のあらかじめ定義されたドメインは、単一のマルチドメインシステム状態を生成するために組み合わされ、その関連する部分はポリシーに入力される。ポリシーの出力は、ドメインに依存しないアクション空間である。

図８は、不適合ポリシー（unadapted policy）に関する値に対する成功率または平均報酬のうちの少なくとも１つを増加させるために特定のオントロジーに対してパラメータ化されたポリシーを最適化するための例示的な方法を示す。非適合ポリシーは、最適化されていない（すなわち、最適化手順を通っていない）ポリシーである。代替として、ポリシーは、最大予想報酬を有するアクションが各対話ターンにおいて選択可能であるように最適化されてもよく、アクションは、特定の時点において何をするべきかに関して対話管理部によってなされる選択肢である。適合は通常、人間ユーザまたは人間ユーザをシミュレートするコンピュータのいずれかとのポリシーの反復的な使用に応答して、これと組み合わせて行われる。図８に関して説明される方法は、ＧＰ−ＳＡＲＳＡとしても知られている、パラメータ化されたポリシーを最適化するためにガウス過程時間差（ＧＰＴＤ）学習を使用する。

図８のパラメータ化されたポリシーは、特定のオントロジーに関して最適化される。このオントロジーは、必ずしもポリシーが最終的にそれとともに使用されるオントロジーであるとは限らない。

ポリシーが最適化可能なオントロジーを、オントロジーに依存しないポリシーとともに使用するために、オントロジーの各スロットは、上記で説明されたように、オントロジーに依存しないパラメータに関して定義される。これは、各対話ターンにおいて行われてもよいし、情報のいくつかまたはすべてが、学習中に使用するためのパラメータに関して最初にパラメータ化され、記憶されてもよい。スロットが、オントロジーに依存しないパラメータに関して定義されると、オントロジーは、ポリシーを最適化するために、ポリシーとともに使用可能である。

ステップ９０では、ｎ個の異なるパラメータ化されたポリシーが最初に提供される。パラメータ化されたポリシーは、入力としてオントロジーに依存しないパラメータを受け取るように構成される。この段階におけるパラメータ化されたポリシーは、最適化されていない。

次いで、ステップ９２では、パラメータ化されたポリシーの各々（１からｎ）が最適化される。ポリシーは、例えば、ＧＰ−ＳＡＲＳＡを使用して最適化されてもよい。ポリシーはすべて、同じオントロジーを有する同じドメインによって最適化されてもよいし、同じオントロジーを有する同じドメインに対して最適化されてもよいし、異なるオントロジーを有する異なるドメインによって最適化されてもよい。ポリシーはドメインに依存しないので、ポリシーが使用されることとなるオントロジー（「エンドユーザ」オントロジー）が、ポリシーを最適化するためのオントロジーと異なるかどうかは、問題ではない。オントロジーに依存しないポリシーを最適化するために使用されるために、ｍ個のオントロジーの各々は、最適化が着手されることができる前に、それらのスロットの各々を、オントロジーに依存しないパラメータに関して定義させなければならない。パラメータは、上記で論じられたパラメータであってもよい。

各オントロジーが、最適化されるべきそれぞれのポリシーとの使用に適するようになると、最適化されたポリシーの各々は、エンドユーザオントロジー（ポリシーが最終的に実施されることになるオントロジー）とともに使用される９４。次いで、エンドユーザオントロジーに対する「最も最適な（most optimal）」ポリシーが決定される９６。例えば、最も最適なポリシーは、ここでは、最も高い平均報酬を有するポリシーである。代替として、最も最適なポリシーは、最高タスク成功率または２つの値の平均を有するポリシーであってもよい。次いで、最も最適なポリシーが、エンドユーザオントロジーとともに使用されるために選択される９８。エンドユーザオントロジーは、複数のあらかじめ定義されたドメインを備えるグローバルオントロジーまたは任意の単一のあらかじめ定義されたドメインオントロジーのいずれかであってもよい。任意で、識別子は、関連するスロットを識別し、使用されるドメインを、各ターンにおいてエンドユーザオントロジーとして定義するために使用可能である。

エンドユーザオントロジーとともにパラメータ化されたポリシーを使用するために、エンドユーザオントロジーがパラメータ化される１００。これは、ターンごとに、または最初に、上記で説明されたように行われてもよい。エンドユーザオントロジーがパラメータ化されると、ポリシーがエンドユーザオントロジーに適用される１０２。任意で、次いで、１０４では、エンドユーザオントロジーに適用されるポリシーが改良される。図８において選択されたポリシーを改良するためのプロセスは、ポリシーを最適化するために使用されるプロセスと同じプロセスである。当然、選択されたポリシーを改良するために、選択されたポリシーは、さらなる、関連のないオントロジーではなく、エンドユーザオントロジーとともに繰り返し使用される。エンドユーザオントロジーに適用されるポリシーはすでに最適化されているので、改良プロセス１０４の開始時におけるポリシーは、最適化されたポリシーである。したがって、最適化プロセスのための適合と比較されると、比較的少量の適合が必要とされる。

図９は、第１のオントロジーを用いて第１のドメインにおいてポリシーを最適化し、そのポリシーを、エンドユーザオントロジーを用いてエンドユーザドメインに移すためのさらなる方法を概略的に示す。初期ＳＤＳが、オントロジーに依存しないポリシーとともに展開される１１０。このポリシーは、第１のオントロジーとともに第１のドメイン内で展開される。第１のオントロジーのスロットは、ポリシーとともに使用可能であるように、オントロジーに依存しないパラメータにおいて定義される。上記で論じられたように、例示的な対話が収集され１１２、ポリシーが最適化される１１４。次いで、最適化されたポリシーが、第１のオントロジーとともにドメイン内でＳＤＳの一部として展開可能である１１６。展開されると、反復ループ１３０が、ポリシーをさらに最適化する１１４ために、さらなる例示的な対話を収集し得る１１２。

ポリシーが最適化されると、ポリシーは、１つまたは複数の「良好な」ポリシーのセットの一部として保持され得る１１８。次いで、１つまたは複数の良好なポリシーは、評価されるエンドユーザオントロジーおよびそれらの性能とともに新しいドメイン内で実施可能である１２０。複数の「良好な」ポリシーがある場合、エンドユーザオントロジーにとって最も最適なものが選択可能である。次いで、選択されたポリシー、すなわち唯一の「良好な」ポリシーが、エンドユーザオントロジーとともに展開される１２２。任意で、１２４において、さらなる例示的な対話が収集されてもよく、１２６では、ポリシーは、データ駆動型アプローチを使用してさらに改良されてもよい。

次いで、１２８では、改良されたＳＤＳが展開される。

一般に、対話ポリシー最適化は、最大予想報酬を有するアクションが各対話ターンにおいて選択可能であるように、（ＭＤＰ−ＳＤＳでは）システム状態または（ＰＯＭＤＰ−ＳＤＳでは）信念状態で実行されるシステムアクションに対する予想長期報酬を推定することが目指される。

ポリシーモデルが学習されると、ポリシーモデルは、学習された状態追跡モデル、識別子モデル、および必要とされる他の任意のさらなるモデル、例えば、音声合成（text to speech）モデル、自動音声認識モデル、自然言語生成モデルなどとともに、ＳＤＳにおいて実施可能である。

実施中に、例えば、関連カテゴリが、Ｓ２０３において識別される。以前に説明されたように、これは、話題追跡モデルを使用してあらかじめ定義されたドメインを識別することによって行われてもよい。代替として、ドメイン全体から関連カテゴリは、学習された識別子モデルを使用して識別されてもよい。識別子モデルは、以下で図１０に関して説明されるように、学習されてもよい。

図１０は、識別子モデルを学習する例示的な方法のフローチャートを示す。この方法では、識別子モデルは、ポリシーモデルとは別に学習される。

Ｓ１００１では、システム状態が、複数の対話に関して取得される。この例で使用されるシステム状態は、信念状態である。

複数の対話を備える学習コーパスが、識別子モデルを学習するために使用される。このコーパスは、例えば、ラベルされた学習データコーパスである。モデルは、各対話からの各発話に対応するシステム状態を入力として順にとる。

このコーパスは、例えば、対話中の発話に対応する複数のシステム状態を備えてもよい。このコーパスは、例えば、ラベルされた学習データコーパスである。モデルは、各対話からの各発話に対応するシステム状態を入力として順にとる。

このコーパスは、例えば、対話中の発話に対応する複数のシステム状態を備えてもよい。

代替として、コーパスは、対話中の発話に対応するテキスト信号を備えてもよく、その場合、学習の方法は、データからシステム状態を抽出するステップを備える。システム状態は、１つまたは複数の、記憶された、すでに学習された追跡モデルを使用して抽出される。この例における追跡モデルは、したがって、識別子モデルを学習するステップの前に学習され、学習された追跡モデルは、次いで、識別子モデルを学習する際に使用される。追跡部は、特定のあらかじめ定義されたドメインごとに学習されてもよい。代替として、一般的な信念追跡部が学習されてもよい。これは、その後、あらかじめ定義されたドメインが追加または削除されるたびに再学習される必要があるであろう。使用され得る例示的な追跡モデルは、「Ｗｏｒｄ−ｂａｓｅｄ ｄｉａｌｏｇ ｓｔａｔｅ ｔｒａｃｋｉｎｇ ｗｉｔｈ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ」、Ｈｅｎｄｅｒｓｏｎ、Ｔｈｏｍｓｏｎ、Ｙｏｕｎｇ、ＳＩＧＤｉａｌ ２０１４に記載されている。

同様に、コーパスが音声信号を備える場合、学習する方法は、あらかじめ学習された音声言語ユニットを使用してテキスト信号を抽出し、次いで、そのテキスト信号に対応するシステム状態を抽出することを備える。

ラベルは、対話中の発話ごとに、関連するあらかじめ定義されたドメインを識別し得る。しかしながら、モデルは、学習において使用されるあらかじめ定義されたドメインを越えて一般化することができる。識別子モデルは、あらかじめ定義されたドメインからの例のみを見るが、入力と関連するスロットとの相関を学習することによって、新しいドメインに一般化することができる。

各システム状態は、Ｓ１００２において、統計モデルに順に入力される。以前に実施段階に関して説明されたように、前のシステム状態も識別子モデルへの各入力に含まれてもよい。同様に、以前に実施段階に関して説明されたように、各カテゴリに対する最高確率を有する値のみが入力システム状態に含まれてもよい。

次いで、モデルは、入力システム状態から複数の関連カテゴリを識別し、Ｓ１００３において、関連するスロットが出力される。次いで、Ｓ１００４において、これらのカテゴリに基づいて、サブドメインが生成される。これは、実施段階中に説明されたものと同じ様式で行われる。このプロセスは、対話ターンごとに繰り返される。

現在のドメインを示すラベルは、この識別の成功を決定するために使用され、モデルが学習することを可能にする。したがって、統計モデルは、入力としてバッファを、正解データ（ｇｒｏｕｎｄ ｔｒｕｔｈ）として、現在のあらかじめ定義されたドメインを受け取り、信念を関連するスロットにマップするために学習する。

したがって、データ駆動型方法は、この集合的知識のどの部分が、対話が進捗するのに関連するかを各対話ターンにおいて識別できるモデルを学習するために使用される。

上記の説明は、さまざまなモデルを別々に学習する方法に関する。しかしながら、他のモデルのうちの１つまたは複数とともにポリシーモデルを学習することも可能である。例えば、ポリシーモデルは、追跡モデル識別子モデルまたは話題とともに学習されてもよい。例えば、ディープニューラルネットポリシーモデルは、識別子モデルと共同で最適化可能である。この場合、ラベルされたデータを、識別子モデルを学習するために使用する代わりに、上記でポリシーモデルに関して説明されたいくつかの種類のフィードバックも、識別子モデルを学習するために使用される。例えば、システム状態追跡モデルも、ポリシーモデルとともに学習されてもよい。

任意で、これは、ＤＮＮを使用し、モデルを共同で最適化することによって行われる。これらのモデルを学習することは、成功率または平均報酬を増加させるようにモデルを適合させることを備えてもよく、例えば、上記のインジケータの平均または組み合わせが最大化されるようにモデルを適合させることを備えてもよい。モデルは、対話の品質についてのフィードバックを受け取り、それを、システム状態、関連するスロット、およびアクションの選択を査定するために使用する。時間がたつにつれて、モデルは、良好な予測を行うことを学習し、それは、フィードバック／品質尺度の向上につながる。

モデルは、データの記憶されたコーパスを用いて学習されてもよいし、人間またはシミュレートされたユーザを用いて学習されてもよい。

ＤＱＮポリシー学習アルゴリズムが使用されてもよい。このアルゴリズムはスケーラブルである。

拡張された特徴セットは、ポリシーモデルへの入力をパラメータ化するために使用可能であり、例えば、重要性および／または優先度は、上記で説明されたように、ポリシーモデルの学習中にリアルタイムで推定可能である。

図１１（ａ）および図１１（ｂ）は、上記で図４に関して説明された方法のための複数のドメイン（２０，０００の学習エピソード）に対する評価結果を示す。複数のドメインに対して方法を適用すると、９８．５５の対話成功率が得られる。

システムはまた、シミュレートされたユーザを用いて学習され、小規模な人間ユーザトライアルに対してテストされた。ＤＭは、４つのドメインすなわちケンブリッジのアトラクション（ＣＡ）、ケンブリッジの店舗（ＣＳ）、ケンブリッジのホテル（ＣＨ）、およびケンブリッジのレストラン（ＣＲ）、に対するシミュレーションにおいて学習された。意味論的誤り率を変化させる間、２，０００の学習エピソードと、１，０００の評価エピソードがあった。表１は、シミュレーションにおける実験の結果を示し、意味論的誤り率が変化させられ、１０の学習／テスト実行にわたって平均された。単一ポリシーＤＱＮベースの管理部が評価された。

上記で説明された方法は、ドメイン移送もサポートしながらスケーラブルな単一ドメインＳＤＳまたはマルチドメインＳＤＳの展開を可能にし、したがって、マルチドメインＳＤＳを展開するための開発時間および労力ならびにそれを維持および拡張するために必要とされる時間および労力の削減を可能にし得る。

上記で説明された方法は、ＤＮＮを使用したマルチドメイン対話管理部の学習を可能にする。情報探索対話に適用できる、単一の、ドメインに依存しないポリシーネットワークが学習され得る。これは、ＤＱＮとともに学習されたＤＩＰおよびＤＮＮを通して達成され得る。

上記で説明された方法は、ドメイン固有アクションからの独立性を対話管理部に提供する。

マルチドメイン対話管理部は、複数の（潜在的に非常に異なる）あらかじめ定義されたドメインからのデータを使用して学習される。ポリシーのサイズは状態またはアクション空間のサイズに依存しないので、方法は、大規模ドメイン（単一または複数）にスケーラブルである。

方法は、複数のドメインの対話管理への深層学習アプローチであってもよい。複数の情報探索ドメインに適用可能な、単一のドメインに依存しないポリシーネットワークが学習される。ディープＱネットワークアルゴリズムが、対話ポリシーを学習するために使用されてもよい。

特定の構成が説明されてきたが、これらの構成は、単に例として提示されたものであり、発明の範囲を限定することは意図していない。実際には、本明細書で説明される方法およびシステムは、その他の様々な形態で実施されることが可能である。そのうえ、本明細書で説明される方法および装置の形態において種々の省略、置き換え、および変更が行われてもよい。

Claims (20)

1. ユーザから発生した音声信号またはテキスト信号に関するデータを受け取るための入力部と、
   アクションによって指定された情報を出力するための出力部と、
   状態追跡モデルを使用して前記データに基づいてシステム状態を更新することと、前記システム状態が、複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備え、カテゴリが、前記音声信号または前記テキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとることができる、
   前記システム状態を使用して生成された情報と記憶された情報のセットとをポリシーモデルに入力することによって、アクション関数およびアクション関数入力を決定することと、前記システム状態を使用して生成された前記情報が、前記システム状態の少なくとも一部を備え、前記記憶された情報のセットが、複数のアクション関数を備える、
   前記決定されたアクション関数および前記決定されたアクション関数入力によって指定された情報を前記出力部において出力することと
   を行うように構成されたプロセッサと
   を備える対話システム。
2. 前記複数のカテゴリが、複数の異なるあらかじめ定義されたドメイン固有オントロジーからのものであり、あらかじめ定義されたドメインが、特定の対話話題に対応し、前記あらかじめ定義されたドメイン固有オントロジーが、前記特定の対話話題に関する前記複数のカテゴリを備え、前記複数のアクション関数が、ドメインに依存しない、請求項１に記載の対話システム。
3. 前記システム状態を使用して生成された前記情報または前記記憶された情報のセットが、複数のアクション関数入力を備え、
   アクション関数およびアクション関数入力を決定することが、前記複数のアクション関数入力ごとに、値のベクトルを生成することを備え、各ベクトル内の各値が、アクション関数に対応し、出力情報を生成するために前記アクション関数および前記アクション関数入力が使用される場合における対話性能の推定値であり、前記値が、前記ポリシーモデルにより生成され、
   前記決定されたアクション関数および前記決定されたアクション関数入力が、すべての前記ベクトルにおける最高値に対応する前記アクション関数に対応する、請求項２に記載の対話システム。
4. 前記ポリシーモデルが、オントロジーに依存しないパラメータを入力として用いて動作するように構成され、
   前記プロセッサが、１つまたは複数のオントロジーに依存しないパラメータに関して前記システム状態を使用して生成された前記情報をパラメータ化することを行うようにさらに構成される、請求項３に記載の対話システム。
5. 各アクション関数入力が、１つまたは複数のオントロジーに依存しないパラメータと前記アクション関数入力に関する前記値のベクトルを生成するために使用される前記ポリシーモデルのパラメータとに関してパラメータ化され、値のベクトルの各々が、ドメイン固有アクション関数入力に対応する、請求項４に記載の対話システム。
6. 前記ベクトルが、ニューラルネットワークを使用して生成される、請求項３から５のいずれかに記載の対話システム。
7. 前記入力部が、音声信号を受け取るためのものであり、前記出力部が、音声信号を出力するための出力部であり、
   前記プロセッサが、
   前記入力部によって受け取られた音声信号から、関連付けられた確率を有する自動音声認識仮説を生成することと、
   前記アクションに基づいてテキストを生成することと、
   前記出力部において出力するために、前記テキストを音声に変換することと
   を行うようにさらに構成される、請求項１から６のいずれかに記載の対話システム。
8. 前記システム状態を使用して生成された前記情報または前記記憶された情報のセットが、複数のアクション関数入力を備え、前記アクション関数入力が、カテゴリを備え、
   前記プロセッサが、
   前記システム状態の少なくとも一部に基づいて、１つまたは複数の関連カテゴリを識別することと、前記関連カテゴリが、前記複数のカテゴリのうちの前記システム状態に関連するカテゴリであり、
   前記関連カテゴリの各々に関する前記複数の可能な値のうちの１つまたは複数に関連付けられた前記確率値を備えるシステム状態を生成することと、前記生成されたシステム状態の少なくとも一部が、前記ポリシーモデルに入力される、
   を行うようにさらに構成される、請求項１から７のいずれかに記載の対話システム。
9. １つまたは複数の関連カテゴリを識別することが、前記更新されたシステム状態の少なくとも一部を識別子モデルに入力することを備え、前記識別子モデルが、前記更新されたシステム状態に基づいて各カテゴリが関連する確率を求め、閾値よりも高い確率を有するカテゴリである前記関連カテゴリを識別し、前記関連カテゴリが、異なるあらかじめ定義されたドメイン固有オントロジーからのカテゴリを備え、前記生成されたシステム状態が、関連すると識別されなかった前記カテゴリのいずれかに関する前記複数の可能な値のいずれかに関連付けられた確率値を備えない、請求項８に記載の対話システム。
10. １つまたは複数の関連カテゴリを識別することが、前記更新されたシステム状態の少なくとも一部を対話話題追跡モデルに入力することを備え、前記対話話題追跡モデルが、前記更新されたシステム状態に基づいて各対話話題が関連する確率を求め、最も関連する対話話題を識別し、前記関連カテゴリが、前記最も関連する対話話題に対応するあらかじめ定義されたドメイン固有オントロジーからのカテゴリを備え、前記生成されたシステム状態が、関連すると識別されなかった前記カテゴリのいずれかに関する前記複数の可能な値のいずれかに関連付けられた確率値を備えない、請求項８に記載の対話システム。
11. 前記カテゴリがスロットである、請求項１から１０のいずれかに記載の対話システム。
12. システム状態を更新することが、複数の状態追跡モデルを使用して前記データに基づいて複数のシステム状態を更新することを備え、各システム状態が、あらかじめ定義されたドメインに関連付けられた複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備える、請求項１から１１のいずれかに記載の対話システム。
13. コンピュータが実行する対話方法であって、
    ユーザから発生した音声信号またはテキスト信号に関するデータを受け取ることと、
    状態追跡モデルを使用して前記データに基づいてシステム状態を更新することと、前記システム状態が、複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備え、カテゴリが、前記音声信号または前記テキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとることができる、
    前記システム状態を使用して生成された情報と記憶された情報のセットとをポリシーモデルに入力することによって、アクション関数およびアクション関数入力を決定することと、前記システム状態を使用して生成された前記情報が、前記システム状態の少なくとも一部を備え、前記記憶された情報のセットが、複数のアクション関数を備える、
    前記決定されたアクション関数および前記決定されたアクション関数入力によって指定された情報を出力部において出力することと
    を備える対話方法。
14. 人間またはシミュレートされた人間との対話を入力するために対話システムを繰り返し使用し、各対話に関する性能インジケータを提供することによって、前記対話システムを適合させる、コンピュータが実行する方法であって、
    対話における音声信号またはテキスト信号に関するデータを受け取ることと、
    状態追跡モデルを使用して前記データに基づいてシステム状態を更新することと、前記システム状態が、複数のカテゴリの各々に関する複数の可能な値の各々に関連付けられた確率値を備え、カテゴリが、前記音声信号または前記テキスト信号が関連し得る主題に対応し、値のセットからの１つまたは複数の値をとることができる、
    前記システム状態を使用して生成された情報と記憶された情報のセットとをポリシーモデルに入力することによって、アクション関数およびアクション関数入力を決定することと、前記システム状態を使用して生成された前記情報が、前記システム状態の少なくとも一部を備え、前記記憶された情報のセットが、複数のアクション関数を備える、
    前記決定されたアクション関数および前記決定されたアクション関数入力によって指定された情報を出力部において出力することと、
    前記性能インジケータを増加させるように前記ポリシーモデルを適合させることと
    を備える方法。
15. 前記システム状態を使用して生成された前記情報または前記記憶された情報のセットが、複数のアクション関数入力を備え、
    アクション関数およびアクション関数入力を決定することが、前記複数のアクション関数入力ごとに、値のベクトルを生成することを備え、各ベクトル内の各値が、アクション関数に対応し、出力情報を生成するために前記アクション関数および前記アクション関数入力が使用される場合における対話性能の推定値であり、前記値が、前記ポリシーモデルにより生成され、
    前記決定されたアクション関数および前記アクション関数入力が、すべての前記ベクトルにおける最高値に対応する前記アクション関数に対応し、
    前記ポリシーモデルを適合させることが、前記性能インジケータに基づいて前記ポリシーモデルを更新することを備える、請求項１４に記載の方法。
16. 前記システム状態を使用して生成された前記情報または前記記憶された情報のセットが、複数のアクション関数入力を備え、前記アクション関数入力が、カテゴリを備え、
    前記システム状態の少なくとも一部に基づいて、１つまたは複数の関連カテゴリを識別することをさらに備え、
    前記関連カテゴリは、前記複数のカテゴリのうちの前記システム状態に関連するカテゴリであり、
    前記システム状態を使用して生成された前記情報が、前記関連カテゴリの各々に関する前記複数の可能な値のうちの１つまたは複数に関連付けられた前記確率値を備えるシステム状態の少なくとも一部を備える、請求項１４または１５に記載の方法。
17. 前記１つまたは複数の関連カテゴリが、識別子モデルを使用して前記更新されたシステム状態の少なくとも一部に基づいて識別される、請求項１６に記載の方法。
18. 前記対話内に存在するカテゴリごとに、達成された前記性能インジケータと最大可能性能インジケータの比の累積移動平均をカテゴリ重要性の推定値として決定することをさらに備え、前記カテゴリ重要性の推定値が、前記ポリシーモデルに使用される、請求項１４から１７のいずれかに記載の方法。
19. 前記対話内のカテゴリごとに、前記対話内の相対位置の累積移動平均をカテゴリ優先度の推定値として決定することをさらに備え、前記カテゴリ優先度の推定値が、前記ポリシーモデルに使用される、請求項１４から１８のいずれかに記載の方法。
20. 請求項１３から１９のいずれかに記載の方法をコンピュータに実行させるように構成されたコンピュータ可読コードを備えるプログラム。