JP6856498B2 - 支援システム、支援方法、プログラム、及び記憶媒体 - Google Patents

Description

本発明の実施形態は、支援システム、支援方法、プログラム、及び記憶媒体に関する。

ユーザに情報を提供する１つの方法として、例えば、ユーザの音声を認識し、応答文を生成する対話システムがある。さらに、ユーザが入力した文字情報からユーザが望むサービスを提供する方法もある。サービス提供システムの運用は、容易であることが望ましい。

特許第４７６９００５号公報

本発明の実施形態は、サービス提供システムの運用を容易にできる支援システム、支援方法、プログラム、及び記憶媒体を提供する。

実施形態に係る支援システムは、対話システムに用いられる新規スロットパラメータを追加するためのものである。前記支援システムは、取得部及び第１処理部を含む。前記取得部は、前記対話システムに追加される新規スロットパラメータを取得する。前記第１処理部は、前記新規スロットパラメータを選定するための第１評価値に基づいて、前記新規スロットパラメータを含む第１情報を、前記対話システムの管理者に送信する。

図１は、第１実施形態に係る支援システムを例示する模式図である。 図２は、第１実施形態に係る支援システムが用いられるサービス提供システムを例示する模式図である。 図３は、スロットパラメータ及びスロットを例示する図である。 図４は、第１実施形態に係る支援システムの動作を例示するフローチャートである。 図５は、第１実施形態に係る支援システムの動作を例示するフローチャートである。 図６は、第１実施形態に係る別の支援システムを例示する模式図である。 図７は、第１実施形態に係る別の支援システムの動作を例示するフローチャートである。 図８は、第２実施形態に係る支援システムを例示する模式図である。 図９は、第２実施形態に係る支援システムを例示するフローチャートである。

以下に、本発明の各実施形態について図面を参照しつつ説明する。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。

図１は、第１実施形態に係る支援システムを例示する模式図である。
図１に示すように、支援システム１１０は、取得部１０及び第１処理部２１を含む。 取得部１０は、情報を取得する。第１処理部２１は、その情報の処理を行う。支援システム１１０は、例えば、ユーザにサービスを提供するサービス提供システムの運用を支援する。

以下、まず、サービス提供システムの例について説明する。
図２は、第１実施形態に係る支援システムが用いられるサービス提供システムを例示する模式図である。

サービス提供システム８０は、例えば、対話システムを含む。サービス提供システム８０は、ユーザＵＳが発した音声を認識し、応答文を生成する。サービス提供システム８０は、音声の認識及び応答文の生成により、ユーザＵＳと対話することで、ユーザＵＳの意図を推定する。サービス提供システム８０は、例えば、ユーザＵＳとの文字情報の授受により、ユーザＵＳの意図を推定しても良い。推定されたユーザＵＳの意図に応じて、サービス提供システム８０は、サービス（ユーザＵＳが望む情報など）を、ユーザＵＳに提供する。
例えば、サービス提供システム８０は、ショッピングモールに設置される。ショッピングモールには、複数のレストラン、複数の玩具店、及び、複数の衣類店などが設けられている。ショッピングモールを訪れたユーザＵＳが、サービス提供システム８０に例えば音声で、種々の「問いかけ」を行う。その「問いかけ」に応じたサービス（情報）が、サービス提供システム８０からユーザＵＳに提供される。
例えば、ユーザＵＳが食事を望む場合の１つの例において、ユーザＵＳは、行きたいレストランの店名を知っており、その場所を知らない。この場合、ユーザＵＳは、その店名を発声する。サービス提供システム８０は、この発声を音声認識し、その店の場所に関する情報を、そのユーザＵＳに教える。例えば、その店の場所が、情報（サービス）として提供される。
一方、ユーザＵＳが、自分の望むことの概略だけを認識しており、具体的な店の名前を知らない場合がある。このような場合にも、適切な情報（提案）を提供できることが望ましい。例えば、ユーザＵＳが、「日本料理は」と発声する場合や、「和風の」とだけ発声する場合もある。このような曖昧な発声を意図理解することで、適切な情報（サービス）が提供できる。
サービス提供システム８０おいて適切な意図理解が可能なように、例えば、サービス提供システム８０に、情報を格納できる複数の「分類」が設けられる。複数の分類の１つが「レストラン」に割り当てられる。複数の「分類」の別の１つが例えば、「衣料品店」などの他の店（サービス）に割り当てられる。
複数の「分類」の１つ（レストラン）に、複数の言葉（日本料理、韓国料理またはイタリア料理など）が格納可能である。例えば、「分類」に、「日本料理」の「言葉」が格納される場合には、ユーザＵＳが、「日本料理店は？」、「和食は？」、「日本風の」、または、「日本の家庭料理」などの発声をすると、そのユーザＵＳの意図が適切に推定され、日本料理に関するショッピングモール内の情報が提供できる。
一方、例えば、ユーザＵＳが「中華料理」と発声すると、サービス提供システム８０は、中華料理に関するショッピングモール内の情報を提供する。
「分類」に格納される複数の「言葉」を適切に設定することで、ユーザＵＳの意図を正確に推定することができる。
「分類」に格納される複数の「言葉」は、例えば、サービス提供システム８０の設計時に設けられる。そして、ショッピングモールにおけるユーザＵＳとの「対話」の結果に応じて、経時的に学習が行われても良い。
さらに、ショッピングモールに新しい店が設けられる場合、その店に対応して、必要に応じて新しい「言葉」を設定可能であることが好ましい。例えば、そのショッピングモールに従来から「日本料理店」があり、別の「日本料理店」が追加して設けられるときには、新しく「言葉」を追加する必要がない場合が多い。これに対して、そのショッピングモールに今まで「ベトナム料理店」がなかった場合に、新しく「ベトナム料理」が設定されても良い。

新しい「言葉」の設定は、第１ユーザＵＳ１（図２参照）により行われる。第１ユーザＵＳ１は、サービス提供システム８０の運用者（またはその従業者）である。第１ユーザＵＳ１は、新しい「言葉」の設定に関する作業を行う。第１ユーザＵＳ１は、サービス提供システム８０の管理者であっても良い。第１ユーザＵＳ１は、例えば、ショッピングモールの運営者（またはその従業員）もしくはショッピングモールに含まれる店舗の運営者（またはその従業者）である。一方、サービス提供システム８０は、第１ユーザＵＳ１とは異なる第２ユーザＵＳ２により設計され、販売される。第２ユーザＵＳ２は、サービス提供システム８０の別の管理者である。例えば、サービス提供システム８０における「分類」及び「言葉」は、第２ユーザＵＳ２により初期設定される。そして、サービス提供システム８０の運営中に、新しい「言葉」を、第１ユーザＵＳ１により設定できる。
初期設定の後のサービス提供システム８０の運営中に、新しい「言葉」を第１ユーザＵＳ１により設定できることで、サービス提供システム８０の仕様の変更が、容易に、適切なタイミングで実施できる。
第１ユーザＵＳ１が新しい「言葉」を設定する際に、新しく設定しようとしている「言葉」が不適切である場合、ユーザＵＳの意図理解が不正確になりうる。実施形態に係る支援システム１１０は、新しく「言葉」を追加する場合に、その「言葉」が適切かどうかを推定できる。例えば、新しい「言葉」として、「ベトナム料理」と設定した場合に、ユーザＵＳの曖昧な「問いかけ」に対して、適切な意図推定が行われる可能性が高いかどうかが推定される。そして、その推定結果に応じて、例えば、第１ユーザＵＳ１または第２ユーザＵＳ２に、その状況に適した情報が提供される。

図３は、スロットパラメータ（バリュー）及びスロットを例示する図である。
サービス提供システム８０は、推定の際に、予め設定された「分類」と、その「分類」に含まれる「言葉」を参照する。この「分類」は、スロットと呼ばれる。この「言葉」は、スロットパラメータまたはバリューと呼ばれる。図３は、ショッピングモールのレストランに関する複数のスロットＳ１〜Ｓｍを例示する。それぞれのスロットには、複数のバリューが設定される。例えば、料理に関するスロットＳ１は、日本料理のバリューＶ１１、韓国料理のバリューＶ１２、イタリア料理のバリューＶ１３などを含む。価格帯に関するスロットＳ２は、高級のバリューＶ２１、庶民派のバリューＶ２２などを含む。それぞれのバリューには、特徴量が設定されている。サービス提供システム８０は、複数のスロットＳ１〜Ｓｍを参照し、ユーザＵＳが意図しているバリューを推定して、そのバリューに関する応答文を生成する。

図４は、第１実施形態に係る支援システムの動作を例示するフローチャートである。

取得部１０は、情報を取得する。情報は、例えば、第１ユーザＵＳ１によって入力される。情報は、例えば、音情報（音声情報）及び文字情報の少なくともいずれかを含む。音声方法が入力され、その音声情報から導出された文字情報が、取得部１０により取得されても良い。 取得部１０は、例えば、キーボード、マイクロフォン、及びタッチパネルの少なくともいずれかを含む。

第１処理部２１は、取得部１０によって取得された情報を処理する。第１処理部２１は、例えば、ＣＰＵ（例えば、コンピュータなど）を含む。第１処理部２１は、メモリを含んでも良い。
例えば、第１ユーザＵＳ１による入力に基づき、取得部１０は、第１スロットに追加される第１バリュー（第１スロットパラメータ）を取得する（Ｓｔｅｐ１）。

例えば、第１処理部２１は、第１バリューの推定の精度を表す第１評価値を決定する（Ｓｔｅｐ２）。第１処理部２１は、例えば、第１評価値と、あらかじめ設定された第１閾値と、を比較する（Ｓｔｅｐ３）。第１処理部２１は、第１評価値が第１閾値よりも低いときに、第１ユーザＵＳ１に向けて第１情報を送信する（Ｓｔｅｐ４）。この場合、第１処理部２１は、例えば、第１スロットに第１バリューを追加しない。第１処理部２１は、第１評価値が第１閾値以上であるとき、第１スロットに第１バリューを追加しても良い。この場合、第１処理部２１は、第１ユーザＵＳ１に承認を求めても良い。第１処理部２１は、第１ユーザＵＳ１による承認を受けて、第１スロットに第１バリューを追加する。

第１情報は、例えば、第１バリューと、第１バリューとは異なる第２バリュー（第２スロットパラメータ）と、を含む。第２バリューは、第１バリューに代わる候補である。例えば、第１情報は、第１ユーザＵＳ１に、第１バリューに代えて第２バリューを追加する提案を含む。第２バリューの推定の精度は、第１バリューの推定の精度よりも高い。第２バリューは、例えば、第１バリューと第２バリューとの間の類似度に基づいて決定される。第１情報は、第２バリューと、別のバリューと、を含んでいても良い。

第１情報が第２ユーザＵＳ２に送信される場合、第１情報は、対話システムの識別情報および対話システムのバージョンからなる群より選択される少なくとも１つをさらに含んでも良い。識別情報は、第１ユーザＵＳ１に提供された対話システムを特定するための固有情報である。バージョンは、第１ユーザＵＳ１に提供された対話システムの詳細を示す情報である。

支援システム１１０は、出力部３０を含んでいても良い。出力部３０は、第１情報を受信すると、第１情報を出力する。例えば、出力部３０は、モニタである。この場合、出力部３０は、第１情報を表示する。出力部３０は、スピーカであり、第１情報を音声で出力しても良い。出力部３０は、プリンタであり、第１情報を印刷して表示しても良い。

支援システム１１０は、第１バリューの推定の精度を表す第１評価値が低いときに、前記第１ユーザに第１情報を送信する。例えば、対話システムが第１バリューを含む問合せを受けた場合に適切に応答できないと推定されたとき、第１ユーザに第１情報が送信される。支援システム１１０は、第１バリューの推定の精度を表す第１評価値が高いときに、例えば、第１スロットに第１バリューを追加する。

これにより、第１ユーザＵＳ１は、第１情報を参照して、第１スロットを編集できる。第１ユーザＵＳ１が、第１バリューの推定の精度を、自ら調べる必要が無い。第１ユーザＵＳ１のサービス提供システムに関する運用の知識が乏しい場合でも、第１ユーザＵＳ１が、スロットへのバリューの追加を容易に行うことが可能となる。例えば、第１情報は、第２バリューを含む。これにより、第１ユーザＵＳ１は、第１バリューに代えて、第２バリューを第１スロットに追加できる。第１スロットに追加されるバリューの推定の精度を向上できる。

例えば、ショッピングモールに中華料理を提供するレストランが開店する。この場合、図３に示したスロットＳ１に中華料理のバリューが含まれていないと、サービス提供システム８０は、対話において中華料理を推定できない。サービス提供システムの利便性を向上させるためには、スロットに新たなバリュー（新規スロットパラメータ）を追加することが望ましい。この場合、サービス提供システムを運用する第１ユーザＵＳ１によって、スロットへバリューが追加される。第１ユーザＵＳ１の知識が乏しい場合、追加されたバリューが対話システムにおいて精度良く推定されるか、判断が難しい。

実施形態に係る支援システム１１０または支援方法によれば、第１バリューの推定の精度を表す第１評価値が低いときに、運用者に第１情報が送信される。実施形態に係るプログラムまたはこのプログラムを記憶した記憶媒体を用いることで、第１バリューの推定の精度を表す第１評価値が低いときに、運用者に第１情報が送信されるよう、第１処理部２１を動作できる。これにより、運用者は、対話システムをより容易に運用することが可能となる。

上述した例では、第１バリューの推定の精度が低いほど、第１評価値が低い。第１バリューの推定の精度が高いほど、第１評価値が高い。第１評価値は、第１バリューの推定の精度が低いほど、高くなるように算出されて決定されても良い。第１評価値は、第１バリューの推定の精度が高いほど、低くなるように算出されて決定されても良い。

すなわち、支援システム１１０は、例えば、第１バリューの追加に関する第１評価値が第１状態のときに第１情報を送信し、第１評価値が第２状態のときに第１バリューを対話システムに追加する。第１評価値が第１状態にある場合、第１評価値が第２状態にある場合よりも、対話システムが第１バリューを含む問合せを受けた場合に適切に応答できない可能性が高い。

以下で、支援システム１１０のより具体的な一例を説明する。
支援システム１１０は、例えば、第１記憶部４１、第２記憶部４２、第３記憶部４３、及び第１モデル記憶部５１を含む。

第１記憶部４１は、第１対話データを記憶する。第１対話データは、対話を模した文章を含む。第１対話データは、少なくとも１つの第１ブランクを含む。一例として、第１対話データは、「〇〇を食べたい」、「〇〇のお店を教えて」、または「〇〇じゃないお店」などの文章を含む。第１対話データに含まれる〇〇は、第１ブランクを表す。

第２記憶部４２は、複数のバリューと複数の単語ベクトルを記憶する。複数の単語ベクトルは、それぞれ、複数のバリューに対応する。

第３記憶部４３は、第１スロットを含む少なくとも１つのスロットを記憶する。複数のスロットのそれぞれは、少なくとも１つのバリューを含む。例えば、第３記憶部４３は、図３に示すような複数のスロットＳ１〜Ｓｍを記憶する。

第１モデル記憶部５１は、第１モデルを記憶する。第１モデルは、入力部及び出力部を含む。出力部は、複数の関数を含む。複数の関数は、それぞれ、複数のバリューに関する。第１モデルは、例えば、ニューラルネットワークである。上記複数の関数は、それぞれ、複数のニューロンに対応する。例えば、第１モデルに対話データの特徴量が入力されると、上記複数のニューロンの少なくとも１つが反応する。

第１記憶部４１、第２記憶部４２、第３記憶部４３、及び第１モデル記憶部５１は、例えば、ＨＤＤまたはフラッシュメモリである。

図５は、第１実施形態に係る支援システムの動作を例示するフローチャートである。
第１処理部２１は、例えば、変換部２１ａ、第１決定部２１ｂ、及び送信部２１ｃを含む。

取得部１０が第１バリューを取得する（Ｓｔｅｐ１）と、変換部２１ａは第１記憶部４１にアクセスする。変換部２１ａは、第１ブランクに第１バリューを設定する。一例として、第１バリューが「中華料理」である場合、変換部２１ａは、「中華料理を食べたい」という第１対話データを生成する。変換部２１ａは、第１記憶部４１を参照し、第１バリューを含む第１対話データを、第２評価値に変換する（Ｓｔｅｐ２ａ）。第２評価値は、上記第１対話データの特徴を表す。第１決定部２１ｂは、第１モデル記憶部５１を参照する。第１処理部２１は、第１対話データの特徴を表す第２評価値を、第１モデルに入力し、第１モデルの出力に基づいて第１評価値を決定する（Ｓｔｅｐ２ｂ）。

例えば、第１モデルの出力部は、第１関数（第１ニューロン）を含む。第１関数は、第１バリューに関する。例えば、第１決定部２１ｂは、第２評価値を第１モデルに入力し、出力部に含まれるニューロンのそれぞれの活性度を検出する。例えば、第１決定部２１ｂは、活性度の総和に対する、それぞれのニューロンの活性度の割合を、推定の精度とする。第１決定部２１ｂは、活性度の総和に対する、第１関数の活性度（第１関数の出力値）の割合を、第１評価値とする。

一例として、第１バリューは「中華料理」であり、第１関数は「中華料理の希望」という意図に対応する。第１バリューを含む第１対話データは、例えば、「中華料理を食べたい」である。この場合、第１バリューを含む第１対話データを第１モデルに入力し、第１関数の出力値が大きければ、第１対話データの意図を正しく推定できていることを意味する。

送信部２１ｃは、例えば、第１評価値と、あらかじめ設定された第１閾値と、を比較する（Ｓｔｅｐ３）。送信部２１ｃは、第１評価値が第１閾値よりも低いときに、第１ユーザＵＳ１に向けて第１情報を送信する（Ｓｔｅｐ４）。

第１処理部２１は、第１バリューを第１スロットに追加した際の、第１スロットに含まれる別のバリューの推定の精度の変化を検出しても良い。例えば、第１バリューが追加される前に、第１スロットは、第１既存バリューを含む。第１処理部２１は、第１スロットに第１バリューが追加された状態における、第１既存バリューの推定の第１精度と、第１スロットに第１バリューが含まれない状態における、第１既存バリューの推定の第２精度と、を比較する。第１情報は、この比較結果を含んでいても良い。

図６は、第１実施形態に係る別の支援システムを例示する模式図である。
図６に示すように、支援システム１２０では、第１処理部２１は、第１評価値が低いときに、第２ユーザＵＳ２に第２情報を送信する。

例えば、第２情報は、第１スロットに含まれる別のバリューと、第１バリューと、を含む。支援システム１２０によれば、第２ユーザＵＳ２は、第１バリューの推定の精度を向上させるために、第１モデルの再学習等を行うことができる。

図６に示す例では、支援システム１２０は、第２処理部２２、第４記憶部４４、第５記憶部４５、及び第２モデル記憶部５２をさらに含む。この例では、第１処理部２１は、第２処理部２２に第１情報を送信する。第２処理部２２は、第１情報を用いて、第２モデルを再学習する。

第４記憶部４４は、第２対話データを記憶する。第２対話データは、対話を模した文章を含む。第２対話データは、少なくとも１つの第２ブランクを含む。第２対話データは、第１対話データと同じであっても良い。一例として、第２対話データは、「〇〇を食べたい」、「〇〇のお店を教えて」、または「〇〇じゃないお店」などの文章を含む。第２対話データに含まれる〇〇は、第２ブランクを表す。

第５記憶部４５は、第１ラベルを記憶する。第１ラベルは、第２対話データの意図を示す。一例として、第２対話データが「〇〇を食べたい」または「〇〇のお店を教えて」である場合、第１ラベルは「〇〇を希望」である。第２対話データが「〇〇じゃないお店」である場合、第１ラベルは「〇〇を否定」である。第１ラベルに含まれる〇〇は、第３ブランクを表す。

第２モデル記憶部５２は、第２モデルを記憶する。第２モデルは、入力部及び出力部を含む。出力部は、複数の関数を含む。複数の関数は、複数のバリューに関する。第１モデル記憶部５１に記憶された第１モデルは、例えば、第２モデルのコピーである。

図７は、第１実施形態に係る別の支援システムの動作を例示するフローチャートである。
第２処理部２２は、例えば、第１データ生成部２２ａ、第２データ生成部２２ｂ、推定部２２ｃ、第２決定部２２ｄ、及び更新部２２ｅを含む。

図７に示したＳｔｅｐ１〜Ｓｔｅｐ４は、例えば、図５に示したＳｔｅｐＳ１〜ＳｔｅｐＳ４と同様に実行される。
第１データ生成部２２ａは、第１情報を受信すると、第４記憶部４４を参照する。第１データ生成部２２ａは、第２対話データの第２ブランクに第１バリューを設定する。これにより、第１バリューを含む第２対話データが生成される（Ｓｔｅｐ５）。
第２データ生成部２２ｂは、第１情報を受信すると、第５記憶部４５を参照する。第２データ生成部２２ｂは、第１ラベルの第３ブランクに第１バリューを設定する。これにより、第１バリューを含む第１ラベルが生成される（Ｓｔｅｐ６）。

例えば第１バリューが「中華料理」である場合、第１データ生成部２２ａは、中華料理を第２ブランクに設定する。第２データ生成部２２ｂは、中華料理を第３ブランクに設定する。これにより、「中華料理を食べたい」という第２対話データと、第２対話データの第２意図を示す「中華料理を希望」という第１ラベルと、が生成される。

推定部２２ｃは、第１バリューを含む第２対話データを第３評価値に変換する（Ｓｔｅｐ７）。第３評価値は、第１バリューを含む第２対話データの特徴を表す。推定部２２ｃは、第２モデル記憶部５２を参照する。推定部２２ｃは、第２モデルに第３評価値を入力する。推定部２２ｃは、第２モデルの出力に基づいて、第１バリューを含む第２対話データの第１意図を推定する（Ｓｔｅｐ８）。

第２決定部２２ｄは、第１意図及び第２意図に基づいてパラメータ更新量を決定する（Ｓｔｅｐ９）。パラメータ更新量は、第２モデルのパラメータを変化させる量を表す。パラメータ更新量は、第１意図が第２意図に近づくように決定される。

一例として、第２対話データは「中華料理を食べたい」であり、第１ラベルは「中華料理を希望」である。例えば、この第２対話データに基づく推定部２２ｃの推定結果は、「中華料理を否定」であった。この場合、第２決定部２２ｄは、推定結果が第１ラベルと同じ「中華料理を希望」となるように、パラメータ更新量を決定する。

更新部２２ｅは、第２決定部２２ｄから出力されたパラメータ更新量に基づき、第２モデル記憶部５２に記憶された第２モデルのパラメータを更新する（Ｓｔｅｐ１０）。

第２処理部２２、第４記憶部４４、第５記憶部４５、及び第２モデル記憶部５２は、例えば、第２ユーザＵＳ２が所有する。この支援システム１２０によれば、第１バリューを含む第１情報が、第２ユーザＵＳ２に向けて送信された際に、第２モデルが再学習される。第２ユーザＵＳ２は、例えば、第２処理部２２によって再学習された（パラメータが更新された）第２モデルを、第１ユーザＵＳ１に提供する。再学習された第２モデルを、第１モデルに代えて第１モデル記憶部５１に記憶することで、第１バリューの推定の精度を向上させることができる。

図８は、第２実施形態に係る支援システムを例示する模式図である。
図９は、第２実施形態に係る支援システムを例示するフローチャートである。
図８に示すように、支援システム２１０は、第６記憶部４６、第３モデル記憶部５３、及び第４モデル記憶部５４を含む。

第３モデル記憶部５３は、バリューの特徴に関する値と、バリューの推定の精度に関する値と、の関係を表す第３モデルを記憶する。第１決定部２１ｂは、第１バリューの特徴量と、第３モデルと、を用いて、第１バリューの推定の精度を決定する。

第６記憶部４６は、第２対話データを含む複数の対話データを記憶する。複数の対話データＤ１〜Ｄｎでは、それぞれ、複数のバリューＶ１〜Ｖｎに言及されている。複数のバリューＶ１〜Ｖｎは、第３記憶部４３に記憶されるバリューとは異なる別のバリューを含む。

第４モデル記憶部５４は、第４モデルを含む複数のモデルＭ１〜Ｍｎを記憶する。複数のモデルＭ１〜Ｍｎは、それぞれ、複数の対話データＤ１〜Ｄｎの特徴量と、複数のバリューＶ１〜Ｖｎの推定の精度と、の関係を表す。

第３モデルは、例えば、複数の対話データＤ１〜Ｄｎに基づいて予め学習される。
例えば、第１処理部２１は、複数のバリューＶ１〜Ｖｎのうち、ｍ番目のバリューＶｍを新たに追加されたバリューとする（Ｓｔｅｐ１１）。複数の対話データＤ１〜Ｄｎを、バリューＶｍに言及された対話データＤｍと、その他の対話データと、に分ける（Ｓｔｅｐ１２）。上記他の対話データの特徴を表す第５評価値を用いて、ｍ番目のモデルＭｍを学習する。モデルＭｍと、対話データＤｍと、を用いて、バリューＶｍの推定の精度を測定する（Ｓｔｅｐ１３）。複数のバリューＶ１〜Ｖｎの全てについてモデルを作成したか判定する（Ｓｔｅｐ１４）。

複数のバリューＶ１〜Ｖｎの全てについてモデルが作成されている場合、それまでの過程で、複数のバリューＶ１〜Ｖｎのそれぞれの推定の精度が測定されている。複数のバリューＶ１〜Ｖｎの特徴量から、上記の複数の精度が算出されるよう第３モデルを学習する（Ｓｔｅｐ１５）。

例えば、第１ユーザＵＳ１による入力に基づき、取得部１０は、第１スロットに追加される第１バリューを取得する（Ｓｔｅｐ１６）。変換部２１ａは、第２記憶部４２を参照し、第１バリューを第４評価値に変換する（Ｓｔｅｐ１７）。第４評価値は、第１バリューの特徴を表す。第１決定部２１ｂは、第４評価値と第３モデルとを用いて、第１バリューの推定の精度を表す第１評価値を決定する（Ｓｔｅｐ１８）。送信部２１ｃは、第１評価値と第１閾値とを比較する（Ｓｔｅｐ１９）。送信部２１ｃは、第１評価値が第１閾値よりも低いときに、第１ユーザＵＳ１に向けて第１情報を送信する（Ｓｔｅｐ２０）。

第２実施形態に係る支援システム２１０では、第３値と第３モデルを用いて、第１評価値が決定される。このため、第１実施形態に係る支援システム１１０に比べて、第１評価値をより短い時間で決定できる。

第２実施形態に係る支援システム２１０において、支援システム１２０と同様に、第２ユーザＵＳ２に第１情報が送信されても良い。支援システム２１０は、支援システム１２０と同様に、第２処理部２２、第４記憶部４４、第５記憶部４５、及び第２モデル記憶部５２をさらに含んでいても良い。

以上で説明した各実施形態によれば、対話システムの運用を容易にできる支援システム、支援方法、プログラム、及び記憶媒体を提供できる。

以上、具体例を参照しつつ、本発明の実施の形態について説明した。しかし、本発明の実施形態は、これらの具体例に限定されるものではない。例えば、取得部、処理部、出力部、記憶部などの各要素の具体的な構成に関しては、当業者が公知の範囲から適宜選択することにより本発明を同様に実施し、同様の効果を得ることができる限り、本発明の範囲に包含される。

また、各具体例のいずれか２つ以上の要素を技術的に可能な範囲で組み合わせたものも、本発明の要旨を包含する限り本発明の範囲に含まれる。

その他、本発明の実施の形態として上述した支援システム、支援方法、プログラム、及び記憶媒体を基にして、当業者が適宜設計変更して実施し得る全ての支援システム、支援方法、プログラム、及び記憶媒体も、本発明の要旨を包含する限り、本発明の範囲に属する。

その他、本発明の思想の範疇において、当業者であれば、各種の変更例及び修正例に想到し得るものであり、それら変更例及び修正例についても本発明の範囲に属するものと了解される。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 取得部、 ２１ 第１処理部、 ２１ａ 変換部、 ２１ｂ 第１決定部、 ２１ｃ 送信部、 ２２ 第２処理部、 ２２ａ 第１データ生成部、 ２２ｂ 第２データ生成部、 ２２ｃ 推定部、 ２２ｄ 第２決定部、 ２２ｅ 更新部、 ３０ 出力部、 ４１ 第１記憶部、 ４２ 第２記憶部、 ４３ 第３記憶部、 ４４ 第４記憶部、 ４５ 第５記憶部、 ４６ 第６記憶部、 ５１ 第１モデル記憶部、 ５２ 第２モデル記憶部、 ５３ 第３モデル記憶部、 ５４ 第４モデル記憶部、 ８０ サービス提供システム、 １１０、１２０、２１０ 支援システム、 Ｄ１〜Ｄｎ、Ｄｍ 対話データ、 Ｍ１〜Ｍｎ、Ｍｍ モデル、 Ｓ１〜Ｓｍ スロット、 ＵＳ ユーザ、 ＵＳ１ 第１ユーザ、 ＵＳ２ 第２ユーザ、 Ｖ１〜Ｖｎ、Ｖｍ、Ｖ１１〜Ｖ１３、Ｖ２１、Ｖ２２ バリュー

Claims (16)

1. 対話システムに用いられる新規スロットパラメータを追加するための支援システムであって、
   前記対話システムに追加される新規スロットパラメータを取得する取得部と、
   前記新規スロットパラメータを含む第１対話データを生成し、
   前記第１対話データを、前記第１対話データの特徴を表す第２評価値に変換し、
   前記第２評価値を第１モデルに入力し、前記第１モデルの出力に基づいて第１評価値を決定し、
   前記第１評価値に基づいて、前記新規スロットパラメータを含む第１情報を、前記対話システムの管理者の出力装置に送信する、
   第１処理部と、
   を備えた支援システム。
2. 既存スロットパラメータを有する対話システムに追加される第１スロットパラメータを取得する取得部と、
   前記第１スロットパラメータの追加に関する第１評価値が第１状態のときに、前記第１スロットパラメータと、前記第１スロットパラメータに代わる候補としての第２スロットパラメータと、を含む第１情報を前記対話システムの第１管理者の出力装置に送信し、前記第１評価値が前記第１状態と異なる第２状態のときに、前記第１スロットパラメータを前記対話システムに追加する第１処理部であって、
   前記第１スロットパラメータを含む第１対話データを生成し、
   前記第１対話データを、前記第１対話データの特徴を表す第２評価値に変換し、
   前記第２評価値を第１モデルに入力し、前記第１モデルの出力に基づいて前記第１評価値を決定する、
   前記第１処理部と、
   を備えた支援システム。
3. 前記第１処理部は、前記第１評価値が前記第１状態のときに、前記既存スロットパラメータ及び前記第１スロットパラメータを含む第２情報を前記対話システムの第２管理者の出力装置にさらに送信する請求項２記載の支援システム。
4. 既存スロットパラメータを有する対話システムに追加される第１スロットパラメータを取得する取得部と、
   前記第１スロットパラメータの追加に関する第１評価値が第１状態のときに、前記既存スロットパラメータ及び前記第１スロットパラメータを含む情報を前記対話システムの管理者の出力装置に送信し、前記第１評価値が前記第１状態と異なる第２状態のときに、前記第１スロットパラメータを前記対話システムに追加する第１処理部であって、
   前記第１スロットパラメータを含む第１対話データを生成し、
   前記第１対話データを、前記第１対話データの特徴を表す第２評価値に変換し、
   前記第２評価値を第１モデルに入力し、前記第１モデルの出力に基づいて前記第１評価値を決定する、
   前記第１処理部と、
   を備えた支援システム。
5. 前記対話システムは、前記既存スロットパラメータを含む第１分類を有し、
   前記第１処理部は、前記第１評価値が前記第２状態のときに、前記第１分類へ前記第１スロットパラメータを追加する請求項４記載の支援システム。
6. 第２処理部をさらに備え、
   前記第２処理部は、
   第２対話データ及び第１ラベルに前記第１スロットパラメータを設定し、
   第２モデルの入力部に、前記第１スロットパラメータを含む前記第２対話データの特徴を表す第３評価値を入力し、
   前記第２モデルから出力される第２意図が、前記第１ラベルに示される第１意図と一致するように、前記第２モデルに含まれるスロットパラメータを変更する、
   請求項２〜５のいずれか１つに記載の支援システム。
7. 前記第１処理部は、前記第１スロットパラメータの特徴を表す第４評価値を生成し、前記第４評価値に基づいて前記第１評価値を決定する請求項２〜６のいずれか１つに記載の支援システム。
8. 前記第１処理部は、
   前記第１スロットパラメータに対応する単語ベクトルに基づき前記第４評価値を生成し、
   第３モデルの入力部に前記第４評価値を入力し、
   前記第３モデルの出力に基づいて前記第１評価値を決定する
   請求項７記載の支援システム。
9. 前記第１処理部は、
   第４モデルを、第３スロットパラメータに関する第３対話データを用いて学習させ、
   前記第１スロットパラメータを含む第４対話データを前記第４モデルに入力し、前記第４モデルの出力に基づいて第５評価値を決定し、
   前記第３モデルを、前記第１スロットパラメータの特徴を表す値と、前記第５評価値と、を用いて学習させ、
   学習された前記第３モデルに前記第４評価値を入力し、前記第３モデルの前記出力に基づいて前記第１評価値を決定する
   請求項８記載の支援システム。
10. 前記第１処理部は、前記第１スロットパラメータが追加された際の前記既存スロットパラメータの推定の精度の変化を検出する請求項２〜９のいずれか１つに記載の支援システム。
11. 対話システムに用いられる新規スロットパラメータを追加するための支援システムであって、
    第１ユーザにより追加される第１新規スロットパラメータを取得する取得部と、
    前記新規スロットパラメータを含む第１対話データを生成し、
    前記第１対話データを、前記第１対話データの特徴を表す第２評価値に変換し、
    前記第２評価値を第１モデルに入力し、前記第１モデルの出力に基づいて、前記第１新規スロットパラメータの推定の精度を表す第１評価値を決定し、
    前記第１評価値が低いときに、前記第１ユーザの出力装置に第１情報を送信する、
    処理部と、
    を備えた支援システム。
12. 前記第１情報は、前記第１新規スロットパラメータに代わる候補としての第２新規スロットパラメータを含む請求項１１記載の支援システム。
13. 第１ユーザが対話システムに追加する新規スロットパラメータを取得する取得部と、
    前記対話システムを利用する場合に前記新規スロットパラメータを含む問合せに適切に応答できないと推定されたとき、前記新規スロットパラメータを含む第１情報を、前記第１ユーザの出力装置に送信する第１処理部であって、
    前記新規スロットパラメータを含む第１対話データを生成し、
    前記第１対話データを、前記第１対話データの特徴を表す第２評価値に変換し、
    前記第２評価値を第１モデルに入力し、前記第１モデルの出力に基づいて第１評価値を決定し、
    前記第１評価値に基づいて、前記問合わせへの応答の適否を判定する、前記第１処理部と、
    を備えた支援システム。
14. 対話システムに用いられる新規スロットパラメータを追加するための支援方法であって、
    前記対話システムに追加される新規スロットパラメータを取得し、
    前記新規スロットパラメータを含む第１対話データを生成し、
    前記第１対話データを、前記第１対話データの特徴を表す第２評価値に変換し、
    前記第２評価値を第１モデルに入力し、前記第１モデルの出力に基づいて第１評価値を決定し、
    前記第１評価値に基づいて、前記新規スロットパラメータを含む第１情報を、前記対話システムの管理者の出力装置に送信する支援方法。
15. 第１処理部に、
    対話システムに追加される新規スロットパラメータを取得させ、
    前記新規スロットパラメータを含む第１対話データを生成させ、
    前記第１対話データを、前記第１対話データの特徴を表す第２評価値に変換させ、
    前記第２評価値を第１モデルに入力し、前記第１モデルの出力に基づいて第１評価値を決定させ、
    前記第１評価値に基づいて、前記新規スロットパラメータを含む第１情報を、前記対話システムの管理者の出力装置に送信させる、
    プログラム。
16. 第１処理部に、
    対話システムに追加される新規スロットパラメータを取得させ、
    前記新規スロットパラメータを含む第１対話データを生成させ、
    前記第１対話データを、前記第１対話データの特徴を表す第２評価値に変換させ、
    前記第２評価値を第１モデルに入力し、前記第１モデルの出力に基づいて第１評価値を決定させ、
    前記第１評価値に基づいて、前記新規スロットパラメータを含む第１情報を、前記対話システムの管理者の出力装置に送信させるプログラムを記憶した記憶媒体。

Images