JP6906588B2 - 検証システム、検証方法及びプログラム - Google Patents

Description

本発明の実施形態は検証システム、検証方法及びプログラムに関する。

音声及びテキスト等により入力されたユーザーの発話に対する応答を、対話エンジンによって生成し、当該応答を音声及びテキスト等により出力する対話システムが、従来から知られている。近年、対話システムの普及に伴い、特定のタスクに特化した対話エンジン、及び、個性的な応答を生成する対話エンジン等、カスタマイズされた対話エンジンが構築されている。

特表２００７−５３０３２７号公報

しかしながら、従来の技術では、対話エンジンが実際に利用される状況に合わせて、対話エンジンの動作を検証することを、より容易に実現することが難しかった。

実施形態の検証システムは、記憶制御部と第１受付部と判定部と構築部と第２受付部と生成部と出力制御部とを備える。記憶制御部は、１以上の応答文の生成に使用可能な第１応答データと、前記第１応答データが使用される状況を示す第１状況データと、を関連付けて記憶部に記憶する。第１受付部は、前記１以上の応答文の生成に使用される第２応答データを受け付ける。判定部は、前記第２応答データが使用される状況を示す第２状況データと、前記第１状況データとの第１類似度を判定する。構築部は、前記第２応答データと、前記第１類似度が第１閾値以上である前記第１状況データに関連付けられた前記第１応答データと、を含む応答コンテンツ情報を構築する。

第１実施形態の検証システムの機能構成の例を示す図。 第１実施形態の類似度の判定例１を説明するための図。 第１実施形態の類似度の判定例２を説明するための図。 類似度の判定例２で使用される定義情報の例を示す図。 第１実施形態の類似度の判定例３を説明するための図。 類似度の判定例３で使用される変換情報の例を示す図。 第１実施形態の応答コンテンツＤＢの例を示す図。 第１実施形態の対話システムの動作例を示す図。 第１実施形態の検証方法の例を示すフローチャート。 第１実施形態の検証システムの検証例１を説明するための図。 第１実施形態の検証システムの検証例２を説明するための図。 第２実施形態の検証システムの機能構成の例を示す図。 第２実施形態の推定部による推定例を示す図。 第３実施形態の検証システムの機能構成の例を示す図。 第３実施形態の検証方法の例を示すフローチャート。 第１乃至第３実施形態の検証システムのハードウェア構成の例を示す図。

以下に添付図面を参照して、検証システム、検証方法及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
はじめに第１実施形態について説明する。

［機能構成の例］
図１は第１実施形態の検証システム１００の機能構成の例を示す図である。第１実施形態の検証システム１００は、受付部１１、判定部１２、記憶部１３、構築部１４及び対話システム２００を備える。

受付部１１は、作業者から、応答データ（第２応答データ）と、状況データ（第２状況データ）とを受け付ける。

応答データは、１以上の応答文の生成に使用される。応答データは、例えば商品のセール情報である。セール情報は、例えば期間、店名及び内容を含む。期間は、例えば「４／２９−５／５」等である。店名は、例えば「家電量販店Ｄ」等である。内容は、例えば「人形３０％ＯＦＦ」等である。

応答データが商品のセール情報の場合、例えば「人形を扱っているお店として家電量販店Ｄが見つかりました」等の応答文が生成される。

状況データは、応答データが使用される状況を示す。状況データは、例えば期間を示す情報、場所を示す情報、年齢を示す情報、性別を示す情報、価格を示す情報、種類（タイプ）を示す情報、及び、嗜好を示す情報のうち、少なくとも１つを含む。状況データのデータ形式は任意でよい。状況データは、例えば応答データが使用される状況を示すパラメータである。

期間は、例えば「４／２９〜５／５」等である。場所を示す情報は、例えば「３Ｆおもちゃエリア」等である。年齢を示す情報は、例えば「３歳〜１２歳」等である。性別を示す情報は、例えば「女性」等である。価格を示す情報は、例えば「３０００円以下」等である。種類（タイプ）を示す情報は、例えば洋服の種類を示す「フォーマル」及び「カジュアル」等である。嗜好を示す情報は、例えば飲食物の嗜好を示す「洋食」、「和食」及び「中華」等である。

なお応答データに含まれる情報と、状況データに含まれる情報とは、一部が重複していてもよい。例えば期間を示す情報、及び、価格を示す情報等は、応答データ及び状況データの両方に含まれていてもよい。

受付部１１は、応答データと、状況データとを受け付けると、応答データを構築部１４に入力し、状況データを判定部１２に入力する。

判定部１２は、受付部１１から状況データを受け付けると、当該状況データと、記憶部１３に記憶されたデータセット１０１−ｋ（１≦ｋ≦ｎ，ｎ及びｋは１以上の整数）に含まれる状況データ１０３−ｋとの類似度を判定する。

記憶部１３（記憶制御部）は、データセット１０１−１〜データセット１０１−ｎを記憶する。データセット１０１−１〜データセット１０１−ｎの説明は、同様なので、データセット１０１−１を例にして説明する。

データセット１０１−１は、応答データ１０２−１及び状況データ１０３−１を含む。応答データ１０２−１の説明は、受付部１１により受け付けられた応答データの説明と同じなので省略する。同様に、状況データ１０３−１の説明は、受付部１１により受け付けられた状況データの説明と同じなので省略する。

以下、データセット１０１−１〜データセット１０１−ｎを区別しない場合、単にデータセット１０１という。同様に、応答データ１０２−１〜応答データ１０２−ｎを区別しない場合、単に応答データ１０２という。同様に、状況データ１０３−１〜状況データ１０３−ｎを区別しない場合、単に状況データ１０３という。

＜状況データの類似度の判定例＞
受付部１１により受け付けられた状況データ、及び、記憶部１３に記憶されている状況データ１０３は、数値を有する場合と、ラベルを有する場合とがある。数値を有する場合は、期間を示す情報（５／１〜５／８等）、年齢を示す情報（６歳〜１２歳等）、及び、価格を示す情報（１０，０００円以下等）である。ラベルを有する場合は、場所を示す情報（本館１Ｆ等）、性別を示す情報（男性等）、及び、種類（フォーマル等）である。

以下、説明のため、受付部１１により受け付けられた状況データを、動作検証用状況データという。また、受付部１１により受け付けられた応答データを、動作検証用応答データという。

判定部１２は、動作検証用状況データが数値を有する場合、例えば動作検証用状況データが示す範囲と、記憶部１３に記憶されている状況データ１０３が示す範囲と、が重複する範囲の大きさに基づいて、類似度を判定する。

判定部１２は、動作検証用状況データがラベルを有する場合、例えばラベルが一致するか否かに基づいて、類似度を判定する。また例えば、判定部１２は、動作検証用状況データがラベルを有する場合、類似度を定義する定義情報に基づいて、類似度を判定する。

なお判定部１２は、例えばラベルを数値に変換する変換テーブル等の変換情報を使用することにより、ラベルと数値とを比較してもよい。

以下、具体例を参照して、類似度の判定例について説明する。

＜期間を示す情報の場合＞
図２は第１実施形態の類似度の判定例１を説明するための図である。動作検証用状況データは、動作検証用応答データが特定の期間だけ行うセール等を示す場合、例えばその開始日と終了日との組を含む。図２の例では、動作検証用応答データは、新しいセール情報である。また動作検証用状況データは、新しいセール情報の期間５／１〜５／８を示す。

判定部１２は、例えば動作検証用状況データに含まれる開始日と終了日とにより示される期間が、記憶部１３に記憶されている状況データ１０３により示される期間に含まれる場合、類似度を１とする。図２の例では、動作検証用状況データにより示される期間は、「セールＢ」を示す応答データ１０２に関連付けられた状況データ１０３により示される期間に含まれる。そのため判定部１２は、動作検証用状況データと、「セールＢ」を示す応答データ１０２に関連付けられた状況データ１０３との類似度は１であると判定する。

また例えば、判定部１２は、動作検証用状況データに含まれる開始日と終了日とにより示される期間が、記憶部１３に記憶されている状況データ１０３により示される期間に含まれない場合、類似度を０とする。図２の例では、動作検証用状況データにより示される期間は、「セールＡ」を示す応答データ１０２に関連付けられた状況データ１０３により示される期間に含まれない。そのため判定部１２は、動作検証用状況データと、「セールＡ」を示す応答データ１０２に関連付けられた状況データ１０３との類似度は０であると判定する。

また例えば、判定部１２は、動作検証用状況データに含まれる開始日と終了日とにより示される期間が、記憶部１３に記憶されている状況データ１０３により示される期間と重複する場合、重複する期間の長さに応じて類似度を判定する。判定部１２は、例えば重複する期間の長さが、記憶部１３に記憶されている状況データ１０３により示される期間の長さの２０％である場合、例えば類似度を０．２とする。図２の例では、動作検証用状況データにより示される期間は、「セールＣ」を示す応答データ１０２に関連付けられた状況データ１０３により示される期間の一部と重複する。そのため判定部１２は、動作検証用状況データと、「セールＣ」を示す応答データ１０２に関連付けられた状況データ１０３との類似度を、例えば０．６であると判定する。

＜場所を示す情報の場合＞
図３Ａは第１実施形態の類似度の判定例２を説明するための図である。動作検証用状況データは、動作検証用応答データが店舗で行われるセール等を示す場合、例えば場所を示す情報を含む。場所を示す情報は、例えば対話システムが設置される場所、及び、ショップの場所等を示す。図３Ａの例は、判定部１２が、３階建の本館と２階建の東館とがあるショッピングセンター内の場所を示す動作検証用状況データの類似度を判定する場合を示す。

図３Ｂは類似度の判定例２で使用される定義情報の例を示す図である。定義情報は類似度を定義する。類似度は任意の方法により定義してよい。類似度は、例えばユーザーが移動するために必要な物理的な移動距離に反比例させて定義してもよい。また例えば、類似度は、移動手段も考慮された移動時間に反比例させて定義してもよい。移動手段は、例えば徒歩、エスカレーター及びエレベーター等である。

動作検証用状況データが示す場所と、ショップＡの場所を示す状況データ１０３が示す場所とは、同じ建物の同一フロアにある。判定部１２は、図３Ｂの定義情報を使用して、動作検証用状況データが示す場所と、ショップＡの場所を示す状況データ１０３が示す場所との類似度が１であると判定する。

動作検証用状況データが示す場所と、ショップＢの場所を示す状況データ１０３が示す場所とは、同じ建物にあるが、１階分離れた別フロアにある。判定部１２は、図３Ｂの定義情報を使用して、動作検証用状況データが示す場所と、ショップＢの場所を示す状況データ１０３が示す場所との類似度が０．８であると判定する。

動作検証用状況データが示す場所と、ショップＣの場所を示す状況データ１０３が示す場所とは、同じ建物にあるが、２階分離れた別フロアにある。判定部１２は、図３Ｂの定義情報を使用して、動作検証用状況データが示す場所と、ショップＣの場所を示す状況データ１０３が示す場所との類似度が０．６であると判定する。

動作検証用状況データが示す場所と、ショップＤの場所を示す状況データ１０３が示す場所とは、異なる建物にあるが、同一フロア（階）にある。判定部１２は、図３Ｂの定義情報を使用して、動作検証用状況データが示す場所と、ショップＤの場所を示す状況データ１０３が示す場所との類似度が０．５であると判定する。

動作検証用状況データが示す場所と、ショップＥの場所を示す状況データ１０３が示す場所とは、異なる建物の１階分離れたフロア（階）にある。判定部１２は、図３Ｂの定義情報を使用して、動作検証用状況データが示す場所と、ショップＥの場所を示す状況データ１０３が示す場所との類似度が０．３であると判定する。

＜対象を示す情報の場合＞
図４Ａは第１実施形態の類似度の判定例３を説明するための図である。動作検証用状況データは、動作検証用応答データが商品のセール等を示す場合、例えば対象（性別及び年齢の組み合わせ）を示す情報を含む。

性別については、男性、女性、及び、両方（男女兼用）の３つがある。類似度の定義は、例えば「男性−男性」、「女性−女性」、「両方−両方」、「両方−男性」及び「両方−女性」の比較の場合、１とし、「男性−女性」の比較の場合、０とする。

年齢については、例えば「全年齢」及び「シニア」のようなグループ分けを用いて、同一のグループであれば類似度を１、異なるグループであれば類似度を０とする。また判定部１２は、変換テーブル等の変換情報により、「全年齢」及び「シニア」等のラベルから、年齢の類似度を判定してもよい。

図４Ｂは類似度の判定例３で使用される変換情報の例を示す図である。図４Ｂの変換情報の例は、例えば「全年齢」は０歳から１００歳、「シニア」は６０歳から７０歳というように、ラベルから数値（年齢）の範囲に変換する場合を示す。判定部１２は、変換情報を使用して、ラベルを数値の範囲に変換することにより、当該数値の範囲の包含関係を利用して、ラベルの類似度を判定することができる。

簡単のため、図４Ａを使用して、性別を考慮せずに、対象の類似度を判定する場合について説明する。図４Ａの例では、動作検証用状況データは、「シニア向け」を示す。

動作検証用状況データが示す「シニア向け」は、図４Ｂの変換情報により、６０歳以上７０歳以下の範囲に変換される。「商品Ａ」を示す応答データ１０２に関連付けられた状況データ１０３が示す「大人向け」は、図４Ｂの変換情報により、２０歳以上１００歳以下の範囲に変換される。「商品Ｂ」を示す応答データ１０２に関連付けられた状況データ１０３が示す「全年齢向け」は、図４Ｂの変換情報により、０歳以上１００歳以下の範囲に変換される。「商品Ｃ」を示す応答データ１０２に関連付けられた状況データ１０３が示す「青年向け」は、図４Ｂの変換情報により、１５歳以上２４歳以下の範囲に変換される。

年齢の範囲では、動作検証用状況データが示す「シニア向け」は、「商品Ａ」を示す応答データ１０２に関連付けられた状況データ１０３が示す「大人向け」に含まれる。そのため判定部１２は、動作検証用状況データが示す「シニア向け」と、「商品Ａ」を示す応答データ１０２に関連付けられた状況データ１０３が示す「大人向け」と、の類似度が１であると判定する。

年齢の範囲では、動作検証用状況データが示す「シニア向け」は、「商品Ｂ」を示す応答データ１０２に関連付けられた状況データ１０３が示す「全年齢向け」に含まれる。そのため判定部１２は、動作検証用状況データが示す「シニア向け」と、「商品Ｂ」を示す応答データ１０２に関連付けられた状況データ１０３が示す「全年齢向け」と、の類似度が１であると判定する。

年齢の範囲では、動作検証用状況データが示す「シニア向け」は、「商品Ｃ」を示す応答データ１０２に関連付けられた状況データ１０３が示す「青年向け」に含まれる。そのため判定部１２は、動作検証用状況データが示す「シニア向け」と、「商品Ｃ」を示す応答データ１０２に関連付けられた状況データ１０３が示す「青年向け」と、の類似度が０であると判定する。

＜価格を示す情報の場合＞
動作検証用状況データは、動作検証用応答データが商品のセール等を示す場合、例えば価格帯を示すラベルを含む。価格を示す情報は、例えば低価格帯、高価格帯及び両方の３つがある。両方は、低価格帯の商品、及び、高価格帯の商品の両方がある場合を示す。類似度の定義は、例えば「高価格帯−高価格帯」、「低価格帯−低価格帯」、「両方−両方」、「高価格帯−両方」及び「低価格帯−両方」の比較の場合、１とし、「高価格帯−低価格帯」の比較の場合、０とする。また価格帯を示すラベルの類似度は、上述の年齢を示すラベルの場合と同様に、変換情報（図４Ｂ参照）を使用して、数値の範囲に変換してから判定してもよい。例えば変換情報は、「低価格帯」を「３，０００円以下」に変換し、「高価格帯」を「３，０００円より大きい」に変換する。

＜種類を示す情報の場合＞
動作検証用状況データは、動作検証用応答データが洋服のセール等を示す場合、例えば種類を示すラベルを含む。種類を示す情報は、例えばフォーマル、カジュアル及び両方の３つがある。両方は、フォーマルな洋服、及び、カジュアルな洋服の両方がある場合を示す。類似度の定義は、例えば「フォーマル−フォーマル」、「カジュアル−カジュアル」「両方‐両方」、「フォーマル‐両方」及び「カジュアル‐両方」の比較の場合、１とし、「フォーマル‐カジュアル」の比較の場合、０とする。

図１に戻り、判定部１２は、類似度が閾値（第１閾値）以上である状況データ１０３に関連付けられた応答データ１０２を記憶部１３から読出し、当該応答データ１０２を構築部１４に入力する。閾値は任意に定めてよい。閾値は、例えば作業者により適宜、設定されてもよい。また例えば、判定部１２が、記憶部１３に記憶されたｎ個の状況データ１０３の全て又は一部と、動作検証用状況データとの類似度を算出し、当該類似度の平均値及び中央値等の統計値に基づいて閾値を設定してもよい。

構築部１４は、受付部１１から、動作検証用応答データを受け付け、判定部１２から、類似度が閾値以上である状況データ１０３に関連付けられた応答データ１０２を受け付ける。構築部１４は、動作検証用応答データと、類似度が閾値以上である状況データ１０３に関連付けられた応答データ１０２と、を含む応答コンテンツＤＢ（ｄａｔａｂａｓｅ）２０２（応答コンテンツ情報）を構築する。そして構築部１４は、応答コンテンツＤＢ２０２を対話システム２００の記憶部２１に記憶する。

次に対話システム２００について説明する。

対話システム２００は、記憶部２１、受付部２２、応答制御部２３、生成部２４及び出力制御部２５を備える。

記憶部２１、応答制御部２３及び生成部２４は、対話エンジンに相当する。対話エンジンの処理は、ユーザーから受け付けられた発話データを理解するための発話理解、応答形式（応答方針）を決めるための対話制御、及び、応答形式に従い具体的な応答文を生成する応答生成を含む。これらの処理をカスタマイズすることにより、特定のタスクに特化した発話理解、新しい応答コンテンツＤＢ２０２の情報を提示できる対話制御、及び、個性的な発話スタイルをもつ応答生成等を実現することができる。

対話システム２００にカスタマイズを加えた際は、そのカスタマイズが影響を与える処理が正しく動作するかを事前に検証する必要がある。例えば、カスタマイズされた後の対話システム２００が、ユーザーから受け付けられた発話データを正しく理解できるか否かを事前に検証する必要がある。また例えば、カスタマイズされた後の対話システム２００による対話の流れが意図通りになっているか否かを事前に検証する必要がある。また例えば、カスタマイズされた後の対話システム２００に記憶されている応答コンテンツＤＢ２０２の情報が適切に提示されるか否かを事前に検証する必要がある。また例えば、カスタマイズされた後の対話システム２００による生成される応答文が、文章として誤りがない状態で生成されるか否かを事前に検証する必要がある。

対話エンジンの動作検証では、当該対話エンジンが実際に利用される状況に合わせて動作検証を行うことが重要である。対話システム２００が、例えばショッピングセンターの店舗案内に利用される場合、当該対話システム２００が利用される場所及び時間、当該対話システムを使用するユーザーの性別及び年齢、並びに、ショップの取扱商品及びセール情報等に、対話エンジンの挙動を適応させることが重要である。

例えば、動作検証用応答データとして、一か月後のセール情報を応答コンテンツＤＢ２０２に追加登録して、対話エンジンの動作検証をする場合は、当該応答コンテンツＤＢ２０２に、同時期に他店舗が行うセール情報も含めると、当該対話エンジンが利用される状況に合わせることができる。

記憶部２１は、発話理解モデル２０１、応答コンテンツＤＢ２０２、応答形式ＤＢ２０３及び応答生成モデル２０４を記憶する。

発話理解モデル２０１（発話理解情報）は、対話システム２００が発話を理解できるようにするための情報を含む。発話理解モデル２０１は、例えば発話の意図を示す発話意図情報の生成に使用される。発話理解モデル２０１は、例えば単語の特徴量と、発話意図情報と、を関連付けて記憶する。特徴量は、例えば単語の特徴を示すベクトルである。

具体的には、発話理解モデル２０１は、例えば「が欲しい」を示す特徴量と、ユーザーのアクション「店舗検索」と、を関連付けて記憶する。また例えば、発話理解モデル２０１は、「はどこ」を示す特徴量と、ユーザーのアクション「場所検索」と、を関連付けて記憶する。また例えば、発話理解モデル２０１は、「靴」を示す特徴量と、対象「靴」と、を関連付けて記憶する。また例えば、発話理解モデル２０１は、「トイレ」を示す特徴量と、対象「トイレ」と、を関連付けて記憶する。

応答制御部２３は、発話理解モデル２０１を使用して、発話データに含まれる単語から発話意図情報を特定することにより、ユーザーの発話の意図を推定する。応答制御部２３は、例えば発話に「が欲しい」が含まれている場合、ユーザーの発話の意図が「店舗検索」であることを推定することができる。

応答コンテンツＤＢ２０２は、上述の構築部１４により構築される。応答コンテンツＤＢ２０２は、動作検証用応答データを含む。また応答コンテンツＤＢ２０２は、記憶部１３に記憶されていた応答データ１０２のうち、動作検証用状況データとの類似度が閾値以上である状況データ１０３に関連付けられた応答データ１０２を含む。

動作検証用応答データ及び応答データ１０２が、店舗情報を示す場合、応答コンテンツＤＢ２０２に記憶されるデータは、例えば店名、取扱商品及び価格帯等を含む。

図５は第１実施形態の応答コンテンツＤＢ２０２の例を示す図である。図５の例では、例えば店名が「靴屋Ａ」である店舗の取扱商品は、「革靴」及び「スニーカー」であり、価格帯は「高級」である。

図１に戻り、応答形式ＤＢ２０３（応答形式情報）は、上述の発話意図情報に応じた応答文の形式を示す応答形式（応答シナリオ）を決定するための情報を記憶する。

応答形式ＤＢ２０３は、例えばアクション「未知」及び対象「未知」の組み合わせと、質問形式（ｒｅｑｕｅｓｔ（Ｘ＝アクション，Ｙ＝対象））とを関連付けて記憶する。また例えば、応答形式ＤＢ２０３は、アクション「店舗検索」及び対象「靴」の組み合わせと、提案形式（ｏｆｆｅｒ（Ｘ＝対象，Ｙ＝店））とを関連付けて記憶する。また例えば、応答形式ＤＢ２０３は、アクション「場所検索」及び対象「未知」の組み合わせと、質問形式（ｒｅｑｕｅｓｔ（Ｘ＝対象））とを関連付けて記憶する。

応答生成モデル２０４（応答生成情報）は、応答文を生成するための情報を記憶する。応答生成モデル２０４は、例えば応答形式と、応答文とを関連付けて記憶する。具体的には、応答生成モデル２０４は、例えば質問形式（ｒｅｑｕｅｓｔ（Ｘ＝対象））と、応答文「Ｘについてご希望はありますが」とを関連付けて記憶する。また例えば、応答生成モデル２０４は、例えば確認形式（ｃｏｎｆｉｒｍ（Ｘ＝ｘ））と、応答文「Ｘはｘということでよろしいでしょうか」とを関連付けて記憶する。また例えば、応答生成モデル２０４は、例えば提案形式（ｏｆｆｅｒ（Ｘ＝対象，Ｙ＝店））と、応答文「Ｘを扱っているお店としてＹが見つかりました」とを関連付けて記憶する。

受付部２２は、検証者（ユーザ）から、発話データを受け付ける。発話データは、検証者の発話を示す。発話データのデータ形式は任意でよい。発話データは、例えばテキストデータである。また例えば、発話データは音声データである。受付部２２は、発話データが音声データである場合、当該音声データを音声認識にすることにより、発話を示すテキストデータ等の音声認識結果を取得する。

対話システム２００は、検証者から受け付けられた発話データに応じた応答文を出力し、当該応答文に応じた発話データを受け付けることを繰り返すことにより、検証者と対話する。

なお、第１実施形態では、検証者と上述の作業者とが別の人物である場合を例に説明するが、検証者と作業者は同一の人物であってもよい。

応答制御部２３は、受付部２２から発話データを受け付けると、当該発話データに応じた応答制御処理を行うことにより、応答形式を決定する。応答制御処理の例は、図６を参照して後述する。応答制御部２３は、応答形式を生成部２４に入力する。

生成部２４は、応答制御部２３から、応答形式を受け付けると、応答生成モデル２０４を使用して、当該応答形式から応答文を生成する。応答文の生成処理の例は、図６を参照して後述する。生成部２４は、応答文を出力制御部２５に入力する。

出力制御部２５は、生成部２４から、応答文を受け付けると、当該応答文を出力する。応答文の出力形式は任意でよい。出力制御部２５は、例えば応答文の読み上げ音声を出力する。また例えば、出力制御部２５は、応答文を示すテキストを含む表示情報を出力する。また例えば、出力制御部２５は、応答文の読み上げ音声の出力と、当該応答文を示すテキストを含む表示情報の出力との両方を行ってもよい。

次に対話システム２００の動作例について説明する。

＜対話システムの動作例＞
図６は第１実施形態の対話システム２００の動作例を示す図である。はじめに、応答制御部２３が、受付部２２から、検証者の発話を示す発話データ２１０を受け付けると、当該発話データ２１０を単語に分割することにより、分割データ２１１を生成する（ステップＳ１）。次に、応答制御部２３は、分割データ２１１に含まれる単語の特徴量２１２を抽出する（ステップＳ２）。

次に、応答制御部２３は、発話理解モデル２０１を使用して、発話を理解する（ステップＳ３）。具体的には、応答制御部２３は、発話理解モデル２０１を使用して、特徴量２１２から、発話意図情報２１３を生成する。

次に、応答制御部２３は、応答コンテンツＤＢ２０２及び応答形式ＤＢ２０３を使用して、応答を制御する（ステップＳ４）。具体的には、応答制御部２３は、応答コンテンツＤＢ２０２及び応答形式ＤＢ２０３を使用して、特徴量２１２及び発話意図情報２１３から、応答形式２１４を決定する。

次に、応答制御部２３は、応答生成モデル２０４を使用して、応答形式２１４から、応答文２１５を生成する（ステップＳ５）。ステップＳ５の処理により生成された応答文２１５は、出力制御部２５により出力される。

次に第１実施形態の検証方法について説明する。

＜検証方法＞
図７は第１実施形態の検証方法の例を示すフローチャートである。はじめに、受付部１１が、作業者から、動作検証用応答データを受け付ける（ステップＳ２１）。次に、受付部１１は、作業者から、動作検証用状況データを受け付ける（ステップＳ２２）。

次に、判定部１２が、ステップＳ２２の処理により受け付けられた動作検証用状況データと、記憶部１３に記憶されたデータセット１０１−ｋ（１≦ｋ≦ｎ，ｎ及びｋは１以上の整数）に含まれる状況データ１０３−ｋとの類似度（第１類似度）を算出する（ステップＳ２３）。

次に、判定部１２は、ステップＳ２３の処理により算出された類似度が閾値以上であるか否かを判定する（ステップＳ２４）。類似度が閾値以上である場合（ステップＳ２４、Ｙｅｓ）、判定部１２は、類似度が閾値以上である状況データ１０３に関連付けられた応答データ１０２を記憶部１３から読出す（ステップＳ２５）。類似度が閾値以上でない場合（ステップＳ２４、Ｎｏ）、処理はステップＳ２６に進む。

次に、判定部１２は、記憶部１３に記憶された全てのデータセット１０１−ｋを判定したか否かを判定する（ステップＳ２６）。全てのデータセット１０１−ｋを判定していない場合（ステップＳ２６、Ｎｏ）、処理はステップＳ２３に戻る。

全てのデータセット１０１−ｋを判定した場合（ステップＳ２６、Ｙｅｓ）、構築部１４は、ステップＳ２１の処理により受け付けられた動作検証用応答データと、ステップＳ２５の処理により読み出された応答データ１０２と、を含む応答コンテンツＤＢ２０２を構築する（ステップＳ２７）。

次に、受付部２２が、検証者から、発話データを受け付ける（ステップＳ２８）。次に、応答制御部２３が、発話理解モデル２０１、応答コンテンツＤＢ２０２及び応答形式ＤＢ２０３を使用して、上述の応答制御処理を行うことにより、応答形式を決定する（ステップＳ２９）。

次に、生成部２４が、応答生成モデル２０４を使用して、ステップＳ２９の応答制御処理により決定された応答形式から、応答文を生成する（ステップＳ３０）。次に、出力制御部２５が、ステップＳ３０の処理により生成された応答文を出力する（ステップＳ３１）。

次に、応答制御部２３が、発話データに応じた対話が終了したか否かを判定する（ステップＳ３２）。対話の終了を判定する方法は任意でよい。応答制御部２３は、例えばステップＳ２１の処理により入力された動作検証用応答データを含む応答形式が生成された場合、対話が終了したと判定する。また例えば、応答制御部２３は、ステップＳ２５の処理により読み出された応答データ１０２を含む応答形式が生成された場合、対話が終了したと判定する。

対話が終了していない場合（ステップＳ３２、Ｎｏ）、処理はステップＳ２８に戻る。対話が終了した場合（ステップＳ３２、Ｙｅｓ）、処理を終了する。

次に図８及び図９を使用して、第１実施形態の検証例について説明する。

＜検証例＞
図８及び図９の例では、対話システム２００は、ショッピングセンターにある複数の店舗、及び、当該店舗で売られている複数の商品を検索するシステムである場合について説明する。

図８は第１実施形態の検証システム１００の検証例１を説明するための図である。図８の例では、作業者及び検証者は、ショッピングセンター内にある靴屋Ａのスタッフである。動作検証用応答データは、５月の靴屋Ａセール情報を示す。動作検証用状況データは、５月セールの対象期間を示す。データセット１０１は、応答データ１０２として、２４件の他店舗の５月セール情報を含み、状況データ１０３として、２４件の他店舗の５月セールの対象期間を含む。

第１実施形態の対話システム２００では、５月の靴屋Ａセール情報だけでなく、２４件の他店舗の５月セール情報も、応答コンテンツＤＢ２０２に含まれる。第１実施形態の対話システム２００は、この応答コンテンツＤＢ２０２を使用することにより、複数の競合するセール情報の中から靴屋Ａのセール情報に絞り込む対話を実現することができる。

これにより、対話システム２００（対話エンジン）が実際に利用される状況に合わせて、当該対話システム２００の動作を検証することを、図８の右側の対話の例のように、より容易に実現することができる。

一方、従来の対話システム３００では、図８の左側の対話の例のように、「セール」という情報だけから即座に靴屋Ａの情報が提示される。しかし、実際には、例えばゴールデンウィーク期間中は他店舗もセールを行うことが多い。従来の対話システム３００は、複数のセール情報を検索することにより、絞り込みを行わなければ、靴屋Ａの情報にたどり着かないはずである。

この様に、従来の対話システム３００は、実際に使用されるときの状況と大きく異なる挙動をする。そのため、対話システム３００（対話エンジン）が実際に利用される状況に合わせて、当該対話システム３００の動作を検証することができない。

図９は第１実施形態の検証システム１００の検証例２を説明するための図である。図９の例では、作業者及び検証者は、ショッピングセンターの婦人服エリアにあるショップＣのスタッフである。動作検証用応答データは、ショップＣの婦人服追加情報を示す。動作検証用状況データは、対話システム２００が設置される婦人服エリアの場所を示す。データセット１０１は、応答データ１０２として、総合衣料新製品情報及び婦人服新製品情報を含み、状況データ１０３として、総合衣料エリアの場所、及び、婦人服エリアの場所を含む。

第１実施形態の対話システム２００では、婦人服追加情報だけでなく、ショップＣと同じ婦人服エリアにある店舗の婦人服新製品情報も、応答コンテンツＤＢ２０２に含まれる。しかし、総合衣料新製品情報は、総合衣料エリアの店舗の情報なので、応答コンテンツＤＢ２０２に含まれない。

第１実施形態の対話システム２００は、この応答コンテンツＤＢ２０２を使用することにより、婦人服エリアでは婦人服についての問い合わせが来やすいという事前情報が反映される様子も、検証時に確認することが可能になる。これにより、対話システム２００（対話エンジン）が実際に利用される状況に合わせて、当該対話システム２００の動作を検証することを、図９の右側の対話の例のように、より容易に実現することができる。

一方、従来の対話システム３００では、場所に関する情報を考慮して動作を検証することができないので、図９の左側の対話の例のように、最も基本的な方針に従い対話を進める。従来の対話システム３００では、婦人服エリアでは婦人服についての問い合わせが来やすいという事前情報が反映される様子を、検証時に確認することができない。そのため、対話システム３００（対話エンジン）が実際に利用される状況に合わせて、当該対話システム３００の動作を検証することができない。

以上説明したように、第１実施形態の検証システム１００では、記憶制御部が、１以上の応答文の生成に使用可能な応答データ１０２（第１応答データ）と、応答データ１０２が使用される状況を示す状況データ１０３（第１状況データ）と、を関連付けて記憶部１３に記憶する。受付部１１（第１受付部）が、１以上の応答文の生成に使用される動作検証用応答データ（第２応答データ）を受け付ける。判定部１２が、動作検証用応答データが使用される状況を示す動作検証用状況データ（第２状況データ）と、状況データ１０２との類似度（第１類似度）を判定する。構築部１４が、動作検証用応答データと、類似度が閾値（第１閾値）以上である状況データ１０３に関連付けられた応答データ１０２と、を含む応答コンテンツＤＢ２０２（応答コンテンツ情報）を構築する。受付部２２（第２受付部）が、ユーザーによる発話を示す発話データを受け付ける。生成部２４が、発話データに応じた応答文を、応答コンテンツＤＢ２０２を使用して生成する。そして出力制御部２５が、１以上の応答文を出力する。

これにより第１実施形態の検証システム１００によれば、対話エンジン（対話システム２００）が利用される状況に合わせて、対話エンジンの動作を検証することを、より容易に実現することができる。

（第１実施形態の変形例１）
次に第１実施形態の変形例１について説明する。第１実施形態の変形例１の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

第１実施形態の説明では、構築部１４が、対話システム２００が利用される状況に合わせて、応答コンテンツＤＢ２０２を構築する場合について説明した。第１実施形態の変形例１では、構築部１４が、対話システム２００が利用される状況に合わせて、応答形式ＤＢ２０３を構築する。

記憶部１３は、応答形式と、当該応答形式が使用される状況を示す状況データ（第３状況データ）と、を関連付けて記憶する。

判定部１２は、動作検証用状況データ（第２状況データ）と、第３状況データとの類似度（第２類似度）を判定する。

構築部１４は、第２類似度が第２閾値以上である第３状況データに関連付けられた応答形式を１以上含む応答形式ＤＢ２０３を構築する。構築部１４は、応答形式ＤＢ２０３を記憶部２１に記憶する。

応答制御部２３は、応答形式ＤＢ２０３を使用して、上述の発話意図情報から応答形式を決定する。

生成部２４は、応答制御部２３により決定された応答形式を使用して、発話データに応じた応答文を生成する。

以上説明したように、第１実施形態の変形例１では、対話システム２００が利用される状況に応じた応答形式ＤＢ２０３が構築される。これにより応答制御部２３は、発話意図情報が同一であっても、対話システム２００が利用される状況に応じた異なる応答形式を決定することができる。

第１実施形態の変形例１によれば、第１実施形態の場合と同様に、対話エンジン（対話システム２００）が利用される状況に合わせて、対話エンジンの動作を検証することを、より容易に実現することができる。

（第１実施形態の変形例２）
次に第１実施形態の変形例２について説明する。第１実施形態の変形例２の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

第１実施形態の説明では、構築部１４が、対話システム２００が利用される状況に合わせて、応答コンテンツＤＢ２０２を構築する場合について説明した。第１実施形態の変形例２では、応答制御部２３が、対話システム２００が利用される状況に合わせた発話理解モデル２０１を使用して、応答形式を決定する。

記憶部１３は、発話理解モデル２０１と、当該発話理解モデル２０１が使用される状況を示す状況データ（第４状況データ）と、を関連付けて記憶する。

判定部１２は、動作検証用状況データ（第２状況データ）と、第４状況データとの類似度（第３類似度）を判定する。判定部１２は、第３類似度が閾値（第３閾値）以上である第４状況データに関連付けられた発話理解モデル２０１を、記憶部２１に記憶する。

応答制御部２３は、判定部１２により記憶部２１に記憶された発話理解モデル２０１から得られた発話意図情報に応じて、応答形式を決定する。

生成部２４は、応答制御部２３により決定された応答形式を使用して、発話データに応じた応答文を生成する。

以上説明したように、第１実施形態の変形例２では、対話システム２００が利用される状況に応じた発話理解モデル２０１が使用される。これにより応答制御部２３は、発話データが同一であっても、対話システム２００が利用される状況に応じた異なる発話意図情報により、発話の意図を推定することができる。

第１実施形態の変形例２によれば、第１実施形態の場合と同様に、対話エンジン（対話システム２００）が利用される状況に合わせて、対話エンジンの動作を検証することを、より容易に実現することができる。

（第１実施形態の変形例３）
次に第１実施形態の変形例３について説明する。第１実施形態の変形例３の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

第１実施形態の説明では、構築部１４が、対話システム２００が利用される状況に合わせて、応答コンテンツＤＢ２０２を構築する場合について説明した。第１実施形態の変形例３では、生成部２４が、対話システム２００が利用される状況に合わせた応答生成モデル２０４を使用して、発話データに応じた応答文を生成する。

記憶部１３は、１以上の応答文の生成に使用される応答生成モデル２０４と、応答生成モデル２０４が使用される状況を示す状況データ（第５状況データ）と、を関連付けて記憶する。

判定部１２は、動作検証用状況データ（第２状況データ）と、第５状況データとの類似度（第４類似度）を判定する。判定部１２は、第４類似度が閾値（第４閾値）以上である第４状況データに関連付けられた応答生成モデル２０４を、記憶部２１に記憶する。

生成部２４は、判定部１２により記憶部２１に記憶された応答生成モデル２０４を使用して、発話データに応じた応答文を生成する。

以上説明したように、第１実施形態の変形例３では、対話システム２００が利用される状況に応じた応答生成モデル２０４が使用される。これにより生成部２４は、応答制御部２３から入力された応答形式が同一であっても、対話システム２００が利用される状況に応じた異なる応答文を生成することができる。

第１実施形態の変形例３によれば、第１実施形態の場合と同様に、対話エンジン（対話システム２００）が利用される状況に合わせて、対話エンジンの動作を検証することを、より容易に実現することができる。

上述の第１実施形態及び変形例１〜３は、組み合わせて実施してもよい。例えば、動作検証用状況データが、子供向けを示す情報（例えば年齢が１０歳未満、及び、おもちゃ売り場の場所を示す情報等）を含む場合、子供向け単語（語彙）を含む発話理解モデル２０１、おもちゃの情報を含む応答コンテンツＤＢ２０２、及び、親しみやすい応答文を生成する応答生成モデル２０４を使用してもよい。これにより対話エンジン（対話システム２００）が利用される状況に合わせて、対話エンジンの動作を検証することを、より容易に実現することができる。

また例えば、動作検証用状況データが、フォーマルなイベントが開催される場所を示す情報を含む場合、１つ１つ丁寧に確認しながら応答することにより対話を進めるための応答形式を含む応答形式ＤＢ２０３と、丁寧な言葉使いを含む応答文を生成する応答生成モデル２０４と、を使用してもよい。

また例えば、動作検証用状況データが、富裕層を対象にすることを示す情報を含む場合、富裕層向けの単語を含む発話理解モデル２０１、ブランド品の情報を含む応答コンテンツＤＢ２０２、及び、かしこまった応答文を生成する応答生成モデル２０４と、を使用してもよい。

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

［機能構成の例］
図１０は第２実施形態の検証システム１００の機能構成の例を示す図である。第２実施形態の検証システム１００は、受付部１１、判定部１２、記憶部１３、構築部１４、推定部１５及び対話システム２００を備える。第２実施形態の検証システム１００では、第１実施形態の検証システム１００の機能構成に、更に推定部１５が追加されている。

推定部１５は、動作検証用応答データ（第２応答データ）から、動作検証用状況データ（第２状況データ）を推定する。推定方法は任意でよい。推定部１５は、例えば動作検証用応答データの一部を、動作検証用状況データとして抽出することにより推定してもよい。また例えば、推定部１５は、規則及び統計モデル等を使用して、動作検証用応答データから、動作検証用状況データを推定してもよい。

図１１は第２実施形態の推定部１５による推定例を示す図である。図１１の例は、動作検証用応答データが、ゴールデンウィークのセール情報である場合を示す。ゴールデンウィークのセール情報は、期間を示す情報（４／２９−５／５）、店名を示す情報（家電量販店Ｄ）、及び、内容を示す情報（人形３０％ＯＦＦ）を含む。

期間を示す情報は、動作検証用応答データと、動作検証用状況データの両方に含まれる。推定部１５は、例えば期間を示す情報を、動作検証用応答データから抽出することにより、動作検証用状況データの期間を示す情報（４／２９−５／５）を推定する。

また例えば、推定部１５は、家電量販店Ｄのおもちゃ売り場が３階の東エリアにあるという規則を使用して、店名を示す情報と内容を示す情報とから、動作検証用状況データの場所を示す情報（３Ｆおもちゃエリア）を推定する。

また例えば、推定部１５は、人形の主なターゲットが女の子であるという規則を使用して、内容を示す情報から、動作検証用状況データの対象を示す情報（女性・子供）を推定する。

以上、説明したように、第２実施形態の検証システム１００では、受付部１１が、作業者から、動作検証用状況データを受け付けなくても、推定部１５により、当該動作検証用状況データを推定することができる。これにより、第２実施形態の検証システム１００によれば、第１実施形態の検証システム１００と同様に、対話エンジン（対話システム２００）が利用される状況に合わせて、対話エンジンの動作を検証することを、より容易に実現することができる。

（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

第３実施形態では、構築部１４により構築された応答コンテンツＤＢ２０２を修正する場合について説明する。

［機能構成の例］
図１２は第３実施形態の検証システム１００の機能構成の例を示す図である。第３実施形態の検証システム１００は、受付部１１、判定部１２、記憶部１３、構築部１４、判定部１６、修正部１７、記憶部１８及び対話システム２００を備える。第３実施形態の検証システム１００では、第１実施形態の検証システム１００の機能構成に、更に判定部１６、修正部１７及び記憶部１８が追加されている。

判定部１６は、応答コンテンツＤＢ２０２が適切であるか否かを判定する。判定部１６は、例えば応答コンテンツＤＢ２０２に含まれるデータの数が閾値（第５閾値）以上である場合、当該応答コンテンツＤＢ２０２が適切であると判定する。

記憶部１８（記憶制御部）は、疑似データセット１０４−１〜疑似データセット１０４−ｍ（ｍは１以上の整数）を記憶する。

疑似データセット１０４−１は、疑似応答データ１０５−１及び疑似状況データ１０６−１を含む。疑似データセット１０４−１〜疑似データセット１０４−ｍの説明は、同様なので、疑似データセット１０４−１を例にして説明する。

疑似応答データ１０５−１は、疑似的な応答データを示す。疑似応答データ１０５−１は、例えば過去に使用された応答データ１０２の複製である。また例えば、疑似応答データ１０５−１は、架空の応答データである。

疑似状況データ１０６−１は、疑似応答データ１０５−１が使用される状況を示す。疑似状況データ１０６−１は、例えば期間を示す情報、場所を示す情報、年齢を示す情報、性別を示す情報、価格を示す情報、種類を示す情報、及び、嗜好を示す情報のうち、少なくとも１つを含む。疑似状況データ１０６−１のデータ形式は任意でよい。疑似状況データ１０６−１は、例えば疑似応答データ１０５−１が使用される状況を示すパラメータである。

以下、疑似データセット１０４−１〜疑似データセット１０４−ｍを区別しない場合、単に疑似データセット１０４という。同様に、疑似応答データ１０５−１〜疑似応答データ１０５−ｍを区別しない場合、単に疑似応答データ１０５という。同様に、疑似状況データ１０６−１〜疑似状況データ１０６−ｍを区別しない場合、単に疑似状況データ１０６という。

修正部１７は、応答コンテンツＤＢ２０２に含まれるデータの数が第５閾値以下の場合、動作検証用状況データ（第２状況データ）と、疑似状況データ１０６との類似度（第５類似度）を判定する。修正部１７は、第５類似度が閾値（第５閾値）以上の疑似状況データ１０６に関連付けられた疑似応答データ１０５を、応答コンテンツＤＢ２０２に追加することにより、応答コンテンツＤＢ２０２を修正する。修正部１７は、修正された応答コンテンツＤＢ２０２を記憶部２１に記憶する。

なお上述の記憶部１３及び１８は、１つの記憶部として実現されていてもよい。同様に、上述の判定部１２及び１６は、１つの判定部として実現されていてもよい。

次に第３実施形態の検証方法について説明する。

＜検証方法＞
図１３は第３実施形態の検証方法の例を示すフローチャートである。ステップＳ４１〜ステップＳ４７の説明は、第１実施形態の検証方法のステップＳ２１〜ステップＳ２７（図７参照）の説明と同じなので省略する。

判定部１６は、応答コンテンツＤＢ２０２が適切であるか否かを判定する（ステップＳ４７−２）。判定部１６は、例えば応答コンテンツＤＢ２０２に含まれるデータの数が閾値（第５閾値）以上であるか否かを判定する。

応答コンテンツＤＢ２０２が適切でない場合（ステップＳ４７−２、Ｎｏ）、修正部１７は、応答コンテンツＤＢ２０２を修正する（ステップＳ４７−３）。具体的には、修正部１７は、動作検証用状況データ（第２状況データ）と、疑似状況データ１０６との類似度（第５類似度）を判定する。そして修正部１７は、第５類似度が閾値（第５閾値）以上の疑似状況データ１０６に関連付けられた疑似応答データ１０５を、応答コンテンツＤＢ２０２に追加することにより、応答コンテンツＤＢ２０２を修正する。

応答コンテンツＤＢ２０２が適切である場合（ステップＳ４７−２、Ｙｅｓ）、処理はステップＳ４８に進む。

ステップＳ４８〜ステップＳ５２の説明は、第１実施形態の検証方法のステップＳ２８〜ステップＳ３２（図７参照）の説明と同じなので省略する。

第３実施形態の検証システム１００によれば、記憶部１３に記憶されているデータセット１０１の数が十分にない場合であっても、対話システム２００（対話エンジン）が実際に利用される状況により合わせて、対話システム２００の動作を検証することができる。

例えば上述の図８の検証例１で、５月セール情報が十分にない場合、図８の左側の対話の例のように、１度のやりとりで対話が終わってしまう。しかし、第３実施形態では、疑似データセット１０４を使用することで、実際に対話システム２００が利用される時と同様に、複数の競合するセール情報の中から靴屋Ａのセール情報に絞り込む対話を実現することができる。

最後に第１乃至第３実施形態の検証システム１００のハードウェア構成の例について説明する。

［ハードウェア構成の例］
図１４は第１乃至第３実施形態の検証システム１００のハードウェア構成の例を示す図である。第１乃至第３実施形態の検証システム１００は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、マイク３０４、表示装置３０５、入力装置３０６、通信装置３０７及びスピーカー３０８を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、マイク３０４、表示装置３０５、入力装置３０６、通信装置３０７及びスピーカー３０８は、バス３１０を介して接続されている。

制御装置３０１は補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。制御装置３０１は、例えばＣＰＵ等の１以上のプロセッサである。主記憶装置３０２はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置３０３はメモリカード、及び、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。

マイク３０４は音声の入力を受け付ける。マイク３０４は、例えば発話データを示す音声の入力を受け付ける。

表示装置３０５は情報を表示する。表示装置３０５は、例えば液晶ディスプレイである。入力装置３０６は情報の入力を受け付ける。入力装置３０６は、例えばキーボード及びマウス等である。なお表示装置３０５及び入力装置３０６は、表示機能と入力機能とを兼ねる液晶タッチパネル等でもよい。

通信装置３０７は他の装置と通信する。スピーカー３０８は音声を出力する。スピーカー３０８は、例えば応答文を示す音声を出力する。

第１乃至第３実施形態の検証システム１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ、及び、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。

また第１乃至第３実施形態の検証システム１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１乃至第３実施形態の検証システム１００が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また第１乃至第３実施形態の検証システム１００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

第１乃至第３実施形態の検証システム１００で実行されるプログラムは、第１乃至第３実施形態の検証システム１００の機能構成のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。

プログラムにより実現される機能は、制御装置３０１が補助記憶装置３０３等の記憶媒体からプログラムを読み出して実行することにより、主記憶装置３０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置３０２上に生成される。

なお第１乃至第３実施形態の検証システム１００の機能の一部を、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。ＩＣは、例えば専用の処理を実行するプロセッサである。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。

また第１乃至第３実施形態の検証システム１００の動作形態は任意でよい。第１乃至第３実施形態の検証システム１００を、例えばネットワーク上のクラウドシステムとして動作させてもよい。

また上述の第１乃至第３実施形態の検証システム１００は、１台のコンピュータにより実現されていてもよいし、複数のコンピュータにより、実現されていてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

例えば、第１実施形態の検証システム１００では、構築部１４が、動作検証用状況データと状況データ１０３との類似度に基づいて読み出された応答データ１０２を使用して、応答コンテンツＤＢ２０２を構築する場合について説明した。しかしながら構築部１４は、記憶部１３に記憶された全ての応答データ１０２を使用して、応答コンテンツＤＢ２０２を構築してもよい。そして応答制御部２３が、当該応答コンテンツＤＢ２０２から選択されるデータを、動作検証用状況データを参照して決定してもよい。

１１ 受付部
１２ 判定部
１３ 記憶部
１４ 構築部
１５ 推定部
１６ 判定部
１７ 修正部
１８ 記憶部
２１ 記憶部
２２ 受付部
２３ 応答制御部
２４ 生成部
２５ 出力制御部
１００ 検証システム
２００ 対話システム
２０１ 発話理解モデル
２０２ 応答コンテンツＤＢ
２０３ 応答形式ＤＢ
２０４ 応答生成モデル
３００ 対話システム
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ マイク
３０５ 表示装置
３０６ 入力装置
３０７ 通信装置
３０８ スピーカー
３１０ バス

Claims (7)

1. １以上の応答文の生成に使用可能な第１応答データと、前記第１応答データが使用される状況を示す第１状況データと、を関連付けて記憶部に記憶する記憶制御部と、
   前記１以上の応答文の生成に使用される第２応答データを受け付ける第１受付部と、
   前記第２応答データが使用される状況を示す第２状況データと、前記第１状況データとの第１類似度を判定する判定部と、
   前記第２応答データと、前記第１類似度が第１閾値以上である前記第１状況データに関連付けられた前記第１応答データと、を含む応答コンテンツ情報を構築する構築部と、
   を備える検証システム。
2. 前記第１受付部は、前記第２状況データを更に受け付ける、
   請求項１に記載の検証システム。
3. 前記第２応答データから、前記第２状況データを推定する推定部、
   を更に備える請求項１に記載の検証システム。
4. 前記第１状況データ及び前記第２状況データは、期間を示す情報、場所を示す情報、年齢を示す情報、性別を示す情報、価格を示す情報、種類を示す情報、及び、嗜好を示す情報のうち、少なくとも１つを含む、
   請求項１に記載の検証システム。
5. 前記記憶制御部は、前記１以上の応答文の生成に使用可能な疑似応答データと、前記疑似応答データが使用される状況を示す疑似状況データと、を関連付けて前記記憶部に更に記憶し、
   前記応答コンテンツ情報に含まれるデータの数が第５閾値以下の場合、前記第２状況データと、前記疑似状況データとの第５類似度を判定し、前記第５類似度が第５閾値以上の前記疑似状況データに関連付けられた前記疑似応答データを、前記応答コンテンツ情報に追加することにより、前記応答コンテンツ情報を修正する修正部、
   を更に備える請求項１に記載の検証システム。
6. １以上の応答文の生成に使用可能な第１応答データと、前記第１応答データが使用される状況を示す第１状況データと、を関連付けて記憶部に記憶するステップと、
   前記１以上の応答文の生成に使用される第２応答データを受け付けるステップと、
   前記第２応答データが使用される状況を示す第２状況データと、前記第１状況データとの第１類似度を判定するステップと、
   前記第２応答データと、前記第１類似度が第１閾値以上である前記第１状況データに関連付けられた前記第１応答データと、を含む応答コンテンツ情報を構築するステップと、
   を含む検証方法。
7. コンピュータを、
   １以上の応答文の生成に使用可能な第１応答データと、前記第１応答データが使用される状況を示す第１状況データと、を関連付けて記憶部に記憶する記憶制御部と、
   前記１以上の応答文の生成に使用される第２応答データを受け付ける第１受付部と、
   前記第２応答データが使用される状況を示す第２状況データと、前記第１状況データとの第１類似度を判定する判定部と、
   前記第２応答データと、前記第１類似度が第１閾値以上である前記第１状況データに関連付けられた前記第１応答データと、を含む応答コンテンツ情報を構築する構築部と、
   として機能させるためのプログラム。

Images