JP5158022B2 - 対話処理装置、対話処理方法、及び対話処理プログラム - Google Patents

Description

本発明は、人とロボット等との対話を可能にする技術に関する。

近年、人と対話をすることができるロボットの開発が進められている。通常、このようなロボットは、ユーザの発話内容に応じた応答文を抽出又は作成し、この応答文を発話する機能を備えている。

以下に、本発明に関連する先行技術を挙げる。特許文献１において、対話相手の発話を音声認識する音声認識手段と、それぞれ音声認識手段の認識結果に基づき、別個の応答生成ルールに従って、対話相手の発話に対する応答を生成する複数の応答生成手段と、各応答生成手段によりそれぞれ生成された応答の中から１つの応答を所定の評価関数を用いた評価結果に基づいて選択する選択手段と、選択手段により選択された応答を外部に音声出力する音声出力手段とを備える対話処理装置が開示されている。

特許文献２において、ユーザの発話内容を解析し、これに関連する予め用意された回答内容を出力する会話制御装置であって、各第二形態素情報の中から、第一形態素情報を構成する形態素を含む第二形態素情報を検索し、検索した第二形態素情報に基づいて、第二形態素情報に関連付けられた回答内容を取得する構成が開示されている。

特許文献３において、被験者の感情を推定する装置であって、被験者に提示情報を提示する情報提示手段と、情報提示手段により提示された提示情報を分析する分析手段と、分析手段により得られる分析結果と提示情報の詳細情報とから得られる文脈から感情状態の候補を推定する文脈推定手段と、情報提示手段により提示された提示情報を視聴する被験者の映像、音声、及び前記被験者の生体情報に基づいて被験者の状況を推定する状況推定手段と、文脈推定手段により得られる感情状態の候補と、状況推定手段により得られる感情状態の尤度とに基づいて被験者の感情を推定する感情推定手段とを備える構成が開示されている。

特許文献４において、検索者が意図する例文を高い精度で検索可能にする類似例文検索装置であって、自然言語で記述された各々異なる複数の例文を示す例文データが予め記憶された記憶手段と、検索対象とする検索対象文を示す対象文データが入力される入力手段と、入力手段により入力される対象文データにより示される各例文の構文的構造を解析して構文要素を特定する特定手段と、特定手段により構文要素が特定された検索対象文と各例文との間における、同一種類の構文要素毎の類似度を導出する導出手段と、導出手段により導出された構文要素毎の類似度に対して構文要素の種類別に予め定められた重み値を加味して、検索対象文と各例文との全体的な類似度を算出する算出手段と、算出手段により算出された全体的な類似度に基づいて各例文から検索対象文に類似する例文を選択する選択手段とを備える構成が開示されている。

非特許文献１において、ウェブからの大量例示抽出を用いた感情の分類化について開示されている。

特開２００３−２５５９９０号公報 特開２００３−３０３１８７号公報 特開２００５−３４８８７２号公報 特開２００８−１５２６４１号公報

"Emotion Classification Using Massive Examples Extracted from Web" Ryoko TOKUHISA, Kentaro INUI, Yuji MATSUMOTO 著http://www.aclweb.org/anthology-new/C/C08/C08-1111.pdf

しかしながら、ユーザの発話に対するロボットの応答は、実意が感じられない通り一遍なものになってしまう場合が多い。このような応答は、ロボットが自分の話を本当に聞いて、理解しているのかといった疑義の印象をユーザに与える。このような印象は、ユーザの対話意欲を大きく減退させるものである。従って、ロボットの応答には、上記のような疑義の印象をユーザに与えないようにする十分な配慮が必要である。このような問題は、上記を含むあらゆる先行技術において、改善の余地が大きいものである。

そこで、本発明は、ユーザの対話意欲を促進させることができる対話処理を実行することを目的とする。

本発明は、上記課題の解決を図るものであり、ユーザの音声を認識する音声認識部と、前記音声認識部による認識結果に基づいて、前記ユーザが発話した発話文の少なくとも係り受け関係を解析する構文解析部と、前記構文解析部により解析された係り受け関係に関する情報を、前記ユーザの発話の進行に伴い蓄積していく係り受け関係記憶部と、前記係り受け関係記憶部に蓄積された前記係り受け関係に関する情報に基づいて、前記発話文の内容を纏めた纏め文を生成する応答生成部とを備える対話処理装置である。

上記装置によれば、ユーザとロボット等との対話が進行すると、ロボット等によりユーザの発話内容を纏めた（要約した）纏め文が発話される。この纏め文の構成及び発話されるタイミングは、ユーザの発話履歴に含まれる語句の係り受け関係に関する情報に基づいて決定される。これにより、ロボット等が話をよく聞いて理解しているといった印象をユーザに与えることができる。

また、前記応答生成手段は、１つの述語に係り受けする語句の数が、第１の閾値に達した場合に、前記纏め文を生成することが好ましい。この第１の閾値としては、３が好例である。

更に、前記応答生成手段は、１つの述語に係り受け可能な格の総数に対する発話された語句が相当する格の数の割合が、第２の閾値に達した場合に、前記纏め文を生成するものであってもよい。この第２の閾値としては、５０％が好例である。

纏め文を作成・発話する条件を、上記のように設定することにより、対話の進行時において適度なタイミングで纏め文を発話させることができる。

また、前記係り受け関係を有する語句の組み合わせに基づいて、前記ユーザの感情を推定する感情推定手段を更に備え、前記応答生成手段は、前記感情推定手段による推定結果に基づいて、前記ユーザの感情を表現する文を追加するものであってもよい。

更に、前記係り受け関係を有する語句の組み合わせに基づいて、前記ユーザが発話した文の内容と因果関係を有する事象を推定する因果関係推定手段を更に備え、前記応答生成手段は、前記因果関係推定手段による推定結果に基づいて、前記事象を表現する文を追加するものであってもよい。

ユーザが発話した述語とこれに係り受けする語句との組み合わせに基づいて、ユーザの感情や、発話内容と因果関係を有する事象を推定することができる。そして、この推定結果に基づく文を、ユーザへの応答文（纏め文を含む）に含めることにより、ロボット等が自らの話を理解している印象を更に深めることができる。

また、本発明は、上記と同様の技術思想に基づく方法、及びコンピュータに特定の処理を実行させるプログラムである。

上記本発明によれば、対話の進行に伴い、ユーザの発話内容を纏めた纏め文をロボット等により発話させることができる。また、ユーザの感情や、発話内容と因果関係を有する事象を表現する文を、ロボット等の応答文に含めることができる。これにより、ユーザの対話意欲を促進させることができる。

本発明の実施の形態１に係る対話処理装置の機能的な構成を示すブロック図である。 実施の形態１に係る対話処理装置における処理の流れを示すフローチャートである。 ユーザと、実施の形態１に係る対話処理装置を備えるロボットとの対話を例示する図である。 係り受け関係記憶部に蓄積される係り受け関係に関する情報を例示する図である。 本発明の実施の形態２に係る対話処理装置の機能的な構成を示すブロック図である。 実施の形態２に係る対話処理装置における処理の流れを示すフローチャートである。 実施の形態２に係る対話処理装置による感情推定処理及び因果推定処理を例示する図である。

実施の形態１
図１は、本実施の形態に係る対話処理装置１の機能的な構成を示している。対話処理装置１は、ロボット等の機器に搭載され、人（ユーザ）との対話を可能にするものであり、中央処理装置、記憶装置、入出力装置等から構成されるコンピュータ、制御プログラム、データベース等を用いて実現される。本実施の形態に係る対話処理装置１は、音声認識部２、構文解析部３、係り受け関係記憶部４、及び応答生成部５を備える。

音声認識部２は、ユーザの音声を認識するものであり、マイク等から入力された音声入力信号を、コンピュータにより解析し、発話された内容をテキストデータとして取り出すものである。

構文解析部３は、音声認識部２による認識結果に基づいて、ユーザによる発話文の文法的な関係を解析するものである。本実施の形態に係る構文解析部３は、係り受け関係の定義が蓄積された係り受け定義ＤＢ(Data Base)７を参照して、発話文の係り受け関係を解析する。係り受け定義ＤＢ７は、例えば、日本語、英語等の言語の種類に対応して用意される。

係り受け関係記憶部４は、ＲＡＭ(Random Access Memory)等を含んで構成され、構文解析部３により解析された係り受け関係に関する情報を、ユーザの発話の進行に伴い蓄積していくものである。

応答生成部５は、構文解析部３、係り受け関係記憶部４等からの情報に基づいて、ユーザに対する応答文を生成し、スピーカ等の出力装置に音声出力信号を送信するものであり、本実施の形態に係る応答生成部５は、少なくとも係り受け関係記憶部４に蓄積された係り受け関係に関する情報に基づいて、ユーザによる発話文の内容を纏めた（要約した）纏め文を生成する。

図２は、上記構成の対話処理装置１における処理の流れを示している。先ず、マイク等の入力装置を介してユーザの音声の電気信号が入力されると（Ｓ１０１）、この信号をテキストデータとして認識する（Ｓ１０２）。次いで、認識されたテキストデータに基づいて、構文解析、即ち係り受け関係の解析が行われる（Ｓ１０３）。構文解析により得られた係り受け関係に関する情報は、ユーザの発話の進行に伴い、一時メモリ等に記憶、蓄積されていく（Ｓ１０４）。

そして、上記のように蓄積された係り受け関係に関する情報に基づいて、係り受け数が閾値Ｎに達したか否か、又は係り受け充足率が閾値Ｒに達したか否かが判定される（Ｓ１０５）。ここで、係り受け数とは、発話中に含まれる１つの述語に係り受けする語句の数を示す。係り受け充足率とは、１つの述語に係り受け可能な格の総数に対する発話された語句が相当する格の数の割合を示す。

前記ステップＳ１０５において、係り受け数が閾値Ｎに達しておらず、且つ係り受け充足率が閾値Ｒに達していない場合（Ｎ）には、通常の応答文を生成し（Ｓ１０６）、この応答文を出力装置により出力する（Ｓ１０７）。

一方、前記ステップＳ１０５において、係り受け数が閾値Ｎに達したか、又は係り受け充足率が閾値Ｒに達した場合（Ｙ）には、上述した纏め文を生成し（Ｓ１０８）、この纏め文を出力装置により出力する（Ｓ１０７）。上記閾値Ｎとしては、例えば３が好ましい。また、上記閾値Ｒとしては、例えば５０％が好ましい。

図３は、ユーザと、上記対話処理装置１を備えるロボットとの対話を例示している。同図において、ユーザの発話１．には、「行った」という述語と、これに係り受けする「冬に」という語句とが含まれている。ロボットの発話２．は、発話１．に対する通常応答文であり、周知の技術を適宜利用して生成、出力されるものである。この発話２．に応答するユーザの発話３．には、発話１．と同一の述語「行った」と、これに係り受けする「北海道に」という語句が含まれている。ロボットの発話４．は、発話３．に対する通常応答文であり、周知の技術を適宜利用して生成、出力されるものである。ユーザの発話５．には、発話１．及び発話３．と同一の述語「行った」と、これに係り受けする「友達と」という語句とが含まれている。そして、ロボットの発話６．は、上記ユーザの発話１．３．５．の発話内容を纏めた纏め文であり、発話１．３．５．に共通する述語「行った」と、これに係り受けする全ての語句「冬に」「友達と」「北海道に」とが含まれている。この例では、ユーザとロボットとの対話において、ユーザが１つの述語「行った」に対して３つの係り受け語「冬に」「友達と」「北海道に」を発話したことにより、ロボットが纏め文を発話した状況が示されている。即ち、この状況は、図２に示すステップＳ１０５において、係り受け数が閾値３に達した場合を例示するものである。

図４は、上記係り受け関係記憶部４に記憶される係り受け関係に関する情報を示している。この情報は、発話の進行に伴って登場した述語毎に蓄積されていく。ここでは、述語として「行った」「寝た」が例示されている。述語に係り受け可能な格として、「主体」「対象」「着点」「動作の場所」「存在の場所」「目的」「時間」「手段」「位置的な起点」「時間的な起点」「変化の結果」「動作の相手」「材料」「理由」「その他副詞」が存在する。これら全ての格が全ての述語に係り受け可能というわけではなく、述語によって係り受け可能な格が異なる。例えば、述語「行った」に係り受け可能な格は、「主体」「着点」「目的」「時間」「手段」「位置的な起点」「時間的な起点」「動作の相手」「その他の副詞」の９つである。また、述語「寝た」に係り受け可能な格は、「主体」「動作の場所」「時間」「手段」「理由」「その他の副詞」の６つである。この例では、述語「行った」について、着点「北海道に」、目的「旅行に」、動作の相手「友達と」がユーザにより発話され、述語「寝た」について、手段「布団で」、その他の副詞「久しぶりに」がユーザにより発話された状況が示されている。

上記のように、述語「行った」については、係り受け可能な格の総数が９であり、実際の係り受け数が３である。従って、係り受け充足率は、（実際の係り受け数）／（係り受け可能な格の総数）＝３／９≒３３％となる。また、述語「寝た」については、係り受け可能な格の総数が６であり、実際の係り受け数が２である。従って、係り受け充足率は、２／６≒３３％となる。

その後、対話が進行する中で、述語「寝た」について、例えば動作の場所「旅館で」が発話されると、係り受け充足率は、３／６＝５０％となる。この場合、係り受け充足率が好ましい閾値Ｒ（５０％）に達したこととなり、上記纏め文が生成される（図２中ステップＳ１０５，Ｓ１０８参照）。一方、述語「行った」については、係り受け充足率が５０％に達するためには、係り受け数が５となる必要がある。

このように、纏め文を生成する条件を、係り受け充足率のみとすると、述語「行った」のように、係り受け可能な格の総数が多い語句については、なかなか纏め文が生成されないこととなる。また、述語「寝た」のように、係り受け可能な格の総数が少ない語句については、対話の中で係り受け可能な格に相当する語句が発話される機会が少ないため、係り受け数だけを参照すると、なかなか纏め文が生成されないこととなる。従って、纏め文を生成する条件として、係り受け数及び係り受け充足率の両方を用いることにより、より適切なタイミングでロボットに纏め文を発話させることができる。

上記のように、本実施の形態によれば、対話が進行すると、ロボットによりユーザの発話内容を纏めた纏め文が発話される。これにより、ユーザとロボットとの対話の質をより向上させることができる。

実施の形態２
以下、図５〜図７を参照して、本発明の他の実施の形態について説明する。尚、上記実施の形態１と同様の作用効果を奏する箇所については、同一の符号を付してその説明を省略する。図５は、本実施の形態に係る対話処理装置１１の機能的な構成を示している。この対話処理装置１１は、上記実施の形態１に係る対話処理装置１の構成要素に加え、感情推定部１２、及び因果推定部１３を備えている。

感情推定部１２は、係り受け関係記憶部４に記憶された情報、応答生成部５により生成された応答文（纏め文を含む）、及び感情定義ＤＢ１５に格納された情報に基づいて、ユーザの感情を推定し、この推定結果に対応する情報を出力する。即ち、纏め文又はユーザが発話した文に含まれる係り受け関係を有する語句の組み合わせと、予め用意された定義とに基づいて、ユーザの感情が推定される。

因果推定部１３は、係り受け関係記憶部４に記憶された情報、応答生成部５により生成された応答文（纏め文を含む）、及び因果定義ＤＢ１６に格納された情報に基づいて、ユーザが発話した文の内容と因果関係を有する事象を推定し、この推定結果に対応する情報を出力する。即ち、纏め文又はユーザが発話した文に含まれる係り受け関係を有する語句の組み合わせと、予め用意された定義とに基づいて、因果関係を有する事象が推定される。

そして、本実施の形態に係る応答生成部５は、感情推定部１２から出力された情報に基づいてユーザの感情を表現する文を作成すると共に、因果推定部１３から出力された情報に基づいて因果関係を有する事象を表現する文を作成し、これらの文を含む上記纏め文、その他の応答文を生成する。

図６は、本実施の形態に係る対話処理装置１１における処理の流れを示している。この処理は、上記実施の形態１に係る処理（図２参照）に、ステップＳ２０１，Ｓ２０２，Ｓ２０３が追加されたものである。

本実施の形態に係る処理においては、ユーザの発話文の係り受け関係に関する情報が、係り受け関係記憶部４に記憶されると（Ｓ１０４）、この係り受け関係記憶部４に記憶された情報等に基づいて、ユーザの感情が推定される（Ｓ２０１）と共に、因果関係を有する事象が推定される（Ｓ２０２）。

その後、ステップＳ１０５において、上記実施の形態１と同様に、係り受け数及び係り受け充足率を参照し、纏め文を生成するか否かが判定され、通常応答文又は纏め文が生成される。そして、上記ステップＳ２０１，Ｓ２０２において推定された結果に基づいて、ユーザの感情を表現する文、及び／又は因果関係を有する事象を表現する文を、通常応答文又は纏め文に追加して、最終的な応答文とする（Ｓ２０３）。

図７は、上記感情推定部１２及び因果推定部１３による処理（ステップ２０１，２０２，２０３）を例示している。ここでは、「冬に 友達と 北海道に 行ったのですね。」という纏め文５１について説明する。上記感情推定部１２による感情推定処理において、「友達と 行く」という語句の組み合わせがポジティブな（良い）経験を表すものと判定され、最終的な応答文５１は、「冬に 友達と 北海道に 行ったのですね。良かったですね。」となる。即ち、纏め文５１に、「良かったですね。」というユーザの感情を表現する文が追加される。また、上記因果推定部１３による因果推定処理において、「冬に 北海道に 行く」という語句の組み合わせが「寒い」いう事象と因果関係を有すると判定され、最終的な応答文５２は、「冬に 友達と 北海道に行くと、寒いですよね。」となる。即ち、纏め文５１に、「寒いですよね。」という発話内容に因果関係を有する事象を表現する文が追加される。

上記のように、本実施の形態によれば、纏め文に加え、ユーザの感情を表現する文や、発話内容に因果関係を有する事象を表現する文が追加されるので、ユーザとロボットとの対話の質をより向上させることができる。

尚、本発明は、上記実施の形態に限られるものではなく、趣旨を逸脱しない範囲で適宜変更することが可能なものである。

１，１１ 対話処理装置
２ 音声認識部
３ 構文解析部
４ 係り受け関係記憶部
５ 応答生成部
１２ 感情推定部
１３ 因果推定部

Claims (21)

1. ユーザの音声を認識する音声認識手段と、
   前記音声認識手段による認識結果に基づいて、前記ユーザが発話した発話文の少なくとも係り受け関係を解析する構文解析手段と、
   前記構文解析手段により解析された係り受け関係に関する情報を、前記ユーザの発話の進行に伴い蓄積していく係り受け関係記憶手段と、
   前記係り受け関係記憶手段に蓄積された前記係り受け関係に関する情報に基づいて、前記発話文の内容を纏めた纏め文を生成する応答生成手段と、
   を備える対話処理装置。
2. 前記応答生成手段は、１つの述語に係り受けする語句の数が、第１の閾値に達した場合に、前記纏め文を生成する、
   請求項１に記載の対話処理装置。
3. 前記第１の閾値は、３である、
   請求項２に記載の対話処理装置。
4. 前記応答生成手段は、１つの述語に係り受け可能な格の総数に対する発話された語句が相当する格の数の割合が、第２の閾値に達した場合に、前記纏め文を生成する、
   請求項１〜３のいずれか１つに記載の対話処理装置。
5. 前記第２の閾値は、５０％である、
   請求項４に記載の対話処理装置。
6. 前記係り受け関係を有する語句の組み合わせに基づいて、前記ユーザの感情を推定する感情推定手段を更に備え、
   前記応答生成手段は、前記感情推定手段による推定結果に基づいて、前記ユーザの感情を表現する文を追加する、
   請求項１〜５のいずれか１つに記載の対話処理装置。
7. 前記係り受け関係を有する語句の組み合わせに基づいて、前記発話文の内容と因果関係を有する事象を推定する因果関係推定手段を更に備え、
   前記応答生成手段は、前記因果関係推定手段による推定結果に基づいて、前記事象を表現する文を追加する、
   請求項１〜６のいずれか１つに記載の対話処理装置。
8. ユーザの音声を認識する音声認識工程と、
   前記音声認識工程による認識結果に基づいて、前記ユーザが発話した発話文の少なくとも係り受け関係を解析する構文解析工程と、
   前記構文解析工程により解析された係り受け関係に関する情報を、前記ユーザの発話の進行に伴い蓄積していく係り受け関係記憶工程と、
   前記係り受け関係記憶工程に蓄積された前記係り受け関係に関する情報に基づいて、前記発話文の内容を纏めた纏め文を生成する応答生成工程と、
   を備える対話処理方法。
9. 前記応答生成工程は、１つの述語に係り受けする語句の数が、第１の閾値に達した場合に、前記纏め文を生成する、
   請求項８に記載の対話処理方法。
10. 前記第１の閾値は、３である、
    請求項９に記載の対話処理方法。
11. 前記応答生成工程は、１つの述語に係り受け可能な格の総数に対する発話された語句が相当する格の数の割合が、第２の閾値に達した場合に、前記纏め文を生成する、
    請求項８〜１０のいずれか１つに記載の対話処理方法。
12. 前記第２の閾値は、５０％である、
    請求項１１に記載の対話処理方法。
13. 前記係り受け関係を有する語句の組み合わせに基づいて、前記ユーザの感情を推定する感情推定工程を更に備え、
    前記応答生成工程は、前記感情推定工程による推定結果に基づいて、前記ユーザの感情を表現する文を追加する、
    請求項８〜１２のいずれか１つに記載の対話処理方法。
14. 前記係り受け関係を有する語句の組み合わせに基づいて、前記発話文の内容と因果関係を有する事象を推定する因果関係推定工程を更に備え、
    前記応答生成工程は、前記因果関係推定工程による推定結果に基づいて、前記事象を表現する文を追加する、
    請求項８〜１３のいずれか１つに記載の対話処理方法。
15. コンピュータに、
    ユーザの音声を認識する音声認識処理と、
    前記音声認識処理による認識結果に基づいて、前記ユーザが発話した発話文の少なくとも係り受け関係を解析する構文解析処理と、
    前記構文解析処理により解析された係り受け関係に関する情報を、前記ユーザの発話の進行に伴い蓄積していく係り受け関係記憶処理と、
    前記係り受け関係記憶処理に蓄積された前記係り受け関係に関する情報に基づいて、前記発話文の内容を纏めた纏め文を生成する応答生成処理と、
    を実行させる対話処理プログラム。
16. 前記応答生成処理は、１つの述語に係り受けする語句の数が、第１の閾値に達した場合に、前記纏め文を生成する、
    請求項１５に記載の対話処理プログラム。
17. 前記第１の閾値は、３である、
    請求項１６に記載の対話処理プログラム。
18. 前記応答生成処理は、１つの述語に係り受け可能な格の総数に対する発話された語句が相当する格の数の割合が、第２の閾値に達した場合に、前記纏め文を生成する、
    請求項１５〜１７のいずれか１つに記載の対話処理プログラム。
19. 前記第２の閾値は、５０％である、
    請求項１８に記載の対話処理プログラム。
20. コンピュータに、前記係り受け関係を有する語句の組み合わせに基づいて、前記ユーザの感情を推定する感情推定処理を更に実行させ、
    前記応答生成処理は、前記感情推定処理による推定結果に基づいて、前記ユーザの感情を表現する文を追加する、
    請求項１５〜１９のいずれか１つに記載の対話処理プログラム。
21. コンピュータに、前記係り受け関係を有する語句の組み合わせに基づいて、前記発話文の内容と因果関係を有する事象を推定する因果関係推定処理を更に実行させ、
    前記応答生成処理は、前記因果関係推定手段による推定結果に基づいて、前記事象を表現する文を追加する、
    請求項１５〜２０のいずれか１つに記載の対話処理プログラム。

Images