JP6886689B2 - 対話装置及びこれを用いた対話システム - Google Patents

Description

本発明は対話装置及び対話プログラムに関する。

超高齢社会の到来に伴い、支援が必要な高齢者の数が増える一方、それを支援する人手不足が深刻な状況にある。このような中、人間に代わって、ロボットが高齢者の応対をすることにより、サービスの質を向上する取り組みが、注目を集め、現場で求められている。

シナリオに沿ってロボットが発話する従来技術として、複数台のエージェント同士がスクリプトに沿って対話し、一部に人が陪席し対話に混ざるエージェント対話システムが例えば下記特許文献１に記載されている。

また、高齢者との雑談型対話を目的として、対話中の話題について、関連性の高い話題を選び発話するロボット制御装置が、例えば下記特許文献２に記載されている。

また、下記特許文献３には、シナリオに沿って対話するが、応答内容が必要に応じてシナリオ以外のものを生成し発話するロボット装置が開示されている。

特開２０１６−１５８６９７号公報 特開２００８−１５８６９７号公報 特開２００４−２８７０１６号公報

上記特許文献に記載の技術は、第一に、対話結果による話題選定やシナリオ記憶など、音声認識前提の対話が前提となっている。しかしながら、現在の音声認識技術は日常会話に対する認識率が低く、滑舌が悪いために人間にとってさえ音声認識が困難な場合においては、この技術の適用が困難であるという場合も少なくない。

また、上記特許文献に記載の技術は、ロボットの発話が人間に聞きとられていることが前提になっているが、聞き取りが悪い者との間にはその前提が成り立たない場合もある。

さらに、上記特許文献に記載の技術は、自然な対話を実現することを目指しているが、対話を通じて利用者の安全を確保したりする手段を提供するものではない。

加えて、上記特許文献に記載の技術は高度な分析処理を行うものであって、プログラム及び装置とした場合に、非常に高価となる場合が多い。

そこで、本発明は、上記課題に鑑み、対話対象者の滑舌が悪く音声認識が困難な場合、対話対象者の聞き取りが悪い場合であっても対話を成立させ、利用者の安全を確保しつつ、コスト上昇を抑えた対話装置及び対話プログラムを提供することを目的とする。

上記課題を解決する本発明の一観点に係る対話装置は、集音装置と、音再生装置と集音装置及び音再生装置を制御する情報処理装置と、を備えた対話装置であって、情報処理装置は、複数のシナリオデータから特定のシナリオデータを選択するステップ、対話対象者の発音状況データを取得するステップ、この発音状況データに応じて、既に選択した特定のシナリオデータを順次前記音再生装置から再生させていくステップ、を実行させるためのプログラムが格納されているものである。

また、本発明の他の一観点に係る対話プログラムは、コンピュータに、複数のシナリオデータから特定のシナリオデータを選択するステップ、対話対象者の発音状況データを取得するステップ、対話対象者の発音状況データに応じて、既に選択した特定のシナリオデータを順次音再生装置から再生させていくステップ、を実行させるためのものである。

以上、本発明によって、対話対象者の滑舌が悪く音声認識が困難な場合、対話対象者の聞き取りが悪い場合であっても対話を成立させ、利用者の安全を確保しつつ、コスト上昇を抑えた対話装置及び対話プログラムを提供することができる。

実施形態に係る対話装置の概略を示す図である。 実施形態に係る対話装置における情報処理装置が行う情報処理の流れを示す図である。 実施形態に係る対話のシナリオの一例を示す図である。 実施形態に係る対話のシナリオの一例を示す図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。ただし、本発明は多くの異なる形態による実施が可能であり、以下に示す実施形態の具体的な例示にのみ限定されるものではない。

（装置構成）
図１は、本実施形態に係る対話装置（以下「本装置」という。）１の概略を示す図である。本図で示すように、本装置１は、集音装置２と、音再生装置３と、発光装置４と、これらを制御する情報処理装置５と、を備えた対話装置である。

本装置１において、集音装置２は、本装置１周囲の音を集める（集音する）ことができるものである。集音することができる限りにおいて限定されるわけではないが、周囲の音により生ずる振動を電気的な信号に変換することのできるいわゆるマイクロフォンであることは好ましい一例である。

また、本装置１において、音再生装置３は、後に詳述する情報処理装置５内部に格納されたシナリオデータに基づき音声を発生させるためのものである。音再生装置３の具体的な構成としては、特に限定されるわけではないが、電気的な信号を音としては発生させるいわゆるスピーカーであることが好ましい。

また、本装置１において、発光装置４は、光を発することができる装置である。光を発することができる限りにおいて限定されるわけではないが、電圧や電流の入力に基づき発光するＬＥＤ等の照明装置であることが好ましい。なお、発光装置４は必要に応じて設けることが好ましい装置であり、態様によっては省略することも可能である。

また、本装置１において、情報処理装置５は、上記の通り、集音装置２、音再生装置３及び発光装置４を制御するための装置であって、より具体的には情報処理装置５は、少なくとも中央演算装置、記憶装置を備えている。

そして、情報処理装置５の記憶装置には、（１）複数のシナリオデータから特定のシナリオデータを選択するステップ、（２）対話対象者の発音状況データを取得するステップ、（３）発音状況データに応じて、既に選択した特定のシナリオデータを順次音再生装置から再生させていくステップ、を実行させるためのプログラムが格納されている。

情報処理装置５の中央演算装置とは、いわゆるＣＰＵであり、記憶装置に格納されている各種データに対し計算処理を行わせることができるものである。

また情報処理装置５の記憶装置は、各種電子的なデータを格納することができるものであり、いわゆるハードディスク、フラッシュメモリ、ＲＡＭ等を例示することができる。

また、本装置１では、必要に応じて、対話対象者を識別するための対話対象者識別装置６を備えていてもよい。対話対象者識別装置６により対話対象者を識別することで対話対象者により適切なシナリオデータを選択することが可能となる。

この場合において、対話対象者識別装置６としては、いわゆるカメラ等の画像データ取得装置であることが具体的な一例として挙げられる。ただしこの場合、画像データを記録装置に取り込み、対話対象者を特定するための画像データ処理が必要となる。このため、対話対象者識別装置６は、あらかじめ対話対象者にいわゆるＩＤカードなどの識別子を保持させておき、無線等でこの識別子を認識することで対話対象者を特定する無線装置であることも好ましい。

また、本装置１では、対話対象者識別装置として、更に人感センサーを備え、対話対象者が近づいてきていること、又は、対話対象者の姿勢が変化した場合に、当該動作を感知して対話対象者の識別処理を開始させることとしてもよい。この場合、例えば赤外線センサー等であれば人が近づいてきたことをもって対話対象者識別処理を開始してもよく、また、ベッドの下に備え付けられたマット状等の感圧センサーとすることで、ベッド等を使用する者の姿勢の変化を感じ、対話対象者識別処理を開始させることとしてもよい。

また、本装置１は、集音装置２、音再生装置３、発光装置４、情報処理装置５、対話対象者識別装置６、を格納する体７を備えていることが好ましい。そしてこの筐体７は、人型を模した形状とすることが好ましい。このようにすることで、対話対象者に対し、人と対話している感覚に近い感覚を与えることができる。そして、小型化することも好ましく、小型化することで上記ベッド等にセンサーを用いた装置と組み合わせベッドサイドに置き、使用者の身近に配置することも可能である。

（情報処理）
ここで、本装置１の情報処理の流れ、実際の動作について具体的に説明する。まず、本装置１の情報処理（以下「本処理」という。）は、具体的には上記の通り、（１）複数のシナリオデータから特定のシナリオデータを選択するステップ、（２）対話対象者の発音状況データを取得するステップ、（３）発音状況データに応じて、既に選択した特定のシナリオデータを順次音再生装置から再生させていくステップ、を行う。図２は、本装置１の情報処理の流れの概略を示す図である。

まず、本処理では、（１）複数のシナリオデータから特定のシナリオデータを選択するステップを備える。ここで「シナリオデータ」とは、対話対象者との会話のシナリオに関する情報を含むデータであり、例えば図３で示すような情報を含むデータである。また、シナリオデータは複数の音声データを含んで構成されており、この複数の音声データが順次適切なタイミングで出力されていく。音声データは、改めて後述するように、音再生装置３に出力することで対話対象者に音声として認識させることができる。

また、本処理において、いずれのシナリオデータも、対話対象者の回答内容によらず予め格納されたデータとなっていることが好ましい。このようにすることで、対話対象者の応答を予測可能な範囲におさまるよう誘導することができ、日常会話に対する認識率が低く、滑舌が悪いために人間にとってさえ音声認識が困難な場合であっても、また、聞き取りが悪い対話対象者が相手の場合であっても、自然な対話を実現することができ、更に、高度な分析処理を行う必要がないため、その分コストを抑えることができるようになる。この点については改めて詳述する。

また、シナリオデータには、付加的なデータとして、対話目安時間データが含まれていることが好ましい。この対話目安時間データは対話対象者との対話時間の目安になるデータであり、対話対象者をどの程度引き留めておく必要があるかを考慮する場合に有用である。なおこの対話目安時間データには、シナリオデータを再生するために必要な時間データ、及び、対話対象者が回答に必要と思われる想定回答時間データの少なくともいずれかを含ませておくことが好ましい。

ところで、本ステップに先立ち、上記の記載から明らかなように、本装置１では、（Ａ）対話対象者を識別するステップ、を備えていてもよい。対話対象者を識別することで、上記のように、どの程度引き留める必要があるのか、を判断要素に加えることが可能となる。

また、複数のシナリオデータから特定のシナリオデータを選択するステップにおいては、予め記憶装置に引留必要時間データを格納させておくことも好ましい。このようにすることで、引留必要時間を認識し、その対話対象者とどの程度対話を行うべきかを判断することができる。より具体的な例で説明すると、例えば施設内にいる者に対し、無断外出を防止したい場合、施設内の係員が声をかける必要がある一方、係員は施設内を巡回し、常に同じ場所にいるわけではなく、その者に接触する（その者のいる場所に行く）ための時間は可変とせざるを得ない。そこで、係員の場所のデータを取得し、このデータに基づき引留必要時間データを適宜変更、格納させておくことで、常時適切な引き留めを行うことができるようになる。

また、本処理では、特定のシナリオデータを選択した後、シナリオデータを音再生装置から再生させていくが、ここで（２）対話対象者の発音状況データを取得するステップを備えており、更に、（３）発音状況データに応じて、既に選択した特定のシナリオデータを順次音再生装置から再生させていくステップを備えている。このようにすることで、対話対象者が話している間に音声を再生させてしまうなど会話として違和感が生じないようにすることができる。

ここで「発音状況データ」は、対話対象者が発音しているか否かを判断するために用いられるデータであって、対話対象者の発言内容に関する情報まで含ませる（分析する）ものではない。すなわち、発声しているか否かだけを認識するものであってよい。このようにすることで、高度な音声分析処理を含ませるコストを削減できる。もちろん、本処理においては、シナリオデータはいずれの発言内容であっても対話が円滑に成立するとともに対象者の注意を継続的に引き付けることができる内容となっているため、不都合はない。また、返事の結果が多様で発散が予想される話題については、ロボットは応答せず、相槌のみ発話し、会話に不自然さを感じさせない仕様としてもよい。

また、このステップにより、利用者が応答可能な状態であるかを確かめる見守り機能、利用者の聞き取り能力を評価する機能、自然な対話により利用者の注意を持続する機能を発揮することができる。

すなわち、本ステップにより、対話対象者の発音状況を認識し、発音が終わったと認識した後、順次シナリオデータを再生させることで、対話対象者に自然な対話として認識させることが可能となる。

なお、本処理は、処理が開始されたときまたは対話対象者を識別したときから計時処理を行っておくことが好ましい。このようにすることで、引留必要時間データを参照し、どの程度会話を持続できているか、対話対象者を引き留めることができているかについて判断することができる。

また本処理では、上記（１）、（Ａ）又はシナリオデータの再生に先立ち、発光装置を発光させるステップを行わせてもよい。発光装置により発光させることで、対話対象者の意識を本装置に向けさせることができるとともに、本装置から音声が再生されたとしても驚かず自然に対話を開始させることができるようになる。なおこの場合において、本装置が対話対象者を識別できる状態にあるようであれば、対話対象者に関する情報を含む対話対象者識別データベースを参照し、音再生装置からその対話対象者に関する情報（例えば氏名等に関する情報）を音声として発するようにしてもよい。このようにすることで、対話対象者は自身に対して呼びかけがあったと感じることができ、より対話が自然に感じられる。

また、本処理において、上記のように、対話対象者を識別することができた場合であって、施設内の係員等に知らせる必要がある場合、本装置に通信装置を別途設け、施設内の係員等が保有する無線子機に知らせるようにしてもよい。このようにすることで、本装置は、対話対象者を所望の時間そこに引き留めることが可能となり、更に、係員等に対話が行われていることを通知することによって、対話が終了するころには係員が本装置付近に到着できるようにする。もちろんこの場合において、無線子機と本装置との通信状況に応じ、必要な引留必要時間を計算し、引留必要時間データを適宜設定する構成としておくことは好ましい一例である。

さらに本処理では、引留必要時間以上引き留めた場合、本処理を終了させる処理を行うことが好ましい。より具体的には、引留必要時間データを超過すれば係員が到達していると思われる一方、これ以上会話を行うことで係員の誘導業務に支障をきたさないようにする必要がある。

また本処理では、更に、引留必要時間以内であっても、会話を終了させる要求を受け付けることを可能としてもよい。このようにすることで、引留必要時間以内に係員が到着した場合に、会話を終了させることができる。ただし、この場合において、会話を終了させる要求は、対話対象者が気づきにくい位置に表示させる、又は、終了させるためのパスワードデータの入力を促すこととしてもよい。このようにすることで、対話対象者が自分で会話を終了させてしまうことを防止できる。

以上、本装置によって、対話対象者の滑舌が悪く音声認識が困難な場合、対話対象者の聞き取りが悪い場合であっても対話を成立させ、利用者の安全を確保しつつ、コスト上昇を抑えた対話装置及び対話プログラムを提供することができる。

具体的には、本装置は、音声認識によらない対話技術を提供することが可能である。本装置では、人間、特に高齢者と対話する装置または手法により、利用者を能動的に見守り、応答を通じて生存確認したり、聞き取り能力を評価したり、危険な状況に移行するおそれがある利用者を、支援者のそばに引き留めたり、支援者が到着するまで呼び止めたりする手段を提供することができる。

更に具体的に、本装置は、以下の効果を備える。
（ａ）音声認識結果を扱わないシステムであるため、音声認識が困難な滑舌の悪い利用者に適用可能である点で優位性がある。音声認識を使わないにもかかわらず、ストレスを感じさせず、自然であると感じるとの主観評価結果がある。
（ｂ）音声認識結果を扱わないシステムであることから、ハード・ソフトの規模を抑えコストダウンにつながる。
（ｃ）対話結果から、利用者の聞き取り能力を評価する新たな機能を提供することができる。文脈がない状態での単語の聞き取り能力、まとまった意味内容のある問いかけの聞き取り能力、複数話者の対話の聞き取り能力をスクリーニングすることが可能となる。
（ｄ）対話結果から、利用者が対話可能な状態にあるかを確かめることのできる見守りという新たな機能を提供することができる。利用者の存在を別途センサー等の装置で検出した上で、従来応答可能な能力を有するにもかかわらず応答がない場合、何らかの異常が発生していることが検出できる。
（ｅ）対話により、利用者を装置のそばに一定時間引き留めることで、危険を未然に防ぐ新たな機能を提供する。

なお、本実施形態では、一つの音声再生装置を含む装置によって実現する例を示しているが、複数の筐体を備え、この複数の筐体にそれぞれ音再生装置を備えさせ、選択した特定のシナリオデータを、複数の音再生装置に分けて再生させていくことも好ましい。この場合のシナリオの例について図４に示しておく。このようにすることで、対話対象者は、聞き手となり、複数の装置（ロボット）間で会話が行われていることが認識でき、より自然な対話を感じその対話に入りやすくなるとともに、対象者の介入は最小限となる。また１対１のインタラクションよりも話題の提供を行いやすく、特に見守りの環境下では対象者が退屈しないための手段として有効である。つまり複数台のロボット同士の対話とする場合、音声認識をしなくてもあたかも音声認識したかのように自然な対話を実現する新たな機能を提供することができる。

本発明は、対話プログラム及び対話装置として産業上の利用可能性がある。

Claims (7)

1. 集音装置と、
   音再生装置と、
   前記集音装置及び前記音再生装置を制御する情報処理装置と、を備えた対話装置であって、
   前記情報処理装置は、
   記憶装置に予め引留必要時間データを格納しておくステップ、
   前記引留必要時間データから引留必要時間を認識し、対話対象者に対しどの程度対話を行うべきかを判断し対話対象者との対話の目安となる対話目安時間データの付加されたシナリオデータの複数から特定のシナリオデータを選択するステップ、
   対話対象者の発音状況データを取得するステップ、
   前記発音状況データに応じて、既に選択した前記特定のシナリオデータを順次前記音再生装置から再生させていくステップ、を実行させるためのプログラムが格納されている、対話装置。
2. 対話対象者の姿勢を感知するセンサーを備え、対話対象者の姿勢の変化を感知するステップを有する請求項１記載の対話装置。
3. 対話対象者を識別するステップを有する請求項１記載の対話装置。
4. 前記情報処理装置に接続した通信装置を備え、前記識別ができた場合に前記通信装置から無線子機の保有者に通知を行う請求項３記載の対話装置。
5. 複数の音再生装置を備えており、
   前記特定のシナリオデータを、前記複数の音再生装置に分けて再生させていく請求項１記載の対話装置。
6. 対話対象者を識別した時から計時処理を行うものである請求項２記載の対話装置。
7. 情報処理装置に、記憶装置に予め引留必要時間データを格納しておくステップ、
   前記引留必要時間データから引留必要時間を認識し、対話対象者に対しどの程度対話を行うべきかを判断し、対話対象者との対話の目安となる対話目安時間データの付加されたシナリオデータの複数から特定のシナリオデータを選択するステップ
   対話対象者との対話の目安となる対話目安時間データが付加されたシナリオデータの複数から特定のシナリオデータを選択するステップ、
   対話対象者の発音状況データを取得するステップ、
   前記対話対象者の発音状況データに応じて、既に選択した前記特定のシナリオデータを順次前記音再生装置から再生させていくステップ、を実行させるためのプログラム。

Images