JP4505862B2 - 音声対話装置と音声対話方法及びそのプログラム - Google Patents

Description

この発明はガイダンスロボットなどの音声対話装置や音声対話方法、対話プログラムに関し、対話装置が空中に向かって話しかけるなどのことを防止し、人と自然な対話ができるようにすることにある。

特許文献１（特許３２７３６２０号公報）は、音声対話装置が人の挙動を監視し、所定時間以上対話装置の前で立ち止まった際に発話し、ユーザが立ち去ると対話を終了することを開示している。
特許３２７３６２０号公報

この発明の課題は、対話中にユーザの関心が低下すると対話を中断し、ユーザの関心が回復すると対話を再開すると共に、ユーザの関心が戻らない場合は対話を終了させることにある。
この発明での追加の課題は、対話シナリオ中の自然なポイントでユーザの対話意志を確認し、関心の無いユーザに対して対話を中断できるようにすることにある。
この発明での追加の課題は、ユーザとの対話をより自然にすることにある。
この発明での追加の課題は、音声対話装置がユーザを引き連れて案内する際に、ユーザを無視して対話装置が先に進むようなことを解消することにある。

この発明は、スピーカとマイクロホンとを備えた音声対話装置であって、
ユーザとの対話中に、ユーザまでの距離と向きとを検出することにより、ユーザの関心を確認するための確認手段と、
ユーザの関心が高ければ対話を続行し、低ければ待機するように、確認手段の確認結果に応じて音声対話装置の動作を切り替えるための手段と、
待機中にユーザに対して前記スピーカから催促の発話を行い、対話の続行意志を確認すると対話を続行し、対話の続行意志を確認できないとさらに待機するための催促手段と、
待機の度合いが所定値を越えると対話を終了させるための終了手段、とを備えたことを特徴とする。

この発明はまた、スピーカとマイクロホンとを用いる音声対話方法であって、
ユーザとの対話中に、ユーザまでの距離と向きとを検出することにより、ユーザの関心を確認し、
ユーザの関心が高ければ対話を続行し、低ければ待機するように、前記確認結果に応じて動作を切り替え、
待機中にユーザに対して前記スピーカから催促の発話を行い、対話の続行意志を確認すると対話を続行し、対話の続行意志を確認できないとさらに待機し、
待機の度合いが所定値を越えると対話を終了させることを特徴とする。

この発明は、スピーカとマイクロホンと、ユーザまでの距離と向きとを検出するセンサ、とを備えた音声対話装置のためのプログラムであって、
ユーザとの対話中に、前記センサによりユーザの関心を確認するための確認命令と、
ユーザの関心が高ければ対話を続行し、低ければ待機するように、前記確認命令での確認結果に応じて音声対話装置の動作を切り替えるための命令と、
待機中にユーザに対して前記スピーカから催促の発話を行い、対話の続行意志を確認すると対話を続行し、対話の続行意志を確認できないとさらに待機するための催促命令と、
待機の度合いが所定値を越えると対話を終了させるための終了命令、とを備えたことを特徴とする。

好ましくは、ユーザの関心の確認ポイントを記載した、ユーザとの対話のシナリオを記憶し、記憶した確認ポイントでユーザの関心が低い場合、対話を中断して待機する。
また好ましくは、前記催促手段は、ユーザとの距離が縮まった際に、催促の発話を行う。
好ましくは、ユーザを引き連れて移動できるように移動手段を設けると共に、ユーザとの距離が離れた際に、ユーザに対して前記スピーカから呼びかけ、もしくは音声対話装置がユーザの方を振り返る。

ユーザが音声対話装置との対話に関心が有るか否かは、ユーザと音声対話装置の距離やユーザが対話装置の正面に居るか、側面に居るかなどで、有る程度評価できる。そこでこの発明では、ユーザとの対話中に、ユーザが対話装置から離れる、あるいは対話装置の正面から側面へと移動するなどのことがあると、確認手段で検出して待機し、適宜のタイミングで催促の発話を行って対話の続行意志の有無を確認する。そして複数回催促の発話を行っても応答が得られない、あるいは待機時間が所定値を越えている、ユーザが対話装置から離れていった、などの場合、対話を終了させる。このため、対話中にユーザが関心を失うと対話を終了できるので、音声対話装置が空中に向かって話しかけるなどのことを防止できる。これに伴い、音声対話装置の付近に常駐する勤務者などのストレスを減少できる。また１回催促の発話をして応答が得られないような場合、直ちに対話を終了させるのではなく、複数回催促の発話をした、あるいは充分な時間、ユーザからの発話を待った、などの他の条件が成立するのを待って対話を終了する。このため唐突に対話を終了したような印象をユーザに与えない。

対話のシナリオ中に確認ポイントを記載し、確認ポイントでユーザの関心を確認すると、対話のシナリオの切れ目切れ目で、関心を確認できる。シナリオの切れ目で有れば、対話を中断しても不自然にならない。そしてユーザの関心が低いと対話を中断して、例えば所定時間待機するので、対話する意志のないユーザに対して、対話を強いるのではなく、関心が戻るまで対話を中断して待機できる。
さらにユーザとの距離が縮まった際に催促の発話を行うと、ユーザが音声対話装置に接近したので、それに応答して催促の発話を行ったという風に、自然な対話ができる。

音声対話装置がユーザを引き連れて案内するような場合、ユーザとの距離が離れるとスピーカから呼びかけ、もしくは音声対話装置がユーザ側へ振り返るようにすると、ユーザのペースに合わせながら、自然にユーザとの距離が離れることを防止できる。

実施例のガイダンスロボットのブロック図 実施例でのガイダンスとユーザの対話意志の確認アルゴリズムを示す図 図２のアルゴリズムを表現したフローチャート 実施例での関心度評価テーブルの例を示す図 実施例での待機条件評価テーブルの例を示す図 実施例でのガイダンスロボットの姿勢制御アルゴリズムを示す図 実施例での案内移動時のユーザとのコンタクト維持アルゴリズムを示すフローチャート

符号の説明

２ ガイダンスロボット ４ ユーザ ６ レーザレンジセンサ
８ ＣＣＤカメラ １０ 画像認識部 １２ ユーザ検出部
１４ マイクロホン １６，２２ アンプ １８ 音声認識部
２０ スピーカ ２４ 対話制御部 ２６ シナリオ記憶部
２８ 履歴記憶部 ３０ 行動制御部 ３２ 歩行制御部
３４ 姿勢制御部 ４１ シナリオ選択処理 ４２ ガイダンス処理
４３ 確認処理 ４４ 待機処理 ４５ 催促処理 ４６ 終了処理
５０，５２ テーブル

以下に本発明を実施するための最適実施例を示す。

図１〜図７に、ガイダンスロボット２を例に実施例とその動作を説明する。４はユーザで、ガイダンスロボット２が対話する人であり、６はレーザレンジセンサで、ユーザ４までの距離とガイダンスロボット２から見た向きを検出する。ＣＣＤカメラ８はユーザ４の顔の画像などを撮影し、画像認識部１０で顔の向きや視線の向きなどを認識して、ユーザがガイダンスロボット２側を見ているか、他の側を見ているかを認識する。ユーザ検出部１２は、センサ６及び画像認識部１０での認識結果に基づき、ガイダンスロボット２との対話に関するユーザの関心の度合いを評価する。関心の度合いは、有／無のような２段階評価から、０〜１０などの多段階の評価でもよい。さらにユーザの関心は、各時点での瞬間値のみからなるものでも、過去の関心の度合いを積算したものでも良く、過去の関心の度合いを積算すると、長時間関心を示した場合、その後徐々に関心の度合いが低下するようにできる。

１４はマイクロホン、１６はアンプで、音声認識部１８でユーザの音声を認識する。２０はスピーカで、２２はそのアンプであり、対話制御部２４は、ユーザ検出部１２からのユーザの関心の度合いと、音声認識部１８からのユーザの音声入力に応じて、シナリオの変更や対話の中断，終了などを行い、対話を制御する。２６はシナリオ記憶部で、対話のシナリオを記憶し、ユーザの関心の度合いを確認するポイントが、確認ポイントとしてシナリオ中に記載されている。履歴記憶部２８はシナリオの処理の履歴を記憶し、シナリオの同じ部分を繰り返し処理したりすることを防止する。履歴記憶部２８は、現在までの対話の履歴に応じて、シナリオ中の分岐先やジャンプ先を変更し、シナリオ中の同じアドレスを処理する場合でも表現を変え、また１回目と２回目で催促の発話の表現を変更する。例えば１回目の催促では「説明を続けて宜しいですか？」とし、２回目の催促では「お話を終わりましょうか？」などとする。３０は行動制御部で、ガイダンスロボット２を歩行制御部３２を介して足や車輪で歩行させ、姿勢制御部３４を介して、図示しない手や首などを制御する。制御部３０〜３４は設けなくてもよい。

図２に実施例での主な処理を示す。シナリオ選択処理４１は、ユーザからの音声入力や催促処理４５へのユーザの回答に応じて、シナリオの分岐を制御する。催促処理４５ではユーザからの音声入力がないこと自体が、ユーザの関心が低いままであるとの入力になる。ガイダンス処理４２はスピーカを用いてユーザにガイダンスを行い、ガイダンスに代えて他の対話を行っても良い。確認処理４３は、ユーザ検出部１２を用いてユーザの関心の度合いを確認し、確認ポイントでユーザの関心の度合いが所定値以下の場合、待機処理４４を起動して所定時間待機させる。この間にユーザの関心の度合いが増すと、催促処理４５により催促の発話を行い、対話を続行する旨の回答が得られるとガイダンスを続行し、あるいはユーザの関心があると推定されるアドレスへとシナリオ上をジャンプする。さらに対話を終了したい旨の回答が得られると、ガイダンスを終了する。また対話の続行を意味する回答が得られない場合、さらに待機し、所定回数以上催促の発話を行った、所定時間以上待機した、あるいはユーザが立ち去った場合、終了処理４６で対話を終了する。なおシナリオ選択処理４１で対話の終了が選択された場合や、ガイダンスが終了した場合も、終了処理４６で対話を終了する。なお図２の各処理は命令と解釈でき、その場合、図２は実施例の音声対話プログラムを示したものと言える。

図３に、ユーザの関心の度合いの確認アルゴリズムを示す。ここでは大学の学部案内をガイダンスしているものとし、ステップ１１でガイダンスを行う。このガイダンス中に、対話シナリオ中の確認ポイントに達すると、ユーザからガイダンスロボットまでの距離（距離が短いことが関心度大の因子）、ガイダンスロボットの正面にいるか（関心度大の因子）、斜め前面にいるか（関心度中の因子）、側面にいるか（関心度小の因子）、あるいは顔の向きや視線（ロボット側を見ていると関心度大の因子、視線が外れていると関心度小の因子）などのことから、関心の度合いを評価する（ステップ１２）。確認ポイントでのみユーザの関心を評価するのは、ガイダンス文を読み上げている途中にユーザとの距離が開いたような場合、文の途中で対話を突然終了することを避けるためである。確認ポイントをシナリオの切れ目や長い文の切れ目などに配置すると、それなりに自然な位置で対話を中断できる。ステップ１３で関心度を評価し、関心の度合いが高い場合ステップ１４でシナリオを続行し、関心の度合いが低い場合待機する（ステップ１５）。

待機中にユーザがガイダンスロボット側に接近する、あるいはユーザの顔の向きや視線がガイダンスロボット側を向いた場合、関心度が増加したと評価できる。この場合に、催促の発話を行う（ステップ１８，ステップ１９）。ユーザの関心度が増加しない場合、待機の開始から所定時間毎に催促の発話を行う（ステップ２０）。そして催促の発話に対して対話を続行したいことを意味する回答が得られると（ステップ２１）、シナリオを続行する。催促の発話は「説明を続けましょうか？」などとし、「はい」などの肯定的な回答があった場合や、ユーザの身振りなどから肯定的な回答が検出できた場合も、対話の意志があるものとする。さらに「いいえ」，「もういい」などの対話の終了を意味する回答があると、終了する（ステップ２２）。肯定的な回答も対話終了の回答も無ければステップ１５の待機に戻る。また１回目と２回目とで、催促の発話のメッセージを変更しても良い。例えばＡ学部に付いて説明している途中で中断すると、１回目の催促では「説明を続けましょうか？」とし、２回目の催促では「他の学部について説明しましょうか？」などのように、ユーザにシナリオの変更を提案しても良い。複数回催促の発話をしても対話の意志が表示されなかった場合や、待機時間が所定時間を超えた場合、あるいはユーザが立ち去った場合のようにユーザの関心が低下したことを検出した場合（ステップ１６）、ステップ１７で対話を終了させる。

図４に、ユーザの関心度を評価するためのテーブル５０を示す。例えばユーザとの距離やユーザの向きが正面か斜め前面か側面か、ユーザの動作が接近中か停止中か後退中かなどと、ユーザの顔や視線の向きを評価し、これらを総計して関心度を算出する。図４の場合、ユーザの顔の向きが斜めで、距離がやや遠いことが関心度が中の因子で、向きが正面で接近中であることが関心度大の因子である。

対話を打ち切るかどうかの判断には、図５の待機条件評価テーブル５２を用い、確認ポイントからの待機時間の合計と催促回数とを記載し、これらの値によって待機を続行するか会話を終了するかを決定する。

図６に、実施例でのガイダンスロボットの姿勢制御アルゴリズムを示す。ガイダンスロボット２には顔と頭が取り付けられており、首を中心に向きを変更して、ユーザ側を見たり振り返ったりできるものとする。１人あるいは複数の各ユーザに対して、距離や向き、ユーザの顔の向き、接近中か距離が開いて行く方に移動中かを検出する（ステップ２５）。これらから関心の度合いをユーザ毎に評価し、最も関心が高いユーザへ向けて、首を回すあるいは視線を向けて、ロボットがそのユーザを見る（ステップ２６）。ユーザが１人しかいない場合、ユーザが遠ざかって行く場合を除き、そのユーザへ視線を向ける。

図７に、ガイダンスロボットが歩行しながら、ユーザを案内する場合のアルゴリズムを示す。なお歩行中にガイダンスロボットは要所で立ち止まって、ユーザと対話しながらガイダンスを行うが、その内容は省略する。ガイダンスロボットは移動中もユーザとの距離を確認し（ステップ３１）、距離が過大な場合は停止あるいは速度を落として、ユーザが近づくのを待つ（ステップ３３）。ガイダンスロボットが停止もしくは減速して所定時間以上経過しても、なおもユーザとの距離が過大な場合（ステップ３４）、ガイダンスロボットの首を回転させて後方に向けて呼びかける、もしくは呼びかけずに単に振り返るなどにより、ユーザが近づくように促す（ステップ３５）。これらによってユーザとの距離を適正範囲に保ちながら、ユーザを引き連れてガイダンスを行い、ユーザを見失ったような場合（ステップ３６）、案内を終了する（ステップ３７）。

実施例では以下の効果が得られる。
(1) ユーザが関心を失うと対話を中断するので、空中に向かってガイダンスロボットが発話するようなことを防止でき、周囲の人のストレスを軽減できる。
(2) ユーザの対話意志の確認は、対話の開始時のみでなく対話中にも行うことができ、特にシナリオの切れ目の確認ポイントで対話意志を自然に確認できる。
(3) ユーザの対話意志が低い場合、対話を中断してユーザの対話意志が待機するので、対話を無理強いすることにならない。
(4) ユーザの対話意志の確認には、ユーザまでの距離やユーザとの向き、ユーザが接近中かどうか、ユーザの顔や視線の向きなどを加味し、自然に対話の意志を確認できる。
(5) ユーザとの距離が縮まったなどの、ユーザの関心が高まったと考えられる時点で、催促の発話を行い、人がガイダンスロボットに接近したので、ガイダンスロボット側から催促の発話をしたという風に、自然な対話ができる。
(6) ガイダンスロボットがユーザを引き連れて案内する場合でも、ユーザのペースに合わせて距離を一定範囲に保ちながら移動できる。

Claims (12)

1. スピーカとマイクロホンとユーザとの対話のシナリオとを備えた音声対話装置であって、
   前記対話のシナリオの切れ目に確認ポイントを設けて、該確認ポイントでユーザとの対話中に、ユーザまでの距離と向きとを検出することにより、ユーザの関心を確認するための確認手段と、
   ユーザの関心が高ければ対話を続行し、低ければ待機するように、確認手段の確認結果に応じて音声対話装置の動作を切り替えるための手段と、
   待機中にユーザに対して前記スピーカから催促の発話を行い、対話の続行意志を確認すると対話を続行し、対話の続行意志を確認できないとさらに待機するための催促手段と、
   待機の度合いが所定値を越えると対話を終了させるための終了手段、とを備えたことを特徴とする、音声対話装置。
2. 前記催促手段は、待機中に、１回目と２回目とで表現を変えて催促の発話をすることを特徴とする、請求項１の音声対話装置。
3. 前記催促手段は、ユーザとの距離が縮まった際に、催促の発話を行うことを特徴とする、請求項１の音声対話装置。
4. ユーザを引き連れて移動できるように移動手段を設けると共に、ユーザとの距離が離れたことを契機に、ユーザに対して前記スピーカから呼びかけ、もしくは音声対話装置がユーザの方を振り返るようにしたことを特徴とする、請求項１の音声対話装置。
5. スピーカとマイクロホンとユーザとの対話のシナリオとを用いる音声対話方法であって、
   前記対話のシナリオの切れ目に設けた確認ポイントで、ユーザとの対話中に、ユーザまでの距離と向きとを検出することにより、ユーザの関心を確認し、
   ユーザの関心が高ければ対話を続行し、低ければ待機するように、前記確認結果に応じて動作を切り替え、
   待機中にユーザに対して前記スピーカから催促の発話を行い、対話の続行意志を確認すると対話を続行し、対話の続行意志を確認できないとさらに待機し、
   待機の度合いが所定値を越えると対話を終了させることを特徴とする、音声対話方法。
6. 前記催促の発話を１回目と２回目とで表現を変えて行うことを特徴とする、請求項５の音声対話方法。
7. ユーザとの距離が縮まった際に、前記催促の発話を行うことを特徴とする、請求項５の音声対話方法。
8. 音声による対話を行うための音声対話装置に、ユーザを引き連れて移動できるように移動手段を設けると共に、ユーザとの距離が離れたことを契機に、ユーザに対して前記スピーカから呼びかけ、もしくは音声対話装置がユーザの方を振り返るようにしたことを特徴とする、請求項５の音声対話方法。
9. スピーカとマイクロホンと、ユーザまでの距離と向きとを検出するセンサ、とを備えた音声対話装置のためのプログラムであって、
   対話のシナリオの切れ目に、ユーザの関心の確認ポイントを記載した、ユーザとの対話のシナリオを記憶するための命令と、
   ユーザとの対話中に、前記確認ポイントで前記センサによりユーザの関心を確認するための確認命令と、
   ユーザの関心が高ければ対話を続行し、低ければ待機するように、前記確認命令での確認結果に応じて音声対話装置の動作を切り替えるための命令と、
   待機中にユーザに対して前記スピーカから催促の発話を行い、対話の続行意志を確認すると対話を続行し、対話の続行意志を確認できないとさらに待機するための催促命令と、
   待機の度合いが所定値を越えると対話を終了させるための終了命令、とを備えたことを特徴とする、音声対話プログラム。
10. 前記催促命令では、１回目と２回目とで表現を変えて催促の発話をするようにしたことを特徴とする、請求項９の音声対話プログラム。
11. 前記催促命令では、ユーザとの距離が縮まった際に、催促の発話を行うことを特徴とする、請求項９の音声対話プログラム。
12. 音声による対話を行うための音声対話装置に、ユーザを引き連れて移動できるように移動手段を設けると共に、
    ユーザとの距離が離れたことを契機に、ユーザに対して前記スピーカから呼びかけ、もしくは音声対話装置がユーザの方を振り返るための命令を設けたことを特徴とする、請求項９の音声対話プログラム。

Images