JP6551507B2 - ロボット制御装置、ロボット、ロボット制御方法およびプログラム - Google Patents

Description

本発明は、ロボットにおける利用者の発話聞き取りモードへの移行を制御する技術に関する。

人と対話したり、人の話を聞き取りその内容を記録または伝言したり、人の声に応じて動作したりするロボットが開発されている。

このようなロボットは、例えば、自律的に動作する自律モード、自律的な動作や人の発話の聞き取り等を行わない待機モード、人の発話を聞き取る発話聞き取りモード等、複数の動作モード間を移行しながら自然に動作するように制御されている。

このようなロボットにおいて、人が話しかけようとしているタイミングをロボットがどのように検知して、正確に人の発話を聞き取る動作モードに移行するかは、１つの課題である。

ロボットの利用者である人にとって、ロボットに対して自分が話しかけたいタイミングで自由に話しかけることができることが好ましい。これを実現する単純な方法としては、ロボットが常に利用者の発話を聞き取り続ける（常に発話聞き取りモードで動作する）方法がある。しかしながら、ロボットが常に聞き取りを続ける場合、例えば近くのテレビの音声や他の人との会話などの環境音の影響を受けて、ロボットは、利用者が意図しない音に反応して誤動作する虞がある。

このような環境音に起因する誤動作を避けるために、例えば、利用者からのボタンの押下や、一定以上の音量での発話、あるいは予め定めたキーワード（そのロボットの呼称など）の発話等を認識したことをきっかけとして、キーワード以外にも一般的な発話の聞き取りを開始するロボットが実現されている。

特許文献１は、ロボットにおける動作状態の遷移モデルを開示する。

特許文献２は、音声認識の精度を向上することにより、誤動作の発生を低下させるロボットを開示する。

特許文献３は、ロボットに注意や興味を引き付けるための呼びかけやしぐさ等により人間が感じる強制感を抑制するロボットの制御方法を開示する。
特許文献４は、周囲の環境や人物の状況、人物からの反応に応じた行動を自律的に制御することができるロボットを開示する。

特表２０１４−５０２５６６号公報 特開２００７−１５５９８５号公報 特開２０１３−０９９８００号公報 特開２００８−２５４１２２号公報

上述のように、ロボットにおいて環境音に起因する誤動作を避けるために、利用者からのボタンの押下やキーワードの発話等を認識したことをきっかけとして、一般的な発話の聞き取りを開始する機能をロボットに搭載することが考えられる。

しかしながら、このような機能は、利用者の意思を正確に捉えて発話の聞き取りを開始する（発話聞き取りモードに移行する）ことが可能である一方、利用者にとっては、発話を開始しようとするたびにボタンの押下や決められたキーワードの発話が必要となるので煩わしい。また、利用者は、押下するボタンやキーワードを覚えておく必要があるという煩わしさもある。このように、上記機能では、利用者の意思を正確に捉えて、発話聞き取りモードに移行するためには、利用者に煩雑な操作を要求することになるという課題がある。

上記特許文献１に記載のロボットは、ロボットが、ユーザ入力に基づかないタスクを実行する自分指向モード等から、ユーザと関与する関与モードへの移行の際に、利用者の行動や状態を観察・分析した結果に基づいて移行する。しかしながら、特許文献１には、利用者に煩雑な操作を要求することなく、利用者の意向を正確に捉えて、発話聞き取りモードに移行する技術については開示されていない。

また、特許文献２に記載のロボットは、カメラ、人検知センサ、音声認識部等を備え、カメラや人検知センサから得られた情報に基づいて人物がいるかを判断し、いると判断した場合に、音声認識部による音声認識の結果を有効にする。しかしながら、このようなロボットでは、利用者の話しかけたいか否かの意思に関わらず音声認識の結果を有効にするので、利用者の意思に反した動作をロボットが行う虞がある。

また、特許文献３および４には、利用者の注意や興味を引き付ける動作を行うロボットや、人物の状況に応じた行動を行うロボットは開示されるが、利用者の意向を正確に捉えて発話聞き取りを開始する技術は開示されていない。

本願発明は、上記課題を鑑みてなされたものであり、利用者に操作を要求することなく、発話聞き取りの開始の精度を向上させたロボット制御装置等を提供することを主要な目的とする。

本発明の第１のロボット制御装置は、人が検出されると、該人に対して実行するアクションを決定すると共に、前記アクションをロボットが実行するように制御するアクション実行手段と、前記アクション実行手段が決定した前記アクションに対する前記人からのリアクションが検出されると、前記リアクションに基づいて、前記人の前記ロボットに話しかける可能性を判定する判定手段と、前記判定手段による判定の結果に基づいて、前記ロボットの動作モードを制御する動作制御手段とを備える。

本発明の第１のロボット制御方法は、人が検出されると、前記人に対して実行するアクションを決定すると共に、該アクションをロボットが実行するように制御し、前記決定された前記アクションに対する前記人からのリアクションが検出されると、該リアクションに基づいて、前記人の前記ロボットに話しかける可能性を判定し、前記判定の結果に基づいて、前記ロボットの動作モードを制御する。

なお同目的は、上記の各構成を有するロボットまたはロボット制御方法を、コンピュータによって実現するコンピュータ・プログラム、およびそのコンピュータ・プログラムが格納されている、コンピュータ読み取り可能な記録媒体によっても達成される。

本願発明によれば、利用者に操作を要求することなく、ロボットの発話聞き取りの開始の精度を向上させることができるという効果が得られる。

本発明の第１の実施形態に係るロボットの外部構成例とロボットの利用者である人を示す図である。 本発明の各実施形態に係るロボットの内部ハードウェア構成を例示する図である。 本発明の第１の実施形態に係るロボットの機能を実現する機能ブロック図である。 本発明の第１の実施形態に係るロボットの動作を示すフローチャートである。 本発明の第１の実施形態に係るロボットが備える人検出パターン情報に含まれる検出パターンの例を示す図である。 本発明の第１の実施形態に係るロボットが備えるアクション情報に含まれるアクションの種類の例を示す図である。 本発明の第１の実施形態に係るロボットが備えるリアクションパターン情報に含まれるリアクションパターンの例を示す図である。 本発明の第１の実施形態に係るロボットが備える判定基準情報の例を示す図である。 本発明の第２の実施形態に係るロボットの外部構成例とロボットの利用者である人を示す図である。 本発明の第２の実施形態に係るロボットの機能を実現する機能ブロック図である。 本発明の第２の実施形態に係るロボットの動作を示すフローチャートである。 本発明の第２の実施形態に係るロボットが備えるアクション情報に含まれるアクションの種類の例を示す図である。 本発明の第２の実施形態に係るロボットが備えるリアクションパターン情報に含まれるリアクションパターンの例を示す図である。 本発明の第２の実施形態におけるロボットが備える判定基準情報の例を示す図である。 本発明の第２の実施形態におけるロボットが備える得点情報の例を示す図である。 本発明の第３の実施形態に係るロボットの機能を実現する機能ブロック図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。

第１の実施形態
図１は、本発明の第１の実施形態に係るロボット１００の外部構成例とロボットの利用者である人２０を示す図である。図１に示すように、ロボット１００は、例えば、胴体部２１０と、胴体部２１０にそれぞれ可動に連結された頭部２２０、腕部２３０および脚部２４０を含むロボット本体を備える。

頭部２２０は、マイク１４１、カメラ１４２および表情ディスプレイ１５２を備える。胴体部２１０は、スピーカ１５１、人検知センサ１４３および距離センサ１４４を備える。マイク１４１、カメラ１４２および表情ディスプレイ１５２は頭部２２０に、スピーカ１５１、人検知センサ１４３および距離センサ１４４は胴体部２１０に、それぞれ設けられることを示すが、これに限定されない。

人２０は、ロボット１００の利用者である。本実施形態では、ロボット１００の近くに利用者である人２０が一人存在することを想定している。

図２は、本実施形態１および以下の実施形態に係るロボット１００の内部ハードウェア構成を例示する図である。図２を参照すると、ロボット１００は、プロセッサ１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）デバイス１３、ストレージ１４およびリーダライタ１５を備える。各構成要素は、バス１７を介して接続され、相互にデータを送受信する。

プロセッサ１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算処理装置により実現される。

プロセッサ１０は、ＲＯＭ１２またはストレージ１４に記憶された各種コンピュータ・プログラムを、ＲＡＭ１１に読み出して実行することにより、ロボット１００の全体的な動作を司る。すなわち、本実施形態および以下に説明する実施形態において、プロセッサ１０は、ＲＯＭ１２またはストレージ１４を適宜参照しながら、ロボット１００が備える各機能（各部）を実行するコンピュータ・プログラムを実行する。

Ｉ／Ｏデバイス１３は、マイクなどの入力デバイスや、スピーカなどの出力デバイスを含む（詳細は後述する）。

ストレージ１４は、例えばハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、メモリカードなどの記憶装置により実現されてもよい。リーダライタ１５は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ＿Ｄｉｓｃ＿Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）等の記録媒体１６に格納されたデータを読み書きする機能を有する。

図３は、本第１の実施形態に係るロボット１００の機能を実現する機能ブロック図である。図３に示すように、ロボット１００は、ロボット制御装置１０１、入力デバイス１４０および出力デバイス１５０を備える。

ロボット制御装置１０１は、入力デバイス１４０から情報を受け取り、後述する処理を行って、出力デバイス１５０に指示を出すことにより、ロボット１００の動作を制御する装置である。ロボット制御装置１０１は、検出部１１０、移行判定部１２０、移行制御部１３０および記憶部１６０を備える。

検出部１１０は、人検出部１１１およびリアクション検出部１１２を備える。移行判定部１２０は、制御部１２１、アクション決定部１２２、駆動指示部１２３および推定部１２４を備える。

記憶部１６０は、人検出パターン情報１６１、リアクションパターン情報１６２、アクション情報１６３および判定基準情報１６４を備える。

入力デバイス１４０は、マイク１４１、カメラ１４２、人検知センサ１４３および距離センサ１４４を備える。

出力デバイス１５０は、スピーカ１５１、表情ディスプレイ１５２、頭部駆動回路１５３、腕部駆動回路１５４および脚部駆動回路１５５を備える。

ロボット１００は、ロボット制御装置１０１により、自律的に動作する自律モード、自律的な動作や人の発話の聞き取り等を行わない待機モード、あるいは、人の発話を聞き取る発話聞き取りモード等、複数の動作モード間を移行しながら動作するように制御される。ロボット１００は、例えば、発話聞き取りモードでは、聞き取った（取得した）音声をコマンドとして受け取り、そのコマンドに応じて動作する。以下の説明では、例として、ロボット１００を自律モードから発話聞き取りモードに移行する制御について説明する。なお、自律モードまたは待機モードを第２のモードと称し、発話聞き取りモードを第１のモードと称する場合がある。

各構成要素の概要について説明する。

入力デバイス１４０のマイク１４１は、人の声を聞き取ったり周囲の音を取り込んだりする機能を有する。カメラ１４２は、例えばロボット１００のいずれかの目に相当する位置に実装され、周囲を撮影する機能を有する。人検知センサ１４３は、人が近くにいることを検知する機能を有する。距離センサ１４４は、人または物体との距離を計測する機能を有する。周囲または近くとは、例えば、人の声やテレビなどの音声がマイク１４１により取得可能な範囲、赤外線センサや超音波センサ等によりロボット１００から人や物体が検出可能な範囲、あるいはカメラ１４２により撮影可能な範囲等である。

なお、人検知センサ１４３には、焦電型の赤外線センサや超音波センサなど複数種のセンサが利用可能である。距離センサ１４４についても、超音波を利用したセンサや赤外線を利用したセンサなど、複数種のセンサが利用可能である。人検知センサ１４３と距離センサ１４４には同一のセンサを用いてもよい。あるいは、人検知センサ１４３と距離センサ１４４を設ける代わりに、カメラ１４２で撮影した画像をソフトウェアで解析することで、同様な役割を果たすように構成してもよい。

出力デバイス１５０のスピーカ１５１は、ロボット１００から人に対し話しかけを行う際などに音声を発する機能を有する。表情ディスプレイ１５２は、例えば、ロボットの頬や口に相当する位置に実装した複数のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）を含み、そのＬＥＤの発光方法を変えることで、ロボットが微笑んだり、考え込んだりしているような表現を演出する機能を有する。

頭部駆動回路１５３、腕部駆動回路１５４および脚部駆動回路１５５は、それぞれ、頭部２２０、腕部２３０および脚部２４０を、所定の動作を行うように駆動する回路である。

検出部１１０の人検出部１１１は、入力デバイス１４０からの情報に基づいて、ロボット１００の近くに人が来たことを検出する。リアクション検出部１１２は、入力デバイス１４０からの情報に基づいて、ロボットが行ったアクションに対する人の反応（リアクション）を検出する。

移行判定部１２０は、検出部１１０による人検出またはリアクション検出の結果に基づいて、ロボット１００を発話聞き取りモードに移行するか否かを判定する。制御部１２１は、検出部１１０から取得した情報を、アクション決定部１２２または推定部１２４に通知する。

アクション決定部１２２は、ロボット１００が人に行う働きかけ（アクション）の種類を決定する。駆動指示部１２３は、アクション決定部１２２が決定したアクションを実行するように、スピーカ１５１、表情ディスプレイ１５２、頭部駆動回路１５３、腕部駆動回路１５４および脚部駆動回路１５５の少なくともいずれかに駆動指示を出す。

推定部１２４は、利用者である人２０のリアクションに基づいて、人２０のロボット１００に対して話しかける意思の有無を推定する。

移行制御部１３０は、人２０がロボット１００に対して話しかける可能性があると判定されたときに、ロボット１００を人の発話を聞き取り可能な発話聞き取りモードに移行するように、動作モードを制御する。

図４は、図３に示すロボット制御装置１０１の動作を示すフローチャートである。図３および図４を参照して、ロボット制御装置１０１の動作について説明する。ここで、ロボット制御装置１０１は、ロボット１００を自律モードで動作するよう制御していると仮定する。

検出部１１０の人検出部１１１は、入力デバイス１４０のマイク１４１、カメラ１４２、人検知センサ１４３および距離センサ１４４から情報を取得する。人検出部１１１は、取得した情報を分析した結果と、人検出パターン情報１６１とに基づいて、人２０がロボット１００に近づいたことを検出する（Ｓ２０１）。

図５は、人検出パターン情報１６１に含まれる、人検出部１１１による人２０の検出パターンの例を示す図である。図５に示すように、検出パターンの例として、例えば、「人検知センサ１４３で人らしきものを検知」、「距離センサ１４４で一定距離範囲内に動く物体を検知」、「カメラ１４２に人もしくは人の顔らしきものが写った」、「マイク１４１で人の声と推定される音を拾った」、もしくは上記複数の組合せが考えられる。人検出部１１１は、入力デバイス１４０から取得した情報を分析した結果が、少なくともこれらのいずれかと一致した場合、人が近くに来たことを検出する。

人検出部１１１は、人が近づいたことを検出するまで上記検出を続け、人を検出すると（Ｓ２０２においてＹｅｓ）、その旨を移行判定部１２０に通知する。移行判定部１２０は、上記通知を受け取ると、制御部１２１からアクション決定部１２２にアクションの種類を決定することを指示する。アクション決定部１２２は、上記指示に応じて、アクション情報１６３に基づいて、ロボット１００が利用者に働きかけるアクションの種類を決定する（Ｓ２０３）。

アクションは、利用者である人２０がロボット１００に近づいた際に、ロボット１００に対して利用者が話しかけたい意思があるか否かを、ロボット１００の動き（アクション）に対する利用者の反応から確認するためのものである。

アクション決定部１２２が決定したアクションに基づいて、駆動指示部１２３は、ロボット１００のスピーカ１５１、表情ディスプレイ１５２、頭部駆動回路１５３、腕部駆動回路１５４、脚部駆動回路１５５の少なくともいずれかに指示を出す。これにより、駆動指示部１２３は、ロボット１００を動かしたり、ロボット１００から音が出るように制御したり、ロボット１００の表情を変えるように制御したりする。このように、アクション決定部１２２と駆動指示部１２３は、利用者を刺激し利用者の反応を引き出す（誘発する）ようなアクションを、ロボット１００が実行するように制御する。

図６は、アクション情報１６３に含まれる、アクション決定部１２２が決定するアクションの種類の例を示す図である。図６に示すように、アクション決定部１２２は、例えば、「頭部２２０を動かし利用者の方を向く」、「利用者に声をかける（”何か話したいならこっちを向いて”など）」、「頭部２２０を動かしてうなずく」、「顔の表情を変える」、「腕部２３０を動かして利用者を手招きする」、「脚部２４０を動かして利用者に近づく」、もしくは上記アクションの複数の組合せを、アクションとして決定する。例えば、利用者２０がロボット１００に話しかけを行いたいのであれば、ロボット１００が利用者２０の方を向いた際の反応として、利用者２０もロボット１００の方を向く可能性が高いと想定できる。

続いて、リアクション検出部１１２は、入力デバイス１４０のマイク１４１、カメラ１４２、人検知センサ１４３および距離センサ１４４から情報を取得する。リアクション検出部１１２は、取得した情報を分析した結果と、リアクションパターン情報１６２とに基づいて、ロボット１００のアクションに対する利用者２０のリアクションの検出を実施する（Ｓ２０４）。

図７は、リアクションパターン情報１６２に含まれる、リアクション検出部１１２が検出するリアクションパターンの例を示す図である。図７に示すように、リアクションパターンには、例えば、「利用者２０がロボット１００に顔を向けた（ロボット１００の顔を見た）」、「利用者２０がロボット１００に声をかけた」、「利用者２０が口を動かした」、「利用者２０が立ち止った」、「利用者２０がさらに近づいてきた」、もしくは上記複数のリアクションの組合せがある。リアクション検出部１１２は、入力デバイス１４０から取得した情報を分析した結果が、少なくともこれらのいずれかと一致した場合、リアクションが検出されたと判断する。

リアクション検出部１１２は、上記リアクションの検出結果を、移行判定部１２０に通知する。移行判定部１２０は、制御部１２１において上記通知を受け取る。リアクションが検出された場合（Ｓ２０５においてＹｅｓ）、制御部１２１は、リアクションに基づいて利用者２０の意思の推定を行うことを推定部１２４に指示する。一方、利用者２０のリアクションを検出できなかった場合、制御部１２１は、人検出部１１１のＳ２０１に処理を戻し、人検出部１１１が再度人を検出したら、再度アクション決定部１２２に、実行するアクションの決定を指示する。これにより、アクション決定部１２２は、利用者２０からリアクションを引き出すことを試みる。

推定部１２４は、利用者２０のリアクションと、判定基準情報１６４とに基づいて、利用者２０にロボット１００に話しかける意思が有るか否かを推定する（Ｓ２０６）。

図８は、推定部１２４が利用者の意思の推定のために参照する判定基準情報１６４の例を示す図である。図８に示すように、判定基準情報１６４には、例えば「利用者２０がある一定距離以下に近づいてロボット１００の顔を見た」、「利用者２０がロボット１００の顔を見て口を動かした」、「利用者２０が立ち止って声を出した」、もしくはその他予め設定した利用者のリアクションの組合せが含まれる。

推定部１２４は、リアクション検出部１１２によって検出されたリアクションが、判定基準情報１６４に含まれる情報の少なくともいずれかと一致した場合、利用者２０にはロボット１００に話しかける意思が有ると推定できる。つまり、この場合、推定部１２４は、利用者２０は、ロボット１００に話しかける可能性が有ると判定する（Ｓ２０７においてＹｅｓ）。

推定部１２４は、利用者２０がロボット１００に話しかける可能性が有ると判定すると、利用者２０の発話の聞き取りが可能な発話聞き取りモードに移行することを、移行制御部１３０に指示する（Ｓ２０８）。移行制御部１３０は、上記指示に応じて、ロボット１００を発話聞き取りモードに移行するように制御する。

一方、推定部１２４は、利用者２０がロボット１００に話しかける可能性が無いと判定すると（Ｓ２０７においてＮｏ）、移行制御部１３０はロボット１００の動作モードを変更することなく、処理を終了する。つまり、マイク１４１が人の声と推定される音を拾った等、人が周囲にいることが検出されたとしても、推定部１２４が人のリアクションからロボット１００に話しかける可能性が無いと判定すると、移行制御部１３０はロボット１００を発話聞き取りモードに移行しない。これにより、ロボット１００が、利用者と他の人との会話に対して動作する等の誤動作を防ぐことができる。

また、推定部１２４は、利用者のリアクションが上記判定基準の一部のみを満たす場合、利用者２０に話しかける意思が有ると判定できないが、全くないとも言い切れないと判定し、処理を人検出部１１１のＳ２０１に戻す。すなわち、この場合、人検出部１１１が再度人を検出したら、アクション決定部１２２は、再度アクションを決定し、駆動指示部１２３は、決定されたアクションをロボット１００が実行するように制御する。これにより、利用者２０のさらなるリアクションを引き出し、推定の精度を高めることができる。

以上のように、本第１の実施形態によれば、人検出部１１１が人を検出すると、アクション決定部１２２は、利用者２０のリアクションを誘発するアクションを決定し、駆動指示部１２３は、決定されたアクションをロボット１００が実行するように制御する。推定部１２４は、実行されたアクションに対する人２０のリアクションを分析することによって、利用者２０がロボットに話しかけを行う意思があるか否かを推定する。その結果、利用者２０がロボットに話しかけを行う可能性があると判定された場合、移行制御部１３０は、ロボット１００が利用者２０の発話聞き取りモードに移行するように制御する。

上記構成を採用することにより、本第１の実施形態によれば、ロボット制御装置１０１は、利用者２０に煩わしい操作を要求することなく、利用者の話しかけたいタイミングでなされた発話に応じて、ロボット１００を発話聞き取りモードに移行するよう制御する。したがって、本第１の実施形態によれば、操作性よく発話聞き取りの開始の精度を向上することができるという効果が得られる。また、本第１の実施形態によれば、ロボット制御装置１０１は、利用者２０のリアクションに基づいて、利用者２０にロボットに話しかけたい意思が有ると判定したときのみロボット１００を発話聞き取りモードに移行するよう制御するので、テレビの音声や周囲の人との会話に起因する誤動作を防ぐことができるという効果が得られる。

さらに、本第１の実施形態によれば、ロボット制御装置１０１は、利用者２０が話しかけたいとの意思をもっていると判定するのに十分な利用者２０のリアクションを検出できなかった場合、再度、利用者２０にアクションを行う。これにより、利用者２０から追加のリアクションを引き出し、その結果に基づき意思の判定を行うので、モード移行の精度をより向上できるという効果が得られる。

第２の実施形態
次に、上述した第１の実施形態を基礎とする第２の実施形態について説明する。以下の説明では、第１の実施形態と同様の構成については同じ参照番号を付与することにより、重複する説明は省略する。

図９は、本発明の第２の実施形態に係るロボット３００の外部構成例とロボットの利用者である人２０−１乃至２０−ｎを示す図である。第１の実施形態にて説明したロボット１００では、頭部２２０に１台のカメラ１４２を備える構成を説明したが、本第２の実施形態におけるロボット３００は、頭部２２０にロボット３００の両目に相当する位置に２台のカメラ１４２、１４５を備える。

また、本第２の実施形態では、ロボット３００の近くに利用者である人が複数存在することを想定している。図９には、ｎ人（ｎは２以上の整数）の人２０−１乃至２０−ｎがロボット３００の近くに存在することを示す。

図１０は、本第２の実施形態に係るロボット３００の機能を実現する機能ブロック図である。図１０に示すように、ロボット３００は、図３を参照して第１の実施形態にて説明したロボット１００が備えるロボット制御装置１０１、入力デバイス１４０に代えて、それぞれロボット制御装置１０２、入力デバイス１４６を備える。ロボット制御装置１０２は、ロボット制御装置１０１に加えて、存在検出部１１３、カウント部１１４および得点情報１６５を備える。入力デバイス１４６は、入力デバイス１４０に加えて、カメラ１４５を備える。

存在検出部１１３は、人が近くにいることを検出する機能を有し、第１の実施形態にて説明した人検出部１１１に相当する。カウント部１１４は、近くにいる人の数をカウントする機能を有する。カウント部１１４は、また、カメラ１４２、１４５からの情報に基づいて、それぞれの人がどのあたりにいるかを検出する機能を有する。得点情報１６５は、利用者のリアクションに応じた配点に基づく利用者毎の得点を保持する（詳細は後述する）。図１０に示すその他の構成要素は、第１の実施形態にて説明した機能と同様の機能を有する。

本実施形態では、ロボット３００の近くに存在する複数の人のうちいずれの人の発話を聞き取るかを決定すると共に、決定した人の発話を聞き取るように制御する動作について説明する。

図１１は、図１０に示すロボット制御装置１０２の動作を示すフローチャートである。図１０および図１１を参照して、ロボット制御装置１０２の動作について説明する。

検出部１１０の存在検出部１１３は、入力デバイス１４６のマイク１４１、カメラ１４２、１４５、人検知センサ１４３および距離センサ１４４から情報を取得する。存在検出部１１３は、取得した情報を分析した結果と、人検出パターン情報１６１とに基づいて、人２０−１乃至２０−ｎの何れか１人もしくは複数人が近くにいるかどうかの検出を行う（Ｓ４０１）。存在検出部１１３は、第１の実施形態における図５に示した人検出パターン情報１６１に基づいて、人が近くにいるかどうかを判定してもよい。

存在検出部１１３は、何れかの人が近くにいることを検出するまで上記検出を続け、人を検出すると（Ｓ４０２においてＹｅｓ）、その旨をカウント部１１４に通知する。カウント部１１４は、カメラ１４２、１４５から取得した画像を分析することで、近くにいる人の数と場所を検出する（Ｓ４０３）。カウント部１１４は、例えば、カメラ１４２、１４５から取得した画像から人の顔を抽出し、その数を数えることで人数をカウントできる。なお、存在検出部１１３が、人が近くにいることを検出したにもかかわらず、カウント部１１４が、カメラ１４２、１４５により取得された画像から人の顔を抽出できない場合は、例えば、ロボット３００の後方等にいる人の声と推定される音をマイクで拾った等が考えられる。この場合、カウント部１１４は、移行判定部１２０の駆動指示部１２３に対して、頭部駆動回路１５３を駆動してカメラ１４２、１４５により人の画像を取得することができる位置に頭部を移動するよう指示してもよい。その後、カメラ１４２、１４５は、画像を取得してもよい。本実施形態では、ｎ人が検出されたと想定する。

人検出部１１１は、検出された人数と場所を、移行判定部１２０に通知する。移行判定部１２０は、上記通知を受け取ると、制御部１２１からアクション決定部１２２にアクションを決定することを指示する。アクション決定部１２２は、上記指示に応じて、近くにいる利用者の何れかに話しかけたい意思があるか否かを利用者のリアクションから判定するために、アクション情報１６３に基づいて、ロボット３００が利用者に働きかけるアクションの種類を決定する（Ｓ４０４）。

図１２は、本第２の実施形態におけるアクション情報１６３に含まれる、アクション決定部１２２が決定するアクションの種類の例を示す図である。図１２に示すように、アクション決定部１２２は、例えば、「頭部２２０を動かし利用者を見回す」、「利用者に声をかける（何か話したいならこっちを向いてなど）」、「頭部２２０を動かしてうなずく」、「顔の表情を変える」、「腕部２３０を動かして各利用者を手招きする」、「脚部２４０を動かして順番に各利用者に近づく」、もしくは上記アクションの複数の組合せを、実行するアクションとして決定する。図１２に示すアクション情報１６３は、図６に示すアクション情報１６３と、複数の利用者が想定されている点で異なる。

リアクション検出部１１２は、入力デバイス１４６のマイク１４１、カメラ１４２、１４５、人検知センサ１４３および距離センサ１４４から情報を取得する。リアクション検出部１１２は、取得した情報を分析した結果と、リアクションパターン情報１６２とに基づいて、ロボット３００のアクションに対する利用者２０−１乃至２０−ｎのリアクションの検出を実施する（Ｓ４０５）。

図１３は、ロボット３００が備えるリアクションパターン情報１６２に含まれる、リアクション検出部１１２が検出するリアクションパターンの例を示す図である。図１３に示すように、リアクションパターンには、例えば、「何れかの利用者がロボットに顔を向けた（ロボットの顔を見た）」、「何れかの利用者が口を動かした」、「何れかの利用者が立ち止った」、「何れかの利用者がさらに近づいてきた」、もしくは上記複数のリアクションの組合せがある。

リアクション検出部１１２は、近くにいる複数人のそれぞれのリアクションを、カメラ画像を分析することで検出する。また、リアクション検出部１１２は、２台のカメラ１４２、１４５から取得した画像を分析することで、ロボット３００と、複数の利用者それぞれとの、おおよその距離も判定できる。

リアクション検出部１１２は、上記リアクションの検出結果を、移行判定部１２０に通知する。移行判定部１２０は、制御部１２１において上記通知を受け取る。何れかの人のリアクションが検出された場合（Ｓ４０６においてＹｅｓ）、制御部１２１は、リアクションが検出された利用者の意思の推定を行うことを推定部１２４に指示する。一方、何れの人のリアクションも検出しない場合（Ｓ４０６においてＮｏ）、制御部１２１は、人検出部１１１のＳ４０１に処理を戻し、人検出部１１１が再度人を検出したら、再度アクション決定部１２２にアクションの決定を指示する。これにより、アクション決定部１２２は、利用者からリアクションを引き出すことを試みる。

推定部１２４は、検出した各利用者のリアクションと、判定基準情報１６４とに基づいて、ロボット３００に対して話しかけたい意思がある利用者がいるか否か、また、複数の利用者に上記意思が有る場合は、その中で誰が最も話しかける可能性が高いかを判定する（Ｓ４０７）。本第２の実施形態における推定部１２４は、どの利用者がロボット３００に話しかける可能性が高いかを判定するため、各利用者が行った１または複数のリアクションを得点化する。

図１４は、第２の実施形態における推定部１２４が利用者の意思の推定のために参照する判定基準情報１６４の例を示す図である。図１４に示すように、第２の実施形態における判定基準情報１６４は、判定基準となるリアクションパターンと、各リアクションパターンに割り当てられた配点（ポイント）を含む。第２の実施形態では、利用者として複数の人が存在することを想定しているので、各利用者のリアクションに重み付けを行って得点化することで、何れの利用者がロボットに話しかける可能性が高いかを判定する。

図１４の例では、「利用者がロボットに顔を向けた（ロボットの顔を見た）」場合は５点、「利用者が口を動かした」場合は８点、「利用者が立ち止った」場合は３点、「利用者が２ｍ以内に近づいてきた」場合は３点、「利用者が１．５ｍ以内に近づいてきた」場合は５点、「利用者が１ｍ以内に近づいてきた」場合は７点が、それぞれ割り当てられている。

図１５は、第２の実施形態における得点情報１６５の例を示す図である。図１５に示すように、例えば、利用者２０−１のリアクションが「１ｍ以内に近づきロボット３００に顔を向けた」である場合、その得点は、「１ｍ以内に近づいてきた」ことによる得点７点と、「ロボットの顔を見た」ことによる得点５点との合計１２点と計算される。

利用者２０−２のリアクションが「１．５ｍ以内に近づき口を動かした」である場合、その得点は、「１．５ｍ以内に近づいてきた」ことによる得点５点と、「口を動かした」ことによる得点８点との合計１３点と計算される。

利用者２０−ｎのリアクションが「２ｍ以内に近づき立ち止った」である場合、その得点は、「２ｍ以内に近づいてきた」ことによる得点３点と、「立ち止った」ことによる得点３点との合計６点と計算される。また、リアクションが検出されなかった利用者については、得点を０点としてもよい。

推定部１２４は、例えば、得点が１０点以上である利用者はロボット３００に対して話しかける意思があり、得点が３点未満の利用者はロボット３００に対して話しかける意思が全くないと判定してもよい。この場合、推定部１２４は、例えば図１５に示す例では、利用者２０−１、２０−２はロボット３００に対して話しかける意思があり、さらに利用者２０−２はロボット３００に対して話しかける意思が最も高いと判定してもよい。また、推定部１２４は、利用者２０−ｎは、話しかける意思があるとも、ないとも、どちらともいえないと判定し、その他の利用者は話しかける意思がないと判定してもよい。

推定部１２４は、一人でもロボット３００に話しかける可能性があると判定すると（Ｓ４０８においてＹｅｓ）、利用者２０の発話の聞き取りが可能な聞き取りモードに移行することを、移行制御部１３０に指示する。移行制御部１３０は、上記指示に応じて、ロボット３００を聞き取りモードに移行するように制御する。移行制御部１３０は、推定部１２４が複数の利用者に話しかける意思があると判定した場合、上記得点が最も高い人の話しかけを聞き取るように、ロボット３００を制御してもよい（Ｓ４０９）。

図１５の例では、利用者２０−１、２０−２がロボット３００に対して話しかける意思を有し、さらに利用者２０−２が話しかける意思が最も高いと判定できる。よって、移行制御部１３０は、ロボット３００を、利用者２０−２の話しかけを聞き取るように制御する。

移行制御部１３０は、駆動指示部１２３に対して頭部駆動回路１５３や脚部駆動回路１５５を駆動するように指示することにより、例えば、聞き取りを行う際に最も得点の高い人の方を向く、最も得点の高い人の方に近づくなどの制御を行ってもよい。

一方、推定部１２４は、全ての利用者はロボット３００に話しかける可能性が無いと判定した場合（Ｓ４０８においてＮｏ）、移行制御部１３０に聞き取りモードに移行する指示を行うことなく処理を終了する。また、推定部１２４は、ｎ人の利用者に対する上記推定の結果、話しかけを行う可能性があると判定された利用者はいないが、全ての利用者が話しかけを行う可能性が無いと言い切れない、すなわち、どちらともいえないと判定された場合、処理を人検出部１１１のＳ４０１に戻す。この場合、人検出部１１１が再度人を検出したら、アクション決定部１２２は、再度、利用者に対して実行するアクションを決定し、駆動指示部１２３は、決定したアクションをロボット３００が実行するように制御する。これにより、利用者のさらなるリアクションを引き出し、推定の精度を高めることができる。

以上のように、本第２の実施形態によれば、ロボット３００は、１または複数の人を検出し、上記第１の実施形態と同様に、人のリアクションを誘発するアクションを決定し、そのアクションに対するリアクションを分析することによって、利用者がロボットに話しかけを行う可能性があるか否かを判定する。そして、１または複数の利用者がロボットに話しかけを行う可能性があると判定された場合、ロボット３００は、利用者の発話聞き取りモードに移行する。

上記構成を採用することにより、本第２の実施形態によれば、複数の利用者がロボット３００の周りにいる場合でも、ロボット制御装置１０２は、利用者に煩わしい操作を要求することなく、利用者の話しかけたいタイミングでなされた発話に応じて、ロボット３００を聞き取りモードに移行するよう制御する。したがって、本第２の実施形態によれば、第１の実施形態による効果に加えて、複数の利用者がロボット３００の周りにいる場合でも、操作性よく発話聞き取りの開始の精度を向上することができるという効果が得られる。

また、本第２の実施形態によれば、ロボット３００のアクションに対する各利用者のリアクションを得点化することで、複数の利用者がロボット３００に話しかける可能性がある場合に、最も話しかける可能性が高い利用者を選択する。これにより、複数の利用者が同時に話しかけを行う可能性が有る場合に、適切な利用者を選択し、その利用者の発話を聞き取るモードに移行することができるという効果が得られる。

なお、本第２の実施形態では、ロボット３００が２台のカメラ１４２、１４５を備え、カメラ１４２、１４５により取得された画像を解析することで、複数のそれぞれの人との距離を検出することを説明したが、これに限定されない。すなわち、ロボット３００は、距離センサ１４４のみ、あるいはその他の手段で、複数のそれぞれの人との距離を検出してもよい。この場合、ロボット３００はカメラを２台搭載していなくてもよい。

第３の実施形態
図１６は、本発明の第３の実施形態に係るロボット制御装置４００の機能を実現する機能ブロック図である。図１６に示すように、ロボット制御装置４００は、アクション実行部４１０、判定部４２０および動作制御部４３０を備える。

アクション実行部４１０は、人が検出されると、該人に対して実行するアクションを決定すると共に、アクションをロボットが実行するように制御する。

判定部４２０は、アクション実行部４１０が決定したアクションに対する人からのリアクションが検出されると、リアクションに基づいて、人の前記ロボットに話しかける可能性を判定する。

動作制御部４３０は、判定部４２０による判定の結果に基づいて、ロボットの動作モードを制御する。

なお、アクション実行部４１０は、上記第１の実施形態のアクション決定部１２２および駆動指示部１２３を含む。判定部４２０は、同じく推定部１２４を含む。動作制御部４３０は、同じく移行制御部１３０を含む。

上記構成を採用することにより、本第３の実施形態によれば、人がロボットに話しかける可能性があると判定した場合のみロボットを聞き取りモードに移行するので、利用者に操作を要求することなく、発話聞き取りの開始の精度を向上させることができるという効果が得られる。

なお、上記各実施形態では、胴体部２１０と、胴体部２１０にそれぞれ可動に連結された頭部２２０、腕部２３０および脚部２４０を備えたロボットについて説明したが、それに限定されない。例えば、胴体部２１０と頭部２２０が一体となったロボットでも、頭部２２０、腕部２３０および脚部２４０の少なくともいずれかを備えていないロボットでもよい。また、ロボットは、上述のように胴体部、頭部、腕部および脚部等を備える装置に限定されず、いわゆる掃除用ロボットのような一体型の装置でもよいし、ユーザへ出力を行うコンピュータや、ゲーム機、あるいは携帯端末やスマートフォン等が含まれてもよい。

また、上述した各実施形態では、図３、図１０等に示したロボット制御装置において、図４、図１１に示すフローチャートを参照して説明したブロックの機能を、図２に示すプロセッサ１０が実行する一例として、コンピュータ・プログラムによって実現する場合について説明した。しかしながら、図３、図１０等に示したブロックに示す機能は、一部または全部を、ハードウェアとして実現してもよい。

ロボット制御装置１０１、１０２に対して供給される、上記説明した機能を実現可能なコンピュータ・プログラムは、読み書き可能なメモリ（一時記録媒体）またはハードディスク装置等のコンピュータ読み取り可能な記憶デバイスに格納すればよい。この場合において、ハードウェア内へのコンピュータプログラムの供給方法は、現在では一般的な手順を採用することができる。その手順としては、例えば、ＣＤ−ＲＯＭ等の各種記録媒体を介してロボットにインストールする方法や、インターネット等の通信回線を介して外部よりダウンロードする方法等がある。そして、このような場合において、本発明は、係るコンピュータ・プログラムを表すコード或いは係るコンピュータ・プログラムを格納した記憶媒体によって構成されると捉えることができる。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１５年２月１７日に出願された日本出願特願２０１５−０２８７４２を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、例えば、人との対話を行うロボット、人の話しかけを聞き取るロボット、音声による動作指示を受け取るロボット等に適用できる。

１０ プロセッサ
１１ ＲＡＭ
１２ ＲＯＭ
１３ Ｉ／Ｏデバイス
１４ ストレージ
１５ リーダライタ
１６ 記録媒体
１７ バス
２０ 人（利用者）
２０−１乃至２０−ｎ 人（利用者）
１００ ロボット
１１０ 検出部
１１１ 人検出部
１１２ リアクション検出部
１１３ 存在検出部
１１４ カウント部
１２０ 移行判定部
１２１ 制御部
１２２ アクション決定部
１２３ 駆動指示部
１２４ 推定部
１３０ 移行制御部
１４０ 入力デバイス
１４１ マイク
１４２ カメラ
１４３ 人検知センサ
１４４ 距離センサ
１４５ カメラ
１５０ 出力デバイス
１５１ スピーカ
１５２ 表情ディスプレイ
１５３ 頭部駆動回路
１５４ 腕部駆動回路
１５５ 脚部駆動回路
１６０ 記憶部
１６１ 人検出パターン情報
１６２ リアクションパターン情報
１６３ アクション情報
１６４ 判定基準情報
１６５ 得点情報
２１０ 胴体部
２２０ 頭部
２３０ 腕部
２４０ 脚部
３００ ロボット

Claims (10)

1. 人が検出されると、該人に対して実行するアクションを決定すると共に、前記アクションをロボットが実行するように制御するアクション実行手段と、
   前記アクション実行手段が決定した前記アクションに対する前記人からのリアクションが検出されると、前記リアクションに基づいて、前記人の前記ロボットに話しかける可能性を判定する判定手段と、
   前記判定手段による判定の結果に基づいて、前記ロボットの動作モードを制御する動作制御手段と
   を備えたロボット制御装置。
2. 人が検出されると、該人に対して実行する該人のリアクションを誘発するアクションを決定すると共に、前記アクションをロボットが実行するように制御するアクション実行手段と、
   前記アクション実行手段が決定した前記アクションに対する前記人からのリアクションが検出されると、前記リアクションに基づいて、前記人の前記ロボットに話しかける可能性を判定する判定手段と、
   前記判定手段による判定の結果に基づいて、前記ロボットの動作モードを制御する動作制御手段と
   を備えたロボット制御装置。
3. 前記動作制御手段は、少なくとも、取得した音声に応じて動作する第１のモードと、取得した音声に応じて動作しない第２のモードのいずれかの前記動作モードで前記ロボットが動作するように制御し、
   前記ロボットが前記第２のモードで動作するように制御している際に、前記判定手段により前記人が前記ロボットに話しかける可能性があると判定されると、前記動作モードを前記第１のモードに移行するように制御する
   請求項１または請求項２記載のロボット制御装置。
4. 前記判定手段は、前記検出された前記リアクションが、前記人の前記ロボットに話しかける意思の有無を判定する１または複数の判定基準情報の少なくともいずれかと一致する場合、前記人が前記ロボットに話しかける可能性があると判定する
   請求項１乃至請求項３のいずれか１項記載のロボット制御装置。
5. 複数の前記人を検出すると共に、該各人のリアクションを検出する検出手段をさらに備え、
   前記判定手段は、前記検出されたリアクションが前記判定基準情報の少なくともいずれかと一致する場合、該一致する前記判定基準情報に割り当てられたポイントの合計に基づいて、前記話しかける可能性が最も高い人を判定する
   請求項４記載のロボット制御装置。
6. 前記動作制御手段は、前記判定手段により前記話しかける可能性が最も高いと判定された人の発話を聞き取るように、前記ロボットの前記動作モードを制御する
   請求項５記載のロボット制御装置。
7. 前記判定手段は、前記検出されたリアクションが前記判定基準情報の少なくともいずれかと一致すると判定できない場合、前記アクション実行手段に、前記人に対して実行するアクションを決定すると共に該アクションを前記ロボットが実行するように制御することを指示する
   請求項４または請求項５記載のロボット制御装置。
8. 自ロボットが所定の動作を行うように駆動する駆動回路と、
   前記駆動回路を制御する、請求項１乃至請求項７のいずれか１項記載のロボット制御装置と
   を備えたロボット。
9. 人が検出されると、前記人に対して実行するアクションを決定すると共に、該アクションをロボットが実行するように制御し、
   前記決定された前記アクションに対する前記人からのリアクションが検出されると、該リアクションに基づいて、前記人の前記ロボットに話しかける可能性を判定し、
   前記判定の結果に基づいて、前記ロボットの動作モードを制御する
   ロボット制御方法。
10. 人が検出されると、前記人に対して実行するアクションを決定すると共に、該アクションをロボットが実行するように制御する処理と、
    前記決定された前記アクションに対する前記人からのリアクションが検出されると、該リアクションに基づいて、前記人の前記ロボットに話しかける可能性を判定し、
    前記判定の結果に基づいて、前記ロボットの動作モードを制御する処理とを
    ロボットに実行させるロボット制御プログラムを記録するプログラム記録媒体。

Images