JP7075168B2 - 装置、方法、プログラム、及びロボット - Google Patents

Description

本開示は、人物とのコミュニケーションを図るロボット等に関するものである。

従来より、人物とのコミュニケーションを通じて人物との関与を図ることを主眼とするロボットが知られている。このようなロボットでは、可能な限りユーザがロボットと関与している状態を継続させることが重要である。

特許文献１には、ロボットがユーザ入力から独立したタスクを実行する自律タスク状態と、ロボットがユーザと相互作用する関与状態とを含み、現在の状況に基づいて、自律タスク状態から関与状態への移行タイミングと、関与状態から自律タスク状態への移行タイミングとを判断する技術が開示されている。

特表２０１４－５０２５６６号公報

しかし、上記の従来技術では、集中しているとまわりが見えなくなり、かつ飽きが生じやすいという幼児の特性が全く考慮されていないので、関与状態を継続できないという課題があり、更なる改善の必要がある。

本開示の一態様に係る装置は、所定の行動を実行することによって対象人物とコミュニケーションする装置であって、
前記装置周辺の映像を取得するカメラと、
前記装置周辺の音を取得するマイクと、
処理部と、
スピーカと、
前記装置を動かす駆動部と、を備え、
前記処理部は、
前記取得された映像および前記取得された音に従って、前記装置に対して、前記対象人物とコミュニケーションするための、第１行動、第２行動、及び第３行動、のいずれかを初期行動として実行させ、前記第２行動は、前記第３行動の一つ上位の行動であり、前記第１行動は、前記第２行動の一つ上位の行動であり、
前記初期行動を含む現在の行動が実行されてから、前記マイクによって取得された音がある場合は、前記現在の行動の一つ上位の行動を前記装置に実行させ、
前記現在の行動が実行されてから、前記マイクによって取得された音が無い場合は、前記現在の行動が実行されてからの経過時間が閾値未満であるか判断し、
前記経過時間が前記閾値未満であると判断された場合は、前記現在の行動を前記装置に継続させ、
前記経過時間が前記閾値以上であると判断された場合は、前記現在の行動の一つ下位の行動を前記装置に実行させ、
前記装置に、前記第１行動として、所定のタスクを実行させ、
前記スピーカに、前記第２行動として、前記対象人物に話しかける音声を出力させ、前記駆動部を制御して、前記装置に前記第３行動として、前記対象人物の動きと同調した動きをさせる。

上記態様により、更なる改善を実現できた。

本開示の実施の形態におけるロボットの全体構成の一例を示すブロック図である。 初期関与ステージテーブルの一例を示す図である。 移行テーブルの一例を示す図である。 関与ステージの決定処理の一例を示すフローチャートである。 図４の続きのフローチャートである。 図５のＳ２０５の詳細な処理の一例を示すフローチャートである。 割り込み禁止条件テーブルの一例を示す図である。 辞書テーブルの一例を示す図である。 ロボットの外観の一例を示す図である。

（本開示に係る一態様を発明するに至った経緯）
上述のように特許文献１では、関与状態と、関与状態以外の非関与状態（自律タスク状態及び休憩状態など）との間の移行タイミングを決定する方法が開示されてる。具体的には、特許文献１では、ユーザがロボットを注視し、且つ、ユーザがロボットからの関与オファー（例えば、問いかけ）に応じた場合、非関与状態から関与状態に移行することが開示されている。また、特許文献１では、関与状態において、会話が不成立となった後に複数回の問いかけに対してユーザからの応答がなく、一定時間、待機状態が継続した場合に非関与状態に移行することが開示されている。

ところで、本発明者は、幼児とクイズをしたり、幼児に片づけを促したり、幼児に学習を促したりというような、幼児に対して何らかの仕事（タスク）を通じて幼児を教育及びしつけして、幼児の能力を向上させるロボットの研究を行っている。ここで、幼児は、自己中心性が強いという心理特性を有しており、好奇心が旺盛である反面、飽きやすく、集中力を持続させることが困難という傾向がある。

したがって、特許文献１において幼児を対象とした場合、ロボットを注視したり、ロボットの問いかけ対して確実に応答したりすることが期待できず、非関与状態から関与状態への移行の契機が少ないという課題が発生する。また、たとえ関与状態に移行できたとしても、幼児は、すぐに、ロボットからの問いかけに対して無反応になったり、ロボットから遠くに離れたりするといった行動をとる傾向が高いので、すぐに非関与状態に戻ってしまうという課題が発生する。このように、特許文献１は、関与状態を長時間持続することができないという課題がある。

かかる課題は、上記特許文献１にも言及がなく、従来には存在しなかったと認識している。

そこで、本発明者は、幼児に対してあるタスクを実行させる場合、幼児の意識が低い状態でいきなりタスクを課すのは却って逆効果であり、幼児の意識を十分に高めてからタスクを実行させることが有効であるとの知見を得た。そのためには、幼児への関与の度合いを増減させながら幼児のロボットへの関心を徐々に高めていくことが有効であるとの知見を得た。

本発明者は、上記の課題を解決するために、上記の知見の下、以下の改善策を検討した。

本開示の一態様に係る装置は、所定の行動を実行することによって対象人物とコミュニケーションする装置であって、
前記装置周辺の映像を取得するカメラと、
前記装置周辺の音を取得するマイクと、
処理部と、
スピーカと、
前記装置を動かす駆動部と、を備え、
前記処理部は、
前記取得された映像および前記取得された音に従って、前記装置に対して、前記対象人物とコミュニケーションするための、第１行動、第２行動、及び第３行動、のいずれかを初期行動として実行させ、前記第２行動は、前記第３行動の一つ上位の行動であり、前記第１行動は、前記第２行動の一つ上位の行動であり、
前記初期行動を含む現在の行動が実行されてから、前記マイクによって取得された音がある場合は、前記現在の行動の一つ上位の行動を前記装置に実行させ、
前記現在の行動が実行されてから、前記マイクによって取得された音が無い場合は、前記現在の行動が実行されてからの経過時間が閾値未満であるか判断し、
前記経過時間が前記閾値未満であると判断された場合は、前記現在の行動を前記装置に継続させ、
前記経過時間が前記閾値以上であると判断された場合は、前記現在の行動の一つ下位の行動を前記装置に実行させ、
前記装置に、前記第１行動として、所定のタスクを実行させ、
前記スピーカに、前記第２行動として、前記対象人物に話しかける音声を出力させ、前記駆動部を制御して、前記装置に前記第３行動として、前記対象人物の動きと同調した動きをさせる。

本態様では、関与の度合いが高い順に第１、第２、及び第３行動が用意されており、まず、ロボットの周囲の映像及び音の状況から第１～第３行動のうちのいずれかの行動が初期行動として決定される。ここで、第１行動は対象人物にタスクを実行させるための行動であり、第２行動は対象人物へ話しかける行動であり、第３行動は対象人物の動きに同調する行動であり、第１～第３行動の順に対象人物への関与が高いと言える。

そして、マイクが周囲の音を検知した場合は、初期行動が対象人物にとって相応しく、対象人物の装置への関心が高いとして初期行動が一つ上位の行動に移行される。一方、初期行動を実行してからの経過時間が閾値に到達するまでマイクにより音が検知されなかった場合は、初期行動が対象人物の意識に対して相応しくなく、対象人物の関心を高めることができなかったと判定され、初期行動が一つ下位の行動に移行される。以後、このようにして、現在の行動が段階的に移行されながら対象人物の関心が高められていき、対象人物の関心が十分に高まった状態で、対象人物にタスクが課される。

このように、本態様は対象人物の装置への関心を十分に高めてから対象人物にタスクを課すことができので、対象人物が例えば、幼児のような心理的特性を持つ人物であっても、装置の対象人物への関与状態を長時間継続させることができる。その結果、対象人物にタスクを長時間取り組ませることができ、対象人物の能力を効果的に高めることができる。

上記態様において、前記第３行動の一つ下位の行動は第４行動であり、
前記第４行動の一つ下位の行動は第５行動であり、
前記処理部は、
前記現在の行動が実行されてから、前記マイクによって取得された音がある場合、且つ、前記取得された音に含まれた前記対象人物の音声に、前記装置に備えられた辞書に含まれた語句が含まれる場合は、前記第５行動を前記装置に実行させ、
前記駆動部を制御して、前記装置に前記第４行動として、前記装置の現在位置で所定の動きをさせ、
前記装置に、前記第５行動として、前記対象人物とのコミュニケーションを停止させてもよい。

本態様では、更に、現在位置で装置に所定の動きをさせる第４行動と、第４行動よりも関与の度合いが下位にあり、対象人物とのコミュニケーションを停止させる第５行動とが用意されている。そして、対象人物が辞書に含まれた語句（例えば、あっちへ行って）を発話した場合、第５行動が実行されるので、対象人物が装置とのコミュニケーションを積極的に拒んでおり、装置への関心の向上が見込まれない状況において、装置が対象人物を不必要に刺激することが防止され、装置が対象人物にとって煩わしい存在となることを防止できる。

上記態様において、前記処理部は、前記取得された映像から前記対象人物を認識し、且つ、前記取得された音から前記対象人物の音声を認識した場合は、前記装置に対して前記初期行動として前記第１行動を実行させてもよい。

本態様では、対象人物が例えば装置の方を向いて発話しているような場合、対象人物の関心は十分に高いとして、第１行動が実行されるので、対象人物に対して速やかにタスクを課すことができる。

上記態様において、前記処理部は、前記取得された映像から前記対象人物を認識せず、且つ、前記取得された音から前記対象人物の音声を認識した場合は、前記装置に対して前記初期行動として前記第２行動を実行させてもよい。

本態様では、対象人物が例えば、装置に向かわずに何かしらの発話をしているような場合、対象人物に対して装置が話しかける第２行動が実行されるので、対象人物を適切に刺激して、対象人物の関心を高めることができる。

上記態様において、前記処理部は、前記取得された映像から前記対象人物を認識し、且つ、前記取得された音から前記対象人物の音声を認識しない場合は、前記装置に対して前記初期行動として前記第３行動を実行させてもよい。

本態様では、対象人物が例えば、装置に向かわず発話もしていないような場合、対象人物の動きに同調する第３行動が実行されるので、対象人物を適切に刺激して、対象人物の関心を高めることができる。

上記態様において、前記処理部は、前記第１行動として、前記スピーカに対して前記対象人物とのコミュニケーションを開始することを提案する音声を出力させてもよい。

本態様では、第１行動を行う際、対象人物とのコミュニケーションを通じてタスクを要求することができ、対象人物に対して違和感なくタスクを要求することができる。

上記態様において、前記処理部は、
前記取得された映像から前記対象人物の頭部の傾きを認識した場合は、
前記駆動部を制御して、前記第３行動として、前記装置の上部を、前記頭部の傾きと同じ方向と角度とで、傾けさせてもよい。

本態様では、第３行動を行う際、対象人物の頭部の姿勢の変化に連動して装置の姿勢が変化されるので、対象人物の動きに同調して装置が動作していることを対象人物に容易に分からせることができ、対象人物の装置への関心を高めることができる。

上記態様において、前記処理部は、
前記取得された映像から前記対象人物の所定のリズムに合わせた動作を認識した場合は、
前記駆動部を制御して、前記第３行動として、前記装置を前記リズムに合わせて動かせてもよい。

本態様では、第３行動を行う際、対象人物の動きのリズムに合わせて装置が動くため、対象人物の動きに同調して装置が動作していることを対象人物に容易に分からせることができ、対象人物の装置への関心を高めることができる。

上記態様において、前記処理部は、
前記第２行動として、前記対象人物に対応する名前を含んだ音声を、前記スピーカに出力させてもよい。

本態様では、第２行動を行う際、対象人物の名前を用いて装置が対象人物に話しかけるので、装置に対する対象人物の関心を高めることができる。

上記態様において、前記処理部は、
前記第４行動として、前記装置を左右に揺らせてもよい。

本態様では、第４行動を行う際、装置が左右に揺らされるので、対象人物の関心がさほど高くない状況下において、比較的少ない刺激で対象人物の装置への関心を引き出すことができる。

上記態様において、前記処理部は、
前記第４行動として、重力方向を軸として前記装置を旋回させてもよい。

本態様では、第４行動を行う際、装置がその場で自転するので、対象人物の関心がさほど高くない状況下において、比較的少ない刺激で対象人物の装置への関心を引き出すことができる。

上記態様において、前記処理部は、
前記第５行動として、前記装置を前記対象人物から遠ざからせてもよい。

本態様では、第５行動を行う際、装置が対象人物から遠ざかるので、対象人物の関心の向上が見込まれない状況下において、対象人物に対して不必要な刺激を付与することを防止できる。

上記態様において、前記処理部は、
前記第５行動として、重力方向を軸として前記装置を１８０度旋回させてもよい。

本態様では、装置が対象人物に対して反対方向に向くため、対象人物の関心の向上が見込まれない状況下において、対象人物に対して不必要な刺激を付与することを防止できる。

上記態様において、前記処理部は、
前記現在の行動が実行されてから、前記マイクによって取得された音が無い場合、且つ、前記装置に所定の割り込み禁止条件が設定されている場合は、前記装置に前記第５行動を実行させ、
前記所定の割り込み禁止条件は、
所定の時間帯についての条件及び前記対象人物の場所についての条件を含んでもよい。

所定の場所で所定の時間に対象人物がロボットに関与されては困るような所定の行動（例えば、食事及び睡眠）を行うことが習慣化されていることがある。この場合、対象人物にロボットを関与させるのは生活パターンを乱すので好ましくない。そこで、本態様では割り込み禁止条件を設け、割り込み禁止条件が設定されている時間帯及び場所においては装置が対象人物への関与から離脱する第５行動をロボットに実行させる。これにより、ロボットが対象人物の生活パターンを乱すことを防止できる。

本開示は、このような装置に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ－ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることも出来る。

（実施の形態）
（全体構成）
以下、本開示の実施の形態について説明する。以下の説明では、本開示の装置をロボットに適用した場合を例に挙げて説明する。

図１は、本開示の実施の形態におけるロボット１の全体構成の一例を示すブロック図である。ロボット１は、例えば、幼児等の自己中心性が強いという心理特性を有するユーザとのコミュニケーションを通じて幼児の発育を支援することを主な目的とするロボットである。なお、コミュニケーションとは、幼児とロボット１とが音声により会話するというような直接的なコミュニケーションのみならず、ロボット１と幼児とが一緒になってダンスをするような間接的なコミュニケーションも含まれる。

ロボット１は、センサー部１００、行動実行部２００、出力部３００を備える。センサー部１００は、マイク１０１及びカメラ１０２で構成されている。マイク１０１は、ロボット１の周囲の音を音声信号に変換する。また、マイク１０１は、変換した音声信号を所定のサンプリングレートでＡ／Ｄ変換し、デジタルの音声データに変換し、プロセッサ２１０に出力する。カメラ１０２は、ロボット１の周囲の映像を取得し、画像データを取得する。ここで、カメラ１０２は、例えば、ＣＣＤ又はＣＭＯＳイメージセンサで構成され、所定のフレームレート（例えば、１秒間に６０フレーム）でロボット１の周囲の画像を撮影し、デジタルの画像データに変換する。カメラ１０２は、ロボット１の正面前方を撮影する通常のカメラで構成されてもよいし、ロボット１の全方位を撮影する全方位カメラで構成されてもよい。カメラ１０２により所定のフレームレートで撮影された画像データは、所定のフレームレートで、プロセッサ２１０に入力される。ここで、カメラ１０２は、ステレオカメラ又は赤外線カメラで構成されてもよい。この場合、カメラ１０２が撮像する画像データには、周囲の物体までの距離を示す距離成分が含まれることになる。

行動実行部２００は、プロセッサ２１０及びメモリ２０８を備える。プロセッサ２１０は、例えば、ＡＳＩＣ、ＤＳＰ、又はＣＰＵ等のプロセッサで構成され、音声認識部２０１、画像認識部２０２、初期関与ステージ判断部２０３、関与実行部２０４、移行判断部２０５、及びコマンド生成部２０７を備える。ここで、プロセッサ２１０が備える各構成要素はプロセッサがメモリ２０８に記憶されたコンピュータを行動実行部２００として機能させるプログラムを実行することで実現されてもよいし、専用のハードウェア回路で構成されてもよい。行動実行部２００を構成する全ての構成要素は、同一端末に実装されてもよい。或いは、行動実行部２００を構成する全て又は一部の構成要素は、光ファイバ、無線、又は公衆電話回線など任意のネットワークを介して接続される別の端末又はサーバ上に個別に実装されていてもよい。この場合、行動実行部２００は、別の端末又はサーバと通信することによって実現される。

音声認識部２０１は、マイク１０１から入力される音声データに対して所定の音声認識処理を実行して、音声データからロボット１の周囲に存在するユーザの発話内容を認識し、認識した発話内容を文字列に変換し、発話データを生成する。所定の音声認識処理としては、例えば、隠れマルコフモデル、統計的手法、又は動的時間伸縮法といった公知の手法が採用できる。

また、音声認識部２０１は、マイク１０１から入力される音声データの声紋がメモリ２０８に記憶された所定のユーザの声紋と照合することで、発話したユーザを特定する。そして、音声認識部２０１は、特定したユーザの識別情報と、発話データとを含むデータを音声認識データとして出力する。所定のユーザとしては、例えば、ロボット１が教育支援対象とする幼児及びその幼児の家族が含まれる。以下、ロボット１が教育支援の対象とする幼児を対象人物の一例として説明する。

画像認識部２０２は、カメラ１０２から入力される画像データに対して顔認識処理を適用することで、ロボット１の周囲に位置するユーザを認識し、認識したユーザの識別情報を画像認識データとして出力する。また、画像認識部２０２は、顔認識処理により認識したユーザの目線、顔の方向、及びユーザの移動量等を検出し、検出結果を画像認識データとして出力する。ここで、画像認識処理には、例えば、画像データに含まれる人物の顔の特徴量を抽出する処理、及び、抽出した特徴量を予めメモリ２０８に記憶された所定のユーザの顔の特徴量と比較する処理等が含まれる。

初期関与ステージ判断部２０３は、音声認識部２０１から出力された音声認識データと、画像認識部２０２から出力された画像認識データとに基づいて、ロボット１の幼児に対する初期の関与ステージを示す初期関与ステージを決定する。図２は、初期関与ステージ判断部２０３が初期関与ステージを決定するために用いる初期関与ステージテーブルＴ１の一例を示す図である。なお、初期関与ステージテーブルＴ１はメモリ２０８に事前に記憶されている。

初期関与ステージテーブルＴ１は、複数の初期関与ステージと各初期関与ステージに対する条件とが対応付けられたデータベースであり、「認識項目」、「センサ」、「条件」、及び「初期関与ステージ」のフィールドを備える。

「初期関与ステージ」フィールドには、「タスク実行」、「模倣」、及び「問いかけ」の３つ関与ステージと、対応する関与ステージがないことを示す「Ｎ／Ａ」とが登録されている。なお、「タスク実行」、「問いかけ」、及び「模倣」の順で、ロボット１の幼児に対する関与の度合いが高い。「関与ステージ」とは、幼児に対してロボット１が関与する際の行動を決定するための指標を指す。

関与ステージが「タスク実行」にある場合、幼児に対して所定のタスクを課す行動（第１行動の一例）がロボット１により実行される。所定のタスクとは、幼児が取り組むべき仕事又は課題を指し、例えば、なぞなぞ遊び、片付け、勉強、宿題、読書、ロボット１による絵本の読み聞かせ、及び手伝い等が該当する。なお、タスクは、音声認識部２０１から出力される音声認識データと、画像認識部２０２から出力される画像認識データとの少なくとも一方に基づいて、初期関与ステージの決定に先立ってプロセッサ２１０により事前に決定される。言い換えれば、初期関与ステージを決定する処理は、新たなタスクが決定される度に実行される。

例えば、発話データに幼児に対して片付けを促す母親によって発話されたメッセージが含まれる場合、「片付け」がタスクとして決定される。例えば、音声認識データに「○○ちゃん、お片づけしましょうね」というような片付けを促す母親による発話データが含まれていれば、所定のタスクとして「片付け」が決定される。

「認識項目」フィールドには、初期関与ステージのそれぞれに対するロボット１の認識項目が登録されている。図２の例では、全ての初期関与ステージに対して、「認識項目」として、「人認識」と「音声認識」とが含まれている。「人認識」とは、ロボット１が幼児を映像によって認識したことを指す。「音声認識」とは、ロボット１が幼児を音によって認識したことを指す。

「センサ」フィールドには、認識項目に挙げられた認識を実現するためのセンサの種類が登録されている。図２の例では、全ての初期関与ステージにおいて、「人認識」には「カメラ」が登録され、「音声認識」には「マイク」が登録されている。つまり、「人認識」はカメラ１０２により撮影された画像データを用いて実行され、「音声認識」はマイク１０１により集音された音声データを用いて実行されることになる。

「条件」フィールドには、各初期関与ステージに対する決定条件が登録されている。例えば、「タスク実行」は、「人認識」と「音声認識」とが共に「認識」である場合に決定される。「模倣」は「人認識」が「認識」であり、「音声認識」が「なし」（＝非認識）である場合に決定される。「問いかけ」は「人認識」が「なし」であり、「音声認識」が「認識」である場合に決定される。なお、「人認識」と「音声認識」とが共に「なし」である場合、初期関与ステージは決定されない。

ここで、初期関与ステージの決定は、幼児のロボット１への関心が高いほど、ロボット１への関与の度合いを高くするとの考えに基づいている。また、幼児のロボット１への関心は、幼児がロボット１に向かって会話している状況、幼児がロボット１に向かわずに会話している状況、及び幼児がロボット１に向かっているが会話はしていない状況の順に高いとみなしている。

そこで、初期関与ステージテーブルＴ１では、「人認識」と「音声認識」とが共に「認識」の状況は、幼児のロボット１への関心の度合いが１番高いステージにあるとみなし、ロボット１の幼児への関与の度合いが１番高い関与ステージである「タスク実行」が割り当てられている。また、「人認識」が「なし」であり「音声認識」が「認識」の状況は、幼児のロボット１への関心が２番目に高いステージにあるとみなし、ロボット１の幼児への関与の度合いが２番目に高い関与ステージである「問いかけ」が割り当てられている。また、「人認識」が「認識」であり「音声認識」が「なし」の状況は、幼児のロボット１への関心が３番目に高いステージにあるとみなし、ロボット１の幼児への関与の度合いが３番目に高い関与ステージである「模倣」が割り当てられている。

図１に参照を戻す。関与実行部２０４は、初期関与ステージ判断部２０３によって決定された初期関与ステージに対応する行動をロボット１に実行させるためのコマンドの出力依頼をコマンド生成部２０７に出力する。また、関与実行部２０４は、後述する移行判断部２０５によって関与ステージの移行が決定された場合、移行先の関与ステージに対応する行動をロボット１に実行させるためのコマンドの出力依頼をコマンド生成部２０７に出力する。

ここで、関与ステージは後述の図３で示すように、「タスク実行」、「問いかけ」、「模倣」、「待機」、及び「離脱」の５つで構成される。そのため、関与実行部２０４は、これら５つの関与ステージに対応する５つの行動をロボット１に実行させるためのコマンドの出力依頼をコマンド生成部２０７に出力する。なお、「タスク実行」、「問いかけ」、「模倣」、「待機」、及び「離脱」のそれぞれに対応する行動は、第１行動、第２行動、第３行動、第４行動、及び第５行動の一例に該当する。

例えば、決定された関与ステージが「タスク実行」であれば、「タスク実行」のコマンドの出力依頼がコマンド生成部２０７に出力され、決定された関与ステージが「模倣」であれば、「模倣」のコマンドの出力依頼がコマンド生成部２０７に出力される。

移行判断部２０５は、初期関与ステージ判断部２０３により決定された初期関与ステージを別の関与ステージに移行するか否かを判断する。また、移行判断部２０５は、初期関与ステージを移行させた後の関与ステージを別の関与ステージに移行するか否かを判定する。以下、初期関与ステージと、初期関与ステージから移行された後の関与ステージとを含め、現在、ロボット１に設定されている関与ステージのことを「現在の関与ステージ」と記述する。

ここで、移行判断部２０５は、現在の関与ステージに対応する行動が実行されてから、音声認識部２０１により幼児の音声が認識された場合、現在の関与ステージを一つ上の関与ステージに移行すると判断する。すなわち、移行判断部２０５は、現在の関与ステージをロボット１に実行させた結果、幼児が発話により反応した場合、幼児のロボット１への関心は高まる傾向にあると判断して、現在の関与ステージを１つ上の関与ステージに移行するのである。

一方、移行判断部２０５は、現在の関与ステージに対応する行動（現在の行動）が実行されてから、音声認識部２０１により幼児の音声が認識されなかった場合、現在の行動が実行されてからの経過時間が閾値未満であるかを判断する。そして、移行判断部２０５は、前記経過時間が閾値未満であると判断した場合、現在の関与ステージを継続すると判断する。一方、移行判断部２０５は、前記経過時間が閾値以上になっても幼児が発話しなかった場合、現在の関与ステージを一つ下位の関与ステージに移行すると判断する。すなわち、移行判断部２０５は、前記経過時間が閾値に到達するまで待っても、幼児から発話による反応がない場合は、現在の関与ステージは幼児に合っておらず、却って幼児のロボット１への関心を低下させてしまうと判断して、一つ下位の関与ステージに移行するのである。

図３は、ロボット１の関与ステージの順序を定める移行テーブルＴ２の一例を示す図である。図３に示す移行テーブルＴ２には、ロボット１が幼児に関与する度合いが高い順に「タスク実行」、「問いかけ」、「模倣」、「待機」、及び「離脱」の５つの関与ステージが登録されている。例えば、移行判断部２０５は、移行テーブルＴ２に登録された順位にしたがって段階的に関与ステージを設定し、ロボット１の幼児に対する関与の度合いを上げ下げする。なお、移行テーブルＴ２は、メモリ２０８に事前に記憶されている。

コマンド生成部２０７は、関与実行部２０４からコマンドの出力依頼を受け付けた場合、出力依頼が示すコマンドを出力部３００に出力する。

出力部３００は、コマンド生成部２０７からのコマンドにしたがって、現在の関与ステージに対応する行動をロボット１に実現させる構成要素であり、スピーカ３０１及び駆動部３０２を備える。

スピーカ３０１は、コマンド生成部２０７からのコマンドにしたがって、現在の関与ステージに対応する行動を実行する際に必要な音声データを音声に変換して外部に出力する。

駆動部３０２は、例えば、モータ等のアクチュエータと、アクチュエータによって作動する機構部とによって構成され、コマンド生成部２０７からのコマンドにしたがって、現在の関与ステージに対応する行動をロボット１に実現させる。機構部としては、ロボット１を前進又は後進させる部材、ロボット１の姿勢を変化させる部材、及びロボット１の顔の表情を表示する表示部の向きを変化させる部材等が含まれる。アクチュエータとしては、ロボット１を前進又は後進させる部材を駆動するモータ、ロボット１の姿勢を変化させる部材を駆動するモータ、及び表示部の向きを変化させるモータ等が含まれる。

なお、行動実行部２００がロボット１の本体部分とは別の端末又はサーバに実装されている場合、スピーカ３０１及び駆動部３０２は、有線または無線を介して行動実行部２００が実装された端末又はサーバと接続されればよい。

（フローチャート）
次に、図４及び図５を用いて、ロボット１における関与ステージの決定処理について説明する。図４は、関与ステージの決定処理の一例を示すフローチャートである。図５は図４の続きのフローチャートである。

まず、プロセッサ２１０は、音声認識部の電源がオンされるとロボット１が起動する（Ｓ１０１）。次に、初期関与ステージ判断部２０３は、音声認識部２０１による音声認識データと、画像認識部２０２よる画像認識データとに基づいて、センサー入力の有無を検知する（Ｓ１０２）。ここで、初期関与ステージ判断部２０３は、音声認識部２０１により幼児に関する音声認識データが出力されず、且つ、画像認識部２０２により幼児に関する画像認識データが出力されていない場合、センサー入力無しと判断し、幼児に関する音声認識データと幼児に関する画像認識データとの少なくとも一方が出力された場合、センサー入力有りと判断すればよい。

Ｓ１０２において、センサー入力有りと判断された場合（Ｓ１０２でＹＥＳ）、処理はＳ１０３に進み、センサー入力無しと判断された場合（Ｓ１０２でＮＯ）、処理はＳ１０２に戻る。

Ｓ１０３では、初期関与ステージ判断部２０３は、メモリ２０８に記憶された初期関与ステージテーブルＴ１を参照して、ロボット１の初期関与ステージを決定する（Ｓ１０３）。ここで、初期関与ステージ判断部２０３は、条件の項目にマッチした関与ステージをロボット１の初期関与ステージとして決定する。

例えば、音声認識部２０１により幼児の発話が音声認識され、且つ、画像認識部２０２により幼児の映像が認識された場合、初期関与ステージとして「タスク実行」が決定される。また、音声認識部２０１により幼児の発話が音声認識されず、且つ、画像認識部２０２により幼児の映像が認識された場合、初期関与ステージとして「模倣」が決定される。また、音声認識部２０１により幼児の発話が音声認識され、且つ、画像認識部２０２により幼児の映像が認識されなかった場合、初期関与ステージとして「問いかけ」が決定される。

次に、図５を参照し、Ｓ２０２では、現在の関与ステージが「離脱」でない場合（２０２でＮＯ）、関与実行部２０４は、現在の関与ステージに対応する行動を実行するためのコマンドの出力依頼をコマンド生成部２０７に出力する（Ｓ２０３）。ここで、初期関与ステージとしては、「タスク実行」、「問いかけ」、及び「模倣」の３つがあるため、まず、これら３つの関与ステージのいずれかに対応する行動が実行されることになる。

タスクとして、例えば、なぞなぞ遊びが実行される場合、プロセッサ２１０は、幼児に対して「なぞなぞ遊びをやろう」というようなコミュニケーションの開始を提案する音声をスピーカ３０１に出力させるコマンド、及びなぞなぞの問題を読み上げる音声をスピーカ３０１から出力させるコマンドを出力部３００に出力すればよい。また、プロセッサ２１０は、なぞなぞの問題を読み上げた後、音声認識部２０１により幼児から答えの発話が音声認識された場合、発話内容をなぞなぞの答えと照合し、正解した場合は、正解したことを示す音声をスピーカ３０１から出力させるコマンドを出力部３００に出力すればよい。

また、タスクとして、片付けが実行される場合、プロセッサ２１０は、「お部屋の片付けをしよう」という問いかけの音声をスピーカ３０１から出力させるコマンドを出力部３００に出力した後、画像認識部２０２の認識結果から幼児が片付けをしているか否かを判断し、片付けをしていると判断した場合は、幼児の行動をほめる音声をスピーカ３０１から出力させるコマンドを出力部３００に出力すればよい。一方、プロセッサ２１０は、幼児が片付けをしていないと判断した場合は、幼児に対して片付けを促す音声をスピーカ３０１から出力させるコマンドを出力部３００に出力すればよい。

「問いかけ」の関与ステージに対応する行動は、ロボット１が幼児に対し、例えば、幼児の名前を呼ぶなどして、幼児に話しかける行動が該当する。

「模倣」の関与ステージに対応する行動は、ロボット１が幼児と同調した動きをする行動、すなわち、幼児の動き真似をする行動が該当する。「模倣」の関与ステージに対応する行動をロボット１が実行する場合、プロセッサ２１０は、例えば、画像認識部２０２の認識結果から、幼児が下を向いて何らかの作業を集中して行っていることを検出したとすると、ロボット１の上部を幼児の頭部の傾きと同じ角度で同じ向きに傾けるコマンドを出力部３００に出力すればよい。ここで、同じ向きとは、ロボット１と幼児とが対面していることを想定しており、例えば、幼児が頭部を左に傾けたのであればロボット１が上部を右の方向に傾けること、又、幼児が頭部を右に傾けたのであればロボット１が上部を左の方向に傾けることが該当する。

また、プロセッサ２１０は、例えば、画像認識部２０２の認識結果から、ダンスのように幼児が所定のリズムに合わせた動作をしていることを検知した場合、ロボット１を所定のリズムに合わせてダンスさせるコマンドを出力部３００に出力すればよい。

一方、Ｓ２０２にて、現在の関与ステージが「離脱」である場合（Ｓ２０２でＹＥＳ）、関与実行部２０４は、ロボット１に幼児への関与から離脱させる離脱行動を実行させるコマンドの出力依頼をコマンド生成部２０７に出力し、ロボット１に離脱行動を実行させ（Ｓ２０７）、処理を終了する。

ここで、離脱行動とは、ロボット１が幼児への関与を離脱する行動を指す。例えば、離脱行動としては、幼児から所定距離だけ離れた位置にロボット１を移動させたり、ロボット１の向きを重力方向を軸として１８０度旋回させて幼児の顔と反対方向にロボット１の正面を向けさせたりするというような、ロボット１が幼児とのコミュニケーションを停止させる自律的な行動が該当する。これにより、ロボット１への関心の向上が見込まれないほど幼児の意識が低い状態において、不必要に幼児を刺激して幼児がロボット１に対して嫌悪感を抱くことを防止できる。

Ｓ２０４にて、関与実行部２０４は、現在の関与ステージが「タスク実行」であってそのタスクが終了した場合（Ｓ２０４でＮＯ）、ロボット１に離脱行動を実行させるコマンドの出力依頼をコマンド生成部２０７に出力し、ロボット１に離脱行動を実行させ（Ｓ２０７）、処理を終了する。これにより、タスクの終了後もロボット１が幼児につきまとい、幼児がロボット１に対して嫌悪感を抱くことを防止できる。

一方、現在の関与ステージが「タスク実行」であってそのタスクが終了していない場合（Ｓ２０４でＮＯ）、又は、現在の関与ステージが「問いかけ」、「模倣」、又は「待機」の場合（Ｓ２０４でＮＯ）、移行判断部２０５は関与ステージの移行の判断処理を行う（Ｓ２０５）。

なお、タスクは、タスク毎に設定されている終了条件が満たされた場合に終了される。例えば、タスクが幼児の質問に答えるタスクである場合、タスクはロボット１が幼児の質問に答えた後、一定時間が経過するまで、幼児から質問がなければ終了される。また、タスクがなぞなぞ遊びであれば、ロボット１が出題したなぞなぞに幼児が所定回数回答した場合又は出題してから一定時間が経過するまでに幼児からの発話がない場合に終了される。

次に、関与実行部２０４は、Ｓ２０５の処理によって決定された関与ステージに対応する行動をロボット１に実行させるためのコマンドの出力依頼をコマンド生成部２０７に出力する（Ｓ２０６）。これにより、Ｓ２０５の処理によって決定された関与ステージに対応する行動がロボット１によって実行される。なお、Ｓ２０５の処理によって決定された関与ステージはメモリ２０８に一時的に記憶される。

次に、図５のＳ２０５に示す移行の判断処理について説明する。図６は、図５のＳ２０５の詳細な処理の一例を示すフローチャートである。

まず、移行判断部２０５は、幼児の音声反応が無しと判断した場合（Ｓ３０１でＮＯ）、割り込み禁止状態にあるか否かを確認をする（Ｓ３０２）。図７は、割り込み禁止条件が設定された割り込み禁止条件テーブルＴ３の一例を示す図である。

幼児が所定の時間に所定の場所でロボット１に関与されると困るような行動を行うことが習慣化されている場合、所定の時間に所定の場所にいる幼児にロボット１が関与すると、幼児の生活パターンを乱してしまう。例えば、朝の時間帯にダイニングで幼児が朝食をとることが習慣化されている場合、この朝の時間帯にロボット１が幼児に関与すると、朝食の妨げになってしまう。そこで、本実施の形態では割り込み禁止条件を設け、割り込み禁止条件が設定されている時間帯及び場所においては、ロボット１に離脱行動を実行させ、幼児の生活パターンをロボット１が乱すことを防止している。

割り込み禁止条件テーブルＴ３は縦軸に時間帯、横軸に場所が規定された二次元のテーブルである。「時間帯」フィールドには、１日の時間帯を複数に区切った時間帯が登録されている。ここでは、７時から９時、９時から１２時、・・・、２１時から７時というように、１日の時間帯が７個の時間帯に区切られている。「場所」フィールドには、幼児の家の部屋名が登録されている。割り込み禁止条件テーブルＴ３の各セルには、割り込み禁止条件が設定されていることを示すデータ「ＯＮ」と割り込み禁止条件が設定されていないことを示すデータ「ＯＦＦ」とが登録されている。

例えば、７時から９時の時間帯においてダイニングのセルには「ＯＮ」が登録されている。したがって、移行判断部２０５は、この時間帯において幼児がダイニングにいることを検知した場合、関与ステージを「離脱」に決定する。これは、この家庭では、例えば、７時から９時の時間帯にダイニングで、幼児が朝食をとることが習慣化されており、ロボット１を幼児に関与させると朝食の邪魔になるからである。

一方、例えば、７時から９時の時間帯においてダイニング以外の場所のセルには「ＯＦＦ」が登録されている。したがって、移行判断部２０５は、この時間帯であっても幼児がダイニング以外の場所にいれば、ロボット１は離脱行動以外の行動が許容された通常動作を行う。

なお、割り込み禁止条件は、例えば、スマートフォン等の携帯端末に対してユーザが入力したデータに基づいて事前に設定される。ユーザは、例えば、携帯端末に対して発話することで、割り込み禁止条件を設定すればよい。これにより、割り込み禁止状態にある場合、ロボット１が幼児に関与することを防止できる。

図６に参照を戻す。Ｓ３０２では、移行判断部２０５は、割り込み禁止条件テーブルＴ３を参照し、割り込み禁止状態であると判定した場合（Ｓ３０２でＹＥＳ）、関与ステージを「離脱」に移行する（Ｓ３０５）。一方、割り込み禁止状態でないと判断した場合（Ｓ３０２でＮＯ）、処理はＳ３０３に進む。ここで、移行判断部２０５は、画像認識部２０２による認識結果から幼児がいる部屋を判定し、判定した部屋と現在時刻が属する時間帯とに対応するセルに「ＯＮ」が登録されている場合、割り込み禁止状態にあると判定し（Ｓ３０２でＹＥＳ）、前記セルに「ＯＦＦ」が登録されている場合、割り込み禁止状態にないと判定する（Ｓ３０２でＮＯ）。

Ｓ３０３では、移行判断部２０５は、現在の関与ステージに対応する行動を実行してからの経過時間が閾値未満であるか否かを判定する。前記経過時間が閾値未満であれば（Ｓ３０３でＹＥＳ）、移行判断部２０５は、現在の関与ステージを維持する（Ｓ３０７）。一方、前記経過時間が閾値以上であれば（Ｓ３０３でＮＯ）、移行判断部２０５は、移行テーブルＴ２を参照し、現在の関与ステージを一つ下位の関与ステージに移行させる（Ｓ３０８）。閾値としては、例えば、これ以上、同一の関与ステージに対応する行動をロボット１に実行させても、幼児の関心が高まらないことが見込まれる予め定められた時間が採用され、例えば、１分、２分、３分、５分、１０分というような値が採用できる。

図３において、例えば現在の関与ステージが「模倣」であり、この状態において関与ステージが一つ下位に移行すると判断された場合、関与ステージは「待機」に設定される。なお、「待機」の関与ステージに対応する行動は、ロボット１をその場で左右に揺らせる行動、又は、重力方向を軸としてロボット１をその場で旋回（スピン）させる行動が該当する。これにより、幼児の関心が低い状況下において、比較的少ない刺激で幼児のロボット１への関心を引き出すことができる。

Ｓ３０１において、移行判断部２０５は、幼児の音声反応が有ると判断した場合（Ｓ３０１でＹＥＳ）、幼児の発話内容が拒絶用語辞書にヒットしたか否かを判断をする（Ｓ３０４）。図８は、拒絶用語辞書が登録された辞書テーブルＴ４の一例を示す図である。辞書テーブルＴ４には、「あっちいって」、「話かけないで」、及び「うるさい」等、ロボット１を拒絶するような用語が登録されている。移行判断部２０５は、幼児の発話内容に辞書テーブルＴ４に登録されたいずれかの用語が含まれている場合（Ｓ３０４でＹＥＳ）、幼児はロボット１の関与を積極的に拒んでいると判断し、現在の関与ステージを「離脱」に移行させる（Ｓ３０５）。

一方、幼児の発話内容に辞書テーブルＴ４に登録されいずれの用語も含まれていない場合（Ｓ３０４でＮＯ）、移行判断部２０５は現在の関与ステージを一つ上位の関与ステージに移行させる（Ｓ３０６）。図３を参照し、例えば、現在の関与ステージが「模倣」であり、この状態において関与ステージを一つ上位に上げると判断された場合、関与ステージは「問いかけ」に移行される。

Ｓ３０５、Ｓ３０６、Ｓ３０７、Ｓ３０８の処理が終了すると、処理は図５のＳ２０６に戻り、関与ステージが移行された後、処理が図５のＳ２０２に進み、タスクが終了する又は離脱行動が実行されるまでＳ２０２～Ｓ２０６の処理が繰り返される。

（ロボット）
次に、ロボット１の機構について説明する。図９は、ロボット１の外観の一例を示す図である。ロボット１は、球帯状のメイン筐体４０１と球冠部４０２、４０３とを備えており、メイン筐体４０１と球冠部４０２、４０３とは全体として球体を構成する。即ち、ロボット１は球体形状を有する。また、ロボット１は、球冠部４０２（もしくは球冠部４０３）にマイク１０１とカメラ１０２とスピーカ３０１とを備える。また、ロボット１は、図略の制御回路を備える。図１に示す行動実行部２００は、この制御回路に実装される。図９の例では、カメラ１０２は球冠部４０２と球冠部４０３とのそれぞれに設けられた２つのカメラを含むステレオカメラで構成されており、周辺環境の映像と距離データを取得する。

球冠部４０２の中心と球冠部４０３の中心とはメイン筐体４０１の内部に設けられたシャフト（図略）によって固定接続されている。メイン筐体４０１はシャフトに対して回転自在に取り付けられている。また、シャフトにはフレーム（図略）及び表示部（図略）が取り付けられている。フレームにはメイン筐体４０１を回転させる第１モータ（図略）が取り付けられている。この第１モータ（図略）が回転することで、メイン筐体４０１は球冠部４０２、４０３に対して回転し、ロボット１は前進又は後退する。なお、ロボット１が前進又は後退する場合、球冠部４０２、４０３は停止状態にあるので、スピーカ３０１及びカメラ１０２はロボット１の正面を向いた状態に維持される。また、表示部には、ロボット１の目及び口を示す画像を表示する。この表示部は、第２モータ（図略）による動力によってシャフトに対する角度が調整自在に取り付けられている。したがって、表示部のシャフトに対する角度を調整することで、ロボットの目及び口の方向が調整される。なお、表示部はメイン筐体４０１とは独立してシャフトに取り付けられているので、メイン筐体４０１が回転してもシャフトに対する角度は変化しない。したがって、ロボット１は、目及び口の向きを固定した状態で前進又は後退できる。

更に、シャフトにはおもり（図略）が下げられている。このおもりは、第３モータ（図略）の動力によりロボット１の正面方向を軸として揺動自在に取り付けられている。したがって、おもりを揺動させることで、ロボット１をその場で揺れるように動作をさせることができる。また、おもりを後方から前方に見て、左方又は右方に傾斜させた状態でロボット１を前進させることで、ロボット１を左方又は右方に旋回させることができる。例えば、おもりを左方に傾斜させた状態でロボット１を前進させる動作と、おもりを右方に傾斜させた状態でロボット１を後退させる動作とを小刻みに繰り返すことで、ロボット１は重力方向を軸に旋回（その場旋回）を行うことができる。

なお、上述した、メイン筐体４０１、第１モータ、第２モータ、第３モータ、及び表示部は図１の駆動部３０２を構成する。

制御回路は、ロボット１の各種動作を制御する。なお、ロボット１は、全体として球体を構成しているが、これに限られるものではなく、少なくとも移動機構を有した構成を備えれば良い。

このように、本実施の形態では、幼児へのロボット１の関与の度合いを段階的に上げることにより、幼児のロボット１への関心を段階的に高めていき、幼児のの関心が十分に高まった状態で幼児にタスクを課すことができる。したがって、本開示では、集中力を持続させることが困難な心理的特性を持つ幼児に対して、ロボット１を長時間関与させることが可能となる。その結果、幼児にタスクを長時間取り組ませることができ、幼児の能力を効果的に高めることができる。

本開示は、下記の変形例が採用できる。

（１）上記実施の形態では、本開示に係る装置がロボット１に適用される例が示されたが、これに限定されず、ロボット１以外の移動可能な装置であればどのような実装されてもよい。

（２）上記実施の形態では、関与ステージとして「離脱」及び「待機」が含まれていたが、これらの関与ステージは省かれてもよい。この場合、「タスク実行」、「問いかけ」、及び「模倣」の３つの関与ステージのいずれかに対応する行動をロボット１はとることになる。

（３）図６のフローチャートでは、割り込み禁止状態の有無を判定する処理（Ｓ３０２）と、拒絶用語辞書へのヒットの有無を判定する処理（Ｓ３０４）とが設けられているが、これは一例であり、両処理のうちいずれか一方又は両方が省かれてもよい。

（４）図５のフローチャートは電源ＯＮをトリガーに開始されているが、これは一例であり、幼児に課すべきタスクが発生したことをトリガーに開始されてもよい。

本開示によれば、飽きが生じやすく、関与の契機が難しい対象人物に対し、ロボットの関与状態を持続できるので、教育用ロボットとして有用である。

１ ロボット
１００ センサー部
１０１ マイク
１０２ カメラ
２００ 行動実行部
２０１ 音声認識部
２０２ 画像認識部
２０３ 初期関与ステージ判断部
２０４ 関与実行部
２０５ 移行判断部
２０７ コマンド生成部
２０８ メモリ
２１０ プロセッサ
３００ 出力部
３０１ スピーカ
３０２ 駆動部
Ｔ１ 初期関与ステージテーブル
Ｔ２ 移行テーブル
Ｔ３ 割り込み禁止条件テーブル
Ｔ４ 辞書テーブル

Claims (17)

1. 所定の行動を実行することによって対象人物とコミュニケーションする装置であって、
   前記装置周辺の映像を取得するカメラと、
   前記装置周辺の音を取得するマイクと、
   処理部と、
   スピーカと、
   前記装置を動かす駆動部と、を備え、
   前記処理部は、
   前記取得された映像および前記取得された音に従って、前記装置に対して、前記対象人物とコミュニケーションするための、第１行動、第２行動、及び第３行動、のいずれかを初期行動として実行させ、前記第２行動は、前記第３行動の一つ上位の行動であり、前記第１行動は、前記第２行動の一つ上位の行動であり、
   前記初期行動を含む現在の行動が実行されてから、前記マイクによって取得された音がある場合は、前記現在の行動の一つ上位の行動を前記装置に実行させ、
   前記現在の行動が実行されてから、前記マイクによって取得された音が無い場合は、前記現在の行動が実行されてからの経過時間が閾値未満であるか判断し、
   前記経過時間が前記閾値未満であると判断された場合は、前記現在の行動を前記装置に継続させ、
   前記経過時間が前記閾値以上であると判断された場合は、前記現在の行動の一つ下位の行動を前記装置に実行させ、
   前記装置に、前記第１行動として、所定のタスクを実行させ、
   前記スピーカに、前記第２行動として、前記対象人物に話しかける音声を出力させ、前記駆動部を制御して、前記装置に前記第３行動として、前記対象人物の動きと同調した動きをさせ、
   前記現在の行動が前記第１行動の場合、前記タスクの終了条件が満たされるまで第１行動を継続する、
   装置。
2. 前記第３行動の一つ下位の行動は第４行動であり、
   前記第４行動の一つ下位の行動は第５行動であり、
   前記処理部は、
   前記現在の行動が実行されてから、前記マイクによって取得された音がある場合、且つ、前記取得された音に含まれた前記対象人物の音声に、前記装置に備えられた辞書に含まれた語句が含まれる場合は、前記第５行動を前記装置に実行させ、
   前記駆動部を制御して、前記装置に前記第４行動として、前記装置の現在位置で前記装置を待機させる動きをさせ、
   前記装置に、前記第５行動として、前記対象人物とのコミュニケーションを停止させる、
   請求項１記載の装置。
3. 前記処理部は、前記取得された映像から前記対象人物を認識し、且つ、前記取得された音から前記対象人物の音声を認識した場合は、前記装置に対して前記初期行動として前記第１行動を実行させる、
   請求項１記載の装置。
4. 前記処理部は、前記取得された映像から前記対象人物を認識せず、且つ、前記取得された音から前記対象人物の音声を認識した場合は、前記装置に対して前記初期行動として前記第２行動を実行させる、
   請求項１記載の装置。
5. 前記処理部は、前記取得された映像から前記対象人物を認識し、且つ、前記取得された音から前記対象人物の音声を認識しない場合は、前記装置に対して前記初期行動として前記第３行動を実行させる、
   請求項１記載の装置。
6. 前記処理部は、前記第１行動として、前記スピーカに対して前記対象人物とのコミュニケーションを開始することを提案する音声を出力させる、
   請求項３記載の装置。
7. 前記処理部は、
   前記取得された映像から前記対象人物の頭部の傾きを認識した場合は、
   前記駆動部を制御して、前記第３行動として、前記装置の上部を、前記頭部の傾きと同じ方向と角度とで、傾けさせる、
   請求項５記載の装置。
8. 前記処理部は、
   前記取得された映像から前記対象人物の所定のリズムに合わせた動作を認識した場合は、
   前記駆動部を制御して、前記第３行動として、前記装置を前記リズムに合わせて動かせる、
   請求項５記載の装置。
9. 前記処理部は、
   前記第２行動として、前記対象人物に対応する名前を含んだ音声を、前記スピーカに出力させる、
   請求項４記載の装置。
10. 前記処理部は、
    前記第４行動として、前記装置を左右に揺らせる、
    請求項２記載の装置。
11. 前記処理部は、
    前記第４行動として、重力方向を軸として前記装置を旋回させる、
    請求項２記載の装置。
12. 前記処理部は、
    前記第５行動として、前記装置を前記対象人物から遠ざからせる、
    請求項２記載の装置。
13. 前記処理部は、
    前記第５行動として、重力方向を軸として前記装置を１８０度旋回させる、
    請求項２記載の装置。
14. 前記処理部は、
    前記現在の行動が実行されてから、前記マイクによって取得された音が無い場合、且つ、前記装置に所定の割り込み禁止条件が設定されている場合は、前記装置に前記第５行動を実行させ、
    前記所定の割り込み禁止条件は、
    所定の時間帯についての条件及び前記対象人物の場所についての条件を含む、
    請求項２記載の装置。
15. 所定の行動を実行することによって対象人物とコミュニケーションする装置であって、前記装置を動かす駆動部、カメラ、マイクおよびスピーカを備える前記装置、における方法であって、
    前記装置周辺の映像を前記カメラにより取得し、
    前記装置周辺の音を前記マイクにより取得し、
    前記取得された映像及び前記取得された音に従って、前記装置に対して、前記対象人物とコミュニケーションするための、第１行動、第２行動、及び第３行動、のいずれかを初期行動として実行させ、前記第２行動は、前記第３行動の一つ上位の行動であり、前記第１行動は、前記第２行動の一つ上位の行動であり、
    前記初期行動を含む現在の行動が実行されてから、前記マイクによって取得された音がある場合は、前記現在の行動の一つ上位の行動を前記装置に実行させ、
    前記現在の行動が実行されてから、前記マイクによって取得された音が無い場合は、前記現在の行動が実行されてからの経過時間が閾値未満であるか判断し、
    前記経過時間が前記閾値未満であると判断された場合は、前記現在の行動を前記装置に継続させ、
    前記経過時間が前記閾値以上と判断された場合は、前記現在の行動の一つ下位の行動を前記装置に実行させ、
    前記装置に、前記第１行動として、所定のタスクを実行させ、
    前記スピーカに、前記第２行動として、前記対象人物に話しかける音声を出力させ、前記駆動部を制御して、前記装置に前記第３行動として、前記対象人物の動きと同調した動きをさせ、
    前記現在の行動が前記第１行動の場合、前記タスクの終了条件が満たされるまで第１行動を継続する、
    方法。
16. 請求項１５記載の方法を前記装置を制御するコンピュータに実行させるためのプログラム。
17. 所定の行動を実行することによって対象人物とコミュニケーションするロボットであって、
    前記ロボット周辺の映像を取得するカメラと、
    前記ロボット周辺の音を取得するマイクと、
    処理部と、
    スピーカと、
    前記ロボットを動かす駆動部と、を備え、
    前記処理部は、
    前記取得された映像および前記取得された音に従って、前記ロボットに対して、前記対象人物とコミュニケーションするための、第１行動、第２行動、及び第３行動、のいずれかを初期行動として実行させ、前記第２行動は、前記第３行動の一つ上位の行動であり、前記第１行動は、前記第２行動の一つ上位の行動であり、
    前記初期行動を含む現在の行動が実行されてから、前記マイクによって取得された音がある場合は、前記現在の行動の一つ上位の行動を前記ロボットに実行させ、
    前記現在の行動が実行されてから、前記マイクによって取得された音が無い場合は、前記現在の行動が実行されてからの経過時間が閾値未満であるか判断し、
    前記経過時間が前記閾値未満であると判断された場合は、前記現在の行動を前記ロボットに継続させ、
    前記経過時間が前記閾値以上であると判断された場合は、前記現在の行動の一つ下位の行動を前記ロボットに実行させ、
    前記ロボットに、前記第１行動として、所定のタスクを実行させ、
    前記スピーカに、前記第２行動として、前記対象人物に話しかける音声を出力させ、前記駆動部を制御して、前記ロボットに前記第３行動として、前記対象人物の動きと同調した動きをさせる、
    前記現在の行動が前記第１行動の場合、前記タスクの終了条件が満たされるまで第1行動を継続する、
    ロボット。

Images