JPWO2020202354A1 - コミュニケーションロボットおよびその制御方法、情報処理サーバならびに情報処理方法 - Google Patents

Abstract

コミュニケーションロボットであって、第１ユーザの状態を識別する識別手段と、遠隔から第１ユーザとコミュニケーションをとる第２ユーザの状態を示す状態情報を外部装置から受信する受信手段と、第１ユーザの状態と第２ユーザの状態とに基づいて第１ユーザと第２ユーザとのコミュニケーションが可能であるかを判定する判定手段と、第１ユーザに情報を提供する提供手段と、を有し、提供手段は、第１ユーザと第２ユーザとのコミュニケーションが可能であると判定された場合に、第１ユーザと第２ユーザとのコミュニケーションを提案する情報を第１ユーザに提供する。

Description

本発明は、コミュニケーションロボットおよびその制御方法、情報処理サーバならびに情報処理方法に関する。

従来、ユーザとコミュニケーションをとることが可能なコミュニケーションロボットが知られている。このようなコミュニケーションロボットには、ロボットを注視したり、話しかけたりしているユーザとのインタラクション状態に応じて、ユーザへの介入（インタラクションに引き込む）タイミングや介入の仕方を制御するものがある（特許文献１）。

特開２０１３−２３７１２４号公報

しかしながら、特許文献１で開示されるロボットはユーザとロボット間でのコミュニケーションを前提としており、ユーザと遠隔のユーザ（遠隔ユーザ）がコミュニケーションを行うために、ロボットがユーザに介入することは考慮されていない。すなわち、ユーザと遠隔ユーザとが円滑にコミュニケーションをとるために、ロボットによる介入タイミングや介入の仕方を制御する技術は知られていない。

本発明は、上記課題に鑑みてなされ、その目的は、ユーザと遠隔ユーザのコミュニケーションをとるための介入行動を制御可能な技術を提供することである。

本発明によれば、
コミュニケーションロボットであって、
第１ユーザの状態を識別する識別手段と、
遠隔から前記第１ユーザとコミュニケーションをとる第２ユーザの状態を示す状態情報を外部装置から受信する受信手段と、
前記第１ユーザの状態と前記第２ユーザの状態とに基づいて前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であるかを判定する判定手段と、
前記第１ユーザに情報を提供する提供手段と、を有し、
前記提供手段は、前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であると判定された場合に、前記第１ユーザと前記第２ユーザとのコミュニケーションを提案する情報を前記第１ユーザに提供する、
ことを特徴とするコミュニケーションロボットが提供される。

本発明によれば、ユーザと遠隔ユーザのコミュニケーションをとるための介入行動を制御になる。

添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の実施形態１に係るコミュニケーションシステムの一例を示す図 実施形態１に係るコミュニケーションロボットの機能構成例を示すブロック図 実施形態１に係るコミュニケーションロボットのソフトウェア構成の一例を示すブロック図 実施形態１に係るユーザ状態テーブルの一例を示す図 実施形態１に係るコミュニケーション制御処理の一連の動作を示すフローチャート 実施形態１に係る履歴処理の一連の動作を示すフローチャート 実施形態１に係るユーザ状態に係る設定画面の一例を示す図 実施形態１に係るコミュニケーションロボットが介入するユーザ状態を選択する選択画面の一例を示す図 実施形態２に係るコミュニケーションシステムの一例を示す図 実施形態２に係る情報処理サーバの機能構成例を示すブロック図 実施形態２に係るコミュニケーションロボットのソフトウェア構成の一例を示すブロック図 実施形態２に係る情報処理サーバのソフトウェア構成の一例を示すブロック図 実施形態２に係る情報処理サーバにおけるコミュニケーション制御処理の一連の動作を示すフローチャート 実施形態２に係るコミュニケーションロボットにおけるコミュニケーション制御処理の一連の動作を示すフローチャート

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでするものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

（実施形態１）
［システム概要］
本実施形態では、対人用の可動式コミュニケーションロボット（以下、単に「ロボット」）が、ユーザと遠隔にいるユーザとがコミュニケーションを行えるように、ユーザの状態に応じてユーザに介入する形態について説明する。ここでロボットがインタラクションを行うユーザ（単に対象ユーザともいう）は、育児の対象となる児童（子供）である場合を例に説明する。また、遠隔にいるユーザ（単に遠隔ユーザともいう）は、対象ユーザとは離れた家・場所にいる祖父母である場合を例に説明する。しかし、本実施形態はこれに限定されるものではなく、対象ユーザと遠隔ユーザとが友人同士である場合など他の人物のコミュニケーションにも適用可能である。また、本実施形態では、ロボットと児童とのコミュニケーションが行われる場所を所定の空間（例えば、子供部屋や共有スペースなどの家庭内の空間）を想定して説明する。また、遠隔ユーザが滞在する場所を所定の遠隔の空間（例えば、祖父母の家庭内の共有スペースや滞在先の空間）として説明する。

図１は、本実施形態に係るコミュニケーションシステム１０の一例を示している。本システムでは、所定の空間にロボット１００と対象ユーザ１１０とが存在し、ロボット１００が対象ユーザ１１０とインタラクションを行う。ロボット１００はネットワーク１２０を介して遠隔ユーザ１６０が用いる装置１５０（例えばモバイルデバイス）と通信することができる。すなわち、対象ユーザ１１０と遠隔ユーザ１６０とは、ロボット１００と装置１５０とを介してコミュニケーションを行うことができる。なお、本実施形態では、遠隔ユーザ１６０が用いる装置１５０は例えばスマートフォンであるが、これに限らず、パーソナルコンピュータ、テレビ、タブレット端末、スマートウォッチ、ゲーム機などを含んでよい。また、装置１５０の代わりに可動式コミュニケーションロボットが存在し、対象ユーザ１１０と遠隔ユーザ１６０とが２つのコミュニケーションロボットを介してコミュニケーションを行ってもよい。

[ロボットの機能構成例]
図２は、本実施形態に係るロボット１００の機能構成例を示すブロック図である。ロボット１００が備える制御部２１０は、１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１１と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）２１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２１３とを含んで構成される。ＣＰＵ２１１は、ＨＤＤ２１２に格納されたプログラムを読み出して実行することにより、以下に示す各種処理を制御する。ＨＤＤ２１２は、不揮発性の記憶領域であり、各種処理に対応するプログラムが格納される。なお、ＨＤＤの代わりに半導体メモリが用いられてもよい。ＲＡＭ２１３は、揮発性の記憶領域であり、例えば、ワークメモリなどとして利用される。なお、制御部２１０は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、あるいは専用回路などから構成されてもよい。

更に、本実施形態に係るロボット１００は、外部との情報のインターフェースとなる各種部位を備える。以下に示す各部位は、制御部２１０による制御に基づいて動作する。音声入力部２１４は、外部からの音声情報を取得する部位であり、例えば、マイクなどが含まれる。音声入力部２１４は、本実施形態では例えば、通話を行うために対象ユーザの発話情報を取得する。撮像部２１５は、ユーザや周辺の画像情報を取得する部位であり、例えば、カメラなどが含まれる。本実施形態では例えば、動画通話を行うために対象ユーザを撮影した画像を取得する。

電源部２１６は、ロボット１００の電源を供給する部位であり、バッテリーに相当する。音声出力部２１７は、外部への音声情報を出力するための部位であり、例えば、スピーカーなどが含まれる。音声出力部２１７は、本実施形態では例えば、遠隔ユーザの発話を出力する。画像表示部２１８は、画像情報を出力するための部位であり、ディスプレイなどが含まれる。画像表示部２１８は、本実施形態では例えば、動画通話を行うために遠隔ユーザの画像を表示する。操作部２１９は、ロボットに対するユーザー操作を行うための部位である。画像表示部２１８と操作部２１９は、例えば、入力装置としても機能するタッチパネルディスプレイとしてまとめて構成されてもよい。

報知部２２０は、各種情報を外部に報知するための部位であり、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの発光部であってもよいし、音声出力部２１７と一体となっていてもよい。駆動部１２１は、ロボット１００の移動を行う部位であり、例えば、アクチュエーターやタイヤ、モーター、エンジンなどが含まれていてよい。センサ部２２２は、外部環境の情報を取得するための各種センサを含む。センサとしては、例えば、温度センサ、湿度センサ、赤外線センサ、深度センサ、ライダー（ＬｉＤＡＲ： Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などが含まれてよく、取得すべき情報に応じてセンサが設けられてよい。また、撮像部２１５がセンサ部２２２に含まれてもよい。通信部２２３は、ネットワーク１２０を介して外部装置（例えば遠隔ユーザの用いる装置１５０や外部サーバ）と通信を行うための部位であり、通信方式や通信プロトコルなどは特に限定するものではない。また、通信部２２３には、自身の位置情報を検知するためのＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）が含まれてもよい。

なお、図２の構成例では、各部位をそれぞれ１つのブロックにて示しているが、ロボット１００の機能や構造に併せて、物理的に複数個所に各部位が分けて設置されてよい。また、例えば、電源部２１６などはロボット１００から着脱可能に構成されてもよいし、新たな機能を提供するための部位を増設するためのインターフェースを備えてもよい。

なお、ロボット１００の外観は特に限定するものでは無いが、例えば、コミュニケーション対象として想定する人物（例えば、児童）に応じて構成されていてよい。また、ロボットの材質やサイズなども特に限定するものではない。

[ロボットのソフトウェア構成]
図３は、本実施形態に係るロボット１００のソフトウェア構成の例を示す図である。本実施形態において、各処理部はＣＰＵ２１１がＨＤＤ２１２等に格納されたプログラムを読み出して実行することにより実現される。また、各ＤＢ（データベース）は、ＨＤＤ２１２に構成される。なお、ソフトウェア構成は本実施形態の例示的な構成例を示しており、ファームウェア、ＯＳ、ミドルウェア、フレームワークなどの各ソフトウェア構成は省略している。

ユーザ状態識別部３０１は、センサ部２２２、撮像部２１５、音声入力部２１４からの情報や、外部から受信した情報に基づき、対象ユーザのユーザ状態を識別する部位である。ここでのユーザ状態については、図４を参照して後述する。なお、ユーザ状態は全てがユーザ状態識別部３０１によって識別されなくてもよく、ユーザ状態の一部は、通信部２２３を介して外部から設定が行われてもよいし、操作部２１９を介してロボット１００側にて設定されてもよい。ユーザ状態ＤＢ３１３は、ユーザ状態テーブルを格納する。ユーザ状態テーブルについては、図４を参照して詳述するが、識別されたユーザ状態と、ユーザ状態に応じて対象ユーザと遠隔ユーザとの間で行われるコミュニケーション内容との対応関係を定義している。ユーザ状態処理部３０２は、ユーザ状態識別部３０１にて識別されたユーザ状態と、ユーザ状態ＤＢ３１０に記憶されるユーザ状態テーブルとを用いて、識別されたユーザ状態に対して行われるコミュニケーション内容を特定する。

ユーザ状態の識別は周期的に行われてよい。ユーザ状態識別部３０１は、周期的に識別した対象ユーザのユーザ状態と、識別した場所および時間とを、対象ユーザの行動履歴として行動履歴ＤＢ３１２に格納する。周期的に対象ユーザのユーザ状態を識別する場合に、図４に示すユーザ状態が識別できない場合には、ユーザ状態を「未識別」などとして格納する。

マップ管理部３０３は、ロボット１００が動作を行う空間のマップを作成し、周期的に更新する。マップは、ロボット１００が備えるセンサ部２２２や撮像部２１５にて取得された情報に基づいて作成されてもよいし、通信部２２３を介して外部から取得されたローケーション情報に基づいて作成されてもよい。マップ管理部３０３は、作成または更新したマップを、マップ情報ＤＢ３１１に格納する。また、マップ管理部３０３は、識別されたユーザ状態に応じて、マップ情報を提供する。

通信処理部３０４は、外部との情報のやり取りを行う。例えば、通信処理部３０４は、遠隔ユーザの状態を示す状態情報を受信したり、対象ユーザと遠隔ユーザとがコミュニケーションを行うための音声通話又は動画通話のデータを送受信したりする。あるいは、対象ユーザについて識別されたユーザ状態を示す状態情報を外部装置に送信してもよい。

遠隔ユーザ状態取得部３０５は、遠隔ユーザのユーザ状態を示す状態情報をネットワーク１２０を介して取得する。また、遠隔ユーザのユーザ状態の取得は周期的に行われてよい。周期的に取得される遠隔ユーザのユーザ状態は、遠隔ユーザの行動履歴として行動履歴ＤＢ３１２に格納されてもよい。

コミュニケーション制御部３０６は、ユーザ状態識別部３０１で識別される対象ユーザのユーザ状態と、遠隔ユーザ状態取得部３０５で取得される遠隔ユーザのユーザ状態とに基づいて、対象ユーザに介入する。そして、対象ユーザと遠隔ユーザとの間のコミュニケーション（音声通話または動画通話）を開始させるように制御する。コミュニケーション制御部３０６による処理は、コミュニケーション制御処理として後述する。

行動履歴処理部３０７は、行動履歴ＤＢ３１２に格納される周期的な対象ユーザのユーザ状態に基づいて、対象ユーザのユーザ状態のパターンを識別する（すなわちパターン識別手段として機能する）。また、遠隔ユーザのユーザ状態が行動履歴ＤＢ３１２に格納される場合、周期的な遠隔ユーザのユーザ状態に基づいて、遠隔ユーザのユーザ状態のパターンを識別してもよい。移動制御部３０８は、識別されたユーザ状態等に応じて、ロボットをコミュニケーションが行われる場所に移動させるように制御する。

［ユーザ状態］
上述のように、本実施形態のロボットは、対象ユーザと遠隔ユーザとがコミュニケーションを行うことができるように、対象ユーザが所定のユーザ状態である場合にユーザに介入し、遠隔ユーザとのコミュニケーションを提案する。ロボットが対象ユーザに介入するために考慮するユーザ状態の一例について説明する。

図４は、本実施形態に係るユーザ状態とそれぞれのユーザ状態に関連付けられるコミュニケーションの内容とを表す、ユーザ状態テーブル４００を示している。ユーザ状態テーブル４００は、ユーザ状態４０１、発生タイミング４０２、コミュニケーション内容４０３、およびコミュニケーション場所４０４とで構成される。ユーザ状態４０１はユーザ状態を識別する名称であり、発生タイミング４０２は、ロボット１００が対応するユーザ状態を識別するタイミングを示す。コミュニケーション内容４０３は、対応するユーザ状態において行われるコミュニケーションの内容の例を示しており、コミュニケーション場所４０４は、対応するコミュニケーションが行われる場所を示す。

「強い感情が表れている」ユーザ状態は、対象ユーザ（子供）が泣いているまたは怒鳴っている状態である。ロボット１００は、このユーザ状態を、例えば音声情報に基づいて識別する。このユーザ状態と関連付けられているコミュニケーション内容は（泣いている又は怒鳴っている子供に）祖父母が話しかけるものである。遠隔ユーザである祖父母がロボットを介して対象ユーザに介入して、対象ユーザに話しかけることができれば、対象ユーザの気持ちを落ちつけたり、素直に話をするきっかけとなる。ロボットは、このコミュニケーションを、対象ユーザ（子供）の現在位置において行う。

「学習・練習開始」のユーザ状態は、例えば子供が音読、楽器の練習、踊りの練習を開始した状態である。ロボット１００は、例えば、ロボット１００の操作部２１９または子供の両親の端末を介して、学習・練習を開始したことが入力された場合に、この状態を識別する。ロボット１００が子供の周辺にいる場合、ロボット１００が音声情報や画像情報に基づいて子供の行動を認識することにより、この状態を識別してもよい。このユーザ状態に対するコミュニケーション内容は、例えば子供の動きや発話を祖父母が確認するものである。遠隔ユーザである祖父母がロボットを介して対象ユーザに介入して、音読を聞いてあげたり、練習を見守ってあげることができれば、親に代わって又は親に加わって子供の練習を支援することができる。ロボット１００は、このコミュニケーションを例えば対象ユーザ（子供）の現在位置において行う。

「就寝直前」のユーザ状態は、対象ユーザが所定の就寝前の行動をとった後にベットに入った状態である。ロボット１００は、音声情報や画像情報などに基づいて、所定の時間帯に子供が歯磨きをしてトイレを済ませるような所定の就寝前行動をとったことを識別した場合、当該ユーザ状態を識別する。このユーザ状態に対するコミュニケーション内容は、例えば祖父母による発話（読み聞かせ）である。遠隔ユーザである祖父母がロボット介して対象ユーザに介入して、読み聞かせをすることができれば、読み聞かせの機会を増やしたり親の労力を軽減することができる。ロボット１００は、このコミュニケーションを共有スペースまたは子供部屋において行う。

「出かける直前」のユーザ状態は、対象ユーザが所定の外出前の行動をとったときであり、その後、玄関に向かう状態である。ロボット１００は、音声情報や画像情報などに基づいて、所定の時間帯に子供が歯磨きをして所定の持ち物を準備するような所定の外出行動をとったことを識別した場合、当該ユーザ状態を識別する。このユーザ状態に対するコミュニケーション内容は、例えば祖父母による送り出しの挨拶である。遠隔ユーザである祖父母がロボット介して対象ユーザに介入して、送り出しの挨拶をすることができれば、一言元気づけるなど親の代わりに又は親に加えて子供を送り出すことができる。ロボット１００は、このコミュニケーションを玄関で行う。

「帰宅直前」のユーザ状態は、対象ユーザが自宅周辺まで帰宅した状態である。ロボット１００は、通信部２２３を介して、対象ユーザが所持するＧＰＳ信号を所定頻度で受信して対象ユーザの移動軌跡を取得し、その移動軌跡が自宅から所定距離の範囲に近づいた場合にこのユーザ状態を識別する。このユーザ状態に対するコミュニケーション内容は、例えば祖父母による帰宅を迎える挨拶である。このときロボット１００は、対象ユーザに介入するために玄関に移動し、待機する。遠隔ユーザである祖父母がロボット介して対象ユーザに介入して、迎え入れる挨拶をすることができれば、親不在の場合であっても親の代わりに子供を迎え入れることができ、子供の寂しさを低減することができる。ロボット１００は、このコミュニケーションを玄関で行う。

そのほか、ユーザ状態には、例えば「テレビ視聴中」や「コミュニケーション希望の意思表示中」などが含まれてよい。「テレビ視聴中」のユーザ状態は、対象ユーザがテレビを見ている状態である。この状態は比較的リラックスした状態であり遠隔ユーザである祖父母が入ってきて会話を行うことが可能な場合がある。また、ロボット１００は、例えば、ロボット１００の操作部２１９または子供の両親の端末を介して、（所定の時間などに）コミュニケーションを希望することが入力された場合に、「コミュニケーション希望の意思表示中」の状態を識別する。これらの状態のコミュニケーション内容は、対象ユーザと遠隔ユーザとが例えば通常の会話を行うものになる。例えば、コミュニケーション希望の意思表示は、例えば、子供の両親の端末に表示される、図７に示す操作画面から設定することができる。ラジオボタン７０１を押下することによって現時点でコミュニケーション可能であることを設定したり、「２０：００から２１：００まで」コミュニケーション可能であることを設定する。両親の端末で入力された情報はロボット１００の通信部２２３によって受信され、その後、ユーザ状態の判定に用いられる。設定された時間情報は、遠隔ユーザの装置に送信されてもよい。

また、上述の説明では、ユーザ状態として、コミュニケーション可能な状態のみを示した。しかし、「食事中」、「入浴中」、「就寝中」などのコミュニケーション不可能な状態を含んでもよい。

さらに、ロボットが識別するユーザ状態は、対象ユーザの属性に応じてその状態が異なってもよい。例えば、年齢に応じて、「出かける直前」と「帰宅直前」と「学習・練習開始」のユーザ状態のみをロボットが識別するように設定してもよい。識別するユーザ状態の選択は、例えばロボット１００の操作部２１９または子供の両親の端末を介して行えるような構成であってもよい。例えば、図８に示すユーザ状態選択画面８００のように、リストされるユーザ状態８０２のそれぞれに対してチェックマーク８０１を付与することにより、ロボット１００が処理対象とするユーザ状態を設定してもよい。

［遠隔ユーザのユーザ状態］
本実施形態では、ロボット１００は、上述した対象ユーザのユーザ状態を識別した場合に、遠隔ユーザのユーザ状態を取得して、遠隔ユーザのユーザ状態を考慮する。本実施形態では、説明を簡単にするために、遠隔ユーザのユーザ状態は、コミュニケーション可能な状態、または所定の時間帯にコミュニケーション可能な状態のみであるものとする。このようなユーザ状態は、遠隔ユーザの用いる装置１５０上で図７に示す操作画面と同様の操作画面によって設定される。もちろん、遠隔ユーザ側にロボット１００と同様のロボットが存在し、当該ロボットによって遠隔ユーザのユーザ状態が識別されてもよい。この場合、例えば遠隔ユーザのテレビを視聴している状態を識別している場合には遠隔ユーザがコミュニケーション可能である。

［コミュニケーションの提案］
本実施形態に係るロボット１００は、対象ユーザのユーザ状態と、遠隔ユーザのユーザ状態とを考慮して、コミュニケーション可能であると判定した場合に、対象ユーザに遠隔ユーザとのコミュニケーションを提案する情報を提供する。コミュニケーションを提案する情報の提供は、音声、画像の提示によりなされてよい。これらの音声や画像には、コミュニケーションを行う相手方の名前や、コミュニケーション内容を表す情報を含んでよい。コミュニケーション内容を表す情報は、ユーザ状態が「出かける直前」であれば、例えば「おばあさんから挨拶があるよ」との情報を含む。また、ユーザ状態が「強い感情が表れている」であれば、「おばあさんが声をかけてくれるよ」などと、ユーザ状態に応じて異なる内容を含む。

また、ロボット１００は、対象ユーザにコミュニケーションを提案するために対象ユーザに介入する場合、対象人物に近づいていって、その周りを回ったり、ユーザ状態に応じて予め決められた画像や音声を報知部２２０により報知してもよい。

［マッピング動作］
ロボット１００のマップ管理部３０３は、撮像部２１５、センサ部２２２等にて取得された周辺情報を用いて、動作する空間のマップを作成する。例えば、一定時間が経過するごとに、これらの周辺情報を再収集し、マップを更新するようにしてもよい。例えば、家具の配置が変更になった場合には、その変更後の状態に応じて、マップ情報を更新してよい。更に、マップ管理部３０３は、通信部２２３を介して外部からの情報（地図情報や位置情報など）を取得してマッピングを行うようにしてもよい。また、マップ管理部３０３は、各領域に存在する物体を検知して、その領域の用途を対応付けるような構成であってもよい。例えば、ベッドが存在する領域であればその領域を寝室として対応付けてもよく、おもちゃや机がある領域は子供部屋として対応付けてもよい。領域の用途が特定できない場合には、ユーザにより設定を受け付けるような構成であってもよい。

［コミュニケーション制御処理］
図５は、本実施形態に係るロボット１００のコミュニケーション制御処理の一連の動作を示すフローチャートである。本実施形態において、本処理は、ロボット１００のＣＰＵ２１１がＨＤＤ２１２に記憶されたプログラムを読み出して実行することにより実現される。各処理工程は、例えば、図２の部位や図３の処理部が協働して実現されるが、ここでは説明を簡略化するために、処理主体をロボット１００として包括的に説明する。

Ｓ５０１において、ロボット１００は、対象ユーザの状態監視を行う。本実施形態では、状態監視は、例えば、対象ユーザが撮像部２１５の視界に入る範囲や対象ユーザの行動音を収集可能な範囲で対象ユーザが行動する状態で行われる。ロボット１００は、対象ユーザの状態監視をより行い易いように移動しながら情報を収集してもよい。

Ｓ５０２において、ロボット１００は、ユーザが所定のユーザ状態であるかを判定する。ロボット１００が識別する所定のユーザ状態は、図４について上述したユーザ状態であり、ロボット１００は図４を参照して説明したそれぞれの方法により、各ユーザ状態を識別する。ロボット１００は、所定のユーザ状態が識別された場合（Ｓ５０２にてＹＥＳ）にはＳ５０３へ進み、そうでない場合（Ｓ５０２にてＮＯ）にはＳ５０１へ戻って、状態監視を継続する。

Ｓ５０３において、ロボット１００は、遠隔ユーザのユーザ状態を取得する。まず、ロボット１００は、例えば、Ｓ５０２において識別されたユーザ状態を示す状態情報を遠隔ユーザの用いる装置１５０に送信してもよいし、遠隔ユーザのユーザ状態を要求するリクエスト情報を装置１５０に送信してもよい。ロボット１００は、遠隔ユーザの装置１５０が上記情報に応答して送信した、遠隔ユーザのユーザ状態を示す状態情報を取得する。

Ｓ５０４において、ロボット１００は、識別された対象ユーザのユーザ状態と遠隔ユーザのユーザ状態とに基づいて、対象ユーザと遠隔ユーザとのコミュニケーションが可能であるかを判定する。例えば、ロボット１００は、識別された対象ユーザのユーザ状態と遠隔ユーザのユーザ状態とが共にコミュニケーション可能なユーザ状態である場合に、対象ユーザと遠隔ユーザとはコミュニケーションが可能であると判定する。本実施形態の例では、図４に示した対象ユーザのユーザ状態はコミュニケーション可能な状態である。このため、遠隔ユーザが図７に示した操作画面でコミュニケーション可能に設定していれば、対象ユーザと遠隔ユーザとはコミュニケーション可能であると判定される。ロボット１００は、コミュニケーション可能と判定した場合（Ｓ５０４にてＹＥＳ）にはＳ５０５へ進み、そうでない場合（Ｓ５０４にてＮＯ）には本処理を終了する。

Ｓ５０５において、ロボット１００は、コミュニケーションを行う場所に移動する。例えば、ロボット１００は、対象ユーザが近くにいない場合には対象ユーザのいる場所に移動する。また、識別されたユーザ状態のコミュニケーション場所が特定の場所である（すなわち対象ユーザの現在位置でない）場合、当該特定の場所へ移動する。例えば、識別された対象ユーザのユーザ状態が「出かける直前」や「帰宅直前」である場合、ロボット１００はコミュニケーション場所である「玄関」に移動する。すなわち、ロボット１００は、識別された対象ユーザのユーザ状態に応じて、異なるコミュニケーション場所に移動することができる。

Ｓ５０６において、ロボット１００は、対象ユーザにコミュニケーションを提案する。具体的には、ロボット１００は、対象ユーザが所定の距離以下に近づいたことに応じて、コミュニケーションを提案する情報を画像表示部２１８に表示あるいは音声出力部２１７から音声として出力する。具体的なコミュニケーションの提案については、上述した通り、ユーザ状態に応じて異なるコミュニケーション内容を含む。ロボット１００は、対象ユーザからの提案に対する応答を受け付けるように待機する。例えば、ロボット１００は、提案に対する応答は「コミュニケーションする」と「コミュニケーションしない」とのいずれかを、タッチパネルへ接触や音声により受け付ける。

Ｓ５０７において、ロボット１００は、対象ユーザがコミュニケーションの提案を受け入れたかを判定する。ロボット１００は、提案に対する応答が「コミュニケーションする」である場合、対象ユーザが提案を受け入れたと判定（Ｓ５０７にてＹＥＳ）してＳ５０８へ進む。一方、提案に対する応答が「コミュニケーションしない」（あるいはタイムアウトであってもよい）である場合（Ｓ５０７にてＮＯ）、本処理を終了する。

Ｓ５０８において、ロボット１００は、遠隔ユーザの装置１５０へ通話開始要求を送信し、装置１５０からの通話開始要求に対する応答を待つ。遠隔ユーザの装置１５０は、通話開始要求を受信すると、音声情報等を用いて遠隔ユーザに通話開始要求の到着を報知（すなわち遠隔ユーザへ介入）して、遠隔ユーザによる通話開始を受け入れを待つ。ロボット１００が送信する通話開始要求は、対象ユーザのユーザ状態や、コミュニケーション内容を含んでよい。このため、遠隔ユーザの装置１５０は、対象ユーザのユーザ状態やコミュニケーション内容を提示してコミュニケーションを提案したうえで、「コミュニケーションする」と「コミュニケーションしない」との選択を遠隔ユーザから受け付ける。この場合、遠隔ユーザは対象ユーザのユーザ状態を確認したうえでコミュニケーションを開始することができる。

Ｓ５０９において、ロボット１００は、装置１５０からの通話開始要求に対する応答を受信すると、装置１５０側で通話開始要求が受け入れられたかを判定する。ロボット１００は、当該応答が通話開始要求を受け入れる応答である場合（Ｓ５０９においてＹＥＳ）には、Ｓ５１０へ進み、当該応答が通話開始要求を受け入れる応答でない場合（Ｓ５０９においてＮＯ）には本処理を終了する。

Ｓ５１０において、ロボット１００は、対象ユーザと遠隔ユーザとの間の音声通話または動画通話を開始し、ユーザ状態に応じたコミュニケーション内容が実施される。コミュニケション内容の実施において、ロボット１００は、撮像部２１５および音声入力部２１４と、遠隔ユーザの用いる装置１５０とから入力される音声通話または動画通話を用いる。

画像を用いたコミュニケーションを行う場合、対象ユーザは、プライベートな空間が映り込む背景画像を変更する（背景を消したり、他の画像に差し替える）ように操作部２１９から予め設定することができる。ロボット１００は、背景画像の変更が設定されている場合には、コミュニケーション内容の実施において送信される動画像の背景を変更したうえで、変更した動画像を遠隔ユーザ側へ送信する。また、送信される動画像の変更は、背景画像の変更に限らず、ユーザ領域をアバタに変更してもよい。この場合、ロボット１００は対象ユーザを撮像した画像から対象ユーザの動きを認識して、アバタの動きに反映してもよい。更に、送信される画像の変更に限らず、対象ユーザの発話する音声を他の声に変換したり、周囲音を削減して送信するようにしてもよい。このようにすることで、対象ユーザの生活空間がありのままに伝わってしまうとユーザが不快に感じる要素を、適切に調整することができる。すなわち、伝わる情報を調整して、対象ユーザと遠隔ユーザとの間のコミュニケーションをより円滑で快適なものにすることができる。

さらに、対象ユーザは、背景やアバタの設定は、場所ごとにあるいはコミュニケーション内容ごと異なる設定を行うことができるようにしてもよい。このようにすれば、対象ユーザは気になる空間やコミュニケーションごとに対象ユーザの情報の露出度合いを最適化することができる。

なお、上述の例は対象ユーザ側から発信される音声または動画像について説明したが、遠隔ユーザ側から発信される音声または動画像を遠隔ユーザによる設定に応じて、変更してもよい。例えば、遠隔ユーザを撮影した動画像の背景を変更したり、音声を変更したりしてもよい。この場合、遠隔ユーザによる設定をロボット１００が受信したうえで、受信した音声や動画像に変更を加えて提示してもよいし、ロボット１００は遠隔ユーザが用いる装置側で変更された音声または動画像を受信して提示するようにしてもよい。

Ｓ５１１において、ロボット１００は、通話が終了されるかを判定する。例えば、ロボット１００の操作部２１９から終了操作を受け付けた場合、通話を終了すると判定して本処理を終了し、そうでない場合、Ｓ５１０における通話を継続する。

［履歴処理］
図６は、本実施形態のロボット１００における履歴処理を示すフローチャートである。本実施形態において、本処理は、ロボット１００のＣＰＵ２１１がＨＤＤ２１２に記憶されたプログラムを読み出して実行することにより実現される。各処理工程は、例えば、図２の部位や図３の処理部が協働して実現されるが、ここでは説明を簡略化するために、処理主体をロボット１００として包括的に説明する。

Ｓ６０１において、ロボット１００は、解析する対象ユーザの、例えば２週間、１か月、６か月などの期間の行動履歴情報を行動履歴ＤＢ３１２から取得する。Ｓ６０２において、ロボット１００は、対象ユーザの例えば時間帯における行動パターンを抽出する。ロボット１００は、例えば、「就寝直前」や「出かける直前」、「帰宅直前」といったユーザ状態がそれぞれ特定の時間近傍、および特定の場所で識別されるようなパターンを抽出する。

Ｓ６０３において、ロボット１００は、抽出された行動パターンの特定の場所と特定の場所とを所定のユーザ状態の発生タイミングやコミュニケーション場所を予測するための情報として行動履歴ＤＢ３１２に格納する。

ロボット１００は、格納された情報を参照して、上述したＳ５０１のユーザ状態を監視する場所を変更して、より確実にユーザ状態を判定できるようにしてもよい。すなわち、ユーザ状態の発生を予想して適切な場所に先回りし、より的確にユーザに介入する（コミュニケーションを提案する）ことができるようになる。

また、ロボット１００は、例えば「出かける直前」、「帰宅直前」といったユーザ状態について、特定の時間と特定の場所とが抽出されている場合には、コミュニケーションの開始を簡略化してもよい。すなわち、ロボット１００は、予定時間にコミュニケーションの場所に移動して、対象ユーザと遠隔ユーザのユーザ状態が共にコミュニケーション可能であれば、Ｓ５０７の提案の受け入れととＳ５０９の通話の受け入れの確認を省略してコミュニケーションを開始してもよい。このようにすれば、一言挨拶を交わすようなコミュニケーションを容易に開始することができるようになる。

以上説明したように、本実施形態では、ユーザと遠隔ユーザのコミュニケーションをとるための介入行動を制御可能になる。

（実施形態２）
以下、本発明に係る実施形態２について説明する。実施形態１では、識別した対象ユーザのユーザ状態と、遠隔ユーザのユーザ状態とに基づいて両者のコミュニケーションが可能であるかの判定を、ロボット１００が判定する例について説明した。これに対し、実施形態２では、上記両者のコミュニケーションが可能であるかの判定を情報処理サーバで行う例について説明する。なお、実施形態の説明では、同一の参照番号は同一または実質的に同一の機能を果たすものとし、重複する説明は省略して相違点について重点的に説明する。

図９は、本実施形態に係るコミュニケーションシステム９０の一例を示している。実施形態１の構成に加えて、情報処理サーバ９００が追加されている。ロボット１００はネットワーク１２０を介してデータを情報処理サーバ９００と送受信する。また、遠隔ユーザ１６０が用いる装置１５０も情報処理サーバ９００とデータを送受信する。

[ロボットおよび情報処理サーバの機能構成例]
本実施形態のロボット１００の機能構成例は、実施形態１と同様である。図１０は、情報処理サーバ９００の機能構成例を示すブロック図である。制御部１０１０は、１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１１と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）１０１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０１３とを含んで構成される。ＣＰＵ１０１１は、ＨＤＤ１０１２に格納されたプログラムを読み出して実行することにより、以下に示す各種処理を制御する。ＨＤＤ１０１２は、不揮発性の記憶領域であり、各種処理に対応するプログラムが格納される。なお、ＨＤＤの代わりに半導体メモリが用いられてもよい。ＲＡＭ１０１３は、揮発性の記憶領域であり、例えば、ワークメモリなどとして利用される。なお、制御部１０１０は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、あるいは専用回路などから構成されてもよい。また、制御部１０１０の各構成要素が仮想化された構成であってもよい。

電源部１０１４は、情報処理サーバ９００に外部からの電源を供給する部位である。通信部１０１５は、ネットワーク１２０を介してロボット１００や遠隔ユーザの用いる装置１５０と通信を行うための部位であり、通信方式や通信プロトコルなどは特に限定するものではない。

[ロボット１００のソフトウェア構成]
図１１は、本実施形態に係るロボット１００のソフトウェア構成の例を示す図である。本実施形態において、各処理部はＣＰＵ２１１がＨＤＤ２１２等に格納されたプログラムを読み出して実行することにより実現される。また、各ＤＢ（データベース）は、ＨＤＤ２１２に構成される。なお、ソフトウェア構成は本実施形態の実施に必要な構成例のみを示しており、ファームウェア、ＯＳ、ミドルウェア、フレームワークなどの各ソフトウェア構成は省略している。

ユーザ状態識別部３０１は、センサ部２２２、撮像部２１５、音声入力部２１４からの情報や、外部から受信した情報に基づき、対象ユーザのユーザ状態を識別する部位である。ユーザ状態については、図４において上述したものと同一である。なお、ユーザ状態は全てがユーザ状態識別部３０１によって識別されなくてもよく、ユーザ状態の一部は、通信部２２３を介して外部から設定が行われてもよいし、操作部２１９を介してロボット１００側にて設定されてもよい。ユーザ状態ＤＢ３１３は、ユーザ状態テーブルを格納する。ユーザ状態テーブルについては、実施形態と同様である、ユーザ状態ＤＢ３１３は、ロボット１００において更新されると情報処理サーバ９００のユーザ状態ＤＢと同期され、実質的に同一のデータが保持される。ユーザ状態識別部３０１によって識別されたユーザ状態は、ユーザ状態を示す状態情報として情報処理サーバ９００に送信される。

ユーザ状態の識別は周期的に行われてよい。ユーザ状態識別部３０１は、周期的に識別した対象ユーザのユーザ状態と、識別した場所および時間とを、対象ユーザの行動履歴として行動履歴ＤＢ３１２に格納する。周期的に対象ユーザのユーザ状態を識別する場合に、図４に示すユーザ状態が識別できない場合には、ユーザ状態を「未識別」などとして格納する。

通信処理部３０４は、外部との情報のやり取りを行う。例えば、通信処理部３０４は、情報処理サーバ９００との間でやり取りするデータを送受信したり、対象ユーザと遠隔ユーザとがコミュニケーションを行うための音声通話又は動画通話のデータを送受信したりする。

簡易コミュニケーション制御部１１０１は、情報処理サーバ９００からコミュニケーションを提案する情報を受信して、対象ユーザに介入する。そして、対象ユーザと遠隔ユーザとの間のコミュニケーション（音声通話または動画通話）を開始させるように制御する。簡易コミュニケーション制御部１１０１による処理は、簡易コミュニケーション制御処理として後述する。

なお、マップ管理部３０３、行動履歴処理部３０７、移動制御部３０８および各ＤＢは、それぞれ実施形態１と実質的に同一である。各ＤＢは、情報処理サーバ９００側のユーザ状態ＤＢ１２１０、マップ情報ＤＢ１２１１及び行動履歴ＤＢ１２１２と同期され、実質的に同一のデータが保持される。

[情報処理サーバのソフトウェア構成]
図１２は、本実施形態に係る情報処理サーバ９００のソフトウェア構成の例を示す図である。本実施形態において、各処理部はＣＰＵ１０１１がＨＤＤ１０１２等に格納されたプログラムを読み出して実行することにより実現される。また、各ＤＢ（データベース）は、ＨＤＤ１０１２に構成される。なお、ソフトウェア構成は本実施形態の実施に必要な構成例のみを示しており、ファームウェア、ＯＳ、ミドルウェア、フレームワークなどの各ソフトウェア構成は省略している。

ユーザ状態取得部１２０１は、ロボット１００からのユーザ状態を示す状態情報を取得する部位である。なお、ロボット１００においてユーザ状態の一部が外部から設定された場合であっても、当該設定されたユーザ状態を示す状態情報が情報処理サーバ９００に送信される。ユーザ状態ＤＢ１２１０は、ユーザ状態テーブルを格納する。このユーザ状態ＤＢ１２１０は、ロボット１００のユーザ状態ＤＢと同期される。ユーザ状態処理部１２０２は、ユーザ状態取得部１２０１にて取得された対象ユーザのユーザ状態と、ユーザ状態ＤＢ１２１０に記憶されるユーザ状態テーブルとを用いて、ユーザ状態に対して行われるコミュニケーション内容を特定する。

通信処理部１２０４は、ロボット１００および遠隔ユーザの用いる装置１５０との情報のやり取りを行う。例えば、通信処理部１２０４は、遠隔ユーザの状態を示す状態情報を受信したり、対象ユーザと遠隔ユーザとがコミュニケーションを行うための音声通話又は動画通話のデータを送受信したりする。あるいは、対象ユーザについて識別されたユーザ状態を示す状態情報を外部装置に送信してもよい。

遠隔ユーザ状態取得部１２０５は、遠隔ユーザのユーザ状態を示す状態情報をネットワーク１２０を介して取得する。コミュニケーション制御部１２０６は、ユーザ状態取得部１２０１で識別される対象ユーザのユーザ状態と、遠隔ユーザ状態取得部１２０５で取得される遠隔ユーザのユーザ状態とに基づいて、ロボットが対象ユーザに介入するようロボット１００を制御する。そして、対象ユーザと遠隔ユーザとの間のコミュニケーション（音声通話または動画通話）を開始させるようにロボット１００を制御する。コミュニケーション制御部１２０６による処理は、コミュニケーション制御処理として後述する。

［ユーザ状態］
上述のように、本実施形態では、情報処理サーバ９００が、対象ユーザと遠隔ユーザとがコミュニケーションを行うことが可能であるかを判定したうえで、ロボット１００に対象ユーザに介入させて、遠隔ユーザとのコミュニケーションを提案する。しかしながら、ロボット１００が識別する対象ユーザのユーザ状態は実施形態１と同様である。

［遠隔ユーザのユーザ状態］
本実施形態では、情報処理サーバ９００は、対象ユーザの所定のユーザ状態が識別された場合に、遠隔ユーザのユーザ状態を取得して、遠隔ユーザのユーザ状態を考慮する。本実施形態では、実施形態１と同様、遠隔ユーザのユーザ状態は、コミュニケーション可能な状態、または所定の時間帯にコミュニケーション可能な状態のみであるものとする。このようなユーザ状態は、遠隔ユーザの用いる装置１５０上で図７に示す操作画面と同様の操作画面によって設定される。もちろん、遠隔ユーザ側にロボット１００と同様のロボットが存在し、当該ロボットによって遠隔ユーザのユーザ状態が識別されてもよい。

［コミュニケーションを提案する手法］
本実施形態に係る情報処理サーバ９００は、対象ユーザのユーザ状態と、遠隔ユーザのユーザ状態とを考慮して、コミュニケーション可能であると判定した場合に、ロボット１００に、対象ユーザに遠隔ユーザとのコミュニケーションを提案する情報を送信する。ロボット１００は、情報処理サーバ９００から受信した情報に基づいて、対象ユーザに遠隔ユーザとのコミュニケーションを提案する情報を提供する。コミュニケーションを提案する情報は、実施形態１と同様に提供される。

［コミュニケーション制御処理］
図１３は、本実施形態に係る情報処理サーバ９００におけるコミュニケーション制御処理の一連の動作を示すフローチャートである。本実施形態において、本処理は、情報処理サーバ９００のＣＰＵ１０１１がＨＤＤ１０１２に記憶されたプログラムを読み出して実行することにより実現される。各処理工程は、例えば、図１０の部位や図１２の処理部が協働して実現されるが、ここでは説明を簡略化するために、処理主体を情報処理サーバ９００として包括的に説明する。

Ｓ１３０１において、情報処理サーバ９００は、ロボット１００が識別した対象ユーザのユーザ状態を示す状態情報を取得する。Ｓ１３０２において、情報処理サーバ９００は、取得したユーザ状態が所定のユーザ状態であるかを判定する。所定のユーザ状態は、図４について上述したユーザ状態である。情報処理サーバ９００は、取得したユーザ状態が所定のユーザ状態であると判定した場合（Ｓ１３０２にてＹＥＳ）にはＳ１３０３へ進み、そうでない場合（Ｓ１３０２にてＮＯ）にはＳ１３０１へ戻る。

Ｓ１３０３において、情報処理サーバ９００は、遠隔ユーザのユーザ状態を取得する。まず、情報処理サーバ９００は、、例えば、Ｓ１３０２において識別されたユーザ状態を示す状態情報を遠隔ユーザの用いる装置１５０に送信してもよいし、遠隔ユーザのユーザ状態を要求するリクエスト情報を装置１５０に送信してもよい。情報処理サーバ９００は、遠隔ユーザの装置１５０が上記情報に応答して送信した、遠隔ユーザのユーザ状態を示す状態情報を取得する。

Ｓ１３０４において、情報処理サーバ９００は、、取得した対象ユーザのユーザ状態と遠隔ユーザのユーザ状態とに基づいて、対象ユーザと遠隔ユーザとのコミュニケーションが可能であるかを判定する。例えば、情報処理サーバ９００は、対象ユーザのユーザ状態と遠隔ユーザのユーザ状態とが共にコミュニケーション可能なユーザ状態である場合に、対象ユーザと遠隔ユーザとはコミュニケーションが可能であると判定する。本実施形態の例では、図４に示した対象ユーザのユーザ状態はコミュニケーション可能な状態である。このため、遠隔ユーザが図７に示した操作画面でコミュニケーション可能に設定していれば、対象ユーザと遠隔ユーザとはコミュニケーション可能であると判定される。情報処理サーバ９００は、コミュニケーション可能と判定した場合（Ｓ１３０４にてＹＥＳ）にはＳ１３０５へ進み、そうでない場合（Ｓ１３０４にてＮＯ）には本処理を終了する。

Ｓ１３０５において、情報処理サーバ９００は、ロボット１００が対象ユーザにコミュニケーションを提案するための提案情報を、ロボット１００に送信する。提案情報は、ユーザ状態に応じて異なるコミュニケーション内容を含む。

Ｓ１３０６において、情報処理サーバ９００は、対象ユーザがコミュニケーションの提案を受け入れたかを判定する。例えば、情報処理サーバ９００は、対象ユーザによる応答を示す応答情報をロボット１００から受信する。そして、応答情報が「コミュニケーションする」である場合、対象ユーザが提案を受け入れたと判定（Ｓ１３０６にてＹＥＳ）してＳ１３０７へ進む。一方、提案に対する応答が「コミュニケーションしない」（あるいはタイムアウトであってもよい）である場合（Ｓ１３０６にてＮＯ）、本処理を終了する。

Ｓ１３０７において、情報処理サーバ９００は、遠隔ユーザの装置１５０へ通話開始要求を送信し、装置１５０からの通話開始要求に対する応答を待つ。遠隔ユーザの装置１５０は、通話開始要求を受信すると、音声情報等を用いて通話開始要求の到着を報知（すなわち遠隔ユーザへ介入）して、遠隔ユーザによる通話開始を受け入れを待つ。情報処理サーバ９００が送信する通話開始要求は、対象ユーザのユーザ状態や、コミュニケーション内容を含んでよい。このため、遠隔ユーザの装置１５０は、対象ユーザのユーザ状態やコミュニケーション内容を提示してコミュニケーションを提案したうえで、「コミュニケーションする」と「コミュニケーションしない」との選択を遠隔ユーザから受け付ける。この場合、遠隔ユーザは対象ユーザのユーザ状態を確認したうえでコミュニケーションを開始することができる。

Ｓ１３０８において、情報処理サーバ９００は、装置１５０からの通話開始要求に対する応答を受信すると、装置１５０側で通話開始要求が受け入れられたかを判定する。情報処理サーバ９００は、当該応答が通話開始要求を受け入れる応答である場合（Ｓ１３０８においてＹＥＳ）には、Ｓ１３０９へ進み、当該応答が通話開始要求を受け入れる応答でない場合（Ｓ１３０８においてＮＯ）には本処理を終了する。

Ｓ１３０９において、情報処理サーバ９００は、対象ユーザと遠隔ユーザとの間の音声通話または動画通話を開始し、ユーザ状態に応じたコミュニケーション内容が実施される。コミュニケション内容の実施において、情報処理サーバ９００は、ロボット１００の撮像部２１５および音声入力部２１４と、遠隔ユーザの用いる装置１５０とから入力される音声通話または動画通話を用いる。

画像を用いたコミュニケーションを行う場合、情報処理サーバ９００は、対象ユーザのプライベートな空間が映り込む背景画像を変更（背景を消したり、他の画像に差し替える）することができる。例えば、情報処理サーバ９００は、ロボット１００の操作部２１９で予め設定された設定情報をロボット１００から取得して背景画像を変更する。情報処理サーバ９００は、背景画像を変更する設定情報を取得している場合には、ロボット１００から送信される動画像の背景を変更したうえで、変更した動画像を遠隔ユーザ側へ送信する。

また、送信される動画像の変更は、背景画像の変更に限らず、ユーザ領域をアバタに変更してもよい。この場合、情報処理サーバ９００は対象ユーザを撮像した画像から対象ユーザの動きを認識して、アバタの動きに反映してもよい。更に、送信される画像の変更に限らず、対象ユーザの発話する音声を他の声に変換したり、周囲音を削減して送信するようにしてもよい。このようにすることで、対象ユーザの生活空間がありのままに伝わってしまうとユーザが不快に感じる要素を、適切に調整することができる。すなわち、伝わる情報を調整して、対象ユーザと遠隔ユーザとの間のコミュニケーションをより円滑で快適なものにすることができる。

さらに、対象ユーザは、背景やアバタの設定は、場所ごとにあるいはコミュニケーション内容ごと異なる設定を行うことができるようにしてもよい。このようにすれば、対象ユーザは気になる空間やコミュニケーションごとに対象ユーザの情報の露出度合いを最適化することができる。

なお、上述の例は対象ユーザ側から発信される音声または動画像について説明したが、遠隔ユーザ側から発信される音声または動画像を遠隔ユーザによる設定に応じて、変更してもよい。例えば、遠隔ユーザを撮影した動画像の背景を変更したり、音声を変更したりしてもよい。この場合、遠隔ユーザによる設定を情報処理サーバ９００が受信したうえで、受信した音声や動画像に変更を加えて提示してもよい。また、情報処理サーバ９００は遠隔ユーザが用いる装置側で変更された音声または動画像を受信してロボット１００に送信するようにしてもよい。

Ｓ１３１０において、情報処理サーバ９００は、通話が終了されるかを判定する。例えば、ロボット１００から終了要求を受け付けた場合、通話を終了すると判定して本処理を終了し、そうでない場合、Ｓ１３０９における通話を継続する。

［簡易コミュニケーション制御処理］
図１４は、本実施形態に係るロボット１００における簡易コミュニケーション制御処理の一連の動作を示すフローチャートである。本実施形態において、本処理は、ロボット１００のＣＰＵ２１１がＨＤＤ２１２に記憶されたプログラムを読み出して実行することにより実現される。各処理工程は、例えば、図２の部位や図３の処理部が協働して実現されるが、ここでは説明を簡略化するために、処理主体をロボット１００として包括的に説明する。

Ｓ１４０１において、ロボット１００は、対象ユーザの状態監視を行う。Ｓ１４０２において、ロボット１００は、所定のユーザ状態を識別すると、ユーザ状態を示す状態情報を情報処理サーバ９００に送信する。

Ｓ１４０３において、ロボット１００は、情報処理サーバ９００から提案情報を受信する。すなわち、情報処理サーバ９００では対象ユーザと遠隔ユーザとがコミュニケーション可能であると判定したことを意味する。

Ｓ１４０４において、ロボット１００は、コミュニケーションを行う場所に移動する。例えば、ロボット１００は、対象ユーザが近くにいない場合には対象ユーザのいる場所に移動する。また、識別されたユーザ状態のコミュニケーション場所が特定の場所である（すなわち対象ユーザの現在位置でない）場合、当該特定の場所へ移動する。例えば、提案情報に含まれるユーザ状態が「出かける直前」や「帰宅直前」である場合、ロボット１００はコミュニケーション場所である「玄関」に移動する。すなわち、ロボット１００は、識別された対象ユーザのユーザ状態に応じて、異なるコミュニケーション場所に移動することができる。

Ｓ１４０５において、ロボット１００は、情報処理サーバ９００からの提案情報に基づき、対象ユーザにコミュニケーションを提案する。具体的には、ロボット１００は、対象ユーザが所定の距離以下に近づいたことに応じて、コミュニケーションを提案する情報を画像表示部２１８に表示あるいは音声出力部２１７から音声として出力する。具体的なコミュニケーションの提案については、上述した通り、ユーザ状態に応じて異なるコミュニケーション内容を含む。ロボット１００は、対象ユーザからの提案に対する応答を受け付けるように待機する。ロボット１００は、提案に対する応答は「コミュニケーションする」と「コミュニケーションしない」とのいずれかを、タッチパネルへ接触や音声により受け付けるものとする。

Ｓ１４０６において、ロボット１００は、コミュニケーションの提案に対する対象ユーザの応答を、情報処理サーバ９００に送信する。Ｓ１４０７において、ロボット１００は、情報処理サーバ９００から通話開始要求を受信する。Ｓ１４０８において、ロボット１００は、対象ユーザと遠隔ユーザとの間の音声通話または動画通話を開始し、ユーザ状態に応じたコミュニケーション内容が実施される。Ｓ１４０９において、ロボット１００は、通話が終了されるかを判定する。例えば、ロボット１００の操作部２１９から終了操作を受け付けた場合、通話を終了すると判定して情報処理サーバ９００に通話終了要求を送信して本処理を終了する。そうでない場合、Ｓ１４０８における通話を継続する。

以上説明したように、本実施形態では、ユーザと遠隔ユーザのコミュニケーションをとるための介入行動を制御可能になる。

＜実施形態のまとめ＞
１．上記実施形態のコミュニケーションロボット（例えば１００）は、
第１ユーザの状態を識別する識別手段（例えば３０１、Ｓ５０２）と、
遠隔から前記第１ユーザとコミュニケーションをとる第２ユーザの状態を示す状態情報を外部装置から受信する受信手段（例えば３０４、Ｓ５０３）と、
前記第１ユーザの状態と前記第２ユーザの状態とに基づいて前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であるかを判定する判定手段（例えば３０６）と、
前記第１ユーザに情報を提供する提供手段（例えば２１７、２１８、３０６、Ｓ５０６）と、を有し、
前記提供手段は、前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であると判定された場合に、前記第１ユーザと前記第２ユーザとのコミュニケーションを提案する情報を前記第１ユーザに提供する。

この実施形態によれば、ユーザと遠隔ユーザのコミュニケーションをとるための介入行動を制御可能なコミュニケーションロボットを提供することが可能になる。

２．上記実施形態のコミュニケーションロボットは、
前記提供手段により提供された情報に対する前記第１ユーザからの応答を受け付ける受付手段（例えば２１４、２１９、Ｓ５０７）と、
前記第１ユーザと前記第２ユーザとの間の音声通話又は動画通話を制御する通話制御手段（例えば３０４、Ｓ５１０）と、を更に有し、
前記通話制御手段は、前記第１ユーザからの応答が前記第１ユーザと前記第２ユーザとのコミュニケーションを開始することを示す場合、第２ユーザの用いる装置と前記コミュニケーションロボットとを介した音声通話又は動画通話を開始させる（例えばＳ５１０）。

この実施形態によれば、コミュニケーションロボットの介入により、対象ユーザと遠隔ユーザとが通話ベースのコミュニケーションを所望に開始することができる。

３．上記実施形態のコミュニケーションロボットでは、
前記通話制御手段は、前記第１ユーザからの応答が前記第１ユーザと前記第２ユーザとのコミュニケーションを開始することを示す場合、前記第２ユーザの用いる装置へコミュニケーションの開始要求を送信（例えばＳ５０８）し、前記第２ユーザの用いる装置により前記開始要求が受け入れられない場合には、前記第２ユーザの用いる装置と前記コミュニケーションロボットとを介した音声通話又は動画通話を開始させない（例えばＳ５０９）。

この実施形態によれば、遠隔ユーザの都合を最終的に確認したうえでコミュニケーションを開始することができる。

４．上記実施形態のコミュニケーションロボットでは、
前記提供手段により提供される情報は、前記第１ユーザと前記第２ユーザとの間で行うコミュニケーション内容を更に含み、
前記提供手段は、識別された前記第１ユーザの状態に応じて、前記コミュニケーション内容を異ならせる（例えばＳ５０６）。

この実施形態によれば、ユーザはどのようなコミュニケーションを行うためにロボットによって介入されたかを容易に把握することができる。

５．上記実施形態のコミュニケーションロボットでは、
前記第１ユーザと前記第２ユーザとの間のコミュニケーション内容は予め操作手段を介して設定可能である（図８）。

この実施形態によれば、遠隔ユーザとのコミュニケーションの内容を対象ユーザに合わせて設定することができる。

６．上記実施形態のコミュニケーションロボットでは、
前記コミュニケーション内容は、音声通話又は動画通話を用いて前記第２ユーザによって前記第１ユーザの帰宅を迎える、あるいは前記第１ユーザの送り出すコミュニケーションである（図４）。

この実施形態によれば、遠隔ユーザである祖父母がロボットを介して対象ユーザに介入して、対象ユーザに話しかけることにより、親不在の場合であっても親の代わりに子供を迎え入れたり送り出すことができ、子供の寂しさを低減することができる。

７．上記実施形態のコミュニケーションロボットでは、
前記コミュニケーション内容は、音声通話又は動画通話を用いて前記第２ユーザが泣いている前記第１ユーザに話しかけるコミュニケーションである（図４）。

この実施形態によれば、遠隔ユーザである祖父母がロボットを介して対象ユーザに介入して、対象ユーザに話しかけることにより、対象ユーザの気持ちを落ちつけたり、素直に話をするきっかけとなる。

８．上記実施形態のコミュニケーションロボットでは、
前記コミュニケーション内容は、音声通話又は動画通話を用いて前記第１ユーザが行う動きまたは発話を前記第２ユーザが確認するコミュニケーションである（図４）。

この実施形態によれば、遠隔ユーザである祖父母がロボットを介して対象ユーザに介入して、音読を聞いてあげたり、練習を見守ってあげることにより、親に代わって又は親に加わって子供の練習を支援することができる。

９．上記実施形態のコミュニケーションロボットでは、
前記コミュニケーション内容は、音声通話を用いて前記第２ユーザによる発話を前記第１ユーザが聞くコミュニケーションである（図４）。

この実施形態によれば、遠隔ユーザである祖父母がロボット介して対象ユーザに介入して、読み聞かせをすることにより、読み聞かせの機会を増やしたり親の労力を軽減することができる。

１０．上記実施形態のコミュニケーションロボットは、
前記第１ユーザが前記コミュニケーションロボットを介してコミュニケーションを行う場所に前記コミュニケーションロボットを移動させる移動制御手段（例えば３０８）を更に有し、
前記移動制御手段は、前記第１ユーザの状態に応じて予め定められたコミュニケーションを行う場所に前記コミュニケーションロボットを移動させる。

この実施形態によれば、対象ユーザに介入してコミュニケーションを提案する場所に、コミュニケーションロボットが自律的に移動することができる。

１１．上記実施形態のコミュニケーションロボットは、
周期的に収集される前記第１ユーザの状態を示す状態情報を記憶する記憶手段と、
前記記憶手段に記憶された状態情報に基づいて前記第１ユーザの状態のパターンを識別するパターン識別手段（例えば３０７）と、を更に有し、
前記移動制御手段は、前記第１ユーザの状態のパターンから予想される前記第１ユーザの状態に応じて、前記コミュニケーションロボットを前記場所に移動させる。

この実施形態によれば、定期的に発生するようなユーザ状態のパターンに基づいて、対象ユーザに介入してコミュニケーションを提案する場所に、コミュニケーションロボットが自律的に移動することができる。

１２．上記実施形態のコミュニケーションロボットでは、
前記第１ユーザは子供である。

この実施形態によれば、子供と遠隔ユーザとのコミュニケーションを支援したり、親の育児の負担を軽減するコミュニケーションロボットを実現することができる。

１３．上記実施形態のコミュニケーションロボットでは、
前記第２ユーザは、前記第１ユーザの祖父母である。

この実施形態によれば、家庭内のユーザと遠隔の祖父母とのコミュニケーションを支援するコミュニケーションロボットを実現することができる。

１４．上記実施形態のコミュニケーションロボットは、
前記第２ユーザの装置は、第２ユーザの状態を識別することが可能なロボットである。

この実施形態によれば、遠隔ユーザのユーザ状態もロボットにより識別することができる。

１５．上記実施形態におけるコミュニケーションロボット（例えば１００）の制御方法は、
第１ユーザの状態を識別する識別工程（例えばＳ５０２）と、
遠隔から前記第１ユーザとコミュニケーションをとる第２ユーザの状態を示す状態情報を外部装置から受信する受信工程（例えばＳ５０３）と、
前記第１ユーザの状態と前記第２ユーザの状態とに基づいて前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であるかを判定する判定工程（例えばＳ５０４）と、
前記第１ユーザに情報を提供する提供工程（例えばＳ５０６）と、を有し、
前記提供工程では、前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であると判定された場合に、前記第１ユーザと前記第２ユーザとのコミュニケーションを提案する情報を前記第１ユーザに提供する。

この実施形態によれば、ユーザと遠隔ユーザのコミュニケーションをとるための介入行動を制御可能なコミュニケーションロボットの制御方法を提供することが可能になる。

１６．上記実施形態における情報処理サーバ（例えば９００）は、
コミュニケーションロボットからの第１ユーザの状態に関する情報を取得する第１取得手段（例えば１２０１）と、
遠隔から前記第１ユーザとコミュニケーションをとる第２ユーザの用いる装置からの、前記第２ユーザの状態に関する情報を取得する第２取得手段（例えば１２０５）と、
前記第１ユーザの状態と前記第２ユーザの状態とに基づいて前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であるかを判定する判定手段（例えば１２０６）と、
前記コミュニケーションロボットから前記第１ユーザに提供するための情報を、前記コミュニケーションロボットへ送信する送信手段（例えば１２０４）と、を有し、
前記送信手段は、前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であると判定された場合に、前記第１ユーザと前記第２ユーザとのコミュニケーションを提案する情報を前記コミュニケーションロボットへ送信する。

この実施形態によれば、ユーザと遠隔ユーザのコミュニケーションをとるための介入行動を制御可能な情報処理サーバを提供することが可能になる。

１７．上記実施形態における情報処理サーバによって実行される情報処理方法は、
コミュニケーションロボットからの第１ユーザの状態に関する情報を取得する第１取得工程（例えばＳ１３０１）と、
遠隔から前記第１ユーザとコミュニケーションをとる第２ユーザの用いる装置からの、前記第２ユーザの状態に関する情報を取得する第２取得工程（例えばＳ１３０３）と、
前記第１ユーザの状態と前記第２ユーザの状態とに基づいて前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であるかを判定する判定工程（例えばＳ１３０４）と、
前記コミュニケーションロボットから前記第１ユーザに提供するための情報を、前記コミュニケーションロボットへ送信する送信工程（例えばＳ１３０５）と、を有し、
前記送信工程では、前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であると判定された場合に、前記第１ユーザと前記第２ユーザとのコミュニケーションを提案する情報を前記コミュニケーションロボットへ送信する。

この実施形態によれば、ユーザと遠隔ユーザのコミュニケーションをとるための介入行動を制御可能な情報処理方法を提供することが可能になる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

Claims (17)

1. コミュニケーションロボットであって、
   第１ユーザの状態を識別する識別手段と、
   遠隔から前記第１ユーザとコミュニケーションをとる第２ユーザの状態を示す状態情報を外部装置から受信する受信手段と、
   前記第１ユーザの状態と前記第２ユーザの状態とに基づいて前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であるかを判定する判定手段と、
   前記第１ユーザに情報を提供する提供手段と、を有し、
   前記提供手段は、前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であると判定された場合に、前記第１ユーザと前記第２ユーザとのコミュニケーションを提案する情報を前記第１ユーザに提供する、ことを特徴とするコミュニケーションロボット。
2. 前記提供手段により提供された情報に対する前記第１ユーザからの応答を受け付ける受付手段と、
   前記第１ユーザと前記第２ユーザとの間の音声通話又は動画通話を制御する通話制御手段と、を更に有し、
   前記通話制御手段は、前記第１ユーザからの応答が前記第１ユーザと前記第２ユーザとのコミュニケーションを開始することを示す場合、第２ユーザの用いる装置と前記コミュニケーションロボットとを介した音声通話又は動画通話を開始させる、ことを特徴とする請求項１に記載のコミュニケーションロボット。
3. 前記通話制御手段は、前記第１ユーザからの応答が前記第１ユーザと前記第２ユーザとのコミュニケーションを開始することを示す場合、前記第２ユーザの用いる装置へコミュニケーションの開始要求を送信し、前記第２ユーザの用いる装置により前記開始要求が受け入れられない場合には、前記第２ユーザの用いる装置と前記コミュニケーションロボットとを介した音声通話又は動画通話を開始させない、ことを特徴とする請求項２に記載のコミュニケーションロボット。
4. 前記提供手段により提供される情報は、前記第１ユーザと前記第２ユーザとの間で行うコミュニケーション内容を更に含み、
   前記提供手段は、識別された前記第１ユーザの状態に応じて、前記コミュニケーション内容を異ならせる、ことを特徴とする請求項１から３のいずれか１項に記載のコミュニケーションロボット。
5. 前記第１ユーザと前記第２ユーザとの間のコミュニケーション内容は予め操作手段を介して設定可能である、ことを特徴とする請求項４に記載のコミュニケーションロボット。
6. 前記コミュニケーション内容は、音声通話又は動画通話を用いて前記第２ユーザによって前記第１ユーザの帰宅を迎える、あるいは前記第１ユーザの送り出すコミュニケーションである、ことを特徴とする請求項４または５に記載のコミュニケーションロボット。
7. 前記コミュニケーション内容は、音声通話又は動画通話を用いて前記第２ユーザが泣いている前記第１ユーザに話しかけるコミュニケーションである、ことを特徴とする請求項４または５に記載のコミュニケーションロボット。
8. 前記コミュニケーション内容は、音声通話又は動画通話を用いて前記第１ユーザが行う動きまたは発話を前記第２ユーザが確認するコミュニケーションである、ことを特徴とする請求項４または５に記載のコミュニケーションロボット。
9. 前記コミュニケーション内容は、音声通話を用いて前記第２ユーザによる発話を前記第１ユーザが聞くコミュニケーションである、ことを特徴とする請求項４または５に記載のコミュニケーションロボット。
10. 前記第１ユーザが前記コミュニケーションロボットを介してコミュニケーションを行う場所に前記コミュニケーションロボットを移動させる移動制御手段を更に有し、
    前記移動制御手段は、前記第１ユーザの状態に応じて予め定められたコミュニケーションを行う場所に前記コミュニケーションロボットを移動させる、ことを特徴とする請求項１から９のいずれか１項に記載のコミュニケーションロボット。
11. 周期的に収集される前記第１ユーザの状態を示す状態情報を記憶する記憶手段と、
    前記記憶手段に記憶された状態情報に基づいて前記第１ユーザの状態のパターンを識別するパターン識別手段と、を更に有し、
    前記移動制御手段は、前記第１ユーザの状態のパターンから予想される前記第１ユーザの状態に応じて、前記コミュニケーションロボットを前記場所に移動させる、ことを特徴とする請求項１０に記載のコミュニケーションロボット。
12. 前記第１ユーザは子供である、ことを特徴とする請求項１から１１のいずれか１項に記載のコミュニケーションロボット。
13. 前記第２ユーザは、前記第１ユーザの祖父母である、ことを特徴とする請求項１から１２のいずれか１項に記載のコミュニケーションロボット。
14. 前記第２ユーザの装置は、第２ユーザの状態を識別することが可能なロボットである、ことを特徴とする請求項１から１３のいずれか１項に記載のコミュニケーションロボット。
15. コミュニケーションロボットの制御方法であって、
    第１ユーザの状態を識別する識別工程と、
    遠隔から前記第１ユーザとコミュニケーションをとる第２ユーザの状態を示す状態情報を外部装置から受信する受信工程と、
    前記第１ユーザの状態と前記第２ユーザの状態とに基づいて前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であるかを判定する判定工程と、
    前記第１ユーザに情報を提供する提供工程と、を有し、
    前記提供工程では、前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であると判定された場合に、前記第１ユーザと前記第２ユーザとのコミュニケーションを提案する情報を前記第１ユーザに提供する、ことを特徴とするコミュニケーションロボットの制御方法。
16. 情報処理サーバであって、
    コミュニケーションロボットからの第１ユーザの状態に関する情報を取得する第１取得手段と、
    遠隔から前記第１ユーザとコミュニケーションをとる第２ユーザの用いる装置からの、前記第２ユーザの状態に関する情報を取得する第２取得手段と、
    前記第１ユーザの状態と前記第２ユーザの状態とに基づいて前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であるかを判定する判定手段と、
    前記コミュニケーションロボットから前記第１ユーザに提供するための情報を、前記コミュニケーションロボットへ送信する送信手段と、を有し、
    前記送信手段は、前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であると判定された場合に、前記第１ユーザと前記第２ユーザとのコミュニケーションを提案する情報を前記コミュニケーションロボットへ送信する、ことを特徴とする情報処理サーバ。
17. 情報処理サーバによって実行される情報処理方法であって、
    コミュニケーションロボットからの第１ユーザの状態に関する情報を取得する第１取得工程と、
    遠隔から前記第１ユーザとコミュニケーションをとる第２ユーザの用いる装置からの、前記第２ユーザの状態に関する情報を取得する第２取得工程と、
    前記第１ユーザの状態と前記第２ユーザの状態とに基づいて前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であるかを判定する判定工程と、
    前記コミュニケーションロボットから前記第１ユーザに提供するための情報を、前記コミュニケーションロボットへ送信する送信工程と、を有し、
    前記送信工程では、前記第１ユーザと前記第２ユーザとのコミュニケーションが可能であると判定された場合に、前記第１ユーザと前記第２ユーザとのコミュニケーションを提案する情報を前記コミュニケーションロボットへ送信する、ことを特徴とする情報処理方法。

Images