JPWO2020116233A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2020116233A1
JPWO2020116233A1 JP2020559074A JP2020559074A JPWO2020116233A1 JP WO2020116233 A1 JPWO2020116233 A1 JP WO2020116233A1 JP 2020559074 A JP2020559074 A JP 2020559074A JP 2020559074 A JP2020559074 A JP 2020559074A JP WO2020116233 A1 JPWO2020116233 A1 JP WO2020116233A1
Authority
JP
Japan
Prior art keywords
autonomous mobile
information processing
mobile body
control unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020559074A
Other languages
English (en)
Other versions
JP7375770B2 (ja
Inventor
英樹 野間
昌史 岸川
拓磨 森田
直樹 湯浅
片山 健
美佳 長江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020116233A1 publication Critical patent/JPWO2020116233A1/ja
Application granted granted Critical
Publication of JP7375770B2 publication Critical patent/JP7375770B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/04Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438Sensor means for detecting
    • G08B21/0492Sensor dual technology, i.e. two or more technologies collaborate to extract unsafe condition, e.g. video tracking and RFID tracking
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons

Abstract

自律移動体の動作を制御する制御部、を備え、前記制御部は、日常における対象者の言動または状態に係る学習の結果から推定された前記対象者の通常状態と、認識された前記対象者の言動または状態と、に基づいて、前記対象者の日常生活に係る情報の提供を制御する、情報処理装置が提供される。また、プロセッサが、自律移動体の動作を制御すること、を含み、前記制御することは、日常における対象者の言動または状態に係る学習の結果から推定された前記対象者の通常状態と、認識された前記対象者の言動または状態と、に基づいて、前記対象者の日常生活に係る情報の提供を制御すること、をさらに含む、情報処理方法が提供される。

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、各種の認識機能を有するロボットが開発されている。また、上記のようなロボットを対象者の監視に用いる技術も提案されている。例えば、特許文献1には、老人や子供等の要介護人監視機能を有するロボットが開示されている。
国際公開第99/67067号
例えば、特許文献1に開示されるロボットは、所定時間以上、対象者が動かない場合や、出力音に対する対象者の反応が得られない場合、監視者等に対し電話機能を用いた通知を行うことができる。しかし、対象者によっては、上記のようなロボットによる監視に対し抵抗を覚える可能性もある。
本開示によれば、自律移動体の動作を制御する制御部、を備え、前記制御部は、日常における対象者の言動または状態に係る学習の結果から推定された前記対象者の通常状態と、認識された前記対象者の言動または状態と、に基づいて、前記対象者の日常生活に係る情報の提供を制御する、情報処理装置が提供される。
また、本開示によれば、プロセッサが、自律移動体の動作を制御すること、を含み、前記制御することは、日常における対象者の言動または状態に係る学習の結果から推定された前記対象者の通常状態と、認識された前記対象者の言動または状態と、に基づいて、前記対象者の日常生活に係る情報の提供を制御すること、をさらに含む、情報処理方法が提供される。
また、本開示によれば、コンピュータを、自律移動体の動作を制御する制御部、を備え、前記制御部は、日常における対象者の言動または状態に係る学習の結果から推定された前記対象者の通常状態と、認識された前記対象者の言動または状態と、に基づいて、前記対象者の日常生活に係る情報の提供を制御する、情報処理装置、として機能させるためのプログラムが提供される。
本開示の一実施形態に係る自律移動体のハードウェア構成例を示す図である。 同実施形態に係る自律移動体が備えるアクチュエータの構成例である。 同実施形態に係る自律移動体が備えるアクチュエータの動作について説明するための図である。 同実施形態に係る自律移動体が備えるアクチュエータの動作について説明するための図である。 同実施形態に係る自律移動体が備えるディスプレイの機能について説明するための図である。 同実施形態に係る自律移動体の動作例を示す図である。 同実施形態に係る自律移動体を用いた対象者の見守りについて概要を説明するための図である。 同実施形態に係る情報処理システムの構成例を示すブロック図である。 同実施形態に係る自律移動体の機能構成例を示すブロック図である。 同実施形態に係る情報処理サーバの機能構成例を示すブロック図である。 同実施形態に係るパトロールの実行設定に係るユーザインタフェースの一例である。 同実施形態に係る見守りの対象者と第2のモードにおけるパトロールの設定を行うためのユーザインタフェースの一例である。 同実施形態に係る見守りの対象者の設定に係るユーザインタフェースの一例である。 同実施形態に係るパトロールのルート設定について説明するための図である。 同実施形態に係る第2のモードにおけるパトロール時の自律移動体の挙動について説明するための図である。 同実施形態に係る簡易的な見守り報告の一例である。 同実施形態に係る詳細な見守り報告の一例である。 同実施形態に係る自律移動体による見守りの具体例を示す一例である。 同実施形態に係る自律移動体による見守りの具体例を示す一例である。 同実施形態に係る自律移動体による見守りの具体例を示す一例である。 同実施形態に係る自律移動体による見守りの具体例を示す一例である。 同実施形態に係る自律移動体による見守りの具体例を示す一例である。 同実施形態に係る自律移動体による見守りの具体例を示す一例である。 同実施形態に係る第3のモードにおけるパトロールについて説明するための図である。 同実施形態に係る第3のモードにおけるパトロール時のディスプレイ表示例を示す図である。 同実施形態に係る対象者が子供である場合の報告例を示す図である。 本開示の一実施形態に係るハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.実施形態
1.1.自律移動体10の概要
1.2.自律移動体10のハードウェア構成例
1.3.機能概要
1.4.システム構成例
1.5.自律移動体10の機能構成例
1.6.情報処理サーバ20の機能構成例
1.7.見守りの詳細
2.ハードウェア構成例
3.まとめ
<1.実施形態>
<<1.1.自律移動体10の概要>>
まず、本開示の一実施形態に係る自律移動体10の概要について説明する。本開示の一実施形態に係る自律移動体10は、収集したセンサ情報に基づく状況推定を実行し、状況に応じた種々の動作を自律的に選択し実行する情報処理装置である。自律移動体10は、単にユーザの指示コマンドに従った動作を行うロボットとは異なり、状況ごとに最適であると推測した動作を自律的に実行することを特徴の一つとする。
本開示の一実施形態に係る自律移動体10は、例えば、撮影した画像に基づくユーザ認識や、物体認識などを実行し、認識したユーザや物体などに応じた種々の自律行動を行うことが可能である。また、本実施形態に係る自律移動体10は、例えば、ユーザの発話に基づく音声認識を実行し、ユーザの指示などに基づく行動を行うこともできる。
このように、本開示の一実施形態に係る自律移動体10は、ヒトを含む動物と同様に、欲求や感情、また周囲の環境などを総合的に判断して自律動作を決定、実行する。上記の点において、自律移動体10は、指示に基づいて対応する動作や処理を実行する受動的な装置とは明確に相違する。
本開示の一実施形態に係る自律移動体10は、空間内を自律的に移動し、種々の動作を実行する自律移動型ロボットであってよい。自律移動体10は、例えば、ヒトやイヌなどの動物を模した形状や、動作能力を有する自律移動型ロボットであってもよい。また、自律移動体10は、例えば、ユーザとのコミュニケーション能力を有する車両やその他の装置であってもよい。本開示の一実施形態に係る自律移動体10の形状、能力、また欲求などのレベルは、目的や役割に応じて適宜設計され得る。
<<1.2.自律移動体10のハードウェア構成例>>
次に、本開示の一実施形態に係る自律移動体10のハードウェア構成例について説明する。なお、以下では、自律移動体10がイヌ型の四足歩行ロボットである場合を例に説明する。
図1は、本開示の一実施形態に係る自律移動体10のハードウェア構成例を示す図である。図1に示すように、自律移動体10は、頭部、胴部、4つの脚部、および尾部を有するイヌ型の四足歩行ロボットである。また、自律移動体10は、頭部に2つのディスプレイ510を備える。
また、自律移動体10は、種々のセンサを備える。自律移動体10は、例えば、マイクロフォン515、カメラ520、ToF(Time of Flight)センサ525、人感センサ530、測距センサ535、タッチセンサ540、照度センサ545、足裏ボタン550、慣性センサ555を備える。
(マイクロフォン515)
マイクロフォン515は、周囲の音を収集する機能を有する。上記の音には、例えば、ユーザの発話や、周囲の環境音が含まれる。自律移動体10は、例えば、頭部に4つのマイクロフォンを備えてもよい。複数のマイクロフォン515を備えることで、周囲で発生する音を感度高く収集すると共に、音源の定位を実現することが可能となる。
(カメラ520)
カメラ520は、ユーザや周囲環境を撮像する機能を有する。自律移動体10は、例えば、鼻先と腰部に2つの広角カメラを備えてもよい。この場合、鼻先に配置される広角カメラは、自律移動体の前方視野(すなわち、イヌの視野)に対応した画像を撮像し、腰部の広角カメラは、上方を中心とする周囲領域の画像を撮像する。自律移動体10は、例えば、腰部に配置される広角カメラにより撮像された画像に基づいて、天井の特徴点などを抽出し、SLAM(Simultaneous Localization and Mapping)を実現することができる。
(ToFセンサ525)
ToFセンサ525は、頭部前方に存在する物体との距離を検出する機能を有する。ToFセンサ525は、頭部の鼻先に備えられる。ToFセンサ525によれば、種々の物体との距離を精度高く検出することができ、ユーザを含む対象物や障害物などとの相対位置に応じた動作を実現することが可能となる。
(人感センサ530)
人感センサ530は、ユーザやユーザが飼育するペットなどの所在を検知する機能を有する。人感センサ530は、例えば、胸部に配置される。人感センサ530によれば、前方に存在する動物体を検知することで、当該動物体に対する種々の動作、例えば、興味、恐怖、驚きなどの感情に応じた動作を実現することが可能となる。
(測距センサ535)
測距センサ535は、自律移動体10の前方床面の状況を取得する機能を有する。測距センサ535は、例えば、胸部に配置される。測距センサ535によれば、自律移動体10の前方床面に存在する物体との距離を精度高く検出することができ、当該物体との相対位置に応じた動作を実現することができる。
(タッチセンサ540)
タッチセンサ540は、ユーザによる接触を検知する機能を有する。タッチセンサ540は、例えば、頭頂、あご下、背中など、ユーザが自律移動体10に対し触れる可能性が高い部位に配置される。タッチセンサ540は、例えば、静電容量式や感圧式のタッチセンサであってよい。タッチセンサ540によれば、ユーザによる触れる、撫でる、叩く、押すなどの接触行為を検知することができ、当該接触行為に応じた動作を行うことが可能となる。
(照度センサ545)
照度センサ545は、自律移動体10が位置する空間の照度を検出する。照度センサ545は、例えば、頭部背面において尾部の付け根などに配置されてもよい。照度センサ545によれば、周囲の明るさを検出し、当該明るさに応じた動作を実行することが可能となる。
(足裏ボタン550)
足裏ボタン550は、自律移動体10の脚部底面が床と接触しているか否かを検知する機能を有する。このために、足裏ボタン550は、4つの脚部の肉球に該当する部位にそれぞれ配置される。足裏ボタン550によれば、自律移動体10と床面との接触または非接触を検知することができ、例えば、自律移動体10がユーザにより抱き上げられたことなどを把握することが可能となる。
(慣性センサ555)
慣性センサ555は、頭部や胴部の速度や加速度、回転などの物理量を検出する6軸センサである。すなわち、慣性センサ555は、X軸、Y軸、Z軸の加速度および角速度を検出する。慣性センサ555は、頭部および胴部にそれぞれ配置される。慣性センサ555によれば、自律移動体10の頭部および胴部の運動を精度高く検出し、状況に応じた動作制御を実現することが可能となる。
以上、本開示の一実施形態に係る自律移動体10が備えるセンサの一例について説明した。なお、図1を用いて説明した上記の構成はあくまで一例であり、自律移動体10が備え得るセンサの構成は係る例に限定されない。自律移動体10は、上記の構成のほか、例えば、温度センサ、地磁気センサ、GNSS(Global Navigation Satellite System)信号受信機を含む各種の通信装置などをさらに備えてよい。自律移動体10が備えるセンサの構成は、仕様や運用に応じて柔軟に変形され得る。
続いて、本開示の一実施形態に係る自律移動体10の関節部の構成例について説明する。図2は、本開示の一実施形態に係る自律移動体10が備えるアクチュエータ570の構成例である。本開示の一実施形態に係る自律移動体10は、図2に示す回転箇所に加え、耳部と尾部に2つずつ、口に1つの合計22の回転自由度を有する。
例えば、自律移動体10は、頭部に3自由度を有することで、頷きや首を傾げる動作を両立することができる。また、自律移動体10は、腰部に備えるアクチュエータ570により、腰のスイング動作を再現することで、より現実のイヌに近い自然かつ柔軟な動作を実現することが可能である。
なお、本開示の一実施形態に係る自律移動体10は、例えば、1軸アクチュエータと2軸アクチュエータを組み合わせることで、上記の22の回転自由度を実現してもよい。例えば、脚部における肘や膝部分においては1軸アクチュエータを、肩や大腿の付け根には2軸アクチュエータをそれぞれ採用してもよい。
図3および図4は、本開示の一実施形態に係る自律移動体10が備えるアクチュエータ570の動作について説明するための図である。図3を参照すると、アクチュエータ570は、モータ575により出力ギアを回転させることで、可動アーム590を任意の回転位置および回転速度で駆動させることができる。
図4を参照すると、本開示の一実施形態に係るアクチュエータ570は、リアカバー571、ギアBOXカバー572、制御基板573、ギアBOXベース574、モータ575、第1ギア576、第2ギア577、出力ギア578、検出用マグネット579、2個のベアリング580を備える。
本開示の一実施形態に係るアクチュエータ570は、例えば、磁気式svGMR(spin−valve Giant Magnetoresistive)であってもよい。制御基板573が、メインプロセッサによる制御に基づいて、モータ575を回転させることで、第1ギア576および第2ギア577を介して出力ギア578に動力が伝達され、可動アーム590を駆動させることが可能である。
また、制御基板573に備えられる位置センサが、出力ギア578に同期して回転する検出用マグネット579の回転角を検出することで、可動アーム590の回転角度、すなわち回転位置を精度高く検出することができる。
なお、磁気式svGMRは、非接触方式であるため耐久性に優れるとともに、GMR飽和領域において使用することで、検出用マグネット579や位置センサの距離変動による信号変動の影響が少ないという利点を有する。
以上、本開示の一実施形態に係る自律移動体10が備えるアクチュエータ570の構成例について説明した。上記の構成によれば、自律移動体10が備える関節部の屈伸動作を精度高く制御し、また関節部の回転位置を正確に検出することが可能となる。
続いて、図5を参照して、本開示の一実施形態に係る自律移動体10が備えるディスプレイ510の機能について説明する。図5は、本開示の一実施形態に係る自律移動体10が備えるディスプレイ510の機能について説明するための図である。
(ディスプレイ510)
ディスプレイ510は、自律移動体10の目の動きや感情を視覚的に表現する機能を有する。図5に示すように、ディスプレイ510は、感情や動作に応じた眼球、瞳孔、瞼の動作を表現することができる。ディスプレイ510は、文字や記号、また眼球運動とは関連しない画像などを敢えて表示しないことで、実在するイヌなどの動物に近い自然な動作を演出する。
また、図5に示すように、自律移動体10は、右眼および左眼にそれぞれ相当する2つのディスプレイ510rおよび510lを備える。ディスプレイ510rおよび510lは、例えば、独立した2つのOLED(Organic Light Emitting Diode)により実現される。OLEDによれば、眼球の曲面を再現することが可能となり、1枚の平面ディスプレイにより一対の眼球を表現する場合や、2枚の独立した平面ディスプレイにより2つの眼球をそれぞれ表現する場合と比較して、より自然な外装を実現することができる。
以上述べたように、ディスプレイ510rおよび510lによれば、図5に示すような自律移動体10の視線や感情を高精度かつ柔軟に表現することが可能となる。また、ユーザはディスプレイ510に表示される眼球の動作から、自律移動体10の状態を直観的に把握することが可能となる。
以上、本開示の一実施形態に係る自律移動体10のハードウェア構成例について説明した。上記の構成によれば、図6に示すように、自律移動体10の関節部や眼球の動作を精度高くまた柔軟に制御することで、より実在の生物に近い動作および感情表現を実現することが可能となる。なお、図6は、本開示の一実施形態に係る自律移動体10の動作例を示す図であるが、図6では、自律移動体10の関節部および眼球の動作について着目して説明を行うため、自律移動体10の外部構造を簡略化して示している。同様に、以下の説明においては、自律移動体10の外部構造を簡略化して示す場合があるが、本開示の一実施形態に係る自律移動体10のハードウェア構成および外装は、図面により示される例に限定されず、適宜設計され得る。
<<1.3.機能概要>>
次に、本開示の一実施形態に係る情報処理装置が有する機能の概要について説明する。上述したように、近年においては、ロボットを用いて対象者を監視し、異常を検出した場合には監視者への通知を行うなどの技術が開発されている。
例えば、特許文献1に開示されるロボットは、取得した画像、音声、その他のセンサ情報などを用いて、老人や子供等の要介護人の動作を認識し、所定時間以上、対象者が動かない場合には、メッセージや音を出力する。ここで、対象者が出力されたメッセージや音に反応を示さない場合、上記ロボットは、予め登録されている家族や病院等に電話を掛けて異常を知らせることができる。
上記のようなロボットによれば、人手による長時間の継続した監視や介護が困難な場合であっても、対象者の状態変化を精度高く認識し、異常等が発生した場合にいち早く対応することが可能となる。
しかし、介護や監視の対象となる対象者によっては、上記のようなロボットに常時監視される、すなわち画像や音声などを取得されることに対し抵抗を覚えることも想定される。このため、特許文献1に開示されるようなロボットによる対象者の監視は、適用される場面が限定される可能性がある。
一方、上記のような監視に係る抵抗感を和らげるために、対象者が日常において行う行為を当該行為に関連する機器により検出し、当該検出の結果を、遠隔地に住む対象者の家族などに通知する技術も開発されている。上記の機器には、例えば、調理器具や家電等が含まれる。このような技術によれば、例えば、対象者が調理を行ったこと、または行っていないことを、遠隔地から把握することができ、検出結果に応じた対応を行うことが可能となる。
しかし、上記のような技術では、機器の利用有無以外の情報を詳細に検出することは困難であり、また機器が設置されていない場所における対象者の状態等を把握することができない。
本開示の一実施形態に係る技術思想は、上記の点に着目して発想されたものであり、対象者の日常生活に溶け込んだ、より違和感のない見守りを実現することを可能とする。
このために、本開示の一実施形態に係る情報処理装置は、自律移動体10の動作を制御する動作制御部140、を備え、動作制御部140は、日常における対象者の言動または状態に係る学習の結果から推定された対象者の通常状態と、認識された対象者の言動または状態と、に基づいて、対象者の日常生活に係る情報の提供を制御すること、を特徴の一つとする。なお、本開示の一実施形態に係る情報処理装置は、例えば、自律移動体10として実現されてもよい。
図7は、本実施形態に係る自律移動体10を用いた対象者の見守りについて概要を説明するための図である。図1の左側には、見守りの対象者であるユーザU1と、ユーザU1が保有する自律移動体10が示されている。図1に示すように、本実施形態に係る自律移動体10は、例えば、イヌ型の四足歩行ロボットであってもよい。本実施形態に係る自律移動体10は、各種の認識技術によりユーザU1や周囲環境の状態を認識することで、実在の生物に近い動作や感情表現などを行う、エンターテイメント性の高いコンパニオンロボットで有り得る。
本実施形態に係る自律移動体10は、例えば、ユーザU1の顔を認識したことに基づいてユーザU1に駆け寄るなどの動作や、ユーザU1の発話やユーザU1による接触(触る、撫でる、叩く等)に応じた動作を行うことが可能である。
また、本実施形態に係る自律移動体10は、日常におけるユーザU1の言動や状態を学習し、ユーザU1の通常状態を推定することが可能である。自律移動体10は、例えば、ユーザU1の顔を日中のリビングでよく認識することに基づいて、ユーザU1が日中にリビングに居ることを通常状態として推定してもよい。また、自律移動体10は、例えば、ユーザU1が日常において自律移動体10に対して発話や接触を行う頻度などを学習し、当該頻度を通常状態としてもよい。
この際、本実施形態に係る自律移動体10は、上記のように推定した通常状態と、リアルタイムに認識したユーザU1の言動や状態と、に基づいて、日常生活におけるユーザU1の健康や安全に係る状況を判定し、当該状況に係る情報が予め設定された報告先に提供されるよう制御を行う。
例えば、図1に示す一例の場合、自律移動体10は、推定した通常状態に含まれる、ユーザU1の所在、ユーザU1の発話UO1、ユーザU1による接触を認識したことに基づいて、ユーザU1が通常状態にあることを示す情報がユーザU2に提供されるよう制御を行ってよい。ユーザU2は、例えば、遠隔地に住むユーザU1の血縁者などで有り得る。
この際、自律移動体10は、例えば、ユーザU2が所持するスマートフォンなどの情報処理端末30に、発話UO1を認識したこと、ユーザU1に撫でてもらったこと、また撮影したユーザU1の画像P1などが表示されるように制御を行うことができる。なお、上記のような情報提供は、後述する情報処理サーバ20を介して実現されてもよい。
このように、本実施形態に係る自律移動体10によれば、対象者の日常生活に溶け込みながら、より自然な振る舞いの下、見守りを実現することができる。これによれば、例えば、機器に監視されている、といった対象者の抵抗感を払拭し、エンターテイメント性とセキュリティ性を両立した見守りを実現することが可能となる。
<<1.4.システム構成例>>
次に、本開示の一実施形態に係る情報処理システムの構成例について説明する。図8は、本実施形態に係る情報処理システムの構成例を示すブロック図である。図8を参照すると、本実施形態に係る情報処理システムは、自律移動体10、情報処理サーバ20、情報処理端末30を備える。また、上記の各装置は、ネットワーク40を介して接続される。
(自律移動体10)
本実施形態に係る自律移動体10は、収集したセンサ情報に基づく状況推定を行い、状況に応じた種々の動作を自律的に選択し実行する情報処理装置である。また、本実施形態に係る自律移動体10は、自律動作を行いながら対象者の見守りを実施し、報告先に対する情報提供を制御することを特徴の一つとする。
(情報処理サーバ20)
本実施形態に係る情報処理サーバ20は、自律移動体10が認識した対象者の状況を報告先に提供するためのユーザインタフェースを制御する。
(情報処理端末30)
本実施形態に係る情報処理端末30は、対象者の見守りに係る報告先となるユーザが、当該見守りの情報を閲覧するために用いる装置である。本実施形態に係る情報処理端末30は、例えば、PC(Personal Computer)、携帯電話、スマートフォン、タブレットなどであってもよい。
(ネットワーク40)
ネットワーク40は、上記の各装置を接続する機能を有する。ネットワーク40は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク40は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。また、ネットワーク40は、Wi−Fi(登録商標)、Bluetooth(登録商標)など無線通信網を含んでもよい。
以上、本実施形態に係る情報処理システムの構成例について述べた。なお、図8を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、本実施形態に係る自律移動体10は、情報処理サーバ20を介さずに、情報処理端末30による見守り情報の提供を直接的に制御してもよい。本実施形態に係る情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。
<<1.5.自律移動体10の機能構成例>>
次に、本開示の一実施形態に係る自律移動体10の機能構成例について説明する。図9は、本実施形態に係る自律移動体10の機能構成例を示すブロック図である。図9を参照すると、本実施形態に係る自律移動体10は、入力部110、認識部120、学習部130、動作制御部140、駆動部150、出力部160、およびサーバ通信部170を備える。
(入力部110)
入力部110は、ユーザや周囲環境に係る種々の情報を収集する機能を有する。入力部110は、例えば、ユーザの発話や周囲で発生する環境音、ユーザや周囲環境に係る画像情報、および種々のセンサ情報を収集する。このために、入力部110は、図1に示す各種のセンサを備える。
(認識部120)
認識部120は、入力部110が収集した種々のセンサ情報に基づいて、ユーザや周囲環境、また自律移動体10の状態に係る種々の認識を行う機能を有する。本実施形態に係る認識部120は、例えば、対象者の言動や状態を認識してよい。一例としては、認識部120は、人識別、表情や視線の認識、物体認識、動作認識、空間領域認識、色認識、形認識、マーカー認識、障害物認識、段差認識、明るさ認識などを行うことができる。
また、認識部120は、ユーザの音声に係る単語理解、感情認識、音源定位などを行う。また、認識部120は、ユーザなどによる接触や、周囲の温度、動物体の存在、自律移動体10の姿勢などを認識することができる。
また、本実施形態に係る認識部120は、上記のような認識の結果や、入力部110が収集した各種のセンサ情報に基づいて環境地図を生成する地図生成部、としても機能する。
(学習部130)
学習部130は、環境(状況)と行動、また当該行動による環境への作用を学習する機能を有する。学習部130は、例えば、深層学習(Deep Learning)などの機械学習アルゴリズムを用いて、上記の学習を実現する。なお、学習部130が採用する学習アルゴリズムは、上記の例に限定されず、適宜設計可能である。
本実施形態に係る学習部130は、入力部110が収集した各種のセンサ情報に基づいて、日常における対象者の言動や状態を学習し、対象者の通常状態における言動や状態を推定してよい。また、本実施形態に係る学習部130は、対象者の居住空間を訪れる訪問者の識別状況を当該対象者に係る通常状態として学習してもよい。
(動作制御部140)
動作制御部140は、認識部120が推定した状況と学習部130が学習した知識に基づいて、自律移動体10が行う行動の計画を行い、各種の動作を制御する。
本実施形態に係る動作制御部140は、例えば、日常における対象者の言動または状態に係る学習の結果から推定された対象者の通常状態と、認識された対象者の言動または状態と、に基づいて、対象者の日常生活に係る情報の提供を制御してよい。
ここで、上記の通常状態とは、学習部130が、対象者が日常において通常行うと推定した言動や、状態であってよい。上記の通常状態には、例えば、日中に自宅に居るなどの所在、自律移動体10の名前を呼ぶことなどの発話、自律移動体10を撫でるなどの接触行為を行うこと、などが含まれ得る。
この際、本実施形態に係る動作制御部140は、上記のような通常状態の範疇に含まれる対象者の言動や状態の認識有無に基づいて、情報処理サーバ20による情報の提供を制御してもよい。一例としては、動作制御部140は、対象者が自律移動体10を撫でる行為を行ったことを、情報処理サーバ20を介して報告先のユーザに通知してもよい。また、動作制御部140は、対象者の顔を所定時間以上認識できていないことを、情報処理サーバ20を介して報告先のユーザに通知してもよい。
このように、本実施形態では、自律移動体10に対する声掛けや接触行為などのインタラクションを通常状態の範疇に含まれる言動として扱い、当該言動の認識有無などに基づく報告を行うことで、対象者の日常に溶け込みながら違和感や抵抗感がより少ない見守りを実現することが可能である。
また、本実施形態に係る動作制御部140は、学習部130により通常状態の変化が推定された場合、当該変化に係る情報を情報処理サーバ20を介して報告先のユーザに通知してもよい。動作制御部140は、例えば、自律移動体10への声掛けや接触の回数が以前と比較して減っていることなどを報告先のユーザに通知してもよい。
さらには、本実施形態に係る動作制御部140は、通常状態の範疇に含まれない対象者の言動または状態が認識された場合、通常状態からの逸脱に係る情報の提供が行われるよう、情報処理サーバ20を制御してもよい。例えば、対象者が長時間に渡り強く咳き込んでいることが通常状態の範疇に含まれない場合、動作制御部140は、対象者が強く咳き込んでいることが検知されたことや、通常状態の範疇から逸脱した言動または状態が検知されたことが、報告先のユーザに通知されるように制御を行ってもよい。
本実施形態に係る動作制御部140による上記の制御によれば、学習により推定された通常状態を基準とした見守りを行うことで、対象者ごとの日常生活に対応した、柔軟かつより効果が高い見守りを実現することが可能となる。なお、本実施形態に係る見守りや報告の具体例については別途後述する。
(駆動部150)
駆動部150は、動作制御部140による制御に基づいて、自律移動体10が有する複数の関節部を屈伸させる機能を有する。より具体的には、駆動部150は、動作制御部140による制御に基づき、各関節部が備えるアクチュエータ570を駆動させる。
(出力部160)
出力部160は、動作制御部140による制御に基づいて、視覚情報や音情報の出力を行う機能を有する。このために、出力部160は、ディスプレイ510やスピーカを備える。
(サーバ通信部170)
サーバ通信部170は、ネットワーク40を介して情報処理サーバ20との情報通信を行う機能を有する。例えば、サーバ通信部170は、動作制御部140が生成した見守りの結果に係る情報などを情報処理サーバ20に送信する。また、例えば、サーバ通信部170は、情報処理サーバ20から見守りの設定に係る情報などを受信する。
以上、本開示の一実施形態に係る自律移動体10の機能構成例について説明した。なお、図9を用いて説明した上記の構成はあくまで一例であり、本開示の一実施形態に係る自律移動体10の機能構成は係る例に限定されない。本開示の一実施形態に係る自律移動体10の機能構成は、仕様や運用に応じて柔軟に変形され得る。
<<1.6.情報処理サーバ20の機能構成例>>
次に、本開示の一実施形態に係る情報処理サーバ20の機能構成例について説明する。図10は、本開示の一実施形態に係る情報処理サーバ20の機能構成例を示すブロック図である。図10を参照すると、本開示の一実施形態に係る情報処理サーバ20は、インタフェース制御部210、記憶部220、および通信部230を備える。
(インタフェース制御部210)
インタフェース制御部210は、自律移動体10から受信した、対象者の日常生活に係る情報、すなわち対象者の見守りに係る情報を報告先のユーザに提供するユーザインタフェースを制御する。本実施形態に係るインタフェース制御部210は、例えば、報告先のユーザが所持する情報処理端末30に上記のユーザインタフェースを提供し、自律移動体10から受信した情報に基づいて、見守りに係る報告などの情報を当該ユーザインタフェース上に表示する機能を有する。また、本実施形態に係るユーザインタフェースでは、見守りに係る各種の設定が行えてよい。本実施形態に係るユーザインタフェースの詳細については別途後述する。
(記憶部220)
記憶部220は、自律移動体10による対象者の見守りに係る各種の情報などを記憶する。例えば、記憶部220は、見守りの対象者となるユーザの情報、当該対象者に対応する報告先となるユーザの情報などを記憶する。
(通信部230)
通信部230は、ネットワーク40を介して自律移動体10や情報処理端末30との情報通信を行う。例えば、通信部230は、自律移動体10から見守りに係る報告などの情報を受信する。また、例えば、通信部230は、ユーザインタフェースの表示に係る制御信号などを情報処理端末30に送信する。
以上、本開示の一実施形態に係る情報処理サーバ20の機能構成例について説明した。なお、図10を用いて説明した上記の構成はあくまで一例であり、本開示の一実施形態に係る情報処理サーバ20の機能構成は係る例に限定されない。例えば、情報処理サーバ20は、自律移動体10が収集したセンサ情報に基づいて各種の認識を行う機能や、学習を行う機能をさらに有してもよい。一方で、上述したインタフェース制御部210が有する機能は、自律移動体10の機能として実装されてもよい。本実施形態に係る情報処理サーバ20の機能構成は、仕様や運用に応じて柔軟に変形可能である。
<<1.7.見守りの詳細>>
次に、本実施形態に係る自律移動体10による対象者の見守りの詳細について説明する。上述したように、本実施形態に係る自律移動体10は、対象者の所在、発話、自律移動体10に対する接触行為など通常状態に含まれる言動や状態を認識し、当該認識の有無などに基づいて、報告先のユーザへの情報提供を制御することを特徴とする。
この際、本実施形態に係る自律移動体10による見守りは、大きく3つのモードに大別される。第1のモードは、自律移動体10の自律動作時(稼働時)に継続して見守りを実施するモードである。当該モードによれば、自律移動体10の電力補給時を除き、長時間かつ広範囲に渡る、よりセキュアな見守りを実現することが可能である。
一方、対象者によっては、上記のような四六時中の見守りに対し抵抗感を覚え、例えば、見守り機能が有効となっていることを意識し過ぎて、自律移動体10との本来のインタラクションを十分に楽しめない、などの状況も想定され得る。
このために、本実施形態に係る自律移動体10は、第2のモードとして、予め設定された時間やルートに基づくパトロールを行い、当該パトロール中に認識した対象者の言動や状態に係る情報の報告を制御してもよい。
本実施形態に係る第2のモードによれば、見守りを行う時間やルートを限定することで、対象者の抵抗感を緩和し、さらには対象者のプライバシーを強く保護することが可能である。
また、上記の第1のモードおよび第2のモードでは、見守りに係る報告が、自律移動体10主体の発信となるため、報告先のユーザにとっては受動型の機能といえる。一方で、例えば、対象者と長時間連絡が取れていないなどの緊急時には、報告先のユーザが即時的な見守りの実行を自律移動体10に指示したい状況も想定される。
このため、本実施形態に係る第3のモードは、報告先のユーザからの要求に基づいて自律移動体10がパトロールを行い、当該パトロール中に撮影した動画などを当該ユーザに提供するモードであってもよい。また、この際、報告先のユーザは、情報処理サーバ20が制御するユーザインタフェースを介して、自律移動体10の動作を遠隔的に制御できてもよい。
以上説明したように、本実施形態に係る自律移動体10は、対象者や報告先のユーザのニーズに応じて、複数のモードを使い分けることで、より柔軟な見守りを実現することが可能である。
以下、上記第1〜第3のモードに係る設定を行うためのユーザインタフェースの一例について述べる。なお、以下に示すユーザインタフェースは、情報処理サーバ20のインタフェース制御部210により入出力が制御される。見守りの対象者や報告先となる各ユーザは、例えば、所持するスマートフォンなどの情報処理端末30を介して、本実施形態に係るユーザインタフェースにアクセスすることが可能である。
図11は、本実施形態に係るパトロールの実行設定に係るユーザインタフェースの一例である。図11には、上述した第2のモードや第3のモードにおけるパトロールの実行有無を報告先であるユーザが設定するための画面例が示されている。
例えば、第2のモードにおけるパトロール、すなわち予め設定した時間やルートに基づくパトロールを有効にする場合、報告先であるユーザは、画面上に表示される「毎日パトロール」ボタンなどを押下することにより、当該パトロールの実行有無を切り替えられてよい。
図11に示す一例の場合、ユーザは、「毎日パトロール」を押下後、「はじめる」をさらに押下することで、第2のモードにおけるパトロールを有効化している。この際、画面上に示される自律移動体10のアバターや文言などを変化させることで、ユーザにパトロールが有効となったことが示されてもよい。
同様に、ユーザは、第2のモードにおけるパトロールが有効となっている状態において、「やめる」を押下することで、当該パトロールが実行されないよう切り替えを行えてよい。このように、本実施形態に係る第2のモードにおいては、パトロールの実行の実行有無を状況に応じてユーザが柔軟に設定することができる。係る設定によれば、例えば、見守り対象者であるユーザが、長時間住居を不在とする場合などにおいて、不要なパトロールや報告が行われることを防止することができる。
以上、本実施形態に係る第2のモードにおけるパトロールの実行有無の設定について述べた。なお、報告先であるユーザは、図11に示す画面例において、「今すぐパトロール」を押下することで、第3のモードにおけるパトロールを即時実行させることができてよい。本実施形態に係る第3のモードにおけるパトロールについては別途詳細に説明する。
次に、本実施形態に係る見守りの対象者となるユーザの設定と、第2のモードにおけるパトロールの設定について述べる。図12は、本実施形態に係る見守りの対象者と第2のモードにおけるパトロールの設定を行うためのユーザインタフェースの一例である。なお、図12では、便宜上、図中左側および図中右側に2つの画面が例示されているが、当該2つの画面は、実際には、上下に一繋がりの1つの画面として表示されてよい。
例えば、図12に示す一例の場合、図中左上から順に、見守りの対象者(見守られる人)、見守る項目、見守る頻度、見守る時間、および見守りルートの設定を行うためのボタン等が配置されている。
見守りの対象者となるユーザは、例えば、画面左上に表示される「新規登録」などを押下することで、見守りの対象者として自身を登録することができる。図13は、本実施形態に係る見守りの対象者の設定に係るユーザインタフェースの一例である。
本実施形態に係る見守り対象者の設定では、対象者となるユーザの顔の画像および呼称が登録される。対象者となるユーザは、例えば、図中左側の画面に示される「顔登録」を押下することで、自律移動体10のカメラを起動し、自身の顔の画像を登録することができる。
この際、画面上には、例えば、図中央に示すように、自律移動体10が精度高く認識を行うために必要な画像の撮影方法が表示されてもよい。見守りの対象者となるユーザは、当該撮影方法に従い撮影を行い、図中右側に示すように、撮影された画像を登録することができる。また、ユーザは、図中左側に示されるフィールドに、自身の呼称を任意に登録できてよい。
以上、本実施形態に係る見守りの対象者の設定について一例を示した。本実施形態では、例えば、上記のように、見守りの対象者となるユーザ自身が登録を行うことで、当該対象者の同意がない見守りが行われることを防止することができる。なお、見守りの対象者の設定および同意の取得は、例えば、サービスの契約時などに行われてもよい。
再び図12を参照して、第2のモードにおけるパトロールの設定について説明を続ける。見守りの対象者となるユーザまたは報告先となるユーザは、図示するように、第2のモードにおけるパトロールに各設定をユーザインタフェースを介して行うことができる。
ユーザは、例えば、パトロールにおいて認識や報告の対象とする項目を任意に選択できてよい。図12では、上記項目の一例として、「顔」、「タッチ」、および「声」(発話)が示されている。
ここで、ユーザにより、「顔」が選択された場合、自律移動体10は、パトロール中に対象者の顔を認識したこと、あるいは認識できなかったことに基づいて、報告先への情報提供を制御してよい。
また、ユーザにより、「タッチ」が選択された場合、自律移動体10は、パトロール中に対象者による自律移動体10への接触を認識したこと、あるいは認識できなかったことに基づいて、報告先への情報提供を制御してよい。
また、ユーザにより、「声」が選択された場合、自律移動体10は、パトロール中に対象者の発話を認識したこと、あるいは認識できなかったことに基づいて、報告先への情報提供を制御してよい。
このように、本実施形態では、認識や報告の対象となる項目をユーザが任意に設定可能とすることで、対象者の状況に合わせた柔軟な見守りを実現することができる。
また、ユーザは、第2のモードにおけるパトロールが実行される頻度や時間を任意に設定できてよい。ユーザは、上記パトロールが実行される頻度を、例えば、毎日、隔日、平日などから選択できてもよいし、上記の例に限定されず自由に設定できてもよい。
また、ユーザは、第2のモードにおけるパトロールが実行される時間を、予め設定された複数の時間帯の中から選択できてもよいし、自由に入力できてもよい。
また、ユーザは、第2のモードにおけるパトロールの実行に係るルートを任意に設定可能であってよい。図12に示す一例の場合、ユーザは、上記のルートとして、リビング、キッチン、および寝室を通るルートを設定している。
図14は、本実施形態に係るパトロールのルート設定について説明するための図である。図14には、ユーザが、上記ルートを設定するための画面例が示されている。ユーザは、例えば、画面上に表示される対象者の住居の地図を参照しながら、任意のポイントをタッチなどにより選択し、名称を入力することで、ルートの設定を行うことができる。
上記の地図は、自律移動体10の認識部120が生成した環境地図や、当該環境地図に、ユーザが間取りなどの情報を重畳した統合的な環境地図であってよい。なお、図14では、認識部120が生成した環境地図が表示される場合の一例が示されている。
この際、ユーザは、例えば、図示するように、パトロール中に自律移動体10が立ち寄る複数の見守りポイントを、環境地図をタッチし、また、当該見守りポイントの名称を入力することで設定することができる。
このように、本実施形態に係るユーザインタフェースによれば、第2のモードにおけるパトロールに関し、自律移動体10に立ち寄らせる複数のポイントをユーザが柔軟に設定することができる。これによれば、通常時や指定時間帯に見守りの対象者が居る可能性が高いポイントを優先して自律移動体10にパトロールさせることができ、効率的なパトロールを実現すると共に、パトロール中に訪れてほしくない場所を除外するなどして対象者のプライバシーを保護することが可能となる。
以上、本実施形態の第2のモードにおけるパトロールのルート設定について説明した。このように、本実施形態に係る動作制御部140は、上記のように行われたルート設定に基づいて、自律移動体10によるパトロールの実行を制御し、またパトロールにおける対象者の言動や状態に係る情報の提供を制御してよい。
より詳細には、本実施形態に係る動作制御部140は、認識部120が自律移動体10の自律移動体に伴い生成した環境地図と、ユーザが指定したルート設定とに基づいて、自律移動体10によるパトロールの実行を制御してよい。
また、本実施形態に係る動作制御部140は、学習部130が学習した対象者の通常状態に基づいて、パトロールのルート等を自動で決定することも可能である。動作制御部140は、例えば、学習部130が、対象者が通常状態において午前8時〜午前12時に自宅に居る場合が多いと推定したことに基づいて、パトロールを行う時間を上記時間帯に自動で設定することができる。
また、動作制御部140は、学習部130が、対象者が通常状態において、リビング、キッチン、または寝室に居る場合が多いと推定したことに基づいて、当該ポイントを通るルートを自動で設定することが可能である。
本実施形態に係る動作制御部140が有する上記の機能によれば、対象者が居る可能性が高い時間帯やポイントを優先的にパトロールすることで、より効果的な見守りを実現することが可能となる。
以上、本実施形態に係る第2のモードにおけるパトロールのルート設定について詳細に説明した。続いて、第2のモードにおけるパトロール中の、自律移動体10の挙動について述べる。
上述したように、見守りの対象者であるユーザの中には、自律移動体10の見守り機能が有効となっていることを意識し過ぎすることで、自律移動体10との本来のインタラクションを十分に楽しめなくなる者もいることが想定され得る。
上記のような事態を回避するために、本実施形態に係る自律移動体10は、通常の自律動作時とパトロール時とで挙動を変化させてよい。すなわち、本実施形態に係る自律移動体10は、パトロールを実行中であることを動作等を用いて表出することにより、現在、報告先への情報提供のための情報収集が行われていることを対象者に知らしめることができる。
図15は、本実施形態に係る第2のモードにおけるパトロール時の自律移動体10の挙動について説明するための図である。上述したように、第2のモードにおいて、自律移動体10は、設定されたルートに基づくパトロールを実行する。この際、自律移動体10は、対象者や部屋の形状を把握しながら長距離を移動する必要がある。このため、第2のモードにおいては、自律移動体10は、通常の自律移動時と比較して長い距離を一度に移動してよい(なお、歩行速度は通常の自律移動時と同程度であってもよい)。
また、この際、自律移動体10は、一回の移動で長距離を効率的に移動するために、通常の自律移動時と比較して、よりテンポよく移動することを特徴とする。具体的には、本実施形態に係る動作制御部140は、第2のモードにおいては、例えば警察官の行進のように、より背筋を伸ばし、胸を張り、歩幅を大きく、また一定のリズムの歩行を自律移動体10に行わせることで、パトロールを行っていることを演出してもよい。
このように、本実施形態に係る動作制御部140は、パトロールの実行時と非実行時とで自律移動体10の移動態様を変化させることで、ユーザにパトロールの実行を知らしめてもよい。
さらには、パトロール中に対象者が認識された際、動作制御部140は、図示するように、対象者であるユーザU1に対する敬礼のような振る舞いを自律移動体10に実行させることで、パトロールが実行中であることを演出してもよい。また、動作制御部140は、上記の敬礼のほか、入念に匂いを嗅ぎ尻尾を振るような振る舞いや、パトロールが完了したポイントにマーキングを行うなどの特別な振る舞いをパトロール時のみに自律移動体10に実行させてもよい。一方で、動作制御部140は、例えば、お手などの通常時に頻出する振る舞いがパトロール時に行われないよう制御してもよい。
また、例えば、動作制御部140は、例えば、警察等を想起させる音楽を自律移動体10に出力させることもできる。
このように、本実施形態に係る動作制御部140によれば、パトロールの実行の有無を動作等により表出することで、対象者に報告先への情報提供を行うための情報収集が実行中であることを知らしめることができる。これによれば、対象者が上記なような情報収集を常に意識することなく、自律移動体10との本来のインタラクションを自然に楽しむことができる。
次に、本実施形態に係る報告先への情報提供について一例を述べる。上述したように、本実施形態に係る自律移動体10は、第1のモードや第2のモードにおいて、見守りの対象者であるユーザの言動や状態を認識し、報告先であるユーザへの情報提供を制御することができる。
この際、本実施形態に係る動作制御部140は、サーバ通信部170を介して情報処理サーバ20に各種の認識の結果等を送信し、上述のユーザインタフェース上などにおいて報告先であるユーザへの情報提供が行われるよう制御を行う。
動作制御部140は、例えば、対象者の顔や、接触行為、発話の認識有無に基づく簡易的な情報提供(見守り報告)が行われるよう制御を行ってもよい。図16は、本実施形態に係る簡易的な見守り報告の一例である。
図16に示す一例の場合、情報処理サーバ20のインタフェース制御部210は、動作制御部140による制御に従い、カレンダー方式で対象者に係る認識の有無を表示している。例えば、インタフェース制御部210は、自律移動体10が対象者の顔や接触行為、発話を認識した日においては、撮影した対象者の画像を対応付けて表示することで、対象者が通常状態にあることを報告先に示してもよい。
また、本実施形態に係る動作制御部140は、認識結果に基づくより詳細な情報提供が行われるよう制御を行ってもよい。図17は、本実施形態に係る詳細な見守り報告の一例である。図17の左側に示す一例の場合、インタフェース制御部210は、第2のモードにおいてパトロールが行われた時間や、当該パトロールにおけるルート、またパトロール中に撮影した対象者の画像を環境地図と対応づけて詳細に表示している。上述したように、本実施形態に係る環境地図は、認識部120が生成した環境地図に間取りなどの情報が重畳された統合的な地図であってもよい。
また、図17の右側に示す一例の場合、インタフェース制御部210は、対象者の顔や接触行為、発話の認識結果を時系列に表示している。また、図中左側に示した一例と同様に、インタフェース制御部210は、撮影した対象者の画像や録音した対象者の発話音声を併せて提供してもよい。
このように、本実施形態に係る動作制御部140およびインタフェース制御部210によれば、対象者の見守りに係る簡易的あるいは詳細な報告を報告先であるユーザに提供することが可能である。なお、上記のような簡易的な報告と詳細な報告とは共に行われてもよいし、いずれかのみが行われてもよい。
例えば、報告先であるユーザは、ユーザインタフェース上において、簡易的な報告の任意の日付を押下することで、詳細な報告を確認できてもよい。また、例えば、見守りの対象者であるユーザは、詳細な報告をオフにし、簡易的な報告のみが行われるよう設定することで、自身のプライバシーを重視できてもよい。
以上、本実施形態に係る報告先への情報提供について具体例を挙げて説明した。なお、上記においては、顔や接触行為または発話の認識有無に基づいて情報提供が行われる場合を例に述べたが、本実施形態に係る情報提供は係る例に限定されない。本実施形態に係る自律移動体10は、対象者の通常状態と、認識した言動や状態と、に基づいて、対象者の見守りに係る種々の情報提供を制御することができる。
図18〜図23は、本実施形態に係る自律移動体10による見守りの具体例を示す一例である。例えば、図18の左側に示す一例の場合、認識部120は、対象者であるユーザU1が、通常状態とは異なり、寝室以外の場所で横になっていることを認識している。また、動作制御部140は、上記の認識に基づき自律移動体10に吠える動作を実行させているが、上記動作に対するユーザU1の反応が認識されていない。この際、本実施形態に係る動作制御部140は、対象者であるユーザU1が通常状態から大きく逸脱していると判定し、報告先であるユーザに緊急報告が行われるよう情報処理サーバ20を制御してもよい。
また、例えば、図18の右側に示す一例の場合、認識部120は、通常状態と比較して対象者であるユーザU1が寝室で横になっている時間が長いこと、また激しく咳き込んでいることを認識している。この場合も同様に、本実施形態に係る動作制御部140は、対象者であるユーザU1が通常状態から大きく逸脱していると判定し、報告先であるユーザに緊急報告が行われるよう制御を行うことができる。このように、本実施形態に係る動作制御部140は、通常状態の範疇に含まれない対象者の言動や状態が認識された場合、通常状態からの逸脱に係る情報の提供が行われるよう制御してよい。
また、本実施形態に係る自律移動体10は、対象者の身体的な状態のほか、精神的な状態に係る見守りを行うことも可能である。例えば、図19の左側に示す一例の場合、対象者であるユーザU1は、自律移動体10に対する呼びかけである発話UO2を行っているが、この際、ユーザU1は、自律移動体10の名前を誤って発話している。
この際、本実施形態に係る動作制御部140は、ユーザU1が自律移動体10の名前を呼び間違う頻度が増した、などの通常状態の変化を学習部130が推定したことに基づいて、当該変化に係る情報の提供が報告先に行われるよう制御を行ってもよい。
また、図19の右側に示す一例の場合、動作制御部140は、ユーザU1が最近真夜中に活動するようになった、などの通常状態の変化を学習部130が推定したことに基づいて、当該変化に係る情報の提供を制御してもよい。
また、図20に示す一例の場合、動作制御部140は、ユーザU1の生活空間、すなわち自律移動体10の活動空間に最近障害物が増えた、などの通常状態の変化を学習部130が推定したことに基づいて、当該変化に係る情報が報告先に行われるよう制御を行うことができる。なお、学習部130は、認識部120による物体認識の結果や、環境地図の変化等に基づいて、障害物の増加を推定することが可能である。
上記で例に挙げた、名前の呼び間違え、活動時間の変化、障害物の増加などから推定される部屋の散らかしなどは、いずれも認知症の症例として当てはまるものである。このように、本実施形態に係る自律移動体10によれば、対象者の身体的な異常に加え、精神的な異常を早期に発見することもでき、より効果の高い見守りを実現することが可能である。
また、本実施形態に係る自律移動体10は、他の機器に対する対象者の言動などに基づく見守りを行うこともできる。例えば、図21に示す一例の場合、動作制御部140は、テレビの音量設定が以前よりも大きくなったことや、テレビを見る位置が以前よりも近くなったことに基づいて、ユーザU1の聴力や視力の衰えを推定し、当該推定に係る報告が行われるよう制御を行ってもよい。この際、動作制御部140は、テレビから受信した音量に係る情報に基づき上記の制御を行ってもよい。このように、本実施形態に係る動作制御部140は、対象者に係る認識結果に加え、他の機器から受信した情報に基づいて、見守りに係る情報提供を制御することが可能である。
また、本実施形態に係る動作制御部140は、対象者のスケジュールに基づいて、情報提供を制御してもよい。動作制御部140は、例えば、スケジュールアプリケーションに登録される対象者のスケジュールと、当該対象者の言動が一致していない場合などに、報告先への情報提供が行われるよう制御することもできる。
また、上記のスケジュールは、対象者等により明示的に入力されたものでなくてもよい。例えば、図22に示す一例の場合、対象者であるユーザU1は、自律移動体10に対し、シャワーを浴びてくる旨の発話UO3を行っている。この際、動作制御部140は、認識された発話UO3に基づいて、内部で保持されるユーザU1のスケジュールに「シャワー」を想定時間と共に動的に登録することができる。
ここで、例えば、図示するように、想定時間が大幅に経過してもユーザU1が戻ってこない場合、動作制御部140は、報告先であるユーザに緊急の報告が行われるよう制御を行うことが可能である。
また、上記では、動作制御部140が、対象者に係る認識の結果に基づいて、報告先への情報提供を制御する場合を中心に述べたが、本実施形態に係る動作制御部140は、他の人物や物体に係る認識の結果に基づいて情報提供を制御してもよい。例えば、上述したように、本実施形態に係る学習部130は、対象者の居住空間を訪れる訪問者の識別状況を当該対象者に係る通常状態として学習することができる。この場合、本実施形態に係る動作制御部140は、上記のような通常状態と、訪問者の識別結果とに基づいて報告先への情報提供を制御してよい。一例としては、本実施形態に係る動作制御部140は、通常状態の範疇に含まれない訪問者の識別状況が取得された場合、当該訪問者に係る情報の提供が行われるように制御する。
例えば、図23に示す一例の場合、認識部120は、深夜において、識別不能な人物UNを認識している。この際、本実施形態に係る動作制御部140は、通常状態において識別されていない人物UNが認識されたことや、人物UNが深夜に識別されたことに基づいて、人物UNの訪問が通常状態の範疇には含まれないと判定し、報告先であるユーザへの緊急報告が行われるよう制御を行うこともできる。また、動作制御部140は、人物UNが玄関付近ではなく、居室内で認識されたことに基づいて、緊急報告を制御してもよい。
動作制御部140による上記の制御によれば、不審者や不法侵入者などの訪問をいち早く察知し、適切な対応を行うことが可能となる。なお、本実施形態に係る動作制御部140は、図23を用いて説明した上記の例に限定されず、訪問者の識別状況に基づいて、様々な情報提供を制御することが可能である。
動作制御部140は、例えば、訪問回数や訪問間隔、訪問時間などに基づいて、情報提供を制御してもよい。例えば、悪質な業者等が頻繁に対象者宅を訪れるようになった場合を想定する。この際、動作制御部140は、過去に認識されなかった人物が所定期間内に対象者宅を多数回訪問するようになったことに基づいて、報告先のユーザに注意喚起が行われるよう制御することも可能である。
また、動作制御部140は、例えば、対象者の知人の訪問状況等が報告先へ提供されるよう制御を行うこともできる。具体的には、動作制御部140は、例えば、「おばあちゃんのお友達の田中さんが今日も様子を見に来てくれたよ」などの文言をユーザインタフェース上に表示させることもできる。係る制御によれば、報告先であるユーザが、対象者の交友関係を把握するなど、さらなる安心感を得ることが可能となる。
以上、本実施形態に係る自律移動体10による見守りについて具体例を挙げながら説明した。上述したように、本実施形態に係る自律移動体10によれば、対象者等に係る各種の認識の結果に基づいて異常を推定し、当該異常に係る情報提供を制御することが可能である。
次に、本実施形態に係る第3のモードについて詳細に説明する。上述したように、本実施形態に係る第1のモードおよび第2のモードでは、見守りに係る報告が、自律移動体10主体の発信となるため、報告先のユーザにとっては受動型の機能といえる。一方で、例えば、対象者と長時間連絡が取れていないなどの緊急時には、報告先のユーザが即時的な見守りの実行を自律移動体10に指示したい状況も想定される。
このため、本実施形態に係る第3のモードは、報告先のユーザなどの対象者が予め許諾したユーザからの要求に基づいて、自律移動体10がパトロールを実行するモードであってよい。
この際、本実施形態に係る動作制御部140は、対象者が予め許諾したユーザからの要求に基づいて、自律移動体10によるパトロールの実行を制御し、当該パトロールにおいて当該ユーザからの入力に基づいて自律移動体10の動作を制御してよい。
図24は、本実施形態に係る第3のモードにおけるパトロールについて説明するための図である。上述したように、本実施形態に係る第3のモードでは、動作制御部140は、対象者が予め許諾した報告先であるユーザなどの要求に基づいてパトロールの実行を制御する。
報告先であるユーザなどは、例えば、図11に示した「今すぐパトロール」ボタンなどを押下することで、第3のモードにおけるパトロールを開始させることができる。この際、上記ユーザは、例えば、図24に示すような画面上において、自律移動体10の動作を制御する。
図24の左側に示す一例の場合、上記ユーザは、自律移動体10の入力部110が撮影する動作をストリーミングにより視聴しながら、自律移動体10の移動(前進、後退、左旋回、右旋回など)や姿勢(正面を見る、左を見る、右を見るなど)をコントロールできる。
また、図24の右側に示すように、上記ユーザは、上述した環境地図において任意のポイントをタッチすることで、当該ポイントに自律移動体10を移動させることができてもよい。また、上記ユーザは、例えば、「敬礼」、「指差し」、「サイレン」などのボタンを押下することで、対応する動作を自律移動体10に実行させることができる。
また、第3のモードにおけるパトロールの実行を制御するユーザインタフェースには、自律移動体10のバッテリーや熱の状態、またこれらから推定される活動限界等の情報などが表示されてもよい。
上記ユーザは、表示される各種の情報を確認しながら、自律移動体10の移動や姿勢、また振る舞いを制御し、任意にパトロールを実行することが可能である。
なお、この際、本実施形態に係る動作制御部140は、上記ユーザの入力に基づいて自律移動体10を移動させ、移動中に入力部110が取得した画像情報や音声情報がストリーミングにより当該ユーザに提供されるよう制御を行う。
また、この際、本実施形態に係る動作制御部140は、第3のモードにおけるパトロールが実行中であることをディスプレイ510の表示や、動作により表現する。図25は、本実施形態に係る第3のモードにおけるパトロール時のディスプレイ表示例を示す図である。図25に示す一例の場合、動作制御部140は、瞳の内側において星型のマークが旋回するように表示を制御している。また、動作制御部140は、光彩のふちにカメラの絞りを想起するような模様を表示させている。
上述したように、本実施形態に係る第3のモードでは、画像情報や音声情報がストリーミングにより、報告先であるユーザ等に提供される。このため、上記のように、第1のモードや第2のモードとは異なるディスプレイ510の表示を行い、第3のモードにおけるパトロールの実行をより確実に対象者に示すことで、対象者の意図に沿わないパトロールが実行された場合であっても、対象者が早期に対処を行うことが可能となる。
また、動作制御部140は、ディスプレイ510の制御に加え、緊急時に対応した速度(例えば、ダッシュする際と同じ速度)で自律移動体10を移動させ、またコントロールを行うユーザからの指示以外の振る舞いは行わないなどの制御を行ってよい。
以上、本実施形態に係る第3のモードにおけるパトロールについて説明した。このように、本実施形態に係る自律移動体10は、対象者や報告先のニーズに対応した複数のモードに基づく動作を行うことで、対象者のプライバシーを尊重しながらも、よりセキュアで柔軟な見守りを実現することができる。
なお、上記では、本実施形態に係る見守りの対象者が、遠隔地に住む高齢者等である場合を主な例として述べたが、本実施形態に係る対象者は上記の例に限定されない。本実施形態に係る見守りの対象者は、例えば、報告先であるユーザ(親)と同居する子供であってもよい。
この際、本実施形態に係る動作制御部140は、報告先であるユーザの不在中における対象者の言動や状態が、成長日記風に報告されるよう制御を行ってもよい。図26は、本実施形態に係る対象者が子供である場合の報告例を示す図である。
例えば、図26に示す一例の場合、動作制御部140は、対象者である子供のユーザとのインタラクションの結果に基づいて、自律移動体10の視点から見た当該ユーザの言動や状態が日記風に報告されるよう制御を行っている。
このように、本実施形態に係る動作制御部140は、見守りの対象者や、見守りの目的に応じて、様々な形式により情報提供が行われるよう制御を行ってよい。例えば、上記のような報告によれば、報告先である親のユーザは、不在時における子供の言動や状態を、自律移動体10が付けた日記として、楽しみながら把握することができる。
以上、本実施形態に係る対象者や情報提供のバリエーションについて一例を示した。なお、本実施形態に係る見守りの対象者は、例えば、ペットなどの人以外の生物であってもよい。この場合であっても、自律移動体10は、当該生物とのインタラクションや、各種の認識の結果に基づいて、情報提供を制御することができる。
<2.ハードウェア構成例>
次に、本開示の一実施形態に係る情報処理サーバ20のハードウェア構成例について説明する。図27は、本開示の一実施形態に係る情報処理サーバ20のハードウェア構成例を示すブロック図である。図27を参照すると、情報処理サーバ20は、例えば、プロセッサ871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インタフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
(プロセッサ871)
プロセッサ871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
(ROM872、RAM873)
ROM872は、プロセッサ871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、プロセッサ871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
(ホストバス874、ブリッジ875、外部バス876、インタフェース877)
プロセッサ871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インタフェース877を介して種々の構成要素と接続される。
(入力装置878)
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。また、入力装置878には、マイクロフォンなどの音声入力装置が含まれる。
(出力装置879)
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879は、触覚刺激を出力することが可能な種々の振動デバイスを含む。
(ストレージ880)
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu−ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
(通信装置883)
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
<3.まとめ>
以上説明したように、本開示の一実施形態に係る自律移動体10は、自律移動体10の動作を制御する動作制御部140、を備える。また、本開示の一実施形態に係る動作制御部140は、日常における対象者の言動または状態に係る学習の結果から推定された対象者の通常状態と、認識された対象者の言動または状態と、に基づいて、対象者の日常生活に係る情報の提供を制御すること、を特徴の一つとする。係る構成によれば、対象者の日常生活に溶け込んだ、より違和感のない見守りを実現することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアに、情報処理サーバ20が有する構成と同等の機能を発揮させるためのプログラムも作成可能であり、当該プログラムを記録した、コンピュータに読み取り可能な非一過性の記録媒体も提供され得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
自律移動体の動作を制御する制御部、
を備え、
前記制御部は、日常における対象者の言動または状態に係る学習の結果から推定された前記対象者の通常状態と、認識された前記対象者の言動または状態と、に基づいて、前記対象者の日常生活に係る情報の提供を制御する、
情報処理装置。
(2)
前記制御部は、前記通常状態の範疇に含まれる前記対象者の言動または状態の認識有無に係る情報の提供を制御する、
前記(1)に記載の情報処理装置。
(3)
前記通常状態の範疇に含まれる前記対象者の言動または状態は、所定の状況における前記対象者の所在、発話、前記自律移動体への接触のうち少なくともいずれかを含む、
前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記通常状態の範疇に含まれる前記対象者の言動または状態は、前記自律移動体に対するインタラクションを含む、
前記(2)に記載の情報処理装置。
(5)
前記制御部は、前記通常状態の変化に係る情報の提供を制御する、
前記(4)に記載の情報処理装置。
(6)
前記制御部は、前記通常状態の範疇に含まれない前記対象者の言動または状態が認識された場合、前記通常状態からの逸脱に係る情報の提供が行われるよう制御する、
前記(1)〜(5)のいずれかに記載の情報処理装置。
(7)
前記制御部は、ルート設定に基づいて、前記自律移動体によるパトロールの実行を制御し、前記パトロール中における前記対象者の言動または状態に係る情報の提供を制御する、
前記(1)〜(6)のいずれかに記載の情報処理装置。
(8)
前記制御部は、前記自律移動体の自律移動に伴い生成された環境地図に基づいて、前記パトロールの実行を制御する、
前記(7)に記載の情報処理装置。
(9)
前記制御部は、ユーザが指定したルート設定と前記環境地図とに基づいて、前記自律移動体による前記パトロールの実行を制御する、
前記(8)に記載の情報処理装置。
(10)
前記制御部は、前記通常状態に基づいて前記パトロールのルート設定を自動で決定する、
前記(8)に記載の情報処理装置。
(11)
前記制御部は、前記対象者が予め許諾したユーザからの要求に基づいて前記自律移動体によるパトロールの実行を制御し、当該パトロールにおいて当該ユーザからの入力に基づいて前記自律移動体の動作を制御する、
前記(1)〜(6)のいずれかに記載の情報処理装置。
(12)
前記制御部は、前記パトロールにおいて前記ユーザの入力に基づいて前記自律移動体を移動させ、移動中に取得された画像情報の前記ユーザに対する提供を制御する、
前記(11)に記載の情報処理装置。
(13)
前記制御部は、前記パトロールの実行時と非実行時とで前記自律移動体の移動態様を変化させる、
前記(7)〜(12)のいずれかに記載の情報処理装置。
(14)
前記自律移動体が収集したセンサ情報に基づいて環境地図を生成する地図生成部、
をさらに備える、
前記(1)〜(13)のいずれかに記載の情報処理装置。
(15)
前記自律移動体が収集したセンサ情報に基づいて日常における前記対象者の言動または状態に係る学習を行う学習部、
をさらに備える、
前記(1)〜(14)のいずれかに記載の情報処理装置。
(16)
前記自律移動体が収集したセンサ情報に基づいて前記対象者の言動または状態を認識する認識部、
をさらに備える、
前記(1)〜(15)のいずれかに記載の情報処理装置。
(17)
前記対象者の日常生活に係る情報を提供するユーザインタフェースを制御するインタフェース制御部、
をさらに備える、
前記(1)〜(16)のいずれかに記載の情報処理装置。
(18)
前記通常状態は、前記対象者の居住空間を訪れる訪問者の識別状況を含み、
前記制御部は、前記通常状態の範疇に含まれない前記訪問者の前記識別状況が取得された場合、当該訪問者に係る情報の提供が行われるよう制御する、
前記(1)〜(17)のいずれかに記載の情報処理装置。
(19)
プロセッサが、自律移動体の動作を制御すること、
を含み、
前記制御することは、日常における対象者の言動または状態に係る学習の結果から推定された前記対象者の通常状態と、認識された前記対象者の言動または状態と、に基づいて、前記対象者の日常生活に係る情報の提供を制御すること、
をさらに含む、
情報処理方法。
(20)
コンピュータを、
自律移動体の動作を制御する制御部、
を備え、
前記制御部は、日常における対象者の言動または状態に係る学習の結果から推定された前記対象者の通常状態と、認識された前記対象者の言動または状態と、に基づいて、前記対象者の日常生活に係る情報の提供を制御する、
情報処理装置、
として機能させるためのプログラム。
10 自律移動体
110 入力部
120 認識部
130 学習部
140 動作制御部
20 情報処理サーバ
210 インタフェース制御部

Claims (20)

  1. 自律移動体の動作を制御する制御部、
    を備え、
    前記制御部は、日常における対象者の言動または状態に係る学習の結果から推定された前記対象者の通常状態と、認識された前記対象者の言動または状態と、に基づいて、前記対象者の日常生活に係る情報の提供を制御する、
    情報処理装置。
  2. 前記制御部は、前記通常状態の範疇に含まれる前記対象者の言動または状態の認識有無に係る情報の提供を制御する、
    請求項1に記載の情報処理装置。
  3. 前記通常状態の範疇に含まれる前記対象者の言動または状態は、所定の状況における前記対象者の所在、発話、前記自律移動体への接触のうち少なくともいずれかを含む、
    請求項2に記載の情報処理装置。
  4. 前記制御部は、前記通常状態の範疇に含まれる前記対象者の言動または状態は、前記自律移動体に対するインタラクションを含む、
    請求項2に記載の情報処理装置。
  5. 前記制御部は、前記通常状態の変化に係る情報の提供を制御する、
    請求項4に記載の情報処理装置。
  6. 前記制御部は、前記通常状態の範疇に含まれない前記対象者の言動または状態が認識された場合、前記通常状態からの逸脱に係る情報の提供が行われるよう制御する、
    請求項1に記載の情報処理装置。
  7. 前記制御部は、ルート設定に基づいて、前記自律移動体によるパトロールの実行を制御し、前記パトロール中における前記対象者の言動または状態に係る情報の提供を制御する、
    請求項1に記載の情報処理装置。
  8. 前記制御部は、前記自律移動体の自律移動に伴い生成された環境地図に基づいて、前記パトロールの実行を制御する、
    請求項7に記載の情報処理装置。
  9. 前記制御部は、ユーザが指定したルート設定と前記環境地図とに基づいて、前記自律移動体による前記パトロールの実行を制御する、
    請求項8に記載の情報処理装置。
  10. 前記制御部は、前記通常状態に基づいて前記パトロールのルート設定を自動で決定する、
    請求項8に記載の情報処理装置。
  11. 前記制御部は、前記対象者が予め許諾したユーザからの要求に基づいて前記自律移動体によるパトロールの実行を制御し、当該パトロールにおいて当該ユーザからの入力に基づいて前記自律移動体の動作を制御する、
    請求項1に記載の情報処理装置。
  12. 前記制御部は、前記パトロールにおいて前記ユーザの入力に基づいて前記自律移動体を移動させ、移動中に取得された画像情報の前記ユーザに対する提供を制御する、
    請求項11に記載の情報処理装置。
  13. 前記制御部は、前記パトロールの実行時と非実行時とで前記自律移動体の移動態様を変化させる、
    請求項7に記載の情報処理装置。
  14. 前記自律移動体が収集したセンサ情報に基づいて環境地図を生成する地図生成部、
    をさらに備える、
    請求項1に記載の情報処理装置。
  15. 前記自律移動体が収集したセンサ情報に基づいて日常における前記対象者の言動または状態に係る学習を行う学習部、
    をさらに備える、
    請求項1に記載の情報処理装置。
  16. 前記自律移動体が収集したセンサ情報に基づいて前記対象者の言動または状態を認識する認識部、
    をさらに備える、
    請求項1に記載の情報処理装置。
  17. 前記対象者の日常生活に係る情報を提供するユーザインタフェースを制御するインタフェース制御部、
    をさらに備える、
    請求項1に記載の情報処理装置。
  18. 前記通常状態は、前記対象者の居住空間を訪れる訪問者の識別状況を含み、
    前記制御部は、前記通常状態の範疇に含まれない前記訪問者の前記識別状況が取得された場合、当該訪問者に係る情報の提供が行われるよう制御する、
    請求項1に記載の情報処理装置。
  19. プロセッサが、自律移動体の動作を制御すること、
    を含み、
    前記制御することは、日常における対象者の言動または状態に係る学習の結果から推定された前記対象者の通常状態と、認識された前記対象者の言動または状態と、に基づいて、前記対象者の日常生活に係る情報の提供を制御すること、
    をさらに含む、
    情報処理方法。
  20. コンピュータを、
    自律移動体の動作を制御する制御部、
    を備え、
    前記制御部は、日常における対象者の言動または状態に係る学習の結果から推定された前記対象者の通常状態と、認識された前記対象者の言動または状態と、に基づいて、前記対象者の日常生活に係る情報の提供を制御する、
    情報処理装置、
    として機能させるためのプログラム。
JP2020559074A 2018-12-07 2019-11-26 情報処理装置、情報処理方法、およびプログラム Active JP7375770B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018229524 2018-12-07
JP2018229524 2018-12-07
PCT/JP2019/046117 WO2020116233A1 (ja) 2018-12-07 2019-11-26 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020116233A1 true JPWO2020116233A1 (ja) 2021-10-21
JP7375770B2 JP7375770B2 (ja) 2023-11-08

Family

ID=70975332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020559074A Active JP7375770B2 (ja) 2018-12-07 2019-11-26 情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (1) US20220016757A1 (ja)
EP (1) EP3893215A4 (ja)
JP (1) JP7375770B2 (ja)
WO (1) WO2020116233A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7441142B2 (ja) 2020-08-28 2024-02-29 株式会社Nttドコモ 管理装置、及び見守りシステム
CN112034857B (zh) * 2020-09-10 2023-10-31 北京信息科技大学 公共场所打喷嚏、咳嗽行为识别与消毒方法和系统
JP7121848B1 (ja) 2021-11-12 2022-08-18 株式会社ユカリア 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1122038A4 (en) * 1998-06-23 2009-06-17 Sony Corp ROBOT AND INFORMATION PROCESSING SYSTEM
JP4320900B2 (ja) 2000-02-09 2009-08-26 ソニー株式会社 自律型のロボット装置を用いた監視システム及び自律型のロボット装置を用いた監視方法
JP2003296855A (ja) * 2002-03-29 2003-10-17 Toshiba Corp 監視装置
JP2005284535A (ja) * 2004-03-29 2005-10-13 Sanyo Electric Co Ltd 生活監視システム
JP2007234066A (ja) * 2007-06-18 2007-09-13 Toshiba Corp 監視装置
KR102071575B1 (ko) * 2013-04-23 2020-01-30 삼성전자 주식회사 이동로봇, 사용자단말장치 및 그들의 제어방법
CN105654648B (zh) 2016-03-28 2018-07-06 浙江吉利控股集团有限公司 防盗监控装置及系统和方法
JP6786912B2 (ja) 2016-07-05 2020-11-18 富士ゼロックス株式会社 移動ロボットおよび移動制御システム
WO2019226948A1 (en) * 2018-05-23 2019-11-28 Aeolus Robotics, Inc. Robotic interactions for observable signs of core health

Also Published As

Publication number Publication date
WO2020116233A1 (ja) 2020-06-11
EP3893215A4 (en) 2022-01-19
US20220016757A1 (en) 2022-01-20
JP7375770B2 (ja) 2023-11-08
EP3893215A1 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
US20230305530A1 (en) Information processing apparatus, information processing method and program
JP7375770B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230266767A1 (en) Information processing apparatus, information processing method, and program
JP7351383B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JPWO2019087495A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2020522828A (ja) コンピュータービジョンベースの監視システムおよび方法
US11938625B2 (en) Information processing apparatus, information processing method, and program
US20230195401A1 (en) Information processing apparatus and information processing method
US20210197393A1 (en) Information processing device, information processing method, and program
JPWO2020129993A1 (ja) ロボット
EP3992987A1 (en) System and method for continously sharing behavioral states of a creature
JPWO2020153038A1 (ja) 情報処理装置、および情報処理方法
JP7298861B2 (ja) 日常生活を記録する自律行動型ロボット
JPWO2020105309A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2022044843A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2024055866A (ja) 内部状態または外部環境に応じて自律的に行動選択するロボット

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231009

R151 Written notification of patent or utility model registration

Ref document number: 7375770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151