JPWO2019211932A1 - 情報処理装置、情報処理方法、プログラム、及び自律行動ロボット制御システム - Google Patents

情報処理装置、情報処理方法、プログラム、及び自律行動ロボット制御システム Download PDF

Info

Publication number
JPWO2019211932A1
JPWO2019211932A1 JP2020517018A JP2020517018A JPWO2019211932A1 JP WO2019211932 A1 JPWO2019211932 A1 JP WO2019211932A1 JP 2020517018 A JP2020517018 A JP 2020517018A JP 2020517018 A JP2020517018 A JP 2020517018A JP WO2019211932 A1 JPWO2019211932 A1 JP WO2019211932A1
Authority
JP
Japan
Prior art keywords
information
map
robot
information processing
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020517018A
Other languages
English (en)
Other versions
JP7160092B2 (ja
Inventor
嘉寧 呉
嘉寧 呉
明香 渡辺
明香 渡辺
達人 佐藤
達人 佐藤
夏子 尾崎
夏子 尾崎
順 横野
順 横野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019211932A1 publication Critical patent/JPWO2019211932A1/ja
Application granted granted Critical
Publication of JP7160092B2 publication Critical patent/JP7160092B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Abstract

【課題】自律行動ロボットが周囲環境により適した行動を実施することが可能な情報処理装置、情報処理方法、プログラム、及び自律行動ロボット制御システムを提供する。【解決手段】情報処理装置は、マップ生成部と、行動制御信号生成部とを具備する。上記マップ生成部は、周囲の環境情報に係るデータを取得するデータ取得部を備える自律行動ロボットの上記データ取得部が取得するデータを基に時空間マップを生成する。上記行動制御信号生成部は、上記時空間マップに追加すべき情報を得るために、移動して上記データ取得部からデータを取得するという上記自律行動ロボットの行動制御信号を生成する。【選択図】図1

Description

本技術は、自律行動ロボットの行動制御に係る情報処理装置、情報処理方法、プログラム、及び自律行動ロボット制御システムに関する。
最近では、人間のパートナーとして生活を支援するロボットの開発が進められている。このようなロボットには、犬、猫のように4足歩行の動物の身体メカニズムやその動作を模したペット型ロボットや掃除ロボット等がある(例えば特許文献1)。
このようなロボットにおいては、このロボットが置かれる周囲環境により適した行動が実施されることが望まれている。
特開2013−31897号公報
以上のような事情に鑑み、本技術の目的は、自律行動ロボットが周囲環境により適した行動を実施することが可能な情報処理装置、情報処理方法、プログラム、及び自律行動ロボット制御システムを提供することにある。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、マップ生成部と、行動制御信号生成部とを具備する。
上記マップ生成部は、周囲の環境情報に係るデータを取得するデータ取得部を備える自律行動ロボットの上記データ取得部が取得するデータを基に時空間マップを生成する。
上記行動制御信号生成部は、上記時空間マップに追加すべき情報を得るために、移動して上記データ取得部からデータを取得するという上記自律行動ロボットの行動制御信号を生成する。
このような構成によれば、自律行動ロボットは、時空間マップに追加すべき情報を得るために、自律的に移動してデータを取得する。取得したデータを基に時空間マップに環境情報が蓄積されていくので、自律行動ロボットのユーザの生活スタイルが反映された時空間マップが生成される。これにより、自律行動ロボットはこの時空間マップを基に行動を実施する際、周囲環境に適した行動を実施することができるようになる。
上記追加すべき情報を特定する追加情報特定部を更に具備してもよい。
このように追加すべき情報が特定されることにより、効率的に、よりユーザの生活スタイルが反映された時空間マップを生成することができる。
上記追加すべき情報は、情報が不足している時空間領域の環境情報であってもよい。
これにより、時間的、空間的に万遍なく環境情報が蓄積された時空間マップを生成することができる。
上記追加すべき情報は、上記時空間マップの生成開始からある期間経過した後の環境情報であってもよい。
これにより、ある一定期間、例えば1年間を通した季節毎のユーザの生活スタイルが反映された時空間マップを生成することができる。
上記追加すべき情報は、上記自律行動ロボットが上記時空間マップを基に行動した際に、ユーザの反応が悪かった時の環境情報であってもよい。
これにより、周囲環境により適した行動を実施することができるようになる。
上記時空間マップは、空間的及び時間的に変化する人物情報と、人物の行動情報と、人物の状態情報と、物体情報と、物体の状態情報を含んでもよい。
上記時空間マップは、空間情報、時間情報、人物情報、人物の行動情報、人物の状態情報、物体情報、物体の状態情報のうち少なくとも2つを互いに関連づけた相関関係情報を含んでもよい。
上記行動制御信号生成部は、上記相関関係情報に基づいて、上記行動制御信号を生成してもよい。
これにより、相関関係情報に基づいて、周囲環境に適した行動を実施することができる。
上記自律行動ロボットは、上記自律行動ロボットの電源を供給するバッテリを備え、上記行動制御信号生成部は、上記バッテリの残量に基づいて上記行動制御信号を生成してもよい。
このように、バッテリの残量に基づいて行動範囲を制御するように行動制御信号が生成されてもよい。
上記行動制御信号生成部は、ユーザの指示に基づいて上記行動制御信号を生成してもよい。
このように、ユーザの指示に基づいて時空間マップを参考にして行動制御信号が生成されてもよい。
上記マップ生成部は、上記自律行動ロボットが上記時空間マップを基に行動した際の上記ユーザの反応を上記時空間マップにフィードバックしてもよい。
これにより、ユーザに対してより適切な、周囲環境に適した行動を実施することができるようになる。
上記データ取得部は、上記環境情報に係るデータとして画像データを取得する画像取得部を含んでもよい。
このような画像データを用いて、人物認識、動物認識、物体認識、行動認識、状態認識等の処理を行い、人物情報、人物の行動情報、人物の状態情報、物体情報、物体の状態情報等の環境情報を得ることができる。
上記データ取得部は、上記環境情報に係るデータとして周囲の音声データを取得する音声取得部を含んでもよい。
このような音声データを用いて、人物認識、動物認識、状態認識等の処理を行い、人物情報、人物の状態情報、物体の状態情報等の環境情報を得ることができる。
上記データ取得部は、上記環境情報に係るデータとして位置データを取得する位置データ取得部を含んでもよい。
このような位置データを用いて、空間情報等を得ることができる。
上記データ取得部は、上記環境情報に係るデータとして人物の所在を検知する人物検知部を含んでもよい。
これにより人物や動物等の所在の有無の情報を得ることができる。
上記目的を達成するため、本技術の一形態に係る情報処理方法は、周囲の環境情報に係るデータを取得するデータ取得部を備える自律行動ロボットの上記データ取得部が取得したデータを基に時空間マップを生成し、上記時空間マップに追加すべき情報を得るために、上記自律行動ロボットを移動させて上記データ取得部に上記データを取得させる。
上記目的を達成するため、本技術の一形態に係るプログラムは、周囲の環境情報に係るデータを取得するデータ取得部を備える自律行動ロボットの上記データ取得部が取得したデータを基に時空間マップを生成するステップと、上記時空間マップに追加すべき情報を得るために、上記自律行動ロボットを移動させて上記データ取得部に上記データを取得させるステップとを含む処理を情報処理装置に実行させる。
上記目的を達成するため、本技術の一形態に係る自律行動ロボット制御システムは、自律行動ロボットと、マップ生成部と、行動制御信号生成部とを具備する。
上記自律行動ロボットは、周囲の環境情報に係るデータを取得するデータ取得部を備える。
上記マップ生成部は、上記データを基に時空間マップを生成する。
上記行動制御信号生成部は、上記時空間マップに追加すべき情報を得るために、移動して上記データ取得部からデータを取得するという上記自律行動ロボットの行動制御信号を生成する。
上記目的を達成するため、本技術の一形態に係る自律行動ロボット制御システムは、第1の自律行動ロボットと、第2の自律行動ロボットと、マップ生成部と、行動制御信号生成部とを具備する。
上記第1の自律行動ロボットは、周囲の環境情報に係るデータを取得するデータ取得部を備える。
上記第2の自律行動ロボットは、周囲の環境情報に係るデータを取得するデータ取得部を備え、上記第1の自律行動ロボットとは異なる。
上記マップ生成部は、上記第1及び第2の自律行動ロボットから取得した上記データを基に時空間マップを生成する。
上記行動制御信号生成部は、上記時空間マップに追加すべき情報を得るために、移動して上記データ取得部からデータを取得するという上記第1又は第2の自律行動ロボットの行動制御信号を生成する。
このような構成によれば、複数の自律行動ロボットが取得したデータにより時空間マップを生成することができるので、効率よく時空間マップを生成することができる。
上記目的を達成するため、本技術の一形態に係る自律行動ロボット制御システムは、第1の自律行動ロボットと、第2の自律行動ロボットと、マップ生成部と、行動制御信号生成部とを具備する。
上記第1の自律行動ロボットは、周囲の環境情報に係るデータを取得するデータ取得部を備える。
上記第2の自律行動ロボットは、上記第1の自律行動ロボットとは異なる特性である。
上記マップ生成部は、上記第1の自律行動ロボットから取得した上記データを基に時空間マップを生成する。
上記行動制御信号生成部は、上記時空間マップに追加すべき情報を得るために、移動して上記データ取得部からデータを取得するという上記第1の自律行動ロボットの行動制御信号を生成する。
上記行動制御信号生成部は、上記時空間マップを基に、上記特性に応じた上記第2の自律行動ロボットの行動制御信号を生成する。
このように、複数の自律行動ロボットのうち少なくとも1つが時空間マップを生成するためのデータを取得し、このデータを基に時空間マップが生成され、この時空間マップを基に、データを取得しない他の自律行動ロボットの行動制御信号が生成されてもよい。
以上のように、本技術によれば、自律行動ロボットが周囲環境により適した行動を実施することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第1の実施形態に係る自律行動ロボット制御システムを示す図であり、自律行動ロボットの構成を示すブロック図である。 時空間マップを構成するデータベースを示す図である。 自律行動ロボットが生成した時空間マップのデータ構造の一例である。 時空間マップに蓄積された環境情報を基に生成される、時間別、天気別の家の中でのユーザの存在確率分布を示す図である。 時空間マップに蓄積された環境情報を基に生成される、時間別、天気別の家の中でのユーザの存在確率分布を示す図である。 時空間マップに蓄積された環境情報を基に生成される、時間別、天気別の家の中でのユーザの存在確率分布を示す図である。 時空間マップに蓄積された環境情報を基に生成される、時間別、天気別の家の中でのユーザの存在確率分布を示す図である。 時空間マップに蓄積された環境情報を基に生成される、時間別、天気別の家の中での物体の存在確率分布を示す図である。 時空間マップに蓄積された環境情報を基に生成される、時間別、天気別の家の中での物体の存在確率分布を示す図である。 時空間マップに蓄積された環境情報を基に生成される、時間別、天気別の家の中での物体の存在確率分布を示す図である。 時空間マップに蓄積された環境情報を基に生成される、時間別、天気別の家の中での物体の存在確率分布を示す図である。 図3に示すデータ構造を基に抽出された居間における事例の一例を示す図である。 人物に係る情報と物体に係る情報との相関関係を抽出する一例を示す図である。 図3のデータ構造を基に算出された、人物に係る情報、物体に係る情報、ペットに係る情報それぞれの発生確率例及びこれを用いて抽出された相関関係例を示す図である。 時空間マップに追加すべき情報を特定する方法の一例を示す図である。 時空間マップを生成する手順を示すフローチャートである。 時空間マップを基に生成された人物の存在確率分布の表示例である。 時空間マップを基に生成された人物の存在確率分布の表示例である 時空間マップを基に生成された人物と物体との相関関係を示す表示例である。 時空間マップを基に生成された自律行動ロボットの行動内容の表示例である。 第2の実施形態に係る自律行動ロボット制御システムを示す図である。 第3の実施形態に係る自律行動ロボット制御システムを示す図である。
本技術の各実施形態に係る自律行動ロボット制御システムについて、以下図面を参照しながら説明する。自律行動ロボットとしては、例えば、人間のパートナーとして生活を支援する、人間とのコミュニケーションを重視したペット型ロボットや人間型ロボット、人間の生活を支援する掃除ロボット等がある。
以下で説明する各実施形態の自律行動ロボットは、周囲の環境情報を含む時空間マップを基に自律的に行動選択を行うように構成される。自律行動ロボットは、ある所定の空間範囲内、例えば1つの家の中に、1台或いは複数台配置されることが想定される。
自律行動ロボットの周囲の環境情報とは、空間的、時間的に変化する人物に係る情報、物体に係る情報、ペットに係る情報や天気情報等のコンテキスト情報である。コンテキスト情報は、自律行動ロボットの作業空間の周囲の環境を示す。天気情報は、晴雨、気温、湿度、風などの情報を含む。
時空間マップは、ユーザの生活スタイルが反映されたものであり、自律行動ロボットは、時空間マップを基にユーザに対して自律的に行動を実施する。
時空間マップには、空間情報、年月日、季節、曜日、休祭日、時間に係る時間情報、人物に係る情報、物体に係る情報、ペットに係る情報、天気情報といった環境情報と、相関関係情報が蓄積される。
人物に係る情報には、人物が誰であるかという人物を特定する人物情報と、人物がどのような行動をしているかという行動情報と、人物がどのような様子であるかといった状態情報等がある。人物情報は、典型的には人物の撮影画像であり、年齢、性別などの属性情報を含んでもよい。
物体に係る情報には、物体が何であるかという物体を特定する物体情報と、物体がどのような状態であるかという状態情報等がある。
ペットに係る情報には、ペットが何であるかというペットの種類を特定するペット情報と、ペットがどのような行動をしているかという行動情報等がある
相関関係情報は、天気情報、空間情報、時間情報、人物情報、人物の行動情報、人物の状態情報、物体情報、物体の状態情報、ペット情報、ペットの状態情報のうち少なくとも2つを互いに関連づけた情報である。相関関係情報は、得られた環境情報から抽出された事例により獲得される。同様の事例が多く蓄積されることにより、その事例に係る相関関係情報の精度が向上する。
下記実施形態では、所定環境が、自律行動ロボットのユーザとなる父、母、子の3人家族とペットのネコが住む家である場合を例にあげて説明する。この家は、台所付きの居間、寝室、家の入口(以下、入口と称す。)、トイレ、浴室の5つの空間(場所)から構成される。
本技術に係る自律行動ロボットシステムでは、自律行動ロボットが自律的に移動し、取得した各種データを基に認識された環境情報、この環境情報を基に抽出した相関関係情報が時空間マップに蓄積されていき、時空間マップが更新される。具体的には、時空間マップを基に時空間マップに追加すべき情報が特定され、この情報を得るために、自律行動ロボットが自律的に移動して各種データを取得する。
また、本技術に係る自律行動ロボットシステムでは、状況判断がされ、状況判断結果が加味されて自律行動制御信号が生成される。状況判断の例として、バッテリ残量が少ない状況のときは行動範囲を狭く制限する等がある。詳細については後述する。
以下、自律行動ロボットシステムについて詳細に説明する。
<第1の実施形態>
図1は、本実施形態の自律行動ロボット制御システムを説明する図であり、情報処理装置としての自律行動ロボットの構成を示すブロック図を示す。
(自律行動ロボット制御システムの概略構成)
図1に示すように、自律行動ロボット制御システム30は、自律行動ロボットとしてのペット型ロボット1と、サーバ12とを有する。
サーバ12は、年月日、曜日、時間、休祭日等の時間情報と、晴雨、気温、湿度、風等の、ペット型ロボット1の活動範囲となる家の周囲の環境を示す天気情報を提供する。ペット型ロボット1は、サーバ12と通信可能に接続され、サーバ12から時間情報及び天気情報を取得する。
また、ペット型ロボット1は、携帯電話やパーソナルコンピュータといった電子機器と通信可能に構成されていてもよい。
(ペット型ロボットの構成)
ペット型ロボット1は、データ取得部2と、通信部3と、移動部4と、バッテリ5と、バッテリセンサ6と、追加情報特定部7と、マップ生成部8と、記憶部9と、制御部10と、行動制御信号生成部11とを有する。
データ取得部2は、ペット型ロボット1の周囲の環境情報に係るデータを取得する。より具体的には、周囲の環境情報に係るデータとして、周囲の画像データ、周囲の人間の所在の有無データ、周囲の音声データ、自身の位置データ等を取得する。
データ取得部2は、周囲の画像データを取得する画像取得部としてのカメラ21と、人物検知部としての人感センサ22と、周囲の音を集音する音声取得部としてのマイク23と、位置データ取得部としてのGPS(Global Positioning System)24とを有する。
通信部3は、サーバ12と通信し、時間情報、天気情報を取得し、制御部10に送信する。
移動部4は、ペット型ロボット1の居場所を移動させる。移動部4は、行動制御信号生成部11で生成された行動制御信号に基づいてペット型ロボット1が移動するように、制御部10により制御される。
バッテリ5は、ペット型ロボット1の各回路に電源を供給する。
バッテリセンサ6は、バッテリ5の残量を検出する。バッテリセンサ6で検出されたバッテリ容量検出信号は行動制御信号生成部11に送信される。
記憶部9は、RAM等のメモリデバイス、及びハードディスクドライブ等の不揮発性の記録媒体を含み、ペット型ロボット1の行動制御信号の生成に係る処理を、情報処理装置であるペット型ロボット1に実行させるためのプログラムを記憶する。
また、記憶部9は、生成、更新された時空間マップを記憶する。
記憶部9に記憶されるプログラムは、ペット型ロボット1のデータ取得部2が取得したデータを基に時空間マップを生成するステップと、時空間マップに追加すべき情報を得るために、ペット型ロボット1を移動させてデータ取得部2にデータを取得させるステップとを含む処理を、ペット型ロボット1に実行させるためのものである。
制御部10は、データ取得部2で取得された各種データ及び通信部3から受信した時間情報、天気情報をマップ生成部8に送信する。
制御部10は、後述する行動制御信号生成部11から送信された行動制御信号に基づいて、移動部4を制御してペット型ロボット1を移動させ、各種データを取得するようにデータ取得部2を制御する。
マップ生成部8は、データ取得部2で取得された各種データを基に、時空間マップを生成、更新する。生成、更新された時空間マップは記憶部9に記憶される。マップ生成部8は、位置認識部80と、人物・動物認識部81と、物体認識部82と、行動認識部83と、状態認識部84と、相関関係抽出部85と、マップ更新部86とを有する。
位置認識部80は、GPS24で取得した位置データを用いて、場所を認識する。この認識結果を基に、居間、寝室、入口、トイレ、浴室といった家の間取りに係る空間情報を構築する。
人物・動物認識部81は、人感センサ22の検出結果からユーザやペットがペット型ロボット1の近傍に所在するか否かを認識する。人感センサ22は、物体の熱を感知するため、人物以外にネコや犬等の動物も感知することができる。
人物・動物認識部81は、周囲に存在する人物、動物の特定と識別を行う。人物・動物認識部81は、カメラ21で取得した撮影画像データを用いて人物、ペットを認識する。
人物・動物認識部81は、カメラ21が最初に取得したある人物の撮影画像データと、それ以降にカメラ21が取得した画像データとを参照し、周知の顔認識処理を行って、撮影対象人物を認識する(人物認識処理)。また、画像データを用いて、年齢や性別を推定してもよい。認識処理結果は、時空間マップに登録される。
同様に、人物・動物認識部81は、カメラ21が最初に取得したあるペットの撮影画像データと、それ以降にカメラ21が取得した画像データとを参照し、周知の認識処理を行って、撮影対象動物を認識する(動物認識処理)。認識処理結果は、時空間マップに登録される。
また、人物・動物認識部81は、マイク23が最初に取得した人物又は動物の音声データと、それ以降に取得した音声データとを参照し、認識処理を行って、音声対象人物、動物を認識してもよい(人物・動物認識処理)。
或いは、撮影画像データと音声データの両方を用いて人物、動物を認識するようにしてもよい。
物体認識部82は、カメラ21で取得した撮影画像データから撮影対象物を認識することができる(物体認識処理)。例えば、輪郭、エッジ、コーナー、輝度変化、色などの特徴量や、物体の3次元形状、物体につけられているバーコードなど人工的な幾何学パターンを画像処理することによって、撮影対象物の認識を行うことができる。あるいは、撮影対象物体に取り付けられた無線タグからIDなどの情報を読み取って、対象物体を認識するようにしてもよい。
行動認識部83は、カメラ21で取得した撮影画像データから特徴点を抽出し、抽出した特徴点をトラッキングすることによって、人物がどのような行動をしているかを認識する(行動認識処理)。
状態認識部84は、カメラ21で取得した撮影画像データから目や眉の動きを解析する、又は、マイク23で取得した音声データから声の調子を解析する、或いは、これら双方の解析結果を用いて、ユーザの嬉しそう、悲しそう、忙しそう等の状態を認識する(状態認識処理)。また、状態認識部84により、マイク23で取得した音声データからユーザの発話の内容が認識されてもよく、これによりユーザの状態が認識されてもよい(状態認識処理)。
相関関係抽出部85は、位置認識部80、人物・動物認識部81、物体認識部82、行動認識部83、状態認識部84それぞれで認識された環境情報から相関関係を抽出する。
マップ更新部86は、人物・動物認識部81、物体認識部82、行動認識部83、状態認識部84それぞれで認識された環境情報、相関関係抽出部85で抽出された相関関係情報を時空間マップに登録し、更新する。更新された時空間マップは記憶部9に記憶される。
追加情報特定部7は、記憶部9から読み出した時空間マップを基に、時空間マップに追加すべき情報を特定する。特定された追加すべき情報は、行動制御信号生成部11に送信される。追加すべき情報については、後述する。
ペット型ロボット1の使用開始から間もない時期では、行動制御信号生成部11は、時空間マップを生成するために家の中を探索する行動をするようにペット型ロボット1の行動制御信号を生成する。具体的には、あらゆる時空間領域における環境情報を得るように、自律的に移動して各種データを取得する。
また、行動制御信号生成部11は、追加情報特定部7で特定された追加すべき情報を得るために、ペット型ロボット1を移動させ、データ取得部2より周囲の環境情報に係るデータを取得させるように行動制御信号を生成する。
また、使用開始からある程度時間が経過し、ある程度の環境情報及び相関関係情報が時空間マップに蓄積されていくと、行動制御信号生成部11は、記憶部9から読みだした時空間マップを基に、ペット型ロボット1がユーザとコミュニケーションをとる行動を実施するように行動制御信号を生成する。
本実施形態では、ユーザとのコミュニケーションに重きをおいたペット型ロボットを例にあげているので、時空間マップを基に、例えば、ユーザの出現頻度が高い空間、時間帯や人数の多い空間、時間帯を優先的に所在するようにペット型ロボット1の行動制御信号が生成される。
また、行動制御信号生成部11は、ペット型ロボット1が移動してデータを取得する際やユーザとコミュニケーションをとる際、周囲の状況判断結果を加味して行動制御信号を生成する。
例えば、行動制御信号生成部11は、バッテリ容量検出信号を加味して、ペット型ロボット1の移動範囲を制御するように行動制御信号を生成する。
また、行動制御信号生成部11は、ユーザのフィードバック情報を加味して行動制御信号を生成する。
具体的には、ペット型ロボット1が、ユーザとコミュニケーションをとるため、時空間マップを基にユーザの出現確率の高い時間、場所(空間)に所在するように行動を実施した際のユーザの状態(表情等)や発話等のフィードバック情報が時空間マップに登録、更新される。行動制御信号生成部11は、ユーザフィードバック情報が登録された時空間マップを基に行動制御信号を生成する。例えば、ユーザの状態から、更新前の自空間マップを基に実施した行動が不適当であると解釈し、その行動が実施されないように、行動制御信号が生成される。
(時空間マップ)
時空間マップについて、図2〜図14を用いて説明する。
図2は、時空間マップを構成するデータベースを示す。図2に示すように、時空間マップ40は、複数のデータベース(DB)を有する。これらデータベースは、例えば、人物DB41、物体DB42、ペットDB43、相関情報DB44等である。
人物DB41には、人物の撮影画像データ、人物の音声データ、性別、生年月日等の人物情報が互いに紐づけされて登録される。
物体DB42には、ペット型ロボット1が動作する作業空間における物体の情報が登録される。物体には、テーブル、ソファ、テレビ、ベッド、机、オーブンレンジ、冷蔵庫等、ユーザがあまり移動させない固定物体や、鞄、傘、リモコン、本、包丁、鍋、弁当等、ユーザが把持して移動できる程度に小さな移動可能物体がある。
ペットDB43には、ペット情報が登録される。
相関情報DB44には、天気情報、空間情報、時間情報、人物情報、人物の行動情報、人物の状態情報、物体情報、物体の状態情報、ペット情報、ペットの状態情報のうち少なくとも2つを互いに関連づけた相関関係情報が登録される。
本実施形態においては、各データベースは、情報処理装置であるペット型ロボット1の記憶部9に構築されるが、インターネット上のサーバに構築されてもよい。
データベースをクラウドサーバ上で構築する場合、データ取得部2で取得される各種データは、ユーザや家の場所等が特定できないようにプライバシーを排除した情報に変換されてクラウドサーバへ送信される。
クラウドサーバでは、プライバシーが排除された情報を用いて、物体認識処理や状態認識処理等のアップデートが行われてもよい。ここで、プライバシーを排除した情報とは、例えば、撮影画像データの特徴量等の情報である。
空間情報、時間情報、人物情報、人物の行動情報、人物の状態情報、物体情報、物体の状態情報、ペット情報、ペットの状態情報は、データ取得部2で取得された各種データを用いて認識される。
図3は、土曜日1日における時空間マップのデータ構造例である。ここでは、土曜日が、父、母にとっては休日であるのに対し、子にとっては学校の登校日である場合を示している。
図3は、居間、入口、寝室の3つの空間それぞれの、30分毎、24時間の状態の一部が示されている。図3には、場所毎及び時間毎に、人物に係る情報、物体に係る情報、ペットに係る情報、天気情報等の環境情報が示されている。物体情報は、人物情報に付随する。
例えば図3に示すようなマップが曜日毎に生成され、曜日毎に環境情報が蓄積されることにより、例えば1週間を通した曜日毎の、ユーザである父、母、子それぞれ個別の生活スタイルが反映された時空間マップが生成される。
図3に示す例では、居間で、土曜日の12時から12時半の間は、母は昼食作りのため包丁を持って忙しそうにしており、父は座ってテレビでサッカーの試合をみて楽しそうにしており、ネコは寝ている。子は学校に登校しているため、子及び通学鞄は家の中に存在しない。
一方、土曜日の23時半から24時の間では、寝室で、父、母、子は安らかに寝ており、入口には誰も人がおらず、居間でネコが遊んでいる。
また、図3に示す例では、天気は晴れであり、傘は入口に終日存在する。また通学鞄は、土曜日の23時半から24時の間では寝室に存在する。
このような時空間マップに蓄積された環境情報を基に、例えばユーザの存在確率を場所別、時間別に算出することができる。
図4〜図7は、時空間マップに蓄積された環境情報を基に算出された、時間別、天気別の家の中でのユーザの存在確率を可視化した存在確率分布図の一例である。図4〜図7では、空間情報を家の間取り図で示している。図4は平日の8時の様子、図5は平日の20時の様子である。図6及び図7は休日の14時の様子であり、図6は天気が晴れの場合、図7は天気が雨の場合を示す。
図4〜図7では、人物の存在する領域はドットで示される。父の存在する領域F、母の存在する領域M、子の存在する領域Cは、それぞれの人物の存在確率を示し、ドットの密度が高いほど人物の存在する確率が高いことを示す。存在確率は、蓄積された環境情報から算出され、蓄積された環境情報が多いほど精度が向上する。
図4は、平日の8時では、父は出勤準備中のため入口に、母はお弁当作りのため居間に、子は寝坊中で寝室に存在する確率が高いことを示す。尚、ここでは、便宜的にユーザの存在領域F、M、Cを円形状としている。
図5は、夕食をとるため、平日の20時では、父、母、子が、居間に存在する確率が高いことを示す。
図6は、休日の14時、天気が晴れの場合、天気が良いので家族で外出するため、家の中には誰もいないことを示す。
図7は、休日の14時、天気が雨の場合、天気が悪いので家族で映画鑑賞するため、居間に父、母、子が存在する確率が高いことを示す。
尚、このような人物の存在確率が可視化された図をユーザが表示機器を用いてみることができるようにしてもよい。
図8〜図11は、時空間マップに蓄積された環境情報を基に算出した、時間別、天気別の家の中でのユーザの所有物である物体の存在確率を可視化した存在確率分布図の一例である。ユーザの所有物である物体として、子供の通学鞄O1と、父の傘O2を例にあげる。
図8は平日の7時の様子、図9は平日10時の様子である。図10及び図11は平日8時の様子であり、図10は天気が晴れの場合、図11は天気が雨の場合を示す。図において、子の通学鞄O1、父の傘O2の存在領域はドットで示される。このような鞄、傘等の物体の存在確率も、人物と同様にドットの密度によって示され、ドットの密度が高いほど物体の存在する確率が高いことを示す。
図8は、平日7時では、子はまだ登校前のため、通学鞄O1は寝室におかれている可能性が高いことを示す。
図9は、平日10時では、子は既に学校へ行っているため、通学鞄O1は家の中にはないことを示す。例えば、このような時空間マップを基に、平日の10時に、通学鞄O1が家の中にあることが認識された場合、子は通学鞄O1を忘れていると解釈される。
図10は、平日8時、天気が晴れの場合では、入口には傘O2が存在する確率が高いことを示す。図11は、平日8時、天気が雨の場合では、入口に傘O2が存在しないことを示す。例えば、このような時空間マップを基に、天気が雨の平日8時に、傘O2が入口にあることが認識された場合、父は傘を忘れていると解釈される。
ここで、「子供の通学鞄」や「父の傘」等、人物とその人物の所有物という関係、すなわち人物と物体との相関関係は、例えば次のように獲得することができる。
まず、データ取得部2で取得されたデータから物体認識処理により傘が認識され、傘(物体情報)が時空間マップに登録される。次に、人物認識処理により父が認識され、父(人物情報)が時空間マップに登録される。次に、行動認識処理により父がその傘を手にしていることが認識され、その傘と父という相関関係が時空間マップに登録される。
このような、傘が認識され、父が認識され、父がその傘を手にしていることが認識される、という一連の認識処理が一定期間蓄積されると、「その傘」は「父」の所有物という相関関係が獲得される。
図12は、図3のデータ構造を基に抽出された居間における事例を示す。
事例1は、土曜日の12時〜12時半に、お父さんは、座って、楽しそうに、テレビを見ている、テレビではサッカーの試合が放映されている、ネコは寝ている、家の外の天気は晴れ、気温は15℃であるという事例である。
事例2は、土曜日23時半〜24時に、居間には誰もいない、テレビは消えている、ネコは遊んでいる、家の外の天気は晴れ、気温は13℃であるという事例である。
人物・動物認識、物体認識により認識された環境情報は、それぞれ対応するデータベースである、人物DB41、物体DB42、ペットDB43に登録される。
図13は、人物に係る情報と物体に係る情報との相関関係を抽出する例を示す。
図13に示すように、互いに紐づけされた人物情報及びその人物の状態情報と、互いに紐づけされた物体情報及びその物体の状態情報との関係をテーブル化することにより、「テレビがサッカーの試合」のときに「父は楽しそう」という相関関係が抽出される。
例えば、抽出された相関関係情報が短期間で抽出された場合、短期の相関関係情報として獲得され、中期、長期での相関関係情報は不明となる。
また、抽出された相関関係情報が短期間よりも長い中期間で抽出された場合、短期、中期の相関関係情報として獲得され、長期での相関関係情報は不明となる。
また、抽出された相関関係情報が中期間よりも長い長期間に抽出される場合、短期、中期、長期の相関関係情報として獲得される。
図14に示すように、図3の時空間マップのデータ構造を基に算出された、土曜日1日を通して居間に各人物、物体、ペットそれぞれがいる存在確率、及び、人物、物体、ペットそれぞれの行動や状態の発生確率例、これを基に抽出された相関関係例を示す図である。
図14は、居間に、土曜日1日を通して、父、母、子は50%の確率で存在し、ネコは100%の確率で存在することを示す。父、子が居間にいるときは100%の確率で座っており、母が居間にいるときは20%の確率で座っており、80%の確率で立っていることを示す。
図14は、父、子は、座っているとき、100%の確率で楽しい様子であり、母は、座っているとき100%の確率で楽しい様子であり、立っているときは30%の確率で楽しい様子であり、70%の確率で忙しい様子であることを示す。
図14は、テレビは100%の確率で存在することを示す。包丁は15%の確率で存在する、すなわち85%の確率で収納されていることを示す。テレビは、50%の確率でついており、50%の確率で消えており、テレビがついているときはサッカーの試合が放映されていることを示す。
図14に示すように、人物、物体、ペットそれぞれの行動や状態の発生確率から、土曜日、居間で、お父さんが座っている時はテレビを見ている確率100%という相関関係が獲得される。
以上のように、時空間マップには場所毎、時間毎の、人物、物体、ペット等に係る環境情報が複数蓄積される。更に、これらの環境情報から様々な相関関係情報が獲得され、時空間マップが更新される。ペット型ロボット1の行動は、この時空間マップを基に生成される。
(ペット型ロボットの行動例)
次に、行動制御信号を基に実施されるペット型ロボット1の行動例について説明する。
ペット型ロボット1の使用開始から間もない時期では、ペット型ロボット1は、時空間マップを生成するための探索以外の行動を行わない。しかし、数か月間、ユーザと一緒に生活することにより、ユーザの生活パターンが反映された時空間マップが生成されるので、この時空間マップを基に、ユーザとコミュニケーションをとるように行動する。
例えば、ペット型ロボット1の使用開始から間もない、時空間マップを生成する初期の段階では、時空間マップに登録されている環境情報が少なくて、事例がない、或いは、事例の少ない時空間領域が多い。ペット型ロボット1は、このような環境情報が不足している時空間領域を埋めるように、情報が不足している時空間領域に移動し、そこで周囲の環境情報に係るデータをデータ取得部2で取得するように行動する。
このように、使用開始の初期の段階では、ユーザとのコミュニケーションをとる行動よりも優先的に、時空間マップを生成するための行動が実施される。
一方、使用開始からある程度時間が経過し、環境情報が多く登録され、ある程度の事例数が蓄積された時空間マップを持った状態では、ペット型ロボット1は、環境情報を得るために移動してデータを取得する行動よりも、ユーザとのコミュニケーションをとる行動を優先的に実施する。
本実施形態では、人物とのコミュニケーションに重きをおいたペット型ロボット1を例にあげているので、人物の出現頻度が高い空間、時間帯や人数の多い空間、時間帯に所在するようにペット型ロボット1は行動する。
例えば、これまで家の中を探索ばかりしていたペット型ロボット1は、数か月経つと、朝は寝室や入口、夜は居間等、その時間帯における人物の確率分布の高い場所に所在するように行動する。
時空間マップでは、ユーザ毎に環境情報が蓄積される。
特定の人物に対し行動を実施する場合、ペット型ロボット1は、時空間マップを参考に、その時点での曜日、祝祭日の有無、時間帯と同一の時間領域で、時空間マップ内を検索し、該当時間領域における人物の存在確率分布を呼び出す。
該当する時間領域で既に存在確率分布が獲得されている場合、ペット型ロボット1は、人物の存在確率分布を評価し、存在確率の最も高い場所から順に人物を捜索するため移動する。一方、ペット型ロボット1は、該当する時間領域で存在確率分布が獲得されていない場合は、その時間領域における環境情報を取得するように探索する。
例えば、ペット型ロボット1は、平日8時は父が入口にいる確率は90%という相関関係情報を基に、平日8時に、(見送りのため)入口に行く、という行動を計画し、実施する。また、ペット型ロボット1は、休日の雨の日の14時に父が居間にいる確率は80%という相関関係情報を基に、休日の雨の日の14時には、まず初めに父の存在確率の高い居間に父を探しにいく、という行動を実施する。
ペット型ロボット1は、時空間マップを参考に、時間情報と、物体に係る情報と、人物に係る情報とを互いに関連づけた相関関係情報を基に、特定のユーザに対し行動を実施することもできる。
例えば、ペット型ロボット1が、平日9時に父が所有する財布が家の中にある確率は3%という相関関係情報を持っていたとする。ペット型ロボット1は、平日9時に父の財布が家の中にあるのを物体認識で認識した場合、持っていた相関関係情報を基に、父は財布を忘れて会社にいった可能性があると解釈し、父の携帯電話に、財布を忘れている可能性があることを伝える通知を送る、という行動を実施する。
また、ペット型ロボット1は、天気情報と、物体に係る情報と、人物に係る情報とを互いに関連づけた相関関係情報を基に、ユーザに通知するという行動を実施することもできる。
例えば、ペット型ロボット1が、雨の日に、父は、傘を所持する確率95%という相関関係情報を持っていたとする。ペット型ロボット1は、雨の日に、外出しようとする父が傘を所持していないと認識した場合、傘を忘れないように父に通知する、という行動を実施する。
また、ペット型ロボット1は、時間情報と、物体に係る情報と、ペットに係る情報とを互いに関連づけてなる相関関係情報を基に、ユーザに通知するという行動を実施することもできる。
例えば、ペット型ロボット1が、8時にネコの餌入れのお皿に餌がある確率は95%という相関関係情報を持っていたとする。ペット型ロボット1は、8時に餌入れのお皿に餌がない状態を物体認識で検出した場合、餌が切れていると解釈し、このことをユーザに通知する、という行動を実施する。
また、ペット型ロボット1は、空間情報と、物体に係る情報とを互いに関連づけた相関関係情報を基に、ユーザに通知するという行動を実施することもできる。
例えば、ペット型ロボット1が、トイレにはストックのトイレットペーパがある確率は95%という相関関係情報を持っていたとする。ペット型ロボット1は、トイレにトイレットペーパがない状態を物体認識で認識した場合、トイレットペーパが切れていると解釈し、このことをユーザに通知する、という行動を実施する。
また、ペット型ロボット1は、空間情報と、人物に係る情報とを互いに関連づけた相関関係情報を基に、ユーザに通知する行動を実施することもできる。
例えば、ペット型ロボット1が、入口で、人物が寝ているという相関関係情報を持っていないとする。ペット型ロボット1は、位置認識、人物認識、行動認識で、入口で母が寝ているという状況を認識した場合、この状況は異常であると解釈し、他のユーザへ通知、或いは、通報を行うという行動を実施する。このように時空間マップを用いて異常検知を行ってもよい。
異常な状況の通知は、ペット型ロボット1が家の中にいる他のユーザの元へ直接いって知らせる他、他のユーザの携帯端末等に通知するように構成してもよい。また、例えば予め登録されているホームセキュリティサービスを提供している会社に通報されるように構成してもよい。
また、ペット型ロボット1は、ユーザからの指示に対して、空間情報と、物体情報とを互いに関連づけた相関関係情報を基に、ユーザの指示に則した行動を実施することもできる。
例えば、ユーザから「テレビのリモコンを探して」という捜索指示がなされた場合、ペット型ロボット1は、時空間マップを基に、テレビのリモコンの存在確率が高い場所からリモコンの捜索を開始するという行動を実施する。そして、リモコンを認識した場合には、リモコンを咥えてユーザの元に戻る、という行動を実施する。
ここでは、物体の捜索の指示を例にあげたが、人物の捜索の指示であってもよく、ペット型ロボット1は、捜索対象人物に吠える等して注意喚起をし、他のユーザが探していることを知らせるという行動を実施してもよい。
また、ペット型ロボット1は、時空間マップを生成するために移動してデータを取得する際や時空間マップを基にユーザに対して行動を実施する際、バッテリ残量の状況や赤外線カメラの汚れ状況などの状況判断結果を加味した行動を実施してもよい。詳細については後述する。
また、ペット型ロボット1にとって危険な空間情報、時間情報、物体に係る情報、人物に係る情報が時空間マップに蓄積されるように構成してもよい。
この時空間マップを基に、ペット型ロボット1は、例えばペット型ロボット1の故障の原因となり得る水や火のある風呂場やガスコンロ、季節限定で現れるストーブ等が固定されている場所には近づかない、という行動を実施する。風呂場、ガスコンロ、ストーブ等は、物体認識処理によって検出することができ、初期情報として時空間マップに登録される。
また、他の例として、ペット型ロボット1は、人物がVR(virtual reality)ヘッドセットを装備している状況を認識した場合、ペット型ロボット1にとって危険な状況であると解釈して、その人物には近づかない、という行動を実施する。
尚、人物がVRヘッドセットを装備している状況は、人物がゲームをしていて周囲の状況が見えず、人物がどのような動きをするかわからない状況である。このため、人物の動きによりペット型ロボット1が壊れる可能性があるとして、ペット型ロボット1にとって危険な状況であるとみなされる。
また、ユーザから「これ(又はここ)は危ないから近寄らないで」等の教示により、危険物、危険な場所に係る情報を獲得し、時空間マップに登録できるようにしてもよい。これに基づき、ペット型ロボット1は、危険物、危険な場所には近づかないという行動を実施する。
(時空間マップ生成時の追加すべき情報の特定方法)
本実施形態では、時空間マップ生成にあたり追加すべき情報が特定され、この特定結果を基に、ペット型ロボット1が自律的に移動して、データを取得することが可能に構成される。
追加すべき情報は、ある特定の場所における特定の曜日及び時間帯の時空間領域において、事例がない、或いは、事例数が少ないといった、環境情報が不足している時空間領域の情報である。追加情報特定部7は、追加すべき情報として、「情報が不足している時空間領域(例えば居間の土曜12時半〜13時という時空間領域)の環境情報」を特定する。
時空間マップを生成する初期の段階では、事例数がない又は少ないといった、環境情報が不足している時空間領域が存在する。追加情報特定部7は、このような環境情報が不足している時空間領域の環境情報を、追加すべき情報として特定する。
図15は、情報が不足している時空間領域の検出例を示す。追加情報特定部7は、時空間マップ内を検索し、事例数のない、居間の土曜12時半〜13時という時空間領域を検出する。追加情報特定部7は、このような情報が不足している時空間領域の環境情報を、追加すべき情報として特定する。
また、追加すべき情報は、情報が不足している、天気情報に則した時空間領域であってもよい。例えば、雨の日の土曜12時半〜13時の居間における環境情報が不足している場合、追加情報特定部7は、雨の日の土曜12時半〜13時の居間における環境情報を、追加すべき情報として特定する。
時空間マップ生成開始からしばらくたち、時空間マップにある程度事例数が蓄積された状態では、その特性に応じて、移動する時間、空間の優先順位づけが行なわれ、それに従ってペット型ロボット1は、移動する。
例えば、本実施形態のペット型ロボット1は、ユーザとのコミュニケーションに重きをおく特性を備えているので、人の出現頻度が高く、人数の多い時間、空間に優先的に所在するように行動する。
また、追加すべき情報は、使用開始からある一定期間経過後の時空間領域の情報であってもよい。時空間マップの生成開始から例えば2か月くらいで1週間を通した曜日毎のユーザの生活スタイルがある程度反映された時空間マップが生成される。このため、時空間マップを更新するために、使用開始の初期の段階と比較して、積極的にペット型ロボット1を移動させて周囲の環境情報に係るデータを取得する必要がなくなってくる。
このような場合、ペット型ロボット1に使用開始から一定期間経過後、例えば使用開始から3か月毎に、新たにペット型ロボット1を積極的に移動させて周囲の環境情報に係るデータを取得するように、追加情報特定部7は、全ての時空間領域における新しい環境情報を、追加すべき情報として特定する。この際、追加情報特定部7は、これまで蓄積された事例からユーザが寝ている時間帯はデータを取得する必要がないと判断し、ユーザが寝ている時間帯の時空間領域の環境情報は、追加すべき情報として特定しなくてもよい。
このように3か月毎を1タームとして、複数タームの環境情報を蓄積することにより、例えば、春、夏、秋、冬といった季節毎のユーザの生活スタイルが反映された時空間マップを生成することができる。更には数年分の情報を蓄積することにより、1年単位のユーザの生活スタイルが反映された時空間マップを生成することができる。
例えば、子は春休みとなる3月下旬から4月上旬はほとんど家にいるため、学校の登校日の期間と春休みの期間とで、子が家にいる確率が異なってくる。数年分の情報を蓄積することにより、1年のうち春休みで学校に行かず家にいるおよその期間が推定可能となり、ペット型ロボット1に、その状況に応じた行動を実施させることができる。例えば、学校の登校期間は子供が学校から帰ってくる時間帯にペット型ロボット1が入口に迎えにでていたものが、春休みの間は入口に迎えにでないように行動が制御される。
また、追加すべき情報は、時空間マップを基にペット型ロボット1が移動した結果、ユーザからの反応が悪かった時の環境条件と同じ環境条件での環境情報であってもよい。このような反応が悪かった環境条件での情報を複数蓄積することにより、反応が悪かった事例に関して何等かの相関関係を見出すことができ、それを基に、ペット型ロボット1はユーザに対してより適切な行動を実施することができる。詳細については後述する時空間マップの生成方法で説明する。
(時空間マップの生成方法)
ペット型ロボット1は、時空間マップをより充実させて、ユーザとより適切なコミュニケーションをとることができるように、追加すべき情報を特定して、その追加すべき情報を得るために、移動し、周囲の環境情報に係るデータを取得して時空間マップを更新する。
また、ペット型ロボット1は、時空間マップを基に行動した結果生じたフィードバック情報を時空間マップに登録し、更新していく。
図16は、時空間マップの生成方法のフローチャートである。図16において、S1、S2、S5のステップは、追加すべき情報を特定して時空間マップを更新するフローを示す。S3、S4、S5のステップは、ペット型ロボット1が時空間マップを基に行動した結果生じたフィードバック情報を時空間マップに登録して更新するフローを示す。
いずれのフローにおいても、情報を得る際の状況が判断され、その状況判断が加味されて行動制御信号が生成されてもよい。ここでいう状況とは、例えば、バッテリ残量、赤外線カメラの状況、ユーザから指示がある場合、人物の状況等である。
例えば、ペット型ロボット1が各種データを取得するために移動する際、バッテリ残量の状況判断結果が加味されてペット型ロボット1の行動範囲が制御されてもよい。バッテリ容量が十分な状況と判断された場合は、行動制御信号生成部11は、ペット型ロボット1が自律的に移動して各種データを取得する際、遠くの方まで探索するように行動制御信号を生成する。一方、バッテリ容量が不十分な状況と判断された場合は、ペット型ロボット1が自律的に移動して各種データを取得する際、移動距離が短い範囲で探索するよう行動制御信号が生成される。
また、ペット型ロボット1が、夜間での撮影が可能なように赤外線カメラを備えている場合、赤外線カメラの汚れの状況判断結果が加味されて、ペット型ロボット1の行動範囲が制御されてもよい。赤外線カメラのレンズ等の光学系に汚れや水滴が付着して汚れている状況と判断された場合、ペット型ロボット1が自律的に移動して各種データを取得する際、クリーニングされるまで、ペット型ロボット1の夜間の移動を控えるように行動制御信号が生成される。赤外線カメラの汚れ等の付着物の判定は、付着物を監視するセンサを設けることにより行うことができる。
また、ペット型ロボット1が各種データを取得するために移動する際、ユーザから指示がある状況では、その指示内容も加味されてペット型ロボット1の行動制御信号が生成される。状況例としては、ユーザからのリモコンの捜索指示等がある。
また、人物の状況とは、例えば、人物が寝ている、人物が勉強している、といった人物の行動状況である。ペット型ロボット1は、このような寝ている、又は、勉強しているという状況でペット型ロボット1が人物のそばにいるのは邪魔になり良くないと状況判断し、この状況判断結果を加味して、人物が寝ている、又は、勉強しているときは、人物のそばには行かないという行動を実施する。
以下、図16を用いて時空間マップの生成方法について説明するが、説明をわかりやすくするために、上述したような状況判断結果は加味しない場合を例にあげて説明する。
図16に示すように、ペット型ロボット1は、時空間マップを基に追加すべき情報が特定し(S1)、追加すべき情報を得るために、移動して周囲の環境情報に係るデータをデータ取得部2により取得する(S2)。
追加すべき情報が、情報が不足している時空間領域の環境情報である場合、S2で、情報が不足している時空間領域へ、ペット型ロボット1が自律的に移動し、データを取得する。例えば、平日8時の入口における環境情報が不足している場合、ペット型ロボット1は、平日8時に入口に行ってデータを取得するという行動をしばらくの期間実施する。
また、追加すべき情報が、時空間マップ生成開始からある期間経過後の全ての時空間領域の環境情報である場合、S2で、ペットロボット1は、全ての時空間領域へ、自律的に移動し、データを取得する。尚、ペット型ロボット1の使用開始からある期間経過後は、それまでに生成された時空間マップでユーザが就寝している時間帯の時間領域の情報は積極的には取りにいかなくてもよいように制御してもよい。
図16に示すように、ペット型ロボット1は、時空間マップを基に行動制御信号を生成し(S3)、この行動制御信号を基に行動を実施する。ペット型ロボット1は、行動を実施した際のユーザの状態や発話といった反応をユーザフィードバック情報として取得する(S4)。
例えば、時空間マップに登録される、入口に平日20時〜20時半に父がいる確率が95%という相関関係情報を基に、ペット型ロボット1は、父を出迎えるため、平日20時〜20時半に入口に行くという行動を計画し、実施する(S3)。ペット型ロボット1は、出迎えたときの父の反応をユーザフィードバック情報として取得する(S4)。
ペット型ロボット1は、データ取得部2で取得された各種データを基に、人物認識、音声認識、状態認識を行い、父が嬉しそうといった反応(父の状態)をユーザフィードバック情報として取得する。ペット型ロボット1は、この父の反応から、入口で父を出迎える行動は良いと解釈し、ペット型ロボット1は出迎えの行動を繰り返すようになる。
また、他の例として、これまでに生成された時空間マップを基に、母の出現頻度の高い時間帯の浴室に行くという行動をペット型ロボット1が計画し、実施する(S3)。ペット型ロボット1は、お風呂に入る準備をしていた母が困った表情をするという反応をユーザフィードバック情報として取得する(S4)。
母が困った表示をするという反応(母の状態)から、母がお風呂に入る準備をしているとき、浴室にいる行動は良くないと解釈し、母がお風呂に入る準備をしているときは浴室に近づかない、母が浴室にいる確率の高い時間帯には浴室には行かない、という行動を実施する。
このようなフィードバック情報を蓄積するために、同様の環境条件下での環境情報を、追加すべき情報として特定し(S1)、同様の環境条件下での環境情報を得るためにデータを取得してもよい(S2)。
例えば、ペット型ロボット1は、母とコミュニケーションをとるために、母の出現頻度の高い時間帯の浴室に行くという行動を計画し、実施したときに、「浴室」で「母」が「洗濯をしている」とき「楽しそう」という相関関係情報と、「浴室」で「母」が「お風呂に入る準備をしている」とき「(ペット型ロボット1がいて)困っていそう」という相関関係情報を抽出したとする。
複数回の行動の実施により、このような、「楽しそう」と「困っていそう」という異なる状態情報を得た場合、「浴室」に「母」がいるという環境条件下での環境情報を追加すべき情報として特定する(S1)。そして、「浴室」に「母」がいるという環境条件下での環境情報を得るために浴室に母がいるときに浴室に移動し、各種データを取得する(S2)。
そして、同様の環境条件下での事例を複数蓄積することにより、「浴室」に「母」がいるという環境条件下で、「洗濯をしている」とき「楽しそう」という相関関係情報と、「お風呂に入る準備をしている」とき「困っていそう」という相関関係情報が獲得されるとする。
この相関関係情報を基に、ペット型ロボット1は、母が困りそうな「お風呂に入る準備をしているとき」は浴室にはいないという行動を実施する。一方、「母」が「洗濯をしている」ときは母のそばにいるという行動を実施する。
このように、「浴室」という場所に「母」という人物がいるという同一の環境条件下で、母の行動(洗濯をしている、お風呂に入る準備をしている等)と、母の状態(楽しそう、困っていそう等)を関連づけた相関関係情報を複数蓄積することにより、ペット型ロボット1は、ユーザに対して、より適切な行動をとることができるようになる。
ペット型ロボット1は、S4で取得したユーザフィードバック情報やS2で取得したデータを基に、時空間マップを生成、更新する(S5)。
このように、自律行動ロボット制御システム30では、時間とともに変化する空間マップである時空間マップが生成される。
尚、本実施形態では、家の間取り等の空間情報、人物情報、ペット情報を、ペット型ロボット1が家の中を探索することにより獲得していく例をあげたが、ペット型ロボット1の使用開始時の初期設定の時に、家の間取り等の空間情報、人物の写真などの人物情報、ペットの写真などのペット情報を予め登録するように構成してもよい。
(表示例)
ペット型ロボット1が生成した時空間マップに関する情報を可視化してユーザが確認できるようにしてもよく、例えば、携帯端末やパーソナルコンピュータといった表示部を備える表示機器からユーザは情報を確認することができる。
図17及び図18は、平日における家の中の人物確率分布の表示例である。人物が存在する確率を示す領域はドット表示され、ドットの密度が高いほど存在確率が高い。人物の存在領域は、人物毎に色分けされて表示される。
図17及び図18に示す例では、家の空間情報である家の間取り図50の下に、時間領域スライダー51が表示される。図17は8時(朝8時)の様子、図18は20時(夜8時)の様子を示す。時間領域スライダー51を左右に動かすことにより、時間を設定することができ、ユーザは、時間毎の人物の存在確率を把握することができる。
また、人物と物体との相関関係情報を、ユーザが表示機器を用いて確認できるようにしてもよい。図19は、人物と物体の相関関係情報を示す表示例である。
図19に示すように、ペット型ロボット1が自律的に学習した人物のアイコン52〜54が表示される。アイコン52は父を示し、アイコン53は母を示し、アイコン54は子を示す。人物のアイコンは、図に示すように人物の写真であってもいいし、年齢、性別などの属性情報を反映させたアイコンでもよい。
ユーザにより人物を示すアイコンがタップされ選択されると、その人物に係る物体情報が表示される。例えば、衣服、ヘッドホン、鞄、ベッド等、その人物が身に着けたり、持ち運んだり、所有する物体や、ソファやテレビ等の、その人物がよく使用する物体等が表示される。
図19に示す例では、父のアイコン52が選択されると、父の所有物である通勤鞄55やヘッドホン56、父の好きなものであるテレビ57等の写真が表示される。
また、ペット型ロボット1が時空間マップを基に計画した自律行動内容を、ユーザが表示機器から確認できるようにしてもよい。更に、ユーザが表示部を見ながら、計画された自律行動内容を変更可能としてもよく、また、項目を削除可能としてもよい。また、ユーザが行動内容を新たに作成し、登録してもよく、ユーザが作成した行動内容を基にペット型ロボット1がその行動を実施してもよい。
図20は、表示機器に表示されるペット型ロボット1が自律的に計画した行動の一覧の表示例である。
図20に示す例では、自律行動内容として、「朝の見送り」、「午後のパトロール」、「夜の出迎え」、「平日の目覚まし」の4つの項目が表示される。これら項目をタップし選択することにより、その行動の詳細情報が項目の右側に表示される。
例えば、「朝の見送り」の項目をタップして選択することにより、「朝の見送り」の右側に、「時間:8時、場所:入口、人物:父、行動:見送りシーケンス」という詳細情報が表示される。また、「平日の目覚まし」の項目をタップして選択すると、詳細情報として「時間:平日6時、場所:寝室、人物:父、母、行動:目覚ましシーケンス」が表示される。
<第2の実施形態>
第1の実施形態では、自律行動ロボットの行動制御信号生成に係る、マップ生成部、行動制御信号生成部、追加情報特定部が、自律行動ロボットに設けられていたが、自律行動ロボットと通信可能な情報処理装置としてのクラウドサーバに設けられていてもよい。
また、第1の実施形態では、自律行動ロボットが1台ある例をあげたが、複数台あってもよい。
本実施形態では、自律行動ロボットとしてペット型ロボットを2台使用し、自律行動ロボットの行動制御信号生成に係る、マップ生成部、行動制御信号生成部及び追加情報特定部が、クラウドサーバ上に設けられている自律行動ロボット制御システムを例にあげて説明する。上述の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。
図21は、本実施形態の自律行動ロボット制御システム130を説明する図であり、情報処理装置としてのサーバ112、第1のペット型ロボット101、第2のペット型ロボット102の構成を示すブロック図である。図21において、マップ生成部8は第1の実施形態のマップ生成部8と同様の構成を有し、詳細な図示を省略している。
(自律行動ロボット制御システムの概略構成)
図21に示すように、自律行動ロボット制御システム130は、第1の自律行動ロボットとしての第1のペット型ロボット101と、第2の自律行動ロボットとしての第2のペット型ロボット102と、サーバ112とを有する。
(ペット型ロボットの構成)
第1のペット型ロボット101と第2のペット型ロボット102とは別のロボットであり、同様の構成を有している。第1のペット型ロボット101及び第2のペット型ロボット102はそれぞれ、通信部103と、制御部113と、移動部4と、バッテリ5と、バッテリセンサ6と、データ取得部2とを備える。
通信部103は、サーバ112からペット型ロボットの行動制御信号を受信し、制御部113に送信する。また、通信部103は、制御部113から、データ取得部で取得された各種データやバッテリセンサ6から取得されたバッテリ容量検出信号を受信し、サーバ112に送信する。
制御部113は、通信部103を介してサーバ112から受信した行動制御信号に基づいて、移動部4によりペット型ロボット101、102をそれぞれ移動させ、データ取得部2にデータを取得させる。また、制御部113は、データ取得部2で取得した各種データを、通信部103を介してサーバ112に送信する。
また、制御部113は、バッテリ容量検出信号を、通信部103に送信する。
(サーバの構成)
サーバ112は、通信部104と、制御部115と、行動制御信号生成部11と、追加情報特定部7と、マップ生成部8と、記憶部9とを有する。
通信部104は、第1のペット型ロボット101と、第2のペット型ロボット102と、時間情報と天気情報を提供する図示しないサーバと通信する。通信部104は、図示しないサーバと接続し、時間情報及び天気情報を取得し、制御部115に送信する。
通信部104は、第1のペット型ロボット101及び第2のペット型ロボット102それぞれのデータ取得部2で取得された各種データやバッテリ容量検出信号を受信し、制御部115に送信する。
通信部104は、行動制御信号生成部11で生成された第1のペット型ロボット101と第2のペット型ロボット102の行動制御信号を、第1のペット型ロボット101と第2のペット型ロボット102それぞれに送信する。
制御部115は、通信部104から受信した各種データ、時間情報、天気情報、バッテリ容量検出信号をマップ生成部8に送信する。制御部115は、行動制御信号生成部11から受信した行動制御信号を、通信部104を介して第1のペット型ロボット101と第2のペット型ロボット102それぞれに送信する。
行動制御信号生成部11は、第1の実施形態と同様に行動制御信号を生成する。第1のペット型ロボット101と第2のペット型ロボット102の行動制御信号は、同一の時空間マップを用いて生成される。第1のペット型ロボット101の行動制御信号と第2のペット型ロボット102の行動制御信号とは、異なる信号内容、或いは、同じ信号内容で生成される。
例えば、時空間マップを生成するにあたり、追加すべき情報を得るために各種データをペット型ロボット101、102が取得する際、2台のペット型ロボット101、102が同じ時空間領域に移動しないように制御してもよい。
すなわち、一方のペット型ロボットがある時空間領域内を探索している場合、他方のペット型ロボットは他の時空間領域内を探索するように制御してもよい。これにより、より早く環境情報が充実した時空間マップを生成することができ、効率がよい。
また、例えば、時空間マップを基に、ユーザに対して行動を実施する際、同じ時間に異なる2つの場所へそれぞれペット型ロボット101、102が所在するように行動を制御することができる。これにより、同じ時間に2つの異なる場所それぞれにいるユーザに対して行動を実施することができ、ユーザの満足度を高めることができる。
このように、複数のペット型ロボット101、102が情報を共有してもよく、複数のペット型ロボット101、102それぞれが取得したデータに基づいて時空間マップが生成、更新されてもよい。また、同一の時空間マップを用いて、各ペット型ロボット101、102の行動制御信号が生成されてもよい。
<第3の実施形態>
本実施形態では、自律行動ロボットとしてペット型ロボット1台と掃除ロボット1台を使用し、自律行動ロボットの行動制御信号生成に係る、マップ生成部、行動制御信号生成部及び追加情報特定部が、クラウドサーバに設けられている例をあげて説明する。上述の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。
図22は、本実施形態の自律行動ロボット制御システム230を説明する図であり、情報処理装置としてのサーバ212、第1のペット型ロボット101、掃除ロボット201の構成を示すブロック図である。図22において、マップ生成部8は第1の実施形態のマップ生成部8と同様の構成を有し、詳細な図示を省略している。
(自律行動ロボット制御システムの概略構成)
図22に示すように、自律行動ロボット制御システム230は、第1の自律行動ロボットとしての第1のペット型ロボット101と、第2の自律行動ロボットとしての掃除ロボット201と、サーバ212とを有する。
(掃除ロボットの構成)
掃除ロボット201は、通信部203と、制御部213と、移動部204と、バッテリ205と、バッテリセンサ206と、掃除部207とを備える。
通信部203は、サーバ212から行動制御信号を受信し、制御部213に送信する。また、通信部203は、制御部213からバッテリ容量検出信号を受信し、サーバ212に送信する。
移動部204は、掃除ロボット201の居場所を移動させる。移動部204は、制御部213により、行動制御信号生成部11で生成された行動制御信号に基づいて制御される。
バッテリ205は、掃除ロボット201に電源を供給する。
バッテリセンサ206は、バッテリ205の残量を検出する。バッテリセンサ206は、検出した結果であるバッテリ容量検出信号を制御部213に送信する。
掃除部207は、ブラシと吸引ポンプ等を有する。
制御部213は、通信部203を介してサーバ212から受信した行動制御信号に基づいて、移動部204により掃除ロボット201を移動させ、掃除部207におけるブラシや吸引ポンプの駆動制御を行い、掃除ロボット201に掃除作業をさせる。
また、制御部213は、バッテリ容量検出信号を受信し、通信部203に送信する。
(サーバの構成)
サーバ212は、通信部104と、制御部215と、行動制御信号生成部211と、追加情報特定部7と、マップ生成部8と、記憶部9とを有する。
制御部215は、通信部104から受信したデータ取得部2で取得された各種データ、時間情報、天気情報、バッテリ容量検出信号をマップ生成部8に送信する。制御部215は、行動制御信号生成部211から受信した行動制御信号を、通信部104を介して第1のペット型ロボット101と掃除ロボット201に送信する。
行動制御信号生成部211は、第1の実施形態と同様に自律行動ロボットの行動制御信号を生成する。第1のペット型ロボット101と掃除ロボット201それぞれの行動制御信号は、同一の時空間マップに基づいて別々に生成される。
例えば、時空間マップを基に、第1のペット型ロボット101と掃除ロボット201がそれぞれ自律的に行動を実施する際、ロボットの特性に応じて、行動する時間、空間の優先順位づけが行われ、それに従って第1のペット型ロボット101と掃除ロボット201を移動させる。
第1のペット型ロボット101は、ユーザとのコミュニケーションに重きをおく特性を備えているので、人の出現頻度が高く、人数の多い時間、空間に優先的に所在するように行動制御信号が生成される。
一方、掃除ロボット201は、効率的に掃除作業を行うことに重きをおくので、人のいない時間、空間に優先的に所在するように行動制御信号が生成される。
例えば、第1のペット型ロボット101と掃除ロボット201がほぼ同じタイミングで使用が開始された場合、掃除ロボット201は、使用開始から間もない間は、家の中を一様な頻度で掃除する。
しかし、使用開始からある程度の期間が経過し、第1のペット型ロボット101を用いて生成された時空間マップが充実してくると、掃除ロボット201は、平日の昼等、ユーザが家にいない時間帯に集中的に掃除するようになる。
このように、同一の時空間マップを用いて、互いに特性が異なる複数の自律行動ロボットの行動制御信号が生成されてもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述の第3の実施形態では、掃除ロボット201は、ペット型ロボット101のように周辺の環境情報を得るためのデータを取得するデータ取得部2を備えていないが、データ取得部2を備えていてもよい。これにより、掃除ロボットのデータ取得部が取得した各種データを用いて時空間マップを生成することができる。
上述の実施形態においては、ユーザとコミュニケーションをとる自律行動ロボットとしてペット型ロボットを例にあげて説明したが、これに限定されない。2足歩行、4足歩行、その他の移動手段を備え、人間の命令を必要とするか否かに係らず自律的に行動するロボットであって、ユーザと自律的にコミュニケーションを行う自律行動ロボットであればよい。
なお、本技術は以下のような構成もとることができる。
(1) 周囲の環境情報に係るデータを取得するデータ取得部を備える自律行動ロボットの上記データ取得部が取得するデータを基に時空間マップを生成するマップ生成部と、
上記時空間マップに追加すべき情報を得るために、移動して上記データ取得部からデータを取得するという上記自律行動ロボットの行動制御信号を生成する行動制御信号生成部と
を具備する情報処理装置。
(2) 上記(1)に記載の情報処理装置であって、
上記追加すべき情報を特定する追加情報特定部
を更に具備する情報処理装置。
(3) 上記(1)又は(2)に記載の情報処理装置であって、
上記追加すべき情報は、情報が不足している時空間領域の環境情報である
情報処理装置。
(4) 上記(1)〜(3)のいずれか1つに記載の情報処理装置であって、
上記追加すべき情報は、上記時空間マップの生成開始からある期間経過した後の環境情報である
情報処理装置。
(5) 上記(1)〜(4)のいずれか1つに記載の情報処理装置であって、
上記追加すべき情報は、上記自律行動ロボットが上記時空間マップを基に行動した際に、ユーザの反応が悪かった時の環境情報である
情報処理装置。
(6) 上記(1)〜(5)のいずれか1つに記載の情報処理装置であって、
上記時空間マップは、空間的及び時間的に変化する人物情報と、人物の行動情報と、人物の状態情報と、物体情報と、物体の状態情報を含む
情報処理装置。
(7) 上記(6)に記載の情報処理装置であって、
上記時空間マップは、空間情報、時間情報、人物情報、人物の行動情報、人物の状態情報、物体情報、物体の状態情報のうち少なくとも2つを互いに関連づけた相関関係情報を含む
情報処理装置。
(8) 上記(7)に記載の情報処理装置であって、
上記行動制御信号生成部は、上記相関関係情報に基づいて、上記行動制御信号を生成する
情報処理装置。
(9) 上記(1)〜(8)のいずれか1つに記載の情報処理装置であって、
上記自律行動ロボットは、上記自律行動ロボットの電源を供給するバッテリを備え、
上記行動制御信号生成部は、上記バッテリの残量に基づいて上記行動制御信号を生成する
情報処理装置。
(10) 上記(1)〜(9)のいずれか1つに記載の情報処理装置であって、
上記行動制御信号生成部は、ユーザの指示に基づいて上記行動制御信号を生成する
情報処理装置。
(11) 上記(1)〜(10)のいずれか1つに記載の情報処理装置であって、
上記マップ生成部は、上記自律行動ロボットが上記時空間マップを基に行動した際の上記ユーザの反応を上記時空間マップにフィードバックする
情報処理装置。
(12) 上記(1)〜(11)のいずれか1つに記載の情報処理装置であって、
上記データ取得部は、上記環境情報に係るデータとして画像データを取得する画像取得部を含む
情報処理装置。
(13) 上記(1)〜(12)のいずれか1つに記載の情報処理装置であって、
上記データ取得部は、上記環境情報に係るデータとして周囲の音声データを取得する音声取得部を含む
情報処理装置。
(14) 上記(1)〜(13)のいずれか1つに記載の情報処理装置であって、
上記データ取得部は、上記環境情報に係るデータとして位置データを取得する位置データ取得部を含む
情報処理装置。
(15) 上記(1)〜(14)のいずれか1つに記載の情報処理装置であって、
上記データ取得部は、上記環境情報に係るデータとして人物の所在を検知する人物検知部を含む
情報処理装置。
(16) 周囲の環境情報に係るデータを取得するデータ取得部を備える自律行動ロボットの上記データ取得部が取得したデータを基に時空間マップを生成し、
上記時空間マップに追加すべき情報を得るために、上記自律行動ロボットを移動させて上記データ取得部に上記データを取得させる
情報処理方法。
(17) 周囲の環境情報に係るデータを取得するデータ取得部を備える自律行動ロボットの上記データ取得部が取得したデータを基に時空間マップを生成するステップと、
上記時空間マップに追加すべき情報を得るために、上記自律行動ロボットを移動させて上記データ取得部に上記データを取得させるステップと
を含む処理を情報処理装置に実行させるためのプログラム。
(18) 周囲の環境情報に係るデータを取得するデータ取得部を備えた自律行動ロボットと、
上記データを基に時空間マップを生成するマップ生成部と、
上記時空間マップに追加すべき情報を得るために、移動して上記データ取得部からデータを取得するという上記自律行動ロボットの行動制御信号を生成する行動制御信号生成部と
を具備する自律行動ロボット制御システム。
(19) 周囲の環境情報に係るデータを取得するデータ取得部を備える第1の自律行動ロボットと、
周囲の環境情報に係るデータを取得するデータ取得部を備える、上記第1の自律行動ロボットとは異なる第2の自律行動ロボットと、
上記第1及び第2の自律行動ロボットから取得した上記データを基に時空間マップを生成するマップ生成部と、
上記時空間マップに追加すべき情報を得るために、移動して上記データ取得部からデータを取得するという上記第1又は第2の自律行動ロボットの行動制御信号を生成する行動制御信号生成部と
を具備する自律行動ロボット制御システム。
(20) 周囲の環境情報に係るデータを取得するデータ取得部を備える第1の自律行動ロボットと、
上記第1の自律行動ロボットとは異なる特性の第2の自律行動ロボットと、
上記第1の自律行動ロボットから取得した上記データを基に時空間マップを生成するマップ生成部と、
上記時空間マップに追加すべき情報を得るために、移動して上記データ取得部からデータを取得するという上記第1の自律行動ロボットの行動制御信号を生成する行動制御信号生成部と
を具備し、
上記行動制御信号生成部は、上記時空間マップを基に、上記特性に応じた上記第2の自律行動ロボットの行動制御信号を生成する
自律行動ロボット制御システム。
1…ペット型ロボット(自律行動ロボット、情報処理装置)
2…データ取得部
5…バッテリ
7…追加情報特定部
8…マップ生成部
11…行動制御信号生成部
21…カメラ(画像取得部)
22…人感センサ(人物検知部)
23…マイク(音声取得部)
24…GPS(位置データ取得部)
30、130、230…自律行動ロボット制御システム
101…第1のペット型ロボット(第1の自律行動ロボット)
102…第2のペット型ロボット(第2の自律行動ロボット)
112、212…サーバ(情報処理装置)
201…掃除ロボット(第2の自律行動ロボット)

Claims (20)

  1. 周囲の環境情報に係るデータを取得するデータ取得部を備える自律行動ロボットの前記データ取得部が取得するデータを基に時空間マップを生成するマップ生成部と、
    前記時空間マップに追加すべき情報を得るために、移動して前記データ取得部からデータを取得するという前記自律行動ロボットの行動制御信号を生成する行動制御信号生成部と
    を具備する情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記追加すべき情報を特定する追加情報特定部
    を更に具備する情報処理装置。
  3. 請求項2に記載の情報処理装置であって、
    前記追加すべき情報は、情報が不足している時空間領域の環境情報である
    情報処理装置。
  4. 請求項2に記載の情報処理装置であって、
    前記追加すべき情報は、前記時空間マップの生成開始からある期間経過した後の環境情報である
    情報処理装置。
  5. 請求項2に記載の情報処理装置であって、
    前記追加すべき情報は、前記自律行動ロボットが前記時空間マップを基に行動した際に、ユーザの反応が悪かった時の環境情報である
    情報処理装置。
  6. 請求項3に記載の情報処理装置であって、
    前記時空間マップは、空間的及び時間的に変化する人物情報と、人物の行動情報と、人物の状態情報と、物体情報と、物体の状態情報を含む
    情報処理装置。
  7. 請求項6に記載の情報処理装置であって、
    前記時空間マップは、空間情報、時間情報、人物情報、人物の行動情報、人物の状態情報、物体情報、物体の状態情報のうち少なくとも2つを互いに関連づけた相関関係情報を含む
    情報処理装置。
  8. 請求項7に記載の情報処理装置であって、
    前記行動制御信号生成部は、前記相関関係情報に基づいて、前記行動制御信号を生成する
    情報処理装置。
  9. 請求項8に記載の情報処理装置であって、
    前記自律行動ロボットは、前記自律行動ロボットの電源を供給するバッテリを備え、
    前記行動制御信号生成部は、前記バッテリの残量に基づいて前記行動制御信号を生成する
    情報処理装置。
  10. 請求項8に記載の情報処理装置であって、
    前記行動制御信号生成部は、ユーザの指示に基づいて前記行動制御信号を生成する
    情報処理装置。
  11. 請求項8に記載の情報処理装置であって、
    前記マップ生成部は、前記自律行動ロボットが前記時空間マップを基に行動した際の前記ユーザの反応を前記時空間マップにフィードバックする
    情報処理装置。
  12. 請求項11に記載の情報処理装置であって、
    前記データ取得部は、前記環境情報に係るデータとして画像データを取得する画像取得部を含む
    情報処理装置。
  13. 請求項12に記載の情報処理装置であって、
    前記データ取得部は、前記環境情報に係るデータとして周囲の音声データを取得する音声取得部を含む
    情報処理装置。
  14. 請求項13に記載の情報処理装置であって、
    前記データ取得部は、前記環境情報に係るデータとして位置データを取得する位置データ取得部を含む
    情報処理装置。
  15. 請求項14に記載の情報処理装置であって、
    前記データ取得部は、前記環境情報に係るデータとして人物の所在を検知する人物検知部を含む
    情報処理装置。
  16. 周囲の環境情報に係るデータを取得するデータ取得部を備える自律行動ロボットの前記データ取得部が取得したデータを基に時空間マップを生成し、
    前記時空間マップに追加すべき情報を得るために、前記自律行動ロボットを移動させて前記データ取得部に前記データを取得させる
    情報処理方法。
  17. 周囲の環境情報に係るデータを取得するデータ取得部を備える自律行動ロボットの前記データ取得部が取得したデータを基に時空間マップを生成するステップと、
    前記時空間マップに追加すべき情報を得るために、前記自律行動ロボットを移動させて前記データ取得部に前記データを取得させるステップと
    を含む処理を情報処理装置に実行させるためのプログラム。
  18. 周囲の環境情報に係るデータを取得するデータ取得部を備えた自律行動ロボットと、
    前記データを基に時空間マップを生成するマップ生成部と、
    前記時空間マップに追加すべき情報を得るために、移動して前記データ取得部からデータを取得するという前記自律行動ロボットの行動制御信号を生成する行動制御信号生成部と
    を具備する自律行動ロボット制御システム。
  19. 周囲の環境情報に係るデータを取得するデータ取得部を備える第1の自律行動ロボットと、
    周囲の環境情報に係るデータを取得するデータ取得部を備える、前記第1の自律行動ロボットとは異なる第2の自律行動ロボットと、
    前記第1及び第2の自律行動ロボットから取得した前記データを基に時空間マップを生成するマップ生成部と、
    前記時空間マップに追加すべき情報を得るために、移動して前記データ取得部からデータを取得するという前記第1又は第2の自律行動ロボットの行動制御信号を生成する行動制御信号生成部と
    を具備する自律行動ロボット制御システム。
  20. 周囲の環境情報に係るデータを取得するデータ取得部を備える第1の自律行動ロボットと、
    前記第1の自律行動ロボットとは異なる特性の第2の自律行動ロボットと、
    前記第1の自律行動ロボットから取得した前記データを基に時空間マップを生成するマップ生成部と、
    前記時空間マップに追加すべき情報を得るために、移動して前記データ取得部からデータを取得するという前記第1の自律行動ロボットの行動制御信号を生成する行動制御信号生成部と
    を具備し、
    前記行動制御信号生成部は、前記時空間マップを基に、前記特性に応じた前記第2の自律行動ロボットの行動制御信号を生成する
    自律行動ロボット制御システム。
JP2020517018A 2018-05-01 2019-01-25 情報処理装置、情報処理方法、プログラム、及び自律行動ロボット制御システム Active JP7160092B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018088373 2018-05-01
JP2018088373 2018-05-01
PCT/JP2019/002477 WO2019211932A1 (ja) 2018-05-01 2019-01-25 情報処理装置、情報処理方法、プログラム、及び自律行動ロボット制御システム

Publications (2)

Publication Number Publication Date
JPWO2019211932A1 true JPWO2019211932A1 (ja) 2021-07-01
JP7160092B2 JP7160092B2 (ja) 2022-10-25

Family

ID=68386513

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020517018A Active JP7160092B2 (ja) 2018-05-01 2019-01-25 情報処理装置、情報処理方法、プログラム、及び自律行動ロボット制御システム

Country Status (5)

Country Link
US (1) US20210116934A1 (ja)
EP (1) EP3789841B1 (ja)
JP (1) JP7160092B2 (ja)
CN (1) CN112074791A (ja)
WO (1) WO2019211932A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112494956A (zh) * 2020-12-15 2021-03-16 四川长虹电器股份有限公司 一种将物品转换成宠物的拟化方法和宠物拟化系统
JPWO2022254609A1 (ja) * 2021-06-02 2022-12-08
KR20240028225A (ko) * 2022-08-24 2024-03-05 삼성전자주식회사 로봇 및 로봇의 제어 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
JP2005111603A (ja) * 2003-10-07 2005-04-28 Lazona Inc ロボットおよびロボット管理装置
WO2016072116A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 制御システム、制御方法、および記憶媒体
WO2017217192A1 (ja) * 2016-06-14 2017-12-21 Groove X株式会社 涼しさを求める自律行動型ロボット

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5892361B2 (ja) 2011-08-02 2016-03-23 ソニー株式会社 制御装置、制御方法、プログラム、及びロボット制御システム
US20150370272A1 (en) * 2014-06-23 2015-12-24 Google Inc. Intelligent configuration of a smart environment based on arrival time
US10195740B2 (en) * 2015-09-10 2019-02-05 X Development Llc Using object observations of mobile robots to generate a spatio-temporal object inventory, and using the inventory to determine monitoring parameters for the mobile robots
CN109153127B (zh) * 2016-03-28 2022-05-31 Groove X 株式会社 执行迎接行为的行为自主型机器人
WO2017199662A1 (ja) * 2016-05-20 2017-11-23 Groove X株式会社 自律行動型ロボット及びコンピュータプログラム
US10575699B2 (en) * 2018-01-05 2020-03-03 Irobot Corporation System for spot cleaning by a mobile robot

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10289006A (ja) * 1997-04-11 1998-10-27 Yamaha Motor Co Ltd 疑似感情を用いた制御対象の制御方法
JP2005111603A (ja) * 2003-10-07 2005-04-28 Lazona Inc ロボットおよびロボット管理装置
WO2016072116A1 (ja) * 2014-11-07 2016-05-12 ソニー株式会社 制御システム、制御方法、および記憶媒体
WO2017217192A1 (ja) * 2016-06-14 2017-12-21 Groove X株式会社 涼しさを求める自律行動型ロボット

Also Published As

Publication number Publication date
US20210116934A1 (en) 2021-04-22
JP7160092B2 (ja) 2022-10-25
WO2019211932A1 (ja) 2019-11-07
EP3789841A4 (en) 2021-05-26
EP3789841A1 (en) 2021-03-10
EP3789841B1 (en) 2023-05-17
CN112074791A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
US11587320B2 (en) Methods and systems for person detection in a video feed
US20220122435A1 (en) Systems and Methods for Categorizing Motion Events
US11711236B2 (en) Machine learning for home understanding and notification
US10789821B2 (en) Methods and systems for camera-side cropping of a video feed
CN110174888B (zh) 自移动机器人控制方法、装置、设备及存储介质
US10192415B2 (en) Methods and systems for providing intelligent alerts for events
US10453098B2 (en) Privacy-aware personalized content for the smart home
EP3022720B1 (en) Method and device for processing motion events
US9449229B1 (en) Systems and methods for categorizing motion event candidates
CN109998429A (zh) 用于情境感知的移动清洁机器人人工智能
JP7160092B2 (ja) 情報処理装置、情報処理方法、プログラム、及び自律行動ロボット制御システム
US10741087B1 (en) Drone digital locker builder
US20190356506A1 (en) Machine learning for home understanding and notification
WO2020015682A1 (zh) 无人机控制系统和方法
US11119722B2 (en) Movable body control apparatus and recording medium
CN111643017B (zh) 基于日程信息的清扫机器人控制方法、装置和清扫机器人
US20190354875A1 (en) Machine learning for home understanding and notification
JPWO2019151387A1 (ja) 経験に基づいて行動する自律行動型ロボット
CA3100879A1 (en) Machine learning for home understanding and notification
US20220222943A1 (en) Intelligent pausing of recording by a property monitoring system
US20220327645A1 (en) Visitor-tailored property configuration
JPWO2020022371A1 (ja) ロボットならびにその制御方法および制御プログラム
US11557142B1 (en) Home wildlife deterrence
KR101466566B1 (ko) 행동 루틴들을 관리 및 제어하기 위한 장치
US20210286370A1 (en) Agent, existence probability map creation method, agent action control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211216

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20211216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220913

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220926

R151 Written notification of patent or utility model registration

Ref document number: 7160092

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151