JP5581770B2 - ロボット装置及びロボット装置による情報提供方法 - Google Patents

ロボット装置及びロボット装置による情報提供方法 Download PDF

Info

Publication number
JP5581770B2
JP5581770B2 JP2010073032A JP2010073032A JP5581770B2 JP 5581770 B2 JP5581770 B2 JP 5581770B2 JP 2010073032 A JP2010073032 A JP 2010073032A JP 2010073032 A JP2010073032 A JP 2010073032A JP 5581770 B2 JP5581770 B2 JP 5581770B2
Authority
JP
Japan
Prior art keywords
user
information
point
unit
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010073032A
Other languages
English (en)
Other versions
JP2011201001A (ja
Inventor
寛和 白土
雅邦 永野
亘 小久保
嘉昭 岩井
悟 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010073032A priority Critical patent/JP5581770B2/ja
Priority to EP11158713.5A priority patent/EP2369436B1/en
Priority to CN201110069128XA priority patent/CN102201030A/zh
Priority to KR1020110024257A priority patent/KR20110108264A/ko
Priority to US13/070,138 priority patent/US8972054B2/en
Publication of JP2011201001A publication Critical patent/JP2011201001A/ja
Application granted granted Critical
Publication of JP5581770B2 publication Critical patent/JP5581770B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • B25J11/009Nursing, e.g. carrying sick persons, pushing wheelchairs, distributing drugs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112Global tracking of patients, e.g. by using GPS
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00Appliances for aiding patients or disabled persons to walk about
    • A61H3/06Walking aids for blind persons
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/14Receivers specially adapted for specific applications
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Public Health (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Nursing (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manipulator (AREA)

Description

本発明は、ロボット装置及びロボット装置による情報提供方法に関する。
介護や医療の現場では、例えば介護や看護をする人が、介護や看護を受ける人の行動に対して視覚的又は聴覚的に合図を出す(キューイングする)ことがある。このキューイングによって、その人が気付かない可能性がある事柄を事前に知らせて、その事柄を人に気付かせることができる。例えば、家の中に段差があるときに、介護をする人が介護を受ける人に対してキューイングすることで、つまずいたり転んだりする危険を回避することができる。
従来、介護をする人がキューイングする代わりに、介護を受ける人の首等に監視・警告装置をぶら下げて、介護を受ける人の行動に対してキューイングする技術があった。また、環境設置型センサ、例えば一か所に固定された監視カメラが介護を受ける人を認識して、認識された人の行動に対してキューイングする技術があった。
更に、ロボットに関する技術分野において、例えば特許文献1では、特定の人に追従する自律移動装置が、特定の人及び周囲の環境を認識して特定の人の危険度を判断し、特定の人が危険である場合に危険度を低減させる技術が開示されている。
特許文献2では、ロボットの情報処理の負担を軽減するため、作業空間に予め設定され移動目標の目印であるポイントに付与された動作支援情報に基づいて、ポイントで動作を実行する駆動手段を制御する技術が開示されている。
特開2007−102488号公報 特開2004−243504号公報
しかし、介護を受ける人の首等に監視・警告装置をぶら下げると、介護を受ける人の負担になるという問題がある。また、1か所に固定されたカメラでは、認識できる範囲が限定されたり、死角領域における人の行動を認識できなかったりするという問題がある。
また、周囲環境において生じる危険度は、人の身体能力等に応じて変化するため、自律移動装置によってキューイングを受ける人それぞれによって異なる。従って、自律移動装置が危険度を低減させるため、予め人の前に移動したり警告音を発したりする動作をしても、自分でその危険度を予測できる人にとっては余計な動作であり、煩わしいものとなるという問題がある。
更に、自律移動装置が周囲環境を予め記憶しておかずに、逐次周囲環境を認識する場合、自律移動装置は、認識不可能な周囲環境に関する人の行動に対して、いかなるキューイングもすることができないという問題がある。また、周囲環境を記憶していない場合、自律移動装置が認識できない死角領域にいる人の行動に対して、キューイングできないという問題がある。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、認識されたユーザーに応じて周辺環境に関する情報を適切に提供することが可能な、新規かつ改良されたロボット装置及びロボット装置による情報提供方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、移動部と、移動しながら外部の環境を認識する外部環境認識部と、環境に基づいて環境地図を生成する環境地図生成部と、情報提供する地点を環境地図内に指定する情報提供地点指定部と、情報提供の対象とする複数のユーザーを登録し、情報提供する地点毎に情報提供するユーザーを設定するユーザー管理部と、環境からユーザーを認識する人物認識部と、ユーザーの行動を認識する行動認識部と、ユーザーの行動に基づいてユーザーの将来の行動を予測する予測部と、情報提供する地点とユーザーの将来の行動との関係に基づいて情報提供する情報提供部とを備えるロボット装置が提供される。
上記情報提供地点指定部は、情報提供する地点を分類し、ユーザー管理部は、ユーザーに対して情報提供する地点の分類を設定し、情報提供部は、情報提供する地点の分類を判断して、分類に応じたユーザーに対して情報提供してもよい。
上記行動認識部は、人物の位置及び移動速度と情報提供する地点に基づいて人物の行動を認識し、予測部は、人物の位置及び移動速度と情報提供する地点に基づいて、人物の将来の行動を予測してもよい。
上記行動認識部は、予め記録しておいた行動パターンに一致するか否かに基づいて人物の行動を認識し、予測部は、行動パターンに基づいて、人物の将来の行動を予測してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、ロボット装置が移動するステップと、ロボット装置が移動しながら外部環境認識部が外部の環境を認識するステップと、環境地図生成部が環境に基づいて環境地図を生成するステップと、情報提供地点指定部が情報提供する地点を環境地図内に指定するステップと、ユーザー管理部が情報提供の対象とする複数のユーザーを登録するステップと、ユーザー管理部が情報提供する地点毎に情報提供するユーザーを設定するステップと、人物認識部が環境からユーザーを認識するステップと、行動認識部がユーザーの行動を認識するステップと、予測部がユーザーの行動に基づいてユーザーの将来の行動を予測するステップと、情報提供部が情報提供する地点とユーザーの将来の行動との関係に基づいて情報提供するステップとを備えるロボット装置のキューイング方法が提供される。
以上説明したように本発明によれば、認識されたユーザーに応じて周辺環境に関する情報を適切に提供することができる。
本発明の一実施形態に係るロボット100を示すブロック図である。 同実施形態に係るロボット100のキューイング準備処理を示すフローチャートである。 同実施形態に係るロボット100のキューイング処理を示すフローチャートである。 同実施形態に係るロボット100によって生成された環境地図10を示す説明図である。 キューイング地点に関する情報を示すテーブルである。 ユーザーに関する情報を示すテーブルである。 外部認識によって取得された被写体像や行動認識の結果の一例を示す説明図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.一実施形態の構成
2.一実施形態の動作
<1.一実施形態の構成>
まず、図1を参照して、本発明の一実施形態に係るロボット100について説明する。図1は、本実施形態に係るロボット100を示すブロック図である。
ロボット100は、外部環境を認識し、認識された環境に応じて自律的に移動したり、ユーザーに対する動作をしたりする。本実施形態のロボット100は、環境地図を生成する。そして、ロボット100は、ユーザーの行動を判断し、ユーザーに対して視覚的又は聴覚的に合図を出す等の情報提供をする(キューイングする)。ロボット100は、キューイングするため、キューイングを出すべきキューイング地点を保持しておく。
これにより、ロボット100は、ユーザーに対してユーザーが行うべき動作を事前に知らせることができる。また、ロボット100は、ユーザーの特性、例えばユーザーの持つ身体能力等に応じてキューイングの有無や種類が決定される。
また、ロボット100は、移動することによって広範囲の環境地図を生成でき、生成した環境地図を記録しておく。そして、環境地図にキューイング地点を予め設定しておくことで、逐次周囲環境を認識する場合と比べて、ロボット100は、認識不可能な周囲環境が減少し、ユーザーの行動に対してキューイングする機会が増加する。また、ロボット100は、環境地図に基づいて、ロボット100の現在位置から認識できない死角領域にいる人の行動に対しても、キューイングできる。
キューイングするべき地点又はキューイングしたほうがよい地点は、例えば室内であれば、人が通過するときに狭い場所、段差部分、ドア、ベッド等であり、ロボット100は、その地点に接近している人やその地点にいる人に対して衝突や、つまずき、転倒を回避するように警告する。また、キューイング地点は車椅子でもよく、ロボット100は、人の行動に応じて、車椅子に乗る際のブレーキのかけ忘れなどを喚起する。更に、キューイング地点はトイレでもよく、介護を受ける人に対してズボンの上げ下げを喚起する。
ロボット100は、図1に示すように、例えば、インターフェース入出力部102と、キューイング指定部104と、ユーザーレベル指定部106と、外部環境認識部110と、環境地図生成部112と、人物認識部114と、行動認識部116と、記憶部120と、予測部130と、情報提供部140と、駆動部150等からなる。
ロボット100は、例えばマイクロプロセッサを備えて、例えばインターフェース入出力部102と、外部環境認識部110と、記憶部120と、情報提供部140と、駆動部150等を制御する。また、マイクロプロセッサには、キューイング指定部104と、ユーザーレベル指定部106と、環境地図生成部112と、人物認識部114と、行動認識部116と、予測部130等が含まれる。
インターフェース入出力部102は、ロボット100を使用するユーザー等が各種データを入力する操作部である。また、インターフェース入出力部102は、ディスプレイ画面を有する表示部であり、ユーザーに対して映像を表示する。例えば、インターフェース入出力部102は、ディスプレイ画面に環境地図を表示する。そして、インターフェース入出力部102は、ユーザーによってキューイング地点が環境地図上に入力されたり、ユーザー情報が入力されたりする。
キューイング指定部104は、情報提供地点指定部の一例であり、キューイング地点の情報をインターフェース入出力部102から受ける。そして、キューイング指定部104は、環境地図に関する情報にキューイング地点の情報を関連付けて、キューイング地点を環境地図内に指定する。また、キューイング地点の座標情報とともに、キューイングレベルやキューイング地点の名称が設定される。
ユーザーレベル指定部106は、ユーザー管理部の一例であり、ユーザーに関する情報をインターフェース入出力部102から受ける。そして、ユーザーレベル指定部106は、キューイング対象とする複数のユーザーを登録し、キューイングレベルを各ユーザーに設定する。本実施形態では、キューイング地点で全てのユーザーに対して常にキューイングするのではなく、ユーザーの身体能力等に応じてキューイングする。例えば、キューイング地点とユーザーの両方にキューイングレベルを設定しておくことで両者を関連付けて、キューイングの有無を調整する。キューイングレベルを設定すれば、ユーザー毎のキューイングの有無を容易に設定できる。
なお、本発明は、キューイングの有無の設定方法について、キューイングレベルの設定に限定されない。例えば、キューイング地点ごとにキューイング対象とするユーザーを一人ずつ設定してもよい。また、キューイング地点やキューイング対象とするユーザーは、単にレベルの高低で分類されるのではなく、「家事」、「歩行動作」、「昼の時間帯」等の行動パターンや時間パターン等のジャンル分けで分類されてもよい。
外部環境認識部110は、例えばステレオカメラ、距離センサ等であり、ロボット100の外部環境に関する情報を取得、認識する。外部環境認識部110は、環境地図生成部112、人物認識部114、行動認識部116などに外部環境に関する情報を送る。
環境地図生成部112は、外部環境に関する情報に基づいて、例えばSLAM(Simultaneous Localization and Mapping)等の技術を使用して、環境地図を生成する。環境地図は、逐次更新されて、外部環境に存在する物体をトラッキングできるようにしてもよい。キューイング地点が環境地図上に指定されている場合は、キューイング地点もトラッキングする。
人物認識部114は、外部環境に関する情報や記憶部120に登録されたユーザー情報に基づいて、人物を検出し、検出した人物を特定する。
行動認識部116は、人物認識部114で認識された人物の位置や移動方向を算出する。行動認識部116は、算出された人物の位置や移動方向に関する情報を予測部130に送る。また、行動認識部116は、外部環境に関する情報や記憶部120に記録されている人物の行動パターンに基づいて、人物の行動を認識する。そして、行動認識部116は、認識された人物の行動を予測部130に送る。
記憶部120は、例えばメモリであり、生成された環境地図、キューイング地点、ユーザー情報を記録している。また、記憶部120は、各種プログラムや人物認識部114による人物認識、行動認識部116による行動認識に必要な情報を記録しており、各処理に応じて必要な情報が読み出される。
予測部130は、人物の位置や移動方向とキューイング地点に基づいて、人物がキューイング地点に接近しているかどうかを算出し、人物の行動を予測する。また、予測部130は、認識された人物の行動に基づいて、その人物が次にどのような行動をするのかを予測する。予測部130は、予測された行動を情報提供部140に送る。
情報提供部140は、ロボット100に設けられ、予測された行動とユーザーに関する情報に基づいて、ユーザーに対してキューイングする。キューイングは、例えば、ユーザーが視覚的に認識できるランプの発光やディスプレイ画面の画像表示、又はユーザーが聴覚的に認識できる音声の出力などである。キューイング内容は、ユーザーに設定されたキューイングレベルなどに基づいてユーザーに応じて変更してもよい。なお、本発明は、情報提供部140がロボット100に設置される場合に限定されない。例えば、ロボット100が通信部を有して、携帯電話等の携帯機器にキューイングに関する情報を送り、携帯機器がメールを受信したり、振動したりすることによって、ユーザーにキューイングしてもよい。
駆動部150は、ロボット100の移動又は動作を可能にする。駆動部150は、ロボット100自身が自律的に生成した信号に基づいて駆動したり、ユーザーによる操作によって生成された信号に基づいて駆動したりする。
<2.一実施形態の動作>
次に、本実施形態に係るロボット100の動作について説明する。
[キューイング準備処理]
初めに、本実施形態に係るロボット100のキューイング準備処理について説明する。図2は、本実施形態に係るロボット100のキューイング準備処理を示すフローチャートである。
まず、ロボット100は、外部環境を認識する(ステップS11)。外部環境の認識によって、ロボット100の外部の物体の形状、位置、テクスチャ及び色などに関する情報を取得できる。ロボット100は、移動しながら逐次これらの情報を取得する。
次に、取得した外部の物体に関する情報に基づいて、環境地図を生成する(ステップS12)。ロボット100は、新たに認識された外部環境の場合、新規に環境地図を生成し、記憶部120に記録しておく。また、記憶部120に記録されている環境地図と今回認識された外部環境が対応する場合は、記録されている環境地図を更新する。そして、生成された環境地図がインターフェース入出力部102に送られ、ディスプレイ画面に環境地図が表示される(ステップS12)。
その後、ディスプレイ画面に表示された環境地図が例えばロボット100の管理者によって参照され、管理者によってキューイング地点が環境地図上に指定される(ステップS13)。キューイング地点とは、室内の必要な場所でロボット100によって合図が出されるべき地点又は合図を出すことが望ましい地点である。環境地図上に指定されたキューイング地点の座標情報は、キューイングする場所又は物体の名称、キューイング方法、キューイングレベル等と共に記憶部120に記録される。
キューイングレベルとは、キューングするユーザーに応じてキューイング地点を分類するためのレベルである。例えばキューイング地点のキューイングレベルが低く設定されていれば、全てのユーザーに対してキューイングし、反対に、キューングレベルが高く設定されていれば、高齢者等の身体能力が低い人に対してのみキューイングする。
キューイング地点の指定方法は、ディスプレイ画面がタッチパネルであれば指やスタイラス等によって入力される方法、マウスやキーボードによって入力される方法等いずれの方法でもよい。
そして、ロボット100によってキューイングされるユーザーが、管理者によって入力され記憶部120に記録される。例えば、ユーザーの顔情報や身体情報等が記録される。また、記録された各ユーザーに対してどのキューイングレベルでキューイングするべきかが設定される(ステップS14)。例えば、キューイングがほとんど必要ない若い人には、キューイングレベルを低く設定し、注意力が低下してきた高齢者等には、キューイングレベルを高く設定する。
以上により、キューイングのための準備処理が完了する。
[キューイング処理]
次に、本実施形態に係るロボット100のキューイング処理について説明する。図3は、本実施形態に係るロボット100のキューイング処理を示すフローチャートである。
まず、ロボット100は、外部環境を認識する(ステップS21)。外部環境の認識によって、ロボット100の外部の物体の形状、位置、テクスチャ及び色などに関する情報を取得できる。また、外部環境の認識によって、ユーザーの顔やユーザーの動きなどに関する情報を取得できる。
次に、取得したユーザーに関する情報が、予め登録しておいたユーザーに関する情報(例えば、顔情報や身体情報など)と照合されて、ユーザーが認識される。また、認識されたユーザーのトラッキングが行われる(ステップS22)。
そして、環境地図上のユーザーの位置や移動方向が算出され、ユーザーとキューイング地点の距離が検出される(ステップS23)。ユーザーとキューイング地点の距離が逐次検出されることによって、ユーザーがキューイング地点に接近しているか否か又はユーザーがキューイング地点に何秒以上滞在しているか等がわかる。
そして、ユーザーの移動方向やユーザーとキューイング地点の距離に基づいて、キューイングするか否かが判断される(ステップS24)。キューイングが必要であると判断された場合、キューイングが行われる(ステップS26)。このとき、ロボット100が環境地図上のキューイング地点を直接認識することができない位置にいる場合でも、ロボット100は環境地図上でキューイング地点とユーザーの関係を把握できるため、ユーザーに対してキューイングできる。
一方、ユーザーの移動方向やユーザーとキューイング地点の距離では、キューイングしないと判断された場合、ユーザーの行動認識が行われ、予め記録しておいた行動パターンに一致するか否かが判断される(ステップS25)。行動認識の結果、予め記録しておいた行動パターンと一致する行動が認識された場合や、行動認識に基づいて将来所定の行動が行われると予測される場合、キューイングが行われる(ステップS26)。一方、行動認識の結果、予め記録しておいた行動パターンと一致する行動が認識されなかった場合や所定の行動が行われるという予測がされなかった場合、ステップS23に戻り、キューイング条件の検出を繰り返す。
以上により、1回のキューイング処理が完了する。キューイング処理が停止されず継続している限り、上記処理動作が繰り返され、ユーザーとキューイング地点の関係やユーザーの行動に基づいてキューイングが行われる。
[キューイング地点の設定]
次に、図4及び図5を参照して、キューイング地点の設定の詳細について説明する。生成された環境地図を俯瞰モードにすると、例えば図4のように表示される。図4は、ロボット100によって生成された環境地図10を示す説明図である。図4の環境地図10は、室内を示しており、環境地図10内に家具やユーザーU1,U3やロボット100等が表示されている。
環境地図がディスプレイ画面に表示された状態で、例えば、キューイング地点P11,P12,P13,P14等が管理者によって指定される。P11によって椅子が指定され、P12によって敷居の段差が指定され、P13によってカーペットの段差が指定され、P14によってトイレが指定されている。また、キューイング地点として点の情報ではなく、所定面積を有するエリアP11,P12,P13,P14がキューイング地点として指定されてもよい。
そして、キューイング地点の座標情報とともに、図5に示すようにキューイングレベルやキューイング地点の名称が設定される。図5は、キューイング地点に関する情報を示すテーブルである。例えば、キューイングを全ての人に出す場合は、レベル1が設定され、キューイングを高齢者等に限定して出す場合は、レベル3が設定される。
[ユーザーの登録]
次に、図6を参照して、ユーザーの登録について説明する。図6は、ユーザーに関する情報を示すテーブルである。図6に示すように、ユーザーの顔情報等の画像情報やユーザーID、ユーザーの名前、キューイングレベル等が、関連づけされながら記録される。例えば、高齢者(U1)には、キューイングレベルを3に設定したり、若い人(U3)には、キューイングレベルを1に設定したりする。
[行動認識処理]
また、図7を参照して、行動認識処理について説明する。図7は、外部認識によって取得された被写体像や行動認識の結果の一例を示す説明図である。
行動認識の前に、顔認識処理がされれば、外部環境認識によって得られた人物を特定できる。図7の例では、左の人物がKathyで右の人物がMonicaであることが特定されており、中央の人物が特定できていないか特定できなかった状態(Unknown)である。
人物の行動認識では、例えば特徴点が抽出されて、抽出された特徴点がトラッキングされることによって、人物がどのような行動をしているかが把握される。図7の例では、左の人物が走っており右の人物が蹴る動作をしていることが認識されている。また、中央の人物は立ち止っていることが認識されている。
また、人物全体の中心の座標点が得られ、その座標点がどの方向に移動しているかをトラッキングすることによって、人物の現在位置及び移動速度が得られる。人物の現在位置及び移動速度については、人物の顔の位置や向き、移動速度から算出してもよい。図7の例では、左の人物が座標点(43,892)にいて、9km/hで右前方に進んでおり、右の人物が座標点(51,901)にいて、5km/hで左前方に進んでいることが認識されている。
このように人物認識処理が行われることによって、認識された人物が次にどのような行動をするのかを予測することができ、予測される行動に対してキューイングできる。その結果、より迅速に又は事前にユーザーに対して、次に取るべき行動のリコメンドを提示できる。
以上、本実施形態によれば、介護を受ける人等のユーザーに負担をかけることなくキューイングがロボット100から出される。また、ロボット100は移動するため、認識できる範囲が広く、環境地図を記録しておくことで、死角領域における人の行動も認識できる。
また、周囲環境において生じる危険度は、人の身体能力等に応じて変化するが、本実施形態のロボット100はユーザーを認識しユーザーに応じたキューイングをする。例えばキューイングがほとんど不要なユーザーにはキューイングしないように設定されるため、自分で危険度を予測できるユーザーにとっては余計なキューイングなくなり、煩わしさを受けずに済む。一方、キューイングが頻繁に必要なユーザーには様々な状況でキューイングするように設定されるため、このようなユーザーはキューイングによる恩恵を適切に受けられる。
更に、ロボット100は、環境地図を記憶しているため、ロボット100が認識できない死角領域にいる人の行動に対しても、キューイングできる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、人物は外部環境の認識の結果を使用して特定されるとしたが、本発明はこの例に限定されない。例えば、ロボット100が、人物が所持しているGPS(Global Positioning System)装置から情報を受けて、人物の固有情報、人物の位置情報や移動方向を把握してもよい。GPS装置からユーザーの情報を得ることによって、ロボット100がユーザーを直接認識することができない位置にいる場合でも、ロボット100は環境地図上のキューイング地点との関係でユーザーに対してキューイングできる。
また、上記実施形態では、ロボット100にユーザーが登録されている場合について説明したが、本発明はこの例に限定されない。例えば、不特定多数の人に対してキューイングする場合についても適用できる。例えば、人物が特徴的な外観を有する場合、例えば車椅子に乗っている、ベビーカーを押している等の外観を有する場合は、人物を特定することなく外観を判断して、キューイングするようにしてもよい。
100 ロボット
102 インターフェース入出力部
104 キューイング指定部
106 ユーザーレベル指定部
110 外部環境認識部
112 環境地図生成部
114 人物認識部
116 行動認識部
120 記憶部
130 予測部
140 情報提供部
150 駆動部

Claims (3)

  1. 移動部と、
    移動しながら外部の環境を認識する外部環境認識部と、
    前記環境に基づいて環境地図を生成する環境地図生成部と、
    情報提供する地点を前記環境地図内に指定し、前記情報提供する地点を分類する情報提供地点指定部と、
    情報提供の対象とする複数のユーザーを登録し、前記情報提供する地点毎に情報提供する前記ユーザーを設定し、前記ユーザーに前記情報提供する地点の分類を設定するユーザー管理部と、
    前記環境から前記ユーザーを認識する人物認識部と、
    前記ユーザーの位置および移動方向を算出し、前記ユーザーの行動を認識する行動認識部と、
    前記ユーザーの位置、前記移動方向および前記情報提供する地点に基づいて前記ユーザーの将来の行動を予測する予測部と、
    前記情報提供する地点の前記分類に応じた前記分類が設定された前記ユーザーに、予測された前記ユーザーの将来の行動に基づいて情報提供する情報提供部と
    を備える、ロボット装置。
  2. 前記行動認識部は、前記ユーザーの位置、前記移動方向および前記情報提供する地点に基づいて予測された前記ユーザーの将来の行動に係る情報提供が行われない場合、予め記録しておいた行動パターンに一致するか否かに基づいて前記ユーザーの行動を認識し、
    前記予測部は、前記行動パターンに基づいて、前記ユーザーの将来の行動を予測する、請求項1に記載のロボット装置。
  3. ロボット装置が移動するステップと、
    ロボット装置が移動しながら外部環境認識部が外部の環境を認識するステップと、
    環境地図生成部が前記環境に基づいて環境地図を生成するステップと、
    情報提供地点指定部が情報提供する地点を前記環境地図内に指定し、前記情報提供する地点を分類するステップと、
    ユーザー管理部が情報提供の対象とする複数のユーザーを登録するステップと、
    ユーザー管理部が前記情報提供する地点毎に情報提供する前記ユーザーを設定し、前記ユーザーに前記情報提供する地点の分類を設定するステップと、
    人物認識部が前記環境から前記ユーザーを認識するステップと、
    行動認識部が前記ユーザーの位置および移動方向を算出し、前記ユーザーの行動を認識するステップと、
    予測部が前記ユーザーの位置、前記移動方向および前記情報提供する地点に基づいて前記ユーザーの将来の行動を予測するステップと、
    情報提供部が前記情報提供する地点の前記分類に応じた前記分類が設定された前記ユーザーに、予測された前記ユーザーの将来の行動に基づいて情報提供するステップと
    を備える、ロボット装置による情報提供方法。
JP2010073032A 2010-03-26 2010-03-26 ロボット装置及びロボット装置による情報提供方法 Active JP5581770B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010073032A JP5581770B2 (ja) 2010-03-26 2010-03-26 ロボット装置及びロボット装置による情報提供方法
EP11158713.5A EP2369436B1 (en) 2010-03-26 2011-03-17 Robot apparatus, information providing method carried out by the robot apparatus and computer storage media
CN201110069128XA CN102201030A (zh) 2010-03-26 2011-03-18 机器人设备、机器人设备执行的信息提供方法和存储介质
KR1020110024257A KR20110108264A (ko) 2010-03-26 2011-03-18 로봇 장치, 로봇 장치에 의한 정보 제공 방법 및 컴퓨터 기억 매체
US13/070,138 US8972054B2 (en) 2010-03-26 2011-03-23 Robot apparatus, information providing method carried out by the robot apparatus and computer storage media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010073032A JP5581770B2 (ja) 2010-03-26 2010-03-26 ロボット装置及びロボット装置による情報提供方法

Publications (2)

Publication Number Publication Date
JP2011201001A JP2011201001A (ja) 2011-10-13
JP5581770B2 true JP5581770B2 (ja) 2014-09-03

Family

ID=44343047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010073032A Active JP5581770B2 (ja) 2010-03-26 2010-03-26 ロボット装置及びロボット装置による情報提供方法

Country Status (5)

Country Link
US (1) US8972054B2 (ja)
EP (1) EP2369436B1 (ja)
JP (1) JP5581770B2 (ja)
KR (1) KR20110108264A (ja)
CN (1) CN102201030A (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103297486B (zh) * 2012-03-05 2017-03-29 联想(北京)有限公司 即时定位与地图构建方法和设备
US8983662B2 (en) 2012-08-03 2015-03-17 Toyota Motor Engineering & Manufacturing North America, Inc. Robots comprising projectors for projecting images on identified projection surfaces
CN103884330B (zh) * 2012-12-21 2016-08-10 联想(北京)有限公司 信息处理方法、可移动电子设备、引导设备和服务器
US9517559B2 (en) * 2013-09-27 2016-12-13 Honda Motor Co., Ltd. Robot control system, robot control method and output control method
WO2016104265A1 (ja) * 2014-12-25 2016-06-30 株式会社エクォス・リサーチ 移動体
US10037712B2 (en) 2015-01-30 2018-07-31 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of detecting a classification of an object
US10217379B2 (en) 2015-01-30 2019-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Modifying vision-assist device parameters based on an environment classification
US9914218B2 (en) 2015-01-30 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and apparatuses for responding to a detected event by a robot
CN105301997B (zh) * 2015-10-22 2019-04-19 深圳创想未来机器人有限公司 基于移动机器人的智能提醒方法和系统
KR101868374B1 (ko) 2016-10-20 2018-06-18 엘지전자 주식회사 이동 로봇의 제어방법
CN108734503A (zh) * 2018-03-06 2018-11-02 北京猎户星空科技有限公司 一种信息显示方法、装置及智能设备
JP6748145B2 (ja) * 2018-05-15 2020-08-26 ファナック株式会社 ロボットシステム
CN109117112B (zh) * 2018-08-13 2021-07-27 维沃移动通信有限公司 一种语音引导方法、终端设备
US11597086B2 (en) 2018-09-13 2023-03-07 The Charles Stark Draper Laboratory, Inc. Food-safe, washable interface for exchanging tools
CN109498306A (zh) * 2018-12-27 2019-03-22 昆山市工研院智能制造技术有限公司 具有对接机构的床椅分体式护理床及自动对接方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004243504A (ja) 2003-02-17 2004-09-02 Matsushita Electric Works Ltd ロボット及び該ロボットに情報提供可能な作業対象物並びに対人サービスロボット
JP2005103679A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
JP4257230B2 (ja) * 2004-02-26 2009-04-22 株式会社東芝 移動ロボット
CN101002209A (zh) * 2004-08-10 2007-07-18 皇家飞利浦电子股份有限公司 用于根据临床指南配置每个病人的临床护理设置的系统和方法
KR100624387B1 (ko) * 2005-04-25 2006-09-20 엘지전자 주식회사 주행영역 지정이 가능한 로봇 시스템
JP2007044825A (ja) * 2005-08-10 2007-02-22 Toshiba Corp 行動管理装置、行動管理方法および行動管理プログラム
ATE524784T1 (de) * 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
JP4830438B2 (ja) 2005-10-04 2011-12-07 トヨタ自動車株式会社 自律移動装置
JP4786516B2 (ja) * 2006-12-13 2011-10-05 三菱重工業株式会社 ロボットによるサービスシステムにおけるサービス対象者判別方法と該方法を用いたロボットによるサービスシステム
JP4919856B2 (ja) * 2007-03-28 2012-04-18 セコム株式会社 移動ロボット
JP4976903B2 (ja) * 2007-04-05 2012-07-18 本田技研工業株式会社 ロボット
JP2008260107A (ja) * 2007-04-13 2008-10-30 Yaskawa Electric Corp 移動ロボットシステム
JP2009136987A (ja) * 2007-12-10 2009-06-25 Toyota Motor Corp 移動ロボット、及び床面形状データの補正方法
JP2010073032A (ja) 2008-09-19 2010-04-02 Toshiba Corp 画像照射システムおよび画像照射方法
CN201267592Y (zh) * 2008-10-15 2009-07-08 王红 多功能床头牌

Also Published As

Publication number Publication date
CN102201030A (zh) 2011-09-28
EP2369436A2 (en) 2011-09-28
KR20110108264A (ko) 2011-10-05
US20110238212A1 (en) 2011-09-29
EP2369436A3 (en) 2017-01-04
US8972054B2 (en) 2015-03-03
JP2011201001A (ja) 2011-10-13
EP2369436B1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
JP5581770B2 (ja) ロボット装置及びロボット装置による情報提供方法
US9316502B2 (en) Intelligent mobility aid device and method of navigating and providing assistance to a user thereof
KR102408257B1 (ko) 조기에 위험을 경고하는 방법 및 장치
US8588464B2 (en) Assisting a vision-impaired user with navigation based on a 3D captured image stream
US9355368B2 (en) Computer-based method and system for providing active and automatic personal assistance using a robotic device/platform
US9262068B2 (en) Interactive surface
WO2018152009A1 (en) Entity-tracking computing system
EP3051810B1 (en) Surveillance
US10902263B1 (en) Image processing system for object identification
JP6773037B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN106092091B (zh) 电子机器设备
Rahman et al. Obstacle and fall detection to guide the visually impaired people with real time monitoring
US20170364159A1 (en) Monitoring
US10614693B2 (en) Dangerous situation notification apparatus and method
KR102032662B1 (ko) 장면 공간 모니터링을 통한 사람-컴퓨터 상호 작용
JP2020027496A (ja) 監視装置、監視システム、及びプログラム
WO2020116233A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2009217448A (ja) 画像情報を用いた人物追跡システム
JP2018008358A (ja) 制御装置、制御システム、および制御方法
Ghidoni et al. A distributed perception infrastructure for robot assisted living
Williams et al. Distributed smart cameras for aging in place
CN113497912A (zh) 通过语音和视频定位的自动取景
JP4569663B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017130104A (ja) 余裕度判定装置、余裕度判定方法および運転支援システム
Bulla et al. Low-cost automated navigation system for visually impaired people

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140617

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140630

R151 Written notification of patent or utility model registration

Ref document number: 5581770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250