JP7225659B2 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

情報処理装置、情報処理方法および情報処理プログラム Download PDF

Info

Publication number
JP7225659B2
JP7225659B2 JP2018192874A JP2018192874A JP7225659B2 JP 7225659 B2 JP7225659 B2 JP 7225659B2 JP 2018192874 A JP2018192874 A JP 2018192874A JP 2018192874 A JP2018192874 A JP 2018192874A JP 7225659 B2 JP7225659 B2 JP 7225659B2
Authority
JP
Japan
Prior art keywords
target user
unit
user
information
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018192874A
Other languages
English (en)
Other versions
JP2020059099A (ja
Inventor
一生 本郷
利充 坪井
俊介 矢島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to JP2018192874A priority Critical patent/JP7225659B2/ja
Priority to US17/281,739 priority patent/US20210394365A1/en
Priority to PCT/JP2019/038507 priority patent/WO2020075553A1/en
Priority to CN201980065547.0A priority patent/CN112996634B/zh
Publication of JP2020059099A publication Critical patent/JP2020059099A/ja
Application granted granted Critical
Publication of JP7225659B2 publication Critical patent/JP7225659B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F4/00Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body 
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Description

本開示の実施形態は、情報処理装置、情報処理方法および情報処理プログラムに関する。
近年、移動台車にマニピュレータが搭載されているというモバイルマニピュレータ式のロボットが提案されている。
例えば、特許文献1には、多関節マニピュレータを移動台車に搭載した移動ロボットにおいて、特に走行時または待機時の多関節マニピュレータが非作動時に周りの人間および物品に危害を与えないようにする移動ロボットが提案されている。
また、特許文献2には、物品を取得元から主体的に受け取り、制振制御により揺れを押さえて運び、届け先に確実に届けることを可能とする移動ロボットが提案されている。
特開2004-230509号公報 特開2007-160447号公報
しかしながら、上記の従来技術では、ユーザの身体情報を考慮して、ユーザが物体をより扱いやすいように当該物体を配置することができるとは限らない。
そこで、本開示では、ユーザが物体をより扱いやすいように当該物体を配置することができる情報処理装置、情報処理方法および情報処理プログラムを提案する。
上記の課題を解決するために、本開示にかかる一形態の情報処理装置は、物体を配布する配布対象のユーザである対象ユーザに関する身体情報に基づいて、前記対象ユーザに前記物体を配布する際における前記物体の配置位置を決定する決定部を有する。
図1は、本開示にかかる情報処理の一例(パターン1)を示す図である。 図2は、本開示の実施形態にかかるロボット装置を制御するための機能的構成を模式的に示す図である。 図3は、本開示の実施形態にかかる記憶部の一例を示す図である。 図4は、本開示の実施形態にかかる記憶部の一例を示す図である。 図5は、本開示にかかる情報処理の一例(パターン2)を示す図である。 図6は、本開示にかかる情報処理の一例(パターン3)を示す図である。 図7は、本開示にかかる情報処理の一例(パターン4)を示す図である。 図8は、本開示にかかる情報処理の一例(パターン5)を示す図である。 図9は、本開示の実施形態にかかるロボット装置に対する移動制御の一例を示す図である。 図10は、本開示にかかる機械学習の一例を概念的に示す図である。 図11は、本開示の実施形態にかかる指示装置を制御するための機能的構成を模式的に示す図である。 図12は、本開示の実施形態にかかる指示装置を制御するための機能的構成を模式的に示す図である。 図13は、本開示にかかる表示画面が表示する配置画像の一例を示す図である。 図14は、本開示の実施形態にかかる情報処理手順を示すフローチャートである。 図15は、ロボット装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
〔1.情報処理の概要〕
まず、図1を用いて、本開示にかかる情報処理の概要について説明する。図1は、本開示にかかる情報処理の一例(パターン1)を示す図である。本開示にかかる情報処理は、図1に示すロボット装置100によって行われる。すなわち、ロボット装置100は、本開示にかかる情報処理装置の一例である。なお、ロボット装置100の外観は、図1に示す外観に限定されない。
図1の例では、ロボット装置100は、カメラ102と、マイクロホン103と、出力部104と、マニピュレータ106と、駆動部107とを有する。カメラ102は、ロボット装置100の「目」に相当する処理部であり、物体を配布する配布対象のユーザである対象ユーザの撮像や、周辺環境の様子の撮像を行う。また、マイクロホン103は、ロボット装置100の「耳」に相当する処理部であり、音声の集音を行う。例えば、マイクロホン103は、対象ユーザの発話に応じて発話音声を集音する。また、出力部104は、ロボット装置100の「口」に相当する処理部であり、例えば、対象ユーザの発話に応じた応答メッセージを音声で出力する。なお、出力部104は、応答メッセージ等の所定の情報を音声ではなく、表示画面(例えば、ディスプレイ)に表示(出力)させることもできる。かかる場合、図1では不図示であるが、ロボット装置100は、例えば、胴体(「胸」に相当)に表示画面を有する。
マニピュレータ106は、ロボット装置100の「手」に相当する処理部であり、物体を把持し対象ユーザのところまで物体を移動させる際に用いられる。このため、マニピュレータ106は、移動部の一例である。駆動部107は、ロボット装置100の「脚」に相当する処理部であり、対象ユーザのところまで移動する際に駆動させられる。このため、駆動部107も移動部の一例といえる。図1の例では、駆動部107は、2つの車輪と、この2つの車輪を繋ぐ軸とによって構成されるが、駆動部107の構成は、図1の例に限定されない。
ここで、実施形態にかかる情報処理の前提について説明する。ユーザがレストラン等で食事をする場合を例に挙げると、数ある食器に対して、席を立たず、また、無理に体を動かしたりすることなく、座ったまま手の届く範囲だけで難なく食事できることが好ましい。例えば、注文内容によっては、料理が様々な形状の食器に盛られた状態で、かつ、非常に多くの食器が配膳されることになるが、食器の数が多い程、体を起こして遠くに手を伸ばさなければならないといった作業を必要とされる。このような作業を何度も繰り返すのは面倒である。
また、食器が複数存在する場合は、その中から、食べたい料理が盛られた食器を取り出す作業が必要になるが、このとき他の食器との干渉問題が生じるため、目的の食器を取り出す作業が困難になる場合がある。一例を示すと、食器間の隙間がほとんどない状態で食器が敷き詰められていると、他の食器が邪魔で目的の食器を取り出すことが困難になる場合がある。また、このような中に、ワイングラス等のように背丈の高い食器が存在すると、ワイングラスが置かれた位置によっては、目的の食器を取り出すことがより困難になる場合もある。さらに、腕を怪我している、身体をうまくかがめることができない等、身体に何らかの障害を有しているユーザによっては、上記のような作業がより困難になる。このため、ユーザは、難なく目的の食器を持てるような態様で食器が配置されることを望む。
上記のような問題を踏まえて、人間がとりうる動作を含めてシミュレーションし、操作容易性が最大化されるように物体(上記例では、食器)の配置位置を調整するということが求められる。
このような前提および問題を解消するために、実施形態にかかるロボット装置100は、以下の情報処理および情報処理に伴う動作を行う。具体的には、ロボット装置100は、物体を配布する配布対象のユーザである対象ユーザに関する身体情報を取得し、対象ユーザの身体情報に基づいて、対象ユーザに物体を配布する際における物体の配置位置を決定する。例えば、ロボット装置100は、対象ユーザの身体情報に基づく範囲であって対象ユーザが身体を動かすことのできる範囲に応じて、物体の配置位置を決定する。身体情報として、年齢、腕の長さ、利き腕、身体的障害、上半身を傾斜させることが可能な傾斜量を示す情報等が挙げられるが、これらに限定される必要はない。
以下では、図1の例を用いて、情報処理の一例を示す。図1の例を含め、以下の実施形態では、レストランSH1にて対象ユーザが食事する際を想定する。したがって、ロボット装置100は、物体として、食事(料理)が盛られた食膳や、食事に使用される器具(ナイフ、フォーク等)を、テーブルTに配膳する際における食器の配膳位置(配置位置の一例)を決定する。また、食膳および食事に使用される器具を合わせて、単に「食器」と表記する場合がある。また、図1の例では、食器が配られるユーザ(食事をするユーザ)を対象ユーザU11とする。また、図1の例では、配置位置を決定するための情報処理として、最も一般的なパターンであるパターン1の例を示す。
まず、ロボット装置100は、対象ユーザU11がテーブルTの席に着くと、対象ユーザU11の席にまで移動してゆき注文を取る。図1の例では、ロボット装置100は、メイン料理、付け合せ料理(パン)、付け合せ料理(コーヒー)の注文を受け付けたものとする。また、ロボット装置100は、各注文に対応する料理が盛られる食膳には、どのような食膳が使用され、各注文に対応する料理が食される場合にはどのような器具が使用されるのかをデータベース化して所有しているものとする。
また、ロボット装置100は、注文を受ける際にカメラ102で対象ユーザU1を撮像し、撮像によって得られた撮像情報に基づいて、対象ユーザU11の身体情報を特定する。そして、ロボット装置100は、特定した身体情報に基づき、食器の配膳位置に関して必要な配慮はあるか否かを判定する。図1の例では、ロボット装置100は、撮像情報に基づき対象ユーザU11は、年齢「20代」、腕の長さ「L11(cm)」、利き腕「右利き」を特定したものとする。また、ロボット装置100は、撮像情報に基づき、特に怪我の様子等が特定できなかったことから、対象ユーザU11は「健常者」であると判定したものとする。また、ロボット装置100は、対象ユーザU11は「健常者」であることから、食器の配膳位置に関して必要な配慮は無いと判定する。
なお、ロボット装置100は、撮像情報だけでなく、マイクロホン103によって集音された音声情報に基づいて、身体情報を特定することもできる。例えば、ロボット装置100は、対象ユーザU11が「右腕を怪我している」との発話を行った場合には、対象ユーザU11は右腕を怪我しているため「怪我人」であり、食器の配膳位置に関して必要な配慮は有りと判定する。
そして、ロボット装置100は、食器の配膳位置に関して必要な配慮は無いと判定したことに応じて、一般的なルールに乗っ取って配膳位置を決定する。メイン料理の食膳M1、付け合せ料理(パン)の食膳M2、付け合せ料理(コーヒー)の食膳M3、器具E1(ナイフ)、器具E2(フォーク)を配膳する際の配膳位置に関する一般的なルールは、テーブルTに対して食膳M1が中央、食膳M2が食膳M1の左側、食膳M3が食膳M1の右側、そして、器具E1が最も右側、器具E2が最も左側であろう。したがって、ロボット装置100は、食膳M1、食膳M2、食膳M3、器具E1、器具E2をこのような位置関係で配膳する際の細かな配置位置を決定する。なお、配膳する際の食膳同士の位置関係は、レストランSH1によって予め決められていることにより、ロボット装置100は、それを採用してもよい。
ロボット装置100は、対象ユーザU11の身体情報に基づく範囲であって、対象ユーザU11が身体を動かすことのできる範囲に応じて、食器の配膳位置を決定する。例えば、ロボット装置100は、対象ユーザU11の腕の長さが「L11(cm)」であるため、腕の長さ「L11(cm)」に基づく腕の可動範囲を特定し、特定した可動範囲内において、配膳位置を決定する。図1の例において、円弧状の点線に囲まれた領域R11-1は、右腕の可動範囲を示す。対象ユーザU11は、座っている状態では、どれだけ右腕を伸ばしても領域R11-1よりも外に届くことはできない。また、図1の例において、円弧状の点線に囲まれた領域R11-2は、左腕の可動範囲を示す。対象ユーザU11は、座っている状態では、どれだけ左腕を伸ばしても領域R11-2よりも外に届くことはできない。
そして、ロボット装置100は、このような範囲を特定したことにより、領域R11-1および領域R11-2を含む範囲内において、一般的なルールに乗っ取って、食器の配膳位置を決定する。具体的には、ロボット装置100は、図1に示すように、領域R11-1および領域R11-2を含む範囲内において、食膳M1が中央、食膳M2が食膳M1の左側、食膳M3が食膳M1の右側、器具E1が最も右側、器具E2が最も左側となるような配置位置を決定する。図1の例では、対象ユーザU11が「右利き」であるため、器具E1が最も右側、器具E2が最も左側と決定しているが、例えば、対象ユーザU11が「左利き」である場合には、器具E1が最も左側、器具E2が最も右側と決定する。
また、ロボット装置100は、食器の内容物に応じて、配膳位置を決定することもできる。例えば、食膳M3は、コーヒーカップであり、熱く危険なコーヒーが入れられている。このため、食膳M3が目の前に置かれると、危険な場合がある。したがって、ロボット装置100は、図1に示すように、領域R11-1内において食膳M3を少し遠めの位置とする配膳位置を決定する。
そして、ロボット装置100は、図1に示すような配膳位置を決定すると、実際にこの配膳位置に従って、配膳作業を行う。例えば、ロボット装置100は、食膳M1、食膳M2、食膳M3、器具E1、器具E2を1つずつ配膳する場合には、配膳順を決定し、決定した順に食器を配膳する配膳作業を行う。例えば、食膳M1を最も始めに配膳する場合には、ロボット装置100は、料理が盛られた食膳M1を把持し、テーブルTへと移動する。そして、ロボット装置100は、テーブルTにおいて、上記決定した配膳位置の通り、食膳M1を中央付近に配膳する。他の食膳についても順に配膳されるため、説明は省略する。
このように、実施形態にかかるロボット装置100は、物体を配布する配布対象のユーザである対象ユーザに関する身体情報を取得し、対象ユーザの身体情報に基づいて、対象ユーザに物体を配布する際における物体の配置位置を決定する。これにより、ロボット装置100は、ユーザの身体情報を考慮して、ユーザが物体をより扱いやすいように当該物体を配置することができる。また、図1の例に従えば、ロボット装置100は、ユーザが食器を扱いやすいように食器を配置することができる。また、この結果、ロボット装置100は、ユーザに対して快適に安心して食事を楽しめるようにすることができる。
なお、図1の例では、実施形態にかかる情報処理は、ロボット装置100によって行われるものとして説明したが、実際には、図2に示す制御部109によって、かかる情報処理は行われる。したがって、制御部109(または、制御部109に相当する装置)が本開示にかかる情報処理装置と言い換えることもできる点を断っておく。
〔2.ロボット装置の構成〕
次に、図2を用いて、実施形態にかかるロボット装置100の構成について説明する。図2は、本開示の実施形態にかかるロボット装置100を制御するための機能的構成を模式的に示す図である。図2に示すように、ロボット装置100は、通信部101と、カメラ102と、マイクロホン103と、出力部104と、距離センサ105と、マニピュレータ106と、駆動部107と、記憶部108と、制御部109とを有する。
(通信部101について)
通信部101は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部101は、ネットワークと有線または無線で接続され、例えば、指示装置50との間で情報の送受信を行う。
(カメラ102について)
カメラ102は、ロボット装置100の「目」に相当する処理部であり、物体を配布する配布対象のユーザである対象ユーザの撮像や、周辺環境の様子の撮像を行う。例えば、カメラ102は、対象ユーザから注文を受ける際に、対象ユーザの全身の撮像を行う。また、カメラ102は、撮像によって得られた撮像情報を図示しない記憶部に記憶することができる。また、カメラ102は、撮像情報を制御部109に送信する。
(マイクロホン103)
マイクロホン103は、ロボット装置100の「耳」に相当する処理部であり、音声の集音を行う。例えば、マイクロホン103は、対象ユーザの発話に応じて発話音声を集音する。例えば、マイクロホン103は、対象ユーザから注文を受ける際に、対象ユーザによって発話された音声を集音する。また、マイクロホン103は、集音によって得られた発話情報を図示しない記憶部に記憶することができる。また、マイクロホン103は、撮像情報を制御部109に送信する。
(出力部104について)
出力部104は、ロボット装置100の「口」に相当する処理部であり、例えば、対象ユーザの発話に応じた応答メッセージを音声で出力する。なお、出力部104は、応答メッセージ等の所定の情報を音声ではなく、表示画面(例えば、ディスプレイ)に表示(出力)させることもできる。
(距離センサ105)
距離センサ105は、ロボット装置100から物体までの距離を測るセンサであり、物体までの距離を測って制御部109に送信する。
(マニピュレータ106)
マニピュレータ106は、ロボット装置100の「手」に相当する処理部であり、物体を把持し対象ユーザのところまで物体を移動させる際に用いられる。
(駆動部107について)
駆動部107は、ロボット装置100の「脚」に相当する処理部であり、対象ユーザのところまで移動する際に駆動させられる。なお、制御部109は、駆動部107を制御することにより、ロボット装置100を任意の方向(任意の目的地)に移動させる。
(記憶部108について)
記憶部108は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部108は、記憶部108aと、記憶部108bとを有する。
(記憶部108aについて)
記憶部108aは、物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報を記憶する。例えば、後述する特定部109aは、対象ユーザの身体に関する身体情報を特定し、特定した身体情報を記憶部108aに格納する。ここで、図3に本開示の実施形態にかかる記憶部108aの一例を示す。図3の例では、記憶部108aは、「ユーザID」、「身体情報」といった項目を有する。
「ユーザID」は、対象ユーザを識別する識別情報を示す。例えば、対象ユーザが端末装置(例えば、スマートフォン等)を有しており、ロボット装置100と通信可能な状態にある場合には、「ユーザID」は、対象ユーザの端末装置を識別する識別情報であってもよい。「身体情報」は、対象ユーザの身体に関する身体情報であって、各種センサ(例えば、カメラ102やマイクロホン103)によって取得された情報に基づき特定された身体情報を示す。なお、図3の例では、身体情報として「UDA11」といった概念的な記号を用いているが、実際には、例えば、身体の状態を示すテキスト情報等である。
すなわち、図3の例では、ユーザID「U11」によって識別される対象ユーザ(対象ユーザU11)の身体情報が「UDA11」である例を示す。
(記憶部108bについて)
記憶部108bは、対象ユーザに対して決定された配置位置を示す情報を記憶する。例えば、後述する決定部109cは、対象ユーザに対して物体の配置位置を決定し、決定した配置位置を示す情報を記憶部108bに格納する。ここで、図4に本開示の実施形態にかかる記憶部108bの一例を示す。図4の例では、記憶部108bは、「ユーザID」、「日付」、「配置情報」といった項目を有する。
「ユーザID」は、対象ユーザを識別する識別情報を示す。例えば、対象ユーザが端末装置(例えば、スマートフォン等)を有しており、ロボット装置100と通信可能な状態にある場合には、「ユーザID」は、対象ユーザの端末装置を識別する識別情報であってもよい。「日付」は、配置位置の決定が行われた日付を示す。図1の例では、「日付」は、対象ユーザがレストランSH1にて食事を行った日付ともいえる。「配置情報」は、対象ユーザに対して決定された配置位置を示す情報である。なお、図4の例では、配置情報として「HDA11-1」といった概念的な記号を用いているが、実際には、例えば、配置位置を示す画像情報等である。
すなわち、図4の例では、ユーザID「U11」によって識別される対象ユーザ(対象ユーザU11)について、日付「2018年9月25日」に、「HDA11-1」が示すような配置位置が決定された例を示す。なお、記憶部108bは、配置位置に関して対象ユーザから受け付けた指示を示す指示情報も記憶することができる。
(制御部109について)
図2に戻り、制御部109は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、ロボット装置100内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部109は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
図2に示すように、制御部109は、特定部109aと、取得部109bと、決定部109cと、出力制御部109dと、受付部109eと、動作制御部109fと、学習部109gと、実行部109hとを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部109の内部構成は、図2に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部109が有する各処理部の接続関係は、図2に示した接続関係に限られず、他の接続関係であってもよい。
(特定部109aについて)
特定部109aは、物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報の特定を行う。特定部109aによって特定される身体情報としては、例えば、年齢、腕の長さ、利き腕、身体的障害、上半身を傾斜させることが可能な傾斜量を示す情報等が挙げられるが、これらに限定されない。例えば、特定部109aは、各種センサ(例えば、カメラ102やマイクロホン103)によって取得された情報に基づいて、対象ユーザの身体情報を特定する。なお、特定部109aは、対象ユーザの身体的特徴あるいは身体的特性を特定することで、特定した身体的特徴あるいは身体的特性を示す身体情報を取得する、と言い換えることもできる。図1の例では、特定部109aは、カメラ102によって対象ユーザU1が撮像された撮像情報に基づいて、対象ユーザU11の身体的特徴として、年齢「20代」、腕の長さ「L11(cm)」、利き腕「右利き」を特定している。
また、特定部109aは、特定した身体的特徴に基づいて、対象ユーザの健康状態の特定も行う。図1の例では、特定部109aは、撮像情報に基づき、特に怪我の様子等が特定できなかったことから、対象ユーザU11の健康状態として「健常者」であると特定する。一方、特定部109aは、撮像情報に基づき、怪我の様子等が認識できた場合には、対象ユーザU11の健康状態として「怪我人」(あるいは、右腕を怪我している怪我人等)を特定(判定)する。
なお、特定部109aは、撮像情報だけでなく、マイクロホン103によって集音された音声情報も用いて、身体情報を特定することができる。例えば、特定部109aは、対象ユーザU11が「右腕を怪我している」との発話を行った場合には、対象ユーザU11は「右腕を怪我している」といった身体的障害を有すると特定する。また、かかる場合、特定部109aは、対象ユーザU11の健康状態として「怪我人」(あるいは、右腕を怪我している怪我人等)を特定(判定)する。なお、実施形態にかかる健康状態は、身体情報と解せるものであるとする。
また、特定部109aは、身体情報の特定だけでなく、物体の状態を特定することもできる。例えば、特定部109aは、物体の状態として、物体の温度、物体の形状、物体のサイズ、物体の内容物等を特定する。図1のように、食事に合わせて食器の配膳位置を決定する場合には、特定部109aは、例えば、対象ユーザからの注文に基づいて、料理毎に当該料理に用いられる食膳を特定する。そして、特定部109aは、特定した食膳について、料理が入れられた場合の食膳の温度、食膳の形状、食膳のサイズ、食膳の内容物(すなわち、料理)を特定する。料理毎に、どのような食膳が用いられるかが対応付けて記憶部に記憶されている場合には、特定部109aは、かかる記憶部を参照することにより、食膳、食膳の温度、食膳の形状、食膳のサイズを特定する。また、特定部109aは、上記のように特定した情報を取得部109bに送信する。
また、特定部109aは、カメラ102やマイクロホン103だけでなく、各種のセンサによって取得されたセンサ情報に基づいて、身体情報や物体の状態を特定してもよい。かかるセンサとしては、赤外線カメラ、サーモグラフィ、ToF(Time of Flight)センサが挙げられる。これらのセンサは、ロボット装置100の頭部に搭載されることが一般的であるが、もちろん他の部位(例えば、マニピュレータ106等)に搭載されてもよい。また、特定部109aは、例えば、ロボット装置100の周辺環境において、ロボット装置100と通信可能なセンサ(例えば、レストランSH1に設置される防犯カメラ)が設置されている場合には、かかるセンサによって取得された情報を用いることもできる。
(取得部109bについて)
取得部109bは、物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報を取得する。例えば、取得部109bは、身体情報として、年齢、腕の長さ、利き腕、身体的障害、上半身を傾斜させることが可能な傾斜量を示す情報のうち、少なくとも1つを取得する。例えば、取得部109bは、記憶部108bから身体情報を取得する。また、取得部109bは、特定部109aから直接、身体情報を取得してもよい。また、取得部109bは、特定部109aによって特定された健康状態や、物体の状態も取得する。また、取得部109bは、身体情報として、対象ユーザの外観および対象ユーザに関する身体情報の関係性を学習することにより生成されたモデル(後述するモデルMD1)によって出力された身体情報を取得する。なお、特定部109aが取得部109bを兼ねてもよい。
(決定部109cの概要(1))
決定部109cは、対象ユーザの身体情報に基づいて、対象ユーザに前記物体を配布する際における物体の配置位置を決定する。具体的には、決定部109cは、身体情報に基づく範囲であって対象ユーザが身体を動かすことのできる範囲に応じて、物体の配置位置を決定する。上記の通り、特定部109aは、対象ユーザの身体に関する身体情報(身体的特徴、身体的特性、健康状態)の特定を行う。そして、決定部109cは、特定部109aにより特定された身体情報に基づいて、対象ユーザに前記物体を配布する際における物体の配置位置を決定する。
(決定処理パターン1について)
まず、特定部109aにより対象ユーザが、怪我等の身体障害を有しておらず健常者であると特定(判定)された場合の決定処理を決定処理パターン1として説明する。決定処理パターン1については、図1を用いて既に説明済みのため、一部説明を省略する。
なお、以下では、状況に応じて決定処理をパターン分けし、パターン毎に決定処理の一例を示す。また、図1で示したように、決定処理のシチュエーションは、食事に合わせて食器の配膳位置を決定する場合であるものとする。また、各パターンでは、対象ユーザとして、主に対象ユーザU11を用いるが、説明の便宜上、対象ユーザU11に対して特定される身体情報が異なっている点、予め断っておく。
特定部109aは、撮像によって得られた撮像情報に基づいて、対象ユーザU11の身体情報を特定する。図1の例では、特定部109aは、撮像情報に基づき対象ユーザU11は、年齢「20代」、腕の長さ「L11(cm)」、利き腕「右利き」を特定したものとする。また、特定部109aは、撮像情報に基づき、特に怪我の様子等が特定できなかったことから、対象ユーザU11は「健常者」であることを特定したものとする。
かかる場合、まず、決定部109cは、対象ユーザU11は「健常者」であることから、食器の配膳位置に関して必要な配慮は無いと判定する。次に、決定部109cは、食器の配膳位置に関して必要な配慮は無いと判定したことに応じて、一般的なルールに乗っ取って配膳位置を決定する。メイン料理の食膳M1、付け合せ料理(パン)の食膳M2、付け合せ料理(コーヒー)の食膳M3、器具E1(ナイフ)、器具E2(フォーク)を配膳する際の配膳位置に関する一般的なルールは、テーブルTに対して食膳M1が中央、食膳M2が食膳M1の左側、食膳M3が食膳M1の右側、そして、器具E1が最も右側、器具E2が最も左側であろう。したがって、決定部109cは、食膳M1、食膳M2、食膳M3、器具E1、器具E2をこのような位置関係で配膳する際の細かな配置位置を決定する。
例えば、決定部109cは、対象ユーザU11の身体情報に基づく範囲であって、対象ユーザU11が身体を動かすことのできる範囲に応じて、食器の配膳位置を決定する。例えば、決定部109cは、対象ユーザU11の腕の長さが「L11(cm)」であるため、腕の長さ「L11(cm)」に基づく腕の可動範囲を特定し、特定した可動範囲内において、配膳位置を決定する。図1の例では、決定部109cは、右腕の可動範囲として領域R11-1を特定し、左腕の可動範囲として領域R11-2を特定する。つまり、対象ユーザU11は、座っている状態では、どれだけ右腕を伸ばしても領域R11-1よりも外に届くことはできない。また、対象ユーザU11は、座っている状態では、どれだけ左腕を伸ばしても領域R11-2よりも外に届くことはできない。
そして、決定部109cは、このような範囲(領域)を特定したことにより、領域R11-1および領域R11-2の双方を含む範囲内において、一般的なルールに乗っ取って、食器の配膳位置を決定する。具体的には、決定部109cは、図1に示すように、領域R11-1および領域R11-2を含む範囲内において、食膳M1が中央、食膳M2が食膳M1の左側、食膳M3が食膳M1の右側、器具E1が最も右側、器具E2が最も左側となるような配置位置を決定する。また、図1の例では、決定部109cは、対象ユーザU11が「右利き」であるため、器具E1が最も右側、器具E2が最も左側と決定しているが、例えば、対象ユーザU11が「左利き」である場合には、器具E1が最も左側、器具E2が最も右側と決定する。
(決定処理パターン2について)
次に、特定部109aにより対象ユーザが、怪我等の身体障害を有していると特定(判定)された場合の決定処理を決定処理パターン2として説明する。図5は、本開示にかかる情報処理の一例(パターン2)を示す図である。
特定部109aは、撮像によって得られた撮像情報に基づいて、対象ユーザU11の身体情報を特定する。図5の例では、特定部109aは、撮像情報に基づき対象ユーザU11は、年齢「20代」、腕の長さ「L11(cm)」、利き腕「右利き」を特定したものとする。また、特定部109aは、撮像情報に基づき、対象ユーザU11は「右腕を怪我している」ことを特定したものとする。なお、特定部109aは、撮像情報だけでなく、マイクロホン103によって集音された音声情報に基づいて、身体情報を特定することもできる。例えば、特定部109aは、対象ユーザU11が「右腕を怪我している」との発話を行った場合には、対象ユーザU11は「右腕を怪我している」ことを特定する。
かかる場合、まず、決定部109cは、対象ユーザU11は「怪我人」(身体障害を有する)であることから、食器の配膳位置に関して必要な配慮が有ると判定する。次に、決定部109cは、食器の配膳位置に関して必要な配慮が有ると判定したことに応じて、可能な範囲で一般的なルールは考慮するが、食器の配膳位置に関して必要な配慮の方を優先して、配膳位置を決定する。また、ここでは、対象ユーザU11は、右腕に包帯を巻いている等により、右腕を自由に動かすことができないものとする。
ここで、図5の例では、図1と同様に、対象ユーザU11の右腕の可動範囲は、領域R11-1内であり、左腕の可動範囲は領域R11-2内である。このような状態において、領域R11-1内のうち領域R11-2を含まない領域(食膳M3および器具E1が置かれる領域)内は、右腕のみに対応する領域であり、対象ユーザU11はこの領域内に左腕を届かすことはできない。そうすると、このような領域に、食膳M3および器具E1が置かれると、対象ユーザU11は、右腕で食膳M3および器具E1を手に取る必要があるが、右腕を怪我している状態ではこのような動作が不可能である。つまり、対象ユーザU11は、右腕を怪我している場合、図1のように食器が配膳されると、食膳M3および器具E1を手に取ることができなくなる。
このようなことから、決定部109cは、図5に示すような配置位置を決定する。具体的には、決定部109cは、対象ユーザU11の腕の長さが「L11(cm)」であるため、腕の長さ「L11(cm)」に基づいて、右腕の可動範囲として領域R11-1を特定し、左腕の可動範囲として領域R11-2を特定する。このように特定したうえで、決定部109cは、右腕の可動範囲である領域R11-1は考慮せず、左腕の可動範囲である領域R11-2内において、食器の配膳位置を決定する。例えば、決定部109cは、図5に示すように、領域R11-2内において、食膳M1が中央手前、食膳M2が食膳M1に対して左奥、食膳M3が食膳M1に対して右奥となるような配置位置を決定する。また、このとき決定部109cは、食器を置く際の食器の向きも決定する。例えば、決定部109cは、コーヒーカップである食膳M3の取っ手が左側に来るような向きを食膳M3の向きとして決定する。
また、決定部109cは、図5に示すように、領域R11-2内において、器具E1および器具E2が左腕手前となるような配置位置を決定する。図1の例では、一般的なルールに従って、器具E1が最も右側、器具E2が最も左側と決定されていたが、ここでは決定部109cは、領域R11-2内において、器具E2の右の位置を器具E1の配膳位置として決定する。
このような配置位置とすることで、対象ユーザU11は、全ての食器を左腕で難なく扱うことができるようになる。また、対象ユーザU11は、無理に怪我している右腕を使う必要がなくなるため快適に食事を行うことができるようになる。すなわち、ロボット装置100は、対象ユーザが身体障害を有している場合であっても、食事を楽しめるよう最適な配膳位置を決定することができる。
(決定部109cの概要(2))
また、決定部109cは、物体の状態に基づいて、物体の配置位置を決定する。例えば、決定部109cは、物体の状態と、対象ユーザの身体的構造とに基づいて、物体の配置位置を決定する。例えば、決定部109cは、物体の状態として、物体の温度、前記物体の形状、物体のサイズ、物体の内容物のうちの少なくとも1つに基づいて、物体の配置位置を決定する。この点に対応する決定処理パターン3および4について説明する。
(決定処理パターン3について)
特定部109aは、身体情報の特定だけでなく、物体の状態を特定することもできる点、既に説明した。例えば、特定部109aは、対象ユーザからの注文に基づいて、料理毎に当該料理に用いられる食膳を特定するとともに、特定した食膳について、料理が入れられた場合の食膳の温度(料理そのものの温度でもよい)、食膳の形状、食膳のサイズ、食膳の内容物(すなわち、料理)を特定する。
ここでは、特定部109aにより、食膳の内容物(すなわち、料理)が高温であることが特定された場合の決定処理を決定処理パターン3として説明する。図6は、本開示にかかる情報処理の一例(パターン3)を示す図である。図6の例では、食膳M1~M3、器具E1および器具E2に加えて、さらに高温の汁物料理が注文されたことにより、この汁物料理の食膳M4がさらに配置されるものとする。なお、図6では、対象ユーザU11が右腕を怪我している場合の決定処理(パターン2)の中で、決定処理パターン3も併存して行われる例を示すが、例えば、対象ユーザU11が健常者の場合(パターン1)であっても、決定処理パターン3自体の内容に変わりはない。
特定部109aは、撮像によって得られた撮像情報に基づいて、対象ユーザU11の身体情報を特定する。図6の例では、特定部109aは、撮像情報に基づき対象ユーザU11は、年齢「20代」、腕の長さ「L11(cm)」、利き腕「右利き」を特定したものとする。また、特定部109aは、撮像情報に基づき、対象ユーザU11は「右腕を怪我している」ことを特定したものとする。
かかる場合、決定部109cは、右腕の可動範囲である領域R11-1は考慮せず、左腕の可動範囲である領域R11-2内において、食器の配膳位置を決定する。例えば、決定部109cは、図5の例と同様に、領域R11-2内において、食膳M1が中央手前、食膳M2が食膳M1に対して左奥、食膳M3が食膳M1に対して右奥となるような配置位置を決定する。
ここで、例えば、熱く湯気が大量に出るような料理や、鉄板料理等で肉汁が飛ぶような料理を配置する際に、対象ユーザU1の手元に配置するとその他の料理へ対して手を伸ばそうとする際に熱くて困ってしまうという状況が想定される。したがって、決定部109cは、領域R11-2内において、対象ユーザU1から所定距離以上離れた位置を食膳M4の配膳位置として決定する。図6の例では、決定部109cは、領域R11-2の境界線付近の位置を食膳M4の配膳位置として決定する。例えば、決定部109cは、図6に示すように、食膳M1~M3、器具E1およびE2の配置位置を決定したうえで、領域R11-2内の残りのスペースに含まれる位置であって、領域R11-2の境界線付近の位置を食膳M4の配膳位置として決定する。
このような配置位置とすることで、対象ユーザU11は、安全に食事を行うことができるようになる。すなわち、ロボット装置100は、対象ユーザが安全に食事を行うことができる環境を提供することができる。
(決定処理パターン4について)
また、特定部109aは、身体情報の特定だけでなく、物体の状態を特定することもできる点、既に説明した。例えば、特定部109aは、対象ユーザからの注文に基づいて、料理毎に当該料理に用いられる食膳を特定する。ここでは、特定部109aにより、食膳の一つとして背丈の高いワイングラスが特定された場合の決定処理を決定処理パターン4として説明する。図7は、本開示にかかる情報処理の一例(パターン4)を示す図である。具体的には、図7の例では、特定部109aは、対象ユーザU11からの注文に基づいて、食膳M1および食膳M2、器具E1、器具E2、器具E3(ワイングラス)を特定したものとする。なお、図7では、対象ユーザU11が右腕を怪我している場合の決定処理(パターン2)の中で、決定処理パターン4も併存して行われる例を示すが、例えば、対象ユーザU11が健常者の場合(パターン1)であっても、決定処理パターン4自体の内容に変わりはない。
特定部109aは、撮像によって得られた撮像情報に基づいて、対象ユーザU11の身体情報を特定する。図7の例では、特定部109aは、撮像情報に基づき対象ユーザU11は、年齢「20代」、腕の長さ「L11(cm)」、利き腕「右利き」を特定したものとする。また、特定部109aは、撮像情報に基づき、対象ユーザU11は「右腕を怪我している」ことを特定したものとする。
かかる場合、決定部109cは、右腕の可動範囲である領域R11-1は考慮せず、左腕の可動範囲である領域R11-2内において、食器の配膳位置を決定する。例えば、決定部109cは、図5の例と同様に、領域R11-2内において、食膳M1が中央手前、食膳M2が食膳M1に対して左奥、器具E1および器具E2が左腕手前となるような配置位置を決定する。
ここで、背丈の高いワイングラスのようなものについては、手の近くにありすぎると肘が当たってしまうといった不慮の事故が生じるリスクがある。したがって、決定部109cは、対象ユーザU11の身体的構造に基づいて、例えば、対象ユーザU11が左腕を伸ばした場合に、左腕の可動範囲である領域R11-2内において左肘が位置する箇所を算出する。このような箇所に、ワイングラスである器具E3が配置されてしまった場合、不慮の事故が生じるリスクがあるため、決定部109cは、領域R11-2内において左肘が位置する箇所を除く箇所、言い換えれば、領域R11-2内において左肘が位置しない箇所を器具E3の配膳位置として決定する。例えば、決定部109cは、図7に示すように、食膳M1およびM3、器具E1およびE2の配置位置を決定したうえで、領域R11-2内の残りのスペースに含まれる位置であって、左肘がこない位置を器具E3の配膳位置として決定する。
なお、背丈の高い器具E3の後ろに別の食器が配置された場合、対象ユーザはその食器を手に取る際に器具E3を倒してしまうリスクがある。したがって、決定部109cは、この点も考慮して、配膳位置を決定することができる。例えば、決定部109cは、食膳M1や食膳M2の前の位置を器具E3の配置位置と決定することなく、図7に示すよう、後ろに他の食器がこないような位置を器具E3の配置位置として決定する。
このような配置位置とすることで、対象ユーザU11は、安全に食事を行うことができるようになる。すなわち、ロボット装置100は、対象ユーザが安全に食事を行うことができる環境を提供することができる。
(決定部109cの概要(3))
また、決定部109cは、身体情報に基づく範囲であって対象ユーザが身体を動かすことのできる範囲に応じて、物体の配置位置を決定する。例えば、決定部109cは、対象ユーザが複数存在する場合には、複数の対象ユーザ間の関係性に基づいて、物体の配置位置を決定する。例えば、決定部109cは、関係性の中で上位の立場にある対象ユーザである上位ユーザの身体情報と、関係性の中で下位の立場にある対象ユーザである下位ユーザの身体情報とに基づいて、物体の配置位置を決定する。具体的には、決定部109cは、上位ユーザが身体を動かすことのできる範囲のうち、下位ユーザが身体を動かすことのできる範囲を除く範囲内において、物体の配置位置を決定する。この点に対応する決定処理パターン5について説明する。
(決定処理パターン5について)
図8は、本開示にかかる情報処理の一例(パターン5)を示す図である。まず、複数の対象ユーザ間の関係性としては、親子関係、介助・介護関係等がある。親子関係の中では、親(保護者)が子(幼児)に対して、上位の立場にあり、子(幼児)が親(保護者)に対して、下位の立場にある。また、介助・介護関係の中では、介助者が介護者に対して、上位の立場にあり、介護者が介助者に対して、下位の立場にある。例えば、特定部109aは、対象ユーザが複数存在する場合には、撮像によって得られた撮像情報に基づいて、この複数の対象ユーザ間の関係性を特定(推測)する処理も行うことができる。なお、このような処理は、特定部109a以外の処理部によって行われてもよい。なお、特定部109aは、集音によって得られた音声情報に基づいて、この複数の対象ユーザ間の関係性を特定(推測)してもよい。
かかる例では、特定部109aは、連れ合って複数の対象ユーザが来店したことにより、この複数の対象ユーザの関係性を特定する。例えば、大人の対象ユーザU11と、幼児の対象ユーザU12が連れ合って来店し、テーブルTに着いたとする。かかる場合、特定部109aは、その様子や会話の内容に基づいて、対象ユーザU11と対象ユーザU12との関係性を特定する。例えば、特定部109aは、対象ユーザU11と対象ユーザU12とは親子関係にあり、対象ユーザU11が上位の立場である親、対象ユーザU12が下位の立場である子と特定したとする。
また、このような状態において、特定部109aは、撮像によって得られた撮像情報に基づいて、対象ユーザU11およびU12の身体情報を特定する。図8の例では、特定部109aは、撮像情報に基づき対象ユーザU11は、年齢「20代」、腕の長さ「L11(cm)」、利き腕「右利き」を特定したものとする。また、特定部109aは、撮像情報に基づき対象ユーザU12は、年齢「2歳」、腕の長さ「L12(cm)」、利き腕「右利き」を特定したものとする。また、特定部109aは、撮像情報に基づき、特に怪我の様子等が特定できなかったことから、対象ユーザU11およびU12は「健常者」であることを特定したものとする。また、図8の例では、特定部109aは、対象ユーザU11からの注文に基づいて、図1と同様に、食膳M1~M3、器具E1、器具E2を配膳することを特定したものとする。
かかる場合、決定部109cは、対象ユーザU11の身体情報に基づく範囲であって、対象ユーザU11が身体を動かすことのできる範囲、および、対象ユーザU12の身体情報に基づく範囲であって、対象ユーザU12が身体を動かすことのできる範囲に応じて、食器の配膳位置を決定する。図8の例では、決定部109cは、対象ユーザU11について、右腕の可動範囲として領域R11-1を特定し、左腕の可動範囲として領域R11-2を特定する。また、決定部109cは、対象ユーザU12について、右腕の可動範囲として領域R12-1を特定し、左腕の可動範囲として領域R12-2を特定する。
対象ユーザU12は「2歳」(幼児)であるため、対象ユーザU12が手の届く範囲、すなわち、領域R12-1および領域R12-2を含む範囲内に、料理が盛られた食器が置かれると、対象ユーザU12が熱い食器に触れてしまったり、食器を倒してしまったりする等のリスクが高まる。このようなことから、決定部109cは、対象ユーザU11の手は届く範囲であるが、対象ユーザU12の手は届かない範囲内において、配置位置を決定する。具体的には、決定部109cは、対象ユーザU11の手が届く範囲である領域R11-1および領域R11-2を含む範囲のうち、対象ユーザU12の手が届く範囲である領域R12-1および領域R12-2を含む範囲を除く範囲である領域Rx内において、配膳位置を決定する。対象ユーザU12は、領域Rx内に手を届かせることはできない。
例えば、決定部109cは、図8に示すように、領域Rx内において、食膳M1が中央、食膳M2が食膳M1の左側、食膳M3が食膳M1の右側、隣り合う器具E1および器具E2が対象ユーザU11の手前となるような配置位置を決定する。
このような配置位置とすることで、対象ユーザU12が火傷したり、食器を倒したり落としたりするリスクがなくなる。また、これにより、対象ユーザU11のストレスが軽減される。すなわち、ロボット装置100は、対象ユーザが安全かつ快適に食事を楽しめる配膳位置を決定することができる。
なお、特定部109aは、対象ユーザに幼児等の自分の意思で身体を自由に動かせないようなユーザが含まれる場合には、器具の1つにストローを決定したり、ストローが使用される際には、例えば、カップに蓋をかぶせたうえでそこにストローを差すといった、器具の使用態様を決定する。また、この処理は決定部109cによって行われてもよい。
(その他の決定処理)
さて、ここまで、5つのパターンの決定処理について説明してきたが、決定部109cは、これらのパターン以外の決定処理を行うこともできる。以下では、この点について説明する。上記例では、決定部109cが、物体の配置位置を決定する例を示したが、決定部109cは、物体に対する対象ユーザの操作性に基づいて、物体同士の位置関係を決定し、決定した位置関係に基づいて、配置位置を決定してもよい。
例えば、食器が隙間なく並べられていると、健常者であっても食器を手に取るのは困難な場合がある。これは、食器が隙間なく並べられているため、食器と食器の間に指や手を入れることができないためである。このような場合、対象ユーザの手のサイズが予測できたとすると、予測した手のサイズに合わせて、隙間ができるよう食器と食器との位置関係を決定し、この位置関係に基づいて、配置位置を決定することが有用である。また、対象ユーザの手のサイズを予測不可能な場合であっても、例えば、一般的な手のサイズに合わせて、隙間ができるよう食器と食器との位置関係を決定することができる。
このようなことから、決定部109cは、図1の例を用いると、対象ユーザU11について予測された手のサイズに基づいて、食膳M1~M3との位置関係として、食膳M1、M2、M3間でどれだけの隙間サイズ(隙間幅)が必要であるかを決定(算出)する。そして、決定部109cは、決定した隙間サイズ(隙間幅)以上の隙間サイズを確保したうえで、図1に示すような配置位置を決定する。なお、決定部109cは、例えば、対象ユーザU11が撮像された撮像情報に基づいて、手のサイズを算出することができるが、この例に限らず手のサイズの算出には任意の手法が用いられてよい。
なお、食器間の隙間を考慮せず、テーブルTに食器を単純に並べるだけであれば、人間の手の器用さには劣るマニピュレータ106(ロボットハンド)であろうとも容易である。例えば、マニピュレータ106は、テーブルTの端から順に食器を並べることによって、隙間なく食器を並べることが出来てしまう。しかしながら、人間の手の器用さには劣るマニピュレータ106が、決定部109cにより決定された隙間サイズで食器をテーブルTに並べるのは困難な場合がある。このような場合、後述する実行部109hは、決定部109cにより決定された隙間サイズで食器がテーブルTに並べられた場合、対象ユーザU11は容易に食器を把持可能であるか否かを判断するためのシミュレーションを行う。そして、例えば、シミュレーション結果が、対象ユーザU11は容易に食器を把持可能でないことを示す場合には、決定部109cは、隙間サイズを算出し直す。
また、決定部109cは、対象ユーザの履歴情報に基づいて、配置位置を決定してもよい。例えば、対象ユーザについて特定された身体情報を記憶部108aに記憶される。このため、対象ユーザが過去に来店した際に特定された身体情報が記憶部108aに記憶されている場合には、決定部109cは、その過去の身体情報に基づいて、配置位置を決定してもよい。
また、記憶部108bには、対象ユーザ毎に、当該対象ユーザに対して決定された配置位置を示す配置情報が記憶される。したがって、決定部109cは、今回新たに身体情報に基づき配置位置を決定するのではなく、記憶部108bを参照し、過去に決定されている配置位置を採用してもよいし、過去に決定されている配置位置を微調整したものを今回の配置位置として決定してもよい。
また、決定部109cは、機械学習による学習結果(モデル)を用いて、配置位置を決定することもできる。この点については後述する。また、決定部109cは、特定部109aによる特定処理(決定処理)も行ってよい。例えば、決定部109cは、対象ユーザの身体情報に基づいて、対象ユーザに配布される物体(食器)、または、対象ユーザに配布される物体が使用される際の使用態様(使用方法)を決定(特定)してもよい。
(出力制御部109dについて)
出力制御部109dは、決定部109cにより決定された配置位置を示す配置情報をユーザに出力(表示)するための出力制御を行う。例えば、出力制御部109dは、決定部109cにより決定された配置位置を示す配置情報をユーザの端末装置に出力(表示)するための出力制御を行う。例えば、ロボット装置100が表示画面(ディスプレイ)を有する場合には、出力制御部109dは、決定部109cにより決定された配置位置を示す配置情報を、かかる表示画面に表示させる。図1の例を用いて説明すると、出力制御部109dは、対象ユーザU11に対して配膳位置が決定されると、まさに図1に示すような概念図(配膳位置に従って、テーブルTの上に食事が盛られた食膳や器具が置かれた様子の図)を表示画面に表示させる。
また、例えば、レストランSH1が対象ユーザに所定の端末装置として、指示装置50を貸し出す場合には、出力制御部109dは、指示装置50の表示画面に配置情報を表示させてもよい。この場合、指示装置50は、対象ユーザによって利用される情報処理装置である。指示装置50は、例えば、スマートフォンや、タブレット型端末や、ノート型PC(Personal Computer)や、デスクトップPCや、携帯電話機や、PDA(Personal Digital Assistant)等である。本実施形態では、指示装置50は、タブレット型端末であるものとする。
決定部109cは、物体を配布する際の物体の配置位置に関する指示(あるいは、配置位置に関する提案)が対象ユーザから受け付けられた場合には、この指示(提案)の内容に基づいて、配置位置を決定することもできる。指示装置50は、指示の内容を示す指示情報の入力を受け付けるために対象ユーザに貸し出されるものでもある。指示装置50の構成については後述する。
(受付部109eについて)
受付部109eは、対象ユーザに物体を配布する際の物体の配置位置に関する指示(あるいは、配置位置に関する提案)を、対象ユーザから受け付ける。例えば、決定部109cにより決定された配置位置は、対象ユーザが本当に希望する配置位置であるとは限らない。したがって、決定部109cにより決定された配置位置をロボット装置100のディスプレイや、指示装置50の表示画面(表示画面53a)に表示させることにより、決定された配置位置で物体が配置された際の様子を対象ユーザに確認させることや、確認結果に基づくフィードバックを受け付けることは有用である。例えば、確認結果に基づくフィードバックを受け付けることにより、ロボット装置100は、対象ユーザの嗜好(例えば、配置の嗜好)を認識することができ、また、対象ユーザとのコミュニケーションを活性化させることもできる。
このようなことから、受付部109eは、例えば、決定部109cにより決定された配置位置が対象ユーザに提示(表示)されることにより、提示された配置位置に関する指示や指示の内容を示す指示情報のフィードバックを受け付ける。後述するが、指示装置50の表示画面にタッチパネルが採用されている場合には、対象ユーザは、タッチパネルに触れることにより配置位置に修正を加え、修正後の配置位置で配置するよう指示することができる。また、指示装置50の表示画面にプロジェクタ(プロジェクタ53b)が採用されている場合には、対象ユーザは、例えば、プロジェクタによってテーブルTに投影された配置情報に対して、ジェスチャを行うことにより配置位置を指示することができる。
受付部109eは、このように指示された指示情報を指示装置50を介して受け付ける。また、受付部109eは、配置位置に関する指示だけでなく、注文したメニューに関する指示(提案)を受け付けることもできる。例えば、受付部109eは、注文した料理が盛りつけられる食膳の種類の変更、料理の盛り付け方(例えば、食膳がワンプレートである場合には、ワンプレートのどのエリアにどの料理を盛り付けさせるか等)、苦手食材、アレルギー食材の指示を受け付ける。
そして、ロボット装置100は、このような指示を調理担当者に伝える。調理担当者は、指示内容に従って、調理し盛り付ける。このようなことから、ロボット装置100は、配膳に対して注文可能な自由度を増大させることができ、顧客満足度を高めることができる。
また、受付部109eは、食材のカットの仕方の指示、麺類(例えば、パスタ)の長さの指示、飲食用器具(例えば、箸)、生物食材には火を通す等の指示も受け付けることができる。これにより、ロボット装置100は、例えば、幼児が食べやすいよう食材を細かくカットして欲しい、フォークが苦手なため箸でも難なくパスタが食べられるようパスタを短くカットして欲しい、ナイフ・フォークの代わりに箸を出してほしい、生魚は苦手なため火を通して欲しい、といった対象ユーザの細かな要望にも対応することができるようになるため、顧客満足度を高めることができる。
また、ロボット装置100は、上記のように受付部109eにより受け付けられた指示に基づいて、配置位置や、食器、料理等に関する対象ユーザの嗜好傾向を機械学習することができる。例えば、かかる機械学習は、学習部109gによって行われる。
(動作制御部109fについて)
動作制御部109fは、ロボット装置100の動作に関する制御を行う。例えば、動作制御部109fは、ロボット装置100が決定部109cにより決定された配置位置で物体を配置するようロボット装置100を制御する。例えば、動作制御部109fは、ロボット装置100が決定部109cにより決定された配膳位置で食器を配膳するようロボット装置100を制御する。
例えば、図1の例では、動作制御部109fは、食器を把持した状態で対象ユーザU11のテーブルTまで移動してゆき、把持している食器を、決められた配膳位置に配膳するようロボット装置100に対して制御する。例えば、図1の例において、食膳M1、食膳M2、食膳M3、器具E1、器具E2の順に1つずつ食器を配膳するよう決められたとすると、動作制御部109fは、この順に食器を配膳するようロボット装置100に対して制御する。例えば、動作制御部109fは、マニピュレータ106および駆動部107を制御することにより、ロボット装置100を上記のように動作させる。
ここで、図8を用いて、決定部109cが、対象ユーザが複数存在する場合には、複数の対象ユーザ間の関係性に基づいて、物体の配置位置を決定する例を示した。具体的には、図8を用いて、対象ユーザU11が保護(介護)対象の幼児である対象ユーザT12を連れている場合における決定処理を示した。このように、対象ユーザが複数存在し、複数の対象ユーザ間の関係性が上位下位の関係性である場合には、動作制御部109fは、ロボット装置100に対して、上位の立場にある対象ユーザの側から接近し、注文を取ったり、配膳を行うよう制御する。この点について、図9を用いて説明する。図9は、本開示の実施形態にかかるロボット装置100に対する移動制御の一例を示す図である。
例えば、幼児である対象ユーザU12の側、すなわちテーブルTの左側面の側にロボット装置100が接近した場合、作業するロボット装置100と対象ユーザU12が接触してしまうリスクがある。また、対象ユーザU12がロボット装置100にむやみに触れてしまうといったリスクもある。このようなことから、動作制御部109fは、図9に示すように、対象ユーザU11の側、すなわちテーブルTの右側面の側にロボット装置100が接近するようロボット装置100の移動を制御する。例えば、動作制御部109fは、駆動部107を制御する。ロボット装置100は、例えば、対象ユーザへの安全性を考慮した動作を実現することができる。
(学習部109gについて)
学習部109gは、身体情報に関する学習を行う。例えば、学習部109gは、身体情報として、対象ユーザの外観および対象ユーザに関する身体情報の関係性を学習することによりモデルMD1を生成する。例えば、学習部109gは、対象ユーザの外観がどのような外観の場合、対象ユーザはどのような身体的特徴を有する傾向にあるかといった傾向を学習することによりモデルMD1を生成する。例えば、学習部109gは、対象ユーザの外観的な身体的特徴(例えば、カメラ102で撮像された時系列での撮像情報、対象ユーザが身に付けているもの等の対象ユーザ周辺の既知の物体情報)を入力として、対象ユーザの身体情報(例えば、身長・座高・腕の長さ・腕の怪我状況・年齢・手のサイズ・利き腕等)を出力(予測)する予測モデルであるモデルMD1を生成する。
図1の例を用いると、図1の例では、特定部109aが、対象ユーザU11の撮像情報や音声情報を解析することにより身体情報を特定する例を示した。しかし、特定部109aは、モデルMD1の対象ユーザU11の撮像情報を適用することにより、対象ユーザU11の身体情報を特定(予測)してもよい。かかる場合、特定部109aは、撮像情報や音声情報の解析を行う必要がなくなるため、例えば、対象ユーザU11から注文を受けるその場で、より短時間の間に身体情報を特定することができるようになる。
また、学習部109gは、物体に対する対象ユーザの操作性を機械学習することによりモデルMD2を生成する。例えば、学習部109gは、対象ユーザの手のサイズに応じて、食器間の位置関係(例えば、食器間の隙間サイズ)をどのような位置関係にすれば、容易な操作性を得られるかを機械学習することによりモデルMD2を生成する。この点について、図10の例を用いて説明する。図10は、本開示にかかる機械学習の一例を概念的に示す図である。
図10に示すように、学習部109gは、例えば、対象ユーザの身体情報(例えば、身長・座高・腕の長さ・腕の怪我状況・年齢・手のサイズ・利き腕等) を入力として、対象ユーザにとって配布対象の物体を容易に把持可能か否か・把持操作は安全か否か・保持する際における好ましい食器の配置(位置・向き)情報を出力(予測)する予測モデルであるモデルMD2を生成する。図10に示すように、学習部109gは、身体情報だけでなく、食器情報、料理情報、テーブル上の情報を入力とするモデルMD2を生成することができる。なお、学習部109gは、同時に複数の食器情報を入力可能なモデルMD2を生成してもよい。
(実行部109hについて)
実行部109hは、決定部109cにより決定された配置位置で物体が配布された際における、物体に対する対象ユーザの操作性を評価する動作計画を行う。例えば、実行部109hは、決定部109cにより決定された配置位置で物体が配布された場合に、対象ユーザにとって配布対象の物体を容易に把持可能か否か・把持操作は安全か否か・保持する際における物体の好ましい向きはどの向きであるか、といったユーザの操作性を評価する動作計画を行う。例えば、実行部109hは、決定部109cにより決定された隙間サイズで食器がテーブルTに並べられた場合、対象ユーザは容易に食器を把持可能であるか否かを判断するための動作計画を行う。
例えば、実行部109hは、ロボット装置100を対象ユーザの身体構造と位置に適用(置き換え)する動作計画を行うことができる。具体的には、実行部109hは、対象ユーザの座っている位置にロボット装置100の胴体があり、対象ユーザの手または腕のサイズ、対象ユーザと同一関節構造のマニピュレータにおいて、対象としている物体(食器)を容易に把持可能か否かを評価する動作計画に帰着する。実行部109hは、かかる動作計画に任意の手法を用いることができる。例えば、実行部109hは、OpenRAVE(Open Robotics Automation Virtual Environment)といったオープンソースを用いることができる。そして、実行部109hは、このように動作計画を行うことにより、物体の位置関係(例えば、食器間の隙間サイズ)が適切な位置関係であるかをシミュレーションする。
また、実行部109hは、動作計画に機械学習による学習結果を用いてもよい。例えば、実行部109hは、学習部109gにより学習されたモデルMD2に各種情報を入力することにより出力された情報に基づいて、シミュレーションを行う。また、決定部109cは、動作計画に基づくシミュレーションの結果に基づいて、物体の配置位置を修正する。
〔3.指示装置の構成〕
(指示装置の構成(1))
次に、図11を用いて、実施形態にかかる指示装置50の構成について説明する。上述したように、指示装置50は、対象ユーザによって利用される情報処理装置である。例えば、対象ユーザは、配置位置、食膳、料理等に関して提案、要望、指示がある場合には、指示装置50を用いて指示内容を入力する。図11は、本開示の実施形態にかかる指示装置50を制御するための機能的構成を模式的に示す図である。図11に示すように、指示装置50は、入力受付部51と、制御部52と、表示部53と、通信部54と、記憶部55とを有する。
(入力受付部51について)
入力受付部51は、対象ユーザから各種情報の入力を受け付ける。例えば、入力受付部51は、ロボット装置100の決定部109cにより決定された配置位置に対する、対象ユーザの指示情報を受け付ける。また、例えば、入力受付部51は、配置位置に関する指示だけでなく、注文したメニューに関する指示や、食器に関する指示等も受け付ける。入力受付部51により受け付けられた情報は、通信部54を介して、ロボット装置の受付部109eに送信される。入力受付部51は、例えば、タッチパネルやキーボードによって構成される。本実施形態では、指示装置50は、タブレット端末であるものとするため、入力受付部51にはタッチパネルが採用される。
(制御部52について)
制御部52は、ロボット装置100に関する情報の制御を行う。例えば、制御部52は、ロボット装置100の決定部109cにより決定された配置位置を示す配置情報を表示部53に表示させるための表示制御を行う。例えば、制御部52は、配置位置を示す配置画像を生成し、生成した配置画像を表示部53に供給して表示画面53aに表示させる。
(表示画面53aについて)
表示部53は、制御部52により供給された情報を表示する。図11の例では、表示部53としてディスプレイ装置等のいわゆる通常の表示画面53aが採用されている。したがって、表示画面53aは、例えば、制御部52により供給された配置画像を表示する。
(通信部54について)
通信部54は、例えば、NIC等によって実現される。そして、通信部54は、ネットワークと有線または無線で接続され、例えば、ロボット装置100との間で情報の送受信を行う。例えば、通信部54は、入力受付部51により受け付けられた情報をロボット装置100の受付部109eに送信する。
(記憶部55について)
記憶部55は、入力受付部51により受け付けられた情報を記憶する。記憶部55は、入力受付部51により受け付けられた情報をテキストとして記憶してもよいし、画像として記憶してもよい。
以下では、図13を用いて、対象ユーザによって行われる指示操作の一例を示す。図13は、本開示にかかる表示画面53aが表示する配置画像の一例を示す図である。図13の例では、制御部52が、決定部109cによって決定された配置位置に基づいて、食器が配膳された様子を示す画像情報G1を生成し、生成した画像情報G1を表示画面53aに表示させている。例えば、制御部52は、画像情報G1として、画像情報G1に含まれる各食器の画像に触れることにより対象ユーザが食器の画像を自由に動かせるように制御された画像情報G1を生成する。対象ユーザを対象ユーザU11とすると、対象ユーザU11は、画像情報G1によって示される配置位置に対して、自分の好みに合ったように修正指示したい場合は、対象の食器画像上にタッチした状態で、この食器画像を希望する位置へとスワイプ移動させる。例えば、パンが置かれた食器をさらに左へと配置させたい場合には、対象ユーザU11は、この食器画像上にタッチした状態で、この食器画像を左方向へとスワイプ移動させ、希望する位置までスワイプ移動させたところで、タッチをやめる。
このように、希望する配置位置への変更が終わると、対象ユーザU11は、表示画面53aの右下に表示される「決定ボタン」を押下する。これにより、対象ユーザU11による配置位置に関する指示(提案)の入力が完了する。また、入力受付部51は、「決定ボタン」が押下されたことにより対象ユーザにより配置位置が変更された変更後の画像情報G1を指示情報として受け付ける。また、入力受付部51は、変更後の画像情報G1を記憶部55に格納する。通信部54は、記憶部55から変更後の画像情報G1を取得し、ロボット装置100の受付部109eに送信する。この場合、例えば、決定部109cは、受付部109eにより受け付けられた指示情報に基づいて、対象ユーザU11の指示の通り配置位置を修正する。
なお、図13の例では、表示画面53aの右上には「お任せボタン」が表示されている。例えば、対象ユーザU11は、ロボット装置200により決定された配置位置に特に指示することが無い場合には「お任せボタン」を押下することができる。また、かかる場合には、ロボット装置100は、当初決定した配置位置で食膳を配置するとの判断を下す。また、図13では不図示であるが、制御部52は、例えば、注文したメニューに関する指示や、食器に関する指示等も受け付けられるよう、質問形式のテキスト(例えば、調理方法にご要望はございますか?等)や、入力欄を表示させることもできる。
このように、ロボット装置100は、決定した配置位置に対して、対象ユーザから各種
フィードバックを受けることができるため、対象ユーザの嗜好(例えば、配置の嗜好)を認識することや、対象ユーザとのコミュニケーションを活性化させることができる。
(指示装置の構成(2))
図11を用いて、指示装置50の構成について説明したが、指示装置50の構成は、図11の例に限定されない。次に、図12を用いて、指示装置50のその他の構成例について説明する。図12は、本開示の実施形態にかかる指示装置50を制御するための機能的構成を模式的に示す図である。なお、図12に示す指示装置50は、表示画面53aの代わりにプロジェクタ53bを有する以外は、図11の構成と同様である。したがって、図11と同様の符号を有する処理部については説明を省略する。
(プロジェクタ53bについて)
表示部53は、制御部52により供給された情報を表示する。図12の例では、表示部53として、制御部52により供給された情報を所定箇所に投影(表示)させるプロジェクタ53bが採用されている。したがって、プロジェクタ53bは、例えば、制御部52により供給された配置画像を所定箇所(例えば、テーブルT)に投影する。また、図12では、入力受付部51はカメラであるものとする。したがって、図12の例では、入力受付部51を撮像部51と言い換えることができる。
以下では、プロジェクタ53b、および、カメラとしての入力受付部51の機能の一例について説明する。図11では、指示装置50が、画像情報G1に含まれる食器画像を移動可能なように表示することにより、画像情報G1に対する対象ユーザU11の変更操作に応じて指示を受け付ける例を示した。しかし、図12の例では、プロジェクタ53bが画像情報G1を投影し、投影された画像情報G1に対する対象ユーザU11のジェスチャを入力受付部51が動画撮影することにより、配置位置の変更指示を受け付ける。
例えば、プロジェクタ53bは、制御部52の制御に従って、制御部52により生成された画像情報G1をテーブルTに投影する。このような状態において、対象ユーザU11は、投影される画像情報G1によって示される配置位置に対して、自分の好みに合ったように修正指示したい場合は、食器画像に対してジェスチャを行う。例えば、パンが置かれた食器をさらに左へと配置させたい場合には、対象ユーザU11は、この食器画像上に指を置き、その指を希望する位置まで左に移動させて止める。入力受付部51は、この様子を動画撮影することにより配置位置の変更指示を受け付ける。
そして、入力受付部51は、対象ユーザジェスチャにより指定された位置を画像情報G1に示しユーザ指定の配置位置が示された画像情報G1を指示情報として受け付ける。また、入力受付部51は、この画像情報G1を記憶部55に格納する。通信部54は、記憶部55から画像情報G1を取得し、ロボット装置100の受付部109eに送信する。この場合、例えば、決定部109cは、受付部109eにより受け付けられた指示情報に基づいて、対象ユーザU11の指示の通り配置位置を修正する。
このように、ロボット装置100は、決定した配置位置に対して、対象ユーザから各種
フィードバックを受けることができるため、対象ユーザの嗜好(例えば、配置の嗜好)を認識することや、対象ユーザとのコミュニケーションを活性化させることができる。
〔4.処理手順〕
次に、図14を用いて、実施形態にかかる情報処理の手順について説明する。図14は、本開示の実施形態にかかる情報処理手順を示すフローチャートである。なお、図14では、食膳を配膳する際における食膳の配置位置(配膳位置)を決定する場合を想定し説明する。食膳を配布する配布対象のユーザを対象ユーザU11として説明する。
まず、受付部109eは、対象ユーザU11からメニューの注文を受け付けたか否かを判定する(ステップS101)。受付部109eは、対象ユーザU11からメニューの注文を受け付けていない場合には(ステップS101;No)、受け付けるまで待機する。
受付部109eにより対象ユーザU11からメニューの注文を受け付けたと判定された場合には(ステップS101;Yes)、特定部109aは、対象ユーザU11の身体情報を特定し、また、決定部109cは、特定部109aにより特定された身体情報を確認することで、食器の配膳位置に関して必要な配慮はあるか否かを判定する(ステップS102)。なお、図14では、不図示であるが、特定部109aは、注文された料理に応じて、料理毎に当該料理が盛られる食膳としてどの食膳を使用するか、および、注文された料理を食す際に使用される器具(食事用器具)を特定する。ここでは、特定部109aは、図1で説明したように、食膳M1、食膳M2、食膳M3、器具E1、器具E2を特定したものとする。
決定部109cは、食器の配膳位置に関して必要な配慮は無いと判定した場合には(ステップS102;No)、一般的なルールに乗っ取って配膳位置を決定する(ステップS103b)。一方、決定部109cは、食器の配膳位置に関して必要な配慮があると判定した場合には(ステップS102;Yes)、注文に応じた食膳の状態(食膳状態)を確認する(ステップS103a)。食膳の状態としては、料理が入れられた場合の食膳の温度、食膳の形状、食膳のサイズ、食膳の内容物(すなわち、料理)等が挙げられ、これらは例えばステップS102にて特定部109aによって特定されることができる。かかる場合、決定部109cは、特定部109aにより特定された食膳の状態を確認する。
次に、決定部109cは、対象ユーザU11の身体情報と、食膳状態とに基づいて、食膳M1、食膳M2、食膳M3、器具E1、器具E2を配置する配置位置を決定する(ステップS104)。例えば、ステップS102にて、対象ユーザU11が右腕を怪我していることにより、食器の配膳位置に関して必要な配慮があると判定されたとすると、決定部109cは、右腕の可動範囲は除き、左腕の可動範囲内において、食膳M1、食膳M2、食膳M3、器具E1、器具E2の配置位置を決定する。例えば、決定部109cは、左腕の可動範囲内において、食膳M1が中央手前、食膳M2が食膳M1に対して左奥、食膳M3が食膳M1に対して右奥となるような配置位置を決定する。また、決定部109cは、熱い食事が入れられる食膳については、左腕の可動範囲内において、配置位置を奥にする。また、このとき決定部109cは、食器を置く際の食器の向き(取っ手を左に向ける等)も決定する。
次に、出力制御部109dは、決定部109cにより決定された配置位置を示す配置情報を対象ユーザU11に提示する(ステップS105)。例えば、出力制御部109dは、配置情報を所定の表示画面に表示させる。例えば、出力制御部109dは、配置情報を対象ユーザU11の有する指示装置50の表示画面53aに表示させる。例えば、例えば、出力制御部109dは、指示装置50の制御部52に対して、配置情報に対応する画像情報を表示画面53aに表示するよう制御する。図13で説明したように、対象ユーザU11は、この画像情報に含まれる食器画像を任意の位置へと移動させることにより、移動させた位置を配置位置として指示することができる。指示装置50の通信部54は、入力受付部51により受け付けられた指示情報として、変更内容を示す指示情報、または、変更なしを示す指示情報を、ロボット装置100の受付部109eに送信する。
受付部109eは、配置位置に関する指示情報を受け付け、決定部109cは、受付部109eにより受け付けられた指示情報が配置位置の変更を指示する指示情報であるのか、配置位置の変更なしとする指示情報であるのかを判定する(ステップS106)。決定部109cは、受付部109eにより受け付けられた指示情報が配置位置の変更を提案する指示情報である場合には(ステップS106;Yes)、この指示情報にて提案されている配置位置を採用する(ステップS107a)。具体的には、決定部109cは、この指示情報にて提案されている配置位置に基づいて、ステップS104で決定した配置位置を修正する。一方、決定部109cは、受付部109eにより受け付けられた指示情報が配置位置の変更なしとする指示情報である場合には(ステップS106;No)、ステップS104で決定した配置位置をそのまま採用する(ステップS107b)。また、決定部109cは、ステップS107で決定(修正)した配置位置を示す配置情報を動作制御部109fに送信する。
動作制御部109fは、決定部109cにより決定された配置位置で食器を配置するようロボット装置100を制御する。例えば、動作制御部109fは、駆動部107に対して、ロボット装置100の本体を対象ユーザU11の位置(例えば、テーブルT)まで移動させるよう制御する。また、例えば、動作制御部109fは、マニピュレータ106に対して、食器を把持し、決定部109cにより決定された配置位置に従って、制御する。このような制御に応じて、ロボット装置100は、食器を把持し、テーブルTへと移動する(ステップS108)。そして、ロボット装置100は、テーブルTに到達すると、食器の配膳を開始する(ステップS109)。このとき、出力部104は、動作制御部109fの制御に従って、対象ユーザに所定の情報を出力してもよい。出力部104は、配膳する食器が熱い場合には、「熱いのでご注意ください」等の音声を出力する。
ここで、対象ユーザU11は、ロボット装置100が配膳を行っている様子を見て、配置位置を変更して欲しくなる場合がある。例えば、ロボット装置100により配置された食器が、実際には、自身から遠く扱いにくいといったケースも起こり得る。こうした場合、対象ユーザU11は、希望する配置位置への変更を指示する。このとき、対象ユーザU11は、発話によりロボット装置100に対して、直接、変更内容を伝えることもできるし、指示装置50に変更内容を入力することにより、変更内容を伝えることもできる。このようなことから、例えば、受付部109eは、配置位置の変更指示を受け付けたか否かを判定する(ステップS110)。受付部109eは、配置位置の変更指示が無い場合には(ステップS110;No)、ステップS112に移行する。一方、決定部109cは、受付部109eにより配置位置の変更指示が受け付けられた場合には(ステップS110;Yes)、この変更指示に基づいて、配置位置を修正する(ステップS111)。
次に、実行部109hは、動作計画を実行し、決定部109cにより決定された配置位置、あるいは、対象ユーザU11による指示に応じて適宜修正が加えられてきた配置位置で食器が配置された場合に、対象ユーザU11はその食器を容易に把持することができるか否かを評価し、最後に決定部109cは、評価結果に基づき配置位置を微調整する(ステップS112)。例えば、実行部109hによる動作計画に基づくシミュレーション結果が把持困難であることを示す場合には、決定部109cは、対象ユーザU11の手のサイズでも容易に食器を把持できるような隙間サイズであって、食器間の隙間サイズを算出する。そして、決定部109cは、算出した隙間サイズとなるよう現状の配置位置を微調整する。以上で、ロボット装置100は、実施形態にかかる情報処理および配膳作業を終了する。
〔5.ハードウェア構成〕
上述してきた実施形態にかかるロボット装置100は、例えば図15に示すような構成のコンピュータ1000によって実現される。図15は、ロボット装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示にかかる情報処理プログラムを記録する記録媒体である。
通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
例えば、コンピュータ1000が実施形態にかかるロボット装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、制御部109等の機能を実現する。また、HDD1400には、本開示にかかる情報処理プログラムや、記憶部108内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報に基づいて、前記対象ユーザに前記物体を配布する際における前記物体の配置位置を決定する決定部
を有する情報処理装置。
(2)
前記決定部は、前記身体情報に基づく範囲であって前記対象ユーザが身体を動かすことのできる範囲に応じて、前記物体の配置位置を決定する
前記(1)に記載の情報処理装置。
(3)
前記決定部は、前記対象ユーザが複数存在する場合には、複数の前記対象ユーザ間の関係性に基づいて、前記物体の配置位置を決定する
前記(1)または(2)に記載の情報処理装置。
(4)
前記決定部は、前記関係性の中で上位の立場にある前記対象ユーザである上位ユーザの前記身体情報と、前記関係性の中で下位の立場にある前記対象ユーザである下位ユーザの前記身体情報とに基づいて、前記物体の配置位置を決定する
前記(3)に記載の情報処理装置。
(5)
前記決定部は、前記上位ユーザが身体を動かすことのできる範囲のうち、前記下位ユーザが身体を動かすことのできる範囲を除く範囲内において、前記物体の配置位置を決定する
前記(4)に記載の情報処理装置。
(6)
前記身体情報を取得する取得部をさらに有する
前記(1)~(5)のいずれか1つに記載の情報処理装置。
(7)
前記取得部は、前記身体情報として、年齢、腕の長さ、利き腕、身体的障害、上半身を傾斜させることが可能な傾斜量を示す情報のうち、少なくとも1つを取得する
前記(6)に記載の情報処理装置。
(8)
前記取得部は、前記身体情報として、前記対象ユーザの外観および前記対象ユーザに関する身体情報の関係性を学習することにより生成されたモデルによって出力された身体情報を取得する
前記(6)または(7)に記載の情報処理装置。
(9)
前記決定部は、前記物体の状態に基づいて、前記物体の配置位置を決定する
前記(1)~(8)のいずれか1つに記載の情報処理装置。
(10)
前記決定部は、前記物体の状態と、前記対象ユーザの身体的構造とに基づいて、前記物体の配置位置を決定する
前記(9)に記載の情報処理装置。
(11)
前記決定部は、前記物体の状態として、前記物体の温度、前記物体の形状、前記物体のサイズ、前記物体の内容物のうちの少なくとも1つに基づいて、前記物体の配置位置を決定する
前記(9)または(10)に記載の情報処理装置。
(12)
前記決定部は、前記物体に対する前記対象ユーザの操作性に基づいて、前記物体同士の位置関係を決定し、決定した位置関係に基づいて、前記配置位置を決定する
前記(1)~(11)のいずれか1つに記載の情報処理装置。
(13)
前記決定部は、前記対象ユーザに関する身体情報および前記物体の配置に関する情報を機械学習することにより生成されたモデルに基づいて、前記物体の配置位置を決定する
前記(1)~(12)のいずれか1つに記載の情報処理装置。
(14)
前記決定部により決定された配置位置で前記物体が配布された際における、前記物体に対する前記対象ユーザの操作性を評価する動作計画を行う実行部をさらに有し、
前記決定部は、前記動作計画に基づくシミュレーションの結果に基づいて、前記物体の配置位置を修正する
前記(1)~(13)のいずれか1つに記載の情報処理装置。
(15)
前記対象ユーザに前記物体を配布する際の前記物体の配置位置に関する指示を、前記対象ユーザから受け付ける受付部をさらに有し、
前記決定部は、受付部により受け付けられた指示に基づいて、前記物体の配置位置を決定する
前記(1)~(14)のいずれか1つに記載の情報処理装置。
(16)
前記決定部は、前記対象ユーザの前記身体情報に基づいて、前記対象ユーザに配布される前記物体、または、前記対象ユーザに配布される前記物体が使用される使用態様を決定する
前記(1)~(15)のいずれか1つに記載の情報処理装置。
(17)
前記決定部により決定された配置位置に前記物体を移動させる移動部をさらに有する
前記(1)~(16)のいずれか1つに記載の情報処理装置。
(18)
前記決定部は、前記物体として、食事が盛られた食膳を配膳する際における前記食膳の配膳位置を決定する
前記(1)~(17)のいずれか1つに記載の情報処理装置。
(19)
物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報に基づいて、前記対象ユーザに前記物体を配布する際における前記物体の配置位置を決定する
処理を実行する情報処理方法。
(20)
物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報に基づいて、前記対象ユーザに前記物体を配布する際における前記物体の配置位置を決定する
処理を実行させる情報処理プログラム。
以上、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、本願の実施形態をいくつかの図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
また、本明細書に記載された実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
50 指示装置
51 入力受付部
52 制御部
53 表示部
53a 表示画面
53b プロジェクタ
54 通信部
55 記憶部
100 ロボット装置
101 通信部
102 カメラ
103 マイクロホン
104 出力部
105 距離センサ
106 マニピュレータ
107 駆動部
108 記憶部
109 制御部
109a 特定部
109b 取得部
109c 決定部
109d 出力制御部
109e 受付部
109f 動作制御部
109g 学習部
109h 実行部

Claims (16)

  1. 物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報に基づく範囲であって前記対象ユーザが身体を動かすことのできる範囲に応じて、前記対象ユーザに前記物体を配布する際における前記物体の配置位置を決定する決定部
    を有し、
    前記決定部は、前記対象ユーザに関する所定の情報に基づき、前記対象ユーザとして、補助する立場の第1のユーザと、前記第1のユーザから補助を受ける立場の第2のユーザとを特定された場合には、前記第1のユーザが身体を動かすことのできる範囲のうち、前記第2のユーザが身体を動かすことのできる範囲を除く範囲内において、前記物体の配置位置を決定する
    情報処理装置。
  2. 前記身体情報を取得する取得部をさらに有する
    請求項1に記載の情報処理装置。
  3. 前記取得部は、前記身体情報として、年齢、腕の長さ、利き腕、身体的障害、上半身を傾斜させることが可能な傾斜量を示す情報のうち、少なくとも1つを取得する
    請求項に記載の情報処理装置。
  4. 前記取得部は、前記身体情報として、前記対象ユーザの外観および前記対象ユーザに関する身体情報の関係性を学習することにより生成されたモデルによって出力された身体情報を取得する
    請求項に記載の情報処理装置。
  5. 前記決定部は、前記物体の状態に基づいて、前記物体の配置位置を決定する
    請求項1に記載の情報処理装置。
  6. 前記決定部は、前記物体の状態と、前記対象ユーザの身体的構造とに基づいて、前記物体の配置位置を決定する
    請求項に記載の情報処理装置。
  7. 前記決定部は、前記物体の状態として、前記物体の温度、前記物体の形状、前記物体のサイズ、前記物体の内容物のうちの少なくとも1つに基づいて、前記物体の配置位置を決定する
    請求項に記載の情報処理装置。
  8. 前記決定部は、前記物体に対する前記対象ユーザの操作性に基づいて、前記物体同士の位置関係を決定し、決定した位置関係に基づいて、前記配置位置を決定する
    請求項1に記載の情報処理装置。
  9. 前記決定部は、前記対象ユーザに関する身体情報および前記物体の配置に関する情報を機械学習することにより生成されたモデルに基づいて、前記物体の配置位置を決定する
    請求項1に記載の情報処理装置。
  10. 前記決定部により決定された配置位置で前記物体が配布された際における、前記物体に対する前記対象ユーザの操作性を評価する動作計画を行う実行部をさらに有し、
    前記決定部は、前記動作計画に基づくシミュレーションの結果に基づいて、前記物体の配置位置を修正する
    請求項1に記載の情報処理装置。
  11. 前記対象ユーザに前記物体を配布する際の前記物体の配置位置に関する指示を、前記対象ユーザから受け付ける受付部をさらに有し、
    前記決定部は、受付部により受け付けられた指示に基づいて、前記物体の配置位置を決定する
    請求項1に記載の情報処理装置。
  12. 前記決定部は、前記対象ユーザの前記身体情報に基づいて、前記対象ユーザに配布される前記物体、または、前記対象ユーザに配布される前記物体が使用される使用態様を決定する
    請求項1に記載の情報処理装置。
  13. 前記決定部により決定された配置位置に前記物体を移動させる移動部をさらに有する
    請求項1に記載の情報処理装置。
  14. 前記決定部は、前記物体として、食器を配膳する際における前記食器の配膳位置を決定する
    請求項1に記載の情報処理装置。
  15. 物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報に基づく範囲であって前記対象ユーザが身体を動かすことのできる範囲に応じて、前記対象ユーザに前記物体を配布する際における前記物体の配置位置を決定し、
    前記対象ユーザに関する所定の情報に基づき、前記対象ユーザとして、補助する立場の第1のユーザと、前記第1のユーザから補助を受ける立場の第2のユーザとを特定された場合には、前記第1のユーザが身体を動かすことのできる範囲のうち、前記第2のユーザが身体を動かすことのできる範囲を除く範囲内において、前記物体の配置位置を決定する
    処理を実行する情報処理方法。
  16. 物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報に基づく範囲であって前記対象ユーザが身体を動かすことのできる範囲に応じて、前記対象ユーザに前記物体を配布する際における前記物体の配置位置を決定し、
    前記対象ユーザに関する所定の情報に基づき、前記対象ユーザとして、補助する立場の第1のユーザと、前記第1のユーザから補助を受ける立場の第2のユーザとを特定された場合には、前記第1のユーザが身体を動かすことのできる範囲のうち、前記第2のユーザが身体を動かすことのできる範囲を除く範囲内において、前記物体の配置位置を決定する
    処理を実行させる情報処理プログラム。
JP2018192874A 2018-10-11 2018-10-11 情報処理装置、情報処理方法および情報処理プログラム Active JP7225659B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018192874A JP7225659B2 (ja) 2018-10-11 2018-10-11 情報処理装置、情報処理方法および情報処理プログラム
US17/281,739 US20210394365A1 (en) 2018-10-11 2019-09-30 Information processing apparatus, information processing method, and information processing program
PCT/JP2019/038507 WO2020075553A1 (en) 2018-10-11 2019-09-30 Information processing apparatus, information processing method, and information processing program
CN201980065547.0A CN112996634B (zh) 2018-10-11 2019-09-30 信息处理设备、信息处理方法和信息处理程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018192874A JP7225659B2 (ja) 2018-10-11 2018-10-11 情報処理装置、情報処理方法および情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2020059099A JP2020059099A (ja) 2020-04-16
JP7225659B2 true JP7225659B2 (ja) 2023-02-21

Family

ID=68382472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018192874A Active JP7225659B2 (ja) 2018-10-11 2018-10-11 情報処理装置、情報処理方法および情報処理プログラム

Country Status (4)

Country Link
US (1) US20210394365A1 (ja)
JP (1) JP7225659B2 (ja)
CN (1) CN112996634B (ja)
WO (1) WO2020075553A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11919146B2 (en) * 2021-04-28 2024-03-05 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for controlling a serving robot

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015230621A (ja) 2014-06-05 2015-12-21 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
JP2016068253A (ja) 2014-09-30 2016-05-09 トヨタ自動車株式会社 ロボットによる物体手渡しシステム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004230509A (ja) 2003-01-30 2004-08-19 Matsushita Electric Ind Co Ltd 移動ロボット
JP4456561B2 (ja) 2005-12-12 2010-04-28 本田技研工業株式会社 自律移動ロボット
WO2007088735A1 (ja) * 2006-02-02 2007-08-09 Kabushiki Kaisha Yaskawa Denki ロボットシステム
JP4445038B2 (ja) * 2008-02-06 2010-04-07 パナソニック株式会社 ロボット、ロボットの制御装置及び制御方法、並びに、ロボットの制御装置の制御プログラム
JP2013022705A (ja) * 2011-07-25 2013-02-04 Sony Corp ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム
KR101383450B1 (ko) * 2013-04-18 2014-04-08 재단법인대구경북과학기술원 식사보조를 위한 상지 재활로봇 제어방법
KR102521493B1 (ko) * 2015-10-27 2023-04-14 삼성전자주식회사 청소 로봇 및 그 제어방법
JP6833600B2 (ja) * 2017-04-19 2021-02-24 パナソニック株式会社 相互作用装置、相互作用方法、相互作用プログラム及びロボット
CN206925866U (zh) * 2017-06-07 2018-01-26 杭州派尼澳电子科技有限公司 一种电磁循迹的智能机器人送餐系统
CN107877516B (zh) * 2017-10-31 2021-06-22 西安科锐盛创新科技有限公司 送餐机器人系统
KR102497042B1 (ko) * 2018-01-29 2023-02-07 삼성전자주식회사 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법
CN108481346A (zh) * 2018-06-30 2018-09-04 德化县美丽澄电脑经营部 一种性格资源共享的机器人装置
US11279036B2 (en) * 2018-10-01 2022-03-22 Toyota Research Institute, Inc. Methods and systems for implementing customized motions based on individual profiles for identified users

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015230621A (ja) 2014-06-05 2015-12-21 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
JP2016068253A (ja) 2014-09-30 2016-05-09 トヨタ自動車株式会社 ロボットによる物体手渡しシステム

Also Published As

Publication number Publication date
CN112996634A (zh) 2021-06-18
WO2020075553A1 (en) 2020-04-16
US20210394365A1 (en) 2021-12-23
CN112996634B (zh) 2024-03-19
JP2020059099A (ja) 2020-04-16

Similar Documents

Publication Publication Date Title
US11707837B2 (en) Robotic end effector interface systems
EP3107429B1 (en) Methods and systems for food preparation in a robotic cooking kitchen
Li et al. Touching a mechanical body: tactile contact with body parts of a humanoid robot is physiologically arousing
US20210387350A1 (en) Robotic kitchen hub systems and methods for minimanipulation library adjustments and calibrations of multi-functional robotic platforms for commercial and residential enviornments with artificial intelligence and machine learning
AU2016370628A1 (en) Robotic kitchen including a robot, a storage arrangement and containers therefor
US20230031545A1 (en) Robotic kitchen systems and methods in an instrumented environment with electronic cooking libraries
Song et al. Novel assistive robot for self-feeding
Herlant Algorithms, Implementation, and Studies on Eating with a Shared Control Robot Arm.
CN113039575A (zh) 信息处理设备、信息处理方法及程序
Song et al. Usability test of KNRC self-feeding robot
JP7225659B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
EP3865032B1 (en) Food preparation system, method for controlling food preparation system, and program
Thinh et al. Designing self-feeding system for increasing independence of elders and Parkinson people
Dunne Meaningful mealtimes: how to positively influence nutrition
JP2015165375A (ja) 食事摂取誘導システム
JP2022087365A (ja) 処理システム、調理装置、端末装置、調理システム及び情報処理方法
CN114269213A (zh) 信息处理装置、信息处理方法、烹饪机器人、烹饪方法及烹饪设备
Mast SRS Scenario Revision

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230123

R151 Written notification of patent or utility model registration

Ref document number: 7225659

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151