JP7225659B2 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents
情報処理装置、情報処理方法および情報処理プログラム Download PDFInfo
- Publication number
- JP7225659B2 JP7225659B2 JP2018192874A JP2018192874A JP7225659B2 JP 7225659 B2 JP7225659 B2 JP 7225659B2 JP 2018192874 A JP2018192874 A JP 2018192874A JP 2018192874 A JP2018192874 A JP 2018192874A JP 7225659 B2 JP7225659 B2 JP 7225659B2
- Authority
- JP
- Japan
- Prior art keywords
- target user
- unit
- user
- information
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
- A61F4/00—Methods or devices enabling patients or disabled persons to operate an apparatus or a device not forming part of the body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Description
まず、図1を用いて、本開示にかかる情報処理の概要について説明する。図1は、本開示にかかる情報処理の一例(パターン1)を示す図である。本開示にかかる情報処理は、図1に示すロボット装置100によって行われる。すなわち、ロボット装置100は、本開示にかかる情報処理装置の一例である。なお、ロボット装置100の外観は、図1に示す外観に限定されない。
次に、図2を用いて、実施形態にかかるロボット装置100の構成について説明する。図2は、本開示の実施形態にかかるロボット装置100を制御するための機能的構成を模式的に示す図である。図2に示すように、ロボット装置100は、通信部101と、カメラ102と、マイクロホン103と、出力部104と、距離センサ105と、マニピュレータ106と、駆動部107と、記憶部108と、制御部109とを有する。
通信部101は、例えば、NIC(Network Interface Card)等によって実現される。そして、通信部101は、ネットワークと有線または無線で接続され、例えば、指示装置50との間で情報の送受信を行う。
カメラ102は、ロボット装置100の「目」に相当する処理部であり、物体を配布する配布対象のユーザである対象ユーザの撮像や、周辺環境の様子の撮像を行う。例えば、カメラ102は、対象ユーザから注文を受ける際に、対象ユーザの全身の撮像を行う。また、カメラ102は、撮像によって得られた撮像情報を図示しない記憶部に記憶することができる。また、カメラ102は、撮像情報を制御部109に送信する。
マイクロホン103は、ロボット装置100の「耳」に相当する処理部であり、音声の集音を行う。例えば、マイクロホン103は、対象ユーザの発話に応じて発話音声を集音する。例えば、マイクロホン103は、対象ユーザから注文を受ける際に、対象ユーザによって発話された音声を集音する。また、マイクロホン103は、集音によって得られた発話情報を図示しない記憶部に記憶することができる。また、マイクロホン103は、撮像情報を制御部109に送信する。
出力部104は、ロボット装置100の「口」に相当する処理部であり、例えば、対象ユーザの発話に応じた応答メッセージを音声で出力する。なお、出力部104は、応答メッセージ等の所定の情報を音声ではなく、表示画面(例えば、ディスプレイ)に表示(出力)させることもできる。
距離センサ105は、ロボット装置100から物体までの距離を測るセンサであり、物体までの距離を測って制御部109に送信する。
マニピュレータ106は、ロボット装置100の「手」に相当する処理部であり、物体を把持し対象ユーザのところまで物体を移動させる際に用いられる。
駆動部107は、ロボット装置100の「脚」に相当する処理部であり、対象ユーザのところまで移動する際に駆動させられる。なお、制御部109は、駆動部107を制御することにより、ロボット装置100を任意の方向(任意の目的地)に移動させる。
記憶部108は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部108は、記憶部108aと、記憶部108bとを有する。
記憶部108aは、物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報を記憶する。例えば、後述する特定部109aは、対象ユーザの身体に関する身体情報を特定し、特定した身体情報を記憶部108aに格納する。ここで、図3に本開示の実施形態にかかる記憶部108aの一例を示す。図3の例では、記憶部108aは、「ユーザID」、「身体情報」といった項目を有する。
記憶部108bは、対象ユーザに対して決定された配置位置を示す情報を記憶する。例えば、後述する決定部109cは、対象ユーザに対して物体の配置位置を決定し、決定した配置位置を示す情報を記憶部108bに格納する。ここで、図4に本開示の実施形態にかかる記憶部108bの一例を示す。図4の例では、記憶部108bは、「ユーザID」、「日付」、「配置情報」といった項目を有する。
図2に戻り、制御部109は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、ロボット装置100内部の記憶装置に記憶されている各種プログラムがRAMを作業領域として実行されることにより実現される。また、制御部109は、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現される。
特定部109aは、物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報の特定を行う。特定部109aによって特定される身体情報としては、例えば、年齢、腕の長さ、利き腕、身体的障害、上半身を傾斜させることが可能な傾斜量を示す情報等が挙げられるが、これらに限定されない。例えば、特定部109aは、各種センサ(例えば、カメラ102やマイクロホン103)によって取得された情報に基づいて、対象ユーザの身体情報を特定する。なお、特定部109aは、対象ユーザの身体的特徴あるいは身体的特性を特定することで、特定した身体的特徴あるいは身体的特性を示す身体情報を取得する、と言い換えることもできる。図1の例では、特定部109aは、カメラ102によって対象ユーザU1が撮像された撮像情報に基づいて、対象ユーザU11の身体的特徴として、年齢「20代」、腕の長さ「L11(cm)」、利き腕「右利き」を特定している。
取得部109bは、物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報を取得する。例えば、取得部109bは、身体情報として、年齢、腕の長さ、利き腕、身体的障害、上半身を傾斜させることが可能な傾斜量を示す情報のうち、少なくとも1つを取得する。例えば、取得部109bは、記憶部108bから身体情報を取得する。また、取得部109bは、特定部109aから直接、身体情報を取得してもよい。また、取得部109bは、特定部109aによって特定された健康状態や、物体の状態も取得する。また、取得部109bは、身体情報として、対象ユーザの外観および対象ユーザに関する身体情報の関係性を学習することにより生成されたモデル(後述するモデルMD1)によって出力された身体情報を取得する。なお、特定部109aが取得部109bを兼ねてもよい。
決定部109cは、対象ユーザの身体情報に基づいて、対象ユーザに前記物体を配布する際における物体の配置位置を決定する。具体的には、決定部109cは、身体情報に基づく範囲であって対象ユーザが身体を動かすことのできる範囲に応じて、物体の配置位置を決定する。上記の通り、特定部109aは、対象ユーザの身体に関する身体情報(身体的特徴、身体的特性、健康状態)の特定を行う。そして、決定部109cは、特定部109aにより特定された身体情報に基づいて、対象ユーザに前記物体を配布する際における物体の配置位置を決定する。
まず、特定部109aにより対象ユーザが、怪我等の身体障害を有しておらず健常者であると特定(判定)された場合の決定処理を決定処理パターン1として説明する。決定処理パターン1については、図1を用いて既に説明済みのため、一部説明を省略する。
次に、特定部109aにより対象ユーザが、怪我等の身体障害を有していると特定(判定)された場合の決定処理を決定処理パターン2として説明する。図5は、本開示にかかる情報処理の一例(パターン2)を示す図である。
また、決定部109cは、物体の状態に基づいて、物体の配置位置を決定する。例えば、決定部109cは、物体の状態と、対象ユーザの身体的構造とに基づいて、物体の配置位置を決定する。例えば、決定部109cは、物体の状態として、物体の温度、前記物体の形状、物体のサイズ、物体の内容物のうちの少なくとも1つに基づいて、物体の配置位置を決定する。この点に対応する決定処理パターン3および4について説明する。
特定部109aは、身体情報の特定だけでなく、物体の状態を特定することもできる点、既に説明した。例えば、特定部109aは、対象ユーザからの注文に基づいて、料理毎に当該料理に用いられる食膳を特定するとともに、特定した食膳について、料理が入れられた場合の食膳の温度(料理そのものの温度でもよい)、食膳の形状、食膳のサイズ、食膳の内容物(すなわち、料理)を特定する。
また、特定部109aは、身体情報の特定だけでなく、物体の状態を特定することもできる点、既に説明した。例えば、特定部109aは、対象ユーザからの注文に基づいて、料理毎に当該料理に用いられる食膳を特定する。ここでは、特定部109aにより、食膳の一つとして背丈の高いワイングラスが特定された場合の決定処理を決定処理パターン4として説明する。図7は、本開示にかかる情報処理の一例(パターン4)を示す図である。具体的には、図7の例では、特定部109aは、対象ユーザU11からの注文に基づいて、食膳M1および食膳M2、器具E1、器具E2、器具E3(ワイングラス)を特定したものとする。なお、図7では、対象ユーザU11が右腕を怪我している場合の決定処理(パターン2)の中で、決定処理パターン4も併存して行われる例を示すが、例えば、対象ユーザU11が健常者の場合(パターン1)であっても、決定処理パターン4自体の内容に変わりはない。
また、決定部109cは、身体情報に基づく範囲であって対象ユーザが身体を動かすことのできる範囲に応じて、物体の配置位置を決定する。例えば、決定部109cは、対象ユーザが複数存在する場合には、複数の対象ユーザ間の関係性に基づいて、物体の配置位置を決定する。例えば、決定部109cは、関係性の中で上位の立場にある対象ユーザである上位ユーザの身体情報と、関係性の中で下位の立場にある対象ユーザである下位ユーザの身体情報とに基づいて、物体の配置位置を決定する。具体的には、決定部109cは、上位ユーザが身体を動かすことのできる範囲のうち、下位ユーザが身体を動かすことのできる範囲を除く範囲内において、物体の配置位置を決定する。この点に対応する決定処理パターン5について説明する。
図8は、本開示にかかる情報処理の一例(パターン5)を示す図である。まず、複数の対象ユーザ間の関係性としては、親子関係、介助・介護関係等がある。親子関係の中では、親(保護者)が子(幼児)に対して、上位の立場にあり、子(幼児)が親(保護者)に対して、下位の立場にある。また、介助・介護関係の中では、介助者が介護者に対して、上位の立場にあり、介護者が介助者に対して、下位の立場にある。例えば、特定部109aは、対象ユーザが複数存在する場合には、撮像によって得られた撮像情報に基づいて、この複数の対象ユーザ間の関係性を特定(推測)する処理も行うことができる。なお、このような処理は、特定部109a以外の処理部によって行われてもよい。なお、特定部109aは、集音によって得られた音声情報に基づいて、この複数の対象ユーザ間の関係性を特定(推測)してもよい。
さて、ここまで、5つのパターンの決定処理について説明してきたが、決定部109cは、これらのパターン以外の決定処理を行うこともできる。以下では、この点について説明する。上記例では、決定部109cが、物体の配置位置を決定する例を示したが、決定部109cは、物体に対する対象ユーザの操作性に基づいて、物体同士の位置関係を決定し、決定した位置関係に基づいて、配置位置を決定してもよい。
出力制御部109dは、決定部109cにより決定された配置位置を示す配置情報をユーザに出力(表示)するための出力制御を行う。例えば、出力制御部109dは、決定部109cにより決定された配置位置を示す配置情報をユーザの端末装置に出力(表示)するための出力制御を行う。例えば、ロボット装置100が表示画面(ディスプレイ)を有する場合には、出力制御部109dは、決定部109cにより決定された配置位置を示す配置情報を、かかる表示画面に表示させる。図1の例を用いて説明すると、出力制御部109dは、対象ユーザU11に対して配膳位置が決定されると、まさに図1に示すような概念図(配膳位置に従って、テーブルTの上に食事が盛られた食膳や器具が置かれた様子の図)を表示画面に表示させる。
受付部109eは、対象ユーザに物体を配布する際の物体の配置位置に関する指示(あるいは、配置位置に関する提案)を、対象ユーザから受け付ける。例えば、決定部109cにより決定された配置位置は、対象ユーザが本当に希望する配置位置であるとは限らない。したがって、決定部109cにより決定された配置位置をロボット装置100のディスプレイや、指示装置50の表示画面(表示画面53a)に表示させることにより、決定された配置位置で物体が配置された際の様子を対象ユーザに確認させることや、確認結果に基づくフィードバックを受け付けることは有用である。例えば、確認結果に基づくフィードバックを受け付けることにより、ロボット装置100は、対象ユーザの嗜好(例えば、配置の嗜好)を認識することができ、また、対象ユーザとのコミュニケーションを活性化させることもできる。
動作制御部109fは、ロボット装置100の動作に関する制御を行う。例えば、動作制御部109fは、ロボット装置100が決定部109cにより決定された配置位置で物体を配置するようロボット装置100を制御する。例えば、動作制御部109fは、ロボット装置100が決定部109cにより決定された配膳位置で食器を配膳するようロボット装置100を制御する。
学習部109gは、身体情報に関する学習を行う。例えば、学習部109gは、身体情報として、対象ユーザの外観および対象ユーザに関する身体情報の関係性を学習することによりモデルMD1を生成する。例えば、学習部109gは、対象ユーザの外観がどのような外観の場合、対象ユーザはどのような身体的特徴を有する傾向にあるかといった傾向を学習することによりモデルMD1を生成する。例えば、学習部109gは、対象ユーザの外観的な身体的特徴(例えば、カメラ102で撮像された時系列での撮像情報、対象ユーザが身に付けているもの等の対象ユーザ周辺の既知の物体情報)を入力として、対象ユーザの身体情報(例えば、身長・座高・腕の長さ・腕の怪我状況・年齢・手のサイズ・利き腕等)を出力(予測)する予測モデルであるモデルMD1を生成する。
実行部109hは、決定部109cにより決定された配置位置で物体が配布された際における、物体に対する対象ユーザの操作性を評価する動作計画を行う。例えば、実行部109hは、決定部109cにより決定された配置位置で物体が配布された場合に、対象ユーザにとって配布対象の物体を容易に把持可能か否か・把持操作は安全か否か・保持する際における物体の好ましい向きはどの向きであるか、といったユーザの操作性を評価する動作計画を行う。例えば、実行部109hは、決定部109cにより決定された隙間サイズで食器がテーブルTに並べられた場合、対象ユーザは容易に食器を把持可能であるか否かを判断するための動作計画を行う。
(指示装置の構成(1))
次に、図11を用いて、実施形態にかかる指示装置50の構成について説明する。上述したように、指示装置50は、対象ユーザによって利用される情報処理装置である。例えば、対象ユーザは、配置位置、食膳、料理等に関して提案、要望、指示がある場合には、指示装置50を用いて指示内容を入力する。図11は、本開示の実施形態にかかる指示装置50を制御するための機能的構成を模式的に示す図である。図11に示すように、指示装置50は、入力受付部51と、制御部52と、表示部53と、通信部54と、記憶部55とを有する。
入力受付部51は、対象ユーザから各種情報の入力を受け付ける。例えば、入力受付部51は、ロボット装置100の決定部109cにより決定された配置位置に対する、対象ユーザの指示情報を受け付ける。また、例えば、入力受付部51は、配置位置に関する指示だけでなく、注文したメニューに関する指示や、食器に関する指示等も受け付ける。入力受付部51により受け付けられた情報は、通信部54を介して、ロボット装置の受付部109eに送信される。入力受付部51は、例えば、タッチパネルやキーボードによって構成される。本実施形態では、指示装置50は、タブレット端末であるものとするため、入力受付部51にはタッチパネルが採用される。
制御部52は、ロボット装置100に関する情報の制御を行う。例えば、制御部52は、ロボット装置100の決定部109cにより決定された配置位置を示す配置情報を表示部53に表示させるための表示制御を行う。例えば、制御部52は、配置位置を示す配置画像を生成し、生成した配置画像を表示部53に供給して表示画面53aに表示させる。
表示部53は、制御部52により供給された情報を表示する。図11の例では、表示部53としてディスプレイ装置等のいわゆる通常の表示画面53aが採用されている。したがって、表示画面53aは、例えば、制御部52により供給された配置画像を表示する。
通信部54は、例えば、NIC等によって実現される。そして、通信部54は、ネットワークと有線または無線で接続され、例えば、ロボット装置100との間で情報の送受信を行う。例えば、通信部54は、入力受付部51により受け付けられた情報をロボット装置100の受付部109eに送信する。
記憶部55は、入力受付部51により受け付けられた情報を記憶する。記憶部55は、入力受付部51により受け付けられた情報をテキストとして記憶してもよいし、画像として記憶してもよい。
フィードバックを受けることができるため、対象ユーザの嗜好(例えば、配置の嗜好)を認識することや、対象ユーザとのコミュニケーションを活性化させることができる。
図11を用いて、指示装置50の構成について説明したが、指示装置50の構成は、図11の例に限定されない。次に、図12を用いて、指示装置50のその他の構成例について説明する。図12は、本開示の実施形態にかかる指示装置50を制御するための機能的構成を模式的に示す図である。なお、図12に示す指示装置50は、表示画面53aの代わりにプロジェクタ53bを有する以外は、図11の構成と同様である。したがって、図11と同様の符号を有する処理部については説明を省略する。
表示部53は、制御部52により供給された情報を表示する。図12の例では、表示部53として、制御部52により供給された情報を所定箇所に投影(表示)させるプロジェクタ53bが採用されている。したがって、プロジェクタ53bは、例えば、制御部52により供給された配置画像を所定箇所(例えば、テーブルT)に投影する。また、図12では、入力受付部51はカメラであるものとする。したがって、図12の例では、入力受付部51を撮像部51と言い換えることができる。
フィードバックを受けることができるため、対象ユーザの嗜好(例えば、配置の嗜好)を認識することや、対象ユーザとのコミュニケーションを活性化させることができる。
次に、図14を用いて、実施形態にかかる情報処理の手順について説明する。図14は、本開示の実施形態にかかる情報処理手順を示すフローチャートである。なお、図14では、食膳を配膳する際における食膳の配置位置(配膳位置)を決定する場合を想定し説明する。食膳を配布する配布対象のユーザを対象ユーザU11として説明する。
上述してきた実施形態にかかるロボット装置100は、例えば図15に示すような構成のコンピュータ1000によって実現される。図15は、ロボット装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
(1)
物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報に基づいて、前記対象ユーザに前記物体を配布する際における前記物体の配置位置を決定する決定部
を有する情報処理装置。
(2)
前記決定部は、前記身体情報に基づく範囲であって前記対象ユーザが身体を動かすことのできる範囲に応じて、前記物体の配置位置を決定する
前記(1)に記載の情報処理装置。
(3)
前記決定部は、前記対象ユーザが複数存在する場合には、複数の前記対象ユーザ間の関係性に基づいて、前記物体の配置位置を決定する
前記(1)または(2)に記載の情報処理装置。
(4)
前記決定部は、前記関係性の中で上位の立場にある前記対象ユーザである上位ユーザの前記身体情報と、前記関係性の中で下位の立場にある前記対象ユーザである下位ユーザの前記身体情報とに基づいて、前記物体の配置位置を決定する
前記(3)に記載の情報処理装置。
(5)
前記決定部は、前記上位ユーザが身体を動かすことのできる範囲のうち、前記下位ユーザが身体を動かすことのできる範囲を除く範囲内において、前記物体の配置位置を決定する
前記(4)に記載の情報処理装置。
(6)
前記身体情報を取得する取得部をさらに有する
前記(1)~(5)のいずれか1つに記載の情報処理装置。
(7)
前記取得部は、前記身体情報として、年齢、腕の長さ、利き腕、身体的障害、上半身を傾斜させることが可能な傾斜量を示す情報のうち、少なくとも1つを取得する
前記(6)に記載の情報処理装置。
(8)
前記取得部は、前記身体情報として、前記対象ユーザの外観および前記対象ユーザに関する身体情報の関係性を学習することにより生成されたモデルによって出力された身体情報を取得する
前記(6)または(7)に記載の情報処理装置。
(9)
前記決定部は、前記物体の状態に基づいて、前記物体の配置位置を決定する
前記(1)~(8)のいずれか1つに記載の情報処理装置。
(10)
前記決定部は、前記物体の状態と、前記対象ユーザの身体的構造とに基づいて、前記物体の配置位置を決定する
前記(9)に記載の情報処理装置。
(11)
前記決定部は、前記物体の状態として、前記物体の温度、前記物体の形状、前記物体のサイズ、前記物体の内容物のうちの少なくとも1つに基づいて、前記物体の配置位置を決定する
前記(9)または(10)に記載の情報処理装置。
(12)
前記決定部は、前記物体に対する前記対象ユーザの操作性に基づいて、前記物体同士の位置関係を決定し、決定した位置関係に基づいて、前記配置位置を決定する
前記(1)~(11)のいずれか1つに記載の情報処理装置。
(13)
前記決定部は、前記対象ユーザに関する身体情報および前記物体の配置に関する情報を機械学習することにより生成されたモデルに基づいて、前記物体の配置位置を決定する
前記(1)~(12)のいずれか1つに記載の情報処理装置。
(14)
前記決定部により決定された配置位置で前記物体が配布された際における、前記物体に対する前記対象ユーザの操作性を評価する動作計画を行う実行部をさらに有し、
前記決定部は、前記動作計画に基づくシミュレーションの結果に基づいて、前記物体の配置位置を修正する
前記(1)~(13)のいずれか1つに記載の情報処理装置。
(15)
前記対象ユーザに前記物体を配布する際の前記物体の配置位置に関する指示を、前記対象ユーザから受け付ける受付部をさらに有し、
前記決定部は、受付部により受け付けられた指示に基づいて、前記物体の配置位置を決定する
前記(1)~(14)のいずれか1つに記載の情報処理装置。
(16)
前記決定部は、前記対象ユーザの前記身体情報に基づいて、前記対象ユーザに配布される前記物体、または、前記対象ユーザに配布される前記物体が使用される使用態様を決定する
前記(1)~(15)のいずれか1つに記載の情報処理装置。
(17)
前記決定部により決定された配置位置に前記物体を移動させる移動部をさらに有する
前記(1)~(16)のいずれか1つに記載の情報処理装置。
(18)
前記決定部は、前記物体として、食事が盛られた食膳を配膳する際における前記食膳の配膳位置を決定する
前記(1)~(17)のいずれか1つに記載の情報処理装置。
(19)
物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報に基づいて、前記対象ユーザに前記物体を配布する際における前記物体の配置位置を決定する
処理を実行する情報処理方法。
(20)
物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報に基づいて、前記対象ユーザに前記物体を配布する際における前記物体の配置位置を決定する
処理を実行させる情報処理プログラム。
51 入力受付部
52 制御部
53 表示部
53a 表示画面
53b プロジェクタ
54 通信部
55 記憶部
100 ロボット装置
101 通信部
102 カメラ
103 マイクロホン
104 出力部
105 距離センサ
106 マニピュレータ
107 駆動部
108 記憶部
109 制御部
109a 特定部
109b 取得部
109c 決定部
109d 出力制御部
109e 受付部
109f 動作制御部
109g 学習部
109h 実行部
Claims (16)
- 物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報に基づく範囲であって前記対象ユーザが身体を動かすことのできる範囲に応じて、前記対象ユーザに前記物体を配布する際における前記物体の配置位置を決定する決定部
を有し、
前記決定部は、前記対象ユーザに関する所定の情報に基づき、前記対象ユーザとして、補助する立場の第1のユーザと、前記第1のユーザから補助を受ける立場の第2のユーザとを特定された場合には、前記第1のユーザが身体を動かすことのできる範囲のうち、前記第2のユーザが身体を動かすことのできる範囲を除く範囲内において、前記物体の配置位置を決定する
情報処理装置。 - 前記身体情報を取得する取得部をさらに有する
請求項1に記載の情報処理装置。 - 前記取得部は、前記身体情報として、年齢、腕の長さ、利き腕、身体的障害、上半身を傾斜させることが可能な傾斜量を示す情報のうち、少なくとも1つを取得する
請求項2に記載の情報処理装置。 - 前記取得部は、前記身体情報として、前記対象ユーザの外観および前記対象ユーザに関する身体情報の関係性を学習することにより生成されたモデルによって出力された身体情報を取得する
請求項2に記載の情報処理装置。 - 前記決定部は、前記物体の状態に基づいて、前記物体の配置位置を決定する
請求項1に記載の情報処理装置。 - 前記決定部は、前記物体の状態と、前記対象ユーザの身体的構造とに基づいて、前記物体の配置位置を決定する
請求項5に記載の情報処理装置。 - 前記決定部は、前記物体の状態として、前記物体の温度、前記物体の形状、前記物体のサイズ、前記物体の内容物のうちの少なくとも1つに基づいて、前記物体の配置位置を決定する
請求項5に記載の情報処理装置。 - 前記決定部は、前記物体に対する前記対象ユーザの操作性に基づいて、前記物体同士の位置関係を決定し、決定した位置関係に基づいて、前記配置位置を決定する
請求項1に記載の情報処理装置。 - 前記決定部は、前記対象ユーザに関する身体情報および前記物体の配置に関する情報を機械学習することにより生成されたモデルに基づいて、前記物体の配置位置を決定する
請求項1に記載の情報処理装置。 - 前記決定部により決定された配置位置で前記物体が配布された際における、前記物体に対する前記対象ユーザの操作性を評価する動作計画を行う実行部をさらに有し、
前記決定部は、前記動作計画に基づくシミュレーションの結果に基づいて、前記物体の配置位置を修正する
請求項1に記載の情報処理装置。 - 前記対象ユーザに前記物体を配布する際の前記物体の配置位置に関する指示を、前記対象ユーザから受け付ける受付部をさらに有し、
前記決定部は、受付部により受け付けられた指示に基づいて、前記物体の配置位置を決定する
請求項1に記載の情報処理装置。 - 前記決定部は、前記対象ユーザの前記身体情報に基づいて、前記対象ユーザに配布される前記物体、または、前記対象ユーザに配布される前記物体が使用される使用態様を決定する
請求項1に記載の情報処理装置。 - 前記決定部により決定された配置位置に前記物体を移動させる移動部をさらに有する
請求項1に記載の情報処理装置。 - 前記決定部は、前記物体として、食器を配膳する際における前記食器の配膳位置を決定する
請求項1に記載の情報処理装置。 - 物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報に基づく範囲であって前記対象ユーザが身体を動かすことのできる範囲に応じて、前記対象ユーザに前記物体を配布する際における前記物体の配置位置を決定し、
前記対象ユーザに関する所定の情報に基づき、前記対象ユーザとして、補助する立場の第1のユーザと、前記第1のユーザから補助を受ける立場の第2のユーザとを特定された場合には、前記第1のユーザが身体を動かすことのできる範囲のうち、前記第2のユーザが身体を動かすことのできる範囲を除く範囲内において、前記物体の配置位置を決定する
処理を実行する情報処理方法。 - 物体を配布する配布対象のユーザである対象ユーザの身体に関する身体情報に基づく範囲であって前記対象ユーザが身体を動かすことのできる範囲に応じて、前記対象ユーザに前記物体を配布する際における前記物体の配置位置を決定し、
前記対象ユーザに関する所定の情報に基づき、前記対象ユーザとして、補助する立場の第1のユーザと、前記第1のユーザから補助を受ける立場の第2のユーザとを特定された場合には、前記第1のユーザが身体を動かすことのできる範囲のうち、前記第2のユーザが身体を動かすことのできる範囲を除く範囲内において、前記物体の配置位置を決定する
処理を実行させる情報処理プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018192874A JP7225659B2 (ja) | 2018-10-11 | 2018-10-11 | 情報処理装置、情報処理方法および情報処理プログラム |
US17/281,739 US20210394365A1 (en) | 2018-10-11 | 2019-09-30 | Information processing apparatus, information processing method, and information processing program |
PCT/JP2019/038507 WO2020075553A1 (en) | 2018-10-11 | 2019-09-30 | Information processing apparatus, information processing method, and information processing program |
CN201980065547.0A CN112996634B (zh) | 2018-10-11 | 2019-09-30 | 信息处理设备、信息处理方法和信息处理程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018192874A JP7225659B2 (ja) | 2018-10-11 | 2018-10-11 | 情報処理装置、情報処理方法および情報処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020059099A JP2020059099A (ja) | 2020-04-16 |
JP7225659B2 true JP7225659B2 (ja) | 2023-02-21 |
Family
ID=68382472
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018192874A Active JP7225659B2 (ja) | 2018-10-11 | 2018-10-11 | 情報処理装置、情報処理方法および情報処理プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210394365A1 (ja) |
JP (1) | JP7225659B2 (ja) |
CN (1) | CN112996634B (ja) |
WO (1) | WO2020075553A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11919146B2 (en) * | 2021-04-28 | 2024-03-05 | Bear Robotics, Inc. | Method, system, and non-transitory computer-readable recording medium for controlling a serving robot |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015230621A (ja) | 2014-06-05 | 2015-12-21 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
JP2016068253A (ja) | 2014-09-30 | 2016-05-09 | トヨタ自動車株式会社 | ロボットによる物体手渡しシステム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004230509A (ja) | 2003-01-30 | 2004-08-19 | Matsushita Electric Ind Co Ltd | 移動ロボット |
JP4456561B2 (ja) | 2005-12-12 | 2010-04-28 | 本田技研工業株式会社 | 自律移動ロボット |
WO2007088735A1 (ja) * | 2006-02-02 | 2007-08-09 | Kabushiki Kaisha Yaskawa Denki | ロボットシステム |
JP4445038B2 (ja) * | 2008-02-06 | 2010-04-07 | パナソニック株式会社 | ロボット、ロボットの制御装置及び制御方法、並びに、ロボットの制御装置の制御プログラム |
JP2013022705A (ja) * | 2011-07-25 | 2013-02-04 | Sony Corp | ロボット装置及びロボット装置の制御方法、コンピューター・プログラム、並びにロボット・システム |
KR101383450B1 (ko) * | 2013-04-18 | 2014-04-08 | 재단법인대구경북과학기술원 | 식사보조를 위한 상지 재활로봇 제어방법 |
KR102521493B1 (ko) * | 2015-10-27 | 2023-04-14 | 삼성전자주식회사 | 청소 로봇 및 그 제어방법 |
JP6833600B2 (ja) * | 2017-04-19 | 2021-02-24 | パナソニック株式会社 | 相互作用装置、相互作用方法、相互作用プログラム及びロボット |
CN206925866U (zh) * | 2017-06-07 | 2018-01-26 | 杭州派尼澳电子科技有限公司 | 一种电磁循迹的智能机器人送餐系统 |
CN107877516B (zh) * | 2017-10-31 | 2021-06-22 | 西安科锐盛创新科技有限公司 | 送餐机器人系统 |
KR102497042B1 (ko) * | 2018-01-29 | 2023-02-07 | 삼성전자주식회사 | 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법 |
CN108481346A (zh) * | 2018-06-30 | 2018-09-04 | 德化县美丽澄电脑经营部 | 一种性格资源共享的机器人装置 |
US11279036B2 (en) * | 2018-10-01 | 2022-03-22 | Toyota Research Institute, Inc. | Methods and systems for implementing customized motions based on individual profiles for identified users |
-
2018
- 2018-10-11 JP JP2018192874A patent/JP7225659B2/ja active Active
-
2019
- 2019-09-30 US US17/281,739 patent/US20210394365A1/en active Pending
- 2019-09-30 WO PCT/JP2019/038507 patent/WO2020075553A1/en active Application Filing
- 2019-09-30 CN CN201980065547.0A patent/CN112996634B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015230621A (ja) | 2014-06-05 | 2015-12-21 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法およびプログラム |
JP2016068253A (ja) | 2014-09-30 | 2016-05-09 | トヨタ自動車株式会社 | ロボットによる物体手渡しシステム |
Also Published As
Publication number | Publication date |
---|---|
CN112996634A (zh) | 2021-06-18 |
WO2020075553A1 (en) | 2020-04-16 |
US20210394365A1 (en) | 2021-12-23 |
CN112996634B (zh) | 2024-03-19 |
JP2020059099A (ja) | 2020-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11707837B2 (en) | Robotic end effector interface systems | |
EP3107429B1 (en) | Methods and systems for food preparation in a robotic cooking kitchen | |
Li et al. | Touching a mechanical body: tactile contact with body parts of a humanoid robot is physiologically arousing | |
US20210387350A1 (en) | Robotic kitchen hub systems and methods for minimanipulation library adjustments and calibrations of multi-functional robotic platforms for commercial and residential enviornments with artificial intelligence and machine learning | |
AU2016370628A1 (en) | Robotic kitchen including a robot, a storage arrangement and containers therefor | |
US20230031545A1 (en) | Robotic kitchen systems and methods in an instrumented environment with electronic cooking libraries | |
Song et al. | Novel assistive robot for self-feeding | |
Herlant | Algorithms, Implementation, and Studies on Eating with a Shared Control Robot Arm. | |
CN113039575A (zh) | 信息处理设备、信息处理方法及程序 | |
Song et al. | Usability test of KNRC self-feeding robot | |
JP7225659B2 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
EP3865032B1 (en) | Food preparation system, method for controlling food preparation system, and program | |
Thinh et al. | Designing self-feeding system for increasing independence of elders and Parkinson people | |
Dunne | Meaningful mealtimes: how to positively influence nutrition | |
JP2015165375A (ja) | 食事摂取誘導システム | |
JP2022087365A (ja) | 処理システム、調理装置、端末装置、調理システム及び情報処理方法 | |
CN114269213A (zh) | 信息处理装置、信息处理方法、烹饪机器人、烹饪方法及烹饪设备 | |
Mast | SRS Scenario Revision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230123 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7225659 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |