JP5803769B2 - 移動ロボット - Google Patents

移動ロボット Download PDF

Info

Publication number
JP5803769B2
JP5803769B2 JP2012067182A JP2012067182A JP5803769B2 JP 5803769 B2 JP5803769 B2 JP 5803769B2 JP 2012067182 A JP2012067182 A JP 2012067182A JP 2012067182 A JP2012067182 A JP 2012067182A JP 5803769 B2 JP5803769 B2 JP 5803769B2
Authority
JP
Japan
Prior art keywords
gripping
robot
recognition
manipulator
error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012067182A
Other languages
English (en)
Other versions
JP2013198943A (ja
Inventor
祐人 服部
祐人 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2012067182A priority Critical patent/JP5803769B2/ja
Publication of JP2013198943A publication Critical patent/JP2013198943A/ja
Application granted granted Critical
Publication of JP5803769B2 publication Critical patent/JP5803769B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Description

本発明は、把持装置を有する移動ロボットに関する。
物体を把持するためのマニピュレータやハンドを有する、移動ロボットが知られている。
このような移動ロボットでは、物体を把持するためにどこまで把持対象物に接近すれば良いかを一意に決めることは難しい。したがって、把持動作時の移動ロボットの停止位置については、把持対象物がマニピュレータの可到達範囲内となるよう、おおよその距離を事前に決めてしまうということが行われている。
特許文献1では、マニピュレータを俯瞰できる位置に取り付けられた認識用センサと、手先に搭載された認識用センサの切り替える移動ロボットについて開示されている。移動ロボットは、把持対象物との距離の閾値を事前に決めることで、両者のセンサを切り替えてビジュアルフィードバックに利用することを特徴としている。
特開2007−319973号公報
しかしながら、把持対象物の大きさや形状、カメラの仕様、対象物との距離により、把持対象物の位置姿勢の認識精度は大きく異なる。したがって、把持対象物がマニピュレータの可到達範囲内であっても、移動ロボットの停止位置が不適切な位置であり、認識精度が不十分なことから把持に失敗する場合がある。
本発明にかかる移動ロボットは、物体把持装置を有する移動ロボットであって、把持対象物の位置姿勢に関する信頼度を演算する物体認識器と、前記物体認識器の演算結果から得られる把持対象物の位置の誤差を推定する認識誤差推定器と、把持対象物の把持に必要な認識精度を、前記認識誤差推定器により推定された誤差推定値が下回る場合には、把持対象物に接近する走行経路を生成させ、把持に必要な認識精度を誤差推定値が上回る場合には移動を停止してマニピュレータによる把持を実行させる行動判定器と、を備える。
これによりロボットは、把持対象物に対して、十分な認識精度を得られる位置まで近づいた後に、把持動作を行うことができる。
確実に把持対象物の把持を行うことができる。
実施の形態1にかかるロボットの外観を示す図である。 実施の形態1にかかるロボットの構成を示す図である。 実施の形態1にかかるロボットの動作のフローチャートである。 実施の形態1にかかる行動判定器のフローチャートである。
実施の形態1
以下、図面を参照して本発明の実施の形態について説明する。図1は、移動ロボットの外観を示した図である。以下では、移動ロボットをロボット1と表記する。図2は、ロボット1の構成を示した図である。ロボット1は、視覚センサ100と、認識器200と、認識誤差推定器300と、行動判定器400と、経路計画器500と、軌道制御器600と、アクチュエータ700と、マニピュレータ800と、を備える。
視覚センサ100は、ロボット1の外部環境の取得装置である。例えば視覚センサ100には、単眼カメラ、ステレオカメラ、距離センサ等を用いることができる。
認識器200は、把持対象物が持つ属性に着目した各種の認識を行う。例えば認識器200は、把持対象物の輪郭形状、テクスチャ情報、面などの情報を取得する。また、認識器200は、位置姿勢に関する信頼度を認識誤差推定器300に出力する。
認識誤差推定器300は、認識器から入力された信頼度に基づいて、3D空間での把持対象物の位置の誤差を推定する。例えば認識誤差推定器300は、認識結果から物体の3Dモデルを、画像平面に射影して得られる再投影誤差を信頼度として用いる場合、誤差の推定を行うために以下に示す演算を行う。なお、再投影誤差をe[pixel]、カメラの水平画像角をFOV、カメラの水平解像度をHRes、視覚センサ100はステレオカメラでありカメラ間距離をBaselineとする。位置誤差E=(Ex,Ey,Ez)、認識器から得られる結果(視覚センサ基準)は、位置P(X,Y,Z)、姿勢R(α,β,γ)とする。
視覚センサ基準座標における、水平方向の位置誤差は式(1)により推定する。
Figure 0005803769
視覚センサ基準座標における、垂直方向の位置誤差は水平方向と同等とする。視覚センサ基準座標における奥行き方向の推定誤差はステレオ計測の原理から式(2)により推定できる。
Figure 0005803769
行動判定器400は、認識誤差推定器300により推定された推定誤差に基づいて、ロボット1を把持対象物に近づけるのか、ロボット1を停止して把持操作に移行するのかを判定する。
経路計画器500は、行動判定器400によりロボット1を把持対象物に近づけるように指示が出された場合に、ロボット1が走行する経路を生成する。また経路計画器500は、行動判定器400によりロボット1を停止させるように指示が出された場合には、マニピュレータ800を動作させる経路を生成する。
軌道制御器600は、経路計画器500によってロボット1の走行する経路が生成された場合に、走行する軌道を制御する。また軌道制御器600は、経路計画器500によりマニピュレータ800を動作させる経路が生成された場合には、マニピュレータ800を目的とする軌道に追従するように制御する。
アクチュエータ700は、マニピュレータ800を駆動させる。より具体的には、アクチュエータ700は、電気的エネルギー又は油圧によるエネルギー等の供給を受け、軌道制御器600の制御に基づく動作を行うよう、マニピュレータ800に運動エネルギーを与える。
マニピュレータ800は、ロボット1の腕部及び手先部である。マニピュレータ800は、アクチュエータ700から与えられた運動エネルギーにより、腕部を動作させるとともに手先部を動作させることで、物体を把持する。すなわちマニピュレータ800は、物体把持装置である。
次に、ロボット1の動作について説明する。図3は、ロボット1の動作のフローチャートである。
視覚センサ100は、ロボット1の周囲の環境情報を取得する(ステップS10)。視覚センサ100は、取得したロボット1の周囲の環境情報を、認識器200に出力する。
認識器200は、視覚センサ100より入力された情報に基づいて、把持対象物の認識を行う(ステップS20)。さらに認識器200は、認識誤差推定器300に位置姿勢に関する信頼度を出力する。
認識誤差推定器300は、認識器200から入力された信頼度に基づいて、認識誤差の推定値を演算し、行動判定器400に出力する(ステップS30)。
行動判定器400は、ロボット1を把持対象物に近づけるか、ロボット1を停止して把持する動作を行うかを判定する(ステップS40)。図4は、行動判定器400による判定のフローチャートである。
行動判定器400は、物体情報DBから把持に必要な認識精度を得る(ステップS41)。より具体的には、物体情報DBには把持に必要な認識精度、対象物の3D形状モデル、認識に必要な物体属性モデル等が記憶されており、行動判定器400は、物体情報DBから情報を受け取ることによって、把持対象物を把持するのに必要な認識精度を得る。
行動判定器400は、認識誤差推定器300から推定値を受け取る(ステップS42)。
行動判定器400は、把持に必要な認識精度を、認識誤差推定器300から得られる推定値が下回るか否かを判定する(ステップS43)。把持に必要な認識精度を、推定値が下回る場合には(ステップS43でYes)、ステップS44に進む。把持に必要な認識精度を、推定値が上回る場合には(ステップS43でNo)、ステップS45に進む。
行動判定器400は、ロボット1の経路計画器500に、把持対象物に接近するように走行するための、経路を生成する指示を出す(ステップS44)。その後ステップS42に戻り、行動判定器400は、認識誤差推定器300から入力される推定値と、把持に必要な認識精度との比較動作を繰り返し行う。
行動判定器400は、ロボット1の移動を停止し、マニピュレータ800の経路を計画するよう、行動計画器に指示を出す(ステップS45)。
経路計画器500は、ステップS44において行動判定器400が、ロボット1を物体に接近させる経路を生成するように指示を出した場合に、走行経路の計画を行う(ステップS50)。言い換えると、経路計画器500は、行動判定器400がロボット1の走行を続ける判定をした場合に、走行経路の計画を行う。
軌道制御器600は、経路計画器500で計画された走行経路に基づいてロボット1が走行するように、ロボット1に設けられた車輪などの走行手段の動作を制御する(ステップS60)。
経路計画器500は、ステップS44において行動判定器400が、ロボット1を停止させて把持対象物を把持するための、マニピュレータ800の経路を生成するように指示を出した場合に、マニピュレータ800の移動経路の計画を行う(ステップS51)。言い換えると、経路計画器500は、行動判定器400がロボット1に、走行を止めて把持動作を行うよう判定した場合に、マニピュレータ800の移動経路の計画を行う。
軌道制御器600は、経路計画器500で計画された移動経路に基づいてマニピュレータ800を動作させるように、アクチュエータ700の動作を制御する制御信号を出力する(ステップS61)。
アクチュエータ700は、軌道制御器600で生成された制御信号を受けて、マニピュレータ800を動作させる(ステップS71)。
これによりロボット1は、認識装置が出力する位置姿勢に対する信頼度に基づいて、実際の3次元での誤差を推定し、把持に必要とされる認識精度が得られるまで把持対象物に近づき、マニピュレータを用いて確実に把持を遂行することができる。
また、ロボットは十分な認識精度が得られるまで把持対象物に近づいてから、把持動作を行うため、例えば把持対象物が変更された場合には、変更された把持対象物の属性に基づいて、適切な位置まで把持対象物に接近して把持を行うことができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、1台の経路計画器500が、行動判定器400の判定結果に基づいて、ロボット1の走行経路の計画やマニピュレータ800の移動経路の計画を行うものとしたが、2台の経路計画器を用い、一方ではロボット1の走行経路を計画し、他方ではマニピュレータ800の移動経路を計画することとしても良い。同様にして2台の軌道制御器を用い、一方の軌道制御器ではロボット1の走行を制御し、他方の軌道制御器ではマニピュレータ800の軌道を制御することとしても良い。
1 ロボット
100 視覚センサ
200 認識器
300 認識誤差推定器
400 行動判定器
500 経路計画器
600 軌道制御器
700 アクチュエータ
800 マニピュレータ

Claims (1)

  1. 把持対象物を把持するマニピュレータを有する移動ロボットであって、
    前記把持対象物の把持に必要な認識精度を記憶する物体情報データベースと、
    周囲の環境情報を取得するセンサと、
    前記センサにより取得された環境情報から前記把持対象物を認識すると共に、前記把持対象物の位置及び姿勢に対する信頼度を出力する物体認識器と、
    前記物体認識器により出力された前記信頼度に基づいて、前記把持対象物の位置の誤差を推定した誤差推定値を算出する認識誤差推定器と、
    前記物体情報データベースから読み出された前記把持対象物の把持に必要な認識精度と、前記誤差推定値とを比較し、前記誤差推定値が把持に必要な前記認識精度を下回る場合には、前記把持対象物に接近する走行経路を生成させ、前記誤差推定値が把持に必要な前記認識精度を上回る場合には移動を停止して前記マニピュレータによる把持を実行させる行動判定器と、
    を備える、移動ロボット。
JP2012067182A 2012-03-23 2012-03-23 移動ロボット Active JP5803769B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012067182A JP5803769B2 (ja) 2012-03-23 2012-03-23 移動ロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012067182A JP5803769B2 (ja) 2012-03-23 2012-03-23 移動ロボット

Publications (2)

Publication Number Publication Date
JP2013198943A JP2013198943A (ja) 2013-10-03
JP5803769B2 true JP5803769B2 (ja) 2015-11-04

Family

ID=49519584

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012067182A Active JP5803769B2 (ja) 2012-03-23 2012-03-23 移動ロボット

Country Status (1)

Country Link
JP (1) JP5803769B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7044047B2 (ja) 2018-12-14 2022-03-30 トヨタ自動車株式会社 ロボット
JP6697204B1 (ja) * 2019-01-25 2020-05-20 株式会社Mujin ロボットシステムの制御方法、非一過性のコンピュータ読取可能な記録媒体及びロボットシステムの制御装置
US10456915B1 (en) 2019-01-25 2019-10-29 Mujin, Inc. Robotic system with enhanced scanning mechanism
US10870204B2 (en) 2019-01-25 2020-12-22 Mujin, Inc. Robotic system control method and controller
JP7395877B2 (ja) 2019-08-26 2023-12-12 セイコーエプソン株式会社 ロボットシステムおよび制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005088175A (ja) * 2003-09-19 2005-04-07 Sony Corp ロボット装置及びロボット装置の動作制御方法

Also Published As

Publication number Publication date
JP2013198943A (ja) 2013-10-03

Similar Documents

Publication Publication Date Title
US10800036B1 (en) Tooltip stabilization
JP6811258B2 (ja) ロボット車両の位置測定
US11865732B2 (en) Integrated robotic system and method for autonomous vehicle maintenance
US11117261B2 (en) Motion trajectory generation apparatus
US11065767B2 (en) Object manipulation apparatus and object manipulation method for automatic machine that picks up and manipulates an object
US11241796B2 (en) Robot system and method for controlling robot system
US20190036337A1 (en) System for robotic 3d printing
US9244463B2 (en) Automated guided vehicle and method of operating an automated guided vehicle
JP5803769B2 (ja) 移動ロボット
US10162364B2 (en) Robot and control method thereof
US9352467B2 (en) Robot programming apparatus for creating robot program for capturing image of workpiece
US11230016B1 (en) Multi-resolution localization system
JP6661001B2 (ja) ワークオフセットを決定するシステムおよび方法
JP6032163B2 (ja) 三次元物体認識装置、三次元物体認識方法、及び移動体
KR20190003643A (ko) 네거티브 매핑을 이용한 국부화
JP2010524548A5 (ja)
WO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP6663978B2 (ja) ツールオフセットを決定するシステムおよび方法
JP2008142841A (ja) 移動ロボット
JP6528641B2 (ja) 自己位置推定方法
CN117794704A (zh) 机器人控制设备、机器人控制系统以及机器人控制方法
JP6369392B2 (ja) 遠隔制御システム
KR101228155B1 (ko) 곡률 측정 장치 및 측정 방법
JP2013237125A (ja) 移動体の移動制御方法
JP6341153B2 (ja) 自律移動体の監視エリア設定方法及び自律移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150817

R151 Written notification of patent or utility model registration

Ref document number: 5803769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151