JP6176091B2 - 把持方法、運搬方法及びロボット - Google Patents

把持方法、運搬方法及びロボット Download PDF

Info

Publication number
JP6176091B2
JP6176091B2 JP2013249355A JP2013249355A JP6176091B2 JP 6176091 B2 JP6176091 B2 JP 6176091B2 JP 2013249355 A JP2013249355 A JP 2013249355A JP 2013249355 A JP2013249355 A JP 2013249355A JP 6176091 B2 JP6176091 B2 JP 6176091B2
Authority
JP
Japan
Prior art keywords
gripping
recognized
feature point
unit
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013249355A
Other languages
English (en)
Other versions
JP2015104796A (ja
Inventor
将慶 土永
将慶 土永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2013249355A priority Critical patent/JP6176091B2/ja
Publication of JP2015104796A publication Critical patent/JP2015104796A/ja
Application granted granted Critical
Publication of JP6176091B2 publication Critical patent/JP6176091B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Description

本発明は、把持方法、運搬方法及びロボットに関し、特に、物体を認識して把持する技術に関する。
特許文献1には、把持対象となる目標物が障害物に隠れている場合であっても、目標物を画像認識して把持することができるロボットが開示されている。このロボットは、カメラにより撮影された画像に基づいて障害物が存在すると判定した場合には、障害物をロボットアームによって移動させ、目標物の再認識処理を行う。そして、ロボットは、目標物を認識した場合に、その目標物を把持する動作を実行する。
特開2007−290056号公報
しかしながら、特許文献1に開示のロボットは、障害物をわざわざ移動してからでないと目標物を把持することができず、効率が良くないという問題がある。また、障害物となる物体の位置を勝手に変更することが望まれない場合もあり得る。
本発明は、上述のような問題を解決するためになされたものであり、把持対象となる物体の一部が障害物で隠れている場合であっても、障害物を移動させることなく、把持対象となる物体を適確に把持することができる把持方法、運搬方法及びロボットを提供することを目的とする。
本発明の第1の態様に係る把持方法は、把持装置が取得した3次元情報である環境情報を取得し、取得した環境情報の中から把持対象物を認識し、認識した前記把持対象物の一部が障害物により隠されていた場合であっても前記把持対象物を把持装置により認識して把持する把持方法であって、前記把持対象物を含む周辺の環境情報を取得するステップと、取得された環境情報により、周辺の環境から前記把持対象物を認識するステップと、前記把持対象物の一部分が認識された場合に、把持対象物であると決定するステップと、前記把持対象物であると決定された物体の把持領域を決定するステップと、決定された把持領域を把持するステップとを備え、前記把持領域を決定するステップは、前記把持対象物を認識するステップにおいて前記把持対象物の一部分として認識された領域を、前記把持領域として決定するものである。
本発明の第2の態様に係る運搬方法は、上述の態様に係る把持方法によって把持した把持対象物を運搬先に運搬する運搬方法であって、前記把持対象物の全体を認識するステップによって認識された把持対象物の全体が障害物を回避する軌道を決定し、その軌道で前記把持対象物を運搬するステップを備えるものである。
本発明の第3の態様に係るロボットは、3次元情報である環境情報を取得し、取得した環境情報の中から把持対象物を認識し、認識した前記把持対象物の一部が障害物により隠されていた場合であっても前記把持対象物を認識してロボットアームによって把持するロボットであって、前記把持対象物を含む周辺の環境情報を取得する環境情報取得部と、取得された環境情報により、周辺の環境から前記把持対象物の一部分が認識された場合に、把持対象物であると決定する物体認識部と、前記把持対象物であると決定された物体の把持領域を決定する把持領域決定部と、を備え、前記把持領域決定部は、前記把持対象物の一部分として認識された領域を、前記把持領域として決定することを特徴とするものである。
物体の一部が障害物によって隠れている場合には、障害物によって隠れていない部分が認識されることになる。したがって、上述した本発明の各態様のように、把持対象物の一部分として認識された領域を把持領域として決定することで、障害物で隠れていない領域を把持することができるため、把持対象となる物体を把持する際における把持装置(ロボット)と障害物との接触を回避することができる。
上述した本発明の各態様によれば、把持対象となる物体の一部が障害物で隠れている場合であっても、障害物を移動させることなく、把持対象となる物体を適確に把持することができる把持方法、運搬方法及びロボットを提供することができる。
実施の形態1に係るロボットの外部構成図である。 実施の形態1に係るロボットの内部構成図である。 実施の形態1に係るロボットの処理ブロック図である。 実施の形態1に係るロボットの処理を示すフローチャートである。 把持対象となる物体の一例を示す図である。 実施の形態2に係るロボットの処理ブロック図である。 実施の形態2に係るロボットの処理を示すフローチャートである。 障害物回避の一例を示す図である。 実施の形態3に係るロボットの処理ブロック図である。 実施の形態3に係るロボットの処理を示すフローチャートである。 物体の目標地点への配置の一例を示す図である。
以下に図面を参照しながら、本発明の好適な実施の形態について説明する。以下の実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、それに限定されるものではない。また、以下の記載及び図面では、説明の明確化のため、当業者にとって自明な事項等については、適宜、省略及び簡略化がなされている。
<発明の実施の形態1>
本実施の形態1に係るロボット1について説明する。まず、図1を参照して、本実施の形態1に係るロボット1の外部構成について説明する。図1は、本実施の形態1に係るロボット1の外部構成図である。
ロボット1は、ロボット本体10、移動台車20、把持部30、及び頭部40を有している。ロボット1は、例えば、工場において人が行う荷物(物体)を運搬する作業を代行する産業ロボットとして利用することができる。また、ロボット1は、家庭内において物(物体)を人に拾い届ける作業を実行するサービスロボットとしても利用することができる。
移動台車20は、その上方でロボット本体10を支持するように、その上部がロボット本体10の下部に連結されている。移動台車20は、その下部に設けられた車輪(図示せず)を駆動することでロボット1を移動させる。
把持部30は、ロボット本体10の前方に突出するように、ロボット本体10の前部に接続されている。把持部30は、多関節のアーム(ロボットアーム)である。把持部30は、その先端部に、任意の物体を把持できるハンド60を含む。これにより、ロボット1は、把持部30の各関節の角度を調整することで、ハンド60を所望の位置に移動させ、その位置に存在する物体を把持することができる。
頭部40は、ロボット本体10の上方でロボット本体10に支持されるように、ロボット本体10の上部に連結されている。頭部40は、その前方を撮像部50によって観測可能となるように、その前部に撮像部50が取り付けられている。撮像部50は、ロボット1の周辺の環境を観測し、観測した環境を示す環境情報を生成(取得)する。撮像部50は、環境情報取得部として機能する。
撮像部50は、所定の角度範囲(画角)を測定可能となっている。一方、頭部40とロボット本体10との連結部は、頭部40を動作可能となるように多自由度の関節構造となっている。例えば、関節構造として少なくとも2自由度以上を有するようにすることで、頭部40は、少なくとも上下左右に動作させることが可能とされている。これにより、撮像部50の測定可能な角度範囲が限られていても、頭部40を動作させることで広範囲を観測することを可能としている。
ここで、撮像部50は、具体的には周辺の環境を撮像するカメラとなる。よって、撮像部50は、ロボット1の周辺を撮像して、ロボット1の周辺の画像を示す画像情報を環境情報として生成する。カメラは、単眼カメラ及びステレオカメラ等の各種カメラのうち、任意のカメラを使用するようにしてよい。
上述した構成により、ロボット1は、撮像部50によって取得した画像情報が示す画像に基づいて周辺の環境に含まれる物体を認識する。そして、ロボット1は、認識した物体を把持部30によって把持して、その物体の運搬先となる目標地点へ移動台車20の車輪を駆動することで運搬する。
続いて、図2を参照して、本実施の形態1に係るロボット1の内部構成について説明する。図2は、本実施の形態1に係るロボット1の内部構成図である。
ロボット1は、制御部11、記憶部12、アクチュエータ21a、21b、車輪22a、22b、及びアクチュエータ31a、31bを有する。制御部11及び記憶部12は、ロボット本体10に含まれる。アクチュエータ21a、21b及び車輪22a、22bは、移動台車20に含まれる。アクチュエータ31a、31bは、把持部30に含まれる。
制御部11は、ロボット1を統括的に制御する。制御部11は、CPU(Central Processing Unit)を有しており、そのCPUが記憶部12に格納されたプログラムを実行することで、制御部11としての各種処理を実現する。すなわち、このプログラムは、制御部11が有するCPUに制御部11としての各種処理を実行させるためのコードを含んでいる。
記憶部12は、上記プログラムや、その他の制御部11が使用する各種情報が格納される。記憶部12は、上記プログラムや各種情報を格納可能な記憶装置の少なくとも1つを含む。記憶装置として、例えば、メモリ及びハードディスク等の少なくとも1つを任意に使用してよい。
アクチュエータ21a、21bは、ロボット1の車輪22a、22bを駆動する。アクチュエータ21aは、制御部11からの制御によって駆動され、車輪22aを回転させる。アクチュエータ21bは、制御部11からの制御によって駆動され、車輪22bを回転させる。
車輪22a及び車輪22bは、上述した移動台車20の下部に取り付けられた車輪に該当する。すなわち、制御部11は、アクチュエータ21a、21bを制御して、車輪22a、22bを回転させることでロボット1を移動させる。
アクチュエータ31a、31bは、ロボット1の把持部30を駆動する。アクチュエータ31a、31bは、制御部11からの制御によって駆動され、把持部30を動作させるアクチュエータ31a、31bのそれぞれは、把持部30の関節として設けられている。なお、ここでは、把持部30が、アクチュエータ31aとアクチュエータ31bとの2つの関節を有する例について説明するが、把持部30の関節数は、これに限られない。
ハンド60は、制御部11からの制御によって駆動され、物体を把持もしくは解放する。制御部11は、ハンド60によって把持対象の物体を把持する場合、各アクチュエータ31a、31b、21a、21bの少なくとも1つを駆動し、撮像部50から出力された画像情報が示す画像に基づいて認識した物体までハンド60を導く。
続いて、図3を参照して、本実施の形態1に係るロボット1の処理ブロックについて説明する。図3は、本実施の形態1に係るロボット1の処理ブロック図である。
制御部11は、特徴抽出部111、特徴間対応付け部112、物体認識部113、及び把持可能部検出部114として機能する。
また、記憶部12は、物体情報格納部121として機能する。物体情報格納部121には、ロボット1が動作する環境に存在する複数の物体のそれぞれについて、物体認識用特徴情報、物体3Dモデル情報(物体形状情報)、特徴点位置情報、及び物体IDが格納されている。物体認識用特徴情報、物体3Dモデル情報、特徴点位置情報、及び物体IDは、同一の物体について相互に対応付けられている。これらの情報は、物体の種類毎に用意するようにしてもよい。
物体認識用特徴情報は、物体のモデルを特徴点(特徴点群)によって示す情報である。物体3Dモデル情報は、物体の3Dモデル(モデルとなる三次元形状)を示す情報である。特徴点位置情報は、物体3Dモデル情報が示す物体の3Dモデルに対する、物体認識用特徴情報が示す各特徴点の位置関係を示す情報である。物体IDは、各物体を一意に示す情報である。
特徴抽出部111は、撮像部50から出力された画像情報が示す画像において特徴点(特徴点群)を抽出する。なお、特徴点を抽出するために利用する画像特徴として、SURF特徴、エッジ特徴、及びHOG(Histogram of Oriented Gradient)特徴等の特徴のうち、任意の特徴を利用するようにしてよい。
特徴点対応付け部112は、特徴抽出部111によって抽出された特徴点と、物体認識用特徴情報が示す物体のモデルの特徴点との対応付けを行う。すなわち、特徴点対応付け部112は、抽出された特徴点と、物体のモデルの特徴点とを照合(マッチング)することで、抽出された特徴点の中から物体のモデルの特徴点と一致する特徴点を特定し、相互に対応付ける。すなわち、これにより、画像の特徴点の中から、物体の特徴点が認識される。言い換えると、物体のモデルによって、画像中の物体が認識される。
物体認識部113は、特徴点対応付け部112によって特定された特徴点の対応関係に基づいて、物体の位置・姿勢を認識する。特徴認識部113は、物体の一部でも認識された場合には、その位置に物体が存在すると決定する。例えば、物体認識部113は、抽出された特徴点と物体のモデルの特徴点との間で対応付けられた(一致した)特徴点が、物体のモデルの全ての特徴点に対して所定の割合を超えている場合に、その位置にその物体が存在するものと認識してもよい。また、物体認識部113は、特徴点位置情報が示す物体の3Dモデルと物体の特徴点との位置関係に基づいて、抽出された物体の特徴点から、物体の姿勢(傾き)を特定する。なお、物体の位置には、ロボット1から物体までの距離も含まれる。ここで、ロボット1から物体までの距離は、撮像部50が単眼カメラであれば、特徴点間の距離に基づいて推定するようにすればよく、2つの以上の画像を撮像するステレオカメラであれば、2つの画像間の同一地点のズレ量(例えば同一特徴点のズレ量等)に基づいて算出するようにすればよい。
把持可能部検出部114は、物体の認識結果に基づいて、把持部30によって把持可能な部分を検出する。具体的には、把持可能部検出部114は、物体の一部として認識できている領域を、把持部30によって把持可能な領域として決定する。すなわち、把持可能部検出部114は、物体のうち、抽出された物体の特徴点と、物体のモデルの特徴点とが一致している領域を、把持部30によって把持可能な領域として決定する。そして、把持可能部検出部114は、その領域のいずれかの部分を、把持部30によって把持可能な部分(把持する部分)として決定する。例えば、物体において、抽出された物体の特徴点のうち、物体のモデルの特徴点群と一致する特徴点の重心となる部分を把持可能な部分として決定する。物体認識部113及び把持可能部検出部114は、認識部として機能する。
ここで、物体が障害物で隠れている領域では障害物の特徴点が抽出されるため、抽出された物体の特徴点と、物体のモデルの特徴点は一致しない。一方、物体が障害物で隠れていない領域では物体の特徴点が抽出されるため、抽出された物体の特徴点と、物体のモデルの特徴点が一致する。よって、上述のように、抽出された物体の特徴点と、物体のモデルの特徴点とが一致する領域で、物体を把持する部分を決定するようにすることで、障害物に隠れていない部分を、物体を把持する部分として決定することができる。
そして、把持可能部検出部114は、決定した部分を把持するように把持部30を駆動して、物体を把持する。具体的には、把持可能部検出部114は、アクチュエータ31a、31bを駆動することで、把持すると決定した部分に、把持部30のハンド60の中心をアプローチする。そして、把持可能部検出部114は、ハンド60を駆動することで、物体を把持する。
ここで、各物体について複数の把持パターンを予め生成しておき、その複数の把持パターンのうち、把持すると決定した部分を把持する把持パターンを選択して、選択した把持パターンで物体を把持するようにしてもよい。把持パターンとは、ハンド60のサイズ及び形状等を考慮して、物体を把持することができる把持の仕方を定義したものである。例えば、物体において把持する部分、及び、物体に対するハンド60の傾き等が定義される。例えば、この把持パターンを示す情報を記憶部12に予め格納しておき、把持可能部検出部114がその情報に基づいてアクチュエータ31a、31bを駆動することで実現するようにすればよい。
以上に説明した処理によれば、物体の一部に未観測領域(障害物に隠れている領域)が存在する場合であっても、物体を把持する部分として観測領域(障害物に隠れていない領域)が決定される。よって、物体を把持する際に把持部30が障害物と接触しない適確な把持をすることができる。
続いて、図4及び図5を参照して、本実施の形態1に係るロボット1の処理について説明する。図4は、本実施の形態1に係るロボット1の処理を示すフローチャートである。ここでは、図5に示すように、把持対象とする物体の一部が障害物に隠れている場合について説明する。
撮像部50は、その画角内で周辺の環境を撮像し、撮像した環境の画像(カメラ画像)を示す画像情報を生成して特徴抽出部111に出力する(S1)。特徴抽出部111は、撮像部50から出力された画像情報が示す画像について特徴点を抽出する(S2)。
特徴間対応付け部112は、特徴抽出部111によって抽出された特徴点と、物体情報格納部121に格納された物体認識用特徴情報が示す物体のモデルの特徴点とをマッチングし、相互に一致する特徴点を特定する(S3)。
物体認識部113は、特徴間対応付け部112によって特定された特徴点の対応関係に基づいて、マッチングの取れた特徴点から物体の位置・姿勢を導出する(S4)。具体的には、図5に示すように、障害物に隠れてない物体の特徴点から物体の位置・姿勢を認識する。すなわち、物体のモデルの特徴点に対して、一部でも特徴点の一致が見られるのであれば、その一致する特徴点を基準として物体のモデルの特徴点を当てはめた場合に、その物体のモデルの位置に物体が存在すると推定することができる。また、一致する特徴点を基準として当てはめられた物体のモデルの特徴点から、特徴点位置情報が示す物体の3Dモデルと物体の特徴点との位置関係に基づいて物体が存在する領域(物体全体の領域)も特定することができる。よって、例えば、その当てはめられた物体のモデルの特徴点における各特徴点の重心、又は、物体が存在する領域の重心等として、物体の位置を認識することができる。
また、物体の姿勢(傾き)は、一致する特徴点について、物体の特徴点のモデルにおける特徴点の分布に対する、抽出された物体の特徴点の分布の傾きとして特定することができる。この傾きは、例えば、物体の特徴点のモデルにおいて、物体が傾きなく水平面に置かれた状態における方向を定義しておくことで特定するようにすればよい。これによれば、特徴点位置情報に基づいて、物体のモデルの特徴点における特徴点の分布に対する、抽出された物体の特徴点の分布の傾きとして、物体の姿勢を特定することができる。
把持可能部検出部114は、物体認識部113によって認識された物体の位置・姿勢に応じて、物体を把持できるハンド60の位置・傾きを導出し、ハンド60がその位置・傾きとなるような把持部30の軌道を導出する。
この際に、把持可能部検出部114は、障害物との接触を避けるために、マッチングの取れた特徴点から把持可能部分(把持可能場所)を特定し、その把持可能部分を把持する軌道を導出する(S5)。具体的には、把持可能部検出部114は、上述したように、物体のうち、抽出された物体の特徴点と、物体のモデルの特徴点とが一致している領域を、把持部30によって把持可能部分として決定する。すなわち、例えば、抽出された物体の特徴点のうち、物体のモデルの特徴点群と一致する特徴点の重心となる部分を把持可能部分として決定する。
そして、把持可能部検出部114は、決定した把持可能部分を把持する(S6)。すなわち、把持可能部検出部114は、アクチュエータ31a、31b、ハンド60を駆動することで、導出した軌道で把持部30を動作させ、物体を把持する。
以上に説明したように、本実施の形態1では、把持対象物の一部分として認識された領域を、把持領域として決定するようにしている。ここで、物体の一部が障害物によって隠れている場合には、障害物によって隠れていない部分が認識されることになる。したがって、把持対象物の一部分から物体を認識した場合であっても、その物体全体のうち、把持対象物の一部分として認識された領域を把持領域として決定することで、障害物で隠れていない領域を把持することができる。そのため、把持対象となる物体を把持する際における把持装置(ロボット)と障害物との接触を回避することができる。
<発明の実施の形態2>
続いて、実施の形態2に係るロボット1について説明する。本実施の形態2に係るロボット1の外部構成及び内部構成については、図1及び図2と同様であるため説明を省略する。図6を参照して、本実施の形態2に係るロボット1の処理ブロックについて説明する。図6は、本実施の形態2に係るロボット1の処理ブロック図である。
本実施の形態2に係る制御部11は、実施の形態1に係る制御部11と比較して、さらに、未観測領域導出部115及び移動方向算出部116として機能する。
未観測領域導出部115は、物体3Dモデル情報が示す物体の3Dモデルに基づいて、物体の未観測領域(障害物に隠された領域)を導出する。具体的には、未観測領域導出部115は、上述したように物体認識部13によって特定される物体全体の領域から、特徴間対応付け部112によって特徴点が一致すると特定された領域(観測領域)を除いた領域を、物体の未確認領域として導出する。
移動方向算出部116は、未観測領域導出部115によって導出された未観測領域がなくなるように、把持部30で把持した物体の移動方向を算出する。具体的には、移動方向算出部116は、未観測領域導出部115によって特定された物体の未観測領域から、物体の観測領域に向かう方向を、物体の移動方向として算出する。
ここで、物体の移動方向は、物体の未観測領域から物体の観測領域に向かう方向となるのであれば、任意の方法により決定するようにしてよい。例えば、未観測領域の重心から、観測領域の重心に向かう方向としてもよい。ここで、未観測領域の重心は、未観測領域に物体のモデルの特徴点を当てはめた場合における、その未観測領域の特徴点の重心としてもよい。また、観測領域の重心は、観測領域における特徴点(一致する特徴点)の重心としてもよい。
そして、移動方向算出部116は、算出した移動方向に、把持した物体を移動させる。具体的には、把持可能部検出部114は、アクチュエータ31a、31bを駆動することで、算出した移動方向に把持部30を動作させ、物体を移動する。これにより、物体の未観測領域が障害物に隠れていない状態にして、物体のより多くの部分を認識することができる。そのため、この後に物体を運搬する場合であっても、より確実に障害物を回避可能な軌道を導出することが可能となる。
続いて、図7及び図8を参照して、本実施の形態2に係るロボット1の処理について説明する。図7は、本実施の形態2に係るロボット1の処理を示すフローチャートである。ここでは、実施の形態1において説明した処理の続きについて説明する。すなわち、ステップS1〜S6については、実施の形態1の説明と同様であるため、説明を省略する。図8に示すように、把持した物体を障害物を回避するように移動させる場合について説明する。
未観測領域導出部115は、物体の未観測領域(障害物に隠された領域)を導出する。移動方向算出部116は、未観測領域導出部115によって導出された未観測領域が少なくなる方向を物体の移動方向として決定する。すなわち、上述したように、移動方向算出部116は、未観測領域導出部115によって特定された物体の未観測領域から、物体の観測領域に向かう方向を、物体の移動方向として算出する。この移動方向の算出は、例えば、図5に示すような把持前の状態において行われる。移動方向算出部116は、アクチュエータ31a、31bを駆動することで、決定した方向に物体を移動させる(S7)。これにより、図8に示すように、物体の未観測領域が少なくなる方向に、物体が移動される。
一方で、移動方向算出部116は、物体の移動中に、定期的に、障害物によって隠れている特徴点の数が、所定の閾値以下となったか否かを判定する(S8)。すなわち、撮像部50、特徴抽出部111、特徴間対応付け部112、及び物体認識部113も、定期的に動作して物体の認識内容を更新することになる。ここで、具体的には、移動方向算出部116は、障害物によって隠れている特徴点の数として、物体のモデルの特徴点の数から、特徴間対応付け部112によって対応付けられた特徴点の数を減算した数を算出することになる。
障害物によって隠れている特徴点の数が、所定の閾値以下となっていないと判定した場合(S8:No)、移動方向算出部116は、未観測領域が少なくなる方向への物体の移動を継続する(S7)。
障害物によって隠れている特徴点の数が、所定の閾値以下となったと判定した場合(S8:No)、移動方向算出部116は、未観測領域が少なくなる方向への物体の移動を停止し、物体の運搬先となる目標地点への物体の移動を開始する(S9)。
ここで、理論上は、物体の全体が認識できた場合には、障害物によって隠れている特徴点の数は0となる。しかしながら、実際上は、物体の認識状況によっては、物体の全体を認識したとしても、必ずしも、抽出された物体の特徴点の数と、物体のモデルの特徴点の数とが一致するとは限らない場合もある。また、図8に示すように、物体を把持した場合にはハンド60によって隠れてしまう特徴点も存在し得る。そのため、上述したように、障害物によって隠れている特徴点の数が0よりも大きい閾値以下となったことをもって、物体の全体が認識されたものとして、算出した移動方向への動作を停止するとよい。
また、物体の全体が認識されたとの判定は、上述の閾値による判定のみに限られない。例えば、移動方向算出部116は、未観測領域導出部115によって導出された未観測領域から物体全体が認識される移動量を推定し、推定した移動量だけ物体を移動するようにしてもよい。
以上に説明したように、本実施の形態2では、把持対象物の一部分として認識されていない領域から把持対象物の一部分として認識された領域に向かう方向に移動させ、把持対象物のより多くの部分を認識するようにしている。これによれば、物体の未観測領域が障害物に隠れていない状態にして、物体のより多くの部分を認識することができる。そのため、この後に物体を運搬する場合であっても、より確実に障害物を回避可能な軌道を導出することが可能となる。
よって、例えば、物体の移動前に、特徴間対応付け部112によって対応付けられる物体のモデルが誤っている場合に、物体の移動後に正しい物体のモデルに対応付けられることになる。したがって、物体認識部113によって正しい物体の位置・姿勢を認識することができ、その後に物体を運搬する際に、より確実に障害物を回避可能な軌道を導出することが可能となる。
<発明の実施の形態3>
続いて、実施の形態3に係るロボット1について説明する。本実施の形態3に係るロボット1の外部構成及び内部構成については、図1及び図2と同様であるため説明を省略する。図9を参照して、本実施の形態3に係るロボット1の処理ブロックについて説明する。図9は、本実施の形態3に係るロボット1の処理ブロック図である。
本実施の形態2に係る制御部11は、実施の形態2に係る制御部11と比較して、さらに、姿勢補正量算出部117として機能する。
姿勢補正量算出部117は、物体認識部113が認識した物体の姿勢が目標地点の設置面に対して傾いている場合に、その傾きがより少なくなるように物体の姿勢を補正する。なお、好ましくは、物体認識部113が認識した物体の姿勢と物体の3Dモデルに基づいて物体の底面の傾きを算出し、物体の底面と設置面とが平行となる補正量を算出するとよい。
続いて、図10及び図11を参照して、本実施の形態3に係るロボット1の処理について説明する。図11は、本実施の形態3に係るロボット1の処理を示すフローチャートである。ここでは、実施の形態2において説明した処理の続きについて説明する。すなわち、ステップS1〜S9については、実施の形態2の説明と同様であるため、説明を省略する。図11に示すように、目標地点への物体の移動が概ね完了し、目標地点に物体を置く場合について説明する。
物体認識部113は、物体を目標地点に置く場合、把持部30で隠れていない特徴点から物体の位置・姿勢を認識する(S10)。上述したように、障害物によって物体が隠れている場合と同様に、特徴点対応付け部112によって物体が認識され、物体認識部113によってその位置・姿勢も認識することができる。
姿勢補正量算出部117は、物体認識部113が認識した物体の姿勢に基づいて、物体の姿勢が目標地点の設置面に対して傾いている場合に、その傾きがより少なくなるように物体の姿勢を補正した後、物体を目標地点に置く(S11)。
以上に説明したように、把持部30(把持装置)により隠されていない把持対象物の認識可能部分から把持対象物の姿勢を特定し、特定した把持対象物の姿勢の前記運搬先の設置面に対する傾きが、より少なくなるように前記把持対象物の姿勢を補正するようにしている。これによれば、物体を倒れることなく安定して置くことができる。
<本発明の他の実施の形態>
上述の実施の形態では、撮像部50として、画像情報を生成するカメラを利用する場合について説明したが、これに限られない。撮像部50として、周辺の環境の各点までの距離(3次元点群)を示す距離情報を生成するセンサを利用するようにしてもよい。センサとして、例えば、レーザレンジファインダ及び距離画像センサ等のセンサのうち、任意のセンサを利用するようにしてよい。この場合、特徴抽出部111は、距離情報が示す3次元点群から特徴点を抽出する。なお、特徴点を抽出するために利用する特徴として、Point Pair Feature等の特徴のうち、任意の特徴を利用するようにしてよい。
なお、本発明は上記の実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
1 ロボット
10 ロボット本体
20 移動台車
30 把持部
40 頭部
50 撮像部
60 ハンド
11 制御部
12 記憶部
21a、21b アクチュエータ
22a、22b 車輪
31a、31b アクチュエータ
111 特徴抽出部
112 特徴間対応付け部
113 物体認識部
114 把持可能部検出部
115 未観測領域導出部
116 移動方向算出部
117 姿勢補正量算出部
121 物体情報格納部

Claims (7)

  1. 把持装置が取得した3次元情報である環境情報を取得し、取得した環境情報の中から把持対象物を認識し、認識した前記把持対象物の一部が障害物により隠されていた場合であっても前記把持対象物を把持装置により認識して把持する把持方法であって、
    前記把持対象物を含む周辺の環境情報を取得するステップと、
    取得された環境情報により、周辺の環境から前記把持対象物を認識するステップと、
    前記把持対象物の一部分が認識された場合に、把持対象物であると決定するステップと、
    前記把持対象物であると決定された物体の把持領域を決定するステップと、
    決定された把持領域を把持するステップとを備え、
    前記把持領域を決定するステップは、
    前記把持対象物を認識するステップにおいて前記把持対象物の一部分として認識された領域を、前記把持領域として決定し、
    前記把持対象物を認識するステップは、前記環境情報から特徴点を抽出し、抽出された特徴点と、前記把持対象物の特徴点として予め記憶されたモデルの特徴点とのマッチング処理を実行することにより、前記把持対象物を認識し、
    前記把持領域を決定するステップは、前記把持対象物のうち、前記モデルの特徴点と一致する複数の特徴点の重心を前記把持領域として決定する
    把持方法。
  2. 前記把持方法は、さらに、前記把持対象物において、前記把持対象物の一部分として認識されていない未観測領域から前記把持対象物の一部分として認識された観測領域に向かう方向に移動させ、前記把持対象物のより多くの部分を認識するステップを備える
    ことを特徴とする請求項記載の把持方法。
  3. 前記把持対象物のより多くの部分を認識するステップは、
    定期的に、周辺の環境情報を取得し、取得された環境情報により、前記把持対象物の特徴点を抽出し、
    前記把持対象物の特徴点と前記モデルの特徴点との間で一致しない特徴点の数が所定の閾値以下となるまで、前記把持対象物を移動させる、
    ことを特徴とする請求項に記載の把持方法。
  4. 前記把持対象物のより多くの部分を認識するステップは、前記未観測領域の重心、又は、前記未観測領域に前記モデルの特徴点を当てはめた場合における当該未観測領域の特徴点の重心から、前記観測領域の重心、又は、前記観測領域の特徴点の重心に向かう方向に、前記把持対象物を移動させる、
    ことを特徴とする請求項2又は3に記載の把持方法。
  5. 請求項2乃至4のいずれか1項に記載の把持方法によって把持した把持対象物を運搬先に運搬する運搬方法であって、
    前記把持対象物のより多くの部分を認識するステップによって認識された把持対象物のより多くの部分が障害物を回避する軌道を決定し、その軌道で前記把持対象物を運搬するステップ
    を備えることを特徴とする運搬方法。
  6. 前記把持対象物を運搬するステップは、
    周辺の環境情報を取得し、取得された環境情報により、前記把持装置が把持した状態において当該把持装置により隠されていない前記把持対象物の認識可能部分から前記把持対象物の姿勢を特定し、
    特定した把持対象物の姿勢の前記運搬先の設置面に対する傾きが、より少なくなるように前記把持対象物の姿勢を補正する、
    ことを特徴とする請求項に記載の運搬方法。
  7. 3次元情報である環境情報を取得し、取得した環境情報の中から把持対象物を認識し、認識した前記把持対象物の一部が障害物により隠されていた場合であっても前記把持対象物を認識してロボットアームによって把持するロボットであって、
    前記把持対象物を含む周辺の環境情報を取得する環境情報取得部と、
    取得された環境情報により、周辺の環境から前記把持対象物の一部分が認識された場合に、把持対象物であると決定する認識部と、
    前記把持対象物であると決定された物体の把持領域を決定する把持領域決定部と、を備え、
    前記把持領域決定部は、前記把持対象物の一部分として認識された領域を、前記把持領域として決定
    前記認識部は、前記環境情報から特徴点を抽出し、抽出された特徴点と、前記把持対象物の特徴点として予め記憶されたモデルの特徴点とのマッチング処理を実行することにより、前記把持対象物を認識し、
    前記把持領域決定部は、前記把持対象物のうち、前記モデルの特徴点と一致する複数の特徴点の重心を前記把持領域として決定する
    ことを特徴とするロボット。
JP2013249355A 2013-12-02 2013-12-02 把持方法、運搬方法及びロボット Active JP6176091B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013249355A JP6176091B2 (ja) 2013-12-02 2013-12-02 把持方法、運搬方法及びロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013249355A JP6176091B2 (ja) 2013-12-02 2013-12-02 把持方法、運搬方法及びロボット

Publications (2)

Publication Number Publication Date
JP2015104796A JP2015104796A (ja) 2015-06-08
JP6176091B2 true JP6176091B2 (ja) 2017-08-09

Family

ID=53435238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013249355A Active JP6176091B2 (ja) 2013-12-02 2013-12-02 把持方法、運搬方法及びロボット

Country Status (1)

Country Link
JP (1) JP6176091B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6911777B2 (ja) * 2018-01-23 2021-07-28 トヨタ自動車株式会社 動作軌道生成装置
CN115268638B (zh) * 2022-07-11 2024-04-19 江西泰豪动漫职业学院 基于虚拟场景的工具操作方法、系统、存储介质及设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2261069B (en) * 1991-10-30 1995-11-01 Nippon Denso Co High speed picking system for stacked parts
JP2555822B2 (ja) * 1991-10-30 1996-11-20 日本電装株式会社 山積み部品の高速ピッキング装置
JP3930490B2 (ja) * 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
JP2007290056A (ja) * 2006-04-24 2007-11-08 Yaskawa Electric Corp ロボットおよびその物体把持方法
DE102007026956A1 (de) * 2007-06-12 2008-12-18 Kuka Innotec Gmbh Verfahren und System zum Roboter geführten Depalettieren von Reifen
JP5265296B2 (ja) * 2008-10-10 2013-08-14 本田技研工業株式会社 ワーク取り出し方法
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
JP2013078825A (ja) * 2011-10-04 2013-05-02 Yaskawa Electric Corp ロボット装置、ロボットシステムおよび被加工物の製造方法

Also Published As

Publication number Publication date
JP2015104796A (ja) 2015-06-08

Similar Documents

Publication Publication Date Title
KR102650492B1 (ko) 자동화된 패키지 등록 메커니즘과 이를 작동시키는 방법을 구비한 로봇 시스템
US10894324B2 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
JP4226623B2 (ja) ワーク取り出し装置
JP6912415B2 (ja) ハンド制御装置およびハンド制御システム
JP6180087B2 (ja) 情報処理装置及び情報処理方法
US8630737B2 (en) Taking out device having function for correcting posture of an article
JP4961860B2 (ja) ロボット装置及びロボット装置の制御方法
JP2019063984A5 (ja) 情報処理装置及び情報処理方法
US10434652B2 (en) Workpiece picking system
WO2020022302A1 (ja) 把持装置
JP6810173B2 (ja) 物体把持システム
US10909720B2 (en) Control device for robot, robot, robot system, and method of confirming abnormality of robot
JP2016196077A (ja) 情報処理装置、情報処理方法、およびプログラム
CN110303474B (zh) 使用图像处理修正机器人的示教的机器人系统
JP6067547B2 (ja) 物体認識装置、ロボット及び物体認識方法
JP2015182212A (ja) ロボットシステム、ロボット、制御装置、及び制御方法
JP6176091B2 (ja) 把持方法、運搬方法及びロボット
JP2017170567A (ja) ワーク認識方法及びランダムピッキング方法
Fan et al. An automatic robot unstacking system based on binocular stereo vision
JP5218209B2 (ja) 複数の物体間の相対移動を検出する方法
JP2020075340A (ja) 作動システム、制御装置、およびプログラム
CN117794704A (zh) 机器人控制设备、机器人控制系统以及机器人控制方法
US12097627B2 (en) Control apparatus for robotic system, control method for robotic system, computer-readable storage medium storing a computer control program, and robotic system
JP2017087317A (ja) 操作対象物の状態推定装置
CN117769483A (zh) 机器人控制设备、机器人控制系统以及机器人控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170626

R151 Written notification of patent or utility model registration

Ref document number: 6176091

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151