JPWO2012066819A1 - ワーク取り出し装置 - Google Patents

ワーク取り出し装置 Download PDF

Info

Publication number
JPWO2012066819A1
JPWO2012066819A1 JP2011065961A JP2012544126A JPWO2012066819A1 JP WO2012066819 A1 JPWO2012066819 A1 JP WO2012066819A1 JP 2011065961 A JP2011065961 A JP 2011065961A JP 2012544126 A JP2012544126 A JP 2012544126A JP WO2012066819 A1 JPWO2012066819 A1 JP WO2012066819A1
Authority
JP
Japan
Prior art keywords
workpiece
gripping
hand
posture
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011065961A
Other languages
English (en)
Other versions
JP5558585B2 (ja
Inventor
幸康 堂前
幸康 堂前
靖雄 北明
靖雄 北明
奥田 晴久
晴久 奥田
鷲見 和彦
和彦 鷲見
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2010257082 priority Critical
Priority to JP2010257082 priority
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2011/065961 priority patent/WO2012066819A1/ja
Priority to JP2012544126A priority patent/JP5558585B2/ja
Publication of JPWO2012066819A1 publication Critical patent/JPWO2012066819A1/ja
Application granted granted Critical
Publication of JP5558585B2 publication Critical patent/JP5558585B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1612Programme controls characterised by the hand, wrist, grip control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/39Robotics, robotics to robotics hand
    • G05B2219/39543Recognize object and plan hand shapes in grasping movements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects

Abstract

事前に保持しておくデータ量が少なく、且つ、計算時間が少ない態様で、ワークの取り出しを行うことができるワーク取り出し装置の提供。ワーク取り出し装置は、ワークを把持するハンド6と、ハンドを所望の把持位置姿勢にするロボット5と、ワークを3次元計測してワーク計測データを得るセンサ2と、少なくともハンド形状データを蓄えた記憶媒体1と、センサ及び記憶媒体からのデータをもとに把持位置姿勢を計算する情報処理部3と、情報処理部によって計算された把持位置姿勢に基づいてロボットを制御する制御部4とを備える。情報処理部には、ワーク計測データとハンド形状データに基づいて、直接、把持位置姿勢を導き出す最適把持候補作成部が設けられている。

Description

本発明は、バラ積みされたワークを取り出すワーク取り出し装置に関するものである。
ワーク取り出し装置は、複数のワークがバラ積みされている対象から、ロボットハンドによって、ワークを一つずつピッキングする装置である。従来のワーク取り出し装置として、例えば特許文献1に開示された装置がある。かかる装置では、代表的なワークの形状を想定し、そのワークを区分けした部分形状単位と、その部分形状に対応した優先順位とを予めデータとして記憶しておき、バラ積みされた複数のワークを画像処理することで、把持位置の候補となる部分形状を複数算出し、さらに、算出された候補の中から、上記優先順位を考慮してピッキング対象としてのワークとその把持部分とを決定していた。
しかしながら、上記特許文献1のようなワークの取り出し態様では、次のような問題が生じる。
まず、第1の問題として、算出した把持位置の候補が少ないと、その中から決定したワークをハンドで把持しようとした場合に、ハンドが把持対象以外の他のワークと干渉したり他のワークが邪魔でハンドが把持位置まで到達できなかったりする確率が増加する。また、これを回避するためには、事前に多数の把持位置の候補数を算出しておく必要があるが、その場合には、今度は、手間や計算時間、データ量が膨大になるという問題点がある。
さらに、第2の問題として、部分形状の区分態様やその部分形状への優先順位の割り付けは、異なるハンド形状ごとに定義しなおさなくてはならなかったので、それによっても、手間、計算時間が嵩むという問題点がある。
特開2010−89238公報
本発明は、上記に鑑みてなされたものであり、事前に保持しておくデータ量が少なく且つ計算時間も少ない態様で、ワークの取り出しを行うことができるワーク取り出し装置を提供することを目的とする。
上述した目的を達成するため、本発明のワーク取り出し装置は、ワークを把持するハンドと、前記ハンドを所望の把持位置姿勢にするロボットと、ワークを3次元計測してワーク計測データを得るセンサと、少なくともハンド形状データを蓄えた記憶媒体と、前記センサ及び前記記憶媒体からのデータをもとに把持位置姿勢を計算する情報処理部と、前記情報処理部によって計算された把持位置姿勢に基づいて前記ロボットを制御する制御部とを備え、前記情報処理部は、前記ワーク計測データと前記ハンド形状データとに基づいて、直接、把持位置姿勢を導き出す最適把持候補作成部を含む。
本発明のワーク取出し装置によれば、事前に保持しておくデータ量が少なく且つ計算時間も少ない態様で、ワーク形状が変わっても同じアルゴリズムでワークの取り出しを行うことができる。
本発明の実施の形態1に係るワーク取出し装置を示す装置構成図である。 ハンド形状データ及びそれに基づくハンド形状モデルを例示する図である。 実施の形態2に係るワーク取出し装置を示す装置構成図である。 実施の形態3に係るワーク取出し装置を示す装置構成図である。 実施の形態4に係るワーク取出し装置を示す装置構成図である。 実施の形態5によるワーク取出し装置の一部を示す図である。 バラ積みワーク取り出しにおけるロボットとハンドとの動作の制限を示す図である。 センサの視線方向と進入動作の方向との関係を示す図である。 距離画像の例を示す図である。 ワークをバラ積みにした状態を3次元センサで計測することで得られたカメラ画像と距離画像とを示す図である。 実施の形態5において用いる2次元ハンドモデルを例示した図である。 距離画像と2次元ハンドモデルとを利用した最適把持候補作成の処理イメージを表す図である。 図12の処理を行うためのフローチャートである。 図12の把持位置姿勢の結果画像に関し、よりわかりやすい結果のものを示した図である。 把持位置におけるハンドの開閉方向と候補セグメントの形状エッジの方向とが垂直であり、把持状態がより安定している態様を説明する図である。 実施の形態5に係るワーク取出し装置を示す装置構成図である。 従来のワーク形状をもとにした方法では認識が困難で把持試験まで達していなかったワークの取り出しについて、実施の形態5によるワークの取り出しを行った際の成功率を評価した結果を示すグラフである。
以下、本発明に係るワーク取出し装置の実施の形態について添付図面に基づいて説明する。なお、図中、同一符号は同一又は対応部分を示すものとする。
実施の形態1.
図1は、本発明の実施の形態1によるワーク取出し装置を示す装置構成図である。ワーク取出し装置は、記録媒体1と、センサ2と、情報処理部3と、制御部4と、ロボット5と、ハンド6とを少なくとも備えている。
記録媒体1は、少なくともハンド形状データを蓄えている。センサ2は、バラ積みされたワークの3次元の計測データを取得するものである。情報処理部3は、記憶媒体1とセンサ2とからのデータをもとにワークの把持位置姿勢を出力する。制御部4は、情報処理部3で得られた把持位置姿勢のデータに基づき、ロボット5の動作さらにはハンド6の動作をコントロールするものである。また、ロボット5は、制御部4の指令に基づきハンド6を任意の位置や姿勢にするものであり、ハンド6はワークを把持するものである。
センサ2は、ロボット5の手先に搭載されていても、あるいは、ロボット5とは別に適当な固定先に設置されていてもよい。また、センサ2は、例えば、二眼あるいは多眼のステレオカメラ、レーザやプロジェクタなどの投光部とカメラとを備えたアクティブ方式のステレオカメラ、タイムオブフライト法を用いる機器、単眼でロボット動作を利用した因子分解法やStructure from Motion、Structure and Motionによる機器、モーションステレオカメラ、視体積交差法による機器など、任意の領域の3次元データをとれるものであればよい。
ハンド6は、挟持タイプ、吸着タイプ、あるいは、穴に挿し込み広げるタイプ(以下、拡持タイプと称する)でもよい。
本発明は、ワーク形状に基づき事前に把持位置姿勢を決めるのではなく、ハンド形状と計測データとから動的に把持位置姿勢を決めることを特徴の一つとしており、具体的には、情報処理部3に、センサ2からのワーク計測データ上のどこを掴みに行くかを動的に決定する最適把持候補作成部30が含まれている。さらに、最適把持候補作成部30は、把持可能特徴抽出部301と、ハンドマッチング部302と、把持姿勢候補選択部303とを含んでいる。把持可能特徴抽出部301は、センサ2のワーク計測データから把持可能な特徴を抽出する。ハンドマッチング部302は、記録媒体1に蓄えられたハンド形状データと把持可能特徴抽出部301で抽出された特徴とのマッチングをとり、動的に複数の把持位置姿勢候補を作成する。把持姿勢候補選択部303は、ハンドマッチング部302で作成された把持位置姿勢候補から、最も掴みやすい把持位置姿勢を選択する。以下、各部についてより詳細に説明する。
把持可能特徴抽出部301では、ワークの全体形状によらず、利用するハンド6が掴むことができる特徴を抽出する。例を挙げると、挟持タイプのハンド6であれば、つまみやすい突起部分やエッジが相当する。吸着タイプのハンドであれば、一定領域以上の面が相当する。また、拡持タイプのハンドであれば、ワークの表面に生じている円形の穴が相当する。
これら特徴は、3次元計測データに対してエッジ、面、円などを当てはめることで抽出することが可能である。これらの特徴を高速に求めるための態様としては、例えば、距離を明度で表した距離画像に対して、キャニー演算子やソーベル演算子などを利用したエッジ検出を行う態様、ハフ変換による円抽出を行う態様、エッジで囲まれた領域をラベリングすることで面を抽出する態様、輝度のエッジ勾配方向や強度を利用してテクスチャ部分を突起部として検出する態様等を挙げることができる。これらは、基本的な画像処理で求められるものであり、多くの特徴を抽出しても非常に高速で完了する。
ハンドマッチング部302では、把持可能特徴抽出部301で抽出された特徴と記録媒体1に蓄えられたハンド形状データ(モデル)とのマッチングをとる。これは、各ハンドタイプに応じて、例えば、図2に示されるようなモデルを持つことで実現される。例えば、挟持タイプであれば、把持アプローチ直前のハンドアームの開き幅、進入深さ、ハンドの縦幅、横幅により定義することができる。また、吸着タイプであれば、吸着の半径によって定義することができ、拡持タイプであれば、差し込める穴の半径、穴周辺のワーク面の半径、進入深さで定義することができる。上記のようなハンド形状データでは、パラメータがシンプルであるので、必要とするデータ量は少なくて済む。各パラメータを求める際には、ハンド6のCADデータから計算してもよいし、ハンド6を直接計測してもよい。
上述したようなハンド形状モデルとのマッチングは、例えば、吸着タイプであれば、モデルと特徴点群とのマッチングが高い部分を候補とし、特徴面が小さかったり、特徴面内に穴が開いていたりして、モデルとの一致度が低い場合には、その候補から照合スコアを低くする。こうしたマッチングは、3DモデルであればICP(Iterative Closest Point)などの点群どうしの照合により、2Dモデルであればテンプレートマッチングや、モデルをフィルタと考えての畳みこみ処理によるマッチングによって、実現することができる。また挟持タイプや拡持タイプであればさらに周辺環境との干渉も同時に考慮することができる。すなわち例えば挟持タイプであれば、進入深さとハンドの縦幅、横幅とで定義される領域に計測データが含まれていた場合、照合スコアを下げることで実現する。ハンドマッチング部302は、把持可能特徴抽出部301で抽出された複数の特徴に対して、特徴ごとにマッチングスコアが最も高い把持位置姿勢を計算し、それら複数の把持位置姿勢を把持位置姿勢候補とするか、あるいは、把持可能特徴抽出部301で抽出された単一の特徴に対して、マッチングスコアが所定の閾値よりも高い複数の把持位置姿勢を計算し、それら複数の把持位置姿勢を把持位置姿勢候補とする。このような処理によって、ワーク形状が未知でも、動的に把持位置姿勢を定義することができる。
また、上記のマッチングは、把持可能特徴抽出部301で距離画像上の主法線を計算しておくことで、並進2自由度、回転1自由度の3自由度の2次元画像照合でスコアを計算でき、各特徴の干渉がなくつかみやすい把持位置姿勢を高速に計算することが可能になる。
把持姿勢候補選択部303では、ハンドマッチング部302で作成された把持位置姿勢候補から、最も掴みやすい把持位置姿勢候補を選択する。これはハンドマッチング部302のスコアが最も高かったものを選んでもよいし、さらに追加の優先度を与えても良い。例えば、把持可能特徴抽出部301で抽出された特徴の平均高さや重心位置を利用して、バラ積みシーンにおいて最も高い位置にあるワークを選択するなどしてもよい。
このようにして、情報処理部3により最適な一つの把持位置姿勢が作成されたら、制御部4は、その把持位置候補のデータに基づき、ロボット5の動作さらにはハンド6の動作をコントロールし、ハンド6はバラ積みされた複数のワークの中から目的のワークを把持し取り出す。
以上のように構成された本実施の形態に係るワーク取出し装置によれば、少なくともハンド形状データやそれに基づくハンド形状モデルを事前の情報として保持していれば、ワーク形状やバラ積みシーンの状態によらず、周辺ワークとハンドの干渉が生じにくく掴みやすい把持位置姿勢を動的に計算することができ、事前に保持しておくデータ量が少なく且つ計算時間も少ない態様で、ワーク形状が変わっても同じアルゴリズムでワークの取り出しを行うことができる。また、ハンド形状が異なるたびに、ワーク内の部分の優先順位を定義しなおさなければならないといった処理が強いられないため、優先順位の変更に伴う手間や計算時間が嵩むという問題を解消することができる。
実施の形態2.
上記実施の形態1では、ハンド形状データを直接、ワーク計測データにマッチングさせる態様をとっており、すなわちハンド形状データのみで最適な把持位置姿勢を計算していた。これに対して、本実施の形態2は、把持位置姿勢を絞り込んだ後に、さらにワーク形状データを利用して、計測データだけでは判断できないワークどうしの絡み状態や、拾上げ動作が成功するか否かの推定をも行えるようにしたものである。
本実施の形態2では、記憶媒体1に、ハンド形状データに加えて、ワーク形状データも蓄えられており、また、図3に示されるように、情報処理部3には、最適把持候補作成部30により計算された把持位置姿勢を、ワーク形状データに基づき評価するワーク状態判断部31がさらに含まれている。
また、ワーク状態判断部31は、図3に示されるように、ワークマッチング部311、ワーク絡み状態推定部312、ワーク拾い出し動作推定部313、把持姿勢候補選択部314を含んでいる。ワーク絡み状態推定部312は、ワーク計測データとワーク形状データとのマッチングから作成されるワークモデル同士の干渉を判定することで、ワーク計測データには現れないバラ積み内部のワーク同士の絡みを判定し、絡みが少ない対象に対応した把持位置姿勢を優先する動作を実現させるものである。また、ワーク拾い出し動作推定部313は、ハンド形状データと、ワーク形状データと、計算される把持位置姿勢とから、把持したときのワークの重心位置を計算し、それをもとに把持後のワークの落下または把持後のワークの傾きの可能性が低い把持位置姿勢を優先する動作を実現させるものである。
以下、各部の動作についてより詳細に説明する。ここで、まず、本実施の形態2における最適把持候補作成部30は、基本的には、実施の形態1の最適把持候補作成部30と同じであるものの、最適と評価できる把持位置姿勢をひとつだけ決定するのではなく、複数、選定する点で異なる。さらにその場合、選定された複数の把持位置姿勢に優先付けのためのスコアを作成しておいてもよい。
最適把持候補作成部30で新たに計算された把持位置姿勢とそれに用いられた抽出特徴とを初期候補として、ワークマッチング部311でワーク形状データとのマッチングを行う。すでに初期候補が求められていることはワークモデル照合の初期探索ができていることにあたる。このとき特徴が3次元点群やエッジ点の集合であればICP法などで正確なマッチングをおこなう。2次元画像であれば並進2自由度、回転1自由度の3自由度のテンプレート照合や、ハッシュを用いた照合、シルエットによるマッチング、特徴の幾何学的関係による照合を用いてもよい。また、あらかじめ最適把持候補作成部30で抽出されやすい特徴がワークのどの部分にあたるかを判断しておき、マッチングの探索範囲を限定し高速化を図ってもよい。
ワーク絡み状態推定部312では、ある把持位置姿勢に対応するワークと、そのワークの周辺にあるワーク群とに関して、ワーク計測データ及びワーク形状データをマッチングすることで対応するワークモデルを獲得し、それらワークモデルの状態を分析することで、ワーク同士の干渉を判定する。その結果、それぞれのワークモデルの一部が同一位置に存在し、干渉している場合、そのワークモデルに対応する把持位置姿勢は候補から除外するか、もしくは把持姿勢候補選択部314における候補選択の優先度をさげるなどの処理を行う。またこのときワークモデル間で干渉がなかったとしても、ワークモデルの拾い出し動作をシミュレーションし、その動作により他の周辺ワークモデルとぶつかる場合は、同様に対応する把持位置姿勢を候補から除外するか優先度をさげてもよい。
ワーク拾い出し動作推定部313では、ある把持位置姿勢とそれに対応するワークモデル、さらにそれに対応する把持位置姿勢のハンド形状モデルを用いて、把持のシミュレーションをおこなう。そして、その把持位置姿勢でハンドがワークを把持した場合、ワークの重心位置がどこにあるかを計算し、拾い出し動作時に落下の危険が高い把持位置姿勢は除外するか、もしくは優先度をさげる。これは、例えば、図2のように用意されたハンドの把持位置と、計算されたワークの重心位置間のユークリッド距離を評価指標として、落下の危険性を判定してもよい。
把持姿勢候補選択部314では、ワーク絡み状態推定部312、ワーク拾い出し動作推定部313で評価された優先度をもとに、最適な把持位置姿勢を選択する。このとき、最適把持候補作成部30で作成された候補付けのためのスコアを利用してもよい。それぞれの評価指標は、和算のような線形結合でも、積算のような非線形結合でもよい、また、例えば最適把持候補作成部30のスコアを主体に、ワーク絡み状態推定部312、ワーク拾い出し動作推定部313の優先度が一定以下の候補は棄却するなどの選択方法をとってもよい。
本実施の形態2に係るワーク取出し装置によれば、実施の形態1と同様、データ量・モデル登録の手間・計算時間の低減を図りつつ、ハンド干渉が少なく、高い精度で把持できる候補を選択することができる。さらに加えて、本実施の形態では、ワーク間の絡みがおきにくく、拾い出し動作中に落下する失敗がおきにくいワーク取り出しができる把持位置姿勢が優先的に選定されるため、より高い成功率の取り出し動作を実現することもできる。
実施の形態3.
図4に基づいて、本実施の形態3に係るワーク取出し装置を説明する。本実施の形態3は、上記実施の形態2において、さらに、記録媒体1に次作業動作の把持位置姿勢に関するデータが蓄えられ、図4に示されるように、情報処理部3に次作業に適した把持位置候補を推定する次作業動作推定部が設けられたものである。
次作業動作推定部32は、記録媒体1に蓄えられた次作業動作の把持位置姿勢をもとに、把持位置候補を推定する。これは、ワーク取り出しという作業の次の作業が、例えば、組立中の製品へのワークの組付けだとする場合、その組付け中に要求されるワークの把持位置姿勢はその組付け動作に適したものに限定される。例えば、裏返しに把持したワークをそのまま組付けることはできないことが多く、また、ロボットが把持中にとる姿勢は大きく変えることは困難である。微小な把持誤差は許容できるが、大きな誤差をともなう把持や、組付け姿勢とは異なるワークの姿勢での把持が行われてしまった場合、ワークの持ち替えが必要となり作業時間や手間が増えてしまう。そこで、本実施の形態では、取り出し時のワーク把持姿勢から次の作業で持ち替えが必要と判断される場合は、把持位置姿勢の候補としての優先度を下げる、もしくは棄却する。なお、ここでいう次の作業は、組付けだけでなく、搬送、パレタイジング、梱包などの作業を例示することができる。
取り出し時の把持位置姿勢から持ち替えが必要か否かを判断する方法は、ワーク形状モデル、ハンド形状モデル、把持位置姿勢を利用して、ワークの把持状態をシミュレートする。具体的に例示すると、次作業動作推定部32は、ハンド形状モデルに把持された状態のワーク形状モデルを、組付けなどの次作業をシミュレートして得られるワーク位置におけるハンド形状モデルに把持された状態のワーク形状モデルに、マッチングさせる。そして、それぞれのワーク形状モデルの位置姿勢が一致した状態で、それぞれのハンド形状の位置姿勢の間の変換行列をロボットが演算可能であれば次作業として持ち替えなしの動作が可能であると判定し、演算不可能であれば一度把持しなおすか、別のロボットハンドに手渡すなどの持ち替え作業をはさむ必要があると判定することができる。
以上のように構成された本実施の形態のワーク取出し装置によれば、上記実施の形態と同様、事前に保持しておくデータ量が少なく且つ計算時間も少ない態様で、ワークの取り出しを行うことができることに加え、持ち替え作業を減少させることによるタクトタイムの短縮を実現することも可能となっている。
実施の形態4.
図4に示した実施の形態3では、最適把持候補作成部30により計算された複数の把持位置姿勢候補を、ワーク状態判断部31において、選り分けてから、次作業動作推定部32において、さらに選り分けるという処理が採用されていた。これに対し、本実施の形態4は、図5に示されるように、最適把持候補作成部30により計算された複数の把持位置姿勢候補を、ワーク状態判断部31、次作業動作推定部32それぞれでパラレルに評価し、最終的にそれらの評価を把持姿勢候補選択部33において総合的に判断するという処理をとるものである。
この場合、最適把持候補作成部30で計算される候補のスコア、ワーク状態判断部31、次作業動作推定部32それぞれの評価値を、和算のような線形結合や、積算のような非線形結合であらわし、評価してもよい。また、例えば、適把持候補作成部30のスコアを主体に、ワーク状態判断部31、次作業動作推定部32の評価値が一定以下の候補は棄却するなどの選択方法を介在させるような処理をとってもよい。
このような構成によれば、実施の形態3のように正確な取り出し作業の実現と持ち替え作業が減ることによるタクトタイムの短縮が実現可能であり、さらに加えて、実際の生産システムでトラブルがおきやすい部分などにあわせて、評価値の利用のしかたを柔軟に設計することも可能となっている。
実施の形態5.
処理が高速で、ワーク形状に依存せず調整が容易で、汎用的なバラ積みワーク取り出しを実現する実施形態を示す。図6は本発明の実施の形態5によるワーク取出し装置の一部を示す。ロボット5の先に、挟持型のハンド6と3次元計測をするセンサ2とを搭載する。図6のロボット5は、6自由度の多関節型であるが、7自由度の多関節型でもよい。あるいは、ロボット5は、双腕型、垂直スカラー型、パラレルリンク型のロボットでもよい。また、センサ2は、ロボット5の先端に取付けられ、一緒に稼動できるが、これ以外に、ロボット5と別に固定設置してもよいし、別の可動ステージに設置してもよい。
バラ積みワーク取り出しにおけるロボットとハンドとの動作を図7のように制限する。ロボット5にはハンド6の先端位置に図7に示すようなX,Y,Zの方向を持つ座標系があるとする。このとき、図7の(a)のように、供給箱7の上空でX軸,Y軸における並進2自由度、Z軸周りの回転1自由度の動作で、供給箱7内のバラ積み物体を掴めるようにハンド6の位置と姿勢を合わせる。次に、図7の(b)のように、Z方向での並進1自由度の動きで供給箱7内に進入し、ワークをハンド6で把持する。さらに、図7の(c)ように、Z方向での並進1自由度の動作で、ワークを把持したままハンド6を引き上げる。これは並進3自由度、回転1自由度の合計4自由度の動作で実現する。
この動作には多くの利点がある。例えば、6自由度の動きがロボット5の動作範囲外にある場合に、ワークの姿勢に応じて6自由度の動きをロボット5にさせようとすると、ロボット5はエラーで停止してしまうが、上記の合計4自由度の動作で実現できれば、そのような事態も避けることができる可能性が高まる。また、6自由度の複雑な動きによりロボット5やハンド6が供給箱7やセンサ2などと衝突する危険を避けられる。4自由度の動きでロボット動作範囲、安全範囲、干渉回避範囲を設計することは容易である。さらに、合計4自由度の動作であれば、ロボット5として、安価でありながら高速な垂直スカラー型も利用できる。
ワークに近づく進入動作を並進1自由度の動作に制限するとき、図8に示すようにセンサ2の視線方向をその進入動作の方向と一致させる。ここでいうセンサの視線方向とは、カメラレンズの光軸方向を示す。このとき、センサ2の距離画像と、図2に示したハンド形状の2次元モデル(以降、2次元ハンドモデルと呼ぶ)から、画像処理だけで高速に把持位置姿勢を計算することができる。
距離画像の例を図9に示す。カメラで撮影した画像の場合、各画素には対象物の表面の光の反射量が輝度値として収まっている。一方、距離画像の場合、各画素にはそこにある物体の高さが収まっている。図9では撮影したセンサ2に近ければ明るく、遠ければ暗く表示されている。距離画像は、高さを含む3次元情報を画像として扱えるため、3次元の位置データとして扱うよりも処理演算量が軽いという利点がある。また、距離画像によれば、従来から生産現場で使われてきた多くの画像処理方法を応用できる。距離画像は、例えば、空間コード化方式やステレオ方式のような高さ情報を得ることができる3次元計測方法と、それを実現する3次元センサとにより得ることができる。図10はあるワークをバラ積みにした状態を3次元センサで計測し、カメラ画像と距離画像を得たものである。
前述したように4自由度にロボット5の動作を制限し、センサ2の視線方向を進入動作方向に一致させ、バラ積みワークの距離画像を用いる態様で、ワークの取り出しのための最適把持候補を作成する方法を説明する。なお、以下の説明は、取り出し・つかみ出しに特化して考えたものであり、ワークをどのような姿勢でつかみ出すかは問わない。ワークのCADデータ、点群データ、距離データ、2次元の画像データや、部分情報(ワーク特定部分の面積やエッジの長さ、テクスチャ特徴、穴などワークの特徴的な部分の幾何関係など)を事前に用意しない。これはワーク形状に応じた事前調整にかかる手間と、扱うワークの数が増えればデータ量が大きくなることを避けるためである。
距離画像からワークの掴む位置を計算するために、図11に示すような2次元ハンドモデルを使う。これは図2の挟持型のハンド形状2Dモデルをさらに簡略化したもので、ハンド6が進入・把持動作をおこなう瞬間にワークにぶつかるハンドの先端部分を円形の干渉領域で表している。把持するためのハンド先端の干渉領域は2箇所あるので、その円の半径と、2つの円の位置関係を決めるハンドの開き幅という合計2つのパラメータだけで、この2次元ハンドモデルを定義できる。これは、ハンド先端が直方体であれば、円の半径の代わりに縦・横の長さを使い3つのパラメータであらわしてもよい、また多角形や楕円を現すパラメータで定義してもよい。しかし、そのように厳密でなくても、近似的な円の半径を、干渉領域全体を覆うよう十分大きめに設定すれば、干渉を避けるためのモデルとして近似的な円を用いても、ハンドは、正しく機能する。
図12に距離画像と2次元ハンドモデルを利用した最適把持候補作成の処理イメージを表す。また図13は処理フローを表す。処理はまず、距離画像からセグメントを抽出する。ここでいうセグメントとは、形状エッジに囲まれたワークの平面や曲面部分を指す。セグメンテーションするとは、このセグメントを抽出することをさす。この抽出は、距離画像からのキャニー演算子やソーベル演算子によるエッジ検出で実現する。距離画像におけるエッジとは、物体の形状エッジそのものを表す。この検出エッジで区切られた領域が、ワークの平面や曲面部分にあたる。ワーク形状とのモデルマッチングが困難な、細ネジやバネなどでもこの方法でセグメントを抽出できる。
次に、抽出されたたくさんのセグメントをいくつかの候補に絞り込む。この絞り込みは、計算時間の削減に寄与するが、全てのセグメントを候補として選択しても処理自体は実現できるので、絞り込みをせずに本発明を実施してもよい。候補の選択方法は、例えば最も高い位置にあるセグメントから優先順位をつけて複数選択してもよいし、高さ情報の変わりにセグメントの面積をもとに候補選択しても良い。この候補の中から次に説明するマッチングによるスコア(把持可能尤度)が最も高かった把持位置姿勢を出力する。
候補として選択したセグメントは2次元ハンドモデルとのマッチングをおこなう。これにより、ぶつからずに安定して掴める位置を探す。これは、1)ハンドの開き幅内に存在するセグメントの面積が大きく、且つ、2)ハンド先端の干渉領域とセグメント周辺との干渉がなく衝突しない、把持位置姿勢を探すことで実現する。1)は、候補セグメントとハンドの開き幅部分との畳みこみ処理で、2)は、ぶつかる可能性のある周辺を含めた候補セグメントとハンド先端との干渉領域の畳みこみ処理で、計算することができる。1)の領域から2)の領域を引くと、「掴める可能性があり、かつ、ぶつかる可能性のない領域」となる。これを平滑化した後に可視化したものが図12の把持可能尤度である。計算する把持位置姿勢はつまり、この最大尤度を記録したときのハンドモデルの姿勢と位置である。これを、候補として選択した唯一のセグメントに対して、もしくは複数のセグメントに対して、計算する。唯一のセグメントの場合は、そのセグメント内で最大尤度を記録するハンドモデルの位置姿勢を選択する。複数のセグメントの場合は、各セグメント内の最大尤度が最も大きいセグメントの、最大尤度を記録したハンドモデルの位置姿勢を選択する。図12の把持位置姿勢の結果画像は、ワークの一部出っ張った部分の重心に、エッジにほぼ垂直に把持をするのが適当という計算結果が出力されたことを示している。92という数字は、把持可能尤度を面積で正規化し、最大100点で「どれだけつかみやすいか」を表したものである。真ん中の濃灰色の丸が把持位置を表し、直線で結ばれた白い2つ円がハンド先端の干渉領域を表している。
いくつかの候補セグメントに対して把持位置姿勢を同じように計算した、よりわかりやすい結果が図14である。図14を見ると、周辺干渉がないところは得点が高く、進入したときにぶつかりそうな部分は得点が低い。また、掴む位置のエッジに直交した部分の得点が高くなっていることがわかる。
さらに、把持状態を安定させるには、把持位置におけるハンドの開閉方向と候補セグメントの形状エッジの方向とが垂直であるほうがよい。図15にその例を示す。候補セグメントのエッジを検出し、局所領域ごとのエッジ方向を計算する。候補セグメントに重なるある把持位置に、あるハンド開閉方向を持つ2次元ハンドモデルがあるとき、それと交差する候補セグメントの形状エッジのエッジ方向と、ハンドの開閉方向とが垂直に近いほど直交度が高いとして評価することで、より安定した把持姿勢を探索する。前述の把持可能尤度のスコアに掛け合わせたり、重みをつけて足し合わせたりすることで、両方の評価を反映することができる。
図16は、本発明の実施の形態5によるワーク取出し装置を示す装置構成図である。装置には、2次元ハンドモデルのみを蓄えた記録媒体1、バラ積みワークの距離画像を生成するセンサ2、記憶媒体1の2次元ハンドモデルとセンサ2の距離画像をもとに把持位置姿勢を計算する最適把持候補生成部30を持つ情報処理部3、その把持位置姿勢情報に基づき動作をコントロールする制御部4、制御部の指令に基づきハンドを任意の位置姿勢にするロボット5、ワークを把持するハンド6が含まれる。
最適把持候補生成部30内でおこなわれる処理フローが前述した図12のフローである。この処理はCore2Duo2G、メモリ2GのPCで計算時間0.1〜0.2sec程度での実装を実現しており、3次元情報を扱った処理としては、非常に高速であることが分かる。また、本発明の実施の形態5で、従来のワーク形状をもとにした方法では認識が困難で把持試験まで達していなかったワークの取り出しをおこない、成功率を評価した結果を、図17に示す。「単体取り出し」とは、ワーク一つのみをつかみ出した場合であり、「複数取り出し」とはワーク複数を同時に取り出した場合である。複数取り出しは後工程で、例えばカメラの計測結果や重量判定をもとに棄却したり、平面上に置きなおして分離したりするなどの処置が可能であることから、取り出しそこねた場合のみを失敗とすると、全ワークの平均成功率で91.5%となった。本実施の形態では、ワークごとの調整をおこなわずに、これまでバラ積みからの取り出しが困難であった複雑な形状のワークの取り出しが高速に実現している。
このように構成された本実施の形態5によれば、前述した実施の形態同様、事前に保持しておくデータ量が少なく且つ計算時間も少ない態様で、ワークの取り出しを行うことができるが、さらに加えて、次のような利点も得られる。まず、センサの視線方向を、ハンドがバラ積みワークを取り出すためにワークに近づくときの進入方向と一致させているので、最適把持候補の作成が高速に実現できる。また、ロボットがX,Y,Z方向の並進3自由度と、ワークを取り出す進入方向軸周りの回転1自由度という、合計4自由度の制限された動作で所望の把持位置姿勢を形成するので、ロボット動作範囲、安全範囲、干渉回避範囲が容易に設計でき、また、装置の立上げが迅速化されている。
また、最適把持候補作成部は、ハンド形状データとして2次元ハンドモデルを使い、ワーク計測データとして距離画像を使い、そのハンド形状データとワーク計測データとの畳みこみで求められる把持可能尤度から把持位置姿勢を計算する。さらに、最適把持候補作成部は、距離画像からのエッジ検出に基づき平面や曲面を抽出し、その平面や曲面とハンド形状データをマッチングすることで把持位置姿勢を計算する。よって、高速にワーク取り出しができ、且つ、ワーク形状に依存した調整を必要とせずそれによっても装置の立上げが迅速化する。また、最適把持候補作成部は、距離画像からのエッジ検出に基づき抽出した平面や曲面の形状エッジの方向と、ハンドの開閉方向との直交度から把持位置姿勢を計算するので、ワークの取り出しの成功率を高めることができる。
以上、好ましい実施の形態を参照して本発明の内容を具体的に説明したが、本発明の基本的技術思想及び教示に基づいて、当業者であれば、種々の改変態様を採り得ることは自明である。
1 記録媒体、2 センサ、3 情報処理部、4 制御部、5 ロボット、6 ハンド、7 供給箱、30 最適把持候補作成部、31 ワーク状態判断部、32 次作業動作推定部、301 把持可能特徴抽出部、302 ハンドマッチング部、303 把持姿勢候補選択部、311 ワークマッチング部、312 ワーク絡み状態推定部、313 ワーク拾い出し動作推定部、314 把持姿勢候補選択部。

Claims (11)

  1. ワークを把持するハンドと、
    前記ハンドを所望の把持位置姿勢にするロボットと、
    ワークを3次元計測してワーク計測データを得るセンサと、
    少なくともハンド形状データを蓄えた記憶媒体と、
    前記センサ及び前記記憶媒体からのデータをもとに把持位置姿勢を計算する情報処理部と、
    前記情報処理部によって計算された把持位置姿勢に基づいて前記ロボットを制御する制御部とを備え、
    前記情報処理部は、前記ワーク計測データと前記ハンド形状データとに基づいて、直接、把持位置姿勢を導き出す最適把持候補作成部を含む
    ワーク取り出し装置。
  2. 前記最適把持候補作成部は、前記ハンド形状データに基づくモデルと、前記ワーク計測データとのマッチングから、把持位置姿勢を直接計算する、請求項1のワーク取り出し装置。
  3. 前記センサの視線方向は、前記ハンドがバラ積みワークを取り出すためにワークに近づくときの進入方向と一致している、請求項1又は2のワーク取り出し装置。
  4. 前記ロボットがX,Y,Z方向の並進3自由度と、ワークを取り出す進入方向軸周りの回転1自由度という、合計4自由度の制限された動作で所望の把持位置姿勢を形成する、請求項3記載のワーク取り出し装置。
  5. 前記最適把持候補作成部は、前記ハンド形状データとして2次元ハンドモデルを使い、前記ワーク計測データとして距離画像を使い、そのハンド形状データとワーク計測データとの畳みこみで求められる把持可能尤度から把持位置姿勢を計算する、請求項3又は4のワーク取り出し装置。
  6. 前記最適把持候補作成部は、距離画像からのエッジ検出に基づき平面や曲面を抽出し、その平面や曲面とハンド形状データをマッチングすることで把持位置姿勢を計算する、請求項3乃至5の何れか一項のワーク取り出し装置。
  7. 前記最適把持候補作成部は、距離画像からのエッジ検出に基づき抽出した平面や曲面の形状エッジの方向と、ハンドの開閉方向との直交度から把持位置姿勢を計算する、請求項6のワーク取り出し装置。
  8. 前記記憶媒体は、ワーク形状データも蓄えており、
    前記情報処理部は、前記最適把持候補作成部により計算された把持位置姿勢を、前記ワーク形状データに基づき評価するワーク状態判断部を含む
    請求項1乃至7の何れか一項のワーク取り出し装置。
  9. 前記ワーク状態判断部は、前記ワーク計測データと前記ワーク形状データとのマッチングから作成されるワークモデル同士の干渉を判定することで、前記ワーク計測データには現れないバラ積み内部のワーク同士の絡みを判定し、絡みが少ない対象に対応した把持位置姿勢を優先するワーク絡み状態推定部を含む、請求項8のワーク取り出し装置。
  10. 前記ワーク状態判断部は、前記ハンド形状データと、前記ワーク形状データと、計算される把持位置姿勢とから、把持したときのワークの重心位置を計算し、それをもとに把持後のワークの落下または把持後のワークの傾きの可能性が低い把持位置姿勢を優先するワーク拾い出し動作推定部を含む、請求項8又は9のワーク取り出し装置。
  11. 前記記憶媒体は、ワーク取り出しの次の作業に関するワークの次作業把持位置姿勢のデータをも蓄えており、
    前記情報処理部は、前記ロボットによって次作業把持位置姿勢への実現が可能な把持位置姿勢を優先する次作業動作推定部を含む
    請求項1乃至10の何れか一項のワーク取り出し装置。
JP2012544126A 2010-11-17 2011-07-13 ワーク取り出し装置 Active JP5558585B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010257082 2010-11-17
JP2010257082 2010-11-17
PCT/JP2011/065961 WO2012066819A1 (ja) 2010-11-17 2011-07-13 ワーク取り出し装置
JP2012544126A JP5558585B2 (ja) 2010-11-17 2011-07-13 ワーク取り出し装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012544126A JP5558585B2 (ja) 2010-11-17 2011-07-13 ワーク取り出し装置

Publications (2)

Publication Number Publication Date
JPWO2012066819A1 true JPWO2012066819A1 (ja) 2014-05-12
JP5558585B2 JP5558585B2 (ja) 2014-07-23

Family

ID=46083763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012544126A Active JP5558585B2 (ja) 2010-11-17 2011-07-13 ワーク取り出し装置

Country Status (6)

Country Link
US (1) US9089966B2 (ja)
JP (1) JP5558585B2 (ja)
KR (1) KR101453234B1 (ja)
CN (1) CN103221188B (ja)
DE (1) DE112011103794B4 (ja)
WO (1) WO2012066819A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014502564A (ja) * 2010-12-30 2014-02-03 ゼンロボティクス オイ 把持位置を決定する方法、コンピュータプログラム及び装置

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5837065B2 (ja) 2011-06-29 2015-12-24 三菱電機株式会社 部品供給装置
JP5494617B2 (ja) * 2011-10-26 2014-05-21 株式会社安川電機 ロボットシステムおよび加工品の製造方法
US9434072B2 (en) * 2012-06-21 2016-09-06 Rethink Robotics, Inc. Vision-guided robots and methods of training them
DE102013013114A1 (de) * 2012-08-17 2014-02-20 Liebherr-Verzahntechnik Gmbh Vorrichtung zum automatisierten Entnehmen von in einem Behälter angeordneten Werkstücken
JP5614553B2 (ja) * 2012-09-14 2014-10-29 株式会社安川電機 ロボット装置
US9393686B1 (en) * 2013-03-15 2016-07-19 Industrial Perception, Inc. Moveable apparatuses having robotic manipulators and conveyors to facilitate object movement
JP5765355B2 (ja) * 2013-03-18 2015-08-19 株式会社安川電機 ロボットピッキングシステム及び被加工物の製造方法
JP2014205209A (ja) * 2013-04-11 2014-10-30 三菱電機株式会社 ロボットシステム、及びロボットシステムの制御方法
JP5698789B2 (ja) 2013-04-18 2015-04-08 ファナック株式会社 ワークを搬送するロボットの制御装置
GB201309156D0 (en) * 2013-05-21 2013-07-03 Univ Birmingham Grasp modelling
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP5929854B2 (ja) * 2013-07-31 2016-06-08 株式会社安川電機 ロボットシステムおよび被加工物の製造方法
JP6429450B2 (ja) * 2013-10-31 2018-11-28 キヤノン株式会社 情報処理装置、情報処理方法
JP5788460B2 (ja) 2013-11-05 2015-09-30 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
JP6036662B2 (ja) * 2013-11-22 2016-11-30 三菱電機株式会社 ロボットシミュレーション装置、プログラム、記録媒体及び方法
JP2015147256A (ja) * 2014-02-04 2015-08-20 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
JP6357785B2 (ja) * 2014-02-04 2018-07-18 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置および制御方法
FR3020303B1 (fr) * 2014-04-25 2016-07-15 Sileane Procede et installation de prehension automatique d'un objet.
JP5905549B1 (ja) 2014-09-16 2016-04-20 ファナック株式会社 バラ積みされた物品を取出す物品取出装置
JP6335806B2 (ja) * 2015-01-22 2018-05-30 三菱電機株式会社 ワーク供給装置およびワーク把持姿勢計算方法
JP6088563B2 (ja) * 2015-02-10 2017-03-01 ファナック株式会社 位置及び姿勢の変換演算機能を備えたワーク取出しロボットシステム、及びワーク取出し方法
JP6632208B2 (ja) * 2015-03-24 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9486921B1 (en) 2015-03-26 2016-11-08 Google Inc. Methods and systems for distributing remote assistance to facilitate robotic object manipulation
US9802317B1 (en) * 2015-04-24 2017-10-31 X Development Llc Methods and systems for remote perception assistance to facilitate robotic object manipulation
JP6632224B2 (ja) * 2015-06-02 2020-01-22 キヤノン株式会社 把持制御装置、把持制御方法及びプログラム
US9889564B2 (en) 2015-07-08 2018-02-13 Empire Technology Development Llc Stable grasp point selection for robotic grippers with machine vision and ultrasound beam forming
JP6339534B2 (ja) * 2015-07-17 2018-06-06 ファナック株式会社 最大で二つのワークを把持するハンドを備えたロボットの制御方法およびロボット制御装置
US9401222B1 (en) 2015-11-23 2016-07-26 International Business Machines Corporation Determining categories for memory fail conditions
CN108290286A (zh) * 2015-12-03 2018-07-17 Abb瑞士股份有限公司 用于教导工业机器人拾取零件的方法
US9687983B1 (en) * 2016-05-11 2017-06-27 X Development Llc Generating a grasp pose for grasping of an object by a grasping end effector of a robot
JP2018034242A (ja) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム
JP6571616B2 (ja) * 2016-09-05 2019-09-04 ファナック株式会社 ロボットシミュレーション装置
JP6653064B2 (ja) * 2016-12-28 2020-02-26 オムロン株式会社 シミュレーション装置、ロボット、シミュレーション方法、及びそのプログラム
JP6646894B2 (ja) * 2016-12-28 2020-02-14 オムロン株式会社 保持可否結果出力装置
US10414043B2 (en) 2017-01-31 2019-09-17 Fanuc America Corporation Skew and circular boundary for line tracking and circular tracking
JP6892286B2 (ja) * 2017-03-03 2021-06-23 株式会社キーエンス 画像処理装置、画像処理方法、及びコンピュータプログラム
EP3593960A4 (en) * 2017-03-06 2020-01-22 Fuji Corporation DATA STRUCTURE FOR GENERATING IMAGE PROCESSING DATA AND METHOD FOR GENERATING IMAGE PROCESSING DATA
JP6438512B2 (ja) * 2017-03-13 2018-12-12 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
CN108618275B (zh) * 2017-03-20 2021-01-26 Ykk株式会社 拉头的搬送装置及其搬送方法
DE112017007311B4 (de) * 2017-03-24 2021-09-16 Mitsubishi Electric Corporation Vorrichtung und Verfahren zum Erzeugen eines Roboterprogramms
EP3600795A1 (en) 2017-03-30 2020-02-05 Soft Robotics, Inc. User-assisted robotic control systems
JP6598814B2 (ja) * 2017-04-05 2019-10-30 キヤノン株式会社 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
DE102017207069A1 (de) * 2017-04-27 2018-10-31 Robert Bosch Gmbh Prüfvorrichtung zur optischen Prüfung eines Objektes, Produktionsanlage mit der Prüfvorrichtung und Verfahren zur optischen Prüfung des Objektes mit der Prüfvorrichtung
JP6487495B2 (ja) * 2017-05-19 2019-03-20 ファナック株式会社 ワーク取出しシステム
US10761542B1 (en) 2017-07-11 2020-09-01 Waymo Llc Methods and systems for keeping remote assistance operators alert
US11065761B2 (en) * 2017-07-25 2021-07-20 Dematic Corp. Robotic picking training technique
JP6608894B2 (ja) * 2017-09-27 2019-11-20 ファナック株式会社 ロボットシステム
JP6902208B2 (ja) 2017-11-14 2021-07-14 オムロン株式会社 把持方法、把持システム及びプログラム
JP6880457B2 (ja) 2017-11-14 2021-06-02 オムロン株式会社 把持方法、把持システム及びプログラム
US20190143523A1 (en) * 2017-11-16 2019-05-16 General Electric Company Robotic system architecture and control processes
US10751882B1 (en) * 2018-05-14 2020-08-25 Amazon Technologies, Inc. End effector for autonomous object retrieval
JP6632656B2 (ja) * 2018-05-14 2020-01-22 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
US11103994B2 (en) * 2018-07-02 2021-08-31 Teradyne, Inc. System and method for natural tasking of one or more robots
EP3670106A1 (en) * 2018-12-18 2020-06-24 Siemens Aktiengesellschaft Task-specific robot grasping system and method
US11148289B1 (en) 2019-01-08 2021-10-19 Amazon Technologies, Inc. Entanglement end effector for autonomous object retrieval
WO2021001882A1 (ja) * 2019-07-01 2021-01-07 オムロン株式会社 情報処理装置及び情報処理方法
WO2021029064A1 (ja) * 2019-08-15 2021-02-18 オムロン株式会社 情報処理装置及び情報処理方法
WO2021053750A1 (ja) * 2019-09-18 2021-03-25 株式会社Fuji 作業ロボットおよび作業システム
JP2020049651A (ja) * 2019-12-11 2020-04-02 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
KR102307047B1 (ko) * 2020-07-03 2021-10-01 주식회사 두산 로봇의 피킹 우선 순위 선정 장치 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09277184A (ja) * 1996-04-15 1997-10-28 Ricoh Co Ltd 画像処理方法
JPH11114860A (ja) * 1997-10-20 1999-04-27 Yamaha Motor Co Ltd 認識方法及びピッキング装置
JPH11198076A (ja) * 1998-01-05 1999-07-27 Kubota Corp 保持位置判別装置及び仕分け装置
JP2000304509A (ja) * 1999-04-21 2000-11-02 Matsushita Electric Works Ltd 物体特定方法及び装置
JP2007319997A (ja) * 2006-06-01 2007-12-13 Nissan Motor Co Ltd 教示装置および教示方法
JP2008272886A (ja) * 2007-04-27 2008-11-13 Nissan Motor Co Ltd 把持候補位置選出装置、把持候補位置選出方法、把持経路生成装置、および把持経路生成方法
JP2010210511A (ja) * 2009-03-11 2010-09-24 Honda Motor Co Ltd 対象物の3次元位置・姿勢認識装置及びその方法
JP2011000685A (ja) * 2009-06-19 2011-01-06 Denso Wave Inc ビンピッキングシステム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03270890A (en) * 1990-03-20 1991-12-03 Canon Inc Work grasp control device with visual sensor
GB2261069B (en) * 1991-10-30 1995-11-01 Nippon Denso Co High speed picking system for stacked parts
JPH11300670A (ja) 1998-04-21 1999-11-02 Fanuc Ltd 物品ピックアップ装置
JP2000263482A (ja) * 1999-03-17 2000-09-26 Denso Corp ワークの姿勢探索方法および姿勢探索装置ならびにロボットによるワーク把持方法およびワーク把持装置
JP3768174B2 (ja) 2002-07-24 2006-04-19 ファナック株式会社 ワーク取出し装置
JP2004160567A (ja) * 2002-11-11 2004-06-10 Fanuc Ltd 物品取出し装置
SE524796C2 (sv) * 2002-12-10 2004-10-05 Svensk Industriautomation Ab Kollisionsskydd
JPWO2004106009A1 (ja) 2003-06-02 2006-07-20 松下電器産業株式会社 物品取扱いシステムおよび物品取扱いサーバ
JP2005111607A (ja) * 2003-10-07 2005-04-28 Fanuc Ltd ロボット物流トラッキング装置
JP4199264B2 (ja) * 2006-05-29 2008-12-17 ファナック株式会社 ワーク取り出し装置及び方法
JP4238256B2 (ja) * 2006-06-06 2009-03-18 ファナック株式会社 ロボットシミュレーション装置
JP4235214B2 (ja) 2006-07-04 2009-03-11 ファナック株式会社 ロボットプログラムを作成するための装置、プログラム、記録媒体及び方法
US7313464B1 (en) * 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
JP4226623B2 (ja) * 2006-09-29 2009-02-18 ファナック株式会社 ワーク取り出し装置
JP4271232B2 (ja) * 2006-12-20 2009-06-03 ファナック株式会社 ロボットのオフラインプログラミングを実行するための装置、方法、プログラム及び記録媒体
JP4309439B2 (ja) * 2007-03-30 2009-08-05 ファナック株式会社 対象物取出装置
JP4794011B2 (ja) * 2008-04-03 2011-10-12 関東自動車工業株式会社 画像処理装置、およびロボット制御システム
WO2010024794A1 (en) * 2008-08-29 2010-03-04 Abb Research Ltd. Compliant apparatus for the tool at the end of an arm of an industrial robot
US8559699B2 (en) * 2008-10-10 2013-10-15 Roboticvisiontech Llc Methods and apparatus to facilitate operations in image based systems
JP5265296B2 (ja) * 2008-10-10 2013-08-14 本田技研工業株式会社 ワーク取り出し方法
JP2010115723A (ja) * 2008-11-11 2010-05-27 Seiko Epson Corp ロボット及びロボットシステム
JP5333344B2 (ja) * 2009-06-19 2013-11-06 株式会社安川電機 形状検出装置及びロボットシステム
JP5402697B2 (ja) * 2009-10-26 2014-01-29 株式会社安川電機 ロボット装置及びワーク取り出しシステム並びにワーク取り出し方法
JP5257335B2 (ja) * 2009-11-24 2013-08-07 オムロン株式会社 3次元視覚センサにおける計測有効領域の表示方法および3次元視覚センサ
JP5316580B2 (ja) * 2011-05-17 2013-10-16 株式会社安川電機 ロボットシステム
JP5266377B2 (ja) * 2011-12-19 2013-08-21 ファナック株式会社 物品の姿勢を修正する機能を備えた取出し装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09277184A (ja) * 1996-04-15 1997-10-28 Ricoh Co Ltd 画像処理方法
JPH11114860A (ja) * 1997-10-20 1999-04-27 Yamaha Motor Co Ltd 認識方法及びピッキング装置
JPH11198076A (ja) * 1998-01-05 1999-07-27 Kubota Corp 保持位置判別装置及び仕分け装置
JP2000304509A (ja) * 1999-04-21 2000-11-02 Matsushita Electric Works Ltd 物体特定方法及び装置
JP2007319997A (ja) * 2006-06-01 2007-12-13 Nissan Motor Co Ltd 教示装置および教示方法
JP2008272886A (ja) * 2007-04-27 2008-11-13 Nissan Motor Co Ltd 把持候補位置選出装置、把持候補位置選出方法、把持経路生成装置、および把持経路生成方法
JP2010210511A (ja) * 2009-03-11 2010-09-24 Honda Motor Co Ltd 対象物の3次元位置・姿勢認識装置及びその方法
JP2011000685A (ja) * 2009-06-19 2011-01-06 Denso Wave Inc ビンピッキングシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014502564A (ja) * 2010-12-30 2014-02-03 ゼンロボティクス オイ 把持位置を決定する方法、コンピュータプログラム及び装置

Also Published As

Publication number Publication date
JP5558585B2 (ja) 2014-07-23
US9089966B2 (en) 2015-07-28
CN103221188A (zh) 2013-07-24
KR20130102080A (ko) 2013-09-16
US20130211593A1 (en) 2013-08-15
DE112011103794T5 (de) 2013-10-17
DE112011103794B4 (de) 2019-01-24
KR101453234B1 (ko) 2014-10-22
WO2012066819A1 (ja) 2012-05-24
CN103221188B (zh) 2016-08-03

Similar Documents

Publication Publication Date Title
JP5558585B2 (ja) ワーク取り出し装置
CN108399639B (zh) 基于深度学习的快速自动抓取与摆放方法
US20200078938A1 (en) Object Pickup Strategies for a Robotic Device
JP5788460B2 (ja) バラ積みされた物品をロボットで取出す装置及び方法
US7283661B2 (en) Image processing apparatus
JP6822718B1 (ja) 自動パッケージ登録メカニズムを備えたロボットシステム、および、その動作方法
JP2014161965A (ja) 物品取り出し装置
JP5282717B2 (ja) ロボットシステム
Eppner et al. Grasping unknown objects by exploiting shape adaptability and environmental constraints
JP2008062376A (ja) 無作為におかれた対象物のためのビンピッキングシステム
JP2014205209A (ja) ロボットシステム、及びロボットシステムの制御方法
US10894324B2 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
JP6529302B2 (ja) 情報処理装置、情報処理方法、プログラム
US20210154839A1 (en) Robotic system control method and controller
CN110640730A (zh) 生成用于机器人场景的三维模型的方法和系统
JP2017217726A (ja) ロボット
Vaskevicius et al. Object recognition and localization for robust grasping with a dexterous gripper in the context of container unloading
JP6945209B1 (ja) 物体検出のために安全ボリュームリストを生成するための方法および計算システム
US11130237B1 (en) Method and computing system for performing container detection and object detection
JP2020121352A (ja) 物体把持システム
CN113269112A (zh) 一种抓取区域的识别方法、装置、电子设备及存储介质
JP2019016294A (ja) 情報処理装置、情報処理方法、情報処理プログラム、及びシステム
CN112338922A (zh) 一种五轴机械臂抓取放置方法及相关装置
CN111085997A (zh) 基于点云获取和处理的抓取训练方法及系统
CN113365786A (zh) 基于由相机生成的图像信息执行物体检测或机器人交互规划的方法和计算系统

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140604

R150 Certificate of patent or registration of utility model

Ref document number: 5558585

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250