JP5558585B2 - ワーク取り出し装置 - Google Patents

Description

本発明は、バラ積みされたワークを取り出すワーク取り出し装置に関するものである。

ワーク取り出し装置は、複数のワークがバラ積みされている対象から、ロボットハンドによって、ワークを一つずつピッキングする装置である。従来のワーク取り出し装置として、例えば特許文献１に開示された装置がある。かかる装置では、代表的なワークの形状を想定し、そのワークを区分けした部分形状単位と、その部分形状に対応した優先順位とを予めデータとして記憶しておき、バラ積みされた複数のワークを画像処理することで、把持位置の候補となる部分形状を複数算出し、さらに、算出された候補の中から、上記優先順位を考慮してピッキング対象としてのワークとその把持部分とを決定していた。

しかしながら、上記特許文献１のようなワークの取り出し態様では、次のような問題が生じる。

まず、第１の問題として、算出した把持位置の候補が少ないと、その中から決定したワークをハンドで把持しようとした場合に、ハンドが把持対象以外の他のワークと干渉したり他のワークが邪魔でハンドが把持位置まで到達できなかったりする確率が増加する。また、これを回避するためには、事前に多数の把持位置の候補数を算出しておく必要があるが、その場合には、今度は、手間や計算時間、データ量が膨大になるという問題点がある。

さらに、第２の問題として、部分形状の区分態様やその部分形状への優先順位の割り付けは、異なるハンド形状ごとに定義しなおさなくてはならなかったので、それによっても、手間、計算時間が嵩むという問題点がある。

特開２０１０−８９２３８公報

本発明は、上記に鑑みてなされたものであり、事前に保持しておくデータ量が少なく且つ計算時間も少ない態様で、ワークの取り出しを行うことができるワーク取り出し装置を提供することを目的とする。

上述した目的を達成するため、本発明のワーク取り出し装置は、ワークを把持するハンドと、前記ハンドを所望の把持位置姿勢にするロボットと、ワークを３次元計測してワーク計測データを得るセンサと、少なくともハンド形状データを蓄えた記憶媒体と、前記センサ及び前記記憶媒体からのデータをもとに把持位置姿勢を計算する情報処理部と、前記情報処理部によって計算された把持位置姿勢に基づいて前記ロボットを制御する制御部とを備え、前記情報処理部は、前記ワーク計測データと前記ハンド形状データとに基づいて、直接、把持位置姿勢を導き出す最適把持候補作成部を含む。

本発明のワーク取出し装置によれば、事前に保持しておくデータ量が少なく且つ計算時間も少ない態様で、ワーク形状が変わっても同じアルゴリズムでワークの取り出しを行うことができる。

本発明の実施の形態１に係るワーク取出し装置を示す装置構成図である。 ハンド形状データ及びそれに基づくハンド形状モデルを例示する図である。 実施の形態２に係るワーク取出し装置を示す装置構成図である。 実施の形態３に係るワーク取出し装置を示す装置構成図である。 実施の形態４に係るワーク取出し装置を示す装置構成図である。 実施の形態５によるワーク取出し装置の一部を示す図である。 バラ積みワーク取り出しにおけるロボットとハンドとの動作の制限を示す図である。 センサの視線方向と進入動作の方向との関係を示す図である。 距離画像の例を示す図である。 ワークをバラ積みにした状態を３次元センサで計測することで得られたカメラ画像と距離画像とを示す図である。 実施の形態５において用いる２次元ハンドモデルを例示した図である。 距離画像と２次元ハンドモデルとを利用した最適把持候補作成の処理イメージを表す図である。 図１２の処理を行うためのフローチャートである。 図１２の把持位置姿勢の結果画像に関し、よりわかりやすい結果のものを示した図である。 把持位置におけるハンドの開閉方向と候補セグメントの形状エッジの方向とが垂直であり、把持状態がより安定している態様を説明する図である。 実施の形態５に係るワーク取出し装置を示す装置構成図である。 従来のワーク形状をもとにした方法では認識が困難で把持試験まで達していなかったワークの取り出しについて、実施の形態５によるワークの取り出しを行った際の成功率を評価した結果を示すグラフである。

以下、本発明に係るワーク取出し装置の実施の形態について添付図面に基づいて説明する。なお、図中、同一符号は同一又は対応部分を示すものとする。

実施の形態１．
図１は、本発明の実施の形態１によるワーク取出し装置を示す装置構成図である。ワーク取出し装置は、記録媒体１と、センサ２と、情報処理部３と、制御部４と、ロボット５と、ハンド６とを少なくとも備えている。

記録媒体１は、少なくともハンド形状データを蓄えている。センサ２は、バラ積みされたワークの３次元の計測データを取得するものである。情報処理部３は、記憶媒体１とセンサ２とからのデータをもとにワークの把持位置姿勢を出力する。制御部４は、情報処理部３で得られた把持位置姿勢のデータに基づき、ロボット５の動作さらにはハンド６の動作をコントロールするものである。また、ロボット５は、制御部４の指令に基づきハンド６を任意の位置や姿勢にするものであり、ハンド６はワークを把持するものである。

センサ２は、ロボット５の手先に搭載されていても、あるいは、ロボット５とは別に適当な固定先に設置されていてもよい。また、センサ２は、例えば、二眼あるいは多眼のステレオカメラ、レーザやプロジェクタなどの投光部とカメラとを備えたアクティブ方式のステレオカメラ、タイムオブフライト法を用いる機器、単眼でロボット動作を利用した因子分解法やStructure from Motion、Structure and Motionによる機器、モーションステレオカメラ、視体積交差法による機器など、任意の領域の３次元データをとれるものであればよい。

ハンド６は、挟持タイプ、吸着タイプ、あるいは、穴に挿し込み広げるタイプ（以下、拡持タイプと称する）でもよい。

本発明は、ワーク形状に基づき事前に把持位置姿勢を決めるのではなく、ハンド形状と計測データとから動的に把持位置姿勢を決めることを特徴の一つとしており、具体的には、情報処理部３に、センサ２からのワーク計測データ上のどこを掴みに行くかを動的に決定する最適把持候補作成部３０が含まれている。さらに、最適把持候補作成部３０は、把持可能特徴抽出部３０１と、ハンドマッチング部３０２と、把持姿勢候補選択部３０３とを含んでいる。把持可能特徴抽出部３０１は、センサ２のワーク計測データから把持可能な特徴を抽出する。ハンドマッチング部３０２は、記録媒体１に蓄えられたハンド形状データと把持可能特徴抽出部３０１で抽出された特徴とのマッチングをとり、動的に複数の把持位置姿勢候補を作成する。把持姿勢候補選択部３０３は、ハンドマッチング部３０２で作成された把持位置姿勢候補から、最も掴みやすい把持位置姿勢を選択する。以下、各部についてより詳細に説明する。

把持可能特徴抽出部３０１では、ワークの全体形状によらず、利用するハンド６が掴むことができる特徴を抽出する。例を挙げると、挟持タイプのハンド６であれば、つまみやすい突起部分やエッジが相当する。吸着タイプのハンドであれば、一定領域以上の面が相当する。また、拡持タイプのハンドであれば、ワークの表面に生じている円形の穴が相当する。

これら特徴は、３次元計測データに対してエッジ、面、円などを当てはめることで抽出することが可能である。これらの特徴を高速に求めるための態様としては、例えば、距離を明度で表した距離画像に対して、キャニー演算子やソーベル演算子などを利用したエッジ検出を行う態様、ハフ変換による円抽出を行う態様、エッジで囲まれた領域をラベリングすることで面を抽出する態様、輝度のエッジ勾配方向や強度を利用してテクスチャ部分を突起部として検出する態様等を挙げることができる。これらは、基本的な画像処理で求められるものであり、多くの特徴を抽出しても非常に高速で完了する。

ハンドマッチング部３０２では、把持可能特徴抽出部３０１で抽出された特徴と記録媒体１に蓄えられたハンド形状データ（モデル）とのマッチングをとる。これは、各ハンドタイプに応じて、例えば、図２に示されるようなモデルを持つことで実現される。例えば、挟持タイプであれば、把持アプローチ直前のハンドアームの開き幅、進入深さ、ハンドの縦幅、横幅により定義することができる。また、吸着タイプであれば、吸着の半径によって定義することができ、拡持タイプであれば、差し込める穴の半径、穴周辺のワーク面の半径、進入深さで定義することができる。上記のようなハンド形状データでは、パラメータがシンプルであるので、必要とするデータ量は少なくて済む。各パラメータを求める際には、ハンド６のＣＡＤデータから計算してもよいし、ハンド６を直接計測してもよい。

上述したようなハンド形状モデルとのマッチングは、例えば、吸着タイプであれば、モデルと特徴点群とのマッチングが高い部分を候補とし、特徴面が小さかったり、特徴面内に穴が開いていたりして、モデルとの一致度が低い場合には、その候補から照合スコアを低くする。こうしたマッチングは、３ＤモデルであればＩＣＰ(Iterative Closest Point)などの点群どうしの照合により、２Ｄモデルであればテンプレートマッチングや、モデルをフィルタと考えての畳みこみ処理によるマッチングによって、実現することができる。また挟持タイプや拡持タイプであればさらに周辺環境との干渉も同時に考慮することができる。すなわち例えば挟持タイプであれば、進入深さとハンドの縦幅、横幅とで定義される領域に計測データが含まれていた場合、照合スコアを下げることで実現する。ハンドマッチング部３０２は、把持可能特徴抽出部３０１で抽出された複数の特徴に対して、特徴ごとにマッチングスコアが最も高い把持位置姿勢を計算し、それら複数の把持位置姿勢を把持位置姿勢候補とするか、あるいは、把持可能特徴抽出部３０１で抽出された単一の特徴に対して、マッチングスコアが所定の閾値よりも高い複数の把持位置姿勢を計算し、それら複数の把持位置姿勢を把持位置姿勢候補とする。このような処理によって、ワーク形状が未知でも、動的に把持位置姿勢を定義することができる。

また、上記のマッチングは、把持可能特徴抽出部３０１で距離画像上の主法線を計算しておくことで、並進２自由度、回転１自由度の３自由度の２次元画像照合でスコアを計算でき、各特徴の干渉がなくつかみやすい把持位置姿勢を高速に計算することが可能になる。

把持姿勢候補選択部３０３では、ハンドマッチング部３０２で作成された把持位置姿勢候補から、最も掴みやすい把持位置姿勢候補を選択する。これはハンドマッチング部３０２のスコアが最も高かったものを選んでもよいし、さらに追加の優先度を与えても良い。例えば、把持可能特徴抽出部３０１で抽出された特徴の平均高さや重心位置を利用して、バラ積みシーンにおいて最も高い位置にあるワークを選択するなどしてもよい。

このようにして、情報処理部３により最適な一つの把持位置姿勢が作成されたら、制御部４は、その把持位置候補のデータに基づき、ロボット５の動作さらにはハンド６の動作をコントロールし、ハンド６はバラ積みされた複数のワークの中から目的のワークを把持し取り出す。

以上のように構成された本実施の形態に係るワーク取出し装置によれば、少なくともハンド形状データやそれに基づくハンド形状モデルを事前の情報として保持していれば、ワーク形状やバラ積みシーンの状態によらず、周辺ワークとハンドの干渉が生じにくく掴みやすい把持位置姿勢を動的に計算することができ、事前に保持しておくデータ量が少なく且つ計算時間も少ない態様で、ワーク形状が変わっても同じアルゴリズムでワークの取り出しを行うことができる。また、ハンド形状が異なるたびに、ワーク内の部分の優先順位を定義しなおさなければならないといった処理が強いられないため、優先順位の変更に伴う手間や計算時間が嵩むという問題を解消することができる。

実施の形態２．
上記実施の形態１では、ハンド形状データを直接、ワーク計測データにマッチングさせる態様をとっており、すなわちハンド形状データのみで最適な把持位置姿勢を計算していた。これに対して、本実施の形態２は、把持位置姿勢を絞り込んだ後に、さらにワーク形状データを利用して、計測データだけでは判断できないワークどうしの絡み状態や、拾上げ動作が成功するか否かの推定をも行えるようにしたものである。

本実施の形態２では、記憶媒体１に、ハンド形状データに加えて、ワーク形状データも蓄えられており、また、図３に示されるように、情報処理部３には、最適把持候補作成部３０により計算された把持位置姿勢を、ワーク形状データに基づき評価するワーク状態判断部３１がさらに含まれている。

また、ワーク状態判断部３１は、図３に示されるように、ワークマッチング部３１１、ワーク絡み状態推定部３１２、ワーク拾い出し動作推定部３１３、把持姿勢候補選択部３１４を含んでいる。ワーク絡み状態推定部３１２は、ワーク計測データとワーク形状データとのマッチングから作成されるワークモデル同士の干渉を判定することで、ワーク計測データには現れないバラ積み内部のワーク同士の絡みを判定し、絡みが少ない対象に対応した把持位置姿勢を優先する動作を実現させるものである。また、ワーク拾い出し動作推定部３１３は、ハンド形状データと、ワーク形状データと、計算される把持位置姿勢とから、把持したときのワークの重心位置を計算し、それをもとに把持後のワークの落下または把持後のワークの傾きの可能性が低い把持位置姿勢を優先する動作を実現させるものである。

以下、各部の動作についてより詳細に説明する。ここで、まず、本実施の形態２における最適把持候補作成部３０は、基本的には、実施の形態１の最適把持候補作成部３０と同じであるものの、最適と評価できる把持位置姿勢をひとつだけ決定するのではなく、複数、選定する点で異なる。さらにその場合、選定された複数の把持位置姿勢に優先付けのためのスコアを作成しておいてもよい。

最適把持候補作成部３０で新たに計算された把持位置姿勢とそれに用いられた抽出特徴とを初期候補として、ワークマッチング部３１１でワーク形状データとのマッチングを行う。すでに初期候補が求められていることはワークモデル照合の初期探索ができていることにあたる。このとき特徴が３次元点群やエッジ点の集合であればＩＣＰ法などで正確なマッチングをおこなう。２次元画像であれば並進２自由度、回転１自由度の３自由度のテンプレート照合や、ハッシュを用いた照合、シルエットによるマッチング、特徴の幾何学的関係による照合を用いてもよい。また、あらかじめ最適把持候補作成部３０で抽出されやすい特徴がワークのどの部分にあたるかを判断しておき、マッチングの探索範囲を限定し高速化を図ってもよい。

ワーク絡み状態推定部３１２では、ある把持位置姿勢に対応するワークと、そのワークの周辺にあるワーク群とに関して、ワーク計測データ及びワーク形状データをマッチングすることで対応するワークモデルを獲得し、それらワークモデルの状態を分析することで、ワーク同士の干渉を判定する。その結果、それぞれのワークモデルの一部が同一位置に存在し、干渉している場合、そのワークモデルに対応する把持位置姿勢は候補から除外するか、もしくは把持姿勢候補選択部３１４における候補選択の優先度をさげるなどの処理を行う。またこのときワークモデル間で干渉がなかったとしても、ワークモデルの拾い出し動作をシミュレーションし、その動作により他の周辺ワークモデルとぶつかる場合は、同様に対応する把持位置姿勢を候補から除外するか優先度をさげてもよい。

ワーク拾い出し動作推定部３１３では、ある把持位置姿勢とそれに対応するワークモデル、さらにそれに対応する把持位置姿勢のハンド形状モデルを用いて、把持のシミュレーションをおこなう。そして、その把持位置姿勢でハンドがワークを把持した場合、ワークの重心位置がどこにあるかを計算し、拾い出し動作時に落下の危険が高い把持位置姿勢は除外するか、もしくは優先度をさげる。これは、例えば、図２のように用意されたハンドの把持位置と、計算されたワークの重心位置間のユークリッド距離を評価指標として、落下の危険性を判定してもよい。

把持姿勢候補選択部３１４では、ワーク絡み状態推定部３１２、ワーク拾い出し動作推定部３１３で評価された優先度をもとに、最適な把持位置姿勢を選択する。このとき、最適把持候補作成部３０で作成された候補付けのためのスコアを利用してもよい。それぞれの評価指標は、和算のような線形結合でも、積算のような非線形結合でもよい、また、例えば最適把持候補作成部３０のスコアを主体に、ワーク絡み状態推定部３１２、ワーク拾い出し動作推定部３１３の優先度が一定以下の候補は棄却するなどの選択方法をとってもよい。

本実施の形態２に係るワーク取出し装置によれば、実施の形態１と同様、データ量・モデル登録の手間・計算時間の低減を図りつつ、ハンド干渉が少なく、高い精度で把持できる候補を選択することができる。さらに加えて、本実施の形態では、ワーク間の絡みがおきにくく、拾い出し動作中に落下する失敗がおきにくいワーク取り出しができる把持位置姿勢が優先的に選定されるため、より高い成功率の取り出し動作を実現することもできる。

実施の形態３．
図４に基づいて、本実施の形態３に係るワーク取出し装置を説明する。本実施の形態３は、上記実施の形態２において、さらに、記録媒体１に次作業動作の把持位置姿勢に関するデータが蓄えられ、図４に示されるように、情報処理部３に次作業に適した把持位置候補を推定する次作業動作推定部が設けられたものである。

次作業動作推定部３２は、記録媒体１に蓄えられた次作業動作の把持位置姿勢をもとに、把持位置候補を推定する。これは、ワーク取り出しという作業の次の作業が、例えば、組立中の製品へのワークの組付けだとする場合、その組付け中に要求されるワークの把持位置姿勢はその組付け動作に適したものに限定される。例えば、裏返しに把持したワークをそのまま組付けることはできないことが多く、また、ロボットが把持中にとる姿勢は大きく変えることは困難である。微小な把持誤差は許容できるが、大きな誤差をともなう把持や、組付け姿勢とは異なるワークの姿勢での把持が行われてしまった場合、ワークの持ち替えが必要となり作業時間や手間が増えてしまう。そこで、本実施の形態では、取り出し時のワーク把持姿勢から次の作業で持ち替えが必要と判断される場合は、把持位置姿勢の候補としての優先度を下げる、もしくは棄却する。なお、ここでいう次の作業は、組付けだけでなく、搬送、パレタイジング、梱包などの作業を例示することができる。

取り出し時の把持位置姿勢から持ち替えが必要か否かを判断する方法は、ワーク形状モデル、ハンド形状モデル、把持位置姿勢を利用して、ワークの把持状態をシミュレートする。具体的に例示すると、次作業動作推定部３２は、ハンド形状モデルに把持された状態のワーク形状モデルを、組付けなどの次作業をシミュレートして得られるワーク位置におけるハンド形状モデルに把持された状態のワーク形状モデルに、マッチングさせる。そして、それぞれのワーク形状モデルの位置姿勢が一致した状態で、それぞれのハンド形状の位置姿勢の間の変換行列をロボットが演算可能であれば次作業として持ち替えなしの動作が可能であると判定し、演算不可能であれば一度把持しなおすか、別のロボットハンドに手渡すなどの持ち替え作業をはさむ必要があると判定することができる。

以上のように構成された本実施の形態のワーク取出し装置によれば、上記実施の形態と同様、事前に保持しておくデータ量が少なく且つ計算時間も少ない態様で、ワークの取り出しを行うことができることに加え、持ち替え作業を減少させることによるタクトタイムの短縮を実現することも可能となっている。

実施の形態４．
図４に示した実施の形態３では、最適把持候補作成部３０により計算された複数の把持位置姿勢候補を、ワーク状態判断部３１において、選り分けてから、次作業動作推定部３２において、さらに選り分けるという処理が採用されていた。これに対し、本実施の形態４は、図５に示されるように、最適把持候補作成部３０により計算された複数の把持位置姿勢候補を、ワーク状態判断部３１、次作業動作推定部３２それぞれでパラレルに評価し、最終的にそれらの評価を把持姿勢候補選択部３３において総合的に判断するという処理をとるものである。

この場合、最適把持候補作成部３０で計算される候補のスコア、ワーク状態判断部３１、次作業動作推定部３２それぞれの評価値を、和算のような線形結合や、積算のような非線形結合であらわし、評価してもよい。また、例えば、適把持候補作成部３０のスコアを主体に、ワーク状態判断部３１、次作業動作推定部３２の評価値が一定以下の候補は棄却するなどの選択方法を介在させるような処理をとってもよい。

このような構成によれば、実施の形態３のように正確な取り出し作業の実現と持ち替え作業が減ることによるタクトタイムの短縮が実現可能であり、さらに加えて、実際の生産システムでトラブルがおきやすい部分などにあわせて、評価値の利用のしかたを柔軟に設計することも可能となっている。

実施の形態５．
処理が高速で、ワーク形状に依存せず調整が容易で、汎用的なバラ積みワーク取り出しを実現する実施形態を示す。図６は本発明の実施の形態５によるワーク取出し装置の一部を示す。ロボット５の先に、挟持型のハンド６と３次元計測をするセンサ２とを搭載する。図６のロボット５は、６自由度の多関節型であるが、７自由度の多関節型でもよい。あるいは、ロボット５は、双腕型、垂直スカラー型、パラレルリンク型のロボットでもよい。また、センサ２は、ロボット５の先端に取付けられ、一緒に稼動できるが、これ以外に、ロボット５と別に固定設置してもよいし、別の可動ステージに設置してもよい。

バラ積みワーク取り出しにおけるロボットとハンドとの動作を図７のように制限する。ロボット５にはハンド６の先端位置に図７に示すようなＸ，Ｙ，Ｚの方向を持つ座標系があるとする。このとき、図７の（ａ）のように、供給箱７の上空でＸ軸，Ｙ軸における並進２自由度、Ｚ軸周りの回転１自由度の動作で、供給箱７内のバラ積み物体を掴めるようにハンド６の位置と姿勢を合わせる。次に、図７の（ｂ）のように、Ｚ方向での並進１自由度の動きで供給箱７内に進入し、ワークをハンド６で把持する。さらに、図７の（ｃ）ように、Ｚ方向での並進１自由度の動作で、ワークを把持したままハンド６を引き上げる。これは並進３自由度、回転１自由度の合計４自由度の動作で実現する。

この動作には多くの利点がある。例えば、６自由度の動きがロボット５の動作範囲外にある場合に、ワークの姿勢に応じて６自由度の動きをロボット５にさせようとすると、ロボット５はエラーで停止してしまうが、上記の合計４自由度の動作で実現できれば、そのような事態も避けることができる可能性が高まる。また、６自由度の複雑な動きによりロボット５やハンド６が供給箱７やセンサ２などと衝突する危険を避けられる。４自由度の動きでロボット動作範囲、安全範囲、干渉回避範囲を設計することは容易である。さらに、合計４自由度の動作であれば、ロボット５として、安価でありながら高速な垂直スカラー型も利用できる。

ワークに近づく進入動作を並進１自由度の動作に制限するとき、図８に示すようにセンサ２の視線方向をその進入動作の方向と一致させる。ここでいうセンサの視線方向とは、カメラレンズの光軸方向を示す。このとき、センサ２の距離画像と、図２に示したハンド形状の２次元モデル（以降、２次元ハンドモデルと呼ぶ）から、画像処理だけで高速に把持位置姿勢を計算することができる。

距離画像の例を図９に示す。カメラで撮影した画像の場合、各画素には対象物の表面の光の反射量が輝度値として収まっている。一方、距離画像の場合、各画素にはそこにある物体の高さが収まっている。図９では撮影したセンサ２に近ければ明るく、遠ければ暗く表示されている。距離画像は、高さを含む３次元情報を画像として扱えるため、３次元の位置データとして扱うよりも処理演算量が軽いという利点がある。また、距離画像によれば、従来から生産現場で使われてきた多くの画像処理方法を応用できる。距離画像は、例えば、空間コード化方式やステレオ方式のような高さ情報を得ることができる３次元計測方法と、それを実現する３次元センサとにより得ることができる。図１０はあるワークをバラ積みにした状態を３次元センサで計測し、カメラ画像と距離画像を得たものである。

前述したように４自由度にロボット５の動作を制限し、センサ２の視線方向を進入動作方向に一致させ、バラ積みワークの距離画像を用いる態様で、ワークの取り出しのための最適把持候補を作成する方法を説明する。なお、以下の説明は、取り出し・つかみ出しに特化して考えたものであり、ワークをどのような姿勢でつかみ出すかは問わない。ワークのＣＡＤデータ、点群データ、距離データ、２次元の画像データや、部分情報（ワーク特定部分の面積やエッジの長さ、テクスチャ特徴、穴などワークの特徴的な部分の幾何関係など）を事前に用意しない。これはワーク形状に応じた事前調整にかかる手間と、扱うワークの数が増えればデータ量が大きくなることを避けるためである。

距離画像からワークの掴む位置を計算するために、図１１に示すような２次元ハンドモデルを使う。これは図２の挟持型のハンド形状２Ｄモデルをさらに簡略化したもので、ハンド６が進入・把持動作をおこなう瞬間にワークにぶつかるハンドの先端部分を円形の干渉領域で表している。把持するためのハンド先端の干渉領域は２箇所あるので、その円の半径と、２つの円の位置関係を決めるハンドの開き幅という合計２つのパラメータだけで、この２次元ハンドモデルを定義できる。これは、ハンド先端が直方体であれば、円の半径の代わりに縦・横の長さを使い３つのパラメータであらわしてもよい、また多角形や楕円を現すパラメータで定義してもよい。しかし、そのように厳密でなくても、近似的な円の半径を、干渉領域全体を覆うよう十分大きめに設定すれば、干渉を避けるためのモデルとして近似的な円を用いても、ハンドは、正しく機能する。

図１２に距離画像と２次元ハンドモデルを利用した最適把持候補作成の処理イメージを表す。また図１３は処理フローを表す。処理はまず、距離画像からセグメントを抽出する。ここでいうセグメントとは、形状エッジに囲まれたワークの平面や曲面部分を指す。セグメンテーションするとは、このセグメントを抽出することをさす。この抽出は、距離画像からのキャニー演算子やソーベル演算子によるエッジ検出で実現する。距離画像におけるエッジとは、物体の形状エッジそのものを表す。この検出エッジで区切られた領域が、ワークの平面や曲面部分にあたる。ワーク形状とのモデルマッチングが困難な、細ネジやバネなどでもこの方法でセグメントを抽出できる。

次に、抽出されたたくさんのセグメントをいくつかの候補に絞り込む。この絞り込みは、計算時間の削減に寄与するが、全てのセグメントを候補として選択しても処理自体は実現できるので、絞り込みをせずに本発明を実施してもよい。候補の選択方法は、例えば最も高い位置にあるセグメントから優先順位をつけて複数選択してもよいし、高さ情報の変わりにセグメントの面積をもとに候補選択しても良い。この候補の中から次に説明するマッチングによるスコア（把持可能尤度）が最も高かった把持位置姿勢を出力する。

候補として選択したセグメントは２次元ハンドモデルとのマッチングをおこなう。これにより、ぶつからずに安定して掴める位置を探す。これは、１）ハンドの開き幅内に存在するセグメントの面積が大きく、且つ、２）ハンド先端の干渉領域とセグメント周辺との干渉がなく衝突しない、把持位置姿勢を探すことで実現する。１）は、候補セグメントとハンドの開き幅部分との畳みこみ処理で、２）は、ぶつかる可能性のある周辺を含めた候補セグメントとハンド先端との干渉領域の畳みこみ処理で、計算することができる。１）の領域から２）の領域を引くと、「掴める可能性があり、かつ、ぶつかる可能性のない領域」となる。これを平滑化した後に可視化したものが図１２の把持可能尤度である。計算する把持位置姿勢はつまり、この最大尤度を記録したときのハンドモデルの姿勢と位置である。これを、候補として選択した唯一のセグメントに対して、もしくは複数のセグメントに対して、計算する。唯一のセグメントの場合は、そのセグメント内で最大尤度を記録するハンドモデルの位置姿勢を選択する。複数のセグメントの場合は、各セグメント内の最大尤度が最も大きいセグメントの、最大尤度を記録したハンドモデルの位置姿勢を選択する。図１２の把持位置姿勢の結果画像は、ワークの一部出っ張った部分の重心に、エッジにほぼ垂直に把持をするのが適当という計算結果が出力されたことを示している。９２という数字は、把持可能尤度を面積で正規化し、最大１００点で「どれだけつかみやすいか」を表したものである。真ん中の濃灰色の丸が把持位置を表し、直線で結ばれた白い２つ円がハンド先端の干渉領域を表している。

いくつかの候補セグメントに対して把持位置姿勢を同じように計算した、よりわかりやすい結果が図１４である。図１４を見ると、周辺干渉がないところは得点が高く、進入したときにぶつかりそうな部分は得点が低い。また、掴む位置のエッジに直交した部分の得点が高くなっていることがわかる。

さらに、把持状態を安定させるには、把持位置におけるハンドの開閉方向と候補セグメントの形状エッジの方向とが垂直であるほうがよい。図１５にその例を示す。候補セグメントのエッジを検出し、局所領域ごとのエッジ方向を計算する。候補セグメントに重なるある把持位置に、あるハンド開閉方向を持つ２次元ハンドモデルがあるとき、それと交差する候補セグメントの形状エッジのエッジ方向と、ハンドの開閉方向とが垂直に近いほど直交度が高いとして評価することで、より安定した把持姿勢を探索する。前述の把持可能尤度のスコアに掛け合わせたり、重みをつけて足し合わせたりすることで、両方の評価を反映することができる。

図１６は、本発明の実施の形態５によるワーク取出し装置を示す装置構成図である。装置には、２次元ハンドモデルのみを蓄えた記録媒体１、バラ積みワークの距離画像を生成するセンサ２、記憶媒体１の２次元ハンドモデルとセンサ２の距離画像をもとに把持位置姿勢を計算する最適把持候補生成部３０を持つ情報処理部３、その把持位置姿勢情報に基づき動作をコントロールする制御部４、制御部の指令に基づきハンドを任意の位置姿勢にするロボット５、ワークを把持するハンド６が含まれる。

最適把持候補生成部３０内でおこなわれる処理フローが前述した図１２のフローである。この処理はＣｏｒｅ２Ｄｕｏ２Ｇ、メモリ２ＧのＰＣで計算時間０．１〜０．２ｓｅｃ程度での実装を実現しており、３次元情報を扱った処理としては、非常に高速であることが分かる。また、本発明の実施の形態５で、従来のワーク形状をもとにした方法では認識が困難で把持試験まで達していなかったワークの取り出しをおこない、成功率を評価した結果を、図１７に示す。「単体取り出し」とは、ワーク一つのみをつかみ出した場合であり、「複数取り出し」とはワーク複数を同時に取り出した場合である。複数取り出しは後工程で、例えばカメラの計測結果や重量判定をもとに棄却したり、平面上に置きなおして分離したりするなどの処置が可能であることから、取り出しそこねた場合のみを失敗とすると、全ワークの平均成功率で９１．５％となった。本実施の形態では、ワークごとの調整をおこなわずに、これまでバラ積みからの取り出しが困難であった複雑な形状のワークの取り出しが高速に実現している。

このように構成された本実施の形態５によれば、前述した実施の形態同様、事前に保持しておくデータ量が少なく且つ計算時間も少ない態様で、ワークの取り出しを行うことができるが、さらに加えて、次のような利点も得られる。まず、センサの視線方向を、ハンドがバラ積みワークを取り出すためにワークに近づくときの進入方向と一致させているので、最適把持候補の作成が高速に実現できる。また、ロボットがＸ，Ｙ，Ｚ方向の並進３自由度と、ワークを取り出す進入方向軸周りの回転１自由度という、合計４自由度の制限された動作で所望の把持位置姿勢を形成するので、ロボット動作範囲、安全範囲、干渉回避範囲が容易に設計でき、また、装置の立上げが迅速化されている。

また、最適把持候補作成部は、ハンド形状データとして２次元ハンドモデルを使い、ワーク計測データとして距離画像を使い、そのハンド形状データとワーク計測データとの畳みこみで求められる把持可能尤度から把持位置姿勢を計算する。さらに、最適把持候補作成部は、距離画像からのエッジ検出に基づき平面や曲面を抽出し、その平面や曲面とハンド形状データをマッチングすることで把持位置姿勢を計算する。よって、高速にワーク取り出しができ、且つ、ワーク形状に依存した調整を必要とせずそれによっても装置の立上げが迅速化する。また、最適把持候補作成部は、距離画像からのエッジ検出に基づき抽出した平面や曲面の形状エッジの方向と、ハンドの開閉方向との直交度から把持位置姿勢を計算するので、ワークの取り出しの成功率を高めることができる。

以上、好ましい実施の形態を参照して本発明の内容を具体的に説明したが、本発明の基本的技術思想及び教示に基づいて、当業者であれば、種々の改変態様を採り得ることは自明である。

１ 記録媒体、２ センサ、３ 情報処理部、４ 制御部、５ ロボット、６ ハンド、７ 供給箱、３０ 最適把持候補作成部、３１ ワーク状態判断部、３２ 次作業動作推定部、３０１ 把持可能特徴抽出部、３０２ ハンドマッチング部、３０３ 把持姿勢候補選択部、３１１ ワークマッチング部、３１２ ワーク絡み状態推定部、３１３ ワーク拾い出し動作推定部、３１４ 把持姿勢候補選択部。

Claims (8)

1. 複数のワークがバラ積みされた対象から一つのワークを把持するハンドと、
   前記ハンドを所望の把持位置姿勢にするロボットと、
   ワークを３次元計測してワーク計測データを得るセンサと、
   少なくともハンド形状データを蓄えた記憶媒体と、
   前記センサ及び前記記憶媒体からのデータをもとに把持位置姿勢を計算する情報処理部と、
   前記情報処理部によって計算された把持位置姿勢に基づいて前記ロボットを制御する制御部とを備え、
   前記情報処理部は、前記ワーク計測データと前記ハンド形状データとに基づいて、直接、把持位置姿勢を導き出す最適把持候補作成部を含み、
   前記センサの視線方向は、バラ積みされた対象から一つのワークを取り出すために前記ハンドがワークに近づくときの進入方向と、一致し、
   前記最適把持候補作成部は、前記ハンド形状データとして２次元ハンドモデルを使い、前記ワーク計測データとして距離画像を使い、前記距離画像から抽出された前記ワークのセグメントが前記ハンドの開き幅内に存在し且つ前記ハンドが前記ワークの周辺のセグメントと干渉しない把持位置姿勢を計算する、ワーク取り出し装置。
2. 前記ロボットがＸ，Ｙ，Ｚ方向の並進３自由度と、ワークを取り出す進入方向軸周りの回転１自由度という、合計４自由度の制限された動作で所望の把持位置姿勢を形成する、請求項１のワーク取り出し装置。
3. 前記最適把持候補作成部は、前記距離画像から抽出された前記ワークの候補セグメントと前記ハンドの開き幅部との畳みこみで得られる領域から、前記候補セグメントの周辺と前記ハンドの先端の干渉領域との畳みこみで得られる領域を引き、平滑化したデータから把持位置姿勢を計算する、請求項１又は２のワーク取り出し装置。
4. 前記最適把持候補作成部は、前記セグメントのエッジ方向と前記ハンドの開閉方向との直交度が高い把持位置姿勢を優先して出力する、請求項１から３のいずれか１項のワーク取り出し装置。
5. 前記記憶媒体は、ワーク形状データも蓄えており、
   前記情報処理部は、前記最適把持候補作成部により計算された把持位置姿勢を、前記ワーク形状データに基づき評価するワーク状態判断部を含む、
   請求項１から４のいずれか１項のワーク取り出し装置。
6. 前記ワーク状態判断部は、前記ワーク計測データと前記ワーク形状データとのマッチングから作成されるワークモデル同士の干渉を判定することで、前記ワーク計測データには現れないバラ積み内部のワーク同士の絡みを判定し、絡みが少ない対象に対応した把持位置姿勢を優先するワーク絡み状態推定部を含む、請求項５のワーク取り出し装置。
7. 前記ワーク状態判断部は、前記ワーク形状データからワークの重心位置を計算し、ワークの重心位置に近い把持位置姿勢を優先して出力するワーク拾い出し動作推定部を含む、請求項５又は６のワーク取り出し装置。
8. 前記情報処理部は、前記最適把持候補作成部により計算された把持位置姿勢と次作業動作の把持位置姿勢との間の変換行列が演算可能かを判断する次作業動作推定部を含む、請求項１から７のいずれか１項のワーク取り出し装置。

Images