JP6666764B2 - ワーク認識方法及びランダムピッキング方法 - Google Patents

Description

本発明は、ロボットアームの先端に設けられたハンドによりバラ積みされたワークを把持し取出すランダムピッキングのためのワーク認識方法及びランダムピッキング方法に関する。

今日、多くの製造現場では、ワーク（部品）の搬入搬出作業等をロボットを用い自動化することで生産性向上、安全性向上、コスト削減を図っている。これまでにも種々のワーク認識方法、ロボットシステムが開発されているが、今後も、より迅速なワーク認識方法、安価で迅速に、またより簡単に操作可能なロボットシステムの開発が期待される。

ロボットアームの先端に設けられたハンドによりバラ積みされたワークを把持し取出すランダムピッキングにおいても、事前に保持するデータ量が少なく、かつ短い計算時間でワークの取出しが行えるワーク取出し装置、ロボットシステム、また少ない計算量で精度よくワークの位置、姿勢を検出する方法等が提案されている（例えば特許文献１、特許文献２、特許文献３参照）。

特許第５５５８５８５号公報 特開２０１０−７１７４３号公報 特開２０１０−１１７７５４号公報

バラ積みされたワークのピッキングにおいては、ワークが重なり合って積載されている場合が多く、予め算出した把持姿勢とのマッチングが難しい、また長さのあるワークや複雑な形状のワークにおいてはワークの取出し時に他のワークに引っ掛かるという課題が指摘されている。さらにバラ積みされたワークのピッキングにおいては、次のような課題もある。

バラ積みされたワークのピッキングでは、ピッキングに伴い山積み高さが変化する。このためワーク認識のための画像処理が複雑で処理時間が長くなり、またワーク認識精度が低下するという問題がある。しかしながらこれまでこのような問題は特に提起されておらず、当然、これを解決するための手段も提案されていない。

またバラ積みされたワークのピッキングにおいては、ワークの迅速な認識の他に、ワークの確実な把持も課題である。バラ積みされたワークは、ワーク毎に位置、姿勢が異なり、さらにピッキングに伴い山積み高さが変化するためワークを確実に把持するための工夫も必要となる。

本発明の目的は、高い精度で迅速にワークの認識を行うことができるワーク認識方法、及びワークを確実に把持し取出すことができるランダムピッキング方法を提供することである。

本発明は、ロボットアームの先端に設けられたハンドによりバラ積みされたワークを把持し取出すランダムピッキングのためのワーク認識方法であって、バラ積みされたワークの平面画像及び距離画像を取得する画像取得ステップと、前記距離画像から最も高い位置にあるワークの高さを検出する高さ検出ステップと、記憶手段に格納された基準画像の中から、前記高さ検出ステップで検出された高さに最も近い高さで撮像された基準画像を選出する基準画像選出ステップと、前記基準画像選出ステップで選出した基準画像を用い前記画像取得ステップで取得した平面画像のパターンマッチングを行い、予め定める閾値以上の相関値を有するワークを検出するワーク検出ステップと、前記ワーク検出ステップで検出されたワークの中から相関値の最も大きいワークを選出するワーク選出ステップと、前記ワーク選出ステップで選出されたワークの中心座標及び傾きを算出するワーク位置・姿勢算出ステップと、を含み、前記記憶手段は、１個のワークに対して異なる高さで撮像された複数の平面画像からなる基準画像を格納することを特徴とするワーク認識方法である。

本発明のワーク認識方法によれば、最も高い位置にあるワークの高さを検出し、この高さに最も近い基準画像を用いてパターンマッチングを行うので、高い精度で迅速にワークの認識を行うことができる。また高い位置のワークほど相関値が高く選出され易く、さらに基準画像には、ワークの平面画像が使用されるので、姿勢が水平又は鉛直状態なものほど選出され易くなる。ロボットハンドによるバラ積みされたワークの把持及び取出しは、山の頂部付近に位置し、水平又は鉛直状態のワークほど容易であるため、本発明のワーク認識方法を使用することで、把持し取出し易いワークを優先的に選出し、ワークを確実に把持し取出すことができる。

本発明のワーク認識方法は、前記基準画像選出ステップに代えて、１個のワークに対して既知の高さで撮像された１枚の平面画像からなる基準画像を元データとし、計算により前記高さ検出ステップで検出された高さの基準画像を算出する基準画像算出ステップを含み、前記ワーク検出ステップでは、前記基準画像算出ステップで算出した基準画像を用い前記画像取得ステップで取得した平面画像のパターンマッチングを行い、前記記憶手段は、１個のワークに対して既知の高さで撮像された１枚の平面画像からなる基準画像を格納することを特徴とする。

本発明によれば、高さ検出ステップで検出された高さの基準画像を用いてパターンマッチングを行うことができるので、高い精度で迅速にワークの認識を行うことができる。また記憶手段には、１枚の平面画像からなる基準画像を格納すればよいので記憶容量を少なくすることができる。本発明のワーク認識方法を使用することで、把持し取出し易いワークを優先的に選出し、ワークを確実に把持し取出すことができる。

本発明のワーク認識方法において、前記ワークは、箱内にバラ積みされており、さらに前記画像取得ステップで取得した平面画像に対してマッチングを行う領域を設定するマッチング領域設定ステップを含み、前記ワーク検出ステップは、前記画像取得ステップで取得した平面画像のうち前記マッチング領域設定ステップで設定された領域内でパターンマッチングを行い、マッチング領域は、箱の底面から、ロボットのアームが前記箱の側壁に接触しワークを把持できない領域を除外した領域に設定されていることを特徴とする。

箱内にバラ積みされたワークのピッキングにおいては、ワークの位置・姿勢を認識してもロボットアームが箱の側壁に接触するため把持できない場合もある。本発明のワーク認識方法では、ワークが把持できない領域を除外してパターンマッチングを行うので、把持可能なワークのみを選出することができ、無駄なピッキング操作を防止することができる。さらに本発明のワーク認識方法は、ワークが把持できない領域を除外してパターンマッチングを行うのでマッチング領域が狭く、結果、迅速にワークを選出することができる。

また本発明のワーク認識方法において、前記閾値は、形態の異なるワークに対して異なる値が設定され、前記閾値と前記ワークの形態との間に相関関係が成立することを特徴とする。

ロボットハンドによるワークの把持は、ワークが球であれば、バラ積みの状態に係わらず姿勢が同一であるので把持し易い。円柱状のワークであれば、立った状態よりも、水平に倒れている状態の方が把持し易い。一方、特定の凸部を把持するような特異な形態のワークであれば、ワークが特定の位置・姿勢でなければ把持することはできない。以上のようにロボットハンドによるバラ積みされたワークの把持及び取出しの容易性は、ワークの形態により大きく異なる。把持し易いワークは、ワークの位置、姿勢に対する制約が緩やかであるためパターンマッチングの閾値を低く設定してもよい。一方、把持し難いワークは、ワークの位置、姿勢に対する制約が厳しいのでパターンマッチングの閾値を高く設定する必要がある。本発明によれば、ワーク検出のための閾値を形態の異なるワーク毎に設定することができるので、確実に把持し取出すことができるワークを高い精度で迅速に選出することができる。

本発明は、ロボットアームの先端に設けられたハンドによりバラ積みされたワークを把持し取出すランダムピッキング方法であって、前記ワーク認識方法を含み、前記ワーク選出ステップで選出されたワークをロボットアームの先端に設けられたハンドで把持するワーク把持ステップと、前記ロボットアームを動かし、ワークを把持した状態で把持したワークの周囲のワークの配置状態を掻き乱す撹乱ステップと、を含み、前記撹乱ステップが、前記ワーク把持ステップ後に毎回実施されることを特徴とするランダムピッキング方法である。

バラ積みされたワークのランダムピッキングにおいては、基本的に把持し易いワークから順次、把持し取り出される。このため後半になるほど取り出し難いワークが残り、ワークを把持しに行っても把持できない場合もある。これに対して本発明のランダムピッキング方法では、ワークを把持した状態で把持したワークの周囲のワークの配置状態を掻き乱す撹乱操作をワークの把持操作毎に行うので、バラ積みされたワークが平滑化され易く、ピッキングの後半においてもワークを確実に把持し取出すことができる。

本発明によれば、高い精度で迅速にワークの認識を行うことができるワーク認識方法及びワークを確実に把持し取出すことができるランダムピッキング方法を提供することができる。

本発明のワーク認識方法及びランダムピッキング方法を使用するランダムピッキングシステム１のシステム構成図である。 図１のランダムピッキングシステム１のワーク認識方法及びランダムピッキング方法の処理手順を示すフローチャートである。 図１のランダムピッキングシステム１で得られる平面画像である。 図１のランダムピッキングシステム１のワーク認識方法で使用するワークＷ及び基準画像である。

図１は、本発明のワーク認識方法及びランダムピッキング方法を使用するランダムピッキングシステム１の構成図、図２は、ランダムピッキングシステム１のワーク認識方法及びランダムピッキング方法の処理手順を示すフローチャートである。以下、上面が全面開口した長方体形状の箱１０１にバラ積みされた長さの短い円筒状のワークＷ（図４（ａ）参照）をピッキングする場合を例として説明する。

ランダムピッキングシステム１は、ロボットアーム３５の先端に設けられたハンド３６によりバラ積みされたワークＷを把持し取出す装置であり、バラ積みされたワークＷを撮像する撮像装置１１と、撮像装置１１を介して取得されるバラ積みされたワークＷの画像データを基に把持するワークＷを選出するワーク認識装置２１と、ワークＷを把持し取り出すロボット３１とを含む。

撮像装置１１は、箱１０１にバラ積みされたワークＷの平面画像を取得するカラー画像センサー１２と距離画像を取得する距離画像センサー１３とを含む。カラー画像センサー１２及び距離画像センサー１３とも特定のセンサーに限定されるものではなく、カラー画像センサー１２にはＲＧＢカメラ、距離画像センサー１３にはレーザースキャン、ステレオカメラ等の公知のセンサーを使用することができる。なお、カラー画像センサー１２に代え、モノクロカメラでワークＷの平面画像を取得してもよい。

カラー画像センサー１２及び距離画像センサー１３は、箱１０１の上方に固定され、ワーク認識装置２１からの指令に基づき、箱１０１にバラ積みされたワークＷの平面画像及び距離画像を取得し、これら画像データをワーク認識装置２１に送信する。図３（ａ）にカラー画像センサー１２で得られた箱１０１にバラ積みされたワークＷの平面画像を示す。

ワーク認識装置２１は、撮像装置１１を介して取得されるバラ積みされたワークＷの画像データを基に把持するワークＷを選出し、当該ワークＷの位置・姿勢を算出する。さらにこれらデータをロボット座標に変換し、ロボット制御装置３３に送信する。

ワーク認識装置２１は、データの入出力を行う入出力手段２２、データの入出力等を制御する制御手段２３、基準画像等を格納する記憶手段２４及びワークＷの選出等を実行する演算手段２５を含む。記憶手段２４には、１個のワークＷに対して異なる高さで撮像された複数枚の平面画像が基準画像として格納されている。図４（ｂ）に異なる高さＨｉで撮影された複数枚の基準画像を示す。基準画像は、添え字ｉの数の小さいものほどワークＷの置かれた位置が高く、ワークＷとカラー画像センサー１３との距離が短い。

演算手段２５は、画像入力部２６、画像処理部２７、ワーク位置・姿勢処理部２８、ロボットデータ処理部２９を有し、ロボットが把持し取り出すためのワークＷを選定し、そのワークＷの位置・姿勢を算出し、ロボットに把持させるためのロボット座標への変換処理を行う。

画像入力部２６は、撮像装置１１が撮像したバラ積みされたワークＷの平面画像データ及び距離画像データの読み込みを行う。

画像処理部２７は、バラ積みされたワークＷの中から把持し易いワークＷを１個選出する。具体的には、距離画像データからワークＷの最大高さＨ（図３（ａ）参照）を求め、この高さに最も近い高さＨ_ｉで撮像された基準画像を読み出し、当該基準画像を用い平面画像のパターンマッチングを行い、予め定める閾値以上の相関値を有するワークＷを検出し、最終的に相関値の最も大きいワークＷを選出する。

ところで本実施形態に示すように深さのある箱１０１にバラ積みされたワークＷのうち、深い位置にあり箱１０１の側壁１０３に接触するようなワークＷは、ロボットアーム３５が箱１０１の側壁１０３に接触するため把持することができない。このような把持することのできないワークＷまでもパターンマッチングすることは時間の無駄である。そこで画像処理部２７は、パターンマッチングに先立ち、平面画像に対してマッチングする領域を設定する。

平面画像に対してマッチングする領域は、箱１０１の底面１０５から、ロボットアーム３５が箱１０１の側壁１０３に接触しワークＷを把持できない領域を除外した領域に設定される。図３（ｂ）に示す枠（設定枠）１０７内がマッチングする領域である。ロボットアーム３５が箱１０１の側壁１０３に接触しワークＷを把持できない領域は、箱１０１の大きさ、形状、ロボット３１の位置、さらにはワークＷの形態により異なるので、予め実験等を行い取得される。ワークＷが把持できない領域を除外してパターンマッチングを行うことでマッチング領域が狭くなり、結果、迅速にワークＷを選出することができる。

ワーク位置・姿勢算出部２８は、ロボットハンド３６でワークＷを把持し取り出すために必要なワークＷの位置・姿勢を算出する。具体的には、ワークＷの孔Ｎに外接するＸ軸，Ｙ軸に平行な四角形Ｓの各頂点の座標から中心点Ｏの座標（Ｘ，Ｙ，Ｚ）を求める。ワークＷの傾きは、四角形ＳとワークＷの外形との間に４つの基準点Ｐ_１〜Ｐ_４を設け、当該基準点Ｐ_１〜Ｐ_４を用い、三角法によりＸ−Ｚ平面に対する傾き、Ｙ−Ｚ平面に対する傾きを求める。基準点Ｐ_１及びＰ_４はＸ軸に平行に、基準点Ｐ_２及びＰ_３はＹ軸に平行に、それぞれ中心点Ｏから等距離に設けられる。なお、ワークＷの中心座標及びワークＷの傾きの算出方法は、本方法に限定されるものではない。

本実施形態のように物理的挟持によりワークＷを把持するハンド３６の場合、ワークＷに対してどのような角度でアプローチし、ワークＷのどの部分をどのように把持するかは、把持成功率を高める上で非常に重要である。ここではワークＷの位置・姿勢が算出されるので、ワークＷに対して、ロボットアーム３５の先端に設けられたハンド３６を把持し易い方向からアプローチさせることで、ワークＷを確実に把持することができる。

ロボットデータ処理部２９は、選出されたワークＷの位置・姿勢に対応し、ロボットアーム３５の角度補正処理及びワークＷの位置・姿勢座標からロボット座標への変換処理を行う。

以上からなるワーク認識装置２１は、制御手順、さらには演算手段２５を画像入力部２６、画像処理部２７、ワーク位置・姿勢算出部２８、ロボットデータ処理部２９として機能させるためのプログラムを搭載したコンピュータを用いて実現することができる。

ロボット３１は、ワーク認識装置２１が選出したワークＷを把持し取り出すロボット本体３２と、ロボット本体３２の動作を制御するロボット制御装置３３とを含む。

ロボット本体３２は、アーム３５の先端部にワークＷを把持するハンド３６を備える、公知の多関節型ロボットである。ハンド３６には、フィンガでワークＷを物理的に挟む挟持タイプのハンド、ワークＷを吸引し吸着するタイプのハンド等があるが、ワークＷの形態に応じて適したハンド３６を使用すればよい。ここではハンド３６には、ワークＷの穴Ｎにフィンガを差し込み拡張することでワークＷを把持する、フィンガを拡げるタイプのハンド３６を使用する。

ロボット制御装置３３は、ワーク認識装置２１とデータを送受信可能に接続し、ワーク認識装置２１の指令を受け、ロボット本体３２にワークＷを把持させるための命令を発する。またロボット制御装置３３は、ワークＷを把持した状態でロボットアーム３５を動かし、把持したワークＷの周囲のワークＷの配置状態を掻き乱すように制御する。

次にバラ積みされたワークＷの中からピッキングするためのワークＷの認定方法及びピッキング方法の手順について説明する。

ワーク認識装置２１は、カラー画像センサー１２及び距離画像センサー１３を介して箱１０１にバラ積みされたワークＷの平面画像及び距離画像を取得する（ステップＳ１）。

続いて、ワーク認識装置２１は、ステップＳ１で取得した平面画像に対して、基準点（０，０），Ｘ軸の基準点及びＹ軸の基準点、さらに予め設定された寸法の設定枠１０７を設ける（ステップＳ２）。

一方、距離画像からは、バラ積みされたワークＷのうち一番高いワークＷの高さＨ（図３（ａ）参照）を算出する（ステップＳ３）。一番高いワークＷは、距離画像センサー１３に最も近いワークＷである。

ステップＳ３で一番高いワークＷの高さＨを算出すると、記憶手段２４に格納された基準画像の中からワークＷの高さＨに最も近い高さＨ_ｉで撮像された基準画像（図４（ｂ）参照）を読み出す（ステップＳ４）。なお、ステップＳ２〜Ｓ４の順番は、入れ替わってもよい。

続いて、ステップＳ４で得られた基準画像Ｈ_ｉを用い、ステップＳ２で得られる設定枠１０７が設けられた平面画像のパターンマッチングを行い、予め定める閾値以上の相関値のワークＷを検出する（ステップＳ５）。相関値は、正規化相互相関など一般的な画像処理方法を用いて算出することができる。基準画像は、水平に置かれた１個のワークの平面画像ゆえ、水平状態に近く、基準画像の高さに近いワークＷの相関値が高くなり、これらが優先的に選定される。

ステップＳ５で検出されたワークＷの中から相関値の最大のものを選出し（ステップＳ６）、選出されたワークＷの座標から中心座標Ｏ及びワークＷの傾斜を算出する（ステップＳ７）。ステップＳ７が、ワークＷの位置・姿勢を算出する工程である。

続いて、ステップＳ７で算出したワークＷの中心座標Ｏ及びワークＷの傾斜に基づき、ロボットハンド３６の傾きを演算し（ステップＳ８）、ロボットアーム３５及びハンド３６を動作させワークＷを把持する（ステップＳ９）。続いて、ワークＷを把持した状態で、ロボットアーム３５を動かし、把持したワークＷの周囲のワークＷを掻き乱し（ステップＳ１０）、その後、箱１０１の外にワークＷを取出す（ステップＳ１１）。

ワークＷの取出しが終了すると、再度ステップＳ１に戻り、ステップＳ１からステップＳ１１の操作を繰り返しながらワークＷのピッキングを行う。

以上、実施形態を用いて説明したように本発明のワークの認識方法は、バラ積みされたワークＷのうち最も高い位置にあるワークＷの高さＨを検出し、この高さＨに最も近い高さＨ_ｉで撮像された平面画像からなる基準画像を用いてパターンマッチングを行いワークＷを選定するので、高い精度で迅速にワークＷの認識（選出）を行うことができる。また把持し易く取出し易いワークＷが優先的に選出されるので、ワークＷを確実に把持し取出すことができる。

また本発明のワークの認識方法は、設定枠１０７を設けることで把持可能なワークＷのみを対象としてワークＷを選出することができるのでマッチング領域が狭く、結果、迅速にワークＷを選出することができる。また無駄なピッキング操作を防止することができる。

また本発明のランダムピッキング方法は、ワークＷを把持した状態で把持したワークＷの周囲のワークＷの配置状態を掻き乱す撹乱操作をワークＷの把持操作毎に行うので、バラ積みされたワークＷが平滑化され易く、ピッキングの後半においてもワークＷを確実に把持し取出すことができる。

本発明のワークの認識方法及びランダムピッキング方法は、上記実施形態に限定されるものではなく要旨を変更しない範囲で変形して使用することができる。以下に本発明のワークの認識方法及びランダムピッキング方法の変形例を示す。

上記実施形態では、予め記憶手段２４に基準画像として、１個のワークＷに対して異なる高さで撮像された複数枚の平面画像を格納し、図２に示すように距離画像データからバラ積みされたワークＷのうち一番高いワークＷの高さＨを算出し（ステップＳ３）、格納された基準画像の中からワークＷの高さＨに最も近い高さＨ_ｉで撮像された基準画像を読み出し（ステップＳ４）、これを用いてパターンマッチングを行う（ステップＳ５）が、これを以下のように変形することもできる。

１個のワークＷに対して所定（既知）の高さで撮像された１枚の平面画像を取得し、これを記憶手段２４に基準画像の元データとして格納する。パターンマッチングを行う際には、バラ積みされたワークＷのうち一番高いワークＷの高さＨに対応した基準画像を、先の基準画像の元データを基に計算により求める（ステップＳ４）。基準画像の大きさは、ワークＷの高さに対して一次的（直線的）に比例し、バラ積み高さが高くワークＷとカラー画像センサー１３との距離が短いほど大きくなる。高さが既知の１つの基準画像があれば、それを元に異なる高さの基準画像を容易に算出することができる。

元データとなる基準画像を撮像する高さは、特に限定されるものではないが、ワークＷのバラ積み高さのほぼ中央が好ましい。元データとなる基準画像の高さが求める高さと近い程、誤差が小さくなる。本方法は、基準画像となる元データが１つあればよいので、記憶手段２４の容量を小さくすることができる。

ロボットハンド３６によるワークＷの把持の容易性、把持成功率は、ワークＷの形態により大きく異なる。例えばワークＷが球であれば、バラ積みの状態に係わらず姿勢が同一であるので把持し易い。円柱状のワークであれば、立った状態よりも、水平に倒れている状態の方が把持し易い。一方、特定の凸部を把持するような特異な形態のワークＷであれば、特定の位置・姿勢でなければ把持することはできない。

以上のことから把持し易いワークＷは、ワークＷの位置、姿勢に対する制約が緩やかであるためパターンマッチングの閾値を低く設定してもよい。一方、把持し難いワークＷは、ワークＷの位置、姿勢に対する制約が厳しいので閾値を高く設定する必要がある。ワークの認識方法において、形態の異なるワークＷに対して異なる閾値を設定可能とし、把持し易いワークＷは閾値を低く、把持し難いワークＷは閾値を高く設定することで、把持可能なワークＷを迅速に選出し、かつワークＷを確実に把持し取出すことが可能となる。

上記実施形態では、平面画像に設定された設定枠１０７内全体をパターンマッチングするが、設定枠１０７内全体をパターンマッチングすることなく所定の数のワークＷが検出された時点で、パターンマッチングを終了し、その中から閾値の最も高いワークＷを選出するようにしてもよい。

ロボットハンド３６でワークＷを把持する場合、ロボットハンド３６を傾斜させることなく鉛直状態でアプローチし把持することができれば、ワークＷのピックアップを迅速に行うことができる。ロボットハンド３６を傾斜させることなく鉛直状態でアプローチしワークＷを把持できる領域を予め把握し、これを平面画像に重ね合せこの領域内でワークＷを選出するようにすれば、ワークＷを迅速に選出し、ワークＷのピックアップを迅速に行なえる。

図３（ｃ）にロボットハンド３６を傾斜させることなく鉛直状態でアプローチしワークＷを把持できる領域１０９を示した。ロボットハンド３６を傾斜させることなく鉛直状態でアプローチしワークＷを把持できる領域１０９は、箱１０１とロボット本体３２との位置関係、さらには箱１０１の大きさ等により異なるので、予め実験等によりその領域１０９を確認しておく必要がある。

上記実施形態に示すランダムピッキング方法では、ワークＷを把持した状態で把持したワークＷの周囲のワークＷの配置状態を掻き乱す撹乱操作をワークＷの把持操作毎に行うが、ワークＷを把持できなかった場合にのみ、ワークＷを把持しに行った場所の周囲のワークＷの配置状態を掻き乱す撹乱操作を行うようにしてもよい。

予め定める閾値以上の相関値を有するワークＷが１個も検出されない場合には、箱１０１の中にロボットハンド３６を突っ込みワークＷを掻き乱し、又は箱１０１を振動させる装置を設け、箱１０１を振動させることで箱１０１内のワークＷを掻き乱すようにするのがよい。それでもワークＷを検出できないとは、警告を発するのがよい。

ワーク認識方法で選出されるワークＷは、相関値が最大のワークＷゆえ、当該ワークＷが把持できなかった場合、次回も当該ワークＷが選出される可能性が高い。そこで把持できなかったワークＷが次回も選出されないように当該ワークＷのデータを欠損させてもよい。

以上のとおり、図面を参照しながら好適な実施形態を説明したが、当業者であれば、本明細書を見て、自明な範囲内で種々の変更及び修正を容易に想定するであろう。従って、そのような変更及び修正は、請求の範囲から定まる発明の範囲内のものと解釈される。

１ ランダムピッキングシステム
１１ 撮像装置
１２ カラー画像センサー
１３ 距離画像センサー
２１ ワーク認識装置
２２ 入出力手段
２３ 制御手段
２４ 記憶手段
２５ 演算手段
２６ 画像入力部
２７ 画像処理部
２８ ワーク位置・姿勢算出部
２９ ロボットデータ処理部
３１ ロボット
３２ ロボット本体
３３ ロボット制御装置
３５ ロボットアーム
３６ ロボットハンド
１０１ 箱
１０３ 箱の側面（側壁）
１０５ 箱の底面
１０７ 枠（設定枠）
１０９ 領域
Ｈ ワークの高さ
Ｈ_ｉ 基準画像の高さ
Ｎ ワークＷの孔
Ｗ ワーク

Claims (5)

1. ロボットアームの先端に設けられたハンドによりバラ積みされたワークを把持し取出すランダムピッキングのためのワーク認識方法であって、
   バラ積みされたワークの平面画像及び距離画像を取得する画像取得ステップと、
   前記距離画像から最も高い位置にあるワークの高さを検出する高さ検出ステップと、
   記憶手段に格納された基準画像の中から、前記高さ検出ステップで検出された高さに最も近い高さで撮像された基準画像を選出する基準画像選出ステップと、
   前記基準画像選出ステップで選出した基準画像を用い前記画像取得ステップで取得した平面画像のパターンマッチングを行い、予め定める閾値以上の相関値を有するワークを検出するワーク検出ステップと、
   前記ワーク検出ステップで検出されたワークの中から相関値の最も大きいワークを選出するワーク選出ステップと、
   前記ワーク選出ステップで選出されたワークの中心座標及び傾きを算出するワーク位置・姿勢算出ステップと、
   を含み、
   前記記憶手段は、１個のワークに対して異なる高さで撮像された複数の平面画像からなる基準画像を格納することを特徴とするワーク認識方法。
2. 前記基準画像選出ステップに代えて、１個のワークに対して既知の高さで撮像された１枚の平面画像からなる基準画像を元データとし、計算により前記高さ検出ステップで検出された高さの基準画像を算出する基準画像算出ステップを含み、
   前記ワーク検出ステップでは、前記基準画像算出ステップで算出した基準画像を用い前記画像取得ステップで取得した平面画像のパターンマッチングを行い、
   前記記憶手段は、１個のワークに対して既知の高さで撮像された１枚の平面画像からなる基準画像を格納することを特徴とする請求項１に記載のワーク認識方法。
3. 前記ワークは、箱内にバラ積みされており、
   さらに前記画像取得ステップで取得した平面画像に対してマッチングを行う領域を設定するマッチング領域設定ステップを含み、
   前記ワーク検出ステップは、前記画像取得ステップで取得した平面画像のうち前記マッチング領域設定ステップで設定された領域内でパターンマッチングを行い、
   マッチング領域は、箱の底面から、ロボットのアームが前記箱の側壁に接触しワークを把持できない領域を除外した領域に設定されていることを特徴とする請求項１又は請求項２に記載のワーク認識方法。
4. 前記閾値は、形態の異なるワークに対して異なる値が設定され、
   前記閾値と前記ワークの形態との間に相関関係が成立することを特徴とする請求項１から請求項３のいずれか１項に記載のワーク認識方法。
5. ロボットアームの先端に設けられたハンドによりバラ積みされたワークを把持し取出すランダムピッキング方法であって、
   請求項１から請求項４のいずれか１項に記載のワーク認識方法を含み、
   前記ワーク選出ステップで選出されたワークをロボットアームの先端に設けられたハンドで把持するワーク把持ステップと、
   前記ロボットアームを動かし、ワークを把持した状態で把持したワークの周囲のワークの配置状態を掻き乱す撹乱ステップと、
   を含み、
   前記撹乱ステップが、前記ワーク把持ステップ後に毎回実施されることを特徴とするランダムピッキング方法。