JP5201411B2 - バラ積みピッキング装置とその制御方法 - Google Patents

Description

本発明は、ロボットにより１つずつワークを取出すバラ積みピッキング装置とその制御方法に関する。

バラ積みピッキング装置とは、乱雑に重なり合って置かれたバラ積み部品等から個別にワークの位置・姿勢を認識し、ロボットにより１つずつワークを取出す装置をいう。以下、ワークを１つずつ取出して、別の位置に移載することを、単に「ピッキング」と称する。
かかるバラ積みピッキング装置として、例えば特許文献１が提案されている。

特許文献１は、山積み部品の中から、ロボットのハンドにより把持可能な部品の単純形状から成る特定部位を高速に認識しピッキングすることを目的とする。

そのためこの装置は、図５に示すように、画像入力用カメラ５０、５１、物体認識装置５２、ピッキング用ロボット５３、ハンド５４及び距離検出センサ５５を備える。
物体認識装置５２は、照合モデル記憶手段、姿勢照合モデル記憶手段、特定部位検出手段、位置決定手段、ピッキング指令手段、補正量演算手段、および姿勢補正指令手段を有する。
この装置により、照合モデル記憶手段に照合モデルを記憶し、特定部位検出手段により山積み部品の２次元画像の中から照合モデルとの照合により認識された部分を特定部位として検出し、位置決定手段により検出された特定部位の位置を決定し、ピッキング指令手段により決定された位置にロボットのハンドを位置決めして特定部位をピックアップさせる。また、姿勢照合モデル記憶手段に記憶されている姿勢照合モデルを用いて、補正量演算手段によりピックアップされた状態における部品単体の２次元画像において姿勢補正量を算出し、姿勢補正指令手段により姿勢補正量に基づいて部品の姿勢を補正する指令をロボット側に出力するものである。

特許第２５５５８２４号明細書、「山積み部品の高速ピッキング装置」

特許文献１のピッキング装置では、ワークＷの特定部位との距離を検出するためハンド５４に隣接して配設された距離検出センサ５５によりワークＷの特定部位に対するハンド５４の高さが計測される。
そのため、カメラ５０ではワークの２次元情報しか把握できず、乱雑に重なり合って置かれたワークを対象とする場合に誤認識を生じるおそれがあった。

一方、ロボットでバラ積み状態のワークの把持を行うために、レーザスキャナを用いてワークの３次元情報を取得することが、本出願の出願人から既に提案されている。

しかし、レーザスキャナによる３次元情報の取得には、カメラによる２次元情報の取得に比較して、時間がかかる問題点があった。例えば、カメラによる２次元情報の取得は、１秒以下（例えば６０分の１秒）で完結するのに対し、レーザスキャナによる３次元情報の取得には、例えば５秒から３０秒程度が必要となる。
そのため、従来は１回のピッキングが完了する度にレーザスキャナによる再計測を行う必要があるため、計測に時間がかかるという問題点があった。

本発明は上述した従来の問題点を解決するために創案されたものである。すなわち、本発明の目的は、ワークの３次元情報を用いることにより、乱雑に重なり合って置かれた複数のワークを対象とする場合でも誤認識を大幅に低減することができ、かつワークの計測時間を大幅に短縮してピッキング時間を短縮し、これによりピッキングの成功率と装置の稼働率の両方を高めることができるバラ積みピッキング装置とその制御方法を提供することにある。

本発明によれば、ロボットハンドを有し該ロボットハンドによりワークを１つずつピッキングするロボットと、バラ積みされた複数のワークを上方から撮影して画像データを取得するカメラと、前記ワークを上方からレーザ光で走査してワーク表面までの距離データを上方から取得するレーザスキャナと、前記画像データと距離データから複数のワークの３次元位置と姿勢を認識し、認識データとして記憶する物体認識処理装置と、前記認識データに基づき前記ロボットを制御するロボット制御装置とを備え、
物体認識処理装置とロボット制御装置により前記画像データと距離データからワークの３次元位置と姿勢を認識して１つのワークをピッキングし、
次いで、カメラにより再度画像データのみを取得し、
物体認識処理装置により直前の画像データとの比較から位置と姿勢の変化が許容範囲内のワークの有無を判断し、
前記許容範囲内のワークが存在する場合には、ロボット制御装置によりそのワークを前記画像データと距離データに基づきピッキングを継続し、
前記許容範囲内のワークが存在しない場合には、レーザスキャナにより再度距離データを取得する、ことを特徴とするバラ積みピッキング装置が提供される。

本発明の好ましい実施形態によれば、前記ロボットは多関節型ロボットであり、前記ロボットハンドはツメを開閉してその間にワークを挟持するツメ開閉ハンドであり、レーザスキャナはレーザ光を用いて距離を計測するレーザレーダである。

また、複数の前記カメラを備え、得られた複数の画像データを物体認識処理装置により合成すること、及び、
複数の前記レーザスキャナを備え、得られた複数の距離データを物体認識処理装置により合成すること、
の一方または両方により、大きなワークの３次元位置と姿勢を認識する、ことが好ましい。

また本発明によれば、ロボットハンドを有し該ロボットハンドによりワークを１つずつピッキングするロボットと、バラ積みされた複数のワークを上方から撮影して画像データを取得するカメラと、前記ワークを上方からレーザ光で走査してワーク表面までの距離データを上方から取得するレーザスキャナと、前記画像データと距離データから複数のワークの３次元位置と姿勢を認識し、認識データとして記憶する物体認識処理装置と、前記認識データに基づき前記ロボットを制御するロボット制御装置とを用いて、
（Ａ） レーザスキャナとカメラにより距離データと画像データをそれぞれ取得し、これから複数のワークの３次元位置と姿勢を認識して記憶し、
（Ｂ） 複数のワークのうちピッキング可能なワークを決定して、そのワークをピッキングし、
（Ｃ） ピッキング後に画像データのみを再取得して、直前の画像データと比較して位置と姿勢の変化が許容範囲内のワークの有無を判断し、
（Ｄ） 前記許容範囲内のワークが存在する場合に、そのワークをピッキングして（Ｃ）に戻り、
（Ｅ） 前記許容範囲内のワークが存在しない場合に、（Ａ）に戻り再度距離データを取得する、ことを特徴とするバラ積みピッキング装置の制御方法が提供される。

本発明の好ましい実施形態によれば、前記許容範囲を、ロボットハンドで把持できる範囲に設定する。

また、複数の前記カメラにより、得られた複数の画像データを合成すること、及び、
複数の前記レーザスキャナにより、得られた複数の距離データを合成すること、
の一方または両方により、大きなワークの３次元位置と姿勢を認識する、ことが好ましい。

上記本発明の装置および方法によれば、２回目以降のピッキングの際に、再度画像データを取得し、直前の画像データとの比較から位置と姿勢の変化が許容範囲内のワークが存在する場合にはそのワークをピッキングするので、レーザスキャナによる再計測および認識処理を省略することができる。

直前の画像データとの比較、すなわち画像の差分処理は、複雑な処理を必要とせず、短時間（例えば１秒未満）でできるので、ピッキングの際にワークの位置と姿勢が大きく変化しない限り、レーザスキャナに必要な時間（例えば５秒から３０秒程度）を省略して、直前の距離データを用いることでワークの計測時間を大幅に短縮し、ピッキング時間を短縮することができる。

また、ピッキングの際に位置と姿勢が大きく変化しない限り、直前の距離データによるワークの３次元情報を用いることができ、乱雑に重なり合って置かれたワークを対象とする場合でも誤認識を大幅に低減することができる。
従って本発明の装置および方法により、ピッキングの成功率と装置の稼働率の両方を高めることができる。

また、特にワークが大きい場合、例えば、１つのカメラで全体を撮影できない場合でも、前記カメラ及び／又はレーザスキャナを複数備えることにより、物体認識処理装置により複数の画像データ及び／又は距離データを合成して大きなワークの３次元位置と姿勢を認識することができる。

以下、本発明の好ましい実施例を図面を参照して説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。

図１は、本発明による第１実施形態のバラ積みピッキング装置の全体構成図である。
本発明のバラ積みピッキング装置１０は、乱雑に重なり合って置かれた複数のワーク１から個別にワーク１の位置・姿勢を認識し、ワークを１つずつ取出して、別の位置に移載するピッキング装置である。

本発明において、複数のワーク１は、すべて同一形状であり、かつ少なくともピッキング中は同一の位置（トレイ、パレット、コンベア等の上）に静止している。またワーク１の３次元形状は、認識モデルとして記憶装置１１に予め登録されている。

図１において、本発明のバラ積みピッキング装置１０は、カメラ１２、レーザスキャナ１４、物体認識処理装置１６、ロボット制御装置１８、およびロボット２０を備える。

カメラ１２は、ＣＣＤまたはＣＭＯＳを備えたデジタルスチールカメラ又はデジタルビデオカメラであり、バラ積みされた複数のワーク１を上方から撮影して画像データ２を取得する。画像データ２は、物体認識処理装置１６に入力される。

レーザスキャナ１４は、ワーク１を上方からレーザ光で走査してワーク表面までの距離データ３を上方から取得する。距離データ３は、物体認識処理装置１６に入力される。
レーザスキャナ１４は、この例ではレーザ光を用いて距離を計測するレーザレーダである。レーザレーダはレーザ光を２次元的にスキャンすることで、ワーク１の３次元形状情報を得ることができる。

なお、カメラ１２とレーザスキャナ１４は、ワーク上方の固定位置に近接して配置することが好ましい。

物体認識処理装置１６は、例えばコンピュータ（ＰＣ）であり、画像データ２と距離データ３から、記憶装置１１に予め登録されているワークの３次元情報を基に、複数のワーク１の位置（３次元位置）と姿勢を認識する。

ロボット制御装置１８は、例えばコンピュータ（ＰＣ）であり、前記認識データ（ワーク１の３次元位置と姿勢）に基づきロボット２０を制御する。
ロボット２０は、ロボットハンド２２を有し、ロボットハンド２２の３次元位置と姿勢を制御してワークを１つずつ取出す。
この例において、ロボット２０は多関節型ロボットである。しかし、本発明はこれに限定されず、上方からワーク１を取り出せる限りでその他の形式であってもよい。

ロボットハンド２２は、ワーク１を把持するためにロボット２０の手先に取り付けられ、ロボット制御装置１８により制御される。
ロボットハンド２２は、この例では、ツメを開閉してその間にワークを挟持するツメ開閉ハンドであるが、本発明はこの例に限定されず、ワーク１を１つずつ取り出せる限りで、電磁石式、エアー吸着式、あるいはそれらの組合せであってもよい。

本発明のバラ積みピッキング装置１０は、（１）ワークとして複雑な形状を取り扱うことができ、（２）ワークが傾いている場合、重なりあっている場合、異物が混入した場合でも安定して取り出しができる、という特徴がある。

上述した本発明のバラ積みピッキング装置１０は、物体認識処理装置１６とロボット制御装置１８により画像データ２と距離データ３からワーク１の３次元位置と姿勢を認識して、ロボット２０により１つのワークをピッキングする。

また、２度目以降のピッキングの際には、カメラ１２により再度画像データ２のみを取得し、物体認識処理装置１６により直前の画像データとの比較から位置と姿勢の変化が許容範囲内のワーク１の有無を判断する。

この判断で、許容範囲内のワーク１が存在する場合には、距離データ３を再取得せずに、ロボット制御装置１８によりそのワーク１を直前の画像データ２と直前の距離データ３に基づきピッキングを継続する。従って、この場合には、レーザスキャナに必要な時間（例えば５秒から３０秒程度）を省略することができる。
上記の判断で、許容範囲内のワーク１が存在しない場合には、レーザスキャナ１４により再度距離データを取得する。この場合には、レーザスキャナを用いた通常の計測時間を要するが、複数のワークを対象とする場合に、この頻度は少ないので、全体として計測時間を大幅に短縮できる。

図２は、本発明によるバラ積みピッキング装置の制御方法を示すフロー図である。また、図３は本発明による制御方法の説明図である。

図２に示すように、本発明の制御方法は、Ｓ１〜Ｓ６の各ステップからなる。

図２のステップＳ１，Ｓ２において、カメラ１２とレーザスキャナ１４の両方のセンサでワーク全体を計測する。ステップＳ１，Ｓ２は、この順でも同時でもよい。
この計測で得られた画像データ２と距離データ３から、記憶装置１１に予め登録されているワークの３次元情報を基に、物体認識処理装置１６により複数のワーク１の３次元位置と姿勢を認識し、認識データ４（３次元位置と姿勢）を記憶装置１１に記憶する。
この３次元位置と姿勢の認識は、例えば画像データ２と距離データ３から両者が一致する３次元画像を作成し、この３次元画像に対してエッジ抽出を行い、記憶装置１１から得られるワークの輪郭（テンプレート）と抽出したエッジ情報とをマッチング（テンプレートマッチング）させ、各ワークの位置及び姿勢を検出する。なお、認識手段はこの例に限定されず、その他の周知の手段を用いてもよい。
図３（Ａ）は、ステップＳ１，Ｓ２でＡ，Ｂ，Ｃ，Ｄの４つワークの位置（３次元位置）と姿勢を認識した状態を２次元で模式的に示している。従って、この図において、距離データ３から求めたワークの位置と姿勢は、画像データ２と一致する。

図２のステップＳ３，Ｓ４において、物体認識処理装置１６により、複数のワークのうちピッキング可能なワーク１を決定する。
図３（Ｂ）では、ピッキング可能なワーク１から最も取り易いワークとしてワークＡを検出している。なお、ピッキング可能なその他のワークＢ〜Ｄについても、３次元位置と姿勢の認識は、既に完了している。

図２のステップＳ５において、ロボットハンド２２を用いて、目的のワークＡをピッキングする。この状態は、図３（Ｃ）に相当する。
このピッキングにより、ピッキングの成功、不成功によらず、バラ積み状態の他のワーク１は、崩れ等により位置と姿勢が変化する場合がある。

ピッキング後、図２のステップＳ２に戻り、カメラ１２で再度画像データ２のみを取得し、ステップＳ３，Ｓ６で、直前の画像データ３との差分を求める。この状態は、図３（Ｄ）に相当する。
この差分処理により、ワークＢ〜Ｄの領域において、画像の差分が大きいときは、崩れ等により位置と姿勢が変化したものと判断することができる。

ステップＳ４において、直前の画像データ２と比較して位置と姿勢の変化が許容範囲を超えるワーク１は、距離データが正確でないため、ピッキング可能なワークから除外する。許容範囲は、ロボットハンド２２で把持できる範囲に設定する。
ステップＳ４において、崩れの発生していないことが確認できたワークのうち、最も取り易いものを検出し、ステップＳ５において、ロボットハンド２２で目的のワークをピッキングする。以下、ステップＳ２に戻って繰り返す。

ステップＳ４において、ピッキング可能なワークがないときは、ステップＳ１に戻り、記憶した画像データ２と距離データ３を消去して、ステップＳ１，Ｓ２において、カメラ１２とレーザスキャナ１４の両方のセンサでワーク全体を再計測する。

図４は、本発明による第２実施形態のバラ積みピッキング装置の全体構成図である。この実施形態は、例えば１つのカメラ又はレーザスキャナでワーク全体を撮影又は計測できない場合に、特に有用である。
この例において、本発明のバラ積みピッキング装置１０は、カメラ１２及びレーザスキャナ１４をそれぞれ複数（この例では２台ずつ）備えている。なお、カメラ１２及びレーザスキャナ１４は、ワーク全体を撮影又は計測できる限りで、一方が１台であっても、両方が３台以上であってもよい。
また、この場合に、物体認識処理装置１６は、カメラ１２及びレーザスキャナ１４で得られた複数の画像データ及び／又は距離データを合成して大きなワーク１の３次元位置と姿勢を認識するようになっている。
その他の構成は、図１の第１実施形態と同様である。

また、本発明の方法によれば、図４の装置を用い、複数のカメラ及び／又はレーザスキャナを用いて、複数の画像データ及び／又は距離データを取得し、得られた複数の画像データ及び／又は距離データを合成して大きなワークの３次元位置と姿勢を認識する。
その他の方法は、図２の第１実施形態と同様である。

上述した本発明の装置および方法によれば、２回目以降のピッキングの際に、再度画像データ２を取得し、直前の画像データ２との比較から位置と姿勢の変化が許容範囲内のワーク１が存在する場合にはそのワーク１をピッキングするので、レーザスキャナ１４による再計測および認識処理を省略することができる。

直前の画像データ２との比較、すなわち画像の差分処理は、複雑な処理を必要とせず、短時間でできるので、ピッキングの際に位置と姿勢が大きく変化しない限り、レーザスキャナ１４に必要な時間（例えば５秒から３０秒程度）を省略して、直前の距離データ３を用いることでワークの計測時間を大幅に短縮してピッキング時間を短縮することができる。

また、ピッキングの際に位置と姿勢が大きく変化しない限り、直前の距離データ３によるワークの３次元情報を用いることができ、乱雑に重なり合って置かれたワークを対象とする場合でも誤認識を大幅に低減することができる。
従って本発明の装置および方法により、ピッキングの成功率と装置の稼働率の両方を高めることができる。

また、特にワークが大きい場合、例えば、１つのカメラで全体を撮影できない場合でも、カメラ１２及び／又はレーザスキャナ１４を複数備えることにより、物体認識処理装置１６により複数の画像データ及び／又は距離データを合成して大きなワークの３次元位置と姿勢を認識することができる。

なお、本発明は上述した実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々の変更を加え得ることは勿論である。

本発明による第１実施形態のバラ積みピッキング装置の全体構成図である。 本発明によるバラ積みピッキング装置の制御方法のフロー図である。 本発明による制御方法の説明図である。 本発明による第２実施形態のバラ積みピッキング装置の全体構成図である。 特許文献１の装置の模式図である。

符号の説明

１ ワーク、２ 画像データ、３ 距離データ、
４ 認識データ（３次元位置と姿勢）、
１０ バラ積みピッキング装置、１１ 記憶装置、
１２ カメラ、１４ レーザスキャナ、
１６ 物体認識処理装置、１８ ロボット制御装置、
２０ ロボット、２２ ロボットハンド

Claims (6)

1. ロボットハンドを有し該ロボットハンドによりワークを１つずつピッキングするロボットと、バラ積みされた複数のワークを上方から撮影して画像データを取得するカメラと、前記ワークを上方からレーザ光で走査してワーク表面までの距離データを上方から取得するレーザスキャナと、前記画像データと距離データから複数のワークの３次元位置と姿勢を認識し、認識データとして記憶する物体認識処理装置と、前記認識データに基づき前記ロボットを制御するロボット制御装置とを備え、
   物体認識処理装置とロボット制御装置により前記画像データと距離データからワークの３次元位置と姿勢を認識して１つのワークをピッキングし、
   次いで、カメラにより再度画像データのみを取得し、
   物体認識処理装置により直前の画像データとの比較から位置と姿勢の変化が許容範囲内のワークの有無を判断し、
   前記許容範囲内のワークが存在する場合には、ロボット制御装置によりそのワークを前記画像データと距離データに基づきピッキングを継続し、
   前記許容範囲内のワークが存在しない場合には、レーザスキャナにより再度距離データを取得する、ことを特徴とするバラ積みピッキング装置。
2. 前記ロボットは多関節型ロボットであり、前記ロボットハンドはツメを開閉してその間にワークを挟持するツメ開閉ハンドであり、レーザスキャナはレーザ光を用いて距離を計測するレーザレーダである、ことを特徴とする請求項１に記載のバラ積みピッキング装置。
3. 複数の前記カメラを備え、得られた複数の画像データを物体認識処理装置により合成すること、及び、
   複数の前記レーザスキャナを備え、得られた複数の距離データを物体認識処理装置により合成すること、
   の一方または両方により、大きなワークの３次元位置と姿勢を認識する、ことを特徴とする請求項１に記載のバラ積みピッキング装置。
4. ロボットハンドを有し該ロボットハンドによりワークを１つずつピッキングするロボットと、バラ積みされた複数のワークを上方から撮影して画像データを取得するカメラと、前記ワークを上方からレーザ光で走査してワーク表面までの距離データを上方から取得するレーザスキャナと、前記画像データと距離データから複数のワークの３次元位置と姿勢を認識し、認識データとして記憶する物体認識処理装置と、前記認識データに基づき前記ロボットを制御するロボット制御装置とを用いて、
   （Ａ） レーザスキャナとカメラにより距離データと画像データをそれぞれ取得し、これから複数のワークの３次元位置と姿勢を認識して記憶し、
   （Ｂ） 複数のワークのうちピッキング可能なワークを決定して、そのワークをピッキングし、
   （Ｃ） ピッキング後に画像データのみを再取得して、直前の画像データと比較して位置と姿勢の変化が許容範囲内のワークの有無を判断し、
   （Ｄ） 前記許容範囲内のワークが存在する場合に、そのワークをピッキングして（Ｃ）に戻り、
   （Ｅ） 前記許容範囲内のワークが存在しない場合に、（Ａ）に戻り再度距離データを取得する、ことを特徴とするバラ積みピッキング装置の制御方法。
5. 前記許容範囲を、ロボットハンドで把持できる範囲に設定する、ことを特徴とする請求項４に記載のバラ積みピッキング装置の制御方法。
6. 複数の前記カメラにより、得られた複数の画像データを合成すること、及び、
   複数の前記レーザスキャナにより、得られた複数の距離データを合成すること、
   の一方または両方により、大きなワークの３次元位置と姿勢を認識する、ことを特徴とする請求項４に記載のバラ積みピッキング装置の制御方法。
   

Images