JP3859371B2

JP3859371B2 - ピッキング装置

Info

Publication number: JP3859371B2
Application number: JP27215598A
Authority: JP
Inventors: 秀和荒木; 智治中原; 海松顧; 裕之藤井
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 1998-09-25
Filing date: 1998-09-25
Publication date: 2006-12-20
Anticipated expiration: 2018-09-25
Also published as: JP2000094374A

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元空間中での位置・姿勢が任意である物体の位置・姿勢を画像計測した結果により把持手段を制御して物体をピックアップするピッキング装置に関するものである。
【０００２】
【従来の技術】
従来、物体をピックアップする装置として、▲１▼特開平４−３３１０８１号の「物体摘出装置」があった。これは、異なる方向から光を順次照射し、それに同期して撮像した画像から物体同士の重なりを判定し、物体候補領域の面積により物体の２次元位置を得るものであった。また、別の物体をピックアップする装置として、▲２▼特開平３−２０２２９０号の「ばら積み物体の取出装置」があった。これは物体の上面の高さを計測し、計測された上面の高さが所定の基準高さ以上の物体の中からピックアップ物体を決定するものであった。
【０００３】
【発明が解決しようとする課題】
従来技術▲１▼では、物体の２次元位置は検出されるものの、物体を正確にピックアップするために必要な３次元の位置・姿勢の情報を得るには、別途、３次元計測手段が必要であるという問題点があった。また、従来技術▲２▼では、上面の高さが所定の基準高さ以上の物体の中からピックアップすべき物体を決定するものであるため、３次元姿勢の傾きが大きな物体を検出することが困難であった。さらに、従来技術▲１▼，▲２▼ともに、その計測結果に対する信頼度を考慮していないため、摘出手段（例えば、ロボット）を誤った位置に移動させる恐れもあった。
【０００４】
本発明は上述のような点に鑑みてなされたものであり、その目的とするところは、物体の３次元姿勢の傾きに依存せずに正確に摘出手段を物体位置まで移動させることができるピックアップ装置を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１の発明では、上記の課題を解決するために、図１に示すように、３次元空間中での位置・姿勢が任意である物体１４の位置・姿勢を検出する３次元計測手段１２と、物体の３次元計測結果に基づいてピックアップすべき物体の位置・姿勢を決定する把持物体決定手段１３と、物体１４をピックアップする把持手段１６と、前記把持物体決定手段１３により決定されたピックアップすべき物体の位置・姿勢に基づいて前記把持手段１６を移動させる移動手段１５とから成るピッキング装置において、前記３次元計測手段１２は、少なくとも３つの異なる視点から共通視野内に計測対象物体が含まれる視線方向で撮像された複数の画像を取得する手段１１ａ〜１１ｃと、前記複数の画像のなかから選ばれた複数対の画像により構成される複数のステレオ画像を用いて計測対象物体の３次元計測を行う手段と、前記計測対象物体の計測値と予め記憶している前記計測対象物体の物体モデルとを照合して位置・姿勢の認識結果を得る手段と、前記認識結果の計測信頼度を求める手段とを備え、前記把持物体決定手段１３は、前記複数のステレオ画像毎に得られた同一の計測対象物体の位置・姿勢についての複数の認識結果と各認識結果についての計測信頼度とに基づいて把持物体の位置・姿勢を決定する手段を備えることを特徴とするものである。
【０００６】
また、請求項２の発明では、請求項１において、前記視点の位置は、前記計測対象物体を構成する面のうち前記物体モデルとして記憶している面が向き得る方向により決定されることを特徴とするものである。
また、請求項３の発明では、請求項１において、前記３次元計測手段は、前記複数のステレオ画像のうちでその基線方向が前記計測対象物体を構成する直線線分のうち３次元計測対象となる直線線分の画像上での方向と略平行でないステレオ画像を用いて３次元計測を行うことを特徴とするものである。
【０００７】
また、請求項４の発明では、請求項１において、前記複数の画像は、複数の位置の鏡で反射した像を１つの撮像装置で撮像して得ることを特徴とするものである。
また、請求項５の発明では、請求項１において、前記複数の画像は、１つの撮像装置を移動させて複数の位置で撮像して得ることを特徴とするものである。
また、請求項６の発明では、請求項５において、前記撮像装置の移動手段と前記把持手段の移動手段とが同一であることを特徴とするものである。
【０００８】
また、請求項７の発明では、請求項１において、前記計測信頼度は、ステレオマッチングにおける類似度により求めることを特徴とするものである。
また、請求項８の発明では、請求項１において、前記計測信頼度は、ステレオマッチングに利用した線分とステレオ画像の基線方向とのなす角度により求めることを特徴とするものである。
また、請求項９の発明では、請求項１において、前記計測信頼度は、３次元計測値と前記物体モデルとの整合度により求めることを特徴とするものである。
【０００９】
また、請求項１０の発明では、請求項１において、前記３次元計測手段は、ステレオ画像を低解像度の画像に変換した後、該画像を処理して得た前記計測対象物体の画像中での概略位置に基づいて３次元計測を行うことを特徴とするものである。
また、請求項１１の発明では、請求項１において、前記３次元計測手段は、同一視点での前回のピックアップ動作時に得た画像と今回得た画像とを比較して画像間で異なる部分を抽出し、その異なる部分に基づいて３次元計測を行うことを特徴とするものである。
【００１０】
また、請求項１２の発明では、請求項１において、前記把持物体決定手段は、前回までのピックアップ動作時の認識結果と今回のピックアップ動作時の認識結果とを比較し、同一物体に対する認識結果であれば前記２つの認識結果をその計測信頼度に基づいて統合することにより把持物体を決定することを特徴とするものである。
また、請求項１３の発明では、請求項１２において、前記把持物体決定手段は、複数の物体に対する認識結果のうち計測信頼度が最も高い認識結果を把持物体の位置・姿勢として決定することを特徴とするものである。
【００１１】
また、請求項１４の発明では、請求項１２において、前記把持物体決定手段は、複数の物体に対する認識結果のうち他の物体と接触していない物体に対する認識結果を把持物体の位置・姿勢として決定することを特徴とするものである。
また、請求項１５の発明では、請求項１２において、前記把持物体決定手段は、複数の物体に対する認識結果のうち最上位置の認識結果を把持物体の位置・姿勢として決定することを特徴とするものである。
【００１２】
【発明の実施の形態】
（実施例１）
図１に本発明のピッキング装置の概略構成を一例として示す。３つの異なる位置に固定されたテレビカメラ１１ａ〜１１ｃにより対象物体１４を撮像する。得られた画像は、３次元計測手段１２により処理され、把持物体決定手段１３により把持物体の位置・姿勢が求められる。その結果に基づき、把持手段１６を移動手段１５により移動して物体１４をピックアップする。ここで、３次元計測手段１２及び把持物体決定手段１３は、マイクロコンピュータにて構成される。また、把持手段１６はロボットハンド、移動手段１５は６軸多関節ロボットで構成される。
【００１３】
３次元計測手段１２及び把持物体決定手段１３では、具体的に以下の処理を行う。その処理の流れを図２に、具体例を図３〜図４に示す。テレビカメラ１１ａ〜１１ｃにより得られた３つの異なる画像からステレオペアを３組作る。すなわち、テレビカメラ１１ａから得た画像と１１ｂから得た画像、１１ｂから得た画像と１１ｃから得た画像、１１ｃから得た画像と１１ａから得た画像の３組のステレオペアを作る。以下の処理は、各ステレオペア毎に行われる。
【００１４】
まず、ステレオ画像に対し、ステレオ画像が同じ焦点距離・同じ光軸方向のカメラで撮像したのと同様になるように、いわゆる平行ステレオ変換処理を施し、平行ステレオ画像を得る。その変換に必要なパラメータは、公知のキャリブレーション手法により予め求めておく。次に、平行ステレオ画像のうち片方の画像（以降、「基準画像」と呼ぶ）の中から、図３に示すように、直線３１ａ〜３１ｄを検出する。これは、画像中のエッジ点をパラメータ空間に投票することにより画像中の直線を検出する、いわゆるハフ変換の手法により行われる。
【００１５】
次に、検出した各直線３１ａ〜３１ｄについてステレオ３次元計測を行う。ステレオ３次元計測は、基準画像中から抽出した直線上に設定した小領域３２ａ〜３２ｄに対応する領域が、もう一方の画像（以降、「参照画像」と呼ぶ）の中のどこにあるかを求める、いわゆるエリアベースのステレオマッチングにより行われ、各領域毎に３次元データが計測される。その際に得られる対応する小領域同士の類似度を各領域毎に記憶しておく。その後、直線３１上の各領域３次元データから、直線３１の３次元情報（位置・方向）を求めると同時に、直線３１上の各領域のステレオマッチング時の類似度を全て加算して、その直線の計測信頼度とする。次に、直線３１ａ〜３１ｄが基準画像の水平方向となす角度を各々求め、（式１）により算出される係数αを、各々の直線の計測信頼度に乗じる。
【００１６】
α＝１＋１００ｓｉｎ（θ） …（式１）
θ：直線３１と基準画像水平方向とのなす角度
このようにして、基準画像中で検出した直線３１ａ〜３１ｄに対する３次元情報（位置・方向）と計測信頼度を求める。
【００１７】
その後、各直線の３次元情報と予め登録されているモデルデータ（図４）と照合して、（式２）によりモデルとの整合度を求める。

【００１８】
画像から計測された直線の組み合わせにより複数のモデルとの整合度Ｍが（式２）により得られるが、その中で最小の整合度となる直線の組み合わせより、物体の位置・姿勢を求める。と同時に、その最小の整合度と組み合わせた各直線の計測信頼度とを全て加算して、その物体の計測信頼度とする。以上のようにして、各ステレオペア毎に物体の位置・姿勢と計測信頼度とが求められる。
【００１９】
さらに、各ステレオペア毎に得られた物体の位置・姿勢と計測信頼度の中から、計測信頼度が最も高い物体の位置・姿勢を把時物体の位置であるとして、そのデータを移動手段（６軸多関節ロボット）１５に送り、把持手段（ロボットハンド）１６を移動して物体１４をピックアップする。このように、本明細書において、計測信頼度とは、複数のステレオ画像毎に得られた複数の計測結果のうち、いずれの計測結果がより信頼できるか判断するために用いられる値のことであり、本実施例では、ステレオマッチングにおける類似度を用いているが、これに限定されるものではない。
【００２０】
本実施例では、直線検出方法にハフ変換、ステレオ３次元計測にエリアベースのステレオマッチング方法を用いているが、他の手法を用いても同様の結果が得られることは言うまでもない。
【００２１】
（実施例２）
本実施例は、実施例１と同様の構成において、計測精度の向上を目的としたテレビカメラ１１ａ〜１１ｃの配置方法に関するものであり、請求項２に対応する。計測に適した画像とは、図４に示した物体モデルとして登録した面４１を正面から撮像した画像であるので、そのような画像が得られる位置にテレビカメラ１１ａ〜１１ｃを配置することが望ましい。一方、図５に示すように、物体１４が重なると、物体モデルとして登録した面４１が矢印に示すように色々な方向を向く。が、例えば物体１４のように厚みが小さい物体であれば、その向き得る範囲は予測することができる。
【００２２】
そこで、本実施例では、面４１の向き得る方向が、図６に示すように頂角２θの円錐状である場合、テレビカメラ１１ａ〜１１ｃを図６に示す６１ａ〜６１ｃの位置に配置する。各位置６１ａ〜６１ｃは円錐の頂点を中心として１２０度毎にθ／２の傾きで配置されている。これにより、面４１をできるだけ計測に適した画像として撮像することができる。
【００２３】
（実施例３）
本実施例は、実施例１と同様の構成において、計測精度を向上を目的として３次元計測処理を行うステレオペアの選択方法に関するものであり、請求項３に対応する。本発明は、ステレオ３次元計測を行うが、ステレオ３次元計測の短所として、ステレオペアの基線方向と略平行な直線の計測精度は悪いという問題点がある。本実施例は、その問題点を回避するものである。
【００２４】
本実施例の処理の流れを図７に示す。実施例１と同様、各ステレオペア毎に平行ステレオ変換処理を施し、平行ステレオ画像を得る。次に、基準画像中の直線を検出する。その検出された直線の方向とステレオペアの基線方向とのなす角度を求め、しきい値以下であればそのステレオペアでの処理を行わない。これにより、計測精度の悪い直線については計測対象から除外することができる。
【００２５】
（実施例４）
本実施例は、ステレオ画像を得るための画像の撮像方法に関するものであり、請求項４に対応する。本実施例では、異なる複数の位置から撮像した画像を複数台のテレビカメラ１１ａ〜１１ｃにより得るのではなく、図８に示す構成の光学系により得る。すなわち、１台のテレビカメラ１１ｄと反射鏡８１ａ〜８１ｄにより、異なる３つの視点からの画像を得る。画像の撮像方法以外は、実施例１と同様である。図８において、反射鏡８１ａ〜８１ｃは固定されており、反射鏡８１ｄは反射鏡８１ａ〜８１ｃからの反射像をテレビカメラ１１ｄに導くことができるように反射面の方向が変えられる構造となっている。テレビカメラ１１ａで撮像した画像に相当する画像をテレビカメラ１１ｄで得るには、反射鏡８１ａと反射鏡８１ｄにより物体の像をテレビカメラ１１ｄに導き、画像を撮像する。同様に、テレビカメラ１１ｂの画像、テレビカメラ１１ｃの画像に相当する画像は、それぞれ反射鏡８１ｂと反射鏡８１ｄ、反射鏡８１ｃと反射鏡８１ｄを用いることにより得られる。
【００２６】
このようにして、１台のテレビカメラにより複数の視点からの画像を得ることにより、撮像系のパラメータ（焦点距離など）を求める、いわゆるカメラキャリブレーションを複数のカメラに対して行う必要がなく、装置の使い勝手が向上する。
【００２７】
（実施例５）
本実施例は、ステレオ画像を得るための画像の撮像方法に関するものであり、請求項５、６に対応する。本実施例では、異なる複数の位置から撮像した画像を得るために、１台のテレビカメラを移動させて撮像を行うものである。画像の撮像方法以外は、実施例１と同様である。
【００２８】
図９に示すように、把持手段１６の移動手段１５にテレビカメラ１１を固定し、移動手段１５によりテレビカメラ１１を複数の視点位置へ移動させて、画像を撮像する。このようにして、１台のテレビカメラにより複数の視点からの画像を得ることにより、撮像系のパラメータ（焦点距離など）を求める、いわゆるカメラキャリブレーションを複数のカメラに対して行う必要がなく、装置の使い勝手が向上する。
【００２９】
（実施例６）
本実施例は、実施例１と同様の構成において、３次元計測を効率良く行うための画像処理方法に関するものであり、請求項１０に対応する。本実施例では、ステレオ画像を低分解能の画像に変換した後、その画像中での物体の概略位置を求め、その位置を基準に３次元計測処理を行う。
【００３０】
図１０に処理の流れを示す。まず、ステレオ画像に対し、１画素おきに画像をサンプリングして、画素数を１／４に減少させた低分解能の画像を得る。その画像に対してハフ変換処理を施し、直線を抽出する。得られた直線（ｙ＝ａｘ＋ｂ）は、低分解能の画像におけるものなので、これを通常分解能の画像での直線（ｙ＝ａｘ＋２ｂ）に変換する。その後、実施例１と同様に、直線の３次元計測を行う。このようにすることにより、処理が効率良く行われ、高速に処理結果を得ることができる。
【００３１】
（実施例７）
本実施例は、実施例１と同様の構成において、３次元計測を効率良く行うための画像処理方法に関するものであり、請求項１１に対応する。図１２に示すように、前回のピックアップ時の画像（前回画像と呼ぶ）と今回の画像（今回画像と呼ぶ）との差は、ピックアップされた物体が存在していた部分に生じる。それ以外の部分は、前回のピックアップ時に計測済みであるから、新たに計測すべき部分は、ピックアップされた物体が存在していた部分であるので、そこだけ新規に３次元計測処理を行うのである。
【００３２】
図１１に処理の流れを示す。まず、前回画像と今回画像とを画像間で減算をして差画像を得る。差画像で画素値が０でない部分は、図１２に示すように、ピックアップされた物体１２１が存在していたことにより変化が生じた部分である。その画素値が０でない部分だけ３次元計測処理を行い、その結果を前回の計測３次元データに追加するとともに、ピックアップした物体に関する３次元データを削除する。その後、実施例１と同様に処理が行われる。このようにすることにより、処理が効率良く行われ、高速に処理結果を得ることができる。
【００３３】
（実施例８）
本実施例は、実施例１と同様の構成において、最適な把持物体の決定方法に関するものであり、請求項１２、１３に対応する。
図１３に処理の流れを示す。まず、今回認識された物体と同一である物体に対する認識結果が前回のピックアップ動作時の認識結果のなかにあるかどうかを調べる。もし有れば、２つの認識結果に対する計測信頼度を比較して、計測信頼度の高い方の認識結果をその物体の認識結果とし、無ければ、今回の認識結果を物体の認識結果とする。このようにすることにより、精度の良い認識結果を用いることができるため、正確に把持手段を物体位置まで移動することができる。
【００３４】
（実施例９）
本実施例は、実施例１と同様の構成において、最適な把持物体の決定方法に関するものであり、請求項１４、１５に対応する。
図１４に処理の流れを示す。まず、認識結果を基に、全ての物体に対して、他の物体と接触しているかどうかを調べる。もし、他の物体と接触していない物体があれば、それを把持物体として決定する。もし、全ての物体が他の物体と接触していれば、最上位置にある物体を把持物体として決定する。このようにすることにより、他の物体と干渉することなく確実に物体を把持することができる。
【００３５】
【発明の効果】
請求項１の発明によれば、物体の３次元姿勢の傾きに依存せずに、正確に把持手段を物体位置まで移動させることができる。
請求項２、３の発明によれば、認識処理に好適な画像を得たり、認識処理に好適な画像のみを処理することができ、計測精度が向上する。
【００３６】
請求項４〜６の発明によれば、１台の撮像装置のみを使用することにより、３次元計測時に必要な撮像装置固有のパラメータ（例えば、レンズ焦点距離）を求める、いわゆるキャリブレーション作業を１台の撮像装置に対して行うだけで良く、システムの使い勝手が向上する。特に請求項６では、撮像装置を移動する手段と把持手段を移動する手段とが同一であるので、特別の装置を必要とせずに、システムの使い勝手を向上することができる。
【００３７】
請求項７〜９の発明によれば、認識結果の計測信頼度を３次元計測あるいは認識時に得られる値から簡便に求められるので、簡単に把持手段を物体位置まで正確に移動させることができる。
請求項１０、１１の発明によれば、低解像度の画像や前回のピックアップ動作時の画像から３次元計測を行う部分を指定して計測処理領域を限定するので、３次元計測あるいは認識処理を効率良く行うことができる。
【００３８】
請求項１２、１３の発明によれば、認識結果の計測信頼度を用いて、把持物体を決定するので、把持手段を物体位置まで正確に移動させることができる。
請求項１４、１５の発明によれば、物体の位置や他の物体との位置関係を用いて、把持物体を決定するので、他の物体と干渉することなく確実に把持することができる。
【図面の簡単な説明】
【図１】本発明のピッキング装置の概略構成図である。
【図２】本発明の実施例１の処理の流れを示すフローチャートである。
【図３】本発明の実施例１におけるステレオマッチングの処理を示す説明図である。
【図４】本発明の実施例１に用いる物体モデルを示す説明図である。
【図５】本発明の実施例２における計測対象物体の姿勢を示す説明図である。
【図６】本発明の実施例２における複数の視点の位置を示す説明図である。
【図７】本発明の実施例３の処理の流れを示すフローチャートである。
【図８】本発明の実施例４に用いる光学系の概略構成図である。
【図９】本発明の実施例５のピッキング装置の概略構成を示す正面図である。
【図１０】本発明の実施例６の処理の流れを示すフローチャートである。
【図１１】本発明の実施例７の処理の流れを示すフローチャートである。
【図１２】本発明の実施例７の処理の内容を示す動作説明図である。
【図１３】本発明の実施例８の処理の流れを示すフローチャートである。
【図１４】本発明の実施例９の処理の流れを示すフローチャートである。
【符号の説明】
１１ａ〜１１ｃテレビカメラ
１２３次元計測手段
１３把持物体決定手段
１４物体
１５移動手段
１６把持手段

Claims

３次元空間中での位置・姿勢が任意である物体の位置・姿勢を検出する３次元計測手段と、物体の３次元計測結果に基づいてピックアップすべき物体の位置・姿勢を決定する把持物体決定手段と、物体をピックアップする把持手段と、前記把持物体決定手段により決定されたピックアップすべき物体の位置・姿勢に基づいて前記把持手段を移動させる移動手段とから成るピッキング装置において、
前記３次元計測手段は、少なくとも３つの異なる視点から共通視野内に計測対象物体が含まれる視線方向で撮像された複数の画像を取得する手段と、前記複数の画像のなかから選ばれた複数対の画像により構成される複数のステレオ画像を用いて計測対象物体の３次元計測を行う手段と、前記計測対象物体の計測値と予め記憶している前記計測対象物体の物体モデルとを照合して位置・姿勢の認識結果を得る手段と、前記認識結果の計測信頼度を求める手段とを備え、
前記把持物体決定手段は、前記複数のステレオ画像毎に得られた同一の計測対象物体の位置・姿勢についての複数の認識結果と各認識結果についての計測信頼度とに基づいて把持物体の位置・姿勢を決定する手段を備えることを特徴とするピッキング装置。
請求項１において、前記視点の位置は、前記計測対象物体を構成する面のうち前記物体モデルとして記憶している面が向き得る方向により決定されることを特徴とするピッキング装置。
請求項１において、前記３次元計測手段は、前記複数のステレオ画像のうちでその基線方向が前記計測対象物体を構成する直線線分のうち３次元計測対象となる直線線分の画像上での方向と略平行でないステレオ画像を用いて３次元計測を行うことを特徴とするピッキング装置。
請求項１において、前記複数の画像は、複数の位置の鏡で反射した像を１つの撮像装置で撮像して得ることを特徴とするピッキング装置。
請求項１において、前記複数の画像は、１つの撮像装置を移動させて複数の位置で撮像して得ることを特徴とするピッキング装置。
請求項５において、前記撮像装置の移動手段と前記把持手段の移動手段とが同一であることを特徴とするピッキング装置。
請求項１において、前記計測信頼度は、ステレオマッチングにおける類似度により求めることを特徴とするピッキング装置。
請求項１において、前記計測信頼度は、ステレオマッチングに利用した線分とステレオ画像の基線方向とのなす角度により求めることを特徴とするピッキング装置。
請求項１において、前記計測信頼度は、３次元計測値と前記物体モデルとの整合度により求めることを特徴とするピッキング装置。
請求項１において、前記３次元計測手段は、ステレオ画像を低解像度の画像に変換した後、該画像を処理して得た前記計測対象物体の画像中での概略位置に基づいて３次元計測を行うことを特徴とするピッキング装置。
請求項１において、前記３次元計測手段は、同一視点での前回のピックアップ動作時に得た画像と今回得た画像とを比較して画像間で異なる部分を抽出し、その異なる部分に基づいて３次元計測を行うことを特徴とするピッキング装置。
請求項１において、前記把持物体決定手段は、前回までのピックアップ動作時の認識結果と今回のピックアップ動作時の認識結果とを比較し、同一物体に対する認識結果であれば前記２つの認識結果をその計測信頼度に基づいて統合することにより把持物体を決定することを特徴とするピッキング装置。
請求項１２において、前記把持物体決定手段は、複数の物体に対する認識結果のうち計測信頼度が最も高い認識結果を把持物体の位置・姿勢として決定することを特徴とするピッキング装置。
請求項１２において、前記把持物体決定手段は、複数の物体に対する認識結果のうち他の物体と接触していない物体に対する認識結果を把持物体の位置・姿勢として決定することを特徴とするピッキング装置。
請求項１２において、前記把持物体決定手段は、複数の物体に対する認識結果のうち最上位置の認識結果を把持物体の位置・姿勢として決定することを特徴とするピッキング装置。