JP3654042B2 - Object identification method and apparatus - Google Patents
Object identification method and apparatus Download PDFInfo
- Publication number
- JP3654042B2 JP3654042B2 JP11317099A JP11317099A JP3654042B2 JP 3654042 B2 JP3654042 B2 JP 3654042B2 JP 11317099 A JP11317099 A JP 11317099A JP 11317099 A JP11317099 A JP 11317099A JP 3654042 B2 JP3654042 B2 JP 3654042B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- objects
- recognition target
- specifying
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ロボット装置などに設けられた把持手段にて把持する際に把持対象物体を特定するため、任意の載置状態にある複数の同一外形の認識対象物体から１つの物体を特定する物体特定方法に関するものである。
【０００２】
【従来の技術】
従来、例えばコンテナ内にバラ積みされた部品を、ロボット装置に設けられた把持手段にてフレキシブルにピッキングするときには、多くの場合、画像処理手法を用いて複数の認識対象物体の３次元位置・姿勢計測を行い、その把持手段にてビンピッキングする方法が採用されている。したがって、この３次元位置・姿勢を計測して１つの物体を特定する物体特定プロセスにおいては、把持すべき物体を的確に決定するとともに、その位置・姿勢を正確に把持手段へ伝達することが重要となる。
【０００３】
上記の把持手段などにて物体を把持するための、任意に載置されて不特定な位置・姿勢にある同一外形の認識対象物体から把持対象物体を特定する方法として、例えば、日本機械学会［Ｎｏ．９７−２２］ロボティクス・メカトロニクス講演会’９７講演論文集［Ｖｏｌ．Ｂ］に記載されている、「画像処理による重畳対象の最上位認識」がある。この場合、撮像した画像から、認識対象物体のエッジデータを用いて２次元形状特徴を抽出し、次いで、予め与えられた形状モデルとのマッチングを行った後、重畳された物体相互間の上下関係の判定を重畳によって生じる物体のエッジの有無により行っていた。
【０００４】
また、上記以外の把持対象物体を特定する方法としては、特開平３−２０２２９０の「ばら積み物体の取出装置」として開示されている方法がある。この場合、まず、認識対象物体上面の高さを計測し、次いで、この計測された上面高さ情報において所定の基準高さ以上の物体の中から把持対象物体を特定していた。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来の技術において、前者の場合は、均一な色合いを呈した複数の認識対象物体の上下関係における、重畳された物体相互間に生じるエッジがあいまいで、重畳関係を正確に決定することが困難なことがあった。また、後者の場合は、その上面の高さが基準高さ以上の物体を選択して把持対象物体を特定するため、３次元姿勢における物体の傾きが大きいとき、あるいは物体相互の重なり状態が複雑なときには、的確に１つの物体を特定することができないという問題があった。さらに、上記どちらの場合においても、画像情報である認識対象物体の載置状態情報自体に対する誤差が考慮されておらず、ロボット装置へ不正確な位置・姿勢を伝達することがあって上記の把持手段を過った位置に移動させる恐れもあった。
【０００６】
本発明は、上記事由に鑑みてなしたもので、その目的とするところは、任意の載置状態にある複数の同一外形の認識対象物体を正確に認識して１つの物体を確実に特定できる物体特定方法及び装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明の物体特定方法にあっては、任意の載置状態にある複数の同一外形の認識対象物体から１つの物体を特定する物体特定方法であって、略水平面上に載置された複数の認識対象物体を撮像してその画像情報から各物体それぞれの載置状態情報を求め、その各載置状態情報における任意の認識対象物体の載置状態情報と予め与えられたその物体の外形情報とにより前記載置状態情報の信頼度を求めるとともに、同各載置状態情報から各物体相互間の位置情報を求め、この位置情報から各物体相互の重なり状態を求めるとともに、その重なり状態の上方位置のものから順次に前記信頼度が所定値以上か否かを判定して１つの物体を特定することを特徴としている。
【００１０】
この場合、情報入力手段にて、略水平面上に載置された複数の認識対象物体が撮像されてその画像情報から各物体それぞれの載置状態情報を取り込むことができる。位置演算手段にて、同情報入力手段にて得られる認識対象物体の載置状態情報から各物体相互間の位置情報を求めることができる。特定手段にて、同位置演算手段の位置情報から、任意の載置状態にある複数の同一外形の認識対象の各物体相互の重なり状態を求めて、１つの物体を特定できる。
【００１１】
また、任意の載置状態にある複数の同一外形の認識対象から１つの物体を特定する物体特定装置であって、略水平面上に載置された複数の認識対象物体を撮像してその画像情報から各物体それぞれの載置状態情報を取り込む情報入力手段と、この情報入力手段にて得られる任意の認識対象物体の載置状態情報と予め与えられたその物体の外形情報とにより該載置状態情報の信頼度を求める信頼度演算手段と、前記情報入力手段にて得られる認識対象物体の載置状態情報と前記信頼度の情報とを演算して信頼度が所定値以上の物体相互間の位置情報を求める位置演算手段と、この位置演算手段の位置情報から各物体相互の重なり状態を求めて１つの物体を特定する特定手段とを備えている。
【００１２】
この場合、情報入力手段にて、略水平面上に載置された複数の認識対象物体が撮像されてその画像情報から各物体それぞれの載置状態情報を取り込むことができる。信頼度演算手段にて、前記情報入力手段にて得られる任意の認識対象物体の載置状態情報と予め与えられたその物体の外形情報とにより該載置状態情報の信頼度を求めることができる。位置演算手段にて、同情報入力手段にて得られる認識対象物体の載置状態情報と前記信頼度の情報とを演算して信頼度が所定値以上の物体相互間の位置情報を求めることができる。特定手段にて、同位置演算手段の位置情報から、任意の載置状態にある複数の同一外形の認識対象の各物体相互の重なり状態を求めて、１つの物体を特定できる。
【００１３】
そして、上記情報入力手段は、認識対象物体の任意の基準面の３次元位置情報を取り込むとともに、位置演算手段が、該認識対象物体相互の一方の物体と他方の物体との該基準面どうしの相対的な高さ位置を演算することが好ましい。
【００１４】
この場合、情報入力手段にて、認識対象物体の任意の基準面の３次元位置情報が取り込まれる。位置演算手段にて、同認識対象物体相互の一方の物体と他方の物体との該基準面どうしの相対的な高さ位置が演算される。
【００１７】
また、上記位置演算手段は、認識対象物体の任意の基準面を前記水平面上に投影した、その各投影面相互の重なり状態を演算する投影面演算手段を有し、特定手段が、その演算結果の重なり状態を判定する判定手段を備えるのが好ましい。
【００１８】
この場合、位置演算手段に設けられた投影面演算手段にて、認識対象物体の任意の基準面を前記水平面上に投影した、その各投影面相互の重なり状態が演算される。特定手段に設けられた判定手段にて、同演算結果の重なり状態が判定され１つの物体を特定される。
【００２１】
【発明の実施の形態】
図１乃至図４は、本発明の請求項１、３、５全てに対応する第１の実施の形態を示し、図５乃至８は、本発明の請求項２、４、６に対応する第２の実施の形態を示し、図９、１０は、本発明の請求項７に対応する第３の実施の形態を示し、図１１、１２は、本発明の請求項８に対応する第４の実施の形態を示している。
【００２２】
［第１の実施の形態］
図１は、第１の実施の形態の物体特定方法を使用する物体特定装置を示す概略構成図である。図２は、同実施の形態の物体特定方法を示すフローチャートである。図３は、同物体特定装置の３次元画像処理を示す説明図である。図４は、同物体特定装置の位置演算部の演算処理の説明図である。
【００２３】
この実施の形態の物体特定装置１は、任意の載置状態にある複数の同一外形の認識対象から１つの物体を特定する物体特定装置であって、略水平面Ｐ上に載置された複数の認識対象物体Ｂ、Ｂ…を撮像してその画像情報から各物体それぞれの載置状態情報を取り込む情報入力手段２と、この情報入力手段２にて得られる認識対象物体Ｂ、Ｂ…の載置状態情報から各物体相互間の位置情報を求める位置演算手段５と、この位置演算手段５の位置情報から各物体相互の重なり状態を求めて１つの物体Ａを特定する特定手段６とを備えてなる。
【００２４】
又、該実施の形態の物体特定装置１においては、情報入力手段２は、認識対象物体Ｂ、Ｂ…の任意の基準面の３次元位置情報を取り込むとともに、位置演算手段５が、該認識対象物体Ｂ、Ｂ…相互の一方の物体Ｂ１と他方の物体Ｂ２との該基準面どうしの相対的な高さ位置を演算するようなしてもいる。
【００２５】
又、該実施の形態の物体特定方法においては、任意の載置状態にある複数の同一外形の認識対象物体から１つの物体を特定する物体特定方法であって、略水平面上に載置された複数の認識対象物体Ｂ、Ｂ…を撮像してその画像情報から各物体それぞれの載置状態情報を求め、その各載置状態情報から各物体相互間の位置情報を求め、この位置情報から各物体相互の重なり状態を求めて判定して１つの物体Ａを特定している。
【００２６】
詳しくは、この物体特定装置１は、例えばロボット装置１２に設けられた把持手段１３にてフレキシブルにピッキングするときに、複数の認識対象物体Ｂ、Ｂ…の３次元位置・姿勢計測を行い、その把持手段１３にてビンピッキングするのに使用される。そして、ＣＣＤカメラにて形成される撮像部３、３、及び、この撮像部３、３から出力される画像情報の３次元画像処理を行う３次元画像処理部４を備える情報入力手段２と、位置演算手段５に相当する位置演算部と、特定手段６に相当する物体特定部とを有して構成され、各部それぞれがマイクロコンピュータを中心に形成されている。
【００２７】
撮像部３、３は、認識対象物体Ｂ、Ｂ…の任意の基準面の３次元位置・姿勢計測のための２つの異なる画像を取り込むもので、それぞれが２つの異なる位置に固定されており、略水平面Ｐ上に載置された複数の認識対象物体Ｂ、Ｂ…を撮像する。
【００２８】
３次元画像処理部４は、この場合、撮像部３、３により得られた、認識対象物体Ｂ、Ｂ…の２つの異なる画像から、認識対象物体Ｂ、Ｂ…の載置状態情報である平行ステレオ画像情報を得るためのもので、図２に示す、Ｓ４１乃至Ｓ４５の手順にて、いわゆる平行ステレオ変換の演算処理を行う。この平行ステレオ変換処理によって、撮像部３、３から出力される２つの異なる画像は、その各画像が同じ焦点距離・同じ光軸方向のカメラで撮像したのと同様になるよう画像データの変換処理がなされて平行ステレオ画像情報となる。なお、この変換に必要なパラメータは，公知のキャリブレーション手法により予め求められる。
【００２９】
具体的には、まず、図３（ａ）に示す、平行ステレオ画像のうちの一方の画像（以下、基準画像と称する）中から、直線ｂ１、ｂ２、ｂ３、ｂ４を検出する。この直線検出は、例えばハフ変換と呼ばれている、基準画像中のエッジ点をパラメータ空間に投票することによりその画像中の直線を検出する手法により行っている。次いで、例えばエリアベースのステレオマッチング法と呼ばれる方法にて、ステレオ３次元計測を行う。具体的には、上記基準画像中から抽出した例えば直線ｂ１上に設定した小領域ｓ１、ｓ２、ｓ３、ｓ４に対応する領域が、図２（ｂ）に示す、他方の画像（以下、参照画像と称する）中のどこにあるかが求められて各領域毎の３次元データ演算処理を行い平行ステレオ画像情報を出力する。
【００３０】
位置演算手段５は、この場合、上記３次元画像処理部４から出力される平行ステレオ画像の３次元データから各物体相互間の位置情報を求めて、認識対象物体Ｂ、Ｂ…の各物体相互の、一方の物体Ｂ１と他方の物体Ｂ２との該基準面どうしの相対的な高さ位置を演算するもので、平行ステレオ画像情報から精度良く各物体相互間の位置情報を求めて重なりの上下を決定するため、図２に示すＳ５１乃至Ｓ５７の手順にて、図４に示す、一方の物体Ｂ１と他方の物体Ｂ２とのそれぞれの基準面どうしの相対的な高さ位置の演算を行う。
【００３１】
具体的には、図４に示すように３次元位置・姿勢の計測された２つの物体Ｂ１、Ｂ２を選び出し、各物体Ｂ１、Ｂ２を代表する面Ｑ１、Ｑ２をそれぞれ決定する。そして一方の面Ｑ１を参照面、他方の面Ｑ２を対象面として、参照面である面Ｑ１を拡張した参照平面Ｐ’の表向き方向を正領域Ｒ＋、その裏向き方向を負領域Ｒ−とする。次いで、対象面である面Ｑ２を構成する物体Ｂ２の頂点ｃ１、ｃ２、ｃ３、ｃ４のすべてについて、参照平面Ｐ’に対する正領域Ｒ＋にある頂点数を求める。その後、面Ｑ１、Ｑ２の参照面と対象面との関係を入れ替えて上記と同様の処理を行う。その結果、例えば正領域Ｒ＋にある頂点数の多い面を持つ物体Ｂ２を上側に存在する物体と判定する。このようにして，物体の相互位置関係の重なりの上下を決定するのである。
【００３２】
上記の後、特定手段６である物体特定部により、全ての各物体相互の重なり状態を求めて判定して１つの物体Ａを特定し、上記ロボット装置１２へ出力する。その結果、このロボット装置１２は、把持失敗の可能性が低い物体Ａを把持対象物体として、このロボット装置１２に設けられた把持手段１３によりアプローチし、把持する際に他の物体と干渉することなく特定された物体Ａをピックアップするのである。
【００３３】
次に、上記の手順を図２のフローチャートに基づいて説明する。情報入力手段２は、まず、ステレオペアを作成し（ステップ４１）、次いで、平行ステレオ変換を行い（ステップ４２）、その後、基準画像から直線検出を行い（ステップ４３）、基準画像の直線上に設定した小領域の３次元計測を行い（ステップ４４）、認識対象物体の任意の基準面の各直線の３次元位置情報を取り込む（ステップ４５）。
【００３４】
位置演算手段５は、まず、２つの物体の代表面Ｂ１、Ｂ２を決定し（ステップ５１）、次いで、一方の面Ｑ１を参照面、他方の面Ｑ２を対象面とし（ステップ５２）、参照面を拡張した参照平面Ｐ’の表向き方向を正領域Ｒ＋、裏向き方向を負領域Ｒ−とする（ステップ５３）。その後、対象面を構成する頂点ｃ１、ｃ２、ｃ３、ｃ４すべてについて、参照平面Ｐ’に対して正領域Ｒ＋ある頂点数を求め（ステップ５４）、フラグ確認を行い（ステップ５５）、参照面と対象面を入れ替えるとともにフラグを変更し（ステップ５６）、上記ステップ５３乃至５５の処理を行った後、正領域Ｒ＋にある頂点数の多い面を持つ物体が、上側に存在する物体と判定する（ステップ５７）。
【００３５】
したがって、以上説明した物体特定装置１及び物体特定方法によると、情報入力手段２にて、略水平面Ｐ上に載置された複数の認識対象物体Ｂ、Ｂ…が撮像されてその画像情報から各物体それぞれの載置状態情報を取り込むことができる。位置演算手段５にて、同情報入力手段２にて得られる認識対象物体Ｂ、Ｂ…の載置状態情報から各物体相互間の位置情報を求めることができる。特定手段６にて、同位置演算手段５の位置情報から、任意の載置状態にある複数の同一外形の認識対象の各物体相互の重なり状態を求めて、１つの物体を特定できるので、任意の載置状態にある複数の同一外形の認識対象物体Ｂ、Ｂ…を正確に認識して１つの物体Ａを確実に特定できる。
【００３６】
そして、情報入力手段２にて、認識対象物体Ｂ、Ｂ…の任意の基準面の３次元位置情報が取り込まれる。位置演算手段５にて、同認識対象物体Ｂ、Ｂ…相互の一方の物体と他方の物体との該基準面どうしの相対的な高さ位置が演算されるので、より正確に認識対象物体Ｂ、Ｂ…を認識して１つの物体Ａをでき、以て、例えば把持失敗の発生を少なくできる。
【００３７】
なお、本発明は、上記実施の形態として示された、直線検出方法にハフ変換、及びステレオ３次元計測にエリアベースのステレオマッチング方法を用いたもの以外に、各種画像処理手段を用いた形態のものを含むことは言うまでもない。
【００３８】
［第２の実施の形態］
図５は、第２の実施の形態の物体特定装置の位置演算部の信頼度演算処理を示すフローチャートである。図６は、同物体特定装置の物体特定方法の信頼度演算手段の説明図である。図７は、同物体特定装置の位置演算部の距離演算処理を示すフローチャートである。図８は、同物体特定装置の位置演算部の距離演算処理の説明図である。
【００３９】
この実施の形態の物体特定装置１は、位置演算部の演算処理の一部が第１の実施の形態と異なるもので、他の構成は第１の実施の形態のものと同一で、該実施の形態の物体特定装置１は、任意の載置状態にある複数の同一外形の認識対象から１つの物体を特定する物体特定装置であって、略水平面Ｐ上に載置された複数の認識対象物体Ｂ、Ｂ…を撮像してその画像情報から各物体それぞれの載置状態情報を取り込む情報入力手段２と、この情報入力手段２にて得られる任意の認識対象物体Ｂ、Ｂ…の載置状態情報と予め与えられたその物体の外形情報とにより該載置状態情報の信頼度を求める信頼度演算手段７と、前記情報入力手段２にて得られる認識対象物体の載置状態情報と前記信頼度の情報とを演算して信頼度が所定値以上の物体相互間の位置情報を求める位置演算手段５と、この位置演算手段５の位置情報から各物体相互の重なり状態を求めて１つの物体を特定する特定手段６とを備えてなる。
【００４０】
又、該実施の形態の物体特定装置は、位置演算手段５は、認識対象物体Ｂ、Ｂ…の任意の基準面の、前記水平面上における一方の物体と他方の物体相互間の距離を演算する距離演算手段８を有し、特定手段６が、その演算結果の距離値を所定の距離値とを比較する比較手段９を備えてなる。
【００４１】
又、該実施の形態の物体特定方法は、任意の載置状態にある複数の同一外形の認識対象物体から１つの物体を特定する物体特定方法であって、略水平面上に載置された複数の認識対象物体Ｂ、Ｂ…を撮像してその画像情報から各物体それぞれの載置状態情報を求め、その各載置状態情報における任意の認識対象物体の載置状態情報と予め与えられたその物体の外形情報とにより前記載置状態情報の信頼度を求めるとともに、同各載置状態情報から各物体相互間の位置情報を求め、この位置情報から各物体相互の重なり状態を求めるとともに、その重なり状態の上方位置のものから順次に前記信頼度が所定値以上か否かを判定して１つの物体Ａを特定している。
【００４２】
このものの位置演算手段５は、第１の実施の形態にて説明した３次元データの処理にて得られた載置状態情報である平行ステレオ画像情報から、より精度良く各物体相互間の位置情報を求めて重なりの上下を決定するため、図５に示すフローチャートのＳ７１からＳ７６に示す如く、個々の物体Ｂの載置状態情報の信頼度演算行う信頼度演算手段７を備えている。
【００４３】
具体的には、この場合、図２に示した３次元データの計測処理にて得られた各小領域ｓ１、ｓ２、ｓ３、ｓ４に係わるデータを、対応する小領域同士の類似度として各領域毎に記憶する。次いで、直線ｂ１上の各領域の３次元データから、直線ｂ１の３次元情報である、位置及び方向を求めるのと同時に、直線ｂ１上の各領域のステレオマッチング時の類似度を全て加算し、その合計値を直線ｂ１の計測信頼度とし、直線ｂ１、ｂ２、ｂ３、ｂ４が基準画像の水平方向との角度θをそれぞれ求め、下記の（式１）に示す導出式にて算出される係数αを、各々の直線の計測信頼度に乗じる。
α＝（１＋１００ｓｉｎ（θ）） （式１）
但し、θは直線ｂ１と基準画像水平方向とのなす角度である。
【００４４】
そして、上記の如く、基準画像中で検出した直線ｂ１、ｂ２、ｂ３、ｂ４に対する３次元情報（位置・方向）と計測信頼度を求めた後、各直線の３次元情報と、図４に示すように予め与えられたその物体の外形情報と照合し、下記の（式２）に示す導出式にてその外形情報との整合度を求める。
【００４５】
Ｍ＝ ｜（直線ｂ１と直線ｂ２の距離）−Ｌ１｜
＋｜（直線ｂ３と直線ｂ４の距離）−Ｌ２｜
＋｜（直線ｂ１と直線ｂ４のなす角）−θ1｜
＋｜（直線ｂ２と直線ｂ３のなす角）−θ2｜ （式２）
【００４６】
すなわち、画像から計測された直線の組み合わせにより複数のモデルとの整合度Ｍがこの式２により得られるが、この得られた整合度Ｍの中の最小の整合度となる直線の組み合わせより，物体の位置・姿勢を求め、さらに、その最小の整合度と組み合わせた各直線の計測信頼度とを全て加算し、この加算された合計値を物体の位置・姿勢である載置状態情報の信頼度とするのである。
【００４７】
また、この位置演算手段５は、図７に示すフローチャートに基づいて、前述の３次元データの処理にて得られた載置状態情報と上記信頼度演算手段７による信頼度の情報とを演算して信頼度が所定値以上の物体相互間の一方の物体Ｂ１と他方の物体Ｂ２相互間の距離の演算行う距離演算手段８を備えている。
【００４８】
具体的には、まず，載置状態情報の３次元データの位置・姿勢データにおいて認識対象物体Ｂ、Ｂ…の位置・姿勢を高いものから順番に並べ替え、次いで、その内の最も高い位置にある物体を取り出して仮の対象物体とする。この場合、その対象物体の上記手順にて求めた信頼度がしきいの所定値以下であれば、この仮の対象物体より計測上の位置データが次に低い物体を改めて対象物体とする。その後、残りの物体から対象物体以外の物体を１つ選択し、そして，この２つの物体を物体の置かれた前記の水平面Ｐ上へ投影して距離値を演算する。
【００４９】
なお、この場合の特定手段６は、上記の演算結果の距離値を所定の距離値とを比較する比較手段９を備えている。
【００５０】
具体的には、比較手段９は、図８に示すように、投影された２つの物体Ｂ１、Ｂ２の代表点Ｔ１、Ｔ２をそれぞれの中心点とした場合、２つの代表点Ｔ１、Ｔ２間の距離が、図８（ａ）に示すような２つの物体Ｂ１、Ｂ２の最大中心距離、すなわち、所定の距離値である重なり可能のしきい値ＭＩよりも大きければ、例えば図８（ｂ）に示すように、２つの物体Ｂ１、Ｂ２が重なりを生じていないことを判定している。
【００５１】
次に、上記の手順を図５、図７のフローチャートに基づいて位置演算手段５の信頼度演算手段７、距離演算手段８と特定手段６の比較手段９の説明を行う。
【００５２】
信頼度演算手段７は、前述のステップ４５における、直線の３次元情報である、３次元データの計測処理にて得られた各小領域ｓ１、ｓ２、ｓ３、ｓ４に係わるデータ（位置・方向）から、まず、そのステレオマッチング時の類似度を加算して直線の計測信頼度（Ｃｌｉ）を算出し（ステップ７１）、次いで、基準画像の水平方向とのなす角度をθとして（Ｃｌｉ＝Ｃｌｉ×（１+１００ｓｉｎ（θ））の計算を行い（ステップ７２）、その後、直線の組み合わせを選択を行い（ステップ７３）、モデルデータとマッチングさせて、各物体のモデルとの整合度（Ｍｊ）の算出を行った（ステップ７４）後、Ｍ（最小のＭｊ）となる直線の組み合わせより、物体の位置・姿勢を算出し（ステップ７５）、（計測信頼度＝Ｍ＋組み合わせた直線の計測計測信頼度）として計測信頼度の算出を行う（ステップ７６）。
【００５３】
なお、このようにして、ステレオペア毎に得られた計測結果の中で計測信頼度が最も高い計測結果を物体の位置・姿勢としても良い。
【００５４】
また、距離演算手段８は、まず、物体の３次元位置・姿勢計測データを、高さ順に並べ替え（ステップ８１）、次いで、上位高さにある物体を１つ、対象物体として取り出し（ステップ８２）、そのものの計測信頼度が所定の許容範囲内か否かの判定を行う。（ステップ８３）。このとき許容範囲以上であれば再びステップ８２へ戻るが、そうでない場合は、残りの物体から順番に対象物体と比較するものとし（ステップ８４）、物体を特定平面へ投影し（ステップ８５）、この２つの物体の中心の２次元距離を計算を行う（ステップ８６）。
【００５５】
上記の計算結果を受けて、比較手段９は、まず、物体間の２次元距離が重なり可能しきい値Ｍ１より大きいか否かを判定する（ステップ９１）。このとき重なり可能しきい値Ｍ１以上であれば後述するステップ９４へ移行するが、そうでない場合、投影された物体の辺の関係で重なり判定を行うものとし（ステップ９２）、重なり有りか否かの判定を行う（ステップ９３）。このとき重なりがあれば再び上記距離演算手段８のステップ８２へ戻るが、そうでない場合は、まだ比較していない物体があるか否かを判定するものとし（ステップ９４）、まだ比較していない物体のある場合は、上記距離演算手段８のステップ８４へ戻るが、そうでない場合は、上下に重なりのない物体と判定して物体Ａの特定を行う（ステップ９５）。
【００５６】
したがって、以上説明した物体特定装置１及び物体特定方法によると、情報入力手段２にて、略水平面Ｐ上に載置された複数の認識対象物体Ｂ、Ｂ…が撮像されてその画像情報から各物体それぞれの載置状態情報を取り込むことができる。信頼度演算手段７にて、前記情報入力手段２にて得られる任意の認識対象物体の載置状態情報と予め与えられたその物体の外形情報とにより該載置状態情報の信頼度を求めることができる。位置演算手段５にて、同情報入力手段２にて得られる認識対象物体Ｂ、Ｂ…の載置状態情報と前記信頼度の情報とを演算して信頼度が所定値以上の物体相互間の位置情報を求めることができる。特定手段６にて、同位置演算手段５の位置情報から、任意の載置状態にある複数の同一外形の認識対象の各物体相互の重なり状態を求めて、１つの物体を特定できるので、任意の載置状態にある複数の同一外形の認識対象物体Ｂ、Ｂ…を正確に認識して１つの物体Ａを確実に特定できる。
【００５７】
また、位置演算手段５に設けられた距離演算手段８にて、認識対象物体Ｂ、Ｂ…の任意の基準面の、前記水平面Ｐ上における一方の物体と他方の物体相互間の距離が演算される。特定手段６に設けられた比較手段９にて、同演算結果の距離値が所定の距離値とを比較され１つの物体を特定されるので、簡単な処理手順にて認識対象の各物体相互の重なり状態を求めて、１つの物体Ａを特定することができ、以て、短い処理時間にて１つの物体Ａを特定できる。
【００５８】
［第３の実施の形態］
図９は、第３の実施の形態の物体特定装置の位置演算部の投影面演算処理を示すフローチャートである。図１０は、同物体特定装置の位置演算部の投影面演算処理の説明図である。
【００５９】
この実施の形態の物体特定装置１は、位置演算部の演算処理の一部が第１の実施の形態と異なるもので、他の構成は第１の実施の形態のものと同一で、該実施の形態の物体特定装置１は、位置演算手段５は、認識対象物体Ｂ、Ｂ…の任意の基準面を前記水平面Ｐ上に投影した、その各投影面相互の重なり状態を演算する投影面演算手段１０を有し、特定手段６が、その演算結果の重なり状態を判定する判定手段を備えてなる。
【００６０】
詳しくは、この位置演算手段５の投影面演算手段１０は、図９に示すフローチャートに基づいて、前述の３次元データの処理にて得られた載置状態情報を前記水平面Ｐ上に投影させ、その各投影面相互の重なり状態を演算して物体相互間の一方の物体Ｂ１と他方の物体Ｂ２の重なり状態の判定演算行う。
【００６１】
具体的には、この場合、まず，２つの物体Ｂ１、Ｂ２に対して、図１０（ａ）に示すように物体の輪郭を特定の面に投影し、一方の物体Ｂ１を参照物体、他方の物体Ｂ２を対象物体とする。そして，図１０（ｂ）に示すように、前記参照物体である物体Ｂ１の辺を、左回りの辺ベクトルｄ１、ｄ２、ｄ３、ｄ４とおき，対象物体である物体Ｂ２の頂点をｅ１、ｅ２、ｅ３、ｅ４と置く。次いで、前記頂点ｅ１、ｅ２、ｅ３、ｅ４が左回りの辺ベクトルｄ１、ｄ２、ｄ３、ｄ４それぞれの左半平面に存在する数を調べる。ここで、前記左半平面に存在する頂点が１つでも存在すれば、前記の物体Ｂ１、Ｂ２は重なりを生じていると判定することができる。
【００６２】
また，前記左半平面に存在する頂点が全く無ければ、前記の物体Ｂ１、Ｂ２を入れ替えて同様の演算処理を行い、その結果、前記左半平面に存在する頂点が全く存在しなければ、物体Ｂ１、Ｂ２は重なりを生じていないと判定でき、前記左半平面に存在する頂点が1つでも存在すれば、物体Ｂ１、Ｂ２は重なりを生じていると判定できる。このようにして、２つの物体Ｂ１、Ｂ２の重なり状態の判定することができる。
【００６３】
次に、上記の手順を図９のフローチャートに基づいて説明する。投影面演算手段１０は、まず、２つの物体の輪郭を特定の面に投影し（ステップ１０１）、次いで、一方の物体Ｂ１を参照物体、他方の物体Ｂ２を対象物体とし（ステップ１０２）、参照物体である物体Ｂ１の輪郭を左回りの辺ベクトルで構成する（ステップ１０３）。その後、対象物体である物体Ｂ２の１つ以上の頂点が、物体Ｂ１の各辺ベクトルに対して、左半平面にあるか否かの判定を行い（ステップ１０４）、左半平面にある場合には物体Ｂ１、Ｂ２どうしは重なっていると判定し（ステップ１０５）、前述の特定手段６に設けられた判定手段にて、同演算結果の重なり状態が判定され１つの物体を特定される。
【００６４】
また、そうでないときにはフラグ確認を行い（ステップ１０６）、参照面と対象面を入れ替えるとともにフラグを変更して、再びステップ１０３へ移行する（ステップ１０７）が、上記ステップ１０６のフラグ確認結果が、参照物体及び対象物体の入れ替え後の処理であるときには、物体Ｂ１、Ｂ２どうしは重なっていない可能性があると判定する（ステップ１０８）。なお、この場合には、その後、更に詳しい判定を行うために位置演算手段５の前述のステップ５１に移行している。
【００６５】
したがって、以上説明した物体特定装置１によると、位置演算手段５に設けられた投影面演算手段１０にて、認識対象物体の任意の基準面を前記水平面Ｐ上に投影した、その各投影面相互の重なり状態が演算される。特定手段６に設けられた判定手段にて、同演算結果の重なり状態が判定され１つの物体を特定されるので、簡単な処理手順にて認識対象の各物体相互の重なり状態のある旨判定して１つの物体Ａを特定することができ、以て、短い処理時間にて重なりのある１つの物体Ａを特定できる。
【００６６】
［第４の実施の形態］
図１１は、第４の実施の形態の物体特定装置の位置演算部の記憶処理を示すフローチャートである。図１２は、同物体特定装置の位置演算部の記憶処理の説明図である。
【００６７】
この実施の形態の物体特定装置は、位置演算部の演算処理の一部が第１の実施の形態と異なるもので、他の構成は第１の実施の形態のものと同一で、該実施の形態の物体特定装置１は、位置演算手段５は、前記情報入力手段２にて得られる任意の基準面の３次元位置情報から認識対象物体Ｂ、Ｂ…の傾き状態を演算するとともにその傾き状態の大きい物体を特定の除外対象として記憶する記憶手段１１を有し、特定手段６が、同記憶手段１１の記憶情報を加えて演算するようなしている。
【００６８】
詳しくは、この位置演算手段５は、第１の実施の形態にて説明した情報入力手段２による３次元データの処理にて得られた載置状態情報から、前記の把持手段１３による把持失敗が発生することなく、精度良く把持しやすい状態の物体を特定するため、把持し損なう可能性のあるものを把持対象物体から除外し特定する方法で、この実施の形態の物体特定装置１のメインフローに連なる、図１１に示すフローチャートのＳ６１からＳ６３に示す過程で、その傾き状態の大きい物体を特定の除外対象として記憶するための記憶手段１１を備えている。
【００６９】
具体的には、把持失敗が発生しやすい状態の物体とは、例えば図１２（ａ）に示すように、把持対象物体Ｂの傾きが大きく，把持手段１３がアプローチできないもの、あるいは把持手段１３の接触等によってそのアプローチの把持以前に把持対象物体Ｂの位置・姿勢が変化してしまう状態にある物体が一例として挙げられる。そのため、このような傾きの大きい物体は、把持手段１３による把持失敗が発生する可能性が大として図１１に示すフローチャートの手順に基づいて、前述の３次元データの処理にて得られた物体の載置状態情報である平行ステレオ画像情報から相互位置関係を判定し、把持対象物体Ａとして決定した後、その傾きが大きい場合には把持失敗が発生しやすいものであると判定して記憶手段１１に記憶させ、その後再びこの把持対象物体Ａと重なりのない他の把持対象物体Ａを特定する。
【００７０】
なお、把持失敗が発生しやすいものであると判定して記憶手段１１に記憶させるものは、上記の傾きが大きいもの以外に、図１２（ｂ）に示すように、例えば計測誤差が大きくて前述の載置状態情報の信頼度の低い場合に、実際の物体Ｂと外れた位置として載置状態情報が求まる場合、あたかも破線にて示す位置に物体Ｂがあるように誤った判定をするのを防止するために記憶させても良い。
【００７１】
次に、上記の手順を図１１のフローチャートに基づいて説明する。この物体特定装置１は、プログラムがスタートすると（ステップ１）、まず、情報入力手段２にて３次元位置・姿勢計測がなされ（ステップ２）、次いで、位置演算手段５にて相互位置関係判定がなされ（ステップ５）、その後、特定手段６にて、まず、把持対象物体が決定され（ステップ６１）、把持対象物体の位置・姿勢で傾きが大きいか否かが判定されるが（ステップ６２）、このときその傾き状態が所定の値より大きいときには記憶手段１１に記憶され（ステップ１１）、再びステップ２へ移行する。また、その傾き状態が所定の値より小さいときにはこの把持対象物体と重なりの無い他の把持対象物体を決定する（ステップ６３）。なお、このとき、重なり状態の判定は、物体の重なりのある場合についてのみ上記の処理を行うことで、より効率的に物体同士の相互の位置関係を判定することができる。
【００７２】
したがって、以上説明した物体特定装置１によると、位置演算手段５に設けられた記憶手段１１にて、前記情報入力手段２にて得られる任意の基準面の３次元位置情報から認識対象物体の傾き状態を演算されたその傾き状態の大きい物体が特定の除外対象として記憶される。特定手段６にて、同記憶手段１１の記憶情報を加えて演算され１つの物体を特定されるので、記憶手段１１に記憶された把持失敗が発生しやすいものであると判定された物体を予め除外して判定がなされ、以て、より短時間に物体Ａを特定できる。
【００７３】
なお、本発明の物体特定方法は、上記の処理手順に示したもの以外に、例えば、図１３のフローチャートに示すように、まず、物体の３次元位置・姿勢を計測し、相互位置関係を判定し、次いで、前述の相互位置関係の演算結果を用いて重なり状態のない物体が存在するかを判定、重なり状態のない物体が存在する場合には、さらに重なり状態のないの物体は２つ以上存在するかどうかを判定し、このとき、１つしか存在しなければこの物体を把持対象物体と決定し、２つ以上存在すれば計測信頼度の高い方の物体を把持対象物体とし、また、一方、相互位置関係の演算結果において、重なり状態のある場合には、さらに重なりの状態の組みが２つ以上存在するかどうかを判定して、重なりの状態の組みが１つであれば重なりの最上部の物体を把持対象物体と決定し、また、重なりの状態の組みが２つ以上存在していれば、各重なりの最上部の物体を全て選び出して計測信頼度が最も高い物体を把持対象物体と決定する等、各種手順を組み合わたものを含むことは言うまでもない。
【００７４】
【発明の効果】
本発明の物体特定方法及び装置は、上述の実施態様の如く実施されて、情報入力手段にて、略水平面上に載置された複数の認識対象物体が撮像されてその画像情報から各物体それぞれの載置状態情報を取り込むことができる。位置演算手段にて、同情報入力手段にて得られる認識対象物体の載置状態情報から各物体相互間の位置情報を求めることができる。特定手段にて、同位置演算手段の位置情報から、任意の載置状態にある複数の同一外形の認識対象の各物体相互の重なり状態を求めて、１つの物体を特定できるので、任意の載置状態にある複数の同一外形の認識対象物体を正確に認識して１つの物体を確実に特定できる。
【００７５】
また、情報入力手段にて、略水平面上に載置された複数の認識対象物体が撮像されてその画像情報から各物体それぞれの載置状態情報を取り込むことができる。信頼度演算手段にて、前記情報入力手段にて得られる任意の認識対象物体の載置状態情報と予め与えられたその物体の外形情報とにより該載置状態情報の信頼度を求めることができる。位置演算手段にて、同情報入力手段にて得られる認識対象物体の載置状態情報と前記信頼度の情報とを演算して信頼度が所定値以上の物体相互間の位置情報を求めることができる。特定手段にて、同位置演算手段の位置情報から、任意の載置状態にある複数の同一外形の認識対象の各物体相互の重なり状態を求めて、１つの物体を特定できるので、任意の載置状態にある複数の同一外形の認識対象物体を正確に認識して１つの物体を確実に特定できる。
【００７６】
そして、情報入力手段にて、認識対象物体の任意の基準面の３次元位置情報が取り込まれる。位置演算手段にて、同認識対象物体相互の一方の物体と他方の物体との該基準面どうしの相対的な高さ位置が演算されるので、より正確に認識対象物体を認識して１つの物体をでき、以て、例えば把持失敗の発生を少なくできる。
【００７７】
また、位置演算手段に設けられた距離演算手段にて、認識対象物体の任意の基準面の、前記水平面上における一方の物体と他方の物体相互間の距離が演算される。特定手段に設けられた比較手段にて、同演算結果の距離値が所定の距離値とを比較され１つの物体を特定されるので、簡単な処理手順にて認識対象の各物体相互の重なり状態を求めて、１つの物体を特定することができ、以て、短い処理時間にて１つの物体を特定できる。
【００７８】
また、位置演算手段に設けられた投影面演算手段にて、認識対象物体の任意の基準面を前記水平面上に投影した、その各投影面相互の重なり状態が演算される。特定手段に設けられた判定手段にて、同演算結果の重なり状態が判定され１つの物体を特定されるので、簡単な処理手順にて認識対象の各物体相互の重なり状態のある旨判定して１つの物体を特定することができ、以て、短い処理時間にて重なりのある１つの物体を特定できる。
【００７９】
また、位置演算手段に設けられた記憶手段にて、前記情報入力手段にて得られる任意の基準面の３次元位置情報から認識対象物体の傾き状態を演算されたその傾き状態の大きい物体が特定の除外対象として記憶される。特定手段にて、同記憶手段の記憶情報を加えて演算され１つの物体を特定されるので、記憶手段に記憶された把持失敗が発生しやすいものであると判定された物体を予め除外して判定がなされ、以て、より短時間に物体を特定できる。
【００８０】
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の物体特定方法を使用する物体特定装置を示す概略構成図である。
【図２】同実施の形態の物体特定方法を示すフローチャートである。
【図３】同物体特定装置の３次元画像処理を示す説明図である。
【図４】同物体特定装置の位置演算部の演算処理の説明図である。
【図５】第２の実施の形態の物体特定装置の位置演算部の信頼度演算処理を示すフローチャートである。
【図６】同物体特定装置の物体特定方法の信頼度演算手段の説明図である。
【図７】同物体特定装置の位置演算部の距離演算処理を示すフローチャートである。
【図８】同物体特定装置の位置演算部の距離演算処理の説明図である。
【図９】第３の実施の形態の物体特定装置の位置演算部の投影面演算処理を示すフローチャートである。
【図１０】同物体特定装置の位置演算部の投影面演算処理の説明図である。
【図１１】第４の実施の形態の物体特定装置の位置演算部の記憶処理を示すフローチャートである。
【図１２】同物体特定装置の位置演算部の記憶処理の説明図である。
【図１３】本発明の他の実施例の物体特定方法を示すフローチャートである。
【符号の説明】
１ 物体特定装置
２ 情報入力手段
５ 位置演算手段
６ 特定手段
７ 信頼度演算手段
８ 距離演算手段
９ 比較手段
１０ 投影面演算手段
１１ 記憶手段
Ａ 物体
Ｂ 認識対象物体
Ｂ１ 一方の物体
Ｂ２ 他方の物体
Ｐ 水平面[0001]
BACKGROUND OF THE INVENTION
The present invention identifies an object to be grasped when grasping with a grasping means provided in a robot apparatus or the like, and thus identifies an object from a plurality of recognition target objects having the same outer shape in an arbitrary placement state It relates to a specific method.
[0002]
[Prior art]
Conventionally, when, for example, parts stacked in a container are flexibly picked by a gripping means provided in a robot apparatus, in many cases, the three-dimensional positions and orientations of a plurality of recognition target objects using an image processing method are used. A method of measuring and bin picking with the gripping means is employed. Therefore, it is important to accurately determine the object to be grasped and to accurately convey the position / orientation to the grasping means in the object identification process of measuring one of the three-dimensional positions / orientations to identify one object. It becomes.
[0003]
As a method for identifying a gripping target object from recognition target objects of the same external shape that are arbitrarily placed and are in an unspecified position / posture for gripping an object by the gripping means described above, for example, the Japan Society of Mechanical Engineers [ No. 97-22] Robotics and Mechatronics Lecture '97 Proceedings [Vol. B], “the most significant recognition of the superposition target by image processing”. In this case, a two-dimensional shape feature is extracted from the captured image using the edge data of the recognition target object, and then matched with a predetermined shape model, and then the vertical relationship between the superimposed objects This determination is made based on the presence or absence of an object edge caused by superposition.
[0004]
In addition, as a method for specifying a gripping target object other than the above, there is a method disclosed as “Bulk Object Extracting Device” in Japanese Patent Laid-Open No. 3-202290. In this case, first, the height of the upper surface of the recognition target object is measured, and then, the grip target object is specified from objects having a predetermined reference height or higher in the measured upper surface height information.
[0005]
[Problems to be solved by the invention]
However, in the above-described conventional technique, in the former case, the edges generated between the superimposed objects in the vertical relationship of the plurality of recognition target objects having uniform hues are ambiguous, and the overlapping relationship is accurately determined. There were times when it was difficult. In the latter case, an object whose top surface is higher than the reference height is selected to identify the object to be grasped, and therefore, when the inclination of the object in a three-dimensional posture is large or the overlapping state of the objects is complicated In such a case, there is a problem that one object cannot be accurately specified. Furthermore, in either case, an error with respect to the placement state information of the recognition target object, which is image information, is not taken into account, and an incorrect position / posture may be transmitted to the robot apparatus. There is also a risk of moving the means to a position that has passed.
[0006]
The present invention has been made in view of the above-mentioned reasons, and the object of the present invention is to accurately recognize a plurality of recognition target objects having the same outer shape in an arbitrary placement state and to reliably identify one object. The object is to provide an object identification method and apparatus.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, in the object specifying method of the present invention,An object specifying method for specifying one object from a plurality of recognition target objects having the same outer shape in an arbitrary placement state, wherein a plurality of recognition target objects placed on a substantially horizontal plane are imaged and their image information is used. The placement state information of each object is obtained, and the reliability of the placement state information is obtained from the placement state information of an arbitrary recognition target object in the placement state information and the external shape information of the object given in advance. In addition, the position information between the objects is obtained from the respective mounting state information, the overlapping state between the objects is obtained from the position information, and the reliability is sequentially determined from the upper position of the overlapping state. Determine whether this is the case or not and specify one objectThatIt is a feature.
[0010]
In this case, a plurality of recognition target objects placed on a substantially horizontal plane can be imaged by the information input means, and placement status information for each object can be captured from the image information. The position calculation means can obtain position information between the objects from the placement state information of the recognition target object obtained by the information input means. The specifying means can determine the overlapping state of the recognition target objects of a plurality of identical outlines in an arbitrary placement state from the position information of the same position calculating means, thereby specifying one object.
[0011]
Further, it is an object identification device that identifies one object from a plurality of recognition targets of the same outer shape in an arbitrary placement state, and images a plurality of recognition target objects placed on a substantially horizontal plane and their image information Information input means for fetching the mounting state information of each object from the information, the mounting state information of any recognition target object obtained by the information input means, and the external shape information of the object given in advance A reliability calculation means for obtaining a reliability of information, and a placement state information of the recognition target object obtained by the information input means and the reliability information to calculate the reliability between objects having a reliability equal to or higher than a predetermined value. Position calculating means for obtaining position information, and specifying means for obtaining one object by obtaining the overlapping state of the objects from the position information of the position calculating means.
[0012]
In this case, a plurality of recognition target objects placed on a substantially horizontal plane can be imaged by the information input means, and placement status information for each object can be captured from the image information. The reliability calculation means can determine the reliability of the placement state information from the placement state information of an arbitrary recognition target object obtained by the information input means and the external shape information of the object given in advance. . The position calculation means calculates the placement state information of the recognition target object obtained by the information input means and the reliability information, and obtains position information between the objects having reliability of a predetermined value or more. it can. The specifying means can determine the overlapping state of the recognition target objects of a plurality of identical outlines in an arbitrary placement state from the position information of the same position calculating means, thereby specifying one object.
[0013]
Then, the information input means captures the three-dimensional position information of an arbitrary reference plane of the recognition target object, and the position calculation means determines whether the reference plane between the one object and the other object of the recognition target objects. It is preferable to calculate the relative height position.
[0014]
In this case, the information input means captures the three-dimensional position information of an arbitrary reference plane of the recognition target object. The position calculation means calculates the relative height position of the reference planes between the one object and the other object of the recognition target objects.
[0017]
Further, the position calculation means includes a projection plane calculation means for calculating an overlapping state between the respective projection planes, in which an arbitrary reference plane of the recognition target object is projected on the horizontal plane, and the specifying means determines the calculation result. It is preferable to include determination means for determining the overlapping state of the two.
[0018]
In this case, the projection plane calculation means provided in the position calculation means calculates an overlapping state between the projection planes obtained by projecting an arbitrary reference plane of the recognition target object onto the horizontal plane. A determination unit provided in the specifying unit determines an overlap state of the calculation results and specifies one object.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
1 to 4 show a first embodiment corresponding to all of
[0022]
[First Embodiment]
FIG. 1 is a schematic configuration diagram illustrating an object identification device that uses the object identification method according to the first embodiment. FIG. 2 is a flowchart showing the object specifying method according to the embodiment. FIG. 3 is an explanatory diagram showing three-dimensional image processing of the object specifying device. FIG. 4 is an explanatory diagram of calculation processing of the position calculation unit of the object identification device.
[0023]
The
[0024]
Further, in the
[0025]
The object specifying method of the embodiment is an object specifying method for specifying one object from a plurality of recognition target objects having the same outer shape in an arbitrary mounting state, and is mounted on a substantially horizontal plane. A plurality of recognition target objects B, B... Are imaged, the placement state information of each object is obtained from the image information, the position information between the objects is obtained from the placement state information, and each position information is obtained from the position information. One object A is identified by determining the overlapping state between the objects.
[0026]
Specifically, the
[0027]
The
[0028]
In this case, the three-dimensional
[0029]
Specifically, first, straight lines b1, b2, b3, and b4 are detected from one of the parallel stereo images (hereinafter referred to as a reference image) shown in FIG. This straight line detection is performed, for example, by a method called a Hough transform for detecting a straight line in an image by voting edge points in the reference image to the parameter space. Next, stereo three-dimensional measurement is performed by a method called an area-based stereo matching method, for example. Specifically, the area corresponding to the small areas s1, s2, s3, and s4 set on, for example, the straight line b1 extracted from the standard image is the other image (hereinafter referred to as the reference image) shown in FIG. The three-dimensional data calculation process for each area is performed and parallel stereo image information is output.
[0030]
In this case, the position calculation means 5 obtains position information between the respective objects from the three-dimensional data of the parallel stereo image output from the three-dimensional
[0031]
Specifically, as shown in FIG. 4, two objects B1 and B2 whose three-dimensional positions and orientations are measured are selected, and planes Q1 and Q2 representing the objects B1 and B2 are determined. Then, with one surface Q1 as the reference surface and the other surface Q2 as the target surface, the front direction of the reference plane P ′ obtained by extending the reference surface Q1 is the positive region R +, and the reverse direction is the negative region R−. . Next, the number of vertices in the positive region R + with respect to the reference plane P ′ is obtained for all the vertices c1, c2, c3, and c4 of the object B2 constituting the target surface Q2. Thereafter, the relationship between the reference planes of the planes Q1 and Q2 and the target plane is changed, and the same processing as described above is performed. As a result, for example, the object B2 having a surface with a large number of vertices in the positive region R + is determined as an object existing on the upper side. In this way, the upper and lower sides of the overlapping of the mutual positional relationship of the objects are determined.
[0032]
After the above, the object specifying unit which is the specifying
[0033]
Next, the above procedure will be described based on the flowchart of FIG. The information input means 2 first creates a stereo pair (step 41), then performs parallel stereo conversion (step 42), and then performs straight line detection from the reference image (step 43), and on the straight line of the reference image. Three-dimensional measurement of the set small area is performed (step 44), and the three-dimensional position information of each straight line of an arbitrary reference plane of the recognition target object is captured (step 45).
[0034]
The position calculation means 5 first determines the representative surfaces B1 and B2 of the two objects (step 51), and then sets one surface Q1 as a reference surface and the other surface Q2 as a target surface (step 52). The reference direction P ′ of the reference plane P ′ expanded is defined as the positive region R +, and the reverse direction is defined as the negative region R− (step 53). Thereafter, for all the vertices c1, c2, c3, and c4 constituting the target surface, the number of vertices in the positive region R + with respect to the reference plane P ′ is obtained (step 54), flag confirmation is performed (step 55), After the target surface is replaced and the flag is changed (step 56) and the processing of steps 53 to 55 is performed, an object having a surface with a large number of vertices in the positive region R + is determined as an object existing on the upper side ( Step 57).
[0035]
Therefore, according to the
[0036]
Then, the information input means 2 takes in the three-dimensional position information of an arbitrary reference plane of the recognition target objects B, B. The position calculation means 5 calculates the relative height position of the reference planes of the one object and the other object of the recognition target objects B, B... , B... Can be recognized and one object A can be formed.
[0037]
It should be noted that the present invention is an embodiment using various image processing means other than the one using the Hough transform for the straight line detection method and the area-based stereo matching method for stereo three-dimensional measurement shown as the above embodiment. It goes without saying that it includes things.
[0038]
[Second Embodiment]
FIG. 5 is a flowchart illustrating the reliability calculation process of the position calculation unit of the object identification device according to the second embodiment. FIG. 6 is an explanatory diagram of reliability calculation means of the object specifying method of the object specifying device. FIG. 7 is a flowchart showing the distance calculation processing of the position calculation unit of the object identification device. FIG. 8 is an explanatory diagram of the distance calculation process of the position calculation unit of the object identification device.
[0039]
The
[0040]
In the object specifying device according to the embodiment, the position calculation means 5 calculates the distance between one object and the other object on the horizontal plane of an arbitrary reference plane of the recognition target objects B, B. A
[0041]
Further, the object specifying method of the embodiment is an object specifying method for specifying one object from a plurality of recognition target objects having the same outer shape in an arbitrary mounting state, and a plurality of objects specified on a substantially horizontal plane. The recognition target objects B, B... Are imaged, and the placement state information of each object is obtained from the image information, and the placement state information of an arbitrary recognition target object in the placement state information and the previously given In addition to obtaining the reliability of the placement state information described above based on the outer shape information of the object, obtaining positional information between the objects from the respective placement state information, obtaining the overlapping state between the objects from the position information, One object A is specified by determining whether or not the reliability is equal to or higher than a predetermined value sequentially from the upper position in the overlapping state.
[0042]
The position calculation means 5 for this is the position information between the objects with higher accuracy from the parallel stereo image information which is the mounting state information obtained by the processing of the three-dimensional data described in the first embodiment. In order to determine the upper and lower sides of the overlap, reliability calculation means 7 for calculating the reliability of the placement state information of each object B is provided as shown in S71 to S76 of the flowchart shown in FIG.
[0043]
Specifically, in this case, the data related to the small areas s1, s2, s3, and s4 obtained by the three-dimensional data measurement process shown in FIG. Remember every time. Next, from the three-dimensional data of each area on the straight line b1, the position and direction, which is the three-dimensional information of the straight line b1, are obtained, and at the same time, all the similarities at the time of stereo matching of each area on the straight line b1 are added, The total value is taken as the measurement reliability of the straight line b1, and the straight lines b1, b2, b3, and b4 respectively obtain the angles θ with respect to the horizontal direction of the reference image, and the coefficients calculated by the following derivation formula (Formula 1) Multiply α by the measurement reliability of each straight line.
α = (1 + 100sin (θ)) (Formula 1)
However, θ is an angle formed by the straight line b1 and the reference image horizontal direction.
[0044]
Then, as described above, after obtaining the three-dimensional information (position / direction) and the measurement reliability for the straight lines b1, b2, b3, b4 detected in the reference image, the three-dimensional information of each straight line is shown in FIG. In this way, the external shape information of the object given in advance is collated, and the degree of matching with the external shape information is obtained by the following derivation formula (Equation 2).
[0045]
M = | (distance between straight line b1 and straight line b2) −L1 |
+ | (Distance between straight line b3 and straight line b4) -L2 |
+ | (Angle formed by the straight line b1 and the straight line b4) −θ1 |
+ | (An angle formed by the straight line b2 and the straight line b3) −θ2 | (Formula 2)
[0046]
That is, the degree of matching M with a plurality of models is obtained by this
[0047]
Further, the position calculating means 5 calculates the mounting state information obtained by the above-described processing of the three-dimensional data and the reliability information by the reliability calculating means 7 based on the flowchart shown in FIG. Distance calculating means 8 for calculating the distance between one object B1 and the other object B2 between the objects having a reliability of a predetermined value or more.
[0048]
Specifically, first, the position / posture of the recognition target objects B, B... Are rearranged in order from the highest in the position / posture data of the three-dimensional data of the placement state information, and then the highest position among them. A certain object is taken out and set as a temporary target object. In this case, if the reliability obtained in the above procedure for the target object is equal to or less than the predetermined threshold value, the object having the next lower position data in measurement than the temporary target object is set as the target object. Thereafter, one object other than the target object is selected from the remaining objects, and these two objects are projected onto the horizontal plane P on which the object is placed to calculate a distance value.
[0049]
The specifying
[0050]
Specifically, as shown in FIG. 8, when the representative points T <b> 1 and T <b> 2 of the two projected objects B <b> 1 and B <b> 2 are set as the center points, the comparison unit 9 has a relationship between the two representative points T <b> 1 and T <b> 2. If the distance is greater than the maximum center distance between the two objects B1 and B2, as shown in FIG. 8A, that is, a predetermined threshold value MI that can be overlapped, for example, FIG. As shown, it is determined that the two objects B1 and B2 do not overlap.
[0051]
Next, the reliability calculation means 7 of the position calculation means 5, the distance calculation means 8, and the comparison means 9 of the specifying
[0052]
The reliability calculation means 7 is data (position / direction) related to each of the small areas s1, s2, s3, and s4 obtained by the measurement processing of the three-dimensional data, which is the three-dimensional information of the straight line in
[0053]
In this way, the measurement result having the highest measurement reliability among the measurement results obtained for each stereo pair may be used as the position / orientation of the object.
[0054]
The distance calculation means 8 first sorts the three-dimensional position / orientation measurement data of the objects in the order of height (step 81), and then picks out one object at the upper height as the target object (step 82). ), Whether or not the measurement reliability itself is within a predetermined allowable range is determined. (Step 83). At this time, if the allowable range is exceeded, the process returns to step 82 again. Otherwise, the remaining objects are compared with the target object in order (step 84), and the object is projected onto a specific plane (step 85). A two-dimensional distance between the centers of the two objects is calculated (step 86).
[0055]
In response to the above calculation result, the comparison means 9 first determines whether or not the two-dimensional distance between the objects is larger than the overlap possible threshold value M1 (step 91). At this time, if it is equal to or greater than the overlap possible threshold value M1, the process proceeds to step 94 to be described later. Otherwise, it is assumed that overlap determination is performed based on the relationship between the sides of the projected object (step 92). Is determined (step 93). If there is an overlap at this time, the process returns to step 82 of the distance calculating means 8 again. If not, it is determined whether or not there is an object that has not been compared yet (step 94). If there is an object, the process returns to step 84 of the distance calculation means 8, but if not, it is determined that the object does not overlap vertically and the object A is specified (step 95).
[0056]
Therefore, according to the
[0057]
Further, the distance calculation means 8 provided in the position calculation means 5 calculates the distance between one object on the horizontal plane P and the other object on any reference plane of the recognition target objects B, B. The Since the comparison means 9 provided in the specifying
[0058]
[Third Embodiment]
FIG. 9 is a flowchart illustrating the projection plane calculation process of the position calculation unit of the object identification device according to the third embodiment. FIG. 10 is an explanatory diagram of the projection plane calculation process of the position calculation unit of the object identification device.
[0059]
The
[0060]
Specifically, the projection plane calculation means 10 of the position calculation means 5 projects the mounting state information obtained by the above-described three-dimensional data processing on the horizontal plane P based on the flowchart shown in FIG. The overlapping state between the respective projection planes is calculated to determine and calculate the overlapping state of one object B1 and the other object B2 between the objects.
[0061]
Specifically, in this case, for the two objects B1 and B2, first, the outline of the object is projected onto a specific surface as shown in FIG. The object B2 is a target object. Then, as shown in FIG. 10B, the sides of the object B1, which is the reference object, are set as counterclockwise side vectors d1, d2, d3, d4, and the vertices of the object B2, which is the target object, are e1, e2. , E3, e4. Next, the number of the vertices e1, e2, e3, e4 existing in the left half plane of each of the counterclockwise side vectors d1, d2, d3, d4 is examined. Here, if there is even one vertex in the left half plane, it can be determined that the objects B1 and B2 are overlapping.
[0062]
If there are no vertices existing in the left half plane, the same processing is performed by replacing the objects B1 and B2. As a result, if there are no vertices existing in the left half plane, It can be determined that B1 and B2 do not overlap, and if there is even one vertex present in the left half plane, it can be determined that the objects B1 and B2 are overlapping. In this way, the overlapping state of the two objects B1 and B2 can be determined.
[0063]
Next, the above procedure will be described based on the flowchart of FIG. The projection plane calculation means 10 first projects the contours of two objects onto a specific plane (step 101), then sets one object B1 as a reference object and the other object B2 as a target object (step 102). The contour of the object B1, which is an object, is composed of counterclockwise side vectors (step 103). Thereafter, it is determined whether or not one or more vertices of the target object B2 are in the left half plane with respect to each side vector of the object B1 (step 104). Determines that the objects B1 and B2 overlap each other (step 105), and the determination means provided in the specifying
[0064]
If not, flag confirmation is performed (step 106), the reference plane and the target plane are switched and the flag is changed, and the process proceeds to step 103 again (step 107). When the process is after the replacement of the object and the target object, it is determined that there is a possibility that the objects B1 and B2 do not overlap (step 108). In this case, after that, the routine proceeds to the above-described step 51 of the position calculating means 5 in order to make more detailed determination.
[0065]
Therefore, according to the
[0066]
[Fourth Embodiment]
FIG. 11 is a flowchart illustrating a storage process of the position calculation unit of the object identification device according to the fourth embodiment. FIG. 12 is an explanatory diagram of the storage process of the position calculation unit of the object identification device.
[0067]
The object specifying device of this embodiment is different from the first embodiment in part of the calculation processing of the position calculation unit, and the other configuration is the same as that of the first embodiment. In the form of the
[0068]
Specifically, the position calculating means 5 indicates that the gripping
[0069]
Specifically, an object in a state in which a grip failure is likely to occur is, for example, as shown in FIG. An example is an object in which the position / posture of the gripping target object B is changed before the approach is gripped due to contact or the like. For this reason, an object with such a large inclination is likely to cause a gripping failure by the gripping
[0070]
What is determined that the gripping failure is likely to occur and is stored in the storage unit 11 is not limited to that having the large inclination, but has a large measurement error, for example, as shown in FIG. When the placement state information is obtained as a position deviating from the actual object B when the reliability of the placement state information is low, it is erroneously determined that the object B exists at the position indicated by the broken line. You may memorize | store in order to prevent.
[0071]
Next, the above procedure will be described based on the flowchart of FIG. When the program is started (step 1), the
[0072]
Therefore, according to the
[0073]
In addition to the method shown in the above processing procedure, the object specifying method of the present invention first measures the three-dimensional position / orientation of the object and determines the mutual positional relationship as shown in the flowchart of FIG. Then, it is determined whether or not there is an object without an overlapping state using the calculation result of the mutual positional relationship described above. If there is an object without an overlapping state, two or more objects without an overlapping state are further present. At this time, if there is only one, this object is determined as the gripping target object, and if there are two or more, the object with higher measurement reliability is set as the gripping target object, On the other hand, in the calculation result of the mutual positional relationship, when there is an overlap state, it is further determined whether or not there are two or more pairs of overlapping states. Top object If it is determined as a gripping target object, and there are two or more pairs of overlapping states, all the topmost objects of each overlapping are selected and the object with the highest measurement reliability is determined as the gripping target object, etc. Needless to say, it includes a combination of various procedures.
[0074]
【The invention's effect】
The object specifying method and apparatus of the present invention are implemented as in the above-described embodiment, and a plurality of recognition target objects placed on a substantially horizontal plane are imaged by the information input means, and each object is obtained from the image information. Can be loaded. The position calculation means can obtain position information between the objects from the placement state information of the recognition target object obtained by the information input means. Since the specifying means can determine the overlapping state between the objects to be recognized of a plurality of identical outlines in an arbitrary mounting state from the position information of the same position calculating means, one object can be specified. It is possible to accurately identify a plurality of recognition target objects having the same outer shape in a set state and to identify one object reliably.
[0075]
In addition, the information input means can capture a plurality of recognition target objects placed on a substantially horizontal plane, and capture the placement state information of each object from the image information. The reliability calculation means can determine the reliability of the placement state information from the placement state information of an arbitrary recognition target object obtained by the information input means and the external shape information of the object given in advance. . The position calculation means calculates the placement state information of the recognition target object obtained by the information input means and the reliability information, and obtains position information between the objects having reliability of a predetermined value or more. it can. Since the specifying means can determine the overlapping state between the objects to be recognized of a plurality of identical outlines in an arbitrary mounting state from the position information of the same position calculating means, one object can be specified. It is possible to accurately identify a plurality of recognition target objects having the same outer shape in a set state and to identify one object reliably.
[0076]
Then, the information input means captures the three-dimensional position information of an arbitrary reference plane of the recognition target object. The position calculation means calculates the relative height position of the reference planes between the one object and the other object of the same recognition target object. An object can be formed, and therefore, for example, occurrence of a gripping failure can be reduced.
[0077]
Further, the distance calculation means provided in the position calculation means calculates the distance between one object and the other object on the horizontal plane of an arbitrary reference plane of the recognition target object. Since the comparison means provided in the identification means compares the distance value of the calculation result with a predetermined distance value to identify one object, the overlapping states of the objects to be recognized are recognized by a simple processing procedure. Thus, one object can be specified, and thus one object can be specified in a short processing time.
[0078]
In addition, the projection plane calculation means provided in the position calculation means calculates an overlapping state between the respective projection planes obtained by projecting an arbitrary reference plane of the recognition target object onto the horizontal plane. Since the determination unit provided in the specifying unit determines the overlap state of the calculation result and identifies one object, it is determined that there is an overlap state between the objects to be recognized by a simple processing procedure. One object can be specified, and thus one overlapping object can be specified in a short processing time.
[0079]
In addition, the storage unit provided in the position calculation unit specifies an object having a large tilt state in which the tilt state of the recognition target object is calculated from the three-dimensional position information of an arbitrary reference plane obtained by the information input unit. Is stored as an exclusion target. Since the specifying unit calculates the one object by adding the storage information of the storage unit, the object determined to be likely to cause a gripping failure stored in the storage unit is excluded in advance. A determination is made, so that an object can be specified in a shorter time.
[0080]
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram illustrating an object identification device that uses an object identification method according to a first embodiment of this invention;
FIG. 2 is a flowchart showing an object specifying method according to the embodiment;
FIG. 3 is an explanatory diagram showing three-dimensional image processing of the object specifying device.
FIG. 4 is an explanatory diagram of a calculation process of a position calculation unit of the object specifying device.
FIG. 5 is a flowchart illustrating reliability calculation processing of a position calculation unit of the object identification device according to the second embodiment.
FIG. 6 is an explanatory diagram of reliability calculation means of the object specifying method of the object specifying device.
FIG. 7 is a flowchart showing a distance calculation process of a position calculation unit of the object specifying device.
FIG. 8 is an explanatory diagram of a distance calculation process of a position calculation unit of the object specifying device.
FIG. 9 is a flowchart illustrating a projection plane calculation process of a position calculation unit of the object identification device according to the third embodiment.
FIG. 10 is an explanatory diagram of a projection plane calculation process of a position calculation unit of the object specifying device.
FIG. 11 is a flowchart illustrating a storage process of a position calculation unit of the object identification device according to the fourth embodiment.
FIG. 12 is an explanatory diagram of a storage process of a position calculation unit of the object specifying device.
FIG. 13 is a flowchart showing an object specifying method according to another embodiment of the present invention.
[Explanation of symbols]
1 Object identification device
2 Information input means
5 Position calculation means
6 identification means
7 reliability calculation means
8 Distance calculation means
9 Comparison means
10 Projection plane computing means
11 Storage means
A object
B Object to be recognized
B1 One object
B2 The other object
P horizontal plane
Claims (4)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11317099A JP3654042B2 (en) | 1999-04-21 | 1999-04-21 | Object identification method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11317099A JP3654042B2 (en) | 1999-04-21 | 1999-04-21 | Object identification method and apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000304509A JP2000304509A (en) | 2000-11-02 |
| JP3654042B2 true JP3654042B2 (en) | 2005-06-02 |
Family
ID=14605343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11317099A Expired - Lifetime JP3654042B2 (en) | 1999-04-21 | 1999-04-21 | Object identification method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3654042B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10275682B2 (en) | 2013-07-31 | 2019-04-30 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
| WO2019187216A1 (en) * | 2018-03-30 | 2019-10-03 | Ｎｅｃソリューションイノベータ株式会社 | Object identification device, object identification method, and non-temporary computer readable medium storing control program |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4199264B2 (en) | 2006-05-29 | 2008-12-17 | ファナック株式会社 | Work picking apparatus and method |
| JP4794011B2 (en) * | 2008-04-03 | 2011-10-12 | 関東自動車工業株式会社 | Image processing apparatus and robot control system |
| JP5360369B2 (en) * | 2008-09-11 | 2013-12-04 | 株式会社Ｉｈｉ | Picking apparatus and method |
| JP5088278B2 (en) * | 2008-09-17 | 2012-12-05 | 株式会社安川電機 | Object detection method, object detection apparatus, and robot system |
| JP5428639B2 (en) * | 2009-08-19 | 2014-02-26 | 株式会社デンソーウェーブ | Robot control apparatus and robot teaching method |
| JP2011095858A (en) * | 2009-10-27 | 2011-05-12 | Panasonic Electric Works Co Ltd | Three-dimensional digitizer |
| DE112011103794B4 (en) | 2010-11-17 | 2019-01-24 | Mitsubishi Electric Corporation | Pick-up device for workpieces |
| JP5623358B2 (en) * | 2011-09-06 | 2014-11-12 | 三菱電機株式会社 | Work picking device |
| JP6360747B2 (en) * | 2014-08-22 | 2018-07-18 | 西部電機株式会社 | Amorphous body position estimation method, amorphous body position estimation apparatus and program |
| JP6529302B2 (en) | 2015-03-24 | 2019-06-12 | キヤノン株式会社 | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM |
| JP2017039189A (en) * | 2015-08-20 | 2017-02-23 | 株式会社東芝 | Layout detector and picking apparatus |
| JP7047249B2 (en) * | 2017-01-10 | 2022-04-05 | オムロン株式会社 | Image processing system, image processing device, work pickup method, and work pickup program |
| JP6734402B2 (en) * | 2017-01-12 | 2020-08-05 | 株式会社Ｆｕｊｉ | Work machine |
| JP6773588B2 (en) * | 2017-03-10 | 2020-10-21 | 株式会社東芝 | Transport device |
| WO2020121399A1 (en) * | 2018-12-11 | 2020-06-18 | 株式会社Ｆｕｊｉ | Robot control system and robot control method |
| JP7183941B2 (en) * | 2019-05-09 | 2022-12-06 | トヨタ自動車株式会社 | Work identification method |
| JP7337628B2 (en) | 2019-09-25 | 2023-09-04 | 東芝テック株式会社 | Article recognition device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3028016B2 (en) * | 1993-02-26 | 2000-04-04 | 村田機械株式会社 | 3D image measurement method for cargo |
| JP3516067B2 (en) * | 1994-04-26 | 2004-04-05 | 川崎重工業株式会社 | Image creation method and image creation device for depalletizing |
| JPH08271223A (en) * | 1995-02-03 | 1996-10-18 | Kobe Steel Ltd | Device for recognizing object position |
| JPH09255158A (en) * | 1996-03-22 | 1997-09-30 | Kobe Steel Ltd | Article disposition recognizing device |
| JP2921496B2 (en) * | 1996-07-15 | 1999-07-19 | 三菱電機株式会社 | Image processing device and object transfer device |
-
1999
- 1999-04-21 JP JP11317099A patent/JP3654042B2/en not_active Expired - Lifetime
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10275682B2 (en) | 2013-07-31 | 2019-04-30 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
| WO2019187216A1 (en) * | 2018-03-30 | 2019-10-03 | Ｎｅｃソリューションイノベータ株式会社 | Object identification device, object identification method, and non-temporary computer readable medium storing control program |
| JPWO2019187216A1 (en) * | 2018-03-30 | 2021-02-12 | Ｎｅｃソリューションイノベータ株式会社 | Object identification device, object identification method, and control program |
| EP3779880A4 (en) * | 2018-03-30 | 2021-05-26 | NEC Solution Innovators, Ltd. | Object identification device, object identification method, and non-temporary computer readable medium storing control program |
| JP7036464B2 (en) | 2018-03-30 | 2022-03-15 | Ｎｅｃソリューションイノベータ株式会社 | Object identification device, object identification method, and control program |
| US11538260B2 (en) * | 2018-03-30 | 2022-12-27 | Nec Solution Innovators, Ltd. | Object identification apparatus, object identification method, and nontransitory computer readable medium storing control program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000304509A (en) | 2000-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3654042B2 (en) | Object identification method and apparatus | |
| JP7352260B2 (en) | Robot system with automatic object detection mechanism and its operating method | |
| JP6280525B2 (en) | System and method for runtime determination of camera miscalibration | |
| JP3768174B2 (en) | Work take-out device | |
| WO2012066769A1 (en) | Information processing apparatus and information processing method | |
| US7283661B2 (en) | Image processing apparatus | |
| JP5839971B2 (en) | Information processing apparatus, information processing method, and program | |
| US9044858B2 (en) | Target object gripping apparatus, method for controlling the same and storage medium | |
| US7280687B2 (en) | Device for detecting position/orientation of object | |
| JP5088278B2 (en) | Object detection method, object detection apparatus, and robot system | |
| JP3859371B2 (en) | Picking equipment | |
| CN110926330B (en) | Image processing apparatus, image processing method, and program | |
| US20130058526A1 (en) | Device for automated detection of feature for calibration and method thereof | |
| CN113610921A (en) | Hybrid workpiece grabbing method, device and computer-readable storage medium | |
| CN111745640B (en) | Object detection method, object detection device, and robot system | |
| JP5093591B2 (en) | 3D position and orientation measurement method and apparatus | |
| Berger et al. | Vision guided bin picking and mounting in a flexible assembly cell | |
| Lambrecht | Robust few-shot pose estimation of articulated robots using monocular cameras and deep-learning-based keypoint detection | |
| CN114310892B (en) | Object grabbing method, device and equipment based on point cloud data collision detection | |
| Kaipa et al. | Enhancing robotic unstructured bin-picking performance by enabling remote human interventions in challenging perception scenarios | |
| Fan et al. | An automatic robot unstacking system based on binocular stereo vision | |
| Luo et al. | Vision-based 3-D object pick-and-place tasks of industrial manipulator | |
| JP2011174891A (en) | Device and method for measuring position and attitude, and program | |
| US20230297068A1 (en) | Information processing device and information processing method | |
| JP6766229B2 (en) | Position and posture measuring device and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050208 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050221 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080311 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |