JP4959520B2 - 位置姿勢認識装置及び方法、並びに部品ピッキングシステム - Google Patents

位置姿勢認識装置及び方法、並びに部品ピッキングシステム Download PDF

Info

Publication number
JP4959520B2
JP4959520B2 JP2007303913A JP2007303913A JP4959520B2 JP 4959520 B2 JP4959520 B2 JP 4959520B2 JP 2007303913 A JP2007303913 A JP 2007303913A JP 2007303913 A JP2007303913 A JP 2007303913A JP 4959520 B2 JP4959520 B2 JP 4959520B2
Authority
JP
Japan
Prior art keywords
bright
linear
region
bright area
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007303913A
Other languages
English (en)
Other versions
JP2009128201A (ja
Inventor
慎二郎 川戸
晴久 奥田
靖雄 北明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007303913A priority Critical patent/JP4959520B2/ja
Publication of JP2009128201A publication Critical patent/JP2009128201A/ja
Application granted granted Critical
Publication of JP4959520B2 publication Critical patent/JP4959520B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、3次元的に位置姿勢が未知な対象物の3次元位置姿勢を検出する位置姿勢認識装置に関する。本発明は、特にロボット等の産業機械において山積みされたワークピースを一つずつ取り出すビンピッキング作業に適用される位置姿勢認識装置及び方法、並びに上記位置姿勢認識装置を備えたピッキングシステムに関する。
例えばボルトのような同一形状のワークピースが乱雑に山積みされた中から、又は、所定領域内に3次元的に異なる任意の位置姿勢で収納されているワークピースの集合から、個々のワークピースを取出す作業は、自動化が難しく、従来から人手によって行われている。ロボット(専用機)を使用して、個々のワークピースを他パレット等の他の容器に収納したり、機械や装置等の所定位置に搬送したりする場合においても、乱雑に山積みされたワークピースから、上記ロボットが直接1つ1つのワークピースを取り出すことは不可能である。したがって、上記ロボットが上記ワークピースを取り出し可能なように、予め、上記ワークピースを整列させておく必要がある。この場合にも、山積みされたワークピースから、人手によって、1つ1つワークピースを取り出して整列配置する必要があった。
このような課題を解決するために、特許文献1及び特許文献2の発明は、ワークピースの位置姿勢を認識する装置を開示している。これら両文献における認識方法は、いずれもカメラを用いて対象のワークピースを撮像し、画像処理によってワークピースの位置姿勢を認識するものである。よって、対象のワークピースのさまざまな姿勢に対応した、見え方のモデルを、予め多数用意しておく。そして、撮像されたワークピースの画像に最もよく適合している上記見え方モデルを特定することにより、撮像されたワークピースは、特定された見え方モデルと同じ姿勢であると判定するものである。尚、特許文献1と特許文献2とでは、上記見え方モデルの作成方法が異なっている。
特許第3225740号 特許第3377465号
姿勢によって見え方が大きく変化するワークピースに対しては、上述の特許文献に示された装置が適用可能である。一方、ボルトやネジのような単純な形状のワークピースでは、姿勢が変化しても、見え方はよく似ており、上述の特許文献に示された装置を適用することはできない。
例えば、ネジが山積みされている状態では、ネジの頭は、他のネジによって隠されることがあり、姿勢判定の情報には適さない。又、ネジの胴部分は、水平に置かれているときが一番長く見え、傾くに従って短く見える。山積み状態では、ネジの端が他のネジに隠されることがあり、見えた長さからは姿勢を判定できない。又、ネジ山の見え方は、姿勢によって変化すると考えられるが、これを識別するためには、非常に高分解能なカメラが必要であり、実用的ではない。
又、ネジの場合、振動型のパーツフィーダなどにより整列させることができるが、ネジの種類や長さ毎にパーツフィーダや、整列オプション部品を準備する必要があり、コストがかさむという問題がある。
本発明は、上述したような問題点を解決するためになされたもので、同一形状の部品が3次元的に異なる任意の位置及び姿勢で配置された部品群に対してもビンピッキングを可能とする位置姿勢認識装置及び方法、並びに上記位置姿勢認識装置を備えたピッキングシステムを提供することを目的とする。
上記目的を達成するため、本発明は以下のように構成する。
即ち、本発明の第1態様における位置姿勢認識装置は、同一形状で複数の部品が3次元的に異なる任意の位置及び姿勢で配置された部品群から個々の部品の位置姿勢を求める位置姿勢認識装置において、上記部品群の撮像画像における各画素について撮像画像面に直交する奥行き情報を求める奥行き計測部と、上記撮像画像における明領域が単独でかつ直線状に延在する直線状明領域を上記撮像画像から抽出する直線状明領域抽出部と、抽出された上記直線状明領域に対して上記奥行き情報を付加して上記直線状明領域に対応する上記部品の3次元的な位置姿勢情報を求める3次元位置姿勢演算部と、を備え、上記直線状明領域抽出部は、それぞれ異なる閾値を有して上記撮像画像から明領域を抽出する複数の明領域抽出部と、上記明領域抽出部に対応して複数設けられ、抽出されたそれぞれの明領域から、明領域が交差することなく単独で直線状に延在する上記直線状明領域を抽出する明領域広がり度判定部と、それぞれの上記明領域広がり度判定部から送出される複数の上記直線状明領域を融合した融合領域を複数の上記直線状明領域の論理和から作成する融合領域作成部と、上記融合領域において上記直線状明領域が交差することなく単独で延在しかつ直線状である直線状明領域を上記融合領域から抽出する融合領域広がり度判定部と、を有する


本発明の第1態様における位置姿勢認識装置によれば、奥行き計測部、直線状明領域抽出部、及び3次元位置姿勢演算部を備えたことで、部品群の撮像画像から、他と交差することなく単独で延在する直線状の明領域を抽出でき、さらに、抽出した単独の直線状明領域に奥行き情報を付加することで部品の3次元位置姿勢情報を得ることができる。よって、本発明によれば、同一形状の部品が3次元的に異なる任意の位置及び姿勢で配置された部品群に対してもビンピッキングが可能となる。又、上述の構成により本発明によれば、従来技術のように、部品における種々の見え方モデルを作成する必要はなく、かつ、撮像画像と上記見え方モデルとを照合するという負荷の重い処理を実行する必要もない。又、コスト的にも有利な位置姿勢認識装置を提供することができる。
本発明の実施形態である、位置姿勢認識装置、該位置姿勢認識装置にて実行される位置姿勢認識方法、及び上記位置姿勢認識装置を備えたピッキングシステムについて、図を参照しながら以下に説明する。尚、各図において、同一又は同様の構成部分については同じ符号を付している。
実施の形態1.
図1は、上記実施形態の位置姿勢認識装置101の全体構成を示すとともに、該位置姿勢認識装置101を備えたピッキングシステム201の構成を示している。
ここで位置姿勢認識装置101は、同一形状で複数の部品80が3次元的に異なる任意の位置及び姿勢にて乱雑に山積みされた部品群81から個々の部品80の位置姿勢を求める装置である。
又、ピッキングシステム201は、位置姿勢認識装置101と、位置姿勢認識装置101から供給される、部品80の3次元的な位置姿勢情報に応じて部品群81から目的の部品80を一つずつ取り出す(ピッキングする)ロボット150とを備える。ロボット150は、目的の部品80をピッキングする駆動部151と、位置姿勢認識装置101から供給される、部品80の3次元的な位置姿勢情報に応じて駆動部151の動作制御を行う制御部152とを有する。
位置姿勢認識装置101について、以下に詳しく説明する。
位置姿勢認識装置101は、基本的構成部分として、奥行き計測部20と、直線状明領域抽出部70と、3次元位置姿勢演算部50とを備え、直線状明領域抽出部70は、明領域抽出部30と、明領域広がり度判定部40とを有する。このような構成部分を有する位置姿勢認識装置101は、通常、コンピュータにて構成される。
又、位置姿勢認識装置101は、さらに撮像装置10を備えるのが好ましい。一方、撮像装置10を備えず、別途、撮像画像情報が位置姿勢認識装置101に供給される構成を採ることもできる。
撮像装置10は、部品供給トレイ90に山積みされた部品80を、その上方から撮像する装置である。尚、本実施形態では、部品80の一例としてネジを採る。
奥行き計測部20は、撮像装置10で撮像された撮像画像における画素毎の奥行きを計測する。ここで、奥行きとは、具体的には、X,Y平面にてなる撮像画像面に直交する、つまりZ軸方向における座標値が相当する。
奥行き計測部20にて実行される画素毎の奥行き計測動作については、本明細書では詳述しないが、いくつかの方法が知られている。これらの公知の方法が奥行き計測部20にて実行可能である。例えば、「井口征士、佐藤宏介 著「三次元画像計測」昭晃堂(1990年11月20日)」には、「空間コード化法」と称される、コード化されたストライプパターンを切り替えてシーンに投影し、パターンを切り替えたときの各画素の明暗の変化から奥行きを計算する手法が詳述されている。このタイプの手法ではカメラは固定で、照明を切り替えて複数の画像を取得するのが特徴である。本実施の形態では、奥行き計測部20で用いるカメラは、撮像装置10におけるカメラを用いる。
直線状明領域抽出部70は、上記撮像画像における明領域が単独でかつ直線状に延在する直線状明領域を上記撮像画像から抽出する。尚、直線状明領域抽出部70についての詳細な説明は、以下の動作説明にて行う。
3次元位置姿勢演算部50は、抽出された上記直線状明領域に対して上記奥行き情報を付加して上記直線状明領域に対応する上記部品の3次元的な位置姿勢情報を求める。
以上のような構成を有する位置姿勢認識装置101における動作、即ち、位置姿勢認識方法について、以下に説明する。
まず、撮像装置10にて、山積みされた、部品に相当するネジ80のシーンを撮像する。図2に山積みのネジ80の撮像画像例を示す。
次に、撮像画像の画素毎について、奥行き計測部20にて、図2の撮像画像の各画素に対応するシーンの奥行きを計測する。画素毎の奥行きを計測した結果を、奥行きを明暗で表示した画像を図3に示す。図3において、明るい画素は、撮像装置10のカメラに近く、暗い画素は、カメラから遠いことを示している。図3において、画素値がゼロの画素は、奥行きが閾値以上に深いか、何らかの理由で計測できなかったことを示す。
次に、直線状明領域抽出部70を構成する明領域抽出部30は、撮像装置10から得られた図2に示す撮像画像から明るい領域を抽出する。即ち、例えば、ある閾値以上の画素値を有する画素は1(明)、閾値未満の画素値の画素は0(暗)にする2値化処理を行うことで、明領域抽出部30は、図4に示すような、明領域を抽出した画像を生成する。このような2値化画像に対して、明領域抽出部30は、画像処理としてよく知られているラベリング処理を施すことにより、連結している領域毎に分離して識別でき、各明領域の形状を解析することができる。
図4から明らかなように、山積みされたネジ80の画像の明領域は、次の4種類に分類できる。第1は、面積が広い、トレイ90の縁部に対応する明るい部分の領域である。第2は、面積が小さい、下層のネジ80が部分的に見えている部分の領域である。第3は、上層部のネジ80の側面が単独で直線状に明るい部分の領域である。第4は、やはり上層部のネジ80の側面が直線状に明るい部分であるが、上記単独ではなく、隣接するネジ80の同じように明るい部分が画像としてつながってしまい、X字型、Y字型、T字型、あるいはそれらの組み合わせのように見える部分の領域である。
次に、直線状明領域抽出部70を構成する明領域広がり度判定部40は、上述した、第3分類に相当する、上層部のネジ80の側面が単独で直線状に明るい部分のみを、次段の明領域の3次元位置姿勢演算部50へ送る役割を果たす。又、図1に示すように、明領域広がり度判定部40は、広がり度演算部40aと、直線判定部40bとで構成される。広がり度演算部40aは、明領域抽出部30にて抽出された上記明領域から上記部品に対応した明領域を抽出し該部品の明領域の直線的な広がり度を求める。直線判定部40bは、部品に相当するネジ80の明領域が直線状か否かを判定する。
具体的に説明すると、広がり度演算部40aは、明領域抽出部30にて抽出された上記明領域の情報から、まず、明領域の面積がネジ80として予め設定された上限の面積を超える明領域、つまり上述の第1に分類される明領域について、ネジ80ではないと判断して棄却する。尚、このとき、上述の、第4に分類される、隣接するネジ80同士が画像としてつながっているものについても棄却対象に含まれてしまう場合もあるが、下記するように、これらも棄却されるべきものであるので、この時点で棄却されても問題はない。
又、広がり度演算部40aは、明領域の面積がネジ80としての下限の面積以下の明領域、つまり上述の第2に分類される明領域について、これらは下層のネジ部分でありビンピッキングの対象外と判断し、棄却する。尚、以上の、上記第1及び第2に分類される明領域が非部品明領域に相当する。
よってこの段階では、上述の第3、第4に分類される明領域つまり部品であるネジ80に該当する明領域が、単独の明領域に相当するか否かの判断対象となる。尚、図5には、上記第3に分類される明領域の一例を明領域111として、上記第4に分類される明領域の一例を明領域112としてそれぞれ図示している。
さらに広がり度演算部40aは、上述の、ネジ80に該当する明領域、例えば上記明領域111,112に対してまず直線を当てはめる。当てはめる直線は、該直線から当該明領域を構成する各画素までの距離の2乗和が最小になるように決定される。図5に示すように、例えば明領域111、112に設定された直線は、それぞれ、直線121、122のようになる。
次に、広がり度演算部40aは、ネジ80に該当する明領域、例えば上記明領域111,112を構成する画素のうち、設定した直線121,122を中心として、該直線に直交する方向において予め定めた距離d以上離れた領域に存在する画素と、上記距離d内の領域に存在する画素との比率を求める。例えば、明領域111の場合、図5からも明らかなように、上記比率は、0%であり、明領域112の場合、30%となる。
次に、明領域広がり度判定部40を構成する直線判定部40bは、上記比率が、例えば20%未満なら直線的広がりである、つまり明領域が単独で直線状に延在する(上記第3分類)、と判定し、20%以上なら非直線的である、つまり明領域が交差している(上記第4分類)、と判定する。
このようにして、明領域広がり度判定部40は、明領域抽出部30にて抽出された明領域から、単独で直線状に延在する直線状明領域を抽出する。直線状明領域であると判定された領域の情報は、次の3次元位置姿勢演算部50に引き渡される。図5の場合では、明領域111が3次元位置姿勢演算部50へ供給される。
3次元位置姿勢演算部50は、画素毎の奥行き計測部20の出力から、上記直線状明領域であると判定された領域の画素の奥行情報を取り出し、その明領域の3次元姿勢を計算する。この計算は、(X,Y)座標が画素位置として得られ、Z座標が奥行き情報として得られているので、(X,Y,Z)の3次元の点群が与えられたときの直線当てはめの計算として知られている。
このようにして得られた部品の3次元位置姿勢の計算結果は、ロボット150の制御部152に、例えば通信にて送出される。制御部152は、上記3次元的な位置姿勢情報に応じてロボット150の駆動部151の動作制御を行い、ロボット150は、当該のネジ80をピッキングすることができる。
実施の形態2.
上述したように、実施の形態1では、直線状明領域抽出部70は、撮像画像から抽出した明領域が単独の直線状であるか否かを判定している。実施の形態2では、この直線状明領域抽出部70について、より精度の高い判定を可能とする構成を示す。
照明が一様であっても、山積みのネジ80のように、対象物がさまざまな角度で傾斜していると同一形状のネジ80の側面でも、異なった明るさで画像化される。また、他のネジ80の影になる部分は、明度が低下する。そのため、単独の2値化用閾値を用いた場合では、例えば高い閾値を設定したときには、一つのネジ80について、互いに分離した2つの明領域が抽出される場合がある。一方、該状態を避けるため、上記高閾値よりも低く閾値を設定すると、上記明領域以外の部分で、他のネジ80と交差したように明領域が抽出されてしまう場合がある。このように、一つの2値化用閾値を用いる場合には、その値をいずれに設定するかが難しい。
実施の形態2の位置姿勢認識装置102は、この点を解決しようとするものである。位置姿勢認識装置102では、実施の形態1における直線状明領域抽出部70に代えて、図6に示す直線状明領域抽出部70Aを備え、さらに、融合領域作成部35、及び融合領域広がり度判定部41を備える。位置姿勢認識装置102におけるその他の構成部分は、図1に示す位置姿勢認識装置101の構成に同じである。よって以下には、直線状明領域抽出部70A、融合領域作成部35、及び融合領域広がり度判定部41についてのみ説明を行う。
直線状明領域抽出部70Aでは、実施の形態1における明領域抽出部30及び明領域広がり度判定部40に対応した明領域抽出部30A及び明領域広がり度判定部40Aを有する。明領域抽出部30Aは、複数の明領域抽出部30−1〜30−nを有し、これらに対応して、明領域広がり度判定部40Aは、複数の明領域広がり度判定部40−1〜40−nを有する。
明領域抽出部30−1〜30−nには、撮像装置10にて得られた撮像画像がそれぞれ供給される。供給された撮像画像を2値化するための閾値について、明領域抽出部30−1〜30−nは、それぞれ異なる値を有し、本実施形態では明領域抽出部30−1に最も高い閾値を設定し、順次、値を下げて、明領域抽出部30−nに最も小さい閾値を設定している。尚、各明領域抽出部30−1〜30−nにおける動作は、実施の形態1における明領域抽出部30における動作に同じであり、ここでの説明は省略する。
明領域広がり度判定部40−1〜40−nのそれぞれは、実施の形態1における明領域広がり度判定部40の場合と同様に、広がり度演算部40−1a〜40−naと、直線判定部40−1b〜40−nbとを有する。
明領域広がり度判定部40−1〜40−nには、対応する明領域抽出部30−1〜30−nから、それぞれ異なる閾値で2値化された明領域の情報が供給される。尚、各明領域広がり度判定部40−1〜40−nにおける動作は、実施の形態1における明領域広がり度判定部40における動作に同じであり、ここでの説明は省略する。
融合領域作成部35は、それぞれの明領域広がり度判定部40−1〜40−nから、単独で直線状に延在する直線状明領域が供給され、これらの論理和を取って融合領域を作成する。
融合領域広がり度判定部41は、広がり度演算部41aと、直線判定部41bとを有する。融合領域広がり度判定部41には、上記融合領域が供給され、融合領域広がり度判定部41は、供給された融合領域において単独でかつ直線状に延在する直線状明領域を抽出する。具体的な抽出動作は、上述の明領域広がり度判定部40における動作に同様である。
簡単に説明すると、広がり度演算部41aは、上述の第3、第4に分類される明領域、つまり部品であるネジ80に該当する明領域を上記融合領域から抽出し、抽出した明領域に直線を設定して、該直線から上記距離d以上離れている画素の比率を求める。そして直線判定部41bは、上記比率に応じて、上記明領域が直線的広がりを有するか否かを判定する。このようにして、融合領域広がり度判定部41は、融合領域作成部35にて作成された融合領域から、単独で直線状に延在する直線状明領域を抽出する。
そして、融合領域広がり度判定部41は、抽出した直線状明領域を、位置姿勢認識装置102における3次元位置姿勢演算部50へ送出する。
図7を参照して、直線状明領域抽出部70に対して直線状明領域抽出部70Aでは、より精度の高い判定が可能となることを以下に説明する。
まず、撮像画像から、高い閾値で抽出される明領域は、上記高い閾値よりも低い閾値で抽出される明領域に包含されることに留意されたい。図7では、閾値i(i=1,2,3,4)で抽出される明領域には、iの符号を付している。符号iの値が小さいほど高い閾値で抽出された明領域である。又、同じ閾値にて複数の明領域が抽出される場合には、さらに、a、b、cの添字を付して区別している。
本実施形態では、明領域抽出部30Aに備わる明領域抽出部30−1に閾値1が設定され、以下順次、明領域抽出部30−2に閾値2が、明領域抽出部30−3に閾値3が、明領域抽出部30−4に閾値4が、それぞれ設定される。各明領域抽出部30−1〜30−4は、設定された各閾値に基づいて撮像画像の2値化を行い、それぞれの明領域を、明領域広がり度判定部40−1〜40−4へ送出する。
明領域広がり度判定部40−1〜40−4は、以下の動作を行う。
即ち、閾値1の明領域抽出部30−1にて抽出された、「1」の符号が付された明領域、及び、閾値2の明領域抽出部30−2にて抽出された明領域の内、「2−b」及び「2−c」の符号が付された明領域は、実施の形態1で述べたように、その面積が小さい上記第2の分類に該当することから、棄却される。一方、「2−a」の符号が付された明領域は、明領域広がり度判定部40−2にて直線状であると判定され、論理和による融合領域作成部35に送られる。
又、閾値3の明領域抽出部30−3にて抽出された、「3−a」及び「3−b」の符号が付された明領域は、明領域広がり度判定部40−3にて、いずれも直線状と判定され、融合領域作成部35に送られる。
又、閾値4の明領域抽出部30−4にて抽出された「4」の符号が付された明領域は、閾値が低いため、「3−a」及び「3−b」の明領域を含む広い領域となる。よって、「4」の明領域は、明領域広がり度判定部40−4にて、非直線的と判定されて棄却される。
したがって、論理和による融合領域作成部35へ送出される明領域は、「2−a」、「3−a」、及び「3−b」であるが、「2−a」は「3−a」に包含されるので、結果的には、「3−a」及び「3−b」の2つの明領域が直線状明領域として判定され、論理和による融合領域作成部35へ送出される。
以上の説明からわかるように、図6に示す直線状明領域抽出部70Aでは、隣接する閾値にて得られる明領域同士が連結して非直線状となってしまう直前の閾値による明領域の抽出結果が得られる。具体的に説明すると、閾値4で抽出される明領域「4」では、明領域「3−a」と明領域「3−b」とが連結し非直線状となってしまうが、非直線状となる直前の状態、つまり閾値3にて抽出される明領域「3−a」及び明領域「3−b」を得ることができる。
このような働きにより、例えば、ネジ80の傾斜によるネジ側面の明るさの差や、影などの影響が局部的に生じた場合でも、その影響が少ない直線状明領域を抽出することができる。そのため、単独の閾値を適用した実施の形態1の位置姿勢認識装置よりも、認識率の高い位置姿勢認識装置が実現される。
以上説明したように、実施の形態1、2の位置姿勢認識装置によれば、撮像画像から得た明領域について、単独でかつ直線状に延在する明領域を抽出し、抽出した明領域に、奥行き情報を付加することで部品の3次元位置姿勢情報を得るように構成した。よって、同一形状の部品が乱雑に山積みされたような部品群からもビンピッキングが可能となる。又、上述の構成によれば、高分解能なカメラや、部品を整列させるための装置を別途設ける必要もないことから、コスト的にも有利な位置姿勢認識装置を提供することが可能となる。
さらに又、実施の形態1、2の位置姿勢認識装置によれば、従来技術のように、部品における種々の見え方モデルを作成する必要はなく、かつ、撮像画像と上記見え方モデルとを照合するという負荷の重い処理を実行する必要もない。よって、従来に比べて、作業効率の向上を図ることができる。
本発明の実施の形態1における位置姿勢認識装置の全体構成を示すブロック図である。 図1に示す位置姿勢認識装置にて撮像される部品群の一例を示す画像である。 図2に示す部品群の撮像画像における各画素の奥行き計測結果を明暗で表した画像である。 図2に示す部品群の撮像画像を2値化した画像例である。 図1に示す位置姿勢認識装置における明領域の広がり度判定を説明するための図である。 本発明の実施の形態2における位置姿勢認識装置に備わる直線状明領域抽出部の構成を示すブロック図である。 図6に示す位置姿勢認識装置において、異なる閾値で明領域を抽出する様子を説明するための図である。
符号の説明
10 撮像装置、20 奥行き計測部、30、30A 明領域抽出部、
35 融合領域作成部、40、40A 明領域広がり度判定部、
40a 広がり度演算部、40b 直線判定部、41 融合領域広がり度判定部、
50 3次元位置姿勢演算部、70、70A 直線状明領域抽出部、80 ネジ、
81 部品群、
101,102 位置姿勢認識装置、111,112 明領域、
121,122 直線、150 ロボット、
201 部品ピッキングシステム。

Claims (4)

  1. 同一形状で複数の部品が3次元的に異なる任意の位置及び姿勢で配置された部品群から個々の部品の位置姿勢を求める位置姿勢認識装置において、
    上記部品群の撮像画像における各画素について撮像画像面に直交する奥行き情報を求める奥行き計測部と、
    上記撮像画像における明領域が単独でかつ直線状に延在する直線状明領域を上記撮像画像から抽出する直線状明領域抽出部と、
    抽出された上記直線状明領域に対して上記奥行き情報を付加して上記直線状明領域に対応する上記部品の3次元的な位置姿勢情報を求める3次元位置姿勢演算部と、
    を備え
    上記直線状明領域抽出部は、
    それぞれ異なる閾値を有して上記撮像画像から明領域を抽出する複数の明領域抽出部と、
    上記明領域抽出部に対応して複数設けられ、抽出されたそれぞれの明領域から、明領域が交差することなく単独で直線状に延在する上記直線状明領域を抽出する明領域広がり度判定部と、
    それぞれの上記明領域広がり度判定部から送出される複数の上記直線状明領域を融合した融合領域を複数の上記直線状明領域の論理和から作成する融合領域作成部と、
    上記融合領域において上記直線状明領域が交差することなく単独で延在しかつ直線状である直線状明領域を上記融合領域から抽出する融合領域広がり度判定部と、を有する、
    ことを特徴とする位置姿勢認識装置。
  2. 上記明領域広がり度判定部は、上記明領域抽出部にて抽出された上記明領域から上記部品に対応した明領域を抽出し該部品の明領域の直線的な広がり度を求める広がり度演算部と、上記広がり度を元に上記部品の明領域が直線状か否かを判定する直線判定部とを有する、請求項1記載の位置姿勢認識装置。
  3. 請求項1又は2に記載の位置姿勢認識装置と、
    上記位置姿勢認識装置から供給される、部品の3次元的な位置姿勢情報に応じて部品群から目的の部品をピッキングするロボットと、
    を備えたことを特徴とする部品ピッキングシステム。
  4. 同一形状で複数の部品が3次元的に異なる任意の位置及び姿勢で配置された部品群から個々の部品の位置姿勢を求める、位置姿勢認識装置にて実行される位置姿勢認識方法において、
    上記部品群の撮像画像における各画素について撮像画像面に直交する奥行き情報を求め、
    上記撮像画像から上記部品に対応した部品明領域を抽出し該部品明領域の直線的な広がり度を求め、該広がり度を元に上記部品明領域が直線状か否かを判定し、
    得られた直線状明領域に対して上記奥行き情報を付加して上記直線状明領域に対応する上記部品の3次元的な位置姿勢情報を求め、
    上記部品明領域の抽出では、
    それぞれ異なる閾値を有する複数の明領域抽出部にて上記撮像画像から明領域を抽出し、
    上記明領域抽出部に対応して複数設けられる明領域広がり度判定部にて、抽出されたそれぞれの明領域から、明領域が交差することなく単独で直線状に延在する上記直線状明領域を抽出し、
    融合領域作成部にて、それぞれの上記明領域広がり度判定部から送出される複数の上記直線状明領域を融合した融合領域を複数の上記直線状明領域の論理和から作成し、
    融合領域広がり度判定部にて、上記融合領域において上記直線状明領域が交差することなく単独で延在しかつ直線状である直線状明領域を上記融合領域から抽出する、
    ことを特徴とする位置姿勢認識方法。
JP2007303913A 2007-11-26 2007-11-26 位置姿勢認識装置及び方法、並びに部品ピッキングシステム Active JP4959520B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007303913A JP4959520B2 (ja) 2007-11-26 2007-11-26 位置姿勢認識装置及び方法、並びに部品ピッキングシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007303913A JP4959520B2 (ja) 2007-11-26 2007-11-26 位置姿勢認識装置及び方法、並びに部品ピッキングシステム

Publications (2)

Publication Number Publication Date
JP2009128201A JP2009128201A (ja) 2009-06-11
JP4959520B2 true JP4959520B2 (ja) 2012-06-27

Family

ID=40819280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007303913A Active JP4959520B2 (ja) 2007-11-26 2007-11-26 位置姿勢認識装置及び方法、並びに部品ピッキングシステム

Country Status (1)

Country Link
JP (1) JP4959520B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101919463B1 (ko) 2016-11-24 2019-02-08 한국폴리텍7대학 산학협력단 비정형 소화물 피킹이 가능한 물류 로봇 제어 시스템

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5402697B2 (ja) 2009-10-26 2014-01-29 株式会社安川電機 ロボット装置及びワーク取り出しシステム並びにワーク取り出し方法
JP5458807B2 (ja) * 2009-10-30 2014-04-02 富士電機株式会社 対象物把持領域抽出装置および対象物把持領域抽出装置を用いたロボットシステム
JP5229253B2 (ja) 2010-03-11 2013-07-03 株式会社安川電機 ロボットシステム及びロボット装置並びにワーク取り出し方法
JP5767464B2 (ja) 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
JP5757156B2 (ja) * 2011-05-20 2015-07-29 オムロン株式会社 検出対象物の中心位置を算出する方法、装置およびプログラム
JP5757157B2 (ja) * 2011-05-20 2015-07-29 オムロン株式会社 検出対象物について頭部分の位置および軸部分の方向を算出する方法、装置およびプログラム
JP6237122B2 (ja) * 2013-10-30 2017-11-29 セイコーエプソン株式会社 ロボット、画像処理方法及びロボットシステム
JP2015147256A (ja) * 2014-02-04 2015-08-20 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
JP6364856B2 (ja) 2014-03-25 2018-08-01 セイコーエプソン株式会社 ロボット
JP6529302B2 (ja) * 2015-03-24 2019-06-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0727559B2 (ja) * 1985-10-04 1995-03-29 倉敷紡績株式会社 重なり部品の位置姿勢計測装置
JPS62289701A (ja) * 1986-06-10 1987-12-16 Nissan Motor Co Ltd 散積み物体の位置関係を3次元的に認識する視覚システム
JP2523989B2 (ja) * 1990-06-29 1996-08-14 松下電器産業株式会社 配線パタ―ン検査装置
JPH0778252A (ja) * 1993-06-30 1995-03-20 Kobe Steel Ltd 物体認識方法
JPH0981307A (ja) * 1995-09-08 1997-03-28 Clarion Co Ltd 機器制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101919463B1 (ko) 2016-11-24 2019-02-08 한국폴리텍7대학 산학협력단 비정형 소화물 피킹이 가능한 물류 로봇 제어 시스템

Also Published As

Publication number Publication date
JP2009128201A (ja) 2009-06-11

Similar Documents

Publication Publication Date Title
JP4959520B2 (ja) 位置姿勢認識装置及び方法、並びに部品ピッキングシステム
US11209265B2 (en) Imager for detecting visual light and projected patterns
US9478035B2 (en) 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations
US9436987B2 (en) Geodesic distance based primitive segmentation and fitting for 3D modeling of non-rigid objects from 2D images
US7966094B2 (en) Workpiece picking apparatus
JP2004050390A (ja) ワーク取出し装置
US8611672B2 (en) Work piece shape estimation device and work piece shape estimation method
US9361695B2 (en) Method of recognizing a position of a workpiece from a photographed image
CN110180799A (zh) 一种基于机器视觉的零件分拣方法及系统
CN113538459A (zh) 一种基于落点区域检测的多模式抓取避障检测优化方法
Oh et al. Development of structured light based bin picking system using primitive models
JP6052871B2 (ja) 対象物移動装置、方法、プログラム、及び記録媒体
JP6041710B2 (ja) 画像認識方法
JP2018146347A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
WO2023140266A1 (ja) ピッキング装置及び画像生成プログラム
EP1569776A1 (en) Method and arrangement to avoid collision between a robot and its surroundings while picking details including a sensorsystem
JP5757157B2 (ja) 検出対象物について頭部分の位置および軸部分の方向を算出する方法、装置およびプログラム
JPH08201041A (ja) 3次元形状の認識方法
US20230368414A1 (en) Pick and place systems and methods
Skotheim et al. Robust 3D object localization and pose estimation for random bin picking with the 3DMaMa algorithm
CN116354097A (zh) 对象抓取方法及装置
WO2019188198A1 (ja) 線状物の3次元計測装置、および、線状物の3次元計測方法
JP2001134762A (ja) 瓶類の選別装置
JP6026365B2 (ja) 画像認識方法
CN116205837A (zh) 图像数据处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120306

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120321

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150330

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4959520

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250