JP4959520B2 - 位置姿勢認識装置及び方法、並びに部品ピッキングシステム - Google Patents
位置姿勢認識装置及び方法、並びに部品ピッキングシステム Download PDFInfo
- Publication number
- JP4959520B2 JP4959520B2 JP2007303913A JP2007303913A JP4959520B2 JP 4959520 B2 JP4959520 B2 JP 4959520B2 JP 2007303913 A JP2007303913 A JP 2007303913A JP 2007303913 A JP2007303913 A JP 2007303913A JP 4959520 B2 JP4959520 B2 JP 4959520B2
- Authority
- JP
- Japan
- Prior art keywords
- bright
- linear
- region
- bright area
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000000605 extraction Methods 0.000 claims description 58
- 230000004927 fusion Effects 0.000 claims description 32
- 239000000284 extract Substances 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 15
- 230000036544 posture Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
Description
即ち、本発明の第1態様における位置姿勢認識装置は、同一形状で複数の部品が3次元的に異なる任意の位置及び姿勢で配置された部品群から個々の部品の位置姿勢を求める位置姿勢認識装置において、上記部品群の撮像画像における各画素について撮像画像面に直交する奥行き情報を求める奥行き計測部と、上記撮像画像における明領域が単独でかつ直線状に延在する直線状明領域を上記撮像画像から抽出する直線状明領域抽出部と、抽出された上記直線状明領域に対して上記奥行き情報を付加して上記直線状明領域に対応する上記部品の3次元的な位置姿勢情報を求める3次元位置姿勢演算部と、を備え、上記直線状明領域抽出部は、それぞれ異なる閾値を有して上記撮像画像から明領域を抽出する複数の明領域抽出部と、上記明領域抽出部に対応して複数設けられ、抽出されたそれぞれの明領域から、明領域が交差することなく単独で直線状に延在する上記直線状明領域を抽出する明領域広がり度判定部と、それぞれの上記明領域広がり度判定部から送出される複数の上記直線状明領域を融合した融合領域を複数の上記直線状明領域の論理和から作成する融合領域作成部と、上記融合領域において上記直線状明領域が交差することなく単独で延在しかつ直線状である直線状明領域を上記融合領域から抽出する融合領域広がり度判定部と、を有する。
図1は、上記実施形態の位置姿勢認識装置101の全体構成を示すとともに、該位置姿勢認識装置101を備えたピッキングシステム201の構成を示している。
ここで位置姿勢認識装置101は、同一形状で複数の部品80が3次元的に異なる任意の位置及び姿勢にて乱雑に山積みされた部品群81から個々の部品80の位置姿勢を求める装置である。
又、ピッキングシステム201は、位置姿勢認識装置101と、位置姿勢認識装置101から供給される、部品80の3次元的な位置姿勢情報に応じて部品群81から目的の部品80を一つずつ取り出す(ピッキングする)ロボット150とを備える。ロボット150は、目的の部品80をピッキングする駆動部151と、位置姿勢認識装置101から供給される、部品80の3次元的な位置姿勢情報に応じて駆動部151の動作制御を行う制御部152とを有する。
位置姿勢認識装置101は、基本的構成部分として、奥行き計測部20と、直線状明領域抽出部70と、3次元位置姿勢演算部50とを備え、直線状明領域抽出部70は、明領域抽出部30と、明領域広がり度判定部40とを有する。このような構成部分を有する位置姿勢認識装置101は、通常、コンピュータにて構成される。
又、位置姿勢認識装置101は、さらに撮像装置10を備えるのが好ましい。一方、撮像装置10を備えず、別途、撮像画像情報が位置姿勢認識装置101に供給される構成を採ることもできる。
3次元位置姿勢演算部50は、抽出された上記直線状明領域に対して上記奥行き情報を付加して上記直線状明領域に対応する上記部品の3次元的な位置姿勢情報を求める。
まず、撮像装置10にて、山積みされた、部品に相当するネジ80のシーンを撮像する。図2に山積みのネジ80の撮像画像例を示す。
次に、撮像画像の画素毎について、奥行き計測部20にて、図2の撮像画像の各画素に対応するシーンの奥行きを計測する。画素毎の奥行きを計測した結果を、奥行きを明暗で表示した画像を図3に示す。図3において、明るい画素は、撮像装置10のカメラに近く、暗い画素は、カメラから遠いことを示している。図3において、画素値がゼロの画素は、奥行きが閾値以上に深いか、何らかの理由で計測できなかったことを示す。
よってこの段階では、上述の第3、第4に分類される明領域つまり部品であるネジ80に該当する明領域が、単独の明領域に相当するか否かの判断対象となる。尚、図5には、上記第3に分類される明領域の一例を明領域111として、上記第4に分類される明領域の一例を明領域112としてそれぞれ図示している。
このようにして、明領域広がり度判定部40は、明領域抽出部30にて抽出された明領域から、単独で直線状に延在する直線状明領域を抽出する。直線状明領域であると判定された領域の情報は、次の3次元位置姿勢演算部50に引き渡される。図5の場合では、明領域111が3次元位置姿勢演算部50へ供給される。
上述したように、実施の形態1では、直線状明領域抽出部70は、撮像画像から抽出した明領域が単独の直線状であるか否かを判定している。実施の形態2では、この直線状明領域抽出部70について、より精度の高い判定を可能とする構成を示す。
明領域広がり度判定部40−1〜40−nには、対応する明領域抽出部30−1〜30−nから、それぞれ異なる閾値で2値化された明領域の情報が供給される。尚、各明領域広がり度判定部40−1〜40−nにおける動作は、実施の形態1における明領域広がり度判定部40における動作に同じであり、ここでの説明は省略する。
そして、融合領域広がり度判定部41は、抽出した直線状明領域を、位置姿勢認識装置102における3次元位置姿勢演算部50へ送出する。
まず、撮像画像から、高い閾値で抽出される明領域は、上記高い閾値よりも低い閾値で抽出される明領域に包含されることに留意されたい。図7では、閾値i(i=1,2,3,4)で抽出される明領域には、iの符号を付している。符号iの値が小さいほど高い閾値で抽出された明領域である。又、同じ閾値にて複数の明領域が抽出される場合には、さらに、a、b、cの添字を付して区別している。
即ち、閾値1の明領域抽出部30−1にて抽出された、「1」の符号が付された明領域、及び、閾値2の明領域抽出部30−2にて抽出された明領域の内、「2−b」及び「2−c」の符号が付された明領域は、実施の形態1で述べたように、その面積が小さい上記第2の分類に該当することから、棄却される。一方、「2−a」の符号が付された明領域は、明領域広がり度判定部40−2にて直線状であると判定され、論理和による融合領域作成部35に送られる。
又、閾値4の明領域抽出部30−4にて抽出された「4」の符号が付された明領域は、閾値が低いため、「3−a」及び「3−b」の明領域を含む広い領域となる。よって、「4」の明領域は、明領域広がり度判定部40−4にて、非直線的と判定されて棄却される。
35 融合領域作成部、40、40A 明領域広がり度判定部、
40a 広がり度演算部、40b 直線判定部、41 融合領域広がり度判定部、
50 3次元位置姿勢演算部、70、70A 直線状明領域抽出部、80 ネジ、
81 部品群、
101,102 位置姿勢認識装置、111,112 明領域、
121,122 直線、150 ロボット、
201 部品ピッキングシステム。
Claims (4)
- 同一形状で複数の部品が3次元的に異なる任意の位置及び姿勢で配置された部品群から個々の部品の位置姿勢を求める位置姿勢認識装置において、
上記部品群の撮像画像における各画素について撮像画像面に直交する奥行き情報を求める奥行き計測部と、
上記撮像画像における明領域が単独でかつ直線状に延在する直線状明領域を上記撮像画像から抽出する直線状明領域抽出部と、
抽出された上記直線状明領域に対して上記奥行き情報を付加して上記直線状明領域に対応する上記部品の3次元的な位置姿勢情報を求める3次元位置姿勢演算部と、
を備え、
上記直線状明領域抽出部は、
それぞれ異なる閾値を有して上記撮像画像から明領域を抽出する複数の明領域抽出部と、
上記明領域抽出部に対応して複数設けられ、抽出されたそれぞれの明領域から、明領域が交差することなく単独で直線状に延在する上記直線状明領域を抽出する明領域広がり度判定部と、
それぞれの上記明領域広がり度判定部から送出される複数の上記直線状明領域を融合した融合領域を複数の上記直線状明領域の論理和から作成する融合領域作成部と、
上記融合領域において上記直線状明領域が交差することなく単独で延在しかつ直線状である直線状明領域を上記融合領域から抽出する融合領域広がり度判定部と、を有する、
ことを特徴とする位置姿勢認識装置。 - 上記明領域広がり度判定部は、上記明領域抽出部にて抽出された上記明領域から上記部品に対応した明領域を抽出し該部品の明領域の直線的な広がり度を求める広がり度演算部と、上記広がり度を元に上記部品の明領域が直線状か否かを判定する直線判定部とを有する、請求項1記載の位置姿勢認識装置。
- 請求項1又は2に記載の位置姿勢認識装置と、
上記位置姿勢認識装置から供給される、部品の3次元的な位置姿勢情報に応じて部品群から目的の部品をピッキングするロボットと、
を備えたことを特徴とする部品ピッキングシステム。 - 同一形状で複数の部品が3次元的に異なる任意の位置及び姿勢で配置された部品群から個々の部品の位置姿勢を求める、位置姿勢認識装置にて実行される位置姿勢認識方法において、
上記部品群の撮像画像における各画素について撮像画像面に直交する奥行き情報を求め、
上記撮像画像から上記部品に対応した部品明領域を抽出し該部品明領域の直線的な広がり度を求め、該広がり度を元に上記部品明領域が直線状か否かを判定し、
得られた直線状明領域に対して上記奥行き情報を付加して上記直線状明領域に対応する上記部品の3次元的な位置姿勢情報を求め、
上記部品明領域の抽出では、
それぞれ異なる閾値を有する複数の明領域抽出部にて上記撮像画像から明領域を抽出し、
上記明領域抽出部に対応して複数設けられる明領域広がり度判定部にて、抽出されたそれぞれの明領域から、明領域が交差することなく単独で直線状に延在する上記直線状明領域を抽出し、
融合領域作成部にて、それぞれの上記明領域広がり度判定部から送出される複数の上記直線状明領域を融合した融合領域を複数の上記直線状明領域の論理和から作成し、
融合領域広がり度判定部にて、上記融合領域において上記直線状明領域が交差することなく単独で延在しかつ直線状である直線状明領域を上記融合領域から抽出する、
ことを特徴とする位置姿勢認識方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007303913A JP4959520B2 (ja) | 2007-11-26 | 2007-11-26 | 位置姿勢認識装置及び方法、並びに部品ピッキングシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007303913A JP4959520B2 (ja) | 2007-11-26 | 2007-11-26 | 位置姿勢認識装置及び方法、並びに部品ピッキングシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009128201A JP2009128201A (ja) | 2009-06-11 |
JP4959520B2 true JP4959520B2 (ja) | 2012-06-27 |
Family
ID=40819280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007303913A Active JP4959520B2 (ja) | 2007-11-26 | 2007-11-26 | 位置姿勢認識装置及び方法、並びに部品ピッキングシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4959520B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101919463B1 (ko) | 2016-11-24 | 2019-02-08 | 한국폴리텍7대학 산학협력단 | 비정형 소화물 피킹이 가능한 물류 로봇 제어 시스템 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5402697B2 (ja) | 2009-10-26 | 2014-01-29 | 株式会社安川電機 | ロボット装置及びワーク取り出しシステム並びにワーク取り出し方法 |
JP5458807B2 (ja) * | 2009-10-30 | 2014-04-02 | 富士電機株式会社 | 対象物把持領域抽出装置および対象物把持領域抽出装置を用いたロボットシステム |
JP5229253B2 (ja) | 2010-03-11 | 2013-07-03 | 株式会社安川電機 | ロボットシステム及びロボット装置並びにワーク取り出し方法 |
JP5767464B2 (ja) | 2010-12-15 | 2015-08-19 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
JP5757156B2 (ja) * | 2011-05-20 | 2015-07-29 | オムロン株式会社 | 検出対象物の中心位置を算出する方法、装置およびプログラム |
JP5757157B2 (ja) * | 2011-05-20 | 2015-07-29 | オムロン株式会社 | 検出対象物について頭部分の位置および軸部分の方向を算出する方法、装置およびプログラム |
JP6237122B2 (ja) * | 2013-10-30 | 2017-11-29 | セイコーエプソン株式会社 | ロボット、画像処理方法及びロボットシステム |
JP2015147256A (ja) * | 2014-02-04 | 2015-08-20 | セイコーエプソン株式会社 | ロボット、ロボットシステム、制御装置、及び制御方法 |
JP6364856B2 (ja) | 2014-03-25 | 2018-08-01 | セイコーエプソン株式会社 | ロボット |
JP6529302B2 (ja) * | 2015-03-24 | 2019-06-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0727559B2 (ja) * | 1985-10-04 | 1995-03-29 | 倉敷紡績株式会社 | 重なり部品の位置姿勢計測装置 |
JPS62289701A (ja) * | 1986-06-10 | 1987-12-16 | Nissan Motor Co Ltd | 散積み物体の位置関係を3次元的に認識する視覚システム |
JP2523989B2 (ja) * | 1990-06-29 | 1996-08-14 | 松下電器産業株式会社 | 配線パタ―ン検査装置 |
JPH0778252A (ja) * | 1993-06-30 | 1995-03-20 | Kobe Steel Ltd | 物体認識方法 |
JPH0981307A (ja) * | 1995-09-08 | 1997-03-28 | Clarion Co Ltd | 機器制御装置 |
-
2007
- 2007-11-26 JP JP2007303913A patent/JP4959520B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101919463B1 (ko) | 2016-11-24 | 2019-02-08 | 한국폴리텍7대학 산학협력단 | 비정형 소화물 피킹이 가능한 물류 로봇 제어 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP2009128201A (ja) | 2009-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4959520B2 (ja) | 位置姿勢認識装置及び方法、並びに部品ピッキングシステム | |
US11209265B2 (en) | Imager for detecting visual light and projected patterns | |
US9478035B2 (en) | 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations | |
US9436987B2 (en) | Geodesic distance based primitive segmentation and fitting for 3D modeling of non-rigid objects from 2D images | |
US7966094B2 (en) | Workpiece picking apparatus | |
JP2004050390A (ja) | ワーク取出し装置 | |
US8611672B2 (en) | Work piece shape estimation device and work piece shape estimation method | |
US9361695B2 (en) | Method of recognizing a position of a workpiece from a photographed image | |
CN110180799A (zh) | 一种基于机器视觉的零件分拣方法及系统 | |
CN113538459A (zh) | 一种基于落点区域检测的多模式抓取避障检测优化方法 | |
Oh et al. | Development of structured light based bin picking system using primitive models | |
JP6052871B2 (ja) | 対象物移動装置、方法、プログラム、及び記録媒体 | |
JP6041710B2 (ja) | 画像認識方法 | |
JP2018146347A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
WO2023140266A1 (ja) | ピッキング装置及び画像生成プログラム | |
EP1569776A1 (en) | Method and arrangement to avoid collision between a robot and its surroundings while picking details including a sensorsystem | |
JP5757157B2 (ja) | 検出対象物について頭部分の位置および軸部分の方向を算出する方法、装置およびプログラム | |
JPH08201041A (ja) | 3次元形状の認識方法 | |
US20230368414A1 (en) | Pick and place systems and methods | |
Skotheim et al. | Robust 3D object localization and pose estimation for random bin picking with the 3DMaMa algorithm | |
CN116354097A (zh) | 对象抓取方法及装置 | |
WO2019188198A1 (ja) | 線状物の3次元計測装置、および、線状物の3次元計測方法 | |
JP2001134762A (ja) | 瓶類の選別装置 | |
JP6026365B2 (ja) | 画像認識方法 | |
CN116205837A (zh) | 图像数据处理方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120120 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120321 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150330 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4959520 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |