JP4866890B2 - ワーク形状推定装置 - Google Patents
ワーク形状推定装置 Download PDFInfo
- Publication number
- JP4866890B2 JP4866890B2 JP2008262034A JP2008262034A JP4866890B2 JP 4866890 B2 JP4866890 B2 JP 4866890B2 JP 2008262034 A JP2008262034 A JP 2008262034A JP 2008262034 A JP2008262034 A JP 2008262034A JP 4866890 B2 JP4866890 B2 JP 4866890B2
- Authority
- JP
- Japan
- Prior art keywords
- workpiece
- image information
- image
- partial images
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003708 edge detection Methods 0.000 claims description 20
- 238000000926 separation method Methods 0.000 claims description 11
- 238000011960 computer-aided design Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 102100040160 Rabankyrin-5 Human genes 0.000 description 1
- 101710086049 Rabankyrin-5 Proteins 0.000 description 1
- 230000004323 axial length Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/028—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring lateral position of a boundary of the object
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/04—Sorting according to size
- B07C5/10—Sorting according to size measured by light-responsive means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Description
また、パレット上に位置決めが困難なワークを積載し、このワークをロボットなどにより自動的に加工機械に供給する場合にはワークの位置と姿勢を検出する必要があり、そのためには対象となるワークのモデルを予め作成し、対象物体であるワークにモデルを当てはめ、その一致度合いを判断するマッチング方法がある(特許文献2参照)。
また、後者の従来技術にあっては、バラ積みされたワークは重なり合っている場合が多く、一部分しか見えない状態ではCADデータとのマッチングが困難であるという問題もある。更に、重なり合っているワークの部分はエッジ検出した場合に分断されているため、どれが繋がっていて一つの部品であるかを認識することが困難であるという問題もある。
ここで、請求項2に記載したように、前記ワーク分類手段は、前記分離手段により分離された部分画像の特徴形状が共通するものを基準にして分類することができ、また、請求項3に記載したように、部分画像の面積の大きいものを基準にして分類することができる。
また、重なり合って見えない部分があるワークであっても、画像情報から得られるワークの部分画像のデータを重ね合わせ、欠損部分を補完して推定することができる。
ここで、ワーク分類手段による部分画像の分類は特徴部分や面積を加味して行うことでより迅速な処理を行うことができる。
図1に示すのはワーク形状推定装置のブロック図である。1はカメラを示し、このカメラ1はバケット2に積載された多数の同一のワークを上側から見た主として2次元の画像情報をセンシング(撮影)して取得するものである。カメラ1により取得された画像情報は画像情報記憶部3に記憶される。ここで画像情報とは、例えば輝度情報である各画素毎のRGB値である。尚、輝度の画像情報に加えた距離の画像情報を対応する各画素毎に得るようにしてもよい。この場合には距離の情報も取り入れられる3次元撮影用のカメラであることが必要である。
画像情報記憶部3に記憶された部分画像は部分画像分類部6により統計的に分類された状態で画像情報記憶部3に記憶され、画像情報記憶部3に記憶された部分画像は同一分類毎に重ね合わされて、最終的にワーク推定形状生成部7において重ね合わされた画像の外縁部を確定して推定されたワークの形状を得る。
具体的にエッジ検出部4によって行われるエッジ検出は、画像情報において輝度の値の変化率が大きい部分を境界部分Kとして判定することができるが、このように輝度のみによるエッジ検出ができない場合には、カメラ1を移動させたり或いはステレオカメラ等を用いて、距離の画像情報の距離を所定の範囲に固定して、その範囲内の画像だけを抽出し、その画像に対応する輝度の画像情報のみを用いエッジ検出することができる。尚、図3において、太線で示したのは境界部分Kである。
具体的には、部分画像aは面積比率100%で優先順位1位、部分画像bは面積比率66%で優先順位5位、部分画像cは面積比率82%で優先順位3位、部分画像dは面積比率77%で優先順位4位、部分画像eは面積比率96%で優先順位2位、部分画像fは面積比率47%、部分画像gは面積比率43%、部分画像hは面積比率36%である。尚、部分画像f、g、hについては、面積が小さい(50%以下)ので順位は付けておらず、例えば1位から5位のボルトBを取り出した後に再度分類する等により面積比率や順位付けを行うことができる。
ここで、面積比率も優先順位も画像情報記憶部3に記憶されている。尚、部分画像には一つのボルトが複数の部分画像で表されている場合があるので、図5の1段目の分類にあるボルトBから順に取り出しを行い、それが終了したら2段目以降について取り出しを行うことができる。また、1段目の取り出しが終わった段階で再度カメラ1によって画像を取り込んで前述した処理と同様の処理を行い取り出しを行うこともできる。
また、重なり合って見えない部分があるバケット2上のボルトBであっても、画像情報から得られるボルトBの部分画像を重ね合わせ、欠損部分を補完して推定することができるので、無造作に積載され、互いに重なり合ったボルトB等のワークであっても、CAD情報が存在しなくてもワークの形状を認識できる。
4 エッジ検出部(エッジ検出手段)
5 画像分離部(分離手段)
6 部分画像分類部(ワーク分類手段)
7 ワーク推定形状生成部(ワーク推定形状生成部)
a〜q 部分画像
B ボルト(ワーク)
Claims (3)
- バラ積みされた状態の複数の同一ワークをセンシングして画像情報を取得する画像情報取得手段と、
前記画像情報取得手段により得られた画像情報をエッジ検出するエッジ検出手段と、
前記エッジ検出手段により得られた画像情報に基づいて前記ワークを部分画像に分離する分離手段と、
分離されたワークの部分画像を分類するワーク分類手段と、
前記ワーク分類手段により分類された前記ワークの部分画像の情報を補完することで前記ワークの推定形状を生成するワーク推定形状生成手段とを有することを特徴とするワーク形状推定装置。 - 前記ワーク分類手段は、前記分離手段により分離された部分画像の特徴形状が共通するものを基準にして分類することを特徴とする請求項1記載のワーク形状推定装置。
- 前記ワーク分類手段は、前記分離手段により分類された部分画像の面積の大きいものを基準にして分類することを特徴とする請求項1又は請求項2に記載のワーク形状推定装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008262034A JP4866890B2 (ja) | 2008-10-08 | 2008-10-08 | ワーク形状推定装置 |
CN2009801393791A CN102171531B (zh) | 2008-10-08 | 2009-09-04 | 工件形状推定装置及工件形状推定方法 |
EP09818914A EP2343497B1 (en) | 2008-10-08 | 2009-09-04 | Work piece shape estimation device and work piece shape estimation method |
PCT/JP2009/004398 WO2010041374A1 (ja) | 2008-10-08 | 2009-09-04 | ワーク形状推定装置及びワーク形状推定方法 |
US13/122,762 US8611672B2 (en) | 2008-10-08 | 2009-09-04 | Work piece shape estimation device and work piece shape estimation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008262034A JP4866890B2 (ja) | 2008-10-08 | 2008-10-08 | ワーク形状推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010091429A JP2010091429A (ja) | 2010-04-22 |
JP4866890B2 true JP4866890B2 (ja) | 2012-02-01 |
Family
ID=42100336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008262034A Expired - Fee Related JP4866890B2 (ja) | 2008-10-08 | 2008-10-08 | ワーク形状推定装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8611672B2 (ja) |
EP (1) | EP2343497B1 (ja) |
JP (1) | JP4866890B2 (ja) |
CN (1) | CN102171531B (ja) |
WO (1) | WO2010041374A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5577508B2 (ja) * | 2010-10-19 | 2014-08-27 | 株式会社ミツトヨ | 画像測定装置及びその駆動制御方法 |
JP5464176B2 (ja) * | 2011-06-20 | 2014-04-09 | 株式会社安川電機 | ピッキングシステム |
CN103325106B (zh) * | 2013-04-15 | 2015-11-25 | 浙江工业大学 | 基于LabVIEW的运动工件分拣方法 |
JP6746140B2 (ja) * | 2017-08-23 | 2020-08-26 | Kyoto Robotics株式会社 | ピッキングシステム |
JP6902208B2 (ja) * | 2017-11-14 | 2021-07-14 | オムロン株式会社 | 把持方法、把持システム及びプログラム |
US11766757B2 (en) * | 2017-12-25 | 2023-09-26 | Nikon Corporation | Processing system, measuring probe, shape measuring device, and program |
JP6879238B2 (ja) * | 2018-03-13 | 2021-06-02 | オムロン株式会社 | ワークピッキング装置及びワークピッキング方法 |
DE102019106068B3 (de) | 2019-03-11 | 2020-06-10 | Hiwin Technologies Corp. | System zur beseitigung von überlagerungen zufällig angeordneter werkstücke |
WO2021161530A1 (ja) * | 2020-02-14 | 2021-08-19 | ヤマザキマザック株式会社 | 加工装置のためのワークの据え付け方法、ワーク据え付け支援システム、及び、ワーク据え付け支援プログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6352268A (ja) * | 1986-08-21 | 1988-03-05 | Kurabo Ind Ltd | 重なり部品における重なり方の判別方法 |
JPH0820725B2 (ja) * | 1990-02-06 | 1996-03-04 | 大日本スクリーン製造株式会社 | 画像輪郭データの作成方法 |
KR100414432B1 (ko) * | 1995-03-24 | 2004-03-18 | 마츠시타 덴끼 산교 가부시키가이샤 | 윤곽추출장치 |
JPH0953915A (ja) | 1995-08-18 | 1997-02-25 | Meidensha Corp | 重なり状態認識方法 |
JPH10222670A (ja) * | 1997-02-07 | 1998-08-21 | Mazda Motor Corp | 画像処理方法及びワーク移載装置の制御方法 |
US6532299B1 (en) * | 2000-04-28 | 2003-03-11 | Orametrix, Inc. | System and method for mapping a surface |
JP2001082951A (ja) | 1999-09-16 | 2001-03-30 | Armonicos:Kk | 非接触計測点データ位置合わせ装置、非接触計測点データ位置合わせ方法及び記録媒体 |
JP4409072B2 (ja) * | 2000-09-14 | 2010-02-03 | 本田技研工業株式会社 | 輪郭抽出装置、輪郭抽出方法、及び輪郭抽出プログラムを記録した記録媒体 |
JP3834297B2 (ja) * | 2003-05-12 | 2006-10-18 | ファナック株式会社 | 画像処理装置 |
US7991207B2 (en) * | 2003-12-16 | 2011-08-02 | Hitachi Medical Corporation | Method and device for extracting region including stratified region held between first and second closed regions |
JP4087874B2 (ja) * | 2006-02-01 | 2008-05-21 | ファナック株式会社 | ワーク取り出し装置 |
JP4226623B2 (ja) * | 2006-09-29 | 2009-02-18 | ファナック株式会社 | ワーク取り出し装置 |
JP2008262034A (ja) | 2007-04-12 | 2008-10-30 | Matsushita Electric Ind Co Ltd | 画像表示システム |
-
2008
- 2008-10-08 JP JP2008262034A patent/JP4866890B2/ja not_active Expired - Fee Related
-
2009
- 2009-09-04 CN CN2009801393791A patent/CN102171531B/zh not_active Expired - Fee Related
- 2009-09-04 US US13/122,762 patent/US8611672B2/en not_active Expired - Fee Related
- 2009-09-04 WO PCT/JP2009/004398 patent/WO2010041374A1/ja active Application Filing
- 2009-09-04 EP EP09818914A patent/EP2343497B1/en not_active Not-in-force
Also Published As
Publication number | Publication date |
---|---|
WO2010041374A1 (ja) | 2010-04-15 |
CN102171531A (zh) | 2011-08-31 |
US8611672B2 (en) | 2013-12-17 |
JP2010091429A (ja) | 2010-04-22 |
US20110194754A1 (en) | 2011-08-11 |
EP2343497B1 (en) | 2013-01-09 |
CN102171531B (zh) | 2013-08-14 |
EP2343497A4 (en) | 2012-03-21 |
EP2343497A1 (en) | 2011-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4866890B2 (ja) | ワーク形状推定装置 | |
CN102164718B (zh) | 工件取出方法 | |
JP4087874B2 (ja) | ワーク取り出し装置 | |
JP5376906B2 (ja) | 特徴量抽出装置、物体識別装置及び特徴量抽出方法 | |
US9576363B2 (en) | Object picking system, object detecting device, object detecting method | |
JP6278276B2 (ja) | 物体識別装置、物体識別方法、及びプログラム | |
JP4766269B2 (ja) | 物体検出方法、物体検出装置、及びそれを備えたロボット | |
CN113284178B (zh) | 物体码垛方法、装置、计算设备及计算机存储介质 | |
JP5360369B2 (ja) | ピッキング装置と方法 | |
JP2010122777A (ja) | ワーク識別方法およびワーク識別装置 | |
JP5263501B2 (ja) | デパレタイズ用のワーク位置認識装置および方法 | |
JPH08293029A (ja) | 箱状物体の積重ね状態認識装置 | |
JP6041710B2 (ja) | 画像認識方法 | |
JP2007183908A (ja) | 物体検出方法 | |
JP7436170B2 (ja) | ロボットシステム | |
JPH0953915A (ja) | 重なり状態認識方法 | |
JP6958810B2 (ja) | 葉状農作物の形状認識プログラム及び形状認識装置 | |
JP6026365B2 (ja) | 画像認識方法 | |
JP4138943B2 (ja) | 板材の形状認識装置 | |
JP2003150965A (ja) | 形状認識方法及びその装置 | |
JP2023069743A (ja) | 物品認識装置及び物品認識方法 | |
JP2014174629A (ja) | ワークピース認識方法 | |
JP5251440B2 (ja) | ワーク姿勢認識方法、ワーク姿勢認識装置およびロボット | |
CN117690121A (zh) | 基于3d视觉的上料方法、装置、计算机设备及存储介质 | |
JP2011238105A (ja) | ワーク種別判別装置、及び、ワーク種別判別方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111018 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111114 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4866890 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |