JP6765791B2 - パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体 - Google Patents
パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP6765791B2 JP6765791B2 JP2015165595A JP2015165595A JP6765791B2 JP 6765791 B2 JP6765791 B2 JP 6765791B2 JP 2015165595 A JP2015165595 A JP 2015165595A JP 2015165595 A JP2015165595 A JP 2015165595A JP 6765791 B2 JP6765791 B2 JP 6765791B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- work
- reference image
- pattern matching
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Studio Devices (AREA)
Description
(処理装置)
図1は実施の形態1における処理装置の機能ブロック図である。図2は処理装置のハードウエア構成の説明図である。図1中、画像記録部103、基準選択部105、基準登録部106、測定検査部107などの機能は、コンピュータ120で実行されるプログラムとして実現されている。
図3は処理装置における基準画像の選択処理のフローチャートである。図2を参照して図3に示すように、CPU202は、ハードディスク205から基準画像を読み込む(S1)。CPU202は、パターンマッチング処理を行うためのパラメータを読み込む(S2)。読み込むパラメータは、パターンマッチングのスコア閾値、探索角度、探索スケール、探索領域等である。
図4は画像データからエッジを抽出する方法の説明図である。図4中、(a)は画像データ、(b)は1つの注目画素におけるエッジ強度である。
図5は処理装置におけるワークの計側・検査処理のフローチャートである。図5に示すように、CPU202は、ワークの処理に用いるために選択された基準画像のセットをハードディスク205から読み込む(S11)。基準画像は、エッジデータである。CPU202は、上述したように、後のパターンマッチング処理等を行うためのパラメータを読み込む(S12)。
FA(Factory Automation)分野では、ワークの有無やワークの位置・姿勢などを光学的に測定するために、或いは、ワークに生じる不良や塗られた塗布剤の検査などを行うために、カメラ(視覚センサ)が用いられている。
図6は基準画像作成装置の機能ブロック図である。図7は基準画像作成装置のハードウエア構成の説明図である。
図8は原画像の撮影制御のフローチャートである。図7を参照して図8に示すように、CPU702は、上述したように、後のパターンマッチング処理を行うためのパラメータを読み込む(S21)。
図6に示すように、画像記録部606は、画像撮影部605により撮影された撮影条件ごとの原画像の画像データを記録する。画像記録部606に記録された原画像の画像データは特徴量選択部608に入力される。特徴量選択部608は、画像記録部606で記録された原画像の画像データから特徴となるエッジ画像を抽出し、エッジ画像の中から基準画像となりうるエッジを選択する。
図9は特徴量選択処理のフローチャートである。図9に示すように、CPU702は、後のパターンマッチング処理を行うためのパラメータを読み込む(S31)。CPU702は、ハードディスク705から原画像の画像データを取得する(S32)。
図10は基準画像のセットの説明図である。図11は基準画像の倍率の説明図である。図11中、(a)は原画像から抽出されたエッジ、(b)は0.98倍に縮小した基準画像、(c)は1.00倍の基準画像、(d)は1.02倍に拡大した基準画像である。
図12は基準画像の作成処理のフローチャートである。図7を参照して図12に示すように、CPU702は、後のパターンマッチング処理を行うためのパラメータを読み込む(S41)。
実施の形態1では、現場の処理装置100とは別に設けた基準画像作成装置600により作成された基準画像のグループを使用して、処理装置100でワークの計測・検査を実行することが可能である。そのため、現場での基準画像の作成作業を大幅に削減でき、ある程度経験を積んだ作業者が、処理装置100に出向いて基準画像を作成する必要がない。処理装置100において基準画像の問題が生じた場合、基準画像作成装置600において、処理装置100で発生した問題を再現して、基準画像の検討を行い、新たな原画像を撮影して、基準画像生成部607で新たな基準画像を作成することができる。この間、処理装置100は、問題にならない範囲で稼働させ続けることができるので、基準画像の設定に伴う処理装置100の停止を最低限に抑えて、処理装置100の稼働率を向上させることができる。
本発明は、特許請求の範囲に表現された技術思想の範囲を逸脱することなく、種々の変形、追加、および省略が可能である。
102、602 ワーク、103、606 画像記録部
104 入力部、105 基準選択部、106 基準登録部
107 測定検査部、108、609 表示部
109、611 出力部、110、604 照明、112、605 画像撮影部
120、620 コンピュータ、201、610 入力部
202、702 CPU、203、703 ROM
204、704 RAM、205、705 ハードディスク
206、706 インターフェース、600 基準画像作成装置
603 ロボットアーム、607 基準画像生成部、608 特徴量選択部
Claims (13)
- 第2のカメラで撮影した画像とのパターンマッチングに用いるパターンマッチング用の基準画像セットの作成方法であって、
ワークの撮影条件を変更し、それぞれの撮影条件ごとに第1のカメラを備えたシステムにて前記ワークを撮影して、複数の原画像を取得するステップと、
前記複数の原画像それぞれに画像処理を行って、複数の基準画像を生成するステップと、
前記複数の基準画像から、互いに倍率が異なる複数の基準画像のセットを生成するステップと、
前記第2のカメラを備えたシステムを用いて前記ワークを撮影したワーク画像を取得するステップと、
前記互いに倍率が異なる複数の基準画像のセットに含まれる各々の基準画像と、前記ワーク画像とのマッチングを行うステップと、
前記マッチングの結果に基づいて、前記互いに倍率が異なる複数の基準画像のセットの中からいずれかの倍率の基準画像のセットをパターンマッチング用の基準画像セットとして選択するステップと、
を有することを特徴とするパターンマッチング用の基準画像セットの作成方法。 - 前記複数の原画像を取得するステップにおいて、
前記ワークの撮像位置および照明状態を変更することにより撮影条件を変更して撮影し、前記複数の原画像を取得する、
ことを特徴とする請求項1に記載のパターンマッチング用の基準画像セットの作成方法。 - 前記互いに倍率が異なる複数の基準画像のセットを生成するステップにおいて、
前記複数の基準画像を生成するステップにて作成した前記複数の基準画像の各々に対して、複数の倍率で拡大または縮小を施すことにより、前記互いに倍率が異なる複数の基準画像のセットを生成する、
ことを特徴とする請求項1または2に記載のパターンマッチング用の基準画像セットの作成方法。 - 前記複数の基準画像を生成するステップにおいて、
前記画像処理としてエッジを抽出する処理を施して、前記複数の基準画像を生成する、
ことを特徴とする請求項1から3のいずれか1項に記載のパターンマッチング用の基準画像セットの作成方法。 - 前記エッジを抽出する処理におけるエッジ抽出条件として、抽出したエッジと前記複数の原画像とのマッチングを行って得られるマッチングスコアが所定の基準を満たすように前記エッジ抽出条件を設定する、
ことを特徴とする請求項4に記載のパターンマッチング用の基準画像セットの作成方法。 - 前記互いに倍率が異なる複数の基準画像のセットのうち、前記ワーク画像とのマッチングスコアが最も高い基準画像が含まれる倍率の基準画像のセットを、前記パターンマッチング用の基準画像セットとして選択する、
ことを特徴とする請求項1から5のいずれか1項に記載のパターンマッチング用の基準画像セットの作成方法。 - 請求項1から6のいずれか1項に記載のパターンマッチング用の基準画像セットの作成方法により得られた基準画像セットを準備する工程と、
前記第2のカメラを備えたシステムにてワークを撮像したワーク画像を取得する工程と、
前記基準画像セットと前記ワーク画像とのマッチング処理を行うステップと、
前記マッチング処理を行うステップの結果に基づいて前記ワークを認識するステップと、
を有することを特徴とするワークの認識方法。 - 請求項1乃至6のいずれか1項に記載のパターンマッチング用の基準画像セットの作成方法をコンピュータに実行させるためのプログラム。
- 請求項8に記載のプログラムを記録した記録媒体。
- ワークの撮影条件を変更して設定可能な設定部と、
入出力部と、
第1のカメラを制御する制御部と、を備え、
前記制御部は、
前記設定部を制御して前記ワークの撮影条件を変更し、それぞれの撮影条件ごとに前記第1のカメラにて前記ワークを撮影して、複数の原画像を取得するステップと、
前記複数の原画像それぞれに画像処理を行って、複数の基準画像を生成するステップと、
前記複数の基準画像から、互いに倍率が異なる複数の基準画像のセットを生成するステップと、
前記入出力部から第2のカメラにより前記ワークを撮影したワーク画像を取得するステップと、
前記互いに倍率が異なる複数の基準画像のセットに含まれる複数の基準画像と、前記ワーク画像とのマッチングを行うステップと、
前記マッチングの結果に基づいて、前記互いに倍率が異なる複数の基準画像のセットの中からいずれかの倍率の基準画像のセットをパターンマッチング用の基準画像セットとして選択するステップと、
前記選択したパターンマッチング用の基準画像セットを前記入出力部から出力するステップと、
を実行する、
ことを特徴とするパターンマッチング用の基準画像セットの作成装置。 - 前記設定部は、前記第1のカメラにて前記ワークを撮影する際の照明状態を調整可能であり、
前記複数の原画像を取得するステップにおいては、前記設定部により照明状態を複数種類に異ならせたそれぞれの撮影条件で前記ワークを撮影する、
ことを特徴とする請求項10に記載のパターンマッチング用の基準画像セットの作成装置。 - 前記設定部は、前記第1のカメラでワークを撮影する際の前記ワークの支持状態を調整可能であり、
前記複数の原画像を取得するステップにおいては、前記設定部により前記ワークの支持状態を複数種類に異ならせたそれぞれの撮影条件で前記ワークを撮影する、
ことを特徴とする請求項10又は11に記載のパターンマッチング用の基準画像セットの作成装置。 - 前記設定部は、多関節ロボットアームを有する、
ことを特徴とする請求項12に記載のパターンマッチング用の基準画像セットの作成装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015165595A JP6765791B2 (ja) | 2015-08-25 | 2015-08-25 | パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体 |
US15/239,693 US20170061209A1 (en) | 2015-08-25 | 2016-08-17 | Object processing method, reference image generating method, reference image generating apparatus, object processing apparatus, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015165595A JP6765791B2 (ja) | 2015-08-25 | 2015-08-25 | パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017045166A JP2017045166A (ja) | 2017-03-02 |
JP6765791B2 true JP6765791B2 (ja) | 2020-10-07 |
Family
ID=58095734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015165595A Active JP6765791B2 (ja) | 2015-08-25 | 2015-08-25 | パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20170061209A1 (ja) |
JP (1) | JP6765791B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6962858B2 (ja) * | 2018-04-27 | 2021-11-05 | ファナック株式会社 | 画像管理装置 |
JP7120620B2 (ja) * | 2018-10-04 | 2022-08-17 | 日本電気通信システム株式会社 | センサ装置、センサ装置の制御方法及びプログラム |
JP7298227B2 (ja) * | 2019-03-20 | 2023-06-27 | 株式会社リコー | 情報処理装置、情報処理方法、情報処理プログラム及び情報処理システム |
CN112040124A (zh) * | 2020-08-28 | 2020-12-04 | 深圳市商汤科技有限公司 | 数据采集方法、装置、设备、系统和计算机存储介质 |
JP7099597B2 (ja) * | 2020-09-30 | 2022-07-12 | 株式会社リコー | 情報処理装置、移動体、撮影システム、撮影制御方法およびプログラム |
CN116391153A (zh) * | 2020-09-30 | 2023-07-04 | 株式会社理光 | 信息处理装置、移动体、拍摄系统、拍摄控制方法及程序 |
EP4024847A4 (en) * | 2020-10-23 | 2022-09-28 | NEC Corporation | INDIVIDUAL IDENTIFICATION DEVICE |
JP2022164145A (ja) * | 2021-04-16 | 2022-10-27 | 株式会社キーエンス | 画像検査装置、画像検査装置用制御ユニット、画像検査方法、画像検査プログラム及びコンピュータで読取可能な記録媒体並びに記録した機器 |
KR102680738B1 (ko) * | 2023-12-26 | 2024-07-02 | 주식회사 디밀리언 | 카메라 및 산업용 로봇을 이용한 다품종 부품 정렬 및 공급 시스템 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3769857B2 (ja) * | 1997-01-30 | 2006-04-26 | マツダ株式会社 | パターンマッチングに用いる基準画像作成方法 |
FR2846424B1 (fr) * | 2002-10-25 | 2006-02-03 | Bsn Glasspack | Procede et dispositif d'eclairage pour detecter des defaut et/ou de manque de matiere sur la bague d'un recipient transparent ou translucide |
JP5318334B2 (ja) * | 2006-05-19 | 2013-10-16 | Juki株式会社 | 対象物の位置検出方法及び装置 |
SG163442A1 (en) * | 2009-01-13 | 2010-08-30 | Semiconductor Technologies & Instruments | System and method for inspecting a wafer |
JP5375488B2 (ja) * | 2009-09-29 | 2013-12-25 | 富士通株式会社 | 外観検査装置,外観検査方法および外観検査プログラム |
JP2012203668A (ja) * | 2011-03-25 | 2012-10-22 | Sony Corp | 情報処理装置、物体認識方法、プログラム及び端末装置 |
JP5798371B2 (ja) * | 2011-05-09 | 2015-10-21 | 富士機械製造株式会社 | 基準マークモデルテンプレート作成方法 |
JP2013078825A (ja) * | 2011-10-04 | 2013-05-02 | Yaskawa Electric Corp | ロボット装置、ロボットシステムおよび被加工物の製造方法 |
US20150186422A1 (en) * | 2012-08-10 | 2015-07-02 | Konica Minolta, Inc. | Image processing apparatus, image processing method, and image processing program |
US9846948B2 (en) * | 2014-07-09 | 2017-12-19 | Ditto Labs, Inc. | Systems, methods, and devices for image matching and object recognition in images using feature point optimization |
-
2015
- 2015-08-25 JP JP2015165595A patent/JP6765791B2/ja active Active
-
2016
- 2016-08-17 US US15/239,693 patent/US20170061209A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20170061209A1 (en) | 2017-03-02 |
JP2017045166A (ja) | 2017-03-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6765791B2 (ja) | パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体 | |
US20070176927A1 (en) | Image Processing method and image processor | |
JP5841427B2 (ja) | 画像処理装置及び画像処理方法 | |
KR100805486B1 (ko) | 디스플레이의 다각도 계측 시스템 및 방법 | |
JP2007114843A (ja) | 良否判定装置 | |
JP7151873B2 (ja) | 検査装置 | |
US10133256B2 (en) | Information processing apparatus and method for calculating inspection ranges | |
JP2011044016A (ja) | 三次元細胞画像解析装置 | |
JP6049052B2 (ja) | ウエハ外観検査装置及びウエハ外観検査装置における感度しきい値設定方法 | |
JP2015004641A (ja) | ウエハ外観検査装置 | |
JP6140255B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2021071310A (ja) | 画像処理システム、設定方法およびプログラム | |
JP2019158711A (ja) | 画像処理システム、画像処理装置、画像処理プログラム | |
JP2023501525A (ja) | 自動外観検査ステーションのためのオフライントラブルシューティング及び開発 | |
JP2008014857A (ja) | プリント板の検査用座標取得装置、検査用座標取得方法、及び検査用座標取得プログラム | |
CN113837917A (zh) | 基于ar技术的跨媒介隐形水印检查方法及系统 | |
JP2015210396A (ja) | アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム | |
JP5592834B2 (ja) | 光学投影制御装置、光学投影制御方法、及びプログラム | |
Shen et al. | Design and implementation of PCB detection and classification system based on machine vision | |
JP2014142213A (ja) | 撮影パラメータ決定装置及びその制御方法 | |
WO2018146887A1 (ja) | 外観検査装置 | |
JP2006145228A (ja) | ムラ欠陥検出方法及び装置 | |
JP2021039609A (ja) | 検査支援装置および検査支援方法 | |
CN114746716B (zh) | 形状复原方法和图像测量装置 | |
TW201514474A (zh) | 一種檢測具週期性結構光學薄膜的瑕疵檢測方法及其檢測裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180814 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190709 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190906 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200121 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20200206 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200916 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6765791 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |