JP5168215B2 - 外観検査装置 - Google Patents
外観検査装置 Download PDFInfo
- Publication number
- JP5168215B2 JP5168215B2 JP2009096440A JP2009096440A JP5168215B2 JP 5168215 B2 JP5168215 B2 JP 5168215B2 JP 2009096440 A JP2009096440 A JP 2009096440A JP 2009096440 A JP2009096440 A JP 2009096440A JP 5168215 B2 JP5168215 B2 JP 5168215B2
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- feature
- value
- defective product
- defective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
そこで、検査対象物の外観から得られる特徴量を抽出して、その特徴量に基づいて検査対象物が良品か否かを自動的に判別する様々な技術が開発されている。特に、予め良品と分かっている検査対象物のサンプル群と、予め不良品と分かっている検査対象物のサンプル群のそれぞれから抽出された特徴量の分布に基づいて、良品と不良品とを識別する判別境界を予め求め、着目する検査対象物から抽出された特徴量がその判別境界のどちら側に存在するかにより、着目する検査対象物を良品か否か判定する技術が開発されている(例えば、特許文献1を参照)。
係る構成を有することにより、この外観検査装置は、検査対象物に関する外観検査の前工程または外観検査装置自体で発生した変化を検知することができる。
これにより、この外観検査装置は、不良品率が上昇した場合に、その不良品率が上昇した原因が前工程にあるのか、あるいは外観検査装置自体にあるのかを自動的に判定できる。
係る手順を有することにより、この外観検査方法は、検査対象物に関する外観検査の前工程または外観検査装置自体で発生した変化を検知することができる。
この外観検査装置は、予め良品と分かっている検査対象物のサンプル群と、予め不良品と分かっている検査対象物のサンプル群のそれぞれから抽出された特徴量の分布に基づいて、検査対象物を良否判定する判定基準を決定する。そしてこの外観検査装置は、その判定基準に従って一定期間に検査される検査対象物あるいは一定の数量の検査対象物に対して不良品と判定される不良品率が、判定基準設定時に想定される不良品率よりも増加したことを検知して、外観検査の前工程あるいは外観検査装置自体に生じた変化を検知する。
さらにコントローラ4は、他の機器とコントローラ4を接続するための通信インターフェースである通信部41と、半導体メモリ、磁気記録媒体または光記録媒体の少なくとも何れかを有する記憶部42と、1個または複数のプロセッサ及びその周辺回路を有する判定部43とを有する。
このうち、通信部41は、カメラ3から検査画像を取得して、その検査画像を判定部43に渡す。また通信部41は、判定部43から受け取った検査対象物10の良否判定結果、あるいは、外観検査の前工程において生じた製造条件の変化などの検知結果に応じたメッセージをディスプレイ5へ出力する。
記憶部42は、検査対象物10の良否判定に使用される様々なパラメータ及びプログラムを記憶する。また記憶部42は、検査対象物10の良否判定結果を記憶する。
判定部43は、検査画像に基づいて検査対象物10が良品か否か判定する。
レクティファイヤは、複数個のダイオードを有しており、製造工程において、それらダイオードがターミナルと溶接される。この溶接が正常に行われると、溶接部材がダイオードとターミナルの接点を覆うように形成されるが、溶接に失敗すると、例えば、溶接部材がダイオードとターミナルの一方の接点に偏って付着し、他方の接点をほとんど覆わなくなる。
図2(a)に示した検査画像200では、溶接部材に相当する領域201は、検査画像200上で大きな領域を占めている。また溶接部材は球状をしているため、領域201内で距離の近い画素間の輝度差は全般的にそれほど大きく変化しない。そのため、領域201内のコントラストは低くなっている。
一方、図2(b)に示した検査画像210では、溶接部材はターミナルに偏って付着しているため、溶接部材に相当する領域211の面積は、良品についての溶接部材に相当する領域201の面積よりも狭くなっている。また、溶接部材は歪な形状をしているために、照明光の照射方向に対する溶接部材表面の角度が急激に変わるところが存在する。そのようなところでは、領域211内で距離の近い画素間でも、輝度差が大きくなる。そのため、領域211のコントラストは、領域201のコントラストよりも高くなる傾向がある。
そこで、判定部43は、検査画像から溶接部材に対応する領域を検出し、その領域の面積及びコントラストを特徴量として抽出する。そして判定部43は、それら特徴量に基づいて、検査対象物10が良品か否か判定する。
色相:10〜35の範囲内に含まれること
彩度:30〜255の範囲に含まれること
明度:0〜110の範囲に含まれること
特徴量抽出部51は、黄銅色に相当する色相値を有する画素の集合領域を溶接部材領域とする。なお、特徴量抽出部51は、ノイズによる影響を軽減するために、溶接部材領域を対象とするモルフォロジー演算のクロージング演算を行ってもよい。
次に、特徴量抽出部51は、溶接部材領域から特徴量を抽出する。本実施形態では、特徴量として、溶接部材領域の面積と、溶接部材領域に含まれる画素のコントラストを用いた。なおコントラストは、以下の式により算出される。
なお、特徴量抽出部51は、溶接部材領域から、他の様々な特徴量、例えば、エネルギー、エントロビー、均一性など、テクスチャ解析で用いられる特徴量、あるいは円形度などを用いてもよい。なお、これらの特徴量は下記の式により算出される。
さらに、特徴量抽出部51は、検出された溶接部材領域に含まれる全画素の輝度を特徴量としてもよい。
特徴量抽出部51は、抽出した特徴量を良否判定部53に渡す。
本実施形態では、学習部52は、検査対象物10の良否を判定するための判定基準として判別境界を用いる場合、複数の良品であるレクティファイヤを撮影した複数の良品画像のそれぞれから抽出された良品特徴量の分布と、複数の不良品であるレクティファイヤを撮影した複数の不良品画像のそれぞれから抽出された不良品特徴量の分布を調べる。なお、これらの特徴量は、特徴量抽出部51と同様の処理を良品画像または不良品画像に対して実行することにより抽出される。そして学習部52は、良品特徴量の重心から判別境界までのマハラノビス距離と、不良品特徴量の重心から判別境界までのマハラノビス距離が等距離となるように判別境界を設定する。
ここでマハラノビス距離MDは、以下の式によって算出される。
この判別境界は、例えば、特徴量の組を変数とする判別関数として求められる。なお、この判別関数の算出方法は、例えば、リチャード.O.デューダ他、「パターン識別」第2版、JOHN WILEY & SONS, Inc.、pp.29-45等に開示されているように公知であるので、その詳細な説明を省略する。
学習部52は、得られた判別境界を表す判別関数を記憶部42に記憶する。
学習されたSVMは、検査対象物10の良品に対応する特徴量領域(以下、良品特徴量領域という)の境界を表すサポートベクトルである良品特徴量の組と、検査対象物10の不良品に対応する特徴量領域(以下、不良品特徴量領域という)の境界を表すサポートベクトルである不良品特徴量の組によって表される。そしてこれらのサポートベクトルは、良品・不良品というカテゴリと関連付けられて、予め記憶部42に記憶される。
判定基準として、判別分析により求められた判別境界を用いる場合、良否判定部53は、特徴量抽出部51から受け取った特徴量が判別境界よりも良品特徴量の重心側に近いか否か判定する。そして良否判定部53は、その特徴量が判別境界よりも良品特徴量の重心側に近い場合、検査対象物10は良品であると判定する。逆に、その特徴量が判別境界よりも不良品特徴量の重心側に近い場合、良否判定部53は、検査対象物10は不良品であると判定する。
さらに良否判定部53は、その良否判定結果を、良否判定に使用された特徴量及び検査実行日時とともに記憶部42に記憶する。
なお、正常に動作する製造工程では、不良品が発生する確率は非常に低い。そのため、外観検査装置1が不良品と判定した検査対象物も、実際は良品であることが多い。従って、変化検知部54は、単に不良品率の増加を検知することにより、良品が不良品と誤って判定される率を表す擬陰性率も増加したと推定できる。
変化検知部54は、算出した不良品率が、判定基準設定時に想定される不良品率に対応する閾値よりも高くなったとき、不良品率が増加し、外観検査の前工程または外観検査装置1自体の何れかに、何らかの変化が生じたと判定する。なお、この閾値は、判定基準設定時に想定される不良品率そのもの、あるいはその不良品率に所定のマージンを加えた値であってもよい。例えば、この閾値は、判定基準設定時に想定される不良品率が、良品特徴量の分布に対する標準偏差の所定倍(例えば、3倍あるいは4倍)よりも外れた特徴量値となる検査対象物が不良品であるとした場合の不良品の発生率に設定されている場合、その所定倍から1を引いた倍数を乗じた標準偏差から外れる特徴量値を持つ検査対象物の発生率に設定されてもよい。
変化検知部54は、着目する特徴量についてのその差の絶対値が所定の閾値以下である場合、その特徴量は、不良品率の上昇に関係していないと判定する。一方、変化検知部54は、着目する特徴量についてその差の絶対値が所定の閾値よりも大きい場合、着目する特徴量の統計的代表値に基づいて、不良品率上昇の原因が、外観検査の前工程にあるか、外観検査装置1自体にあるのかを特定する。なお、所定の閾値は、着目する特徴量の統計的代表値ごとに設定される。その原因を特定するために、各特徴量の基準特徴量代表値と、その変動に関連する不良品率上昇の原因に対応する識別番号とが関連付けられた参照テーブルが予め作成され、記憶部42に記憶される。そして、変化検知部54は、その参照テーブルを参照することにより、対象となる基準特徴量代表値の変動に対応する原因を特定できる。
また、着目する特徴量の統計的代表値の他の一例は、溶接部材領域のコントラストの平均値である。例えば、直近特徴量代表値として不良品率の測定期間中に得られた溶接部材領域のコントラストの分布から算出された平均値が、基準特徴量代表値として判定基準の学習時に用いられた良品のサンプルに関する溶接部材領域のコントラストの分布から算出された平均値よりも大きくなっていれば、変化検知部54は、外観検査装置1の照明光源2に原因があると推定する。
あるいは、変化検知部54は、その変化検知信号を、通信部41を介して外観検査装置1と接続された他の装置へ送信してもよい。
まず、変化検知部54は、一定期間に検査される検査対象物10あるいは一定の数量の検査対象物10に対する不良品率を算出する(ステップS101)。次に、変化検知部54は、その不良品率が判定基準設定時に想定される不良品率に対応する閾値よりも大きいか否か判定する(ステップS102)。その不良品率が所定の閾値以下である場合、変化検知部54は、検査前の製造工程及び外観検査に特に変化はないと判定して、変化検知処理を終了する。
一方、全ての特徴量についてステップS103〜S106の処理が終了している場合、外観検査装置1は、外観検査処理を終了する。
判別境界と識別器の両方を用いる場合、良否判定部は、先ず、判別境界を用いて良否判定を行う。その際、特徴量と判別境界とのマハラノビス距離が所定距離以下である場合、良否判定部は、識別器を用いて良否判定を行う。なお、所定距離は、例えば1に設定される。
また良否判定部は、上記の実施形態とは逆に、検査対象物を撮影した検査画像から抽出された特徴量を先ずSVMとして構成される識別器に入力して良否判定を行ってもよい。そして良否判定部は、良品特徴量の境界と不良品特徴量の境界の間に位置すると判定された特徴量についてのみ、判別境界を用いて良否判定を行うようにしてもよい。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
2 照明光源
3 カメラ
4 コントローラ
5 ディスプレイ
41 通信部
42 記憶部
43 判定部
51 特徴量抽出部
52 学習部
53 良否判定部
54 変化検知部
10 検査対象物
Claims (1)
- 検査対象物の良否を判定する外観検査装置であって、
検査対象物を撮影した検査画像を取得する撮像部(3)と、
記憶部(42)と、
前記検査画像から、前記検査対象物に関する特徴量を抽出する特徴量抽出部(51)と、
前記特徴量と予め設定された判定基準に従って、前記検査対象物の良否を判定し、該良否判定結果を前記記憶部(42)に記憶する良否判定部(52)と、
前記記憶部(42)に記憶された、所定期間内に検査された前記検査対象物あるいは所定数量の前記検査対象物に対する良否判定結果に基づいて、該所定期間内に検査された前記検査対象物の総数あるいは該所定数量の前記検査対象物に対して不良品と判定された検査対象物の比率を表す不良品率を算出し、当該不良品率が前記判定基準の作成時において想定される不良品率よりも高い場合、前記外観検査装置自体に変化が発生したか、または前記外観検査装置による検査工程の前工程に変化が発生したと判定する変化検知部(54)と、
を有し、
前記記憶部(42)は、前記判定基準の学習時に用いられた複数の検査対象物の良品のサンプルに関する前記特徴量の分布から得られる統計的代表値である基準特徴量代表値と当該基準特徴量代表値に対応する不良品率上昇の原因が前記外観検査装置自体にあるか、または前記前工程にあるかを示した参照テーブルを記憶し、
前記変化検知部(54)は、前記所定期間内に検査された全ての検査対象物あるいは前記所定数量の前記検査対象物に関する前記特徴量の統計的代表値である直近特徴量代表値を算出し、該直近特徴量代表値と、前記基準特徴量代表値との差の絶対値が所定の閾値よりも大きい場合、前記基準特徴量代表値及び前記参照テーブルを参照することにより、前記発生した変化が前記外観検査装置自体にあるか、または前記前工程にあるかを特定する
ことを特徴とする外観検査装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009096440A JP5168215B2 (ja) | 2009-04-10 | 2009-04-10 | 外観検査装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009096440A JP5168215B2 (ja) | 2009-04-10 | 2009-04-10 | 外観検査装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010249547A JP2010249547A (ja) | 2010-11-04 |
JP5168215B2 true JP5168215B2 (ja) | 2013-03-21 |
Family
ID=43312063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009096440A Expired - Fee Related JP5168215B2 (ja) | 2009-04-10 | 2009-04-10 | 外観検査装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5168215B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9715723B2 (en) * | 2012-04-19 | 2017-07-25 | Applied Materials Israel Ltd | Optimization of unknown defect rejection for automatic defect classification |
US10043264B2 (en) | 2012-04-19 | 2018-08-07 | Applied Materials Israel Ltd. | Integration of automatic and manual defect classification |
US10114368B2 (en) | 2013-07-22 | 2018-10-30 | Applied Materials Israel Ltd. | Closed-loop automatic defect inspection and classification |
JP6629455B2 (ja) * | 2017-02-20 | 2020-01-15 | Serendipity株式会社 | 外観検査装置、照明装置、撮影照明装置 |
JP6767432B2 (ja) * | 2018-06-11 | 2020-10-14 | ファナック株式会社 | 縫い目検査装置 |
JP6795562B2 (ja) | 2018-09-12 | 2020-12-02 | ファナック株式会社 | 検査装置及び機械学習方法 |
JP6823025B2 (ja) | 2018-09-12 | 2021-01-27 | ファナック株式会社 | 検査装置及び機械学習方法 |
JP6630912B1 (ja) * | 2019-01-14 | 2020-01-15 | 株式会社デンケン | 検査装置及び検査方法 |
JP7491118B2 (ja) | 2020-07-27 | 2024-05-28 | セイコーエプソン株式会社 | 検査システム、検査方法、及び検査プログラム |
JP2022140951A (ja) * | 2021-03-15 | 2022-09-29 | オムロン株式会社 | 品質評価装置及び検査管理システム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62169040A (ja) * | 1986-01-22 | 1987-07-25 | Hitachi Ltd | プリント基板パタ−ン検査装置 |
JPH02287241A (ja) * | 1989-04-28 | 1990-11-27 | Hitachi Ltd | 外観検査方法及びその装置並びに製品の製造工程中における異常原因除去方法 |
JP2734225B2 (ja) * | 1991-04-30 | 1998-03-30 | 三菱電機株式会社 | はんだ付け検査装置 |
JP3290028B2 (ja) * | 1994-04-15 | 2002-06-10 | 松下電工株式会社 | 成形品検査方法及び成形制御方法 |
JPH10153558A (ja) * | 1996-11-21 | 1998-06-09 | Sekisui Chem Co Ltd | 検査装置 |
JP4295930B2 (ja) * | 2001-06-29 | 2009-07-15 | 株式会社東芝 | 半導体処理装置、半導体処理システムおよび半導体処理管理方法 |
JP3856131B2 (ja) * | 2003-01-21 | 2006-12-13 | オムロン株式会社 | 基板実装ラインの運転支援装置 |
JP2007114843A (ja) * | 2005-10-18 | 2007-05-10 | Denso Corp | 良否判定装置 |
-
2009
- 2009-04-10 JP JP2009096440A patent/JP5168215B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010249547A (ja) | 2010-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5168215B2 (ja) | 外観検査装置 | |
EP3480735B1 (en) | Inspection apparatus, data generation apparatus, data generation method, and data generation program | |
US10297021B2 (en) | Defect quantification method, defect quantification device, and defect evaluation value display device | |
CN108445011B (zh) | 一种基于深度学习的瑕疵检测系统及方法 | |
US7127099B2 (en) | Image searching defect detector | |
KR100598381B1 (ko) | 인-라인 타입의 자동 웨이퍼결함 분류장치 및 그 제어방법 | |
JPH07201946A (ja) | 半導体装置等の製造方法及びその装置並びに検査方法及びその装置 | |
CN112053318A (zh) | 基于深度学习的二维pcb缺陷实时自动检测与分类装置 | |
JP2013167596A (ja) | 欠陥検査装置、欠陥検査方法及びプログラム | |
CN113111903A (zh) | 智能产线监测系统及监测方法 | |
JP2017219529A (ja) | 外観異常検査装置、方法、及びプログラム | |
TW202242390A (zh) | 缺陷檢查裝置、缺陷檢查方法以及製造方法 | |
JP2015197396A (ja) | 画像検査方法および画像検査装置 | |
CN114226262A (zh) | 瑕疵检测方法、瑕疵分类方法及其系统 | |
KR101929669B1 (ko) | 엔트로피를 이용하여 이미지를 분석하는 방법 및 장치 | |
JP5152081B2 (ja) | 外観検査装置 | |
CN117078679B (zh) | 一种基于机器视觉的散热风扇自动组装线生产检测方法 | |
Widodo et al. | Application of self organizing map for intelligent machine fault diagnostics based on infrared thermography images | |
CN112215149B (zh) | 基于视觉检测的配件分拣系统及方法 | |
CN115621147B (zh) | 晶圆检测方法、装置及电子设备 | |
CN117593301B (zh) | 基于机器视觉的内存条损伤快速检测方法及系统 | |
KR102575508B1 (ko) | Ai 기반 신발 부품용 직물 패턴 검사 시스템 | |
JP2000121495A (ja) | 画面検査方法 | |
CN117817211B (zh) | 基于机器视觉的焊接自动化控制方法及系统 | |
KR102686135B1 (ko) | 인공지능을 활용한 결함 검사 방법 및 인공지능을 활용한 결함 검사 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110624 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120904 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121210 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5168215 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160111 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |