JP5152081B2 - 外観検査装置 - Google Patents
外観検査装置 Download PDFInfo
- Publication number
- JP5152081B2 JP5152081B2 JP2009095258A JP2009095258A JP5152081B2 JP 5152081 B2 JP5152081 B2 JP 5152081B2 JP 2009095258 A JP2009095258 A JP 2009095258A JP 2009095258 A JP2009095258 A JP 2009095258A JP 5152081 B2 JP5152081 B2 JP 5152081B2
- Authority
- JP
- Japan
- Prior art keywords
- defective
- feature amount
- feature
- defective product
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
そこで、検査対象物の外観から得られる特徴量を抽出して、その特徴量に基づいて検査対象物が良品か否かを自動的に判別する様々な技術が開発されている。特に、予め良品と分かっている検査対象物のサンプル群と、予め不良品と分かっている検査対象物のサンプル群のそれぞれから抽出された特徴量の分布に基づいて、良品と不良品とを識別する判別境界を予め求め、着目する検査対象物から抽出された特徴量がその判別境界のどちら側に存在するかにより、着目する検査対象物を良品か否か判定する技術が開発されている(例えば、特許文献1を参照)。
係る構成を有することにより、この外観検査装置は、検査対象物の不良品が誤って良品と判定される可能性を低減することができる。
また、良否判定部(54)は、複数の不良品の検査対象物のサンプルのそれぞれから抽出された特徴量の分布である不良品特徴量分布と、複数の良品の検査対象物のサンプルのそれぞれから抽出された特徴量の分布である良品特徴量分布から求められる判別境界と特徴量抽出部(51)により抽出された検査対象物に関する特徴量を比較する。そして良否判定部(54)は、その特徴量と判別境界との距離が所定距離より大きく、かつその特徴量が判別境界よりも良品特徴量分布の重心に近ければ検査対象物を良品と判定し、その特徴量と判別境界との距離が所定距離より大きく、かつその特徴量が判別境界よりも不良品特徴量分布の重心に近ければ検査対象物を不良品と判定し、さらに、その特徴量と判別境界との距離が所定距離以下であれば、その特徴量を識別器に入力することにより、検査対象物の良否を判定することが好ましい。
これにより、この外観検査装置は、異なる手法による2段階の良否判定を行えるので、より正確に検査対象物の良否を判定できる。
これにより、この外観検査装置は、元の不良品特徴量領域の輪郭形状に類似した輪郭形状を保ったまま不良品特徴量領域を広げることができるので、検査対象物の良品が不良品と誤って判定される可能性が上昇することを極力防ぎつつ、検査対象物の不良品が良品と誤って判定される可能性を低減できる。
これにより、この外観検査装置は、検査対象物の不良品が良品と誤って判定される可能性が検査対象物に対する品質保証基準を満たすように低減できる。
これにより、この外観検査装置は、判別境界を用いた検査対象物の良否判定に関しても、検査対象物の不良品が良品と誤って判定される可能性を低減できる。
係る手順を有することにより、この外観検査方法は、検査対象物の不良品が誤って良品と判定される可能性を低減することができる。
この外観検査装置は、予め良品と分かっている検査対象物のサンプル群と、予め不良品と分かっている検査対象物のサンプル群のそれぞれから抽出された特徴量の分布に基づいて、判別分析による判別境界とサポートベクターマシンとして構成される識別器を求める。そしてこの外観検査装置は、それら判別境界及びサポートベクターマシンにおいて不良品と判定される特徴量領域の境界を、不良品と判定される特徴量の範囲を広げるように修正することで、不良品が良品と誤って判定されることを防ぐ。
さらにコントローラ4は、他の機器とコントローラ4を接続するための通信インターフェースである通信部41と、半導体メモリ、磁気記録媒体または光記録媒体の少なくとも何れかを有する記憶部42と、1個または複数のプロセッサ及びその周辺回路を有する判定部43とを有する。
このうち、通信部41は、カメラ3から検査画像を取得して、その検査画像を判定部43に渡す。また記憶部42は、検査対象物10の良否判定に使用される様々なパラメータ及びプログラムを記憶する。そして判定部43は、検査画像に基づいて検査対象物10が良品か否か判定する。
レクティファイヤは、複数個のダイオードを有しており、製造工程において、それらダイオードがターミナルと溶接される。この溶接が正常に行われると、溶接部材がダイオードとターミナルの接点を覆うように形成されるが、溶接に失敗すると、例えば、溶接部材がダイオードとターミナルの一方の接点に偏って付着し、他方の接点をほとんど覆わなくなる。
図2(a)に示した検査画像200では、溶接部材に相当する領域201は、検査画像200上で大きな領域を占めている。また溶接部材は球状をしているため、領域201内で距離の近い画素間の輝度差は全般的にそれほど大きく変化しない。そのため、領域201内のコントラストは低くなっている。
一方、図2(b)に示した検査画像210では、溶接部材はターミナルに偏って付着しているため、溶接部材に相当する領域211の面積は、良品についての溶接部材に相当する領域201の面積よりも狭くなっている。また、溶接部材は歪な形状をしているために、照明光の照射方向に対する溶接部材表面の角度が急激に変わるところが存在する。そのようなところでは、領域211内で距離の近い画素間でも、輝度差が大きくなる。そのため、領域211のコントラストは、領域201のコントラストよりも高くなる傾向がある。
そこで、判定部43は、検査画像から溶接部材に対応する領域を検出し、その領域の面積及びコントラストを特徴量として抽出する。そして判定部43は、それら特徴量に基づいて、検査対象物10が良品か否か判定する。
色相:10〜35の範囲内に含まれること
彩度:30〜255の範囲に含まれること
明度:0〜110の範囲に含まれること
特徴量抽出部51は、黄銅色に相当する色相値を有する画素の集合領域を溶接部材領域とする。なお、特徴量抽出部51は、ノイズによる影響を軽減するために、溶接部材領域を対象とするモルフォロジー演算のクロージング演算を行ってもよい。
次に、特徴量抽出部51は、溶接部材領域から特徴量を抽出する。本実施形態では、特徴量として、溶接部材領域の面積と、溶接部材領域に含まれる画素のコントラストを用いた。なおコントラストは、以下の式により算出される。
なお、特徴量抽出部51は、溶接部材領域から、他の様々な特徴量、例えば、エネルギー、エントロビー、均一性など、テクスチャ解析で用いられる特徴量、あるいは円形度などを用いてもよい。なお、これらの特徴量は下記の式により算出される。
さらに、特徴量抽出部51は、検出された溶接部材領域に含まれる全画素の輝度を特徴量としてもよい。
特徴量抽出部51は、抽出した特徴量を良否判定部54に渡す。
本実施形態では、学習部52は、判別境界を決定するために、複数の良品であるレクティファイヤを撮影した複数の良品画像のそれぞれから抽出された良品特徴量の分布と、複数の不良品であるレクティファイヤを撮影した複数の不良品画像のそれぞれから抽出された不良品特徴量の分布を調べる。なお、これらの特徴量は、特徴量抽出部51と同様の処理を良品画像または不良品画像に対して実行することにより抽出される。そして学習部52は、良品特徴量の重心から判別境界までのマハラノビス距離と、不良品特徴量の重心から判別境界までのマハラノビス距離が等距離となるように判別境界を設定する。
ここでマハラノビス距離MDは、以下の式によって算出される。
この判別境界は、例えば、特徴量の組を変数とする判別関数として求められる。なお、この判別関数の算出方法は、例えば、リチャード.O.デューダ他、「パターン識別」第2版、JOHN WILEY & SONS, Inc.、pp.29-45等に開示されているように公知であるので、その詳細な説明を省略する。
学習部52は、得られた判別境界を表す判別関数を記憶部42に記憶する。
図4に、SVMの概念図を示す。SVMは、所定の識別対象物が、二つのカテゴリの何れかに属する場合、その識別対象物から求めた1乃至複数の特徴量(以下、特徴量セットという)に基づいて、その識別対象物を何れのカテゴリに属するかを判定する識別器である。そしてカテゴリ間の境界は、各カテゴリに属する学習データの特徴量セットのうち、隣接するカテゴリに属する学習データの特徴量セットとの距離が最も近いものの組で表される。このカテゴリ間の境界を表す特徴量セットは、サポートベクトルと呼ばれる。図4では、丸印で示された各点が、カテゴリC1(例えば、検査対象物の良品に対応する特徴量セットが属するカテゴリ)に属する特徴量セットの一つであり、このうち特徴量セット401〜403が、カテゴリC1のサポートベクトルである。また、菱形で示された各点が、カテゴリC2(例えば、検査対象物の不良品に対応する特徴量セットが属するカテゴリ)に属する特徴量セットの一つであり、このうち特徴量セット404〜406が、カテゴリC2のサポートベクトルである。そして、サポートベクターマシンでは、識別精度を向上するために、カテゴリC1のサポートベクトルと、カテゴリC2のサポートベクトル間の距離(マージン)が最大化されるように、サポートベクトルが決定される。さらに、SVMでは、カテゴリ間の境界が非線形な場合でも、カーネル関数を利用して、学習データの特徴量セットを高次元に写像した上でサポートベクトルを決定することにより、各カテゴリに属する特徴量セットを線形分離可能とすることで、良好な識別性能を得ることができる。
学習されたSVMは、検査対象物10の良品に対応する特徴量領域(以下、良品特徴量領域という)の境界を表すサポートベクトルである良品特徴量の組と、検査対象物10の不良品に対応する特徴量領域(以下、不良品特徴量領域という)の境界を表すサポートベクトルである不良品特徴量の組によって表される。そしてこれらのサポートベクトルは、良品・不良品というカテゴリと関連付けられて、予め記憶部42に記憶される。
判別境界に関して、判別境界修正部53は、判別境界から不良品特徴量の重心までのマハラノビス距離が所定の最小限距離未満である場合、マハラノビス距離がその最小限距離となるように、判別境界を修正する。なお、この最小限距離は、例えば、4に設定される。このように判別境界を修正することで、不良品特徴量の重心から、不良品特徴量の分布に対するマハラノビス距離が4(各特徴量間に相関性がなければ、不良品特徴量の分布に対する標準偏差の4倍)未満の特徴量に対応する検査対象物は、全て不良品と判定されるようになる。そのため、不良品特徴量の分布が正規分布に従うとみなしてよければ、この修正された判別境界を用いて良否判定を実行することで、不良品が良品と誤って判定される確率を0.0016%にまで低減できる。
判別境界修正部53は、修正された判別境界に沿って一定の間隔でサンプル点を設定する。そして判別境界修正部53はそのサンプル点に相当する特徴量の値を、判別境界を表すものとして、予め記憶部42に記憶する。
図5に示されるように、元の判別境界501と不良品特徴量の重心Ncからのマハラノビス距離が最小限距離Dmin未満である部分について、修正された判別境界502は、良品特徴量の分布側へシフトされ、不良品特徴量の重心Ncからのマハラノビス距離が最小限距離Dminを保つように設定されている。一方、元の判別境界501と不良品特徴量の重心Ncからのマハラノビス距離が最小限距離Dmin以上となるところでは、修正された判別境界502と元の判別境界501は一致する。
なお、所定係数は、誤って良品と判定される不良品の発生確率が、検査対象物に対して求められる品質保証基準による許容限度以下となるように設定される。例えば、修正前の不良品特徴量領域の境界では、不良品特徴量の重心から、その不良品特徴量分布の標準偏差の±3倍の残りに相当する確率で不良品が良品と誤って判定されるとき、誤判定の発生確率をその標準偏差の±4倍の残りに相当する確率以下に低下させるのであれば、所定係数は、1.33に設定される。
この場合、実線で表された、修正された不良品特徴量領域の境界603は、点Ncと点aを結ぶベクトル611、点Ncと点bを結ぶベクトル612、点Ncと点cを結ぶベクトル613に沿って、点Ncからそれぞれのベクトルの距離に所定係数を乗じた距離だけ離れた修正境界領域点a'、b'、c'を結ぶ線となる。
本実施形態では、良否判定部54は、先ず、判別境界を用いて良否判定を行う。その際、特徴量と判別境界とのマハラノビス距離が所定距離以下である場合、良否判定部54は、識別器を用いて良否判定を行う。なお、所定距離は、例えば1に設定される。
ここで、判別境界修正部53により不良品特徴量領域の境界が修正された識別器では、図6に示される領域620のように、元のSVMと異なり、良品特徴量領域と不良品特徴量領域がオーバーラップする領域が生じることがある。そこで良否判定部51は、特徴量がこのオーバーラップする領域に含まれる場合には、その特徴量を不良品のカテゴリに分類する。このため、良否判定部51は、不良品を良品と誤って判定する可能性を低減することができる。
まず、外観検査装置1は、カメラ3により検査対象物10を撮影した検査画像を取得する(ステップS101)。そしてカメラ3は、その検査画像をコントローラ4へ送信する。コントローラ4は、検査画像を受信すると、判定部43の特徴量抽出部51により、検査対象物10に関する特徴量を抽出する(ステップS102)。そして特徴量抽出部51は、抽出された特徴量を判定部43の良否判定部54に渡す。
次に、良否判定部54は、その特徴量が、記憶部42から読み込んだ判別境界よりも、判別境界の決定に用いられた良品のサンプル群に対して抽出された良品特徴量の重心に近いか否か判定する(ステップS103)。その判別境界は、学習部52により、良品のサンプル群に対する良品特徴量の重心からのマハラノビス距離と不良品のサンプル群に対する不良品特徴量の重心からのマハラノビス距離が等しい位置となるように設定され、かつ判別境界修正部53により、不良品特徴量の重心からのマハラノビス距離が所定の最小限距離未満となる部分についてはその最小限距離となるように修正されたものである。すなわち、判別境界は、不良品特徴量の重心からのマハラノビス距離が、所定の最小限距離か、良品特徴量の重心からと等距離の何れか遠い方に設定される。
ステップS105またはS107の後、外観検査装置1は、外観検査処理を終了する。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
2 照明光源
3 カメラ
4 コントローラ
41 通信部
42 記憶部
43 判定部
51 特徴量抽出部
52 学習部
53 判別境界修正部
54 良否判定部
10 検査対象物
Claims (4)
- 検査対象物の良否を判定する外観検査装置であって、
検査対象物を撮影した検査画像を取得する撮像部(3)と、
前記検査画像から、前記検査対象物に関する特徴量を抽出する特徴量抽出部(51)と、
前記特徴量をサポートベクターマシンとして構成される識別器に入力することにより、前記検査対象物の良否を判定する良否判定部(52)とを有し、
前記識別器が不良品と判定する検査対象物から抽出される前記特徴量が含まれる領域である不良品特徴量領域が、サポートベクターマシンの学習により決定された不良品特徴量領域よりも広くなるように、前記不良品特徴量領域の境界が修正されており、
前記良否判定部(52)は、
複数の不良品の検査対象物のサンプルのそれぞれから抽出された特徴量の分布である不良品特徴量分布と、複数の良品の検査対象物のサンプルのそれぞれから抽出された特徴量の分布である良品特徴量分布から求められる判別境界と前記特徴量抽出部(51)により抽出された前記検査対象物に関する特徴量を比較し、
前記特徴量と前記判別境界との距離が所定距離より大きく、かつ前記特徴量が前記判別境界よりも前記良品特徴量分布の重心に近ければ前記検査対象物を良品と判定し、
前記特徴量と前記判別境界との距離が前記所定距離より大きく、かつ前記特徴量が前記判別境界よりも前記不良品特徴量分布の重心に近ければ前記検査対象物を不良品と判定し、
前記特徴量と前記判別境界との距離が前記所定距離以下であれば、前記特徴量を前記識別器に入力することにより、前記検査対象物の良否を判定する
ことを特徴とする外観検査装置。 - 前記不良品特徴量領域の境界は、前記サポートベクターマシンの学習に用いられた複数の不良品の検査対象物のサンプルのそれぞれから抽出された特徴量の重心から、該重心とサポートベクターマシンの学習により定められる前記不良品特徴量領域の境界上に位置する各サポートベクトルとを結ぶベクトルに沿って、該ベクトルの距離に1よりも大きい所定の係数を乗じた距離だけ離れた点を結ぶように設定される、請求項1に記載の外観検査装置。
- 前記所定の係数は、前記複数の不良品の検査対象物のサンプルのそれぞれから抽出された特徴量が前記不良品特徴量領域から外れる確率が、検査対象物に対する品質保証基準により定められる許容限度以下となるように定められる、請求項2に記載の外観検査装置。
- 前記判別境界は、前記不良品特徴量分布の重心からのマハラノビス距離が、所定の最小限距離か、前記良品特徴量分布の重心からのマハラノビス距離と等距離の何れか遠い方の距離となるように設定される、請求項1に記載の外観検査装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009095258A JP5152081B2 (ja) | 2009-04-09 | 2009-04-09 | 外観検査装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009095258A JP5152081B2 (ja) | 2009-04-09 | 2009-04-09 | 外観検査装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010243451A JP2010243451A (ja) | 2010-10-28 |
JP5152081B2 true JP5152081B2 (ja) | 2013-02-27 |
Family
ID=43096608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009095258A Expired - Fee Related JP5152081B2 (ja) | 2009-04-09 | 2009-04-09 | 外観検査装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5152081B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6815764B2 (ja) * | 2016-06-28 | 2021-01-20 | 株式会社日立製作所 | 溶接監視システム |
JP6867812B2 (ja) * | 2017-01-17 | 2021-05-12 | 株式会社トーエネック | 回転機の短絡診断装置および回転機の短絡診断方法 |
JP6684777B2 (ja) * | 2017-12-20 | 2020-04-22 | 株式会社日立製作所 | 製造物良・不良判定システムおよび製造物良・不良判定方法 |
JP7238470B2 (ja) * | 2018-03-15 | 2023-03-14 | 富士通株式会社 | 学習装置、検査装置、学習検査方法、学習プログラムおよび検査プログラム |
WO2020039581A1 (ja) * | 2018-08-24 | 2020-02-27 | 技術研究組合次世代3D積層造形技術総合開発機構 | 情報処理装置、情報処理方法、情報処理プログラム、積層造形装置およびプロセスウィンドウ生成方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001209628A (ja) * | 2000-01-27 | 2001-08-03 | Mitsui Eng & Shipbuild Co Ltd | パターンマッチング方法 |
JP3733094B2 (ja) * | 2002-08-22 | 2006-01-11 | トヨタ自動車株式会社 | 良否判定装置、良否判定プログラムおよび良否判定方法 |
JP2006184254A (ja) * | 2004-12-28 | 2006-07-13 | Meiji Milk Prod Co Ltd | 検査装置における良品判定基準設定方法及び判定処理精度判定方法並びに、良品判定基準設定装置及び判定処理精度判定装置 |
JP2007114843A (ja) * | 2005-10-18 | 2007-05-10 | Denso Corp | 良否判定装置 |
-
2009
- 2009-04-09 JP JP2009095258A patent/JP5152081B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010243451A (ja) | 2010-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5168215B2 (ja) | 外観検査装置 | |
US11227381B2 (en) | Substrate defect inspection apparatus, substrate defect inspection method, and storage medium | |
US11797886B2 (en) | Image processing device, image processing method, and image processing program | |
US20190139212A1 (en) | Inspection apparatus, data generation apparatus, data generation method, and data generation program | |
US8908957B2 (en) | Method for building rule of thumb of defect classification, and methods for classifying defect and judging killer defect based on rule of thumb and critical area analysis | |
US7110591B2 (en) | System and method for recognizing markers on printed circuit boards | |
US20170323435A1 (en) | Defect quantification method, defect quantification device, and defect evaluation value display device | |
JP5152081B2 (ja) | 外観検査装置 | |
JP2013167596A (ja) | 欠陥検査装置、欠陥検査方法及びプログラム | |
KR100598381B1 (ko) | 인-라인 타입의 자동 웨이퍼결함 분류장치 및 그 제어방법 | |
US11373292B2 (en) | Image generation device and appearance inspection device | |
CN114594114A (zh) | 一种锂电芯全自动在线无损检测方法 | |
WO2014103617A1 (ja) | 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム | |
JP2004109018A (ja) | 回路パターン検査方法および検査装置 | |
JP4840327B2 (ja) | 外観検査方法 | |
JPH08101915A (ja) | 不良検査方法およびその装置 | |
JP6772059B2 (ja) | 電子制御装置、電子制御システムおよび電子制御方法 | |
KR101678771B1 (ko) | Smt 불량 판별 장치 및 방법 | |
US10241000B2 (en) | Method for checking the position of characteristic points in light distributions | |
JP2004326382A (ja) | 部品認識システム及び方法並びに部品認識用プログラム | |
US20210342618A1 (en) | Marking inspection device, marking inspection method and article inspection apparatus | |
Munawaroh et al. | Automatic optical inspection for detecting keycaps misplacement using Tesseract optical character recognition. | |
EP4318304A1 (en) | Information reading device | |
CN116412779B (zh) | 用于霍尔传感器封装的处理方法及装置 | |
KR102724132B1 (ko) | 딥러닝 기반 ai 머신비전 검사장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110624 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5152081 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151214 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |