JP4040732B2 - Measuring method by image recognition and recording medium - Google Patents
Measuring method by image recognition and recording medium Download PDFInfo
- Publication number
- JP4040732B2 JP4040732B2 JP35432297A JP35432297A JP4040732B2 JP 4040732 B2 JP4040732 B2 JP 4040732B2 JP 35432297 A JP35432297 A JP 35432297A JP 35432297 A JP35432297 A JP 35432297A JP 4040732 B2 JP4040732 B2 JP 4040732B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- correlation coefficient
- pattern
- density
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K1/00—Printed circuits
- H05K1/02—Details
- H05K1/0266—Marks, test patterns or identification means
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K3/00—Apparatus or processes for manufacturing printed circuits
- H05K3/10—Apparatus or processes for manufacturing printed circuits in which conductive material is applied to the insulating support in such a manner as to form the desired conductive pattern
- H05K3/12—Apparatus or processes for manufacturing printed circuits in which conductive material is applied to the insulating support in such a manner as to form the desired conductive pattern using thick film techniques, e.g. printing techniques to apply the conductive material or similar techniques for applying conductive paste or ink patterns
- H05K3/1216—Apparatus or processes for manufacturing printed circuits in which conductive material is applied to the insulating support in such a manner as to form the desired conductive pattern using thick film techniques, e.g. printing techniques to apply the conductive material or similar techniques for applying conductive paste or ink patterns by screen printing or stencil printing
Description
【０００１】
【発明の属する技術分野】
本発明は、プリント基板上の基準マーク、ランド、実装部品、はんだ、スクリーン印刷マスク上の基準マーク、版抜きパターン等を認識し位置決めをしたり、フリップチップ、チップスケールパッケージ（ＣＳＰ）、ボールグリッドアレイ（ＢＧＡ）、マルチチップモジュール（ＭＣＭ）の基準マーク、ランド、バンプ等を認識し位置決めしたり、また計測や検査を行う画像認識による計測技術に関するものである。
【０００２】
【従来の技術】
従来から、定型パターンの対象物を画像の中から検出する方法として、正規化相関法パターンマッチングを用いることが多い。しかしこのパターン画像（パターンマッチング用の基準画像）と入力画像（計測対象画像）をパターンマッチングする方法は、サーチ枠内入力画像にパターン画像をオーバーレイさせて対応する画素の１つ１つについて積和計算を行い、正規化相関係数値を求める。しかも、サーチ枠内入力画像に対してパターン画像を少しずつずらして正規化相関係数を求め、その最大値を得るという反復計算処理を総当たり法で行うので、計算量が膨大で計算時間が非常に多くかかる。
【０００３】
【発明が解決しようとする課題】
（１）正規化相関法パターンマッチングの問題
上記従来の画像認識による計測装置では、はんだレベラの基準マークやランドは、表面の凹凸による乱反射のため画像処理の濃淡画像でも濃淡ムラが生じる。原画像から取り込んだパターン画像と入力画像との正規化相関法パターンマッチングを行うとき、双方の画像の異なる濃淡ムラ模様のために、一致度が低下し正規化相関係数値が小さくなって、パターンマッチングが困難になる。
【０００４】
また、雛形の定型パターン画像と入力画像との正規化相関法パターンマッチングを行うときも、双方の濃度分布に隔たりがある（相似性が充分でない）と、パターンマッチングが困難になる。このため、図１２に示すようなはんだレベラの基準マーク・ランドの位置検出が充分行えない問題が発生していた。
【０００５】
更に、従来の正規化相関法パターンマッチングは、入力画像のサーチ枠内でパターン画像をスキャンする際に、パターン画像とそれに対応する入力画像との間で正規化相関係数の積和計算処理を反復するため、膨大な計算処理時間がかかっていた。このためパソコンのＣＰＵ（中央演算処理装置）ではリアルタイム処理ができず、専用の高速画像処理ボードが必要となり、独自アルゴリズムの開発に制約がかかるとともに、システム構成が複雑になり、コスト増加要因となっていた。
【０００６】
（２）文字検出の問題
従来、ロット＃等の文字列の検出では、文字列の原画像をパターン図形として登録しておいて、検出対象の文字列の入力画像とパターンマッチングする方法が採られていた。この場合、文字列の背景基板にシェーディング（陰影）、シルク、部分的な汚れ等があると、正規化相関係数値が著しく低下し、同一の文字列と認識されないことがあった。
【０００７】
例えば、図１１のように、黒色のロットナンバーが濃緑色の基板非配線部レジスト上にはみだして印字された場合には、黒色の文字と濃緑色の背景シェーディングとのコントラストが充分とれずに一体化してしまい、ロットナンバーの識別ができないことがあった。これは文字列も背景も全て１つのパターンとしてパターンマッチングを行うために、背景に外乱が入るとそれに影響されるためである。
【０００８】
人間の目では、背景に少々の外乱があっても、対象物の特徴情報から文字列の判断ができる。背景の外乱に影響されないような検出方法として、背景は除外し対象物のみのパターンマッチングを行うような方法が必要である。
【０００９】
（３）ランド・はんだ・実装部品の検出の問題
定型のランド、はんだ、実装部品の検出においても、それぞれの原画像をパターン図形として登録しておいて、対象とする入力画像とパターンマッチングする方法が採られている。
【００１０】
しかし、ランド・はんだ周辺の背景に、配線パターン、シルク、レジスト、フラックス等の外乱要因があると、背景画像に一様でない複雑な濃度分布や濃淡ムラが生じる。配線パターンは複雑な濃度分布を生み出し、白色シルクは背景に対象物相当以上の濃度ピークを出現させ、レジストやフラックスは、背景の濃度ムラや濃度レベルの変動を起こすので、大きな撹乱要因となる。
【００１１】
このため、背景のパターンマッチングがうまくいかないため、正規化相関係数値が低下しパターン検出に失敗することがあった。
【００１２】
本発明は上記の点に鑑みてなされたものでその目的は、正規化相関係数の計算を単純化して入力画像のノイズを平滑化しパターン検出能力を高めるとともに、グレー処理、２値化処理の画像処理ボードを不要として適合性の良いアルゴリズムの開発を可能とし、さらに、システム構成の単純化およびコスト低減を図ることができる画像認識による計測方法および記録媒体を提供することにある。
【００１３】
【課題を解決するための手段】
（１）前記グレー処理は扱う画素データが膨大であり、処理に長時間を要するが、これに対して、矩形状関数パターンモデルを用いて相互相関係数の積和計算を簡単化することにより、パターンマッチング処理時間が大幅に短縮される。
【００１４】
更に、相互相関係数の積和計算を和の計算に簡単化することにより入力画像のノイズを平滑化することができる。
【００１５】
またグレー処理、２値化処理の画像処理ボードを用いると、技術的制約を受けコストアップの要因ともなるが、これに対してグレー処理アルゴリズムを高速化してＣＰＵ上で処理する方式を採れば、適合性の良いアルゴリズムの開発、システム構成の単純化およびコスト低減が可能となる。
【００１６】
（２）そこで本発明の画像認識による計測方法では、
グレースケール正規化相関法パターンマッチングを行って、計測対象物を検出する画像認識による計測方法において、
パターンマッチング用の基準画像の対象物と背景を分離し、
前記基準画像の対象物、背景の濃度値が計測対象入力画像の対象物、背景の濃度分布平均値と等しいか相似となるような高原状濃度関数をパターンマッチング用の基準画像として登録し、
前記分離された対象物領域の基準画像とそれに対応する前記入力画像との間の正規化相関係数の相互相関係数を計算し、
前記分離された背景領域の基準画像とそれに対応する前記入力画像との間の正規化相関係数の相互相関係数を計算し、
前記基準画像の対象物と背景の濃度分布を矩形状関数で表現し、相互相関係数の積和計算を和の計算に簡単化した計算によって、前記基準画像と前記入力画像の間で正規化相関係数を計算することを特徴とし、
また、パターンマッチング用の基準画像の対象物と背景を分離し、
前記基準画像の対象物、背景の濃度分布がそれぞれハイ又はローの一定値となるような高原状濃度関数をパターンマッチング用の基準画像として登録し、
前記分離された対象物領域の基準画像とそれに対応する前記入力画像との間の正規化相関係数の相互相関係数を計算し、
前記分離された背景領域の基準画像とそれに対応する前記入力画像との間の正規化相関係数の相互相関係数を計算し、
前記基準画像の対象物と背景の濃度分布を矩形状関数で表現し、相互相関係数の積和計算を和の計算に簡単化した計算によって、前記基準画像と前記入力画像の間で正規化相関係数を計算することを特徴とし、
前記高原状濃度関数は、雛型リストから選択した定型パターン形状か又は任意形状の指定を行い、或は対象物の輪郭抽出を行い、該定型パターン形状又は任意形状の輪郭か或は前記抽出輪郭が計測対象入力画像に一致するように上書きし、該輪郭内側を対象物領域とするとともに輪郭外側を背景領域として各々の濃度分布の平均値を取るか、或は濃度の一定値を指定することによって得られることを特徴とし、
前記高原状濃度関数は、所定の輪郭抽出の方法によって任意形状の対象物の輪郭を抽出し、該任意形状の輪郭が計測対象入力画像に一致するように上書きし、該輪郭内側を対象物領域とするとともに輪郭外側を背景領域として各々の濃度分布の平均値を取るか、或は濃度の一定値を指定することによって得られることを特徴としている。
【００１７】
（３）また、本発明の記録媒体は、前記のいずれかに記載の画像認識による計測方法をコンピュータに実行させるプログラムを、該コンピュータが読み取り可能な媒体に記録して成ることを特徴としている。
【００１８】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態を詳細に説明する。
（１）本発明の実施の形態
パターンマッチングの検出能力を高めるのに重要なファクタとしてパターン画像登録がある。パターンの形状だけでなく、対象物・背景の濃度分布がマッチングの一致度を高めるキーである。
【００１９】
正規化相関係数Ｃｒの定義式に従えば、高い一致度を得る（Ｃｒ〜１）ためには、パターン画像（パターンマッチング用の基準画像）と入力画像（計測対象入力画像）の対象物の形状・面積（サイズ）がほぼ等しくなければならない。
【００２０】
他方、濃度分布については、パターン画像と入力画像の対象物・背景の濃度分布が相似であれば充分である。前記パターン画像と濃度分布の一例は図８のように示され、入力画像と濃度分布の一例は図９のように示される。
【００２１】
また、はんだレベラのように乱反射による濃淡ムラのノイズがあると、原画像を取り込んだパターン画像と入力画像間の異なる濃淡ムラ模様のために、双方の濃度分布の相似性が崩れ、一致度が劣化しパターンマッチングが不成功に終わる可能性がある。
【００２２】
したがって、パターン画像側の対象物・背景のノイズを平滑化するために、パターン画像の濃度分布として対象物・背景の濃度にそれぞれの平均濃度を設定する。この濃度分布関数は、対象物の存在する定義域では高いレベルの濃度定数値を、背景の定義域では低いレベルの濃度定数値をとり、高原状関数又はその断面は矩形状関数となる（もともと、定型形状を持ち、面内部の表面性状が一定で濃度が一様な、基準マーク、ランドのモデルに適した関数）。
【００２３】
また、逆に、対象物の平均濃度を低いレベルに設定し、背景の平均濃度を高いレベルに設定するような、濃度レベルが反転するケースもある。
【００２４】
この高原状関数又は矩形状関数を用いると、正規化相関係数の計算を行う際に、パターン画像と入力画像の画素値の積和計算が、入力画像の画素値の和計算に単純化され、入力画像側のノイズも平滑化・平均化される。つまり、ノイズが平滑化されたパターンマッチングを行うので、ノイズに強くパターンマッチングの検出能力が大きく向上する。
【００２５】
図１は本発明による計測方法の一実施形態例を実施するためのブロック構成例を示す図である。図１において、１は計測対象を照明する照明装置、２は基準マーク等のパターン画像や計測対象物を撮像するカメラなどの撮像装置、３は撮像した画像を取り込む記憶装置（画像メモリ）、３１は記憶装置（画像メモリ）３上のパターン画像等をストアする記憶装置（ハードディスク）、４は入力した画像についてソフトウェアによる画像処理により画像認識と計測を行う処理装置（ＣＰＵ）、５は画像を表示する表示装置（ディスプレー）である。
【００２６】
図２、図３および図４は本発明による計測方法の一実施形態例のフローチャートであり、図２は定型パターンの場合のパターン画像登録処理の手順を示し、図３は任意形状の場合のパターン画像登録処理の手順を示し、図４はパターンマッチング処理の手順を示している。
【００２７】
これらの図において、定型パターンの場合はまず対象物の原画像を表示する。そして既に登録されている雛形リストから定型パターンを選択し、サイズを指定し、原画像上に表示しパターンと形状の一致を確認する。サイズの指定は、定型パターンの代表点指定又はサイズパラメタ設定により行う。例えば円の場合は中心と円周上の点を指定すれば良く、複雑な形状の場合にはポリゴン表示を用いれば良い。
【００２８】
対象物・背景の濃度設定は、それぞれの平均濃度を設定する必要がある。デフォルト機能として、対象物の濃度設定は、原画像上に表示されたパターンの内部の濃度を平均して得られた平均濃度を設定する。
【００２９】
背景の濃度設定は、パターンの外部の濃度を平均して得られた平均濃度を設定する。ただしオプションで、対象物・背景の濃度指定も可能とする。
【００３０】
この後、正規化相関係数の計算に用いるパターン画像の自己相関係数を求めておく。
【００３１】
また、対象物が雛形リストに無いような任意形状を持つ場合、閾値指定で２値化し、対象物を背景から分離して輪郭を取り出すか、又は１次・２次微分により輪郭を抽出する。このようにして得られたパターンは原画像上に表示し形状の一致を確認する。そして前記と同様に対象物と背景の各平均濃度を設定し、正規化相関係数の計算に用いるパターン画像の自己相関係数を求める。
【００３２】
次に図４において、サーチ枠内の入力画像とパターン画像との間でパターンマッチングを行う。そしてサーチ枠内で、対象物を検出するためにパターン画像によるスキャンを行う。このスキャンの過程で、パターン画像と位置的に対応する入力画像との間で正規化相関係数の計算を行う。パターン画像の自己相関係数は既に求められているので、入力画像の自己相関係数とパターン画像と入力画像との間の相互相関係数を求める。そして、これら相関係数から正規化相関係数を求める。
【００３３】
相互相関係数は両画像の画素値の積和計算で求められるが、パターン画像の濃度分布は矩形状関数に従うので、対象物／背景の定義域で一定値であり、従って、積和計算は入力画像の画素値の和の計算だけで済む。
【００３４】
積和計算を和の計算に単純化することは、前述したノイズ平滑化に役立つだけではなく、計算時間の大幅な短縮に寄与する。特にスキャン過程での相互相関係数の計算を繰り返し反復するので、相関係数計算の時間短縮はパターンマッチング処理時間の大幅削減に繋がる。
【００３５】
前記スキャン処理が全て終了すれば、正規化相関係数の一番大きい値とパターン画像の位置を選び出す。パターン画像の位置はとりもなおさずパターン検出位置となる。
【００３６】
以下、正規化相関係数の計算については、平均値の減算を含まない移動正規化相関演算の例を示す。前記正規化相関係数Ｃｒは次の数式（１）のように表現される。尚、数式（１）のＳｐは図８のＳｐに対応している。
【００３７】
【数１】
前記正規化相関係数は次の数式（２）、（３）、（４）から次の数式（５）のような性質をもつことが導かれる。
【００３９】
【数２】
数式（５）の等号成立条件式に示されるように、パターン画像と入力画像の濃度分布関数が相似（ｔ∽ｆ）であるとき、正規化相関係数Ｃｒ＝１（ｍａｘ）となるので、パターン画像の濃度分布関数は入力画像の対象物／背景の濃度分布平均と相似であることが望ましい。従って、図８のようにパターン画像の濃度分布関数ｔをパターンの原画像の対象物／背景の濃度分布の平均値（平均値ｔF，ｔB）に設定する。
【００４１】
このとき、数式（１）における入力画像／パターン画像の相互相関係数は、次の数式（６）に変形できる。
【００４２】
【数３】
であるので、相互相関係数（積和計算）は入力画像の濃度分布ｆの積分（和計算）となり、ノイズの平滑化が行われ、ノイズの影響を受けないパターンマッチングが可能となる。
【００４４】
前記数式（６）を画素で離散化すると、
【００４５】
【数４】
となり、積和計算が和の計算に単純化されるので、計算が高速化する。
【００４７】
平均値の減算を含む正規化相関演算も、同様に相互相関係数の積和計算は和の計算に単純化できるので、同様の効果を得ることができる。
【００４８】
（２）本発明に関連する形態
パターンマッチングの検出能力を高めるのに重要なファクタとしてパターン画像登録がある。パターンの形状だけでなく、対象物・背景の濃度分布がマッチングの一致度を高めるキーである。
【００４９】
正規化相関係数Ｃｒの定義式に従えば、高い一致度を得る（Ｃｒ〜１）ためには、パターン画像（パターンマッチング用の基準画像）と入力画像（計測対象入力画像）の対象物の形状がほぼ合同で、パターン画像と入力画像の対象物・背景の濃度分布が相似である必要がある。
【００５０】
プリント基板の背景には、配線パターン、シルク、部分汚れ、レジスト、フラックス等の外乱があるので、定型的ランド、はんだ、実装部品、ロット＃のパターンマッチングの際に、パターン画像と入力画像の背景部分で非相似アンマッチングが起こる。このため全体として一致度が低下して正規化相関係数値が小さくなり、パターンマッチングが不成功に終わることがあった。
【００５１】
そこで以下のようにしてパターン画像の対象物／背景を分離し、背景を除外して対象物のみパターンマッチングを行えば、背景の外乱の影響を小さくできる。すなわち対象物パターン画像のマッチングを行うために、パターン画像登録の段階で、対象物と背景の濃度分布を分離して登録するものである。
【００５２】
本発明に関連する形態においても、前記と同様に図１のシステムを用いて計測がなされる。図５、図６および図７は本発明による計測方法の一実施形態例のフローチャートであり、図５は定型パターン（定型的なランド、はんだ、実装部分）の場合のパターン画像登録処理の手順を示し、図６は任意形状、文字列の場合のパターン画像登録処理の手順を示し、図７はパターンマッチング処理の手順を示している。
【００５３】
図５、図６において、まず対象物の原画像を表示する。そして定型パターンの場合は、既に登録されている雛形リストから定型パターンを選択し、サイズを指定し、定型パターン内外の濃度を指定することで、対象物と背景とを分離する。また任意形状の場合は、輪郭抽出を行うことで対象物／背景の分離を行う。
【００５４】
そしてノイズ平滑化、相関係数計算高速化のために対象物と背景の濃度としてそれぞれの原画像の平均濃度を指定する。或は背景情報を除外するので、対象物＝１、背景＝０と濃度指定しても良い。またオプションとして、原画像の濃度分布やユーザ定義濃度分布を使用することもできる。
【００５５】
そして正規化相関係数の計算のために、パターン画像の自己相関係数の計算を行う。パターンマッチングは、パターン画像の対象物部分のみについて行い背景は除外するので、自己相関係数の計算も対象物部分についてのみ行う（パターン画像の対象物領域自己相関係数）。
【００５６】
これは、パターン画像の背景部マスクであって、入力画像の特定部を固定的にマスクするのとは異なり、サーチ枠内入力画像をパターン画像でスキャンするときに、背景部をマスクして対象部のみのパターンマッチングを行う一種の自動マスクとなる。
【００５７】
次に図７において、パターン画像の対象物部分とサーチ枠内の入力画像との間でパターンマッチングを行う。まずサーチ枠を設定し、サーチ枠内で、対象物を検出するためにパターン画像によるスキャンを行う。このスキャンの過程で、パターン画像の対象物部分と位置的に対応する入力画像との間で相互相関係数の計算を行う。また、パターン画像対象物領域に対応する入力画像の自己相関係数を計算する。そして、パターン画像の対象部分と対応する入力画像との間で正規化相関係数を求める。パターン画像から背景部分を除外しているので、背景の外乱の影響を最小限に抑えられ、計算時間の短縮に寄与する。
【００５８】
前記スキャン処理が全て終了すれば、正規化相関係数の一番大きい値とパターン画像の位置を選び出す。パターン画像の位置はとりもなおさずパターン検出位置となる。
【００５９】
図１０はパターン画像と対象物／背景分離の様子を示しているが、本発明では、図１０のように背景を除外したものでパターンマッチングを行うので、図１１のようなシェーディングのある入力画像であっても、そのシェーディングの影響を抑えることができる。
【００６０】
前記正規化相関係数Ｃｒは前記数式（１）のように表現される。パターン画像の対象物／背景の濃度分布はそれぞれ一定の平均値であるので、相互相関係数は次の数式（８）のように表される。
【００６１】
【数５】
パターン画像から背景部分を除外するので、前記数式（８）の背景の項は無視する。
【００６３】
また自己相関係数は次の数式（９）、（１０）のように表される。
【００６４】
【数６】
前記数式（９）、（１０）の背景の項は無視する。
【００６６】
従って、正規化相関係数Ｃｒは次の数式（１１）のように、背景部を除外した対象物のみの項からなる式で表されるので、背景の外乱の影響の抑止が可能となるとともに、パターンマッチング処理が高速化する。
【００６７】
【数７】
平均値の減算を含む正規化相関演算も、同様に背景部を除去した対象物のみの項からなる式に単純化できるので、同様の効果を得ることが出来る。
【００６９】
なお、本発明は、ＣＰＵのソフトウェア処理により、リアルタイムのパターンマッチングを実現し、専用の高速画像処理ボードを使用しないことで、システム構成の単純化とコストダウンを実現する。従って、上記の各手順をＣＰＵに実行させるプログラムを、ＣＰＵが読取可能な記録媒体（例えば、フロッピーディスクやＣＤ−ＲＯＭなど）に記録して配布することが可能である。
【００７０】
【発明の効果】
以上の説明で明らかなように、本発明によれば、パターンマッチング用の基準画像の対象物と背景を分離し、前記基準画像の対象物、背景の濃度値が計測対象入力画像の対象物、背景の濃度分布平均値と等しいか相似となるような高原状濃度関数をパターンマッチング用の基準画像として登録し、前記分離された対象物領域の基準画像とそれに対応する前記入力画像との間の正規化相関係数の相互相関係数を計算し、前記分離された背景領域の基準画像とそれに対応する前記入力画像との間の正規化相関係数の相互相関係数を計算し、前記基準画像の対象物と背景の濃度分布を矩形状関数で表現し、相互相関係数の積和計算を和の計算に簡単化した計算によって、前記基準画像と前記入力画像の間で正規化相関係数を計算するように構成したので、次のような優れた効果が得られる。
【００７１】
（１）パターンマッチング用の基準画像の対象部と背景部の濃度分布を矩形状関数で表現し、正規化相関係数の積和計算を和の計算に単純化することにより、画像濃淡ムラのノイズがフィルタリングされてパターン検出能力が向上するとともに、パターンマッチングの処理時間が大幅に短縮する。
【００７３】
（２）パターンマッチング処理が高速化されるため、専用の高速画像処理ボードが不要になり、計測装置のシステムがシンプルかつローコストになる。また、高速画像処理ボードを使用するための制約がなくなってソフトウェア処理による自由度が得られ、計測対象に最適な計測アルゴリズムが組み込めるので、計測精度が向上する。
【図面の簡単な説明】
【図１】 本発明の実施形態例の方法を実行するブロック構成例を示す図である。
【図２】 本発明の一実施形態例における、定型パターンのパターン画像の登録手順例を示すフロー図である。
【図３】 本発明の一実施形態例における、任意形状のパターン画像の登録手順例を示すフロー図である。
【図４】 本発明の一実施形態例における、パターンマッチングの手順例を示すフロー図である。
【図５】 本発明に関連する形態例における、定型パターンのパターン画像の登録手順例を示すフロー図である。
【図６】 本発明に関連する形態例における、任意形状のパターン画像の登録手順例を示すフロー図である。
【図７】 本発明に関連する形態例における、パターンマッチングの手順例を示すフロー図である。
【図８】 本発明の実施形態例におけるパターン画像と濃度分布の関係を表し、（ａ）は平面図、（ｂ）は分布特性図である。
【図９】 本発明の実施形態例における入力画像と濃度分布の関係を表し、（ａ）は平面図、（ｂ）分布特性図である。
【図１０】 本発明に関連する形態例におけるパターン画像と対象物／背景分離を示す説明図である。
【図１１】 本発明に関連する形態例におけるシェーディングのある入力画像の説明図である。
【図１２】 はんだレベラ基準マークを表す説明図である。
【符号の説明】
１…照明装置
２…撮像装置
３…記憶装置（画像メモリ）
４…ＣＰＵ（処理装置）
５…表示装置
３１…記憶装置（ハードディスク）[0001]
BACKGROUND OF THE INVENTION
The present invention recognizes and positions fiducial marks, lands, mounting parts, solder, fiducial marks on screen printing masks, plate cutting patterns, etc. on a printed circuit board, flip chip, chip scale package (CSP), ball grid The present invention relates to a measurement technique based on image recognition for recognizing and positioning reference marks, lands, bumps, and the like of arrays (BGA) and multi-chip modules (MCM), and performing measurement and inspection.
[0002]
[Prior art]
Conventionally, normalized correlation method pattern matching is often used as a method for detecting an object of a fixed pattern from an image. However, this pattern image (reference image for pattern matching) and input image (measurement target image) can be pattern-matched by overlaying the pattern image on the input image in the search frame and multiplying each of the corresponding pixels. Calculation is performed to obtain a normalized correlation coefficient value. In addition, since the iterative calculation process of obtaining a normalized correlation coefficient by shifting the pattern image little by little with respect to the input image in the search frame and obtaining the maximum value is performed by the round robin method, the calculation amount is enormous and the calculation time is It takes a lot.
[0003]
[Problems to be solved by the invention]
(1) Problem of Normalized Correlation Pattern Matching In the above-described conventional measuring apparatus based on image recognition, the reference marks and lands of the solder leveler are irregularly reflected due to irregularities on the surface, so that unevenness of density occurs even in the grayscale image of image processing. When performing normalized correlation method pattern matching between the pattern image captured from the original image and the input image, the matching degree decreases and the normalized correlation coefficient value decreases due to the different shading unevenness patterns of both images. Matching becomes difficult.
[0004]
Further, when performing normalized correlation method pattern matching between a template fixed pattern image and an input image, pattern matching becomes difficult if there is a difference between the two density distributions (the similarity is not sufficient). For this reason, there has been a problem that the position of the reference mark / land of the solder leveler cannot be sufficiently detected as shown in FIG.
[0005]
Furthermore, in the conventional normalized correlation method pattern matching, when the pattern image is scanned within the search frame of the input image, the product sum calculation process of the normalized correlation coefficient is performed between the pattern image and the corresponding input image. It took a lot of calculation processing time to repeat. For this reason, the CPU (central processing unit) of a personal computer cannot perform real-time processing, requires a dedicated high-speed image processing board, restricts the development of unique algorithms, complicates the system configuration, and increases costs. It was.
[0006]
(2) Problem of character detection Conventionally, when detecting a character string such as lot #, an original image of a character string is registered as a pattern figure, and a pattern matching method is used with an input image of a character string to be detected. It was. In this case, if there is shading (shading), silk, partial dirt, etc. on the background substrate of the character string, the normalized correlation coefficient value is remarkably lowered and it may not be recognized as the same character string.
[0007]
For example, as shown in FIG. 11, when the black lot number is printed on the dark green substrate non-wiring portion resist, the contrast between the black characters and the dark green background shading is not sufficient and integrated. The lot number could not be identified. This is because the character string and the background are all subjected to pattern matching as a single pattern, and therefore, when a disturbance enters the background, it is affected by it.
[0008]
The human eye can determine the character string from the feature information of the object even if there is a slight disturbance in the background. As a detection method that is not affected by background disturbance, a method that excludes the background and performs pattern matching of only the target object is necessary.
[0009]
(3) Problem of detection of land / solder / mounting parts Even in detection of standard land, solder, and mounting parts, a method of registering each original image as a pattern figure and pattern matching with a target input image Has been adopted.
[0010]
However, if there is a disturbance factor such as a wiring pattern, silk, resist, or flux in the background around the land / solder, a non-uniform and uneven density distribution or shading unevenness occurs in the background image. The wiring pattern creates a complex density distribution, white silk causes a density peak equivalent to the object to appear in the background, and resist and flux cause background density unevenness and density level fluctuations, which are major disturbance factors.
[0011]
For this reason, since background pattern matching is not successful, the normalized correlation coefficient value may decrease and pattern detection may fail.
[0012]
The present invention has been made in view of the above points, and its purpose is to simplify the calculation of the normalized correlation coefficient to smooth the noise of the input image and increase the pattern detection capability, and to perform gray processing and binarization processing. An object of the present invention is to provide a measurement method and a recording medium based on image recognition, which can develop an algorithm with good adaptability without using an image processing board, and can simplify the system configuration and reduce the cost.
[0013]
[Means for Solving the Problems]
(1) The gray processing is enormous pixel data to be handled, it takes a long time to process, whereas, by simplifying the cross-correlation coefficient sum calculations using a rectangular function pattern models The pattern matching processing time is greatly shortened.
[0014]
Furthermore, the noise of the input image can be smoothed by simplifying the product-sum calculation of the cross-correlation coefficient to the sum calculation.
[0015]
In addition, using an image processing board for gray processing and binarization processing may cause a cost increase due to technical limitations. However, if a method of processing on the CPU by increasing the speed of the gray processing algorithm is adopted, It is possible to develop algorithms with good compatibility, simplify the system configuration, and reduce costs.
[0016]
(2) Therefore, in the measurement method by image recognition of the present invention,
In the measurement method by image recognition that performs grayscale normalized correlation method pattern matching and detects the measurement object,
Separate the object and background of the reference image for pattern matching,
The reference image object, the density value of the background is registered as a reference image for pattern matching such that the density value of the background is equal to or similar to the object of the input image to be measured, the density distribution average value of the background,
Calculating a cross-correlation coefficient of a normalized correlation coefficient between the reference image of the separated object region and the corresponding input image;
Calculating a cross-correlation coefficient of a normalized correlation coefficient between the reference image of the separated background region and the corresponding input image;
Normalization between the reference image and the input image by expressing the density distribution of the object and background of the reference image with a rectangular function, and simplifying the product-sum calculation of the cross-correlation coefficient to the calculation of the sum Characterized by calculating the correlation coefficient,
Also, separate the object and background of the reference image for pattern matching,
Object of the reference image, and registers the plateau density function such as the density distribution of a background becomes constant value of the respective high or low as a reference image for pattern matching,
Calculating a cross-correlation coefficient of a normalized correlation coefficient between the reference image of the separated object region and the corresponding input image;
Calculating a cross-correlation coefficient of a normalized correlation coefficient between the reference image of the separated background region and the corresponding input image;
Normalization between the reference image and the input image by expressing the density distribution of the object and background of the reference image with a rectangular function, and simplifying the product-sum calculation of the cross-correlation coefficient to the calculation of the sum Characterized by calculating the correlation coefficient,
The plateau density function designates a fixed pattern shape selected from the template list or an arbitrary shape, or performs contour extraction of an object, and extracts the contour of the fixed pattern shape or arbitrary shape or the extracted contour Is overwritten to match the input image to be measured, and the inside of the contour is used as the object region and the outside of the contour is used as the background region to take the average value of each density distribution, or specify a constant value of the density And is obtained by
The plateau density function extracts a contour of an object having an arbitrary shape by a predetermined contour extraction method, overwrites the contour of the arbitrary shape so as to coincide with the measurement target input image, and sets the inside of the contour to the object region. In addition, it is characterized in that it is obtained by taking the average value of each density distribution with the outside of the contour as the background area, or by specifying a constant value of density .
[0017]
(3) The recording medium of the present invention is characterized in that a program for causing a computer to execute the measurement method by image recognition described above is recorded on a computer-readable medium.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(1) Embodiment of the Present Invention Pattern image registration is an important factor for enhancing the pattern matching detection capability. Not only the pattern shape but also the density distribution of the object / background is a key to increase the matching degree.
[0019]
According to the definition formula of the normalized correlation coefficient Cr, in order to obtain a high degree of coincidence (Cr˜1), the object of the pattern image (reference image for pattern matching) and the input image (measurement target input image) The shape and area (size) must be almost equal.
[0020]
On the other hand, regarding the density distribution, it is sufficient if the density distribution of the object / background of the pattern image and the input image is similar. An example of the pattern image and density distribution is shown in FIG. 8, and an example of the input image and density distribution is shown in FIG.
[0021]
In addition, if there is light and dark unevenness noise due to irregular reflection like a solder leveler, the similarity between the two density distributions will be lost due to different light and dark uneven patterns between the input image and the pattern image that captured the original image, and the degree of coincidence will be reduced. Degradation may result in unsuccessful pattern matching.
[0022]
Therefore, in order to smooth the noise of the object / background on the pattern image side, the average density is set as the density of the object / background as the density distribution of the pattern image. This density distribution function takes a high level concentration constant value in the domain where the object exists, and a low level density constant value in the background domain, and the plateau function or its cross section becomes a rectangular function (originally This is a function suitable for the reference mark and land model, which has a fixed shape, a constant surface property inside the surface, and a uniform density).
[0023]
Conversely, there are cases where the density level is reversed such that the average density of the object is set to a low level and the average density of the background is set to a high level.
[0024]
Using this plateau function or rectangular function, when calculating the normalized correlation coefficient, the product-sum calculation of the pixel values of the pattern image and the input image is simplified to the sum calculation of the pixel values of the input image. The noise on the input image side is also smoothed and averaged. That is, since pattern matching with smoothed noise is performed, the pattern matching detection capability is greatly improved against noise.
[0025]
FIG. 1 is a diagram showing a block configuration example for carrying out an embodiment of a measurement method according to the present invention. In FIG. 1, 1 is an illumination device that illuminates a measurement target, 2 is a pattern image such as a reference mark, and an imaging device such as a camera that captures a measurement target, 3 is a storage device (image memory) that captures the captured image, 31 Is a storage device (hard disk) for storing pattern images on the storage device (image memory) 3, 4 is a processing device (CPU) that performs image recognition and measurement on the input image by software image processing, and 5 is an image display Display device.
[0026]
2, 3 and 4 are flowcharts of an embodiment of the measurement method according to the present invention. FIG. 2 shows a procedure of pattern image registration processing in the case of a fixed pattern, and FIG. 3 shows a pattern in the case of an arbitrary shape. The procedure of the image registration process is shown, and FIG. 4 shows the procedure of the pattern matching process.
[0027]
In these figures, in the case of a fixed pattern, first, an original image of an object is displayed. Then, a fixed pattern is selected from a template list that has already been registered, a size is designated, and the pattern is displayed on the original image to confirm that the pattern matches the shape. The size is specified by specifying a typical pattern representative point or setting a size parameter. For example, in the case of a circle, a center and a point on the circumference may be designated, and in the case of a complicated shape, a polygon display may be used.
[0028]
The density of the object / background needs to be set for each average density. As a default function, the density setting of the object sets an average density obtained by averaging the density inside the pattern displayed on the original image.
[0029]
For the background density setting, an average density obtained by averaging the density outside the pattern is set. However, the density of the object / background can also be specified as an option.
[0030]
Thereafter, the autocorrelation coefficient of the pattern image used for calculation of the normalized correlation coefficient is obtained.
[0031]
When the target has an arbitrary shape that is not in the template list, binarization is performed by specifying a threshold value, and the target is separated from the background to extract the contour, or the contour is extracted by primary / secondary differentiation. The pattern obtained in this way is displayed on the original image and the matching of the shapes is confirmed. Then, the average density of the object and the background is set in the same manner as described above, and the autocorrelation coefficient of the pattern image used for the calculation of the normalized correlation coefficient is obtained.
[0032]
Next, in FIG. 4, pattern matching is performed between the input image and the pattern image in the search frame. Then, scanning with a pattern image is performed in order to detect an object within the search frame. In this scanning process, a normalized correlation coefficient is calculated between the pattern image and the input image corresponding to the position. Since the autocorrelation coefficient of the pattern image has already been obtained, the autocorrelation coefficient of the input image and the cross correlation coefficient between the pattern image and the input image are obtained. Then, a normalized correlation coefficient is obtained from these correlation coefficients.
[0033]
The cross-correlation coefficient is obtained by calculating the product sum of the pixel values of both images. However, since the density distribution of the pattern image follows a rectangular function, it is a constant value in the domain of the object / background. It is only necessary to calculate the sum of the pixel values of the input image.
[0034]
Simplifying the product-sum calculation to the sum calculation not only helps the noise smoothing described above, but also contributes to a significant reduction in calculation time. In particular, since the calculation of the cross-correlation coefficient in the scanning process is repeated repeatedly, shortening the correlation coefficient calculation time leads to a significant reduction in the pattern matching processing time.
[0035]
When all the scanning processes are completed, the largest normalized correlation coefficient and the position of the pattern image are selected. The position of the pattern image is not limited to the pattern detection position.
[0036]
Hereinafter, with respect to the calculation of the normalized correlation coefficient, an example of the movement normalized correlation calculation not including the subtraction of the average value will be shown. The normalized correlation coefficient Cr is expressed as the following formula (1). Note that Sp in Expression (1) corresponds to Sp in FIG.
[0037]
[Expression 1]
The normalized correlation coefficient is derived from the following mathematical formulas (2), (3), and (4), and has the following property (5).
[0039]
[Expression 2]
As shown in the equality establishment conditional expression of Equation (5), when the density distribution functions of the pattern image and the input image are similar (t∽f), the normalized correlation coefficient Cr = 1 (max). The density distribution function of the pattern image is preferably similar to the average density distribution of the object / background of the input image. Therefore, as shown in FIG. 8, the density distribution function t of the pattern image is set to the average value (average value t F , t B ) of the object / background density distribution of the original pattern image.
[0041]
At this time, the cross-correlation coefficient of the input image / pattern image in Equation (1) can be transformed into the following Equation (6).
[0042]
[Equation 3]
Therefore, the cross-correlation coefficient (product sum calculation) is an integration (sum calculation) of the density distribution f of the input image, and noise is smoothed, and pattern matching that is not affected by noise is possible.
[0044]
When Equation (6) is discretized with pixels,
[0045]
[Expression 4]
Since the product-sum calculation is simplified to the sum calculation, the calculation speeds up.
[0047]
Similarly, the normalized correlation calculation including the subtraction of the average value can similarly obtain the same effect because the product-sum calculation of the cross-correlation coefficient can be simplified to the calculation of the sum.
[0048]
(2) Pattern image registration is an important factor for enhancing the detection capability of pattern matching that relates to the present invention . Not only the pattern shape but also the density distribution of the object / background is a key to increase the matching degree.
[0049]
According to the definition formula of the normalized correlation coefficient Cr, in order to obtain a high degree of coincidence (Cr˜1), the object of the pattern image (reference image for pattern matching) and the input image (measurement target input image) The shapes should be almost congruent, and the pattern image and the input image should have similar object / background density distributions.
[0050]
Since there are disturbances such as wiring patterns, silk, partial stains, resists, flux, etc. on the printed circuit board background, the pattern image and input image background when pattern matching of regular land, solder, mounted parts, lot # Unsimilar unmatching occurs in the part. For this reason, the matching degree as a whole decreases, the normalized correlation coefficient value decreases, and pattern matching may end unsuccessfully.
[0051]
Therefore, if the object / background of the pattern image is separated as described below, and only the object is subjected to pattern matching while excluding the background, the influence of background disturbance can be reduced. That is, in order to perform matching of the object pattern image, the density distribution of the object and the background is separated and registered at the pattern image registration stage.
[0052]
Also in the form related to the present invention, measurement is performed using the system of FIG. 1 as described above. 5, FIG. 6 and FIG. 7 are flowcharts of an embodiment of the measuring method according to the present invention. FIG. 5 shows the procedure of pattern image registration processing in the case of a standard pattern (standard land, solder, mounting portion). FIG. 6 shows the procedure of pattern image registration processing in the case of an arbitrary shape and character string, and FIG. 7 shows the procedure of pattern matching processing.
[0053]
5 and 6, first, the original image of the object is displayed. In the case of a fixed pattern, a fixed pattern is selected from a template list that has already been registered, a size is specified, and a density inside and outside the fixed pattern is specified, thereby separating the object and the background. In the case of an arbitrary shape, the object / background is separated by performing contour extraction.
[0054]
Then, the average density of each original image is designated as the density of the object and the background in order to smooth the noise and increase the correlation coefficient calculation speed. Alternatively, since background information is excluded, the density may be designated as object = 1 and background = 0. As an option, a density distribution of the original image or a user-defined density distribution can be used.
[0055]
Then, the autocorrelation coefficient of the pattern image is calculated for the calculation of the normalized correlation coefficient. Since the pattern matching is performed only on the object portion of the pattern image and the background is excluded, the autocorrelation coefficient is also calculated only on the object portion (object region autocorrelation coefficient of the pattern image).
[0056]
This is a background mask of the pattern image. Unlike the fixed masking of the specific part of the input image, when scanning the input image in the search frame with the pattern image, the background part is masked. This is a kind of automatic mask that performs pattern matching of only the part.
[0057]
Next, in FIG. 7, pattern matching is performed between the object portion of the pattern image and the input image in the search frame. First, a search frame is set, and scanning with a pattern image is performed in order to detect an object within the search frame. In the course of this scanning, the cross-correlation coefficient is calculated between the object portion of the pattern image and the input image corresponding to the position. In addition, the autocorrelation coefficient of the input image corresponding to the pattern image object region is calculated. Then, a normalized correlation coefficient is obtained between the target portion of the pattern image and the corresponding input image. Since the background portion is excluded from the pattern image, the influence of the background disturbance can be minimized, and the calculation time can be shortened.
[0058]
When all the scanning processes are completed, the largest normalized correlation coefficient and the position of the pattern image are selected. The position of the pattern image is not limited to the pattern detection position.
[0059]
FIG. 10 shows how the pattern image and the object / background are separated. In the present invention, since pattern matching is performed with the background excluded as shown in FIG. 10, an input image with shading as shown in FIG. Even so, the influence of the shading can be suppressed.
[0060]
The normalized correlation coefficient Cr is expressed as Equation (1). Since the density distribution of the object / background of the pattern image is a constant average value, the cross-correlation coefficient is expressed as the following equation (8).
[0061]
[Equation 5]
Since the background portion is excluded from the pattern image, the background term in the equation (8) is ignored.
[0063]
The autocorrelation coefficient is expressed as the following mathematical formulas (9) and (10).
[0064]
[Formula 6]
The background terms in the equations (9) and (10) are ignored.
[0066]
Therefore, since the normalized correlation coefficient Cr is expressed by an expression consisting of only the term of the object excluding the background portion as in the following formula (11), the influence of background disturbance can be suppressed. The pattern matching process is accelerated.
[0067]
[Expression 7]
Since the normalized correlation calculation including the subtraction of the average value can be similarly simplified to an expression including only the term of the object from which the background portion is removed, the same effect can be obtained.
[0069]
In the present invention, real-time pattern matching is realized by CPU software processing, and the system configuration is simplified and the cost is reduced by not using a dedicated high-speed image processing board. Therefore, it is possible to record and distribute a program that causes the CPU to execute each of the above procedures on a recording medium (for example, a floppy disk or a CD-ROM) that can be read by the CPU.
[0070]
【The invention's effect】
As is clear from the above description, according to the present invention, the object of the reference image for pattern matching and the background are separated, and the object of the reference image, the density value of the background is the object of the measurement target input image, A plateau density function that is equal to or similar to the average density distribution of the background is registered as a reference image for pattern matching, and the reference image of the separated object region and the input image corresponding thereto are registered . Calculating a cross-correlation coefficient of a normalized correlation coefficient; calculating a cross-correlation coefficient of a normalized correlation coefficient between the reference image of the separated background region and the input image corresponding thereto; and Represents the density distribution of the object and background of the image with a rectangular function, and the normalized correlation between the reference image and the input image by simplifying the product-sum calculation of the cross-correlation coefficient to the calculation of the sum Configured to calculate numbers In, excellent effects such as the following can be obtained.
[0071]
(1) By expressing the density distribution of the target part and background part of the reference image for pattern matching with a rectangular function, and simplifying the sum of products calculation of the normalized correlation coefficient to the calculation of the sum, The noise is filtered to improve the pattern detection capability, and the pattern matching processing time is greatly shortened.
[0073]
(2) Since the pattern matching process is speeded up, a dedicated high-speed image processing board is not required, and the system of the measuring apparatus is simple and low-cost. In addition, since there are no restrictions for using the high-speed image processing board, a degree of freedom by software processing is obtained, and a measurement algorithm optimal for a measurement target can be incorporated, so that measurement accuracy is improved.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an example of a block configuration for executing a method according to an exemplary embodiment of the present invention.
FIG. 2 is a flowchart showing an example of a procedure for registering a pattern image of a fixed pattern in an embodiment of the present invention.
FIG. 3 is a flowchart showing an example of a procedure for registering a pattern image having an arbitrary shape according to an embodiment of the present invention.
FIG. 4 is a flowchart showing an example of a pattern matching procedure according to an embodiment of the present invention.
FIG. 5 is a flowchart showing an example of a procedure for registering a pattern image of a fixed pattern in an embodiment related to the present invention .
FIG. 6 is a flowchart showing an example of a procedure for registering a pattern image having an arbitrary shape in an embodiment related to the present invention .
FIG. 7 is a flowchart showing an example of a procedure for pattern matching in an embodiment related to the present invention .
8A and 8B show a relationship between a pattern image and a density distribution in an embodiment of the present invention, where FIG. 8A is a plan view and FIG. 8B is a distribution characteristic diagram.
9A and 9B show a relationship between an input image and a density distribution in an embodiment of the present invention, where FIG. 9A is a plan view and FIG. 9B is a distribution characteristic diagram.
FIG. 10 is an explanatory diagram showing a pattern image and an object / background separation in a form example related to the present invention .
FIG. 11 is an explanatory diagram of an input image with shading in an embodiment related to the present invention .
FIG. 12 is an explanatory diagram showing a solder leveler reference mark.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Illuminating device 2 ...
4 ... CPU (processing device)
5 ...
Claims (5)
パターンマッチング用の基準画像の対象物と背景を分離し、
前記基準画像の対象物、背景の濃度値が計測対象入力画像の対象物、背景の濃度分布平均値と等しいか相似となるような高原状濃度関数をパターンマッチング用の基準画像として登録し、
前記分離された対象物領域の基準画像とそれに対応する前記入力画像との間の正規化相関係数の相互相関係数を計算し、
前記分離された背景領域の基準画像とそれに対応する前記入力画像との間の正規化相関係数の相互相関係数を計算し、
前記基準画像の対象物と背景の濃度分布を矩形状関数で表現し、相互相関係数の積和計算を和の計算に簡単化した計算によって、前記基準画像と前記入力画像の間で正規化相関係数を計算することを特徴とする画像認識による計測方法。In the measurement method by image recognition that performs grayscale normalized correlation method pattern matching and detects the measurement object,
Separate the object and background of the reference image for pattern matching,
The reference image object, the density value of the background is registered as a reference image for pattern matching such that the density value of the background is equal to or similar to the object of the measurement target input image, the background density distribution average value,
Calculating a cross-correlation coefficient of a normalized correlation coefficient between the reference image of the separated object region and the corresponding input image;
Calculating a cross-correlation coefficient of a normalized correlation coefficient between the reference image of the separated background region and the corresponding input image;
Normalization between the reference image and the input image is achieved by calculating the cross-correlation coefficient product-sum calculation as a sum calculation by expressing the object and background density distribution of the reference image with a rectangular function . A measurement method based on image recognition characterized by calculating a correlation coefficient.
パターンマッチング用の基準画像の対象物と背景を分離し、
前記基準画像の対象物、背景の濃度分布がそれぞれハイ又はローの一定値となるような高原状濃度関数をパターンマッチング用の基準画像として登録し、
前記分離された対象物領域の基準画像とそれに対応する前記入力画像との間の正規化相関係数の相互相関係数を計算し、
前記分離された背景領域の基準画像とそれに対応する前記入力画像との間の正規化相関係数の相互相関係数を計算し、
前記基準画像の対象物と背景の濃度分布を矩形状関数で表現し、相互相関係数の積和計算を和の計算に簡単化した計算によって、前記基準画像と前記入力画像の間で正規化相関係数を計算することを特徴とする画像認識による計測方法。In the measurement method by image recognition that performs grayscale normalized correlation method pattern matching and detects the measurement object,
Separate the object and background of the reference image for pattern matching,
Object of the reference image, and registers the plateau density function such as the density distribution of a background becomes constant value of the respective high or low as a reference image for pattern matching,
Calculating a cross-correlation coefficient of a normalized correlation coefficient between the reference image of the separated object region and the corresponding input image;
Calculating a cross-correlation coefficient of a normalized correlation coefficient between the reference image of the separated background region and the corresponding input image;
Normalization between the reference image and the input image is achieved by calculating the cross-correlation coefficient product-sum calculation as a sum calculation by expressing the object and background density distribution of the reference image with a rectangular function . A measurement method based on image recognition characterized by calculating a correlation coefficient.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35432297A JP4040732B2 (en) | 1997-12-24 | 1997-12-24 | Measuring method by image recognition and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35432297A JP4040732B2 (en) | 1997-12-24 | 1997-12-24 | Measuring method by image recognition and recording medium |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007262976A Division JP2008077668A (en) | 2007-10-09 | 2007-10-09 | Measuring method using image recognition and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11185039A JPH11185039A (en) | 1999-07-09 |
| JP4040732B2 true JP4040732B2 (en) | 2008-01-30 |
Family
ID=18436782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35432297A Expired - Fee Related JP4040732B2 (en) | 1997-12-24 | 1997-12-24 | Measuring method by image recognition and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4040732B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002190021A (en) * | 2000-12-22 | 2002-07-05 | Shinkawa Ltd | Device and method for detecting position |
| DE10132589B4 (en) | 2001-07-05 | 2005-11-03 | Koenig & Bauer Ag | Method for qualitative assessment of material |
| US7809154B2 (en) | 2003-03-07 | 2010-10-05 | Technology, Patents & Licensing, Inc. | Video entity recognition in compressed digital video streams |
| GB2423881B (en) * | 2005-03-01 | 2011-03-09 | Half Minute Media Ltd | Detecting known video entities taking into account regions of disinterest |
| KR101129386B1 (en) | 2005-06-20 | 2012-03-28 | 삼성전자주식회사 | Method and apparatus for removing shading of image |
| JP4718370B2 (en) * | 2006-05-15 | 2011-07-06 | 日本電信電話株式会社 | Pattern matching apparatus, pattern matching method and program |
| CN112132798B (en) * | 2020-09-18 | 2022-04-29 | 浙江大学 | Method for detecting complex background PCB mark point image based on Mini ARU-Net network |
| CN116342612A (en) * | 2023-05-31 | 2023-06-27 | 深圳市微特智能系统有限公司 | PCB mark point extraction method, device and storage medium |
-
1997
- 1997-12-24 JP JP35432297A patent/JP4040732B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11185039A (en) | 1999-07-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2001133418A (en) | Method and apparatus for defect detection based on shape feature | |
| JP4040732B2 (en) | Measuring method by image recognition and recording medium | |
| CN108709500B (en) | Circuit board element positioning and matching method | |
| CN114266764A (en) | Character integrity detection method and device for printed label | |
| CN113283439B (en) | Intelligent counting method, device and system based on image recognition | |
| CN110288040A (en) | A kind of similar evaluation method of image based on validating topology and equipment | |
| CN114187253A (en) | Circuit board part installation detection method | |
| US7058221B1 (en) | Method of recognizing object based on pattern matching and medium for recording computer program having same | |
| KR102383577B1 (en) | A method for inspecting a skeleton wafer | |
| JP4115378B2 (en) | Defect detection method | |
| JP2004096435A (en) | Image analyzing device, image analysis method, and image analysis program | |
| JP3358997B2 (en) | Engraved mark identification device | |
| JP2008077668A (en) | Measuring method using image recognition and recording medium | |
| JP3520758B2 (en) | Image recognition method | |
| JPH0791914A (en) | Detection method and device for origin of circuit substrate | |
| JP3700214B2 (en) | Dimension measuring device | |
| JP2000207557A (en) | Method for measuring quantity of positional deviation | |
| JPH06337922A (en) | Method for evaluating pattern | |
| JPH08159712A (en) | Pattern recognition method | |
| JPH09128537A (en) | Method and device for collating seal impression | |
| CN114324405B (en) | Data labeling system based on film detection | |
| JP4465911B2 (en) | Image processing apparatus and method | |
| JPH0760459B2 (en) | Corner detector | |
| JPH11351835A (en) | Method for extracting contour line of cutting edge by processing taken image of tool | |
| JPH0749935B2 (en) | Object recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070807 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071009 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071030 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071108 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121116 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |