JP4479999B2 - パターンマッチング用の図形選択支援装置、図形選択支援方法およびプログラム - Google Patents

パターンマッチング用の図形選択支援装置、図形選択支援方法およびプログラム Download PDF

Info

Publication number
JP4479999B2
JP4479999B2 JP2004149859A JP2004149859A JP4479999B2 JP 4479999 B2 JP4479999 B2 JP 4479999B2 JP 2004149859 A JP2004149859 A JP 2004149859A JP 2004149859 A JP2004149859 A JP 2004149859A JP 4479999 B2 JP4479999 B2 JP 4479999B2
Authority
JP
Japan
Prior art keywords
graphic
reference image
figures
pattern matching
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004149859A
Other languages
English (en)
Other versions
JP2005332202A (ja
Inventor
洋 佐野
有美 早川
淳志 今村
栄治 西原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Dainippon Screen Manufacturing Co Ltd
Original Assignee
Screen Holdings Co Ltd
Dainippon Screen Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd, Dainippon Screen Manufacturing Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2004149859A priority Critical patent/JP4479999B2/ja
Priority to US11/098,388 priority patent/US7463763B2/en
Priority to CNB2005100650477A priority patent/CN100349174C/zh
Priority to TW094113084A priority patent/TWI262288B/zh
Priority to KR1020050040036A priority patent/KR100689793B1/ko
Publication of JP2005332202A publication Critical patent/JP2005332202A/ja
Application granted granted Critical
Publication of JP4479999B2 publication Critical patent/JP4479999B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、パターンマッチングによる参照画像に対する対象画像の相対位置の検出に利用する基準図形を操作者が参照画像から選択する際の支援を行う技術に関する。
従来より、参照画像に対する対象画像の相対的な位置をパターンマッチングにより検出することが行われており、その際には、パターンマッチング用の基準図形が操作者により指定される。例えば、プリント配線基板、半導体基板、ガラス基板等(以下、「基板」という。)上に形成されたパターンを検査する際には、事前に欠陥等の生じていない基板上に形成されたパターン中の所望の部位を含む領域を撮像し、取得されたカラーの参照画像を2値化して2値の参照画像中の当該部位に対応する図形が操作者により基準図形として指定される。そして、検査対象の基板を撮像して取得される対象画像の参照画像に対する相対的な位置が、指定された基準図形を利用したパターンマッチングにより検出されることにより、撮像位置が基板上の所定の位置へと精度よく合わせられ(すなわち、位置決めされ)、パターンの検査が行われる。
なお、特許文献1では、様々な設定図形に対して複数の形状特徴量にそれぞれ対応する複数のメンバシップ関数を準備し、2値の対象画像中の複数の図形のそれぞれに対して、求められる複数の形状特徴量からメンバシップ関数を用いて各設定図形に対する適合度を求め、複数の適合度を比較することにより各図形が属する設定図形を求める手法が開示されている。
特開平5−6421号公報
ところで、基準図形として指定された図形に類似する他のものが対象画像中に存在する場合には、パターンマッチングの際に基準図形の誤認識が生じてしまい、参照画像に対する対象画像の相対的な位置を正確に検出することができない場合がある。また、基準図形の誤認識を防止するために、操作者が、参照画像中の基準図形として指定する図形の周囲において誤認識を生じさせる図形の有無を確認することも考えられるが、実際に誤認識が生じるか否かの判断は容易ではなく作業が煩雑になってしまう。
本発明は上記課題に鑑みなされたものであり、参照画像から適切な基準図形を選択してパターンマッチングにおける基準図形の誤認識を防止することを目的としている。
請求項に記載の発明は、パターンマッチングによる参照画像に対する対象画像の相対位置の検出に利用する基準図形を前記参照画像から選択する際の支援を行うパターンマッチング用の図形選択支援装置であって、参照画像から複数の図形を抽出する図形抽出部と、前記複数の図形のそれぞれが、パターンマッチング用の基準図形として他の図形から区別可能か否かを判定する図形判定部と、前記参照画像の少なくとも一部を表示する表示部と、前記表示部に表示される各図形に対応付けて前記図形判定部による判定結果を前記表示部に表示する表示制御部と、操作者による前記複数の図形からの基準図形の選択を受け付ける入力部とを備える。
請求項に記載の発明は、請求項に記載の図形選択支援装置であって、前記図形判定部により前記複数の図形の全てが他の図形から区別不能であると判定された場合に新たな参照画像が準備される。
請求項に記載の発明は、請求項1または2に記載の図形選択支援装置であって、前記表示部が、前記参照画像の周縁部以外の領域を表示可能とし、前記複数の図形のうち前記領域に含まれるものが、前記操作者による選択対象とされる
請求項に記載の発明は、パターンマッチングによる参照画像に対する対象画像の相対位置の検出に利用する基準図形を前記参照画像から選択する際の支援を行うパターンマッチング用の図形選択支援方法であって、参照画像から複数の図形を抽出する工程と、前記複数の図形のそれぞれが、パターンマッチング用の基準図形として他の図形から区別可能か否かを判定する工程と、前記判定する工程の後に、前記参照画像の少なくとも一部を表示する工程と、前記表示する工程の後に、操作者による前記複数の図形からの基準図形の選択を受け付ける工程とを備え、前記表示する工程において、表示される各図形に対応付けて判定結果が表示される
請求項に記載の発明は、パターンマッチングによる参照画像に対する対象画像の相対位置の検出に利用する基準図形を前記参照画像から操作者が選択する際に前記操作者による選択をコンピュータに支援させるプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、参照画像から複数の図形を抽出する工程と、前記複数の図形のそれぞれが、パターンマッチング用の基準図形として他の図形から区別可能か否かを判定する工程と、前記判定する工程の後に、前記参照画像の少なくとも一部を表示する工程と、前記表示する工程の後に、操作者による前記複数の図形からの基準図形の選択を受け付ける工程とを実行させ、前記表示する工程において、表示される各図形に対応付けて判定結果が表示される。
本発明によれば、判定結果を参照することにより、参照画像から適切な基準図形を容易に選択することができ、これにより、パターンマッチングにおける基準図形の誤認識を防止することができる
また、請求項の発明では、基準図形をより確実に選択することができる。
また、請求項の発明では、対象画像の位置ずれを考慮して基準図形を選択することができ、パターンマッチングにおける基準図形の誤認識をさらに防止することができる。
図1は本発明の関連技術に係る欠陥検出装置1の構成を示す図である。欠陥検出装置1は、配線を含むパターンが形成されたプリント配線基板(以下、「基板」という。)9を保持するステージ2、基板9を撮像して基板9のカラー画像(または、単色の多階調の画像であってもよい。以下、同様。)を取得する撮像部3、撮像部3に対してステージ2を相対的に移動するステージ駆動部21、および、各種演算処理を行うCPUや各種情報を記憶するメモリ等により構成されたコンピュータ4を備え、コンピュータ4は欠陥検出装置1の各構成を制御する制御部としての役割を果たす。
撮像部3は、照明光を出射する照明部31、基板9に照明光を導くとともに基板9からの光が入射する光学系32、および、光学系32により結像された基板9の像を電気信号に変換する撮像デバイス33を有し、撮像デバイス33からカラー画像のデータが出力される。ステージ駆動部21はステージ2を図1中のX方向に移動するX方向移動機構22、および、Y方向に移動するY方向移動機構23を有する。X方向移動機構22はモータ221にボールねじ(図示省略)が接続され、モータ221が回転することにより、Y方向移動機構23がガイドレール222に沿って図1中のX方向に移動する。Y方向移動機構23もX方向移動機構22と同様の構成となっており、モータ231が回転するとボールねじ(図示省略)によりステージ2がガイドレール232に沿ってY方向に移動する。
図1の欠陥検出装置1では、外部の搬送機構により検査対象の基板9がステージ2上に載置され、撮像されてカラー画像(以下、検査対象の基板9のカラー画像を「対象画像」という。)が取得される。続いて、欠陥検出装置1のパターンマッチング部(図示省略)により対象画像が2値化され、後述する処理により参照画像から予め選択される基準図形を利用したパターンマッチングを2値の対象画像に対して行うことにより、参照画像に対する対象画像の相対的な位置が検出される。そして、検出された相対位置に基づいて撮像部3による撮像位置が基板9上の所定の位置へと精度よく合わせられ(すなわち、位置決めされ)、基板9上に形成されたパターンの欠陥の検出が行われる。
次に、欠陥検出装置1において参照画像に対する対象画像の相対位置を検出する際のパターンマッチングに利用される基準図形を参照画像から選択する様子について詳説する。欠陥検出装置1ではコンピュータ4により、参照画像からの基準図形の選択を支援するパターンマッチング用の図形選択支援装置としての機能が実現される。
図2は、コンピュータ4の構成を示す図である。コンピュータ4は、図2に示すように、各種演算処理を行うCPU41、基本プログラムを記憶するROM42および各種情報を記憶するRAM43をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク44、画像等の各種情報の表示を行うディスプレイ45、操作者からの入力を受け付けるキーボード46aおよびマウス46b(以下、「入力部46」と総称する。)、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体8から情報の読み取りを行う読取装置47、並びに、欠陥検出装置1の他の構成との間で信号を送受信する通信部48が、適宜、インターフェイス(I/F)を介する等して接続される。
コンピュータ4には、事前に読取装置47を介して記録媒体8からプログラム80が読み出され、固定ディスク44に記憶される。そして、プログラム80がRAM43にコピーされるとともにCPU41がRAM43内のプログラムに従って演算処理を実行することにより(すなわち、コンピュータがプログラムを実行することにより)、コンピュータ4が操作者による基準図形の選択の支援を行う。
図3は、CPU41がプログラム80に従って動作することにより、CPU41、ROM42、RAM43、固定ディスク44等が実現する機能構成を他の構成とともに示す図であり、図3において、演算部50の各構成(図形抽出部51、図形判定部52、表示制御部53)がCPU41等により実現される機能を示す。なお、演算部50の機能は専用の電気的回路により実現されてもよく、部分的に電気的回路が用いられてもよい。
図4は、コンピュータ4が参照画像から基準図形を選択する際の支援を行う処理の流れを示す図である。まず、外部の搬送機構により欠陥が生じていない基板(以下、「参照基板9a」という。)がステージ2上に載置され、コンピュータ4の制御により参照基板9aを移動しつつ撮像することにより図5に示すカラーの参照画像61が取得され、コンピュータ4に入力されて準備される(ステップS11)。
カラーの参照画像61は図3の図形抽出部51へと入力され、所定のしきい値にて2値化されて図6に示す2値の参照画像62が取得される(ステップS12)。図形抽出部51では、さらに、ラベリングにより2値の参照画像62中の複数の孤立した領域(すなわち、周囲が異なる画素値により囲まれた領域であり、以下、単に「図形」という。)が識別されることにより、複数の図形が抽出される(ステップS13)。なお、図形抽出部51では所定の手法によりカラーの参照画像61を、それぞれが近似した値を有する画素の集合である複数の領域に分割し、各領域に「1」または「0」の画素値を付与することにより2値の参照画像を生成しつつ複数の図形が抽出されてもよい。
図7は複数の図形71が抽出された参照画像62を示す図である。図7では線の太さを変えることにより抽出された図形71と、図形71と同じ画素値を有しつつ孤立していない領域79とを区別して示している。このように、図形抽出部51では、準備されたカラーの参照画像61から2値の参照画像62を導くことにより複数の図形71が抽出される。なお、図形抽出部51では、面積や周囲長が一定の範囲内である図形71のみが抽出されてもよい。
続いて、参照画像62は表示制御部53によりディスプレイ45に表示される(ステップS14)。このとき、ディスプレイ45には図7の参照画像62のおよそ中央において破線の矩形にて囲む領域621(すなわち、参照画像62の周縁部以外の領域)のみが表示される。以下の説明において、領域621を表示領域621と呼ぶ。なお、表示領域621は位置合わせ時の対象画像とほぼ同じ大きさの領域である。
参照画像62の一部がディスプレイ45に表示されると、入力部46において操作者による複数の図形71からの一の図形71の選択が受け付けられる(ステップS15)。ここでは、操作者が、例えば、マウス46b(図2参照)を用いてディスプレイ45に表示された参照画像62の表示領域621中の円形の図形71aを選択したものとする。操作者による図形の選択が受け付けられると、ディスプレイ45に表示された参照画像62中において図形71aが、操作者により選択されていることが判別可能に、例えば、色を変えて表示される。図8に示す参照画像62では図形71aに平行斜線を付すことにより選択されていることを示している。なお、既述のように、ディスプレイ45には参照画像62中の表示領域621のみが表示されるため、複数の図形71のうち表示領域621に含まれるもののみが操作者による選択対象とされる。
図形判定部52では、複数の図形71のうちの選択された図形71aが、他の図形71から区別可能か否かが判定される(ステップS16)。具体的には、参照画像62に含まれる複数の図形71のそれぞれに対して特徴量が求められ、選択された図形71aの特徴量と他の図形71の特徴量との差が算出される。ここで、特徴量としては、例えば、周囲長、重心、半径、縦横比、面積、あるいは、真円度等である。算出された特徴量の差は予め準備されたしきい値と比較され、全ての特徴量の差がしきい値よりも大きい場合には選択された図形71aが他の図形71から区別可能と判定され、1つでもしきい値以下のものがある(すなわち、図形71aに類似する他の図形71が存在する)場合には、区別不能と判定される。このとき、準備されるしきい値は、類似する他の図形71が検出され易くなるような値とされる。
なお、図形判定部52では、全ての図形71に対して他の図形71から区別可能か否かが判定されてもよく、この場合には、上述の特許文献1に記載された手法を利用することができる。この手法では、参照画像62に含まれる複数の図形71のそれぞれに対して複数の特徴量が求められる。図形判定部52では、参照基板9a上のパターンから導かれる複数種類の図形(以下、「設定図形」という。)のそれぞれに対して複数の特徴量にそれぞれ対応する複数のメンバシップ関数が予め準備されており、各図形71に対して求められる各特徴量からメンバシップ関数を用いて演算を行うことにより、複数の特徴量にそれぞれ対応する複数のメンバシップ値が算出される。そして、複数のメンバシップ値に基づいて、複数種類の設定図形のそれぞれに対する各図形71の適合度が求められ、適合度を比較することにより各図形71が複数種類の設定図形のいずれに属するものであるかが特定される。
このとき、ある程度類似した形状の図形71同士は同じ設定図形に属するものと判定されるように、種類を細分化せずに設定図形が準備される。換言すれば、選択された図形71aを基準図形として、図形71aにある程度類似した形状の他の図形71が検出され易い条件にて参照画像62に対して基準図形の検出が行われる。そして、選択された図形71aのみが一の種類の設定図形に属するものとして特定された場合(すなわち、図形71aが単独で検出される場合)には、図形71aがパターンマッチング用の基準図形として他の図形71から区別可能であると判定され、図形71aが他の図形71と共に一の種類の設定図形に属するものとして特定された場合(すなわち、図形71aに類似する他の図形71が存在する場合)には、図形71aが他の図形71から区別不能であると判定される。
図8の参照画像62では、表示領域621の外側に存在する円形の図形711が図形71aに類似するため、図形71aがパターンマッチング用の基準図形として他の図形71から区別不能であると判定され、判定結果が、例えば文字にてディスプレイ45に表示されて操作者へと通知される(ステップS17)。以下の説明において、選択された図形71aに類似する図形711を類似図形711と呼ぶ。
なお、ステップS16において選択された図形71aがパターンマッチング用の基準図形として他の図形71から区別可能であると判定された場合には(ステップS16)、判定結果が操作者へと通知され、図形71aが基準図形として決定されて図形選択支援処理が終了する(ステップS17,S18)。
判定結果が否定的であることが操作者に通知されると、操作者が入力部46を介して入力を行うことにより、複数の図形71からのもう1つの図形71の選択が受け付けられる(ステップS18,S19)。ここでは、図8の参照画像62中の符号71bを付す四角形の図形が追加的に選択されたものとし、ディスプレイ45に表示された参照画像62の表示領域621中において図形71bが操作者により選択されていることが判別可能に表示される。図9に示す参照画像62では図形71aと同様に、図形71bに平行斜線を付すことにより選択されていることを示している。
図形判定部52では、操作者によりさらに選択された図形71bの特徴量と他の図形71の特徴量との差が算出され、図形71bに類似する四角形の類似図形712の存在が特定される(すなわち、選択された図形71bが他の図形71から区別不能と判定される。)。なお、全ての図形71に対して他の図形71から区別可能か否かが判定されている場合には、既述の処理により参照画像62中の各図形71が複数種類の設定図形のいずれに対応するものであるかが既に特定されているため(既述の処理が再度行われてもよい。)、さらに選択された図形71bが属する設定図形に同じく属する類似図形712の存在が直ぐに特定される。
続いて、選択された2つの図形71a,71bの重心間のベクトルと、2つの図形71a,71bにそれぞれ類似する2つの類似図形711,712の重心間のベクトルとが求められて比較される。そして、両ベクトルの間の向きおよび大きさの差が所定のしきい値より大きい場合には、選択された2つの図形71a,71bの組合せが、2つの類似図形711,712の組合せと区別可能であると判定され、両ベクトルの差がしきい値以下である場合には、区別不能と判定される(ステップS16)。
このように、図形判定部52では操作者により選択された2つの図形71a,71bの組合せが、2つの図形71a,71bの位置関係を用いて、複数の図形71からの2つの図形71の他の全ての組合せ(すなわち、複数の図形71のうちの2つの図形71の全ての組合せから選択された2つの図形71a,71bの組合せを除いたもの)から区別可能か否かが判定される。なお、図形判定部52では2つの図形の位置関係を示すものであれば、重心間ベクトル以外のものが用いられてもよい。
図9の参照画像62では、選択された2つの図形71a,71bの組合せと2つの類似図形711,712の組合せとの間の重心間ベクトルの差がしきい値以下となるため、選択された2つの図形71a,71bの組合せが、パターンマッチング用の基準図形として他の組合せから区別不能と判定され、その旨を示す判定結果がディスプレイ45に表示される(ステップS17)。
なお、選択された2つの図形71a,71bの組合せが、2つの図形71a,71bの位置関係を用いて、複数の図形71からの2つの図形71の他の全ての組合せから区別可能であると判定された場合には(ステップS16)、判定結果が操作者へと通知され、2つの図形71a,71bの組合せが基準図形として決定されて図形選択支援処理が終了する(ステップS17,S18)。また、追加的に選択される図形71b(または、後述の図形71c)がパターンマッチング用の基準図形として単独で他の図形71から区別可能である場合には、図形71bのみが基準図形として決定されてもよい。
判定結果が否定的であることが操作者に通知されると、操作者によるさらにもう1つの図形71の選択が入力部46により受け付けられる(ステップS18,S19)。ここでは、図9の参照画像62中の符号71cを付す三角形の図形がさらに選択されたものとし、図10に示すように図形71cが判別可能に表示される。
図形判定部52では、操作者により選択された3つの図形71a〜71cの組合せが、3つの図形71a〜71cの位置関係を用いて、複数の図形71からの3つの図形71の他の全ての組合せから区別可能か否かが判定される(ステップS16)。具体的には、さらに選択された図形71cに類似する表示領域621の外側の類似図形713が特定され、選択された3つの図形71a〜71cの位置関係と、類似図形711〜713の位置関係とが比較される。なお、図形71a,71bと類似図形711,712との位置関係は既に近似していることが判っているため、実際には、三角形の図形71c,713と円形の図形71a,711(または四角形の図形71b,712)との重心間ベクトルの差が予め定められたしきい値より大きくなるか否かが確認され、しきい値よりも大きくなる場合に、選択された図形71a〜71cの組合せが、パターンマッチング用の基準図形として他の組合せから区別可能と判定される。そして、判定結果はディスプレイ45に表示され(ステップS17)、コンピュータ4による図形選択支援処理が終了する(ステップS18)。
なお、判定結果が否定的な場合は、判定結果が肯定的となるまで、ステップS16〜S19が繰り返される。すなわち、入力部46が、操作者による複数の図形からのもう1つの図形の選択を受け付ける工程(ステップS19)と、図形判定部52が、操作者により選択された2以上の図形の組合せが、2以上の図形の位置関係を用いて、複数の図形からの同数の図形の他の全ての組合せから区別可能か否かを判定し(ステップS16)、新たな判定結果を操作者へと通知する工程(ステップS17)と、新たな判定結果が否定的な場合に、図形の選択を受け付ける工程および操作者へと通知する工程を繰り返す工程(ステップS18)とが実行される。
以上のように、コンピュータ4では、図形抽出部51により参照画像62から複数の図形71が抽出され、参照画像62の一部がディスプレイ45に表示される。そして、操作者により複数の図形71から一の図形71aが選択され、図形判定部52により選択された図形71aが他の図形71から区別可能か否かが判定される。これにより、図形判定部52の判定結果を参照することにより、参照画像から適切な基準図形を選択することが実現され、その結果、パターンマッチングにおける基準図形の誤認識を防止することができる。
また、上記の図形選択支援処理では、図形判定部52による判定結果が表示されることにより基準図形を効率よく選択することができ、判定結果が否定的な場合に、もう1つの図形71bまたは71cの選択が受け付けられて複数の図形の組合せを基準図形として他の組合せから区別可能か否かが判定されるため、基準図形をさらに効率よく選択することが実現される。
ここで、図11に示す参照画像63において操作者により選択された図形72aが、表示領域631内に含まれる他の図形72のみに対して区別可能か否かが判定されて基準図形として決定されると仮定した場合、実際に参照画像63に対する対象画像の相対位置を検出する際に、例えば、基板9をステージ2上へと搬送する搬送機構の機械的な精度に起因する位置ずれが生じることにより、図11中の二点鎖線にて示す領域632に相当する基板9上の領域が撮像されて対象画像が取得されると、基準図形72aに類似する図形(図11中の符号721を付す図形に相当する図形)が対象画像中に存在してしまい、パターンマッチングにおける基準図形72aの誤認識が生じてしまう場合がある。
しかしながら、コンピュータ4では、ディスプレイ45により参照画像63中の周縁部以外の表示領域631のみが表示され、複数の図形72のうち表示領域631に含まれるもののみを操作者による選択対象としつつ、選択された図形72aが参照画像63の全体に含まれる複数の図形72に対して区別可能か否かが判定されるため、対象画像の位置ずれを考慮して基準図形を選択することができ、パターンマッチングにおける誤認識をさらに防止することができる。なお、対象画像の位置ずれを考慮すれば、表示領域631の中央に位置する図形が基準図形として選択されることが好ましく、また、追加の図形が選択される際には、重心間距離が短くなる組合せに係る図形が選択されることが好ましいといえる。また、表示領域は必ずしも参照画像63の(対象画像の位置ずれの範囲に対応する)周縁部以外の全体とされる必要はなく、周縁部以外の一部であってもよい。この場合、例えば、表示領域を移動することにより参照画像63の周縁部以外の任意の領域が表示可能とされ、周縁部以外の領域に含まれる図形が操作者による選択対象とされる。
対象画像の領域(図11中の領域632に相当する領域)と表示領域631とは必ずしも同じ大きさである必要はない。なお、一般的に、選択される基準図形は対象画像の領域に対して十分に小さいことが好ましく、これにより、例えば基板9の製造におけるばらつきにより、対象画像中の図形の大きさが変動した場合でも、対象画像から基準図形の一部がはみ出してしまうことによりパターンマッチングに支障が生じることが抑制される。また、表示領域631を対象画像の領域よりも小さくすることにより、実質的に操作者に対象画像の領域に対して十分に小さい図形を基準図形として選択させることが可能となる。
次に、図12を参照して本発明の一の実施の形態に係る参照画像から基準図形を選択する際の支援を行う処理について説明する。図12では、図4のステップS13の後に行われる処理を示している。
実施の形態に係る処理では、参照基板9a上の所定の領域を撮像することにより図13に示すカラーの参照画像64が準備されると(図4:ステップS11)、カラーの参照画像64は2値化され、図14に示す2値の参照画像65が取得される(ステップS12)。続いて、図14の参照画像65から複数の図形73が抽出され(ステップS13)、図形判定部52において、複数の図形73のそれぞれが他の図形73から区別可能か否かが判定される(ステップS21)。
複数の図形73のいずれかが他の図形73から区別可能と判定された場合には(ステップS22)、表示制御部53によりディスプレイ45に参照画像65が表示される(ステップS23)。このとき、ディスプレイ45に表示される各図形73に対応付けて図形判定部52による判定結果が表示される。例えば、ディスプレイ45に表示される参照画像65中の区別可能な図形73に所定の色が付されたり、操作者がマウス46bを用いていずれかの図形73にマウスカーソルを近づけた場合に区別可能または不能を示す文字が出現する等により判定結果が判別可能とされる。図15に示す参照画像65では図形73a,73bに平行斜線を付すことにより、これらの図形73a,73bが他の図形73から単独で区別可能であることを示している。そして、入力部46により、操作者による複数の図形73a,73bからの基準図形の選択が受け付けられることにより基準図形が決定され(ステップS24)、図形選択支援処理が終了する。
一方で、ステップS21において複数の図形73の全てが他の図形73から区別不能であると判定された場合には(ステップS22)、コンピュータ4がステージ駆動部21を制御することにより、参照基板9a上の異なる領域が撮像されて新たな参照画像が取得されて準備され(ステップS25)、新たな参照画像に対してステップS12,S13,S21〜S25が繰り返されて適切な基準図形がより確実に選択される。なお、ステップS21において、1つの図形73のみが他の図形73から区別可能であると判定された場合には、操作者による入力を受け付けることなく、その図形73が基準図形として自動的に決定されてもよい。
以上のように、図12の図形選択支援処理では、図形抽出部51により参照画像65から複数の図形73が抽出され、複数の図形73のそれぞれが他の図形73から区別可能か否かが判定される。そして、各図形73に対する判定結果がディスプレイ45に判別可能に表示され、操作者が区別可能と判定された図形73から一の図形73を選択することにより基準図形が決定される。これにより、図形判定部52の判定結果を参照することにより、参照画像65から適切な基準図形を容易に選択することが実現され、その結果、パターンマッチングにおける基準図形の誤認識を防止することができる。
図12の図形選択支援処理においても、図4の処理と同様に、参照画像のおよそ中央の領域のみが表示され、参照画像中の複数の図形のうち表示される領域に含まれるもののみが操作者による選択対象とされて位置ずれを考慮した基準図形の選択が実現されてもよい。また、ステップS21において、2つの図形の組合せが、複数の図形からの2つの図形の他の全ての組合せから区別可能か否かが判定されて基準図形が高度に選択されてもよい。なお、3以上の図形の組合せが基準図形とされてもよい。
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく、様々な変形が可能である。
上記実施の形態では、2値の参照画像の少なくとも一部がディスプレイ45に表示されるが、カラーまたは単色の多階調の参照画像の少なくとも一部がディスプレイ45に表示されてもよい。
参照画像は必ずしも基準図形選択直前に参照基板9aを撮像することにより取得される必要はなく、例えば、事前に参照基板9aを撮像することにより、または、設計データから生成することにより取得される参照用の画像の一部(または、全部)が参照画像として準備されてもよい。この場合、上記の実施の形態に係る処理のステップS25では、参照用の画像の他の領域が切り出されて新たな参照画像が準備される。また、上記実施の形態において2値の参照画像が予め準備されることにより、図4のステップS12が省略されてもよい。
図形抽出部51にて抽出される図形の形状によっては、図形の一部分が1つの図形として取り扱われてもよい。例えば、円環状の図形が抽出された場合には、その外周または内周のみが1つの図形とされてもよい。
参照画像に対する相対位置が検出される対象画像は、必ずしもプリント配線基板上が撮像された画像である必要はなく、例えば、半導体基板、ガラス基板等を撮像することにより取得される画像であってもよい。また、対象画像は撮像により取得される画像には限定されず、図形選択支援装置は、様々な対象画像の参照画像に対する相対的な位置を検出する際のパターンマッチング用の基準図形の選択に用いられる。
本発明の関連技術に係る欠陥検出装置の構成を示す図である。 コンピュータの構成を示す図である。 コンピュータが実現する機能構成を示すブロック図である。 基準図形を選択する際の支援を行う処理の流れを示す図である。 カラーの参照画像を示す図である。 2値の参照画像を示す図である。 参照画像を示す図である。 参照画像を示す図である。 参照画像を示す図である。 参照画像を示す図である。 表示領域を説明するための図である。 本発明一の実施の形態に係る図形選択支援処理の流れを示す図である。 カラーの参照画像を示す図である。 2値の参照画像を示す図である。 参照画像を示す図である。
4 コンピュータ
45 ディスプレイ
46 入力部
51 図形抽出部
52 図形判定部
53 表示制御部
61〜65 参照画像
71〜73,71a〜71c,72a,73a,73b,711〜713,721 図形
80 プログラム
621,631 表示領域
S13〜S19,S21,S23,S24 ステップ

Claims (5)

  1. パターンマッチングによる参照画像に対する対象画像の相対位置の検出に利用する基準図形を前記参照画像から選択する際の支援を行うパターンマッチング用の図形選択支援装置であって、
    参照画像から複数の図形を抽出する図形抽出部と、
    前記複数の図形のそれぞれが、パターンマッチング用の基準図形として他の図形から区別可能か否かを判定する図形判定部と、
    前記参照画像の少なくとも一部を表示する表示部と、
    前記表示部に表示される各図形に対応付けて前記図形判定部による判定結果を前記表示部に表示する表示制御部と、
    操作者による前記複数の図形からの基準図形の選択を受け付ける入力部と、
    を備えることを特徴とする図形選択支援装置。
  2. 請求項に記載の図形選択支援装置であって、
    前記図形判定部により前記複数の図形の全てが他の図形から区別不能であると判定された場合に新たな参照画像が準備されることを特徴とする図形選択支援装置。
  3. 請求項1または2に記載の図形選択支援装置であって、
    前記表示部が、前記参照画像の周縁部以外の領域を表示可能とし、前記複数の図形のうち前記領域に含まれるものが、前記操作者による選択対象とされることを特徴とする図形選択支援装置。
  4. パターンマッチングによる参照画像に対する対象画像の相対位置の検出に利用する基準図形を前記参照画像から選択する際の支援を行うパターンマッチング用の図形選択支援方法であって、
    参照画像から複数の図形を抽出する工程と、
    前記複数の図形のそれぞれが、パターンマッチング用の基準図形として他の図形から区別可能か否かを判定する工程と、
    前記判定する工程の後に、前記参照画像の少なくとも一部を表示する工程と、
    前記表示する工程の後に、操作者による前記複数の図形からの基準図形の選択を受け付ける工程と、
    を備え、
    前記表示する工程において、表示される各図形に対応付けて判定結果が表示されることを特徴とする図形選択支援方法。
  5. パターンマッチングによる参照画像に対する対象画像の相対位置の検出に利用する基準図形を前記参照画像から操作者が選択する際に前記操作者による選択をコンピュータに支援させるプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、
    参照画像から複数の図形を抽出する工程と、
    前記複数の図形のそれぞれが、パターンマッチング用の基準図形として他の図形から区別可能か否かを判定する工程と、
    前記判定する工程の後に、前記参照画像の少なくとも一部を表示する工程と、
    前記表示する工程の後に、操作者による前記複数の図形からの基準図形の選択を受け付ける工程と、
    を実行させ、
    前記表示する工程において、表示される各図形に対応付けて判定結果が表示されることを特徴とするプログラム。
JP2004149859A 2004-05-20 2004-05-20 パターンマッチング用の図形選択支援装置、図形選択支援方法およびプログラム Expired - Lifetime JP4479999B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004149859A JP4479999B2 (ja) 2004-05-20 2004-05-20 パターンマッチング用の図形選択支援装置、図形選択支援方法およびプログラム
US11/098,388 US7463763B2 (en) 2004-05-20 2005-04-05 Apparatus, method, and program for assisting in selection of pattern element for pattern matching
CNB2005100650477A CN100349174C (zh) 2004-05-20 2005-04-11 辅助选择图案单元用于图案匹配的装置、方法和程序
TW094113084A TWI262288B (en) 2004-05-20 2005-04-25 Apparatus, method, and program for assisting in selection of pattern element for pattern matching
KR1020050040036A KR100689793B1 (ko) 2004-05-20 2005-05-13 패턴매칭용 도형의 선택을 지원하는 장치 및 방법 및기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004149859A JP4479999B2 (ja) 2004-05-20 2004-05-20 パターンマッチング用の図形選択支援装置、図形選択支援方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2005332202A JP2005332202A (ja) 2005-12-02
JP4479999B2 true JP4479999B2 (ja) 2010-06-09

Family

ID=35375208

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004149859A Expired - Lifetime JP4479999B2 (ja) 2004-05-20 2004-05-20 パターンマッチング用の図形選択支援装置、図形選択支援方法およびプログラム

Country Status (5)

Country Link
US (1) US7463763B2 (ja)
JP (1) JP4479999B2 (ja)
KR (1) KR100689793B1 (ja)
CN (1) CN100349174C (ja)
TW (1) TWI262288B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4375523B2 (ja) * 2002-12-20 2009-12-02 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理プログラム、印刷物検査装置、印刷物検査方法、印刷物検査プログラム
US8104692B2 (en) * 2009-02-23 2012-01-31 Xerox Corporation System and method for generating robust fiducial patterns used to determine coordinate transformations
CN102275382B (zh) * 2011-06-01 2013-07-03 西安理工大学 一种彩色印刷品套准偏差自动检测方法
CN103093450B (zh) * 2011-10-31 2017-03-08 鸿富锦精密工业(深圳)有限公司 产品局部对齐方法及系统
US9105135B2 (en) * 2012-12-13 2015-08-11 Adobe Systems Incorporated Using genetic algorithm to design 2-dimensional procedural patterns
JP6064210B2 (ja) * 2013-04-02 2017-01-25 株式会社明電舎 マーカ選定装置及び方法
JP6617963B2 (ja) * 2016-02-17 2019-12-11 株式会社Screenホールディングス 基板保持状態の異常検査の検査領域の自動決定方法および基板処理装置
CN107464877B (zh) * 2016-06-06 2020-01-14 东京毅力科创株式会社 检查装置、检查方法和功能液排出装置
JP6876487B2 (ja) * 2016-06-06 2021-05-26 東京エレクトロン株式会社 検査装置、検査方法、機能液吐出装置及び補正方法
CN113011125B (zh) * 2019-12-18 2023-01-10 海信视像科技股份有限公司 印制电路板核查方法、装置、设备及计算机存储介质
CN111388091A (zh) * 2020-03-17 2020-07-10 京东方科技集团股份有限公司 光标尺、坐标系配准的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH056421A (ja) 1991-06-27 1993-01-14 Matsushita Electric Ind Co Ltd パターン認識装置
JP3297964B2 (ja) * 1994-06-13 2002-07-02 オムロン株式会社 画像処理方法およびその装置
JP3189870B2 (ja) * 1996-12-24 2001-07-16 シャープ株式会社 画像処理装置
US6236749B1 (en) * 1998-03-23 2001-05-22 Matsushita Electronics Corporation Image recognition method
JP2000259830A (ja) * 1999-03-05 2000-09-22 Matsushita Electric Ind Co Ltd 画像認識装置および画像認識方法
US6950548B1 (en) * 2000-05-17 2005-09-27 Cognex Corporation Creating geometric model descriptions for use in machine vision inspection systems
US20020085761A1 (en) * 2000-12-30 2002-07-04 Gary Cao Enhanced uniqueness for pattern recognition
JP4141754B2 (ja) * 2002-07-09 2008-08-27 株式会社リコー 画像処理装置、画像処理方法、及びその方法をコンピュータに実行させるプログラム、並びにそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
KR100689793B1 (ko) 2007-03-08
KR20060047865A (ko) 2006-05-18
US20050259874A1 (en) 2005-11-24
TWI262288B (en) 2006-09-21
CN100349174C (zh) 2007-11-14
CN1699917A (zh) 2005-11-23
US7463763B2 (en) 2008-12-09
TW200540392A (en) 2005-12-16
JP2005332202A (ja) 2005-12-02

Similar Documents

Publication Publication Date Title
KR100689793B1 (ko) 패턴매칭용 도형의 선택을 지원하는 장치 및 방법 및기록매체
US7409081B2 (en) Apparatus and computer-readable medium for assisting image classification
US20060133660A1 (en) Apparatus and method for detecting defect existing in pattern on object
JP2006038582A (ja) 画像の領域分割による欠陥の検出
JP2004012177A (ja) 欠陥検出装置、欠陥検出方法、輪郭抽出方法、輪郭平滑化方法、領域結合方法およびプログラム
JP5234639B2 (ja) スルーホールの検査装置
JPH1089931A (ja) パターン検査方法及びその装置並びに半導体ウエハの製造方法
CN101443897A (zh) 图像二值化方法、图像处理装置及计算机程序
JP4931476B2 (ja) 真円度を計測する手法に特長をもつ画像処理方法および画像処理装置
JP5045591B2 (ja) 検査領域の領域設定データの作成方法および基板外観検査装置
CN113310997A (zh) Pcb板缺陷确认方法、装置、自动光学检测设备及储存介质
JP2010133744A (ja) 欠陥検出方法およびその方法を用いた視覚検査装置
TWI609178B (zh) Pattern inspection device and pattern inspection method
JP2009110070A (ja) 画像処理装置及び画像処理方法、コンピュータプログラム
JP2011008482A (ja) 欠陥検出方法、欠陥検出装置、および欠陥検出プログラム
JP2014126445A (ja) 位置合せ装置、欠陥検査装置、位置合せ方法、及び制御プログラム
JP2002140713A (ja) 画像処理方法およびその装置
JP2023122140A (ja) 教師データ生成装置、教師データ生成方法およびプログラム
KR20040042775A (ko) 검사 상황 표시 방법
JP2023533297A (ja) 連続する動的スキャンのセグメンテーション
JP2017133868A (ja) パターン検査装置およびパターン検査方法
US11763445B2 (en) Inspection of a target object using a comparison with a master image and a strictness of a quality evaluation threshold value
JP2006038543A (ja) テンプレートヒストグラム生成方法およびパターン検査装置
WO2024095721A1 (ja) 画像処理装置および画像処理方法
JP2011054056A (ja) 顔位置検出装置、顔位置検出方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091002

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091007

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100310

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100311

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4479999

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140326

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250