JP4465911B2 - 画像処理装置およびその方法 - Google Patents

画像処理装置およびその方法 Download PDF

Info

Publication number
JP4465911B2
JP4465911B2 JP2001124554A JP2001124554A JP4465911B2 JP 4465911 B2 JP4465911 B2 JP 4465911B2 JP 2001124554 A JP2001124554 A JP 2001124554A JP 2001124554 A JP2001124554 A JP 2001124554A JP 4465911 B2 JP4465911 B2 JP 4465911B2
Authority
JP
Japan
Prior art keywords
image
positioning mark
correct
imaging
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001124554A
Other languages
English (en)
Other versions
JP2002318110A (ja
Inventor
良仁 橋本
和隆 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Electric Works Co Ltd
Original Assignee
Panasonic Corp
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2001124554A priority Critical patent/JP4465911B2/ja
Application filed by Panasonic Corp, Matsushita Electric Works Ltd filed Critical Panasonic Corp
Priority to KR10-2002-7010438A priority patent/KR100481933B1/ko
Priority to US10/204,429 priority patent/US7039236B2/en
Priority to DE60113564T priority patent/DE60113564T2/de
Priority to CNB01804851XA priority patent/CN1269079C/zh
Priority to EP01270861A priority patent/EP1346321B1/en
Priority to PCT/JP2001/010817 priority patent/WO2002048964A1/en
Priority to TW090131026A priority patent/TW559739B/zh
Publication of JP2002318110A publication Critical patent/JP2002318110A/ja
Application granted granted Critical
Publication of JP4465911B2 publication Critical patent/JP4465911B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、淡い画像となる位置決め(アライメント)マークの検出方法に関連し、高精度な自動組立および張り合わせなどに応用されるものであって、検査対象物の撮像画像から淡い画像となる位置決めマークの位置を検出する画像処理装置およびその方法に関するものである。
【0002】
【従来の技術】
例えば、液晶表示装置の製造工程では、透明または半透明の基材に付された位置決めマークを誤り無く検出することは重要である。この理由は、図17に示す2種類の撮像画像のように、半透明のフィルムを透過して検出されるプラスないし十字状の位置決めマークAMが淡い上に、フィルムと母材との間に混入した不必要な気泡ABがはっきりと撮像されるので、位置決めマークAMの検出に誤りが生じやすくなるからである。なお、図17中のDAは検出エリアである。
【0003】
このため、従来では、位置決めマークのエッジを抽出して、その形状の認識処理をし、そしてより適切な認識結果が得られるように、認識処理を数回繰り返して認識結果を確認することが行われている。
【0004】
【発明が解決しようとする課題】
しかしながら、認識処理を数回繰り返しても適切な認識結果が得られない場合があり、この場合には人手を介して位置決めマークが検出されることになり、歩留まりの悪化および製造の時間増の原因となっている。
【0005】
また、大きな気泡でフィルムが膨らみ、これに照明機器からの光が反射して位置決めマークが部分的に見えなくなる場合がある。この場合には、2値化画像処理技術による特徴抽出や濃淡画像処理技術によるマーク全体を正解画像とした正規化相関では、位置決めマークの認識ができなくなり、またできたとしても認識された位置決めマークの位置が実際の位置からずれた状態で認識されてしまう。
【0006】
本発明は、上記事情に鑑みてなされたものであり、淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、位置決めマークを精度良く検出することができる画像処理装置およびその方法を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記課題を解決するための請求項1記載の発明の画像処理装置は、淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、予め作成され、前記位置決めマークとこの背景とのコントラストが鮮明となる正解画像を記憶する記憶手段と、前記位置決めマークと同じ淡い画像となる位置決めマークの入った透明または半透明の基材である検査対象物の撮像を行う撮像手段と、この撮像手段の撮像で得られた撮像画像から前記正解画像を用いて前記位置決めマークの位置を検出する検出手段とを備え、前記記憶手段は、前記正解画像の基になる撮像画像から、予め作成され、前記正解画像の周辺の、前記位置決めマークとは形状が異なる前記基材の画像を含む粗検索用画像をさらに記憶し、前記検出手段は、前記撮像手段の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、その領域から前記正解画像を用いて前記位置決めマークの位置を検出することを特徴とする。
【0010】
請求項記載の発明は、請求項記載の画像処理装置において、前記正解画像の作成の基になる撮像画像から、各画素の濃度を利用して前記粗検索用画像を作成する粗検索用画像作成手段をさらに備えることを特徴とする。
【0012】
請求項記載の発明は、請求項または記載の画像処理装置において、前記正解画像を分割して複数の分割画像を作成する正解画像分割手段をさらに備え、前記検出手段は、前記撮像手段の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、前記正解画像および前記複数の分割画像の各々を用いて、前記領域から前記位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を前記位置決めマークの位置として検出することを特徴とする。
【0013】
請求項記載の発明は、記憶手段および撮像手段を備える画像処理装置によって実行される画像処理方法であって、淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、予め作成され、前記位置決めマークとこの背景とのコントラストが鮮明となる正解画像を前記記憶手段に記憶するステップと、前記撮像手段により、前記位置決めマークと同じ淡い画像となる位置決めマークの入った透明または半透明の基材である検査対象物の撮像を行うステップと、前記検査対象物の撮像で得られた撮像画像から前記正解画像を用いて前記位置決めマークの位置を検出するステップとを有し、前記記憶手段は、前記正解画像の基になる撮像画像から、予め作成され、前記正解画像の周辺の、前記位置決めマークとは形状が異なる前記基材の画像を含む粗検索用画像をさらに記憶し、前記位置決めマークの位置を検出するステップでは、前記検査対象物の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、その領域から前記正解画像を用いて前記位置決めマークの位置を検出することを特徴とする。
【0016】
請求項記載の発明は、請求項記載の画像処理方法において、前記正解画像は、当該正解画像の作成の基になる撮像画像から、各画素の濃度を利用して作成されることを特徴とする。
【0018】
請求項記載の発明は、請求項または記載の画像処理方法において、前記位置決めマークの位置を検出するステップの前に、前記正解画像を分割して複数の分割画像を作成するステップをさらに有し、前記位置決めマークの位置を検出するステップでは、前記検査対象物の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、前記正解画像および前記複数の分割画像の各々を用いて、前記領域から前記位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を前記位置決めマークの位置として検出することを特徴とする。
【0019】
【発明の実施の形態】
図1は画像処理装置の一機能を示すブロック図、図2は画像処理装置全体の構成図、図3は画像処理装置により利用される正解画像の説明図であり、これらの図を用いて、本発明の画像処理装置およびその方法に係る基本構成について説明する。
【0020】
基本構成の画像処理装置は、検査(計測)対象物の撮像で得られる撮像画像を利用して、例えば位置決めマーク検出機能により位置決めマークの位置(位置座標)を検出(計測)するなど、各種画像処理を実行するものであり、図2に示すように、画像メモリ2、複数のTVカメラ11、複数のA/Dコンバータ12、モニタ13、D/Aコンバータ14、キーパッド・インターフェース15、パラレル・インターフェース16、オーバーレイ・ルックアップテーブル17、コントロールPLD18、プログラム格納用メモリ19、メインメモリ20、複数のRS−232C(21)およびCPU22を(例えば11,13などの一部を別体で残部を一体に)通常の画像処理装置と同様に備えている。なお、プログラム格納用メモリ19には、位置決めマーク検出機能などの各種画像処理の機能を実現するためのプログラムおよび各種画像処理に必要なデータが記憶されている。
【0021】
そして、コントロールPLD18には、画像メモリ2、キーパッド・インターフェース15、パラレル・インターフェース16およびオーバーレイ・ルックアップテーブル17が接続されているほか、A/Dコンバータ12を介してカメラ11が接続され、そしてD/Aコンバータ14を介してモニタ13が接続されており、コントロールPLD18によって、TVカメラ11から画像メモリ2、画像メモリ2からモニタ13、そしてCPU22から画像メモリ2への接続制御が行われる構成になっている。ただし、これらの接続制御を2つ以上同時に行うことはできない。
【0022】
他方、CPU22には、コントロールPLD18、プログラム格納用メモリ19、メインメモリ20およびRS−232C(21)が接続されている。
【0023】
ここで、上記位置決めマーク検出機能以外の各種画像処理の機能は、従来と同様であるのでその説明を省略し、以下では基本構成の特徴となる位置決めマーク検出機能について説明する。
【0024】
この位置決めマーク検出機能は、図1に示すように、記憶部5、撮像部1、画像メモリ2および検出部7により構成される。
【0025】
記憶部5は、例えばメインメモリ20などにより構成され、図3(a)に示すように、淡い画像となるプラスないし十字状の位置決めマークの入った透明または半透明の基材(例えば液晶表示装置のガラスや半透明の基材)の撮像で得られた撮像画像から、図3(b)に示すように、予め作成され、位置決めマークとこの背景とのコントラストが鮮明となる正解画像を記憶している。基本構成では、正解画像は、オペレータにより手動で作成され、図3(b)の例では基本的に白黒の2値化画像になっている。
【0026】
撮像部1は、カメラ11およびA/Dコンバータ12により構成され、上記位置決めマークと同じ淡い画像となる位置決めマークの入った透明または半透明の基材である検査対象物の撮像を行うものであり、その撮像で得られた撮像画像は画像メモリ2に取り込まれて記憶される。
【0027】
検出部7は、メインメモリ20、およびプログラム格納用メモリ19に格納されたプログラムを実行するCPU22などにより構成され、撮像部1の撮像で得られた撮像画像(以下、検査画像ともいう)から上記正解画像を用いて作画作業により位置決めマークの位置を検出するものである。検出(サーチ)には、正規化相関演算によるテンプレートマッチングの手法が使用される。
【0028】
次に、基本構成の特徴となる位置決めマーク検出機能による動作について説明する。まず、撮像部1により検査対象物の撮像が行われ、その撮像で得られた撮像画像が画像メモリ2に取り込まれて記憶される。この後、撮像部1の撮像で得られ画像メモリ2に記憶された撮像画像から、正解画像を用いた正規化相関演算によるテンプレートマッチングの手法により位置決めマークの位置が検出される。
【0029】
ここで、従来では、位置決めマークの良好な基材を撮像して、その位置決めマークの画像を含んだテンプレートを予め作成し、これを検査画像内の位置決めマークの検出基準に使用するマッチングにより、検査画像から位置決めマークの位置を検出することが行われている。しかし、この場合、基準のテンプレート内の位置決めマークとこの背景とのコントラストが低いと、検査画像の微小な輝度変動により、基準のテンプレート内の位置決めマークと検査画像内の位置決めマークとの最大の一致度が大きく低下し、安定した位置決めマークの検出が困難となる。
【0030】
これに対して、基本構成では、位置決めマークとこの背景とのコントラストが鮮明となる正解画像を予め作成し、その正解画像を用いて、検査対象物の撮像画像から、正規化相関演算によるテンプレートマッチングの手法によって位置決めマークを検出するから、検査対象物の撮像画像の微小な輝度変動による一致度の低下を防ぐことができ、安定した位置決めマークの検出が可能になる。
【0031】
図4は画像処理装置の一機能を示すブロック図、図5は画像処理装置により利用される粗検索用画像の説明図、図6,図7は位置決めマークの検出方法の説明図であり、これらの図を用いて、本発明の画像処理装置およびその方法に係る第実施形態について説明する。
【0032】
実施形態の画像処理装置は、基本構成と相違する位置決めマーク検出機能を有している以外は基本構成の画像処理装置と同様に構成される。すなわち、第実施形態の位置決めマーク検出機能は、図4に示すように、基本構成と同様の撮像部1および画像メモリ2と、基本構成と相違する記憶部5aおよび検出部7aとにより構成されている。
【0033】
記憶部5aは、正解画像に加えて、図5(a)に示すように、正解画像の基になる撮像画像から、図5(b)に示すように、予め作成され、正解画像の周辺の回路パターンの画像を含む粗検索用画像(粗サーチテンプレート)をさらに記憶している。第実施形態では、粗検索用画像は、オペレータにより手動で作成され、図5(b)の例では基本的に白黒の2値化画像になっている。ここで、正解画像のみのサーチでは、検査画像中にそれと形状の似たものが存在すると、検査画像のコントラストが低いために誤検出を起こし易くなるが、粗検索用画像を使用することにより、それに含まれるより多くの情報によって位置決めマークの安定した検出が可能になる。さらに、図5に示すように、位置決めマークとは形状が明らかに異なる回路パターンなどを粗検索用画像内に含めれば、位置決めマークの検出の安定性がさらに向上する。
【0034】
検出部7aは、検出部7と同様に構成され、撮像部1の撮像で得られた撮像画像から上記粗検索用画像を用いて正解画像を含む領域を少なくとも1つ探索し、その領域から正解画像を用いて位置決めマークの位置を検出するものである。正解画像を含む領域を複数探索する場合には、先ず粗検索用画像により位置決めマークの大まかな位置を一致度の高い順に複数候補検出し、続いてこれらの各々から正解画像を用いて位置決めマークの位置を検出し、最も高い一致度になった正解画像の位置決めマークの位置を求めるべき位置とする処理が実行されることになる。なお、各サーチには、基本構成と同様に正規化相関演算によるテンプレートマッチングの手法が使用される。
【0035】
次に、第実施形態の特徴となる位置決めマーク検出機能による動作について説明する。まず、撮像部1により検査対象物の撮像が行われ、図6(a)に示すような撮像画像が画像メモリ2に取り込まれて記憶される。
【0036】
この後、画像メモリ2に記憶された撮像画像から、図6(b)に示すような粗検索用画像を利用することにより正解画像を含む領域が少なくとも1つ探索される(粗サーチ)。これにより、位置決めマークの大まかな位置が決定する。ここで、粗検索用画像および検査画像に画像縮小処理を実行してデータ量を低減し、縮小画像でサーチを行ってもよい。1/nの画像縮小処理は、画像内のn×n画素の領域について平均輝度値を計算し、この値の1画素をそのn×n画素の領域と置き換える手順で実行される。例えば、640×480画素の画像を1/8に縮小すると、縮小画像は80×60画素の画像となる。これにより、探索時間を大幅に削減することができるので、検査対象物の撮像画像から位置決めマークをより高速に検出することができる。
【0037】
続いて、その領域から図6(c)に示すような正解画像を利用することにより位置決めマークの位置が検出される。このとき、上記領域の近傍のみが探索範囲に限定されて位置決めマークが検出される(詳細サーチ)。なお、これらの手順を図7に示す。
【0038】
このように、粗検索用画像および正解画像を順に用いた2段階でサーチが実行されるので、位置決めマークを高速かつ確実に検出することができる。
【0039】
図8は画像処理装置の一機能を示すブロック図、図9は画像処理装置により利用される正解画像の説明図であり、これらの図を用いて、本発明の画像処理装置およびその方法に係る第1参考例について説明する。
【0040】
第1参考例の画像処理装置は、基本構成と相違する位置決めマーク検出機能を有している以外は基本構成の画像処理装置と同様に構成される。すなわち、第1参考例の位置決めマーク検出機能は、基本構成との相違点として、図8に示すように、正解画像作成部3がさらに組み込まれている。この正解画像作成部3は、正解画像の作成の基になる図9(a),(b)に示すような撮像画像から、各画素の濃度を利用して、図9(c)に示すような正解画像を作成し、これを記憶部5に記憶するものである。
【0041】
ここで、上記正解画像作成部3には、本出願人により特願2000−380972で別途提案されている画像処理方法を適用することができる。以下、その画像処理方法について説明する。
【0042】
まず、撮像で得られた処理対象画像に対して、2種類の第1,第2平滑化フィルタを適用して2種類の平滑化画像を生成する。平滑化画像とは、処理対象画像において注目する画素ごとに近傍領域の複数個の画素の濃度値の平均値を各注目画素の画素値とした画像であって、近傍領域としては注目画素を中心として±n画素の範囲の画素からなる(2n+1)×(2n+1)の正方領域を用いる。ここで、一方の第1平滑化フィルタにおいて近傍領域を±2r画素の領域とした平滑化画像を生成するとすれば、他方の第2平滑化フィルタでは±(2r+3)画素の領域とした平滑化画像を生成する。要するに、第1平滑化フィルタよりも第2平滑化フィルタのほうが平均濃度を求めるための近傍領域の画素数が多くなっている。したがって、第1平滑化フィルタにより得られる平滑化画像に比較して第2平滑化フィルタにより得られる平滑化画像のほうが平滑度が高くなる。
【0043】
平均濃度を求めるための近傍領域の画素数が少ないほうの平滑化画像には、重み付けがされ、各画素の画素値に1以上の重み係数を乗じた画像が生成される。ここに、重み係数αは1.0≦α≦1.5の範囲に設定される。重み付けされた画像は、第2平滑化フィルタにより生成された平滑化画像ともに差分が抽出される。すなわち、第2平滑化フィルタで生成された平滑化画像の各画素値から、重み付けされて生成された画像の対応する位置の各画素値を減算した画素値を有する差分画像を生成する。差分画像の各画素値xiは、重み付けされて生成された画像の各画素値をsiとし、第2平滑化フィルタから出力される平滑化画像の各画素値をtiとするとき、次式で求められる。
【0044】
xi=ti−α×si
続いて、上記差分画像に対して比較判定が行われ、差分画像の各画素のうち各画素値の符号が正となる画素が抽出される。ただし、ここでは、注目画素が周囲よりも暗い場合に注目画素を強調して抽出することを目的としているので、上述の演算によって、注目画素を強調して抽出することが可能になる。
【0045】
たとえば、図10(a)のような処理対象画像について、第1平滑化フィルタにより平滑化を施すと平滑化画像は図10(b)のようになり、第2平滑化フィルタによる平滑化画像は図10(c)のように図10(b)よりも平滑度の高い画像になる。図10(b)の画像に重み付けを行って、図10(c)の画像から減じた差分画像を求めると、図10(d)のようになる。こうして得られた差分画像のうち画素が正である領域についてのみ処理対象画像から抽出すれば、図10(e)のように注目画素(文字)のみを強調した画像を生成することが可能になる。
【0046】
また、注目画素が周囲よりも明るい場合には、第1,第2平滑化フィルタの前に、処理対象画像の各画素の濃度値のうちの最大値から各画素の濃度値を減算した値を各画素の画素値とした反転画像を生成すればよい。これにより、処理対象画像において着目画素が周囲よりも明るい場合に、着目画素が周囲よりも暗くなるので、上記と同様の方法を適用することができる。図9の例では、着目画素が周囲よりも明るいので、この後者の方法が採られることになる。
【0047】
次に、第1参考例の特徴となる位置決めマーク検出機能による動作について説明する。まず、前処理として、淡い画像となるプラスないし十字状の位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、各画素の濃度を利用することにより正解画像が作成されて記憶部5に記憶される。これにより、設定が容易となり、オペレータの負担が低減し、汎用性が向上する。
【0048】
この後、検査時において、撮像部1により検査対象物の撮像が行われ、その撮像で得られた撮像画像が画像メモリ2に取り込まれて記憶される。この後、画像メモリ2に記憶された撮像画像から、正解画像を用いた正規化相関演算によるテンプレートマッチングの手法により位置決めマークの位置が検出される。
【0049】
図11は画像処理装置の一機能を示すブロック図、図12は画像処理装置により利用される粗検索用画像の説明図であり、これらの図を用いて、本発明の画像処理装置およびその方法に係る第1参考例実施形態について説明する。
【0050】
実施形態の画像処理装置は、第実施形態と相違する位置決めマーク検出機能を有している以外は第実施形態の画像処理装置と同様に構成される。すなわち、第実施形態の位置決めマーク検出機能は、第実施形態との相違点として、図11に示すように、第1参考例と同様の正解画像作成部3および第実施形態の特徴となる粗検索用画像作成部4がさらに組み込まれている。
【0051】
粗検索用画像作成部4は、正解画像の作成の基になる図12(a)に示すような撮像画像から、各画素の濃度を利用して、図12(c)に示すような粗検索用画像を作成し、これを記憶部5aに記憶するものである。ここで、粗検索用画像作成部4には、第1参考例と同様に、本出願人により特願2000−380972で別途提案されている画像処理方法を適用することができる。
【0052】
次に、第2参考例の特徴となる位置決めマーク検出機能による動作について説明する。まず、前処理として、淡い画像となるプラスないし十字状の位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、各画素の濃度を利用することにより正解画像が作成されて記憶部5aに記憶されるとともに、その撮像画像から、正解画像の周辺の画像を含む粗検索用画像が作成されて記憶部5aに記憶される。これにより、設定が容易となり、オペレータの負担が低減し、汎用性が向上する。
【0053】
この後、撮像部1により検査対象物の撮像が行われ、撮像画像が画像メモリ2に取り込まれて記憶され、画像メモリ2に記憶された撮像画像から、粗検索用画像を利用することにより正解画像を含む領域が少なくとも1つ探索される。続いて、その領域から正解画像を利用することにより位置決めマークの位置が検出される。
【0054】
図13は画像処理装置の一機能を示すブロック図、図14,図15は画像処理装置による位置決めマークの検出方法の説明図であり、これらの図を用いて、本発明の画像処理装置およびその方法に係る第2参考例について説明する。
【0055】
第2参考例の画像処理装置は、第1参考例と相違する位置決めマーク検出機能を有している以外は第1参考例の画像処理装置と同様に構成される。すなわち、第2参考例の位置決めマーク検出機能は、図13に示すように、第1参考例と同様の撮像部1、画像メモリ2および正解画像作成部3のほか、正解画像分割部6、記憶部5bおよび検出部7bにより構成されている。
【0056】
正解画像分割部6は、メインメモリ20、およびプログラム格納用メモリ19に格納されたプログラムを実行するCPU22などにより構成され、正解画像を均等に4分割ないし8分割(図14の上部の例では正解画像を左右上下に分割)して複数の分割画像を作成するものである。その複数の分割画像は、正解画像とともに記憶部5b記憶される。
【0057】
検出部7bは、検出部7と同様に構成され、記憶部5bに記憶された正解画像および複数の分割画像の各々を用いて、撮像部1の撮像で得られた撮像画像から位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を位置決めマークの位置として検出するものである。
【0058】
次に、第2参考例の特徴となる位置決めマーク検出機能による動作について説明する。まず、前処理として、淡い画像となるプラスないし十字状の位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、各画素の濃度を利用することにより正解画像が作成されて記憶部5bに記憶される。そして、その正解画像は左右上下に分割されて、複数の分割画像として記憶部5bに記憶される。
【0059】
この後、検査時において、撮像部1により検査対象物の撮像が行われ、その撮像で得られた撮像画像が画像メモリ2に取り込まれて記憶される。
【0060】
続いて、記憶部5bに記憶された正解画像および複数の分割画像の各々を用いることにより、撮像部1の撮像で得られた撮像画像から位置決めマークの位置の検出が行われ、これらの検出結果から最も一致度が高くなった位置が位置決めマークの位置として検出される。なお、図15にこれらの手順の概要を示す。
【0061】
これにより、検査対象物の撮像画像に、位置決めマークが部分的に欠損するなどの大きな阻害要因がある場合でも、位置決めマークを確実に検出することができる。
【0062】
図16は画像処理装置の一機能を示すブロック図であり、この図を用いて、本発明の画像処理装置およびその方法に係る第実施形態について説明する。
【0063】
実施形態の画像処理装置は、第実施形態と相違する位置決めマーク検出機能を有している以外は第実施形態の画像処理装置と同様に構成される。すなわち、第実施形態の位置決めマーク検出機能は、図16に示すように、第実施形態と同様の撮像部1、画像メモリ2、正解画像作成部3および粗検索用画像作成部4のほか、正解画像分割部6、記憶部5cおよび検出部7cにより構成されている。
【0064】
正解画像分割部6は、第2参考例と同様のものであり、それによって作成された複数の分割画像は、正解画像および粗検索用画像とともに記憶部5cに記憶される。
【0065】
検出部7cは、検出部7aと同様に構成され、撮像部1の撮像で得られた撮像画像から粗検索用画像を用いて正解画像を含む領域を少なくとも1つ探索し、正解画像および複数の分割画像の各々を用いて、上記領域から位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を位置決めマークの位置として検出するものである。
【0066】
次に、第実施形態の特徴となる位置決めマーク検出機能による動作について説明する。まず、前処理として、淡い画像となるプラスないし十字状の位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、各画素の濃度を利用することにより正解画像が作成されて記憶部5cに記憶されるとともに、その撮像画像から、正解画像の周辺の画像を含む粗検索用画像が作成されて記憶部5cに記憶される。また、正解画像は左右上下に分割されて、複数の分割画像として記憶部5cに記憶される。
【0067】
この後、検査時において、撮像部1により検査対象物の撮像が行われ、その撮像で得られた撮像画像が画像メモリ2に取り込まれて記憶される。
【0068】
続いて、画像メモリ2に記憶された撮像画像から、粗検索用画像を用いることにより、正解画像を含む領域が少なくとも1つ探索され、記憶部5cに記憶された正解画像および複数の分割画像の各々を用いることにより、その領域から位置決めマークの位置の検出が行われ、これらの検出結果から最も一致度が高くなった位置が位置決めマークの位置として検出される。
【0069】
これにより、検査対象物の撮像画像に、位置決めマークが部分的に欠損するなどの大きな阻害要因がある場合でも、位置決めマークを確実に検出することができる。
【0070】
【発明の効果】
以上のことから明らかなように、請求項1記載の発明の画像処理装置は、淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、予め作成され、前記位置決めマークとこの背景とのコントラストが鮮明となる正解画像を記憶する記憶手段と、前記位置決めマークと同じ淡い画像となる位置決めマークの入った透明または半透明の基材である検査対象物の撮像を行う撮像手段と、この撮像手段の撮像で得られた撮像画像から前記正解画像を用いて前記位置決めマークの位置を検出する検出手段とを備え、前記記憶手段は、前記正解画像の基になる撮像画像から、予め作成され、前記正解画像の周辺の、前記位置決めマークとは形状が異なる前記基材の画像を含む粗検索用画像をさらに記憶し、前記検出手段は、前記撮像手段の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、その領域から前記正解画像を用いて前記位置決めマークの位置を検出するので、淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、位置決めマークを精度良く検出することができる。ここで、正解画像内の位置決めマークとこの背景とのコントラストが低いと、検査対象物の撮像画像の微小な輝度変動により、正解画像内の位置決めマークと検査対象物の撮像画像内の位置決めマークとが一致する度合い(一致度)が低くなり、安定した位置決めマークの検出が困難となるが、この発明では、位置決めマークとこの背景とのコントラストが鮮明となる正解画像が使用されるから、検査対象物の撮像画像の微小な輝度変動による一致度の低下を防ぐことができ、安定した位置決めマークの検出が可能になる。
【0071】
また、粗検索用画像に含まれるより多くの情報によって位置決めマークの安定した検出が可能になる。
【0073】
請求項記載の発明は、請求項記載の画像処理装置において、前記正解画像の作成の基になる撮像画像から、各画素の濃度を利用して前記粗検索用画像を作成する粗検索用画像作成手段をさらに備えるので、オペレータの負担が低減し、汎用性が向上する。
【0075】
請求項記載の発明は、請求項または記載の画像処理装置において、前記正解画像を分割して複数の分割画像を作成する正解画像分割手段をさらに備え、前記検出手段は、前記撮像手段の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、前記正解画像および前記複数の分割画像の各々を用いて、前記領域から前記位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を前記位置決めマークの位置として検出するので、検査対象物の撮像画像に、位置決めマークが部分的に欠損するなどの大きな阻害要因がある場合でも、位置決めマークを確実に検出することができる。
【0076】
請求項記載の発明は、記憶手段および撮像手段を備える画像処理装置によって実行される画像処理方法であって、淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、予め作成され、前記位置決めマークとこの背景とのコントラストが鮮明となる正解画像を前記記憶手段に記憶するステップと、前記撮像手段により、前記位置決めマークと同じ淡い画像となる位置決めマークの入った透明または半透明の基材である検査対象物の撮像を行うステップと、前記検査対象物の撮像で得られた撮像画像から前記正解画像を用いて前記位置決めマークの位置を検出するステップとを有し、前記記憶手段は、前記正解画像の基になる撮像画像から、予め作成され、前記正解画像の周辺の、前記位置決めマークとは形状が異なる前記基材の画像を含む粗検索用画像をさらに記憶し、前記位置決めマークの位置を検出するステップでは、前記検査対象物の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、その領域から前記正解画像を用いて前記位置決めマークの位置を検出するので、淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、位置決めマークを精度良く検出することができる。
【0077】
また、粗検索用画像に含まれるより多くの情報によって位置決めマークの安定した検出が可能になる。
【0079】
請求項記載の発明は、請求項記載の画像処理方法において、前記正解画像は、当該正解画像の作成の基になる撮像画像から、各画素の濃度を利用して作成されるので、オペレータの負担が低減し、汎用性が向上する。
【0081】
請求項記載の発明は、請求項または記載の画像処理方法において、前記位置決めマークの位置を検出するステップの前に、前記正解画像を分割して複数の分割画像を作成するステップをさらに有し、前記位置決めマークの位置を検出するステップでは、前記検査対象物の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、前記正解画像および前記複数の分割画像の各々を用いて、前記領域から前記位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を前記位置決めマークの位置として検出するので、検査対象物の撮像画像に、位置決めマークが部分的に欠損するなどの大きな阻害要因がある場合でも、位置決めマークを確実に検出することができる。
【図面の簡単な説明】
【図1】 基本構成の画像処理装置の一機能(位置決めマーク検出機能)を示すブロック図である。
【図2】 基本構成の画像処理装置全体の構成図である。
【図3】 基本構成の画像処理装置により利用される正解画像の説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図4】 第実施形態の画像処理装置の一機能(位置決めマーク検出機能)を示すブロック図である。
【図5】 第実施形態の画像処理装置により利用される粗検索用画像の説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図6】 第実施形態の位置決めマークの検出方法の説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図7】 第実施形態の位置決めマークの検出方法の説明図である。
【図8】 第1参考例の画像処理装置の一機能(位置決めマーク検出機能)を示すブロック図である。
【図9】 第1参考例の画像処理装置により利用される正解画像の説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図10】 本出願人により特願2000−380972で別途提案されている画像処理方法の説明図である。
【図11】 第実施形態の画像処理装置の一機能(位置決めマーク検出機能)を示すブロック図である。
【図12】 第実施形態の画像処理装置により利用される粗検索用画像の説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図13】 第2参考例の画像処理装置の一機能(位置決めマーク検出機能)を示すブロック図である。
【図14】 第2参考例の画像処理装置による位置決めマークの検出方法の説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図15】 第2参考例の画像処理装置による位置決めマークの検出方法の説明図である。
【図16】 第2参考例の画像処理装置の一機能(位置決めマーク検出機能)を示すブロック図である。
【図17】 液晶表示装置の基材の撮像画像を示す図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【符号の説明】
1 撮像部
2 画像メモリ
3 正解画像作成部
4 粗検索用画像作成部
5,5a,5b,5c 記憶部
6 正解画像分割部
7,7a,7b,7c 検出部

Claims (6)

  1. 淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、予め作成され、前記位置決めマークとこの背景とのコントラストが鮮明となる正解画像を記憶する記憶手段と、
    前記位置決めマークと同じ淡い画像となる位置決めマークの入った透明または半透明の基材である検査対象物の撮像を行う撮像手段と、
    この撮像手段の撮像で得られた撮像画像から前記正解画像を用いて前記位置決めマークの位置を検出する検出手段とを備え
    前記記憶手段は、前記正解画像の基になる撮像画像から、予め作成され、前記正解画像の周辺の、前記位置決めマークとは形状が異なる前記基材の画像を含む粗検索用画像をさらに記憶し、
    前記検出手段は、前記撮像手段の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、その領域から前記正解画像を用いて前記位置決めマークの位置を検出することを特徴とする画像処理装置。
  2. 前記正解画像の作成の基になる撮像画像から、各画素の濃度を利用して前記粗検索用画像を作成する粗検索用画像作成手段をさらに備えることを特徴とする請求項1記載の画像処理装置。
  3. 前記正解画像を分割して複数の分割画像を作成する正解画像分割手段をさらに備え、前記検出手段は、前記撮像手段の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、前記正解画像および前記複数の分割画像の各々を用いて、前記領域から前記位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を前記位置決めマークの位置として検出することを特徴とする請求項1または2記載の画像処理装置。
  4. 記憶手段および撮像手段を備える画像処理装置によって実行される画像処理方法であって、
    淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、予め作成され、前記位置決めマークとこの背景とのコントラストが鮮明となる正解画像を前記記憶手段に記憶するステップと、
    前記撮像手段により、前記位置決めマークと同じ淡い画像となる位置決めマークの入った透明または半透明の基材である検査対象物の撮像を行うステップと、
    前記検査対象物の撮像で得られた撮像画像から前記正解画像を用いて前記位置決めマークの位置を検出するステップとを有し、
    前記記憶手段は、前記正解画像の基になる撮像画像から、予め作成され、前記正解画像の周辺の、前記位置決めマークとは形状が異なる前記基材の画像を含む粗検索用画像をさらに記憶し、
    前記位置決めマークの位置を検出するステップでは、前記検査対象物の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、その領域から前記正解画像を用いて前記位置決めマークの位置を検出する
    ことを特徴とする画像処理方法
  5. 前記正解画像は、当該正解画像の作成の基になる撮像画像から、各画素の濃度を利用して作成されることを特徴とする請求項記載の画像処理方法
  6. 前記位置決めマークの位置を検出するステップの前に、前記正解画像を分割して複数の分割画像を作成するステップをさらに有し、
    前記位置決めマークの位置を検出するステップでは、前記検査対象物の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、前記正解画像および前記複数の分割画像の各々を用いて、前記領域から前記位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を前記位置決めマークの位置として検出する
    ことを特徴とする請求項4または5記載の画像処理方法
JP2001124554A 2000-12-14 2001-04-23 画像処理装置およびその方法 Expired - Fee Related JP4465911B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2001124554A JP4465911B2 (ja) 2001-04-23 2001-04-23 画像処理装置およびその方法
US10/204,429 US7039236B2 (en) 2000-12-14 2001-12-10 Image processor and pattern recognition apparatus using the image processor
DE60113564T DE60113564T2 (de) 2000-12-14 2001-12-10 Bildverarbeitungseinrichtung und Mustererkennungsvorrichtung, bei der die Bildverarbeitungseinrichtung verwendet wird
CNB01804851XA CN1269079C (zh) 2000-12-14 2001-12-10 图像处理器和使用这种图像处理器的图案识别装置
KR10-2002-7010438A KR100481933B1 (ko) 2000-12-14 2001-12-10 영상 처리기 및 이를 이용한 패턴 인식 장치
EP01270861A EP1346321B1 (en) 2000-12-14 2001-12-10 Image processor and pattern recognition apparatus using the image processor
PCT/JP2001/010817 WO2002048964A1 (en) 2000-12-14 2001-12-10 Image processor and pattern recognition apparatus using the image processor
TW090131026A TW559739B (en) 2000-12-14 2001-12-14 Image processor and pattern recognition apparatus using the image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001124554A JP4465911B2 (ja) 2001-04-23 2001-04-23 画像処理装置およびその方法

Publications (2)

Publication Number Publication Date
JP2002318110A JP2002318110A (ja) 2002-10-31
JP4465911B2 true JP4465911B2 (ja) 2010-05-26

Family

ID=18973920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001124554A Expired - Fee Related JP4465911B2 (ja) 2000-12-14 2001-04-23 画像処理装置およびその方法

Country Status (1)

Country Link
JP (1) JP4465911B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008224417A (ja) * 2007-03-13 2008-09-25 Omron Corp 計測方法および計測装置

Also Published As

Publication number Publication date
JP2002318110A (ja) 2002-10-31

Similar Documents

Publication Publication Date Title
US7916893B2 (en) Image processing apparatus, image processing method, and program
US7973828B2 (en) Red-eye filter method and apparatus
US7978903B2 (en) Defect detecting method and defect detecting device
KR101338576B1 (ko) 화상 해석에 의해서 결함 검사를 실시하는 결함검사장치
JP4351911B2 (ja) デジタルスチルカメラにおける取り込み画像の写真品質を評価する方法及び装置
US7039236B2 (en) Image processor and pattern recognition apparatus using the image processor
JP2008226031A (ja) まぶた検出装置及びプログラム
JP2007285754A (ja) 欠陥検出方法および欠陥検出装置
US8139862B2 (en) Character extracting apparatus, method, and program
JP2005345290A (ja) 筋状欠陥検出方法及び装置
JP4182937B2 (ja) 撮影装置、撮影装置の画像処理方法及びプログラム
JP4465911B2 (ja) 画像処理装置およびその方法
JP4040732B2 (ja) 画像認識による計測方法および記録媒体
JP4524616B2 (ja) 撮影装置、撮影画像の画像処理方法及びプログラム
JP4975472B2 (ja) カラーフィルタ欠陥修正装置およびカラーフィルタ欠陥修正方法
JP2007285868A (ja) 輝度勾配検出方法、欠陥検出方法、輝度勾配検出装置および欠陥検出装置
JP2006035505A (ja) 印刷物の検査方法及び装置
JP2010243209A (ja) 欠陥検査方法および欠陥検出装置
JP4639140B2 (ja) 画像処理装置
JP4852454B2 (ja) 目傾き検出装置及びプログラム
JP4315025B2 (ja) 撮影装置、画像取得方法及びプログラム
KR100351129B1 (ko) 주변 마스크를 이용한 인쇄불량 검사시스템
JP2006242584A (ja) ムラ欠陥検出方法及び装置
JPH11237212A (ja) 画像認識方法
JP2007109121A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100202

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100215

R151 Written notification of patent or utility model registration

Ref document number: 4465911

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130305

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140305

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees