JP4465911B2 - 画像処理装置およびその方法 - Google Patents
画像処理装置およびその方法 Download PDFInfo
- Publication number
- JP4465911B2 JP4465911B2 JP2001124554A JP2001124554A JP4465911B2 JP 4465911 B2 JP4465911 B2 JP 4465911B2 JP 2001124554 A JP2001124554 A JP 2001124554A JP 2001124554 A JP2001124554 A JP 2001124554A JP 4465911 B2 JP4465911 B2 JP 4465911B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- positioning mark
- correct
- imaging
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、淡い画像となる位置決め(アライメント)マークの検出方法に関連し、高精度な自動組立および張り合わせなどに応用されるものであって、検査対象物の撮像画像から淡い画像となる位置決めマークの位置を検出する画像処理装置およびその方法に関するものである。
【0002】
【従来の技術】
例えば、液晶表示装置の製造工程では、透明または半透明の基材に付された位置決めマークを誤り無く検出することは重要である。この理由は、図17に示す2種類の撮像画像のように、半透明のフィルムを透過して検出されるプラスないし十字状の位置決めマークAMが淡い上に、フィルムと母材との間に混入した不必要な気泡ABがはっきりと撮像されるので、位置決めマークAMの検出に誤りが生じやすくなるからである。なお、図17中のDAは検出エリアである。
【0003】
このため、従来では、位置決めマークのエッジを抽出して、その形状の認識処理をし、そしてより適切な認識結果が得られるように、認識処理を数回繰り返して認識結果を確認することが行われている。
【0004】
【発明が解決しようとする課題】
しかしながら、認識処理を数回繰り返しても適切な認識結果が得られない場合があり、この場合には人手を介して位置決めマークが検出されることになり、歩留まりの悪化および製造の時間増の原因となっている。
【0005】
また、大きな気泡でフィルムが膨らみ、これに照明機器からの光が反射して位置決めマークが部分的に見えなくなる場合がある。この場合には、2値化画像処理技術による特徴抽出や濃淡画像処理技術によるマーク全体を正解画像とした正規化相関では、位置決めマークの認識ができなくなり、またできたとしても認識された位置決めマークの位置が実際の位置からずれた状態で認識されてしまう。
【0006】
本発明は、上記事情に鑑みてなされたものであり、淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、位置決めマークを精度良く検出することができる画像処理装置およびその方法を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記課題を解決するための請求項1記載の発明の画像処理装置は、淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、予め作成され、前記位置決めマークとこの背景とのコントラストが鮮明となる正解画像を記憶する記憶手段と、前記位置決めマークと同じ淡い画像となる位置決めマークの入った透明または半透明の基材である検査対象物の撮像を行う撮像手段と、この撮像手段の撮像で得られた撮像画像から前記正解画像を用いて前記位置決めマークの位置を検出する検出手段とを備え、前記記憶手段は、前記正解画像の基になる撮像画像から、予め作成され、前記正解画像の周辺の、前記位置決めマークとは形状が異なる前記基材の画像を含む粗検索用画像をさらに記憶し、前記検出手段は、前記撮像手段の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、その領域から前記正解画像を用いて前記位置決めマークの位置を検出することを特徴とする。
【0010】
請求項2記載の発明は、請求項1記載の画像処理装置において、前記正解画像の作成の基になる撮像画像から、各画素の濃度を利用して前記粗検索用画像を作成する粗検索用画像作成手段をさらに備えることを特徴とする。
【0012】
請求項3記載の発明は、請求項1または2記載の画像処理装置において、前記正解画像を分割して複数の分割画像を作成する正解画像分割手段をさらに備え、前記検出手段は、前記撮像手段の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、前記正解画像および前記複数の分割画像の各々を用いて、前記領域から前記位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を前記位置決めマークの位置として検出することを特徴とする。
【0013】
請求項4記載の発明は、記憶手段および撮像手段を備える画像処理装置によって実行される画像処理方法であって、淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、予め作成され、前記位置決めマークとこの背景とのコントラストが鮮明となる正解画像を前記記憶手段に記憶するステップと、前記撮像手段により、前記位置決めマークと同じ淡い画像となる位置決めマークの入った透明または半透明の基材である検査対象物の撮像を行うステップと、前記検査対象物の撮像で得られた撮像画像から前記正解画像を用いて前記位置決めマークの位置を検出するステップとを有し、前記記憶手段は、前記正解画像の基になる撮像画像から、予め作成され、前記正解画像の周辺の、前記位置決めマークとは形状が異なる前記基材の画像を含む粗検索用画像をさらに記憶し、前記位置決めマークの位置を検出するステップでは、前記検査対象物の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、その領域から前記正解画像を用いて前記位置決めマークの位置を検出することを特徴とする。
【0016】
請求項5記載の発明は、請求項4記載の画像処理方法において、前記正解画像は、当該正解画像の作成の基になる撮像画像から、各画素の濃度を利用して作成されることを特徴とする。
【0018】
請求項6記載の発明は、請求項4または5記載の画像処理方法において、前記位置決めマークの位置を検出するステップの前に、前記正解画像を分割して複数の分割画像を作成するステップをさらに有し、前記位置決めマークの位置を検出するステップでは、前記検査対象物の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、前記正解画像および前記複数の分割画像の各々を用いて、前記領域から前記位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を前記位置決めマークの位置として検出することを特徴とする。
【0019】
【発明の実施の形態】
図1は画像処理装置の一機能を示すブロック図、図2は画像処理装置全体の構成図、図3は画像処理装置により利用される正解画像の説明図であり、これらの図を用いて、本発明の画像処理装置およびその方法に係る基本構成について説明する。
【0020】
基本構成の画像処理装置は、検査(計測)対象物の撮像で得られる撮像画像を利用して、例えば位置決めマーク検出機能により位置決めマークの位置(位置座標)を検出(計測)するなど、各種画像処理を実行するものであり、図2に示すように、画像メモリ2、複数のTVカメラ11、複数のA/Dコンバータ12、モニタ13、D/Aコンバータ14、キーパッド・インターフェース15、パラレル・インターフェース16、オーバーレイ・ルックアップテーブル17、コントロールPLD18、プログラム格納用メモリ19、メインメモリ20、複数のRS−232C(21)およびCPU22を(例えば11,13などの一部を別体で残部を一体に)通常の画像処理装置と同様に備えている。なお、プログラム格納用メモリ19には、位置決めマーク検出機能などの各種画像処理の機能を実現するためのプログラムおよび各種画像処理に必要なデータが記憶されている。
【0021】
そして、コントロールPLD18には、画像メモリ2、キーパッド・インターフェース15、パラレル・インターフェース16およびオーバーレイ・ルックアップテーブル17が接続されているほか、A/Dコンバータ12を介してカメラ11が接続され、そしてD/Aコンバータ14を介してモニタ13が接続されており、コントロールPLD18によって、TVカメラ11から画像メモリ2、画像メモリ2からモニタ13、そしてCPU22から画像メモリ2への接続制御が行われる構成になっている。ただし、これらの接続制御を2つ以上同時に行うことはできない。
【0022】
他方、CPU22には、コントロールPLD18、プログラム格納用メモリ19、メインメモリ20およびRS−232C(21)が接続されている。
【0023】
ここで、上記位置決めマーク検出機能以外の各種画像処理の機能は、従来と同様であるのでその説明を省略し、以下では基本構成の特徴となる位置決めマーク検出機能について説明する。
【0024】
この位置決めマーク検出機能は、図1に示すように、記憶部5、撮像部1、画像メモリ2および検出部7により構成される。
【0025】
記憶部5は、例えばメインメモリ20などにより構成され、図3(a)に示すように、淡い画像となるプラスないし十字状の位置決めマークの入った透明または半透明の基材(例えば液晶表示装置のガラスや半透明の基材)の撮像で得られた撮像画像から、図3(b)に示すように、予め作成され、位置決めマークとこの背景とのコントラストが鮮明となる正解画像を記憶している。基本構成では、正解画像は、オペレータにより手動で作成され、図3(b)の例では基本的に白黒の2値化画像になっている。
【0026】
撮像部1は、カメラ11およびA/Dコンバータ12により構成され、上記位置決めマークと同じ淡い画像となる位置決めマークの入った透明または半透明の基材である検査対象物の撮像を行うものであり、その撮像で得られた撮像画像は画像メモリ2に取り込まれて記憶される。
【0027】
検出部7は、メインメモリ20、およびプログラム格納用メモリ19に格納されたプログラムを実行するCPU22などにより構成され、撮像部1の撮像で得られた撮像画像(以下、検査画像ともいう)から上記正解画像を用いて作画作業により位置決めマークの位置を検出するものである。検出(サーチ)には、正規化相関演算によるテンプレートマッチングの手法が使用される。
【0028】
次に、基本構成の特徴となる位置決めマーク検出機能による動作について説明する。まず、撮像部1により検査対象物の撮像が行われ、その撮像で得られた撮像画像が画像メモリ2に取り込まれて記憶される。この後、撮像部1の撮像で得られ画像メモリ2に記憶された撮像画像から、正解画像を用いた正規化相関演算によるテンプレートマッチングの手法により位置決めマークの位置が検出される。
【0029】
ここで、従来では、位置決めマークの良好な基材を撮像して、その位置決めマークの画像を含んだテンプレートを予め作成し、これを検査画像内の位置決めマークの検出基準に使用するマッチングにより、検査画像から位置決めマークの位置を検出することが行われている。しかし、この場合、基準のテンプレート内の位置決めマークとこの背景とのコントラストが低いと、検査画像の微小な輝度変動により、基準のテンプレート内の位置決めマークと検査画像内の位置決めマークとの最大の一致度が大きく低下し、安定した位置決めマークの検出が困難となる。
【0030】
これに対して、基本構成では、位置決めマークとこの背景とのコントラストが鮮明となる正解画像を予め作成し、その正解画像を用いて、検査対象物の撮像画像から、正規化相関演算によるテンプレートマッチングの手法によって位置決めマークを検出するから、検査対象物の撮像画像の微小な輝度変動による一致度の低下を防ぐことができ、安定した位置決めマークの検出が可能になる。
【0031】
図4は画像処理装置の一機能を示すブロック図、図5は画像処理装置により利用される粗検索用画像の説明図、図6,図7は位置決めマークの検出方法の説明図であり、これらの図を用いて、本発明の画像処理装置およびその方法に係る第1実施形態について説明する。
【0032】
第1実施形態の画像処理装置は、基本構成と相違する位置決めマーク検出機能を有している以外は基本構成の画像処理装置と同様に構成される。すなわち、第1実施形態の位置決めマーク検出機能は、図4に示すように、基本構成と同様の撮像部1および画像メモリ2と、基本構成と相違する記憶部5aおよび検出部7aとにより構成されている。
【0033】
記憶部5aは、正解画像に加えて、図5(a)に示すように、正解画像の基になる撮像画像から、図5(b)に示すように、予め作成され、正解画像の周辺の回路パターンの画像を含む粗検索用画像(粗サーチテンプレート)をさらに記憶している。第1実施形態では、粗検索用画像は、オペレータにより手動で作成され、図5(b)の例では基本的に白黒の2値化画像になっている。ここで、正解画像のみのサーチでは、検査画像中にそれと形状の似たものが存在すると、検査画像のコントラストが低いために誤検出を起こし易くなるが、粗検索用画像を使用することにより、それに含まれるより多くの情報によって位置決めマークの安定した検出が可能になる。さらに、図5に示すように、位置決めマークとは形状が明らかに異なる回路パターンなどを粗検索用画像内に含めれば、位置決めマークの検出の安定性がさらに向上する。
【0034】
検出部7aは、検出部7と同様に構成され、撮像部1の撮像で得られた撮像画像から上記粗検索用画像を用いて正解画像を含む領域を少なくとも1つ探索し、その領域から正解画像を用いて位置決めマークの位置を検出するものである。正解画像を含む領域を複数探索する場合には、先ず粗検索用画像により位置決めマークの大まかな位置を一致度の高い順に複数候補検出し、続いてこれらの各々から正解画像を用いて位置決めマークの位置を検出し、最も高い一致度になった正解画像の位置決めマークの位置を求めるべき位置とする処理が実行されることになる。なお、各サーチには、基本構成と同様に正規化相関演算によるテンプレートマッチングの手法が使用される。
【0035】
次に、第1実施形態の特徴となる位置決めマーク検出機能による動作について説明する。まず、撮像部1により検査対象物の撮像が行われ、図6(a)に示すような撮像画像が画像メモリ2に取り込まれて記憶される。
【0036】
この後、画像メモリ2に記憶された撮像画像から、図6(b)に示すような粗検索用画像を利用することにより正解画像を含む領域が少なくとも1つ探索される(粗サーチ)。これにより、位置決めマークの大まかな位置が決定する。ここで、粗検索用画像および検査画像に画像縮小処理を実行してデータ量を低減し、縮小画像でサーチを行ってもよい。1/nの画像縮小処理は、画像内のn×n画素の領域について平均輝度値を計算し、この値の1画素をそのn×n画素の領域と置き換える手順で実行される。例えば、640×480画素の画像を1/8に縮小すると、縮小画像は80×60画素の画像となる。これにより、探索時間を大幅に削減することができるので、検査対象物の撮像画像から位置決めマークをより高速に検出することができる。
【0037】
続いて、その領域から図6(c)に示すような正解画像を利用することにより位置決めマークの位置が検出される。このとき、上記領域の近傍のみが探索範囲に限定されて位置決めマークが検出される(詳細サーチ)。なお、これらの手順を図7に示す。
【0038】
このように、粗検索用画像および正解画像を順に用いた2段階でサーチが実行されるので、位置決めマークを高速かつ確実に検出することができる。
【0039】
図8は画像処理装置の一機能を示すブロック図、図9は画像処理装置により利用される正解画像の説明図であり、これらの図を用いて、本発明の画像処理装置およびその方法に係る第1参考例について説明する。
【0040】
第1参考例の画像処理装置は、基本構成と相違する位置決めマーク検出機能を有している以外は基本構成の画像処理装置と同様に構成される。すなわち、第1参考例の位置決めマーク検出機能は、基本構成との相違点として、図8に示すように、正解画像作成部3がさらに組み込まれている。この正解画像作成部3は、正解画像の作成の基になる図9(a),(b)に示すような撮像画像から、各画素の濃度を利用して、図9(c)に示すような正解画像を作成し、これを記憶部5に記憶するものである。
【0041】
ここで、上記正解画像作成部3には、本出願人により特願2000−380972で別途提案されている画像処理方法を適用することができる。以下、その画像処理方法について説明する。
【0042】
まず、撮像で得られた処理対象画像に対して、2種類の第1,第2平滑化フィルタを適用して2種類の平滑化画像を生成する。平滑化画像とは、処理対象画像において注目する画素ごとに近傍領域の複数個の画素の濃度値の平均値を各注目画素の画素値とした画像であって、近傍領域としては注目画素を中心として±n画素の範囲の画素からなる(2n+1)×(2n+1)の正方領域を用いる。ここで、一方の第1平滑化フィルタにおいて近傍領域を±2r画素の領域とした平滑化画像を生成するとすれば、他方の第2平滑化フィルタでは±(2r+3)画素の領域とした平滑化画像を生成する。要するに、第1平滑化フィルタよりも第2平滑化フィルタのほうが平均濃度を求めるための近傍領域の画素数が多くなっている。したがって、第1平滑化フィルタにより得られる平滑化画像に比較して第2平滑化フィルタにより得られる平滑化画像のほうが平滑度が高くなる。
【0043】
平均濃度を求めるための近傍領域の画素数が少ないほうの平滑化画像には、重み付けがされ、各画素の画素値に1以上の重み係数を乗じた画像が生成される。ここに、重み係数αは1.0≦α≦1.5の範囲に設定される。重み付けされた画像は、第2平滑化フィルタにより生成された平滑化画像ともに差分が抽出される。すなわち、第2平滑化フィルタで生成された平滑化画像の各画素値から、重み付けされて生成された画像の対応する位置の各画素値を減算した画素値を有する差分画像を生成する。差分画像の各画素値xiは、重み付けされて生成された画像の各画素値をsiとし、第2平滑化フィルタから出力される平滑化画像の各画素値をtiとするとき、次式で求められる。
【0044】
xi=ti−α×si
続いて、上記差分画像に対して比較判定が行われ、差分画像の各画素のうち各画素値の符号が正となる画素が抽出される。ただし、ここでは、注目画素が周囲よりも暗い場合に注目画素を強調して抽出することを目的としているので、上述の演算によって、注目画素を強調して抽出することが可能になる。
【0045】
たとえば、図10(a)のような処理対象画像について、第1平滑化フィルタにより平滑化を施すと平滑化画像は図10(b)のようになり、第2平滑化フィルタによる平滑化画像は図10(c)のように図10(b)よりも平滑度の高い画像になる。図10(b)の画像に重み付けを行って、図10(c)の画像から減じた差分画像を求めると、図10(d)のようになる。こうして得られた差分画像のうち画素が正である領域についてのみ処理対象画像から抽出すれば、図10(e)のように注目画素(文字)のみを強調した画像を生成することが可能になる。
【0046】
また、注目画素が周囲よりも明るい場合には、第1,第2平滑化フィルタの前に、処理対象画像の各画素の濃度値のうちの最大値から各画素の濃度値を減算した値を各画素の画素値とした反転画像を生成すればよい。これにより、処理対象画像において着目画素が周囲よりも明るい場合に、着目画素が周囲よりも暗くなるので、上記と同様の方法を適用することができる。図9の例では、着目画素が周囲よりも明るいので、この後者の方法が採られることになる。
【0047】
次に、第1参考例の特徴となる位置決めマーク検出機能による動作について説明する。まず、前処理として、淡い画像となるプラスないし十字状の位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、各画素の濃度を利用することにより正解画像が作成されて記憶部5に記憶される。これにより、設定が容易となり、オペレータの負担が低減し、汎用性が向上する。
【0048】
この後、検査時において、撮像部1により検査対象物の撮像が行われ、その撮像で得られた撮像画像が画像メモリ2に取り込まれて記憶される。この後、画像メモリ2に記憶された撮像画像から、正解画像を用いた正規化相関演算によるテンプレートマッチングの手法により位置決めマークの位置が検出される。
【0049】
図11は画像処理装置の一機能を示すブロック図、図12は画像処理装置により利用される粗検索用画像の説明図であり、これらの図を用いて、本発明の画像処理装置およびその方法に係る第1参考例実施形態について説明する。
【0050】
第2実施形態の画像処理装置は、第1実施形態と相違する位置決めマーク検出機能を有している以外は第1実施形態の画像処理装置と同様に構成される。すなわち、第2実施形態の位置決めマーク検出機能は、第1実施形態との相違点として、図11に示すように、第1参考例と同様の正解画像作成部3および第2実施形態の特徴となる粗検索用画像作成部4がさらに組み込まれている。
【0051】
粗検索用画像作成部4は、正解画像の作成の基になる図12(a)に示すような撮像画像から、各画素の濃度を利用して、図12(c)に示すような粗検索用画像を作成し、これを記憶部5aに記憶するものである。ここで、粗検索用画像作成部4には、第1参考例と同様に、本出願人により特願2000−380972で別途提案されている画像処理方法を適用することができる。
【0052】
次に、第2参考例の特徴となる位置決めマーク検出機能による動作について説明する。まず、前処理として、淡い画像となるプラスないし十字状の位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、各画素の濃度を利用することにより正解画像が作成されて記憶部5aに記憶されるとともに、その撮像画像から、正解画像の周辺の画像を含む粗検索用画像が作成されて記憶部5aに記憶される。これにより、設定が容易となり、オペレータの負担が低減し、汎用性が向上する。
【0053】
この後、撮像部1により検査対象物の撮像が行われ、撮像画像が画像メモリ2に取り込まれて記憶され、画像メモリ2に記憶された撮像画像から、粗検索用画像を利用することにより正解画像を含む領域が少なくとも1つ探索される。続いて、その領域から正解画像を利用することにより位置決めマークの位置が検出される。
【0054】
図13は画像処理装置の一機能を示すブロック図、図14,図15は画像処理装置による位置決めマークの検出方法の説明図であり、これらの図を用いて、本発明の画像処理装置およびその方法に係る第2参考例について説明する。
【0055】
第2参考例の画像処理装置は、第1参考例と相違する位置決めマーク検出機能を有している以外は第1参考例の画像処理装置と同様に構成される。すなわち、第2参考例の位置決めマーク検出機能は、図13に示すように、第1参考例と同様の撮像部1、画像メモリ2および正解画像作成部3のほか、正解画像分割部6、記憶部5bおよび検出部7bにより構成されている。
【0056】
正解画像分割部6は、メインメモリ20、およびプログラム格納用メモリ19に格納されたプログラムを実行するCPU22などにより構成され、正解画像を均等に4分割ないし8分割(図14の上部の例では正解画像を左右上下に分割)して複数の分割画像を作成するものである。その複数の分割画像は、正解画像とともに記憶部5b記憶される。
【0057】
検出部7bは、検出部7と同様に構成され、記憶部5bに記憶された正解画像および複数の分割画像の各々を用いて、撮像部1の撮像で得られた撮像画像から位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を位置決めマークの位置として検出するものである。
【0058】
次に、第2参考例の特徴となる位置決めマーク検出機能による動作について説明する。まず、前処理として、淡い画像となるプラスないし十字状の位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、各画素の濃度を利用することにより正解画像が作成されて記憶部5bに記憶される。そして、その正解画像は左右上下に分割されて、複数の分割画像として記憶部5bに記憶される。
【0059】
この後、検査時において、撮像部1により検査対象物の撮像が行われ、その撮像で得られた撮像画像が画像メモリ2に取り込まれて記憶される。
【0060】
続いて、記憶部5bに記憶された正解画像および複数の分割画像の各々を用いることにより、撮像部1の撮像で得られた撮像画像から位置決めマークの位置の検出が行われ、これらの検出結果から最も一致度が高くなった位置が位置決めマークの位置として検出される。なお、図15にこれらの手順の概要を示す。
【0061】
これにより、検査対象物の撮像画像に、位置決めマークが部分的に欠損するなどの大きな阻害要因がある場合でも、位置決めマークを確実に検出することができる。
【0062】
図16は画像処理装置の一機能を示すブロック図であり、この図を用いて、本発明の画像処理装置およびその方法に係る第3実施形態について説明する。
【0063】
第3実施形態の画像処理装置は、第2実施形態と相違する位置決めマーク検出機能を有している以外は第2実施形態の画像処理装置と同様に構成される。すなわち、第3実施形態の位置決めマーク検出機能は、図16に示すように、第2実施形態と同様の撮像部1、画像メモリ2、正解画像作成部3および粗検索用画像作成部4のほか、正解画像分割部6、記憶部5cおよび検出部7cにより構成されている。
【0064】
正解画像分割部6は、第2参考例と同様のものであり、それによって作成された複数の分割画像は、正解画像および粗検索用画像とともに記憶部5cに記憶される。
【0065】
検出部7cは、検出部7aと同様に構成され、撮像部1の撮像で得られた撮像画像から粗検索用画像を用いて正解画像を含む領域を少なくとも1つ探索し、正解画像および複数の分割画像の各々を用いて、上記領域から位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を位置決めマークの位置として検出するものである。
【0066】
次に、第3実施形態の特徴となる位置決めマーク検出機能による動作について説明する。まず、前処理として、淡い画像となるプラスないし十字状の位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、各画素の濃度を利用することにより正解画像が作成されて記憶部5cに記憶されるとともに、その撮像画像から、正解画像の周辺の画像を含む粗検索用画像が作成されて記憶部5cに記憶される。また、正解画像は左右上下に分割されて、複数の分割画像として記憶部5cに記憶される。
【0067】
この後、検査時において、撮像部1により検査対象物の撮像が行われ、その撮像で得られた撮像画像が画像メモリ2に取り込まれて記憶される。
【0068】
続いて、画像メモリ2に記憶された撮像画像から、粗検索用画像を用いることにより、正解画像を含む領域が少なくとも1つ探索され、記憶部5cに記憶された正解画像および複数の分割画像の各々を用いることにより、その領域から位置決めマークの位置の検出が行われ、これらの検出結果から最も一致度が高くなった位置が位置決めマークの位置として検出される。
【0069】
これにより、検査対象物の撮像画像に、位置決めマークが部分的に欠損するなどの大きな阻害要因がある場合でも、位置決めマークを確実に検出することができる。
【0070】
【発明の効果】
以上のことから明らかなように、請求項1記載の発明の画像処理装置は、淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、予め作成され、前記位置決めマークとこの背景とのコントラストが鮮明となる正解画像を記憶する記憶手段と、前記位置決めマークと同じ淡い画像となる位置決めマークの入った透明または半透明の基材である検査対象物の撮像を行う撮像手段と、この撮像手段の撮像で得られた撮像画像から前記正解画像を用いて前記位置決めマークの位置を検出する検出手段とを備え、前記記憶手段は、前記正解画像の基になる撮像画像から、予め作成され、前記正解画像の周辺の、前記位置決めマークとは形状が異なる前記基材の画像を含む粗検索用画像をさらに記憶し、前記検出手段は、前記撮像手段の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、その領域から前記正解画像を用いて前記位置決めマークの位置を検出するので、淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、位置決めマークを精度良く検出することができる。ここで、正解画像内の位置決めマークとこの背景とのコントラストが低いと、検査対象物の撮像画像の微小な輝度変動により、正解画像内の位置決めマークと検査対象物の撮像画像内の位置決めマークとが一致する度合い(一致度)が低くなり、安定した位置決めマークの検出が困難となるが、この発明では、位置決めマークとこの背景とのコントラストが鮮明となる正解画像が使用されるから、検査対象物の撮像画像の微小な輝度変動による一致度の低下を防ぐことができ、安定した位置決めマークの検出が可能になる。
【0071】
また、粗検索用画像に含まれるより多くの情報によって位置決めマークの安定した検出が可能になる。
【0073】
請求項2記載の発明は、請求項1記載の画像処理装置において、前記正解画像の作成の基になる撮像画像から、各画素の濃度を利用して前記粗検索用画像を作成する粗検索用画像作成手段をさらに備えるので、オペレータの負担が低減し、汎用性が向上する。
【0075】
請求項3記載の発明は、請求項1または2記載の画像処理装置において、前記正解画像を分割して複数の分割画像を作成する正解画像分割手段をさらに備え、前記検出手段は、前記撮像手段の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、前記正解画像および前記複数の分割画像の各々を用いて、前記領域から前記位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を前記位置決めマークの位置として検出するので、検査対象物の撮像画像に、位置決めマークが部分的に欠損するなどの大きな阻害要因がある場合でも、位置決めマークを確実に検出することができる。
【0076】
請求項4記載の発明は、記憶手段および撮像手段を備える画像処理装置によって実行される画像処理方法であって、淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、予め作成され、前記位置決めマークとこの背景とのコントラストが鮮明となる正解画像を前記記憶手段に記憶するステップと、前記撮像手段により、前記位置決めマークと同じ淡い画像となる位置決めマークの入った透明または半透明の基材である検査対象物の撮像を行うステップと、前記検査対象物の撮像で得られた撮像画像から前記正解画像を用いて前記位置決めマークの位置を検出するステップとを有し、前記記憶手段は、前記正解画像の基になる撮像画像から、予め作成され、前記正解画像の周辺の、前記位置決めマークとは形状が異なる前記基材の画像を含む粗検索用画像をさらに記憶し、前記位置決めマークの位置を検出するステップでは、前記検査対象物の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、その領域から前記正解画像を用いて前記位置決めマークの位置を検出するので、淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、位置決めマークを精度良く検出することができる。
【0077】
また、粗検索用画像に含まれるより多くの情報によって位置決めマークの安定した検出が可能になる。
【0079】
請求項5記載の発明は、請求項4記載の画像処理方法において、前記正解画像は、当該正解画像の作成の基になる撮像画像から、各画素の濃度を利用して作成されるので、オペレータの負担が低減し、汎用性が向上する。
【0081】
請求項6記載の発明は、請求項4または5記載の画像処理方法において、前記位置決めマークの位置を検出するステップの前に、前記正解画像を分割して複数の分割画像を作成するステップをさらに有し、前記位置決めマークの位置を検出するステップでは、前記検査対象物の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、前記正解画像および前記複数の分割画像の各々を用いて、前記領域から前記位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を前記位置決めマークの位置として検出するので、検査対象物の撮像画像に、位置決めマークが部分的に欠損するなどの大きな阻害要因がある場合でも、位置決めマークを確実に検出することができる。
【図面の簡単な説明】
【図1】 基本構成の画像処理装置の一機能(位置決めマーク検出機能)を示すブロック図である。
【図2】 基本構成の画像処理装置全体の構成図である。
【図3】 基本構成の画像処理装置により利用される正解画像の説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図4】 第1実施形態の画像処理装置の一機能(位置決めマーク検出機能)を示すブロック図である。
【図5】 第1実施形態の画像処理装置により利用される粗検索用画像の説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図6】 第1実施形態の位置決めマークの検出方法の説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図7】 第1実施形態の位置決めマークの検出方法の説明図である。
【図8】 第1参考例の画像処理装置の一機能(位置決めマーク検出機能)を示すブロック図である。
【図9】 第1参考例の画像処理装置により利用される正解画像の説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図10】 本出願人により特願2000−380972で別途提案されている画像処理方法の説明図である。
【図11】 第2実施形態の画像処理装置の一機能(位置決めマーク検出機能)を示すブロック図である。
【図12】 第2実施形態の画像処理装置により利用される粗検索用画像の説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図13】 第2参考例の画像処理装置の一機能(位置決めマーク検出機能)を示すブロック図である。
【図14】 第2参考例の画像処理装置による位置決めマークの検出方法の説明図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【図15】 第2参考例の画像処理装置による位置決めマークの検出方法の説明図である。
【図16】 第2参考例の画像処理装置の一機能(位置決めマーク検出機能)を示すブロック図である。
【図17】 液晶表示装置の基材の撮像画像を示す図であって、表示装置上に表示された中間画像をプリンタで印刷出力して得た図面に代わる写真である。
【符号の説明】
1 撮像部
2 画像メモリ
3 正解画像作成部
4 粗検索用画像作成部
5,5a,5b,5c 記憶部
6 正解画像分割部
7,7a,7b,7c 検出部
Claims (6)
- 淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、予め作成され、前記位置決めマークとこの背景とのコントラストが鮮明となる正解画像を記憶する記憶手段と、
前記位置決めマークと同じ淡い画像となる位置決めマークの入った透明または半透明の基材である検査対象物の撮像を行う撮像手段と、
この撮像手段の撮像で得られた撮像画像から前記正解画像を用いて前記位置決めマークの位置を検出する検出手段とを備え、
前記記憶手段は、前記正解画像の基になる撮像画像から、予め作成され、前記正解画像の周辺の、前記位置決めマークとは形状が異なる前記基材の画像を含む粗検索用画像をさらに記憶し、
前記検出手段は、前記撮像手段の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、その領域から前記正解画像を用いて前記位置決めマークの位置を検出することを特徴とする画像処理装置。 - 前記正解画像の作成の基になる撮像画像から、各画素の濃度を利用して前記粗検索用画像を作成する粗検索用画像作成手段をさらに備えることを特徴とする請求項1記載の画像処理装置。
- 前記正解画像を分割して複数の分割画像を作成する正解画像分割手段をさらに備え、前記検出手段は、前記撮像手段の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、前記正解画像および前記複数の分割画像の各々を用いて、前記領域から前記位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を前記位置決めマークの位置として検出することを特徴とする請求項1または2記載の画像処理装置。
- 記憶手段および撮像手段を備える画像処理装置によって実行される画像処理方法であって、
淡い画像となる位置決めマークの入った透明または半透明の基材の撮像で得られた撮像画像から、予め作成され、前記位置決めマークとこの背景とのコントラストが鮮明となる正解画像を前記記憶手段に記憶するステップと、
前記撮像手段により、前記位置決めマークと同じ淡い画像となる位置決めマークの入った透明または半透明の基材である検査対象物の撮像を行うステップと、
前記検査対象物の撮像で得られた撮像画像から前記正解画像を用いて前記位置決めマークの位置を検出するステップとを有し、
前記記憶手段は、前記正解画像の基になる撮像画像から、予め作成され、前記正解画像の周辺の、前記位置決めマークとは形状が異なる前記基材の画像を含む粗検索用画像をさらに記憶し、
前記位置決めマークの位置を検出するステップでは、前記検査対象物の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、その領域から前記正解画像を用いて前記位置決めマークの位置を検出する
ことを特徴とする画像処理方法。 - 前記正解画像は、当該正解画像の作成の基になる撮像画像から、各画素の濃度を利用して作成されることを特徴とする請求項4記載の画像処理方法。
- 前記位置決めマークの位置を検出するステップの前に、前記正解画像を分割して複数の分割画像を作成するステップをさらに有し、
前記位置決めマークの位置を検出するステップでは、前記検査対象物の撮像で得られた撮像画像から前記粗検索用画像を用いて前記正解画像を含む領域を少なくとも1つ探索し、前記正解画像および前記複数の分割画像の各々を用いて、前記領域から前記位置決めマークの位置の検出を行い、これらの検出結果から最も一致度が高くなった位置を前記位置決めマークの位置として検出する
ことを特徴とする請求項4または5記載の画像処理方法。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001124554A JP4465911B2 (ja) | 2001-04-23 | 2001-04-23 | 画像処理装置およびその方法 |
US10/204,429 US7039236B2 (en) | 2000-12-14 | 2001-12-10 | Image processor and pattern recognition apparatus using the image processor |
DE60113564T DE60113564T2 (de) | 2000-12-14 | 2001-12-10 | Bildverarbeitungseinrichtung und Mustererkennungsvorrichtung, bei der die Bildverarbeitungseinrichtung verwendet wird |
CNB01804851XA CN1269079C (zh) | 2000-12-14 | 2001-12-10 | 图像处理器和使用这种图像处理器的图案识别装置 |
KR10-2002-7010438A KR100481933B1 (ko) | 2000-12-14 | 2001-12-10 | 영상 처리기 및 이를 이용한 패턴 인식 장치 |
EP01270861A EP1346321B1 (en) | 2000-12-14 | 2001-12-10 | Image processor and pattern recognition apparatus using the image processor |
PCT/JP2001/010817 WO2002048964A1 (en) | 2000-12-14 | 2001-12-10 | Image processor and pattern recognition apparatus using the image processor |
TW090131026A TW559739B (en) | 2000-12-14 | 2001-12-14 | Image processor and pattern recognition apparatus using the image processor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001124554A JP4465911B2 (ja) | 2001-04-23 | 2001-04-23 | 画像処理装置およびその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002318110A JP2002318110A (ja) | 2002-10-31 |
JP4465911B2 true JP4465911B2 (ja) | 2010-05-26 |
Family
ID=18973920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001124554A Expired - Fee Related JP4465911B2 (ja) | 2000-12-14 | 2001-04-23 | 画像処理装置およびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4465911B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008224417A (ja) * | 2007-03-13 | 2008-09-25 | Omron Corp | 計測方法および計測装置 |
-
2001
- 2001-04-23 JP JP2001124554A patent/JP4465911B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002318110A (ja) | 2002-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7916893B2 (en) | Image processing apparatus, image processing method, and program | |
US7973828B2 (en) | Red-eye filter method and apparatus | |
US7978903B2 (en) | Defect detecting method and defect detecting device | |
KR101338576B1 (ko) | 화상 해석에 의해서 결함 검사를 실시하는 결함검사장치 | |
JP4351911B2 (ja) | デジタルスチルカメラにおける取り込み画像の写真品質を評価する方法及び装置 | |
US7039236B2 (en) | Image processor and pattern recognition apparatus using the image processor | |
JP2008226031A (ja) | まぶた検出装置及びプログラム | |
JP2007285754A (ja) | 欠陥検出方法および欠陥検出装置 | |
US8139862B2 (en) | Character extracting apparatus, method, and program | |
JP2005345290A (ja) | 筋状欠陥検出方法及び装置 | |
JP4182937B2 (ja) | 撮影装置、撮影装置の画像処理方法及びプログラム | |
JP4465911B2 (ja) | 画像処理装置およびその方法 | |
JP4040732B2 (ja) | 画像認識による計測方法および記録媒体 | |
JP4524616B2 (ja) | 撮影装置、撮影画像の画像処理方法及びプログラム | |
JP4975472B2 (ja) | カラーフィルタ欠陥修正装置およびカラーフィルタ欠陥修正方法 | |
JP2007285868A (ja) | 輝度勾配検出方法、欠陥検出方法、輝度勾配検出装置および欠陥検出装置 | |
JP2006035505A (ja) | 印刷物の検査方法及び装置 | |
JP2010243209A (ja) | 欠陥検査方法および欠陥検出装置 | |
JP4639140B2 (ja) | 画像処理装置 | |
JP4852454B2 (ja) | 目傾き検出装置及びプログラム | |
JP4315025B2 (ja) | 撮影装置、画像取得方法及びプログラム | |
KR100351129B1 (ko) | 주변 마스크를 이용한 인쇄불량 검사시스템 | |
JP2006242584A (ja) | ムラ欠陥検出方法及び装置 | |
JPH11237212A (ja) | 画像認識方法 | |
JP2007109121A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060403 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100202 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4465911 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140305 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |