JP4320990B2

JP4320990B2 - 画面欠陥検出方法及び装置並びに画面欠陥検出のためのプログラム

Info

Publication number: JP4320990B2
Application number: JP2001365906A
Authority: JP
Inventors: 誠志渥美
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2001-11-30
Filing date: 2001-11-30
Publication date: 2009-08-26
Anticipated expiration: 2021-11-30
Also published as: JP2003167529A

Description

【０００１】
【発明の属する技術分野】
本発明は、液晶パネル等の表示デバイスやその応用製品であるプロジェクター等の製造における検査工程において、画面のシミやムラ等の欠陥を自動的に検出する技術に関する。
【０００２】
【従来の技術】
液晶表示装置等の画面には、主として製造上の不具合に起因して輝度の不均一が生じ、これが点状のシミや筋状のムラ、あるいはより面積的に大きな広がりをもつ輝度ムラ等、一般に画面欠陥と総称される欠陥となってあらわれる。かかる画面欠陥を検出する方法として、例えば、特開平１０−２４０９３３号公報、特開平８−１４５９０４号公報等がある。
特開平１０−２４０９３３号公報は、着目画素を中心として水平・垂直・斜め方向に画素値を積算して最大値を採用しその最大値をしきい値と比較することにより線欠陥を検出する方法である。また、特開平８−１４５９０４号公報は、画面をメッシュ（ブロック）に分割し、そのメッシュ内での濃度加算値を算出し、その濃度加算値に基づいて明ムラまたは暗ムラを検出するものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、特開平１０−２４０９３３号公報の技術は、直線状の線欠陥を検出対象とするものであり、面積的な広がりをもつシミやムラを検出することは困難である。一方、特開平８−１４５９０４号公報の技術は、シミやムラを検出の対象とするが、メッシュ内における濃度の平均値に基づいてムラを検出するので、ムラの大きさがメッシュと同程度であったり、微弱なコントラスト差しかないような場合には検出することができない。
【０００４】
ところで、検査対象のデバイス（例えば、液晶パネル）をプロジェクターやバックライト等で投影し、その投影画像を撮像して得た撮像画像に基づいて画面欠陥を検査する場合、そのデバイスに固有の輝度ムラと、そのデバイスの照明系に起因する照度ムラとが混在する状態となる。そのような場合、人間の目視検査では両者を判別することができるが、機械による自動検査ではこのような照度ムラを画面欠陥として誤検出する場合がある。
【０００５】
したがって、本発明の主たる目的は、画面欠陥の自動検出において、上記の照度ムラを誤検出することなく、検出しようとする検査対象に固有の輝度ムラを確実に検出可能にすることにある。
本発明の他の目的は、大小様々なシミやムラ等の画面欠陥を効率よく検出可能にすることにある。
【０００６】
【課題を解決するための手段】
本発明に係る画面欠陥検出方法は、検査対象の画面を撮像する工程と、撮像により取り込まれた被検査部画像の領域を複数のブロックに分割する工程と、前記被検査部画像のノイズ成分を除去するために、前記被検査部画像の領域を前記ブロックよりも大きなサイズのブロックに分割し、前記ブロックよりも大きなサイズの各ブロックについて代表値となる輝度を算出し、各ブロックの前記代表値に基づく補間を行うことにより背景画像を作成する工程と、前記被検査部画像から前記背景画像を減算または除算することによりシェーディング補正を行う工程と、前記シェーディング補正を行った前記被検査部画像の画像データについて、前記ブロックよりも大きなサイズの各ブロックにおける相互相関を計算し、算出した相互相関値に基づいて得た値を欠陥評価値として算出する工程と、前記欠陥評価値に基づいて前記被検査部画像における欠陥の有無を判断する工程と、を有することを特徴とする。
【０００７】
本発明の画面欠陥検出方法においては、撮像により取り込まれた検査対象の画面を表す被検査部画像の領域を複数のブロックに分割してノイズ成分を除去し、この被検査部画像に対してシェーディング補正を行うことにより、検出したくない照度ムラを除去した画像が得られる。したがって、画面欠陥の自動検出において、かかる照度ムラを誤検出することがなくなる。そして、このシェーディング補正後の被検査部画像について、他とのブロックとの相関をはかりながら計算した相互相関値により得た欠陥評価値に基づいて画面上の欠陥の有無を判断するようにしたので、他のブロックとの関係において、欠陥評価の判断を行うことができ、うねりを生じている部分に重点をおいた欠陥検出をするので、人間の目の特性に応じた検出、判断を行うことができる。
【０００８】
本発明の画面欠陥検出方法において、前記被検査部画像は、前記検査対象の画面を含む画像から前記検査対象の画面部分だけを抽出し、さらに幾何学的変形を施して長方形にして作成したものである。
このように、検査対象の画面を含む画像から検査対象の画面部分だけを抽出し、さらに幾何学的変形を施して長方形にして作成した被検査部画像を用いた処理を行うので、空間フィルタ演算により検査対象領域の影響を受けて、処理精度を落とすこともなく、また、画面のある部分を切り捨てた処理を行うこともなくほぼ画面の全領域の検査を精度よく行うことができる。
【００１２】
また、本発明の画面欠陥検出方法において、前記被検査部画像の領域をさらに大きなサイズのブロックに分割し、この各ブロックについて代表値となる輝度を算出し、各ブロックの前記代表値に基づく補間を行うことにより背景画像を作成する工程を有する。
このように、被検査部画像の領域をさらに大きなサイズのブロックに分割し、この各ブロックについて代表値となる輝度を算出し、各ブロックの代表値に基づく補間を行うことにより背景画像を作成することにしたので、通常の検出対象のシミやムラ等の画面欠陥は除去され、検出したくないうねりの大きな照度ムラ成分のみが残った背景画像が得られる。したがって、この背景画像を用いたシェーディング補正を行うことにより、照度ムラは除去され、もし存在するとすれば、通常の画面欠陥部分のみが残ることになる。
【００１３】
本発明の画面欠陥検出方法において、前記相互相関は、処理対象のブロックと該処理対象のブロックに隣接するブロックとの間で、それぞれ対応する行及び列の輝度に基づいて計算する。
このように、処理対象のブロックと処理対象のブロックに隣接するブロックとの間で、それぞれ対応する行及び列の輝度に基づいて相互相関値を算出するようにしたので、周りの状況との相関で、一様なものは検出せず、うねりが生じているものは検出するといった人間の目の特性を加味した検出を行うことができる。
【００１４】
本発明の画面欠陥検出方法において、前記隣接するブロックとは、前記処理対象のブロックの上、下、左及び右に位置するブロックである。
このように、隣接するブロックを上、下、左及び右に位置するブロックとしたので、それほど処理時間をかけずに適度な程度の検出を行うことができる。
【００１５】
本発明の画面欠陥検出方法において、処理対象のブロック内及び該処理対象のブロックに隣接するブロック内の輝度をそれぞれ正規化した後に前記相互相関を計算する。
このように、正規化した後に相互相関を計算するようにしたので、背景輝度差（シェーディング）を解消することができる。
【００１６】
本発明の画面欠陥検出方法において、前記被検査部画像における欠陥の有無を判断する工程は、異なる前記ブロック分割数による前記欠陥評価値算出を複数回行った後に判断する。
このように、異なるブロック分割数による欠陥評価値算出を複数回行った後に欠陥の有無を判断するようにしたので、ブロック分割数に幅をもたせれば、大小のシミやむらを一度に検出することができる。
【００１７】
本発明の画面欠陥検出方法において、前記異なるブロック分割数により算出した前記欠陥評価値を正規化し、前記画面に合わせて加算して得た値に基づいて前記被検査部画像における欠陥の有無を判断する。
このように、異なるブロック分割数により算出した欠陥評価値を正規化し、被検査部画像に合わせて加算して得た値に基づいて被検査部画像における欠陥の有無を判断するようにしたので、ブロックの分割数で、大きさと強度が異なる欠陥を統一的に評価してマッピングを行うことができる。
【００１８】
また、本発明に係る画面欠陥検出装置は、検査対象の画面を撮像する撮像手段と、撮像により取り込まれた被検査部画像の領域を複数のブロックに分割するように、前記被検査部画像の画像データを処理するブロック分割手段と、前記被検査部画像の画像データからノイズ成分を除去するために、前記被検査部画像の画像データを前記ブロックよりも大きなサイズのブロックに分割し、前記ブロックよりも大きなサイズの各ブロックについて代表値となる輝度を算出し、各ブロックの前記代表値に基づく補間を行うことにより背景画像を作成するノイズ除去手段と、前記被検査部画像から前記背景画像を減算または除算することによりシェーディング補正を行う画像データ補正手段と、前記シェーディング補正後の前記被検査部画像の画像データについて、前記ブロックよりも大きなサイズの各ブロックにおける相互相関を計算し、算出した相互相関値に基づいて得た値を欠陥評価値として算出する欠陥検出手段と、前記欠陥評価値に基づいて、前記被検査部画像における欠陥の有無を判断する欠陥判断手段と、を備えたものである。
このように構成することにより、前述した本発明の画面欠陥検出方法を高速かつ高精度に実施することができる。
【００１９】
また、本発明の画面欠陥検出装置は、以下の特徴を有する。
【００２０】
前記検査対象の画面を含む画像データから前記検査対象の画面部分だけを抽出し、幾何学的変形を施して長方形にした画像データを作成する画像データ処理手段をさらに備える。
【００２３】
前記欠陥検出手段は、処理対象のブロックと該処理対象のブロックに上、下、左及び右に隣接するブロックとの間で、それぞれ対応する行及び列の前記画素データが表す値を正規化して前記相互相関値を計算する手段である。
【００２５】
また、本発明に係る画面欠陥検出のためのプログラムは、検査対象の画面を表す被検査部画像の画像データを複数のブロックに分割させ、前記被検査部画像の画像データを前記ブロックよりも大きなサイズのブロックに分割させ、前記ブロックよりも大きなサイズの各ブロックについて代表値となる値を算出させ、各ブロックの代表値に基づいた補間を行わせて背景画像を作成させ、前記背景画像の画像データを前記被検査部の画像データから減算または除算させるシェーディング補正を行わせ、前記シェーディング補正後の前記被検査部画像の画像データについて、前記ブロックよりも大きなサイズの各ブロックにおける相互相関を計算させ、算出した相互相関値に基づいて得た値を欠陥評価値として算出させ、前記欠陥評価値に基づいて、前記被検査部画像における欠陥の有無を判断させることをコンピュータに行わせるものである。
このように、検査対象の画面を表す被検査部画像の画像データを分割させたブロックに基づいて、シェーディング補正を行わせ、さらにそのブロック間の関係における相互相関を計算させ、相互相関値に基づいて得た欠陥評価値に基づいて、画面上の欠陥の有無を判断させるようにしたので、うねりを生じている部分に重点をおいた欠陥検出を行わせることができ、人間の目の特性に応じた検出、判断を行わせることができる。
【００２６】
また、本発明のプログラムは、以下の特徴を有する。
【００２７】
前記検査対象の画面を含む入力画像の画像データから前記検査対象の画面部分だけを表す前記被検査部画像を抽出させ、幾何学的変形を施して長方形にさせて前記被検査部画像を表す画像データを作成させる。
【００３０】
処理対象のブロックと該処理対象のブロックに上、下、左及び右に隣接するブロックとの間で、それぞれ対応する行及び列の前記画素データが表す値を正規化させて前記相互相関値を計算させることをコンピュータに行わせる。
【００３１】
ブロック分割数を異ならせて複数回行った処理により算出させた前記欠陥評価値を、前記ブロック分割数毎の正規化を行わせ、前記画面に合わせて加算させて得た値に基づいて前記画面上の欠陥の有無を判断させることをコンピュータに行わせる。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態を図面により説明する。
実施形態１．
図１は本発明の実施の形態１を示す画面欠陥検出装置の構成図である。図１において、１０は液晶パネル等の検査対象、２０はＣＣＤカメラ等からなる撮像手段、３０は欠陥検出手段である。ここでは、検査対象１０である液晶ライトバルブをプロジェクターでスクリーン１２上に投影した画像１１について検査する場合を示している。この投影画像１１の画面全体をスクリーン１２の周辺部分を含めてＣＣＤカメラで撮像する。また、スクリーンを用いずに液晶パネルの表示画像を周辺のフレーム部分を含めて直接撮像してもよい。撮像手段２０には検査対象１０よりも解像度の良いものを用いることが好ましい。すなわち、投影画像１１の画素数よりも撮像手段２０の画素数が多いものがよい。画像データ数が多くなるため、検出精度が向上するからである。
【００３３】
欠陥検出手段３０は、画像データ処理部３１と、ブロック分割部３２と、ノイズ除去部３３と、画像データ補正部３４と、欠陥検出部３５と、欠陥判定部３６とから構成されている。また、欠陥検出手段３０は通常、表示手段４０等の外部出力装置を備えたコンピュータで構成される。
【００３４】
画像データ処理部３１は、入力された画像データに基づいて検査対象１０の画面部分だけを抽出した被検査部画像の画像データを作成する。
ブロック分割部３２は、画像データ処理部３１が作成した被検査部画像の画像データを複数のブロックに分割する。
ノイズ除去部３３は、被検査部画像の画像データから、例えば撮像手段２０の特性等により生じるノイズ成分の除去を図る。
画像データ補正部３４は、被検査部画像の画像データから、検出したくない照度ムラを除去するシェーディング補正を行う。
欠陥検出部３５は、シェーディング補正後の被検査部画像について、通常のシミやムラ等の画面欠陥となる部分が強調されるような処理を行う。
欠陥判定部３６は、欠陥検出部３５の処理により検出された画面欠陥に基づいて、あらかじめ定めた基準に基づいた判定を行う。
【００３５】
実際に上記欠陥検出手段３０を構成する場合、ＣＰＵ（Central Processing Unit）を中心とする制御処理手段であるコンピュータで構成することが多い。この場合、欠陥検出手段３０を構成する各部が行うそれぞれの処理の手順をプログラムとして、記憶手段（図示せず）に記憶させておき、制御処理手段がそのプログラムに基づいて手順通りに処理することにより行われる。また、撮像手段２０、表示手段４０もその制御処理手段により制御される。
【００３６】
スクリーン１２には検査対象１０の画面が投射される。撮像手段２０の一例を示すＣＣＤカメラは、撮像対象（スクリーン１２に投射された検査対象１０の画面等）による光の明るさ（ここでは輝度、照度のような客観的な測光量をいう。検査対象１０の画面部分については、結果的に画面の輝度を表すことになる）を複数の点で受光する（これを、以下撮像するという）。そして、各点の明るさを例えば０から２５５までの値に変換して画素データとし、画素データ若しくは画素データを処理したデータの集まりである画像データを信号にして欠陥検出手段３０に送信する。なお、ここでいう画素とは撮像手段２０の画素のことであり、検査対象１０が有する画素ではない。４０は表示手段である。表示手段４０は、欠陥検出手段３０から送信される表示信号に基づいて、例えば検査結果の表示等を行う。
【００３７】
本実施の形態は、画像データ処理部３１により、入力された画像データのうち、検査対象１０の画面部分（すなわち、被検査部画像）が長方形の画像データになるように変形する。そして、ブロック分割部３２により、その画像データが表す被検査部画像の領域が複数の長方形のブロックに分割されるように、被検査部画像の画像データを処理する。ノイズ除去部３３が、被検査部画像の画像データを構成する各画素データが表す値に基づいて、各ブロックについて代表値を算出し、その代表値間での補間を行う。画像データ補正部３４が、検出したくない照度ムラを残した背景画像を作成し、この背景画像を元の被検査部画像から減算または除算するシェーディング補正を行う。欠陥検出部３５が、シェーディング補正を行った被検査部画像の画像データについて、着目する（処理対象としている）ブロックと隣接するブロックとの間で相互相関を計算し、欠陥評価値を算出する。これを全てのブロックに対して行う。ブロック分割部３２、ノイズ除去部３３、画像データ補正部３４及び欠陥検出部３５はこれらの動作をあらかじめ定められた回数分、ブロックの大きさを変更させながら行う。欠陥判定部３６が、算出された全ての欠陥評価値に基づいて、その値の大きさやその値の画面における面積による定量化を図る。そして、あらかじめ設けておいたしきい値に基づいて、シミやムラの画面欠陥の有無を判断する。このようにして、検出したくない照度ムラを除去しながら、検出対象の通常の画面欠陥であるシミやムラ等を形状、大きさ等にかかわらず幅広い範囲で、短い処理時間で一度に検出する。
【００３８】
図２は欠陥検出手段の各部による画面欠陥検出処理を示すフローチャートである。図１及び図２に基づいて欠陥検出手段３０を中心とした画面欠陥検出処理について詳しく説明する。検査対象１０に、所定のパターンを画面表示させる。検査対象１０の表示は、そのままスクリーン１２に投射される。スクリーン１２に投射された検査対象１０の画面を撮像手段２０が撮像し、画像データに変換する。その際、検査対象１０の画面ができるだけ大きく（ほぼ領域いっぱいに）撮像されるようにするのが好ましい。画面部分に関する画素データの数が多くなるからである。そして、撮像手段２０は画像データを信号にして欠陥検出手段３０に送信する。
【００３９】
撮像された画面は理想的には長方形になっているはずである。しかし、実際にはスクリーン１２と撮像手段２０とが厳密に平行ではなかったり、また、撮像手段２０のレンズ等の特性等で歪みを起こしたりすることにより、画像データが表す画像において、検査対象１０の画面に対応する被検査部画像が長方形になっていることは少なく、歪みが生じていることが多い。これはスクリーン１２を介さず、検査対象１０の画面を撮像手段２０で直接撮像したとしても起こりうることである。そこで、欠陥検出手段３０の画像データ処理部３１は撮像手段２０からの画像データを調整処理する。そして、検査対象１０の画面部分だけを長方形に抽出した新たな画像データを作成する。
【００４０】
図３は画像データ処理部による新たな画像データを作成する際の画像変形を示す図である。図３において、１１ａは取り込まれたままの被検査部画像、１２ａはスクリーン部分を含む取込画像、１１ｂは長方形に変形・再構成された被検査部画像である。
ここで、検査対象１０の画面部分だけを長方形に抽出した画像データを作成するための処理はいくつか考えられる。例えばあらかじめ定めた長方形領域の部分だけを抽出し、新たな画像データとすることもできる。抽出する領域があらかじめ定められているので、画像における画面の大きさによっては、画面以外の部分も多く含まれたり、逆に画面に関する画素データを多く切り捨ててしまうことになる。そこで、できるだけその領域に近づけるために、元の画像データに対してヘルマート変換やアフィン変換により処理することも行われる。このような処理は例えばスクリーン１２を介さず、直接検査対象１０の画面を撮像した場合等のように歪みが少ない場合は有効に機能する。ただ、歪みが大きい場合、ヘルマート変換は画面部分を相似形に変換することができるが、長方形ではない画面全体を長方形にするのは困難である。アフィン変換も回転・平行移動・拡大縮小の操作であり、投影像が光学系の歪みにより正しく長方形平面の射影となっていない場合には、長方形に戻すことができない。そのため、画面全体を抽出しようとすると、画面以外の部分も含まれてしまう。
【００４１】
検査対象の画面状態、精度等によっては、上記のような方法で画面部分を長方形に抽出した画像データを作成してもよいが、本実施の形態では、図３のように幾何学的条件に基づいて変形を行った上で作成することにする。この画像変形では、まず画面部分１１ａの画素（正確には、画素データが表す値で表示される）について、４頂点の座標を算出するために、例えば画面部分１１ａを白（又はこれに近い色）とし、それ以外の部分を黒（又はこれに近い色）とする。そして、例えば白と判断した画素を“１”とし、黒と判断した画素を“０”として画像データの２値化を行う（Ｓ１）。２値化を行った画像データに対し、パターンマッチングを行い、“０”と“１”との境を検出し、４頂点の画素の座標を算出する（Ｓ２）。
【００４２】
４頂点の画素の座標を算出すると、その４つの画素の座標が、新しく作成する長方形の画像１１ｂの頂点となるように座標変換を行う。それに伴って画面部分の各画素が、対応する位置に移されるように変換される。このようにして、検査対象１０の画面だけを表す長方形の画像データが作成される（Ｓ３）。
【００４３】
画像データ処理部３１が作成した長方形の画像データに基づいて、ブロック分割部３２はその画像データによって表される画像を複数のブロック（例えば、３×３、７×７画素分のブロック等）に分割する（Ｓ４）。この分割数は、通常、あらかじめ設定によって決めておく。ブロック分割部３２により分割されたブロックの大きさと同程度のシミやムラが、後の欠陥検出部３５の処理により検出されやすくなる。
【００４４】
ノイズ除去部３３は、各ブロック内の画像データについてその代表値（サンプリング値）を算出する。ノイズを除去するための方法については、例えば画像データに対して平均化フィルタ、メディアンフィルタを施して平滑化する方法等が考えられる。これらの方法によるノイズ除去を特に否定するわけではない。ただ、平均化フィルタは、周囲の画素データの値との平均に基づいて平滑化し、ノイズ成分を除去しようとするものである。そのため、例えば、撮像手段２０に起因して、ある画素にスパイクノイズの成分が含まれている場合は、そのために平均が振られてしまい、ノイズ除去としては十分でない場合がある。また、メディアン値の算出には、ある画素データについて、その画素データを中心とするブロック（このブロックは上述のブロックとは異なる）内の複数の画素データの中で中央値（メディアン値）を算出し、それを全ての画素データについて行うので、その処理に時間がかかる。特に、本実施の形態のように、シミやムラを検出するための画像データは、通常の画像データに比べると変化が少ない低周波成分のデータである。したがって、処理時間をかけて厳密に算出したメディアン値により高周波のノイズを除去しなくてもよい。
【００４５】
図４は本実施の形態におけるノイズ除去のための代表値の算出方法を示す図である。図４は３×３の画素を１つのブロックとして、そのブロック内の各画素のデータの値を表している。本実施の形態では、高速に処理を行うために、ブロック毎にブロック内の画像データの値についてメディアン値を算出し、その値をブロックの代表値とすることにする（Ｓ５）。図４の左側のブロックでは、代表値は、並べ替えを行ったときに５番目の値となる２００ということになる。右側も同様に、１９９である。つまり、上述のように各画素についてメディアンを算出するのではなく、各ブロック内でのメディアン値を算出する。この方法により、処理時間を短縮することができる。ただ、代表値だけの画素データだけだとブロックサイズが大きくなるほど代表値のデータ数が少なくなるので（例えば３×３画素のブロックでは１／９となる）、これを補間により補うことにする。
【００４６】
本実施の形態では、キュービックスプライン（Cubic spline）補間を行う（Ｓ６）。キュービックスプライン補間は、曲げエネルギを最小にして点と点を結ぶ近似により補間を行う方法である。ここではキュービックスプライン補間としたが、これに限定されるわけでなく、他の補間（例えば線形補間（２次元スプライン補間）、ベジエ曲線補間等）で行ってもよい。このようなノイズ除去を行うことにより、選択するブロックサイズに応じて、それよりも細かなノイズ成分を選択的かつ高速に消すことができ、デフォーカスをかけたのと同等の画像を得ることができる。
【００４７】
ノイズ除去部３３によって補間を施し、ノイズ成分を除去した長方形の画像（被検査部画像）の画像データについて、ブロックサイズを変更した上で、上記のブロック分割から補間による画像データ作成までのリサンプリング処理を行う（Ｓ７）。すなわち、ここでは上記のブロックサイズよりも大きなサイズのブロック（例えば、３５×３５の画素）により長方形の画像を分割した上、上記と同様に、ブロック毎にブロック内のメディアン値を算出してその値をそのブロックの代表値とし、その他の画素データについては、スプライン補間を行う。これにより、通常の画面欠陥成分は除去され、うねりの大きな照度ムラ成分のみを再現した画像が再構成される。
【００４８】
画像データ補正部３４は、上記により再構成された画像を背景画像として、この背景画像を元の被検査部画像から減算または除算するシェーディング補正を行う（Ｓ８）。このシェーディング補正によって、検出したくない照度ムラが除去された状態の平坦化画像を得ることができる。
図６は被検査部画像とシェーディング補正後の画像との関係を示す図である。図６（ａ）は７×７の画素のブロック分割処理による被検査部画像例であり、Ａ部にうねりの大きな照度ムラが現れているのに対し、シェーディング補正後の図６（ｂ）の画像例ではこの照度ムラが完全に除去され、図６（ａ）の元の被検査部画像では明瞭でなかった画面欠陥部分Ｂが明瞭に現れている。
【００４９】
シェーディング補正後の画像データについて、欠陥検出部３５は、ブロック毎に、隣接するブロックとの正規化相互相関値を算出する（Ｓ９）。これは人間の目の特性（感性）に近づけて欠陥を検出しようとするためのものである。人間の目の特性として、一様に明るかったり、暗かったりする部分には鈍感であるが、例えば明るさが激しく変化し、うねりを生じている部分には敏感である。そこで、本実施の形態では、正規化により背景の明るさを整えた上で、相互相関により特にうねっている部分の検出を図る。ここで、本実施の形態で隣接するブロックとは、着目するブロックの上下左右に位置するブロックのことをいうものとする。
【００５０】
図５は欠陥検出部３５が行う処理を示すフローチャートである。ここでは、ある２ブロック間の正規化相互相関算出について説明する。まず、ブロック内の画素データのうち、最大の値が１となるように正規化処理を行う（Ｓ２１）。これにより、比較を行う２ブロック間の背景輝度差（シェーディング）をなくすことができる。
【００５１】
そして、２つのブロックにおいてそれぞれ対応する行方向（例えば２つのブロックのそれぞれ第１行同士）の画素データについて、次式（１）で表されるような相互相関値を算出する（Ｓ２２）。全ての行（例えば１ブロックが３×３画素のブロックであれば３行分）について相互相関値を算出したかどうかを判断し（Ｓ２３）、算出していない行があれば全ての行について相互相関値を算出する。本実施の形態では、相互相関値が高いほど一様であり、隣接するブロックと比べてもうねりがないことを示すことになる。逆に相互相関値が低ければうねりが生じていることになる。
【００５２】
【数１】

【００５３】
また、行方向に相互相関値を算出したときと同様に、２つのブロックにおいてそれぞれ対応する輝度の垂直方向（列方向）について、（１）式に基づいて相互相関値を算出する（Ｓ２４）。全ての列について相互相関値を算出したかどうかを判断し（Ｓ２５）、算出していない列があれば全ての列について相互相関値を算出する。
【００５４】
そして、隣接するブロック全てに対して、相互相関値を算出したかどうかを判断し（Ｓ２６）、算出していない隣接するブロックがあれば相互相関値を算出する（Ｓ２７）。着目するブロックに対する全ての相互相関値（上下左右のブロックとの各行、各列の相互相関値）を算出すると、それらを全て加算し、そのブロックにおける欠陥評価値とする（Ｓ２８）。ここでは特に詳述しないが、この流れに沿って普通に相互相関値及び欠陥評価値を算出すると、同じ計算を２度してしまうことが起こりうる。そこで、高速化を図るため、２度計算という手間を省くような手順で計算を行ってもよい。
【００５５】
そして、上記により算出された各ブロックの欠陥評価値を各ブロックに一律の値として画面に応じて加算（重ねてマッピング）する（Ｓ１０）。以上、ブロック分割から欠陥評価値を加算するまでの処理を、ブロックの分割数（ブロックサイズ）を変更してあらかじめ定められた回数分行う（Ｓ１１）。ここで、変更したブロックのサイズは、行又は列の画素数を最初に分割したブロックの整数倍にしたものである必要は特にない。また、相互相関値を単純に加算する欠陥評価値は、ブロックのサイズが大きくなるほど大きくなる。したがって、異なるブロックサイズの欠陥評価値を同等に扱うことはできない。そこで、マッピングする際には、正規化してからマッピングを行うようにする。
【００５６】
また、繰り返し行う回数やその時のブロックの分割数は特に規定しないが、ブロックの分割数の幅（ブロックサイズの幅）を多くし、かつ回数を多くすれば、検出精度が高くなるというわけではない。これは、算出した欠陥評価値を画面に応じて加算していくため、その回数が多くなるほど、人間の目でも判断できないコントラスト差まで強調されてしまい、本当に検出しなければならないシミやムラが埋もれてしまって区別がつかなくなってしまうからである。逆に、検出対象とするシミやムラの大きさは限定されてしまうが、分割数の幅を小さくした上で回数を多くすれば、そのブロックサイズの大きさ程度のシミ、ムラが強調されるので精度が上がる。
【００５７】
欠陥判定部３６は、あらかじめ定められた回数分が終了したものと判断すると、処理結果によって得られる欠陥評価値の大小によって、そのシミやムラの強度や面積等を定量化する（Ｓ１２）。そして、定量化した値とあらかじめ設定したしきい値とを比較することにより、欠陥の有無やその度合い等を判断する（Ｓ１３）。この定量化をするための設定、しきい値の設定は、検出したいシミやムラの大きさやコントラスト差等により任意に定めることができる。判断結果は、処理結果の画像と共に表示信号として送信され、表示手段４０によりオペレータ（検査員）に表示される。
【００５８】
以上のように第１の実施の形態によれば、検査対象１０の画面部分の画像データを、ブロック分割部３２が検出対象の大きさのシミやムラが最もよく検出できるように、任意に定められたブロックの大きさに分割処理し、その分割した各ブロックに基づいて、ノイズ除去部３３が、ブロック毎のメディアン値（中央値）に対して代表値を算出し、その代表値に対してキュービックスプライン補間を行うことで短時間でノイズを除去し、さらに、大きなサイズのブロックによるリサンプリング処理を行うことにより、うねりの大きな照度ムラ成分のみを残した画像データを作成し、この画像を背景画像として、画像データ補正部３４が、シェーディング補正を行うことで、検出したくない照度ムラを除去しながら、検出対象１０に固有の画面欠陥部分のみを残すことができ、欠陥検出部３５が、ブロック間の相互相関を計算して欠陥評価値を算出し、これをブロックサイズを変えて複数回行い、算出された全ての欠陥評価値に基づいて、欠陥判定部３６が、検査対象１０の画面のシミやムラの欠陥の有無を判断するようにしたので、ブロック分割数（ブロックサイズ）の設定により、シミ、ムラの形状、大きさ等を幅広い範囲で、短い処理時間で一度に検出することができる。この際、画像データ処理部３１により、入力された画像データのうち、検査対象１０の画面部分が長方形の画像データになるようにしてから、ブロック分割部３２に処理させるようにしたので、検査対象１０の画面部分以外の部分が画像データに含まれることもなく、また、検査対象１０の画面を一部切り捨てる必要もなく、ほぼ全ての部分について欠陥検出を行うことができる。また、欠陥検出部３５の相互相関の計算は、隣接する上下左右のブロックとの間で、同じ行及び同じ列に対して正規化した後に行うので、人間の目の特性のように、周囲との関係で一様な部分は検出せず、うねりを生じている部分だけを検出することができる。さらに、欠陥判定部３６は、それぞれのブロックのサイズで算出した欠陥評価値を正規化してから、重ねてマッピングするようにしたので、それぞれの欠陥評価値による結果を同等にマッピングすることができ、シミやムラの大きさに対して同等の評価を行うことができる。
【００５９】
実施形態２．
上述の実施の形態では、撮像手段２０から信号として送信された画像データを、画像データ処理部３１が処理し、長方形の新たな画像データを作成した。ただ、撮像した画像を特に処理する必要がなければ、画像データ処理部３１での画像変形処理を省略することができる。
【００６０】
実施形態３．
また、上述した第１の実施の形態では、隣接するブロックを着目するブロックの上下左右に位置するブロックとして説明したが、これに限定するものではない。例えば、斜め方向に位置するブロックも隣接するブロックとして含めるようにしてもよい。
【００６１】
本発明は、上に述べたＴＦＴライトバルブに限らず液晶パネルやＤＭＤ（ダイレクト・ミラー・デバイス）などの表示体部品、並びにそれらを用いた表示装置・製品の線欠陥検査に適用することができるものである。
【００６２】
【発明の効果】
以上のように本発明によれば、検査対象の画面を撮像した被検査部画像を複数のブロックに分割してノイズ成分を除去し、この被検査部画像に対してシェーディング補正を行うことにより、検出したくない照度ムラを除去しながら、検査対象に固有の画面欠陥部分のみを残すことができ、したがって、画面欠陥の自動検出において、かかる照度ムラを誤検出することがなく、検査対象に固有の画面欠陥のみを確実に検出することができる。さらに、この被検査部画像について、他のブロックとの相関をはかりながら計算した相互相関値により得た欠陥評価値に基づいて画面欠陥の有無を判断するようにしたので、他のブロックとの関係において、欠陥評価の判断を行うことができ、うねりを生じている部分に重点をおいた欠陥検出をするので、人間の目の特性に応じた検出、判断を自動的に行うことができる。
【図面の簡単な説明】
【図１】本発明の画面欠陥検出装置の構成図である。
【図２】欠陥検出手段の各部による画面欠陥検出処理を示すフローチャートである。
【図３】画像データ処理部による新たな画像データを作成する際の画像変形を示す図である。
【図４】本実施の形態におけるノイズ除去のための代表値の算出方法を示す図である。
【図５】欠陥検出部が行う処理を示すフローチャートである。
【図６】被検査部画像とシェーディング補正後の画像との関係を示す図である。
【符号の説明】
１０：検査対象、１１：投影画像、１２：スクリーン、１１ａ：被検査部画像、１１ｂ：再構成された被検査部画像、１２ａ：スクリーン部分を含む取込画像、２０：撮像手段、３０：欠陥検出手段、３１：画像データ処理部、３２：ブロック分割部、３３：ノイズ除去部、３４：画像データ補正部、３５：欠陥検出部、３６：欠陥判定部、４０：表示手段

Claims

検査対象の画面を撮像する工程と、
撮像により取り込まれた被検査部画像の領域を複数のブロックに分割する工程と、
前記被検査部画像のノイズ成分を除去するために、前記被検査部画像の領域を前記ブロックよりも大きなサイズのブロックに分割し、前記ブロックよりも大きなサイズの各ブロックについて代表値となる輝度を算出し、各ブロックの前記代表値に基づく補間を行うことにより背景画像を作成する工程と、
前記被検査部画像から前記背景画像を減算または除算することによりシェーディング補正を行う工程と、
前記シェーディング補正を行った前記被検査部画像の画像データについて、前記ブロックよりも大きなサイズの各ブロックにおける相互相関を計算し、算出した相互相関値に基づいて得た値を欠陥評価値として算出する工程と、
前記欠陥評価値に基づいて前記被検査部画像における欠陥の有無を判断する工程と、
を有することを特徴とする画面欠陥検出方法。
前記被検査部画像は、前記検査対象の画面を含む画像から前記検査対象の画面部分だけを抽出し、さらに幾何学的変形を施して長方形にして作成したものであることを特徴とする請求項１記載の画面欠陥検出方法。
前記相互相関は、処理対象のブロックと該処理対象のブロックに隣接するブロックとの間で、それぞれ対応する行及び列の輝度に基づいて計算することを特徴とする請求項１または２記載の画面欠陥検出方法。
前記隣接するブロックとは、前記処理対象のブロックの上、下、左及び右に位置するブロックであることを特徴とする請求項３記載の画面欠陥検出方法。
処理対象のブロック内及び該処理対象のブロックに隣接するブロック内の輝度をそれぞれ正規化した後に前記相互相関を計算することを特徴とする請求項３または４記載の画面欠陥検出方法。
前記被検査部画像における欠陥の有無を判断する工程は、異なるブロック分割数による前記欠陥評価値算出を複数回行った後に判断することを特徴とする請求項１〜５のいずれかに記載の画面欠陥検出方法。
前記異なるブロック分割数により算出した前記欠陥評価値を正規化し、前記被検査部画像に合わせて加算して得た値に基づいて前記被検査部画像における欠陥の有無を判断することを特徴とする請求項６記載の画面欠陥検出方法。
検査対象の画面を撮像する撮像手段と、
撮像により取り込まれた被検査部画像の領域を複数のブロックに分割するように、前記被検査部画像の画像データを処理するブロック分割手段と、
前記被検査部画像の画像データからノイズ成分を除去するために、前記被検査部画像の画像データを前記ブロックよりも大きなサイズのブロックに分割し、前記ブロックよりも大きなサイズの各ブロックについて代表値となる輝度を算出し、各ブロックの前記代表値に基づく補間を行うことにより背景画像を作成するノイズ除去手段と、
前記被検査部画像から前記背景画像を減算または除算することによりシェーディング補正を行う画像データ補正手段と、
前記シェーディング補正後の前記被検査部画像の画像データについて、前記ブロックよりも大きなサイズの各ブロックにおける相互相関を計算し、算出した相互相関値に基づいて得た値を欠陥評価値として算出する欠陥検出手段と、
前記欠陥評価値に基づいて、前記被検査部画像における欠陥の有無を判断する欠陥判断手段と、
を備えたことを特徴とする画面欠陥検出装置。
前記検査対象の画面を含む画像データから前記検査対象の画面部分だけを抽出し、幾何学的変形を施して長方形にした画像データを作成する画像データ処理手段をさらに備えたことを特徴とする請求項８記載の画面欠陥検出装置。
前記欠陥検出手段は、処理対象のブロックと該処理対象のブロックに上、下、左及び右に隣接するブロックとの間で、それぞれ対応する行及び列の前記画素データが表す値を正規化して前記相互相関値を計算する手段であることを特徴とする請求項８または９記載の画面欠陥検出装置。
検査対象の画面を表す被検査部画像の画像データを複数のブロックに分割させ、
前記被検査部画像の画像データを前記ブロックよりも大きなサイズのブロックに分割させ、前記ブロックよりも大きなサイズの各ブロックについて代表値となる値を算出させ、各ブロックの代表値に基づいた補間を行わせて背景画像を作成させ、
前記背景画像の画像データを前記被検査部の画像データから減算または除算させるシェーディング補正を行わせ、
前記シェーディング補正後の前記被検査部画像の画像データについて、前記ブロックよりも大きなサイズの各ブロックにおける相互相関を計算させ、算出した相互相関値に基づいて得た値を欠陥評価値として算出させ、
前記欠陥評価値に基づいて、前記被検査部画像における欠陥の有無を判断させる
ことをコンピュータに行わせる画面欠陥検出のためのプログラム。
前記検査対象の画面を含む入力画像の画像データから前記検査対象の画面部分だけを表す前記被検査部画像を抽出させ、幾何学的変形を施して長方形にさせて前記被検査部画像を表す画像データを作成させることをコンピュータに行わせる請求項１１記載の画面欠陥検出のためのプログラム。
処理対象のブロックと該処理対象のブロックに上、下、左及び右に隣接するブロックとの間で、それぞれ対応する行及び列の前記画素データが表す値を正規化させて前記相互相関値を計算させることをコンピュータに行わせる請求項１１または１２記載の画面欠陥検出のためのプログラム。
ブロック分割数を異ならせて複数回行った処理により算出させた前記欠陥評価値を、前記ブロック分割数毎の正規化を行わせ、前記画面に合わせて加算させて得た値に基づいて前記画面上の欠陥の有無を判断させることをコンピュータに行わせる請求項１１〜１３のいずれかに記載の画面欠陥検出のためのプログラム。