JP4218291B2

JP4218291B2 - Image processing device

Info

Publication number: JP4218291B2
Application number: JP2002262695A
Authority: JP
Inventors: 佳史吉田; 英祐金澤; 篤史平井; 圭高田
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-09-09
Filing date: 2002-09-09
Publication date: 2009-02-04
Anticipated expiration: 2022-09-09
Also published as: JP2004101338A

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理方法等に関するものである。例えば被検査対象の表示画面に生ずる欠陥の有無を検査をする際に特に用いられる処理についてのものである。
【０００２】
【従来の技術】
現在、例えば液晶パネル等、様々な種類の表示装置がある。各表示装置の表示部分は画素の集まりで構成される。ここで、各画素における発光量のバランスがとれていれば表示画面は一様である。しかし、実際には画素全体にわたって品質管理を行うのが困難であるため、表示部分の全ての画素のバランスをとることは難しい。発光量のバランスが崩れると、画面上に発生する点欠陥、シミ、むら等（以下、これらを欠陥という）の原因となってしまう。当然、画素数が多くなるほど（大きな画面になるほど）欠陥が発生する確率は高くなる。また、プロジェクタ等のように表示部分が拡大されて投影される（画素も拡大される）場合には、発生した欠陥が人間の眼に映りやすくなる。
【０００３】
通常、表示装置を製品として出荷する前の段階で、その表示部分であるパネルが良又は不良であるかどうかの検査（以下、良否判断という）がなされる。従来は、検査員がパネルを直接目視又は投影面に投影した表示画面を目視してパネルの良否を判断していた。しかし、検査員によって欠陥が発生しているかどうかの判断基準に個人差があるし、同じ検査員でもその時の状況（体調等）により判断に差が生じる場合がある。そこで、このような欠陥の有無を客観的、自動的に検出し、良否判断を行うための装置等も提案されている（例えば特許文献１参照）。
【０００４】
【特許文献１】
特開平１１−２５７９３７号公報
【０００５】
【発明が解決しようとする課題】
ただ、表示装置（パネル）の種類（例えばプラズマ、有機ＥＬ等）によって、その画面の良否判断の検査の基準が異なる。また、画素の表示階調が異なることによっても基準が異なる。このように表示装置の種類の違い、同じ表示装置でも表示状況の違いに応じて基準が異なるので、その判断処理の方法もその度に異なるものとなり不便であった。しかも、これらの基準は、欠陥のある画面（画素）とはどのようなものであるかを基準とするものであり、日々厳しくなる基準に伴って検査する（判断する）項目も追加され多くなっていく傾向にあった。
【０００６】
本発明はこのような問題点を解決するためになされたものであり、表示装置（パネルの種類）、表示状況の違いに依存した処理を行わなくても検査を行えるような画像処理方法等を得ることを目的とするものである。
【０００７】
【課題を解決するための手段】
そのため、本発明に係る画像処理装置は、良画素のサンプルによってあらかじめ得られたデータの平均値及び標準偏差に基づいて、被検査対象に表示された画面を撮像手段が撮像して得られた各画素のデータを基準化した基準化値を基準化値データとして算出する基準化値データ演算手段、良画素のサンプルによってあらかじめ得られたデータから、シュミットの直交展開を利用してそれぞれのデータに基づいて算出した回帰係数及び残差成分の分散に基づく値及び基準化値データに基づいて撮像手段が撮像して得られたデータについて算出した残差成分の値をデータとして算出する直交展開演算手段、直交展開演算手段が算出した残差成分の値及び分散に基づく値により直交変数の値をデータとして算出する直交変数演算手段、及び、直交変数の値のデータに基づいて、被検査対象の画面を構成する画素毎に、画素をさらに分解した複数の輝度のデータからマハラノビスの距離をデータとして算出する距離演算手段を有する演算処理手段と、演算処理手段が処理した結果に基づいて表示画面の良否を判断する検査判断手段とを備えたものである。
【０００８】
また、本発明に係る画像処理装置は、被検査対象に表示された画面を撮像した撮像手段から送信された輝度を表す信号に基づいて輝度値データを作成する輝度値データ取得手段をさらに備えたものである。
本発明においては、撮像手段から送信される輝度の信号を輝度値データとして処理できる輝度値データ取得手段を備える。これにより、画像処理装置単体での検査、リアルタイムでの検査を行うことができる。
【０００９】
また、本発明に係る画像処理装置の距離演算手段は、算出した各画素のマハラノビスの距離と表示画面における各画素の位置とを関連づけて、検査判断手段は、表示画面の各画素によるマハラノビスの距離の分布に基づいて表示画面の良否を判断する。
本発明においては、距離演算手段が、表示画面における各画素の位置と各画素のマハラノビスの距離とを関連づけて、検査判断手段が、表示画面の各画素によるマハラノビスの距離の分布により、点欠陥、むら、シミ等の画面の検査を行う。この場合、画面の隅の欠陥と中央の欠陥とで良否判断の重みを異ならせるような判断を行わせることもできる。これにより、より実体に即した良否判断を行うことができる。
【００３６】
【発明の実施の形態】
実施形態１．
図１は本発明の第１の実施の形態に係る画像処理装置を中心とするシステムの構成を示すブロック図である。図１において、１０は画像処理装置である。画像処理装置１０は、処理手段１、入力手段２、表示手段３及び記憶手段４で構成される。
【００３７】
１は処理手段である。処理手段１は、演算処理部分となる平均・標準偏差演算部１Ａ、逆行列演算部１Ｂ、基準化値データ演算部１Ｃ及び距離演算部１Ｄ、検査判断手段となる検査判断部１Ｅ並びに輝度値データ取得部１Ｆで構成される。平均・標準偏差演算部１Ａは、送信される輝度値のデータ（以下、これを輝度値データという）に基づいて、その平均値と標準偏差とを演算処理する。逆行列演算部１Ｂは、輝度値データに基づく相関行列の逆行列を算出する。基準化値データ演算部１Ｃは、輝度値データ並びに平均・標準偏差演算部１Ａが算出した平均値及び標準偏差に基づいて基準化値を算出し、データ（以下、これを基準化値データという）の作成処理をする。距離演算部１Ｄは、液晶パネル１００の各画素についてマハラノビスの距離（又はその平方距離。本明細書ではこれらを含めて距離という）を算出し、これをデータとする。検査判断部１Ｅは、距離演算部１Ｄが算出したマハラノビスの距離のデータに基づいて、画面（画素）の良否を判断する。輝度値データ取得部１Ｆは、カメラ２０から送信される信号に基づいて輝度値を判断し、輝度値データを作成する。処理手段１の各部の処理の詳細については後述する。また、ここでは特に図示はしないが、後述するように、撮像画素数を決定し、カメラ２０にその撮像画素で撮像させるための処理を行う部を設けるようにしてもよい。
【００３８】
入力手段２は、操作者が入力する指示、各種データ等を、例えば電気信号に変換して処理手段１に送信する。表示手段３は、処理手段１からの表示信号に基づいて、検査結果その他操作者に示すデータ（情報）を記号、画像等で表示する。記憶手段４は、処理手段１が演算途中、演算後に算出したデータを一時的に又は長期的に記憶する。
【００３９】
２０は撮像手段となるカメラである。カメラ２０は、例えばＣＣＤ等の複数の受光素子で構成されており、各受光素子は受光量を、例えば電気信号に変換する。本実施の形態では、信号は画像処理装置１の輝度値データ取得部１Ｆに送信され、輝度値データとして作成処理されるものとする。なお、処理手段１に信号を送信する際にインターフェイスとなる手段を介する場合もあるが、ここでは省略している。１００は被検査対象となる液晶パネルである。本実施の形態では液晶パネル１００を被検査対象とするが、特に液晶パネルに限定するものではなく、他の種類（例えばプラズマ、有機ＥＬ等）のパネル等でもよい。
【００４０】
本実施の形態は、液晶パネル等のパネル画素単位での検査方法を確立したものである。そのため、カメラ２０で撮像した画像に基づいて、液晶パネル１００の良否を判断するが、カメラ２０で撮像する際、人間の視力に基づく眼の最小分解能による画素数（これが輝度値データの数となる）での撮像を行う。そして、輝度値データに基づいて演算を行い、特殊なパターン認識技術であるＭＴ（マハラノビス・タグチ）法に基づいてマハラノビスの距離をパネルを構成する画素毎に算出する。マハラノビスの距離の分布に基づいてパネル（表示画面）の良否判断を行う。このように人間の眼の分解能を基準として、液晶パネル１００を検査するために必要な輝度値データ数を決定することで、パネルに依存しない基準を確立する。また、良画素を単位空間とするマハラノビスの距離の差を基準として、画素の良、不良の度合いを数値化し、不良画素の基準を増減することで良否判断を行うのではなく、良画素であるための基準を広狭して良否判断を行う。そのため、パネルの種類に関係なく、しかも良画素との比較において、画素毎の良否を含めた検査対象の良否を判断することができる。このように、人間の眼の分解能を基準として算出したマハラノビスの距離だけに基づいた良否判断の手順は、パネルに関係なく同じ手順で行える。
【００４１】
ここで、処理手段１を構成する各部をそれぞれ別個の手段（ハードウェア）として構成してもよいが、本実施の形態では、処理手段１を例えばＣＰＵ（Central Prosessing Unit ）を中心とするコンピュータ等のような演算処理手段で構成するものとする。そして、各部の処理手順をあらかじめプログラム化したものを演算処理手段が実行し、そのプログラムに基づく処理を行うことで、上述した各部の機能を実現する。
【００４２】
また、本実施の形態では画像処理装置１の輝度値データ取得部１Ｆがカメラ２０から入力された信号に基づく輝度の判断処理を行っているが、別の装置にこの処理を行わせ、取得されたデータを例えば他の記録媒体から入力した上で、検査処理を処理手段１が行うようにしてもよい。この場合には、処理手段１に輝度値データ取得部１Ｆは必要がない。また、平均・標準偏差演算部１Ａ及び逆行列演算部１Ｂについても、マハラノビスの距離を算出する際の基準となる単位空間の作成時にしか用いないので、実際の検査時に用いる処理手段１には必要がない。
【００４３】
次に本実施の形態に係る画像処理の方法について説明する。その前段階として、液晶パネル１００を検査するために必要なデータ数（つまり、液晶パネル１００を撮像するカメラ２０の画素数）を決定する。この決定に際しては人間の視力に注目する。
【００４４】
図２は最小分解能を決定する方法を示す図である。図２において、破線で示されている部分の間が、人間が投影面を視認できる範囲である。また、投影された投影面を人間が直視して検査を行う場合の最小分解能（以下、分解能という）を実線で示す。また、一点鎖線は、液晶パネル１００と投影面との関係を表す。画像処理による検査を行う場合には、まず、投影面に投影した画面を人間が目視で検査する場合と同じ条件（分解能）を保ちつつ、カメラ１０による液晶パネル１００の直に撮像（以下、直撮という）する必要がある。そのために、液晶パネル１００を撮像するカメラ１０の画素数を決定する。
【００４５】
ここで、以下に３種類の画素に基づいて分解能を説明するが、３種類の画素とはそれぞれ次の示す画素である。１つ目は、検査対象である液晶パネルが有する画素（以下、パネル画素という）である。２つ目は、投影面に投影させた画像について、ある基準に基づいて算出した、人が視認できる最小の単位を表す画素（以下、表示画素という）である。３つ目は、検査のデータを得るために液晶パネルを直撮するカメラが有するそれぞれの受光素子が表す画素（以下、撮像画素という）である。
【００４６】
図３は各視力値におけるランドルト氏環の寸法を表す図である。画素数の算出をするため、計算に必要な分解能について求める。人間の眼の分解能については「最小分離閾を基本理念とし、最小可読閾を用いる」と国際眼科学会で規定されている。この基準としてランドルト氏環が定められている。この規定から、分解能についてはランドルト氏環の定義より視力２．０の値を引用することとし、視野角として表される約０．５分（１／１２０°）を分解能として定める。この視力２．０は、２．０の視力であればほとんどの人の眼の分解能を満たすであろうという推測のもとに定めた値である（視力２．０の人は、５ｍの距離から３．６４ｍｍのランドルト氏環における０．７２７ｍｍの切れ目（０．５分）を判別することができる）。
【００４７】
ここでは、図２に示すように、撮像画素数を求めるための条件として、カメラ（眼）と液晶パネルの距離を２４０ｍｍ、注視時の分解能（視角）を０．５分（１／１２０°）と定める。
【００４８】
図４は検査を行う際の投影サイズの関係を表す図である。図４のように、目視による実際の投影検査においては、眼と投影面との距離を１５００ｍｍ、投影サイズを６０インチ（１２１９．１５ｍｍ×９１４．３６ｍｍ）とする。
【００４９】
まず、人間の眼の分解能を計算する。

【００５０】
したがって、人間の眼の分解能により検査することができる投影面の表示画素数は次式（２）のようになる。

【００５１】
次に人間の眼の分解能と同じ分解能で表示パネルを直撮するカメラの撮像画素数を決定する。ここで検査の対象となる液晶パネルの最大サイズを８５ｍｍ×５５ｍｍと定めた。前述したようにカメラ２０と液晶パネル１００の距離は２４０ｍｍであるので、このときの分解能は次式（３）で表される。

【００５２】
したがって、人間の眼の分解能と同じ分解能で８５ｍｍ×５５ｍｍの液晶パネルを検査する際、カメラに必要な撮像画素数は次式（４）のようになる。

【００５３】
上述のように、本実施の形態では８５ｍｍ×５５ｍｍの液晶パネル１００を６０インチの表示で投影した場合に、視力が２．０の人の眼の分解能に合わせて、検査に必要なカメラ１０の撮像画素数を決定したが、条件の採り方によってはその値も異なる。このような場合には上述の各式に当てはめて撮像画素数を算出する。ここで、撮像画素を基準に考えれば、投影サイズが同じ場合、液晶パネル１００の画素ピッチが広い程、１つのパネル画素に対する撮像画素数が多くなり、逆に画素ピッチが狭い程、１つのパネル画素に対する撮像画素数も少なくなる。
【００５４】
図５は１つのパネル画素の輝度値の分布を３次元で表した図である。図５は１つのパネル画素を１３×１３（＝１６９）の受光素子で受光し、輝度値データ取得部１Ｆにおいて、１つのパネル画素について１６９の輝度値のデータを取得することを示している。ここでは、６×６のパネル画素を有するパネルの、ある１つのパネル画素について表している。ここで、本実施の形態では分解能及びパネル画素の大きさから、マハラノビスの距離を有効に算出するのに必要な輝度値データ数を確保することができ、そのため、１つのパネル画素に注目することができる。ただ、基準とする範囲が小さかったり、分解能が低かったりした場合には、通常マハラノビスの距離を有効に算出するのに必要なデータ数を確保できるだけの範囲（大きさ。ここでは複数のパネル画素を基準とする）を確保したり、分解能を高めたり（ここでは視力の基準を上げる）する必要がある。以下では説明を簡単にするため、検査処理するデータ数（量）は必ずしも上述した８５ｍｍ×５５ｍｍの液晶パネル１００のパネル画素数並びに算出した表示画素数及び撮像画素数に基づいて算出したデータ量に準拠したものではない場合もある。
【００５５】
図６は１つのパネル画素の輝度値の分布を３次元から２次元に展開した図である。ここで、各パネル画素における各撮像画素の位置（座標）を（１，１）、（１，２）、…、（１３，１３）で表すことにする。このように、ｘ座標、ｙ座標、輝度値の３次元（項目）（位置関係としては２次元）として得られるデータを（ｘ座標，ｙ座標）と輝度値という２次元（位置関係としては１次元）のデータとして扱う（変換する）。そして、位置（ｘ座標，ｙ座標）に基づいて、輝度値データの列びや採るデータを選択する。この選択は非常に重要なものとなる。というのは、例えば、２次元でのパターン認識（マッチング）を考える場合には、通常、縦（ｙ方向）又は横（ｘ方向）からのアプローチが考えられるが、この選択（本実施の形態では横方向への選択）によりそのパターン認識の方向が確定され、検査に反映されることになるからである。また、一般的には、位置、輝度値だけでなく、様々な項目（次元）を、その選択の対象とされる場合もある。そして、図５のように３次元で表されていたデータを２次元で表す。次に各パネル画素について、サンプルで取得した画素群（単位空間）との間のマハラノビスの距離（Mahalanobis Distance）を算出する。ここで、マハラノビスの距離を算出する前に、まず、本実施の形態における単位空間の作成方法について説明する。
【００５６】
単位空間を形成する際の画素のサンプルとして、理想形状に近く、良画素と判断したパネル画素を選ぶ。本実施の形態では約１０００のパネル画素に基づいて単位空間が形成されるものとする。ここで、パネル画素は印加される電圧により輝度が異なるが、本実施の形態では輝度が最も高くなる電圧における輝度値データを単位空間の計算のためのデータとして取得する。また、ある電圧（輝度）については良好であっても、他の電圧では不良となる画面がある。従来は、電圧の違いによっても良否判断が異なることもあったが、ここでは、同じ電圧の良画素との違いをみることになるので、同じ単位空間を利用した各電圧の良画素の距離を把握しておくことで、同一空間、同一方法での良否判断を行うことができる。ただ、検査対象（パネル）の種類、規格等が異なる場合には、そのパネル画素のピッチ、形状等も異なってしまう場合があるので、常にサンプルの場合と同様の状態で受光できる（本実施の形態では１３×１３の受光素子で受光する）わけではない。そのような場合には、それに応じた単位空間を形成する場合があり得る。
【００５７】
サンプルとなるパネル画素について取得した輝度値データについて、平均・標準偏差演算部１Ａは、パネル画素毎に平均値と標準偏差を算出する。算出した平均値及び標準偏差に基づいて、基準化値データ演算部１Ｃは、各パネル画素の各撮像画素の輝度値のデータについて基準化値を算出して基準化値データとする。具体的には輝度値と平均値との差を標準偏差で割った値が基準価値となる。これにより、全ての輝度値のデータを１を中心として均等に分布する基準化値データに変換することができる。
【００５８】
次に逆行列演算部１Ｂは、基準化値データに基づいて相関係数を算出する。自己の相関係数も算出するがこの値は１となる。例えば（１，１）と（１，２）の場合、各パネル画素の（１，１）の基準化値と同じパネル画素の（１，２）の基準化値とを乗算する（本実施の形態ではパネル画素数である約１０００の数が算出される）。そして、それらの和を算出してパネル画素数で割る（つまり、平均を算出する）。これを全ての組み合わせに対して行う。算出した相関係数を要素とする行列を相関行列とする。ここで、相関行列の対角成分は自己相関による係数であるので全て１となる。また、転置した要素は同じ値になる。逆行列演算部１Ｂが算出した相関行列の逆行列が最終目標の単位空間算出の基礎となる。
【００５９】
次に実際に液晶パネル１００を検査する際の処理について説明する。カメラ２０から送信された信号に基づいて、輝度値データ取得部１Ｆは輝度値データを取得する。本実施の形態では、全てのパネル画素において１３×１３の輝度値データが取得できるものとして説明する。ここで、単位空間を構成するサンプルのパネル画素を１３×１３の撮像画素分の輝度値データに基づいて算出したので、演算の関係上、検査を行う場合も液晶パネル１００のパネル画素につき同じ撮像画素数にする方が都合がよい。例えば、液晶パネル１００のパネル画素ピッチがサンプルの画素ピッチと異なる場合や、それによって表示される投影面のサイズが異なる場合には、カメラ２０と液晶パネル１００との間の距離を変更することにより、パネル画素につき１３×１３の撮像画素数の関係と視力２．０の人間の眼の分解能の関係を保つようにする。
【００６０】
基準化値データ演算部１Ｃは、単位空間の作成時にパネル画素毎に算出した平均値及び標準偏差に基づいて、各輝度値データについて基準化値を算出し、基準化値データとする。
【００６１】
そして、基準化値データ演算部１Ｃによる各基準化値データ及びあらかじめ逆行列演算部１Ｂが算出した相関行列の逆行列の各要素に基づいて、距離演算部１Ｄはマハラノビスの距離を算出する。距離演算部１Ｄは、全てのパネル画素についてこのような演算を行い、各パネル画素にマハラノビスの距離（Ｄ²）を算出する。なお、ここで、単位空間を構成するサンプルの輝度値（基準化値）のデータに基づいて算出したマハラノビスの距離の平均は、理論的には１となる。
【００６２】
図７は算出したマハラノビスの距離を縦軸とし、輝度値を横軸としたグラフである。ここで、前述したように、サンプルは輝度値が最も高い位置に分布している。例えば、液晶パネル等では印加する電圧によって表示階調を調節している。そのため、印加する電圧によって表示階調（輝度値）には違いが生ずるが、画素の形状、大きさや得られる輝度値データ数に違いがなければ、印加する電圧に関わらず、新たな単位空間を作成しなくてもマハラノビスの距離算出により、その電圧における基準を作り出し、検査（評価）を行うことができる。これにより、最も時間と手間が費やされる単位空間作成を行う必要がない。また、複数の電圧とその電圧に対するマハラノビスの距離を算出することにより、電圧とその電圧に対するマハラノビスの距離との関係を補完して導き出すことができる。ここではサンプルによる分布を単位空間という。サンプルのマハラノビスの距離の距離は１前後となり、その平均は前述したように１である。したがって本実施の形態では分布の距離を１とする。
【００６３】
ここで図７は輝度を次元とした２次元のグラフで構成しているが、良否判断は、実際にはマハラノビスの距離に基づいてのみ行われる。図７に示すように、印加する電圧によって同じ液晶パネル１００でもマハラノビスの距離が異なる。また、液晶パネルに表示する画像（輝度値）によっても異なる。また、パネルの種類によっても異なる。条件が異なれば単位空間とのマハラノビスの距離も異なる。ここで重要なことは、検査対象の画面の良否は、単位空間と間の距離差ではなく、同条件における良画素（又はその分布）が基準となり、それとの距離差によって判断されるということである。
【００６４】
したがって、実際には被検査対象を検査する前段階で、検査で用いられる条件での良画素のサンプルについて単位空間とのマハラノビスの距離（良画素の分布）を算出しておいてから検査を行い、同条件での良画素（分布）との距離差に基づいた判断を行う。良否の判断基準となる距離差の値については任意に定めることができる。検査判断部１Ｅは、直接的又は間接的に同条件での分布との距離差を算出し、あらかじめ定めた基準値と比較する。そして、例えば、基準値を越えたパネル画素数を計数し、その数等により、液晶パネル１００全体としての良、不良の判断を行う。判断結果は例えば文字、処理した画像の映像とともに表示手段３に表示する。
【００６５】
図８は良画素及び不良画素のマハラノビスの距離の分布を表す図である。図８に示すように、点欠陥、シミ、むら等の欠陥ではその現れ方が異なるが、マハラノビスの距離だけで良画素との比較を行い、良否を判断することができる。また、検査条件が異なったとしてもマハラノビスの距離による算出方法は同じであり、同条件の良画素との距離差により良否を判断することができる。ここで、良否判断の基準は、パネルの種類、要求されるグレード（品質の高さ）によって任意に定めることができるが、場合によっては不良なパネル画素は存在するものの、そのパネル画素が画面全体に点在しているために、パネル（画面）としては良品と判断することもある。ただ、各パネル画素については良画素と判断しながら、全体として不良画面となるような基準の設定は避けた方がよい。
【００６６】
以上のように第１の実施の形態によれば、人間の眼の分解能に基づいて処理すべき輝度値データのデータ数（量）を算出するようにしたので、検査対象となるパネルの種類に関係なく、人間の能力に基づいたパネル画素毎の検査を行うことができる。また、２．０の視力の分解能を基準とすれば、ほとんどの人の眼の分解能をカバーすることができる。そして、距離演算部１Ｄがパネル画素毎にマハラノビスの距離を算出するようにし、検査判断部１Ｅが距離差に基づいた画面（画素）の良否判断を行うようにしたので、良否判断の基準をマハラノビスの距離だけの数値にすることができる。しかもこの判断は、例えば、パネル種類、印加電圧等のような条件下での良画素との距離差に基づいて行われるので、条件が異なったとしても、演算方法が異なることもなく、良否判断を行うことができる。また、良画素を基準とする判断を行うことができ、良画素との距離差により不良の度合いを数値化することができる。また、逆行列演算部１Ｂが逆行列を算出する際、各位置の撮像画素間の相関関係を演算の過程で算出するので、妥当性の評価を行うことができる。また、マハラノビスの距離の分布によって、不良画素の多さ、その具合（各画素の良画素からの距離の分布具合等）等に基づく各装置（製品）のグレード（品質）も判断することができ、ランク分けを行うこともできる。
【００６７】
実施の形態２．
図９は本発明の第２の実施の形態に係る画像処理装置１０Ａを中心とするシステムの構成を示すブロック図である。図９において、図１と同じ符号を付しているものは、第１の実施の形態で説明したことと同様の動作を行うので説明を省略する。画像処理装置１０Ａは、処理手段１の代わりに処理手段１ａ構成されている点で画像処理装置１０とは異なる。処理手段１ａは、逆行列演算部１Ｂの代わりに直交展開演算部１Ｇ及び直交変数演算部１Ｈを有している点及び距離演算部１Ｄのマハラノビスの距離算出手順が異なる点で処理手段１とは異なる。
【００６８】
直交展開演算部１Ｇは、サンプルのパネル画素による基準化値に基づいて直交展開を行い、後述する回帰係数、残差成分の値（以下、残差成分値という）及びその残差成分の分散に基づく値（以下、分散という）を算出し、これをデータとする。また、実際に液晶パネル１００を検査する場合には、算出した回帰係数及び分散のデータを利用して、液晶パネル１００に基づく基準化値データにより残差成分値を算出し、これをデータとする。直交変数演算部１Ｈは、直交展開演算部１Ｇが算出した残差成分値のデータに基づいて、直交変数の値（以下、直交変数値という）を算出し、これをデータとする。距離演算部１Ｄは直交変数値のデータに基づいて、液晶パネル１００のパネル画素毎のマハラノビスの距離を算出する。
【００６９】
上述の第１の実施の形態では相関行列及びその逆行列を算出し、その要素及び基準化値に基づいてマハラノビスの距離を算出した。この方法では、撮像画素間の相関係数が算出されるので相関関係を把握しやすいという利点がある。ただ、第１の実施の形態のような場合、相関行列は１６９×１６９の要素を有することになる。したがって、逆行列を算出する際の演算量は大変多く、時間を要する。また、通常、コンピュータ等の演算装置は、演算に際して一定の桁数までしか扱えないので、逆行列を算出する際、途中で桁落ちが行わる可能性が高い。したがって、最終的に算出された逆行列の要素の値が、算出されたマハラノビスの距離に影響を与えるほどに真の値と異なる場合もある。これらは特に行列数（要素数）が多くなるほど顕著に顕れる。そこで、本実施の形態ではマハラノビス・タグチ・シュミット（ＭＴＳ）と呼ばれる、シュミットの直交展開を利用したマハラノビスの距離の算出方法について説明する。これにより、逆行列の演算処理を行わずにすみ、演算量を抑えることができるし、記憶手段４に一時的に記憶させておくデータ量も少なくてすむ。しかも、逆行列の計算に比べると複雑で大量の計算を行わないのでその間の桁落ちを抑えることができる。
【００７０】
また、本実施の形態の方法では、ある項目（ここでは、各位置の輝度値）の回帰係数及び分散に基づいて次の項目の回帰係数、残差成分値及び分散の算出が行われる。したがって、マハラノビスの距離に特に影響を与える項目（例えば、パネル画素のある位置における輝度値データ、ここでは示していないが彩度等）が存在する場合、優先的にその項目の回帰係数及び分散を算出するようにしておくことで、実際の検査の演算過程において、検査精度の高さ、製品のグレードの高さ等に応じて直交変数値の算出具合を変化させることもできる（ここで、本実施の形態ではパネル画素の各位置の輝度値データ（全ての撮像画素）を同等に扱っているので、特に優先する項目はない）。
【００７１】
次にＭＴＳを利用したマハラノビスの距離の算出方法について説明する。その前段階となる回帰係数及び分散を良画素のサンプルに基づいて算出する。まず、基準化値データを算出するに至るまでの平均・標準偏差演算部１Ａ及び基準化値データ演算部１Ｃの演算処理は、第１の実施の形態で説明したことと同じような処理を行うので説明を省略する。
【００７２】
直交展開演算部１Ｇは、基準化値データに基づいて、例えば、（１，２）の基準化値の残差成分値を、（１，２）の基準化値、（１，１）の残差成分値及び回帰係数で表す。また、（１，３）の基準化値の残差成分値を、（１，３）の基準化値、（１，１）の残差成分値、（１，２）の残差成分値及びそれぞれの回帰係数で表す。これを本実施の形態では（１，１）、…、（１，１３）、（２，１）、…の順に（１３，１３）まで行う。ここで（１，１）については、残差成分値は基準化値と同じになる。残差成分とは、ある項目（ここでは、（１，２）の輝度値とする）のある（パネル画素の）基準化値の成分のうち、それ以前の項目（ここでは、（１，１）の輝度値となる）と独立する（直交する）成分のことである。つまり、それ以前の項目の残差成分と関係する部分（回帰部分）を除き、それらで表せない成分がそのパネル画素のその項目（位置）での残差成分となる。また、ある項目での回帰係数は、その項目の基準化値、それ以前の項目の残差成分値、それ以前の項目の残差成分の分散により算出される係数である。分散はサンプルにおいて算出された残差成分の自乗の和に基づいて算出される値である。これを繰り返していくと、例えば（１３，１３）の残差成分値は、（１，１）、…、（１３，１２）の残差成分値によって表されることになる。ここで、本実施の形態では（１，１）、…、（１，１３）、（２，１）、…の順に行っているが、順序を変えて行っても最終的には同じ結果（マハラノビスの距離）が得られると考えられる。
【００７３】
このことから考えると、マハラノビスの距離に影響を与える重要項目順に回帰係数及び分散を確定することができる。したがって、実際に液晶パネル１００の各輝度値データ（基準化値データ）に基づいて直交変数値を算出する段階において、直交変数演算部１Ｈは、ある一定の項目までの基準化値データに基づいて直交変数値を算出し、その他の項目の直交変数値の演算を省略しても、真の距離に近似したマハラノビスの距離を算出できる場合がある。また、場合によっては、回帰係数及び分散を算出しなくても、誤差範囲内で真の距離に近似したマハラノビスの距離を算出することもできる。
【００７４】
次に実際に液晶パネル１００の検査に基づく輝度値データの処理について説明する。カメラ２０から送信された信号に基づいて輝度値データ取得部１Ｆが取得した輝度値データを基準化値データ演算部１Ｃが処理し、基準化値データとするまでの処理については第１の実施の形態と同様である。
【００７５】
直交展開演算部１Ｇは、回帰係数及び分散に基づいて液晶パネル１００の各輝度値データに基づく残差成分値を算出する。そして、直交変数演算部１Ｈは、直交展開演算部１Ｇが算出した残差成分値及び分散に基づいて直交変数を算出する。具体的には残差成分値を分散の平方根で割った値が直交変数値となる。
【００７６】
距離演算部１Ｄは、算出した直交変数値に基づいてパネル画素のマハラノビスの距離を算出し、データとする。これを全てのパネル画素について行う。具体的には各直交変数値の自乗の和を項目数（本実施の形態では１６９となる）で割ったものがマハラノビスの距離となる。ここで、各パネル画素のマハラノビスの距離の算出結果は第１の実施の形態と同じものとなる。以後の検査判断部１Ｅの良否判断の処理は第１の実施の形態と同様の動作を行うので説明を省略する。
【００７７】
以上のように第２の実施の形態によれば、直交展開演算部１Ｇによって、シュミットの直交展開を利用して回帰係数及び分散を算出しておき、実際の液晶パネル１００のパネル画素のマハラノビスの距離の算出には、直交展開演算部１Ｇ及び直交変数演算部１Ｈが算出した残差成分値及び直交変数値に基づいて距離演算部１Ｄがマハラノビスの距離を算出するようにしたので、マハラノビスの距離を算出する際の演算量及びその際に一時的に演算値を記憶させる記憶量（メモリ）を減らすことができる。また、回帰係数及び残差成分の分散を算出する際に、マハラノビスの距離に影響を与える項目順にこれらの値を算出しておくことで、残差成分値、直交変数値又はマハラノビスの距離を算出する際に、それぞれの演算を誤差範囲内において途中で切り上げることもできるので、距離算出又は良否判断までの時間を短縮させることもできる。
【００７８】
実施形態３．
上述の実施の形態では、特にその関連を説明しなかったが、パネル画素の位置とマハラノビスの距離とを関連づけておくようにする。というのは、例えば、良画素の分布からのマハラノビスの距離があるパネル画素が多数存在するものと判断された場合であっても、その画素の位置の集まり具合によって、むら、シミとなる場合もあればならない場合もある。また、点欠陥についても同様であり、点欠陥が分散して点在していれば、良好な液晶パネルと判断される場合もある。また、欠陥がパネルの隅にある場合と中央にある場合とでも良否判断が異なる場合もあるからである。
【００７９】
実施形態４．
上述の実施の形態は被検査対象物である液晶パネル１００を液晶プロジェクタに用いられるものを前提に説明しているが、本発明本発明の検査対象はこれに限定されるものではなく、ディスプレイに用いられるパネルでもよい。
【００８０】
実施形態５．
上述の実施の形態は被検査対象物である液晶パネル１００をカメラ２０で撮像し、マハラノビスの距離を算出して良否判断を行った。本発明ではこれに限定されるものではなく、被検査対象が発生させる物理量を、例えば色が付された画像として処理できれば、画面の輝度の検査だけではなく、様々な被検査対象の検査をマハラノビスの距離を利用して行うことができる。また、この方法を応用すれば、逆にカメラ２０のような撮像手段の撮像画素の検査も、マハラノビスの距離を利用して行うこともできる。さらに、撮像手段だけでなく、サーモグラフィを利用した温度センサをはじめ、音響センサ等の手段についても、例えばセンシング状態を画像化し、検査することもできる。
【図面の簡単な説明】
【図１】画像処理装置を中心とするシステムの構成図である。
【図２】最小分解能を決定する方法を示す図である。
【図３】各視力値におけるランドルト氏環の寸法を表す図である。
【図４】検査を行う際の投影サイズの関係を表す図である。
【図５】１つのパネル画素の輝度値の分布を３次元で表した図である。
【図６】１つのパネル画素の輝度値の分布を２次元に展開した図である。
【図７】マハラノビスの距離と輝度値のグラフである。
【図８】良画素及び不良画素の距離の分布を表す図である。
【図９】画像処理装置１０Ａを中心とするシステムの構成図である。
【符号の説明】
１、１ａ処理手段、１Ａ平均・標準偏差演算部、１Ｂ逆行列演算部、１Ｃ基準化値データ演算部、１Ｄ距離演算部、１Ｅ検査判断部、１Ｆ輝度値データ取得部、１Ｇ直交展開演算部、１Ｈ直交変数演算部、２入力手段、３表示手段、４記憶手段、１０、１０Ａ画像処理装置、２０カメラ、１００液晶パネル[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing method and the like. For example, the present invention relates to a process particularly used when inspecting the presence or absence of a defect occurring on the display screen to be inspected.
[0002]
[Prior art]
Currently, there are various types of display devices such as liquid crystal panels. The display portion of each display device is composed of a collection of pixels. Here, the display screen is uniform if the amount of light emission in each pixel is balanced. However, since it is actually difficult to perform quality control over the entire pixel, it is difficult to balance all the pixels in the display portion. If the balance of light emission is lost, it may cause point defects, spots, unevenness, etc. (hereinafter referred to as defects) generated on the screen. Naturally, as the number of pixels increases (the larger the screen), the probability of occurrence of defects increases. Further, when the display part is enlarged and projected (pixels are enlarged) as in a projector or the like, the generated defect is easily reflected in human eyes.
[0003]
Usually, before the display device is shipped as a product, an inspection (hereinafter referred to as pass / fail judgment) is performed to determine whether the panel that is the display portion is good or bad. Conventionally, an inspector directly determines the quality of a panel by visually observing the panel or by visually observing a display screen projected onto a projection surface. However, there are individual differences in criteria for determining whether or not a defect has occurred by an inspector, and even the same inspector may have a difference in judgment depending on the situation (physical condition etc.) at that time. In view of this, an apparatus and the like for objectively and automatically detecting the presence or absence of such a defect and making a pass / fail judgment has been proposed (see, for example, Patent Document 1).
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 11-257937
[0005]
[Problems to be solved by the invention]
However, the inspection criteria for determining the quality of the screen differ depending on the type of display device (panel) (for example, plasma, organic EL, etc.). In addition, the reference differs depending on the display gradation of the pixel. As described above, since the reference differs depending on the type of display device and the display status of the same display device, the method of the determination process is different each time, which is inconvenient. Moreover, these standards are based on what a defective screen (pixel) is, and the number of items to be inspected (determined) according to standards that become stricter every day is increased. There was a tendency to go.
[0006]
The present invention has been made in order to solve such problems, and includes an image processing method capable of performing inspection without performing processing depending on the display device (type of panel) and display status. It is intended to obtain.
[0007]
[Means for Solving the Problems]
Therefore, the image processing apparatus according to the present invention is based on the average value and the standard deviation of the data obtained in advance by the good pixel samples, and each image obtained by the imaging unit imaging the screen displayed on the inspection target. Standardized value data calculation means for calculating a standardized value obtained by standardizing pixel data as standardized value data; Based on the data obtained in advance by the good pixel sample, the imaging means based on the standardized value data and the regression coefficient calculated based on the respective data using Schmidt's orthogonal expansion and the variance of the residual component Orthogonal expansion calculation means for calculating the residual component value calculated for the data obtained by imaging as data, the value of the orthogonal variable as the data based on the residual component value calculated by the orthogonal expansion calculation means and the variance Based on the orthogonal variable calculation means to be calculated and the value data of the orthogonal variable, Based on the result of processing performed by the arithmetic processing means, the arithmetic processing means having distance arithmetic means for calculating the Mahalanobis distance as data from a plurality of luminance data obtained by further disassembling the pixels for each pixel constituting the screen to be inspected And an inspection judging means for judging the quality of the display screen.
[0008]
The image processing apparatus according to the present invention further includes a luminance value data acquisition unit that generates luminance value data based on a signal representing luminance transmitted from an imaging unit that images a screen displayed on the inspection target. Is.
In the present invention, there is provided luminance value data acquisition means capable of processing a luminance signal transmitted from the imaging means as luminance value data. As a result, it is possible to perform an inspection by the image processing apparatus alone or in real time.
[0009]
Further, the distance calculation means of the image processing apparatus according to the present invention associates the calculated Mahalanobis distance of each pixel with the position of each pixel on the display screen, and the inspection determination means determines the Mahalanobis distance by each pixel on the display screen. The quality of the display screen is determined on the basis of the distribution of.
In the present invention, the distance calculation means associates the position of each pixel on the display screen with the Mahalanobis distance of each pixel, and the inspection judgment means determines the point defect by the distribution of the Mahalanobis distance by each pixel on the display screen. Inspect screens for unevenness, spots, etc. In this case, it is also possible to make a determination such that the quality of the pass / fail judgment is different between the defect at the corner of the screen and the defect at the center. As a result, it is possible to make a pass / fail judgment in accordance with the substance.
[0036]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1. FIG.
FIG. 1 is a block diagram showing a system configuration centering on an image processing apparatus according to a first embodiment of the present invention. In FIG. 1, reference numeral 10 denotes an image processing apparatus. The image processing apparatus 10 includes processing means 1, input means 2, display means 3, and storage means 4.
[0037]
Reference numeral 1 denotes processing means. The processing means 1 includes an average / standard deviation computing unit 1A, an inverse matrix computing unit 1B, a standardized value data computing unit 1C and a distance computing unit 1D, which are computation processing parts, a test judgment unit 1E which is a test judgment means, and luminance value data. It is comprised by the acquisition part 1F. The average / standard deviation calculation unit 1A calculates the average value and the standard deviation based on the transmitted luminance value data (hereinafter referred to as luminance value data). The inverse matrix calculation unit 1B calculates an inverse matrix of a correlation matrix based on the luminance value data. The standardized value data calculation unit 1C calculates a standardized value based on the luminance value data and the average value and standard deviation calculated by the average / standard deviation calculation unit 1A, and data (hereinafter referred to as standardized value data). Create the process. The distance calculation unit 1D calculates a Mahalanobis distance (or a square distance thereof, referred to as a distance in the present specification) for each pixel of the liquid crystal panel 100, and uses this as data. The inspection determination unit 1E determines the quality of the screen (pixel) based on the Mahalanobis distance data calculated by the distance calculation unit 1D. The luminance value data acquisition unit 1F determines a luminance value based on a signal transmitted from the camera 20, and creates luminance value data. Details of the processing of each part of the processing means 1 will be described later. Although not particularly illustrated here, as will be described later, a unit for determining the number of imaging pixels and causing the camera 20 to perform imaging with the imaging pixels may be provided.
[0038]
The input unit 2 converts an instruction input by the operator, various data, and the like into, for example, an electrical signal and transmits it to the processing unit 1. Based on the display signal from the processing means 1, the display means 3 displays test results and other data (information) shown to the operator as symbols, images, and the like. The storage unit 4 temporarily or long-term stores data calculated by the processing unit 1 during or after the calculation.
[0039]
Reference numeral 20 denotes a camera serving as an imaging unit. The camera 20 includes a plurality of light receiving elements such as CCDs, and each light receiving element converts the amount of received light into, for example, an electrical signal. In the present embodiment, the signal is transmitted to the luminance value data acquisition unit 1F of the image processing apparatus 1 and is generated and processed as luminance value data. In some cases, a signal is transmitted to the processing means 1 via an interface means, but is omitted here. Reference numeral 100 denotes a liquid crystal panel to be inspected. In this embodiment, the liquid crystal panel 100 is an object to be inspected, but is not particularly limited to the liquid crystal panel, and may be a panel of another type (for example, plasma, organic EL, etc.).
[0040]
In this embodiment, an inspection method for each panel pixel unit such as a liquid crystal panel is established. Therefore, the quality of the liquid crystal panel 100 is determined based on the image captured by the camera 20, but when the image is captured by the camera 20, the number of pixels based on the minimum eye resolution based on human vision (this is the number of luminance value data). ). Then, calculation is performed based on the luminance value data, and the Mahalanobis distance is calculated for each pixel constituting the panel based on the MT (Mahalanobis Taguchi) method which is a special pattern recognition technique. The quality of the panel (display screen) is judged based on the Mahalanobis distance distribution. As described above, by determining the number of luminance value data necessary for inspecting the liquid crystal panel 100 based on the resolution of the human eye, a reference independent of the panel is established. In addition, based on the difference in Mahalanobis distance with a good pixel as a unit space, the degree of good or bad pixels is quantified, and the good / bad judgment is not made by increasing / decreasing the bad pixel reference. Therefore, the quality is judged by widening and narrowing the criteria. Therefore, regardless of the type of the panel, it is possible to determine pass / fail of the inspection target including pass / fail for each pixel in comparison with the good pixel. As described above, the pass / fail judgment procedure based only on the Mahalanobis distance calculated based on the resolution of the human eye can be performed in the same procedure regardless of the panel.
[0041]
Here, each unit constituting the processing unit 1 may be configured as a separate unit (hardware). However, in the present embodiment, the processing unit 1 is, for example, a computer having a central processing unit (CPU) as the center. It is assumed that the processing unit is configured as follows. Then, the processing procedure of each unit is preprogrammed by the arithmetic processing means, and the processing of each unit described above is realized by performing processing based on the program.
[0042]
Further, in the present embodiment, the luminance value data acquisition unit 1F of the image processing apparatus 1 performs the luminance determination process based on the signal input from the camera 20, but is acquired by causing another apparatus to perform this process. For example, the processing means 1 may perform the inspection process after inputting the received data from another recording medium. In this case, the processing unit 1 does not need the luminance value data acquisition unit 1F. Further, the average / standard deviation calculation unit 1A and the inverse matrix calculation unit 1B are used only when creating a unit space as a reference for calculating the Mahalanobis distance, and thus are necessary for the processing means 1 used in actual inspection. There is no.
[0043]
Next, an image processing method according to the present embodiment will be described. As a previous step, the number of data necessary for inspecting the liquid crystal panel 100 (that is, the number of pixels of the camera 20 that images the liquid crystal panel 100) is determined. When making this decision, focus on human vision.
[0044]
FIG. 2 is a diagram illustrating a method for determining the minimum resolution. In FIG. 2, a portion between broken lines is a range in which a human can visually recognize the projection plane. In addition, the minimum resolution (hereinafter, referred to as resolution) when a human directly examines the projected projection surface is indicated by a solid line. The alternate long and short dash line represents the relationship between the liquid crystal panel 100 and the projection plane. When performing inspection by image processing, first, the camera 10 directly images the liquid crystal panel 100 while maintaining the same conditions (resolution) as when a human screen visually inspects the screen projected on the projection surface (hereinafter referred to as direct imaging). It is necessary to take a picture). Therefore, the number of pixels of the camera 10 that images the liquid crystal panel 100 is determined.
[0045]
Here, the resolution will be described below based on three types of pixels. The three types of pixels are the following pixels. The first is a pixel (hereinafter referred to as a panel pixel) included in a liquid crystal panel to be inspected. The second is a pixel (hereinafter referred to as a display pixel) that represents the minimum unit that can be visually recognized by a person calculated based on a certain standard for the image projected on the projection plane. A third pixel is a pixel (hereinafter referred to as an imaging pixel) represented by each light receiving element of a camera that directly captures a liquid crystal panel to obtain inspection data.
[0046]
FIG. 3 is a diagram showing the dimensions of the Landolt ring at each visual acuity value. In order to calculate the number of pixels, the resolution required for the calculation is obtained. The resolution of the human eye is stipulated by the International Ophthalmological Society to use the minimum separation threshold as the basic principle and use the minimum readable threshold. The Landolt ring is established as the standard. From this rule, the resolution is quoted as a value of visual acuity 2.0 from the definition of Landolt's ring, and about 0.5 minutes (1/120 °) expressed as the viewing angle is defined as the resolution. This visual acuity of 2.0 is a value determined based on the assumption that most people's eye resolution will be satisfied with a visual acuity of 2.0 (a person with a visual acuity of 2.0 has a distance of 5 m). To 0.727 mm breaks (0.5 minutes) in the 3.64 mm Landolt ring.
[0047]
Here, as shown in FIG. 2, as a condition for obtaining the number of imaging pixels, the distance between the camera (eye) and the liquid crystal panel is 240 mm, and the resolution (viewing angle) at gaze is 0.5 minutes (1/120 °). It is determined.
[0048]
FIG. 4 is a diagram showing the relationship of the projection size when performing the inspection. As shown in FIG. 4, in the actual visual projection inspection, the distance between the eye and the projection surface is 1500 mm, and the projection size is 60 inches (1211.95 mm × 914.36 mm).
[0049]
First, the resolution of the human eye is calculated.

[0050]
Therefore, the number of display pixels on the projection plane that can be inspected with the resolution of the human eye is expressed by the following equation (2).

[0051]
Next, the number of imaging pixels of the camera that directly captures the display panel with the same resolution as that of the human eye is determined. Here, the maximum size of the liquid crystal panel to be inspected was set to 85 mm × 55 mm. As described above, since the distance between the camera 20 and the liquid crystal panel 100 is 240 mm, the resolution at this time is expressed by the following equation (3).

[0052]
Therefore, when inspecting an 85 mm × 55 mm liquid crystal panel with the same resolution as that of the human eye, the number of imaging pixels necessary for the camera is expressed by the following equation (4).

[0053]
As described above, in the present embodiment, when the liquid crystal panel 100 of 85 mm × 55 mm is projected with a display of 60 inches, the camera 10 necessary for the inspection is matched with the resolution of the eye of a human with a visual acuity of 2.0. Although the number of imaging pixels is determined, the value varies depending on how the conditions are adopted. In such a case, the number of imaging pixels is calculated by applying to each of the above equations. Here, considering the imaging pixels as a reference, when the projection size is the same, the wider the pixel pitch of the liquid crystal panel 100, the larger the number of imaging pixels for one panel pixel, and conversely, the narrower the pixel pitch, The number of imaging pixels for the pixel is also reduced.
[0054]
FIG. 5 is a three-dimensional representation of the luminance value distribution of one panel pixel. FIG. 5 shows that one panel pixel is received by a 13 × 13 (= 169) light receiving element, and luminance value data acquisition unit 1F acquires luminance value data of 169 for one panel pixel. Here, one panel pixel of a panel having 6 × 6 panel pixels is shown. Here, in the present embodiment, the number of luminance value data necessary for effectively calculating the Mahalanobis distance can be secured from the resolution and the size of the panel pixel, and therefore attention should be paid to one panel pixel. Can do. However, if the reference range is small or the resolution is low, the range (size is large enough to secure the number of data necessary to calculate the normal Mahalanobis distance normally). It is necessary to secure the standard) and to increase the resolution (in this case, to increase the visual acuity standard). In the following, for the sake of simplicity, the number of data to be inspected (amount) is not necessarily the same as the data amount calculated based on the panel pixel number of the 85 mm × 55 mm liquid crystal panel 100 and the calculated display pixel number and imaging pixel number. It may not be compliant.
[0055]
FIG. 6 is a diagram in which the luminance value distribution of one panel pixel is developed from three dimensions to two dimensions. Here, the position (coordinates) of each imaging pixel in each panel pixel is represented by (1, 1), (1, 2),... (13, 13). In this way, the data obtained as three dimensions (items) of the x coordinate, y coordinate, and luminance value (two dimensions as the positional relationship) is expressed as two dimensions (x coordinate, y coordinate) and the luminance value as 1 (as the positional relationship, Treat (convert) as dimension data. Then, on the basis of the position (x coordinate, y coordinate), the data of luminance value data and data to be taken are selected. This choice is very important. This is because, for example, when two-dimensional pattern recognition (matching) is considered, an approach from the vertical (y direction) or the horizontal (x direction) can be considered, but this selection (in this embodiment) This is because the direction of the pattern recognition is determined by the selection in the horizontal direction and reflected in the inspection. In general, not only the position and the luminance value but also various items (dimensions) may be selected. The data represented in three dimensions as shown in FIG. 5 is represented in two dimensions. Next, for each panel pixel, a Mahalanobis distance between the pixel group (unit space) acquired as a sample is calculated. Here, before calculating the Mahalanobis distance, first, a method of creating a unit space in the present embodiment will be described.
[0056]
As a pixel sample when forming the unit space, a panel pixel that is close to an ideal shape and is determined to be a good pixel is selected. In this embodiment, a unit space is formed based on about 1000 panel pixels. Here, although the brightness of the panel pixel differs depending on the applied voltage, in this embodiment, the brightness value data at the voltage with the highest brightness is acquired as data for calculating the unit space. In addition, there is a screen in which a certain voltage (luminance) is good, but is defective at other voltages. Conventionally, the pass / fail judgment may differ depending on the voltage difference, but here we will see the difference from the good pixel of the same voltage, so the distance between the good pixels of each voltage using the same unit space is determined. By knowing, it is possible to make a pass / fail judgment in the same space and in the same method. However, if the inspection object (panel) type, standard, etc. are different, the panel pixel pitch, shape, etc. may also be different, so light can always be received in the same state as in the case of the sample (this embodiment In the embodiment, the light is not received by a 13 × 13 light receiving element). In such a case, a unit space corresponding to that may be formed.
[0057]
For the brightness value data acquired for the panel pixels as samples, the average / standard deviation calculator 1A calculates an average value and a standard deviation for each panel pixel. Based on the calculated average value and standard deviation, the standardized value data calculation unit 1C calculates a standardized value for the luminance value data of each imaging pixel of each panel pixel to obtain standardized value data. Specifically, the reference value is a value obtained by dividing the difference between the luminance value and the average value by the standard deviation. As a result, all luminance value data can be converted into normalized value data that is evenly distributed with 1 as the center.
[0058]
Next, the inverse matrix calculation unit 1B calculates a correlation coefficient based on the normalized value data. The self correlation coefficient is also calculated, but this value is 1. For example, in the case of (1, 1) and (1, 2), the (1, 1) normalized value of each panel pixel is multiplied by the (1, 2) normalized value of the same panel pixel (this embodiment In the embodiment, a number of about 1000, which is the number of panel pixels, is calculated). Then, the sum is calculated and divided by the number of panel pixels (that is, the average is calculated). This is done for all combinations. A matrix having the calculated correlation coefficient as an element is defined as a correlation matrix. Here, the diagonal components of the correlation matrix are all coefficients due to autocorrelation. Transposed elements have the same value. The inverse matrix of the correlation matrix calculated by the inverse matrix calculation unit 1B is the basis for calculating the final target unit space.
[0059]
Next, processing when actually inspecting the liquid crystal panel 100 will be described. Based on the signal transmitted from the camera 20, the luminance value data acquisition unit 1F acquires luminance value data. In the present embodiment, it is assumed that 13 × 13 luminance value data can be acquired in all panel pixels. Here, since the sample panel pixels constituting the unit space are calculated based on the luminance value data of 13 × 13 imaging pixels, the same imaging is performed for the panel pixels of the liquid crystal panel 100 even in the inspection because of the calculation. It is more convenient to use the number of pixels. For example, when the panel pixel pitch of the liquid crystal panel 100 is different from the pixel pitch of the sample, or when the size of the projection plane displayed thereby is different, the distance between the camera 20 and the liquid crystal panel 100 is changed. The relationship between the number of imaging pixels of 13 × 13 per panel pixel and the resolution of the human eye with a visual acuity of 2.0 are maintained.
[0060]
The standardized value data calculation unit 1C calculates a standardized value for each luminance value data based on the average value and standard deviation calculated for each panel pixel when the unit space is created, and sets the standardized value data.
[0061]
Then, the distance calculation unit 1D calculates the Mahalanobis distance based on each normalized value data by the standardized value data calculation unit 1C and each element of the inverse matrix of the correlation matrix previously calculated by the inverse matrix calculation unit 1B. The distance calculation unit 1D performs such calculation for all the panel pixels, and each panel pixel has a Mahalanobis distance (D ² ) Is calculated. Here, the average of the Mahalanobis distances calculated based on the luminance value (standardized value) data of the samples constituting the unit space is theoretically 1.
[0062]
FIG. 7 is a graph with the calculated Mahalanobis distance on the vertical axis and the luminance value on the horizontal axis. Here, as described above, the samples are distributed at the position having the highest luminance value. For example, in a liquid crystal panel or the like, the display gradation is adjusted by the applied voltage. Therefore, the display gradation (brightness value) differs depending on the applied voltage. However, if there is no difference in the shape and size of the pixel and the number of obtained brightness value data, a new unit space can be created regardless of the applied voltage. Even if it is not created, by calculating the Mahalanobis distance, it is possible to create a reference for the voltage and perform inspection (evaluation). This eliminates the need to create a unit space that requires the most time and effort. Further, by calculating a plurality of voltages and the Mahalanobis distance with respect to the voltage, the relationship between the voltage and the Mahalanobis distance with respect to the voltage can be complemented and derived. Here, the distribution by the sample is called a unit space. The distance of the Mahalanobis distance of the sample is around 1, and the average is 1 as described above. Therefore, in this embodiment, the distribution distance is 1.
[0063]
Here, FIG. 7 is configured by a two-dimensional graph with luminance as a dimension, but the pass / fail judgment is actually made only based on the Mahalanobis distance. As shown in FIG. 7, the Mahalanobis distance varies depending on the applied voltage even in the same liquid crystal panel 100. Further, it varies depending on the image (luminance value) displayed on the liquid crystal panel. It also varies depending on the type of panel. If the conditions are different, the Mahalanobis distance from the unit space is also different. What is important here is that the quality of the screen to be inspected is determined not by the difference in distance from the unit space but by the good pixel (or its distribution) under the same conditions as the reference and the difference in distance from it. is there.
[0064]
Therefore, before actually inspecting the object to be inspected, the inspection is performed after calculating the Mahalanobis distance (good pixel distribution) from the unit space for the good pixel sample under the conditions used in the inspection. The determination is made based on the difference in distance from the good pixels (distribution) under the same conditions. The value of the distance difference that is a criterion for accepting or failing can be arbitrarily determined. The inspection determining unit 1E calculates a distance difference from the distribution under the same condition directly or indirectly and compares it with a predetermined reference value. Then, for example, the number of panel pixels exceeding the reference value is counted, and whether the liquid crystal panel 100 as a whole is good or bad is determined based on the number or the like. The determination result is displayed on the display means 3 together with, for example, characters and the processed video image.
[0065]
FIG. 8 is a diagram showing the distribution of Mahalanobis distances between good pixels and bad pixels. As shown in FIG. 8, defects such as point defects, spots, and unevenness appear differently, but it is possible to judge whether or not the defect is good by comparing with good pixels only by the Mahalanobis distance. Moreover, even if the inspection conditions are different, the calculation method based on the Mahalanobis distance is the same, and the quality can be determined by the distance difference from the good pixels under the same conditions. Here, the criteria for pass / fail judgment can be arbitrarily determined depending on the type of panel and the required grade (high quality). However, in some cases, a defective panel pixel exists, but the panel pixel is the entire screen. As a result, the panel (screen) may be judged as a non-defective product. However, for each panel pixel, it is better to avoid setting a reference so as to make a defective screen as a whole while determining that the pixel is a good pixel.
[0066]
As described above, according to the first embodiment, since the number (amount) of luminance value data to be processed is calculated based on the resolution of the human eye, the type of panel to be inspected is determined. Regardless, it is possible to perform inspection for each panel pixel based on human ability. Moreover, if the resolution of visual acuity of 2.0 is used as a reference, the resolution of most human eyes can be covered. Then, the distance calculation unit 1D calculates the Mahalanobis distance for each panel pixel, and the inspection determination unit 1E performs the pass / fail judgment of the screen (pixel) based on the distance difference. It can be a numerical value of only the distance. In addition, this determination is made based on the distance difference from the good pixel under conditions such as the panel type, applied voltage, etc., so even if the conditions are different, the calculation method is not different and the pass / fail judgment is made. It can be performed. In addition, it is possible to make a determination based on a good pixel, and the degree of failure can be quantified by a difference in distance from the good pixel. Further, when the inverse matrix calculation unit 1B calculates the inverse matrix, the correlation between the imaging pixels at each position is calculated in the process of calculation, so that the validity can be evaluated. Also, according to the Mahalanobis distance distribution, it is possible to determine the grade (quality) of each device (product) based on the number of defective pixels and their condition (distance distribution from the good pixels of each pixel, etc.). You can also rank.
[0067]
Embodiment 2. FIG.
FIG. 9 is a block diagram showing a system configuration centering on an image processing apparatus 10A according to the second embodiment of the present invention. In FIG. 9, the same reference numerals as those in FIG. 1 perform the same operations as those described in the first embodiment, and thus the description thereof is omitted. The image processing apparatus 10A is different from the image processing apparatus 10 in that the processing means 1a is configured instead of the processing means 1. The processing means 1a differs from the processing means 1 in that it has an orthogonal expansion calculation unit 1G and an orthogonal variable calculation unit 1H instead of the inverse matrix calculation unit 1B, and the Mahalanobis distance calculation procedure of the distance calculation unit 1D is different. Different.
[0068]
The orthogonal expansion calculation unit 1G performs orthogonal expansion on the basis of the standardized values of the sample panel pixels, and applies a regression coefficient, a residual component value (hereinafter referred to as a residual component value), and a variance of the residual component, which will be described later. A value based on this (hereinafter referred to as variance) is calculated and used as data. Further, when the liquid crystal panel 100 is actually inspected, the residual component value is calculated from the normalized value data based on the liquid crystal panel 100 using the calculated regression coefficient and variance data, and this is used as data. . The orthogonal variable calculation unit 1H calculates an orthogonal variable value (hereinafter referred to as an orthogonal variable value) based on the residual component value data calculated by the orthogonal expansion calculation unit 1G, and uses this as data. The distance calculation unit 1D calculates the Mahalanobis distance for each panel pixel of the liquid crystal panel 100 based on the orthogonal variable value data.
[0069]
In the first embodiment described above, the correlation matrix and its inverse matrix are calculated, and the Mahalanobis distance is calculated based on the elements and the normalized values. This method has an advantage that it is easy to grasp the correlation because the correlation coefficient between the imaging pixels is calculated. However, in the case of the first embodiment, the correlation matrix has 169 × 169 elements. Therefore, the amount of calculation for calculating the inverse matrix is very large and takes time. In general, an arithmetic unit such as a computer can handle only a certain number of digits in the calculation, and therefore, there is a high possibility that a digit is dropped during the calculation of the inverse matrix. Therefore, the value of the finally calculated inverse matrix element may be different from the true value so as to affect the calculated Mahalanobis distance. These are particularly noticeable as the number of matrices (number of elements) increases. Therefore, in the present embodiment, a Mahalanobis distance calculation method using the Schmitt orthogonal expansion, which is called Mahalanobis Taguchi Schmidt (MTS), will be described. Thereby, it is not necessary to perform inverse matrix calculation processing, the calculation amount can be suppressed, and the data amount to be temporarily stored in the storage unit 4 can be reduced. In addition, compared to the calculation of the inverse matrix, the calculation is not complicated and a large amount of calculations are not performed.
[0070]
In the method of the present embodiment, the regression coefficient, residual component value, and variance of the next item are calculated based on the regression coefficient and variance of a certain item (here, the luminance value at each position). Therefore, when there is an item that particularly affects the Mahalanobis distance (for example, luminance value data at a certain position of the panel pixel, saturation not shown here), the regression coefficient and variance of the item are preferentially set. By calculating, it is possible to change the degree of calculation of the orthogonal variable value according to the accuracy of inspection, the grade of the product, etc. In the embodiment, since the luminance value data (all image pickup pixels) at each position of the panel pixel are treated equally, there is no particular priority item).
[0071]
Next, a method for calculating the Mahalanobis distance using MTS will be described. The regression coefficient and variance, which are the previous stage, are calculated based on samples of good pixels. First, the arithmetic processing of the average / standard deviation arithmetic unit 1A and the standardized value data arithmetic unit 1C up to the calculation of the standardized value data is the same as that described in the first embodiment. Therefore, explanation is omitted.
[0072]
Based on the standardized value data, the orthogonal expansion calculation unit 1G, for example, converts the residual component value of the standardized value of (1,2) to the standardized value of (1,2) and the residual of (1,1) Expressed by difference component value and regression coefficient. Further, the residual component value of the normalized value of (1, 3) is changed into a normalized value of (1, 3), a residual component value of (1, 1), a residual component value of (1, 2), and Expressed with each regression coefficient. In this embodiment, this is performed up to (13, 13) in the order of (1, 1),..., (1, 13), (2, 1),. Here, for (1, 1), the residual component value is the same as the standardized value. The residual component is an item (in this case, (1, 1) among the components of the normalized value (of the panel pixel) of a certain item (here, the luminance value of (1, 2)). ) Is an independent (orthogonal) component. That is, except for the part (regression part) related to the residual component of the previous item, the component that cannot be represented by these is the residual component at that item (position) of the panel pixel. In addition, the regression coefficient for a certain item is a coefficient calculated from the standardized value of the item, the residual component value of the previous item, and the variance of the residual component of the previous item. The variance is a value calculated based on the sum of the squares of the residual components calculated in the sample. If this is repeated, for example, the residual component value of (13, 13) is represented by the residual component value of (1, 1),..., (13, 12). Here, in this embodiment, (1, 1),..., (1, 13), (2, 1),... Are carried out in this order. Mahalanobis distance) is considered to be obtained.
[0073]
Considering this, the regression coefficient and variance can be determined in the order of important items that affect the Mahalanobis distance. Accordingly, in the stage of actually calculating the orthogonal variable value based on each luminance value data (standardized value data) of the liquid crystal panel 100, the orthogonal variable calculation unit 1H is based on the standardized value data up to a certain item. Even if the orthogonal variable value is calculated and the calculation of the orthogonal variable value of other items is omitted, the Mahalanobis distance that approximates the true distance may be calculated. In some cases, the Mahalanobis distance that approximates the true distance within the error range can be calculated without calculating the regression coefficient and the variance.
[0074]
Next, processing of luminance value data based on actual inspection of the liquid crystal panel 100 will be described. The standardized value data calculation unit 1C processes the luminance value data acquired by the luminance value data acquisition unit 1F based on the signal transmitted from the camera 20 until the standardized value data is obtained. It is the same as the form.
[0075]
The orthogonal expansion calculation unit 1G calculates a residual component value based on each luminance value data of the liquid crystal panel 100 based on the regression coefficient and the variance. Then, the orthogonal variable calculation unit 1H calculates an orthogonal variable based on the residual component value and the variance calculated by the orthogonal expansion calculation unit 1G. Specifically, the value obtained by dividing the residual component value by the square root of the variance is the orthogonal variable value.
[0076]
The distance calculation unit 1D calculates the Mahalanobis distance of the panel pixel based on the calculated orthogonal variable value and uses it as data. This is performed for all panel pixels. Specifically, the Mahalanobis distance is obtained by dividing the sum of the squares of the orthogonal variable values by the number of items (which is 169 in the present embodiment). Here, the calculation result of the Mahalanobis distance of each panel pixel is the same as that in the first embodiment. Since the subsequent pass / fail judgment processing of the inspection judgment unit 1E performs the same operation as in the first embodiment, description thereof is omitted.
[0077]
As described above, according to the second embodiment, the regression coefficient and variance are calculated using the Schmidt orthogonal expansion by the orthogonal expansion calculation unit 1G, and the Mahalanobis of the panel pixel of the actual liquid crystal panel 100 is calculated. The distance calculation unit 1D calculates the Mahalanobis distance based on the residual component values and the orthogonal variable values calculated by the orthogonal expansion calculation unit 1G and the orthogonal variable calculation unit 1H. It is possible to reduce the amount of calculation when calculating and the amount of memory (memory) for temporarily storing the calculated value. Also, when calculating the regression coefficient and the variance of the residual component, calculate the residual component value, the orthogonal variable value, or the Mahalanobis distance by calculating these values in the order of the items that affect the Mahalanobis distance. In this case, since each calculation can be rounded up in the middle of the error range, the time until the distance calculation or pass / fail judgment can be shortened.
[0078]
Embodiment 3. FIG.
In the above-described embodiment, the relation is not particularly described, but the position of the panel pixel and the Mahalanobis distance are associated with each other. For example, even when it is determined that there are a large number of panel pixels having a Mahalanobis distance from the distribution of good pixels, depending on how the pixel positions are gathered, unevenness and spots may occur. Sometimes it is necessary. The same applies to point defects. If the point defects are dispersed and scattered, it may be determined that the liquid crystal panel is good. This is also because the pass / fail judgment may be different depending on whether the defect is in the corner or the center of the panel.
[0079]
Embodiment 4 FIG.
The above-described embodiment has been described on the assumption that the liquid crystal panel 100 that is an object to be inspected is used in a liquid crystal projector. However, the inspection object of the present invention is not limited to this, and the display is not limited to this. The panel used may be used.
[0080]
Embodiment 5. FIG.
In the above-described embodiment, the liquid crystal panel 100, which is an object to be inspected, is imaged by the camera 20, and the Mahalanobis distance is calculated to make a pass / fail judgment. The present invention is not limited to this. If the physical quantity generated by the inspection target can be processed as, for example, a colored image, not only the screen brightness inspection but also the inspection of various inspection targets can be performed by Mahalanobis. This can be done using the distance. If this method is applied, the inspection of the image pickup pixel of the image pickup means such as the camera 20 can also be performed using the Mahalanobis distance. Furthermore, not only the image pickup means but also a temperature sensor using a thermography, and means such as an acoustic sensor can be imaged and inspected, for example, by sensing the sensing state.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a system centering on an image processing apparatus.
FIG. 2 is a diagram illustrating a method for determining a minimum resolution.
FIG. 3 is a diagram showing the dimensions of a Landolt ring at each visual acuity value.
FIG. 4 is a diagram illustrating a relationship between projection sizes when an inspection is performed.
FIG. 5 is a diagram showing the distribution of luminance values of one panel pixel in three dimensions.
FIG. 6 is a diagram in which a luminance value distribution of one panel pixel is developed two-dimensionally.
FIG. 7 is a graph of Mahalanobis distance and luminance value.
FIG. 8 is a diagram illustrating a distribution of distances between good pixels and bad pixels.
FIG. 9 is a configuration diagram of a system centered on an image processing apparatus 10A.
[Explanation of symbols]
1, 1a processing means, 1A average / standard deviation calculation unit, 1B inverse matrix calculation unit, 1C standardized value data calculation unit, 1D distance calculation unit, 1E inspection determination unit, 1F luminance value data acquisition unit, 1G orthogonal expansion calculation unit 1H Orthogonal variable calculation unit, 2 input means, 3 display means, 4 storage means, 10 and 10A image processing apparatus, 20 camera, 100 liquid crystal panel

Claims

Based on the average value and standard deviation of the data obtained in advance by the good pixel sample, the standardized value obtained by standardizing the data of each pixel obtained by the imaging means imaging the screen displayed on the inspection target. Standardized value data calculation means for calculating as standardized value data, from regression data and residual components calculated based on the respective data using Schmidt's orthogonal expansion from data obtained in advance by the good pixel samples Based on the value based on the variance and the standardized value data, the orthogonal expansion calculation means for calculating the residual component value calculated for the data obtained by imaging by the imaging means as data, the orthogonal expansion calculation means calculates Orthogonal variable computing means for calculating the value of the orthogonal variable as data based on the value of the residual component and the value based on the variance, and the value of the orthogonal variable Based on over data, the each pixel which constitutes the screen to be inspected, and the arithmetic processing means having a distance calculating means for calculating the Mahalanobis distance from the plurality of luminance data obtained by further decomposing the pixel as the data,
An image processing apparatus comprising: an inspection determination unit that determines whether the display screen is good or not based on a result of processing by the arithmetic processing unit .

Image according to claim 1, further comprising a luminance value data acquisition means for creating a luminance value data based on the signal representing the brightness transmitted from the imaging means images the screen displayed on the object to be inspected Processing equipment.

The distance calculating means associates the calculated Mahalanobis distance of each pixel with the position of each pixel on the display screen, and the inspection judging means is based on the distribution of the Mahalanobis distance by each pixel on the display screen. the image processing apparatus according to claim 1, wherein the determining the quality of the display screen.