JP4597079B2 - 画像ムラ検査装置及びその方法 - Google Patents

Description

本発明は、画像ムラを精度良く自動検出する画像ムラ検査装置及びその方法に関する。

ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子で撮像した画像、ＬＣＤ（液晶ディスプレイ）やＰＤＰ（プラズマディスプレイパネル）等に表示させた画像で発生する欠陥の１つとして、画像ムラがある。画像ムラとは、例えば、一様の白色を撮像した画像，一様の白色を表示させた画像が、一様でなく、局所的に輝度変化を起こしている欠陥であり、固体撮像素子やディスプレイ装置の欠陥に原因がある。

画像ムラを起こしている部分の輝度は、周囲の輝度に対して数％の差しかないが、人間（検査員）の目による目視検査で主観的に判別することができる。しかし、これを検査装置で客観的に自動判別しようとすると困難を伴う。その困難の多くは、画像が本来持っている輝度シェーディングに起因する。

固体撮像素子の撮像画像を例に説明すると、固体撮像素子で一様な白色画像を撮像したとき、図７に示す様に、固体撮像素子から出力される撮像画像の輝度は、固体撮像素子の中央部で高く、周辺に行くに従って輝度低下を起こす。これが輝度シェーディングＡであり、輝度の最大値と最小値の差は１０％前後の値を持つが、その特性さえ分かれば輝度補正を行って画像の輝度を場所によらずフラットにすることができるため、問題にはならない。

画像ムラが発生している場合、図７に点線ａ，ｂで示す様に、１０％前後の輝度変化を示す輝度シェーディングに重畳した形で現れる。画像ムラａは、ムラ部分と周囲との境界エリアの輝度変化が急峻になっているため、輝度変化の傾斜を求めることで検出することができる。しかし、画像ムラｂは、境界エリアの急峻な変化を伴わない浸潤している「しみ」の様な画像ムラであり、輝度シェーディングに影響を受け、単に輝度変化の傾きを求める方法では検出できない。

画像ムラが大きい固体撮像素子は、欠陥素子として検査で排除する必要があるが、画像ムラの高精度の検出を検査装置で自動で行うことができず、検査員の目視による主観評価で行っているのが現状である。このため、検査結果にバラツキが生じ、また、検査時間の短時間化，人件費抑制によって固体撮像素子の製造コスト削減を図る上での障害になっている。

画像ムラを検出する特許文献１記載の従来技術では、既知技術である３画素×３画素のPrewittオペレータやSobelオペレータの１次差分法の空間フィルタを用いることで、画像ムラのエッジを抽出している。しかし、この従来方法では、前述した輝度シェーディングがあると、輝度シェーディング自体が傾きを持つため、エッジの検出が困難である。

また、下記の特許文献２記載の従来技術では、元画像にＬＰＦ（ローパスフィルタ）処理を施してノイズ成分（画像ムラ）を除去し、輝度シェーディングの特性のみを持つ画像を生成し、これを元画像から減算することで、画像ムラを検出している。

しかし、この方法は、周囲と画像ムラのエッジとの間の輝度変化が急峻で、輝度の変化量も大きい場合に有効であるが、前述した画像ムラｂの様に「しみ」の様な画像ムラの場合には、エッジ部分の輝度変化が緩やかなためＬＰＦ処理で除去して輝度シェーディング特性だけを取り出すのが難しく、検出するのが困難である。また、画像ムラのエッジを検出する場合、輝度シェーディングを除去する手段と、エッジの検出手段の２つの独立した手段を装備する必要あり、処理時間が長時間になってしまう。

また、下記の特許文献３記載の従来技術では、輝度シェーディングをスプライン関数を持つ平坦化モジュールにより除去する方法を用いているが、画像全領域で平滑化曲線を求めるには膨大な処理時間がかかってしまうという問題がある。

特開平１０−２０６３４４号公報 特開平９−３２９５２７号公報 特開平１１−６６３１１号公報

本発明の目的は、輝度シェーディングを持つ画像に発生している画像ムラを自動的且つ高精度に検出することができる画像ムラ検査装置及びその方法を提供することにある。

本発明の画像ムラ検査装置及びその方法は、画像ムラを検査する検査対象画像の画像データに対しホワイトバランス補正を施し、該ホワイトバランス補正後の前記画像データをＬ＊ａ＊ｂ＊表色系に変換し、該変換後の彩度データによって前記画像ムラを自動判定することを特徴とする。

本発明の画像ムラ検査装置及びその方法は、前記検査対象画像が、固体撮像素子から読み出した画像であることを特徴とする。

本発明の画像ムラ検査装置及びその方法は、前記検査対象画像が、ディスプレイ装置に表示した画像であることを特徴とする。

本発明の画像ムラ検査装置及びその方法は、検査対象画像の縮小画像を生成し該縮小画像を前記検査対象画像とすることを特徴とする。

本発明の画像ムラ検査装置及びその方法は、前記縮小画像を複数ブロックに分割し、各ブロック内の画像データの平均値に対して前記変換を施し各ブロック毎に得られた彩度データにより当該ブロックに対する前記判定を行うことを特徴とする。

本発明の画像ムラ検査装置及びその方法は、前記自動判定を行う閾値を画像ムラの目視判定レベルに設定したことを特徴とする。

本発明によれば、検査対象画像をＬ＊ａ＊ｂ＊表色系に変換し、彩度データによって画像ムラを検出するため、Ｌ＊データに現れる輝度シェーディングの影響を受けることなく画像ムラの検出が可能になる。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係る画像ムラ検査装置の機能構成図である。この画像ムラ検査装置は、画像ムラ検査装置全体を統括制御するＣＰＵ１０と、ＣＰＵ１０からの指示を受け検査対象の単板式カラー固体撮像素子１００に検査光を照射する検査光照射部１１と、ＣＰＵ１０からの指示を受け固体撮像素子１００に駆動信号を印加する撮像素子駆動部１２とを備える。

また、この画像ムラ検査装置は、固体撮像素子１００の出力に接続されたアナログ信号処理部１３と、アナログ信号処理部１３から出力されたＲ（赤）Ｇ（緑）Ｂ（青）の色信号をデジタル信号に変換するＡ／Ｄ変換回路１４と、ＣＰＵ１０に検査員からの指示を入力する操作部１５とを備える。

更に画像ムラ検査装置は、フレームメモリ１７に接続されたメモリ制御部１８と、検査のための各種画像処理を実行するデジタル信号処理部１９と、撮像画像を水平方向，垂直方向に圧縮する圧縮処理部２０と、撮像画像データを色毎に積算しデジタル信号処理部１９が実行するホワイトバランス補正のゲインを求める積算部２１と、検査結果を外部に出力する外部インタフェース２２と、検査結果や撮像画像等を表示するモニタ装置２３の表示制御を行う表示制御部２４とを備え、これらは制御バス２５及びデータバス２６によって相互に接続され、ＣＰＵ１０からの指令によって制御される。

図２は、図１の画像ムラ検査装置が実行する画像ムラ検査処理の処理手順を示すフローチャートである。ＣＰＵ１０からの指示を受けた検査光照射部１１が白色光を検査対象の単板式カラー固体撮像素子１００に照射すると、固体撮像素子１００からは、赤色（Ｒ）信号，緑色（Ｇ）信号，青色（Ｂ）信号が混合した撮像画像データが出力され、これがフレームメモリ１７に格納される。

先ずステップＳ１では、撮像画像データを赤色だけの撮像画像データと、緑色だけの撮像画像データと、青色だけの撮像画像データとに色分解処理する。そして、次のステップＳ２で、各色の撮像画像データに対して既存のノイズ除去処理を施し、次のステップＳ３で、緑色（Ｇ）を基準にして赤色（Ｒ）と青色（Ｂ）のレベル補正を行う。即ち、既知のホワイトバランス補正を行う。

図３は、ホワイトバランス補正処理の詳細手順を示すフローチャートである。このホワイトバランス補正処理（ステップＳ３）では、先ず、赤色画像データの平均値と、緑色画像データの平均値と、青色画像データの平均値を、次の数１に従って算出する（ステップＳ３１）。

そして、次の数２に従って、ホワイトバランス補正を行うゲインを算出する（ステップＳ３２）。

そして最後に、次の数３に従って、ホワイトバランス補正処理すなわちＲＧＢのゲイン補正処理を実行する。

図２に戻り、ホワイトバランス補正処理が終わると、次のステップＳ４に進み、画像圧縮処理（ｘ方向に１／ｎ、ｙ方向に１／ｍ）を行う。近年の固体撮像素子１００は、数百万画素以上を搭載するのが普通になっており、微細な画素の大きさを単位に以下の処理を実行すると、処理時間がかかるため、縮小画像を生成し、この縮小画像上での画像ムラの検出処理を行う。

縮小画像が生成されると、次のステップＳ５に進む。このステップＳ５では、先ず図４に示す様に、縮小画像をメッシュ状に複数ブロック３０に分割する。各ブロック３０は、縮小画像のｉ画素×ｋ画素で構成されるため、各ブロック３０毎に、赤色画像データの平均値，緑色画像データの平均値，青色画像データの平均値を算出する。

次のステップＳ６では、彩度計算処理を実行する。図５は、この彩度計算処理の詳細手順を示すフローチャートである。先ずステップＳ５で求めた各ブロック毎のＲ平均値，Ｇ平均値，Ｂ平均値を、各ブロック毎に三刺激値ＸＹＺに変換するＲＧＢ／ＸＹＺ変換処理を次の数４に従って実行する（ステップＳ６１）。

次に、ＸＹＺ表色系を、Ｌ＊ａ＊ｂ＊表色系に変換する（ステップＳ６２）。この変換は、次の数５に従って行う。

ステップＳ６２により、各ブロック３０毎に、Ｌ＊，ａ＊，ｂ＊が算出されると、次に、数６に従って、各ブロック３０毎の彩度Ｃを算出する（ステップＳ６３）。

図２に戻り、各ブロック３０毎の彩度Ｃが算出された後は、各ブロック３０毎に彩度Ｃを閾値と比較する判定処理を実行する（ステップＳ７）。彩度Ｃが閾値以上となるブロック３０については、画像ムラが存在すると判定し、判定結果を出力する。この判定を行う閾値を、検査員の目視判定のレベルに設定しておくことで、画像ムラ検査装置が自動判定した結果を、検査員が目視で確認することが容易となる。

輝度シェーディングを有する単板式カラー固体撮像素子１００で白色画像を撮像した場合、図６に示すＲＧＢによる撮像画像（ステップＳ４による縮小画像）４１では、画像ムラｃを検出するのは輝度シェーディングＡの存在により困難なのは前述した通りである。

しかし、ＲＧＢ画像４１の表色系をＬ＊ａ＊ｂ＊表色系に変換すると、輝度シェーディングＡはＬ＊の画像データにだけ現れて輝度シェーディングを分離することができる。このため、ａ＊，ｂ＊の画像データに現れる画像ムラｃを容易に検出することが可能となる。

ａ＊，ｂ＊の画像をモニタ表示して目視判定に供することも可能であるが、検査を高速処理するには、上述した様に、縮小画像を複数ブロックに分割し、各ブロック内で１点のａ＊データとｂ＊データを求め、これから彩度Ｃを数値として算出して画像ムラの判定を行う構成の方が、大量生産される固体撮像素子の検査には好適である。

尚、固体撮像素子の検査を例に説明したが、ＬＣＤやＰＤＰ等の表示装置の検査にも同様に適用可能であることはいうまでもない。

本発明に係る画像ムラ検出方法は、輝度シェーディングから画像ムラを容易に分離できるため、画像ムラ検査の自動化を図るのに有用である。

本発明の一実施形態に係る画像ムラ検査装置の機能構成図である。 図１に示す画像ムラ検査装置が実行する画像ムラ検査処理の処理手順を示すフローチャートである。 図２に示すホワイトバランス補正処理の詳細手順を示すフローチャートである。 図２のブロック平均化処理の説明図である。 図２に示す彩度計算処理の詳細手順を示すフローチャートである。 図１に示す画像ムラ検査装置における輝度シェーディングと画像ムラとの分離説明図である。 輝度シェーディングと画像ムラの説明図である。

符号の説明

１０ ＣＰＵ
１１ 検査光照射部
１９ デジタル信号処理部
２１ 積算部
３０ ブロック
Ａ 輝度シェーディング
ａ，ｂ，ｃ 画像ムラ

Claims (12)

1. 画像ムラを検査する検査対象画像の画像データに対しホワイトバランス補正を施す補正手段と、該ホワイトバランス補正後の前記画像データをＬ＊ａ＊ｂ＊表色系に変換する変換手段と、該変換後の彩度データによって前記画像ムラを自動判定する判定手段とを備えることを特徴とする画像ムラ検査装置。
2. 前記検査対象画像が、固体撮像素子から読み出した画像であることを特徴とする請求項１に記載の画像ムラ検査装置。
3. 前記検査対象画像が、ディスプレイ装置に表示した画像であることを特徴とする請求項１に記載の画像ムラ検査装置。
4. 検査対象画像の縮小画像を生成し該縮小画像を前記検査対象画像とすることを特徴とする請求項１乃至請求項３のいずれかに記載の画像ムラ検査装置。
5. 前記縮小画像を複数ブロックに分割し、各ブロック内の画像データの平均値に対して前記変換を施し各ブロック毎に得られた彩度データにより当該ブロックに対する前記判定を行うことを特徴とする請求項１乃至請求項４のいずれかに記載の画像ムラ検査装置。
6. 前記自動判定を行う閾値を画像ムラの目視判定レベルに設定したことを特徴とする請求項１乃至請求項５のいずれかに記載の画像ムラ検査装置。
7. 画像ムラを検査する検査対象画像の画像データに対しホワイトバランス補正を施し、該ホワイトバランス補正後の前記画像データをＬ＊ａ＊ｂ＊表色系に変換し、該変換後の彩度データによって前記画像ムラを自動判定することを特徴とする画像ムラ検査方法。
8. 前記検査対象画像が、固体撮像素子から読み出した画像であることを特徴とする請求項７に記載の画像ムラ検査方法。
9. 前記検査対象画像が、ディスプレイ装置に表示した画像であることを特徴とする請求項７に記載の画像ムラ検査方法。
10. 検査対象画像の縮小画像を生成し該縮小画像を前記検査対象画像とすることを特徴とする請求項７乃至請求項９のいずれかに記載の画像ムラ検査方法。
11. 前記縮小画像を複数ブロックに分割し、各ブロック内の画像データの平均値に対して前記変換を施し各ブロック毎に得られた彩度データにより当該ブロックに対する前記判定を行うことを特徴とする請求項７乃至請求項１０のいずれかに記載の画像ムラ検査方法。
12. 前記自動判定を行う閾値を画像ムラの目視判定レベルに設定したことを特徴とする請求項７乃至請求項１１のいずれかに記載の画像ムラ検査方法。

Images