JP4438140B2 - 色ムラ欠陥検査方法及び装置 - Google Patents
色ムラ欠陥検査方法及び装置 Download PDFInfo
- Publication number
- JP4438140B2 JP4438140B2 JP28945199A JP28945199A JP4438140B2 JP 4438140 B2 JP4438140 B2 JP 4438140B2 JP 28945199 A JP28945199 A JP 28945199A JP 28945199 A JP28945199 A JP 28945199A JP 4438140 B2 JP4438140 B2 JP 4438140B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- concave
- create
- luminance
- binarized image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、色ムラ欠陥検査方法及び装置、特にカラーテレビのブラウン管に用いられるシャドウマスクや液晶ディスプレイに用いられるカラーフィルタ等の、基板に光透過性を有する周期性パターンが形成されている製品における、該パターンの均一性の乱れに起因する色ムラ欠陥を検出する際に適用して好適な、色ムラ欠陥検査方法及び装置に関する。
【０００２】
【従来の技術】
単位となる微小な開口が繰り返し配列された周期性パターンが形成されている工業製品としては、カラーテレビのブラウン管に用いられるシャドウマスクや液晶ディスプレイに用いられるカラーフィルタ等がある。このような工業製品では、形成されている周期開口が均一であることが重要であることから、その周期性パターンの均一性を、その乱れに起因する色や明るさの局所的な不均一性、即ち色（輝度）ムラが生じているか否かにより検査することが行われている。
【０００３】
このようなシャドウマスクやカラーフィルタ等に形成されている周期性開口パターンを検査する技術としては、対象物をＣＣＤカメラや撮像管等の画像入力装置（撮像手段）により撮像し、得られた検査対象画像を画像処理することにより、その色ムラ欠陥を検出するものが、例えば特開平６−２２９７３６に提案されている。
【０００４】
図１８は、このような色ムラ欠陥検査に適用される検査装置の要部を示した概略正面図である。この検査装置は、ステージ１０上に載置された試料（対象物）Ｗの裏側に、光源１２から拡散板１４とこれに積層された拡散シート１４Ａを介して照明光を照射すると共に、該試料Ｗの表面側で透過光を撮像するＣＣＤカメラ１６を含む画像入力部１８と、該カメラ１６により入力される画像データを処理する画像処理部２０とを備えている。
【０００５】
図１９は、前記検査装置全体の構成を示し、該検査装置は大別して検査処理部２２、マン・マシンインターフェイス部２４及びマシン・マシンインターフェイス部２６を備え、且つ、これら各部２２〜２６に含まれる各機能部の動作全体を管理する装置制御部２８とを備えている。そして、上記検査処理部２２は、機能部として前記画像入力部１８と、該画像入力部１８により入力された画像データを処理する前記画像処理部２０を含み、同様にマン・マシンインターフェイス部２４は上記画像処理部２０により処理された結果等を表示する情報表示部３０と、オペレータとの間で情報のやり取りを行なう対人操作部３２を、マシン・マシンインターフェイス部２６は対象物を搬送するベルトコンベア（図示せず）等の外部機械との間で情報のやり取りを行なう機械連動部３４をそれぞれ含んでおり、これら各機能部２２〜２６等は、上記のように装置制御部２８により動作全体が管理されるようになっている。
【０００６】
これら各機能部について詳述すると、画像入力部１８が有するＣＣＤカメラ１６としては、エリアセンサカメラやラインセンサカメラを利用することができ、又、撮像手段としては、これ以外に撮像管等を利用することもできる。
【０００７】
又、画像処理部２０としては、専用画像処理装置やパーソナルコンピュータ等が利用できる。又、情報表示部３０は、オペレータに対して検査進行状況、検査結果、集計結果、過去の検査結果の履歴等を提示したり、撮像した画像や処理途中の画像あるいは処理後の画像を表示する機能を有し、これにはＣＲＴモニタ、液晶モニタ、ＬＥＤアレイ等が利用できる。
【０００８】
又、対人操作部３２は、（１）オペレータからの検査に必要な入力操作を受け付ける、（２）被検査物の特徴（サイズ等）を設定する、（３）画像処理部２０の調整値（フィルタサイズ等）を設定する、（４）画像入力部１８の調整値（シャッタースピード等）を設定する等の機能を有し、これには機械式ボタン、タッチパネル、キーボード、マウス等が利用できる。
【０００９】
又、機械連動部３４は、自動検査時の外部機器との同期、例えば画像入力部１８への検査対象の供給終了タイミング等をとったり、検査結果によって検査対象の物流装置へ命令（検査対象の選別振分け指示、検査部への供給停止）等を発行する機能を有し、これにはＲＳ−２３２Ｃ、ＲＳ−４２２、ＧＰＩＢ（General Purpose Interface Bus）、ＬＡＮ（イーサーネット）、パラレルＩ／Ｏ、リレー等が利用できる。そして、以上の各機能部２２〜２６の動作を管理する装置制御部２８としては、専用装置、汎用シーケンサ、パーソナルコンピュータ等が利用できる。
【００１０】
前記検査装置において、ＣＣＤカメラ１６を用いて試料（被検査物）Ｗを撮像し、得られた画像データを画像処理することによって、該試料Ｗに形成されている周期性パターンの色ムラの有無を検査することが行われる。
【００１１】
一般に、検査対象となる色ムラは、画像データにおいて微妙な階調の変化として表われる。そのため、検査対象画像の画像データをそのまま単純な２値化処理しただけでは、色ムラの有無が判定できない。そこで、従来は、検査対象画像の色ムラを強調するために画像データの強調処理を行い、その後該処理により色ムラが強調された画像に対して、単純な２値化処理を行って色ムラの有無を判定し、色ムラ欠陥の検出を行っている。
【００１２】
ここで実行される上記強調処理は、微分フィルタ等の空間フィルタを用いて画像データをフィルタリング処理することにより実現できる。その際、検出しようとする色のムラの形状を想定し、予めそれぞれの形状毎にフィルタの形状を設定しておくことにより、検出性能を高めることができる。図２０には、この強調処理の特徴を概念的に示した。
【００１３】
図２０（Ａ）は、画像入力された縦Ｉｍ画素、横Ｉｎ画素の大きさからなる検査対象画像を表し、便宜上白い色で示した領域は有効部（検査対象が存在する領域）Ｉａと、その外側周囲に斜線を付した領域で示した無効部（検査対象が存在しない領域）Ｉｂとで構成されている。
【００１４】
上記有効部Ｉａに存在する色ムラを強調する際、例えば同図（Ｂ）にイメージを示したような強調処理用の空間フィルタを該有効部Ｉａに適用する。このフィルタは、縦２Ｋｍ＋１、横２Ｋｎ＋１の各要素（画素）の大きさからなる２次微分フィルタであり、図２１にはＫｍ＝３、Ｋｎ＝２の場合の具体例を示した。
【００１５】
このフィルタを使用する強調処理（フィルタリング処理）は、有効部Ｉａ全体の各画素に対して該フィルタの各要素の数値を対応する画素の階調値に乗算し、その合計を中心画素の階調値に置き換える演算を実行することに当たる。
【００１６】
ところが、検査対象画像においては、対象が存在する領域である有効部Ｉａが有限であるため、有効部Ｉａの外側の無効部Ｉｂに対してフィルタリング処理に必要な縦Ｋｍ画素、横Ｋｎ画素数分の領域を想定し、該領域の画素値を零値（階調値０）に仮定して、係数に負の値を持つ前記微分フィルタによる強調処理を行っている。そのため、このフィルタリング処理による強調処理は、微妙な色ムラを検査するためには効果が高いものの、有効部Ｉａの境界で画像データが不連続となっているため、図２０（Ｃ）に二点鎖線で示すように、該有効部Ｉａの周縁領域に縦Ｋｍ画素、横Ｋｎ画素の幅にリンギングと呼ばれる歪みＲが発生し、この歪みＲが発生した領域では正しい検査結果が得られないということになる。
【００１７】
その対策として、従来は、上記のような歪みＲが発生している範囲を検査対象から除外する処理を行っていた。以下、この除外処理を検査対象がシャドウマスクである場合について詳述する。図２２は、この場合の判定画像作成までの処理手順の概略を示し、図２３はそれに対応する主な画像処理の段階における画像のイメージを示している。
【００１８】
前記図１８に示した検査装置において、まずステップ２１で、前記ＣＣＤカメラ１６により試料（シャドウマスク）Ｗを撮像することにより、試料画像（透過光画像）データを得ると共に、ステップ２２で、試料のない状態で光源のみを撮像することにより光源画像データを得る。
【００１９】
次いで、ステップ２３で、試料画像データを光源画像データで割ることにより、光源１３自体に存在するシェーディングに影響されない透過率画像（検査対象画像）を作成する。図２３（Ａ）は、この透過率画像のイメージを示したもので、前記図２０（Ａ）に相当し、同様にＩａは有効部、Ｉｂは無効部である。この透過率画像について説明すると、試料のない状態で撮像した光源画像データをＩ1、試料を入れて撮像した試料画像データをＩ、ＣＣＤカメラ１６の暗電流を表 す画像データをＩ0とすると、試料Ｗ上の点の透過率Ｔは次の（１）式で計算で きる。
【００２０】
Ｔ＝（Ｉ−Ｉ0）／（Ｉ1−Ｉ0） …（１）
【００２１】
ここで、Ｉ、Ｉ0、Ｉ1はそれぞれ対応する位置の画素データであり、この計算を各画素について行うことにより、光源のシェーディングやその変動に影響を受けない透過率画像データを得ることができる。
【００２２】
なお、通常のＣＣＤカメラで透過率画像データを作成する場合は、電子シャッター内蔵のＣＣＤカメラを用い、電子シャッターにより撮像条件設定方法としてシャッター開放の状態で試料を入れて撮像し、ＣＣＤカメラの飽和露光量に近くなるように光源輝度を調節し、次に試料を取り除き、光量がオーバーせず、しかも飽和露光量に近くなるまでシャッター時間を短くし、そのときのシャッター時間をｔc、開放時のシャッター時間をｔoとすると、次の（２）式で透過率画像を得ることができる。これらの演算は、画像処理部２０により各画像データをフレームメモリに記録した後に画像間の演算で行われる。
【００２３】
Ｔ＝｛（Ｉ−Ｉ0）／（Ｉ1−Ｉ0）｝×（ｔc／ｔo） …（２）
【００２４】
次いで、ステップ２４では、上記ステップ２３で作成した検査対象画像である透過率画像（データ）を所定の閾値で２値化し、有効部Ｉａが２５５、無効部Ｉｂが０の階調値が設定された、それぞれ画素値が１、０の２値化画像からなる図２３（Ｂ）に示すようなマスク画像を作成する。その一方で、前記ステップ２３で作成した透過率画像に対して、微小変動（ノイズ）を除去するために平滑化処理（図示せず）を施し、その後、平滑化した該画像の色ムラを強調するために、ステップ２５で前記空間フィルタによる２次微分処理を施し、前記図２０（Ｃ）に相当する図２３（Ｃ）に示すような強調画像を作成する。
【００２５】
次いで、ステップ２６では、前記ステップ４で作成した図２３（Ｂ）のマスク画像の有効部側（画素値１）を、前記ステップ５で作成された強調画像に生じている歪み（リンギィング）領域Ｒを覆うことができるように収縮する。即ち、無効部Ｉｂに相当するマスク領域Ｍを、同図（Ｄ）に示すように広げる。その後、ステップ２７で、前記図２３（Ｃ）の強調画像を、同図（Ｄ）の収縮されたマスク画像でマスク処理し、同図（Ｅ）に示す強調画像のマスキング画像を作成し、該マスキング画像について、次のステップ２８で前述したと同様に単純な２値化処理を行って判定画像を作成し、色ムラ欠陥の検査を行う。
【００２６】
以上詳述したように、検査対象画像をフィルタ係数に負の値を持つ空間フィルタを用いてフィルタリング処理する場合、色ムラを強調するためには有効であるものの、画像データの不連続な領域で歪み（リンギィング）Ｒが発生する。そして、この歪みＲの範囲はフィルタの次数（大きさ：Ｋｍ、Ｋｎ）によって変化し、次数が大きいほどその範囲が広くなる特徴がある。
【００２７】
そこで、前述した如く、このような歪み領域では、強調画像としての正しい画像データが得られないことから、前記図２３（Ｅ）に示したように歪みＲが発生している範囲をマスク処理して検査対象から除外することが従来行われている。
【００２８】
【発明が解決しようとする課題】
しかしながら、前記従来の色ムラ検査では、検査対象画像を強調するために、画像処理の中でも特に時間がかかるフィルタリング処理を行っているため、検査処理に長時間を要してしまう上に、前述したように周期性パターン領域の周辺領域に歪みが発生するために、この領域では正しい検査結果が得られないという問題がある。
【００２９】
本発明は、前記従来の問題点を解決するべくなされたもので、周期性開口パターンの開口面積の不均一性に起因する色ムラを短時間に、しかもパターン形成領域の全体にわたって正確な検査を行うことができる色ムラ欠陥検査方法及び装置を提供することを課題とする。
【００３０】
【課題を解決するための手段】
本発明は、周期性パターンを有する対象物を撮像して得られた検査対象画像に基づいて、該周期性パターンに存在する色ムラを検査する色ムラ欠陥検査方法において、必要に応じて前記検査対象画像の輝度を反転した輝度反転画像を作成し、該輝度反転画像及び反転前の前記検査対象画像自体である輝度非反転画像の少なくとも一方について、上から下方向に凹部２値化処理を行って上側凹部２値化画像を作成し、下から上方向に凹部２値化処理を行って下側凹部２値化画像を作成し、左から右方向に凹部２値化処理を行って左側凹部２値化画像を作成し、右から左方向に凹部２値化処理を行って右側凹部２値化画像を作成し、前記上側凹部２値化画像及び下側凹部２値化画像を合成して上下凹部２値化画像を作成し、前記左側凹部２値化画像及び右側凹部２値化画像を合成して左右凹部２値化画像を作成し、前記上下凹部２値化画像を判定・ラベリング処理して上下判定画像を作成し、前記左右凹部２値化画像を判定・ラベリング処理して左右判定画像を作成し、前記上下判定画像及び左右判定画像に基づいて色ムラ欠陥の最終判定を行う際、前記各凹部２値化処理が、画素列を単位として上流側より任意の画素の輝度値の点を通る所定の傾きの直線により規定される閾値より低い輝度値の画素を凹部領域とする処理であるようにしたことにより、前記課題を解決したものである。
【００３１】
本発明は、又、周期性パターンを有する対象物を撮像して得られた検査対象画像に基づいて、該周期性パターンに存在する色ムラを検査する色ムラ欠陥検査装置において、必要に応じて前記検査対象画像の輝度を反転した輝度反転画像を作成する手段と、該輝度反転画像及び反転前の前記検査対象画像自体である輝度非反転画像の少なくとも一方について、上から下方向に凹部２値化処理を行って上側凹部２値化画像を作成する手段と、下から上方向に凹部２値化処理を行って下側凹部２値化画像を作成する手段と、左から右方向に凹部２値化処理を行って左側凹部２値化画像を作成する手段と、右から左方向に凹部２値化処理を行って右側凹部２値化画像を作成する手段と、前記上側凹部２値化画像及び下側凹部２値化画像を合成して上下凹部２値化画像を作成する手段と、前記左側凹部２値化画像及び右側凹部２値化画像を合成して左右凹部２値化画像を作成する手段と、前記上下凹部２値化画像を判定・ラベリング処理して上下判定画像を作成する手段と、前記左右凹部２値化画像を判定・ラベリング処理して左右判定画像を作成する手段と、前記上下判定画像及び左右判定画像に基づいて色ムラ欠陥の最終判定を行う手段を備えていると共に、前記各凹部２値化処理が、画素列を単位として上流側より任意の画素の輝度値の点を通る所定の傾きの直線により規定される閾値より低い輝度値の画素を凹部領域とする処理であるとしたことにより、同様に前記課題を解決したものである。
【００３２】
即ち、本発明においては、検査対象画像の輝度反転画像及び検査画像自体の輝度非反転画像の少なくとも一方について、前記凹部２値化処理して得られる上、下の各凹部２値化画像を合成した上下凹部２値化画像と、左、右の各凹部２値化画像を合成した左右凹部２値化画像に基づいて色ムラ欠陥を検査するようにしたので、前記従来のように時間のかかるフィルタリング処理が不要となり、又、それ故に検査対象画像の周辺領域に歪みが発生することを防止できるため、周期性開口パターンの開口面積の不均一性に起因する色ムラを短時間に、しかもパターン形成領域の全体にわたって正確に検査を行うことが可能となる。
【００３３】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【００３４】
本実施形態の色ムラ欠陥検査装置は、前記図１９に概略構成を示したブロック図で、画像処理部２０に以下の機能を付与するようにした以外は、前記図１８、１９を用いて説明した従来のものと実質的に同一である。従って、そのハード構成の図示は省略する。
【００３５】
即ち、本実施形態では、前記画像処理部２０に、検査対象画像の輝度を反転した輝度反転画像を作成する機能（手段）と、該輝度反転画像及び反転前の前記検査対象画像自体である輝度非反転画像の少なくとも一方について、上から下方向に凹部２値化処理を行って上側凹部２値化画像を作成する機能と、下から上方向に凹部２値化処理を行って下側凹部２値化画像を作成する機能と、左から右方向に凹部２値化処理を行って左側凹部２値化画像を作成する機能と、右から左方向に凹部２値化処理を行って右側凹部２値化画像を作成する機能と、前記上側及び下側の両凹部２値化画像を合成して上下凹部２値化画像を作成する機能と、前記左側及び右側の両凹部２値化画像を合成して左右凹部２値化画像を作成する機能と、前記上下凹部２値化画像を判定・ラベリング処理して上下判定画像を作成する機能と、前記左右凹部２値化画像を判定・ラベリング処理して左右判定画像を作成する機能と、前記上下及び左右の両判定画像に基づいて色ムラ欠陥の最終判定を行う機能とが、ソフトウェアにより構築されている。これら各機能の詳細については後述する。
【００３６】
本実施形態においては、上記各機能を有する検査装置を用いて、図１に大まかな処理手順を示したフローチャートに従って、色ムラについて全体的な検査が行われる。
【００３７】
即ち、前記図１９に示したと同様に、試料Ｗの透過光画像を撮影すると共に、該試料Ｗがない状態で光源画像を撮影し（ステップ１、２）、両画像から従来と同様に透過率画像を作成し（ステップ３）、且つこの透過率画像の輝度を反転した輝度反転画像を作成する（ステップ３′）。この輝度反転画像は、具体的には各画素の輝度値を、
輝度反転画像の輝度値＝２５５−透過率画像の輝度値
の式により変換して設定することにより作成する。
【００３８】
次いで、反転前の前記検査対象画像自体である輝度非反転画像について、上、下、左、右の各凹部２値化画像を作成し（ステップ４）、上及び下の両凹部２値化画像から上下凹部２値化画像を、左及び右の両凹部２値化画像から左右凹部２値化画像をそれぞれ合成して作成し（ステップ５）、合成後の各凹部２値化画像を判定・ラベリングしてそれぞれ対応する上下判定画像及び左右判定画像を作成する。
【００３９】
その一方で、前記ステップ３′で作成した前記輝度反転画像について、ステップ４′〜６′で示す、上記ステップ４〜６と実質的に同一の処理を行う。
【００４０】
その後、ステップ６で作成された２つの判定画像とステップ６′で作成された２つの判定画像とを合成して、計４つの画像を合成した最終判定画像を作成し（ステップ７）、この画像に基づいて製品の良否の判定を行う。
【００４１】
本実施形態の特徴である前記ステップ４（ステップ４′）で輝度非反転画像（輝度反転画像）について上、下、左、右の各凹部２値化画像を作成する際に行う凹部２値化処理について詳述する。
【００４２】
この凹部２値化処理は、画素列を単位として上流側より任意の画素の輝度値の点を通る所定の傾きの直線により規定される閾値より低い輝度値の画素を凹部領域とする処理である。図２は、同図（Ａ）に実線で示す輝度のプロファイルを有する画素列に対する凹部２値化処理のイメージを示し、破線で示した傾きａ（ここではａ＝−１）の直線を、図中左（上流側）から右方向へ順次平行移動させていき、任意の画素についてその輝度値の点を通るようにした際、該直線より低い（小さい）輝度値の画素が存在する場合に、同画素の輝度値を１（２５６階調表示であれば２５５）に設定し、それ以外の画素は輝度値０に設定する処理であり、同図（Ｂ）はその処理結果に対応する凹部２値化画像のイメージを示したものである。
【００４３】
上述した傾きａの直線を、画素列の上流側からスキャン方向に平行移動させながら、該直線上の値として設定される閾値により２値化する凹部２値化処理のスキャン方向を、便宜上Ｎ×Ｎ画素の画像について図３に示した。この図にイメージを示したように、それぞれ（Ａ）上→下、（Ｂ）下→上、（Ｃ）左→右、（Ｄ）右→左の各スキャン方向について（１）〜（Ｎ）の各画素列の行又は列毎に上記２値化を実行し、それぞれ上側、下側、左側、右側の各凹部２値化画像を作成する。
【００４４】
図４には、この凹部２値化処理の手順を、１つのスキャン方向の任意の画素列について示した。ここで、Ｇnはあるスキャン方向の上流側からｎ番目の画素に ついての透過率画像の輝度値、Ｂnは同画素の凹部２値化後の輝度値、ａは上記 のように凹部２値化処理の閾値を規定する直線の傾きである。図５は、このフローチャートに対応するスキャン方向の画素列と、透過率画像の輝度の関係のイメージを示したものである。又、図６は、この凹部２値化処理のイメージを更に具体的に示したものである。
【００４５】
上記フローチャートのステップ１１で、ｎとＢnをいずれも０にする初期化を 行い、その後、ステップ１２でｎが最終画素Ｎ−１より小さい限り、ｎに隣接するｎ＋ｋ（ｋ＝１）番目の画素について輝度値を評価するため、ｎ番目の画素の輝度値の点を通る傾きａの直線の式から、ｎ＋ｋにおける閾値Ｓを、
Ｓ＝aｋ＋Ｇn
により算出する（ステップ１３〜１５）。
【００４６】
次いで、ステップ１６で隣接画素の輝度値Ｇn+kがこの閾値Ｓを超えるＮＯの ときは、２値化後の輝度値Ｂn+kを０にし、ｎを１増やして注目点を次の画素に 移し（ステップ１７、１８）、ステップ１６で隣接画素の輝度値が閾値Ｓ以下（ＹＥＳ）になるまでステップ１２〜１８の処理を繰り返す。これは、隣接画素の輝度値が閾値以下の画素になるまで、傾きａの直線を平行移動する処理を行っていることに当る。
【００４７】
上記ステップ１６でＹＥＳの場合は、２値化後の輝度Ｂn+kを２５５階調値に 設定し（ステップ１９）、注目点ｎを固定したまま、ｋを１つ増やして更に隣りの画素に移り、ステップ１６で閾値Ｓより大きくなる（ＮＯ）まで同様にステップ１４〜１６、１９、２０の処理を繰り返す。
【００４８】
以上の処理を透過率画像の各画素列を単位に実行し、ｎが最終のＮ−１に達したら次の画素列に移り、同様の２値化処理をＮ×Ｎの画素からなる画像全体について行う。
【００４９】
図６（Ａ）には、その右上にイメージを示した四角形の画像に矢印で示した範囲で上記処理を行った場合の様子を拡大して示したが、凹部領域が抽出される段階における閾値Ｓを規定する傾きａ＝−１の直線を破線で示したように、この直線が通る輝度値の点を基準に隣接する各画素の輝度値が直線より小さい画素の範囲を凹部領域とし、その領域の画素には同図（Ｂ）に対応させて示したように、輝度値を２５５（２値であれば１）に設定し、他の画素の輝度値は全て０に設定する処理を行う。
【００５０】
以上の凹部２値化処理を、前述した図３に示した（Ａ）〜（Ｄ）の４つの方向について実行し、図７に作成される画像のイメージを順番に示したように、上側、下側、左側、右側の各凹部２値化画像を作成する。
【００５１】
その後、上側と下側の両凹部２値化画像を合成（ＯＲ処理）して上下凹部２値化画像を、又、左側と右側の両凹部２値化画像を合成して左右凹部２値化画像をそれぞれ作成し、これら両合成画像について判定基準を用いて良否判定を行うとともに、否と判定された領域に対してラベリングを行い、上下及び左右の両判定画像を作成する。
【００５２】
以上の上下、左右の両判定画像作成までの作業を、透過率画像（輝度非反転画像）に対して行うと共に、図７にも併記したように輝度反転画像に対しても実行し、同様に上下、左右の両判定画像を作成する。このように作成された都合４枚の判定画像を合成（ＯＲ処理）して最終判定画像を作成し、この画像に基づいて最終的に良否判定を行う。
【００５３】
図８〜図１７には、以上の最終判定処理までの画像処理の特徴を理解し易くするために、各処理結果の特徴を表わす画像のイメージを、処理の流れに沿って示した。なお、括弧書きの一連の数字は、この実施形態での処理の順番を表わしている。
【００５４】
図８（１）は、透過率画像のイメージを示し、ＯＫ領域と、明と暗の２つのＮＧ領域がそれぞれ明暗の濃度（黒点の密度）を変えて表わしてある。同図（２）は、輝度反転画像であり、ここでは前述したように（２５５−透過率画像の輝度値）で、対応する画素に輝度値を設定して作成している。同図（３）は、輝度非反転画像で、実際には何も処理せず、透過率画像そのものを使用する。
【００５５】
図９（４）及び（５）は、輝度非反転画像を上側及び下側からそれぞれスキャニングして作成した上側、下側の各凹部２値化画像のイメージを示している。背景の輝度値は０、２値化して抽出された対象（高輝度部）の輝度値は２５５に設定された白黒の画像である。このように抽出される対象は、原理的には暗いＮＧ領域の場合は、破線で示す実際の領域の内側に、明るいＮＧ領域の場合は、その外側にそれぞれ抽出されることになる。同図（６）は、これら（４）、（５）の両画像を合成（ＯＲ処理）して作成した上下合成画像（上下凹部２値化画像）であり、同図（７）は第１収縮画像であり、この合成画像からノイズや問題にならない程度の大きさの高輝度部を除去するために、該画像を収縮処理したものであり、この例では右側の明るいＮＧ領域部分がこの収縮処理で消えている。ここで行う収縮の回数（画素数）は、実験的に予め決定しておく。
【００５６】
図１０（８）は、第１膨張画像であり、図９（７）で収縮した回数分だけ膨張処理し、除去されなかった対象を元の状態に戻したことに相当する。同図（９）は、第２膨張画像で、前記（８）の画像の対象を更に膨張させた状態にしたもので、ある程度大きな高輝度部は、予め欠陥として明確にするために連結させるための処理である。ここで行う膨張の回数も予め実験的に決定しておく。図１０（１０）は、第２収縮画像であり、前記（９）の画像を収縮させ、連結されなかった対象を元の状態に戻したものに相当する。同図（１１）は、膨張、収縮した上下合成画像に対する判定画像であり、上記（１０）の画像に残っている高輝度部について、予め設定してある面積等の判定基準に基づいて、不良にすべきか否かを判定した画像である。この（１０）は、上下合成画像に対しては結果的に不良でないと判定した画像に当る。
【００５７】
図１１（１２）〜図１２（１９）に示した各画像は、スキャン方向を左から右、及び右から左にそれぞれ変更して左側及び右側の凹部２値化画像をそれぞれ作成し、両者の合成画像に対する判定画像（１９）を作成するようにした以外は、上から下、及び下から上にスキャニングした前記図９（４）〜図１０（１１）に各処理結果の特徴を示した上下判定画像の場合と、処理内容は実質的に同一であるので、詳細に説明を省略する。
【００５８】
以上の図９（４）〜図１２（１９）までに特徴を示した各処理により、図１０（１１）に示した上下判定画像と、図１２（１９）に示した左右判定画像が得られる。
【００５９】
次いで、前記図８（２）に示した輝度反転画像についても、前記輝度非反転画像の場合と同様の処理を行う。ここで行う処理手順とその内容は、前記図９〜図１２に（２）〜（１９）の番号を付して特徴を示したものと実質的に同一なので、図１３〜図１６に、ダッシュを付した同一の通し番号を用いて順に示し、詳細な説明を省略する。
【００６０】
前記輝度反転画像に対して、以上の図１３（４′）〜図１６（１９′）までの各処理を実行することにより、図１４（１１′）に示した上下判定画像と、図１６（１９′）に示した左右判定画像とが作成される。
【００６１】
その後、前記図１０（１１）、図１２（１９）、図１４（１１′）、図１６（１９′）の４つの判定画像を合成（ＯＲ処理）して、図１７に示す最終判定画像（図中欠陥画像）を作成し、この画像を元に試料の良否判定を行う。この図１７の画像には、結果的に明と暗の両ＮＧ部分がいずれも欠陥と判定された場合が示してある。
【００６２】
以上詳述した本実施形態によれば、画像処理の中でも特に時間がかかるフィルタリング処理を行わずに周期性パターンの色ムラを検査できるようにしたことから、検査処理を短時間で実行することが可能となる。又、このようにフィルタリング処理を行わないようにしたことから、これに起因して画像周辺に歪み領域が発生することを防止できるため、検査精度を向上することができる。
【００６３】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００６４】
例えば、前記実施形態では、輝度非反転画像と輝度反転画像の両者についてそれぞれ一連の画像処理による判定を行う場合を示したが、場合によってはいずれか一方の画像だけに行うようにしてもよい。
【００６５】
即ち、本発明では、周囲より暗い欠陥は主に輝度非反転画像を処理することにより検出することができ、逆に周囲より明るい欠陥は主に輝度反転画像を処理することによって検出することができる。前記実施形態で示したように、凹部２値化画像は、周囲より暗い部分に対しては対象（輝度値２５５の画素）がその内側に形成され、周囲より明るい部分に対しては逆にその外側に形成される傾向がある。ノイズ除去等を行い、欠陥の検出精度を高めるために、その後に行われる膨張収縮処理の過程では、内側（凹部）の対象が連結して大きな面積を占めることを期待しており、副作用として外側の対象は除去され易い傾向にある。従って、周囲より明るい欠陥を検出するためには、輝度反転画像に対する処理が特に有効となる。周囲より暗い欠陥しか存在しないことが事前に分かっている場合には、輝度非反転画像に対する処理のみを実施し、周囲より明るい欠陥しか存在しないことが分かっている場合には、輝度反転画像に対する処理のみを実行するようにしてもよい。
【００６６】
又、前記実施形態では閾値を規定する直線の傾きａが−１の場合を示したが、これに限定されるものではなく、検査の対象物に応じて適切な値に変更できることはいうまでもない。
【００６７】
【発明の効果】
以上説明したとおり、本発明によれば、周期性開口パターンの開口面積の不均一性に起因する色ムラを短時間に、しかもパターン形成領域の全体にわたって正確に検査を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態による処理手順の概略を示すフローチャート
【図２】本発明による凹部２値化処理のイメージを示す線図
【図３】凹部２値化処理のスキャン方向のイメージを示す説明図
【図４】凹部２値化処理の手順を示すフローチャート
【図５】上記フローチャートで使用する画素列と輝度値の関係のイメージを示す線図
【図６】凹部２値化処理のイメージを具体的に示す線図
【図７】前記実施形態による処理の流れと画像の関係を示す説明図
【図８】透過率画像、輝度反転画像、輝度非反転画像の関係を示す説明図
【図９】輝度非反転画像に対する前記実施形態による処理の特徴を示す説明図
【図１０】輝度非反転画像に対する前記実施形態による次の処理の特徴を示す説明図
【図１１】輝度非反転画像に対する前記実施形態による更に次の処理の特徴を示す説明図
【図１２】輝度非反転画像に対する前記実施形態による更に次の処理の特徴を示す説明図
【図１３】輝度反転画像に対する前記実施形態による処理の特徴を示す説明図
【図１４】輝度反転画像に対する前記実施形態による次の処理の特徴を示す説明図
【図１５】輝度反転画像に対する前記実施形態による更に次の処理の特徴を示す説明図
【図１６】輝度反転画像に対する前記実施形態による更に次の処理の特徴を示す説明図
【図１７】最終判定画像を示す説明図
【図１８】検査装置の要部構成を示す説明図
【図１９】検査装置の全体構成の概略を示すブロック図
【図２０】従来の検査対象画像の強調処理を示す説明図
【図２１】空間フィルタの一例を示す説明図
【図２２】従来の検査装置による処理手順を示すフローチャート
【図２３】従来の検査装置による処理途中の画像の特徴を示すイメージ図
【符号の説明】
１０…ステージ
１２…光源
１４…拡散板
１４Ａ…拡散シート
１６…ＣＣＤカメラ
１８…画像入力部
２０…画像処理部
Ｗ…試料（検査対象）
【発明の属する技術分野】
本発明は、色ムラ欠陥検査方法及び装置、特にカラーテレビのブラウン管に用いられるシャドウマスクや液晶ディスプレイに用いられるカラーフィルタ等の、基板に光透過性を有する周期性パターンが形成されている製品における、該パターンの均一性の乱れに起因する色ムラ欠陥を検出する際に適用して好適な、色ムラ欠陥検査方法及び装置に関する。
【０００２】
【従来の技術】
単位となる微小な開口が繰り返し配列された周期性パターンが形成されている工業製品としては、カラーテレビのブラウン管に用いられるシャドウマスクや液晶ディスプレイに用いられるカラーフィルタ等がある。このような工業製品では、形成されている周期開口が均一であることが重要であることから、その周期性パターンの均一性を、その乱れに起因する色や明るさの局所的な不均一性、即ち色（輝度）ムラが生じているか否かにより検査することが行われている。
【０００３】
このようなシャドウマスクやカラーフィルタ等に形成されている周期性開口パターンを検査する技術としては、対象物をＣＣＤカメラや撮像管等の画像入力装置（撮像手段）により撮像し、得られた検査対象画像を画像処理することにより、その色ムラ欠陥を検出するものが、例えば特開平６−２２９７３６に提案されている。
【０００４】
図１８は、このような色ムラ欠陥検査に適用される検査装置の要部を示した概略正面図である。この検査装置は、ステージ１０上に載置された試料（対象物）Ｗの裏側に、光源１２から拡散板１４とこれに積層された拡散シート１４Ａを介して照明光を照射すると共に、該試料Ｗの表面側で透過光を撮像するＣＣＤカメラ１６を含む画像入力部１８と、該カメラ１６により入力される画像データを処理する画像処理部２０とを備えている。
【０００５】
図１９は、前記検査装置全体の構成を示し、該検査装置は大別して検査処理部２２、マン・マシンインターフェイス部２４及びマシン・マシンインターフェイス部２６を備え、且つ、これら各部２２〜２６に含まれる各機能部の動作全体を管理する装置制御部２８とを備えている。そして、上記検査処理部２２は、機能部として前記画像入力部１８と、該画像入力部１８により入力された画像データを処理する前記画像処理部２０を含み、同様にマン・マシンインターフェイス部２４は上記画像処理部２０により処理された結果等を表示する情報表示部３０と、オペレータとの間で情報のやり取りを行なう対人操作部３２を、マシン・マシンインターフェイス部２６は対象物を搬送するベルトコンベア（図示せず）等の外部機械との間で情報のやり取りを行なう機械連動部３４をそれぞれ含んでおり、これら各機能部２２〜２６等は、上記のように装置制御部２８により動作全体が管理されるようになっている。
【０００６】
これら各機能部について詳述すると、画像入力部１８が有するＣＣＤカメラ１６としては、エリアセンサカメラやラインセンサカメラを利用することができ、又、撮像手段としては、これ以外に撮像管等を利用することもできる。
【０００７】
又、画像処理部２０としては、専用画像処理装置やパーソナルコンピュータ等が利用できる。又、情報表示部３０は、オペレータに対して検査進行状況、検査結果、集計結果、過去の検査結果の履歴等を提示したり、撮像した画像や処理途中の画像あるいは処理後の画像を表示する機能を有し、これにはＣＲＴモニタ、液晶モニタ、ＬＥＤアレイ等が利用できる。
【０００８】
又、対人操作部３２は、（１）オペレータからの検査に必要な入力操作を受け付ける、（２）被検査物の特徴（サイズ等）を設定する、（３）画像処理部２０の調整値（フィルタサイズ等）を設定する、（４）画像入力部１８の調整値（シャッタースピード等）を設定する等の機能を有し、これには機械式ボタン、タッチパネル、キーボード、マウス等が利用できる。
【０００９】
又、機械連動部３４は、自動検査時の外部機器との同期、例えば画像入力部１８への検査対象の供給終了タイミング等をとったり、検査結果によって検査対象の物流装置へ命令（検査対象の選別振分け指示、検査部への供給停止）等を発行する機能を有し、これにはＲＳ−２３２Ｃ、ＲＳ−４２２、ＧＰＩＢ（General Purpose Interface Bus）、ＬＡＮ（イーサーネット）、パラレルＩ／Ｏ、リレー等が利用できる。そして、以上の各機能部２２〜２６の動作を管理する装置制御部２８としては、専用装置、汎用シーケンサ、パーソナルコンピュータ等が利用できる。
【００１０】
前記検査装置において、ＣＣＤカメラ１６を用いて試料（被検査物）Ｗを撮像し、得られた画像データを画像処理することによって、該試料Ｗに形成されている周期性パターンの色ムラの有無を検査することが行われる。
【００１１】
一般に、検査対象となる色ムラは、画像データにおいて微妙な階調の変化として表われる。そのため、検査対象画像の画像データをそのまま単純な２値化処理しただけでは、色ムラの有無が判定できない。そこで、従来は、検査対象画像の色ムラを強調するために画像データの強調処理を行い、その後該処理により色ムラが強調された画像に対して、単純な２値化処理を行って色ムラの有無を判定し、色ムラ欠陥の検出を行っている。
【００１２】
ここで実行される上記強調処理は、微分フィルタ等の空間フィルタを用いて画像データをフィルタリング処理することにより実現できる。その際、検出しようとする色のムラの形状を想定し、予めそれぞれの形状毎にフィルタの形状を設定しておくことにより、検出性能を高めることができる。図２０には、この強調処理の特徴を概念的に示した。
【００１３】
図２０（Ａ）は、画像入力された縦Ｉｍ画素、横Ｉｎ画素の大きさからなる検査対象画像を表し、便宜上白い色で示した領域は有効部（検査対象が存在する領域）Ｉａと、その外側周囲に斜線を付した領域で示した無効部（検査対象が存在しない領域）Ｉｂとで構成されている。
【００１４】
上記有効部Ｉａに存在する色ムラを強調する際、例えば同図（Ｂ）にイメージを示したような強調処理用の空間フィルタを該有効部Ｉａに適用する。このフィルタは、縦２Ｋｍ＋１、横２Ｋｎ＋１の各要素（画素）の大きさからなる２次微分フィルタであり、図２１にはＫｍ＝３、Ｋｎ＝２の場合の具体例を示した。
【００１５】
このフィルタを使用する強調処理（フィルタリング処理）は、有効部Ｉａ全体の各画素に対して該フィルタの各要素の数値を対応する画素の階調値に乗算し、その合計を中心画素の階調値に置き換える演算を実行することに当たる。
【００１６】
ところが、検査対象画像においては、対象が存在する領域である有効部Ｉａが有限であるため、有効部Ｉａの外側の無効部Ｉｂに対してフィルタリング処理に必要な縦Ｋｍ画素、横Ｋｎ画素数分の領域を想定し、該領域の画素値を零値（階調値０）に仮定して、係数に負の値を持つ前記微分フィルタによる強調処理を行っている。そのため、このフィルタリング処理による強調処理は、微妙な色ムラを検査するためには効果が高いものの、有効部Ｉａの境界で画像データが不連続となっているため、図２０（Ｃ）に二点鎖線で示すように、該有効部Ｉａの周縁領域に縦Ｋｍ画素、横Ｋｎ画素の幅にリンギングと呼ばれる歪みＲが発生し、この歪みＲが発生した領域では正しい検査結果が得られないということになる。
【００１７】
その対策として、従来は、上記のような歪みＲが発生している範囲を検査対象から除外する処理を行っていた。以下、この除外処理を検査対象がシャドウマスクである場合について詳述する。図２２は、この場合の判定画像作成までの処理手順の概略を示し、図２３はそれに対応する主な画像処理の段階における画像のイメージを示している。
【００１８】
前記図１８に示した検査装置において、まずステップ２１で、前記ＣＣＤカメラ１６により試料（シャドウマスク）Ｗを撮像することにより、試料画像（透過光画像）データを得ると共に、ステップ２２で、試料のない状態で光源のみを撮像することにより光源画像データを得る。
【００１９】
次いで、ステップ２３で、試料画像データを光源画像データで割ることにより、光源１３自体に存在するシェーディングに影響されない透過率画像（検査対象画像）を作成する。図２３（Ａ）は、この透過率画像のイメージを示したもので、前記図２０（Ａ）に相当し、同様にＩａは有効部、Ｉｂは無効部である。この透過率画像について説明すると、試料のない状態で撮像した光源画像データをＩ1、試料を入れて撮像した試料画像データをＩ、ＣＣＤカメラ１６の暗電流を表 す画像データをＩ0とすると、試料Ｗ上の点の透過率Ｔは次の（１）式で計算で きる。
【００２０】
Ｔ＝（Ｉ−Ｉ0）／（Ｉ1−Ｉ0） …（１）
【００２１】
ここで、Ｉ、Ｉ0、Ｉ1はそれぞれ対応する位置の画素データであり、この計算を各画素について行うことにより、光源のシェーディングやその変動に影響を受けない透過率画像データを得ることができる。
【００２２】
なお、通常のＣＣＤカメラで透過率画像データを作成する場合は、電子シャッター内蔵のＣＣＤカメラを用い、電子シャッターにより撮像条件設定方法としてシャッター開放の状態で試料を入れて撮像し、ＣＣＤカメラの飽和露光量に近くなるように光源輝度を調節し、次に試料を取り除き、光量がオーバーせず、しかも飽和露光量に近くなるまでシャッター時間を短くし、そのときのシャッター時間をｔc、開放時のシャッター時間をｔoとすると、次の（２）式で透過率画像を得ることができる。これらの演算は、画像処理部２０により各画像データをフレームメモリに記録した後に画像間の演算で行われる。
【００２３】
Ｔ＝｛（Ｉ−Ｉ0）／（Ｉ1−Ｉ0）｝×（ｔc／ｔo） …（２）
【００２４】
次いで、ステップ２４では、上記ステップ２３で作成した検査対象画像である透過率画像（データ）を所定の閾値で２値化し、有効部Ｉａが２５５、無効部Ｉｂが０の階調値が設定された、それぞれ画素値が１、０の２値化画像からなる図２３（Ｂ）に示すようなマスク画像を作成する。その一方で、前記ステップ２３で作成した透過率画像に対して、微小変動（ノイズ）を除去するために平滑化処理（図示せず）を施し、その後、平滑化した該画像の色ムラを強調するために、ステップ２５で前記空間フィルタによる２次微分処理を施し、前記図２０（Ｃ）に相当する図２３（Ｃ）に示すような強調画像を作成する。
【００２５】
次いで、ステップ２６では、前記ステップ４で作成した図２３（Ｂ）のマスク画像の有効部側（画素値１）を、前記ステップ５で作成された強調画像に生じている歪み（リンギィング）領域Ｒを覆うことができるように収縮する。即ち、無効部Ｉｂに相当するマスク領域Ｍを、同図（Ｄ）に示すように広げる。その後、ステップ２７で、前記図２３（Ｃ）の強調画像を、同図（Ｄ）の収縮されたマスク画像でマスク処理し、同図（Ｅ）に示す強調画像のマスキング画像を作成し、該マスキング画像について、次のステップ２８で前述したと同様に単純な２値化処理を行って判定画像を作成し、色ムラ欠陥の検査を行う。
【００２６】
以上詳述したように、検査対象画像をフィルタ係数に負の値を持つ空間フィルタを用いてフィルタリング処理する場合、色ムラを強調するためには有効であるものの、画像データの不連続な領域で歪み（リンギィング）Ｒが発生する。そして、この歪みＲの範囲はフィルタの次数（大きさ：Ｋｍ、Ｋｎ）によって変化し、次数が大きいほどその範囲が広くなる特徴がある。
【００２７】
そこで、前述した如く、このような歪み領域では、強調画像としての正しい画像データが得られないことから、前記図２３（Ｅ）に示したように歪みＲが発生している範囲をマスク処理して検査対象から除外することが従来行われている。
【００２８】
【発明が解決しようとする課題】
しかしながら、前記従来の色ムラ検査では、検査対象画像を強調するために、画像処理の中でも特に時間がかかるフィルタリング処理を行っているため、検査処理に長時間を要してしまう上に、前述したように周期性パターン領域の周辺領域に歪みが発生するために、この領域では正しい検査結果が得られないという問題がある。
【００２９】
本発明は、前記従来の問題点を解決するべくなされたもので、周期性開口パターンの開口面積の不均一性に起因する色ムラを短時間に、しかもパターン形成領域の全体にわたって正確な検査を行うことができる色ムラ欠陥検査方法及び装置を提供することを課題とする。
【００３０】
【課題を解決するための手段】
本発明は、周期性パターンを有する対象物を撮像して得られた検査対象画像に基づいて、該周期性パターンに存在する色ムラを検査する色ムラ欠陥検査方法において、必要に応じて前記検査対象画像の輝度を反転した輝度反転画像を作成し、該輝度反転画像及び反転前の前記検査対象画像自体である輝度非反転画像の少なくとも一方について、上から下方向に凹部２値化処理を行って上側凹部２値化画像を作成し、下から上方向に凹部２値化処理を行って下側凹部２値化画像を作成し、左から右方向に凹部２値化処理を行って左側凹部２値化画像を作成し、右から左方向に凹部２値化処理を行って右側凹部２値化画像を作成し、前記上側凹部２値化画像及び下側凹部２値化画像を合成して上下凹部２値化画像を作成し、前記左側凹部２値化画像及び右側凹部２値化画像を合成して左右凹部２値化画像を作成し、前記上下凹部２値化画像を判定・ラベリング処理して上下判定画像を作成し、前記左右凹部２値化画像を判定・ラベリング処理して左右判定画像を作成し、前記上下判定画像及び左右判定画像に基づいて色ムラ欠陥の最終判定を行う際、前記各凹部２値化処理が、画素列を単位として上流側より任意の画素の輝度値の点を通る所定の傾きの直線により規定される閾値より低い輝度値の画素を凹部領域とする処理であるようにしたことにより、前記課題を解決したものである。
【００３１】
本発明は、又、周期性パターンを有する対象物を撮像して得られた検査対象画像に基づいて、該周期性パターンに存在する色ムラを検査する色ムラ欠陥検査装置において、必要に応じて前記検査対象画像の輝度を反転した輝度反転画像を作成する手段と、該輝度反転画像及び反転前の前記検査対象画像自体である輝度非反転画像の少なくとも一方について、上から下方向に凹部２値化処理を行って上側凹部２値化画像を作成する手段と、下から上方向に凹部２値化処理を行って下側凹部２値化画像を作成する手段と、左から右方向に凹部２値化処理を行って左側凹部２値化画像を作成する手段と、右から左方向に凹部２値化処理を行って右側凹部２値化画像を作成する手段と、前記上側凹部２値化画像及び下側凹部２値化画像を合成して上下凹部２値化画像を作成する手段と、前記左側凹部２値化画像及び右側凹部２値化画像を合成して左右凹部２値化画像を作成する手段と、前記上下凹部２値化画像を判定・ラベリング処理して上下判定画像を作成する手段と、前記左右凹部２値化画像を判定・ラベリング処理して左右判定画像を作成する手段と、前記上下判定画像及び左右判定画像に基づいて色ムラ欠陥の最終判定を行う手段を備えていると共に、前記各凹部２値化処理が、画素列を単位として上流側より任意の画素の輝度値の点を通る所定の傾きの直線により規定される閾値より低い輝度値の画素を凹部領域とする処理であるとしたことにより、同様に前記課題を解決したものである。
【００３２】
即ち、本発明においては、検査対象画像の輝度反転画像及び検査画像自体の輝度非反転画像の少なくとも一方について、前記凹部２値化処理して得られる上、下の各凹部２値化画像を合成した上下凹部２値化画像と、左、右の各凹部２値化画像を合成した左右凹部２値化画像に基づいて色ムラ欠陥を検査するようにしたので、前記従来のように時間のかかるフィルタリング処理が不要となり、又、それ故に検査対象画像の周辺領域に歪みが発生することを防止できるため、周期性開口パターンの開口面積の不均一性に起因する色ムラを短時間に、しかもパターン形成領域の全体にわたって正確に検査を行うことが可能となる。
【００３３】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【００３４】
本実施形態の色ムラ欠陥検査装置は、前記図１９に概略構成を示したブロック図で、画像処理部２０に以下の機能を付与するようにした以外は、前記図１８、１９を用いて説明した従来のものと実質的に同一である。従って、そのハード構成の図示は省略する。
【００３５】
即ち、本実施形態では、前記画像処理部２０に、検査対象画像の輝度を反転した輝度反転画像を作成する機能（手段）と、該輝度反転画像及び反転前の前記検査対象画像自体である輝度非反転画像の少なくとも一方について、上から下方向に凹部２値化処理を行って上側凹部２値化画像を作成する機能と、下から上方向に凹部２値化処理を行って下側凹部２値化画像を作成する機能と、左から右方向に凹部２値化処理を行って左側凹部２値化画像を作成する機能と、右から左方向に凹部２値化処理を行って右側凹部２値化画像を作成する機能と、前記上側及び下側の両凹部２値化画像を合成して上下凹部２値化画像を作成する機能と、前記左側及び右側の両凹部２値化画像を合成して左右凹部２値化画像を作成する機能と、前記上下凹部２値化画像を判定・ラベリング処理して上下判定画像を作成する機能と、前記左右凹部２値化画像を判定・ラベリング処理して左右判定画像を作成する機能と、前記上下及び左右の両判定画像に基づいて色ムラ欠陥の最終判定を行う機能とが、ソフトウェアにより構築されている。これら各機能の詳細については後述する。
【００３６】
本実施形態においては、上記各機能を有する検査装置を用いて、図１に大まかな処理手順を示したフローチャートに従って、色ムラについて全体的な検査が行われる。
【００３７】
即ち、前記図１９に示したと同様に、試料Ｗの透過光画像を撮影すると共に、該試料Ｗがない状態で光源画像を撮影し（ステップ１、２）、両画像から従来と同様に透過率画像を作成し（ステップ３）、且つこの透過率画像の輝度を反転した輝度反転画像を作成する（ステップ３′）。この輝度反転画像は、具体的には各画素の輝度値を、
輝度反転画像の輝度値＝２５５−透過率画像の輝度値
の式により変換して設定することにより作成する。
【００３８】
次いで、反転前の前記検査対象画像自体である輝度非反転画像について、上、下、左、右の各凹部２値化画像を作成し（ステップ４）、上及び下の両凹部２値化画像から上下凹部２値化画像を、左及び右の両凹部２値化画像から左右凹部２値化画像をそれぞれ合成して作成し（ステップ５）、合成後の各凹部２値化画像を判定・ラベリングしてそれぞれ対応する上下判定画像及び左右判定画像を作成する。
【００３９】
その一方で、前記ステップ３′で作成した前記輝度反転画像について、ステップ４′〜６′で示す、上記ステップ４〜６と実質的に同一の処理を行う。
【００４０】
その後、ステップ６で作成された２つの判定画像とステップ６′で作成された２つの判定画像とを合成して、計４つの画像を合成した最終判定画像を作成し（ステップ７）、この画像に基づいて製品の良否の判定を行う。
【００４１】
本実施形態の特徴である前記ステップ４（ステップ４′）で輝度非反転画像（輝度反転画像）について上、下、左、右の各凹部２値化画像を作成する際に行う凹部２値化処理について詳述する。
【００４２】
この凹部２値化処理は、画素列を単位として上流側より任意の画素の輝度値の点を通る所定の傾きの直線により規定される閾値より低い輝度値の画素を凹部領域とする処理である。図２は、同図（Ａ）に実線で示す輝度のプロファイルを有する画素列に対する凹部２値化処理のイメージを示し、破線で示した傾きａ（ここではａ＝−１）の直線を、図中左（上流側）から右方向へ順次平行移動させていき、任意の画素についてその輝度値の点を通るようにした際、該直線より低い（小さい）輝度値の画素が存在する場合に、同画素の輝度値を１（２５６階調表示であれば２５５）に設定し、それ以外の画素は輝度値０に設定する処理であり、同図（Ｂ）はその処理結果に対応する凹部２値化画像のイメージを示したものである。
【００４３】
上述した傾きａの直線を、画素列の上流側からスキャン方向に平行移動させながら、該直線上の値として設定される閾値により２値化する凹部２値化処理のスキャン方向を、便宜上Ｎ×Ｎ画素の画像について図３に示した。この図にイメージを示したように、それぞれ（Ａ）上→下、（Ｂ）下→上、（Ｃ）左→右、（Ｄ）右→左の各スキャン方向について（１）〜（Ｎ）の各画素列の行又は列毎に上記２値化を実行し、それぞれ上側、下側、左側、右側の各凹部２値化画像を作成する。
【００４４】
図４には、この凹部２値化処理の手順を、１つのスキャン方向の任意の画素列について示した。ここで、Ｇnはあるスキャン方向の上流側からｎ番目の画素に ついての透過率画像の輝度値、Ｂnは同画素の凹部２値化後の輝度値、ａは上記 のように凹部２値化処理の閾値を規定する直線の傾きである。図５は、このフローチャートに対応するスキャン方向の画素列と、透過率画像の輝度の関係のイメージを示したものである。又、図６は、この凹部２値化処理のイメージを更に具体的に示したものである。
【００４５】
上記フローチャートのステップ１１で、ｎとＢnをいずれも０にする初期化を 行い、その後、ステップ１２でｎが最終画素Ｎ−１より小さい限り、ｎに隣接するｎ＋ｋ（ｋ＝１）番目の画素について輝度値を評価するため、ｎ番目の画素の輝度値の点を通る傾きａの直線の式から、ｎ＋ｋにおける閾値Ｓを、
Ｓ＝aｋ＋Ｇn
により算出する（ステップ１３〜１５）。
【００４６】
次いで、ステップ１６で隣接画素の輝度値Ｇn+kがこの閾値Ｓを超えるＮＯの ときは、２値化後の輝度値Ｂn+kを０にし、ｎを１増やして注目点を次の画素に 移し（ステップ１７、１８）、ステップ１６で隣接画素の輝度値が閾値Ｓ以下（ＹＥＳ）になるまでステップ１２〜１８の処理を繰り返す。これは、隣接画素の輝度値が閾値以下の画素になるまで、傾きａの直線を平行移動する処理を行っていることに当る。
【００４７】
上記ステップ１６でＹＥＳの場合は、２値化後の輝度Ｂn+kを２５５階調値に 設定し（ステップ１９）、注目点ｎを固定したまま、ｋを１つ増やして更に隣りの画素に移り、ステップ１６で閾値Ｓより大きくなる（ＮＯ）まで同様にステップ１４〜１６、１９、２０の処理を繰り返す。
【００４８】
以上の処理を透過率画像の各画素列を単位に実行し、ｎが最終のＮ−１に達したら次の画素列に移り、同様の２値化処理をＮ×Ｎの画素からなる画像全体について行う。
【００４９】
図６（Ａ）には、その右上にイメージを示した四角形の画像に矢印で示した範囲で上記処理を行った場合の様子を拡大して示したが、凹部領域が抽出される段階における閾値Ｓを規定する傾きａ＝−１の直線を破線で示したように、この直線が通る輝度値の点を基準に隣接する各画素の輝度値が直線より小さい画素の範囲を凹部領域とし、その領域の画素には同図（Ｂ）に対応させて示したように、輝度値を２５５（２値であれば１）に設定し、他の画素の輝度値は全て０に設定する処理を行う。
【００５０】
以上の凹部２値化処理を、前述した図３に示した（Ａ）〜（Ｄ）の４つの方向について実行し、図７に作成される画像のイメージを順番に示したように、上側、下側、左側、右側の各凹部２値化画像を作成する。
【００５１】
その後、上側と下側の両凹部２値化画像を合成（ＯＲ処理）して上下凹部２値化画像を、又、左側と右側の両凹部２値化画像を合成して左右凹部２値化画像をそれぞれ作成し、これら両合成画像について判定基準を用いて良否判定を行うとともに、否と判定された領域に対してラベリングを行い、上下及び左右の両判定画像を作成する。
【００５２】
以上の上下、左右の両判定画像作成までの作業を、透過率画像（輝度非反転画像）に対して行うと共に、図７にも併記したように輝度反転画像に対しても実行し、同様に上下、左右の両判定画像を作成する。このように作成された都合４枚の判定画像を合成（ＯＲ処理）して最終判定画像を作成し、この画像に基づいて最終的に良否判定を行う。
【００５３】
図８〜図１７には、以上の最終判定処理までの画像処理の特徴を理解し易くするために、各処理結果の特徴を表わす画像のイメージを、処理の流れに沿って示した。なお、括弧書きの一連の数字は、この実施形態での処理の順番を表わしている。
【００５４】
図８（１）は、透過率画像のイメージを示し、ＯＫ領域と、明と暗の２つのＮＧ領域がそれぞれ明暗の濃度（黒点の密度）を変えて表わしてある。同図（２）は、輝度反転画像であり、ここでは前述したように（２５５−透過率画像の輝度値）で、対応する画素に輝度値を設定して作成している。同図（３）は、輝度非反転画像で、実際には何も処理せず、透過率画像そのものを使用する。
【００５５】
図９（４）及び（５）は、輝度非反転画像を上側及び下側からそれぞれスキャニングして作成した上側、下側の各凹部２値化画像のイメージを示している。背景の輝度値は０、２値化して抽出された対象（高輝度部）の輝度値は２５５に設定された白黒の画像である。このように抽出される対象は、原理的には暗いＮＧ領域の場合は、破線で示す実際の領域の内側に、明るいＮＧ領域の場合は、その外側にそれぞれ抽出されることになる。同図（６）は、これら（４）、（５）の両画像を合成（ＯＲ処理）して作成した上下合成画像（上下凹部２値化画像）であり、同図（７）は第１収縮画像であり、この合成画像からノイズや問題にならない程度の大きさの高輝度部を除去するために、該画像を収縮処理したものであり、この例では右側の明るいＮＧ領域部分がこの収縮処理で消えている。ここで行う収縮の回数（画素数）は、実験的に予め決定しておく。
【００５６】
図１０（８）は、第１膨張画像であり、図９（７）で収縮した回数分だけ膨張処理し、除去されなかった対象を元の状態に戻したことに相当する。同図（９）は、第２膨張画像で、前記（８）の画像の対象を更に膨張させた状態にしたもので、ある程度大きな高輝度部は、予め欠陥として明確にするために連結させるための処理である。ここで行う膨張の回数も予め実験的に決定しておく。図１０（１０）は、第２収縮画像であり、前記（９）の画像を収縮させ、連結されなかった対象を元の状態に戻したものに相当する。同図（１１）は、膨張、収縮した上下合成画像に対する判定画像であり、上記（１０）の画像に残っている高輝度部について、予め設定してある面積等の判定基準に基づいて、不良にすべきか否かを判定した画像である。この（１０）は、上下合成画像に対しては結果的に不良でないと判定した画像に当る。
【００５７】
図１１（１２）〜図１２（１９）に示した各画像は、スキャン方向を左から右、及び右から左にそれぞれ変更して左側及び右側の凹部２値化画像をそれぞれ作成し、両者の合成画像に対する判定画像（１９）を作成するようにした以外は、上から下、及び下から上にスキャニングした前記図９（４）〜図１０（１１）に各処理結果の特徴を示した上下判定画像の場合と、処理内容は実質的に同一であるので、詳細に説明を省略する。
【００５８】
以上の図９（４）〜図１２（１９）までに特徴を示した各処理により、図１０（１１）に示した上下判定画像と、図１２（１９）に示した左右判定画像が得られる。
【００５９】
次いで、前記図８（２）に示した輝度反転画像についても、前記輝度非反転画像の場合と同様の処理を行う。ここで行う処理手順とその内容は、前記図９〜図１２に（２）〜（１９）の番号を付して特徴を示したものと実質的に同一なので、図１３〜図１６に、ダッシュを付した同一の通し番号を用いて順に示し、詳細な説明を省略する。
【００６０】
前記輝度反転画像に対して、以上の図１３（４′）〜図１６（１９′）までの各処理を実行することにより、図１４（１１′）に示した上下判定画像と、図１６（１９′）に示した左右判定画像とが作成される。
【００６１】
その後、前記図１０（１１）、図１２（１９）、図１４（１１′）、図１６（１９′）の４つの判定画像を合成（ＯＲ処理）して、図１７に示す最終判定画像（図中欠陥画像）を作成し、この画像を元に試料の良否判定を行う。この図１７の画像には、結果的に明と暗の両ＮＧ部分がいずれも欠陥と判定された場合が示してある。
【００６２】
以上詳述した本実施形態によれば、画像処理の中でも特に時間がかかるフィルタリング処理を行わずに周期性パターンの色ムラを検査できるようにしたことから、検査処理を短時間で実行することが可能となる。又、このようにフィルタリング処理を行わないようにしたことから、これに起因して画像周辺に歪み領域が発生することを防止できるため、検査精度を向上することができる。
【００６３】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００６４】
例えば、前記実施形態では、輝度非反転画像と輝度反転画像の両者についてそれぞれ一連の画像処理による判定を行う場合を示したが、場合によってはいずれか一方の画像だけに行うようにしてもよい。
【００６５】
即ち、本発明では、周囲より暗い欠陥は主に輝度非反転画像を処理することにより検出することができ、逆に周囲より明るい欠陥は主に輝度反転画像を処理することによって検出することができる。前記実施形態で示したように、凹部２値化画像は、周囲より暗い部分に対しては対象（輝度値２５５の画素）がその内側に形成され、周囲より明るい部分に対しては逆にその外側に形成される傾向がある。ノイズ除去等を行い、欠陥の検出精度を高めるために、その後に行われる膨張収縮処理の過程では、内側（凹部）の対象が連結して大きな面積を占めることを期待しており、副作用として外側の対象は除去され易い傾向にある。従って、周囲より明るい欠陥を検出するためには、輝度反転画像に対する処理が特に有効となる。周囲より暗い欠陥しか存在しないことが事前に分かっている場合には、輝度非反転画像に対する処理のみを実施し、周囲より明るい欠陥しか存在しないことが分かっている場合には、輝度反転画像に対する処理のみを実行するようにしてもよい。
【００６６】
又、前記実施形態では閾値を規定する直線の傾きａが−１の場合を示したが、これに限定されるものではなく、検査の対象物に応じて適切な値に変更できることはいうまでもない。
【００６７】
【発明の効果】
以上説明したとおり、本発明によれば、周期性開口パターンの開口面積の不均一性に起因する色ムラを短時間に、しかもパターン形成領域の全体にわたって正確に検査を行うことができる。
【図面の簡単な説明】
【図１】本発明に係る一実施形態による処理手順の概略を示すフローチャート
【図２】本発明による凹部２値化処理のイメージを示す線図
【図３】凹部２値化処理のスキャン方向のイメージを示す説明図
【図４】凹部２値化処理の手順を示すフローチャート
【図５】上記フローチャートで使用する画素列と輝度値の関係のイメージを示す線図
【図６】凹部２値化処理のイメージを具体的に示す線図
【図７】前記実施形態による処理の流れと画像の関係を示す説明図
【図８】透過率画像、輝度反転画像、輝度非反転画像の関係を示す説明図
【図９】輝度非反転画像に対する前記実施形態による処理の特徴を示す説明図
【図１０】輝度非反転画像に対する前記実施形態による次の処理の特徴を示す説明図
【図１１】輝度非反転画像に対する前記実施形態による更に次の処理の特徴を示す説明図
【図１２】輝度非反転画像に対する前記実施形態による更に次の処理の特徴を示す説明図
【図１３】輝度反転画像に対する前記実施形態による処理の特徴を示す説明図
【図１４】輝度反転画像に対する前記実施形態による次の処理の特徴を示す説明図
【図１５】輝度反転画像に対する前記実施形態による更に次の処理の特徴を示す説明図
【図１６】輝度反転画像に対する前記実施形態による更に次の処理の特徴を示す説明図
【図１７】最終判定画像を示す説明図
【図１８】検査装置の要部構成を示す説明図
【図１９】検査装置の全体構成の概略を示すブロック図
【図２０】従来の検査対象画像の強調処理を示す説明図
【図２１】空間フィルタの一例を示す説明図
【図２２】従来の検査装置による処理手順を示すフローチャート
【図２３】従来の検査装置による処理途中の画像の特徴を示すイメージ図
【符号の説明】
１０…ステージ
１２…光源
１４…拡散板
１４Ａ…拡散シート
１６…ＣＣＤカメラ
１８…画像入力部
２０…画像処理部
Ｗ…試料（検査対象）
Claims (4)
- 周期性パターンを有する対象物を撮像して得られた検査対象画像に基づいて、該周期性パターンに存在する色ムラを検査する色ムラ欠陥検査方法において、
必要に応じて前記検査対象画像の輝度を反転した輝度反転画像を作成し、
該輝度反転画像及び反転前の前記検査対象画像自体である輝度非反転画像の少なくとも一方について、
上から下方向に凹部２値化処理を行って上側凹部２値化画像を作成し、
下から上方向に凹部２値化処理を行って下側凹部２値化画像を作成し、
左から右方向に凹部２値化処理を行って左側凹部２値化画像を作成し、
右から左方向に凹部２値化処理を行って右側凹部２値化画像を作成し、
前記上側凹部２値化画像及び下側凹部２値化画像を合成して上下凹部２値化画像を作成し、
前記左側凹部２値化画像及び右側凹部２値化画像を合成して左右凹部２値化画像を作成し、
前記上下凹部２値化画像を判定・ラベリング処理して上下判定画像を作成し、
前記左右凹部２値化画像を判定・ラベリング処理して左右判定画像を作成し、
前記上下判定画像及び左右判定画像に基づいて色ムラ欠陥の最終判定を行う際、
前記各凹部２値化処理が、画素列を単位として上流側より任意の画素の輝度値の点を通る所定の傾きの直線により規定される閾値より低い輝度値の画素を凹部領域とする処理であることを特徴とする色ムラ欠陥検査方法。 - 請求項１において、
前記輝度反転画像及び輝度非反転画像を作成する際、それぞれについて、前記上下判定画像及び左右判定画像を作成し、少なくとも一方の判定画像に色ムラ欠陥があると判定された場合に不良とすることを特徴とする色ムラ欠陥検査方法。 - 請求項１において、
前記検査対象画像が、対象物を裏側から光源により照明された透過光像を撮像した対象画像を、光源のみを撮像した光源画像で除算した透過率画像であることを特徴とする色ムラ欠陥検査方法。 - 周期性パターンを有する対象物を撮像して得られた検査対象画像に基づいて、該周期性パターンに存在する色ムラを検査する色ムラ欠陥検査装置において、
必要に応じて前記検査対象画像の輝度を反転した輝度反転画像を作成する手段と、
該輝度反転画像及び反転前の前記検査対象画像自体である輝度非反転画像の少なくとも一方について、
上から下方向に凹部２値化処理を行って上側凹部２値化画像を作成する手段と、
下から上方向に凹部２値化処理を行って下側凹部２値化画像を作成する手段と、
左から右方向に凹部２値化処理を行って左側凹部２値化画像を作成する手段と、
右から左方向に凹部２値化処理を行って右側凹部２値化画像を作成する手段と、
前記上側凹部２値化画像及び下側凹部２値化画像を合成して上下凹部２値化画像を作成する手段と、
前記左側凹部２値化画像及び右側凹部２値化画像を合成して左右凹部２値化画像を作成する手段と、
前記上下凹部２値化画像を判定・ラベリング処理して上下判定画像を作成する手段と、
前記左右凹部２値化画像を判定・ラベリング処理して左右判定画像を作成する手段と、
前記上下判定画像及び左右判定画像に基づいて色ムラ欠陥の最終判定を行う手段を備えていると共に、
前記各凹部２値化処理が、画素列を単位として上流側より任意の画素の輝度値の点を通る所定の傾きの直線により規定される閾値より低い輝度値の画素を凹部領域とする処理であることを特徴とする色ムラ欠陥検査装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28945199A JP4438140B2 (ja) | 1999-10-12 | 1999-10-12 | 色ムラ欠陥検査方法及び装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28945199A JP4438140B2 (ja) | 1999-10-12 | 1999-10-12 | 色ムラ欠陥検査方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001108626A JP2001108626A (ja) | 2001-04-20 |
| JP4438140B2 true JP4438140B2 (ja) | 2010-03-24 |
Family
ID=17743444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28945199A Expired - Fee Related JP4438140B2 (ja) | 1999-10-12 | 1999-10-12 | 色ムラ欠陥検査方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4438140B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101300132B1 (ko) * | 2011-01-31 | 2013-08-26 | 삼성코닝정밀소재 주식회사 | 평판 유리 이물질 검사 장치 및 검사 방법 |
| JP7094366B2 (ja) * | 2018-07-19 | 2022-07-01 | 株式会社Fuji | 検査設定装置および検査設定方法 |
-
1999
- 1999-10-12 JP JP28945199A patent/JP4438140B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001108626A (ja) | 2001-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100954703B1 (ko) | 결함을 검출하는 방법 및 시스템 | |
| JP2004294202A (ja) | 画面の欠陥検出方法及び装置 | |
| JP2003066398A (ja) | 液晶ディスプレイパネルムラの分類処理方法、その装置及びプログラム | |
| JP2007285754A (ja) | 欠陥検出方法および欠陥検出装置 | |
| KR19980032065A (ko) | 화상 처리 방법 및 장치 | |
| JP2009229197A (ja) | 線状欠陥検出方法および線状欠陥検出装置 | |
| JP4244046B2 (ja) | 画像処理方法および画像処理装置 | |
| JP4438140B2 (ja) | 色ムラ欠陥検査方法及び装置 | |
| JP2005165387A (ja) | 画面のスジ欠陥検出方法及び装置並びに表示装置 | |
| JP2001209798A (ja) | 外観検査方法及び検査装置 | |
| JP3695120B2 (ja) | 欠陥検査方法 | |
| JP4743231B2 (ja) | 外観検査方法及び外観検査装置 | |
| JP2008070242A (ja) | ノイズ除去方法および装置、ムラ欠陥検査方法および装置 | |
| JP4382210B2 (ja) | 周期性パターンの検査方法及び装置 | |
| JP4743230B2 (ja) | 外観検査方法及び外観検査装置 | |
| JP3584507B2 (ja) | パタンムラ検査装置 | |
| JP4178923B2 (ja) | 外観検査方法及び外観検査装置 | |
| JPH0915168A (ja) | 印刷物検査装置 | |
| JP2004219176A (ja) | 画素ムラ欠陥の検出方法及び装置 | |
| JP2005140655A (ja) | シミ欠陥の検出方法及びその検出装置 | |
| JPH0711414B2 (ja) | ガラスびんの偏肉検査方法 | |
| JP3756264B2 (ja) | 周期性パターンを有する試料の欠陥検出方法 | |
| JPH0735699A (ja) | 表面欠陥検出方法およびその装置 | |
| JP2001266122A (ja) | 色ムラ欠陥検査方法及び装置 | |
| JP2004053477A (ja) | 色ムラ検査方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060907 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090828 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091222 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091228 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140115 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |