JP3904208B2 - 撮像素子の画素欠陥補正方法及びそれを用いた検査装置 - Google Patents
撮像素子の画素欠陥補正方法及びそれを用いた検査装置 Download PDFInfo
- Publication number
- JP3904208B2 JP3904208B2 JP2003027451A JP2003027451A JP3904208B2 JP 3904208 B2 JP3904208 B2 JP 3904208B2 JP 2003027451 A JP2003027451 A JP 2003027451A JP 2003027451 A JP2003027451 A JP 2003027451A JP 3904208 B2 JP3904208 B2 JP 3904208B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- imaging
- pixel defect
- inspection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing Of Optical Devices Or Fibers (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Testing Electric Properties And Detecting Electric Faults (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像素子の画素欠陥補正方法及びそれを用いた検査装置に関し、特に、検査対象に対する撮像素子の画素欠陥の影響を無くし、正確な検査対象画像を得る撮像素子の画素欠陥補正方法及びそれを用いた検査装置に関する。
【０００２】
【従来の技術】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子は、その製造過程において、画素欠陥が発生することはよく知られており、この画素欠陥の発生を完全になくすことはできない。従って、このような撮像素子を用いて、プラズマディスプレイ等のガラス基板に塗布された蛍光体の塗布欠陥を検出する検査装置において、撮像素子の画素欠陥の影響をできるだけ少なくする方法としては、主に２つの方法がある。一つ目の方法は、撮像素子の画素欠陥位置を予め求めておき、その画素欠陥位置に対応する画像データを周辺画素の平均値等により補間する方法である（例えば、特許文献１参照。）。二つ目の方法は、分解能を上げること又は倍率を上げることにより検出すべき蛍光体の塗布欠陥のサイズに対して撮像素子の画素サイズを相対的に微細化し、１つの蛍光体の塗布欠陥に対して撮像素子の画素を複数割り当てる方法である。
【０００３】
【特許文献１】
特開平１０−４２２０１号公報（第４頁、図３）
【０００４】
【発明が解決しようとする課題】
しかし、上記従来技術の一つ目の方法は、蛍光体の塗布欠陥等の微細な欠陥の検査には不向きである。また、二つ目の方法では、撮像素子の画素サイズを十分に小さくすることにより、蛍光体の微細な塗布欠陥を検出することが可能となるが、撮像素子の画素サイズに比例して検査領域の面積が小さくなり、検査時間が肥大する。また、撮像素子の画素欠陥の画素の部分は、検査対象から除くため、画素欠陥の数が多いと検出率が悪い。
【０００５】
本発明の目的は、撮像素子の画素欠陥の影響をなくした撮像素子の画素欠陥補正方法及びそれを用いた検査装置を提供することにある。
【０００６】
【課題を解決するための手段】
この目的を達成するため、本発明の発明の撮像素子の画素欠陥補正テーブルの作成方法は、撮像素子からなる撮像装置で、ほぼ均一に発光する標準試料を撮像し、第１の画像を撮像するステップ、該ステップにより撮像された標準試料の第１の画像の映像データから上記撮像素子の画素欠陥位置を検出するステップ、上記検出された画素欠陥位置に基づき仮想の移動量を特定するステップおよび上記第１の画像と上記特定された仮想の移動量に基づき第１の画素欠陥補正テーブルを生成するステップからなる。
【０００７】
また、本発明の撮像素子の画素欠陥補正テーブルの作成方法においては、更に、上記検出された画素欠陥位置に基づき上記第１の画像を上記仮想の移動量だけ移動した画像に対する第２の画素欠陥補正テーブルを生成するステップからなる。
【０００８】
さらに、本発明の検査対象物の検査方法は、撮像素子からなる撮像装置で、載置台に載置されたほぼ均一に発光する標準試料を撮像し、第１の画像を撮像するステップ、該ステップにより撮像された標準試料の第１の画像の映像データから上記撮像素子の画素欠陥位置を検出するステップ、上記検出された画素欠陥位置に基づき仮想の移動量を特定するステップ、上記第１の画像と上記特定された仮想の移動量に基づき第１の画素欠陥補正テーブルを生成するステップ、上記検出された画素欠陥位置に基づき第１の画像を上記仮想の移動量だけ移動した画像に対する第２の画素欠陥補正テーブルを生成するステップ、上記撮像装置で検査対象物を撮像するステップ、該ステップにより撮像された上記検査対象物の第１の撮像画像を上記第１の画素欠陥補正テーブルで補正して第１の補正画像を生成するステップ、上記撮像装置および上記載置台の少なくともいずれか一方を上記検出された画素欠陥位置に基づき定めた仮想の移動量移動するステップ、該ステップにより移動した後上記撮像装置により上記検査対象物を撮像するステップ、該ステップにより撮像された上記検査対象物の第２の撮像画像を上記第２の画素欠陥補正テーブルで補正して第２の補正画像を生成するステップおよび上記第１と第２の補正画像を合成するステップからなる。
【０００９】
また、本発明の検査対象物の検査方法においては、更に、上記第１と第２の補正画像を合成された画像から所定の輝度レベルを越える欠陥を検出するステップを有する。
【００１０】
さらに、本発明の撮像素子の画素欠陥補正方法は、撮像素子からなる撮像装置で、載置台に載置されたほぼ均一に発光する標準試料を撮像し、第１の画像を撮像するステップ、該ステップにより撮像された標準試料の第１の画像の映像データから上記撮像素子の画素欠陥位置を検出するステップ、上記検出された画素欠陥位置に基づき仮想の移動量を特定するステップ、上記検出された画素欠陥位置と上記特定された仮想の移動量に基づき上記第１の画像を移動した画像上における上記検出された画素欠陥位置に対応する位置を特定するステップ、上記撮像装置で検査対象物を撮像し、検査対象物の第１の画像を撮像するステップ、上記撮像装置および上記載置台の少なくともいずれか一方を上記検出された画素欠陥位置に基づき定めた仮想の移動量移動するステップ、該ステップにより移動した後上記撮像装置により上記検査対象物を撮像するステップ、該ステップにより撮像された上記検査対象物の第２の撮像画像上における上記特定された位置の画素の輝度値を検出するステップおよび上記検査対象物の第１の撮像画像上における上記検出された画素欠陥位置の画素の輝度値を上記検出された画素の輝度値に置き換えるステップからなる。
【００１１】
さらに、本発明の検査対象物の検査方法は、撮像素子からなる撮像装置で、載置台に載置されたほぼ均一に発光する標準試料を撮像し、第１の画像を撮像するステップ、該ステップにより撮像された標準試料の第１の画像の映像データから上記撮像素子の画素欠陥位置を検出するステップ、上記検出された画素欠陥位置に基づき仮想の移動量を特定するステップ、上記検出された画素欠陥位置と上記特定された仮想の移動量に基づき上記第１の画像を移動した画像上における上記検出された画素欠陥位置に対応する位置を特定するステップ、上記撮像装置で検査対象物を撮像し、検査対象物の第１の画像を撮像するステップ、上記撮像装置および上記載置台の少なくともいずれか一方を上記検出された画素欠陥位置に基づき定めた仮想の移動量移動するステップ、該ステップにより移動した後上記撮像装置により上記検査対象物を撮像するステップ、該ステップにより撮像された上記検査対象物の第２の撮像画像上における上記特定された位置の画素の輝度値を検出するステップおよび上記検査対象物の第１の撮像画像上における上記検出された画素欠陥位置の画素の輝度値を上記検出された画素の輝度値に置き換えるステップからなる。
【００１２】
また、本発明の検査対象物の検査方法においては、更に、上記検査対象物の第１の撮像画像上における上記検出された画素欠陥位置の画素の輝度値を上記検出された画素の輝度値に置き換えた画像から所定の輝度レベルを越える欠陥を検出するステップを有する。
【００１３】
さらに、本発明の検査装置は、ほぼ均一に発光する標準試料および検査対象物のいずれか一方を搭載する載置台と、上記標準試料および検査対象物のいずれか一方を撮像する撮像素子からなる撮像部と、上記撮像部からの映像信号を処理する画像処理部と、上記撮像部と上記載置台との少なくともいずれか一方を駆動する駆動制御部を有する検査装置において、上記載置台に上記標準試料を載置し、上記撮像部で上記標準試料を撮像し、上記画像処理部は、上記撮像部により撮像された標準試料の第１の画像を記録する機能、上記第１の画像の映像データから上記撮像素子の画素欠陥位置を検出する機能、上記検出された画素欠陥位置に基づき仮想の移動量を算出する機能および上記第１の画像と上記算出された仮想の移動量に基づき第１の画素欠陥補正テーブルを生成する機能を有する。
【００１４】
また、本発明の検査装置において、上記画像処理部は、更に、上記検出された撮像素子の画素欠陥位置に基づき上記第１の画像を上記仮想の移動量だけ移動した画像に対する第２の画素欠陥補正テーブルを生成する機能とを有する。
【００１５】
また、本発明の検査装置において、上記載置台に上記検査対象物を載置し、上記撮像部で上記検査対象物を撮像し、上記画像処理部は、更に、上記撮像部により撮像された上記検査対象物の第１の撮像画像を記録する機能、上記記録された上記検査対象物の第１の撮像画像を上記第１の画素欠陥補正テーブルで補正して第１の補正画像を生成する機能、上記撮像部および上記載置台の少なくともいずれか一方を上記検出された画素欠陥位置に基づき定めた仮想の移動量移動し、上記撮像部により上記検査対象物を撮像し、第２の撮像画像を記録する機能、上記記録された上記検査対象物の第２の撮像画像を上記第２の画素欠陥補正テーブルで補正して第２の補正画像を生成する機能および上記第１と第２の補正画像を合成する機能からなる。
【００１６】
さらに、本発明の検査装置は、ほぼ均一に発光する標準試料および検査対象物のいずれか一方を搭載する載置台と、上記標準試料および検査対象物のいずれか一方を撮像する撮像素子からなる撮像部と、上記撮像部からの映像信号を処理する画像処理部と、上記撮像部と上記載置台との少なくともいずれか一方を駆動する駆動制御部を有する検査装置において、上記載置台に上記標準試料を載置し、上記撮像部で上記標準試料を撮像し、上記画像処理部は、上記撮像部により撮像された標準試料の第１の画像を記録する機能、上記第１の画像の映像データから上記撮像素子の画素欠陥位置を検出する機能、上記検出された画素欠陥位置に基づき仮想の移動量を特定する機能および上記検出された画素欠陥位置と上記特定された仮想の移動量に基づき上記第１の画像を移動した画像上における上記検出された画素欠陥位置に対応する位置を特定する機能とを有する。
【００１７】
また、本発明の検査装置において、上記載置台に上記検査対象物を載置し、上記撮像部で上記検査対象物を撮像し、上記画像処理部は、更に、上記撮像部により撮像された上記検査対象物の第１の撮像画像を記録する機能、上記撮像部および上記載置台の少なくともいずれか一方を上記検出された画素欠陥位置に基づき定めた仮想の移動量移動し、上記撮像部により上記検査対象物を撮像し、第２の撮像画像を記録する機能、上記記録された上記検査対象物の第２の撮像画像上における上記特定された位置の画素の輝度値を検出するステップおよび上記検査対象物の第１の撮像画像上における上記検出された画素欠陥位置の画素の輝度値を上記検出された画素の輝度値に置き換える機能からなる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。図１は、本発明による撮像素子の画素欠陥補正装置の構成の一実施例を示すブロック図である。図１の画素欠陥補正装置は、検査対象１と、検査対象１を固定する検査対象固定部２と、検査対象１を移動させる検査対象移動機構３と、撮像素子等から構成され検査対象１を撮像する撮像部４と、撮像部４を移動させる撮像部移動機構５と、検査対象移動機構３並びに撮像部移動機構５を制御する移動機構制御部６と、撮像部４が撮像した画像を出力する画像出力部７と、Ａ／Ｄ変換器８と、画素欠陥の位置等を記憶するメモリを有し、撮像した画像の補正処理等を行う画像処理部９と、撮像開始の制御等を行う操作部１０と、各処理段階での画像を表示する画像表示部１１により構成される。検査対象１は、例えば、蛍光体等の塗布欠陥の検査をするプラズマディスプレイ等のガラス基板、若しくはＬＣＤ基板、若しくは半導体ウエハ等に形成された配線パターン等であり、検査により蛍光体の塗布欠陥や印刷欠陥の検出、又は、パターンの線幅測定等が行なわれる。
【００１９】
ここで、撮像部４により検査対象１の撮像が行われると、画像出力部７より撮像された検査対象１の画像がアナログ映像信号としてＡ／Ｄ変換器８に出力される。Ａ／Ｄ変換器８は入力されたアナログ映像信号をディジタル画像データに変換して画像処理部９に出力する。なお、以下の実施例では、使用するディジタル画像データの横幅を３２０ｐｉｘ、長さを２４０ｐｉｘ、1画素（ｐｉｘ）あたりの画素値を８ｂｉｔ／ｐｉｘ、０〜２５５階調の輝度値で表現するものとして説明する。
【００２０】
図２は、本発明による撮像素子の画素欠陥補正方法の原理を説明する図である。図２（ａ）において、プラズマディスプレイのガラス基板２０上に蛍光体ストライプ２１が周期的に塗布されている場合を示す。なお、図２の四角形の枠２３は、図１の撮像部４により撮像される範囲（撮像ブロック）を示している。ここで、ガラス基板上の撮像ブロック２３において撮像部４により撮像した画像を図２（ｂ）に示す。また、撮像ブロック２３から所定距離移動された撮像ブロック２４において撮像した画像を図２（ｃ）に示す。ここで、１２は撮像素子欠陥画素（後述する）を表し、２２は蛍光体ストライプ２１上の蛍光体塗布欠陥を示している。したがって、この撮像素子で撮影された画像図２（ｂ）及び図２（ｃ）に示すように、撮像された画像には撮像素子欠陥画素１２が存在し、当該箇所においては撮像素子の画素欠陥なのか、蛍光体ストライプの塗布欠陥なのか区別がつかず、検査対象１の正確な欠陥の撮像を行なうことができない。すなわち、図２（ｂ）においては、蛍光体ストライプ２１の塗布欠陥２２が撮像素子の画素欠陥位置に重なるため、撮像された画像には蛍光体の塗布欠陥２２が写らない。
【００２１】
一方、図２（ｃ）においては、蛍光体ストライプ２１の塗布欠陥２２が撮像素子の画素欠陥１２の位置と重ならないため、撮像された画像には蛍光体の塗布欠陥２２が写っている。このように、撮像素子の画素欠陥１２の位置と蛍光体ストライプ２１の塗布欠陥２２の位置が重なるために撮像画像に写らなかった箇所があっても、検査対象１又は撮像部４を所定距離移動させ撮像ブロックを変えて撮像した場合には、蛍光体ストライプ２１の塗布欠陥２２の位置と撮像素子の画素欠陥１２の位置とが重ならなくなるため蛍光体ストライプ２１の塗布欠陥２２が撮像画像上に写るようになる。この原理を用い、撮像素子に画素欠陥がある場合にも、本発明は撮像ブロックを所定距離移動させることによって、蛍光体ストライプの塗布欠陥を検出することができる。まず初めに撮像素子の画素欠陥補正方法について説明する。
【００２２】
本発明の第一の実施例である撮像素子の画素欠陥補正方法について説明する。図３は、本発明の第一の実施例に係る撮像素子の画素欠陥補正処理の一実施例を示すフローチャートである。
【００２３】
初めに、補正テーブルを作成する処理（ステップ１００）について図４を用いて説明する。
【００２４】
まず、図１の画素欠陥補正装置にＬＥＤ（発光ダイオード）等の光源を拡散板により面照明とした全面がほぼ均一な発光体（標準試料）を検査対象固定部２にセットする。そして、撮像部４によりその標準試料を平均輝度が中間階調となるような光学条件で撮像する。撮像された画像は、画像出力部７及びＡ／Ｄ変換器８を介して画像処理部９に図５に示す標準試料を撮像した画像が送出される（ステップ１０１）。
【００２５】
次に、画像処理部９においてその標準試料を撮像した画像のうち、白傷（暗状態で明るく見える）等の輝度値が著しく明るい画素１２−１、並びに、黒傷（入射光のある状態で暗く見える）等の輝度値が著しく暗い画素１２−２を撮像素子欠陥画素１２−１、１２−２として検出する。検出方法としては、例えば、輝度値が所定値以上のレベルを明るい画素１２−１とし、所定値以下のレベルを暗い画素１２−２として検出できる。なお、明るい画素と暗い画素を区別する必要があるときは、明るい画素１２−１、暗い画素１２−２と称し、区別する必要がないときは撮像素子欠陥画素１２と総称する。この撮像素子欠陥画素１２が、撮像素子上の画素欠陥位置と特定される（ステップ１０２）。
【００２６】
次に、ステップ１０２で検出された撮像素子欠陥画素１２の位置に基づいて撮像素子欠陥画素１２を別の場所に移動するための移動量（例えば、最短な移動方向と移動距離）を画像処理部９で算出する（ステップ１０３）。ここで、最短な移動方向と移動距離とは、撮像ブロックを移動し、撮像素子欠陥画素１２が移動前に撮像素子欠陥画素１２であった範囲と重ならないように移動方向及び移動距離を選択する。換言すれば、撮像素子の画素欠陥位置と重さなり正確に撮像できない箇所の画像を、撮像ブロックを変えることで正確に撮像するために必要となる移動方向と移動距離を決定するものである。なお、最短な移動方向と移動距離として説明したが、画素欠陥補正装置の駆動のための消費電力が少ないこと、また処理時間が早い等のメリットがあるためであるが、正確に撮像できない箇所の画像を、撮像ブロックを変えることで正確に撮像するという目的が達成されるよう適宜移動方向と移動距離を選定しうることは言うまでもない。
【００２７】
例えば、図５に示す撮像素子欠陥画素１２の位置の場合（図５以降で示す画像は説明の便宜上１０×１０ｐｉｘとしている）、右または左に１画素分、検査対象１又は撮像部４を移動するのが最短な移動方向と移動距離となる。ここで、移動は検査対象１又は撮像部４（撮像素子）の少なくともどちらか一方を移動させればよく、検査対象１を移動させるか、撮像部４を移動させるか、又は、どちらも移動させるかは、実際の装置構成にて効率のよい方を選択できるようにしておく。なお、本実施例では撮像部４を右へ１画素分移動することとする。
【００２８】
図３のステップ１００で作成する補正テーブルは、検査対象画像の各画素の輝度値に乗算する係数を定めるためのものである。また、ステップ１００で作成する補正テーブルは、移動前の検査対象画像（基準となる画像）及び移動後の検査対象画像（基準となる画像を撮像した位置から撮像ブロックを移動し、再度検査対象を撮像した画像）に対してそれぞれ作成されるものである。これを第1の補正テーブルと第２の補正テーブルと呼ぶことにする。
【００２９】
上記補正テーブルの作成について、さらに詳細に説明する。画像処理部９においてステップ１０４で移動前の検査対象画像に対する第１の補正テーブルが作成される。この第１の補正テーブルを図６に示す。この第１の補正テーブルは、移動前の検査対象画像上における撮像素子欠陥画素１２の輝度値に乗算する係数を０とする。次に、上記ステップ１０３で撮像部４を右へ１画素分移動したと仮定した場合、撮像素子欠陥画素１２が位置する部分の画素位置１３−１の輝度値に乗算する係数を１とし、移動により欠損する画素位置１３−２の輝度値に乗算する係数を１とする。そして、正常に撮像される位置の画素１４（以下、標準画素と呼ぶ。）の輝度値に乗算する係数を０．５と設定する。
【００３０】
次に、画像処理部９において移動後の検査対象画像に対する第２の補正テーブルが作成される（ステップ１０５）。この第２の補正テーブルを図７に示す。この第２の補正テーブルは、移動後の検査対象画像上における撮像素子欠陥画素１２の輝度値に乗算する係数を０とし、移動前の撮像素子欠陥画素１２が位置した位置１３−３の画素の輝度値に乗算する係数を１とし、また移動したことにより新たに撮像される位置１３−４の輝度値に乗算する係数を１とする。そして、上記以外の画素である標準画素１４の輝度値に乗算する係数を０．５と設定する。
【００３１】
ここで、撮像素子の感度のバラツキを考慮すると標準画素１４の輝度値は一定ではないが、図６及び図７に示す第１と第２の補正テーブルはすべて輝度値は一定とし、それに乗算する係数は０．５とした。しかし、実際は標準画素の輝度値は一定でないので、その場合、上記補正テーブルの係数Ｋに、このバラツキ補正係数Ｋｃは、次の式となり、Ｋｃ＝（Ｋ×標準画素の輝度値の平均）／標準画素の輝度値、このＫｃを上記補正テーブルの係数Ｋの代わりに用いることによりバラツキを補正することができる。
【００３２】
次に、上記により作成した第１と第２の補正テーブルを用いて撮像素子の画素欠陥の影響をなくし、検査対象１の欠陥を検査する画像を生成する処理（ステップ２００）について図８を用いて説明する。撮像部４により検査対象１を撮像すると、撮像部４から画像出力部７及びＡ／Ｄ変換器８を介して画像処理部９に図９の移動前の検査対象画像が送出される（ステップ２０１）。この図９に示す移動前の検査対象画像上には、検査対象１上の欠陥に対応する欠陥像１５が撮像されるが、同時に撮像素子の欠陥に対応する像である撮像素子欠陥画素１２も表われる。次に、図９に示す移動前の検査対象画像の各画素に対して、図６に示す第１の補正テーブルが有する各係数をそれぞれ乗算すると、図１０に示す検査対象補正画像が得られる（ステップ２０２）。
【００３３】
ここで、図１０に示す検査対象補正画像の補正輝度値について説明する。図９に示す移動前の検査対象画像の画素の輝度値を１２０とした場合について説明する。画素が撮像素子欠陥画素１２であるとすると、第１の補正テーブルにより係数０が乗算されるため、乗算の結果は、１２０×０＝０となり、その画素の輝度値は０に補正される。また、画素が撮像素子欠陥画素１２が位置する部分の画素位置１３−１であるとすると、第１の補正テーブルにより係数１が乗算されるため、乗算の結果は、１２０×１＝１２０となり、その画素の輝度値は１２０となる。また、画素が移動により欠損する画素位置１３−２であるとすると、第１の補正テーブルにより係数１が乗算されるため、同様にその画素の輝度値は１２０となる。また、画素が前述の標準画素１４であるとすると、第１の補正テーブルにより係数０．５が乗算されるため、乗算の結果は、１２０×０．５＝６０となり、その画素の輝度値は６０に補正される。なお、図９に示す欠陥像１５は標準画素１４となるため、第１の補正テーブルにより係数０．５が乗算される。
【００３４】
次に、上記第２の補正テーブルを作成するときに算出した移動方向、移動距離に従い、例えば本実施例の場合、１画素分右へ移動し、検査対象１を同様に撮像する（ステップ２０３、２０４）。このようにして撮像した画像は、図１１に示されるものとなる。すなわち、図１１に示される検査対象画像上においては、撮像部４を右へ１画素分移動して撮像したことにより、検査対象の欠陥像１５の位置は、図９に示す移動前の検査対象画像に比べて左へ１画素分移動していることがわかる。この図１１に示す検査対象画像に上記第２の補正テーブルが有する各係数をそれぞれ乗算し、図１２に示す検査対象補正画像が得られる（ステップ２０５）。
【００３５】
ここで、図１２に示す検査対象補正画像の補正輝度値について説明する。図１１に示す移動後の検査対象画像の画素の輝度値を１２０とした場合について説明する。画素が撮像素子欠陥画素１２であるとすると、第２の補正テーブルにより係数０が乗算されるため、乗算の結果は、１２０×０＝０となり、その画素の輝度値は０に補正される。また、画素が移動前の撮像素子欠陥画素１２が位置した位置１３−３であるとすると、第２の補正テーブルにより係数１が乗算されるため、乗算の結果は、１２０×１＝１２０となり、その画素の輝度値は１２０となる。また、画素が移動したことにより新たに撮像される位置１３−４であるとすると、第２の補正テーブルにより係数１が乗算されるため、同様にその画素の輝度値は１２０となる。また、画素が前述の標準画素１４であるとすると、第２の補正テーブルにより係数０．５が乗算されるため、乗算の結果は、１２０×０．５＝６０となり、その画素の輝度値は６０に補正される。なお、図１１に示す欠陥像１５は標準画素１４となるため、第２の補正テーブルにより係数０．５が乗算される。
【００３６】
次に、図１０に示す移動前の検査対象補正画像と図１２に示す移動後の検査対象補正画像を加算するが、加算する場合には図１０の移動前の検査対象補正画像に示す撮像素子欠陥画素１２と図１２の移動後の検査対象補正画像に示す移動前の撮像素子欠陥画素１２が位置した位置１３−３を一致させ、それぞれ対応する画素同士で画素の輝度値を加算する（ステップ２０６）。その結果、図１３に示す補正された合成画像が得られる。すなわち、撮像素子の画素欠陥に対応する欠陥像である撮像素子欠陥画素１２の輝度値や符号１３−１、１３−２、１３−３及び１３−４で示す画素の輝度値はすべて１２０となり、移動前と移動後の撮像素子の欠陥部分が検査対象画像から除外され、検査対象１の欠陥である欠陥像１５のみが検出される。
【００３７】
なお、上述した移動方向と移動距離を記憶するメモリあるいは上記第１と第２の補正テーブルを記憶するメモリはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等が使用され、画像処理部９内に設けられる。
【００３８】
また、上記移動方向と移動距離及び上記第1と第２の補正テーブルは、撮像部４の撮像素子に対して一義的に定まるので、例えば検査装置の製造元で検査装置の出荷前に上記補正テーブル作成処理ステップ１００と同様の処理を行い、移動方向と移動距離及び第1と第２の補正テーブルを前もって作成し、ＲＯＭ等に記憶し検査装置内に組み込んでおく。これらのデータは、ＲＯＭ等に記憶しておけばその後の変更は必要とせず、検査対象１の欠陥検査処理が行われる際に、随時読み出されて使用することができる。
【００３９】
したがって、検査装置を購入したユーザが、プラズマディスプレイのガラス基板を検査対象１とし、その塗布欠陥の有無の検査を行う際には、検査装置は上記補正テーブル作成処理ステップ１００を行うことなく、ＲＯＭ等から上記データを読み出すことにより上記検査画像生成処理ステップ２００を行うことができ、自動的に図１３に示す補正された合成画像が作成される。そして、その合成画像において、周知の画像処理技術により、例えば輝度レベルが低くなる位置を蛍光体の塗布欠陥とする等して自動的に欠陥の検出を行うことができる。
【００４０】
以上説明したように、撮像素子に画素欠陥が存在するような撮像素子を用いても本発明を使用することによって、撮像素子の画素欠陥は検出されず、検査対象の欠陥像のみを検出することができる。
【００４１】
次に、本発明の他の実施例である補正テーブルを作成しない撮像素子の画素欠陥補正方法について説明する。この方法においても第一の実施例と同様に図１に示す構成の装置が使用できるが、画像処理部９の動作が異なっている。以下これについて説明する。
【００４２】
まず、図４に示すように標準試料を撮像する場合について説明する。図４のステップ１０１〜１０３と同様の処理を行い、移動方向と移動距離を算出し、画像処理部９のメモリに記憶する。また、図１４（ａ）に示す撮像素子欠陥画素１２の位置と、図１４（ｂ）に示す移動前の撮像素子欠陥画素１２が位置した位置１３−３を算出しその位置座標を画像処理部９のメモリに記憶する。ここで、図１４（ａ）は移動前の標準試料撮像画面を表し、図１４（ｂ）は上記算出した移動方向、移動距離に従い、撮像部４を、例えば１画素分右へ移動したと仮定した場合の標準試料撮像画面を表す。
【００４３】
次に、図８に示すように検査対象１を撮像する場合について説明する。図８のステップ２０１〜２０４と同様の処理を行い、図１５（ａ）に示すように移動前の検査対象画像と、図１５（ｂ）に示すようにその撮像位置から撮像部４を１画素分右へ移動した移動後の検査対象画像が得られる。図１５（ａ）、（ｂ）に示す検査対象画像についてさらに詳述する。図１５（ａ）においては、撮像素子の画素欠陥に対応する欠陥像である撮像素子欠陥画素１２と検査対象１の欠陥像１５が表われている。また、図１５（ｂ）においては、撮像素子欠陥画素１２は図１５（ａ）に示す撮像素子欠陥画素１２に対して一画素右にずれているが、検査対象１の欠陥像１５は移動しない。この状態で移動前の撮像素子欠陥画素１２が位置した位置１３−３（図１５（ｂ）で示される）の位置座標を画像処理部９から読み出すと共に、図１５（ｂ）の画素位置１３−３の画素の輝度値を検出する。次に、図１５（ａ）に示される撮像素子欠陥画素１２の輝度値を上記検出された画素位置１３−３の画素の輝度値に置き換える。この処理により、図１５（ａ）に示す移動前の検査対象画像においては、撮像素子欠陥画素１２が除外され、検査対象１の欠陥である欠陥像１５のみが検出される。
【００４４】
なお、上記の実施の形態は一例示にすぎず、本発明を何ら限定するものではない。したがって本発明は、その要旨を逸脱しない範囲において種々の改良、変形が可能である。例えば、欠陥検査に限らず撮像素子の画素欠陥の影響のない画像を必要とするあらゆる目的に適用可能である。また、上記補正テーブルで定める係数は、撮像素子の画素欠陥の影響をなくすという目的が達成されるよう適宜選定しうることは言うまでもない。
【００４５】
例えば、撮像素子欠陥画素１２の位置によっては撮像素子の画素欠陥を補正するために撮像ブロックを２回以上移動して検査対象１を３回以上撮像するケースもある。その場合は第２の補正テーブルは２つ以上作成され、標準画素１４の輝度値に乗算する係数は、第１の補正テーブルと２つ以上の第２の補正テーブルの係数が加算したとき１となるように設定する。例えば、３回移動した場合は、０．２５とする。この場合、標準画素１４については４回撮像した画像の平均値となるため、１回の撮像により得られる画像より安定した撮像画像が得られる。
【００４６】
【発明の効果】
以上詳述したように本発明では、撮像素子の画素欠陥の影響をなくした撮像素子の画素欠陥補正方法及びそれを用いた検査装置を提供することができる。
【図面の簡単な説明】
【図１】本発明による検査装置の構成の一実施例を示すブロック図である。
【図２】本発明による撮像素子の画素欠陥補正方法の原理を説明する図である。
【図３】本発明の第一の実施例に係る撮像素子の画素欠陥補正処理の一実施例を示すフローチャートである。
【図４】本発明の第一の実施例に係る補正テーブルを作成する処理の一実施例を示すフローチャートである。
【図５】本発明による標準試料を撮像した画像の一実施例を示す図である。
【図６】本発明による移動前の検査対象画像に対する補正テーブルの一実施例を示す図である。
【図７】本発明による移動後の検査対象画像に対する補正テーブルの一実施例を示す図である。
【図８】本発明の第一の実施例に係る補正テーブルを用いて撮像結果を合成する処理の一実施例を示すフローチャートである。
【図９】本発明による移動前の検査対象画像の一実施例を示す図である。
【図１０】本発明による移動前の検査対象補正画像の一実施例を示す図である。
【図１１】本発明による移動後の検査対象画像の一実施例を示す図である。
【図１２】本発明による移動後の検査対象補正画像の一実施例を示す図である。
【図１３】本発明の第一の実施例に係る補正結果合成画像を示す図である。
【図１４】本発明の一実施例に係る標準試料を撮像した画像と移動したと仮定した場合の撮像画像を示す図である。
【図１５】本発明の一実施例に係る検査対象画像の画素欠陥補正方法を説明するための図である。
【符号の説明】
１ 検査対象
２ 検査対象固定部
３ 検査対象移動機構
４ 撮像部
５ 撮像部移動機構
６ 移動機構制御部
７ 画像出力部
８ Ａ／Ｄ変換器
９ 画像処理部
１０ 操作部
１１ 画像表示部
１２ 撮像素子欠陥画素
１２−１ 輝度値が所定値以上のレベルの明るい画素
１２−２ 輝度値が所定値以下のレベルの暗い画素
１３−１ 撮像素子欠陥画素１２が位置する部分の画素位置
１３−２ 移動により欠損する画素位置
１３−３ 移動前の撮像素子欠陥画素１２が位置した位置
１３−４ 移動したことにより新たに撮像される位置
１４ 標準画素
１５ 検査対象上の欠陥に対応する欠陥像
２０ ガラス基板
２１ 蛍光体ストライプ
２２ 蛍光体の塗布欠陥
２３、２４ 撮像ブロック
【発明の属する技術分野】
本発明は、撮像素子の画素欠陥補正方法及びそれを用いた検査装置に関し、特に、検査対象に対する撮像素子の画素欠陥の影響を無くし、正確な検査対象画像を得る撮像素子の画素欠陥補正方法及びそれを用いた検査装置に関する。
【０００２】
【従来の技術】
ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子は、その製造過程において、画素欠陥が発生することはよく知られており、この画素欠陥の発生を完全になくすことはできない。従って、このような撮像素子を用いて、プラズマディスプレイ等のガラス基板に塗布された蛍光体の塗布欠陥を検出する検査装置において、撮像素子の画素欠陥の影響をできるだけ少なくする方法としては、主に２つの方法がある。一つ目の方法は、撮像素子の画素欠陥位置を予め求めておき、その画素欠陥位置に対応する画像データを周辺画素の平均値等により補間する方法である（例えば、特許文献１参照。）。二つ目の方法は、分解能を上げること又は倍率を上げることにより検出すべき蛍光体の塗布欠陥のサイズに対して撮像素子の画素サイズを相対的に微細化し、１つの蛍光体の塗布欠陥に対して撮像素子の画素を複数割り当てる方法である。
【０００３】
【特許文献１】
特開平１０−４２２０１号公報（第４頁、図３）
【０００４】
【発明が解決しようとする課題】
しかし、上記従来技術の一つ目の方法は、蛍光体の塗布欠陥等の微細な欠陥の検査には不向きである。また、二つ目の方法では、撮像素子の画素サイズを十分に小さくすることにより、蛍光体の微細な塗布欠陥を検出することが可能となるが、撮像素子の画素サイズに比例して検査領域の面積が小さくなり、検査時間が肥大する。また、撮像素子の画素欠陥の画素の部分は、検査対象から除くため、画素欠陥の数が多いと検出率が悪い。
【０００５】
本発明の目的は、撮像素子の画素欠陥の影響をなくした撮像素子の画素欠陥補正方法及びそれを用いた検査装置を提供することにある。
【０００６】
【課題を解決するための手段】
この目的を達成するため、本発明の発明の撮像素子の画素欠陥補正テーブルの作成方法は、撮像素子からなる撮像装置で、ほぼ均一に発光する標準試料を撮像し、第１の画像を撮像するステップ、該ステップにより撮像された標準試料の第１の画像の映像データから上記撮像素子の画素欠陥位置を検出するステップ、上記検出された画素欠陥位置に基づき仮想の移動量を特定するステップおよび上記第１の画像と上記特定された仮想の移動量に基づき第１の画素欠陥補正テーブルを生成するステップからなる。
【０００７】
また、本発明の撮像素子の画素欠陥補正テーブルの作成方法においては、更に、上記検出された画素欠陥位置に基づき上記第１の画像を上記仮想の移動量だけ移動した画像に対する第２の画素欠陥補正テーブルを生成するステップからなる。
【０００８】
さらに、本発明の検査対象物の検査方法は、撮像素子からなる撮像装置で、載置台に載置されたほぼ均一に発光する標準試料を撮像し、第１の画像を撮像するステップ、該ステップにより撮像された標準試料の第１の画像の映像データから上記撮像素子の画素欠陥位置を検出するステップ、上記検出された画素欠陥位置に基づき仮想の移動量を特定するステップ、上記第１の画像と上記特定された仮想の移動量に基づき第１の画素欠陥補正テーブルを生成するステップ、上記検出された画素欠陥位置に基づき第１の画像を上記仮想の移動量だけ移動した画像に対する第２の画素欠陥補正テーブルを生成するステップ、上記撮像装置で検査対象物を撮像するステップ、該ステップにより撮像された上記検査対象物の第１の撮像画像を上記第１の画素欠陥補正テーブルで補正して第１の補正画像を生成するステップ、上記撮像装置および上記載置台の少なくともいずれか一方を上記検出された画素欠陥位置に基づき定めた仮想の移動量移動するステップ、該ステップにより移動した後上記撮像装置により上記検査対象物を撮像するステップ、該ステップにより撮像された上記検査対象物の第２の撮像画像を上記第２の画素欠陥補正テーブルで補正して第２の補正画像を生成するステップおよび上記第１と第２の補正画像を合成するステップからなる。
【０００９】
また、本発明の検査対象物の検査方法においては、更に、上記第１と第２の補正画像を合成された画像から所定の輝度レベルを越える欠陥を検出するステップを有する。
【００１０】
さらに、本発明の撮像素子の画素欠陥補正方法は、撮像素子からなる撮像装置で、載置台に載置されたほぼ均一に発光する標準試料を撮像し、第１の画像を撮像するステップ、該ステップにより撮像された標準試料の第１の画像の映像データから上記撮像素子の画素欠陥位置を検出するステップ、上記検出された画素欠陥位置に基づき仮想の移動量を特定するステップ、上記検出された画素欠陥位置と上記特定された仮想の移動量に基づき上記第１の画像を移動した画像上における上記検出された画素欠陥位置に対応する位置を特定するステップ、上記撮像装置で検査対象物を撮像し、検査対象物の第１の画像を撮像するステップ、上記撮像装置および上記載置台の少なくともいずれか一方を上記検出された画素欠陥位置に基づき定めた仮想の移動量移動するステップ、該ステップにより移動した後上記撮像装置により上記検査対象物を撮像するステップ、該ステップにより撮像された上記検査対象物の第２の撮像画像上における上記特定された位置の画素の輝度値を検出するステップおよび上記検査対象物の第１の撮像画像上における上記検出された画素欠陥位置の画素の輝度値を上記検出された画素の輝度値に置き換えるステップからなる。
【００１１】
さらに、本発明の検査対象物の検査方法は、撮像素子からなる撮像装置で、載置台に載置されたほぼ均一に発光する標準試料を撮像し、第１の画像を撮像するステップ、該ステップにより撮像された標準試料の第１の画像の映像データから上記撮像素子の画素欠陥位置を検出するステップ、上記検出された画素欠陥位置に基づき仮想の移動量を特定するステップ、上記検出された画素欠陥位置と上記特定された仮想の移動量に基づき上記第１の画像を移動した画像上における上記検出された画素欠陥位置に対応する位置を特定するステップ、上記撮像装置で検査対象物を撮像し、検査対象物の第１の画像を撮像するステップ、上記撮像装置および上記載置台の少なくともいずれか一方を上記検出された画素欠陥位置に基づき定めた仮想の移動量移動するステップ、該ステップにより移動した後上記撮像装置により上記検査対象物を撮像するステップ、該ステップにより撮像された上記検査対象物の第２の撮像画像上における上記特定された位置の画素の輝度値を検出するステップおよび上記検査対象物の第１の撮像画像上における上記検出された画素欠陥位置の画素の輝度値を上記検出された画素の輝度値に置き換えるステップからなる。
【００１２】
また、本発明の検査対象物の検査方法においては、更に、上記検査対象物の第１の撮像画像上における上記検出された画素欠陥位置の画素の輝度値を上記検出された画素の輝度値に置き換えた画像から所定の輝度レベルを越える欠陥を検出するステップを有する。
【００１３】
さらに、本発明の検査装置は、ほぼ均一に発光する標準試料および検査対象物のいずれか一方を搭載する載置台と、上記標準試料および検査対象物のいずれか一方を撮像する撮像素子からなる撮像部と、上記撮像部からの映像信号を処理する画像処理部と、上記撮像部と上記載置台との少なくともいずれか一方を駆動する駆動制御部を有する検査装置において、上記載置台に上記標準試料を載置し、上記撮像部で上記標準試料を撮像し、上記画像処理部は、上記撮像部により撮像された標準試料の第１の画像を記録する機能、上記第１の画像の映像データから上記撮像素子の画素欠陥位置を検出する機能、上記検出された画素欠陥位置に基づき仮想の移動量を算出する機能および上記第１の画像と上記算出された仮想の移動量に基づき第１の画素欠陥補正テーブルを生成する機能を有する。
【００１４】
また、本発明の検査装置において、上記画像処理部は、更に、上記検出された撮像素子の画素欠陥位置に基づき上記第１の画像を上記仮想の移動量だけ移動した画像に対する第２の画素欠陥補正テーブルを生成する機能とを有する。
【００１５】
また、本発明の検査装置において、上記載置台に上記検査対象物を載置し、上記撮像部で上記検査対象物を撮像し、上記画像処理部は、更に、上記撮像部により撮像された上記検査対象物の第１の撮像画像を記録する機能、上記記録された上記検査対象物の第１の撮像画像を上記第１の画素欠陥補正テーブルで補正して第１の補正画像を生成する機能、上記撮像部および上記載置台の少なくともいずれか一方を上記検出された画素欠陥位置に基づき定めた仮想の移動量移動し、上記撮像部により上記検査対象物を撮像し、第２の撮像画像を記録する機能、上記記録された上記検査対象物の第２の撮像画像を上記第２の画素欠陥補正テーブルで補正して第２の補正画像を生成する機能および上記第１と第２の補正画像を合成する機能からなる。
【００１６】
さらに、本発明の検査装置は、ほぼ均一に発光する標準試料および検査対象物のいずれか一方を搭載する載置台と、上記標準試料および検査対象物のいずれか一方を撮像する撮像素子からなる撮像部と、上記撮像部からの映像信号を処理する画像処理部と、上記撮像部と上記載置台との少なくともいずれか一方を駆動する駆動制御部を有する検査装置において、上記載置台に上記標準試料を載置し、上記撮像部で上記標準試料を撮像し、上記画像処理部は、上記撮像部により撮像された標準試料の第１の画像を記録する機能、上記第１の画像の映像データから上記撮像素子の画素欠陥位置を検出する機能、上記検出された画素欠陥位置に基づき仮想の移動量を特定する機能および上記検出された画素欠陥位置と上記特定された仮想の移動量に基づき上記第１の画像を移動した画像上における上記検出された画素欠陥位置に対応する位置を特定する機能とを有する。
【００１７】
また、本発明の検査装置において、上記載置台に上記検査対象物を載置し、上記撮像部で上記検査対象物を撮像し、上記画像処理部は、更に、上記撮像部により撮像された上記検査対象物の第１の撮像画像を記録する機能、上記撮像部および上記載置台の少なくともいずれか一方を上記検出された画素欠陥位置に基づき定めた仮想の移動量移動し、上記撮像部により上記検査対象物を撮像し、第２の撮像画像を記録する機能、上記記録された上記検査対象物の第２の撮像画像上における上記特定された位置の画素の輝度値を検出するステップおよび上記検査対象物の第１の撮像画像上における上記検出された画素欠陥位置の画素の輝度値を上記検出された画素の輝度値に置き換える機能からなる。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。図１は、本発明による撮像素子の画素欠陥補正装置の構成の一実施例を示すブロック図である。図１の画素欠陥補正装置は、検査対象１と、検査対象１を固定する検査対象固定部２と、検査対象１を移動させる検査対象移動機構３と、撮像素子等から構成され検査対象１を撮像する撮像部４と、撮像部４を移動させる撮像部移動機構５と、検査対象移動機構３並びに撮像部移動機構５を制御する移動機構制御部６と、撮像部４が撮像した画像を出力する画像出力部７と、Ａ／Ｄ変換器８と、画素欠陥の位置等を記憶するメモリを有し、撮像した画像の補正処理等を行う画像処理部９と、撮像開始の制御等を行う操作部１０と、各処理段階での画像を表示する画像表示部１１により構成される。検査対象１は、例えば、蛍光体等の塗布欠陥の検査をするプラズマディスプレイ等のガラス基板、若しくはＬＣＤ基板、若しくは半導体ウエハ等に形成された配線パターン等であり、検査により蛍光体の塗布欠陥や印刷欠陥の検出、又は、パターンの線幅測定等が行なわれる。
【００１９】
ここで、撮像部４により検査対象１の撮像が行われると、画像出力部７より撮像された検査対象１の画像がアナログ映像信号としてＡ／Ｄ変換器８に出力される。Ａ／Ｄ変換器８は入力されたアナログ映像信号をディジタル画像データに変換して画像処理部９に出力する。なお、以下の実施例では、使用するディジタル画像データの横幅を３２０ｐｉｘ、長さを２４０ｐｉｘ、1画素（ｐｉｘ）あたりの画素値を８ｂｉｔ／ｐｉｘ、０〜２５５階調の輝度値で表現するものとして説明する。
【００２０】
図２は、本発明による撮像素子の画素欠陥補正方法の原理を説明する図である。図２（ａ）において、プラズマディスプレイのガラス基板２０上に蛍光体ストライプ２１が周期的に塗布されている場合を示す。なお、図２の四角形の枠２３は、図１の撮像部４により撮像される範囲（撮像ブロック）を示している。ここで、ガラス基板上の撮像ブロック２３において撮像部４により撮像した画像を図２（ｂ）に示す。また、撮像ブロック２３から所定距離移動された撮像ブロック２４において撮像した画像を図２（ｃ）に示す。ここで、１２は撮像素子欠陥画素（後述する）を表し、２２は蛍光体ストライプ２１上の蛍光体塗布欠陥を示している。したがって、この撮像素子で撮影された画像図２（ｂ）及び図２（ｃ）に示すように、撮像された画像には撮像素子欠陥画素１２が存在し、当該箇所においては撮像素子の画素欠陥なのか、蛍光体ストライプの塗布欠陥なのか区別がつかず、検査対象１の正確な欠陥の撮像を行なうことができない。すなわち、図２（ｂ）においては、蛍光体ストライプ２１の塗布欠陥２２が撮像素子の画素欠陥位置に重なるため、撮像された画像には蛍光体の塗布欠陥２２が写らない。
【００２１】
一方、図２（ｃ）においては、蛍光体ストライプ２１の塗布欠陥２２が撮像素子の画素欠陥１２の位置と重ならないため、撮像された画像には蛍光体の塗布欠陥２２が写っている。このように、撮像素子の画素欠陥１２の位置と蛍光体ストライプ２１の塗布欠陥２２の位置が重なるために撮像画像に写らなかった箇所があっても、検査対象１又は撮像部４を所定距離移動させ撮像ブロックを変えて撮像した場合には、蛍光体ストライプ２１の塗布欠陥２２の位置と撮像素子の画素欠陥１２の位置とが重ならなくなるため蛍光体ストライプ２１の塗布欠陥２２が撮像画像上に写るようになる。この原理を用い、撮像素子に画素欠陥がある場合にも、本発明は撮像ブロックを所定距離移動させることによって、蛍光体ストライプの塗布欠陥を検出することができる。まず初めに撮像素子の画素欠陥補正方法について説明する。
【００２２】
本発明の第一の実施例である撮像素子の画素欠陥補正方法について説明する。図３は、本発明の第一の実施例に係る撮像素子の画素欠陥補正処理の一実施例を示すフローチャートである。
【００２３】
初めに、補正テーブルを作成する処理（ステップ１００）について図４を用いて説明する。
【００２４】
まず、図１の画素欠陥補正装置にＬＥＤ（発光ダイオード）等の光源を拡散板により面照明とした全面がほぼ均一な発光体（標準試料）を検査対象固定部２にセットする。そして、撮像部４によりその標準試料を平均輝度が中間階調となるような光学条件で撮像する。撮像された画像は、画像出力部７及びＡ／Ｄ変換器８を介して画像処理部９に図５に示す標準試料を撮像した画像が送出される（ステップ１０１）。
【００２５】
次に、画像処理部９においてその標準試料を撮像した画像のうち、白傷（暗状態で明るく見える）等の輝度値が著しく明るい画素１２−１、並びに、黒傷（入射光のある状態で暗く見える）等の輝度値が著しく暗い画素１２−２を撮像素子欠陥画素１２−１、１２−２として検出する。検出方法としては、例えば、輝度値が所定値以上のレベルを明るい画素１２−１とし、所定値以下のレベルを暗い画素１２−２として検出できる。なお、明るい画素と暗い画素を区別する必要があるときは、明るい画素１２−１、暗い画素１２−２と称し、区別する必要がないときは撮像素子欠陥画素１２と総称する。この撮像素子欠陥画素１２が、撮像素子上の画素欠陥位置と特定される（ステップ１０２）。
【００２６】
次に、ステップ１０２で検出された撮像素子欠陥画素１２の位置に基づいて撮像素子欠陥画素１２を別の場所に移動するための移動量（例えば、最短な移動方向と移動距離）を画像処理部９で算出する（ステップ１０３）。ここで、最短な移動方向と移動距離とは、撮像ブロックを移動し、撮像素子欠陥画素１２が移動前に撮像素子欠陥画素１２であった範囲と重ならないように移動方向及び移動距離を選択する。換言すれば、撮像素子の画素欠陥位置と重さなり正確に撮像できない箇所の画像を、撮像ブロックを変えることで正確に撮像するために必要となる移動方向と移動距離を決定するものである。なお、最短な移動方向と移動距離として説明したが、画素欠陥補正装置の駆動のための消費電力が少ないこと、また処理時間が早い等のメリットがあるためであるが、正確に撮像できない箇所の画像を、撮像ブロックを変えることで正確に撮像するという目的が達成されるよう適宜移動方向と移動距離を選定しうることは言うまでもない。
【００２７】
例えば、図５に示す撮像素子欠陥画素１２の位置の場合（図５以降で示す画像は説明の便宜上１０×１０ｐｉｘとしている）、右または左に１画素分、検査対象１又は撮像部４を移動するのが最短な移動方向と移動距離となる。ここで、移動は検査対象１又は撮像部４（撮像素子）の少なくともどちらか一方を移動させればよく、検査対象１を移動させるか、撮像部４を移動させるか、又は、どちらも移動させるかは、実際の装置構成にて効率のよい方を選択できるようにしておく。なお、本実施例では撮像部４を右へ１画素分移動することとする。
【００２８】
図３のステップ１００で作成する補正テーブルは、検査対象画像の各画素の輝度値に乗算する係数を定めるためのものである。また、ステップ１００で作成する補正テーブルは、移動前の検査対象画像（基準となる画像）及び移動後の検査対象画像（基準となる画像を撮像した位置から撮像ブロックを移動し、再度検査対象を撮像した画像）に対してそれぞれ作成されるものである。これを第1の補正テーブルと第２の補正テーブルと呼ぶことにする。
【００２９】
上記補正テーブルの作成について、さらに詳細に説明する。画像処理部９においてステップ１０４で移動前の検査対象画像に対する第１の補正テーブルが作成される。この第１の補正テーブルを図６に示す。この第１の補正テーブルは、移動前の検査対象画像上における撮像素子欠陥画素１２の輝度値に乗算する係数を０とする。次に、上記ステップ１０３で撮像部４を右へ１画素分移動したと仮定した場合、撮像素子欠陥画素１２が位置する部分の画素位置１３−１の輝度値に乗算する係数を１とし、移動により欠損する画素位置１３−２の輝度値に乗算する係数を１とする。そして、正常に撮像される位置の画素１４（以下、標準画素と呼ぶ。）の輝度値に乗算する係数を０．５と設定する。
【００３０】
次に、画像処理部９において移動後の検査対象画像に対する第２の補正テーブルが作成される（ステップ１０５）。この第２の補正テーブルを図７に示す。この第２の補正テーブルは、移動後の検査対象画像上における撮像素子欠陥画素１２の輝度値に乗算する係数を０とし、移動前の撮像素子欠陥画素１２が位置した位置１３−３の画素の輝度値に乗算する係数を１とし、また移動したことにより新たに撮像される位置１３−４の輝度値に乗算する係数を１とする。そして、上記以外の画素である標準画素１４の輝度値に乗算する係数を０．５と設定する。
【００３１】
ここで、撮像素子の感度のバラツキを考慮すると標準画素１４の輝度値は一定ではないが、図６及び図７に示す第１と第２の補正テーブルはすべて輝度値は一定とし、それに乗算する係数は０．５とした。しかし、実際は標準画素の輝度値は一定でないので、その場合、上記補正テーブルの係数Ｋに、このバラツキ補正係数Ｋｃは、次の式となり、Ｋｃ＝（Ｋ×標準画素の輝度値の平均）／標準画素の輝度値、このＫｃを上記補正テーブルの係数Ｋの代わりに用いることによりバラツキを補正することができる。
【００３２】
次に、上記により作成した第１と第２の補正テーブルを用いて撮像素子の画素欠陥の影響をなくし、検査対象１の欠陥を検査する画像を生成する処理（ステップ２００）について図８を用いて説明する。撮像部４により検査対象１を撮像すると、撮像部４から画像出力部７及びＡ／Ｄ変換器８を介して画像処理部９に図９の移動前の検査対象画像が送出される（ステップ２０１）。この図９に示す移動前の検査対象画像上には、検査対象１上の欠陥に対応する欠陥像１５が撮像されるが、同時に撮像素子の欠陥に対応する像である撮像素子欠陥画素１２も表われる。次に、図９に示す移動前の検査対象画像の各画素に対して、図６に示す第１の補正テーブルが有する各係数をそれぞれ乗算すると、図１０に示す検査対象補正画像が得られる（ステップ２０２）。
【００３３】
ここで、図１０に示す検査対象補正画像の補正輝度値について説明する。図９に示す移動前の検査対象画像の画素の輝度値を１２０とした場合について説明する。画素が撮像素子欠陥画素１２であるとすると、第１の補正テーブルにより係数０が乗算されるため、乗算の結果は、１２０×０＝０となり、その画素の輝度値は０に補正される。また、画素が撮像素子欠陥画素１２が位置する部分の画素位置１３−１であるとすると、第１の補正テーブルにより係数１が乗算されるため、乗算の結果は、１２０×１＝１２０となり、その画素の輝度値は１２０となる。また、画素が移動により欠損する画素位置１３−２であるとすると、第１の補正テーブルにより係数１が乗算されるため、同様にその画素の輝度値は１２０となる。また、画素が前述の標準画素１４であるとすると、第１の補正テーブルにより係数０．５が乗算されるため、乗算の結果は、１２０×０．５＝６０となり、その画素の輝度値は６０に補正される。なお、図９に示す欠陥像１５は標準画素１４となるため、第１の補正テーブルにより係数０．５が乗算される。
【００３４】
次に、上記第２の補正テーブルを作成するときに算出した移動方向、移動距離に従い、例えば本実施例の場合、１画素分右へ移動し、検査対象１を同様に撮像する（ステップ２０３、２０４）。このようにして撮像した画像は、図１１に示されるものとなる。すなわち、図１１に示される検査対象画像上においては、撮像部４を右へ１画素分移動して撮像したことにより、検査対象の欠陥像１５の位置は、図９に示す移動前の検査対象画像に比べて左へ１画素分移動していることがわかる。この図１１に示す検査対象画像に上記第２の補正テーブルが有する各係数をそれぞれ乗算し、図１２に示す検査対象補正画像が得られる（ステップ２０５）。
【００３５】
ここで、図１２に示す検査対象補正画像の補正輝度値について説明する。図１１に示す移動後の検査対象画像の画素の輝度値を１２０とした場合について説明する。画素が撮像素子欠陥画素１２であるとすると、第２の補正テーブルにより係数０が乗算されるため、乗算の結果は、１２０×０＝０となり、その画素の輝度値は０に補正される。また、画素が移動前の撮像素子欠陥画素１２が位置した位置１３−３であるとすると、第２の補正テーブルにより係数１が乗算されるため、乗算の結果は、１２０×１＝１２０となり、その画素の輝度値は１２０となる。また、画素が移動したことにより新たに撮像される位置１３−４であるとすると、第２の補正テーブルにより係数１が乗算されるため、同様にその画素の輝度値は１２０となる。また、画素が前述の標準画素１４であるとすると、第２の補正テーブルにより係数０．５が乗算されるため、乗算の結果は、１２０×０．５＝６０となり、その画素の輝度値は６０に補正される。なお、図１１に示す欠陥像１５は標準画素１４となるため、第２の補正テーブルにより係数０．５が乗算される。
【００３６】
次に、図１０に示す移動前の検査対象補正画像と図１２に示す移動後の検査対象補正画像を加算するが、加算する場合には図１０の移動前の検査対象補正画像に示す撮像素子欠陥画素１２と図１２の移動後の検査対象補正画像に示す移動前の撮像素子欠陥画素１２が位置した位置１３−３を一致させ、それぞれ対応する画素同士で画素の輝度値を加算する（ステップ２０６）。その結果、図１３に示す補正された合成画像が得られる。すなわち、撮像素子の画素欠陥に対応する欠陥像である撮像素子欠陥画素１２の輝度値や符号１３−１、１３−２、１３−３及び１３−４で示す画素の輝度値はすべて１２０となり、移動前と移動後の撮像素子の欠陥部分が検査対象画像から除外され、検査対象１の欠陥である欠陥像１５のみが検出される。
【００３７】
なお、上述した移動方向と移動距離を記憶するメモリあるいは上記第１と第２の補正テーブルを記憶するメモリはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等が使用され、画像処理部９内に設けられる。
【００３８】
また、上記移動方向と移動距離及び上記第1と第２の補正テーブルは、撮像部４の撮像素子に対して一義的に定まるので、例えば検査装置の製造元で検査装置の出荷前に上記補正テーブル作成処理ステップ１００と同様の処理を行い、移動方向と移動距離及び第1と第２の補正テーブルを前もって作成し、ＲＯＭ等に記憶し検査装置内に組み込んでおく。これらのデータは、ＲＯＭ等に記憶しておけばその後の変更は必要とせず、検査対象１の欠陥検査処理が行われる際に、随時読み出されて使用することができる。
【００３９】
したがって、検査装置を購入したユーザが、プラズマディスプレイのガラス基板を検査対象１とし、その塗布欠陥の有無の検査を行う際には、検査装置は上記補正テーブル作成処理ステップ１００を行うことなく、ＲＯＭ等から上記データを読み出すことにより上記検査画像生成処理ステップ２００を行うことができ、自動的に図１３に示す補正された合成画像が作成される。そして、その合成画像において、周知の画像処理技術により、例えば輝度レベルが低くなる位置を蛍光体の塗布欠陥とする等して自動的に欠陥の検出を行うことができる。
【００４０】
以上説明したように、撮像素子に画素欠陥が存在するような撮像素子を用いても本発明を使用することによって、撮像素子の画素欠陥は検出されず、検査対象の欠陥像のみを検出することができる。
【００４１】
次に、本発明の他の実施例である補正テーブルを作成しない撮像素子の画素欠陥補正方法について説明する。この方法においても第一の実施例と同様に図１に示す構成の装置が使用できるが、画像処理部９の動作が異なっている。以下これについて説明する。
【００４２】
まず、図４に示すように標準試料を撮像する場合について説明する。図４のステップ１０１〜１０３と同様の処理を行い、移動方向と移動距離を算出し、画像処理部９のメモリに記憶する。また、図１４（ａ）に示す撮像素子欠陥画素１２の位置と、図１４（ｂ）に示す移動前の撮像素子欠陥画素１２が位置した位置１３−３を算出しその位置座標を画像処理部９のメモリに記憶する。ここで、図１４（ａ）は移動前の標準試料撮像画面を表し、図１４（ｂ）は上記算出した移動方向、移動距離に従い、撮像部４を、例えば１画素分右へ移動したと仮定した場合の標準試料撮像画面を表す。
【００４３】
次に、図８に示すように検査対象１を撮像する場合について説明する。図８のステップ２０１〜２０４と同様の処理を行い、図１５（ａ）に示すように移動前の検査対象画像と、図１５（ｂ）に示すようにその撮像位置から撮像部４を１画素分右へ移動した移動後の検査対象画像が得られる。図１５（ａ）、（ｂ）に示す検査対象画像についてさらに詳述する。図１５（ａ）においては、撮像素子の画素欠陥に対応する欠陥像である撮像素子欠陥画素１２と検査対象１の欠陥像１５が表われている。また、図１５（ｂ）においては、撮像素子欠陥画素１２は図１５（ａ）に示す撮像素子欠陥画素１２に対して一画素右にずれているが、検査対象１の欠陥像１５は移動しない。この状態で移動前の撮像素子欠陥画素１２が位置した位置１３−３（図１５（ｂ）で示される）の位置座標を画像処理部９から読み出すと共に、図１５（ｂ）の画素位置１３−３の画素の輝度値を検出する。次に、図１５（ａ）に示される撮像素子欠陥画素１２の輝度値を上記検出された画素位置１３−３の画素の輝度値に置き換える。この処理により、図１５（ａ）に示す移動前の検査対象画像においては、撮像素子欠陥画素１２が除外され、検査対象１の欠陥である欠陥像１５のみが検出される。
【００４４】
なお、上記の実施の形態は一例示にすぎず、本発明を何ら限定するものではない。したがって本発明は、その要旨を逸脱しない範囲において種々の改良、変形が可能である。例えば、欠陥検査に限らず撮像素子の画素欠陥の影響のない画像を必要とするあらゆる目的に適用可能である。また、上記補正テーブルで定める係数は、撮像素子の画素欠陥の影響をなくすという目的が達成されるよう適宜選定しうることは言うまでもない。
【００４５】
例えば、撮像素子欠陥画素１２の位置によっては撮像素子の画素欠陥を補正するために撮像ブロックを２回以上移動して検査対象１を３回以上撮像するケースもある。その場合は第２の補正テーブルは２つ以上作成され、標準画素１４の輝度値に乗算する係数は、第１の補正テーブルと２つ以上の第２の補正テーブルの係数が加算したとき１となるように設定する。例えば、３回移動した場合は、０．２５とする。この場合、標準画素１４については４回撮像した画像の平均値となるため、１回の撮像により得られる画像より安定した撮像画像が得られる。
【００４６】
【発明の効果】
以上詳述したように本発明では、撮像素子の画素欠陥の影響をなくした撮像素子の画素欠陥補正方法及びそれを用いた検査装置を提供することができる。
【図面の簡単な説明】
【図１】本発明による検査装置の構成の一実施例を示すブロック図である。
【図２】本発明による撮像素子の画素欠陥補正方法の原理を説明する図である。
【図３】本発明の第一の実施例に係る撮像素子の画素欠陥補正処理の一実施例を示すフローチャートである。
【図４】本発明の第一の実施例に係る補正テーブルを作成する処理の一実施例を示すフローチャートである。
【図５】本発明による標準試料を撮像した画像の一実施例を示す図である。
【図６】本発明による移動前の検査対象画像に対する補正テーブルの一実施例を示す図である。
【図７】本発明による移動後の検査対象画像に対する補正テーブルの一実施例を示す図である。
【図８】本発明の第一の実施例に係る補正テーブルを用いて撮像結果を合成する処理の一実施例を示すフローチャートである。
【図９】本発明による移動前の検査対象画像の一実施例を示す図である。
【図１０】本発明による移動前の検査対象補正画像の一実施例を示す図である。
【図１１】本発明による移動後の検査対象画像の一実施例を示す図である。
【図１２】本発明による移動後の検査対象補正画像の一実施例を示す図である。
【図１３】本発明の第一の実施例に係る補正結果合成画像を示す図である。
【図１４】本発明の一実施例に係る標準試料を撮像した画像と移動したと仮定した場合の撮像画像を示す図である。
【図１５】本発明の一実施例に係る検査対象画像の画素欠陥補正方法を説明するための図である。
【符号の説明】
１ 検査対象
２ 検査対象固定部
３ 検査対象移動機構
４ 撮像部
５ 撮像部移動機構
６ 移動機構制御部
７ 画像出力部
８ Ａ／Ｄ変換器
９ 画像処理部
１０ 操作部
１１ 画像表示部
１２ 撮像素子欠陥画素
１２−１ 輝度値が所定値以上のレベルの明るい画素
１２−２ 輝度値が所定値以下のレベルの暗い画素
１３−１ 撮像素子欠陥画素１２が位置する部分の画素位置
１３−２ 移動により欠損する画素位置
１３−３ 移動前の撮像素子欠陥画素１２が位置した位置
１３−４ 移動したことにより新たに撮像される位置
１４ 標準画素
１５ 検査対象上の欠陥に対応する欠陥像
２０ ガラス基板
２１ 蛍光体ストライプ
２２ 蛍光体の塗布欠陥
２３、２４ 撮像ブロック
Claims (2)
- 撮像素子からなる撮像装置で、載置台に載置されたほぼ均一に発光する標準試料を撮像し、第１の画像を撮像するステップ、該ステップにより撮像された標準試料の第１の画像の映像データから上記撮像素子の画素欠陥位置を検出するステップ、上記検出された画素欠陥位置に基づき仮想の移動量を特定するステップ、上記第１の画像と上記特定された仮想の移動量に基づき第１の画素欠陥補正テーブルを生成するステップ、上記検出された画素欠陥位置に基づき上記第１の画像を上記仮想の移動量だけ移動した画像に対する第２の画素欠陥補正テーブルを生成するステップ、上記撮像装置で検査対象物を撮像するステップ、該ステップにより撮像された上記検査対象物の第１の撮像画像を上記第１の画素欠陥補正テーブルで補正して第１の補正画像を生成するステップ、上記撮像装置および上記載置台の少なくともいずれか一方を上記検出された画素欠陥位置に基づき定めた仮想の移動量移動するステップ、該ステップにより移動した後上記撮像装置により上記検査対象物を撮像するステップ、該ステップにより撮像された上記検査対象物の第２の撮像画像を上記第２の画素欠陥補正テーブルで補正して第２の補正画像を生成するステップおよび上記第１と第２の補正画像を合成するステップからなることを特徴とする検査対象物の検査方法。
- ほぼ均一に発光する標準試料および検査対象物のいずれか一方を搭載する載置台と、上記標準試料および検査対象物のいずれか一方を撮像する撮像素子からなる撮像部と、上記撮像部からの映像信号を処理する画像処理部と、上記撮像部と上記載置台との少なくともいずれか一方を駆動する駆動制御部を有する検査装置において、上記載置台に上記標準試料を載置し、上記撮像部で上記標準試料を撮像して第１の画像として出力し、上記画像処理部は、上記第１の画像を記録する機能、上記第１の画像の映像データから上記撮像素子の画素欠陥位置を検出する機能、上記検出された画素欠陥位置に基づき仮想の移動量を特定する機能、上記第１の画像と上記特定された仮想の移動量に基づき第１の画素欠陥補正テーブルを生成し、上記検出された画素欠陥位置に基き上記第１の画像を上記仮想の移動量だけ移動した画像に対する第２の画素欠陥補正テーブルを生成し、上記撮像部で検査対象物を撮像し、該撮像された上記検査対象物の第１の撮像画像を上記第１の画素欠陥補正テーブルで補正して第１の補正画像を生成し、上記撮像部および上記載置台の少なくともいずれか一方を上記検出された画素欠陥位置に基づき定めた仮想の移動量移動し、該移動後に上記撮像装置により上記検査対象物を撮像し、該撮像された上記検査対象物の第２の撮像画像を上記第２の画素欠陥補正テーブルで補正して第２の補正画像を生成し、そして上記第１と第２の補正画像を合成することを特徴とする検査装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003027451A JP3904208B2 (ja) | 2003-02-04 | 2003-02-04 | 撮像素子の画素欠陥補正方法及びそれを用いた検査装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003027451A JP3904208B2 (ja) | 2003-02-04 | 2003-02-04 | 撮像素子の画素欠陥補正方法及びそれを用いた検査装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004241920A JP2004241920A (ja) | 2004-08-26 |
| JP3904208B2 true JP3904208B2 (ja) | 2007-04-11 |
Family
ID=32955179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003027451A Expired - Fee Related JP3904208B2 (ja) | 2003-02-04 | 2003-02-04 | 撮像素子の画素欠陥補正方法及びそれを用いた検査装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3904208B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4914142B2 (ja) * | 2006-08-04 | 2012-04-11 | キヤノン株式会社 | 検査装置 |
-
2003
- 2003-02-04 JP JP2003027451A patent/JP3904208B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004241920A (ja) | 2004-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5056780B2 (ja) | 画像処理装置 | |
| JP5181970B2 (ja) | 画像処理装置および画像処理方法 | |
| WO2013175703A1 (ja) | 表示装置の検査方法、および表示装置の検査装置 | |
| JP2009175150A (ja) | 被検査体の検査装置 | |
| JP2010066102A (ja) | 評価装置、校正方法、校正プログラム、及び、記録媒体 | |
| WO2007066628A1 (ja) | 外観検査装置 | |
| KR20200001658A (ko) | 표시 패널 검사 장치 및 그 구동 방법 | |
| JP2005099150A (ja) | 画像表示装置の画像補正データ算出方法 | |
| JP2008180602A (ja) | 検査装置、検査方法、検査プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| JP2015002241A (ja) | 基板撮像装置、及び基板撮像方法 | |
| WO2008120182A2 (en) | Method and system for verifying suspected defects of a printed circuit board | |
| JP2003167530A (ja) | ディスプレイ画面検査方法およびディスプレイ画面検査装置 | |
| JP2008003063A (ja) | シェーディング補正方法、欠陥検出方法、欠陥検出装置、欠陥検出装置の制御方法プログラム | |
| JP3904208B2 (ja) | 撮像素子の画素欠陥補正方法及びそれを用いた検査装置 | |
| JP5741819B2 (ja) | 表示性能測定装置、表示性能測定方法、およびプロジェクター装置 | |
| JPH09101236A (ja) | 表示欠陥検査装置および表示欠陥検査方法 | |
| JP4964718B2 (ja) | 表示パネルの検査装置、表示パネルの検査方法、表示パネルの製造方法、プログラム及び記録媒体 | |
| JP2010066352A (ja) | 測定装置、補正データ生成装置、測定方法、補正データ生成方法、および補正データ生成プログラム | |
| JPH08254499A (ja) | 表示・外観検査装置 | |
| JP2010139323A (ja) | 色ムラ測定方法、および色ムラ測定装置 | |
| JP2009053019A (ja) | 解像度検査用チャート、解像度検査装置及び解像度検査方法 | |
| JP2005249946A (ja) | 表示装置の欠陥検査装置 | |
| JP2003348607A5 (ja) | ||
| JP2008102818A (ja) | 撮像手段の出力値補正方法、シェーディング補正方法、欠陥検出方法、欠陥検出プログラムおよび欠陥検出装置 | |
| JP2007033391A (ja) | フラットパネルディスプレイ検査装置、フラットパネルディスプレイ検査方法、および、フラットパネルディスプレイ検査プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061211 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070105 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3904208 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100119 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140119 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |