JP3669045B2 - 液晶用カラーフィルタ色ムラ検査システム - Google Patents
液晶用カラーフィルタ色ムラ検査システム Download PDFInfo
- Publication number
- JP3669045B2 JP3669045B2 JP10797796A JP10797796A JP3669045B2 JP 3669045 B2 JP3669045 B2 JP 3669045B2 JP 10797796 A JP10797796 A JP 10797796A JP 10797796 A JP10797796 A JP 10797796A JP 3669045 B2 JP3669045 B2 JP 3669045B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- pixel
- picture element
- color filter
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing Of Optical Devices Or Fibers (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、液晶用カラーフィルタの色ムラを検査する液晶用カラーフィルタ色ムラ検査システムに関するものである。
【０００２】
【従来の技術】
カラー液晶ディスプレイにおける液晶パネルの構造としては、ガラス基板に透明電極及びＦＥＴマトリック層、液晶層、透明電極、カラーフィルタ、ガラス基板を積層し、その両ガラス基板の上下に偏光板を設けて構成される。
【０００３】
カラーフィルタは、Ｒ（赤），Ｇ（緑），Ｂ（青）の色ピクセルがドット単位で基板にコーティングされて配列されており、その配列方式も、ＲＧＢが縦方向に整列した縦ストライプ方式、ＲＧＢが分散したモザイク方式など、種々のものがある。
【０００４】
本発明者らは、特願平６−２６６５５７号（発明の名称；カラーフィルタ検査装置）にて、カラーフィルタ基板の一方にライン光源を配置し、他方にＣＣＤからなるラインセンサ群を配置して、カラーフィルタ基板の各ピクセル（以下絵素という）に付着したゴミや、基板全体の色ムラを検査する基本システムを提案し、また特願平７−２５０７２５号（発明の名称；カラーフィルタの輝度検出方法）にて、各絵素の輝度データより基板の色ムラを検出する方法を提案した。
【０００５】
ところで、従来の検査での絵素毎のデータの算出方法は、各絵素の中心を含むＣＣＤ画素を基準にして、絵素内に含まれるＣＣＤ画素データを積算して求めている。
【０００６】
これを、図９，図１０により説明する。
【０００７】
図９において、１０は、Ｒ，Ｇ，Ｂの絵素を示し、１１はＣＣＤラインセンサカメラ画素列を示している。
【０００８】
以下の説明では、ＣＣＤラインセンサカメラ画素列１１の並び方向を横方向、これに直交する検査ステージ（カラーフィルタ基板）の移動方向を縦方向と呼び、またＣＣＤカメラの出力である横方向のデータを画素データ、このデータから算出される絵素毎のデータを輝度データと呼ぶ。
【０００９】
絵素１０の横方向の積算は、点線１２で示された絵素１０の中心を基準に左右で塗りつぶされた範囲の画素データを積算する。この積算の範囲は、絵素の形状に合わせて決める（例えば、横×縦；４×７）。積算の範囲は、絵素位置のずれによる絵素毎の輝度データの変動を抑えるために、この塗りつぶされた範囲の輝度データを縦横方向の一定範囲（例えば、横×縦；３×５）内でずらした位置で複数算出し、その中の最大値を結果とする最大値フィルタ処理を行って算出するようにしている。
【００１０】
【発明が解決しようとする課題】
しかしながら、カラーフィルタの横方向の画素データは、図１０に示すように一絵素（図では便宜上（Ｒ）のみの画素データを示し、丸印がサンプリング点を示している）の横方向の画素データは、中心が輝度が高く左右端が輝度が落ちる波形の輝度分布となり、丸印で示した画素間での変化量が大きな形状となる。
【００１１】
このカラーフィルタの絵素のピッチは、約１００μｍ程度であるが、メーカー毎、対象製品毎に異なり、カメラ分解能（１５μｍ）の整数倍とは必ずしもならない。このためサンプリングされる位置は、絵素間で周期的に変動する。この結果画素毎に積算する画素データ値が周期的に変動し、輝度データも周期的に変動してしまい、正確な輝度データが取れないばかりか、周期的変動によるモアレ縞を検出してしまう。
【００１２】
そこで、本発明者らは上述した出願で、絵素と画素の位置ずれによる不具合をなくすべく、位置ずれに応じて画素間のデータを線形補間して、正確な輝度データを算出する検査方法を提案した。
【００１３】
この先願の発明において輝度データが正確に求められるが、処理するデータ量が膨大であり、大容量のメモリが必要になると共に、カラーフィルタの生産ライン速度に対して検査が間に合わない問題が発生する。
【００１４】
そこで、本発明の目的は、上記課題を解決し、色ムラ検出を高速に行える液晶用カラーフィルタ色ムラ検査システムを提供することにある。
【００１５】
【課題を解決するための手段】
上記目的を達成するために請求項１の発明は、 液晶用カラーフィルタの一方から光を当て他方に配置したラインセンサでこれを検出してカラーフィルタの色ムラを検出する液晶用カラーフィルタ色ムラ検査システムにおいて、ラインセンサの各画素から順次出力される各画素データを遅延回路を通してパイプライン処理にて順次加算すると共に絵素に対応した画素データの画像圧縮データを３組作成し、この３組の画像圧縮データより各絵素の輝度データを求めて色ムラを検出することを特徴とする液晶用カラーフィルタ色ムラ検査システムである。
【００１６】
請求項２の発明は、画素データの加算サイズは、カラーフィルタの絵素とラインセンサの画素のサイズに応じて決定する請求項１記載の液晶用カラーフィルタ色ムラ検査システムである。
【００１７】
【発明の実施の形態】
以下、本発明の好適一実施の形態を添付図面に基づいて詳述する。
【００１８】
先ず、図６〜図８にて検査システムの概要を説明する。
【００１９】
図６において、１０は、カラーフィルタ１８のＲ，Ｇ，Ｂの絵素を示し、１１はＣＣＤラインセンサカメラ画素列、１２は各絵素１０の中心線、１３はＣＣＤラインセンサカメラ画素列１１の各画素を示している。
【００２０】
絵素１０毎の透過光量である輝度データは、サンプリングするＣＣＤ画素１３の位置によらない常に絵素１０の中心を基準とした図で斜線で示した一定の範囲１４の面積で輝度を積算すれば、絵素の発光量として求められる。これは、絵素毎の透過光量の不均一の無い一様な絵素からなる理想的なフィルタでは一定となるが、図１０で説明したようにカラーフィルタの透過光量の波形は、山形になり画素間のデータが大きく相違する。
【００２１】
現状で、ラインセンサカメラの１画素は１５μｍ×１５μｍのエリアをカバーするが、各画素１３は、絵素１０の中心線１２を基準に対称に分布する保障はない。
【００２２】
図７（ａ）は、図でみて左側の絵素１０の中心線１２が画素１３の中心に一致した状態を示し、右側の絵素１０が中心線１２に対して画素単位（１５μｍ）でＣ（Ｃは画素間距離を１としたときの絵素中心からのずれ量で、小数点以下の部分）だけずれた場合には、左右非対称にサンプリングされることとなる。このため積算データも絵素の中心からずれた位置でのデータとなる。
【００２３】
仮想データ；
このとき図７（ｂ）に示すように、絵素の中心線１２に位置した画素１３を（３）とし、右側の画素を（４），（５）とし、それらの画像データをＤ3 ，Ｄ4 とし、その画像データＤ3 ，Ｄ4 間で直線補間を行い、絵素中心との画素のずれ量Ｃから、その直線状に絵素中心から画素ピッチ間隔でサンプリングされた場合の仮想データＤ3 ' ，Ｄ4 ' を求めることができる。この仮想データＤ3 ' ，Ｄ4 ' は、内分点の計算法により
Ｄ3 ' ＝（１−Ｃ）×Ｄ3 ＋Ｃ×Ｄ4 …(1)
Ｄ4 ' ＝（１−Ｃ）×Ｄ4 ＋Ｃ×Ｄ 5 …(2)
で与えられる。
【００２４】
輝度データ；
輝度の積算は、絵素を中心に一致した仮想データを中心とし、画素単位で左右対称の仮想データまでを行う。この絵素における画像データＤ1 〜Ｄ6 と仮想データＤ1 ' 〜Ｄ6 ' を、横軸に画素数縦軸に画素データとして表すと図８に示したようになる。
【００２５】
この場合、積算は理想的には、輝度波形に沿った積分によりその面積を求めればよいが、計算量が膨大なため、台形近似により仮想データと両側の隣合う画素データを使って一定の範囲で求める。
【００２６】
図８で、仮想データＤ1 ' 〜Ｄ6 ' で分割された面積の内左側をＡ、右側をＢとすると絵素を中心に左右４画素の積算は、輝度波形の面積Ｓである輝度データ、
Ｓ＝Ｂ1 ＋Ａ2 ＋Ｂ2 ＋Ａ3 ＋Ｂ3 ＋Ａ4 ＋Ｂ4 ＋Ａ5 …(3)
として近似される。
【００２７】
この(3) 式の計算を行うためには、絵素中心の左側の画像データＤ3 を基準に、Ｄ1 ，Ｄ2 ，Ｄ3 ，Ｄ4 ，Ｄ5 ，Ｄ6 の６個の画像データとその各画素間で(1),(2) 式と同様に線形補間によって求めたＤ1 ' ，Ｄ2 ' ，Ｄ3 ' ，Ｄ4 ' ，Ｄ5 ' の５個の仮想データを用いて得た値であるＳを絵素の輝度データとすればよい。
【００２８】
また縦方向の積算については、横方向とは異なり、サンプリング位置によるずれが起こらないため、単純委縦方向の絵素中心位置を基準に画素単位の一定幅で加算を行う。
【００２９】
次に実際の計算を積算幅（横×縦）４×４として以下に説明する。
【００３０】
先ず実際の検査においては、最初に画像処理により絵素毎に位置検出が行われて各絵素の中心に対するずれ量Ｃが求められる。
【００３１】
図８では、中心の画像データは、Ｄ3 であり、このとき(1),(2) 式と同様に線形補間によって求めたＤ1 ' ，Ｄ2 ' ，Ｄ3 ' ，Ｄ4 ' ，Ｄ5 ' の５個の仮想データが与えられる。
【００３２】
画素間距離を１と考えると画素データＤ3 と仮想データＤ3 ' より得られる台形状の面積Ａ3 ，画像データＤ4 と仮想データＤ3 ' より得られる台形状の面積Ｂ3 は、それぞれ、
Ａ3 ＝（Ｄ3 ＋Ｄ3 ' ）×Ｃ／２ …(4)
Ｂ3 ＝（Ｄ4 ＋Ｄ3 ' ）×（１−Ｃ）／２ …(5)
で与えられる。
【００３３】
これを(1),(2) 式で変形すると、
Ａ3 ＝（２−Ｃ）Ｃ／２×Ｄ3 ＋Ｃ2 ／２×Ｄ4 …(6)
Ｂ3 ＝（１−Ｃ）2 ／２×Ｄ3 ＋（１−Ｃ2 ）／２×Ｄ4 …(7)
となる。
【００３４】
この(6),(7) 式を用いて、(3) 式で与えられる輝度データＳを求めると、
となる。
【００３５】
よって、絵素の輝度データＳは、３つの係数
Ｅ0 ＝（１−Ｃ）2 ／２ …(9)
Ｅ1 ＝（１＋２Ｃ−２Ｃ2 ）／２ …(10)
Ｅ2 ＝Ｃ2 ／２ …(11)
と、３つの加算された画素データ
【００３６】
【数１】
【００３７】
【数２】
【００３８】
【数３】
【００３９】
から
Ｓ＝Ｅ0 Ｆ0 ＋Ｅ1 Ｆ1 ＋Ｅ2 Ｆ2 …(15)
と表される。
【００４０】
また縦方向は、単純な加算となるため、基準としたＤ3 を３画素目の画像データとすると、数１〜３（(13)〜(14)式）は、
【００４１】
【数４】
【００４２】
【数５】
【００４３】
【数６】
【００４４】
となる。
【００４５】
これらから、加算サイズ（積算幅）Ｋ×Ｊ（Ｋは偶数）の絵素中心の左側の画像データ（画素数＝Ｎ）を基準とした絵素の輝度データＩN は、
ＩN ＝Ｅ0 Ｆ0 ＋Ｅ1 Ｆ1 ＋Ｅ2 Ｆ2 …(19)
【００４６】
【数７】
【００４７】
【数８】
【００４８】
【数９】
【００４９】
で与えられる。但し、Ｅ0 ，Ｅ1 ，Ｅ2 は(9),(10),(11) 式で与えられる。
【００５０】
この１９式で与えられる輝度データをここの絵素毎に算出した結果を最終的なカラーフィルタの輝度データとする。
【００５１】
さて、上述した算出方法を用いて実際のカラーフィルタの輝度データを計算する方法を図５により説明する。
【００５２】
図５は、絵素１０の中心Ｏに対してラインセンサの画素１３の中心がＣだけずれた状態で、画像データが得られたときの検出を説明するもので、点線１２は絵素１０の横方向中心、点線１６は絵素１０の縦方向中心を示し、中心Ｏに位置した横方向の画素数をＮ、縦方向の画素数をＭとし、横方向の主走査方向を＋、縦方向の副走査方向を＋とし、横方向を（Ｎ−３）〜（Ｎ＋４）まで、縦方向を（Ｍ−２）〜（Ｍ＋３）まで番地付けした画素１３（横×縦；８×６）を示している。
【００５３】
また上述した(19)式の変数である絵素毎の画像データの加算値Ｆ0 ，Ｆ1 ，Ｆ2 と位置決め位置の絵素列の絵素中心座標のデータを画像プロセッサ側で作成する。そしてこれらのデータで、変数Ｅ0 ，Ｅ1 ，Ｅ2 を算出した後に、この式に従って、絵素毎に輝度データを算出する。
【００５４】
上述のように、今、図５のように実数で求められる横方向の絵素の中心位置（Ｎ＋Ｃ；Ｃは座標値の小数点部分）がＮ≦Ｎ＋Ｃ＜Ｎ＋１）にあるときには、
1) 小数点以下を切り捨てた位置（Ｎ，Ｍ）での加算サイズＫ×Ｊ（Ｋは偶数）の加算値Ｆ0 、
2) 小数点以下を切り上げた位置（Ｎ＋１，Ｍ）での加算サイズＫ×Ｊ（Ｋは偶数）の加算値Ｆ1 ,
3) 小数点以下を切り上げて１足した位置（Ｎ＋２，Ｍ）での加算サイズＫ×Ｊ（Ｋは偶数）の加算値Ｆ2
を１絵素毎に対応させたデータとして画像プロセッサ側で作成する。
【００５５】
横方向の絵素中心の座標値から、
4) 横方向の絵素中心の座標値の小数点部分Ｃの関数である係数Ｅ0 ，Ｅ1 ，Ｅ2 を算出し、(19)式に従って絵素毎の輝度を計算する。
【００５６】
例えば、加算サイズ（積算幅）４×４の場合には、加算値Ｆ0 ，Ｆ1 ，Ｆ2 は
となる。
【００５７】
以上のように、本発明の検査システムにおいては、各絵素の輝度データを算出する場合に、画素データを加算して加算値Ｆ0 ，Ｆ1 ，Ｆ2 を求め、これと予め求めたＣの関数である係数Ｅ0 ，Ｅ1 ，Ｅ2 を掛け合わせれば求めることができる。
【００５８】
この本発明の検査システムを図１〜図３により説明する。
【００５９】
図１は、本発明の検査システムにおける検査装置のデータフローを示すもので、図において、２０はラインセンサ群、２１は、ラインセンサ群２０の利得を調整するゲイン調整回路、２２は、検出するカラーフィルタに照射するライン光源の光量を調整する照明光補正回路、２３は各絵素の輝度データのデータ圧縮回路、２４は絵素検出回路、２４はデータ合成回路、２５はノイズ除去回路、２６は色別分離回路、２７は欠陥合成判定回路である。
【００６０】
この図１において、ラインセンサカメラ群２０の各ラインセンサからの画像データが、それぞれゲイン調整回路２１に入力されて、各ラインセンサの受光量が一定となるように利得が調整され、次に照明光補正回路２２にてライン光源の光量が調整されたのち、１ライン分の絵素の画像データ情報がデータ圧縮回路２３にて輝度データとして圧縮されて、絵素検出回路２４に取り込まれる。その後データ合成回路２５に送られ、そこでディスプレイ１画面情報に合成され、絵素と無関係のノイズはノイズ除去回路２６にて除去され、次に色分離回路２７でＲＧＢの絵素毎に分けられると共に、各色（ＲＧＢ）の色ムラが欠陥合成判定回路２８で検出される。
【００６１】
本発明においては、データ圧縮回路２３にて、ラインセンサ群２０から順次出力される各画素データを遅延回路を通してパイプライン処理にて順次加算し、絵素に対応した画素データの画像圧縮データを３組作成することにある。
【００６２】
このデータ圧縮回路２３の詳細を図２により説明する。
【００６３】
先ずラインセンサ群２０からの画像データは、遅延回路３０にて、後述するパイプライン処理のため、一画素ごと遅らせた３組の画像データとする。この画像データをそれぞれ加算回路３１，３２，３３にて加算し、その加算データをメモリ３４に格納され、絵素検出回路２４の絵素データ抽出システム３６に入力される。
【００６４】
この際、絵素位置データが、画像データ圧縮システム制御部３５に入力され、遅延回路３０と各加算回路３１，３２，３３を制御して、絵素毎に加算する画像データを制御すると共に、絵素データ抽出システム３６で取り込む画素を制御する。
【００６５】
上述したように、各絵素の輝度データを得るには、先ずパイプライン処理にて、画像データを絵素位置に対応して加算し、これを圧縮データとし、同時に遅延回路３０で一画素遅らせた３組の画像圧縮データとしての３組の加算値Ｆ0 ，Ｆ1 ，Ｆ2 を求め、これを予め求めた各絵素の中心に対するずれ量Ｃで線形補間（直線補間）して補正することにより、つまり、式（１５）に示したように、３組の加算値Ｆ 0 ，Ｆ 1 ，Ｆ 2 と予め求めたＣの関数である係数Ｅ0 ，Ｅ1 ，Ｅ2 を掛け合わせれば求めることができる。
【００６６】
先ず、パイプライン処理は、図３に示すように、１つの命令を、複数のサブタックスに分割し、そのサブタックスを順番に１つずつ各々のステージを実行していく機構で、この機構を用いると、各命令をオーバーラップして実行できるため、実行速度が高速になる。図では処理を、フェッチ，デコード，リード，実行の４つのサブタックスに分割し、１命令の実行時間を１／４にした例を示している。
【００６７】
図４は、本発明のパイプライン処理によるデータ圧縮処理を概略的に示したもので、ｎ−２〜ｎ＋３の画像データを加算処理する例を示し、この画像データを第１〜４の加算器３７，３８，３９，４０で順次加算して、この合計値を圧縮データ３９とするもので、上述した図３の命令１〜４が第１〜４加算器３７，３８，３９，４０の加算処理の実行に当たる。
【００６８】
この加算処理は、画像データのデータレート（クロック）にして数クロックかかるため、サブタックに分割し画像データのフェーズをずらして加算することにより、１加算処理の実行時間を短くできる。
【００６９】
図２に戻って、本発明を説明すると、先ず、(1) 図４に示すように複数の加算器３７，３８，３９，４０（図２の加算回路３１〜３３の各々の加算回路に相当する）を用いてパイプライン処理することにより、データを圧縮（加算）する。(2) 遅延回路３０を用いて、１回の画像入力に対して、加算位置を一画素ずつずらした３組の演算をそれぞれ加算回路３１〜３３によって加算することで同時に行う。(3) 絵素の位置情報から作成された３組の圧縮（加算）データを使用し、絵素領域のみデータを絵素データ抽出システム３６で抽出し、各絵素毎に分布する画像データの微小変化を強調する。
【００７０】
この際、画像データ圧縮システム制御部３５は、絵素位置情報に従い、絵素領域のみの積算を行うためデータ圧縮回路２３のＯＮ／ＯＦＦ制御を行う。
【００７１】
【発明の効果】
以上要するに本発明によれば、パイプライン処理と遅延回路により高速でデータが圧縮でき、カラーフィルタ生産ライン速度に合わせた検出が可能になる。また絵素と画素のずれ量を画素毎に求めているため、データの精度が向上し、各絵素に分布する画像データの微小変化が強調でき、検査精度があがるとともに絵素領域のみの演算処理が可能になり、処理時間とメモリが少なくて済む。
【図面の簡単な説明】
【図１】本発明の一実施の形態を示し、検査のデータフローを説明する図である。
【図２】図１の要部の詳細図である。
【図３】本発明におけるパイプライン処理を説明する概念図である。
【図４】本発明において、パイプライン処理を適用したときのデータ圧縮処理を示す図である。
【図５】本発明において、絵素と画素の位置関係より絵素の輝度データを算出するための基本の説明図である。
【図６】先願の発明の検査システムにおける絵素とラインセンサの関係を説明する図である。
【図７】図６における絵素と画素のずれに基づく仮想データ算出を説明する図である。
【図８】先願の発明の検査システムにおける絵素の台形近似による輝度データの算出を説明する図である。
【図９】従来における。絵素とラインセンサの関係を示す図である。
【図１０】カラーフィルタのＣＣＤカメラの画素データを示す図である。
【符号の説明】
１０ 絵素
１３ 画素
２０ ラインセンサ群
３０ 遅延回路
３１，３２，３３ 加算回路
【発明の属する技術分野】
本発明は、液晶用カラーフィルタの色ムラを検査する液晶用カラーフィルタ色ムラ検査システムに関するものである。
【０００２】
【従来の技術】
カラー液晶ディスプレイにおける液晶パネルの構造としては、ガラス基板に透明電極及びＦＥＴマトリック層、液晶層、透明電極、カラーフィルタ、ガラス基板を積層し、その両ガラス基板の上下に偏光板を設けて構成される。
【０００３】
カラーフィルタは、Ｒ（赤），Ｇ（緑），Ｂ（青）の色ピクセルがドット単位で基板にコーティングされて配列されており、その配列方式も、ＲＧＢが縦方向に整列した縦ストライプ方式、ＲＧＢが分散したモザイク方式など、種々のものがある。
【０００４】
本発明者らは、特願平６−２６６５５７号（発明の名称；カラーフィルタ検査装置）にて、カラーフィルタ基板の一方にライン光源を配置し、他方にＣＣＤからなるラインセンサ群を配置して、カラーフィルタ基板の各ピクセル（以下絵素という）に付着したゴミや、基板全体の色ムラを検査する基本システムを提案し、また特願平７−２５０７２５号（発明の名称；カラーフィルタの輝度検出方法）にて、各絵素の輝度データより基板の色ムラを検出する方法を提案した。
【０００５】
ところで、従来の検査での絵素毎のデータの算出方法は、各絵素の中心を含むＣＣＤ画素を基準にして、絵素内に含まれるＣＣＤ画素データを積算して求めている。
【０００６】
これを、図９，図１０により説明する。
【０００７】
図９において、１０は、Ｒ，Ｇ，Ｂの絵素を示し、１１はＣＣＤラインセンサカメラ画素列を示している。
【０００８】
以下の説明では、ＣＣＤラインセンサカメラ画素列１１の並び方向を横方向、これに直交する検査ステージ（カラーフィルタ基板）の移動方向を縦方向と呼び、またＣＣＤカメラの出力である横方向のデータを画素データ、このデータから算出される絵素毎のデータを輝度データと呼ぶ。
【０００９】
絵素１０の横方向の積算は、点線１２で示された絵素１０の中心を基準に左右で塗りつぶされた範囲の画素データを積算する。この積算の範囲は、絵素の形状に合わせて決める（例えば、横×縦；４×７）。積算の範囲は、絵素位置のずれによる絵素毎の輝度データの変動を抑えるために、この塗りつぶされた範囲の輝度データを縦横方向の一定範囲（例えば、横×縦；３×５）内でずらした位置で複数算出し、その中の最大値を結果とする最大値フィルタ処理を行って算出するようにしている。
【００１０】
【発明が解決しようとする課題】
しかしながら、カラーフィルタの横方向の画素データは、図１０に示すように一絵素（図では便宜上（Ｒ）のみの画素データを示し、丸印がサンプリング点を示している）の横方向の画素データは、中心が輝度が高く左右端が輝度が落ちる波形の輝度分布となり、丸印で示した画素間での変化量が大きな形状となる。
【００１１】
このカラーフィルタの絵素のピッチは、約１００μｍ程度であるが、メーカー毎、対象製品毎に異なり、カメラ分解能（１５μｍ）の整数倍とは必ずしもならない。このためサンプリングされる位置は、絵素間で周期的に変動する。この結果画素毎に積算する画素データ値が周期的に変動し、輝度データも周期的に変動してしまい、正確な輝度データが取れないばかりか、周期的変動によるモアレ縞を検出してしまう。
【００１２】
そこで、本発明者らは上述した出願で、絵素と画素の位置ずれによる不具合をなくすべく、位置ずれに応じて画素間のデータを線形補間して、正確な輝度データを算出する検査方法を提案した。
【００１３】
この先願の発明において輝度データが正確に求められるが、処理するデータ量が膨大であり、大容量のメモリが必要になると共に、カラーフィルタの生産ライン速度に対して検査が間に合わない問題が発生する。
【００１４】
そこで、本発明の目的は、上記課題を解決し、色ムラ検出を高速に行える液晶用カラーフィルタ色ムラ検査システムを提供することにある。
【００１５】
【課題を解決するための手段】
上記目的を達成するために請求項１の発明は、 液晶用カラーフィルタの一方から光を当て他方に配置したラインセンサでこれを検出してカラーフィルタの色ムラを検出する液晶用カラーフィルタ色ムラ検査システムにおいて、ラインセンサの各画素から順次出力される各画素データを遅延回路を通してパイプライン処理にて順次加算すると共に絵素に対応した画素データの画像圧縮データを３組作成し、この３組の画像圧縮データより各絵素の輝度データを求めて色ムラを検出することを特徴とする液晶用カラーフィルタ色ムラ検査システムである。
【００１６】
請求項２の発明は、画素データの加算サイズは、カラーフィルタの絵素とラインセンサの画素のサイズに応じて決定する請求項１記載の液晶用カラーフィルタ色ムラ検査システムである。
【００１７】
【発明の実施の形態】
以下、本発明の好適一実施の形態を添付図面に基づいて詳述する。
【００１８】
先ず、図６〜図８にて検査システムの概要を説明する。
【００１９】
図６において、１０は、カラーフィルタ１８のＲ，Ｇ，Ｂの絵素を示し、１１はＣＣＤラインセンサカメラ画素列、１２は各絵素１０の中心線、１３はＣＣＤラインセンサカメラ画素列１１の各画素を示している。
【００２０】
絵素１０毎の透過光量である輝度データは、サンプリングするＣＣＤ画素１３の位置によらない常に絵素１０の中心を基準とした図で斜線で示した一定の範囲１４の面積で輝度を積算すれば、絵素の発光量として求められる。これは、絵素毎の透過光量の不均一の無い一様な絵素からなる理想的なフィルタでは一定となるが、図１０で説明したようにカラーフィルタの透過光量の波形は、山形になり画素間のデータが大きく相違する。
【００２１】
現状で、ラインセンサカメラの１画素は１５μｍ×１５μｍのエリアをカバーするが、各画素１３は、絵素１０の中心線１２を基準に対称に分布する保障はない。
【００２２】
図７（ａ）は、図でみて左側の絵素１０の中心線１２が画素１３の中心に一致した状態を示し、右側の絵素１０が中心線１２に対して画素単位（１５μｍ）でＣ（Ｃは画素間距離を１としたときの絵素中心からのずれ量で、小数点以下の部分）だけずれた場合には、左右非対称にサンプリングされることとなる。このため積算データも絵素の中心からずれた位置でのデータとなる。
【００２３】
仮想データ；
このとき図７（ｂ）に示すように、絵素の中心線１２に位置した画素１３を（３）とし、右側の画素を（４），（５）とし、それらの画像データをＤ3 ，Ｄ4 とし、その画像データＤ3 ，Ｄ4 間で直線補間を行い、絵素中心との画素のずれ量Ｃから、その直線状に絵素中心から画素ピッチ間隔でサンプリングされた場合の仮想データＤ3 ' ，Ｄ4 ' を求めることができる。この仮想データＤ3 ' ，Ｄ4 ' は、内分点の計算法により
Ｄ3 ' ＝（１−Ｃ）×Ｄ3 ＋Ｃ×Ｄ4 …(1)
Ｄ4 ' ＝（１−Ｃ）×Ｄ4 ＋Ｃ×Ｄ 5 …(2)
で与えられる。
【００２４】
輝度データ；
輝度の積算は、絵素を中心に一致した仮想データを中心とし、画素単位で左右対称の仮想データまでを行う。この絵素における画像データＤ1 〜Ｄ6 と仮想データＤ1 ' 〜Ｄ6 ' を、横軸に画素数縦軸に画素データとして表すと図８に示したようになる。
【００２５】
この場合、積算は理想的には、輝度波形に沿った積分によりその面積を求めればよいが、計算量が膨大なため、台形近似により仮想データと両側の隣合う画素データを使って一定の範囲で求める。
【００２６】
図８で、仮想データＤ1 ' 〜Ｄ6 ' で分割された面積の内左側をＡ、右側をＢとすると絵素を中心に左右４画素の積算は、輝度波形の面積Ｓである輝度データ、
Ｓ＝Ｂ1 ＋Ａ2 ＋Ｂ2 ＋Ａ3 ＋Ｂ3 ＋Ａ4 ＋Ｂ4 ＋Ａ5 …(3)
として近似される。
【００２７】
この(3) 式の計算を行うためには、絵素中心の左側の画像データＤ3 を基準に、Ｄ1 ，Ｄ2 ，Ｄ3 ，Ｄ4 ，Ｄ5 ，Ｄ6 の６個の画像データとその各画素間で(1),(2) 式と同様に線形補間によって求めたＤ1 ' ，Ｄ2 ' ，Ｄ3 ' ，Ｄ4 ' ，Ｄ5 ' の５個の仮想データを用いて得た値であるＳを絵素の輝度データとすればよい。
【００２８】
また縦方向の積算については、横方向とは異なり、サンプリング位置によるずれが起こらないため、単純委縦方向の絵素中心位置を基準に画素単位の一定幅で加算を行う。
【００２９】
次に実際の計算を積算幅（横×縦）４×４として以下に説明する。
【００３０】
先ず実際の検査においては、最初に画像処理により絵素毎に位置検出が行われて各絵素の中心に対するずれ量Ｃが求められる。
【００３１】
図８では、中心の画像データは、Ｄ3 であり、このとき(1),(2) 式と同様に線形補間によって求めたＤ1 ' ，Ｄ2 ' ，Ｄ3 ' ，Ｄ4 ' ，Ｄ5 ' の５個の仮想データが与えられる。
【００３２】
画素間距離を１と考えると画素データＤ3 と仮想データＤ3 ' より得られる台形状の面積Ａ3 ，画像データＤ4 と仮想データＤ3 ' より得られる台形状の面積Ｂ3 は、それぞれ、
Ａ3 ＝（Ｄ3 ＋Ｄ3 ' ）×Ｃ／２ …(4)
Ｂ3 ＝（Ｄ4 ＋Ｄ3 ' ）×（１−Ｃ）／２ …(5)
で与えられる。
【００３３】
これを(1),(2) 式で変形すると、
Ａ3 ＝（２−Ｃ）Ｃ／２×Ｄ3 ＋Ｃ2 ／２×Ｄ4 …(6)
Ｂ3 ＝（１−Ｃ）2 ／２×Ｄ3 ＋（１−Ｃ2 ）／２×Ｄ4 …(7)
となる。
【００３４】
この(6),(7) 式を用いて、(3) 式で与えられる輝度データＳを求めると、
【００３５】
よって、絵素の輝度データＳは、３つの係数
Ｅ0 ＝（１−Ｃ）2 ／２ …(9)
Ｅ1 ＝（１＋２Ｃ−２Ｃ2 ）／２ …(10)
Ｅ2 ＝Ｃ2 ／２ …(11)
と、３つの加算された画素データ
【００３６】
【数１】
【数２】
【数３】
から
Ｓ＝Ｅ0 Ｆ0 ＋Ｅ1 Ｆ1 ＋Ｅ2 Ｆ2 …(15)
と表される。
【００４０】
また縦方向は、単純な加算となるため、基準としたＤ3 を３画素目の画像データとすると、数１〜３（(13)〜(14)式）は、
【００４１】
【数４】
【数５】
【数６】
となる。
【００４５】
これらから、加算サイズ（積算幅）Ｋ×Ｊ（Ｋは偶数）の絵素中心の左側の画像データ（画素数＝Ｎ）を基準とした絵素の輝度データＩN は、
ＩN ＝Ｅ0 Ｆ0 ＋Ｅ1 Ｆ1 ＋Ｅ2 Ｆ2 …(19)
【００４６】
【数７】
【数８】
【数９】
で与えられる。但し、Ｅ0 ，Ｅ1 ，Ｅ2 は(9),(10),(11) 式で与えられる。
【００５０】
この１９式で与えられる輝度データをここの絵素毎に算出した結果を最終的なカラーフィルタの輝度データとする。
【００５１】
さて、上述した算出方法を用いて実際のカラーフィルタの輝度データを計算する方法を図５により説明する。
【００５２】
図５は、絵素１０の中心Ｏに対してラインセンサの画素１３の中心がＣだけずれた状態で、画像データが得られたときの検出を説明するもので、点線１２は絵素１０の横方向中心、点線１６は絵素１０の縦方向中心を示し、中心Ｏに位置した横方向の画素数をＮ、縦方向の画素数をＭとし、横方向の主走査方向を＋、縦方向の副走査方向を＋とし、横方向を（Ｎ−３）〜（Ｎ＋４）まで、縦方向を（Ｍ−２）〜（Ｍ＋３）まで番地付けした画素１３（横×縦；８×６）を示している。
【００５３】
また上述した(19)式の変数である絵素毎の画像データの加算値Ｆ0 ，Ｆ1 ，Ｆ2 と位置決め位置の絵素列の絵素中心座標のデータを画像プロセッサ側で作成する。そしてこれらのデータで、変数Ｅ0 ，Ｅ1 ，Ｅ2 を算出した後に、この式に従って、絵素毎に輝度データを算出する。
【００５４】
上述のように、今、図５のように実数で求められる横方向の絵素の中心位置（Ｎ＋Ｃ；Ｃは座標値の小数点部分）がＮ≦Ｎ＋Ｃ＜Ｎ＋１）にあるときには、
1) 小数点以下を切り捨てた位置（Ｎ，Ｍ）での加算サイズＫ×Ｊ（Ｋは偶数）の加算値Ｆ0 、
2) 小数点以下を切り上げた位置（Ｎ＋１，Ｍ）での加算サイズＫ×Ｊ（Ｋは偶数）の加算値Ｆ1 ,
3) 小数点以下を切り上げて１足した位置（Ｎ＋２，Ｍ）での加算サイズＫ×Ｊ（Ｋは偶数）の加算値Ｆ2
を１絵素毎に対応させたデータとして画像プロセッサ側で作成する。
【００５５】
横方向の絵素中心の座標値から、
4) 横方向の絵素中心の座標値の小数点部分Ｃの関数である係数Ｅ0 ，Ｅ1 ，Ｅ2 を算出し、(19)式に従って絵素毎の輝度を計算する。
【００５６】
例えば、加算サイズ（積算幅）４×４の場合には、加算値Ｆ0 ，Ｆ1 ，Ｆ2 は
【００５７】
以上のように、本発明の検査システムにおいては、各絵素の輝度データを算出する場合に、画素データを加算して加算値Ｆ0 ，Ｆ1 ，Ｆ2 を求め、これと予め求めたＣの関数である係数Ｅ0 ，Ｅ1 ，Ｅ2 を掛け合わせれば求めることができる。
【００５８】
この本発明の検査システムを図１〜図３により説明する。
【００５９】
図１は、本発明の検査システムにおける検査装置のデータフローを示すもので、図において、２０はラインセンサ群、２１は、ラインセンサ群２０の利得を調整するゲイン調整回路、２２は、検出するカラーフィルタに照射するライン光源の光量を調整する照明光補正回路、２３は各絵素の輝度データのデータ圧縮回路、２４は絵素検出回路、２４はデータ合成回路、２５はノイズ除去回路、２６は色別分離回路、２７は欠陥合成判定回路である。
【００６０】
この図１において、ラインセンサカメラ群２０の各ラインセンサからの画像データが、それぞれゲイン調整回路２１に入力されて、各ラインセンサの受光量が一定となるように利得が調整され、次に照明光補正回路２２にてライン光源の光量が調整されたのち、１ライン分の絵素の画像データ情報がデータ圧縮回路２３にて輝度データとして圧縮されて、絵素検出回路２４に取り込まれる。その後データ合成回路２５に送られ、そこでディスプレイ１画面情報に合成され、絵素と無関係のノイズはノイズ除去回路２６にて除去され、次に色分離回路２７でＲＧＢの絵素毎に分けられると共に、各色（ＲＧＢ）の色ムラが欠陥合成判定回路２８で検出される。
【００６１】
本発明においては、データ圧縮回路２３にて、ラインセンサ群２０から順次出力される各画素データを遅延回路を通してパイプライン処理にて順次加算し、絵素に対応した画素データの画像圧縮データを３組作成することにある。
【００６２】
このデータ圧縮回路２３の詳細を図２により説明する。
【００６３】
先ずラインセンサ群２０からの画像データは、遅延回路３０にて、後述するパイプライン処理のため、一画素ごと遅らせた３組の画像データとする。この画像データをそれぞれ加算回路３１，３２，３３にて加算し、その加算データをメモリ３４に格納され、絵素検出回路２４の絵素データ抽出システム３６に入力される。
【００６４】
この際、絵素位置データが、画像データ圧縮システム制御部３５に入力され、遅延回路３０と各加算回路３１，３２，３３を制御して、絵素毎に加算する画像データを制御すると共に、絵素データ抽出システム３６で取り込む画素を制御する。
【００６５】
上述したように、各絵素の輝度データを得るには、先ずパイプライン処理にて、画像データを絵素位置に対応して加算し、これを圧縮データとし、同時に遅延回路３０で一画素遅らせた３組の画像圧縮データとしての３組の加算値Ｆ0 ，Ｆ1 ，Ｆ2 を求め、これを予め求めた各絵素の中心に対するずれ量Ｃで線形補間（直線補間）して補正することにより、つまり、式（１５）に示したように、３組の加算値Ｆ 0 ，Ｆ 1 ，Ｆ 2 と予め求めたＣの関数である係数Ｅ0 ，Ｅ1 ，Ｅ2 を掛け合わせれば求めることができる。
【００６６】
先ず、パイプライン処理は、図３に示すように、１つの命令を、複数のサブタックスに分割し、そのサブタックスを順番に１つずつ各々のステージを実行していく機構で、この機構を用いると、各命令をオーバーラップして実行できるため、実行速度が高速になる。図では処理を、フェッチ，デコード，リード，実行の４つのサブタックスに分割し、１命令の実行時間を１／４にした例を示している。
【００６７】
図４は、本発明のパイプライン処理によるデータ圧縮処理を概略的に示したもので、ｎ−２〜ｎ＋３の画像データを加算処理する例を示し、この画像データを第１〜４の加算器３７，３８，３９，４０で順次加算して、この合計値を圧縮データ３９とするもので、上述した図３の命令１〜４が第１〜４加算器３７，３８，３９，４０の加算処理の実行に当たる。
【００６８】
この加算処理は、画像データのデータレート（クロック）にして数クロックかかるため、サブタックに分割し画像データのフェーズをずらして加算することにより、１加算処理の実行時間を短くできる。
【００６９】
図２に戻って、本発明を説明すると、先ず、(1) 図４に示すように複数の加算器３７，３８，３９，４０（図２の加算回路３１〜３３の各々の加算回路に相当する）を用いてパイプライン処理することにより、データを圧縮（加算）する。(2) 遅延回路３０を用いて、１回の画像入力に対して、加算位置を一画素ずつずらした３組の演算をそれぞれ加算回路３１〜３３によって加算することで同時に行う。(3) 絵素の位置情報から作成された３組の圧縮（加算）データを使用し、絵素領域のみデータを絵素データ抽出システム３６で抽出し、各絵素毎に分布する画像データの微小変化を強調する。
【００７０】
この際、画像データ圧縮システム制御部３５は、絵素位置情報に従い、絵素領域のみの積算を行うためデータ圧縮回路２３のＯＮ／ＯＦＦ制御を行う。
【００７１】
【発明の効果】
以上要するに本発明によれば、パイプライン処理と遅延回路により高速でデータが圧縮でき、カラーフィルタ生産ライン速度に合わせた検出が可能になる。また絵素と画素のずれ量を画素毎に求めているため、データの精度が向上し、各絵素に分布する画像データの微小変化が強調でき、検査精度があがるとともに絵素領域のみの演算処理が可能になり、処理時間とメモリが少なくて済む。
【図面の簡単な説明】
【図１】本発明の一実施の形態を示し、検査のデータフローを説明する図である。
【図２】図１の要部の詳細図である。
【図３】本発明におけるパイプライン処理を説明する概念図である。
【図４】本発明において、パイプライン処理を適用したときのデータ圧縮処理を示す図である。
【図５】本発明において、絵素と画素の位置関係より絵素の輝度データを算出するための基本の説明図である。
【図６】先願の発明の検査システムにおける絵素とラインセンサの関係を説明する図である。
【図７】図６における絵素と画素のずれに基づく仮想データ算出を説明する図である。
【図８】先願の発明の検査システムにおける絵素の台形近似による輝度データの算出を説明する図である。
【図９】従来における。絵素とラインセンサの関係を示す図である。
【図１０】カラーフィルタのＣＣＤカメラの画素データを示す図である。
【符号の説明】
１０ 絵素
１３ 画素
２０ ラインセンサ群
３０ 遅延回路
３１，３２，３３ 加算回路
Claims (2)
- 液晶用カラーフィルタの一方から光を当て他方に配置したラインセンサでこれを検出してカラーフィルタの色ムラを検出する液晶用カラーフィルタ色ムラ検査システムにおいて、ラインセンサの各画素から順次出力される各画素データを遅延回路を通してパイプライン処理にて順次加算すると共に絵素に対応した画素データの画像圧縮データを３組作成し、他方、予め絵素毎に位置検出を行って各絵素の中心に対するずれ量を求め、求めたずれ量で３組の画像圧縮データを線形補間することにより、各絵素の輝度データを求めて色ムラを検出することを特徴とする液晶用カラーフィルタ色ムラ検査システム。
- 画素データの加算サイズは、カラーフィルタの絵素とラインセンサの画素のサイズに応じて決定する請求項１記載の液晶用カラーフィルタ色ムラ検査システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10797796A JP3669045B2 (ja) | 1996-04-26 | 1996-04-26 | 液晶用カラーフィルタ色ムラ検査システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10797796A JP3669045B2 (ja) | 1996-04-26 | 1996-04-26 | 液晶用カラーフィルタ色ムラ検査システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09292307A JPH09292307A (ja) | 1997-11-11 |
| JP3669045B2 true JP3669045B2 (ja) | 2005-07-06 |
Family
ID=14472864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10797796A Expired - Fee Related JP3669045B2 (ja) | 1996-04-26 | 1996-04-26 | 液晶用カラーフィルタ色ムラ検査システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3669045B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8391585B2 (en) | 2006-12-28 | 2013-03-05 | Sharp Kabushiki Kaisha | Defect detecting device, defect detecting method, image sensor device, image sensor module, defect detecting program, and computer-readable recording medium |
| CN102768212B (zh) * | 2012-06-11 | 2014-06-25 | 陕西科技大学 | 一种基于压缩传感的水果缺陷分级方法 |
| CN111487036B (zh) * | 2020-04-10 | 2022-02-25 | 东莞高伟光学电子有限公司 | 一种基于Python的滤光片偏移检测方法 |
-
1996
- 1996-04-26 JP JP10797796A patent/JP3669045B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09292307A (ja) | 1997-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100739824B1 (ko) | 스크린의 일부의 변을 이용한 키스톤 보정 | |
| JP4699995B2 (ja) | 複眼撮像装置及び撮像方法 | |
| US6724945B1 (en) | Correcting defect pixels in a digital image | |
| EP2175232A1 (en) | Three-dimensional shape measuring device, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium | |
| JPH11122626A (ja) | 画像処理方法及び装置並びに画像処理プログラムを記録した記録媒体 | |
| JP2013074400A (ja) | 固体撮像装置 | |
| US7652698B2 (en) | Shading correction circuit of electronic camera | |
| JP7310606B2 (ja) | 二次元フリッカ測定装置及び二次元フリッカ測定方法 | |
| JP3706159B2 (ja) | カラー重ね合せ誤差の補正方法及び装置 | |
| JP3669045B2 (ja) | 液晶用カラーフィルタ色ムラ検査システム | |
| JP2008180602A (ja) | 検査装置、検査方法、検査プログラムおよびコンピュータ読み取り可能な記録媒体 | |
| JP2634401B2 (ja) | カラーテレビ受像機のコンバーゼンス測定装置 | |
| JPH09101236A (ja) | 表示欠陥検査装置および表示欠陥検査方法 | |
| US7697046B2 (en) | Image signal processing device and method of image signal processing including pixel array pattern determination | |
| JP2005121724A (ja) | 平面型表示装置の調整方法 | |
| JP2013130529A (ja) | 検査装置、検査システム、検査方法、コンピュータを検査装置として機能させるためのプログラム、コンピュータを検査システムとして機能させるためのプログラム、当該プログラムを格納したコンピュータ読み取り可能な不揮発性のデータ記録媒体 | |
| JP2011002401A (ja) | 輝度測定装置における補正係数算出方法および輝度測定装置 | |
| JP2003315914A (ja) | マルチプロジェクションシステム及びその画面調整方法 | |
| JP2000081368A (ja) | Ｌｃｄ パネル画質検査方法、ｌｃｄ パネル画質検査装置及び画像取込方法 | |
| JP4217493B2 (ja) | 画素シフトデジタルカメラの調整方法、画素シフトデジタルカメラシステム及び顕微鏡画素シフトデジタルカメラシステム | |
| JPH05308554A (ja) | 固体撮像素子の変位検出装置 | |
| JP2003234968A (ja) | 画像処理装置及び撮像装置 | |
| JP2000121570A (ja) | 欠陥検査装置 | |
| JPH0979946A (ja) | 表示装置の検査装置 | |
| JP2001231052A (ja) | 固体撮像素子出力信号処理方法およびそれを用いたカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040512 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040810 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041012 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050322 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050404 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080422 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080422 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |