JP3333686B2 - 表示画面検査方法 - Google Patents

表示画面検査方法

Info

Publication number
JP3333686B2
JP3333686B2 JP16978296A JP16978296A JP3333686B2 JP 3333686 B2 JP3333686 B2 JP 3333686B2 JP 16978296 A JP16978296 A JP 16978296A JP 16978296 A JP16978296 A JP 16978296A JP 3333686 B2 JP3333686 B2 JP 3333686B2
Authority
JP
Japan
Prior art keywords
density data
display
data
peak
density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP16978296A
Other languages
English (en)
Other versions
JPH1019731A (ja
Inventor
典昭 湯川
彰一 石井
秀司 植田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP16978296A priority Critical patent/JP3333686B2/ja
Priority to KR1019970026770A priority patent/KR100241504B1/ko
Priority to US08/881,799 priority patent/US5966458A/en
Priority to CNB971171114A priority patent/CN1135378C/zh
Publication of JPH1019731A publication Critical patent/JPH1019731A/ja
Application granted granted Critical
Publication of JP3333686B2 publication Critical patent/JP3333686B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/04Diagnosis, testing or measuring for television systems or their details for receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N2021/9513Liquid crystal panels
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1306Details
    • G02F1/1309Repairing; Testing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30121CRT, LCD or plasma display
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S345/00Computer graphics processing and selective visual display systems
    • Y10S345/904Display with fail/safe testing feature

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、表示画面検査方法
に関し、より詳細には、電子機器分野等で使用される液
晶パネル、シャドウマスク、CRTパネル、プラズマデ
ィスプレイ等の表示素子に関する点欠陥をはじめとする
検査を製造ラインにおいて自動的に良否を検査する表示
画面検査方法に関する。
【0002】
【従来の技術】表示素子に表示された画面を読み取る方
式としては、主な方法として、2次元センサであるCC
Dエリアセンサを用いる方法が挙げられる。2次元セン
サの行と列に配列された画素と表示素子の行と列に配列
された画素(以下、特に断らない限り、表示素子の画素
を「表示画素」と呼び、センサの画素を「センサ画素」
と呼ぶ)とを対応づけており、1つの表示画素に複数の
センサ画素を対応配置するのが一般的である。これを、
例えば、液晶パネルの640×400画素の表示素子に
おいて説明する。液晶パネルでは画素の表示点灯部分と
表示非点灯部分が存在する。この表示点灯部分の点灯検
査における点欠陥とは、液晶パネルの表示状態において
本来の表示点灯部分が点灯表示しない表示画存の集まり
である滅点と、非表示状態において本来の表示非点灯部
分が点灯表示してしまう表示画素の集まりである輝点と
に分けられる。例えば、これを自動的に検査するにあた
って、1つの表示画素に対し、3つのセンサ画素を割り
当てた場合、行方向に約2000画素が必要となる。
【0003】従来の方法の一例としては、表示素子の表
示点灯部分と表示非点灯部分のコントラスト差がないよ
うにあらかじめCCDエリアセンサのレンズ系を移動さ
せてCCD面に像を結ぶ位置をずらせる方法が採られて
いる。以下、CCD面に像を結ばせる状態のことを「フ
ォーカス状態」と呼び、像が結ばせられない状態を「デ
フォーカス状態」と呼ぶ。ここで、図10(a)に示す
ような、ある表示画素100を考える。この表示画素1
00上には、図10(a)に示すような滅点欠陥101
が存在するとする。図10(b)は、上記表示画素10
0上の1次元参照ライン102上の表示点灯部分10ケ
所のフォーカス状態での濃度分布データを示したもので
あり、その一部が表示点灯部分103、表示非点灯部分
104である。また、この濃度分布データには、上記滅
点欠陥101も存在する。図10(c)は上記表示画素
100のデフォーカス状態における濃度分布データを示
したものであり、背景濃度106に滅点欠陥部分105
(滅点欠陥101のデフォーカス状態)が存在する。こ
の背景濃度106とは、表示点灯部分103及び表示非
点灯部分104のデフォーカス状態の部分である。この
従来の方法は、程度の大きい点欠陥にはよく用いられ、
有効な方法である。ここにおける表示点灯部分と表示非
点灯部分のコントラストの差とは、受光したセンサ画素
におけるコントラストの差を言う。
【0004】
【発明が解決しようとする課題】しかしながら、上記の
従来例の方法では、次のような問題点がある。上記した
ようにデフォーカス状態にすることにより、点欠陥部分
と正常な部分とのコントラストの差が小さくなり、程度
の小さい点欠陥には充分な検出能力を保つことができな
い。つまり、表示素子の表示点灯部分と表示非点灯部分
のコントラストの差がなくなるまでデフォーカス状態に
する際に、程度の小さい点欠陥のコントラストの差もな
くなってしまい、このような程度の小さい点欠陥は検出
することができないといった問題がある。また、表示素
子の表示点灯部分の位置が正常かどうかを判断する必要
がある場合が存在する。しかしながら、上記したように
デフォーカス状態にすることにより、本来の表示点灯部
分の位置を判断することが困難になる。また、表示素子
の表示点灯部分の大きさが正常かどうか判断する必要が
ある場合が存在する。しかしながら、上記したようにデ
フォーカス状態にすることにより、本来の表示点灯部分
の大きさを判断することが困難になる。本発明の目的
は、上記問題を解決することにあって、デフォーカス状
態にする必要がなく、かつ、表示画面の点灯部分を複雑
な処理アルゴリズムを必要とすることなく、高速に検査
することができる表示画面検査方法を提供することにあ
る。
【0005】
【課題を解決するための手段】上記課題を解決するた
め、本発明は以下のように構成する。
【0006】本発明の第1態様によれば、表示素子の表
示画面を被検査体としてその欠陥判定を行う検査方法に
おいて、上記被検査体を撮像して得られる濃淡画像の各
画素の濃度データから、上記濃淡画像中に存在する上記
被検査体の表示点灯部分と表示非点灯部分の分離を行う
分離工程と、本来の表示点灯部分のみの画像データを選
択抽出して欠陥検査すべき画像データを圧縮する選択抽
出工程と、上記選択抽出された画像データを欠陥検査処
理する検査工程とを備えるとともに、上記選択抽出工程
において、上記表示点灯部分の位置は、上記濃淡画像の
濃度データのうち濃度データがピークを示す画素とし、
そのピークの濃度データとその周辺画素の濃度データと
で演算して得られた結果を上記表示点灯部分の代表濃度
データとし、上記表示点灯部分の位置と代表濃度データ
とに基づいて、本来の表示点灯部分のみの画像データを
選択抽出するとともに、上記表示点灯部分の位置及び上
記代表濃度データを得るとき、上記濃度データのピーク
が存在しなくても、前後表示点灯部分の濃度データから
本来表示点灯部分が存在する位置の濃度データを選択抽
出するようにしたことを特徴とする表示画面検査方法を
提供する。
【0007】
【0008】本発明の第2態様によれば、上記第1態様
において、上記選択抽出工程において、上記表示点灯部
分の位置は、上記濃淡画像の濃度データのうち濃度デー
タがピークを示す画素とし、そのピークの濃度データと
その周辺画素の濃度データとで演算して得られた結果を
上記表示点灯部分の代表濃度データとするとともに、上
記検査工程において、上記濃度データのピークの位置デ
ータから前後の表示点灯部分の位置データ間隔と異なる
部分を検出して、ピーク部分のずれを検出するように構
成することもできる。
【0009】本発明の第3態様によれば、上記第1又は
2態様において、上記選択抽出工程において、上記表示
点灯部分の位置は、上記濃淡画像の濃度データのうち濃
度データがピークを示す画素とし、そのピークの濃度デ
ータとその周辺画素の濃度データとで演算して得られた
結果を上記表示点灯部分の代表濃度データとするととも
に、上記検査工程において、上記周辺の濃度データのう
ち代表濃度データから算出される基準濃度を越える濃度
データの数を数えて、上記表示点灯部分の面積の大きさ
に欠陥が無いか否かの判断を行うように構成することも
できる。本発明の第4態様によれば、表示素子の表示画
面を被検査体としてその欠陥判定を行う検査方法におい
て、上記被検査体を撮像して得られる濃淡画像の各画素
の濃度データから、上記濃淡画像中に存在する上記被検
査体の表示点灯部分と表示非点灯部分の分離を行う分離
工程と、本来の表示点灯部分のみの画像データを選択抽
出して欠陥検査すべき画像データを圧縮する選択抽出工
程と、上記選択抽出された画像データを欠陥検査処理す
る検査工程とを備えるとともに、上記選択抽出工程にお
いて、上記表示点灯部分の位置は、上記濃淡画像の濃度
データのうち濃度データがピークを示す画素とし、その
ピークの濃度データとその周辺画素の濃度データとで演
算して得られた結果を上記表示点灯部分の代表濃度デー
タとするとともに、上記検査工程において、上記濃度デ
ータのピークの位置データから前後の表示点灯部分の位
置データ間隔と異なる部分を検出して、ピーク部分のず
れを検出するようにしたことを特徴とする表示画面検査
方法を提供する。本発明の第5態様によれば、表示素子
の表示画面を被検査体としてその欠陥判定を行う検査方
法において、上記被検査体を撮像して得られる濃淡画像
の各画素の濃度データから、上記濃淡画像中に存在する
上記被検査体の表示点灯部分と表示非点灯部分の分離を
行う分離工程と、本来の表示点灯部分のみの画像データ
を選択抽出して欠陥検査すべき画像データを圧縮する選
択抽出工程と、上記選択抽出された画像データを欠陥検
査処理する検査工程とを備えるとともに、上記選択抽出
工程において、上記表示点灯部分の位置は、上記濃淡画
像の濃度データのうち濃度データがピークを示す画素と
し、そのピークの濃度データとその周辺画素の濃度デー
タとで演算して得られた結果を上記表示点灯部分の代表
濃度データとするとともに、上記検査工程において、上
記周辺の濃度データのうち代表濃度データから算出され
る基準濃度を越える濃度データの数を数えて、上記表示
点灯部分の面積の大きさに欠陥が無いか否かの判断を行
うようにしたことを特徴とする表示画面検査方法を提供
する。本発明の第6態様によれば、上記選択抽出工程に
おいて、上記表示点灯部分の位置は、上記濃淡画像の濃
度データのうち濃度データがピークを示す画素とし、そ
のピークの濃度データとその周辺画素の濃度データとで
演算して得られた結果を上記表示点灯部分の代表濃度デ
ータとするとともに、上記検査工程において、上記濃度
データのピークの位置データから前後の表示点灯部分の
位置データ間隔と異なる部分を検出して、ピーク部分の
ずれを検出するようにした第1の態様に記載の表示画面
検査方法を提供する。本発明の第7態様によれば、上記
選択抽出工程において、上記表示点灯部分の位置は、上
記濃淡画像の濃度データのうち濃度データがピークを示
す画素とし、そのピークの濃度データとその周辺画素の
濃度データとで演算して得られた結果を上記表示点灯部
分の代表濃度データとするとともに、上記検査工程にお
いて、上記周辺の濃度データのうち代表濃度データから
算出される基準濃度を越える濃度データの数を数えて、
上記表示点灯部分の面積の大きさに欠陥が無いか否かの
判断を行うようにした第1の態様に記載の表示画面検査
方法を提供する。本発明の第8態様によれば、上記選択
抽出工程において、上記表示点灯部分の位置は、上記濃
淡画像の濃度データのうち濃度データがピークを示す画
素とし、そのピークの濃度データとその周辺画素の濃度
データとで演算して得られた結果を上記表示点灯部分の
代表濃度データとするとともに、上記検査工程におい
て、上記周辺の濃度データのうち代表濃度データから算
出される基準濃度を越える濃度データの数を数えて、上
記表示点灯部分の面積の大きさに欠陥が無いか否かの判
断を行うようにした第6の態様に記載の表示画面検査方
法を提供する。
【0010】
【発明の作用・効果】本発明の上記構成によれば、以下
のような作用効果を奏することができる。すなわち、分
離工程において、上記被検査体を撮像して得られる濃淡
画像の各画素の濃度データから、上記濃淡画像中に存在
する上記被検査体の表示点灯部分と表示非点灯部分の分
離を行い、選択抽出工程において、本来の表示点灯部分
のみの画像データを選択抽出して欠陥検査すべき画像デ
ータを圧縮し、検査工程において、上記選択抽出された
画像データを欠陥検査処理するようにしている。よっ
て、デフォーカス状態にする必要がなく、フォーカス状
態で検査可能となり、程度の小さい点欠陥の濃度データ
が欠落されることなく、撮像素子例えばセンサ画素に受
光できる。また、従来までは、表示画面検査処理を行う
にあたって画像処理メモリの空間が表示点灯部分と表示
非点灯部分に割り当てられ、その空間全体の濃度データ
に対して処理されていた。しかし、本発明の表示画面検
査方法の場合、表示素子の表示画素に相当する表示点灯
部分の濃度データのみを選択抽出するため、実際の検査
処理で扱う濃度データの量は極端に小さくすることがで
きる。これは言うまでもなく、処理時間の短縮に大きな
効果が得られるものである。また、本発明によれば、表
示素子の表示点灯部分の位置が正常かどうかの判断や、
表示素子の表示点灯部分の大きさが正常かどうかの判断
をも行うことが可能となる。
【0011】
【発明の実施の形態】以下、本発明の実施形態について
添付図面を参照しながら説明する。本発明の第1実施形
態にかかる表示画面検査方法では、表示素子の一例とし
て液晶パネル(LCD)を使用し、撮像素子の一例とし
てCCDエリアセンサを用いている。さて、表示素子、
CCDエリアセンサ、及び画像メモリは直交する2次元
的な広がりをもつ。しかし、2次元的な広がりを説明す
ると、いたずらに複雑になり理解を妨げることになるこ
と、さらに2次元のうちいずれかの1次元で理解できれ
ば、容易に2次元の理解に拡張できることから、ここで
は1次元で説明を行うことにする。また、表示素子及び
CCDエリアセンサはともに寸法精度の高いホトリソグ
ラフィ技術で作成しているため、表示画素のピッチ及び
CCDエリアセンサのセンサ画素のピッチはともに対象
が変わっても設計データが保たれているとする。この
際、光学系による部分的な歪みやぼけ等の影響は無視さ
れるものとする。また、本明細書では表示素子の発する
光の強さを「光強度」と言う。光強度は任意単位とし、
表示素子の各々の画素が発する単位面積当たりの光の強
さも、表示画素の全域に渡って積分した光の強さも、ま
たセンサ画素の受光面にできた画素像の単位面積当たり
の光の強さも、これらを全て「光強度」と表現する。
【0012】図1は、本発明の上記第1実施形態にかか
る表示画面検査装置の概略図である。被検査体である表
示素子1は検査ステージ2の上に設置され、表示素子1
の位置合わせマークを公知の方法で検出することによっ
て、表示素子1と検査ステージ2との間で正確な位置合
わせが行われる。この位置合わせ工程により、撮像素子
を有する検査カメラ3と表示素子1との位置関係はほぼ
一定に保たれる。特に、この位置合わせにより、2次元
的な回転ずれは常に解消されることになる。なお、回転
ずれが存在する場合に対しても、被検査体の回転角度
は、被検査体の外周表示部(外周の表示画素)の位置を
求めることによって、画像回転処理を行うことにより対
応できる。上記検査カメラ3の中の撮像素子のセンサ画
素からの画像データはセンサ画素に対して1対1に対応
づけられており、コンピュータ4の中の画像メモリ5に
転送される。コンピュータ4の中には、この画像メモリ
5の画像データを読み取り、所定の欠陥処理を行うプロ
グラムが格納されていることは言うまでもない。例えば
代表的な点欠陥処理の検査では、検査すべき点の画像デ
ータとその点の周りの画像データとの比較を行い、周り
よりも画像データの極端に濃度レベルの小さい画素があ
れば滅点と判断し、逆に周りよりも画像データの極端に
濃度レベルの大きい画素があれば輝点と判断するような
画像処理アルゴリズムがプログラムとしてコンピュータ
4に格納されている。また、線欠陥処理の検査では、行
方向及び列方向のいずれかに輝点又は滅点が続いた部分
を輝線又は滅線と判断する。
【0013】図2は本発明の上記実施形態を実現する処
理回路ブロック図を示している。この処理回路は図1の
装置のコンピュータ4に内蔵されている。まず、画像入
力回路101により撮像素子である検査カメラ3からの
画像データがコンピュータ4に格納される。次に、下記
の圧縮処理回路102により上記格納された画像データ
のうち必要な画像データのみが抽出されて圧縮加工処理
される。最後に、上記圧縮処理された画像データが検査
処理回路103により、予めコンピュータ4内に格納さ
れているプログラムにより画像処理アルゴリズムを動作
させる
【0014】図3は、表示画素像の光強度分布50が表
示画素像領域60との位置関係で示されている。さら
に、これらとの位置関係でセンサ画素領域70が示され
ている。ここでは、2つの例を図3(a)と図3(b)
に示している。すなわち、図3の(a)はセンサ画素領
域70の中心が光強度分布50のピーク位置にある場合
を示し、図3の(b)はセンサ画素領域70の中心が光
強度分布50のピーク位置からXだけ離れている場合を
示している。センサ画素が受光する光強度は、センサ画
素の有効領域に渡って光強度を積分した値であり、図中
の斜線部80で示した量である。表示素子の光強度分布
は一般に表示画素中央部でピークをもち、端部に向かう
に従って光強度が低下していく傾向がある。言うまでも
なく、表示画素の中心とセンサ画素の中心が近いほどセ
ンサ画素の受光する光強度は大きくなる。この図3
(a),(b)の例では、表示画素像領域60が影響を
及ぼす最大センサ画素数は3個である。つまり、表示画
素像領域60の光強度を求めるには、関係するセンサ画
素の光強度を積算すれば良い。本実施形態では、予め、
表示画素に対するセンサ画素の最大割当て画素を求めて
おく。
【0015】図4は、1次元に広がる20個のセンサ画
素70から得た画像メモリ上の濃度データ71を示す。
圧縮処理回路102により、この濃度データ71から繰
り返し濃度データの大小が図10(b)のように繰り返
され、表示画素の存在する部分と表示画素の存在しない
部分の判断がなされる。光学的倍率から、ピーク部分の
基準センサ画素間隔Pstdが求められる。図4では約
3.3画素である。被検査体に欠陥が無い場合は、基準
センサ画素間隔Pに従ってピーク部分が繰り返される。
ピーク部分が存在しなくても本来ピーク部分があるはず
の部分の濃度データを検出するために、次のような基準
を定め、基準を満たさない場合は圧縮変換処理を行う。
この基準を基準間隔下限比率D及び基準間隔上限比率U
とする。経験的に、Dを0.5、Uを1.5程度で実際
の処理を行っている。この設定から、基準間隔下限しき
い値Dthr、基準間隔上限しきい値Uthrは、次のように
なり、また求められたピーク部分の間隔がPであれば次
のような判断を行う。
【数1】Dthr=Pstd×D Uthr=Pstd×U 1)P<Dthrの場合 Pに関係するピーク部分の濃度データの小さい部分をピ
ーク部分から除外する。 2)P>Uthrの場合 Pの間に(P/Pstd)の数だけPstdに従った位置の濃
度データを抽出する。
【0016】図4では、この式からDthrが約1.7画
素、Uthrが約5.0画素になる。上記1)はピーク部
分の間隔が極端に小さい場合の圧縮変換処理方法、上記
2)はピーク部分の間隔が極端に大きい場合の圧縮変換
処理方法である。濃度データ71から順にA、B、C、
D(=D’)、E、Fとピーク部分が検出される。この
場合、A、B、C、D(=D’)、E、Fのピーク部分
の間隔はDthr、Uthrの条件を満たす。予め確認されて
いる通り、表示画素像領域60が影響を及ぼす最大セン
サ画素数は3個であるので、表示画素61〜66に対す
る代表濃度データは、ピーク濃度データと前後2画素を
含めた3画素の平均濃度値とする。また、ピーク部分の
画素位置をそのままピーク部分の位置としても問題はな
いが、さらにピーク部分の位置を正確に以下のように求
める。図6に示すように、ピーク部分Aを例にすると、
ピーク部分Aとその前後の濃度データをgA-1、gA、g
A+1、これらに対応するセンサ画素位置をpA-1、pA
A+1とする。表示画素の位置はこの3画素の加重平均
から以下のように求められる。
【数2】(gA-1×pA-1+gA×pA+gA+1×pA+1)/
(gA-1+gA+gA+1) なお、Dのように隣と同じ濃度データの場合は予め前後
どちらを採用するかを決めておく。ここで、図4に示す
ように20個あったセンサ画素は6個の表示画素代表濃
度データに圧縮変換される。
【0017】予め定められている位置にピーク部分が存
在しない場合が存在し、これは前述のピーク部分の間隔
PがUthrを越える場合である。例えば、本来3あるい
は4画素間隔でピーク部分が存在する場合で、その約
1.5倍間隔でピーク部分が存在しない場合、強制的に
本来ピーク部分が存在するべき部分3画素の濃度データ
の平均値を代表濃度データとして格納する。図5に、1
つのピーク部分が本来存在すべき位置に存在せず、前後
2つのピーク部分をもとに補間する例を示している。な
お、「●」の部分が本来ピーク部分の存在する画素20
0である。最後に、検査処理回路103により、上記の
圧縮変換された画像に対して欠陥処理の画像アルゴリズ
ムが適用される。つまり、代表的な点欠陥処理の検査で
は、ある画素の画像濃度データとその周りの画像濃度デ
ータとの比較を行い、周りよりも画像データの極端に小
さい画素があれば滅点と判断し、逆に周りよりも画像濃
度データの極端に大きい画素があれば輝点と判断する。
【0018】次に、本発明の第2の実施形態にかかる表
示画面検査方法を図7を参照しながら説明する。ここで
は、求められたセンサ画素上での表示画素の位置を基準
にピーク部分のずれを検出することを可能とする。図7
は、表示点灯部分が存在する表示画素列L−1、L、L
+1を示している。「○」の部分は、上記計算より求め
られた濃度データのピーク部分である表示画素中心であ
る。また、センサ画素は83のような「・」の部分に等
間隔で存在する。図より基準センサ画素間隔Pstdが約
4画素とすると、正常なピーク部分の間隔が82とする
と、異常間隔が80、81に存在することが図7におい
て確認される。また、この異常間隔の検出は、注目ピー
ク部分に対する上下のピーク部分の位置を比較すること
によっても行われる。異常位置であるピーク部分85は
その上下である表示画素列L−1、L、L+1を確認
し、表示画素列L−1、L、L+1のピーク部分86、
87の位置との差を求める。この差が所定しきい値間隔
を越えている場合は、注目ピーク部分を異常間隔を発生
させる部分と判断される。
【0019】次に、本発明の第3実施形態にかかる表示
画面検査方法を図8を参照しながら説明する。ここで
は、表示画素の大きさを評価することを可能とする。図
8は2次元に広がった表示画素の一部を示している。
「○」は表示点灯部分とみなしたセンサ画素、「●」は
その中のピーク濃度データをもつセンサ画素である。こ
こでは、標準的に表示画素に対して13個のセンサ画素
が割り当てられている。経験的に判断すると、標準的に
表示画素に対して10個以上のセンサ画素が割り当てら
れた場合、ピーク濃度データに対してその周辺に存在す
る一定比率以上の濃度データのセンサ画素を数えること
により、表示画素の大きさの判断が可能となる。圧縮変
換された画像に対して、上記の点欠陥処理の検査を行う
とともに、表示点灯部分と認められたセンサ画素の数を
評価することにより、欠陥処理の性能が高まる。図8で
は90はセンサ画素が11個で少なく、91はセンサ画
素が15個で多いことを示している。92は標準的な1
3個の部分である。
【0020】本発明の上記第1〜第3実施形態にかかる
表示画面検査方法によれば、表示画面の表示点灯部分の
みの画素データを抽出するため、必要な部分だけの画像
データの圧縮効果が生まれる。例えば、表示画面の水平
方向において表示画素1画素ピッチに対し、センサ画素
3画素が割り当てられている場合、水平方向の圧縮効果
は1/3になる。同様に垂直方向も1/3の圧縮効果が
得られる場合は、全体として1/9の圧縮効果が得られ
る。図9は、本発明の一実施形態を適用するにあたっ
て、輝線欠陥を含んだ被検査体の圧縮前の画像400と
圧縮後の画像(左上の小さな四角形の画像401を参
照)を重ねて表示した例である。水平方向及び垂直方向
にいずれも約1/3の圧縮がなされている。例えば、取
り込んだ画像が2000×2000の画像メモリ空間を
持つ場合、1/9の圧縮画像は約660×660の画像
メモリ空間となる。処理データ量に応じて処理時間が大
きく異なるため処理時間短縮に大きな効果があるのは言
うまでもない。さらに、表示画素の表示点灯部分と表示
非点灯部分を分離することにより、微妙な明るさの変化
をとらえることが可能となる。従来は、表示点灯部分と
表示非点灯部分を混同した状態で明るさの評価を行って
いたため、表示点灯部分が表示非点灯部分の影響を受け
てしまい、微妙な明るさの変化をとらえることができな
かった。
【0021】また、本発明の第2実施形態によれば、表
示素子の表示点灯部分の位置間隔を抽出することが可能
となり、異常な位置での点灯を確認することが可能とな
る。例えば、カラー液晶パネルの例を挙げる。カラー液
晶パネルでは、カラーフィルタ上に赤色、緑色、及び青
色が順番に規則正しく形成されている。正常な液晶パネ
ルでは、赤色を点灯させようとする際、赤色の部分の液
晶素子のみが光を透過させる。しかし、欠陥が存在する
液晶パネルでは、赤色のなかに本来点灯するはずの赤色
が点灯せずその隣の緑色が点灯する場合が発生する。本
発明では、このような欠陥に対して表示点灯部分の位置
間隔を評価することにより判断することが可能である。
また、CRTパネルでは、表示点灯部分の大きさが異な
る欠陥が存在する。これを孔大又は孔小と呼ぶ。本発明
の第3実施形態によれば、このような欠陥に対して表示
点灯部分の大きさを評価することにより判断することが
可能である。従って、本発明は、様々な種類の表示素子
の表示画面の検査に対して幅広く応用されることが可能
な汎用的な方法である。
【図面の簡単な説明】
【図1】 本発明の第1実施形態に使用する表示画面検
査方法を実施するための表示画面検査装置の概略構成図
である。
【図2】 本発明の第1実施形態の方法に使用する上記
装置の処理回路ブロック図である。
【図3】 表示画素とセンサ画素との相対位置関係を示
した図である。
【図4】 センサ画素の1次元濃度データを示した図で
ある。
【図5】 ピークが1つ存在しない場合のセンサ画素の
1次元濃度データを示した図である。
【図6】 ピーク濃度をもつセンサ画素前後の濃度分布
を示した図である。
【図7】 本発明の第2実施形態にかかる表示画面検査
方法を説明するために、センサ画素がとらえた表示画素
の画素間隔を示した図である。
【図8】 本発明の第3実施形態にかかる表示画面検査
方法を説明するために、2次元に広がった表示画素に割
り当てたセンサ画素を示した図である。
【図9】 圧縮前の画像と圧縮後の画像を重ねて示した
図である。
【図10】 (a)はある表示画素を示す図、(b)及
び(c)はそれぞれフォーカス状態とデフォーカス状態
での濃度データ分布を示した図である。
【符号の説明】
1 表示素子 2 検査ステージ 3 検査カメラ 4 コンピュータ 5 画像メモリ 101 画像入力回路 102 圧縮処理回路 103 検査処理回路
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−240802(JP,A) 特開 平6−11455(JP,A) 特開 平8−220009(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01M 11/00 - 11/08 G01N 21/84 - 21/958

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項1】 表示素子(1)の表示画面を被検査体と
    してその欠陥判定を行う検査方法において、上記被検査
    体を撮像して得られる濃淡画像の各画素の濃度データか
    ら、上記濃淡画像中に存在する上記被検査体の表示点灯
    部分と表示非点灯部分の分離を行う分離工程と、本来の
    表示点灯部分のみの画像データを選択抽出して欠陥検査
    すべき画像データを圧縮する選択抽出工程と、上記選択
    抽出された画像データを欠陥検査処理する検査工程とを
    備えるとともに、 上記選択抽出工程において、上記表示点灯部分の位置
    は、上記濃淡画像の濃度データのうち濃度データがピー
    クを示す画素とし、そのピークの濃度データとその周辺
    画素の濃度データとで演算して得られた結果を上記表示
    点灯部分の代表濃度データとし、上記表示点灯部分の位
    置と代表濃度データとに基づいて、本来の表示点灯部分
    のみの画像データを選択抽出するとともに、上記表示点
    灯部分の位置及び上記代表濃度データを得るとき、上記
    濃度データのピークが存在しなくても、前後表示点灯部
    分の濃度データから本来表示点灯部分が存在する位置の
    濃度データを選択抽出するようにしたことを特徴とする
    表示画面検査方法。
  2. 【請求項2】 上記選択抽出工程において、上記表示点
    灯部分の位置は、上記濃淡画像の濃度データのうち濃度
    データがピークを示す画素とし、そのピークの濃度デー
    タとその周辺画素の濃度データとで演算して得られた結
    果を上記表示点灯部分の代表濃度データとするととも
    に、上記検査工程において、上記濃度データのピークの
    位置データから前後の表示点灯部分の位置データ間隔と
    異なる部分を検出して、ピーク部分のずれを検出するよ
    うにした請求項1に記載の表示画面検査方法。
  3. 【請求項3】 上記選択抽出工程において、上記表示点
    灯部分の位置は、上記濃淡画像の濃度データのうち濃度
    データがピークを示す画素とし、そのピークの濃度デー
    タとその周辺画素の濃度データとで演算して得られた結
    果を上記表示点灯部分の代表濃度データとするととも
    に、上記検査工程において、上記周辺の濃度データのう
    ち代表濃度データから算出される基準濃度を越える濃度
    データの数を数えて、上記表示点灯部分の面積の大きさ
    に欠陥が無いか否かの判断を行うようにした請求項1又
    は2に記載の表示画面検査方法。
  4. 【請求項4】 表示素子(1)の表示画面を被検査体と
    してその欠陥判定を行う検査方法において、上記被検査
    体を撮像して得られる濃淡画像の各画素の濃度データか
    ら、上記濃淡画像中に存在する上記被検査体の表示点灯
    部分と表示非点灯部分の分離を行う分離工程と、本来の
    表示点灯部分のみの画像データを選択抽出して欠陥検査
    すべき画像データを圧縮する選択抽出工程と、上記選択
    抽出された画像データを欠陥検査処理する検査工程とを
    備えるとともに、 上記選択抽出工程において、上記表示点灯部分の位置
    は、上記濃淡画像の濃度データのうち濃度データがピー
    クを示す画素とし、そのピークの濃度データとその周辺
    画素の濃度データとで演算して得られた結果を上記表示
    点灯部分の代表濃度データとするとともに、上記検査工
    程において、上記濃度データのピークの位置データから
    前後の表示点灯部分の位置データ間隔と異なる部分を検
    出して、ピーク部分のずれを検出するようにしたことを
    特徴とする表示画面検査方法。
  5. 【請求項5】 表示素子(1)の表示画面を被検査体と
    してその欠陥判定を行う検査方法において、上記被検査
    体を撮像して得られる濃淡画像の各画素の濃度データか
    ら、上記濃淡画像中に存在する上記被検査体の表示点灯
    部分と表示非点灯部分の分離を行う分離工程と、本来の
    表示点灯部分のみの画像データを選択抽出して欠陥検査
    すべき画像データを圧縮する選択抽出工程と、上記選択
    抽出された画像データを欠陥検査処理する検査工程とを
    備えるとともに、 上記選択抽出工程において、上記表示点灯部分の位置
    は、上記濃淡画像の濃度データのうち濃度データがピー
    クを示す画素とし、そのピークの濃度データとその周辺
    画素の濃度データとで演算して得られた結果を上記表示
    点灯部分の代表濃度データとするとともに、上記検査工
    程において、上記周辺の濃度データのうち代表濃度デー
    タから算出される基準濃度を越える濃度データの数を数
    えて、上記表示点灯部分の面積の大きさに欠陥が無いか
    否かの判断を行うようにしたことを特徴とする表示画面
    検査方法。
  6. 【請求項6】 上記選択抽出工程において、上記表示点
    灯部分の位置は、上記濃淡画像の濃度データのうち濃度
    データがピークを示す画素とし、そのピークの濃度デー
    タとその周辺画素の濃度データとで演算して得られた結
    果を上記表示点灯部分の代表濃度データとするととも
    に、上記検査工程において、上記濃度データのピークの
    位置データから前後の表示点灯部分の位置データ間隔と
    異なる部分を検出して、ピーク部分のずれを検出するよ
    うにした請求項1に記載の表示画面検査方法。
  7. 【請求項7】 上記選択抽出工程において、上記表示点
    灯部分の位置は、上記濃淡画像の濃度データのうち濃度
    データがピークを示す画素とし、そのピークの濃度デー
    タとその周辺画素の濃度データとで演算して得られた結
    果を上記表示点灯部分の代表濃度データとするととも
    に、上記検査工程において、上記周辺の濃度データのう
    ち代表濃度データから算出される基準濃度を越える濃度
    データの数を数えて、上記表示点灯部分の面積の大きさ
    に欠陥が無いか否かの判断を行うようにした請求項1に
    記載の表示画面検査方法。
  8. 【請求項8】 上記選択抽出工程において、上記表示点
    灯部分の位置は、上記濃淡画像の濃度データのうち濃度
    データがピークを示す画素とし、そのピークの濃度デー
    タとその周辺画素の濃度データとで演算して得られた結
    果を上記表示点灯部分の代表濃度データとするととも
    に、上記検査工程において、上記周辺の濃度データのう
    ち代表濃度データから算出される基準濃度を越える濃度
    データの数を数えて、上記表示点灯部分の面積の大きさ
    に欠陥が無いか否かの判断を行うようにした請求項6に
    記載の表示画面検査方法。
JP16978296A 1996-06-28 1996-06-28 表示画面検査方法 Expired - Fee Related JP3333686B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP16978296A JP3333686B2 (ja) 1996-06-28 1996-06-28 表示画面検査方法
KR1019970026770A KR100241504B1 (ko) 1996-06-28 1997-06-24 표시 스크린 검사 방법
US08/881,799 US5966458A (en) 1996-06-28 1997-06-24 Display screen inspection method
CNB971171114A CN1135378C (zh) 1996-06-28 1997-06-27 显示屏检查方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16978296A JP3333686B2 (ja) 1996-06-28 1996-06-28 表示画面検査方法

Publications (2)

Publication Number Publication Date
JPH1019731A JPH1019731A (ja) 1998-01-23
JP3333686B2 true JP3333686B2 (ja) 2002-10-15

Family

ID=15892777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16978296A Expired - Fee Related JP3333686B2 (ja) 1996-06-28 1996-06-28 表示画面検査方法

Country Status (4)

Country Link
US (1) US5966458A (ja)
JP (1) JP3333686B2 (ja)
KR (1) KR100241504B1 (ja)
CN (1) CN1135378C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105699049A (zh) * 2016-01-08 2016-06-22 深圳控石智能系统有限公司 一种自动图像质量检测机具及其使用方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6154561A (en) * 1997-04-07 2000-11-28 Photon Dynamics, Inc. Method and apparatus for detecting Mura defects
US6219443B1 (en) * 1998-08-11 2001-04-17 Agilent Technologies, Inc. Method and apparatus for inspecting a display using a relatively low-resolution camera
WO2003005335A1 (en) * 2001-07-05 2003-01-16 Photon Dynamics, Inc. Moire suppression method and apparatus
FR2833743B1 (fr) * 2001-12-17 2004-02-20 Eldim Procede et dispositif a faible resolution d'acquisition pour le controle d'un ecran d'affichage
JP2004069673A (ja) * 2002-06-11 2004-03-04 Nec Corp 外観検査装置および外観検査方法
CN1323545C (zh) * 2004-06-22 2007-06-27 东软飞利浦医疗设备系统有限责任公司 医学影像坏点自动检测门限确定方法
US20050286753A1 (en) * 2004-06-25 2005-12-29 Triant Technologies Inc. Automated inspection systems and methods
KR20060044032A (ko) * 2004-11-11 2006-05-16 삼성전자주식회사 표시패널용 검사 장치 및 이의 검사 방법
JP4799329B2 (ja) * 2006-09-07 2011-10-26 株式会社東芝 ムラ検査方法、表示パネルの製造方法及びムラ検査装置
CN101644919A (zh) * 2008-08-04 2010-02-10 施耐德电器工业公司 工业人机界面视觉检测系统和方法
JP5121685B2 (ja) * 2008-12-12 2013-01-16 株式会社東芝 バーコード読取装置、バーコード読取プログラム、バーコード読取方法
EP2200334A1 (en) * 2008-12-18 2010-06-23 Thomson Licensing Display device with feedback elements and method for monitoring
CN101800142A (zh) * 2009-12-31 2010-08-11 四川虹欧显示器件有限公司 等离子显示屏荧光粉涂布缺陷的检测方法及检测设备
WO2013014849A1 (ja) * 2011-07-26 2013-01-31 日本電気株式会社 画面検査装置、画面検査方法、及びプログラム
TWI512277B (zh) * 2013-01-04 2015-12-11 Taiwan Power Testing Technology Co Ltd 顯示器之檢測設備
WO2016207703A1 (en) 2015-06-23 2016-12-29 Bosch Car Multimedia Portugal, S.A. Apparatus and method for detection of pixel or sub-pixel functional defects of an image display
CN107389307A (zh) * 2016-12-31 2017-11-24 深圳眼千里科技有限公司 屏幕自动检测机
CN106910444B (zh) * 2017-02-28 2020-11-27 京东方科技集团股份有限公司 点灯装置和点灯测试方法
CN108303424A (zh) * 2018-01-02 2018-07-20 京东方科技集团股份有限公司 显示面板检测装置及其检测方法
CN108020563A (zh) * 2018-01-08 2018-05-11 凯吉凯精密电子技术开发(苏州)有限公司 Oled面板用外观缺陷检测系统及其检测方法
CN109658320B (zh) * 2018-11-05 2023-04-07 苏州佳智彩光电科技有限公司 一种异形显示屏子像素辉度采集方法
CN111579211B (zh) * 2020-05-19 2022-09-30 Oppo(重庆)智能科技有限公司 显示屏的检测方法、检测装置及计算机存储介质
CN114298254B (zh) * 2021-12-27 2024-03-15 亮风台(上海)信息科技有限公司 一种获取光学设备的显示参数测试信息的方法与设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04158238A (ja) * 1990-10-22 1992-06-01 Ezel Inc 液晶パネルの検査方法
JPH055709A (ja) * 1991-06-27 1993-01-14 Matsushita Electric Ind Co Ltd 画面検査装置
US5764209A (en) * 1992-03-16 1998-06-09 Photon Dynamics, Inc. Flat panel display inspection system
JP3297950B2 (ja) * 1993-07-13 2002-07-02 シャープ株式会社 平面型表示パネル検査装置
US5504504A (en) * 1994-07-13 1996-04-02 Texas Instruments Incorporated Method of reducing the visual impact of defects present in a spatial light modulator display
JP3471436B2 (ja) * 1994-08-19 2003-12-02 株式会社アドバンテスト 画質検査装置及びその画像合成方法
JP3190238B2 (ja) * 1995-10-31 2001-07-23 シャープ株式会社 アクティブマトリクス液晶パネルの欠陥検出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105699049A (zh) * 2016-01-08 2016-06-22 深圳控石智能系统有限公司 一种自动图像质量检测机具及其使用方法

Also Published As

Publication number Publication date
KR980007802A (ko) 1998-03-30
US5966458A (en) 1999-10-12
CN1135378C (zh) 2004-01-21
KR100241504B1 (ko) 2000-02-01
JPH1019731A (ja) 1998-01-23
CN1174394A (zh) 1998-02-25

Similar Documents

Publication Publication Date Title
JP3333686B2 (ja) 表示画面検査方法
KR100819412B1 (ko) 결함 검출 방법 및 결함 검출 장치
JP2005331929A (ja) 画像解析方法、画像解析プログラム、及びそれらを有する画素評価システム
JPH0713598B2 (ja) 周期性パタ−ンの欠陥検査方法
JP3695120B2 (ja) 欠陥検査方法
JP2005249415A (ja) シミ欠陥の検出方法及び装置
US7668344B2 (en) Stain inspection method and apparatus
JP2003167530A (ja) ディスプレイ画面検査方法およびディスプレイ画面検査装置
JP5257063B2 (ja) 欠陥検出方法および欠陥検出装置
JP2009281759A (ja) カラーフィルタ欠陥検査方法、及び検査装置、これを用いたカラーフィルタ製造方法
JP3127598B2 (ja) 画像中の濃度変動構成画素抽出方法および濃度変動塊判定方法
JPH11132750A (ja) 点欠陥検出装置及び方法
JP3584507B2 (ja) パタンムラ検査装置
JP2005140655A (ja) シミ欠陥の検出方法及びその検出装置
JP3870208B2 (ja) 画像処理方法及び検査装置
JPH0979946A (ja) 表示装置の検査装置
JP3433333B2 (ja) 欠陥検査方法
JPH08327497A (ja) カラー液晶表示パネルの検査方法
JP2010044010A (ja) 網入りまたは線入りガラスの欠陥検出方法
JP3829024B2 (ja) 表示画面の検査方法と装置
JPH0643968B2 (ja) シヤドウマスクの欠陥検査方法
JP2001083474A (ja) 液晶表示パネルの検査方法
JP3400859B2 (ja) 欠陥パターンの検出方法及びその装置
KR100289442B1 (ko) 화상디바이스 검사를 위한 먼지 구별 장치 및 그 방법
JP3245066B2 (ja) 表示パネルの欠陥検査装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070726

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080726

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090726

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090726

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100726

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110726

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110726

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120726

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees