JP4664417B2 - 表示パネル点灯検査装置、及び表示パネル点灯検査方法。 - Google Patents

表示パネル点灯検査装置、及び表示パネル点灯検査方法。 Download PDF

Info

Publication number
JP4664417B2
JP4664417B2 JP2009077284A JP2009077284A JP4664417B2 JP 4664417 B2 JP4664417 B2 JP 4664417B2 JP 2009077284 A JP2009077284 A JP 2009077284A JP 2009077284 A JP2009077284 A JP 2009077284A JP 4664417 B2 JP4664417 B2 JP 4664417B2
Authority
JP
Japan
Prior art keywords
defect
line
display panel
line defect
inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009077284A
Other languages
English (en)
Other versions
JP2010230435A (ja
Inventor
修平 山本
泰広 上田
秀信 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2009077284A priority Critical patent/JP4664417B2/ja
Priority to PCT/JP2010/002075 priority patent/WO2010109856A1/ja
Publication of JP2010230435A publication Critical patent/JP2010230435A/ja
Application granted granted Critical
Publication of JP4664417B2 publication Critical patent/JP4664417B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1306Details
    • G02F1/1309Repairing; Testing

Landscapes

  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Liquid Crystal (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Description

本発明は、液晶パネル、ELパネル等に代表されるマトリックス駆動型の表示パネルに対して駆動信号を与えて点灯状態にし、該表示パネルの欠陥状況を検査するための表示パネル点灯検査装置に関する。
ハイビジョン放送の開始および普及に併せ、高品質な画像表示装置を備えたテレビが広く普及している。この高品質な画像表示装置には、液晶パネルに代表される大画面、高精細、薄型の所謂フラットパネルディスプレイ(FPD)が用いられているが、表示画面中に輝点等の欠陥があると著しく表示品質を損なうこととなり、そのような欠陥のないフラットパネルディスプレイが望まれている。
従来、液晶パネル等のフラットパネルディスプレイ(FPD)は、品質確保のために、表示装置内の微小な点欠陥、異物欠陥、シミ、ムラ等を、実際の点灯状態にして目視により検査を行っている。然しながら、FPDのサイズの大型化が進み、大画面の中に存在する微小な点欠陥や異物欠陥を目視により検出することは多くの時間を要し、さらには目視検査員の疲労により微小欠陥を見逃す等の問題が発生している。また、目視によって見つけた欠陥位置、欠陥種別を正確に記録し、修正やプロセス改善のためのフィードバック情報とすることは困難であった。
このような課題に対して、被検査表示パネルに駆動信号を与えて点灯状態とし、エリアセンサを用いて被検査表示パネルの表示画面を撮像し、画像処理により検査を自動化するものが提案されている。このような自動検査では、画像処理により欠陥の強度を計測し、予め設定された検出閾値以上のものを欠陥と判定することが求められ、目視検査員が被検査表示パネルを見た時の印象、判断に近似した判定となることが必要であった。
特許文献1には、上記のような要請に応えるものとして、検査画面の画質を定量的に評価する方法が記載されている。例えば、検出対象の欠陥には、被検査表示パネルの水平方向、又は垂直方向に現れる線欠陥があるが、この線欠陥を含む画像を、エリアセンサによって撮像し、この撮像画像を所定のアルゴリズムによって処理することにより線欠陥の自動検出が行われる。線欠陥が検出された場合には、その長さ、太さ、コントラスト等の要素が総合的に判断されて、被検査表示パネルの良/不良の判定、さらには、A〜D等のランク判定が行われる。
このような判定を目視検査員の判断に近似した判定とするために、例えば、線欠陥のコントラストが低くても長さが長ければ目立つために不良判定とし、線欠陥のコントラストが高くても長さが短ければ目立たないため良品と判定している。
特許文献2には、欠陥を定量的に評価することが可能な指標を導入した表示パネル検査方法が記載されている。即ち、検査員の目視による判定では、個々人の官能やスキルに依存することから、バラツキが生じやすいが、これを回避するために、画像をエリアセンサによって取り込み、この取り込んだ画像を、特定のアルゴリズムによって処理し、画質指数を求める。例えば、取り込んだ画像を微分処理し、同じ微分値の領域の面積を乗じて総和を求めて画質指数としている。そして、この指数に従って表示パネルの評価を行っている。
特開2006−250876号公報(平成18年9月21日公開) 特開2000−215310号公報(平成12年8月4日公開)
自動検査により欠陥が検出された表示パネルの中には、欠陥の種類により、リペア工程で修復可能なものがある。工場生産管理システム(CIM)及び搬送ラインは、自動検査による判定、又は詳細な検査結果を利用して、被検査表示パネルを各々のリペア工程へ仕向ける。例えば、レーザーリペア工程では、作業員が、自動検査の結果を利用して、欠陥画素へと顕微鏡視野を移動させ、欠陥画素を確認しながら欠陥の原因となっている配線を切断し、正常な画素へと修正する。
先行技術文献である特許文献1や特許文献2に記載の技術では、目視検査員の判断に近似した判定や官能的な判定を安定的に行うことは可能であるが、その欠陥が修復可能か否かを判定し、出力することができず、又、仮に修復可能であったとしてもその修復箇所を特定して出力することはできない。また、どのような欠陥であるかを判定できないため、修復の必要な表示パネルを、最適なリペア工程に仕向けることが出来ない。また、修復すべき箇所の位置が明確でないために、例えば、線欠陥を修復するために顕微鏡視野位置を移動させるのに時間を要することになる。
本発明は、上述の従来技術の課題に鑑みて成されたものであり、表示パネルの欠陥を発見できると共に、前記欠陥が発見された被検査表示パネルを、欠陥の種類ごとに分類可能であり、且つ、前記欠陥の位置情報をも出力できる表示パネル検査装置を提供することを目的としている。
上述の課題を解決するために、本発明に係る表示パネル点灯検査装置では、
表示パネルを1種類以上の表示モードで点灯駆動するための信号発生器と、点灯駆動された表示パネルの表示画像を撮像する撮像装置と、前記撮像装置によって撮像された表示パネルの点灯画面を検査および分析して欠陥に関するデータを取得する検査処理部と、前記検査処理部からの欠陥に関するデータを用いて前記表示パネルの欠陥を欠陥の種類別に分類する欠陥分類処理部とを備えた表示パネル点灯検査装置であって、
前記欠陥分類処理部は、予め準備された欠陥分類表と前記検査処理部から得られた前記欠陥に関するデータとを対比して、欠陥を種類別に分類し、欠陥の種別及び欠陥の位置を出力することを特徴としている。
これによれば、表示パネルの欠陥の種別とその位置を容易に知ることが出来、リペア可能な欠陥の場合には、表示パネルをそのリペアに最適なリペア工程に送ることが出来る。
上述の課題を解決するために、本発明に係る別の表示パネル点灯検査装置では、
検査対象の表示パネルの機種情報及び検査レシピを受信すると共に、検査対象の表示パネルに対して前記表示パネルの機種及び検査レシピに応じた検査を自動的に行わせる制御部を備えたことを特徴としている。
これによれば、表示パネルの点灯検査を全自動化して行うことが可能になる。
上述の課題を解決するために、本発明に係る別の表示パネル点灯検査装置では、
前記欠陥が線欠陥であって、
前記検査処理部は、少なくとも一種類以上の前記点灯画面の撮像画像から各々の点灯画面における線欠陥を検出する線欠陥検出部と、前記検出された複数の線欠陥を一つの線欠陥に統合する線欠陥統合部と、前記統合された線欠陥の夫々について、断線による欠陥か否かを検出し、断線である場合に表示パネル上における断線位置を検出する断線位置検出部と、前記統合された線欠陥の夫々について、水平方向、及び垂直方向の線欠陥の交点位置を検出する交点位置検出部と、を有することを特徴としている。
これによれば、線欠陥の種別と欠陥位置を容易に検出することが出来、リペア可能な断線欠陥あるいはリーク欠陥を有する表示パネルを最適のリペア工程に移送することが出来る。
上述の課題を解決するために、本発明に係る別の表示パネル点灯検査装置では、
前記複数の線欠陥を一つの線欠陥に統合する線欠陥統合部は、少なくとも、一種類以上の点灯画面で検出された線欠陥に対して、同一方向の線欠陥の中から異なる点灯画面で検出された線欠陥を統合候補として抽出する抽出部と、前記抽出された線欠陥の統合候補の中から欠陥方向に関する位置が完全、又は前記の位置が一部含有する候補を統合する統合部と、を有することを特徴としている。
これによれば、本来1つの欠陥から生じている欠陥を統合することが出来、検査をより効率的に行うことが可能となる。
上述の課題を解決するために、本発明に係る別の表示パネル点灯検査装置では、前記表示パネルが液晶パネルであることを特徴としている。
これによれば、最も普及しているフラットパネルディスプレイ(FPD)である液晶パネルの欠陥を効率よく検査できる。
上述の課題を解決するために、本願の別発明に係る表示パネル点灯検査方法では、
検査対象の表示パネルを1種類以上の表示モードで点灯駆動して、点灯駆動された表示パネルの表示画像から、表示パネルの欠陥の種別と欠陥の位置を検出する表示パネル点灯検査方法であって、前記点灯駆動された表示パネルの表示画像を取得する画像取得ステップと、前記画像取得ステップによって得られた表示画像を検査および分析して欠陥に関するデータを取得する検査ステップと、予め準備された欠陥分類表と、前記検査ステップで得られた欠陥に関するデータとを比較して、欠陥を種類別に分類し、欠陥の種別及び欠陥の位置を出力するステップと、を有することを特徴としている。
これによれば、精度の高い表示パネルの点灯検査を効率よく行うことが可能となる。
上述の課題を解決するために、本発明に係る別の表示パネル点灯検査方法では、
前記表示パネルの欠陥は線欠陥であって、前記検査ステップは、前記画像取得ステップで取得した表示画像の線欠陥を検出する線欠陥検出ステップと、前記検出された複数の線欠陥を一つの線欠陥に統合する線欠陥統合ステップと、前記統合された線欠陥の夫々について、断線による欠陥か否かを検出し、断線による欠陥であるときには、断線位置を検出する断線位置検出ステップと、前記統合された線欠陥の夫々について、水平方向、及び垂直方向の線欠陥の交点位置を検出する交点位置検出ステップと、を有することを特徴としている。
これによれば、表示パネルの線欠陥の欠陥種別とその位置を効率よく検出することが可能となる。
以上に述べたとおり、本発明に係る表示パネル点灯検査装置では、
表示パネルを1種類以上の表示モードで点灯駆動するための信号発生器と、点灯駆動された表示パネルの表示画像を撮像する撮像装置と、前記撮像装置によって撮像された表示パネルの点灯画面を検査および分析して欠陥に関するデータを取得する検査処理部と、前記検査処理部からの欠陥に関するデータを用いて前記表示パネルの欠陥を欠陥の種類別に分類する欠陥分類処理部とを備えた表示パネル点灯検査装置であって、前記欠陥分類処理部は、予め準備された欠陥分類表と前記検査処理部から得られた前記欠陥に関するデータとを対比して、欠陥を種類別に分類し、且つ、欠陥の種別及び欠陥の位置を出力することを特徴としている。
また、本願の別発明に係る表示パネル点灯検査方法では、
検査対象の表示パネルを1種類以上の表示モードで点灯駆動して、点灯駆動された表示パネルの表示画像から、表示パネルの欠陥の種別と欠陥の位置を検出する表示パネル点灯検査方法であって、前記点灯駆動された表示パネルの表示画像を取得する画像取得ステップと、前記画像取得ステップによって得られた表示画像を検査および分析して欠陥に関するデータを取得する検査ステップと、予め準備された欠陥分類表と、前記検査ステップで得られた欠陥に関するデータとを比較して、欠陥を種類別に分類し、欠陥の種別及び欠陥の位置を出力するステップと、を有することを特徴としている。
これにより、液晶パネルに代表されるFPD等の表示パネルの欠陥を容易に発見できると共に、前記欠陥が発見された被検査表示パネルを、欠陥の種類ごとに分類可能であり、且つ、前記欠陥の位置情報をも出力できる表示パネル検査装置及びその検査方法を提供することが出来る。
本発明に係る表示パネル点灯検査装置の構成の概要を示す図である。 被検査表示パネルを特定の駆動信号で点灯表示した際の表示状況の一例を示す図である。 本発明に係る表示パネル点灯検査装置における欠陥検査の手順の一例を示す図である。 本発明に係る表示パネル点灯検査装置における線欠陥検出処理の一例を説明するための図である。 断線による線欠陥の状況と、断線によらない線欠陥の状況を示す図である。 一枚の被検査表示パネルに対する線欠陥データの例を示す図である。 欠陥分類表の一例を示す図である。 本発明に係る表示パネル点灯検査装置における断線の種類とその位置を求める方法を説明するための図である。
以下に、本願発明の実施例を説明する。なお、以下の説明では、本願発明を実施するために好ましい種々の限定が付されているが、本願発明の技術的範囲は以下の実施例及び図面に限定されるものではない。
図1は、本願発明の実施例を示す図であり、検査される表示パネルとして液晶パネルがセットされた場合の表示パネル点灯検査装置の全体構成を模式的に示している。
点灯検査装置は、検査対象の液晶パネル4に表示された画像を撮影するためのエリアセンサ1(撮像装置)、点灯検査装置全体の制御をつかさどる主制御部6(制御部)、被検査液晶パネルを点灯駆動するための信号発生器8、エリアセンサ1による撮影画像を分析して、欠陥の位置、種類等を求める検査処理部7(欠陥分類処理部、交点位置検出部、線欠陥検出部、線欠陥統合部、断線位置検出部、抽出部、統合部)を有している。その外、図示されていないエリアセンサ架台とエリアセンサの姿勢調整治具、主制御部6に接続された工場生産管理システム(CIM)、及び前記工場生産管理システム(CIM)によって制御される、被検査液晶パネルを搬送するための搬送ライン等が含まれる。なお、CIMは主制御部6に一般的にLAN(ローカルエリアネットワーク)を通じて接続され、さらに、工程内の各装置制御コンピュータと接続される。
検査される表示パネルが液晶パネル4である場合には、表示パネル点灯検査装置は、さらに、バックライト2、裏面偏光板3、表面偏光板5を備えている。そして検査対象の液晶パネル4は、裏面偏光板3、表面偏光板5に挟まれた位置にセットされることになる。
上記の表示パネル検査装置を用いた液晶パネル4の検査工程の概略は以下のとおりである。
まず、液晶の封入等が終了した状態の液晶パネル4が、図示しない搬送ラインによって検査ステーションに搬送され、図1に示す位置に位置決めされ、さらに、点灯駆動に必要な信号発生器8とのコンタクトがとられる。検査されることになる液晶パネル4には、液晶パネル4を個別に識別するためのIDが付与されており、CIM側には、夫々のIDに対応した特定の液晶パネル4に関する各種情報、例えば、パネルサイズ、検査レシピ等の情報が保有されている。
検査レシピとは、IDによって特定された液晶パネル4に対してどのような検査をどのように行うかを示した情報であり、主制御部6では、前記CIMから入手したこの検査レシピに従って、信号発生器8、バックライト2、エリアセンサ1を制御し、被検査液晶パネル4の特定表示領域あるいは全領域を撮像する。基本的には、画面全領域を撮像し、画面全領域を検査する。また、画面全領域を検査後(大まかな検査)、欠陥がある特定領域を解像度の高い光学条件で撮像および検査する場合もあり得る。この時、数々の欠陥を検査するために複数の点灯画面を撮像する。詳細については後述する。
検査処理部7では、検査レシピ、エリアセンサ1が撮影した撮像画像を取得後、後で詳細を述べる検査処理を行い、その結果をCIMに出力することになる。検査処理部7からCIMへの出力には、少なくとも、欠陥の種類、欠陥の位置が含まれている。CIMへの出力として、これら以外にパネル全体に関する情報がある。当該情報の具体例は、パネルID、パネル判定(良品、不良品、リペア品等)、判定理由(ある程度パネルの検査状態が半別できるように)などである。
CIMでは、検査処理部7からの出力を受け、特定IDの液晶パネル4に対する検査結果を記憶保持する。そして、特定IDの被検査液晶パネル4にリペア可能な欠陥があった場合には、当該被検査液晶パネル4を、その欠陥の種類に応じて、その欠陥を修理することが出来るリペア工程に送ることになる。この場合、CIM側では、補修すべき被検査液晶パネル4の欠陥の種類と位置に関する情報を保有しており、例えば、線欠陥を修正するための顕微鏡の視野位置決定も極めて短時間で行うことが可能となる。
図2は、液晶パネル4を特定の駆動信号で点灯表示した際の表示状況の例を示す図面であり、エリアセンサ1はこのような表示画面を撮像することになる。検査対象の液晶パネル4の表示階調が8ビットであるとして、図2(a)は、その中間の階調を表示させた場合(中間調画面表示モード)を表しており、図2(b)は、「0」の状態、即ち黒画面を表示するモードの場合(黒画面表示モード)を示している。また、図2(c)は、R画素のみを表示させているモードの場合(R画面表示モード)を示している。この外、G画面のみを表示させるG画面表示モード、B画素のみを表示させるB画面表示モード等がある。
被検査液晶パネル4の特定位置は、表示領域の左上を原点として、図に示すようなx方向(水平方向)、y方向(垂直方向)で示され、絵素数が1920(RGB)×1080の場合には、(0、0)−(5759、1079)となる。
図2に示した例の場合、欠陥は水平方向及び垂直方向の両方向の線欠陥があることを示しており、図2(a)に示すように夫々周りの画素よりも明るいソース輝線23、24、周りの画素よりも暗いソース黒線21、ゲート黒線22がある場合を示している。なお、黒画面表示モードの図2(b)において、中間調画面表示モードの図2(a)中に現れていたソース輝線23が消えているが、欠陥の種類によっては、表示モードを変えることによってこのように特定の輝線が表示されなくなる場合があることを示している。同様、R画面表示モードの図2(c)においてゲート黒線22が現れていないが、これも欠陥の種類によってこのような状況が起き得ることを示している。
図3は、本発明に従った表示パネル点灯検査装置における線欠陥検査の手順の一例を示すフロー図である。なお、以下に説明する各処理(S1〜S8)は、本発明に従った表示パネル点灯検査装置の主制御部6、及び、主制御部6の指示に基づいて検査処理部7が行うことになるが、以下の記載では、この点を省略して記載する場合がある。
図3において、検査情報取得処理(S1)では、本発明に従った表示パネル点灯検査装置の主制御部6は、CIMからパネルID、基板サイズ、画素サイズ(RGBの各1ドットを画素、RGB3ドットを1絵素と定義する)、表示領域の画素数や画素の種類等が設定されている機種情報、及び、検査レシピを取得する。但し、検査レシピは、予め検査処理部に保持しておき、パネルIDに応じて対応する検査レシピを選択し、読み込むようにしても良い。この処理は、主制御部6の指令に基づいて検査処理部7が行う。
検査レシピとしては、点灯画面切り換えデータ、バックライト出力設定値、露光時間、ゲイン設定等が含まれる撮像情報、欠陥検出用の各種設定値と検出閾値、後述する欠陥分類表等が含まれる。
画像取得処理(S2)では、主制御部6は、前記検査レシピに従って撮像された画像を取得する。即ち、点灯画面切り替えデータ等の撮像情報に基づき、エリアセンサ1によって撮像された、少なくとも1種類以上の点灯画面の画像を取得する。
線欠陥検出処理(S3)では、画像取得処理において取得した全画像を用いて線欠陥を検出する。この処理は、主制御部6の指令に基づいて検査処理部7が行う。具体的な検出処理としては、例えば、以下に図4を参照して説明する検出処理があるが、本発明は、以下に述べる検出処理に限定されるものではない。
垂直方向に発生している線欠陥の場合、図4(a)に示すように、画像を垂直方向が一定のサイズとなるように表示領域を分割し、その分割された領域ごとに垂直方向に積算した輝度プロファイルを算出する(図4(b)参照)。次いで、図4(b)に示された輝度プロファイルの中で、検出閾値aを越えている部分を欠陥部とする。
この処理を被検査液晶パネルの表示部全域で行い、図4(c)に示すように連続する欠陥部を一つの線欠陥とすることにより線欠陥を検出する。図4に示した例では、領域Aから領域Cまでは積算値が閾値を越えているので、欠陥部と判定し、領域Dは閾値を越えていないので欠陥部ではないと判定する。従って、この時の線欠陥の領域は図4(c)に示した矩形部分となり、この矩形部分を表す情報としては、例えば、矩形の左上座標、右下座標となる。
実際の処理において、領域A、領域B等の区切りは、例えば、絵素数が1920(RGB)×1080の場合には、垂直方向に10等分(この場合には108絵素分になる)あるいは20等分程度であるがこの値に限定されるものではない。区切りが狭くなれば、線分の位置がより正確に求められるが、その分、そのための計算処理が重くなる。
線欠陥総合処理(S4)では、最初に、複数の表示モードによる複数の点灯画面で検出された線欠陥のうち、同一方向の線欠陥に注目して、これらの線欠陥を統合候補として抽出する。次いで、総合候補として抽出された線欠陥の中から、図4(c)に示した線欠陥の座標が完全に一致、又は、一部一致する線欠陥を統合し、これを新たな一つの線欠陥とする。この段階において、表示モードに応じた欠陥分類が必要になる。
この処理が必要な理由は、以下のとおりである。即ち、被検査液晶パネルの点灯検査では、多くの種類の欠陥を検査し詳細に分類するために、複数の点灯画面を撮像し検査することから、同一の原因で発生している線欠陥でも複数の点灯場面で発生する可能性がある。従って、同一の原因で発生している線欠陥を統合し、単なる黒線や輝線という分類を行うのではなく、詳細に欠陥分類を行う必要があるためである。
断線位置検出処理(S5)では、上記の線欠陥統合処理によって統合された線欠陥の夫々について、断線により生じたものか否かを判定し、断線によるものである場合には、断線箇所の座標位置を検出する。なお、線欠陥の夫々のうち一つでも断線があれば、統合された線欠陥に断線があると判定する。この処理は、主制御部6の指令に基づいて検査処理部7が行う。なお、主制御部6の指令に基づくことなく検査処理部7が行っても良い。
この処理が必要なのは、線欠陥の不良発生が断線を原因とするものの他、他のもの原因とするものがあることによる。
この処理が必要な理由は、断線によって線欠陥の不良が発生する場合と、断線以外によって不良が発生する場合とが存在することである。
即ち、線欠陥の中には、図5(a)に示すように線欠陥の端部が明確に存在するものと、図5(b)のように線欠陥の端部が明確でなく、徐々に薄く消失するものがあるが、断線が存在する場合には、図5(a)に示すように線欠陥の端部が明確に存在することがわかっている。
そして、断線がある場合には、断線部分を後のリペア工程で修復することにより、線欠陥を修復することが出来る。
従って、本発明では、前記S3の線欠陥検出処理において線欠陥として検出された「線欠陥」が、S5の断線位置検出処理において、断線に基づく線欠陥であるか否かを検出し、さらに、断線に基づく線欠陥である場合には、その断線位置を検出する。この線欠陥が断線によるものであるか否かを判定する方法、及び、断線によるものである場合に、断線位置を検出する具体的な方法は、図8を参照して後で説明する。
交点位置検出処理(S6)では、上記の線欠陥統合処理によって統合された線欠陥の夫々について、図4(c)に示した矩形のサイズを参照して、垂直方向の線欠陥か水平方向の線欠陥かを区別する。即ち、矩形が垂直方向に長い矩形であるときは、垂直方向の線欠陥と判断し、矩形が水平方向に長い矩形であるときは、水平方向の線欠陥と判断する。さらに、方向が決定された線欠陥について、方向の異なる線欠陥の全てと順次比較し、それらの交点位置を検出する。
この線欠陥の比較は、同じモードの点灯画面、例えば図2(c)に示すR画面表示モードで検出された線欠陥のみに限っても良いし、複数の表示モードで検出された線欠陥同士を比較しても良い。また、線欠陥の比較の結果、交点が複数存在する場合は、全ての交点を登録しても良い。複数の交点を登録することは、検査装置が複数の線欠陥を完全に分類できない場合に有効である。例えば、ソース線として種類A、ゲート線として種類Bおよび種類Cがあり、AとBとに交点が存在し、さらにAとCとに交点が存在し、なおかつパネルの特性上AおよびBの欠陥の場合には交点にリークが発生すると仮定する。この場合、「線欠陥検出処理」および「線欠陥統合処理」によって、ソース線=A、ゲート線=Bと判定されていれば、AとBとの交点1点のみを登録すればよい。しかし、BとCとの判定が付きにくい場合等には、後の工程において、両方の位置を素早く確認できるように交点2点を登録する必要がある。なお、複数登録されている場合は、後工程において優先順位を付けて確認する必要が生ずる。
この交点を求める処理(交点位置検出処理)が有効であるのは、線欠陥の中にはソースバスライン(垂直方向)とゲートバスライン(垂直方向)間のリークにより発生するものがあり、そのリーク箇所が、その交点座標部分であるためである。即ち、線欠陥の交点においては、ソースバスラインとゲートバスライン間のリークが発生している可能性が高いことになり、この交点を検出することは、前記リークを発見することにつながる。しかも、このリークは後のリペア工程で修復可能であることから、この情報は、極めて有用な情報となる。
ここまでの処理により、線欠陥データには、点灯画面情報、断線情報、交点情報が付与されていることとなる。
線欠陥分類処理(S7)では、以上に述べた各ステップでの処理で得られた線欠陥データと検査レシピとして入力された欠陥分類表を元に欠陥分類を行う。まず、図6を用いて線欠陥データの構造を説明し、次いで、図7を用いて欠陥分類について、具体例を上げて説明する。なお、図7は、欠陥分類表の一例である。
図6は、一枚の被検査液晶パネルに対する線欠陥データの構造の一例を示している。この図には、液晶パネルから実際に検出され、統合、断線検出、および交点検出を行った線欠陥についての情報を示している。図中、「点灯画面」の欄には、欠陥の有無および欠陥があった場合にはその種類(輝線または黒線)を示す情報が記載されている。
線欠陥データは、各々の線欠陥ごとに欠陥方向(垂直方向、水平方向)、断線位置、交点位置、各表示モードにおける点灯画面での検出情報の有無とから構成されている。即ち、例えば、画面1は、図2(a)に示した中間調画面表示モードでの点灯画面であり、画面2は、図2(b)に示した黒画面表示モードでの点灯画面であり、以下、画面3、画面4、画面5は、夫々、R画面表示モードでの点灯画面、G画面表示モードでの点灯画面、B画面表示モードでの点灯画面である。断線位置、交点位置は、画像座標、パネル座標のどちらで標記してもかまわない。図6では、交点位置を記入する場所が一箇所しか設けられていないが、これに限定されることはなく、複数の交点位置を記入できるようにしてもかまわない。
図7は、既に述べたとおり、欠陥分類表の一例であり、欠陥種類、欠陥コード、線欠陥の方向、断線があるかどうかの判定結果、交点があるかどうかの判定結果、各表示モードにおける点灯画面での検出情報の有無によって構成されている。
図7に示すとおり、例えば、「ソース断」という欠陥がある場合には、線欠陥として、垂直方向の線欠陥があり、断線の有無の判定結果は「有」であり、交点は「無」であり、線欠陥のある点灯画面は画面1と画面3であるという条件が満たされた場合であることを示している。同様、「ソースとゲート間のリーク」という欠陥がある場合には、垂直方向の線欠陥があり、断線の有無の判定結果は「無」であり、交点は「有」であり、線欠陥のある点灯画面は画面1と画面2であるという条件が満たされた場合であることを示している。
図7に示した欠陥の種類を判定するための条件、即ち、特定の欠陥とそのときの点灯画面の関係は、リペア作業におけるこれまでの経験を踏まえて決定することができるが、さらに、予め各種の欠陥を有する液晶パネルを作成しておき、この液晶パネルを各種の表示モードで実際に点灯駆動して、その際の点灯画面を分析することによって決定することもできる。
線欠陥分類処理(S7)では、図6に示す線欠陥データの1つ1つについて、欠陥分類表の1番目から付き合わせ処理を行い、合致したものにその欠陥の種類、及び、欠陥のコードを付与する。この処理において合致する欠陥の種類が存在した場合には、その線欠陥データの分類を終了し、次の線欠陥データの付き合わせ処理を開始する。欠陥分類表の最後まで付き合わせ処理を行っても合致する欠陥種類が存在しない場合には、欠陥種類、及び欠陥コードの付与を行わない。
例えば、図6における線欠陥データの番号1の欠陥の場合、「線欠陥の方向が垂直」、「断線位置が存在する」、「交点位置が存在しない」、「画面1で検出有」、「画面2で検出無し」、「画面3で検出有」、「画面4で検出無し」、「画面5で検出無し」となっていて、欠陥分類表の番号1と合致する。これにより、この欠陥を「ソース断」、「欠陥コード:S101」として分類する。
また、図6における線欠陥データの番号4の欠陥の場合、「線欠陥の方向が垂直」、「断線位置が存在しない」、「交点位置が存在する」、「画面1で検出有」、「画面2で検出有」、「画面3で検出無し」、「画面4で検出無し」、「画面5で検出無し」となっていて、欠陥分類表の番号2と合致する。これにより、この欠陥を「S−Gリーク(ソース−ゲートリーク)」、「欠陥コード:S102」として分類する。
上記の処理を全ての線欠陥データについて行い、線欠陥を分類する。この時、より正確に欠陥分類を行うために、例えば、線欠陥データ、及び、欠陥分類表にRGB画素の種類があっても良い。また、ブロック状に発生する欠陥と区別するために、欠陥方向と垂直な方向のサイズを加えても良い。また、図6、図7では点灯画面の数が5つであるがその数が制限されるものでもない。
検査対象の液晶パネルの全ての線欠陥データについて、上記線欠陥分類処理(S7)が終了すると、その結果がCIM側に出力される(S8)。既に述べたとおり、検査結果には、線欠陥の種類と欠陥の位置に関する情報が含まれている。従って、CIM側では、受け取った情報を基に、リペア可能な欠陥があった液晶パネルを、リペアのために最適なリペア工程に送ることができる。また、リペア工程では、欠陥の位置情報を受けて直ちにその場所へ顕微鏡視野を移動することも可能となり、極めて効率的な修復作業が可能となる。
次に、断線位置検出処理(S4)における、断線位置の検出について、図8を用いてその詳細を説明する。図8は、本願発明に係る表示パネル点灯検査装置における、断線の種類とその位置を求める方法の一例を説明するための図である。以下、図5(a)、(b)に示された線欠陥を例として説明する。
図5(a)、(b)に示された線欠陥は、垂直方向の線欠陥であるため、水平方向に一定距離はなれた正常な位置と比較し、その位置とのコントラスト値を算出する。このコントラスト値の算出は、例えば、数式(1)のような方法がある。
Figure 0004664417
ここで、Yxyは注目画素の座標位置を示し、Y(x−a)y、Y(x+a)yは水平方向に一定距離aだけ離れた画素の座標位置を示している。また、Average(*)は平均値を求める関数を示している。距離aは、パネル内画素種類数C(RGBの場合はC=3)、画素サイズA[um]と分解能B[um/pixel]から決まる。例えば、A=Bの場合、距離aは1×Cpixelになる。一方、A=B*2の場合、距離aは2×Cpixel(A/B*C)となる。実際にはこのように整数倍にならない場合もあるが、水平方向に距離aだけ離れた撮像画素位置が、パネル内のRGB各画素の出来るだけ同じ場所に設定されるようにする。
図5(a)、(b)に示す垂直方向の線欠陥があった場合に、線欠陥部分を含んで水平方向に所定の画素サイズ分に渡って計算し、その結果を積算すると図8(a)、(b)に示すようなプロファイルが得られる。なお、図8(a)、(b)に示すグラフにおいて、縦軸はコントラストの大きさを表しており、横軸は表示画面における垂直方向の位置を表している。即ち、図8(a)、(b)の左端部が表示画面の上端に該当し、右端部が表示画面の下端部に該当している。
ここで、図8(a)は、垂直方向の線欠陥が断線に基づくものであることを表している状態を示しており、図8(b)は、垂直方向の線欠陥が断線に基づくものではないことを表している状態を示している。
次いで、この図8(a)、(b)に示すプロファイルについて、垂直方向に一定距離、離れた正常な位置と比較し、その差分を算出すると図8(c)、(d)のプロファイルが得られる。図8(c)、(d)に示すグラフにおいて、縦軸は差分の大きさを表し、横軸は図8(a)、(b)と同様、表示画面における垂直方向の位置を表している。
ここで、図8(c)は、垂直方向の線欠陥が「断線である」ことを示している状態であり、図8(d)は、垂直方向の線欠陥が「断線ではない」ことを示している状態である。最終的に得られたプロファイルについて閾値以上(以下)の変化が存在する場合に、断線とみなし、その座標位置を断線位置であるとして登録する。
図8の例では、図8(a)、(c)におけるプロファイルの変化の大きさに閾値を設けておき、その閾値より変化が大きいときに「断線である」と判定する。また、変化が起きている位置(垂直方向の位置)を、断線の位置と判定する。なお、上記の例の場合、表示画面の水平方向の特定位置にある垂直方向の線欠陥を問題にしているため、水平方向の位置は初めから分かっている事になる。水平方向の線欠陥の場合には、逆に、垂直方向の位置が初めから分かっていることになる。
以上の説明では、線欠陥を取り上げて説明したが、本発明は、線欠陥に限らずその他の欠陥についても適用できる。その場合、図7に記載した欠陥分類表は、これまでの種々の欠陥をリペアした経験を踏まえて作成することもできるが、予め、特定の欠陥を有する表示パネルを用意しておき、その表示パネルを種々の表示モードで点灯駆動してそのときの表示画面を分析することでも作成できる。
例えば本発明は、点欠陥にも適用できる。なお、点欠陥に適用する場合、欠陥分類表の断線および交点の情報は不要である。その代わりに、点灯画面ごとの検出状態を統合し、さらに点欠陥独自の分類を行う。
実際の表示パネルの点灯検査では、検査対象の表示パネルを、欠陥分類表を作成した時と同じ表示モードで点灯駆動し(図3のS1に相当)、その際の表示画像をエリアセンサ1で撮像し(図3のS2に相当)、取得した全画像を用いて欠陥の種類、位置等を判定する。即ち、取得した全画像の状況と、予め用意しておいた欠陥分類表と対比させることによって、欠陥の種類、欠陥の位置を判定する(S7に相当)。この場合、エリアセンサが撮像した画像そのもので分析することが困難な場合は、得られた撮像画像を微分処理等の処理を施すことも出来る。
また、既に述べたとおり、本願発明は、液晶パネルの検査に限られることなく、ELパネル、プラズマパネル等の検査にも用いることが出来る。
本発明によれば、液晶表示パネル等のFPDの製造に際して、欠陥の効率的な修復が可能となり、FPD製造における歩留まり向上に寄与することが大であって、産業上の利用可能性は極めて高い。
1 エリアセンサ(撮像装置)
2 バックライト
3 裏面偏光板
4 検査対象の液晶パネル
5 表面偏光板
6 主制御部(制御部)
7 検査処理部(欠陥分類処理部、交点位置検出部、線欠陥検出部、線欠陥統合部、断線位置検出部、抽出部、統合部)
8 信号発生器
21 ソース黒線
22 ゲート黒線
23 ソース輝線
24 ソース輝線

Claims (5)

  1. 表示パネルを1種類以上の表示モードで点灯駆動するための信号発生器と、
    点灯駆動された表示パネルの表示画像を撮像する撮像装置と、
    前記撮像装置によって撮像された表示パネルの点灯画面を検査および分析して線欠陥に関するデータを取得する検査処理部と、
    予め分類された欠陥分類表と前記検査処理部から得られた前記線欠陥に関するデータとを対比して、前記表示パネルの線欠陥を欠陥の種類別に分類し、線欠陥の種別及び線欠陥の位置を出力する欠陥分類処理部とを備えた表示パネル点灯検査装置であって、
    前記検査処理部は、少なくとも一種類以上の前記点灯画面の撮像画像から各々の点灯画面における線欠陥を検出する線欠陥検出部と、
    前記検出された複数の線欠陥を一つの線欠陥に統合する線欠陥統合部と、
    前記線欠陥統合部によって統合された線欠陥の夫々について、断線による欠陥か否かを検出し、断線である場合に表示パネル上における断線位置を検出する断線位置検出部と、
    前記統合された線欠陥の夫々について、水平方向、及び垂直方向の線欠陥の交点位置を検出する交点位置検出部とを有していることを特徴とした表示パネル点灯検査装置。
  2. 検査対象の表示パネルの機種情報及び検査レシピを受信すると共に、検査対象の表示パネルに対して前記表示パネルの機種及び検査レシピに応じた検査を自動的に行わせる制御部を備えたことを特徴とする請求項1に記載の表示パネル点灯検査装置。
  3. 前記複数の線欠陥を一つの線欠陥に統合する線欠陥統合部は、
    少なくとも、一種類以上の点灯画面で検出された線欠陥に対して、同一方向の線欠陥の中から異なる点灯画面で検出された線欠陥を統合候補として抽出する抽出部と、
    前記抽出された線欠陥の統合候補の中から欠陥方向に関する位置が完全、又は前記の位置が一部含有する候補を統合する統合部とを有することを特徴とする請求項1又は2に記載の表示パネル点灯検査装置。
  4. 前記表示パネルが液晶パネルであることを特徴とする請求項1から3の何れか一項に記載の表示パネル点灯検査装置。
  5. 検査対象の表示パネルを1種類以上の表示モードで点灯駆動するステップと、
    前記点灯駆動された表示パネルの表示画像を取得する画像取得ステップと、
    前記画像取得ステップによって得られた表示画像を検査および分析して欠陥に関するデータを取得する検査ステップと、
    予め準備された欠陥分類表と、前記検査ステップで得られた線欠陥に関するデータとを比較して線欠陥を種類別に分類し、線欠陥の種別及び線欠陥の位置を出力するステップとを有する表示パネル点灯検査方法であって、
    前記検査ステップは、
    前記画像取得ステップで取得した表示画像の線欠陥を検出する線欠陥検出ステップと、
    前記検出された複数の線欠陥を一つの線欠陥に統合する線欠陥統合ステップと、
    前記統合された線欠陥の夫々について、断線による欠陥か否かを検出し、断線による欠陥であるときには、断線位置を検出する断線位置検出ステップと、
    前記統合された線欠陥の夫々について、水平方向、及び垂直方向の線欠陥の交点位置を検出する交点位置検出ステップとを有していることを特徴とする表示パネル点灯検査方法。
JP2009077284A 2009-03-26 2009-03-26 表示パネル点灯検査装置、及び表示パネル点灯検査方法。 Active JP4664417B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009077284A JP4664417B2 (ja) 2009-03-26 2009-03-26 表示パネル点灯検査装置、及び表示パネル点灯検査方法。
PCT/JP2010/002075 WO2010109856A1 (ja) 2009-03-26 2010-03-24 表示パネル点灯検査装置、及び表示パネル点灯検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009077284A JP4664417B2 (ja) 2009-03-26 2009-03-26 表示パネル点灯検査装置、及び表示パネル点灯検査方法。

Publications (2)

Publication Number Publication Date
JP2010230435A JP2010230435A (ja) 2010-10-14
JP4664417B2 true JP4664417B2 (ja) 2011-04-06

Family

ID=42780553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009077284A Active JP4664417B2 (ja) 2009-03-26 2009-03-26 表示パネル点灯検査装置、及び表示パネル点灯検査方法。

Country Status (2)

Country Link
JP (1) JP4664417B2 (ja)
WO (1) WO2010109856A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107065247A (zh) * 2017-06-07 2017-08-18 惠科股份有限公司 一种显示面板检测方法、装置及系统
CN112213327A (zh) * 2019-07-09 2021-01-12 陕西坤同半导体科技有限公司 一种显示面板人员检测辅助方法及系统
CN111613160A (zh) * 2020-04-02 2020-09-01 深圳益实科技有限公司 一种lcd显示屏显示故障判断方法及系统
US20240169511A1 (en) * 2021-05-25 2024-05-23 Chengdu Boe Optoelectronics Technology Co., Ltd. Method and apparatus for acquiring images, and storage medium thereof

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10197399A (ja) * 1997-01-14 1998-07-31 Sharp Corp 薄型表示機器の欠陥箇所位置決め装置
JP2006251561A (ja) * 2005-03-11 2006-09-21 Sony Corp 欠陥画素リペア方法
JP2007086056A (ja) * 2005-08-26 2007-04-05 Seiko Epson Corp 欠陥検出方法および欠陥検出装置
JP2007156338A (ja) * 2005-12-08 2007-06-21 Sharp Corp ディスプレイパネルの修理方法
JP2007315967A (ja) * 2006-05-26 2007-12-06 Sharp Corp 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、および、それを記録したコンピュータ読み取り可能な記録媒体
JP2008089306A (ja) * 2006-09-29 2008-04-17 Olympus Corp 基板検査システム、基板検査装置
JP2008164336A (ja) * 2006-12-27 2008-07-17 Olympus Corp 欠陥検査システムおよび方法
JP2009031332A (ja) * 2007-07-24 2009-02-12 Sharp Corp 透過型表示パネルの検査装置、透過型表示パネルの検査方法、透過型表示パネルの製造方法、プログラム及び記録媒体

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10197399A (ja) * 1997-01-14 1998-07-31 Sharp Corp 薄型表示機器の欠陥箇所位置決め装置
JP2006251561A (ja) * 2005-03-11 2006-09-21 Sony Corp 欠陥画素リペア方法
JP2007086056A (ja) * 2005-08-26 2007-04-05 Seiko Epson Corp 欠陥検出方法および欠陥検出装置
JP2007156338A (ja) * 2005-12-08 2007-06-21 Sharp Corp ディスプレイパネルの修理方法
JP2007315967A (ja) * 2006-05-26 2007-12-06 Sharp Corp 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、および、それを記録したコンピュータ読み取り可能な記録媒体
JP2008089306A (ja) * 2006-09-29 2008-04-17 Olympus Corp 基板検査システム、基板検査装置
JP2008164336A (ja) * 2006-12-27 2008-07-17 Olympus Corp 欠陥検査システムおよび方法
JP2009031332A (ja) * 2007-07-24 2009-02-12 Sharp Corp 透過型表示パネルの検査装置、透過型表示パネルの検査方法、透過型表示パネルの製造方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
WO2010109856A1 (ja) 2010-09-30
JP2010230435A (ja) 2010-10-14

Similar Documents

Publication Publication Date Title
KR0150689B1 (ko) 평면형 표시패널 검사장치
KR101958634B1 (ko) 디스플레이 장치의 무라 검출 장치 및 방법
JP5176014B2 (ja) ディスプレーの多角度計測システム及び方法
WO2014132506A1 (ja) 表示パネルの欠陥検出方法及び表示パネルの欠陥検出装置
JP4804779B2 (ja) フィルム、テープ形態の印刷回路基板外観検査における過検出防止用システム及びその処理方法
JP4664417B2 (ja) 表示パネル点灯検査装置、及び表示パネル点灯検査方法。
JP3907874B2 (ja) 欠陥検査方法
JP2004212311A (ja) ムラ欠陥の検出方法及び装置
KR100673392B1 (ko) 필름, 테이프 형태의 인쇄회로기판 외관 검사에서의 과검출방지를 위한 시스템 및 그 처리 방법
US7538750B2 (en) Method of inspecting a flat panel display
JP3695120B2 (ja) 欠陥検査方法
CN115546140A (zh) 一种显示面板检测方法、系统及电子装置
KR101286548B1 (ko) 액정표시장치의 검사 시스템 및 방법
JP2005147911A (ja) 表示パネルの画素評価方法及びその装置
JPH06236162A (ja) カラー液晶パネル欠陥検査方法および装置
KR100765294B1 (ko) 액정 디스플레이 패널의 얼룩 결함 검출 방법
KR100661013B1 (ko) 모폴로지 기법을 이용한 티에프티 엘시디 결함 검출 및분류 방법
JP2006145228A (ja) ムラ欠陥検出方法及び装置
JP2001083474A (ja) 液晶表示パネルの検査方法
JP2001074600A (ja) 液晶基板の配向状態評価方法とその装置、並びに液晶基板製造モニタリング装置および液晶基板
US12013602B2 (en) Method of detecting defective pixels in electronic displays
JP3375265B2 (ja) 光透過型表示パネルの欠陥修正方法および欠陥修正装置
Jamleh et al. 50.2: Mura detection automation in LCD panels by thresholding fused normalized gradient and second derivative responses
JP2007218829A (ja) カラーフィルタの画素ムラ検査方法及び検査装置
JP4121628B2 (ja) 画面検査方法及びその装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110106

R150 Certificate of patent or registration of utility model

Ref document number: 4664417

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 3

SG99 Written request for registration of restore

Free format text: JAPANESE INTERMEDIATE CODE: R316G99

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350