JP4288340B2 - 画質評価方法およびそれを利用した画質評価装置 - Google Patents

画質評価方法およびそれを利用した画質評価装置 Download PDF

Info

Publication number
JP4288340B2
JP4288340B2 JP01188599A JP1188599A JP4288340B2 JP 4288340 B2 JP4288340 B2 JP 4288340B2 JP 01188599 A JP01188599 A JP 01188599A JP 1188599 A JP1188599 A JP 1188599A JP 4288340 B2 JP4288340 B2 JP 4288340B2
Authority
JP
Japan
Prior art keywords
image quality
image
differential
gradation
evaluation method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP01188599A
Other languages
English (en)
Other versions
JP2000215310A (ja
Inventor
高成 棚橋
由美 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AU Optronics Corp
Original Assignee
AU Optronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AU Optronics Corp filed Critical AU Optronics Corp
Priority to JP01188599A priority Critical patent/JP4288340B2/ja
Priority to US09/481,358 priority patent/US6747619B1/en
Publication of JP2000215310A publication Critical patent/JP2000215310A/ja
Application granted granted Critical
Publication of JP4288340B2 publication Critical patent/JP4288340B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/04Diagnosis, testing or measuring for television systems or their details for receivers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Liquid Crystal (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、主にノートブックPCのディスプレイとして利用されている好ましくはLCD(Liquid Crystal Display)パネルの画質を定量的に評価するための画質評価方法およびそれを利用した画質評価装置に関するものである。
【0002】
【従来の技術】
近年、ノートブックPCなどのディスプレイとして例えばLCDパネルが広く使用されている。このLCDパネルには斑などの不具合が発生する場合があり、このような不具合が限度を越えて発生すると、ディスプレイとして使用することができない。そのため、LCDパネル1個1個に対しその画質を評価する必要がある。従来、この画質の評価は、液晶表示の画質基準から斑などの品質限度サンプルを作成し、このサンプルと検査すべきLCDパネルとを測定者が見比べることにより判定している。
【0003】
【発明が解決しようとする課題】
上述した従来の画質評価方法では、測定者による評価であるため、以下のような問題があった。
▲1▼品質限度サンプルとLCDパネルとの比較判定は、人間の官能に依存する。また、サンプルの斑形状などが同一でないため、比較時に人間のさじ加減が必要となり、測定値が測定者に依存しやすい。もしくは、測定者の目合わせが必要になる。
▲2▼判定は、基本的に輝度差と面積の情報で判断されるので、点欠や線欠のような急峻な輝度差の斑と緩やかなグラデーションの斑との判別があいまいであり、測定者により判定が食い違う場合がある。
【0004】
本発明の目的は上述した課題を解消して、斑などの官能的画質評価を定量的に評価でき、例えばLCDパネルの画像品質の安定化および高品質管理に大きく寄与することができる画質評価方法およびそれを利用した画質評価装置を提供しようとするものである。
【0005】
【課題を解決するための手段】
本発明は、検査画面の画質を定量的に評価する画質評価方法および装置を対象とする。この画質評価方法において、好ましくはLCDパネルに検査画面を点灯した状態でLCDパネルの画像を取り込み、取り込んだ画像を画像処理して評価する。また、画質評価装置では、輝度の絶対値を検出する画像取り込み装置と、取り込んだ画像データを処理するデータ処理装置とを備え、上記画質評価方法を実施するよう構成される。本発明では、人手による評価を全く行わないため、例えばLCDパネルなどの検査画面の画質を定量的に評価することができる。
【0006】
【発明の実施の形態】
本発明の画質評価方法およびそれを利用した画質評価装置の適用分野は、LCDやプラズマディスプレイのようなフラットディスプレイ、CRT、印刷物、塗装などであり、特にLCDパネルの評価用として好適に利用することができる。本発明がLCDパネルの評価用として特に好ましい理由は、LCDパネルは低消費電力達成のためにランプ輝度が低く、そのために液晶のさまざまな構成部材は透過率が高いものが用いられており、多少のムラでも目立ちやすいためである。以下、LCDパネルを例にとり本発明の画質評価方法およびそれを利用した画質評価装置を説明する。
【0007】
図1は本発明の画質評価方法の一例を説明するためのフローチャートである。図1に従って本発明を説明すると、まず、LCDパネルに検査用画面を表示する(ステップ1)。ここで、検査用画面としては、通常は全面白色に点灯された画面が好ましく、R、GまたはBの単色に点灯された画面でも良い。また、検査用画面の輝度も高低いずれでも良い。次に、画像取り込み装置により検査用画面を表示したLCDパネルの画像を例えば512×512画素のデジタルデータ画像として取り込み、取り込んだ画像を例えば256階調の値に数値化する(ステップ2)。ここで、画像入力装置としては、輝度の絶対値を検出する画像取り込み装置を使用することが好ましく、例えばミノルタCA−1000を利用する。銀塩写真カメラの代替として広く使用されているデジタルカメラは輝度の相対値を検出するものであるので、このようなデジタルカメラを用いるときには、検出された輝度を絶対値に対応する数値に変換して処理する。
【0008】
画像取り込み装置で取り込んだ画像の一例を図2に示す。図2の例は見やすいように取り込み画像のうち同じ階調のデータを線で結んで表示している。取り込み画像の輝度絶対値を示す図2に基づくと、輝度の低い部分である上辺部、左下隅部、右下隅部が不良部分として把握されるように思われる。しかし、視覚官能的には左下隅部と右下隅部のみが不良である。取り込み画像と官能検査とでこのような差が生じるのは、なだらかな輝度の変化は視覚的に不良とは認識されず、急激な変化のみが視覚に悪影響を与えるためだと考えられる。
【0009】
次に、数値化した画像を微分し、斑の輪郭部分を顕在化する(ステップ3)。その一例を図3に示す。図3の微分画像は視覚官能的にムラが気になる領域と一致する。次に、階調値ごとの面積を利用して画質指数(L)を求める(ステップ4)。ここで、各階調での微分値とその階調における面積率とを掛け合わせ、階調値の面積に応じた総和として画質指数(L)を求めることができる。本発明では、後に具体例を詳述するように、画質指数(L)としてバックグラウンドの影響や目視官能検査とのズレを小さくするために数種類画質指数(L)を使用することができる。
【0010】
その後、求めた画質指数(L)を、予め決めておいた品質規格(L0)と比較する(ステップ5)。LがL0とほぼ同一であれば、検査しているLCDパネルが品質規格と同品質レベルのものであることがわかる(ステップ6)。また、LがL0と同じかそれ以下であれば、検査しているLCDパネルは品質規格を満たすと考え合格とし、LがL0を越えれば、検査しているLCDパネルは品質規格を満たさないと考え不合格とすることも考えられる。
【0011】
以下、画質指数(L)の具体例について詳述する。まず、画質指数(L)の基本的な例を以下の(1)式に示す。
Figure 0004288340
ここで、Si:微分値がi階調目である領域の面積率
Ii:i階調目の微分値
上述した(1)式に示す例では、階調値ごとの面積を利用して画質指数(L)を求めている。ここで、階調値の面積に応じた総和として画質指数(L)を求めればよく、数式自体の多少の変形は本発明の範囲内と考えられる。例えば、微分値としては、n階調化して、0、1、……、n−1の値をとらせてもよく、規格化して0、1/n、……、(n−1)/nという値をとってもよい。また、面積率を、測定面積に対する当該微分値をとる面積の比率とするだけでなく、測定領域の実際の面積やドット数としたり、単位面積あたりのドット数とすることもできる。また、ここで求めた値を元に、さらなる別の指数を求めることもできる。なお、取り込んだ画像を微分とは、取り込んだ画像の輝度の絶対値を微分することをいう。また、微分画像は、例えば隣接点(隣の1点、周囲の8点など)との差分をとることで求めることができる。さらに、画像微分を求める前に輝度データをn階調化しても、画像微分後に微分値をn階調化してもよい。
【0012】
次に、画質指数(L)の変形例を以下の(2)式に示す。
Figure 0004288340
ここで、Si:微分値がi階調目である領域の面積率
Ii:i階調目の微分値
Ib:バックグラウンド値
上述した(2)式に示す例では、(1)式に示した例と比較して、バックグラウンド値を引いておくことで、バックライト性能や周囲環境の明るさに起因するばらつきを小さくすることができる。なお、バックグラウンド値Ibはパネル全面の平均値をとってもよく、上記のばらつきを小さくするのに寄与しうる値であれば何でもよい。
【0013】
次に、画質指数(L)の他の変形例を以下の(3)式および(4)式に示す。
Figure 0004288340
または、
Figure 0004288340
ここで、Si:微分値がi階調目である領域の面積率
Ii:i階調目の微分値
Ib:バックグラウンド値
δi:i階調目の重み付け
上述した(3)式および(4)式に示す例では、何階調目かにより重み付けを変えることで、目視官能検査とのズレを小さくすることができる。簡便には、すべての階調で同一の定数を用いてもよい。
【0014】
上記i階調目の重み付けδiは、iがnに近づくほどに実質的に値が大きくなることが好ましい。その理由は、微分値の大きな部分ほど視覚的には目立つので、より重み付けを大きくするためである。その変化は、直線的な増加、指数関数的な増加、その他、ミクロ的には増減しながらマクロ的に増加していてもよい。また、上記i階調目の重み付けδiが、
δi=δi’・σ ……(5)
ここで、δi’:目視検査の結果と算出結果とのあわせ込みのための定数
σ :輝度の標準偏差
であるとさらに好ましい。
【0015】
実際に、図1に示すフローチャートに従ってLCDパネルの画質評価を行った例について説明する。被検査LCDパネルとしては、Think Pad(商標名)用LCDパネルを用いた。このLCDパネルの目視での画像レベル(画像全体)はLm=2.0であった。ここで、目視での画像レベルLmの判断基準は以下の通りである。
Lm=1.0:全くムラが認識できない。
Lm=1.5:検査員ならムラを認識できるが、一般人では認識できない。
Lm=2.0:一般人でもムラを認識でき、画質には影響ないと考える程度。
Lm=2.5:一般人でもムラを認識でき、半数が画質に影響あると考える程度。
Lm=3.0:一般人でもムラを認識でき、全員が画質に影響あると考える程度。
【0016】
その取り込み画像は図2に示す例であり、その微分画像は図3に示す例であった。図3に示す微分画像に対し、上述した(4)式に基づいて求めた以下の(6)式を利用して計算した。すなわち、図2におけるA〜Dの部分について画像を8階調化し、8階調化のための重み付けを用いて計算することで、以下のような結果を得ることができた。なお、4階調化、16階調化でも同様の処理をしたところ、これらのデータに非常に近い値を得た。結果を以下の表1に示す。
Figure 0004288340
ここで、Si :i番目の微分値をとる領域の面積(ドット数)
N :測定領域の面積(ドット数)
Ii :i番目の微分値、本実施例ではi
Grad:微分値の階調数、本実施例では8
σ :測定領域における輝度ばらつきの標準偏差
δ :本実施例では1/50(定数)
【0017】
【表1】
Figure 0004288340
【0018】
以上の結果から、ムラの大きい部分ほど画質指数Lが大きく算出されることがわかる。また、その画像全体に対する画質指数の値は目視の画像レベルとほぼ同一であり、本発明のLCDパネルの画質評価方法によれば、人の知覚に近いムラや斑などの画質評価を行えることがわかる。
【0019】
上述した本発明の画質評価方法の説明において、画像の取り込みおよび画像の微分については、従来から公知の画像の取り込み方法および微分方法のいずれをも使用することができる。通常は、画像処理装置の有する機能を使用することで十分である。また、画質指数Lについても、対象がデジタル画像であるため、プログラムを組むことで、ソフト的に簡単に計算を行うことができる。
【0020】
【発明の効果】
以上の説明から明らかなように、本発明によれば、検査画面の画像を取り込み、取り込んだ画像を画像処理して評価しているため、斑などの官能的画質評価を定量的に評価でき、検査画面好ましくはLCDパネルの画像品質の安定化および高品質管理に大きく寄与することができる。また、本発明による画像全体に対する画質指数の値は目視の画像レベルとほぼ同一であり、本発明のLCDパネルの画質評価方法によれば、人の知覚に近いムラや斑などの画質評価を行うことができる。さらに、本発明の方法によると、パネル全体についてのみならず、パネルの一部分についても同様の基準での検査が可能になる。
【図面の簡単な説明】
【図1】 本発明の画質評価方法の一例を説明するためのフローチャートである。
【図2】 実際にLCDパネルを取り込んだ画像を同一の階調の部分に線を付して見やすく表示した例を示す図である。
【図3】 実際に図2に示す取り込んだ画像を微分した微分画像の一例を示す図である。

Claims (8)

  1. 検査画面の画質を定量的に評価する方法であって、検査画面の画像を取り込み、取り込んだ画像を微分して微分画像を求め、求めた微分画像をn階調化し、画質指数(L)を、
    n
    L=ΣSi・Ii
    i=1
    ここで、Si:微分値がi階調目である領域の面積率
    Ii:i階調目の微分値
    として求め、求めた画質指数(L)に基づき検査画面の画質を定量的に評価することを特徴とする画質評価方法。
  2. 検査画面の画質を定量的に評価する方法であって、検査画面の画像を取り込み、取り込んだ画像を微分して微分画像を求め、求めた微分画像をn階調化し、画質指数(L)を、
    n
    L=ΣSi・(Ii−Ib)
    i=1
    ここで、Si:微分値がi階調目である領域の面積率
    Ii:i階調目の微分値
    Ib:バックグラウンド値
    として求め、求めた画質指数(L)に基づき検査画面の画質を定量的に評価することを特徴とする画質評価方法。
  3. 検査画面の画質を定量的に評価する方法であって、検査画面の画像を取り込み、取り込んだ画像を微分して微分画像を求め、求めた微分画像をn階調化し、画質指数(L)を、
    n
    L=ΣSi・Ii・δi
    i=1
    または、
    n
    L=ΣSi・(Ii−Ib)・δi
    i=1
    ここで、Si:微分値がi階調目である領域の面積率
    Ii:i階調目の微分値
    Ib:バックグラウンド値
    δi:i階調目の重み付け
    として求め、求めた画質指数(L)に基づき検査画面の画質を定量的に評価することを特徴とする画質評価方法。
  4. 前記δiは、iがnに近づくほどに実質的に値が大きくなる請求項記載の画質評価方法。
  5. 前記δiが、
    δi=δi’・σ
    ここで、δi’:目視検査の結果と算出結果とのあわせ込みのための定数 σ :輝度の標準偏差
    である請求項記載の画質評価方法。
  6. 前記画質指数(L)を予め求めた画質指数の品質規格L0と比較し、LがほぼL0と一致する場合、検査対象の画面の画質が品質規格と同品質であるとする請求項1〜5のいずれか1項に記載の画質評価方法。
  7. 前記検査画面がLCDパネルであり、LCDパネルの検査画面を点灯した状態で評価する請求項1記載の画質評価方法。
  8. 輝度の絶対値を検出する画像取り込み装置と、この画像取り込み装置で取り込んだ画像データを処理するデータ処理装置とを備え、請求項1〜のいずれか1項に記載の画質評価方法を実施するよう構成されたことを特徴とする画質評価装置。
JP01188599A 1999-01-20 1999-01-20 画質評価方法およびそれを利用した画質評価装置 Expired - Lifetime JP4288340B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP01188599A JP4288340B2 (ja) 1999-01-20 1999-01-20 画質評価方法およびそれを利用した画質評価装置
US09/481,358 US6747619B1 (en) 1999-01-20 2000-01-12 Method of evaluating front of screen quality and apparatus for evaluating front of screen quality using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01188599A JP4288340B2 (ja) 1999-01-20 1999-01-20 画質評価方法およびそれを利用した画質評価装置

Publications (2)

Publication Number Publication Date
JP2000215310A JP2000215310A (ja) 2000-08-04
JP4288340B2 true JP4288340B2 (ja) 2009-07-01

Family

ID=11790189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01188599A Expired - Lifetime JP4288340B2 (ja) 1999-01-20 1999-01-20 画質評価方法およびそれを利用した画質評価装置

Country Status (2)

Country Link
US (1) US6747619B1 (ja)
JP (1) JP4288340B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100575773B1 (ko) 2004-04-29 2006-05-03 엘지전자 주식회사 키 입력 및 엘씨디 화면의 자동 검사 방법
JP4513962B2 (ja) * 2005-01-12 2010-07-28 横河電機株式会社 擬似欠陥画像作成方法及びこれを用いた装置
GB2470942B (en) * 2009-06-11 2014-07-16 Snell Ltd Detection of non-uniform spatial scaling of an image
GB0918147D0 (en) 2009-10-16 2009-12-02 Liquavista Bv Display device and display apparatus
JP5471306B2 (ja) * 2009-10-28 2014-04-16 ソニー株式会社 色むら検査装置および色むら検査方法
US8988471B2 (en) * 2012-06-08 2015-03-24 Apple Inc. Systems and methods for dynamic dwelling time for tuning display to reduce or eliminate mura artifact
CN105976664B (zh) * 2016-05-06 2018-12-28 武汉华星光电技术有限公司 一种显示液晶模组画面缺陷的方法及系统、液晶显示器
CN106683603B (zh) 2017-01-10 2019-08-06 Oppo广东移动通信有限公司 一种闪屏处理方法及终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4963828A (en) * 1988-03-04 1990-10-16 Hitachi, Ltd. Picture quality testing method and apparatus for color cathode-ray tube
CN1070013C (zh) * 1994-12-14 2001-08-22 松下电器产业株式会社 具有校正亮度不均匀性的电路的投影型图像显示装置
JPH09312860A (ja) * 1996-05-23 1997-12-02 Sony Corp 画像検査装置
JPH09312861A (ja) * 1996-05-23 1997-12-02 Sony Corp カラー表示装置の画質測定装置及び画質測定方法
US6310650B1 (en) * 1998-09-23 2001-10-30 Honeywell International Inc. Method and apparatus for calibrating a tiled display

Also Published As

Publication number Publication date
JP2000215310A (ja) 2000-08-04
US6747619B1 (en) 2004-06-08

Similar Documents

Publication Publication Date Title
KR100422295B1 (ko) 디스플레이 장치의 화질 분석 방법 및 시스템
US6577756B1 (en) Method and apparatus for quantitatively evaluating scintillation, antiglare film and method of producing the same
US6885369B2 (en) Method and apparatus for acquiring luminance information and for evaluating the quality of a display device image
WO2019001355A1 (zh) 一种显示面板的灰阶调整方法及装置
JP5867268B2 (ja) むら検査装置およびむら検査方法
JP4288340B2 (ja) 画質評価方法およびそれを利用した画質評価装置
JP4000632B2 (ja) 表示装置の検査方法および検査装置
WO2017133091A1 (zh) 用于拼接显示装置显示颜色的方法及系统
CN111462105A (zh) 一种边缘像素锯齿程度的测量方法
JPH1096696A (ja) 対象物にあるむらの検査方法および装置
TWI267737B (en) Method and device for detecting flat panel display device by visual model
Someya 19.3: Correlation between Perceived Motion Blur and MPRT Measurement
Xu et al. Effects of high ambient illuminations on image quality in mobile displays
KR100416775B1 (ko) 디스플레이 장치 휘도 검사방법
Tamura et al. Quantitative evaluation of luminance nonuniformity
Chen et al. Measurement of human visual perception for Mura with some features
JPH095245A (ja) 画質判定方法
Tzu et al. Non-uniformity evaluation of flat panel display by automatic optical detection
JP4297457B2 (ja) 防眩性を評価する方法
Toufeeq Specifying colours for colour vision testing using computer graphics
JP3504040B2 (ja) カラーディスプレイの色むら識別方法および前記方法による自動識別装置
JP2004144545A (ja) 色むらの検査方法
JP2516263Y2 (ja) 圧力測定装置
KR20050046516A (ko) 저휘도 대비 영상 검출 방법
Li et al. 13.2: Invited Paper: Study on the influential factors of display image quality

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060116

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20061004

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20061113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20061113

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070123

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090217

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090305

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120410

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130410

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130410

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140410

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term