JP4560969B2 - 欠陥検査方法 - Google Patents

欠陥検査方法 Download PDF

Info

Publication number
JP4560969B2
JP4560969B2 JP2001051786A JP2001051786A JP4560969B2 JP 4560969 B2 JP4560969 B2 JP 4560969B2 JP 2001051786 A JP2001051786 A JP 2001051786A JP 2001051786 A JP2001051786 A JP 2001051786A JP 4560969 B2 JP4560969 B2 JP 4560969B2
Authority
JP
Japan
Prior art keywords
pixel
density
density difference
pattern
pitch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001051786A
Other languages
English (en)
Other versions
JP2002259951A (ja
Inventor
之裕 綾木
典昭 湯川
肇 川野
宏治 吉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2001051786A priority Critical patent/JP4560969B2/ja
Publication of JP2002259951A publication Critical patent/JP2002259951A/ja
Application granted granted Critical
Publication of JP4560969B2 publication Critical patent/JP4560969B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は主に液晶パネル、プラズマディスプレイ、半導体ウェハ等の電子機器デバイスに含まれる繰り返しパターン中の欠陥判定を行う際の、画像中における繰り返しパターン消去方法ならびに欠陥検査を行う欠陥検査方法及び装置に関するものである。
【0002】
【従来の技術】
液晶パネル、プラズマディスプレイ、半導体ウェハ等の電子機器デバイスは、部分的なパターンと同じものが全体に繰り返し形成されているものが多く、その繰り返しパターンの中の欠陥を対象として検出する場合、主に次の処理により、欠陥を検出していた。
【0003】
まず、画像入力した繰り返しパターンを含んだ原画像に対して、
【0004】
【数1】
Figure 0004560969
【0005】
(数1)という処理を行い、パターン消去を行う。ここで、Vは処理後画像の各画素の濃度、Iは原画像の各画素の濃度、I1、I2、・・、Inは比較画素の濃度で、比較画素としては、繰り返しパターンの基準ピッチ離れた画素を選択する。比較画素を複数にすることにより、ノイズ等外乱に対して頑健にすることができる。Fは、各要素の絶対値が最小のものを選択し、その要素を返す関数である。Cは、処理後画像において基準濃度として加えるもので、8ビット256階調の場合、中央の128階調とすることが多い。この処理をパターン消去処理と呼び、ここで得られた画像を、パターン消去処理後の画像あるいは背景画像と呼ぶ。
【0006】
次に、背景画像の背景濃度と逸脱する塊を検出し、欠陥とする。この処理を欠陥検出処理と呼ぶ。
【0007】
図9は、従来の繰り返しパターン消去方法を説明した図で、図9(a)が、矩形形状が繰り返されるパターン消去処理前の画像、図9(b)が、処理後の画像で、パターンが消去されていることが分かる。
【0008】
また、図9(a)、(b)の下部には、パターン処理前の画像および処理後の画像におけるチェックライン11、12上の濃度プロファイル13、14を示している。明るい方が255階調に近く、暗い方が0階調に近い。
【0009】
欠陥検出処理は、図9(b)の処理後の画像に対して、一定濃度条件を満たすものを欠陥として検出する。ここで、チェックライン12上の濃度プロファイル14を例にとると、規定濃度階調135以上を白欠陥、規定濃度階調120以下を黒欠陥としているので、ここでは黒欠陥15が検出される。
【0010】
【発明が解決しようとする課題】
しかしながら、上記従来のパターン消去処理においては、以下の問題がある。
【0011】
液晶パネルやプラズマディスプレイでは、機器の特性上、欠陥として線状欠陥が出現することが多い。図10(a)は、繰り返しパターン上に線状欠陥が存在している状態である。図10(b)は、図10(a)に対して、従来のパターン消去処理を適用した処理後画像である。本来、欠陥として残るべき線状欠陥部分も、パターン消去により消去されてしまっている。
【0012】
これは、複数比較画素との濃度差で、最も0に近いものを選択するために生じた現象である。比較画素を1点のみにすれば、線状欠陥を消去してしまうことはないが、頑健性が失われる。また、複数比較画素を線状欠陥の垂直な方向に設定すれば同じく線状欠陥を消去せずにすむが、1方向のみの線状欠陥にしか対応できない。
【0013】
また、製造プロセス起因によりパターンピッチが一定とならず、微小にばらついている場合は、注目画素と比較画素との比較距離を1つしか持たないため、パターンピッチが規定の分からずれている部分では、パターンどうしを比較できないため、パターンが完全には消去されないという問題が生じる。消去されず残ったパターンは、欠陥として誤検出されることは言うまでもない。
【0014】
図11(a)は、パターンピッチpと、ばらつきによりパターンピッチp+αを有するパターンである。図11(b)は、従来の繰り返しパターン消去処理を比較距離pで適用した場合である。パターンピッチpの部分では、パターンの消去に成功しているが、パターンピッチp+αの部分では、パターンが完全には消去されず、残っていることが分かる。
【0015】
パターンピッチが一定とならない原因としては、製造プロセス起因で実際にピッチが一定にならないこともあれば、画像入力時に光学系の特性としてモアレが発生し、ピッチが一定にならないこともある。さらに、画像取り込み時の振動等でピッチが一定にならないこともある。
【0016】
本発明は上記課題を解決し、線状欠陥も有する繰り返しパターンの検査ができる繰り返しパターン消去手法を提供することを目的としている。
【0017】
さらに、パターンピッチが一定とならず、ばらつく場合でもパターン消去が完全に行われる手法を提供することを目的としている。
【0018】
【課題を解決するための手段】
この課題を解決するために本発明は、注目画素とこの注目画素と同じ列上に配置された比較画素群Aおよびその比較画素群Aとは垂直方向に配置された比較画素群Bとのそれぞれの濃度差から最も0に近い濃度差を求め、比較画素群Aに対する特定濃度差と比較画素群Bに対する特定濃度差を比較して0から遠い濃度差を決定し、最大濃度差をパターン消去画像における基準濃度に対して加えるパターン消去画像を生成したものである。
【0019】
これにより、上記問題を解消して線状欠陥を有する繰り返しパターンの線状欠陥を消去することなく、パターンのみを適切に消去することができる。
【0020】
また、比較画素群Aに対する特定濃度差と比較画素群Bに対する特定濃度差の比較方法を0から近い方を選択することもできる切り替えも可能であるので、線状欠陥を有しないことが既知である被検査体の場合も、検出手法と装置のハードウェア等を大幅に共有化することが可能である。
【0021】
さらに、比較画素群A、Bに対しパターンピッチのずれ量を考慮した比較画素群Dを設けてこの比較画素群Dに対する特定濃度差を決定し、注目画素と前記比較画素群A、Bおよび前記比較画素群Dとのそれぞれの特定濃度差から最も0に近い濃度差を求めて特定濃度差とすることにより、パターンピッチのばらつきを有するパターンに対しても、パターンを残すことなく、上記問題を解消してパターンを適切に消去することができる。
【0022】
【発明の実施の形態】
以下、線欠陥検出可能な繰り返しパターン消去方法を、被検査体が液晶ディスプレイにおける欠陥検査に適用した一実施形態を、図1〜図5を参照して説明する。
【0023】
パターン欠陥検査装置の概略構成を示す図1において、被検査体1が設置され、落射照明2により照明され、CCDエリアセンサなどからなる撮像素子3にて撮像される。撮像素子3の中の画像データは、1対1に対応付けられて処理装置としてのコンピュータ4の中の画像メモリ5に、転送される。コンピュータ4の中には、この画像メモリ5の画像データを読み取り、所定の処理を行う処理プログラム6が格納されている。ここでは、画像濃度は0〜255の256階調で扱われる。
【0024】
図2に、繰り返しパターンを消去して、欠陥を検出する方法の処理フローを示す。図2において、まずステップ♯1の画像入力工程で、撮像素子3からの取り込み画像データが、コンピュータ4の画像メモリ5に格納される。次にステップ♯2の複数濃度差検出工程で、注目画素と比較画素群との間の濃度差を求める。
さらに、ステップ♯3の特定濃度差検出工程で、ステップ♯2で検出された濃度差の中で特定のものが選択される。ここで、複数比較画素群は図3に示されるように、一方の繰り返し方向に設定されたA群、それと垂直の方向に設定されたB群に分かれ、それぞれの群に対してステップ♯2、ステップ♯3の処理が行われるが、それぞれに対する処理の内容は同じであるので、ここではA群に対しての処理方法について述べる。
【0025】
予め、パターンピッチから求めたサイズpで、以下の処理を行う。複数比較画素群Aは、サイズpの整数倍のところから選び、注目画素と複数比較画素群Aとの間の濃度差を求める。図4は、ある注目画素の位置における、比較画素群との関係を示している。注目画素10に対してサイズpで比較画素11、12が設定されている。
【0026】
【数2】
Figure 0004560969
【0027】
(数2)で、xは注目画素、nは上述の整数倍である。ここで、2つの濃度差が得られ、V1、V2とする。
【0028】
次に、ステップ#3の特定濃度差決定工程で、この2つの濃度差V1、V2から、最終的な出力濃度を決定する。ここでは、最も0に近いものを選択する。例えば、V1=3、V2=−2の場合、V2が特定濃度差として選択される。これを、比較画素群Aに対する特定濃度差VAとする。
【0029】
同様のことを、比較画素群Aとは垂直方向に選択された比較画素群Bに対しても行う。これを、比較画素群Bに対する特定濃度差VBとする。
【0030】
そして、ステップ#4の最大濃度差決定工程で、特定濃度差決定工程でA群、B群それぞれについて得られたVA、VBから、最終的な出力濃度を決定する。
ここでは最も0から遠いものを選択する。例えばVA=−2、VB=5の場合、VBが最大濃度差として選択される。
【0031】
次にステップ#5の消去画像作成工程で、最大濃度差決定工程で得られた最大濃度差に、パターン消去画像における基準濃度を加える。基準濃度は、従来例でふれたCと考え方が同じであり、基準濃度は0〜255階調の8ビット、256階調の場合、128階調にする場合が多い。
【0032】
図5(a)は、線状欠陥を有する繰り返しパターンのパターン消去処理前の図で、図5(b)が処理後の図である。パターン消去処理を行っても、線状欠陥は消去されずに残っていることが分かる。
【0033】
本発明ではステップ#4の最大濃度差決定工程で、A群、B群それぞれから得られた濃度差で、0から遠いものを選択せずに、0から近いものを選択することにより、従来のパターン消去処理と同じものを実現することができる。この場合は、ノイズ等の外乱に対して、より頑健性が増す。
【0034】
また、ステップ#4の最大濃度差決定工程以外は、従来手法と共通化されているので、ハードウェア等を従来のものと大幅に共通化することができる。
【0035】
次に、パターンずれを有する場合の繰り返しパターンの消去方法を、図6〜図8を参照して説明する。これは、被検査体が、液晶ディスプレイにおける欠陥検査に適用した一例であり、パターン欠陥検査装置の概略構成は、図1と同じである。
【0036】
パターンずれを有する繰り返しパターンの消去方法は、図2の処理フローに対して、図6に示すように、最適濃度差決定工程を付加することにより実現している。
【0037】
図7に示すように、注目画素に対して規定のパターンピッチ離れた位置に設けたC群と、C群に対してパターンピッチのばらつき分(ここではα)離れた位置に設けたD群の2つを、パターンの比較画素群として設ける。
【0038】
注目画素と比較画素C群との間の濃度差は、既に述べた複数濃度差検出工程と特定濃度差検出工程により決定する。これにより、決定された濃度差をVcとする。同様にして、注目画素と比較画素群D群との濃度差も、複数濃度差検出工程と特定濃度差検出工程により決定する。これにより、決定された濃度差をVdとする。
【0039】
次にVc、Vdの中で、0に近いものを最適濃度差とする。このとき、Vdに対して、適当な重み付けを行ってもよい。たとえば、重み付け係数1.5として、Vc=4、Vd=3のときは重み付け後のVdは4.5となるので、Vc=4を最適濃度差とする。
【0040】
これにより、パターンピッチにばらつきがある場合でも、パターン消去が行える。図8(a)に対して、本手法を適用したものが図8(b)である。パターンピッチにばらつきがある場合でも、パターン消去が完全に行われていることが分かる。
【0041】
さらに、これらの処理の後、欠陥検査を行うことで、被検査体の検査を精度よく行うことができる。
【0042】
【発明の効果】
以上のように本発明によれば、線状欠陥を有する繰り返しパターンの線状欠陥を消去することなく、パターンのみを適切に消去することができる。
【0043】
また、線状欠陥を有しないことが既知である被検査体の場合も、検出手法と装置のハードウェア等を大幅に共有化することが可能である。
【0044】
さらに、パターンピッチのばらつきを有するパターンに対しても、パターンを残すことなく、上記問題を解消してパターンを適切に消去することができる。
【0045】
そして、欠陥検査を精度よく行うことができるという有利な効果が得られる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る欠陥検査装置の概略構成図
【図2】同実施形態の係る繰り返しパターン消去方法の処理フロー図
【図3】同実施形態の係る繰り返しパターン消去方法の比較画素群の配置を示す図
【図4】同実施形態の係る繰り返しパターン消去方法の比較画素群の位置関係を示す図
【図5】同実施形態の係る繰り返しパターン消去方法で線状欠陥を有する場合に適用した時の処理前後の画像の説明図
【図6】同実施形態の係る繰り返しパターン消去方法でパターンずれを有する場合の処理フロー図
【図7】同実施形態の係る繰り返しパターン消去方法の比較画素群の配置を示す図
【図8】同実施形態の係る繰り返しパターン消去方法でパターンずれを有する場合に適用した時の処理前後の画像の説明図
【図9】従来例の繰り返しパターン消去方法の説明図
【図10】線状欠陥を有する場合における、従来例の繰り返しパターン消去方法での処理前後の画像の説明図
【図11】従来例の繰り返しパターン消去方法での処理前後の画像の説明図
【符号の説明】
1 被検査体
3 撮像素子
4 コンピュータ

Claims (2)

  1. 被検査体を撮像して得られた濃淡画像中の繰返しパターンのピッチである基準ピッチPa離れた矩形形状が一方の方向と繰返しパターンのピッチである基準ピッチPb離れた矩形形状が前記一方の方向と垂直な方向に繰り返されるパターンを消去して欠陥を検査する欠陥検査方法において、
    第1工程:前記濃淡画像中の注目画素を設定し、
    第2工程:前記注目画素から前記一方の方向に前記基準ピッチPaの整数倍離れた複数の比較画素群Aの各画素と、前記注目画素と、の濃度差の中で最も0に近い濃度差を選択して特定濃度差VAとし、
    第3工程:前記注目画素から前記一方の方向と垂直な方向に前記基準ピッチPbの整数倍離れた複数の比較画素群Bの各画素と、前記注目画素と、の濃度差の中で最も0に近い濃度差を選択して特定濃度差VBとし、
    第4工程:前記特定濃度差VAと前記特定濃度差VBから最も0から遠い値を選択して最大濃度差とし、
    第5工程:前記最大濃度差に一定の値である基準濃度Vsを加えた濃度値を前記注目画素の処理後濃度とし、
    第6工程:前記濃淡画像中の各画素を前記注目画素として、前記第1から前記第5工程までの処理を順次行ない、前記濃淡画像中の各画素の濃度を前記処理後濃度とし、
    第7工程:前記処理後濃度が前記基準濃度Vsより逸脱する前記濃淡画像中の画素を欠陥とすることを特徴とする欠陥検査方法。
  2. 被検査体を撮像して得られた濃淡画像中の繰返しパターンのピッチである基準ピッチPa離れた矩形形状が一方の方向と繰返しパターンのピッチである基準ピッチPb離れた矩形形状が前記一方の方向と垂直な方向に繰り返されるパターンを消去して欠陥を検査する欠陥検査方法において、
    第1工程:前記濃淡画像中の注目画素を設定し、
    第2工程:前記注目画素から前記一方の方向に前記基準ピッチPaの整数倍離れた複数の比較画素群Aの各画素と、前記注目画素と、の濃度差の中で最も0に近い濃度差を選択して特定濃度差VAとし、
    第3工程:前記注目画素から前記一方の方向と垂直な方向に前記基準ピッチPbの整数倍離れた複数の比較画素群Bの各画素と、前記注目画素と、の濃度差の中で最も0に近い濃度差を選択して特定濃度差VBとし、
    第4工程:前記比較画素群Aの各画素からばらつきα離れた範囲に含まれる比較画素群Daの各画素と、前記注目画素と、の濃度差の中で最も0に近い濃度差を選択して最適濃度差Vdaとし、
    第5工程:前記特定濃度差VAと、前記最適濃度差Vdaから最も0から遠い値を選択して最適濃度差Aとし
    第6工程:前記比較画素群Bの各画素からばらつきα離れた範囲に含まれる比較画素群Dbの各画素と、前記注目画素と、の濃度差の中で最も0に近い濃度差を選択して最適濃度差Vdbとし、
    第7工程:前記特定濃度差VBと、前記最適濃度差Vdbから最も0から遠い値を選択して最適濃度差Bとし
    第8工程:前記最適濃度差Aと前記最適濃度差Bから最も0から遠い値を選択して最大濃度差とし、
    第9工程:前記最大濃度差に一定の値である基準濃度Vsを加えた濃度値を前記注目画素の処理後濃度とし、
    第10工程:前記濃淡画像中の各画素を前記注目画素として、前記第1から前記第9工程までの処理を順次行ない、前記濃淡画像中の各画素の濃度を前記処理後濃度とし、
    第11工程:前記処理後濃度が前記基準濃度Vsより逸脱する前記濃淡画像中の画素を欠陥とすることを特徴とする欠陥検査方法。
JP2001051786A 2001-02-27 2001-02-27 欠陥検査方法 Expired - Fee Related JP4560969B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001051786A JP4560969B2 (ja) 2001-02-27 2001-02-27 欠陥検査方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001051786A JP4560969B2 (ja) 2001-02-27 2001-02-27 欠陥検査方法

Publications (2)

Publication Number Publication Date
JP2002259951A JP2002259951A (ja) 2002-09-13
JP4560969B2 true JP4560969B2 (ja) 2010-10-13

Family

ID=18912516

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001051786A Expired - Fee Related JP4560969B2 (ja) 2001-02-27 2001-02-27 欠陥検査方法

Country Status (1)

Country Link
JP (1) JP4560969B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4882529B2 (ja) * 2005-08-26 2012-02-22 セイコーエプソン株式会社 欠陥検出方法および欠陥検出装置
JP2008175549A (ja) * 2007-01-16 2008-07-31 Olympus Corp 欠陥検出装置および欠陥検出方法
JP2008224256A (ja) * 2007-03-09 2008-09-25 Matsushita Electric Ind Co Ltd 電極検査方法
JP5239275B2 (ja) * 2007-09-19 2013-07-17 セイコーエプソン株式会社 欠陥検出方法および欠陥検出装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0547887A (ja) * 1991-08-15 1993-02-26 Hitachi Electron Eng Co Ltd 繰り返しパターン検出データの削除方法
JP2635758B2 (ja) * 1989-03-28 1997-07-30 株式会社東芝 欠陥判別装置
JP2001043378A (ja) * 1999-08-02 2001-02-16 Matsushita Electric Ind Co Ltd 繰り返しパターン消去方法及びパターン欠陥検査装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2635758B2 (ja) * 1989-03-28 1997-07-30 株式会社東芝 欠陥判別装置
JPH0547887A (ja) * 1991-08-15 1993-02-26 Hitachi Electron Eng Co Ltd 繰り返しパターン検出データの削除方法
JP2001043378A (ja) * 1999-08-02 2001-02-16 Matsushita Electric Ind Co Ltd 繰り返しパターン消去方法及びパターン欠陥検査装置

Also Published As

Publication number Publication date
JP2002259951A (ja) 2002-09-13

Similar Documents

Publication Publication Date Title
KR100983943B1 (ko) 디스플레이의 광학 검사 방법 및 장치
KR20090101356A (ko) 결함 검출 장치 및 결함 검출 방법
KR100734935B1 (ko) 화상의 영역분할
KR20160006852A (ko) 비전 검사 장치 및 이의 얼룩 검출 방법
US6362802B1 (en) Method and apparatus for acquiring an image for inspection of a flat panel display
JP2003057019A (ja) パターン検査装置および方法
JP4230880B2 (ja) 欠陥検査方法
JP3907874B2 (ja) 欠陥検査方法
JP2005172559A (ja) パネルの線欠陥検出方法及び装置
WO2004083901A2 (en) Detection of macro-defects using micro-inspection inputs
KR100271261B1 (ko) 화상데이터처리방법및화상데이터처리장치
JP4560969B2 (ja) 欠陥検査方法
JP2005345290A (ja) 筋状欠陥検出方法及び装置
JP2006138708A (ja) 画像欠陥検査方法、画像欠陥検査装置及び外観検査装置
US7538750B2 (en) Method of inspecting a flat panel display
JP4165115B2 (ja) パターン消去方法および欠陥検査方法
JP3127598B2 (ja) 画像中の濃度変動構成画素抽出方法および濃度変動塊判定方法
JP2002267427A (ja) ハニカム構造体の外形状測定方法及び装置
CN110672631B (zh) 面板缺陷拍照方法和面板缺陷拍照装置
JP2002131241A (ja) 不良検査方法及び装置
JP2005346300A (ja) 筋状欠陥検出方法及び装置
JP3111434B2 (ja) 画像処理装置
JP2008298788A (ja) 画像欠陥検査方法、画像欠陥検査装置及び外観検査装置
JP4526348B2 (ja) シェーディング補正装置及び方法
JPH07220076A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071106

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20071212

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20091119

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100316

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100719

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees