JP4893938B2 - 欠陥検査装置 - Google Patents

欠陥検査装置 Download PDF

Info

Publication number
JP4893938B2
JP4893938B2 JP2006272104A JP2006272104A JP4893938B2 JP 4893938 B2 JP4893938 B2 JP 4893938B2 JP 2006272104 A JP2006272104 A JP 2006272104A JP 2006272104 A JP2006272104 A JP 2006272104A JP 4893938 B2 JP4893938 B2 JP 4893938B2
Authority
JP
Japan
Prior art keywords
defect
area
imaging system
imaging
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006272104A
Other languages
English (en)
Other versions
JP2008089471A (ja
Inventor
卓人 岸
良輔 柏
美和 柳川
直道 千田
一晃 上畠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP2006272104A priority Critical patent/JP4893938B2/ja
Publication of JP2008089471A publication Critical patent/JP2008089471A/ja
Application granted granted Critical
Publication of JP4893938B2 publication Critical patent/JP4893938B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)

Description

本発明は、所定の被検査エリアを有する検査対象を、複数のエリアセンサにより撮像した画像情報を処理し、前記エリア内の輝度変化から計算した特徴量に基づいて欠陥を識別する欠陥検査装置に関するものである。
液晶表示素子等のパネル状の検査対象を、エリアセンサにより撮像した画像情報を用いて輝度欠陥(黒表示をした際に光ってはならない画素が光っているような欠陥)を検査する欠陥検査装置がある。
図9は、複数のエリアセンサによる欠陥検査装置の基本的システム構成を示す斜視図である。検査対象100の検査エリアは、A1〜A4に4分割され、各検査エリアは、レンズ200A〜200Dを介して夫々エリアセンサを備えるカメラ300A〜300Dにより撮像され、撮像された画像情報が夫々画像処理装置400A〜400Dに渡される。
パーソナルコンピュータ等からなる画像処理装置400A〜400Dは、画像入力ボード等を介して取り込んだ画像情報に基づき、検査対象100の所定エリアA1〜A4の輝度情報を数値的に処理することにより欠陥検査を行い、各検査結果が総合される。
図10は、複数台のカメラにより撮像された画像情報に基づく検査結果を総合する、欠陥検査装置の機能ブロック図である。カメラ300A〜300Nで撮像された画像情報は、夫々画像処理手段400A〜400Nに取り込まれて画像処理され、担当する検査エリアの欠陥検査が実行される。
画像処理装置400A〜400Nの検査結果は、座標変換手段500により検査対象全体の検査結果に総合されて判定結果出力手段600に渡される。このように複数の撮像系を総合する検査システムで重要なポイントは、カメラ300A〜300Nが備えるエリアセンサの特性が一致していることである。
このため、各カメラ300A〜300Nはゲイン調整機能を備え、システム稼動の初期ステップでオペレータによるゲイン調整を実行して各撮像系の特性を一致させるための操作を行なっている。
図11は、画像処理装置の具体的な構成例を示す機能ブロック図である。以下、画像処理装置400Aを代表として機能構成を説明する。カメラ300Aが備えるCCD等によるエリアセンサ301Aで撮像された画像情報は、画像入力ボード401により画像処理装置400Aに取り込まれ、前処理手段402に渡される。
前処理手段402では、カメラ欠陥補正手段402aにより、エリアセンサ自身の輝度抜け箇所の補正処理をした後、シェーディング補正手段402bによりエリアセンサの周辺部の感度と中心部の感度差を小さくして均一化する処理を実行し、検出処理手段403に渡す。
検出処理手段403では、輝点欠陥を目立たせるために微分系の強調フィルタ手段403aにより処理し、二値化手段403bにより、あらかじめ設定してある閾値よりも高いレベルのフィルタリング部分を“1”、低いレベルの部分を“0”として欠陥の候補を抽出し、ラベリング404cにより抽出候補の夫々に番号を付与して判定処理手段に404に渡す。
判定処理手段に404では、特徴量計算手段404aで欠陥候補の一つ一つについて、特徴量計算を実行する。特徴量とは、欠陥を判定するための数値であり、例えば、平均輝度、最大輝度、輝度体積、平均コントラスト、最大平均コントラスト等である。
特徴量計算手段404aで計算された特徴量は、識別手段404bに出力され、この特徴量とあらかじめ設定してある閾値Laと比較して閾値を越える候補を欠陥として識別しし、判定結果出力手段405に渡す。
図12は、各画像処理装置400A〜400Nの信号処理手順を示すフローチャートである。ステップS1のゲイン調整の後、ステップS2で撮像画像が入力されると、ステップS3でカメラ欠陥の補正を行い、ステップS4でシェーディング補正を行なう。
更に、ステップS5で強調フィルタ処理を行ない、ステップS6で二値化処理を行い、ステップS7でラベリングを行なう。更に、ステップS8で特徴量の計算を行い、ステップS9で識別処理を行い、ステップS10で判定結果を出力する。
図13は、同じ機種であるエリアセンサを備える複数のカメラ(カメラA〜カメラG)の輝度出力特性の比較図である。同機種のエリアセンサを備えていても、カメラにより器差があることが分かる。
図14は、ゲイン未調整状態で4段階の欠陥直径夫々について、同一強度の欠陥に対する平均輝度(センサ出力)をプロットした、平均輝度出力特性図である。ゲイン調整をしない状態においては、異なるエリアセンサ間でその輝度出力特性が大きく異なることが分かる。
図15は、各カメラでのゲイン調整後に、4段階の欠陥直径夫々について、同一強度の欠陥に対する平均輝度(センサ出力)をプロットした、平均輝度出力特性図である。
一般的には、エリアセンサ間の器差をなくすために、カメラ毎のゲイン調整を行うことで対応している。しかしながら、図15の特性図から、ゲイン調整だけでは異なるエリアセンサ間での特徴量のばらつきを抑えきれていないことが分かる。このばらつきは、主としてレンズの分解能が欠陥のサイズによっても異なることに起因している。
図16は、一般的なレンズの分解能を示した特性図である。横軸に像面での光軸からの距離を取り、縦軸には白黒の縞模様を撮像したときのコントラストを取っている。グラフ上の3組の線は白黒の縞模様の細かさ(空間周波数)の違いを示している。
上から、空間周波数10[lp/mm]、20[lp/mm]、40[lp/mm]の時のコントラスト変化を示している。単位[lp/mm]は、line Pair/mmのことで、1mmの中に白黒の縞模様が何ペア繰り返されているかを示している。点線と実線は、レンズの径方向と周方向のコントラストの違いを示している。
この特性で最も空間周波数の高い40[lp/mm]のコントラストに着目すると、光軸上では約0.67のコントラストがあるが、光軸から20mm離れた像面では約0.32で半分以下に低下していることがわかる。
以上、従来装置の構成例として、1個の検査対象の分割エリアを複数台のカメラで撮像する複数撮像系を説明したが、複数の検査対象を夫々1台のカメラで撮像する複数撮像系の場合でも、各カメラのエリアセンサ間の特性のばらつきによる撮像系間器差の問題は同じである。
特許文献1には、フラットパネルディスプレイ等の検査対象に表示させた検査パターンを撮像し、撮像により得られる画像データに基づいて欠陥の検出を行う欠陥検出装置が記載されている。
特開2005−156396号公報
従来装置では、撮像系間の器差をなくすための手法として、各カメラでのゲイン調整で対応してきた。しかしながら、レンズを組み合わせた撮像系の場合、その分解能は個々のレンズで異なり、欠陥のサイズによっては、ゲイン調整だけでは特徴量の補正が不完全であった。
そのため、異なる撮像系毎に検出される欠陥の特徴量にばらつきが生じ、欠陥を判定するため1つの閾値を設定した場合、検出精度の悪化、しいては不良欠陥の流出を招いていた。また、有効な識別情報である異なる撮像系で検出された欠陥の強度比較も困難であった。
また、検出精度を安定させて不良欠陥の流出を防ぐためには、欠陥を判定するための閾値の設定を撮像系毎に行わなければならず、メンテナンス時間増大の要因となっていた。
本発明は上述した問題点を解決するためになされたものであり、異なる複数の撮像系において、共通の閾値設定で安定した検査ができ、各カメラでのゲイン調整を不要とした欠陥検査装置の実現を目的としている。
このような課題を達成するために、本発明の構成は次の通りである。
(1)所定の被検査エリアを有する検査対象を、複数のエリアセンサにより撮像した画像情報を処理し、前記エリア内の輝度変化から計算した特徴量に基づいて欠陥を識別する欠陥検査装置において、
前記複数のエリアセンサ間の同一欠陥に対する特徴量の差を補正する、特徴量撮像系間補正手段を前記エリアセンサ毎に備え
前記特徴量撮像系間補正手段は、
異なるサイズの擬似欠陥を有する擬似欠陥チャートを、基準となるエリアセンサで撮像した特徴量データと、前記複数のエリアセンサにより前記擬似欠陥チャートを撮像した特徴量データに基づいて夫々に近似式を算出し、算出した近似式の各項の係数をまとめて補正データとして保持する補正データ生成手段を備え、
前記補正データ生成手段より取得する補正データに基づく近似式から対象の欠陥のサイズに対する対象の撮像系での特徴量と基準の撮像系での特徴量を算出してその比率を求め、実際の特徴量をこの比率で除算することで、基準の撮像系で欠陥を検出した際の特徴量に換算する演算を実行することを特徴とする欠陥検査装置。
)前記複数のエリアセンサは、1個の検査対象の被検査エリアを複数に分割した各分割エリアを撮像することを特徴とする(1に)記載の欠陥検査装置。
)前記複数のエリアセンサは、複数の検査対象の各被検査エリアを撮像することを特徴とする1(または2に)記載の欠陥検査装置。
本発明によれば、次のような効果を期待することができる、
(1)撮像系によらず、安定した特徴量を算出でき、高い精度での欠陥判定を実現できる。これにより、
(a)撮像系によって欠陥判定の閾値を変更する必要がない。
(b)撮像系によらず、欠陥強度の比較が可能となる。
(2)検査装置のメンテナンス時間やコストの増大、それに伴うラインの稼働率の低下を大幅に軽減できる。
(3)複数のカメラ間のゲイン調整が不要となるので、検査装置のメンテナンス時間やコストの増大、それに伴うラインの稼働率の低下を大幅に軽減できる。
(4)擬似欠陥と同等の画像を検査時に撮像し、補正データを生成すれば、メンテナンスフリーを実現できる。
以下、本発明を図面により詳細に説明する。図1は、本発明を適用した複数撮像系による欠陥検査装置の一実施形態を示す機能ブロック図である。図10で説明した従来装置と同一要素には同一符号を付して説明を省略する。
従来装置との相違点の第1は、各画像処理装置400A〜400Nが、特徴量撮像系間補正手段404cを備える点にある。相違点の第2は、各カメラのゲイン調整を不用とした点にある。
図2は、本発明を適用した各画像処理装置400A〜400Nの具体的な構成例を示す機能ブロック図である。以下、400Aを代表として説明する。図11で説明した従来の画像処理装置400Aと同一要素には同一符号を付して説明を省略する。
従来装置と比較した画像処理装置400Aの特徴部の第1は、判定処理手段404の構成にあり、特徴量計算手段404aと識別手段404bの間に特徴量撮像系間補正手段404cを新設した点にある。
画像処理装置400Aの特徴部の第2は、特徴量撮像系間補正を実行するための補正データDを生成し、新設された前記特徴量撮像系間補正手段404cに渡す、補正データ生成手段406を設けた点にある。
図3は、本発明が適用された画像処理装置400Aの信号処理手順を示すフローチャートである。図12に示した従来装置におけるゲイン調整ステップS1が省かれて、ステップS2の撮像画像からスタートする。ステップS3でカメラ欠陥の補正を行い、ステップS4でシェーディング補正を行ないステップS5に進む。
ステップS5の強調フィルタ処理、ステップS6の二値化処理、ステップS7のラベリング、ステップS8の特徴量計算は、従来装置と同じである。ステップS8の特徴量計算結果に対して、新設されたステップS11で補正データ生成手段406からの補正データDに基づく特徴量の撮像系間補正を実行した後、ステップS9で識別処理を行い、ステップS10で判定結果を出力する。
図4は、本発明で実行される特徴量撮像系間補正の概念を説明するイメージ図である。特徴量撮像系間補正を実行することにより、対象の撮像系における特徴量Aを、基準の撮像系における特徴量A´に換算する。
図5は、特徴量撮像系間補正実行後の同一強度の欠陥に対する平均輝度出力特性図である。図15に示したゲイン調整後の従来装置の特性と比較して、撮像系によらず安定した特徴量の出力特性が得られていることが分かる。
図6は、補正データ生成手段406による補正データ生成の手順を示すフローチャートである。生成の手順は、後述する擬似欠陥が形成された擬似欠陥チャートを、基準の撮像系で撮像した擬似欠陥画像から得られる特徴量データと、対象の撮像系で撮像した擬似欠陥画像から得られる特徴量データとの2系列のデータに基づいて補正データDを生成する。
基準の撮像系及び対象の撮像系では、ステップS11及びS21で擬似欠陥チャートを撮像した擬似欠陥画像が入力され、ステップS12及びS22で擬似欠陥の特徴量が計算され、ステップS13及び23で計算結果に基づく特量の近似式が夫々生成され、ステップS30でこれら近似式に基づく補正データDが生成され、保持される。
図7は、擬似欠陥チャートの一例を示す平面図である。擬似欠陥チャート700は、検査対象100を模擬するものであり、複数種類の異なるサイズの擬似的な欠陥が形成されている。この擬似欠陥チャート700を標準光源の上に設置し、図2に示したハードウェア構成を備える基準の撮像系及び対象の撮像系夫々で撮像した画像情報を、画像処理装置400Aに入力する。
この画像情報を元に、特徴量計算手段404aにより、擬似欠陥の個々の特徴量、例えば平均輝度、最大輝度、輝度体積、平均コントラスト、最大平均コントラスト等を、基準の撮像系と対象の撮像系の夫々で算出し、算出した特徴量P,P´を補正データ生成手段406に渡す。
補正データ生成手段406は、渡された特徴量P,P´毎に多次多項式による近似式を夫々算出し、算出した近似式の各項の係数をまとめた補正データDを生成し、これを保持する。
図8は、本発明による特徴量撮像系間補正の処理手順を示すフローチャートである。ステップS1では、補正データ生成手段406で生成された補正データDを特徴量撮像系間補正手段404cに入力する。
ステップS2では、補正データDに記述されている近似式から、対象の欠陥のサイズに対する対象の撮像系での特徴量と基準の撮像系での特徴量を算出し、その比率を求め、実際の特徴量をこの比率で除算することで、基準の撮像系で欠陥を検出した際の特徴量(撮像系間補正特徴量)を算出する。特徴量毎に、この撮像系間補正処理を実行する。
実施形態では、2次元に光電変換素子が配置されたエリアセンサ301を用いて説明したが、光電変換素子が1次元(直線上)に配置されたラインセンサを用いた欠陥検査装置に対しても本発明を適用することができる。
実施形態では、検査対象100として液晶表示素子を例示したが、欠陥と同程度の空間周波数の規則的なパターンの形成された検査対象物であれば本発明の手法が適用可能である。例えば、TFTが形成された液晶パネル用の基板、カラーフィルタの形成された液晶用のガラス、PDP(プラズマディスプレイパネル)用のガラスやセル、ICパターンが形成されたシリコンウェハ等にも適用可能である。
実施形態では、各カメラのエリアセンサの周辺部の感度と中心部の感度差を小さくして均一化する処理を、シェーディング補正手段402bにより実行する構成を例示したが、同一サイズの欠陥を格子状に形成した擬似欠陥チャートを撮像した特徴量データを近似式の形態で保持した補正データを利用して、エリアセンサの任意の箇所の輝度出力特性を、エリアセンサの中心点の輝度出力特性に換算する、特徴量面内補正を併用すれば、より高い精度での欠陥判定を実現することができる。
本発明を適用した、複数撮像系による欠陥検査装置の一実施形態を示す機能ブロック図である。 本発明を適用した各画像処理装置の具体的な構成例を示す機能ブロック図である。 本発明を適用した画像処理装置の信号処理手順を示すフローチャートである。 本発明で実行される特徴量撮像系間補正の概念を説明するイメージ図である。 特徴量撮像系間補正実行後の同一強度の欠陥に対する平均輝度出力特性図である。 補正データ生成手段406による補正データ生成の手順を示すフローチャートである。 擬似欠陥チャートの平面図である。 本発明による特徴量撮像系間補正の手順を示すフローチャートである。 複数のエリアセンサによる欠陥検査装置の基本的システム構成を示す斜視図である。 複数台のカメラにより撮像された画像情報に基づく検査結果を総合する、欠陥検査装置の機能ブロック図である。 各画像処理装置の具体的な構成例を示す機能ブロック図である。 各画像処理装置の信号処理手順を示すフローチャートである。 同じ機種であるエリアセンサを備える複数のカメラの輝度出力特性の比較図である。 カメラのゲイン未調整状態での、同一強度の欠陥に対する平均輝度出力特性図である。 カメラのゲイン調整後の、同一強度の欠陥に対する平均輝度出力特性図である。 一般的なレンズの分解能を示した特性図である。
符号の説明
200A〜200N レンズ
300A〜300N カメラ
400A〜400N 画像処理装置
404c 特徴量撮像系間補正手段
500 座標変換手段
600 判定結果出力手段

Claims (3)

  1. 所定の被検査エリアを有する検査対象を、複数のエリアセンサにより撮像した画像情報を処理し、前記エリア内の輝度変化から計算した特徴量に基づいて欠陥を識別する欠陥検査装置において、
    前記複数のエリアセンサ間の同一欠陥に対する特徴量の差を補正する、特徴量撮像系間補正手段を前記エリアセンサ毎に備え
    前記特徴量撮像系間補正手段は、
    異なるサイズの擬似欠陥を有する擬似欠陥チャートを、基準となるエリアセンサで撮像した特徴量データと、前記複数のエリアセンサにより前記擬似欠陥チャートを撮像した特徴量データに基づいて夫々に近似式を算出し、算出した近似式の各項の係数をまとめて補正データとして保持する補正データ生成手段を備え、
    前記補正データ生成手段より取得する補正データに基づく近似式から対象の欠陥のサイズに対する対象の撮像系での特徴量と基準の撮像系での特徴量を算出してその比率を求め、実際の特徴量をこの比率で除算することで、基準の撮像系で欠陥を検出した際の特徴量に換算する演算を実行することを特徴とする欠陥検査装置。
  2. 前記複数のエリアセンサは、1個の検査対象の被検査エリアを複数に分割した各分割エリアを撮像することを特徴とする請求項1に記載の欠陥検査装置。
  3. 前記複数のエリアセンサは、複数の検査対象の各被検査エリアを撮像することを特徴とする請求項1または2に記載の欠陥検査装置。
JP2006272104A 2006-10-03 2006-10-03 欠陥検査装置 Expired - Fee Related JP4893938B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006272104A JP4893938B2 (ja) 2006-10-03 2006-10-03 欠陥検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006272104A JP4893938B2 (ja) 2006-10-03 2006-10-03 欠陥検査装置

Publications (2)

Publication Number Publication Date
JP2008089471A JP2008089471A (ja) 2008-04-17
JP4893938B2 true JP4893938B2 (ja) 2012-03-07

Family

ID=39373777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006272104A Expired - Fee Related JP4893938B2 (ja) 2006-10-03 2006-10-03 欠陥検査装置

Country Status (1)

Country Link
JP (1) JP4893938B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5353564B2 (ja) * 2009-08-31 2013-11-27 凸版印刷株式会社 判定条件設定方法及び欠陥検査装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02172251A (ja) * 1988-12-26 1990-07-03 Hitachi Ltd 異物検査装置の感度チェック用ウェハおよびそれを用いた異物検査装置の感度チェック方法
JP3297950B2 (ja) * 1993-07-13 2002-07-02 シャープ株式会社 平面型表示パネル検査装置
JP3343445B2 (ja) * 1994-07-14 2002-11-11 株式会社アドバンテスト Lcdパネル画質検査装置
JPH09101236A (ja) * 1995-10-04 1997-04-15 Hitachi Ltd 表示欠陥検査装置および表示欠陥検査方法
JPH11108796A (ja) * 1997-09-30 1999-04-23 Horiba Ltd 平面表示装置の品位検査装置
JP4133026B2 (ja) * 2002-06-24 2008-08-13 株式会社堀場製作所 フラットパネルディスプレイの欠陥検査装置を校正するための標準試料および欠陥検査装置の校正方法
JP2005127989A (ja) * 2003-10-03 2005-05-19 Olympus Corp 傷検出装置および傷検出プログラム
JP4411588B2 (ja) * 2003-11-27 2010-02-10 横河電機株式会社 欠陥検査装置
JP2006226792A (ja) * 2005-02-16 2006-08-31 Fujitsu Ltd パターン欠陥検査方法

Also Published As

Publication number Publication date
JP2008089471A (ja) 2008-04-17

Similar Documents

Publication Publication Date Title
CN100367293C (zh) 用于显示器的光学检测的方法和装置
EP3171588B1 (en) Image processing method and image processing apparatus executing that image processing method
KR100846633B1 (ko) 패턴 결함 검출 방법 및 장치
US20100225666A1 (en) Digital optical comparator
CN103369347A (zh) 相机瑕疵缺陷检测
US20090046922A1 (en) Surface Inspecting Apparatus
JP2007285754A (ja) 欠陥検出方法および欠陥検出装置
JP2009036582A (ja) 平面表示パネルの検査方法、検査装置及び検査プログラム
JP4244046B2 (ja) 画像処理方法および画像処理装置
JP2005345290A (ja) 筋状欠陥検出方法及び装置
JP2012007952A (ja) 外観検査装置
JP3695120B2 (ja) 欠陥検査方法
JP5509465B2 (ja) ガラスびん検査装置
JP4893938B2 (ja) 欠陥検査装置
JP2005106725A (ja) 被検査物の外観検査方法及び外観検査装置
JP2009097959A (ja) 欠陥検出装置及び欠陥検出方法
JP4367474B2 (ja) 欠陥検査装置
JP5239275B2 (ja) 欠陥検出方法および欠陥検出装置
JP2005140655A (ja) シミ欠陥の検出方法及びその検出装置
JP2012185030A (ja) 色ムラ判別装置、色ムラ判別方法及び表示装置
JP4962763B2 (ja) 欠陥検査装置および欠陥検査方法
JP2006145228A (ja) ムラ欠陥検出方法及び装置
JPH0979946A (ja) 表示装置の検査装置
JP5846100B2 (ja) 表示装置の欠陥検査方法
US11538149B2 (en) Spot detection device, spot detection method, and display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110906

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111207

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150106

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees