JP4514731B2 - Mtf測定装置、mtf測定方法およびmtf測定プログラム - Google Patents

Mtf測定装置、mtf測定方法およびmtf測定プログラム Download PDF

Info

Publication number
JP4514731B2
JP4514731B2 JP2006138548A JP2006138548A JP4514731B2 JP 4514731 B2 JP4514731 B2 JP 4514731B2 JP 2006138548 A JP2006138548 A JP 2006138548A JP 2006138548 A JP2006138548 A JP 2006138548A JP 4514731 B2 JP4514731 B2 JP 4514731B2
Authority
JP
Japan
Prior art keywords
image
mtf
scanning
edge
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006138548A
Other languages
English (en)
Other versions
JP2007309764A (ja
JP2007309764A5 (ja
Inventor
孝 増田
忠 朝岡
昂輝 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acutelogic Corp
Original Assignee
Acutelogic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acutelogic Corp filed Critical Acutelogic Corp
Priority to JP2006138548A priority Critical patent/JP4514731B2/ja
Publication of JP2007309764A publication Critical patent/JP2007309764A/ja
Publication of JP2007309764A5 publication Critical patent/JP2007309764A5/ja
Application granted granted Critical
Publication of JP4514731B2 publication Critical patent/JP4514731B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Description

本発明は、MTF測定装置、MTF測定方法およびMTF測定プログラムに関し、特に、被写体の持つコントラストをどの程度忠実に再現できるかを空間周波数特性として表現したMTFの測定手法に関するものである。
レンズ性能を評価する指標の1つに、MTF(Modulation Transfer Function)がある。MTFは、レンズの結像性能を知るために、被写体の持つコントラストをどの程度忠実に再現できるかを空間周波数特性として表現したものである。空間周波数は、1[mm]当たりに含まれるパターン数を示すものである。横軸に像高(画面中心からの距離)をとり、縦軸にコントラストの値を示したものが、いわゆるMTF曲線である。
デジタルカメラのMTF測定方法は、ISO(International Organization for Standardization)12233で定められている(例えば、非特許文献1参照)。また、このISO12233に基づきMTFを測定する手法が実際に提案されている(例えば、特許文献1,2参照)。
INTERNATIONAL STANDARD ISO 12233:2000(E) "Photography−Electronic still-picture cameras−Resolution measurements" 特開平9−98292号公報 特開2001−324413号公報
図5は、ISOで定められたMTF測定方法を示す図である。図5(a)は、デジタルカメラで被写体を撮影したときに得られる画像データを示す。四角い枠の1つ1つが画素を示し、画素内の●、■、○、□が画素値を示している。被写体はシャープなエッジを有している。そのエッジは、画像データ上では左から3番目の画素部分に斜めに存在しており、エッジより左側の輝度が暗く、右側の輝度が明るくなっている。
このような画像データに対し、水平方向(主走査方向)のライン毎に、離散的な微分係数を用いて画素値を微分する(図5(b))。そして、この微分値を利用して、エッジの傾斜を近似した最適フィットラインを計算により求める(図5(c)の上段)。さらに、求めた最適フィットラインを利用して、微分された画素値をシフトすることによって1つのコンポジットラインを求め(図5(c)の下段)、図5(d)のような広がり関数を得る。この広がり関数に対して窓掛け演算を行うことによってノイズ成分を除去し(図5(e))、最後にフーリエ変換を行うことによってMTFを得る(図5(f))。
しかしながら、上記従来のMTF測定方法では、微分や最適フィットラインの計算、微分された画素値のシフト、窓掛け演算、フーリエ変換といった多くの演算を行う必要があり、アルゴリズムが複雑で演算に多くの時間がかかってしまうという問題があった。
本発明は、このような問題を解決するために成されたものであり、演算を簡素化してMTFを高速に計算できるようにすることを目的とする。
上記した課題を解決するために、本発明では、被写体を撮影した画像中に含まれるエッジであって、画像の一の方向に沿って画像の他の方向側から当該他の方向とは反対側に向かって傾斜するエッジの傾斜角度に基づいて、画像の一の方向に対する走査の基本単位となるサンプリング数として、エッジ上の点が画像の他の方向に1画素分だけ変位するのに要する一の方向に対する画素の変位数を求めるサンプリング数算出部と、画像の一の方向を主走査方向、他の方向を副走査方向として、主走査方向に対してはサンプリング数をもって1ライン分の走査とし、当該1ライン分の走査が終わるたびに副走査方向に対して1画素ずつ走査位置を移すようにして画像を順次スキャンし、各スキャン位置の画素値を取得することによってエッジのステップ応答を求めるステップ応答算出部と、ステップ応答を微分することによってエッジのインパルス応答を求めるインパルス応答算出部と、インパルス応答をフーリエ変換することによってMTFを求めるMTF算出部とを備えている。
上記のように構成した本発明によれば、従来のような最適フィットラインの計算、微分された画素値のシフト、窓掛け演算は不要となる。すなわち、エッジ付近の画素値を一の方向にサンプリング数ずつ順次スキャンし、スキャンした順番に画素値を並べるだけで、ステップ応答を得ることができる。後は、これを微分してフーリエ変換するだけでMTFを求めることができるので、全体として演算が簡素となり、MTFを高速に計算することができる。
以下、本発明の一実施形態を図面に基づいて説明する。図1は、本実施形態によるMTF測定装置10の構成例を示す図である。図1に示すように、本実施形態のMTF測定装置10は、サンプリング数算出部1と、ステップ応答算出部2と、インパルス応答算出部3と、MTF算出部4とを備えて構成されている。
図1において、レンズ102のMTFを測定する場合、被写体であるエッジチャート101からの光を、レンズ102を通してCCD(Charge Coupled Device)103にて結像させる。サンプリング数算出部1は、エッジチャート101をCCD103で撮影した画像中に含まれるエッジ(白領域と黒領域との境界ライン)の傾斜角度に基づいて、画像の一の方向に対する走査の基本単位となるサンプリング数を求める。
ステップ応答算出部2は、画像の一の方向を主走査方向、他の方向を副走査方向として、CCD103で撮影された画像をスキャンする。このとき、主走査方向に対しては、サンプリング数算出部1により求められたサンプリング数をもって1ライン分の走査とするようにして、画像を順次スキャンする。そして、各スキャン位置の画素値を取得することにより、エッジのステップ応答を求める。
図2は、サンプリング数算出部1およびステップ応答算出部2の処理内容を説明するための図である。図2(a)に示すように、エッジチャート101のエッジが垂直方向からわずかに傾いている場合、主走査方向となる一の方向は、垂直方向である。また、その垂直方向に対するサンプリング数pは、エッジライン上の点が水平方向にほぼ1画素分だけ変位するときにおける垂直方向に対する画素の変位数である。図2(a)の例では、p=4である。このサンプリング数pを求める手法の詳細を以下に説明する。なお、以下に示す手法は単なる一例であって、これに限定されるものではない。
サンプリング数pを求めるために、エッジラインの傾斜角度を算出する。傾斜角度は、エッジラインから得られるエッジ点群のモーメントにより求めることが可能である。エッジラインがほぼ垂直方向である場合、傾斜角度を求める際には、まず図3に示すように、エッジチャート101のエッジに対し、y方向(垂直方向)にS個のウィンドウw(w=1,2,・・・,S)を配置する。1つのウィンドウはx方向(水平方向)に複数の単位要素を有し、各単位要素の高さは画素1個分と同じ値、幅は画素1個分より小さい値となっている。
ウィンドウwを配置したら、次の(式1)に従って、各ウィンドウw内で2次微分を行う。
W(x)=2*PW(x)−PW(x-1)−PW(x+1) ・・・(式1)
なお、(式1)において、PW(x)はウィンドウw内の点(x,EyW)における画素値であり、LW(x)はその点における2次微分値である。ただし、点(x,EyW)は1つの単位要素をx座標およびy座標の一目盛とした場合の位置であり、EyW=1,2,・・・,Sである。
次に、各ウィンドウw内で2次微分値LW(x)の最大値LmaxWと最小値LminW、およびそれらの点のx座標XmaxW,XminWをそれぞれ求める。そして、次の(式2)に従って、各ウィンドウw内でエッジ点のx座標ExWを求める。
ExW=(XminW*|LmaxW|+XmaxW*|LminW|)/(|LmaxW|+|LminW|) ・・・(式2)
さらに、(式2)より得られたエッジ点群からエッジラインの傾斜角度θ(cotθ=1/tanθ)を次の(式3)より算出する。このcotθを四捨五入して整数化した値がサンプリング数pとなる。
図2(b)は、ステップ応答算出部2による画像の走査順序を示している。図2(b)に示すように、まず1列目の画素を、垂直方向に沿ってサンプリング数pだけスキャンする。1列目のスキャンが終わったら、水平方向にスキャン位置を移し、再び垂直方向に沿ってサンプリング数pだけスキャンする。このように、垂直方向を主走査方向、水平方向を副走査方向として、CCD103で撮影された画像を垂直方向に沿ってサンプリング数pずつ順次スキャンしていく。
そして、各スキャン位置の画素値を1次元的に並べていくと、図2(c)のようなエッジのステップ応答を得ることができる。図2(c)において、縦軸は輝度値を示し、横軸は各スキャン位置を1次元的に展開した場合の位置を示している。このように、エッジ付近の画素値を垂直方向にサンプリング数pずつスキャンし、スキャンした順番に画素値を並べるだけで、エッジのステップ応答を得ることができる。
図1に戻り、インパルス応答算出部3は、以上のようにして求めた図2(c)のようなステップ応答を微分することによって、当該ステップ応答をインパルス応答に変換する。ここで行う微分は、例えば、ステップ応答の隣接する画素間で差分をとることによって行うことが可能であるが、この方法に限定されるものではない。
また、MTF算出部4は、インパルス応答算出部3により求められたインパルス応答をフーリエ変換することによってMTFを求める。なお、インパルス応答に対して高速フーリエ変換を実行すると、周波数毎に実数成分と虚数成分とが得られる。この実数成分と虚数成分とをベクトル的に加算することにより、MTFが得られる。
ノイズを除去して正確なMTFを算出するために、フーリエ変換後の実数成分および虚数成分をそれぞれ周波数毎に積算(平均化)し、積算後の実数成分と虚数成分とをベクトル的に加算することによってMTFを求めるのが好ましい。すなわち、以上のような手順で画像の1フレーム毎にMTFを算出し、数フレーム分のMTFを積算する。このようにして積算したMTFを、最終的なMTFとして出力する。
図4は、以上のように構成した本実施形態によるMTF測定装置の動作例、すなわち、本実施形態によるMTF測定方法の処理手順を示すフローチャートである。図4において、まず、サンプリング数算出部1は、エッジチャート101の画像中に含まれるエッジの傾斜角度cotθを算出し、当該傾斜角度cotθに基づいて、垂直方向に対するサンプリング数pを求める(ステップS1)。
次に、ステップ応答算出部2は、エッジチャート101の画像を垂直方向に沿ってサンプリング数pずつ順次スキャンし、各スキャン位置の画素値を1次元的に並べることによってエッジのステップ応答を求める(ステップS2)。そして、インパルス応答算出部3は、ステップ応答を微分することによってインパルス応答に変換する(ステップS3)。MTF算出部4は、得られたインパルス応答をフーリエ変換する(ステップS4)。
MTF算出部4は、フーリエ変換によって求められた実数成分および虚数成分をそれぞれ積算用のレジスタに格納し、所定フレーム分の積算が終了したかどうかを判定する(ステップS6)。所定フレーム分の積算がまだ終わっていなければ、ステップS2の処理に戻る。一方、所定フレーム分の積算が終了したと判断した場合、MTF算出部4は、積算後の実数成分と虚数成分とをベクトル的に加算してMTFを求め、出力する(ステップS7)。
以上に説明した本実施形態によるMTF測定の手法は、ハードウェア構成、ゲートアレイ、FPGA(Field Programmable Gate Array)、DSP、ソフトウェアの何れによっても実現することが可能である。例えばソフトウェアによって実現する場合、本実施形態のMTF測定装置は、実際にはコンピュータのCPUあるいはMPU、RAM、ROMなどを備えて構成され、RAMやROMに記憶されたプログラムが動作することによって実現できる。
したがって、コンピュータが本実施形態の機能を果たすように動作させるプログラムを例えばCD−ROMのような記録媒体に記録し、コンピュータに読み込ませることによって実現できるものである。上記プログラムを記録する記録媒体としては、CD−ROM以外に、フレキシブルディスク、ハードディスク、磁気テープ、光ディスク、光磁気ディスク、DVD、不揮発性メモリカード等を用いることができる。また、上記プログラムをインターネット等のネットワークを介してコンピュータにダウンロードすることによっても実現できる。
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているOS(オペレーティングシステム)あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
以上詳しく説明したように、本実施形態によれば、従来のような最適フィットラインの計算、微分された画素値のシフト、窓掛け演算等の演算は不要となる。すなわち、エッジ付近の画素値を垂直方向にサンプリング数pずつ順次スキャンし、スキャンした順番に画素値を並べるだけでステップ応答を得ることができる。後は、これを微分してフーリエ変換するだけでMTFを求めることができるので、全体として演算が簡素となり、MTFを高速に計算することができる。
なお、上記実施形態では、画像の垂直方向を主走査方向、水平方向を副走査方向としてスキャンする例について説明したが、これに限定されない。例えば、エッジチャート101のエッジが水平方向からわずかに傾いている場合(ほぼ水平方向の場合)は、画像の水平方向に対してサンプリング数pを求め、水平方向を主走査方向、垂直方向を副走査方向として画像をスキャンする。
また、上記実施形態では、フーリエ変換後の実数成分および虚数成分をそれぞれ周波数毎に積算し、積算後の実数成分と虚数成分とをベクトル的に加算することによってMTFを求める例について説明したが、これに限定されない。例えば、フーリエ変換後の実数成分および虚数成分をベクトル的に加算してMTFを求め、これを数フレームにわたって積算するようにしても良い。
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
本実施形態によるMTF測定装置の構成例を示す図である。 本実施形態によるサンプリング数算出部およびステップ応答算出部の処理内容を説明するための図である。 エッジの傾斜角度を算出する際に設定するウィンドウの説明図である。 本実施形態によるMTF測定装置の動作例を示すフローチャートである。 従来のMTF測定方法を示す図である。
符号の説明
1 サンプリング数算出部
2 ステップ応答算出部
3 インパルス応答算出部
4 MTF算出部
10 MTF測定装置

Claims (4)

  1. 被写体を撮影した画像中に含まれるエッジであって、上記画像の一の方向に沿って上記画像の他の方向側から当該他の方向とは反対側に向かって傾斜するエッジの傾斜角度に基づいて、上記画像の一の方向に対する走査の基本単位となるサンプリング数として、上記エッジ上の点が上記画像の他の方向に1画素分だけ変位するのに要する上記画像の一の方向に対する画素の変位数を求めるサンプリング数算出部と、
    上記画像の一の方向を主走査方向、上記画像の他の方向を副走査方向として、上記主走査方向に対しては上記サンプリング数をもって1ライン分の走査とし、当該1ライン分の走査が終わるたびに上記副走査方向に対して1画素ずつ走査位置を移すようにして上記画像を順次スキャンし、各スキャン位置の画素値を取得することによって上記エッジのステップ応答を求めるステップ応答算出部と、
    上記ステップ応答を微分することによって上記エッジのインパルス応答を求めるインパルス応答算出部と、
    上記インパルス応答をフーリエ変換することによってMTFを求めるMTF算出部とを備えたことを特徴とするMTF測定装置。
  2. 上記画像の1フレーム毎に上記MTFを算出し、数フレーム分のMTFを積算することによって最終的なMTFを求めるようにしたことを特徴とする請求項1に記載のMTF測定装置。
  3. 被写体を撮影した画像中に含まれるエッジであって、上記画像の一の方向に沿って上記画像の他の方向側から当該他の方向とは反対側に向かって傾斜するエッジの傾斜角度に基づいて、上記画像の一の方向に対する走査の基本単位となるサンプリング数として、上記エッジ上の点が上記画像の他の方向に1画素分だけ変位するのに要する上記画像の一の方向に対する画素の変位数を求める第1のステップと、
    上記画像の一の方向を主走査方向、上記画像の他の方向を副走査方向として、上記主走査方向に対しては上記サンプリング数をもって1ライン分の走査とし、当該1ライン分の走査が終わるたびに上記副走査方向に対して1画素ずつ走査位置を移すようにして上記画像を順次スキャンし、各スキャン位置の画素値を取得することによって上記エッジのステップ応答を求める第2のステップと、
    上記ステップ応答を微分することによって上記エッジのインパルス応答を求める第3のステップと、
    上記インパルス応答をフーリエ変換することによってMTFを求める第4のステップとを有することを特徴とするMTF測定方法。
  4. 請求項1に記載の各手段としてコンピュータを機能させるためのMTF測定プログラム。
JP2006138548A 2006-05-18 2006-05-18 Mtf測定装置、mtf測定方法およびmtf測定プログラム Expired - Fee Related JP4514731B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006138548A JP4514731B2 (ja) 2006-05-18 2006-05-18 Mtf測定装置、mtf測定方法およびmtf測定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006138548A JP4514731B2 (ja) 2006-05-18 2006-05-18 Mtf測定装置、mtf測定方法およびmtf測定プログラム

Publications (3)

Publication Number Publication Date
JP2007309764A JP2007309764A (ja) 2007-11-29
JP2007309764A5 JP2007309764A5 (ja) 2008-05-22
JP4514731B2 true JP4514731B2 (ja) 2010-07-28

Family

ID=38842754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006138548A Expired - Fee Related JP4514731B2 (ja) 2006-05-18 2006-05-18 Mtf測定装置、mtf測定方法およびmtf測定プログラム

Country Status (1)

Country Link
JP (1) JP4514731B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102620911A (zh) * 2012-03-17 2012-08-01 哈尔滨工业大学 采用点目标像拼合的光学系统横向放大率测量方法与装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4754587B2 (ja) * 2008-02-08 2011-08-24 アキュートロジック株式会社 Mtf測定方法及びmtf測定装置
JP5193113B2 (ja) * 2009-03-31 2013-05-08 日本放送協会 Mtf測定装置およびmtf測定プログラム
CN102620668B (zh) * 2012-03-17 2014-07-16 哈尔滨工业大学 采用点目标像拼合的图像传感器像素间距测量方法与装置
CN102620669B (zh) * 2012-03-17 2014-08-13 哈尔滨工业大学 采用匀速动点目标的图像传感器像素间距测量方法与装置
US9542742B2 (en) * 2014-01-30 2017-01-10 Ricoh Company, Ltd. Estimation of the system transfer function for certain linear systems
CN104833480A (zh) * 2015-04-27 2015-08-12 北京空间机电研究所 一种测试刃边倾角对调制传递函数影响的装置及方法
JP7257231B2 (ja) * 2018-04-27 2023-04-13 日本放送協会 Mtf測定装置およびそのプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001324413A (ja) * 2000-05-15 2001-11-22 Konica Corp Mtf測定方法およびmtf測定装置
JP2002350285A (ja) * 2001-05-22 2002-12-04 Chinontec Kk レンズ測定装置およびレンズ測定方法ならびにチャート紙
JP2004132703A (ja) * 2002-10-08 2004-04-30 Chinontec Kk 測定システム、演算方法および演算プログラム
JP2008500529A (ja) * 2004-05-25 2008-01-10 ノキア コーポレイション デジタル画像化システムを特徴付ける方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001324413A (ja) * 2000-05-15 2001-11-22 Konica Corp Mtf測定方法およびmtf測定装置
JP2002350285A (ja) * 2001-05-22 2002-12-04 Chinontec Kk レンズ測定装置およびレンズ測定方法ならびにチャート紙
JP2004132703A (ja) * 2002-10-08 2004-04-30 Chinontec Kk 測定システム、演算方法および演算プログラム
JP2008500529A (ja) * 2004-05-25 2008-01-10 ノキア コーポレイション デジタル画像化システムを特徴付ける方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102620911A (zh) * 2012-03-17 2012-08-01 哈尔滨工业大学 采用点目标像拼合的光学系统横向放大率测量方法与装置
CN102620911B (zh) * 2012-03-17 2014-10-15 哈尔滨工业大学 采用点目标像拼合的光学系统横向放大率测量方法与装置

Also Published As

Publication number Publication date
JP2007309764A (ja) 2007-11-29

Similar Documents

Publication Publication Date Title
JP4514731B2 (ja) Mtf測定装置、mtf測定方法およびmtf測定プログラム
US9124775B2 (en) Information processing apparatus, information processing method, program, and imaging apparatus including optical microscope
JP4487191B2 (ja) 画像処理装置および画像処理プログラム
JP4389371B2 (ja) 画像修復装置および画像修復方法
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
US20010008418A1 (en) Image processing apparatus and method
JP2009207118A (ja) 撮像装置及びぶれ補正方法
JP2006129236A (ja) リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体
CN110915193B (zh) 图像处理系统、服务器装置、图像处理方法及记录介质
US8077208B2 (en) Method, apparatus, software and arrangement for modifying image data
KR100837459B1 (ko) 표시 패널의 촬상 방법 및 표시 패널의 촬상 장치
KR100867049B1 (ko) 화상 보정 장치 및 화상 보정 방법
JP4804310B2 (ja) 撮像装置並びに画像復元方法
JP2009088935A (ja) 画像記録装置、画像補正装置及び撮像装置
JP5223912B2 (ja) 撮像装置、および焦点判定プログラム
US8243154B2 (en) Image processing apparatus, digital camera, and recording medium
JP5446285B2 (ja) 画像処理装置及び画像処理方法
JP4740008B2 (ja) 手ぶれ検出装置およびデジタルカメラ
JP4754587B2 (ja) Mtf測定方法及びmtf測定装置
JP5167614B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP2004134861A (ja) 解像度評価方法、解像度評価プログラム、および光学機器
JP2010160016A (ja) 光学性能検査方法および光学性能検査装置
JP2011082614A (ja) 画像処理装置及び撮像装置
JP4043499B2 (ja) 画像補正装置及び画像補正方法
JP2012068761A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080404

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090224

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20091202

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20100108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100126

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100427

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100511

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130521

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees