JP4745483B2 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP4745483B2
JP4745483B2 JP2000086738A JP2000086738A JP4745483B2 JP 4745483 B2 JP4745483 B2 JP 4745483B2 JP 2000086738 A JP2000086738 A JP 2000086738A JP 2000086738 A JP2000086738 A JP 2000086738A JP 4745483 B2 JP4745483 B2 JP 4745483B2
Authority
JP
Japan
Prior art keywords
shutter speed
electronic shutter
flicker
threshold level
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000086738A
Other languages
English (en)
Other versions
JP2001275038A (ja
Inventor
裕司 津田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000086738A priority Critical patent/JP4745483B2/ja
Publication of JP2001275038A publication Critical patent/JP2001275038A/ja
Application granted granted Critical
Publication of JP4745483B2 publication Critical patent/JP4745483B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)
  • Picture Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、カメラー体型VTR等の撮像装置に係り、特にフリッカー検知除去に関するものである。
【0002】
【従来の技術】
従来、ビデオカメラなどの撮像装置において、フリッカー検知を行ってフリッカーを除去する手段が考案されている。ここで先ず、この種の撮像装置の構成例を説明する。
【0003】
図3のブロック図において、101はレンズ、102は入射光量を調節するアイリス、103はアイリス102によって光量を調節された画像を光電変換して映像信号に変換するCCD等の撮像素子、104は撮像素子103より出力された映像信号にゲインを持たせるAGC回路、105はアナログの映像信号をデジタル信号に変換するA/Dコンバータ、106は映像信号に所定の信号処理を施して規格化された映像信号に変換するカメラ信号処理部である。
【0004】
また、108はCCD103に映像信号が蓄積される時間を制御するタイミング発生器、107はアイリス102とAGC(auto gain control )回路104とタイミング発生器108を制御するためのカメラ制御部、109は電子防振機能のONおよびOFFを切り替えるための電子防振ON/OFF切替えSW(スイッチ)である。
【0005】
上記構成において、その具体的な動作について図3のブロック図を用いて説明する。
レンズl01より入射した光は、アイリス102で光量が制限された後、撮像素子であるCCD103上に結像される。このCCD103で光電変換されて映像信号として蓄積される。このときCCD103で蓄積される時間(電子シャッター速度)は、カメラ制御部107から送信される時間設定データを基にタイミング発生器108により出力されるパルスで決定される。
【0006】
また、CCD103で蓄積されて出力された映像信号は、AGC回路104で増幅される。そしてA/Dコンバータ105でアナログ信号からデジタル信号に変換された後、カメラ信号処理部106で信号処理されて、映像信号として出力される。カメラ信号処理部106は映像信号の輝度成分(Y信号)を積分するための積分回路を有しており、カメラ制御部107はその積分された輝度成分のレベルを基にアイリス102の開度、CCD103のシャッター速度およびAGC回路104のゲインを制御し露出制御を行っている。
【0007】
また、電子防振のONおよびOFFの切替えは、電子防振ON/OFF切替えSW109により設定される。そして、電子防振OFFの場合は、シャッター速度を基本的に1/60(秒)で動作するように制御し、電子防振ON時はシャッター速度を基本的に1/120(秒)で動作するように制御する。電子防振ON時にシャッター速度を基本的に1/120(秒)で動作するように制御する理由は、手ブレが原因で撮影した画像がブレてしまうことが多く、鮮明な画像が得られないからである。このように電子防振機能により、電子的に画像ブレ等を防止するようにしている。
【0008】
一方、シャッター速度を1/60(秒)または1/120(秒)に設定した場合は、商用AC電源周波数が50Hzの地域では、周期的な輝度変化(蛍光灯等によるフリッカー成分)が発生する。このためフリッカー検知手段を設けて、フリッカーを検知したときには電子シャッター速度を1/100(秒)に切り替えてフリッカー除去を行っている。
【0009】
実際のフリッカー検知とフリッカー除去制御(すなわちシャッター速度を1/100(秒)にする)手段は、カメラ制御部107にてソフトウエアにより行っている。図4および図5は、従来のフリッカー検知処理の例を説明する。
先ず、図4のフローチャートにおいて、フリッカー成分を検知済みかどうかを判別し(ステップS401)、フリッカー成分を検知済みであればシャッター速度を1/100(秒)にする(ステップS407)。
【0010】
また、フリッカー成分を検知していなければ電子防振ON/OFF切替えSW109を確認して(ステップS402)、電子防振がOFFであるならばシャッター速度を1/60(秒)に設定する(ステップS403)。この場合、もし電子防振がONであるならばシャッター速度を1/120(秒)に設定する(ステップS404)。
【0011】
その後、「フリッカー検知処理1」によりフリッカー成分の有無の判断を行い(ステップS405)、フリッカー成分がないと判断されればシャッター速度は電子防振のON/OFFに応じたシャッター速度に設定され続ける。もしフリッカー成分があると判断された場合は(ステップS406)シャッター速度を1/100(秒)に設定する(ステップS407)。
【0012】
つぎに、フリッカー成分の有無の判断を行うためのシーケンスを、図5のフリッカー検知処理1のフローチャートを用いて説明する。
フリッカー検知には、垂直帰線期間1/60(秒)周期で更新される輝度成分の積分データ(Ysデータと称する)を11周期分格納するデータバッファを持っている。そして、そのデータを20Hzのバンドパスフィルタにかける(ステップS501〜S506)。そしてバンドパスフィルタをかけたYsデータの過去3周期分を保持しておき、その3つのデータのうち最大値と最小値の差をフリッカー検知スレッショルドレベルと比較する(ステップS508)。
【0013】
最大/最小値差がフリッカー検知スレッショルドレベルを越えた場合は「フリッカー成分有り」と判断して、内部的なフリッカー成分有りフラグをセットする(ステップS508)。もし3つのデータのうち最大値と最小値の差をフリッカー検知スレッショルドレベルと比較して(ステップS508)、フリッカー検知スレッショルドレベル以下である場合は「フリッカー成分無し」と判断して内部的なフリッカー成分有りフラグの極性はそのままとする。
【0014】
【発明が解決しようとする課題】
しかしながら、上記のような従来例の撮像装置において、電子シャッター速度を1/60(秒)の時と1/120(秒)の時とでフリッカー成分の検知を共通のフリッカー検知手段で行っている。そのため特に1/120(秒)の時のフリッカー検知の精度が悪くなり、フリッカーを検知するのに時間がかかるという問題があった。これは、電子シャッター速度を1/120(秒)に設定しているときのフリッカー成分の振幅が、電子シャッター速度を1/60(秒)に設定しているときのフリッカー成分と比較すると小さくなるためである。図5のフリッカー検知処理1のフローチャートにおけるステップS507の処理が正確に行わないことが原因である。
【0015】
本発明は、前記問題点を解決するためになされたものであり、つねにフリッカーの検知を安定してかつ精度良く検知することができる撮像装置および撮像方法を提供することを目的とする。
【0016】
【課題を解決するための手段】
本発明による撮像装置は、第1の電子シャッター速度または前記第1の電子シャッター速度よりも高速である第2の電子シャッター速度を撮像素子に設定可能な設定手段と、前記設定手段により前記第1の電子シャッター速度が前記撮像素子に設定された場合に、前記撮像素子から出力される複数周期分の映像信号の輝度成分の積分データを保持しておき、前記複数周期分の映像信号の輝度成分の積分データの最大値と最小値の差を第1のスレッショルドレベルと比較し、前記積分データの最大値と最小値の差が前記第1のスレッショルドレベルを超えた場合に、前記第1の電子シャッター速度でのフリッカー成分が有ると判断し、前記設定手段により前記第2の電子シャッター速度が前記撮像素子に設定された場合に、前記撮像素子から出力される複数周期分の映像信号の輝度成分の積分データを保持しておき、前記複数周期分の映像信号の輝度成分の積分データの最大値と最小値の差を前記第1のスレッショルドレベルよりも小さい第2のスレッショルドレベルと比較し、前記積分データの最大値と最小値の差が前記第2のスレッショルドレベルを超えた場合に、前記第2の電子シャッター速度でのフリッカー成分が有ると判断するフリッカー検知手段と、を備えたことを特徴とする。
【0017】
また、本発明による撮像方法は、第1の電子シャッター速度または前記第1の電子シャッター速度よりも高速である第2の電子シャッター速度を撮像素子に設定する設定ステップと、前記設定ステップにより前記第1の電子シャッター速度が前記撮像素子に設定された場合に、前記撮像素子から出力される複数周期分の映像信号の輝度成分の積分データを保持しておき、前記複数周期分の映像信号の輝度成分の積分データの最大値と最小値の差を第1のスレッショルドレベルと比較し、前記積分データの最大値と最小値の差が前記第1のスレッショルドレベルを超えた場合に、前記第1の電子シャッター速度でのフリッカー成分が有ると判断し、前記設定ステップにおいて前記第2の電子シャッター速度が前記撮像素子に設定された場合に、前記撮像素子から出力される複数周期分の映像信号の輝度成分の積分データを保持しておき、前記複数周期分の映像信号の輝度成分の積分データの最大値と最小値の差を前記第1のスレッショルドレベルよりも小さい第2のスレッショルドレベルと比較し、前記積分データの最大値と最小値の差が前記第2のスレッショルドレベルを超えた場合に、前記第2の電子シャッター速度でのフリッカー成分が有ると判断するフリッカー検知ステップと、を有することを特徴とする。
【0026】
本発明によれば、特に蛍光灯によるフリッカーの検知をそれぞれの電子シャッター速度に応じた複数の蛍光灯フリッカー検知手段で行う。具体的には第1の電子シャッター速度にある時に、蛍光灯フリッカーを検知すると電子シャッター速度を1/100(秒)に変更し、あるいはまた第2の電子シャッター速度にある時に、蛍光灯フリッカーを検知すると電子シャッター速度を1/100(秒)に変更することにより行なわれる。
【0027】
【発明の実施の形態】
以下、図1および図2に基づき図3をも参照し、従来例と実質的に同一または対応する部材には同一符号を用いて、本発明による撮像装置および撮像方法の好適な実施の形態を説明する。
この実施形態における撮像装置の構成は、図3に示したものと実質的に同様である。したがって、既に示したようにレンズ101、アイリス102、撮像素子103、AGC回路104、A/Dコンバータ105、カメラ信号処理部106を含んでいる。さらに、タイミング発生器108、カメラ制御部107および電子防振ON/OFF切替えSW109を含み、またこれらの部材の基本的作用は前述したものと同様である。
【0028】
本発明の撮像装置においてもフリッカー検知手段を設けて、フリッカーを検知したときには電子シャッター速度を1/100(秒)に切り替えてフリッカー除去を行うようになっている。実際のフリッカー検知とフリッカー除去制御手段は、カメラ制御部107にてソフトウエアにより行っている。図1および図2は、この実施形態によるフリッカー検知処理の例を示している。つぎに、これらの図を用いて、この実施形態における撮像装置の動作を説明する。
【0029】
先ず、図1のフローチャートにおいて、フリッカー成分を検知済みかどうかを判別し(ステップS101)、フリッカー成分を検知済みであればシャッター速度を1/100(秒)にして(ステップS107)、フリッカーを除去する。
【0030】
また、フリッカー成分を検知していなければ電子防振ON/OFF切替えSW109を確認して(ステップS102)、電子防振がOFFであるならばシャッター速度を1/60(秒)に設定する(ステップS103)。この場合、もし電子防振がONであるならばシャッター速度を1/120(秒)に設定する(ステップS104)。
【0031】
その後、「フリッカー検知処理2」によりフリッカー成分の有無の判断を行い(ステップS105)、フリッカー成分がないと判断されればフリッカー成分有りフラグの極性はそのままとする。そして、シャッター速度は電子防振のON/OFFに応じたシャッター速度に設定される。もしフリッカー成分があると判断された場合はフリッカー成分有りフラグが「H」となり、ステップS106からステップS107に移行してシャッター速度を1/100(秒)に設定する。
【0032】
つぎに、図2において、「フリッカー検知処理2」のフローチャートを用いて説明する。
フリッカー検知には、垂直帰線期間1/60(秒)周期で更新される輝度成分の積分データ(Ysデータ)を11周期分格納することができるデータバッファを持っている。そして、そのYsデータを20Hzのバンドパスフィルタにかける(ステップS201〜S206)。
【0033】
つぎに、電子防振がONかOFFのどちらに選択されているかどうか、電子防振ON/OFF切替えSW109を検出することにより判断される(ステップS207)。
電子防振OFFが選択されている場合は、バンドパスフィルタをかけたYsデータの過去3周期分を保持しておき、その3つのデータのうち最大値と最小値の差をフリッカー検知スレッショルドレベル1と比較する(ステップS208)。最大/最小値差がフリッカー検知スレッショルドレベル1を越えた場合は「フリッカー成分有り」と判断して、内部的なフリッカー成分有りフラグをセットする(ステップS209)。
【0034】
電子防振ONが選択されている場合は、バンドパスフィルタをかけたYsデータの過去3周期分を保持しておき、その3つのデータのうち最大値と最小値の差をフリッカー検知スレッショルドレベル2と比較する(ステップS210)。フリッカー検知スレッショルドレベル2を超えた場合は「フリッカー成分有り」と判断して内部的なフリッカー成分有りフラグをセットする(ステップS209)。
【0035】
ここで、スレッショルドレベル1とスレッショルドレベル2は、シャッター速度が1/60(秒)の時のフリッカー成分の振幅と1/120(秒)の時のフリッカー成分の振幅に差があるために設けられている。その振幅からスレッショルドレベル1>スレッショルドレベル2という関係が成り立つ。このようにスレッショルドレベル2をスレッショルドレベル1よりも小さくすることで、フリッカー成分が小さい1/120(秒)のシャッター速度の場合でも、正確かつ迅速にフリッカーの有無を判断することができる。
【0036】
上述したようにシャッター速度が1/60(秒)であろうと1/120(秒)であろうとも、それぞれのシャッター速度に応じた複数のフリッカー検知手段を使うことにより、常に安定した精度の良いフリッカー検知を行うことが可能となる。
【0037】
ここで、上述した実施形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ(CPUあるいはMPU)に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【0038】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【0039】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているOS(オペレーティングシステム)あるいは他のアプリケーションソフト等の共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【0040】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれる。
【0041】
【発明の効果】
以上説明したように本発明によれば、シャッター速度の速さにかからわず、つねにフリッカーの検知を安定してかつ精度良く検知することができ、高品位の画像を得ることができる等の利点を有している。
【図面の簡単な説明】
【図1】本発明の実施形態におけるフリッカー除去動作の例を示すフローチャートである。
【図2】本発明の実施形態に係るフリッカー検知処理を示すフローチャートである。
【図3】撮像装置の構成例を示すブロック図である。
【図4】従来例におけるフリッカー除去動作の例を示すフローチャートである。
【図5】従来例におけるフリッカー検知処理を示すフローチャートである。
【符号の説明】
101 レンズ
102 アイリス
103 CCD
104 AGC
105 A/D
106 カメラ信号処理部
107 カメラ制御部
108 タイミング発生器
109 電子防振ON/OFF切り替えSW

Claims (6)

  1. 第1の電子シャッター速度または前記第1の電子シャッター速度よりも高速である第2の電子シャッター速度を撮像素子に設定可能な設定手段と、
    前記設定手段により前記第1の電子シャッター速度が前記撮像素子に設定された場合に、前記撮像素子から出力される複数周期分の映像信号の輝度成分の積分データを保持しておき、前記複数周期分の映像信号の輝度成分の積分データの最大値と最小値の差を第1のスレッショルドレベルと比較し、前記積分データの最大値と最小値の差が前記第1のスレッショルドレベルを超えた場合に、前記第1の電子シャッター速度でのフリッカー成分が有ると判断し、
    前記設定手段により前記第2の電子シャッター速度が前記撮像素子に設定された場合に、前記撮像素子から出力される複数周期分の映像信号の輝度成分の積分データを保持しておき、前記複数周期分の映像信号の輝度成分の積分データの最大値と最小値の差を前記第1のスレッショルドレベルよりも小さい第2のスレッショルドレベルと比較し、前記積分データの最大値と最小値の差が前記第2のスレッショルドレベルを超えた場合に、前記第2の電子シャッター速度でのフリッカー成分が有ると判断するフリッカー検知手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記フリッカー検知手段によりフリッカー成分が有ることが検知されると、前記設定手段は、前記第1及び第2の電子シャッター速度と異なる所定の電子シャッター速度を前記撮像素子に設定することを特徴とする請求項1に記載の撮像装置。
  3. 前記第1の電子シャッター速度は1/60(秒)、前記第2の電子シャッター速度は1/120(秒)であり、前記所定の電子シャッター速度は1/100(秒)であることを特徴とする請求項2に記載の撮像装置。
  4. 第1の電子シャッター速度または前記第1の電子シャッター速度よりも高速である第2の電子シャッター速度を撮像素子に設定する設定ステップと、
    前記設定ステップにより前記第1の電子シャッター速度が前記撮像素子に設定された場合に、前記撮像素子から出力される複数周期分の映像信号の輝度成分の積分データを保持しておき、前記複数周期分の映像信号の輝度成分の積分データの最大値と最小値の差を第1のスレッショルドレベルと比較し、前記積分データの最大値と最小値の差が前記第1のスレッショルドレベルを超えた場合に、前記第1の電子シャッター速度でのフリッカー成分が有ると判断し、
    前記設定ステップにおいて前記第2の電子シャッター速度が前記撮像素子に設定された場合に、前記撮像素子から出力される複数周期分の映像信号の輝度成分の積分データを保持しておき、前記複数周期分の映像信号の輝度成分の積分データの最大値と最小値の差を前記第1のスレッショルドレベルよりも小さい第2のスレッショルドレベルと比較し、前記積分データの最大値と最小値の差が前記第2のスレッショルドレベルを超えた場合に、前記第2の電子シャッター速度でのフリッカー成分が有ると判断するフリッカー検知ステップと、
    を有することを特徴とする撮像方法。
  5. 前記フリッカー検知ステップによりフリッカー成分が有ることが検知されると、前記第1及び第2の電子シャッター速度と異なる所定の電子シャッター速度を前記撮像素子に設定するように制御する制御ステップを有することを特徴とする請求項4に記載の撮像方法。
  6. 前記第1の電子シャッター速度は1/60(秒)、前記第2の電子シャッター速度は1/120(秒)であり、前記所定の電子シャッター速度は1/100(秒)であることを特徴とする請求項5に記載の撮像方法。
JP2000086738A 2000-03-27 2000-03-27 撮像装置および撮像方法 Expired - Fee Related JP4745483B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000086738A JP4745483B2 (ja) 2000-03-27 2000-03-27 撮像装置および撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000086738A JP4745483B2 (ja) 2000-03-27 2000-03-27 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JP2001275038A JP2001275038A (ja) 2001-10-05
JP4745483B2 true JP4745483B2 (ja) 2011-08-10

Family

ID=18602856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000086738A Expired - Fee Related JP4745483B2 (ja) 2000-03-27 2000-03-27 撮像装置および撮像方法

Country Status (1)

Country Link
JP (1) JP4745483B2 (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4026890B2 (ja) * 1997-08-22 2007-12-26 キヤノン株式会社 電子カメラ及びその電子シャッター制御方法

Also Published As

Publication number Publication date
JP2001275038A (ja) 2001-10-05

Similar Documents

Publication Publication Date Title
JP4558830B2 (ja) 撮像装置
JP2004023605A (ja) 画像処理装置、カメラ装置、及びその自動露光制御方法
JP2002314873A (ja) 撮像装置用回路及び撮像用信号処理方法
JP2007174537A (ja) 撮像装置
JP3808248B2 (ja) 撮像装置
JP3709294B2 (ja) 自動焦点検出装置
JP2010034888A (ja) 撮像装置、フリッカー抑制方法、及びフリッカー抑制プログラム
JP5159235B2 (ja) 撮像装置及びその制御方法
JPH06165047A (ja) 固体撮像装置
JP4745483B2 (ja) 撮像装置および撮像方法
JP2002305682A (ja) 電子カメラおよび画像処理システム
JP4026890B2 (ja) 電子カメラ及びその電子シャッター制御方法
JPH07298130A (ja) 撮像装置
JP2008060779A (ja) 映像信号処理装置及び映像信号処理方法
JP2002314885A (ja) 撮像装置
JP2009253808A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2001069400A (ja) 撮像装置
JP4465574B2 (ja) 撮像装置及び撮像方法
JP3356564B2 (ja) マイクロスコープの光量制御装置
JP4246479B2 (ja) 撮像装置および撮像方法
JP2003018450A (ja) 静止画撮像装置
JP2003189172A (ja) 撮像装置及びその露光制御方法
JP2004297731A (ja) 撮像装置および電荷検出装置
JP2755514B2 (ja) Ccd固体撮像装置
JP4834470B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110512

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees