JP4509349B2 - 監視装置 - Google Patents

監視装置 Download PDF

Info

Publication number
JP4509349B2
JP4509349B2 JP2000318457A JP2000318457A JP4509349B2 JP 4509349 B2 JP4509349 B2 JP 4509349B2 JP 2000318457 A JP2000318457 A JP 2000318457A JP 2000318457 A JP2000318457 A JP 2000318457A JP 4509349 B2 JP4509349 B2 JP 4509349B2
Authority
JP
Japan
Prior art keywords
signal
optical system
image
transistor
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000318457A
Other languages
English (en)
Other versions
JP2002135759A (ja
Inventor
孝史 四宮
仁 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Nikon Systems Inc
Original Assignee
Nikon Corp
Nikon Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp, Nikon Systems Inc filed Critical Nikon Corp
Priority to JP2000318457A priority Critical patent/JP4509349B2/ja
Publication of JP2002135759A publication Critical patent/JP2002135759A/ja
Application granted granted Critical
Publication of JP4509349B2 publication Critical patent/JP4509349B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、動体の有無を検出することによって異常が発生したか否かを判定する監視装置に関する。
【0002】
【従来の技術】
従来、この種の監視装置として、特開平11−160340号公報に記載されたものがあった。この監視装置は、動体の有無を検出可能な撮像素子を用い、動体の有無を示す動体信号によって、被写界に異常が発生したか否かを判定するものである。
【0003】
【発明が解決しようとする課題】
しかしながら、従来の監視装置においては、撮像部にガムテープ等を貼って監視不可能にして悪事を働くといった被害が発生している。また、最悪の場合、監視装置を破壊されてしまうという被害も発生している。そして、これらの異常事態に対して、迅速に対応できないという問題もあった。
【0004】
本発明は、上記のような異常事態に対応可能な監視装置を提供することを目的とする。
【0005】
【課題を解決するための手段】
上記課題の解決のため、本発明の監視装置は、予め決められた被写界内にある物体からの光を集光する光学系13と、前記光学系13を通して入射された入射光によって形成される前記物体の像の変化を、前記像を繰り返し撮像して変換された電気信号によって示される前記入射光の強度の変化に基づいて検出し、前記被写界内にある物体に動体が含まれることを示す動体信号を生成して、前記電気信号に応じた画像信号と前記動体信号とを出力する撮像手段14と、前記撮像手段14から出力される前記動体信号によって動体が含まれることが検出された場合であって、前記画像信号に基づき、前記検出された像の大きさが大きくなると判定された場合に、前記被写界内にある物体が前記光学系13に接近してくる物体として検知して、前記検知されたことを示す検知信号を生成する検知手段15と、を備え、前記検知信号にしたがって、前記光学系13を保護することとした。
【0006】
また、前記検知手段15からの検知信号に基づき、前記光学系13に接近してくる物体を検出した場合に警告を発する警告手段74を備えた構成としてもよい。
また、前記検知手段からの検知信号に基づき、前記光学系13に接近してくる物体から遠ざける方向に、前記光学系13を退避させる退避手段73を備えた構成としてもよい。
【0007】
また、前記検知手段15からの検知信号に基づき、前記光学系13を覆って保護する保護手段81を備えた構成としてもよい。
【0008】
【発明の実施の形態】
以下、図面に基づいて本発明の実施形態について詳細を説明する。
図1は本発明の実施形態による監視装置の構成を示す図である。
【0009】
図1において、カメラ11は、監視エリア全体を撮影可能な場所に設置され、表示装置12は、カメラ11の設置場所から離れた場所(例えば、監視者が居る監視ルームなど)に設置される。すなわち、本実施形態は、表示装置12に表示された映像に基づいて、例えば、監視エリア内の侵入者の有無を監視者が監視する監視システムを想定している。
【0010】
カメラ11の内部において、レンズ13を介して得られる光学像が結像する位置には、後述する動体検出センサ14が配され、動体検出センサ14の出力は制御部15に接続される。制御部15の出力は、伝送路16を介して表示装置12に接続される。
(動体検出センサの構成)
図2は、動体検出センサ14の概略構成を示す模式回路図である。
【0011】
なお、図2に示す動体検出センサ14は、固体撮像素子である。
図において、複数の画素101(ここでは、簡単のため2×2の4個とする)は、マトリクス状に配置される。
【0012】
垂直読み出し線102a、102bは、垂直方向に並ぶ画素101の列毎に設けられ、後述するトランジスタQXを介して画素101に接続されると共に、異値検出回路103および画像信号生成回路106に接続される。
【0013】
異値検出回路103の出力は、シフトレジスタ104に接続され、画像信号生成回路106の出力は、水平読み出しスイッチ用のトランジスタQH1、QH2を介して、水平読み出し線107に接続される。
【0014】
それぞれの画素101は、入射光に応じた電荷を生成するフォトダイオードPD、フォトダイオードPDによって生成された電荷に相当する電気信号を出力する接合型電解効果トランジスタQA、フォトダイオードPDで生成された電荷をトランジスタQAのゲート領域に直接転送する転送用のMOSトランジスタQT、トランジスタQAのゲート領域に蓄積される電荷の排出を行うリセット用のトランジスタQPおよび垂直読み出し線102a、102bとトランジスタQAとの接続もしくは分離を行うスイッチ用のMOSトランジスタQXとで構成される。
【0015】
図3は、異値検出回路103の構成を示す模式回路図である。
図において、異値検出回路103は、スイッチ用のMOSトランジスタQR、QS、画素101から異なるタイミングで出力される電気信号に相当する電荷を蓄積するコンデンサCR、CSおよびコンデンサCR、CSに蓄積された電荷を対比する比較回路XAで構成される。
【0016】
図4は、画像信号生成回路106の構成を示す模式回路図である。
図において、画像信号生成回路106は、画素101から出力される電気信号に相当する電荷を蓄積するコンデンサCVおよびコンデンサCVのサンプルホールド切り替え用のトランジスタQVで構成される。
(動体の検知)
制御部15は、主電源が投入されると、電源回路(図示されない)を介して各部に電源を供給する。
【0017】
動体検出センサ14では、レンズ13から得られる光学像が結像され、予め決められたタイミングで各画素101内のフォトダイオードPDによって光電変換が行われる。
【0018】
このような光電変換によってフォトダイオードPDで生成された信号電荷は、画素101内のトランジスタQTが導通されると、トランジスタQAのゲートに転送される。その後トランジスタQTが非導通となると、トランジスタQAのゲート領域は、フローティング状態となるが、寄生容量の効果によって上述した信号電荷を保持する。すなわち、トランジスタQAのゲート領域は、フォトダイオードPDで生成された信号電荷を蓄積し、一時的に保持する記憶部として動作する。
【0019】
ここで、直前のフレームに対する信号電荷が既にトランジスタQAのゲート領域に蓄積され、現在のフレームに対する信号電荷がフォトダイオードPDによって新たに生成されている状態を考える。
【0020】
このような状態で画素101内のトランジスタQXおよび異値検出回路103内のトランジスタQRが導通されると、トランジスタQAによってソースフォロワ動作が行われて、そのトランジスタQAのゲート領域に蓄積された直前のフレームに対する信号電荷に応じた電荷は、垂直読み出し線102を介して異値検出回路103内のコンデンサCRに充電される。また、画素101内のトランジスタQPが導通されると、トランジスタQAのゲート領域に蓄積された信号電荷は排出されて初期化される。
【0021】
その後、画素101内のトランジスタQTが導通されると、フォトダイオードPDによって新たに生成された現在のフレームに対する信号電荷は、トランジスタQAのゲートに転送される。また、画素101内のトランジスタQXおよび異値検出回路103内のトランジスタQSが導通されると、トランジスタQAによってソースフォロワ動作が行われて、そのトランジスタQAのゲートに転送された現在のフレームに対する信号電荷は、垂直読み出し線102を介して異値検出回路103内のコンデンサCSに充電される。
【0022】
すなわち、異値検出回路103内のコンデンサCRには、直前のフレームに対する信号電荷に応じた電荷が蓄積され、コンデンサCSには、現在のフレームに対する信号電荷に応じた電荷が蓄積される。
【0023】
また、画素101内のトランジスタQAのゲートに転送された現在のフレームに対する信号電荷は、そのトランジスタQAのゲート領域に保持され、次のフレームにおいて、直前のフレームに対する信号電荷として用いられる。
【0024】
比較回路XAは、コンデンサCRとコンデンサCSとに充電された電荷に応じた信号電圧の差の絶対値を取得する。また、比較回路XAは、取得した絶対値が所定の値以上である場合には「1」(もしくは「0」:動体が存在することをあらわす信号レベル)を示す信号を出力し、絶対値が所定の値未満である場合には「0」(もしくは「1」:動体が存在しないことをあらわす信号レベル)を示す信号を出力する。このように比較回路XAから出力される信号は、シフトレジスタ104を介して順次外部に出力される。
【0025】
すなわち、連続した2つのフレームに対応する信号電荷に応じた信号電圧の値を画素毎に比較することによって、動体信号を容易に得ることができる。
また、画素101内のトランジスタQPが導通されてトランジスタQAのゲート領域に蓄積された信号電荷が排出され初期化された後、画素101内のトランジスタQXおよび画像信号生成回路106内のトランジスタQVが導通されると、トランジスタQAによってソースフォロワ動作が行われて、そのトランジスタQAのゲート領域が初期化された状態に応じた信号は、垂直読み出し線102を介して画像信号生成回路106内のコンデンサCVに充電される。また、このようにしてコンデンサCVに充電された信号は、トランジスタQVが非導通とされてコンデンサCVがフローティングとされた後も、コンデンサCVに保持される。
【0026】
その後、画素101内のトランジスタQTが導通されると、フォトダイオードPDによって生成された現在のフレームに対する信号電荷は、トランジスタQAのゲート領域に転送される。この状態で、画素101内のトランジスタQXが導通されると、トランジスタQAは再びソースフォロワ動作を行い、そのトランジスタQAのゲート領域に蓄積された信号電荷に応じた信号が、垂直読み出し線102を介して画像信号生成回路106内のコンデンサCVに入力される。
【0027】
ここで、コンデンサCVには、すでに画素101内のトランジスタQAのゲート領域を初期化した後の状態に応じた信号が保持されているため、コンデンサCVの出力(画像信号生成回路106の出力)からは、画素101内のトランジスタQAのゲートに現在のフレームに対する信号電荷が蓄積された状態に応じた信号と、初期化された後の状態に応じた信号の差に応じた信号が出力される。
【0028】
ところで、画素101内のトランジスタQAのゲート領域を初期化した後の状態に応じた信号には、固定パターン雑音の原因となるトランジスタQAのゲート・ソース間電圧のばらつきや、ランダム雑音の原因となるトランジスタQAのゲート領域を初期化した直後のリセット雑音(いわゆるKTC雑音)などが含まれていることが知られている。しかし、本実施形態では、画像信号生成回路106によって、固定パターン雑音やランダム雑音を除去した画像信号を得ることができる。
【0029】
したがって、動体検出センサ14は、動体信号と画像信号とを同時に出力することができる。なお、このように動体検出センサ14から出力される動体信号および画像信号は、制御部15に供給される。
【0030】
制御部15は、動体信号の供給が開始されると、供給された動体信号を解析し、動体が存在するか否かを判定する。制御部15は、このような判定によって動体が存在しないことを認識した場合、動体の存在が認識されるまで、前記の動体の検出を繰り返す。
【0031】
一方、制御部15は、動体が存在することを認識した場合、表示装置12に対し、画像信号の供給を開始するとともに、制御部15において、画像信号の解析を行う。この解析によって、動体がカメラ11へ接近してきているか否かを検知する。
(動体の接近の検知 その1)
図5は、動体信号が出力されたときの画像信号の変化の例を示す図である。図5において、動体信号が出力されている状態で、画像信号に基づく画像が(a)(b)(c)のように変化したとする。
【0032】
被写体である動体51がカメラに向かって接近してきているかどうかは、以下のようにして判断できる。
(1)まず、動体51の重心51aを求める。そして、時間経過とともに重心51aに対して動体51の像が広がっていくか否かを判断する。図5(a)(b)(c)の場合、重心51aに対して、動体51の像が広がっていく傾向にあることが認識できる。
(2)次に重心の画面内での移動のしかたを判断する。図5(a)(b)(c)の場合、重心は画面内を徐々に上方に移動しているが、左右の移動は小さい。
(3)(1)で動体51の像が重心51aに対して広がってきており、かつ、重心51aの左右の移動が小さい場合は、動体51がカメラに接近してきていると判断できる。
【0033】
なお、動体51の像が重心51aを中心に広がってはいるが、重心が左右の一方向に移動していく場合は、その動体51は、カメラに近づきながらカメラの前を横切っていくときであると判断できる。
(動体の接近の検知 その2)
動体信号が出力された状態で、画像信号に基づく画像が図6(a)(b)(c)のように変化したとする。図6は、カメラに対して何かをしようとする人の手がカメラに接近してきているときの画像を示している。
【0034】
被写体である動体61がカメラに向かって接近してきているかどうかは、以下のようにして判断できる。
(1)動体61の面積を求め、その面積が時間経過とともに大きくなってきているかどうかを判断する。
(2)動体61の重心61aを求め、その重心の画像内での位置が、上下左右に大きく変化しているかどうかを判断する。
(3)(1)で動体61の面積を求め、その面積が時間経過とともに大きくなってきており、(2)で重心の画像内での位置が、上下左右に大きく変化していない場合は、動体61がカメラに接近してきていると判断できる。
(動体の接近の検知 その3)
上記の例と同様に、動体信号が出力された状態で、画像信号に基づく画像が図6(a)(b)(c)のように変化したとする。
【0035】
本実施形態では、カメラ11には、被写体を照明する構成がないので、カメラ11の近づいた物体は、撮像される側が照明されず、暗く写る。すなわち、図6に示すように、動体61は、他の部分と比べて暗く写っている。この暗く写っている部分が大きくなっていくか小さくなっていくかを判断する。
【0036】
図5(a)(b)(c)の場合、暗い部分の面積は大きくなっていく傾向があり、やがて画像内のほとんどの部分(所定の割合以上の部分)が暗くなる。このような場合は、動体61が接近してきていると判断できる。
【0037】
以上のような方法により、制御部15は、動体がカメラ11に接近してきているか否かを判断する。そして、接近してきていると判断した場合は、外部へ動体接近信号を出力する。
【0038】
図7は、本実施形態の監視装置を設置した状態を示す第1の例である。カメラ11は、天井71に一端を固着された支柱72の他端に取り付けられている。カメラ11と支柱72とは、カメラ11が支柱72に対して回転可能な機構73によって取り付けられている。また、カメラ11の近くには、カメラ11の制御部15からの制御により警告音を鳴らすことが可能なスピーカ74が取り付けられている。
【0039】
カメラ11の制御部15から動体接近信号が出力された場合、その動体接近信号は、不図示の回転機構駆動回路によって、回転機構73を制御し、図7(b)に示すように、カメラ11の向きを180度回転させる。このことにより、カメラ11の撮像レンズ13がある部分を、動体が接近してくる方向と反対の方向に向けることができ、接近によるレンズの破壊や、テープ等を貼られることにより監視不能な状態にされるのを防ぐことができる。
【0040】
さらに、カメラ11の制御部15は、スピーカ74から警告音を発する制御を行う。
図8は、本実施形態の監視装置を設置した状態を示す第2の例である。カメラ11は、天井71に一端を固定された支柱72の他端に取り付けられている。カメラ11には、半円球状のカバー81が取り付けられている。カメラ11の下部には、回転体82が設けられており、棒状の連結部材83は、一端を回転体82に固着され、他端をカバー81の内側面に固着されている。また、カメラ11の近くには、カメラ11の制御部15からの制御により警告音を鳴らすことが可能なスピーカ74が取り付けられている。
【0041】
通常は、図8(a)に示すように、カバー81は、カメラ11の撮像方向と反対側に位置している。カメラ11の制御部15から動体接近信号が出力された場合、その動体接近信号は、不図示の回転体駆動回路によって、回転体82を180度回転させる制御をする。回転体82が180度回転することにより、連結部材83も回転し、カバー81が、カメラ11の撮像方向側に移動し、カメラ11の前面すなわち撮像レンズ13を覆い隠す位置になる。したがって、接近してくる動体によるカメラ11の破壊や、テープ等を貼られることにより監視不能な状態にされるのを防ぐことができる。
【0042】
さらに、カメラ11の制御部15は、スピーカ74から警告音を発する制御を行う。
上記実施形態では、カメラの近くにスピーカを設置したが、離れた場所(例えば表示装置12が設置された、監視者がいる監視ルーム)にスピーカを設置し、その場所まで動体接近信号を送り、その場所のスピーカから警告音を発してもよい。
【0043】
また、上記実施形態では、接近者への警告をスピーカからの音で行うこととしたが、スピーカの代わりに光源を設置し、光によって警告を行ってもよい。
【0044】
【発明の効果】
以上のように本発明によれば、監視装置の撮像手段に接近する物体を検知できるので、接近者によって、監視装置が破壊されたり監視不能な状態にされることを防ぐことが可能となる。
【図面の簡単な説明】
【図1】本発明の実施形態の監視装置の構成を示す図。
【図2】動体検出センサの概略構成を示す模式回路図。
【図3】異値検出回路の構成を示す模式回路図。
【図4】画像信号生成回路の構成を示す模式回路図。
【図5】動体検出後の画像の変化の例を示す図。
【図6】動体検出後の画像の変化の例を示す図。
【図7】本実施形態の監視装置を設置した状態の例を示す図。
【図8】本実施形態の監視装置を設置した状態の例を示す図。
【符号の説明】
11:カメラ、12:表示装置、13:レンズ、14:動体検出センサ、15:制御部、16:伝送路、72:支柱、73:回転機構、74:スピーカ、81:カバー、82:回転体、83:連結部材、101:画素、102a、102b:垂直読み出し線、103:異値検出回路、104:シフトレジスタ、106:画像信号生成回路、107:水平読み出し線、QH1、QH2、QA、QT、QP、QX、QR、QS、QV:トランジスタ、PD:フォトダイオード、CR、CS、CV:コンデンサ、XA:比較回路。

Claims (4)

  1. 予め決められた被写界内にある物体からの光を集光する光学系と、
    前記光学系を通して入射された入射光によって形成される前記物体の像の変化を、前記像を繰り返し撮像して変換された電気信号によって示される前記入射光の強度の変化に基づいて検出し、前記被写界内にある物体に動体が含まれることを示す動体信号を生成して、前記電気信号に応じた画像信号と前記動体信号とを出力する撮像手段と、
    前記撮像手段から出力される前記動体信号によって動体が含まれることが検出された場合であって、前記画像信号に基づき、前記検出された像の大きさが大きくなると判定された場合に、前記被写界内にある物体が前記光学系に接近してくる物体として検知して、前記検知されたことを示す検知信号を生成する検知手段と、
    を備え
    前記検知信号にしたがって、前記光学系を保護す
    ことを特徴とする監視装置。
  2. 請求項1に記載の監視装置であって、
    前記検知手段からの検知信号に基づき、前記光学系に接近してくる物体を検出した場合に警告を発する警告手段
    を備えたことを特徴とする監視装置。
  3. 請求項1に記載の監視装置であって、
    前記検知手段からの検知信号に基づき、前記光学系に接近してくる物体から遠ざける方向に、前記光学系を退避させる退避手段
    を備えたことを特徴とする監視装置。
  4. 請求項1に記載の監視装置であって、
    前記検知手段からの検知信号に基づき、前記光学系を覆って保護する保護手段
    を備えたことを特徴とする監視装置。
JP2000318457A 2000-10-18 2000-10-18 監視装置 Expired - Lifetime JP4509349B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000318457A JP4509349B2 (ja) 2000-10-18 2000-10-18 監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000318457A JP4509349B2 (ja) 2000-10-18 2000-10-18 監視装置

Publications (2)

Publication Number Publication Date
JP2002135759A JP2002135759A (ja) 2002-05-10
JP4509349B2 true JP4509349B2 (ja) 2010-07-21

Family

ID=18797081

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000318457A Expired - Lifetime JP4509349B2 (ja) 2000-10-18 2000-10-18 監視装置

Country Status (1)

Country Link
JP (1) JP4509349B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4569190B2 (ja) * 2004-06-24 2010-10-27 オムロン株式会社 不審者対策システム及び不審者検出装置
CN101548546B (zh) * 2006-12-05 2011-10-19 富士胶片株式会社 输出设备、输出方法和程序
JP5150943B2 (ja) * 2006-12-18 2013-02-27 富士フイルム株式会社 監視システム、監視方法、及びプログラム
WO2008075779A1 (en) * 2006-12-18 2008-06-26 Fujifilm Corporation Monitoring system, monitoring method and program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05258184A (ja) * 1992-03-11 1993-10-08 Zexel Corp 警備装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05258184A (ja) * 1992-03-11 1993-10-08 Zexel Corp 警備装置

Also Published As

Publication number Publication date
JP2002135759A (ja) 2002-05-10

Similar Documents

Publication Publication Date Title
JP7472952B2 (ja) 撮像装置
JP2000155177A (ja) 人体検知装置および人体検知方法
WO2017018188A1 (ja) イメージセンサ、及び、電子機器
CN101431619A (zh) 固体摄像装置及其驱动方法
WO2012115408A2 (ko) 이미지 센서 및 이를 포함하는 촬영 장치
JP4509349B2 (ja) 監視装置
KR101634129B1 (ko) 팬틸트 일체형 감시 카메라의 영상추적 제어 시스템
KR101700668B1 (ko) 방범용 cctv 장치
JP6954268B2 (ja) 固体撮像装置、信号処理方法、および電子機器
US20230412936A1 (en) Solid-state imaging element, electronic device, and imaging method
JP2000285327A (ja) 赤外線監視装置
JP3838881B2 (ja) 監視カメラ装置
JPH11252537A (ja) 変化検出装置
KR101132407B1 (ko) 이미지 센서를 포함하는 촬영 장치
KR101061868B1 (ko) 듀얼 감시 카메라를 이용한 모니터링 시스템
JPH11261995A (ja) 変化検出装置
KR100296293B1 (ko) 감시카메라와이를이용한물체감시방법및그장치
JP2007096601A (ja) 撮像装置
JPH10282133A (ja) 監視装置
KR20160033997A (ko) 적외선 led 및 백색 led를 갖는 감시카메라 제어장치
JP3653304B2 (ja) 火災感知装置
KR200398291Y1 (ko) 적외선을 이용한 씨씨디 카메라
WO2021153370A1 (ja) 固体撮像装置、固体撮像装置の駆動方法及び電子機器
KR20040062302A (ko) 적외선을 이용한 씨씨디 카메라
JPH11160340A (ja) 監視装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20031210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20031210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071005

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100126

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100420

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100428

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160514

Year of fee payment: 6