JP5083293B2 - 監視テレビカメラシステム及び監視テレビカメラの制御方法 - Google Patents

監視テレビカメラシステム及び監視テレビカメラの制御方法 Download PDF

Info

Publication number
JP5083293B2
JP5083293B2 JP2009250353A JP2009250353A JP5083293B2 JP 5083293 B2 JP5083293 B2 JP 5083293B2 JP 2009250353 A JP2009250353 A JP 2009250353A JP 2009250353 A JP2009250353 A JP 2009250353A JP 5083293 B2 JP5083293 B2 JP 5083293B2
Authority
JP
Japan
Prior art keywords
database
focus control
focus
surveillance
zoom lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009250353A
Other languages
English (en)
Other versions
JP2011101070A (ja
Inventor
節雄 山本
邦宏 湯井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2009250353A priority Critical patent/JP5083293B2/ja
Publication of JP2011101070A publication Critical patent/JP2011101070A/ja
Application granted granted Critical
Publication of JP5083293B2 publication Critical patent/JP5083293B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Lens Barrels (AREA)
  • Accessories Of Cameras (AREA)

Description

本発明は監視テレビカメラシステム及び監視テレビカメラの制御方法に係り、特に、監視対象の向きに関わらず、常に最良の状態で監視機能が達成できる自動フォーカス調整機能を備えた監視テレビカメラシステム及び監視テレビカメラの制御方法に関する。
近年、監視テレビカメラシステムの分野では、映像のIP(インターネットプロトコル)化や、デジタル伝送手段に伴い、監視映像の遅延が発生しており、このため、監視地点からの手動操作によるフォーカス調整も困難になってきている。
また、操作に熟達した専門家が操作するとは限らず、一般人が高度な監視テレビカメラシステムを運用操作する必要性も高まってきており、このような事情を背景にして、監視テレビカメラシステムに対しては、フォーカス調整を的確に自動化する要求が強まっている。
この分野の先行特許技術としては、例えば、特許文献1には、カメラの高さと、カメラの仰角とから距離を計算して調整し、それぞれの角度の設定値を記憶させ、角度が一致したときに、その設定値を呼び出す技術が開示されている。
特開2001−211446号公報
しかしながら、上記背景技術で述べた従来の監視テレビカメラシステムにあっては、特に屋外に設置し、遠方方向を監視するテレビカメラ装置においては、使用するズームレンズが大型になり、かつ24時間連続使用することが一般的であるため、通常のホームビデオカメラが具備している自動フォーカス調整機構は使用できないという問題点が有った。
即ち、フォーカス機構を駆動するには大型の駆動モーター装置が必要となり、それを常時動作させることには駆動機構の動作耐久性の面で解決すべき課題が残されており、また、カメラを旋回させる時の追従性に未解決の課題が有るため、一般的な自動フォーカス調整装置は使用できなかった。
このような問題点に対応するため、既成のシステムでは、カメラの旋回を止めた時点で、自動フォーカス調整装置の起動を行うシステム(即ちワンショット型のシステム)や、カメラの設置高さとカメラの向いている仰角とから、三角法を用いて被写体までの距離を計算することでフォーカスを合わせるシステムなどが開発されている。
しかしながら、前者のワンショット型のシステムでは、フォーカスが合うまでに数秒の時間が必要であり、追随性と運用性に難があった。一方、後者の三角法を用いるシステムでは、まったく平面の地域の監視では三角法が理論的に成立するもではあっても、実際の現場では、カメラの向いている方向の監視対象は地面とは高さの違うビルの屋上に存在するものだったりすることから、現実的には、フォーカスが理論どおりに合うことはなく、また、距離が分かったとしても、実際にそこにフォーカスを合わせるための完全なレンズの駆動方法も実現できないことから、実用的なシステムではなかった。
なお、例えば、特許文献1に開示された技術の場合、前述のとおり、カメラの高さと、カメラの仰角とから距離を計算して調整することを要旨としているが、本発明では、カメラの旋回角と、仰角の一定角度毎にレンズのフォーカス制御値を記憶させるデータベースを予め作成している。また、本発明では、該データベースに未だ実際の正しいフォーカス制御値が入力されていない方向については、特に、フォーカス制御を行わず、これまでに撮影した地点の条件のままでフォーカスを固定している。
ちなみに、カメラの高さと仰角とから距離を計算しても、その計算された距離だけでフォーカスが合うようにレンズを制御することはレンズの構造上難しく、実際には手動による微調整が必要となる。また、平らな平地や海上であれば、高さと仰角だけで被写体までの距離を決めることができようが、実際は建物の上部を見ているだけの場合が有り、よって、この方法は実用的なものでないことが周知である。これに比較し、本発明では、監視対象に対して実際にカメラを向け、その撮像がジャストピントとなるようにフォーカス調整を行っており、距離の単なる計算値を使用してフォーカス調整するものではない。
本発明は、上記従来の問題点に鑑みてなされたものであって、一定の場所に設置され、外部からのコントロール等の手段により、カメラを旋回動作させ、設置場所の周囲を監視する監視テレビカメラシステムにおいて、任意の監視場所にカメラを向けた時に、即座に、かつ適切にレンズの焦点を合わせることを可能にして、常に最良の状態で監視機能を達成することができる監視テレビカメラシステムを提供することを目的としている。
上記課題を解決するために、本発明に係る監視テレビカメラシステムは、フォーカス制御が可能なレンズと、前記レンズに接続された監視カメラ本体と、前記カメラ本体を積載する旋回台と、前記カメラ本体の撮像を映像表示するモニタと、を有する監視テレビカメラシステムであって、前記カメラ本体と、前記旋回台と、前記レンズとを遠隔制御する遠隔制御手段と、前記レンズのフォーカスを制御するフォーカス制御手段と、前記カメラ本体の旋回角及び仰角の一定角度毎に、該角度に対応した前記レンズの適切なフォーカス制御値を記憶するためのデータベースと、前記カメラ本体の旋回角及び仰角の一定角度毎に、監視対象に対して前記レンズのフォーカスを合わせた時のフォーカス制御値でもって、予め前記データベースを作成しておくデータベース作成手段と、前記旋回台から通知された前記カメラ本体の方向に対応するフォーカス制御値を、前記データベースを参照して取得するフォーカス制御値取得手段と、前記データベースを参照して取得した前記フォーカス制御値に基づいて、前記ズームレンズのフォーカスを制御するフォーカス制御手段と、を備えたことを特徴とする。
また、本発明に係る監視テレビカメラの制御方法は、フォーカス制御が可能なレンズと、前記レンズに接続された監視カメラ本体と、前記カメラ本体を積載する旋回台と、前記カメラ本体の撮像を映像表示するモニタと、を有する監視テレビカメラシステムに適用される監視テレビカメラの制御方法であって、前記カメラ本体と、前記旋回台と、前記レンズとを遠隔制御する遠隔制御ステップと、前記レンズのフォーカスを制御するフォーカス制御ステップと、前記カメラ本体の旋回角及び仰角の一定角度毎に、該角度に対応した前記レンズの適切なフォーカス制御値を記憶するためのデータベースと、前記カメラ本体の旋回角及び仰角の一定角度毎に、監視対象に対して前記レンズのフォーカスを合わせた時のフォーカス制御値でもって、予め前記データベースを作成しておくデータベース作成ステップと、前記旋回台から通知された前記カメラ本体の方向に対応するフォーカス制御値を、前記データベースを参照して取得するフォーカス制御値取得ステップと、前記データベースを参照して取得した前記フォーカス制御値に基づいて、前記ズームレンズのフォーカスを制御するフォーカス制御ステップと、を有することを特徴とする。
以上説明したように、本発明の監視テレビカメラシステムによれば、カメラ本体の旋回角及び仰角の一定角度毎に、監視対象に対してレンズのフォーカスを合わせた時のフォーカス制御値をデータとするデータベースを予め作成しておき、監視時には、旋回台から通知されたカメラ本体の方向(より具体的にはカメラの旋回角及び仰角)に対応する適切なフォーカス制御値を、このデータベースを参照することにより取得し、該取得された適切なフォーカス制御値でもってレンズのフォーカスを制御するので、任意の監視場所にカメラを向けた時に、即座に、かつ適切にレンズの焦点を合わせることが可能となり、常に最良の状態で監視機能を達成することができる効果が有る。
本発明の実施形態に係る監視テレビカメラシステムの全体構成を示す構成図である。
本発明に係る監視テレビカメラシステム及び監視テレビカメラの制御方法では、一般に、一定箇所に固定して周囲を監視するカメラの場合、カメラを向けている方向(より具体的にはカメラの旋回角及び仰角)の対象物(被写体)までの距離が、該カメラを向けている方向に対応して定まることを利用し、カメラの旋回角、仰角の一定角度毎にレンズのフォーカス制御値を記憶させるデータベースを構築することにより、カメラを旋回させた場合に、常にその方向に撮影されている被写体に即座にフォーカスを合わせることができるようにするものである。
以下、本発明の監視テレビカメラの自動フォーカス調整装置及び監視テレビカメラの自動フォーカス調整方法の実施形態について、図面を参照して詳細に説明する。
図1は、本発明の実施形態に係る監視テレビカメラシステムの全体構成を示す構成図である。
同図において、本実施形態の監視テレビカメラシステムは、フォーカス制御が可能なレンズ11(ズームレンズ)と、レンズ11に接続されたカメラ12(監視カメラ本体)と、制御可能な旋回台13と、カメラ12の撮像を映像表示するモニタ14と、カメラ12、旋回台13、及びレンズ11を遠隔制御する遠隔制御装置15(遠隔制御手段)と、レンズ11のフォーカスを制御するフォーカス制御装置16(フォーカス制御手段)と、を備える。
なお、符号21〜25は、信号の伝送路を示す。
以下では、本実施形態の監視テレビカメラシステムの機能を説明する。
カメラ12には、外部から制御可能な旋回台13とレンズ11が接続されており、カメラ12の出力映像信号は伝送路21を経て、モニタ14に映像表示される。
一方、カメラ12、旋回台13、レンズ11は、遠隔制御装置15により伝送路22を介して遠隔制御される。これにより、随時かつ的確に、必要な方向に向けて、レンズ11のフォーカスの定まったカメラ12の位置を定めることが可能となり、必要な監視をモニタ14を介して視認することが可能となる。
フォーカス制御装置16には、カメラの旋回角、仰角の一定角度毎にレンズ11の適切なフォーカス制御値を記憶させるデータベースが予め構築されている。また、フォーカス制御装置16は、旋回台13からのカメラ12の旋回角、仰角のデータを伝送路23を介して受信すると共に、伝送路24を介してレンズ11のフォーカス駆動機構を制御できるように構成されている。なお、レンズ11の向きはカメラ12の動きに連動するように構成されている。さらに、フォーカス制御装置16は、伝送路25を介してレンズ12のフォーカス制御値のデータを受信する。
ここで、前記データベースは、特に距離や設置場所の条件を数値で測定しなくても、カメラ12の設置後、実際の映像を見ながら調整することで容易に作成することができる。即ち、カメラ12の設置後、例えば、カメラ12を一定間隔で旋回角、仰角を変化させた後、フォーカス調整を行い、その制御値をメモリに記憶することで容易に作成することができる。
前記データベースは、当初は分解能を粗く設定しておき(例えば、仰角90度を10度分割程度、即ち、上下方向に9等分の角度でオートフォーカス設定をすることで全データベースが入力されるようにしておき)、その後の運用で更に細かな地点でフォーカスを取り直した場合に、データベースを順次細かくして設定することが可能である。
さらに、前記データベースは、一定期間は保存されるように構成することも可能である。また、レンズ11(ズームレンズ)の焦点距離が大きい場合、及びF値が小さい場合には、焦点深度の関係から、前記データベースには、ズームレンズの焦点距離及びレンズのF値の両方若しくはいずれか片方だけを記録しておき、フォーカス調整は、新たに、オートフォーカスを取り直したときに、それまでの記憶値より、焦点距離が大きい状態のときにのみ、若しくはF値が小さい状態のときにのみ、前記データベースのデータを書き換えるように構成することができる。
このように構成することにより、カメラ12が向いている方向の被写体に対して、フォーカスを合わせたフォーカス制御値でもって、予めデータベースを作成しておき、旋回台13から伝送路13を介して通知されたカメラ12の方向に対応するフォーカス制御値を、前記データベースから得ると共に、伝送路24を介して該フォーカス制御値でもってレンズ11のフォーカス駆動機構を制御できるので、カメラ方向に応じた最適なフォーカス状態が常に得られるようになる。
伝送路21〜25で伝送される信号は、デジタルデータ化してIPネットワーク等を含む通信ネットワークで伝送することも可能であり、この場合も同様の効果が得られる。
この実施の形態によれば、前述のとおり、カメラ12の旋回角、仰角の一定角度毎にレンズ11のフォーカス制御値を記憶させるデータベースを予め構築しておき、カメラ12を旋回させた場合には、該データベースを参照することで、カメラ12の旋回角、仰角に応じてレンズフォーカスが常に適正となるように調整するので、任意の方向で撮影されている被写体に対して、常に適切にフォーカスを合わせることが可能となる効果が有る。
また、前記データベースの作成は、カメラ12を一定間隔で旋回角、仰角を変化させた後、フォーカス調整を行い、その制御値をメモリに記憶できるようにすることで、カメラを設置後、特に距離や設置場所の条件を数値で測定しなくても、実際の映像を見ながら調整することで可能となる効果がある。
(他の実施の形態)
本発明の監視テレビカメラシステムと、従来から使用されている都度駆動の自動フォーカス調整装置等とを組み合わせることにより、フォーカス制御値を記憶する前記データベースのデータ拡充が容易になり、いわゆる学習効果を有する自動フォーカス調整装置が実現できることは明らかである。
また、前記データベースに、未だ実際の正しいフォーカス制御値が入力されていない方向については、特に、フォーカス制御を行わず、これまでに撮影した地点の条件のままでフォーカスを固定するか、若しくは、2点間の制御値からの補間値を自動入力させる等の既成技術の手段と組み合わせて使用することにより、運用性の優れたシステムが構築できることは明らかでる。
本発明は、監視テレビカメラシステムの構築に適用可能であり、特に、監視対象の向きに関わらず、常に最良の状態で監視機能が達成できる自動フォーカス調整機能を備えた監視テレビカメラシステムの構築に好適である。
11 レンズ(ズームレンズ)
12 カメラ(監視カメラ本体)
13 旋回台
14 モニタ(映像表示装置)
15 遠隔制御装置
16 フォーカス制御装置
21〜25 伝送路

Claims (10)

  1. フォーカス制御が可能なズームレンズと、
    前記ズームレンズに接続された監視カメラ本体と、
    前記監視カメラ本体を積載する旋回台と、
    前記監視カメラ本体の撮像を映像表示するモニタと、
    前記監視カメラ本体と、前記旋回台と、前記ズームレンズとを遠隔制御する遠隔制御手段と、
    前記ズームレンズのフォーカスを制御するフォーカス制御手段と、
    当初は前記監視カメラ本体の旋回角及び仰角の分解能が粗い一定角度毎に、該角度に対応した前記ズームレンズの適切なフォーカス制御値が設定されているデータベースと、
    前記監視カメラ本体の設置後の運用で、前記モニタの実際の映像を視認しながら更に細かな地点でフォーカスが取り直された場合における、前記監視カメラ本体の旋回角及び仰角の分解能が細かい角度に対応するフォーカス制御値でもって、前記データベースの設定書き換えるデータベース作成手段と、
    前記旋回台から通知された前記監視カメラ本体の方向に対応するフォーカス制御値を、前記データベースを参照して取得するフォーカス制御値取得手段と、
    前記データベースを参照して取得した前記フォーカス制御値に基づいて、前記ズームレンズのフォーカスを制御するフォーカス制御手段と
    を備え
    前記フォーカス制御手段は、前記データベースにフォーカス制御値が入力されていない方向については、前記ズームレンズのフォーカス制御を行うことなく、これまでに撮影した地点の条件のままで前記ズームレンズのフォーカスを固定する
    ことを特徴とする監視テレビカメラシステム。
  2. 前記データベースの前記分解能は、当初は仰角度を所定の角度ずつ分割するように設定されており、その後に上下及び/又は左右方向に等分の角度でオートフォーカス設定がなされることで、前記データベースの全データが入力されるように構成されている
    ことを特徴とする請求項1に記載の監視テレビカメラシステム。
  3. 前記データベースには、前記ズームレンズの焦点距離が大きい場合、及び前記ズームレンズのF値が小さい場合に、前記ズームレンズの焦点距離及び前記ズームレンズのF値の両方若しくはいずれか片方だけが記録されており、その後にオートフォーカスを取り直したときに、それまでの記憶値よりも焦点距離が大きいときにのみ若しくはF値が小さいときにのみ、前記データベースの該当データが書き換えられるように構成されている
    ことを特徴とする請求項1又は2に記載の監視テレビカメラシステム。
  4. 前記旋回台は、前記遠隔制御手段により、インターネット網を範疇に含む通信路を介して制御される
    ことを特徴とする請求項1から3のいずれか一項に記載の監視テレビカメラシステム。
  5. 前記ズームレンズは、前記遠隔制御手段により、インターネット網を範疇に含む通信路を介して制御される
    ことを特徴とする請求項1から4のいずれか一項に記載の監視テレビカメラシステム。
  6. 前記データベースは、前記フォーカス制御手段に設置されている
    ことを特徴とする請求項1から5のいずれか一項に記載の監視テレビカメラシステム。
  7. 前記データベースは、既成の技術の自動フォーカス調整装置と組み合わせることで作成されたものである
    ことを特徴とする請求項1から6のいずれか一項に記載の監視テレビカメラシステム。
  8. 前記データベースは、既成の技術の数値の補間技術を用いて作成されたものである
    ことを特徴とする請求項1から7のいずれか一項に記載の監視テレビカメラシステム。
  9. 前記データベースは、一定期間は保存されるように構成した
    ことを特徴とする請求項1から8のいずれか一項に記載の監視テレビカメラシステム。
  10. フォーカス制御が可能なズームレンズに接続された監視カメラ本体と、前記監視カメラ本体を積載する旋回台と、前記ズームレンズとを遠隔制御する遠隔制御ステップと、
    前記ズームレンズのフォーカスを制御するフォーカス制御ステップと、
    前記監視カメラ本体の設置後の運用で、前記監視カメラ本体の撮像を映像表示するモニタの実際の映像を視認しながら更に細かな地点でフォーカスが取り直された場合における、前記監視カメラ本体の旋回角及び仰角の分解能が細かい角度に対応するフォーカス制御値でもって、当初は前記監視カメラ本体の旋回角及び仰角の分解能が粗い一定角度毎に、該角度に対応した前記ズームレンズの適切なフォーカス制御値が設定されているデータベースの設定書き換えるデータベース作成ステップと、
    前記旋回台から通知された前記監視カメラ本体の方向に対応するフォーカス制御値を、前記データベースを参照して取得するフォーカス制御値取得ステップと、
    前記データベースを参照して取得した前記フォーカス制御値に基づいて、前記ズームレンズのフォーカスを制御するフォーカス制御ステップと
    備え、
    前記フォーカス制御ステップにおいては、前記データベースにフォーカス制御値が入力されていない方向については、前記ズームレンズのフォーカス制御を行うことなく、これまでに撮影した地点の条件のままで前記ズームレンズのフォーカスを固定する
    ことを特徴とする監視テレビカメラの制御方法。
JP2009250353A 2009-10-05 2009-10-30 監視テレビカメラシステム及び監視テレビカメラの制御方法 Active JP5083293B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009250353A JP5083293B2 (ja) 2009-10-05 2009-10-30 監視テレビカメラシステム及び監視テレビカメラの制御方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009231730 2009-10-05
JP2009231730 2009-10-05
JP2009250353A JP5083293B2 (ja) 2009-10-05 2009-10-30 監視テレビカメラシステム及び監視テレビカメラの制御方法

Publications (2)

Publication Number Publication Date
JP2011101070A JP2011101070A (ja) 2011-05-19
JP5083293B2 true JP5083293B2 (ja) 2012-11-28

Family

ID=44191921

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009250353A Active JP5083293B2 (ja) 2009-10-05 2009-10-30 監視テレビカメラシステム及び監視テレビカメラの制御方法

Country Status (1)

Country Link
JP (1) JP5083293B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018152799A (ja) 2017-03-14 2018-09-27 株式会社リコー 画像処理装置、画像処理方法、プログラムおよび映像送受信システム
JP2019082375A (ja) * 2017-10-30 2019-05-30 株式会社東芝 カメラ装置及び距離測定方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09205573A (ja) * 1996-01-24 1997-08-05 Fuji Photo Optical Co Ltd カメラ装置の制御方法
JP3780045B2 (ja) * 1996-11-26 2006-05-31 キヤノン株式会社 カメラ制御システム及びカメラ制御システムの制御方法
JP3580342B2 (ja) * 1997-09-25 2004-10-20 横河電機株式会社 パンチルトカメラ装置
JP2003051980A (ja) * 2001-08-08 2003-02-21 Matsushita Electric Ind Co Ltd オートフォーカス装置及び撮像装置並びにカメラシステム
JP4164327B2 (ja) * 2002-10-03 2008-10-15 キヤノン株式会社 撮像装置
JP2008191391A (ja) * 2007-02-05 2008-08-21 Nikon Corp 焦点調節装置、カメラ
JP2008300950A (ja) * 2007-05-29 2008-12-11 Fujifilm Corp 撮影装置

Also Published As

Publication number Publication date
JP2011101070A (ja) 2011-05-19

Similar Documents

Publication Publication Date Title
JP4332231B2 (ja) 撮像装置コントローラおよび撮像システム
US20040179100A1 (en) Imaging device and a monitoring system
JP6380787B2 (ja) 撮像装置、カメラ、表示装置、撮像方法、表示方法、及びプログラム
US11190698B2 (en) Imaging apparatus, control method for imaging apparatus, information processing apparatus, and storage medium
US20060209186A1 (en) Field angle adjustment apparatus, camera system, and field angle adjustment method
JP5083293B2 (ja) 監視テレビカメラシステム及び監視テレビカメラの制御方法
JP4566908B2 (ja) 撮像システム
JP2009200697A (ja) 画像送信装置、画角制御方法、画像受信装置、画像表示システム、画像表示方法
JP2008301191A (ja) 映像監視システム、映像監視制御装置、映像監視制御方法、及び映像監視制御用プログラム
JP4332580B2 (ja) 制御装置および制御方法、並びに監視システム
US20060256202A1 (en) Method and devicefor recording video data
JP2013118561A (ja) 電子カメラおよび電子カメラの制御方法
KR20050062859A (ko) 감시카메라의 포지셔닝 방법
KR101194342B1 (ko) 가변초점렌즈가 구비된 메가픽셀 고해상도 영상촬상용 오토포커스 줌 감시카메라 및 그 오토포커스 제어방법
JP4148251B2 (ja) 撮像装置及び表示装置
KR100988563B1 (ko) 팬 틸터와 팬 틸트 제어 방법
KR101454601B1 (ko) 디지털 틸트 비디오폰
JP5100563B2 (ja) 監視カメラ装置
JP2005354748A (ja) 撮像手段制御方法および撮像手段制御装置
JP5115018B2 (ja) モニタリングシステム
JP4372852B2 (ja) 撮影機器の制御装置
JP2005348448A (ja) パノラマ撮像装置
JP6176305B2 (ja) 電子カメラおよびプログラム
JP2024151868A (ja) 撮像装置、通信システム、撮像方法およびプログラム
JP6176306B2 (ja) 電子カメラおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120807

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120820

R150 Certificate of patent or registration of utility model

Ref document number: 5083293

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150914

Year of fee payment: 3