JP4566166B2 - 撮影装置 - Google Patents

撮影装置 Download PDF

Info

Publication number
JP4566166B2
JP4566166B2 JP2006181200A JP2006181200A JP4566166B2 JP 4566166 B2 JP4566166 B2 JP 4566166B2 JP 2006181200 A JP2006181200 A JP 2006181200A JP 2006181200 A JP2006181200 A JP 2006181200A JP 4566166 B2 JP4566166 B2 JP 4566166B2
Authority
JP
Japan
Prior art keywords
camera
angle
unit
angle camera
wide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006181200A
Other languages
English (en)
Other versions
JP2007267347A (ja
Inventor
敬輔 渡邉
達史 大山
桂史 加藤
邦之 谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2006181200A priority Critical patent/JP4566166B2/ja
Priority to US11/680,151 priority patent/US7843499B2/en
Publication of JP2007267347A publication Critical patent/JP2007267347A/ja
Application granted granted Critical
Publication of JP4566166B2 publication Critical patent/JP4566166B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • G08B13/19643Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet

Description

本発明は、撮影装置に関するものであり、特に広角な画像を撮影する第1のカメラと、狭い範囲の画像を撮影する第2のカメラとを備えた撮影装置に関する。
TV会議や監視カメラなどでは、ユーザがネットワークを介してカメラを遠隔から制御し、撮影された映像を受信して表示できるようになっている。
例えば、特許文献1には、広角な画像を撮像するための第1のカメラと、パンやチルトの制御が可能な第2のカメラとが設けられた撮影装置を有し、この撮影装置とネットワーク接続され、第1及び第2のカメラからの各映像を表示する装置とを備えたカメラ制御システムが開示されている。このシステムでは、ユーザは第1のカメラからの映像と第2のカメラの映像とを比較しながら、第2のカメラを遠隔制御することができ、詳細画像の表示をその周辺の状況変化等に応じて瞬時に変えることができる。
特開2000−341574号公報
しかしながら、従来は、第1のカメラ及び第2のカメラを別途独立に制御してその位置及び向きを調整していたため、例えば、第1のカメラで撮影した画像の中から特定の物体を検出しても、その特定の物体に第2のカメラを合わせるためには、第2のカメラを改めて制御する必要があった。
本発明はこうした状況に鑑みてなされたものであり、その目的は、1つのカメラで検出した物体を、別のカメラで容易に撮影することが可能な撮影装置を提供することである。
本発明のある態様は撮影装置に関する。この装置は、画像を撮影する第1のカメラと、前記第1のカメラよりも狭い範囲の画像を撮影する第2のカメラと、前記第1のカメラと前記第2のカメラが接続され、前記第1のカメラと前記第2のカメラとが所定の距離を保ちながら前記第1のカメラと前記第2のカメラを回転移動させる回転部と、を備え、前記第1のカメラと前記第2のカメラとを結んだ直線上に、前記回転部の回転軸があることを特徴とする。
この態様によれば、第1のカメラと第2のカメラが所定の距離を保ちながら回転移動するとともに、第1のカメラと前記第2のカメラとを直線で結んだ直線上に前記回転部の回転軸があるため、第1のカメラで撮影した第1のカメラがある物体と回転軸を結んだ延長線上に回転移動したとき、第2のカメラもその延長線上に回転移動する。したがって、第1のカメラで検出した物体に第2のカメラの方向を簡単にあわせることができるので、1つのカメラで検出した物体を別のカメラで容易に撮影することが可能である。
なお、回転部の回転軸は、第1のカメラと第2のカメラとを結んだ直線上であれば、第1のカメラと第2のカメラとの間に存在してもよいし、第1のカメラと第2のカメラの間以外に存在してもよい。
本発明の別の態様も撮影装置に関する。この装置は、画像を撮影する第1のカメラと、前記第1のカメラよりも狭い範囲の画像を撮影する第2のカメラと、前記第1のカメラが接続され、前記第1のカメラを回転移動させる回転部と、を備え、前記第2のカメラは前記回転部の回転軸上に配置されるとともに、前記回転部の回転に合せて前記第2のカメラの撮影方向が回転するように前記回転部に接続されることを特徴とする。
この態様によれば、第2のカメラの撮影方向が回転部の回転にあわせて回転移動するので、第1のカメラで撮影したある物体の位置情報をもとに回転部を回転させてやれば、第2のカメラの撮影方向を容易に特定の物体に合せることができる。したがって、1つのカメラで検出したある物体を別のカメラで容易に撮影することが可能である。また、第2のカメラが回転軸上に配置されていることにより、第2のカメラが回転軸の周辺を回転移動させる場合と比較して、第2のカメラのパン動作に必要な空間を小さくすることができ、撮影装置を小型化することができる。
この態様において、前記第2のカメラはチルト動作を行い、前記第1のカメラは前記第2のカメラのチルト方向から外れた場所に備えられてもよい。これにより、第1のカメラと第2のカメラを接近して配置しても、第2のカメラがチルト動作する場合に、第1のカメラが障害となってチルト動作範囲が限定されたり、第2のカメラに第1のカメラが映りこむことを防ぐことができるので、第2のカメラのチルト動作範囲を大きくすることができる。したがって、第1のカメラを第2のカメラのパン動作に要する空間内に配置することも可能であり、この場合、撮影装置の大きさは第2のカメラのチルト及びパン動作に要する空間の大きさのみで決まるので、撮影装置の小型化を図ることができる。
また、これらの態様において、前記第1のカメラは、前記回転部の回転角度に応じて自転するようにしてもよい。これにより、回転部によって第1のカメラが回転移動した場合であっても、第1のカメラで撮影された映像は常に同じ向きに固定することができる。
本発明の別の態様も撮影装置に関する。この装置は、画像を撮影する第1のカメラと、前記第1のカメラよりも狭い範囲の画像を撮影する第2のカメラと、前記第2のカメラが接続され、前記第2のカメラを回転移動させる回転部と、を備え、前記第1のカメラは、前記回転部の回転軸上に配置されていることを特徴とする。
この態様によれば、第1のカメラは常に固定されており、第2のカメラは第1のカメラが配置された箇所を回転軸として回転移動するので、第1のカメラである物体を捕らえた時に、第1のカメラとその物体との角度分だけ第2のカメラを回転移動させれば、その物体に第2のカメラの方向を簡単に合わせることができる。したがって、1つのカメラで検出した物体を、別のカメラで容易に撮影することができる。
これらの態様において、回転部を回転させることにより、前記第2のカメラのパン動作を行ってもよい。これにより、第2のカメラにパン動作を行うための可動軸を備える必要がなく、装置を簡単に構成できるとともに、装置の小型化を実現することができる。
また、これらの態様において、前記第2のカメラの位置に、この第2のカメラをチルト動作させるための1軸可動機構が備えられてもよい。これにより、第2のカメラの位置にパン及びチルト動作を行うために2軸可動機構を備える場合と比較して、チルト動作範囲を大きくすることができる。
また、これらの態様において、前記第2のカメラを前記回転部によって回転移動させて異なる位置から特定の物体を少なくとも2回撮影し、撮影毎の前記第2のカメラと特定の物体との間の角度と、回転直径に基づいて、特定の物体までの距離を算出する測定部を更に備えてもよい。
これにより、第2のカメラを移動させて、それぞれの地点における第2のカメラと特定の物体との間の角度を算出すれば、容易に特定の物体までの距離を測定することが可能となる。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、1つのカメラで検出した物体を、別のカメラで容易に撮影することが可能な撮影装置を得ることができる。
(実施の形態1)
図1は、本発明の実施の形態1に係る撮影装置100のシステム構成を示した図である。この撮影装置100は、広角カメラ10、狭角カメラ12、回転部14、第1映像処理部16、第2映像処理部18、表示部20、ディスプレイ22、物体検知部24、制御部26、及び入力I/F部28を備えている。
なお、図1ではディスプレイ22が撮影装置100に備えられた構成を示しているが、ディスプレイ22は撮影装置100とは別に設けられてもよい。例えば、ディスプレイ22は撮影装置100とケーブルを介して接続されてもよいし、有線若しくは無線によるネットワークを介して接続されるよう構成してもよい。
広角カメラ10は、魚眼レンズを備えたカメラで、広範囲な全体映像を撮影する。広角カメラ10は、魚眼レンズに代えて、広角レンズや双曲面ミラー、方物面ミラー、円錐ミラーなどの非球面ミラーを備え、広範囲な全体映像を撮影するよう構成してもよい。
狭角カメラ12は、広角カメラ10で撮影された全体映像の一部分を詳細に撮影するためのもので、望遠レンズなどの狭角レンズを備えている。回転部14は、広角カメラ10と狭角カメラ14を支持し、後述の制御部26によって、それぞれのカメラが所定の距離を保ちながら回転するように制御される。
図2(a)は、撮影装置100において、広角カメラ10及び狭角カメラ12を回転部14に取り付けた状態を示した斜視図であり、図2(b)はそれを上面から見た図である。回転部14の回転軸Oにはギアが備えられており、回転部14は、広角カメラ10及び狭角カメラ12と共に、この回転軸Oを中心として回転動作する。
また、図2に示したように、広角カメラ10と狭角カメラ12とを直線で結んだ場合、その直線が回転部14の回転軸Oを通るように広角カメラ10、狭角カメラ12、及び回転部14が取り付けてある。すなわち、広角カメラ10と狭角カメラ14は、回転軸Oを挟んで常に反対側に位置するように配置してある。
また、広角カメラ10にもギアが備えられており、広角カメラ10は回転軸Oを中心として回転するのに合わせて自転する。具体的には、広角カメラ10が回転軸Oを中心としてある方向Aに角度θだけ回転移動した場合、広角カメラ10が、ある方向Aとは逆の方向に角度θだけ自転するよう、ギアを動作させる。これにより、図2(b)で示した広角カメラ10上の点Tは撮影装置100に対して常に同じ向きに位置する。すなわち、広角カメラ10が回転軸Oの周りを回転しても、撮影した画像が回転しないようになっている。一方、狭角カメラ12には、2軸可動機構が備えられており、パン及びチルト動作ができるよう、狭角カメラ12が上下左右に動く構成となっている。
図1に戻り、第1映像処理部16は、広角カメラ10から出力された映像信号に対し、A/D変換、色変換、色補正といった種々の映像処理を行う。また、第2映像処理部18は、狭角カメラ10から出力された映像信号に対し、A/D変換、色変換、色補正といった種々の映像処理を行う。
表示部20は、第1映像処理部16から出力された映像信号と、第2映像処理部18から出力された映像信号を合成し、またはどちらか一方の映像信号を選択して、ディスプレイ22に表示するための映像信号を生成する。ディスプレイ22は、表示部20で生成された映像信号に基づいて、映像を表示する。
物体検知部24は、第1映像処理部16から出力された映像信号に基づいて、広角カメラ10において撮影された全体映像の中から特定の物体を検知する。この特定の物体は、例えば、人や車、もしくは車のナンバープレート等が挙げられるが、これに限るものではない。
物体検知部24には、予め検知したい特定の物体の特徴量が保存されており、第1映像処理部16から出力された映像信号を解析し、解析された結果と特徴量を比較して、その比較結果が所定閾値以下である場合に広角カメラ10で撮影した全体映像の中に特定の物体が存在することを検知する。
また、物体検知部24は、広角カメラ10で撮影された全体映像の中で動く物体を特定の物体として検出してもよい。この場合、物体検知部24は、過去に第1映像処理部16から出力された映像信号と、第1映像処理部16から出力された最新の映像信号との差分をとり、ある領域において差分量が所定の閾値以上であった場合、この領域に特定の物体が存在すると判断する。
物体検知部24は、全体映像に特定の物体が存在すると検知した場合、その映像の中における特定の物体の位置情報を出力する。
制御部26は、物体検知部24において、広角カメラ10で撮影された全体映像の中に特定の物体が検知されると、物体検知部24から出力された特定の物体の位置情報を基に、後述の方法によって、広角カメラ10から物体への角度と、狭角カメラ12から物体への角度が一致するように、回転部14を回転させる。同時に、制御部26は、回転部14の回転角度に合わせて、広角カメラ10が自転するよう制御する。
入力I/F部28は、狭角カメラ12のパン及びチルト動作について、ユーザからの指示を受け付ける。そして、入力I/F部28によって受け付けられた指示は、制御部26に渡され、制御部26は狭角カメラ12のパン及びチルト動作を制御する。これによって、ユーザはディスプレイ22に表示された、広角カメラ10によって撮影された映像と狭角カメラ12によって撮影された映像を見ながら、入力I/F部26に狭角カメラ12のパン及びチルト動作を指示し、詳細に見たい領域に狭角カメラ12を合わせることができるようになっている。
斯かる構成に基づき、撮影装置100の動作について説明する。広角カメラ10で撮影された全体映像は、第1映像処理部16で各種映像処理がなされた後、表示部20を介してディスプレイ22に表示される。また、第1映像処理部16から出力された映像信号は、物体検知部24にも入力される。
物体検知部24は、第1映像処理部16から出力された映像信号を解析し、予め設定された特定の物体の特徴量と比較して、広角カメラ10で撮影された全体映像に特定の物体が存在するか否かを判定する。もしくは、物体検知部24は、過去に第1映像処理部16から出力された映像信号と、第1映像処理部16から出力された最新の映像信号との差分をとることにより、この領域に特定の物体が存在するか否かを判定する。
物体検知部24は、全体映像に特定の物体が存在すると判定した場合、全体映像における特定の物体の位置情報を求め、その結果を制御部26に出力する。制御部26は、物体検知部24から広角カメラ10で撮影された全体映像に特定の物体が存在する旨の判定結果を受け取ると、広角カメラ10から物体への角度と、狭角カメラ12から物体への角度が一致するように、回転部14を制御して回転動作させる。
図3は、制御部26における回転部14の制御方法を説明した図である。制御部26は、物体検知部24から出力された特定の物体の位置情報に基づいて、広角カメラ10から特定の物体への角度αを算出し、回転部14の回転角度βと比較する。角度αと角度βが異なっている場合、図3(a)のように広角カメラ10から特定の物体との角度と、狭角カメラ12から特定の物体への角度が一致していない状態となっているため、制御部26は回転部14を回転動作させる。
制御部26は、回転部14を回転させながら、逐次、広角カメラ10から特定の物体への角度αを算出し、この角度αと回転部14の回転角度βとが一致するまで回転部14を回転させる。そして広角カメラ10から特定の物体への角度α回転部14の回転角度βが一致した段階で回転部14の回転動作を停止させる。図3(b)のように、回転部14に備えられた広角カメラ10だけでなく狭角カメラ12も同時に回転移動するため、広角カメラ10から特定の物体への角度αと回転部14の回転角度βとが一致した段階で、広角カメラ10から物体への角度と、狭角カメラ12から物体への角度が一致する。
次に、広角カメラ10から特定の物体への角度と狭角カメラ12から特定の物体への角度が一致すると、狭角カメラ12で撮影された映像が、第2映像処理部18で各種映像処理がなされた後、表示部20を介してディスプレイ22に広角カメラ10で撮影された全体映像と併せて表示される。ユーザは、広角カメラ10で撮影された全体映像と、狭角カメラ12で撮影された映像を見ながら、入力I/F部26に狭角カメラ12のパン及びチルト動作を指示し、詳細に見たい領域に狭角カメラ12を合わせる。
また、広角カメラ10で撮影された全体映像に移った特定の物体が移動した場合、物体検知部24の判定結果に基づいて、制御部26は回転部14を制御して、広角カメラ10から物体への角度と、狭角カメラ12から物体への角度が一致するまで再び回転動作させる。
以上、本発明の実施の形態1に係る撮影装置100によれば、回転部14に広角カメラ10と狭角カメラ12が取り付けられ、回転部14は、広角カメラ10と狭角カメラ12とが常に所定の距離を保ちつつ、広角カメラ10及び狭角カメラ12が回転軸Oを中心として回転するように回転動作する。これにより、広角カメラ10で撮影した全体映像における特定の物体の位置情報をもとに、回転部14を回転させてやれば、広角カメラ10が特定の物体と回転軸Oを結んだ延長線上に回転移動したとき、狭角カメラ12もその延長線上に回転移動させることができる。したがって、特定の物体が移動した場合であっても、広角カメラ10と狭角カメラ12を別々に制御させることなく、容易に狭角カメラ12で物体を追尾することが可能である。
また、広角カメラ10は、回転部14の回転角度に応じて自転するため、広角カメラ10で撮影された映像は、回転部14が回転した場合であっても、常に同じ向きに固定される。したがって、第1映像処理部10で、撮影画像の回転処理が不要となり、映像処理にかかる処理量を削減することができる。
(実施の形態2)
図4(a)は、本発明の実施の形態2に係る撮影装置200の斜視図、及び図4(b)は撮影装置200を上面から見た図である。本発明の実施の形態2に係る撮影装置200のシステム構成は、実施の形態1における撮影装置100と同じである。
本実施の形態2における撮影装置200では、広角カメラ10が回転軸Oに固定されて設置されている。したがって、制御部26が広角カメラ10から特定の物体への角度と狭角カメラ12から特定の物体への角度をあわせるために回転部14を回転動作させている間、広角カメラは回転軸Oに固定されているため、広角カメラ10から特定の物体への角度は変化しない。これにより、制御部26では、実施の形態1における撮影装置100のように、回転部14を回転動作させながら、逐次、広角カメラ10から特定の物体への角度αを算出する必要はなく、一度だけ広角カメラ10から特定の物体への角度αを算出し、回転部14を角度αだけ回転させれば、広角カメラ10から特定の物体への角度と狭角カメラ12から特定の物体への角度をあわせることができる。
また、広角カメラ10が回転部14の回転軸Oに固定されているため、狭角カメラ12のパン動作を、回転部14を回転させることによって容易に行うことができる。すなわち、実施の形態1における撮影装置100では、回転部14を回転させると、広角カメラ10も同時に回転移動してしまうため、回転部14を回転させて狭角カメラ12のパン動作を行った場合、広角カメラ10で撮影した全体映像の画角が若干ずれてしまうといった問題が発生し、これを補正するための映像処理が必要となる。これに対し、本実施の形態2における撮影装置200は、広角カメラ10が回転部14の回転軸Oに固定されているため、回転部14を回転させても、広角カメラ10は固定されているので、回転部14を回転させることにより、狭角カメラ12のパン動作を実施しても、広角カメラ10の撮影に何ら影響を及ぼさない。したがって、狭角カメラ12のパン動作を回転部14を回転させることにより実現させれば、狭角カメラ12にはチルト動作に必要な1軸可動機構を備えていればよく、2軸可動機構が不要となるため、より簡単に撮影装置を構成することが可能となる。また、チルト動作の範囲を大きくすることも可能となる。
以上、本実施の形態2に係る撮影装置200によれば、実施の形態1で得られる効果に加えて、広角カメラ10が回転軸Oに固定されて設置されていることにより、回転部14が回転動作しても広角カメラ10から特定の物体への角度は一定であるため、より容易に広角カメラ10から特定の物体への角度と狭角カメラ12から特定の物体への角度を合わせることが可能となる。また、回転部14の回転動作によって狭角カメラ12のパン動作を実現することができるので、より簡単に撮影装置を構成することができるとともに、装置の小型化を実現することが可能となる。
(実施の形態3)
図5は、本実施の形態3に係る撮影装置300のシステム構成図である。本実施の形態3の撮影装置300の構成は、測定部30が備えられている点で、実施の形態1の撮影装置100の構成と相違する。その他の構成については、実施の形態1と同じであるため、説明を省略する。
測定部30は、第2映像処理部18及び制御部26と接続されており、撮影装置300から、物体検知部24で検知された特定の物体までの距離を、狭角カメラ12で撮影した映像を用いて測定する。
以下、撮影装置300の動作について説明する。図6は、撮影装置300における測定方法を説明するための図である。撮影装置300は、物体検知部24で特定の物体を検知すると、広角カメラ10から特定の物体への角度と狭角カメラ12から特定の物体への角度を合わせるために、制御部26によって回転部14が回転する。
広角カメラ10から特定の物体への角度と狭角カメラ12から特定の物体への角度が合い、狭角カメラ12が図6に示した位置Aで停止すると、狭角カメラ12は特定の物体を撮影し、この映像が、第2映像処理部18で各種映像処理された後、表示部20を介してディスプレイ22に表示される。同時に、第2映像処理部18から出力された映像信号は、測定部30にも送られる。そして、測定部30は第2映像処理部18からの映像信号を基に、図6に示した位置Aに存在する狭角カメラ12aが特定の物体を撮影する角度を算出する。
次に、制御部26は回転部14を180度回転させ、図6に示した位置Aに対して回転軸Oを挟んで点対称の位置Bに、狭角カメラ12を移動させる。狭角カメラ12は位置Bで特定の物体を撮影し、この映像が、第2映像処理部18で各種映像処理された後、表示部20を介してディスプレイ22に表示されると同時に、第2映像処理部18から出力された映像信号は、測定部30にも送られる。
測定部30は、制御部14からの信号によって狭角カメラ12が位置Bに移動したことを認識し、第2映像処理部18からの映像信号を基に、位置Bに存在する狭角カメラ12bが特定の物体を撮影する角度を算出する。
測定部30は、位置Aにおける特定の物体の撮影角度、位置Bにおける特定の物体の撮影角度と、回転移動の直径から、撮影装置300から特定の物体までの距離を算出する。そして、その結果を外部に出力し、様々な装置を制御する。
なお、本実施例では狭角カメラ12と特定の物体への角度を2地点で算出する例を示したが、これに限らず、2地点以上でその角度を算出するようにしてもよい。
図7は、この撮影装置300を天井に設置し、撮影装置300を用いて人体の姿勢を判別して、物体検知の結果と併せて、照明装置のON/OFFを制御する一例を示した図である。図7(a)は、人が立っている場合及び寝ている場合における測定部の結果を示している。人が立っている場合、測定部30は撮影装置300から特定の物体(人体)までの距離が短く算出される。一方、人が寝ている場合、測定部30は撮影装置300から特定の物体(人体)までの距離が長く算出される。測定部30は、撮影装置300から特定の物体(人体)までの距離が所定のしきい値以下であれば人は立っていると判断し、所定のしきい値より大きければ人は寝ていると判断して、照明装置に結果を出力する。
図7(b)は、測定部30の結果と物体検知部24の結果を基に、照明装置をON/OFFする判断基準の一例を示している。物体検知部24の結果、物体が検知されていない間は、測定部30の結果によらず、照明装置をOFFする。一方、物体検知部24によって特定の物体が止まっている、もしくは動いていると検知された場合、測定部30の結果、人が立っていると判断されたときは、照明装置をONする。また、測定部30の結果、人が寝ていると判断されたときは、照明装置をOFFする。
以上、本発明の実施の形態3における撮影装置300によれば、狭角カメラ12を用い、回転部14によって狭角カメラ12を回転移動させて少なくとも2地点から特定の物体を撮影し、それぞれの地点における撮影角度と回転移動の直径に基づいて、容易に撮影装置300から特定の物体までの測定を行うことが可能となる。
なお、本実施の形態3における撮影装置300は、実施の形態1の撮影装置100に測定部30を加えた例を示したが、実施の形態2の撮影装置200に測定部30を加えても同様の効果を得ることができる。
(実施の形態4)
図8(a)は、本発明の実施の形態4に係る撮影装置400の斜視図、及び図8(b)は撮影装置400を上面から見た図である。撮影装置400のシステム構成は図1に示した実施の形態1に係る撮影装置100のシステム構成と同じであるが、広角カメラ10と狭角カメラ12の配置が異なっている。以下、実施の形態1との相違点について説明する。
撮影装置400の狭角カメラ12は、回転部14の回転軸O上に配置され、回転部14の回転とあわせて狭角カメラ12の撮影方向が回転するよう回転部14に固定されている。
また、狭角カメラ12には1軸回転機構40が設けられており、1軸回転機構40の軸は回転部14に固定された支柱42にとり付けられている。そして、1軸回転機構40を回転させることにより狭角カメラ12のチルト動作を行う。狭角カメラ12のパン動作は、回転部14を回転させることにより行う。
広角カメラ10は、図8(b)に示した狭角カメラ12のチルト方向と重ならないように回転部14に固定されており、回転部14の回転と合せて回転する。また、広角カメラ10は実施の形態1と同様に、回転軸Oを中心として回転するのに合わせて自転する。
図9は、図1に示した制御部26における回転部14の制御方法を説明した図である。制御部26は、図1に示した物体検知部24から出力された特定の物体の位置情報に基づいて、広角カメラ10から特定の物体への角度αを算出し、回転部14の回転角度βと比較する。角度αと角度βが異なっている場合、図9(a)のように広角カメラ10から特定の物体との角度と、狭角カメラ12から特定の物体への角度が一致していない状態となっているため、制御部26は回転部14を回転動作させる。
制御部26は、回転部14を回転させながら、逐次、広角カメラ10から特定の物体への角度αを算出し、この角度αと回転部14の回転角度βとが一致するまで回転部14を回転させる。そして広角カメラ10から特定の物体への角度α回転部14の回転角度βが一致した段階で回転部14の回転動作を停止させる。図9(b)のように、回転部14に備えられた広角カメラ10だけでなく狭角カメラ12の撮影方向も回転移動するため、広角カメラ10から特定の物体への角度αと回転部14の回転角度βとが一致した段階で、広角カメラ10から物体への角度と、狭角カメラ12から物体への角度が一致する。
その他の撮影装置400の動作は実施の形態1に係る撮影装置100の動作と同じであるため、説明を省略する。ただし、撮影装置400のパン動作は回転部14を回転させることによって実行される。
以上、本発明の実施の形態4に係る撮影装置400によれば、回転部14に広角カメラ10と狭角カメラ12が取り付けられ、狭角カメラ12は、回転部14の回転軸O上に配置されるとともに、回転部14の回転に合せて狭角カメラ12の撮影方向が回転するよう回転部Oに固定されている。これにより、以下のような作用効果を享受できる。
(1)広角カメラ10で撮影した全体映像における特定の物体の位置情報をもとに、回転部14を回転させてやれば、狭角カメラ12の撮影方向を容易に特定の物体に合せることができる。したがって、特定の物体が移動した場合であっても、広角カメラ10と狭角カメラ12を別々に制御させることなく、容易に狭角カメラ12で物体を追尾することが可能である。
(2)チルト動作を行う狭角カメラ12が回転軸O上に配置されているので、狭角カメラ12が回転軸Oの周辺を回転移動する場合と比較して、狭角カメラ12のパン動作に必要な空間を小さくすることができ、撮影装置400を小型化することができる。
(3)回転部14を回転させることによって狭角カメラ12のパン動作を行うことにより、狭角カメラ12にはチルト動作に必要な1軸可動機構を備えていればよく、2軸可動機構が不要となるため、より簡単に撮影装置を構成することが可能となる。
(4)広角カメラ10が、狭角カメラ12のチルト方向から外れる位置に回転部14に取り付けられているため、広角カメラ10と狭角カメラ12を接近して配置しても、狭角カメラ12のチルト動作範囲を大きくすることができる。したがって、広角カメラ10を狭角カメラ12のパン動作に要する空間内に配置することも可能であり、この場合、撮影装置400の大きさは狭角カメラ12のチルト及びパン動作に要する空間の大きさのみで決まるので、撮影装置400の小型化を図ることができる。
(5)広角カメラ10は、回転部14の回転角度に応じて自転するため、広角カメラ10で撮影された映像は、回転部14が回転した場合であっても、常に同じ向きに固定される。したがって、第1映像処理部10で、撮影画像の回転処理が不要となり、映像処理にかかる処理量を削減することができる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
また、本実施の形態では、広角カメラ10で撮影された全体映像の中から特定の物体を検知し、狭角カメラ12ではその特定の物体を追尾して撮影する例を示したが、これとは別に、狭角カメラ12を周期的に移動させ、撮影方向を変えて複数の場所を撮影するようにしてもよく、特定の物体を追尾する場合と、周期的に複数の場所を撮影する場合を切り替えるようにしてもよい。これにより、一ヶ所や一物体だけを撮像する場合に比べ、空間的な取りこぼしが少ない撮影を行うことが可能となる。
また、本実施の形態では、広角カメラ10で撮影された全体映像をディスプレイ22に表示させるようにしたが、特定の物体を撮影した狭角カメラ12の映像のみをディスプレイ22に表示させるようにしてもよく、ユーザは狭角カメラ12で撮像した映像だけでパン・チルト動作を指示するようにシステムを構成してもよい。この場合、広角カメラ10を特定の物体を検出するためのセンサーとして利用してもよい。また、広角カメラ10で撮影した全体映像をディスプレイ22に表示するか否かをユーザによって切り替え可能にしてもよい。
また、本実施の形態1では、狭角カメラ12がパン・チルト動作するように、2軸可動機構を備える例を示したが、制御部26により回転部14を精度良く制御することができれば、左右方向において狭角カメラ12を特定の物体にほぼ合わせることができる。したがって、このような場合、狭角カメラ12に上下方向に動く1軸可動機構を備え、チルト動作のみ行えるようにすれば、より簡単な構成で撮影装置100を構成することができる。また、狭角カメラ12のチルト動作の範囲を大きくとることも可能となる。
また、本実施の形態1では、広角カメラ10と狭角カメラ12は、回転軸Oを挟んで常に反対側に位置するように配置した例を示したが、これに限らず、回転部14の回転軸Oは、広角カメラ10と狭角カメラ12とを結んだ直線上であれば、広角カメラ10と狭角カメラ12の間以外に存在してもよい。
また、本実施の形態3では、測定部30を用いて、撮影装置300と特定の物体との距離を測定するよう構成したが、この測定部30の結果を物体検知部22に送り、物体検知部22は、測定部30の結果に基づいて、物体の移動量を予測するようにしてもよい。例えば、物体までの距離が短い場合、物体の移動量は大きくなる場合があり、物体までの距離が遠い場合は、物体の移動量は小さくなると予想される。したがって、物体検知部22は、測定部30の結果に基づいて、物体の移動量を予測することにより、精度よく物体の追尾を行うことができる。
また、本実施の形態3において、狭角カメラ12を回転移動させて異なる位置から特定の物体を複数回撮影することにより、物体までの距離を測定したが、広角カメラ10を回転移動させて異なる位置から特定の物体を複数回撮影することにより、物体までの距離を測定しても、同様の効果を得ることができる。
また、本実施の形態4の撮影装置400に実施の形態3の測定部30を加えてもよい。この場合、狭角カメラ12にかわって広角カメラ10を回転移動させることにより物体までの距離を測定する。
また、本実施の形態1又は4において、広角カメラ10が回転部14の回転角度に応じて自転させることにより、回転部14が回転した場合にも常に同じ向きの映像を広角カメラ10で撮影することが可能としているが、広角カメラ10で撮像された画像を、回転部14の回転角度に応じて第1映像処理部16で映像処理することにより、常に同じ向きの映像を得るようにしてもよい。この場合、広角カメラ10に自転用のギアが不要となり、撮影装置の小型化を図ることができる。
また、本実施の形態4における撮像装置であり、かつ、回転部14の回転角度に応じて第1映像処理部16で映像処理することにより常に同じ向きの映像を得る撮影装置において、広角カメラ10の水平方向の画角と垂直方向の画角が異なっている場合、画角の小さい方向に狭角カメラ12を配置してもよい。これにより、広角カメラ10と狭角カメラ12とを近づけても、広角カメラ10に狭角カメラ12が映りこむことがなく、撮影装置をより小型にすることができる。
実施の形態1に係る撮影装置100のシステム構成図である。 実施の形態1に係る撮影装置100の斜視図及び上面図である。 図1の制御部26における回転部14の制御方法を説明した図である。 実施の形態2に係る撮影装置200の斜視図及び上面図である。 実施の形態3に係る撮影装置300のシステム構成図である。 図3の撮影装置300における測定方法を説明した図である。 図3の撮影装置300を用いた照明装置の制御方法を説明した図である。 実施の形態4に係る撮影装置400の斜視図及び上面図である。 実施の形態4に係る撮影装置400の制御部26における回転部14の制御方法を説明した図である。
符号の説明
10 広角カメラ
12 狭角カメラ
14 回転部
24 物体検知部
26 制御部
30 測定部
100、200、300、400 撮影装置

Claims (6)

  1. 画像を撮影する第1のカメラと、
    前記第1のカメラよりも狭い範囲の画像を撮影する第2のカメラと、
    前記第1のカメラと前記第2のカメラが接続され、前記第1のカメラと前記第2のカメラとが所定の距離を保ちながら前記第1のカメラと前記第2のカメラを回転移動させる回転部と、を備え、
    前記第1のカメラの撮像方向は、前記回転部が前記第1のカメラおよび前記第2のカメラを回転移動させている間、同じ向きに固定されることを特徴とする撮影装置。
  2. 記第2のカメラは前記回転部の回転軸上に配置されるとともに、前記回転部の回転に合せて前記第2のカメラの撮影方向が回転するように前記回転部に接続されることを特徴とする請求項1に記載の撮影装置。
  3. 前記第2のカメラはチルト動作を行い、前記第1のカメラは、前記第2のカメラのチルト方向から外れた場所に備えられていることを特徴とする請求項2に記載の撮影装置。
  4. 前記第1のカメラは、前記回転部の回転角度に応じて自転することを特徴とする請求項1〜3のいずれかに記載の撮影装置。
  5. 前記第2のカメラの位置に、この第2のカメラをチルト動作させるための1軸可動機構が備えられていることを特長とする請求項1〜4のいずれかに記載の撮影装置。
  6. 前記第2のカメラを前記回転部によって回転移動させて異なる位置から特定の物体を少なくとも2回撮影し、撮影毎の前記第2のカメラと特定の物体との間の角度と、回転直径に基づいて、特定の物体までの距離を算出する測定部を更に備える請求項1に記載の撮影装置。
JP2006181200A 2006-02-28 2006-06-30 撮影装置 Expired - Fee Related JP4566166B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006181200A JP4566166B2 (ja) 2006-02-28 2006-06-30 撮影装置
US11/680,151 US7843499B2 (en) 2006-02-28 2007-02-28 Image capturing system employing different angle cameras on a common rotation axis and method for same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006052885 2006-02-28
JP2006181200A JP4566166B2 (ja) 2006-02-28 2006-06-30 撮影装置

Publications (2)

Publication Number Publication Date
JP2007267347A JP2007267347A (ja) 2007-10-11
JP4566166B2 true JP4566166B2 (ja) 2010-10-20

Family

ID=38443590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006181200A Expired - Fee Related JP4566166B2 (ja) 2006-02-28 2006-06-30 撮影装置

Country Status (2)

Country Link
US (1) US7843499B2 (ja)
JP (1) JP4566166B2 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8081214B2 (en) * 2004-10-12 2011-12-20 Enforcement Video, Llc Method of and system for mobile surveillance and event recording
US8982944B2 (en) * 2005-10-12 2015-03-17 Enforcement Video, Llc Method and system for categorized event recording of images in multiple resolution levels
US8599368B1 (en) 2008-01-29 2013-12-03 Enforcement Video, Llc Laser-based speed determination device for use in a moving vehicle
US20090046157A1 (en) * 2007-08-13 2009-02-19 Andrew Cilia Combined wide-angle/zoom camera for license plate identification
CA2714362A1 (en) * 2008-01-29 2009-08-06 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
US9860536B2 (en) * 2008-02-15 2018-01-02 Enforcement Video, Llc System and method for high-resolution storage of images
JP2009284452A (ja) * 2008-05-23 2009-12-03 Advas Co Ltd ハイブリッドビデオカメラ撮像装置及びシステム
US8488001B2 (en) * 2008-12-10 2013-07-16 Honeywell International Inc. Semi-automatic relative calibration method for master slave camera control
US8781222B2 (en) 2008-12-12 2014-07-15 Tektronix, Inc. Method and apparatus for automatic illuminant compensation in video surveillance
WO2011002775A1 (en) * 2009-06-29 2011-01-06 Bosch Security Systems Inc. Omni-directional intelligent autotour and situational aware dome surveillance camera system and method
DE102009046362A1 (de) * 2009-11-03 2011-05-05 Tesa Se Haftklebestoff aus einem vernetzbaren Polyolefin und einem Klebharz
US10643467B2 (en) * 2010-03-28 2020-05-05 Roadmetric Ltd. System and method for detecting and recording traffic law violation events
US8736680B1 (en) 2010-05-18 2014-05-27 Enforcement Video, Llc Method and system for split-screen video display
KR101666397B1 (ko) * 2010-12-21 2016-10-14 한국전자통신연구원 객체 영상 획득 장치 및 방법
US9686452B2 (en) * 2011-02-16 2017-06-20 Robert Bosch Gmbh Surveillance camera with integral large-domain sensor
JP5809538B2 (ja) * 2011-11-15 2015-11-11 キヤノン株式会社 自動追尾カメラシステム
JP5851261B2 (ja) * 2012-01-30 2016-02-03 株式会社東芝 画像センサシステム、情報処理装置、情報処理方法及びプログラム
JP5925059B2 (ja) * 2012-06-12 2016-05-25 キヤノン株式会社 撮像制御装置、撮像制御方法及びプログラム
WO2014199338A2 (en) * 2013-06-13 2014-12-18 Corephotonics Ltd. Dual aperture zoom digital camera
CN103971375B (zh) * 2014-05-22 2016-03-02 中国人民解放军国防科学技术大学 一种基于图像拼接的全景凝视相机空间标定方法
EP3149938A1 (en) * 2014-05-27 2017-04-05 Telefonaktiebolaget LM Ericsson (publ) Remote control of a pivotable stereoscopic camera
FR3027718B1 (fr) * 2014-10-28 2019-06-21 Latecoere Procede et systeme de surveillance et de securisation d'une enceinte de vehicule, notamment d'un avion
KR102101438B1 (ko) * 2015-01-29 2020-04-20 한국전자통신연구원 연속 시점 전환 서비스에서 객체의 위치 및 크기를 유지하기 위한 다중 카메라 제어 장치 및 방법
EP3424012A1 (en) * 2016-03-02 2019-01-09 Paul Price Method and apparatus for displaying a collectible
US10341605B1 (en) 2016-04-07 2019-07-02 WatchGuard, Inc. Systems and methods for multiple-resolution storage of media streams
US10266263B2 (en) 2017-01-23 2019-04-23 Hangzhou Zero Zero Technology Co., Ltd. System and method for omni-directional obstacle avoidance in aerial systems
CN108990428B (zh) * 2017-03-31 2021-09-07 株式会社日立制作所 移动体摄像装置以及移动体摄像方法
TWI676365B (zh) * 2017-05-07 2019-11-01 仁寶電腦工業股份有限公司 電子裝置
WO2018228278A1 (zh) * 2017-06-14 2018-12-20 杭州海康威视数字技术股份有限公司 全景细节摄像机
CN108769781B (zh) * 2018-06-14 2019-02-26 视云融聚(广州)科技有限公司 一种视频标签定位方法
CN109788208B (zh) * 2019-01-30 2021-10-22 国网宁夏电力有限公司检修公司 基于多组焦距图像源的目标识别方法及系统
CN110445978B (zh) 2019-06-24 2020-12-15 华为技术有限公司 一种拍摄方法及设备
JP2021019228A (ja) * 2019-07-17 2021-02-15 キヤノン株式会社 撮像装置、コンピュータプログラムおよび記録媒体
RU2755603C2 (ru) * 2019-09-30 2021-09-17 Акционерное общество "Лаборатория Касперского" Система и способ обнаружения и противодействия беспилотным летательным аппаратам

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260778A (ja) * 2004-03-15 2005-09-22 Yamamoto System Design:Kk 監視カメラ
JP2006048395A (ja) * 2004-08-05 2006-02-16 Toshiba Corp 速度計測装置および速度計測方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1234767B (it) * 1989-09-01 1992-05-26 C M S S P A Costruzioni Macchi Apparecchiatura per la movimentazione a distanza di una telecamera per riprese televisive speciali
US6301447B1 (en) * 1991-05-13 2001-10-09 Interactive Pictures Corporation Method and system for creation and interactive viewing of totally immersive stereoscopic images
JPH0846858A (ja) * 1994-08-02 1996-02-16 Secom Co Ltd カメラシステム
US7071971B2 (en) * 1997-08-25 2006-07-04 Elbex Video Ltd. Apparatus for identifying the scene location viewed via remotely operated television camera
US6215519B1 (en) * 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
US6977676B1 (en) * 1998-07-08 2005-12-20 Canon Kabushiki Kaisha Camera control system
JP2000341574A (ja) 1999-05-28 2000-12-08 Canon Inc カメラ装置及びカメラ制御システム
US7525567B2 (en) * 2000-02-16 2009-04-28 Immersive Media Company Recording a stereoscopic image of a wide field of view
JP2003134375A (ja) * 2001-10-26 2003-05-09 Matsushita Electric Works Ltd 画像撮影システム
JP4017579B2 (ja) * 2003-09-19 2007-12-05 株式会社ソニー・コンピュータエンタテインメント 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体
JP4540322B2 (ja) * 2003-09-29 2010-09-08 Hoya株式会社 画像間対応点検出装置および画像間対応点検出方法
JP2005269573A (ja) * 2004-03-22 2005-09-29 Yisheng Science & Technology Co Ltd パノラマ像により2軸式監視カメラの姿勢を制御する方法及びその方法を用いたシステム
DE112005000929B4 (de) * 2004-04-28 2011-07-21 Chuo Electronics Co. Ltd., Tokyo Automatisches Abbildungsverfahren und Vorrichtung
US7629995B2 (en) * 2004-08-06 2009-12-08 Sony Corporation System and method for correlating camera views
JP2006262030A (ja) * 2005-03-16 2006-09-28 Fuji Xerox Co Ltd 画角調整装置、カメラシステムおよび画角調整方法
US7719568B2 (en) * 2006-12-16 2010-05-18 National Chiao Tung University Image processing system for integrating multi-resolution images
US20100141734A1 (en) * 2008-10-28 2010-06-10 Hitachi Maxell, Ltd. Imaging apparatus and optical axis correction method of imaging apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260778A (ja) * 2004-03-15 2005-09-22 Yamamoto System Design:Kk 監視カメラ
JP2006048395A (ja) * 2004-08-05 2006-02-16 Toshiba Corp 速度計測装置および速度計測方法

Also Published As

Publication number Publication date
US7843499B2 (en) 2010-11-30
JP2007267347A (ja) 2007-10-11
US20070200933A1 (en) 2007-08-30

Similar Documents

Publication Publication Date Title
JP4566166B2 (ja) 撮影装置
JP4589261B2 (ja) 監視カメラ装置
JP2935693B1 (ja) 動く被写体を自動に追跡する方法及びその装置
JP5809538B2 (ja) 自動追尾カメラシステム
US20120019664A1 (en) Control apparatus for auto-tracking camera system and auto-tracking camera system equipped with same
US20060017812A1 (en) Camera link system, camera device and camera link control method
US20060139484A1 (en) Method for controlling privacy mask display
US20040179729A1 (en) Measurement system
JP2008311804A (ja) 撮像装置および撮像方法
JP2001069496A (ja) 監視カメラ装置及び監視カメラの制御方法
KR101204870B1 (ko) 감시 카메라 시스템 및 그의 제어방법
JP4293236B2 (ja) 撮像装置及び撮像方法
KR101452342B1 (ko) 감시카메라 유닛 및 그 구동방법
JP5471224B2 (ja) 撮像システム、撮像装置、情報処理装置及び撮像方法
JP2000209575A (ja) 監視カメラ装置
JP2007089042A (ja) 撮像装置
JP4566908B2 (ja) 撮像システム
JP5588831B2 (ja) 移動体監視装置
JPH02239779A (ja) 自動合焦、自動画角調定、自動視線調定装置およびそれを有するテレビドアホン装置
US20070058067A1 (en) Monitoring system
JP2013106175A (ja) カメラシステム
JP3838881B2 (ja) 監視カメラ装置
JP2002344796A (ja) リモート画像センタリングのためのシステムおよび方法
JP2005175852A (ja) 撮影装置及び撮影装置の制御方法
JP2004320175A (ja) 監視カメラシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070918

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100803

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees