JP4568009B2 - カメラ連携による監視装置 - Google Patents

カメラ連携による監視装置 Download PDF

Info

Publication number
JP4568009B2
JP4568009B2 JP2004107067A JP2004107067A JP4568009B2 JP 4568009 B2 JP4568009 B2 JP 4568009B2 JP 2004107067 A JP2004107067 A JP 2004107067A JP 2004107067 A JP2004107067 A JP 2004107067A JP 4568009 B2 JP4568009 B2 JP 4568009B2
Authority
JP
Japan
Prior art keywords
camera
image
monitoring
function
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004107067A
Other languages
English (en)
Other versions
JP2004343718A (ja
Inventor
智英 石上
健介 丸谷
晋 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2004107067A priority Critical patent/JP4568009B2/ja
Priority to US10/828,499 priority patent/US7336297B2/en
Priority to CNB2004100477799A priority patent/CN100353749C/zh
Publication of JP2004343718A publication Critical patent/JP2004343718A/ja
Application granted granted Critical
Publication of JP4568009B2 publication Critical patent/JP4568009B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19695—Arrangements wherein non-video detectors start video recording or forwarding but do not generate an alarm themselves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Description

本発明は、複数台の監視カメラと画像処理装置を用いて侵入物体を自動検出し、画面上に拡大表示する監視装置に関する。
近年、監視分野では、カメラから送られる画像信号を画面上に表示するだけでなく、前記信号を画像処理装置で解析することで、異常が発生した位置を特定し、その付近の映像を監視者に提示するシステムが登場している。
例えば、従来技術の一例を開示する特許文献１は、侵入物を検出するために、広域視野のレンズを備えたカメラを利用し、画像処理を用いて特定した侵入物体の位置に、パン（左右）・チルト（上下）・ズーム（画角）制御が行える回転カメラを向けることで、侵入物体を画面上に拡大表示する侵入物体体追尾画像処理システムを開示している。
以下、図１３を用いて、特許文献１の監視システムについて簡単に説明する。図１３は、従来の侵入物体体追尾画像処理システムの構成を示すブロック図である。このシステムは、広域視野のレンズを備えた広域撮影用カメラ１００１と、パン・チルト・ズーム制御が可能な回転カメラ１００２と、画像信号を解析し、解析結果にしたがって回転カメラ１００２を制御する信号を出力する画像処理装置１００３と、広域撮影用カメラの画像信号を表示するモニタ１００４と、回転カメラの画像信号を表示するモニタ１００５とで構成される。
広域撮影用カメラ１００１は、侵入物体の検出に利用し、画像信号を画像処理装置１００３とモニタ１００４に出力する。回転カメラ１００２は、侵入物体の拡大表示に利用し、画像処理装置１００３から入力される制御信号にしたがって回転移動と画角調整を行い、画像信号をモニタ１００５に出力する。画像処理装置１００３は、侵入物体の追跡を行う侵入物体追跡手段１００６と、回転カメラ１００２に出力する制御信号を生成するカメラ制御手段１００７とで構成される。侵入物体追跡手段１００６は、広域撮影用カメラ１００１から入力される画像信号を利用し、背景差分などの既存の画像処理を組み合わせることで、侵入物体の検出および位置の特定を行う。
侵入物体の位置を特定すると、カメラ制御手段１００７は、回転カメラ１００２が侵入物体の存在する方向を、適切な大きさで侵入物体を撮影できるような制御信号を生成し、回転カメラ１００２に出力する。そして、制御信号を受け取った回転カメラ１００２は、制御信号にしたがって侵入物体の存在する方向にカメラを向け、拡大表示のために画角調整を行い、回転カメラ１００２の画像信号を表示するモニタ１００５は、侵入物体を拡大した映像が表示される。
特開平１１−６９３４２号公報
しかしながら、上記のような従来技術では、２台のカメラを用いているが、１台の広域撮影用カメラで侵入物体を検出するため、広域撮影用カメラの設置位置付近に、侵入物体を検出できない死角が発生する。
図１４は、上述のような従来技術における不具合を説明する模式図である。この図に示すように、例えば天井１１０１に広域撮影用カメラ１１０２を設置し、天井１１０１から見下ろす形で侵入物体を撮影する場合、広域撮影用カメラ１１０２の設置位置直下の領域１１０３は、広域撮影用カメラ１１０２の撮影範囲１１０４内に含まれず、死角となり侵入物体を検出できない。従って、死角１１０３内で侵入物を検出するには、広域撮影用カメラを別に１台設置する必要があり、システムの規模が大きくなる。
本発明は上記従来の不具合に鑑みてなされたもので、その目的は、パン・チルト・ズーム制御が可能な回転カメラを含む複数のカメラを連携させ、最小限のカメラ台数で死角なく侵入物体を拡大表示する監視装置を提供することである。
この課題を解決するために本発明では、第一に所定の監視空間において、監視対象を監視するための監視装置であって、パン・チルト・ズーム機能のうち少なくともいずれかの機能を備えることにより、前記監視対象を拡大して撮影する追跡撮影機能と前記監視空間を広角撮影する広域撮影機能とを有し、前記監視空間における所定の位置に設置され、前記監視空間の画像を撮影した第１の画像信号を出力する複数のカメラと、前記複数のカメラから取得された前記第１の画像信号を画像解析することにより、前記監視空間に前記監視対象が存在するか否かを判定し、前記監視対象が存在すると判定された場合に、前記第１の画像信号と、予め３次元座標系が設定された前記監視空間の座標空間情報と前記３次元座標系における前記複数のカメラの設置位置の座標を示すカメラ位置情報とを含む３次元座標情報とに基づいて、前記監視空間における前記監視対象の３次元位置を示す第１の座標情報を算出する侵入物体認識部と、複数の監視対象の画像データを予め保持する画像蓄積部と、前記画像蓄積部から取得された複数の画像データと、前記侵入物体認識部から取得された前記第１の画像信号との相関係数を算出し、算出された複数の相関係数のうち最大である最大相関係数を記憶する画像認識部と、前記侵入物体認識部から取得された前記第１の座標情報と前記カメラ位置情報とに基づいて、前記複数のカメラのうち、前記監視対象と最も近い位置に設置された第１のカメラに前記追跡撮影機能を割当て、一または複数の第２のカメラに前記広域撮影機能を割当てることを決定するカメラ機能決定部と、前記カメラ機能決定部の決定に基づいて、前記第１のカメラおよび前記第２のカメラをパン・チルト・ズーム制御するカメラ制御部と、を備え、
前記侵入物体認識部は、前記第１の画像信号より後に前記複数のカメラによって撮影された前記監視対象を含む第２の画像信号に基づいて第２の座標情報を算出し、前記第１の座標情報と前記第２の座標情報とに基づいて前記監視対象の移動方向を算出し、前記カメラ機能決定部は、前記複数の画像データと前記第１のカメラにより撮影された第２の画像信号とに基づいて算出された最大相関係数を前記画像認識部から取得し、前記取得された最大相関係数が第１の閾値を越えるか否かを判定し、前記取得された最大相関係数が前記第１の閾値を超えないと判定された場合は、前記第１のカメラから、前記第２のカメラのうち、前記移動方向に設置されたカメラに、前記追跡撮影機能を切替えることを決定する。
これにより、監視対象の予め定めた方向に応じて、監視対象を検出するカメラを切り替えることにより、最小限のカメラ台数で、死角なく侵入物体を追跡するという効果が得られる。
また、第二に、前記カメラ機能決定部は、前記取得された最大相関係数が前記第１の閾値を超えるか否かを判定し、前記取得された最大相関係数が前記第１の閾値を超えないと判定された場合は、前記第１のカメラから、前記第２のカメラのうち、前記複数の画像データと前記第２のカメラにより撮影された第２の画像信号とに基づいて算出された最大相関係数が最大であるカメラに、前記追跡撮影機能を切替えることを特徴とする。
これにより、監視対象の状況に応じて追跡撮影するカメラを適切に選択することが可能であり、侵入者の移動などに合わせて追跡することができるという効果が得られる。
また、第三に、カメラ機能決定部は、前記監視空間に存在する障害物の位置及び大きさを3次元座標により設定された情報として予め記憶しており、前記複数のカメラのうち、前記障害物により前記監視対象を撮影できないカメラには、前記追跡撮影機能及び前記広域撮影機能を割当てないことを決定する。
これにより、遮蔽物により撮影ができないカメラ以外を連携させ、侵入物体を拡大表示できるという効果が得られる。
また、第四に、前記監視対象は侵入者であり、前記画像蓄積部に予め保持された画像データは監視対象である侵入者の顔画像データである場合において、モニタ部を更に備え、前記画像認識部は、前記複数カメラにより撮影された前記監視空間の画像から前記侵入者の顔画像を検出し、検出された顔画像と前記顔画像データとに基づいて算出された最大相関係数が第２の閾値を超えた場合には、前記モニタ部に前記顔領域画像を表示させる。
これにより、認識結果に応じてモニタ部に表示させることで、顔画像認識に適した表示監視動作を行い、顔画像認識結果を向上させるという効果が得られる。
また、第五に、前記監視対象は侵入者であり、前記画像蓄積部に予め保持された画像データは監視対象である侵入者の全身もしくは半身が映る人物画像データである場合において、モニタ部を更に備え、前記画像認識部は、前記複数カメラにより撮影された前記監視空間の画像から前記侵入者の人物画像を検出し、前記検出された人物画像と前記人物画像データとに基いて算出された最大相関係数が第３の閾値を超えた場合には、前記モニタ部に前記人物画像を表示させる。
これにより、認識結果に応じてモニタ部に表示させることで、人物画像認識に適した表示監視動作を行い、人物画像認識結果を向上させるという効果が得られる。
以上のように、本発明によれば、パン・チルト・ズーム可能な複数の回転カメラと、各カメラの役割を決定するカメラ機能決定手段を備えることで、単体カメラでの死角をなくし、最小限のカメラ台数で死角なく監視対象である侵入物体を拡大表示できるという効果が得られる。
また、画像蓄積手段と、画像認識手段とを含み、画像認識手段の比較結果と監視対象の状況とに応じて第３のカメラに追跡機能を割り当てることにより、監視対象の状況に応じて追跡撮影するカメラを適切に選択し、侵入者の移動などに合わせて追跡することができるという効果が得られる。
また、カメラの状態と監視対象の状態を認識し、状態に応じてカメラ機能を決定する手段を備えることで、例えばカメラが故障しても、監視対象を検出する役割などを、故障したカメラ以外に割り当てることで監視を継続できるという効果が得られる。
また、監視区域内の障害物の情報を利用してカメラ機能を決定する手段を備えることで、遮蔽物により撮影ができないカメラ以外を連携させ、監視対象を拡大表示できるという効果が得られる。
また、２台以上の複数のカメラに対応でき、更に同じ効果を持つカメラ機能を複数のカメラに割り当てることで、より詳細に監視対象の映像を拡大表示することや、監視対象の位置や方向を精度よく検出することができるという効果が得られる。
また、他の効果として、画像処理や様々なセンサを用いて侵入物体の移動方向を求め、移動方向に応じてカメラ機能を決定する手段を備えることで、侵入物体の移動方向に合わせて適切なズーム処理を行い、例えば侵入者の正面顔といった監視すべき部位を拡大表示できるという効果が得られる。
また同様な効果を、侵入物体の方向を認識し、その方向に応じてカメラ機能を決定する手段を備えることで実現できる。
本発明の実施の形態について、図１から図１２を用いて説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
（実施の形態１）
図１乃至図９は、本発明の第１の実施の形態について説明する図である。この本実施の形態では、カメラを支える雲台が左右（パン）や上下（チルト）方向に回転移動することや、レンズの画角（ズーム）を変更することが可能な回転カメラを二台用いて侵入者を追跡し、画面上に拡大して表示する方法について説明する。
図１は、本実施の形態における監視装置の構成を示すブロック図である。本実施の形態における監視装置は、制御信号によりパン・チルト・ズーム制御が可能な二台の回転カメラ１０１、１０２と、回転カメラ１０１、１０２から送られる画像信号を処理し、処理結果に応じて回転カメラ１０１、１０２の制御信号を生成する画像処理装置１０３と、回転カメラ１０１、１０２から送られる画像信号を画面上に表示するモニタ１０４、１０５により構成される。
回転カメラ１０１、１０２には、追跡撮影機能と広域撮影機能の二つの機能を割り当てることが可能である。追跡撮影機能が割り当てられた場合には、画像処理装置１０３が生成する制御信号に従って、上下左右方向に回転移動し、目的の方向にカメラを向け、画角を調節して対象を撮影し、モニタ１０４、１０５に画像信号を出力する。他方、広域撮影機能が割り当てられた場合には、監視空間全体を撮影できるように画角を調整し、モニタ１０４、１０５および画像処理装置１０３へ、画像信号を出力する。
画像処理装置１０３は、監視対象となる侵入者の位置を特定する侵入物体認識手段１０６と、侵入者の位置に応じて回転カメラの機能を決定するカメラ機能決定手段１０７と、カメラ機能に応じて回転カメラの制御信号を生成するカメラ制御手段１０８から構成される。
侵入物体認識手段１０６は、広域撮影機能に割り当てられた回転カメラ１０１、１０２から送られる画像信号を解析し、監視空間における侵入者の３次元座標を特定する。監視空間には、３次元座標系があらかじめ設定されており、各カメラが共通の座標空間に存在することにより、カメラ制御を容易に実施することができる。
図２は、画像信号から追跡対象の監視空間における３次元座標を特定する処理手順を説明するフローチャートである。図３は本実施の形態における監視空間を定義する図である。図２の処理を実行するには、監視空間は、図３に示すようにＸ軸とＹ軸は床と平行に、Ｚ軸は床と垂直に、各軸が直交するように設定し、回転カメラＡを基準点上部の３０１に、回転カメラＢを回転カメラＡと同じ高さの３０２に設置する。また、例えば侵入物体の位置を求めるに際して、入力画像から監視空間上の３次元座標を求めるまでの、中間処理画像を図４に示す。
図２において、ステップ２０１では、回転カメラ１０１、１０２から入力される画像から、画像の変化だけを表す差分画像を生成する。差分画像は、背景を取り除き、侵入物体を含む移動物体を表した画像であり、この画像は、例えば「画像の処理と認識」（長尾智晴・安居院猛著、昭晃堂出版）１６２、１６３ページ記載の、連続する３枚のフレームを利用する方式を用いて生成することができる。上記連続する３枚のフレームの例を図４（ａ）に示す。
ステップ２０２では、ステップ２０１で求めた差分画像内に画像の変化を０と１で表した二値化処理を施し、差分画像を求める。ステップ２０３では、二値化処理を施した画像に「画像の処理と認識」（長尾智晴・安居院猛著、昭晃堂出版）６７、６８ページに記載のラベル付け処理を施し、二値画像上での固まり毎に同一ラベルが付けられたラベリング画像を求める。
二値化処理およびラベル付け処理は、差分画像から侵入物体の候補となる対象の位置や大きさなどの特徴量を抽出するために行う前処理である。二値画像とラベリング画像の例を図４（ｂ）、（ｃ）に示す。ステップ２０４では、ステップ２０３で求めたラベリング画像内の各ラベルに対し、画像上の重心位置や大きさなどの特徴量を求める。特徴量を求めることで、侵入物体かどうかを判断する。画像の固まりの特徴を表す例を図４（ｄ）に示す。
ステップ２０５では、記憶している侵入物体の重心位置や大きさと、ステップ２０４で求めた各ラベルの特徴量を比較し、特徴量が類似する場合は、侵入物体が存在すると判断する。ステップ２０６では、ステップ２０５で侵入物体が存在すると判断した場合、ステップ２０７へ、それ以外は侵入物体が存在しないとして、カメラ機能決定手段１０７に伝えて終了する。ステップ２０７では、ステップ２０５で侵入物体の特徴量と類似するラベルの特徴量を侵入物体の特徴量として更新する。ステップ２０８では、侵入物体の特徴量である画像上の重心位置を、予め求めていた回転カメラ１０１、１０２のカメラパラメータを用い、監視空間の３次元座標に変換し、カメラ機能決定手段１０７へ送る。
カメラパラメータの求め方や、回転カメラが撮影する画像上の座標を監視空間上の座標に変換する方法は、「三次元画像計測」（佐藤宏介・井口征士著、昭晃堂出版）９１〜９９ページ記載の方式を用いる。カメラパラメータは、回転カメラが撮影する画像上の座標と対応する監視空間における３次元座標を６点以上測定することで求める。このパラメータを用いて、画像上の任意の点の座標から、３次元空間における座標を計算することができる。画面上の点と３次元空間の座標の関係を図４（ｅ）に示す。
カメラ機能決定部１０７は、侵入物体認識手段１０６で求めた侵入者の監視空間における３次元座標G（Xin，Ｙin，Ｚin）に応じて、回転カメラ１０１、１０２に、侵入物体を検出するための広域撮影機能や侵入物体を拡大表示するための追跡撮影機能を割り当てる。侵入物体の３次元位置からカメラ機能を割り当てる一手順を示した図５を用いて、カメラ機能決定部の動作を説明する。
図５において、ステップ５０１では、侵入物体認識手段１０６から受け取る情報から侵入者が存在するか判断し、侵入者が存在するならステップ５０２へ、それ以外はステップ５０９へ進む。ステップ５０２では、図３に示す侵入者の監視空間における３次元座標G（Xin，Ｙin，Ｚin）のＸ成分の値Xin３０６と、監視空間上の回転カメラＡの撮影範囲３０４と回転カメラＢの撮影範囲３０５の、Ｘ軸上の境界Xth３０７を比べ、XinがXthより小さい場合はステップ５０３へ、それ以外はステップ５０６へ進む。
ステップ５０３では、図６で示す様に、侵入者６０１が、回転カメラＢの撮影範囲６０２内に存在するため、回転カメラＡの機能を、侵入者を拡大して画面上に表示する追跡撮影機能に決定し、ステップ５０４で回転カメラＢの機能を、侵入者を発見する広域撮影機能に決定する。また、ステップ５０５では、侵入者の監視空間における３次元座標G（Xin，Ｙin，Ｚin）をカメラ制御手段１０８に送る。
ステップ５０６では、図７で示す様に、侵入者７０１が、回転カメラＡの撮影範囲７０２内に存在するため、回転カメラＡの機能を、侵入者を発見する広域撮影機能に決定し、ステップ５０７で回転カメラＢの機能を、侵入者を拡大して画面上に表示する追跡撮影機能に決定する。また、ステップ５０８では、侵入者の監視空間における３次元座標G（Xin，Ｙin，Ｚin）をカメラ制御手段１０８に送る。
ステップ５０９では、侵入者が存在しない状態であり、図３に示す監視範囲３０８に侵入する物体を監視するために、回転カメラＡの機能を、侵入者を発見する広域撮影機能に決定し、ステップ５１０で回転カメラＢの機能を、侵入者を発見する広域撮影機能に決定する。
カメラ制御手段１０８は、追跡撮影機能が割り当てられたカメラには、追跡対象を適切な大きさで撮影できるようなカメラ制御信号を生成し、広域撮影機能が割り当てられたカメラには、監視空間全体を撮影できるようなカメラ制御信号を生成し、回転カメラに送信する。制御信号の生成方法は、撮影したい地点の監視空間における３次元座標（Ｘ，Ｙ，Ｚ）を、制御するカメラを原点とした極座標系における座標（α，β，γ）に変換することで求めることができる。
変換した極座標（α，β，γ）において、αがパン角、βがチルト角、γがズーム値になる。これらの値を基に、カメラ内部で保持する回転移動前のパン角、チルト角、ズーム値（α’，β’，γ’）との差分（Δα，Δβ，Δγ）を求め、差分に応じてパン・チルト・ズームを制御する制御信号を生成する。例えば、カメラ機能が追跡撮影機能の場合、カメラ機能決定手段から送られる監視空間の３次元座標G（Xin，Ｙin，Ｚin）を撮影したい地点の座標に置き換えて、制御信号を生成する。
図８は、侵入者が監視空間外から監視空間内を通り、再び監視空間外へ抜けるまでの回転カメラＢの動きを示した図である。２台の回転カメラＡ、Ｂを用いて、互いに死角なく侵入物体を拡大表示する例を、図８を参照しながら説明する。
侵入者８０１が監視空間外に存在する図８（ａ）では、回転カメラＡ、Ｂは、共にお互いの死角を補う形で侵入者を検出する広域撮影を行っている。この状態を、初期広域撮影状態と定義する。侵入者８０１が移動して初期撮影状態における回転カメラＡの撮影範囲８０３内に侵入した図８（ｂ）では、回転カメラＡが侵入者８０１を捉え、その画像を画像処理装置１０３に送る。画像処理装置１０３は、回転カメラＡから入力された画像を処理して侵入者８０１の監視空間上の座標８０５へ回転カメラＢを向けて拡大撮影するように回転カメラＢに制御信号を送る。回転カメラＢは、制御信号を受け、監視者が存在する８０５付近にカメラを回転し画角を調整して撮影することで、監視者を拡大してモニタ上に表示できる。
同様に、侵入者８０１が移動して初期撮影状態における回転カメラＢの撮影範囲８０４内に侵入した図８（ｃ）では、回転カメラＢが侵入者８０１を捉え、その画像を画像処理装置１０３に送り、画像処理装置１０３が回転カメラＡに制御信号を送ることで、回転カメラＡが監視者を拡大撮影できる。侵入者８０１が監視空間外に移動した図８（ｄ）では、侵入物体を検出しないため、画像処理装置１０３が再び侵入物体検出を行うために回転カメラＡ、Ｂに制御信号を送り、初期撮影状態に移動させる。
このように、侵入物体の位置に応じてカメラの機能を切り替えることで、互いに死角を補って侵入物体を追跡拡大表示できる。
なお、本実施の形態では、侵入物体の検出位置に応じてカメラ機能を決定したが、オプティカルフローなどの既存の画像処理技術や、赤外線や磁気センサなどを組み合わせて侵入物体の移動方向を求め、移動方向に応じてカメラ機能を決定し、複数のカメラを連携させてもよい。
例えば、図９で示すように、移動方向と顔の向く方向は同じであると仮定し、侵入者９０１の移動方向９０２から判断して、回転カメラＡの機能を追跡撮影機能に、回転カメラＢの機能を、侵入者付近を広域に撮影する機能に決定することで、侵入者の正面顔を表示することが可能となる。同様に、画像処理や各種センサを組み合わせ、侵入物体の向く方向を認識し、侵入物体の向く方向からカメラ機能を決定し、複数のカメラを連携させてもよい。
また、本実施の形態では、２台のカメラのうち、１台に侵入物体を追跡する機能を割り当て、１台に侵入物体付近を広域に撮影する機能を割り当てる例を示したが、２台以上複数のカメラを設置する場合も、本実施の形態と同様の方法で前記機能を割り当てることが可能であり、必ずしも監視カメラの設置台数は２台である必要はない。
さらに、２台以上複数カメラを設置する場合、前記機能を割り当てるカメラはそれぞれ１台である必要はなく、複数のカメラに侵入物体を同時に追跡する機能を持たせるか、あるいは複数のカメラで侵入物体周辺を同時に広域に監視する機能を持たせることも可能である。複数のカメラに侵入物体を同時に追跡させることで、侵入物体をより詳細に映像に捉えることができるという効果が新たに発生する。また複数のカメラで侵入物体の周辺を同時に広域に撮影することで、侵入物体の位置、移動方向、向きなどをより高精度に算出することができるという効果が新たに発生する。
また、侵入物体の検出位置のみならず、回転カメラの状態に応じてカメラ機能を決定し、連携させても良い。例えば、各回転カメラの撮影可能な範囲が既知であり、ある回転カメラが故障している場合、カメラ機能決定手段が、故障していない回転カメラから最も相応しい回転カメラを選択して機能を割り当てることで、故障している回転カメラの役割をカバーするといったことが可能である。
同様に、侵入物体の検出位置のみならず、監視空間内に存在する障害物など、カメラの視界をさえぎる遮蔽物の情報からカメラ機能を決定し、連携させても良い。例えば、カメラ機能決定手段が、監視空間内に存在する障害物の位置、大きさを把握しておき、前記障害物により侵入物体を撮影できないカメラに、侵入物体を追跡して撮影する機能および監視区域を広域に撮影する機能を割り当てないことで、侵入物体の追跡撮影および監視区域の広域な撮影を確実に行うことが可能である。
また、本実施の形態では、カメラから送られる画像信号を画像処理し、侵入物体の位置を求めたが、赤外線や磁気センサなどを組み合わせて侵入物体の位置を特定しても、カメラを連携させて侵入物体を拡大表示できる。
（実施の形態２）
図１０は、本発明の実施の形態２における監視装置の構成を示すブロック図である。図１０において、図１と同じ構成要素については、同じ符号を用い、説明を省略する。本実施の形態の特徴は、監視撮影およびその制御機能と、画像認識手段としての顔画像認識装置とを組み合せ、認識結果に応じて各回転カメラの機能を割り当てることで、顔画像認識に適したカメラ機能の切り替えを行い、顔画像認識結果を向上させることである。
図１０において、１２０１は画像認識手段としての人物の顔の画像を認識する顔画像認識装置であり、顔画像から特定の顔を選び出す顔画像認識手段１２０２と、顔画像を蓄積した顔画像蓄積手段１２０３により構成される。
侵入物体認識手段１０６は、侵入物体の三次元座標を特定し、更に過去の座標値を用いて移動方向を算出する。また、追跡機能が割り当てられたカメラの画像信号とカメラ固有の番号を、顔画像認識手段１２０２に送信する。顔画像蓄積手段１２０３は、顔画像認識が可能な範囲内で様々な方向から撮影した不審者などの認識対象の顔画像データを予め保持するものである。
顔画像認識手段１２０２は、侵入物体認識手段１０６から画像信号およびカメラ固有の番号を受信し、受信した画像信号を顔画像蓄積手段１２０３が保持する顔画像データと比較するものである。
上記顔画像認識の動作としては、まず、前処理として例えば、Ｃ言語による画像処理技術における遺伝的アルゴリズムを用いて、受信した画像信号から顔領域の抽出を行う。この技術については、例えば安居院猛、長尾智晴 著、「Ｃ言語による画像処理入門」、１８７−２１１頁、昭晃堂、２０００年出版において説明されている。次に、抽出した顔領域内の画像と、顔画像蓄積手段１２０３内の各顔画像データとの相関係数を求め、相関係数の最大値と最大値を持つ顔領域内の画像および顔画像蓄積部１２０３内の顔画像データを記憶する。最後に相関係数の最大値と閾値ＴＨ１とを比較し、閾値以上である場合は、記憶した顔領域内の画像および顔画像蓄積部１２０３内の顔画像データを、モニタ１０４−１、１０４−２、１０４−３上に並べるなどして表示し警告する。また、相関係数の最大値を類似度としてカメラ機能決定手段１０７に送信する。
カメラ機能決定手段１０７は、侵入物体認識手段１０６から送信される侵入物体の三次元座標、移動方向、および顔画像認識手段１２０２から送信される顔画像データの類似度を用いてカメラ１０１−１、１０１−２、１０１−３のカメラ機能切り替えを決定する。次に、図１１、図１２を用いてカメラ機能切り替えについて説明する。
図１１は、侵入者がＸ軸方向と反対方向に侵入する場合の、カメラ１０１−１〜１０１−３の動作概要を示すダイヤグラム図である。図１１において、（ａ）は監視領域に侵入者が存在しない状態を表す。図１１の（ｂ）〜（ｃ）は侵入者が１３０１（ｂ）〜１３０１−（ｃ）の位置に存在する場合の状態を表す。図１１の（ｄ）は認識結果によりカメラ機能が図１１の（ｃ）の状態から切り替わった直後のカメラの状態を表している。例えば、１３０２（ｂ）−１〜１３０２（ｂ）３は、図１１（ｂ）の状態におけるカメラ１０１−１〜１０１−３の撮影範囲を表し、撮影範囲が大きい１３０２（ｂ）−１、１３０２（ｂ）−３は広域撮影機能、撮影範囲が小さく侵入者１３０１の顔を撮影する１３０２（ｂ）−２は追跡撮影機が割り当てられた状態であることを表す。
図１２は、本実施の形態２におけるカメラ機能決定手段の動作を説明するフローチャートである。図１２において、処理が開始されると（ステップＳ１４０１）、カメラ機能決定手段１０７は、侵入物体の三次元座標から侵入者有りかを判定し（ステップＳ１４０２）、侵入者が存在しない図１１（ａ）の場合は、カメラ１０１−１の機能を広域撮影機能に割り当て（ステップＳ１４１３）、次にカメラ１０１−２の機能を広域撮影機能に割り当て（ステップＳ１４１４）、さらにカメラ１０１−３の機能を広域撮影機能に割り当て（ステップＳ１４１５）、その後処理を終了する。他方、侵入者が存在する場合は、カメラ機能決定手段１０７は、カメラ１０１−１を広域撮影機能に割り当て（ステップＳ１４０３）、図１１（ａ）において撮影範囲が他のカメラの撮影範囲と広く重複するため広域撮影機能から追跡撮影機能に切り替えても侵入物体認識手段に与える影響が少ないカメラ１０１−２を追跡撮影機能に割り当て（ステップＳ１４０４）、カメラ１０１−３を広域撮影機能に割り当てる（ステップＳ１４０５）。次に、カメラ機能決定手段１０７は、ステップＳ１４０６でカメラ１０１−２の追跡撮影機能を別のカメラに割り当てるか否かの切替え判定を行う。この場合の切替え判定方法は、顔画像認識手段１２０２が送信する、カメラ１０１−２で撮影した画像信号で計算した顔画像データの類似度が一定時間内に閾値ＴＨ２を超えるかどうかを判定することにより行う。この切替え判定において、類似度が閾値ＴＨ２を越えない場合は、カメラ機能決定手段１０７は、カメラ１０１−２の追跡撮影機能が顔画像認識において十分に動作してないと判断し、追跡撮影を別のカメラに割り当てるためにステップＳ１４０７へ進む。一方、類似度が閾値ＴＨ２を超える場合は、カメラ機能決定手段１０７はカメラ１０１−２の追跡撮影機能が顔画像認識において十分に動作中であると判断しステップＳ１４１２へ進む。
例えば、図１１（ｂ）の１３０１（ｂ）に侵入者が存在する場合は、カメラ１０１−２は侵入者の顔全体を撮影可能であり、顔画像認識結果である類似度も高い値を示す。したがって、この場合はステップＳ１４１２へ進む。他方、図１１（ｃ）に示されるように、１３０１（ｃ）の位置に侵入者が存在する場合は、カメラ１０１−２は真上から侵入者を見下ろすような状態で撮影するため、目、鼻、眉毛、口など顔画像認証する手がかりを撮影できず、類似度が低くなる。したがって、この場合はステップＳ１４０７へ進む。
ステップＳ１４０６の切替え判定処理の結果、追跡撮影機能切替判定が行われる場合、ステップＳ１４０７では、カメラ機能決定部１０７が、侵入物体認識手段１０６から送信される侵入物体の進行方向とＸ軸方向を比べ同じ方向か否かを判断する。そして、侵入物体認識手段１０６から送信される侵入物体の進行方向とＸ軸方向が同じ方向の場合（図１２中で＋）はカメラ１０１−３を追跡撮影機能に割り当てる（ステップＳ１４０８）一方、カメラ１０１−２を広域撮影機に割り当て（ステップＳ１４０９）、その後ステップＳ１４１２へ進む。また、侵入物体認識手段１０６から送信される侵入物体の進行方向とＸ軸方向が異なる場合は、カメラ１０１−１を追跡撮影機能に割り当てる（ステップＳ１４１０）一方、カメラ１０１−２を広域撮影機能割り当て（ステップＳ１４１１）、その後ステップＳ１４１２へ進む。
これは、侵入者の進行方向と、その時の侵入者の顔の向きが同じであると仮定し、進行方向とは反対方向から（つまり侵入者とカメラが対向している状態で）侵入者を撮影できるカメラに追跡撮影機能を割り当てることで、目、口などが映る正面の顔画像を撮影し、顔画像認識率を上げる効果がある。また、追跡撮影機能が割り当てられたカメラが以前撮影した場所は死角となるので、図１１（ｄ）に示すように、カメラ１０１−２に広域撮影機能を割り当て、死角をカバーするようにする。
次に、ステップＳ１４１２では、カメラ制御手段１０８が、カメラ機能決定部１０７から送信される侵入物体の三次元位置座標と、カメラ１０１−１〜１０１−３の割り当てられたカメラ機能を参照し、各カメラの制御信号を生成する。
このように、本実施の形態によれば、カメラ機能決手段１０７が、顔画像認識手段１２０２の認識結果である顔画像データの類似度を受け取ることで、顔画像認識に適したカメラに追跡撮影機能を割り当てることが可能であり、歩行中の侵入者の顔認証を行うウォークスルー認証などに有効である。
なお、本実施の形態では、顔画像認識装置の例で説明したが、前処理である顔領域の認識結果を利用することも可能である。さらに、顔認識だけでなく、人物全体を特定する人物認識手段や、自動車を特定する自動車認識手段など、特定の対象を認識する手段と組み合せ、その認識結果を用いることで、それぞれの認識に適したカメラ機能の切り替えが実現でき、認識性能を向上させるという効果が生まれる。いずれもこの実施例に限定されるものではない。
また、本実施の形態では、図１２のステップＳ１４０１で示すように侵入者を認識した後、カメラ１０１−２に追跡撮影機能を割り当てたが、この実施例に限定されるものではない。例えば、侵入者の位置に近いカメラを選んで真上から見下ろす撮影を行うのでなく、侵入者の位置から遠いカメラを選んで真横から正面の顔を捕らえて撮影するように、侵入者の進行方向の延長上に存在し侵入者の位置から最も離れているカメラに追跡撮影機能を割り当ててもよい。
同様に、侵入者の位置から近いカメラに広域撮影機能を割り当て、侵入者の位置や進行方向認識の精度を高めてもよく、いずれもこの実施例に限定されるものではない。
また、本実施の形態では、カメラ機能決定時に、侵入物体の位置、進行方向、顔画像認識の結果を用いたが、顔画像認識の結果だけを用いても良い。例えば、カメラ機能の割り当て方を、認識結果が最も高くなる状態まで次々と切り替えることで、最も認識結果が高いカメラ機能の切り替え手段を自動的に検出するこが可能である。また、カメラ機能を割り当てる過程を学習することで、別の状態で認識結果を最も高くするカメラ機能の切り替え手段を探索するとき、探索時間を削減することも可能である。
また、侵入物体の位置、進行方向、認識結果だけでなく、別の情報を利用してカメラ機能を割り当てもよい。例えば、床に埋め込んだ位置検出センサや温度センサなどのセンサ情報と組み合わせることで、より侵入者の位置や侵入方向が精度よく認識でき、認識した結果から最も顔画像認識に適したカメラ機能の割り当てを精度よく選択することが可能となる。例えば、温度センサの処理により進行方向と顔の向きが一致しているかを判定することで、顔の向きと進行方向が逆の後ろ向きに歩く不審者でも顔画像認証が可能なカメラ機能割り当て処理を実現できる。
また、本実施例では、カメラ機能を監視対象の位置に応じて、監視対象を拡大撮影する追跡撮影機能と、監視対象の位置を認識するために監視空間を広角で撮影する広域撮影機能の二つの例で説明したが、別の機能を割り当てることも可能であり、例えば、動き検出結果をカメラ制御にフィードバックさせ、常に画面中央に動く物体を一定の大きさで捕らえ続けるといった、単体カメラの移動体追跡撮影機能などを割り当ててもよく、いずれもこの実施例に限定されるものではない。
本発明の第１の実施の形態による監視装置の構成を示すブロック図 本発明の第１の実施の形態における、画像信号から追跡対象の監視空間における３次元座標を特定する処理手順を説明するフローチャート 本発明の第１の実施の形態における監視空間を定義する図 本発明の第１の実施の形態において侵入物体の位置を求めるにあたり、入力画像から監視空間上の３次元座標を求めるまでの中間処理画像を示す図 本発明の第１の実施の形態においてカメラ機能決定部が侵入物体の３次元位置からカメラ機能を割り当てる処理手順を説明するフローチャート 本発明の第１の実施の形態においてカメラ機能決定部によりカメラ機能を決定する事例を説明する図 本発明の第１の実施の形態においてカメラ機能決定部によりカメラ機能を決定する別の事例を説明する図 本発明の第１の実施の形態において、侵入者が監視空間外から監視空間内を通り、再び監視空間外へ抜けるまでの回転カメラＡと回転カメラＢの動きを示す、カメラ機能を説明する図 本発明の第１の実施の形態において、侵入者の正面顔を表示することを可能にする、カメラ機能決定部によりカメラ機能を決定する事例を説明する図 本発明の第２の実施の形態による監視装置の構成を示すブロック図 本発明の第２の実施の形態によるカメラの機能を説明する図 本発明の第２の実施の形態によるカメラの機能を決定する処理動作を説明するフローチャート 従来技術におけるカメラ連携による監視装置の構成を示すブロック図 従来技術における不具合を説明する模式図
符号の説明
１０１〜１０２ 回転カメラ
１０３ 画像処理装置
１０４〜１０５ モニタ
１０６ 侵入物体認識手段
１０７ カメラ機能決定手段
１０８ カメラ制御手段
１００１ 広域撮影用カメラ
１００２ 回転カメラ
１００３ 画像処理装置
１００４〜１００５ モニタ
１００６ 侵入物体追跡手段
１００７ カメラ制御手段
１２０１ 顔画像認識装置
１２０２ 顔画像認識手段
１２０３ 顔画像蓄積部

Claims (5)

  1. 所定の監視空間において、監視対象を監視するための監視装置であって、
    パン・チルト・ズーム機能のうち少なくともいずれかの機能を備えることにより、前記監視対象を拡大して撮影する追跡撮影機能と前記監視空間を広角撮影する広域撮影機能とを有し、前記監視空間における所定の位置に設置され、前記監視空間の画像を撮影した第１の画像信号を出力する複数のカメラと、
    前記複数のカメラから取得された前記第１の画像信号を画像解析することにより、前記監視空間に前記監視対象が存在するか否かを判定し、前記監視対象が存在すると判定された場合に、前記第１の画像信号と、予め３次元座標系が設定された前記監視空間の座標空間情報と前記３次元座標系における前記複数のカメラの設置位置の座標を示すカメラ位置情報とを含む３次元座標情報とに基づいて、前記監視空間における前記監視対象の３次元位置を示す第１の座標情報を算出する侵入物体認識部と、
    複数の監視対象の画像データを予め保持する画像蓄積部と、
    前記画像蓄積部から取得された複数の画像データと、前記侵入物体認識部から取得された前記第１の画像信号との相関係数を算出し、算出された複数の相関係数のうち最大である最大相関係数を記憶する画像認識部と、
    前記侵入物体認識部から取得された前記第１の座標情報と前記カメラ位置情報とに基づいて、前記複数のカメラのうち、前記監視対象と最も近い位置に設置された第１のカメラに前記追跡撮影機能を割当て、一または複数の第２のカメラに前記広域撮影機能を割当てることを決定するカメラ機能決定部と、
    前記カメラ機能決定部の決定に基づいて、前記第１のカメラおよび前記第２のカメラをパン・チルト・ズーム制御するカメラ制御部と、
    を備え、
    前記侵入物体認識部は、前記第１の画像信号より後に前記複数のカメラによって撮影された前記監視対象を含む第２の画像信号に基づいて第２の座標情報を算出し、前記第１の座標情報と前記第２の座標情報とに基づいて前記監視対象の移動方向を算出し、
    前記カメラ機能決定部は、前記複数の画像データと前記第１のカメラにより撮影された第２の画像信号とに基づいて算出された最大相関係数を前記画像認識部から取得し、前記取得された最大相関係数が第１の閾値を越えるか否かを判定し、前記取得された最大相関係数が前記第１の閾値を超えないと判定された場合は、前記第１のカメラから、前記第２のカメラのうち、前記移動方向に設置されたカメラに、前記追跡撮影機能を切替えることを決定する監視装置。
  2. 請求項１に記載の監視装置であって、
    前記カメラ機能決定部は、前記取得された最大相関係数が前記第１の閾値を超えるか否かを判定し、前記取得された最大相関係数が前記第１の閾値を超えないと判定された場合は、前記第１のカメラから、前記第２のカメラのうち、前記複数の画像データと前記第２のカメラにより撮影された第２の画像信号とに基づいて算出された最大相関係数が最大であるカメラに、前記追跡撮影機能を切替えることを決定する監視装置。
  3. 前記カメラ機能決定部は、前記監視空間に存在する障害物の位置及び大きさを3次元座標により設定された情報として予め記憶しており、前記複数のカメラのうち、前記障害物により前記監視対象を撮影できないカメラには、前記追跡撮影機能及び前記広域撮影機能を割当てないことを決定する請求項１に記載の監視装置。
  4. 前記監視対象は侵入者であり、前記画像蓄積部に予め保持された画像データは監視対象である侵入者の顔画像データである場合において、
    モニタ部を更に備え、
    前記画像認識部は、前記複数カメラにより撮影された前記監視空間の画像から前記侵入者の顔画像を検出し、検出された顔画像と前記顔画像データとに基づいて算出された最大相関係数が第２の閾値を超えた場合には、前記モニタ部に前記顔領域画像を表示させる請求項１に記載の監視装置。
  5. 前記監視対象は侵入者であり、前記画像蓄積部に予め保持された画像データは監視対象である侵入者の全身もしくは半身が映る人物画像データである場合において、
    モニタ部を更に備え、
    前記画像認識部は、前記複数カメラにより撮影された前記監視空間の画像から前記侵入者の人物画像を検出し、前記検出された人物画像と前記人物画像データとに基いて算出された最大相関係数が第３の閾値を超えた場合には、前記モニタ部に前記人物画像を表示させる請求項１に記載の監視装置。
JP2004107067A 2003-04-22 2004-03-31 カメラ連携による監視装置 Expired - Lifetime JP4568009B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004107067A JP4568009B2 (ja) 2003-04-22 2004-03-31 カメラ連携による監視装置
US10/828,499 US7336297B2 (en) 2003-04-22 2004-04-21 Camera-linked surveillance system
CNB2004100477799A CN100353749C (zh) 2003-04-22 2004-04-22 联合摄像机构成的监视装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003117459 2003-04-22
JP2004107067A JP4568009B2 (ja) 2003-04-22 2004-03-31 カメラ連携による監視装置

Publications (2)

Publication Number Publication Date
JP2004343718A JP2004343718A (ja) 2004-12-02
JP4568009B2 true JP4568009B2 (ja) 2010-10-27

Family

ID=33543135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004107067A Expired - Lifetime JP4568009B2 (ja) 2003-04-22 2004-03-31 カメラ連携による監視装置

Country Status (3)

Country Link
US (1) US7336297B2 (ja)
JP (1) JP4568009B2 (ja)
CN (1) CN100353749C (ja)

Families Citing this family (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7880766B2 (en) * 2004-02-03 2011-02-01 Panasonic Corporation Detection area adjustment apparatus
EP1738540B1 (en) 2004-03-16 2017-10-04 Icontrol Networks, Inc. Premises management system
US11190578B2 (en) 2008-08-11 2021-11-30 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
US11677577B2 (en) 2004-03-16 2023-06-13 Icontrol Networks, Inc. Premises system management using status signal
US11368327B2 (en) 2008-08-11 2022-06-21 Icontrol Networks, Inc. Integrated cloud system for premises automation
US10062273B2 (en) 2010-09-28 2018-08-28 Icontrol Networks, Inc. Integrated security system with parallel processing architecture
US10237237B2 (en) 2007-06-12 2019-03-19 Icontrol Networks, Inc. Communication protocols in integrated systems
US11244545B2 (en) 2004-03-16 2022-02-08 Icontrol Networks, Inc. Cross-client sensor user interface in an integrated security network
US11916870B2 (en) 2004-03-16 2024-02-27 Icontrol Networks, Inc. Gateway registry methods and systems
US11811845B2 (en) 2004-03-16 2023-11-07 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US10721087B2 (en) 2005-03-16 2020-07-21 Icontrol Networks, Inc. Method for networked touchscreen with integrated interfaces
JP4140591B2 (ja) * 2004-09-13 2008-08-27 ソニー株式会社 撮像システム及び撮像方法
JP4498104B2 (ja) * 2004-11-16 2010-07-07 キヤノン株式会社 監視装置、その制御方法、およびプログラム
JP4345692B2 (ja) * 2005-02-28 2009-10-14 ソニー株式会社 情報処理システム、情報処理装置および方法、並びにプログラム
US11700142B2 (en) 2005-03-16 2023-07-11 Icontrol Networks, Inc. Security network integrating security system and network devices
US20120324566A1 (en) 2005-03-16 2012-12-20 Marc Baum Takeover Processes In Security Network Integrated With Premise Security System
US20110128378A1 (en) 2005-03-16 2011-06-02 Reza Raji Modular Electronic Display Platform
EP1739622B1 (en) * 2005-06-28 2013-08-14 Canon Kabushiki Kaisha Image feature identification with two cameras
DE102005033853B3 (de) * 2005-07-12 2006-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Omnidirektionales Monitoring für nahtlose Videoaufnahmen
JP4792300B2 (ja) * 2005-08-12 2011-10-12 イーストマン コダック カンパニー 複数光学系を有する撮像装置
US8112325B2 (en) * 2005-09-15 2012-02-07 Manheim Investments, Inc. Method and apparatus for automatically capturing multiple images of motor vehicles and other items for sale or auction
JP4241742B2 (ja) * 2006-01-31 2009-03-18 パナソニック株式会社 自動追尾装置及び自動追尾方法
JP4793025B2 (ja) * 2006-02-28 2011-10-12 株式会社日立製作所 分散型画像処理装置
US11706279B2 (en) 2007-01-24 2023-07-18 Icontrol Networks, Inc. Methods and systems for data communication
US7633385B2 (en) 2007-02-28 2009-12-15 Ucontrol, Inc. Method and system for communicating with and controlling an alarm system from a remote server
JP5106903B2 (ja) * 2007-03-30 2012-12-26 株式会社東芝 移動体監視システム
JP4942185B2 (ja) * 2007-04-06 2012-05-30 キヤノン株式会社 撮像装置及び雲台制御方法並びにプログラム及び記憶媒体
US8451986B2 (en) 2007-04-23 2013-05-28 Icontrol Networks, Inc. Method and system for automatically providing alternate network access for telecommunications
WO2008147915A2 (en) * 2007-05-22 2008-12-04 Vidsys, Inc. Intelligent video tours
US11646907B2 (en) 2007-06-12 2023-05-09 Icontrol Networks, Inc. Communication protocols in integrated systems
US11218878B2 (en) 2007-06-12 2022-01-04 Icontrol Networks, Inc. Communication protocols in integrated systems
US20180198788A1 (en) * 2007-06-12 2018-07-12 Icontrol Networks, Inc. Security system integrated with social media platform
US11212192B2 (en) 2007-06-12 2021-12-28 Icontrol Networks, Inc. Communication protocols in integrated systems
JP5141137B2 (ja) * 2007-08-21 2013-02-13 ソニー株式会社 カメラ制御方法、カメラ制御装置、カメラ制御プログラムおよびカメラシステム
US11831462B2 (en) 2007-08-24 2023-11-28 Icontrol Networks, Inc. Controlling data routing in premises management systems
JP2011510521A (ja) * 2007-09-12 2011-03-31 ディジセンサリー・テクノロジーズ・プロプライアタリー・リミテッド チップ上スマート・ネットワーク・カメラ・システム
US8264537B2 (en) * 2007-09-28 2012-09-11 The Mainz Group Llc Photogrammetric networks for positional accuracy
KR101187909B1 (ko) * 2007-10-04 2012-10-05 삼성테크윈 주식회사 감시 카메라 시스템
JP5150234B2 (ja) * 2007-12-14 2013-02-20 株式会社トプコン 測量装置
US20090153660A1 (en) * 2007-12-18 2009-06-18 Chia-Lun Liu Surveillance system and method including active alert function
JP5213105B2 (ja) * 2008-01-17 2013-06-19 株式会社日立製作所 映像ネットワークシステム及び映像データ管理方法
US11916928B2 (en) 2008-01-24 2024-02-27 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US8693738B2 (en) 2008-01-29 2014-04-08 Canon Kabushiki Kaisha Imaging processing system and method and management apparatus
JP5055151B2 (ja) * 2008-01-29 2012-10-24 キヤノン株式会社 撮影処理システム及び方法、管理サーバ及びプログラム
JP2009200621A (ja) * 2008-02-19 2009-09-03 Panasonic Corp 画像送受信機能付き撮像装置
GB2459701B (en) * 2008-05-01 2010-03-31 Pips Technology Ltd A video camera system
US20170185278A1 (en) 2008-08-11 2017-06-29 Icontrol Networks, Inc. Automation system user interface
US11758026B2 (en) 2008-08-11 2023-09-12 Icontrol Networks, Inc. Virtual device systems and methods
US11792036B2 (en) 2008-08-11 2023-10-17 Icontrol Networks, Inc. Mobile premises automation platform
US11729255B2 (en) 2008-08-11 2023-08-15 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
IL197996A (en) * 2009-04-05 2014-07-31 Rafael Advanced Defense Sys A method for locating people
US8638211B2 (en) 2009-04-30 2014-01-28 Icontrol Networks, Inc. Configurable controller and interface for home SMA, phone and multimedia
CN102006402B (zh) * 2009-08-28 2014-02-19 鸿富锦精密工业（深圳）有限公司 摄像装置及其身份识别方法
JP5514506B2 (ja) * 2009-10-21 2014-06-04 株式会社日立国際電気 侵入物監視システムおよび侵入物監視方法
US20110150434A1 (en) * 2009-12-23 2011-06-23 Empire Technology Development Llc A Pan camera controlling method
US20110181716A1 (en) * 2010-01-22 2011-07-28 Crime Point, Incorporated Video surveillance enhancement facilitating real-time proactive decision making
PL2531952T3 (pl) * 2010-02-01 2019-01-31 Vito Nv (Vlaamse Instelling Voor Technologisch Onderzoek Nv) Układ i sposób wykrywania obecności w dwóch wymiarach
JP5397281B2 (ja) * 2010-03-15 2014-01-22 オムロン株式会社 監視カメラ端末
TW201138432A (en) * 2010-04-28 2011-11-01 Hon Hai Prec Ind Co Ltd Monitoring system and monitoring method
CN102238369A (zh) * 2010-04-29 2011-11-09 鸿富锦精密工业（深圳）有限公司 监控系统及方法
JP5715775B2 (ja) * 2010-06-30 2015-05-13 株式会社日立国際電気 画像監視システムおよび画像監視方法
TWI426779B (zh) 2010-08-13 2014-02-11 Inst Information Industry Object color correction method, system and its computer program products
US8836467B1 (en) 2010-09-28 2014-09-16 Icontrol Networks, Inc. Method, system and apparatus for automated reporting of account and sensor zone information to a central station
TWI466545B (zh) * 2010-10-12 2014-12-21 Hon Hai Prec Ind Co Ltd 攝影機裝置及利用其進行影像監控的方法
EP2453386B1 (en) * 2010-11-11 2019-03-06 LG Electronics Inc. Multimedia device, multiple image sensors having different types and method for controlling the same
KR101425170B1 (ko) * 2010-11-16 2014-08-04 한국전자통신연구원 영상 촬영 장치의 객체 추적 장치 및 방법과 보안 관리 시스템의 객체 추적 장치
CN103415876B (zh) * 2010-11-17 2017-03-22 欧姆龙科学技术公司 一种用于监控区域的方法和设备
US11750414B2 (en) 2010-12-16 2023-09-05 Icontrol Networks, Inc. Bidirectional security sensor communication for a premises security system
US9615064B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
US9171075B2 (en) 2010-12-30 2015-10-27 Pelco, Inc. Searching recorded video
WO2012124230A1 (ja) * 2011-03-17 2012-09-20 日本電気株式会社 撮影装置、撮影方法、及びプログラム
US20130083061A1 (en) * 2011-09-30 2013-04-04 GM Global Technology Operations LLC Front- and rear- seat augmented reality vehicle game system to entertain & educate passengers
CN102520611B (zh) * 2011-12-09 2014-02-19 广东威创视讯科技股份有限公司 双机热冗余控制系统及方法
JP5891061B2 (ja) * 2012-02-15 2016-03-22 株式会社日立製作所 映像監視装置、監視システム、監視システム構築方法
EP2648406B1 (en) * 2012-04-04 2018-08-22 Axis AB Method for switching viewing modes in a camera
JP2013219544A (ja) * 2012-04-09 2013-10-24 Ricoh Co Ltd 画像処理装置、画像処理方法、及び画像処理プログラム
WO2013179335A1 (ja) * 2012-05-30 2013-12-05 株式会社 日立製作所 監視カメラ制御装置及び映像監視システム
CN103517052B (zh) * 2012-06-29 2017-09-26 乐金电子(中国)研究开发中心有限公司 一种编码深度信息时的视点合成方法、装置及编码器
EP2690523A3 (en) * 2012-07-23 2016-04-20 Sony Mobile Communications AB Method and system for monitoring state of an object
CN103679687A (zh) 2012-09-18 2014-03-26 杭州海康威视数字技术股份有限公司 一种智能跟踪高速球机的目标跟踪的方法
US9049371B2 (en) 2013-01-17 2015-06-02 Motorola Solutions, Inc. Method and apparatus for operating a camera
JP2014175706A (ja) * 2013-03-06 2014-09-22 Sumitomo Electric Ind Ltd 監視装置、監視方法および撮像部の配置方法
JP6141079B2 (ja) * 2013-04-08 2017-06-07 キヤノン株式会社 画像処理システム、画像処理装置、それらの制御方法、及びプログラム
JP6316023B2 (ja) * 2013-05-17 2018-04-25 キヤノン株式会社 カメラシステム及びカメラ制御装置
US20160156839A1 (en) * 2013-06-28 2016-06-02 Sharp Kabushiki Kaisha Position detection device
US10905094B2 (en) 2013-06-28 2021-02-02 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Systems and methods of video monitoring for vivarium cages
TWI507661B (zh) * 2013-07-03 2015-11-11 Faraday Tech Corp 影像監控系統及其方法
CN103632141A (zh) * 2013-11-28 2014-03-12 小米科技有限责任公司 一种识别人物的方法、装置及终端设备
CN103763519A (zh) * 2013-12-31 2014-04-30 南宁市公安局 一种基于多摄像头的自动监控方法
US11405463B2 (en) 2014-03-03 2022-08-02 Icontrol Networks, Inc. Media content management
JP6631619B2 (ja) 2015-03-27 2020-01-15 日本電気株式会社 映像監視システム及び映像監視方法
TWI594209B (zh) * 2015-06-09 2017-08-01 國立中山大學 利用影片自動推導移動平台運動參數之方法
JP2017103619A (ja) * 2015-12-02 2017-06-08 ソニー株式会社 制御装置、制御方法、およびプログラム
CN106845325B (zh) * 2015-12-04 2019-10-22 杭州海康威视数字技术股份有限公司 一种信息检测方法及装置
JP6724436B2 (ja) * 2016-03-11 2020-07-15 オムロン株式会社 ネットワークシステム、機能設定方法および機能設定プログラム
JP2017168885A (ja) * 2016-03-14 2017-09-21 株式会社 日立産業制御ソリューションズ 撮像制御装置及びカメラ
CN105872477B (zh) 2016-05-27 2018-11-23 北京旷视科技有限公司 视频监控方法和视频监控系统
US10810676B2 (en) * 2016-06-06 2020-10-20 Sensormatic Electronics, LLC Method and apparatus for increasing the density of data surrounding an event
ES2800725T3 (es) 2016-06-22 2021-01-04 Outsight Métodos y sistemas para detectar intrusiones en un volumen controlado
JP6450890B2 (ja) * 2016-07-06 2019-01-09 株式会社オプティム 画像提供システム、画像提供方法、およびプログラム
CN106210631A (zh) * 2016-07-16 2016-12-07 惠州学院 一种不同角度视频目标的快速识别系统及方法
JP6701018B2 (ja) * 2016-07-19 2020-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR102609464B1 (ko) * 2016-10-18 2023-12-05 삼성전자주식회사 영상을 촬영하는 전자 장치
EP3610459A4 (en) 2017-04-14 2020-12-02 Yang Liu SYSTEM AND APPARATUS FOR CO-ALIGNMENT AND CORRELATION BETWEEN MULTIMODAL IMAGING AND ASSOCIATED PROCESS
CN109151295B (zh) * 2017-06-16 2020-04-03 杭州海康威视数字技术股份有限公司 一种目标对象抓拍方法、装置及视频监控设备
JP6956574B2 (ja) * 2017-09-08 2021-11-02 キヤノン株式会社 画像処理装置、プログラムおよび方法
EP3499438A1 (en) * 2017-12-13 2019-06-19 My Virtual Reality Software AS Method and system providing augmented reality for mining operations
GB2569573A (en) * 2017-12-20 2019-06-26 Canon Kk Video surveillance method and system
CN109981974B (zh) * 2017-12-27 2021-05-18 深圳市优必选科技有限公司 一种摄像装置联动方法、联动装置和录像设备
US10909826B1 (en) * 2018-05-01 2021-02-02 Amazon Technologies, Inc. Suppression of video streaming based on trajectory data
CN108924482B (zh) * 2018-06-22 2021-03-23 张小勇 一种视频记录方法和系统
CN108989684A (zh) * 2018-08-23 2018-12-11 阿里巴巴集团控股有限公司 控制拍摄距离的方法和装置
US11012750B2 (en) * 2018-11-14 2021-05-18 Rohde & Schwarz Gmbh & Co. Kg Method for configuring a multiviewer as well as multiviewer
CN110996072A (zh) * 2019-03-11 2020-04-10 南昌工程学院 多源信息融合系统及其工作方法
US11368991B2 (en) 2020-06-16 2022-06-21 At&T Intellectual Property I, L.P. Facilitation of prioritization of accessibility of media
US11233979B2 (en) 2020-06-18 2022-01-25 At&T Intellectual Property I, L.P. Facilitation of collaborative monitoring of an event
US11037443B1 (en) 2020-06-26 2021-06-15 At&T Intellectual Property I, L.P. Facilitation of collaborative vehicle warnings
US11184517B1 (en) 2020-06-26 2021-11-23 At&T Intellectual Property I, L.P. Facilitation of collaborative camera field of view mapping
US11411757B2 (en) 2020-06-26 2022-08-09 At&T Intellectual Property I, L.P. Facilitation of predictive assisted access to content
US11356349B2 (en) 2020-07-17 2022-06-07 At&T Intellectual Property I, L.P. Adaptive resource allocation to facilitate device mobility and management of uncertainty in communications
US11768082B2 (en) 2020-07-20 2023-09-26 At&T Intellectual Property I, L.P. Facilitation of predictive simulation of planned environment
CN112804487B (zh) * 2020-12-30 2022-10-28 济南和普威视光电技术有限公司 一种双路视频目标跟踪方法及系统
CN112887615B (zh) * 2021-01-27 2022-11-11 维沃移动通信有限公司 拍摄的方法及装置
US20220339788A1 (en) * 2021-04-15 2022-10-27 Ford Global Technologies, Llc Method and system for positioning sensors within a workspace
CN113329171A (zh) * 2021-05-11 2021-08-31 浙江大华技术股份有限公司 一种视频处理方法、装置、设备及存储介质
CN116980562A (zh) * 2023-07-11 2023-10-31 武汉盈信通科技有限公司 一种通信设备远程控制系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0869580A (ja) * 1994-08-29 1996-03-12 Mitsubishi Electric Corp 侵入監視装置
JPH09331520A (ja) * 1996-06-13 1997-12-22 Nippon Telegr & Teleph Corp <Ntt> 自動追跡システム
JP2000032435A (ja) * 1998-07-10 2000-01-28 Mega Chips Corp 監視システム
JP2000069455A (ja) * 1998-08-18 2000-03-03 Toshiba Corp 遠隔監視装置
JP2001094975A (ja) * 1999-09-20 2001-04-06 Hitachi Ltd 移動物体追跡方法および装置
JP2001245284A (ja) * 2000-03-01 2001-09-07 Hitachi Kokusai Electric Inc 侵入物体監視方法および侵入物体監視装置
JP2001285849A (ja) * 2000-03-29 2001-10-12 Minolta Co Ltd 撮影システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164827A (en) * 1991-08-22 1992-11-17 Sensormatic Electronics Corporation Surveillance system with master camera control of slave cameras
KR100248955B1 (ko) * 1994-07-18 2000-03-15 유무성 자동감시장치
US5666157A (en) * 1995-01-03 1997-09-09 Arc Incorporated Abnormality detection and surveillance system
JPH1169432A (ja) 1997-08-11 1999-03-09 Nec Corp 移動通信方式
JP2000117708A (ja) 1998-10-13 2000-04-25 Shoei Kagaku Kogyo Kk 木質ボードの製造方法
JP2001302121A (ja) 2000-04-19 2001-10-31 Mitsubishi Electric Corp エレベータ装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0869580A (ja) * 1994-08-29 1996-03-12 Mitsubishi Electric Corp 侵入監視装置
JPH09331520A (ja) * 1996-06-13 1997-12-22 Nippon Telegr & Teleph Corp <Ntt> 自動追跡システム
JP2000032435A (ja) * 1998-07-10 2000-01-28 Mega Chips Corp 監視システム
JP2000069455A (ja) * 1998-08-18 2000-03-03 Toshiba Corp 遠隔監視装置
JP2001094975A (ja) * 1999-09-20 2001-04-06 Hitachi Ltd 移動物体追跡方法および装置
JP2001245284A (ja) * 2000-03-01 2001-09-07 Hitachi Kokusai Electric Inc 侵入物体監視方法および侵入物体監視装置
JP2001285849A (ja) * 2000-03-29 2001-10-12 Minolta Co Ltd 撮影システム

Also Published As

Publication number Publication date
JP2004343718A (ja) 2004-12-02
US20040263625A1 (en) 2004-12-30
CN1543200A (zh) 2004-11-03
CN100353749C (zh) 2007-12-05
US7336297B2 (en) 2008-02-26

Similar Documents

Publication Publication Date Title
JP4568009B2 (ja) カメラ連携による監視装置
JP4451122B2 (ja) ビデオ追跡システム及び方法
US7806604B2 (en) Face detection and tracking in a wide field of view
US6215519B1 (en) Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
US11887318B2 (en) Object tracking
JP3064928B2 (ja) 被写体抽出方式
KR100879623B1 (ko) Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
WO2012023766A2 (ko) 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법
KR101530255B1 (ko) 객체 자동 추적 장치가 구비된 cctv 시스템
JP4459788B2 (ja) 顔特徴照合装置、顔特徴照合方法、及びプログラム
JP4979525B2 (ja) マルチカメラシステム
JP2006229322A (ja) 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム
KR102144394B1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법
JP2010123019A (ja) 動作認識装置及び方法
KR102282470B1 (ko) 카메라 장치 및 이를 이용한 객체 추적 방법
JP2019029935A (ja) 画像処理装置およびその制御方法
JP2020053774A (ja) 撮像装置および画像記録方法
JP4578864B2 (ja) 自動追尾装置及び自動追尾方法
JP3852745B2 (ja) 物体検出方法及び物体検出装置
KR102411612B1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
JP2006211696A (ja) 物体検出方法及び物体検出装置
JP2002027449A (ja) 移動物体識別方法および移動物体識別装置
KR20200010690A (ko) 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법
JPH10188145A (ja) 自動ズーム監視装置
KR20130120914A (ko) 스테레오 카메라를 이용한 팬/틸트/줌 카메라 장치 및 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100720

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100806

R150 Certificate of patent or registration of utility model

Ref document number: 4568009

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3