JP4378636B2 - 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体 - Google Patents

情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP4378636B2
JP4378636B2 JP2005054393A JP2005054393A JP4378636B2 JP 4378636 B2 JP4378636 B2 JP 4378636B2 JP 2005054393 A JP2005054393 A JP 2005054393A JP 2005054393 A JP2005054393 A JP 2005054393A JP 4378636 B2 JP4378636 B2 JP 4378636B2
Authority
JP
Japan
Prior art keywords
photographing
moving object
shooting
moving
shooting mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005054393A
Other languages
English (en)
Other versions
JP2006245648A (ja
Inventor
朝子 田村
秀宇 宮牧
雅晴 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005054393A priority Critical patent/JP4378636B2/ja
Priority to US11/350,828 priority patent/US7684591B2/en
Priority to CNB2006100582525A priority patent/CN100551046C/zh
Publication of JP2006245648A publication Critical patent/JP2006245648A/ja
Application granted granted Critical
Publication of JP4378636B2 publication Critical patent/JP4378636B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • G08B13/19643—Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体に関し、特に、所定の領域を撮影するとともに、その領域内のユーザの所望する動体を容易に追尾して撮影することができるようにする情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体に関する。
近年、例えば、自動預払機（ATM）を設置している銀行、駐車場、家屋などにおいて、セキュリティの確保のために多地点カメラ監視システム（Multi Camera system）が多く設置されている。
このような多地点カメラ監視システムは、複数のビデオカメラと、それらのビデオカメラから取得された画像を記録する記録装置とから構成される。多地点カメラ監視システムにおいては、複数の画像を縮小および合成し、１フレーム画像とする技術が提案されている。(例えば、特許文献１参照)。また、複数のビデオカメラからの画像を集めてビデオテープ等の記録媒体に記録することも提案されている（例えば、特許文献２参照）。
図１は、従来の多地点カメラ監視システムの一例を示す外観図である。
図１の多地点カメラ監視システム１は、４台のカメラ１１−１乃至１１−４から構成される。カメラ１１−１乃至１１−４は、撮影方向が固定の固定カメラまたは撮影方向が可変のパンチルトズームカメラである。カメラ１１−１乃至１１−４は、例えば、駐車場内の直径４０ｍの円状の広範囲な領域２１を監視している。
図２は、図１の多地点カメラ監視システム１の構成の一例を示している。
図２のカメラ１１−１乃至１１−４は撮影を行う。カメラ１１−１乃至１１−４は、それぞれ、記録装置４１に接続され、撮影の結果得られる画像のアナログ信号を、記録装置４１に供給する。記録装置４１は、カメラ１１−１乃至１１−４から供給される画像のアナログ信号に対して、A/D変換などを行い、その結果得られる画像のデジタル信号である画像データを記録する。また、記録装置４１は、表示装置４２に接続され、画像データに対応する画像を、表示装置４２に表示させる。
しかしながら、図２の多地点カメラ監視システム１では、記録装置４１に接続可能なカメラ１１−１乃至１１−４が有限であり、多地点カメラ監視システム１の拡張性に乏しい。
図３は、図１の多地点カメラ監視システム１の構成の他の一例を示している。
図３のカメラ１１−１乃至１１−４は、それぞれネットワーク５１を介して、パーソナルコンピュータ（ＰＣ）５２と接続されている。カメラ１１−１乃至１１−４は、撮影を行い、その結果得られる画像データを、ＩＰ（Internet Protocol）に準拠してネットワーク５１を介してＰＣ５２に送信する。ＰＣ５２は、その画像データを記録したり、画像データに対応する画像を表示させる。
以上のように、多地点カメラ監視システム１では、領域２１を監視するために４台のカメラ１１−１乃至１１−４が必要であり、設置が面倒なうえ、多地点カメラ監視システム１のコストが大きくなる。さらに、高精細な画像を取得する場合、撮影倍率を上げて撮影する必要があるため、より多くのカメラ１１−１乃至１１−４が必要となる。また、高精細な画像を取得するために、カメラ１１−１乃至１１−４の台数を増やさない場合は、すべての領域２１について高精細な画像を取得することが困難であるため、オペレータが常時通常の画像を監視して、所望の領域を指定し、その領域の高精細な画像を取得する必要がある。
そこで、撮影方向を順にシフトさせながら、被写体を撮影し、複数の単位画像から構成されるパノラマ状の全体画像を得ることにより、１台のカメラで広範囲の状況を監視することができる監視カメラがある。
特開平１０−１０８１６３号広報 特開２０００−２４３０６２号広報
しかしながら、このような監視カメラは、1枚の全体画像を生成するために、これを構成する全ての単位画像を取得する必要があり、１枚の全体画像を生成するために多くの時間を要する。従って、撮影範囲内において短時間に生じた僅かな状況変化をもれなく捉えることが困難である。
即ち、移動速度の速い動体（移動被写体）が撮影され、全体画像として取得されてから、次に全体画像が取得されるまでの間に、動体が撮影範囲外に移動してしまうことがある。また、ユーザが、必要に応じて、所望する動体を追尾して撮影したいという要望がある。
本発明は、このような状況に鑑みてなされたものであり、所定の領域を撮影するとともに、その領域内のユーザの所望する動体を容易に追尾して撮影することができるようにするものである。
本発明の情報処理装置は、所定の領域を撮影する領域撮影手段を制御し、所定の領域を撮影させる領域撮影制御手段と、領域撮影手段により撮影された結果得られる領域画像に基づいて、所定の領域内に存在する動体を検知する検知手段と、検知手段により検知された動体を撮影する動体撮影手段を制御し、動体を撮影させる動体撮影制御手段と、検知手段により検知された動体のいずれか１つを指定する指定手段と、撮影モードを、検知手段により検知された動体を順に撮影する巡回撮影モード、または指定手段により指定された動体を撮影する連続追尾モードに設定する設定手段とを備え、設定手段は、指定手段により動体が指定された場合、撮影モードを連続追尾モードに設定することを特徴とする。
この検知手段は、既に検知した動体の消滅も検知し、設定手段は、指定手段により指定される動体の消滅が、検知手段により検知された場合、撮影モードを巡回撮影モードに設定することができる。
本発明の情報処理方法は、所定の領域を撮影する領域撮影手段を制御し、所定の領域を撮影させる領域撮影制御ステップと、領域撮影手段により撮影された結果得られる領域画像に基づいて、所定の領域内に存在する動体を検知する検知ステップと、検知ステップの処理により検知された動体を撮影する動体撮影手段を制御し、動体を撮影させる動体撮影制御ステップと、検知ステップの処理により検知された動体のいずれか１つを指定する指定ステップと、撮影モードを、検知ステップの処理により検知された動体を順に撮影する巡回撮影モード、または指定ステップの処理により指定された動体を撮影する連続追尾モードに設定する設定ステップとを含み、設定ステップの処理は、指定ステップの処理により動体が指定された場合、撮影モードを連続追尾モードに設定することを特徴とする。
本発明のプログラムは、所定の領域を撮影する領域撮影手段を制御し、所定の領域を撮影させる領域撮影制御ステップと、領域撮影手段により撮影された結果得られる領域画像に基づいて、所定の領域内に存在する動体を検知する検知ステップと、検知ステップの処理により検知された動体を撮影する動体撮影手段を制御し、動体を撮影させる動体撮影制御ステップと、検知ステップの処理により検知された動体のいずれか１つを指定する指定ステップと、撮影モードを、検知ステップの処理により検知された動体を順に撮影する巡回撮影モード、または指定ステップの処理により指定された動体を撮影する連続追尾モードに設定する設定ステップとを含み、設定ステップの処理は、指定ステップの処理により動体が指定された場合、撮影モードを連続追尾モードに設定することを特徴とする。
本発明の記録媒体に記録されるプログラムは、所定の領域を撮影する領域撮影手段を制御し、所定の領域を撮影させる領域撮影制御ステップと、領域撮影手段により撮影された結果得られる領域画像に基づいて、所定の領域内に存在する動体を検知する検知ステップと、検知ステップの処理により検知された動体を撮影する動体撮影手段を制御し、動体を撮影させる動体撮影制御ステップと、検知ステップの処理により検知された動体のいずれか１つを指定する指定ステップと、撮影モードを、検知ステップの処理により検知された動体を順に撮影する巡回撮影モード、または指定ステップの処理により指定された動体を撮影する連続追尾モードに設定する設定ステップとを含み、設定ステップの処理は、指定ステップの処理により動体が指定された場合、撮影モードを連続追尾モードに設定することを特徴とする。
本発明においては、所定の領域が撮影され、その結果得られる領域画像に基づいて、所定の領域内に存在する動体が検知され、その検知した動体が撮影される。また、検知された動体のいずれか１つが指定された場合、撮影モードが、検知された動体を順に撮影する巡回撮影モード、または、指定された動体を撮影する連続追尾モードのうち、連続追尾モードに設定される。
本発明によれば、所定の領域を撮影するとともに、その領域内のユーザの所望する動体を容易に追尾して撮影することができる。
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
請求項１に記載の情報処理装置は、
被写体の撮影を制御する情報処理装置（例えば、図５のクライアント１３２）において、
所定の領域を撮影する領域撮影手段(例えば、図５のセンサカメラ１２１)を制御し、前記所定の領域を撮影させる領域撮影制御手段(例えば、図７のセンサ画像取得モジュール２２１)と、
前記領域撮影手段により撮影された結果得られる領域画像に基づいて、前記所定の領域内に存在する動体を検知する検知手段（例えば、図７の動体検知モジュール２２２）と、
前記検知手段により検知された動体を撮影する動体撮影手段(例えば、図５のズームカメラ１２２)を制御し、前記動体を撮影させる動体撮影制御手段(例えば、図７の追跡対象画像取得モジュール２２３)と、
前記検知手段により検知された動体のいずれか１つを指定する指定手段(例えば、図７の追尾対象指定モジュール２２７)と、
撮影モードを、前記検知手段により検知された動体を順に撮影する巡回撮影モード、または前記指定手段により指定された動体を撮影する連続追尾モードに設定する設定手段(例えば、図７の撮影モード切替モジュール２２８)と
を備え、
前記設定手段は、前記指定手段により動体が指定された場合、前記撮影モードを前記連続追尾モードに設定する（例えば、図１２のステップＳ１０の処理）
ことを特徴とする。
請求項２に記載の情報処理装置は、
前記検知手段は、既に検知した動体の消滅も検知し(例えば、図１４のステップＳ５２)、
前記設定手段は、前記指定手段により指定される動体の消滅が、前記検知手段により検知された場合、前記撮影モードを前記巡回撮影モードに設定する（例えば、図１２のステップＳ３４の処理）
ことを特徴とする。
請求項３に記載の情報処理方法は、
被写体の撮影を制御する情報処理装置(例えば、図５のクライアント１３２)の情報処理方法において、
所定の領域を撮影する領域撮影手段（例えば、図５のセンサカメラ１２１）を制御し、前記所定の領域を撮影させる領域撮影制御ステップ（例えば、図１４のステップＳ５１）と、
前記領域撮影手段により撮影された結果得られる領域画像に基づいて、前記所定の領域内に存在する動体を検知する検知ステップ（例えば、図１４のステップＳ５２）と、
前記検知ステップの処理により検知された動体を撮影する動体撮影手段（例えば、図５のズームカメラ１２２）を制御し、前記動体を撮影させる動体撮影制御ステップ（例えば、図１４のステップＳ６０）と、
前記検知ステップの処理により検知された動体のいずれか１つを指定する指定ステップ(例えば、図１２のステップＳ９)と、
撮影モードを、前記検知ステップの処理により検知された動体を順に撮影する巡回撮影モード、または前記指定ステップの処理により指定された動体を撮影する連続追尾モードに設定する設定ステップ(例えば、図１２のステップＳ１０)と
を含み、
前記設定ステップの処理は、前記指定ステップの処理により動体が指定された場合、前記撮影モードを前記連続追尾モードに設定する
ことを特徴とする。
請求項４に記載のプログラムおよび請求項５に記載の記録媒体に記録されるプログラムは、
被写体の撮影を制御する処理を、コンピュータに行わせるプログラムにおいて、
所定の領域を撮影する領域撮影手段(例えば、図５のセンサカメラ１２１)を制御し、前記所定の領域を撮影させる領域撮影制御ステップ（例えば、図１４のステップＳ５１）と、
前記領域撮影手段により撮影された結果得られる領域画像に基づいて、前記所定の領域内に存在する動体を検知する検知ステップ（例えば、図１４のステップＳ５２）と、
前記検知ステップの処理により検知された動体を撮影する動体撮影手段（例えば、図５のズームカメラ１２２）を制御し、前記動体を撮影させる動体撮影制御ステップ（例えば、図１４のステップＳ６０）と、
前記検知ステップの処理により検知された動体のいずれか１つを指定する指定ステップ(例えば、図１２のステップＳ９)と、
撮影モードを、前記検知ステップの処理により検知された動体を順に撮影する巡回撮影モード、または前記指定ステップの処理により指定された動体を撮影する連続追尾モードに設定する設定ステップ(例えば、図１２のステップＳ１０)と
を含み、
前記設定ステップの処理は、前記指定ステップの処理により動体が指定された場合、前記撮影モードを前記連続追尾モードに設定する
ことを特徴とする。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
図４は、本発明を適用した監視システム１０１の第一実施の形態の概観構成例を示している。
図４の監視システム１０１は、カメラユニット１１１から構成される。カメラユニット１１１は、広範囲な領域を撮影するセンサカメラ１２１（後述する図５）と、所定の動体をズーム(拡大)して撮影するズームカメラ１２２とから構成される。センサカメラ１２１が広範囲な領域を撮影し、その結果得られるセンサ画像１２１（後述する図５）から検知される動体を、ズームカメラ１２２がズームして撮影する。これにより、監視システム１０１では、例えば、駐車場内の直径４０ｍの円状の広範囲な領域２１を監視することができる。
その結果、図１に示した多地点カメラ監視システム１に比べて、カメラの台数が少なくて済み、設置が容易であり、コストも削減することができる。
図５は、監視システム１０１の構成例を示している。
図５の監視システム１０１は、センサカメラ１２１とズームカメラ１２２からなるカメラユニット１１１、ネットワーク１３１、およびクライアント１３２から構成され、センサカメラ１２１により取得されるセンサ画像１５１と、ズームカメラ１２２による撮影の結果得られるズーム画像１５２を、ネットワーク１３１を介してクライアント１３２に記録したり、その記録したセンサ画像１５１とズーム画像１５２を、クライアント１３２により再生する。
カメラユニット１１１のセンサカメラ１２１は、パンチルト部１２１Ａとカメラ部１２１Ｂとが一体的に構成されている。パンチルト部１２１Ａは、例えば、パン(水平方向
）とチルト（垂直方向）の２軸について撮影方向を自在に変更するための回転台として構成される。カメラ部１２１Ｂは、パンチルト部１２１Ａを構成する回転台上に配設され、クライアント１３２の制御にしたがって、パンチルト部１２１Ａを制御し、撮影方向の水平方向または垂直方向を調整しつつ、撮影画角を変更することにより、撮影倍率を拡大または縮小して広範囲の領域（の被写体）を動画像として撮影する。具体的には、例えば、カメラ部１２１Ｂは、撮影方向を順にシフトさせながら、被写体を撮影することにより、複数の単位画像を取得し、その複数の単位画像から構成されるパノラマ状の画像をセンサ画像１５１とする。
カメラ部１２１Ｂは、撮影の結果得られるセンサ画像１５１をネットワーク１３１を介してクライアント１３２に供給する。図５では、センサカメラ１２１は、動体１６１と１６２を含む広範囲な領域を撮影し、動体１６１と１６２が含まれるセンサ画像１５１を取得している。
ズームカメラ１２２は、センサカメラ１２１と同様に、パンチルト部１２２Ａとカメラ部１２２Ｂとが一体的に構成されている。パンチルト部１２２Ａは、パンチルト部１２１Ａと同様に、例えば、パンとチルトの２軸について撮影方向を自在に変更するための回転台として構成される。カメラ部１２２Ｂは、パンチルト部１２１Ａを構成する回転台上に配設され、クライアント１３２の制御にしたがって、パンチルト部１２２Ａを制御し、撮影方向の水平方向または垂直方向を調整しつつ、撮影画角を変更することにより、撮影倍率を拡大または縮小して、所定の動体を動画像としてズーム撮影する。
クライアント１３２は、センサカメラ１２１から供給されるセンサ画像１５１に含まれる動体１６１と１６２を検知し、動体１６１または１６２を囲む所定の領域（例えば、四角形の領域）を、それぞれ動体枠１７１または１７２として決定する。
クライアント１３２は、例えば、動体枠１７２の４つの頂点Ａ乃至Ｄのセンサ画像１５１上のＸ軸（図中水平方向の軸）とＹ軸（図中垂直方向の軸）における座標をズームカメラ１２２に供給する。ズームカメラ１２２は、その座標に基づいて、動体１６２（の動体枠１７２）をズーム撮影し、ズーム画像１５２を取得する。なお、以下では、センサ画像１５１とズーム画像１５２は、フレーム単位で取得されるものとする。ズームカメラ１２２は、ズーム画像１５２をネットワーク１３１を介してクライアント１３２に供給する。
ネットワーク１３１は、例えば、クライアント１３２と電話回線を介して接続されるインターネット網や、TA(Terminal Adapter)やモデムと接続されるISDN(Integrated Services Digital Network)/B(broadband)−ISDN、LAN(Local Area Network)等であり、データの双方向通信を可能とした通信網である。
クライアント１３２は、例えば、パーソナルコンピュータなどからなり、ネットワーク１３１を介して、センサカメラ１２１とズームカメラ１２２を制御する。また、クライアント１３２は、センサカメラ１２１からのセンサ画像１５１とズームカメラ１２２からのズーム画像１５２を記録したり、記録したセンサ画像１５１やズーム画像１５２を再生して表示させる。
図６は、図５のクライアント１３２の構成例を示すブロック図である。
図５に示されるように、CPU(Central Processing Unit)２０１は、バス２０４を介して、ROM（Read Only Memory）２０２およびRAM（Random Access Memory）２０３に接続されている。なお、CPU２０１、ROM２０２、およびRAM２０３は、マイコンなどにより構成される。バス２０４にはまた、入出力インタフェース２０５も接続されている。
CPU２０１は、ROM２０２に記憶されているプログラム、またはRAM２０３に記憶されているプログラムにしたがって、各種の処理を実行する。ROM２０２は、各種のプログラムなどを記憶している。RAM２０３には、通信部２０９を介して取得したプログラムが記憶される。また、RAM２０３には、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
入出力インタフェース２０５には、キーボードや、マウス、マイク等で構成される入力部２０６、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０７、ハードディスクなどにより構成される記憶部２０８、ＴＡ、モデムなどより構成される通信部２０９が接続されている。通信部２０９は、図５のネットワーク１３１に接続されており、ネットワーク１３１を介して、センサカメラ１２１およびズームカメラ１２２と通信を行う。
入出力インタフェース２０５にはまた、必要に応じて、ドライブ２１０が適宜装着され、ドライブ２１０に装着されたリムーバブルメディア２２１からプログラムが読み出されて記憶部２０８にインストールされる。CPU２０１は、記憶部２０８にインストールされたプログラムを、例えばRAM２０３にロードして実行する。
図７は、図５のクライアント１３２の機能的構成例を示すブロック図である。
なお、図７のクライアント１３２のセンサ画像取得モジュール２２１、動体検知モジュール２２２、追跡対象画像取得モジュール２２３、画角計算モジュール２２４、追尾対象指定モジュール２２７、撮影モード切替モジュール２２８、および再生モジュール２２９は、例えば、図６のCPU２０１に対応する。また、追跡対象情報管理ＤＢ２２５と表示情報ＤＢ２２６は、例えば、図６の記憶部２０８に対応する。
センサ画像取得モジュール２２１には、ユーザの操作に応じて、入力部２０６からセンサ画像１５１の取得の指令が供給され、その指令に応じて、センサカメラ１２１を制御する。センサカメラ１２１は、センサ画像取得モジュール２２１の制御により、広範囲な領域２１を撮影し、その結果得られるセンサ画像１５１をセンサ画像取得モジュール２２１に供給する。また、センサ画像取得モジュール２２１は、センサカメラ１２１からのセンサ画像１５１を動体検知モジュール２２２に供給する。
センサ画像取得モジュール２２１は、動体検知モジュール２２２から供給される動体枠の頂点Ａ乃至Ｄの座標である動体の発生位置に基づいて、表示情報を作成する。センサ画像取得モジュール２２１は、表示情報ＤＢ２２６に所定のファイルを作成し、そのファイルに表示情報とセンサ画像１５１を登録する。
動体検知モジュール２２２は、センサ画像取得モジュール２２１から供給されるセンサ画像１５１に基づいて、そのセンサ画像１５１における撮影領域内に存在する動体の発生を検知し、その発生を検知した動体に固有のＩＤ（以下、動体ＩＤという）を付与する。また、動体検知モジュール２２２は、発生を検知した動体の動体枠を決定し、その動体枠の頂点Ａ乃至Ｄの座標を、動体の発生位置とする。動体検知モジュール２２２は、動体ＩＤと発生位置をセンサ画像取得モジュール２２１と画角計算モジュール２２４に供給する。
追跡対象画像取得モジュール２２３は、追跡対象情報管理ＤＢ２２５から、追跡対象に対応する撮影画角と動体ＩＤから構成される追跡対象情報を取得する。追跡対象画像取得モジュール２２３は、その追跡対象情報の撮影画角に基づいて、ズームカメラ１２２を制御し、動体を動画像としてズーム撮影（追跡撮影）する。追跡対処画像取得モジュール２２３は、ズーム撮影の結果得られるズーム画像１５２を、追跡対象情報に含まれる追跡対象である動体の動体ＩＤと対応付けて登録する。
画角計算モジュール２２４は、追尾対象指定モジュール２２７から供給される追尾対象の動体の動体ＩＤ、撮影モード切替モジュール２２８から供給される撮影モード、および動体検知モジュール２２２からの動体ＩＤと発生位置に基づいて、追跡対象とする動体を決定し、その動体を含む領域を撮影するための撮影画角を決定する。画角計算モジュール２２４は、追跡対象に対応する撮影画角と動体ＩＤを、追跡対象情報として追跡対象情報管理ＤＢ２２５に供給する。
追跡対象情報管理ＤＢ２２５は、動体検知モジュール２２２からの追跡対象情報を記憶する。表示情報ＤＢ２２６は、センサ画像取得モジュール２２１からの表示情報とセンサ画像１５１を記憶する。
追尾対象指定モジュール２２７は、ユーザの操作に応じて入力部２０６から供給される、追尾対象を指定する追尾対象情報に基づいて、表示情報ＤＢ２２６から追尾対象とする動体の動体ＩＤを取得する。追尾対象指定モジュール２２７は、その動体ＩＤを画角計算モジュール２２４に供給する。また、追尾対象指定モジュール２２７は、表示情報ＤＢ２２６に登録されている表示情報に基づいて、追尾対象の動体がセンサ画像１５１上からの消滅を検知し、その検知結果を表す消滅検知情報を、撮影モード切替モジュール２２８に供給する。
撮影モード切替モジュール２２８は、ユーザの操作に応じて入力２０６から供給される、撮影モードの切替を指示する切替情報、または追尾対象指定モジュール２２７からの追尾対象情報に基づいて、撮影モードを、動体を追尾し、連続してズーム撮影する連続追尾モード、または検知した動体を順にズーム撮影する巡回撮影モードに設定する。撮影モード切替モジュール２２８は、設定した撮影モードを画角計算モジュール２２４に供給する。
再生モジュール２２９は、ユーザからの操作に応じて入力部２０６から供給されるセンサ画像１５１の取得の指令に応じて、表示情報ＤＢ２２６からセンサ画像１５１を再生するとともに、ズーム画像１５２を再生し、それぞれ出力部２０７に表示させる。また、再生モジュール２２９は、表示情報ＤＢ２２６から表示情報を読み出し、その表示情報の発生位置に基づいて、センサ画像１５１上に動体枠を表示させる。
次に、図８を参照して、図６の出力部２０７に表示される画面の例を示す。
ユーザがセンサ画像１５１の取得を指令する場合、出力部２０７には、図８に示す画面２５０が表示される。
図８の画面２５０は、センサ画像１５１を表示するセンサ画像表示部２５１、センサ画像１５１とズーム画像１５２の記録(録画)に関する操作を指令するためのGUI（Graphical User Interface）を表示する操作部２５２、およびズーム画像１５２の動画像を表示するズーム画像表示部２５３、撮影モード選択部２５４などから構成される。
再生モジュール２２９は、いま取得しているセンサ画像をセンサ画像表示部２５１に表示させ、また、いま取得しているズーム画像１５２の動画像をズーム画像表示部２５３に表示させる。
なお、図１４では、撮影モードが巡回撮影モードに設定されている。この場合、撮影モード選択部２５４には、図９に示すように、撮影モードが巡回撮影モードであることを表す巡回撮影ボタン２６１が、例えば通常の表示とは異なる色で強調して表示されている。
一方、撮影モードが連続追尾モードに設定されている場合、撮影モード選択部２５４には、図１０に示すように、巡回撮影ボタン２６１が、例えば図８とは異なる色で通常表示される。さらに、撮影モード選択部２５４には、撮影モードが連続追尾モードであることを表す連続追尾ボタン２６２が、強調表示される。
次に、図１１を参照して、巡回撮影モードと連続追尾モードの詳細について説明する。
図１１に示すように、撮影モードが巡回撮影モードである場合、ズームカメラ１２２は、動体検知モジュール２２２で検知された動体すべてを順に撮影対象として、ズーム撮影を行う。また、撮影モードが巡回撮影モードに設定されるとき（巡回撮影モードの契機）は、撮影開始時または追尾対象である動体がセンサ画像１５１上から消滅したとき、または後述する連続追尾モードの終了の契機である巡回撮影ボタン２６１がクリックされたときである。
撮影モードが巡回撮影モードである場合、撮影モード選択部２５４には、巡回撮影ボタン２６１が強調して表示され、連続追尾ボタン２６２は表示されない（非表示になる）。また、撮影モードが巡回撮影モードから連続追尾モードに変更されるとき（巡回撮影モードの終了の契機）は、ユーザが入力部２０６を操作してセンサ画像１５１上の動体枠を指定（クリック）したときである。
一方、撮影モードが連続追尾モードである場合、ズームカメラ１２２は、ユーザが入力部２０６を操作して追尾対象として指定したセンサ画像１５１上の動体枠に対応する１つの動体を撮影対象として、ズーム撮影を行う。また、撮影モードが連続追尾モードに設定されるとき（連続追尾モードの契機）は、巡回撮影モードの終了の契機、即ちユーザが入力部２０６を操作してセンサ画像１５１上の動体枠を指定（クリック）したときである。
撮影モードが連続追尾モードである場合、撮影モード選択部２５４には、巡回撮影ボタン２６１が通常表示され、連続追尾ボタン２６２が強調表示されるか、あるいは、巡回撮影ボタン２６１が表示されず（非表示になり）、連続追尾ボタン２６２が強調表示される。また、撮影モードが連続追尾モードから巡回撮影モードに変更されるとき（連続追尾モードの終了の契機）は、追尾対象である動体がセンサ画像１５１上から消滅したとき、またはユーザが入力部２０６を操作して巡回撮影ボタン２６１を指定（クリック）したときである。即ち、巡回撮影ボタン２６１は、撮影モードが巡回撮影モードであることを表す機能と撮影モードを巡回撮影モードに変更する機能の両方を有する。
次に、図１２を参照して、撮影モードが巡回撮影モードである場合のクライアント１３２による処理である巡回撮影処理を説明する。この巡回撮影処理は、例えば、撮影モードが巡回撮影モードに設定されたとき、開始される。
ステップＳ１において、再生モジュール２２９は、図８や図９に示すように、撮影モード選択部２５４の巡回撮影ボタン２６１を強調表示させ、ステップＳ２に進む。ステップＳ２において、再生モジュール２２９は、連続追尾ボタン２６２を非表示にする。即ち、再生モジュール２０９は、撮影モード選択部２５４における連続追尾ボタン２６２の表示を停止する。
ステップＳ２の処理後は、ステップＳ３に進み、再生モジュール２２９は、いまセンサ画像取得モジュール２２１により取得され、表示情報ＤＢ２２６に登録されたセンサ画像１５１を読み出し、センサ画像表示部２５１に表示させ、ステップＳ４に進む。
ステップＳ４において、再生モジュール２２９は、いま追跡対象画像取得モジュール２２３により取得され、表示情報ＤＢ２２６に登録されたズーム画像１５２を読み出し、ズーム画像表示部２５３に表示させ、ステップＳ５に進む。
ステップＳ５において、再生モジュール２２９は、表示情報ＤＢ２２６から、ステップＳ３で表示されるセンサ画像２５１に対応する表示情報の発生位置を取得し、ステップＳ６に進む。
ステップＳ６において、再生モジュール２２９は、ステップＳ５で取得した発生位置に基づいて、センサ画像２５１上に動体枠１７２（図５）を表示させる。ここで、ユーザは、画面２５０のセンサ画像表示部２５１に表示されるセンサ画像１５１上に、追尾対象とする所望の動体がある場合、入力部２０６を操作し、所望の動体の動体枠１７２内の位置を指定することにより、追尾対象とする動体を指定する。
ステップＳ６の処理後は、ステップＳ７に進み、追尾対象指定モジュール２２７は、入力部２０６から供給されるユーザが指定した位置を表す指定位置情報に応じて、ユーザによりセンサ画像１５１上の位置が指定されたかどうかを判定する。
ステップＳ７において、センサ画像１５１上の位置が指定されていないと判定された場合、ステップＳ３に戻り、上述した処理を繰り返す。一方、ステップＳ７において、センサ画像１５１上の位置が指定されたと判定された場合、ステップＳ８に進み、追尾対象指定モジュール２２７は、ユーザにより指定された位置が動体枠１７２の内側であるかどうかを判定する。
ステップＳ８において、ユーザにより指定された位置が動体枠１７２の内側ではないと判定された場合、ステップＳ３に戻り、上述した処理を繰り返す。また、ステップＳ８において、ユーザにより指定された位置が動体枠１７２の内側であると判定された場合、ステップＳ９に進み、追尾対象指定モジュール２２７は、表示情報ＤＢ２２６に登録されている表示情報から、その動体枠１７２に対応する動体ＩＤを取得し、画角計算モジュール２２４と再生モジュール２２９に供給する。
ステップＳ９の処理後は、ステップＳ１０に進み、追跡対象指定モジュール２２７は、
撮影モード切替モジュール２２８に、撮影モードの切替を指示し、撮影モード切替モジュール２２８は、撮影モードを連続追尾モードに設定し、撮影モードの連続追尾モードへの切替を表す撮影モード情報を画角計算モジュール２２４に供給して、処理を終了する。
以上のように、監視システム１０１では、ユーザが所望の動体の動体枠を指定するという簡便かつ直感的な操作を行うことにより、その動体を追尾し、連続してズーム撮影することができる。
次に、図１３を参照して、撮影モードが連続追尾モードである場合のクライアント１３２による処理である連続追尾処理を説明する。この連続追尾処理は、例えば、図１２のステップＳ１０で撮影モードが連続追尾モードに設定されたとき、開始される。
ステップＳ２１において、再生モジュール２２９は、図１０に示すように、撮影モード選択部２５４の巡回撮影ボタン２６１を通常表示させ、ステップＳ２２に進む。ステップＳ２２において、再生モジュール２２９は、連続追尾ボタン２６２を強調表示させ、ステップＳ２３に進む。
ステップＳ２３乃至Ｓ２６の処理は、図１２のステップＳ３乃至Ｓ６と同様の処理であるので、説明は省略する。
ステップＳ２６の処理後は、ステップＳ２７に進み、再生モジュール２２９は、ステップＳ９で追尾対象指定モジュール２２７から供給される動体ＩＤに基づいて、追尾対象がセンサ画像１５１上に存在するかどうかを判定する。具体的には、再生モジュール２２９は、再生情報ＤＢ２２６に登録されているステップＳ２３で表示されるセンサ画像１５１に対応する表示情報に、追尾対象指定モジュール２２７から供給される動体ＩＤが含まれているかどうかを判定する。
ステップＳ２７において、追尾対象がセンサ画像１５１上に存在しないと判定された場合、即ちセンサ画像１５１に対応する表示情報に、追尾対象指定モジュール２２７から供給される追尾対象の動体ＩＤが含まれていないと判定された場合、再生モジュール２２９は、追尾対象の消滅を表す消滅検知情報を追尾対象指定モジュール２２７に供給して、ステップＳ３４に進む。
ステップＳ３４において、追尾対象指定モジュール２２７は、撮影モード切替モジュール２２８に撮影モードの切替を指令し、撮影モード切替モジュール２２８は、撮影モードを巡回撮影モードに設定する。撮影モード切替モジュール２２２は、撮影モードの巡回撮影モードへの切替を表す撮影モード情報を画角計算モジュール２２４に供給して、処理を終了する。
一方、ステップＳ２７において、追尾対象がセンサ画像１５１上に存在すると判定された場合、即ちセンサ画像１５１に対応する表示情報に、追尾対象指定モジュール２２７から供給される追尾対象の動体ＩＤが含まれていると判定された場合、ステップＳ２８に進み、再生モジュール２２９は、その表示情報に含まれる発生位置に基づいて、センサ画像１５１上に追尾対象の動体枠１７２を、例えば通常の表示と異なる色で、強調表示させる。これにより、ユーザは、いま表示されているセンサ画像１５１上に発生した動体のうち、どの動体を追尾対象としているかを容易に認識することができる。
なお、追尾対象の動体枠１７２を強調表示させるのではなく、その動体枠１７２内に表示されるカーソルの色や形を、他の動体枠１７２内に表示されるカーソルの色や形と異なるものにしてもよい。
ステップＳ２８の処理後は、ステップＳ２９に進み、撮影モード切替モジュール２２８は、ユーザにより巡回撮影ボタン２６１が操作されたかどうか、即ち入力部２０６から、ユーザにより巡回撮影ボタン２６１が操作されたことを表す情報が供給されたかどうかを判定する。
ステップＳ２９において、ユーザにより巡回撮影ボタン２６１が操作されたと判定された場合、ステップＳ３４に進み、上述したように、撮影モード切替モジュール２２８は、撮影モード切替モジュール２２８は、撮影モードを巡回撮影モードに設定し、撮影モードの巡回撮影モードへの切替を表す撮影モード情報を画角計算モジュール２２４に供給して、処理を終了する。
また、ステップＳ２９において、ユーザにより巡回撮影ボタン２６１が操作されていないと判定された場合、処理はステップＳ３０に進む。ステップＳ３０乃至Ｓ３２の処理は、図１２のステップＳ７乃至Ｓ９の処理と同様であるので、説明は省略する。
ステップＳ３２の処理後は、ステップＳ３３に進み、追尾対象指定モジュール２２７は、追尾対象を変更する。具体的には、追尾対象指定モジュール２２７は、表示情報ＤＢ２２６に登録されている表示情報から、ユーザにより指定された位置を含む動体枠１７２に対応する動体ＩＤを取得し、その動体ＩＤに対応する動体を、新たな追尾対象とする。そして、追尾対象指定モジュール２２７は、表示情報から取得した動体ＩＤを、新たな追尾対象である動体の動体ＩＤとして、画角計算モジュール２２４に供給し、ステップＳ２３に戻る。
次に、図１４を参照して、クライアント１３２によるセンサ画像１５１とズーム画像１５２を取得する画像取得処理を説明する。この画像取得処理は、例えば、ユーザが入力部２０６を操作し、センサ画像１５１の取得を要求したとき、開始される。
ステップＳ５１において、センサ画像取得モジュール２２１は、センサカメラ１２１を制御して、広範囲な領域の撮影を行い、その結果得られるセンサ画像１５２を取得し、動体検知モジュール２２２に供給する。
ステップＳ５１の処理後は、ステップＳ５２に進み、動体検知モジュール２２２は、センサ画像取得モジュール２２１からのセンサ画像１５１から、動体を検知したかどうかを判定する。具体的には、動体検知モジュール２２２は、いまセンサ画像取得モジュール２２１から供給されたセンサ画像１５１と、その直前に取得されたセンサ画像１５１との輝度レベルの差分値を求める。そして、動体検知モジュール２２２は、その輝度レベルの差分値が、予め製造元により製造時に設定された閾値を越えている場合、その輝度レベルに対応するセンサ画像１５１を構成する画素の集まりを動体として検知し、動体を検知したと判定する。
なお、動体検知モジュール２２２は、いままで検知されていた動体を検知しない場合、その動体のセンサ画像１５１上からの消滅を検知したことになる。
ステップＳ５２において、動体を検知していないと判定された場合、ステップＳ５１に戻り、動体が検知されるまで、センサ画像１５１を取得する処理を繰り返す。一方、ステップＳ５２において、動体を検知したと判定された場合、ステップＳ５３に進み、動体検知モジュール２２２は、検知した動体のうち、新しい動体に動体ＩＤを付与する。具体的には、動体検知モジュール２２２は、例えば、ステップＳ５２で求めた輝度レベルの差分値と動体として検知された画素の集まりなどに基づいて、いま検知した動体がいままでに検知されていなかった新しい動体であるかどうかを判定する。そして、動体検知モジュール２２２は、新しい動体であると判定した動体に動体ＩＤを付与する。
ステップＳ５３の処理後は、ステップＳ５４に進み、動体検知モジュール２２２は、ステップＳ５１で動体として検知した画素の集まりから、動体のセンサ画像１５１上の発生位置を認識する。動体検知モジュール２２２は、ステップＳ５１で検知したすべての動体の動体ＩＤと発生位置を、表示情報としてセンサ画像取得モジュール２２１と画角計算モジュール２２４に供給する。
ステップＳ５４の処理後は、ステップＳ５５に進み、センサ画像取得モジュール２２１は、その表示情報とステップＳ５１で取得したセンサ画像１５１とを対応付けて、表示情報ＤＢ２２６に登録する。
ステップＳ５５の処理後は、ステップＳ５６に進み、画角計算モジュール２２４は、撮影モードが連続追尾モードであるかどうか、即ち図１２のステップＳ１０で撮影モード切替モジュール２２８から撮影モードの連続追尾モードへの切替を表す撮影モード情報が供給されたかどうかを判定する。
ステップＳ５７において、撮影モードが連続追尾モードであると判定された場合、画角計算モジュール２２４は、ステップＳ５４で供給される動体ＩＤと、それに対応する発生位置と、図１２のステップＳ９または図１３のステップＳ３３で追尾対象指定モジュール２２７から供給される追尾対象の動体の動体ＩＤとに基づいて、追尾対象の動体の発生位置を認識する。即ち、画角計算モジュール２２４は、ステップＳ５４で供給される動体ＩＤと、それに対応する発生位置から、追尾対象の動体ＩＤに対応する発生位置を認識する。
そして、画角計算モジュール２２４は、その認識した発生位置を撮影するためのズームカメラ１２２の撮影画角を、追尾対象の撮影画角として計算し、その撮影画角と、それに対応する動体ＩＤとを、追跡対象情報として追跡対象情報管理ＤＢ２２５に登録する。
一方、ステップＳ５６において、撮影モードが連続追尾モードではない、即ち撮影モードが巡回撮影モードであると判定された場合、ステップＳ５８に進み、画角計算モジュール２２４は、ステップＳ５４で供給される動体ＩＤと、それに対応する発生位置に基づいて、動体ＩＤの動体のズーム撮影に対する優先順位をそれぞれ決定する。
画角計算モジュール２２４が優先順位を決定する方法としては、以下の６つの方法がある。
第１の方法は、新しく発生が検知された動体の優先順位が、既に検知されている動体の優先順位に比べて高くなるように優先順位を決定する方法である。この場合、新しく発生が検知された動体のズーム画像１５２が優先的に取得されるので、例えば侵入者を容易に発見することができる。
第２の方法は、高い位置にある動体の優先順位が、低い位置にある動体の優先順位に比べて優先順位が高くなるように決定する方法である。この場合、高い位置にある動体のズーム画像１５２が優先的に取得されるので、一般的に、高い位置にある人間の顔のズーム撮影が取得され易くなり、侵入者を容易に特定することができる。
第３の方法は、低い位置にある動体の優先順位が、高い位置にある動体の優先順位に比べて高くなるように優先順位を決定する方法である。この場合、低い位置にある動体のズーム画像１５２が優先的に取得されるので、屋外のビルの上などの高い位置にセンサカメラ１２１が設置されている場合に、空や、ビルなどの高い場所よりも比較的近くにある人間や車両などのズーム画像１５２が取得され易くなる。
第４の方法は、サイズの大きい動体の優先順位が、サイズの小さい動体の優先順位に比べて高くなるように優先順位を決定する方法である。この場合、サイズの大きい動体のズーム画像１５２が優先的に取得されるので、遠方にある動体よりも、近傍にある動体のズーム画像１５２が取得され易くなる。
第５の方法は、サイズの小さい動体の優先順位が、サイズの大きい動体の優先順位に比べて高くなるように優先順位を決定する方法である。この場合、サイズの小さい動体のズーム画像１５２が優先的に取得されるので、近傍にある動体よりも、遠方にある人間や車両などの動体のズーム画像１５２が取得され易くなる。
第６の方法は、縦長の動体の優先順位が高くなるように優先順位を決定する方法である。この場合、縦長の動体のズーム画像１５２が優先的に取得されるので、一般的に縦長の動体となる人間の全身のズーム画像１５２が取得されやすくなる。
以上のような第１乃至第６の優先順位を決定する方法は、例えば、ユーザの入力部２０６の操作により選択することができる。画角計算モジュール２２４は、ユーザにより選択された第１乃至第６の方法のいずれかにしたがって、ステップＳ５２で検知された動体のズーム撮影に対する優先順位を決定する。
ステップＳ５８の処理後は、ステップＳ５９に進み、画角計算モジュール２２４は、ステップＳ５８で決定した優先順位の高い方から順に、その優先順位に対応する動体を追跡対象とし、その動体に対応する発生位置に基づいて、ステップＳ５７の処理と同様に、追跡対象の撮影画角を計算する。そして、画角計算モジュール２２４は、その撮影画角と、対応する動体ＩＤとを、追跡対象情報として追跡対象情報管理ＤＢ２２５に登録する。
ステップＳ５７とＳ５９の処理後は、ステップＳ６０に進み、追跡対象画像取得モジュール２２３は、追跡対象情報管理ＤＢ２２５から追跡対象情報を読み出す。追跡対象画像取得モジュール２２３は、その追跡対象情報に基づいて、ズームカメラ１２２を制御して、追跡対象をズーム撮影し、その結果得られるズーム画像１５２を取得して、ステップＳ５１に戻る。
図１５は、図６の監視システム１０１の他の一実施の形態の構成例を示している。なお、図５と同一のものには、同一の符号を付してある。これは、後述する図１６においても同様である。
図１５の監視システム１０１では、図６のセンサカメラ１２１の代わりに、３６０度全方位撮影がリアルタイムに可能な固定カメラ４５１を設けている。
図１６は、監視システム１０１のさらに他の一実施の形態の構成例を示している。
図１６の監視システム１０１では、ネットワーク１３１に、さらに固定カメラ４７１が接続されている。この場合、クライアント１３２の動体検知モジュール２２２は、固定カメラ４７１による撮影の結果得られた動画像である固定画像における動体も検知し、必要に応じて固定画像も表示させる。
以上のように、図１６の監視システム１０１では、センサ画像１５１だけでなく、固定画像における動体も検知するので、監視する領域を増やすことができる。例えば、駐車場の料金所や入出口(ゲート)などの動体が多く発生する固定の領域を監視するために固定カメラ４７１を設置し、駐車場内の広範囲を監視するためにカメラユニット１１１を設置することにより、駐車場全体を確実に監視することが可能となる。
なお、図７のクライアント１３２の各ブロックは、クライアント１３２ではなく、センサカメラ１２１またはズームカメラ１２２に設けられるようにしてもよい。
また、監視システム１０１の用途は、領域２１の監視に限定されない。
さらに、センサカメラ１２１とズームカメラ１２２は、パンチルトカメラに限定されない。また、本実施の形態では、監視システム１０１は、センサカメラ１２１とズームカメラ１２２の２つのカメラを設けるようにしたが、カメラの数はこれに限定されず、例えば、１つのカメラでセンサ画像１５１とズーム画像１５２を取得するようにしてもよい。
以上のように、監視システム１０１では、領域２１を撮影し、その結果得られるセンサ画像１５１に基づいて、領域２１内に存在する動体を検知し、検知した動体のいずれか１つが指定された場合、撮影モードを、動体を順に撮影する巡回撮影モード、または動体を追尾して撮影する連続追尾モードのうち、連続追尾モードに設定するようにしたので、領域２１を撮影するとともに、その領域２１内のユーザの所望する動体を容易に追尾して撮影することができる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
従来の多地点カメラ監視システムの一例を示す外観図である。 図１の多地点カメラ監視システムの構成の一例を示す図である。 図１の多地点カメラ監視システムの構成の他の一例を示す図である。 本発明を適用した監視システムの第一実施の形態の概観構成例を示す図である。 監視システムの構成例を示す図である。 図５のクライアントの構成例を示すブロック図である。 図５のクライアントの機能的構成例を示すブロック図である。 図６の出力部に表示される画面の例を示す図である。 撮影モード選択部の例を示す図である。 撮影モード選択部の例を示す図である。 巡回撮影モードと連続追尾モードの詳細について説明する図である。 撮影モードが巡回撮影モードである場合のクライアントによる処理である巡回撮影処理を説明するフローチャートである。 撮影モードが連続追尾モードである場合のクライアントによる処理である連続追尾処理を説明するフローチャートである。 クライアントによるセンサ画像とズーム画像を取得する画像取得処理を説明するフローチャートである。 図５の監視システムの他の一実施の形態の構成例を示す図である。 図５の監視システムのさらに他の一実施の形態の構成例を示す図である。
符号の説明
１０１ 監視システム， １２１ センサカメラ， １２２ ズームカメラ， ２０１ CPU， ２０２ ROM, ２０３ RAM, ２０６ 入力部， ２０７ 出力部， ２０８ 記憶部， ２２１ センサ画像取得モジュール， ２２２ 動体検知モジュール， ２２３ 追跡対象画像取得モジュール， ２２４ 画角計算モジュール， ２２５ 追跡対象情報管理ＤＢ ２２６ 表示情報ＤＢ， ２２７ 追尾対象指定モジュール， ３３８ 撮影モード切替モジュール， ２２９ 再生モジュール

Claims (5)

  1. 被写体の撮影を制御する情報処理装置において、
    所定の領域を撮影する領域撮影手段を制御し、前記所定の領域を撮影させる領域撮影制御手段と、
    前記領域撮影手段により撮影された結果得られる領域画像に基づいて、前記所定の領域内に存在する動体を検知する検知手段と、
    前記検知手段により検知された動体を撮影する動体撮影手段を制御し、前記動体を撮影させる動体撮影制御手段と、
    前記検知手段により検知された動体のいずれか１つを指定する指定手段と、
    撮影モードを、前記検知手段により検知された動体を順に撮影する巡回撮影モード、または前記指定手段により指定された動体を撮影する連続追尾モードに設定する設定手段と
    を備え、
    前記設定手段は、前記指定手段により動体が指定された場合、前記撮影モードを前記連続追尾モードに設定する
    ことを特徴とする情報処理装置。
  2. 前記検知手段は、既に検知した動体の消滅も検知し、
    前記設定手段は、前記指定手段により指定される動体の消滅が、前記検知手段により検知された場合、前記撮影モードを前記巡回撮影モードに設定する
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 被写体の撮影を制御する情報処理装置の情報処理方法において、
    所定の領域を撮影する領域撮影手段を制御し、前記所定の領域を撮影させる領域撮影制御ステップと、
    前記領域撮影手段により撮影された結果得られる領域画像に基づいて、前記所定の領域内に存在する動体を検知する検知ステップと、
    前記検知ステップの処理により検知された動体を撮影する動体撮影手段を制御し、前記動体を撮影させる動体撮影制御ステップと、
    前記検知ステップの処理により検知された動体のいずれか１つを指定する指定ステップと、
    撮影モードを、前記検知ステップの処理により検知された動体を順に撮影する巡回撮影モード、または前記指定ステップの処理により指定された動体を撮影する連続追尾モードに設定する設定ステップと
    を含み、
    前記設定ステップの処理は、前記指定ステップの処理により動体が指定された場合、前記撮影モードを前記連続追尾モードに設定する
    ことを特徴とする情報処理方法。
  4. 被写体の撮影を制御する処理を、コンピュータに行わせるプログラムにおいて、
    所定の領域を撮影する領域撮影手段を制御し、前記所定の領域を撮影させる領域撮影制御ステップと、
    前記領域撮影手段により撮影された結果得られる領域画像に基づいて、前記所定の領域内に存在する動体を検知する検知ステップと、
    前記検知ステップの処理により検知された動体を撮影する動体撮影手段を制御し、前記動体を撮影させる動体撮影制御ステップと、
    前記検知ステップの処理により検知された動体のいずれか１つを指定する指定ステップと、
    撮影モードを、前記検知ステップの処理により検知された動体を順に撮影する巡回撮影モード、または前記指定ステップの処理により指定された動体を撮影する連続追尾モードに設定する設定ステップと
    を含み、
    前記設定ステップの処理は、前記指定ステップの処理により動体が指定された場合、前記撮影モードを前記連続追尾モードに設定する
    ことを特徴とするプログラム。
  5. 被写体の撮影を制御する処理を、コンピュータに行わせるプログラムが記録されている記録媒体において、
    所定の領域を撮影する領域撮影手段を制御し、前記所定の領域を撮影させる領域撮影制御ステップと、
    前記領域撮影手段により撮影された結果得られる領域画像に基づいて、前記所定の領域内に存在する動体を検知する検知ステップと、
    前記検知ステップの処理により検知された動体を撮影する動体撮影手段を制御し、前記検知ステップの処理により検知された動体を撮影させる動体撮影制御ステップと、
    前記検知ステップの処理により検知された動体のいずれか１つを指定する指定ステップと、
    撮影モードを、前記検知ステップの処理により検知された動体を順に撮影する巡回撮影モード、または前記指定ステップの処理により指定された動体を撮影する連続追尾モードに設定する設定ステップと
    を含み、
    前記設定ステップの処理は、前記指定ステップの処理により動体が指定された場合、前記撮影モードを前記連続追尾モードに設定する
    ことを特徴とするプログラムが記録されている記録媒体。
JP2005054393A 2005-02-28 2005-02-28 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体 Expired - Fee Related JP4378636B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005054393A JP4378636B2 (ja) 2005-02-28 2005-02-28 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体
US11/350,828 US7684591B2 (en) 2005-02-28 2006-02-10 Information processing system, information processing apparatus and information processing method, program, and recording medium
CNB2006100582525A CN100551046C (zh) 2005-02-28 2006-02-28 信息处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005054393A JP4378636B2 (ja) 2005-02-28 2005-02-28 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2006245648A JP2006245648A (ja) 2006-09-14
JP4378636B2 true JP4378636B2 (ja) 2009-12-09

Family

ID=36931615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005054393A Expired - Fee Related JP4378636B2 (ja) 2005-02-28 2005-02-28 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体

Country Status (3)

Country Link
US (1) US7684591B2 (ja)
JP (1) JP4378636B2 (ja)
CN (1) CN100551046C (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4961914B2 (ja) * 2006-09-08 2012-06-27 ソニー株式会社 撮像表示装置、撮像表示方法
JP4492697B2 (ja) * 2007-12-28 2010-06-30 カシオ計算機株式会社 撮像装置、及び、プログラム
DE102008041933A1 (de) * 2008-09-10 2010-03-11 Robert Bosch Gmbh Überwachungssystem, Verfahren zur Detektion und/oder Verfolgung eines Überwachungsobjektes und Computerprogrammen
JP5446546B2 (ja) * 2009-07-28 2014-03-19 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム、撮像システム
CN102158689B (zh) * 2011-05-17 2013-12-18 无锡中星微电子有限公司 视频监控系统及方法
JP2013090063A (ja) * 2011-10-14 2013-05-13 Sumitomo Electric Ind Ltd 監視装置、監視方法および監視プログラム
JP2013219544A (ja) * 2012-04-09 2013-10-24 Ricoh Co Ltd 画像処理装置、画像処理方法、及び画像処理プログラム
EP3183687B1 (en) 2014-08-21 2020-07-08 IdentiFlight International, LLC Avian detection system and method
US9856856B2 (en) * 2014-08-21 2018-01-02 Identiflight International, Llc Imaging array for bird or bat detection and identification
CN104767911A (zh) * 2015-04-28 2015-07-08 腾讯科技（深圳）有限公司 图像处理方法及装置
JP2022006912A (ja) 2020-06-25 2022-01-13 キヤノン株式会社 制御装置、撮像装置、監視システム、及び制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2155719C (en) * 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
JP3809661B2 (ja) * 1995-12-28 2006-08-16 ソニー株式会社 動き検出装置および動き検出方法
JPH1169342A (ja) 1997-08-22 1999-03-09 Hitachi Denshi Ltd 侵入物体追尾画像処理システム
US6215519B1 (en) * 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
JP3808242B2 (ja) * 1999-07-26 2006-08-09 パイオニア株式会社 画像処理装置、画像処理方法及びナビゲーション装置
JP3852745B2 (ja) 2000-02-28 2006-12-06 株式会社日立国際電気 物体検出方法及び物体検出装置
JP2002101408A (ja) 2000-09-22 2002-04-05 Asahi Precision Co Ltd 監視カメラシステム
CN2667571Y (zh) * 2003-10-27 2004-12-29 北京雷波泰克信息技术有限公司 快速多目标人像自动识别与跟踪安全防御装置

Also Published As

Publication number Publication date
US7684591B2 (en) 2010-03-23
US20060192856A1 (en) 2006-08-31
JP2006245648A (ja) 2006-09-14
CN1829320A (zh) 2006-09-06
CN100551046C (zh) 2009-10-14

Similar Documents

Publication Publication Date Title
JP4378636B2 (ja) 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体
JP4345692B2 (ja) 情報処理システム、情報処理装置および方法、並びにプログラム
JP4470759B2 (ja) 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体
JP4140591B2 (ja) 撮像システム及び撮像方法
US8174571B2 (en) Apparatus for processing images, apparatus for processing reproduced images, method of processing images, and method of processing reproduced images
EP1536633A1 (en) Photographing apparatus and method, supervising system, program and recording medium
JP2006333132A (ja) 撮像装置及び撮像方法、プログラム、プログラム記録媒体並びに撮像システム
JP4736381B2 (ja) 撮像装置及び方法、監視システム、プログラム並びに記録媒体
JP2013062559A (ja) 撮像監視画面及び全方位撮像画面監視システム
KR100995949B1 (ko) 화상 처리 장치, 카메라 장치 및 화상 처리 방법
JP3994469B2 (ja) 撮像装置、表示装置及び記録装置
JP3841033B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP4172352B2 (ja) 撮像装置及び方法、撮像システム、プログラム
JP3969172B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP3838149B2 (ja) モニタリングシステムおよび方法、並びにプログラムおよび記録媒体
JP3838150B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP3991816B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP5531512B2 (ja) 情報処理装置、プログラム、および情報処理方法
KR101915199B1 (ko) Ｐｔｚ 카메라의 촬영 영역을 기반으로 하는 영상 검색 방법 및 장치
JP3838151B2 (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP2005045618A (ja) 監視装置
JP2005277582A (ja) パノラマ撮像装置、パノラマ撮像方法、監視システム、パノラマ撮像装置の制御プログラム並びにプログラム記録媒体
JP2004266668A (ja) 撮像装置及び方法
JP2008236783A (ja) 制御装置、制御方法及び監視システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060725

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090820

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090902

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4378636

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131002

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees