JPWO2006132029A1 - 監視システム、監視方法及びカメラ端末 - Google Patents

監視システム、監視方法及びカメラ端末 Download PDF

Info

Publication number
JPWO2006132029A1
JPWO2006132029A1 JP2006520440A JP2006520440A JPWO2006132029A1 JP WO2006132029 A1 JPWO2006132029 A1 JP WO2006132029A1 JP 2006520440 A JP2006520440 A JP 2006520440A JP 2006520440 A JP2006520440 A JP 2006520440A JP WO2006132029 A1 JPWO2006132029 A1 JP WO2006132029A1
Authority
JP
Japan
Prior art keywords
resolution
camera
area
camera terminal
shooting area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006520440A
Other languages
English (en)
Other versions
JP3902222B2 (ja
Inventor
篤 吉田
篤 吉田
勝司 青木
勝司 青木
荒木 昭一
昭一 荒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Application granted granted Critical
Publication of JP3902222B2 publication Critical patent/JP3902222B2/ja
Publication of JPWO2006132029A1 publication Critical patent/JPWO2006132029A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)

Abstract

複数のカメラ端末の撮影領域によって監視対象領域がくまなく覆われ、かつ、監視の重要度分布にあわせた解像度による撮影が可能な監視システムを提供する。複数のカメラ端末(101、101a)によって監視対象領域を監視する監視システムであって、撮影領域の調整機能を有するカメラ(106)と、カメラ(106)の撮影領域を調整する制御を行うカメラ制御部(107)と、他のカメラ端末(101a)と通信し合う通信IF(103)と、通信IF(103)を介して得た他のカメラ端末(101a)の撮影領域に関する情報に基づいて、自カメラ端末(101)の撮影領域の重み付き解像度と他のカメラ端末(101a)の撮影領域の重み付き解像度との差が小さくなるように、カメラ制御部(107)を介してカメラ(106)を制御することにより、自カメラ端末(101)の撮影領域の解像度を調整する処理部(104)とを備える。

Description

本発明はパン・チルト・ズーム等の制御により撮影領域の調整可能な複数のカメラから構成される監視システムに関し、特に監視対象領域全体を同時に撮影しながらも、監視の重要度の分布に応じた解像度で撮影を行う監視システムに関する。
近年、主に監視用途を目的に複数のカメラを用いた監視システムに対する研究開発が盛んに行われている。複数のカメラによる監視においては、監視の対象となる領域(監視対象領域)に対して死角となる領域ができるだけ少なくなる状態を維持し(要求1)、さらに監視対象領域内の重要な領域に対しては、できるだけ詳細な撮影情報を取得する(要求2)、という2つの要求を達成できることが求められる。
従来の複数のカメラを用いた装置において、上記の要求1と要求2を達成させる代表的な従来装置として、広範囲撮影が可能なカメラと、狭範囲の詳細撮影を担当するカメラとを組み合わせて用いた特許文献1に示す移動物体検出判定装置がある。
図1は特許文献1の移動物体検出判定装置の構成を示す図であり、検出カメラ装置9010はカメラ9011及び反射鏡9012により広い撮影領域にわたって検出対象を撮影し、移動物体抽出部9013が撮影した同画像より検出対象を抽出し、位置情報抽出部9014が同検出対象の位置情報を抽出することで広い検出領域にわたって検出対象の位置情報の取得を行う。また判定カメラ装置9020は、カメラ制御部9022が検出対象の位置情報を基にカメラ9021の旋回角、俯角、及びズーム比率を制御し、判定カメラ装置9020は検出対象の拡大画像を撮影することで検出対象の詳細な情報の取得を行う。これにより特許文献1においては全方位を同時撮影する検出カメラ装置9010を図2に示すようにその検出範囲を示す六角形が互いに隣接するように配置することによって死角をなくすこと、及び検出カメラ装置9010で検出した検出対象の位置に基づいて判定カメラ装置9020を制御することが開示されている。
また、特許文献2にはパノラマ映像のような連続した広い範囲の撮影(上記要求1)を目的として、輻輳角を制御できる複数のカメラを用いて隣接する撮影領域に重複部分を持たせ、その重複部分を一定の範囲に保つようにカメラの輻輳角を制御することが開示されている。図3は特許文献2に記載された撮像装置の構成を示す図である。図3において被写体2001を撮影する複数のカメラ2003a、2003bは、複数のカメラに任意の輻輳角を与える輻輳角制御手段2021により、複数のカメラ2003a、2003bから得られる複数の画像情報から撮影情報と、予め記憶手段2023に用意されていた結像倍率情報とを利用してカメラ間の撮影範囲の重複領域が一定範囲に保たれるように輻輳角を制御することにより、複数のカメラの撮影領域の間に死角領域を作ることなく、例えばパノラマ画像のような広範囲撮影が可能になる。
また、特許文献3では雲台とズームの制御ができる複数のカメラを用いて上記要求1と要求2を達成させるために、侵入物を追跡するためにズームしたカメラが隣接する領域を監視するカメラに視野の拡大要求を送信すること、また視野の拡大要求を受け取ったカメラは、追跡しているカメラの通常担当領域と自身の通常担当領域を包含するように制御することが開示されている。図4は特許文献3に記載された侵入物体監視装置の構成を示す図である。特許文献3における侵入物体監視装置は、所定の担当領域を監視する″通常″モードと、侵入物を追跡撮影する″追跡″モード、さらに画角を広げることで隣接するカメラの担当領域も撮影する″広角″モードの3種類の撮影状態に切り替わる複数の侵入物体監視装置から構成されており、″通常″モードに設定されている複数の侵入物体監視装置のうち、1台の侵入物体監視装置が映像信号の差分処理により侵入物体を検出すると″通常″モードから″追尾″モードに切り替わり、侵入物体の情報に基づいて雲台制御装置3115とズーム制御装置4116によりズームレンズ3102と雲台3103とを制御することで侵入物体を追尾しながら詳細に撮影を行う。さらに侵入物体の追尾が行われている監視エリアに隣接する他の監視エリアを監視する他の侵入物体監視装置に対して視野拡大要求を送信することにより、要求を受け取った侵入物体監視装置は″通常″モードから″拡大″モードに切り替わり、ズームレンズ4102を制御して監視範囲を拡大する視野拡大する。
これにより図5に示すように第1の侵入物体監視装置3601が監視エリア3603を、第2の侵入物体監視装置3602が監視エリア3604を監視している時、図6に示す位置に侵入物体3610が現れると第2の侵入物体監視装置3602が″追尾″モードに切り替わることで監視エリア3604の一部しか監視できなくなり死角が生じたような状態となるが、第1の侵入物体監視装置3601の監視エリア3603を広角モードで拡張することで第2の侵入物体監視装置3602の死角が生じたような状態を補うことができる。
また、特許文献4では1台のカメラで複数の領域を切り分けて監視したい場合に、予め複数の領域に対応したカメラの向きとズームをプリセットしておくこと、また複数のカメラの複数のプリセットを1台の端末から集中制御する構成が開示されている。図7は特許文献4に記載された端末カメラ部4011の構成を示すものである。図7において端末カメラ部4011のTVカメラ4021、及びレンズ部4022は共に端末制御部4023からの指令に基づき制御され、映像信号が出力される。端末制御部4023はTVカメラ4011を保持する旋回部4024に対して旋回指令を与えることにより、TVカメラ4021を水平、及び垂直方向に旋回させる。また端末制御部4023にはプリセット部4025が従属されており、TVカメラ4021の向き(水平、及び垂直方向)並びにレンズ部4022の機能(ズーム、フォーカス)を複合させて旋回情報とレンズ設定情報として複数記憶しており、外部からの制御指令により所定の旋回情報及びレンズ設定情報を指定することにより、TVカメラ4021の視線の向きとズームの値を指定された値に自動的に調整する。
また図8は、図7の端末カメラ部4011を用いて監視システムを構成した例を示すものである。図8では端末カメラ部4111、4112、・・・は共通の監視ライン4015と、指令ライン4016の一対の伝送線路を介してパソコン4031に並列的に接続されおり、パソコン4031は複数の端末カメラ部4011の中から任意の端末カメラ部4011を選択し、プリセット部に記憶された旋回情報とレンズ設定情報に基づいて端末カメラ4111、4112、・・・の集中管理を行う。これによりユーザは必要なカメラの必要なプリセットを選択することで、見たい領域を見たいズームで簡単に監視することができる。
特許第3043925号公報(第8、10頁、図1) 特開平7−303207号公報(第5頁、図1) 特開2001−245284号公報(第11、12、17頁、図1、図16、図17) 特開平10−229511号公報(第6頁、図3)
しかしながら、上記の特許文献1から4においては、必ずしも全てのカメラの能力(解像度等)を効率的に利用するような考慮がなされていない。例えば重複して撮影される領域が必要以上に大きかったり、所定の解像度が得られなかったり、解像度が必要以上に低下するといった課題がある。
より具体的には特許文献1の移動物体検出判定装置において、検出カメラ装置の撮影領域は死角をなくすために固定されているため、移動物体が増加し、所定の解像度で判定カメラ装置が撮影できなくなった場合、検出カメラ装置が代わりに高解像度撮影をするといった柔軟な対応ができない。さらに図2に示すように判定カメラ装置は常に検出カメラ装置が撮影している領域を重複して撮影を行うため、CCD等の撮像資源を効率よく利用することができない。
また、特許文献2の撮像装置の場合には、輻輳角と画角の調整機能を持つ複数のカメラを用いて、パノラマ画像を作るために重複領域を一定範囲に保つことは開示されているが、移動物体が複数存在するような重要監視領域を複数含む監視領域全体を複数のカメラで分担して監視する際の各カメラの撮影領域や解像度の調整についてはなんら考慮されていない。
また、特許文献3の侵入物体監視装置の場合には、「追跡」モードに切り替わったカメラの通常監視エリアを包含するように、隣の領域を撮影しているカメラが視野を拡大させることしか開示されておらず、複数の移動物体が存在するような場合における各カメラの動作について考慮されていない。このため「追跡」モードにある複数のカメラの通常監視エリアを包含するために1台のカメラが視野を拡大させた場合には解像度を必要以上に低下させてしまうことが考えられる。
また、特許文献4の監視システムのように、目的に応じて映像に写る場所やズームの値を切り換えるために、カメラの向きやズーム等を予めカメラごとにプリセットしておく場合には、カメラの台数が多くなるにつれてプリセット作業が繁雑なものとなる。また不規則な動作を行う移動物体については予めプリセットを行うことができない。
このため、本発明は、複数のカメラ端末による所定の監視対象領域の撮影において、監視の重要度分布やその動的な変化にあわせた解像度にするとともに、監視対象領域全体を撮影しながらも、重複した撮影領域ができるだけ少ない効率的な撮影形態(各カメラの撮影位置と解像度の組合せ)となるように全てのカメラ端末の撮影方向と解像度を調整することが可能な監視システム、監視方法及びカメラ端末を提供することを目的とする。
上記目的を達成するために、本発明に係る監視システムは、複数のカメラ端末によって監視対象領域を監視する監視システムであって、撮影領域の調整機能を有するカメラと、前記カメラの撮影領域を調整する制御を行うカメラ制御手段と、他のカメラ端末と通信し合う通信インターフェイスと、前記通信インターフェイスを介して得た他のカメラ端末の撮影領域に関する情報に基づいて、重要度の高い撮影領域の解像度が高く、重要度の低い撮影領域の解像度が低くなる度合いを重み付き解像度とした場合に、自カメラ端末の撮影領域の重み付き解像度と他のカメラ端末の撮影領域の重み付き解像度との差が小さくなるように、前記カメラ制御手段を介して前記カメラを制御することにより、自カメラ端末の撮影領域の解像度を調整する処理手段とを備えることを特徴とする。
より具体的には、本発明における第1の監視システムによれば、所定の監視対象領域をその領域全体の撮影に必要な台数以上のカメラ端末で撮影する場合、監視対象領域の範囲を定義した「監視対象領域マップ」と、監視対象領域内の場所ごとに解像度の重みを定義した「解像度の重みマップ」を各カメラ端末に与え、隣り合う撮影領域を隣接させ、さらに隣接するカメラ端末間で重み付き解像度が一定になるようにカメラ端末を制御することにより、複数のカメラ端末は監視対象領域をくまなく撮影しながらも、重複領域が少ない効率的な監視が可能となり、かつ重要度に応じた適切な解像度での監視が可能となる。
また、本発明における第2の監視システムによれば、重要度の高い領域の配置パターンが変化する場合、カメラ端末ごとに個別のプリセットを作業することなく、想定される配置パターンにあわせて全てのカメラ端末で共通の「解像度の重みマップ」を複数用意し、さらに「解像度の重みマップ」を選択する条件を定義することにより、監視の重要度分布が状況に応じて変化する監視対象領域に対しても、複数のカメラ端末は監視対象領域をくまなく撮影しながらも、重複領域が少ない効率的な監視が可能となり、かつ監視の重要度分布変化に応じて適切に解像度を調整させた監視が可能となる。
また、本発明における第3の監視システムによれば、所定の対象物の存在に応じて、対象物の存在する場所の重要度を解像度の重みとして定義することにより、複数のカメラ端末は監視対象領域をくまなく撮影しながらも、重複領域が少ない効率的な監視が可能となり、かつ所定の対象物の存在することによる重要度分布の変化に応じて適切に解像度を調整させた監視が可能となる。
また、本発明における第4の監視システムによれば、重要度の高い場所の配置パターンが予測できない監視対象領域に対しても、詳細に監視させたい領域や対象物を判定する規則を与えるだけで、自動的に「解像度重みマップ」とその選択条件を作成し、予め想定していなかった重要度の高い領域の配置パターンに対しても、複数のカメラ端末は監視対象領域をくまなく撮影しながらも、重複領域が少ない効率的な監視が可能となり、かつ重要度に応じた適切な解像度での監視が可能となる。
なお、本発明は、このような監視システムとして実現できるだけでなく、監視システムにおける処理手段をステップとする監視方法、監視システムを構成するカメラ端末、カメラ端末に組み込まれるプログラム、そのプログラムが記録されたCD−ROM等の記録媒体等としても実現できる。
本発明に係る監視システムにより、複数のカメラ端末の撮影領域によって監視対象領域がくまなく覆われ、かつ、監視の重要度分布やその動的な変化にあわせた解像度による撮影が行われるので、効率的で確実な監視が実現される。
また、監視システムを構成する複数のカメラ端末は、他のカメラ端末と通信し合いながら自律協調的に自カメラ端末の撮影領域の位置と解像度を調整するので、監視システムを構成する一部のカメラ端末が故障したり、新たなカメラ端末が追加されたりする等の構成変更が生じた場合であっても、複数の撮影領域の位置と解像度が自動的に調整され、結果として、複数のカメラ端末の撮影領域によって監視対象領域がくまなく覆われ、かつ、監視の重要度分布やその動的な変化にあわせた解像度による撮影が行われる。
これにより、所定の監視対象領域全体を撮影しながらも重複領域を少なくなるようにカメラ端末間の撮影領域を隣接させつつ、重要度に応じて各カメラ端末の解像度を適切に調整できるため、監視対象領域内の撮影もれをなくしつつ、効率的に重要な領域を高解像度で監視することができる。よって、学校やビル等における不審者の監視用システムや、交差点や公園などの広範囲撮影システムといった公共の場所の監視、さらに家庭内の様子を複数のネットワークカメラ等を用いて監視する室内遠隔監視システム等としてその実用的価値が高い。
図1は、第1の従来技術における構成ブロック図である。 図2は、第1の従来技術におけるカメラ視野範囲を示す説明図である。 図3は、第2の従来技術における構成ブロック図である。 図4は、第3の従来技術における構成ブロック図である。 図5は、第3の従来技術におけるカメラ視野範囲を示す説明図である。 図6は、第3の従来技術におけるカメラ視野範囲を示す説明図である。 図7は、第4の従来技術における構成ブロック図である。 図8は、第4の従来技術における構成ブロック図である。 図9は、本発明に係る監視システムの構成を示すブロック図である。 図10は、実施の形態1における処理部の構成を示すブロック図である。 図11は、実施の形態1における記憶部の構成を示すブロック図である。 図12は、実施の形態1における記憶部に記憶されているデータの一例を示す図である。 図13は、実施の形態1におけるカメラ端末の設置例を示す図である。 図14は、実施の形態1におけるカメラ端末の制御手順を説明するフローチャートである。 図15は、実施の形態1におけるカメラの動作を説明する図である。 図16は、実施の形態1におけるカメラの動作を説明する図である。 図17は、実施の形態1におけるカメラの動作を説明する図である。 図18は、実施の形態2における処理部の構成を示すブロック図である。 図19は、実施の形態2における記憶部に記憶されているデータの一例を示す図である。 図20は、実施の形態2におけるカメラ端末の制御手順を説明するフローチャートである。 図21は、実施の形態2におけるカメラ端末の動作を説明する図である。 図22は、実施の形態3における処理部の構成を示すブロック図である。 図23は、実施の形態3におけるカメラ端末の制御手順を説明するフローチャートである。 図24は、実施の形態3における記憶部に記憶されているデータの一例を示す図である。 図25は、実施の形態3におけるカメラ端末の動作を説明する図である。 図26は、実施の形態4における処理部の構成を示すブロック図である。 図27は、実施の形態4における記憶部に記憶されているデータの一例を示す図である。 図28は、実施の形態4におけるカメラ端末の制御手順を説明するフローチャートである。 図29は、実施の形態4におけるカメラ端末の動作を説明する図である。 図30は、実施の形態4におけるカメラ端末の動作を説明する図である。 図31は、実施の形態4におけるカメラ端末の動作を説明する図である。 図32は、本発明に係る監視システムの構成を示すブロック図である。 図33は、本発明に係るに記憶部に記憶されているデータの一例を示す図である。 図34は、本発明の補足説明1における撮影領域の算出に対する説明図である。 図35は、移動カメラから構成される監視システムを示す図である。 図36は、周期TCYCLE撮影領域の説明図である。
符号の説明
101、201、301、401 カメラ端末
101a、201a、301a、401a 他のカメラ端末
102 通信ネットワーク
103 通信IF
104、104a〜104c 処理部
105、105a〜105c 記憶部
106 カメラ
107 カメラ制御部
110 通信部
111 撮影領域判定部
112 解像度重み判定部
113 隣接領域判定部
114 解像度調整部
115 撮影領域調整部
116 解像度重みマップ選択部
117 計時部
118 画像処理部
119 解像度重み作成部
120 監視対象領域マップ
121 解像度重みマップ
122 撮影領域の位置情報
123 解像度の重み情報
124 解像度重み選択リスト
125 テンプレート画像
126 テンプレート画像リスト
127 解像度重みマップ作成規則
128 プリセット情報
129 プリセット選択リスト
(実施の形態1)
以下、本発明における実施の形態について、図面を参照しながら説明する。
まず、本発明の実施の形態1における監視システムの構成を説明する。
図9は監視システム全体の構成を説明した図である。本発明の監視システムは屋内のホールやリビングのように、監視範囲が有限な範囲に限定される領域(以下、監視対象領域)に対してパン・チルト・ズーム調整が可能で、監視対象領域全体を撮影するために十分な台数のカメラ端末101及び101aと、これらカメラ端末101及び101a間の通信のためのイーサケーブル等の通信ネットワーク102から構成されており、各カメラ端末101及び101aは監視対象領域をパン・チルト・ズーム調整により撮影できる位置に設置されている。
なお、図9は監視システムの設置の一例として、室内の床面全体を監視対象領域とし、これを監視するために複数台のカメラ端末101及び101aが部屋の天井から床面に向けて設置されている一例を示している。また、図9では、着目しているカメラ端末を「カメラ端末101」とし、他の複数のカメラ端末を「カメラ端末101a」として、符号が付されている。さらに、図9では、実施の形態1〜4に共通するシステム全体の構成が示され、ここには、他の実施の形態2〜4で説明されるカメラ端末(着目しているカメラ端末201〜401、他の複数のカメラ端末201a〜401a)の符号も併せて図示されている。
次に、各カメラ端末101の内部構成について図9と図10を用いて説明する。各カメラ端末101は、他のカメラ端末と通信し合いながら自らの撮影位置と解像度を自律協調的に調整する機能を備えるカメラ装置であり、通信IF103、処理部104、記憶部105、カメラ106及びカメラ制御部107から構成される。
図9において通信IF103は通信ネットワーク102や無線を利用して他のカメラ端末101aと情報のやり取りを行うための通信インターフェイス等である。
処理部104はカメラ端末101のパン角・チルト角・ズーム(焦点距離)等の制御に必要な計算処理を行うCPU等であり、通信IF103を介して得た他のカメラ端末101aの撮影領域に関する情報に基づいて、重要度の高い撮影領域の解像度が高く、重要度の低い撮影領域の解像度が低くなる度合いを重み付き解像度とした場合に、自カメラ端末101の撮影領域の重み付き解像度と他のカメラ端末101aの撮影領域の重み付き解像度との差が小さくなるように、カメラ制御部107を介してカメラ106を制御することにより、自カメラ端末101の撮影領域の解像度を調整する。
より詳しくは、処理部104は、本実施の形態においては、通信IF103を介して得た他のカメラ端末101aの撮影領域に関する情報に基づいて、自カメラ端末101の撮影領域と、撮影領域が隣り合う他のカメラ端末101aの撮影領域とが、(1)隣接し、かつ、(2)撮影領域の解像度と撮影領域に予め対応づけられた解像度の重みとを掛け合わせて得られる重み付き解像度の差が小さくなるように、カメラ制御部107を介してカメラ106を制御することにより、自カメラ端末101の撮影領域の位置及び解像度を調整する。なお、「撮影領域が隣接する」とは、隣り合う撮影領域が接する場合だけでなく、領域の一部が重なり合っている場合も含まれる。
記憶部105はカメラのパン角、チルト角、ズーム(焦点距離)の制御方法や、監視対象領域の範囲、他のカメラ端末101aとの通信により得られた情報等を記憶するメモリ等である。
カメラ106はズーム制御等による画角調整と、パン・チルト操作によって撮影領域の位置の調整が可能なパン・チルト・ズームカメラ(以下、PTZカメラ)等である。
カメラ制御部107は処理部104の指示によりカメラ106のパン角、チルト角、及びズーム値(また、は焦点距離等)を読み取ったり、調整したりするステッピングモータ等の機構部である。
次に、処理部104の内部構成について図10を用いて説明する。処理部104は、通信部110、撮影領域判定部111、解像度重み判定部112、隣接領域判定部113、解像度調整部114及び撮影領域調整部115を備える。
通信部110は他のカメラ端末101aとの通信手順を制御する処理部であり、例えば、撮影領域判定部111で特定された自カメラ端末101の撮影領域の位置と解像度重み判定部112で特定された自カメラ端末101の撮影領域に対応づけられた解像度の重みとを通信IF103を介して他のカメラ端末101aに送信するとともに、他のカメラ端末101aから他のカメラ端末101aの撮影領域の位置とその撮影領域に対応づけられた解像度の重みとを通信IF103を介して受信するように通信IF103を制御する。
撮影領域判定部111は、自カメラ端末101の撮影領域の位置を特定する処理部であり、具体的には、カメラ端末101の設置位置、設置向き、カメラ106のパン角、チルト角、ズーム値(焦点距離)から監視対象領域上におけるカメラ端末101が撮影している範囲(以下、撮影領域)を判定する。
解像度重み判定部112は、撮影領域判定部111で特定された自カメラ端末101の撮影領域に対応づけられた解像度の重みを特定する処理部であり、具体的には、監視の重要度が場所ごとに異なる監視対象領域において、撮影領域の重要度に応じてカメラ端末101の解像度の値に重み付けを行うための「解像度の重み」の値を求める。つまり、解像度重み判定部112は、重要度の低い撮影領域の解像度が低くなる度合いを重み付き解像度とした場合の「解像度の重み」を求める。本実施の形態では、解像度重み判定部112は、監視対象領域(床面)に対して場所ごとに解像度の重みが予め決められた解像度重みマップに従って、解像度の重みを決定する。
隣接領域判定部113は、通信IF103で受信された他のカメラ端末の撮影領域の位置と撮影領域判定部111で特定された自カメラ端末101の撮影領域の位置とに基づいて、自カメラ端末101の撮影領域と隣り合う撮影領域等を特定する処理部であり、より詳しくは、撮影領域が隣り合う他のカメラ端末101aの撮影領域、又は監視対象領域の境界線を判定する。
解像度調整部114は、解像度と解像度の重みとを掛け合わせた値を重み付き解像度とした場合に、通信IF103で受信された他のカメラ端末101aの撮影領域の位置及びその撮影領域に対応づけられた解像度の重みと解像度重み判定部112で特定された自カメラ端末101の撮影領域に対応づけられた解像度の重みに基づいて、自カメラ端末101の撮影領域の重み付き解像度と隣接領域判定部113で特定された他のカメラ端末101aの撮影領域の重み付き解像度との差が小さくなるように、カメラ制御部107を介してカメラ106の撮影領域の面積を調整することによって、自カメラ端末101の撮影領域の解像度を調整する処理部であり、具体的には、撮影映像の解像度に、前記解像度重み判定部112で判定された解像度の重みを掛け合わせた値(以下、重み付き解像度)を、前記隣接領域判定部113において撮影領域が隣り合うと判定された他のカメラ端末101aの重み付き解像度と比較し、互いの重み付き解像度が等しくなるようにズーム値(焦点距離)を調整する。
撮影領域調整部115は、撮影領域判定部111で特定された自カメラ端末101の撮影領域の位置と隣接領域判定部113で特定された撮影領域とに基づいて、それらが隣接するように、カメラ制御部107を介してカメラ106の撮影領域の位置を調整することによって、自カメラ端末101の撮影領域の位置を調整する処理部であり、具体的には、撮影領域の周囲にどのカメラ端末101からも撮影されていない領域(以下、死角領域)が生じないように、隣接領域判定部113において撮影領域が隣り合うと判定された他のカメラ端末101aの撮影領域、及び監視対象領域の境界線と隙間なく隣接するようにカメラ制御部107を介しカメラ106のパン角、チルト角、ズーム値(焦点距離)を調整する。
次に、記憶部105に記憶されている情報について図11を用いて説明する。記憶部105は、監視対象領域マップ120、解像度重みマップ121、撮影領域の位置情報122及び解像度の重み情報123を記憶している。
監視対象領域マップ120はカメラ端末101が監視すべき領域(監視対象領域)の範囲を定義した地図情報であり、例えば、図12(a)に示されるような情報である。
また、解像度重みマップ121は、監視対象領域マップ120上の場所ごとに、カメラ端末101の解像度の重みを判定する規則を定義した地図情報であり、例えば、図12(b)に示されるように、監視対象領域を格子状の小領域に分割した場所(番地)ごとに解像度の重みの値を定義している。
なお、図12(a)の監視対象領域マップ120には場所ごとに解像度重みマップ121の情報を色情報として記載することで、1つの地図に監視対象領域マップ120と解像度重みマップ121の情報をまとめて表示している。
また、図12(a)に示した監視対象領域マップ120、及び図12(b)に示した解像度重みマップ121は、各カメラ端末101の記憶部105に予め用意されている。
また、図12(a)における監視対象領域マップ120は、説明を簡略化するために矩形で平坦な領域を監視対象領域とする地図であったが、矩形以外の形状を持つ領域や、曲面上の領域、3次元的な空間を監視対象領域として定義している地図であってもよい。
また、解像度重みマップ121は、監視対象領域内を所定の粒度で小領域に分割し、領域ごとに解像度の重みを定義したが、これ以外にも、例えば同等の重要度を持つ領域ごとにその範囲を直接定義するなど、監視対象領域内の各場所に対して、その場所の解像度の重みを一意に決定することのできる内容であれば良い。
記憶部105にはさらに、通信部110を介して得られた周囲のカメラ端末101aの撮影領域の位置情報122、及び解像度の重み情報123が記憶されており、他のカメラ端末101aとの通信が行われるたびに、最新の撮影領域の位置情報122と解像度重み情報123に内容が更新される。
次に、実施の形態1におけるカメラ端末101の設置の一例として図13に示す床面の形状が矩形の室内において、8台のカメラ端末101を設置した場合を例に、実施の形態1における複数のカメラ端末101が撮影している場所の重要性に応じて互いの解像度に差を持たせながらも、監視対象領域全体をくまなく撮影させるための制御方法について説明する。
なお、図13においてカメラ端末101の台数は、例えばカメラ端末101の焦点距離がその最大値と最小値の中間の値で、監視対象領域の天井から床面を撮影した時の撮影領域の大きさを基準面積とすると、各カメラ端末101の基準面積の総和が監視対象領域全体の広さより大きくなる台数が用いられており、監視対象領域全体を撮影するために十分な台数のカメラ端末101が用意されているものとする。また、図13の監視対象領域の監視対象領域マップ120、及び解像度重みマップ121は図12の監視対象領域マップ120、及び解像度重みマップ121で表されているものとする。
図14は各カメラ端末101の一連の制御方法を示したフローチャートである。以下、フローチャートの各ステップに従ってカメラ端末101の制御方法を説明する。
(ステップ101)
撮影領域判定部111はカメラ制御部107よりカメラ106のパン角、チルト角、及びズーム値(焦点距離)等を取得し、記憶部105に記憶されている監視対象領域マップ120上におけるカメラ端末101が撮影している領域(以下、撮影領域)を算出する。なお、図13のように天井に設置されたカメラ端末101が、設置位置と方向、及びパン角、チルト角、ズーム値(焦点距離)の値から監視対象領域マップ120上での撮影領域の位置の算出方法については後述する補足説明で説明する。
(ステップ102)
次に、解像度重み判定部112は、ステップ101で求められた撮影領域の位置に対応する解像度重みマップ121上の位置からカメラ端末101の解像度の重みを判定する。
実施の形態1では、解像度重みマップ121により監視対象領域(床面)に対しては場所ごとに解像度の重みが決められており、例えば図15に示すようにカメラ端末Aとカメラ端末Cが解像度の重みが一様な領域を撮影する場合には、その値がカメラ端末自身の解像度の重みとなり、図15の例ではカメラ端末Aの解像度の重みは2、カメラ端末Cの解像度の重みは3と決定される。
また、カメラ端末Bのように解像度の重みが異なる領域をまたがって撮影する場合には、撮影領域内における解像度の重みの平均値を用いる。平均値を求める方法としては、解像度の重みの異なる領域ごとに、その領域の面積に解像度の重みを掛け合わせたものを足し合わせ、最後に撮影領域全体の面積で割ることで求められる。例えば図15のカメラ端末Bが解像度の重みが1の領域の面積がS1、解像度の重みが2の領域の面積がS2であったとすると解像度の重みは、(1×S1+2×S2)/(S1+S2)として求められる。
なお、カメラ端末101の解像度の重みは、上記に説明した方法以外にも、解像度の重みの値が大きい場所の高解像度撮影を優先させるために、撮影領域において解像度の重みが最も大きい値をカメラ端末101の解像度の重みに決定したり、計算処理を簡略化するために、撮影領域の中心座標が指し示す場所の解像度の重みを用いたりしてもよい。
(ステップ103)
次に、通信部110は、例えば1秒間に10回など、所定の時間間隔で周囲のカメラ端末101aとお互いの撮影領域の位置情報122、及び解像度の重み情報123の送受信を行い、他のカメラ端末101aと撮影領域の位置情報及び解像度の重みの共有を行う。
(ステップ104)
隣接領域判定部113は、記憶部105に記憶されている他のカメラ端末101aの撮影領域の位置情報122及び監視対象領域マップから、撮影領域が隣り合う他のカメラ端末101aの撮影領域、又は監視対象領域の境界線を特定する。
実施の形態1における隣接領域判定部113は自身の撮影領域の中心座標から監視対象領域の各境界線と垂直に交わる方向に対して隣り合う撮影領域、又は監視対象領域の境界線を1つずつ判定する。実施の形態1では図12や図13に示したように監視対象領域の形状が矩形をしているため、カメラ端末101は監視対象領域の境界線に垂直な角度をなす4つの方向に対して他のカメラ端末101aの撮影領域、又は監視対象領域の境界線を判定することとなる。また、1つの方向に複数の撮影領域が存在する場合には、撮影領域の中心座標が最も近い相手を選択する。
隣接領域判定部113において、例えば図16(a)のようにカメラ端末101の撮影領域が配置されているとすると、カメラ端末Aは北側と西側に対して監視対象領域の境界線を、また、南側にはカメラ端末Cの撮影領域を、東側にはカメラ端末Bの撮影領域を隣り合う撮影領域として判定することになる。
(ステップ105)
解像度調整部114は、周囲のカメラ端末101aと互いが撮影している領域の重要度に応じて解像度の値を調整し、さらに撮影領域調整部115は、撮影領域が隣り合う他のカメラ端末101の撮影領域、又は監視対象領域の境界線と隙間なく隣接することで、周囲に死角領域が生じないように撮影領域の位置を調整する。
まず、解像度調整部114による解像度の調整のための制御方法について説明する。
ここで解像度調整部114による調整内容を説明するためにカメラ端末101自身の現在の解像度をrとし、解像度の重みをwとし、さらに記憶部105に記憶されている撮影領域と隣り合う領域を撮影するN台のカメラ端末101aの解像度をRi、及び解像度の重みをWi(ただしi=(1、2、・・・、N)として、以下の式1に示す評価関数F(r)によりカメラ端末101と周囲のカメラ端末101aの関係を定義する。
Figure 2006132029
ただしカメラ端末101の解像度rは、カメラ端末101の撮影領域の面積をSArea、CCDの有効画素数をNPixelとすると、以下の式2に定めた定義により求めた値を用いている。
Figure 2006132029
上記式1で定義した評価関数F(r)はカメラ端末101の解像度に解像度重み判定部112で求められた解像度の重みを掛け合わせた値(以下、重み付き解像度)と、その周囲を撮影するカメラ端末101aの重み付き解像度との差を二乗して足し合わせたものである。
このため評価関数F(r)はカメラ端末101の重み付き解像度と、周囲のカメラ端末101aの重み付き解像度が等しい値に近づけば値が小さくなり、逆に周囲のカメラ端末101aの重み付き解像度の値が、カメラ端末101の重み付き解像度の値から大きく異なれば値が大きくなる関数である。
解像度調整部114はカメラ端末101の重み付き解像度が周囲のカメラ端末101aの重み付き解像度と等しくなるようにカメラ106のズーム値(焦点距離)を調整することにより、領域ごとに割り当てられた解像度の重みに応じて解像度に差をつけた調整を実現させる。このため解像度調整部114は自身の重み付き解像度が、周囲のカメラ端末101aの重み付き解像度との差が小さくなるように、すなわち評価関数F(r)の値が減少するように解像度の調整を行う。実施の形態1ではカメラ端末101の焦点距離fの値を調整することで間接的に解像度の調整を行う。このため解像度調整部114は、上記式1の評価関数を焦点距離fの値で偏微分した関数を用いて、以下の式3に示す偏微分方程式を用い、最急降下法により焦点距離fの値を調整することでカメラ端末101は評価関数F(r)の値を減少させることが可能となる。すなわち自身の重み付き解像度を周囲のカメラ端末101aの重み付き解像度と誤差がより小さくなるように焦点距離fの制御を行うことができる。
Figure 2006132029
ただし、αは係数である。また、評価関数F(r)は焦点距離fで偏微分可能な関数であるとする。
このように全てのカメラ端末101が解像度調整部114により自身の評価関数F(r)の値を調整することにより、全てのカメラ端末101の重み付き解像度の値を均一な値に近づけることができる。
また、実施の形態1では、重み付き解像度をカメラ端末101の現在の解像度rに解像度の重みwを単純に掛け合わせたもの(r×w)を用いたが、例えば解像度の重みの効果をさらに強く反映させるために解像度の重みを二乗した値(w)や、重みの値がある閾値をこえた時に効果が現れる機能を与えるために、以下の式4に示すシグモイド関数のような非線形関数G(w)を解像度rに掛け合わせるなど、目的に応じて重み付き解像度の定義を変えたものを用いてもよい。
Figure 2006132029
但しα、βは定数である。
また、実施の形態1ではカメラ端末101の現在の解像度rに解像度の重みwを掛け合わせて求められる重み付き解像度を各カメラ端末101間で均一にすることで、各カメラ端末101が撮影する映像の解像度rの比率が、解像度の重みwの比率に近づくように調整する例を説明したが、例えば、重み付き解像度を現在の解像度rに解像度の重みwを足し合わせたもの(r+w)として定義してもよい。現在の解像度rに解像度の重みwを足し合わせた重み付き解像度(r+w)を用いてカメラ端末101の解像度rを調整する場合には、解像度の重みwの分だけ差がつくように各カメラ端末101の解像度rを調整することができる。
さらに重み付き解像度は、解像度rを底とし、解像度の重みwを指数とした累乗(r)の形で定義される値を用いるなど、各カメラ端末101の重み付き解像度の値を均一した時に、重要な領域を撮影するカメラ端末101の撮影映像の解像度rが、それ以外の領域を撮影するカメラ端末101の解像度rよりも高くなるように定まる値であれば良い。
次に、撮影領域調整部115による撮影領域の調整のための制御方法について説明する。
ここで撮影領域調整部115による制御内容を説明するために、カメラ端末101自身の現在の撮影領域と、これと隣り合う他のカメラ端末101aの撮影領域との重なり領域の大きさoverlapと、監視対象領域の境界線までの距離distanceの値に対して評価関数H(θPan,θTilt,f)を、以下の式5のように定義する。ただし評価関数H(θPan,θTilt,f)はカメラ106のパン角θPan、チルト角θTilt、焦点距離fの値を引数に持つ関数であり、また、カメラ端末101自身と隣り合う撮影領域の数をm、境界線の数をnとする。
Figure 2006132029
ただし(C,D)は定数である。
上記式5の評価関数H(θPan,θTilt,f)において、右辺の第1項は隣り合う撮影領域との重なり幅の大きさとその目標値(定数C)との差の二乗和、また、第2項は隣り合う監視対象領域の境界線との距離とその目標値(定数D)との差の二乗和を表している。
ここで評価関数H(θPan,θTilt,f)の具体的な求め方を説明するために、3台のカメラ端末101の撮影領域が、図16に示す配置にあった場合を例に説明する。なお、図16では撮影領域間の重なり領域の大きさ、及び監視対象領域の境界線との距離を求めやすいように、撮影領域の大きさを補足説明で求められる撮影領域に対して、監視領域の境界線と平行な直線で内接する矩形領域を撮影領域としている。
図16(a)のようにカメラ端末A、カメラ端末B、カメラ端末Cが配置されている場合、カメラ端末Aは北側と西側に監視対象領域の境界線と隣り合い、東側と南側にそれぞれカメラ端末B、カメラ端末Cとなりあっている。このため図16(a)の状態におけるカメラ端末Aの評価関数Hの値は、以下の式6のように与えられる。
Figure 2006132029
上記式6において右辺の第1項はカメラ端末Aが撮影している撮影領域Aとカメラ端末Bが撮影している撮影領域Bの重なり幅を求めるために撮影領域Aの東側の端(x座標)から、撮影領域Bの西側の端(x座標)を引いた値から、さらに目標値(定数C)を引いたものを二乗した項である。
右辺の第2項は撮影領域Aとカメラ端末Cが撮影している撮影領域Cとの重なり幅を求めるために撮影領域Aの南側の端(y座標)から、カメラ端末Cの北側の端(y座標)を引いた値に、さらに目標値(定数C)を引いたものを二乗した項である。
右辺の第3項は撮影領域Aと西側の境界線との距離を求めるために撮影領域Aの北側の端(y座標)から、北側の境界線の位置(y座標)を引いた値から、さらに目標値(定数D)を引いたものを二乗した項である。
右辺の第4項は撮影領域Aと北側の境界線との距離を求めるために撮影領域Aの北側の端(y座標)から、北側の境界線の位置(y座標)を引いた値から、さらに目標値(定数D)を引いたものを二乗した項である。
また、上記式6の評価関数H(θPan,θTilt,f)は図16(b)に示すように隣り合う撮影領域を持つ他のカメラ端末101aと一定の撮影領域の重なり幅(定数C)を持ち、さらに自身の撮影領域が監視対象領域の境界線と隣り合う場合には、境界線との間に死角がないように境界線の外側に距離(定数D)だけ撮影領域が仮想的に飛び出すような状態にある時に最も小さな値をとる関数であり、隣り合う撮影領域との重なり幅や監視対象領域の境界線との距離が定数Cや定数Dから離れるにつれて値が大きくなる関数である。
このため撮影領域調整部115は、評価関数H(θPan,θTilt,f)により与えられる値が最小値に近づくように撮影領域を調整することで、周囲のカメラ端末101aの撮影領域や、監視対象領域の境界線との間に生じる死角領域を減少させることができる。
実施の形態1においてカメラ端末101はパン角θPan、チルト角θTilt、焦点距離fを調節することで撮影領域の位置調整を行うので、撮影領域調整部115は、評価関数H(θPan,θTilt,f)をそれぞれパン角θPan、チルト角θTilt、焦点距離fで偏微分した関数を用いた以下の式7、式8、式9によりパン角θPan、チルト角θTilt、焦点距離fの値を最急降下法により制御する。これにより撮影領域調整部115は、自身の撮影領域の周りに存在する死角領域が減少するようにカメラ端末101の撮影領域を調整することができる。
Figure 2006132029
Figure 2006132029
Figure 2006132029
ただしβ、γ、δは係数である。
また、上記ステップ5において、カメラ端末101の画角は解像度調整部114と撮影領域調整部115の両方によって制御される。このため画角の値を決める焦点距離を制御するための偏微分方程式は、上記式3と上記式8とを組み合わせた以下の式10で表すことができる。
Figure 2006132029
さらに上記式10においてαの値をδの値に対して大きくした場合にはカメラ端末間の重み付き解像度の調整作用が大きく働き、逆にαの値に対してδの値を大きくした場合には、監視対象領域内の死角領域を減少させる作用が大きく働くため、係数α、δの比を調整することで、監視システムに対して死角の監視動作を優先させるか、また、監視領域内の重点領域の高解像度撮影を優先させるかを調整することができる。
このように全てのカメラ端末101が撮影領域調整部115により自身の評価関数H(θPan,θTilt,f)の値を調整することにより、全てのカメラ端末101の撮影領域は隣り合う他のカメラ端末101aの撮影領域、又は監視対象領域の境界線と隙間なく隣接するように撮影領域の位置を調整することができる。
なお、上記式5において隣り合う撮影領域の重なり幅C、および隣り合う監視対象領域の境界線までの距離Dは、監視システムを構成するカメラ端末101全てにおいて同じ値をとる場合を例に説明したが、カメラ端末の設置位置や設置密度等に応じて、カメラ端末101ごとに定数C、定数Dの値が異なっていてもよい。また、隣り合う撮影領域の重なり幅Cや隣り合う境界線までの距離Dは常に一定の値をとる方法以外にも、例えば隣り合う撮影領域の大きさに応じて重なり幅を自動的に調整するような変数であってもよい。
以上までに説明してきた制御方法を用いることにより、図12(a)の監視対象領域マップで与えられた監視対象領域に対して図13のように配置されたカメラ端末101は、図12(b)で記述された解像度重みマップに従って図17に示すように解像度の重みが高い領域を、それ以外の領域よりも高解像度に撮影しながら、さらに監視対象領域全体を撮影するように全てのカメラ端末101の撮影領域の位置と解像度を調整することができる。
このように実施の形態1のカメラ制御装置、及び制御方法を用いて複数のPTZカメラを制御することにより、例えば屋内のリビングなどの監視などにおいて、外部からの侵入者を警戒するために窓やドアなどの外部からの出入口付近は、その他の領域よりもより重点的に監視しておきたいなど、場所ごとに監視の重要度を変えて監視を行いたい場合に、監視の目的にあわせて監視の重要度の高い場所を予め解像度重みマップとして定義しておくことで、重要な場所を周囲の場所よりも高解像度に撮影しながらも、監視対象領域全体がくまなく撮影されるように複数のPTZカメラの撮影領域の自動調整を行うことができる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
実施の形態1のカメラ端末101は監視の重要な領域の位置を解像度重みマップとして各カメラ端末101に記憶させておくことにより、場所ごとの重要度に応じてカメラ端末101間で解像度の値に差を設けながら、監視対処領域全体を撮影することができた。さらに実施の形態2のカメラ端末201は監視の重要度の高い場所の配置パターンが変化する監視対象領域に対して、予め想定される配置パターンを複数の解像度重みマップ121として用意しておき、状況に応じて解像度重みマップ121を選択して利用することで監視の重要度の高い場所の配置パターンが変化する状況にも対応できる監視システムを実現するものである。
まず、実施の形態2におけるカメラ端末201の構成について説明する。なお、実施の形態2におけるカメラ端末201は、実施の形態1におけるカメラ端末101と同様の基本構成(通信IF103、処理部104a、記憶部105a、カメラ106及びカメラ制御部107)を備えるが、処理部104aの機能と記憶部105aの内容が実施の形態1と異なる。
図18は実施の形態2におけるカメラ端末201の処理部104aの内部構成を示したブロック図を示す。処理部104aは、実施の形態1における処理部104の構成に加えて、解像度重みマップ選択部116及び計時部117を備える。なお、実施の形態1と同じ構成については同じ記号を付与し、説明を省略する。
解像度重みマップ選択部116は、所定の規則に従って解像度重み判定部112で用いる解像度重みマップ121を選択する処理部であり、例えば、監視の状況を特定し、特定した監視の状況と後述する解像度重み選択リストに定義された規則とに基づいて、監視の状況に対応する解像度重みマップを選択する。
計時部117は現在の時刻を取得する処理部である。
また、実施の形態2におけるカメラ端末201の記憶部105aには、解像度重みマップ121が複数用意されており、さらに監視状況に応じてどの解像度重みマップを利用するかを定義した解像度重み選択リスト124が記憶されている。図19(a)〜(c)に実施の形態2における記憶部105aに記憶されている解像度重みマップ121(マップ001、マップ002)と解像度重み選択リスト124の一例を示す。実施の形態2では解像度重みマップ121としてマップ001とマップ002の2つが用意されており、また、解像度重み選択リスト124には、解像度重みマップ選択部116が解像度重みマップ121を選択する条件として撮影時刻と選択すべき解像度重みマップ121との関係が定義されており、図19の例では時刻が7時から19時の間は解像度重みマップ001が選択され、また、時刻が19時から7時の間は解像度重みマップ002が選択されるように規則が定義されている。
次に、実施の形態2におけるカメラ端末201の制御方法について図20のフローチャートを用いて説明する。
図20は実施の形態2におけるカメラ端末201の一連の制御方法を示したフローチャートである。以下、フローチャートの各ステップに従ってカメラ端末201の制御方法を説明する。なお、実施の形態1と同様の制御方法については同じ記号を付与し、説明を省略する。
(ステップ101)
実施の形態1と同様の制御である。
(ステップ106)
解像度重みマップ選択部116は計時部より現在の時刻を取得し、記憶部105aに記憶されている解像度重み選択リストを参照して、現在の時刻において参照すべき解像度重みマップ121を選択する。
(ステップ102)
解像度重み判定部112は解像度重みマップ選択部116において選択された解像度重みマップ121を用いて、実施の形態1のカメラ端末101と同様の制御方法により、解像度の重みを判定する。
(ステップ103)から(ステップ105)
実施の形態1と同様の制御である。
以上までに説明してきた制御方法を用いることにより、例えば図13に示す床面の形状が矩形の室内において、高さ一定の天井に8台のカメラ端末201を設置し、さらに室内の床面を監視対象領域として監視を行わせる時に、住人が在室している19:00から7:00の間は、住人の状態や行動を監視しやすいように住人がよく利用するテーブル周辺を重点的に監視し、また、住人が不在となる7:00から19:00の間はセキュリティ対策のために部屋への出入口を重点的に監視するために、図19の解像度重みマップ121(マップ001とマップ002)、さらに解像度重み選択リスト124を各カメラ端末201の記憶部105aに与えた場合、図21に示すように撮影時刻の変化に応じて、予め指定しておいた重要度の高い場所が高解像度の映像として撮影されるように、各カメラ端末201の撮影領域の位置と解像度を自動的に調整することができる。
このように実施の形態2のカメラ制御装置、及び制御方法を用いて複数のPTZカメラを制御することにより、例えば室内の監視などにおいて時間とともに重要な場所の配置パターンが変化する場合に対しても、配置パターンの変更にあわせて常に重要な領域を高解像度に撮影しつつ、監視対象領域全体がくまなく撮影されるように複数のPTZカメラの撮影領域を自動的に調整することができる。
なお、実施の形態2では計時部117で取得された時刻情報に基づいて解像度重みマップ121を選択する例を示したが、これ以外にも曜日や日付などによって解像度重みマップ121を選択しても良い。また、日時による解像度重みマップ121の選択以外にも、例えばドアの鍵の施錠状態や人の在室状態と解像度重みマップ121との関係を解像度重み選択リスト124に定義しておき、解像度重みマップ選択部はドアの鍵の施錠状態や人の在室状態をカメラやその他のセンサ等で検出して検知内容に応じて解像度重みマップ121を変更するようにしても良い。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
実施の形態1のカメラ端末101は監視における重要ポイントを監視対象領域内の場所ごとに決めておくことで、各カメラ端末101が撮影する場所の重要性に応じて解像度に差を設けながらも、監視対象領域全体の撮影を行った。
さらに実施の形態3のカメラ端末301は監視目的によっては監視の重要度が撮影している場所ではなく、カメラの視界に所定の対象物が存在しているかどうかに依存する場合、撮影映像内に対象物が写っているかどうかによって解像度重みを判定することで、対象物の存在や位置にあわせて各カメラ端末301の解像度に差を設けながらも監視対象領域全体を撮影する監視システムを実現するものである。
まず、実施の形態3におけるカメラ端末301の構成について説明する。なお、実施の形態3におけるカメラ端末301は、実施の形態1におけるカメラ端末101と同様の基本構成(通信IF103、処理部104b、記憶部105b、カメラ106及びカメラ制御部107)を備えるが、処理部104bの機能と記憶部105bの内容が実施の形態1と異なる。
図22は実施の形態3におけるカメラ端末301の処理部104bの内部構成を示したブロック図を示す。処理部104bは、実施の形態1における処理部104の構成に加えて、画像処理部118を備える。なお、実施の形態1と同じ構成については同じ記号を付与し、説明を省略する。
画像処理部118はカメラ106で撮影された映像の特徴を抽出し、予め用意されているテンプレート画像と特徴の類似する画像が存在するかどうかを判定する処理部である。
また、実施の形態3におけるカメラ端末301の記憶部105bには、図23に示すようなテンプレート画像125が用意されており、また、テンプレート画像125ごとに解像度重みを定義したテンプレート画像リスト126が用意されている。
実施の形態3では、図23(a)及び(b)に示す机と人物の上半身の画像がテンプレート画像125として用意されており、また、図23(c)に示すテンプレート画像リスト126には机は解像度重みが2、人物の解像度重みは3と定義されている。また、撮影映像の中にテンプレート画像に定義された対象物が写っていない場所については解像度の重みを1とするように定義されている。
次に、実施の形態3におけるカメラ端末301の制御方法について図24のフローチャートを用いて説明する。
図24は実施の形態3におけるカメラ端末301の一連の制御方法を示したフローチャートである。以下、フローチャートの各ステップに従ってカメラ端末301の制御方法を説明する。なお、実施の形態1と同様の制御方法については同じ記号を付与し説明を省略する。
(ステップ101)
実施の形態1と同様の制御である。
(ステップ107)
画像処理部118はカメラ106により撮影された映像の中から、記憶部105bに記憶されているテンプレート画像に特徴が似た領域が存在するかどうかを判定する。カメラ106の撮影映像から、記憶部105bに記憶されているテンプレート画像と特徴が似た領域が存在するかどうかを判定する方法としては、テンプレートマッチング法等のアルゴリズムなどを用いることが挙げられる。
(ステップ102)
解像度重み判定部112は画像処理部118において撮影領域内にテンプレート画像と同じ特徴を持つ対象物が存在すると判定された場合に、記憶部105bに記憶されているテンプレート画像リスト126から、選択されたテンプレート画像125に対応する解像度の重みを決定する。
(ステップ103)から(ステップ105)
実施の形態1と同様の制御である。
以上までに説明してきた制御方法を用いることにより、例えば図13に示すようにカメラ端末301を室内の天井に設置し、さらに室内の床面を監視対象領域として監視を行わせる時に、図23(a)及び(b)に示す机と人物のテンプレート画像125、及び夫々のテンプレート画像125に対する解像度の重みを定義した図23(c)に示すテンプレート画像リスト126を各カメラ端末301の記憶部105bに与えておくことによりカメラ端末301の撮影領域内にテンプレート画像125の特徴と同じ特徴を持つ机や人物が存在する場合には、図25に示すように机や人物に割り当てられた解像度の重みと場所に応じて対象物を高解像度に撮影しながらも、監視対象領域全体がくまなく撮影されるように自動的に複数のカメラ端末301の撮影領域を調整することができる。
このように実施の形態3のカメラ制御装置、及び制御方法を用いて複数のPTZカメラを制御することにより、例えば監視の重要度が特定の場所ではなく、PTZカメラの撮影映像に写る所定の対象物の存在に依存し、さらに対象物の位置が変化する可能性がある場合においても、重点的に監視したい対象物の特徴を定義した情報と、その対象物を撮影する時に用いる解像度の重みを用意しておくだけで、所定の対象物を周囲の領域よりも高解像度な映像として撮影しながらも、監視対象領域全体がくまなく撮影されるように複数のPTZカメラの撮影領域を自動的に調整することができる。
なお、実施の形態3ではテンプレート画像125として、重点的に監視を行いたい机と人型の形状などの特徴を記録した画像データを用いたが、これ以外にも床面の色や模様等の特徴を記録したテンプレート画像125を用いることで、テンプレート画像125以外の色や模様を検出した時に、そこに対象物が存在する判定するなど、間接的に対象物の存在を特定できるテンプレート画像125等を用いてもよい。
また、実施の形態3のカメラ端末301は、実施の形態2における解像度重みマップ121と解像度重み選択リスト124を記憶部105bに記憶し、さらに解像度重みマップ選択部116をさらに備えることで、カメラ端末401の映像に移った対象物の重要度に加えて、監視対象領域の場所ごとの重要度を組み合わせることで、例えば重要度の高い場所であっても、監視員(対象物)がいる場所は重要度を下げ、逆に重要度の低い場所であっても、不審者がいる場所の重要度を上げるといったように場所と対象物の関係に応じたカメラ端末の撮影領域の位置と解像度の調整を行うカメラ制御装置、及び制御方法であってもよい。
(実施の形態4)
次に、本発明の実施の形態4について説明する。
実施の形態1のカメラ端末101、及び実施の形態2のカメラ端末201では監視における重点的に監視を行いたい領域の配置パターンが、予め解像度重みマップとして用意されていた。さらに実施の形態4のカメラ端末401は監視対象によっては想定される状況が複雑になり、全ての状況に対して解像度重みマップを用意することができない場合において、撮影映像の内容から解像度重みマップ121を自動的に作成し、これを用いることにより、予め想定していなかった状況に対しても重要度の高い領域の配置パターンを特定し、これにあわせて常に重要度の高い領域をその周囲の領域よりも高解像度な映像として撮影しながらも、監視対象領域全体がくまなく撮影されるように複数のカメラ端末401の撮影領域の調整を行うものである。
まず、実施の形態4におけるカメラ端末401の構成について説明する。なお、実施の形態4におけるカメラ端末401は、実施の形態1におけるカメラ端末101と同様の基本構成(通信IF103、処理部104c、記憶部105c、カメラ106及びカメラ制御部107)を備えるが、処理部104cの機能と記憶部105cの内容が実施の形態1と異なる。
図26は実施の形態4におけるカメラ端末401の処理部104cの内部構成を示したブロック図を示す。処理部104cは、実施の形態3における処理部104bの構成に加えて、解像度重みマップ作成部119を備える。なお、実施の形態1、実施の形態2、実施の形態3と同じ構成については同じ記号を付与し説明を省略する。
解像度重みマップ作成部119は画像処理部118において解析された撮影領域に対して、所定の規則に従って解像度重みマップ121上の値を更新する処理部であり、より詳しくは、後述する解像度重みマップ作成規則に従って、カメラ106の撮影画像から解像度重みマップを作成する。
また、実施の形態4におけるカメラ端末401の記憶部105cには解像度重みマップを作成するための規則を定義した解像度重みマップ作成規則127が用意されている。実施の形態4における解像度重みマップ作成規則127の例を図27に示す。図27の解像度重みマップ作成規則127では、過去5分間に画像処理部118において人物が検出されている時間が80%以上の場所は解像度の重みを2とし、80%未満の場所は解像度の重みを1とすることが定義されている。
次に、実施の形態4におけるカメラ端末401の制御方法について図28のフローチャートを用いて説明する。
図28は実施の形態4におけるカメラ端末401の一連の制御方法を示したフローチャートである。以下、フローチャートの各ステップに従ってカメラ端末401の制御方法を説明する。なお、実施の形態1、実施の形態2、実施の形態3と同様の制御方法については同じ記号を付与し説明を省略する。
(ステップ101)
実施の形態1と同様の制御である。
(ステップ107)
画像処理部118はカメラ106が撮影した映像の中から、記憶部105cに記憶されているテンプレート画像125と特徴が似た領域が存在するかどうかを判定する。
(ステップ108)
解像度重みマップ作成部119は画像処理部118により判定された監視対象領域内の状況と、記憶部105cに記憶されている解像度重みマップ作成規則127の内容に従って記憶部105cに記憶されている解像度重みマップ121の内容を更新する。たとえば、解像度重みマップ作成部119は、過去5分間に画像処理部118において人物が検出されている時間が80%以上の場所は解像度の重みを2とし、80%未満の場所は解像度の重みを1とするように、解像度重みマップ121のうち、自身が撮影している領域に対応する箇所の内容を更新する。
(ステップ102)
実施の形態1と同様の制御である。
(ステップ103)
通信部110により周囲のカメラ端末401aとお互いの撮影領域の位置情報122、解像度の重み情報123、さらに解像度重みマップ121のうち自身が内容を変更した部分の情報について送受信を行い、他のカメラ端末401aと情報の共有を行う。
(ステップ104)から(ステップ105)
実施の形態1と同様の制御である。
以上までに説明してきた制御方法を用いることにより例えば図29に示すように人通りの多い駅の乗換えホームなどにおいて、複数のカメラ端末401を監視対象領域の撮影に適した高さの位置に設置し、さらにカメラ端末401に図23に示したテンプレート001と図に示した解像度重みマップ作成規則127を与えた場合、カメラ端末401は画像処理部118でテンプレート001として与えられた人型の形状をした物体を特定し、さらに解像度重みマップ作成部119において、過去5分間の撮影映像において人型の物体が4分以上存在していた場所の解像度重みを2、それ以外の場所については解像度の重みが1になるように解像度重みマップ121の内容を変更する。また、カメラ端末401は他のカメラ端末401が変更した解像度重みマップ121の情報を共有することにより、監視対象領域全体の解像度重みマップの内容を人の流れの変化にあわせて変更する。これにより例えば図29の左図、図29の右図に示すそれぞれの状況に対して、図30(a)、図30(b)のような解像度重みマップ121が自動的に作成され、全てのカメラ端末401の間で共有される。また、複数のカメラ端末401は作成された解像度重みマップ121を基に、互いの撮影領域の位置と解像度を調整することにより、図31の左図、図31の右図に示すように人の流れにあわせて、人がよく通る場所(混雑している場所)は高解像度に撮影しながらも、監視対象領域全体を撮影することができる。
このように実施の形態4のカメラ制御装置、及び制御方法を用いて複数のPTZカメラを制御することにより、例えば駅の乗換えホームなどで人の流れを監視する場合など、監視の重要度の高い領域の配置パターンの変化を予め想定できないような場合においても、撮影映像の内容を基に監視の重要領域の配置パターンを把握し、配置パターンにあわせて常に重要度の高い領域がその周囲の領域よりも高解像度の映像として撮影しながら監視対象領域全体がくまなく撮影されるように複数のPTZカメラの撮影領域を自動的に調整ができる。
なお、実施の形態4のカメラ端末401は、解像度重みマップ作成部119で作成した解像度重みマップ121と、解像度重みマップ121を作成した時の状況を判定条件として記録した解像度重み選択リスト124を記憶部105cに記憶し、さらに実施の形態2における解像度重みマップ選択部116をさらに備えることで、監視システム自身が監視対象領域の状況(判定条件)とその対応方法(解像度重みマップ)の関係を記憶(学習)するようにしても良い。
これにより例えば通勤ラッシュ時の駅の乗換えホームにおいて、路線の異なる電車の到着時するたびに人の流れが変化し、その人の流れ方が到着した電車の路線よって決まっている場合には、電車の到着時刻とその後に人の存在確率が高くなる場所との関係を解像度重みマップ121、及び解像度重み選択リスト124に記述して各カメラ端末401に記憶(学習)させることにより、監視対象領域(駅)に特有の出現頻度の高い状況(人の流れ)に対しては、その都度解像度重みマップを作成することなく、以前に作成した解像度重みマップを用いることで状況(人の流れ)の変化に迅速に対応したカメラ端末401の調整を行うことができる。
また、実施の形態1〜4においては各カメラ端末が周囲のカメラ端末や監視対象領域の状態にあわせて自律的に動作する場合を例に説明したが、図32に示すように複数のカメラ端末を集中監視する集中管理装置130を具備した構成をとっても良い。図32に示される監視システムでは、実施の形態1〜4において各カメラ端末に備えられていた処理部と記憶部が集中管理装置130内にまとめて置かれた構成となっている。なお、図32において、図9と同等の構成については、同じ番号を付与し説明を省略する。
操作部131は管理者132が監視システム内の記憶部105に記憶されている解像度重みマップ121の内容を直接変更する処理を指示するためのユーザインターフェイスである。
このように集中管理型の構成を用いることにより、管理者132は重点的に監視を行いたい領域の指定や解除を、集中管理装置130の記憶部105に記録されている解像度重みマップ121を直接選択したり、解像度重みマップ121の内容を編集したりすることで行うことができる。
また、監視対象領域内の監視の重要な領域の配置パターンに対して目的の監視条件を満たすような全てのカメラ端末のパン角、チルト角、焦点距離等の組合せを予め決めておくことが可能な場合には、解像度重みマップ121の代わりに図33(a)及び(b)に示すようなパン角、チルト角、焦点距離などの組合せを定義した複数のプリセット情報128と、プリセット情報128を選択するための条件を定義したプリセット選択リスト129を集中管理装置130の記憶部105に用意しておき、集中管理装置130にある解像度重みマップ選択部116により、解像度重みマップの選択と同様にプリセット選択リスト129に基づいてプリセット情報128を選択し、選択されたプリセット情報128に記述されているパン角、チルト角、焦点距離の値に直接各カメラ端末のカメラ制御部107を介して調整するような構成であってもよい。このようなプリセット情報128を用いた場合であっても、解像度重みマップ121を用いた場合と同様に、例えば室内の監視などにおいて時間とともに重要な場所の配置パターンが変化する場合には、時刻に応じて重量監視領域をその周辺領域よりも高解像度な映像として撮影しつつ、監視対象領域全体がくまなく撮影しつづけることができる。
(補足説明)
次に、補足説明として、実施の形態1〜4で記したカメラ端末101〜401の撮影領域の算出方法について説明する。
図34はカメラ端末101〜401の撮影領域の算出方法を説明する図である。図34において、カメラ2103は、実施の形態1〜4におけるカメラ端末101〜401のカメラ106に対応し、レンズ2101と撮像面2102とを備える。X軸2104及びY軸2105及びZ軸2106は、お互い直交し、レンズ201を原点としたカメラ座標軸系を構成する。カメラ2103は各軸回りに、パン(Y軸2105回り回転)、チルト(X軸2104回り回転)、ロール(Z軸2106回り回転)回転する。それぞれの回転角度をΘPC、ΘTC、ΘRCと示す。撮像面2102はレンズ2101よりZ軸2106方向にf離れた距離に存在し、2W×2Hの大きさを持つ。X軸2107及びY軸2108及びZ軸2109は、お互い直行し、世界座標軸系を構成する。X軸2107は図9に示すX軸120及び図29に示すX軸1120、Z軸2109は図9に示すZ軸122及び図29に示すZ軸1122にあたる。カメラ2103は世界座標軸系において、(XT,YT,ZT)で示される位置に存在し、同位置を基点として(ΔXTW,ΔYTW,ΔZTW)だけ移動する。
軸2104及びY軸2105及びZ軸2106で構成されるカメラ座標軸系上のある点(XC,YC,ZC)は、以下の式11により、X軸2107及びY軸2108及びZ軸2109で構成される世界座標軸上の点(X,Y,Z)に変換できる。
Figure 2006132029
同式において、M00からM22を要素とする3×3行列値は、カメラ2103の姿勢基準点(カメラ2103の姿勢の回転角度(ΘPC,ΘTC,ΘRC)=(0,0,0))の行列値、R00からR22を要素とする3×3行列値は、カメラ2103の姿勢基準点からの姿勢変位をあらわす行列値、(XTW,YTW,ZTW)はカメラ2103の位置基準点(カメラ2103の位置の変位(ΔXTW,ΔYTW,ΔTW)=(0,0,0))の位置、(ΔXTW,ΔYTW,ΔZTW)はカメラ2103の位置基準点からの位置変位をあらわす。
00からM22を要素とする3×3行列値や(XTW,YTW,ZTW)は、カメラ2103を姿勢基準点及び位置基準点にあわせる、又は、現在のカメラ2103の姿勢及び位置をそれぞれ姿勢基準点及び位置基準点とし、以下の文献1に示すキャリブレーション方法などを用いることにより算出可能であり、本発明の検出領域調整装置の動作開始前に事前に算出しておく。
R.Tsai.A Versatile Camera Calibration Technique for High−Accuracy 3D Machine Vision Metrology Using Off−the−Shelf TV Cameras and Lenses.IEEE journal of Robotics and Automation,Vol.RA−3,No.4,pp.323−344,1987
00からR22を要素とする3×3行列値は、以下の式12に示すように、カメラ2103の姿勢である回転角度(ΘPC,ΘTC,ΘRC)より算出可能である。
Figure 2006132029
なお、回転角度(ΘPC,ΘTC,ΘRC)は、本発明の実施の形態1〜4においては、カメラ制御部107が読み取る。
カメラ2103の位置基準点からの位置変位である(ΔXTW,ΔYTW,ΔZTW)は、同カメラ2103の位置をステッピングモータなどで変化させる仕組みであれば、同ステッピングモータよりその変位を読み取れる。
撮像面2102上の各点(XPC,YPC,f)は、以下の式13、式14、式15により、Z=Zである実空間面2110上の(XPW,YPW,ZPW)に投影される。
Figure 2006132029
Figure 2006132029
Figure 2006132029
このため、撮像面4隅の各点(−W,−H,f)、(W,−H,f)、(−W,H,f)、(W,H,f)は、以下の式16、式17、式18、式19によりZ=Zである実空間面2110上に投影される。
Figure 2006132029
Figure 2006132029
Figure 2006132029
Figure 2006132029
なお、上記式16の(XD0,YD0,ZD0)、式17の(XD1,YD1,ZD1)、式18の(XD2,YD2,ZD2)、式19の(XD3,YD3,ZD3)は、それぞれ、以下の式20、式21、式22、式23により求められる。
Figure 2006132029
Figure 2006132029
Figure 2006132029
Figure 2006132029
このZ=Zである実空間面2110上に投影された撮像面4隅の各点から構成される面がカメラ2103の撮影領域である。
以上までに説明した算出方法により、カメラの設置位置と設置方向、さらにカメラの回転角から撮影領域の位置を求めることができる。
以上、本発明に係る監視システムについて、実施の形態1〜4及びその変形例等に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲で各実施の形態に対して当業者が思いつく変形を施した形態も本発明に含まれる。また、各実施の形態の構成要素を任意に組み合わせて実現される形態も本発明に含まれる。
また、上記実施の形態では、カメラ端末は、建物の天井等に固定されていたが、本発明は、このような固定式のカメラ端末だけでなく、図35に示されるように、移動式のカメラ端末で実現され得る。図35では、横方向(1次元)に移動できる移動カメラが部屋の天井に設置され、床面を監視する例が示されているが、2次元、あるいは、3次元に移動できる移動カメラであってもよい。そのときのカメラに対する制御としては、パン、チルト、ズームに加えて、あるいは、パン、チルトに代えて、横方向及び/又は縦方向の移動制御を行えばよい。例えば、パン角を固定し、パンの制御に代えて、横方向(あるいは、縦方向)の移動制御を行うことで、上記実施の形態における制御方式を大きく変えることなく移動カメラにも適用することができる。
また、上記実施の形態では、各カメラ端末の撮影領域は、ある時刻Tにカメラ端末が撮影する領域であったが、本発明は、このような撮影領域だけでなく、一定の時間内(例えば、周期TCYCLE)にカメラ端末がスキャンして撮影する全領域(仮想的な撮影領域)を上記実施の形態における撮影領域として扱ってもよい。たとえば、図36(a)や図36(b)に示されるように、カメラ端末の時刻Tにおける撮影領域を時刻T撮影領域とし、カメラ端末が周期TCYCLEで一定の領域(周期TCYCLE撮影領域)をスキャンして撮影するという動作を繰り返す場合には、この周期TCYCLE撮影領域を上記実施の形態における撮影領域として扱ってもよい。この場合に、撮影領域の解像度として、周期TCYCLEに依存させてもよいし、依存させなくてもよい。依存させる場合には、例えば、周期TCYCLEが大きくなるほど解像度が悪くなるように、上記式2に周期TCYCLEを組み入れた新たな式を定義すればよい。
なお、特許請求の範囲と実施の形態における構成要素の対応は次の通りである。つまり、特許請求の範囲における「カメラ制御手段」、「通信インターフェイス」、「処理手段」、「記憶手段」、「プリセット情報選択部」は、それぞれ、実施の形態におけるカメラ制御部107、通信IF103、処理部104・104a〜104c、記憶部105・105a〜105c、解像度重みマップ選択部116と同様の機能を有する処理部に対応する。特許請求の範囲における他の構成要素は、同一名称の実施の形態における構成要素に対応する。
本発明は、カメラ及びカメラを用いた監視システムとして、例えば学校やビル等における不審者の監視用システムや、交差点や公園など広範囲撮影システムといった公共の場所の監視システム、さらに家庭内の様子を複数のネットワークカメラ等を用いて監視する室内遠隔監視システムとして、特に、監視の重要度が場所ごとに異なる監視対象領域に対して、重要度の高い場所をその周囲の場所より解像度の高い詳細な映像として撮影しながらも、監視対象領域全体をくまなく撮影されるように維持する必要のある高機能な監視システムとして有用である。
本発明はパン・チルト・ズーム等の制御により撮影領域の調整可能な複数のカメラから構成される監視システムに関し、特に監視対象領域全体を同時に撮影しながらも、監視の重要度の分布に応じた解像度で撮影を行う監視システムに関する。
近年、主に監視用途を目的に複数のカメラを用いた監視システムに対する研究開発が盛んに行われている。複数のカメラによる監視においては、監視の対象となる領域(監視対象領域)に対して死角となる領域ができるだけ少なくなる状態を維持し(要求1)、さらに監視対象領域内の重要な領域に対しては、できるだけ詳細な撮影情報を取得する(要求2)、という2つの要求を達成できることが求められる。
従来の複数のカメラを用いた装置において、上記の要求1と要求2を達成させる代表的な従来装置として、広範囲撮影が可能なカメラと、狭範囲の詳細撮影を担当するカメラとを組み合わせて用いた特許文献1に示す移動物体検出判定装置がある。
図1は特許文献1の移動物体検出判定装置の構成を示す図であり、検出カメラ装置9010はカメラ9011及び反射鏡9012により広い撮影領域にわたって検出対象を撮影し、移動物体抽出部9013が撮影した同画像より検出対象を抽出し、位置情報抽出部9014が同検出対象の位置情報を抽出することで広い検出領域にわたって検出対象の位置情報の取得を行う。また判定カメラ装置9020は、カメラ制御部9022が検出対象の位置情報を基にカメラ9021の旋回角、俯角、及びズーム比率を制御し、判定カメラ装置9020は検出対象の拡大画像を撮影することで検出対象の詳細な情報の取得を行う。これにより特許文献1においては全方位を同時撮影する検出カメラ装置9010を図2に示すようにその検出範囲を示す六角形が互いに隣接するように配置することによって死角をなくすこと、及び検出カメラ装置9010で検出した検出対象の位置に基づいて判定カメラ装置9020を制御することが開示されている。
また、特許文献2にはパノラマ映像のような連続した広い範囲の撮影(上記要求1)を目的として、輻輳角を制御できる複数のカメラを用いて隣接する撮影領域に重複部分を持たせ、その重複部分を一定の範囲に保つようにカメラの輻輳角を制御することが開示されている。図3は特許文献2に記載された撮像装置の構成を示す図である。図3において被写体2001を撮影する複数のカメラ2003a、2003bは、複数のカメラに任意の輻輳角を与える輻輳角制御手段2021により、複数のカメラ2003a、2003bから得られる複数の画像情報から撮影情報と、予め記憶手段2023に用意されていた結像倍率情報とを利用してカメラ間の撮影範囲の重複領域が一定範囲に保たれるように輻輳角を制御することにより、複数のカメラの撮影領域の間に死角領域を作ることなく、例えばパノラマ画像のような広範囲撮影が可能になる。
また、特許文献3では雲台とズームの制御ができる複数のカメラを用いて上記要求1と要求2を達成させるために、侵入物を追跡するためにズームしたカメラが隣接する領域を監視するカメラに視野の拡大要求を送信すること、また視野の拡大要求を受け取ったカメラは、追跡しているカメラの通常担当領域と自身の通常担当領域を包含するように制御することが開示されている。図4は特許文献3に記載された侵入物体監視装置の構成を示す図である。特許文献3における侵入物体監視装置は、所定の担当領域を監視する"通常"モードと、侵入物を追跡撮影する"追跡"モード、さらに画角を広げることで隣接するカメラの担当領域も撮影する"広角"モードの3種類の撮影状態に切り替わる複数の侵入物体監視装置から構成されており、"通常"モードに設定されている複数の侵入物体監視装置のうち、1台の侵入物体監視装置が映像信号の差分処理により侵入物体を検出すると"通常"モードから"追尾"モードに切り替わり、侵入物体の情報に基づいて雲台制御装置3115とズーム制御装置4116によりズームレンズ3102と雲台3103とを制御することで侵入物体を追尾しながら詳細に撮影を行う。さらに侵入物体の追尾が行われている監視エリアに隣接する他の監視エリアを監視する他の侵入物体監視装置に対して視野拡大要求を送信することにより、要求を受け取った侵入物体監視装置は"通常"モードから"拡大"モードに切り替わり、ズームレンズ4102を制御して監視範囲を拡大する視野拡大する。
これにより図5に示すように第1の侵入物体監視装置3601が監視エリア3603を、第2の侵入物体監視装置3602が監視エリア3604を監視している時、図6に示す位置に侵入物体3610が現れると第2の侵入物体監視装置3602が"追尾"モードに切り替わることで監視エリア3604の一部しか監視できなくなり死角が生じたような状態となるが、第1の侵入物体監視装置3601の監視エリア3603を広角モードで拡張することで第2の侵入物体監視装置3602の死角が生じたような状態を補うことができる。
また、特許文献4では1台のカメラで複数の領域を切り分けて監視したい場合に、予め複数の領域に対応したカメラの向きとズームをプリセットしておくこと、また複数のカメラの複数のプリセットを1台の端末から集中制御する構成が開示されている。図7は特許文献4に記載された端末カメラ部4011の構成を示すものである。図7において端末カメラ部4011のTVカメラ4021、及びレンズ部4022は共に端末制御部4023からの指令に基づき制御され、映像信号が出力される。端末制御部4023はTVカメラ4011を保持する旋回部4024に対して旋回指令を与えることにより、TVカメラ4021を水平、及び垂直方向に旋回させる。また端末制御部4023にはプリセット部4025が従属されており、TVカメラ4021の向き(水平、及び垂直方向)並びにレンズ部4022の機能(ズーム、フォーカス)を複合させて旋回情報とレンズ設定情報として複数記憶しており、外部からの制御指令により所定の旋回情報及びレンズ設定情報を指定することにより、TVカメラ4021の視線の向きとズームの値を指定された値に自動的に調整する。
また図8は、図7の端末カメラ部4011を用いて監視システムを構成した例を示すものである。図8では端末カメラ部4111、4112、・・・は共通の監視ライン4015と、指令ライン4016の一対の伝送線路を介してパソコン4031に並列的に接続されおり、パソコン4031は複数の端末カメラ部4011の中から任意の端末カメラ部4011を選択し、プリセット部に記憶された旋回情報とレンズ設定情報に基づいて端末カメラ4111、4112、・・・の集中管理を行う。これによりユーザは必要なカメラの必要なプリセットを選択することで、見たい領域を見たいズームで簡単に監視することができる。
特許第3043925号公報(第8、10頁、図1) 特開平7−303207号公報(第5頁、図1) 特開2001−245284号公報(第11、12、17頁、図1、図16、図17) 特開平10−229511号公報(第6頁、図3)
しかしながら、上記の特許文献1から4においては、必ずしも全てのカメラの能力(解像度等)を効率的に利用するような考慮がなされていない。例えば重複して撮影される領域が必要以上に大きかったり、所定の解像度が得られなかったり、解像度が必要以上に低下するといった課題がある。
より具体的には特許文献1の移動物体検出判定装置において、検出カメラ装置の撮影領域は死角をなくすために固定されているため、移動物体が増加し、所定の解像度で判定カメラ装置が撮影できなくなった場合、検出カメラ装置が代わりに高解像度撮影をするといった柔軟な対応ができない。さらに図2に示すように判定カメラ装置は常に検出カメラ装置が撮影している領域を重複して撮影を行うため、CCD等の撮像資源を効率よく利用することができない。
また、特許文献2の撮像装置の場合には、輻輳角と画角の調整機能を持つ複数のカメラを用いて、パノラマ画像を作るために重複領域を一定範囲に保つことは開示されているが、移動物体が複数存在するような重要監視領域を複数含む監視領域全体を複数のカメラで分担して監視する際の各カメラの撮影領域や解像度の調整についてはなんら考慮されていない。
また、特許文献3の侵入物体監視装置の場合には、「追跡」モードに切り替わったカメラの通常監視エリアを包含するように、隣の領域を撮影しているカメラが視野を拡大させることしか開示されておらず、複数の移動物体が存在するような場合における各カメラの動作について考慮されていない。このため「追跡」モードにある複数のカメラの通常監視エリアを包含するために1台のカメラが視野を拡大させた場合には解像度を必要以上に低下させてしまうことが考えられる。
また、特許文献4の監視システムのように、目的に応じて映像に写る場所やズームの値を切り換えるために、カメラの向きやズーム等を予めカメラごとにプリセットしておく場合には、カメラの台数が多くなるにつれてプリセット作業が繁雑なものとなる。また不規則な動作を行う移動物体については予めプリセットを行うことができない。
このため、本発明は、複数のカメラ端末による所定の監視対象領域の撮影において、監視の重要度分布やその動的な変化にあわせた解像度にするとともに、監視対象領域全体を撮影しながらも、重複した撮影領域ができるだけ少ない効率的な撮影形態(各カメラの撮影位置と解像度の組合せ)となるように全てのカメラ端末の撮影方向と解像度を調整することが可能な監視システム、監視方法及びカメラ端末を提供することを目的とする。
上記目的を達成するために、本発明に係る監視システムは、複数のカメラ端末によって監視対象領域を監視する監視システムであって、撮影領域の調整機能を有するカメラと、前記カメラの撮影領域を調整する制御を行うカメラ制御手段と、他のカメラ端末と通信し合う通信インターフェイスと、前記通信インターフェイスを介して得た他のカメラ端末の撮影領域に関する情報に基づいて、重要度の高い撮影領域の解像度が高く、重要度の低い撮影領域の解像度が低くなる度合いを重み付き解像度とした場合に、自カメラ端末の撮影領域の重み付き解像度と他のカメラ端末の撮影領域の重み付き解像度との差が小さくなるように、前記カメラ制御手段を介して前記カメラを制御することにより、自カメラ端末の撮影領域の解像度を調整する処理手段とを備えることを特徴とする。
より具体的には、本発明における第1の監視システムによれば、所定の監視対象領域をその領域全体の撮影に必要な台数以上のカメラ端末で撮影する場合、監視対象領域の範囲を定義した「監視対象領域マップ」と、監視対象領域内の場所ごとに解像度の重みを定義した「解像度の重みマップ」を各カメラ端末に与え、隣り合う撮影領域を隣接させ、さらに隣接するカメラ端末間で重み付き解像度が一定になるようにカメラ端末を制御することにより、複数のカメラ端末は監視対象領域をくまなく撮影しながらも、重複領域が少ない効率的な監視が可能となり、かつ重要度に応じた適切な解像度での監視が可能となる。
また、本発明における第2の監視システムによれば、重要度の高い領域の配置パターンが変化する場合、カメラ端末ごとに個別のプリセットを作業することなく、想定される配置パターンにあわせて全てのカメラ端末で共通の「解像度の重みマップ」を複数用意し、さらに「解像度の重みマップ」を選択する条件を定義することにより、監視の重要度分布が状況に応じて変化する監視対象領域に対しても、複数のカメラ端末は監視対象領域をくまなく撮影しながらも、重複領域が少ない効率的な監視が可能となり、かつ監視の重要度分布変化に応じて適切に解像度を調整させた監視が可能となる。
また、本発明における第3の監視システムによれば、所定の対象物の存在に応じて、対象物の存在する場所の重要度を解像度の重みとして定義することにより、複数のカメラ端末は監視対象領域をくまなく撮影しながらも、重複領域が少ない効率的な監視が可能となり、かつ所定の対象物の存在することによる重要度分布の変化に応じて適切に解像度を調整させた監視が可能となる。
また、本発明における第4の監視システムによれば、重要度の高い場所の配置パターンが予測できない監視対象領域に対しても、詳細に監視させたい領域や対象物を判定する規則を与えるだけで、自動的に「解像度重みマップ」とその選択条件を作成し、予め想定していなかった重要度の高い領域の配置パターンに対しても、複数のカメラ端末は監視対象領域をくまなく撮影しながらも、重複領域が少ない効率的な監視が可能となり、かつ重要度に応じた適切な解像度での監視が可能となる。
なお、本発明は、このような監視システムとして実現できるだけでなく、監視システムにおける処理手段をステップとする監視方法、監視システムを構成するカメラ端末、カメラ端末に組み込まれるプログラム、そのプログラムが記録されたCD−ROM等の記録媒体等としても実現できる。
本発明に係る監視システムにより、複数のカメラ端末の撮影領域によって監視対象領域がくまなく覆われ、かつ、監視の重要度分布やその動的な変化にあわせた解像度による撮影が行われるので、効率的で確実な監視が実現される。
また、監視システムを構成する複数のカメラ端末は、他のカメラ端末と通信し合いながら自律協調的に自カメラ端末の撮影領域の位置と解像度を調整するので、監視システムを構成する一部のカメラ端末が故障したり、新たなカメラ端末が追加されたりする等の構成変更が生じた場合であっても、複数の撮影領域の位置と解像度が自動的に調整され、結果として、複数のカメラ端末の撮影領域によって監視対象領域がくまなく覆われ、かつ、監視の重要度分布やその動的な変化にあわせた解像度による撮影が行われる。
これにより、所定の監視対象領域全体を撮影しながらも重複領域を少なくなるようにカメラ端末間の撮影領域を隣接させつつ、重要度に応じて各カメラ端末の解像度を適切に調整できるため、監視対象領域内の撮影もれをなくしつつ、効率的に重要な領域を高解像度で監視することができる。よって、学校やビル等における不審者の監視用システムや、交差点や公園などの広範囲撮影システムといった公共の場所の監視、さらに家庭内の様子を複数のネットワークカメラ等を用いて監視する室内遠隔監視システム等としてその実用的価値が高い。
(実施の形態1)
以下、本発明における実施の形態について、図面を参照しながら説明する。
まず、本発明の実施の形態1における監視システムの構成を説明する。
図9は監視システム全体の構成を説明した図である。本発明の監視システムは屋内のホールやリビングのように、監視範囲が有限な範囲に限定される領域(以下、監視対象領域)に対してパン・チルト・ズーム調整が可能で、監視対象領域全体を撮影するために十分な台数のカメラ端末101及び101aと、これらカメラ端末101及び101a間の通信のためのイーサケーブル等の通信ネットワーク102から構成されており、各カメラ端末101及び101aは監視対象領域をパン・チルト・ズーム調整により撮影できる位置に設置されている。
なお、図9は監視システムの設置の一例として、室内の床面全体を監視対象領域とし、これを監視するために複数台のカメラ端末101及び101aが部屋の天井から床面に向けて設置されている一例を示している。また、図9では、着目しているカメラ端末を「カメラ端末101」とし、他の複数のカメラ端末を「カメラ端末101a」として、符号が付されている。さらに、図9では、実施の形態1〜4に共通するシステム全体の構成が示され、ここには、他の実施の形態2〜4で説明されるカメラ端末(着目しているカメラ端末201〜401、他の複数のカメラ端末201a〜401a)の符号も併せて図示されている。
次に、各カメラ端末101の内部構成について図9と図10を用いて説明する。各カメラ端末101は、他のカメラ端末と通信し合いながら自らの撮影位置と解像度を自律協調的に調整する機能を備えるカメラ装置であり、通信IF103、処理部104、記憶部105、カメラ106及びカメラ制御部107から構成される。
図9において通信IF103は通信ネットワーク102や無線を利用して他のカメラ端末101aと情報のやり取りを行うための通信インターフェイス等である。
処理部104はカメラ端末101のパン角・チルト角・ズーム(焦点距離)等の制御に必要な計算処理を行うCPU等であり、通信IF103を介して得た他のカメラ端末101aの撮影領域に関する情報に基づいて、重要度の高い撮影領域の解像度が高く、重要度の低い撮影領域の解像度が低くなる度合いを重み付き解像度とした場合に、自カメラ端末101の撮影領域の重み付き解像度と他のカメラ端末101aの撮影領域の重み付き解像度との差が小さくなるように、カメラ制御部107を介してカメラ106を制御することにより、自カメラ端末101の撮影領域の解像度を調整する。
より詳しくは、処理部104は、本実施の形態においては、通信IF103を介して得た他のカメラ端末101aの撮影領域に関する情報に基づいて、自カメラ端末101の撮影領域と、撮影領域が隣り合う他のカメラ端末101aの撮影領域とが、(1)隣接し、かつ、(2)撮影領域の解像度と撮影領域に予め対応づけられた解像度の重みとを掛け合わせて得られる重み付き解像度の差が小さくなるように、カメラ制御部107を介してカメラ106を制御することにより、自カメラ端末101の撮影領域の位置及び解像度を調整する。なお、「撮影領域が隣接する」とは、隣り合う撮影領域が接する場合だけでなく、領域の一部が重なり合っている場合も含まれる。
記憶部105はカメラのパン角、チルト角、ズーム(焦点距離)の制御方法や、監視対象領域の範囲、他のカメラ端末101aとの通信により得られた情報等を記憶するメモリ等である。
カメラ106はズーム制御等による画角調整と、パン・チルト操作によって撮影領域の位置の調整が可能なパン・チルト・ズームカメラ(以下、PTZカメラ)等である。
カメラ制御部107は処理部104の指示によりカメラ106のパン角、チルト角、及びズーム値(また、は焦点距離等)を読み取ったり、調整したりするステッピングモータ等の機構部である。
次に、処理部104の内部構成について図10を用いて説明する。処理部104は、通信部110、撮影領域判定部111、解像度重み判定部112、隣接領域判定部113、解像度調整部114及び撮影領域調整部115を備える。
通信部110は他のカメラ端末101aとの通信手順を制御する処理部であり、例えば、撮影領域判定部111で特定された自カメラ端末101の撮影領域の位置と解像度重み判定部112で特定された自カメラ端末101の撮影領域に対応づけられた解像度の重みとを通信IF103を介して他のカメラ端末101aに送信するとともに、他のカメラ端末101aから他のカメラ端末101aの撮影領域の位置とその撮影領域に対応づけられた解像度の重みとを通信IF103を介して受信するように通信IF103を制御する。
撮影領域判定部111は、自カメラ端末101の撮影領域の位置を特定する処理部であり、具体的には、カメラ端末101の設置位置、設置向き、カメラ106のパン角、チルト角、ズーム値(焦点距離)から監視対象領域上におけるカメラ端末101が撮影している範囲(以下、撮影領域)を判定する。
解像度重み判定部112は、撮影領域判定部111で特定された自カメラ端末101の撮影領域に対応づけられた解像度の重みを特定する処理部であり、具体的には、監視の重要度が場所ごとに異なる監視対象領域において、撮影領域の重要度に応じてカメラ端末101の解像度の値に重み付けを行うための「解像度の重み」の値を求める。つまり、解像度重み判定部112は、重要度の低い撮影領域の解像度が低くなる度合いを重み付き解像度とした場合の「解像度の重み」を求める。本実施の形態では、解像度重み判定部112は、監視対象領域(床面)に対して場所ごとに解像度の重みが予め決められた解像度重みマップに従って、解像度の重みを決定する。
隣接領域判定部113は、通信IF103で受信された他のカメラ端末の撮影領域の位置と撮影領域判定部111で特定された自カメラ端末101の撮影領域の位置とに基づいて、自カメラ端末101の撮影領域と隣り合う撮影領域等を特定する処理部であり、より詳しくは、撮影領域が隣り合う他のカメラ端末101aの撮影領域、又は監視対象領域の境界線を判定する。
解像度調整部114は、解像度と解像度の重みとを掛け合わせた値を重み付き解像度とした場合に、通信IF103で受信された他のカメラ端末101aの撮影領域の位置及びその撮影領域に対応づけられた解像度の重みと解像度重み判定部112で特定された自カメラ端末101の撮影領域に対応づけられた解像度の重みに基づいて、自カメラ端末101の撮影領域の重み付き解像度と隣接領域判定部113で特定された他のカメラ端末101aの撮影領域の重み付き解像度との差が小さくなるように、カメラ制御部107を介してカメラ106の撮影領域の面積を調整することによって、自カメラ端末101の撮影領域の解像度を調整する処理部であり、具体的には、撮影映像の解像度に、前記解像度重み判定部112で判定された解像度の重みを掛け合わせた値(以下、重み付き解像度)を、前記隣接領域判定部113において撮影領域が隣り合うと判定された他のカメラ端末101aの重み付き解像度と比較し、互いの重み付き解像度が等しくなるようにズーム値(焦点距離)を調整する。
撮影領域調整部115は、撮影領域判定部111で特定された自カメラ端末101の撮影領域の位置と隣接領域判定部113で特定された撮影領域とに基づいて、それらが隣接するように、カメラ制御部107を介してカメラ106の撮影領域の位置を調整することによって、自カメラ端末101の撮影領域の位置を調整する処理部であり、具体的には、撮影領域の周囲にどのカメラ端末101からも撮影されていない領域(以下、死角領域)が生じないように、隣接領域判定部113において撮影領域が隣り合うと判定された他のカメラ端末101aの撮影領域、及び監視対象領域の境界線と隙間なく隣接するようにカメラ制御部107を介しカメラ106のパン角、チルト角、ズーム値(焦点距離)を調整する。
次に、記憶部105に記憶されている情報について図11を用いて説明する。記憶部105は、監視対象領域マップ120、解像度重みマップ121、撮影領域の位置情報122及び解像度の重み情報123を記憶している。
監視対象領域マップ120はカメラ端末101が監視すべき領域(監視対象領域)の範囲を定義した地図情報であり、例えば、図12(a)に示されるような情報である。
また、解像度重みマップ121は、監視対象領域マップ120上の場所ごとに、カメラ端末101の解像度の重みを判定する規則を定義した地図情報であり、例えば、図12(b)に示されるように、監視対象領域を格子状の小領域に分割した場所(番地)ごとに解像度の重みの値を定義している。
なお、図12(a)の監視対象領域マップ120には場所ごとに解像度重みマップ121の情報を色情報として記載することで、1つの地図に監視対象領域マップ120と解像度重みマップ121の情報をまとめて表示している。
また、図12(a)に示した監視対象領域マップ120、及び図12(b)に示した解像度重みマップ121は、各カメラ端末101の記憶部105に予め用意されている。
また、図12(a)における監視対象領域マップ120は、説明を簡略化するために矩形で平坦な領域を監視対象領域とする地図であったが、矩形以外の形状を持つ領域や、曲面上の領域、3次元的な空間を監視対象領域として定義している地図であってもよい。
また、解像度重みマップ121は、監視対象領域内を所定の粒度で小領域に分割し、領域ごとに解像度の重みを定義したが、これ以外にも、例えば同等の重要度を持つ領域ごとにその範囲を直接定義するなど、監視対象領域内の各場所に対して、その場所の解像度の重みを一意に決定することのできる内容であれば良い。
記憶部105にはさらに、通信部110を介して得られた周囲のカメラ端末101aの撮影領域の位置情報122、及び解像度の重み情報123が記憶されており、他のカメラ端末101aとの通信が行われるたびに、最新の撮影領域の位置情報122と解像度重み情報123に内容が更新される。
次に、実施の形態1におけるカメラ端末101の設置の一例として図13に示す床面の形状が矩形の室内において、8台のカメラ端末101を設置した場合を例に、実施の形態1における複数のカメラ端末101が撮影している場所の重要性に応じて互いの解像度に差を持たせながらも、監視対象領域全体をくまなく撮影させるための制御方法について説明する。
なお、図13においてカメラ端末101の台数は、例えばカメラ端末101の焦点距離がその最大値と最小値の中間の値で、監視対象領域の天井から床面を撮影した時の撮影領域の大きさを基準面積とすると、各カメラ端末101の基準面積の総和が監視対象領域全体の広さより大きくなる台数が用いられており、監視対象領域全体を撮影するために十分な台数のカメラ端末101が用意されているものとする。また、図13の監視対象領域の監視対象領域マップ120、及び解像度重みマップ121は図12の監視対象領域マップ120、及び解像度重みマップ121で表されているものとする。
図14は各カメラ端末101の一連の制御方法を示したフローチャートである。以下、フローチャートの各ステップに従ってカメラ端末101の制御方法を説明する。
(ステップ101)
撮影領域判定部111はカメラ制御部107よりカメラ106のパン角、チルト角、及びズーム値(焦点距離)等を取得し、記憶部105に記憶されている監視対象領域マップ120上におけるカメラ端末101が撮影している領域(以下、撮影領域)を算出する。なお、図13のように天井に設置されたカメラ端末101が、設置位置と方向、及びパン角、チルト角、ズーム値(焦点距離)の値から監視対象領域マップ120上での撮影領域の位置の算出方法については後述する補足説明で説明する。
(ステップ102)
次に、解像度重み判定部112は、ステップ101で求められた撮影領域の位置に対応する解像度重みマップ121上の位置からカメラ端末101の解像度の重みを判定する。
実施の形態1では、解像度重みマップ121により監視対象領域(床面)に対しては場所ごとに解像度の重みが決められており、例えば図15に示すようにカメラ端末Aとカメラ端末Cが解像度の重みが一様な領域を撮影する場合には、その値がカメラ端末自身の解像度の重みとなり、図15の例ではカメラ端末Aの解像度の重みは2、カメラ端末Cの解像度の重みは3と決定される。
また、カメラ端末Bのように解像度の重みが異なる領域をまたがって撮影する場合には、撮影領域内における解像度の重みの平均値を用いる。平均値を求める方法としては、解像度の重みの異なる領域ごとに、その領域の面積に解像度の重みを掛け合わせたものを足し合わせ、最後に撮影領域全体の面積で割ることで求められる。例えば図15のカメラ端末Bが解像度の重みが1の領域の面積がS1、解像度の重みが2の領域の面積がS2であったとすると解像度の重みは、(1×S1+2×S2)/(S1+S2)として求められる。
なお、カメラ端末101の解像度の重みは、上記に説明した方法以外にも、解像度の重みの値が大きい場所の高解像度撮影を優先させるために、撮影領域において解像度の重みが最も大きい値をカメラ端末101の解像度の重みに決定したり、計算処理を簡略化するために、撮影領域の中心座標が指し示す場所の解像度の重みを用いたりしてもよい。
(ステップ103)
次に、通信部110は、例えば1秒間に10回など、所定の時間間隔で周囲のカメラ端末101aとお互いの撮影領域の位置情報122、及び解像度の重み情報123の送受信を行い、他のカメラ端末101aと撮影領域の位置情報及び解像度の重みの共有を行う。
(ステップ104)
隣接領域判定部113は、記憶部105に記憶されている他のカメラ端末101aの撮影領域の位置情報122及び監視対象領域マップから、撮影領域が隣り合う他のカメラ端末101aの撮影領域、又は監視対象領域の境界線を特定する。
実施の形態1における隣接領域判定部113は自身の撮影領域の中心座標から監視対象領域の各境界線と垂直に交わる方向に対して隣り合う撮影領域、又は監視対象領域の境界線を1つずつ判定する。実施の形態1では図12や図13に示したように監視対象領域の形状が矩形をしているため、カメラ端末101は監視対象領域の境界線に垂直な角度をなす4つの方向に対して他のカメラ端末101aの撮影領域、又は監視対象領域の境界線を判定することとなる。また、1つの方向に複数の撮影領域が存在する場合には、撮影領域の中心座標が最も近い相手を選択する。
隣接領域判定部113において、例えば図16(a)のようにカメラ端末101の撮影領域が配置されているとすると、カメラ端末Aは北側と西側に対して監視対象領域の境界線を、また、南側にはカメラ端末Cの撮影領域を、東側にはカメラ端末Bの撮影領域を隣り合う撮影領域として判定することになる。
(ステップ105)
解像度調整部114は、周囲のカメラ端末101aと互いが撮影している領域の重要度に応じて解像度の値を調整し、さらに撮影領域調整部115は、撮影領域が隣り合う他のカメラ端末101の撮影領域、又は監視対象領域の境界線と隙間なく隣接することで、周囲に死角領域が生じないように撮影領域の位置を調整する。
まず、解像度調整部114による解像度の調整のための制御方法について説明する。
ここで解像度調整部114による調整内容を説明するためにカメラ端末101自身の現在の解像度をrとし、解像度の重みをwとし、さらに記憶部105に記憶されている撮影領域と隣り合う領域を撮影するN台のカメラ端末101aの解像度をRi、及び解像度の重みをWi(ただしi=(1、2、・・・、N)として、以下の式1に示す評価関数F(r)によりカメラ端末101と周囲のカメラ端末101aの関係を定義する。
Figure 2006132029
ただしカメラ端末101の解像度rは、カメラ端末101の撮影領域の面積をSArea、CCDの有効画素数をNPixelとすると、以下の式2に定めた定義により求めた値を用いている。
Figure 2006132029
上記式1で定義した評価関数F(r)はカメラ端末101の解像度に解像度重み判定部112で求められた解像度の重みを掛け合わせた値(以下、重み付き解像度)と、その周囲を撮影するカメラ端末101aの重み付き解像度との差を二乗して足し合わせたものである。
このため評価関数F(r)はカメラ端末101の重み付き解像度と、周囲のカメラ端末101aの重み付き解像度が等しい値に近づけば値が小さくなり、逆に周囲のカメラ端末101aの重み付き解像度の値が、カメラ端末101の重み付き解像度の値から大きく異なれば値が大きくなる関数である。
解像度調整部114はカメラ端末101の重み付き解像度が周囲のカメラ端末101aの重み付き解像度と等しくなるようにカメラ106のズーム値(焦点距離)を調整することにより、領域ごとに割り当てられた解像度の重みに応じて解像度に差をつけた調整を実現させる。このため解像度調整部114は自身の重み付き解像度が、周囲のカメラ端末101aの重み付き解像度との差が小さくなるように、すなわち評価関数F(r)の値が減少するように解像度の調整を行う。実施の形態1ではカメラ端末101の焦点距離fの値を調整することで間接的に解像度の調整を行う。このため解像度調整部114は、上記式1の評価関数を焦点距離fの値で偏微分した関数を用いて、以下の式3に示す偏微分方程式を用い、最急降下法により焦点距離fの値を調整することでカメラ端末101は評価関数F(r)の値を減少させることが可能となる。すなわち自身の重み付き解像度を周囲のカメラ端末101aの重み付き解像度と誤差がより小さくなるように焦点距離fの制御を行うことができる。
Figure 2006132029
ただし、αは係数である。また、評価関数F(r)は焦点距離fで偏微分可能な関数であるとする。
このように全てのカメラ端末101が解像度調整部114により自身の評価関数F(r)の値を調整することにより、全てのカメラ端末101の重み付き解像度の値を均一な値に近づけることができる。
また、実施の形態1では、重み付き解像度をカメラ端末101の現在の解像度rに解像度の重みwを単純に掛け合わせたもの(r×w)を用いたが、例えば解像度の重みの効果をさらに強く反映させるために解像度の重みを二乗した値(w)や、重みの値がある閾値をこえた時に効果が現れる機能を与えるために、以下の式4に示すシグモイド関数のような非線形関数G(w)を解像度rに掛け合わせるなど、目的に応じて重み付き解像度の定義を変えたものを用いてもよい。
Figure 2006132029
但しα、βは定数である。
また、実施の形態1ではカメラ端末101の現在の解像度rに解像度の重みwを掛け合わせて求められる重み付き解像度を各カメラ端末101間で均一にすることで、各カメラ端末101が撮影する映像の解像度rの比率が、解像度の重みwの比率に近づくように調整する例を説明したが、例えば、重み付き解像度を現在の解像度rに解像度の重みwを足し合わせたもの(r+w)として定義してもよい。現在の解像度rに解像度の重みwを足し合わせた重み付き解像度(r+w)を用いてカメラ端末101の解像度rを調整する場合には、解像度の重みwの分だけ差がつくように各カメラ端末101の解像度rを調整することができる。
さらに重み付き解像度は、解像度rを底とし、解像度の重みwを指数とした累乗(rw)の形で定義される値を用いるなど、各カメラ端末101の重み付き解像度の値を均一した時に、重要な領域を撮影するカメラ端末101の撮影映像の解像度rが、それ以外の領域を撮影するカメラ端末101の解像度rよりも高くなるように定まる値であれば良い。
次に、撮影領域調整部115による撮影領域の調整のための制御方法について説明する。
ここで撮影領域調整部115による制御内容を説明するために、カメラ端末101自身の現在の撮影領域と、これと隣り合う他のカメラ端末101aの撮影領域との重なり領域の大きさoverlapと、監視対象領域の境界線までの距離distanceの値に対して評価関数H(θPan,θTilt,f)を、以下の式5のように定義する。ただし評価関数H(θPan,θTilt,f)はカメラ106のパン角θPan、チルト角θTilt、焦点距離fの値を引数に持つ関数であり、また、カメラ端末101自身と隣り合う撮影領域の数をm、境界線の数をnとする。
Figure 2006132029
ただし(C,D)は定数である。
上記式5の評価関数H(θPan,θTilt,f)において、右辺の第1項は隣り合う撮影領域との重なり幅の大きさとその目標値(定数C)との差の二乗和、また、第2項は隣り合う監視対象領域の境界線との距離とその目標値(定数D)との差の二乗和を表している。
ここで評価関数H(θPan,θTilt,f)の具体的な求め方を説明するために、3台のカメラ端末101の撮影領域が、図16に示す配置にあった場合を例に説明する。なお、図16では撮影領域間の重なり領域の大きさ、及び監視対象領域の境界線との距離を求めやすいように、撮影領域の大きさを補足説明で求められる撮影領域に対して、監視領域の境界線と平行な直線で内接する矩形領域を撮影領域としている。
図16(a)のようにカメラ端末A、カメラ端末B、カメラ端末Cが配置されている場合、カメラ端末Aは北側と西側に監視対象領域の境界線と隣り合い、東側と南側にそれぞれカメラ端末B、カメラ端末Cとなりあっている。このため図16(a)の状態におけるカメラ端末Aの評価関数Hの値は、以下の式6のように与えられる。
Figure 2006132029
上記式6において右辺の第1項はカメラ端末Aが撮影している撮影領域Aとカメラ端末Bが撮影している撮影領域Bの重なり幅を求めるために撮影領域Aの東側の端(x座標)から、撮影領域Bの西側の端(x座標)を引いた値から、さらに目標値(定数C)を引いたものを二乗した項である。
右辺の第2項は撮影領域Aとカメラ端末Cが撮影している撮影領域Cとの重なり幅を求めるために撮影領域Aの南側の端(y座標)から、カメラ端末Cの北側の端(y座標)を引いた値に、さらに目標値(定数C)を引いたものを二乗した項である。
右辺の第3項は撮影領域Aと西側の境界線との距離を求めるために撮影領域Aの北側の端(y座標)から、北側の境界線の位置(y座標)を引いた値から、さらに目標値(定数D)を引いたものを二乗した項である。
右辺の第4項は撮影領域Aと北側の境界線との距離を求めるために撮影領域Aの北側の端(y座標)から、北側の境界線の位置(y座標)を引いた値から、さらに目標値(定数D)を引いたものを二乗した項である。
また、上記式6の評価関数H(θPan,θTilt,f)は図16(b)に示すように隣り合う撮影領域を持つ他のカメラ端末101aと一定の撮影領域の重なり幅(定数C)を持ち、さらに自身の撮影領域が監視対象領域の境界線と隣り合う場合には、境界線との間に死角がないように境界線の外側に距離(定数D)だけ撮影領域が仮想的に飛び出すような状態にある時に最も小さな値をとる関数であり、隣り合う撮影領域との重なり幅や監視対象領域の境界線との距離が定数Cや定数Dから離れるにつれて値が大きくなる関数である。
このため撮影領域調整部115は、評価関数H(θPan,θTilt,f)により与えられる値が最小値に近づくように撮影領域を調整することで、周囲のカメラ端末101aの撮影領域や、監視対象領域の境界線との間に生じる死角領域を減少させることができる。
実施の形態1においてカメラ端末101はパン角θPan、チルト角θTilt、焦点距離fを調節することで撮影領域の位置調整を行うので、撮影領域調整部115は、評価関数H(θPan,θTilt,f)をそれぞれパン角θPan、チルト角θTilt、焦点距離fで偏微分した関数を用いた以下の式7、式8、式9によりパン角θPan、チルト角θTilt、焦点距離fの値を最急降下法により制御する。これにより撮影領域調整部115は、自身の撮影領域の周りに存在する死角領域が減少するようにカメラ端末101の撮影領域を調整することができる。
Figure 2006132029
Figure 2006132029
Figure 2006132029
ただしβ、γ、δは係数である。
また、上記ステップ5において、カメラ端末101の画角は解像度調整部114と撮影領域調整部115の両方によって制御される。このため画角の値を決める焦点距離を制御するための偏微分方程式は、上記式3と上記式8とを組み合わせた以下の式10で表すことができる。
Figure 2006132029
さらに上記式10においてαの値をδの値に対して大きくした場合にはカメラ端末間の重み付き解像度の調整作用が大きく働き、逆にαの値に対してδの値を大きくした場合には、監視対象領域内の死角領域を減少させる作用が大きく働くため、係数α、δの比を調整することで、監視システムに対して死角の監視動作を優先させるか、また、監視領域内の重点領域の高解像度撮影を優先させるかを調整することができる。
このように全てのカメラ端末101が撮影領域調整部115により自身の評価関数H(θPan,θTilt,f)の値を調整することにより、全てのカメラ端末101の撮影領域は隣り合う他のカメラ端末101aの撮影領域、又は監視対象領域の境界線と隙間なく隣接するように撮影領域の位置を調整することができる。
なお、上記式5において隣り合う撮影領域の重なり幅C、および隣り合う監視対象領域の境界線までの距離Dは、監視システムを構成するカメラ端末101全てにおいて同じ値をとる場合を例に説明したが、カメラ端末の設置位置や設置密度等に応じて、カメラ端末101ごとに定数C、定数Dの値が異なっていてもよい。また、隣り合う撮影領域の重なり幅Cや隣り合う境界線までの距離Dは常に一定の値をとる方法以外にも、例えば隣り合う撮影領域の大きさに応じて重なり幅を自動的に調整するような変数であってもよい。
以上までに説明してきた制御方法を用いることにより、図12(a)の監視対象領域マップで与えられた監視対象領域に対して図13のように配置されたカメラ端末101は、図12(b)で記述された解像度重みマップに従って図17に示すように解像度の重みが高い領域を、それ以外の領域よりも高解像度に撮影しながら、さらに監視対象領域全体を撮影するように全てのカメラ端末101の撮影領域の位置と解像度を調整することができる。
このように実施の形態1のカメラ制御装置、及び制御方法を用いて複数のPTZカメラを制御することにより、例えば屋内のリビングなどの監視などにおいて、外部からの侵入者を警戒するために窓やドアなどの外部からの出入口付近は、その他の領域よりもより重点的に監視しておきたいなど、場所ごとに監視の重要度を変えて監視を行いたい場合に、監視の目的にあわせて監視の重要度の高い場所を予め解像度重みマップとして定義しておくことで、重要な場所を周囲の場所よりも高解像度に撮影しながらも、監視対象領域全体がくまなく撮影されるように複数のPTZカメラの撮影領域の自動調整を行うことができる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
実施の形態1のカメラ端末101は監視の重要な領域の位置を解像度重みマップとして各カメラ端末101に記憶させておくことにより、場所ごとの重要度に応じてカメラ端末101間で解像度の値に差を設けながら、監視対処領域全体を撮影することができた。さらに実施の形態2のカメラ端末201は監視の重要度の高い場所の配置パターンが変化する監視対象領域に対して、予め想定される配置パターンを複数の解像度重みマップ121として用意しておき、状況に応じて解像度重みマップ121を選択して利用することで監視の重要度の高い場所の配置パターンが変化する状況にも対応できる監視システムを実現するものである。
まず、実施の形態2におけるカメラ端末201の構成について説明する。なお、実施の形態2におけるカメラ端末201は、実施の形態1におけるカメラ端末101と同様の基本構成(通信IF103、処理部104a、記憶部105a、カメラ106及びカメラ制御部107)を備えるが、処理部104aの機能と記憶部105aの内容が実施の形態1と異なる。
図18は実施の形態2におけるカメラ端末201の処理部104aの内部構成を示したブロック図を示す。処理部104aは、実施の形態1における処理部104の構成に加えて、解像度重みマップ選択部116及び計時部117を備える。なお、実施の形態1と同じ構成については同じ記号を付与し、説明を省略する。
解像度重みマップ選択部116は、所定の規則に従って解像度重み判定部112で用いる解像度重みマップ121を選択する処理部であり、例えば、監視の状況を特定し、特定した監視の状況と後述する解像度重み選択リストに定義された規則とに基づいて、監視の状況に対応する解像度重みマップを選択する。
計時部117は現在の時刻を取得する処理部である。
また、実施の形態2におけるカメラ端末201の記憶部105aには、解像度重みマップ121が複数用意されており、さらに監視状況に応じてどの解像度重みマップを利用するかを定義した解像度重み選択リスト124が記憶されている。図19(a)〜(c)に実施の形態2における記憶部105aに記憶されている解像度重みマップ121(マップ001、マップ002)と解像度重み選択リスト124の一例を示す。実施の形態2では解像度重みマップ121としてマップ001とマップ002の2つが用意されており、また、解像度重み選択リスト124には、解像度重みマップ選択部116が解像度重みマップ121を選択する条件として撮影時刻と選択すべき解像度重みマップ121との関係が定義されており、図19の例では時刻が7時から19時の間は解像度重みマップ001が選択され、また、時刻が19時から7時の間は解像度重みマップ002が選択されるように規則が定義されている。
次に、実施の形態2におけるカメラ端末201の制御方法について図20のフローチャートを用いて説明する。
図20は実施の形態2におけるカメラ端末201の一連の制御方法を示したフローチャートである。以下、フローチャートの各ステップに従ってカメラ端末201の制御方法を説明する。なお、実施の形態1と同様の制御方法については同じ記号を付与し、説明を省略する。
(ステップ101)
実施の形態1と同様の制御である。
(ステップ106)
解像度重みマップ選択部116は計時部より現在の時刻を取得し、記憶部105aに記憶されている解像度重み選択リストを参照して、現在の時刻において参照すべき解像度重みマップ121を選択する。
(ステップ102)
解像度重み判定部112は解像度重みマップ選択部116において選択された解像度重みマップ121を用いて、実施の形態1のカメラ端末101と同様の制御方法により、解像度の重みを判定する。
(ステップ103)から(ステップ105)
実施の形態1と同様の制御である。
以上までに説明してきた制御方法を用いることにより、例えば図13に示す床面の形状が矩形の室内において、高さ一定の天井に8台のカメラ端末201を設置し、さらに室内の床面を監視対象領域として監視を行わせる時に、住人が在室している19:00から7:00の間は、住人の状態や行動を監視しやすいように住人がよく利用するテーブル周辺を重点的に監視し、また、住人が不在となる7:00から19:00の間はセキュリティ対策のために部屋への出入口を重点的に監視するために、図19の解像度重みマップ121(マップ001とマップ002)、さらに解像度重み選択リスト124を各カメラ端末201の記憶部105aに与えた場合、図21に示すように撮影時刻の変化に応じて、予め指定しておいた重要度の高い場所が高解像度の映像として撮影されるように、各カメラ端末201の撮影領域の位置と解像度を自動的に調整することができる。
このように実施の形態2のカメラ制御装置、及び制御方法を用いて複数のPTZカメラを制御することにより、例えば室内の監視などにおいて時間とともに重要な場所の配置パターンが変化する場合に対しても、配置パターンの変更にあわせて常に重要な領域を高解像度に撮影しつつ、監視対象領域全体がくまなく撮影されるように複数のPTZカメラの撮影領域を自動的に調整することができる。
なお、実施の形態2では計時部117で取得された時刻情報に基づいて解像度重みマップ121を選択する例を示したが、これ以外にも曜日や日付などによって解像度重みマップ121を選択しても良い。また、日時による解像度重みマップ121の選択以外にも、例えばドアの鍵の施錠状態や人の在室状態と解像度重みマップ121との関係を解像度重み選択リスト124に定義しておき、解像度重みマップ選択部はドアの鍵の施錠状態や人の在室状態をカメラやその他のセンサ等で検出して検知内容に応じて解像度重みマップ121を変更するようにしても良い。
(実施の形態3)
次に、本発明の実施の形態3について説明する。
実施の形態1のカメラ端末101は監視における重要ポイントを監視対象領域内の場所ごとに決めておくことで、各カメラ端末101が撮影する場所の重要性に応じて解像度に差を設けながらも、監視対象領域全体の撮影を行った。
さらに実施の形態3のカメラ端末301は監視目的によっては監視の重要度が撮影している場所ではなく、カメラの視界に所定の対象物が存在しているかどうかに依存する場合、撮影映像内に対象物が写っているかどうかによって解像度重みを判定することで、対象物の存在や位置にあわせて各カメラ端末301の解像度に差を設けながらも監視対象領域全体を撮影する監視システムを実現するものである。
まず、実施の形態3におけるカメラ端末301の構成について説明する。なお、実施の形態3におけるカメラ端末301は、実施の形態1におけるカメラ端末101と同様の基本構成(通信IF103、処理部104b、記憶部105b、カメラ106及びカメラ制御部107)を備えるが、処理部104bの機能と記憶部105bの内容が実施の形態1と異なる。
図22は実施の形態3におけるカメラ端末301の処理部104bの内部構成を示したブロック図を示す。処理部104bは、実施の形態1における処理部104の構成に加えて、画像処理部118を備える。なお、実施の形態1と同じ構成については同じ記号を付与し、説明を省略する。
画像処理部118はカメラ106で撮影された映像の特徴を抽出し、予め用意されているテンプレート画像と特徴の類似する画像が存在するかどうかを判定する処理部である。
また、実施の形態3におけるカメラ端末301の記憶部105bには、図23に示すようなテンプレート画像125が用意されており、また、テンプレート画像125ごとに解像度重みを定義したテンプレート画像リスト126が用意されている。
実施の形態3では、図23(a)及び(b)に示す机と人物の上半身の画像がテンプレート画像125として用意されており、また、図23(c)に示すテンプレート画像リスト126には机は解像度重みが2、人物の解像度重みは3と定義されている。また、撮影映像の中にテンプレート画像に定義された対象物が写っていない場所については解像度の重みを1とするように定義されている。
次に、実施の形態3におけるカメラ端末301の制御方法について図24のフローチャートを用いて説明する。
図24は実施の形態3におけるカメラ端末301の一連の制御方法を示したフローチャートである。以下、フローチャートの各ステップに従ってカメラ端末301の制御方法を説明する。なお、実施の形態1と同様の制御方法については同じ記号を付与し説明を省略する。
(ステップ101)
実施の形態1と同様の制御である。
(ステップ107)
画像処理部118はカメラ106により撮影された映像の中から、記憶部105bに記憶されているテンプレート画像に特徴が似た領域が存在するかどうかを判定する。カメラ106の撮影映像から、記憶部105bに記憶されているテンプレート画像と特徴が似た領域が存在するかどうかを判定する方法としては、テンプレートマッチング法等のアルゴリズムなどを用いることが挙げられる。
(ステップ102)
解像度重み判定部112は画像処理部118において撮影領域内にテンプレート画像と同じ特徴を持つ対象物が存在すると判定された場合に、記憶部105bに記憶されているテンプレート画像リスト126から、選択されたテンプレート画像125に対応する解像度の重みを決定する。
(ステップ103)から(ステップ105)
実施の形態1と同様の制御である。
以上までに説明してきた制御方法を用いることにより、例えば図13に示すようにカメラ端末301を室内の天井に設置し、さらに室内の床面を監視対象領域として監視を行わせる時に、図23(a)及び(b)に示す机と人物のテンプレート画像125、及び夫々のテンプレート画像125に対する解像度の重みを定義した図23(c)に示すテンプレート画像リスト126を各カメラ端末301の記憶部105bに与えておくことによりカメラ端末301の撮影領域内にテンプレート画像125の特徴と同じ特徴を持つ机や人物が存在する場合には、図25に示すように机や人物に割り当てられた解像度の重みと場所に応じて対象物を高解像度に撮影しながらも、監視対象領域全体がくまなく撮影されるように自動的に複数のカメラ端末301の撮影領域を調整することができる。
このように実施の形態3のカメラ制御装置、及び制御方法を用いて複数のPTZカメラを制御することにより、例えば監視の重要度が特定の場所ではなく、PTZカメラの撮影映像に写る所定の対象物の存在に依存し、さらに対象物の位置が変化する可能性がある場合においても、重点的に監視したい対象物の特徴を定義した情報と、その対象物を撮影する時に用いる解像度の重みを用意しておくだけで、所定の対象物を周囲の領域よりも高解像度な映像として撮影しながらも、監視対象領域全体がくまなく撮影されるように複数のPTZカメラの撮影領域を自動的に調整することができる。
なお、実施の形態3ではテンプレート画像125として、重点的に監視を行いたい机と人型の形状などの特徴を記録した画像データを用いたが、これ以外にも床面の色や模様等の特徴を記録したテンプレート画像125を用いることで、テンプレート画像125以外の色や模様を検出した時に、そこに対象物が存在する判定するなど、間接的に対象物の存在を特定できるテンプレート画像125等を用いてもよい。
また、実施の形態3のカメラ端末301は、実施の形態2における解像度重みマップ121と解像度重み選択リスト124を記憶部105bに記憶し、さらに解像度重みマップ選択部116をさらに備えることで、カメラ端末401の映像に移った対象物の重要度に加えて、監視対象領域の場所ごとの重要度を組み合わせることで、例えば重要度の高い場所であっても、監視員(対象物)がいる場所は重要度を下げ、逆に重要度の低い場所であっても、不審者がいる場所の重要度を上げるといったように場所と対象物の関係に応じたカメラ端末の撮影領域の位置と解像度の調整を行うカメラ制御装置、及び制御方法であってもよい。
(実施の形態4)
次に、本発明の実施の形態4について説明する。
実施の形態1のカメラ端末101、及び実施の形態2のカメラ端末201では監視における重点的に監視を行いたい領域の配置パターンが、予め解像度重みマップとして用意されていた。さらに実施の形態4のカメラ端末401は監視対象によっては想定される状況が複雑になり、全ての状況に対して解像度重みマップを用意することができない場合において、撮影映像の内容から解像度重みマップ121を自動的に作成し、これを用いることにより、予め想定していなかった状況に対しても重要度の高い領域の配置パターンを特定し、これにあわせて常に重要度の高い領域をその周囲の領域よりも高解像度な映像として撮影しながらも、監視対象領域全体がくまなく撮影されるように複数のカメラ端末401の撮影領域の調整を行うものである。
まず、実施の形態4におけるカメラ端末401の構成について説明する。なお、実施の形態4におけるカメラ端末401は、実施の形態1におけるカメラ端末101と同様の基本構成(通信IF103、処理部104c、記憶部105c、カメラ106及びカメラ制御部107)を備えるが、処理部104cの機能と記憶部105cの内容が実施の形態1と異なる。
図26は実施の形態4におけるカメラ端末401の処理部104cの内部構成を示したブロック図を示す。処理部104cは、実施の形態3における処理部104bの構成に加えて、解像度重みマップ作成部119を備える。なお、実施の形態1、実施の形態2、実施の形態3と同じ構成については同じ記号を付与し説明を省略する。
解像度重みマップ作成部119は画像処理部118において解析された撮影領域に対して、所定の規則に従って解像度重みマップ121上の値を更新する処理部であり、より詳しくは、後述する解像度重みマップ作成規則に従って、カメラ106の撮影画像から解像度重みマップを作成する。
また、実施の形態4におけるカメラ端末401の記憶部105cには解像度重みマップを作成するための規則を定義した解像度重みマップ作成規則127が用意されている。実施の形態4における解像度重みマップ作成規則127の例を図27に示す。図27の解像度重みマップ作成規則127では、過去5分間に画像処理部118において人物が検出されている時間が80%以上の場所は解像度の重みを2とし、80%未満の場所は解像度の重みを1とすることが定義されている。
次に、実施の形態4におけるカメラ端末401の制御方法について図28のフローチャートを用いて説明する。
図28は実施の形態4におけるカメラ端末401の一連の制御方法を示したフローチャートである。以下、フローチャートの各ステップに従ってカメラ端末401の制御方法を説明する。なお、実施の形態1、実施の形態2、実施の形態3と同様の制御方法については同じ記号を付与し説明を省略する。
(ステップ101)
実施の形態1と同様の制御である。
(ステップ107)
画像処理部118はカメラ106が撮影した映像の中から、記憶部105cに記憶されているテンプレート画像125と特徴が似た領域が存在するかどうかを判定する。
(ステップ108)
解像度重みマップ作成部119は画像処理部118により判定された監視対象領域内の状況と、記憶部105cに記憶されている解像度重みマップ作成規則127の内容に従って記憶部105cに記憶されている解像度重みマップ121の内容を更新する。たとえば、解像度重みマップ作成部119は、過去5分間に画像処理部118において人物が検出されている時間が80%以上の場所は解像度の重みを2とし、80%未満の場所は解像度の重みを1とするように、解像度重みマップ121のうち、自身が撮影している領域に対応する箇所の内容を更新する。
(ステップ102)
実施の形態1と同様の制御である。
(ステップ103)
通信部110により周囲のカメラ端末401aとお互いの撮影領域の位置情報122、解像度の重み情報123、さらに解像度重みマップ121のうち自身が内容を変更した部分の情報について送受信を行い、他のカメラ端末401aと情報の共有を行う。
(ステップ104)から(ステップ105)
実施の形態1と同様の制御である。
以上までに説明してきた制御方法を用いることにより例えば図29に示すように人通りの多い駅の乗換えホームなどにおいて、複数のカメラ端末401を監視対象領域の撮影に適した高さの位置に設置し、さらにカメラ端末401に図23に示したテンプレート001と図に示した解像度重みマップ作成規則127を与えた場合、カメラ端末401は画像処理部118でテンプレート001として与えられた人型の形状をした物体を特定し、さらに解像度重みマップ作成部119において、過去5分間の撮影映像において人型の物体が4分以上存在していた場所の解像度重みを2、それ以外の場所については解像度の重みが1になるように解像度重みマップ121の内容を変更する。また、カメラ端末401は他のカメラ端末401が変更した解像度重みマップ121の情報を共有することにより、監視対象領域全体の解像度重みマップの内容を人の流れの変化にあわせて変更する。これにより例えば図29の左図、図29の右図に示すそれぞれの状況に対して、図30(a)、図30(b)のような解像度重みマップ121が自動的に作成され、全てのカメラ端末401の間で共有される。また、複数のカメラ端末401は作成された解像度重みマップ121を基に、互いの撮影領域の位置と解像度を調整することにより、図31の左図、図31の右図に示すように人の流れにあわせて、人がよく通る場所(混雑している場所)は高解像度に撮影しながらも、監視対象領域全体を撮影することができる。
このように実施の形態4のカメラ制御装置、及び制御方法を用いて複数のPTZカメラを制御することにより、例えば駅の乗換えホームなどで人の流れを監視する場合など、監視の重要度の高い領域の配置パターンの変化を予め想定できないような場合においても、撮影映像の内容を基に監視の重要領域の配置パターンを把握し、配置パターンにあわせて常に重要度の高い領域がその周囲の領域よりも高解像度の映像として撮影しながら監視対象領域全体がくまなく撮影されるように複数のPTZカメラの撮影領域を自動的に調整ができる。
なお、実施の形態4のカメラ端末401は、解像度重みマップ作成部119で作成した解像度重みマップ121と、解像度重みマップ121を作成した時の状況を判定条件として記録した解像度重み選択リスト124を記憶部105cに記憶し、さらに実施の形態2における解像度重みマップ選択部116をさらに備えることで、監視システム自身が監視対象領域の状況(判定条件)とその対応方法(解像度重みマップ)の関係を記憶(学習)するようにしても良い。
これにより例えば通勤ラッシュ時の駅の乗換えホームにおいて、路線の異なる電車の到着時するたびに人の流れが変化し、その人の流れ方が到着した電車の路線よって決まっている場合には、電車の到着時刻とその後に人の存在確率が高くなる場所との関係を解像度重みマップ121、及び解像度重み選択リスト124に記述して各カメラ端末401に記憶(学習)させることにより、監視対象領域(駅)に特有の出現頻度の高い状況(人の流れ)に対しては、その都度解像度重みマップを作成することなく、以前に作成した解像度重みマップを用いることで状況(人の流れ)の変化に迅速に対応したカメラ端末401の調整を行うことができる。
また、実施の形態1〜4においては各カメラ端末が周囲のカメラ端末や監視対象領域の状態にあわせて自律的に動作する場合を例に説明したが、図32に示すように複数のカメラ端末を集中監視する集中管理装置130を具備した構成をとっても良い。図32に示される監視システムでは、実施の形態1〜4において各カメラ端末に備えられていた処理部と記憶部が集中管理装置130内にまとめて置かれた構成となっている。なお、図32において、図9と同等の構成については、同じ番号を付与し説明を省略する。
操作部131は管理者132が監視システム内の記憶部105に記憶されている解像度重みマップ121の内容を直接変更する処理を指示するためのユーザインターフェイスである。
このように集中管理型の構成を用いることにより、管理者132は重点的に監視を行いたい領域の指定や解除を、集中管理装置130の記憶部105に記録されている解像度重みマップ121を直接選択したり、解像度重みマップ121の内容を編集したりすることで行うことができる。
また、監視対象領域内の監視の重要な領域の配置パターンに対して目的の監視条件を満たすような全てのカメラ端末のパン角、チルト角、焦点距離等の組合せを予め決めておくことが可能な場合には、解像度重みマップ121の代わりに図33(a)及び(b)に示すようなパン角、チルト角、焦点距離などの組合せを定義した複数のプリセット情報128と、プリセット情報128を選択するための条件を定義したプリセット選択リスト129を集中管理装置130の記憶部105に用意しておき、集中管理装置130にある解像度重みマップ選択部116により、解像度重みマップの選択と同様にプリセット選択リスト129に基づいてプリセット情報128を選択し、選択されたプリセット情報128に記述されているパン角、チルト角、焦点距離の値に直接各カメラ端末のカメラ制御部107を介して調整するような構成であってもよい。このようなプリセット情報128を用いた場合であっても、解像度重みマップ121を用いた場合と同様に、例えば室内の監視などにおいて時間とともに重要な場所の配置パターンが変化する場合には、時刻に応じて重量監視領域をその周辺領域よりも高解像度な映像として撮影しつつ、監視対象領域全体がくまなく撮影しつづけることができる。
(補足説明)
次に、補足説明として、実施の形態1〜4で記したカメラ端末101〜401の撮影領域の算出方法について説明する。
図34はカメラ端末101〜401の撮影領域の算出方法を説明する図である。図34において、カメラ2103は、実施の形態1〜4におけるカメラ端末101〜401のカメラ106に対応し、レンズ2101と撮像面2102とを備える。X軸2104及びY軸2105及びZ軸2106は、お互い直交し、レンズ201を原点としたカメラ座標軸系を構成する。カメラ2103は各軸回りに、パン(Y軸2105回り回転)、チルト(X軸2104回り回転)、ロール(Z軸2106回り回転)回転する。それぞれの回転角度をΘPC、ΘTC、ΘRCと示す。撮像面2102はレンズ2101よりZ軸2106方向にf離れた距離に存在し、2W×2Hの大きさを持つ。X軸2107及びY軸2108及びZ軸2109は、お互い直行し、世界座標軸系を構成する。X軸2107は図9に示すX軸120及び図29に示すX軸1120、Z軸2109は図9に示すZ軸122及び図29に示すZ軸1122にあたる。カメラ2103は世界座標軸系において、(XT,YT,ZT)で示される位置に存在し、同位置を基点として(ΔXTW,ΔYTW,ΔZTW)だけ移動する。
軸2104及びY軸2105及びZ軸2106で構成されるカメラ座標軸系上のある点(XC,YC,ZC)は、以下の式11により、X軸2107及びY軸2108及びZ軸2109で構成される世界座標軸上の点(X,Y,Z)に変換できる。
Figure 2006132029
同式において、M00からM22を要素とする3×3行列値は、カメラ2103の姿勢基準点(カメラ2103の姿勢の回転角度(ΘPC,ΘTC,ΘRC)=(0,0,0))の行列値、R00からR22を要素とする3×3行列値は、カメラ2103の姿勢基準点からの姿勢変位をあらわす行列値、(XTW,YTW,ZTW)はカメラ2103の位置基準点(カメラ2103の位置の変位(ΔXTW,ΔYTW,ΔZTW)=(0,0,0))の位置、(ΔXTW,ΔYTW,ΔZTW)はカメラ2103の位置基準点からの位置変位をあらわす。
00からM22を要素とする3×3行列値や(XTW,YTW,ZTW)は、カメラ2103を姿勢基準点及び位置基準点にあわせる、又は、現在のカメラ2103の姿勢及び位置をそれぞれ姿勢基準点及び位置基準点とし、以下の文献1に示すキャリブレーション方法などを用いることにより算出可能であり、本発明の検出領域調整装置の動作開始前に事前に算出しておく。
R.Tsai. A Versatile Camera Calibration Technique for High−Accuracy 3D Machine Vision Metrology Using Off−the−Shelf TV Cameras and Lenses. IEEE journal of Robotics and Automation, Vol. RA−3, No.4, pp.323−344, 1987
00からR22を要素とする3×3行列値は、以下の式12に示すように、カメラ2103の姿勢である回転角度(ΘPC,ΘTC,ΘRC)より算出可能である。
Figure 2006132029
なお、回転角度(ΘPC,ΘTC,ΘRC)は、本発明の実施の形態1〜4においては、カメラ制御部107が読み取る。
カメラ2103の位置基準点からの位置変位である(ΔXTW,ΔYTW,ΔZTW)は、同カメラ2103の位置をステッピングモータなどで変化させる仕組みであれば、同ステッピングモータよりその変位を読み取れる。
撮像面2102上の各点(XPC,YPC,f)は、以下の式13、式14、式15により、Z=Zである実空間面2110上の(XPW,YPW,ZPW)に投影される。
Figure 2006132029
Figure 2006132029
Figure 2006132029
このため、撮像面4隅の各点(−W,−H,f)、(W,−H,f)、(−W,H,f)、(W,H,f)は、以下の式16、式17、式18、式19によりZ=Zである実空間面2110上に投影される。
Figure 2006132029
Figure 2006132029
Figure 2006132029
Figure 2006132029
なお、上記式16の(XD0,YD0,ZD0)、式17の(XD1,YD1,ZD1)、式18の(XD2,YD2,ZD2)、式19の(XD3,YD3,ZD3)は、それぞれ、以下の式20、式21、式22、式23により求められる。
Figure 2006132029
Figure 2006132029
Figure 2006132029
Figure 2006132029
このZ=Zである実空間面2110上に投影された撮像面4隅の各点から構成される面がカメラ2103の撮影領域である。
以上までに説明した算出方法により、カメラの設置位置と設置方向、さらにカメラの回転角から撮影領域の位置を求めることができる。
以上、本発明に係る監視システムについて、実施の形態1〜4及びその変形例等に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲で各実施の形態に対して当業者が思いつく変形を施した形態も本発明に含まれる。また、各実施の形態の構成要素を任意に組み合わせて実現される形態も本発明に含まれる。
また、上記実施の形態では、カメラ端末は、建物の天井等に固定されていたが、本発明は、このような固定式のカメラ端末だけでなく、図35に示されるように、移動式のカメラ端末で実現され得る。図35では、横方向(1次元)に移動できる移動カメラが部屋の天井に設置され、床面を監視する例が示されているが、2次元、あるいは、3次元に移動できる移動カメラであってもよい。そのときのカメラに対する制御としては、パン、チルト、ズームに加えて、あるいは、パン、チルトに代えて、横方向及び/又は縦方向の移動制御を行えばよい。例えば、パン角を固定し、パンの制御に代えて、横方向(あるいは、縦方向)の移動制御を行うことで、上記実施の形態における制御方式を大きく変えることなく移動カメラにも適用することができる。
また、上記実施の形態では、各カメラ端末の撮影領域は、ある時刻Tにカメラ端末が撮影する領域であったが、本発明は、このような撮影領域だけでなく、一定の時間内(例えば、周期TCYCLE)にカメラ端末がスキャンして撮影する全領域(仮想的な撮影領域)を上記実施の形態における撮影領域として扱ってもよい。たとえば、図36(a)や図36(b)に示されるように、カメラ端末の時刻Tにおける撮影領域を時刻T撮影領域とし、カメラ端末が周期TCYCLEで一定の領域(周期TCYCLE撮影領域)をスキャンして撮影するという動作を繰り返す場合には、この周期TCYCLE撮影領域を上記実施の形態における撮影領域として扱ってもよい。この場合に、撮影領域の解像度として、周期TCYCLEに依存させてもよいし、依存させなくてもよい。依存させる場合には、例えば、周期TCYCLEが大きくなるほど解像度が悪くなるように、上記式2に周期TCYCLEを組み入れた新たな式を定義すればよい。
なお、特許請求の範囲と実施の形態における構成要素の対応は次の通りである。つまり、特許請求の範囲における「カメラ制御手段」、「通信インターフェイス」、「処理手段」、「記憶手段」、「プリセット情報選択部」は、それぞれ、実施の形態におけるカメラ制御部107、通信IF103、処理部104・104a〜104c、記憶部105・105a〜105c、解像度重みマップ選択部116と同様の機能を有する処理部に対応する。特許請求の範囲における他の構成要素は、同一名称の実施の形態における構成要素に対応する。
本発明は、カメラ及びカメラを用いた監視システムとして、例えば学校やビル等における不審者の監視用システムや、交差点や公園など広範囲撮影システムといった公共の場所の監視システム、さらに家庭内の様子を複数のネットワークカメラ等を用いて監視する室内遠隔監視システムとして、特に、監視の重要度が場所ごとに異なる監視対象領域に対して、重要度の高い場所をその周囲の場所より解像度の高い詳細な映像として撮影しながらも、監視対象領域全体をくまなく撮影されるように維持する必要のある高機能な監視システムとして有用である。
図1は、第1の従来技術における構成ブロック図である。 図2は、第1の従来技術におけるカメラ視野範囲を示す説明図である。 図3は、第2の従来技術における構成ブロック図である。 図4は、第3の従来技術における構成ブロック図である。 図5は、第3の従来技術におけるカメラ視野範囲を示す説明図である。 図6は、第3の従来技術におけるカメラ視野範囲を示す説明図である。 図7は、第4の従来技術における構成ブロック図である。 図8は、第4の従来技術における構成ブロック図である。 図9は、本発明に係る監視システムの構成を示すブロック図である。 図10は、実施の形態1における処理部の構成を示すブロック図である。 図11は、実施の形態1における記憶部の構成を示すブロック図である。 図12は、実施の形態1における記憶部に記憶されているデータの一例を示す図である。 図13は、実施の形態1におけるカメラ端末の設置例を示す図である。 図14は、実施の形態1におけるカメラ端末の制御手順を説明するフローチャートである。 図15は、実施の形態1におけるカメラの動作を説明する図である。 図16は、実施の形態1におけるカメラの動作を説明する図である。 図17は、実施の形態1におけるカメラの動作を説明する図である。 図18は、実施の形態2における処理部の構成を示すブロック図である。 図19は、実施の形態2における記憶部に記憶されているデータの一例を示す図である。 図20は、実施の形態2におけるカメラ端末の制御手順を説明するフローチャートである。 図21は、実施の形態2におけるカメラ端末の動作を説明する図である。 図22は、実施の形態3における処理部の構成を示すブロック図である。 図23は、実施の形態3におけるカメラ端末の制御手順を説明するフローチャートである。 図24は、実施の形態3における記憶部に記憶されているデータの一例を示す図である。 図25は、実施の形態3におけるカメラ端末の動作を説明する図である。 図26は、実施の形態4における処理部の構成を示すブロック図である。 図27は、実施の形態4における記憶部に記憶されているデータの一例を示す図である。 図28は、実施の形態4におけるカメラ端末の制御手順を説明するフローチャートである。 図29は、実施の形態4におけるカメラ端末の動作を説明する図である。 図30は、実施の形態4におけるカメラ端末の動作を説明する図である。 図31は、実施の形態4におけるカメラ端末の動作を説明する図である。 図32は、本発明に係る監視システムの構成を示すブロック図である。 図33は、本発明に係るに記憶部に記憶されているデータの一例を示す図である。 図34は、本発明の補足説明1における撮影領域の算出に対する説明図である。 図35は、移動カメラから構成される監視システムを示す図である。 図36は、周期TCYCLE撮影領域の説明図である。
符号の説明
101、201、301、401 カメラ端末
101a、201a、301a、401a 他のカメラ端末
102 通信ネットワーク
103 通信IF
104、104a〜104c 処理部
105、105a〜105c 記憶部
106 カメラ
107 カメラ制御部
110 通信部
111 撮影領域判定部
112 解像度重み判定部
113 隣接領域判定部
114 解像度調整部
115 撮影領域調整部
116 解像度重みマップ選択部
117 計時部
118 画像処理部
119 解像度重み作成部
120 監視対象領域マップ
121 解像度重みマップ
122 撮影領域の位置情報
123 解像度の重み情報
124 解像度重み選択リスト
125 テンプレート画像
126 テンプレート画像リスト
127 解像度重みマップ作成規則
128 プリセット情報
129 プリセット選択リスト

Claims (14)

  1. 複数のカメラ端末によって監視対象領域を監視する監視システムであって、
    撮影領域の調整機能を有するカメラと、
    前記カメラの撮影領域を調整する制御を行うカメラ制御手段と、
    他のカメラ端末と通信し合う通信インターフェイスと、
    前記通信インターフェイスを介して得た他のカメラ端末の撮影領域に関する情報に基づいて、重要度の高い撮影領域の解像度が高く、重要度の低い撮影領域の解像度が低くなる度合いを重み付き解像度とした場合に、自カメラ端末の撮影領域の重み付き解像度と他のカメラ端末の撮影領域の重み付き解像度との差が小さくなるように、前記カメラ制御手段を介して前記カメラを制御することにより、自カメラ端末の撮影領域の解像度を調整する処理手段と
    を備えることを特徴とする監視システム。
  2. 前記処理手段はさらに、前記カメラ制御手段を介して前記カメラを制御することにより、自カメラ端末の撮影領域と他カメラ端末の撮影領域とを隣接させつつ前記監視対象領域をくまなく覆うように、自カメラ端末の撮影領域と当該自カメラ端末の撮影領域に隣り合う他カメラの撮影領域との位置を調整する
    ことを特徴とする請求項1記載の監視システム。
  3. 前記処理手段は、自カメラ端末の撮影領域と他カメラ端末の撮影領域とが一定の重なり領域を持って隣接するように、自カメラ端末の撮影領域の位置を調整する
    ことを特徴とする請求項2記載の監視システム。
  4. 前記重み付き解像度は、撮影領域の解像度と撮影領域に予め対応づけられた解像度の重みとを掛け合わせて得られる
    ことを特徴とする請求項1記載の監視システム。
  5. 前記監視システムはさらに、前記監視対象領域を分割して得られる小領域ごとに重要度に相当する解像度の重みを対応づけた情報である解像度重みマップを記憶している第1記憶手段を備え、
    前記処理手段は、前記第1記憶手段に記憶された解像度重みマップを参照することで、自カメラ端末の撮影領域に対応づけられた解像度重みを特定して前記重み付き解像度を決定し、自カメラ端末の撮影領域の解像度を調整する
    ことを特徴とする請求項1記載の監視システム。
  6. 前記第1記憶手段はさらに、
    複数の前記解像度重みマップと、
    監視の状況に依存して前記複数の解像度重みマップのうちの1つを選択する際の規則を定義した解像度重み選択リストとを記憶し、
    前記処理手段はさらに、監視の状況を特定し、特定した監視の状況と前記解像度重み選択リストに定義された規則とに基づいて、前記複数の解像度重みマップから前記監視の状況に対応する解像度重みマップを選択し、当該選択した解像度重みマップを参照することで、自カメラ端末の撮影領域に対応づけられた解像度重みを特定する
    ことを特徴とする請求項5記載の監視システム。
  7. 前記解像度重み選択リストには、カメラ端末による撮影の日時に応じて前記複数の解像度重みマップのうちの1つを選択する際の規則が定義され、
    前記処理手段は、自カメラ端末による撮影の日時を特定し、前記解像度重み選択リストに定義された規則に基づいて、特定した日時に対応する解像度重みマップを選択する
    ことを特徴とする請求項6記載の監視システム。
  8. 前記監視システムはさらに、所定の対象物の特徴を定義した画像であるテンプレート画像と、前記テンプレート画像に対して重要度に相当する解像度の重みを対応づけたテンプレート画像リストとを記憶している第2記憶手段を備え、
    前記処理手段はさらに、前記カメラが撮影した画像に対して、前記第2記憶手段に記憶されているテンプレート画像に類似した対象物の存否を判定し、前記画像処理部によって前記対象物が存在すると判定された場合に、前記テンプレート画像リストを参照することによって、前記テンプレート画像に対応づけられた解像度の重みを特定し、特定した解像度の重みを自カメラ端末の撮影領域に対応づけられた解像度の重みとして特定して前記重み付き解像度を決定し、自カメラ端末の撮影領域の解像度を調整する
    ことを特徴とする請求項1記載の監視システム。
  9. 前記カメラ端末はさらに、前記カメラの撮影画像に基づいて、前記監視対象領域を分割して得られる小領域ごとに重要度に相当する解像度の重みを対応づけた情報である解像度重みマップを作成する際の規則を定義した解像度重みマップ作成規則を記憶している第3記憶手段を備え、
    前記処理手段は、前記第3記憶手段に記憶された解像度重みマップ作成規則に従って、前記カメラの撮影画像から解像度重みマップを作成し、作成された解像度重みマップを参照することで、自カメラ端末の撮影領域に対応づけられた解像度重みを特定して前記重み付き解像度を決定し、自カメラ端末の撮影領域の解像度を調整する
    ことを特徴とする請求項1記載の監視システム。
  10. 前記第3記憶手段はさらに、所定の対象物の特徴を定義した画像であるテンプレート画像を記憶し、
    前記解像度重みマップ作成規則には、任意の場所に所定の対象物が存在している時間の割合に応じて、その場所での解像度の重みを決定する旨の規則が定義され、
    前記処理手段は、前記カメラが撮影した画像に対して、前記第3記憶手段に記憶されているテンプレート画像に類似した対象物の存否を判定し、任意の場所に所定の対象物が存在していると判定された時間の割合を特定し、特定した割合に対応した解像度の重みを前記場所における解像度の重みとする解像度重みマップを作成する
    ことを特徴とする請求項9記載の監視システム。
  11. 前記処理手段は、
    自カメラ端末の撮影領域の位置を特定する撮影領域判定部と、
    前記撮影領域判定部で特定された自カメラ端末の撮影領域に対応づけられた重要度に相当する解像度の重みを特定する解像度重み判定部と、
    前記撮影領域判定部で特定された自カメラ端末の撮影領域の位置と前記解像度重み判定部で特定された自カメラ端末の撮影領域に対応づけられた解像度の重みとを前記通信インターフェイスを介して他のカメラ端末に送信するとともに、他のカメラ端末から他のカメラ端末の撮影領域の位置と前記撮影領域に対応づけられた重要度に相当する解像度の重みとを前記通信インターフェイスを介して受信するように前記通信インターフェイスを制御する通信部と、
    前記通信インターフェイスで受信された他のカメラ端末の撮影領域の位置と前記撮影領域判定部で特定された自カメラ端末の撮影領域の位置とに基づいて、自カメラ端末の撮影領域と隣り合う撮影領域を特定する隣接領域判定部と、
    重要度の高い撮影領域の解像度が高く、重要度の低い撮影領域の解像度が低くなる度合いを重み付き解像度とした場合に、前記通信インターフェイスで受信された他のカメラ端末の撮影領域の位置及び前記撮影領域に対応づけられた解像度の重みと前記解像度重み判定部で特定された自カメラ端末の撮影領域に対応づけられた解像度の重みに基づいて、自カメラ端末の撮影領域の重み付き解像度と前記隣接領域判定部で特定された他のカメラ端末の撮影領域の重み付き解像度との差が小さくなるように、前記カメラ制御手段を介して前記カメラの撮影領域の面積を調整することによって、自カメラ端末の撮影領域の解像度を調整する解像度調整部と、
    前記撮影領域判定部で特定された自カメラ端末の撮影領域の位置と前記隣接領域判定部で特定された撮影領域とに基づいて、それらが隣接するように、前記カメラ制御手段を介して前記カメラの撮影領域の位置を調整することによって、自カメラ端末の撮影領域の位置を調整する撮影領域調整部とを有する
    ことを特徴とする請求項1記載の監視システム。
  12. 複数のカメラ端末によって監視対象領域を監視する監視方法であって、
    前記複数のカメラ端末のそれぞれは、他のカメラ端末と通信によって得た他のカメラ端末の撮影領域に関する情報に基づいて、重要度の高い撮影領域の解像度が高く、重要度の低い撮影領域の解像度が低くなる度合いを重み付き解像度とした場合に、自カメラ端末の撮影領域の重み付き解像度と他のカメラ端末の撮影領域の重み付き解像度との差が小さくなるように、前記カメラ制御手段を介して前記カメラを制御することにより、自カメラ端末の撮影領域の解像度を調整するステップを含む
    ことを特徴とする監視方法。
  13. 撮影領域の調整機能を有するカメラ端末であって、
    撮影領域を調整する制御を行うカメラ制御手段と、
    他のカメラ端末と通信し合う通信インターフェイスと、
    前記通信インターフェイスを介して得た他のカメラ端末の撮影領域に関する情報に基づいて、重要度の高い撮影領域の解像度が高く、重要度の低い撮影領域の解像度が低くなる度合いを重み付き解像度とした場合に、自カメラ端末の撮影領域の重み付き解像度と他のカメラ端末の撮影領域の重み付き解像度との差が小さくなるように、前記カメラ制御手段を介して前記カメラを制御することにより、自カメラ端末の撮影領域の解像度を調整する処理手段と
    を備えることを特徴とするカメラ端末。
  14. 複数のカメラ端末によって監視対象領域を監視する監視システムを構成する1台のカメラ端末のためのプログラムであって、
    請求項12記載の監視方法に含まれるステップをコンピュータに実行させる
    ことを特徴とするプログラム。
JP2006520440A 2005-06-07 2006-04-07 監視システム、監視方法及びカメラ端末 Active JP3902222B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005167561 2005-06-07
JP2005167561 2005-06-07
PCT/JP2006/307480 WO2006132029A1 (ja) 2005-06-07 2006-04-07 監視システム、監視方法及びカメラ端末

Publications (2)

Publication Number Publication Date
JP3902222B2 JP3902222B2 (ja) 2007-04-04
JPWO2006132029A1 true JPWO2006132029A1 (ja) 2009-01-08

Family

ID=37498236

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006520440A Active JP3902222B2 (ja) 2005-06-07 2006-04-07 監視システム、監視方法及びカメラ端末

Country Status (4)

Country Link
US (1) US7929016B2 (ja)
JP (1) JP3902222B2 (ja)
CN (1) CN101061721B (ja)
WO (1) WO2006132029A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9615006B2 (en) * 2007-11-28 2017-04-04 Flir Systems, Inc. Infrared camera systems and methods for facilitating target position acquisition
JP2017207872A (ja) * 2016-05-17 2017-11-24 株式会社日立製作所 センサ設置位置支援装置
JP2019028890A (ja) * 2017-08-02 2019-02-21 株式会社木村技研 セキュリティ管理システム

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7880766B2 (en) * 2004-02-03 2011-02-01 Panasonic Corporation Detection area adjustment apparatus
JP4890880B2 (ja) * 2006-02-16 2012-03-07 キヤノン株式会社 画像送信装置,画像送信方法,プログラム,および記憶媒体
WO2008035745A1 (en) * 2006-09-20 2008-03-27 Panasonic Corporation Monitor system, camera and video image coding method
US8760519B2 (en) * 2007-02-16 2014-06-24 Panasonic Corporation Threat-detection in a distributed multi-camera surveillance system
JP4981571B2 (ja) * 2007-07-27 2012-07-25 パナソニック株式会社 画像センシング装置および画像センシングシステム
JP5141137B2 (ja) * 2007-08-21 2013-02-13 ソニー株式会社 カメラ制御方法、カメラ制御装置、カメラ制御プログラムおよびカメラシステム
JP2009157446A (ja) * 2007-12-25 2009-07-16 Mitsubishi Electric Corp 監視システム
JP4858525B2 (ja) 2008-11-04 2012-01-18 ソニー株式会社 カメラ制御装置及びカメラ制御方法
CN102025922A (zh) * 2009-09-18 2011-04-20 鸿富锦精密工业(深圳)有限公司 影像匹配系统及方法
JP5436367B2 (ja) * 2009-09-29 2014-03-05 富士フイルム株式会社 グラフィック配置決定方法ならびにそのプログラムおよび情報処理装置
US20110150434A1 (en) * 2009-12-23 2011-06-23 Empire Technology Development Llc A Pan camera controlling method
ITMI20100741A1 (it) * 2010-04-29 2011-10-30 March Networks Corp Configurazione e comunicazione di elementi di rete video
US8334905B2 (en) * 2010-05-05 2012-12-18 Cisco Technology, Inc. Zone, system and failure aware self adjusting IP surveillance cameras
US8193909B1 (en) * 2010-11-15 2012-06-05 Intergraph Technologies Company System and method for camera control in a surveillance system
US9615064B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
JP2013074572A (ja) * 2011-09-29 2013-04-22 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
US20130188045A1 (en) * 2012-01-20 2013-07-25 Nokia Corporation High Resolution Surveillance Camera
CN103369229B (zh) * 2012-03-28 2016-07-06 宏碁股份有限公司 多装置的同步摄影方法及系统
JP5992090B2 (ja) * 2012-04-02 2016-09-14 マックマスター ユニバーシティー モニタリングおよび監視の用途のためのカメラのアレイにおける最適なカメラ選択
JP5246978B2 (ja) * 2012-04-19 2013-07-24 パナソニック株式会社 画像センシング装置
US20140198215A1 (en) * 2013-01-16 2014-07-17 Sherry Schumm Multiple camera systems with user selectable field of view and methods for their operation
WO2014136979A1 (ja) * 2013-03-08 2014-09-12 株式会社デンソーウェーブ 移動体を監視する装置及び方法
US8891817B2 (en) * 2013-03-15 2014-11-18 Orcam Technologies Ltd. Systems and methods for audibly presenting textual information included in image data
US9614898B1 (en) * 2013-05-27 2017-04-04 Surround.IO Distributed event engine
CN103607569B (zh) * 2013-11-22 2017-05-17 广东威创视讯科技股份有限公司 视频监控中的监控目标跟踪方法和系统
EP3029943B1 (en) 2014-12-04 2018-01-31 Axis AB Method and device for determining properties of a graphical overlay for a video stream
CN104902236A (zh) * 2015-05-27 2015-09-09 深圳英飞拓科技股份有限公司 监控设备的联动控制方法及装置
KR101604651B1 (ko) * 2015-07-01 2016-03-18 렉스젠(주) 영상 감시 장치 및 그 방법
KR102076531B1 (ko) * 2015-10-27 2020-02-12 한국전자통신연구원 멀티 센서 기반 위치 추적 시스템 및 방법
CN108293107A (zh) * 2015-12-02 2018-07-17 佳能株式会社 显示处理装置、显示处理方法和用于执行显示处理方法的计算机可读介质
JP6855680B2 (ja) * 2016-03-04 2021-04-07 株式会社リコー システム、情報処理装置、プログラム
CN107464269A (zh) * 2016-06-02 2017-12-12 阿里巴巴集团控股有限公司 搭配效果图的生成方法、装置及系统
GB2553108B (en) * 2016-08-22 2020-07-15 Canon Kk Method, processing device and system for managing copies of media samples in a system comprising a plurality of interconnected network cameras
US11545013B2 (en) * 2016-10-26 2023-01-03 A9.Com, Inc. Customizable intrusion zones for audio/video recording and communication devices
CN108093209B (zh) * 2016-11-21 2024-04-12 松下知识产权经营株式会社 影像传输系统以及移动摄像机设备
WO2018105298A1 (ja) * 2016-12-09 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
JP6941458B2 (ja) * 2017-03-29 2021-09-29 セコム株式会社 監視システム
JP7140472B2 (ja) * 2017-06-09 2022-09-21 キヤノン株式会社 撮像装置の設置方法および制御手段
JP6834811B2 (ja) * 2017-06-29 2021-02-24 住友電気工業株式会社 カメラ制御プログラム、カメラ制御方法およびカメラ制御装置
JP6626138B2 (ja) * 2018-02-19 2019-12-25 ファナック株式会社 センサを用いた物体監視装置
CN108881781B (zh) * 2018-07-17 2020-12-29 广东小天才科技有限公司 视频通话过程中分辨率的确定方法及装置
CN109685062B (zh) * 2019-01-02 2023-07-25 南方科技大学 一种目标检测方法、装置、设备及存储介质
JP7140043B2 (ja) * 2019-05-07 2022-09-21 株式会社デンソー 情報処理装置
CN110536066B (zh) * 2019-08-09 2021-06-29 润博全景文旅科技有限公司 一种全景相机拍摄方法、装置、电子设备及存储介质
CN113163111B (zh) * 2019-10-15 2022-07-22 成都大学 基于高斯加权或正弦加权的全景图像缝合方法、存储介质及终端
CN111355884B (zh) * 2019-12-23 2021-11-02 深圳市鸿合创新信息技术有限责任公司 监控方法、装置、系统、电子设备及存储介质
CN113099163B (zh) * 2019-12-23 2023-04-11 中移物联网有限公司 一种监控调节方法、监控系统、电子设备及可读存储介质
CN113329171A (zh) * 2021-05-11 2021-08-31 浙江大华技术股份有限公司 一种视频处理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083243A (ja) * 1998-09-04 2000-03-21 Canon Inc 撮像装置、撮像システム、撮像制御方法、及び記憶媒体
JP2001094975A (ja) * 1999-09-20 2001-04-06 Hitachi Ltd 移動物体追跡方法および装置
JP2001251608A (ja) * 2000-03-07 2001-09-14 Nec Eng Ltd 遠隔監視用カメラシステム
JP2004072628A (ja) * 2002-08-08 2004-03-04 Univ Waseda 複数カメラを用いた移動体追跡システム及びその方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07303207A (ja) 1994-05-09 1995-11-14 Canon Inc 撮像装置
JPH10229511A (ja) 1997-02-14 1998-08-25 Tokyo Electron Ind Co Ltd 監視カメラ装置
JP3774539B2 (ja) * 1997-04-10 2006-05-17 キヤノン株式会社 通信装置システム及び通信装置システム制御方法
US6727938B1 (en) * 1997-04-14 2004-04-27 Robert Bosch Gmbh Security system with maskable motion detection and camera with an adjustable field of view
JP3043925U (ja) 1997-05-30 1997-12-12 満 岡元 保存式記録カレンダー
JP4287538B2 (ja) * 1999-04-30 2009-07-01 パナソニック株式会社 画像信号切替方法及び装置並びにこれを用いたデジタル撮像カメラ及び監視システム
JP3300341B2 (ja) * 1999-10-12 2002-07-08 松下電器産業株式会社 監視システムおよびカメラ調整方法
US7479980B2 (en) * 1999-12-23 2009-01-20 Wespot Technologies Ab Monitoring system
JP3643513B2 (ja) 2000-03-01 2005-04-27 株式会社日立国際電気 侵入物体監視方法および侵入物体監視装置
EP1968321B1 (en) 2000-02-28 2015-06-17 Hitachi Kokusai Electric Inc. Intruding object monitoring method and intruding object monitoring system
EP1390814A2 (en) * 2001-05-30 2004-02-25 Nptest, Inc. Sub-resolution alignment of images
DE602004010363T2 (de) * 2003-01-17 2008-10-23 Nippon Telegraph And Telephone Corp. Fernvideoanzeigeverfahren, videoerfassungseinrichtung, verfahren dafür und programm dafür
CN101156434B (zh) * 2004-05-01 2010-06-02 雅各布·伊莱泽 具有非均匀图像分辨率的数码相机

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083243A (ja) * 1998-09-04 2000-03-21 Canon Inc 撮像装置、撮像システム、撮像制御方法、及び記憶媒体
JP2001094975A (ja) * 1999-09-20 2001-04-06 Hitachi Ltd 移動物体追跡方法および装置
JP2001251608A (ja) * 2000-03-07 2001-09-14 Nec Eng Ltd 遠隔監視用カメラシステム
JP2004072628A (ja) * 2002-08-08 2004-03-04 Univ Waseda 複数カメラを用いた移動体追跡システム及びその方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9615006B2 (en) * 2007-11-28 2017-04-04 Flir Systems, Inc. Infrared camera systems and methods for facilitating target position acquisition
JP2017207872A (ja) * 2016-05-17 2017-11-24 株式会社日立製作所 センサ設置位置支援装置
JP2019028890A (ja) * 2017-08-02 2019-02-21 株式会社木村技研 セキュリティ管理システム
US11348372B2 (en) 2017-08-02 2022-05-31 Kimura Corporation Security management system

Also Published As

Publication number Publication date
WO2006132029A1 (ja) 2006-12-14
US7929016B2 (en) 2011-04-19
CN101061721A (zh) 2007-10-24
JP3902222B2 (ja) 2007-04-04
US20090262195A1 (en) 2009-10-22
CN101061721B (zh) 2010-05-26

Similar Documents

Publication Publication Date Title
JP3902222B2 (ja) 監視システム、監視方法及びカメラ端末
JP3886524B2 (ja) カメラ端末および監視システム
JP4345692B2 (ja) 情報処理システム、情報処理装置および方法、並びにプログラム
US8154599B2 (en) Imaging region adjustment device
CN109104561B (zh) 用于追踪场景中的移动对象的系统及方法
US6215519B1 (en) Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
JP3887403B2 (ja) カメラ端末および撮影領域調整装置
JP3903062B2 (ja) 監視システムおよびカメラ端末
JP2002522980A (ja) 複数カメラシステム中の画像追跡
KR100719120B1 (ko) 프라이버시영역을 마스크 처리하는 감시시스템 및 그 방법
JP4418805B2 (ja) 検出領域調整装置
EP1441529B1 (en) Image-taking apparatus and image-taking system
JP4470759B2 (ja) 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体
US8044992B2 (en) Monitor for monitoring a panoramic image
US20050206726A1 (en) Monitor system and camera
JP2006333133A (ja) 撮像装置、撮像方法、プログラム、プログラム記録媒体並びに撮像システム
JP2017212581A (ja) 追尾装置、追尾方法及びプログラム
US20060017812A1 (en) Camera link system, camera device and camera link control method
JP4378636B2 (ja) 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体
GB2459033A (en) Resolution reduced video monitoring method to enable real time video processing
JP2016127571A (ja) カメラシステム、表示制御装置、表示制御方法、及びプログラム
JP2019176306A (ja) 監視システム、監視システムの制御方法及びプログラム
JP2006345114A (ja) 撮影領域調整装置および方法
JP2021197572A (ja) カメラ制御装置及びプログラム
WO2017094241A1 (en) Display processing apparatus, display processing method, and computer-readable medium for executing display processing method

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20061220

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061227

R150 Certificate of patent or registration of utility model

Ref document number: 3902222

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120112

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130112

Year of fee payment: 6