JP4574509B2 - システム用カメラ、監視システム及び監視方法 - Google Patents

Description

本発明は、システム用カメラ、監視システム及び監視方法に関し、特に移動体を継続的に撮影する際のシステム用カメラの撮影範囲の制御に関する。

従来、オフィスビル、商店、街中などで防犯、防災などの目的で監視カメラを用いた監視システムが利用されている。そして、このような従来の監視システムは、監視する領域に複数のシステム用カメラを配置して、その複数のカメラ映像を人がリアルタイムでモニタリングするといった方法である。このような方法においては、複数のシステム用カメラを分散配置して広い範囲を監視するようにしており、この場合、システム用カメラとして視野が広角に固定された固定カメラを使用している。

ここで、固定カメラの台数が増加すると、監視者に与える負担が増加していた。また、監視者が監視するモニタ以上にカメラの台数が設置されている場合、カメラからの映像は一定のタイミングで順番に切り替わってモニタに表示されるため、不審者を見落としたりする原因になっていた。

しかし、最近では画像処理技術の向上により、システム用カメラが自動的に移動体を抽出し、この抽出された移動体を認識して撮影を行うことが出来るようになってきている。ここで、このような監視システムに用いられるシステム用カメラとしては、例えば撮影手段である広角カメラと、広角カメラにより撮影される映像に対して監視対象の位置や特徴を抽出する画像処理装置が一体となった広域映像処理装置とを備えたものがある。

そして、このような監視システムにおいては、システム用カメラ（の広域映像処理装置）により対象物体の位置を認識し、これに基づきネットワークを経由して他に設けられたズームカメラの水平及び垂直方向、ズーム倍率を調整するようにしている。これにより、ズームカメラを対象物体の方向に向かせることができる（例えば、特許文献１参照。）。

また、他の監視システムとしては、パン・チルト・カメラと広角カメラを近接して設置したものがある。そして、広角カメラで撮影した映像から動く物体の位置と形状を推定してパン・チルト・カメラで撮影を行い、パン・チルト・カメラから出力される映像を映像記録装置に表示させるようにしている（例えば、特許文献２参照。）。

特開平９−１３０７８３号公報 特開２００４−０１５５１６号公報

しかしながら、このような従来の監視システムにおいては、広角カメラとズームカメラ、又はパン・チルト・カメラの役割は固定されており、広角カメラの検出結果によりズームカメラ、又はパン・チルト・カメラが動作するようになっている。このため、監視エリアに広角カメラが１台の場合、遮蔽（障害物や人物など）により死角が生じると、移動体を認識出来ない事がある。

さらに、広角カメラの指示によってパン・チルト・カメラ、又はパン・チルト・カメラが動作するので、広角カメラが故障をしてしまうと、移動体を追跡して撮影が出来なくなってしまう。

なお、このような課題を解決するため、例えば監視エリアにパン・チルト・カメラ、又はパン・チルト・カメラの他に、広角カメラを複数設置するようにすると、死角は生じないものの、広角カメラを増加させた分だけコストがかかるという他の課題が生じる。

そこで、本発明は、このような事情に鑑みてなされたもので、最適なアングルで撮影可能で、かつ死角のないシステム用カメラ、監視システム及び監視方法を提供することを目的とするものである。

本発明は、移動体を継続して撮影するシステムに用いられるシステム用カメラにおいて、前記移動体を撮影して認識すると共に撮影範囲の切り替えが可能な撮影手段と、前記撮影手段が認識した移動体の特徴情報を抽出する特徴抽出手段と、移動体認識時、前記撮影手段が移動体を撮影している撮影状態を評価する撮影評価値を演算する演算手段と、前記撮影手段の撮影範囲、前記移動体の特徴情報及び前記撮影評価値を周囲のシステム用カメラとの間で相互に通信する通信手段と、前記移動体の特徴情報と、前記通信手段を介して取得した前記周囲のシステム用カメラが抽出している移動体の特徴情報とを比較する特徴比較手段と、前記撮影評価値と、前記通信手段を介して取得した前記周囲のシステム用カメラの撮影評価値を比較する撮影評価値比較手段と、前記周囲のシステム用カメラからの撮影手段の撮影範囲情報、前記特徴比較手段の比較結果及び前記撮影評価値比較手段の比較結果に応じて前記撮影手段の撮影範囲を変更する変更手段と、を備えたことを特徴とするものである。

本発明のように、移動体を検出した状況に応じて、システム用カメラ同士が互いの情報を交換して動的に役割変更を行うことによって、最適なアングルで撮影可能なシステム用カメラに移動体の撮影を行わせることが出来る。また、移動体を詳細に撮影するために撮影範囲を変更しても、システム用カメラ同士がお互いの監視領域をカバーして撮影を行う事によって死角を無くすことが出来る。

以下、本発明を実施するための最良の形態について図面を用いて詳細に説明する。

図１は、本発明の第１の実施の形態に係る監視システムの一例である移動体追跡撮影システムのシステムブロック図である。

本実施の形態における移動体追跡撮影システムは、地理的に分散した複数台の可動するシステム用カメラ１０（１０ａ〜１０ｎ）と、ネットワーク４０と、モニタ装置５０とを備えている。また、システムにはあらかじめ共通の３次元座標系が設定されており、床面上にＸ軸、Ｙ軸、床面と垂直となる高さ方向にＺ軸がそれぞれ直交するように設定してある。

システム用カメラ１０（以下、カメラという）が移動体を認識すると、矢印に示すように後述する通信部２９を利用して複数のカメラ１０間同士で情報の送受信を行う。また、それと同時に移動体を認識したカメラ１０、例えばカメラ１０ａは、点線で示すようにネットワーク４０を利用してモニタ装置５０に映像を伝送する。

ここで、各カメラ１０は、移動体を撮影するための撮影手段である撮影部２１と、撮影部２１で認識した移動体の特徴情報を抽出する特徴抽出手段である移動体特徴抽出部２２とを備えている。ここで、この撮影部２１は、撮影対象移動体を特定するための画像処理機能を備えると共に広角撮影及びパン・チルト・ズーム撮影が可能なものであり、この撮影部２１の撮影状態を変更することにより、撮影範囲を変更することができる。

また、移動体特徴抽出部２２が抽出した移動体の特徴情報と、周囲のカメラ１０から受信した周囲のカメラ１０が撮影している移動体の特徴情報を比較する特徴比較手段である移動体特徴比較部２３を備えている。さらに、受信部３０を介して取得した周囲のカメラ１０の動作状態と、カメラ１０自身の動作状態の比較を行う動作状態比較手段である動作状態比較部２７を備えている。

また、移動体特徴比較部２３と動作状態比較部２７とによる比較結果及び周囲のカメラ１０の動作状態、言い換えれば周囲のカメラ１０の撮影範囲からカメラ１０自身の役割及び行動を決定し、撮影範囲を変更する変更手段である推論部２８とを備えている。

また、推論部２８によって推論された制御量に基づいて撮像部２１の動作制御を行う動作制御部２６と、動作制御部２６から出力される制御信号に基づいて撮像部２１を駆動する動作駆動部２５で構成される動作部２４を備えている。

ここで、撮影部２１で撮影された動画像より認識された移動体の特徴情報を抽出する移動体特徴抽出部２２における移動体の認識方法としては、前画像との差分を取り、差分が存在する部分のオブジェクトを抽出する背景差分法などがある。また、オプティカルフロー法などを用いることにより、移動体の移動方向や速度、及びカメラからの奥行きに関する情報を得ることが可能となる。

その他、画像から移動体の抽出を行う処理方法としては、背景差分法やオプティカルフロー法に限らず、フレーム間差分法、テンプレートマッチング法、マーカー検出法等、これらのうちの一つ、もしくはそれらの組み合わせを用いるようにしても良い。

移動体特徴比較部２３は、移動体特徴抽出部２２によって抽出された現在カメラ１０自身が撮影している移動体の特徴情報と位置情報を、受信部３０を介して取得した周囲のカメラ１０が撮影している移動体の特徴情報と位置情報を用いて比較する。そして、撮影している移動体が同一か否かの比較結果を推論部２８へ通知する。

推論部２８は、演算手段として、移動体を撮影している状態を評価する撮影評価値Ｅを算出する。ここで、この撮影評価値Ｅは、現在カメラ自身が、どの程度適切に移動体を撮影しているのかを示す値であり、このように算出された撮影評価値Ｅは、送信部３１を介して移動体の特徴情報と共にネットワーク４０上の他のカメラ１０に送信される。

なお、この送信部３１と受信部３０とにより、周囲のカメラ１０との間において撮像部２１の撮影範囲、移動体特徴比較部２３と、後述する動作状態比較部２７において行なわれた他のカメラの状態との比較結果を相互に通信するようにしている。

また、推論部２８は、移動体特徴比較部２３と、動作状態比較部２７において行なわれた他のカメラの状態との比較の結果、撮影部２１による撮影範囲の変更を行うか否かの判断を行う。そして、受信部３０を介して取得した他のカメラ１０の状態に応じ、例えば広角撮影状態からパン・チルト・ズームを行って撮影範囲の変更を行うと判断した場合は、動作部２４の動作制御部２６に制御量を伝えるようにしている。

動作制御部２６は、この推論部２８の撮影範囲の変更判断に基づく制御量に基づいて動作駆動部２５を駆動すると共に、動作制御部２６から出力される制御量を動作状態比較部２７へ通知する。そして、動作状態比較部２７では、動作駆動部２５を動作させている制御量と周囲のカメラ１０の動作状態との比較を行い、比較結果を推論部２８へ通知する。推論部２８は、この比較結果に基づき撮影範囲の変更を行う。

図２の（ａ）は移動体１が２つのカメラ１０ａ，１０ｂの撮影範囲１１ａ，１１ｂに進入してきたところを想定した図であり、矢印２は移動体１の進行方向を示している。なお、図２において、移動体１は右下から左上に向かって進んでいるものとする。ここで、それぞれのカメラ１０ａ，１０ｂは移動体１をトラッキングしていない時は広角撮影を行っている。

また、図２の（ｂ）は、移動体１を横から見た時のカメラ１０ａ，１０ｂの設置状態及び撮影範囲１１ａ，１１ｂを示しており、図２の（ｃ）はカメラ１０ａ，１０ｂがそれぞれ撮影している映像１２ａ，１２ｂを示している。

次に、図３のフローチャートを用いて、図２においてカメラ１０ａが新規に移動体１を発見した際の処理（監視方法）を説明する。

ステップ１（Ｓ１）では、例えば図２に示すカメラ１０ａの撮影部２１により新規に移動体１を発見（認識）した際に、撮影部２１により、移動体１の進行方向、移動体１の位置などを取得すると共に、移動体特徴抽出部２２で移動体１の特徴を抽出する。例えば、移動体１の特徴情報は、色、形状、大きさ、輝度分布、色分布、ビットマップパターンや、移動体１が人物の場合には、顔の輪郭、目、口、鼻といった特徴を抽出する。

次に、ステップ２（Ｓ２）において、推論部２８は、カメラ１０ａが移動体１を撮影している状態を評価する値である撮影評価値Ｅを算出する。なお、この撮影評価値Ｅは例えばファジィ推論を用いることにより算出出来る。

ここで、この撮影評価値Ｅを算出するためのパラメータとしては、カメラ１０ａと移動体１との距離、撮影部２１の倍率、カメラ１０ａの画角内における移動体サイズ、カメラ１０ａに対する移動体１の進行方向（相対角度）がある。また、パラメータとしては、障害物の遮蔽などによる移動体１の抽出精度、照明条件があり、これらパラメータを用いることによって撮影評価値Ｅを算出する。

なお、画角内における移動体サイズは撮影部２１の撮影状態によって影響を受けるパラメータである。例えば、画角内における移動体サイズが小さい場合、撮影状態は、広角撮影時にはさほど影響を受けないが、ズームアップ撮影時にもかかわらず移動体サイズが小さい時には影響を受ける。

また、移動体が人物である場合、全身を撮影出来ていて、画面の高さを１とすると、図４の（ａ）のように人物の高さが画面の１／２程度を占めている状態が望ましい。しかし、顔のアップが撮影出来ている状態が望ましい場合は、図４の（ｂ）に示すように人物のバストアップサイズが画面の１／２程度を占める状態が望ましいとして設定を変更する事も可能である。そして、撮影評価値は、画角内における移動体のサイズが適切で、障害物等の影響を受けずに移動体を正面から撮影している状態が最も高い値となる。

次に、このように撮影評価値Ｅを算出した後、ステップ３（Ｓ３）において、周囲のカメラ、例えば図２に示すカメラ１０ｂと通信し、カメラ１０ｂに新規に移動体１を発見したことを送信する。ここで、このようにカメラ１０ａから移動体を認識したことを受信すると、カメラ１０ｂは、移動体を撮影中である場合、撮影部２１による撮影状態を送信すると共に、移動体の特徴情報を比較し、撮影評価値を算出してカメラ１０ａに送信する。

ここで、ステップ４（Ｓ４）において、カメラ１０ｂが広角撮影を行っていれば（Ｓ４のＹ）、ステップ５（Ｓ５）において、カメラ１０ａが移動体のトラッキングを行うことをカメラ１０ｂに通知する。

そして、ステップ６（Ｓ６）において、カメラ１０ｂの合意があれば（Ｓ６のＹ）、即ちカメラ１０ｂが広角撮影を継続して行う場合には、推論部２８は動作部２４及び撮影部２１を制御し、パン・チルト・ズームを行う。これにより、ステップ７（Ｓ７）に示すように移動体１の追跡撮影（トラッキング）が開始され、この後、ステップ８（Ｓ８）に示すように、周囲のカメラ１０ｂと撮影状態の通信を行う。

ここで、このように移動体１を詳細に撮影するため、カメラ１０ａが撮影範囲を変更した場合、カメラ１０ａが本来撮影すべき撮影範囲に死角が生じてしまう。しかし、この場合、カメラ１０ｂが広角撮影を継続して行うので、このカメラ１０ｂがカメラ１０ａの撮影範囲をカバーすることができ、死角が生じることはない。

また、ステップ６（Ｓ６）においてカメラ１０ｂの合意が得られない場合は（Ｓ６のＮ）、即ちカメラ１０ｂが広角撮影をしているが、移動体を検出している場合は、ステップ９（Ｓ９）において、移動体１の特徴量の比較を行う。

一方、ステップ４（Ｓ４）において、カメラ１０ｂが広角撮影を行っておらず移動体１をトラッキング中である場合（Ｓ４のＮ）、ステップ９（Ｓ９）において、移動体１の特徴量を比較し、対象同定を行う。そして、対象同定を行った結果、カメラ１０ａが新規に発見した移動体１が、カメラ１０ｂがトラッキングを行っている移動体１と同一だった場合には（Ｓ９のＹ）、ステップ１０（Ｓ１０）において、後述する図７に示すようなグループ化を行う。

ここで、このグループ化においては、同一の移動体１を撮影している複数のカメラ間のうち撮影評価値Ｅの最も高いカメラがメインとなり、他のカメラはサブとなるようなグループ化を行う。

そして、このように複数のカメラがグループ化された場合、移動体１を撮影している間、情報の交換を行う相手として、サブカメラは同一グループのメインカメラとだけ撮影評価値Ｅのやり取りを行い、メインカメラのみが周囲のカメラと情報の交換を行う。

なお、移動体１の移動に伴い撮影評価値Ｅが変化すると、そのとき撮影評価値Ｅの最も高いカメラがメインになる。なお、ステップ９（Ｓ９）において、移動体の対象同定を行った結果、トラッキングしている移動体１が別であった場合には（Ｓ９のＮ）、グループ化は行わない。

次に、このようなグループ化の後、ステップ１１（Ｓ１１）において、推論部２８は撮影評価値比較手段として作用して撮影評価値Ｅの比較を行う。ここで、Ｅ_ａ（カメラ１０ａの撮影評価値）＞α・Ｅ_ｂ（カメラ１０ｂの撮影評価値）であれば、カメラ１０ａがパン・チルト・ズームを行って移動体１を詳細に撮影する。また、Ｅ_ａ≦αＥ_ｂであれば、ステップ１２（Ｓ１２）のようにカメラ１０ａは広角撮影を行い、カメラ１０ｂがそのまま移動体１のトラッキングを行う。

このように、移動体１の移動に応じてカメラ間で動的に役割変更を行うことによって、最適なアングルのカメラが移動体を詳細に撮影しながらトラッキングを行う事が出来る。

ここで、αは係数であり、ステップ１１（Ｓ１１）においては、係数αの設定により、複数のカメラが同程度の撮影評価値Ｅを算出する境界付近に移動体が存在し、カメラ間の撮影評価値Ｅの大小関係が頻繁に切り替わってしまう場合がある。この場合には、係数αの設定を変更してカメラ同士の撮影状態の切り替え頻度を制御することが出来る。

なお、この係数αの設定は監視者が手動で行ってもよい。切り替え頻度を制御するためには係数αを１より大きく設定する事が望ましい。

図５は、新規に移動体を発見した際に他のカメラ１０ｂに送信する情報のフォーマットを示す説明図である。なお、この送信データは、図３におけるステップ３（Ｓ３）において送信されるものである。

送信データは、「同期・通信制御」、「送信元カメラＩＤ」、「送信先カメラＩＤ」、「移動体特徴量」、「移動体進行方向」、「移動体位置」、「撮影評価値」、「撮影評価値算出時刻」及び「撮影範囲」とから構成される。ここで、「同期・通信制御（信号）」とは、無線通信を行う２台以上のカメラのタイミングを一定の時間関係に保つ場合において必要な情報である。

「カメラＩＤ」は、カメラに対して一意に付与された識別番号である。「移動体特徴量」、「移動体進行方向」、「移動体位置」は、図３におけるステップ１（Ｓ１）でカメラが取得した移動体に関する情報である。

「撮影評価値」、「撮影評価値算出時刻」は、ステップ２（Ｓ２）で算出した値と時刻である。受信カメラ側では、送信カメラが撮影評価値を算出した時刻と同時刻の撮影評価値を比較する。「撮影範囲」はカメラの設置位置、俯角、回転角、ズーム率から算出する。

図６の（ａ）は、図３に示す新規に移動体Ｉを発見した際の処理の流れに基づいて、カメラ１０ａ、１０ｂ間で情報のやり取りが行われた結果、カメラ１０ａが移動体１をズーム撮影しながらトラッキングを行っている例を示したものである。なお、図６の（ｂ）は、横から見た時のカメラ１０ａ，１０ｂの設置状態及び撮影範囲１１ａ，１１ｂを示しており、図６の（ｃ）の１２ａはカメラ１０ａが、１２ｂはカメラ１０ｂが撮影している映像を示している。

また、図７は同一の移動体を撮影しているカメラ１０ａ〜１０ｃをグループ化した第１グループ１３ａと、他の移動体を撮影しているカメラ１０ｄ，１０ｅをグループ化した第２グループ１３ｄとの間での情報のやり取りが行われる一例を示す概念図である。

ここでは、同一の移動体を撮影している第１グループ１３ａのカメラ１０ａ及び他の移動体を撮影している第２グループ１３ｂのカメラ１０ｄがそれぞれのグループのメインカメラとしている。

そして、このようなグループ化を行った際に、サブカメラ１０ｂ，１０ｃからの情報は矢印１４ｂに示すように同一の移動体を撮影しているメインカメラ１０ａ，１０ｄのみに送信され、周囲のカメラ１０ｂ，１０ｃ，１０ｅには送信を行わない。さらに、メインカメラ１０ａ，１０ｄのみが矢印１４ａに示すように移動体情報を周囲のカメラ１０ｂ，１０ｃ，１０ｅに送信する。

ここで、このメインカメラ１０ａ，１０ｄの役割は撮影評価値Ｅによって動的に変更する。また、グループ化も同一の移動体を同時に認識しているカメラ同士が動的に行うものであり、固定されているものではない。なお、同一の移動体を認識していないカメラはグループに属さない。

図８の（ａ）は同一の移動体を撮影しているカメラ１０ａ，１０ｂ，１０ｃをグループ化した時の別の例である。ここではカメラ１０ａが移動体１−１を、カメラ１０ｂが移動体１−２をそれぞれトラッキングしており、カメラ１０ｃが広角撮影をしていて移動体１−１及び１−２を撮影している時のグループ化の例を示す。

図８（ｂ）の１２ｃはカメラ１０ｃの撮影映像である。このように、一つのカメラ１０ｃが複数の移動体を撮影している時は、一つのカメラ１０ｃが複数のグループ１３ａ，１３ｂに属することもある。

以上説明したように、移動体１を検出した状況に応じてカメラ同士が互いの情報を交換してカメラ（撮影部２１）の撮影範囲を変更することにより、最適なアングルで撮影可能なカメラに移動体１の撮影を行わせることが出来る。また、移動体を詳細に撮影するためにズームアップして撮影範囲を狭くした場合でも、他のカメラ（撮影部２１）が撮影範囲を広範囲とし、監視領域をカバーして撮影を行う事によって死角を無くすことが出来る。

次に、本発明の第２の実施の形態について説明する。

図９は、本実施の形態に係る監視システムの一例である移動体追跡撮影システムのシステムブロック図である。なお、図９において、図１と同一符号は、同一又は相当部分を示している。

図９において、６０はネットワーク４０に接続されたデータベースであり、このデータベース６０には対象物の特徴情報と重要度Ｉが登録されている。そして、この重要度Ｉに応じてカメラ１０は、追跡して撮影を行う対象物を選択することが可能となる。

ここで、この重要度Ｉは移動体ごとに決められた値であり、監視者等によって手動で設定されるものであっても良い。さらに重要度は固定値ではなく、カメラが撮影している間にとった行動や、移動体の存在する位置に応じて重要度を更新するようにしても良い。例えば、危険な場所や立ち入り禁止区域に近づく移動体は要注意として重要度を更新するといったようにする。

次に、図１０及び図１１のフローチャートを用いて、カメラ１０ａが新規に移動体１を発見した際の重要度Ｉに応じた処理（監視方法）の流れを説明する。

ステップ２０（Ｓ２０）において、既述した図２に示すカメラ１０ａの撮影部２１が新規に移動体１を認識した後、移動体特徴抽出部２２により特徴情報を抽出し、ステップ２１（Ｓ２１）において、推論部２８は特徴情報をデータベースに問い合わせる。

そして、ステップ２２（Ｓ２２）において、移動体特徴比較部２３により、特徴情報を抽出した移動体がデータベース６０に登録されているか否かを判断する。その特徴情報に対応する移動体がデータベース６０に登録されている場合（Ｓ２２のＹ）、ステップ２３（Ｓ２３）において、特徴情報と共に登録されている重要度Ｉを抽出し、移動体１に付与する。

一方、ステップ２２（Ｓ２２）において、移動体１がデータベース６０に登録されていないと判断された場合は（Ｓ２２のＮ）、ステップ２４（Ｓ２４）において、移動体１には重要度として０を付与し、新規移動体としてデータベース６０に登録する。

次に、ステップ２５（Ｓ２５）において、推論部２８は撮影評価値Ｅを算出し、ステップ２６（Ｓ２６）において、周囲のカメラ１０ｂと通信し、カメラ１０ｂに新規に移動体１を発見したことを送信すると共にカメラ１０ｂの状態を受信する。

ここで、ステップ２７（Ｓ２７）において、カメラ１０ｂが広角撮影を行っていれば（Ｓ２７のＹ）、ステップ２８（Ｓ２８）において、カメラ１０ａが移動体１のトラッキングを行うことをカメラ１０ｂに通知する。

そして、ステップ２９（Ｓ２９）において、カメラ１０ｂの合意があれば（Ｓ２９のＹ）、推論部２８は撮影部２１を制御し、パン・チルト・ズームを行う。これにより、ステップ３０（Ｓ３０）に示すように移動体１の追跡撮影（トラッキング）が開始され、この後、ステップ３１（Ｓ３１）に示すように、周囲のカメラ１０ｂと動作状態等の通信を行う。

ここで、このように移動体を詳細に撮影するため、カメラ１０ａが撮影範囲を変更した場合、カメラ１０ａが本来撮影すべき撮影範囲に死角が生じてしまう。しかし、この場合、カメラ１０ｂが広角撮影を継続して行うので、このカメラ１０ｂがカメラ１０ａの撮影範囲をカバーすることができ、死角が生じることはない。

また、ステップ２９（Ｓ２９）においてカメラ１０ｂの合意が得られない場合は（Ｓ２９のＮ）、即ちカメラ１０ｂが広角撮影をしているが、移動体１を検出している場合は、ステップ３２（Ｓ３２）において、移動体１の特徴量の比較を行う。

一方、ステップ２７（Ｓ２７）において、カメラ１０ｂが移動体１をトラッキング中である場合、ステップ３２（Ｓ３２）において、移動体１の特徴量を比較し、対象同定を行う。そして、対象同定を行った結果、カメラ１０ａが新規に発見した移動体１が、カメラ１０ｂがトラッキングを行っている移動体１と同一だった場合には、ステップ３３（Ｓ３３）において、グループ化を行い、ステップ３４（Ｓ３４）において、撮影評価値Ｅの比較を行う。

ここで、Ｅ_ａ（カメラ１０ａの撮影評価値）＞α・Ｅ_ｂ（カメラ１０ｂの撮影評価値）であれば、カメラ１０ａがパン・チルト・ズームを行って移動体１を詳細に撮影する。また、Ｅ_ａ≦αＥ_ｂであれば、ステップ３５（Ｓ３５）のようにカメラ１０ａは広角撮影を行い、カメラ１０ｂがそのまま移動体１のトラッキングを行う。

また、ステップ３２（Ｓ３２）において、移動体１の対象同定を行った結果、トラッキングしている移動体１が別であった場合、ステップ３６（Ｓ３６）において、移動体の重要度Ｉの比較を行う。

ここで、カメラ１０ａが認識した移動体の重要度をＩ_１、カメラ１０ｂがトラッキング中である移動体の重要度をＩ_２とすると、Ｉ_１＞Ｉ_２の場合、その後の処理はステップ２８（Ｓ２８）に進む。なお、本実施の形態においては、重要度の高い移動体に注目して追跡撮影を行う例を示している。

したがって、Ｉ_１＞Ｉ_２の場合には、既述したようにステップ２８（Ｓ２８）以下の処理を行うが、ステップ３６（Ｓ３６）の後にステップ２８（Ｓ２８）の処理を行う場合、移動体１の重要度が高いという情報を付加してトラッキングを行うことを通知する。そして、カメラ１０ａが認識した移動体に対するトラッキングを行う。

また、Ｉ_１＜Ｉ_２の場合、その後の処理はステップ３５（Ｓ３５）に進み、カメラ１０ａは広角撮影を行なう。そして、このようにカメラ１０ａが広角撮影を行うので、カメラ１０ａがカメラ１０ｂの撮影範囲をカバーすることができ、死角が生じることはない。また、Ｉ_１＝Ｉ_２の場合、ステップ３４（Ｓ３４）において、撮影評価値Ｅの比較を行い、この結果に応じてカメラ１０ａは移動体１の追跡撮影又は広角撮影を行う。

このように、移動体１の移動に応じてカメラ間で動的に役割変更を行うことによって、最適なアングルのカメラ（撮影部２１）が移動体１を詳細に撮影しながらトラッキングを行う事が出来る。

なお、これまでの説明において、ステップ２４（Ｓ２４）において、データベース６０に登録されていない移動体を発見した場合に新規登録を行ったが、登録済みの移動体のみ注目すればよい時には新規に登録を行わなくてもかまわない。また、逆に重要度が０の移動体、つまりデータベース６０に登録されていない移動体を不審物と見做し、この移動体のみを選択して追跡撮影を行う事も可能である。

図１２は新規に移動体を発見した際に他のカメラに送信する情報のフォーマットを示す説明図である。このデータは図１０におけるステップ２６（Ｓ２６）において送信されるものである。

送信データは、「同期・通信制御」、「送信元カメラＩＤ」、「送信先カメラＩＤ」、「移動体特徴量」、「移動体進行方向」、「移動体位置」、「撮影評価値」、「撮影評価値算出時刻」、「撮影範囲」及び「移動体重要度」とから構成される。

このように、移動体を検出した状況に応じてカメラ同士が互いの情報を交換してカメラ（撮影部２１）の撮影範囲を変更することにより、最適なアングルで撮影可能なカメラに移動体の撮影を行わせることが出来る。

更に、本実施の形態のように、移動体１に重要度を与えることによって、重要な移動体１のみを最適なアングルのカメラが詳細に撮影しながらトラッキングを行う事が可能である。逆に、情報が登録されていない移動体１のみに注目してトラッキングを行う事も可能である。

次に、本発明の第３の実施の形態について説明する。

図１３は、本実施の形態に係る監視システムの一例である移動体追跡撮影システムのシステムブロック図である。なお、図１３において、図１と同一符号は、同一又は相当部分を示している。

図１３において、７０はネットワーク４０に接続された認証装置であり、この認証装置７０はカメラ１０以外の方法で対象物の認証を行う。例えば、ＲＦＩＤ、指紋、虹彩、声紋など個体を識別する認証方式のうちの一つもしくはそれらの組み合わせにより移動体を認識する。また、カメラ１０とこれらの認証方法を組み合わせて対象物を識別しても良い。これらの方法を用いて認識された移動体に重要度Ｉを付与して追跡撮影を行う。

ところで、これまでの説明において、カメラ１０を、例えば図２及び図６に示すように、対象物を前後方向からそれぞれ撮影するように配置した例を示したが、本発明は、これに限らず、例えば図１４に示すように配置しても良い。

即ち、図１４の（ａ）に示すように、所定の方向に一列に配し、例えば（ｂ）において、手前のカメラ１０ｃが移動体１を発見した際にカメラ間同士で情報のやり取りを行う。そして、カメラ１０ｃがズームアップを行った際に、カメラ１０ｂが俯角を切り替えてカメラ１０ｃの撮影範囲を補うように撮影を行っている。

本発明の第１の実施の形態に係る監視システムの一例である移動体追跡撮影システムの構成を示すブロック図。 上記移動体追跡撮影システムにおける撮影状況等を示す概念図。 上記移動体追跡撮影システムのカメラが新規に移動体を認識した際の処理の流れ（監視方法）の一例を示すフローチャート。 上記カメラにより撮影される移動体の画角内サイズを示す図。 上記カメラが新規に移動体を認識した際、送信を行う情報のフォーマットを示す図。 上記移動体追跡撮影システムの動作を示す概念図。 上記移動体追跡撮影システムのうち同一の移動体を撮影しているカメラをグループ化した時の情報の流れを示す概念図。 上記移動体追跡撮影システムのうち同一の移動体を撮影しているカメラをグループ化した時の情報の流れを示す他の概念図。 本発明の第２の実施の形態に係る監視システムの一例である移動体追跡撮影システムの構成を示すブロック図。 上記移動体追跡撮影システムのカメラが新規に移動体を認識した際の処理の流れの一例の一部分を示すフローチャート。 上記移動体追跡撮影システムのカメラが新規に移動体を認識した際の処理の流れの一例の残りの部分を示すフローチャート。 上記カメラが新規に移動体を認識した際、送信を行う情報のフォーマットを示す図。 本発明の第３の実施の形態に係る監視システムの一例である移動体追跡撮影システムの構成を示すブロック図。 第１〜第３の実施の形態に係る移動体追跡撮影システムの動作を示す他の概念図。

符号の説明

１０ システム用カメラ
２１ 撮影部
２２ 移動体特徴抽出部
２３ 移動体特徴比較部
２５ 動作駆動部
２６ 動作制御部
２７ 動作状態比較部
２８ 推論部
３０ 受信部
３１ 送信部
４０ ネットワーク
６０ データベース
７０ 認証装置

Claims (13)

1. 移動体を継続して撮影するシステムに用いられるシステム用カメラにおいて、
   前記移動体を撮影して認識すると共に撮影範囲の切り替えが可能な撮影手段と、
   前記撮影手段が認識した移動体の特徴情報を抽出する特徴抽出手段と、
   移動体認識時、前記撮影手段が移動体を撮影している撮影状態を評価する撮影評価値を演算する演算手段と、
   前記撮影手段の撮影範囲、前記移動体の特徴情報及び前記撮影評価値を周囲のシステム用カメラとの間で相互に通信する通信手段と、
   前記移動体の特徴情報と、前記通信手段を介して取得した前記周囲のシステム用カメラが抽出している移動体の特徴情報とを比較する特徴比較手段と、
   前記撮影評価値と、前記通信手段を介して取得した前記周囲のシステム用カメラの撮影評価値を比較する撮影評価値比較手段と、
   前記周囲のシステム用カメラからの撮影手段の撮影範囲情報、前記特徴比較手段の比較結果及び前記撮影評価値比較手段の比較結果に応じて前記撮影手段の撮影範囲を変更する変更手段と、
   を備えたことを特徴とするシステム用カメラ。
2. 前記変更手段は、前記特徴比較手段の比較結果により前記周囲のシステム用カメラと同一の前記移動体を撮影していると判断した場合には、前記撮影評価値比較手段の比較結果に応じて前記撮影手段の撮影範囲を変更することを特徴とする請求項１記載のシステム用カメラ。
3. 前記変更手段は、前記周囲のシステム用カメラが広範囲を撮影中である場合、前記特徴情報及び前記撮影評価値の比較結果に基づいて撮影範囲を狭い範囲に変更し、前記周囲のシステム用カメラが狭い範囲を撮影中である場合、前記特徴情報及び前記撮影評価値の比較結果に基づいて前記周囲のシステム用カメラに代わって狭い範囲を撮影するよう撮影範囲を狭い範囲に変更することを特徴とする請求項２記載のシステム用カメラ。
4. 前記周囲のシステム用カメラとの間で撮影範囲を変更する際、前記周囲のシステム用カメラとの間の設定に基づいて撮影範囲の切り替え頻度を抑制することを特徴とする請求項３記載のシステム用カメラ。
5. 前記変更手段は、前記撮影手段が前記移動体を撮影する向き、角度又は倍率の少なくとも一つを変えることにより前記撮影範囲を変更することを特徴とする請求項１乃至４のいずれか１項に記載のシステム用カメラ。
6. 前記通信手段は、前記撮影手段が前記移動体を認識した時に、前記周囲のシステム用カメラに対し、識別子、移動体特徴量、移動体位置、移動体進行方向、前記撮影評価値、前記撮影範囲の少なくとも一つを送信することを特徴とする請求項１記載のシステム用カメラ。
7. 前記演算手段が演算する撮影評価値は、前記撮影手段と移動体との距離、前記撮影手段の倍率、前記撮影手段の画角内における移動体サイズ、前記撮影手段に対する移動体の向き、前記移動体の抽出精度及び照明条件の少なくとも一つによって算出される値であることを特徴とする請求項１記載のシステム用カメラ。
8. 前記請求項１乃至７のいずれか１項に記載のシステム用カメラを複数備えたことを特徴とする監視システム。
9. 複数のシステム用カメラを接続するネットワークと、
   前記ネットワークに接続され、前記特徴情報が登録されたデータベースと、を備え
   前記特徴比較手段は、移動体認識時、前記データベースと該特徴抽出手段から取得した移動体の特徴情報とに基づき、前記移動体に関する重要度を抽出することを特徴とする請求項８記載の監視システム。
10. 前記重要度は、前記データベースに登録されている対象物体に関する情報であり、前記変更手段は、前記撮影手段が移動体を認識して撮影を行う際に、重要度に応じて前記撮影手段の撮影範囲を変更することを特徴とする請求項９記載の監視システム。
11. 前記重要度は前記移動体の状態に応じて変化する値であることを特徴とする請求項９又は１０に記載の監視システム。
12. 前記ネットワークに移動体を認識する認識手段を設け、
    前記移動体を撮影した際、前記撮影手段と前記認識手段とにより該移動体を認識することを特徴とする前記請求項９乃至１１のいずれか１項に記載の監視システム。
13. システム用カメラにより移動体を継続して撮影する監視方法において、
    前記移動体を撮影手段により撮影して認識するステップと、
    前記撮影手段が認識した移動体の特徴情報を抽出するステップと、
    移動体認識時、前記撮影手段が移動体を撮影している撮影状態を評価する撮影評価値を演算するステップと、
    前記撮影手段の撮影範囲、前記移動体の特徴情報及び前記撮影評価値を周囲のシステム用カメラとの間で相互に通信するステップと、
    前記移動体の特徴情報と、前記通信手段を介して取得した前記周囲のシステム用カメラが抽出している移動体の特徴情報とを比較するステップと、
    前記撮影評価値と、前記通信手段を介して取得した前記周囲のシステム用カメラの撮影評価値を比較するステップと、
    前記周囲のシステム用カメラからの撮影手段の撮影範囲情報、前記特徴情報の比較結果及び前記撮影評価値の比較結果に応じて前記撮影手段の撮影範囲を変更するステップと、
    を備えたことを特徴とする監視方法。
    

Images