JP4478510B2 - カメラシステム、カメラ、及びカメラの制御方法 - Google Patents

Description

本発明は、カメラにより得られる映像を用いて、迷子や犯罪者等の特定人物を探すための技術に関するものである。

従来、遊園地やデパート等で迷子が発生した場合の捜索方法としては、迷子の問い合わせがあった際に、オペレータが放送で呼びかけるのが常であり、人力を軽減するようなシステムが望まれていた。

また、画像監視装置を用いて迷子の捜索をしようとするならば、監視領域内に画像監視装置を設置し、その監視領域内の画像をカメラで撮像して得られた画像をオペレータが常に見ている必要がある。監視領域が広ければ、必然的に設置するべき画像監視装置の数が増え、オペレータは同時に複数の画像をチェックしなければならない。もしくは、設置装置数分のオペレータが必要となる。更に、オペレータは捜索人物の特徴を記憶しなければならない。

また、オペレータの負担を軽減する捜索システムとしては、捜索場所に設置された少なくとも１台のカメラからなる画像入力部で入力される画像から人物領域を検出し、あらかじめ入力されている捜索対象人物である迷子の特徴と類似性、および、カメラの場所ごとに定まる迷子の存在確率から、捜索中の迷子の候補と判定される場合には、主捜索者に対して迷子の候補として当該人物の画像と捜索に関する情報を提示するとともに記録し、また、従捜索者である、例えば遊園地等のスタッフが所持している候補情報通信端末装置に通報する技術が従来から開示されている（例えば特許文献１を参照）。

また、ある特定の人物を検出するシステムとしては、遊園地等の施設内に配置されたカメラが画像を撮像し、画像を画像管理サーバに伝送し、画像管理サーバで保管された画像データから人物情報に基づいて検索対象となる人物が写った画像データを検索するシステムが従来から開示されている（例えば特許文献２を参照）。
特開平９−１１４９８８号公報 特開２００２−２４２２９号公報

上記のように、監視領域内に配置された撮像装置が撮像した画像から、対象人物を捜索するシステムが発明されつつある。しかし、上記の何れの発明も、監視領域内に配置された撮像装置が撮像した画像は一旦サーバに送られ、保存する必要がある。そのため、サーバ側では大容量の記憶装置を必要とする。更に、複数の撮像装置を配置している場合にはその分だけサーバ側に要求される画像容量が増え、人物検出の処理の負荷が大きくなる。また、画像をサーバ側に送信し、サーバ側で人物検出処理を行った後、該当人物に関する情報を主捜索者や従捜索者に通報するとなると、時間がかかり、その間に対象人物が移動してしまい見失ってしまう可能性もある。

本発明は以上の問題に鑑みて成されたものであり、人やサーバ装置といったものに対する負荷を軽減させつつ、迅速に対象となるものを探索するための技術を提供することを目的とする。

本発明の目的を達成する為に、例えば本発明のカメラシステムは以下の構成を備える。

すなわち、姿勢が制御可能な複数のカメラと、当該複数のカメラを制御するための制御装置とで構成されるカメラシステムであって、
前記制御装置は、
探索対象に係るデータを保持する第１の保持手段と、
前記データを前記複数のカメラのそれぞれに送信する第１の送信手段とを備え、
前記複数のカメラのそれぞれは、
自カメラによる視界内で他カメラの視界と共有する領域を特定する領域情報と、当該領域で視界を共有する他カメラを特定するカメラ情報とを関連付けて保持する第２の保持手段と、
前記第１の送信手段により得られた前記データを用いて、撮像画像中の前記探索対象を探索する探索手段と、
前記探索手段が前記探索対象を検知した場合に、自カメラの視界内の当該検知した位置で視界を共有する他カメラのカメラ情報を前記第２の保持手段から特定し、特定したカメラ情報で特定される他カメラに対して、自カメラを特定するカメラ情報と前記探索対象を検知したこととを含む通知を行う通知手段と、
自カメラが他カメラから前記通知を受けた場合には、当該自カメラによる視界内で、当該通知に含まれたカメラ情報と前記第２の保持手段内で関連付けられた領域情報が示す領域を注視すべく、自カメラの姿勢を制御する制御手段と
を備えることを特徴とする。

本発明の目的を達成する為に、例えば本発明のカメラは以下の構成を備える。

すなわち、姿勢が制御可能で他のカメラと通信可能なカメラであって、
自カメラによる視界内で他カメラの視界と共有する領域を特定する領域情報と、当該領域で視界を共有する他カメラを特定するカメラ情報とを関連付けて保持する保持手段と、
外部装置から送信された探索対象に係るデータを用いて、撮像画像中の当該探索対象を探索する探索手段と、
前記探索手段が前記探索対象を検知した場合に、自カメラの視界内の当該検知した位置で視界を共有する他カメラのカメラ情報を前記保持手段から特定し、特定したカメラ情報で特定される他カメラに対して、自カメラを特定するカメラ情報と前記探索対象を検知したこととを含む通知を行う通知手段と、
自カメラが他カメラから前記通知を受けた場合には、当該自カメラによる視界内で、当該通知に含まれたカメラ情報と前記保持手段内で関連付けられた領域情報が示す領域を注視すべく、自カメラの姿勢を制御する制御手段と
を備えることを特徴とする。

本発明の目的を達成する為に、例えば本発明のカメラの制御方法は以下の構成を備える。

すなわち、姿勢が制御可能で他のカメラと通信可能なカメラの制御方法であって、
自カメラによる視界内で他カメラの視界と共有する領域を特定する領域情報と、当該領域で視界を共有する他カメラを特定するカメラ情報とを関連付けてメモリに保持する保持工程と、
外部装置から送信された探索対象に係るデータを用いて、撮像画像中の当該探索対象を探索する探索工程と、
前記探索工程で前記探索対象を検知した場合に、自カメラの視界内の当該検知した位置で視界を共有する他カメラのカメラ情報を前記メモリから特定し、特定したカメラ情報で特定される他カメラに対して、自カメラを特定するカメラ情報と前記探索対象を検知したこととを含む通知を行う通知工程と、
自カメラが他カメラから前記通知を受けた場合には、当該自カメラによる視界内で、当該通知に含まれたカメラ情報と前記メモリ内で関連付けられた領域情報が示す領域を注視すべく、自カメラの姿勢を制御する制御工程と
を備えることを特徴とする。

本発明の構成により、人やサーバ装置といったものに対する負荷を軽減させつつ、迅速に対象となるものを探索することができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
図９は、本実施形態に係るカメラシステムの基本構成を示す図である。本実施形態に係るカメラシステムは、複数のカメラ（同図では９０１ａ〜９０１ｃ）と管理端末装置９０２により構成されている。それぞれのカメラは管理端末装置９０２に接続されており、カメラ−管理端末装置９０２間で互いにデータ通信が可能な構成となっている。なお、カメラと管理端末装置９０２の間は有線に限定するものではなく、可能であれば無線で通信を行うようにしても良い。

また、カメラ間でもデータ通信が可能となるように構成されており、同図では隣接するカメラのみしかその接続線を示していないが、実際には自身以外の他のカメラとのデータ通信が可能となるように接続線が設けられている。カメラ間を有線にてデータ通信を行う場合、例えば、ＴＣＰ／ＩＰをベースにしたプロトコルでの通信を行う。

なお、カメラ間の通信においても有線に限定するものではなく、可能であれば無線で通信を行うようにしても良い。カメラ間を無線にてデータ通信を行う場合、例えば、カメラはＣＳＭＡ（キャリア検出多重アクセス）方式の無線モデム（４４９ＭＨｚ）を用い、コンテンション方式により空きデータチャネルを選択して通信を行なう。データチャネルの通信は、周波数多重分割方式の通信が行なえ、複数の監視カメラが同時に通信できる。

管理端末装置９０２は例えばＰＣ（パーソナルコンピュータ）等のコンピュータであって、ＣＰＵ９０３、ＲＡＭ９０４、操作部９０５、表示部９０６、外部記憶装置９０７、インターフェース９０８、バス９０９により構成されている。

ＣＰＵ９０３は、ＲＡＭ９０４にロードされたプログラムやデータを用いて管理端末装置９０２全体の制御を行うと共に、管理端末装置９０２が行うべき処理として後述する各処理を実行する。

ＲＡＭ９０４は外部記憶装置９０７からロードされたプログラムやデータを一時的に記憶するためのエリアを備えると共に、ＣＰＵ９０３が各種の処理を実行する際に必要なワークエリアも備える。また、Ｉ／Ｆ９０８を介して外部から受信したデータを一時的に記憶するためのエリアも備える。

操作部９０５はキーボードやマウス等により構成されており、管理端末装置９０２の操作者が各種の指示をＣＰＵ９０３に対して指示したり、各種のデータを入力するために使用するものである。

表示部９０６は、ＣＲＴや液晶画面などにより構成されており、画像や文字などを表示することができる。

外部記憶装置９０７はハードディスクドライブ装置などの大容量情報記憶装置であって、ここにＯＳ（オペレーティングシステム）や、管理端末装置９０２が行うべき処理として後述する各処理をＣＰＵ９０３に実行させるためのプログラムやデータが保存されている。

Ｉ／Ｆ９０８は、管理端末装置９０２に上記複数のカメラを接続するためのインターフェースとして機能するものであり、このＩ／Ｆ９０８を介して管理端末装置９０２はカメラと各種のデータ通信を行うことができる。

９０９は上記各部を繋ぐバスである。

本実施形態では、各カメラは遊園地などの施設内の各位置に、それぞれに割り当てられた撮像範囲内を撮像するように配置されている。また、管理端末装置９０２は、施設内における管理センタ（インフォメーションセンタ）に設置されており、この管理センタのオペレータが操作する。

次に、上記カメラについて説明する。

図１は、本実施形態に係るカメラシステムを構成するカメラ（人物捜索機能付き監視カメラ）の構成を示す図である。本実施形態に係るカメラは画像撮像部１０１、人物検出回路１０２、人物認識回路１０３、データ送受信回路１０４、人物データ記憶部１０５、人物追尾部１０７、光学系１９０、制御回路１００などから構成される。

制御回路１００はカメラを構成する後述の各部の動作を制御する為の回路である。

画像撮像部１０１は複数の撮像素子により構成されており、外界の光を電気信号に変換することで、外界の映像（動画像）を撮像する。この撮像素子としては例えば、３６万画素１／４型ＣＣＤ、若しくはそれと同等のCMOSセンサを用い、解像度は水平４７０本以上、垂直３５０本となっている。

人物検出回路１０２は、画像撮像部１０１により得られる映像中で人物が写っている領域を探索する為の回路である。この探索処理については後述する。

人物認識回路１０３は、人物検出回路１０２が探索した人物が、目的とする人物であるか否かを認識する為の回路である。

データ送受信回路１０４は、外部機器とのデータ送受信処理を行う為の回路であって、ＩＥＥＥ１３９４ポート、もしくは各種無線通信ポートのインターフェイスのいずれかに対応するものである。

人物データ記憶部１０５は、探索しようとする目的の人物に係る後述のデータ、及び後述する各種のデータを記憶するためのメモリである。

人物追跡部１０７は、画像撮像部１０１の撮像方向（光軸方向）を制御するためのアクチュエーター（光軸方向制御用アクチュエータ（首振り機構））、画像撮像部１０１からの映像中で目的の人物が次のフレームの映像でどの位置にいるのかを予測するための処理為の回路を含むものである。

次に、本実施形態に係るカメラシステムを構成するカメラが行う処理について、同処理のフローチャートを示す図２を用いて以下詳細に説明する。なお、同図のフローチャートに従ったプログラムは制御回路１００内の不図示のメモリに格納されており、制御回路１００内の不図示のＣＰＵがこれを実行することで、本実施形態に係るカメラは図２のフローチャートに従った後述する各処理を行うことができる。

同図のフローチャートは、施設内である特定の人物を捜し出す為のものである。

管理センタ（インフォメーションセンタ）に例えば迷子の問い合わせがあると、オペレータはその迷子の特徴を、問い合わせを行った主捜索者から聞き、データ化を行なう。ここで、迷子の特徴とは、例えば、身長（何ｃｍくらい）、体型（細め、太め等）、髪型、目鼻立ち、服装（色・形）のことである。

ここで「データ化」とは具体的には迷子に係る情報を管理端末装置９０２内にデータとして入力することであって、以下のような操作を行うことにより成されるものである。

オペレータは、上記迷子の特徴を操作部９０５を用いて管理端末装置９０２に入力する。入力されたデータは上記迷子の特徴データとして一時的にＲＡＭ９０４に記憶する。

また、管理端末装置９０２の外部記憶装置９０７には予め、様々な形状、大きさの目、鼻、口、耳等の３次元モデルデータ、そして髪型などを画像として表すテクスチャデータが保存されているので、オペレータは、操作部９０５を用いてこれらを表示部９０６の表示画面上に一覧表示させ、主捜索者から得た特徴に近いと思われる３次元モデル、テクスチャを操作部９０５を用いて選択する。そして選択した３次元モデル、テクスチャをより迷子の特徴に近づけるべく、それらの色や形状を操作部９０５を用いて変更し、そして操作部９０５を用いて目、鼻、口などのモデルを表示部９０６の表示画面上で適切な位置に配置させ、迷子の人物の顔の３次元モデルを作成し、そしてこの３次元モデルを正面から見た画像を迷子の人物に対する「モンタージュ画像」として得る。このような３次元モデルを作成する為のソフトウェアとしては周知の３次元モデリングツールを用いることが好適であり、このようなツールのプログラムは外部記憶装置９０７に予めインストールされているものとする。

なお、迷子の人物の顔写真が主捜索者から得られた場合には、このようにして作成された迷子の人物の顔の３次元モデルの代わりに、この写真を不図示のスキャナでもって読み取ることで得られる画像をモンタージュ画像として用いるようにしても良い。

このように、モンタージュ画像を得る方法については様々なものが考えられ、特に限定するものではない。

そしてモンタージュ画像もしくは写真をスキャンした画像（以下、何れもモンタージュ画像と呼称する）が得られると、オペレータは操作部９０５を操作して、ＣＰＵ９０３に対して、モンタージュ画像と上記迷子の特徴のデータとを、全てのカメラに対して送信する指示を入力するので、ＣＰＵ９０３はこの指示に従ってこれらのデータをＩ／Ｆ９０８を介してカメラに対して送信する。なお、この送信した一連のデータを総称して以下、「捜索人物データ」と呼称する。

それぞれのカメラは、このデータをデータ送受信回路１０４によって受信する（ステップＳ２００）と、これを人物データ記憶部１０５に格納する（ステップＳ２０１）。次に自カメラは他のカメラから、迷子を視野内に見つけた旨の通知信号を受けたか否かを常にチェックしており（ステップＳ２０２）、この通知信号を受けていない場合には処理をステップＳ２０３に進める。この通知については後述する。

通知信号を受けていない場合、カメラの撮像部１０１は自身が現在向いている方向の空間の映像を撮像し、各フレームの映像信号は順次人物検出回路１０２に入力される（ステップＳ２０３）。そして人物検出回路１０２は、入力されたフレームの映像から、人物が写っている領域を検出する処理を行う（ステップＳ２０４）。

人物の領域を検出する為の方法としては特に限定するものではないが、例えば本出願人による特登録０３０７８１６６号公報に記載の方法のほか、画像中のエッジ等低次特徴から目・口などの中次特徴を検出して、顔を検出する多層ニューラルネットワークを用いた方法（例えば、本出願人による特開２００２−８０３２号公報）等を用いればよい。また、この時に肌色などの色特徴を用いても良い。

そして、人物検出回路１０２は、映像中に人物の領域はないと判断した場合、処理をステップＳ２０３に戻し、撮像部１０１は、順次各フレームの映像を人物検出回路１０２に出力する処理を行う。

一方、人物検出回路１０２が、映像中に人物の領域があると判断した場合には処理をステップＳ２０６に進め、人物認識回路１０３は、ステップＳ２０１で人物データ記憶部１０５に格納したモンタージュ画像を読み出し、このモンタージュ画像を用いて、ステップＳ２０４で検出された領域内の人物が迷子の人物（探索人物）であるか否かを判定する（ステップＳ２０７）。

この判定の処理は２段階で行われる。先ず第１の段階では、顔特徴だけでなく、服装等に関する大まかな特徴を用いて捜索人物の絞込みを行う。これは、ステップＳ２０４で検出された領域が複数存在する場合に、それぞれの領域に対してモンタージュ画像の人物との類似度（もしくはそれに相当する指標値）が所定値以上のものを第２の段階で判定する対象とする。

そして第２の段階では、第１の段階で判定された、モンタージュ画像の人物とおぼしき人物が含まれている領域について、更に詳細な特徴を用いて捜索人物の検出を行なう。

例えば服の色については、検出領域内の画素、モンタージュ画像内の画素の色相、彩度などの色情報に関して、それぞれの画素値の取りうる範囲（例えばそれぞれの画像を構成する画素の値が８ビットで表現される場合、取りうる範囲は０〜２５５）を例えば４等分にカテゴリ分割し、検出領域内、モンタージュ画像内のそれぞれで服の色が同じカテゴリに入るかの処理を行い、同じカテゴリに入っていれば、検出領域内の人物の服の色は、モンタージュ画像内の人物の服の色と同じであると判断し、次の処理の候補とする。

また、服の模様（無地、ストライプ、ボーダー、水玉等）も絞込要素として用いることが可能である。このようなテクスチャ特徴の照合には、画像からGabor ウエーブレット変換などにより得られる特徴ベクトルについてモンタージュ画像内の特徴ベクトルデータと、検出領域内の特徴ベクトルデータとの類似度比較を行なうなどの公知の手法で行なえばよい。

上記のように大まかな絞込みを行なった後で、髪型（長い、短い、結っている、坊主等）、皮膚の色（肌色に関して、取り得る値の範囲を４等分くらいに分けておく）、眼鏡装着の有無等に関してどの特徴に属するかを分類して、捜索人物と一定数以上の特徴の項目について一致する人物を絞り込み、モンタージュ画像に最も類似している検出領域を特定する。そしてモンタージュ画像に最も類似している検出領域が特定できた場合、ステップＳ２０８では探索成功として判定し、処理をステップＳ２０９に進める。

また、検出領域内の人物が後ろ向きのものである場合には、服装と髪型、シルエットなどについてそれぞれ類似度を判定し、それらの総和をとって閾値処理することにより総合的に判定する。

以上説明したように、ステップＳ２０３で得られる映像中に探索人物の領域が特定できた場合には、処理をステップＳ２０９に進め、制御回路１００は後述する各処理を行う（ステップＳ２０９）。

制御回路１００は先ず、撮像映像、及びカメラを特定する情報（カメラのＩＤ、自身の園内における設置位置など、オペレータにとってこのカメラが園内のどの位置に設置されたものであるのかが分かるような情報）を管理端末装置９０２に送信する。これにより、管理端末装置９０２側では、この撮像映像を表示部９０６の表示画面上に表示することで、探索人物が見つかったことが分かるし、カメラを特定する情報をもこの表示画面上に表示させることで、どのカメラから得られたものであるのかが分かるので、この表示画面を見たオペレータは、この探索人物が園内のどこにいるのかが分かる。

制御回路１００は更に、映像中の探索人物の領域が映像の中央にくるように（換言すれば探索人物を注視するように）、カメラの姿勢を変更すべく、制御回路１００は、人物追尾部１０７を制御して、カメラの姿勢を変更させ、この領域が映像の中央にくるまで姿勢を変更させる。このような姿勢変更は周知の自動追尾機能でもって実現することができる。

ここで、カメラの姿勢の可動範囲にも限界がある。すなわち、カメラがいくら探索人物の領域を映像の中央に位置させるべくその姿勢を変化させようとしても、可動範囲外の姿勢をとることはできない。従って、カメラの姿勢が可動範囲の限界値にあり、且つ探索人物が移動していると、そのうちこの探索人物はこのカメラの視界（撮像映像）の外に移動してしまう。

また、１つのカメラの視界内には、その他のいくつかのカメラの視界と共有する領域が存在する。これはそれぞれのカメラの設置位置、それぞれのカメラの姿勢の変化に起因して生じるものである。図４は、１つのカメラの視界内に存在する、その他のいくつかのカメラの視界と共有する領域を示す図である。同図では３つのカメラ１００１，１００２，１００３が存在する。それぞれのカメラの視界は同図に示す如く１０１１，１０１２，１０１３であるが、それぞれの視界は共有する部分がある。同図において１０５０はカメラ１００２により得られる映像、すなわち、カメラ１００２の視界内の映像である。この映像は同図に示す如く３つの領域１０５１，１０５２，１０５３に分割することができる。

カメラ１００１とカメラ１００２との位置関係、及びそれぞれのカメラの姿勢の関係から、カメラ１００２の映像中には、カメラ１００１の視界が占領する最大の領域が存在する。この最大の領域が１０５１で示された領域である。

同様に、カメラ１００３とカメラ１００２との位置関係、及びそれぞれのカメラの姿勢の関係から、カメラ１００２の映像中には、カメラ１００３の視界が占領する最大の領域が存在する。この最大の領域が１０５３で示された領域である。

このように、１つのカメラの視界内には、その他のいくつかのカメラの視界と共有する領域が存在する。従って、それぞれのカメラの人物データ記憶部１０５内には、自身が得る映像中で、どの領域がどのカメラの視界に含まれているのかが分かるように、映像中の領域情報と、この領域で視界を共有するカメラを特定する情報（例えばカメラＩＤ）とを関連付けて保持している。

これにより、例えば、カメラ１００２による映像１０５０内で、探索人物が領域１０５１に存在する場合には、カメラ１００１の姿勢を適切に変更すれば、カメラ１００１の視界にもこの探索人物が入ることが可能であると判断できる。

従って、本実施形態では、注目カメラの視界内に探索人物が存在している場合には、注目カメラの映像中の探索人物の位置で特定されるカメラ情報で一意に決まるカメラに対して、探索人物を見つけたことを通知する。これにより、通知を受けたカメラは、上記自動追尾機能により、自身の視界内に探索人物を捕捉することができる。

よって、ステップＳ２０２において、迷子を視野内に見つけた旨の通知信号を他のカメラから受けた場合には、処理をステップＳ２１１に進め、映像中の探索人物の領域が映像の中央にくるように（換言すれば探索人物を注視するように）、カメラの姿勢を変更すべく、制御回路１００は、人物追尾部１０７を制御して、カメラの姿勢を変更させ、この領域が映像の中央にくるまで姿勢を変更させる（ステップＳ２１１）。このような姿勢変更は周知の自動追尾機能でもって実現することができる。

なおこの通知信号と共に、通知信号を出したカメラを特定する情報を送信する形態も考えられ、この場合、通知信号を受けたカメラの撮像映像内に探索人物が存在しない場合には、この撮像映像内で、通知信号を出したカメラを特定する情報と関連付けられている領域を注視すべく、カメラの姿勢を変更するようにすればよい。

なお、現在探索人物を自身が撮像している映像内に捕捉しているカメラから他のカメラに対して上記通知を行うだけでなく、これに加えて探索人物が写っている映像をも送信しても良い。その場合、この映像を受けたカメラは、上記ステップＳ２０７における認識処理で用いるモンタージュ画像の候補として、この映像を使用することができるので、より認識率を高めることができる。

なお、光軸方向を制御しながらの追跡中に障害物などにより対象の人物が遮蔽され見失った場合には、その遮蔽物の近傍で人物探索を行なうか、または光軸方向を保持して視野範囲内全体で追跡（捜索）対象人物の探索を行なう。

なお、補助的な手段として管理端末装置９０２が捜索人物の移動方向に基づいて移動先のカメラの監視領域内に存在する位置を判定して、その判定情報を含む探索追跡コマンドを移動先の位置近傍に設置されているカメラに送信してもよい。

その後、探索追跡コマンドを受信したカメラは、捜索人物の存在すると判定された方向に直ちに光軸制御を行ない、該当人物の探索を送信されてきた人物データ中に含まれる該当人物の実写画像に基づいて探索処理を行なう。

捜索人物が複数のカメラの境界（共通）観測領域にいる限り、探索追跡コマンドを受信したカメラと同コマンドを送信した他のカメラとは共同して同じ捜索人物を追跡撮影してもよい。共同で追跡処理をするということは、追跡途中においてカメラ間で人物データを相互にやりとりし、一方のカメラが追跡処理をする際に他方のカメラの人物データを活用して行なうことができる状態にあることを意味する。

特に、一つのカメラでは捜索人物が他の物体または人物に遮蔽されて一時的に不可視となっている場合でも他のカメラの映像上では該当人物の画像が分離して補足されている場合には有効である。この場合、捜索対象の人物が他の人物と画面上で交差しても、その後に追跡対象の人物の対応付けを誤るという事が殆どない。これは、人物の識別を毎フレームで行なって追跡に用いているからである。各カメラにおいて追跡対象の軌跡に基づき、次フレームでの予測位置を算出し、その位置を中心とする局所領域で人物の探索を行なってもよい。このようにすることにより探索処理に要する時間を少なくすることができる。

以上説明したように各カメラの動作は全体としてみれば分散的かつ局所的処理であって、各カメラの動作状態や人物の現在位置に応じて追跡を行なうカメラの切り替え動作を集中制御する機構を必要としない。また、カメラ間の人物データの交換はカメラの光軸方向を制御する事により観察視野が隣接し得ることが予め分かっているカメラ間のみで行なわれる。人物データには、途中で補足した捜索人物の画像データが含まれるので、他の監視カメラでの発見の確率を高める事が出来る。各カメラの動作はイベント駆動型であって基本的に隣接する監視カメラから提供される捜索人物データや隣接カメラの動作状態にのみ依存する構成となっており、動作中の全カメラの観察視野をマッピングして各カメラにおいてモニタしておく必要がない。

更に、各カメラにおいて追跡対象の探索と識別処理の双方が同時に行なわれ、他の物体に遮蔽されて不可視となった場合には、遮蔽される直前の追跡位置を中心とした一定範囲の探索を行なう。従って各カメラから見た観察可能領域と不可視領域を予めデータ化して保存しておく必要はない。以上の事からシステム全体として軽い処理負担で捜索人物を見失わないような探索処理を安定して行なうことができる。

従って本実施形態によれば、カメラに人物捜索機能を持たせることにより、画像監視用サーバが不要になる。そのため、サーバ側で多視点からの動画像保存用の大容量の記憶装置を用意するといったことをしなくて良く、捜索人物の写っていない無駄なデータの送受信を軽減することが可能となる。更に、複数カメラの連携（分散協調処理）による人物捜索、各監視カメラにおいての自律的な画像認識処理により人物捜索が効率的に高速に行なえる。

撮像から人物認識までの処理が現場のカメラで迅速に行なえるので人物捜索の高速化が図られる。その上、オペレータなどがカメラを見続けるという負担をなくし、また監視カメラに画像ではなく行動情報を記録するようにすることにより、撮られる側も必要以上にプライバシーを侵害されるという心配がなくなる。

また、監視カメラに人物追尾機能を持たせることにより、発見した人物を見失うことを防ぐことが出来る。

［第２の実施形態］
第１の実施形態では、カメラは自身が撮像した映像中に探索人物を見つけると、見つけたことを示す通知信号、及びこの映像を他のカメラ、及び管理端末装置９０２に対して送信していたが、本実施形態ではこれに加えて、園内のスタッフが携帯する携帯端末装置（携帯電話、ＰＤＡなど）に対しても探索人物が写った撮像画像を送信すると共に、撮像したカメラの設置位置情報を送信する。

図３は、本実施形態に係るカメラシステムが使用されている状態を示す模式図である。同図において３０１〜３０３はカメラで、第１の実施形態と同じ機能を有する。３０６は探索人物で、迷子である。３０９は園内のスタッフで、携帯端末装置３０５を携帯している。なお、同図ではスタッフは１人であるが、実際には複数のスタッフが園内に存在しているものとする。また、スタッフ３０９が携帯する携帯端末装置３０５は、外部と無線にてデータ通信を行うことができると共に、外部から受信した情報を画像や文字でもって確認するための表示部を備えるものである。

よって、カメラは自身が撮像した映像中に探索人物を見つけると、見つけたことを示す通知信号、探索人物が写った撮像画像、及び撮像したカメラの設置位置情報を、園内のスタッフが携帯する携帯端末装置（携帯電話、ＰＤＡなど）に対して送信する。

これにより、各スタッフは、この映像を携帯端末装置の表示画面で確認することができると共に、受信したカメラの設置位置情報を同表示画面上で確認することができ、これによりスタッフは探索人物を写したカメラの位置が分かるので、これに従って、探索人物のだいたいの位置をも把握することができる。なお、カメラの設置位置情報以外にも、カメラを特定するための情報であれば特に限定するものではなく、スタッフがこの映像を撮像したカメラが園内のどこに設置されたものであるのかが分かるような情報であれば良い。

また、カメラは自身が撮像した映像中に探索人物を見つけると、見つけたことを示す通知信号、探索人物が写った撮像画像、及び撮像したカメラの設置位置情報を、全ての携帯端末装置に送信する必要はなく、この携帯端末装置にＧＰＳ機能が付いており、且つこの携帯端末装置がＧＰＳ機能によって得た自身の位置を各カメラに対して無線信号でもって定期的に通知している場合には、カメラはこの通知を受けて各携帯端末装置の位置を把握し、自身の位置から所定距離以内の携帯端末装置を特定し、特定した携帯端末装置に対してのみ、探索人物を見つけたことを示す通知信号、探索人物が写った撮像画像、及び撮像したカメラの設置位置情報を送信するようにしても良い。

以上のシステムにより、スタッフが迷子を見つけ、保護することができる。

［第３の実施形態］
本実施形態では、第２の実施形態に係るカメラシステムを構成する各カメラのうち、１つ以上が移動可能なものである点が第２の実施形態とは異なる。

図５は、本実施形態に係るカメラシステムが使用されている状態を示す模式図である。同図において図３と同じ部分については同じ番号を付けておりその説明は省略する。同図において５０１は、自身の位置を変更することができる、すなわち、移動可能なカメラであって、移動できる点以外は、上記実施形態と同じカメラの機能を有する。

図８は、カメラ５０１の基本構成を備える図である。同図において図１と同じ部分については同じ番号を付けており、その説明を省略する。

光軸方向計測制御部５１５０は、いわゆる雲台とその回転角計測部および回転ステージの駆動機構などを主な構成要素とする。光軸方向は水平面内のみならず垂直面内も制御可能である。旋回角度の範囲はパンニング動作が０〜３６０°、チルティング動作が０〜１８０°である。

位置検出部５１６０は、カメラ５０１自身の位置を計測するためのもので、本実施形態ではＧＰＳを用いる。そしてＧＰＳにより計測した自身の位置は、定期的に管理端末装置９０２、携帯端末装置に送信される。

本実施形態に係るカメラ５０１は、自身が撮像する映像中に探索人物を検知すると、探索人物を追尾して移動する。移動中も自身の位置情報を管理端末装置９０２、携帯端末装置に送信する。

本実施形態のように自律移動手段を有する監視カメラが一台以上配置されているシステムにおいては移動可能な監視カメラと他のカメラ間の境界観測領域を他の物体による遮蔽を考慮しながら随時把握（計算）するのは非効率的であり、かつ処理負担が大きい。従ってこのような境界観測領域の算出処理は行なわず、監視カメラの位置情報のみに基づいて大まかな境界観測領域の設定を管理センタ端末または自律移動可能な監視カメラ（以下、カメラAとする）において行なう。

具体的には、一定時間ごとに移動可能な監視カメラの現在位置を位置検出部５１６０により、またその光軸（監視）方向を光軸方向計測制御部５１５０により検出する。次に、隣接する固定位置の監視カメラの座標をカメラ５０１を中心とする直交座標系で検出する。これは、全監視カメラを含むグローバルな固定座標系において予め設定された各固定監視カメラの座標と移動型監視カメラの座標を計測することにより容易に変換して求めることができる。

境界領域の範囲は移動型（かつ光軸方向が３６０度制御可能）の監視カメラの視野範囲（予め設定された固定値または可変であれば計測した値）と隣接する固定型監視カメラの視野範囲が重なり合う領域のうち、移動型監視カメラの現在の光軸方向を中心とする視野範囲が隣接する監視カメラの現在の光軸方向を中心とする視野範囲と重なり合う領域として定義される。隣接する監視カメラの現在の光軸方向は撮像条件データとして監視カメラ間で相互に定期的に送受信して得られるものとする。

以上のような処理を行なうことにより、発見した捜索人物５０６を見失うことなく、その正確な位置情報をシステムが把握し続けることが可能となる。

［第４の実施形態］
本実施形態では複数人分の探索人物データを管理端末装置９０２からカメラに送信した場合には、カメラ側で各探索人物データに対して優先度を付ける処理を行う。それ以外の処理については第１の実施形態と同じである。

図７は、本実施形態に係るカメラが行う処理のフローチャートである。なお、ステップＳ５００、Ｓ５０２〜Ｓ５０４、Ｓ５０６〜Ｓ５１１はそれぞれステップＳ２００，Ｓ２０１〜Ｓ２０３、Ｓ２０５〜Ｓ２１１と同じであるので、以下、第１の実施形態とは異なる処理であるステップＳ５０１，Ｓ５０５における処理について説明する。

なお、本実施形態に係るカメラの制御回路１００は、内部にタイマを設けており、計時する機能を有しているものとする。

本実施形態に係るカメラは、管理端末装置９０２から探索人物データをうけるが、この探索人物データには第１の実施形態で説明した内容に加えて、管理端末装置９０２側でこの探索人物の問い合わせ時刻（探索依頼が成された時刻）を示すデータが付加されている。このデータは管理端末装置９０２側で、オペレータが操作部９０５を用いて入力したものである。

制御回路１００は常に現在時刻を参照し、最も古い時刻のデータから高い優先順位を付けていく（ステップＳ５０１）。そして、付けた優先順位の高い順にステップＳ２０４における検出処理を行う（ステップＳ５０５）。もし探索人物が検出できなかった場合には、次の優先順位の探索人物についてステップＳ５０５における検出処理を行う。

なお、優先順位の付け方としては、例えば、問い合わせ時刻からの経過時間が１時間以内ならランクはＡ（最高ランク）、１時間から３時間の場合はＢ、３時間から６時間はＣ、６時間以後はＤ（最低ランク）などのようにし、経過時間により自動的にランクが切り替わるようにしておく。ただし、再度問い合わせがあった場合には、新しく問い合わせ時刻が管理端末装置９０２側で入力され、カメラにも捜索人物の人物データと共に再問い合わせ時刻データが送信される。このとき各監視カメラにおける捜索人物のランク付けは前述したように更新される。

制御回路１００は例えば、各カメラにおいて優先順位に拘わらず捜索対象の人物が発見された場合には、その人物の優先順位を最高ランクの優先順位にするが、捜索人物が見出されないカメラにおいては、問い合わせ時刻からの経過時間にのみ基づいてランク付けをする。隣接したカメラにおいても、捜索対象人物が発見された監視カメラ（または管理センタ端末）から人物データを受信した場合には、該当人物を最高ランクの優先順位とするようにランク付けの更新を行なってもよい。

なお、探索人物によっては、単に迷子だけでなく、指名手配犯等、警察に通報すべき人物である場合もある。この場合、図６に示すように、カメラは警察側の端末装置６０５に対して通知するようにしても良い。

図６は、カメラが警察側の端末装置６０５に対して通知するシステムの構成例を示す図である。

この場合通知内容としては、探索人物を検知した旨の通知、及びこの探索人物が写った映像、この映像を撮像したカメラを特定する情報等、警察が得ることで、指名手配犯の位置がすぐに特定できるような情報が考えられる。

［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、カメラのＣＰＵやＭＰＵが記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、カメラが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、カメラ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、カメラに挿入された機能拡張カードやカメラに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャート（機能構成）に対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係るカメラシステムを構成するカメラ（人物捜索機能付き監視カメラ）の構成を示す図である。 本発明の第１の実施形態に係るカメラシステムを構成するカメラが行う処理のフローチャートである。 本発明の第２の実施形態に係るカメラシステムが使用されている状態を示す模式図である。 １つのカメラの視界内に存在する、その他のいくつかのカメラの視界と共有する領域を示す図である。 本発明の第３の実施形態に係るカメラシステムが使用されている状態を示す模式図である。 カメラが警察側の端末装置６０５に対して通知するシステムの構成例を示す図である。 本発明の第４の実施形態に係るカメラが行う処理のフローチャートである。 カメラ５０１の基本構成を備える図である。 本発明の第１の実施形態に係るカメラシステムの基本構成を示す図である。

Claims (8)

1. 姿勢が制御可能な複数のカメラと、当該複数のカメラを制御するための制御装置とで構成されるカメラシステムであって、
   前記制御装置は、
   探索対象に係るデータを保持する第１の保持手段と、
   前記データを前記複数のカメラのそれぞれに送信する第１の送信手段とを備え、
   前記複数のカメラのそれぞれは、
   自カメラによる視界内で他カメラの視界と共有する領域を特定する領域情報と、当該領域で視界を共有する他カメラを特定するカメラ情報とを関連付けて保持する第２の保持手段と、
   前記第１の送信手段により得られた前記データを用いて、撮像画像中の前記探索対象を探索する探索手段と、
   前記探索手段が前記探索対象を検知した場合に、自カメラの視界内の当該検知した位置で視界を共有する他カメラのカメラ情報を前記第２の保持手段から特定し、特定したカメラ情報で特定される他カメラに対して、自カメラを特定するカメラ情報と前記探索対象を検知したこととを含む通知を行う通知手段と、
   自カメラが他カメラから前記通知を受けた場合には、当該自カメラによる視界内で、当該通知に含まれたカメラ情報と前記第２の保持手段内で関連付けられた領域情報が示す領域を注視すべく、自カメラの姿勢を制御する制御手段と
   を備えることを特徴とするカメラシステム。
2. 前記複数のカメラのそれぞれは更に、
   前記探索手段が前記探索対象を検知した場合には、前記探索対象を探索するのに参照した撮像画像を他カメラに送信する第２の送信手段を備え、
   前記探索手段は前記データに加えて、他カメラの前記第２の送信手段により送信された撮像画像を用いて、自カメラによる撮像画像中の前記探索対象を探索することを特徴とする請求項１に記載のカメラシステム。
3. 前記複数のカメラのそれぞれは更に、
   前記探索手段が前記探索対象を検知した場合には、前記探索対象を探索するのに参照した撮像画像、及び当該撮像画像を撮像したカメラを特定する情報を他カメラに送信する第２の送信手段を備えることを特徴とする請求項１に記載のカメラシステム。
4. 前記複数のカメラのそれぞれは更に、
   前記第１の送信手段により得られた前記探索対象に係るデータを保持する第３の保持手段と、
   前記第３の保持手段に複数対象分の前記探索対象に係るデータが保持されている場合に、前記探索対象に係るデータを前記第１の送信手段により得た時点からの経過時間に応じて、それぞれのデータに対して優先順位を付ける順位付け手段とを備え、
   前記探索手段は、前記順位付け手段が付けた順位に従って前記探索処理を行うことを特徴とする請求項１に記載のカメラシステム。
5. 姿勢が制御可能で他のカメラと通信可能なカメラであって、
   自カメラによる視界内で他カメラの視界と共有する領域を特定する領域情報と、当該領域で視界を共有する他カメラを特定するカメラ情報とを関連付けて保持する保持手段と、
   外部装置から送信された探索対象に係るデータを用いて、撮像画像中の当該探索対象を探索する探索手段と、
   前記探索手段が前記探索対象を検知した場合に、自カメラの視界内の当該検知した位置で視界を共有する他カメラのカメラ情報を前記保持手段から特定し、特定したカメラ情報で特定される他カメラに対して、自カメラを特定するカメラ情報と前記探索対象を検知したこととを含む通知を行う通知手段と、
   自カメラが他カメラから前記通知を受けた場合には、当該自カメラによる視界内で、当該通知に含まれたカメラ情報と前記保持手段内で関連付けられた領域情報が示す領域を注視すべく、自カメラの姿勢を制御する制御手段と
   を備えることを特徴とするカメラ。
6. 姿勢が制御可能で他のカメラと通信可能なカメラの制御方法であって、
   自カメラによる視界内で他カメラの視界と共有する領域を特定する領域情報と、当該領域で視界を共有する他カメラを特定するカメラ情報とを関連付けてメモリに保持する保持工程と、
   外部装置から送信された探索対象に係るデータを用いて、撮像画像中の当該探索対象を探索する探索工程と、
   前記探索工程で前記探索対象を検知した場合に、自カメラの視界内の当該検知した位置で視界を共有する他カメラのカメラ情報を前記メモリから特定し、特定したカメラ情報で特定される他カメラに対して、自カメラを特定するカメラ情報と前記探索対象を検知したこととを含む通知を行う通知工程と、
   自カメラが他カメラから前記通知を受けた場合には、当該自カメラによる視界内で、当該通知に含まれたカメラ情報と前記メモリ内で関連付けられた領域情報が示す領域を注視すべく、自カメラの姿勢を制御する制御工程と
   を備えることを特徴とするカメラの制御方法。
7. コンピュータに請求項６に記載の制御方法を実行させるためのプログラム。
8. 請求項７に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。

Images