JP4088060B2

JP4088060B2 - 人物監視システム

Info

Publication number: JP4088060B2
Application number: JP2001335534A
Authority: JP
Inventors: 暢芳榎本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2001-10-31
Filing date: 2001-10-31
Publication date: 2008-05-21
Anticipated expiration: 2018-09-18
Also published as: JP2002204444A

Description

【０００１】
【発明の属する技術分野】
この発明は、店舗、ＡＴＭ設置施設やオフィス等において、侵入者を監視するための人物監視システムに関する。
【０００２】
【従来の技術】
店舗、ＡＴＭ設置施設やオフィスにおいて、侵入者を監視するといった分野では、画像伝送による方法、監視画像伝送による監視、監視画像のＶＴＲ記録、画像処理認識による監視、及びそれらを組合せた手法が使用されてきた。以下、これら手法について説明する。
監視画像伝送による監視は、監視環境にアナログＩＴＶカメラを設置し、一般に離れた場所にある監視センタまでアナログ画像を伝送し、センタに配備された監視員が常時監視画像をモニタするものである。
【０００３】
この場合は一般に複数カメラからの画像を伝送し、監視員はそれら画像表示を意識的に、又は一定時間ごとに切替えて監視する。又画面の切替えの契機として、監視環境に設置された赤外線、超音波等の侵入センサからの侵入者検知信号を用いるものもある。又アナログ画像のままではなく、ＪｐｅｇやＭｐｅｇによる圧縮データに変換してから伝送するものがある。
【０００４】
監視画像のＶＴＲ記録は、監視環境にアナログＩＴＶカメラを設置し、離れた場所、又は監視環境からは見えない場所に設置したＶＴＲ装置に一定間隔ごとに画像を記録するものである。
画像処理認識による監視は、監視環境における画像の変化や画像中からの人物候補領域の検出によって通報やＶＴＲの起動を行なうものである。
【０００５】
【発明が解決しようとする課題】
上記したような従来技術には以下に示す問題点がある。
先ず監視画像伝送による監視での問題は、処理の仕組みは単純であるが、アナログ画像伝送を行なうために、専用伝送路の敷設、伝送による信号劣化の保障としてのブースタの設置などの付帯設備が必要となる。従ってこれら設備のためのコストが甚大であり、かつセンタにおいて監視員を常時配備しておく必要がある。
【０００６】
一方、画像の圧縮データを伝送するシステムでは上記に比べてデータが少ない、伝送による信号劣化がない、などの理由からアナログ専用線ではなく一般のデジタル回線を用いることが可能であるが、侵入イベント以外の情報も多数伝送されるため、監視員の常時配備の問題は解消されない。
【０００７】
監視画像のＶＴＲ記録での問題を述べると、このシステムは基本的には、緊急通報とは別に侵入者の映像を記録することで、後で状況推定や侵入者特定のために利用するものであるが、一定間隔ごとの記録では実際に侵入イベントとして重要な映像を記録できない場合がある。
【０００８】
画像処理による監視での問題は、侵入者の検出率が妥当であるならば、このシステムで侵入時のみに伝送や蓄積の処理が必要であるため、データ伝送、蓄積のためのコストを全体的に低くすることが可能である。又イベント発生時のみについて、伝送、蓄積された画像を監視員が確認することで、常時配備の必要性が軽減される。
【０００９】
しかしイベントを検出した後で、伝送又は蓄積された画像の性質が、監視員が確認するために良いものでは無い場合が多い。これは例えば、監視映像中の人物領域に顔などの特徴的な部分がない、画像が小さすぎる、圧縮の影響で画質が劣化している等があげられる。
従って本発明は、コストを低減し、見逃しのない人物監視が可能な人物監視システムの提供を目的とする。
【００１０】
【課題を解決するための手段】
人物の写っているシーンの映像を伝送、蓄積、検索し、見え方が最適な映像を出力する人物監視システムは、撮像機能を内蔵した一つ、又は複数の人物抽出手段と、前記人物抽出手段から提供される画像を処理し、最適人物シーンを選択する機能を有する中間サーバ手段と、前記中間サーバ手段から提供される画像を処理し、検索のタグ付け等のより処理時間を要する高度な機能およびユーザインタフェースを提供するサーバ手段と、を具備している。
【００１１】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。以下の説明では、本システムを用いて、ある監視領域において侵入者の監視を行なう装置について示す。
【００１２】
先ず、この実施の形態の全体構成と処理の概要を説明する。本発明による人物監視システムの全体構成を図１に示す。このシステムは、人物抽出手段１、中間サーバ手段２、サーバ手段３とからなり、人物抽出手段１において入力動画像中から人物候補領域を抽出し、中間サーバ手段２においてそのうち見え方の最適なる画像を選択し、サーバ手段３において画像検索用のキーの生成やｈｔｔｐ（ｈｙｐｅｒｔｅｘｔｔｒａｎｓｆｅｒｐｒｏｔｏｃｏｌ）でのユーザインタフェースを提供する。そして各手段１，２，３は有線、又は無線のディジタル通信によって接続される。
【００１３】
したがって、一つ又は複数の人物抽出手段１によって検出された入力画像内の人物候補領域に対して、人物抽出手段１又は中間サーバ手段２において人物特徴のチェックと見え方が最適なフレームの選択、およびカメラ（これは人物抽出手段１に相当）入力の選択を行ない、サーバ手段３では、中間サーバ手段２から得られた最適な人物画像系列を一時的に蓄積し、その後、それら画像系列の伝送を行なう。
このとき、例えば検出人物系列について、その移動方向、色、動き方、参照人物画像との類似度などの画像検索用キーを作成しておき、ユーザからの要求にしたがって所望画像のみを伝送する処理も行なう。
【００１４】
以上で、人物抽出手段１と中間サーバ２、中間サーバ手段２とサーバ手段３のそれぞれの間での伝送路の状態、および対象人物の侵入イベント数などに応じて適宜それぞれでの処理の分担範囲を変える。例えば人物抽出手段１においては人物候補領域の抽出と確認を行なうが、単位時間あたりのイベント数が多い場合には、人物候補の確認処理は比較的ラフなもののみを行ない、後述する顔等の特徴部分による確認のように処理コストの高いものは中間サーバ手段２に分担させる。
【００１５】
以下に上記人物抽出手段１、中間サーバ手段２、サーバ手段３の各構成と処理の説明を行なう。
図２は人物抽出手段１の構成に示す図である。カラー、又はモノクロのテレビカメラとＡ／Ｄ変換器とからなる画像入力手段４により数フレームごとに入力されたディジタル画像データを一度人物検出画像蓄積手段５に格納し、これについて後述の様に、人物候補領域抽出手段６によって侵入人物の概略領域を検出し、その概略領域内部に人物としての特徴的な領域パターン（例えば顔、手、足等）が存在するかどうかを人物領域確認手段７によって確認し、人物候補領域画像と確認結果を人物候補通信手段８によってＥｔｈｅｒｎｅｔやＩＥＥＥ１３９４上にＴｃｐ／ＩＰなどのプロトコルで中間サーバに伝送する。上記で入力画像がカラーであった場合には、その輝度成分のみを抽出して人物検出画像蓄積手段５に蓄積する。
【００１６】
又、この人物抽出手段１では一定時間内での上述の対象人物領域の抽出数、すなわち検知頻度を人物抽出手段１内部の検知頻度計測手段９によって計測し、これがあらかじめ設定してある閾値以上であった場合には、本手段の処理に時間をかけるべきではないとして、一般的に処理コストのかかる人物領域確認手段７の処理は行なわず、後述の中間サーバに処理の分担を依頼する。
【００１７】
以下に、この人物抽出手段１に特徴的な機能として、人物候補領域抽出手段６と人物領域確認手段７および人物候補通信手段８について述べる。
人物候補領域抽出手段６の処理としては、以下に示すようないくつかの方法のいずれかを使用することができる。
【００１８】
例えば、連続するサンプリング画像（フレーム）について画素ごとの差分を行ない、ある一定閾値で２値化した領域を抽出し、４連結、又は８連結の意味で空間的に連結する領域について、その面積や外接矩形サイズが人物候補として妥当なものを検出する方法である。この処理の流れを図３のフローチャートに示す。この際の２値化の閾値は、差分画像の輝度ごとの頻度分布を解析し、その分散比を最大にする値として決定する手法を使うことができる（大津、判別および最小二乗基準に基づく自動しきい値選定法、信学論、Ｖｏｌ．Ｊ６３−Ｄ，Ｎｏ．４，ｐｐ．３４９−３５６，１９８０参照）。ここで、上記連結領域の解析を行なう前に、抽出領域についての数回の膨張、収縮処理を行なって、ノイズによる過抽出や“かすれ”の影響を減少させても良い。この場合に抽出領域の第一次信頼度Ｃ１を例えば以下のように算出しておく。
【００１９】
Ｃ１＝（Ｖf,Ｖft）／（｜Ｖf ｜｜Ｖft｜）， …（１）
ただし、

なるベクトルで、Ｗ，Ｈはそれぞれ抽出領域の外接矩形の縦横サイズであり、Ｓは抽出領域面積である。又Ｔwu，Ｔwlは外接矩形の縦サイズの、Ｔhu，Ｔhlは外接矩形の横サイズの、Ｔsu，Ｔslは抽出面積のそれぞれ上限値と下限値を示す閾値であり、０≦ Ｃf ≦１となる。
【００２０】
この信頼度算出用のベクトルＶ，Ｖt については、円形度Ｒを加えて以下のようにしてもよい。

Ｒ＝（抽出領域の周囲長）／Ｓ，
ただしＴr は人物としてのＲの標準的値。
【００２１】
又別手法として事後確率変換による手法を用いても良い（中井、事後確率を用いた移動物体検出手法、情処研報，９４−ＣＶ−９０，ｐｐ．１−８，１９９４参照）。
【００２２】
この事後確率変換による手法の処理の流れを図４のフローチャートに示す。事象θ０を背景、事象θ１を侵入物とする。ある部分画像内の画素の輝度を観測する前のθ０、θ１の事前確率がそれぞれｗ０，ｗ１であるとき（ただしｗ０＋ｗ１＝１）、事後確率ｗ１′は事象θｋのもとでの画素輝度Ｉの条件付き確率をＰ（Ｉ｜θｋ）とするときベイズの定理から
ｗ１′＝｛ｗ１ｐ（Ｉ｜θ１）｝
／｛ｐ（Ｉ｜θ０）（１−ｗ１）＋ｐ（Ｉ｜θ１）ｗ１｝…（３）
となり、このｗ１′がある閾値Ｔより大なるものを侵入物に属する画素として抽出する。ここで、あらかじめ求めた背景のみの画像の頻度分布ｈ（ｘ，ｙ，Ｉ）から、
ｐ（Ｉ｜θ０）＝｛１／Σｈ（x,y,I）｝ｘｈ（x,y,I） …（４）
I=Imin,...Imax
であり、ｐ（Ｉ｜θ１）は一般にデータサンプルが無いため、
ｐ（Ｉ｜θ０）＝１／（Imax−Imin） …（５）
と推定する。又上記は入力画像が更新されるたびにｗ１＝ｗ１′と更新し、ｗ１の初期値＝１．０／２．０としてよい。
【００２３】
人物候補領域を抽出するためには、入力画像内の各画素ｉについて（２）式のｗ′ｉをもとめｗ′ｉ＞Ｔなる画素で、８連結、又は４連結の意味で連結するもののうち、その面積や、外接矩形サイズが人物として妥当なものを選択すればよい。
この方法によると背景領域に定常的に変動があっても、統計的に変動を吸収できる利点がある。
【００２４】
上記で非背景（すなわち対象物）であるための事後確率を画素ごとに求めているが、閾値との比較による抽出（２値化）の前に、確率分布を４近傍や８近傍について平滑化しても良い。これは対象物近傍についての確率場の連続性を仮定し、ノイズによる過抽出やかすれを減少させるためである。又さらなるノイズ除去のために上記２値化後に数回に渡って、膨張収縮処理を繰り返しても良い。
【００２５】
この場合にも抽出領域の信頼度Ｃ１を（１）式に基づいて算出するが、前述の（２）式のＶ，Ｖｔをここでは例えば以下のようにして算出しておく。

又は円形度も含めた場合には、

ここにＰは抽出矩形内の事後確率の正規化総和であり、以下のように求められる。
【００２６】

ただしＴｐは人物に対する上述のＰ値の標準値であり、Ｒｅｃｔは抽出外接矩形領域を示す。
【００２７】
次に図２に示した人物抽出手段１における人物領域確認手段７について説明する。人物領域確認手段７は、検知頻度計測手段９に前述した検知の頻度が設定閾値を超えているかどうかを問い合わせる。もし検知頻度が閾値Ｔｈ以下であった場合には、様々な人物の体の部分の画像が複数収集され、その情報を統計的に圧縮した辞書を用いたパターンマッチングを適用して、上記のように抽出された人物候補領域内部の画素について、特徴的部分が存在するかどうかを検出する。この様子を図５に示す。
【００２８】
このような方法として、ある一定サイズに正規化した複数の特徴部分画像をある基準で複数のクラスに分割しておき、それに基づいて正準判別する方法がある。この方法による処理の流れを図６のフローチャートに示す。先ず、以下のようなステップをとる。
【００２９】
（i）複数クラスの正規化画像群に対する級内分散Ｂ、および級間分散Ｗの算出
（ii）（Ｂ＋βＳw ）Φ＝｛（１−β）Ｗ＋βＩ｝ΦΛなる固有値問題を解く
ただし０＜β＜１、
Φ：固有ベクトルΦｉを列ベクトルとする固有ベクトル行列、
Λ：固有値λｉを対角要素とする固有値行列、
である。
【００３０】
（iii ）各クラスタｉ内ベクトルを上述のΦに射影し、その平均ＭｉとΦと場合によっては分散共分散Ｖｉを辞書とする。
（vi）マッチング時には画面内を小領域ｊに分割し、その小領域ごとの画像ベクトルを上記Φに射影したベクトルＶｊと各クラスｉとのユークリッド距離やマハラノビス距離を求める。
【００３１】
上記でクラス作成時に所望対象特徴画像以外に、非対象物クラスとして、それと類似する他の画像も使用すると所望領域以外の類似領域は抽出せず、所望領域のみを抽出しやすくなる。例えば、所望対象特徴画像として複数人物の正面向きの顔、非対象物クラスとして背景の顔類似パターンを用いるなどである。
【００３２】
ここでは対象物クラスを、複数人物の顔領域の画像から作成することとし、それらを顔の向きに応じて数種類の別クラスに分割する。又非対象物クラスとして、背景中の顔類似パターンをあらかじめ人手でピックアップしておき、それらを用いる。
【００３３】
そしてステップ（vi）のマッチング結果のうち距離が小なるものからＮ番目までで、対象物クラスに属するものの距離の総和が一定値Ｔｄ以下だった場合人物領域とし確認されたものとする。この場合には第二次信頼度Ｃ２を例えば以下のように算出しておく。
【００３４】

又以上の処理終了後に、上記人物候補領域抽出手段６について説明したように抽出された人物候補領域の外側で上述のマッチングを行い、その距離が小なるものからＭ番目までのものを非対象物クラスのデータとして保存する。
【００３５】
次に図２に示した人物抽出手段１における人物候補通信手段８について説明する。前述したように検知頻度計測手段９によって、人物候補の検知頻度が一定間隔Ｔｈと比較された結果が中間サーバに伝送されると、中間サーバからはその結果に応じて以下のように人物抽出手段１での処理分担指示メッセージが送られるため、人物抽出手段１での処理はそれに従う。
【００３６】
（i）検知頻度≧Ｔｈのとき
人物抽出手段１での処理は前述の人物候補領域抽出手段６の処理のみとなる。
（ii）検知頻度＜Ｔｈのとき
人物抽出手段１での処理は人物候補領域抽出手段６かつ人物領域確認手段７の処理となる。
【００３７】
ここで（i）の場合には、この人物候補通信手段８の出力結果は、例えば、上記人物候補領域抽出手段６が抽出した抽出領域（周囲の外接矩形）座標、抽出時刻、抽出領域の信頼度Ｃ１であり、（ii）の場合には、人物候補通信手段８の出力結果は、例えば、上記（i）の抽出領域（周囲の外接矩形）座標と時刻に加えて、抽出領域の信頼度Ｃを以下のように算出して伝送してもよい。
【００３８】
Ｃ＝ｍｉｎ（Ｃ１，Ｃ２） …（８）
又（ii）の場合には、ステップ（vi）の結果から以下の情報を抽出して伝送する。これは最適シーンのカメラを選択するための情報で、人物候補領域内での上記マッチング結果領域のうち、距離小なるものからＮ番目までのマッチング距離、およびそれらの各々とマッチした辞書カテゴリ名、各々の画面内での位置、および人物候補領域外側で上述のマッチングを行い、その距離が小なるものからＭ番目までのものの非対象物クラスのデータとしてマッチング距離、およびそれらの各々とマッチした辞書カテゴリ名、各々の画面内での位置も伝送する。
【００３９】
又さらに上述の伝送された対象抽出結果に応じて、中間サーバ手段２から送られる画像伝送メッセージにしたがって、後述のような所望の画像伝送動作を行う。
次に図１の中間サーバ手段２について説明する。図７は中間サーバ手段２の構成を示す図である。この中間サーバ手段２は人物抽出通信手段１０、人物抽出補助手段１１、最適撮像選択手段１２、サーバ通信手段１３および抽出人物画像蓄積手段１４からなる。以下には、そのそれぞれの動作を示す。
【００４０】
人物抽出通信手段１０は、各人物抽出手段１での検知頻度に応じた人物抽出機能の負荷分担、および同じく人物抽出手段１よりの認識確信度と中間サーバ手段２の通信負荷とによる抽出画像伝送の制御を行い、その結果として人物抽出手段手段１から送られてくる人物抽出画像を受け取る。受信した人物抽出画像は抽出人物画像蓄積手段１４に画面内での位置情報、信頼度、抽出時刻とともに保存される。
【００４１】
この通信処理は例えば以下のような手順で実行される。この人物抽出通信手段１０の処理の流れを図８のフローチャートに示す。
（i）人物抽出手段内部状態の取得と人物抽出方法の指示
各人物抽出手段１から内部状態として、一時保存画像数Ｎｓと検知頻度Ｈが閾値Ｔｈを超えているかどうかを取得し、前記人物候補通信手段８の説明であった検知頻度に応じて、人物抽出手段１内の処理を人物候補領域抽出手段６のみの処理とするのか、人物領域確認手段７をも行わせるのかを指示する。このようにすることによって、人物候補の確認までを必要とするが、監視領域内への人物の侵入頻度の高い場所においても検知もれを防ぐことを可能とする。又、人物候補確認までを必要としないような環境においては、常に人物候補領域抽出手段６のみの処理とさせることも可能である。
【００４２】
なお上記で人物領域確認手段７の処理をも中間サーバ手段２内部で行わせる場合には、前述の人物領域確認手段７で述べたように、保存されていた人物候補領域の外側でのマッチング結果（非対象物クラスデータ）の周囲座標も伝送する。
【００４３】
（ii）認識確信度と通信負荷とに応じた画像伝送制御
次に各人物抽出手段１から上記人物候補通信手段８で示したように抽出領域、抽出時刻、抽出領域の信頼度Ｃklが送られるが、これと各人物抽出手段１での検知頻度Ｈｋ、通信トラフィックとから例えば以下のような方式にしたがって画像伝送の制御すなわち伝送画像領域Ｒｋを求める。ただし、ｋは人物抽出手段番号、ｌは一つの人物抽出手段内での抽出領域番号で０≦ｌ≦Ｌとする。
【００４４】

ただし抽出領域をＲklとし、Ｔkl＞画面全体のときＴkl＝画面全体とする。又、Ｕは集合の和を示す。
【００４５】
if ＳＨ≧Ｔk3 Ｒk ＝現抽出画像を伝送せずに一時保存，…（９″′）
ここにＳＨは通信トラフィックをあらわす量であり、例えば全人物抽出手段での検知頻度の総和を用いて以下のようにしてもよい。
ＳＨ＝ΣＨk, …（１０）
k=0.k
又Ｃklは各抽出領域ごとの信頼度、Ｈkは各人物抽出手段の検知頻度、Ｋは各人物抽出手段のアクセス数である。
さらに、前記（i）での非対象クラスの画像を伝送する場合には、前述の検出結果の一時保存画像と同一の扱いとする。
【００４６】
次に図７の人物抽出補助手段１１について説明する。図９は人物抽出補助手段１１の処理の流れを示すフローチャートである。人物抽出補助手段１１は、前述した図２の人物候補通信手段８の説明で（i）検出頻度≧Ｔｈのときに、人物領域確認手段７とまったく同一の処理を行う。
又人物確認における非対象クラスに対する辞書更新用データ数の前回辞書更新以降での総和が伝送画像中から一定値（Ｎｓ×α）個以上収集できたときには、本発明による人物確認用の辞書の再構成を行う。
【００４７】
ここにＮｓ従来からの非対象サンプル数、α０〜１の間の定数であり、再構成用サンプルとしては、上述の新規サンプルＮｓ×α個の他に従来サンプルの中からＮｓ×（１−α）個をランダムに選択して前記（２）（ｂ）人物領域確認手段７の（ｉ）〜（iii ）までの処理によって新規辞書を作成する。
【００４８】
次に図７の最適撮像選択手段１２について説明する。図１０は本発明による最適撮像選択手段１２の処理の流れを示すフローチャートである。
図２の人物候補通信手段８の説明中（ii）で述べたように、人物領域確認手段７のステップ（vi）のマッチング結果として人物候補領域内でのマッチング結果領域のうち、距離小なるものからＮ番目までのマッチング距離、およびそれらの各々とマッチした辞書カテゴリ名、各々の画面内での位置が最適撮像選択手段１２に伝送されてくる。
【００４９】
ここで最適性の定義として、上記マッチング結果のうち位置の分布がまとまっており、かつマッチング辞書カテゴリとして正面に近いものとの距離が小なるものとする。これを表現する特徴量Ｆ（最適人物撮像特徴量）としては、例えば以下のようなものを使用する。
【００５０】
Ｆ＝Ａ／σｘ＋Ｂ／σｙ＋ΣＣｊ×Ｄｉ …（１１）
i=1.N
ここにσは各マッチング結果領域の座標分布の標準偏差であり、Ｄｉはｉ番目にマッチング距離が小さかった分割ウィンドウと辞書との距離である。Ａ，Ｂ，Ｃｊは重み定数で、特にＣｊは上述のｉ番目ウィンドウがマッチした辞書ｊの顔の向きに応じた重みであり、正面に近いほど大きく設定する。
【００５１】
そして、この中間サーバ手段２に接続されている複数（ｋ＝０〜Ｋ個）の人物抽出手段１からの人物抽出領域のうちで、互いに物理的な位置（実世界での座標）がオーバラップするような各領域を同一物体と対応付けし、それらについての上述Ｆ値のうちで最大の値Ｆｋを有する人物抽出手段ｋからの映像を最適なものと選択する。ここで物理的な位置は、あらかじめ計測しておく撮像環境（人物抽出手段の撮像系の向き、俯角、ズーム）と人物抽出時に検出された人物候補領域の座標とから求める。
【００５２】
なお、上記Ａ，Ｂ，Ｃｊの決定については、さまざまな手法が考えられるが、例えばあらかじめ複数のサンプル画像において最適なものを教示しておき、それらサンプルにおけるσｘ，σｙ，Ｄｉを用いて最適と教示されたもののＦ値が他のものより大きいと仮定して決定する。すなわち最適と教示されたものがサンプルｋ′としたとき、
Σ（Ｆｋ｜ｋ＝ｋ′−Ｆｋ｜ｋ≠ｋ′） …（１２）
全サンプル
を最大化するように学習を行なって、上記Ａ，Ｂ，Ｃｊを決定する。
図７のサーバ通信手段１３は、最適撮像選択手段１２において最適人物画像系列が準備された場合には、この系列画像をサーバに伝送する。
【００５３】
最後に図１のサーバ手段３について説明する。サーバ手段３は上記サーバ通信手段１３から送信されてくる最適画像系列を受け取り、ｈｔｔｐプロトコルに準拠した形式に変換し伝送する。
このとき、上記系列内に冗長な画像が含まれており、かつ本サーバ手段３への通信トラフィック量が多い場合には、本発明によるサーバ手段３はそのうちのいずれかのみを残して、他は除去して伝送する。
【００５４】
ここで上述の冗長性としては、連続する最適画像系列のフレーム同士での類似度の高いものという意味で例えば、２フレーム間の画像差分量の総和が一定閾値以下の場合や、２フレーム間での画像の相関値が別の一定閾値以上の場合など一般的なものを使用できる。
【００５５】
ここで、サーバへの通信トラフィック量としては、本サーバに対するｈｔｔｐアクセスでの一定時間内パケット数Ｐｈと中間サーバ２との画像、および抽出属性の伝送に用いられる一定時間内パケット数Ｐｍとの総和として定義できる。なお上記において、中間サーバ２から得られる最適画像系列には、位置や抽出時刻といった属性が含まれるが、本サーバ手段３内では、これに加えて、領域内での色空間での画素値の頻度分布、上記位置と抽出時刻から求められる平均移動ベクトルを計算して付与し検索用タグ情報とする。さらに上記最適人物画像系列中の顔領域について、図２の人物領域確認手段７の（vi）に述べた顔辞書との射影値ベクトルをも属性値として付与しておくことで、検索対象人物の画像が与えられると、その人物の顔を過去の監視画像中の最適系列画像から検索して提示することが可能となる。
【００５６】
【発明の効果】
本発明によれば、各処理ごとの機能分担による応答性向上とコストの削減が図れる。即ち、人物監視に最も基本的機能でかつリアルタイム処理を要する人物抽出機能をテレビカメラ内蔵とし、それらテレビカメラからの抽出映像の最適性を評価する中間サーバ、および検索タグ付けなど処理時間は要するがリアルタイム性が必要でない処理を行なうサーバとに分担させ、それぞれの間はデジタル化され要約された情報を伝送することで、伝送、蓄積の応答性とコストの削減が可能となる。
【００５７】
又本発明によれば、人物特徴部分検出による誤抽出可能性の低減と最適映像の検出が可能となる。即ち、人物抽出機能において、人物候補領域抽出を行なった後、その領域内に人物の特徴的部分（顔等）が写っているかどうかを評価するため、誤って人物の侵入以外のイベントを検出する頻度を低減させることが可能となる。又その際に抽出された人物特徴部分の画面内への出現の仕方を用いて、その画像フレームが後の監視員による確認に良いものなのかどうかを評価し、複数カメラの複数フレームから最適な画像系列を選択可能となる。
【００５８】
更に本発明によれば、冗長映像の除去と負荷に応じた動的処理分担によるさらなる伝送、蓄積効率の向上が図られる。即ち、上記で選択された見え方として最適な画像のフレーム間での冗長性を評価して、冗長フレームを除去することで、伝送、蓄積量を低減させ、効率を向上することが可能である。又侵入者の検出頻度や、伝送負荷に応じて各処理階層（カメラ、中間サーバ、サーバ）での処理を自動的に再配置することによって監視システム全体としての伝送、蓄積効率を向上させることが可能となる。
【００５９】
従って、従来よりコストを低減し、見逃しのない人物監視が本発明により可能となる。
【図面の簡単な説明】
【図１】図１は本発明の実施例に係る全体構成図。
【図２】図２は本発明の実施例に係る人物抽出手段の構成図。
【図３】図３は人物候補領域抽出手段の第１の方法を示すフローチャート。
【図４】図４は人物候補領域抽出手段の第２の方法を示すフローチャート。
【図５】図５は本発明による人物領域確認手段を説明するための図。
【図６】図６は本発明による人物領域確認手段での処理を示すフローチャート。
【図７】図７は本発明による中間サーバ手段の構成を示す図。
【図８】図８は本発明による中間サーバ手段における人物抽出通信手段の処理を示すフローチャート。
【図９】図９は本発明による中間サーバ手段における人物抽出補助手段の処理を示すフローチャート。
【図１０】図１０は本発明による中間サーバ手段における最適撮像選択手段の処理を示すフローチャート。
【符号の説明】
１…人物抽出手段、２…中間サーバ手段、３…サーバ手段

Claims

人物の写っているシーンの映像を伝送、蓄積、検索し、人物候補領域内の分割領域のまとまり方と対象領域の正面向きへの近さとに基づいた見え方が最適な映像を出力する人物監視システムであって、
撮像機能を内蔵した一つ、又は複数の人物抽出手段と、
前記人物抽出手段から提供される画像を処理し、人物候補領域内の分割領域のまとまり方と、対象領域の正面向きへの近さとに基づいて最適人物シーンを選択する機能を有する中間サーバ手段と、
前記中間サーバ手段から提供される画像を処理し、検索のタグ付け機能およびユーザインタフェース機能を提供するサーバ手段とを具備し、
前記中間サーバ手段は、前記人物抽出手段および中間サーバでの処理負荷を計算する機能と、この計算の結果前記人物抽出手段での処理負荷が閾値を越えている場合には前記人物抽出手段の処理の一部を中間サーバ手段に分担させる機能とをさらに有する、
ことを特徴とする人物監視システム。
人物の写っているシーンの映像を伝送、蓄積、検索し、人物候補領域内の分割領域のまとまり方と対象領域の正面向きへの近さとに基づいた見え方が最適な映像を出力する人物監視システムであって、
撮像機能と、撮像画像内から人物候補領域を抽出する機能と、抽出された候補領域から人物領域を確認する機能とを有する、一つ又は複数の人物抽出手段と、
前記人物抽出手段から提供される人物領域画像から、人物候補領域内の分割領域のまとまり方と、対象領域の正面向きへの近さとに基づいて最適人物シーンを選択する機能と前記人物領域確認機能とを有する中間サーバ手段と、
前記中間サーバ手段から提供される画像を処理し、画像検索のタグ機能およびユーザインタフェース機能を提供するサーバ手段とを具備し、
前記中間サーバ手段は、前記人物抽出手段および中間サーバでの処理負荷を計算する機能と、この計算の結果前記人物抽出手段での処理負荷が閾値を越えている場合には前記人物抽出手段の処理の一部を中間サーバ手段に分担させる機能とをさらに有する、
ことを特徴とする人物監視システム。
前記人物抽出手段は、撮像画像内から人物候補領域を抽出する機能と、抽出された候補領域から人物領域を確認する機能とを有し、
前記人物領域確認機能は、画像の特徴部分および非特徴部分の類似パターンとの統計モデルとから特徴部分を抽出し、前記人物候補領域抽出機能が人物ではないと判定した部分に特徴部分に類似の部分があった場合、それらを非特徴部分パターンのモデルとして自動的に組み込み、判定精度を向上することを特徴とする請求項１記載の人物監視システム。
前記人物抽出手段は、撮像画像内から人物候補領域を抽出する機能と、抽出された候補領域から人物領域を確認する機能とを有し、
前記人物領域確認機能は、前記人物抽出手段が中間サーバに人物候補画像を伝送する際に、認識結果の信頼度を計算し、信頼度が高い場合は抽出領域のみを伝送し、信頼度が低い場合には、その信頼度に応じて抽出領域を周囲に広げ、抽出もれを減少させることを特徴とする請求項１記載の人物監視システム。
前記中間サーバ手段は、各モデルとの類似度、および抽出位置の分布を入力として、最適な撮像手段の出力系列を選択する機能をもつことを特徴とする請求項１記載の人物監視システム。
前記サーバ手段は、データ伝送中の通信トラフィック量を計測し、それに応じて前記選択された出力系列内の冗長性を減らす手段を具備することを特徴とする請求項１記載の人物監視システム。