JP5284599B2

JP5284599B2 - 画像処理装置

Info

Publication number: JP5284599B2
Application number: JP2007091109A
Authority: JP
Inventors: 光恵伊藤; 渡伊藤; 一哉高橋
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2007-03-30
Filing date: 2007-03-30
Publication date: 2013-09-11
Anticipated expiration: 2027-03-30
Also published as: US20080247601A1; JP2008252519A; US8218814B2

Description

本発明は、画像処理装置に関し、特に、画像中の複数の対象を関連付ける画像処理装置に関する。

例えば、テレビジョンカメラ（ＴＶカメラ）等の撮像装置を用いて、監視対象となる領域（監視対象領域）の内に侵入する物体を監視することが行われている。また、監視員による有人監視ではなく、装置或いはシステムが自動的に監視を行う技術が検討等されている。
例えば、特許文献１には、カメラより得られた入力画像と予め作成した基準背景画像、すなわち、検出すべき物体が映っていない画像とを比較し、画素毎に輝度値の差分を求めることで入力画像中の輝度値が変化している領域を検出し、検出した当該変化領域の位置変化を処理フレーム毎に判定することで、監視対象領域内の不審者や異常を検出することが記載されている。このように入力画像中の輝度値が変化している領域を検出する処理は、差分法と呼ばれ、従来より広く用いられている。

図８及び図９を参照して、差分法の処理を説明する。
図８には、差分法によって輝度値が変化した領域を検出する様子の一例を示してある。本例では、差分法によって、撮像装置から逐次入力される入力画像の輝度の変化領域を検出する。
画像８１は撮像装置から逐次入力される入力画像であり、画像８２は予め用意した検出すべき対象物体が映っていない画像（基準背景画像）である。この２枚の画像８１、８２を入力とする差分器９１によって画素毎の輝度値の差分を計算して差分画像８３を得る。

次に、差分画像８３を入力とする二値化器９２は、差分画像８３の各画素の値をしきい値Ｔｈ（例えば、実験的に決定される値であり、一例として、Ｔｈ＝２０）でしきい値処理し、しきい値Ｔｈ未満であった画素の画素値を“０”とし、しきい値Ｔｈ以上であった画素の画素値を“２５５”として二値化画像８４を得る。これによって、入力画像８１に映った人型の物体１０１は、差分器９１によって差分が生じた領域１０２（入力画像の輝度の変化領域）として計算され、二値化器９２によって画素値“２５５”の画像１０３として検出される。
ここで、本例では、１画素の画素値を８ビットで計算しており、すなわち、１画素が０から２５５までの値を持つ。

図９には、差分法を応用した監視方式の典型的な処理の手順の一例を示してある。
初期化処理ステップでは、差分法による監視方式を実行するための外部機器、変数、画像メモリ等の初期化を行う（ステップＳ２１）。画像入力ステップでは、撮像装置から例えば横６４０画素、高さ４８０画素の入力画像を得る（ステップＳ２２）。差分処理ステップでは、画像入力ステップで得た入力画像（画像８１）と予め作成しておいた基準背景画像（画像８２）について各画素の輝度値の差分（画像８３）を計算する（ステップＳ２３）。
二値化処理ステップでは、差分処理ステップで得られた差分画像（画像８３）の画素値（差分値）が所定のしきい値Ｔｈ（一例として、Ｔｈ＝２０）未満であった画素の画素値を“０”とし、しきい値Ｔｈ以上であった画素の画素値を“２５５”として二値化画像（画像８４）を得る（ステップＳ２４）。

次に、ラベリング処理ステップでは、二値化処理ステップで得られた二値化画像（画像８４）の中で画素値“２５５”となる画素のかたまり（変化領域である画像１０３）を検出して、各々に番号を付けて区別できるようにする（ステップＳ２５）。物体存在判定ステップでは、番号付けされた変化領域のそれぞれに対して、大きさ、面積、速度、検出位置等の検出条件に基づいて、変化領域が検出条件に合致するか否かを判定し、検出条件に合致する場合には、検出すべき物体が存在するとして警報・検出情報表示ステップ（ステップＳ２７）へ分岐し、検出条件に合致しない場合には検出すべき物体が存在しないとして画像入力ステップ（ステップＳ２２）へ分岐する（ステップＳ２６）。

警報・検出情報表示ステップでは、検出すべき物体が存在することを、例えば監視モニタ、警告灯、警告ブザー等の少なくとも１つ以上の手段を用いて、視覚、聴覚、嗅覚、触覚、味覚等の刺激として監視員に伝える（ステップＳ２７）。
また、このような監視システムでは、検出された物体を矩形で囲んだり移動経路を描画した画像や、撮像装置のズームレンズや雲台制御によって検出された物体に注目した画像などをモニタなどの表示装置に表示する。

特開２０００−１０５８３５号公報

しかしながら、上記のような監視システムでは、不審な物体に関連する他の物体を見つけることが人（例えば、監視員）により行われており、作業が大変で、非効率的であった。
具体的には、監視対象領域内に不審な物体が検出された場合には、監視員がその物体を見て、所定の映像記録装置に記録された映像をさかのぼって見ることで、検出された不審な物体に関連する他の物体を見つけて、その他の物体が不審な物体であるか否かを確認する必要があった。

図１０〜図１２を参照して、このような問題の具体例を示す。
図１０には、監視システムの表示装置に表示された画像１１１の一例を示してある。
本例では、撮像装置により撮像されている監視対象領域内において物体を検出した場合には、例えば、物体の外接矩形及び軌跡を用いて表示する。また、監視対象領域内に侵入禁止領域１２１を設けてあり、この領域内に侵入した場合には疑わしい物体であると判断して、疑わしい物体の外接矩形の枠の太さなどを変えることにより、単に検出された物体（つまり、侵入禁止領域１２１外の物体）とは区別するための表示を行う。
画像１１１は、監視対象領域内の物体を検出した結果であり、物体１２２及び物体１２３が検出されている。また、監視対象領域の右奥に侵入禁止領域１２１を設けている。

図１１には、図１０に示される状態からある時間が経過して表示装置に表示された画像１１２の一例を示してある。
図１０において検出された２つの物体１２２、１２３が接触しており、この時には、これらが１つの物体１３１として検出されている。

図１２には、図１１に示される状態からある時間が経過して表示装置に表示された画像の一例を示してある。
物体１４１が侵入禁止領域１２１に侵入している。この時、物体１４１及び物体１４２が検出されており、物体１４１については侵入禁止領域１２１内に存在しているため疑わしい物体であると判断されるが、物体１４２については疑わしい物体であるとは判定されない。

このように、従来の方法では、例えば、物体が存在する位置などによって不審なものであるか否かを判定する場合に、個々の検出物体に対して判定を行うため、不審なものであると判定された物体以外の関連する物体（上記の例では、荷物の受け渡しを行った物体）については、監視員の目視による確認が必要であった。

本発明は、このような従来の事情に鑑み為されたもので、画像中の複数の対象を関連付けることができ、例えば、画像中の不審な対象に関連する他の対象についても不審なものであると判定することが可能な画像処理装置を提供することを目的とする。

上記目的を達成するため、本発明では、画像処理を行う画像処理装置において、次のような構成とした。
すなわち、対象検出手段が、画像に含まれる対象を検出する。関連付け手段が、前記対象検出手段により検出された複数の対象を関連付ける。
従って、画像中の複数の対象を関連付けることができ、その関連付け結果を利用することが可能である。

ここで、画像としては、種々なものが用いられてもよく、例えば、撮像手段（例えば、カメラ）により撮像された画像を用いることができる。また、複数のフレームにわたる画像の変化を検出等する場合には、複数のフレームにわたって時間的に変化する動画像や、或いは、撮像された時刻の順に並べられた複数のフレームの静止画像などを用いることができる。
また、画像に含まれる対象としては、例えば、画像中に映っている対象の画像（１フレーム中の一部の画像）が検出される。

また、画像に含まれる対象を検出する手法としては、種々なものが用いられてもよく、例えば、検出対象となる画像とその背景画像との画素値の差分を検出して、その差分値がしきい値以上となる（又は、しきい値を超える）部分のまとまりを１つの対象として検出するような差分法を用いることができる。
また、更に、例えば、縦方向の長さや横方向の長さや面積などの１つ以上に関して所定の大きさ以上となる（又は、所定の大きさを超える）対象のみを検出することや、或いは、所定の大きさ以下となる（又は、所定の大きさ未満となる）対象のみを検出することや、或いは、大きさが所定の範囲にある対象のみを検出するようなことも可能であり、これにより、人や動物や自動車などの特定の物体（及びそれに大きさが類似するもの）のみを対象として検出するようなことが可能である。

また、複数の対象を関連付ける条件としては、種々なものが用いられてもよい。
また、関連付ける複数の対象の数としては、２つ以上の種々な数が用いられてもよい。
また、例えば、複数の対象の関連付けの結果をテーブル形式などでメモリに記憶する関連付け記憶手段を備えてもよい。

本発明に係る画像処理装置では、一構成例として、次のような構成とした。
すなわち、評価付与手段が、前記対象検出手段により検出された対象に対して評価を与える。関連評価付与手段が、前記評価付与手段により評価が与えられた対象に前記関連付け手段により関連付けられた他の対象に対して、前記評価に基づく評価を与える。
従って、ある対象に関連付けられた他の対象に対して、当該ある対象に与えられた評価に基づく評価が与えられるため、例えば、画像中の不審な対象に関連する他の対象についても不審なものであると判定することなどが可能である。

ここで、対象に対して与える評価としては、種々なものが用いられてもよく、例えば、疑わしい（不審である）か否かの評価や、或いは、危険度の程度（レベル）などを用いることができる。
また、対象に対して評価を与える手法としては、種々なものが用いられてもよく、例えば、所定の領域に入った対象に対して所定の評価を与える条件や、所定の移動速度或いは所定の移動方向を有する対象に対して所定の評価を与える条件や、所定の領域における滞在時間に応じて対象に対して所定の評価を与える条件などを予め設定しておいて、設定された条件に基づいて対象に対して評価を与えることが可能である。

また、例えば、赤外線センサなどの各種のセンサにより検出された対象を画像中で特定して所定の評価を与えるようなことも可能である。
また、例えば、対象に対して与えられた評価をテーブル形式などでメモリに記憶する評価記憶手段を備えてもよい。

また、ある対象に対する評価に基づいて、他の対象に対して評価（前記した評価に基づく評価）を与える態様としては、種々な態様が用いられてもよく、例えば、前記ある対象の評価と同一の評価を与える態様が用いられてもよく、或いは、前記ある対象の評価より１つ低い又は１つ高いレベルの評価を与えるなどのように、前記ある対象の評価に近い評価を与える態様が用いられてもよい。

本発明に係る画像処理装置では、一構成例として、次のような構成とした。
すなわち、前記関連付け手段は、複数の対象が１つの対象に結合した場合にこれら複数の対象を関連付ける条件と、１つの対象が複数の対象に分離した場合にこれら複数の対象を関連付ける条件と、複数の対象の間の距離が所定のしきい値に比べて近接した場合（例えば、所定のしきい値以下となった場合又は所定のしきい値未満となった場合）にこれら複数の対象を関連付ける条件のうちの１つ以上に基づいて、複数の対象を関連付ける。
従って、１つの対象に結合した複数の対象を関連付けることや、１つの対象から分離した複数の対象を関連付けることや、近接した複数の対象を関連付けることができる。

具体的には、例えば、人が自動車に乗った場合（結合の場合）にその人とその自動車とを関連付けることや、人と人とが接触して荷物を受け渡したような場合（結合の場合）にこれらの人を関連付けることや、自動車から人が降りた場合（分離の場合）にその自動車とその人とを関連付けることや、人が荷物を置き去った場合（分離の場合）にその人とその荷物とを関連付けることや、人と人とが近づいて話をしたような場合（近接の場合）にこれらの人を関連付けることなどが可能である。

ここで、対象の位置としては、例えば、対象の画像部分の重心の位置を用いることができ、或いは、他の位置が用いられてもよい。
また、ある対象と他の対象との距離としては、例えば、ある対象の位置と他の対象の位置との間の距離を用いることができる。
また、複数の対象が１つに結合したことは、例えば、複数の対象の画像部分が１つの画像部分になったことにより検出することや、或いは、複数の対象の距離がゼロ（０）になったことにより検出することができる。

なお、複数の対象の距離がゼロになった場合は、複数の対象が近接した場合の一例に含めるようにとらえることも可能であり、或いは、複数の対象の距離がゼロになった場合が結合であって、複数の対象の距離がゼロより大きく所定値以下（又は、所定値未満）である場合が近接であると区別することも可能である。

ここで、本発明は、方法や、プログラムや、記録媒体などとして提供することも可能である。
本発明に係る方法では、装置やシステムにおいて各手段が各種の処理を実行する。
本発明に係るプログラムでは、装置やシステムを構成するコンピュータを、各種の手段として機能させる。
本発明に係る記録媒体では、装置やシステムを構成するコンピュータに実行させるプログラムを当該コンピュータの入力手段により読み取り可能に記録したものであって、当該プログラムは各種の手順（処理）を当該コンピュータに実行させる。

以上説明したように、本発明に係る画像処理装置によると、画像中の複数の対象を関連付けることができ、例えば、画像中の不審な対象に関連する他の対象についても不審なものであると判定することが可能である。本発明は、特に、監視システムに適用すると有効である。

本発明に係る実施例を図面を参照して説明する。
図１には、本発明の一実施例に係る監視システムのハードウエアの構成例を示してある。
本例の監視システムは、例えばカメラから構成された撮像装置１と、監視装置２と、映像記録装置３と、表示装置４を備えている。
監視装置２は、画像入力インタフェース（Ｉ／Ｆ）１１と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１２と、プログラムメモリ１３と、画像メモリ１４と、ワークメモリ１５と、画像出力インタフェース（Ｉ／Ｆ）１６と、データバス１７を備えている。

ここで、撮像装置１は画像入力Ｉ／Ｆ１１と接続されており、映像記録装置３及び表示装置４はそれぞれ画像出力Ｉ／Ｆ１６と接続されている。
また、画像入力Ｉ／Ｆ１１、ＣＰＵ１２、プログラムメモリ１３、画像メモリ１４、ワークメモリ１５、画像出力Ｉ／Ｆ１６は、それぞれ、データバス１７と接続されている。

本例の監視システムにおいて行われる動作の一例を示す。
撮像装置１は、監視対象となる領域（監視対象領域）の画像を撮像する。撮像装置１は、撮像した画像を映像信号へ変換し、この映像信号を画像入力Ｉ／Ｆ１１へ出力する。
画像入力Ｉ／Ｆ１１は、撮像装置１から入力した映像信号を監視システムで扱うフォーマット（例えば、幅６４０［ｐｉｘ］、高さ４８０［ｐｉｘ］）の画像データへ変換し、これをデータバス１７を介して画像メモリ１４へ送る。

画像メモリ１４は、画像入力Ｉ／Ｆ１１から送られてきた画像データを蓄積する。
ＣＰＵ１２は、プログラムメモリ１３に保存されている動作プログラムに従って、ワークメモリ１５内で、画像メモリ１４に蓄積された画像データの解析を行う。
この解析の結果、撮像装置１の撮像視野内の物体を検出したなどの情報を得る。

そして、物体を検出した時の情報（検出物体情報）や、物体の関連情報を表すテーブル（物体関連テーブル）をワークメモリ１５に保持する。
ここで、検出物体情報としては、例えば、検出物体の名称、検出された時刻、物体が存在する範囲、「人」や「自動車」などのような物体のタイプ、疑わしい度合いの属性（危険度属性）、などの情報が用いられる。

ＣＰＵ１２は、データバス１７から画像出力Ｉ／Ｆ１６を介して映像記録装置３へ情報を送って記憶させ、これにより、例えば、処理結果の画像の情報や検出物体情報を映像記録装置３に記憶させる。
映像記録装置３は、監視装置２からの情報を記憶する。
ＣＰＵ１２は、データバス１７から画像出力Ｉ／Ｆ１６を介して表示装置４へ情報を送って表示させ、これにより、例えば、処理結果の画像を表示装置４により表示させる。
表示装置４は、監視装置２からの情報を画面に表示し、例えば、物体の検出結果の画像を表示する。
画像出力Ｉ／Ｆ１６は、例えば、ＣＰＵ１２からの信号を表示装置４が使用できるフォーマット（例えば、ＮＴＳＣ映像信号）へ変換して、表示装置４へ送る。

次に、本例の監視システムにおいて行われる画像処理について詳しく説明する。なお、画像処理はＣＰＵ１２により行われ、画像等の表示は表示装置４により行われる。
本例では、図１０〜図１２に示されるように、監視装置２では、監視対象領域内に侵入禁止領域１２１を設定することができ、侵入禁止領域１２１に侵入した物体については疑わしい（危険である）物体であると判断して、その旨を示す情報を表示装置４に表示する。

ここで、それぞれの侵入禁止領域１２１に警戒レベルを設けて、それぞれのレベルに応じて領域或いはそこに侵入した物体の表示装置４における表示態様（例えば、線の太さや色など）を変えることも可能である。
また、本例では、侵入禁止領域１２１に侵入した物体を疑わしい物体であると判定する構成を示すが、他の構成例として、物体の移動速度、或いは、物体の移動方向などのように、物体の様々な動作に基づいて疑わしい物体であるか否かを判断することも可能である。

具体例として、周囲の物体が右から左へ移動する中で左から右へ移動する（逆走する）物体を疑わしい物体であると判断することや、或いは、所定の領域にとどまる時間（滞在時間）が所定のしきい値以上である（又は、所定のしきい値を超えた）物体を疑わしい物体であると判断することなどが可能である。
また、他の構成例として、各種のセンサにより検出された物体を画像中で特定して疑わしい物体であると判断するようなことも可能である。

また、危険度属性の情報としては、例えば、危険の有無を示す情報や、或いは、危険度が高い、中程度、低いなどのように危険の程度（レベル）を示す情報などを用いることができる。具体例として、複数の領域を設けて各領域毎に危険の有無又は危険度のレベルを設定することや、或いは、移動速度の大きさや、移動方向や、滞在時間の長さなどに応じて、危険の有無又は危険度のレベルを設定することなどが可能である。

図２には、本例の監視システムにおいて、物体検出処理の結果を用いて複数の物体の関連付けを行う処理の手順の一例を示してある。
物体検出処理ステップでは、撮像装置１により撮像した入力映像を用いて、監視装置２において、図８及び図９に示されるような差分法などの手法を用いて、監視対象領域内の物体を検出する処理を行う（ステップＳ１）。
追跡処理ステップでは、物体検出処理ステップで検出された物体を追跡する処理を行う（ステップＳ２）。

図３（ａ）、（ｂ）、（ｃ）を参照して、物体の追跡処理の一例を説明する。
本例の追跡処理では、処理フレーム毎（入力画像毎）に検出される二値化画像の画素の固まりの位置変化に基づいて、検出物体を追跡する。
図３（ａ）、（ｂ）には、それぞれ、連続する時刻（ｔ０−１）、ｔ０の処理フレームで得られた二値化画像２１、２２を示してある。これらの連連続する処理フレームに渡って二値化画像内に検出された検出物体を追跡する処理を行う。

具体的には、図３（ａ）に示される時刻（ｔ０−１）の二値化画像２１では検出物体３１が検出されており、図３（ｂ）に示される時刻ｔ０の二値化画像２２では検出物体３３が検出されている。また、各処理フレームにおける検出物体３１、３３の重心点として、各検出物体３１、３３の内部の点３２、３４が求められている。
本例では、検出物体の追跡は、この重心点の位置に基づいて行われる。具体的には、ある時刻ｔ０の処理フレームで得られた所定の検出物体３３の重心点３４を基点として、その前の時刻（ｔ０−１）の処理フレームで得られた検出物体（２つ以上ある可能性もある）の重心点について基点から最も近い位置の重心点（本例では、検出物体３１の重心点３２）を選び、これらの重心点３２、３４を結ぶように線３５で引く。
図３（ｃ）の画像２３に示されるように、この線３５がその検出物体（同一とみなされる物体３１、３３）の軌跡となる。

分岐判定処理ステップでは、検出物体の分岐を判定する処理を行う（ステップＳ３）。
図４を参照して、分岐判定処理を説明する。
図４には、４つの連続した時刻（ｔ０−３）、（ｔ０−２）、（ｔ０−１）、ｔ０の処理フレームで得られた二値化画像を用いて検出された物体の重心位置５１〜５５及び追跡結果（線）を表した画像４１を示してある。
最初の３つの時刻（ｔ０−３）、（ｔ０−２）、（ｔ０−１）では１体の検出物体５１、５２、５３を追跡しているが、４つ目の時刻ｔ０では２つの検出物体５４、５５（物体Ａ、Ｂ）を追跡している。

このように、追跡処理ステップの結果として、ある１つの検出物体５１〜５３から２つ以上の検出物体５４、５５を追跡する結果が得られた場合には、１つの検出物体が複数の検出物体に分かれて移動していると判定する。
具体的には、分岐判定処理ステップの結果として、１つの検出物体から複数の検出物体に分かれたか否かを判断する（ステップＳ４）。これにより、１つの検出物体が複数の検出物体に分かれたと判断された場合には、関連付け処理ステップとして、検出物体を関連付ける処理を行う（ステップＳ５）。

図５には、検出物体の関連付けを記憶する物体関連性テーブルの一例を示してある。なお、物体関連性テーブルは、例えば、ワークメモリ１５などに記憶される。
図５に示されるように、本例の物体関連性テーブルでは、縦と横にそれぞれ物体名（Ａ、Ｂ、Ｃ等）が記載されており、縦に記載されている物体名を基準として、それに関連している物体名の列と交わる箇所に「○」（丸印）を記入する一方、他の箇所には「×」（バツ印）を記入するように、テーブルの更新が行われる。
具体的には、本例の関連付け処理ステップでは、分岐判定処理ステップの結果に基づいて、１つの物体が物体Ａと物体Ｂに分かれて移動したと判断したことから、物体Ａと物体Ｂが関連していると判断し、物体関連性テーブルにおいて物体Ａと物体Ｂが交わる２箇所に「○」を記入する。

図６には、本例の監視システムにおいて、疑わしいと判定された物体に関連する物体に対しても同様の判定を行う処理の手順の一例を示してある。
物体検出処理ステップでは、撮像装置１により撮像した入力映像を用いて、監視装置２において、図８及び図９に示されるような差分法などの手法を用いて、監視対象領域内の物体を検出する処理を行う（ステップＳ１１）。
そして、物体検出処理ステップを実施した結果、疑わしい物体が存在するか否かを判定する（ステップＳ１２）。本例では、図１０〜図１２に示されるような侵入禁止領域１２１に侵入した物体を疑わしい物体として検出する。

関連物体取得処理ステップでは、物体関連性テーブルを参照して、疑わしいと判定した物体に関連する他の物体を取得する（ステップＳ１３）。
例えば、検出物体Ａが疑わしい物体である場合には、図５に示される物体関連性テーブルに基づいて、検出物体Ａに関連している物体は検出物体Ｂであるという情報を取得する。

ここで、本例の監視システムでは、物体関連性テーブルを用いて複数の関連した物体を取得する構成としたが、他の構成例として、物体の追跡処理の結果である軌跡を探索木として、ある物体（探索木におけるノードを表す）から軌跡（探索木におけるパスを表す）を辿り、別のノードに到達できれば、当該物体とそのノードに対応する物体とを関連付けることも可能である。

物体情報設定処理ステップでは、関連物体取得処理ステップで取得した疑わしい物体に関連する物体に対して、疑わしい物体であるという情報を設定する処理を行う（ステップＳ１４）。
例えば、ワークメモリ１５に保持している検出物体情報の危険度属性において、検出物体Ａについては「危険度・高」が設定されており、検出物体Ｂについては「危険度・低」が設定されている場合に、検出物体Ｂが検出物体Ａに関連することから、検出物体Ｂについても「危険度・高」に変更して設定することで検出物体Ａと同じ危険度とする。

表示処理ステップでは、物体情報設定処理ステップで設定された疑わしい物体の情報及びその画像を表示装置４により表示する（ステップＳ１５）。
図７には、疑わしい物体であると判定された物体７１とそれに関連する物体７３の表示処理結果の画像６１の一例を示してある。
物体７１（物体Ａ）については、侵入禁止領域７５に侵入していることから、疑わしい物体であると判断する。また、他の物体７３（物体Ｂ）については、侵入禁止領域７５に侵入していないが、疑わしい物体７１に関連する物体であるため、当該疑わしい物体７１と同様に疑わしい物体であると判断する。

そして、関連する物体７３の範囲（外枠）７４についても、疑わしい物体７１の範囲（外枠）７２と同じように、危険度属性が「危険度・高」であることを示す、例えば、太線で描画する。
なお、本例では、疑わしいと判定された物体の表示態様と（疑わしいと判定されなかったが）当該疑わしい物体に関連すると判定された他の物体の表示態様を同じとしたが、他の構成例として、これらの物体の表示態様を異ならせることも可能であり、例えば、関連する物体７３の範囲７４については、疑わしい物体７１に関連した物体であるということが分かるように、疑わしい物体７１の範囲７２とは異なる態様で表示してもよい。

以上のような処理を行うことによって、複数の物体に関連付けをすることが可能となり、更には、関連した複数の物体のうちの１つの物体が疑わしい物体であると判定された場合には、関連のある他の全ての物体についても疑わしい物体であると判定するようなことが可能となる。
このため、従来では、監視員が映像記録装置に記録された映像をさかのぼって見ることで、不審な物体に関連する他の物体を見つけて、当該他の物体が不審な物体であるか否かを確認しなければならなかったが、本例では、監視員に対して効果的に疑わしい物体の提示が行うことができる。

ここで、本例では、１つの検出物体が複数の検出物体に分離した場合にこれら複数の検出物体を関連付ける構成を示したが、他の構成例として、複数の検出物体が１体の検出物体に結合した場合にこれら複数の検出物体を関連付けることが可能である。また、１つの検出物体が複数に分離する一態様として、走行後に停車した自動車（ここで、検出物体）から降りた人などのように、検出物体とは異なる大きさの検出物体（他の検出物体）が派生した場合についても関連付けを行うことが可能である。

また、他の構成例として、複数の検出物体の距離（例えば、重心点の間の距離）が所定のしきい値以下となった（又は、所定のしきい値未満となった）場合にこれら複数の検出物体を関連付けることが可能である。
なお、複数の検出物体が１つになったことは、例えば、複数の検出物体の画素の固まりがラベリングで１つの固まりとなったことにより検出することや、或いは、複数の検出物体の距離がゼロ（０）になったことにより検出することができる。

また、１つの検出物体が複数の検出物体に分離したことは、種々な手法で検出されてもよく、例えば、あるフレームにおける１つの検出物体の位置（例えば、重心の位置）からの距離が所定のしきい値以下（又は、所定のしきい値未満）である位置に次のフレームで複数の検出物体が検出され、且つ、その複数の検出物体が周囲から来たものではないような場合に、１つの検出物体が複数の検出物体に分離したと検出するようなことが可能である。
また、複数の検出物体が１つの検出物体に結合したことは、種々な手法で検出されてもよく、例えば、あるフレームにおける近接した複数の検出物体の位置からの距離が所定のしきい値以下（又は、所定のしきい値未満）である位置に次のフレームで１つの検出物体が検出され、且つ、もともとの複数の検出物体が周囲へ離れて行ったことがないような場合に、複数の検出物体が１つの検出物体に結合したと検出するようなことが可能である。

以上のように、本例の監視システムでは、監視対象領域の画像を撮像する撮像装置１と、撮像装置１により撮像された画像を処理して監視対象領域内の監視情報を収集する監視装置２と、撮像装置１により撮像された画像を記録する映像記録装置３と、撮像装置１により撮像された画像或いは監視装置２により収集された監視情報の少なくとも１つを表示する表示装置４を有している。そして、監視装置２は、画像に含まれる物体の画像などに関する監視情報を検出する物体検出機能と、物体検出機能により検出された２つ以上の物体を関連付けする関連付け機能を有する。
なお、監視情報としては、物体検出に関する情報などのように、監視に関する種々な情報が用いられてもよい。

また、本例の監視システムでは、前記した関連付け機能は、前記した物体検出機能により検出された物体を追跡する物体追跡機能と、物体追跡機能による追跡結果に基づいて１つの物体が複数の物体に分かれたか否かを判定する分岐判定機能を有し、１つの物体から分離した２つ以上の物体を関連付ける。或いは、複数の物体が１つの物体に結合した場合に、これら複数の物体を関連付けることも可能である。或いは、複数の物体が近接してこれら複数の物体の距離が所定のしきい値以下（又は、所定のしきい値未満）となった場合に、これら複数の物体を関連付けることも可能である。

また、本例の監視システムでは、前記した物体検出機能による検出結果に基づいて疑わしい物体が検出されたか否かを判定する検出物体判定機能と、検出物体判定機能と前記した関連付け機能による結果に基づいて疑わしい物体に関連する物体についても疑わしい物体であると設定する関連物体設定機能を有する。
また、本例の監視システムでは、前記した関連付け機能は、物体関連性テーブルを用いて、複数の物体の関連付けを管理する。

このように、本例の監視システムでは、監視装置２において、物体検出処理の結果を用いて検出された複数の物体に関連があるか否かを判定して、当該判定結果に基づいて複数の物体の関連付けを物体関連性テーブルに記憶しておき、そして、疑わしい物体が検出された場合には、物体関連性テーブルを参照して、当該疑わしい物体に関連する物体を取得し、この関連する物体についても疑わしい物体であるという情報を設定し、例えば、全ての疑わしい物体に関する情報及び処理画像を表示装置４の画面に表示する。

従って、本例の監視システムでは、検出されたある物体に関連する他の物体を関連付けて監視することができ、例えば、疑わしいと判定された物体に関連する物体についても同様に疑わしいと判定することができ、監視員に対して効果的に疑わしい物体の提示を行うことができる。このように、本例では、監視対象領域を監視するに際して、監視対象領域内で検出された物体に関する情報を効果的に監視員に提示することができる。

なお、本例の監視システムでは、撮像装置１の機能により画像を撮像する撮像手段が構成されており、監視装置２の機能により画像処理を行う画像処理装置が構成されており、映像記録装置３の機能により映像を記録する映像記録手段（画像を記録する画像記録手段）が構成されており、表示装置４の機能により画像などの情報を表示する表示手段が構成されている。
また、本例の監視装置２（画像処理装置）では、ＣＰＵ１２が画像処理などを行う機能により、画像中の対象を検出する対象検出手段や、複数の対象を関連付ける関連付け手段や、対象に対して評価（例えば、疑わしいなどという評価）を与える評価付与手段や、ある対象の評価に基づいて関連する他の対象に対して評価を与える関連評価付与手段が構成されている。
また、本例の監視装置２（画像処理装置）では、複数の対象の関連付けの結果を図５に示される物体関連性テーブルによりメモリに記憶する機能により関連付け記憶手段が構成されており、対象に与えられた評価（例えば、危険度属性の情報）をメモリに記憶する機能により評価記憶手段が構成されている。

ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（ＣｏｍｐａｃｔＤｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

本発明の一実施例に係る監視システムの構成例を示す図である。物体検出処理の結果を用いて複数の物体の関連付けを行う処理の手順の一例を示す図である。物体の追跡処理の一例を説明するための図である。分岐判定処理を説明するための図である。物体関連性テーブルの一例を示す図である。疑わしいと判定された物体に関連する物体に対しても同様の判定を行う処理の手順の一例を示す図である。複数の物体の関連付けの画面への表示処理結果の一例を示す図である。差分法によって輝度値が変化した領域を検出する様子の一例を示す図である。差分法を応用した監視方式の典型的な処理の手順の一例を示す図である。監視システムの表示装置の画面に表示された画像の一例を示す図である。監視システムの表示装置の画面に表示された画像の一例を示す図である。監視システムの表示装置の画面に表示された画像の一例を示す図である。

符号の説明

１・・撮像装置、２・・監視装置、３・・映像記録装置、４・・表示装置、１１・・入力Ｉ／Ｆ、画像１２・・ＣＰＵ、１３・・プログラムメモリ、１４・・画像メモリ、１５・・ワークメモリ、１６・・画像出力Ｉ／Ｆ、１７・・データバス、２１〜２３、４１・・二値化画像、３１、３３、７１、７３、１２２、１２３、１３１、１４１、１４２・・検出物体、３２、３４、５１〜５５・・重心点（重心位置）、３５・・線、６１、８１〜８４、１１１〜１１３・・画像、７２、７４・・範囲、７５、１２１・・侵入禁止領域、９１・・差分器、９２・・二値化器、１０１・・人型の物体、１０２・・差分が生じた領域、１０３・・物体の画像、

Claims

画像処理を行う画像処理装置において、
撮影時刻順に並んだ複数の画像に含まれる対象を検出する対象検出手段と、
前記複数の画像のうち時刻の異なる２つの画像から夫々検出された、同一と看做せる２つの対象を結ぶことで、当該対象を追跡する追跡手段と、
前記追跡手段から得られた複数の対象を追跡する結果に基づき、当該複数の対象を関連付ける関連付け手段と、
前記対象検出手段により検出された対象に対して、不審或いは危険度の程度についての評価を与える評価付与手段と、
前記評価付与手段により評価が与えられた対象に前記関連付け手段により関連付けられた他の対象に対して前記評価に基づく評価を与える関連評価付与手段と、を備え、
前記関連付け手段は、複数の対象が１つの対象へと結合した場合にこれら複数の対象を関連付ける条件と、１つの対象が複数の対象に分離した場合にこれら複数の対象を関連付ける条件と、複数の対象の間の距離が所定のしきい値に比べて近接した場合にこれら複数の対象を関連付ける条件のうちの１つ以上において、前記関連付けをすることを特徴とする画像処理装置。
前記画像処理装置は更に、
前記複数の画像と、前記検出された対象それぞれの検出時刻と評価とを含む物体検出情報を記憶する映像記録手段と、
前記検出された対象を、当該対象に与えられた評価に応じた描画により表示させる表示処理と、を備え、
前記対象検出手段は、複数の画像のそれぞれを処理して得た二値化画像から検出される画素のかたまりを前記対象とし、
前記評価付与手段は、所定の領域に入った前記検出された対象に対して所定の評価を与えるか、所定の移動速度或いは移動方向を有する前記検出された対象に対して所定の評価を与えるか、前記検出された対象が所定の領域に滞在した時間に応じて所定の評価を与えるものであり、
前記関連付け手段は、前記複数の対象の関連付けを、テーブルもしくは探索木として前記映像記録手段に記憶させることを特徴とする請求項１に記載の画像処理装置。
画像中の不審な対象を監視するための画像処理方法であって、
撮影時刻順に並んだ複数の画像に含まれる対象を検出する対象検出ステップと、
前記対象検出ステップで検出された、同一と看做せる対象の位置変化を、軌跡として得る追跡ステップと、
前記追跡ステップから得られた複数の対象を追跡する結果に基づき、当該複数の対象を関連付ける関連付けステップと、
前記対象検出ステップにより検出された対象に対して、不審或いは危険度の程度についての評価を与える評価付与ステップと、
前記評価付与ステップにより評価が与えられた対象に前記関連付けステップにより関連付けられた他の対象に対して前記評価に基づく評価を与える関連評価付与ステップと、を備え、
前記関連付けステップは、複数の対象が１つの対象へと結合した場合にこれら複数の対象を関連付ける条件と、１つの対象が複数の対象に分離した場合にこれら複数の対象を関連付ける条件と、複数の対象の間の距離が所定のしきい値に比べて近接した場合にこれら複数の対象を関連付ける条件のうちの１つ以上において、前記関連付けをすることを特徴とする画像処理方法。