JP5040258B2 - 映像監視装置、映像監視システムおよび画像処理方法 - Google Patents

Description

本発明は、カメラなどの撮像装置から映像取得し、画像認識によって監視エリア内の異常等を検知する機能を有する映像監視装置に関する。

カメラから取得した映像から画像認識により監視エリアに現れる人や車両などの移動物体を検知する機能を有する映像監視装置は、検出結果を利用することで移動物体の出現した映像のみ記録する機能や、表示装置の警告アイコンの表示、またブザー等を鳴らして監視員の注意を促すことができるため、従来の常時確認作業が必要であった監視業務の負担低減に役立つ。

前述の映像監視装置では、入力画像と予め作成した背景画像の比較処理によって映像内に人の動きなどによる変化を検出する方法が知られており、この方法を一般的に基準差分法と呼ぶ。基準差分法は演算コストが比較的低いため、多くの映像監視装置に用いられている。

また、危険物などが放置された状態を検出するために、単に映像内の変化を検出するだけでなく、背景画像との変化が継続的に検出される領域を放置物体として検出する方法が、例えば特許文献１として知られている。

特開平１０−２８５５８６号公報

特許文献１の手法では、移動物体や放置物体などを含まない情景のみで構成される背景画像と、入力画像と背景画像の比較処理で移動物体のみ除去した比較画像を生成する。背景画像と比較画像を時間軸上で比べると、背景画像の方がより過去の画像である。この背景画像と比較画像の差分結果から検出領域を移動していない物体と定義し、その物体の有無で放置物体が存在するか否かを判定している。

しかし、背景画像と比較画像の変化領域を算出するものであり、放置物体自体を認識す
るわけではないため、同一の領域に複数の変化が生じた場合に変化を個別に判定ができない。例えば、一つの放置物体の手前に他の放置物体が置かれた場合にはそれぞれの放置物体を区別することができない。また、ある物体が盗難された後に、その物体が元々置かれていた領域に別の物体が放置された場合も盗難と放置を区別して検出することができない。

この問題を解決するため、放置物体を検出した際にその領域の画像データを登録しておき、入力画像内で取得した画像データと同領域とを比較することで放置物体の有無や変化を検出する手法が考えられる。ところが、人物の交通量の多い場合、放置物体とカメラ間を通過する移動物体のために、物体の参照できる画像データが減少するため、放置物体の判定に影響を与えることが考えられる。

本発明の目的は、前述の問題を解決するもので、放置や盗難等の監視領域の物体に生じる変化が同一の画像領域で生じた場合にも変化を個別に検出することを可能とする映像監視装置および画像処理方法を提供することにある。

上記課題を解決するために、本発明は、例えば請求項１に記載の構成を有する。

本発明によれば、カメラから入力される映像または記録映像から移動物体等の影響を受けることなく、監視領域の物体に生じる変化を個別に検出することが可能となる。

この盗難と放置物体の検出方法により、放置物体と盗難物体の記録，物体が放置または盗難された場合の発報機能，モニタ表示による監視員への注意喚起が可能な映像監視装置および画像処理方法を提供することが可能となる。

（実施例１）
以下に、本発明の一実施形態について図面を参照しながら説明する。図１は画像監視システムに適用した場合の全体構成であり、ハードウェアとしてはＣＰＵを備えた電子計算機システムにより構成され、それぞれの機能が実行されるようになっている。１台以上のＴＶカメラなどの撮像装置から得られる信号を映像として取得する映像取得部１０，映像取得部１０より得られた画像データを入力として画像認識処理により移動物体や放置物体を認識する画像認識部２０，画像認識部２０で算出した結果を用いて映像の記録制御や、記録映像の圧縮率や記録間隔を制御する記録制御部３０，映像取得部１０より得られた映像を記録制御部３０の命令により記録保持する記録媒体４０，画像認識部２０の結果を用いて警報などを発報する発報部５０，画像認識部２０の結果や記録媒体４０に保存された情報等をローカルエリアに設置された他の機器や、ネットワーク上の監視センタなどに転送する転送部６０，映像取得部１０で取得した映像および画像認識部２０で得られた結果や、記録媒体４０に保存された情報の表示を制御する表示制御部７０および情報を表示する表示装置８０で構成される。

映像取得部１０においてはリアルタイムのカメラからの画像データや、画像データが記録されている映像記録装置などから入力された映像信号から１次元配列もしくは２次元配列の画像データとして取得する。この画像データにおいては、ノイズやフリッカなどの影響を低減するために、前処理として平滑化フィルタや輪郭強調フィルタ，濃度変換などの処理を施してもよい。また、用途に応じてＲＧＢカラーやモノクロなどのデータ形式を選択してもよい。さらには、処理コスト低減のために、所定の大きさで画像データに縮小処理を施してもよい。

次に図２を用いて画像認識部２０の詳細について述べる。画像認識部２０は、映像取得部１０で取得した入力画像から画像認識処理の基準となる画像を生成する基準画像生成部２０１，基準画像生成部２０１で生成された画像を保存する基準画像管理部２０２，基準画像管理部２０２に保存された基準画像と映像取得部１０で取得した入力画像を所定の特徴量の比較演算により映像内の移動物体による変化を検出する動き検出部２０３，動き検出部２０３で検出した停止物体の情報を保存する停止物体管理部２０５，映像取得部１０で取得した入力画像および基準画像管理部２０２に保存した基準画像および停止物体管理部２０５に保存した停止物体画像を用いて放置物体を検出する放置物体検出部２０４，動き検出部２０３および放置物体検出部２０４の結果を統合し、記録制御部３０，発報部
５０，転送部６０および表示制御部７０に転送する認識結果統合部２０６により構成される。基準画像管理部２０２，停止物体管理部２０５に保存された情報は記録媒体４０に保存したり、表示制御部７０で表示することも可能である。

基準画像生成部２０１で生成される基準画像は、移動物体を含まずに時々刻々と変化する天候や照明条件などの環境変化に適応した画像が理想である。これは、移動物体を含む基準画像と入力画像を比較した場合、基準画像に含まれる移動物体が変化として検出される可能性があり、また環境変化に追従しなければ、基準画像と入力画像の照明変動による明るさの変化を検出してしまう場合があるためである。そのため本実施例では、基準画像生成部２０１では後述する動き検出部２０３の結果を利用し、一定期間に取得される画像から移動物体の影響を除去した画像を統計処理することで移動物体を含まない画像を再構成する手法を用いる。その他、基準画像は監視員による登録ができる。これにより、移動物体を含まず、環境変化に対応した基準画像を生成することが可能で、移動物体を精度よく検出することができる。基準画像生成部２０１で生成した基準画像は、時刻毎に所定の間隔で基準画像管理部２０２に保存する。

次に動き検出部２０３について述べる。ここでは、基準画像生成部２０１で予め算出し基準画像管理部２０２に保存されている基準画像と、映像取得部１０より得られる入力画像との比較処理を行う。ここで比較処理に用いる情報は、この入力画像の各画素で算出される、明度値やＲＧＢ値，ソーベルオペレータなどの微分フィルタによって算出されるエッジ強度や方向など任意のオペレータによって算出される特徴量、またはそれらを統合した特徴ベクトルを用いてよい。それぞれ特徴量によって環境変動に対するロバスト性や検出精度は異なり、状況に応じた特徴量の決定が必要であるが、本実施例では最も一般的である明度値を選択する。また、比較処理の方法として、画素単位での算出方法や注目画素周辺の局所領域で判定する方法，基準画像に対して、数フレームの入力画像によって時間軸方向に判定基準を拡張する方法が考えられるが、本実施例では、画素単位での差分演算による算出方法を選択する。

具体的な算出方法を以下に説明する。画像データを２次元配列とした場合、任意のｘ座標とｙ座標である画素位置ｐはｐ＝（ｘ，ｙ）と表現する。この画素位置ｐにおける基準画像の明度値をＢ_p 、入力画像の明度値をＩ_p と表す。ここで基準画像と入力画像との画素位置ｐにおける変化量Δ_p は、Δ_p ＝Ｂ_p−Ｉ_pで算出する。このΔ_p が所定のしきい値以上の場合、移動物体に含まれる画素であると判定する。この判定を画像全体に施せば、移動物体の領域を抽出することができる。

しかしながら画素単位ではノイズ等に反応する場合があり、移動物体の領域の過検出や虫食い状態が発生する場合があるため、抽出した画素の膨張収縮処理などにより、移動物体と判定した領域の整形処理を施す。

前述の動き検出処理では、物体が停止したか否かを判別することができない。物体が停止しても基準画像管理部２０２に保存された基準画像は、処理を行う現時刻に近いものから古いものまで保存されているため、最も近い画像と比較処理することで、物体の動きの有無を判定することが可能である。図３にその概略図を示す。画像３０１は基準画像、画像３０２は停止人物３０４を含む入力画像、画像３０３は移動人物３０５および停止人物３０６を含む現時刻の入力画像である。画像３０７から画像３０９は比較処理の結果である。通常の移動物体検出処理の結果は画像３０９であり、移動人物および停止人物ともに検出される。最も近い入力画像３０２と比較処理すれば、移動物体のみが抽出された画像３０８が得られる。以上の処理により、監視エリアに出現した移動や停止している物体を区別なく検出すること、および現時刻での物体の動きの移動と停止の判定が可能となる。基準となる時刻を選択すれば、その時刻での物体の移動と停止の判定を行うこともできる。

次に、本発明の最も根幹部分である放置物体検出部２０４について図４を用いて説明する。放置物体検出部２０４では、まず、動き検出部２０３の処理結果である移動・停止の判定を用いて放置物体判定手段４０２で物体の停止状態を判定し、所定の時間停止した物体を停止物体登録手段４０４により物体データを取得し停止物体保存部４０６に保存する。停止物体保存部４０６では停止物体の領域座標，画像データまたは画像データから得られた特徴量，停止開始時間，停止継続時間など所定のデータ構造で物体データとして保存され、記録制御部３０を通して記録媒体４０に保存することも可能である。この物体データは、停止物体選択手段４０５および停止物体取得手段４０３の要求に応じて出力される。また、基準画像取得手段４０１により基準画像管理部２０２に保存した基準画像を取得する。以上の停止物体データ，基準画像、さらに映像取得部１０より取得した入力画像を用いて、放置物体が存在するか否かの判定を放置物体判定手段４０２で行う。

放置物体判定手段４０２における処理の詳細について図５を用いて説明する。動き検出部２０３では停止物体と判定された領域から、停止物体データを取得している（Ｒ５２）。ここで、停止物体と同じ領域の画像データ（Ｒ５３）を入力画像から抽出する(Ｓ５１)。放置物体判定手段４０２では、停止物体データＲ５２と入力画像の画像データＲ５３の比較演算を行い、継続して物体が存在するか否かを判定する処理を考える。

画像の比較演算は、相関法やスペクトル解析などの画像の空間的な濃度分布の比較や、また、エッジや輪郭形状，テクスチャ，コーナー点などの幾何構造の比較、その他のオペレータにより算出した特徴比較によって類似度を算出し画像間の比較を行うことができる。このような比較演算は種々のパターンマッチング方法を適用可能であるが、ここでは最も簡単なＳＡＤ（Sum of Absolute Difference）を選択する。

ＳＡＤは、画素位置ｐにおける参照画像（ここでは放置物体データ）の明度値をＴ_p 、入力画像の明度値をＩ_p とする。ここで、画像データの全画素数がＭとすれば、類似度ＳはＳ＝Σ｜Ｔ_p−Ｉ_p｜／Ｍなどと算出できる。この類似度Ｓにより画像データの類似度を判定することができる。

放置物体とカメラ間に移動物体が出現した場合、入力画像から得られる停止物体の領域Ｒ５３の画像データに例外値が混入するため、ＳＡＤによる類似度が低下する。そのため、移動物体の影響を低減し物体の存在を判定する場合は動き検出部２０３により算出された動き領域の情報を利用して、動き領域に対してマスク処理を施すことで解決する。図６は参照画像と入力画像とをマスク処理した各画像を比較する例である。ここで、マスク処理とはあるデータの配列から一部分のデータを取り除く処理のことを意味する。

停止物体データＲ５２及び入力画像の画像データＲ５３それぞれにマスク処理をする。マスク処理以外の部分に対してＳＡＤを実行すれば、動き領域の影響では類似度は低下しない。

しかし、動き領域を除去することで、参照するデータ量が削減されるため類似度の信頼性が低下することが考えられ、放置物体は存在しても、類似度を固定しきい値で判定した場合ミスマッチングが発生する可能性がある。そのため、基準画像上で停止物体と同領域の画像データ（Ｒ５１）との比較演算も導入する。

前述の方法と同じように停止物体データ（Ｒ５２）と基準画像の画像データ（Ｒ５１）を取得し（Ｓ５１）、動き領域をマスク処理しＳＡＤにより類似度を算出する。停止物体データ（Ｒ５２）と基準画像の画像データ(Ｒ５１)の類似度は基準類似度算出手段５０１、入力画像とでは入力類似度算出手段５０２により算出する。この各類似度を類似度比較手段５０３で比較し、入力類似度の方が高かった場合に放置物体は存在すると判定し、逆に基準画像との類似度が高かった場合は放置物体が存在しないと判定する。

入力類似度の信頼性はマスク処理された停止物体データの面積で判定する。この面積が所定のしきい値よりも小さい場合は、参照可能なデータ量が少ないため、入力類似度の信頼性が低くなる。このような場合は基準画像とのパターンマッチング処理も実行し、類似度比較手段５０３により物体の存在を判定する。この処理により放置物体の存在判定の精度が向上する。また、マスク処理された停止物体データの面積が所定のしきい値よりも大きい場合は、入力類似度の信頼性は高いため、入力類似度により物体の存在を判定する。
この処理により、類似度比較手段５０３により物体の存在を判定する方法と比較して、放
置物体の存在判定の精度を保ったまま、演算コストを低減することができる。

次に表示装置８０で表示する出力例を図７に示す。放置物体と判定された領域を強調表示し、物体が複数ある場合は別の色で表示するなど区別する。また、移動物体が混在している場合は他の放置物体と区別して表示する。さらには、放置物体があるか否かのアラーム表示も出力することで、監視員などの注意を喚起することも可能である。また物体データ表示画面に遷移すれば、物体データの画像・放置継続時間・放置開始時間・物体領域の座標等を個別に確認できる。物体が放置された部分の画像を再生することや、逆に検索機能として指定した時刻付近の物体データを表示すること、さらに物体の確認作業が済めばそのデータを削除することもできる。

これまでは放置物体を検出することについて述べたが、監視対象の物体を含む画像を基準画像として設定することで、監視領域内の物体の盗難も検出することができる。監視領域内で物体が盗難されると、盗難された物体の領域の画像が変化するため、動き検出部
２０３で停止物体として判断される、さらに、この変化領域は移動することがないため、放置物体の検出と同様に物体の盗難についても検出することができる。

さらに、本実施例による画像処理方法によると、停止物体画像の画像データ自体と入力画像および基準画像との比較を行うので、停止物体に生じる変化を検出することができる。具体的には、停止物体の変形や破損などの停止物体画像の領域内で生じる変化を検出することが可能となる。

（実施例２）
実施例１の形態に、人物の顔や服装などの情報を取得する構成を追加した実施例について図８を用いて説明する。認識結果統合部２０６に動き検出部２０３での処理結果と放置物体検出部２０４での処理結果が集まる。それらの情報から人物情報検出部８００にて物体を放置した時刻の物体周辺の人物データの情報を抽出し、保存，転送または表示する機能を実現できる。具体的には、動き検出部２０３で動きと判定された領域に対して、顔検知処理，頭部検知処理，大きさの判定などから人物と判定された領域を抽出し、その情報映像は記録媒体４０などへ保存する。

実施例２の情報表示の一例を図９に示す。検出した放置物体のうち、指定した物体データに対してその放置時刻前後の人物データを、顔データや人物全体像などをサムネイル形式で表示することができる。

（実施例３）
実施例１で述べた本発明の放置物検知方法では、画像認識部２０へ入力する映像は記録媒体４０に既に記録済みの映像データを入力する構成にしてもよい。すなわち、記録済みの映像を検索する機能を実現することができる。その構成を図１０に示す。記録媒体４０と画像認識部２０との間に、検索制御部１０００を付加した。表示装置８０においてヒューマンインターフェースから検索する物体を指定する。本実施例では、放置物体検知をしない設定でシステムを運用していた場合に、事後で不審な放置物を確認した際にその物体の設置された映像を確認するために利用することを想定した。

図１１に物体の指定方法を示す。ＧＵＩにてマウスや機器付属の操作パネルから物体のエリアを左上始点，右下終点を指定することでエリア設定を行う。なお、領域を設定する場合には物体を詳細に設定することが必要なため、拡大表示した詳細なエリア設定画面をポップアップ表示することで対処する。

図１２に本実施例の処理方法について述べる。まず前述のように検索したい放置物体を指定する。次にユーザが正常時であった時刻や映像を指定する。例として図１２に示すような設定画面にするとよい。エリアの設定後は設定した画像データを図５における放置物体データＲ５１と置き換えた放置物体判定手段４０２と同様の処理により、現時刻の映像から過去に遡る方法で検出する。これらの処理により物体が存在するか否かを判定し物体がなくなった時刻、すなわち放置物体が設置される直前の映像を検索することが可能である。

実施例３の方法は、いくつかの応用事例が考えられる。ヒューマンインターフェースにて金庫や宝石などの重要物体を設定し、物体データを取得する。そして、この重要物体データと入力画像や基準画像との類似度を演算し、該物体が存在するか否かを判定することで重要物見張り機能を実現することができる。この場合、図５に示す入力類似度算出手段５０７で算出される類似度が所定のしきい値より低くなった場合を重要物の変化と捉えることで、重要物および指定物体への危害や盗難を精度良く検知するシステムを構築することが可能である。

さらに、図１３に示すように正常時指定の方法を応用して放置・盗難物体検知を有する監視システムを実現することができる。具体的にはユーザが基準となる基準画像とサーチ範囲を指定し、サーチ範囲内で時間経過方向若しくは逆方向に基準画像との比較を行い放置物体または盗難物体を確認することができる。

上記のような操作パネルから物体のエリアを指定し、指定した画像データを図５における放置物体データＲ５１と置き換えた放置物体判定手段４０２と同様の処理を行う画像処理方法は、実施例３のように記録済みの映像から検索する指定物体への危害や盗難を検出するだけではなく、実施例１のように入力画像から直接、指定物体への危害や盗難を検出することも可能である。

図１および図１０に記載の各実施例における転送部６０は、物体データの画像・放置継続時間・放置開始時間・物体領域の座標・人物データの情報等をネットワークを介して監視センタに転送する。そして、監視センタでは携帯電話等の携帯端末に必要な情報を送信し、または人物データを警戒人物として配信する。

本発明は、放置物体検出方法をコンピュータ上で実現させるためのプログラムを含むものである。

本発明の実施例の全体構成を示した図である。 本発明の実施例における画像認識部２０の説明図である。 本発明の実施例における動き判定の概念図である。 本発明の実施例における放置物体検出部２０４の詳細説明図である。 本発明の実施例における放置物体判定方法の説明図である。 本発明の実施例における放置物体判定方法のマスク処理についての概念図である。 本発明の実施例における放置物体データの表示方法の一例である。 本発明の実施例に人物情報検出部を付加した応用例についての説明図である。 本発明の実施例における物体情報に付随する人物情報の表示方法についての説明図である。 本発明の実施例における記録映像の検索方法についての構成である。 本発明の実施例における検索物体の設定画面の一例についての説明図である。 本発明の実施例における検索時の正常時の登録画面の表示についての一例である。 本発明の実施例における基準画像から放置物体と盗難物体を検知する方法についての概念図である。

符号の説明

１０ 映像取得部
２０ 画像認識部
３０ 記録制御部
４０ 記録媒体
５０ 発報部
６０ 転送部
７０ 表示制御部
８０ 表示装置
２０１ 基準画像生成部
２０２ 基準画像管理部
２０３ 動き検出部
２０４ 放置物体検出部
２０５ 停止物体管理部
２０６ 認識結果統合部
３０１ 基準画像
３０２ 入力画像
３０３ 現時刻の入力画像
３０４，３０６ 停止人物
３０５ 移動人物
３０７，３０８，３０９ 画像
４０１ 基準画像取得手段
４０２ 放置物体判定手段
４０３ 停止物体取得手段
４０４ 停止物体登録手段
４０５ 停止物体選択手段
４０６ 停止物体保存部
５０１ 基準類似度算出手段
５０２ 入力類似度算出手段
５０３ 類似度比較手段
８００ 人物情報検出部
１０００ 検索制御部

Claims (6)

1. 映像取得部により取得した入力画像から、監視領域の物体の変化を検出する映像監視装置および画像処理方法において、
   前記入力画像から画像認識処理の基準となる基準画像を生成する基準画像生成部と、
   前記入力画像と前記基準画像とを比較し出現物体を検出し、前記出現物体の動き状態を検出する動き検出部と、
   前記動き検出部より所定時間停止状態にある前記出現物体を停止物体とし、該停止物体の画像を保存する停止物体管理部と、
   前記停止物体が停止し続けているか否かを検出する放置物体検出部と、を有し、
   該放置物体検出部は、
   前記動き検出部により動き物体と判定された領域を、前記停止物体画像と前記入力画像とから除外した停止物体マスク画像と入力マスク画像とをそれぞれ生成するマスク処理手段と、
   前記停止物体マスク画像と前記入力マスク画像との第一の類似度を演算する第一の類似度演算手段と、
   前記マスク処理手段において、前記動き検出部により動き物体と判定された領域を、前記停止物体画像と前記基準画像とから除外した停止物体マスク画像と基準マスク画像とをそれぞれ生成し、前記停止物体マスク画像と前記基準マスク画像との第二の類似度を演算する第二の類似度演算手段と、
   前記第一の類似度演算手段と前記第二の類似度演算手段とにおけるそれぞれの類似度の比較結果に基づいて、前記監視領域の物体の変化を検出する比較結果統合部と、を備えることを特徴とする映像監視装置または画像処理方法。
2. 請求項１に記載の映像監視装置または画像処理方法において、
   前記動き検出部により動き物体と判定された領域の画像データ量が所定値より多い場合には、前記第一の類似度に基づいて前記監視領域の物体の変化を検出し、前記画像データ量が所定値より少ない場合には、前記第一の類似度演算手段と前記第二の類似度演算手段とにおけるそれぞれの類似度の比較結果に基づいて前記監視領域の物体の変化を検出することを特徴とする映像監視装置または画像処理方法。
3. 請求項１に記載の映像監視装置または画像処理方法において、
   前記比較結果統合部において、前記第一の類似度および前記第二の類似度のうち、前記第一の類似度のほうが高い場合には、前記監視領域に放置物体が存在すると判定し、前記第二の類似度のほうが高い場合には放置物体が存在しないと判定することを特徴とする映像監視装置または画像処理方法。
4. 請求項１〜３に記載のいずれかに記載の映像監視装置または画像処理方法において、
   前記停止物体が停止した時刻に、前記停止物体が停止した領域付近で出現する人物特徴を取得する人物情報検出部を有することを特徴とする映像監視装置または画像処理方法。
5. 請求項１〜４に記載のいずれかの映像監視装置または画像処理方法において、
   前記入力画像の変化を検出した時刻・前記入力画像・前記入力画像の変化を検出した後
   の前記入力画像領域の画像・前記入力画像の変化領域を示す座標・前記人物の画像の少な
   くとも一つ以上を表示する表示部を備えたことを特徴とする映像監視装置または画像処理方法。
6. 請求項５に記載の映像監視装置または画像処理方法を有する映像監視システムにおいて、
   前記表示部に表示する情報の少なくとも一つ以上をネットワークを介して接続された機
   器に転送する転送部と、
   前記転送部から転送される情報を受け取る前記機器と、を有することを特徴とする映像
   監視システム。

Images