JP4789223B2 - 侵入者監視システム - Google Patents
侵入者監視システム Download PDFInfo
- Publication number
- JP4789223B2 JP4789223B2 JP2000143551A JP2000143551A JP4789223B2 JP 4789223 B2 JP4789223 B2 JP 4789223B2 JP 2000143551 A JP2000143551 A JP 2000143551A JP 2000143551 A JP2000143551 A JP 2000143551A JP 4789223 B2 JP4789223 B2 JP 4789223B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- frame
- intruder
- region
- current frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、監視カメラ等により取得した撮影画像から、画像を解析し、侵入者（物）を検知することを可能とする侵入者監視システムの構成に関する。
【０００２】
【従来の技術】
侵入者監視システムは、一般にビルの室内や廊下、ホール等において設置された監視カメラから画像を取得し、デジタル解析処理を行うことで、侵入者（移動物体）の検知を可能とするものである。
【０００３】
解析処理の処理手順は、まず、侵入者のいない通常状態の撮影画像をリファレンスフレームとし、これに対して、逐次撮影され取得される画像をカレントフレームとし、このリファレンスフレームとカレントフレームの差分データを抽出する。この抽出された差分データは画像情報に変化が生じていることを意味するものであり、抽出された差分データに対して、予め与えられた固定しきい値により比較処理を行い、抽出された差分データの中から移動物体領域を取得する。
【０００４】
次に、連続するフレーム間において移動物体領域のマッピングを行う。マッピングは距離の近い移動物体領域を同一の対象物として関連づけることにより、移動物体領域の動作の解析を行うための前提処理であり、この関連付けられた移動物体領域が連続的に出現しているか否かを解析することで、侵入者の判定を行うようにしている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記移動物体領域の抽出処理において、侵入者と背景の輝度は必ずしも一定とは限らないので、しきい値を固定値としている場合には、最適な移動物体領域の取得が行えないという問題がある。
【０００６】
また、距離の近い移動物体領域同士をマッピングする方法では、移動物体領域の形状に凹凸や穴を多く含む場合には、適切なマッピングが行えないといった問題もある。
【０００７】
また、移動物体領域として抽出された画像データ（対象物）が、連続的（連続時間）に出現しているかどうかのみを判定する処理であれば、植物やカーテンの揺れ等を誤検知する傾向がある。
【０００８】
そこで、本発明は上記問題点に鑑み、移動物体領域の最適な取得と、精度の高い侵入者判定を可能とした侵入者監視システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、請求項１ないし請求項６に記載の発明が提供される。
【００１１】
請求項１記載の発明は、撮像手段によってフレーム単位で得られた画像に基づいて、前記撮像手段で撮像した空間範囲への侵入者を監視するシステムであって、前記撮像手段による撮像結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、前記カレントフレームの更新毎に、前記フレーム差分に応じて移動物体領域抽出用しきい値を決定するしきい値決定手段と、前記フレーム差分が前記移動物体領域抽出用しきい値を越える領域を移動物体領域と判定する移動物体判定手段と、前記移動物体領域の情報に基づいて侵入者の判定を行う侵入者判定手段と、を備え、前記侵入者判定手段が、前記リファレンスフレームにおける第１の移動物体領域と、前記カレントフレームにおける第２の移動物体領域とについて所定の種類の特性量を算出する特性量算出手段と、前記第１と第２の移動物体領域のそれぞれについての前記特性量の相互関係に基づいて、前記第１と第２の移動物体領域の対応関係を判定する対応関係判定手段と、を備え、前記特性量が、前記第１と第２の移動物体領域の相対距離と、前記第１と第２の移動物体領域のそれぞれの空間サイズの相対関係と、前記第１と第２の移動物体領域の光学的性質の相対関係と、を含み、前記対応関係判定手段が、前記相対距離と、前記空間サイズの相対関係と、前記光学的性質の相対関係とが、それぞれについて予め設定された所定条件を満足するか否かを判定することによって、相互に対応付けられる候補となる前記第１と第２の移動物体領域を求める手段と、前記候補として求められた前記第１と第２の移動物体領域について、前記相対距離と前記空間サイズの相対関係とに基づいて、類似度を算出する手段と、前記候補として求められた中から前記類似度が最大となる前記第１と第２の移動物体領域を相互に対応付ける手段と、を備えることを特徴とする。
【００１３】
また、請求項２記載の発明は、請求項１に記載の侵入者監視システムにおいて、さらに、過去の複数の連続フレームにおける共通の背景領域を抽出する手段と、前記複数の連続フレームに共通の背景領域以外の局所的画像情報を、各フレームにおける前記共通背景領域の画像情報を用いて正規化する手段と、前記正規化された共通の背景領域以外の画像情報の分散が所定の値より下回る場合に、前記カレントフレームを新たなリファレンスフレームとして更新する手段と、を備えることを特徴とする。
また、請求項３記載の発明は、撮像手段によってフレーム単位で得られた画像に基づいて、前記撮像手段で撮像した空間範囲への侵入者を監視するシステムであって、前記撮像手段による撮像結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、前記カレントフレームの更新毎に、前記フレーム差分に応じて移動物体領域抽出用しきい値を決定するしきい値決定手段と、前記フレーム差分が前記移動物体領域抽出用しきい値を越える領域を移動物体領域と判定する移動物体判定手段と、前記移動物体領域の情報に基づいて侵入者の判定を行う侵入者判定手段と、過去の複数の連続フレームにおける共通の背景領域を抽出する手段と、前記複数の連続フレームに共通の背景領域以外の局所的画像情報を、各フレームにおける前記共通背景領域の画像情報を用いて正規化する手段と、前記正規化された共通の背景領域以外の画像情報の分散が所定の値より下回る場合に、前記カレントフレームを新たなリファレンスフレームとして更新する手段と、を備えることを特徴とする。
また、請求項４記載の発明は、請求項３記載の侵入者監視システムにおいて、前記侵入者判定手段が、前記リファレンスフレームにおける第１の移動物体領域と、前記カレントフレームにおける第２の移動物体領域とについて所定の種類の特性量を算出する特性量算出手段と、前記第１と第２の移動物体領域のそれぞれについての前記特性量の相互関係に基づいて、前記第１と第２の移動物体領域の対応関係を判定する対応関係判定手段と、を備え、前記特性量が、前記第１と第２の移動物体領域の相対距離のほかに、少なくとも、前記第１と第２の移動物体領域のそれぞれの空間サイズの相対関係と、前記第１と第２の移動物体領域の光学的性質の相対関係と、のうちの一方を含むことを特徴とする。
また、請求項５記載の発明は、請求項１または請求項４とのうちのいずれかに記載の侵入者監視システムにおいて、前記侵入者判定手段が、さらに、前記対応関係判定手段によって、各移動物体領域の時間的連鎖を特定する連鎖特定手段と、前記時間的連鎖において、前記移動物体領域の移動の連続性と直進性とをパラメータとして、当該時間的連鎖が侵入者に相当するものであるか否かを判定するマルチパラメータ型判定手段と、を備えることを特徴とする。
また、請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載の侵入者監視システムにおいて、前記フレーム差分検出手段が、前記リファレンスフレームと前記カレントフレームとのそれぞれについて背景領域を検出する背景検出手段と、前記リファレンスフレームと前記カレントフレームとのそれぞれについて、それぞれの局所的画像情報を前記背景領域の画像情報の平均値を用いて正規化し、それによって正規化リファレンスフレームと正規化カレントフレームとを得る正規化手段と、前記正規化リファレンスフレームと前記正規化カレントフレームとの差分として前記フレーム差分を得る手段と、を備えることを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。この実施の形態のシステムは、屋内に取り付けられた固定監視カメラによってその屋内の状況を監視し、監視カメラで得られた画像データをデジタル処理することによって、侵入者などが発見されると、警報を出すシステムとして構成されている。なお、以下の説明においては、本発明に係る画像監視システムの処理手順を（１）移動物体領域の抽出処理、（２）移動物体領域のマッピング処理、（３）侵入判定処理、（４）リファレンス更新処理の４つの処理に分けて説明する。
【００１５】
図１９を用いて侵入者監視システムの全体概略構成について説明する。監視カメラ１によって撮影された画像（デジタル）情報は、インターフェース（Ｉ／Ｆ）を介して画像処理装置２（ＰＣ等で構成される）に取り込まれ、逐次メモリ４（ディスク）内に保存される。このうち侵入者がいないと判断されている状態の画像情報をリファレンスフレームとし、時々刻々取得される最新の画像情報をカレントフレームとする。各フレームの各部における局所的画像情報は、マトリクス配列されたそれぞれの画素における検出輝度を所定のデータ長のデジタル情報として保持している。また、リファレンスフレームの初期画像情報は既にメモリ４に記憶されているとして以下の説明を行う。そして、画像処理装置２はＭＰＵ３を具備しており、取り込まれた画像情報を解析し、通信Ｉ／Ｆ６・７を介して警報装置８に対して警報命令を発するよう構成している。
【００１６】
図１の全体フローチャートで示すように、まず、ステップｓ１において、メモリ４から初期リファレンスフレームｙ０（図１７（ａ）に示す）の読み込みを行うと共に、前処理を行う。前処理は、一般の画像処理において行われる画像平滑化操作であり、各フレームを複数のブロックに分割し、各ブロックに属する画素の輝度を当該ブロックに属する画素の輝度平均値で置き換えるなどの平滑化を行って雑音を除去する処理や、フレーム端の無効領域を省く等の処理である。このようにしてブロック単位で前処理されたリファレンスフレームｙ０をリファレンスフレームｙ０Ｂとする（図１７（ｃ）に示す）。
【００１７】
なお、このようなブロック化を行った後においても、各ブロックはフレームの各部の局所的画像情報を表現しており、局所エリアが画素単位から画素ブロック単位に変わっているだけである。
【００１８】
次に逐次更新されるカレントフレーム毎のループ処理を開始する。ループ処理内では、まず、ステップｓ２において、カレントフレームｙ１（図１７（ｂ）に示す）を監視カメラ１またはその撮像出力をバッファするメモリ領域から読込むとともに、同様の平滑化を含む前処理を行う。そして、このようにしてブロック単位で前処理されたカレントフレームｙ１をカレントフレームｙ１Ｂとする（図１７（ｄ）に示す）。この時点で前処理されたリファレンスフレームｙ０Ｂとカレントフレームｙ１Ｂが取得される。そして、次にステップｓ３を行う。
【００１９】
（１）移動物体領域の抽出処理
図２乃至図４を参照しながらステップｓ３について説明する。ステップｓ３は移動物体領域の抽出処理であり、図２に示すようにｓ３１〜ｓ３４よりなる処理であり、まず、ステップｓ３１（＝処理手順ｓＡ）において背景領域を求める。処理手順ｓＡは背景領域抽出フローであり、図３に示すように、まず、リファレンスフレームｙ０の画素（ピクセル）毎に、輝度が０であるかどうか（ｙ０＝＝０であるかどうか）の判定を行う（ステップｓＡ１）。ｙ０＝＝０である場合には、指標値Ｄｙに１．０をセットし（ステップｓＡ２）、ｙ０＝＝０でない場合には、ｙ１／ｙ０より求まる値を指標値Ｄｙにセットする（ステップｓＡ３）。したがって、この指標値Ｄｙは、同じ画素について、リファレンスフレームの画素値ｙ０に対するカレントフレームの画素値ｙ１の相対値を表現している。したがって、仮にカレントフレームの画素値ｙ１とリファレンスフレームの画素値ｙ０が同一であれば指標値Ｄｙは基準値「１」であり、指標値Ｄｙの基準値「１」からのずれが、当該画素につき、リファレンスフレームの輝度からのカレントフレームの輝度の統計的変動を表現していることになる。
【００２０】
次に、ステップｓＡ４において、ブロック毎（例えば１６×１６ピクセル等）に指標値Ｄｙの標準偏差ＳＤを求める。標準偏差ＳＤは各ブロック内の指標値Ｄｙのばらつき度合いを示すものであるので、標準偏差ＳＤの小さいブロックはリファレンスフレームｙ０に対してカレントフレームｙ１の画像情報の変化（輝度の変化）が小さいことを意味する。
【００２１】
次に別の指標値ＳＢに刻み値（本実施例においては０．００５）をセットし（ステップｓＡ５）、標準偏差ＳＤのヒストグラムを指標値ＳＢ刻みに０．０１から１．０まで作成し（ステップｓＡ６）、ヒストグラムの累積頻度を求める（ステップｓＡ７）。累積頻度が小さい方から例えば７０％を越えるインデックスを臨界インデックスｉｄｘにセットし（ステップｓＡ８）、臨界インデックスｉｄｘに指標値ＳＢ（０．００５）を乗算し、しきい値ＳＴを取得する（ステップｓＡ９）。これはフレームの全面積の７０％程度までが背景領域と考えられる経験に基づくもので、累積頻度が何％を越えるまでを背景領域と設定するかは環境により適宜変更すればよい。
【００２２】
そして、全てのブロックに対するループ処理において、ブロックの標準偏差ＳＤと，しきい値ＳＴとの比較処理を行い（ステップｓＡ１０）、標準偏差ＳＤがしきい値ＳＴを下回る場合には、当該ブロックを背景領域と判断し、ｂｋフラグに１をセットする（ステップｓＡ１１）。標準偏差ＳＤがしきい値ＳＴを上回る場合には、当該ブロックが背景領域でないと判断し、ｂｋフラグに０をセットする（ステップｓＡ１２）。以上の処理によりカレントフレームｙ１におけるブロック単位での背景領域が決定される。
【００２３】
再び処理手順ｓ３（図２）において、前記リファレンスフレームｙ０Ｂとカレントフレームｙ１Ｂを正規化し、そのフレーム差分Ｍｅを抽出する（ステップｓ３２（＝処理手順ｓＢ））。
【００２４】
処理手順ｓＢはフレーム差分算出フローであり、図４に示すように、リファレンスフレーム及びカレントフレームのそれぞれにつき、まず背景領域の平均値ｙ０ｍ、ｙ１ｍを求める（ステップｓＢ１）。平均値ｙ０ｍはリファレンスフレームｙ０の中で、前述した処理手順ｓＡにおいて背景領域（ｂｋフラグ＝１）と判断されたブロックにおける輝度の平均値であり、次式の数１で与えられる。ただし、式数１におけるＮはｂｋ［ｉ］＝１を満たすｉの個数である。なお、平均値ｙ１ｍは次式においてｙ０ｍをｙ１ｍ、ｙ０Ｂをｙ１Ｂに置き換えたものとなる。
【００２５】
【数１】
【００２６】
次に、リファレンスフレームｙ０Ｂをブロック毎に平均値ｙ０ｍで除算することにより正規化し、カレントフレームｙ１Ｂをブロック毎に平均値ｙ１ｍで除算することにより正規化し、次式の数２で与えられる差分の絶対値であるフレーム差分Ｍｅを求める（ステップｓＢ２）。数２中のパラメータｋは、リファレンスフレームｙ０Ｂとカレントフレームｙ１Ｂの全てのブロックに対してフレーム差分Ｍｅを算出することを意味する。図１８（ａ）はフレーム差分Ｍｅで表現された画像である。
【００２７】
【数２】
【００２８】
再び処理手順ｓ３において、マスク抽出用しきい値ＴＨを求める（ステップｓ３３（＝処理手順ｓＣ））。
【００２９】
処理手順ｓＣはマスク抽出用しきい値決定フローであり、図５のフローチャートに示すように、フレーム差分Ｍｅのヒストグラムを作成し（ステップｓＣ１）、累積頻度を算出する（ステップｓＣ２）。次に、累積頻度の何％程度を移動物体領域として抽出するかの指標である固定のしきい値Ｔｆでフィルタリングを行い（ステップｓＣ３）、マスク抽出用しきい値ＴＨを得る（ステップｓＣ４）。
【００３０】
つまり、フレーム差分Ｍｅの小さな値、つまり輝度変動が小さなブロックからブロック数をカウントしていった累積頻度分布のカーブにおいて、その傾斜（累積頻度分布に微分フィルタを施したもの）が当該固定しきい値Ｔｆに到達するようなフレーム差分Ｍｅの値を、マスク抽出用しきい値ＴＨとする。
【００３１】
再び、処理手順ｓ３（図２）において、前述した処理手順ｓＢで求めたブロック毎のフレーム差分Ｍｅと、処理手順ｓＣで求めたマスク抽出用しきい値ＴＨを比較し、フレーム差分Ｍｅがマスク抽出用しきい値ＴＨを上回るブロックを移動物体領域（以下、適宜マスクと称す）と判断する。図１８（ｂ）は抽出されたマスクを示す画像情報である。
【００３２】
このように、処理手順ｓＡで説明した背景領域を抽出する手段と、処理手順ｓＢで説明したフレーム差分を算出する手段と、フレーム差分のうち、マスク抽出用しきい値を越える領域を移動物体領域と判定するシステムにおいて、マスク抽出用しきい値は、リファレンスフレームとカレントフレームの輝度差分に応じて決定する、つまり、処理手順ｓＣで説明したように、フレーム差分Ｍｅのヒストグラムから、逐次マスク抽出用しきい値ＴＨを決定するようにしているので、侵入者や背景の輝度の変化に影響を受けず、移動物体領域の抽出を従来に比べて確実に行うことが可能となった。
【００３３】
また、処理手順ｓＢで説明したように、正規化はリファレンスフレームとカレントフレームのブロック毎の輝度を背景領域の輝度平均値で除算する処理としたので、従来のようにフレーム全体ではなく、背景領域のみの輝度平均値で正規化を行うため、蛍光灯のフリッカ、日照条件の変化等の輝度変化に影響を受けず、移動物体領域の安定した抽出処理を可能とした。
【００３４】
以上の移動物体領域の抽出処理についてデータを処理する機能の側面から表したものを図６に示す。
【００３５】
（２）移動物体領域のマッピング処理
全体フローチャートにおいて、次に移動物体領域のマッピング処理（ステップｓ４）を行う。マッピング処理とは、侵入者が動いた軌跡を得るため、カレントフレームｙ１のマスクと過去のマスクとの対応をとる処理であり、図７に示すように、マスク同士の距離、面積比、輝度比をもとに評価される。
【００３６】
図８（ａ）は１フレーム前のマスク、図８（ｂ）はカレントフレームのマスクを示す一例であり、１フレーム前にはＡ１・Ａ３の２つのマスク、カレントフレームにはＢ１・Ｂ２・Ｂ３の３つのマスクが存在している。
【００３７】
図９（ａ）及び（ｂ）は、それぞれ１フレーム前のマスクＡｊ（ｊ＝１，２，・・・）及びカレントフレームのマスクＢｉ（ｉ＝１，２，・・・）の属性を表したデータベースであり、それぞれのマスクＡｊ、Ｂｉに対して、中心座標、面積、輝度の属性を持たせている。このデータベースはメモリ４の中に更新可能に記憶されている。各マスクに対してこのような属性を持たせた上で、図１０に示すフローチャートを用いてステップｓ４（移動物体領域のマッピング処理）を説明する。
【００３８】
マッピング処理は、１フレーム前の各マスクＡｊに対してそれぞれループ処理され、さらに、各マスクＡｊに対して、カレントフレームの各マスクＢｉの総当たりのループ処理を行う。まず、ステップｓ４１において、１フレーム前のマスクＡｊとカレントフレームのマスクＢｉとの間の距離Ｄｉｓ、面積比Ａｒａ、輝度比Ｙｒａを求める。距離Ｄｉｓは、マスクＡｊ・Ｂｉの中心（重心）座標Ａｊ＿ｃ、Ｂｉ＿ｃ間の通常の距離であり、面積比Ａｒａは、マスクＡｊ・Ｂｉの面積Ａｊ＿ａ、Ｂｉ＿ａのうち、小なるものを大なるもので除した値（比）であり、輝度比Ｙｒａは、マスクＡｊ・Ｂｉの輝度Ａｊ＿ｙ、Ｂｉ＿ｙのうち、小なるものを大なるもので除した値（比）である。
【００３９】
次に、ステップｓ４２において、ステップｓ４１で求めた距離Ｄｉｓ、面積比Ａｒａ、輝度比Ｙｒａについて判定処理を行う。本実施形態では、Ａｒａ≧０．１、かつ、Ｄｉｓ≦ＤＬ、かつ、Ｙｒａ＞０．５を満たす場合、つまり、マスク間の距離が予め設定された値ＤＬより小さく、面積比Ａｒａが０．１以上で、輝度比Ｙｒａが０．５以上である場合に、マスクＡｊとマスクＢｉとが相互に関連付けられる候補として、フラグｆｇ（ｉ，ｊ）に１をセットする（ステップｓ４３）。一方、上記条件を満たさない場合には、マスク同士は関連がないと判断し、フラグｆｇ（ｉ，ｊ）に０をセットする（ステップｓ４４）。
【００４０】
なお、上記面積比Ａｒａ及び輝度比Ｙｒａの下限値は、本実施形態ではそれぞれ０．１及び０．５としているが、この設定値は特に限定されるものではなく、最適なマッピング（関連付け）が行える値に適宜変更されるものである。
【００４１】
次に、ステップｓ４５において、マスクＡｊとマスクＢｉの類似度Ｆ（ｉ，ｊ）を求める。類似度Ｆ（ｉ，ｊ）は、マスクＡｊ，Ｂｉ間の距離及び面積比から算出されるもので、距離が近く、面積比が大きい程類似度Ｆが大きくなる。そして、類似度Ｆが大きいほど、マスクＡｊ，Ｂｉの関連性が強いことを意味する。一般的には、距離については減少関数であり、かつ面積比については増加関数となっているような類似度関数を使用することができる。
【００４２】
以上のステップｓ４１〜ｓ４５までの処理を全てのカレントマスクＢｉに対して処理した後、フラグｆｇ（ｉ，ｊ）に１がセットされたｉに対して、即ち、ステップｓ４２において距離、面積比、輝度比からマッピングの候補に上げられたマスクの中で、類似度Ｆが最大となるマスクＢｉを、マスクＡｊが移動した後のマスクとしてマッピングする（ステップｓ４６）。
【００４３】
このようなマッピング処理を行うことで、従来に比べて最適なマッピング処理が行える。つまり、従来は距離の近いマスク同士をマッピングするという単純な処理を行っていたため、マスクに凹凸や穴を多数含む場合には、マスクの凹凸や穴の相対的な動きによってマスクの中心位置が変動するために、移動前後のマスクの中心間距離の信頼性が低くなり、誤認識をする可能性があった。また、距離だけをパラメータとしている場合、複数のマスクが隣接して存在する状態においてマッピングを行うのは困難となる。そこで、本発明は独立した３つのパラメータ（距離、面積比、輝度比）を用いることで、定量的、且つ、精度の高いマッピング処理を可能としているのである。
【００４４】
ここにおいて、面積比はマスクの空間的サイズを表現する特性量の１態様であり、輝度比はマスクの光学的性質（光の反射率など）を表現する特性量の１態様であるため、一般的には、マスク間の距離のほかに、マスク間の空間サイズの類似度と、光学的性質の類似度とを考慮してマスクのマッピングを行っていることになる。
【００４５】
そして、このようにマッピングされたマスクに対してはマッピングされた過去のマスクと同一の番号を振る。番号が振られ、移動物体と認識された対象をラベルと呼ぶ。図１８（ｃ）は１フレーム前のラベルを示し、図１８（ｄ）はマッピング後のマスクを示しており、同一の番号が振られたマスクに対しては同一の輝度で表示している。
【００４６】
（３）侵入判定処理
全体フローチャートのステップｓ４において移動物体領域（マスク）に番号を付与してラベルを生成した後、ステップｓ５においてフレーム内にラベルが存在するか否かの判定を行う。ラベルが１つでも存在する、つまり過去のマスクと関連付けされ（マッピングされ）たマスクが存在する場合には、ステップｓ６において各ラベルの重心計算及び軌跡を求め、過去の軌跡に相当する時間的連鎖を基に進入判定を行う。
【００４７】
進入判定は図１１に示すように、マスクの移動ベクトルの直進性と、移動ベクトルの連続数により判定される。この判定処理について図１２のフローチャートを用いて説明する。まず、ステップｓ６１（＝処理手順ｓＤ）において、進入判定の為のパラメータであるＤｍ（移動物体の直進性を示す）、Ｌｍ（同じく移動物体の直進性を示す）、ｌｅｎ（過去数秒間でのラベルの連続数を示す）を計算する。
【００４８】
パラメータ計算フロー（処理手順ｓＤ）を図１３に示す。まず、ステップｓＤ１において、予め設定された時間幅（例えば３秒間）における過去のラベルの連続数を求め連続数ｌｅｎにセットする。ラベルの連続数とは、同一の番号が振られたマスク、つまり同一のラベルが過去の連続したフレームで出現している回数である。
【００４９】
次に、ステップｓＤ２において動きベクトルＶｉ及び動きベクトルの差分ベクトルＤｉを求める。動きベクトルＶｉは図１４に示すように、過去の連続したラベルの重心座標Ｃｎ（ｎ＝１，２，，）を結ぶベクトルである（図１８（ｅ）にラベルの軌跡を示す）。
【００５０】
次に、ステップｓＤ３において、動きベクトルＶｉの絶対値の平均値ＶＡ（つまり、各マスクの重心間の平均距離）を求める。そして、平均値ＶＡと所定の基準値Ｅｐの比較処理（ステップｓＤ４）を行う。基準値Ｅｐはパラメータ計算を行う前段階で、隣接するフレーム間での移動量が平均的に小さなマスクに対しては、計算処理をキャンセルさせるためのものであり、平均値ＶＡが基準値Ｅｐを下回る場合には、そのマスクは著しく低速で動いているものに相当するため、侵入者との判断から除外する。
【００５１】
平均値ＶＡが基準値Ｅｐより大きい場合には、ステップｓＤ５において、次のような判定処理を行う。動きベクトルＶｉ（ｉ＝１，２，・・・）のうち、絶対値の最大のものをｍａｘ（｜ｖｉ｜）で表せば、最大絶対値の０．１倍よりも絶対値の小さいベクトルを｜Ｖｉ｜＜ｍａｘ（｜Ｖｉ｜）×０．１で表すことができ、このような条件を満たす動きベクトルＶｉの数が、全ての動きベクトルの数（ｌｅｎ−１）の例えば５０％より少ないか否かの判定を行う。
【００５２】
この判定は、隣接フレーム間の最大の動き量と比較して、細かい動きをしているベクトルがかなり多い場合に、ラベルを侵入者判定から除外するためのものであり、風に揺れる植物やカーテンのように、比較的速い動きがある一方で低速度の動きが多頻度で生じており、速度分布内における低速度側への偏りが顕著な物体を誤検知するのを防ぐ処理である。
【００５３】
そして、この条件を満たす場合、指標値Ｄｍ，Ｌｍの算出を行う（ステップｓＤ６）。指標値Ｄｍは差分ベクトルＤｉをステップｓＤ３で求めた動きベクトルの絶対値の平均値ＶＡで正規化したもののうち、１．０よりも小さいものの数を、全ての差分ベクトルの数（ｌｅｎ−２）で除算した値であり、Ｌｍは軌跡の始点から終点までの距離ＶＬを、動きベクトルＶｉの絶対値の総和で除算した値である。
【００５４】
以上のように定義された指標値Ｄｍは、差分ベクトルＤｉのうち、絶対値の小さいベクトルが占める割合に基づいており、速度の変動が大きい程小さく、等速度で一定方向に動く程大きな値を持つ。一方、指標値Ｌｍは動きベクトルＶｉの大きさに基づいており、直進する程大きな値を持つ。
【００５５】
そして、図１２に示すステップｓ６２において、侵入判定を行う。具体的には上記ステップｓ６１で求めた指標値Ｄｍ，Ｌｍ及び連続数ｌｅｎを用いて、指標値Ｄｍ，Ｌｍと固定しきい値との比較処理を行い、条件を満たせば（例えばＤｍ≧０．５、かつ、Ｌｍ≧０．５）直進性が高いと判断でき、かつ、同一ラベルの過去の連続数ｌｅｎが一定数ならば、侵入判定条件を満たしていると判定し、ＡＬＡＲＭフラグに１をセットする（ステップｓ６３）。条件を満たさない場合には、ＡＬＡＲＭフラグに０をセットする（ステップｓ６４）。
【００５６】
以上の侵入判定処理終了後、基本フローチャートのステップｓ７において、アラームを出力するか否かの判定、つまり、ＡＬＡＲＭフラグに１がセットされているかの判定を行い、ＡＬＡＲＭフラグ＝１であれば、アラームを出力する（ステップｓ８）。
【００５７】
このように本実施形態においては、移動物体領域の連続性に加えて、細動の非混在性（ステップｓＤ５の判定）、等速度性（Ｄｍ判定）、および直進性（Ｌｍ判定）をパラメータとして侵入判定を行うので、誤検知を防止して精度の高い侵入者判定を行うことを可能としている。特に、従来は植物やカーテンの揺れ等を誤検知する傾向にあったが、本アルゴリズムによればランダムな動きをして、直進性のない移動物体領域を侵入者とは判断しないので、侵入者判定の精度向上が図れた。
【００５８】
ＡＬＡＲＭフラグ＝０であれば、侵入者が存在しない正常な状態であり、次にリファレンス更新処理に移行する。
【００５９】
（４）リファレンス更新処理
監視カメラから入力されるフレームは日照変化等の影響を受ける為、常に一定の輝度とは限らない。従って環境の変化に応じて適時リファレンスフレームを更新することによって、上述した移動物体領域抽出処理をさらに適切に行うことができる。また、リファレンスフレームとカレントフレームのフレーム差分に基づいて輝度変化を検知する方法では、リファレンスフレームは侵入者を含まない背景画像のみからなると仮定している。そこで、侵入者を含まないフレームを安定して判別し、リファレンスフレームを更新することが望ましい。
【００６０】
図１５にリファレンス更新処理フローを示す。まず、移動物体領域（マスク）の抽出処理がされたカレントフレームを含む過去のＭ枚のフレームを取得する（ステップｓ９１）。ただし、数Ｍは２以上の所定の整数である。次に、図１６（ａ）にも示すように、取得したＭ枚のフレームから共通の背景領域を抽出する（ステップｓ９２）。
【００６１】
ここにおいて、共通の背景領域とは、Ｍ枚のフレームのそれぞれの背景領域の論理積に相当する領域であり、Ｍ枚のフレームのいずれにおいても背景領域に属する領域である。
【００６２】
そして、前述した正規化処理（図４で示したステップｓＢ２）と同様に、図１６（ｂ）に示すように、Ｍ枚のフレームをそれぞれ背景領域の輝度平均値ｙ１ｍ、ｙ２ｍ、・・・、ｙＭｍで割って正規化処理（ステップｓ９３）を行う。
【００６３】
次に、図１６（ｃ）で示すように、時間方向に、ブロック毎の輝度分散の計算処理を行う。つまり、ステップｓ９３で正規化された共通背景以外の領域において、過去の連続するＭ枚のフレーム間において、同一のブロックの集合に対して輝度分散を求めるのである（ステップｓ９４）。共通背景領域は他の領域に対して変動が小さく、分散値も小さいと考えられるので計算を省略できる。
【００６４】
そして、共通ブロック（共通背景以外の領域に属する各ブロック）の輝度分散に固定しきい値を上回る分散値がなければ、変動のないフレームが連続していると判断して（ステップｓ９５）、カレントフレームによってリファレンスフレームを置き換え、リファレンス更新処理を行う（全体フローチャートステップｓ１０）。
【００６５】
このように、過去の複数枚のフレームにおける共通背景領域の輝度平均値で正規化を行うため、侵入者がいないにも関わらず輝度変化が生じているためにリファレンスフレームの更新がされないといった問題を解決でき、侵入者を含まないフレームを安定して判別し、リファレンスフレームを更新することが可能となった。また、共通背景以外の領域のみにおいて時間方向の輝度分散を求めるため、全領域を対象とする場合よりも計算量を削減できるのである。
【００６６】
なお、画像情報としては輝度のほかに、特定のカラー成分の大きさなど、他の情報を利用することもできる。
【００６７】
また、マスクのマッピングを行うにあたって、リファレンスフレームとカレントフレームとのそれぞれの移動物体領域につき、相対距離のほかに、空間サイズの相対関係と光学的性質の相対関係とのうちの一方を含めるだけでも従来より適切なマッピングを行うことができる。
【００６８】
移動物体領域が侵入者か否かを判定するにあたって、その移動の連続性のほか、その移動の速度分布内における低速度側への偏りの程度、等速度性および直進性のうちの少なくともひとつを含めるだけでも、従来より適切な侵入者判定が可能である。
【００６９】
【発明の効果】
以上説明したように、請求項１，３記載の発明は、撮像手段によってフレーム単位で得られた画像に基づいて、前記撮像手段で撮像した空間範囲への侵入者を監視するシステムであって、前記撮像手段による撮像結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、前記カレントフレームの更新毎に、前記フレーム差分に応じて移動物体領域抽出用しきい値を決定するしきい値決定手段と、前記フレーム差分が前記移動物体領域抽出用しきい値を越える領域を移動物体領域と判定する移動物体判定手段と、前記移動物体領域の情報に基づいて侵入者の判定を行う侵入者判定手段とを備えるので、侵入者や背景の輝度の変化に影響を受けず、移動物体領域の抽出を確実に行うことが可能となる。
【００７０】
また、請求項６記載の発明は、前記フレーム差分検出手段が、前記リファレンスフレームと前記カレントフレームとのそれぞれについて背景領域を検出する背景検出手段と、前記リファレンスフレームと前記カレントフレームとのそれぞれについて、それぞれの局所的画像情報を前記背景領域の画像情報の平均値を用いて正規化し、それによって正規化リファレンスフレームと正規化カレントフレームとを得る正規化手段と、前記正規化リファレンスフレームと前記正規化カレントフレームとの差分として前記フレーム差分を得る手段とを備えるので、蛍光灯のフリッカ、日照条件の変化等の輝度変化により影響を受けずに移動物体領域の抽出を行うことが可能となる。
【００７１】
また、請求項１，４記載の発明は、前記侵入者判定手段が、前記リファレンスフレームにおける第１の移動物体領域と、前記カレントフレームにおける第２の移動物体領域とについて所定の種類の特性量を算出する特性量算出手段と、前記第１と第２の移動物体領域のそれぞれについての前記特性量の相互関係に基づいて、前記第１と第２の移動物体領域の対応関係を判定する対応関係判定手段とを備え、前記特性量が、前記第１と第２の移動物体領域の相対距離のほかに、少なくとも、前記第１と第２の移動物体領域のそれぞれの空間サイズの相対関係と、前記第１と第２の移動物体領域の光学的性質の相対関係とのうちの一方を含むので、定量的、且つ、精度の高いマッピング処理が可能となる。
【００７２】
また、請求項５記載の発明は、前記侵入者判定手段が、さらに、前記対応関係判定手段によって、各移動物体領域の時間的連鎖を特定する連鎖特定手段と、前記時間的連鎖において、前記移動物体領域の移動の連続性と直進性とをパラメータとして、当該時間的連鎖が侵入者に相当するものであるか否かを判定するマルチパラメータ型判定手段とを備えるので、誤検知を防止して精度の高い侵入者判定を行うことを可能としている。特に、従来は植物やカーテンの揺れ等を誤検知する傾向にあったが、本アルゴリズムによればランダムな動きをして、直進性のない移動物体領域を侵入者とは判断しないので、侵入者判定の精度向上が図れる。
【００７３】
また、請求項２，３記載の発明は、過去の複数の連続フレームにおける共通の背景領域を抽出する手段と、前記複数の連続フレームに共通の背景領域以外の局所的画像情報を、各フレームにおける前記共通背景領域の画像情報を用いて正規化する手段と、正規化された共通の背景領域以外の画像情報の分散が所定の値より下回る場合に、前記カレントフレームを新たなリファレンスフレームとして更新する手段と、を備えるので、侵入者がいないにも関わらず輝度変化が生じているためにリファレンスフレームの更新がされないといった問題を解決できた。また、侵入者を含まないフレームを安定して判別し、リファレンスフレームを更新することが可能となった。さらに、共通背景領域のみにおいて時間方向の輝度分散を求めるため、全領域を対象とする場合よりも計算量を削減でき処理の効率化が図れる。
【図面の簡単な説明】
【図１】本発明に係る侵入者監視システムの全体フローチャートである。
【図２】移動物体領域の抽出処理フローを示す図である。
【図３】背景領域の抽出処理フローを示す図である。
【図４】フレーム差分抽出処理フローを示す図である。
【図５】マスク抽出用しきい値決定フローを示す図である。
【図６】入力データであるリファレンスフレームとカレントフレームに対して移動物体領域が抽出されるまでに作用する手段を表す図である。
【図７】移動物体領域のマッピングに用いられる要素を示す図である。
【図８】（ａ）は１フレーム前のマスク、（ｂ）はカレントフレームのマスクを示す一実施例図である。
【図９】（ａ）は１フレーム前のマスクの属性データ、（ｂ）はカレントフレームのマスクの属性を示す図である。
【図１０】マッピング処理フローを示す図である。
【図１１】侵入判定処理に用いられる要素を示す図である。
【図１２】侵入判定処理フローを示す図である。
【図１３】パラメータ計算フローを示す図である。
【図１４】過去連続フレームにおけるマスクの移動状態を示す図である。
【図１５】リファレンス更新判定処理フローを示す図である。
【図１６】リファレンス更新判定処理において、共通の背景領域に対して行われる画像処理を示す図である。
【図１７】本発明に係る侵入監視システムにおいて、入力されたリファレンスフレームとカレントフレームの画像及び前処理後の状態を示す図である。
【図１８】本発明に係る侵入監視システムにおいて生成されるフレーム差分、移動物体領域等を示す図である。
【図１９】侵入者監視システムの全体図である。
【符号の説明】
Ｍｅ フレーム差分
ＴＨ マスク抽出用しきい値
ｙ０ リファレンスフレーム
ｙ０Ｂ リファレンスフレームのブロック単位での輝度
ｙ１ カレントフレーム
ｙ１Ｂ カレントフレームのブロック単位での輝度
【発明の属する技術分野】
本発明は、監視カメラ等により取得した撮影画像から、画像を解析し、侵入者（物）を検知することを可能とする侵入者監視システムの構成に関する。
【０００２】
【従来の技術】
侵入者監視システムは、一般にビルの室内や廊下、ホール等において設置された監視カメラから画像を取得し、デジタル解析処理を行うことで、侵入者（移動物体）の検知を可能とするものである。
【０００３】
解析処理の処理手順は、まず、侵入者のいない通常状態の撮影画像をリファレンスフレームとし、これに対して、逐次撮影され取得される画像をカレントフレームとし、このリファレンスフレームとカレントフレームの差分データを抽出する。この抽出された差分データは画像情報に変化が生じていることを意味するものであり、抽出された差分データに対して、予め与えられた固定しきい値により比較処理を行い、抽出された差分データの中から移動物体領域を取得する。
【０００４】
次に、連続するフレーム間において移動物体領域のマッピングを行う。マッピングは距離の近い移動物体領域を同一の対象物として関連づけることにより、移動物体領域の動作の解析を行うための前提処理であり、この関連付けられた移動物体領域が連続的に出現しているか否かを解析することで、侵入者の判定を行うようにしている。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記移動物体領域の抽出処理において、侵入者と背景の輝度は必ずしも一定とは限らないので、しきい値を固定値としている場合には、最適な移動物体領域の取得が行えないという問題がある。
【０００６】
また、距離の近い移動物体領域同士をマッピングする方法では、移動物体領域の形状に凹凸や穴を多く含む場合には、適切なマッピングが行えないといった問題もある。
【０００７】
また、移動物体領域として抽出された画像データ（対象物）が、連続的（連続時間）に出現しているかどうかのみを判定する処理であれば、植物やカーテンの揺れ等を誤検知する傾向がある。
【０００８】
そこで、本発明は上記問題点に鑑み、移動物体領域の最適な取得と、精度の高い侵入者判定を可能とした侵入者監視システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、請求項１ないし請求項６に記載の発明が提供される。
【００１１】
請求項１記載の発明は、撮像手段によってフレーム単位で得られた画像に基づいて、前記撮像手段で撮像した空間範囲への侵入者を監視するシステムであって、前記撮像手段による撮像結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、前記カレントフレームの更新毎に、前記フレーム差分に応じて移動物体領域抽出用しきい値を決定するしきい値決定手段と、前記フレーム差分が前記移動物体領域抽出用しきい値を越える領域を移動物体領域と判定する移動物体判定手段と、前記移動物体領域の情報に基づいて侵入者の判定を行う侵入者判定手段と、を備え、前記侵入者判定手段が、前記リファレンスフレームにおける第１の移動物体領域と、前記カレントフレームにおける第２の移動物体領域とについて所定の種類の特性量を算出する特性量算出手段と、前記第１と第２の移動物体領域のそれぞれについての前記特性量の相互関係に基づいて、前記第１と第２の移動物体領域の対応関係を判定する対応関係判定手段と、を備え、前記特性量が、前記第１と第２の移動物体領域の相対距離と、前記第１と第２の移動物体領域のそれぞれの空間サイズの相対関係と、前記第１と第２の移動物体領域の光学的性質の相対関係と、を含み、前記対応関係判定手段が、前記相対距離と、前記空間サイズの相対関係と、前記光学的性質の相対関係とが、それぞれについて予め設定された所定条件を満足するか否かを判定することによって、相互に対応付けられる候補となる前記第１と第２の移動物体領域を求める手段と、前記候補として求められた前記第１と第２の移動物体領域について、前記相対距離と前記空間サイズの相対関係とに基づいて、類似度を算出する手段と、前記候補として求められた中から前記類似度が最大となる前記第１と第２の移動物体領域を相互に対応付ける手段と、を備えることを特徴とする。
【００１３】
また、請求項２記載の発明は、請求項１に記載の侵入者監視システムにおいて、さらに、過去の複数の連続フレームにおける共通の背景領域を抽出する手段と、前記複数の連続フレームに共通の背景領域以外の局所的画像情報を、各フレームにおける前記共通背景領域の画像情報を用いて正規化する手段と、前記正規化された共通の背景領域以外の画像情報の分散が所定の値より下回る場合に、前記カレントフレームを新たなリファレンスフレームとして更新する手段と、を備えることを特徴とする。
また、請求項３記載の発明は、撮像手段によってフレーム単位で得られた画像に基づいて、前記撮像手段で撮像した空間範囲への侵入者を監視するシステムであって、前記撮像手段による撮像結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、前記カレントフレームの更新毎に、前記フレーム差分に応じて移動物体領域抽出用しきい値を決定するしきい値決定手段と、前記フレーム差分が前記移動物体領域抽出用しきい値を越える領域を移動物体領域と判定する移動物体判定手段と、前記移動物体領域の情報に基づいて侵入者の判定を行う侵入者判定手段と、過去の複数の連続フレームにおける共通の背景領域を抽出する手段と、前記複数の連続フレームに共通の背景領域以外の局所的画像情報を、各フレームにおける前記共通背景領域の画像情報を用いて正規化する手段と、前記正規化された共通の背景領域以外の画像情報の分散が所定の値より下回る場合に、前記カレントフレームを新たなリファレンスフレームとして更新する手段と、を備えることを特徴とする。
また、請求項４記載の発明は、請求項３記載の侵入者監視システムにおいて、前記侵入者判定手段が、前記リファレンスフレームにおける第１の移動物体領域と、前記カレントフレームにおける第２の移動物体領域とについて所定の種類の特性量を算出する特性量算出手段と、前記第１と第２の移動物体領域のそれぞれについての前記特性量の相互関係に基づいて、前記第１と第２の移動物体領域の対応関係を判定する対応関係判定手段と、を備え、前記特性量が、前記第１と第２の移動物体領域の相対距離のほかに、少なくとも、前記第１と第２の移動物体領域のそれぞれの空間サイズの相対関係と、前記第１と第２の移動物体領域の光学的性質の相対関係と、のうちの一方を含むことを特徴とする。
また、請求項５記載の発明は、請求項１または請求項４とのうちのいずれかに記載の侵入者監視システムにおいて、前記侵入者判定手段が、さらに、前記対応関係判定手段によって、各移動物体領域の時間的連鎖を特定する連鎖特定手段と、前記時間的連鎖において、前記移動物体領域の移動の連続性と直進性とをパラメータとして、当該時間的連鎖が侵入者に相当するものであるか否かを判定するマルチパラメータ型判定手段と、を備えることを特徴とする。
また、請求項６記載の発明は、請求項１ないし請求項５のいずれかに記載の侵入者監視システムにおいて、前記フレーム差分検出手段が、前記リファレンスフレームと前記カレントフレームとのそれぞれについて背景領域を検出する背景検出手段と、前記リファレンスフレームと前記カレントフレームとのそれぞれについて、それぞれの局所的画像情報を前記背景領域の画像情報の平均値を用いて正規化し、それによって正規化リファレンスフレームと正規化カレントフレームとを得る正規化手段と、前記正規化リファレンスフレームと前記正規化カレントフレームとの差分として前記フレーム差分を得る手段と、を備えることを特徴とする。
【００１４】
【発明の実施の形態】
以下、図面を参照しつつ本発明の実施の形態について説明する。この実施の形態のシステムは、屋内に取り付けられた固定監視カメラによってその屋内の状況を監視し、監視カメラで得られた画像データをデジタル処理することによって、侵入者などが発見されると、警報を出すシステムとして構成されている。なお、以下の説明においては、本発明に係る画像監視システムの処理手順を（１）移動物体領域の抽出処理、（２）移動物体領域のマッピング処理、（３）侵入判定処理、（４）リファレンス更新処理の４つの処理に分けて説明する。
【００１５】
図１９を用いて侵入者監視システムの全体概略構成について説明する。監視カメラ１によって撮影された画像（デジタル）情報は、インターフェース（Ｉ／Ｆ）を介して画像処理装置２（ＰＣ等で構成される）に取り込まれ、逐次メモリ４（ディスク）内に保存される。このうち侵入者がいないと判断されている状態の画像情報をリファレンスフレームとし、時々刻々取得される最新の画像情報をカレントフレームとする。各フレームの各部における局所的画像情報は、マトリクス配列されたそれぞれの画素における検出輝度を所定のデータ長のデジタル情報として保持している。また、リファレンスフレームの初期画像情報は既にメモリ４に記憶されているとして以下の説明を行う。そして、画像処理装置２はＭＰＵ３を具備しており、取り込まれた画像情報を解析し、通信Ｉ／Ｆ６・７を介して警報装置８に対して警報命令を発するよう構成している。
【００１６】
図１の全体フローチャートで示すように、まず、ステップｓ１において、メモリ４から初期リファレンスフレームｙ０（図１７（ａ）に示す）の読み込みを行うと共に、前処理を行う。前処理は、一般の画像処理において行われる画像平滑化操作であり、各フレームを複数のブロックに分割し、各ブロックに属する画素の輝度を当該ブロックに属する画素の輝度平均値で置き換えるなどの平滑化を行って雑音を除去する処理や、フレーム端の無効領域を省く等の処理である。このようにしてブロック単位で前処理されたリファレンスフレームｙ０をリファレンスフレームｙ０Ｂとする（図１７（ｃ）に示す）。
【００１７】
なお、このようなブロック化を行った後においても、各ブロックはフレームの各部の局所的画像情報を表現しており、局所エリアが画素単位から画素ブロック単位に変わっているだけである。
【００１８】
次に逐次更新されるカレントフレーム毎のループ処理を開始する。ループ処理内では、まず、ステップｓ２において、カレントフレームｙ１（図１７（ｂ）に示す）を監視カメラ１またはその撮像出力をバッファするメモリ領域から読込むとともに、同様の平滑化を含む前処理を行う。そして、このようにしてブロック単位で前処理されたカレントフレームｙ１をカレントフレームｙ１Ｂとする（図１７（ｄ）に示す）。この時点で前処理されたリファレンスフレームｙ０Ｂとカレントフレームｙ１Ｂが取得される。そして、次にステップｓ３を行う。
【００１９】
（１）移動物体領域の抽出処理
図２乃至図４を参照しながらステップｓ３について説明する。ステップｓ３は移動物体領域の抽出処理であり、図２に示すようにｓ３１〜ｓ３４よりなる処理であり、まず、ステップｓ３１（＝処理手順ｓＡ）において背景領域を求める。処理手順ｓＡは背景領域抽出フローであり、図３に示すように、まず、リファレンスフレームｙ０の画素（ピクセル）毎に、輝度が０であるかどうか（ｙ０＝＝０であるかどうか）の判定を行う（ステップｓＡ１）。ｙ０＝＝０である場合には、指標値Ｄｙに１．０をセットし（ステップｓＡ２）、ｙ０＝＝０でない場合には、ｙ１／ｙ０より求まる値を指標値Ｄｙにセットする（ステップｓＡ３）。したがって、この指標値Ｄｙは、同じ画素について、リファレンスフレームの画素値ｙ０に対するカレントフレームの画素値ｙ１の相対値を表現している。したがって、仮にカレントフレームの画素値ｙ１とリファレンスフレームの画素値ｙ０が同一であれば指標値Ｄｙは基準値「１」であり、指標値Ｄｙの基準値「１」からのずれが、当該画素につき、リファレンスフレームの輝度からのカレントフレームの輝度の統計的変動を表現していることになる。
【００２０】
次に、ステップｓＡ４において、ブロック毎（例えば１６×１６ピクセル等）に指標値Ｄｙの標準偏差ＳＤを求める。標準偏差ＳＤは各ブロック内の指標値Ｄｙのばらつき度合いを示すものであるので、標準偏差ＳＤの小さいブロックはリファレンスフレームｙ０に対してカレントフレームｙ１の画像情報の変化（輝度の変化）が小さいことを意味する。
【００２１】
次に別の指標値ＳＢに刻み値（本実施例においては０．００５）をセットし（ステップｓＡ５）、標準偏差ＳＤのヒストグラムを指標値ＳＢ刻みに０．０１から１．０まで作成し（ステップｓＡ６）、ヒストグラムの累積頻度を求める（ステップｓＡ７）。累積頻度が小さい方から例えば７０％を越えるインデックスを臨界インデックスｉｄｘにセットし（ステップｓＡ８）、臨界インデックスｉｄｘに指標値ＳＢ（０．００５）を乗算し、しきい値ＳＴを取得する（ステップｓＡ９）。これはフレームの全面積の７０％程度までが背景領域と考えられる経験に基づくもので、累積頻度が何％を越えるまでを背景領域と設定するかは環境により適宜変更すればよい。
【００２２】
そして、全てのブロックに対するループ処理において、ブロックの標準偏差ＳＤと，しきい値ＳＴとの比較処理を行い（ステップｓＡ１０）、標準偏差ＳＤがしきい値ＳＴを下回る場合には、当該ブロックを背景領域と判断し、ｂｋフラグに１をセットする（ステップｓＡ１１）。標準偏差ＳＤがしきい値ＳＴを上回る場合には、当該ブロックが背景領域でないと判断し、ｂｋフラグに０をセットする（ステップｓＡ１２）。以上の処理によりカレントフレームｙ１におけるブロック単位での背景領域が決定される。
【００２３】
再び処理手順ｓ３（図２）において、前記リファレンスフレームｙ０Ｂとカレントフレームｙ１Ｂを正規化し、そのフレーム差分Ｍｅを抽出する（ステップｓ３２（＝処理手順ｓＢ））。
【００２４】
処理手順ｓＢはフレーム差分算出フローであり、図４に示すように、リファレンスフレーム及びカレントフレームのそれぞれにつき、まず背景領域の平均値ｙ０ｍ、ｙ１ｍを求める（ステップｓＢ１）。平均値ｙ０ｍはリファレンスフレームｙ０の中で、前述した処理手順ｓＡにおいて背景領域（ｂｋフラグ＝１）と判断されたブロックにおける輝度の平均値であり、次式の数１で与えられる。ただし、式数１におけるＮはｂｋ［ｉ］＝１を満たすｉの個数である。なお、平均値ｙ１ｍは次式においてｙ０ｍをｙ１ｍ、ｙ０Ｂをｙ１Ｂに置き換えたものとなる。
【００２５】
【数１】
次に、リファレンスフレームｙ０Ｂをブロック毎に平均値ｙ０ｍで除算することにより正規化し、カレントフレームｙ１Ｂをブロック毎に平均値ｙ１ｍで除算することにより正規化し、次式の数２で与えられる差分の絶対値であるフレーム差分Ｍｅを求める（ステップｓＢ２）。数２中のパラメータｋは、リファレンスフレームｙ０Ｂとカレントフレームｙ１Ｂの全てのブロックに対してフレーム差分Ｍｅを算出することを意味する。図１８（ａ）はフレーム差分Ｍｅで表現された画像である。
【００２７】
【数２】
再び処理手順ｓ３において、マスク抽出用しきい値ＴＨを求める（ステップｓ３３（＝処理手順ｓＣ））。
【００２９】
処理手順ｓＣはマスク抽出用しきい値決定フローであり、図５のフローチャートに示すように、フレーム差分Ｍｅのヒストグラムを作成し（ステップｓＣ１）、累積頻度を算出する（ステップｓＣ２）。次に、累積頻度の何％程度を移動物体領域として抽出するかの指標である固定のしきい値Ｔｆでフィルタリングを行い（ステップｓＣ３）、マスク抽出用しきい値ＴＨを得る（ステップｓＣ４）。
【００３０】
つまり、フレーム差分Ｍｅの小さな値、つまり輝度変動が小さなブロックからブロック数をカウントしていった累積頻度分布のカーブにおいて、その傾斜（累積頻度分布に微分フィルタを施したもの）が当該固定しきい値Ｔｆに到達するようなフレーム差分Ｍｅの値を、マスク抽出用しきい値ＴＨとする。
【００３１】
再び、処理手順ｓ３（図２）において、前述した処理手順ｓＢで求めたブロック毎のフレーム差分Ｍｅと、処理手順ｓＣで求めたマスク抽出用しきい値ＴＨを比較し、フレーム差分Ｍｅがマスク抽出用しきい値ＴＨを上回るブロックを移動物体領域（以下、適宜マスクと称す）と判断する。図１８（ｂ）は抽出されたマスクを示す画像情報である。
【００３２】
このように、処理手順ｓＡで説明した背景領域を抽出する手段と、処理手順ｓＢで説明したフレーム差分を算出する手段と、フレーム差分のうち、マスク抽出用しきい値を越える領域を移動物体領域と判定するシステムにおいて、マスク抽出用しきい値は、リファレンスフレームとカレントフレームの輝度差分に応じて決定する、つまり、処理手順ｓＣで説明したように、フレーム差分Ｍｅのヒストグラムから、逐次マスク抽出用しきい値ＴＨを決定するようにしているので、侵入者や背景の輝度の変化に影響を受けず、移動物体領域の抽出を従来に比べて確実に行うことが可能となった。
【００３３】
また、処理手順ｓＢで説明したように、正規化はリファレンスフレームとカレントフレームのブロック毎の輝度を背景領域の輝度平均値で除算する処理としたので、従来のようにフレーム全体ではなく、背景領域のみの輝度平均値で正規化を行うため、蛍光灯のフリッカ、日照条件の変化等の輝度変化に影響を受けず、移動物体領域の安定した抽出処理を可能とした。
【００３４】
以上の移動物体領域の抽出処理についてデータを処理する機能の側面から表したものを図６に示す。
【００３５】
（２）移動物体領域のマッピング処理
全体フローチャートにおいて、次に移動物体領域のマッピング処理（ステップｓ４）を行う。マッピング処理とは、侵入者が動いた軌跡を得るため、カレントフレームｙ１のマスクと過去のマスクとの対応をとる処理であり、図７に示すように、マスク同士の距離、面積比、輝度比をもとに評価される。
【００３６】
図８（ａ）は１フレーム前のマスク、図８（ｂ）はカレントフレームのマスクを示す一例であり、１フレーム前にはＡ１・Ａ３の２つのマスク、カレントフレームにはＢ１・Ｂ２・Ｂ３の３つのマスクが存在している。
【００３７】
図９（ａ）及び（ｂ）は、それぞれ１フレーム前のマスクＡｊ（ｊ＝１，２，・・・）及びカレントフレームのマスクＢｉ（ｉ＝１，２，・・・）の属性を表したデータベースであり、それぞれのマスクＡｊ、Ｂｉに対して、中心座標、面積、輝度の属性を持たせている。このデータベースはメモリ４の中に更新可能に記憶されている。各マスクに対してこのような属性を持たせた上で、図１０に示すフローチャートを用いてステップｓ４（移動物体領域のマッピング処理）を説明する。
【００３８】
マッピング処理は、１フレーム前の各マスクＡｊに対してそれぞれループ処理され、さらに、各マスクＡｊに対して、カレントフレームの各マスクＢｉの総当たりのループ処理を行う。まず、ステップｓ４１において、１フレーム前のマスクＡｊとカレントフレームのマスクＢｉとの間の距離Ｄｉｓ、面積比Ａｒａ、輝度比Ｙｒａを求める。距離Ｄｉｓは、マスクＡｊ・Ｂｉの中心（重心）座標Ａｊ＿ｃ、Ｂｉ＿ｃ間の通常の距離であり、面積比Ａｒａは、マスクＡｊ・Ｂｉの面積Ａｊ＿ａ、Ｂｉ＿ａのうち、小なるものを大なるもので除した値（比）であり、輝度比Ｙｒａは、マスクＡｊ・Ｂｉの輝度Ａｊ＿ｙ、Ｂｉ＿ｙのうち、小なるものを大なるもので除した値（比）である。
【００３９】
次に、ステップｓ４２において、ステップｓ４１で求めた距離Ｄｉｓ、面積比Ａｒａ、輝度比Ｙｒａについて判定処理を行う。本実施形態では、Ａｒａ≧０．１、かつ、Ｄｉｓ≦ＤＬ、かつ、Ｙｒａ＞０．５を満たす場合、つまり、マスク間の距離が予め設定された値ＤＬより小さく、面積比Ａｒａが０．１以上で、輝度比Ｙｒａが０．５以上である場合に、マスクＡｊとマスクＢｉとが相互に関連付けられる候補として、フラグｆｇ（ｉ，ｊ）に１をセットする（ステップｓ４３）。一方、上記条件を満たさない場合には、マスク同士は関連がないと判断し、フラグｆｇ（ｉ，ｊ）に０をセットする（ステップｓ４４）。
【００４０】
なお、上記面積比Ａｒａ及び輝度比Ｙｒａの下限値は、本実施形態ではそれぞれ０．１及び０．５としているが、この設定値は特に限定されるものではなく、最適なマッピング（関連付け）が行える値に適宜変更されるものである。
【００４１】
次に、ステップｓ４５において、マスクＡｊとマスクＢｉの類似度Ｆ（ｉ，ｊ）を求める。類似度Ｆ（ｉ，ｊ）は、マスクＡｊ，Ｂｉ間の距離及び面積比から算出されるもので、距離が近く、面積比が大きい程類似度Ｆが大きくなる。そして、類似度Ｆが大きいほど、マスクＡｊ，Ｂｉの関連性が強いことを意味する。一般的には、距離については減少関数であり、かつ面積比については増加関数となっているような類似度関数を使用することができる。
【００４２】
以上のステップｓ４１〜ｓ４５までの処理を全てのカレントマスクＢｉに対して処理した後、フラグｆｇ（ｉ，ｊ）に１がセットされたｉに対して、即ち、ステップｓ４２において距離、面積比、輝度比からマッピングの候補に上げられたマスクの中で、類似度Ｆが最大となるマスクＢｉを、マスクＡｊが移動した後のマスクとしてマッピングする（ステップｓ４６）。
【００４３】
このようなマッピング処理を行うことで、従来に比べて最適なマッピング処理が行える。つまり、従来は距離の近いマスク同士をマッピングするという単純な処理を行っていたため、マスクに凹凸や穴を多数含む場合には、マスクの凹凸や穴の相対的な動きによってマスクの中心位置が変動するために、移動前後のマスクの中心間距離の信頼性が低くなり、誤認識をする可能性があった。また、距離だけをパラメータとしている場合、複数のマスクが隣接して存在する状態においてマッピングを行うのは困難となる。そこで、本発明は独立した３つのパラメータ（距離、面積比、輝度比）を用いることで、定量的、且つ、精度の高いマッピング処理を可能としているのである。
【００４４】
ここにおいて、面積比はマスクの空間的サイズを表現する特性量の１態様であり、輝度比はマスクの光学的性質（光の反射率など）を表現する特性量の１態様であるため、一般的には、マスク間の距離のほかに、マスク間の空間サイズの類似度と、光学的性質の類似度とを考慮してマスクのマッピングを行っていることになる。
【００４５】
そして、このようにマッピングされたマスクに対してはマッピングされた過去のマスクと同一の番号を振る。番号が振られ、移動物体と認識された対象をラベルと呼ぶ。図１８（ｃ）は１フレーム前のラベルを示し、図１８（ｄ）はマッピング後のマスクを示しており、同一の番号が振られたマスクに対しては同一の輝度で表示している。
【００４６】
（３）侵入判定処理
全体フローチャートのステップｓ４において移動物体領域（マスク）に番号を付与してラベルを生成した後、ステップｓ５においてフレーム内にラベルが存在するか否かの判定を行う。ラベルが１つでも存在する、つまり過去のマスクと関連付けされ（マッピングされ）たマスクが存在する場合には、ステップｓ６において各ラベルの重心計算及び軌跡を求め、過去の軌跡に相当する時間的連鎖を基に進入判定を行う。
【００４７】
進入判定は図１１に示すように、マスクの移動ベクトルの直進性と、移動ベクトルの連続数により判定される。この判定処理について図１２のフローチャートを用いて説明する。まず、ステップｓ６１（＝処理手順ｓＤ）において、進入判定の為のパラメータであるＤｍ（移動物体の直進性を示す）、Ｌｍ（同じく移動物体の直進性を示す）、ｌｅｎ（過去数秒間でのラベルの連続数を示す）を計算する。
【００４８】
パラメータ計算フロー（処理手順ｓＤ）を図１３に示す。まず、ステップｓＤ１において、予め設定された時間幅（例えば３秒間）における過去のラベルの連続数を求め連続数ｌｅｎにセットする。ラベルの連続数とは、同一の番号が振られたマスク、つまり同一のラベルが過去の連続したフレームで出現している回数である。
【００４９】
次に、ステップｓＤ２において動きベクトルＶｉ及び動きベクトルの差分ベクトルＤｉを求める。動きベクトルＶｉは図１４に示すように、過去の連続したラベルの重心座標Ｃｎ（ｎ＝１，２，，）を結ぶベクトルである（図１８（ｅ）にラベルの軌跡を示す）。
【００５０】
次に、ステップｓＤ３において、動きベクトルＶｉの絶対値の平均値ＶＡ（つまり、各マスクの重心間の平均距離）を求める。そして、平均値ＶＡと所定の基準値Ｅｐの比較処理（ステップｓＤ４）を行う。基準値Ｅｐはパラメータ計算を行う前段階で、隣接するフレーム間での移動量が平均的に小さなマスクに対しては、計算処理をキャンセルさせるためのものであり、平均値ＶＡが基準値Ｅｐを下回る場合には、そのマスクは著しく低速で動いているものに相当するため、侵入者との判断から除外する。
【００５１】
平均値ＶＡが基準値Ｅｐより大きい場合には、ステップｓＤ５において、次のような判定処理を行う。動きベクトルＶｉ（ｉ＝１，２，・・・）のうち、絶対値の最大のものをｍａｘ（｜ｖｉ｜）で表せば、最大絶対値の０．１倍よりも絶対値の小さいベクトルを｜Ｖｉ｜＜ｍａｘ（｜Ｖｉ｜）×０．１で表すことができ、このような条件を満たす動きベクトルＶｉの数が、全ての動きベクトルの数（ｌｅｎ−１）の例えば５０％より少ないか否かの判定を行う。
【００５２】
この判定は、隣接フレーム間の最大の動き量と比較して、細かい動きをしているベクトルがかなり多い場合に、ラベルを侵入者判定から除外するためのものであり、風に揺れる植物やカーテンのように、比較的速い動きがある一方で低速度の動きが多頻度で生じており、速度分布内における低速度側への偏りが顕著な物体を誤検知するのを防ぐ処理である。
【００５３】
そして、この条件を満たす場合、指標値Ｄｍ，Ｌｍの算出を行う（ステップｓＤ６）。指標値Ｄｍは差分ベクトルＤｉをステップｓＤ３で求めた動きベクトルの絶対値の平均値ＶＡで正規化したもののうち、１．０よりも小さいものの数を、全ての差分ベクトルの数（ｌｅｎ−２）で除算した値であり、Ｌｍは軌跡の始点から終点までの距離ＶＬを、動きベクトルＶｉの絶対値の総和で除算した値である。
【００５４】
以上のように定義された指標値Ｄｍは、差分ベクトルＤｉのうち、絶対値の小さいベクトルが占める割合に基づいており、速度の変動が大きい程小さく、等速度で一定方向に動く程大きな値を持つ。一方、指標値Ｌｍは動きベクトルＶｉの大きさに基づいており、直進する程大きな値を持つ。
【００５５】
そして、図１２に示すステップｓ６２において、侵入判定を行う。具体的には上記ステップｓ６１で求めた指標値Ｄｍ，Ｌｍ及び連続数ｌｅｎを用いて、指標値Ｄｍ，Ｌｍと固定しきい値との比較処理を行い、条件を満たせば（例えばＤｍ≧０．５、かつ、Ｌｍ≧０．５）直進性が高いと判断でき、かつ、同一ラベルの過去の連続数ｌｅｎが一定数ならば、侵入判定条件を満たしていると判定し、ＡＬＡＲＭフラグに１をセットする（ステップｓ６３）。条件を満たさない場合には、ＡＬＡＲＭフラグに０をセットする（ステップｓ６４）。
【００５６】
以上の侵入判定処理終了後、基本フローチャートのステップｓ７において、アラームを出力するか否かの判定、つまり、ＡＬＡＲＭフラグに１がセットされているかの判定を行い、ＡＬＡＲＭフラグ＝１であれば、アラームを出力する（ステップｓ８）。
【００５７】
このように本実施形態においては、移動物体領域の連続性に加えて、細動の非混在性（ステップｓＤ５の判定）、等速度性（Ｄｍ判定）、および直進性（Ｌｍ判定）をパラメータとして侵入判定を行うので、誤検知を防止して精度の高い侵入者判定を行うことを可能としている。特に、従来は植物やカーテンの揺れ等を誤検知する傾向にあったが、本アルゴリズムによればランダムな動きをして、直進性のない移動物体領域を侵入者とは判断しないので、侵入者判定の精度向上が図れた。
【００５８】
ＡＬＡＲＭフラグ＝０であれば、侵入者が存在しない正常な状態であり、次にリファレンス更新処理に移行する。
【００５９】
（４）リファレンス更新処理
監視カメラから入力されるフレームは日照変化等の影響を受ける為、常に一定の輝度とは限らない。従って環境の変化に応じて適時リファレンスフレームを更新することによって、上述した移動物体領域抽出処理をさらに適切に行うことができる。また、リファレンスフレームとカレントフレームのフレーム差分に基づいて輝度変化を検知する方法では、リファレンスフレームは侵入者を含まない背景画像のみからなると仮定している。そこで、侵入者を含まないフレームを安定して判別し、リファレンスフレームを更新することが望ましい。
【００６０】
図１５にリファレンス更新処理フローを示す。まず、移動物体領域（マスク）の抽出処理がされたカレントフレームを含む過去のＭ枚のフレームを取得する（ステップｓ９１）。ただし、数Ｍは２以上の所定の整数である。次に、図１６（ａ）にも示すように、取得したＭ枚のフレームから共通の背景領域を抽出する（ステップｓ９２）。
【００６１】
ここにおいて、共通の背景領域とは、Ｍ枚のフレームのそれぞれの背景領域の論理積に相当する領域であり、Ｍ枚のフレームのいずれにおいても背景領域に属する領域である。
【００６２】
そして、前述した正規化処理（図４で示したステップｓＢ２）と同様に、図１６（ｂ）に示すように、Ｍ枚のフレームをそれぞれ背景領域の輝度平均値ｙ１ｍ、ｙ２ｍ、・・・、ｙＭｍで割って正規化処理（ステップｓ９３）を行う。
【００６３】
次に、図１６（ｃ）で示すように、時間方向に、ブロック毎の輝度分散の計算処理を行う。つまり、ステップｓ９３で正規化された共通背景以外の領域において、過去の連続するＭ枚のフレーム間において、同一のブロックの集合に対して輝度分散を求めるのである（ステップｓ９４）。共通背景領域は他の領域に対して変動が小さく、分散値も小さいと考えられるので計算を省略できる。
【００６４】
そして、共通ブロック（共通背景以外の領域に属する各ブロック）の輝度分散に固定しきい値を上回る分散値がなければ、変動のないフレームが連続していると判断して（ステップｓ９５）、カレントフレームによってリファレンスフレームを置き換え、リファレンス更新処理を行う（全体フローチャートステップｓ１０）。
【００６５】
このように、過去の複数枚のフレームにおける共通背景領域の輝度平均値で正規化を行うため、侵入者がいないにも関わらず輝度変化が生じているためにリファレンスフレームの更新がされないといった問題を解決でき、侵入者を含まないフレームを安定して判別し、リファレンスフレームを更新することが可能となった。また、共通背景以外の領域のみにおいて時間方向の輝度分散を求めるため、全領域を対象とする場合よりも計算量を削減できるのである。
【００６６】
なお、画像情報としては輝度のほかに、特定のカラー成分の大きさなど、他の情報を利用することもできる。
【００６７】
また、マスクのマッピングを行うにあたって、リファレンスフレームとカレントフレームとのそれぞれの移動物体領域につき、相対距離のほかに、空間サイズの相対関係と光学的性質の相対関係とのうちの一方を含めるだけでも従来より適切なマッピングを行うことができる。
【００６８】
移動物体領域が侵入者か否かを判定するにあたって、その移動の連続性のほか、その移動の速度分布内における低速度側への偏りの程度、等速度性および直進性のうちの少なくともひとつを含めるだけでも、従来より適切な侵入者判定が可能である。
【００６９】
【発明の効果】
以上説明したように、請求項１，３記載の発明は、撮像手段によってフレーム単位で得られた画像に基づいて、前記撮像手段で撮像した空間範囲への侵入者を監視するシステムであって、前記撮像手段による撮像結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、前記カレントフレームの更新毎に、前記フレーム差分に応じて移動物体領域抽出用しきい値を決定するしきい値決定手段と、前記フレーム差分が前記移動物体領域抽出用しきい値を越える領域を移動物体領域と判定する移動物体判定手段と、前記移動物体領域の情報に基づいて侵入者の判定を行う侵入者判定手段とを備えるので、侵入者や背景の輝度の変化に影響を受けず、移動物体領域の抽出を確実に行うことが可能となる。
【００７０】
また、請求項６記載の発明は、前記フレーム差分検出手段が、前記リファレンスフレームと前記カレントフレームとのそれぞれについて背景領域を検出する背景検出手段と、前記リファレンスフレームと前記カレントフレームとのそれぞれについて、それぞれの局所的画像情報を前記背景領域の画像情報の平均値を用いて正規化し、それによって正規化リファレンスフレームと正規化カレントフレームとを得る正規化手段と、前記正規化リファレンスフレームと前記正規化カレントフレームとの差分として前記フレーム差分を得る手段とを備えるので、蛍光灯のフリッカ、日照条件の変化等の輝度変化により影響を受けずに移動物体領域の抽出を行うことが可能となる。
【００７１】
また、請求項１，４記載の発明は、前記侵入者判定手段が、前記リファレンスフレームにおける第１の移動物体領域と、前記カレントフレームにおける第２の移動物体領域とについて所定の種類の特性量を算出する特性量算出手段と、前記第１と第２の移動物体領域のそれぞれについての前記特性量の相互関係に基づいて、前記第１と第２の移動物体領域の対応関係を判定する対応関係判定手段とを備え、前記特性量が、前記第１と第２の移動物体領域の相対距離のほかに、少なくとも、前記第１と第２の移動物体領域のそれぞれの空間サイズの相対関係と、前記第１と第２の移動物体領域の光学的性質の相対関係とのうちの一方を含むので、定量的、且つ、精度の高いマッピング処理が可能となる。
【００７２】
また、請求項５記載の発明は、前記侵入者判定手段が、さらに、前記対応関係判定手段によって、各移動物体領域の時間的連鎖を特定する連鎖特定手段と、前記時間的連鎖において、前記移動物体領域の移動の連続性と直進性とをパラメータとして、当該時間的連鎖が侵入者に相当するものであるか否かを判定するマルチパラメータ型判定手段とを備えるので、誤検知を防止して精度の高い侵入者判定を行うことを可能としている。特に、従来は植物やカーテンの揺れ等を誤検知する傾向にあったが、本アルゴリズムによればランダムな動きをして、直進性のない移動物体領域を侵入者とは判断しないので、侵入者判定の精度向上が図れる。
【００７３】
また、請求項２，３記載の発明は、過去の複数の連続フレームにおける共通の背景領域を抽出する手段と、前記複数の連続フレームに共通の背景領域以外の局所的画像情報を、各フレームにおける前記共通背景領域の画像情報を用いて正規化する手段と、正規化された共通の背景領域以外の画像情報の分散が所定の値より下回る場合に、前記カレントフレームを新たなリファレンスフレームとして更新する手段と、を備えるので、侵入者がいないにも関わらず輝度変化が生じているためにリファレンスフレームの更新がされないといった問題を解決できた。また、侵入者を含まないフレームを安定して判別し、リファレンスフレームを更新することが可能となった。さらに、共通背景領域のみにおいて時間方向の輝度分散を求めるため、全領域を対象とする場合よりも計算量を削減でき処理の効率化が図れる。
【図面の簡単な説明】
【図１】本発明に係る侵入者監視システムの全体フローチャートである。
【図２】移動物体領域の抽出処理フローを示す図である。
【図３】背景領域の抽出処理フローを示す図である。
【図４】フレーム差分抽出処理フローを示す図である。
【図５】マスク抽出用しきい値決定フローを示す図である。
【図６】入力データであるリファレンスフレームとカレントフレームに対して移動物体領域が抽出されるまでに作用する手段を表す図である。
【図７】移動物体領域のマッピングに用いられる要素を示す図である。
【図８】（ａ）は１フレーム前のマスク、（ｂ）はカレントフレームのマスクを示す一実施例図である。
【図９】（ａ）は１フレーム前のマスクの属性データ、（ｂ）はカレントフレームのマスクの属性を示す図である。
【図１０】マッピング処理フローを示す図である。
【図１１】侵入判定処理に用いられる要素を示す図である。
【図１２】侵入判定処理フローを示す図である。
【図１３】パラメータ計算フローを示す図である。
【図１４】過去連続フレームにおけるマスクの移動状態を示す図である。
【図１５】リファレンス更新判定処理フローを示す図である。
【図１６】リファレンス更新判定処理において、共通の背景領域に対して行われる画像処理を示す図である。
【図１７】本発明に係る侵入監視システムにおいて、入力されたリファレンスフレームとカレントフレームの画像及び前処理後の状態を示す図である。
【図１８】本発明に係る侵入監視システムにおいて生成されるフレーム差分、移動物体領域等を示す図である。
【図１９】侵入者監視システムの全体図である。
【符号の説明】
Ｍｅ フレーム差分
ＴＨ マスク抽出用しきい値
ｙ０ リファレンスフレーム
ｙ０Ｂ リファレンスフレームのブロック単位での輝度
ｙ１ カレントフレーム
ｙ１Ｂ カレントフレームのブロック単位での輝度
Claims (6)
- 撮像手段によってフレーム単位で得られた画像に基づいて、前記撮像手段で撮像した空間範囲への侵入者を監視するシステムであって、
(a) 前記撮像手段による撮像結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、
(b) 前記カレントフレームの更新毎に、前記フレーム差分に応じて移動物体領域抽出用しきい値を決定するしきい値決定手段と、
(c) 前記フレーム差分が前記移動物体領域抽出用しきい値を越える領域を移動物体領域と判定する移動物体判定手段と、
(d) 前記移動物体領域の情報に基づいて侵入者の判定を行う侵入者判定手段と、
を備え、
前記侵入者判定手段が、
(d-1) 前記リファレンスフレームにおける第１の移動物体領域と、前記カレントフレームにおける第２の移動物体領域とについて所定の種類の特性量を算出する特性量算出手段と、
(d-2) 前記第１と第２の移動物体領域のそれぞれについての前記特性量の相互関係に基づいて、前記第１と第２の移動物体領域の対応関係を判定する対応関係判定手段と、
を備え、
前記特性量が、
前記第１と第２の移動物体領域の相対距離と、
前記第１と第２の移動物体領域のそれぞれの空間サイズの相対関係と、
前記第１と第２の移動物体領域の光学的性質の相対関係と、
を含み、
前記対応関係判定手段が、
(d-2-1) 前記相対距離と、前記空間サイズの相対関係と、前記光学的性質の相対関係とが、それぞれについて予め設定された所定条件を満足するか否かを判定することによって、相互に対応付けられる候補となる前記第１と第２の移動物体領域を求める手段と、
(d-2-2) 前記候補として求められた前記第１と第２の移動物体領域について、前記相対距離と前記空間サイズの相対関係とに基づいて、類似度を算出する手段と、
(d-2-3) 前記候補として求められた中から前記類似度が最大となる前記第１と第２の移動物体領域を相互に対応付ける手段と、
を備えることを特徴とする侵入者監視システム。 - 請求項１に記載の侵入者監視システムにおいて、
さらに、
(e) 過去の複数の連続フレームにおける共通の背景領域を抽出する手段と、
(f) 前記複数の連続フレームに共通の背景領域以外の局所的画像情報を、各フレームにおける前記共通背景領域の画像情報を用いて正規化する手段と、
(g) 前記正規化された共通の背景領域以外の画像情報の分散が所定の値より下回る場合に、前記カレントフレームを新たなリファレンスフレームとして更新する手段と、
を備えることを特徴とする侵入者監視システム。 - 撮像手段によってフレーム単位で得られた画像に基づいて、前記撮像手段で撮像した空間範囲への侵入者を監視するシステムであって、
(a) 前記撮像手段による撮像結果のうち、基準となるリファレンスフレームと、逐次更新されるカレントフレームとの画像情報の差分であるフレーム差分を算出するフレーム差分検出手段と、
(b) 前記カレントフレームの更新毎に、前記フレーム差分に応じて移動物体領域抽出用しきい値を決定するしきい値決定手段と、
(c) 前記フレーム差分が前記移動物体領域抽出用しきい値を越える領域を移動物体領域と判定する移動物体判定手段と、
(d) 前記移動物体領域の情報に基づいて侵入者の判定を行う侵入者判定手段と、
(e) 過去の複数の連続フレームにおける共通の背景領域を抽出する手段と、
(f) 前記複数の連続フレームに共通の背景領域以外の局所的画像情報を、各フレームにおける前記共通背景領域の画像情報を用いて正規化する手段と、
(g) 前記正規化された共通の背景領域以外の画像情報の分散が所定の値より下回る場合に、前記カレントフレームを新たなリファレンスフレームとして更新する手段と、
を備えることを特徴とする侵入者監視システム。 - 請求項３記載の侵入者監視システムにおいて、
前記侵入者判定手段が、
(d-1) 前記リファレンスフレームにおける第１の移動物体領域と、前記カレントフレームにおける第２の移動物体領域とについて所定の種類の特性量を算出する特性量算出手段と、
(d-2) 前記第１と第２の移動物体領域のそれぞれについての前記特性量の相互関係に基づいて、前記第１と第２の移動物体領域の対応関係を判定する対応関係判定手段と、
を備え、
前記特性量が、
前記第１と第２の移動物体領域の相対距離のほかに、
少なくとも、
前記第１と第２の移動物体領域のそれぞれの空間サイズの相対関係と、
前記第１と第２の移動物体領域の光学的性質の相対関係と、
のうちの一方を含むことを特徴とする侵入者監視システム。 - 請求項１または請求項４とのうちのいずれかに記載の侵入者監視システムにおいて、
前記侵入者判定手段が、さらに、
(d-3) 前記対応関係判定手段によって、各移動物体領域の時間的連鎖を特定する連鎖特定手段と、
(d-4) 前記時間的連鎖において、前記移動物体領域の移動の連続性と直進性とをパラメータとして、当該時間的連鎖が侵入者に相当するものであるか否かを判定するマルチパラメータ型判定手段と、
を備えることを特徴とする侵入者監視システム。 - 請求項１ないし請求項５のいずれかに記載の侵入者監視システムにおいて、
前記フレーム差分検出手段が、
(a-1) 前記リファレンスフレームと前記カレントフレームとのそれぞれについて背景領域を検出する背景検出手段と、
(a-2) 前記リファレンスフレームと前記カレントフレームとのそれぞれについて、それぞれの局所的画像情報を前記背景領域の画像情報の平均値を用いて正規化し、それによって正規化リファレンスフレームと正規化カレントフレームとを得る正規化手段と、
(a-3) 前記正規化リファレンスフレームと前記正規化カレントフレームとの差分として前記フレーム差分を得る手段と、
を備えることを特徴とする侵入者監視システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000143551A JP4789223B2 (ja) | 2000-05-16 | 2000-05-16 | 侵入者監視システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000143551A JP4789223B2 (ja) | 2000-05-16 | 2000-05-16 | 侵入者監視システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001325672A JP2001325672A (ja) | 2001-11-22 |
| JP4789223B2 true JP4789223B2 (ja) | 2011-10-12 |
Family
ID=18650355
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000143551A Expired - Lifetime JP4789223B2 (ja) | 2000-05-16 | 2000-05-16 | 侵入者監視システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4789223B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2004079681A1 (ja) * | 2003-03-07 | 2006-06-08 | 株式会社クオリティラボ | 監視装置 |
| KR100950734B1 (ko) | 2003-05-13 | 2010-03-31 | 엘지전자 주식회사 | 댁내 경보시스템에서의 이상상태 자동인식방법 및 인터넷냉장고 |
| JP4596929B2 (ja) * | 2005-01-19 | 2010-12-15 | 株式会社インク | 背景画像生成装置及び背景画像生成プログラム |
| WO2006085500A1 (ja) * | 2005-02-09 | 2006-08-17 | Matsushita Electric Industrial Co., Ltd. | 監視カメラ装置、それを用いた監視システムおよび監視画像伝送方法 |
| JP4641492B2 (ja) * | 2005-11-16 | 2011-03-02 | 日本電信電話株式会社 | 特異映像検出装置、特異映像検出方法およびプログラム |
| JP2007334631A (ja) | 2006-06-15 | 2007-12-27 | Sony Corp | 画像監視システムおよび物体領域追跡方法 |
| JP2008197866A (ja) * | 2007-02-13 | 2008-08-28 | Mitsubishi Electric Corp | 侵入者検知装置 |
| JP2009002914A (ja) * | 2007-06-25 | 2009-01-08 | Nippon Telegr & Teleph Corp <Ntt> | 施設被災監視装置及び施設被災監視方法 |
| JP5319415B2 (ja) * | 2009-06-22 | 2013-10-16 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| CN111882550A (zh) * | 2020-07-31 | 2020-11-03 | 上海眼控科技股份有限公司 | 冰雹检测方法、装置、计算机设备和可读存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05205175A (ja) * | 1992-01-24 | 1993-08-13 | Hitachi Ltd | 物体検出装置 |
| JPH06274625A (ja) * | 1993-03-18 | 1994-09-30 | Toshiba Corp | 監視画像の移動物体追跡方法 |
| JP3035420B2 (ja) * | 1993-03-31 | 2000-04-24 | 大倉電気株式会社 | 画像の動きベクトル検出方法 |
| JPH08106534A (ja) * | 1994-10-06 | 1996-04-23 | Hitachi Ltd | 移動物体検出装置 |
| JPH09319978A (ja) * | 1996-05-31 | 1997-12-12 | Hitachi Ltd | 侵入物体監視装置 |
| JPH1021408A (ja) * | 1996-07-04 | 1998-01-23 | Canon Inc | 画像抽出装置および方法 |
| JP2950267B2 (ja) * | 1996-12-24 | 1999-09-20 | 日本電気株式会社 | 背景画像生成方法および背景画像生成装置 |
-
2000
- 2000-05-16 JP JP2000143551A patent/JP4789223B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001325672A (ja) | 2001-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Javed et al. | Tracking and object classification for automated surveillance | |
| US7602944B2 (en) | Method and system for counting moving objects in a digital video stream | |
| KR100601933B1 (ko) | 사람검출방법 및 장치와 이를 이용한 사생활 보호방법 및 시스템 | |
| JP3880759B2 (ja) | 移動物体検出方法 | |
| KR101337060B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| US7916944B2 (en) | System and method for feature level foreground segmentation | |
| JP3423861B2 (ja) | 移動物体の監視方法および装置 | |
| JP4884331B2 (ja) | 移動物体追跡装置 | |
| JP5388829B2 (ja) | 侵入物体検知装置 | |
| JP4789223B2 (ja) | 侵入者監視システム | |
| CN104866842B (zh) | 一种人体目标入侵检测方法 | |
| CN111860471B (zh) | 一种基于特征检索的工服穿戴识别方法及系统 | |
| Chen et al. | Indoor and outdoor people detection and shadow suppression by exploiting HSV color information | |
| Gruenwedel et al. | An edge-based approach for robust foreground detection | |
| JP3486229B2 (ja) | 画像変化検出装置 | |
| JP5253102B2 (ja) | 物体判別方法および物体判別装置 | |
| CN103049748B (zh) | 行为监测方法及装置 | |
| JP7125843B2 (ja) | 障害検知システム | |
| JP3721071B2 (ja) | 侵入者検知システム | |
| JP3423886B2 (ja) | 移動物体監視装置 | |
| JP3736836B2 (ja) | 物体検出方法及び物体検出装置及びプログラム | |
| JP2004295416A (ja) | 画像処理装置 | |
| KR20030018487A (ko) | 영상을 이용한 출입 이동 물체 계수 방법 및 장치 | |
| Tupper et al. | Pedestrian proximity detection using RGB-D data | |
| Hu et al. | A new method of moving object detection and shadow removing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070510 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090917 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100624 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100629 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100820 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101102 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110705 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110715 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4789223 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |