JP3423861B2 - 移動物体の監視方法および装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は移動物体の監視装置
に関し、特に屋内への侵入者を窓外の移動体や照明のち
らつき等の外乱からオンラインに識別できる移動物体監
視方式に関する。

【０００２】

【従来の技術】監視エリアのＩＴＶカメラ画像を基に移
動物体を追跡して監視するシステムが知られている。移
動物体の追跡は、予め登録した背景などの対象パターン
を基準テンプレートとして、入力画像に対して正規化相
関を行って物体を抽出し、抽出できた移動物体の画像を
新たなテンプレートとして、再びその後に取り込んだ入
力画像に対して正規化相関を行って移動物体を追跡す
る。

【０００３】また、特開平４−２３５４８９号に記載の
ように、背景に周期的な照明変動がある場合、その変動
周期に合わせて撮像して照明のちらつきによる移動物体
の誤認を回避する方法が知られている。

【０００４】

【発明が解決しようとする課題】上記のように、予め登
録した基準パターン（テンプレート）で入力画像に対し
て正規化相関を行い、抽出できた物体を新たなテンプレ
ートパターンとして、次々と時系列の入力画像に対して
追跡を行なう移動物体監視方法は、正常な移動体や照明
変動等による外乱の多い環境では、不審者の識別までに
時間がかかり、検出精度も低い。

【０００５】たとえば、屋内への浸入者の監視の場合、
窓外の人や車両などの移動体や空調によるカーテン等の
揺れなどが直に撮像されるので、屋内での真の移動体
（不審者）の識別には長時間の追跡処理が必要で、識別
の困難なケースも発生する。

【０００６】また、監視カメラを次々と切り替えて複数
シーンを監視するシステムの場合、カメラが切り替わる
と別のシーンの映像になってしまうので、時系列の入力
画像に対する長時間の追跡処理が不可能になる。従っ
て、監視シーン毎に監視システムが必要になって不経済
であり、使い勝手も悪い。

【０００７】さらに、基準パターンに背景画像を登録し
て利用する場合、明るさが大きく急変する環境下では、
登録パターンと入力画像との類似性が少なくなり、移動
体の追跡が困難になる。このため、登録パターンを明る
さ変動に追随して変更する必要があるなど、画像追跡の
基準画像に背景画を用いることには問題が多い。

【０００８】本発明の目的は、上記した従来技術の問題
点を克服し、監視対象の移動体と紛らわしい外乱が発生
する環境下で、短時間かつ高精度に監視対象を識別でき
る移動物体の監視方法と装置、及び、複数のカメラをオ
ンラインで切り換えながら監視対象の移動物体を識別で
きる安価な監視システムを提供することにある。

【０００９】

【課題を解決するための手段】上記目的を達成する本発
明の方法は、監視エリアから取り込んだ２フレームの画
像を差分して変化領域を抽出し、この変化領域について
両画像間の正規化相関による濃淡パターンマッチングを
行い、相関値による類似度が所定値（第１しきい値）よ
り高い変化領域は外乱として消去し、類似度の低い変化
領域を監視対象の移動物体として検出することを特徴と
する。

【００１０】また、差分画像または差分・２値画像上で
近接する前記変化領域どうしを外接矩形等によって一ま
とめにする統合領域を生成し、この統合領域毎に前記濃
淡パターンマッチングを行なうことを特徴とする。

【００１１】また、前記２フレームの一方の画像で前記
変化領域または前記統合領域による追跡元領域をテンプ
レートパターンとし、他方の画像で前記追跡元領域に対
応する領域の所定周辺を探索領域とし、前記テンプレー
トパターンにより前記探索領域を濃淡パターンマッチン
グによって追跡し、前記探索領域での最大類似度が所定
値（第２のしきい値）以上になって追跡が可能となった
とき、前記最大類似度となる追跡先領域をテンプレート
パターンとし、前記一方の画像で前記追跡先領域に対応
する領域との間で前記濃淡パターンマッチングを行い、
類似度が所定値（第３のしきい値または前記第１のしき
い値）より低い場合、つまり、両者が類似していない場
合に、前記追跡元領域を移動物体として検出することを
特徴とする。

【００１２】さらに、検出された移動物体の変化領域ま
たは統合領域に対し、濃淡画像や２値画像の特徴量を判
定し、人物を識別することを特徴とする。

【００１３】上記目的を達成する本発明の装置は、建物
内部等の監視領域に設置されたＩＴＶカメラなどの撮像
手段と、その画像を処理して監視領域の移動物体を検出
する監視装置本体と、検出した移動物体を報知する表示
装置などのモニタを備える移動物体の監視装置におい
て、前記画像の少なくとも２フレーム取り込みＡ／Ｄ変
換する入力手段、２フレームの画像間の差分により変化
領域を抽出する差分画像作成手段、近接する変化領域を
一つの統合領域にまとめる変化領域統合手段及び前記統
合領域毎に両画像間の正規化相関処理による濃淡パター
ンマッチングを行い、類似度が所定値より低い変化領域
を移動物体と判定する移動物体検出手段を、前記監視装
置本体に設けたことを特徴とする。

【００１４】または、建物内部等の複数の監視領域を撮
像可能に設置された１または複数のＩＴＶカメラ等の撮
像手段と、その画像を処理して監視領域の移動物体を検
出する監視装置本体と、検出した移動物体を報知する表
示装置などのモニタを備える移動物体の監視装置におい
て、前記監視装置本体は、監視領域毎に時系列の少なく
とも２フレームの画像を取り込み、２フレーム間差分に
よって抽出した変化領域領について両画像間の正規化相
関処理による濃淡パターンマッチングを行い、類似度が
低い変化領域を移動物体として検出する機能を有し、前
記撮像手段は、前記監視装置本体による少なくとも前記
２フレームの画像の処理期間を保持して、複数の監視領
域の切り換えまたは選択を行う手段を有してなることを
特徴とする。

【００１５】本発明の作用を図３３を用いて説明する。
まず、室内の監視対象領域を撮像した時刻ｔ−１の画像
と、時刻ｔ−２の画像の２フレームを取り込む。画
像には室内の人物200や窓外の人物300が含まれる。次
に、２フレーム間で差分画像を算出し、さらにノイズ除
去のために２値化した差分・２値化画像を作成する。
画像には、画像に対する画像の変化領域が残り、
人物200の２値画像4610、人物300の２値画像4630及び、
ちらつきのある蛍光燈500の２値画像4650が抽出され
る。

【００１６】この２値画像の変化領域はばらついている
ため、近隣の変化領域を外接矩形によって一まとめにし
た統合領域を生成する。これにより人物200の統合領域4
910、人物300の統合領域4920を、蛍光燈500の統合領域4
940が作成される。次に、入力画像，の濃淡画像に
対し、上記の各統合領域を用いてウインドウ設定した画
像，間で、統合領域毎に正規化相関による濃淡パタ
ーンマッチングを行う。

【００１７】人物200の場合、ｔ−１時刻の入力画像
の統合領域4910には存在せず、同領域には背景画像（室
内配置備品）が見える。一方、ｔ時刻の入力画像の統
合領域4910には存在し、人物200は背景の前側（カメラ
より）になるので、領域4910における両画像間の正規化
相関値は小さく、類似度は低くなる。

【００１８】蛍光燈500の場合は、その周辺部のちらつ
きのため差分による変化領域となるが、両画像の統合領
域4940には蛍光燈本体が背景として残るため、正規化相
関値は大きく、類似度も高い。室内のカーテン等の揺れ
なども同様の傾向となる。

【００１９】屋外の人物300の場合は、入力画像の統
合領域4920に存在せず、入力画像の統合領域4920に存
在する。しかし、窓外のため柱や窓枠等の背景の後側に
存在し、かつ、画像上では離間距離に応じて小さくな
る。このため、両画像の領域4920に占める背景の比率が
大きいので、正規化相関値は大きく類似度も高い。

【００２０】このように、２フレームの入力画像を用
い、両画像の変化領域に背景画が多いか少ないかによっ
て外乱か否かを判別できるので、照明のちらつきやカー
テンなどの揺れ、あるいは窓外の移動物体などの紛らわ
しい移動体を外乱として除去できる。また、上記のよう
に２フレーム間の追跡処理を行えば、検出精度は一層向
上する。

【００２１】さらに、多数のフレームによる追跡処理が
不要となるので、監視処理が高速化でき、特に複数の監
視領域のカメラシーンをオンラインに切り換えて監視す
るシステムの構築が容易になる。

【００２２】

【発明の実施の形態】本発明の一実施形態について図面
を用いて詳細に説明する。図１は、一実施例による移動
物体監視装置の機能ブロック図を示す。本実施例の監視
装置は、監視装置本体１、ＩＴＶカメラ２、表示装置３
から構成される。本体１はパーソナルコンピュータに画
像処理ボードを装着したり、カメラと画像処理ボードと
パーソナルコンピュータを一体としたインテリジェント
カメラとして実現してもよい。

【００２３】画像入力処理部１０は、カメラ２から取り
込んだ２フレームの画像信号のＡ／Ｄ変換や低照度の入
力画像の輝度変換などを行う。差分画像処理部２０は、
２フレーム間画像の画素毎の差分を行う。変化領域抽出
統合部３０は、差分画像を用いて濃度頻度分布を算出
し、しきい値で２値化して変化領域を抽出し、抽出した
変化領域の近隣を集合した統合領域を生成する。

【００２４】移動物体候補選択部４０は、画像入力部１
０からの２フレームの画像間において、同一の統合領域
同士による正規化相関による濃淡パターンマッチングを
行い、正規化相関値の大小によって類似度を判定し、類
似度の高い領域は照明やカーテン等の揺らぎ、あるいは
離間した位置の移動体などによる外乱とみて除去し、類
似度の低い領域を監視対象の移動物体候補とする。

【００２５】移動物体識別部５０は、移動物体候補領域
に対し２値画像の特徴量及び濃淡画像の特徴量を算出
し、これら特徴量をチェックして人物のみを識別して検
知する。表示制御部６０は、識別した人物の画像データ
を格納し、その移動軌跡等の情報を表示装置３にリアル
タイムに表示する。

【００２６】図２は、監視対象エリアの適用例を示す説
明図で、屋内に浸入する人物を監視している。監視時間
（たとえば、夜間）の屋内は、窓600のある室内にＯＡ
機器400等が設置され、蛍光燈照明500が点灯している環
境（背景）で、図示のように検出対象となる人物200の
存在が見られる。また、エアコンで揺らぐカーテンや植
栽等による外乱の発生も考えられる。一方、屋外には窓
600のガラス越しに移動する人物300が窓枠により見え隠
れする。さらに、車両、動物、落下物などの移動体や、
路上の明るさ変化による影の写り込み等による様々な外
乱が発生する。以下では、ちらつきのある屋内の照明50
0や屋外の人物300による外乱を除去し、屋内の人物200
を高速に識別する移動体監視方法を詳細に説明する。

【００２７】図３は、一実施例による画像入力処理部の
機能ブロック図である。Ａ／Ｄ変換部１１は、ＩＴＶカ
メラ２から時刻ｔ−１の画像を取り込んでＡ／Ｄ変換
し、入力画像Ｇｉ−１を作成する。ノイズ除去・輝度変
換部１２−１は、入力画像Ｇｉ−１の平滑化処理をし
て、ＣＣＤノイズ等を除去する。また、背景が低照度で
暗い場合には、黒い物体の検出を確実にするため、ノイ
ズ除去後の画像の輝度変換を行い、輝度変換画像Ｆｉ−
１を作成する。時刻ｔの取り込み画像に対しても、Ａ／
Ｄ変換部1120及びノイズ除去・輝度変換部１２−２によ
り同様に処理する。

【００２８】差分画像作成部２０は、画像Ｆｉ−１と画
像Ｆｉを取り込み、画像間の画素毎の差を算出して差分
画像を作成する。なお、監視場所が暗く移動物体が存在
しても、ＩＴＶカメラの差分画像から変化領域を抽出で
きない場合、監視領域に照明を行うようにしてもよい。

【００２９】図４に、輝度変換の特性図を示す。ノイズ
除去・輝度変換部1220，1240の入力画像Ｇｉの輝度を０
〜２５５階調とし、変換後の出力輝度をＨ(ｘ)とする
と、数１による対数変換が行われる。ただし、Ｆ(ｘ)は
画像Ｇｉの輝度値、Ａは変換係数である。

【００３０】

【数１】

【００３１】対数変換を行うと、無変換の輝度から対
数変換輝度へ変換される。変換係数Ａは、夜間は対数
変換に近づけ、昼間は無変換に近づける変換係数で
ある。高照度で背景が明るい場合はＡ＝０とし、低照度
で背景が暗い場合はＡ＝０．４程度とする。

【００３２】図５は、一実施例による変化領域抽出統合
部の機能ブロック図である。変化領域抽出統合部は差分
画像を取り込むと、輝度頻度分布算出部３１で差分画像
の輝度頻度分布Ｈj（ｊ＝０〜ｎ）を算出した後、輝度
頻度分布平滑化部３２で数２により平滑し、点ノイズな
どを除去する。

【００３３】

【数２】

【００３４】ここで、ｊ＝１〜ｎ−１、ｎは輝度の最大
値である。

【００３５】２値化しきい値算出部３３は、ノイズ除去
された輝度頻度分布から差分画像の２値化しきい値を算
出する。このしきい値を用い、２値画像作成部３４は差
分画像を２値化処理し、変化領域の２値画像を作成す
る。抽出領域統合部３５は、変化領域の２値画像が分離
していることが多いので、分離画像の中で互いに近い位
置の画像を統合し、一つの物体として認識する統合領域
を形成する。

【００３６】この統合領域によれば、２フレーム間の画
像のみで監視対象の移動物体を識別する場合に、１つの
物体が分離して複数の物体に見誤るのを回避できる。ま
た、１つのシーンに複数の移動物体が同時に存在して
も、複数の物体を個別に統合するので、識別精度が向上
できる。

【００３７】図６は、２値化しきい値の算出方法を示す
説明図で、横軸に差分画像の輝度、縦軸に輝度の度数を
示す。ノイズ除去部３２で平滑化した輝度頻度分布から
求めた最大輝度値（ｍａｘ）と下限値（ｔｈｍｉｎ）か
ら中央値を算出し、２値化のしきい値（ｔｈ）を自動算
出する。

【００３８】下限値（ｔｈｍｉｎ）は、監視対象の正常
画像から予め求めた正常状態での白色ノイズの最大値と
する。この白色ノイズの最大値に所定値を加算した値
を、上限値とする。例えば、ＣＣＤカメラを自動モード
にし、屋内外の物体が目視で確認できる明るさに撮影し
た画像において、上限値は１４〜２５階調程度、下限値
は５〜１０階調程度である。なお、下限値を示すノイズ
は、監視対象画像の正常状態におけるノイズの最大輝度
を示す値ならば何でもよい。

【００３９】移動物体が存在して変化部分の領域が多い
場合は、（ａ）のように中央値が上限値より大きくなる
ので、２値化のしきい値ｔｈを上限値とする。一方、変
化部分の領域が少ない場合は、（ｂ）のように中央値が
上限値より小さくなるので、２値化のしきい値ｔｈを中
央値とする。なお、（ａ）の場合に、画像処理のモード
法による２値化しきい値の決定を行ってもよい。

【００４０】図７は、一実施例による抽出領域統合部の
機能ブロック図を示す。抽出領域統合部３５は２値画像
作成部３４による２値画像に対し、微小面積除去部351
で監視対象に適さない微小面積の変化領域をノイズとし
て除去する。例えば、監視対象が人物の場合、人物とし
て明らかに不適当な微小面積の変化領域である。撮影の
視野範囲が２５６×２５６画素の人物検知なら、１０〜
３０画素程度となる。

【００４１】図８は、微小面積除去後の２値画像を示す
説明図である。微小面積を除去した２値画像の変化領域
は周囲の明るさ、人物の服装の色、背景色などによって
影響され、人物の形状を忠実に抽出できることはまれで
ある。通常は、人物200の頭部の一部4610や別の一部462
0等が近隣に散在した２値画像として作成される。同様
に、窓600越しに見える外の人物300の一部4630も、他の
部分と共に近隣に散在して作成される。そこで、変化領
域の統合が必要になる。なお、蛍光燈500が点灯してい
る場合、そのちらつきによる変化領域4650や、ＯＡ機器
400等の反射による変化領域4640が作成される。

【００４２】図９は、一実施例による変化領域の２値画
像を統合処理するフローチャートを示す。まず、微小面
積を除去した２値画像の変化領域のラベリングを行なう
（ｓ１０１）。変化領域に１〜Ｌｎまでのラベルをつ
け、ラベル番号ｉ＝１から順次、総ラベル数Ｌｎまで以
下の処理を繰り返す（ｓ１０２）。

【００４３】次に、ｉ番目のラベルに対し、最大座標と
最少座標を算出し（ｓ１０３）、ｉ番目のラベルとｉ＋
１〜Ｌｎ番目のラベルのＸ方向とＹ方向の距離が許容範
囲かチェックする（ｓ１０４）。そして、許容範囲の全
てのラベルをｉ番目のラベルに加え、加えたラベル番号
を抹消する（ｓ１０５）。そして、残ったラベル番号を
昇順にソートし（ｓ１０６）、ステップｓ１０３へ戻
り、新たにｉ番目から処理を繰り返す。これにより、次
々と許容範囲内のラベルが統合されていく。ステップｓ
１０４で、ｉ番目のラベルが許容範囲外の場合、ラベル
番号を１つ大きくしてステップｓ１０２に戻り、全ての
ラベルが終了するまで繰り返す。

【００４４】図１０に、ラベル間を統合する許容範囲の
説明図を示す。ラベル4610の許容範囲にラベル4620があ
るか否かは、ラベル4610の外接矩形4840の最小座標（l1
x,l1y）と最大座標（r1x,r1y）から、ラベル4620に最も
近い座標（l1x,l1y）を求める。同様に、ラベル4620の
外接矩形4850の最小座標（l2x,l2y）と最大座標（r2x,r
2y）から、ラベル4610に最も近い座標（r2x,r2y）を求
める。そして、座標（l1x,r1y）と座標（r2x,l2y）のＸ
方向の距離4860とＹ方向の距離4870が許容範囲にあれ
ば、同一ラベル番号を付与して統合する。

【００４５】Ｘ方向の距離4860の許容範囲及びＹ方向の
距離4870の許容範囲は、例えば、移動物体が縦に長い人
物の場合、たとえばＸ方向は約5〜10、Ｙ方向は約5〜15
としたり、Ｘ方向とＹ方向を共に約5〜15程度としたす
る。この許容範囲は、監視環境や抽出対象に適応して設
定される。

【００４６】なお、２値画像の統合処理は、近隣を一つ
の統合領域に生成できればよいので、ラベリング以外に
も２値画像の膨張処理などにより可能となる。

【００４７】図１１は、統合処理後の２値画像の説明図
である。上記のラベリングによって、同一ラベル番号を
付与された複数の変化領域のうち、最も左側のＸ方向位
置と最も左側のＹ方向位置から左下の座標を算出し、最
も右側のＸ方向位置と最も右側のＹ方向位置から右上の
座標を算出し、たとえば人物200に対応する矩形の統合
領域4910を作成する。同様に、人物300に対して統合領
域4920、ＯＡ機器400に対して統合領域4930、蛍光灯500
に対して統合領域4940が作成される。

【００４８】図１２は、上記した矩形の統合領域をウィ
ンドウに設定し、同一場所の２フレームの入力画像を示
したシーンである。同図（ａ）は、時刻ｔ−１の入力画
像に対するウインドウで、統合領域4910にＯＡ機器、
統合領域4920に窓枠の背景シーンが見える。同図（ｂ）
は、時刻ｔの入力画像に対するウインドウで、統合領
域4910に人物200、統合領域4920に人物300が見える。

【００４９】図１３に、一実施例による移動物体（人
物）選択部の機能ブロック図を示す。移動物体選択部４
０は移動物体の中から、監視対象の移動物体（この例で
は屋内の移動人物）を選択する機能で、同一位置の統合
領域毎に２フレームの画像間で濃淡パターンマッチング
を行なって外乱領域を除外する外乱除外部４１と、類似
度の低い領域を対象の移動物体の候補として抽出する物
体候補抽出部４２からなる。

【００５０】外乱除外部４１の正規化相関処理部411
は、ｔ−１時刻に入力した画像とｔ時刻に入力した画
像の２フレームを用い、統合領域4910〜4940に限定し
た同一領域間で正規化相関による濃淡パターンマッチン
グを行なう。類似度判定部412は正規化相関値による類
似度を所定値と比較し、外乱か否かの判定を行う。

【００５１】移動人物300は入力画像の統合領域4920
には存在せず、入力画像の統合領域4920にのみ存在す
る。しかし、両画像の統合領域4920には窓600の枠や柱
が存在し、且つ、カメラ２に対する窓600と屋外人物300
の遠近関係から、相対的に窓枠等が大きく見え、人物30
0は見え隠れする。従って、統合領域4920に占める窓部
の背景画像によって、正規化相関値がある程度の大きさ
となり、類似度は高いと評価される。

【００５２】同様に、蛍光燈周辺部のちらつきを含む統
合領域4940は、蛍光燈500の本体が両画像に残るため類
似度が大きく、正規化相関値も大きい。ＯＡ機器400の
反射光のちらつきによる統合領域4930も同様で、正規化
相関値は大きい。

【００５３】一方、移動人物200は入力画像の統合領
域4910には存在せず、入力画像の統合領域4910に存在
する。統合領域4910では人物200がカメラ２側に存在す
るので、背景のＯＡ機器等の大半が移動人物200に隠れ
てしまい、背景の類似度は小さい。従って、正規化相関
値も小さい。なお、人物200が室内の備品の後方に位置
し、類似度が高くなって外乱と評価されるケースも考え
られるが、一般にカメラ２は室内の見通しが最もよい位
置に設置され、また、必要に応じて複数台のカメラを設
置するので、このような死角が発生することは皆無に近
い。

【００５４】このように、外乱となる移動体の統合領域
には、フレーム間の両画像に共通の背景が多く残ってい
るので類似度が高く、その統合領域間における正規化相
関値が大きくなるので、外乱として除外できる。一方、
屋内の移動体の場合は、カメラ２寄りであり、共通の背
景の類似度が低く正規化相関値が小さいので、対象移動
体候補、すなわち屋内の移動人物の候補として抽出でき
る。図１４に、対象移動物体候補として抽出された人物
200を含む統合領域4910を示す。

【００５５】図１５に、正規化相関処理部の機能ブロッ
ク図を示す。まず、テンプレートパターン作成部4110
で、２フレーム間の一方の画像（例えば画像）におけ
る統合領域の画像をテンプレートパターンとして作成す
る。パターンマッチング領域設定部4111は、他方の画像
（例えば画像）における同一の統合領域をマッチング
領域に設定し、濃淡パターンマッチング部4112で正規化
相関処理による濃淡パターンマッチングを行う。

【００５６】図１６に、外乱除外処理のフローチャート
を示す。まず、２フレームの入力画像のうち、時刻ｔで
入力画像Ｆｉとして取り込んだシーンに対し、２値画像
統合処理部352で作成した全ての統合領域の濃淡画像
を、それぞれテンプレートパターンとして登録する（ｓ
２０１）。また、直前の時刻ｔ−１で取り込んだ入力画
像Ｆｉ−１に対して、上記の各統合領域と同一の領域を
それぞれパターンマッチング領域として設定する（ｓ２
０２）。なお、入力画像Ｆｉ，Ｆｉ−１に対し上記とは
反対に、テンプレートパターンとマッチング領域を設定
してもよい。

【００５７】次に、登録したテンプレートパターンの１
つにより、対応するマッチング領域に対する濃淡パター
ンマッチング処理を行い、類似度を算出する（ｓ２０
３）。類似度は数３により正規化相関値を求め、マッチ
ング領域がテンプレート領域より広い場合は相関値の最
大値を類似度とする（ここでは、両者の領域は同一であ
り、算出した相関値が類似度となる）。

【００５８】

【数３】

【００５９】ここで、ｒ(u,v)：(u,v)座標における類似
度、ｆ(u+i,v+j)：(u,v)座標近傍の対象画像の濃度値、
Ｔ(i,j)：テンプレート画像の(i,j)座標の濃度値、ｐ,
ｑ：テンプレート画像のｘ,ｙサイズをそれぞれ示す。

【００６０】この正規化相関処理は、登録テンプレート
パターンと対象画像の明るさを正規化し、その明るさの
差を求めるものであり、文献（「車番認識システムの濃
淡パターンマッチング処理の応用」；情報処理学会第49
回全国大会，平成６年後期）等に公知の手法である。

【００６１】次に、算出した類似度が所定値（しきい
値）以上か判定し（ｓ２０４）、所定値以上の場合は、
背景と類似しているため外乱と判定する（ｓ２０５）。
一方、所定値未満の場合は背景と類似していないため、
屋内への侵入人物の候補と判定する（ｓ２０６）。屋内
への侵入人物の場合、類似度は０．６５〜０．９３程度
となる。ステップｓ２０３からの処理を、登録した全て
のテンプレートパターンについて繰返し実行する（ｓ２
０７）。

【００６２】このように、本実施例によれば、２フレー
ムの変化部分を含む統合領域間の正規化相関処理で紛ら
わしい外乱を除去し、屋内への浸入人物を２フレームの
入力画像のみで識別して検出できる。この際、物体候補
抽出部４２は、外乱が除去された後に残った統合領域を
直ちに侵入人物の候補として抽出してもよい。しかし、
本実施例では以下の追跡処理を行って、追跡可能な場合
に侵入人物の候補として抽出する。

【００６３】図１７は、追跡処理を行う物体候補抽出部
の機能ブロック図を示す。追跡用テンプレートパターン
登録部421は、２フレームの一方となる第１の入力画像
に対して、外乱除去後の統合領域と同一領域（追跡元統
合領域）を追跡用テンプレートパターンとして登録す
る。この追跡用テンプレートパターンは、上記の外乱除
外部４１で作成したテンプレートを利用できる。また、
追跡領域設定部422は、第２の入力画像に対して、上記
の統合領域に所定の周辺領域を含む追跡領域を設定す
る。

【００６４】図１８は、追跡領域の設定方法の説明図
で、移動人物200の追跡範囲を示す。人物200の移動速度
に追随してオンライン監視する場合、統合領域4910をテ
ンプレートとしてパターンマッチングを行う追跡範囲56
00は、統合領域4910の左右に人物200のＸ方向移動速度
に応じた距離5610を、上下にＹ方向移動速度に応じた距
離5620を広げて設定する。

【００６５】また、室内の配置から移動方向がある程度
予測できる場合、例えば左右に統合領域4910の横の長さ
の２〜３倍、上下に縦の長さの０．５〜１．０倍のよう
に追跡範囲5600を設定する。また、テンプレートを設定
する第１の画像における人物200の位置から移動方向を
予測し、第１の画像が時間的に早く人物がシーンの左側
にいる場合、直後の第２の画像では人物はシーンの右方
向に移動するので、統合領域4910の右方向に広げた範囲
に設定すればよく、追跡範囲を狭くできるので処理時間
を短縮できる。いずれにしても、追跡領域設定部422で
移動方向を予測して追跡範囲を適切に設定すれば、処理
効率を向上できる。

【００６６】追跡処理部423は追跡用テンプレートパタ
ーンにより、上記の追跡領域を数３の正規化相関処理に
よって追跡する。追跡ができた場合、すなわち追跡領域
内に追跡用テンプレートパターンと同等領域が存在する
とき、追跡先統合領域相関処理部424は第２の入力画像
における上記の同等領域を再テンプレートパターンとし
て登録し、第１の入力画像における上記の同等領域と同
一の領域に対し正規化相関処理を行う。物体候補判定部
425は、正規化相関処理で算出した類似度を判定し、所
定値より低い類似度のとき人物候補と判定し、上記の追
跡用テンプレートパターン及び／又は再テンプレートパ
ターンに対応する統合領域を抽出する。

【００６７】図１９は、物体候補抽出部の動作をイメー
ジ的に示す説明図である。ここでは、第１の画像を現時
刻ｔの入力画像、第２の画像を直前ｔ−１の入力画像
とする。まず、第１の入力画像において、人物200を
含む統合領域4910と同一位置を追跡用テンプレートパタ
ーンとして登録する。

【００６８】次に、第１、第２の入力画像における追跡
元統合領域（ここでは、領域4910）同士の正規化相関を
行い、類似度がしきい値以下の場合に、第２の入力画像
に統合領域4910を所定の範囲広げた追跡領域5600を設定
する。なお、追跡元統合領域同士の正規化相関は、外乱
除外部４１の結果を利用して省略してもよい。

【００６９】次に、追跡領域5600に対し追跡用テンプレ
ートによる正規化相関の追跡を行い、領域4910と異なる
領域に移動人物200が追跡できると、追跡先の領域5710
（追跡先統合領域）を生成する。さらに、追跡先の統合
領域5710の画像を再度テンプレートパターンに登録し、
統合領域5710と同一位置の入力画像に対して正規化相
関を行う。この結果、入力画像の追跡先統合領域5710
に移動人物200が存在していなければ、第１入力画像及
び／又は第２入力画像の追跡元統合領域（統合領域571
0）は移動人物候補となる。

【００７０】一方、屋外の人物300の統合領域4920が外
乱除去部４１で除去できなかった場合を仮定すると、同
様な追跡処理が実行される。すなわち、第１の入力画像
に設定した領域4920と同一位置のテンプレートパターン
で、第２の入力画像の追跡領域5720を追跡する。この結
果、同一位置4920での正規化相関は、人物300の前面に
ある背景部により類似度が高くなり、抽出候補ではない
と判定される。仮に、同一位置4920での類似度がしきい
値以下で、人物300の見え隠れする領域5730で追跡が可
能になった場合、第２と第１の画像の追跡先統合領域57
30同士で再び正規化相関を行なう。しかし、領域5730は
背景が前面となる領域なので、人物300が背景に隠れて
類似度が高くなり、再び移動人物と判定される確率は低
い。

【００７１】このように、現入力画像と直前入力画像の
２フレームを用いて、追跡元統合領域同士での相関、所
定の追跡範囲での追跡、追跡できた先の領域（追跡先統
合領域）同士での相関により、屋内に浸入する人物の候
補の抽出が高精度に可能になる。しかも、２フレームの
入力画像の取り込みによって高速処理できるので、複数
のカメラを高速に切り換えて複数のエリアを監視する場
合等に好適である。

【００７２】図２０は、移動物体（人物）候補選択部の
抽出手順を示すフローチャートである。まず、２フレー
ムの入力画像の今回の入力画像Ｆｉに対し、変化領域統
合抽出部３０で作成した現時刻ｉでの統合領域の濃淡画
像を、テンプレートパターンとして登録する（ｓ３０
１）。また、前回の入力画像Ｆｉ−１に対し、現時刻ｉ
での統合領域の周辺を広げ、探索領域として設定する
（ｓ３０１）。

【００７３】次に、登録した濃淡テンプレートパターン
を用い、設定した探索領域に対して、濃淡パターンマッ
チング処理を行い最も類似度の大きい位置、すなわち追
跡先統合領域位置を算出する（ｓ３０３）。類似度の算
出は、数３の正規化相関処理による。

【００７４】次に、探索領域における類似度の最大値
（追跡元統合領域を除く）が所定値以上か判定し（ｓ３
０４）、所定値以下の場合は探索領域にテンプレートと
の類似物体がないので、候補物体ではないと判定して抽
出を行わない（ｓ３１１）。処理ｓ３０４における類似
度の所定値（しきい値）は、室内の移動人物の場合で
０．３５〜０．５５程度である。

【００７５】一方、類似度の最大値が所定値以上で、探
索領域に類似物体を追跡できた場合は移動体の可能性が
高い。そこで、入力画像Ｆｉ−１の最大類似度の位置
（追跡先統合領域）の濃淡画像をテンプレートパターン
として登録（ｓ３０５）し、入力画像Ｆｉに対し、追跡
先統合領域と同一領域をパターンマッチング領域として
設定し（ｓ３０６）、両画像の追跡先統合領域同士の正
規化相関処理による濃淡パターンマッチング処理を行
い、類似度を算出する（ｓ３０７）。

【００７６】次に、算出した類似度が所定値以下か判定
する（ｓ３０８）。この所定値は、室内の移動人物の場
合で、類似度０．７３〜０．９３程度である。判定によ
り、所定値以下であれば、両画像の追跡先統合領域は類
似物体ではない。従って、今回の入力画像Ｆｉから作成
した現時刻ｉでの統合領域は、前回の入力画像Ｆｉ−１
の追跡先統合領域から移動した物体と推定でき、候補物
体と判定して抽出する（ｓ３０９）。一方、類似度が所
定値以上であれば、追跡先統合領域の背景が類似してい
るものと推定でき、候補物体でないと判定する（ｓ３１
０）。

【００７７】以上の処理を統合領域の全てについて繰返
し行う（ｓ３１２）。なお、上記処理を外乱除外と兼用
して行う場合は、処理ｓ３０１の直後に、両画像の追跡
元統合領域同士の正規化相関処理による濃淡パターンマ
ッチング処理を行い、類似度が所定値（０．７３〜０．
９３程度）以上の場合、両者は類似物体であり外乱と見
て除外する。そして、残った統合領域に対し、処理ｓ３
０２以下の追跡処理を行う。

【００７８】図２１は、一実施例による移動物体識別部
の機能ブロック図である。移動物体（人物）識別部５０
は、物体候補抽出部４２による候補物体の画像から人物
を識別する。特徴量算出部５１は、移動物体候補として
抽出された統合領域の２値画像と、画像入力処理部１０
で入力した濃淡画像（又は輝度変換した画像）を用い
て、２値画像特徴量と濃淡画像特徴量を算出する。物体
判別部５２は、これら特徴量に基づいて移動物体が所定
物体、すなわち人物であるか判別する。人物と判定する
と、表示制御部６０へ出力する。

【００７９】図２２に、特徴量算出部の機能ブロック図
を示す。特徴量算出部５１ は、２値画像から面積、縦
横比、移動距離を算出し、濃淡画像から平均輝度、分散
値、斜め成分割合を算出する。

【００８０】まず、物体候補抽出部４２で抽出した物体
候補領域における２値画像を用いて、面積算出部511で
面積を算出し、縦横比算出部512で縦横比を算出し、移
動距離算出部513で直前からの移動距離及び出現始点か
らの移動距離を算出する。次に、画像入力処理部１０か
らの入力画像で物体候補領域の濃淡画像を用いて、輝度
算出部514で平均輝度値を算出し、分散値算出部515で輝
度の分散を算出し、縦成分割合算出部516で縦成分の割
合を算出する。

【００８１】面積算出部511は、２値画像の画素数を計
算して面積を算出する。縦横比算出部512は、２値画像
の統合領域のＸ方向の長さとＹ方向の長さとの割合を縦
横比として算出する。又は、２値画像をＸ方向に投影し
てＸ軸の位置毎の画素数を累積したＸ投影分布と、Ｙ方
向に投影してＹ軸の位置毎の画素数を累積したＹ投影分
布との割合を縦横比として算出する。輝度算出部514
は、濃淡画像（又は輝度変換した画像）の平均輝度を算
出する。分散値算出部515は、濃淡画像（又は輝度変換
した画像）の輝度分散を算出する。

【００８２】図２３は、移動距離算出部の算出例を示す
説明図である。移動距離算出部513は、直前からの移動
距離（直前移動距離）及び出現始点からの移動距離（始
点移動距離）を算出する。直前移動距離は物体候補領域
である２値画像の統合領域4910の重心を用い、ｉ回目の
重心ｐ３とｉ−１回目の重心ｐ２との間の長さをｉ回目
の距離7250として算出し、ｉ−１回目の重心ｐ２とｉ−
２回目の重心ｐ１との間の長さをｉ−１回目の距離7240
として算出する。但し、初回（０回目）の移動距離を０
とする。

【００８３】以下、同様に直前との重心を用いて直前移
動距離を算出する。始点移動距離は、物体候補領域であ
る２値画像の統合領域4910の重心を用い、最初に出現し
た重心を０回目の重心、例えば、ｐ１を基準にして、ｉ
回目の重心との距離7260を算出する。以下、同様に０回
目の重心ｐ１を基準にして始点移動距離を算出する。

【００８４】図２４は、一実施例による縦成分割合算出
部を示す機能ブロック図である。物体候補領域である２
値画像の統合領域において、画像入力処理部１０からの
濃淡画像を用いて、Ｘ方向微分算出部7420でＸ方向の微
分処理を行ってエッジの縦成分を算出し、Ｙ方向微分算
出部7430でＹ方向の微分処理を行ってエッジの横成分を
算出する。Ｘ方向微分画像整形処理部7450が、Ｘ方向微
分算出部7420で算出したＸ方向微分画像に最大値フィル
タ処理等を行ってＸ方向微分画像を整形し、Ｙ方向微分
画像整形処理部7440が、Ｙ方向微分算出部7430で算出し
たＹ方向微分画像に最大値フィルタ処理等を行ってＹ方
向微分画像を整形する。

【００８５】Ｘ方向微分画像とＹ方向微分画像との相関
処理部7460が、Ｘ方向微分画像とＹ方向微分画像との正
規化相関を、数３の手法で行う。縦成分比算出部7470
は、Ｘ方向微分画像とＹ方向微分画像及び相関処理部74
60で算出した類似度を用いて、縦成分の割合を算出す
る。

【００８６】図２５は、一実施例による縦成分比算出の
手順を示すフローチャートである。まず、Ｘ方向微分処
理画像とＹ方向微分処理画像との類似度が所定値より低
いかをチェックする（ｓ４０１）。この類似度は、屋内
の移動人物の場合、約０．６５未満ならば低いと判定す
る。

【００８７】類似度が低い場合、斜め成分の割合が少な
いと推定されるので、Ｘ方向微分処理画像と、Ｙ方向微
分処理画像を２値化処理し（ｓ４０２）、２値画像に対
して画素数をカウントしたＸ成分面積と、Ｙ成分面積を
算出する（ｓ４０３）。Ｘ成分面積とＹ成分面積を比較
し（ｓ４０４）、Ｘ成分面積が多い場合には縦方向の成
分が多いと判定し（ｓ４０５）、Ｘ成分面積が少ない場
合には縦方向の成分が少ないと判定する（ｓ４０６）。

【００８８】一方、処理ｓ４０１の判定で類似度が高い
場合は、斜め成分の割合が多いと推定されるので、縦成
分が少ないと判定する（ｓ４０７）。最後に、物体候補
領域が全て終了したか否かチェックし（ｓ４０８）、終
了していない場合は処理ｓ４０１に戻る。

【００８９】図２６は、輝度分布状態の判定の手順を示
すフローチャートである。輝度分布状態は、輝度算出部
514による平均輝度と、分散値算出部515による輝度分散
により識別する。

【００９０】まず、物体候補領域である２値画像の統合
領域において、画像入力処理部１０から入力した濃淡画
像（又は輝度変換した画像）の平均輝度及び輝度の分散
値を算出する（ｓ５０１）。または、物体候補領域であ
る２値画像に限定したマスク領域において、画像入力処
理部１０から入力した濃淡画像の平均輝度及び輝度の分
散値を算出してもよい。

【００９１】次に、算出した輝度の分散値を所定値より
小さいかチェックする（ｓ５０２）。屋内の移動人物の
場合、所定値は４．０〜１０．０程度である。所定値よ
り大きい場合は輝度分布が一様でないと判断し（ｓ５０
３）、所定値以下の場合は輝度分布が一様であると判断
する（ｓ５０４）。

【００９２】図２７は、一実施例による物体識別の手順
を示すフローチャートで、物体識別部５０の判別部５２
によって処理される。まず、面積算出部511で算出した
候補物体の面積をチェックし（ｓ６０１）、ここでは、
人物としての最大範囲を越える面積の場合は外乱と判定
する（ｓ６１０）。なお、人物として小さすぎる面積の
物体については、上記のように抽出領域統合部３５で除
去している。

【００９３】面積が所定値以下の候補物体に対し縦横比
により形状が横長か判定する（ｓ６０２）。縦横比が所
定値以上で、横長であれば外乱と判定する。例えば、人
物がしゃがんだ態勢では横長とは判定しない。横長でな
い場合、直前からの移動距離をチェックする（ｓ６０
３）。直前からの移動距離が、人間の移動速度の範囲を
越える所定値以上ならば、非人物の高速移動体であり、
飛来物や落下物と判定するか、外乱とする。

【００９４】次に、候補物体の出現視点からの移動距離
（ここでは、第１の入力画像と第２の入力画像間におけ
る候補物体の移動距離）が所定値以上か判定する（ｓ６
０４）。所定値以下であれば、カーテン等のゆれであり
外乱と判定する。もちろん、浸入人物が出現視点に止ま
っていることも予想されるので、とりあえず人物候補と
判定（ｓ６１１）して、次回の入力画像による最終判定
に委ねるようにしてもよい。

【００９５】出現視点からの移動距離が所定値以上の場
合は、候補物体の輝度分布をチエックする（ｓ６０
５）。輝度分布が一様でない場合は、縦成分が多いかチ
エックし（ｓ６０６）、縦成分が多い場合は人物である
と判定する（ｓ６０９）。また、輝度分布が一様な場合
は、明るい輝度分布かチエックし（ｓ６０７）、暗い輝
度分布の場合は縦成分が多いかチエックし（ｓ６０
８）、そうであれば人物と判定する。暗い輝度分布で縦
成分が少なければ影等であり外乱となる。

【００９６】上記において、例えば、目視で明らかに全
身が確認できる通常速度で移動している人物を検出する
場合、処理ｓ６０２の縦横比を約５：１（立っている人
物の場合）や１：５（伏せている状態の人物）、処理ｓ
６０３での直前移動距離のしきい値を約２０〜３０画素
とすればよい。これらのしきい値は、視野範囲、移動速
度の変化、姿勢の変化等によるシーンでの見え方によっ
て、適宜変更するようにしてもよい。

【００９７】図２８は、識別結果の画面表示例である。
屋内の移動人物200を検知すると、表示制御部６０は、
データ格納部に格納した人物200を含む統合領域の座標
を用いて、表示装置３の監視画面9500に統合枠9700を表
示する。検知人物200のデフォルトは、統合枠9700によ
らずに色別や明滅などによってもよい。

【００９８】図２９は、識別結果の他の画面表示例で、
検知人物とその移動軌跡を表示している。表示制御部６
０はｉ回目、ｉ−１回目、ｉ＋２回目と時系列で人物を
識別すると、ｉ回目の検知人物200を画面9500に表示
し、更に、移動距離算出部513で算出してある、ｉ回目
の重心7230と直前のｉ−１回目の重心7220とその移動方
向矢線7250と、ｉ−１回目の重心7220とｉ−２回目の重
心7210及び矢線7240を表示する。

【００９９】図３０は、更に他の表示例で、検知した人
物を時系列に表示した例である。表示制御部６０は、ｉ
回目の検知人物200、ｉ−１回目の検知人物199、ｉ−２
回目の検知人物198を検知した位置に対応して表示画面9
500に表示する。

【０１００】このように、監視領域の検知人部や移動状
態を表示することにより、監視者は、モニタ画面でオン
ラインに把握できる。また、ＴＶカメラ２からＲＳ−２
３２Ｃ等の通信手段で遠隔地に画像または人物検知を報
知して、遠方のモニタ画面やＴＶ電話等に表示してもよ
い。

【０１０１】図３１は、本発明を適用する移動物体監視
システムの概略の構成を示す。本例は、カメラ首振り部
110によりＩＴＶカメラ100のアングルを100a，100bと切
り換え、複数シーンの監視を行う。ＩＴＶカメラ100が
アングル100aの位置で停止すると、カメラ選択部120は
アングル100aのシーンを選択して監視装置本体１に画像
を入力し、移動物体の監視処理を行う。また、カメラ10
0が100bの位置で停止すると、カメラ選択部120はアング
ル100bのシーンを選択する。監視装置本体１は上記のよ
うに、シーン毎に２フレームの画像を取り込んで、正規
化相関処理による外乱除去や移動物体追跡の処理を行
い、屋内に浸入した人物の監視を行う。

【０１０２】図３２は、本発明の他の適用例による移動
物体監視システムの概略の構成を示す。本例は複数のＩ
ＴＶカメラ100，101，．．．，105を設置し、カメラ切
替部150で監視対象シーンのカメラに切り替えて画像を
取り込み、監視装置本体１に画像を入力して、移動物体
の監視処理を行う。

【０１０３】上記適用例におけるカメラ選択部120やカ
メラ切替部150によるシーンの切り換えは、自動監視の
場合に周期的に行われる。切り換え周期は、２フレーム
の画像の取り込みによる監視処理の期間以上であればよ
く、たとえば０．１秒程度で十分である。従って、多数
のフレームを次々と追跡する従来の監視装置に比べて高
速の切り換えができるので、１台の監視装置とモニタで
複数シーンのオンライン監視が可能になるので、１人の
監視者や遠隔地からの集中監視が実現でき、システムコ
ストも低減できる。

【０１０４】

【発明の効果】本発明の移動体監視方法は、監視エリア
の２フレーム間の画像の差分による変化領域を抽出し、
前記変化領域に対応する両フレームの濃淡画像間で正規
化相関処理によるパターンマッチングを行い、類似度が
所定値以上の場合は移動体の無い状態での背景画像によ
る類似と推定して外乱と判定し、類似度が低い変化領域
のみを移動物体またはその候補物体として検知する。

【０１０５】これによれば、屋内や類似領域へ浸入する
人物を監視する場合に、屋内で揺れ動くカーテン等やち
らつきによる照明器具や反射物体はもちろん、窓越しに
見え隠れする屋外の移動物体等も外乱として除去できる
ので、屋内の移動体監視を簡単、かつ、高速に実現でき
る効果がある。

【０１０６】また、前記変化領域は近距離の分断画像を
纏め、その外接矩形による統合領域として生成し、この
統合領域を基にパターマッチングを行うので、監視処理
が簡単で、一つのシーンに複数の移動物体が存在する場
合にも容易に識別できる。

【０１０７】さらに、前記統合領域を追跡元領域として
第１の画像でテンプレートパターンを作成し、その前／
後の第２の画像の前記追跡元領域の所定周辺を探索領域
としてパターンマッチングによる追跡を行い、追跡がで
きた場合に追跡先領域の第２の画像でテンプレートパタ
ーンを作成し、前記追跡元領域に対応する第１の画像の
領域とパターンマッチングを行って類似度が低い場合、
前記追跡元領域を移動物体と判定するので、わずか２フ
レーム間の追跡で移動体の検出精度を向上できる。

【０１０８】本発明の移動体監視方法によれば、２フレ
ームの入力画像による移動体検出ができるので、複数の
ＴＶカメラまたはカメラアングルの切り換えによる複数
シーンのオンライン監視が可能になり、集中監視やシス
テムコストの低減を実現できる。

【図面の簡単な説明】

【図１】本発明の一実施例による移動物体監視装置の機
能ブロック図。

【図２】本発明を適用する屋内監視エリアの状態と、窓
から見える屋外の状態を示す説明図。

【図３】一実施例による画像入力処理部の機能ブロック
図。

【図４】画像の輝度変換を説明する特性図。

【図５】一実施例による変化領域抽出統合部を示す機能
ブロック図。

【図６】２値化しきい値の自動算出を示す説明図。

【図７】一実施例による抽出領域統合部の機能ブロック
図。

【図８】図２の監視エリアにおける２フレーム間の差分
・２値画像で、変化領域（実線）を示す説明図。

【図９】変化領域の統合処理によって統合領域を生成す
る手順の一実施例を示すフローチャート。

【図１０】統合処理で、統合する変化領域間の許容範囲
を示す説明図。

【図１１】図８の差分・２値画像で、変化領域に対する
統合領域を矩形枠で示す説明図。

【図１２】フレーム，の濃淡画像に、統合領域をウ
インドウ設定したシーンを示す説明図。

【図１３】一実施例による外乱除外部を示す機能ブロッ
ク図。

【図１４】図１２（ｂ）かから外乱を除外した説明図。

【図１５】一実施例による正規化相関処理部の機能ブロ
ック図。

【図１６】正規化相関による濃淡パターンマッチングで
外乱を除外する一実施例を示すフローチャート。

【図１７】一実施例による物体候補抽出部の機能ブロッ
ク図。

【図１８】追跡範囲の設定方法を示す説明図。

【図１９】追跡によって候補物体を抽出するイメージを
示す説明図。

【図２０】正規化相関による濃淡パターンマッチングで
候補物体を抽出する追跡手順の一実施例を示すフローチ
ャート。

【図２１】一実施例による移動物体（人物）識別部の機
能ブロック図。

【図２２】一実施例による特徴量算出部の機能ブロック
図。

【図２３】移動距離の算出方法を示す説明図。

【図２４】一実施例による縦成分割合算出部の機能ブロ
ック図。

【図２５】縦成分比の算出手順の一実施例を示すフロー
チャート。

【図２６】輝度分布状態の判定手順の一実施例を示すフ
ローチャート。

【図２７】物体（人物）の識別手順の一実施例を示すフ
ローチャート。

【図２８】一実施例による識別結果の表示図。

【図２９】他の実施例による識別結果の表示図。

【図３０】さらに他の実施例による識別結果の表示図。

【図３１】本発明の一適用例で、複数シーンの監視を行
うシステムの概略の構成図。

【図３２】本発明の他の適用例で、複数シーンの監視を
行うシステムの概略の構成図。

【図３３】本発明の移動体監視方法の作用を示す概念
図。

【符号の説明】

１…監視装置本体、２…ＩＴＶカメラ、３…表示装置、
１０…画像入力処理部、１１…Ａ／Ｄ変換部、１２…ノ
イズ除去・輝度変換部、２０…差分画像作成部、３０…
変化領域抽出統合部、３１…輝度頻度分布算出部、３２
…ノイズ除去部、３３…２値かしきい値算出部、３４…
２値画像作成部、３５…抽出領域統合部、４０…移動物
体候補選択部、４１…外乱除去部、411…正規化相関処
理部、412…類似度判定部、４２…物体候補抽出部、421
…追跡用テンプレートパターン登録部、422…追跡領域
設定部、423…追跡処理部、424…追跡先矩形領域相関処
理部、425…物体候補判定部、５０…移動物体（人物）
識別部、５１…特徴量算出部、５２…物体（人物）判別
部、６０…表示制御部、100〜105…ＩＴＶカメラ、110~
カメラ首振り部、120…カメラ選択部、150…カメラ切替
部、200,300…移動人物、500…蛍光燈、600…窓。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 豊島 修次 茨城県ひたちなか市稲田1410番地 株式 会社日立製作所 映像情報メディア事業 部内 (56)参考文献 特開 平８−106534（ＪＰ，Ａ) 特開 平５−14897（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/18

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】 ＩＴＶカメラなどの撮像手段の画像によ
   り、監視領域に入る移動物体を監視する方法において、 取り込んだ画像信号の２フレーム間画像の差分を用いて
   変化領域を抽出し、変化領域毎に両画像間の正規化相関
   処理による濃淡パターンマッチングを行い、類似度が所
   定値より高い場合に当該変化領域を外乱とみなし、類似
   度が低い変化領域を移動物体として検出することを特徴
   とする移動物体の監視方法。
2. 【請求項２】 請求項１において、 差分画像または差分・２値画像上で近接する変化領域同
   士を一まとめにする統合領域を生成し、この統合領域毎
   に前記濃淡パターンマッチングを行なうことを特徴とす
   る移動物体の監視方法。
3. 【請求項３】 請求項１または２において、 前記２フレームの一方の画像で前記変化領域または前記
   統合領域による追跡元領域をテンプレートパターンと
   し、他方の画像で前記追跡元領域に対応する領域の所定
   周辺を探索領域とし、前記テンプレートパターンにより
   前記探索領域を濃淡パターンマッチングによって追跡
   し、前記探索領域での最大類似度が所定値以上になって
   追跡が可能となったとき、前記最大類似度となる追跡先
   領域をテンプレートパターンとし、前記一方の画像で前
   記追跡先領域に対応する領域との間で前記濃淡パターン
   マッチングを行い、類似度が所定値より低い場合に、前
   記追跡元領域を移動物体として検出することを特徴とす
   る移動物体の監視方法。
4. 【請求項４】 請求項１、２または３において、 検出された移動物体の変化領域または統合領域に対し画
   像の特徴量を判定し、人物を検出することを特徴とする
   移動物体の監視方法。
5. 【請求項５】 ＩＴＶカメラなどの撮像手段の画像によ
   り、監視領域に入る移動物体を監視する方法において、 取り込んだ画像信号の２フレーム間画像の差分を用いて
   変化領域を抽出し、近接する変化領域を一まとめにする
   統合領域毎に、前記２フレームの一方の濃淡画像から作
   成したテンプレートパターンで、他方の濃淡画像で前記
   統合領域の所定周辺に設定した探索領域を濃淡パターン
   マッチングにより追跡し、追跡が可能となったときにそ
   の追跡先領域をテンプレートパターンとし、前記一方の
   濃淡画像の前記追跡先領域に対応する領域との前記濃淡
   パターンマッチングを行うことを特徴とする移動物体の
   監視方法。
6. 【請求項６】 監視領域に設置されたＩＴＶカメラなど
   の撮像手段と、その画像を処理して監視領域の移動物体
   を検出する監視装置本体と、検出した移動物体を報知す
   る表示装置などのモニタを備える移動物体の監視装置に
   おいて、 前記画像の少なくとも２フレーム取り込みＡ／Ｄ変換す
   る入力手段、２フレームの画像間の差分により変化領域
   を抽出する差分画像作成手段、近接する変化領域を一つ
   の統合領域にまとめる変化領域統合手段及び前記統合領
   域毎に両画像間の正規化相関処理による濃淡パターンマ
   ッチングを行い、類似度が所定値より低い変化領域を移
   動物体と判定する移動物体検出手段を、前記監視装置本
   体に設けたことを特徴とする移動物体の監視装置。
7. 【請求項７】 請求項６において、 検出された移動物体またはその軌跡を、前記モニタに識
   別可能に表示することを特徴とする移動物体の監視装
   置。
8. 【請求項８】 複数の監視領域を撮像可能に設置された
   １または複数のＩＴＶカメラ等の撮像手段と、その画像
   を処理して監視領域の移動物体を検出する監視装置本体
   と、検出した移動物体を報知する表示装置などのモニタ
   を備える移動物体の監視装置において、 前記監視装置本体は、監視領域毎に時系列の少なくとも
   ２フレームの画像を取り込み、２フレーム間差分によっ
   て抽出した変化領域について両画像間の正規化相関処理
   による濃淡パターンマッチングを行い、類似度が低い変
   化領域を移動物体として検出する機能を有し、 前記撮像手段は、前記監視装置本体による少なくとも前
   記２フレームの画像の処理期間を保持して、複数の監視
   領域の切り換えまたは選択を行う手段を有してなること
   を特徴とする移動物体の監視装置。