JP3569163B2

JP3569163B2 - Moving object monitoring device

Info

Publication number: JP3569163B2
Application number: JP19135199A
Authority: JP
Inventors: 小沼　　知恵子; 小林　　芳樹; 久雄大田和; 喜郎佐久間
Original assignee: Secom Co Ltd; Hitachi Ltd
Current assignee: Secom Co Ltd; Hitachi Ltd
Priority date: 1999-04-23
Filing date: 1999-07-06
Publication date: 2004-09-22
Anticipated expiration: 2019-07-06
Also published as: JP2001008189A

Description

【０００１】
【発明の属する技術分野】
本発明は、移動物体監視装置に関し、特に動きの少ない物体も確実に検出できる移動物体監視装置に関する。
【０００２】
【従来の技術】
画像による移動体監視装置として、監視エリアをＩＴＶカメラで撮影して、前画像と後画像との差分から動きの方向と大きさの動きベクトルをブロック単位で抽出し、連続ブロック内でほぼ同じ基準値と比較して目標移動物体を判別する方法が知られている（特開平９−２５２４６７号）。
【０００３】
また、検出物体をテンプレートとして登録し、登録テンプレートと最も一致する位置の移動量を算出してテンプレートを更新しながら移動物体を検出する方法が知られている（特開平９−３２２１５５号）。
【０００４】
【発明が解決しようとする課題】
上記した従来技術で、前者の方法は、連続ブロック間でほぼ同じ動きをする、ある程度以上移動する物体の検出が可能である。また、後者の方法は、移動物体の形状等が変形しない場合や距離が比較的近い場合に、移動物体の早期検出が可能である。
【０００５】
しかし、侵入者等の移動体検知においては、フレーム間における画像の変化が様々となる。侵入者等は、移動が超低速であったり、物陰に隠れて画像が変形したり、立ち止まったり、あるいは、高速に移動したり、様々な動きをする。これらの状態に加えて、夜間等には懐中電灯や車のヘッドライトによる部分的な照射により、明るさが部分的に変化するため、連続ブロック間でほぼ同じ動きをする保証がない。また、点灯している照明を意図的に消灯したりして、明るさが全体的に激変することもある。このように環境変動が激しく、様々な動きが発生する状態では、背景画像の作成も困難になり、外乱と侵入者を早期に識別できないことが多い。
【０００６】
本発明の目的は、上記した従来技術の問題点を克服し、物体の動き状態にかかわらず、移動が多くてもわずかでも、照明が部分的に照らされても、背景画像を自働作成し外乱と区別して、早期に侵入者を検知する移動物体監視装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成する本発明は、監視エリアの画像を取り込むＩＴＶカメラ等の撮像手段と、取り込み画像を画像処理して監視エリアの移動物体を検出する画像処理手段と、検出した結果を出力する出力手段を備えた移動物体監視装置において、前記画像処理手段は、画像間の差分から抽出した変化領域を候補物体とし、今回の画像による現候補物体と直前の画像による候補物体との距離が所定値以上となる移動状態が所定回数（しきい値１）以上、かつ、最初の候補物体の位置から現候補物体までの移動距離が所定距離（しきい値２）以上となるとき、当該候補物体を監視対象の移動物体と判定する機能を有してなることを特徴とする。また、前記画像処理手段は、直前の候補物体が複数ある場合に、その中心が現候補物体と重ならない候補物体で、かつ現候補物体に最も近い候補物体を対応させることを特徴とする。
【０００８】
これにより、候補の追跡が所定回成功して物体検知とする。また、監視対象が人物の場合、著しく移動の速い物体や外乱（車のライト、飛行物の影など）を除去できる。さらに、直前候補の中心が現候補の領域に重なる場合は、照明のちらつきや旗の揺れなどであり、これら外乱を除去することで検出精度を向上できる。
【０００９】
また、本発明は、現候補物体と直前の画像の中で最も近い候補物体を対応させ、この対応候補間の距離が所定値以上となる状態を移動モード、現候補物体が存在しない状態を消失モードとし、移動モードが所定回数（しきい値１）以上および／または最初の候補物体の位置から現候補物体までの移動距離が所定距離（しきい値２）以上となるとき、当該候補物体を監視対象の移動物体と判定するとともに、前記消失モードの場合に設定された保持時間までは前記候補物体を保持する機能を有してなることを特徴とする。
【００１０】
また、前記対応候補間の距離が前記所定値未満となる状態を停止モードとし、前記停止モードから前記消失モードに遷移するときは、前記移動モードから前記消失モードに遷移するときに比べて、前記保持時間を長く設定する。
【００１１】
これにより、侵入者が立ち止まったり、物かげに隠れたりする行動で、入力画像から候補物体が消失するような場合、前記保持時間の間は直前画像を保持して追跡を継続しているので、再び候補物体が現われると直ちに追跡を開始するので、侵入者の不審な行動パターンに追随して、より検出精度を向上できる。また、移動モードから消失した場合は、速度の速い移動物体とみなされるので、前記保持時間を短くし、一方、停止モードから消失した場合は不審者の典型的な行動パターンとみなされるので、前記保持時間を長くする。
【００１２】
また、前記直前画像は背景画像でもよく、現画像と直前画像の差分に基づいて、現画像で変化のほとんどない領域を背景画像に置換して更新する、背景画像作成手段を設けてなる。さらに、現画像と直前画像の差分に基づく変化領域が画面の大部分（例えば、７割以上）に及ぶとき、現画像の全体領域を背景画像に置換して更新する。これにより、監視エリアの照度変動などに追随し、移動物体の検出精度を向上できる。
【００１３】
本発明の作用を図２の状態遷移図を用いて説明する。物体候補検出部が矩形の物体候補領域を検出すると、その物体候補矩形の重心（中心）と直前の物体候補矩形の重心（中心）のうち最も近い物体候補矩形との移動距離を算出し、その移動距離から候補物体の状態をチェック、追跡して侵入物体を検知する。
【００１４】
候補物体の状態は移動モード４１００、消失モード４１１０、停止モード４１２０に分け、モードに応じた追跡の継続と打切りを、追跡カウンタＴＣと消失カウンタＬＣによって行う。ここで、ある時刻に抽出した物体候補領域（現物体候補領域）に対し、直前時刻に抽出した物体候補領域（直前物体候補領域）の中から最も近い矩形と対応させ、直前に物体候補領域が存在して現物体候補が存在しない見失いの状態を消失モードとし、現物体候補領域の範囲内部に直前物体候補領域の中心（又は重心）が存在する、同一場所状態を停止モードとし、現物体候補領域の範囲外に直前物体候補領域の中心（又は重心）が存在する、移動状態を移動モードとする。
【００１５】
まず、新規の物体候補領域を抽出すると移動モードにし、追跡カウンタＴＣに１を設定する（４１３０）。移動モードから移動モードへ遷移する場合（４１４０）は、位置移動として追跡カウンタＴＣに１を加算し、移動モードから停止モードへ遷移する場合（４２００）は、追跡カウンタＴＣをそのままにし、移動モードから消失モードへ遷移する場合（４１６０）は、追跡カウンタＴＣの現在値から消失カウンタＬＣを算出する。この場合、移動モードから遷移するＬＣの値を小さくし（ＬＣ＝ＴＣ×ＴＣ×１）、消失モードにおける直前候補物体の保持時間を短くして、動きの早い物体や外乱に対する追跡を早期に打ち切る。
【００１６】
移動モードでの位置移動で、追跡カウンタＴＣがしきい値１（ＴＣ値）以上（４１５０）、かつ、現候補の追跡開始の新規候補位置からの距離がしきい値２（距離値）以上となる場合は、移動物体の検知を出力し、追跡処理を終了する。これにより、動きの速い外乱は除外され、また、候補物体に対する複数回の追跡成功を確認するので、検知精度が向上する。
【００１７】
停止モードで遷移が同一場所（４２１０）の場合は、追跡カウンタＴＣをそのままにし、停止モードから移動モードへ遷移する場合（４２２０）は、位置移動として追跡カウンタＴＣに１を加算し、停止モードから消失モードへ遷移する場合（４２３０）は、見失いとして追跡カウンタＴＣの現在値から消失カウンタＬＣを、例えば、ＬＣ＝ＴＣ×ＴＣ×５と算出する。これにより、停止モードから物体を消失した場合の保持時間は、移動モードからの消失に比べてやや大きくなり、移動が遅い物体を検知しやすいようにしている。これにより、侵入者の動きが超スローないしは停止して、背景画像となって一時的に消失しても、次の動きが現われるのを待って、見逃さないようにしている。
【００１８】
消失モードで遷移が見失い（４１７０）の場合は、消失カウンタＬＣから１を減算し、消失モードから移動モードへ遷移する場合（４１９０）は、位置移動として追跡カウンタＴＣに１を加算し、消失モードから停止モードへ遷移する場合（４２４０）は、同一場所として追跡カウンタＴＣをそのままにする。消失モードにおいて、消失カウンタＬＣが０以下になった場合（４１８０）、物体を廃棄して、新規な候補物体の入力を待つ。
【００１９】
【発明の実施の形態】
以下、本発明の一実施例を図面を用いて詳細に説明する。図１は、本発明の一実施例による移動物体監視装置のブロック図である。本実施例の監視装置は、監視装置本体１０、表示装置７０００から構成される。または、監視装置本体２０、ＩＴＶカメラ１００、表示装置７０００で構成してもよい。監視装置本体２０は、パーソナルコンピュータに画像処理ボードを装着して実現してもよい。監視装置本体１０は、カメラと画像処理ボードとパーソナルコンピュータを一体としたインテリジェントカメラとして実現してもよい。
【００２０】
本実施例では、まず、ＩＴＶカメラ１００が監視対象を撮影すると、画像入力処理部５００は、取り込んだフレームの画像信号のＡ／Ｄ変換やＣＣＤノイズ低減処理等を行う。背景画像作成部１０００は、取り込んだ現フレームと所定回前のフレームの画素毎に変化のない領域を抽出し、抽出領域で背景画像を更新する。差分画像作成部１０００は、背景画像と入力画像間での画素毎の差分処理を行い、変化領域抽出部２０００が、該差分画像を２値化して変化領域を抽出する。物体候補検出部３０００は、変化領域抽出部２０００で抽出した近隣領域を一つの統合矩形領域にまとめて、統合矩形領域毎に一方の入力画像ともう一方の入力画像間の正規化相関処理による濃淡パターンマッチングを行って物体候補判定処理を行う。
【００２１】
物体候補追跡部４０００は、物体候補領域の重心（中心）と直前の物体候補領域の重心（中心）間の距離から、物体候補の状態を移動モード、停止モード、消失モードに分け、モードに応じた追跡や追跡の保留を行い、追跡処理の結果、条件を満たす候補物体を検知すると、移動物体と判定して表示制御部６０００に出力する。表示制御部６０００は、検知物体の画像を格納し、直ちにまたは監視センター等から要求に応じて、その検知位置等の情報や検知日や時刻等の情報を表示装置７０００にリアルタイムに表示する。
【００２２】
図３は、画像入力処理部５００の内部機能の一例を示すブロック図である。Ａ／Ｄ変換部５５０が、ＩＴＶカメラ１００で撮影した画像を取り込んでＡ／Ｄ変換して入力画像５６０Ｇｉを作成すると、入力画像Ｇｉのノイズ除去部５７０がノイズに対応して平滑化処理やメディアンフィルタ処理等を行って、入力画像５６０のＣＣＤノイズ等を除去した画像Ｆｉを作成する。
【００２３】
図４は、背景画像作成部１０００による背景画像作成手順の一例を示す説明図である。本実施例による背景画像は、画像入力処理部５００でＣＣＤノイズ等を除去した周期的な入力画像Ｆｉ間の差分に基づいて作成される。サンプリング開始時刻ｔ０の画像１１００，時刻ｔｉ−３の画像１１０１、時刻ｔｉ−２の画像１１０２、時刻ｔｉ−１の画像１１０３、時刻ｔｉの画像１１０４を用いて説明する。
【００２４】
初期の背景画像１２００は、サンプリング開始時刻ｔ０の入力画像１１０１とする。いま、時刻ｔｉ−３の画像１１０１を直前画像、時刻ｔｉ−２の画像１１０３を現画像とし、ともに輝度変化の少ないシーンとする。画像１１０１と画像１１０２の画素毎の差分を行い（１１０７）、差分画像を所定のしきい値で２値化して２値画像を作成する（２値化しきい値はＣＣＤノイズを除去できる値で、例えば５〜１２程度）。ここでの２値化では、２値画像がほとんど抽出されないので、変化がないものとみなして、現画像１１０２を背景画像１２０１とする背景更新を行う（１１１１）。
【００２５】
次に、画像１１０２を直前画像、画像１１０３を現画像とする差分を行う（１１０８）。両画像の輝度変化は少ないが、画像１１０３には移動物体１１０５が存在するシーンとする。ここでの差分画像の２値化では、所定の範囲内の２値画像が抽出される（１１１２）。従って、抽出された２値画像は移動物体による変化領域とみなされ、背景更新は行わず（１１１３）、背景画像１２０１のままである。
【００２６】
次に、画像１１０３を直前画像、画像１１０４を現画像とする差分を行う（１１０９）。画像１１０４は大きな輝度変化（１１０６）を生じているものとする。ここでの差分画像の２値化では、画面の大部分に２値画像抽出され、変化領域が所定の範囲（例えば画面の７〜８割程度）を越えているので、監視エリアに大きな環境変化、例えば、天候変化による照度の急変などを生じているものとみなされる。この場合、現画像１１０４によって背景更新（１１１５）を行い、新たな背景画像１２０２を作成する。
【００２７】
このように、直前フレーム（数周期前でもよい）と現フレーム間の差分画像を用いて、背景画像の更新を行う。なお、上記では現画像で全面的に更新する背景画像の作成を説明したが、本実施例では部分更新も行われる。
【００２８】
すなわち、直前の画像と現画像の画素毎の差がわずか（ＣＣＤノイズ成分以下）の領域は変化がない領域とし、それ以外の領域は変化がある領域とし、変化がない領域に対しては現画像で置き換え、変化がある領域に対してはそのままにして、背景画像を更新する。この結果、直前画像に出現した変化領域が現画像でほとんど変化していない場合、当該領域が背景画像に置き換えられる。これにより、外乱等による一時的な画像変化を除外できるので、移動体監視の処理効率と検出精度を向上できる。
【００２９】
一方、監視エリアに侵入した侵入者が一時的に移動を停止しているような場合、この侵入者の画像が背景化されることがある。本発明では、かかる場合に、後述するモード処理によって、侵入者を見失うことがないように工夫している。
【００３０】
差分画像作成部１５００は、画像入力処理部５００で処理された入力画像Ｆｉを入力し、背景画像作成部１０００による背景画像との画素毎の差分を行い（背景差分）、差分画像を作成する。
【００３１】
図５は、変化領域抽出部２０００の内部機能の一例を示すブロック図である。輝度頻度分布算出部２１００は、差分画像作成部１０００で作成した差分画像の輝度頻度分布を算出する。この輝度頻度分布から、２値化しきい値算出部２５００は差分画像の２値化しきい値をモード法等の汎用的な手法で算出する。２値画像作成部２６００は、算出されたしきい値で２値化処理して２値画像を作成する。微小面積除去部２８００は、検知対象に不適切な微小面積除外のフィルタリングや膨張・収縮等を行ってノイズを除外して変化領域の２値画像を作成する。
【００３２】
図６は、物体候補検出部３０００の内部機能の一例を示すブロック図である。抽出領域統合部３１００は、変化領域抽出部２０００で作成した２値画像の大きさが画面全体の大部分（例えば７〜８程度以上）に及ぶ場合、照度変動等による外乱として判定して除外する。上述のように、背景画像作成部１０００でも画面の大部分が変化している場合は、現画像で置き換えた背景画像としているので、統合部３１００の除外判定が誤まる心配はない。
【００３３】
それ以外の場合に、抽出領域統合部３１００は抽出した２値画像に対してラベル画像を作成し、ラベル間の距離が所定距離以内のラベルか否か判定し、所定距離以内でかつ所定距離以内のラベル群の外接矩形が所定サイズか否か判定し、所定サイズ以内のラベル群を統合する。
【００３４】
外接矩形算出部３３００は、統合したラベル群の外接矩形領域を算出する。外接矩形領域類似度算出部３５００は、入力画像間（又は背景画像と入力画像間）で、いずれか一方の画像の外接矩形領域をテンプレートパターンとし、もう一方の画像に対し外接矩形領域とほぼ同一位置（拡張サイズは±１画素以下）で正規化相関を行う。正規化相関における類似度の算出は数１の正規化相関処理による。
【００３５】
【数１】

【００３６】
即ち、登録テンプレートパターンと対象画像の明るさを正規化して明るさの差を求める。この正規化相関処理は、例えば、論文「車番認識システムの濃淡パターンマッチング処理の応用（情報処理学会第４９回全国大会、平成６年後期）」に記載のものである。
【００３７】
数１の演算をマッチング領域全体にわたって実行し、類似度を算出する。物体候補判定部３７００は、数１により算出した類似度が所定値以下の場合、物体候補と判定し、それ以外の場合、外乱として除外する。
【００３８】
図７は、抽出領域統合部３１００の抽出領域の統合処理の手順を示すフロー図である。ステップ３１１０は、２値画像のラベリングを行い、１〜Ｌｎまでのラベルをつけると、Ｌｎが総ラベル数となる。総ラベル数Ｌｎを繰り返すため、ステップ３１２０で処理対象のラベル番号を初期化（ｉ＝０）する。次に、ステップ３１３０で、ラベル番号ｉを一つ大きくして、ステップ３１４０で、全てのラベルが終了したか否かチェックする。終了しない場合、ｉ番目のラベルに対し、ステップ３１５０以降の処理を行う。
【００３９】
ステップ３１５０で、ｉ番目のラベルに対し、重心（中心）座標を算出する。ステップ３１６０で、ｉ番目のラベルとｉ＋１〜Ｌｎ番目のラベル間重心（中心）のＸ方向とＹ方向の距離が許容範囲か否かチェックする。許容範囲でない場合、ステップ３１３０へ戻る。許容範囲以内の場合、ステップ３１７０で、許容範囲のラベルの外接矩形の大きさが所定の大きさの範囲（許容範囲）以内か否かチェックする。外接矩形が許容範囲でない場合、新たな統合領域生成処理のためステップ３１３０へ戻る。許容範囲以内の場合、ステップ３１８０で、許容範囲以内のラベル全てをｉ番目のラベルに加え、加えたラベルを抹消する。ステップ３１９０でｉ〜Ｌｎ番目のラベルについて、昇順にソートすると、ステップ３１３０へ戻り、新たなｉ番目から統合領域生成処理を行う。これにより、次々と距離と外接矩形の許容範囲以内のラベル群が統合されていく。
【００４０】
ここで、Ｘ方向とＹ方向の距離の許容範囲は、例えば、物体が縦に長い人物の場合、Ｘ方向よりＹ方向の距離やを大きくしたり、または、物体が横に長い場合、Ｙ方向よりＸ方向の距離を大きくしたりして設定する。外接矩形の許容範囲も同様であり、いずれにしても、どこまでの範囲を統合するかにより、検知対象物体に追随して適切に設定すればよい。
【００４１】
図８は、外接矩形算出部３３００の外接矩形を算出する手順の説明図である。抽出領域統合部３１００で統合されたラベル群は、同一ラベル番号を有するため、該ラベル群のみ抽出すると、ラベルａ３３１０、ラベルｂ３３２０、ラベルｃ３３３０、ラベルｄ３３４０、ラベルｅ３３５０、ラベルｆ３３６０、ラベルｇ３３７０が抽出される。これらのラベルに対して、外接している矩形を外接矩形３４００として算出する。
【００４２】
図９は、外接矩形領域類似度算出部３５００が物体候補を判定する一例を示す説明図である。外接矩形領域３４００は背景差分に基づく変化領域であり、現入力画像における変化領域（移動物体領域）である。物体候補は、直前の入力画像（又は背景画像）で、外接矩形３４００内部に存在していない。即ち、直前の入力画像（又は背景画像）３５１０における外接矩形領域３４００は、背景シーンであり、現入力画像３５３０における外接矩形領域３４００は、物体候補を含むシーンである。直前の入力画像（又は背景画像）と現入力画像間では、外接矩形領域３４００を比較して相関を行うと、直前の入力画像（又は背景画像）が大部分隠れるため、類似度がかなり小さくなる。これにより、現入力画像における物体候補の存在を判定する。
【００４３】
図１０は、外接矩形領域類似度算出部３５００の処理の手順を示すフロー図である。ステップ３５１０は、現入力画像に対し、統合領域の外接矩形算出部で算出した外接矩形領域の濃淡画像をテンプレートパターンとして登録する。ステップ３５２０は、直前の入力画像（又は背景画像）に対し、ステップ３５１０とほぼ同一位置の外接矩形領域をパターンマッチング領域として設定する。ステップ３５３０は、ステップ３５１０で登録したパターンとの濃淡パターンマッチングを行い、数１により類似度を算出する。
【００４４】
ステップ３５４０は、算出した類似度が所定値以上か否か判定する。類似度が所定値未満の場合は背景と類似していないため、ステップ３５５０で物体候補と判定する。類似度が所定値以上の場合は背景と類似しているため、ステップ３５６０で外乱と判定する。ステップ３５７０は、生成した外接矩形領域が全て終了したか否か判定し、終了していない場合、ステップ３５１０へ戻る。
【００４５】
図１１は、物体候補追跡部４０００の内部機能の一例を示すブロック図である。物体候補領域中心算出部４３００は、統合領域の外接矩形における中心（又は重心）を算出する。移動距離算出部４４００は対象となる外接矩形中心（又は重心）から、直前に抽出した統合領域の外接矩形における中心（又は重心）までの距離を算出する。物体候補領域対応部４５００は対象となる中心（又は重心）から、直前に抽出した統合領域における最も近い距離にある物体候補矩形と対応させる。物体検知部４７００は、物体候補領域対応部４５００で対応させた対応矩形間の距離から、物体候補の状態をモード分けし、モードに従った追跡を行って移動物体を検知する。
【００４６】
図１２は、外接矩形の中心を算出する手順を示す説明図である。通常状態の移動物体として抽出した外接矩形３４００の中心４３１０は、Ｘ方向の長さ４３３０の中点とＹ方向の長さ４３４０の中点の交点とする。
【００４７】
図１３は、物体候補領域対応部４５００が直前物体候補領域と現物体候補領域を対応する手順の説明図である。物体候補検出部３０００で抽出した外接矩形が、直前時刻に抽出された複数の外接矩形４４０２、外接矩形４４０３、外接矩形４４０４と、現時刻に抽出された外接矩形４４０１（ここでは、説明を簡単にするため１つのみ示す）とする。物体候補領域中心算出部４３００が、現時刻の外接矩形４４０１の中心４４１０と、直前時刻の外接矩形４４０３の中心４４３０、外接矩形４４０２の中心４４２０、外接矩形４４０４の中心４４４０を算出し、移動距離算出部４４００が現時刻の中心４４１０から、直前時刻の中心４４３０までの距離４４５１、直前時刻の中心４４２０までの距離４４５０、直前時刻の中心４４４０までの距離４４５２を算出する。
【００４８】
物体候補領域対応部４５００はこれら矩形間の距離のうち、最も小さくかつ現時刻の外接矩形４４０１の内部にその中心が存在しない外接矩形を対応させる。従って、外接矩形４４０３が条件を満足する。一方、現時刻の外接矩形４４０１の内部にその中心が存在する外接矩形４４０２や、外接矩形４４０１から最も距離が大きい外接矩形４４０４は対応させない。
【００４９】
ここで、現時刻の外接矩形４４０１の内部に中心が存在する直前時刻の外接矩形４４０２は、照明の点滅や旗の揺れなどの停止状態の物体であり、内部に中心が存在するかの判定によって、これらノイズの除外ができる。また、現時刻の外接矩形４４０１から距離が大きい外接矩形４４０４は、高速移動の飛来物や遠く離れて突然発生する外乱等の可能性が大きく、これらの除外もできる。
【００５０】
図１４は、物体候補追跡部４０００における物体検知部４７００の追跡手順を示すフロー図で、１個の外接矩形に対して物体追跡を行う例を示している。ステップ４７１０は、候補物体の追跡用パラメータである追跡カウンタＴＣや消失カウンタＬＣと、判定のためのしきい値の初期設定を行う。
【００５１】
追跡カウンタＴＣは候補物体の移動の検出回数で初期値は０である。消失カウンタＬＣは候補物体を見失った場合、既出現の候補物体を保持して再現を待つ保持時間を可変するパラメータで、初期値は０または任意（例えばＬＣ＝１０）とする。追跡カウンタＴＣがそのしきい値１を超えた場合には、追跡できたとして、候補物体は候補から監視対象の物体（真の物体）として検知される。すなわち、しきい値１は候補物体を真の物体と検知するまでの移動の検出回数で、検出の精度と検出までの所要時間から任意に設定される。また、候補物体が最初の出現位置から一定距離移動している場合に、追跡した候補物体を監視対象の物体とみなすように、移動距離のしきい値２はこの一定距離とし、監視対象の物体（人物）の移動速度を基準にして、任意に設定する。
【００５２】
まず、ステップ４７１２で、処理対象画像を取り込む。ステップ４７１４は、現候補物体（背景差分により抽出された外接矩形）が存在するか否かチェックし、存在しない場合はステップ４８５０を、存在する場合は、ステップ４７２０を行う。
【００５３】
ステップ４８５０は消失モードで、現候補物体が消失した状態として、ステップ４８６０の処理を行う。ステップ４８６０は、現候補物体の直前時刻の状態をチェックし、直前時刻の状態も消失モードの場合には、ステップ４９００で消失カウンタＬＣから１を減算し、ステップ４９１０でＬＣ＞０かチェックする。ＬＣ≦０の場合には、ステップ４９２０でＴＣ＝０にして、保持していた物体候補を廃棄し、ステップ４７１２の処理へ戻る。ステップ４８６０のチェックで、現候補物体の直前時刻の状態が停止モードの場合は、ステップ４８９０で消失カウンタＬＣを算出、また、移動モードの場合は、ステップ４８７０で消失カウンタＬＣを算出し、ステップ４７１２の処理に戻る。
【００５４】
ステップ４８９０における消失カウンタＬＣは、例えば、追跡カウンタＴＣの２乗を１０倍した値で、停止モード（同一場所）から物体を消失した場合、つまり移動が遅い物体を検知しやすいように、保持時間をやや延長する値にしている。一方、ステップ４８７０は移動モードから物体を消失した場合で、移動が速い物体を検知しにくいように、保持時間をやや短縮するようにＬを算出している（例えば、ＴＣの２乗を２倍する）。
【００５５】
ステップ４７１４で処理画像に現候補物体が存在する場合、ステップ４７２０は、追跡カウンタＴＣ＝が０であるか判定する。ＴＣ＝０の場合は、追跡処理の最初に検出された候補物体（新規出現）なのでステップ４７３０へ進み、現物体候補の状態を移動モードとして、追跡カウンタＴＣを１とする。また、新規出現の候補物体の中心をＳＰとし、ステップ４７１２の処理に戻る。このＳＰは、以下の追跡の開始点となる。
【００５６】
ＴＣ≠０の場合は、既出現であるのでステップ４７４０へ進み、現候補物体の外接矩形の中心と既出現の直前候補物体の外接矩形の中心との距離が最小の物体候補の外接矩形と対応させる。ステップ４７６０は、対応した直前時刻の候補物体の中心（重心）が、現時刻の候補物体（外接矩形）の範囲内か否か判定する。範囲内であれば、現候補物体は停止状態であり、ステップ４７６０で現候補を停止モードとし、ＴＣはそのままとして、ステップ４８１０に進む。一方、範囲外であれば、現候補物体は移動状態であり、ステップ４７６０で現候補を移動モードとし、ステップ４８００でＴＣに１を加算して、ステップ４８１０に進む。
【００５７】
ステップ４８１０は、追跡カウンタＴＣがしきい値１以上であるか判定し、しきい値１未満であると、ステップ４７１２へ戻る。しきい値１以上の場合は、ステップ４８１５に進み、現候補物体（外接矩形）の中心と追跡開始位置ＳＰとの距離を求め、その距離がしきい値２以上か判定する。しきい値２未満の場合は、ステップ４８９０でＬＣを算出する。候補物体が移動モードから停止モードへ遷移したので、保持時間であるＬＣの値を大きくして、ステップ４７１２へ戻る。
【００５８】
一方、ステップ４８１５でしきい値２以上の場合は、ステップ４８２０で、物体の検知を表示制御部６０００に出力し、ステップ４８３０で、消失カウンタＬＣと追跡カウンタＴＣを初期化して、追跡処理を終了する。あるいは、ステップ４７１２へ戻り、次の追跡処理に備える。
【００５９】
このように、本実施例の追跡処理による物体検知は、追跡中の候補物体の出現確認シーン数が所定回以上、かつ、最初の出現位置から一定距離以上移動している場合に、追跡した候補物体を監視対象の侵入物体とみなす。
【００６０】
また、候補物体の動きが極めて遅くなったり、停止した場合、変化のない領域とみなされ、背景画像に組み込まれて消失してしまう。しかし、本実施例では、移動、停止、消失の状態遷移に応じたモード制御により、消失した対象の候補物体の保持時間を可変設定しながら追跡を継続するので、この保持時間中に再び対象候補が移動すると、その出現シーンから追跡を再開できる。これにより、保持時間を長くすれば侵入者が立ち止まる行動にも十分に追随でき、また、保持時間を短くすれば人に比べ高速移動する監視対象外の物体や外乱の除外が可能になり、精度の高い監視が可能になる。
【００６１】
一方、候補物体が複数存在することもある。その場合、外接矩形が複数存在するので、１個の外接矩形に対して物体追跡を行う処理を、複数回数繰り返せばよい。しかし、候補物体が複数存在すると、現候補物体の外接矩形中心から、直前候補物体の外接矩形中心までの距離のうち、最も小さくかつ現候補物体の外接矩形の内部に中心が存在しない直前候補物体の外接矩形を対応させる場合に、物体の取り違えを発生することがある。しかし、複数の候補物体は無関係でない場合が多く、仮に取り違えたとしても、まず、全体的に見て移動物体の検知ができればよく、大きな問題ではない。
【００６２】
図１５は、表示装置７０００に表示した物体検知の表示例を示す。物体検知、ここでは人物６２００を検知すると、表示制御部６０００は格納している検知物体の外接矩形位置を読み出し、表示装置７０００の現入力画像に重ねて外接矩形枠６３００を表示する。これにより、人物監視の場合、表示装置７０００上で人物及び追跡による検知情報（外接矩形枠）をオンラインに把握できる。
【００６３】
上記実施例では、監視装置本体２０の表示制御部６０００から検出結果を出力し、本体２０と併設している表示装置７０００で監視する構成を説明した。しかし、この構成に限られるものではなく、複数の監視装置本体１０（または２０）から送信される検出結果を、遠隔の監視センタ等に配置された表示装置で集中監視する構成も可能である。
【００６４】
図１６は、他の実施例による移動体監視装置のシステム構成を示す。本構成による監視装置は、電話線等の通信回線７０２０によって結ばれた監視装置本体１０と表示装置本体７０１０からなる。または、監視装置本体２０’とＩＴＶカメラ１００及び表示装置本体７０１０から構成してもよい。なお、図１と同等の要素には同一の符号を付して説明を省略する。
【００６５】
表示装置本体１０は監視センタに設置され、監視装置本体１０を呼び出して監視結果を受信し、検知物体の画像、検知位置、日時などのデータを格納して監視画像を編集する表示制御部６０００と、リアルタイムまたは必要時に監視画像を表示する表示装置７０００からなる。なお、検出結果の表示編集機能を図１と同様に監視装置本体１０に残し、表示装置本体７０１０では送受信と画像変換の機能を持つ構成としてもよい。
【００６６】
【発明の効果】
本発明によれば、検出した現候補物体と直前の複数の候補物体について、物体領域（矩形枠）の重心（中心）間のうち、最も近い候補物体どうしを対応させ、対応候補間の距離が一定以上の移動状態の追跡が所定回以上繰り返され、かつ、初期候補からの移動距離が所定しきい値を越える場合に、移動物体と検知するので、少ない追跡回数で高速に通過するような候補や外乱が除外され、人物のような移動物体の検出精度を向上できる効果がある。
【００６７】
また、対応候補間の距離から候補物体の動きを移動、停止、消失の３状態にモード分けし、モードに応じた追跡処理を行う。候補間距離が一定以上を移動モード、未満を停止モード、候補物体が見つからない状態を消失モードとし、消失モードでは現在の追跡回数とモード遷移によって算出する保持時間の間、直前の候補物体を保持して追跡を保留するので、候補が再び移動を始めると、直ちに追跡を開始する。保持時間は停止モードから遷移した場合は長く、移動モードから遷移した場合は短く設定されるので、動きの遅い侵入者が背景画像化されて一時的に消失しても、見逃すことがない。また、移動から急に消失するような動きの速い外乱に対しては、追跡が短時間に打ち切られる。これらにより、侵入者の挙動に適した追跡が可能になり、検出精度を一層向上できる効果がある。
【００６８】
さらに、本発明では変化領域が画面の大半に及んだとき、変化領域ないし候補物体を廃棄するので、照度変動等による外乱を除外できる効果がある。
【図面の簡単な説明】
【図１】本発明の一実施例による移動物体監視装置の機能ブロック図である。
【図２】本発明の移動物体監視装置の作用を示す説明図。
【図３】画像入力処理部の内部機能の一例を示すブロック図。
【図４】背景画像作成部の機能と処理を示す説明図。
【図５】変化領域抽出部の内部機能の一例を示すブロック図。
【図６】物体候補検出部の内部機能の一例を示すブロック図。
【図７】抽出領域統合部の統合処理の手順を示すフロー図。
【図８】外接矩形算出部の外接矩形を算出する手順を示す説明図。
【図９】外接矩形領域類似度算出部が物体候補を判定する処理を示す説明図。
【図１０】外接矩形領域類似度算出部の処理手順を示すフロー図。
【図１１】物体候補追跡部の内部機能の一例を示すブロック図。
【図１２】外接矩形中心の算出のしかたを示す説明図。
【図１３】物体候補領域対応部の対応候補を求める手順を示す説明図。
【図１４】物体候補追跡部の追跡処理の手順を示すフロー図。
【図１５】物体検知結果の表示例を示す説明図。
【図１６】本発明の他の実施例による移動物体監視装置のシステム構成図。
【符号の説明】
１０，２０，２０’…監視装置本体、１００…ＩＴＶカメラ、５００…画像入力処理部、１０００…背景画像作成部、１５００…差分画像作成部、２０００…変化領域抽出部、３０００…物体候補検出部、３１００…抽出領域統合部、３３００…外接矩形算出部、３５００…外接矩形領域類似度算出部、３７００…物体候補判定部、４０００…物体候補追跡部、４３００…物体候補領域中心算出部、４４００…移動距離算出部、４５００…物体候補領域対応部、４７００…物体検知部、６０００…表示制御部、７０００…表示装置、７０１０…表示装置本体、７０２０…通信回線。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving object monitoring apparatus, and more particularly to a moving object monitoring apparatus capable of reliably detecting an object with little movement.
[0002]
[Prior art]
As a moving object monitoring device based on images, a monitoring area is photographed with an ITV camera, and a motion vector of a direction and a size of a motion is extracted in blocks from a difference between a previous image and a subsequent image. A method of determining a target moving object by comparing the value with a value is known (Japanese Patent Laid-Open No. 9-252467).
[0003]
Also, a method is known in which a detected object is registered as a template, a moving amount of a position that most closely matches the registered template is calculated, and a moving object is detected while updating the template (Japanese Patent Laid-Open No. 9-322155).
[0004]
[Problems to be solved by the invention]
In the above-described conventional technique, the former method can detect an object that moves almost to the same extent between successive blocks and that moves more than a certain distance. Also, the latter method enables early detection of a moving object when the shape or the like of the moving object is not deformed or when the distance is relatively short.
[0005]
However, in detecting a moving object such as an intruder, there are various changes in an image between frames. An intruder or the like makes various movements, such as moving at an extremely low speed, hiding behind a shadow, deforming an image, stopping, or moving at a high speed. In addition to these conditions, at night or the like, the brightness partially changes due to partial illumination by a flashlight or a headlight of a car, so that there is no guarantee that almost the same movement will occur between successive blocks. In addition, the lighting which is turned on is intentionally turned off, and the brightness may be drastically changed as a whole. In such a state where the environment fluctuates greatly and various movements occur, it is difficult to create a background image, and it is often not possible to early identify a disturbance and an intruder.
[0006]
An object of the present invention is to overcome the above-mentioned problems of the prior art, and to automatically create a background image regardless of the motion state of an object, even if the movement is large or small, or the illumination is partially illuminated. An object of the present invention is to provide a moving object monitoring device that detects an intruder at an early stage, distinguishing from a disturbance.
[0007]
[Means for Solving the Problems]
To achieve the above object, the present invention provides imaging means such as an ITV camera for capturing an image of a monitoring area, image processing means for processing the captured image to detect a moving object in the monitoring area, and outputting the detected result. In the moving object monitoring device provided with the means, the image processing means sets a change area extracted from a difference between images as a candidate object, and sets a distance between the current candidate object of the current image and the candidate object of the immediately preceding image to a predetermined value. When the moving state becomes a predetermined number of times (threshold 1) or more and the moving distance from the position of the first candidate object to the current candidate object becomes a predetermined distance (threshold 2) or more, the candidate object is It has a function of determining a moving object to be monitored. The image processing means is characterized in that, when there are a plurality of immediately preceding candidate objects, a candidate object whose center does not overlap with the current candidate object and which is closest to the current candidate object is associated with the candidate object.
[0008]
As a result, the candidate is successfully tracked a predetermined number of times, and object detection is performed. In addition, when the monitoring target is a person, an extremely fast moving object or disturbance (such as a car light or a shadow of a flying object) can be removed. Furthermore, when the center of the immediately preceding candidate overlaps with the current candidate area, it is caused by flickering of lighting, fluttering of a flag, and the like. By removing these disturbances, detection accuracy can be improved.
[0009]
Also, the present invention associates the current candidate object with the closest candidate object in the immediately preceding image, sets the state in which the distance between the corresponding candidates is equal to or greater than a predetermined value in the movement mode, and eliminates the state in which the current candidate object does not exist. When the movement mode is a predetermined number of times (threshold 1) or more and / or a moving distance from the position of the first candidate object to the current candidate object is a predetermined distance (threshold 2) or more, the candidate object is It is characterized in that it has a function of determining the moving object to be monitored and holding the candidate object until a holding time set in the case of the disappearance mode.
[0010]
Further, a state in which the distance between the correspondence candidates is less than the predetermined value is a stop mode, and when transitioning from the stop mode to the disappearance mode, compared to when transitioning from the movement mode to the disappearance mode, Set a longer retention time.
[0011]
Thereby, in the case where the intruder stops or hides behind the object, such as when the candidate object disappears from the input image, since the previous image is held and the tracking is continued during the holding time, Since the tracking is started immediately when the candidate object appears again, the detection accuracy can be further improved by following the suspicious behavior pattern of the intruder. In addition, when disappearing from the moving mode, the holding time is shortened because it is regarded as a moving object having a high speed, and on the other hand, when disappearing from the stop mode, it is regarded as a typical action pattern of a suspicious person. Increase the retention time.
[0012]
Further, the immediately preceding image may be a background image, and a background image creating means is provided for replacing an area having little change in the current image with a background image and updating the area based on a difference between the current image and the immediately preceding image. Further, when the change area based on the difference between the current image and the immediately preceding image covers most of the screen (for example, 70% or more), the entire area of the current image is replaced with a background image and updated. Accordingly, the detection accuracy of the moving object can be improved by following the illuminance fluctuation of the monitoring area.
[0013]
The operation of the present invention will be described with reference to the state transition diagram of FIG. When the object candidate detecting unit detects the rectangular object candidate area, the moving distance between the center of gravity (center) of the object candidate rectangle and the closest object candidate rectangle among the centers of gravity (center) of the immediately preceding object candidate rectangle is calculated. The state of the candidate object is checked and tracked from the moving distance to detect an intruding object.
[0014]
The state of the candidate object is divided into a movement mode 4100, a disappearance mode 4110, and a stop mode 4120, and continuation and discontinuation of tracking according to the mode are performed by a tracking counter TC and a disappearance counter LC. Here, the object candidate area (current object candidate area) extracted at a certain time is made to correspond to the closest rectangle from the object candidate area (immediate object candidate area) extracted at the previous time, and the object candidate area is A lost state in which there is no current object candidate is defined as a disappearance mode, and a state in which the center (or the center of gravity) of the immediately preceding object candidate area exists within the range of the current object candidate area is defined as a stop mode. A moving state in which the center (or the center of gravity) of the immediately preceding object candidate area exists outside the area is defined as a moving mode.
[0015]
First, when a new object candidate area is extracted, the mode is set to the movement mode, and the tracking counter TC is set to 1 (4130). In the case of transition from the movement mode to the movement mode (4140), 1 is added to the tracking counter TC as position movement, and in the case of transition from the movement mode to the stop mode (4200), the tracking counter TC is left as it is and the movement mode is changed from the movement mode. In the case of transition to the erasure mode (4160), the erasure counter LC is calculated from the current value of the tracking counter TC. In this case, the value of LC that transits from the movement mode is reduced (LC = TC × TC × 1), the holding time of the immediately preceding candidate object in the erasure mode is shortened, and tracking of a fast-moving object or disturbance is terminated early. .
[0016]
In the position movement in the movement mode, when the tracking counter TC is equal to or larger than the threshold value 1 (TC value) (4150), and the distance from the new candidate position at which the tracking of the current candidate is started is equal to or larger than the threshold value 2 (distance value). If so, the detection of the moving object is output, and the tracking process ends. Thereby, disturbance with fast movement is excluded, and the success of tracking the candidate object a plurality of times is confirmed, so that the detection accuracy is improved.
[0017]
In the stop mode, when the transition is at the same place (4210), the tracking counter TC is left as it is, and when the mode transits from the stop mode to the movement mode (4220), 1 is added to the tracking counter TC as the position movement, and the stop mode is changed. In the case of transition to the erasure mode (4230), the erasure counter LC is calculated from the current value of the tracking counter TC as, for example, LC = TC × TC × 5. As a result, the holding time when the object disappears from the stop mode is slightly longer than the disappearance from the movement mode, so that an object that moves slowly can be easily detected. With this, even if the movement of the intruder becomes super slow or stops and temporarily disappears as a background image, the intruder waits for the next movement to appear and does not miss it.
[0018]
If the transition is lost in the erasure mode (4170), 1 is subtracted from the erasure counter LC, and if the transition is made from the erasure mode to the movement mode (4190), 1 is added to the tracking counter TC as the position movement, and the erasure mode is set. (4240), the tracking counter TC is left as the same location. In the erasure mode, when the erasure counter LC becomes 0 or less (4180), the object is discarded, and input of a new candidate object is awaited.
[0019]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram of a moving object monitoring apparatus according to an embodiment of the present invention. The monitoring device according to the present embodiment includes a monitoring device main body 10 and a display device 7000. Alternatively, the monitoring device main body 20, the ITV camera 100, and the display device 7000 may be configured. The monitoring device body 20 may be realized by mounting an image processing board on a personal computer. The monitoring apparatus main body 10 may be realized as an intelligent camera in which a camera, an image processing board, and a personal computer are integrated.
[0020]
In the present embodiment, first, when the ITV camera 100 captures an image of a monitoring target, the image input processing unit 500 performs A / D conversion of a captured frame image signal, CCD noise reduction processing, and the like. The background image creation unit 1000 extracts a region that does not change for each pixel of the captured current frame and a frame that is a predetermined number of times before, and updates the background image with the extracted region. The difference image creation unit 1000 performs difference processing for each pixel between the background image and the input image, and the change area extraction unit 2000 binarizes the difference image to extract a change area. The object candidate detecting unit 3000 combines the neighboring regions extracted by the changing region extracting unit 2000 into one integrated rectangular region, and performs shading by normalized correlation processing between one input image and the other input image for each integrated rectangular region. An object candidate determination process is performed by performing pattern matching.
[0021]
The object candidate tracking unit 4000 divides the state of the object candidate into a moving mode, a stop mode, and a disappearing mode based on the distance between the center of gravity (center) of the object candidate region and the center of gravity (center) of the immediately preceding object candidate region, and according to the mode. If a candidate object that satisfies the condition is detected as a result of the tracking process, the target object is determined to be a moving object and output to the display control unit 6000. The display control unit 6000 stores the image of the detected object, and displays the information such as the detection position and the information such as the detection date and time on the display device 7000 in real time, immediately or in response to a request from a monitoring center or the like.
[0022]
FIG. 3 is a block diagram illustrating an example of an internal function of the image input processing unit 500. When the A / D conversion unit 550 takes in the image captured by the ITV camera 100 and performs A / D conversion to create an input image 560Gi, the noise removal unit 570 of the input image Gi performs smoothing processing and median processing corresponding to the noise. By performing a filtering process or the like, an image Fi of the input image 560 from which CCD noise or the like has been removed is created.
[0023]
FIG. 4 is an explanatory diagram illustrating an example of a background image creation procedure by the background image creation unit 1000. The background image according to the present embodiment is created based on the difference between the periodic input images Fi from which CCD noise and the like have been removed by the image input processing unit 500. This will be described using an image 1100 at the sampling start time t0, an image 1101 at the time ti-3, an image 1102 at the time ti-2, an image 1103 at the time ti-1, and an image 1104 at the time ti.
[0024]
The initial background image 1200 is the input image 1101 at the sampling start time t0. Now, assume that the image 1101 at time ti-3 is the immediately preceding image, the image 1103 at time ti-2 is the current image, and both are scenes with little change in luminance. A difference for each pixel between the image 1101 and the image 1102 is made (1107), and the difference image is binarized with a predetermined threshold to create a binary image (the binarization threshold is a value that can remove CCD noise; For example, about 5 to 12). In this binarization, since a binary image is hardly extracted, it is assumed that there is no change, and background updating is performed using the current image 1102 as the background image 1201 (1111).
[0025]
Next, a difference is made with the image 1102 as the immediately preceding image and the image 1103 as the current image (1108). Although a change in the luminance of both images is small, the image 1103 is a scene in which the moving object 1105 exists. In the binarization of the difference image here, a binary image within a predetermined range is extracted (1112). Therefore, the extracted binary image is regarded as a change area due to the moving object, and the background is not updated (1113) and remains as the background image 1201.
[0026]
Next, a difference is made between the image 1103 as the immediately preceding image and the image 1104 as the current image (1109). It is assumed that the image 1104 has undergone a large luminance change (1106). In the binarization of the difference image, a binary image is extracted in most of the screen, and the change area exceeds a predetermined range (for example, about 70 to 80% of the screen). For example, it is considered that a sudden change in illuminance due to a change in weather or the like has occurred. In this case, background update (1115) is performed using the current image 1104, and a new background image 1202 is created.
[0027]
As described above, the background image is updated using the difference image between the immediately preceding frame (which may be several cycles before) and the current frame. Although the generation of the background image to be entirely updated with the current image has been described above, partial updating is also performed in this embodiment.
[0028]
That is, the area where the difference between the previous image and the current image for each pixel is small (below the CCD noise component) is an area where there is no change, the other area is an area where there is a change, and the area where there is no change is the current area. The background image is updated by replacing the image with the image and leaving the area where there is a change. As a result, when the changed area that has appeared in the immediately preceding image has hardly changed in the current image, the area is replaced with the background image. As a result, a temporary image change due to a disturbance or the like can be excluded, so that the processing efficiency and the detection accuracy of the moving object monitoring can be improved.
[0029]
On the other hand, when an intruder who has entered the monitoring area temporarily stops moving, an image of the intruder may be turned into a background. In the present invention, in such a case, the intruder is devised so as not to lose track of the intruder by the mode processing described later.
[0030]
The difference image creation unit 1500 receives the input image Fi processed by the image input processing unit 500, performs a difference for each pixel with the background image by the background image creation unit 1000 (background difference), and creates a difference image.
[0031]
FIG. 5 is a block diagram illustrating an example of an internal function of the change area extraction unit 2000. The luminance frequency distribution calculation unit 2100 calculates the luminance frequency distribution of the difference image created by the difference image creation unit 1000. From this luminance frequency distribution, the binarization threshold calculation unit 2500 calculates the binarization threshold of the difference image by a general-purpose method such as a mode method. The binary image creation unit 2600 creates a binary image by performing a binarization process using the calculated threshold value. The small area removing unit 2800 creates a binary image of the changing area by removing noise by performing filtering, expansion, and contraction, etc., that are inappropriate for the detection target and removing noise.
[0032]
FIG. 6 is a block diagram illustrating an example of an internal function of the object candidate detection unit 3000. When the size of the binary image created by the changing area extracting unit 2000 covers a large part (for example, about 7 to 8 or more) of the entire screen, the extraction area integrating unit 3100 determines and excludes the disturbance due to illuminance fluctuation or the like. . As described above, when most of the screen is changed in the background image creation unit 1000, the background image is replaced with the current image, and there is no concern that the exclusion determination of the integration unit 3100 will be incorrect.
[0033]
In other cases, the extraction area integration unit 3100 creates a label image for the extracted binary image, determines whether the distance between the labels is within a predetermined distance, and determines whether the label is within a predetermined distance and within a predetermined distance. It is determined whether or not the circumscribed rectangle of the label group is a predetermined size, and the label groups within the predetermined size are integrated.
[0034]
The circumscribed rectangle calculation unit 3300 calculates a circumscribed rectangle area of the integrated label group. The circumscribed rectangular area similarity calculation unit 3500 uses the circumscribed rectangular area of one of the images as a template pattern between the input images (or between the background image and the input image), and is substantially the same as the circumscribed rectangular area for the other image. The normalized correlation is performed at the position (extended size is ± 1 pixel or less). The calculation of the similarity in the normalized correlation is based on the normalized correlation processing of Expression 1.
[0035]
(Equation 1)

[0036]
That is, the brightness difference is obtained by normalizing the brightness of the registered template pattern and the brightness of the target image. This normalized correlation processing is described, for example, in a dissertation "Application of Shade Pattern Matching Processing of Car Number Recognition System (Information Processing Society of Japan 49th National Convention, late 1994)".
[0037]
The calculation of Expression 1 is performed over the entire matching region to calculate the similarity. The object candidate determination unit 3700 determines that the similarity calculated by Expression 1 is equal to or less than a predetermined value as an object candidate, and otherwise excludes it as a disturbance.
[0038]
FIG. 7 is a flowchart showing a procedure of the extraction area integration processing of the extraction area integration unit 3100. In step 3110, labeling of the binary image is performed, and when labels from 1 to Ln are attached, Ln becomes the total number of labels. In order to repeat the total label number Ln, the label number to be processed is initialized (i = 0) in step 3120. Next, in step 3130, the label number i is increased by one, and in step 3140, it is checked whether or not all the labels have been completed. If the processing is not to be ended, the processing after step 3150 is performed on the i-th label.
[0039]
In step 3150, a barycenter (center) coordinate is calculated for the i-th label. In step 3160, it is checked whether the distance between the i-th label and the center of gravity (center) between the (i + 1) to Ln-th labels in the X and Y directions is within an allowable range. If not, the process returns to step 3130. If it is within the allowable range, it is checked in step 3170 whether or not the size of the circumscribed rectangle of the label in the allowable range is within a predetermined size range (allowable range). If the circumscribed rectangle is not within the allowable range, the process returns to step 3130 for a new integrated region generation process. If it is within the allowable range, at step 3180, all the labels within the allowable range are added to the i-th label, and the added label is deleted. If the i-th to Ln-th labels are sorted in ascending order in step 3190, the process returns to step 3130, and the integrated area generation processing is performed from the new i-th label. As a result, the label groups within the allowable range of the distance and the circumscribed rectangle are successively integrated.
[0040]
Here, the allowable range of the distance between the X direction and the Y direction is, for example, when the object is a vertically long person, the distance in the Y direction is made larger than the X direction, or when the object is longer horizontally, the Y direction The distance is set larger in the X direction. The same applies to the allowable range of the circumscribed rectangle. In any case, it is sufficient to appropriately set the allowable range of the circumscribed rectangle so as to follow the detection target object depending on the range to be integrated.
[0041]
FIG. 8 is an explanatory diagram of a procedure of calculating a circumscribed rectangle by the circumscribed rectangle calculation unit 3300. Since the label group integrated by the extraction area integration unit 3100 has the same label number, if only the label group is extracted, the label a3310, the label b3320, the label c3330, the label d3340, the label e3350, the label f3360, and the label g3370 are extracted. You. A rectangle circumscribing these labels is calculated as a circumscribed rectangle 3400.
[0042]
FIG. 9 is an explanatory diagram illustrating an example in which the circumscribed rectangular area similarity calculation unit 3500 determines an object candidate. The circumscribed rectangular area 3400 is a change area based on the background difference, and is a change area (moving object area) in the current input image. The object candidate is the immediately preceding input image (or background image) and does not exist inside the circumscribed rectangle 3400. That is, the circumscribed rectangular area 3400 in the immediately preceding input image (or background image) 3510 is a background scene, and the circumscribed rectangular area 3400 in the current input image 3530 is a scene including an object candidate. When a correlation is made between the immediately preceding input image (or background image) and the current input image by comparing the circumscribed rectangular area 3400, the immediately preceding input image (or background image) is largely hidden, so that the similarity is considerably reduced. . Thus, the presence of the object candidate in the current input image is determined.
[0043]
FIG. 10 is a flowchart showing the procedure of the process of the circumscribed rectangular area similarity calculation unit 3500. A step 3510 registers, as the template pattern, the grayscale image of the circumscribed rectangular area calculated by the integrated area circumscribed rectangle calculation unit with respect to the current input image. A step 3520 sets a circumscribed rectangular area at substantially the same position as the step 3510 for the immediately preceding input image (or background image) as a pattern matching area. In Step 3530, lightness / darkness pattern matching with the pattern registered in Step 3510 is performed, and the similarity is calculated by Expression 1.
[0044]
Step 3540 determines whether or not the calculated similarity is equal to or greater than a predetermined value. If the similarity is less than the predetermined value, it is not similar to the background. If the similarity is equal to or more than the predetermined value, it is similar to the background, and thus it is determined in step 3560 that the disturbance is present. In Step 3570, it is determined whether or not all the generated circumscribed rectangular areas have been completed. If not, the process returns to Step 3510.
[0045]
FIG. 11 is a block diagram illustrating an example of an internal function of the object candidate tracking unit 4000. The object candidate area center calculation unit 4300 calculates the center (or center of gravity) of the circumscribed rectangle of the integrated area. The moving distance calculation unit 4400 calculates the distance from the center (or the center of gravity) of the target circumscribed rectangle to the center (or the center of gravity) of the circumscribed rectangle of the integrated region extracted immediately before. The object candidate area corresponding unit 4500 associates the object candidate rectangle with the closest distance in the integrated area extracted immediately before from the target center (or the center of gravity). The object detection unit 4700 classifies the state of the object candidate into modes based on the distance between the corresponding rectangles made correspondent by the object candidate region correspondence unit 4500, and performs tracking according to the mode to detect a moving object.
[0046]
FIG. 12 is an explanatory diagram showing a procedure for calculating the center of the circumscribed rectangle. The center 4310 of the circumscribed rectangle 3400 extracted as the moving object in the normal state is the intersection of the midpoint of the length 4330 in the X direction and the midpoint of the length 4340 in the Y direction.
[0047]
FIG. 13 is an explanatory diagram of a procedure in which the object candidate area corresponding unit 4500 associates the immediately preceding object candidate area with the current object candidate area. The circumscribed rectangles extracted by the object candidate detection unit 3000 include a plurality of circumscribed

rectangles

4402, 4403, and 4404 extracted at the immediately preceding time, and a circumscribed rectangle 4401 extracted at the current time (here, a brief description will be given). Only one is shown). The object candidate area center calculation unit 4300 calculates the center 4410 of the circumscribed rectangle 4401 at the current time, the center 4430 of the circumscribed rectangle 4403, the center 4420 of the circumscribed rectangle 4402, and the center 4440 of the circumscribed rectangle 4404 at the current time, and calculates the moving distance. The unit 4400 calculates a distance 4451 from the center 4410 of the current time to the center 4430 of the immediately preceding time, a distance 4450 to the center 4420 of the immediately preceding time, and a distance 4452 to the center 4440 of the immediately preceding time.
[0048]
The object candidate area corresponding unit 4500 associates a circumscribed rectangle having the smallest distance among the rectangles and having no center within the circumscribed rectangle 4401 at the current time. Therefore, the circumscribed rectangle 4403 satisfies the condition. On the other hand, the circumscribed rectangle 4402 whose center is located inside the circumscribed rectangle 4401 at the current time and the circumscribed rectangle 4404 which is the longest distance from the circumscribed rectangle 4401 are not made to correspond.
[0049]
Here, the circumscribed rectangle 4402 at the time immediately before the center is present inside the circumscribed rectangle 4401 at the current time is an object in a stopped state such as blinking of a light or swinging of a flag, and is determined by determining whether the center exists inside. , These noises can be excluded. The circumscribed rectangle 4404 having a large distance from the circumscribed rectangle 4401 at the current time has a high possibility of a flying object moving at a high speed or a disturbance that suddenly occurs far away, and can be excluded.
[0050]
FIG. 14 is a flowchart showing a tracking procedure of the object detection unit 4700 in the object candidate tracking unit 4000, and shows an example in which object tracking is performed on one circumscribed rectangle. In step 4710, the tracking counter TC and the disappearance counter LC, which are the parameters for tracking the candidate object, and the threshold value for the determination are initialized.
[0051]
The tracking counter TC is the number of times of detection of the movement of the candidate object, and its initial value is 0. The erasure counter LC is a parameter that changes the holding time for waiting for reproduction while holding the candidate object that has already appeared when the candidate object is lost. The initial value is set to 0 or arbitrary (for example, LC = 10). Tracking counter TC But that Threshold 1 Is exceeded, it is determined that tracking is possible, and the candidate object is detected as a monitoring target object (true object) from the candidate. That is, threshold 1 is Candidate object True The number of movements detected before detecting an object, which is arbitrarily set based on the accuracy of detection and the time required for detection. When the candidate object has moved a certain distance from the first appearance position, the threshold 2 of the moving distance is set to this constant distance so that the tracked candidate object is regarded as a monitoring target object. Based on the (person) 's moving speed, Set as desired.
[0052]
First, in step 4712, an image to be processed is captured. In step 4714, it is checked whether or not the current candidate object (circumscribed rectangle extracted by the background difference) exists. If not, step 4850 is performed. If not, step 4720 is performed.
[0053]
Step 4850 is a disappearance mode, in which the process of step 4860 is performed assuming that the current candidate object has disappeared. In step 4860, the state of the current candidate object at the immediately preceding time is checked. If the state of the immediately preceding time is also in the disappearance mode, 1 is subtracted from the disappearance counter LC in step 4900, and it is checked whether LC> 0 in step 4910. If LC ≦ 0, TC = 0 is set in step 4920, the held object candidate is discarded, and the process returns to step 4712. If it is determined in step 4860 that the state of the current candidate object at the time immediately before is the stop mode, the disappearance counter LC is calculated in step 4890. If the state is the movement mode, the disappearance counter LC is calculated in step 4870. Return to the processing of.
[0054]
The disappearance counter LC in step 4890 is, for example, a value obtained by multiplying the square of the tracking counter TC by 10 times, and when the object disappears from the stop mode (the same place), that is, the holding time is set so that the slow moving object can be easily detected. Is slightly extended. On the other hand, in step 4870, when the object has disappeared from the movement mode, L is calculated so as to slightly shorten the holding time so as to make it difficult to detect a fast moving object (for example, the square of TC is doubled). Do).
[0055]
If the current candidate object exists in the processed image in step 4714, step 4720 determines whether the tracking counter TC = 0 is zero. If TC = 0, since it is a candidate object detected at the beginning of the tracking process (new appearance), the process proceeds to step 4730, where the state of the current object candidate is set to the movement mode and the tracking counter TC is set to 1. The center of the newly appearing candidate object is set as SP, and the process returns to step 4712. This SP is the starting point of the following tracking.
[0056]
In the case of TC ≠ 0, since it has already appeared, the process proceeds to step 4740, where the distance between the center of the circumscribed rectangle of the current candidate object and the center of the circumscribed rectangle of the immediately preceding candidate object corresponds to the circumscribed rectangle of the object candidate having the smallest distance. Let it. In step 4760, it is determined whether the center (centroid) of the corresponding candidate object at the immediately preceding time is within the range of the candidate object (circumscribed rectangle) at the current time. If it is within the range, the current candidate object is in the stopped state, and the current candidate is set to the stop mode in step 4760, and the process proceeds to step 4810 while keeping TC as it is. On the other hand, if it is out of the range, the current candidate object is in the moving state, the current candidate is set to the moving mode in

step

4760, 1 is added to TC in step 4800, and the process proceeds to step 4810.
[0057]
In Step 4810, it is determined whether or not the tracking counter TC is equal to or larger than the threshold value 1. If it is equal to or larger than the threshold 1, the process proceeds to step 4815, where the distance between the center of the current candidate object (circumscribed rectangle) and the tracking start position SP is determined, and it is determined whether the distance is equal to or larger than the threshold 2. If it is less than the threshold value 2, LC is calculated in step 4890. Since the candidate object has transitioned from the movement mode to the stop mode, the value of LC, which is the holding time, is increased, and the process returns to step 4712.
[0058]
On the other hand, if the value is equal to or greater than the threshold value 2 in step 4815, the detection of the object is output to the display control unit 6000 in step 4820, and in step 4830, the disappearance counter LC and the tracking counter TC are initialized, and the tracking process ends. I do. Alternatively, the process returns to step 4712 to prepare for the next tracking process.
[0059]
As described above, the object detection by the tracking processing according to the present embodiment is performed when the number of scenes for which the appearance of the candidate object being tracked has been confirmed is equal to or more than a predetermined number of times and has moved a certain distance or more from the first appearance position. The object is considered as an intruding object to be monitored.
[0060]
If the motion of the candidate object becomes extremely slow or stops, it is regarded as a region having no change, and is incorporated into the background image and disappears. However, in the present embodiment, the tracking is continued while variably setting the holding time of the candidate object that has disappeared by the mode control according to the state transition of the movement, the stop, and the disappearance. When moves, tracking can be resumed from the appearance scene. As a result, if the holding time is extended, the intruder can sufficiently follow the action of stopping, and if the holding time is shortened, it is possible to exclude objects and disturbances that move faster than humans and are not monitored. Monitoring becomes possible.
[0061]
On the other hand, a plurality of candidate objects may exist. In this case, since there are a plurality of circumscribed rectangles, the process of tracking an object with respect to one circumscribed rectangle may be repeated a plurality of times. However, when there are a plurality of candidate objects, the distance between the center of the circumscribed rectangle of the current candidate object and the center of the circumscribed rectangle of the immediately preceding candidate object is the shortest, and the immediately preceding candidate object having no center within the circumscribed rectangle of the current candidate object. When the circumscribing rectangles are made to correspond to each other, there is a case where the object is confused. However, in many cases, the plurality of candidate objects are not irrelevant, and even if they are mistaken, it is only necessary to first detect the moving object as a whole, which is not a major problem.
[0062]
FIG. 15 shows a display example of object detection displayed on the display device 7000. When an object is detected, in this case, a person 6200 is detected, the display control unit 6000 reads out the stored circumscribed rectangular position of the detected object, and displays a circumscribed rectangular frame 6300 on the current input image of the display device 7000. Accordingly, in the case of monitoring a person, the detection information (circumscribed rectangular frame) by the person and the tracking can be grasped on the display device 7000 online.
[0063]
In the above-described embodiment, the configuration has been described in which the detection result is output from the display control unit 6000 of the monitoring device main body 20 and monitored by the display device 7000 provided alongside the main body 20. However, the present invention is not limited to this configuration, and a configuration is also possible in which detection results transmitted from the plurality of monitoring device main bodies 10 (or 20) are centrally monitored by a display device arranged at a remote monitoring center or the like.
[0064]
FIG. 16 shows a system configuration of a mobile monitoring apparatus according to another embodiment. The monitoring device according to this configuration includes a monitoring device main body 10 and a display device main body 7010 connected by a communication line 7020 such as a telephone line. Alternatively, the monitoring device main body 20 ′, the ITV camera 100, and the display device main body 7010 may be configured. The same components as those in FIG. 1 are denoted by the same reference numerals, and description thereof is omitted.
[0065]
The display device main body 10 is installed in the monitoring center, calls the monitoring device main body 10, receives the monitoring result, stores the data such as the image of the detected object, the detected position, and the date and time, and edits the monitored image with the display control unit 6000. And a display device 7000 for displaying a monitoring image in real time or when necessary. Note that the display result editing function of the detection result may be left in the monitoring device main body 10 as in FIG.
[0066]
【The invention's effect】
According to the present invention, for the detected current candidate object and a plurality of immediately preceding candidate objects, the closest candidate objects among the centers of gravity (centers) of the object regions (rectangular frames) are associated with each other, and the distance between the corresponding candidates is reduced. If the tracking of a certain or more moving state is repeated a predetermined number of times or more, and the moving distance from the initial candidate exceeds a predetermined threshold, it is detected as a moving object. And disturbances are excluded, and the detection accuracy of a moving object such as a person can be improved.
[0067]
Further, the motion of the candidate object is divided into three modes of movement, stop, and disappearance based on the distance between the correspondence candidates, and tracking processing according to the mode is performed. When the inter-candidate distance is greater than or equal to a certain value, the moving mode, when the inter-candidate distance is less than the stop mode, and when no candidate object is found are the disappearing mode. Since the tracking is suspended, the tracking starts immediately when the candidate starts moving again. The holding time is set to be longer when transitioning from the stop mode and shorter when transitioning from the movement mode, so that even if a slow-moving intruder is turned into a background image and temporarily disappears, it is not overlooked. Further, for a fast-moving disturbance that suddenly disappears from the movement, the tracking is terminated in a short time. As a result, tracking suitable for the behavior of the intruder can be performed, and the detection accuracy can be further improved.
[0068]
Further, according to the present invention, when the change area covers most of the screen, the change area or the candidate object is discarded, so that there is an effect that disturbance due to illuminance fluctuation or the like can be excluded.
[Brief description of the drawings]
FIG. 1 is a functional block diagram of a moving object monitoring device according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram showing the operation of the moving object monitoring device of the present invention.
FIG. 3 is a block diagram illustrating an example of an internal function of an image input processing unit.
FIG. 4 is an explanatory diagram showing functions and processing of a background image creation unit.
FIG. 5 is a block diagram showing an example of an internal function of a change area extraction unit.
FIG. 6 is a block diagram illustrating an example of an internal function of an object candidate detection unit.
FIG. 7 is a flowchart showing a procedure of an integration process of an extraction area integration unit.
FIG. 8 is an explanatory diagram showing a procedure for calculating a circumscribed rectangle by a circumscribed rectangle calculation unit.
FIG. 9 is an explanatory diagram illustrating a process in which a circumscribed rectangular area similarity calculation unit determines an object candidate.
FIG. 10 is a flowchart showing a processing procedure of a circumscribed rectangular area similarity calculation unit.
FIG. 11 is a block diagram showing an example of an internal function of the object candidate tracking unit.
FIG. 12 is an explanatory diagram showing how to calculate the center of a circumscribed rectangle.
FIG. 13 is an explanatory diagram showing a procedure for obtaining a correspondence candidate of an object candidate area corresponding unit.
FIG. 14 is a flowchart showing the procedure of the tracking process of the object candidate tracking unit.
FIG. 15 is an explanatory diagram showing a display example of an object detection result.
FIG. 16 is a system configuration diagram of a moving object monitoring device according to another embodiment of the present invention.
[Explanation of symbols]
10, 20, 20 '... monitoring device main body, 100 ... ITV camera, 500 ... image input processing unit, 1000 ... background image creation unit, 1500 ... difference image creation unit, 2000 ... change area extraction unit, 3000 ... object candidate detection unit , 3100: circumscribed rectangle calculation section, 3500: circumscribed rectangle area similarity calculation section, 3700: object candidate determination section, 4000: object candidate tracking section, 4300: object candidate area center calculation section, 4400 ... Moving distance calculation unit, 4500: object candidate area corresponding unit, 4700: object detection unit, 6000: display control unit, 7000: display device, 7010: display device body, 7020: communication line.

Claims

A moving object monitoring apparatus includes an imaging unit such as an ITV camera that captures an image of a monitoring area, an image processing unit that performs image processing on the captured image to detect a moving object in the monitoring area, and an output unit that outputs a detection result. ,
The image processing means sets a change area extracted from a difference between images as a candidate object, and performs a moving state in which the distance between the current candidate object in the current image and the candidate object in the immediately preceding image is equal to or more than a predetermined value for a predetermined number of times. When the moving distance from the position of the first candidate object to the current candidate object is equal to or more than a predetermined distance (threshold value 2) or more, a function of determining the candidate object as a monitoring target moving object is provided. A moving object monitoring device, comprising:

In claim 1,
The moving object monitoring apparatus, wherein, when there are a plurality of immediately preceding candidate objects, the image processing unit associates a candidate object whose center does not overlap with the current candidate object and which is closest to the current candidate object. .

A moving object monitoring apparatus includes an imaging unit such as an ITV camera that captures an image of a monitoring area, an image processing unit that performs image processing on the captured image to detect a moving object in the monitoring area, and an output unit that outputs a detection result. ,
The image processing means sets the change area extracted from the difference between the images as a candidate object, associates the current candidate object of the current image with the closest candidate object in the immediately preceding image, and sets a predetermined distance between the corresponding candidates. A state in which the value is equal to or more than the value is a movement mode, a state in which the current candidate object does not exist is a disappearance mode, and the movement mode is a predetermined number of times (threshold 1) or more and / or a moving distance from the position of the first candidate object to the current candidate object. Is longer than a predetermined distance (threshold value 2), the candidate object is determined as a moving object to be monitored, and the candidate object is held for a holding time set in the case of the disappearance mode. A moving object monitoring device, comprising:

In claim 3,
The state in which the distance between the correspondence candidates is less than the predetermined value is a stop mode, and when the transition from the stop mode to the disappearance mode is performed, the holding time is shorter than when the transition from the movement mode to the disappearance mode is performed. Moving object monitoring device, wherein the setting is made longer.

A moving object monitoring apparatus includes an imaging unit such as an ITV camera that captures an image of a monitoring area, an image processing unit that performs image processing on the captured image to detect a moving object in the monitoring area, and an output unit that outputs a detection result. ,
Candidate object detection means for setting a change area extracted based on a difference between pixels between a current input image (hereinafter, a current image) and an image a predetermined period before the current time (hereinafter, a previous image) as a candidate object;
A candidate object corresponding to the current image and a candidate object corresponding to the immediately preceding image are associated with each other, and a state in which the distance between the corresponding candidates is equal to or more than a predetermined value is a movement mode, a state in which the distance is less than a predetermined value is a stop mode, and a candidate object corresponding to the current image is The nonexistent state is defined as a disappearance mode, and the number of times of image sampling in the movement mode is equal to or more than a predetermined number (threshold 1) and the moving distance from the position of the candidate object at the beginning of tracking to the current candidate object is a predetermined distance (threshold value). 2) When the above condition is satisfied, the candidate object is determined as a moving object to be monitored, and the immediately preceding image is held until the number of times of image sampling in the erasure mode reaches the erasure allowable value. A candidate object detection means for discarding when exceeding and terminating the tracking processing,
A tracking counter for counting the number of image samplings in the moving mode, and subtracting the number of image samplings in the erasing mode from the erasing allowable value, and the allowable value when the erasing mode transitions from the moving mode. A moving object monitoring apparatus, wherein the image processing means further comprises: a disappearance counter for setting the permissible value to be large when transitioning from the stop mode.

In claim 5,
The preceding image is a background image, and is provided with a background image creating means for updating an area having little change in the current image with a background image based on a difference between the current image and the previous image and updating the background image. Object monitoring device.

In claim 6,
The moving object monitoring device, wherein the background image creating means replaces and updates the entire area of the current image with the background image when a change area based on the difference between the current image and the immediately preceding image covers most of the screen.

An image capturing means such as an ITV camera for capturing an image of a monitoring area, a monitoring apparatus main body having image processing means for performing image processing on the captured image to detect a moving object in the monitoring area, and a signal for transmitting a detection result by the monitoring apparatus main body Line, in a moving object monitoring device including a display device body having a display control unit that processes a detection result received via the signal line,
The image processing means, the change region extracted from the difference between the images as a candidate object, the moving state in which the distance between the current candidate object in the current image and the candidate object in the immediately preceding image is a predetermined value or more, a predetermined number of times or more, And a function of determining the candidate object as a monitoring target moving object when the moving distance from the position of the first candidate object to the current candidate object is equal to or longer than a predetermined distance. apparatus.