JP3228638B2

JP3228638B2 - 背景差分法を用いた移動体検出方法

Info

Publication number: JP3228638B2
Application number: JP12648694A
Authority: JP
Inventors: 利章篠原
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1994-06-08
Filing date: 1994-06-08
Publication date: 2001-11-12
Anticipated expiration: 2016-11-12
Also published as: CA2151079C; JPH07336694A; EP0686943B1; DE69515372T2; EP0686943A3; EP0686943A2; US5606376A; CA2151079A1; DE69515372D1

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、デジタル画像処理を利
用して画像内の移動体を検出し、画像システムの動作を
制御するための移動体検出方法に関する。

【０００２】

【従来の技術】監視分野において、動き物体の検出の手
法は、大きく分けて、フレーム間の差分を取るフレーム
間差分法と、連続画像の各画像間の対応点を算出する対
応点法と、背景画像と入力画像の差分を取る背景差分法
などがある。

【０００３】フレーム間差分法は、２枚の画像の差分を
取るだけでよいため構成が簡単であるが、差分の結果得
られる領域は、対象物そのものを表さないため、その結
果のみから移動物体の像を検出するのは困難である。

【０００４】対応点法は、画像を小領域に分割して、そ
れぞれの小領域を特徴づける形状パラメータを算出し、
画像間でこの形状パラメータの相関を取ることによって
対応点を算出する方法である。そのため処理が重く、物
体の回転や形状の変化がある場合には、各小領域の形状
パラメータが変わってしまうため、対応点を検出するこ
とが困難となる。

【０００５】背景差分法は、入力画像には検出対象物体
と背景像が含まれており、この画像から背景画像を引く
ことにより検出対象物体の像を得る方法である。この方
法は、正しい背景画像があれば良好に対象物体を検出で
きる。そのために、あらかじめ検出対象物体を含まない
背景画像を取り込んでおくことが考えられるが、背景が
変化した場合には正しい結果が得られなくなる。したが
って、背景の生成方法が問題になる。

【０００６】現在の背景差分法において、画像内の動き
検出処理領域に対して均一な積分パラメータを設定する
方法として特開昭62−114064号公報に示された手法があ
る。この手法は、入力画像をｆ(n)、古い背景画像をｇ
(n-1)とすると、更新される背景画像が下記の(数１)で
表せるものとしたものである。

【０００７】

【数１】ｇ(n)＝Ａ×ｆ(n)＋(１-Ａ)×ｇ(ｎ-１) (数１)においてＡを背景積分パラメータと呼ぶ。背景積
分パラメータは定数であり、しかも全ての画素とも共通
である。この手法によると、検出対象物体の移動速度や
表面の反射率，しきい値によって、検出される領域に穴
や尾が発生し、検出領域の形状が変形してしまうという
問題があった。

【０００８】背景の更新方法では、入力画像Ｉ(ｉ,ｊ)
と背景画像Ｂ(ｉ,ｊ)の差分絶対値画像Ｄ(ｉ,ｊ)を用い
て、前記(数１)の積分パラメータＡ(ｉ,ｊ)を全体に
“０”にして、入力画像と背景画像を入れ替えてしまう
方法(特開平１−7174号公報)、もしくは差分値の絶対値
の逆数を積分パラメータＡ(ｉ,ｊ)にする方法がある。
いずれも差分値の絶対値が、あるしきい値より小さいと
きに入力画像と背景画像を入れ替えてしまうか、積分パ
ラメータを小さくして入れ替えの度合いを大きくしてい
る。

【０００９】

【発明が解決しようとする課題】しかし、前記従来の技
術では、入力画像に差分値の絶対値の小さい移動体が侵
入した場合、背景画像に入れ替えられてしまい、移動体
の領域はノイズとして背景画像にされてしまっている。
背景画像の更新を考えるとき、移動体の領域は背景に入
れ替えないことが望ましい。

【００１０】さらに、この背景差分法は、背景の変動に
強いとされているが、日照，カメラのＡＧＣ，カメラの
絞りの変動などによる入力画像の緩やかな変動には強い
が、雷や照明のＯＮ／ＯＦＦの変動など、入力画像の急
激な変動が発生した場合、設定されている２値化のしき
い値，背景積分パラメータＡ(ｉ,ｊ)の値によっては誤
検出が発生する場合があった。

【００１１】本発明の目的は、前記従来の問題を解決す
るため、入力画像と背景画像から、入力画像の急激な変動が
発生したことを検出することと、その領域を検出するこ
と、移動体が侵入している領域と背景の領域とを区別す
ること、入力画像に侵入する移動体の影響を受けないように
背景を更新すること、入力画像の急激な変動を誤検出しないように背景を
更新すること、を可能にした移動体検出方法を提供することにある。

【００１２】

【課題を解決するための手段】前記目的を達成するた
め、本発明の背景差分法を用いた移動体検出方法は、画
像内の動き検出処理領域で、図２に示すように入力画像
Ｉ(ｉ,ｊ)の各画素のレベルと背景画像Ｂ(ｉ,ｊ)の各画
素のレベルの差分絶対値画像Ｄ(ｉ,ｊ)上をｂ×ｂのブ
ロックを１画素ごとに移動し、各ブロック内の１画素ご
とのレベルの分散と平均値を用いて移動体存在領域，背
景領域，入力画像急変領域の区別を実現するものであ
る。

【００１３】また入力画像急変領域の画素数をカウント
し、カウントした値があらかじめ設定されたしきい値を
超えた場合、その処理結果を無効として入力画像Ｉ(ｉ,
ｊ)と背景画像Ｂ(ｉ,ｊ)を入れ替えることで、入力画像
Ｉ(ｉ,ｊ)の急激な変化に強い移動体検出を実現するも
のである。

【００１４】また移動体存在領域と、背景領域とに区別
された領域のそれぞれに、背景積分パラメータを決定す
ることで、移動体の影響を受けづらい背景更新方法を実
現し、入力画像急変領域は、入力画像Ｉ(ｉ,ｊ)と背景
画像Ｂ(ｉ,ｊ)を入れ替える(積分パラメータを“１”に
してもよい)か、もしくは積分パラメータを大きく設定
すること(背景画像と入力画像を入れ替える度合いを大
きくすること)で、背景の急激な変化を検出しない移動
体検出を実現するものである。

【００１５】

【作用】前記構成の本発明に係る背景差分法を用いた移
動体検出方法では、入力画像Ｉ(ｉ,ｊ)の移動体存在領
域はゆっくりと背景が更新され、入力画像Ｉ(ｉ,ｊ)の
背景領域は素早く更新される。また、入力画像急変領域
は即座に更新され、入力画像急変領域の画素数があらか
じめ設定されたしきい値より大きい場合は、背景画像Ｂ
(ｉ,ｊ)の全体が入力画像Ｉ(ｉ,ｊ)に即座に入れ替えら
れる。

【００１６】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。

【００１７】図１は本発明の一実施例に係る背景差分法
を用いて移動体検出を行う方法を実施するための構成の
一例を示すブロック図であり、同図のように画像を入力
100し、入力画像Ｉ(ｉ,ｊ)を、まず折り返しが発生しな
いように平均値フィルタをかけ、次に間引きフィルタ10
1でｉ方向にｍ間引きし、かつｊ方向にｎ間引く処理を
行い、処理画像を作成する。ここで、ｍ×ｎ画素のブロ
ックを１処理画素とし、そのレベルは各画素の平均値を
とる。各画素の平均値をとることによって、各画素の固
定的なノイズや暗電流によるノイズを低減することがで
きる。

【００１８】さらに、入力画像と背景画像の差分を取る
タイミングをフレームの枚数で決める。例えば５フレー
ムとした場合、フレーム間引き率は“５”というように
表現する。この処理も間引きフィルタ101で行う。フレ
ーム間引き率を可変する理由は、移動体の移動速度が必
ずしも一定ではなく、その移動速度に合わせて処理を変
化させる必要があるからである。

【００１９】間引きフィルタ101で間引かれた処理画像
を背景メモリ102に前記(数１)の式で記憶し、間引きフ
ィルタ101で間引かれた入力画像と背景メモリ102に記憶
された画像を差分絶対値処理部105で処理し、差分値メ
モリ106に書き込む。この差分値メモリ106に書き込まれ
た画像が差分絶対値画像Ｄ(ｉ,ｊ)である。

【００２０】図３は積分制御部103の積分パラメータＡ
(ｉ,ｊ)を仮に決定するフローチャートである(ここで、
「仮に決定する」というのは、後の処理で移動体存在領
域，背景領域，入力画像急変領域とを区別し、積分パラ
メータＡ(ｉ,ｊ)を再設定するためである)。図３のフロ
ーの場合の差分絶対値画像Ｄ(ｉ,ｊ)と積分パラメータ
Ａ(ｉ,ｊ)のメモリサイズは、ｉ方向に192画素、ｊ方向
に242画素である。

【００２１】図３において、まずｊ，ｉ値をゼロ・クリ
アし(Ｓ3-1)、積分制御部103で、それぞれの積分パラメ
ータＡ(ｉ,ｊ)の画素に図４に示すＡ(ｉ,ｊ)＝Ｆ(Ｄ
(ｉ,ｊ))を用いて、１画素ごとに積分パラメータを仮に
決定する(Ｓ3-2)。ただし、Ｄ(ｉ,ｊ)とＡ(ｉ,ｊ)のメ
モリサイズは上述したようにｉ方向に192画素、ｊ方向
に242画素に規制される(Ｓ3-3)。

【００２２】その後、差分絶対値画像Ｄ(ｉ,ｊ)上をｂ
×ｂのブロックを１画素ごとに移動し、ブロック内の平
均値と分散から積分パラメータＡ(ｉ,ｊ)を再設定す
る。この積分パラメータＡ(ｉ,ｊ)によって背景メモリ1
02に背景画像が生成される。ＣＰＵの機能設定部104で
は、屋内や屋外などのカメラの設置環境の変化を、スイ
ッチなどのマンマシン・インターフェースから受け取っ
て関数Ｆ(Ｄ(ｉ,ｊ))の選択変更を行う。この結果に応
じて積分制御部103の積分パラメータＡ(ｉ,ｊ)の設定が
行われる。図４に示した関数Ｆ(Ｄ(ｉ,ｊ))は、ここで
選択変更される関数の一例である。

【００２３】前記積分制御部103について説明する。図
２に示すように、入力画像Ｉ(ｉ,ｊ)と背景画像Ｂ(ｉ,
ｊ)の差分絶対値を取った画像，差分絶対値画像Ｄ(ｉ,
ｊ)上をｂ×ｂ(ｂは整数)のブロックを画像(ｉ,ｊ)に対
して１画素ごとに移動して、そのそれぞれのブロック内
の分散，平均値を計算する。

【００２４】ブロック内の分散(var)と平均値(mean)の
計算のフローを、それぞれ図５，図６のフローチャート
に示す。まず、分散と平均値共に差分絶対値画像Ｄ(ｉ,
ｊ)上を小領域(＝５×５)の領域(特に縦横同一画素数で
なくてもよいが、処理画素数(192，242)と移動体が処理
画像に移る大きさから、本実施例は５×５が良好と判断
した)の中心画素(ｉ,ｊ)を左上から右に１画素ずつ移動
して右端に到達したら、１ライン下の左端からまた１画
素ずつ移動して、全ての差分絶対値の画素について計算
する。

【００２５】図５，図６において、平均値(mean)と分散
(var)をゼロ・クリアし(Ｓ5-1，Ｓ6-1)、ある差分絶対
値画像Ｄ(ｉ,ｊ)上のＤ(ｉ,ｊ)１画素で、その周辺の領
域(５×５画素)、ｉb＝−２(Ｓ5-3，Ｓ6-3)からｉb＝２
(Ｓ5-5，Ｓ6-5)，ｊb＝−２(Ｓ5-2，Ｓ6-2)からｊb＝２
(Ｓ5-6，Ｓ6-6)までの５×５の領域の平均値mean(ｉ,
ｊ)と、分散var(ｉ,ｊ)を計算(Ｓ5-4，Ｓ6-4)してい
る。その計算式を(数２)に示す。

【００２６】

【数２】

【００２７】本実施例では平均値と分散は、それぞれme
an／25，var／25となる(Ｓ5-7，Ｓ6-7)。

【００２８】これによって、発明が解決しようとする課
題における項と項の入力画像と背景画像から移動体
存在領域，背景領域，入力画像急変領域の区別が実現で
きる。これは、差分絶対値画像Ｄ(ｉ,ｊ)で、・入力画像急変が発生した領域は、その分散が小さく、
かつ平均値が大きい。

【００２９】・背景領域は分散も平均も低い。

【００３０】・移動体存在領域は分散が高い。

【００３１】という特徴を利用している。

【００３２】もし背景が黒く、背景の反射率が低い場
合、平均値は決して大きくはないが、この場合は背景の
更新の度合いである積分パラメータが、図４に示すよう
に十分に大きく設定されているので背景の更新が十分に
追い付き、誤検出がなく問題はない。

【００３３】図７はパラメータ設定のフローチャートで
あり、前記特徴を利用して、平均値mean(ｉ,ｊ)，分散v
ar(ｉ,ｊ)の値を、あるしきい値ｍth，ｖthで分割し、
移動体存在領域，背景領域，入力画像急変領域に分け、
それぞれ１画素ごとに積分パラメータＡ(ｉ,ｊ)の値を
設定している。積分パラメータＡ(ｉ,ｊ)の値は、大き
いほど入力画像を背景画像に入れ替える度合いが大き
く、Ａ(ｉ,ｊ)が“１”ならば、入力画像を背景画像に
全て入れ替えることになる。この処理は、積分パラメー
タＡ(ｉ,ｊ)の値を、移動体存在領域＜背景領域＜入力画像急変領域というように設定することである。

【００３４】図７において、まずｊ，ｉ値をゼロ・クリ
アし(Ｓ7-1)、ｉ，ｊ方向に１画素ずつメモリサイズに
達するまで加算される(Ｓ7-4)。そして上述したように
仮に設定された積分パラメータの値は、ここで再設定さ
れることになる。これは、図４の関数Ｆ(Ｄ(ｉ,ｊ))に
よって、何の区別もなく設定された積分パラメータに対
してしきい値ｍth，ｖthとの比較結果を得て(Ｓ7-2)、
次の処理を加えることになる。

【００３５】・入力画像の急激な変化が発生した入力画
像急変領域では、Ａ(ｉ,ｊ)＝１または大きくして(Ｓ7-
3)、入力画像を素早く背景画像に入れ替える。

【００３６】・移動体存在領域は、入力画像を背景画像
に全く更新しないか、Ａ(ｉ,ｊ)＝0.1として(Ｓ7-3)、
入力画像を背景画像にごく少量だけ更新する。

【００３７】・背景領域は、そのまま図４の関数Ｆ(Ｄ
(ｉ,ｊ))を用いる。

【００３８】これによって発明が解決しようとする課題
における項が実現できる。

【００３９】次に、入力画像急変領域が背景画像に対し
て大きく発生した場合の処理を図８のフローチャートに
て説明する。図８のフローが図７のフローと異なるとこ
ろは、カウンタＣを設け、図７の処理で入力画像急変領
域と判定された領域の画素数をカウントし(Ｓ8-2)、カ
ウンタＣの値が、あらかじめ設定したしきい値(th)より
大きい場合、背景画像に入力画像を入れ替える処理(Ｓ8
-4)を行うようにした点である。

【００４０】これによって、雷や、照明のＯＮ／ＯＦＦ
など、急激な入力画像の変動が発生しても、その処理フ
レームを無効にし、入力画像の全画面を背景画像にする
だけで、処理を継続することができる。

【００４１】これと、先に説明した入力画像急変領域の
入れ替え処理の組み合わせで、発明が解決しようとする
課題における項が実現できる。

【００４２】差分絶対値処理部105では、入力画像Ｉ
(ｉ,ｊ)と背景画像Ｂ(ｉ,ｊ)の差分を取り、続いて絶対
値処理する。また、移動体は多くのエッジを含む場合が
多いと考えられるので、水平と垂直の勾配を差分絶対値
画像Ｄ(ｉ,ｊ)に加算する処理も行う。

【００４３】差分絶対値処理部105での差分絶対値処理
の後、２値化処理部117で得られた２値化画像にＭ×Ｍ
のメディアンフィルタ107をＭ²／２でかける。これは、
以下の点において効果が得られる。

【００４４】・ノイズの除去。

【００４５】・サイズの調整によって移動体の検出領域
の表面の不均一性を吸収できる。

【００４６】後者の効果について説明する。移動体の処
理画像上の大きさは、カメラと物体の距離，移動体の実
際の大きさ，空間間引き率ｍ×ｎ，レンズの焦点距離，
ＣＣＤの画素数とアスペクト比から決定される。このそ
れぞれの情報が得られれば、移動体の大きさに基づいて
メディアンフィルタ107のサイズを決定すればよい。

【００４７】メディアンフィルタ107で処理された結果
を、マスキング処理部108であらかじめ定められたマス
キングパターン109で処理領域の限界を行う。その結果
得られた処理画像にラベリング処理をラベリング処理部
110で行い、ラベリングされた各ラベルに対して領域連
結処理・大小領域除去処理部111での処理を施す。この
処理にて、あらかじめ入力された移動体の大きさの範囲
に対して検出領域の大きさを比較し、範囲に合わない対
象を除去する。したがって、入力画像に雨や雪、あるい
は犬や猫などの検出対象物体と明らかに大きさの異なる
ノイズ成分を除去することができる。

【００４８】前記領域連結処理・大小領域除去処理をさ
れて残った各ラベルに対して、それぞれ重心計算処理を
重心計算処理部112で施し、得られたそれぞれのラベル
の重心の軌跡処理を軌跡処理部113で行い、その軌跡を
軌跡メモリ114に記憶し、表示切換部115を介して表示す
る。

【００４９】

【発明の効果】以上説明したように本発明の背景差分法
を用いた移動体検出方法は、各請求項に記載の方法によ
れば、移動体を検出領域の変形がなく良好に検出するこ
とができ、また背景領域と移動体存在領域との区別を
し、背景画像の更新方法を換えることで精度のよい背景
生成ができる。さらに入力画像急変領域を検出すること
ができ、背景画像の更新を制御することで、急激な入力
画像の変化に強い移動体の検出が可能となる。

【図面の簡単な説明】

【図１】本発明の背景差分法を用いた移動体検出方法を
実施するための構成の一例を示すブロック図である。

【図２】差分絶対値画像の分散と平均値を取る方法の説
明図である。

【図３】差分絶対値画像からある固定された関数で積分
パラメータを設定するフローチャートである。

【図４】積分パラメータを仮設定する固定された関数の
特性図である。

【図５】差分絶対値画像の平均値を計算するフローチャ
ートである。

【図６】差分絶対値画像の分散を計算するフローチャー
トである。

【図７】差分絶対値画像の分散と平均値から積分パラメ
ータを設定するフローチャートである。

【図８】背景の急激な変化の領域をカウントし、背景画
像に入力画像を入れ替える処理のフローチャートであ
る。

【符号の説明】

100…入力画像、 101…間引きフィルタ、 102…背景
メモリ、 103…積分制御部、 104…機能設定部(ＣＰ
Ｕ)、 105…差分絶対値処理部、 106…差分値メモ
リ、 107…メディアンフィルタ、 108…マスキング処
理部、 109…マスキングパターン、 110…ラベリング
処理部、 111…領域連結処理・大小領域除去処理部、
112…重心計算処理部、 113…軌跡処理部、 114…軌
跡メモリ、 115…表示切換部、 116…画像出力、 11
7…２値化処理部。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 H04N 7/18 H04N 7/24 - 7/68 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】入力画像Ｉ(ｉ,ｊ)の各画素のレベルか
ら背景画像Ｂ(ｉ,ｊ)の各画素のレベルを引き、その絶
対値を取ることで差分絶対値画像Ｄ(ｉ,ｊ)を得て、そ
の差分絶対値画像Ｄ(ｉ,ｊ)上をｂ×ｂ(ｂは整数)のブ
ロックを１画素ごとに移動し、前記ブロック内の１画素
ごとのレベルの分散と平均値を用いて移動体存在領域と
背景領域と入力画像急変領域の３つの領域を区別し、背
景画像の更新方法を１画素ごとに変えることを特徴とす
る移動体検出方法。
【請求項２】前記ｂ×ｂのブロック内で、入力画像急
変領域と区別した領域の画素数をカウントし、カウント
した値があらかじめ設定されたしきい値を超えた場合、
その処理結果を無効として入力画像Ｉ(ｉ,ｊ)と背景画
像Ｂ(ｉ,ｊ)を入れ替えることを特徴とする請求項１記
載の移動体検出方法。
【請求項３】入力画像Ｉ(ｉ,ｊ)の各画素のレベルか
ら背景画像Ｂ(ｉ,ｊ)の各画素のレベルを引き、その絶
対値を取ることで得られる差分絶対値画像Ｄ(ｉ,ｊ)を
用いて、背景画像を更新するパラメータである積分パラ
メータＡ(ｉ,ｊ)を画面全体に１画素ごとに設定する方
法であって、差分絶対値画像Ｄ(ｉ,ｊ)の対象とする１
画素の差分絶対値が差分絶対値画像Ｄ(ｉ,ｊ)を２値化
するしきい値より大きい場合、大きくなるほど積分パラ
メータを小さく設定し、差分絶対値が差分絶対値画像Ｄ
(ｉ,ｊ)を２値化するしきい値より小さい場合、差分絶
対値が小さくなるほど積分パラメータが大きくなるよう
な関数で積分パラメータＡ(ｉ,ｊ)を仮に設定し、差分
絶対値画像Ｄ(ｉ,ｊ)上をｂ×ｂ(ｂは整数)のブロック
を１画素ごとに移動し、前記ブロック内の１画素ごとの
レベルの分散と平均値から移動体存在領域と入力画像急
変領域とに区別された領域に対してのみ新たに積分パラ
メータを設定し直すことを特徴とする移動体検出方法。