JP2950267B2 - 背景画像生成方法および背景画像生成装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、背景画像を自動生
成する背景画像生成方法および背景画像生成装置に関す
る。

【０００２】

【従来の技術】従来、背景画像生成方法および背景画像
生成装置は、例えば、移動物体と背景とから構成されて
いる動画像から移動物体を取り除き、背景画像を自動生
成する、背景画像生成方法および装置として構成され
る。この手順における背景画像の生成については、移動
物体の通過による入力画像の変動に対して背景画像の安
定性が高く、照明条件などによる背景自体の変動に背景
画像が素早く追従できる方法が要望される。

【０００３】具体的な従来の例として、従来例１の特開
平７−３０２３２８号公報の「背景差分による動物体領
域抽出方法」に記載の、屋外など照明変動が頻繁に起き
る状況、および背景がゆっくり変化する状況でも差分処
理を適用して、人物、車両などの動物体を安定に抽出で
きることを目指した方法がある。また、従来例２の特開
平５−２２５３４１号公報の「移動物体検出装置」に記
載の、急激な照明変化や動作中の静止物体の隠現による
誤検出の少ない移動物体検出装置がある。

【０００４】従来例１の背景像所望領域更新過程として
述べられている背景画像生成方法では、各フレーム画像
中の各画素について、この画素を含む小領域における光
学的特徴パラメータの数値の時間変化を所定の時間間隔
ｔ０で統計処理し、統計量が照明変動に起因すると推定
される照明変動推定条件を満たしたときに、小領域にお
けるこの時間内の数値を背景画像の同じ小領域の数値と
置き換え、新しい背景画像として保持する背景像小領域
更新処理を、画面全体または予め設定された画面所望領
域の各位置に対して実行している。

【０００５】即ち、本従来例１の方法では、照明変動推
定条件を満たすか否かにより、該画素が背景領域に属し
ているか、移動物体領域に属しているかを判定し、背景
領域においてのみ背景画像を更新している。

【０００６】また、従来例２の移動物体検出装置では、
入力画像と背景画像との差分値が所定値以上の画素と所
定値以下の画素とで、背景生成の際の入力画像と背景画
像との加算の割合を変えることにより、入力画像と背景
画像との混合比を変えて背景画像を生成している。ま
た、照明灯の点灯などの急激な変化に対応するため、入
力画像と一定期間前の入力画像との差分値が所定値以上
の画素と所定値以下の画素とで、背景生成の際の入力画
像と背景画像との加算の割合を変えることにより、入力
画像と背景画像との混合比を変えて背景画像を生成して
いる。

【０００７】

【発明が解決しようとする課題】しかしながら、上記従
来例１の方法では、移動物体領域では背景画像を更新し
ないため、移動物体の通過による入力画像の変動に対し
て背景画像の安定性が高いことが期待できるが、移動物
体領域では照明が変化しても背景画像が不変であること
になり、照明条件などによる背景自体の急激な変化に素
早く追従できないという問題点がある。例えば、図８
（ａ）に示すように、照明の変化などにより入力画像が
変動した場合、図８（ｂ）に示すように、移動物体領域
では背景画像が更新されない。

【０００８】また、従来例２の装置では、画素毎の輝度
変動に基づくだけでは、移動物体の通過による輝度変動
と照明の急激な変化との識別が困難であり、移動物体の
通過に対する安定性と照明の急激な変化に対する追従性
とを両立できないという問題点がある。即ち、入力画像
と一定期間前の入力画像との差分値が所定値以上の画素
について、背景生成の際の入力画像と背景画像との加算
の割合を、この入力画像の割合が大きくなるように設定
すると、照明の急激な変化に対応できるようになるが、
移動物体の通過による輝度変動に対しても、入力画像の
加算の割合が大きくなるため、移動物体の通過による入
力画像の変動に対して背景画像の安定性を低める結果に
なる。従って、移動物体の通過による入力画像の変動に
対して背景画像の安定性をある程度保つためには、背景
画像生成の際の入力画像の混合比を適当に抑える必要が
ある。このため、例えば、図７（ａ）に示すように入力
画像が変動した場合、図７（ｂ）に示すように背景画像
の追従に遅れを生ずることになる。

【０００９】本発明は、背景画像の移動物体の通過に対
する高い安定性と、照明の変化などによる背景自体の変
動に対する素早い追従性能とを両立させた背景画像生成
方法および背景画像生成装置を提供することを目的とす
る。

【００１０】

【課題を解決するための手段】かかる目的を達成するた
め、請求項１記載の発明の背景画像生成方法は、当該時
点のフレーム画像とこのフレーム画像の１フレーム前に
生成された背景画像との相互に対応する画素値間の差分
を画素値とする背景差分画像を生成する工程と、背景差
分画像の全画素値の平均をとることにより当該時点のフ
レーム画像の全体における一様変化成分を計算する工程
と、背景画像の各画素値に一様変化成分を加えることに
より背景画像を更新する工程と、さらに、入力画像およ
び背景画像の対応する画素値とに基づき背景画像を更新
する工程とを具備し、当該時点のフレーム画像に対応す
る背景画像を生成することを特徴としている。

【００１１】また、上記の背景差分画像のデータＳ
（ｘ，ｙ）は、時刻ｔの入力画像および背景画像の座標
（ｘ，ｙ）における画素値を、それぞれＩ_t （ｘ，
ｙ）、Ｂ_t （ｘ，ｙ）（０≦ｘ＜Ｘ，０≦ｙ＜Ｙ）と
し、式（１）により求め、 Ｓ（ｘ，ｙ）＝Ｉ_t （ｘ，ｙ）−Ｂ_t-1 （ｘ，ｙ） …（１） 一様変化成分は、式（２）において全画素値の平均Ａ
_all を求めた後、 Ａ_all ＝（１／ＸＹ）ΣＳ（ｘ，ｙ） 但し、１≦ｘ＜Ｘ，１≦ｙ＜Ｙ …（２） 計算式（３）により得るとよい。 Ｂ_t （ｘ，ｙ）＝０ ；Ｂ_t-1 （ｘ，ｙ）＋Ａ_all ＜０のとき ＝Ｎ−１ ；Ｂ_t-1 （ｘ，ｙ）＋Ａ_all ＞Ｎ−１のとき ＝Ｂ_t-1 （ｘ，ｙ）＋Ａ_all ；それ以外のとき 但し、Ｎは階調数 …（３）

【００１２】請求項３記載の発明の背景画像生成方法
は、現在の入力画像と現在の１フレーム前に生成された
背景画像との対応する画素値の差分を画素値とする背景
差分画像を生成する工程と、背景差分画像に基づき各画
素が背景領域に所属するか否かを判定することにより各
画素の背景領域への所属の有無を記述する背景領域マス
クを生成する工程と、背景領域における一様変化成分と
して２つの場合があり、第１の場合として背景領域マス
クにおいて背景領域に所属すると記述されている画素群
の数が閾値以上ならば当該画素群に対応する背景差分画
像の画素値の平均を算出し、第２の場合として背景領域
マスクにおいて背景領域に所属すると記述されている画
素数に基づいて背景領域が小さいと判断されたならば背
景差分画像の全画素の平均値を算出する工程と、背景画
像の各画素値に一様変化成分を加えることにより背景画
像を更新する工程と、さらに、背景領域マスクで背景領
域に所属すると記述されている画素群において入力画像
および背景画像の対応する画素値とに基づき背景画像を
更新する工程とを具備し、現在の背景画像を生成するこ
とを特徴としている。

【００１３】請求項４記載の発明の背景画像生成方法
は、現在の入力画像と現在の１フレーム前に生成された
背景画像との対応する画素値の差分を画素値とする背景
差分画像を生成する工程と、背景差分画像および後述の
移動物体の予測結果に基づき各画素が背景領域に所属す
るか否かを判定することにより各画素の背景領域への所
属を記述する背景領域マスクを生成する工程と、背景領
域における一様変化成分として２つの場合があり、第１
の場合として背景領域マスクにおける背景領域に所属す
ると記述されている画素群の数が閾値以上ならば、当該
画素群に対応する背景差分画像の画素値の平均を算出
し、第２の場合として背景領域マスクにおける背景領域
に所属すると記述されている画素数に基づいて背景領域
が小さいと判定されたならば背景差分画像の全画素の平
均値を算出する工程と、背景画像の各画素値に一様変化
成分を加えることにより背景画像を更新する工程と、お
よび、背景領域マスクで背景領域に所属すると記述され
ている画素群において入力画像および背景画像の対応す
る画素値とに基づき背景画像を更新することにより現在
の背景画像を生成する工程と、入力画像および背景画像
に基づき移動物体を認識する工程と、移動物体の認識結
果に基づき現在の次のフレームにおける移動物体を予測
する工程とを具備し、移動物体の予測結果を用いて現在
の背景画像を生成することを特徴としている。

【００１４】請求項５記載の発明の背景画像生成装置
は、少なくとも入力画像、背景画像、背景差分画像、一
様変化成分の各データを記憶する記憶手段と、記憶され
ている入力画像および背景画像の各データを参照して背
景差分画像を生成して記憶手段に記憶する背景差分画像
生成手段と、背景差分画像を参照して一様変化成分を算
出して記憶手段に記憶する一様変化成分算出手段と、一
様変化成分を参照して記憶されている背景画像を更新す
る一様変化成分による背景画像更新手段と、記憶されて
いる入力画像を参照して記憶されている背景画像を更新
する局所変化成分による背景画像更新手段と、各処理の
動作を制御する制御手段とを具備し、一様変化成分およ
び局所変化成分を用いて背景画像を逐次更新することを
特徴としている。

【００１５】請求項６記載の発明の背景画像生成装置
は、少なくとも入力画像、背景画像、背景差分画像、一
様変化成分、背景領域マスクの各データを記憶する記憶
手段と、この記憶手段に記憶されている入力画像および
背景画像の対応する画素値間の差分値である背景差分画
像を生成する背景差分手段と、背景差分画像を参照して
各画素が背景領域に所属するか否かを判定することによ
り各画素の背景領域への所属を記述する背景領域マスク
を生成する背景領域判定手段と、背景差分画像を参照し
て画像全体の一様変化成分を算出する一様変化成分算出
手段と、背景領域マスクを参照して背景領域サイズの大
小判定をする背景領域サイズの大小判定手段と、背景領
域マスクで背景領域に所属すると記述されている画素群
に対応する画素値の平均を背景領域における一様変化成
分として算出する背景領域における一様変化成分算出手
段と、一様変化成分に基づいて背景画像を更新する一様
変化成分による背景画像更新手段と、入力画像および背
景領域マスクに基づいて記憶されている背景画像を更新
する局所変化成分による背景画像更新手段と、各処理動
作を制御する制御手段とを具備し、背景領域マスクの状
態に基づいて背景画像を逐次生成することを特徴として
いる。

【００１６】請求項７記載の発明の背景画像生成装置
は、少なくとも入力画像、背景画像、背景差分画像、一
様変化成分、背景領域マスク、予測マスク、予測デー
タ、認識された移動物体の各データを記憶する記憶手段
と、この記憶手段に記憶されている入力画像と背景画像
との対応する画素間の差分値である背景差分画像を生成
する背景差分手段と、記憶している背景差分画像および
予測データを参照して各画素が背景領域に所属するか否
かを判定することにより各画素の背景領域への所属を記
述する背景領域マスクを生成する背景領域判定手段と、
予測データから予測された車両の位置を指定する予測マ
スクを生成する予測マスク生成手段と、背景差分マスク
および予測マスクを参照して記憶している背景領域マス
クを更新する背景領域マスク生成手段と、背景差分画像
の全画素値の平均値を求めることにより画像全体の一様
変化成分を算出する画像全体における一様変化成分算出
手段と、背景差分マスクおよび予測マスクに基づき背景
領域マスクを生成する背景領域マスク生成手段と、背景
領域マスクにおける背景領域に所属すると記述されてい
る画素数に基づいて背景領域の大小を判定する背景領域
サイズの大小判定手段と、背景差分画像において、背景
領域マスクで背景領域に所属すると記述されている画素
群に対応する画素値の平均を背景領域における一様変化
成分として算出する背景領域における一様変化成分算出
手段と、一様変化成分に基づいて記憶している背景画像
を更新する一様変化成分による背景画像更新手段と、入
力画像および背景領域マスクに基づいて記憶されている
背景画像を更新する局所変化成分による背景画像更新手
段と、入力画像および背景画像に基づいて移動物体を認
識する移動物体認識手段と、移動物体に基づいて次に背
景画像を更新する時点における移動物体の位置を予測す
る予測手段とを具備し、背景画像を逐次生成することを
特徴としている。

【００１７】

【発明の実施の形態】次に添付図面を参照して本発明に
よる背景画像生成方法および背景画像生成装置の実施の
形態を詳細に説明する。図１〜図８を参照すると本発明
の背景画像生成方法および背景画像生成装置の一実施形
態が示されている。

【００１８】＜第１の実施形態の背景画像生成方法＞ま
ず、第１の実施形態の背景画像生成方法の一実施例を、
図面を用いて説明する。図１は本実施形態の動作例を示
すフローチャートである。

【００１９】本実施形態の方法では、背景の変化を、照
明などの変化による画像全体の一様変化成分および、局
所パタンの変化などによる局所変化成分の２種類に分類
し、これら２種類の成分に対して個別に背景画像の更新
を行なう。この２種類の成分は、以下の手順により得
る。なお、時刻ｔの入力画像および背景画像の座標
（ｘ，ｙ）における画素値を、それぞれＩ_t （ｘ，
ｙ）、Ｂ_t （ｘ，ｙ）（０≦ｘ＜Ｘ，０≦ｙ＜Ｙ）と表
記し、各画素値は０〜２５６の２５６階調で表現される
ものとする。

【００２０】図１において、背景差分１０２では、入力
画像１０１および背景画像１０３を参照し、下記の式
（１）に従い、座標（ｘ，ｙ）における画素値Ｓ（ｘ，
ｙ）を持つ背景差分画像１０５を生成する。ここにおい
て、Ｓ（ｘ，ｙ）の値は負値をとりうる。

【００２１】 Ｓ（ｘ，ｙ）＝Ｉ_t （ｘ，ｙ）−Ｂ_t-1 （ｘ，ｙ） …（１）

【００２２】なお、背景画像１０３は、現在の処理段階
では更新されていないので時刻ｔ−１のものとしたが、
時刻の単位は実際に適用する画像に応じて定めればよ
い。

【００２３】画像全体における一様変化成分の計算１０
４では、背景差分画像１０５を参照し、式（２）に従
い、画像全体の画素値の平均Ａ_all を算出し、画像全体
における一様変化成分１０７として出力する。

【００２４】 Ａ_all ＝（１／ＸＹ）ΣＳ（ｘ，ｙ） …（２） 但し、１≦ｘ＜Ｘ，１≦ｙ＜Ｙ

【００２５】画像全体の一様変化成分による背景画像の
更新１０６では、画像全体における一様変化成分１０７
を用いて、背景画像１０３の各画素値を式（３）により
更新する。

【００２６】 Ｂ_t （ｘ，ｙ）＝０ ；Ｂ_t-1 （ｘ，ｙ）＋Ａ_all ＜０のとき ＝２５５ ；Ｂ_t-1 （ｘ，ｙ）＋Ａ_all ＞２５５のとき ＝Ｂ_t-1 （ｘ，ｙ）＋Ａ_all ；それ以外のとき …（３）

【００２７】本処理により、照明などによる背景の一様
な変化に、背景画像１０３が瞬時に追従することができ
る。また、局所変化成分による背景画像の更新１０８で
は、入力画像１０１を参照し、背景画像１０３を式
（４）に従い更新する。ただし、式（４）の右辺のＢ_t
（ｘ，ｙ）は、画像全体の一様変化成分による背景画像
の更新１０６で得られた背景画像の画素値を示してい
る。

【００２８】 Ｂ_t （ｘ，ｙ）＝αＢ_t （ｘ，ｙ）＋（１−α）Ｉ（ｘ，ｙ） …（４）

【００２９】本処理により、背景の局所パタンなどの変
化に背景画像１０３を追従させることができる。よっ
て、本第１の実施形態の背景画像生成方法によれば、照
明などによる背景の一様な変化に、背景画像を高速に追
従させることが可能となる。

【００３０】＜第２の実施形態の背景画像生成方法＞次
に、第２の実施形態の背景画像生成方法の一実施例を、
図面を用いて説明する。図２は本実施形態の動作例を示
すフローチャートである。

【００３１】本実施形態の方法と上記の第１の実施形態
の方法との相違点は、一様変化成分の算出方法にある。
第１の実施形態では、背景差分画像全体の画素値の平均
値を一様変化成分とした。しかしながら、移動物体が撮
影されている場合、移動物体による背景からの画素値の
変動も一様変化成分に足し込まれてしまうという問題点
がある。そこで、本実施形態の方法では、背景領域の判
定を行なうことにより、背景領域において一様変化成分
を算出する。

【００３２】本実施形態の動作例を示す図２において、
背景差分２０２、画像全体における一様変化成分の計算
２０７および一様変化成分による背景画像の更新２１１
の動作は、前述の第１の実施形態の動作例における背景
差分１０２、画像全体における一様変化成分の計算１０
４および画像全体の一様変化成分による背景画像の更新
１０６とそれぞれ同様である。

【００３３】背景領域の判定２０３は、背景差分画像２
０４の各画素に対して画素値の絶対値を算出し、閾値以
上ならば１、閾値未満ならば０を対応する画素値とす
る、２値の画像である背景領域マスク２０８を生成す
る。即ち、本動作例において、背景領域マスク２０８の
画素値１の画素は背景領域に所属せず、画素値０の画素
は背景領域に所属していると判定される。

【００３４】背景領域サイズの大小判定２０６は、背景
領域マスク２０８において、画素値１の画素の数が閾値
以上である場合には背景領域サイズが大であると判定
し、閾値未満である場合には背景領域サイズが小である
と判定する。

【００３５】背景領域サイズが大と判定された場合には
背景領域における一様変化成分の計算２０９を行ない、
背景領域サイズが小と判定された場合には画像全体にお
ける一様変化成分の計算２０７を行なう。

【００３６】背景領域における一様変化成分の計算２０
９は、背景領域マスク２０８において画素値１である画
素に対応する背景差分画像２０４の画素値の平均値を算
出し、一様変化成分２１０に出力する。本処理により、
移動物体が入力画像２０１に撮影されていた場合にも、
移動物体に影響されにくい一様変化成分を算出すること
が可能になる。

【００３７】局所変化成分による背景画像の更新２１２
は、入力画像２０１を参照し、背景マスク２０８におい
て、対応する画素が背景領域に所属していると判定され
ていることを示す画素値０の場合に、背景画像２０５を
式（５）に従い更新する。ただし、式（５）の右辺のＢ
_t （ｘ，ｙ）は、一様変化成分による背景画像の更新２
１１で得られた背景画像の画素値を示している。

【００３８】 Ｂ_t （ｘ，ｙ）＝αＢ_t （ｘ，ｙ）＋（１−α）Ｉ（ｘ，ｙ） …（５）

【００３９】背景マスク２０８において、対応する画素
が画素値１の場合には何も処理を行なわないものとす
る。

【００４０】本実施形態の動作例によれば、１フレーム
前までに適切な背景画像が得られていなかった場合に
は、背景が撮影されている部分においても入力画像２０
１と背景画像２０５との差異が大きくなる。このため、
本動作例で得られる背景領域マスク２０８の画素値１の
画素が多くなり、背景領域サイズが小と判定される。よ
って、画像全体における一様変化成分で背景画像２０５
が更新されることになる。また、背景自体が急激に変化
した場合にも、同様の処理が行なわれる。よって、照明
などによる背景の一様な変化に、背景画像が高速に追従
しつつ、移動物体の通過に対して高い安定性を示す、画
像処理による背景領域判定を行なうことができる。

【００４１】＜第３の実施形態の背景画像生成方法＞次
に、第３の実施形態の背景画像生成方法を、図面を用い
て説明する。図３は本実施形態の動作例を示すフローチ
ャートである。

【００４２】本実施形態の方法と第１および第２の実施
形態の方法との相違点は、背景領域の判定方法にある。
第１の実施形態では、背景領域の判定を行なわなかっ
た。第２の実施形態では、背景差分画像の各画素値の絶
対値を閾値処理していた。しかしながら、背景画像の画
素値に近い値で移動物体が撮影されている場合には、背
景差分画像だけでは背景領域の判定を精度よく行なえる
とは限らない。そこで、本方法では移動物体の認識およ
び次フレームにおける移動物体の予測を行なう。これに
より、例えば、現在のフレームでは背景画像に近い値で
撮影されている移動物体でも、過去のフレームにおいて
背景画像と明確に異なる値で撮影されている場合には、
現在の移動物体領域を精度よく予測できる。このため、
背景領域を正しく判定することが可能となる。

【００４３】本実施形態の動作例を示す図３において、
背景差分３０２および背景領域サイズの大小判定３０７
および画像全体における一様変化成分の計算３０８、背
景領域における一様変化成分の計算３１０、一様変化成
分による背景画像の更新３１２、および局所変化成分に
よる背景画像の更新３１３の各動作は、前述の第１また
は第２の実施形態の動作例における背景差分１０２、背
景領域サイズの大小判定２０６、画像全体における一様
変化成分の計算１０７、背景領域における一様変化成分
の計算２０９、一様変化成分による背景画像の更新１０
６、および局所変化成分による背景画像の更新２１２と
それぞれ同様である。

【００４４】移動物体の予測結果３０４において、予測
された移動物体領域は矩形で近似され、各移動物体は左
下頂点のｘ座標、ｙ座標および幅および高さの４つの情
報で記述されているものとする。

【００４５】背景領域の判定３０５は、下記基準に基づ
き２値からなる画像である背景領域マスク３０９を生成
し、その結果に基づく。 １．移動物体の予測結果３０４に記述されている矩形群
を画像に展開した場合に、対応する画素がある矩形に含
まれる場合には、画素値を“０”とする。 ２．対応する画素が上記矩形群のどの矩形にも含まれな
い場合には以下に従う。 （ａ）背景差分画像３０３の対応する画素値の絶対値が
閾値以上ならば、画素値を“１”とする。 （ｂ）背景差分画像３０３の対応する画素値の絶対値が
閾値未満ならば、画素値を“０”とする。

【００４６】移動物体の認識３１４では、入力画像３０
１および背景画像３０６を参照し、移動物体を矩形で近
似して追跡し、現在の矩形の左下頂点のｘ，ｙ座標およ
び高さおよび重心点の移動ベクトルを、移動物体の認識
結果３１５として出力する。例えば、本処理には、電気
学会研究会資料（道路交通研究会）ＲＴＡ−９６−９
（１９９６年３月１９日）に記載の「路側カメラによる
交通計測―重なり車両の個別追跡―」で述べられてい
る、道路交通画像からの車両の検出手法および追跡手法
を適用することができる。

【００４７】次フレームにおける移動物体の予測３１６
では、移動物体の認識結果３１５に記述されている移動
物体を近似する矩形の、次のフレームにおける左下頂点
のｘ，ｙ座標および幅および高さを算出し、全矩形に対
する算出結果を移動物体の予測結果３０４とする。例え
ば、移動物体の認識結果３１５に、左下頂点のｘ座標が
Ｘ、同ｙ座標がＹ、幅がＷ、高さがＨ、移動ベクトルが
（Ａ，Ｂ）という矩形の記述があったならば、次フレー
ムにおいて、左下頂点のｘ座標がＸ＋Ａ、同ｙ座標がＹ
＋Ｂ、幅がＷ、高さがＨと予測する。

【００４８】本第３の実施形態の背景画像生成方法によ
れば、照明などによる背景の一様な変化に、背景画像が
高速に追従しつつ、移動物体の通過に対して更に高い安
定性を示す、画像処理および移動物体認識による背景領
域判定を行なうことが可能となる。

【００４９】＜第１の実施形態の背景画像生成装置＞第
１の実施形態の背景画像生成装置を、図面を用いて説明
する。ここで、図４は本実施形態の構成例を示すブロッ
ク図であり、４０１は入力画像記憶手段、４０２は背景
差分手段、４０３は背景差分画像記憶手段、４０４は一
様変化成分算出手段、４０５は背景画像記憶手段、４０
６は制御手段、４０７は一様変化成分記憶手段、４０８
は一様変化成分による背景画像更新手段、４０９は局所
変化成分による背景画像更新手段である。

【００５０】本装置では、背景の変化を、照明などの変
化による画像全体の一様変化成分および、局所パタンの
変化などによる局所変化成分の２種類に分類し、これら
２種類の成分に対して個別に背景画像の更新を行なう。

【００５１】フレームｔにおいて、入力画像記憶手段４
０１が記憶している入力画像および背景画像記憶手段４
０５が記憶している背景画像の座標（ｘ，ｙ）における
画素値を、それぞれＩ_t （ｘ，ｙ）、Ｂ_t （ｘ，ｙ）
（０≦ｘ＜Ｘ，０≦ｙ＜Ｙ）と表記し、各画素値は０〜
２５６の２５６階調で表現されるものとする。

【００５２】制御手段４０６の動作について説明する。
本実施形態では、図４に示すように、制御手段４０６
が、背景差分手段４０２、一様変化成分算出手段４０
４、一様変化成分による背景画像更新手段４０８および
局所変化成分による背景画像更新手段４０９を制御し、
各処理の順序を決定している。即ち制御手段４０６は、
新しい入力画像が入力されたことを示す入力信号によっ
て起動し、最初に背景差分手段４０２に起動信号を送信
し、背景差分手段４０２からの終了信号を受信したら、
一様変化成分算出手段４０７に起動信号を送信する。一
様変化成分算出手段４０７からの終了信号を受信した
ら、一様変化成分による背景画像更新手段４０８に起動
信号を送信する。一様変化成分による背景画像更新手段
４０８からの終了信号を受信したら、局所変化成分によ
る背景画像更新手段４０９に起動信号を送信する。そし
て、局所変化成分による背景画像更新手段４０９からの
終了信号を受信したら、全処理を終了する。

【００５３】次に、背景差分手段４０２の動作について
説明する。第１に、本手段は制御手段４０６からの起動
信号を受信したら動作を開始する。制御手段４０６から
の起動信号を受信した時点のフレームをｔとする。この
とき、入力画像記憶手段４０１に記憶されている入力画
像はフレームｔである。また、背景画像記憶手段４０５
に記憶されている背景画像は、現在の処理段階ではまだ
更新されていないので、生成された時点のフレームをｔ
−１とする。ただし、時刻の単位は実際の適用に応じて
定めればよい。第２に、上記の入力画像および前記背景
画像を参照し、式（６）に従い、座標（ｘ，ｙ）におけ
る画素値Ｓ（ｘ，ｙ）を持つ背景差分画像を生成する。

【００５４】 Ｓ（ｘ，ｙ）＝Ｉ_t （ｘ，ｙ）−Ｂ_t-1 （ｘ，ｙ） …（６）

【００５５】ここで、Ｓ（ｘ，ｙ）の値は負値をとりう
る。第３に、前記背景差分画像を背景差分画像記憶手段
４０３に出力する。第４に、終了信号を制御手段４０６
に送信し、動作を終了する。次に、背景差分画像記憶手
段４０３は、入力信号として受信された背景差分画像を
記憶する。

【００５６】一様変化成分算出手段４０４の動作につい
て説明する。第１に、制御手段４０６からの起動信号を
受信したら動作を開始する。第２に、背景差分画像記憶
手段４０３が記憶している背景差分画像を参照し、式
（７）に従い、画像全体の画素値の平均Ａ_all を算出す
る。

【００５７】 Ａ_all ＝（１／ＸＹ）ΣＳ（ｘ，ｙ） …（７） 但し、１≦ｘ＜Ｘ，１≦ｙ＜Ｙ

【００５８】第３に、Ａ_all の値を一様変化成分記憶手
段４０７に出力する。第４に、終了信号を制御手段４０
６に送信し、動作を終了する。次に、一様変化成分記憶
手段４０７は、入力信号として受信した一様変化成分を
記憶する。

【００５９】一様変化成分による背景画像更新手段４０
８の動作について説明する。第１に、制御手段４０６か
らの起動信号を受信したら動作を開始する。第２に、一
様変化成分記憶手段４０７が記憶している一様変化成分
を用いて、背景画像記憶手段４０５が記憶している背景
画像を式（８）により更新する。

【００６０】 Ｂ_t （ｘ，ｙ）＝０ ；Ｂ_t-1 （ｘ，ｙ）＋Ａ_all ＜０のとき ＝２５５ ；Ｂ_t-1 （ｘ，ｙ）＋Ａ_all ＞２５５のとき ＝Ｂ_t-1 （ｘ，ｙ）＋Ａ_all ；それ以外のとき …（８）

【００６１】本動作により、照明などによる背景の一様
な変化に、背景画像１０３が瞬時に追従することができ
る。第３に、終了信号を制御手段４０６に送信し、動作
を終了する。次に、背景画像記憶手段４０８は、入力信
号として受信した背景画像を記憶する。

【００６２】局所変化成分による背景画像更新手段４０
９の動作について説明する。第１に、制御手段４０６か
らの起動信号を受信したら動作を開始する。第２に、入
力画像記憶手段４０１が記憶している入力画像を参照
し、背景画像記憶手段４０５が記憶している背景画像を
式（９）に従い更新する。ただし、式（９）の右辺のＢ
_t （ｘ，ｙ）は、一様変化成分による背景画像更新手段
４０８で得られた背景画像の画素値を示している。

【００６３】 Ｂ_t （ｘ，ｙ）＝αＢ_t （ｘ，ｙ）＋（１−α）Ｉ（ｘ，ｙ） …（９）

【００６４】ただし、αは０＜α＜１を満たす所定の値
である。本動作により、背景の局所パタンなどの変化
に、背景画像が追従することが可能である。第３に、終
了信号を制御手段４０６に送信し、動作を終了する。

【００６５】本第１の実施形態の背景画像生成装置によ
れば、照明などによる背景の一様な変化に、背景画像を
高速に追従させることができる。

【００６６】＜第２の実施形態の背景画像生成装置＞第
２の実施形態の背景画像生成装置の構成例を、図５のブ
ロック図を用いて説明する。図５に示す本実施形態の背
景画像生成装置は、入力画像記憶手段５０１、背景差分
手段５０２、背景領域判定手段５０３、背景差分画像記
憶手段５０４、制御手段５０５、画像全体における一様
変化成分算出手段５０６、背景画像記憶手段５０７、背
景領域マスク記憶手段５０８、背景領域サイズの大小判
定手段５０９、一様変化成分記憶手段５１０、背景領域
における一様変化成分算出手段５１１、一様変化成分に
よる背景画像更新手段５１２、局所変化成分による背景
画像更新手段５１３により構成される。

【００６７】本装置と第１の実施形態の装置との相違点
は、一様変化成分記憶手段４０７および５１０に記憶さ
れる一様変化成分を算出する部分の構成にある。第１の
実施形態の装置では、一様変化成分算出手段４０４が背
景差分画像記憶手段４０３に記憶されている背景差分画
像だけに基づいて一様変化成分を算出し、一様変化成分
記憶手段４０７に出力していた。一方、本装置では、背
景領域サイズの大小判定手段５０９の出力に応じて、制
御手段５０５が画像全体における一様変化成分算出手段
５０６および背景領域における一様変化成分算出手段５
１１のどちらか一方のみを起動し、起動されたものが算
出した一様変化成分を、一様変化成分記憶手段５１０に
出力している。

【００６８】本実施形態において、入力画像記憶手段５
０１、背景差分手段５０２、背景差分画像記憶手段５０
４、画像全体における一様変化成分算出手段５０６、背
景画像記憶手段５０７、一様変化成分記憶手段５１０、
および一様変化成分による背景画像更新手段５１２の動
作は、前述の第１の実施形態の動作例における入力画像
記憶手段４０１、背景差分手段４０２、背景差分画像記
憶手段４０５、一様変化成分算出手段４０４、背景画像
記憶手段４０５、一様変化成分記憶手段４０７、および
一様変化成分による背景画像更新手段４０８とそれぞれ
同様である。

【００６９】制御手段５０５の動作について説明する。
本実施形態では、図５に示すように、制御手段５０５が
背景差分手段５０２、背景領域判定手段５０３、背景領
域サイズの大小判定手段５０９、画像全体における一様
変化成分算出手段５０６、背景領域における一様変化成
分算出手段５１１、一様変化成分による背景画像更新手
段５１２および局所変化成分による背景画像更新手段５
１３を制御し、各処理の順序を決定している。

【００７０】即ち制御手段５０５は、新しい入力画像が
入力されたことを示す入力信号によって起動し、最初に
背景差分手段５０２に起動信号を送信し、背景差分手段
５０２からの終了信号を受信したら、背景領域サイズの
大小判定手段５０９に起動信号を送信する。背景領域サ
イズの大小判定手段５０９からの判定結果および終了信
号を受信したら、第１の場合として背景領域サイズが大
きいという判定結果ならば背景領域における一様変化成
分算出手段５１１に起動信号を送信する。第２の場合と
して背景領域サイズが小さいという判定結果ならば画像
全体における一様変化成分算出手段５０６に起動信号を
送信し、背景領域における一様変化成分算出手段５１１
からの終了信号を受信したら、一様変化成分による背景
画像更新手段５１２に起動信号を送信する。画像全体に
おける一様変化成分算出手段５０６からの終了信号を受
信したら、一様変化成分による背景画像更新手段５１２
に起動信号を送信する。一様変化成分による背景画像更
新手段５１２からの終了信号を受信したら、局所変化成
分による背景画像更新手段５１３に起動信号を送信す
る。局所変化成分による背景画像更新手段５１３からの
終了信号を受信したら、全処理を終了する。

【００７１】次に、背景領域判定手段５０３の動作につ
いて説明する。第１に、本手段は制御手段５０５からの
起動信号を受信したら動作を開始する。第２に、背景差
分画像記憶手段５０４が記憶している背景差分画像の各
画素に対して、画素値の絶対値を算出し、閾値以上なら
ば“１”、閾値未満ならば“０”を対応する画素値とす
る２値の画像である背景領域マスクを生成する。

【００７２】即ち、本実施例の背景領域マスクでは、画
素値０の画素は背景領域に所属していると判定され、画
素値１の画素は背景領域に所属していないと判定されて
いる。第３に、生成された背景領域マスクを背景領域マ
スク記憶手段５０８に出力する。第４に、終了信号を制
御手段５０５に送信し、動作を終了する。次に、背景領
域マスク記憶手段５０８は、入力信号として受信された
背景領域マスクを記憶する。

【００７３】背景領域サイズの大小判定手段５０９の動
作について説明する。第１に、本手段は制御手段５０５
からの起動信号を受信したら動作を開始する。第２に、
背景領域マスク記憶手段５０８が記憶している背景領域
マスクにおいて、画素値１の画素の数が閾値以上である
場合には、背景領域サイズが大であると判定し、閾値未
満である場合には、背景領域サイズが小であると判定す
る。第３に、背景領域サイズの大小判定結果および終了
信号を制御手段５０５に送信し、動作を終了する。

【００７４】背景領域における一様変化成分算出手段５
１１の動作について説明する。第１に、本手段は制御手
段５０５からの起動信号を受信したら動作を開始する。
第２に、背景領域マスク記憶手段５０８に記憶されてい
る背景領域マスクにおいて、画素値１である画素群に対
応する、背景差分画像記憶手段５０４が記憶している背
景差分画像の画素値の平均値を算出する。第３に、算出
された平均値を一様変化成分記憶手段５１０に出力す
る。第４に、終了信号を制御手段５０５に送信し、動作
を終了する。本処理により、移動物体が入力画像記憶手
段５０１が記憶している入力画像に撮影されていた場合
にも、移動物体に影響されにくい一様変化成分を算出す
ることが可能になる。

【００７５】局所変化成分による背景画像の更新手段５
１３の動作について説明する。第１に、本手段は制御手
段５０５からの起動信号を受信したら動作を開始する。
第２に、入力画像記憶手段５０１が記憶している入力画
像を参照し、背景マスク記憶手段５０８が記憶している
背景マスクにおいて、対応する画素が背景領域に所属し
ていると判定されていることを示す画素値０の場合に、
背景画像記憶手段５０７が記憶している背景画像を式
（１０）に従い更新する。ただし、式（１０）の右辺の
Ｂ_t （ｘ，ｙ）は、一様変化成分による背景画像更新手
段５１２で得られた背景画像の画素値を示している。

【００７６】 Ｂ_t （ｘ，ｙ）＝αＢ_t （ｘ，ｙ）＋（１−α）Ｉ（ｘ，ｙ） …（１０）

【００７７】ただし、αは０＜α＜１を満たす所定の値
である。前記背景マスクにおいて、対応する画素が画素
値１の場合には何も処理を行なわないものとする。

【００７８】本第２の実施形態の背景画像生成装置によ
れば、照明などによる背景の一様な変化に、背景画像が
高速に追従しつつ、移動物体の通過に対して高い安定性
を示す、画像処理による背景領域判定を行なうことがで
きる。

【００７９】＜第３の実施形態の背景画像生成装置＞次
に、第３の実施形態の背景画像生成装置を、図６のブロ
ック図を用いて説明する。図６に示す本実施形態の背景
画像生成装置は、入力画像記憶手段６０１、背景差分手
段６０２、背景領域判定手段６０３、背景差分画像記憶
手段６０４、予測データ記憶手段６０５、背景領域マス
ク記憶手段６０６、背景領域サイズの大小判定手段６０
７、制御手段６０８、画像全体における一様変化成分算
出手段６０９、背景画像記憶手段６１０、一様変化成分
記憶手段６１１、背景領域における一様変化成分算出手
段６１２、一様変化成分による背景画像更新手段６１
３、局所変化成分による背景画像更新手段６１４、予測
手段６１５、認識結果記憶手段６１６、移動物体認識手
段６１７により構成される。

【００８０】本装置と第４および第５の実施形態の装置
との相違点は、背景領域の判定を行なう部分の構成にあ
る。第４の実施形態には、背景領域の判定を行なう動作
をする構成はない。第５の実施形態では、背景領域判定
手段５０３が、背景差分画像記憶手段５０４が記憶して
いる背景差分画像の各画素値の絶対値を閾値処理するこ
とにより、判定した背景領域を背景領域マスク記憶手段
５０８に出力していた。しかしながら、前記背景画像の
画素値に近い値で移動物体が撮影されている場合には、
前記背景差分画像だけでは背景領域の判定を精度よく行
なえるとは限らない。そこで、本装置では移動物体認識
手段６１７および予測手段６１５を構成に加え、次のフ
レームにおける移動物体領域を予測する工夫をしてい
る。これにより、例えば現在のフレームでは背景画像に
近い値で撮影されている移動物体について、過去のフレ
ームにおいて背景画像と明確に異なる値で撮影されてい
る場合には、背景領域を正しく判定できることが可能で
ある。

【００８１】本実施形態において、入力画像記憶手段６
０１、背景差分手段６０２、背景差分画像記憶手段６０
４、背景領域マスク記憶手段６０６、背景領域サイズの
大小判定手段６０７、画像全体における一様変化成分算
出手段６０９、背景画像記憶手段６１０、一様変化成分
記憶手段６１１、背景領域における一様変化成分算出手
段６１２、一様変化成分による背景画像更新手段６１
３、および局所変化成分による背景画像更新手段６１４
の動作は、上記第２の実施形態における入力画像記憶手
段５０１、背景差分手段５０２、背景差分画像記憶手段
５０４、背景領域マスク記憶手段５０８、背景領域サイ
ズの大小判定手段５０９、画像全体における一様変化成
分算出手段５０６、背景画像記憶手段５０７、一様変化
成分記憶手段５１０、背景領域における一様変化成分算
出手段５１１、一様変化成分による背景画像更新手段５
１２、および局所変化成分による背景画像更新手段５１
３とそれぞれ同様である。

【００８２】予測データ記憶手段６０５では、予測され
た移動物体領域が矩形で表現され、各移動物体は該矩形
を特定する左下頂点のｘ座標、ｙ座標および幅および高
さの４つの情報で記述されたデータとして記憶されてい
るものとする。

【００８３】制御手段６０８の動作について説明する。
本実施形態では、図６に示すように、制御手段６０８が
背景差分手段６０２、背景領域判定手段６０３、背景領
域の大小判定手段６０７、画像全体における一様変化成
分算出手段６０９、背景領域における一様変化成分算出
手段６１２、一様変化成分による背景画像更新手段６１
３、局所変化成分による背景画像更新手段６１４、移動
物体認識手段６１７および予測手段６１５を制御し、各
処理の順序を決定している。

【００８４】即ち制御手段６０８は、新しい入力画像が
入力されたことを示す入力信号によって起動し、最初に
背景差分手段６０２に起動信号を送信する。背景差分手
段６０２からの終了信号を受信したら、背景領域判定手
段６０３に起動信号を送信する。背景領域判定手段６０
３からの終了信号を受信したら、背景領域の大小判定手
段６０７に起動信号を送信する。背景領域の大小判定手
段６０７からの判定結果および終了信号を受信したら、
第１の場合として背景領域サイズが大きいという判定結
果ならば背景領域における一様変化成分算出手段６１２
に起動信号を送信する。第２の場合として背景領域サイ
ズが小さいという判定結果ならば画像全体における一様
変化成分算出手段６０９に起動信号を送信する。

【００８５】背景領域における一様変化成分算出手段６
１２からの終了信号を受信したら、一様変化成分による
背景画像更新手段６１３に起動信号を送信する。画像全
体における一様変化成分算出手段６１２からの終了信号
を受信したら、一様変化成分による背景画像更新手段６
１３に起動信号を送信する。一様変化成分による背景画
像更新手段６１３からの終了信号を受信したら、局所変
化成分による背景画像更新手段６１４に起動信号を送信
する。局所変化成分による背景画像更新手段６１４から
の終了信号を受信したら、移動物体認識手段６１７に起
動信号を送信する。移動物体認識手段６１７からの終了
信号を受信したら、予測手段６１５に起動信号を送信す
る。予測手段６１５から終了信号を受信したら、全処理
を終了する。

【００８６】背景領域判定手段６０３の動作について説
明する。第１に、制御手段６０８からの制御信号を受信
したら動作を開始する。第２に、背景差分画像記憶手段
６０４が記憶している背景差分画像および予測データ記
憶手段６０５が記憶している予測データを参照し、下記
基準に基づき２値からなる画像である背景領域マスクを
生成する。 １．前記予測データに記述されている矩形群の中に、対
応する画素を含むものがある場合には、画素値を１とす
る。 ２．対応する画素が上記矩形群のどの矩形にも含まれな
い場合には以下に従う。 （ａ）前記背景差分画像の対応する画素値の絶対値が閾
値以上ならば、画素値を“１”とする。 （ｂ）前記背景差分画像の対応する画素値の絶対値が閾
値未満ならば、画素値を“０”とする。

【００８７】即ち、本実施形態の背景領域マスクにおい
て、画素値０の画素は背景領域に所属していると判定さ
れ、画素値１の画素は背景領域に所属していないと判定
されている。第３に、生成された背景領域マスクを背景
領域マスク記憶手段６０６に出力する。第４に、終了信
号を制御手段６０８に送信し、動作を終了する。次に、
予測データ記憶手段６０５は、入力信号として受信され
た予測データを記憶する。

【００８８】移動物体認識手段６１７の動作について説
明する。第１に、本手段は制御手段６０８からの起動信
号を受信したら動作を開始する。第２に、入力画像記憶
手段６０１が記憶している入力画像および背景画像記憶
手段６１０が記憶している背景画像を参照し、移動物体
を矩形で近似して追跡し、現在の矩形の左下頂点のｘ，
ｙ座標および幅および高さおよび重心点の移動ベクトル
を算出する。例えば本動作には、上掲の電気学会研究会
資料（道路交通研究会）ＲＴＡ−９６−９で述べられて
いる、道路交通画像からの車両の検出手法および追跡手
法を適用することができる。第３に、算出された各矩形
の左下頂点のｘ，ｙ座標および幅および高さおよび重心
点の移動ベクトルを認識結果記憶手段６１６に出力す
る。第４に、終了信号を制御手段６０８に送信し、処理
を終了する。次に、認識結果記憶手段６１６は、入力信
号として受信された認識結果を記憶する。

【００８９】予測手段６１５の動作について説明する。
第１に、本手段は制御手段６０８からの起動信号を受信
したら動作を開始する。第２に、認識結果記憶手段６１
６に記憶されている認識結果に記述されている移動物体
を近似する矩形の、次フレームにおける左下頂点のｘ，
ｙ座標および幅および高さを算出する。例えば、前記認
識結果に、左下頂点のｘ座標がＸ、同ｙ座標がＹ、幅が
Ｗ、高さがＨ、移動ベクトルが（Ａ，Ｂ）という矩形の
記述があったならば、次フレームにおいて、左下頂点の
ｘ座標がＸ＋Ａ、同ｙ座標がＹ＋Ｂ、幅がＷ、高さがＨ
と予測する。第３に、全矩形に対する算出結果を予測デ
ータ記憶手段６０５に出力する。第４に、終了信号を制
御手段６０８に送信し、処理を終了する。

【００９０】本実施形態の背景画像生成装置では、画像
に撮影される背景の変化成分を、照明の変化などによる
一様変化成分と、背景内のパタンの変動のような局所変
化成分とに分類し、背景画像を一様変化成分については
高速に更新し、局所変化成分についてはゆっくりと更新
している。従って、移動物体の通過による入力画像の変
動に対する背景画像の高い安定性と、照明などの急激な
変化による背景自体の変動に対する背景画像の素早い追
従性能の２つの条件を満たすことは、従来の背景画像生
成に関わる技術では両立が困難であったが、本実施形態
の背景画像生成装置を利用することにより、これら２条
件を満たすことが可能になる。

【００９１】例えば、図７の（ａ）のように入力画像が
変化した場合、従来の技術の項で示した特開平５−２２
５３４１号公報に記載の移動物体検出装置では、背景画
像の更新を入力画像と背景画像との混合のみにより行な
っていたため、図７の（ｂ）に示すように追従に遅れを
生じていたが、本実施形態の背景画像生成装置では、図
７の（ｃ）に示すように、一様変化成分に対して高速に
追従することができる。よって、照明などによる背景の
一様な変化に背景画像が高速に追従しつつ、移動物体の
通過に対して更に高い安定性を示す、画像処理および移
動物体認識による背景領域判定を行なうことが可能とな
る。

【００９２】図８（ａ）のように移動物体が存在する状
況で入力画像が変化した場合、従来例１に記載の背景差
分による移動物体抽出方法では、背景領域に属している
と判定された画素群においてのみ背景画像を更新してい
た。このため、図８（ｂ）に示すように、移動物体領域
における背景画像の追従に遅れを生じていたが、本実施
形態の背景画像では、一様変化成分に対しては、背景領
域に所属しないと判定された画素群も含め、画像全体で
背景画像を更新する。ゆえに、図８（ｃ）に示すように
高速に追従することができる。

【００９３】尚、上述の実施形態は本実施形態の好適な
実施の一例ではあるがこれに限定されるものではなく、
本発明の要旨を逸脱しない範囲において種々変形実施可
能である。

【００９４】

【発明の効果】以上の説明より明らかなように、本発明
の背景画像生成方法および背景画像生成装置は、画像に
撮影される背景の変化成分を、照明の変化などによる一
様変化成分と、背景内のパタンの変動のような局所変化
成分とに分類する。そして、背景画像を、一様変化成分
については変化分を直接各画素値に足し込むことにより
素早く更新する。また、局所変化成分については入力画
像と背景画像の重み付き平均をとることにより、ゆっく
りと更新する。

【００９５】従って、照明の変動のように、入力画像全
体にわたって一様に明るさが変化する場合には、その変
化が一様変化成分として検出され、１フレームの遅れも
なく背景画像が更新される。また、入力画像において移
動物体に隠蔽された領域に対応する、背景画像の領域に
ついても、同様の更新が行なわれるため、遅れを生じな
い。

【００９６】一方、入力画像において、局所的に生じた
変動は、背景自体の変化によるものか否かを瞬時に判定
するのは困難であるが、本発明ではゆっくりと更新が行
なわれるため、背景自体の変化ならば、多少の遅れを生
じるものの背景画像に取り込まれ、背景自体の変化でな
いならば、入力画像が変動以前の状態に戻るため、影響
は小さい。特に、請求項３、４、６、７の発明において
は、移動物体領域と判定された箇所では局所変化成分の
更新を行なわないので、背景自体の変化ではない局所変
化の影響は、さらに小さくなる。

【図面の簡単な説明】

【図１】本発明の背景画像生成方法の第１の実施形態を
示すフローチャートである。

【図２】背景画像生成方法の第２の実施形態を示すフロ
ーチャートである。

【図３】背景画像生成方法の第３の実施形態を示すフロ
ーチャートである。

【図４】本発明の背景画像生成装置の第１の実施形態を
示すブロックである。

【図５】背景画像生成装置の第２の実施形態を示すブロ
ックである。

【図６】背景画像生成装置の第３の実施形態を示すブロ
ックである。

【図７】（ａ）入力画像の変化と、（ｂ）従来法による
背景画像の変化と、（ｃ）本発明により得られる背景画
像の変化とを、対比して示した第１の概念図である。

【図８】（ａ）入力画像の変化と、（ｂ）従来法による
背景画像の変化と、（ｃ）本発明により得られる背景画
像の変化とを、対比して示した第２の概念図である。

【符号の説明】

１０１ 入力画像 １０２ 背景差分 １０３ 背景画像 １０４ 画像全体における一様変化成分の計算 １０５ 背景差分画像 １０６ 画像全体の一様変化成分による背景画像の更新 １０７ 画像全体の一様変化成分 １０８ 局所変化成分による背景画像の更新 ２０１ 入力画像 ２０２ 背景差分 ２０３ 背景領域の判定 ２０４ 背景差分画像 ２０５ 背景画像 ２０６ 背景領域サイズの大小判定 ２０７ 画像全体における一様変化成分の計算 ２０８ 背景領域マスク ２０９ 背景領域における一様変化成分の計算 ２１０ 一様変化成分 ２１１ 一様変化成分による背景画像の更新 ２１２ 局所変化成分による背景画像の更新 ３０１ 入力画像 ３０２ 背景差分 ３０３ 背景差分画像 ３０４ 移動物体の予測結果 ３０５ 背景領域の判定 ３０６ 背景画像 ３０７ 背景領域サイズの大小判定 ３０８ 画像全体における一様変化成分の計算 ３０９ 背景領域マスク ３１０ 背景領域における一様変化成分の計算 ３１１ 一様変化成分 ３１２ 一様変化成分による背景画像の更新 ３１３ 局所変化成分による背景画像の更新 ３１４ 移動物体の認識 ３１５ 移動物体の認識結果 ３１６ 次フレームにおける移動物体の予測 ４０１ 入力画像記憶手段 ４０２ 背景差分画像記憶手段 ４０３ 背景差分画像記憶手段 ４０４ 一様変化成分算出手段 ４０５ 背景画像記憶手段 ４０６ 制御手段 ４０７ 一様変化成分記憶手段 ４０８ 一様変化成分による背景画像更新手段 ４０９ 局所変化成分による背景画像更新手段 ５０１ 入力画像記憶手段 ５０２ 背景差分手段 ５０３ 背景領域判定手段 ５０４ 背景差分画像記憶手段 ５０５ 制御手段 ５０６ 画像全体における一様変化成分算出手段 ５０７ 背景画像記憶手段 ５０８ 背景領域マスク記憶手段 ５０９ 背景領域サイズの大小判定手段 ５１０ 一様変化成分記憶手段 ５１１ 背景領域における一様変化成分算出手段 ５１２ 一様変化成分による背景画像更新手段 ５１３ 局所変化成分による背景画像更新手段 ６０１ 入力画像記憶手段 ６０２ 背景差分手段 ６０３ 背景領域判定手段 ６０４ 背景差分画像記憶手段 ６０５ 予測データ記憶手段 ６０６ 背景領域マスク記憶手段 ６０７ 背景領域サイズの大小判定手段 ６０８ 制御手段 ６０９ 画像全体における一様変化成分算出手段 ６１０ 背景画像記憶手段 ６１１ 一様変化成分記憶手段 ６１２ 背景領域における一様変化成分算出手段 ６１３ 一様変化成分による背景画像更新手段 ６１４ 局所変化成分による背景画像更新手段 ６１５ 予測手段 ６１６ 認識結果記憶手段 ６１７ 移動物体認識手段

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 当該時点のフレーム画像と該フレーム画
   像の１フレーム前に生成された背景画像との相互に対応
   する画素値間の差分を画素値とする背景差分画像を生成
   する工程と、 前記背景差分画像の全画素値の平均をとることにより当
   該時点の前記フレーム画像の全体における一様変化成分
   を計算する工程と、 前記背景画像の各画素値に前記一様変化成分を加えるこ
   とにより前記背景画像を更新する工程と、 さらに、前記入力画像および前記背景画像の対応する画
   素値とに基づき前記背景画像を更新する工程とを具備
   し、 当該時点のフレーム画像に対応する背景画像を生成する
   ことを特徴とする背景画像生成方法。
2. 【請求項２】 前記背景差分画像のデータＳ（ｘ，ｙ）
   は、時刻ｔの入力画像および背景画像の座標（ｘ，ｙ）
   における画素値を、それぞれＩ_t （ｘ，ｙ）、Ｂ
   _t （ｘ，ｙ）（０≦ｘ＜Ｘ，０≦ｙ＜Ｙ）とし、式
   （１）により求め、 Ｓ（ｘ，ｙ）＝Ｉ_t （ｘ，ｙ）−Ｂ_t-1 （ｘ，ｙ） …（１） 前記一様変化成分は、式（２）において全画素値の平均
   Ａ_all を求めた後、 Ａ_all ＝（１／ＸＹ）ΣＳ（ｘ，ｙ） 但し、１≦ｘ＜Ｘ，１≦ｙ＜Ｙ …（２） 計算式（３）により得る、 Ｂ_t （ｘ，ｙ）＝０ ；Ｂ_t-1 （ｘ，ｙ）＋Ａ_all ＜０のとき ＝Ｎ−１ ；Ｂ_t-1 （ｘ，ｙ）＋Ａ_all ＞Ｎ−１のとき ＝Ｂ_t-1 （ｘ，ｙ）＋Ａ_all ；それ以外のとき 但し、Ｎは階調数 …（３） ことを特徴とする請求項１記載の背景画像生成方法。
3. 【請求項３】 現在の入力画像と現在の１フレーム前に
   生成された背景画像との対応する画素値の差分を画素値
   とする背景差分画像を生成する工程と、 前記背景差分画像に基づき各画素が背景領域に所属する
   か否かを判定することにより各画素の背景領域への所属
   の有無を記述する背景領域マスクを生成する工程と、 背景領域における一様変化成分として２つの場合があ
   り、第１の場合として前記背景領域マスクにおいて背景
   領域に所属すると記述されている画素群の数が閾値以上
   ならば当該画素群に対応する前記背景差分画像の画素値
   の平均を算出し、第２の場合として前記背景領域マスク
   において背景領域に所属すると記述されている画素数に
   基づいて背景領域が小さいと判断されたならば前記背景
   差分画像の全画素の平均値を算出する工程と、 前記背景画像の各画素値に前記一様変化成分を加えるこ
   とにより前記背景画像を更新する工程と、 さらに、前記背景領域マスクで背景領域に所属すると記
   述されている画素群において前記入力画像および前記背
   景画像の対応する画素値とに基づき前記背景画像を更新
   する工程とを具備し、現在の背景画像を生成することを
   特徴とする背景画像生成方法。
4. 【請求項４】 現在の入力画像と現在の１フレーム前に
   生成された背景画像との対応する画素値の差分を画素値
   とする背景差分画像を生成する工程と、 前記背景差分画像および後述の移動物体の予測結果に基
   づき各画素が背景領域に所属するか否かを判定すること
   により各画素の背景領域への所属を記述する背景領域マ
   スクを生成する工程と、 背景領域における一様変化成分として２つの場合があ
   り、第１の場合として前記背景領域マスクにおける背景
   領域に所属すると記述されている画素群の数が閾値以上
   ならば、当該画素群に対応する前記背景差分画像の画素
   値の平均を算出し、第２の場合として前記背景領域マス
   クにおける背景領域に所属すると記述されている画素数
   に基づいて背景領域が小さいと判定されたならば前記背
   景差分画像の全画素の平均値を算出する工程と、 前記背景画像の各画素値に前記一様変化成分を加えるこ
   とにより前記背景画像を更新する工程と、 および、前記背景領域マスクで背景領域に所属すると記
   述されている画素群において前記入力画像および前記背
   景画像の対応する画素値とに基づき前記背景画像を更新
   することにより現在の背景画像を生成する工程と、 前記入力画像および前記背景画像に基づき移動物体を認
   識する工程と、 移動物体の認識結果に基づき現在の次のフレームにおけ
   る移動物体を予測する工程とを具備し、移動物体の予測
   結果を用いて現在の背景画像を生成することを特徴とす
   る背景画像生成方法。
5. 【請求項５】 少なくとも入力画像、背景画像、背景差
   分画像、一様変化成分の各データを記憶する記憶手段
   と、 前記記憶されている入力画像および背景画像の各データ
   を参照して背景差分画像を生成して前記記憶手段に記憶
   する背景差分画像生成手段と、 前記背景差分画像を参照して一様変化成分を算出して前
   記記憶手段に記憶する一様変化成分算出手段と、 前記一様変化成分を参照して前記記憶されている背景画
   像を更新する一様変化成分による背景画像更新手段と、 前記記憶されている入力画像を参照して前記記憶されて
   いる背景画像を更新する局所変化成分による背景画像更
   新手段と、 前記各処理の動作を制御する制御手段とを具備し、一様
   変化成分および局所変化成分を用いて背景画像を逐次更
   新することを特徴とする背景画像生成装置。
6. 【請求項６】 少なくとも入力画像、背景画像、背景差
   分画像、一様変化成分、背景領域マスクの各データを記
   憶する記憶手段と、 該記憶手段に記憶されている入力画像および背景画像の
   対応する画素値間の差分値である背景差分画像を生成す
   る背景差分手段と、 前記背景差分画像を参照して各画素が背景領域に所属す
   るか否かを判定することにより各画素の背景領域への所
   属を記述する背景領域マスクを生成する背景領域判定手
   段と、 前記背景差分画像を参照して画像全体の一様変化成分を
   算出する一様変化成分算出手段と、 前記背景領域マスクを参照して背景領域サイズの大小判
   定をする背景領域サイズの大小判定手段と、 前記背景領域マスクで背景領域に所属すると記述されて
   いる画素群に対応する画素値の平均を背景領域における
   一様変化成分として算出する背景領域における一様変化
   成分算出手段と、 前記一様変化成分に基づいて前記背景画像を更新する一
   様変化成分による背景画像更新手段と、 前記入力画像および前記背景領域マスクに基づいて前記
   記憶されている背景画像を更新する局所変化成分による
   背景画像更新手段と、 前記各処理動作を制御する制御手段とを具備し、前記背
   景領域マスクの状態に基づいて背景画像を逐次生成する
   ことを特徴とする背景画像生成装置。
7. 【請求項７】 少なくとも入力画像、背景画像、背景差
   分画像、一様変化成分、背景領域マスク、予測マスク、
   予測データ、認識された移動物体の各データを記憶する
   記憶手段と、 該記憶手段に記憶されている入力画像と背景画像との対
   応する画素間の差分値である背景差分画像を生成する背
   景差分手段と、 前記背景差分画像および予測データを参照して各画素が
   背景領域に所属するか否かを判定することにより各画素
   の背景領域への所属を記述する背景領域マスクを生成す
   る背景領域判定手段と、 前記予測データから予測された車両の位置を指定する予
   測マスクを生成する予測マスク生成手段と、 前記背景差分マスクおよび前記予測マスクを参照して前
   記背景領域マスクを更新する背景領域マスク生成手段
   と、 前記背景差分画像の全画素値の平均値を求めることによ
   り画像全体の一様変化成分を算出する画像全体における
   一様変化成分算出手段と、 前記背景差分マスクおよび前記予測マスクに基づき背景
   領域マスクを生成する背景領域マスク生成手段と、 前記背景領域マスクにおける背景領域に所属すると記述
   されている画素数に基づいて背景領域の大小を判定する
   背景領域サイズの大小判定手段と、 前記背景差分画像において、前記背景領域マスクで背景
   領域に所属すると記述されている画素群に対応する画素
   値の平均を背景領域における一様変化成分として算出す
   る背景領域における一様変化成分算出手段と、 前記一様変化成分に基づいて前記記憶している背景画像
   を更新する一様変化成分による背景画像更新手段と、 前記入力画像および前記背景領域マスクに基づいて前記
   記憶されている背景画像を更新する局所変化成分による
   背景画像更新手段と、 前記入力画像および前記背景画像に基づいて移動物体を
   認識する移動物体認識手段と、 前記移動物体に基づいて次に背景画像を更新する時点に
   おける移動物体の位置を予測する予測手段とを具備し、
   背景画像を逐次生成することを特徴とする背景画像生成
   装置。