JPH10111944A - 背景画更新方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 雑音の少ない背景画を短時間に得ることがで
きる背景画更新方法および装置を提供する。 【解決手段】 差分領域画作成手段３は、背景画格納手
段１の背景画と最新画格納手段２最新画の各画素の輝度
の差分値を求め、差分値を絶対値に変換し、２値化し
て、変化が検出された領域と変化が検出されなかった領
域を示す差分領域画を作成する。この差分領域画は、差
分領域画格納手段４に格納される。背景画合成手段５
は、差分領域画格納手段４に格納された差分領域画中で
変化が検出された領域のみを背景画より抽出した動領域
画を作成すると共に、差分領域画中で変化が検出されな
かった領域のみを最新画より抽出した静領域画を作成
し、該動領域画と該静領域画を重ね合わせることによ
り、新しい背景画を作成して、背景画格納手段１に格納
された背景画を更新する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、連続して入力され
るフレーム画像において、基準となるフレーム画像と、
任意の時間のフレーム画像間における各画素の輝度値の
変化を用いて、輝度変化領域を基に動物体を検出するよ
うな、動物体検出方法および装置に係わり、差分を計算
する際に必要な基準画像（背景画）を作成する方法およ
び装置に関するものである。

【０００２】

【従来の技術】基準となるフレーム画像と、任意の時間
のフレーム画像とを、各画素毎に輝度値の差分を取るこ
とにより輝度変化領域を求め、動物体を検出する方式の
一つに、動物体が何も映っていない状態の画像、すなわ
ち背景画を基準画像とし、背景画と入力画像（最新画）
の各画素の差分を求めて、動物体を検出する背景差分法
がある。

【０００３】一般に、背景差分法は、常に同じ画像を基
準画像（背景画）として使用するために、日照条件等の
環境の変化に弱いことが知られている。このため、入力
画像を積分して、背景画と合成して新しい背景画とする
背景積分法を利用した方式や、環境の変化を検出して背
景画を入れ換える方式がある。

【０００４】背景積分法を利用する手法には、例えば、
１９９６年の第２回画像センシングシンポジウム，Ｇ−
１３，ｐｐ．２４９−２５４がある。背景積分法は、基
本的に、入力画像を積み重ねていき、平均化された入力
画像を背景画とする方式である。

【０００５】また、背景画を入れ換える手法には、例え
ば、１９９５年第１回画像センシングシンポジウム，Ｇ
−１８，ｐｐ．２９３−２９８がある。この手法は、背
景画を入れ換える必要が生じると、最も近い将来で動物
体が何も映っていない入力画像を新しい背景画にする方
式である。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来の背景積分法を利用した背景画の更新手法では、基本
的に入力画像を積み重ねていく方式であるので、何も映
っていない状態の画像を得るまでには、長時間を必要と
する欠点がある。また、平均化された入力画像を背景画
とするために、短時間に環境が変化するような場合に
は、誤検出が多くなる欠点がある。従って、背景積分法
だけでは、正確な動物体領域を得ることは難しく、例え
ば、背景画に入力画像の直前の時間の画像を用いる、い
わゆる、フレーム間差分法などと併用する必要があると
いった問題点がある。

【０００７】また、環境の変化を検出して背景画を入れ
換える方式では、背景画を入れ換える必要が生じると、
最も近い将来で動物体が何も映っていない入力画像を新
しい背景画にするため、背景画を変更する必要が生じた
時点から、動物体が何も映っていない状況になるまでの
時間、正確に動物体領域を得られないという問題があ
る。

【０００８】このように、上記従来のいずれの方式にお
いても、動物体が何も映っていない状態の背景画、つま
り雑音の少ない背景画を短時間に得ることが困難である
という問題点があった。

【０００９】本発明の目的は、雑音の少ない背景画を短
時間に得ることができる背景画更新方法および装置を提
供し、上記従来技術の問題点を解決することにある。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
め、本発明は、連続して入力されるフレーム画像におい
て、基準となるフレーム画像を背景画とし任意の時間の
フレーム画像を最新画として、各画素毎に輝度値の差分
を取ることにより前記背景画と最新画のフレーム画像間
の輝度値の変化領域を検出し前記最新画中の動物体を検
出する場合の前記背景画を更新する方法であって、前記
背景画と前記最新画を各々格納する過程と、前記格納さ
れた背景画と最新画の各画素に対して輝度値の差分を求
め、該差分値を絶対値に変換した後にある閾値で２値化
して変化が検出された領域と変化が検出されなかった領
域を示す差分領域画を作成する過程と、前記作成された
差分領域画において変化が検出された領域のみを前記背
景画より抽出したフレーム画像であるところの動領域画
を作成する過程と、前記作成された差分領域画において
変化が検出されなかった領域のみを前記最新画より抽出
したフレーム画像であるところの静領域画を作成する過
程と、前記作成された動領域画と静領域画を重ね合わせ
て新しい背景画を作成し前記格納された背景画を更新す
る過程と、を有することを特徴とする背景画更新方法を
手段とする。

【００１１】あるいは、上記の背景画更新方法におい
て、前記作成された差分領域画を基に、変化が検出され
た連続する画素を一つの輝度変化領域である動領域とし
て該動領域毎に一意な識別子により管理し、時間経過と
ともに作成される複数の差分領域画間について前記動領
域毎の対応関係を取り、一定時間同じ位置で検出された
動領域を前記差分領域画から削除して管理する過程を新
たに有し、前記動領域画を作成する過程では、前記修正
された差分領域画において変化が検出された領域のみを
前記背景画格納手段が格納する背景画より抽出した動領
域画を作成し、前記静領域画を作成する過程では、前記
修正された差分領域画において変化が検出されなかった
領域のみを格納された最新画より抽出した静領域画を作
成し、前記新しい背景画を作成し前記格納された背景画
を更新する過程では、前記作成された動領域画と静領域
画を重ね合わせて新しい背景画を作成し格納された背景
画を更新する、ことを特徴とする背景画更新方法を手段
とする。

【００１２】また、連続して入力されるフレーム画像に
おいて、基準となるフレーム画像を背景画とし任意の時
間のフレーム画像を最新画として、各画素毎に輝度値の
差分を取ることにより前記背景画と最新画のフレーム画
像間の輝度値の変化領域を検出し前記最新画中の動物体
を検出する場合の前記背景画を更新する装置であって、
前記背景画を格納する背景画格納手段と、前記最新画を
格納する最新画格納手段と、前記格納された背景画と最
新画との各画素に対して輝度値の差分を求め、該求めら
れた差分値を絶対値に変換し、該変換された絶対値の差
分値をある閾値で２値化して変化が検出された領域と変
化が検出されなかった領域を示す差分領域画を作成する
差分領域画作成手段と、前記作成された差分領域画を格
納する差分領域画格納手段と、前記格納された差分領域
画において変化が検出された領域のみを前記背景画から
抽出した動領域画を作成するとともに、該差分領域画に
おいて変化が検出されなかった領域のみを前記最新画よ
り抽出した静領域画を作成し、前記作成した動領域画と
静領域画を重ね合わせて１つのフレーム画像に合成して
新しい背景画とする背景画合成手段と、を備えることを
特徴とする背景画更新装置を手段とする。

【００１３】あるいは、上記の背景画更新装置におい
て、前記格納された差分領域画を基に、変化が検出され
た連続する画素からなる一つの輝度変化領域を動領域と
して該動領域毎に一意な識別子により管理し、時間経過
とともに作成した複数の差分領域画間について前記動領
域毎の対応関係を取り、一定時間同じ位置で検出された
動領域を前記格納された差分領域画から削除する管理を
行う動領域管理手段を備え、前記背景画合成手段は、前
記動領域管理手段により動領域が管理された差分領域画
を基に動領域画と静領域画を作成し重ね合わせて１つの
フレーム画像に合成して新しい背景画とするものであ
る、ことを特徴とする背景画更新装置を手段とする。

【００１４】本発明では、背景画の中で動物体が検出さ
れていない領域のみを部分的に更新することにより、短
時間に雑音の少ない背景画を作成可能とすることを最も
主要な特徴とする。また、経過時間の異なる複数の差分
領域画を作成し、ある閾値時間以上存在する動領域を静
領域とするように管理することにより、動物体を含む背
景画からでも、雑音の少ない背景画を短時間に作成可能
とすることを最も主要な特徴とする。

【００１５】従来の技術とは、入力画像全体を重ね合わ
せて新しい背景としたり、一時に画像全てを入れ換えて
新しい背景としたりするように、背景画全体を更新する
のではなく、動物体が検出された領域は背景画から、ま
た、動物体が検出されなかった領域は、最新画から抽出
して、動物体が検出された領域を部分的に更新すること
により、新しい背景画を作成する点が異なる。

【００１６】

【発明の実施の形態】以下、本発明の実施形態例を、図
を用いて詳細に説明する。

【００１７】《実施形態例１》図１は、本発明の背景画
更新装置の一実施形態例を示すブロック図である。本実
施形態例では、処理の初めの背景画において、動物体が
存在しない環境での単純な背景画更新例を示す。図１に
おいて、１は背景画格納手段，２は最新画格納手段，３
は差分領域画作成手段，４は差分領域画格納手段，５は
背景画合成手段である。

【００１８】図２は、本実施形態例における処理の過程
で生成されるフレーム画像を処理の流れとともに表現し
た図である。図２において、１１は背景画，１１１は背
景に存在する静止している物体（静物体），１２は最新
画，１２１は動物体，１３は差分領域画，１３１は動領
域，１４は動領域画，１５は静領域画，１６は新しく生
成される背景画である。

【００１９】図３は、本実施形態例における処理の流れ
図である。図３において、Ｓ１〜Ｓ１０は、処理の過程
を表すステップである。以下、図１〜３を参照して本実
施形態例の動作を説明する。

【００２０】図１において、背景画格納手段１は、フレ
ーム画像間の差分を計算する際に基準となるフレーム画
像である背景画（図２、１１）を格納している（Ｓ
１）。

【００２１】最新画格納手段２は、任意の時間の入力画
像である最新画（図２、１２）を格納する（Ｓ２）。

【００２２】差分領域画作成手段３は、まず始めに、背
景画格納手段１が格納する背景画と、最新画格納手段２
が格納する最新画の各画素について、輝度値の差分を計
算する（Ｓ３）。フレーム画像は２５６階調の輝度値で
表現されており、画素値が０のとき黒，画素値が２５５
のとき白であるとするとき、例えば、図２、１１１のよ
うな静物体の領域では、該背景画と該最新画が同一にな
るため、各画素は差分は±０となるが、図２、１２１の
ように動物体の領域では、該背景画と該最新画との間に
違いが生じ、輝度変化が黒から白のときには差分はマイ
ナス値に、逆に輝度変化が白から黒のときには差分はプ
ラス値になる。次に、求められた差分値を絶対値に変換
する（Ｓ４）。さらに、ある閾値により、輝度値０と輝
度値２５５に２値化して、黒と白の領域で現される差分
領域画（図２、１３）を作成する（Ｓ５）。該差分領域
画では、輝度値０、すなわち黒の領域は、差分が検出さ
れなかった領域を示しており、輝度値２５５、すなわち
白の領域（図２、１３１）は、差分が検出された領域を
示している。なお、本例では、差分領域画作成手段３に
より作成される差分領域画において、エッジ部分の平滑
化を行なっている。このため、動領域は、図２、１２１
に表される動物体のエッジが現れずに、図２、１３１に
表されるように、該動物体を含む領域になっている。

【００２３】差分領域画格納手段４は、差分領域画作成
手段３が作成する差分領域画を格納する（Ｓ６）。

【００２４】背景画合成手段５は、差分領域画格納手段
４が格納する差分領域画（図２、１３）を基に、まず始
めに、背景画格納手段１が格納する背景画と、差分領域
画格納手段４が格納する差分領域画の各画素について、
例えば、画素値の小さい方を選択することにより、変化
が検出された領域のみを該背景画より抽出したフレーム
画像である動領域画（図２、１４）を作成する（Ｓ
７）。次に、例えば、最新画格納手段２が格納する最新
画と、差分領域画格納手段４が格納する差分領域画を白
黒反転させたフレーム画像の各画素について、画素値の
小さい方を選択することにより、変化が検出されなかっ
た領域のみを該最新画より抽出したフレーム画像である
静領域画（図２、１５）を作成する（Ｓ８）。さらに、
例えば、該動領域画と該静領域画の各画素について、画
素値の大きい方を選択することにより、１つのフレーム
画像（図２、１６）に合成を行ない、新しい背景画を作
成する（Ｓ９）。作成された新しい背景画により背景画
格納手段１に格納されている背景画を更新する（Ｓ１
０）。

【００２５】以上の処理のように、動物体が存在する領
域を背景画より抽出し、動物体が存在しない領域を最新
画より抽出することにより、最新画に最も近い環境条件
の動物体を含まない背景画を短時間に作成することが可
能となる。

【００２６】《実施形態例２》図４は、本発明の背景画
更新方式のブロック図である。本実施形態例では、処理
の初めの背景画を任意の時点でのフレーム画像とする背
景画更新例を示す。図１において、１は背景画格納手
段，２は最新画格納手段，３は差分領域画作成手段，４
は差分領域画格納手段，５は背景画合成手段，６は動領
域管理手段である。第１の実施形態例との差異は、動領
域管理手段６を有する点である。

【００２７】図５、および図６は、本実施形態例におけ
る差分領域画の作成の処理の流れを説明する図、および
差分領域画の時間経過による変化例を示す図である。図
５において、２１は背景画，２１１は背景画に存在する
動物体，２１２は最新画，２２１は動物体，２３は差分
領域画，２３１，２３２は差分領域画中の動領域であ
る。また、図６において、３１，３２，３３は時間経過
順に作成された差分領域画、３１１，３１２，３２１，
３２２，３３１，３３２は各差分領域画中の動領域であ
る。

【００２８】図７は、本実施形態例における処理の流れ
図である。図７において、Ｓ１１〜Ｓ２５は、処理の過
程を表すステップである。以下、図４〜７を参照して本
実施形態例の動作を説明する。

【００２９】図４において、背景画格納手段１は、フレ
ーム画像間の差分を計算する際に基準となるフレーム画
像である背景画を格納している（Ｓ１１）。

【００３０】最新画格納手段２は、任意の時間の入力画
像である最新画を格納している（Ｓ１２）。

【００３１】差分領域画作成手段３は、まず始めに、背
景画格納手段１が格納する背景画と、最新画格納手段２
が格納する最新画の各画素について、輝度値の差分を計
算する（Ｓ１３）。フレーム画像は２５６階調の輝度値
で表現されており、画素値が０のとき黒，画素値が２５
５のとき白であるとするとき、該背景画と該最新画が同
一の領域では、各画素は差分は±０となるが、該背景画
と該最新画との間に違いが生じた領域では、輝度変化が
黒から白のときには差分はマイナス値に、逆に輝度変化
が白から黒のときには差分はプラス値になる。次に、求
められた差分値を絶対値に変換する（Ｓ１４）。さら
に、ある閾値により、輝度値０と輝度値２５５に２値化
して、黒と白の領域で現される差分領域画を作成する
（Ｓ１５）。該差分領域画では、輝度値０、すなわち黒
の領域は、差分が検出されなかった領域を示しており、
輝度値２５５、すなわち白の領域は、差分が検出された
領域を示している。本実施形態例では、処理の初めの背
景画を任意の時点でのフレーム画像とするために、例え
ば、図３、２１のように背景画に動物体２１１を含んで
いると、該背景画と図３、２２の最新画との差分領域画
（図３、２３）は、該最新画中の動物体（図３、２２
１）の領域であるところの動領域（図３、２３１）と、
該背景画中の動物体（図３、２１１）が背景に変化した
ために検出された領域であるところの動領域（図３、２
３２）を含んでいる。なお、本例では、差分領域画作成
手段３により作成される差分領域画において、エッジ部
分の平滑化を行なっている。このため、該差分領域画に
おいて、動領域は、図３、２１や図３、２２に表される
動物体のエッジが現れずに、図３、２３１や図３、２３
２に表されるように、該動物体を含む領域になってい
る。

【００３２】差分領域画格納手段４は、差分領域画作成
手段３が作成した差分領域画を格納する（Ｓ１６）。

【００３３】動領域管理手段６は、差分領域画格納手段
５が格納している差分領域画を基に、該差分領域画にお
いて変化が検出された複数の動領域を、一意な動領域識
別子と重心位置，存在時間の組により管理する。また、
該動領域内の各画素を該動領域識別子により管理する
（Ｓ１７）。第１の実施形態例で述べた背景更新法を用
いて連続するフレーム画像に対して逐次、背景差分法を
適用すると、順次、差分領域画が作成される（Ｓ１
８）。このとき、該動領域管理手段６は、２つの差分領
域画に現れる複数の動領域について、例えば、動領域の
重心間の距離や、該動領域の該最新画における画素値等
を基に対応を取る（Ｓ１９）。そして、動領域の該重心
距離がある閾値内に存在するときに、静止しているとみ
なして、滞在時間を存在時間に加算する。また、該重心
距離が閾値以上に動いているときには、動いている状態
として、存在時間を０に設定する（Ｓ２０）。さらに、
該動領域管理手段６は、存在時間がある閾値以上になっ
たときに、管理している動領域識別子を基に、該動領域
識別子を持つ該差分領域画の動領域の画素値を０に設定
することにより、該動領域を差分領域画格納手段４が格
納する該差分領域画より削除し修正する（Ｓ２１）。

【００３４】図６の差分領域画の時間経過による変化例
で説明すると、初めに検出された２つの動領域３１１、
３１２のうち、動領域３１１のように時間が経過しても
３２１、３３１というように、閾値内に存在する場合
が、静止しているとみなされる例である。一方、動領域
３１２のように時間が経過すると３２２、３３２という
ように、重心位置が閾値以上に移動する場合が、動いて
いる状態とされる例である。

【００３５】背景画合成手段５は、差分領域画格納手段
４が格納する、動領域管理手段６で管理されて場合によ
り修正された差分領域画を基に、まず始めに、例えば、
背景画格納手段１が格納する背景画と、差分領域画格納
手段４が格納する差分領域画の各画素について、画素値
の小さい方を選択することにより、変化が検出された領
域のみを該背景画より抽出したフレーム画像である動領
域画を作成する（Ｓ２２）。次に、例えば、最新画格納
手段２が格納する最新画と、差分領域画格納手段４が格
納する差分領域画を白黒反転させたフレーム画像の各画
素について、画素値の小さい方を選択することにより、
変化が検出されなかった領域のみを該最新画より抽出し
たフレーム画像である静領域画を作成する（Ｓ２３）。
さらに、例えば、該動領域画と該静領域画の各画素につ
いて、画素値の大きい方を選択することにより、１つの
フレーム画像に合成を行ない、新しい背景画を作成する
（Ｓ２４）。作成された新しい背景画により背景画格納
手段１に格納されている背景画を更新する（Ｓ２５）。

【００３６】以上の処理のように、動物体が存在する領
域を背景画より抽出し、動物体が存在しない領域を最新
画より抽出すること、ある閾値時間以上存在する動領域
は動領域リストから削除することにより静領域とするこ
とにより、動物体を含む背景画からでも、最新画に最も
近い環境条件の動物体を含まない背景画を短時間に作成
することが可能となる。

【００３７】

【発明の効果】以上説明したように、本発明によれば、
雑音の少ない背景画を短時間に得ることが可能となり、
背景差分法において、より正確な動物体検出を行なえる
効果が得られる。

【００３８】特に、経過時間の異なる複数の差分領域画
において、ある閾値時間以上存在する動領域を静領域と
するように管理する場合には、動物体を含む背景画から
でも、雑音の少ない背景画を短時間に作成することがで
きる効果が得られる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態例の構成を示すブロッ
ク図である。

【図２】上記第１の実施形態例の処理の流れを説明する
図である。

【図３】上記第１の実施形態例の処理の流れを示すフロ
ーチャートである。

【図４】本発明の第２の実施形態例の構成を示すブロッ
ク図である。

【図５】上記第２の実施形態例の差分領域画の作成の処
理の流れを説明する図である。

【図６】上記第２の実施形態例の差分領域画の時間経過
による変化例を示す図である。

【図７】上記第２の実施形態例の処理の流れを示すフロ
ーチャートである。

【符号の説明】

１…背景画格納手段 ２…最新画格納手段 ３…差分領域画作成手段 ４…差分領域画格納手段 ５…背景画合成手段 ６…動領域管理手段

Claims (4)

【特許請求の範囲】
1. 【請求項１】 連続して入力されるフレーム画像におい
   て、基準となるフレーム画像を背景画とし任意の時間の
   フレーム画像を最新画として、各画素毎に輝度値の差分
   を取ることにより前記背景画と最新画のフレーム画像間
   の輝度値の変化領域を検出し前記最新画中の動物体を検
   出する場合の前記背景画を更新する方法であって、 前記背景画と前記最新画を各々格納する過程と、 前記格納された背景画と最新画の各画素に対して輝度値
   の差分を求め、該差分値を絶対値に変換した後にある閾
   値で２値化して変化が検出された領域と変化が検出され
   なかった領域を示す差分領域画を作成する過程と、 前記作成された差分領域画において変化が検出された領
   域のみを前記背景画より抽出したフレーム画像であると
   ころの動領域画を作成する過程と、 前記作成された差分領域画において変化が検出されなか
   った領域のみを前記最新画より抽出したフレーム画像で
   あるところの静領域画を作成する過程と、 前記作成された動領域画と静領域画を重ね合わせて新し
   い背景画を作成し前記格納された背景画を更新する過程
   と、 を有することを特徴とする背景画更新方法。
2. 【請求項２】 前記作成された差分領域画を基に、変化
   が検出された連続する画素を一つの輝度変化領域である
   動領域として該動領域毎に一意な識別子により管理し、
   時間経過とともに作成される複数の差分領域画間につい
   て前記動領域毎の対応関係を取り、一定時間同じ位置で
   検出された動領域を前記差分領域画から削除して管理す
   る過程を新たに有し、 前記動領域画を作成する過程では、前記修正された差分
   領域画において変化が検出された領域のみを前記背景画
   格納手段が格納する背景画より抽出した動領域画を作成
   し、 前記静領域画を作成する過程では、前記修正された差分
   領域画において変化が検出されなかった領域のみを格納
   された最新画より抽出した静領域画を作成し、 前記新しい背景画を作成し前記格納された背景画を更新
   する過程では、前記作成された動領域画と静領域画を重
   ね合わせて新しい背景画を作成し格納された背景画を更
   新する、 ことを特徴とする請求項１に記載の背景画更新方法。
3. 【請求項３】 連続して入力されるフレーム画像におい
   て、基準となるフレーム画像を背景画とし任意の時間の
   フレーム画像を最新画として、各画素毎に輝度値の差分
   を取ることにより前記背景画と最新画のフレーム画像間
   の輝度値の変化領域を検出し前記最新画中の動物体を検
   出する場合の前記背景画を更新する装置であって、 前記背景画を格納する背景画格納手段と、 前記最新画を格納する最新画格納手段と、 前記格納された背景画と最新画との各画素に対して輝度
   値の差分を求め、該求められた差分値を絶対値に変換
   し、該変換された絶対値の差分値をある閾値で２値化し
   て変化が検出された領域と変化が検出されなかった領域
   を示す差分領域画を作成する差分領域画作成手段と、 前記作成された差分領域画を格納する差分領域画格納手
   段と、 前記格納された差分領域画において変化が検出された領
   域のみを前記背景画から抽出した動領域画を作成すると
   ともに、該差分領域画において変化が検出されなかった
   領域のみを前記最新画より抽出した静領域画を作成し、
   前記作成した動領域画と静領域画を重ね合わせて１つの
   フレーム画像に合成して新しい背景画とする背景画合成
   手段と、 を備えることを特徴とする背景画更新装置。
4. 【請求項４】 前記格納された差分領域画を基に、変化
   が検出された連続する画素からなる一つの輝度変化領域
   を動領域として該動領域毎に一意な識別子により管理
   し、時間経過とともに作成した複数の差分領域画間につ
   いて前記動領域毎の対応関係を取り、一定時間同じ位置
   で検出された動領域を前記格納された差分領域画から削
   除する管理を行う動領域管理手段を備え、 前記背景画合成手段は、前記動領域管理手段により動領
   域が管理された差分領域画を基に動領域画と静領域画を
   作成し重ね合わせて１つのフレーム画像に合成して新し
   い背景画とするものである、 ことを特徴とする請求項３に記載の背景画更新装置。