JPH10187996A - Method and device for generating background image - Google Patents

Method and device for generating background image

Info

Publication number
JPH10187996A
JPH10187996A JP8342824A JP34282496A JPH10187996A JP H10187996 A JPH10187996 A JP H10187996A JP 8342824 A JP8342824 A JP 8342824A JP 34282496 A JP34282496 A JP 34282496A JP H10187996 A JPH10187996 A JP H10187996A
Authority
JP
Japan
Prior art keywords
background
image
change component
background image
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8342824A
Other languages
Japanese (ja)
Other versions
JP2950267B2 (en
Inventor
Toru Ikeda
徹 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP8342824A priority Critical patent/JP2950267B2/en
Publication of JPH10187996A publication Critical patent/JPH10187996A/en
Application granted granted Critical
Publication of JP2950267B2 publication Critical patent/JP2950267B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To make compatible the high stability of background image against the passage of mobile object and quick followup performance to the fluctuation of background itself caused by a change in illumination or the like. SOLUTION: A background differential image 105 is generated from the difference between an input image 101 and a background image 103 by background difference 102. Next, in calculation 104 of uniform change component in the entire image, the average value of all pixel values in the background differential image 105 is calculated as a uniform change component 107 in the entire image. Next, in update 106 of background image due to the uniform change component in the entire image, the uniform change component 107 in the entire image is added to the respective pixel values of background image 103 to update it. In update 108 of background image due to a local change component, a weighted average with the input image 101 is calculated and the background image 103 is updated. The change of background is classified into two kinds of uniform change component and local change component in the entire image and the background image is separately updated.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、背景画像を自動生
成する背景画像生成方法および背景画像生成装置に関す
る。The present invention relates to a background image generating method and a background image generating apparatus for automatically generating a background image.

【０００２】[0002]

【従来の技術】従来、背景画像生成方法および背景画像
生成装置は、例えば、移動物体と背景とから構成されて
いる動画像から移動物体を取り除き、背景画像を自動生
成する、背景画像生成方法および装置として構成され
る。この手順における背景画像の生成については、移動
物体の通過による入力画像の変動に対して背景画像の安
定性が高く、照明条件などによる背景自体の変動に背景
画像が素早く追従できる方法が要望される。2. Description of the Related Art Conventionally, a background image generating method and a background image generating apparatus remove a moving object from a moving image composed of a moving object and a background and automatically generate a background image. It is configured as a device. Regarding the generation of the background image in this procedure, a method is desired in which the background image has high stability against the fluctuation of the input image due to the passage of the moving object, and can quickly follow the fluctuation of the background itself due to lighting conditions and the like. .

【０００３】具体的な従来の例として、従来例１の特開
平７−３０２３２８号公報の「背景差分による動物体領
域抽出方法」に記載の、屋外など照明変動が頻繁に起き
る状況、および背景がゆっくり変化する状況でも差分処
理を適用して、人物、車両などの動物体を安定に抽出で
きることを目指した方法がある。また、従来例２の特開
平５−２２５３４１号公報の「移動物体検出装置」に記
載の、急激な照明変化や動作中の静止物体の隠現による
誤検出の少ない移動物体検出装置がある。[0003] As a specific conventional example, a situation in which illumination fluctuation frequently occurs, such as outdoors, and a background, described in "Method of extracting moving object region by background subtraction" in JP-A-7-302328 of Conventional Example 1. There is a method aiming at being able to stably extract a moving object such as a person or a vehicle by applying difference processing even in a situation where the change is slow. In addition, there is a moving object detecting apparatus described in "Moving Object Detecting Apparatus" of Japanese Patent Application Laid-Open No. HEI 5-225341, which is less likely to be erroneously detected due to a sudden change in illumination or concealment of a stationary object during operation.

【０００４】従来例１の背景像所望領域更新過程として
述べられている背景画像生成方法では、各フレーム画像
中の各画素について、この画素を含む小領域における光
学的特徴パラメータの数値の時間変化を所定の時間間隔
ｔ０で統計処理し、統計量が照明変動に起因すると推定
される照明変動推定条件を満たしたときに、小領域にお
けるこの時間内の数値を背景画像の同じ小領域の数値と
置き換え、新しい背景画像として保持する背景像小領域
更新処理を、画面全体または予め設定された画面所望領
域の各位置に対して実行している。In the background image generation method described as the background image desired area update process of the conventional example 1, for each pixel in each frame image, the temporal change of the numerical value of the optical characteristic parameter in the small area including this pixel is determined. Statistical processing is performed at a predetermined time interval t0, and when the statistic satisfies the illumination fluctuation estimation condition estimated to be caused by illumination fluctuation, the numerical value in this time in the small area is replaced with the numerical value of the same small area in the background image. In addition, the background image small area update processing to be retained as a new background image is executed for each position of the entire screen or a predetermined screen desired area.

【０００５】即ち、本従来例１の方法では、照明変動推
定条件を満たすか否かにより、該画素が背景領域に属し
ているか、移動物体領域に属しているかを判定し、背景
領域においてのみ背景画像を更新している。That is, in the method of the first conventional example, it is determined whether the pixel belongs to the background area or the moving object area based on whether or not the illumination fluctuation estimation condition is satisfied. The image has been updated.

【０００６】また、従来例２の移動物体検出装置では、
入力画像と背景画像との差分値が所定値以上の画素と所
定値以下の画素とで、背景生成の際の入力画像と背景画
像との加算の割合を変えることにより、入力画像と背景
画像との混合比を変えて背景画像を生成している。ま
た、照明灯の点灯などの急激な変化に対応するため、入
力画像と一定期間前の入力画像との差分値が所定値以上
の画素と所定値以下の画素とで、背景生成の際の入力画
像と背景画像との加算の割合を変えることにより、入力
画像と背景画像との混合比を変えて背景画像を生成して
いる。[0006] Further, in the moving object detecting device of the conventional example 2,
By changing the rate of addition of the input image and the background image at the time of generating the background between the pixel whose difference value between the input image and the background image is equal to or more than the predetermined value and the pixel whose value is equal to or less than the predetermined value, Is changed to generate a background image. In addition, in order to respond to a sudden change such as lighting of an illumination lamp, a difference value between an input image and an input image before a predetermined period is set to a pixel having a value equal to or greater than a predetermined value and a pixel having a difference value equal to or less than a predetermined value. By changing the ratio of addition between the image and the background image, the background image is generated by changing the mixing ratio between the input image and the background image.

【０００７】[0007]

【発明が解決しようとする課題】しかしながら、上記従
来例１の方法では、移動物体領域では背景画像を更新し
ないため、移動物体の通過による入力画像の変動に対し
て背景画像の安定性が高いことが期待できるが、移動物
体領域では照明が変化しても背景画像が不変であること
になり、照明条件などによる背景自体の急激な変化に素
早く追従できないという問題点がある。例えば、図８
（ａ）に示すように、照明の変化などにより入力画像が
変動した場合、図８（ｂ）に示すように、移動物体領域
では背景画像が更新されない。However, in the method of the prior art 1, since the background image is not updated in the moving object region, the stability of the background image is high with respect to the fluctuation of the input image due to the passage of the moving object. However, in the moving object area, the background image remains unchanged even if the illumination changes, and there is a problem that it is not possible to quickly follow a rapid change in the background itself due to lighting conditions or the like. For example, FIG.
As shown in FIG. 8A, when the input image fluctuates due to a change in illumination or the like, the background image is not updated in the moving object area as shown in FIG.

【０００８】また、従来例２の装置では、画素毎の輝度
変動に基づくだけでは、移動物体の通過による輝度変動
と照明の急激な変化との識別が困難であり、移動物体の
通過に対する安定性と照明の急激な変化に対する追従性
とを両立できないという問題点がある。即ち、入力画像
と一定期間前の入力画像との差分値が所定値以上の画素
について、背景生成の際の入力画像と背景画像との加算
の割合を、この入力画像の割合が大きくなるように設定
すると、照明の急激な変化に対応できるようになるが、
移動物体の通過による輝度変動に対しても、入力画像の
加算の割合が大きくなるため、移動物体の通過による入
力画像の変動に対して背景画像の安定性を低める結果に
なる。従って、移動物体の通過による入力画像の変動に
対して背景画像の安定性をある程度保つためには、背景
画像生成の際の入力画像の混合比を適当に抑える必要が
ある。このため、例えば、図７（ａ）に示すように入力
画像が変動した場合、図７（ｂ）に示すように背景画像
の追従に遅れを生ずることになる。Further, in the device of the prior art 2, it is difficult to discriminate between a luminance change caused by the passage of a moving object and a sudden change in illumination based only on the luminance change for each pixel, and the stability to the passage of the moving object is difficult. However, there is a problem that it is not possible to achieve both compatibility with a rapid change in illumination. That is, for a pixel whose difference value between the input image and the input image before a certain period of time is equal to or more than a predetermined value, the ratio of addition of the input image and the background image at the time of background generation is set such that the ratio of the input image is increased. This allows you to respond to sudden changes in lighting,
The rate of addition of the input image also increases with respect to the luminance fluctuation caused by the passage of the moving object, and as a result, the stability of the background image is reduced with respect to the fluctuation of the input image caused by the passage of the moving object. Therefore, in order to maintain the stability of the background image to some extent against the fluctuation of the input image due to the passage of the moving object, it is necessary to appropriately suppress the mixture ratio of the input image when generating the background image. Therefore, for example, when the input image fluctuates as shown in FIG. 7A, a delay occurs in following the background image as shown in FIG. 7B.

【０００９】本発明は、背景画像の移動物体の通過に対
する高い安定性と、照明の変化などによる背景自体の変
動に対する素早い追従性能とを両立させた背景画像生成
方法および背景画像生成装置を提供することを目的とす
る。The present invention provides a background image generation method and a background image generation device that achieve both high stability of a background image against the passage of a moving object and quick follow-up performance against a change in the background itself due to a change in illumination or the like. The purpose is to:

【００１０】[0010]

【課題を解決するための手段】かかる目的を達成するた
め、請求項１記載の発明の背景画像生成方法は、当該時
点のフレーム画像とこのフレーム画像の１フレーム前に
生成された背景画像との相互に対応する画素値間の差分
を画素値とする背景差分画像を生成する工程と、背景差
分画像の全画素値の平均をとることにより当該時点のフ
レーム画像の全体における一様変化成分を計算する工程
と、背景画像の各画素値に一様変化成分を加えることに
より背景画像を更新する工程と、さらに、入力画像およ
び背景画像の対応する画素値とに基づき背景画像を更新
する工程とを具備し、当該時点のフレーム画像に対応す
る背景画像を生成することを特徴としている。In order to achieve the above object, a background image generating method according to the first aspect of the present invention is a method of generating a background image between a current frame image and a background image generated one frame before this frame image. Generating a background difference image having a difference between mutually corresponding pixel values as a pixel value, and calculating a uniform change component in the entire frame image at that time by averaging all pixel values of the background difference image And updating the background image by adding a uniform change component to each pixel value of the background image, and further updating the background image based on the corresponding pixel values of the input image and the background image. And generating a background image corresponding to the frame image at the time.

【００１１】また、上記の背景差分画像のデータＳ
（ｘ，ｙ）は、時刻ｔの入力画像および背景画像の座標
（ｘ，ｙ）における画素値を、それぞれＩt （ｘ，
ｙ）、Ｂt （ｘ，ｙ）（０≦ｘ＜Ｘ，０≦ｙ＜Ｙ）と
し、式（１）により求め、 Ｓ（ｘ，ｙ）＝Ｉt （ｘ，ｙ）−Ｂt-1 （ｘ，ｙ） …（１） 一様変化成分は、式（２）において全画素値の平均Ａ
all を求めた後、 Ａall ＝（１／ＸＹ）ΣＳ（ｘ，ｙ） 但し、１≦ｘ＜Ｘ，１≦ｙ＜Ｙ …（２） 計算式（３）により得るとよい。 Ｂt （ｘ，ｙ）＝０ ；Ｂt-1 （ｘ，ｙ）＋Ａall ＜０のとき ＝Ｎ−１ ；Ｂt-1 （ｘ，ｙ）＋Ａall ＞Ｎ−１のとき ＝Ｂt-1 （ｘ，ｙ）＋Ａall ；それ以外のとき 但し、Ｎは階調数 …（３）Also, the data S of the background difference image
(X, y) is the coordinates (x, y) of the input image and the background image at time t the pixel value at each I t (x,
y), B t (x, y) (0 ≦ x <X, 0 ≦ y <Y), and calculated by equation (1): S (x, y) = I t (x, y) −B t− 1 (x, y) (1) The uniform change component is the average A of all the pixel values in equation (2).
After obtaining the all, A all = (1 / XY) ΣS (x, y) provided that may obtained by 1 ≦ x <X, 1 ≦ y <Y ... (2) equation (3). B t (x, y) = 0; B t-1 (x, y) + A all <0 = N−1; B t−1 (x, y) + A all > N−1 = B t -1 (x, y) + A all ; In other cases, N is the number of gradations (3)

【００１２】請求項３記載の発明の背景画像生成方法
は、現在の入力画像と現在の１フレーム前に生成された
背景画像との対応する画素値の差分を画素値とする背景
差分画像を生成する工程と、背景差分画像に基づき各画
素が背景領域に所属するか否かを判定することにより各
画素の背景領域への所属の有無を記述する背景領域マス
クを生成する工程と、背景領域における一様変化成分と
して２つの場合があり、第１の場合として背景領域マス
クにおいて背景領域に所属すると記述されている画素群
の数が閾値以上ならば当該画素群に対応する背景差分画
像の画素値の平均を算出し、第２の場合として背景領域
マスクにおいて背景領域に所属すると記述されている画
素数に基づいて背景領域が小さいと判断されたならば背
景差分画像の全画素の平均値を算出する工程と、背景画
像の各画素値に一様変化成分を加えることにより背景画
像を更新する工程と、さらに、背景領域マスクで背景領
域に所属すると記述されている画素群において入力画像
および背景画像の対応する画素値とに基づき背景画像を
更新する工程とを具備し、現在の背景画像を生成するこ
とを特徴としている。A background image generating method according to a third aspect of the present invention generates a background difference image in which a pixel value is a difference between corresponding pixel values of a current input image and a background image generated one frame before the current image. And generating a background area mask describing whether each pixel belongs to the background area by determining whether each pixel belongs to the background area based on the background difference image. There are two cases of uniform change components. In the first case, if the number of pixel groups described as belonging to the background region in the background region mask is equal to or greater than a threshold value, the pixel value of the background difference image corresponding to the pixel group In the second case, if it is determined that the background area is small based on the number of pixels described as belonging to the background area in the background area mask, all pixels in the background difference image Calculating an average value, updating the background image by adding a uniform change component to each pixel value of the background image, and further inputting a pixel group described as belonging to the background region by the background region mask. Updating the background image based on the image and the corresponding pixel value of the background image to generate a current background image.

【００１３】請求項４記載の発明の背景画像生成方法
は、現在の入力画像と現在の１フレーム前に生成された
背景画像との対応する画素値の差分を画素値とする背景
差分画像を生成する工程と、背景差分画像および後述の
移動物体の予測結果に基づき各画素が背景領域に所属す
るか否かを判定することにより各画素の背景領域への所
属を記述する背景領域マスクを生成する工程と、背景領
域における一様変化成分として２つの場合があり、第１
の場合として背景領域マスクにおける背景領域に所属す
ると記述されている画素群の数が閾値以上ならば、当該
画素群に対応する背景差分画像の画素値の平均を算出
し、第２の場合として背景領域マスクにおける背景領域
に所属すると記述されている画素数に基づいて背景領域
が小さいと判定されたならば背景差分画像の全画素の平
均値を算出する工程と、背景画像の各画素値に一様変化
成分を加えることにより背景画像を更新する工程と、お
よび、背景領域マスクで背景領域に所属すると記述され
ている画素群において入力画像および背景画像の対応す
る画素値とに基づき背景画像を更新することにより現在
の背景画像を生成する工程と、入力画像および背景画像
に基づき移動物体を認識する工程と、移動物体の認識結
果に基づき現在の次のフレームにおける移動物体を予測
する工程とを具備し、移動物体の予測結果を用いて現在
の背景画像を生成することを特徴としている。According to a fourth aspect of the present invention, there is provided a background image generating method for generating a background difference image in which a difference between corresponding pixel values of a current input image and a current background image generated one frame before is set as a pixel value. And determining whether each pixel belongs to a background region based on a background difference image and a result of prediction of a moving object described later, thereby generating a background region mask describing the belonging of each pixel to the background region. There are two cases as the process and the uniform change component in the background area.
If the number of pixel groups described as belonging to the background area in the background area mask is equal to or greater than the threshold value in the case of, the average of the pixel values of the background difference image corresponding to the pixel group is calculated. Calculating a mean value of all pixels of the background difference image if the background region is determined to be small based on the number of pixels described as belonging to the background region in the region mask; Updating the background image by adding the like change component, and updating the background image based on the corresponding pixel values of the input image and the background image in a group of pixels described as belonging to the background region in the background region mask Generating a current background image by recognizing the moving object based on the input image and the background image. Comprising a step of predicting a moving object in the frame, it is characterized by generating a current background image using the prediction result of the moving object.

【００１４】請求項５記載の発明の背景画像生成装置
は、少なくとも入力画像、背景画像、背景差分画像、一
様変化成分の各データを記憶する記憶手段と、記憶され
ている入力画像および背景画像の各データを参照して背
景差分画像を生成して記憶手段に記憶する背景差分画像
生成手段と、背景差分画像を参照して一様変化成分を算
出して記憶手段に記憶する一様変化成分算出手段と、一
様変化成分を参照して記憶されている背景画像を更新す
る一様変化成分による背景画像更新手段と、記憶されて
いる入力画像を参照して記憶されている背景画像を更新
する局所変化成分による背景画像更新手段と、各処理の
動作を制御する制御手段とを具備し、一様変化成分およ
び局所変化成分を用いて背景画像を逐次更新することを
特徴としている。According to a fifth aspect of the present invention, there is provided a background image generating apparatus, comprising: storage means for storing at least data of an input image, a background image, a background difference image, and a uniform change component; A background difference image generating means for generating a background difference image with reference to each of the data and storing the same in the storage means, and a uniform change component for calculating a uniform change component with reference to the background difference image and storing the same in the storage means Calculating means, background image updating means for updating the stored background image with reference to the uniform change component, and updating the stored background image with reference to the stored input image And a control means for controlling the operation of each processing, wherein the background image is sequentially updated using the uniform change component and the local change component.

【００１５】請求項６記載の発明の背景画像生成装置
は、少なくとも入力画像、背景画像、背景差分画像、一
様変化成分、背景領域マスクの各データを記憶する記憶
手段と、この記憶手段に記憶されている入力画像および
背景画像の対応する画素値間の差分値である背景差分画
像を生成する背景差分手段と、背景差分画像を参照して
各画素が背景領域に所属するか否かを判定することによ
り各画素の背景領域への所属を記述する背景領域マスク
を生成する背景領域判定手段と、背景差分画像を参照し
て画像全体の一様変化成分を算出する一様変化成分算出
手段と、背景領域マスクを参照して背景領域サイズの大
小判定をする背景領域サイズの大小判定手段と、背景領
域マスクで背景領域に所属すると記述されている画素群
に対応する画素値の平均を背景領域における一様変化成
分として算出する背景領域における一様変化成分算出手
段と、一様変化成分に基づいて背景画像を更新する一様
変化成分による背景画像更新手段と、入力画像および背
景領域マスクに基づいて記憶されている背景画像を更新
する局所変化成分による背景画像更新手段と、各処理動
作を制御する制御手段とを具備し、背景領域マスクの状
態に基づいて背景画像を逐次生成することを特徴として
いる。According to a sixth aspect of the present invention, there is provided a background image generating apparatus for storing at least respective data of an input image, a background image, a background difference image, a uniform change component, and a background area mask, and the storage means. Background difference means for generating a background difference image which is a difference value between corresponding pixel values of the input image and the background image, and determining whether or not each pixel belongs to the background region with reference to the background difference image A background area determining means for generating a background area mask describing the belonging of each pixel to the background area, and a uniform change component calculating means for calculating a uniform change component of the entire image with reference to the background difference image. Means for determining the size of the background area with reference to the background area mask, and means for determining the size of the background area, and a method for determining the pixel value corresponding to the pixel group described as belonging to the background area in the background area mask. Means for calculating a uniform change component in the background area, calculating the average as a uniform change component in the background area; updating means for updating the background image based on the uniform change component; A background image updating means for updating a stored background image based on the area mask; a control means for controlling each processing operation; and sequentially generating a background image based on a state of the background area mask. It is characterized by doing.

【００１６】請求項７記載の発明の背景画像生成装置
は、少なくとも入力画像、背景画像、背景差分画像、一
様変化成分、背景領域マスク、予測マスク、予測デー
タ、認識された移動物体の各データを記憶する記憶手段
と、この記憶手段に記憶されている入力画像と背景画像
との対応する画素間の差分値である背景差分画像を生成
する背景差分手段と、記憶している背景差分画像および
予測データを参照して各画素が背景領域に所属するか否
かを判定することにより各画素の背景領域への所属を記
述する背景領域マスクを生成する背景領域判定手段と、
予測データから予測された車両の位置を指定する予測マ
スクを生成する予測マスク生成手段と、背景差分マスク
および予測マスクを参照して記憶している背景領域マス
クを更新する背景領域マスク生成手段と、背景差分画像
の全画素値の平均値を求めることにより画像全体の一様
変化成分を算出する画像全体における一様変化成分算出
手段と、背景差分マスクおよび予測マスクに基づき背景
領域マスクを生成する背景領域マスク生成手段と、背景
領域マスクにおける背景領域に所属すると記述されてい
る画素数に基づいて背景領域の大小を判定する背景領域
サイズの大小判定手段と、背景差分画像において、背景
領域マスクで背景領域に所属すると記述されている画素
群に対応する画素値の平均を背景領域における一様変化
成分として算出する背景領域における一様変化成分算出
手段と、一様変化成分に基づいて記憶している背景画像
を更新する一様変化成分による背景画像更新手段と、入
力画像および背景領域マスクに基づいて記憶されている
背景画像を更新する局所変化成分による背景画像更新手
段と、入力画像および背景画像に基づいて移動物体を認
識する移動物体認識手段と、移動物体に基づいて次に背
景画像を更新する時点における移動物体の位置を予測す
る予測手段とを具備し、背景画像を逐次生成することを
特徴としている。According to a seventh aspect of the present invention, there is provided a background image generating apparatus comprising at least an input image, a background image, a background difference image, a uniform change component, a background area mask, a prediction mask, prediction data, and data of a recognized moving object. Storage means for storing a background difference image which is a difference value between corresponding pixels of the input image and the background image stored in the storage means, and a stored background difference image and Background region determining means for generating a background region mask describing the belonging of each pixel to the background region by determining whether each pixel belongs to the background region with reference to the prediction data,
Prediction mask generation means for generating a prediction mask specifying the position of the vehicle predicted from the prediction data, and background area mask generation means for updating the stored background area mask with reference to the background difference mask and the prediction mask; Means for calculating a uniform change component of the entire image by calculating an average value of all pixel values of the background difference image, and a background for generating a background region mask based on the background difference mask and the prediction mask A region mask generating unit; a background region size determining unit that determines the size of the background region based on the number of pixels described as belonging to the background region in the background region mask; The average of the pixel values corresponding to the pixel group described as belonging to the region is calculated as a uniform change component in the background region. Means for calculating a uniform change component in the background area; means for updating the background image stored based on the uniform change component; means for updating the background image based on the uniform change component; and means for storing based on the input image and the background area mask. Background image updating means using a local change component for updating a background image, moving object recognizing means for recognizing a moving object based on an input image and a background image, and movement at the time of next updating the background image based on the moving object A prediction unit that predicts the position of the object, and sequentially generates a background image.

【００１７】[0017]

【発明の実施の形態】次に添付図面を参照して本発明に
よる背景画像生成方法および背景画像生成装置の実施の
形態を詳細に説明する。図１〜図８を参照すると本発明
の背景画像生成方法および背景画像生成装置の一実施形
態が示されている。BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram showing an embodiment of a background image generating method and a background image generating apparatus according to the present invention; 1 to 8 show a background image generating method and a background image generating apparatus according to an embodiment of the present invention.

【００１８】＜第１の実施形態の背景画像生成方法＞ま
ず、第１の実施形態の背景画像生成方法の一実施例を、
図面を用いて説明する。図１は本実施形態の動作例を示
すフローチャートである。<Background Image Generation Method of First Embodiment> First, an example of the background image generation method of the first embodiment will be described.
This will be described with reference to the drawings. FIG. 1 is a flowchart illustrating an operation example of the present embodiment.

【００１９】本実施形態の方法では、背景の変化を、照
明などの変化による画像全体の一様変化成分および、局
所パタンの変化などによる局所変化成分の２種類に分類
し、これら２種類の成分に対して個別に背景画像の更新
を行なう。この２種類の成分は、以下の手順により得
る。なお、時刻ｔの入力画像および背景画像の座標
（ｘ，ｙ）における画素値を、それぞれＩt （ｘ，
ｙ）、Ｂt （ｘ，ｙ）（０≦ｘ＜Ｘ，０≦ｙ＜Ｙ）と表
記し、各画素値は０〜２５６の２５６階調で表現される
ものとする。In the method of this embodiment, changes in the background are classified into two types: a uniform change component of the entire image due to a change in illumination and the like, and a local change component due to a change in a local pattern. , The background image is individually updated. These two components are obtained by the following procedure. The coordinate (x, y) of the input image and the background image at time t the pixel value at each I t (x,
y), B t (x, y) (0 ≦ x <X, 0 ≦ y <Y), and each pixel value is represented by 256 tones from 0 to 256.

【００２０】図１において、背景差分１０２では、入力
画像１０１および背景画像１０３を参照し、下記の式
（１）に従い、座標（ｘ，ｙ）における画素値Ｓ（ｘ，
ｙ）を持つ背景差分画像１０５を生成する。ここにおい
て、Ｓ（ｘ，ｙ）の値は負値をとりうる。In FIG. 1, a background difference 102 refers to an input image 101 and a background image 103, and according to the following equation (1), a pixel value S (x, y) at a coordinate (x, y).
A background difference image 105 having y) is generated. Here, the value of S (x, y) can take a negative value.

【００２１】 Ｓ（ｘ，ｙ）＝Ｉt （ｘ，ｙ）−Ｂt-1 （ｘ，ｙ） …（１）S (x, y) = I t (x, y) −B t−1 (x, y) (1)

【００２２】なお、背景画像１０３は、現在の処理段階
では更新されていないので時刻ｔ−１のものとしたが、
時刻の単位は実際に適用する画像に応じて定めればよ
い。Although the background image 103 is not updated at the current processing stage, it is taken at time t-1.
The time unit may be determined according to the image to be actually applied.

【００２３】画像全体における一様変化成分の計算１０
４では、背景差分画像１０５を参照し、式（２）に従
い、画像全体の画素値の平均Ａall を算出し、画像全体
における一様変化成分１０７として出力する。Calculation of uniform change component in entire image 10
In step 4, the average Aall of the pixel values of the entire image is calculated according to equation (2) with reference to the background difference image 105, and is output as a uniform change component 107 in the entire image.

【００２４】 Ａall ＝（１／ＸＹ）ΣＳ（ｘ，ｙ） …（２） 但し、１≦ｘ＜Ｘ，１≦ｙ＜ＹA all = (1 / XY) ΣS (x, y) (2) where 1 ≦ x <X, 1 ≦ y <Y

【００２５】画像全体の一様変化成分による背景画像の
更新１０６では、画像全体における一様変化成分１０７
を用いて、背景画像１０３の各画素値を式（３）により
更新する。In the updating 106 of the background image with the uniform change component of the entire image, the uniform change component 107 of the entire image is used.
Is used to update each pixel value of the background image 103 by Expression (3).

【００２６】 Ｂt （ｘ，ｙ）＝０ ；Ｂt-1 （ｘ，ｙ）＋Ａall ＜０のとき ＝２５５ ；Ｂt-1 （ｘ，ｙ）＋Ａall ＞２５５のとき ＝Ｂt-1 （ｘ，ｙ）＋Ａall ；それ以外のとき …（３）B t (x, y) = 0; B t-1 (x, y) + A all <0 = 255; B t-1 (x, y) + A all > 255 = B t− 1 (x, y) + A all ; otherwise (3)

【００２７】本処理により、照明などによる背景の一様
な変化に、背景画像１０３が瞬時に追従することができ
る。また、局所変化成分による背景画像の更新１０８で
は、入力画像１０１を参照し、背景画像１０３を式
（４）に従い更新する。ただし、式（４）の右辺のＢt
（ｘ，ｙ）は、画像全体の一様変化成分による背景画像
の更新１０６で得られた背景画像の画素値を示してい
る。According to this processing, the background image 103 can instantaneously follow a uniform change in the background due to lighting or the like. In updating the background image 108 with the local change component, the background image 103 is updated according to the equation (4) with reference to the input image 101. However, B t on the right side of equation (4)
(X, y) indicates the pixel value of the background image obtained by updating the background image 106 with the uniform change component of the entire image.

【００２８】 Ｂt （ｘ，ｙ）＝αＢt （ｘ，ｙ）＋（１−α）Ｉ（ｘ，ｙ） …（４）B t (x, y) = αB t (x, y) + (1−α) I (x, y) (4)

【００２９】本処理により、背景の局所パタンなどの変
化に背景画像１０３を追従させることができる。よっ
て、本第１の実施形態の背景画像生成方法によれば、照
明などによる背景の一様な変化に、背景画像を高速に追
従させることが可能となる。According to this processing, the background image 103 can follow changes in the local pattern of the background. Therefore, according to the background image generation method of the first embodiment, it is possible to cause the background image to quickly follow a uniform change in the background due to lighting or the like.

【００３０】＜第２の実施形態の背景画像生成方法＞次
に、第２の実施形態の背景画像生成方法の一実施例を、
図面を用いて説明する。図２は本実施形態の動作例を示
すフローチャートである。<Background Image Generation Method of Second Embodiment> Next, an example of the background image generation method of the second embodiment will be described.
This will be described with reference to the drawings. FIG. 2 is a flowchart illustrating an operation example of the present embodiment.

【００３１】本実施形態の方法と上記の第１の実施形態
の方法との相違点は、一様変化成分の算出方法にある。
第１の実施形態では、背景差分画像全体の画素値の平均
値を一様変化成分とした。しかしながら、移動物体が撮
影されている場合、移動物体による背景からの画素値の
変動も一様変化成分に足し込まれてしまうという問題点
がある。そこで、本実施形態の方法では、背景領域の判
定を行なうことにより、背景領域において一様変化成分
を算出する。The difference between the method of the present embodiment and the method of the first embodiment lies in the method of calculating the uniform change component.
In the first embodiment, the average value of the pixel values of the entire background difference image is used as the uniform change component. However, when a moving object is photographed, there is a problem in that a change in pixel value from the background due to the moving object is added to the uniform change component. Therefore, in the method of the present embodiment, the uniform change component is calculated in the background region by determining the background region.

【００３２】本実施形態の動作例を示す図２において、
背景差分２０２、画像全体における一様変化成分の計算
２０７および一様変化成分による背景画像の更新２１１
の動作は、前述の第１の実施形態の動作例における背景
差分１０２、画像全体における一様変化成分の計算１０
４および画像全体の一様変化成分による背景画像の更新
１０６とそれぞれ同様である。In FIG. 2 showing an operation example of the present embodiment,
Background difference 202, calculation 207 of uniform change component in the entire image, and update 211 of background image by uniform change component
The operations in the above are the background difference 102 in the operation example of the first embodiment described above, and the calculation 10 of the uniform change component in the entire image.
4 and the background image update 106 using the uniform change component of the entire image.

【００３３】背景領域の判定２０３は、背景差分画像２
０４の各画素に対して画素値の絶対値を算出し、閾値以
上ならば１、閾値未満ならば０を対応する画素値とす
る、２値の画像である背景領域マスク２０８を生成す
る。即ち、本動作例において、背景領域マスク２０８の
画素値１の画素は背景領域に所属せず、画素値０の画素
は背景領域に所属していると判定される。The determination 203 of the background area is based on the background difference image 2
The absolute value of the pixel value is calculated for each of the pixels 04, and a background area mask 208, which is a binary image, is generated in which the corresponding pixel value is 1 if the pixel value is equal to or larger than the threshold and 0 if the pixel value is smaller than the threshold. That is, in this operation example, it is determined that the pixel having the pixel value 1 of the background region mask 208 does not belong to the background region, and the pixel having the pixel value 0 belongs to the background region.

【００３４】背景領域サイズの大小判定２０６は、背景
領域マスク２０８において、画素値１の画素の数が閾値
以上である場合には背景領域サイズが大であると判定
し、閾値未満である場合には背景領域サイズが小である
と判定する。In the background area size determination 206, the background area size is determined to be large when the number of pixels having the pixel value 1 is equal to or larger than the threshold value in the background area mask 208. Determines that the background area size is small.

【００３５】背景領域サイズが大と判定された場合には
背景領域における一様変化成分の計算２０９を行ない、
背景領域サイズが小と判定された場合には画像全体にお
ける一様変化成分の計算２０７を行なう。When the background area size is determined to be large, the calculation 209 of the uniform change component in the background area is performed, and
If the background area size is determined to be small, calculation 207 of a uniform change component in the entire image is performed.

【００３６】背景領域における一様変化成分の計算２０
９は、背景領域マスク２０８において画素値１である画
素に対応する背景差分画像２０４の画素値の平均値を算
出し、一様変化成分２１０に出力する。本処理により、
移動物体が入力画像２０１に撮影されていた場合にも、
移動物体に影響されにくい一様変化成分を算出すること
が可能になる。Calculation of Uniform Change Component in Background Area 20
9 calculates the average value of the pixel values of the background difference image 204 corresponding to the pixel having the pixel value 1 in the background area mask 208 and outputs the average value to the uniform change component 210. By this processing,
Even when the moving object is captured in the input image 201,
It is possible to calculate a uniform change component that is hardly affected by a moving object.

【００３７】局所変化成分による背景画像の更新２１２
は、入力画像２０１を参照し、背景マスク２０８におい
て、対応する画素が背景領域に所属していると判定され
ていることを示す画素値０の場合に、背景画像２０５を
式（５）に従い更新する。ただし、式（５）の右辺のＢ
t （ｘ，ｙ）は、一様変化成分による背景画像の更新２
１１で得られた背景画像の画素値を示している。Updating of background image by local change component 212
Refers to the input image 201, and updates the background image 205 according to equation (5) when the background mask 208 has a pixel value of 0 indicating that the corresponding pixel belongs to the background area. I do. However, B on the right side of equation (5)
t (x, y) is the update of the background image by the uniform change component 2
11 shows the pixel values of the background image obtained at step S11.

【００３８】 Ｂt （ｘ，ｙ）＝αＢt （ｘ，ｙ）＋（１−α）Ｉ（ｘ，ｙ） …（５）B t (x, y) = αB t (x, y) + (1−α) I (x, y) (5)

【００３９】背景マスク２０８において、対応する画素
が画素値１の場合には何も処理を行なわないものとす
る。In the background mask 208, if the corresponding pixel has a pixel value of 1, no processing is performed.

【００４０】本実施形態の動作例によれば、１フレーム
前までに適切な背景画像が得られていなかった場合に
は、背景が撮影されている部分においても入力画像２０
１と背景画像２０５との差異が大きくなる。このため、
本動作例で得られる背景領域マスク２０８の画素値１の
画素が多くなり、背景領域サイズが小と判定される。よ
って、画像全体における一様変化成分で背景画像２０５
が更新されることになる。また、背景自体が急激に変化
した場合にも、同様の処理が行なわれる。よって、照明
などによる背景の一様な変化に、背景画像が高速に追従
しつつ、移動物体の通過に対して高い安定性を示す、画
像処理による背景領域判定を行なうことができる。According to the operation example of the present embodiment, if an appropriate background image has not been obtained up to one frame before, the input image 20 is obtained even in a portion where the background is photographed.
The difference between 1 and the background image 205 increases. For this reason,
The number of pixels having the pixel value 1 of the background region mask 208 obtained in this operation example increases, and the background region size is determined to be small. Therefore, the background image 205 is obtained by the uniform change component in the entire image.
Will be updated. Similar processing is performed also when the background itself changes abruptly. Therefore, the background region can be determined by image processing that shows high stability against the passage of a moving object while the background image follows a uniform change in the background due to lighting or the like at a high speed.

【００４１】＜第３の実施形態の背景画像生成方法＞次
に、第３の実施形態の背景画像生成方法を、図面を用い
て説明する。図３は本実施形態の動作例を示すフローチ
ャートである。<Background Image Generation Method of Third Embodiment> Next, a background image generation method of the third embodiment will be described with reference to the drawings. FIG. 3 is a flowchart illustrating an operation example of the present embodiment.

【００４２】本実施形態の方法と第１および第２の実施
形態の方法との相違点は、背景領域の判定方法にある。
第１の実施形態では、背景領域の判定を行なわなかっ
た。第２の実施形態では、背景差分画像の各画素値の絶
対値を閾値処理していた。しかしながら、背景画像の画
素値に近い値で移動物体が撮影されている場合には、背
景差分画像だけでは背景領域の判定を精度よく行なえる
とは限らない。そこで、本方法では移動物体の認識およ
び次フレームにおける移動物体の予測を行なう。これに
より、例えば、現在のフレームでは背景画像に近い値で
撮影されている移動物体でも、過去のフレームにおいて
背景画像と明確に異なる値で撮影されている場合には、
現在の移動物体領域を精度よく予測できる。このため、
背景領域を正しく判定することが可能となる。The difference between the method of this embodiment and the methods of the first and second embodiments lies in the method of determining the background area.
In the first embodiment, the determination of the background area is not performed. In the second embodiment, the absolute value of each pixel value of the background difference image is subjected to threshold processing. However, when a moving object is photographed with a value close to the pixel value of the background image, it is not always possible to accurately determine the background region using only the background difference image. Therefore, in the present method, recognition of the moving object and prediction of the moving object in the next frame are performed. By this, for example, even in the case of a moving object that is photographed with a value close to the background image in the current frame, if it is photographed with a value that is clearly different from the background image in the past frame,
The current moving object area can be accurately predicted. For this reason,
The background area can be correctly determined.

【００４３】本実施形態の動作例を示す図３において、
背景差分３０２および背景領域サイズの大小判定３０７
および画像全体における一様変化成分の計算３０８、背
景領域における一様変化成分の計算３１０、一様変化成
分による背景画像の更新３１２、および局所変化成分に
よる背景画像の更新３１３の各動作は、前述の第１また
は第２の実施形態の動作例における背景差分１０２、背
景領域サイズの大小判定２０６、画像全体における一様
変化成分の計算１０７、背景領域における一様変化成分
の計算２０９、一様変化成分による背景画像の更新１０
６、および局所変化成分による背景画像の更新２１２と
それぞれ同様である。In FIG. 3 showing an operation example of this embodiment,
Background difference 302 and background area size determination 307
The operations of calculating the uniform change component 308 in the entire image, calculating the uniform change component 310 in the background region, updating the background image 312 with the uniform change component, and updating the background image 313 with the local change component are described above. In the operation example of the first or second embodiment of the present invention, the size difference 206 of the background region size, the calculation 107 of the uniform change component in the entire image, the calculation 209 of the uniform change component in the background region, the uniform change Update of background image by component 10
6 and the update 212 of the background image by the local change component.

【００４４】移動物体の予測結果３０４において、予測
された移動物体領域は矩形で近似され、各移動物体は左
下頂点のｘ座標、ｙ座標および幅および高さの４つの情
報で記述されているものとする。In the prediction result 304 of the moving object, the predicted moving object area is approximated by a rectangle, and each moving object is described by four information of the x coordinate and the y coordinate of the lower left vertex and the width and the height. And

【００４５】背景領域の判定３０５は、下記基準に基づ
き２値からなる画像である背景領域マスク３０９を生成
し、その結果に基づく。 １．移動物体の予測結果３０４に記述されている矩形群
を画像に展開した場合に、対応する画素がある矩形に含
まれる場合には、画素値を“０”とする。 ２．対応する画素が上記矩形群のどの矩形にも含まれな
い場合には以下に従う。 （ａ）背景差分画像３０３の対応する画素値の絶対値が
閾値以上ならば、画素値を“１”とする。 （ｂ）背景差分画像３０３の対応する画素値の絶対値が
閾値未満ならば、画素値を“０”とする。In the determination 305 of the background area, a background area mask 309 which is a binary image is generated based on the following criteria, and based on the result. 1. When a group of rectangles described in the prediction result 304 of the moving object is expanded into an image, if the corresponding pixel is included in a certain rectangle, the pixel value is set to “0”. 2. If the corresponding pixel is not included in any of the rectangles in the rectangle group, the following applies. (A) If the absolute value of the corresponding pixel value of the background difference image 303 is equal to or greater than the threshold, the pixel value is set to “1”. (B) If the absolute value of the corresponding pixel value of the background difference image 303 is less than the threshold, the pixel value is set to “0”.

【００４６】移動物体の認識３１４では、入力画像３０
１および背景画像３０６を参照し、移動物体を矩形で近
似して追跡し、現在の矩形の左下頂点のｘ，ｙ座標およ
び高さおよび重心点の移動ベクトルを、移動物体の認識
結果３１５として出力する。例えば、本処理には、電気
学会研究会資料（道路交通研究会）ＲＴＡ−９６−９
（１９９６年３月１９日）に記載の「路側カメラによる
交通計測―重なり車両の個別追跡―」で述べられてい
る、道路交通画像からの車両の検出手法および追跡手法
を適用することができる。In recognition 314 of the moving object, the input image 30
1 and the background image 306, the moving object is approximated by a rectangle and tracked, and the x, y coordinates and height and the movement vector of the center of gravity of the lower left vertex of the current rectangle are output as the recognition result 315 of the moving object. I do. For example, in this processing, the Institute of Electrical Engineers of Japan materials (Road Traffic Study Group) RTA-96-9
(March 19, 1996) described in “Traffic Measurement by Roadside Camera-Individual Tracking of Overlapping Vehicles-”, a method for detecting and tracking vehicles from road traffic images can be applied.

【００４７】次フレームにおける移動物体の予測３１６
では、移動物体の認識結果３１５に記述されている移動
物体を近似する矩形の、次のフレームにおける左下頂点
のｘ，ｙ座標および幅および高さを算出し、全矩形に対
する算出結果を移動物体の予測結果３０４とする。例え
ば、移動物体の認識結果３１５に、左下頂点のｘ座標が
Ｘ、同ｙ座標がＹ、幅がＷ、高さがＨ、移動ベクトルが
（Ａ，Ｂ）という矩形の記述があったならば、次フレー
ムにおいて、左下頂点のｘ座標がＸ＋Ａ、同ｙ座標がＹ
＋Ｂ、幅がＷ、高さがＨと予測する。Moving object prediction 316 in next frame
Then, the x, y coordinates, width, and height of the lower left vertex in the next frame of the rectangle approximating the moving object described in the moving object recognition result 315 are calculated, and the calculation result for all the rectangles is calculated. The prediction result is assumed to be 304. For example, if the x-coordinate of the lower left vertex is described as X, the y-coordinate is Y, the width is W, the height is H, and the movement vector is (A, B) in the recognition result 315 of the moving object, In the next frame, the x coordinate of the lower left vertex is X + A, and the y coordinate is Y
+ B, width W, height H.

【００４８】本第３の実施形態の背景画像生成方法によ
れば、照明などによる背景の一様な変化に、背景画像が
高速に追従しつつ、移動物体の通過に対して更に高い安
定性を示す、画像処理および移動物体認識による背景領
域判定を行なうことが可能となる。According to the background image generation method of the third embodiment, the background image follows the uniform change of the background due to the illumination or the like at a high speed, and has a higher stability against the passage of the moving object. It is possible to perform the background region determination by the image processing and the moving object recognition shown in FIG.

【００４９】＜第１の実施形態の背景画像生成装置＞第
１の実施形態の背景画像生成装置を、図面を用いて説明
する。ここで、図４は本実施形態の構成例を示すブロッ
ク図であり、４０１は入力画像記憶手段、４０２は背景
差分手段、４０３は背景差分画像記憶手段、４０４は一
様変化成分算出手段、４０５は背景画像記憶手段、４０
６は制御手段、４０７は一様変化成分記憶手段、４０８
は一様変化成分による背景画像更新手段、４０９は局所
変化成分による背景画像更新手段である。<Background Image Generating Device of First Embodiment> A background image generating device of the first embodiment will be described with reference to the drawings. Here, FIG. 4 is a block diagram showing a configuration example of the present embodiment, wherein 401 is an input image storage unit, 402 is a background difference unit, 403 is a background difference image storage unit, 404 is a uniform change component calculation unit, 405 Is background image storage means, 40
6 is a control means, 407 is a uniform change component storage means, 408
Is a background image updating unit using a uniform change component, and 409 is a background image updating unit using a local change component.

【００５０】本装置では、背景の変化を、照明などの変
化による画像全体の一様変化成分および、局所パタンの
変化などによる局所変化成分の２種類に分類し、これら
２種類の成分に対して個別に背景画像の更新を行なう。In the present apparatus, changes in the background are classified into two types: a uniform change component of the entire image due to a change in illumination and the like, and a local change component due to a change in the local pattern. The background image is individually updated.

【００５１】フレームｔにおいて、入力画像記憶手段４
０１が記憶している入力画像および背景画像記憶手段４
０５が記憶している背景画像の座標（ｘ，ｙ）における
画素値を、それぞれＩt （ｘ，ｙ）、Ｂt （ｘ，ｙ）
（０≦ｘ＜Ｘ，０≦ｙ＜Ｙ）と表記し、各画素値は０〜
２５６の２５６階調で表現されるものとする。In the frame t, the input image storage means 4
01 and input image and background image storage means 4
Coordinates of the background image 05 is stored (x, y) the pixel value at each I t (x, y), B t (x, y)
(0 ≦ x <X, 0 ≦ y <Y), and each pixel value is 0 to
It is assumed that the image is represented by 256 gradations of 256.

【００５２】制御手段４０６の動作について説明する。
本実施形態では、図４に示すように、制御手段４０６
が、背景差分手段４０２、一様変化成分算出手段４０
４、一様変化成分による背景画像更新手段４０８および
局所変化成分による背景画像更新手段４０９を制御し、
各処理の順序を決定している。即ち制御手段４０６は、
新しい入力画像が入力されたことを示す入力信号によっ
て起動し、最初に背景差分手段４０２に起動信号を送信
し、背景差分手段４０２からの終了信号を受信したら、
一様変化成分算出手段４０７に起動信号を送信する。一
様変化成分算出手段４０７からの終了信号を受信した
ら、一様変化成分による背景画像更新手段４０８に起動
信号を送信する。一様変化成分による背景画像更新手段
４０８からの終了信号を受信したら、局所変化成分によ
る背景画像更新手段４０９に起動信号を送信する。そし
て、局所変化成分による背景画像更新手段４０９からの
終了信号を受信したら、全処理を終了する。The operation of the control means 406 will be described.
In the present embodiment, as shown in FIG.
Are the background difference means 402 and the uniform change component calculation means 40
4. controlling the background image updating means 408 by the uniform change component and the background image updating means 409 by the local change component,
The order of each process is determined. That is, the control means 406
When activated by an input signal indicating that a new input image has been input, an activation signal is transmitted to the background subtraction unit 402 first, and an end signal from the background subtraction unit 402 is received.
An activation signal is transmitted to the uniform change component calculation means 407. Upon receiving the end signal from the uniform change component calculation means 407, the start signal is transmitted to the background image update means 408 based on the uniform change component. Upon receiving the end signal from the background image updating unit 408 based on the uniform change component, the start signal is transmitted to the background image updating unit 409 based on the local change component. Then, when an end signal from the background image updating unit 409 due to the local change component is received, the entire process ends.

【００５３】次に、背景差分手段４０２の動作について
説明する。第１に、本手段は制御手段４０６からの起動
信号を受信したら動作を開始する。制御手段４０６から
の起動信号を受信した時点のフレームをｔとする。この
とき、入力画像記憶手段４０１に記憶されている入力画
像はフレームｔである。また、背景画像記憶手段４０５
に記憶されている背景画像は、現在の処理段階ではまだ
更新されていないので、生成された時点のフレームをｔ
−１とする。ただし、時刻の単位は実際の適用に応じて
定めればよい。第２に、上記の入力画像および前記背景
画像を参照し、式（６）に従い、座標（ｘ，ｙ）におけ
る画素値Ｓ（ｘ，ｙ）を持つ背景差分画像を生成する。Next, the operation of the background subtraction means 402 will be described. First, the present means starts operation when receiving a start signal from the control means 406. The frame at the time when the activation signal is received from the control unit 406 is defined as t. At this time, the input image stored in the input image storage unit 401 is the frame t. Also, the background image storage means 405
Has not been updated in the current processing stage, the frame at the time of generation is denoted by t.
-1. However, the unit of time may be determined according to the actual application. Second, a background difference image having a pixel value S (x, y) at coordinates (x, y) is generated according to the equation (6) with reference to the input image and the background image.

【００５４】 Ｓ（ｘ，ｙ）＝Ｉt （ｘ，ｙ）−Ｂt-1 （ｘ，ｙ） …（６）S (x, y) = I t (x, y) −B t−1 (x, y) (6)

【００５５】ここで、Ｓ（ｘ，ｙ）の値は負値をとりう
る。第３に、前記背景差分画像を背景差分画像記憶手段
４０３に出力する。第４に、終了信号を制御手段４０６
に送信し、動作を終了する。次に、背景差分画像記憶手
段４０３は、入力信号として受信された背景差分画像を
記憶する。Here, the value of S (x, y) can take a negative value. Third, the background difference image is output to the background difference image storage unit 403. Fourth, the end signal is sent to the control unit 406.
And ends the operation. Next, the background difference image storage unit 403 stores the background difference image received as an input signal.

【００５６】一様変化成分算出手段４０４の動作につい
て説明する。第１に、制御手段４０６からの起動信号を
受信したら動作を開始する。第２に、背景差分画像記憶
手段４０３が記憶している背景差分画像を参照し、式
（７）に従い、画像全体の画素値の平均Ａall を算出す
る。The operation of the uniform change component calculating means 404 will be described. First, when an activation signal is received from the control unit 406, the operation is started. Secondly, referring to the background difference image stored in the background difference image storage unit 403, the average Aall of the pixel values of the entire image is calculated according to Expression (7).

【００５７】 Ａall ＝（１／ＸＹ）ΣＳ（ｘ，ｙ） …（７） 但し、１≦ｘ＜Ｘ，１≦ｙ＜ＹA all = (1 / XY) ΣS (x, y) (7) where 1 ≦ x <X, 1 ≦ y <Y

【００５８】第３に、Ａall の値を一様変化成分記憶手
段４０７に出力する。第４に、終了信号を制御手段４０
６に送信し、動作を終了する。次に、一様変化成分記憶
手段４０７は、入力信号として受信した一様変化成分を
記憶する。Third, the value of A all is output to the uniform change component storage means 407. Fourth, the end signal is sent to the control means 40.
6 and the operation ends. Next, the uniform change component storage means 407 stores the uniform change component received as an input signal.

【００５９】一様変化成分による背景画像更新手段４０
８の動作について説明する。第１に、制御手段４０６か
らの起動信号を受信したら動作を開始する。第２に、一
様変化成分記憶手段４０７が記憶している一様変化成分
を用いて、背景画像記憶手段４０５が記憶している背景
画像を式（８）により更新する。Background image updating means 40 based on uniform change components
8 will be described. First, when an activation signal is received from the control unit 406, the operation is started. Secondly, the background image stored in the background image storage unit 405 is updated by the equation (8) using the uniform change component stored in the uniform change component storage unit 407.

【００６０】 Ｂt （ｘ，ｙ）＝０ ；Ｂt-1 （ｘ，ｙ）＋Ａall ＜０のとき ＝２５５ ；Ｂt-1 （ｘ，ｙ）＋Ａall ＞２５５のとき ＝Ｂt-1 （ｘ，ｙ）＋Ａall ；それ以外のとき …（８）B t (x, y) = 0; B t-1 (x, y) + A all <0 = 255; B t-1 (x, y) + A all > 255 = B t− 1 (x, y) + A all ; otherwise (8)

【００６１】本動作により、照明などによる背景の一様
な変化に、背景画像１０３が瞬時に追従することができ
る。第３に、終了信号を制御手段４０６に送信し、動作
を終了する。次に、背景画像記憶手段４０８は、入力信
号として受信した背景画像を記憶する。According to this operation, the background image 103 can instantaneously follow a uniform change in the background due to lighting or the like. Third, an end signal is transmitted to the control means 406, and the operation ends. Next, the background image storage unit 408 stores the background image received as an input signal.

【００６２】局所変化成分による背景画像更新手段４０
９の動作について説明する。第１に、制御手段４０６か
らの起動信号を受信したら動作を開始する。第２に、入
力画像記憶手段４０１が記憶している入力画像を参照
し、背景画像記憶手段４０５が記憶している背景画像を
式（９）に従い更新する。ただし、式（９）の右辺のＢ
t （ｘ，ｙ）は、一様変化成分による背景画像更新手段
４０８で得られた背景画像の画素値を示している。Background image updating means 40 based on local change components
9 will be described. First, when an activation signal is received from the control unit 406, the operation is started. Second, the background image stored in the background image storage unit 405 is updated according to equation (9) with reference to the input image stored in the input image storage unit 401. Where B on the right side of equation (9)
t (x, y) indicates the pixel value of the background image obtained by the background image updating unit 408 using the uniform change component.

【００６３】 Ｂt （ｘ，ｙ）＝αＢt （ｘ，ｙ）＋（１−α）Ｉ（ｘ，ｙ） …（９）B t (x, y) = αB t (x, y) + (1−α) I (x, y) (9)

【００６４】ただし、αは０＜α＜１を満たす所定の値
である。本動作により、背景の局所パタンなどの変化
に、背景画像が追従することが可能である。第３に、終
了信号を制御手段４０６に送信し、動作を終了する。Here, α is a predetermined value satisfying 0 <α <1. This operation allows the background image to follow a change in the local pattern of the background or the like. Third, an end signal is transmitted to the control means 406, and the operation ends.

【００６５】本第１の実施形態の背景画像生成装置によ
れば、照明などによる背景の一様な変化に、背景画像を
高速に追従させることができる。According to the background image generating apparatus of the first embodiment, the background image can be made to follow the uniform change of the background due to the illumination or the like at a high speed.

【００６６】＜第２の実施形態の背景画像生成装置＞第
２の実施形態の背景画像生成装置の構成例を、図５のブ
ロック図を用いて説明する。図５に示す本実施形態の背
景画像生成装置は、入力画像記憶手段５０１、背景差分
手段５０２、背景領域判定手段５０３、背景差分画像記
憶手段５０４、制御手段５０５、画像全体における一様
変化成分算出手段５０６、背景画像記憶手段５０７、背
景領域マスク記憶手段５０８、背景領域サイズの大小判
定手段５０９、一様変化成分記憶手段５１０、背景領域
における一様変化成分算出手段５１１、一様変化成分に
よる背景画像更新手段５１２、局所変化成分による背景
画像更新手段５１３により構成される。<Background Image Generation Apparatus of Second Embodiment> An example of the configuration of the background image generation apparatus of the second embodiment will be described with reference to the block diagram of FIG. The background image generation apparatus of the present embodiment shown in FIG. 5 includes an input image storage unit 501, a background difference unit 502, a background region determination unit 503, a background difference image storage unit 504, a control unit 505, and a uniform change component calculation for the entire image. Means 506, background image storage means 507, background area mask storage means 508, background area size determination means 509, uniform variation component storage means 510, uniform variation component calculation means 511 in the background area, background by uniform variation component The image updating unit 512 includes a background image updating unit 513 using a local change component.

【００６７】本装置と第１の実施形態の装置との相違点
は、一様変化成分記憶手段４０７および５１０に記憶さ
れる一様変化成分を算出する部分の構成にある。第１の
実施形態の装置では、一様変化成分算出手段４０４が背
景差分画像記憶手段４０３に記憶されている背景差分画
像だけに基づいて一様変化成分を算出し、一様変化成分
記憶手段４０７に出力していた。一方、本装置では、背
景領域サイズの大小判定手段５０９の出力に応じて、制
御手段５０５が画像全体における一様変化成分算出手段
５０６および背景領域における一様変化成分算出手段５
１１のどちらか一方のみを起動し、起動されたものが算
出した一様変化成分を、一様変化成分記憶手段５１０に
出力している。The difference between the present apparatus and the apparatus of the first embodiment lies in the configuration of the portion for calculating the uniform change component stored in the uniform change component storage means 407 and 510. In the apparatus according to the first embodiment, the uniform change component calculation unit 404 calculates a uniform change component based only on the background difference image stored in the background difference image storage unit 403, and the uniform change component storage unit 407. Was output to. On the other hand, in the present apparatus, the control means 505 controls the uniform change component calculation means 506 in the entire image and the uniform change component calculation means 5 in the background area in accordance with the output of the background area size determination means 509.
11 is activated, and the uniform variation component calculated by the activated one is output to the uniform variation component storage unit 510.

【００６８】本実施形態において、入力画像記憶手段５
０１、背景差分手段５０２、背景差分画像記憶手段５０
４、画像全体における一様変化成分算出手段５０６、背
景画像記憶手段５０７、一様変化成分記憶手段５１０、
および一様変化成分による背景画像更新手段５１２の動
作は、前述の第１の実施形態の動作例における入力画像
記憶手段４０１、背景差分手段４０２、背景差分画像記
憶手段４０５、一様変化成分算出手段４０４、背景画像
記憶手段４０５、一様変化成分記憶手段４０７、および
一様変化成分による背景画像更新手段４０８とそれぞれ
同様である。In this embodiment, the input image storage means 5
01, background difference means 502, background difference image storage means 50
4. Uniform change component calculation means 506 for the entire image, background image storage means 507, uniform change component storage means 510,
The operation of the background image updating means 512 using the uniform change component and the input image storage means 401, the background difference means 402, the background difference image storage means 405, and the uniform change component calculation means in the operation example of the first embodiment described above. 404, a background image storage unit 405, a uniform change component storage unit 407, and a background image update unit 408 using uniform change components, respectively.

【００６９】制御手段５０５の動作について説明する。
本実施形態では、図５に示すように、制御手段５０５が
背景差分手段５０２、背景領域判定手段５０３、背景領
域サイズの大小判定手段５０９、画像全体における一様
変化成分算出手段５０６、背景領域における一様変化成
分算出手段５１１、一様変化成分による背景画像更新手
段５１２および局所変化成分による背景画像更新手段５
１３を制御し、各処理の順序を決定している。The operation of the control means 505 will be described.
In the present embodiment, as shown in FIG. 5, the control unit 505 includes a background difference unit 502, a background region determination unit 503, a background region size determination unit 509, a uniform change component calculation unit 506 for the entire image, and a background region Uniform change component calculating means 511, background image updating means 512 using uniform change components, and background image updating means 5 using local change components
13 is controlled, and the order of each processing is determined.

【００７０】即ち制御手段５０５は、新しい入力画像が
入力されたことを示す入力信号によって起動し、最初に
背景差分手段５０２に起動信号を送信し、背景差分手段
５０２からの終了信号を受信したら、背景領域サイズの
大小判定手段５０９に起動信号を送信する。背景領域サ
イズの大小判定手段５０９からの判定結果および終了信
号を受信したら、第１の場合として背景領域サイズが大
きいという判定結果ならば背景領域における一様変化成
分算出手段５１１に起動信号を送信する。第２の場合と
して背景領域サイズが小さいという判定結果ならば画像
全体における一様変化成分算出手段５０６に起動信号を
送信し、背景領域における一様変化成分算出手段５１１
からの終了信号を受信したら、一様変化成分による背景
画像更新手段５１２に起動信号を送信する。画像全体に
おける一様変化成分算出手段５０６からの終了信号を受
信したら、一様変化成分による背景画像更新手段５１２
に起動信号を送信する。一様変化成分による背景画像更
新手段５１２からの終了信号を受信したら、局所変化成
分による背景画像更新手段５１３に起動信号を送信す
る。局所変化成分による背景画像更新手段５１３からの
終了信号を受信したら、全処理を終了する。That is, the control means 505 is activated by an input signal indicating that a new input image has been inputted, firstly transmits an activation signal to the background subtraction means 502 and receives an end signal from the background subtraction means 502. An activation signal is transmitted to the background area size determination unit 509. When the determination result and the end signal from the background area size determination unit 509 are received, in the first case, if the determination result indicates that the background region size is large, an activation signal is transmitted to the uniform change component calculation unit 511 in the background region. . In the second case, if the determination result is that the background area size is small, a start signal is transmitted to the uniform change component calculation means 506 for the entire image, and the uniform change component calculation means 511 for the background area is transmitted.
When the end signal is received from the CPU, the start signal is transmitted to the background image updating unit 512 based on the uniform change component. Upon receiving the end signal from the uniform change component calculation unit 506 for the entire image, the background image updating unit 512 using the uniform change component
To send the start signal. Upon receiving the end signal from the background image updating unit 512 based on the uniform change component, the start signal is transmitted to the background image updating unit 513 based on the local change component. When the end signal from the background image updating means 513 due to the local change component is received, the entire process ends.

【００７１】次に、背景領域判定手段５０３の動作につ
いて説明する。第１に、本手段は制御手段５０５からの
起動信号を受信したら動作を開始する。第２に、背景差
分画像記憶手段５０４が記憶している背景差分画像の各
画素に対して、画素値の絶対値を算出し、閾値以上なら
ば“１”、閾値未満ならば“０”を対応する画素値とす
る２値の画像である背景領域マスクを生成する。Next, the operation of the background area determination means 503 will be described. First, the present means starts operation upon receiving a start signal from the control means 505. Second, for each pixel of the background difference image stored in the background difference image storage unit 504, the absolute value of the pixel value is calculated. A background area mask, which is a binary image having a corresponding pixel value, is generated.

【００７２】即ち、本実施例の背景領域マスクでは、画
素値０の画素は背景領域に所属していると判定され、画
素値１の画素は背景領域に所属していないと判定されて
いる。第３に、生成された背景領域マスクを背景領域マ
スク記憶手段５０８に出力する。第４に、終了信号を制
御手段５０５に送信し、動作を終了する。次に、背景領
域マスク記憶手段５０８は、入力信号として受信された
背景領域マスクを記憶する。That is, in the background area mask of the present embodiment, it is determined that the pixel having the pixel value 0 belongs to the background area and the pixel having the pixel value 1 does not belong to the background area. Third, the generated background area mask is output to the background area mask storage unit 508. Fourth, an end signal is transmitted to the control unit 505, and the operation ends. Next, the background area mask storage unit 508 stores the background area mask received as an input signal.

【００７３】背景領域サイズの大小判定手段５０９の動
作について説明する。第１に、本手段は制御手段５０５
からの起動信号を受信したら動作を開始する。第２に、
背景領域マスク記憶手段５０８が記憶している背景領域
マスクにおいて、画素値１の画素の数が閾値以上である
場合には、背景領域サイズが大であると判定し、閾値未
満である場合には、背景領域サイズが小であると判定す
る。第３に、背景領域サイズの大小判定結果および終了
信号を制御手段５０５に送信し、動作を終了する。The operation of the background area size determining means 509 will be described. First, the present means comprises a control means 505
The operation starts when the start signal is received from. Second,
In the background area mask stored in the background area mask storage unit 508, if the number of pixels having the pixel value 1 is equal to or larger than the threshold value, the background area size is determined to be large. , The background area size is determined to be small. Third, the result of the size determination of the background area size and the end signal are transmitted to the control unit 505, and the operation is ended.

【００７４】背景領域における一様変化成分算出手段５
１１の動作について説明する。第１に、本手段は制御手
段５０５からの起動信号を受信したら動作を開始する。
第２に、背景領域マスク記憶手段５０８に記憶されてい
る背景領域マスクにおいて、画素値１である画素群に対
応する、背景差分画像記憶手段５０４が記憶している背
景差分画像の画素値の平均値を算出する。第３に、算出
された平均値を一様変化成分記憶手段５１０に出力す
る。第４に、終了信号を制御手段５０５に送信し、動作
を終了する。本処理により、移動物体が入力画像記憶手
段５０１が記憶している入力画像に撮影されていた場合
にも、移動物体に影響されにくい一様変化成分を算出す
ることが可能になる。Means for calculating uniform change component 5 in background area
The operation of No. 11 will be described. First, the present means starts operation upon receiving a start signal from the control means 505.
Second, in the background area mask stored in the background area mask storage unit 508, the average of the pixel values of the background difference image stored in the background difference image storage unit 504 corresponding to the pixel group having the pixel value 1 Calculate the value. Third, the calculated average value is output to the uniform change component storage unit 510. Fourth, an end signal is transmitted to the control unit 505, and the operation ends. With this processing, even when the moving object is captured in the input image stored in the input image storage unit 501, it is possible to calculate a uniform change component that is hardly affected by the moving object.

【００７５】局所変化成分による背景画像の更新手段５
１３の動作について説明する。第１に、本手段は制御手
段５０５からの起動信号を受信したら動作を開始する。
第２に、入力画像記憶手段５０１が記憶している入力画
像を参照し、背景マスク記憶手段５０８が記憶している
背景マスクにおいて、対応する画素が背景領域に所属し
ていると判定されていることを示す画素値０の場合に、
背景画像記憶手段５０７が記憶している背景画像を式
（１０）に従い更新する。ただし、式（１０）の右辺の
Ｂt （ｘ，ｙ）は、一様変化成分による背景画像更新手
段５１２で得られた背景画像の画素値を示している。Means 5 for updating background image by local change component
13 will be described. First, the present means starts operation upon receiving a start signal from the control means 505.
Second, referring to the input image stored in the input image storage unit 501, it is determined that the corresponding pixel belongs to the background area in the background mask stored in the background mask storage unit 508. In the case of a pixel value 0 indicating that
The background image stored in the background image storage unit 507 is updated according to equation (10). However, B t (x, y) on the right side of Expression (10) indicates the pixel value of the background image obtained by the background image updating unit 512 using the uniform change component.

【００７６】 Ｂt （ｘ，ｙ）＝αＢt （ｘ，ｙ）＋（１−α）Ｉ（ｘ，ｙ） …（１０）B t (x, y) = αB t (x, y) + (1−α) I (x, y) (10)

【００７７】ただし、αは０＜α＜１を満たす所定の値
である。前記背景マスクにおいて、対応する画素が画素
値１の場合には何も処理を行なわないものとする。Here, α is a predetermined value satisfying 0 <α <1. If the corresponding pixel has a pixel value of 1 in the background mask, no processing is performed.

【００７８】本第２の実施形態の背景画像生成装置によ
れば、照明などによる背景の一様な変化に、背景画像が
高速に追従しつつ、移動物体の通過に対して高い安定性
を示す、画像処理による背景領域判定を行なうことがで
きる。According to the background image generating apparatus of the second embodiment, the background image follows the uniform change of the background due to illumination or the like at a high speed, and shows high stability against the passage of the moving object. , The background area can be determined by image processing.

【００７９】＜第３の実施形態の背景画像生成装置＞次
に、第３の実施形態の背景画像生成装置を、図６のブロ
ック図を用いて説明する。図６に示す本実施形態の背景
画像生成装置は、入力画像記憶手段６０１、背景差分手
段６０２、背景領域判定手段６０３、背景差分画像記憶
手段６０４、予測データ記憶手段６０５、背景領域マス
ク記憶手段６０６、背景領域サイズの大小判定手段６０
７、制御手段６０８、画像全体における一様変化成分算
出手段６０９、背景画像記憶手段６１０、一様変化成分
記憶手段６１１、背景領域における一様変化成分算出手
段６１２、一様変化成分による背景画像更新手段６１
３、局所変化成分による背景画像更新手段６１４、予測
手段６１５、認識結果記憶手段６１６、移動物体認識手
段６１７により構成される。<Background Image Generating Device of Third Embodiment> Next, a background image generating device of a third embodiment will be described with reference to the block diagram of FIG. The background image generating apparatus of the present embodiment shown in FIG. 6 includes an input image storage unit 601, a background difference unit 602, a background region determination unit 603, a background difference image storage unit 604, a prediction data storage unit 605, and a background region mask storage unit 606. Background area size determination means 60
7, control means 608, uniform change component calculation means 609 for the entire image, background image storage means 610, uniform change component storage means 611, uniform change component calculation means 612 for the background area, background image update with uniform change components Means 61
3. It is composed of a background image updating unit 614 using a local change component, a prediction unit 615, a recognition result storage unit 616, and a moving object recognition unit 617.

【００８０】本装置と第４および第５の実施形態の装置
との相違点は、背景領域の判定を行なう部分の構成にあ
る。第４の実施形態には、背景領域の判定を行なう動作
をする構成はない。第５の実施形態では、背景領域判定
手段５０３が、背景差分画像記憶手段５０４が記憶して
いる背景差分画像の各画素値の絶対値を閾値処理するこ
とにより、判定した背景領域を背景領域マスク記憶手段
５０８に出力していた。しかしながら、前記背景画像の
画素値に近い値で移動物体が撮影されている場合には、
前記背景差分画像だけでは背景領域の判定を精度よく行
なえるとは限らない。そこで、本装置では移動物体認識
手段６１７および予測手段６１５を構成に加え、次のフ
レームにおける移動物体領域を予測する工夫をしてい
る。これにより、例えば現在のフレームでは背景画像に
近い値で撮影されている移動物体について、過去のフレ
ームにおいて背景画像と明確に異なる値で撮影されてい
る場合には、背景領域を正しく判定できることが可能で
ある。The difference between the present apparatus and the apparatuses of the fourth and fifth embodiments lies in the configuration of a portion for determining a background area. In the fourth embodiment, there is no configuration for performing the operation of determining the background area. In the fifth embodiment, the background region determination unit 503 performs a threshold process on the absolute value of each pixel value of the background difference image stored in the background difference image storage unit 504, so that the determined background region is a background region mask. The data was output to the storage unit 508. However, when the moving object is photographed at a value close to the pixel value of the background image,
It is not always possible to accurately determine the background region using only the background difference image. Therefore, in this apparatus, in addition to the configuration of the moving object recognition unit 617 and the prediction unit 615, a device for predicting the moving object region in the next frame is devised. This makes it possible, for example, to correctly determine the background area of a moving object that has been photographed at a value close to the background image in the current frame when the moving object has been photographed at a value clearly different from the background image in the past frame. It is.

【００８１】本実施形態において、入力画像記憶手段６
０１、背景差分手段６０２、背景差分画像記憶手段６０
４、背景領域マスク記憶手段６０６、背景領域サイズの
大小判定手段６０７、画像全体における一様変化成分算
出手段６０９、背景画像記憶手段６１０、一様変化成分
記憶手段６１１、背景領域における一様変化成分算出手
段６１２、一様変化成分による背景画像更新手段６１
３、および局所変化成分による背景画像更新手段６１４
の動作は、上記第２の実施形態における入力画像記憶手
段５０１、背景差分手段５０２、背景差分画像記憶手段
５０４、背景領域マスク記憶手段５０８、背景領域サイ
ズの大小判定手段５０９、画像全体における一様変化成
分算出手段５０６、背景画像記憶手段５０７、一様変化
成分記憶手段５１０、背景領域における一様変化成分算
出手段５１１、一様変化成分による背景画像更新手段５
１２、および局所変化成分による背景画像更新手段５１
３とそれぞれ同様である。In this embodiment, the input image storage means 6
01, background difference means 602, background difference image storage means 60
4. Background area mask storage means 606, background area size determination means 607, uniform change component calculation means 609 for the entire image, background image storage means 610, uniform change component storage means 611, uniform change component in the background area Calculating means 612, background image updating means 61 using uniform change component
3, and a background image updating unit 614 based on a local change component
The operations of the input image storage unit 501, the background difference unit 502, the background difference image storage unit 504, the background area mask storage unit 508, the background area size determination unit 509, and the uniformity of the entire image in the second embodiment Change component calculation means 506, background image storage means 507, uniform change component storage means 510, uniform change component calculation means 511 in the background area, background image update means 5 with uniform change components
12, and a background image updating means 51 by a local change component
3, respectively.

【００８２】予測データ記憶手段６０５では、予測され
た移動物体領域が矩形で表現され、各移動物体は該矩形
を特定する左下頂点のｘ座標、ｙ座標および幅および高
さの４つの情報で記述されたデータとして記憶されてい
るものとする。In the predicted data storage means 605, the predicted moving object region is represented by a rectangle, and each moving object is described by four pieces of information of the x- and y-coordinates and the width and height of the lower left vertex specifying the rectangle. It is assumed that the stored data is stored.

【００８３】制御手段６０８の動作について説明する。
本実施形態では、図６に示すように、制御手段６０８が
背景差分手段６０２、背景領域判定手段６０３、背景領
域の大小判定手段６０７、画像全体における一様変化成
分算出手段６０９、背景領域における一様変化成分算出
手段６１２、一様変化成分による背景画像更新手段６１
３、局所変化成分による背景画像更新手段６１４、移動
物体認識手段６１７および予測手段６１５を制御し、各
処理の順序を決定している。The operation of the control means 608 will be described.
In the present embodiment, as shown in FIG. 6, the control unit 608 includes a background difference unit 602, a background region determination unit 603, a background region size determination unit 607, a uniform change component calculation unit 609 for the entire image, and a Like change component calculating means 612, background image updating means 61 using uniform change components
3. The background image updating means 614, the moving object recognizing means 617, and the predicting means 615 are controlled by the local change component, and the order of each processing is determined.

【００８４】即ち制御手段６０８は、新しい入力画像が
入力されたことを示す入力信号によって起動し、最初に
背景差分手段６０２に起動信号を送信する。背景差分手
段６０２からの終了信号を受信したら、背景領域判定手
段６０３に起動信号を送信する。背景領域判定手段６０
３からの終了信号を受信したら、背景領域の大小判定手
段６０７に起動信号を送信する。背景領域の大小判定手
段６０７からの判定結果および終了信号を受信したら、
第１の場合として背景領域サイズが大きいという判定結
果ならば背景領域における一様変化成分算出手段６１２
に起動信号を送信する。第２の場合として背景領域サイ
ズが小さいという判定結果ならば画像全体における一様
変化成分算出手段６０９に起動信号を送信する。That is, the control means 608 is activated by an input signal indicating that a new input image has been input, and first transmits an activation signal to the background subtraction means 602. Upon receiving the end signal from the background difference unit 602, the start signal is transmitted to the background region determination unit 603. Background area determination means 60
When the end signal is received from the control unit 3, the start signal is transmitted to the background area size determination unit 607. Upon receiving the judgment result and the end signal from the background area size judgment means 607,
As a first case, if the determination result is that the background area size is large, the uniform change component calculation means 612 in the background area
To send the start signal. In the second case, if the determination result indicates that the background area size is small, an activation signal is transmitted to the uniform change component calculation means 609 for the entire image.

【００８５】背景領域における一様変化成分算出手段６
１２からの終了信号を受信したら、一様変化成分による
背景画像更新手段６１３に起動信号を送信する。画像全
体における一様変化成分算出手段６１２からの終了信号
を受信したら、一様変化成分による背景画像更新手段６
１３に起動信号を送信する。一様変化成分による背景画
像更新手段６１３からの終了信号を受信したら、局所変
化成分による背景画像更新手段６１４に起動信号を送信
する。局所変化成分による背景画像更新手段６１４から
の終了信号を受信したら、移動物体認識手段６１７に起
動信号を送信する。移動物体認識手段６１７からの終了
信号を受信したら、予測手段６１５に起動信号を送信す
る。予測手段６１５から終了信号を受信したら、全処理
を終了する。Means for calculating uniform change component 6 in background area
When the end signal is received from the control unit 12, the start signal is transmitted to the background image updating unit 613 based on the uniform change component. Upon receiving the end signal from the uniform change component calculation means 612 for the entire image, the background image updating means 6 using the uniform change component
13 is transmitted. Upon receiving the end signal from the background image updating unit 613 based on the uniform change component, the start signal is transmitted to the background image updating unit 614 based on the local change component. Upon receiving the end signal from the background image updating unit 614 due to the local change component, the starting signal is transmitted to the moving object recognizing unit 617. Upon receiving the end signal from the moving object recognizing unit 617, it transmits an activation signal to the predicting unit 615. When the end signal is received from the prediction unit 615, the entire process ends.

【００８６】背景領域判定手段６０３の動作について説
明する。第１に、制御手段６０８からの制御信号を受信
したら動作を開始する。第２に、背景差分画像記憶手段
６０４が記憶している背景差分画像および予測データ記
憶手段６０５が記憶している予測データを参照し、下記
基準に基づき２値からなる画像である背景領域マスクを
生成する。 １．前記予測データに記述されている矩形群の中に、対
応する画素を含むものがある場合には、画素値を１とす
る。 ２．対応する画素が上記矩形群のどの矩形にも含まれな
い場合には以下に従う。 （ａ）前記背景差分画像の対応する画素値の絶対値が閾
値以上ならば、画素値を“１”とする。 （ｂ）前記背景差分画像の対応する画素値の絶対値が閾
値未満ならば、画素値を“０”とする。The operation of the background area determination means 603 will be described. First, the operation starts when a control signal from the control unit 608 is received. Second, by referring to the background difference image stored in the background difference image storage unit 604 and the prediction data stored in the prediction data storage unit 605, a background region mask which is a binary image based on the following criterion is determined. Generate. 1. If any of the rectangles described in the prediction data includes a corresponding pixel, the pixel value is set to 1. 2. If the corresponding pixel is not included in any of the rectangles in the rectangle group, the following applies. (A) If the absolute value of the corresponding pixel value of the background difference image is equal to or greater than a threshold, the pixel value is set to “1”. (B) If the absolute value of the corresponding pixel value of the background difference image is less than the threshold, the pixel value is set to “0”.

【００８７】即ち、本実施形態の背景領域マスクにおい
て、画素値０の画素は背景領域に所属していると判定さ
れ、画素値１の画素は背景領域に所属していないと判定
されている。第３に、生成された背景領域マスクを背景
領域マスク記憶手段６０６に出力する。第４に、終了信
号を制御手段６０８に送信し、動作を終了する。次に、
予測データ記憶手段６０５は、入力信号として受信され
た予測データを記憶する。That is, in the background area mask of the present embodiment, it is determined that the pixel having the pixel value 0 belongs to the background area and the pixel having the pixel value 1 does not belong to the background area. Third, the generated background area mask is output to the background area mask storage unit 606. Fourth, an end signal is transmitted to the control means 608, and the operation ends. next,
The prediction data storage unit 605 stores the prediction data received as an input signal.

【００８８】移動物体認識手段６１７の動作について説
明する。第１に、本手段は制御手段６０８からの起動信
号を受信したら動作を開始する。第２に、入力画像記憶
手段６０１が記憶している入力画像および背景画像記憶
手段６１０が記憶している背景画像を参照し、移動物体
を矩形で近似して追跡し、現在の矩形の左下頂点のｘ，
ｙ座標および幅および高さおよび重心点の移動ベクトル
を算出する。例えば本動作には、上掲の電気学会研究会
資料（道路交通研究会）ＲＴＡ−９６−９で述べられて
いる、道路交通画像からの車両の検出手法および追跡手
法を適用することができる。第３に、算出された各矩形
の左下頂点のｘ，ｙ座標および幅および高さおよび重心
点の移動ベクトルを認識結果記憶手段６１６に出力す
る。第４に、終了信号を制御手段６０８に送信し、処理
を終了する。次に、認識結果記憶手段６１６は、入力信
号として受信された認識結果を記憶する。The operation of the moving object recognition means 617 will be described. First, the present means starts operation upon receiving a start signal from the control means 608. Second, referring to the input image stored in the input image storage unit 601 and the background image stored in the background image storage unit 610, the moving object is approximated and tracked by a rectangle, and the lower left vertex of the current rectangle is tracked. X,
The y-coordinate, the width, the height, and the movement vector of the center of gravity are calculated. For example, a vehicle detection technique and a tracking technique from a road traffic image, which are described in the above-mentioned IEEJ Technical Meeting Material (Road Traffic Study Group) RTA-96-9, can be applied to this operation. Third, the calculated x, y coordinates and width and height of the lower left vertex of each rectangle and the movement vector of the center of gravity are output to the recognition result storage means 616. Fourth, an end signal is transmitted to the control unit 608, and the process ends. Next, the recognition result storage unit 616 stores the recognition result received as an input signal.

【００８９】予測手段６１５の動作について説明する。
第１に、本手段は制御手段６０８からの起動信号を受信
したら動作を開始する。第２に、認識結果記憶手段６１
６に記憶されている認識結果に記述されている移動物体
を近似する矩形の、次フレームにおける左下頂点のｘ，
ｙ座標および幅および高さを算出する。例えば、前記認
識結果に、左下頂点のｘ座標がＸ、同ｙ座標がＹ、幅が
Ｗ、高さがＨ、移動ベクトルが（Ａ，Ｂ）という矩形の
記述があったならば、次フレームにおいて、左下頂点の
ｘ座標がＸ＋Ａ、同ｙ座標がＹ＋Ｂ、幅がＷ、高さがＨ
と予測する。第３に、全矩形に対する算出結果を予測デ
ータ記憶手段６０５に出力する。第４に、終了信号を制
御手段６０８に送信し、処理を終了する。The operation of the prediction means 615 will be described.
First, the present means starts operation upon receiving a start signal from the control means 608. Second, the recognition result storage means 61
6 of the lower left vertex in the next frame of the rectangle approximating the moving object described in the recognition result stored in No. 6
Calculate y-coordinate and width and height. For example, if the above-described recognition result describes a rectangle in which the x coordinate of the lower left vertex is X, the y coordinate is Y, the width is W, the height is H, and the movement vector is (A, B), the next frame , The x coordinate of the lower left vertex is X + A, the y coordinate is Y + B, the width is W, and the height is H
To predict. Third, the calculation results for all rectangles are output to the prediction data storage unit 605. Fourth, an end signal is transmitted to the control unit 608, and the process ends.

【００９０】本実施形態の背景画像生成装置では、画像
に撮影される背景の変化成分を、照明の変化などによる
一様変化成分と、背景内のパタンの変動のような局所変
化成分とに分類し、背景画像を一様変化成分については
高速に更新し、局所変化成分についてはゆっくりと更新
している。従って、移動物体の通過による入力画像の変
動に対する背景画像の高い安定性と、照明などの急激な
変化による背景自体の変動に対する背景画像の素早い追
従性能の２つの条件を満たすことは、従来の背景画像生
成に関わる技術では両立が困難であったが、本実施形態
の背景画像生成装置を利用することにより、これら２条
件を満たすことが可能になる。In the background image generating apparatus of this embodiment, the background change component photographed in the image is classified into a uniform change component due to a change in illumination or the like and a local change component such as a change in a pattern in the background. Then, the background image is updated at a high speed for the uniform change component, and is updated slowly for the local change component. Therefore, satisfying the two conditions of the high stability of the background image against the change of the input image due to the passage of the moving object and the quick following performance of the background image against the change of the background itself due to a rapid change of illumination or the like is the conventional background image. Although it is difficult to achieve compatibility using the technology related to image generation, these two conditions can be satisfied by using the background image generation device of the present embodiment.

【００９１】例えば、図７の（ａ）のように入力画像が
変化した場合、従来の技術の項で示した特開平５−２２
５３４１号公報に記載の移動物体検出装置では、背景画
像の更新を入力画像と背景画像との混合のみにより行な
っていたため、図７の（ｂ）に示すように追従に遅れを
生じていたが、本実施形態の背景画像生成装置では、図
７の（ｃ）に示すように、一様変化成分に対して高速に
追従することができる。よって、照明などによる背景の
一様な変化に背景画像が高速に追従しつつ、移動物体の
通過に対して更に高い安定性を示す、画像処理および移
動物体認識による背景領域判定を行なうことが可能とな
る。For example, when the input image changes as shown in FIG.
In the moving object detection device described in Japanese Patent No. 5341, the background image is updated only by mixing the input image and the background image, so that the tracking is delayed as shown in FIG. 7B. In the background image generation device of the present embodiment, as shown in FIG. 7C, it is possible to quickly follow a uniform change component. Therefore, while the background image follows a uniform change in the background due to lighting or the like at a high speed, the background region can be determined by image processing and moving object recognition, which shows higher stability against the passage of the moving object. Becomes

【００９２】図８（ａ）のように移動物体が存在する状
況で入力画像が変化した場合、従来例１に記載の背景差
分による移動物体抽出方法では、背景領域に属している
と判定された画素群においてのみ背景画像を更新してい
た。このため、図８（ｂ）に示すように、移動物体領域
における背景画像の追従に遅れを生じていたが、本実施
形態の背景画像では、一様変化成分に対しては、背景領
域に所属しないと判定された画素群も含め、画像全体で
背景画像を更新する。ゆえに、図８（ｃ）に示すように
高速に追従することができる。When the input image changes in a situation where a moving object exists as shown in FIG. 8A, the moving object extraction method based on the background difference described in Conventional Example 1 is determined to belong to the background area. The background image was updated only in the pixel group. For this reason, as shown in FIG. 8B, there is a delay in following the background image in the moving object region. However, in the background image of the present embodiment, the uniform change component belongs to the background region. The background image is updated with the whole image including the pixel group determined not to be performed. Therefore, high-speed tracking can be performed as shown in FIG.

【００９３】尚、上述の実施形態は本実施形態の好適な
実施の一例ではあるがこれに限定されるものではなく、
本発明の要旨を逸脱しない範囲において種々変形実施可
能である。The above embodiment is an example of a preferred embodiment of the present invention, but is not limited thereto.
Various modifications can be made without departing from the spirit of the present invention.

【００９４】[0094]

【発明の効果】以上の説明より明らかなように、本発明
の背景画像生成方法および背景画像生成装置は、画像に
撮影される背景の変化成分を、照明の変化などによる一
様変化成分と、背景内のパタンの変動のような局所変化
成分とに分類する。そして、背景画像を、一様変化成分
については変化分を直接各画素値に足し込むことにより
素早く更新する。また、局所変化成分については入力画
像と背景画像の重み付き平均をとることにより、ゆっく
りと更新する。As is clear from the above description, the background image generating method and the background image generating apparatus of the present invention are capable of converting a background change component captured in an image into a uniform change component due to a change in illumination, and the like. It is classified into a local change component such as a pattern change in the background. Then, the background image is quickly updated by directly adding the change amount to the pixel value for the uniform change component. The local change component is updated slowly by taking a weighted average of the input image and the background image.

【００９５】従って、照明の変動のように、入力画像全
体にわたって一様に明るさが変化する場合には、その変
化が一様変化成分として検出され、１フレームの遅れも
なく背景画像が更新される。また、入力画像において移
動物体に隠蔽された領域に対応する、背景画像の領域に
ついても、同様の更新が行なわれるため、遅れを生じな
い。Therefore, when the brightness changes uniformly over the entire input image, such as a change in illumination, the change is detected as a uniform change component, and the background image is updated without delay of one frame. You. Further, the same update is performed on the background image area corresponding to the area hidden by the moving object in the input image, so that no delay occurs.

【００９６】一方、入力画像において、局所的に生じた
変動は、背景自体の変化によるものか否かを瞬時に判定
するのは困難であるが、本発明ではゆっくりと更新が行
なわれるため、背景自体の変化ならば、多少の遅れを生
じるものの背景画像に取り込まれ、背景自体の変化でな
いならば、入力画像が変動以前の状態に戻るため、影響
は小さい。特に、請求項３、４、６、７の発明において
は、移動物体領域と判定された箇所では局所変化成分の
更新を行なわないので、背景自体の変化ではない局所変
化の影響は、さらに小さくなる。On the other hand, it is difficult to judge instantaneously whether or not a local change in the input image is caused by a change in the background itself. However, in the present invention, since the update is performed slowly, the background is not changed. If there is a change in the image itself, there is a slight delay, but it is captured in the background image. If the image is not a change in the background itself, the input image returns to the state before the change. In particular, in the inventions of claims 3, 4, 6, and 7, since the local change component is not updated at the portion determined as the moving object region, the influence of the local change other than the change of the background itself is further reduced. .

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の背景画像生成方法の第１の実施形態を
示すフローチャートである。FIG. 1 is a flowchart illustrating a first embodiment of a background image generating method according to the present invention.

【図２】背景画像生成方法の第２の実施形態を示すフロ
ーチャートである。FIG. 2 is a flowchart illustrating a second embodiment of a background image generation method.

【図３】背景画像生成方法の第３の実施形態を示すフロ
ーチャートである。FIG. 3 is a flowchart illustrating a third embodiment of a background image generation method.

【図４】本発明の背景画像生成装置の第１の実施形態を
示すブロックである。FIG. 4 is a block diagram showing a first embodiment of the background image generation device of the present invention.

【図５】背景画像生成装置の第２の実施形態を示すブロ
ックである。FIG. 5 is a block diagram showing a second embodiment of the background image generation device.

【図６】背景画像生成装置の第３の実施形態を示すブロ
ックである。FIG. 6 is a block diagram showing a third embodiment of the background image generation device.

【図７】（ａ）入力画像の変化と、（ｂ）従来法による
背景画像の変化と、（ｃ）本発明により得られる背景画
像の変化とを、対比して示した第１の概念図である。FIG. 7 is a first conceptual diagram showing a comparison between (a) a change in an input image, (b) a change in a background image according to a conventional method, and (c) a change in a background image obtained by the present invention. It is.

【図８】（ａ）入力画像の変化と、（ｂ）従来法による
背景画像の変化と、（ｃ）本発明により得られる背景画
像の変化とを、対比して示した第２の概念図である。FIG. 8 is a second conceptual diagram showing a comparison between (a) a change in an input image, (b) a change in a background image according to a conventional method, and (c) a change in a background image obtained by the present invention. It is.

【符号の説明】[Explanation of symbols]

１０１ 入力画像 １０２ 背景差分 １０３ 背景画像 １０４ 画像全体における一様変化成分の計算 １０５ 背景差分画像 １０６ 画像全体の一様変化成分による背景画像の更新 １０７ 画像全体の一様変化成分 １０８ 局所変化成分による背景画像の更新 ２０１ 入力画像 ２０２ 背景差分 ２０３ 背景領域の判定 ２０４ 背景差分画像 ２０５ 背景画像 ２０６ 背景領域サイズの大小判定 ２０７ 画像全体における一様変化成分の計算 ２０８ 背景領域マスク ２０９ 背景領域における一様変化成分の計算 ２１０ 一様変化成分 ２１１ 一様変化成分による背景画像の更新 ２１２ 局所変化成分による背景画像の更新 ３０１ 入力画像 ３０２ 背景差分 ３０３ 背景差分画像 ３０４ 移動物体の予測結果 ３０５ 背景領域の判定 ３０６ 背景画像 ３０７ 背景領域サイズの大小判定 ３０８ 画像全体における一様変化成分の計算 ３０９ 背景領域マスク ３１０ 背景領域における一様変化成分の計算 ３１１ 一様変化成分 ３１２ 一様変化成分による背景画像の更新 ３１３ 局所変化成分による背景画像の更新 ３１４ 移動物体の認識 ３１５ 移動物体の認識結果 ３１６ 次フレームにおける移動物体の予測 ４０１ 入力画像記憶手段 ４０２ 背景差分画像記憶手段 ４０３ 背景差分画像記憶手段 ４０４ 一様変化成分算出手段 ４０５ 背景画像記憶手段 ４０６ 制御手段 ４０７ 一様変化成分記憶手段 ４０８ 一様変化成分による背景画像更新手段 ４０９ 局所変化成分による背景画像更新手段 ５０１ 入力画像記憶手段 ５０２ 背景差分手段 ５０３ 背景領域判定手段 ５０４ 背景差分画像記憶手段 ５０５ 制御手段 ５０６ 画像全体における一様変化成分算出手段 ５０７ 背景画像記憶手段 ５０８ 背景領域マスク記憶手段 ５０９ 背景領域サイズの大小判定手段 ５１０ 一様変化成分記憶手段 ５１１ 背景領域における一様変化成分算出手段 ５１２ 一様変化成分による背景画像更新手段 ５１３ 局所変化成分による背景画像更新手段 ６０１ 入力画像記憶手段 ６０２ 背景差分手段 ６０３ 背景領域判定手段 ６０４ 背景差分画像記憶手段 ６０５ 予測データ記憶手段 ６０６ 背景領域マスク記憶手段 ６０７ 背景領域サイズの大小判定手段 ６０８ 制御手段 ６０９ 画像全体における一様変化成分算出手段 ６１０ 背景画像記憶手段 ６１１ 一様変化成分記憶手段 ６１２ 背景領域における一様変化成分算出手段 ６１３ 一様変化成分による背景画像更新手段 ６１４ 局所変化成分による背景画像更新手段 ６１５ 予測手段 ６１６ 認識結果記憶手段 ６１７ 移動物体認識手段 Reference Signs List 101 Input image 102 Background difference 103 Background image 104 Calculation of uniform change component in entire image 105 Background difference image 106 Update of background image by uniform change component of entire image 107 Uniform change component of entire image 108 Background by local change component Image update 201 Input image 202 Background difference 203 Background region determination 204 Background difference image 205 Background image 206 Background region size determination 207 Calculation of uniform change component in entire image 208 Background region mask 209 Uniform change component in background region 210 Uniform change component 211 Background image update with uniform change component 212 Background image update with local change component 301 Input image 302 Background difference 303 Background difference image 304 Prediction result of moving object 305 Background region determination 306 Background image 307 height Determination of size of region size 308 Calculation of uniform change component in entire image 309 Background region mask 310 Calculation of uniform change component in background region 311 Uniform change component 312 Update of background image by uniform change component 313 Background by local change component Image update 314 Recognition of moving object 315 Recognition result of moving object 316 Prediction of moving object in next frame 401 Input image storage unit 402 Background difference image storage unit 403 Background difference image storage unit 404 Uniform change component calculation unit 405 Background image storage Means 406 Control means 407 Uniform change component storage means 408 Background image update means with uniform change components 409 Background image update means with local change components 501 Input image storage means 502 Background subtraction means 503 Background area determination means 504 Background difference image storage means 505 system Means 506 Uniform change component calculation means in the entire image 507 Background image storage means 508 Background area mask storage means 509 Background area size determination means 510 Uniform change component storage means 511 Uniform change component calculation means in background area 512 Uniform Background image updating means 513 based on change component Background image updating means 601 based on local change component 601 Input image storage means 602 Background difference means 603 Background area determination means 604 Background difference image storage means 605 Prediction data storage means 606 Background area mask storage means 607 Background area Size change determination means 608 Control means 609 Uniform change component calculation means 610 in the entire image 610 Background image storage means 611 Uniform change component storage means 612 Uniform change component calculation means in background area 613 Background image update means with uniform change components 614 Background image updating means by local change component 615 Prediction means 616 Recognition result storage means 617 Moving object recognition means

Claims (7)

【特許請求の範囲】[Claims] 【請求項１】 当該時点のフレーム画像と該フレーム画
像の１フレーム前に生成された背景画像との相互に対応
する画素値間の差分を画素値とする背景差分画像を生成
する工程と、 前記背景差分画像の全画素値の平均をとることにより当
該時点の前記フレーム画像の全体における一様変化成分
を計算する工程と、 前記背景画像の各画素値に前記一様変化成分を加えるこ
とにより前記背景画像を更新する工程と、 さらに、前記入力画像および前記背景画像の対応する画
素値とに基づき前記背景画像を更新する工程とを具備
し、 当該時点のフレーム画像に対応する背景画像を生成する
ことを特徴とする背景画像生成方法。A step of generating a background difference image in which a difference between mutually corresponding pixel values of a frame image at the time and a background image generated one frame before the frame image is a pixel value; Calculating a uniform change component in the entire frame image at the time by averaging all the pixel values of the background difference image; and adding the uniform change component to each pixel value of the background image. Updating a background image, further comprising: updating the background image based on the input image and a corresponding pixel value of the background image, generating a background image corresponding to the frame image at the time point A method of generating a background image. 【請求項２】 前記背景差分画像のデータＳ（ｘ，ｙ）
は、時刻ｔの入力画像および背景画像の座標（ｘ，ｙ）
における画素値を、それぞれＩt （ｘ，ｙ）、Ｂ
t （ｘ，ｙ）（０≦ｘ＜Ｘ，０≦ｙ＜Ｙ）とし、式
（１）により求め、 Ｓ（ｘ，ｙ）＝Ｉt （ｘ，ｙ）−Ｂt-1 （ｘ，ｙ） …（１） 前記一様変化成分は、式（２）において全画素値の平均
Ａall を求めた後、 Ａall ＝（１／ＸＹ）ΣＳ（ｘ，ｙ） 但し、１≦ｘ＜Ｘ，１≦ｙ＜Ｙ …（２） 計算式（３）により得る、 Ｂt （ｘ，ｙ）＝０ ；Ｂt-1 （ｘ，ｙ）＋Ａall ＜０のとき ＝Ｎ−１ ；Ｂt-1 （ｘ，ｙ）＋Ａall ＞Ｎ−１のとき ＝Ｂt-1 （ｘ，ｙ）＋Ａall ；それ以外のとき 但し、Ｎは階調数 …（３） ことを特徴とする請求項１記載の背景画像生成方法。2. The data S (x, y) of the background difference image
Is the coordinates (x, y) of the input image and the background image at time t
Are represented by It (x, y) and B, respectively.
t (x, y) (0 ≦ x <X, 0 ≦ y <Y), and obtained by Expression (1), S (x, y) = I t (x, y) −B t−1 (x, y) (1) After calculating the average A all of all pixel values in equation (2), the uniform change component is calculated as follows: A all = (1 / XY) ΣS (x, y) where 1 ≦ x < X, 1 ≦ y <Y (2) Obtained by the formula (3), B t (x, y) = 0; B t−1 (x, y) + A all <0 = N−1; B t-1 (x, y) + A all > N-1 = B t-1 (x, y) + A all ; otherwise, N is the number of gradations ... (3) Item 2. The method for generating a background image according to Item 1. 【請求項３】 現在の入力画像と現在の１フレーム前に
生成された背景画像との対応する画素値の差分を画素値
とする背景差分画像を生成する工程と、 前記背景差分画像に基づき各画素が背景領域に所属する
か否かを判定することにより各画素の背景領域への所属
の有無を記述する背景領域マスクを生成する工程と、 背景領域における一様変化成分として２つの場合があ
り、第１の場合として前記背景領域マスクにおいて背景
領域に所属すると記述されている画素群の数が閾値以上
ならば当該画素群に対応する前記背景差分画像の画素値
の平均を算出し、第２の場合として前記背景領域マスク
において背景領域に所属すると記述されている画素数に
基づいて背景領域が小さいと判断されたならば前記背景
差分画像の全画素の平均値を算出する工程と、 前記背景画像の各画素値に前記一様変化成分を加えるこ
とにより前記背景画像を更新する工程と、 さらに、前記背景領域マスクで背景領域に所属すると記
述されている画素群において前記入力画像および前記背
景画像の対応する画素値とに基づき前記背景画像を更新
する工程とを具備し、現在の背景画像を生成することを
特徴とする背景画像生成方法。3. A step of generating a background difference image having a pixel value corresponding to a difference between a corresponding pixel value of a current input image and a background image generated one frame before the current image, and A process of generating a background region mask describing whether each pixel belongs to the background region by determining whether or not the pixel belongs to the background region; and two cases as a uniform change component in the background region. In a first case, if the number of pixel groups described as belonging to the background area in the background area mask is equal to or greater than a threshold, the average of the pixel values of the background difference image corresponding to the pixel group is calculated, If the background region is determined to be small based on the number of pixels described as belonging to the background region in the background region mask, the average value of all pixels of the background difference image is calculated. And updating the background image by adding the uniform change component to each pixel value of the background image. Further, the input is performed in a pixel group described as belonging to a background area by the background area mask. Updating the background image based on an image and a corresponding pixel value of the background image, and generating a current background image. 【請求項４】 現在の入力画像と現在の１フレーム前に
生成された背景画像との対応する画素値の差分を画素値
とする背景差分画像を生成する工程と、 前記背景差分画像および後述の移動物体の予測結果に基
づき各画素が背景領域に所属するか否かを判定すること
により各画素の背景領域への所属を記述する背景領域マ
スクを生成する工程と、 背景領域における一様変化成分として２つの場合があ
り、第１の場合として前記背景領域マスクにおける背景
領域に所属すると記述されている画素群の数が閾値以上
ならば、当該画素群に対応する前記背景差分画像の画素
値の平均を算出し、第２の場合として前記背景領域マス
クにおける背景領域に所属すると記述されている画素数
に基づいて背景領域が小さいと判定されたならば前記背
景差分画像の全画素の平均値を算出する工程と、 前記背景画像の各画素値に前記一様変化成分を加えるこ
とにより前記背景画像を更新する工程と、 および、前記背景領域マスクで背景領域に所属すると記
述されている画素群において前記入力画像および前記背
景画像の対応する画素値とに基づき前記背景画像を更新
することにより現在の背景画像を生成する工程と、 前記入力画像および前記背景画像に基づき移動物体を認
識する工程と、 移動物体の認識結果に基づき現在の次のフレームにおけ
る移動物体を予測する工程とを具備し、移動物体の予測
結果を用いて現在の背景画像を生成することを特徴とす
る背景画像生成方法。4. A step of generating a background difference image having a pixel value corresponding to a difference between a corresponding pixel value between a current input image and a background image generated one frame before the current image; Generating a background area mask describing each pixel belonging to the background area by determining whether each pixel belongs to the background area based on the prediction result of the moving object; and a uniform change component in the background area. As a first case, if the number of pixel groups described as belonging to the background area in the background area mask is equal to or greater than a threshold, the pixel value of the background difference image corresponding to the pixel group is determined. Calculating a mean, and as a second case, determining that the background area is small based on the number of pixels described as belonging to the background area in the background area mask, the background difference image Calculating an average value of all pixels; updating the background image by adding the uniform change component to each pixel value of the background image; and describing that the pixel belongs to a background region with the background region mask. Generating a current background image by updating the background image based on the input image and the corresponding pixel values of the background image in a group of pixels that have been moved; and a moving object based on the input image and the background image. And a step of predicting a moving object in the current next frame based on the recognition result of the moving object, and generating a current background image using the prediction result of the moving object. Background image generation method. 【請求項５】 少なくとも入力画像、背景画像、背景差
分画像、一様変化成分の各データを記憶する記憶手段
と、 前記記憶されている入力画像および背景画像の各データ
を参照して背景差分画像を生成して前記記憶手段に記憶
する背景差分画像生成手段と、 前記背景差分画像を参照して一様変化成分を算出して前
記記憶手段に記憶する一様変化成分算出手段と、 前記一様変化成分を参照して前記記憶されている背景画
像を更新する一様変化成分による背景画像更新手段と、 前記記憶されている入力画像を参照して前記記憶されて
いる背景画像を更新する局所変化成分による背景画像更
新手段と、 前記各処理の動作を制御する制御手段とを具備し、一様
変化成分および局所変化成分を用いて背景画像を逐次更
新することを特徴とする背景画像生成装置。5. A storage means for storing at least each data of an input image, a background image, a background difference image, and a uniform change component; and a background difference image by referring to the stored data of the input image and the background image. A background difference image generating unit that generates a uniform difference component with reference to the background difference image and stores the same in the storage unit; Background image updating means for updating the stored background image with reference to a change component; and a local change for updating the stored background image with reference to the stored input image. Background image updating means comprising: a background image updating means for controlling the operation of each of the processes; and a background image sequentially updated by using a uniform change component and a local change component. Forming apparatus. 【請求項６】 少なくとも入力画像、背景画像、背景差
分画像、一様変化成分、背景領域マスクの各データを記
憶する記憶手段と、 該記憶手段に記憶されている入力画像および背景画像の
対応する画素値間の差分値である背景差分画像を生成す
る背景差分手段と、 前記背景差分画像を参照して各画素が背景領域に所属す
るか否かを判定することにより各画素の背景領域への所
属を記述する背景領域マスクを生成する背景領域判定手
段と、 前記背景差分画像を参照して画像全体の一様変化成分を
算出する一様変化成分算出手段と、 前記背景領域マスクを参照して背景領域サイズの大小判
定をする背景領域サイズの大小判定手段と、 前記背景領域マスクで背景領域に所属すると記述されて
いる画素群に対応する画素値の平均を背景領域における
一様変化成分として算出する背景領域における一様変化
成分算出手段と、 前記一様変化成分に基づいて前記背景画像を更新する一
様変化成分による背景画像更新手段と、 前記入力画像および前記背景領域マスクに基づいて前記
記憶されている背景画像を更新する局所変化成分による
背景画像更新手段と、 前記各処理動作を制御する制御手段とを具備し、前記背
景領域マスクの状態に基づいて背景画像を逐次生成する
ことを特徴とする背景画像生成装置。6. A storage means for storing at least each data of an input image, a background image, a background difference image, a uniform change component, and a background area mask, and corresponding to the input image and the background image stored in the storage means. Background difference means for generating a background difference image that is a difference value between pixel values; and determining whether or not each pixel belongs to the background region by referring to the background difference image to determine whether each pixel belongs to the background region. Background area determining means for generating a background area mask describing affiliation; uniform change component calculating means for calculating a uniform change component of the entire image with reference to the background difference image; and reference to the background area mask. Background area size determination means for determining the size of the background area; and an average of pixel values corresponding to a group of pixels described as belonging to the background area in the background area mask. Means for calculating a uniform change component in a background area calculated as a like change component; means for updating a background image based on the uniform change component; means for updating a background image based on a uniform change component; the input image and the background area mask; A background image updating unit for updating the stored background image based on a local change component, and a control unit for controlling each of the processing operations. The background image is sequentially updated based on a state of the background region mask. A background image generation device characterized by generating. 【請求項７】 少なくとも入力画像、背景画像、背景差
分画像、一様変化成分、背景領域マスク、予測マスク、
予測データ、認識された移動物体の各データを記憶する
記憶手段と、 該記憶手段に記憶されている入力画像と背景画像との対
応する画素間の差分値である背景差分画像を生成する背
景差分手段と、 前記背景差分画像および予測データを参照して各画素が
背景領域に所属するか否かを判定することにより各画素
の背景領域への所属を記述する背景領域マスクを生成す
る背景領域判定手段と、 前記予測データから予測された車両の位置を指定する予
測マスクを生成する予測マスク生成手段と、 前記背景差分マスクおよび前記予測マスクを参照して前
記背景領域マスクを更新する背景領域マスク生成手段
と、 前記背景差分画像の全画素値の平均値を求めることによ
り画像全体の一様変化成分を算出する画像全体における
一様変化成分算出手段と、 前記背景差分マスクおよび前記予測マスクに基づき背景
領域マスクを生成する背景領域マスク生成手段と、 前記背景領域マスクにおける背景領域に所属すると記述
されている画素数に基づいて背景領域の大小を判定する
背景領域サイズの大小判定手段と、 前記背景差分画像において、前記背景領域マスクで背景
領域に所属すると記述されている画素群に対応する画素
値の平均を背景領域における一様変化成分として算出す
る背景領域における一様変化成分算出手段と、 前記一様変化成分に基づいて前記記憶している背景画像
を更新する一様変化成分による背景画像更新手段と、 前記入力画像および前記背景領域マスクに基づいて前記
記憶されている背景画像を更新する局所変化成分による
背景画像更新手段と、 前記入力画像および前記背景画像に基づいて移動物体を
認識する移動物体認識手段と、 前記移動物体に基づいて次に背景画像を更新する時点に
おける移動物体の位置を予測する予測手段とを具備し、
背景画像を逐次生成することを特徴とする背景画像生成
装置。7. At least an input image, a background image, a background difference image, a uniform change component, a background region mask, a prediction mask,
Storage means for storing the prediction data and each data of the recognized moving object; and a background difference for generating a background difference image which is a difference value between corresponding pixels between the input image and the background image stored in the storage means Means for generating a background area mask that describes whether each pixel belongs to the background area by determining whether each pixel belongs to the background area with reference to the background difference image and the prediction data. Means, a prediction mask generating means for generating a prediction mask specifying the position of the vehicle predicted from the prediction data, and a background area mask generation for updating the background area mask with reference to the background difference mask and the prediction mask Means for calculating a uniform change component of the entire image by calculating an average value of all pixel values of the background difference image; A background region mask generating means for generating a background region mask based on the background difference mask and the prediction mask; a background for determining the size of the background region based on the number of pixels described as belonging to the background region in the background region mask Means for determining the size of an area size; a background area for calculating, as a uniform change component in the background area, an average of pixel values corresponding to a pixel group described as belonging to the background area in the background area mask in the background difference image , A background image updating means for updating the stored background image based on the uniform change component, and a background image updating means for updating the stored background image based on the input image and the background area mask. Background image updating means using a local change component for updating a stored background image; and the input image and the spine A moving object recognizing unit that recognizes a moving object based on the scenery image, and a predicting unit that predicts a position of the moving object at the time of updating the next background image based on the moving object,
A background image generation device that sequentially generates a background image.
JP8342824A 1996-12-24 1996-12-24 Background image generation method and background image generation device Expired - Lifetime JP2950267B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8342824A JP2950267B2 (en) 1996-12-24 1996-12-24 Background image generation method and background image generation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8342824A JP2950267B2 (en) 1996-12-24 1996-12-24 Background image generation method and background image generation device

Publications (2)

Publication Number Publication Date
JPH10187996A true JPH10187996A (en) 1998-07-21
JP2950267B2 JP2950267B2 (en) 1999-09-20

Family

ID=18356779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8342824A Expired - Lifetime JP2950267B2 (en) 1996-12-24 1996-12-24 Background image generation method and background image generation device

Country Status (1)

Country Link
JP (1) JP2950267B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325672A (en) * 2000-05-16 2001-11-22 Mega Chips Corp Invader monitoring system
US6993158B2 (en) 2001-08-07 2006-01-31 Samsung Electronic Co., Ltd. Device for and method of automatically tracking a moving object
JP2006203444A (en) * 2005-01-19 2006-08-03 Inc Corp Background image formation device and program
JP2016115214A (en) * 2014-12-16 2016-06-23 キヤノン株式会社 Image processor, image processing method, and program
US9691155B2 (en) 2014-04-01 2017-06-27 Canon Kabushiki Kaisha Image processing apparatus and image processing method for finding background regions in an image
JP2020077400A (en) * 2019-10-10 2020-05-21 キヤノン株式会社 Image processing unit, image processing method, and program

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325672A (en) * 2000-05-16 2001-11-22 Mega Chips Corp Invader monitoring system
US6993158B2 (en) 2001-08-07 2006-01-31 Samsung Electronic Co., Ltd. Device for and method of automatically tracking a moving object
JP2006203444A (en) * 2005-01-19 2006-08-03 Inc Corp Background image formation device and program
JP4596929B2 (en) * 2005-01-19 2010-12-15 株式会社インク Background image generation apparatus and background image generation program
US9691155B2 (en) 2014-04-01 2017-06-27 Canon Kabushiki Kaisha Image processing apparatus and image processing method for finding background regions in an image
US10438361B2 (en) 2014-04-01 2019-10-08 Canon Kabushiki Kaisha Image processing apparatus and image processing method for finding background regions in an image
JP2016115214A (en) * 2014-12-16 2016-06-23 キヤノン株式会社 Image processor, image processing method, and program
US10467479B2 (en) 2014-12-16 2019-11-05 Canon Kabushiki Kaisha Image processing apparatus, method, and storage medium for reducing a visibility of a specific image region
JP2020077400A (en) * 2019-10-10 2020-05-21 キヤノン株式会社 Image processing unit, image processing method, and program

Also Published As

Publication number Publication date
JP2950267B2 (en) 1999-09-20

Similar Documents

Publication Publication Date Title
CN108509907B (en) Car light detection method, device, medium and equipment for realizing intelligent driving
JP4629364B2 (en) A method for adaptively updating a background image representing the background of a scene
KR102153607B1 (en) Apparatus and method for detecting foreground in image
CN115298638A (en) Method and system for controlling device based on gesture
JP2010136374A (en) Method for detection of film mode or camera mode
JP2950267B2 (en) Background image generation method and background image generation device
US11954880B2 (en) Video processing
CN107730533A (en) The medium of image processing method, image processing equipment and storage image processing routine
CN106780544B (en) The method and apparatus that display foreground extracts
JPH05143737A (en) Method and device for identification with motion vector
CN111768427A (en) Multi-moving-target tracking method and device and storage medium
Shoushtarian A practical approach to real-time dynamic background generation based on a temporal median filter
CN114897944B (en) Multi-target continuous tracking method based on DeepSORT
CN112598007B (en) Method, device and equipment for screening picture training set and readable storage medium
JP2006018339A (en) License plate recognition device and method
JP2009075926A (en) Moving image face detection device and method
CN114821441A (en) Deep learning-based airport scene moving target identification method combined with ADS-B information
CN111325075B (en) Video sequence target detection method
JPH1115982A (en) Method for detecting moving object
JPH10111944A (en) Background image updating method and device therefor
JP2007287093A (en) Program, method and device for detecting mobile object
JP2006134339A (en) Identification method, identification device and traffic control system
JP2004007174A (en) Image processing system, image processing method and image processing program
CN109712106A (en) A method of it removes and detects for monitor video object
KR20140121206A (en) Apparatus and method for controling lamp using image processing

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990608

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070709

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080709

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090709

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100709

Year of fee payment: 11