JPH05225341A - Mobile object detector - Google Patents
Mobile object detectorInfo
- Publication number
- JPH05225341A JPH05225341A JP4026452A JP2645292A JPH05225341A JP H05225341 A JPH05225341 A JP H05225341A JP 4026452 A JP4026452 A JP 4026452A JP 2645292 A JP2645292 A JP 2645292A JP H05225341 A JPH05225341 A JP H05225341A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- difference
- input
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、連続して入力される動
画像の中から移動物体を検出する移動物体検出装置に関
するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving object detecting device for detecting a moving object from continuously input moving images.
【０００２】[0002]
【従来の技術】動画像から移動物体を検出する手法とし
て、入力画像と、一定期間（例えば１フレーム期間）だ
け前に入力された画像との差分をとることにより変化分
を抽出する手法や、あらかじめ移動物体を含まない背景
画像を装置内に記憶しておき、連続して入力される入力
画像との差分をとることにより移動物体を抽出するとい
う手法がある。2. Description of the Related Art As a method of detecting a moving object from a moving image, a method of extracting a change by taking a difference between an input image and an image input before a certain period (for example, one frame period), There is a method in which a background image that does not include a moving object is stored in the device in advance, and the moving object is extracted by calculating the difference between the input images that are continuously input.
【０００３】しかしながら、入力画像と、前に入力され
た画像との差分をとる手法では、時間微分による変化分
のみを抽出するため、その値のみから移動体の像を検出
することは困難である。例えば、一様に黒い背景の前で
無地の白い円形の領域が移動した場合を考えると、進行
方向の前部と後部い２つの３日月形の領域が得られる
が、この情報から円形の領域を抽出することは困難であ
る。However, in the method of calculating the difference between the input image and the image previously input, it is difficult to detect the image of the moving object only from the value because only the change due to the time differentiation is extracted. .. For example, consider the case where a plain white circular area moves uniformly in front of a black background, and two crescent-shaped areas, one in the front and the other in the direction of travel, are obtained. It is difficult to extract a region.
【０００４】また、あらかじめ記憶しておいた移動物体
を含まない背景画像と入力画像との差分をとることによ
る移動物体検出手法では、カメラが静止している場合や
背景が変化しない場合には問題ないが、カメラが移動・
パンニングする場合や、屋外などで太陽が雲に隠れるな
どのために照明変化が起こる場合には、背景画像は刻々
変化するため正しい結果が得られなくなる。この様な場
合に対処するために、入力画像から背景画像を合成する
手法が提案されており、例えば特開平１−１８４４８３
号公報では、入力画像とその時の背景画像との差分があ
るしきい値以上の画素点（以下動き画素と呼ぶ）を移動
物体を表す動き画素と判断し、それ以外の背景と判断さ
れる領域についてのみ背景画像を更新するという、背景
画像合成手法について述べられている。Further, a moving object detection method by taking a difference between a background image which does not include a moving object and a input image which is stored in advance has a problem when the camera is stationary or the background does not change. No, but the camera moves
In the case of panning or when the illumination changes due to the sun hiding in the clouds outdoors or the like, the background image changes from moment to moment, and correct results cannot be obtained. In order to deal with such a case, a method of synthesizing a background image from an input image has been proposed. For example, Japanese Patent Laid-Open No. 1-184483.
In the publication, a pixel point having a difference between an input image and a background image at that time is a threshold value or more (hereinafter referred to as a motion pixel) is determined as a motion pixel representing a moving object, and a region other than the background is determined. The background image synthesizing method of updating the background image only is described.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、上記の
ような手法では、背景が緩やかに変化する場合はよい
が、例えば照明灯の点灯などの急激な変化が起こると誤
動作してしまうし、また、静止物体が動作中に置かれた
り、動作開始時に存在していた静止物体を途中で撤去し
たりすると、これらは求める移動体ではないにもかかわ
らず検出され続けるという課題を有していた。However, in the above method, although the background may change gently, it may malfunction if a rapid change occurs, for example, the lighting of an illuminating lamp. If a stationary object is placed in motion or if a stationary object that was present at the start of motion is removed midway, there is a problem in that these objects will continue to be detected even though they are not the desired moving objects.
【０００６】本発明はかかる点に鑑み、急激な照明変化
や動作中の静止物体の隠現による誤検出の少ない移動物
体検出装置を提供することを目的とする。SUMMARY OF THE INVENTION In view of the above points, an object of the present invention is to provide a moving object detecting device which is less likely to be erroneously detected due to abrupt changes in illumination or the concealment of a stationary object during operation.
【０００７】[0007]
【課題を解決するための手段】画像入力手段と、背景と
なる画像を記憶する背景画像記憶手段と、画像入力手段
より得られた入力画像と背景画像記憶手段に記憶された
背景画像とを画素ごとに所定の割合で加算して新たな背
景画像を得る背景画像生成手段と、背景画像記憶手段と
入力画像との差をとる差分手段と、差分手段の結果によ
り背景生成手段における入力画像と背景画像との加算の
割合を決定する係数決定手段とを備えた移動物体検出装
置を構成する。An image input means, a background image storage means for storing a background image, an input image obtained by the image input means, and a background image stored in the background image storage means A background image generation means for obtaining a new background image by adding at a predetermined ratio for each of them, a difference means for obtaining a difference between the background image storage means and the input image, and an input image and a background in the background generation means according to the result of the difference means. A moving object detecting device is provided, which is provided with a coefficient determining unit that determines a ratio of addition with an image.
【０００８】また、画像入力手段と、背景となる画像を
記憶する背景画像記憶手段と、画像入力手段より得られ
た入力画像と背景画像記憶手段に記憶された背景画像と
を画素ごとに所定の割合で加算して新たな背景画像を得
る背景画像生成手段と、背景画像記憶手段と入力画像と
の差をとる第１の差分手段と、入力画像を記憶する画像
記憶手段と、入力画像と画像記憶手段に記憶された画像
との差分をとる第２の差分手段と、第２の差分手段の結
果により背景生成手段における入力画像と背景画像との
加算の割合を決定する係数決定手段とを備えた移動物体
検出装置を構成する。Further, the image input means, the background image storage means for storing an image serving as a background, the input image obtained by the image input means and the background image stored in the background image storage means are predetermined for each pixel. Background image generation means for adding a ratio to obtain a new background image, first difference means for calculating the difference between the background image storage means and the input image, image storage means for storing the input image, input image and image The second difference means for obtaining a difference from the image stored in the storage means, and the coefficient determination means for determining the addition ratio of the input image and the background image in the background generation means based on the result of the second difference means. And a moving object detection device.
【０００９】さらに、画像入力手段と、背景画像または
入力画像を記憶する画像記憶部と、画像入力手段より得
られた入力画像と記憶部に記憶された画像との差分を計
算する差分手段と、残像を記憶する残像記憶手段と、差
分手段による差分結果と残像記憶手段に記憶された残像
画像とを画素ごとに所定の割合で加算して新たな残像画
像を得る残像生成手段とを備えた移動物体検出装置を構
成する。Further, an image input unit, an image storage unit for storing the background image or the input image, and a difference unit for calculating a difference between the input image obtained by the image input unit and the image stored in the storage unit, Movement including afterimage storing means for storing an afterimage, and afterimage generating means for obtaining a new afterimage by adding a difference result by the difference means and the afterimage stored in the afterimage at a predetermined ratio for each pixel Configure an object detection device.
【００１０】[0010]
【作用】本発明は前記した構成により、入力画像と背景
画像との差分値が所定値以上の画素と所定値以下の画素
とで背景生成手段における入力画像と背景画像との加算
の割合を変えることにより、入力画像と背景画像との混
合比を変えて背景画像を生成する。According to the present invention, with the above configuration, the ratio of addition between the input image and the background image in the background generation means is changed depending on the pixels whose difference value between the input image and the background image is a predetermined value or more and the pixel whose difference value is a predetermined value or less. As a result, the background image is generated by changing the mixing ratio of the input image and the background image.
【００１１】また、入力画像と一定期間前の入力画像と
の差分値が所定値以上の画素と所定値以下の画素とで背
景生成手段における入力画像と背景画像との加算の割合
を変えることにより、入力画像と背景画像との混合比を
変えて背景画像を生成する。Further, by changing the ratio of addition between the input image and the background image in the background generation means depending on the pixels whose difference value between the input image and the input image before the fixed period is a predetermined value or more and the pixel which is a predetermined value or less. , The background image is generated by changing the mixing ratio of the input image and the background image.
【００１２】[0012]
【実施例】図１は本発明の第１の実施例における移動物
体検出装置のブロック図を示すものである。図１におい
て、１０１は画像入力部、１０２は背景生成部、１０３
は背景生成部における係数を決定するための係数決定
部、１０４は背景生成部１０２により生成された背景画
像を記憶する背景記憶部、１０５は画像入力部１０１か
らの入力画像と背景記憶部１０４からの背景画像との差
を計算する差分部、１０６は差分部５により得られた結
果の残像を生成する残像生成部、１０７はそれを記憶す
る残像記憶部、１０８は画像表示部である。また、１０
９は差分部１０５により得られた結果を加算記憶する加
算記憶部、１１０はその結果から静止物体の存在を判断
する静止判断部、１１１は差分部１０５の結果の総画素
数を計数する画素数計数部、１１２はその結果から背景
の急激な変化を判断する背景変化判断部である。以上の
ように構成された第１の実施例の移動物体検出装置につ
いて、以下その動作を説明する。1 is a block diagram of a moving object detecting apparatus according to a first embodiment of the present invention. In FIG. 1, 101 is an image input unit, 102 is a background generation unit, and 103.
Is a coefficient determination unit for determining coefficients in the background generation unit, 104 is a background storage unit that stores the background image generated by the background generation unit 102, and 105 is an input image from the image input unit 101 and the background storage unit 104. Is a difference unit for calculating the difference between the background image and the background image, 106 is an afterimage generation unit for generating an afterimage of the result obtained by the difference unit 5, 107 is an afterimage storage unit for storing it, and 108 is an image display unit. Also, 10
Reference numeral 9 is an addition storage unit that additionally stores the result obtained by the difference unit 105, 110 is a stillness determination unit that determines the presence of a stationary object from the result, and 111 is the number of pixels that counts the total number of pixels of the result of the difference unit 105. The counting unit 112 is a background change determination unit that determines a rapid change in the background based on the result. The operation of the moving object detecting apparatus according to the first embodiment configured as above will be described below.
【００１３】画像入力部１０１では、例えばカメラから
の入力映像信号をディジタルデータに変換し、背景生成
部１０２と差分部１０５に供給する。背景生成部１０２
では、各位置の画像信号に対して、入力信号（図中の
Ｘ）と背景記憶部１０４の内容（図中のＹ）とから出力
（図中のＺ）として、 Ｚ＝ａ×Ｘ＋（１−ａ）×Ｙ (1) （ａは係数決定部１０３により決定される値）を計算
し、背景記憶部１０４の対応する位置に記憶する。即
ち、背景記憶部の内容が式（１）により更新されること
になる。例えば、ａ＝０の場合は、式（１）はＺ＝Ｙと
なり、背景記憶部１０４の内容は全く変化しない。逆に
ａ＝１の場合には、式（１）はＺ＝Ｘとなるので、背景
記憶部１０４の内容は常に入力画像に書き換えられる。The image input unit 101 converts an input video signal from, for example, a camera into digital data and supplies the digital data to the background generation unit 102 and the difference unit 105. Background generation unit 102
Then, for the image signal at each position, as an output (Z in the drawing) from the input signal (X in the drawing) and the contents of the background storage unit 104 (Y in the drawing), Z = a × X + (1 −a) × Y (1) (a is a value determined by the coefficient determination unit 103) is calculated and stored in the corresponding position of the background storage unit 104. That is, the contents of the background storage section are updated by the equation (1). For example, when a = 0, the equation (1) becomes Z = Y, and the content of the background storage unit 104 does not change at all. On the contrary, when a = 1, the equation (1) is Z = X, so that the contents of the background storage unit 104 are always rewritten to the input image.
【００１４】差分部１０５では、画像入力部１０１から
の入力画像と背景記憶部１０４からの背景画像との各画
素の差の絶対値を求め、その結果が所定の値以上であれ
ば１、そうでなければ０を出力する。差分部１０５の出
力は係数数決定部１０３、残像生成部１０６、加算記憶
部１０９、画素数計数部１１１に供給される。The difference unit 105 obtains the absolute value of the difference between each pixel of the input image from the image input unit 101 and the background image from the background storage unit 104. If the result is equal to or more than a predetermined value, then 1 Otherwise, 0 is output. The output of the difference unit 105 is supplied to the coefficient number determination unit 103, the residual image generation unit 106, the addition storage unit 109, and the pixel number counting unit 111.
【００１５】係数数決定部１０３では、差分部１０５の
結果が１である（差分値が所定値より大きい）場合と０
である（差分値が所定値より小さい）場合とで背景生成
部１０２における係数ａを変化させる。差分部１０５の
結果が１の画素ではａを小さく（例えばａ＝０．１２
５）し、０の画素ではａを大きく（例えばａ＝０．７
５）する。この場合の動作について図３を用いて説明す
る。In the coefficient number determination unit 103, the result of the difference unit 105 is 1 (the difference value is larger than a predetermined value) and 0.
And the difference value is smaller than a predetermined value, the coefficient a in the background generation unit 102 is changed. In the pixel in which the result of the difference unit 105 is 1, a is small (for example, a = 0.12).
5), and in the pixel of 0, a is increased (for example, a = 0.7).
5) Do. The operation in this case will be described with reference to FIG.
【００１６】入力画像として図３（ａ）のように一様に
黒い（輝度値０）背景の前で明るい無地の円形の領域
（輝度値２５６）が移動する場合を考える。背景記憶部
１０４に記憶されている背景画像を（ｂ）のように全面
が一様に黒い（輝度値０）背景であるとすると、差分部
１０５内での差分値（入力画像と背景画像との差の絶対
値）は（ｃ）のようになり、所定値（例えば１２８）よ
り大きい画素が検出結果（ｄ）として出力される。この
ときに背景生成部１０２では（ａ）と（ｂ）より背景画
像（ｅ）が生成される。そして、次の入力画像（ｆ）が
入力されると、背景画像（ｇ）との差分の結果により、
差分値（ｈ）および検出結果（ｉ）が得られ、生成され
る背景は（ｊ）のようになる。同様にして、順次画像
（ｋ），（ｐ）が入力され検出結果（ｎ），（ｓ）が得
られ、背景画像としては（ｏ），（ｔ）が生成される。
このように、動き画素と判断された部分は背景画像の重
みを大きく、動き画素でないと判断された部分は入力画
像の重みを大きくして累積加算を行うことにより背景画
像を得ることにより移動物体を抽出することができる。Consider a case where a bright plain circular area (luminance value 256) moves in front of a black (luminance value 0) background as an input image, as shown in FIG. If the background image stored in the background storage unit 104 is a uniformly black background (luminance value 0) as shown in (b), the difference value in the difference unit 105 (the difference between the input image and the background image The absolute value of the difference is as shown in (c), and pixels larger than a predetermined value (for example, 128) are output as the detection result (d). At this time, the background generation unit 102 generates the background image (e) from (a) and (b). Then, when the next input image (f) is input, according to the result of the difference from the background image (g),
The difference value (h) and the detection result (i) are obtained, and the generated background is as shown in (j). Similarly, images (k) and (p) are sequentially input, detection results (n) and (s) are obtained, and (o) and (t) are generated as background images.
In this way, a portion determined to be a moving pixel has a large weight on the background image, and a portion determined not to be a moving pixel has a large weight on the input image to perform cumulative addition to obtain a background image, thereby obtaining a moving object. Can be extracted.
【００１７】また、動作開始時に移動物体が背景として
記憶されていた場合について図４を用いて説明する。例
えば、動作開始時には静止していた物体が移動を開始し
た場合などにこのような状況が起こる。入力画像（ａ）
が入力された時に背景記憶部１０４に記憶されている背
景画像を（ｂ）とすると、差分部１０５内での差分（入
力画像と背景画像との差の絶対値）は（ｃ）のようにな
り、所定値（例えば１２８）より大きい画素が検出結果
（ｄ）のように出力される。このときに背景生成部１０
２では（ａ）と（ｂ）より背景画像（ｅ）が生成され
る。そして、次の入力画像（ｆ）が入力されると、背景
画像（ｇ）との差分の結果により、差分値（ｈ）および
検出結果（ｉ）が得られ、生成される背景は（ｊ）のよ
うになる。同様にして、順次画像（ｋ），（ｐ）が入力
され検出結果（ｎ），（ｓ）が得られ、背景画像として
は（ｏ），（ｔ）が生成される。このように、動作開始
時に移動物体が背景として記憶されていた場合には、検
出結果として最初移動物体が存在していた位置が動き領
域として検出されるが、その差分値は時間経過とともに
小さくなってゆくことがわかる。これは、動き領域とし
て検出された部分についても入力信号の混合比を下げて
背景の更新を行っているためである。即ち最初に静止し
ていて移動を開始した物体についても所定の時間経過と
ともに誤検出がなくなる。A case where the moving object is stored as the background at the start of the operation will be described with reference to FIG. For example, such a situation occurs when an object that was stationary at the start of operation starts moving. Input image (a)
When the background image stored in the background storage unit 104 when is input is (b), the difference in the difference unit 105 (the absolute value of the difference between the input image and the background image) is as shown in (c). Pixels larger than a predetermined value (for example, 128) are output as the detection result (d). At this time, the background generation unit 10
In 2, the background image (e) is generated from (a) and (b). When the next input image (f) is input, the difference value (h) and the detection result (i) are obtained from the result of the difference from the background image (g), and the generated background is (j). become that way. Similarly, images (k) and (p) are sequentially input, detection results (n) and (s) are obtained, and (o) and (t) are generated as background images. As described above, when the moving object is stored as the background at the time of starting the operation, the position where the moving object was initially present is detected as the moving area as the detection result, but the difference value becomes smaller with the lapse of time. You can see it going. This is because the background is updated by lowering the mixing ratio of the input signals even in the portion detected as the motion area. That is, erroneous detection of an object which is initially stationary and starts moving will be eliminated with the lapse of a predetermined time.
【００１８】残像生成部１０６では、残像記憶部１０７
の内容と差分部１０５の結果との荷重平均をとり残像記
憶部１０７に記憶する。この場合の計算方法も背景生成
部１０２の場合と同様に、差分部１０５の結果をＸと
し、残像記憶部１０７の内容をＹ、残像生成部１０６の
出力をＺとして、式（１）で示されるような計算を行
う。このように検出結果の残像を記憶して表示すること
により、簡単な構成で軌跡を得ることができ、また、結
果画像を積分しているため雑音の除去効果も得ることが
できる。残像生成部１０７における係数については、例
えばａ＝０．７のように固定の値でもよいし、残像表示
時間の設定値として、使用者が設定可能な構成にしても
よい。In the afterimage generating section 106, the afterimage storing section 107 is provided.
The weighted average of the contents of the above and the result of the difference unit 105 is obtained and stored in the afterimage storage unit 107. As in the case of the background generation unit 102, the calculation method in this case is represented by Expression (1), where the result of the difference unit 105 is X, the content of the afterimage storage unit 107 is Y, and the output of the afterimage generation unit 106 is Z. Calculate as follows. By storing and displaying the afterimage of the detection result in this way, it is possible to obtain a locus with a simple configuration and, because the result image is integrated, it is also possible to obtain a noise removal effect. The coefficient in the afterimage generating unit 107 may be a fixed value such as a = 0.7, or may be set by the user as the set value of the afterimage display time.
【００１９】次に加算記憶部１０９の動作を説明する。
加算記憶部１０９では、差分部１０５からの結果が１の
画素については加算してゆき、差分部１０５からの結果
が０になった画素については加算記憶部１０９の内容を
０にする。即ち、加算記憶部１０９では差分部１０５の
結果が連続して１になっている回数が記憶されることに
なる。ここで、加算記憶部１０９の構成例を図２に示
す。加算部２０１は、入力信号Ｓと記憶部２０３の対応
する位置の内容とを加算し、切り替え部２０２に出力す
る。切り替え部２０２は、入力信号Ｓが０の場合は入力
信号Ｓを選択出力し、入力信号Ｓが１の場合には、加算
部２０１の結果を出力する。そして、切り替え部２０２
の出力を記憶部２０３の対応する位置に記憶する。この
ようにして、入力信号が１の場合は記憶部２０３の対応
する位置の内容が１だけ加算され、入力信号が０の場合
には記憶部２０３の対応する位置の内容が０にリセット
される。Next, the operation of the addition storage unit 109 will be described.
In the addition storage unit 109, the pixels for which the result from the difference unit 105 is 1 are added, and for the pixels for which the result from the difference unit 105 is 0, the contents of the addition storage unit 109 are set to 0. That is, the addition storage unit 109 stores the number of times that the result of the difference unit 105 is continuously 1. Here, a configuration example of the addition storage unit 109 is shown in FIG. The addition unit 201 adds the input signal S and the contents of the corresponding position in the storage unit 203, and outputs the addition result to the switching unit 202. The switching unit 202 selectively outputs the input signal S when the input signal S is 0, and outputs the result of the adding unit 201 when the input signal S is 1. Then, the switching unit 202
The output of is stored in the corresponding position of the storage unit 203. Thus, when the input signal is 1, the content of the corresponding position of the storage unit 203 is incremented by 1, and when the input signal is 0, the content of the corresponding position of the storage unit 203 is reset to 0. ..
【００２０】このようにして、加算記憶部１０９では差
分部１０５の結果が連続して１になっている回数が記憶
されるので、その内容により長時間同じ場所で検出され
ているものを検出することができる。静止判断部１１０
では、加算記憶部１０９の内容が所定値以上になった部
分を検出して係数決定部１０３に出力する。係数決定部
１０３では、静止判断部１１０により静止と判断された
画素については、入力画像の重みを大きく（例えばａ＝
０．９）する。これにより、所定の時間以上の間静止し
ている物体が誤検出される期間をさらに短縮することが
できる。In this way, since the number of times the result of the difference unit 105 has become 1 in succession is stored in the addition storage unit 109, what has been detected at the same place for a long time is detected according to its contents. be able to. Stationary determination unit 110
Then, the portion in which the content of the addition storage unit 109 becomes equal to or larger than a predetermined value is detected and output to the coefficient determination unit 103. The coefficient determination unit 103 increases the weight of the input image with respect to the pixel determined to be still by the stillness determination unit 110 (for example, a =
0.9). As a result, it is possible to further shorten the period during which a stationary object is erroneously detected for a predetermined time or longer.
【００２１】画素数計数部１１１では、差分部１０５の
結果が１である画素（動き画素と判断された画素）の数
を計数する。背景変化判断部１１２では、画素数計数部
１１１の結果が所定値より大きくなった場合や、増加率
が所定値以上になった場合を検出して、係数決定部１０
３に出力する。係数決定部１０３では、背景変化判断部
１１２により背景の急激な変化と判断された部分につい
ては、例えばａ＝１として、背景画像を更新する。The pixel number counting unit 111 counts the number of pixels for which the result of the difference unit 105 is 1 (pixels determined to be motion pixels). The background change determination unit 112 detects when the result of the pixel number counting unit 111 is larger than a predetermined value or when the increase rate is a predetermined value or more, and the coefficient determination unit 10
Output to 3. The coefficient determination unit 103 updates the background image, for example, with a = 1 for the portion determined by the background change determination unit 112 to be a rapid background change.
【００２２】以上のように本実施例によれば、背景画像
との差分値が所定値以上の画素と所定値以下の画素とで
背景生成部の係数を変えることにより、入力画像と背景
画像との混合比を変えて背景画像を生成するようにした
ので高精度な背景生成を行うことができる。また、所定
期間以上同一で入力画像と背景との差があった場合には
それを検出して背景生成部の背景混合率を上げることに
より、静止物体による誤動作をなくすことができる。さ
らに、入力画像と背景の差が大きくなりすぎた場合や急
激に増加した場合を検出してその部分の背景画像を入力
画像で置き換えるようにしたので、急激な背景変化に対
しても速やかに誤検出部分をなくすることができる。As described above, according to the present embodiment, by changing the coefficient of the background generation unit between the pixel whose difference value with the background image is a predetermined value or more and the pixel whose difference value is a predetermined value or less, the input image and the background image are different from each other. Since the background image is generated by changing the mixing ratio of, the background can be generated with high accuracy. Further, if there is a difference between the input image and the background for the same period of time or more, the difference is detected and the background mixing ratio of the background generation unit is increased, so that a malfunction due to a stationary object can be eliminated. Furthermore, if the difference between the input image and the background becomes too large or if it increases sharply, the background image of that part is replaced with the input image, so even if there is a sudden change in the background, it is possible to promptly make an error. The detection part can be eliminated.
【００２３】図５は本発明の第２の実施例における移動
物体検出装置のブロック図を示すものである。図３にお
いて、図１と同じでよいものには同一番号を付してあ
る。５０２は一定時間前の画像を記憶しておく画像記憶
部、５０３は入力画像と画像記憶部５０２に記憶されて
いる画像との差の絶対値を計算する差分部、５０４は差
分部５０３の結果の画素数を計数する画素数計数部、５
０５はその結果から背景の急激な変化を判断する背景変
化判断部である。以上のように構成された第２の実施例
の移動物体検出装置について、以下その動作を説明す
る。FIG. 5 is a block diagram of a moving object detecting apparatus according to the second embodiment of the present invention. 3, the same parts as those in FIG. 1 are designated by the same reference numerals. 502 is an image storage unit that stores images before a certain time, 503 is a difference unit that calculates the absolute value of the difference between the input image and the image stored in the image storage unit 502, and 504 is the result of the difference unit 503. Pixel count section for counting the number of pixels of
Reference numeral 05 is a background change determination unit that determines a rapid change in the background based on the result. The operation of the moving object detecting apparatus according to the second embodiment having the above configuration will be described below.
【００２４】画像入力部１０１の出力は、背景生成部１
０２と差分部１０５の他に、画像記憶部５０２と差分部
５０３にも供給される。画像記憶部５０２では一定期間
（例えば１フレーム期間）前に入力された画像を１画面
分記憶しておき、一定期間前の画像として入力画像に対
応した位置の画素を読み出し、差分部５０３に出力す
る。差分部５０３では、入力画像と画像記憶部５０２か
らの過去の画像との差の絶対値を求め、所定値（例えば
１２８）以上の画素については１、そうでない画素につ
いては０を差分結果として出力する。即ち、入力画像と
一定期間前の画像との時間微分をとりその差が大きい部
分を動き画素として出力する。差分部５０３の結果は、
係数決定部５０１と画素数計数部５０４に与えられる。
係数決定部では、差分部５０４の結果が１である部分は
動き領域であるため、背景の混合比を大きく（例えばａ
＝０．１２５）設定し、そうでない部分については、入
力画像の混合比を大きく（例えばａ＝０．７５）設定す
る。また、画素数計数部５０４では、差分部５０３で検
出された動き画素（結果が１の画素）を計数し、背景変
化判断部５０５では画素数計数部５０４の結果が所定値
より大きくなった場合や、増加率が所定値以上になった
場合を検出して、係数決定部５０１に出力する。係数決
定部５０１では、背景変化判断部５０５により背景の急
激な変化と判断された部分については、例えばａ＝１と
して、背景画像を更新する。The output of the image input unit 101 is the background generation unit 1.
02 and the difference unit 105, and is also supplied to the image storage unit 502 and the difference unit 503. The image storage unit 502 stores an image input for a certain period (for example, one frame period) for one screen, reads a pixel at a position corresponding to the input image as the image for the certain period before, and outputs the pixel to the difference unit 503. To do. The difference unit 503 obtains the absolute value of the difference between the input image and the previous image from the image storage unit 502, and outputs 1 as a difference result for pixels having a predetermined value (for example, 128) or more and 0 for pixels that are not so. To do. That is, the time differential between the input image and the image before the fixed period is taken, and the portion having a large difference is output as a moving pixel. The result of the difference unit 503 is
It is provided to the coefficient determination unit 501 and the pixel number counting unit 504.
In the coefficient determination unit, since the portion where the result of the difference unit 504 is 1 is the motion area, the background mixing ratio is increased (for example, a
= 0.125), and for other portions, the mixture ratio of the input image is set large (for example, a = 0.75). Further, when the pixel number counting unit 504 counts the moving pixels (pixels whose result is 1) detected by the difference unit 503, and the background change determination unit 505 determines that the result of the pixel number counting unit 504 becomes larger than a predetermined value. Alternatively, a case where the increase rate is equal to or higher than a predetermined value is detected and output to the coefficient determination unit 501. The coefficient determination unit 501 updates the background image, for example, with a = 1 for the portion determined by the background change determination unit 505 to be a rapid change in the background.
【００２５】ここで、入力画像として一様に黒い背景の
前で明るい無地の円形の領域が移動する場合を例にとっ
て、図６を用いて動作を説明する。入力画像（ａ）が入
力された時に背景記憶部１０４に記憶されている背景画
像を（ｂ）とすると、差分部１０５による差の絶対値が
１２８以上の領域は（ｃ）のようになり、差分部５０３
による差の絶対値が１２８以上の領域は（ｄ）のように
なる。このときに背景生成部１０２では（ａ）と（ｂ）
より背景画像（ｅ）が生成される。そして、次の入力画
像（ｆ）が入力されると、背景画像（ｇ）との差分の結
果により、背景との差分結果（ｈ）および前の画像との
差分結果（ｉ）が得られ、生成される背景は（ｊ）のよ
うになる。同様にして、順次画像（ｋ），（ｐ）が入力
され検出結果（ｍ），（ｒ）が得られ、背景画像として
は（ｏ），（ｔ）が生成される。Here, the operation will be described with reference to FIG. 6 by taking as an example the case where a bright plain circular area moves in front of a black background as an input image. Assuming that the background image stored in the background storage unit 104 when the input image (a) is input is (b), the area where the absolute value of the difference by the difference unit 105 is 128 or more is as shown in (c), Difference unit 503
The area where the absolute value of the difference due to is 128 or more is as shown in (d). At this time, the background generation unit 102 (a) and (b)
The background image (e) is generated. Then, when the next input image (f) is input, a difference result with the background (h) and a difference result with the previous image (i) are obtained from the difference result with the background image (g). The generated background is as shown in (j). Similarly, images (k) and (p) are sequentially input, detection results (m) and (r) are obtained, and (o) and (t) are generated as background images.
【００２６】以上のように本実施例によれば、入力画像
の時間微分の値が所定値以上の画素と所定値以下の画素
とで背景生成部の係数を変えることにより、入力画像と
背景画像との混合比を変えて背景画像を生成するように
したので高精度な背景生成を行うことができ、動作開始
時に移動物体が背景として記憶されていた場合について
も誤検出が速やかに回復する。また、入力画像の時間微
分の値が大きくなりすぎた場合や急激に増加した場合を
検出してその部分の背景画像を入力画像で置き換えるよ
うにしたので、急激な背景変化に対しても速やかに誤検
出部分をなくすることができる。As described above, according to the present embodiment, the coefficient of the background generation unit is changed between the pixels whose time differential value of the input image is equal to or larger than the predetermined value and the pixels whose predetermined value is equal to or smaller than the predetermined value. Since the background image is generated by changing the mixing ratio of the and, the high-accuracy background generation can be performed, and the erroneous detection can be promptly recovered even when the moving object is stored as the background at the start of the operation. Also, when the value of the time derivative of the input image becomes too large or increases sharply, the background image of that part is replaced with the input image, so that it is possible to promptly respond to a sudden background change. The false detection part can be eliminated.
【００２７】なお、第２の実施例において、一定期間ご
とに画像を画像記憶部５０２に記憶させるようにした
が、この期間については、固定値である必要はなく状況
に応じて変化させてもよい。In the second embodiment, the image is stored in the image storage unit 502 at regular intervals, but this period does not have to be a fixed value and may be changed depending on the situation. Good.
【００２８】また、第１及び第２の実施例において、差
分部のしきい値や、背景変化判断部の画素数のしきい値
および画素数増加率のしきい値を固定の値としたが状況
に応じて変化させてもよい。Further, in the first and second embodiments, the threshold value of the difference part, the threshold value of the pixel number and the threshold value of the pixel number increase rate of the background change judging part are fixed values. It may be changed depending on the situation.
【００２９】[0029]
【発明の効果】以上説明したように、本発明によれば、
急激な照明変化や動作中の静止物体の隠現による誤検出
を少なくすることができ、その実用的効果は大きい。As described above, according to the present invention,
It is possible to reduce erroneous detection due to abrupt changes in illumination and the concealment of a stationary object during operation, and its practical effect is great.
【図１】本発明の第１の実施例の移動物体検出装置のブ
ロック図FIG. 1 is a block diagram of a moving object detection device according to a first embodiment of the present invention.
【図２】図１における加算記憶部の構成の一例を示すブ
ロック図FIG. 2 is a block diagram showing an example of a configuration of an addition storage section in FIG.
【図３】図１の動作を説明するための説明図FIG. 3 is an explanatory diagram for explaining the operation of FIG.
【図４】図１の動作を説明するための説明図FIG. 4 is an explanatory diagram for explaining the operation of FIG. 1.
【図５】本発明の第２の実施例の移動物体検出装置のブ
ロック図FIG. 5 is a block diagram of a moving object detection device according to a second embodiment of the present invention.
【図６】図５の動作を説明するための説明図6 is an explanatory diagram for explaining the operation of FIG.
１０１ 画像入力部 １０２ 背景生成部 １０３，５０１ 係数決定部 １０４ 背景記憶部 １０５，５０３ 差分部 １０６ 残像生成部 １０７ 残像記憶部 １０８ 画像表示部 １０９ 加算記憶部 １１０ 静止判断部 １１１，５０４ 画素数計数部 １１２，５０５ 背景変化判断部 ５０２ 画像記憶部 101 image input unit 102 background generation unit 103, 501 coefficient determination unit 104 background storage unit 105, 503 difference unit 106 afterimage generation unit 107 afterimage storage unit 108 image display unit 109 addition storage unit 110 stillness determination unit 111, 504 pixel number counting unit 112, 505 background change determination unit 502 image storage unit
Claims (6)
る背景画像記憶手段と、前記画像入力手段より得られた
入力画像と前記背景画像記憶手段に記憶された背景画像
とを画素ごとに所定の割合で加算して新たな背景画像を
得る背景画像生成手段と、前期背景画像記憶手段と前記
入力画像との差をとる差分手段と、前記差分手段の結果
により前記背景生成手段における前記入力画像と前記背
景画像との加算の割合を決定する係数決定手段とを備え
たことを特徴とする移動物体検出装置。1. An image input means, a background image storage means for storing a background image, an input image obtained by the image input means, and a background image stored in the background image storage means for each pixel. Background image generation means for adding a predetermined ratio to obtain a new background image, difference means for calculating the difference between the previous background image storage means and the input image, and the input in the background generation means based on the result of the difference means. A moving object detecting apparatus, comprising: a coefficient determining unit that determines an addition ratio of an image and the background image.
の数を計数し、その数が所定の値より大きいかまたは増
加率が所定の値より大きいことを検出する背景変化検出
手段を備え、前記背景変化検出手段により係数決定手段
の係数を変化させることを特徴とする請求項１記載の移
動物体検出装置。2. A background change detecting means for counting the number of pixels whose result of the difference means is larger than a predetermined value and detecting that the number is larger than a predetermined value or an increase rate is larger than a predetermined value. 2. The moving object detecting device according to claim 1, wherein the coefficient of the coefficient determining means is changed by the background change detecting means.
が、所定の時間より長い間連続して同一の位置に存在す
るのを検出する静止検出手段を備え、前記静止検出手段
の結果により係数決定手段の係数を変化させることを特
徴とする請求項１または２記載の移動物体検出装置。3. A stillness detecting means for detecting that a pixel whose result of the difference means is larger than a predetermined value is continuously present at the same position for a longer time than a predetermined time. The moving object detecting device according to claim 1 or 2, wherein the coefficient of the coefficient determining means is changed.
る背景画像記憶手段と、前記画像入力手段より得られた
入力画像と前記背景画像記憶手段に記憶された背景画像
とを画素ごとに所定の割合で加算して新たな背景画像を
得る背景画像生成手段と、前期背景画像記憶手段と前記
入力画像との差をとる第１の差分手段と、前記入力画像
を記憶する画像記憶手段と、前記入力画像と前記画像記
憶手段に記憶された画像との差分をとる第２の差分手段
と、前記第２の差分手段の結果により前記背景生成手段
における前記入力画像と前記背景画像との加算の割合を
決定する係数決定手段とを備えたことを特徴とする移動
物体検出装置。4. An image input means, a background image storage means for storing a background image, an input image obtained by the image input means, and a background image stored in the background image storage means for each pixel. Background image generation means for obtaining a new background image by adding at a predetermined ratio, first difference means for taking a difference between the previous background image storage means and the input image, and image storage means for storing the input image. A second difference means for calculating a difference between the input image and the image stored in the image storage means, and addition of the input image and the background image in the background generation means based on a result of the second difference means. And a coefficient determining unit that determines the ratio of the moving object.
い画素の数を計数し、その数が所定の値より大きいかま
たは増加率が所定の値より大きいことを検出する背景変
化検出手段を備え、前記背景変化検出手段により係数決
定手段の係数を変化させることを特徴とする請求項４記
載の移動物体検出装置。5. A background change detection for counting the number of pixels whose result by the second difference means is larger than a predetermined value and detecting that the number is larger than a predetermined value or an increase rate is larger than a predetermined value. 5. The moving object detecting device according to claim 4, further comprising means, wherein the coefficient of the coefficient determining means is changed by the background change detecting means.
を記憶する画像記憶部と、前記画像入力手段より得られ
た入力画像と前記記憶部に記憶された画像との差分を計
算する差分手段と、残像を記憶する残像記憶手段と、前
記差分手段による差分結果と前記残像記憶手段に記憶さ
れた残像画像とを画素ごとに所定の割合で加算して新た
な残像画像を得る残像生成手段とを備えたことを特徴と
する移動物体検出装置。6. An image input unit, an image storage unit for storing a background image or an input image, and a difference unit for calculating a difference between the input image obtained by the image input unit and the image stored in the storage unit. An afterimage storage unit for storing an afterimage, and an afterimage generation unit for obtaining a new afterimage by adding a difference result by the difference unit and the afterimage stored in the afterimage storage unit at a predetermined ratio for each pixel. A moving object detection device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4026452A JPH05225341A (en) | 1992-02-13 | 1992-02-13 | Mobile object detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4026452A JPH05225341A (en) | 1992-02-13 | 1992-02-13 | Mobile object detector |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05225341A true JPH05225341A (en) | 1993-09-03 |
Family
ID=12193898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4026452A Pending JPH05225341A (en) | 1992-02-13 | 1992-02-13 | Mobile object detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05225341A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5748775A (en) * | 1994-03-09 | 1998-05-05 | Nippon Telegraph And Telephone Corporation | Method and apparatus for moving object extraction based on background subtraction |
| JP2007164375A (en) * | 2005-12-12 | 2007-06-28 | Nippon Syst Wear Kk | Three-dimensional object detection device and method, computer readable medium and three-dimensional object management system |
| JP2013127744A (en) * | 2011-12-19 | 2013-06-27 | Panasonic Corp | Object detection device and object detection method |
| JP2020504383A (en) * | 2017-01-23 | 2020-02-06 | 富士通株式会社 | Image foreground detection device, detection method, and electronic apparatus |
-
1992
- 1992-02-13 JP JP4026452A patent/JPH05225341A/en active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5748775A (en) * | 1994-03-09 | 1998-05-05 | Nippon Telegraph And Telephone Corporation | Method and apparatus for moving object extraction based on background subtraction |
| JP2007164375A (en) * | 2005-12-12 | 2007-06-28 | Nippon Syst Wear Kk | Three-dimensional object detection device and method, computer readable medium and three-dimensional object management system |
| JP2013127744A (en) * | 2011-12-19 | 2013-06-27 | Panasonic Corp | Object detection device and object detection method |
| JP2020504383A (en) * | 2017-01-23 | 2020-02-06 | 富士通株式会社 | Image foreground detection device, detection method, and electronic apparatus |
| US11107237B2 (en) | 2017-01-23 | 2021-08-31 | Fujitsu Limited | Image foreground detection apparatus and method and electronic device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6954225B2 (en) | Method for detecting moving objects by comparing video images | |
| US6665342B1 (en) | System and method for producing a still image representation of a motion video | |
| US6061088A (en) | System and method for multi-resolution background adaptation | |
| KR100377068B1 (en) | Method for estimating the location of an image target region from tracked multiple image landmark regions | |
| JP4291796B2 (en) | Display device | |
| US6175659B1 (en) | Method and apparatus for image scaling using adaptive edge enhancement | |
| JP2007310096A (en) | Video display apparatus, and display brightness control method therefor | |
| JP4933782B2 (en) | Flicker video detection apparatus, flicker video detection program, video display apparatus, and flicker detection method | |
| KR20050034536A (en) | A method for tracking the disappearance of detected logos within digital video signals | |
| US20100026904A1 (en) | Video signal processing apparatus and video signal processing method | |
| JPH05205052A (en) | Automatic tracking device | |
| JPH05225341A (en) | Mobile object detector | |
| JP4559043B2 (en) | Image monitoring device | |
| JP2009182865A (en) | Image display device and method, image processor, and image processing method | |
| JP3786300B2 (en) | Motion vector detection apparatus and motion vector detection method | |
| JPH09265538A (en) | Automatic tracking device | |
| KR0176493B1 (en) | Contour compensation circuit for digital image | |
| JP2667885B2 (en) | Automatic tracking device for moving objects | |
| JPH0950525A (en) | Picture processor | |
| KR100283754B1 (en) | Aspect ratio adjusting device and method of display device | |
| JP3185362B2 (en) | Moving object detection device | |
| KR950009663B1 (en) | Apparatus for correcting a hand motion in a camcorder | |
| JPH03140070A (en) | Moving vector detector | |
| JP4795314B2 (en) | Flicker correction apparatus and flicker correction method | |
| JP2003177726A (en) | Image processing system and program, and information storage medium |