JPH10208057A - Moving object separating device and extracting device - Google Patents
Moving object separating device and extracting deviceInfo
- Publication number
- JPH10208057A JPH10208057A JP760197A JP760197A JPH10208057A JP H10208057 A JPH10208057 A JP H10208057A JP 760197 A JP760197 A JP 760197A JP 760197 A JP760197 A JP 760197A JP H10208057 A JPH10208057 A JP H10208057A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- moving
- motion vector
- moving object
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、動画像中の動物体
を分離し抽出する装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for separating and extracting a moving object in a moving image.
【０００２】[0002]
【従来の技術】従来、動画像中の動物体を分離し抽出す
る装置として、フレーム間差分による方法が知られてい
る。別の方法として、背景差分を用いた動物体抽出装置
も知られているが、この方法は、フレーム間差分による
抽出装置において、過去のフレームの代わりに予め作成
した背景フレームを使用することにほかならない。図７
は従来のフレーム間差分による動物体抽出装置として、
１９９５年電子情報通信学会総合大会Ｄ−４１４におい
て公表されたものである。以下、図７を参照して、フレ
ーム間差分を用いた従来の動物体抽出装置について説明
する。図７において、１０００、１００１はフレームメ
モリ、１００２は差分部、１００３は２値化部、１００
４は累積部、１００５は抽出部である。2. Description of the Related Art Conventionally, as a device for separating and extracting a moving object in a moving image, a method using an inter-frame difference has been known. As another method, a moving object extraction device using background subtraction is also known.However, this method is different from using a previously created background frame instead of a past frame in an extraction device using inter-frame difference. No. FIG.
Is a conventional moving object extraction device using frame differences,
It was published at the 1995 IEICE General Conference D-414. Hereinafter, a conventional moving object extracting apparatus using the difference between frames will be described with reference to FIG. 7, 1000 and 1001 are frame memories, 1002 is a difference unit, 1003 is a binarization unit, 100
4 is an accumulating unit, and 1005 is an extracting unit.
【０００３】以上のように構成された動物体抽出装置に
ついて、以下、その動作を説明する。入力部１００６か
ら入力された画像は、フレームメモリ１０００に蓄積さ
れる。このとき、フレームメモリ１００１には、フレー
ムメモリ１０００内に蓄積されている予め定められた遅
延時間だけ前のフレームが転送、記録される。差分部１
００２は、フレームメモリ１０００および１００１のそ
れぞれ対応する画素の値を読みだし、両者の差分値を２
値化部１００３へ出力する。２値化部１００３は、差分
部１００２からの出力の絶対値を求め、適当な閾値によ
り、例えば、閾値以上の値を持つ画素を動領域として
“１”、それ以外の画素を静止領域として“０”にそれ
ぞれ２値化する。累積部１００４では、２値化部１００
３の出力結果の予め定めたフレーム数分の論理和を求
め、抽出部１００５へ出力する。抽出部１００５では、
累積部１００４から出力される２値画像内の動領域を示
す閉領域、つまり２値化部１００３において動領域を
“１”とした場合は、“１”で形成される閉領域を塗り
潰し、その結果を出力部１００７から出力する。なお、
累積部１００４では、論理和ではなく、例えば電気学会
通信研究会ＣＭＮ−９３−８６において公表された論理
積を用いる場合もある。[0003] The operation of the moving object extracting apparatus configured as described above will be described below. The image input from the input unit 1006 is stored in the frame memory 1000. At this time, the previous frame stored in the frame memory 1000 is transferred and recorded in the frame memory 1001 by a predetermined delay time. Difference unit 1
002 reads the values of the corresponding pixels of the frame memories 1000 and 1001, and calculates the difference value between the two by 2
Output to the value conversion unit 1003. The binarization unit 1003 obtains the absolute value of the output from the difference unit 1002, and sets, for example, a pixel having a value equal to or larger than the threshold to “1” as a moving area and an other pixel as a still area using an appropriate threshold. Each value is binarized to "0". In the accumulating unit 1004, the binarizing unit 100
A logical sum corresponding to a predetermined number of frames of the output result of No. 3 is obtained and output to the extracting unit 1005. In the extraction unit 1005,
When the closed region indicating the moving region in the binary image output from the accumulating unit 1004, that is, when the moving region is set to “1” in the binarizing unit 1003, the closed region formed by “1” is painted out. The result is output from the output unit 1007. In addition,
The accumulating unit 1004 may use, for example, a logical product published by the Institute of Electrical Engineers of Japan CMN-93-86 instead of a logical sum.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、上記し
た差分の絶対値により動物体を判定する方式では、画面
上で動物体同士に重なりがある場合、それらの動物体は
同一の動物体として抽出され、動物体同士を分離するこ
とはできないという問題があった。However, in the above-described method of determining a moving object based on the absolute value of the difference, if the moving objects overlap on the screen, the moving objects are extracted as the same moving object. However, there is a problem that the moving bodies cannot be separated from each other.
【０００５】本発明は、画面上で動物体同士に重なりが
ある場合でも、個々の動物体に分離して抽出することの
できる動物体分離装置および動物体抽出装置を提供する
ことを目的とする。It is an object of the present invention to provide a moving object separating apparatus and a moving object extracting apparatus which can separate and extract individual moving objects even when the moving objects overlap each other on a screen. .
【０００６】[0006]
【課題を解決するための手段】本発明による動物体分離
装置は、動きベクトル検出部と動きベクトル分類部と動
物体分離部とを備えることで、動物体の動きを利用して
同一の動領域中の動物体を分離することが可能となり、
画面上で重なりを持つ動物体を個々の動物体に分離する
ことができる。A moving object separating apparatus according to the present invention includes a motion vector detecting unit, a motion vector classifying unit, and a moving object separating unit. It is possible to separate the moving object inside,
Moving objects having an overlap on the screen can be separated into individual moving objects.
【０００７】また本発明による動物体抽出装置は、上記
した動領域分離装置と累積数調整部と２次累積部とを備
えることで、動物体の動きを利用して同一の動領域中の
動物体を精度良く、分離、抽出することが可能となり、
動物体の画面上での重なりや、動物体の速度に依存せ
ず、個々の動物体を精度良く抽出することができる。Further, the moving object extracting apparatus according to the present invention includes the above-described moving area separating apparatus, the cumulative number adjusting section, and the secondary accumulating section, so that the moving object using the moving object can be used to move the moving object in the same moving area. It is possible to separate and extract the body with high accuracy,
Individual moving objects can be accurately extracted without depending on the overlapping of moving objects on the screen or the speed of the moving object.
【０００８】[0008]
【発明の実施の形態】本発明の請求項１に記載の発明
は、動画像中の動領域を抽出する動領域抽出部と、動画
像から動きベクトルを検出する動きベクトル検出部と、
動領域内の動きベクトルを分類する動きベクトル分類部
と、動きベクトル分類部での分類結果に基づいて動領域
内を複数の領域に分割して動物体を分離する動物体分離
部とを備えた動物体分離装置であり、動きベクトルを分
類することにより、画面内で重なりを持つ動物体を個々
の動物体として分離して抽出できるという作用を有す
る。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS According to the first aspect of the present invention, there is provided a moving area extracting section for extracting a moving area in a moving picture, a motion vector detecting section for detecting a motion vector from the moving picture,
A motion vector classifying unit for classifying a motion vector in the moving region; and a moving object separating unit for separating the moving object by dividing the moving region into a plurality of regions based on the classification result in the motion vector classifying unit. This is a moving object separating apparatus, and has an effect that, by classifying motion vectors, moving objects having an overlap in a screen can be separated and extracted as individual moving objects.
【０００９】請求項２記載の発明は、動きベクトル分類
部が、動きベクトルを任意の射影軸に射影し、射影軸上
への射影頻度を求める動きベクトル射影部と、射影軸上
の射影頻度を１次元の離散関数と見なし、２次微分の零
交差点や１次微分の大きさなどの数学的条件により１次
元離散関数を複数の領域に分割する１次分割部と、１次
分割部での射影軸上での分割結果に基づき動きベクトル
を複数の組に分類する２次分割部とを備えた請求項１記
載の動物体分離装置であり、動きベクトルを分類するこ
とにより、画面内で重なりを持つ動物体を個々の動物体
として分離して抽出できるという作用を有する。According to a second aspect of the present invention, the motion vector classifying unit projects the motion vector onto an arbitrary projection axis, and calculates the projection frequency on the projection axis. A first-order division unit that regards a one-dimensional discrete function as a one-dimensional discrete function and divides the one-dimensional discrete function into a plurality of regions based on mathematical conditions such as a zero crossing point of the second derivative and the magnitude of the first derivative, 2. The moving object separating apparatus according to claim 1, further comprising: a secondary dividing unit that classifies the motion vectors into a plurality of sets based on a result of division on the projection axis. Has the effect of being able to separate and extract animal bodies having.
【００１０】請求項３記載の発明は、動きベクトルを主
成分分析する主成分分析部を備え、動きベクトル射影部
が、動きベクトルの主成分軸と主成分軸の法線方向の軸
との各軸上へ動きベクトルを射影し、各射影軸上への射
影頻度を求める請求項２記載の動物体分離装置であり、
動きベクトルを分類することにより、画面内で重なりを
持つ動物体を個々の動物体として分離して抽出できると
いう作用を有する。According to a third aspect of the present invention, there is provided a principal component analyzing section for principal component analysis of a motion vector, wherein the motion vector projecting section includes a main component axis of the motion vector and an axis in a direction normal to the principal component axis. The moving object separating apparatus according to claim 2, wherein the motion vector is projected on the axis, and the projection frequency on each projected axis is obtained.
The classification of the motion vectors has an effect that moving objects having overlaps in the screen can be separated and extracted as individual moving objects.
【００１１】請求項４記載の発明は、請求項１または２
記載の動物体分離装置と、動物体分離装置で分離された
動物体毎に動きベクトルを用いて動領域の累積数を決定
する累積数調整部と、累積数調整部により決定された累
積数だけ、フレーム間差分により抽出した複数の時点に
おける動領域を累積し直して、最終的な動領域として抽
出する２次累積部とを備えた動物体抽出装置であり、動
物体の画面上での重なりや、動物体の速度に依存せず、
個々の動物体を精度良く抽出できるという作用を有す
る。The invention described in claim 4 is the first or second invention.
The described moving object separating device, a cumulative number adjusting unit that determines the cumulative number of moving regions using a motion vector for each moving object separated by the moving object separating device, and only the cumulative number determined by the cumulative number adjusting unit. And a secondary accumulator for re-accumulating the moving regions at a plurality of points of time extracted by the inter-frame difference and extracting the moving regions as a final moving region. And regardless of the speed of the animal,
It has the effect of being able to accurately extract individual animals.
【００１２】以下、本発明の実施の形態について、図１
から図６を用いて説明する。 （実施の形態１）図１は本発明の第１の実施の形態にお
ける動物体分離装置の構成を示したものである。図１に
おいて、１１は動画像中の動領域を抽出する動領域抽出
部、１２は動画像から動きベクトルを検出する動きベク
トル検出部、１３は検出された動きベクトルを蓄積する
メモリ、１４は動領域内の動きベクトルを分類する動き
ベクトル分類部、１５は動きベクトル分類部１４での分
類結果に基づいて動領域内を複数の領域に分割して動物
体を分離する動物体分離部である。Hereinafter, an embodiment of the present invention will be described with reference to FIG.
This will be described with reference to FIG. (Embodiment 1) FIG. 1 shows the structure of a moving object separating apparatus according to a first embodiment of the present invention. In FIG. 1, reference numeral 11 denotes a moving region extracting unit that extracts a moving region in a moving image, 12 denotes a motion vector detecting unit that detects a motion vector from the moving image, 13 denotes a memory that stores detected motion vectors, and 14 denotes a moving image. A motion vector classification unit 15 for classifying a motion vector in the region is a moving object separation unit that divides the moving region into a plurality of regions based on the classification result of the motion vector classification unit 14 and separates a moving object.
【００１３】次に、上記のように構成された動物体分離
装置の動作について説明する。動領域抽出部１１は、入
力部１６から順次入力されるフレームの動領域を、フレ
ーム間差分を用いて抽出する。動きベクトル検出部１２
は、入力部１６から順次入力されるフレームを用いて、
動領域抽出部１１で抽出された動領域の動きベクトルを
検出する。この動きベクトルは、メモリ１３に蓄積され
る。動きベクトル分類部１４では、メモリ１３から順次
動きベクトルを呼び出し、動きベクトルの分類法を決定
した後、その分類法に基づいて、動きベクトルを分類す
る。動物体分離部１５では、動きベクトル分類部１４の
分類結果を基に、動領域抽出部１１で抽出された動領域
を分割し、その結果を出力部１７から出力する。なお、
動領域抽出部１１としては、図７のフレーム間差分を用
いた動物体抽出装置をそのまま用いるが、背景差分を用
いた動物体抽出装置を使用しても良い。Next, the operation of the moving object separating apparatus configured as described above will be described. The moving region extracting unit 11 extracts a moving region of a frame sequentially input from the input unit 16 using the inter-frame difference. Motion vector detector 12
Is, using frames sequentially input from the input unit 16,
The motion vector of the moving area extracted by the moving area extracting unit 11 is detected. This motion vector is stored in the memory 13. The motion vector classifying unit 14 sequentially calls the motion vectors from the memory 13, determines the classification method of the motion vector, and then classifies the motion vectors based on the classification method. The moving object separating unit 15 divides the moving region extracted by the moving region extracting unit 11 based on the classification result of the motion vector classifying unit 14 and outputs the result from the output unit 17. In addition,
As the moving region extraction unit 11, the moving object extraction device using the difference between frames in FIG. 7 is used as it is, but a moving object extraction device using a background difference may be used.
【００１４】図２は本実施の形態における動きベクトル
検出部１２の構成を示したものである。図２に示す動き
ベクトル検出部１２は、予め定められたブロック単位、
例えば１６×１６画素単位で、ブロックマッチング法に
より動きベクトルを検出する。図２において、２１はフ
レームメモリであり、図１の入力部１６から入力された
フレームは、ここに蓄積される。このとき、別のフレー
ムメモリ２２には、フレームメモリ２１内に蓄積されて
いる予め定められた遅延時間だけ前のフレームが転送、
蓄積される。マッチング位置制御部２３では、動領域抽
出部１１から入力される動領域に基づいて、動きベクト
ルを検出すべきブロックを決定する。マッチング位置制
御部２３は、動きベクトルを検出すべきブロックに対
し、予め設定された動きベクトルの探索範囲内を全て探
索するように、ブロックのマッチング位置を制御し、マ
ッチング部２４およびベクトル判定部２５へ通知する。
また、マッチング位置制御部２３は、全ての探索範囲を
探索し終えた後、その旨をベクトル判定部２５へ出力す
る。マッチング部２４では、マッチング位置制御部２３
から入力されるマッチング位置に従って、フレームメモ
リ２１、２２内の該当する位置のブロックをそれぞれ読
みだし、マッチングを取る。マッチングとしては、例え
ば２つのブロック内の同位置にある画素同士の差分値の
絶対値のブロック内総和を用いる。マッチング結果は、
ベクトル判定部２５へ送られ、ブロック毎に、マッチン
グの結果が最小となった位置が動きベクトルとして図１
のメモリ１３へ出力される。動きベクトルを検出する必
要のないブロックに対しては、動きベクトルは検出され
ない。FIG. 2 shows the configuration of the motion vector detecting section 12 in the present embodiment. The motion vector detection unit 12 shown in FIG.
For example, a motion vector is detected by a block matching method in units of 16 × 16 pixels. In FIG. 2, reference numeral 21 denotes a frame memory in which frames input from the input unit 16 in FIG. 1 are stored. At this time, the previous frame stored in the frame memory 21 is transferred to another frame memory 22 by a predetermined delay time,
Stored. The matching position control unit 23 determines a block from which a motion vector is to be detected based on the moving area input from the moving area extracting unit 11. The matching position control unit 23 controls the matching position of the block so as to search all of the blocks in which the motion vector is to be detected within the preset search range of the motion vector. Notify to
After completing the search in all search ranges, the matching position control unit 23 outputs the fact to the vector determination unit 25. In the matching unit 24, the matching position control unit 23
In accordance with the matching position input from, the block at the corresponding position in the frame memories 21 and 22 is read out and matched. As the matching, for example, the sum in the block of the absolute value of the difference value between the pixels at the same position in the two blocks is used. The matching result is
The position at which the result of matching is minimized is sent to the vector determination unit 25, and the position where the result of matching is minimized is determined as a motion vector in FIG.
Is output to the memory 13. No motion vector is detected for a block for which no motion vector needs to be detected.
【００１５】なお、上記動きベクトル検出部１２では、
ブロックマッチング法を用いて動きベクトルを検出して
いるが、勾配法など、その他の方法により動きベクトル
を検出しても良い。この場合、動きベクトルは、検出方
法に応じて、画素毎、領域毎に出力される。In the motion vector detecting section 12,
Although the motion vector is detected by using the block matching method, the motion vector may be detected by another method such as a gradient method. In this case, the motion vector is output for each pixel and each area according to the detection method.
【００１６】図３は本実施の形態における動きベクトル
分類部１４および動物体分離部１５の構成を示したもの
である。図３において、動きベクトル分類部１４は、図
１のメモリ１３から入力される動きベクトルを複数の組
に分類して、動物体分離部１５へ出力する。動物体分離
部１５は、動きベクトル分類部１４での分類結果を用い
て、動領域抽出部１１から入力される動領域をラベリン
グし、その結果を出力部１７へ出力する。動きベクトル
分類部１４は、主成分分析部３１、動きベクトル射影部
３２、1 次分割部３５、２次分割部３６とから構成され
る。主成分分析部３１は、メモリ１３から入力される動
きベクトルを主成分分析し、主成分軸とそれに直交する
軸とを検出する。以下、この２軸を射影軸と呼ぶ。動き
ベクトル射影部３２は、射影部３３とメモリ３４とから
構成される。射影部３３は、まず、主成分分析部３１で
検出された射影軸を適当な間隔で量子化し、その結果を
２次分割部３６へ出力する。その後、射影部３３は、メ
モリ１３から入力される動きベクトルを各射影軸へ射影
し、その頻度分布を射影軸毎にメモリ３４へと蓄積す
る。１次分割部３５は、メモリ３４に蓄積された射影軸
毎の頻度分布を１次元の離散関数とみなし、その極小点
を分割位置として２次分割部３６へ出力する。２次分割
部３６は、テーブル作成部３７とメモリ３８と分類部３
９とから構成される。テーブル作成部３７は、動きベク
トル射影部３２から入力される射影軸、量子化幅と、次
分割部３５から入力される各射影軸の分割位置とを基
に、２次元ベクトル空間を複数の組に分割し、その結果
をテーブルとしてメモリ３８に蓄積する。分類部３９
は、メモリ１３から入力される動きベクトルをメモリ３
８内のテーブルを基に分類し、その結果を動物体分離部
１５へ出力する。動物体分離部１５は、メモリ４０とラ
ベリング部４１とから構成される。メモリ４０は、２次
分割部３６により分類された動きベクトルの分類結果を
蓄積する。ラベリング部４１は、動領域抽出部１１から
入力される動領域と、メモリ４０内の動きベクトルの分
類結果とを対応付けて、同じ動領域内で、同じ組に属す
る動きベクトルをもつ領域を一つの動物体とみなして、
その位置を図１の出力部１７へ出力する。FIG. 3 shows a configuration of the motion vector classifying unit 14 and the moving object separating unit 15 in the present embodiment. 3, the motion vector classification unit 14 classifies the motion vectors input from the memory 13 in FIG. 1 into a plurality of sets and outputs the groups to the moving object separation unit 15. The moving object separating unit 15 labels the moving region input from the moving region extracting unit 11 using the classification result of the motion vector classifying unit 14 and outputs the result to the output unit 17. The motion vector classification unit 14 includes a principal component analysis unit 31, a motion vector projection unit 32, a primary division unit 35, and a secondary division unit 36. The principal component analysis unit 31 performs principal component analysis on the motion vector input from the memory 13 and detects a principal component axis and an axis orthogonal thereto. Hereinafter, these two axes are called projection axes. The motion vector projecting unit 32 includes a projecting unit 33 and a memory 34. The projection unit 33 first quantizes the projection axis detected by the principal component analysis unit 31 at appropriate intervals, and outputs the result to the secondary division unit 36. Thereafter, the projection unit 33 projects the motion vector input from the memory 13 onto each projection axis, and stores the frequency distribution in the memory 34 for each projection axis. The primary division unit 35 regards the frequency distribution for each projection axis stored in the memory 34 as a one-dimensional discrete function, and outputs the minimum point to the secondary division unit 36 as a division position. The secondary division unit 36 includes a table creation unit 37, a memory 38, and a classification unit 3
9. The table creation unit 37 divides the two-dimensional vector space into a plurality of sets based on the projection axis and quantization width input from the motion vector projection unit 32 and the division position of each projection axis input from the next division unit 35. And the result is stored in the memory 38 as a table. Classification unit 39
Stores the motion vector input from the memory 13 in the memory 3
The classification is performed based on the table in 8, and the result is output to the moving object separating unit 15. The moving object separating unit 15 includes a memory 40 and a labeling unit 41. The memory 40 stores the classification results of the motion vectors classified by the secondary division unit 36. The labeling unit 41 associates the moving region input from the moving region extracting unit 11 with the classification result of the motion vector in the memory 40, and identifies one region having a motion vector belonging to the same group in the same moving region. As two animals,
The position is output to the output unit 17 in FIG.
【００１７】図４は図３における１次分割部３５の構成
を示したものである。図４において、差分部５１と遅延
部５２とは、図３のメモリ３４から入力される１次元の
離散関数の１次微分を算出し、差分部５３と遅延部５４
とは、メモリ１３から入力される１次元の離散関数の２
次微分を算出する。差分部５１は、メモリ１３から順次
入力される１次元の離散関数の現在の値と、遅延部５２
から入力される一つ前の値との差分を計算する。差分部
５３は、差分部５４から順次入力される１次微分値の現
在の値と、遅延部５２から入力される一つ前の値との差
分を計算する。符号比較部５５は、差分部５３から順次
入力される２次微分値の現在の値と、遅延部５６から入
力される一つ前の値との符号を比較し、零交差点を検出
し、その位置をメモリ５７へと蓄積する。FIG. 4 shows the structure of the primary division section 35 in FIG. 4, a difference unit 51 and a delay unit 52 calculate a first derivative of a one-dimensional discrete function input from the memory 34 in FIG.
Is a one-dimensional discrete function input from the memory 13
Calculate the second derivative. The difference unit 51 includes a current value of a one-dimensional discrete function sequentially input from the memory 13 and a delay unit 52.
Calculates the difference from the previous value input from. The difference unit 53 calculates a difference between the current value of the primary differential value sequentially input from the difference unit 54 and the immediately preceding value input from the delay unit 52. The sign comparing unit 55 compares the sign of the current value of the secondary differential value sequentially inputted from the difference unit 53 with the sign of the immediately preceding value inputted from the delay unit 56, detects a zero crossing point, and The position is stored in the memory 57.
【００１８】なお、上記１次分割部３５では、２次微分
の零交差点により１次元離散関数を分離しているが、微
分計算の前に低域通過型のフィルタを通したり、零交差
点付近の１次微分の大きさと組み合わせて条件をきめる
など、他の方法により分離しても良い。Although the first-order division unit 35 separates a one-dimensional discrete function by a zero-crossing point of the second derivative, it passes through a low-pass filter before the differential calculation, or the vicinity of the zero-crossing point. The separation may be performed by another method such as determining the condition in combination with the magnitude of the first derivative.
【００１９】このように、上記第１の実施の形態によれ
ば、動きベクトル検出部と動きベクトル分類部と動物体
分離部とを設けることで、動物体の動きを利用して同一
の動領域中の動物体を分離することが可能となり、画面
上で重なりを持つ動物体を個々の動物体に分離すること
ができる。As described above, according to the first embodiment, by providing the motion vector detecting section, the motion vector classifying section, and the moving object separating section, the same moving area is utilized by using the moving object. It is possible to separate moving objects inside, and to separate moving objects having an overlap on the screen into individual moving objects.
【００２０】（実施の形態２）次に、本発明の第２の実
施の形態について説明する。図５は本実施の形態におけ
る動物体抽出装置の構成を示したものである。図５にお
いて、動物体抽出装置６１は、動物体分離装置６２と２
次累積部６３と累積数調整部６４とから構成される。動
物体分離装置６２は、図１と同じものであり、図７と同
じ構成を有する動領域抽出部１１は２値化部１１ａを有
する。２次累積部６３は、累積メモリ６５と累積制御部
６６とから構成される。また、累積数調整部６４は、平
均ベクトル算出部６７と累積数決定部６８とから構成さ
れる。平均ベクトル算出部６７は、動物体分離装置６２
により分離された動物体毎に動きベクトルの平均を求め
る。つまり、動物体分離装置６２の出力部１７からは各
動物体の位置が出力されるので、その位置における動き
ベクトルを動物体分離装置６２内のメモリ１３から読み
だし、その平均を求める。累積数決定部６８では、平均
ベクトル算出部６７から入力される平均ベクトルを用い
て動物体毎に累積数を決定する。例えば、動物体Ａの平
均ベクトルＭＶ−Ａの値が、ＸＹ座標で、（０．５，
１．２）の場合、各要素を整数倍した時に、各要素が２
以上になる最小の整数値４を動物体Ａの累積数とする。
累積メモリ６５は、例えば８ビットのフレームメモリで
あり、動物体分離装置６２内の２値化部１１ａの出力
を、図６のように８フレーム分蓄積する。つまり、ＬＳ
Ｂが現在の出力結果、ＭＳＢが７フレーム前の出力結果
となる。累積制御部６６は、動物体毎に、累積数調整部
６４で決められた累積数に従い、累積メモリ６５の蓄積
結果から動物体を判定して出力部６９に出力する。例え
ば、累積メモリ６５内に図６の形式で動領域の結果が蓄
積されている場合、累積数が４の動物体に対しては、累
積メモリ６５から読み出した値の下位４ビットが全て０
か否かを判定する。全て０の場合、過去４フレームにお
いて一度も動領域と判定されていないので、その領域は
動物体ではないと判定する。それ以外の領域は動物体と
して判定し、出力部６９から出力する。(Embodiment 2) Next, a second embodiment of the present invention will be described. FIG. 5 shows the configuration of the moving object extracting apparatus according to the present embodiment. In FIG. 5, the moving object extracting device 61 includes moving object separating devices 62 and 2.
The next accumulation unit 63 and the accumulation number adjustment unit 64 are provided. The moving object separation device 62 is the same as that in FIG. 1, and the moving region extraction unit 11 having the same configuration as in FIG. 7 includes a binarization unit 11a. The secondary accumulator 63 includes an accumulation memory 65 and an accumulation controller 66. The cumulative number adjusting unit 64 includes an average vector calculating unit 67 and a cumulative number determining unit 68. The average vector calculation unit 67 includes the moving object separation device 62
The average of the motion vector is obtained for each of the moving objects separated by. That is, since the position of each moving object is output from the output unit 17 of the moving object separating device 62, the motion vector at that position is read from the memory 13 in the moving object separating device 62, and the average is obtained. The cumulative number determination unit 68 determines the cumulative number for each moving object using the average vector input from the average vector calculation unit 67. For example, the value of the average vector MV-A of the moving object A is (0.5,
In the case of 1.2), when each element is multiplied by an integer, each element becomes 2
The minimum integer value 4 that becomes the above is the cumulative number of the moving objects A.
The accumulation memory 65 is, for example, an 8-bit frame memory, and accumulates the output of the binarization unit 11a in the moving object separation device 62 for eight frames as shown in FIG. That is, LS
B is the current output result, and MSB is the output result seven frames before. The accumulation control unit 66 determines a moving object from the accumulation result of the accumulation memory 65 and outputs the determined moving object to the output unit 69 according to the accumulated number determined by the accumulated number adjusting unit 64 for each moving object. For example, when the result of the moving area is stored in the accumulation memory 65 in the format of FIG. 6, for the moving object whose accumulation number is 4, all the lower 4 bits of the value read from the accumulation memory 65 are 0.
It is determined whether or not. In the case of all 0s, since it has never been determined as a moving area in the past four frames, it is determined that the area is not a moving object. Other regions are determined as moving objects and output from the output unit 69.
【００２１】このように、上記第２の実施の形態によれ
ば、上記した動領域分離装置と累積数調整部と２次累積
部とを設けることで、動物体の動きを利用して同一の動
領域中の動物体を精度良く、分離、抽出することが可能
となり、動物体の画面上での重なりや、動物体の速度に
依存せず、個々の動物体を精度良く抽出することができ
る。As described above, according to the second embodiment, by providing the above-described moving region separating device, the cumulative number adjusting unit, and the secondary accumulating unit, the same motion utilizing the motion of the moving object is provided. It is possible to accurately separate and extract moving objects in the moving area, and it is possible to accurately extract individual moving objects without depending on the overlapping of the moving objects on the screen and the speed of the moving objects. .
【００２２】[0022]
【発明の効果】以上のように、本発明の動物体分離装置
では、動きベクトル検出部と動きベクトル分類部と動物
体分離部とを設けることで、動物体の動きを利用して同
一の動領域中の動物体を分離することが可能となり、画
面上で重なりを持つ動物体を個々の動物体に分離するこ
とができる。As described above, in the moving object separating apparatus of the present invention, by providing the motion vector detecting unit, the motion vector classifying unit and the moving object separating unit, the same moving object can be utilized by utilizing the moving object. The moving objects in the region can be separated, and the overlapping moving objects on the screen can be separated into individual moving objects.
【００２３】また本発明の動物体抽出装置では、上記し
た動領域分離装置と累積数調整部と２次累積部とを設け
ることで、動物体の動きを利用して同一の動領域中の動
物体を精度良く、分離、抽出することが可能となり、動
物体の画面上での重なりや、動物体の速度に依存せず、
個々の動物体を精度良く抽出することができる。In the moving object extracting apparatus according to the present invention, the moving area separating apparatus, the cumulative number adjusting section, and the secondary accumulating section are provided so that the moving object can be moved in the same moving area by using the moving object. It is possible to separate and extract the body with high accuracy, regardless of the overlapping of the moving object on the screen and the speed of the moving object,
Individual moving objects can be accurately extracted.
【図１】本発明の実施の形態１における動物体分離装置
の構成を示すブロック図FIG. 1 is a block diagram showing a configuration of a moving object separating apparatus according to Embodiment 1 of the present invention.
【図２】本発明の実施の形態１における動きベクトル検
出部の構成を示すブロック図FIG. 2 is a block diagram illustrating a configuration of a motion vector detection unit according to the first embodiment of the present invention.
【図３】本発明の実施の形態１における動きベクトル分
類部と動物体分離部の構成を示すブロック図FIG. 3 is a block diagram showing a configuration of a motion vector classification unit and a moving object separation unit according to the first embodiment of the present invention.
【図４】本発明の実施の形態１における１次分割部の構
成を示すブロック図FIG. 4 is a block diagram illustrating a configuration of a primary division unit according to the first embodiment of the present invention.
【図５】本発明の実施の形態２における動物体抽出装置
の構成を示すブロック図FIG. 5 is a block diagram showing a configuration of a moving object extracting device according to a second embodiment of the present invention.
【図６】本発明の実施の形態２における累積メモリの構
成を示す模式図FIG. 6 is a schematic diagram showing a configuration of a cumulative memory according to a second embodiment of the present invention.
【図７】従来の動物体抽出装置の構成を示すブロック図FIG. 7 is a block diagram showing a configuration of a conventional moving object extracting apparatus.
１１ 動領域抽出部 １２ 動きベクトル検出部 １３ メモリ １４ 動きベクトル分類部 １５ 動物体分離部 １６ 入力部 １７ 出力部 ２１ フレームメモリ ２２ フレームメモリ ２３ 検出位置制御部 ２４ マッチング部 ２５ ベクトル判定部 ３１ 主成分分析部 ３２ 動きベクトル射影部 ３３ 射影部 ３４ メモリ ３５ １次分割部 ３６ ２次分割部 ３７ テーブル作成部 ３８ メモリ ３９ 分類部 ４０ メモリ ４１ ラベリング部 ５１ 差分部 ５２ 遅延部 ５３ 差分部 ５４ 遅延部 ５５ 符号比較部 ５６ 遅延部 ５７ メモリ ６１ 動物体抽出装置 ６２ 動物体分離装置 ６３ ２次累積部 ６４ 累積数調整部 ６５ 累積メモリ ６６ 累積制御部 ６７ 平均ベクトル算出部 ６８ 累積数決定部 ６９ 出力部 DESCRIPTION OF SYMBOLS 11 Motion area extraction part 12 Motion vector detection part 13 Memory 14 Motion vector classification part 15 Moving object separation part 16 Input part 17 Output part 21 Frame memory 22 Frame memory 23 Detection position control part 24 Matching part 25 Vector judgment part 31 Principal component analysis Unit 32 motion vector projection unit 33 projection unit 34 memory 35 primary division unit 36 secondary division unit 37 table creation unit 38 memory 39 classification unit 40 memory 41 labeling unit 51 difference unit 52 delay unit 53 difference unit 54 delay unit 55 code comparison Unit 56 delay unit 57 memory 61 moving object extracting device 62 moving object separating device 63 secondary accumulating unit 64 cumulative number adjusting unit 65 cumulative memory 66 cumulative controlling unit 67 average vector calculating unit 68 cumulative number determining unit 69 output unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 田 中 武 久 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 (72)発明者 藤 岡 利 和 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 (72)発明者 中 基 孫 神奈川県川崎市多摩区東三田３丁目10番１ 号 松下技研株式会社内 (72)発明者 森 真 人 神奈川県横浜市鶴見区江ケ崎町４番１号 東京電力株式会社システム研究所内 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Takehisa Tanaka 3-10-1 Higashi-Mita, Tama-ku, Kawasaki-shi, Kanagawa Matsushita Giken Co., Ltd. (72) Inventor Toshikazu Fujioka Tama-ku, Kawasaki-shi, Kanagawa Matsushita Giken Co., Ltd. (10) Matsushita Giken Co., Ltd. 4-1 Egasakicho, Tsurumi-ku, Yokohama-shi Tokyo Electric Power Company System Research Laboratory
Claims (4)
部と、動画像から動きベクトルを検出する動きベクトル
検出部と、動領域内の動きベクトルを分類する動きベク
トル分類部と、動きベクトル分類部での分類結果に基づ
いて動領域内を複数の領域に分割して動物体を分離する
動物体分離部とを備えた動物体分離装置。A moving region extracting unit that extracts a moving region in a moving image; a motion vector detecting unit that detects a motion vector from the moving image; a motion vector classifying unit that classifies a motion vector in the moving region; A moving object separating device comprising: a moving object separating unit that separates a moving object by dividing a moving region into a plurality of regions based on a classification result of a vector classifying unit.
任意の射影軸に射影し、射影軸上への射影頻度を求める
動きベクトル射影部と、射影軸上の射影頻度を１次元の
離散関数と見なし、２次微分の零交差点や１次微分の大
きさなどの数学的条件により１次元離散関数を複数の領
域に分割する１次分割部と、１次分割部での射影軸上で
の分割結果に基づき動きベクトルを複数の組に分類する
２次分割部とを備えた請求項１記載の動物体分離装置。2. A motion vector classifying unit that projects a motion vector onto an arbitrary projection axis and obtains a projection frequency on the projection axis, and a projection vector on the projection axis by a one-dimensional discrete function. Considering, a primary division unit that divides a one-dimensional discrete function into a plurality of areas according to mathematical conditions such as the zero crossing point of the second derivative and the magnitude of the first derivative, and division on the projection axis by the primary division unit The moving object separating apparatus according to claim 1, further comprising: a secondary division unit that classifies the motion vector into a plurality of sets based on the result.
析部を備え、動きベクトル射影部が、動きベクトルの主
成分軸と主成分軸の法線方向の軸との各軸上へ動きベク
トルを射影し、各射影軸上への射影頻度を求める請求項
２記載の動物体分離装置。3. A principal component analysis unit for principal component analysis of the motion vector, wherein the motion vector projection unit converts the motion vector onto each of a principal axis of the motion vector and an axis in a direction normal to the principal component axis. 3. The moving object separating apparatus according to claim 2, wherein the object is projected and the frequency of projection onto each projection axis is determined.
と、動物体分離装置で分離された動物体毎に動きベクト
ルを用いて動領域の累積数を決定する累積数調整部と、
累積数調整部により決定された累積数だけ、フレーム間
差分により抽出した複数の時点における動領域を累積し
直して、最終的な動領域として抽出する２次累積部とを
備えた動物体抽出装置。4. The moving object separating apparatus according to claim 1 or 2, and a cumulative number adjusting unit that determines a cumulative number of moving areas using a motion vector for each moving object separated by the moving object separating apparatus.
A moving object extracting apparatus comprising: a secondary accumulating unit that re-accumulates moving regions at a plurality of time points extracted by the inter-frame difference by the accumulated number determined by the accumulated number adjusting unit and extracts the moving regions as a final moving region .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP760197A JP3573895B2 (en) | 1997-01-20 | 1997-01-20 | Animal extraction device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP760197A JP3573895B2 (en) | 1997-01-20 | 1997-01-20 | Animal extraction device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10208057A true JPH10208057A (en) | 1998-08-07 |
| JP3573895B2 JP3573895B2 (en) | 2004-10-06 |
Family
ID=11670332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP760197A Expired - Fee Related JP3573895B2 (en) | 1997-01-20 | 1997-01-20 | Animal extraction device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3573895B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010113732A (en) * | 2009-12-28 | 2010-05-20 | Fujitsu Microelectronics Ltd | Mobile object recognition method and device |
| WO2013094151A1 (en) * | 2011-12-19 | 2013-06-27 | パナソニック株式会社 | Object detection device and object detection method |
| JP2015012480A (en) * | 2013-06-28 | 2015-01-19 | キヤノン株式会社 | Image processing apparatus and image processing method |
| JP2015090369A (en) * | 2013-11-05 | 2015-05-11 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | Device and method for monitoring drive of induction element |
| WO2017094216A1 (en) * | 2015-12-04 | 2017-06-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Image decoding method, image encoding method, image decoding apparatus, image encoding apparatus, and image encoding/decoding apparatus |
-
1997
- 1997-01-20 JP JP760197A patent/JP3573895B2/en not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010113732A (en) * | 2009-12-28 | 2010-05-20 | Fujitsu Microelectronics Ltd | Mobile object recognition method and device |
| WO2013094151A1 (en) * | 2011-12-19 | 2013-06-27 | パナソニック株式会社 | Object detection device and object detection method |
| JP2013127747A (en) * | 2011-12-19 | 2013-06-27 | Panasonic Corp | Object detection device and object detection method |
| US9053385B2 (en) | 2011-12-19 | 2015-06-09 | Panasonic Intellectual Property Management Co., Ltd. | Object detection device and object detection method |
| JP2015012480A (en) * | 2013-06-28 | 2015-01-19 | キヤノン株式会社 | Image processing apparatus and image processing method |
| JP2015090369A (en) * | 2013-11-05 | 2015-05-11 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | Device and method for monitoring drive of induction element |
| US10175285B2 (en) | 2013-11-05 | 2019-01-08 | Robert Bosch Gmbh | Device for monitoring an operation of an inductive element |
| WO2017094216A1 (en) * | 2015-12-04 | 2017-06-08 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Image decoding method, image encoding method, image decoding apparatus, image encoding apparatus, and image encoding/decoding apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3573895B2 (en) | 2004-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3892059B2 (en) | Moving body tracking device | |
| US5787199A (en) | Apparatus for detecting a foreground region for use in a low bit-rate image signal encoder | |
| CN109740589B (en) | Asynchronous object ROI detection method and system in video mode | |
| CN112561951B (en) | Motion and brightness detection method based on frame difference absolute error and SAD | |
| US20070274402A1 (en) | Application of short term and long term background scene dynamics in motion detection | |
| US20200242780A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| JPH11282999A (en) | Instrument for measuring mobile object | |
| Chato et al. | Image processing and artificial neural network for counting people inside public transport | |
| US11455785B2 (en) | System and method for use in object detection from video stream | |
| CN106886790B (en) | Clustering method and system, corresponding device and computer program product | |
| Filonenko et al. | Illegally parked vehicle detection using adaptive dual background model | |
| JPH10208057A (en) | Moving object separating device and extracting device | |
| KR20200010658A (en) | Method for identifing person, computing system and program using the same | |
| Nalepa et al. | Real-time people counting from depth images | |
| Low et al. | Frame Based Object Detection--An Application for Traffic Monitoring | |
| JP5241687B2 (en) | Object detection apparatus and object detection program | |
| Zhang et al. | A novel hybrid motion detection algorithm based on dynamic thresholding segmentation | |
| JP2001307104A (en) | Object extraction device for moving image | |
| JPH10105690A (en) | Wide area moving body following device | |
| TWI716049B (en) | Method of determining foreground and background image | |
| Dhaief | People counting technology | |
| Nguyen et al. | Robust person re-identification through the combination of metric learning and late fusion techniques | |
| EP1563461A2 (en) | Object classification via time-varying information inherent in imagery | |
| KR20040107962A (en) | System for detecting moving objects and method thereof | |
| KR101899071B1 (en) | Device and method for localizing foreground regions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040405 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040629 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040630 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |