JPH1196375A - Method and device for measuring time series image moving place and recording medium recorded with time series image moving place measuring program - Google Patents

Method and device for measuring time series image moving place and recording medium recorded with time series image moving place measuring program

Info

Publication number
JPH1196375A
JPH1196375A JP9256885A JP25688597A JPH1196375A JP H1196375 A JPH1196375 A JP H1196375A JP 9256885 A JP9256885 A JP 9256885A JP 25688597 A JP25688597 A JP 25688597A JP H1196375 A JPH1196375 A JP H1196375A
Authority
JP
Japan
Prior art keywords
voting
time
pixel
series image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9256885A
Other languages
Japanese (ja)
Inventor
Kazuhiro Otsuka
和弘 大塚
Tsutomu Horikoshi
力 堀越
Satoshi Suzuki
智 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP9256885A priority Critical patent/JPH1196375A/en
Publication of JPH1196375A publication Critical patent/JPH1196375A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To estimate a finer speed component about each pixel or each graphic element in an area that is an object in a time series image and to measure a moving place of the time series image. SOLUTION: A time series image is inputted and an object area and a movement locus that is included there are extracted from it (steps 401 and 402). The object area is undergone three-dimensional Hough transform, three- dimensional parameter space that is acquired as a result is projected to two-dimensional space, voting is performed about the space to detect a crossing line of a tangential plane of the movement locus, the peak of a distribution of voting values in parameter space that is acquired as a result, and a speed component is calculated from it (steps 402 to 406). About each pixel in the object area, the degree of contribution to the voting value of the peak that is detected in the step 406 is calculated, the speed component that is calculated in the step 406 is allocated to each pixel according to the size, the speed components of each pixel and each frame are collected to configure a speed place, and it is outputted (steps 407 to 409).

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術】本発明は、ビデオカメラや気象レ
ーダ装置やリモートセンシング等により得られる時系列
画像中の対象の動きの認識のための技術に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for recognizing a motion of an object in a time-series image obtained by a video camera, a weather radar device, remote sensing, or the like.

【0002】[0002]

【従来の技術】人、交通等の監視や製造工程の制御、気
象等の自然現象の解明や予測への応用等において、時系
列画像の認識処理を用いた高度化、効率化が望まれてい
る。
2. Description of the Related Art In monitoring of people and traffic, controlling manufacturing processes, and elucidating and predicting natural phenomena such as weather, etc., it is desired to improve the efficiency and efficiency using recognition processing of time-series images. I have.

【0003】従来、時系列画像から対象の動きを計測す
る方法としてハフ変換(または投票とも呼ぶ。)を用い
た方法がある。その一例として、時系列画像を時間方向
に積層した時空間画像中を考えたとき、画像に含まれる
対象のエッジや輪郭が描く曲面状の運動軌跡を検出し、
その運動軌跡に接する複数の異なる接平面がつくる交線
の方向から対象の速度成分を求める方法がある(特願平
9−3116号、特願平9−8563号、特願平9−1
14577号)。この方法はハフ変換により、時空間画
像を対象物体の速度成分(速度の方向と大きさ)を表現
するパラメータ空間に変換し、そのパラメータ空間中の
分布のピークを検出し、その座標値から対象物体の速度
成分を求めている。この手法には、ノイズやオクルージ
ョン(隠蔽)にロバストに対象領域内の最も優勢な並進
速度成分が得られるという利点がある。
Conventionally, there is a method using Hough transform (also called voting) as a method for measuring the movement of an object from a time-series image. As an example, when considering a spatio-temporal image in which time-series images are stacked in the time direction, a curved motion trajectory drawn by an edge or contour of a target included in the image is detected,
There is a method of obtaining a target velocity component from directions of intersections formed by a plurality of different tangent planes tangent to the motion trajectory (Japanese Patent Application Nos. 9-3116, 9-8563, and 9-1).
No. 14577). This method converts a spatiotemporal image into a parameter space that expresses the velocity component (direction and magnitude of velocity) of the target object by Hough transform, detects the peak of the distribution in the parameter space, and detects the target from the coordinate values. Find the velocity component of the object. This technique has the advantage that the most dominant translation speed component in the target area is obtained robustly against noise and occlusion.

【0004】[0004]

【発明が解決しようとする課題】しかし、従来の技術で
は、時系列画像中の局所的な速度を求めるために比較的
大きな時系列画像の領域を必要としているため、動き場
(オプティカルフロー、速度場とも呼ぶ)の解像度が空
間的、時間的に粗いという問題があった。
However, in the prior art, since a relatively large area of the time-series image is required to obtain the local velocity in the time-series image, the motion field (optical flow, velocity There is a problem that the resolution is also spatially and temporally coarse.

【0005】本発明の目的は、時系列画像中の対象とな
る領域内の各画素または各図形要素については、よりき
め細かな速度成分を推定し、時系列画像の動き場を計測
する時系列画像動き場計測方法および装置ならびに時系
列画像動き場計測プログラムを記録した記録媒体を提供
することである。
An object of the present invention is to provide a time-series image for estimating a finer speed component and measuring a motion field of the time-series image for each pixel or each graphic element in a target area in the time-series image. It is an object of the present invention to provide a motion field measurement method and apparatus, and a recording medium on which a time-series image motion field measurement program is recorded.

【0006】[0006]

【課題を解決するための手段】本発明の時系列画像動き
場計測方法は、時系列画像中のある領域内に含まれる各
画素または図形要素に対してハフ変換または投票を行
い、その結果として得られるパラメータ空間(投票空
間)中について投票分布のピークを検出し、各画素また
は図形要素のピーク値への寄与の度合いを計算し、その
大小により各画素または図形要素のもつ速度成分を決定
することにより時系列画像の動き場(オプティカルフロ
ー、速度場)を求める。
According to the time-series image motion field measurement method of the present invention, Hough transform or voting is performed on each pixel or graphic element included in a certain area in the time-series image, and as a result, The peak of the voting distribution is detected in the obtained parameter space (voting space), the degree of contribution of each pixel or graphic element to the peak value is calculated, and the velocity component of each pixel or graphic element is determined according to the magnitude. Thus, the motion field (optical flow, velocity field) of the time-series image is obtained.

【0007】したがって、画像がノイズ等により劣化し
ている場合でも、画像内の優勢な速度成分を検出するこ
とができる。
Therefore, even when an image is deteriorated due to noise or the like, a dominant velocity component in the image can be detected.

【0008】また、本発明の時系列画像動き場計測方法
は、時系列画像を、画像平面に時間軸を加えた3次元空
間(時空間)として見たときに、画像中に含まれる対象
のエッジおよび輪郭が時空間中に描く曲面状に運動軌跡
を検出し、この運動軌跡に接する接平面を3次元ハフ変
換により検出し、その相異なる接平面が交わる交線の方
向を、別のハフ変換または投票により検出し、対象の速
度成分を計測し、ハフ変換または投票により得られたパ
ラメータ空間(投票空間)中において、検出された速度
成分を表す投票値のピークを検出し、このピークに対す
る、時空間中の運動軌跡を構成する各画素の寄与の度合
いを計算し、その大小により各画素または図形要素のも
つ速度成分を決定することにより時系列画像の動き場を
求める。
The time-series image motion field measuring method according to the present invention, when the time-series image is viewed as a three-dimensional space (spatio-temporal) obtained by adding a time axis to an image plane, The motion trajectory is detected in the form of a curved surface whose edges and contours are drawn in time and space, and the tangent plane tangent to the motion trajectory is detected by three-dimensional Hough transform. Detected by conversion or voting, measure the velocity component of the object, detect the peak of the voting value representing the detected velocity component in the parameter space (voting space) obtained by Hough transformation or voting, and Then, the degree of contribution of each pixel constituting the motion trajectory in the spatiotemporal space is calculated, and the velocity component of each pixel or graphic element is determined based on the magnitude thereof, thereby obtaining the motion field of the time-series image.

【0009】したがって、画像中で対象の正確な速度
(大きさ、方向)を求めることができる。
Therefore, it is possible to obtain an accurate speed (magnitude, direction) of an object in an image.

【0010】また、本発明の時系列画像動き場計測方法
は、時系列画像に含まれる各画素または図形要素のハフ
変換または投票によるパラメータ空間中のピーク値に寄
与する度合いを、各画素または図形要素に対する3次元
ハフ変換の投票が行われたパラメータ空間中において、
検出された速度成分に寄与し得る要素(セル)のうちで
最も大きな投票値が集積されたセルの投票値をその画素
または図形要素の寄与の度合いとして求める。
The time-series image motion field measuring method according to the present invention further comprises the step of determining the degree of each pixel or graphic element included in the time-series image which contributes to the peak value in the parameter space by Hough transform or voting. In the parameter space where 3D Hough transform voting has been performed on the element,
The voting value of the cell in which the largest voting value is accumulated among the elements (cells) that can contribute to the detected velocity component is obtained as the degree of contribution of the pixel or the graphic element.

【0011】また、速度成分の検出に用いたパラメータ
空間中の投票値のピーク値に対する時系列画像に含まれ
る各画素または図形要素の寄与の度合いとあるしきい値
を比較し、しきい値以上の寄与の度合いをもつ画素また
は図形要素のみに、パラメータ空間中の投票値のピーク
位置から求めた速度成分を与えることにより、ノイズ等
が付加される状況下においても、安定かつ正確に、各画
素または図形要素の速度成分が得られ、時系列画像のき
め細かい動き場を得ることが可能となる。
Further, the degree of contribution of each pixel or graphic element included in the time-series image to the peak value of the voting value in the parameter space used for detecting the velocity component is compared with a certain threshold value. By giving the velocity component obtained from the peak position of the voting value in the parameter space only to the pixels or graphic elements having the degree of contribution of each pixel, even in a situation where noise or the like is added, each pixel can be stably and accurately set. Alternatively, the velocity component of the graphic element is obtained, and a fine motion field of the time-series image can be obtained.

【0012】本発明の時系列画像動き場計測装置は、時
系列画像を、画像平面に時間軸を加えた3次元空間(時
空間)として見たときに、画像中に含まれる対象のエッ
ジおよび輪郭が時空間中に描く曲面状の運動軌跡を検出
する手段と、この運動軌跡に接する接平面を検出する3
次元ハフ変換手段と、その異なる接平面が交わる交線の
方向を、ハフ変換または投票により検出する手段と、ハ
フ変換または投票により得られたパラメータ空間(投票
空間)中において、検出された速度の方向を表す投票値
のピークを検出する手段と、このピークに対する、時空
間中の運動軌跡を構成する各画素の寄与の度合いを計算
する手段と、その大小により各画素または図形要素のも
つ速度成分を判定する手段とを有する。
According to the time-series image motion field measuring apparatus of the present invention, when a time-series image is viewed as a three-dimensional space (time-space) obtained by adding a time axis to an image plane, an edge of an object included in the image and Means for detecting a curved motion trajectory whose contour is drawn in space-time, and detecting a tangent plane tangent to the motion trajectory 3
Dimensional Hough transform means, means for detecting the direction of an intersection line intersecting the different tangent planes by Hough transform or voting, and means for detecting the velocity detected in a parameter space (voting space) obtained by Hough transform or voting. Means for detecting the peak of the voting value indicating the direction, means for calculating the degree of contribution of each pixel constituting the motion trajectory in space and time to this peak, and the velocity component of each pixel or graphic element according to its magnitude Means for determining

【0013】また、各画素または図形要素に対する3次
元ハフ変換の投票が行われたパラメータ空間中におい
て、検出された速度成分に寄与し得る要素(セル)のう
ちで最も大きな投票値が集積されたセルを探索し、その
投票値を各画素または図形要素がハフ変換または投票に
よるパラメータ空間中のピーク値に寄与する度合いとし
て計算する手段を有する。
In the parameter space in which three-dimensional Hough transform voting has been performed on each pixel or graphic element, the largest voting value among elements (cells) that can contribute to the detected velocity component is accumulated. Means for searching for cells and calculating the voting value as the degree to which each pixel or graphic element contributes to the peak value in the parameter space by Hough transform or voting.

【0014】さらに、本発明の時系列動き場計測装置
は、速度成分の検出に用いたパラメータ空間中の投票値
のピーク値に対する時系列画像に含まれる各画素または
図形要素の寄与の度合いとあるしきい値を比較し、しき
い値以上の寄与の度合いをもつ画素または図形要素のみ
に、パラメータ空間中の投票値のピーク位置から求めた
速度成分を与える手段を有する。よって、ノイズ等が付
加される状況下においても、安定、かつ正確に各画素ま
たは図形要素の速度成分が得られ、時系列画像のきめ細
かい動き場を得ることが可能となる。
Further, in the time-series motion field measuring apparatus according to the present invention, the degree of contribution of each pixel or graphic element included in the time-series image to the peak value of the voting value in the parameter space used for detecting the velocity component is determined. A means is provided for comparing the threshold values and providing a velocity component obtained from the peak position of the voting value in the parameter space only to pixels or graphic elements having a degree of contribution equal to or greater than the threshold value. Therefore, even in a situation where noise or the like is added, the speed component of each pixel or graphic element can be obtained stably and accurately, and a fine motion field of a time-series image can be obtained.

【0015】[0015]

【発明の実施の形態】次に、本発明の実施の形態を図面
を参照して説明する。
Next, embodiments of the present invention will be described with reference to the drawings.

【0016】図1を参照すると、本発明の一実施形態の
時系列画像動き場計測装置は入力部100と処理部20
0と出力部300で構成されている。
Referring to FIG. 1, a time-series image motion field measuring apparatus according to an embodiment of the present invention includes an input unit 100 and a processing unit 20.
0 and the output unit 300.

【0017】処理部200は、入力部100において入
力された時系列画像から動き場の計測対象の領域を抽出
し、3次元配列である時空間画像メモリ251中の画素
の集合として、画像中のエッジや輪郭の描く運動軌跡を
構成する領域抽出部201と、運動軌跡の接平面の分布
を検出する3次元ハフ変換部202と、3次元ハフ変換
により得られる接平面の分布が格納される3次元投票空
間メモリ252と、3次元投票空間メモリ252中の分
布を2次元平面に投影する投影部203と、その結果得
られる接平面を法線方向別に見たときの分布を格納する
2次元法線パラメータ空間メモリ253と、3次元法線
パラメータ空間メモリ253によって表される複数の接
平面の組み合わせによる交線の方向の分布を求める交線
投票部204と、その結果得られる交線の分布を格納す
る交線パラメータ空間メモリ254と、交線パラメータ
空間メモリ254中の投票分布のピークを検出し、対象
となる時系列画像の領域中の対象の速度成分を求める速
度成分検出部205と、時空間画像メモリ251中の各
画素について、速度成分検出部205により検出された
ピーク値への寄与の度合いを計算する寄与度計算部21
1と、各画素の寄与度の大小を評価し、速度成分検出部
205により決定された速度成分を割り当てるか否かの
判定をする寄与度判定部212と、各画素について割り
当てられた速度成分を対象となる領域全体についてまと
め、速度場を構成する速度場構成部213から構成され
る。
The processing unit 200 extracts a motion field measurement target area from the time-series image input by the input unit 100, and as a set of pixels in the spatio-temporal image memory 251 which is a three-dimensional array, A region extraction unit 201 that forms a motion trajectory drawn by an edge or a contour, a three-dimensional Hough transform unit 202 that detects a distribution of a tangent plane of the motion trajectory, and a distribution of a tangent plane obtained by the three-dimensional Hough transform are stored. A two-dimensional voting space memory 252, a projection unit 203 for projecting the distribution in the three-dimensional voting space memory 252 onto a two-dimensional plane, and a two-dimensional method for storing the resulting tangential plane when viewed in the normal direction A line parameter space memory 253, an intersection voting unit 204 for obtaining a distribution of the direction of the intersection by a combination of a plurality of tangent planes represented by the three-dimensional normal parameter space memory 253, The intersection line parameter space memory 254 for storing the intersection line distribution obtained as a result of the above, and the peak of the voting distribution in the intersection line parameter space memory 254 is detected, and the target velocity component in the target time-series image region is determined. The speed component detection unit 205 to be obtained and the contribution calculation unit 21 for calculating the degree of contribution to the peak value detected by the speed component detection unit 205 for each pixel in the spatiotemporal image memory 251
1, a contribution determining unit 212 that evaluates the magnitude of the contribution of each pixel, and determines whether to allocate the speed component determined by the speed component detection unit 205, and a speed component assigned to each pixel. It is composed of a speed field construction unit 213 that composes the entire target region and composes a speed field.

【0018】次に、図1の装置の処理の流れを図2のフ
ローチャートによって説明する。時系列画像を入力し
(ステップ401)、その時系列画像から対象領域とそ
こに含まれる運動軌跡を抽出し(ステップ402)、対
象領域について3次元ハフ変換を行い(ステップ40
3)、その結果得られる3次元のパラメータ空間を2次
元空間に投影し(ステップ404)、さらに、この空間
について、運動軌跡の接平面の交線の検出のための投票
を行い(ステップ405)、その結果得られるパラメー
タ空間中の投票値の分布のピークを検出し、それから速
度成分を計算し(ステップ406)、続いて、対象領域
中の各画素について、ステップ406で検出したピーク
の投票値への寄与の度合いを計算し(ステップ40
7)、その大小により画素毎にステップ406で求めた
速度成分を割り当て(ステップ408)、各画素、各フ
レームの速度成分をまとめて速度場を構成し、出力する
(ステップ409)。
Next, the processing flow of the apparatus shown in FIG. 1 will be described with reference to the flowchart shown in FIG. A time-series image is input (step 401), a target area and a motion trajectory included therein are extracted from the time-series image (step 402), and a three-dimensional Hough transform is performed on the target area (step 40).
3), project the resulting three-dimensional parameter space into a two-dimensional space (step 404), and perform voting for detecting the intersection of the tangent plane of the motion trajectory in this space (step 405). The peak of the resulting distribution of voting values in the parameter space is detected, and the velocity component is calculated therefrom (step 406). Then, for each pixel in the target area, the voting value of the peak detected in step 406 is obtained. Is calculated (step 40).
7) The velocity component obtained in step 406 is assigned to each pixel according to the magnitude (step 408), and the velocity field is constructed by combining the velocity components of each pixel and each frame and output (step 409).

【0019】次に、処理部200の動作例を具体的に説
明する。
Next, an example of the operation of the processing section 200 will be specifically described.

【0020】対象領域抽出部201では、入力部100
によって入力された時系列画像から速度場の計測対象と
なる局所的な領域を抽出する。こうして得られた時系列
画像をI(i,j,t)として記憶する。対象領域抽出
部201ではさらに、画像中の対象のエッジや輪郭が時
空間中に運動軌跡を3次元のボリュームデータとして構
築する。
In the target area extracting section 201, the input section 100
From the time-series image input as a target, a local region to be measured for the velocity field is extracted. The time-series image obtained in this way is stored as I (i, j, t). The target region extraction unit 201 further constructs a motion trajectory of the target edge or contour in the image in space and time as three-dimensional volume data.

【0021】その一例として、時系列画像のレーム間の
差分を計算し、その正値または負値もしくは絶対値を用
いた時空間差分画像D(x,y,t)として運動軌跡を
構築することができる。そして時空間差分画像D(x,
y,t)は時空間画像メモリ251中に記憶される。正
値を用いる例では、
As an example, calculating a difference between frames of a time-series image and constructing a motion trajectory as a spatio-temporal difference image D (x, y, t) using its positive value, negative value or absolute value. Can be. Then, the spatiotemporal difference image D (x,
(y, t) is stored in the spatiotemporal image memory 251. In the example using positive values,

【0022】[0022]

【数1】 のように、時空間差分画像D(x,y,t)が計算で
き、画像中のエッジや輪郭を底曲線とする柱面状の運動
軌跡が抽出できる。時空間差分画像D(x,y,t)の
濃淡値の大きさは、画像中のエッジや輪郭の輝度の空間
分布の不連続の大きさと動きの量にほぼ比例する。な
お、上述以外の運動軌跡の抽出の方法も利用可能であ
る。
(Equation 1) , The spatiotemporal difference image D (x, y, t) can be calculated, and a columnar motion trajectory having an edge or contour in the image as a bottom curve can be extracted. The magnitude of the gray value of the spatiotemporal difference image D (x, y, t) is substantially proportional to the discontinuity of the spatial distribution of the brightness of edges and contours in the image and the amount of motion. It should be noted that a method of extracting a motion trajectory other than those described above can also be used.

【0023】次に、3次元ハフ変換手段202は、時空
間中の運動軌跡に接し得る接平面の分布をハフ変換また
は投票によって検出し、その頻度分布を3次元の配列で
ある3次元投票空間メモリ252中に得る。
Next, the three-dimensional Hough transform means 202 detects the distribution of a tangent plane which can be in contact with the motion trajectory in the spatiotemporal space by Hough transform or voting, and determines the frequency distribution thereof in a three-dimensional voting space which is a three-dimensional array. Obtained in memory 252.

【0024】図3に示すように、3次元空間中の点(x
i ,yi ,ti )を通る平面は3つのパラメータ(θ,
φ,ρ)を用いて
As shown in FIG. 3, a point (x
i , y i , t i ) is defined by three parameters (θ,
φ, ρ)

【0025】[0025]

【数2】 のように表現することができる。ただし、(θ,φ)は
平面の法線方向、ρは原点から平面までの最短距離を表
す。平面を表す3つのパラメータの張る空間を平面パラ
メータ空間Sp とここでは呼ぶことにする。式(2)か
ら、3次元空間中の一点(xi ,yi ,zi )は図5の
1 のような平面パラメータ空間中の一曲面に対応す
る。
(Equation 2) Can be expressed as Here, (θ, φ) represents the normal direction of the plane, and ρ represents the shortest distance from the origin to the plane. The space spanned by the three parameters representing the plane will be referred here the plane parameter space S p. From equation (2), one point (x i , y i , z i ) in the three-dimensional space corresponds to one curved surface in the plane parameter space as S 1 in FIG.

【0026】実際には、平面パラメータ空間Sp は、微
小間隔(Δθ,Δφ,Δρ)で離散化され、3次元配列
である3次元投票空間メモリ252中に記憶されてい
る。ここで、配列の要素をセルと呼ぶ。
[0026] In practice, the plane parameter space S p, small gap (Δθ, Δφ, Δρ) is discretized, which is stored in the three-dimensional voting space memory 252 is a three-dimensional array. Here, the elements of the array are called cells.

【0027】次に、投票を用いて、時空間差分画像Dと
して表される対象領域中の運動軌跡の接平面の分布をパ
ラメータ空間中のセルの値として得る。具体的には、時
空間差分画像D(i,j,t)中の全ての画素につい
て、式(2)で表される曲面を計算し、この曲面が通過
するパラメータ空間Sp 中のセルの値を、時空間差分画
像中の画素D(i,j,t)の値だけ増加させる。この
処理を投票と呼ぶ。全ての画素について投票を行った
後、平面パラメータ空間Sp (θ,φ,ρ)のセル投票
の合計値をパラメータ(θ,φ,ρ)をもつ運動軌跡の
接平面の強度とする。よって、パラメータ空間Sp 中の
投票値の分布がピークをなす場合、そのピークの座標に
よって、時空間に含まれる運動軌跡の接平面が表現でき
る。なお、上述以外の方法も利用可能である。
Next, using voting, the distribution of the tangent plane of the motion trajectory in the target area represented as the spatiotemporal difference image D is obtained as the value of the cell in the parameter space. Specifically, space-time difference image D (i, j, t) for all the pixels in, computes a curved surface represented by the formula (2), the cells in the parameter space S p where this curved surface passes The value is increased by the value of the pixel D (i, j, t) in the spatiotemporal difference image. This process is called voting. After voting for all pixels, the total value of cell voting in the plane parameter space S p (θ, φ, ρ) is defined as the intensity of the tangent plane of the motion trajectory having the parameters (θ, φ, ρ). Therefore, if the distribution of the vote value in the parameter space S p forms a peak, the coordinates of the peak, tangent plane of movement trajectories included in the time-space can be represented. Note that methods other than those described above can also be used.

【0028】投影部203は、3次元ハフ変換部202
により3次元投票空間メモリ252で得られた平面パラ
メータ空間Sp (θ,φ,σ)中の個々の(θ,φ)に
ついて、ρ方向のセルに集積された投票値の最大値を探
索し、その投票の最大値を、2次元配列である2次元法
線パラメータ空間メモリ253に格納する。この(θ,
φ)が張る空間を法線パラメータ空間SN (θ,φ)と
呼ぶことにする。
The projection unit 203 includes a three-dimensional Hough transform unit 202
Search for the maximum value of the voting values accumulated in the cell in the ρ direction for each (θ, φ) in the plane parameter space S p (θ, φ, σ) obtained in the three-dimensional voting space memory 252 by Is stored in the two-dimensional normal parameter space memory 253 which is a two-dimensional array. This (θ,
The space spanned by φ) is called a normal parameter space S N (θ, φ).

【0029】[0029]

【数3】 この処理は、対象領域中の輪郭やエッジが時空間中に描
く運動軌跡の接平面の分布を、時間と位置に不変な法線
方向毎にみたときの分布に統合する働きをもつ。
(Equation 3) This processing has a function of integrating the distribution of the tangent plane of the motion trajectory drawn in the space and time by the contour and the edge in the target area into the distribution when viewed in the normal direction invariant in time and position.

【0030】次に、交線投票部204は、投影部203
により得られ、2次元法線パラメータ空間メモリ253
に格納されている対象領域中の輪郭やエッジが時空間中
に描く運動軌跡の分布を入力とし、運動軌跡に接し得る
複数の接平面がなす交線の方向の分布を表すパラメータ
空間(これを交線パラメータ空間SL と呼ぶ)に変換す
る。
Next, the intersection line voting section 204
And a two-dimensional normal parameter space memory 253
The parameter space that represents the distribution of the direction of the intersecting line formed by a plurality of tangent planes that can be in contact with the motion trajectory is input with the distribution of the motion trajectory drawn in the space and time by the contours and edges in the target area stored in It converted to be called intersection line parameter space S L).

【0031】ここでは、交線の方向を図4のように、原
点を通る交線をx−y平面に射影したときのx軸となす
角α,x−y平面(画像平面)とのなす角βを用い、
Here, as shown in FIG. 4, the direction of the line of intersection is defined by an angle α and an xy plane (image plane) formed with the x axis when the line of intersection passing through the origin is projected onto the xy plane. Using the angle β,

【0032】[0032]

【数4】 と表現する。ただし、0≦α<π/2,0<β<π/2
である。
(Equation 4) Is expressed as However, 0 ≦ α <π / 2, 0 <β <π / 2
It is.

【0033】いま、交線上にある異なる2点をP1 (x
1 ,y1 ,t1 ),P2 (x2 ,y 2 ,t2 )とし、こ
の2つの点P1 ,P2 について式(2)を連立して解
き、式(7)〜(9)を代入することで、法線パラメー
タ空間SN と交線パラメータ空間SL の関係を
Now, two different points on the intersection line are represented by P1 (X
1 , Y1 , T1 ), PTwo (XTwo , Y Two , TTwo ) And this
Two points P1 , PTwo Equation (2) is simultaneously solved for
Then, by substituting equations (7) to (9), the normal parameter
Data space SN And the intersection parameter space SL The relationship

【0034】[0034]

【数5】 のように得ることができる。(Equation 5) Can be obtained as follows.

【0035】二つの接平面は法線パラメータ空間SN
の2点として表され、その点をそれぞれ交線のパラメー
タ空間SL に変換すると式(10)で表される曲線にな
り、その交点として、接平面の交線の方向が得られる。
The two tangent planes are represented as two points in the normal parameter space S N , and when these points are converted into the intersection parameter space S L , respectively, a curve represented by equation (10) is obtained. As a result, the direction of the line of intersection of the tangent plane is obtained.

【0036】ここでは、法線のパラメータ空間中SN
全ての要素(θ,φ)(セルと呼ぶ)について、式(1
0)の曲線が通る交線パラメータ空間SL 中のセルにS
N (θ,φ)の値を投票していく。このようなハフ変換
を実行することで、対象物体の速度成分を表現する対象
領域に含まれ得る対象の速度成分が、交線パラメータ空
間中の投票分布に反映される。こうして得られた交線パ
ラメータ空間SL は交線パラメータ空間メモリ254に
格納される。
Here, for all the elements (θ, φ) (referred to as cells) of S N in the parameter space of the normal, the equation (1)
The cell in the intersection parameter space S L through which the curve 0) passes
Vote on the value of N (θ, φ). By executing such a Hough transform, the velocity component of the target, which may be included in the target area expressing the velocity component of the target object, is reflected on the voting distribution in the intersection line parameter space. Intersection line parameter space S L thus obtained is stored in the line of intersection parameter space memory 254.

【0037】速度成分検出部205は、交線パラメータ
空間メモリSL に格納されている投票値の分布のピーク
を検出し、このピークの座標値(αP ,βP )より、対
象領域中の対象物体の最も優勢な並進速度成分を求め
る。この動きの方法は、
The velocity component detection unit 205 detects the peak of the distribution of the vote value stored in the line of intersection parameter space memory S L, the coordinate value of the peak (α P, β P) than, in the target area Find the most dominant translation velocity component of the target object. The way of this movement is

【0038】[0038]

【数6】 と得られ、速度の大きさVは、(Equation 6) And the magnitude V of the velocity is

【0039】[0039]

【数7】 と得られる。ピークを示す投票値SL (αP ,βP
は、対象領域内に速度V、方向αP の並進速度成分が存
在する確からしさを表す証拠情報といえる。このように
得られた速度を以下では、速度成分
(Equation 7) Is obtained. Voting value S L indicating the peak (α P , β P )
Can be said to be evidence information indicating the likelihood that a translation velocity component in the velocity V and the direction α P exists in the target area. The speed thus obtained is hereinafter referred to as the speed component

【0040】[0040]

【外1】 と記す。[Outside 1] It is written.

【0041】寄与度計算211は、速度成分検出部20
5において検出された交線パラメータ空間メモリ254
中の投票値分布ピークを示す投票値SL (αP ,βP
に対して、対象領域中の各画素または図形要素が寄与し
た度合いを求める。
The contribution calculation 211 is performed by the speed component detection unit 20.
5. Intersection parameter space memory 254 detected at 5
Voting value S LP , β P ) indicating the voting value distribution peak in
, The degree of contribution of each pixel or graphic element in the target area is determined.

【0042】ここでは、その一例として以下に示す方法
を記す。時空間画像メモリ251に構築された運動軌跡
を表す時空間差分画像D(x,y,t)中の各画素は、
3次元ハフ変換部202において、式(2)で表される
図5中の曲面S1 のような投票パターンが指す3次元投
票空間メモリ252中の各セルに対して投票が行われ
る。
Here, the following method will be described as an example. Each pixel in the spatiotemporal difference image D (x, y, t) representing the motion trajectory constructed in the spatiotemporal image memory 251 is:
In the three-dimensional Hough transform unit 202, the vote for each cell of the three-dimensional in voting space memory 252 pointed to voting patterns, such as curved surface S 1 in FIG. 5 of the formula (2) is performed.

【0043】また、速度成分検出部205で得られた速
度成分を表す投票のピークSL (α P ,βP )への投票
の集積に寄与した可能性のある2次元法線パラメータ空
間メモリ253中のセルの集合は、交線投票部204で
の投票パターンである式(10)を書き直し、投票のピ
ークを示すセルの座標(αP ,βP )を代入し、
The speed obtained by the speed component detection unit 205
Voting peak S representing degree componentL (Α P , ΒP ) Vote
2D normal parameter sky that may have contributed to the accumulation of
The set of cells in the inter-memory 253 is
Rewrite equation (10), which is the voting pattern of
Cell coordinates (αP , ΒP )

【0044】[0044]

【数8】 で表される曲線が指すセルとなる。(Equation 8) Is the cell pointed to by the curve represented by.

【0045】さらに、2次元法線パラメータ空間メモリ
253中の式(13)が示すセルへの投票値に寄与し得
る3次元投票空間メモリは、図5のS2 のような式(1
3)の曲線が底曲線とする柱面が指すセルの集合とな
る。よって、時空間差分画像中の各画素D(x,y,
t)が速度成分
Further, the three-dimensional voting space memory which can contribute to the voting value to the cell indicated by the expression (13) in the two-dimensional normal parameter space memory 253 is represented by the following expression (1) as S 2 in FIG.
The curve of 3) is a set of cells pointed to by the column surface that is the bottom curve. Therefore, each pixel D (x, y,
t) is the velocity component

【0046】[0046]

【外2】 に寄与し得る3次元投票空間メモリ中のセルの集合は、
式(2)と式(13)の双方を同時に満たす曲線、つま
り、図5の2つの曲面が交わる曲線(これをLと呼ぶ)
が指すセルの集合となる。
[Outside 2] The set of cells in the three-dimensional voting space memory that can contribute to
A curve that satisfies both Equations (2) and (13) at the same time, that is, a curve where two curved surfaces in FIG.
Is a set of cells indicated by.

【0047】ここで時空間差分画像中の各画素D(x,
y,t)の速度成分
Here, each pixel D (x,
y, t) velocity component

【0048】[0048]

【外3】 への寄与の度合い(これを寄与度と呼ぶ。)は、曲線L
上のセルのうちで、集積された投票値の最大値としてC
(x,y,t)と定義し、求めることができる。
[Outside 3] The degree of contribution to this (referred to as the degree of contribution) is represented by a curve L
Among the above cells, the maximum value of the accumulated voting value is C
(X, y, t).

【0049】なお、上述以外の寄与の度合いの計算方法
も利用可能である。
It should be noted that other methods of calculating the degree of contribution other than those described above can be used.

【0050】寄与度判定部212は、寄与度計算部21
1において計算された各画素または図形要素の寄与の度
合いの大小により、速度成分検出部205で検出された
速度成分を割り当てるかどうかの判定を行う。
The contribution determining section 212 includes the contribution calculating section 21
Based on the degree of contribution of each pixel or graphic element calculated in 1, it is determined whether or not to assign the velocity component detected by the velocity component detection unit 205.

【0051】ここでは、その一例として以下に示す方法
を記す。交線パラメータ空間メモリ254中の投票値に
は、画像中のノイズや速度のばらつき等の影響も含まれ
る。これらの影響を除外し、速度成分の寄与のみに必須
な時空間差分画像中の画素D(x,y,t)を特定し、
速度成分を付与する必要がある。
Here, the following method will be described as an example. The voting value in the intersection line parameter space memory 254 includes the influence of noise in an image, variation in speed, and the like. Excluding these effects, the pixel D (x, y, t) in the spatiotemporal difference image which is essential only for the contribution of the velocity component is specified,
It is necessary to add a speed component.

【0052】そこで、各画素の寄与度C(x,y,t)
にしきい値Tを設け、しきい値T以上の寄与度をもつ画
素のみに速度成分検出部205で検出された速度成分を
割り当てる。ここでしきい値にTは、交線パラメータ空
間メモリ254中の投票値の最低値からピーク値SL
(αP ,βP )までを1.0としたときの割合εを与え
たとき、しきい値T以上の寄与度C(x,y,t)をも
つ画素による投票値の寄与により、交線パラメータ空間
のピーク点(αP ,βP )に集積される投票値がεSL
となるようなTの値を設定する。εを寄与率と呼び、入
力画素に付加的なノイズが多く含まれるときには、1.
0に近い値を与える。寄与度C(x,y,t)がしきい
値に満たない場合には、画素(x,y,t)には速度が
ないものと判断する。よって、時空間差分画素D中の各
画素の速度成分υ(x,y,t)は、
Therefore, the contribution C (x, y, t) of each pixel
, And a velocity component detected by the velocity component detection unit 205 is assigned only to pixels having a contribution degree equal to or greater than the threshold T. Here, the threshold value T is from the lowest value of the voting value in the intersection line parameter space memory 254 to the peak value S L.
Given a ratio ε when (α P , β P ) is assumed to be 1.0, the voting value contribution by a pixel having a contribution C (x, y, t) equal to or greater than the threshold T gives The voting value accumulated at the peak point (α P , β P ) in the line parameter space is εS L
Set the value of T such that ε is called a contribution ratio, and when an input pixel contains much additional noise, 1.
Give a value close to 0. If the contribution C (x, y, t) is less than the threshold value, it is determined that the pixel (x, y, t) has no speed. Therefore, the velocity component υ (x, y, t) of each pixel in the spatiotemporal difference pixel D is

【0053】[0053]

【数9】 と求めることができる。(Equation 9) Can be requested.

【0054】速度場構成部213では、対象となる領域
に含まれる各画素または図形要素について、寄与度判定
部212によって割り当てられた速度成分をまとめ、速
度場を構成する。
The velocity field construction unit 213 composes a velocity field by putting together the velocity components assigned by the contribution determination unit 212 for each pixel or graphic element included in the target area.

【0055】以下で具体的な例を説明する。図6は、対
象領域抽出部201によって、入力された時系列画像か
らある領域を抽出し、そのうちある一フレームを表示し
たものである。図7は、図6の入力画像からエッジや輪
郭を抽出した例である。この例では、対象は左から右に
一様に移動している。図8は、図6の入力から速度場を
求めた例である。寄与率εは0.98とした。エッジの
動きが画素毎に得られることがわかる。
A specific example will be described below. FIG. 6 shows a case where a certain region is extracted from the input time-series image by the target region extracting unit 201, and one frame is displayed. FIG. 7 is an example of extracting edges and contours from the input image of FIG. In this example, the target is moving uniformly from left to right. FIG. 8 is an example in which the velocity field is obtained from the input of FIG. The contribution ratio ε was set to 0.98. It can be seen that edge motion is obtained for each pixel.

【0056】また、図9は、図6の画像に標準偏差20
のガウス状ノイズを加えた画像である。図10は、図9
から抽出されたエッジの画像の輝度値の大小から求めた
速度場である。図11に、本発明の方法により求めた速
度場を示す。寄与率εは0.98とした。図10と比較
し、ノイズの影響は大幅に削減されていることがわか
る。
FIG. 9 shows that the image shown in FIG.
Is an image to which Gaussian noise is added. FIG.
Is a velocity field obtained from the magnitude of the brightness value of the image of the edge extracted from. FIG. 11 shows the velocity field obtained by the method of the present invention. The contribution ratio ε was set to 0.98. As can be seen from FIG. 10, the influence of noise is significantly reduced.

【0057】なお、図1の処理部200中のメモリ25
1〜254を除く各部はソフトウェアとして実現でき、
これらの処理はFD、CD−ROM等の記録媒体に記録
されてデータ処理装置によって読み出されて実行するこ
とができる。
The memory 25 in the processing section 200 shown in FIG.
Each part except 1-254 can be realized as software,
These processes can be recorded on a recording medium such as an FD or a CD-ROM and read out and executed by a data processing device.

【0058】[0058]

【発明の効果】以上説明したように、本発明は、ハフ変
換または投票を用いて時系列画像の動き場(オプティカ
ルフロー、速度場とも呼ぶ。)を計測する際に、時系列
画像中のある領域内に含まれる各画素または図形要素に
対してハフ変換または投票を行い、その結果として得ら
れるパラメータ空間(投票空間)中について投票分布の
ピークを検出し、各画素または図形要素のピーク値への
寄与の度合いを計算し、その大小により各画素または図
形要素のもつ速度成分を決定することで、ノイズにロパ
ストにきめ細かな時系列画像の動き場を求めることがで
きる。
As described above, according to the present invention, when a motion field (also referred to as an optical flow or a velocity field) of a time-series image is measured by using the Hough transform or voting, a certain point in the time-series image is measured. Hough transform or voting is performed on each pixel or graphic element included in the area, a peak of a voting distribution is detected in a parameter space (voting space) obtained as a result, and a peak value of each pixel or graphic element is calculated. Is calculated, and the velocity component of each pixel or graphic element is determined according to the magnitude of the contribution, so that a motion field of a time-series image that is robust to noise can be obtained.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の一実施形態の時系列画像動き場計測装
置の構成図である。
FIG. 1 is a configuration diagram of a time-series image motion field measurement device according to an embodiment of the present invention.

【図2】図1の装置の処理の流れ図である。FIG. 2 is a flowchart of a process of the apparatus of FIG. 1;

【図3】3次元空間中の平面の極座標表現を説明する図
である。
FIG. 3 is a diagram illustrating a polar coordinate expression of a plane in a three-dimensional space.

【図4】3次元空間中の直線の表現方法を説明する図で
ある。
FIG. 4 is a diagram illustrating a method of expressing a straight line in a three-dimensional space.

【図5】3次元投票空間中の投票パターンの様子を説明
する図である。
FIG. 5 is a diagram illustrating a state of a voting pattern in a three-dimensional voting space.

【図6】図1の装置で用いた時系列画像の一フレームを
示す図である。
FIG. 6 is a diagram showing one frame of a time-series image used in the apparatus of FIG. 1;

【図7】図1の装置で得られた対象のエッジや輪郭を表
現した時系列差分画像の一フレームを示す図である。
7 is a diagram illustrating one frame of a time-series difference image expressing edges and contours of a target obtained by the apparatus of FIG. 1;

【図8】図1の装置で得られた動き場を示す図である。FIG. 8 is a view showing a motion field obtained by the apparatus of FIG. 1;

【図9】図1の装置で用いたノイズが付加された時系列
画像の一フレームを示す図である。
FIG. 9 is a diagram showing one frame of a time-series image to which noise is added used in the apparatus of FIG. 1;

【図10】図9から得られる比較対象の速度場を示す図
である。
FIG. 10 is a diagram showing a speed field of a comparison object obtained from FIG. 9;

【図11】図9より得られた速度場を示す図である。FIG. 11 is a diagram showing a velocity field obtained from FIG. 9;

【符号の説明】[Explanation of symbols]

100 入力部 200 処理部 201 対象領域抽出部 202 3次元ハフ変換部 203 投影部 204 交線投票部 205 速度成分検出部 211 寄与度計算部 212 寄与度判定部 213 速度場構成部 251 時空間画像メモリ 252 3次元投票空間メモリ 253 2次元法線パラメータ空間メモリ 254 交線パラメータ空間メモリ 300 出力部 401〜410 ステップ Reference Signs List 100 input unit 200 processing unit 201 target area extraction unit 202 three-dimensional Hough transform unit 203 projection unit 204 intersection voting unit 205 speed component detection unit 211 contribution calculation unit 212 contribution determination unit 213 speed field configuration unit 251 spatiotemporal image memory 252 three-dimensional voting space memory 253 two-dimensional normal parameter space memory 254 intersection parameter space memory 300 output unit 401 to 410 step

Claims (15)

【特許請求の範囲】[Claims] 【請求項1】 時系列画像を入力し、ハフ変換または投
票を用いて画像の動き場を計測する時系列画像動き場計
測方法であって、 時系列画像中の任意の領域内に含まれる各画素または図
形要素に対してハフ変換または投票を行う段階と、 その結果として得られるパラメータ空間中について投票
分布のピークを検出する段階と、 このピーク値への寄与の度合いを各画素または図形要素
について計算する段階と、 その大小により各画素または図形要素のもつ速度成分を
判定し、時系列画像の動き場を計測する段階を有する時
系列画像動き場計測方法。
1. A time-series image motion field measurement method for inputting a time-series image and measuring a motion field of the image using Hough transform or voting, wherein each of the time-series images includes an arbitrary area included in an arbitrary area in the time-series image. Performing a Hough transform or voting on a pixel or graphic element, detecting a peak of a voting distribution in the resulting parameter space, and determining the degree of contribution to this peak value for each pixel or graphic element. A time-series image motion field measurement method including a calculating step, and determining a speed component of each pixel or graphic element based on the magnitude thereof, and measuring a motion field of the time-series image.
【請求項2】 時系列画像を入力し、ハフ変換または投
票を用いて画像の動き場を計測する時系列画像動き場計
測方法であって、 時系列画像を画像平面に時間軸を加えた3次元空間とし
て見たときに、画像中に含まれる対象のエッジおよび輪
郭が3次元空間中に描く曲面状の運動軌跡を検出し、こ
の運動軌跡に接する接平面を検出し、その相異なる接平
面が交わる交線の方向をハフ変換または投票により検出
する段階と、 対象領域内の速度成分を計測し、ハフ変換または投票に
より得られたパラメータ空間中において、検出された速
度の方向を表す投票値のピークを検出する段階と、 このピークに対する、対象領域内の運動軌跡を構成する
各画素の寄与の度合いを計算する段階と、 その大小により各画素または図形要素のもつ速度成分を
求めることで時系列画像の動き場を計測する段階を有す
る時系列画像動き場計測方法。
2. A time-series image motion field measurement method for inputting a time-series image and measuring a motion field of the image using Hough transform or voting, wherein the time-series image is obtained by adding a time axis to an image plane. When viewed as a three-dimensional space, an edge and a contour of a target included in the image are detected in a three-dimensional space, and a curved trajectory is detected. A tangent plane tangent to the trajectory is detected. Detecting the direction of the line of intersection by Hough transformation or voting, and measuring the velocity component in the target area, and voting value indicating the direction of the detected velocity in the parameter space obtained by Hough transformation or voting. Detecting the peak of the image, calculating the degree of contribution of each pixel constituting the motion trajectory in the target area to the peak, and calculating the velocity component of each pixel or graphic element according to the magnitude. Series image motion field measurement method when including the step of measuring the motion field of the time-series images Rukoto.
【請求項3】 時系列画像を入力し、ハフ変換または投
票を用いて画像の動き場を計測する時系列画像動き場計
測方法であって、 時系列画像を画像平面に時間軸を加えた3次元空間とし
て見たときに、画像中に含まれる対象のエッジおよび輪
郭が3次元空間中に描く曲面状の運動軌跡を検出し、こ
の運動軌跡に接する接平面を3次元ハフ変換により検出
し、その相異なる接平面が交わる交線の方向を別のハフ
変換または投票により検出する段階と、 対象領域内の速度成分を計測し、ハフ変換または投票に
より得られたパラメータ空間中において、検出された速
度の方向を表す投票値のピークを検出する段階と、 このピークに対する、対象領域内の運動軌跡を構成する
各画素の寄与の度合いを計算する段階と、 その大小により各画素または図形要素のもつ速度成分を
求めることで時系列画像の動き場を計測する段階を有す
る時系列画像動き場計測方法。
3. A time-series image motion field measurement method for inputting a time-series image and measuring a motion field of the image using Hough transform or voting, wherein the time-series image is obtained by adding a time axis to an image plane. When viewed as a three-dimensional space, a curved motion trajectory in which edges and contours of a target included in the image are drawn in a three-dimensional space is detected, and a tangent plane tangent to the motion trajectory is detected by a three-dimensional Hough transform. Detecting the direction of the line of intersection of the different tangent planes with another Hough transform or voting, measuring the velocity component in the target area, and detecting the velocity component in the parameter space obtained by the Hough transform or voting. Detecting a peak of the voting value indicating the direction of the velocity; calculating the degree of contribution of each pixel constituting the motion trajectory in the target area to the peak; and calculating each pixel or figure according to its magnitude. Series image motion field measurement method when including the step of measuring the motion field of the time-series images by obtaining the velocity component with the element.
【請求項4】 ピーク値に対する各画像の寄与の度合い
を計算する段階が、速度成分の検出に用いたパラメータ
空間中の投票値のピーク値に対して時系列画像に含まれ
る各画素または図形要素が寄与した度合いを、各画素ま
たは図形要素に対する3次元ハフ変換の投票が行われた
パラメータ空間中の要素の中で、検出された速度成分へ
の投票に寄与し、かつ最大の投票値が集積された要素の
投票値とする段階である請求項3記載の時系列画像動き
場計測方法。
4. The method according to claim 1, wherein the step of calculating the degree of contribution of each image to the peak value includes the step of calculating each pixel or graphic element included in the time-series image with respect to the peak value of the voting value in the parameter space used for detecting the velocity component. Contributes to the voting to the detected velocity component among the elements in the parameter space where the 3D Hough voting has been performed for each pixel or graphic element, and the maximum voting value is accumulated. 4. The time-series image motion field measurement method according to claim 3, wherein the voting value of the selected element is set.
【請求項5】 時系列画像の動き場を計測する段階が、
速度成分の検出に用いたパラメータ空間中の投票値のピ
ーク値に対する時系列画像に含まれる各画素または図形
要素の寄与の度合いがある一定以上の値をもつ画素また
は図形要素のみに、パラメータ空間中の投票値のピーク
位置から求めた速度成分を与える段階を含む請求項1か
ら4のいずれかに記載の時系列画像動き場計測方法。
5. The step of measuring a motion field of a time-series image,
Only pixels or graphic elements having a certain degree or more of the degree of contribution of each pixel or graphic element included in the time-series image to the peak value of the voting value in the parameter space used for detecting the velocity component are included in the parameter space. 5. The time-series image motion field measurement method according to claim 1, further comprising a step of giving a velocity component obtained from a peak position of the voting value of the time series image.
【請求項6】 時系列画像中のある領域内に含まれる各
画素または図形要素に対してハフ変換または投票を行う
手段と、その結果として得られるパラメータ空間中の投
票分布のピークを検出する手段と、各画素または図形要
素のピーク値への寄与の度合いを計算する手段と、その
大小により各画素または図形要素のもつ速度成分を判定
する手段とを有する時系列画像動き場計測装置。
6. A means for performing Hough transform or voting on each pixel or graphic element included in a certain area in a time-series image, and a means for detecting a peak of a voting distribution in a parameter space obtained as a result. And a means for calculating the degree of contribution of each pixel or graphic element to the peak value, and means for determining the velocity component of each pixel or graphic element according to its magnitude.
【請求項7】 時系列画像を、画像平面に時間軸を加え
た3次元空間として見たときに、画像中に含まれる対象
のエッジおよび輪郭が時空間中に描く運動軌跡を検出す
る手段と、この運動軌跡に接する接平面を検出する手段
と、その接平面が交わる交線の方向を、ハフ変換または
投票により検出する手段と、ハフ変換または投票により
得られたパラメータ空間中の投票分布のピークを検出
し、対象の速度成分を計算する手段と、このピークに対
する時空間中の運動軌跡を構成する各画素の寄与の度合
いを計算する手段と、その大小により各画素または図形
要素のもつ速度成分を判定する手段とを有する時系列画
像動き場計測装置。
7. A means for detecting, when a time-series image is viewed as a three-dimensional space obtained by adding a time axis to an image plane, a motion trajectory in which the edges and contours of a target included in the image are drawn in the space and time. Means for detecting a tangent plane tangent to the motion trajectory, means for detecting the direction of an intersection line intersecting the tangent plane by Hough transformation or voting, and means for voting distribution in a parameter space obtained by Hough transformation or voting. A means for detecting a peak and calculating a target velocity component, a means for calculating a degree of contribution of each pixel constituting a motion trajectory in spatiotemporal to this peak, and a speed of each pixel or graphic element according to its magnitude A time-series image motion field measuring apparatus having means for determining a component.
【請求項8】 対象のエッジおよび輪郭が時空間中に描
く曲面状の運動軌跡に接する接平面を検出する3次元ハ
フ変換手段と、接平面が交わる交線の方向を検出するハ
フ変換手段とを有する請求項7記載の時系列画像動き場
計測装置。
8. A three-dimensional Hough transform means for detecting a tangent plane in which an edge and a contour of an object are in contact with a curved motion trajectory drawn in time and space, and a Hough transform means for detecting a direction of an intersection line where the tangent planes intersect. The time-series image motion field measurement device according to claim 7, comprising:
【請求項9】 ピークに対する各画素の寄与の度合いを
検出する手段が、各画素または図形要素に対する3次元
ハフ変換の投票が行われたパラメータ空間中の要素の中
で、検出された速度成分への投票に寄与した要素の集合
を求め、その中で最大の投票値が集積された要素を探索
し、投票値の最大値を時系列画像に含まれる各画素また
は図形要素の検出された速度成分への投票に寄与した度
合いとして計算する手段である請求項7記載の時系列画
像動き場計測装置。
9. A means for detecting the degree of contribution of each pixel to a peak, comprising: detecting a velocity component detected in a parameter space in which a three-dimensional Hough transform has been voted for each pixel or graphic element; Find the set of elements that contributed to the voting, search for the element with the largest voting value among them, and determine the maximum voting value as the detected velocity component of each pixel or graphic element included in the time-series image 8. The time-series image motion field measuring apparatus according to claim 7, wherein the time-series image motion field measuring device is means for calculating the degree of contribution to voting.
【請求項10】 各画素または図形要素のもつ速度成分
を判定する手段が、速度成分の検出に用いたパラメータ
空間中の投票値のピーク値に対する時系列画像に含まれ
る各画素または図形要素の寄与の度合いとあるしきい値
を比較し、しきい値以上の寄与の度合いをもつ画素また
は図形要素のみに、パラメータ空間中の投票値のピーク
位置から求めた速度成分を与える手段を含む請求項6か
ら9記載のいずれか1項記載の時系列画像動き場計測装
置。
10. A method for determining a speed component of each pixel or graphic element, comprising the step of: contributing each pixel or graphic element included in the time-series image to a peak value of a voting value in a parameter space used for detecting the speed component. 7. A means for comparing a degree of the voting value with a certain threshold value and providing a velocity component obtained from the peak position of the voting value in the parameter space only to pixels or graphic elements having a degree of contribution equal to or greater than the threshold value. 10. The time-series image motion field measurement device according to any one of items 9 to 9.
【請求項11】 時系列画像を入力し、ハフ変換または
投票を用いて画像の動き場を計測する時系列画像動き場
計測プログラムを記録した記録媒体であって、 時系列画像中の任意の領域内に含まれる各画素または図
形要素に対してハフ変換または投票を行う処理と、 その結果として得られるパラメータ空間中について投票
分布のピークを検出する処理と、 このピーク値への寄与の度合いを各画素または図形要素
について計算する処理と、 その大小により各画素または図形要素のもつ速度成分を
判定し、時系列画像の動き場を計測する処理を有する時
系列画像動き場計測プログラムを記録した記録媒体。
11. A recording medium for recording a time-series image motion field measurement program for inputting a time-series image and measuring a motion field of the image using Hough transform or voting, wherein the arbitrary area in the time-series image is recorded. A process of performing Hough transform or voting on each pixel or graphic element included in, a process of detecting a peak of a voting distribution in a resulting parameter space, and a degree of contribution to the peak value. A recording medium storing a time-series image motion field measurement program having a process of calculating a pixel or a graphic element and a process of determining a speed component of each pixel or a graphic element based on the magnitude thereof and measuring a motion field of a time-series image .
【請求項12】 時系列画像を入力し、ハフ変換または
投票を用いて画像の動き場を計測する時系列画像動き場
計測プログラムを記録した記録媒体であって、 時系列画像を画像平面に時間軸を加えた3次元空間とし
て見たときに、画像中に含まれる対象のエッジおよび輪
郭が3次元空間中に描く曲面状の運動軌跡を検出し、こ
の運動軌跡に接する接平面を検出し、その相異なる接平
面が交わる交線の方向をハフ変換または投票により検出
する処理と、 対象領域内の速度成分を計測し、ハフ変換または投票に
より得られたパラメータ空間中において、検出された速
度の方向を表す投票値にピークを検出する処理と、 このピークに対する、対象領域内の運動軌跡を構成する
各画素の寄与の度合いを計算する処理と、 その大小により各画素または図形要素のもつ速度成分を
求めることで時系列画像の動き場を計測する処理を有す
る時系列画像動き場計測プログラムを記録した記録媒
体。
12. A recording medium for recording a time-series image motion field measurement program for inputting a time-series image and measuring a motion field of the image using Hough transform or voting, wherein the time-series image is expressed in time on an image plane. When viewed as a three-dimensional space to which an axis is added, an edge and a contour of a target included in the image detect a curved motion trajectory drawn in the three-dimensional space, and a tangent plane tangent to the motion trajectory is detected. The process of detecting the direction of the intersection line where the different tangent planes intersect by Hough transformation or voting, and measuring the velocity component in the target area, and calculating the detected velocity in the parameter space obtained by Hough transformation or voting. A process of detecting a peak in the voting value indicating the direction, a process of calculating the degree of contribution of each pixel constituting the motion trajectory in the target region to the peak, and a process of calculating each pixel or Recording medium for recording a series images motion field measurement program when it has a process of measuring the motion field of the time-series images by obtaining the velocity component having the shape element.
【請求項13】 時系列画像を入力し、ハフ変換または
投票を用いて画像の動き場を計測する時系列画像動き場
計測プログラムを記録した記録媒体であって、 時系列画像を画像平面に時間軸を加えた3次元空間とし
て見たときに、画像中に含まれる対象のエッジおよび輪
郭が3次元空間中に描く曲面状の運動軌跡を検出し、こ
の運動軌跡に接する接平面を3次元ハフ変換により検出
し、その相異なる接平面が交わる交線の方向を別のハフ
変換または投票により検出する処理と、 対象領域内の速度成分を計測し、ハフ変換または投票に
より得られたパラメータ空間中において、検出された速
度の方向を表す投票値のピークを検出する処理と、 このピークに対する、対象領域内の運動軌跡を構成する
各画素の寄与の度合いを計算する処理と、 その大小により各画素または図形要素のもつ速度成分を
求めることで時系列画像の動き場を計測する処理を有す
る時系列画像動き場計測方法。
13. A recording medium for recording a time-series image motion field measurement program for inputting a time-series image and measuring a motion field of the image using Hough transform or voting, wherein the time-series image is stored on an image plane in time. When viewed as a three-dimensional space to which an axis is added, a curved motion trajectory in which an edge and a contour of a target included in the image are drawn in the three-dimensional space is detected, and a tangent plane tangent to the motion trajectory is detected as a three-dimensional Hough. The process of detecting by the transformation and detecting the direction of the intersection line where the different tangent planes intersect by another Hough transformation or voting, and measuring the velocity component in the target area, and the parameter space obtained by the Hough transformation or voting A process of detecting a peak of a voting value representing a direction of the detected speed, a process of calculating a contribution of each pixel constituting a motion trajectory in the target region to the peak, Series image motion field measuring method when it has a process of measuring the motion field of the time-series images by obtaining the velocity component possessed by each pixel or graphic element by magnitude.
【請求項14】 ピーク値に対する各画素の寄与の度合
いを計算する処理が、速度成分の検出に用いたパラメー
タ空間中の投票値のピーク値に対して時系列画像に含ま
れる各画素または図形要素が寄与した度合いを、各画素
または図形要素に対する3次元ハフ変換の投票が行われ
たパラメータ空間中の要素の中で、検出された速度成分
への投票に寄与し、かつ最大の投票値が集積された要素
の投票値とする処理を有する請求項13記載の記録媒
体。
14. A process for calculating a degree of contribution of each pixel to a peak value, wherein each pixel or graphic element included in a time-series image is compared with a peak value of a voting value in a parameter space used for detecting a velocity component. Contributes to the voting to the detected velocity component among the elements in the parameter space where the 3D Hough voting has been performed for each pixel or graphic element, and the maximum voting value is accumulated. The recording medium according to claim 13, further comprising a process of setting a voting value of the selected element.
【請求項15】 時系列の動き場合を検出する処理が、
速度成分の検出に用いたパラメータ空間中の投票値のピ
ーク値に対する時系列画像に含まれる各画素または図形
要素の寄与の度合いがある一定以上の値をもつ画素また
は図形要素のみに、パラメータ空間中の投票値のピーク
位置から求めた速度成分を与える段階を有する請求項1
1から14のいずれかに記載の記録媒体。
15. A process for detecting a time-series motion case,
Only pixels or graphic elements having a certain degree or more of the degree of contribution of each pixel or graphic element included in the time-series image to the peak value of the voting value in the parameter space used for detecting the velocity component are included in the parameter space. 2. A step of providing a velocity component obtained from the peak position of the voting value.
15. The recording medium according to any one of 1 to 14.
JP9256885A 1997-09-22 1997-09-22 Method and device for measuring time series image moving place and recording medium recorded with time series image moving place measuring program Pending JPH1196375A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9256885A JPH1196375A (en) 1997-09-22 1997-09-22 Method and device for measuring time series image moving place and recording medium recorded with time series image moving place measuring program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9256885A JPH1196375A (en) 1997-09-22 1997-09-22 Method and device for measuring time series image moving place and recording medium recorded with time series image moving place measuring program

Publications (1)

Publication Number Publication Date
JPH1196375A true JPH1196375A (en) 1999-04-09

Family

ID=17298773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9256885A Pending JPH1196375A (en) 1997-09-22 1997-09-22 Method and device for measuring time series image moving place and recording medium recorded with time series image moving place measuring program

Country Status (1)

Country Link
JP (1) JPH1196375A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091289A (en) * 1999-09-17 2001-04-06 Data Tec:Kk Sensor unit
JP2008009999A (en) * 2007-07-27 2008-01-17 Sony Corp Plane extraction method, and device, program, and storage medium therefor, and imaging device
WO2015025555A1 (en) * 2013-08-21 2015-02-26 沖電気工業株式会社 Traffic volume measurement device and traffic volume measurement method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001091289A (en) * 1999-09-17 2001-04-06 Data Tec:Kk Sensor unit
JP2008009999A (en) * 2007-07-27 2008-01-17 Sony Corp Plane extraction method, and device, program, and storage medium therefor, and imaging device
WO2015025555A1 (en) * 2013-08-21 2015-02-26 沖電気工業株式会社 Traffic volume measurement device and traffic volume measurement method
JP2015041187A (en) * 2013-08-21 2015-03-02 沖電気工業株式会社 Traffic measurement device, and traffic measurement method

Similar Documents

Publication Publication Date Title
US11461912B2 (en) Gaussian mixture models for temporal depth fusion
EP1329850B1 (en) Apparatus, program and method for detecting both stationary objects and moving objects in an image
CN107463890B (en) A kind of Foregut fermenters and tracking based on monocular forward sight camera
US6205242B1 (en) Image monitor apparatus and a method
CN108645375B (en) Rapid vehicle distance measurement optimization method for vehicle-mounted binocular system
Wang et al. Window detection from mobile LiDAR data
CN110728753B (en) Target point cloud 3D bounding box fitting method based on linear fitting
JP7091686B2 (en) 3D object recognition device, image pickup device and vehicle
CN106096555A (en) The method and apparatus of three dimensional face detection
EP3376468B1 (en) Object detection device and object detection method
Głowacz et al. Video detection algorithm using an optical flow calculation method
Cerri et al. Free space detection on highways using time correlation between stabilized sub-pixel precision IPM images
Kanhere et al. Real-time detection and tracking of vehicle base fronts for measuring traffic counts and speeds on highways
JP2018124963A (en) Image processing device, image recognition device, image processing program, and image recognition program
El Ansari et al. Temporal consistent fast stereo matching for advanced driver assistance systems (ADAS)
CN113920254B (en) Monocular RGB (Red Green blue) -based indoor three-dimensional reconstruction method and system thereof
WO2018143278A1 (en) Image processing device, image recognition device, image processing program, and image recognition program
JPH1196375A (en) Method and device for measuring time series image moving place and recording medium recorded with time series image moving place measuring program
Lu et al. Monocular multi-kernel based lane marking detection
KR101241813B1 (en) Apparatus and method for detecting objects in panoramic images using gpu
Nguyen et al. Scan profiles based method for segmentation and extraction of planar objects in mobile laser scanning point clouds
KR101980899B1 (en) Apparatus for detecting of inside wall frame in single image using orthogonal vanishing points and method thereof
Corneliu et al. Real-time pedestrian classification exploiting 2D and 3D information
JP4479174B2 (en) Object detection device
CN114766039A (en) Object detection method, object detection device, terminal device, and medium