JPH06162193A - 動きベクトル抽出方法 - Google Patents

動きベクトル抽出方法

Info

Publication number
JPH06162193A
JPH06162193A JP31690592A JP31690592A JPH06162193A JP H06162193 A JPH06162193 A JP H06162193A JP 31690592 A JP31690592 A JP 31690592A JP 31690592 A JP31690592 A JP 31690592A JP H06162193 A JPH06162193 A JP H06162193A
Authority
JP
Japan
Prior art keywords
motion vector
discontinuity point
feature quantity
feature
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP31690592A
Other languages
English (en)
Inventor
Satoshi Suzuki
智 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP31690592A priority Critical patent/JPH06162193A/ja
Publication of JPH06162193A publication Critical patent/JPH06162193A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 動画像から、動物体の動きベクトルを抽出す
る方法において、動物体と背景の境界部分及び非剛体性
の運動の正しい動きベクトルを抽出し、動物体の検出・
追跡を容易にする。 【構成】 動画像から、動物体の動きベクトルを抽出す
る方法において、まず、各画素値の時間的不連続点を検
出し、この不連続点から最初の不連続点までのフレーム
数を特徴量1とし、最初の不連続点から第2不連続点ま
での画素値の平均値を特徴量2とし、最初の不連続点か
ら第2不連続点までのフレーム数を特徴量3とし、第2
の不連続点から第3の不連続点までの画素値の平均値を
特徴量4とし、これらの特徴量から不連続点の時間的変
化領域を求め、得られた時間的変化領域を2分割し、こ
の2つの領域の各々について代表点を求め、2つの代表
点間の変位を変化領域の動きベクトルとする動きベクト
ル抽出方法。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、動画像処理の特徴抽出
技術に関し、特に、動物体の動きを表すベクトルを抽出
する方法に関するものである。そして、この動きベクト
ル抽出方法の特徴を用いて動物体の検出・追跡を行うも
のである。
【0002】
【従来の技術】動きベクトル抽出とは、動画像において
画素(x,y)における濃度値をI(x,y,t)と表
すと、ある短い時間dt対して、I(x,y,t)=I
(x+dx,y+dy,t+dt)の関係を満たす画素
(x+dx,y+dy)を探索することにより、動きベ
クトル(dx/dt,dy/dt)を計算することであ
る。この探索方法として様々なものが提案されており、
代表的なものとして、濃度勾配を用いる方法(例えば、
B.K.P.Horn and B.G. Schunck: Determining optical f
low, Artificial Intelligence 17, P.185, 1981)、相
関を用いる方法(例えば、P.J.Burt et al.: Object tr
acking with a moving camera-An application of dyna
mic motion analysis, in Proc. IEEE Workshop on Vis
ual Motion, Irvine, CA, p.2 1989)、周波数領域解析
を用いる方法(例えば、D.J.Fleetand A.D.Jepson: Com
putation of component image velocity from local ph
aseinformation, International Journal of Computer
Vision, Vol.5, p.77, 1990)などがある。これらは、
いずれも、局所的な情報を用いて、動きベクトルは局所
的になめらかであることを仮定して、画素ごとに動きベ
クトルを決定している。
【0003】
【発明が解決しようとする課題】しかしながら、従来方
法はいずれも、局所的な情報を用い、動きベクトルは局
所的になめらかであると仮定して画素を決定しているた
め、局所的になめらかであるという仮定が成立しない部
分、例えば、動物体と背景の境界付近などでは、正しい
動きベクトルが得られないという問題があった。
【0004】また、特に、非剛体の動物体では、物体の
動きに加えて、非剛体性による変形があり、ここでも、
局所的になめらかさの仮定が成立せず、正しい動きベク
トルが得られないため、動物体の検出・追跡を困難にす
るという問題があった。
【0005】本発明は、前記課題を解決するためになさ
れたものであり、本発明の目的は、局所的になめらかで
あるという仮定が成立しない部分においても、正しい動
きベクトルを抽出することが可能な技術を提供すること
である。
【0006】本発明の他の目的は、特に、非剛体の運動
に対しても、境界部分において正しい動きベクトルを抽
出し、動物体の検出・追跡を容易にすることが可能な技
術を提供することである。
【0007】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。
【0008】
【課題を解決するための手段】前記目的を達成するた
め、本発明は、カメラを静止して連続して撮影された動
画像から動物体の動きベクトルを抽出する方法におい
て、各画素値の時間的不連続点を検出する第1の過程
と、第1の過程で得られた不連続点から、特徴量1は最
初の不連続点までのフレーム数、特徴量2は最初の不連
続点から第2の不連続点までの画素値の平均値、特徴量
3は第2の不連続点までのフレーム数、特徴量4は第2
の不連続点から第3の不連続点までの画素値の平均値と
して、それぞれの特徴量を求める第2の過程と、第2の
過程で得られた特徴量に基づいて、不連続点の時間的変
化領域を求める第3の過程と、第3の過程で得られた各
変化領域を時間的に2分割して、得られた2つの領域の
各々について代表点を求め、2つの代表点の間の変位を
変化領域の動きベクトルとする第4の過程を有すること
を特徴とする。
【0009】
【作用】前記手段によれば、動物体の境界において安定
して抽出できる時間的な不連続点をもとに、動きベクト
ル抽出を行っているので、動物体の境界部分でも正しい
動きベクトルが抽出できる。
【0010】また、不連続点の時間的変化領域の代表点
を用いて動きベクトル抽出を行っているので、代表点と
して動物体の非剛体性に不変なものを選択することによ
り、非剛体の運動に対しても、正しい動きベクトルが抽
出できる。
【0011】
【実施例】以下、本発明の実施例を図面を用いて詳細に
説明する。
【0012】なお、実施例を説明するための全図におい
て、同一機能を有するものは同一符号を付け、その繰り
返しの説明は省略する。
【0013】図1は、本発明による動きベクトル抽出方
法の一実施例の実施装置の概略構成を示す模式構成図で
ある。
【0014】本実施例の動きベクトル抽出方法の実施装
置は、図1に示すように、不連続点検出部1、特徴量計
算部2、時間的変化領域抽出部3、動きベクトル計算部
4からなり、前記各部は、中央演算処理装置(CPU)
11内に構成されている。
【0015】不連続点検出部1は、各画素値の時間的な
変化における不連続点を検出する。画素値として濃度値
の他、色、レンジ情報などを用いることもできる。
【0016】図2は、動物体の動きとそれによって生じ
る画素値の時間的な変化を2つの画素について示したも
のである。
【0017】動物体上の画素値は“1”、背景上の画素
値は“0”であり、物体は左から右へ1画素/フレーム
の速度で移動する。
【0018】動物体上の画素5では、第1の不連続点は
フレーム番号1において検出され、第2の不連続点はフ
レーム番号2において検出される。
【0019】背景上の画素6では、第1の不連続点はフ
レーム番号1において検出され、第2の不連続点はフレ
ーム番号4において検出される。同様にして、全ての画
素について不連続点検出を行う。
【0020】不連続点は、画素値の時間変化の波形にガ
ウス関数を重畳し、その零交差を求めることにより得ら
れる。
【0021】特徴量計算部2は、最初の不連続点までの
フレーム数(特徴量1)、最初の不連続点から第2の不
連続点までの画素値の平均値(特徴量2)、第2の不連
続点までのフレーム数(特徴量3)、第2の不連続点か
ら第3の不連続点までの画素値の平均値(特徴量4)の
4つの特徴量を計算する。
【0022】図3は、図2に示す動物体に対する4つの
特徴量の計算例を示す。フレーム0からフレーム4を用
いて特徴量1,特徴量2,特徴量3,特徴量4を計算し
て結果を図3(a),(b),(c),(d)に示す。
【0023】時間的変化領域抽出部3は、特徴量計算部
2で得られた特徴量をもとに時間変化領域を抽出する。
まず、特徴量2が等しく(特徴量の差分がある値以下で
あるとしてもよい)、特徴量1が1である領域を抽出す
る。
【0024】図2の動物体の場合、図3(e)に示す4
つの領域が抽出される。それぞれの領域に属する画素に
は、同じラベルが与えられ、各画素がどの領域に属する
か区別出来るようになっている。
【0025】次に、これらの領域に、特徴量2が等し
く、特徴量1が2である画素を統合して領域を成長させ
る。その結果を図3(f)に示す。
【0026】以下、同様に、特徴量1を順次増やしてい
く。図3(g)は、その領域成長の結果であり、4つの
連結領域が存在する。
【0027】これらのラベルにより、それぞれの連結領
域を時間的変化領域1、時間的変化領域2、時間的変化
領域3、時間的変化領域4と呼ぶ。
【0028】この結果からわかるように、時間的変化領
域2、時間的変化領域3では、特徴量1の値が単一であ
り、このままでは次の動きベクトル計算部4で動きベク
トルを計算できない。
【0029】そこで、次に、特徴量3と4をそれぞれ特
徴量1と2のかわりに用いて、図3(g)の時間的変化
領域2、時間的変化領域3を成長させる。この成長は、
特徴量3として特徴量1と異なる値の画素が統合される
まで反復される。
【0030】時間的変化領域2について説明する。図3
(g)において時間的変化領域2の近傍にあり、特徴量
3が2であり、かつ、特徴量4が時間的変化領域2の特
徴量2に等しい画素を時間的変化領域2に統合する。
【0031】これにより、時間的変化領域2の成長は終
了し、図3(h)に示す時間的変化領域2が得られる。
【0032】同様にして、図3(g)の時間的変化領域
3は、図3(i)に示すように成長される。
【0033】動きベクトル計算部4は、各時間的変化領
域を特徴量1及び3で時間的に2分割する。そして、2
つの領域の代表点を求め、その変位を動きベクトルとす
る。代表点として、重心等様々のものが考えられる。
【0034】図4(a)は、図3のラベル4の領域につ
いて、重心を代表点として変位を求めたものである。
【0035】この変位を時間で正規化することにより動
きベクトルが得られる。正規化は次式で行える。
【0036】
【数1】2×変位/[特徴量1及び3の最大値)−(特
徴量1及び3の最小値)+1] 図4(b)は、重心が不変である動物体の非剛体性の例
である。すなわち、図4(a)の領域に図4(b)に示
すような時間的変形が加わっても動きベクトルは等しい
ことを示している。
【0037】以上、本発明を実施例に基づき具体的に説
明したが、本発明は、前記実施例に限定されるものでは
なく、その要旨を逸脱しない範囲において種々変更可能
であることは勿論である。
【0038】
【発明の効果】以上、説明したように、本発明によれ
ば、動物体の境界において安定して抽出できる時間的な
不連続点をもとに動きベクトル抽出を行っているので、
動物体の境界部分で正しい動きベクトルが抽出できる。
【0039】また、不連続点の時間的変化領域の代表点
を用いて動きベクトル抽出を行っているので、代表点と
して動物体の非剛体性に不変なものを選択することによ
り、非剛体の運動に対しても、正しい動きベクトルが抽
出できる。
【図面の簡単な説明】
【図1】 本発明の一実施例の動きベクトル抽出方法を
実施するための装置の機能構成を示すブロック図、
【図2】 不連続点の検出結果の例を示す図、
【図3】 特徴量の計算結果の例及びそれを用いた時間
的変化領域の抽出結果の例を示す図、
【図4】 動きベクトルの計算結果の例を示す図。
【符号の説明】
1…不連続点検出部、2…特徴量計算部、3…時間的変
化領域抽出部、4…動きベクトル計算部、5…動物体上
の画素の例、6…背景上の画素の例、11…中央演算処
理装置(CPU)。

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 カメラを静止して連続して撮影された画
    像列(以後、動画像と呼ぶ)から、動物体の動きベクト
    ルを抽出する方法において、各画素値の時間的不連続点
    を検出する第1の過程と、第1の過程で得られた不連続
    点から、各画素について、特徴量1は最初の不連続点ま
    でのフレーム数、特徴量2は最初の不連続点から第2の
    不連続点までの画素値の平均値、特徴量3は第2の不連
    続点までのフレーム数、特徴量4は第2の不連続点から
    第3の不連続点までの画素値の平均値とし、それぞれの
    特徴量を求める第2の過程と、第2の過程で得られた特
    徴量に基づいて、不連続点の時間的変化領域を求める第
    3の過程と、第3の過程で得られた各変化領域を時間的
    に2分割して、得られた2つの領域の各々について代表
    点を求め、2つの代表点の間の変位を変化領域の動きベ
    クトルとする第4の過程を有することを特徴とする動き
    ベクトル抽出方法。
JP31690592A 1992-11-26 1992-11-26 動きベクトル抽出方法 Pending JPH06162193A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31690592A JPH06162193A (ja) 1992-11-26 1992-11-26 動きベクトル抽出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31690592A JPH06162193A (ja) 1992-11-26 1992-11-26 動きベクトル抽出方法

Publications (1)

Publication Number Publication Date
JPH06162193A true JPH06162193A (ja) 1994-06-10

Family

ID=18082223

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31690592A Pending JPH06162193A (ja) 1992-11-26 1992-11-26 動きベクトル抽出方法

Country Status (1)

Country Link
JP (1) JPH06162193A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100384256C (zh) * 1995-08-08 2008-04-23 株式会社大宇电子 利用基于特征点的逐象素运动估算的图象处理系统
CN100384257C (zh) * 1995-08-08 2008-04-23 株式会社大宇电子 应用基于特征点的运动估算的图象处理系统
CN100388793C (zh) * 1995-03-20 2008-05-14 株式会社大宇电子 利用基于特征点的逐象素运动估算的图象处理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100388793C (zh) * 1995-03-20 2008-05-14 株式会社大宇电子 利用基于特征点的逐象素运动估算的图象处理装置
CN100384256C (zh) * 1995-08-08 2008-04-23 株式会社大宇电子 利用基于特征点的逐象素运动估算的图象处理系统
CN100384257C (zh) * 1995-08-08 2008-04-23 株式会社大宇电子 应用基于特征点的运动估算的图象处理系统

Similar Documents

Publication Publication Date Title
Klein et al. Full-3D Edge Tracking with a Particle Filter.
US10049277B2 (en) Method and apparatus for tracking object, and method and apparatus for calculating object pose information
KR100653288B1 (ko) 비디오 화상으로부터의 얼굴 인식
Sabater et al. Robust and efficient post-processing for video object detection
CN110427905A (zh) 行人跟踪方法、装置以及终端
Kumar et al. Motion trajectory for human action recognition using fourier temporal features of skeleton joints
JP2004054960A (ja) 映像視覚情報を結合してリアルタイムで複数の顔を検出して追跡する顔検出・追跡システム及びその方法
Chen et al. Tracking of moving object based on optical flow detection
Smith ASSET-2: Real-time motion segmentation and object tracking
CN111311647A (zh) 一种基于全局-局部及卡尔曼滤波的目标跟踪方法及装置
Wu et al. Contextual flow
CN106204637A (zh) 光流计算方法
Piga et al. ROFT: Real-time optical flow-aided 6D object pose and velocity tracking
CN113643330B (zh) 一种基于动态语义特征的目标跟踪方法及系统
JPH06162193A (ja) 動きベクトル抽出方法
Berezansky et al. Segmentation and tracking of human sperm cells using spatio-temporal representation and clustering
Shafiee et al. Model-based tracking: Temporal conditional random fields
JP2001307104A (ja) 動画像のオブジェクト抽出装置
Guo et al. Multiple likelihood models based particle filter for long-term full occlusion
Lu et al. Sparse selective kernelized correlation filter model for visual object tracking
CN113205544B (zh) 基于交并比估计的空间注意力强化学习跟踪方法
Zhang et al. Robust visual tracking via multiple experts with correlation filters
Ooke et al. Transfer Learning of Deep Neural Network Human Pose Estimator by Domain-Specific Data for Video Motion Capturing
Bao et al. Spatio-temporal motion field descriptors for the hierarchical action recognition system
JPH02108178A (ja) 画像処理システム