JP2910284B2 - 移動ベクトル検出方法及び装置 - Google Patents

移動ベクトル検出方法及び装置

Info

Publication number
JP2910284B2
JP2910284B2 JP6078591A JP6078591A JP2910284B2 JP 2910284 B2 JP2910284 B2 JP 2910284B2 JP 6078591 A JP6078591 A JP 6078591A JP 6078591 A JP6078591 A JP 6078591A JP 2910284 B2 JP2910284 B2 JP 2910284B2
Authority
JP
Japan
Prior art keywords
image
window
motion vector
equation
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP6078591A
Other languages
English (en)
Other versions
JPH04256079A (ja
Inventor
直哉 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
Nippon Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Electric Co Ltd filed Critical Nippon Electric Co Ltd
Priority to JP6078591A priority Critical patent/JP2910284B2/ja
Publication of JPH04256079A publication Critical patent/JPH04256079A/ja
Application granted granted Critical
Publication of JP2910284B2 publication Critical patent/JP2910284B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は時間的に連続した画像
(たとえばテレビジョン画像)から、撮影されている物
体の画像上での移動ベクトルを求める方法及び装置に関
するものである。
【0002】
【従来の技術】動画像における空間及び時間微分値と、
動画像に撮影されている物体の画像上での移動ベクトル
の間に成り立つ関係を利用して、その物体の移動ベクト
ルを検出する勾配法と呼ばれている方法がある(1.吹
抜敬彦,「画像信号による動対象の移動量、速度の測
定」,電子通信学会技術研究報告,IE78−67,1
978−10、2.和田正裕,山口博久,「反復勾配法
による動画像信号の動き量検出」電子通信学会論文誌
D,1985−4,pp.663−670)。次に勾配
法について説明する。
【0003】動画像の画素を、画面の座標x,yと時間
tの関数として表現すると、勾配法の基礎となる画像の
微分値間の関係を示す式は次のようになる。
【0004】
【数10】
【0005】
【0006】ここで、Ex,Ey,Etはそれぞれ画像の
明るさのx,yおよびt方向の偏微分係数、u,vはそ
の点での移動ベクトルのx,y成分である。数10で示
される関係は画像上の各点で独立に与えられるが、一点
での関係のみではu,vを決定することができないの
で、画像上にウインドを設定し、そのウインド内での移
動ベクトルu,vは一定であると仮定して解かれる。上
述の内容を数式として表現すれば、Ex(x,y),Ey
(x,y)およびEt(x,y)をそれぞれウインド内
で計算される画像のx,yおよびtでの偏導関数とし
て、次式がウインド内で成立することである。
【0007】
【数11】
【0008】
【0009】しかし、実際に画像から計算される各偏導
関数は、上述の仮定が完全には成り立たないことなどに
より、数11の関係が完全には成立せず、数12で示す
ように残差Er(x,y)が存在する。
【0010】
【数12】
【0011】
【0012】そこで、残差Erの大きさ|Er|を最小に
するようなu,vが最も確からしい移動ベクトルとして
採用される。数12の残差Erの大きさが最小になる条
件は、関数Erが関数Ex,Eyと直交することである。
【0013】
【数13】
【0014】
【0015】ただし、(f1・f2)は関数f1とf2との
内積を示す。
【0016】
【数14】
【0017】
【0018】求めるべき移動ベクトルを(u0,v0)と
して、式(3)とExおよびEyの内積をつくり、数13
の条件を適用すると次式が得られる。
【0019】
【数15】
【0020】
【0021】ただし
【数16】
【0022】
【0023】ここで、積分の範囲はウインドの内部であ
る。従って、求めるべき移動ベクトルは次のようにな
る。
【0024】
【数17】
【0025】
【0026】
【発明が解決しようとする問題点】以上述べた方法によ
り移動ベクトルが検出されるが、この検出方法ではウイ
ンド内の物体の動きを、そのウインド内での位置によら
ず一様に反映してしまうという問題点がある。この問題
点について以下に説明する。
【0027】本来、移動ベクトルは画像上の各点ごとに
求まるのが理想であるが、それが不可能なため前述のご
とくウインドを設定し、その中での移動は一定であると
仮定される。しかし、実際には異なる動きをする物体が
ウインド内に含まれることがある。図2は円形のウイン
ド内に2つの異なった移動をする物体aおよびbが含ま
れている場合を示した。この場合、検出される移動ベク
トルはウインドの中心付近の動きを反映するのが望まし
く、図2に示すウインド1では物体aの、ウインド2で
は物体bの動きに近い値が検出されるべきである。しか
し、従来の方法ではウインド内の物体の動きは、その位
置によらず平等に扱われるため、2つのウインド上で検
出される移動ベクトルは同じものとなる。
【0028】本発明の目的は上述の欠点をなくし、ウイ
ンドの中心付近の移動がより多く反映される移動ベクト
ル検出方法及び装置を提供することにある。
【0029】
【課題を解決するための手段】第1の発明は、時間的に
連続した画像E(x,y,t)の空間微分Ex,Ey及び
時間微分Etと前記画像上の移動ベクトル(u,v)と
の関係を示す式(数1)を、前記画像上に設定した空間
的広がりを持つ領域(以降ウインドという)内で前記移
動ベクトル(u,v)が一定であるという条件と共に、
実際の画像から計算された各微分値に適用したときに算
出される前記式の誤差|Er|を最小にする移動ベクト
ル(u0,v0)を前記ウインド内の移動ベクトルとする
移動ベクトル検出方法において、前記ウインドの中心で
最大値をとり、周囲に向かって減少する重み付け関数を
設定し、この重み付け関数を前記画像の各微分値と移動
ベクトルの関係を示す式に乗ずることにより、ウインド
内での重み付けを行うことを特徴とする移動ベクトル検
出方法である。
【0030】第2の発明は、第1の発明においてウイン
ド内での重み付け関数として、2次元ガウス分布関数
(数2)を採用した移動ベクトル検出方法である。
【0031】第3の発明は、第1の発明においてウイン
ド内での重み付け関数として、ウインドの中心からの距
離rに従って階段状に変化する関数(数3)を採用した
移動ベクトル検出方法である。
【0032】第4の発明は、画像撮像装置によって得ら
れる時間的に連続した画像列を離散的表現に変換する変
換器と、変換された離散的表現の画像の時間的に隣合う
フレームを保持するフレームメモリと、このフレームメ
モリに保持された画像の空間差分Ex,Ey及びフレーム
差分Etを計算する画像差分計算装置と、前記画像上に
設定されたウインドに対して、2次元ガウス分布関数
(数4)によって重み付けされた前記各差分値の自乗及
び積の総和(数5)を計算する総和計算装置と、前記総
和を用いて移動ベクトル(数6)を計算する移動ベクト
ル計算装置とからなる移動ベクトル検出装置である。
【0033】第5の発明は、画像撮像装置によって得ら
れる時間的に連続した画像列を離散的表現に変換する変
換器と、変換された離散的表現の画像の時間的に隣合う
フレームを保持するフレームメモリと、このフレームメ
モリに保持された画像の空間差分Ex,Ey及びフレーム
差分Etを計算する画像差分計算装置と、前記画像上に
設定されたウインドに対して、ウインドの中心からの距
離rに従って階段状に変化する関数(数7)によって重
み付けされた前記各差分値の自乗及び積の総和(数8)
を計算する総和計算装置と、前記総和を用いて移動ベク
トル(数9)を計算する移動ベクトル計算装置とからな
る移動ベクトル検出装置である。
【0034】
【作用】前述の問題点はウインドの中心で大きな値を取
り、周囲に向かうに従い減少するような重み付け関数を
数11に乗ずることによって達成される。重み付け関数
をw(x,y)とすれば、ウインドの中心を(x0
0)として、次式が得られる。
【0035】
【数18】
【0036】
【0037】数18を数11の代わりに用いれば、数1
6は数19となる。
【0038】
【数19】
【0039】
【0040】移動ベクトル(u0,v0)は数19で与え
られる値を用いて数17により計算される。
【0041】重み付け関数wとして性質の良いものは、
次式に示す2次元ガウス分布関数である。
【0042】
【数20】
【0043】
【0044】他の重み付け関数として、中心からの距離
rに従って階段状に変化する関数が可能である。
【0045】
【数21】
【0046】
【0047】ここで、nはこの関数が一定の値を取る範
囲の数である。数21で示される関数を重み付け関数と
して採用した場合には、数19で示される各値を計算す
るのに必要な演算量が減るという利点がある。例えば、
aの値は次式で計算される。
【0048】
【数22】
【0049】
【0050】ここで、Siは重み付け関数がwiの値をと
る領域である。すなわち、この領域Siでは重み付け関
数はx,yに対して定数であるため積分の外に出すこと
ができ、積分の中の演算はEx(x,y)の自乗だけに
なる。数19に示される他の値、b,f,g,hも同様
にして計算される。さらに他の重み付け関数として、ウ
インド中心からの距離に従って線形に減少するものなど
が可能である。また、以上述べた重み付け関数はウイン
ドの中心に対して対称であったが、対称でない関数も可
能である。
【0051】
【実施例】本発明の第1の実施例を図1に示す。撮像装
置1によって得られたアナログの映像信号はA/D変換
器2によって離散化され、デジタルの画像となる。この
デジタル信号はフレームメモリA3に保持される。フレ
ームメモリB4は1フレーム前のデジタル画像を保持す
るメモリで、A/D変換器から新たなフレームの画像が
フレームメモリA3に送られてくると、それまでフレー
ムメモリA3が保持していた画像をフレームメモリB4
が保持する。画像差分装置5は、二つのフレームメモリ
が保持している隣接したフレームの画像を用いて空間及
び時間差分Ex,Ey,Etを計算する。すなわち、フレ
ームメモリA3に保持されている画像をE(x,y,t
0)、フレームメモリB4に保持されている画像をE
(x,y,t0−1)とすると、各差分値は次式によっ
て計算される。
【0052】
【数23】
【0053】
【0054】重み付き総和計算装置6は、画像差分装置
5によって計算された各差分値を用いて、数19及び数
20により差分値の自乗及び積のウインド内での総和を
計算する。ここで、数19においては積分で表されてい
るが、この実施例では離散化された画像を扱っているの
で、積分は総和に置き換えられる。ウインドは移動ベク
トルを検出すべき点の数だけ設定され、その各々につい
て上述の総和が計算される。移動ベクトル計算装置7は
この総和を用いて数17によって示した計算を行い、各
々のウインドに対して移動ベクトル(u0,v0)を出力
する。
【0055】本発明第2の実施例は、上述の第1の実施
例において重み付き総和計算装置6における計算に、数
19及び数21を用いたものである。この計算は数22
で示されるとおり、ウインドを重み付け関数の値が一定
である範囲に分け、各々の範囲で前記差分値の自乗及び
積の総和を計算し、その後に対応する重み付け関数の値
の自乗を総和の値に乗じて合計するという計算方法を取
る。
【0056】以上の実施例では画像撮像装置1を装置に
含めて説明したが、これを含めず、ビデオテープレコー
ダーなどの出力を入力として処理することも可能であ
る。
【0057】
【発明の効果】本発明により、移動ベクトルを検出する
ために設定するウインド内に複数の移動物体が存在する
場合、必ずしも中心付近の物体の移動を反映した移動ベ
クトルが検出されないという従来の方法の問題が解決さ
れ、ウインドの中心付近の移動情報を検出することが可
能になる。
【図面の簡単な説明】
【図1】本発明の実施例を示す図である。
【図2】ウインドと移動物体の位置関係を示す図であ
る。
【符号の説明】
1 撮像装置 2 A/D変換器 3 フレームメモリA 4 フレームメモリB 5 画像差分装置 6 重み付き総和計算装置 7 移動ベクトル計算装置

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】画像撮像装置によって得られる時間的に連
    続した画像列を離散的表現に変換する変換器と、変換さ
    れた離散的表現の画像の時間的に隣合うフレームを保持
    するフレームメモリと、このフレームメモリに保持され
    た画像の空間差分Ex ,Ey及びフレーム差分Et を計
    算する画像差分計算装置と、前記画像上に設定されたウ
    インドに対して、2次元ガウス分布関数 【数4】 によって重み付けされた前記各差分値の自乗及び積の総
    和 【数5】 を計算する総和計算装置と、前記総和を用いて移動ベク
    トル 【数6】 を計算する移動ベクトル計算装置とからなる移動ベクト
    ル検出装置。
  2. 【請求項2】画像撮像装置によって得られる時間的に連
    続した画像列を離散的表現に変換する変換器と、変換さ
    れた離散的表現の画像の時間的に隣合うフレームを保持
    するフレームメモリと、このフレームメモリに保持され
    た画像の空間差分Ex ,Ey及びフレーム差分Et を計
    算する画像差分計算装置と、前記画像上に設定されたウ
    インドに対して、ウインドの中心からの距離rに従って
    階段状に変化する関数 【数7】 によって重み付けされた前記各差分値の自乗及び積の総
    和 【数8】 を計算する総和計算装置と、前記総和を用いて移動ベク
    トル 【数9】 を計算する移動ベクトル計算装置とからなる移動ベクト
    ル検出装置。
JP6078591A 1991-02-07 1991-02-07 移動ベクトル検出方法及び装置 Expired - Fee Related JP2910284B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6078591A JP2910284B2 (ja) 1991-02-07 1991-02-07 移動ベクトル検出方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6078591A JP2910284B2 (ja) 1991-02-07 1991-02-07 移動ベクトル検出方法及び装置

Publications (2)

Publication Number Publication Date
JPH04256079A JPH04256079A (ja) 1992-09-10
JP2910284B2 true JP2910284B2 (ja) 1999-06-23

Family

ID=13152297

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6078591A Expired - Fee Related JP2910284B2 (ja) 1991-02-07 1991-02-07 移動ベクトル検出方法及び装置

Country Status (1)

Country Link
JP (1) JP2910284B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001067393A1 (fr) * 2000-03-10 2001-09-13 Mkc Stat Corporation Dispositif et procede de traitement d'images, et support d'enregistrement sur lequel le programme relatif a ce procede de traitement est enregistre

Also Published As

Publication number Publication date
JPH04256079A (ja) 1992-09-10

Similar Documents

Publication Publication Date Title
USRE47291E1 (en) Filtering control method for improving image quality of bi-linear interpolated image
US7346109B2 (en) Motion vector computation for video sequences
US8805121B2 (en) Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
US5689302A (en) Higher definition video signals from lower definition sources
US8335257B2 (en) Vector selection decision for pixel interpolation
EP0493565A1 (en) Method and associated apparatus for minimizing the effects of motion in the recording of an image
JP2543505B2 (ja) 時空間微分法を用いた信号処理装置および計測装置
JP2006513661A (ja) バックグラウンド動きベクトル検出方法及び装置
US7679676B2 (en) Spatial signal conversion
US5296925A (en) Movement vector detection device
JPH0787481A (ja) 異常検出装置
JP2947359B2 (ja) 画像の動き測定方法及び装置
KR100972764B1 (ko) 이미지 처리 장치, 이미지 처리 방법 및 이미지 처리 프로그램을 포함하는 기록 매체
JP2910284B2 (ja) 移動ベクトル検出方法及び装置
JP2007501560A (ja) 補間画像の後処理
EP0673575B1 (en) Higher definition video signals from lower definition sources
EP0454483B1 (en) Movement vector detection device
JP3003044B2 (ja) 動きベクトル検出装置及び方法
JPH05233814A (ja) 移動ベクトル抽出方法
JP2975146B2 (ja) 動きベクトル検出装置
JPH02295288A (ja) 動ベクトル検出装置
JP2743763B2 (ja) 動画像の動き推定方法
JPH039488A (ja) 移動ベクトル検出方法及び装置
JPH11353487A (ja) 動画像処理装置及びその方法
JPH05153470A (ja) 動きベクトル検出装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080409

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090409

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100409

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees