JP2752007B2 - 動きベクトル検出装置 - Google Patents

動きベクトル検出装置

Info

Publication number
JP2752007B2
JP2752007B2 JP8404791A JP8404791A JP2752007B2 JP 2752007 B2 JP2752007 B2 JP 2752007B2 JP 8404791 A JP8404791 A JP 8404791A JP 8404791 A JP8404791 A JP 8404791A JP 2752007 B2 JP2752007 B2 JP 2752007B2
Authority
JP
Japan
Prior art keywords
value
motion vector
image
register
cumulative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP8404791A
Other languages
English (en)
Other versions
JPH04317186A (ja
Inventor
崇 西村
健吾 ▲高▼濱
哲也 村上
康邦 山根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Consejo Superior de Investigaciones Cientificas CSIC
Original Assignee
Consejo Superior de Investigaciones Cientificas CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Consejo Superior de Investigaciones Cientificas CSIC filed Critical Consejo Superior de Investigaciones Cientificas CSIC
Priority to JP8404791A priority Critical patent/JP2752007B2/ja
Publication of JPH04317186A publication Critical patent/JPH04317186A/ja
Application granted granted Critical
Publication of JP2752007B2 publication Critical patent/JP2752007B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Color Television Systems (AREA)
  • Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像全体の平行移動を
表す画像の動きベクトルを検出する画像の動きベクトル
検出装置に関する。
【0002】
【従来の技術】従来の画像の動きベクトル検出装置とし
ては、テレビジョン学会技術報告,PROE 59-5 ,pp.
25〜30,1985年5月,「MUSE用動きベクトル検出装置」
が知られている。
【0003】上記従来の画像の動きベクトル検出装置の
構成を図9に示す。
【0004】図9において、入力端子30は現フレ−ムま
たは現フィ−ルドの画像信号(現画像の情報)を入力
し、代表点メモリ31は前フレ−ムまたは前フィ−ルドの
画像の代表点の情報(前の画像の代表点の情報)を保存
する。
【0005】相関計算器32は、入力端子30から入力され
る現画像の情報と代表点メモリ31に保存された前の画像
の代表点の情報との間の相関を計算する。
【0006】相関累積加算器33は、相関計算器32により
計算された相関を累積して加算し、累積値を収納する累
積値メモリ39(図10)を備えている。
【0007】相関累積加算器33の出力である累積値は累
積値メモリ39に格納されている。累積値メモリ39は代表
点の数をl、代表点及び入力画像の各画素の値をmビッ
ト、探索範囲を縦n画素、横p画素とするとn×pの大
きさでそれぞれが(m+logl)ビットの値を有す
る。
【0008】最小値・偏位(MIN・τ)検出器34は、
相関累積加算器33の累積値の最小値MIN 及び最小値MIN
を与える偏位τを検出する。
【0009】最大値検出器(MAX検出器)35は、図1
0に示すようにレジスタ40、比較器41により構成されて
おり、相関累積加算器33の累積値メモリ39に収納されて
いる累積値の最大値MAX を検出する。
【0010】以下、図11を参照してMAX検出器35の
動作を説明する。
【0011】まず、途中結果を記憶するためのレジスタ
40をクリアして(ステップT1)、累積値メモリ39のア
ドレスを変えることにより累積値メモリ39から順次累積
値を読み出して(ステップT2)、比較器41でレジスタ
40の値(レジスタ値)と累積値メモリ39から読み出した
累積値を比較し(ステップT3)、上記ステップT3で
累積値がレジスタ値よりも大きいときは、その累積値を
レジスタ40に記憶して下記のステップT5に進み(ステ
ップT4)、上記ステップT3で累積値がレジスタ値よ
りも小さいときには探索範囲全体に亘り上記ステップT
2〜T4を行う(ステップT5)。
【0012】上記ステップT1〜ステップT5の結果、
レジスタ40には探索範囲内の累積値の最大値が記憶され
る。
【0013】平均算出器(AVE算出器)36は、図10
に示すように加算器42、レジスタ43により構成されて
おり、相関累積加算器33の累積値メモリ39に収納され
ている累積値の全体の平均AVE を算出する。
【0014】以下、図12を参照してAVE算出器36の
動作を説明する。
【0015】まず、途中結果を記憶するためのレジスタ
43をクリアして(ステップU1)、累積値メモリ39のア
ドレスを変えることにより累積値メモリ39から順次累積
値を読み出して(ステップU2)、加算器42でレジスタ
43の値(レジスタ値)と累積値メモリ39から読み出した
累積値を加算して加算結果をレジスタ43に記憶し(ステ
ップU3)、探索範囲全体に亘り上記ステップU2〜U
3を行う(ステップU4)。
【0016】上記ステップU1〜ステップU4の結果、
レジスタ43には探索範囲内の累積値の総和が記憶されて
いる。有効デ−タ長は(m+loglnp)ビットで
あり、この(m+loglnp)の値をnpで割った
結果が平均AVE である。
【0017】動きベクトル発生器37は、CPU(中央処
理装置)等を有しておりCPUに搭載されたソフトウエ
アを用いてMIN・τ検出器34、MAX検出器35、AV
E算出器36からそれぞれ出力された最小値MIN 、最大値
MAX 、平均AVE により画像内部の動きを判定し、偏位τ
から得られる動きベクトルを必要に応じて補正し、補正
された動きベクトルを出力端子38に出力する。
【0018】上記相関累積加算器33の累積値メモリ39に
収納されている累積値は、図13のように2次元画像の
場合動画像の動きに応じた形状になり、図14及び図1
5のように簡略化して1次元画像の場合で考えると勾配
で近似できる。
【0019】累積値の全体の平均AVE は、図14及び図
15に示す斜線部の面積を求めて探索範囲(−c〜c)
全体に亘って平均した値であり、偏位τが探索範囲(−
c〜c)の中心である場合には図14に示すように式
(1)で表すことができ、偏位τが探索範囲(−c〜
c)の限界付近である場合には図14に示すように式
(2)で表すことができる。
【0020】
【数1】
【0021】
【数2】
【0022】
【発明が解決しようとする課題】しかしながら、上記従
来の画像の動きベクトル検出装置では、式(1)及び式
(2)に示すように全体の平均値AVE は、偏位τが探索
範囲(−c〜c)の限界付近であるときの方が、中心で
あるときよりも大きな値となる。また、代表点の数が
l、代表点の値及び入力画像の各画素の値がmビットで
ある場合には、相関累積加算の結果が(m+log
l)になるが、探索範囲が縦nドット×横pドットで
ある場合には、AVE算出器36は、{m+log(l
np)}ビットの加算器42と(np−1)回の加算演算
が必要になるので、AVE算出器36の回路規模及び計算
時間が大きくなるという問題点がある。
【0023】本発明は、上記従来の画像の動きベクトル
検出装置における問題点に鑑み、回路規模及び計算時間
を減少させて画像内部の動きを誤りなく検出できる画像
の動きベクトル検出装置を提供する。
【0024】
【課題を解決するための手段】本発明は、累積値を格納
する記憶手段と、記憶手段に収納された累積値が探索範
囲の所定の位置の値か否かを比較する比較手段と、比較
結果に基づいて比較された累積値を特定の値に加算する
加算手段と、所定の値を加算手段に出力するレジスタと
を備えており、レジスタは加算結果を収納して加算結果
を出力する動きベクトル検出装置によって達成される。
【0025】
【作用】記憶手段は累積値を格納し、比較手段は記憶手
段に収納された累積値が探索範囲の所定の位置の値か否
かを比較し、加算手段は比較結果に基づいて比較された
累積値を特定の値に加算し、レジスタは所定の値を加算
手段に出力すると共に加算結果を収納して加算結果を出
力する。
【0026】
【実施例】以下、図面を参照して本発明の画像の動きベ
クトル検出装置における実施例を詳述する。
【0027】図1は、本発明に係る画像の動きベクトル
検出装置の主要部を示すブロック図である。
【0028】図2は、図1の主要部を備えた画像の動き
ベクトル検出装置の一構成を示す図である。
【0029】図2の画像の動きベクトル検出装置は、入
力端子10、代表点メモリ11、相関計算部12、相関累積加
算部13、最小値・偏位(MIN・τ)検出部14、四隅平
均(MAX´)算出部15、動きベクトル発生部16及び出
力端子17により構成されている。
【0030】図2の入力端子10は、時間的に連続した動
画像の現フレ−ム又は現フィ−ルドの画像信号を入力
し、代表点メモリ11は、前フレ−ム又は前フィ−ルドの
幾つかの代表点kの画素信号を保存する。
【0031】相関計算部12は、入力端子10から入力され
る現画像と、代表点メモリ11に保存された前の画像の代
表点kの画素により代表点kの画素の位置から座標
(i,j)だけ偏位した画素の信号の代表点kの位置と
の差の絶対値|ρ(i,j)|を求め、相関累積加算
部13に出力する。
【0032】相関累積加算部13は、累積値メモリ18(図
1参照)を有しており、全ての代表点kについての偏位
(i,j)毎の絶対値|ρ(i,j)|を累積加算
し、累積加算値|ρ(i,j)|{=Σ|ρ(i,
j)|}を偏位(i,j)に対する相関値としてMIN
・τ検出部14及びMAX´算出部15に出力する。
【0033】相関累積加算部13の出力である累積値は累
積値メモリ18に格納されており、累積値メモリ18は代表
点の数をl、代表点及び入力画像の各画素の値をmビッ
ト、探索範囲を縦n画素、横p画素とするとn×pの大
きさでそれぞれが(m+logl)ビットの値を有す
る。
【0034】MIN・τ検出部14は、相関値|ρ(i,
j)|の最小値MIN と最小値MIN の偏位(i,j)を検
出して動きベクトル発生部16に出力する。
【0035】図1に示す画像の動きベクトル検出装置の
主要部を形成するMAX´算出部15は、相関累積加算部
13からの相関値|ρ(i,j)|により、例えば図3に
示すように画面探索範囲の四隅m1 〜m4 の平均MAX ´
を求め、動きベクトル発生部16に出力する。
【0036】図1に示すようにMAX´算出部15は、比
較手段としての比較器19、加算手段としての加算器20及
びレジスタ21により構成されている。
【0037】次に、図4を参照して図1のMAX´算出
部15の動作を説明する。
【0038】まず、四隅平均(MAX´)の算出を開始
する前に、途中結果を記憶するためのレジスタ21をクリ
アする(ステップS1)。
【0039】続いて、累積値メモリ18のアドレスを変え
ることにより累積値メモリ18から順次累積値を読み出し
(ステップS2)、比較器20で読み出された累積値が探
索範囲四隅の点であるかどうかを検出し(ステップS
3)、累積値が探索範囲四隅の点であるときはレジスタ
21の値(レジスタ値)と累積値メモリ18から読み出され
た累積値とを加算器20で加算してその結果をレジスタ21
に記憶し(ステップS4)、上記ステップS2〜S4を
全ての探索範囲に亘って行う(ステップS5)。また、
上記ステップS3で読み出された累積値が探索範囲四隅
の点でないときは、上記ステップS5に進む。
【0040】上述の動作の結果、レジスタ21には探索範
囲四隅の累積値が記憶されており、有効デ−タ長は(m
+2+logl)ビットであり、この値の上位(m+
logl)ビットがMAX´として出力される。
【0041】ここで、1次元画像の場合で考えるとMAX
´は探索範囲両端の平均となり、図5に示すように偏位
τが探索範囲(−c〜c)の中心である場合には式
(3)で表すことができ、図6に示すように偏位τが探
索範囲(−c〜c)の限界付近である場合には式(4)
で表すことができる。
【0042】
【数3】
【0043】
【数4】
【0044】従って、この四隅の累積加算値|ρ(i,
j)|の平均MAX ´を求めることにより、画像内部の動
きを高精度で判定し、動きベクトルを補間することがで
きる。また、全体の平均AVE と本実施例の最小値MIN 、
平均MAX ´の間には式(5)の関係があるので、全体の
平均AVE と本実施例の平均MAX ´は、正規化を行う際の
指標として同一の効果を有し、本実施例の平均MAX ´に
より実際の平均AVE を推定することが可能である。
【0045】また、本実施例の平均MAX ´は偏位τの影
響を受けないので動きをより正確に判定することができ
る。
【0046】
【数5】
【0047】動きベクトル発生部16は、MIN・τ検出
部14により検出された最小値MIN 及び偏位τと、MAX
´算出部15により算出された平均MAX ´により画像内部
の動きを判定し、偏位τから得られる動きベクトルを必
要に応じて補正し、出力端子28に出力する。
【0048】図7は、画面の縦方向又は横方向の偏位τ
から得られる動きベクトルの変化を示し、図8は、図7
における比MIN /MAX ´の変化を示す。図7では、中央
部で動きベクトルの値が激しく変化しているが、これは
画像内部に動きがあって動きベクトルが誤検出されてい
ることを示しており、この場合には図8に示すように比
MIN /MAX ´の値が大きくなる。
【0049】そこで、動きベクトル発生部16は、比MIN
/MAX ´の値が閾値thより大きい範囲で得られた動きベ
クトルの信頼性が低いと判定し、その旨を出力するか、
ゼロベクトルを出力するか、1つ前の動きベクトルを出
力するか、何等かの方法で補正して出力する。
【0050】なお、上述の動きベクトル検出装置は、画
像ぶれ補正機能付きカメラ一体型ビデオ、画ぶれ補正機
能付きVTR、移動物体の追跡装置、画像の符号化装置
として有用である。
【0051】また、上記実施例によれば、代表点の数が
l、代表点の値及び入力画像の各画素の値がmビットで
ある場合、相関累積加算の結果が(m+logl)に
なるが、探索範囲が縦nドット×横pドットである場
合、MAX´算出部15は(m+2+logl)ビット
の加算器20と4回の加算演算で平均MAX ´を求めること
ができる。
【0052】
【発明の効果】本発明の画像の動きベクトル制御装置
は、累積値を格納する記憶手段と、記憶手段に収納され
た累積値が探索範囲の所定の位置の値か否かを比較する
比較手段と、比較結果に基づいて比較された累積値を特
定の値に加算する加算手段と、所定の値を加算手段に出
力するレジスタとを備えており、レジスタは加算結果を
収納して加算結果を出力するので、時間的に連続した2
つのフレ−ムの画像間の相関の累積値の最小値及び累積
値の四隅の平均により動きベクトルを検出でき、その結
果、回路規模及び計算時間を減少させて画像内部の動き
を誤りなく検出して補正できる。
【図面の簡単な説明】
【図1】本発明に係る動きベクトル検出装置の主要部を
示すブロック図である。
【図2】図1の主要部を備えた動きベクトル検出装置の
一構成を示す図である。
【図3】図2の動きベクトル検出装置の探索範囲を示す
説明図である。
【図4】図2の動きベクトル検出装置の動作を説明する
ためのフロ−チャ−トである。
【図5】図2の動きベクトル検出装置による最小値を与
える偏位と最大値の関係を示すグラフである。
【図6】図2の動きベクトル検出装置による最小値を与
える偏位と最大値の関係を示すグラフである。
【図7】図1の動きベクトル検出装置の動き判定を示す
説明図である。
【図8】図1の動きベクトル検出装置の動き判定を示す
説明図である。
【図9】従来の画像の動きベクトル検出装置の構成を示
す図である。
【図10】従来の画像の動きベクトル検出装置の主要部
を示すブロック図である。
【図11】図10の主要部の一部の動作を説明するため
のフロ−チャ−トである。
【図12】図10の主要部の他の一部の動作を説明する
ためのフロ−チャ−トである。
【図13】従来の画像の動きベクトル検出装置の最小値
を与える偏位と最大値の関係を示す立体図である。
【図14】図13の一部を示したグラフである。
【図15】図13の一部を示したグラフである。
【符号の説明】 18 累積値メモリ 19 比較器 20 加算器 21 レジスタ
フロントページの続き (72)発明者 山根 康邦 大阪府大阪市阿倍野区長池町22番22号 シャープ株式会社内 (58)調査した分野(Int.Cl.6,DB名) G06T 7/20 H04N 7/015 H04N 7/24 H04N 11/04 JICSTファイル(JOIS)

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 累積値を格納する記憶手段と、前記記憶
    手段に収納された累積値が探索範囲の所定の位置の値か
    否かを比較する比較手段と、前記比較結果に基づいて前
    記比較された累積値を特定の値に加算する加算手段と、
    前記所定の値を前記加算手段に出力するレジスタとを備
    えており、前記レジスタは前記加算結果を収納して当該
    加算結果を出力することを特徴とする動きベクトル検出
    装置。
JP8404791A 1991-04-16 1991-04-16 動きベクトル検出装置 Expired - Fee Related JP2752007B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8404791A JP2752007B2 (ja) 1991-04-16 1991-04-16 動きベクトル検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8404791A JP2752007B2 (ja) 1991-04-16 1991-04-16 動きベクトル検出装置

Publications (2)

Publication Number Publication Date
JPH04317186A JPH04317186A (ja) 1992-11-09
JP2752007B2 true JP2752007B2 (ja) 1998-05-18

Family

ID=13819590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8404791A Expired - Fee Related JP2752007B2 (ja) 1991-04-16 1991-04-16 動きベクトル検出装置

Country Status (1)

Country Link
JP (1) JP2752007B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218632B2 (en) 2006-09-20 2012-07-10 Mitsubishi Electric Corporation Frame interpolation apparatus and frame interpolation method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218632B2 (en) 2006-09-20 2012-07-10 Mitsubishi Electric Corporation Frame interpolation apparatus and frame interpolation method

Also Published As

Publication number Publication date
JPH04317186A (ja) 1992-11-09

Similar Documents

Publication Publication Date Title
US5610658A (en) Motion vector detection using hierarchical calculation
US7855731B2 (en) Image vibration-compensating apparatus and method thereof
JP3149840B2 (ja) 動きベクトル検出装置及び方法
JP3448868B2 (ja) 画像一致検出装置及び画像一致検出方法
JPH11177880A (ja) ビットプレーン整合を用いた映像安定化装置及びその方法
JPH06197264A (ja) ディジタル映像安定化方法及びシステム
US6122319A (en) Motion compensating apparatus using gradient pattern matching and method thereof
US11138759B2 (en) Image processing apparatus and image processing method
JP2789967B2 (ja) 動きベクトル検出装置
US20190104313A1 (en) Motion vector calculation method, information processing apparatus, recording medium recording motion vector calculation program
US6924836B2 (en) Image processing apparatus, image processing method, recording medium, and program
JP2752007B2 (ja) 動きベクトル検出装置
JP2006215655A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP2020098575A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP3321936B2 (ja) 移動物体検出装置
JP3333012B2 (ja) 画像合成装置
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP3225598B2 (ja) 画像の手振れ検出装置
JP3033291B2 (ja) 画素間相関適応型動き検出方式
JP2614574B2 (ja) 動きベクトル検出回路
JP3046689B2 (ja) 動きベクトル検出方法
JP2989325B2 (ja) 動きベクトル信頼性の判定装置
JP4250807B2 (ja) フィールド周波数変換装置および変換方法
JP2001268431A (ja) 補正画像生成装置,補正画像生成方法,補正画像生成用プログラム記録媒体および補正画像生成用プログラム
JP3001754B2 (ja) 階層的動ベクトル検出装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees