JPH06176151A - 画像の動き量検出装置 - Google Patents

画像の動き量検出装置

Info

Publication number
JPH06176151A
JPH06176151A JP35140492A JP35140492A JPH06176151A JP H06176151 A JPH06176151 A JP H06176151A JP 35140492 A JP35140492 A JP 35140492A JP 35140492 A JP35140492 A JP 35140492A JP H06176151 A JPH06176151 A JP H06176151A
Authority
JP
Japan
Prior art keywords
image
motion amount
motion
images
phase correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP35140492A
Other languages
English (en)
Inventor
Tetsujiro Kondo
哲二郎 近藤
Masaru Horishi
賢 堀士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP35140492A priority Critical patent/JPH06176151A/ja
Publication of JPH06176151A publication Critical patent/JPH06176151A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Picture Signal Circuits (AREA)
  • Color Television Systems (AREA)

Abstract

(57)【要約】 【目的】 位相相関法により小さなブロックサイズで高
い検出精度が得られるようにした画像の動量検出装置を
提供する。 【構成】 ブロック化された2つのディジタル画像信号
から動き量を検出する画像の動き量検出装置であって、
ブロック化されたディジタル画像信号に対して画像鮮鋭
化処理を施す画像鮮鋭化処理部3と、画像鮮鋭化処理が
施されたディジタル画像信号から位相相関法により得た
複数の動きベクトルを用いて画像間の予測誤差を求め、
その予測誤差を最小にする動きベクトルを画像間の動き
量とする動き量決定処理部6とを備えてなる。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ブロック化された2つ
のディジタル画像信号から動き量を検出する画像の動き
量検出装置に関するものである。
【0002】
【従来の技術】従来より、画像の3次元信号処理が進む
につれて、動きベクトルすなわち画像中の物体の動きの
方向と大きさ(速さ)を用いて各種画像処理が行われる
ようになり、例えば、画像の高能率符号化における動き
補償フレーム間符号化,フレーム間時間領域フィルタに
よるTV雑音軽減装置における動きによるパラメータ制
御,気象衛生から連続画像による雲の速度の計測,道路
監視における速度測定などが動きベクトルを用いて行わ
れている。
【0003】連続する画像から、動きベクトルを測定す
る方法としては、連続する画像間の差を最小にする偏位
を求めることにより動きベクトルを決定するパターンマ
ッチング法や、画像の空間勾配と画像間差の関係から動
きベクトルを求める勾配法とともに、高速フーリエ変換
(FFT:Fast Fourier Transform)を利用して位相相関値
から動きベクトルを決定する位相相関法が知られてい
る。
【0004】
【発明が解決しようとする課題】ところで、位相相関法
では、FFTの周期性から動き量の候補が無限に出現す
る。2つの画像から求めた動き量は、ブロック化されて
いるので、実際にはブロックサイズ内に収まると考えら
れる。この上限から動き量は4通りに限定することがで
きるが、その中から真の動き量を決定することは、周波
数領域の位相相関を見るだけでは特定できないという問
題点があった。
【0005】また、位相相関法では、動き量を求める2
つのブロック間で輝度変化がある部分(例えばエッジ
部)が鮮明でない場合、そのブロックが本来動きのある
ブロックであったとしても、検出された動きベクトルが
本来の動きベクトルと違ったものになってまうことが良
くある。
【0006】さらに、位相相関法では、検出精度をある
一定レベルに保ためにには、かなり大きなブロックサイ
ズで処理しなければならないという問題点があった。
【0007】そこで、本発明の目的は、上述の如き位相
相関法における問題点を解消し、位相相関法により真の
動き量を決定できるようにした画像の動き量検出装置を
提供することにある。
【0008】また、位相相関法により動き量の誤検出の
虞れの少ない動き量検出を行うことができるようにした
画像の動き量検出装置を提供することにある。
【0009】さらに、位相相関法により小さなブロック
サイズで高い検出精度が得られるようにした画像の動き
量検出装置の提供することにある。
【0010】
【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る画像の動き量検出装置は、ブロック
化された2つのディジタル画像信号から動き量を検出す
る画像の動き量検出装置であって、位相相関法により得
た複数の動きベクトルを用いて画像間の予測誤差を求
め、その予測誤差を最小にする動きベクトルを画像間の
動き量とする動き量決定手段を備えることを特徴とする
ものである。
【0011】また、本発明に係る画像の動き量検出装置
は、ブロック化された2つのディジタル画像信号から動
き量を検出する画像の動き量検出装置であって、ブロッ
ク化したディジタル画像信号に対して画像鮮鋭化処理を
施す局所演算手段と、画像鮮鋭化処理が施されたディジ
タル画像信号から位相相関法により動き量を検出する動
き量決定手段を備えることを特徴とするものである。
【0012】また、本発明に係る画像の動き量検出装置
において、上記局所演算手段は、
【0013】
【数4】
【0014】
【数5】
【0015】又は、
【0016】
【数6】
【0017】にて示されるフィルタ係数によるハイパス
特性を呈するトランスバーサルフィルタとすることがで
きる。
【0018】さらに、本発明に係る画像の動き量検出装
置において、上記動き量決定手段は、上記局所演算手段
により画像鮮鋭化処理が施されたディジタル画像信号か
ら位相相関法により得た複数の動きベクトルを用いて画
像間の予測誤差を求め、その予測誤差を最小にする動き
ベクトルを画像間の動き量とすることを特徴とするもの
である。
【0019】
【作用】本発明に係る画像の動き量検出装置では、位相
相関法により得た複数の動きベクトルを用いて画像間の
予測誤差を求め、その予測誤差を最小にする動きベクト
ルを画像間の動き量とする。
【0020】また、本発明に係る画像の動き量検出装置
では、ブロック化したディジタル画像信号に対して局所
演算手段により画像鮮鋭化処理を施し、画像鮮鋭化処理
が施されたディジタル画像信号から位相相関法により動
き量を検出する。
【0021】また、本発明に係る画像の動き量検出装置
において、上記局所演算手段は、
【0022】
【数7】
【0023】
【数8】
【0024】又は、
【0025】
【数9】
【0026】にて示されるフィルタ係数によるハイパス
特性を呈するトランスバーサルフィルタにより、ディジ
タル画像信号に対して画像鮮鋭化処理を施す。
【0027】さらに、本発明に係る画像の動き量検出装
置において、上記動き量決定手段は、上記局所演算手段
により画像鮮鋭化処理が施されたディジタル画像信号か
ら位相相関法により得た複数の動きベクトルを用いて画
像間の予測誤差を求め、その予測誤差を最小にする動き
ベクトルを画像間の動き量とする。
【0028】
【実施例】以下、本発明に係る画像の動き量検出装置の
一実施例について、図面を参照して詳細に説明する。
【0029】本発明に係る画像の動き量検出装置は、例
えば図1に示すように構成され、図2のフローチャート
に示すような動作を行う。
【0030】この図1において、第1及び第2の入力端
子1,2には入力ディジタル画像信号としてブロック化
された輝度信号g1 と1フレーム遅れのブロック化され
た輝度信号g2 が供給され、これらの輝度信号g1 ,g
2 が画像鮮鋭化処理部3を介して動き量決定処理部6に
供給されるようになっている。
【0031】上記画像鮮鋭化処理部3は、上記輝度信号
1 ,g2 に対して輝度変化部を強調する画像鮮鋭化処
理を施す各画像鮮鋭化フィルタ4,5からなる。各画像
鮮鋭化フィルタ4,5は、それぞれ画像の高域成分を抽
出して原画像に加える3×3の局所演算処理を行うもの
で、
【0032】
【数10】
【0033】
【数11】
【0034】又は、
【0035】
【数12】
【0036】にて示されるフィルタ係数によるハイパス
特性を呈するトランスバーサルフィルタにより、ディジ
タル画像信号に対して画像鮮鋭化処理を施す。
【0037】ここで、位相相関法では、動き量を決定す
る2つのブロック間で、輝度の変化部(例えばエッジ
部)を位相成分に反映させて、相互の位相成分の相関を
見るが、輝度変化部が鮮明でない場合、それは位相成分
に表れ難い。従って、ブロック間で動きが存在していて
も、位相成分ではその動きに対する相関が表れ難いこと
になる。これが誤検出の原因となっている。そこで、こ
の実施例の画像の動き量検出装置では、上記画像鮮鋭化
処理部3において上記輝度信号g1 ,g2 に対して輝度
変化部を強調する画像鮮鋭化処理を施すことにより、動
きを位相成分に反映させるようにして、上記動き量決定
処理部6において位相相関法により動き量を正しく検出
できるようにしている。
【0038】そして、上記動き量決定処理部6は、上記
画像鮮鋭化処理部3を介して供給される上記輝度信号g
1 ,g2 について、位相相関法による動き量決定処理を
行うもので、フーリエ変換処理部7,8、共役化処理部
9、複素パワー演算処理部10、逆フーリエ変換処理部
11及び動き量検出処理部12から成る。
【0039】ここで、上記ブロック化された輝度信号g
1 ,g2 はそれぞれN×Nのブロックサイズの画像デー
タであるとし、上記各フーリエ変換処理部7,8では、
上記輝度信号g1 ,g2 について、それぞれの画素要素
に対して2次元高速フーリエ変換(FFT:Fast Fourier T
ransform)処理を行うことにより、フーリエ変換された
画像データG1 ,G2 を生成する。これらの画像データ
1 ,G2 は、N×Nの複素数要素となる。
【0040】そして、上記共役化処理部9は、上記フー
リエ変換処理部8により生成された画像データG2 の複
素数要素について共役複素数G2 * を求める。
【0041】さらに、上記複素パワー演算処理部10で
は、位相項の相関を表すパワースペクトルを求めるため
に、G1 ・G2 * を求める。ここで、位相領域では空間
偏位は位相成分のみに現れるから、振幅成分を考慮に入
れないために、各複素数要素の大きさで正規化する。
【0042】
【数13】
【0043】ただし、jは虚数、φ1 はG1 の位相成
分、φ2 はG2 の位相成分である。
【0044】また、上記逆フーリエ変換処理部11で
は、位相領域での相関を実空間に変換するために、上記
複素パワー演算処理部10により求められた位相項の相
関を表すパワースペクトルを逆FFTして、
【0045】
【数14】
【0046】にて位相相関関数dを求める。
【0047】そして、上記動き量検出処理部12では、
上記逆フーリエ変換処理部11により求めた位相相関関
数dのパワーが最大となる位置(x,y)(0≦x<
N,0≦y<N)を参照位置として動き量を算出する。
【0048】例えば、図3の(A),(B)に示すよう
なテスト画像に対して、位相相関関数dを求めて図示す
ると、図3の(C)のようになる。そして、FFTの性
質から位相項は、
【0049】
【数15】φ1 =∠G1 +2πn(nは整数)
【0050】
【数16】φ2 =∠G2 +2πm(mは整数)
【0051】(但し、∠G1 ,∠G2 はそれぞれG1
2 の位相成分である。)
【0052】においても数13は成り立つから、g1
ら見たg2 への偏位量を動きベクトル(vx,vy)と
定義すると動きベクトルは、
【0053】
【数17】vx=nN−x(nは整数)
【0054】
【数18】vy=mN−y(mは整数)
【0055】で求めることができ、解は無限に存在する
ことになる。
【0056】ここで、入力画像G1 ,G2 は、N×Nに
ブロック化されており、その領域内で動き量が求まろも
のと仮定している。数17,数18における動き量は、
−N≦vx,vy<Nの条件下で、 vxの候補:−x,N−x vyの候補:−y,N−y の組合せで4通りに限定できるが、この4通りの中から
真の動き量を以上の手法のみで決定することはでいな
い。
【0057】そこで、この実施例における上記動き量検
出処理部12では、予測誤差を評価関数とした決定法を
採用する。予測誤差sとは、図4に示すように動きベク
トルの候補(xi ,yi )(i:1〜4)において、k
フィールドのg2 のブロック位置に対して(k−2)フ
ィールドのg1 を(−xi ,−yi )だけ偏位させ、両
者の差分の絶対値和を計算することにより求まる。すな
わち、
【0058】
【数19】
【0059】真の動きベクトルであるならば、画像のマ
ッチングがとれているために予測誤差は小さくなる。従
って、4通りの予測誤差値の中で最小のものを選べばそ
れが動きベクトルとなる。
【0060】この実施例の動き量検出装置では、上述の
ように上記画像鮮鋭化処理部3において上記輝度信号g
1 ,g2 に対して輝度変化部を強調する画像鮮鋭化処理
を施すことにより、動きを位相成分に反映させるように
しているので、上記動き量決定処理部6において位相相
関法により動き量を正しく検出できる。また、上記動き
量決定処理部6において予測誤差を評価関数とした決定
法を採用して、動き量を決定することにより、真の動き
ベクトルを一意に決定することができる。
【0061】従って、この実施例の動き量検出装置で
は、誤検出の虞れが少なくなり、ブロックサイズを小さ
くしても精度良く動きベクトルを検出することができる
ようになり、小さな物体動きに対する追従性が向上す
る。
【0062】このような動き量検出装置は、例えば図5
に示すように動き補償画像符号化装置に適用することに
より、圧縮効率を高めることができる。
【0063】図5に示す動き補償画像符号化装置おい
て、本発明に係る画像の動き量検出装置20は、ブロッ
ク化回路21によりフィールド内でブロック化された入
力画像データとフレームメモリ22から読み出される1
フレーム前の画像データとから位相相関法により動き量
を検出して、動きベクトルを動き補償回路23に与え
る。
【0064】そして、上記フレームメモリ22から読み
出される1フレーム前の画像データに上記動き補償回路
23により動き補償された画像データと上記ブロック化
回路21により入力画像データとの差分を減算器24に
より検出して、この差分データをエンコーダ25により
例えば離散コサイン変換(DCT)などの高能率符号化
して出力する。なお、上記フレームメモリ22には、上
記エンコーダ25により符号化された差分データがデコ
ーダ26によりデコードされ、加算器27により上記動
き補償された画像データに加算されて書き込まれる。
【0065】
【発明の効果】上述のように本発明に係る画像の動き量
検出装置における動き量決定手段では、位相相関法によ
り得た複数の動きベクトルを用いて画像間の予測誤差を
求め、その予測誤差を最小にする動きベクトルを画像間
の動き量とするので、真の動きベクトルを一意に決定す
ることができる。従って、本発明によれば、位相相関法
により真の動き量を決定できるようにした画像の動き量
検出装置を提供することができる。
【0066】また、本発明に係る画像の動き量検出装置
では、ブロック化したディジタル画像信号に対して局所
演算手段により画像鮮鋭化処理を施し、動きを位相成分
に反映させるようにしているので、動き量決定手段にお
いて位相相関法により動き量を正しく検出できる。従っ
て、本発明によれば、位相相関法により動き量の誤検出
の虞れの少ない動き量検出を行うことができるようにし
た画像の動き量検出装置を提供することができる。
【0067】さらに、本発明に係る画像の動き量検出装
置における動き量決定手段は、上記局所演算手段により
画像鮮鋭化処理が施されたディジタル画像信号から位相
相関法により得た複数の動きベクトルを用いて画像間の
予測誤差を求め、その予測誤差を最小にする動きベクト
ルを画像間の動き量とするので、誤検出の虞れが少な
く、ブロックサイズを小さくしても精度良く動きベクト
ルを検出することができる。従って、本発明によれば、
位相相関法により小さなブロックサイズで高い検出精度
が得られるようにした画像の動き量検出装置の提供する
ことができる。
【図面の簡単な説明】
【図1】本発明に係る画像の動き量検出装置の構成を示
すブロック図である。
【図2】上記動き量検出装置の動作を示すフローチャー
トである。
【図3】上記動き量検出装置における位相相関法による
動き量の検出動作の説明に供するテスト画像と位相相関
関数を示す説明図である。
【図4】上記動き量検出装置における動き量検出処理部
の動作説明に供する予測誤差の対象ブロックを示す説明
図である。
【図5】本発明に係る画像の動き量検出装置を適用した
動き補償画像符号化装置の構成を示すブロック図であ
る。
【符号の説明】
1,2・・・入力端子 3・・・・・画像鮮鋭化処理部 4,5・・・画像鮮鋭化フィルタ 6・・・・・動き量決定処理部 7,8・・・フーリエ変換処理部 9・・・・・共役化処理部 10・・・・・複素パワー演算処理部 11・・・・・逆フーリエ変換処理部 12・・・・・動き量検出処理部 20・・・・・動き量検出装置

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 ブロック化された2つのディジタル画像
    信号から動き量を検出する画像の動き量検出装置であっ
    て、 位相相関法により得た複数の動きベクトルを用いて画像
    間の予測誤差を求め、その予測誤差を最小にする動きベ
    クトルを画像間の動き量とする動き量決定手段を備える
    ことを特徴とする画像の動き量検出装置。
  2. 【請求項2】 ブロック化された2つのディジタル画像
    信号から動き量を検出する画像の動き量検出装置であっ
    て、 ブロック化したディジタル画像信号に対して画像鮮鋭化
    処理を施す局所演算手段と、 画像鮮鋭化処理が施されたディジタル画像信号から位相
    相関法により動き量を検出する動き量決定手段を備える
    ことを特徴とする画像の動き量検出装置。
  3. 【請求項3】 前記局所演算手段は、 【数1】 にて示されるフィルタ係数によるハイパス特性を呈する
    トランスバーサルフィルタからなることを特徴とする請
    求項2記載の画像の動き量検出装置。
  4. 【請求項4】 前記局所演算手段は、 【数2】 にて示されるフィルタ係数によるハイパス特性を呈する
    トランスバーサルフィルタからなることを特徴とする請
    求項2記載の画像の動き量検出装置。
  5. 【請求項5】 前記局所演算手段は、 【数3】 にて示されるフィルタ係数によるハイパス特性を呈する
    トランスバーサルフィルタからなることを特徴とする請
    求項2記載の画像の動き量検出装置。
  6. 【請求項6】 前記動き量決定手段は、前記局所演算手
    段により画像鮮鋭化処理が施されたディジタル画像信号
    から位相相関法により得た複数の動きベクトルを用いて
    画像間の予測誤差を求め、その予測誤差を最小にする動
    きベクトルを画像間の動き量とすることを特徴とする請
    求項2記載の画像の動き量検出装置。
JP35140492A 1992-12-08 1992-12-08 画像の動き量検出装置 Pending JPH06176151A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35140492A JPH06176151A (ja) 1992-12-08 1992-12-08 画像の動き量検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35140492A JPH06176151A (ja) 1992-12-08 1992-12-08 画像の動き量検出装置

Publications (1)

Publication Number Publication Date
JPH06176151A true JPH06176151A (ja) 1994-06-24

Family

ID=18417061

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35140492A Pending JPH06176151A (ja) 1992-12-08 1992-12-08 画像の動き量検出装置

Country Status (1)

Country Link
JP (1) JPH06176151A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238372A (ja) * 2005-02-28 2006-09-07 Sony Corp 符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラム
JP2013048465A (ja) * 2006-06-27 2013-03-07 Marvell World Trade Ltd 動き補償画像レートコンバータに係るシステムおよび方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006238372A (ja) * 2005-02-28 2006-09-07 Sony Corp 符号化装置および方法、復号装置および方法、画像処理システムおよび画像処理方法、記録媒体、並びにプログラム
JP4591767B2 (ja) * 2005-02-28 2010-12-01 ソニー株式会社 符号化装置および方法、復号装置および方法、画像処理システム、記録媒体、並びにプログラム
JP2013048465A (ja) * 2006-06-27 2013-03-07 Marvell World Trade Ltd 動き補償画像レートコンバータに係るシステムおよび方法

Similar Documents

Publication Publication Date Title
Khaloo et al. Pixel‐wise structural motion tracking from rectified repurposed videos
KR960033130A (ko) 영상 신호 처리기에 대한 일시적 및 공간적 오류 제거 장치 및 방법
WO2000062556A9 (en) Method and apparatus for estimating digital video quality without using a reference video
JP3308617B2 (ja) 動きベクトル検出装置及びその方法
US20060062303A1 (en) Hybrid global motion estimator for video encoding
US8055093B2 (en) Method and system for noise level detection in image data
US5296925A (en) Movement vector detection device
JPH04314290A (ja) 動きベクトル検出装置
US8090215B2 (en) Method and system for noise level detection in image data
US4985765A (en) Method and apparatus for picture motion measurement whereby two pictures are correlated as a function of selective displacement
Hadar et al. Image motion restoration from a sequence of images
JPH06176151A (ja) 画像の動き量検出装置
EP1955548B1 (en) Motion estimation using motion blur information
JPS6028392A (ja) 動画像信号の動き内插方式
JP2823577B2 (ja) 画像マッチング装置
JPH0766989A (ja) 動き量検出装置及び動き量検出方法
JP2741888B2 (ja) 階層的画像マッチング処理方法および装置
JP3334271B2 (ja) 動き量検出装置及び動き量検出方法
JP3941900B2 (ja) 動きベクトル検出装置
JP2574572B2 (ja) 画像符号化方法及び画像符号化装置
Ibrar-ul-Haque et al. Combined Blockiness, Blurriness and White Noise Distortion Meter
JP2975146B2 (ja) 動きベクトル検出装置
JP2937213B2 (ja) 動きベクトル検出装置
JPH06150006A (ja) 動きベクトル検出装置
JP3277417B2 (ja) 動きベクトル検出装置および方法

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20020402