JPH04345288A - 動ベクトル検出方法及びその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像信号の動き補償フ
レーム内挿手法に用いられ、検索順の影響による誤検出
が改善された動ベクトルの検出方法及びその装置に関す
る。

【０００２】

【従来の技術】従来の画像処理における動画像信号の情
報量圧縮技術の中に、動き補償フレーム内挿手法があり
、この手法は、種々の画像信号の符号化方式と組み合わ
せられて有効に利用されている。

【０００３】このフレーム内挿手法は、伝送する動画像
信号のフレーム数が低減でき、欠落したフレームを内挿
して、画像を再現するものである。つまり、画像の再現
時において、動画像信号から検出された動ベクトルを用
いて、適応内挿処理をする動き補償フレーム内挿手法を
用いれば、画像の劣化を抑制することができる。

【０００４】図６に、このような動き補償フレーム内挿
手法の一例を示し、説明する。すなわち欠落したフレー
ムを再現する際に、検出された動ベクトルに誤りがある
と、非常に目立つ劣化を生じるため、視覚的に正しい動
ベクトルを検出する必要がある。ここで、動ベクトルを
検出するのに、一般にブロックマッチング方式と呼ばれ
る手法が知られている。

【０００５】図７に、前記ブロックマッチング方式の原
理図を示し、図８には、この方式による動ベクトル検出
の処理動作のフローチャートを示し説明する。このブロ
ックマッチング方式は、現フレームにおいて、動ベクト
ルを検出しようとするブロックに対して、参照フレーム
の同一位置ブロックを中心としたある探索範囲内に存在
する全参照ブロックについて、フレーム間の差分に基づ
いた評価関数値を求め（ステップＳ１）、この評価関数
値が最小となるブロックを見つけ（ステップＳ２）、こ
の間の動き量を動ベクトルとして検出し、新たな候補ベ
クトルとして置き換える（ステップＳ３）。

【０００６】そして図９に示すように、この時の探索の
順序は、一般に零ベクトルであるブロックの中心（１）
を１番目とし、引き続き、左上隅（２）から右下方向に
順次探索を実施する。

【０００７】そして、評価関数値の最小値を求めるとき
は、その時点での最小値より小さいか否かの判定が行な
われる。しかし同じ値の場合には、図１０に示すように
、評価関数の値が最小で同じ値の画素位置をベクトルａ
，ｂ，ｃとすれば、先に検出された方が優先的に採用さ
れ、動ベクトルの優先順位が、ａ，ｂ，ｃの順番になる
。

【０００８】

【発明が解決しようとする課題】しかし、前述した従来
の動ベクトル検出方式では、評価関数を最小にするるベ
クトルを検出する際に、同じ最小値をとるベクトルが複
数個存在すると、最も先に検出されたベクトルが優先さ
れて採用される。このため正しい動ベクトルが最初に検
出されなかった場合には、図１０に示すように、誤った
動ベクトルａが採用され、実際に正しい動ベクトルｃが
採用されず、ベクトルの誤検出を生じさせていた。この
ように誤検出された動ベクトルを動き補償フレーム内挿
手法に用いると、視覚的に目立つ劣化が生じるという問
題点があった。

【０００９】また、正しい動ベクトルが最初に検出され
るように、探索順序を工夫することにより、劣化の減少
の改善になるが、ブロック毎に探索順序を変える必要が
あり、処理が繁雑になってしまう。そこで本発明は、探
索する順序に影響されず、視覚的に好適する動ベクトル
の検出を行う動ベクトル検出方法及びその装置を提供す
ることを目的とする。

【００１０】

【課題を解決するための手段】本発明は上記目的を達成
するために、画像データを複数のブロックに分割し、現
フレームと現フレームの前，後の参照フレームの間で、
それぞれブロック毎に動きを示す動ベクトルを検出する
ブロックマッチング手法による動ベクトル検出方法にお
いて、前記現フレームの注目ブロックデータに参照ブロ
ックデータを用いて、それらの２つのブロックの画素値
の差分に基づく評価関数値を算出する評価関数値算出工
程と、前記評価関数値算出工程により算出された時点で
の評価間数の現最小値と前記評価関数値算出工程により
算出された新たな評価関数値と比較する比較工程と、前
記比較工程の判定により、新たな評価関数値が現最小値
より小さい時に、該評価関数値を新たな最小値として置
き換え、その時の動ベクトルを候補ベクトルとして更新
記録する候補ベクトル記録工程と、前記比較工程の判定
により、新たな最小値が現最小値に等しい時に、候補ベ
クトルとして、追加記録する候補ベクトル追加記録工程
と、前記候補ベクトル追加記録工程及び候補ベクトル記
録工程に記録される評価関数値を最小にする候補ベクト
ルが複数個ある場合に、前記注目ブロックの周辺に隣接
する周辺ブロックの動ベクトルに最も近似する候補ベク
トルを選択し出力する候補ベクトル選択工程とで構成さ
れる動ベクトル検出方法が提供される。

【００１１】また、画像データを複数のブロックに分割
し、現フレームと現フレームの前，後の参照フレームの
間で、それぞれブロック毎に動きを示す動ベクトルを検
出するブロックマッチング手法によった動ベクトル検出
装置において、前記各ブロック毎の注目ブロック画素デ
ータと探索範囲内の参照ブロック画素データとの画素値
の差分に基づき評価関数値を算出する評価関数値算出手
段と、前記評価関数値算出手段から算出された評価関数
値を新たな最小値として、現最小値と比較する比較手段
と、前記比較手段からの最新の最小値に更新記録する最
小値記録手段と、前記比較手段により、現最小値より現
候補ベクトルを新たな候補ベクトルに更新記録し、及び
該比較で、現最小値と新たな最小値とが等しいと判定さ
れた時に候補ベクトルとして追加記録する候補ベクトル
記録手段と、前記注目されるブロックに隣接する周辺ブ
ロックの動ベクトルを記録する周辺ブロック動ベクトル
記録手段と、前記周辺ブロック動ベクトル記録手段から
の周辺ブロックの動ベクトルに最も近似する現候補ベク
トルを読出し、動ベクトルとして検出する選択手段とで
構成される動ベクトル検出装置が提供される。

【００１２】

【作用】以上のような動ベクトル検出方法により評価関
数値を最小にしうる動ベクトルが複数個存在した時に、
探索順序に影響されず、周辺の隣接するブロックの動ベ
クトルの最も近似したものが選択され検出される。

【００１３】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。図１に本発明の動ベクトルの検出方法の概
念図を示し説明する。

【００１４】このブロックマッチング手法を用いた動ベ
クトルの検出方法は、評価関数値の最小値をとるベクト
ルが、複数個（ベクトルｖ１，ベクトルｖ２，ベクトル
ｖ３）存在した場合に検出順序に関係なく、周囲の隣接
する動ベクトルに最も近似したベクトル（ベクトルｖ２
）を選択採用することにより、動ベクトルの誤検出を改
善したものである。次に図２に本発明に係る第１実施例
の動ベクトル検出方法を実施するための動ベクトル検出
装置の構成を示し説明する。

【００１５】この動ベクトル検出装置において、ブロッ
ク毎の動ベクトル検出に必要なブロックデータ１は、注
目ブロック画素データと探索範囲内の参照ブロック画素
データとする。入力した前記各ブロック画素データの２
つのブロックの画素値の差分に基づく評価関数値を算出
する評価関数値算出部２が接続される。さらに前記評価
関数値算出部２から算出された評価関数値を新たな最小
値とし、その時点での現最小値と比較する比較器３が接
続される。この比較器３は、現最小値を記録する最小値
記録部４から出力された最小値と比較して、新たな最小
値が現最小値より小さいか、若しくは等しいかを判定す
る。

【００１６】この比較器３により、判定された最小値に
対応する動ベクトルが、候補動ベクトルとして候補動ベ
クトル記録部５に少なくとも１つ記録される。そして候
補動ベクトル記録部５に記録されている複数個の候補ベ
クトルの内から後述するような１つの動ベクトルを選択
し、動ベクトル８として出力する。

【００１７】また、前記選択器６の出力側に、前記注目
ブロックに隣接する周辺ブロックの動ベクトルを記録す
る周辺ブロック動ベクトル記録部７が接続されており、
新しい動ベクトルが求まるたびに更新される。該から

【
００１８】前記選択器６は周辺ブロック動ベクトル記録
部７に記録されている動ベクトルに最も近似するベクト
ルを候補ベクトルの中から選択し、動ベクトル８として
出力する。そして前述した各構成部材は制御部９により
ブロックマッチング処理が制御される。次に図３に前記
動ベクトル検出装置の処理動作のフローチャートを示し
説明する。

【００１９】まず入力された注目ブロックデータに参照
ブロックデータ１を用いて、それらの２つのブロックの
画素値の差分に基づく評価関数値を評価関数値算出部２
で算出する（ステップＳ１１）。その評価関数としては
差分の絶対値和、差分の２乗和等が考えられる。

【００２０】次に算出した時点での評価間数の最小値と
、ステップＳ１１で算出した評価関数値とを比較器３に
よって比較する（ステップＳ１２）。この比較の判定に
より、最小値より小さいと判定された場合に（ＹＥＳ）
、現評価関数値を最小値に置き換え、その時のベクトル
を新たな候補ベクトルとして、候補ベクトル記録部５の
すでに記録している前の候補ベクトルを消去して、新た
な候補ベクトルを記録する（ステップＳ１３）。しかし
、ステップＳ１２で最小値より小さくないと判定された
場合に（ＮＯ）、次のステップへ移行し、最小値と等し
いか否かの判定（ステップＳ１４）を行い、最小値に等
しいと判定された場合に（ＹＥＳ）、前記候補ベクトル
記録部５に新たな候補ベクトルとして、追加記録する（
ステップＳ１５）。

【００２１】これらの比較によって、最小値より小さい
と判定されるか（ステップＳ１３）、等しいか（ステッ
プＳ１４）、これ以外ならば最小値より大きいと判定さ
れる。　　次に前記ステップＳ１４の判定で、最小値よ
り大きいと判定された場合に（ＮＯ）、若しくは、ステ
ップＳ１３、ステップＳ１５の記録処理が終了した場合
に、探索範囲内のすべてのブロックマッチングを終了し
たか否か判定し（ステップＳ１６）、終了していなけれ
ば（ＮＯ）、ステップＳ１１に戻り、次の参照ブロック
について同様の処理を繰り返し行う。しかし前記ブロッ
クマッチング処理が終了したと判定されたならば（ＹＥ
Ｓ）、前記候補ベクトル記録部５に記録されているベク
トルが複数あるか否か判定し（ステップ１７）、複数個
ある場合に、周辺ブロック動ベクトル記録部７に記録さ
れているベクトルに最も近似する候補ベクトルを選択器
６にて、検出された動ベクトル８として伝送する（ステ
ップＳ１８）。

【００２２】この候補ベクトルの選択は、周辺ベクトル
とのｘ成分、ｙ成分の差分が小さいものを選択すればよ
い。つまり具体的には、差分をｅｘ，ｅｙとした場合に
、絶対値ｅｘ＋絶対値ｅｙ、ｅｘ２＋ｅｙ２などが考え
られる。 他方、ステップ１７で前記候補ベクトル記録部５に１つ
の候補ベクトルしか記録されていない場合は（ＮＯ）、
その候補ベクトルを動ベクトルとして出力する。

【００２３】このように評価関数値を最小にする候補ベ
クトルを複数個記録しておき、１ブロックの探索がすべ
て終了した後、周辺ブロックの動ベクトルと比較して、
最もそれらに近い候補ベクトルを選択することで周辺の
ベクトルと一致した動ベクトルを検出することができる
。

【００２４】次に図４に第２実施例として、動ベクトル
検出装置の構成を示し、図５にその処理動作を示すフロ
ーチャートを示し説明する。ここで第２実施例において
、第１実施例と同等の構成部材には、同じ参照番号を付
してその説明を省略する。

【００２５】この第２実施例と第１実施例との差異は、
図４に示すように比較器３により算出された評価関数値
が最小値より小さいと判定された場合に、１個のベクト
ルしか記録することができない候補ベクトル記録部２０
に記録され、評価関数値が最小値と等しいと判定された
場合に、選択器６に伝送されるように接続されている。 また前記選択器６は、新たに検出されたベクトルとすで
に前記候補ベクトル記録部２０に記録されているベクト
ルとの内から周辺ブロックに近似するベクトルを選択し
、それを新たに前記候補ベクトル記録部２０に出力して
記録させるこの第２実施例を図５に示すフローチャート
により処理動作を説明する。まず第１実施例と同様に参
照ブロックデータ１により評価関数値算出部２から評価
関数値を算出する（ステップＳ２１）。

【００２６】次に算出した時点での評価間数の最小値と
ステップＳ２１で算出した評価関数値とを比較器３によ
って比較する（ステップＳ２２）。この比較の判定によ
り、最小値より小さいと判定された場合に（ＹＥＳ）、
現評価関数値を最小値に置き換え、その時のベクトルを
新たな候補ベクトルとして、候補ベクトル記録部２０に
記録している前の候補ベクトルを消去して、新たな候補
ベクトルを記録する（ステップＳ２３）。しかし、ステ
ップＳ２２で最小値より小さくないと判定された場合に
（ＮＯ）、次のステップへ移行し、最小値と等しいか否
かの判定（テップＳ２４）を行う。ここで最小値に等し
いと判定された場合に、新たに検出されたベクトルと、
すでに前記候補ベクトル記録部２０に記録されているベ
クトルとの内から周辺ブロックに近似するベクトルを選
択し、それを新たに前記候補ベクトル記録部２０に記録
させる（ステップＳ２５）。

【００２７】次に前記ステップＳ２４の判定で、最小値
より大きいと判定された場合に（ＮＯ）、若しくは、ス
テップＳ２３、ステップＳ２５の記録処理が終了した場
合に、探索範囲内のすべてのブロックマッチング処理の
終了判定し（ステップＳ２６）、終了していなければ（
ＮＯ）、ステップＳ２１に戻り、次の参照ブロックにつ
いて同様の処理を繰り返し行う。しかし終了したと判定
されたならば（ＹＥＳ）、前記候補ベクトル記録部２０
に記録されているベクトルを出力する。

【００２８】従って、第２実施例では、候補ベクトルを
複数個記録する必要がないので、メモリの使用する容量
の削減ができる。また、ベクトルの選択を２つのベクト
ルについて、行うので処理が簡単になる。

【００２９】以上詳述したように本発明の動ベクトル検
出方法は、評価関数を最小にしうる動ベクトルが複数個
存在した時に、周辺の隣接するブロックの動ベクトルに
最も近似したものを選択するので、探索順序に影響され
ること無く、視覚的に好適する動ベクトルを探索するこ
とができる。また本発明は、前述した実施例に限定され
るものではなく、他にも発明の要旨を逸脱しない範囲で
種々の変形や応用が可能であることは勿論である。

【００３０】

【発明の効果】以上詳述したように本発明の動ベクトル
検出方法及びその装置によれば、探索する順序に影響さ
れず、視覚的に好適する動ベクトルの検出を行うことが
できる。

【図面の簡単な説明】

【図１】図１は、本発明の動ベクトルの検出方法の概念
図である。

【図２】図２は、本発明の動ベクトル検出方法を実施す
るための第１実施例の動ベクトル検出装置の構成を示す
図である。

【図３】図３は、図２の動ベクトル検出装置の処理動作
を示すフローチャートである。

【図４】図４は、本発明の動ベクトル検出方法を実施す
るための第２実施例の動ベクトル検出装置の構成を示す
図である。

【図５】図５は、図４の動ベクトル検出装置の処理動作
を示すフローチャートである。

【図６】図６は、従来の動き補償フレーム内挿手法の一
例を示す図である。

【図７】図７は、従来のブロックマッチング方式を示す
原理図である。

【図８】図８は、図７のブロックマッチング方式による
動ベクトル検出の処理動作を示すフローチャートである
。

【図９】図９は、動ベクトル検出時の探索の順序を示す
図である。

【図１０】図１０は、動ベクトルの優先順位を示す図で
ある。

【符号の説明】

１…ブロックデータ、２…評価関数値算出部、３…比較
器、４…最小値記録部、５…候補動ベクトル記録部、６
…選択器、７…周辺ブロック動ベクトル記録部、８…動
ベクトル、９…制御部。

Claims (2)

【特許請求の範囲】
1. 【請求項１】　　画像データを複数のブロックに分割し
   、現フレームと現フレームの前，後の参照フレームの間
   で、それぞれブロック毎に動きを示す動ベクトルを検出
   するブロックマッチング手法による動ベクトル検出方法
   において、前記現フレームの注目ブロックデータに参照
   ブロックデータを用いて、それらの２つのブロックの画
   素値の差分に基づく評価関数値を算出する評価関数値算
   出工程と、前記評価関数値算出工程により算出された時
   点での評価間数の現最小値と前記評価関数値算出工程に
   より算出された新たな評価関数値と比較する比較工程と
   、前記比較工程の判定により、新たな評価関数値が現最
   小値より小さい時に、該評価関数値を新たな最小値とし
   て置き換え、その時の動ベクトルを候補ベクトルとして
   更新記録する候補ベクトル記録工程と、前記比較工程の
   判定により、新たな最小値が現最小値に等しい時に、候
   補ベクトルとして、追加記録する候補ベクトル追加記録
   工程と、前記候補ベクトル追加記録工程及び候補ベクト
   ル記録工程に記録される評価関数値を最小にする候補ベ
   クトルが複数個ある場合に、前記注目ブロックの周辺に
   隣接する周辺ブロックの動ベクトルに最も近似する候補
   ベクトルを選択し出力する候補ベクトル選択工程とを具
   備することを特徴とする動ベクトル検出方法。
2. 【請求項２】　　画像データを複数のブロックに分割し
   、現フレームと現フレームの前，後の参照フレームの間
   で、それぞれブロック毎に動きを示す動ベクトルを検出
   するブロックマッチング手法によった動ベクトル検出装
   置において、前記各ブロック毎の注目ブロック画素デー
   タと探索範囲内の参照ブロック画素データとの画素値の
   差分に基づき評価関数値を算出する評価関数値算出手段
   と、前記評価関数値算出手段から算出された評価関数値
   を新たな最小値として、現最小値と比較する比較手段と
   、前記比較手段からの最新の最小値に更新記録する最小
   値記録手段と、前記比較手段により、現最小値より現候
   補ベクトルを新たな候補ベクトルに更新記録し、及び該
   比較で、現最小値と新たな最小値とが等しいと判定され
   た時に候補ベクトルとして追加記録する候補ベクトル記
   録手段と、前記注目されるブロックに隣接する周辺ブロ
   ックの動ベクトルを記録する周辺ブロック動ベクトル記
   録手段と、前記周辺ブロック動ベクトル記録手段からの
   周辺ブロックの動ベクトルに最も近似する現候補ベクト
   ルを読出し、動ベクトルとして検出する選択手段とを具
   備することを特徴とする動ベクトル検出装置。