JPH07288814A - 動きベクトル検出方法 - Google Patents

Abstract

(57)【要約】 【目的】 動きベクトル検出の演算量を削減する。 【構成】 第１ステップで、各フレームメモリ１２，１
３から読出された画像データが、空間フィルタ１４で周
波数帯域制限とサブサンプリングを受けてブロックマッ
チング回路１７に供給される。ブロックマッチング回路
１７はブロックマッチングにより、類似性の高い複数の
動きベクトル候補を選択してメモリ制御回路１８に出力
する。第２ステップにおいて、メモリ制御回路１８は動
きベクトル候補に対応するアドレスをフレームメモリ１
２，１３に与え、各フレームメモリ１２，１３は対応す
るデータを読出す。その読み出された映像データがその
ままブロックマッチング回路１７に供給され、ブロック
マッチング回路１７は、ブロックマッチングにより、類
似性の最も高いベクトルを動きベクトルとして検出す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像の動き補償フレ
ーム間予測に用いられる動きベクトルを検出する動きベ
クトル検出方法に関するものである。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば、次のような文献に記載されるものがあった。 文献；「映像機器におけるディジタル信号処理技術」
（１９８９−７−７）株式会社トリケップス、P.36-39 動画像高能率符号化において、符号化効率を改善するた
めにフレーム間予測が用いられることがある。フレーム
間予測は時間的に接近した画像間には高い相関があると
いう性質を利用した画像圧縮方法であり、前画像と現画
像の差分を伝送する方法である。静止している画像の場
合、前画像と現画像の差分がほとんどないので、符号化
効率が非常に高くなる。しかし、動画像の場合では相関
が少なくなり、符号化効率が低下する。そのため、前画
像と現画像間の動きの量及び方向（以下、動きベクトル
という）を検出し、この動きベクトルを用いて画像の一
部または全部を動かすことで、２枚の画像間の相関を高
くする方法が採用されている。動きベクトルの検出は、
ブロックマッチング方法で行うのが一般的である。ブロ
ックマッチング方法については、前記文献に説明されて
いる。図２は、ブロックマッチングによる動きベクトル
検出の説明図である。ブロックマッチング方法とは、現
画像１フレームを複数のブロックに分割し、その各ブロ
ックについて前画像フレーム中の同じ大きさのブロック
との類似性を調べ、最も類似性の高いブロック間の位置
関係を動きベクトルとして検出するものである。図２の
様に、前画像フレームのベクトル探索範囲Ｒ内には現画
像フレーム内の基準ブロックＳＢと同じ大きさのブロッ
クＫＢが多数存在し、類似性の評価はベクトル探索範囲
Ｒ内で考えられる全ての基準ブロックとの位置関係、す
なわち全ての試行ベクトルに対して行なう必要がある。
１本の試行ベクトルに対する比較演算は、２つブロック
間で同じ位置にある画素同士の差分の絶対値または自乗
値をブロック内のすべての画素に対して求め、これを累
計することで行う。ブロックサイズがＭライン×Ｎ画素
のとき、１本の試行ベクトル(i,j) に対する演算は、次
の（１）式で表される。

【０００３】

【数１】 ブロックマッチングにおける類似性の評価は、一般に
（１）式によって行われる。ブロックサイズが１６ライ
ン×１６画素である場合、（１）式から１本の試行ベク
トルに対して２５６回差分の絶対値を求めて累計するこ
とになる。動きベクトルの検出は、試行ベクトルの数だ
け比較演算を行って、得られた結果が最小となるベクト
ルを見つけることで実現される。例えば、動きベクトル
の探索範囲を±７画素（ライン）にすると、この探索範
囲に含まれる試行ベクトル数は１５²＝２２５本にな
り、その中の最小となる試行ベクトルが動きベクトルと
して出力される。１画素に対する差分の絶対値演算を１
サイクルで行うものとすると、１本の試行ベクトルに対
する演算に２５６サイクルかかり、試行ベクトル数が２
２５本あるので１個のブロックの動きベクトルの探索に
は５７６００サイクルが必要となる。この様な探索方法
は「全点探索法」と呼ばれ、正確な動きベクトル検出が
可能であるが、演算量が多いという欠点があった。次
に、「全点探索法」に演算量の軽減を目的とした「多段
階動きベクトル検出法」について説明する。図３は、多
段階動きベクトル検出法の原理図である。

【０００４】多段階動きベクトル検出法は、試行ベクト
ル数を減らすことで演算量を減じる方法であり、ここで
は、３段階で動きベクトルを検出する場合を説明する。
多段階動きベクトル検出法において、第１ステップで
は、動き補償をしない場合と等価であるゼロベクトル
と、ゼロベクトルを中心に配置された図３のような８本
のベクトルとの合計９本のベクトルが試行ベクトルとさ
れ、この９本の試行ベクトルのうち類似性の最も高いベ
クトルＶ1 ♂（以下、♂はベクトルを表す）を、ブロッ
クマッチングによって求める。第２ステップでは、ベク
トルＶ1 ♂を中心に第１ステップより空間的に密に配置
される８本の試行ベクトルに対して、同様にブロックマ
ッチングが行われ、類似性の最も高いベクトルＶ２♂が
求められる。第３ステップでも第２ステップと同様の手
順が施されてベクトルＶ３♂が求められ、動きベクトル
Ｖ♂が得られる。各第１〜第３ステップにおける検出で
は、第１ステップで±４ブロック、第２ステップで±２
ブロック第３ステップで±１ブロックの範囲のベクトル
を見つけるようにすると、±７ライン／フレーム・±７
画素／フレームの検出が行え、このときの試行ベクトル
数は２５本になる。「全点探索法」では２２５本の試行
ベクトルが必要であったが、「多段階動きベクトル検出
法」は１／９の試行ベクトル数で動きベクトルＶ♂を求
めることができる。１６ライン×１６画素のブロックに
対する処理では、１本の試行ベクトルの演算に２５６サ
イクル要するため、１個のブロックの動きベクトルに
は、６４００サイクル必要となる。

【０００５】

【発明が解決しようとする課題】しかしながら、従来の
画像の動きベクトル検出方法においては、次のような課
題があった。図４は、従来の動きベクトル検出方法の課
題を説明する図である。多段階動きベクトル検出法で
は、真の動きベクトルＶｓ♂が１ステップなどの先の段
階で求める類似性の最も高いベクトルＶ1 ♂等の近傍に
存在することが、前提となっている。ここで、真のベク
トルとは、「全点探索法」で検出された動きベクトルの
ことを指す。図４のように、第１ステップで類似性の最
も高いベクトルＶ1 ♂の検出に誤検出がある場合を例に
とって説明する。真の動きベクトルをＶｓ♂、図４にお
いて誤検出によって求められる動きベクトルをＶ♂とす
る。第１ステップにおいて、試行ベクトルに対する差分
の絶対値の累計が、図４のようにａ，ｂ，ｃ，…，ｉに
なったとし、これらの中で最小値をａとする。第１ステ
ップでは類似性の最も高いベクトルとし最小値ａに対応
する試行Ｖ1 ♂を候補ベクトルとして選択する。真の動
きベクトルＶｓ♂は、第２ステップ以降の探索範囲に存
在しないので、検出されることがなくなる。第１ステッ
プなどの先に候補ベクトルを求める段階で、真のベクト
ルに近い位置のベクトルを見つけることができれば、最
終段階で真のベクトルＶｓ♂を見つけることが可能であ
るが、下位段階で見つけた最適ベクトルがその段階にお
ける他の試行ベクトルより真のベクトルに近いという保
証はない。ベクトル検出精度とデータの空間周波数帯域
を一致させることで、誤検出の可能性を低くできるが、
入力画像によっては、誤検出が発生する場合も考えられ
る。この様に演算量を削減した「多段階動きベクトル検
出法」では、真の動きベクトルの検出が出来ないという
課題があった。一方、このような誤検出の問題の発生し
ない「全点探索法」では、１６ライン×１６画素のブロ
ックサイズで、±７ブロックの探索範囲の演算に５７６
００サイクルかかり、リアルタイムに処理を行う場合、
回路規模を大きくしないと対応がとれないという課題が
ある。

【０００６】

【課題を解決するための手段】本発明は、前記課題を解
決するために、２枚の異なるフレームの映像データを記
憶するメモリと、前記メモリに対する前記フレームの映
像データの書込み及び読出しを制御するメモリ制御回路
と、空間周波数帯域を制限する空間フィルタと、前記空
間フィルタの出力をサブサンプリングするサブサンプリ
ング手段と、入力された２枚の画像データに対してブロ
ックマッチングを行って該２枚の画像データ間の類似性
を調べ、該類似性の最も高いベクトルから順に複数本の
ベクトルを出力するブロックマッチング回路とを用い、
次の処理を施して動きベクトルを検出する。即ち、前記
メモリから前記フレームの映像データを前記メモリ制御
回路を用いて読出し空間フィルタで空間周波数帯域を制
限した後サブサンプリングを行い、該サブサンプリング
された該フレームの映像データを用いてブロックマッチ
ングをブロックマッチング回路で行って前記類似性の高
い複数のベクトルを動きベクトルの候補として選択する
第１段階の処理と、前記メモリから前記動きベクトルの
候補に対応する前記フレームの映像データを前記メモリ
制御回路を用いて読出し該フレームの映像データを用い
てブロックマッチングをブロックマッチング回路で行い
類似性の最も高いベクトルを動きベクトルとして抽出す
る第２段階の処理とを、施すようにしている。

【０００７】

【作用】本発明によれば、第１段階の処理である第１ス
テップで、空間的に帯域制限をかけた後にサブサンプリ
ングした映像データを用い粗い精度で動きベクトルの検
出を行うため、精度低下の分演算量を削減できる。第２
段階の処理である第２ステップでは、第１ステップで得
られた複数の候補ベクトルに対して空間的に帯域制限を
かけない映像データを用いて類似性の高いブロックを見
つける。このため第１ステップにおける精度低下の補償
が可能である。従って、前記課題を解決することができ
るのである。図５は、本発明による動きベクトル検出の
原理を説明する図であり、従来の図３に対応するもので
ある。図５に示す動きベクトル検出の原理は「全点探索
法」に対して本発明の動きベクトル検出に方法を組み合
わせた場合を示している。簡単のため、第１ステップで
出力される候補ベクトルの数を１６本とする。第１ステ
ップでは空間フィルタを用いてサブサンプリングを行
い、演算量を減じた構成で全試行ベクトルに対して候補
ベクトルを選ぶための演算を行う。これにより、図５に
おいてｋで示される第１候補から第１６候補までの候補
ベクトルＶｋ♂が選択される。第２ステップにおいて、
これら１６本の候補ベクトルに対して、サブサンプリン
グを行わない画像データで通常のブロックマッチングに
より、真の動きベクトルＶｓ♂が得られる。

【０００８】

【実施例】第１の実施例 図１は、本発明の第１の実施例を示す動きベクトル検出
回路の構成ブロック図である。図１に示す動きベクトル
検出回路は、図５に示す２段階の動き検出を行う。ここ
で、動きベクトルの探索範囲は各水平，垂直方向共に±
７画素（ライン）、ブロックマッチングを行うブロック
サイズは１６ライン×１６画素として説明する。この動
きベクトル検出回路は、映像信号の入力端子１１と、画
像データを格納する現フレームメモリ１２及び前フレー
ムメモリ１３と、帯域制限を行う空間フィルタ１４と、
２入力の内の一方を選択して出力する２個の２：１セレ
クタ１５，１６と、ブロックマッチングを行うブロック
マッチング回路１７と、動きベクトル検出のための制御
回路であるメモリ制御回路１８と、動きベクトルを出力
する出力端子１９とを、備えている。入力端子１１は現
フレームメモリ１２のデータ入力ポートに接続され、そ
の現フレーム１２のデータ出力ポートは、前フレームメ
モリ１３のデータ入力ポートと空間フィルタ１４の入力
端子とセレクタ１６の入力端子に接続されている。前フ
レームメモリ１３のデータ出力ポートは、空間フィルタ
１４の入力端子とセレクタ１５の入力端子とに接続され
ている。空間フィルタ１４の出力端子は、２つのセレク
タ１５，１６の入力端子に接続されている。セレクタ１
５の入力側は、空間フィルタ１４の出力または前フレー
ムメモリ１３の出力を選択する接続であり、セレクタ１
５の出力端子はブロックマッチング回路１７に接続され
ている。セレクタ１６の入力側は、空間フィルタ１４の
出力または現フレームメモリ１２の出力を選択する接続
であり、セレクタ１６の出力端子はブロックマッチング
回路１７に接続されている。ブロックマッチング回路１
７の１６個の出力端子は、メモリ制御回路１８の候補ベ
クトル入力端子Ｖ_１〜Ｖ_１６に接続されている。メモリ
制御回路１８は、２つのアドレス出力端子Ａ１，Ａ２を
有し、各出力端子Ａ１，Ａ２が現フレームメモリ１２及
び前フレームメモリ１３のアドレス入力ポートにそれぞ
れ接続されている。また、ブロックマッチング回路１７
の出力端子は、検出動きベクトル出力端子１９に接続さ
れている。各現フレームメモリ１２と前フレームメモリ
１３は、データ入力ポートとデータ出力ポートを独立し
て持つデュアルポートメモリである。次に、図１の動き
ベクトル検出回路の動作を説明する。

【０００９】入力端子１１から入力された映像信号は、
まず現フレームメモリ１２に書込まれる。この書込みと
同時に、現フレームメモリ１２にすでに書込まれていた
データ、即ち、前フレームのデータが読出されて前フレ
ームメモリ１３に書込まれる。これらのデータの制御は
メモリ制御回路１８のアドレス出力端子Ａ１，Ａ２から
指示されたアドレスに基づいて行われる。動きベクトル
の検出は、両メモリ１２，１３にそれぞれ書込まれた２
種類のデータを比較することで実行される。まず、第１
ステップにおける処理を説明する。第１ステップでは、
図５で示すように、±７画素（ライン）に全画素に対し
て試行ベクトルを発生する。そのため、試行ベクトルの
総数は２２５本となる。第１ステップの処理時には、セ
レクタ１５，１６が、共に空間フィルタ１４の出力を選
択する。現フレームメモリ１２にメモリ制御回路１８か
ら読出し用のアドレスが供給され、現フレームメモリ１
２から最初のブロックマッチングを行う現フレームのブ
ロックデータが、空間フィルタ１４に入力される。同時
に、前フレームメモリ１３にも読出し様のアドレスがメ
モリ制御回路１８から供給され、最初のブロックマッチ
ングを行う前フレームのブロックデータが読出される。
この時点でのブロックデータはどちらも、１６ライン×
１６画素の計２５６画素である。これらの２種類のブロ
ックデータは、各試行ベクトルにおける演算を簡単にす
るために、空間フィルタ１４で空間周波数帯域を１／４
に制限された後サブサンプリングされる。よって、ブロ
ックマッチングを行うブロックサイズが、水平方向には
原信号４画素、垂直方向には原信号４ラインからなる１
６点に対して１点の割合でサブサンプリングされた４ラ
イン×４画素の計１６画素となる。２個のセレクタ１
５，１６が、空間フィルタ１４の出力を選択しているの
で、ブロックマッチング回路１７はその空間フィルタ１
４から出力される各１６画素に減少した現フレームと前
フレームに対して差分の絶対値を求め、さらに、それら
の絶対値（１６個）を累計する。ブロックマッチング回
路は、累計結果を内部に有した内部レジスタで保持し、
最初の試行ベクトルに対する処理をおえる。次に、メモ
リ制御回路１８は最初の試行ベクトルに対する前フレー
ムメモリ読出し用のアドレスをシフトし、そのシフトさ
れたアドレスが前フレームメモリ１３のアドレス入力ポ
ートに伝達される。これにより、現フレームメモリ１２
と前フレームメモリ１３からは最初とは異なる試行ベク
トルに対するデータが読出されることになる。これらの
データに基づいてブロックマッチング回路１７は、最初
の試行ベクトルの場合と同様に、差分の絶対値の累計を
求める。２２５本の試行ベクトルに対して同様の処理が
行われ、結果として２２５種類の差分の絶対値の累計が
求められる。この２２５種類の累計のなかで、最小の値
から順に１６個の累計値が選択され、それら各１６個の
累計値にそれぞれ対応する試行ベクトルＶ１ａ♂，Ｖ１
ｂ♂，…，Ｖ１ｐ♂が，候補ベクトルとしてメモリ制御
回路１８の候補ベクトル入力端子Ｖ_１〜Ｖ_１６に出力さ
れる。第２ステップは、第１ステップで得られた１６本
の候補ベクトルＶ１ａ♂，Ｖ１ｂ♂，…，Ｖ１ｐ♂を試
行ベクトルとして演算を行う。ここでは、帯域制限をし
ていない映像データを扱うため、１６ライン×１６画素
のブロックサイズで処理が行われる。第２ステップでは
２個のセレクタ１５，１６は、空間フィルタ１４を通過
しない現フレームメモリ１２及び前フレームメモリ１３
のデータを選択する。メモリ制御回路１８は、第１ステ
ップで得られた図５におけるＫで示された１６本の各候
補ベクトルＶ１ａ♂，Ｖ１ｂ♂，…，Ｖ１ｐ♂に基づ
き、最初の試行ベクトルに対する現フレームメモリ１２
及び前フレームメモリ１３の読出し用アドレスを作成し
て、アドレス出力端子Ａ１，Ａ２から出力する。現フレ
ームメモリ１２及び前フレームメモリ１３からは、読出
し用アドレスに基づいたデータがそれぞれ出力される。
このデータはサブサンプリングされないので、１ブロッ
クに対して２５６画素存在する。セレクタ１５，１６
は、これらのデータを選択してブロックマッチング回路
１７へ供給する。ブロックマッチング回路１７は第１ス
テップと同様に両データの差分の絶対値の累計値を求め
る。ブロックサイズが１６ライン×１６画素であるた
め、累計はブロック内の総画素数分、つまり２５６個の
画素に対して行われる。１つ試行ベクトルに対する演算
を終了すると、メモリ制御回路１８によって次の試行ベ
クトルに対する読出しアドレスが作成され、ブロックマ
ッチング１７は次の試行ベクトルに対する演算を実施す
る。この演算が１６本の試行ベクトルに対して実行さ
れ、その中の最小値の累計値をとるベクトルが真の動き
ベクトルＶｓ♂として出力端子１９から出力される。

【００１０】以上のように、本実施例では、ブロックマ
ッチングによる動きベクトルの検出において、第１のス
テップで空間的に帯域制限をかけた後にサブサンプリン
グした映像データを用い、粗い精度で動きベクトルの検
出を行って複数の候補ベクトルＶ１ａ♂，Ｖ１ｂ♂，
…，Ｖ１ｐ♂を得る。第２ステップで、第１ステップで
得れた複数の候補ベクトルＶ１ａ♂，Ｖ１ｂ♂，…，Ｖ
１ｐ♂に対し、サブサンプリングを行わない映像データ
を用いて類似性の高いブロックを見つけることで、動き
ベクトルＶｓ♂の検出をおこなっている。そのため、動
きベクトルＶｓ♂の検出精度を劣化させずに大幅な演算
量の削減を実現できる。本実施例の動きベクトル検出方
法は、第１ステップで粗い精度のベクトル検出を行い、
第２ステップで精度を落とさずに最終的な動きベクトル
を求めようとるものであり、第１ステップでサブサンプ
リングを行うことで、第１ステップにおける演算量の削
減を図っている。ここで、演算量の削減のみを目的とし
た場合、各画素に割り当てられたビット数を削減する方
法も考えられる。もともとＮビットあった情報の下位１
ビットだけ切り捨てた場合を考えると、１画素に含まれ
る情報量は１／２に減少するが、演算量は（Ｎ−１）／
Ｎにしかならない。サブサンプリングにより情報量を１
／２にすると差分の絶対値の累計が１／２と成り、ビッ
ト数の削減を行う場合に比べて効率的な演算量の削減が
できる。従来技法による単純な「全点探索法」では、１
６ライン×１６画素のブロックサイズで水平，垂直方向
に±７画素（ライン）の探索範囲を調べるためには、試
行ベクトルの数が２２５本で、１本の試行ベクトルに第
１する演算量が２５６サイクルかかるので、全部で５７
６００サイクル要した。同じ条件で、図１の動きベクト
ル検出回路が１本の動きベクトルの検出を行う場合、第
１ステップの処理においてブロック内の総画素数が１６
画素及び試行ベクトル数が２２５本であるので３６００
（１６×２２５）サイクル要し、第２ステップの処理で
ブロック内、の総画素数が２５６画素及び試行ベクトル
数が１６本であるため、４０９６（２５６７×１６）サ
イクルとなる。即ち、合計すると７６９６サイクルで動
きベクトルの検出が実現でき、約１３％の演算量で実現
できる。

【００１１】第２の実施例 図６は、本発明の第２の実施例を示す動きベクトル検出
回路の構成ブロック図である。図７は、図６の動きベク
トル検出の原理を説明する図であり、図５に対応するも
のである。図６の動きベクトル検出回路は、「多段階動
きベクトル検出法」に対して本発明の動きベクトル検出
方法を組み合わせたものである。簡単のため、３ステッ
プで動きベクトルを検出するものとし、３ステップのう
ちの第１及び第２ステップの終了時に選択される候補ベ
クトル数をそれぞれ２本とする。第３ステップでは、第
２ステップ終了時の候補ベクトルとその周辺に対し、試
行ベクトルを発生して最終的な動きベクトルＶｓ♂を検
出する。即ち、第１及び第２のステップはサブサンプリ
ングを行ったデータに対してブロックマッチングを行
い、この中で類似性の最も高いものから複数の動きベク
トルの候補を選択する第１の段階の処理を行い、第３ス
テップは、それらの候補ベクトルに対して画像データの
ブロックマッチングを行い、その中の最も類似性の高い
ベクトルを最終的な動きベクトルとして出力する第２の
段階の処理を行う。ここで、動きベクトルの探索範囲は
各水平，垂直方向に±７画素（ライン）、及びブロック
マッチングを行うブロックサイズは１６ライン×１６画
素として説明する。図６の動きベクトル検出回路は、映
像信号の入力端子２１と、画像データを格納する現フレ
ームメモリ２２及び前フレームメモリ２３と、帯域制限
を行う２個の空間フィルタ２４，２５と、３入力の内の
一つを選択して出力する２個の３：１セレクタ２６，２
７と、ブロックマッチングを行うブロックマッチング回
路２８と、動きベクトル検出のための制御回路であるメ
モリ制御回路２９と、動きベクトルを出力する出力端子
３０とを、備えている。

【００１２】入力端子２１は現フレームメモリ２２のデ
ータ入力ポートに接続され、その現フレーム２２のデー
タ出力ポートは、前フレームメモリ２３のデータ入力ポ
ートと、２つの空間フィルタ２４，２５の入力端子と、
セレクタ２７の１つの入力端子に接続されている。前フ
レームメモリ２３のデータ出力ポートは、空間フィルタ
２４の入力端子と、空間フィルタ２５の入力端子と、セ
レクタ２６の１つの入力端子とに、接続されている。空
間フィルタ２４の出力端子は、２つのセレクタ２６，２
７の各１つの入力端子に接続され、空間フィルタ２５の
出力端子は２つのセレクタ２６，２７の残った各１つの
入力端子に接続されている。セレクタ２６は前フレーム
メモリ２３、空間フィルタ２４、または空間フィルタ２
５の出力を選択してブロックマッチング回路２８に供給
する接続である。セレクタ２７は：現フレームメモリ２
２、空間フィルタ２４、または空間フィルタ２５の出力
を選択してブロックマッチング回路２８に供給する接続
である。ブロックマッチング回路２８は２個の出力端子
を有し、その２個の出力端子はメモリ制御回路２９のベ
クトル入力端子Ｖ_１，Ｖ_２に接続されている。メモリ制
御回路２９は２つのアドレス出力端子Ａ１，Ａ２を有
し、各出力端子Ａ１，Ａ２が現フレームメモリ２２及び
前フレームメモリ２３のアドレス入力ポートにそれぞれ
接続されている。次に、図６の動きベクトル検出回路の
動作を説明する。入力端子２１から入力された映像信号
は、まず現フレームメモリ２２に書込まれる。この書込
みと同時に、現フレームメモリ２２にすでに書込まれて
いたデータ、即ち、前フレームのデータが読み出されて
前フレームメモリ２３に書込まれる。これらのデータの
制御は、制御回路２９のアドレス出力端子Ａ１，Ａ２か
ら指示されたアドレスに基づいて行われる。動きベクト
ルの検出は、両メモリ２２，２３にそれぞれ書込まれた
２種類のデータを比較することで実行される。まず、第
１ステップにおける処理を説明する。第１ステップで
は、動き補償をしない場合に等価のゼロベクトルとゼロ
ベクトルを中心にした図７に示される±４画素（ライ
ン）離れた８本のベクトルとの合計９本のベクトルが、
試行ベクトルとされ、その９本の試行ベクトルに対して
ブロックマッチングにより類似性が、調査される。第１
ステップの処理で、各セレクタ２６，２７は空間フィル
タ２４の出力を選択し、空間フィルタ２４の出力がブロ
ックマッチング回路２８に供給される。メモリ制御回路
２９はアドレス出力端子Ａ１，Ａ２から現フレームメモ
リ２２と前フレームメモリ２３に読出しアドレスを出力
する。このアドレスに応じて現フレームメモリ２２と前
フレームメモリ２３から、最初の試行ベクトルに対する
現フレーム及び前フレームのデータが読出される。これ
らのデータは、各空間フィルタ２４，２５とセレクタ２
６，２７に入力されるが、第１ステップでは、セレクタ
２６，２７が共に空間フィルタ２４を選択しているの
で、空間フィルタ２４を通過するデータのみ有効とな
る。空間フィルタ２４では、ベクトル検出精度と映像デ
ータの空間周波数帯域の不釣合を無くし、且つ各試行ベ
クトルにおける評価演算を簡単化するため、空間周波数
帯域を１／４に制限しサブサンプリングする。サブサン
プリングにより、ブロックマッチングを行うブロックサ
イズは、水平方向には原信号４画素、垂直方向には原信
号４ラインからなる１６点に対して１点の割合となった
４ライン×４画素の計１６画素とされ、このサイズに対
してブロックマッチングが行われる。ブロックマッチン
グ回路２８は２個のセレクタ２６，２７から出力される
現フレーム及び前フレームのデータの差分の絶対値を求
め、これらの絶対値を画素分（１６個）累計する。ブロ
ックマッチング回路２８は、その累計結果を内部に有し
たレジスタで保持し、最初の試行ベクトルに対する演算
を終了する。次に、メモリ制御回路２９は最初の試行ベ
クトルに対する前フレームメモリ読出し用のアドレスを
シフトし、そのシフトされたアドレスが：現フレームメ
モリ２２及び前フレームメモリ２３のアドレス入力ポー
トに伝達される。これにより、現フレームメモリ２２と
前フレームメモリ２３からは最初とは異なる試行ベクト
ルに対するデータが読み出されることになる。これらの
データに基づいてブロックマッチング回路２８は、最初
の試行ベクトルの場合と同様に、差分の絶対値の累計を
求める。設定された９本の試行ベクトルに対し、演算が
繰り返され、結果として９種類の差分の絶対値の累計値
が得られる。この９種類の累計値の中で最小の値から順
に２個の累計値が選択され、その２個の累計値に対応す
る試行ベクトルが、第１ステップの候補ベクトルＶ１ａ
♂、Ｖ１ｂ♂としてメモリ制御回路２９へ出力される。

【００１３】第２ステップでは、図７に示される第１ス
テップで得られた候補ベクトルＶ１ａ♂、Ｖ１ｂ♂と、
これら候補ベクトルＶ１ａ♂、Ｖ１ｂ♂からそれぞれ±
２画素（ライン）離れた合計１８点の試行ベクトルに対
し演算を行う。第２ステップの処理では、２個のセレク
タ２６，２７は、空間フィルタ２５の出力を選択する。
メモリ制御回路２９は、第１ステップと同様に、現フレ
ームメモリ２２及び前フレームメモリ２３のアドレス入
力ポートに最初の試行ベクトルに対応する読出しアドレ
スを送り、現フレームメモリ２２及び前フレームメモリ
２３からそのアドレスに対応するデータが読出される。
この読出しアドレスは第１ステップで求まった候補ベク
トルを初期値として作成される。第２ステップでは空間
フィルタ２５を通過したデータのみが、セレクタ２６，
２７で選択されてブロックマッチング回路２８に供給さ
れる。映像データは、第１ステップと同様にベクトル検
出精度とデータの空間周波数帯域の不釣合を無くし、且
つ各試行ベクトルにおける評価演算を簡単化するため、
空間フィルタ２５で空間周波数帯域を１／２に制限して
サブサンプリングされる。従って、水平方向には原信号
２画素、垂直方向には原信号２ラインからなる４点に対
し１点の割合でサブサンプリングされたデータ、即ち、
８ライン×８画素のブロックサイズでブロックマッチン
グが行われる。ブロックマッチング回路２８は、第１ス
テップと同様に現フレームデータと前フレームデータの
差分の絶対値の累計値を求める。この演算は、ブロック
サイズが８ライン×８画素で構成されたブロック内の６
４個の全ての画素に対して行われる。この演算が１８本
の試行ベクトルに対して実行され、その中の最小の値を
とるベクトルから順に２本が、第２ステップの候補ベク
トルＶ２ａ♂，Ｖ２ｂ♂として選択されてメモリ制御回
路２９へ出力される。第３ステップでは、第２ステップ
で得られた候補ベクトルＶ２ａ♂、Ｖ２ｂ♂に対し、第
１及び第２ステップと同様の演算を行う。第３ステップ
は、図７に示される第２ステップで得られた候補ベクト
ルＶ２ａ♂、Ｖ２ｂ♂と、これら候補ベクトルＶ２ａ
♂、Ｖ２ｂ♂から±１画素（ライン）離れた合計１８点
の試行ベクトルに対し演算を行う。第３ステップの処理
で２個のセレクタ２６，２７は、現フレームメモリ２２
及び前フレームメモリ２３の出力を直接、即ち、空間フ
ィルタ２４，２５でサブサンプリングされていない映像
データをそれぞれ選択する。第１及び第２ステップと同
様に、メモリ制御回路２９は現フレームメモリ２２及び
前フレームメモリ２３のアドレス入力ポートに最初の試
行ベクトルに対応する読出しアドレスを送り、現フレー
ムメモリ２２及び前フレームメモリ２３からそのアドレ
スに対応するデータが読出される。この読出しアドレス
は第２ステップで求まった候補ベクトルを初期値として
作成される。第３ステップでは現フレームメモリ２２及
び前フレームメモリ２３から直接読出されたデータが、
セレクタ２６，２７で選択されてブロックマッチング回
路２８に供給される。ブロックマッチング回路２８は供
給された現フレームデータと前フレームデータの差分の
絶対値の累計値を求める。第３ステップではブロックサ
イズが１６ライン×１６画素であるため、この累計がブ
ロック内の総画素分の２５６個の画素に対して行われ
る。この演算が１８本の試行ベクトルに対して実行さ
れ、ブロックマッチング回路２９は、その中の累計値が
最小となるベクトルを真の動きベクトルＶｓ♂として出
力端子３０から出力する。

【００１４】以上のように本実施例では、ブロックマッ
チングによる動きベクトルの検出において、第１及び第
２ステップで得られる候補ベクトルをＶ１ａ♂，Ｖ１ｂ
♂及びＶ２ａ♂，Ｖ２ｂ♂の各２本としている。そのた
め、例えば第１ステップで得られる第１候補のベクトル
Ｖ１ａ♂を誤って求めても、第２候補Ｖ１ｂ♂が正しい
ベクトルを選択する可能性があり、同様に、第２ステッ
プで第１候補のベクトルＶ２ａ♂を誤って求めても、第
２候補Ｖ２ｂ♂が正しいベクトルを選択する可能性があ
る。よって、上位ステップで真のベクトルを検出する可
能性が高まり、本実施例により検出した動きベクトルを
用いて動画像高能率符号化における動き補償フレーム間
予測を行うと、フレーム間符号化の効率が改善される。
また、本実施例では、サブサンプリングによって先に処
理を行うステップでの演算量を削減しているため、候補
ベクトルの数が少ない場合には、従来の「多段階動きベ
クトル検出法」より演算量が減少する。従来の多段動き
ベクトル検出法では、１６ライン×１６画素のブロック
サイズで水平及び垂直方向共に±７画素（ライン）の探
索範囲を調べるためには試行ベクトルの数が２５本で、
１本の試行ベクトルに対し２５６サイクルの処理を要し
た。本実施例によれば、同一条件で、第１ステップの処
理に１４４（＝１６×９）サイクル、第２ステップの処
理に１１５２（＝６４×１８）サイクル、及び第３ステ
ップの処理に４６０８（＝２５６×１８）サイクルの計
５９０４サイクルで実現することができる。即ち、従来
の多段動きベクトル検出法の演算量が９２％に削減でき
る。なお、本発明は、上記実施例に限定されず種々の変
形が可能である。その変形例としては、例えば次のよう
なものがある。

【００１５】（ａ） 第１及び第２の実施例では、ブロ
ックマッチングにおける類似度の評価を（１）式で示さ
れる差分の絶対値の累計で行っている。差分の絶対値の
累計での評価は、比較的少ない演算量で良い特性を得る
ことができるが、符号化のアプリケーションによっては
他の複雑な評価関数を用いる場合も考えられる。例え
ば、評価関数として差分の自乗の累計を用いる場合が考
えられる。この場合、自乗演算のための乗算器が必要と
なり、演算量の増加につながる。第１の実施例で差分の
自乗の累計を用いる場合、第１ステップのサブサンプリ
ングした映像データに対する動きベクトルの検出で、複
数の候補ベクトルを選定するため、その複数の候補ベク
トルに対する第２ステップの評価関数のみ差分の自乗の
累計に変更することで、ある程度正確な動きベクトルＶ
２♂の検出が可能となる。これにより、従来技法では全
試行ベクトルの演算に差分の自乗の累計を用いる必要が
あったが、本方法では、第２ステップの試行ベクトルの
みに適用することで、演算量及び回路規模の削減が可能
となる。 （ｂ） 第１及び第２の実施例において、１６ライン×
１６画素のブロックロックサイズで水平及び垂直方向共
に±７画素（ライン）の探索範囲を調べる場合を説明し
たが、異なるブロックサイズまたは異なる探索範囲で動
きベクトルを検出する場合にも、第１及び第２の実施例
と同様の効果を奏することは、言うまでもない。 （ｃ） 第１の実施例において、第１ステップから第２
ステップに与える候補ベクトルの数は１６本に限定され
ない。 （ｄ） 第１及び第２の実施例における空間フィルタ１
４，２４，２５の帯域制限は、１／４，１／２に限定さ
れるものではなく、用途によって変更が可能である。 （ｅ） 第２の実施例において、第１及び第２ステップ
で求められる候補ベクトルＶ１ａ♂，Ｖ１ｂ♂及びＶ２
ａ♂，Ｖ２ｂ♂の数は、複数本であれば効果を発揮し、
２本に限定されるものではない。本数を増すことで、真
の動きベクトルＶｓ♂を検出する確率が高くなる。

【００１６】

【発明の効果】以上詳細に説明したように、本発明によ
れば、第１段階の処理で空間的に帯域制限をかけた後サ
ブサンプリングした映像データを用いて複数の動きベク
トルの候補を選択し、第２段階の処理で複数の動きベク
トルの候補に対してメモリから読み出された映像データ
を直接用いてブロックマッチングを行うことで、類似性
の高いベクトルを見つける。そのため、検出精度をあま
り落とさず大幅な演算量の削減が可能となる。即ち、リ
アルタイムで処理を行う場合の回路規模を小さくでき
る。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示す動きベクトル検出
回路の構成ブロック図である。

【図２】ブロックマッチングによる動きベクトル検出の
説明図である。

【図３】多段階動きベクトル検出法の原理図である。

【図４】従来の動きベクトル検出方法の課題を説明する
図である。

【図５】本発明による動きベクトル検出の原理を説明す
る図である。

【図６】本発明の第２の実施例を示す動きベクトル検出
回路の構成ブロック図である。

【図７】図６の動きベクトル検出の原理を説明する図で
ある。

【符号の説明】

１２，２２ 現フレームメモリ １３，２３ 前フレームメモリ １４，２４，２５ 空間フィルタ １７，２８ ブロックマッチング回路 １８，２９ メモリ制御回路 Ｖ♂，Ｖ１ａ♂，Ｖ１ｂ♂，Ｖ２ａ♂，Ｖ２ｂ♂ 候補
ベクトル ＶＳ♂ 動き
ベクトル

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ２枚の異なるフレームの映像データを記
   憶するメモリと、 前記メモリに対する前記フレームの映像データの書込み
   及び読出しを制御するメモリ制御回路と、 空間周波数帯域を制限する空間フィルタと、 前記空間フィルタの出力をサブサンプリングするサブサ
   ンプリング手段と、 入力された２枚の画像データに対してブロックマッチン
   グを行って該２枚の画像データ間の類似性を調べ、該類
   似性の最も高いベクトルから順に複数本のベクトルを出
   力するブロックマッチング回路とを用い、 前記メモリから前記フレームの映像データを前記メモリ
   制御回路を用いて読出し空間フィルタで空間周波数帯域
   を制限した後サブサンプリングを行い、該サブサンプリ
   ングされた該フレームの映像データを用いてブロックマ
   ッチングをブロックマッチング回路で行って前記類似性
   の高い複数のベクトルを動きベクトルの候補として選択
   する第１段階の処理と、 前記メモリから前記動きベクトルの候補に対応する前記
   フレームの映像データを前記メモリ制御回路を用いて読
   出し該フレームの映像データを用いてブロックマッチン
   グを前記ブロックマッチング回路で行い、類似性の最も
   高いベクトルを動きベクトルとして抽出する第２段階の
   処理とを、 行うことを特徴とする動きベクトル検出方法。