JP3589483B2 - データ処理方法 - Google Patents
データ処理方法 Download PDFInfo
- Publication number
- JP3589483B2 JP3589483B2 JP11539794A JP11539794A JP3589483B2 JP 3589483 B2 JP3589483 B2 JP 3589483B2 JP 11539794 A JP11539794 A JP 11539794A JP 11539794 A JP11539794 A JP 11539794A JP 3589483 B2 JP3589483 B2 JP 3589483B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- image data
- frame
- dimensional image
- fourier transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、デジタル画像データを高能率符号化してデータ圧縮するためのデータ処理方法に関し、特に、動画像圧縮における動き予測のデータ処理に関する。
【０００２】
【従来の技術】
近年、半導体集積技術の進展に伴い、デジタル画像データ等の高能率符号化（データ圧縮）技術が急速に進められている。こうした技術は、画像信号や音声信号などの種々のデータを統合的に扱うマルチメディアシステムや、デジタルＨＤＴＶ等におけるデータ伝送及び蓄積に不可欠なものである。
連続したフレームにおける画像データ（動画像）は、空間方向と時間方向の３次元データからなるものである。こうした画像データの空間方向の冗長性は、２次元ＤＣＴ（離散コサイン変換）を用いて効果的に削減することが可能であり、他方、時間方向の冗長性は、フレーム／フィールド間の符号化、あるいは、動き補償によるフレーム／フィールド間の予測符号化により削減することが可能である。
【０００３】
動き補償によるフレーム／フィールド間の予測符号化は、単にフレーム／フィールド間の差分を符号化するのではなく、物体の動き予測、すなわち動きベクトルを検出して、その動きベクトル分だけ移動した領域との差分を符号化し、データ圧縮をより効果的にするものである。
【０００４】
動き予測は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）のような国際的な標準に広く用いられている重要な技術の１つである。一般に、画像シーケンスにおける連続的なフレームでは、１フレーム期間内にシーケンス内の物体が、それらの位置を少し変えるにすぎないため、非常に類似していることが多い。このため、動き予測による符号化は、画像シーケンスにおける時間的及び空間的な冗長性を除去できるという利点をもつ。あるフレームから次のフレームへの物体の変位は、動きベクトルとして参照される。一般に、動きベクトルは、特定の物体について定められるのではなく、フレームを分割した矩形状の小さなブロックについて定められる。そして、前に送られたフレーム内の特定のブロックに対して最適な候補を見つける技術が、いわゆる動き予測（ＭＥ）と呼ばれている。
【０００５】
従来から行われている動き予測について簡単に説明する。
前に送られたフレームを参照フレーム、動き予測が行われる現在のフレームをターゲットフレームと呼ぶことにする。同様に、参照フレーム内のブロック及びターゲットフレーム内のブロックを参照ブロック及びターゲットブロックと呼ぶ。もっとも広く行われている動き予測の方法は、ブロックマッチングである。ブロックマッチングは、ターゲットブロックと参照ブロックとの間の画素ごとのミスマッチをある基準を用いて測定し、これを矩形ブロックの全領域にわたって加算したものを誤差と定義し、最小の誤差を与えるブロックを見つける。
【０００６】
ミスマッチについて一般に用いられている基準は、平均絶対誤差（ＭＡＥ）と平均自乗誤差（ＭＳＥ）である。
前者は、一般に、以下のように表される。
【数１】
後者は、一般に、以下のように表される。
【数２】
ここに、ｘ（ｋ，ｌ），ｙ（ｋ，ｌ）は、画素値を表し、Ｗは矩形ブロックを表す。
ＭＡＥは、ＭＳＥと比べて計算は容易であるが、精度はＭＳＥの方が優れている。
【０００７】
また、ブロックマッチングにおいて、参照フレーム内のサーチされるべき画面の領域（以下、サーチ範囲）は、可能性のある動きを連続的に検出できるようにするために、十分に大きくなければならない。しかし、計算量は、おおよそサーチ範囲の面積に比例するため、大きなサーチ範囲を必要とする動きの速いシーケンスについて、サーチ範囲の大きさは顕著な問題となる。さらに、ＨＤＴＶのような高解像度のＴＶは、たとえ動きの遅いシーケンスであっても、一般のＴＶよりも大きなサーチ範囲を必要とする。
【０００８】
【発明が解決しようとする課題】
比較的大きなサーチ範囲を得るために、高速フーリエ変換（ＦＦＴ）を用いて計算した相関を利用して動き予測を行う方法が提案されている。
ＦＦＴは、一般に、以下のように表される。
【数３】
【０００９】
ＦＦＴは、コンボリューションや相関の計算にしばしば用いられるものであり、オペレーション（加算や乗算）の回数を減少させることができるという利点を持つ。つまり、Ｎ点ＦＦＴの計算量は、離散的フーリエ変換（ＤＦＴ）の直接評価に必要なＮ２ ではなく、ＮｌｏｇＮに比例するということが知られている。
【００１０】
しかしながら、本発明者は、ＦＦＴを用いた相関を利用する動き予測の技術を解析し、この方法がＭＡＥやＭＳＥのような好適な基準ではないという結論を得た。つまり、この方法は、ＭＳＥの３つの項
【数４】
の一項（相関項）、
【数５】
を評価するにすぎないからである。このことは、もし、最後の項、
【数６】
が、相関項と同様に評価されるならば、この方法は、ＭＳＥ基準により動きベクトルを計算する上で優れていることを意味する。
【００１１】
そこで、本発明は、ＭＳＥ基準による動き予測技術の基礎となるＦＦＴについて開示し、２次元画像データの相関を、精度を損なうことなく計算が容易なデータ処理方法を提供することを目的とする。
【００１２】
本発明の他の目的は、２次元画像データの相関の計算を容易にし、動画像の動き予測を高速に求めることができるデータ処理方法を提供することである。
本発明の他の目的は、ＭＰＥＧ２の符号化に適用可能な動き予測を高速に行うことができるデータ処理方法を提供することである。
【００１３】
【課題を解決するための手段】
本発明は、上記課題を解決するために、以下の手段を有するものである。
第１の２次元画像データと、第２の２次元画像データとの間の相関を求めるデータ処理方法であって、第１の２次元画像データと第２の２次元画像データの自乗誤差の計算ステップに、高速フーリエ変換処理を利用するものである。
【００１４】
例えば、第１の２次元画像データは、動き予測を行うべきターゲットブロックであり、第２の２次元画像データは、参照フレーム内のサーチウインドウ、つまり参照ブロックである。
【００１５】
好ましくは、データ処理方法は、求められた自乗誤差に基づき、第２の２次元画像データの範囲内において第１の２次元画像データと最もマッチングする２次元画像データの位置を検出するステップを含む。
【００１６】
好ましくは、データ処理方法は、さらに、検出された２次元画像データの位置に基づき、第２の２次元画像データに対する第１の２次元画像データの動きベクトルを求めるステップを含む。
【００１７】
また、他の発明に係るデータ処理方法は、以下の手段を有する。
第１の２次元画像データを有する第１のフレームが第１と第２のフィールドから構成され、第２の２次元画像データを有する第２のフレームが第３と第４のフィールドから構成され、第１及び第２のフィールドに含まれる第１の２次元画像データと、第３及び第４のフィールドに含まれる第２の２次元画像データとの間の相関を求めるデータ処理方法であって、第１及び第２のフィールドに含まれる各画像データをそれぞれ実数部及び虚数部として第１の高速フーリエ変換をし、第３及び第４のフィールドに含まれる画像データをそれぞれ実数部及び虚数部として第２の高速フーリエ変換をし、第１及び第２の高速フーリエ変換されたデータに基づき第１、第２、第３及び第４のフィールド相互間の自乗誤差を求め、前記自乗誤差に基づき第１、第２、第３及び第４のフィールド相互間の動きベクトルを求めるものである。
【００１８】
好ましくは、データ処理方法は、フィールド相互間の自乗誤差に基づきフレーム間の動きベクトルを求めるステップを含む。
【００１９】
【作用】
本発明によれば、第１の２次元画像データと、第２の２次元画像データの自乗誤差の計算ステップに、高速フーリエ変換処理を利用するため、両者間の相関を精度を劣化させることなく、少ない計算量で高速に求めることができる。また、本発明によれば、フレームとフィールドの両動きベクトルを同時に発生することが可能であり、しかも、少ない計算時間で広いサーチ範囲を与えることができる。このように、本発明に係るデータ処理方法を用いれば、ＭＰＥＧ２などにおける動き予測を高速に実行することができる。
【００２０】
【実施例】
以下、本発明の実施例について説明する。
先ず、本実施例に係る動き予測では、ブロックマッチングの評価をＭＳＥ基準により行い、これによって、動きベクトルを求めるものとする。
【００２１】
図１は、本実施例に係るＭＳＥ基準による動きベクトル算出処理方法を示すブロック図である。同図において、Ｒは前に送られた参照フレーム内のＣ＊Ｄ（Ｃ，Ｄ＞Ｂ）の参照ブロック、すなわち、サーチウインドウに相当するものであり、ｔは動き予測を施すべき現在のターゲットフレーム内のＢ＊Ｂからなるターゲットブロックであり、ターゲットブロックｔが参照ブロックＲから予測されるものと仮定する。それぞれの領域の画素の値は、ｘ（ｍ，ｎ）（０≦ｍ，ｎ≦Ｂ−１）とｙ（ｍ，ｎ）（０≦ｍ≦Ｃ−１，０≦ｎ≦Ｄ−１）として表わされる。そして、ｍ＋ｋとｎ＋１の点での自乗誤差（ＳＥ）は、以下のように表わされる。
【００２２】
【数７】
式（２）の最初の項は、ターゲットブロックｔに対して定数であるため、これを以下のように表す。
【数８】
図１における参照ブロックＲ１は、参照ブロックＲの各画素を自乗したものである。そして、式（２）及び（３）より誤差ｅ（ｋ，ｌ）は、次のようになる。
【数９】
【００２３】
ここで、参照ブロックＲ，Ｒ１に対応するターゲットブロックの大きさを合わせるため、２つのＣ＊ＤのアレイＴ（ｚ）、Ｔ１（ｈ）を定義し、それらの要素を以下のようにする。
【数１０】
こうして、誤差ｅ（ｋ，ｌ）は、次のように表される。
【数１１】
【００２４】
なお、定数Ａは、式を簡略化するために省略してある。上記式の２つの項は、２つのアレイの相関として表すことができ、ｅ（ｋ，ｌ）のＤＦＴは、次のように表すことができる。
【数１２】
【００２５】
ここで、Ｅ（α，β）、Ｈ（α，β）、ＹＹ（α，β）、Ｚ（α，β）及びＹ（α，β）は、それぞれｅ（ｋ，ｌ）、ｈ（ｋ，ｌ）、ｙ（ｋ，ｌ）２ 、ｚ（ｋ，ｌ）及びｙ（ｋ，ｌ）のフーリエ変換であり、“＊”は複素共役を示す。従って、誤差ｅ（ｋ，ｌ）は、上記式のＩＦＦＴ（逆フーリエ変換）から得ることができる。
【００２６】
図１を参照して説明すると、参照ブロックＲ及びターゲットブロックのアレイＴについて高速フーリエ変換を施してＹ（α，β）とＺ（α，β）を求め、乗算器１１により両者の積を求め、これの逆フーリエ変換（ＩＦＦＴ）を行い、第１の計算結果１２を求める。同様に、参照ブロックＲ１及びターゲットブロックのアレイＴ１について高速フーリエ変換を施してＹＹ（α，β）とＨ（α，β）を求め、乗算器１３により両者の積を求め、これらの逆フーリエ変換を行い、第２の計算結果１４を求める。そして、第１の計算結果を２倍したものと第２の計算結果との差分を減算器１５により求め、自乗誤差ｅ（ｋ，ｌ）を算出する。
【００２７】
もっとも一致するブロック（Ｋ，Ｌ）の位置は、ｅ（ｋ，ｌ）の最小値をサーチすることにより見つけることができる。すなわち
【数１３】
また、動きベクトル（ｍｖｍ ，ｍｖｎ ）は、以下に示すように、ブロックｔ：（ｍｔ ，ｎｔ ）及びブロックＲ：（ｍｒ ，ｎｒ ）の座標から得ることができる。
【数１４】
【００２８】
以上にように、ＭＳＥの処理ステップにおいて、相関計算にＦＦＴを利用するようにしたので、ＭＳＥによる動き予測を、精度を損なうことなく少ない計算量で処理することができ、その結果、画像データの高能率符号化を短時間にて行うことができる。
【００２９】
次に、本発明の第２の実施例について説明する。
先の実施例で説明したように、画像シーケンスの動きベクトルは、ＭＳＥ基準においてＦＦＴを使用して算出することができる。本実施例では、ＭＰＥＧ２標準に適用した例について説明する。
【００３０】
ＭＰＥＧ２標準は、インターレースフィールド構造をサポートするため、フレームとフィールドの双方の動きベクトルを採用する。つまり、１６＊１６画素の１ブロックにつき５つの動きベクトル（１つはフレームベクトルであり、４つはフィールドベクトル）をサーチしなければならない。
【００３１】
図２は、これらの５つの動きベクトルの態様を示すものである。２１はターゲットフレームであり、２２、２３はターゲットフレームを構成する偶数フィールド及び奇数フィールドである。２４は参照フレームであり、２５、２６は参照フレームを構成する偶数フィールド及び奇数フィールドである。５つの態様は、フレームベクトル３１、偶数対偶数フィールドベクトル３２、奇数対偶数フィールドベクトル３３、偶数対奇数フィールドベクトル３４、及び奇数対奇数フィールドベクトル３５である（「偶数」及び「奇数」の語は、偶数フィールド及び奇数フィールドの意である）。
【００３２】
これらの動きベクトルを求めるために、第１の実施例と同様にブロックマッチングを行う。上述したＭＳＥ基準による誤差の評価式（２）に相当するものは、以下の式（１１）ないし式（１５）に表される。なお、垂直方向のブロックサイズは、フィールドブロック操作のために２分割される。また、下付きのｆｒａｍｅ，ｅｖｅｎ及びｏｄｄによってフレーム、偶数フィールド、及び奇数フィールドの画素値を区別する。
【数１５】
【００３３】
フーリエ変換を行うために、ブロックサイズの大きさを以下のように合わせる。
【数１６】
【００３４】
そして、これらをフーリエ変換すると以下のようになる。
【数１７】
【００３５】
ここで、新しい複素変数を定義し、それらの実数部と虚数部が、偶数及び奇数フィールドの画素値とそれぞれ等しいものとし、これを以下のように表す。
【数１８】
ここで、ｊ＝√−１である。ｐ（ｍ，ｎ），ｑ（ｍ，ｎ），ｒ（ｍ，ｎ），ｓ（ｍ，ｎ）のフーリエ変換は、次のように表せる；
【数１９】
【００３６】
さらに、これらのフーリエ変換を用いて、Ｔｏ（α，β）、Ｔ１ （α、β）、Ｕｏ（α，β）、Ｕ１ （α，β）を次のように定義する。
【数２０】
【００３７】
ここで、実数シーケンスのフーリエ変換の対称性（３８）、（３９）式を適用する。
【数２１】
【００３８】
そうして、式（１８）、（１９）、（２０）、（２１）、（３１）、（３３）、（３５）及び（３７）を用い、以下の関係式が容易に導かれる。
【数２２】
【００３９】
Ｗ（α，β）及びＶ（α，β）の逆フーリエ変換は、以下のようになる。
【数２３】
【００４０】
すなわち、奇数対奇数フィールド、偶数対奇数フィールド、偶数対偶数フィールド、及び奇数対偶数フィールドについての自乗誤差（ＳＥ）が、ｗ（ｋ，ｌ）及びｖ（ｋ，ｌ）の実数部または虚数部から得ることができる。
１つのフレームは、２つのフィールドから構成されるので、フレームベクトルは、対応する２つのフィールドのＳＥ値から得ることができる。参照フレームブロックの最初のラインが偶数フィールドに属するものと仮定すると、偶数対偶数フィールドのＳＥと奇数対奇数フィールドのＳＥの合計がフレームＳＥとなる。他方、もし最初のラインが奇数フィールドに属すれば、偶数対奇数フィールドのＳＥと奇数対偶数フィールドのＳＥの合計がフレームＳＥとなる。フレームベクトルは、フィールドのＳＥの各組合わせの中から誤差が最小となる位置をサーチすることにより求めることができる。このようにして、フレームのＳＥは、ｗ（ｋ，ｌ）とｖ（ｋ，ｌ）によって得ることができる。
【００４１】
実際の計算では、“（Ｔｏ（α，β）−Ｔ１（α，β））／２”と“（Ｔｏ（α，β）＋Ｔ１（α，β））／２”とを評価する必要はない。なぜなら、Ｈｈ （α，β）Ｑ（α，β）のＩＦＦＴは、式（１２）、（１３）、（１４）及び（１５）の最初の和を提供することができるからである。
【００４２】
図３は、本実施例に係る動き予測を実行するためのステップを示すブロック図である。同図に示すように、第１のステップにおいて、参照フレームをバッファにコピーし、各画素値を自乗する。２乗した参照フレームを、（Ｃ／２）＊Ｄのブロックに分割し、偶数フィールド４１及び奇数フィールド４２を生成する。偶数フィールド４１を実数部に、奇数フィールド４２を虚数部に割り当て、これらを加算器４３により結合し、複素数を形成する。そして、これらを高速フーリエ変換し、Ｑ（α，β）を生成する。
【００４３】
また、バッファ内にストアされたマスクアレイｈｈ （ｍ，ｎ）のＦＦＴであるＨｈ （α，β）を前もって求めておき、乗算器４４によりＱ（α，β）と乗算し、次いで、逆フーリエ変換（ＩＦＦＴ）される。ＩＦＦＴされた値のうち、偶数フィールドに対応する実数部がバッファ４５内にストアされ、他方、奇数フィールドに対応する虚数部がバッファ４６にストアされる。これらの実数部及び虚数部の項は、ターゲットフレームの変数を含まず、すなわち、定数であり、これらの項は、同一の参照フレームについて共通であるため、この評価のための計算は一度だけ必要とされる。
【００４４】
第２のステップでは、式（２４）、（２５）、（３４）、（３６）、（４０）及び（４２）に示される項Ｒ（α，β）、Ｓ（α，β）、Ｕｏ（α，β）、Ｕ１ （α，β）、Ｕｏ（α，β）−Ｕ１ （α，β）、及びＵｏ（α，β）＋Ｕ１ （α，β）が、各ターゲットブロックについて評価され、最後の２つの項の逆フーリエ変換されたものが、第１のステップでバッファにストアされた値から減算される。
【００４５】
先ず、２度のＦＦＴが、ｒ（ｍ，ｎ）とｓ（ｍ，ｎ）の項につい行われなければならない。ターゲットフレームのブロックは、適切なサイズに変形された後、実数部として偶数フィールドブロック５１が、虚数部として奇数フィールドブロック５２がメモリバッファ内に割り当てられ、加算器５３により両者が結合され、これをフーリエ変換することによって式（２８）のＲ（α，β）が求められる。
【００４６】
他方、フレームメモリから参照フレーム内のサーチウインドウが切り出され、その内、実数部として偶数フィールドのサーチウインドウブロック５４が、虚数部として奇数フィールドのサーチウインドウブロック５５がメモリバッファ内に割り当てられ、加算器５６により両者が結合され、これをフーリエ変換することによって式（２９）のＳ（α，β）が求められる。
【００４７】
そして、２つの複素数ブロックについての乗算が各乗算器５７を介して行われ、式（３４）及び（３６）に示すＵｏ（α，β）とＵ１ （α，β）が求められる。
【００４８】
Ｕｏ（α，β）−Ｕ１ （α，β）、及びＵｏ（α，β）＋ＵＩ （α，β）を得るために、２つの複素数ブロックについての加算が加算器５８（減算の意味も含む）を介して行われる。そして、加算器５８の各出力についてＩＦＦＴが行われ、これらの２つの複素数ブロックの実数部と虚数部は、第１のステップで予め求められたバッファ４５、４６内の定数と減算器５９を介して減算され、式（４４）、（４５）に示す４つの態様（すなわち、偶数対偶数フィールドＳＥ、偶数対奇数フィールドＳＥ、奇数対偶数フィールドＳＥ及び奇数対奇数フィールドＳＥ）の自乗誤差６０が求められる。なお、これらの自乗誤差（ＳＥ）は、真のＳＥ値より小さいことに注意しなければならない。というのは、第１の実施例で説明した式（３）に相当する定数が、ここでは省略されているからである。また、ＩＦＦＴの演算と複素数ブロックの加算は逆転して行えることは明かであろう。その場合、Ｕｏ（α，β）及びＵ１ （α，β）について最初のＩＦＦＴが実行され、それから、複素数ブロックの加算が適用される。
【００４９】
第３のステップでは、最小値のサーチが、（Ｃ／２）＊Ｄ誤差ブロックの領域（Ｃ／２−Ｂ／２＋１）＊（Ｄ−Ｂ＋１）について行われる。各ＳＥについての最小値の位置は、上述した式（１０）を介して、それぞれの態様におけるフィールドベクトルを与える。また、加算器６１を介して偶数対偶数フィールドのＳＥと奇数対奇数フィールドのＳＥを結合したものの最小値、あるいは、偶数対奇数フィールドのＳＥと奇数対偶数フィールドのＳＥを結合したものの最小値が求められ、これらの最小値の位置がフレームベクトルを与える。
【００５０】
このようにしてターゲットブロックについての動きベクトルを求め、この動きベクトルに応じた位置と、参照フレームとの差分を符号化するので、物体の動きの大きい、つまり物体の動きの速い画像フレームの圧縮には、一層の高能率符号化処理を高速に行うことができる。
【００５１】
次に、上述した図３に示すブロック図の構成において、動き予測処理のアルゴリズムに必要とされるオペレーション数を求める。ここで、１つのマクロブロックを処理するためのオペレーション数を見積もる。１フレームを処理するためのオペレーションの総数は、１フレームに含まれるマクロブロックの数を積算することにより簡単に求められる。
【００５２】
この解析において、参照ブロックとターゲットブロックの双方が正方形であり、かつ、Ｎ（＝Ｃ＝Ｄ）は参照ブロックのサイズを、Ｂはターゲットブロックのサイズを示すものと仮定する。さらに、Ｎは、Ｍ＝Ｌｏｇ２ Ｎのような２のべき乗として表すことができるものとする。サーチ範囲Ｒは、Ｒ＝Ｎ−Ｂ＋１によって与えられる。なお、ターゲットブロックは、ゼロのパッディング（“０”の埋め込み）によりサイズＮまで拡大されなければならない。以下の記号は、以下の解析で仮定されるものである。
ＦＦＴ＿Ｍ（Ｎ）：（Ｎ／２）＊Ｎポイント２Ｄ（２次元）−ＦＦＴについての実数の乗算数
ＦＦＴ＿Ａ（Ｎ）：（Ｎ／２）＊Ｎポイント２Ｄ（２次元）−ＦＦＴについての実数の加算数
２Ｄ−ＦＦＴは、行と列の１Ｄ（１次元）−ＦＦＴに分解することができる。
ＦＦＴ＿Ｍ（Ｎ）及びＦＦＴ＿Ａ（Ｎ）の結果から、次式が与えられる。
【数２４】
【００５３】
ＦＦＴおよびＩＦＦＴは、１マクロブロックにつき２回実行される。
図３のステップ１は、参照フレームについて一度だけの実施であり、このステップでの計算数は無視できるものである。ＦＦＴ及びＩＦＦＴよりも、複素数のブロックの乗算及び加算が、図３のステップ２において必要とされる。これらのオペレーションにおける乗算及び加算は、
ブロックについての乗算（マクロブロックにつき２回実施）
乗算：２Ｎ２
加算：Ｎ２
ブロックについての加算（マクロブロックにつき４回実施）
加算：Ｎ２
ＭＳＥ及びＭＡＥの直接の計算に必要とされるオペレーション数は、
ＭＳＥ
乗算：Ｒ２ Ｂ２
加算：２Ｒ２ Ｂ２
ＭＡＥ
加算：２Ｒ２ Ｂ２
【００５４】
Ｂ＝１６、Ｎ＝３２、６４及び１２８についてのオペレーション数の評価を表１ないし表３に示す。これらの表に示すようには、ＦＦＴの使用によってオペレーションの数を３０ないし８０％だけ低減することを可能にしている。さらなる低減は、より一層の効果的なＦＦＴアルゴリズムを選択することによって可能であろう。浮動小数点ＦＦＴを用いたシミュレーションプログラムを作成し、Ｎ＝１２８（サーチ範囲：＋／−５６）の場合について、ＭＰＥＧ２のテストモデル資料に基づくＭＡＥプログラムと比較したところ、サンマイクロシステム製のスパークステーション２における実行時間を１／３程度に減少することができる。
【００５５】
【表１】
【００５６】
【表２】
【００５７】
【表３】
【００５８】
次に、本実施例のアルゴリズムより２つのシーケンス（“ｍｏｂｉｌｅ＆ｃａｌｅｎｄａｒ”と“ｆｏｏｔｂａｌｌ”）についての動きベクトルを算出した実験結果について説明する。この実験では、浮動小数点ＦＦＴを用い、予測モードは、フレーム／フィールド適用型であった。参照ブロックサイズＮは、“ｍｏｂｉｌｅ＆ｃａｌｅｎｄａｒ”について６４、“ｆｏｏｔｂａｌｌ”について１２８となるように選択した。これらのシーケンスのサーチ範囲は、それぞれ＋／−２４、＋／−５６である。動きベクトルの基礎とされたＦＦＴ及びＭＡＥの双方のＳＮＲ（信号対ノイズ比）を表４に示す。ＦＦＴを基礎とするアルゴリズムの方が、ＳＮＲは多少良い結果をもたらしている。表４は、ＦＦＴを基礎とする動き予測アルゴリズムが、ＭＡＥを基礎とするアルゴリズムと同様に優れたベクトルを与えることができることを示している。
【００５９】
【表４】
【００６０】
以上詳細に説明したように本実施例によれば、ＦＦＴを用いた動き予測アルゴリズムは、良い結果を与えることが可能である。この方法は、フレームベクトルとフィールドベクトルを同時に発生することが可能であり、しかも、少ない計算時間でより広いサーチ範囲を与えることができる。浮動小数点ＦＦＴを用いたアルゴリズムにより発生されたベクトルの性能は、通常のＭＡＥを用いたアルゴリズムによって得られるものと同等のものである。オペレーションの数は、サーチ範囲のサイズに依存するが、約３０％ないし８０％低減することができる。サンマイクロシステムのスパークステーション２における実行時間は、ＭＡＥを用いたプログラムの約１／３である。本実施例の方法は、動き予測において大きなサーチ範囲を必要とするデジタルＨＤＴＶ等への応用に適している。
【００６１】
【発明の効果】
以上詳細に説明したように本発明によれば、第１の２次元画像データと、第２の２次元画像データの自乗誤差の計算ステップに、高速フーリエ変換処理を利用するため、両者間の相関を精度を劣化させることなく、少ない計算量で高速に求めることができる。また、本発明によれば、フレームとフィールドの両動きベクトルを同時に発生することが可能であり、しかも、少ない計算時間で広いサーチ範囲を与えることができる。
【００６２】
このように、本発明に係るデータ処理方法を用いれば、ＭＰＥＧ２などにおける動き予測を高速に実行することができる。また、大きなサーチ範囲を必要とするＨＤＴＶのような高解像度ＴＶに適用することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例に係るＭＳＥ基準による動きベクトル算出方法を示すブロック図。
【図２】フレームとフィールド間のベクトルの関係を示す図。
【図３】本発明の第２の実施例に係る動き予測を実行するためのステップを示すブロック図。
【符号の説明】
Ｒ，Ｒ１ 参照ブロック
ｔ，Ｔ，Ｔ１ ターゲットブロック（アレイ）
１１，１３ 乗算器
【産業上の利用分野】
本発明は、デジタル画像データを高能率符号化してデータ圧縮するためのデータ処理方法に関し、特に、動画像圧縮における動き予測のデータ処理に関する。
【０００２】
【従来の技術】
近年、半導体集積技術の進展に伴い、デジタル画像データ等の高能率符号化（データ圧縮）技術が急速に進められている。こうした技術は、画像信号や音声信号などの種々のデータを統合的に扱うマルチメディアシステムや、デジタルＨＤＴＶ等におけるデータ伝送及び蓄積に不可欠なものである。
連続したフレームにおける画像データ（動画像）は、空間方向と時間方向の３次元データからなるものである。こうした画像データの空間方向の冗長性は、２次元ＤＣＴ（離散コサイン変換）を用いて効果的に削減することが可能であり、他方、時間方向の冗長性は、フレーム／フィールド間の符号化、あるいは、動き補償によるフレーム／フィールド間の予測符号化により削減することが可能である。
【０００３】
動き補償によるフレーム／フィールド間の予測符号化は、単にフレーム／フィールド間の差分を符号化するのではなく、物体の動き予測、すなわち動きベクトルを検出して、その動きベクトル分だけ移動した領域との差分を符号化し、データ圧縮をより効果的にするものである。
【０００４】
動き予測は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）のような国際的な標準に広く用いられている重要な技術の１つである。一般に、画像シーケンスにおける連続的なフレームでは、１フレーム期間内にシーケンス内の物体が、それらの位置を少し変えるにすぎないため、非常に類似していることが多い。このため、動き予測による符号化は、画像シーケンスにおける時間的及び空間的な冗長性を除去できるという利点をもつ。あるフレームから次のフレームへの物体の変位は、動きベクトルとして参照される。一般に、動きベクトルは、特定の物体について定められるのではなく、フレームを分割した矩形状の小さなブロックについて定められる。そして、前に送られたフレーム内の特定のブロックに対して最適な候補を見つける技術が、いわゆる動き予測（ＭＥ）と呼ばれている。
【０００５】
従来から行われている動き予測について簡単に説明する。
前に送られたフレームを参照フレーム、動き予測が行われる現在のフレームをターゲットフレームと呼ぶことにする。同様に、参照フレーム内のブロック及びターゲットフレーム内のブロックを参照ブロック及びターゲットブロックと呼ぶ。もっとも広く行われている動き予測の方法は、ブロックマッチングである。ブロックマッチングは、ターゲットブロックと参照ブロックとの間の画素ごとのミスマッチをある基準を用いて測定し、これを矩形ブロックの全領域にわたって加算したものを誤差と定義し、最小の誤差を与えるブロックを見つける。
【０００６】
ミスマッチについて一般に用いられている基準は、平均絶対誤差（ＭＡＥ）と平均自乗誤差（ＭＳＥ）である。
前者は、一般に、以下のように表される。
【数１】
【数２】
ＭＡＥは、ＭＳＥと比べて計算は容易であるが、精度はＭＳＥの方が優れている。
【０００７】
また、ブロックマッチングにおいて、参照フレーム内のサーチされるべき画面の領域（以下、サーチ範囲）は、可能性のある動きを連続的に検出できるようにするために、十分に大きくなければならない。しかし、計算量は、おおよそサーチ範囲の面積に比例するため、大きなサーチ範囲を必要とする動きの速いシーケンスについて、サーチ範囲の大きさは顕著な問題となる。さらに、ＨＤＴＶのような高解像度のＴＶは、たとえ動きの遅いシーケンスであっても、一般のＴＶよりも大きなサーチ範囲を必要とする。
【０００８】
【発明が解決しようとする課題】
比較的大きなサーチ範囲を得るために、高速フーリエ変換（ＦＦＴ）を用いて計算した相関を利用して動き予測を行う方法が提案されている。
ＦＦＴは、一般に、以下のように表される。
【数３】
ＦＦＴは、コンボリューションや相関の計算にしばしば用いられるものであり、オペレーション（加算や乗算）の回数を減少させることができるという利点を持つ。つまり、Ｎ点ＦＦＴの計算量は、離散的フーリエ変換（ＤＦＴ）の直接評価に必要なＮ２ ではなく、ＮｌｏｇＮに比例するということが知られている。
【００１０】
しかしながら、本発明者は、ＦＦＴを用いた相関を利用する動き予測の技術を解析し、この方法がＭＡＥやＭＳＥのような好適な基準ではないという結論を得た。つまり、この方法は、ＭＳＥの３つの項
【数４】
【数５】
【数６】
【００１１】
そこで、本発明は、ＭＳＥ基準による動き予測技術の基礎となるＦＦＴについて開示し、２次元画像データの相関を、精度を損なうことなく計算が容易なデータ処理方法を提供することを目的とする。
【００１２】
本発明の他の目的は、２次元画像データの相関の計算を容易にし、動画像の動き予測を高速に求めることができるデータ処理方法を提供することである。
本発明の他の目的は、ＭＰＥＧ２の符号化に適用可能な動き予測を高速に行うことができるデータ処理方法を提供することである。
【００１３】
【課題を解決するための手段】
本発明は、上記課題を解決するために、以下の手段を有するものである。
第１の２次元画像データと、第２の２次元画像データとの間の相関を求めるデータ処理方法であって、第１の２次元画像データと第２の２次元画像データの自乗誤差の計算ステップに、高速フーリエ変換処理を利用するものである。
【００１４】
例えば、第１の２次元画像データは、動き予測を行うべきターゲットブロックであり、第２の２次元画像データは、参照フレーム内のサーチウインドウ、つまり参照ブロックである。
【００１５】
好ましくは、データ処理方法は、求められた自乗誤差に基づき、第２の２次元画像データの範囲内において第１の２次元画像データと最もマッチングする２次元画像データの位置を検出するステップを含む。
【００１６】
好ましくは、データ処理方法は、さらに、検出された２次元画像データの位置に基づき、第２の２次元画像データに対する第１の２次元画像データの動きベクトルを求めるステップを含む。
【００１７】
また、他の発明に係るデータ処理方法は、以下の手段を有する。
第１の２次元画像データを有する第１のフレームが第１と第２のフィールドから構成され、第２の２次元画像データを有する第２のフレームが第３と第４のフィールドから構成され、第１及び第２のフィールドに含まれる第１の２次元画像データと、第３及び第４のフィールドに含まれる第２の２次元画像データとの間の相関を求めるデータ処理方法であって、第１及び第２のフィールドに含まれる各画像データをそれぞれ実数部及び虚数部として第１の高速フーリエ変換をし、第３及び第４のフィールドに含まれる画像データをそれぞれ実数部及び虚数部として第２の高速フーリエ変換をし、第１及び第２の高速フーリエ変換されたデータに基づき第１、第２、第３及び第４のフィールド相互間の自乗誤差を求め、前記自乗誤差に基づき第１、第２、第３及び第４のフィールド相互間の動きベクトルを求めるものである。
【００１８】
好ましくは、データ処理方法は、フィールド相互間の自乗誤差に基づきフレーム間の動きベクトルを求めるステップを含む。
【００１９】
【作用】
本発明によれば、第１の２次元画像データと、第２の２次元画像データの自乗誤差の計算ステップに、高速フーリエ変換処理を利用するため、両者間の相関を精度を劣化させることなく、少ない計算量で高速に求めることができる。また、本発明によれば、フレームとフィールドの両動きベクトルを同時に発生することが可能であり、しかも、少ない計算時間で広いサーチ範囲を与えることができる。このように、本発明に係るデータ処理方法を用いれば、ＭＰＥＧ２などにおける動き予測を高速に実行することができる。
【００２０】
【実施例】
以下、本発明の実施例について説明する。
先ず、本実施例に係る動き予測では、ブロックマッチングの評価をＭＳＥ基準により行い、これによって、動きベクトルを求めるものとする。
【００２１】
図１は、本実施例に係るＭＳＥ基準による動きベクトル算出処理方法を示すブロック図である。同図において、Ｒは前に送られた参照フレーム内のＣ＊Ｄ（Ｃ，Ｄ＞Ｂ）の参照ブロック、すなわち、サーチウインドウに相当するものであり、ｔは動き予測を施すべき現在のターゲットフレーム内のＢ＊Ｂからなるターゲットブロックであり、ターゲットブロックｔが参照ブロックＲから予測されるものと仮定する。それぞれの領域の画素の値は、ｘ（ｍ，ｎ）（０≦ｍ，ｎ≦Ｂ−１）とｙ（ｍ，ｎ）（０≦ｍ≦Ｃ−１，０≦ｎ≦Ｄ−１）として表わされる。そして、ｍ＋ｋとｎ＋１の点での自乗誤差（ＳＥ）は、以下のように表わされる。
【００２２】
【数７】
【数８】
【数９】
ここで、参照ブロックＲ，Ｒ１に対応するターゲットブロックの大きさを合わせるため、２つのＣ＊ＤのアレイＴ（ｚ）、Ｔ１（ｈ）を定義し、それらの要素を以下のようにする。
【数１０】
【数１１】
なお、定数Ａは、式を簡略化するために省略してある。上記式の２つの項は、２つのアレイの相関として表すことができ、ｅ（ｋ，ｌ）のＤＦＴは、次のように表すことができる。
【数１２】
ここで、Ｅ（α，β）、Ｈ（α，β）、ＹＹ（α，β）、Ｚ（α，β）及びＹ（α，β）は、それぞれｅ（ｋ，ｌ）、ｈ（ｋ，ｌ）、ｙ（ｋ，ｌ）２ 、ｚ（ｋ，ｌ）及びｙ（ｋ，ｌ）のフーリエ変換であり、“＊”は複素共役を示す。従って、誤差ｅ（ｋ，ｌ）は、上記式のＩＦＦＴ（逆フーリエ変換）から得ることができる。
【００２６】
図１を参照して説明すると、参照ブロックＲ及びターゲットブロックのアレイＴについて高速フーリエ変換を施してＹ（α，β）とＺ（α，β）を求め、乗算器１１により両者の積を求め、これの逆フーリエ変換（ＩＦＦＴ）を行い、第１の計算結果１２を求める。同様に、参照ブロックＲ１及びターゲットブロックのアレイＴ１について高速フーリエ変換を施してＹＹ（α，β）とＨ（α，β）を求め、乗算器１３により両者の積を求め、これらの逆フーリエ変換を行い、第２の計算結果１４を求める。そして、第１の計算結果を２倍したものと第２の計算結果との差分を減算器１５により求め、自乗誤差ｅ（ｋ，ｌ）を算出する。
【００２７】
もっとも一致するブロック（Ｋ，Ｌ）の位置は、ｅ（ｋ，ｌ）の最小値をサーチすることにより見つけることができる。すなわち
【数１３】
【数１４】
以上にように、ＭＳＥの処理ステップにおいて、相関計算にＦＦＴを利用するようにしたので、ＭＳＥによる動き予測を、精度を損なうことなく少ない計算量で処理することができ、その結果、画像データの高能率符号化を短時間にて行うことができる。
【００２９】
次に、本発明の第２の実施例について説明する。
先の実施例で説明したように、画像シーケンスの動きベクトルは、ＭＳＥ基準においてＦＦＴを使用して算出することができる。本実施例では、ＭＰＥＧ２標準に適用した例について説明する。
【００３０】
ＭＰＥＧ２標準は、インターレースフィールド構造をサポートするため、フレームとフィールドの双方の動きベクトルを採用する。つまり、１６＊１６画素の１ブロックにつき５つの動きベクトル（１つはフレームベクトルであり、４つはフィールドベクトル）をサーチしなければならない。
【００３１】
図２は、これらの５つの動きベクトルの態様を示すものである。２１はターゲットフレームであり、２２、２３はターゲットフレームを構成する偶数フィールド及び奇数フィールドである。２４は参照フレームであり、２５、２６は参照フレームを構成する偶数フィールド及び奇数フィールドである。５つの態様は、フレームベクトル３１、偶数対偶数フィールドベクトル３２、奇数対偶数フィールドベクトル３３、偶数対奇数フィールドベクトル３４、及び奇数対奇数フィールドベクトル３５である（「偶数」及び「奇数」の語は、偶数フィールド及び奇数フィールドの意である）。
【００３２】
これらの動きベクトルを求めるために、第１の実施例と同様にブロックマッチングを行う。上述したＭＳＥ基準による誤差の評価式（２）に相当するものは、以下の式（１１）ないし式（１５）に表される。なお、垂直方向のブロックサイズは、フィールドブロック操作のために２分割される。また、下付きのｆｒａｍｅ，ｅｖｅｎ及びｏｄｄによってフレーム、偶数フィールド、及び奇数フィールドの画素値を区別する。
【数１５】
フーリエ変換を行うために、ブロックサイズの大きさを以下のように合わせる。
【数１６】
そして、これらをフーリエ変換すると以下のようになる。
【数１７】
ここで、新しい複素変数を定義し、それらの実数部と虚数部が、偶数及び奇数フィールドの画素値とそれぞれ等しいものとし、これを以下のように表す。
【数１８】
【数１９】
さらに、これらのフーリエ変換を用いて、Ｔｏ（α，β）、Ｔ１ （α、β）、Ｕｏ（α，β）、Ｕ１ （α，β）を次のように定義する。
【数２０】
ここで、実数シーケンスのフーリエ変換の対称性（３８）、（３９）式を適用する。
【数２１】
そうして、式（１８）、（１９）、（２０）、（２１）、（３１）、（３３）、（３５）及び（３７）を用い、以下の関係式が容易に導かれる。
【数２２】
Ｗ（α，β）及びＶ（α，β）の逆フーリエ変換は、以下のようになる。
【数２３】
すなわち、奇数対奇数フィールド、偶数対奇数フィールド、偶数対偶数フィールド、及び奇数対偶数フィールドについての自乗誤差（ＳＥ）が、ｗ（ｋ，ｌ）及びｖ（ｋ，ｌ）の実数部または虚数部から得ることができる。
１つのフレームは、２つのフィールドから構成されるので、フレームベクトルは、対応する２つのフィールドのＳＥ値から得ることができる。参照フレームブロックの最初のラインが偶数フィールドに属するものと仮定すると、偶数対偶数フィールドのＳＥと奇数対奇数フィールドのＳＥの合計がフレームＳＥとなる。他方、もし最初のラインが奇数フィールドに属すれば、偶数対奇数フィールドのＳＥと奇数対偶数フィールドのＳＥの合計がフレームＳＥとなる。フレームベクトルは、フィールドのＳＥの各組合わせの中から誤差が最小となる位置をサーチすることにより求めることができる。このようにして、フレームのＳＥは、ｗ（ｋ，ｌ）とｖ（ｋ，ｌ）によって得ることができる。
【００４１】
実際の計算では、“（Ｔｏ（α，β）−Ｔ１（α，β））／２”と“（Ｔｏ（α，β）＋Ｔ１（α，β））／２”とを評価する必要はない。なぜなら、Ｈｈ （α，β）Ｑ（α，β）のＩＦＦＴは、式（１２）、（１３）、（１４）及び（１５）の最初の和を提供することができるからである。
【００４２】
図３は、本実施例に係る動き予測を実行するためのステップを示すブロック図である。同図に示すように、第１のステップにおいて、参照フレームをバッファにコピーし、各画素値を自乗する。２乗した参照フレームを、（Ｃ／２）＊Ｄのブロックに分割し、偶数フィールド４１及び奇数フィールド４２を生成する。偶数フィールド４１を実数部に、奇数フィールド４２を虚数部に割り当て、これらを加算器４３により結合し、複素数を形成する。そして、これらを高速フーリエ変換し、Ｑ（α，β）を生成する。
【００４３】
また、バッファ内にストアされたマスクアレイｈｈ （ｍ，ｎ）のＦＦＴであるＨｈ （α，β）を前もって求めておき、乗算器４４によりＱ（α，β）と乗算し、次いで、逆フーリエ変換（ＩＦＦＴ）される。ＩＦＦＴされた値のうち、偶数フィールドに対応する実数部がバッファ４５内にストアされ、他方、奇数フィールドに対応する虚数部がバッファ４６にストアされる。これらの実数部及び虚数部の項は、ターゲットフレームの変数を含まず、すなわち、定数であり、これらの項は、同一の参照フレームについて共通であるため、この評価のための計算は一度だけ必要とされる。
【００４４】
第２のステップでは、式（２４）、（２５）、（３４）、（３６）、（４０）及び（４２）に示される項Ｒ（α，β）、Ｓ（α，β）、Ｕｏ（α，β）、Ｕ１ （α，β）、Ｕｏ（α，β）−Ｕ１ （α，β）、及びＵｏ（α，β）＋Ｕ１ （α，β）が、各ターゲットブロックについて評価され、最後の２つの項の逆フーリエ変換されたものが、第１のステップでバッファにストアされた値から減算される。
【００４５】
先ず、２度のＦＦＴが、ｒ（ｍ，ｎ）とｓ（ｍ，ｎ）の項につい行われなければならない。ターゲットフレームのブロックは、適切なサイズに変形された後、実数部として偶数フィールドブロック５１が、虚数部として奇数フィールドブロック５２がメモリバッファ内に割り当てられ、加算器５３により両者が結合され、これをフーリエ変換することによって式（２８）のＲ（α，β）が求められる。
【００４６】
他方、フレームメモリから参照フレーム内のサーチウインドウが切り出され、その内、実数部として偶数フィールドのサーチウインドウブロック５４が、虚数部として奇数フィールドのサーチウインドウブロック５５がメモリバッファ内に割り当てられ、加算器５６により両者が結合され、これをフーリエ変換することによって式（２９）のＳ（α，β）が求められる。
【００４７】
そして、２つの複素数ブロックについての乗算が各乗算器５７を介して行われ、式（３４）及び（３６）に示すＵｏ（α，β）とＵ１ （α，β）が求められる。
【００４８】
Ｕｏ（α，β）−Ｕ１ （α，β）、及びＵｏ（α，β）＋ＵＩ （α，β）を得るために、２つの複素数ブロックについての加算が加算器５８（減算の意味も含む）を介して行われる。そして、加算器５８の各出力についてＩＦＦＴが行われ、これらの２つの複素数ブロックの実数部と虚数部は、第１のステップで予め求められたバッファ４５、４６内の定数と減算器５９を介して減算され、式（４４）、（４５）に示す４つの態様（すなわち、偶数対偶数フィールドＳＥ、偶数対奇数フィールドＳＥ、奇数対偶数フィールドＳＥ及び奇数対奇数フィールドＳＥ）の自乗誤差６０が求められる。なお、これらの自乗誤差（ＳＥ）は、真のＳＥ値より小さいことに注意しなければならない。というのは、第１の実施例で説明した式（３）に相当する定数が、ここでは省略されているからである。また、ＩＦＦＴの演算と複素数ブロックの加算は逆転して行えることは明かであろう。その場合、Ｕｏ（α，β）及びＵ１ （α，β）について最初のＩＦＦＴが実行され、それから、複素数ブロックの加算が適用される。
【００４９】
第３のステップでは、最小値のサーチが、（Ｃ／２）＊Ｄ誤差ブロックの領域（Ｃ／２−Ｂ／２＋１）＊（Ｄ−Ｂ＋１）について行われる。各ＳＥについての最小値の位置は、上述した式（１０）を介して、それぞれの態様におけるフィールドベクトルを与える。また、加算器６１を介して偶数対偶数フィールドのＳＥと奇数対奇数フィールドのＳＥを結合したものの最小値、あるいは、偶数対奇数フィールドのＳＥと奇数対偶数フィールドのＳＥを結合したものの最小値が求められ、これらの最小値の位置がフレームベクトルを与える。
【００５０】
このようにしてターゲットブロックについての動きベクトルを求め、この動きベクトルに応じた位置と、参照フレームとの差分を符号化するので、物体の動きの大きい、つまり物体の動きの速い画像フレームの圧縮には、一層の高能率符号化処理を高速に行うことができる。
【００５１】
次に、上述した図３に示すブロック図の構成において、動き予測処理のアルゴリズムに必要とされるオペレーション数を求める。ここで、１つのマクロブロックを処理するためのオペレーション数を見積もる。１フレームを処理するためのオペレーションの総数は、１フレームに含まれるマクロブロックの数を積算することにより簡単に求められる。
【００５２】
この解析において、参照ブロックとターゲットブロックの双方が正方形であり、かつ、Ｎ（＝Ｃ＝Ｄ）は参照ブロックのサイズを、Ｂはターゲットブロックのサイズを示すものと仮定する。さらに、Ｎは、Ｍ＝Ｌｏｇ２ Ｎのような２のべき乗として表すことができるものとする。サーチ範囲Ｒは、Ｒ＝Ｎ−Ｂ＋１によって与えられる。なお、ターゲットブロックは、ゼロのパッディング（“０”の埋め込み）によりサイズＮまで拡大されなければならない。以下の記号は、以下の解析で仮定されるものである。
ＦＦＴ＿Ｍ（Ｎ）：（Ｎ／２）＊Ｎポイント２Ｄ（２次元）−ＦＦＴについての実数の乗算数
ＦＦＴ＿Ａ（Ｎ）：（Ｎ／２）＊Ｎポイント２Ｄ（２次元）−ＦＦＴについての実数の加算数
２Ｄ−ＦＦＴは、行と列の１Ｄ（１次元）−ＦＦＴに分解することができる。
ＦＦＴ＿Ｍ（Ｎ）及びＦＦＴ＿Ａ（Ｎ）の結果から、次式が与えられる。
【数２４】
ＦＦＴおよびＩＦＦＴは、１マクロブロックにつき２回実行される。
図３のステップ１は、参照フレームについて一度だけの実施であり、このステップでの計算数は無視できるものである。ＦＦＴ及びＩＦＦＴよりも、複素数のブロックの乗算及び加算が、図３のステップ２において必要とされる。これらのオペレーションにおける乗算及び加算は、
ブロックについての乗算（マクロブロックにつき２回実施）
乗算：２Ｎ２
加算：Ｎ２
ブロックについての加算（マクロブロックにつき４回実施）
加算：Ｎ２
ＭＳＥ及びＭＡＥの直接の計算に必要とされるオペレーション数は、
ＭＳＥ
乗算：Ｒ２ Ｂ２
加算：２Ｒ２ Ｂ２
ＭＡＥ
加算：２Ｒ２ Ｂ２
【００５４】
Ｂ＝１６、Ｎ＝３２、６４及び１２８についてのオペレーション数の評価を表１ないし表３に示す。これらの表に示すようには、ＦＦＴの使用によってオペレーションの数を３０ないし８０％だけ低減することを可能にしている。さらなる低減は、より一層の効果的なＦＦＴアルゴリズムを選択することによって可能であろう。浮動小数点ＦＦＴを用いたシミュレーションプログラムを作成し、Ｎ＝１２８（サーチ範囲：＋／−５６）の場合について、ＭＰＥＧ２のテストモデル資料に基づくＭＡＥプログラムと比較したところ、サンマイクロシステム製のスパークステーション２における実行時間を１／３程度に減少することができる。
【００５５】
【表１】
【表２】
【表３】
次に、本実施例のアルゴリズムより２つのシーケンス（“ｍｏｂｉｌｅ＆ｃａｌｅｎｄａｒ”と“ｆｏｏｔｂａｌｌ”）についての動きベクトルを算出した実験結果について説明する。この実験では、浮動小数点ＦＦＴを用い、予測モードは、フレーム／フィールド適用型であった。参照ブロックサイズＮは、“ｍｏｂｉｌｅ＆ｃａｌｅｎｄａｒ”について６４、“ｆｏｏｔｂａｌｌ”について１２８となるように選択した。これらのシーケンスのサーチ範囲は、それぞれ＋／−２４、＋／−５６である。動きベクトルの基礎とされたＦＦＴ及びＭＡＥの双方のＳＮＲ（信号対ノイズ比）を表４に示す。ＦＦＴを基礎とするアルゴリズムの方が、ＳＮＲは多少良い結果をもたらしている。表４は、ＦＦＴを基礎とする動き予測アルゴリズムが、ＭＡＥを基礎とするアルゴリズムと同様に優れたベクトルを与えることができることを示している。
【００５９】
【表４】
以上詳細に説明したように本実施例によれば、ＦＦＴを用いた動き予測アルゴリズムは、良い結果を与えることが可能である。この方法は、フレームベクトルとフィールドベクトルを同時に発生することが可能であり、しかも、少ない計算時間でより広いサーチ範囲を与えることができる。浮動小数点ＦＦＴを用いたアルゴリズムにより発生されたベクトルの性能は、通常のＭＡＥを用いたアルゴリズムによって得られるものと同等のものである。オペレーションの数は、サーチ範囲のサイズに依存するが、約３０％ないし８０％低減することができる。サンマイクロシステムのスパークステーション２における実行時間は、ＭＡＥを用いたプログラムの約１／３である。本実施例の方法は、動き予測において大きなサーチ範囲を必要とするデジタルＨＤＴＶ等への応用に適している。
【００６１】
【発明の効果】
以上詳細に説明したように本発明によれば、第１の２次元画像データと、第２の２次元画像データの自乗誤差の計算ステップに、高速フーリエ変換処理を利用するため、両者間の相関を精度を劣化させることなく、少ない計算量で高速に求めることができる。また、本発明によれば、フレームとフィールドの両動きベクトルを同時に発生することが可能であり、しかも、少ない計算時間で広いサーチ範囲を与えることができる。
【００６２】
このように、本発明に係るデータ処理方法を用いれば、ＭＰＥＧ２などにおける動き予測を高速に実行することができる。また、大きなサーチ範囲を必要とするＨＤＴＶのような高解像度ＴＶに適用することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例に係るＭＳＥ基準による動きベクトル算出方法を示すブロック図。
【図２】フレームとフィールド間のベクトルの関係を示す図。
【図３】本発明の第２の実施例に係る動き予測を実行するためのステップを示すブロック図。
【符号の説明】
Ｒ，Ｒ１ 参照ブロック
ｔ，Ｔ，Ｔ１ ターゲットブロック（アレイ）
１１，１３ 乗算器
Claims (1)
- 第１の２次元画像データと、第２の２次元画像データとの間の相関を求めるデータ処理方法であって、第１の２次元画像データのターゲットブロックを含み前記ターゲットブロック以外の部分が値０で構成されるターゲットブロックのアレイ、及び第２の２次元画像データのサーチウインドウであって前記ターゲットブロックの大きさよりも大きい前記サーチウインドウについてそれぞれ高速フーリエ変換を施し、両者の積を求め、その積を逆フーリエ変換を行って第１の計算結果を求めると共に、前記サーチウインドウの各画素値を自乗した画素値を有する第２のサーチウインドウ、及び前記第２のサーチウインドウと同じ大きさで前記ターゲットブロックと同じ大きさの部分が値１で残りの部分が値０で構成される第２のターゲットブロックのアレイについてそれぞれ高速フーリエ変換を施し、両者の積を求め、その積を逆フーリエ変換を行って第２の計算結果を求め、前記第１の計算結果を２倍したものと前記第２の計算結果との差分を求めて、自乗誤差を算出するステップを含むデータ処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11539794A JP3589483B2 (ja) | 1994-05-27 | 1994-05-27 | データ処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11539794A JP3589483B2 (ja) | 1994-05-27 | 1994-05-27 | データ処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07327226A JPH07327226A (ja) | 1995-12-12 |
| JP3589483B2 true JP3589483B2 (ja) | 2004-11-17 |
Family
ID=14661557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11539794A Expired - Fee Related JP3589483B2 (ja) | 1994-05-27 | 1994-05-27 | データ処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3589483B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2853616B2 (ja) * | 1995-07-07 | 1999-02-03 | 日本電気株式会社 | 動き検出方式 |
-
1994
- 1994-05-27 JP JP11539794A patent/JP3589483B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07327226A (ja) | 1995-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6996176B1 (en) | Motion estimation process and system using sparse search block-matching and integral protection | |
| CN1106768C (zh) | 用于检测运动矢量的方法和装置 | |
| JP3655651B2 (ja) | データ処理装置 | |
| US6671319B1 (en) | Methods and apparatus for motion estimation using neighboring macroblocks | |
| JP4528441B2 (ja) | ブロック整合法及び統合投射法を用いた階層的動き評価処理及び装置 | |
| JP5044568B2 (ja) | 予測誘導間引き探索を使用する動き推定 | |
| KR0171146B1 (ko) | 특징점을 이용한 움직임 벡터 검출 장치 | |
| US6483876B1 (en) | Methods and apparatus for reduction of prediction modes in motion estimation | |
| JPH11355778A (ja) | 動きフィ―ルド推定方法 | |
| US8098963B2 (en) | Resolution conversion apparatus, method and program | |
| Yaakob et al. | A comparison of different block matching algorithms for motion estimation | |
| US6690728B1 (en) | Methods and apparatus for motion estimation in compressed domain | |
| US20050123039A1 (en) | Motion estimation method for motion picture encoding and recording medium having program recorded thereon to implement the motion estimation method | |
| EP1472881B1 (en) | Unit for and method of estimating a current motion vector | |
| EP3596698B1 (en) | Motion estimation method and apparatus for plurality of frames | |
| GB2236449A (en) | Motion estimation for television signals | |
| US20130051473A1 (en) | Estimating Method of Predicted Motion Vector | |
| JP3589483B2 (ja) | データ処理方法 | |
| KR20050119285A (ko) | 하이브리드 블록기반 움직임 추정장치 및 그 방법 | |
| RU2407058C2 (ru) | Вычисление параметров преобразования для обработки изображений | |
| Kovačević et al. | Block-matching correlation motion estimation for frame-rate up-conversion | |
| EP1420595B1 (en) | Motion vector selection in a video motion estimator based on a preferred reference point | |
| JPH0984016A (ja) | 動き検出方式 | |
| KR20010034374A (ko) | 움직임 벡터 검출 장치 및 방법 | |
| Khakoo | Signature-based search algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040810 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040817 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070827 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110827 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120827 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |