JP5603341B2 - 位相面相関のための適応周波数領域フィルタリング - Google Patents

Description

本発明は概して２つの画像を相関付けることに関する。より特定的には、本発明は位相面相関（ＰＰＣ）の使用に関する。

画像処理アプリケーションにおいては、デジタルデータから明瞭で高解像度の画像及びビデオを得ることが望ましい。モーションベクトルデータは、画像の臨界的な部分の動き、例えば、画像の１つのフレームから次までのような期間にわたって変化しつつあるものと決定される画像の部分部分の動きの速度及び方向に関連する情報を提供する。モーションベクトルデータを利用するアプリケーションは、限定はされないが、フォーマット変換、デインターレーシング、圧縮、画像レジストレーション、及びある種の時間的な補間が必要な他のものを含む。フォーマット変換の例は、１）フレームレート変換、例えばＮＴＳＣビデオレートのＨＤＴＶビデオレートへの変換、２）インターレーシングされたビデオのプログレッシブビデオへの変換、及び３）標準的なＤＶＤフォーマットビデオにおける３対２プルダウンアーティファクト除去を含む。ビデオデータ圧縮プロセスもまた、正確なモーションベクトルデータの利益を享受する。

圧縮は、多くの場合、制限された帯域を介したデータの有用な伝送を可能にするために用いられる。一般的なビデオ圧縮アルゴリズムは、例えばＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６Ｌ等のようなビデオ圧縮規格を利用する。正確なモーションベクトルデータ解析の利益を享受する他のアプリケーションは、ディスプレイ特殊効果の生成、例えばパン、チルト又はズームのためのディスプレイ効果を生じさせるのに有用なカメラパラメータのグローバル推定である。

テレビジョン信号のデジタル処理（例えば、符号化、伝送、記憶、及び復号化）は、実際問題として、モーションベクトルデータの使用を必要とする。テレビジョン信号は、典型的には、時間的領域(temporal domain)でのサンプリングに先立ちナイキスト基準(Nyquist criterion)によって要求される方法ではフィルタリングされないので、モーションベクトルデータが必要とされる。従って、動画は、時間的にエイリアスされた(aliased)情報を含む。その結果、従来の線形補間技術は、時間的領域においては成功しない。

ＩＴＵ−Ｔ（国際電気通信連合電気通信標準化部門）は、画像信号を符号化し、記憶し、そして伝送するための方法として、Ｈ．２６１及びＨ．２６２規格を推奨している。ＩＳＯ（国際標準化機構）は、ＭＰＥＧ−１（１１１７２−２）及びＭＰＥＧ−２（１３８１８−２）を推奨している。これらの規格に基く方法は、ビデオ信号を符号化するに際してのモーション補償のためにフレーム間予測を採用している。

フレーム間予測は、広く認識されているビデオデータの冗長特性に基いている。ビデオ信号は、フレームからフレームへの高度に冗長な情報を含んでいる（所定のフレームの多くの画像要素は動かず従って次のフレームにおいて繰り返されるであろう）。このことは、例えば特殊効果の結果として生成されるフレームに対して、又はビデオ信号の詳細度を高めるために生成されるフレームに対しても当てはまる。モーション補償されたフレーム間予測は、フレーム間冗長性を利用して、ビデオフレームのシーケンスを記述するために必要とされるデータの量を減少させ、又は例えばインターレーシングされたビデオ信号からプログレッシブスキャンビデオ信号を生成する場合に作成される画像フレームのような画像フレームを作成するために必要とされるデータの量を減少させる技術である。フレームからフレームへのモーションの正確な決定は、そのような操作を実施するために重要である。

モーション検出の１つの典型的な方法は、画像領域において実施される。この方法は、参照（前の）画像フレームからのブロックを現在の（参照の次の）フレームからのブロックに整合させることを試みる。多くの所謂ブロック整合方法は、現在の画像フレームのブロック内の画素の参照画像フレーム内の全てのブロックとの差の絶対値を計算することによって開始する。最も小さい差を有する現在の画像フレーム内のブロックが整合しているものと決定される。現在のフレーム内のブロックと参照フレーム内の対応する整合ブロックとの間の変位は、次いで水平及び垂直の変位成分によって特徴付けられ、そのようにしてモーションベクトルが生成される。この手順は完全調査手順(full-search procedure)として知られている。

モーション検出のための他の方法は、画像面よりもむしろ位相面を利用する。そのような位相面モーション検出の例は、ビスワス(Biswas)等による「位相面相関モーションベクトル決定方法(PHASE PLANE CORRELATION MOTION VECTOR DETERMINATION METHOD)」とタイトルを付された米国特許第７，１９７，０７４号に記載されており、その主題は、ここに全て記載されているものとして参照のために組み込まれる。位相面相関（ＰＰＣ）は、２つの画像を相関付けるための効果的な技術である。周波数領域においては、モーションは、現在の画像フレームの特定のブロックと参照画像フレームの対応するブロックとの間の位相シフト（位相差）によって示される。位相差の逆フーリエ変換によって得られる相関表面は、移動した画素の量及び画素移動の大きさを示す。この技術はモーションベクトルの直接的な決定の利点を有している。しかし、位相面相関モーションベクトル決定技術は、最新のビデオ処理の要求を満たさない。画素に対するモーションベクトルの誤った割り当てを生成する可能性を低減しつつ画像内のモーションを計算する効果的な方法に対する要求が依然としてある。

ところで、標準的な位相面相関（ＰＰＣ）は相関表面をもたらし、相関表面においては、複数のピーク及びそれらの個々の振幅が画像輝度における類似性の直接的な表示となる。標準的なＰＰＣ技術においては正規化ステップがあり、正規化ステップは、輝度における非類似性を弱めて単純な相関よりも識別力のある正規化相関表面(normalized correlation surface)をもたらす。しかし、従来のＰＰＣ手法は、異なる入力画像成分を適切には処理しない。

標準輝度ベースのＰＰＣ相関表面は次のように導き出される。
ＰＰＣ（Ｉ_１，Ｉ_２）＝Ｆ^−１［Ｆ（Ｉ_１）・Ｆ（Ｉ_２）^＊
／｜Ｆ（Ｉ_１）・Ｆ（Ｉ_２）^＊｜］

この式は「輝度ベースのＰＰＣ」と称される。Ｉ、Ｆ、及びＦ^−１はそれぞれ画像輝度、フーリエ変換、及び逆フーリエ変換である。

図１（従来技術）はＰＰＣ画像相関のための既知の配置の一部分を示すブロック図である。時間領域で第１の画像を表し得る輝度信号ＬＵＭＡ１は、第１の高速フーリエ変換ＦＦＴ１によって第１の周波数領域信号Ｆ１へ変換される。第２の画像を表し得る輝度信号ＬＵＭＡ２は、第２の高速フーリエ変換ＦＦＴ２によって第２の周波数領域信号Ｆ２へ変換される。位相面相関は、次の表現に従う位相面相関器１０２内で定義されるウインドウにおいて実行される。
（Ｗ．Ｆ１）．（Ｗ．Ｆ２）^＊／｜（Ｗ．Ｆ１）．（Ｗ．Ｆ２）^＊｜

位相面相関器１０２からの周波数領域信号は、逆高速フーリエ変換ＩＦＦＴによって時間領域に変換しなおされて、位相面相関表面がもたらされる。

ＰＰＣが最適に作用するためには、変位を被る（１つのフレームから次へ移動する）被写体は、明確に画定されている(well defined)必要がある。このことは、そのような被写体の境界が鮮鋭なエッジによって画定される必要があることを意味している。しかし、入力画像が例えばナイキスト周波数に近いような非常に高速なものである場合、境界を明確に画定することは困難である。多くの場合、ローパスフィルタを用いて入力画像を前処理することが望ましい。しかし、そのような前処理には問題がある可能性がある。画像成分の周波数極限(frequency extremes)は、同一のフィルタでは適切に処理することができない。また、時間領域でのフィルタリングは、コンピュータ的に複雑な二次元畳み込みを実行することを必要とする。種々のアプリケーションに対して、このことは禁止されている。

この項は、本発明の幾つかの側面を要約することを目的としており、また幾つかの望ましい実施形態を簡潔に紹介するものである。この項の目的を曖昧にすることを避けるために、簡略化又は省略がなされるかもしれない。そのような簡略化又は省略は、本発明の範囲を限定することを意図されていない。ここに具現化され且つ広く説明されるような本発明の原理に従い、本発明は以下を含む。

本発明は、概して、改良された位相面相関（ＰＰＣ）技術に向けられており、また方法及び装置の両方を含む。本発明の実施形態に従うＰＰＣ技術は、画像相関を決定するためにＰＰＣが用いられている場合に候補モーションベクトルの生成を支援するために適応周波数領域フィルタリングを用いる。

本発明の１つの側面によると、標準的なＰＰＣプロセスを適用するのに先立ち入力画像をプリフィルタリングすることが有益であり得るか否かが先ず決定される。プリフィルタリングが望ましいと決定された場合には、プリフィルタリングが実行される。一方、プリフィルタリングが不要であると決定された場合には、プリフィルタリングは実行されずに、そしてプリフィルタリングなしで通常のＰＰＣプロセスが進行する。選択的なプリフィルタリングの使用は、そのようなプリフィルタリングなしで得られたであろうよりも信頼性があり且つ一貫したＰＰＣ表面の生成をもたらす。

プリフィルタリングに関する決定及びそのプリフィルタリングは、適応周波数領域フィルタを用いて実行される。プリフィルタリングは周波数領域で実行され、この場合、インプレースウインドウ(in-place window)との乗算を実行するコンポーネントを効率的に用いて時間領域での畳み込みが効果的に実行される。計算されたフーリエ表面内で画像高周波数成分のエネルギが測定されて、画像内の高周波数成分の程度が計測(gauge)される。高周波数成分の量は次いで、フィルタリングプロセスを制御し又は「適合させる(adapt)」ために用いられる。

標準的な位相面手法は完全に正規化された分子(numerator)を用いる。このことはアプリケーションに応じて必ずしも必要ではない。これに対して、ここに説明される本発明によると、周波数スペクトラムを「白色化(whiten)」するために用いられる分母(denominator)の正規化が、特定周波数帯域成分を潜在的により適切に処理するために変調され得る。高周波数推定器又は適応ウインドウ関数生成器に関して、周波数表面内の成分の相対的な分布に基いて、より小さい又はより大きい程度まで白色化することを選択することができる。例えば、画像成分の大部分が高周波数である場合には、指数はそれが本来あるであろうより大きく作成されてよい。一方、画像成分が本質的により狭帯域（それほど高くない周波数成分）である場合には、本来あるであろうよりも小さい指数の正規化を選択することができる。

実用的なアプリケーションにおいては、正規化指数のプロファイル又はスケジュールは、根底にあるアプリケーションの性質及び目的に基いて作成され得る。１つ以上のプロファイルの発案(devising)又は選択は、候補モーションベクトルの微分(differentiation)の正確性及び範囲を計測することを可能にする。

ここに説明される技術は、進歩的なビデオ処理において、特にフレームレート変換のための位相面相関が利用される場合に有用である。スプリアスな(spurious)モーションベクトル候補の数を減らすことは、実装のための主要な懸案事項である。従って、本発明の実施形態のためのアプリケーションは、ビデオフレーム相関、ビデオデータ圧縮、及びビデオ処理システムを含む。

本発明の実施形態に従う方法は、
i)第１及び第２の画像のフーリエ変換を計算することと、
ii)フーリエ表面から直接的に高周波数成分を推定することと、
iii)推定された高周波数エネルギの関数であるウインドウ関数を計算することと、
iv)ウインドウをフーリエ表面に適用することと、
v)修正されたフーリエ表面をＰＰＣプロセスへ供給することとを含む。

本発明の更なる実施形態、特徴、及び利益の他、本発明の種々の実施形態の構成及び動作は、添付の図面を参照して以下に詳細に説明される。

添付の図面を参照して本発明が説明される。図面において、同様の参照番号は同一の又は機能的に類似の要素を表す。ある要素が最初に現れる図面は、対応する参照番号の一番左の数字で示される。

図１（従来技術）はＰＰＣ画像相関のための既知の配置の一部分を示すブロック図である。

図２は本発明の実施形態に従う方法のフローチャートである。

図３は本発明の実施形態に従い適応周波数領域フィルタリングを含むＰＰＣ画像相関のための配置のブロック図である。

図４は高周波数推定器３１４において生じる高周波数推定の概念を説明する周波数面（図３におけるＦ１又はＦ２のいずれか）における画像のグラフ的な説明図である。

図５は高周波数推定器３１４によって実行される高周波数推定の結果のグラフ的な説明図である。

図６は図３における一般的なブロックとして示される高周波数推定器３１４のブロック図である。

図７は高周波数推定器３１４及び適応ウインドウ関数生成器３１６の実施形態のブロック図である。

図８は図３における一般的なブロックとして示される位相面形成モジュール３２６のブロック図である。

本発明の特徴及び利益は、以下に記載される詳細な説明と共に図面からより明らかになるであろうし、全図を通して同様の参照文字は対応する要素を特定する。図面において、同様の参照番号は一般的に同一の、機能的に類似の、及び／又は構造的に類似の要素を表す。ある要素が最初に現れる図面は、対応する参照番号の一番左の単一又は複数の数字で示される。

本発明は、本発明の種々の実施形態の以下の説明から更によく理解されるであろう。従って、特定の実施形態は本発明の見え方である一方で、各々がそれ自身で本発明の全体を代表するものではない。多くの場合に、１つの特定の実施形態からの個々の要素は、同様の又は対応する機能を実行する他の実施形態において異なる要素で置換されてよい。ここに提供される教示を利用する当業者は、それらの教示の範囲内の、そして本発明が顕著に有用であろう追加的な分野の範囲内の追加的な修正、応用、及び実施形態を認識するであろう。

本発明は、位相面相関手法が用いられている場合に候補モーションベクトルの生成に役立つ適応周波数領域フィルタリングを用いる位相面相関（ＰＰＣ）技術を提供する。ＰＰＣプロセスを適用するのに先立ち、入力画像をプリフィルタリングすることが有益であり得るか否かが決定される。有益であれば、適応周波数領域フィルタを用いてプリフィルタリングが実行される。これにより、そうしなかった場合よりも信頼性があり且つ一貫性のあるＰＰＣ表面がもたらされる。

図２は本発明の実施形態に従う位相面相関付けの方法２００のフローチャートである。このフローチャートは、本発明の一般的原理、即ち位相面画像を随意的にプリフィルタリングして相関と位相面相関表面の正確性とを改善することを説明している。ＬＵＭＡ１によって表される時間領域における第１の画像は、ステップ２１０で周波数領域内へ変換され、周波数領域信号Ｆ１を形成する。このステップは高速フーリエ変換によって実施され得る。ＬＵＭＡ２によって表される時間領域における第２の画像は、ステップ２１２で周波数領域内へ変換され、周波数領域信号Ｆ２を形成する。このステップもまた高速フーリエ変換によって実施され得る。位相面画像Ｆ１及びＦ２のような画像における高周波数エネルギの量が、ステップ２１３で決定される。２１４では、２１３で決定された高周波数成分のエネルギに基いて、プリフィルタリングが望ましいか否かが決定される。プリフィルタリングが望ましいと決定された場合には、２１６で適応フィルタリングプロセスを用いてプリフィルタリングが実施される。適応フィルタリングは適応ウインドウを生成してこれを用いることによって実施され、適応ウインドウは、位相面画像Ｆ１及びＦ２内に存在する高周波数成分の量に基いて生成される。位相面画像Ｆ１及びＦ２内に存在する高周波数成分の量は、プリフィルタリングに用いられるウインドウ関数の形状を決定するために用いられる。尚、本発明の種々の実施形態においては、適応ウインドウは、位相面画像Ｆ１内のみに存在する高周波数成分に基いて、位相面画像Ｆ２内のみに存在する高周波数成分に基いて、あるいは両位相面画像Ｆ１及びＦ２内に存在する高周波数成分に基いていてよい。適応ウインドウ関数は、周波数表面内の成分の相対的な分布に基いて、より小さい又はより大きい程度まで白色化する(whiten)ことを選択可能なように制御されてよい。高周波数成分は、望ましくは位相面画像Ｆ１及びＦ２のエッジ部分において測定される。例えば、画像成分が主として高周波数からなるような場合には、指数(exponent)は、それが本来あるべきよりも大きくなるように作成されてよい。一方、画像成分が本来的により狭い帯域である場合には、正規化指数(normalizing exponent)は、それが本来あるべきよりも小さくなるように作成されてよい。一般的に、正規化指数の任意のプロファイル又はスケジュールが、候補モーションベクトルの微分の正確性及び範囲を計測することを可能にし得る的確な性質及び目的に応じて発案されてよい。

プリフィルタリングが実施されるか否かにかかわらず、２２０で相関が実施される。２２０の相関結果は、２２２で逆フーリエ変換されて、２２４で時間領域における位相面相関表面がもたらされる。

図３は、本発明の実施形態に従い適応周波数領域フィルタリングを含む、ＰＰＣ画像相関のための配置のブロック図である。信号ＬＵＭＡ１によって表される時間領域における第１の画像は、高速フーリエ変換モジュール３１０によって周波数領域へ変換され、位相面画像Ｆ１がもたらされる。信号ＬＵＭＡ２によって表される時間領域における第２の画像は、高速フーリエ変換モジュール３１２によって周波数領域へ変換され、位相面画像Ｆ２がもたらされる。

位相面画像Ｆ１及びＦ２は、ＦＦＴ表面の全エネルギ及びそのＦＦＴ表面の高周波数エネルギを推定するように構成される高周波数推定器３１４へ入力される。従って、高周波数推定器３１４は、ＦＦＴ表面Ｆ１及びＦ２の全エネルギ成分及び高周波数エネルギ成分の両方をもたらす。全エネルギ推定は出力３４０で提供され、また高周波数推定は出力３４２で提供される。高周波数推定器３１４によって実行されるプロセスは、以下に説明される図６に関して更に説明される。全エネルギ推定及び高周波数エネルギ推定は、適応ウインドウ関数生成器３１６へ供給される。

適応ウインドウ関数生成器３１６は、位相面画像Ｆ１及びＦ２の適応フィルタリングを実施するために用いられる適応ウインドウを提供する。この適応ウインドウは、高周波数推定器３１４によって供給される位相面画像Ｆ１及びＦ２内に存在する高周波数成分の量に基いて生成される。本質的には、位相面画像Ｆ１及びＦ２内に存在する高周波数成分の量は、適応ウインドウ関数生成器３１６によって生成されるウインドウ関数の形状を決定するために用いられる。本質的には、適応ウインドウ関数生成器３１６は、全周波数エネルギ値及び高周波数エネルギ値に基いてウインドウ関数を計算し、次いで計算されたウインドウ関数に基いてウインドウを生成する。

高周波数推定器３１４及び適応ウインドウ関数生成器３１６の動作は、周波数表面における成分の相対的な分布に基いて、より小さい程度又はより大きな程度で白色化することを選択するのが可能になるように制御され得る。例えば、画像成分が主として高周波数からなるような場合には、式２（下記）の分母項における指数が本来あるべきよりも大きくされてよい。対照的に画像成分が本来的により狭帯域である場合には、正規化指数は本来あるべきよりも小さくされてよい。一般的に、正規化指数の任意のプロファイル又はスケジュールが、候補モーションベクトルの微分(differentiation)の正確性及び範囲を計測する(gauging)正確な性質及び目的に依存して用いられ得る。

適応ウインドウ関数生成器３１６は、高周波数推定器３１４からＦＦＴ表面における全エネルギ及び高周波数エネルギの推定を受け取るように構成されている。これらの推定は、図３においてそれぞれ線３４０及び３４２上にある。全エネルギ及び高周波数エネルギは、ＦＦＴ表面に適用されることになる重み関数を決定するために用いられる。また、指数αは、これら２つの入力値からブロック３６０におけるユーザ定義の関数を用いても決定される。ユーザ定義の関数は、閉形式の解析方程式(closed-form analytic equation)によって表現されてよく、あるいはルックアップテーブルによって表されてよい。尚、本発明の種々の実施形態において、指数αは、位相面画像Ｆ１内のみに存在する高周波数成分、位相面画像Ｆ２内のみに存在する高周波数成分、又は両位相面画像Ｆ１及びＦ２内に存在する高周波数成分に基いていてよい。

図４に関して更に説明されるように、高周波数成分は、望ましくは、位相面画像Ｆ１及びＦ２のエッジ部分において決定される。ウインドウ関数は、適応ウインドウ関数生成器３１６の出力でＷ１及びＷ２によって表される。位相面画像Ｆ１は、混合器３１８の入力にＦ１及びウインドウ関数を供給することによってウインドウ関数Ｗ１によりウインドウ化され、混合器３１８は、出力３２０に第１のウインドウ化された表面をもたらす。画像Ｆ２は、混合器３２２の入力にＦ２及びウインドウ関数を供給することによってウインドウ化され、第２のウインドウ化された表面が出力３２４にもたらされる。尚、Ｗ１及びＷ２は異なる関数であってよく、あるいは記号Ｗで示される同一の関数であってよい。位相面形成モジュール３２６は、第１及び第２のウインドウ化された表面を処理して、その出力３２８での信号に基き位相面を形成する。位相面形成モジュール３２６の更に詳細な図が図８に示されている。本質的に、位相面形成モジュール３２６は周波数白色化スペクトルをもたらす。位相面形成モジュール３２６の動作は次のように表現され得る。
（Ｗ１．Ｆ１）．（Ｗ２．Ｆ２）^＊／｜（Ｗ１．Ｆ１）．（Ｗ２．Ｆ２）^＊｜

位相面形成モジュール３２６の出力３２８は、位相面相関付けられた画像表面をもたらす逆高速フーリエ変換モジュール３３０の入力に結合されている。この表面は次いで、標準的な位相面相関（ＰＰＣ）処理システムへ供給されてよい。

適応ウインドウ関数生成器３１６によってもたらされる適応ウインドウ関数は、種々の方法で計算することができる。ウインドウ関数がどのようにして計算され得るかを説明する実施形態を以下に示す。この実施形態によると、生成されるウインドウ関数の形状は、少なくとも部分的には、ＦＦＴ３１０及びＦＦＴ３１２での二次元フーリエ変換によって計算されるような周波数領域表面の周波数成分に基いている。例示的な実施形態によると、ウインドウ関数に対する１つの有力な動作は、周波数領域表面内に存在する高周波数成分の量に基きウインドウ形状を変更することであってよい。例えば、高周波数成分の多量の存在に対応する周波数領域表面の領域を画定し且つその領域内の当該エネルギの表面の全エネルギに対する比を計算することが可能である。その比は「０」乃至「１」の範囲内の数によって表される。この比は高周波数成分における適応ウインドウのドロップオフ比(drop off rate)を制御するために用いられる。例えば、適応ウインドウの形状を支配する式の１つのバージョンが式１に示されている。式１は二次元ガウスウインドウ関数(Gaussian window function)を代表する。
Ｗ（ｘ，ｙ）＝κｅｘｐ［−（ｘ−ｘ_０）^２／２σ_ｘ ^２
−（ｙ−ｙ_０）^２／２σ_ｙ ^２］ …（式１）
ここで、κは正規化定数である。σ_ｘ及びσ_ｙの値は比の関数である。例えば、これら２つのパラメータが比と比例関係にある場合、比が小さくなるにつれてウインドウ関数は平坦になるであろう。それらが逆比例関係にある場合、比が大きくなるにつれてウインドウ関数は早く減衰するであろう。

代替案としては、高周波数エネルギの全エネルギに対する比が、ＰＰＣプロセスにおいて用いられる正規化プロセスを制御するために用いられてよい。式２は分数的に正規化された位相面相関を表す。
ＰＰＣ（Ｉ_１，Ｉ_２）＝Ｆ^−１［Ｆ（Ｉ_１）・Ｆ（Ｉ_２）^＊
／｜Ｆ（Ｉ_１）・Ｆ（Ｉ_２）^＊｜^α］ …（式２）

上述の式２は分母に指数を含んでいる。分母の指数は、当該周波数領域内のスペクトラムが「白色化」される程度を変調することを可能にする。例えば、指数が１である場合、結果は従来のＰＰＣである。指数がゼロである場合には、結果は従来の相互相関である。一方、指数がゼロと１の間にある場合には、分数的な正規化が生じる。指数は１より大きくてもよいが、そのような指数の値は、容易に理解される直感的理解には対応していない。正規化が生じる程度は、狭帯域又は広帯域の雑音が存在するかどうかに依存している。一般的に、指数は周波数表面のどのような任意の関数であってもよい。

図４は例えば位相面画像Ｆ１又は位相面画像Ｆ２のような位相面画像４００のグラフ的な提示である。この図は、高周波数推定器３１４によって実施される高周波数推定の概念を説明するのに役立つ。位相面表面４００のエッジ領域４１０は、高速フーリエ変換（ＦＦＴ）表面の高周波数領域を代表する。モーションベクトルは、例えば、位相面表面４００の中央領域４１２内のどこかにあるであろう。本質的には、このグラフ的な提示は、複数の周波数領域点のマトリックスの提示である。４１０で示されるようなエッジ領域内に位置するそのような点の各々のエネルギが計算される。次いで、そのような点のエネルギが合算されて、ＦＦＴ表面の「高周波数」成分内に存在する全エネルギが決定される。この全エネルギを表す信号は、図３において高周波数推定器３１４から適応ウインドウ関数生成器３１６の入力に結合される信号である。

図５は高周波数推定器３１４によって実施される高周波数推定の結果のグラフ的な提示である。これらの曲線は、適応ウインドウ関数生成器３１６によって生成されるウインドウ関数の形状の例を表す。図５提示の左側部分は、位相面画像Ｆ１又は位相面画像Ｆ２のような画像の高周波数成分内に少量のエネルギがある場合における例示的なウインドウ関数を表している。図５提示の右側部分は、位相面画像Ｆ１又は位相面画像Ｆ２のような画像の高周波数成分内により大量のエネルギがある場合における例示的なウインドウ関数を表している。

図６は図３に一般的ブロックとして示される高周波数推定器３１４の動作を更に説明するブロック図である。ＦＦＴ３１０によって生成されるＦ１又はＦＦＴ３１２によって生成されるＦ２のような周波数表面Ｆは、構文解析モジュール(parsing module)６０２及び構文解析モジュール６０４によって構文解析される。高周波数計算モジュール６０６は、ユーザ定義のマスク又は重み関数を用いて高周波数エネルギの推定を計算する。この高周波数エネルギ推定は、高周波数推定器３１４の出力３４２においてもたらされる。全エネルギ計算モジュール６０８は、ユーザ定義のマスク又は重み関数を用いて全エネルギの推定を計算する。この全エネルギ推定は、高周波数推定器３１４の出力３４０においてもたらされる。

特定のアプリケーションに対する結果を最適化するために、種々のマスキング又は重み関数が使用可能である。この関数は、例えば、ＦＦＴ表面内の要素に対応している実数値での単純な重み付けであってよい。エネルギ計算は、例えば、ＦＦＴアレイの各エントリでの複素フェーザ(complex phasor)の大きさであってよい。構文解析及び計算は逐次的に又は同時に実行されてよい。これらの関数は、プロセッサ上でのソフトウエア実行によって又はハードウエア組み込みの回路(hard-wired circuit)によって実施され得る。

図７は高周波数推定器３１４及び適応ウインドウ関数生成器３１６の実施形態のブロック図である。ＦＦＴ表面は、例えば図３に示されるＦＦＴ３１０のようなＦＦＴによって生成される。この表面は図７では「Ｓ」によって表されている。Ｓは周波数領域表面であり、同図に示される複素フェーザＳによって表され得る。表面Ｓは、この実施形態では全エネルギ推定器７０４及び高周波数推定器７０６を備えた高周波数推定器３１４へ入力される。全エネルギ推定器７０４は、表面Ｓの全エネルギの推定Ｅ１をもたらす。高周波数推定器７０６は、例えば図４に示される領域４１０における表面Ｓの高周波数エネルギの推定Ｅ２をもたらす。Ｅ１は、各周波数での信号における活性の測定(measure of activity)を表す。表面上の各要素は、フーリエ変換の垂直及び水平の周波数成分（定義どおりの）の組み合わせを表す。Ｅ１を計算することで、元の信号を表すためにどの波形がどれだけ必要かのスナップショット(snapshot)が得られる。Ｅ２は、特定の予め定められた周波数を上回る周波数での信号における活性の測定を表す。適応ウインドウ関数生成器３１６は、ウインドウ関数生成器７０８及びウインドウ生成器７１０を含む。ウインドウ関数は、エネルギＥ１及びエネルギＥ２に基いてウインドウ関数生成器７０８によって計算される。ウインドウ関数生成器７０８によって生成された関数は、ウインドウ生成器７１０が実際のウインドウ（図３に示される混合器３１８又は３２２へ入力されることになる）を生成するのに用いられる。

図３に示される複数のブロックによって実行される処理は、次の項を計算し且つ形成する。
（Ｗ_１・Ｆ（Ｉ_１））・（Ｗ_２・Ｆ（Ｉ_２））^＊
／｜（Ｗ_１・Ｆ（Ｉ_１））・（Ｗ_２・Ｆ（Ｉ_２））^＊｜^α …（式３）

式３（項）は分数的な正規化を伴う重み付けされた位相面相関を表す。指数は、図６において生成される出力３４２対出力３４０の比を調べることによって、又は前述したようなルックアップテーブルによって計算される。これにより、上記式（項）において示される指数項が形成される。

図８は図３において一般的ブロックとして示される位相面形成モジュール３２６の動作を更に説明する図である。位相面形成モジュール３２６は、入力３２０及び３２４を受信し、そして出力３２８をもたらす。入力３２０及び３２４並びに出力３２８を備えた位相面形成モジュール３２６の内部コンポーネントは、複素ベクトルに対するユークリッドノーム(Euclidean norm)動作８００と、指数演算器(exponentiator)８０１と、インバータ８０２とからなり、これらは協働的に、上記の式３（項）の分母によって表される関数を実行して、分数的な正規化を伴う重み付けされた位相面相関を提示する。インバータ８０２の出力８０５は、入力３２０及び３２４を受信する乗算器８２０からの信号８０６と乗算器８０３によって乗算される。乗算器８０３の出力は、分数的に正規化された位相面出力３２８を形成する。

尚、この発明の種々の実施形態のシミュレーション、合成、及び／又は製造は、一般的なプログラミング言語（例えばＣ又はＣ＋＋）、ＶｅｒｉｌｏｇＨＤＬ、ＶＨＤＬ、ＡｌｔｅｒａＨＤＬ（ＡＨＤＬ）等を含むハードウエア記述言語（ＨＤＬ）、あるいは他の利用可能なプログラミング及び／又は回路等キャプチュアツール（例えば回路キャプチュアツール）を含むコンピュータ可読コードの使用を通して部分的に達成され得る。このコンピュータ可読コードは、半導体、磁気ディスク、光学ディスク（例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ）を含むあらゆる既知のコンピュータ使用可能媒体内に配置されてよく、またコンピュータが使用可能な（例えば可読な）伝送媒体（例えば搬送波又はデジタル、光学的、若しくはアナログベースの媒体を含む他のあらゆる媒体）において具現化されるコンピュータデータ信号として処置されてよい。従って、コードは、インターネット及びそれと同等のもの(the Internet and internets)を含む通信ネットワークを介して伝送されてよい。上述したシステム及び技術により達成される機能及び／又は提供される構造は、プログラムコードにおいて具現化されるコア（例えばＧＰＵコア）内に表現することができ、また集積回路の生産の一部としてハードウエアに変換されてよいことが理解される。
結論

特定の機能の実装及びそれらの関係性を示す機能構築ブロックを補助として、本発明が上述のように説明されてきた。これらの機能構築ブロックの境界は、説明の便宜上ここでは適宜画定されてきた。特定の機能及びそれらの関係が適切に実行される限りにおいて、代替的な境界が画定されてよい。

特定の実施形態の上述した説明は、本発明の一般的性質を明らかにするであろうから、他者は、当業者の知識を適用することによって、過度の実験を必要とせず、本発明の概略的概念から逸脱することなく、そのような特定の実施形態を容易に修正し及び／又は種々の応用に適用することができる。従って、そのような適用及び修正は、ここで提示されている教示及び指針に基いて、開示されている実施形態と均等なものの意味及び範囲の範疇にあることが意図されている。ここでの用語等は、本明細書の用語等がここでの教示及び指針の下で当業者によって解釈されるべきであるという点において、説明を目的としたものであって限定を目的としていないことが理解されるべきである。

本発明の例示的な実施形態が提示されてきた。本発明はこれらの例に限定されない。これらの例は、例示を目的としてここに提示されており、従って限定を目的とはしていない。代替案（ここに説明されるそれらの均等なもの、拡張、変更、偏差等を含む）は、ここに含まれる教示に基いて、単一又は複数の関連分野を含めた当業者にとって明らかであろう。そのような代替案は本発明の範囲及び精神に包含される。

本発明の広さ及び範囲は、上述したいかなる例示的な実施形態によっても限定されるべきではなく、以下の特許請求の範囲及びそれらと均等なものに従ってのみ画定されるべきである。

Claims (34)

1. 位相面相関表面を生成するための方法であって、
   第１及び第２の時間領域画像をデジタルデバイスによってフーリエ変換してそれぞれ第１及び第２の位相面画像を生成することと、
   特定の予め定められた基準に基いて前記第１及び第２の位相面画像をプリフィルタリングすることと、
   プリフィルタリングされた前記第１及び第２の位相面画像を前記デジタルデバイスによって相関付けて周波数領域相関位相面表面を形成することと、
   前記周波数領域相関位相面表面を逆フーリエ変換して位相面相関表面をもたらすこととを備えた方法。
2. 前記プリフィルタリングすることは前記第１及び第２の位相面画像を変化させないままにする請求項１に従う方法。
3. 前記予め定められた基準は前記第１及び第２の位相面画像の周波数成分に関連している請求項１に従う方法。
4. 前記予め定められた基準は前記第１及び第２の位相面画像のエッジ部分におけるそられの画像の周波数成分に関連している請求項３に従う方法。
5. 前記相関付けは分数的な正規化を含む請求項１に従う方法。
6. 分数的な正規化を含む前記相関付けはゼロ乃至１の範囲内の値を有する指数を用いる請求項５に従う方法。
7. 分数的な正規化を含む前記相関付けは閉形式の解析方程式又はルックアップテーブルによって生成される指数値を用いる請求項５に従う方法。
8. デジタルデバイスにおける位相面相関の方法であって、
   第１及び第２の時間領域画像をフーリエ変換してそれぞれ第１及び第２の位相面画像を生成することと、
   前記第１及び第２の位相面画像をプリフィルタリングすることであって、前記第１及び第２の位相面画像の推定される高周波数成分に応答してウインドウ関数を生成することと、前記ウインドウ関数を前記第１及び第２の位相面画像の各々と混合してそれぞれ第１及び第２のウインドウ化された表面をもたらすこととを含む、プリフィルタリングすることと、
   前記第１及び第２のウインドウ化された表面を相関付けて周波数領域相関位相面表面を形成することと、
   前記周波数領域相関位相面表面を逆フーリエ変換して画像面相関表面をもたらすこととを備えた方法。
9. 前記高周波数成分を推定することは位相面画像表面の少なくとも１つの一部分における高周波成分を決定することを備えている請求項８に従う方法。
10. 前記位相面画像表面の少なくとも１つの前記一部分はエッジ部分である請求項９に従う方法。
11. 前記ウインドウ関数を生成することは、
    前記第１及び第２の位相面画像の少なくとも一方の全エネルギ成分に対する高周波数エネルギ成分の比の関数である形状を有するウインドウ関数を生成することを備えている請求項８に従う方法。
12. 前記ウインドウ関数を生成することは、
    前記第１及び第２の位相面画像の両方の全エネルギ成分に対する高周波数エネルギ成分の比の関数である形状を有するウインドウ関数を生成することを備えている請求項８に従う方法。
13. 前記相関付けは分数的な正規化を含む請求項８に従う方法。
14. 分数的な正規化を含む前記相関付けはゼロ乃至１の範囲内の値を有する指数を用いる請求項１３に従う方法。
15. 分数的な正規化を含む前記相関付けは閉形式の解析方程式又はルックアップテーブルによって生成される指数値を用いる請求項１３に従う方法。
16. プログラムコードを記憶しているコンピュータ可読記憶媒体であって、前記プログラムコードは、プロセッサによって実行されるときに、
    第１及び第２の時間領域画像をフーリエ変換してそれぞれ第１及び第２の位相面画像を生成することと、
    前記第１及び第２の位相面画像をプリフィルタリングすることであって、前記第１及び第２の位相面画像の推定される高周波数成分に応答してウインドウ関数を生成することと、前記ウインドウ関数を前記第１及び第２の位相面画像の各々と混合してそれぞれ第１及び第２のウインドウ化された表面をもたらすこととを含む、プリフィルタリングすることと、
    前記第１及び第２のウインドウ化された表面を相関付けて周波数領域相関位相面表面を形成することと、
    前記周波数領域相関位相面表面を逆フーリエ変換して画像面相関表面をもたらすこととを備えた方法が実施されるようにするコンピュータ可読記憶媒体。
17. 前記高周波数成分を推定することは位相面画像表面の少なくとも１つの一部分における高周波成分を決定することを備えている請求項１６のコンピュータ可読記憶媒体。
18. 前記一部分はエッジ部分である請求項１７のコンピュータ可読記憶媒体。
19. 前記ウインドウ関数を生成することは、
    前記第１及び第２の位相面画像の少なくとも一方の全エネルギ成分に対する高周波数エネルギ成分の比の関数である形状を有するウインドウ関数を生成することを備えている請求項１６のコンピュータ可読記憶媒体。
20. 前記ウインドウ関数を生成することは、
    前記第１及び第２の位相面画像の両方の全エネルギ成分に対する高周波数エネルギ成分の比の関数である形状を有するウインドウ関数を生成することを備えている請求項１６のコンピュータ可読記憶媒体。
21. 前記相関付けは分数的な正規化を含む請求項１６のコンピュータ可読記憶媒体。
22. 分数的な正規化を含む前記相関付けはゼロ乃至１の範囲内の値を有する指数を用いる請求項２１のコンピュータ可読記憶媒体。
23. 分数的な正規化を含む前記相関付けは閉形式の解析方程式又はルックアップテーブルによって生成される指数値を用いる請求項２１のコンピュータ可読記憶媒体。
24. 第１及び第２の時間領域画像を変換してそれぞれ第１及び第２の位相面画像を生成するように構成されるフーリエ変換モジュールと、
    前記第１及び第２の位相面画像の高周波数成分を推定するように構成される高周波数推定器と、
    前記高周波数成分に応答してウインドウ関数を生成し、前記第１及び第２の位相面画像をプリフィルタリングするように構成される適応ウインドウ関数生成器と、
    前記ウインドウ関数を、プリフィルタリングされた前記第１及び第２の位相面画像の各々と混合してそれぞれ第１及び第２のウインドウ化された表面をもたらすように構成される混合器と、
    前記第１及び第２のウインドウ化された表面を相関付けて周波数領域相関位相面表面を形成するように構成される相関器と、
    前記周波数領域相関位相面表面を変換して画像面相関表面をもたらすように構成される逆フーリエ変換モジュールとを備えた位相面相関器。
25. 前記高周波数推定器は前記位相面画像表面の少なくとも１つの一部分における高周波成分を測定するように構成されている請求項２４に従う位相面相関器。
26. 前記一部分はエッジ部分である請求項２５に従う位相面相関器。
27. 前記適応ウインドウ関数生成器は、前記第１及び第２の位相面画像の少なくとも一方の全エネルギ成分に対する高周波数エネルギ成分の比の関数である形状を有するウインドウ関数を生成するための手段を備えている請求項２４に従う位相面相関器。
28. 前記適応ウインドウ関数生成器は、前記第１及び第２の位相面画像の両方の全エネルギ成分に対する高周波数エネルギ成分の比の関数である形状を有するウインドウ関数を生成するための手段を備えている請求項２４に従う位相面相関器。
29. ビデオフレーム相関器の一部である請求項２４に従う位相面相関器。
30. ビデオデータ圧縮システムの一部である請求項２４に従う位相面相関器。
31. ビデオ処理システムの一部である請求項２４に従う位相面相関器。
32. 前記相関器は分数的な正規化を含むように更に構成される請求項２４に従う位相面相関器。
33. 前記相関器はゼロ乃至１の範囲内の値を有する指数を用いる分数的な正規化を含むように更に構成される請求項３２に従う位相面相関器。
34. 前記相関器は閉形式の解析方程式又はルックアップテーブルによって生成される指数値を用いる分数的な正規化を含むように更に構成される請求項３２に従う位相面相関器。

Images