JP5025645B2 - 動き推定方法 - Google Patents

Description

本発明は一般に、開口問題を克服するために改良された動き推定に関するものである。

ビデオ処理の分野における新技術の出現に伴い、動き補償ビデオアルゴリズムが手に届くようになり、そして高品位ビデオ処理にとって必要になっている。高品位ビデオ処理を提供するために、異なる動き補償のアプリケーション（応用）が提供されている。ノイズ低減のための動き補償（ＭＣ：Motion Compensated）フィルタリング、符号化のためのＭＣ予測、インターレース（飛越し走査）フォーマットからプログレッシブ（順次走査）フォーマットへの変換のためのＭＣデインターリーブ（インターリーブされたものを元に戻す）、またはＭＣ画像レート変換のようなアプリケーションが知られている。これらのアプリケーションは動き推定（ＭＥ：Motion Estimation）アルゴリズムの恩恵を受け、ＭＥアルゴリズムについては種々の方法が知られている。

ビデオフォーマット変換における動き推定アルゴリズムの一例は、ブロックベースの動き推定器である３Ｄ（三次元）回帰探索（３ＤＲＳ：3D Recursive Search）として知られている。

動き推定アルゴリズムは、画素の輝度またはクロミナンス値は位置の線形関数によって近似することができるという仮定に基づいていた。この仮定は小さい変位のみについて正しい。しかし、この制約は画素ベースの動き推定法（ＰＥＬ再帰法）によって解決されている。

動き推定の実現はブロック推定も含む。ブロックマッチング（ブロック整合）動き推定アルゴリズムでは、現在フィールドｎ内のある画素ブロック

の中心

に変位ベクトル

を割り当てることができ、このことは、時間的に隣接したフィールド、例えばフィールドｎ−１、ｎ＋１内の、同じく

を中心とする探索領域

内で類似のブロックを探索することによって行う。この類似のブロックは、

に対して

だけ変位した中心を有し得る。

を見出すために、候補ベクトル

の集合を評価する。候補ベクトル

の集合を評価するために、ブロックの類似度を定量化する誤差（エラー）尺度

を計算する。

探索領域

内の

に対するすべての可能な変位を記述した候補ベクトル

は、

として記述することができ、ここにＮ、Ｍは探索領域

を制限する定数である。

完全探索ブロックマッチング処理によって生じた変位ベクトル

は、少なくとも１つの誤差関数

の最小値を生じさせる候補ベクトル

である。この変位ベクトルは、次式：

によって計算することができる。

通常は、最小のマッチング誤差を有するベクトル

をブロック

内のすべての位置

に割り当てる。所定の候補ベクトル

に対する誤差値は、現在ブロック内、及び前のフィールドから（位置が）シフト（移動）したブロック内の画素の輝度値をブロック

全体にわたる総和の関数とすることができる。この誤差値は他の画素値の関数とすることもでき、次式の：

のようにコスト関数の総和として表現することができ、ノンインターレース（順次走査）信号については共通のｐ＝１を選定し、インターレース（飛越し走査）信号については共通のｐ＝２を選定する。コスト関数は例えば、２つの画素ブロック間の絶対差分和（差分絶対和、差分の絶対値の総和）とすることができる。

所定の候補ベクトルの誤差値は、コスト関数または制約関数として考えることもできる。画像内の動きの性質に関係する制約関数は例えば、強度保存の制約または空間コヒーレンスの制約とすることができる。制約の選定は、これらの制約が別個に、直交する解の部分空間をもたらす際に最良である。画像内容からは、可能な動きベクトルの集合に対して、動きの滑らかさ、オブジェクトの慣性、等のような物理的制約を課すことが可能であり得る。数学的には、これらの制約は、動きパラメータ／動きベクトルを変数として有する等式（動きパラメータ／動きベクトルに対する制約）の形をとることができ、最小化すべきコスト関数に加えるか組み合わせることができる。

図１に、上述したブロックマッチング動き推定アルゴリズムを示す。図には、画像シーケンス（列）２の２つの時点ｎ−１、ｎを示す。画像シーケンス２内では、種々のブロック４を水平位置Ｘ及び垂直位置Ｙに定める。ブロック４の変位

を特定するために、上述した誤差尺度

を適用して、種々の候補ベクトル

８を評価する。１つの可能な誤差関数は、絶対差分和（ＳＡＤ）の基準であり、次式で表わされ：

ここに、

はブロック４内の画素の輝度値である。現在画像内の複数画素位置

にあるブロック４の中心

に変位ベクトル

を割り当て、このことは、前の画像内または次の画像内の

を中心とする探索領域

６内で類似のブロック１０を探索することによって行う。上記前または次の画像は、時間的に前または次の画像またはフィールドとすることができる。従って、２つのブロック４、１０間の相関尺度を最適化して、変位ベクトル

を識別することができる。

平均二乗誤差、及び正規化相互相関関数のような別の誤差基準を用いることができる。特に、後者は、フーリエ（周波数）領域内で計算する場合に用いることができる。誤差基準の別な例は、大幅に異なる画素の数とすることができる。上記基準はコスト関数とすることができる。境界条件のような物理的制約は、独立したコスト関数の新たな候補を提供し得る。

ブロックマッチング法は、真の動きベクトルに近い候補ベクトルを見つけることを可能にする。一貫性をさらに改善するために、誤差関数にペナルティ値を加えたペナルティシステムを採用し、このペナルティ値は予測の種類、即ち空間的予測または時間的予測に依存するものとすることができる。

しかし、上述した関数は２次元動きパラメータを完全には特定しない。これらのコスト関数にはいわゆる開口問題があり得る。この問題を克服するために、画像内容についての追加的情報、例えばいくつかの物理的制約、即ち、動きが滑らかである、オブジェクトが慣性を有する、等が必要になり得る。例えば、単一の向きを有するシーケンス、即ちエッジでは、単一エッジの方向に同じベクトル成分を有するすべての候補ベクトルは同じコスト関数を有し得る。従って、ＳＡＤは動きの二次元成分を完全には特定せず、単にエッジに直交する成分を特定するだけである。ＳＡＤを単独で用いた動き推定は悪化し、高々、シーケンス、例えばエッジに対する単一方向の一定の接線が定まるに過ぎない。この問題は動き補償の開口問題とも称される。

この問題は、境界条件、あるいはビデオシーケンス内の動きの性質に関する制約のような追加的な誤差関数を同時に課すことによって解決されてきた。動きベクトルの決定における悪化を取り除くために必要な条件は、各制約が、互いに直交する部分空間の解をもたらすべきである、ということである。動きベクトルの解の空間に課される物理的制約（即ち、滑らかな動き、オブジェクトの慣性、境界条件、等）は、解の全体空間を部分空間に分割し得る。ある部分空間内の各動きベクトルは少なくとも１つの制約に従う。２つの物理的制約が独立である際には、これらの制約に対応する部分空間は、互いに独立なベクトルを含み、換言すれば、対応する部分空間が互いに直交する。互いに直交する部分空間を有する候補動きベクトルの集合ＣＳ^maxを用いることができる。一般に、誤差関数ε_mを有するｍ個の制約の集合は、すべての制約が満たされた場合に、推定動きベクトル

の解をもたらし得る。この推定動きベクトルに対し、総コスト関数はその最小値を有する。この総コスト関数は次式のように計算することができ：

ここに、λ_mはいくつかの任意の乗算係数である。しかし、その最小値を有する総コスト関数は、個別の制約を必ずしもすべて満足しない。

例えば、１つのコスト関数は、候補動きベクトル

の複数の最小値及びある絶対最小値で悪化し得る。総コスト関数は、１つの制約の局所的最小値において、この制約に対する局所的最小値を有し得る。１つの制約の局所的最小値が他の制約の局所的最小値よりもずっと小さい場合には、他のコスト関数からの非最小の寄与分を補償することができる。従って、総誤差関数は、すべての個別の制約の最小値ではないことがある誤った最小値を生じさせる。こうした場合には、

が次式の不等式：

を満足するのに十分大きいもとのすれば、次式の不等式：

が成り立つ。

従って、本発明の１つの目的は、コスト関数の悪化を克服する解決法を提供することにある。本発明の他の目的は、開口問題を克服する動き推定を提供することにある。本発明の他の目的は、改良された推定動きベクトルを生成する動き推定を提供することにある。

これらの問題の１つ以上を克服するために、本発明は、その一態様によれば、画像信号における推定動きベクトルを決定する方法を提供し、この方法は、信号の画像内の少なくとも１つの画素に対して少なくとも２つの候補動きベクトルを生成するステップと、これらの候補動きベクトル毎に、少なくとも２つの誤差基準を計算するステップと、この誤差基準の非線形関数を最小にする候補動きベクトルを、上記少なくとも１つの画素に対する推定動きベクトルとして選定するステップとを具えている。

本発明の好適例による信号はあらゆる画像シーケンス、例えばビデオシーケンスとすることができる。信号中の画像は画素で構成することができる。これらの画素は、画像の特定部分の輝度及びクロミナンスを記述する画像要素とすることができる。画像内の複数の隣接画素は画素ブロックとして解釈することができる。

画像内の要素は数フレームで見れば動きが生じ得る。この要素の動きは動きベクトルによって記述することができる。動きベクトルは、特定の画素または画素ブロックの移動の向き及び速さを記述することができる。

動き推定は、動きの確率を計算することとして理解することができる。動き推定を用いて、画像内の実際の動きを最も近く記述する動きベクトルを計算することができる。推定した動きベクトルを用いて、インターレース画像をノンインターレースにすることもできる。

候補動きベクトルは、画素または画素ブロックの可能な動きを記述する可能なベクトルの集合とすることができる。候補動きベクトルの集合を用いて、画像内の実際の動きに最も良く合った１つの推定ベクトルを決定することができる。例えば、ノンインターレース化及び時間的アップコンバージョンのような高品位ビデオフォーマット変換アルゴリズム、コンピュータビジョン（コンピュータ映像）のアプリケーション、及びビデオ圧縮は動き推定を必要とし得る。動き推定中の開口問題は、シーン中の動きの性質についての追加的知識がないことから生じる。単純な向き、即ちエッジを含む信号からは、二次元の動き成分は特定されないか、あるいは、高々、エッジに対する接線の方向の定数が定まるに過ぎない。

この不特定性は、コスト関数における複数の最小値、及び動き推定の悪化をもたらす。この悪化は動きベクトルの誤った評価をもたらし、このことはビデオフォーマット変換におけるアーティファクト（歪像）をもたらし得る。本発明の１つの好適例によれば、この問題は、動きの性質に関する異なる制約を有する複数の誤差関数を課すことによって解決される。こうした制約は、強度保存または空間的コヒーレンスとすることができる。制約の選定は、これらの制約が別個に直交の解をもたらすようにすることが好ましい。

候補動きベクトルの集合に対する最も高コストの制約を最小化する、複数の誤差関数の非線形結合の応用は、最適化された動き推定をもたらす。最も高コストのコスト関数が最大値を取り得る。すべてのコスト関数の最大値を最小にすることによって、最も高コストのコスト関数を最小化することができる。

本発明の好適例によれば、上記少なくとも２つの候補動きベクトルは、探索領域内の画素の可能な変位を記述する。こうした変位はｘ方向及びｙ方向のものとすることができる。これらのベクトルは、そのｘ成分及びｙ成分によって動きの向きを記述することができる。動きの速さはベクトルの絶対値によって記述することができる。

上記少なくとも２つの候補動きベクトルは、本発明の好適例による空間的予測及び／または時間的予測を用いて生成する。例えば、走査画像ラインを提供する走査画像内では、まだ送信されていない画像のブロック内での空間的予測の使用は、因果関係によって妨げられる。代わりに時間的予測を用いることができる。

上記誤差基準は、絶対差分和の基準、平均二乗誤差の基準、正規化相互相関の基準、あるいは主要画素数の基準の少なくとも１つとすることができる。これらの誤差基準は制約として理解することができる。

上記非線形関数は、次式の誤差基準の最大値であり：

ここに、

は、位置

における候補ベクトル

のｍ番目（ｍ＞１）の誤差基準εである。これにより、候補動きベクトルの集合上で最も高コストの制約を最小化することができる。上記非線形関数は、誤差基準の中央値（メジアン）とすることもできる。さらに、少なくとも１つの誤差基準を、補間した画素とフィールド内で補間した画素との絶対差分から計算することができる。誤差基準の少なくとも１つは、現在のフレームまたはフィールドからの画素と、インターレースをノンインターレース化して得られた前または次のフレームまたはフィールドからの動き補償補間された画素との絶対差分から計算することもできる。

インターレース信号での動き推定の改善を提供するために、一般化したサンプリング定理を用いたインターレース信号からの画素値の計算を提供する。

本発明の他の態様は、画像信号における推定動きベクトルを決定するコンピュータプログラムであり、このプログラムは、プロセッサに、上記信号の画像中の少なくとも１つの画素に対して少なくとも２つの候補動きベクトルを生成させ、これらの候補動きベクトル毎に少なくとも２つの誤差基準を計算させ、そして、この誤差基準の非線形関数を最小化する候補動きベクトルを、上記少なくとも１つの画素に対する推定動きベクトルとして選定させるように作用する命令を含む。

本発明の別な態様は、画像信号における推定動きベクトルを決定するためのコンピュータプログラム製品であり、この製品上に読出し可能な形に記憶されたプログラムは、プロセッサに、上記信号の画像内の少なくとも１つの画素に対して少なくとも２つの候補動きベクトルを生成させ、これらの候補動きベクトル毎に少なくとも２つの誤差基準を計算させ、そして、この誤差基準の非線形関数を最小化する候補動きベクトルを、上記少なくとも１つの画素に対する推定動きベクトルとして選定させるように作用する命令を有する。

本発明のこれら及び他の特徴は、以下の実施例を参照した説明より明らかになる。

図１に示すブロックマッチャー（ブロック整合器）は上述した通りである。現在画像ｎ内のブロック４と、前の画像ｎ−１内の探索領域内のテストブロック１０とを、候補ベクトル

８を用いて接続する。これら２つのブロック４、１０間の相関尺度、整合誤差（マッチエラー）を最適化して、最良の候補ベクトル

８を識別することができる。これにより、異なる候補ベクトル

を用いた異なるテストブロック１０をテストすることができ、最良マッチングの候補ベクトルのために整合誤差を最小化することができる。

G.de Haan, "Progress in Motion Estimation for Consumer Video Format Conversion", IEEE transactions on consumer electronics

ブロックマッチャーにおける整合基準の最小値を探索することは、多くの解法が利用可能な二次元最適化問題である。１つの可能な実現は、３ステップのブロックマッチャー、２Ｄ（二次元）対数法または横断検索法、あるいは１つずつ探索するブロックマッチングを用いる。異なるブロックマッチング方策は、G.de Haan, “Progress in Motion Estimation for Consumer Video Format Conversion”, IEEE transactions on consumer electronics, 2000年8月の449〜459ページに開示されている。

最適化方策の１つの可能な実現は、３Ｄ再帰探索型ブロックマッチャー（３Ｄ ＲＳ）とすることができる。この３Ｄ ＲＳは、ブロックより大きいオブジェクトに対して、最良の候補ベクトルが画素またはブロックの空間的近傍に発生し得ることに対処する。

図２ａに示すように、左から右、及び上から下への走査方向を仮定すれば、因果関係が、現在ブロックＤc４ａの右下にある４つの空間的予測ベクトルＤsの使用を妨げる。代わりに、時間的予測ベクトルＤ ４cを使用する必要がある。現在ブロックＤc４ａに関しては、探索領域２内では、空間的予測ベクトルＤs４b及び時間的予測ベクトルＤt４cが利用可能である。既に走査したブロックのみを、現在ブロックＤc４aの空間的予測に用いることができるので、空間的予測はブロックＤt４cで可能である、というのは、探索領域２の前の時刻からは、ブロックＤt４cについての情報が利用可能であり得るからである。

図２に、２つの空間的予測ベクトルＤs４b及び１つの時間的予測ベクトルＤt４cを用いた現在ブロック４aの予測を示す。

探索範囲内のすべての可能なベクトルを評価することは無意味であることが判明している。空間的に隣接したブロックから取得したベクトルを次式のように評価するだけで既に十分であり得る：

ここに、ＣＳ^maxは、前の画像内の探索領域

内の

に対するすべての可能な変位（画素グリッド（格子）上の整数、非整数）を記述する候補ベクトル

の集合として、次式のように定義され：

ここに、ｎ及びｍは

を限定する制約である。計算のオーバーヘッドを低減するために、空間的に隣接したブロックＣＳから取得したベクトル

のみを評価すれば十分であり得る。Ｘ、Ｙはそれぞれ、ブロックの幅及び高さを規定することができる。因果関係、及び実現をパイプライン化する必要性は、すべての隣接ブロックを利用可能にし、初期化時にすべてのベクトルが０になり得ることを防ぐ。

ベクトルの利用可能性を明らかにするために、現在の画像ではまだ計算していないベクトルを、前のベクトルフィールド内の対応する位置から取得する。図２ａに、現在ブロックＤc４a、及び結果的なベクトルを候補ベクトルとして取得したブロックＤs４b、Ｄt４cの相対位置を示す。ブロックを左上から右下に走査する場合には、候補の集合は次式のように定義することができる：

この候補の集合ＣＳは、空間的及び／または時間的一貫性を暗に仮定する。
初期化時の０ベクトルの問題は、更新ベクトルを加えることによって対処することができる。候補の集合からのいくつかの空間的−時間的予測を省略することの１つの可能な実現を図２ｂに示し、ここでは候補の集合

を次式のように定義することができ：

ここで、更新ベクトル

及び

は交互に利用可能であり、そして限定された固定の整数または非整数の更新値の集合、例えば次式からとったものである：

平行移動のみより複雑なオブジェクトの動き、例えば回転またはスケーリング（拡大縮小）を記述することのできるモデルは、画像を個別のオブジェクトに区分（セグメント化）すること、及びこれらのオブジェクト毎に動きパラメータの集合を推定することを用いることができる。ブロックの数は通常、オブジェクトの数をずっと大幅に超えるので、画像当たりの計算する必要のある動きパラメータの数を低減する。しかし、計算の複雑性は増加する。

実施例によれば、画素ブロックのオブジェクトを定めることができ、これは画素グループと称することができる。動きパラメータ、例えば画素グループ毎の動きベクトルを決定することができる。候補ベクトルは、現在画像内の画素グループの輝度値と、時間的に隣接する第２画像内のこれらの輝度値に対応する動き補償された輝度値との間の絶対差分和ＳＡＤを計算することによってテストすることができる。２つの時刻を用いて、局所的画素グループの動きパラメータの集合を推定することができる。

絶対差分和の基準、または上述した他の単一の基準を用いた候補ベクトルからの推定動きベクトルの決定は、二次元動きパラメータを完全には特定しない。図３に概略的に示すように、ビデオコンテンツは１つの単純なエッジ１２を含み得る。画像内の動きは、単純なエッジ１２の動きであり得る。単一のブロック４についての動き推定は、候補ベクトル８ａ〜８ｃを用いて行うことができる。候補動きベクトル８ａ〜８ｃに対するテストブロック１０ａ〜１０ｃは、コスト関数の同じ値を生じさせる。その結果、単一のコスト関数を用いても、動きの二次元成分は完全には定まらず、エッジに直交する成分だけである。単一のコスト関数を用意することは悪化であり、高々、エッジの接線方向の定数が定まるに過ぎない。この問題は動き推定における開口問題と称することもできる。

この問題を克服するために、異なるコスト関数を同時に解く。こうしたコスト関数は、境界条件、あるいはビデオシーン中の動きの性質に関する制約とすることができる。動きベクトルの決定における悪化を取り除くための１つの重要な条件は、各コスト関数が互いに直交する部分空間の解をもたらすべきである、ということである。

図４に、異なるコスト関数ε₁及びε₂を最小化する候補動きベクトルの集合ＣＳ^maxのこうした直交する部分空間を示す。コスト関数ε₁は候補ベクトル１８ａ〜１８eによって特徴付けることができる。コスト関数ε2は、候補ベクトル１９ａ〜１９ｄによって表現することができる。各部分空間は、そのすべての要素が、等しく明確に規定されたエッジに直交する方向の動き成分を有することによって特徴付けられる。両方の制約を同時に課すことは、これら２つの制約の解の部分空間が互いに直交する場合に一意的な解をもたらす。一意的な解は候補ベクトル１８ｃ、１９ｃであり得る。

一般に、ｍ個の制約の集合を同時に、候補ベクトルの集合に課すことができる。これらの制約は次式のものとすることができる：

すべての制約を満足すれば、例えばいくつかの値についての絶対最小値

を有すれば、次式の総コスト関数：

も最小値を有し、ここにλ_m＞０である。しかし、総コスト関数が最小であれば、個別の制約は必ずしも満足されない。このことは動き推定におけるアーティファクトをもたらし得る。

この問題を克服するために、本発明の応用はコスト関数全体をより強固にする。このことは、次式のようなコスト関数の非線形結合によって行うことができる：

この非線形性は誤差がより生じにくい。実際に、値

は、残りの制約も局所的最小値または絶対最小値に近い場合のみに、総コスト関数の最小値になり得る。次の不等式は、上記非線形結合についてのみ真である：

図５に、個別のコスト関数ε₁、ε₂を異なるように計算した際の、これらのコスト関数の総コストに対する効果を示す。曲線２０ａ、２０ｂは個別のコスト関数を示す。曲線２０ａは２つの局所的最小値及び１つの絶対最小値を有する。コスト関数２０ｂは１つの絶対最小値を有する。

コスト関数２０の線形結合では、総コスト関数(ε₁，ε₂)／２ ２２は、一方のコスト関数の絶対最小値の所にその最小値を有する。図に示すコスト関数は、２つの任意の制約ε₁、ε₂の候補ベクトルの集合上での変動を表す。線形コスト関数は制約ε₂の最小値の１つに至る。コスト関数の非線形結合MAX(ε₁，ε₂)を曲線２４で示す。この総コスト関数の最小値は、両方の個別の制約に共通の局所的最小値に近い値をとることを強いられる。この例より、総コスト関数は、線形結合よりも各制約の最小値の近くにあることが明らかになる。

制約の非線形結合をインターレースビデオ素材に適用する考えは、インターレース素材の画素は、インターレースの位相次第では常に利用可能とは限らない、という問題を生じさせる。

例えば画素が利用可能でない場合には、位置

において欠落した画素は、ノンインターレース化アルゴリズムによって当該位置で計算した輝度の値に寄与し得る。この画素値を計算するために、一般化したサンプリング定理（ＧＳＴ：Generalized Sampling Theorem）の補間フィルタを用いることによってこの画素値を再構成することができ、このフィルタは、ｎ番目及びｎ−１番目のフィールドまたはｎ番目及びｎ＋１番目のフィールドのいずれかからのサンプルを用いることができる。

即ち、ｎ番目及びｎ±１番目のフィールドを用いたＧＳＴにより、二乗絶対差分誤差関数は次式のようにすることができる：

この第１の制約は、強固な総コスト関数を構成するには不十分である。
連続する２つのフィールド間における偶数個分の画素変位において発生する誤った動きベクトルを回避するために、第２の制約を課すことができる。この第２の制約は、既にノンインターレース化した映像の前のフレームｎ−１を利用することができる。このことは、現在フィールド内の既存の画素値を推定するための動き補償付きの双線形補間を可能にする。この双線形補間の出力は

によって与えられ、これは、第２の誤差関数を次式のように構成することを可能にする：

第２の制約も単独では強固な総コスト関数を構成することを可能にしない。これらの誤差関数の線形結合を構成することは、単に、これらの基準の一方の解決法からの動き推定基準を交代させるに過ぎない。しかし、本発明によって提供される誤差関数の非線形結合を適用すれば、より強固な動き推定が生じる。

本発明は動き推定のための強固な解決法を提供し、この解決法は異なるビデオフォーマット変換アルゴリズムに適用することができる。直交解をもたらす異なる動き推定基準間の非線形結合を提案する。

ブロックマッチングを例示する図である。 図２ａ及び２ｂは、再帰的探索ブロックマッチャーの候補ベクトルの集合を例示する図である。 単一の向きを有するシーケンス上のブロックマッチングを例示する図である。 一意的な解に至り得る直交解の部分空間を例示する図である。 複数の基準コスト関数を例示する図である。

Claims (9)

1. 画像シーケンスを表現する画像信号における推定動きベクトルを決定する方法において、
   前記画像シーケンス中の画像内の少なくとも１つの画素に対して少なくとも２つの候補動きベクトルを生成するステップであって、前記候補動きベクトルは、前記少なくとも１つの画素の可能な動きを記述するステップと；
   前記候補動きベクトル毎に、少なくとも２つの誤差基準を計算するステップと；
   前記誤差基準の非線形関数を最小にする前記候補動きベクトルを、前記少なくとも１つの画素に対する推定動きベクトルとして選定するステップとを具え、
   前記誤差基準は、互いに直交する部分空間の解を生じさせる制約を課し、
   前記非線形関数が、次式
   

   

   ここに、
   ｎは、前記画像シーケンス中の前記画像の番号、
   

   

   は、位置
   

   

   における候補ベクトル
   

   

   のｍ番目（ｍ＞１）の誤差基準である、
   で表わされる、誤差基準の最大値εである
   ことを特徴とする推定動きベクトルの決定方法。
2. 前記少なくとも２つの候補動きベクトルが、探索領域内の画素の可能な変位を記述することを特徴とする請求項１に記載の方法。
3. 前記少なくとも２つの候補動きベクトルのすべてを、空間的予測を用いて生成するか、前記少なくとも２つの候補動きベクトルのすべてを、時間的予測を用いて生成するか、前記少なくとも２つの候補動きベクトルのうち、１つ以上の候補動きベクトルは空間的予測を用いて生成し、他の候補動きベクトルは時間的予測を用いて生成することを特徴とする請求項１に記載の方法。
4. 前記誤差基準が、
   ａ）絶対差分和の基準；
   ｂ）平均二乗誤差の基準；
   ｃ）正規化相互相関の基準；
   ｄ）主要画素数の基準
   の少なくとも１つであることを特徴とする請求項１に記載の方法。
5. 前記非線形関数が、前記誤差基準の中央値であることを特徴とする請求項１に記載の方法。
6. 前記誤差基準の少なくとも１つを、補間した画素の絶対差分から計算することを特徴とする請求項１に記載の方法。
7. 前記誤差基準の少なくとも１つを、補間した画素とフィールド内で補間した画素との絶対差分から計算することを特徴とする請求項１に記載の方法。
8. 前記誤差基準の少なくとも１つを、現在のフレームまたはフィールドからの１つの画素と、インターレースをノンインターレース化して得られた前または次のフレームまたはフィールドからの動き補償補間された画素との絶対差分から計算することを特徴とする請求項１に記載の方法。
9. 画像シーケンスを表現する画像信号における推定動きベクトルを決定するコンピュータプログラムにおいて、
   プロセッサに、
   前記画像シーケンス中の画像内の少なくとも１つの画素に対して少なくとも２つの候補動きベクトルを生成させ、前記候補動きベクトルは、前記少なくとも１つの画素の可能な動きを記述し；
   前記候補動きベクトル毎に、少なくとも２つの誤差基準を計算させ；
   前記誤差基準の非線形関数を最小にする前記候補動きベクトルを、前記少なくとも１つの画素に対する推定動きベクトルとして選定させる
   ように作用する命令を具え、
   前記誤差基準は、互いに直交する部分空間の解を生じさせる制約を課し、
   前記非線形関数が、次式
   

   

   ここに、
   ｎは、前記画像シーケンス中の前記画像の番号、
   

   

   は、位置
   

   

   における候補ベクトル
   

   

   のｍ番目（ｍ＞１）の誤差基準である、
   で表わされる、誤差基準の最大値εである
   ことを特徴とするコンピュータプログラム。

Images