JP4242656B2 - 動きベクトル予測方法及び動きベクトル予測装置 - Google Patents

Description

本発明は、動画映像の一連の流れの中における、動き予測の方法に関するものである。より詳細には、排他的な意味ではなく、本発明は動きベクトル予測の方法、及び動きベクトル予測のための装置に関するものである。

「３−Ｄ再帰検索」と呼ばれている従来の動き予測技術は、ゲラルド・デ・ハーンとＰ．Ｗ．Ａ．Ｃ．バイゼンとによって、「３−Ｄ再帰検索ブロック・マッチングを利用するサブ・ピクセル動き予測」（信号処理：映像通信６、２２９頁-２３９頁（１９９４年））の中で開示されており、詳細に示す代わりに、ここに引用し援用する。

３−Ｄ再帰検索は、ブロック再帰動き予測の分類に落ち着く。そのアルゴリズムは、動きは、突然、すなわち連続するフィールド間では、大きく変動することはない、という前提に基づいている。アルゴリズムは、フィールド・ベースで更新されるベクトル空間を保持する。ベクトル空間は、通常は、比較的広い範囲で、すなわちオブジェクトに関しては類似している。したがって、ある位置の近隣の動きベクトルは、その位置での動きの良い候補になる。

動画は、フィールドの連続により成り立つ。各フィールドは、例えば１６×１６ピクセルのブロックに分割される。動きベクトルは各ブロックに関連付けられている。動きベクトルは、一つ前のフィールド又は一つ後のフィールドと比較される、現フレームのブロックの変位を満たすべきである。例えば、現在のフィールド上で（ｘ、ｙ）の位置にあるブロックの動きベクトルを更新するために、３−Ｄ再帰検索は、制限された数、例えば５つ、の候補ベクトルのみを、予測のために使用する。すなわち、一つ前のフィールドから得る幾つかのベクトル（すなわち時間的ベクトル）、現在のフィールドから得る幾つかのベクトル（すなわち空間的ベクトル）、そして空間的ベクトルの最新情報、である。各候補について動き予測誤差が計算される。最も動き予測誤差の少ない候補が、そのブロックにおける最適の動きベクトルとして選択される。アルゴリズムは、ブロックを通じて、通常のラスター走査を使用する。

３−Ｄ再帰検索は、ゲー・デ・ハーン等によって、「３−Ｄ再帰検索ブロック・マッチングを利用する正しい動き予測」（ＩＥＥＥ報告書、ビデオ技術のための回路とシステム、Ｖｏｌ．３、１９９３年１０月、３６８頁-３７９頁）と、「３−Ｄ再帰検索ブロック・マッチングを利用するサブ・ピクセル動き検出」（信号処理：画像通信６、２２９頁から２３９頁（１９９４年））の中で開示されており、詳細に示す代わりに、ここに引用し援用する。検索領域内の全ての可能性のある変位を予測する、より不経済な全検索ブロック・マッチングとは異なり、このアルゴリズムは可能性のある動きベクトルの中で、非常に限定された数のものだけを吟味する。候補ベクトルの注意深い選択により、複雑性の低い設計で、ほぼ正確な動きに近づくことにより、良い性能を発揮することができる。

動き予測は、幾つかのアプリケーションにおいて有効である。それは、ＭＰＥＧ−２や、Ｈ２６３や、それと似たような、予測符号化アプリケーションの一部である。そういうわけで、動きベクトルは、時間的な相関関係を最大化にするのに向いており、したがって、符号化誤差を最小化するのに向いている。動き予測は、また、ビデオの画質向上、例えば、動画の動きの描写を向上すること、インターレースを解除すること、又は時間的ノイズの除去、という分野で適用されるだろう。

動きは、幾つかの手法で予測可能である。例えば、動き予測器は、全検索予測器、ブロック・マッチング、オブジェクト・ベース方法等を含む。いずれにせよ、それらは、全て、ある種の空間的不変性のある動きモデルを前提とすることによって、時間的な相互関係を最大化することを目指している。例として、フィリップス・ナチュラル・モーション・テレビ・セットで使用されている３−Ｄ再帰検索動き予測器は、ブロック・ベースで移動を予測する。

３−Ｄ再帰検索予測器では、候補動きベクトルは、ブロックごとに選択される。例えば平均二乗誤差や、平均絶対誤差のような誤差関数は候補ごとに計算される。例えば、空間的か時間的か、というような候補のタイプに依存して、ペナルティ係数が加えられる。候補のタイプごとのペナルティ係数は、空間的には普遍である。すなわち、ブロックの空間的な位置によっては異ならない。結果として、この種のペナルティ係数の使用が、最適とはならない符号化利得と、幾つかの画像のちらつきと、を招く唯一の原因となるかもしれない。

したがって、本発明の目的は、改善された動き予測方法を提供することである。本発明の他の目的は、収束処理を改善するために、動きベクトルの収束速度を向上させることである。

本発明は、従来技術の課題を解決するために、改善された動きベクトル予測方法と、そのための装置とを提供する。本発明の方法は、動き予測器を供給し、動き予測器から少なくとも二つの候補動きベクトルを得て、そして、候補動きベクトルの位置と大きさとに依存するペナルティ係数を有する誤差関数を適用すること、を含む。各候補動きベクトルは、ビデオイメージの領域表示に関連する。

本発明は、また、少なくとも第１及び第２のビデオイメージにおいて選択された領域に関連付けられた複数の候補動きベクトルを生成するためのランダムベクトル生成器を含む、機能強化された収束を有する再帰的動きベクトル予測のための装置、第１及び第２のビデオイメージにおいて選択された領域の候補動きベクトルを比較するための最適ベクトル選択器も提供する。その最適ベクトル選択器は、候補動きベクトルの位置と大きさとに依存する、少なくともペナルティ係数を有する誤差関数を適用することで、候補動きベクトルを評価する手段を含んでいる。

従来技術を踏まえて、本発明が提供する他の改善は、本発明の好適な実施の形態を開示している以下の説明の結果を受けて、特定されるだろう。詳細な説明は、本発明の範囲を限定する意図は全くなく、ただ、この好適な実施の形態における実施例としてのみ提供するものである。本発明の範囲は、添付されている請求の範囲において指摘されるだろう。

以下に示されている本発明に従った方法は、少なくとも二つの候補動きベクトルを選択することのできる動き予測器を供給すること、及び選択された候補動きベクトルに対して選択された候補の位置と大きさとの両者に依存する空間的なペナルティ係数を含んでいる誤差関数を適用すること、を含んでいる。

動き予測装置は、ある画像の画像ブロックと、別の画像の複数の画像ブロックとを比較する手段を含む。評価は、限定するわけではないが、典型的には８×８ピクセル又は１６×１６ピクセルで構成される、領域又はブロック・ベースのブロック・マッチング・アルゴリズムとなる。別の画像の幾つかのブロックは現在の画像のブロックと比較され、動きベクトルは、これらのブロックに含まれているピクセル値を比較することで検索されている。評価は、例えば、絶対差分和（ＳＡＤ）や、平均二乗誤差（ＭＳＥ）というような、誤差関数を使用することで実施される。ＳＡＤ方法では、対応しているブロック内のピクセル値の全て又は幾つかは互いに減じられ、かつ誤差関数で評価される。一般には、最も少ない誤差を発生しているベクトルが、最適なベクトルを提供するものとして選択される。該当する候補動きベクトルは、現在のブロックの動きベクトルとして選択される。現在の画像の全てのブロックが決定されるまで、次のブロックに関して、この処理は繰り返し開始される。

ここで使用されている「最適ベクトル選択器」は、最も整合が近接した候補ベクトルを選択する装置、又は方法のことを言う。

本発明に有用な動き予測器は、限定的な意味ではなく、ブロック・マッチングと、再帰的画素型を含んでいる。これらは、特に、ゲー・デ・ハーンにより、「民生ビデオフォーマット談話のための動き予測の処理」（民生電子工学におけるＩＥＥＥ報告書、Ｖｏｌ．４６、ｎｏ．３、４４９頁−４５９頁（２０００年８月））で開示されており、詳細に示す代わりに、ここに引用し援用する。本発明に有用な、好適なブロック・マッチング予測器は、全て、デ・ハーン等によって米国特許明細書第５２１２５４８号、第５０７２２９３号、及び第５１４８２６９号の中で説明されている「３−Ｄ再帰検索ブロック推測器」であり、詳細に示す代わりに、ここに引用し援用する。加えて、本発明に有用な動き予測器は、ブロックだけでなく、ブロック及びピクセルを含んでいるいずれの種類の形状の領域をも操作できる、以下に説明されているような動き予測装置を含む。

候補動きベクトル、ビデオ画像、を選択するに当たっては、

ここで、

が考慮された。ここで、

は、空間的位置を規定していた。ｎはフィールド番号、すなわち時間的位置、を規定しており、Ｆ（）は

とｎとにより規定される時空間的な位置でのピクセル値であった。画像の中の全てのピクセルについて、動き

が予測された。しかしながら、動き予測プロセスは負荷の大きい計算であり、かつ現存の動き予測器と同様の改善が発見されたので、予測処理は、典型的には８×８ピクセルのブロックに限定された。したがって、動き

は、画像内の、あらゆる８×８ブロックについて予測された。ここで、

は、ブロックの中心を表す。

再び、ゲー・デ・ハーンとＰ．Ｗ．Ａ．Ｃ．バイゼンとが「３−Ｄ再帰検索ブロック・マッチングにおけるサブ・ピクセル動き検出」（信号処理：画像通信６、２２９頁−２３９頁（１９９４年））の中で開示しているとおり、計算の複雑さを軽減し、かつ時空間的一貫性を高めるために、ブロック毎に、ほんの少しの、典型的には４個から５個の候補動きベクトル

が評価された。ここで使用した「時空間的一貫性」とは、空間と時間との両者の一貫性をいう。評価は、誤差関数、特に絶対差分和、を計算することに基づいていた。限定するわけではないが、これを

に示す。ここで、Ｂ（Ｘ，ｎ）は、中心

をパラメタとするピクセルのブロックである。

より詳細には、ゲー・デ・ハーンとＰ．Ｗ．Ａ．Ｃ．バイゼンとによって「３−Ｄ再帰検索ブロック・マッチングにおけるサブ・ピクセル動き検出」（信号処理：画像通信６、２２９頁−２３９頁（１９９４年））に記載されているように、候補は時空間的に近傍なものから選択された。最適な合致、すなわち最も少ない負荷又は誤差が生じる候補が、評価されるブロックの動きベクトル（Ｘ，ｎ）として選択される。

より一貫性を向上させるために、ペナルティ係数Ｐは、候補動きベクトルの「型」に依存して加えられた。よって、空間的な候補、すなわち現在の画像内で既に計算された候補動きベクトルには、異なるペナルティ係数と、そして、時間的候補、すなわち一つ前の画像内の計算によって知られた候補動きベクトル、とが与えられた。

ビデオ領域に関する動きベクトルの統計により、画像内の移動速度の生じやすさがスクリーンの位置に依存する、ということが明らかになった。従って、上記モデルを動き予測に拡張することは有益である。空間的な位置と大きさとに依存する更なるペナルティ係数を加えることにより、動き予測器を、上記明らかとなった統計へとバイアスできる。すなわち、

ここで、

は、候補動きベクトルのノルム（すなわち大きさ）である。

例えば、画像の外側方向の画像ブロックＸでは大きい候補動きベクトルに対して、さらに、画像中心部と判断される画像ブロックでは小さい候補動きベクトルに対して、ペナルティ係数は比較的大きくなり得る。

数式

は、３−Ｄ再帰検索動き予測のみに使用されるものではない。いずれの動き予測器も、ある種の負荷関数に従った候補（非常に広大な集合になり得る）を評価することが必要になる。負荷関数における、候補の大きさと位置とに依存した数式の追加は、動き予測、従って、本発明の好適な実施例をバイアスすることを許す。

負荷関数に対する、この相対的に簡潔な追加は、「現実」の動きベクトルに向かった、動きベクトルの迅速な収束を可能にする。かくのごとく、依存関係は、収束を向上させる手助けとなるということが見出される。ほんの僅かな数の候補の評価に基づくということは、実際の動きベクトルが見出され、かつ収束が完了する前に、時間的方向において非常に頻繁に、幾度かの繰り返し又は通過を行うことができる、ということに留意されたい。更に、より早い収束は、直接的に、動きベクトルの平均精度の全体的な改善を意味する。

このように、本発明の好適な実施例を開示した。更なる交換と修正は、本願発明の本質を逸脱しない範囲で、当業者によって適用され得る。そして、全てのそのような交換と修正は、以下に述べる特許請求の範囲に係る発明の範囲に含むことを意図している。

Claims (4)

1. 動き予測器を設け、
   前記動き予測器から少なくとも二つの候補動きベクトルを獲得し、
   前記候補動きベクトルそれぞれに対し、前記候補動きベクトルに関連付けられるブロックの画像中での位置と、前記候補動きベクトルの大きさとに依存するペナルティ係数を有する誤差関数を適用することにより、前記候補動きベクトルを評価すること、
   を含む動き予測方法。
2. 請求項１に記載の方法であって、
   前記ブロックはビデオイメージの一部であること、
   を特徴とする動き予測方法。
3. 少なくとも第１及び第２のビデオイメージにおいて選択されたブロックに関する複数の候補動きベクトルを生成するためのベクトル生成器と、
   前記第１及び第２のビデオイメージにおいて選択されたブロックの前記候補動きベクトルを比較するための最適ベクトル選択器と、
   を備えた、再帰的動きベクトル予測装置であって、
   前記最適ベクトル選択器は、前記候補動きベクトルそれぞれに対し、前記候補動きベクトルに関連付けられる前記ブロックのビデオイメージ中での位置と、前記候補動きベクトルの大きさとに基づく少なくとも一つのペナルティ係数を有する誤差関数を適用することにより、前記候補動きベクトルを評価する手段を有すること、
   を特徴とする動きベクトル予測装置。
4. 請求項３に記載した装置であって、
   前記誤差関数は、絶対差分和又は平均二乗誤差という関数により計算されること、
   を特徴とする動きベクトル予測装置。