JP5014987B2 - ビデオモード検出による動き補償 - Google Patents

Description

本発明は、入力ビデオ信号から動きパラメータセット及び／又はピクチャ繰返しパターンを供給する方法に関し、より詳細には、第一の画像の画素値から動き補償された画素を計算するためのピクチャ繰返しパターン値で重み付けされた候補となる動きパラメータのセットを使用することで、ビデオ信号をデインタレースするための方法に関する。

また、本発明は、入力ビデオ信号から動きパラメータセット及び／又はピクチャ繰返しパターンを供給するコンピュータプログラムに関し、より詳細には、第一の画像の画素値から動き補償された画素を計算するためのピクチャ繰返しパターン値で重み付けされた候補となる動きパラメータのセットをコンピュータに使用させるために作用する命令を含むコンピュータプログラムに関する。

さらに、本発明は、入力ビデオ信号から動きパラメータセット及び／又はピクチャ繰返しパターンを供給するコンピュータ又は集積回路に関し、より詳細には、ピクチャ繰返しパターン値で重み付けされた候補となる動きパラメータのセットを使用して、第一の画像の画素値から動き補償された画素を計算するための動き補償手段を有する、ビデオ信号をデインタレースするためのコンピュータ又は集積回路に関する。

ビデオ処理の分野における新たな技術の出現により、動き補償ビデオアルゴリズムは、高品質のビデオ処理の必要性と同様に手ごろな値段になってきている。高品質ビデオ処理を提供するため、異なる動き補償アプリケーションが提供される。雑音低減用の動き補償（ＭＣ）フィルタリング、符号化用のＭＣ予測、インタレースからプログレッシブフォーマットへの変換用のＭＣデインタレーシング、又はＭＣピクチャレート変換のようなアプリケーションが知られている。これらのアプリケーションは、動き予測（ＭＥ）アルゴリズムからの利益を得るものであり、それらについて様々な方法が知られている。

ブロックベースの動き予測器である、ビデオフォーマット変換における動き予測アルゴリズムの１つの例は、３次元再帰型サーチ（３Ｄ ＲＳ）ブロックマッチャとして知られている。

動き予測アルゴリズムは、画素のルミナンス値又はクロミナンス値が位置の線形関数により近似される場合があるという仮定に基づいている。この仮定は、小さな移動の補正について正しい場合がある。しかし、画素ベースに動き予測方法（ＰＥＬ再帰型方法）により制約が解決される。動き予測の実現は、ブロック予測を含む。ブロックマッチング動き予測アルゴリズムでは、移動ベクトル
（外１）

は、サーチエリア
（外２）

で類似のブロックを探すことで、現在のフィールドｎにおける画素ブロック
（外３）

のセンター
（外４）

に割り当てられ、たとえばｎ−１，ｎ＋１といった時間的に隣接するフィールドにおいて
（外５）

でセンタリングされる。類似のブロックは、移動
（外６）

にわたり
（外７）

に関してシフトされるセンターを有する。
（外８）

を発見するため、多数の候補となるベクトル
（外９）

が評価され、ブロックの類似性を限定するエラー測定値
（外１０）

を与える。

図１は、かかるブロックマッチング動き予測アルゴリズムを示す。図示されるのは、画像系列２の２つの時間的な瞬間ｎ−１，ｎである。画像系列２で、水平方向の位置Ｘと垂直方向の位置Ｙでの様々なブロック４が決定される。ブロック４の移動
（外１１）

を決定するため、様々な候補となるベクトル
（外１２）

が評価され、上述されたエラー測定値
（外１３）

を与える。１つの可能性のあるエラー測定値は、想定される絶対差（absolute difference）（ＳＡＤ）基準であり、以下に示される。

ここで
（外１４）

はブロック４での画素値のルミナンス値である。移動ベクトル
（外１５）

は、サーチエリア
（外１６）

６で類似のブロック１０を探すことで、現在の画像における画素の位置
（外１７）

のブロック４のセンター
（外１８）

に割り当てられ、たとえば前又は後の画像において
（外１９）

でセンタリングされる。これは、時間的に前又は後の画像又はフィールドである。２つのブロック４，１０の間の補正の測定値は、移動ベクトル
（外２０）

を識別するために最適化される。

最小二乗誤差、正規化された相互相関関数のような更なるエラー基準が使用される場合がある。特に、正規化された相互相関は、フーリエ領域における計算のケースで使用される。更なるエラー基準の例は、著しく異なる画素の数である場合がある。

画素又はブロックについて動きベクトルを予測するよりはむしろ、画像を大きな領域に分割し、個々の領域について動きを予測する、オブジェクトベースの動き予測と呼ばれることがある動き予測器が知られている。さらに、水平方向及び垂直方向の移動に加えて、スケーリング（又はズーミング）、回転等を記述する動きパラメータを有する動きパラメータセットを予測することが知られている。これは、大きなブロックについて、及び領域又はオブジェクトベースの動き予測において特に有効である。以下では、用語「動きパラメータセット」は、全てのケースにおいて、すなわち動きベクトルとも呼ばれる変換のみによるパラメータセット、４（変換及びズーム）、６（回転を更に含む）、８、１２による動きパラメータセット、又は他の動きパラメータの整数値を含めて全てのケースで使用される。

しかし、フィルムで生成されているマテリアルを含む様々なビデオマテリアルに対処するため、動き補償されたビデオ処理アルゴリズムは、動きパラメータに加えて、ピクチャ繰返しパターンに関する仕様を必要とする。現在の動き予測は、ブロック当たり又は画素当たりの動きベクトルのような動きパラメータを提供するのみであり、ピクチャ繰返しパターを説明していない。２つの連続する時間的な画像間の移動は、ビデオ信号における動きに関する全体的な知識を提供しない。ピクチャ繰返しパターンを説明しないことで、特に動き予測器が再帰的なサーチ方式を有しない場合に、誤った移動ベクトルが得られる場合がある。さらに、たとえばデインタレーシングといた幾つかのアプリケーションは、それらのタスクを適切に実行するため、ピクチャ繰返しパターンに関する更なる情報を必要とする。

一般に、既存のビデオマテリアルのうちで、少なくとも３つの異なるビデオモードを区別することができる。いわゆる５０Ｈｚのフィルムモードは、同じ画像から生成する２つの連続するフィールドのペアを有する。このフィルムモードは、２−２プルダウンモードとも呼ばれる。このモードは、２５ピクチャ／秒のフィルムが５０Ｈｚテレビジョンについてブロードキャストされるときに生じる。たとえば、アルゴリズムが動き補償されたデインタレーシングを示す場合、どのフィールドが同じ画像に属するかが知られている場合、デインタレーシングがフィールドの挿入に低減する。

６０Ｈｚ電源による国では、フィルムは毎秒２４ピクチャで実行される。かかるケースでは、いわゆる３−２プルダウンモードがテレビジョン用のフィルムをブロードキャストすることが必要とされる。かかるケースでは、連続する単一のフィルム画像は３又は２フィールドでそれぞれ繰り返され、平均で６０／２４＝２．５の割合となる。さらに、繰返しパターンが既知である場合には、デインタレーシングのためにフィールドの挿入が適用される。

ビデオ系列の何れか２つの連続するフィールドが異なる画像に属する場合、系列はビデオモードにあり、デインタレーシングは、プログレッシブシーケンスを得るために特定のアルゴリズムで適用される必要がある。

また、フィルムモードとビデオモードとの組み合わせが系列で現れることが知られている。かかる、いわゆるハイブリッドモードでは、異なるデインタレース方法は、異なるフィールドに適用される必要がある。ハイブリッドモードでは、系列の幾つかの領域はビデオモードに属し、相補的な領域はフィルムモードにある場合がある。フィールドの挿入がハイブリッドシーケンスをデインタレースするために適用される場合、結果的に得られる系列は、ビデオモード領域において、いわゆるティースアーチファクトを示す。他方で、ビデオデインタレースアルゴリズムが適用される場合、フィルムモード領域で、フリッカのような望まれないアーチファクトを導入する。

ＵＳ６，３４０，９９０では、ハイブリッドシーケンスのデインタレースが記載されている。各種モード間で判別し、これに応じてデインタレースを適合させるために多数の動き検出器を使用するのを提案する方法が開示されている。提案される方法は動き補償を使用するものではないが、ビデオ部分を移動することにおける結果が乏しい。

同様に、動き予測が別のアルゴリズムでの、すなわちピクチャアップコンバージョン、雑音低減等のような用途について設計されるとき、動きベクトルに加えて、ピクチャの繰返しパターンが同様にきられていることが本質的である。

したがって、本発明の１つの目的は、フィールド繰返しパターンを考慮した、動き予測を提供することにある。本発明の更なる目的は、改善された動き予測を提案することにある。本発明の別の目的は、オリジナルのビデオマテリアルにおけるフィールド繰り返しパターンにより乱されない、動き予測を提供することにある。

本発明のこれらの目的及び他の目的は、入力ビデオ信号から動きパラメータセット及び／又はピクチャ繰り返しパターンを供給するための方法により解決され、当該方法は、第一の画像の画素値から動き補償された画素を計算するため、ピクチャ繰り返しパターンで重み付けされた候補となる動きパラメータのセットを使用するステップ、少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間のエラー基準を最小にするステップ、候補となる動きパラメータセット及び／又はピクチャ繰り返し値を生成するステップを含む。

本発明は、たとえば、デインタレース、ピクチャレートコンバージョン、又はピクチャ繰り返しモード検出に関する情報から利益を得る何れか他のアプリケーション用に使用される。

本発明は、ピクチャ繰り返しパターンを考慮する、動き予測を提供する。時間的に連続するフィールドにおけるピクチャ繰り返しに関する更なる情報は、ピクチャ繰り返す値を使用するために考慮される。ビデオにおける異なるモードを考慮し、これら異なるモードを決定するのを可能にするため、少なくとも３つの時間的な瞬間の画像から最小化されたエラー基準を決定するために特に有効な場合がある。動きパラメータセットは、何れか２つの画像の異なるピクチャ繰り返し値で重み付けされ、異なる可能なピクチャ繰り返しパターンが考慮される。これにより、最も可能性のあるピクチャ繰り返しパターンが検出される場合がある。候補となる動きパラメータセット及びピクチャ繰り返し値による動き補償された画素の計算の繰り返しは、結果を速く提供するためにパラレルに行われる場合がある。

このピクチャ繰り返し値は、フィールド繰り返し値とも呼ばれ、移動ベクトルの係数である。この係数は、連続するビデオのフィールドにおけるフィールド繰り返しが考慮されるように選択される。候補となる動きパラメータを重み付けすることは、選択された候補とナル動きパラメータセット又は動きベクトルのようなその何れかの値をピクチャクリ返しパターンの値で乗算することで行われる。ピクチャ繰り返しパターン値を計算するため、２を超える時間的な瞬間のフィールド間の動きを考慮することが必要である。これは、たとえば現在、前及び後のフィールドである。

さらに、前のフィールドに関する動きパラメータのセットと次のフィールドに関する動きパラメータのセットとの間の関係は、ブロック又はオブジェクトレベルでのピクチャ繰り返しパターンに依存する場合があるので、ピクチャ繰り返しパターンは、たとえばフィールド繰り返しが画像全体で行われるといった画像レベルで考慮されるだけでなく、ブロック及び／又はオブジェクトレベルで考慮される。

差の最小化は、絶対差分総和（ＳＡＤ：Ｓｕｍｍｅｄ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）基準、平均二乗誤差基準、正規化された相互相関関数基準、又は他の適切なエラー関数を使用して実行される。

請求項３及び請求項４に係る実施の形態も好適である。
実施の形態によれば、動きパラメータセットから動きベクトルを選択することは、良好なデインタレース結果を提供するために適している。動きベクトルは、候補となる動きベクトルである。異なる候補となる動きベクトルが検査され、最小の差を生じる候補となるベクトルが、特にデインタレースについて移動ベクトルとして選択される。

動き予測は、画像が画素のグループにセグメント化され、第二の画像の画素のグループと第一の画像の動き補償されたグループの間のエラー基準が最小化される。また、第三の画像が使用され、エラー基準は３つの画像で計算される場合がある。繰り返しパターンは、画像におけるグループ及びオブジェクトで空間的に考慮される。これは、繰り返しパターンが画像全体だけでなく、画像における空間的に特定のエリア又はフィールドに適用されることを考慮することになる。

後の画像と現在の画像の間と同様に、前の画像と現在の画像との間のエラー基準を考慮するため、請求項６及び請求項７の方法は、実施の形態に従って提供される。

異なるビデオモードを考慮するため、動き補償のための第一及び第二の重み付けされた動きパラメータは、候補となる動きパラメータのセットとして使用される。また、第三及び第四の重み付けされた動きパラメータセットは、候補となる動きパラメータのセットとして使用される。これらは、前、現在及び後の時間的な瞬間の画像間で区別するために使用される。

フィルムモード又はゼロモードを考慮するため、第一及び第三の動きパラメータのセットは、ゼロと選択されたピクチャ繰り返しパターンによる重み付けから得られる。

ビデオモードを考慮するため、第二及び第四の動きパラメータセットは、等しい絶対値を有するように選択されたピクチャ繰り返しパターン値による重み付けから得られる場合がある。たとえば、重み付けされた動きパラメータセットは、等しい長さを有するが反対方向を有する動きベクトルとして選択される。

少なくとも３つの時間的な瞬間を通して動きパターンを考慮するため、請求項１３記載の方法は、実施の形態に従って提供される。

動き予測基準は、画像のある瞬間からの既存の画素値を画像の別の時間的な瞬間の既存の画素値と比較するので、インタレースマテリアルにおいて、これらの画素が全ての時間で提供されないということが生じる。これは、インタレーシングフェーズに依存する。これまで、補間アルゴリズムにより所定の位置で計算される失われた画素によるものと考えられている。これは、たとえば一般化されたサンプリング理論（ＧＳＴ）補間フィルタを使用して失われた画素値を補間することで達成される場合がある。

局所的な動きの加速、すなわち２つのピクチャ期間を通して一様ではない動きは、動き検出及び動き予測でエラーを提供するので、ペナルティシステムは、実施の形態に従って提供される。このペナルティシステムは、隣接するフィールド又はフレームにおけるマジョリティモードを考慮するものであり、このマジョリティモードは、現在のフィールド又はフレームで検出された代替モードに与えられるペナルティ値を考慮する。現在のフィールド又はフレームｎでビデオモードがマジョリティモードとして確立された場合、ペナルティは、後続するフィールド又はフレームｎ＋１のモードを決定するとき、フィルムモード又はゼロモードに与えられる。現在のフィールド又はフレームｎについてフィルムモードがマジョリティモードとして検出された場合、ペナルティは、後のフィールド又はフレームにおける代替フィルム又はビデオモードに与えられる。

本発明の別の態様は、特にビデオ信号をデインタレースするため、入力ビデオ信号からの動きパラメータセット及び／又はピクチャ繰り返しパターンを提供するコンピュータプログラムであり、当該プログラムは、プロセッサに、第一の画像の画素値から動き補償された画素を計算するため、ピクチャ繰り返しパターンで重み付けされた候補となる動きパラメータのセットを使用させ、少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間のエラー基準を最小にさせ、最小にされたエラー基準を提供する、候補となる動きパラメータセット及び／又はピクチャ繰り返し値を生成させるために作用する命令を含む。

本発明の更なる態様は、そこに記憶されたコンピュータプログラムをもつ、特にビデオ信号をデインタレースするため、入力ビデオ信号からの動きパラメータセット及び／又はピクチャ繰り返しパターンを提供するコンピュータプログラムプロダクトであり、当該プログラムは、プロセッサに、第一の画像の画素値から動き補償された画素を計算するため、ピクチャ繰り返しパターン値で重み付けされた候補となる動きパラメータのセットを使用させ、少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間のエラー基準を最小にさせ、最小にされたエラー基準を提供する、候補となる動きパラメータセット及び／又はピクチャ繰り返し値を生成させるために作用する命令を含む。

本発明の更なる態様は、特にビデオ信号をデインタレースするため、入力ビデオ信号からの動きパラメータを提供するコンピュータであり、当該コンピュータは、ピクチャ繰り返しパターン値で重み付けされた候補となる動きパラメータのセットを使用して第一の画像の画素値から動き補償された画素を計算するための動き補償手段、少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間のエラー基準を最小にする計算手段、及び、最小にされたエラー基準を提供する、候補となる動きパラメータセット及び／又はピクチャ繰り返し値を生成するための選択手段を有する。

本発明のこれらの態様及び他の態様は、以下の実施の形態を参照して明らかになるであろう。

図１に示されるようなブロックマッチャ（block-matcher）は、先に記載されている。現在の画像ｎにおけるブロック４及び前の画像ｎ−１におけるサーチエリア６のテストブロック１０は、候補となるベクトル
（外２１）

８を使用して接続される。相関の測定値である、２つのブロック４，１０間の整合誤差は、最良の候補となるベクトル
（外２２）

８を識別するために最適化される。それにより、異なる候補となるベクトル
（外２３）

８を使用した異なるテストブロック１０が検査され、整合誤差は、最良に整合する候補となるベクトルについて最小にされる。

ブロックマッチャにおける最小の整合基準をサーチすることは、多くのソリューションがリ湯可能な二次元の最適化問題である。１つの可能性のある実現は、３ステップのブロックマッチャ、二次元の対数の、又はクロスサーチ方法、若しくはone-at-a-timeサーチブロックマッチングを使用する。異なるブロックマッチング方式は、G.de Haan “Progress in Motion Estimation for Consumer Video Format Conversion”，IEEE transaction on consumer electronics, vol.46, no.3, August 2000, pp.449-459に開示されている。

最適化方式の１つの可能性のある実現は、３次元の再帰型サーチブロックマッチャ（３Ｄ ＲＳ）である。この３Ｄ ＲＳは、ブロックよりも大きなオブジェクトについて考慮するものであり、最良に候補となるベクトルは、空間的に隣接するピクセル又はブロックで生じる。

図２ａで示されるように、左から右に、上から下にスキャニング方向を仮定しており、因果関係は、現在のブロックＤｃ４ａの右下である、空間的な予測ベクトル４ Ｄｓの使用を示している。代わりに、時間的な予測ベクトルＤ ４ｃが使用される必要がある。現在のブロックＤｃ ４ａに関して、サーチエリア２で、空間的な予測ベクトルＤｓ ４ｂ及び時間的な予測ベクトルＤｔ ４ｃが利用可能である。既にスキャニングされたブロックのみが現在のブロックＤｃ ４ａの空間予測について使用されるので、空間予測は、ブロックＤｓ ４ｂで可能である。サーチエリア２の前の時間的な瞬間から、ブロックＤｔ ４ｃに関する情報が利用可能であるので、時間予測は、ブロックＤｔ ４ｃで可能である。

図２ｂは、現在のブロック４ａを予測するために２つの空間予測ベクトルＤｓ ４ｂと１つの時間予測ベクトルＤｔ ４ｃの使用を示している。

サーチレジでの全ての可能なベクトルを評価することは意味がないことが分かっている。以下のような空間的に隣接するブロックから取られたベクトルを評価するのが十分である。

ここで、ＣＳｍａｘは、

として、前の画像におけるサーチエリア
（外２４）

での
（外２５）

に関する全ての可能性のある移動（画素グリッドでの整数、又は非整数）を記述する候補となるベクトル
（外２６）

のセットとして定義される。ここでｎ及びｍは
（外２７）

を制限する定数である。計算のオーバヘッドを低減するため、空間的に隣接するブロックから取られたベクトル
（外２８）

を評価するために十分である。Ｘ，Ｙは、ブロックの幅及び高さのそれぞれを定義する。実現においてパイプライン化するための因果関係及び必要性は、全ての隣接するブロックが利用可能であり、初期では全てのベクトルがゼロであることを保持する。

ベクトルの可用性を考慮するため、現在の画像で未だ計算されていないベクトルは、前のベクトルフィールドにおける対応する位置から取られる。図２ａは、現在のブロックＤｃ ４ａと、結果のベクトルが候補となるベクトルＤｓ ４ｂ，Ｄｔ ４ｃとして取られるブロックとの相対的な位置を例示している。ブロックが左上から右下にスキャンされるケースでは、候補となるセットは、以下のように定義される。

この候補のセットＣＳは、空間的及び／又は時間的な一貫性を暗黙的に想定している。初期化でのゼロベクトルの問題は、アップデートベクトルを追加することで考慮される。候補となるセットから幾つかの空間−時間予測を省略する１つの可能性のある実現は、図２ｂに示されており、ここで候補となるセット
（外２９）

が

により定義される。ここで、アップデートベクトル
（外３０）

は代替的に利用可能であり、

のような、制限され、固定された整数又は非整数、アップデートセットから取られる。

たとえば回転、又はスケーリングといった変換のみよりも複雑なオブジェクトの動きを記述可能なモデルは、個々のオブジェクトにおける画像をセグメント化すること、これらのオブジェクトのそれぞれについて動きパラメータを予測することを使用する。ブロックの数は通常振幅のオーダを超えるオーダをもつオブジェクトの数を超えるので、画像当たり計算される必要がある動きパラメータの数が低減される。しかし、計算上の複雑度は増加する。

本実施の形態によれば、グループオブピクセルと呼ばれる、画素ブロックオブジェクトが決定される。たとえばそれぞれのグループオブピクセルの動きベクトルといった動きパラメータが決定される。候補となるベクトルは、現在の画像におけるグループオブピクセルのルミナンス値と、第二の時間的に隣接する画像における対応する動き補償されたルミナンス値との間の合計された絶対差を計算することで検査される場合がある。２つの時間的な瞬間は、ピクセルのローカルグループの動きパラメータのセットを予測するために使用される。
ビデオフォーマット変換における幾つかのアプリケーションのため、連続する画像におけるピクチャの繰り返しパターンに関する更なる情報が必要である。

図３は、画素４のブロックの２つの連続する時間的な画像間の、異なる移動ベクトルＤ ８を示している。これらのベクトル８の１つは、シーケンスにおける動きに関する全体の情報を提供しない。移動ベクトル８は、画像の２つの瞬間ｎとｎ−１又はｎ＋１との間の移動を表すのみである。しかし、画像ｎとｎ−１及びｎとｎ＋１との間の移動は異なる場合がある。これまで、実施の形態は、たとえば現在のフレーム／フィールドｎ、前のフレーム／フィールドｎ−１及び次のフレーム／フィールドｎ＋１といった、２つの時間的な瞬間を超える間の動きを考慮することを提供する。前のフィールド
（外３１）

と次のフィールド
（外３２）

とに関する異なる動きベクトル８の間の関係は、ブロック又はオブジェクトレベルでのピクチャ繰り返しパターンに依存する。異なるピクチャ繰り返しパターンは、以下のようにモデル化されるビデオ及びフィルムのような異なるソースにより引き起こされる。

シーケンスがビデオモードにあるケースでは、ベクトル８は、図３ａに示されるような、２つのフィールド期間にわたる線形の動きを仮定して、
（外３３）

である。かかるケースでは、繰り返しが起こらない。これは、（１，−１）モードと呼ばれ、１及び−１は、それぞれの動きベクトルが重み付けされるピクチャ繰り返しパターンの値である。

シーケンスが２−２プルダウンフィルムモードにある場合、移動ベクトル８は、
（外３４）

のいずれかである。かかるケースでは、移動ベクトルの異なる値は、画像の連続する時間的な例に適用される必要がない。これら異なる移動ベクトルは、図３ｂに示されている。モードは（０，−１）又は（１，０）モードと呼ばれ、ここで０，−１，１は、それぞれの動きベクトルが重み付けされるピクチャ繰り返しパターンの値である。

２−３プルダウンモード、又はシーケンスが移動しないオブジェクトを含むケースでは、移動ベクトル
（外３５）

が得られる。これは、（０，０）モードである。

各種ビデオモードフェーズにおける移動ベクトルＤ間の関係が与えられると、ビデオモードは（１，−１）モードと呼ばれ、フィルムモードは（１，０）及び（０，−１）モードと呼ばれ、静止フェーズは（０，０）モードと呼ばれ、ここで、０，−１及び１は、それぞれの動きベクトルが重み付けされるピクチャ繰り返しパターン値である。

移動ベクトル
（外３６）

を一般化するため、時間インターバル
（外３７）

での２つの時間的に隣接する画像間の動きベクトルを示すことが可能である。時間インターバルのコンポーネントは、下のインデックスｎ，ｎ−１により示される、２つの画像の相対的な時間的な位置を表す。ピクチャ繰り返しパターンの値ｃ_i,j∈（０，１，−１）は、時間的なインターバルコンポーネント
（外３８）

等の間の異なる関係を考慮して確立される。

移動ベクトルは定数ファクタＣ_i,jにまで等しいので、移動ベクトルは、
（外３９）

として表現される。この関係により、２つの連続するフィールド又はフレーム間のピクチャ繰り返しパターンは、一様な動きについてｃ_j＝１であり、全く動きがない場合にｃ_j＝０について考慮される。ピクチャ繰り返しパターン係数としてこの係数を使用して、ブロック又はオブジェクトベースの動き予測アルゴリズムが使用され、ここで、フィールド繰り返しパターンが既に考慮される。かかる最小化の基準は、以下に示される。

ここでｃ_pは移動ベクトル
（外４０）

の係数であり、これについて最適化の基準が満足される。これにより、異なるフィールド繰り返しパターンは、最良に整合している移動ベクトルとピクチャ繰り返しパターンの両者を発見するために考慮される。

全体のシーケンスはビデオモードにあるケースでは、動きが非一様に局所的に加速されるケースでは、局所的な動きは、フィルムフェーズの１つに類似するために高い変化を有する。たとえば、局所的な動きが
（外４１）

が小さく、
（外４２）

が大きいような場合、ＳＡＤはビデオモードについてよりもフィルムモードについて小さく、実際のピクチャ繰り返しパターンはビデオモードである。この状況は、動き検出及び動き予測の両者に影響を及ぼすエラーとなる。

実施の形態によれば、このタイプのエラーは、ペナルティシステムを供給することで回避される場合がある。かかるペナルティシステムは、以下のように、ペナルティ値Ｐをエラー関数に追加することで適合される。

ここで
（外４３）

はペナルティ値である。ペナルティ値は、モード（１，−１），（１，０）又は（０，−１）の１つにあるようにフィールド又はフレームｎで検出されるマジョリティモードに従って選択される。マジョリティモードペナルティＰ_nは、以下のようなフィールドｎ＋１における代替のモードに与えられる。

ビデオモードが現在のフレームでマジョリティモードとして検出されるケースでは、ペナルティＰ_nは、時間的に次のフレームｎ＋１のモードを決定するとき、フェーズ（１，０）及び（０、−１）について与えられる。

現在のフレームｎにおいてモード（１，０）がマジョリティモードとして検出されるケースでは、ペナルティＰｎは、時間的に次のフレームｎ＋１のモードを決定するとき、フェーズ（１，０）及び（１、−１）について与えられる。

現在のフレームｎにおけるマジョリティモードが（０，−１）として検出されるケースでは、ペナルティＰ_nは、時間的に後のフレームｎ＋１におけるモードを決定するのに、フェーズ（０，−１）及び（１，−１）について与えられる。

ペナルティ値のアプリケーションは、図３ａ〜図３ｃに既に決定される。図３ａで見ることができるように、ビデオモードが現在のフレームについて決定されるケースでは、次のフレームもビデオモードにあり、したがってフィルムモード（１，０）及び（０，−１）は、フィルムモードが生じる可能性が低いので、ペナルティが課される必要がある。

図３ｂから、フィルムモード（１，０）が検出されたケースでは、以下のフレームがフィルムモード（１，０）又はビデオモード（１、−１）にはなく、したがってこれらのモードはペナルティが課される場合があることが分かる。

図３ｃから、フィルムモード（０，−１）が検出されたケースでは、ペナルティは、後続のフレームで生じる可能性が低いので、フェーズ（０，−１）又はビデオモード（１，−１）に与えられる。

ローカルのピクチャ繰り返しモードの認識を考慮した本発明の動き予測器は、高品質のビデオフォーマット変換アルゴリズムを提供する。動き予測基準は、フィルム、ビデオ及びハイブリッドシーケンスで遭遇される、非一様な動きパラメータに適用される。

特に請求項１の方法に係る、特にビデオ信号をデインタレースするための、入力ビデオ信号から動きパラメータを提供するコンピュータは、ピクチャ繰り返しパターン値で重み付けされた候補とナル動きパラメータのセットを使用して第一の画像の画素値から動き補償された画素を計算する動き補償手段、少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間のエラー基準を最小にする計算手段、及び、最小にされたエラー基準を提供する候補となる動きパラメータセット及び／又はピクチャ繰り返し値を生成する選択手段を有する。

動き補償手段、計算手段及び選択手段は、１つのプロセッサを使用して実現される場合がある。通常、これらの機能は、ソフトウェアプログラムプロダクトの制御下で実行される。実行の間、通常、ソフトウェアプログラムプロダクトは、ＲＡＭのようなメモリにロードされ、そこから実行される。プログラムは、ＲＯＭ、ハードディスク、又は、磁気及び／又は光ストレージのようなバックグランドメモリからロードされるか、又はインターネットのようなネットワークを介してロードされる場合がある。任意に、特定用途向け集積回路は、開示された機能を提供する。

先に記載された実施の形態は、本発明を制限するよりは例示するものであり、当業者であれば、特許請求の範囲から逸脱することなしに代替の実施の形態を設計することができる。請求項では、括弧間に配置される参照符号は、請求項を限定するものとして解釈されるべきではない。単語「有する“comprising”」は、請求項で列挙されていないエレメント又はステップの存在を排除するものではない。エレメントに先行する単語“ａ”又は“ａｎ”は、複数のかかるエレメントの存在を排除しない。本発明は、幾つかの個別のエレメントを有するハードウェアにより、適切にプログラムされたコンピュータにより実現することができる。幾つかの手段を列挙している装置の請求項では、これらの手段の幾つかは、同一アイテムのハードウェアにより実現される。単語「第一」、「第二」及び「第三」等の使用は、何れかの順序付けを示すものではない。これらの単語は名前として解釈されるべきである。

ブロックマッチングを例示する図である。 図２ａ及び図２ｂは、再帰的なサーチブロックマッチャのベクトルの候補となるセットを例示する図である。 同じ動きパラメータをもつ異なるピクチャ繰り返しパターンを例示する図である。

Claims (11)

1. ビデオ信号をデインターレースするため、入力信号から動きパラメータセット及びピクチャ繰り返しパターンを供給するための方法であって、
   動きパラメータセットの候補を１または０の値である第１のピクチャ繰り返し値で重み付けすることにより第１の動きパラメータセットを生成するステップと、
   動きパラメータセットの候補を０または−１の値である第２のピクチャ繰り返し値で重み付けすることにより第２の動きパラメータセットを生成するステップと、
   現在の画像と前記第１の動きパラメータセットにより動き補償した時間的に前の画像との間の差分と、前記現在の画像と前記第２の動きパラメータセットにより動き補償した時間的に後の画像との間の差分とから誤差基準を算出するステップと、
   前記誤差基準を最小にする動きパラメータセットの候補、第１のピクチャ繰り返し値および第２のピクチャ繰り返し値を特定し、前記特定した動きパラメータセットの候補を動きパラメータセットとして出力するとともに、前記特定した第１のピクチャ繰り返し値と前記特定した第２のピクチャ繰り返し値との組み合わせをピクチャ繰り返しパターンとして出力するステップとを含む
   ことを特徴とする方法。
2. 前記動きパラメータセットは、動きベクトル、スケーリングの値及び／又は回転の値を含む、請求項１記載の方法。
3. 前記誤差基準は絶対差分である、請求項１記載の方法。
4. 前記現在の画像は、画素のブロックにセグメント化され、前記誤差基準を算出するステップは、前記現在の画像と前記時間的に前の画像とのそれぞれの画素のブロックとの間の差分と、前記現在の画像と前記時間的に後の画像とのそれぞれの画素のブロックとの間の差分とから、前記誤差基準を算出する請求項１記載の方法。
5. 前記動きパラメータセットの候補、前記第１のピクチャ繰り返し値および前記第２のピクチャ繰り返し値の組み合わせを変えて、前記第１の動きパラメータセットを生成するステップと、前記第２の動きパラメータセットを生成するステップと、前記誤差基準を算出するステップとを繰り返し実行し、
   前記現在の画像の画素値として、補間して得られた画素値を用いることを特徴とする
   請求項１記載の方法。
6. 空間−時間的な近接で検出されたピクチャ繰り返しパターンに依存して、計算された誤差基準にペナルティを課すステップを含む、請求項１記載の方法。
7. 空間−時間的な近接で検出されていないピクチャ繰り返しパターンに対応するピクチャ繰り返し値で重み付けされた候補となる動きパラメータセットから計算された誤差基準にペナルティを課すステップを含む、請求項１記載の方法。
8. 請求項１の方法に係る、ビデオ信号をデインタレースするための、入力ビデオ信号から動きパラメータセット及びピクチャ繰り返しパターンを供給するためのコンピュータプログラムであって、
   当該プログラムは、プロセッサに、
   動きパラメータセットの候補を１または０の値である第１のピクチャ繰り返し値で重み付けすることにより第１の動きパラメータセットを生成させ、
   動きパラメータセットの候補を０または−１の値である第２のピクチャ繰り返し値で重み付けすることにより第２の動きパラメータセットを生成させ、
   現在の画像と前記第１の動きパラメータセットにより動き補償した時間的に前の画像との間の差分と、前記現在の画像と前記第２の動きパラメータセットにより動き補償した時間的に後の画像との間の差分とから誤差基準を算出させ、
   前記誤差基準を最小にする動きパラメータセットの候補、第１のピクチャ繰り返し値および第２のピクチャ繰り返し値を特定し、前記特定した動きパラメータセットの候補を動きパラメータセットとして出力するとともに、前記特定した第１のピクチャ繰り返し値と前記特定した第２のピクチャ繰り返し値との組み合わせをピクチャ繰り返しパターンとして出力させる、
   ために作用する命令を含むことを特徴とするコンピュータプログラム。
9. 請求項１の方法に係る、ビデオ信号をデインタレースするための、入力ビデオ信号からの動きパラメータセット及びピクチャ繰り返しパターンを提供するコンピュータプログラムを記録した記録媒体であって、
   前記プログラムは、プロセッサに、
   動きパラメータセットの候補を１または０の値である第１のピクチャ繰り返し値で重み付けすることにより第１の動きパラメータセットを生成させ、
   動きパラメータセットの候補を０または−１の値である第２のピクチャ繰り返し値で重み付けすることにより第２の動きパラメータセットを生成させ、
   現在の画像と前記第１の動きパラメータセットにより動き補償した時間的に前の画像との間の差分と、前記現在の画像と前記第２の動きパラメータセットにより動き補償した時間的に後の画像との間の差分とから誤差基準を算出させ、
   前記誤差基準を最小にする動きパラメータセットの候補、第１のピクチャ繰り返し値および第２のピクチャ繰り返し値を特定し、前記特定した動きパラメータセットの候補を動きパラメータセットとして出力するとともに、前記特定した第１のピクチャ繰り返し値と前記特定した第２のピクチャ繰り返し値との組み合わせをピクチャ繰り返しパターンとして出力させる、
   ために作用する命令を含むプログラムを記録した記録媒体。
10. 請求項１記載の方法に係る、ビデオ信号をデインタレースするため、入力ビデオ信号からの動きパラメータセットを提供するコンピュータであって、
    当該コンピュータは、
    動きパラメータセットの候補を１または０の値である第１のピクチャ繰り返し値で重み付けすることにより第１の動きパラメータセットを生成し、動きパラメータセットの候補を０または−１の値である第２のピクチャ繰り返し値で重み付けすることにより第２の動きパラメータセットを生成し、現在の画像と前記第１の動きパラメータセットにより動き補償した時間的に前の画像との間の差分と、前記現在の画像と前記第２の動きパラメータセットにより動き補償した時間的に後の画像との間の差分とから誤差基準を算出する手順を、前記動きパラメータセットの候補、前記第１のピクチャ繰り返し値および前記第２のピクチャ繰り返し値の組み合わせを変えて、繰り返し行う計算手段と、
    前記誤差基準を最小にする動きパラメータセットの候補、第１のピクチャ繰り返し値および前記特定した第２のピクチャ繰り返し値を特定し、前記特定した動きパラメータセットの候補を動きパラメータセットとして出力するとともに、前記特定した第１のピクチャ繰り返し値と前記特定した第２のピクチャ繰り返し値との組み合わせをピクチャ繰り返しパターンとして出力する選択手段と、
    を有することを特徴とするコンピュータ。
11. 請求項１記載の方法に係る、ビデオ信号をデインタレースするため、入力ビデオ信号からの動きパラメータセット及びピクチャ繰り返しパターンを提供する集積回路であって、
    当該集積回路は、
    動きパラメータセットの候補を１または０の値である第１のピクチャ繰り返し値で重み付けすることにより第１の動きパラメータセットを生成し、動きパラメータセットの候補を０または−１の値である第２のピクチャ繰り返し値で重み付けすることにより第２の動きパラメータセットを生成し、現在の画像と前記第１の動きパラメータセットにより動き補償した時間的に前の画像との間の差分と、前記現在の画像と前記第２の動きパラメータセットにより動き補償した時間的に後の画像との間の差分とから誤差基準を算出する手順を、前記動きパラメータセットの候補、前記第１のピクチャ繰り返し値および前記第２のピクチャ繰り返し値の組み合わせを変えて、繰り返し行う計算手段と、
    前記誤差基準を最小にする動きパラメータセットの候補、第１のピクチャ繰り返し値および第２のピクチャ繰り返し値を特定し、前記特定した動きパラメータセットの候補を動きパラメータセットとして出力するとともに、前記特定した第１のピクチャ繰り返し値と前記特定した第２のピクチャ繰り返し値との組み合わせをピクチャ繰り返しパターンとして出力する選択手段と、
    を有することを特徴とする集積回路。

Images