JP4528662B2 - 適応空間最新ベクトルを用いた動き検出 - Google Patents

Description

本発明は、動き検出の改良に関する。特に、本発明は、映像シーケンスにおける画像ブロック間の動きベクトルを検出するための方法、および、それに相当する動き検出回路に関する。

動き検出の応用範囲は、特に、最新のテレビジョン受像機のデジタル信号処理において増加している。具体的には、最新のテレビジョン受像機は、特にアップコンバージョンまたは動き補償後のアップコンバージョンの形式で、再生画像の品質を向上させるためにフレームレートの変換を行う。例えば、フィールド周波数またはフレーム周波数が５０Ｈｚの映像シーケンスに対して動き補償後アップコンバージョンを行うと、６０Ｈｚ、６６．６７Ｈｚ、７５Ｈｚまたは１００Ｈｚ等のような、より高い周波数に変換される。５０Ｈｚの入力信号周波数は主として、ＰＡＬまたはＳＥＣＡＭに基づくテレビジョン放送に用いられるが、ＮＴＳＣの映像信号の入力信号周波数は６０Ｈｚである。６０Ｈｚの入力信号周波数は、７２Ｈｚ、８０Ｈｚ、９０Ｈｚまたは１２０Ｈｚ等、より高い周波数にアップコンバートされる場合がある。

アップコンバート時には、５０Ｈｚまたは６０Ｈｚの入力ビデオシーケンスでは表されない時間位置のビデオコンテンツを反映する中間画像が生成される。この目的のためには、移動オブジェクトの動きによって生じる後続の画像間の変化を適切に反映するために、そのオブジェクトの動きを考慮する必要がある。オブジェクトの動きは、ブロック単位で算出され、動き補償は、前後の画像間に新たに生成された画像の相対的な時間位置に基づいて実行される。

動きベクトル決定のために、各画像は複数のブロックに分割される。前の画像とのオブジェクトの位置変化を検出するために、各ブロックに対して動き検出が行われる。所定の検索範囲内で前の画像内でベストマッチのブロックを検出するための時間を要する全検索アルゴリズムは、好ましくは、複数の所定の候補ベクトルを用いることによって回避される。これらの候補ベクトルの組は、所定の最も適切な動きベクトルを多数含む。

動きベクトルは、候補ベクトルの各々について計算された誤差値に基づいて候補ベクトルから選択される。この誤差は、現在のブロックと、個々の候補ベクトルに応じて選択された前の画像内の候補ブロックとの一致度を評価する。最小の誤差を有する、最も一致するベクトルが現在のブロックの動きベクトルとして選択される。現在のブロックと前のブロックとの類似度の尺度として、差分絶対和（Ｓｕｍｍｅｄ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ：ＳＡＤ）を用いても構わない。

所定の候補ベクトルの組は、現在の画像の隣接するブロックについてすでに決定された候補ベクトルとして、前の画像内において同様の位置等にあるブロックについて決定された動きベクトルを含んでいても構わない。

下記の非特許文献１には、グローバル動きベクトルを候補ベクトルとして算出することが記載されている。このグローバル動きベクトルは、画像の全てのブロックに共通した動きを反映する。

下記の特許文献１にはさらに、複数の候補ベクトルが記載されており、これら候補ベクトルは、今回の画像が有する周辺ブロックに基づいている。また、これらベクトルの長さおよび方向は、ランダムな大きさを有する最新のベクトルを加算することで修正される。今回のブロックの動きベクトルとしてのベクトル種別の選択は、各ＳＡＤに対する所定のペナルティ値を加算することで制御される。ペナルティ値が加算されると、今回のブロックの動きベクトルとして選ばれる見込みがそれぞれ減ることになる。

画像補間に加え、動き検出は、時間的な冗長さを利用するために、映像の符号化中にも用いられる。この目的のため、複数の映像符号化規格が開発されており、Ｈ．２６ｘまたはＭＰＥＧ−ｘのような符号化規格が広く用いられている。
ジェラルド・デ・ハーン（Ｇｅｒａｒｄ ｄｅ Ｈａａｎ）他 「エフィシエント トゥルー モーション エスティメータ ユージング キャンディデイト ベクトル フロム パラメトリック モーション モデル（Ａｎ Ｅｆｆｉｃｉｅｎｔ Ｔｒｕｅ−Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｏｒ Ｕｓｉｎｇ Ｃａｎｄｉｄａｔｅ Ｖｅｃｔｏｒｓ ｆｒｏｍ ａ Ｐａｒａｍｅｔｒｉｃ Ｍｏｔｉｏｎ Ｍｏｄｅｌ）」 アイトリプルイー トランザクション オン サーキッツ アンド システムズ フォー ビデオ テクノロジー（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ）， ｖｏｌ．８， Ｎｏ．１ １９９８年２月 欧州特許出願公開ＥＰ ０５７８２９０

本発明は、動きベクトルの検出を改良し、さらに、動きベクトルを決定するために改良された方法および動き検出回路を提供することである。

上記目的は、独立形式の請求項により達成される。

本発明の第１の局面によれば、ビデオ画像のシーケンスにおける現在の画像を構成するブロックについて動きベクトルを決定する方法が提供される。各ビデオ画像は、複数のブロックに分割される。上記方法は、先行して決定された動きベクトル、および予め定められた最新ベクトルを組み合わせることにより現在のブロックについて動きベクトルを決定する。上記最新ベクトルの大きさは、現在のブロックを含む画像データが映画タイプの画像の流れに逆らっているか否かに依存して設定される。

本発明のさらなる局面によれば、ビデオ画像のシーケンスにおける現在の画像を構成するブロックについて動きベクトルを決定する動き検出回路が提供される。各ビデオ画像は、複数のブロックに分割される。先行して決定された動きベクトル、および予め定められた最新ベクトルを組み合わせることにより現在のブロックについて動きベクトルを決定する。動き検出回路は、映画モード検出器および調整手段を備えている。映画モード検出器は、元々が映画タイプの画像であるか否かを判定する。調整手段は、現在のブロックを含む画像データが元々映画タイプの画像であるか否かに基づいて最新ベクトルの大きさを設定する。

本発明の具体的なアプローチは、動きベクトル検出のために予測ベクトルの決定を行っている間に最新ベクトルを調整することにより、動きベクトルの予測を改良することである。この目的のために、画像データのタイプが考慮され、その結果、最新ベクトルが設定される。もし、決定すべき動きベクトルについて、元々映画の画像データから生じた画像データになると、先行して決定された動きベクトルと、現在のブロックについて最高の動きベクトルとの間に大きな差が生じることが見込まれる。従って、最新ベクトルの大きさは、映画データについて増加する。このように、動き検出の質を改善し、さらに動き補償された画像上で視認可能な影響を減らすためには、現在の画像ブロックについて動きベクトル予測は、特定の画像タイプ特性を考慮に入れる。

好ましくは、ビデオシーケンスの変換パターンを検出することにより、映画タイプの判定が実行される。この変換パターンは、映画タイプからビデオタイプのデータへの変換の間に用いられるプルダウン方式を表す。

好ましい実施形態では、画像タイプは、画像に基づいて、つまり、フィールド単位またはフレーム単位で判定される。これによれば、コンピュータに対して負担の低いことだけが要求され、信頼性の高い動きベクトル予測が実現できる。

代替的な好ましい実施形態では、画像タイプ、特に映画モードまたはビデオモードは、ブロックに基づいて判定される。従って、画像タイプについて、さらに正確な判定が可能であり、さらに、本発明には、画像タイプが混在する複数の画像シーケンスに応用できるという利点がある。この種の画像シーケンスは、映画データおよびビデオカメラデータのような異なるものから生じる画像データを含んでいる。

好ましくは、最新ベクトルの大きさは、非映画タイプの画像データの最新ベクトルより大きい１．５および２．５の間の係数に設定される。好ましくは、映画タイプについて、最新ベクトルの大きさは２倍に設定される。従って、もし、入力画像シーケンスの１画像おきに異なる動きの局面だけが存在しても、動きベクトルは正確に判定されうる。

最新ベクトル、つまり、特定サイズの最新ベクトルは、予め定められた複数の最新ベクトルから選ばれることが好ましい。これにより、現在の動きベクトル検出の間に適用される最新ベクトルは、単純で実効的な方法で決定される。

また、好ましい実施形態によれば、動き検出は、複数の候補ベクトルに基づいて実行される。複数の候補ベクトルは、先行して決定された動きベクトルおよび所定の最新ベクトルを組み合わせることにより検出された動きベクトルを含む。それぞれの候補ベクトルは、現在のブロックについて個々に動き検出を定義する。このような複数の候補動きベクトルについて限定された組に基づいて、動きベクトルの決定は、実行される。しかも、このような動きベクトルの決定は、最小限のハードウェアの負担および最低限の計算を用いるだけで実行可能であり、信頼できる結果が得られる。

現在のブロックの動きを確実に検出するために、異なる動きベクトル の予測が提供される。特に、異なる予測は、先行して決定されかつ同じ動きベクトルに基づいており、複数の所定の最新ベクトルから取得され、異なる複数の最新ベクトルと組み合わされる。これにより、最も一致度合いの高い動きベクトルが、簡単にかつ実効的な方法で決定されうる。

先行して算出されかつ最新ベクトルと合成されるべき動きベクトルは好ましくは、現在のブロックと同一のブロック位置を指示するゼロ動きベクトル、現在の画像が有する隣接するブロックについて決定される動きベクトル、および先行する画像のブロックについて決定される動きベクトルから選ばれる。このような方法で候補ベクトルを限られた数にすることにより、低いハードウェアおよび計算の負担で、実行的で確実に動きベクトルを決定することが可能になる。

動きベクトルを決定するための全検索に対し、本発明の動きベクトル検出は、好ましくは、現在のブロックと同一のブロック位置を指示するゼロ動きベクトル、現在の画像において隣接するブロックについて決定された動きベクトル、および先行する画像のブロックについて決定された動きベクトルから取得された少なくとも１つを含む候補ベクトルに基づく。このような限られた動きベクトルの組により、高速で確実な動きベクトルの決定が可能になる。

本発明の好適な実施形態は、従属請求項に記載の発明に対応する。
本発明の上記および他の目的および特徴は、以下の説明、および添付の図面と共に与えられる好適な実施形態からより明らかとなる。

本発明は、デジタル信号処理に関し、具体的には、最近のテレビジョン受像機に関する。最新のテレビジョン受像機は、再生画像の品質向上のために、アップコンバージョンアルゴリズムを採用している。この目的のために、後の２画像から中間画像が生成されている。中間画像を生成するために、移動オブジェクトの動きは、補間画像により表される時点におけるオブジェクトを適切な位置に適合させるよう考慮されなければならない。

動き検出は、ブロック単位で実行される。この目的のために、受信画像のそれぞれは、例えば図１に図示されるように、複数のブロックに分割される。今回のブロックのそれぞれは、前の画像において、最も一致度合いの高いブロックを判定することによる動き検出に向けられる。

所定の範囲内で、時間のかかる全検索を避けるために、限られた候補ベクトルの組のみが動き検出器に与えられる。これらの候補ベクトルから、動き検出器は、所定のベクトルを選択する。所定のベクトルは、過去の画像の各ブロックから、今回のブロックを最低限の偏差で評価することができる。

図４は、所定の大きさを有する複数のブロックＢ（ｘ，ｙ）にビデオ画像が分割されることを示す。各ブロックは、幅Ｘおよび高さＹを有する。ここで、ＸおよびＹは、行方向および列方向の画素数を表す。行方向または列方向のブロックの数は、次式を用いることで算出できる。

ｘ_max＝行方向の画素数／Ｘ
ｙ_max＝列方向の画素数／Ｙ

これらブロックのそれぞれについて、動きベクトルは、相違する複数の候補ベクトルからが算出される。従来の候補ベクトルの組は例えば、下記のような動きベクトルを含む。

ここで、ｎは、現在のフィールドを示し、ｎ−１は、前のフィールドを示す。また、ｕは、最新ベクトルを示す。

上記７個の式から理解できるように、候補ベクトルは、ゼロベクトルである動きベクトル（Ｃ₁ ）、空間予測に向けられた隣接ブロックの動きベクトル（Ｃ₂ ，Ｃ₃ ）および／または時間予測に向けられた前の画像の動きベクトル（Ｃ₆ ，Ｃ₇ ）を含んでいても構わない。

空間予測は、空間予測ベクトルＣ₂ およびＣ₃ に積算される最新ベクトルを使うことで改良されうる。選択された候補ベクトルに対する移動オブジェクトの小さな変化を考慮するために、最新ベクトルは、新たな候補ベクトルＣ₄ およびＣ₅ を生成するために動きベクトルに応用される。上記において、最新ベクトルｕは、候補ベクトルＣ₂ およびＣ₃ にのみ応用されるとして説明したが、例えば候補ベクトルＣ₆ およびＣ₇ のような他の候補ベクトルに対し同様に応用されても構わない。

上述した時間予測ベクトルＣ₆ およびＣ₇ には、２ブロックのオフセットを有する候補ベクトルが利用されるとしたが、２ブロックのオフセットの代わりに、オフセットを用いなかったり、例えば１ブロックまたは３ブロックのような他のオフセットが用いられたりしても構わない。

時間予測ベクトルは現在の画像および前の画像に関し説明したが、言葉しての画像は、インターレース方式の映像シーケンスが有するフィールドに関連していたり、プログレッシブ方式の映像シーケンスが有するフレームに関連していたりしても構わない。同様に、生成される中間画像が、映像シーケンスの種類に依存してフィールドまたはフレームである場合もある。

さらに、複数の候補ベクトルは、上述したもの全てにより完成するものでも無く、さらには、全てを含まなくても良い。他の候補ベクトルの組が、今回のブロックに最もマッチングがとれた動きベクトルを判定するために用いられても構わない。

また、候補ベクトルのそれぞれに対し予測誤差は、ベストマッチの動きベクトルを判定するために算出され評価される。予測誤差として、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）が測定される。その候補ベクトルは、最小のＳＡＤを有するブロックの動きを最も良く表すよう選ばれ考慮される。

動きベクトルの候補Ｃ₁ からＣ₇ のいくつかが他の候補ベクトルに対し優先される場合、プログラム可能なペナルティが、個々の候補向けに測定されたＳＡＤに加算されても構わない。この場合、特定の候補を選ぶことで、優先化される。好ましくは、ペナルティ値は、動きベクトルの候補Ｃ₄ およびＣ₅ 向けの最新ベクトルｕの長さに比例する。

上述した候補ベクトルに加え、グローバル動きベクトルがさらに考慮されても構わない。グローバル動きベクトルは、ビデオ画像の全ブロックに適用可能な動きを表す。このような動きベクトルは、カメラパンに適切に応用される。

上述した候補ベクトルＣ₁ からＣ₇ は、図２に示すように空間的に隣接するブロックから取得され、先行して算出された動きベクトルを含む。これら候補ベクトルは、今回のブロックＢ（ｘ，ｙ）の位置から、それに隣接する既に処理されたブロックＢ（ｘ−１，ｙ）およびＢ（ｘ，ｙ−１）へと向かい、それぞれを候補ベクトルＣ₂ およびＣ₃ として含む。

候補ベクトルＣ₆ およびＣ₇ は、先行するフィールドｎ−１について既に算出された動きベクトルを表している時間予測ベクトルを表す。時間動き予測ベクトルの一例が図３に示されている。ここで、ブロックＢ’（ｘ＋２，ｙ）およびＢ’（ｘ，ｙ＋２）は予測ベクトルとして目印が付けられている。

時間予測ベクトルは、シーンの動きが多くのフィールドにわたってほぼ一定の場合に、移動オブジェクトの均質なスピードを規定する。動き検出アルゴリズムにより生成されたベクトル情報に基づいて、中間フィールドは、動き補償技術を使って補間される。

既知のフィールドレートコンバータの一例が図４に示される。動き検出回路ＭＥは、動きベクトルフィールドを算出し、算出した動きベクトルを動き補償後補間回路ＭＣＩに与える。動き補償後の出力画像は、それに接続されたディスプレイ装置に表示される。

アップコンバートアルゴリズムは、ハイエンドモデルのテレビジョン受像機に用いられるが、元々の素材が映画である場合に低画質になるという問題を生ずる。また、高速な動きの場合、移動オブジェクトの境界線は、補間処理の間、再構成されない。これは、正しい動きベクトルに向かって１つにまとまるために、相当数の検出ステップが要求されることにより引き起こされる。カメラ素材の場合、正しい動きベクトルを取得するために必要とされる検出ステップ数は、映画素材のために要求される処理数の約半分だけである。映画から生成された映像シーケンスと比較して、カメラ素材の画像間の動き量が少ないことに起因する。

互いに異なる動きの推移、つまり、カメラおよび映画カメラのいずれかにより記録されたもの、そして、映画カメラによる動画データからビデオカメラのものに変換されたものが、図５−図７に示されている。

図５は、５０Ｈｚまたは６０Ｈｚのフィールドレートのインターレース形式を有する電気カメラにより記録された動きの段階を示す。それに対し、同じシーンを映画カメラで記録したものが図６に示されている。映画カメラのデータは、ＰＡＬ、ＳＥＣＡＭまたはＮＴＳＣのようなテレビジョン規格の映像データと比較して、相対的に少ない動きの段階でそのシーンを表すだけである。

図６に示すような映画のデータを、映像形式のようなテレビジョン規格のものに変換する場合、映画上での動きの段階は、複数のフィールドに繰り返し変換される。図７から理解されるように、映画上での各動きの段階は、２−２プルダウン変換に従って、連続する２フィールドに変換される。

図５および図７のビデオシーケンスにおいて表され、異なる動きの段階におけるオブジェクトの位置を比較した場合、図７に示す動きの段階に基づく時間予測にはかなり誤差が生じやすい。図７のビデオシーケンスの数画像だけ異なる動きの段階を表しており、時間動きベクトル予測は、複数段階間の移動オブジェクトの大きな変位に対処しなければならない。

ビデオシーケンスに適用される動き検出は、両方の種類の画像データ、つまり、ビデオモードのデータおよび映画モードのデータを正確に考慮することはできない。従って、動きベクトル予測は、一般的に、映画から得られる高速な移動オブジェクトを欠落させる。その結果、高速移動オブジェクトについて、動き補償されたフィールドのシーケンスには、視認可能な大きな影響が生じる。この種の影響は、特に、移動オブジェクトの境界線に生じる。

本発明では、予測動きベクトルの大きさを適応させることにより問題が解決される。ビデオモードでは、空間最新ベクトルは、映画モードにおけるそれに対し小さく設定され、より大きな最新ベクトルが用いられる。

先行技術では、ビデオモードおよび映画モードの画像データそれぞれに同一の最新ベクトルが適用される。その結果、両モードに対する動きベクトル予測は適切ではなくなる。それに対し、本発明は、異なるタイプの映像データ間で相違し、その結果、長さおよび方向についてより適切な動きベクトルが得られる。これにより、動きベクトルの決定を、正確、確実かつ実効性のあるものに改良することできる。

概して、空間動きベクトルにおいて候補ベクトルは下記のように定義される。

候補ベクトルｕは、複数の最新ベクトルＳＥＴ_updateの組から、ランダムに選ばれる。この最新ベクトルは、実際に検索されたブロックについて検出された素材モードに依存して変更される。元々が映画の場合、最新ベクトルに使われる値の組は、元々がビデオであるものに対する最新ベクトルの値よりも大きい必要がある。図５および図７に例示されるように、映画素材については、動きベクトルは大きく設定される。

本発明によれば、映画モードであるか、ビデオモードであるかは、ブロックに基づいて判定される。従って、状態信号が、好ましくは現在のモードを二値形式（例えば、ビデオブロックであれば「０」で、元々が映画であるものについては「１」）で示す各画像ブロックに割り当てられる。

好ましい実施形態では、空間最新ベクトルの組（ＳＥＴ_update）は、下記の通り設定される。

また、最新ベクトルは、下記のように割り当てられても構わない。

全ての候補ベクトルについて、誤差が、好ましくは差分絶対和（ＳＡＤ）が算出される。さらに好ましい実施形態によれば、本発明に係る最新ベクトルを用いて決定された動きベクトルの候補について差分絶対和の値は、いわゆるペナルティ値を加算することで変更される。このようにして、候補ベクトルＣ₄ およびＣ₅ には、ペナルティが課されうる。ここで、加算値は、最新ベクトルｕの長さに比例する。その後、動き検出回路は、ペナルティが課されたＳＡＤ値の中から、現在のブロックについて最小のＳＡＤ値を有する動きベクトルとして、候補ベクトルを選択する。

ここで、空間最新ベクトルの総数および値は、上述の実施形態と異なるように設定されても構わないことは、当業者にとって自明の範囲内である。また、選ばれた２個の空間最新ベクトルに基づいて、動きベクトル予測を擬似ランダムに選択する代わりに、候補ベクトルは、先行して決定された動きベクトルおよび異なる最新ベクトルに基づく３個以上の候補ベクトルを含んでいても構わない。また、予め定められた複数の最新ベクトルＳＥＴ_updateにおいて、最新ベクトルとなりうる全てに対応する候補ベクトルの数が適用されても構わない。

以上では、主として、中間画像の補間を背景に、特に最新のテレビジョン受像機におけるフレームレート変換について、本発明を説明したが、本発明に係る改良された動き検出は、ビデオデータ圧縮に相当するものに適用されても構わない。

ビデオデータ圧縮は、一般的に、多くの段階を経る。個々の画像は、ブロック単位でデータ圧縮の対象となるため、複数の画素からなるブロックに分割される。このようなブロック分割は、図１に示すような分割であっても構わない。画像に含まれる空間的な冗長さは、空間領域から周波数領域に各ブロックに含まれる画素を変換するために、変換ユニットに各ブロックを処理させることで低減される。このようにして変換された係数は量子化され、量子化された変換係数は、エントロピー符号化される。

さらに、後続の画像のブロック間の時間的従属性は、後続の画像間の差分を送信するためだけに使われる。これは、動き検出／補償技術を用いることにより実現される。時間的従属性は、統計型符号化と共に時間圧縮および空間圧縮技術を組み合わせたいわゆるハイブリッド符号化技術を実行する際に用いられる。

図８には、ハイブリッド映像符号化器が例示されている。参照符号「１」で一般的に示す映像符号化器は、減算器１０をまず備える。減算器１０は、今回のビデオ画像と、動き補償されかつ先行して符号化され画像に基づく今回の画像の予測信号との差分を決定する。変換／量子化ユニット２０は、空間領域から周波数領域へと予測誤差を変換し、そうして得られた変換係数を量子化する。エントロピー符号化ユニット９０は、量子化された変換係数をエントロピー符号化する。

符号化器１は、入力ビデオシーケンスの後続画像間の差分を送信するだけの差分パルス符号変調（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ：ＤＰＣＭ）を備えている。これら差分は、符号化されるべきビデオ画像と、減算されるべき予測信号とを受け取る減算器１０により決定される。

予測信号は、デコーダ側で先行して符号化された画像の復号結果に基づく。画像の復号は、映像符号化器に組み込まれる復号ユニットにより実行される。復号ユニットは、符号化ステップと反対の処理を実行する。逆量子化／逆変換ユニット３０は、量子化された係数を逆量子化し、逆量子化された係数を逆変換する。加算器３５は、復号された差分と予測信号とを積算する。

予測信号は、現在および先行のフィールドまたはフレーム間の動きを検出した結果として得られる。動き検出は、現在の入力信号および内部で復号された画像とを受信する動き検出器７０により実行される。動き検出は好ましくは、本発明に従って実行される。動き検出の結果に基づき、動き補償は、動き補償器６０により実行される。

要約すると、本発明は、動き検出のための改良された方法を提供し、さらに、動き補償後補間に特に向けられた方法を提供する。ビデオデータの元を考慮することにより、空間予測ベクトルを決定するために用いられる最新ベクトルのサイズは、検出されたモードに従って設定される。適切な最新ベクトルの大きさを選択することにより、予測された動きの精度が顕著に向上し、従って動き補償後の補間画像の画質も顕著に向上する。

本発明に係る動きベクトル検出は、より正確な動きベクトルを決定することが要求されるテレビジョン受像機または映像符号化器等に有用である。

動き検出および動き補償のために、均等なサイズの複数のブロックにビデオ画像を分割した様子を示す図 現在のブロックＢ（ｘ，ｙ）および空間予測される複数の位置を示す図 現在のブロックＢ（ｘ，ｙ）および空間予測および時間予測される複数の位置を示す図 画像レート変換器の構成を示す図 ビデオカメラからのビデオシーケンスにおける動きの推移を示す図 映画シーケンスにおける、図５と同じ移動オブジェクトの動きの推移を示す図 図６に示す映画シーケンスから変換されたビデオシーケンスにおける動きの遷移を示す図 本発明に係る動き検出回路を含む映像符号化器の構成を示す図

符号の説明

１０ 減算器
２０ 変換／量子化ユニット
３０ 逆変換／逆量子化ユニット
３５ 加算器
６０ 動き補償器
７０ 動き検出器
９０ エントロピー符号化ユニット

Claims (32)

1. それぞれが複数のブロックに分割されているビデオ画像のシーケンスにおける現在の画像を構成するブロックについて、動きベクトルを決定するための方法であって、前記方法は、先行して決定された動きベクトルに予め定められた最新ベクトルを加算することにより、現在のブロックについて動きベクトルを決定し、
   前記方法は、現在のブロックを含む画像データが元々映画タイプの画像である場合、当該現在のブロックを含む画像データが元々ビデオタイプの画像である場合に比べて、前記最新ベクトルの大きさを大きく設定することを特徴とする、方法。
2. 元々が映画タイプの画像であるか否かは、ビデオ画像のシーケンスにおいて、映画からビデオへの変換パターンの検出に基づいて決定される、請求項１に記載の方法。
3. 前記変換パターンは、２：２または３：２である、請求項２に記載の方法。
4. 画像データが元々映画タイプであるとの決定は、画像に基づいて、特に、フィールド毎にまたはフレーム毎になされる、請求項１−３のいずれかに記載の方法。
5. 画像データが元々映画タイプであるとの決定は、ブロックに基づいてなされる、請求項１−３のいずれかに記載の方法。
6. 前記最新ベクトルの大きさは、画像データが元々映画タイプである場合、当該画像データが元々ビデオタイプの画像である場合に比べて、大きく設定される、請求項１−５のいずれかに記載の方法。
7. 前記最新ベクトルの大きさは、画像データが元々映画タイプである場合、当該画像データが元々ビデオタイプの画像である場合に比べて、１．５−２．５倍の大きさに設定される、請求項６に記載の方法。
8. 前記最新ベクトルは、予め定められた複数のものの中から選ばれる、請求項１−７のいずれかに記載の方法。
9. 前記方法はさらに、
   先行して決定された動きベクトルに予め定められた最新ベクトルを加算することにより検出された動きベクトルを含む、複数の候補動きベクトルの中から、前記現在のブロック向けの動きベクトルを選択する選択ステップと、
   前記現在のブロックに、選択された動きベクトルを割り当てる割り当てステップとを備える、請求項１−８のいずれかに記載の方法。
10. 前記選択ステップは、
    候補動きベクトルのそれぞれについて誤差値を計算する計算ステップと、
    最小の誤差を有する動きベクトルを選択する選択ステップとを含む、請求項９に記載の方法。
11. 前記候補動きベクトルは、先行して決定された動きベクトルに、予め定められた複数から選ばれかつ異なる複数の最新ベクトルのいずれかを加算したベクトルを複数個含む、請求項９または１０に記載の方法。
12. 前記先行して決定される動きベクトルは、
    現在のブロックと同一のブロック位置を指示するゼロ動きベクトル、
    現在の画像において隣接するブロックについて決定された動きベクトル、および
    先行する画像におけるブロックについて決定される動きベクトルのうち、少なくとも１つの動きベクトルを含む、請求項９−１１のいずれかに記載の方法。
13. 前記候補動きベクトルはさらに、
    現在のブロックと同一のブロック位置を指示するゼロ動きベクトル、
    現在の画像に隣接するブロックについて決定される動きベクトル、および
    先行する画像におけるブロックについて決定される動きベクトルのうち、
    少なくとも１つの動きベクトルを含む、請求項９−１２のいずれかに記載の方法。
14. 請求項１−１３のいずれかに記載の動き検出方法を用いた動き補償を含むビデオ画像のシーケンスを符号化する方法。
15. 請求項１−１３のいずれかに記載の動き検出方法を用いた動き補償を含むビデオ画像のシーケンスを補間する方法。
16. 請求項１５に記載の動き補償を含むビデオ画像のシーケンスを補間する方法を用いることにより、ビデオシーケンスのフィールドレートまたはフレームレートを変換する方法。
17. それぞれが複数のブロックに分割されているビデオ画像のシーケンスにおける現在の画像を構成するブロックについて、動きベクトルを決定するための動き検出回路であって、前記動き検出回路は、先行して決定された動きベクトルに予め定められた最新ベクトルを加算することにより、現在のブロックについて動きベクトルを決定し、
    前記動き検出回路は、
    現在のブロックを含む画像データが元々映画タイプの画像であるか否かを判定する映画モード検出器と、
    現在のブロックを含む画像データが元々映画タイプの画像である場合、当該現在のブロックを含む画像データが元々ビデオタイプの画像である場合に比べて、前記最新ベクトルの大きさを大きく設定する調整手段とを備えることを特徴とする、動き検出回路。
18. 前記映画モード検出器は、ビデオ画像のシーケンスにおいて、映画からビデオへの変換パターンを検出することに基づいて、画像データが元々映画タイプの画像であると決定する、請求項１７に記載の動き検出回路。
19. 前記変換パターンは、２：２または３：２である、請求項１８に記載の動き検出回路。
20. 前記映画モード検出器は、画像に基づいて、特に、フィールド毎にまたはフレーム毎に、画像データが元々映画タイプのものであると決定する、請求項１７−１９のいずれかに記載の動き検出回路。
21. 前記映画モード検出器は、ブロックに基づいて、画像データが元々映画タイプのものであると決定する、請求項１７−１９のいずれかに記載の動き検出回路。
22. 前記調整手段は、画像データが元々映画タイプである場合、当該画像データが元々ビデオタイプの画像である場合に比べて、前記最新ベクトルの大きさを大きく設定する、請求項１７−２１のいずれかに記載の動き検出回路。
23. 前記調整手段は、画像データが元々映画タイプである場合、当該画像データが元々ビデオタイプの画像である場合に比べて、前記最新ベクトルの大きさを、１．５−２．５倍の大きさに設定する、請求項２２に記載の動き検出回路。
24. 前記調整手段は、自身に備わるメモリに予め格納された複数のものの中から前記最新ベクトルを選択する、請求項１７−２３のいずれかに記載の動き検出回路。
25. 前記動き検出回路はさらに、先行して決定された動きベクトルに予め定められた最新ベクトルを加算することにより検出された動きベクトルを含む、複数の候補動きベクトルの中から、前記現在のブロック向けの動きベクトルを選択するセレクタを備える、請求項１７−２４のいずれかに記載の動き検出回路。
26. 前記セレクタは、
    候補動きベクトルのそれぞれについて誤差値を計算する処理ユニットと、
    最小の誤差を有する動きベクトルを選択する比較器とを含む、請求項２５に記載の動き検出回路。
27. 前記候補動きベクトルは、先行して決定された動きベクトルに、予め定められた複数から選ばれかつ異なる複数の最新ベクトルのいずれかを加算したベクトルを複数個含む、請求項２５または２６に記載の動き検出回路。
28. 前記先行して決定される動きベクトルは、
    現在のブロックと同一のブロック位置を指示するゼロ動きベクトル、
    現在の画像において隣接するブロックについて決定された動きベクトル、および
    先行する画像におけるブロックについて決定される動きベクトルのうち、少なくとも１つの動きベクトルを含む、請求項２５−２７のいずれかに記載の動き検出回路。
29. 前記候補動きベクトルはさらに、
    現在のブロックと同一のブロック位置を指示するゼロ動きベクトル、
    現在の画像に隣接するブロックについて決定される動きベクトル、および
    先行する画像におけるブロックについて決定される動きベクトルのうち、
    少なくとも１つの動きベクトルを含む、請求項２５−２８のいずれかに記載の動き検出回路。
30. 請求項１７−２９のいずれかに記載の動き検出回路を用いた動き補償を含むビデオ画像のシーケンスを符号化する符号化器。
31. 請求項１７−２９のいずれかに記載の動き検出回路を用いた動き補償を含むビデオ画像のシーケンスを補間する補間器。
32. 請求項３１に記載の補間器を用いることにより、ビデオシーケンスのフィールドレートまたはフレームレートを変換する変換器。

Images