JP4711712B2

JP4711712B2 - 行ベクトルおよび列ベクトルを用いた動きベクトル検出

Info

Publication number: JP4711712B2
Application number: JP2005096240A
Authority: JP
Inventors: フープリッヒラルフ; エックハードットミヒャエル
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2004-03-30
Filing date: 2005-03-29
Publication date: 2011-06-29
Anticipated expiration: 2025-03-29
Also published as: JP2005287047A; CN100452832C; US20050243928A1; EP1583367A1; CN1678023A; KR20060044942A; US7852937B2

Description

本発明は、動き検出の改良に関する。より具体的には、本発明は、映像シーケンスにおける画像ブロック間の動きベクトルを検出するための方法、および、それに相当する動き検出回路に関する。

動き検出の応用範囲は、特に、最新のテレビジョン受像機のデジタル信号処理において増加している。具体的には、最新のテレビジョン受像機は、特にアップコンバージョンまたは動き補償後のアップコンバージョンの形式で、再生画像の品質を向上させるためにフレームレートの変換を行う。例えば、フィールド周波数またはフレーム周波数が５０Ｈｚの映像シーケンスに対して動き補償後アップコンバージョンを行うと、６０Ｈｚ、６６．６７Ｈｚ、７５Ｈｚまたは１００Ｈｚ等のような、より高い周波数に変換される。５０Ｈｚの入力信号周波数は主として、ＰＡＬまたはＳＥＣＡＭに基づくテレビジョン放送に用いられるが、ＮＴＳＣの映像信号の入力信号周波数は６０Ｈｚである。６０Ｈｚの入力信号周波数は、７２Ｈｚ、８０Ｈｚ、９０Ｈｚまたは１２０Ｈｚ等、より高い周波数にアップコンバートされる場合がある。

アップコンバート時には、５０Ｈｚまたは６０Ｈｚの入力ビデオシーケンスでは表されない時間位置のビデオコンテンツを反映する中間画像が生成される。この目的のためには、移動オブジェクトの動きによって生じる後続の画像間の変化を適切に反映するために、そのオブジェクトの動きを考慮する必要がある。オブジェクトの動きは、ブロック単位で算出され、動き補償は、前後の画像間に新たに生成された画像の相対的時間位置に基づいて実行される。

動きベクトル決定のために、各画像は複数のブロックに分割される。前の画像とのオブジェクトの位置変化を検出するために、各ブロックに対して動き検出が行われる。所定の検索範囲内で前の画像内でベストマッチのブロックを検出するための時間を要する全検索アルゴリズムは、好ましくは、複数の所定の候補ベクトルを用いることによって回避される。これらの候補ベクトルの組は、所定の最も適切な動きベクトルを多数含む。

動きベクトルは、候補ベクトルの各々について計算された誤差値に基づいて候補ベクトルから選択される。この誤差は、現在のブロックと、個々の候補ベクトルに応じて選択された前の画像内の候補ブロックとの一致度を評価する。最小の誤差を有する、最も一致するベクトルが現在のブロックの動きベクトルとして選択される。現在のブロックと前のブロックとの類似度の尺度として、差分絶対和（ＳｕｍｍｅｄＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅｓ：ＳＡＤ）を用いても構わない。

所定の候補ベクトルの組は、現在の画像の隣接するブロックについてすでに決定された候補ベクトルとして、前の画像内において同様の位置等にあるブロックについて決定された動きベクトルを含んでいても構わない。

下記の非特許文献１には、グローバル動きベクトルを候補ベクトルとして算出することが記載されている。このグローバル動きベクトルは、画像の全てのブロックに共通した動きを反映する。

下記の特許文献１にはさらに、複数の候補ベクトルが記載されており、これら候補ベクトルは、今回の画像が有する周辺ブロックに基づいている。また、これらベクトルの長さおよび方向は、ランダムな大きさを有する最新のベクトルを加算することで修正される。今回のブロックの動きベクトルとしてのベクトル種別の選択は、各ＳＡＤに対する所定のペナルティ値を加算することで制御される。ペナルティ値が加算されると、今回のブロックの動きベクトルとして選ばれる見込みがそれぞれ減ることになる。

画像補間に加え、動き検出は、時間的な冗長さを利用するために、映像の符号化中にも用いられる。この目的のため、複数の映像符号化規格が開発されており、Ｈ．２６ｘまたはＭＰＥＧ−ｘのような符号化規格が広く用いられている。
ジェラルド・デ・ハーン（ＧｅｒａｒｄｄｅＨａａｎ）他「エフィシエントトゥルーモーションエスティメータユージングキャンディデイトベクトルフロムパラメトリックモーションモデル（ＡｎＥｆｆｉｃｉｅｎｔＴｒｕｅ−ＭｏｔｉｏｎＥｓｔｉｍａｔｏｒＵｓｉｎｇＣａｎｄｉｄａｔｅＶｅｃｔｏｒｓｆｒｏｍａＰａｒａｍｅｔｒｉｃＭｏｔｉｏｎＭｏｄｅｌ）」アイトリプルイートランザクションオンサーキッツアンドシステムズフォービデオテクノロジー（ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓｆｏｒＶｉｄｅｏＴｅｃｈｎｏｌｏｇｙ），ｖｏｌ．８，Ｎｏ．１１９９８年２月欧州特許出願公開ＥＰ０５７８２９０

本発明は、動き検出をさらに改良し、動きベクトルを決定するために改良された方法および動き検出回路を提供することを目的とする。

上記目的は、独立形式の請求項により達成される。

本発明の第１の局面によれば、映像画像のシーケンスにおける現在の画像を構成するブロックについて動きベクトルを決定する方法が提供される。各ビデオ画像は、複数のブロックに分割される。動きベクトルは、ビデオ画像のシーケンスにおいて先行する画像におけるブロックの行および列を構成するブロック全てについて決定される。ブロックの行および列は、現在の画像における現在のブロックに対応する位置に位置するブロックを含む。決定された行動きベクトルまたは列動きベクトルを、前記現在のブロックに割り当てられる。

本発明のさらなる局面によれば、ビデオ画像のシーケンスにおける現在の画像を構成するブロックについて、動きベクトルを決定する動き検出回路が提供される。各ビデオ画像は、複数のブロックに分割されている。計算ユニットは、ビデオ画像のシーケンスにおいて先行する画像におけるブロックの行および列を構成するブロック全てについて動きベクトルを決定する。ブロックの行および列は、現在の画像における現在のブロックに対応する位置に位置するブロックを含んでいる。セレクタは、決定された行動きベクトルまたは列動きベクトルを、前記現在のブロックに割り当てる。

本発明の具体的な局面では、ビデオ画像におけるブロックの行または列における顕著な動きを表す動き検出のための候補ベクトルが提供される。画像全体に適用できず、その結果、グローバル動きベクトルにより表現できない大きなオブジェクトの動きを、このような動きベクトルは検出することができる。先行する画像における行または列のブロック全てを用いることにより、行または列について顕著な動きは正確に検出され得る。

好ましくは、先行する画像から得られた動きベクトルだけが、所定の閾値を超える行動きベクトルまたは列動きベクトルの決定に考慮される。従って、やや小さい動きベクトルのランダム的な分布を実効的に排除され、行動きベクトルまたは列動きベクトルの決定に考慮されない。この目的のために用いられる好ましい閾値は、行方向または列方向への各ブロック長の１／３および２／３の間の動きベクトルの長さに対応し、最も好ましくは、各ブロック長の本質的に１／２の長さに対応する。

閾値は、２以上に設定されることが好ましく、さらに好ましくは、４画素であり、ブロックサイズに無関係である。好ましくは、閾値は、８画素を超える値に設定されない。従って、信頼できないベクトルは、行ベクトルまたは列ベクトルの算出から実効的に排除される。

好ましい実施形態によれば、行動きベクトルまたは列動きベクトルは、先行する画像における行または列それぞれのブロック動きベクトルの数が、所定の閾値を超える場合に決定されるだけである。これによって、行または列動きベクトルの検出の信頼性が上がる。特に、完全な行または完全な列を構成するブロックの割合は小さく、このような小さな割合に基づく動きベクトルの算出は実質的に避けられる。

好ましくは、行または列の動き検出に必要なブロックの最小数は、行または列について最大ブロック数の１／４および３／４の間の値に、最も好ましくは、本質的に、行または列について、最大ブロック数の１／２に相当する。ＰＡＬ規格の画像であり、ブロック幅が８画素の場合、最低４５の動きベクトルが、ブロックの列についての動きベクトルに考慮されなければならない。また、ＰＡＬ規格の画像であり、ブロックの高さが８画素の場合、最低３６の動きベクトルが、ブロックの列についてのベクトルに要求される。

好ましくは、所定の閾値は、行動きベクトルおよび列動きベクトルについて異なるように設定される。

また、好ましい実施形態によれば、動き検出は、現在のブロックについて最も一致度合いの高いベクトルを決定するために、前記行動きベクトルまたは前記列ベクトルを含む複数の候補ベクトルに基づいて実行される。それぞれが動き検出に用いられる動きベクトルについて限定された組に基づいて、動きベクトルの決定は、最小限のハードウェアの負担および最低限の計算を用いるだけで実行可能であり、信頼できる結果が得られる。

行方向または列方向に起こりうる動きを確実に検出するために、両方の動きベクトルが候補ベクトルにそれぞれ含まれる。

動きベクトルを決定するための全検索に対し、動き検出は好ましくは、現在のブロックと同一のブロック位置を指示するゼロ動きベクトル、現在のブロックに隣接するブロックについて決定され、更新ベクトルを加算することでベクトル長が変化するベクトル、および先行する画像のブロックについて決定される動きベクトルのうち、少なくとも１つを含む候補ベクトルに基づく。

好ましくは、現在の画像に隣接するブロックは、現在のブロックがある同列または同行に含まれるブロックである。

好ましくは、更新ベクトルは、算出された動きベクトルにオフセット値を加算する。ここで、オフセット値は、オフセット値の固定的な組である。代替的に、オフセット値は、ランダムなまたは擬似ランダムな値である。従って、現在のブロックに対する候補ベクトルの動きからの小さな動きの変化は実効的に考慮される。

好ましくは、行動きベクトルまたは列動きベクトルは、先行する画像から得られる２つの隣り合う２つの行または列の動きベクトルに基づいて算出される。この方法により、以下の２つの技術的効果の双方またはそれぞれを奏することができる。第１に、大きな範囲にわたる動きが確実に検出される。第２に、画像毎に算出されるべき動きベクトルの個数が減るのと同様に、行／列ベクトルの決定に必要なコンピュータの負担も大きく削減される。同様に、候補ベクトルとして用いられる単一の動きベクトルを算出するために、例えば３、４または５のように、２を超える行または列を組み合わせることができる。

本発明の好適な実施形態は、従属請求項に記載の発明に対応する。
本発明の上記および他の目的および特徴は、以下の説明、および添付の図面と共に与えられる好適な実施形態からより明らかとなる。

本発明は、デジタル信号処理に関し、具体的には、最近のテレビジョン受像機に関する。最新のテレビジョン受像機は、再生画像の品質向上のために、アップコンバージョンアルゴリズムを採用している。この目的のために、後の２画像から中間画像が生成されている。中間画像を生成するために、移動オブジェクトの動きは、補間画像により表される時点におけるオブジェクトを適切な位置に適合させるよう考慮されなければならない。

動き検出は、ブロック単位で実行される。この目的のために、受信画像のそれぞれは、例えば図４に図示されるように、複数のブロックに分割される。今回のブロックのそれぞれは、前の画像においてベストマッチのブロックを判定することによる動き検出に向けられる。

所定の範囲内で、時間のかかる全検索を避けるために、限られた候補ベクトルの組のみが動き検出器に与えられる。これらの候補ベクトルから、動き検出器は、所定のベクトルを選択する。所定のベクトルは、過去の画像の各ブロックから、今回のブロックを最低限の偏差で評価することができる。

図４は、所定の大きさを有する複数のブロックＢ（ｘ，ｙ）にビデオ画像が分割されることを示す。各ブロックは、幅Ｘおよび高さＹを有する。ここで、ＸおよびＹは、行方向および列方向の画素数を表す。行方向または列方向のブロックの数は、次式を用いることで算出できる。

ｘ_max＝行方向の画素数／Ｘ
ｙ_max＝列方向の画素数／Ｙ

これらブロックのそれぞれについて、動きベクトルは、相違する複数の候補ベクトルからが算出される。従来の候補ベクトルの組は例えば、下記のような動きベクトルを含む。

ここで、ｎは、現在のフィールドを示し、ｎ−１は、前のフィールドを示す。また、ｕは、更新ベクトルを示す。

上記７個の式から理解できるように、候補ベクトルは、ゼロベクトルである動きベクトル（Ｃ₁）、空間予測に向けられた隣接ブロックの動きベクトル（Ｃ₂，Ｃ₃）および／または時間予測に向けられた前の画像の動きベクトル（Ｃ₆，Ｃ₇）を含んでいても構わない。

空間予測は、空間予測ベクトルＣ₂およびＣ₃に積算される更新ベクトルを使うことで改良されうる。選択された候補ベクトルに対する移動オブジェクトの小さな変化を考慮するために、更新ベクトルは、新たな候補ベクトルＣ₄およびＣ₅を生成するために動きベクトルに応用される。上記において、更新ベクトルｕは、候補ベクトルＣ₂およびＣ₃にのみ応用されるとして説明したが、例えば候補ベクトルＣ₆およびＣ₇のような他の候補ベクトルに対し同様に応用されても構わない。

上述した時間予測ベクトルＣ₆およびＣ₇には、２ブロックのオフセットを有する候補ベクトルが利用されるとしたが、２ブロックのオフセットの代わりに、オフセットを用いなかったり、例えば１ブロックまたは３ブロックのような他のオフセットが用いられたりしても構わない。

時間予測ベクトルは現在の画像および前の画像に関し説明したが、画像は、インターレース方式の映像シーケンスが有するフィールドに関連していたり、プログレッシブ方式の映像シーケンスが有するフレームに関連していたりしても構わない。同様に、生成される中間画像が、映像シーケンスの種類に依存してフィールドまたはフレームである場合もある。

さらに、複数の候補ベクトルは、上述したもの全てにより完成するものでも無く、さらには、全てを含まなくても良い。他の候補ベクトルの組が、今回のブロックに最もマッチングがとれた動きベクトルを判定するために用いられても構わない。

また、候補ベクトルのそれぞれに対し予測誤差は、ベストマッチの動きベクトルを判定するために算出され評価される。予測誤差として、ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅｓ）が測定される。その候補ベクトルは、最小のＳＡＤを有するブロックの動きを最も良く表すよう選ばれ考慮される。

動きベクトルの候補Ｃ₁からＣ₇のいくつかが他の候補ベクトルに対し優先される場合、プログラム可能なペナルティが、個々の候補向けに測定されたＳＡＤに加算されても構わない。この場合、特定の候補を選ぶことで、優先化される。好ましくは、ペナルティ値は、動きベクトルの候補Ｃ₄およびＣ₅向けの更新ベクトルｕの長さに比例する。

上述した候補ベクトルに加え、グローバル動きベクトルがさらに考慮されても構わない。グローバル動きベクトルは、ビデオ画像の全ブロックに適用可能な動きを表す。このような動きベクトルは、カメラパンに適切に応用される。

上述の候補ベクトルＣ₁からＣ₇は、ブロック単位の動きベクトルを表すが、グローバル動きベクトルは、完全な画像に応用されるだけである。画像において複数のブロックに及ぶ大きなオブジェクトは、単一のブロック単位の動き検出または全体の動き検出により適切に表現されない。グローバル動き検出は、全ブロックが一定の動きにより変化する場合に応用されるのみであるが、個々のブロックの動きは、少数の画素に基づいて算出されるのみであり、従って、算出された動きベクトルは、単一のブロック向けに正確な動き検出の判定に悪影響を与える雑音が重畳されるとかなり相違する場合がある。

本発明は、大きな移動オブジェクトの動き検出の精度を上げることにより、信頼できる動きベクトルを判定するための良好なアプローチを提供する。このようなオブジェクトの例が図１、２および３に示されている。図１は、画像において複数の行ブロックに及ぶ移動オブジェクトを示す。図２は、画像コンテンツに合成され、かつ画像から独立して移動する、別々のテキストを例示する。図３は、縦方向に画像を通過する映画のクレジットを例示する。これら全ての例は、個々のブロックよりもはるかに大きい画像領域をカバーする動きに関連するが、画像を完全にカバーしない。

より大きな画像領域を含む全ブロックの均等な動きをより精度良く決定可能にするために、本発明は、完全な行ブロックおよび完全な列ブロックの動きを表す、付加的な候補ベクトルＣ₈およびＣ₉を提案する。行方向または列方向に顕著な数のブロックの動きを表す場合、行候補ベクトルまたは列候補ベクトルは、この行方向または列方向に最も大きなオブジェクトの動きに対応する。これらブロックについて動きをより正確に表現することにより、行候補ベクトルまたは列候補ベクトルは、それらの画像領域について最も適切な動き検出として選択される。個々のブロックのために、それら候補ベクトルは適用されず、個々のブロックには、適切な動きベクトルとして、他のいずれかが選ばれても構わない。

本発明により導入された候補ベクトルは、下記の式により表現されることもできる。

図６および図７は、図１および図３に示す動画コンテンツ向けの行動きベクトルおよび列動きベクトルをそれぞれ示す。

行候補ベクトルＣ₈および列候補ベクトルＣ₉の計算について、以下詳説する。

現在の画像ｎ（フィールドまたはフレーム）についての動きベクトルの決定が終了するとすぐに、個々の行および列ベクトルの算出が開始される。算出された行および列ベクトルは、次のフィールドまたはフレームの動き検出時に用いられる。

まず、長さが短い動きベクトルは考慮に入れない。この目的のため、各ブロックの動きベクトルｖを所定の閾値ｖ_thrと比較する。その結果は、各ブロックに割り当てられた２進「ｖｅｃｔｈｒ」フラグに反映される。このフラグは、式（１）で示されるように算出される。

好ましくは、画像ｎの全てのブロックについて決められた動きベクトルの組については、所定の閾値ｖ_thrを超えない動きベクトルが０（０；０）に設定されるように変更される。この変更は式（２）によって反映される。

式（２）に従って、閾値弁別されたベクトルｖ_thresholdedが算出される。この閾値弁別されたベクトルは、前に算出されたフラグ（式（１）参照）が０であれば、０に設定される。その他の場合には、決定されたベクトルｖが、閾値弁別されたベクトルｖ_thresholdedに割り当てられる。

行または列ベクトルの算出のために、好ましくは、残りの（閾値化された）０以外のベクトルの平均値が算出される。しかしながら、当業者は、複数の行動きベクトルおよび複数の列動きベクトルの個々に共通した動きベクトルを表す動きベクトルを決定するために、任意の他のアルゴリズムを適用し得る。

行および列ベクトルの算出には、個々のブロック長、および閾値ｖ_thrを超えるブロック数が、以下の式（３）〜式（６）に示されるように累算される。

行および列ベクトルｖ_line，ｖ_columnは、以下の式（７）および式（８）に従って算出される。動きベクトルは、行または列の所定の閾値ｖ_thrを超えるブロック数が他の所定の閾値ｎｔｈｒ_lineまたはｎｔｈｒ_columnを超える場合にのみ算出される。

これら算出された行ベクトルおよび列ベクトルは、動き検出の間、候補ベクトルＣ₈およびＣ₉として、以下のフィールド／フレームに用いられる。

上記閾値ｖ_thr、ｎｔｈｒ_line、ｎｔｈｒ_columnに関して、好ましくは、以下の値が用いられる。

ここで、ｘ_maxおよびｙ_maxは、フィールドまたはフレーム全体の幅／高さを表す。これらの値は、好ましくは、８×８ピクセルのブロックサイズに用いられる。

上記説明では、行ベクトルおよび列ベクトルが個々の行および列の各々について算出されるものとして仮定しているが、共通の動きベクトルがさらにまたは代わりに２つの行または２つの列の組み合わせについて算出されてもよい。２つの行または２つの列に対する動きベクトルは、２つの行または２つの列内の主要な動きを示すオブジェクトに対する動き精度をさらに向上し得る。

複数の行または複数のラインの組み合わせにより引き起こされる重なりを避ける場合において、ハードウェアは簡素化される場合がある。

同様に、各大きさのオブジェクトについて、より正確な動きベクトルを提供するために、３行または３列以上（例えば、３、４または５の場合）を組み合わせても構わない。

閾値ベクトルｖ_thrは、行ベクトルおよび列ベクトルの計算のために均等に設定されるとして説明したが、行および列で異なる閾値が用いられても構わない。さらに、閾値ベクトルｖ_thrは、動きベクトルの水平方向成分および鉛直方向成分向けの２個の閾値に分離されても構わない。

本発明は、中間画像の補間、特に、最新のテレビジョン受像機におけるフレームレート変換に当てはめて前述したが、本発明のような改良された動き検出は、映像データの圧縮において対応する手法に応用されても構わない。

映像データの圧縮は、一般的に、多くの工程を費やしている。個々の画像それぞれは、、ブロックレベルで各画像をデータ圧縮するために、複数の画素からなる複数のブロックに分割される。このようなブロック分割は、図４に示すような分割に対応していても構わない。画像における空間的な冗長さは、空間領域から周波数領域に各ブロックを構成する画素を変換するための変換処理により削減される。その結果得られる変換係数は量子化され、さらに、量子化された変換係数は、エントロピー符号化の対象となる。

さらに、後続の画像のブロック間の時間的従属性は、後続の画像間の差分を送信するためだけに使われる。これは、動き検出／補償技術を用いることにより実現される。時間的従属性は、統計型符号化と共に時間圧縮および空間圧縮技術を組み合わせたいわゆるハイブリッド符号化技術を実行する際に用いられる。

図５には、ハイブリッド映像符号化器が例示されている。参照符号「５００」で一般的に示す映像符号化器は、減算器５１０をまず備える。減算器５１０は、今回のビデオ画像と、動き補償されかつ先行して符号化され画像に基づく今回の画像の予測信号との差分を決定する。変換／量子化ユニット５２０は、空間領域から周波数領域へと予測誤差を変換し、そうして得られた変換係数を量子化する。エントロピー符号化ユニット５９０は、量子化された変換係数をエントロピー符号化する。

符号化器５００は、入力ビデオシーケンスの後続画像間の差分だけを送信する差分パルス符号変調（ＤｉｆｆｅｒｅｎｔｉａｌＰｕｌｓｅＣｏｄｅＭｏｄｕｌａｔｉｏｎ：ＤＰＣＭ）を用いる。これら差分は、符号化されるべきビデオ画像と、減算されるべき予測信号とを受け取る減算器５１０により決定される。

予測信号は、デコーダ側で先行して符号化された画像の復号結果に基づく。画像の復号は、映像符号化器に組み込まれる復号ユニットにより実行される。復号ユニットは、符号化ステップと反対の処理を実行する。逆量子化／逆変換ユニット５３０は、量子化された係数を逆量子化し、逆量子化された係数を逆変換する。加算器５３５は、復号された差分と予測信号とを積算する。

予測信号は、現在および先行のフィールドまたはフレーム間の動きを検出した結果として得られる。動き検出は、現在の入力信号および内部で復号された画像とを受信する動き検出器５７０により実行される。動き検出は好ましくは、本発明に従って実行される。動き検出の結果に基づき、動き補償は、動き補償器５６０により実行される。

要約すると、本発明は、動き検出のための改良された方法を提供する。動き検出の間選択されるべき付加的な候補ベクトルとしては、ビデオ画像のブロックで構成される各行または各列について顕著な動きを表す行ベクトルまたは列ベクトルが算出される。このような行動きベクトルまたは列動きベクトルは、より大きな画像オブジェクトの動きをより正確に決定することを可能にし、それに対応して、テレビジョン受像機または映像符号化器における補間処理の改良を可能にする。

本発明に係る動きベクトル検出は、より正確な動きベクトルを決定することが要求されるテレビジョン受像機または映像符号化器等に有用である。

図１は、大きな移動オブジェクトを含むビデオ画像を例示する。図２は、ビデオコンテンツに、水平方向に動く、かちかちいう物体が合成される領域を有するビデオ画像を例示する。図３は、垂直方向に動くテキストを含むビデオ画像を例示する。図４は、動き検出および動き補償のために、所定の大きさを有する複数のブロックにビデオ画像を分割することを示す。図５は、動き検出を含む複合型ビデオエンコーダの構成例を示す。図６は、図３のビデオ画像における中央縦列のブロックの顕著な動きを示す縦方向の動きベクトルを示す。図７は、図１のビデオ画像における中央横列のブロックの顕著な動きを示す横方向の動きベクトルを示す。

５１０減算器
５２０変換／量子化ユニット
５３０逆変換／逆量子化ユニット
５３５加算器
５６０動き補償器
５７０動き検出器
５９０エントロピー符号化ユニット

Claims

それぞれが複数のブロックに分割されているビデオ画像のシーケンスにおける現在の画像を構成する対象ブロックについて、動きベクトルを決定するための方法であって、
前記ビデオ画像のシーケンスにおける先行する画像において、前記対象ブロックと水平方向の位置が同じブロック全体から構成される行の各ブロックの動きベクトル、及び前記対象ブロックと垂直方向の位置が同じブロック全体から構成される列の各ブロックの動きベクトルが所定の閾値を超えるか否かを比較し、
前記動きベクトルのうち、前記所定の閾値を超える動きベクトルの数をカウントし、
前記所定の閾値を超える動きベクトル数を、所定の数と比較し、
前記行毎または前記列毎にカウントされた数が前記所定の数以上の場合に限り、前記列の動きベクトルである列ベクトルまたは前記行の動きベクトルである行ベクトルを決定する決定ステップと、
前記決定された行ベクトルまたは列ベクトルを含む複数の候補ベクトルの中から、動きベクトルを選択することによって、前記動きベクトルを前記対象ブロックに割り当てる割り当てステップと
を含む、方法。
前記所定の閾値は、行ベクトルおよび列ベクトル毎に異なる、請求項１に記載の方法。
前記所定の閾値は、ブロックの行方向の長さまたはブロックの列方向の長さの１／３および２／３の間の長さに対応する、請求項１または２に記載の方法。
前記所定の閾値は、ブロックの行方向の長さまたはブロックの列方向の長さの１／２の長さに対応する、請求項１〜３のいずれかに記載の方法。
前記所定の閾値は２以上の画素である、請求項１〜４のいずれかに記載の方法。
前記所定の数は、行方向のブロックまたは列方向のブロックの総数に対し、１／４および３／４の間の値である、請求項１に記載の方法。
前記所定の数は、行方向のブロックまたは列方向のブロックの総数に対し、１／２の値を有する、請求項１または６に記載の方法。
個々の前記行の前記行ベクトルを決定するにあたり、前記所定の数は、ＰＡＬ規格に従う画像の水平方向に８画素のブロック長の場合、４５の値を有する、請求項１、６、７のいずれかに記載の方法。
個々の前記列の前記列ベクトルを決定するにあたり、前記所定の数は、ＰＡＬ規格に従う画像の垂直方向に８画素のブロック長の場合、３６の値を有する、請求項１、６〜８のいずれかに記載の方法。
前記候補ベクトルはさらに、
前記現在のブロックと同一のブロック位置を指示するゼロ動きベクトル、
前記現在のブロックに隣接するブロックについて決定される動きベクトル、
前記現在のブロックに隣接するブロックについて決定され、更新ベクトルを加算することでベクトル長が変化するベクトル、および
前記先行する画像のブロックについて決定される動きベクトルのうち、
少なくとも１つの動きベクトルを含む、請求項１に記載の方法。
現在の画像において前記隣接するブロックは、動きベクトルが既に決定されている同じ列にあるブロックまたは同じ行にあるブロックである、請求項１０に記載の方法。
前記更新ベクトルは、ランダムなまたは擬似ランダムなオフセット値を、算出された動きベクトルに加算する、請求項１１に記載の方法。
前記オフセット値は、予め格納された一連のオフセット値から順次与えられる、請求項１２に記載の方法。
前記行または列ベクトルは、先行する画像において少なくとも２個の隣り合う前記行または前記列に基づいて算出される、請求項１〜１３のいずれかに記載の方法。
前記割り当てステップは、
候補動きベクトルそれぞれの予測誤差を算出する算出ステップと、
最も小さい予測誤差が算出された候補動きベクトルから、動きベクトルを選択する選択ステップとを備える、請求項１〜１４のいずれかに記載の方法。
請求項１〜１５のいずれかに記載の動き検出方法を用いた動き補償を含むビデオ画像のシーケンスを符号化する方法。
請求項１〜１６のいずれかに記載の動き検出方法を用いた動き補償を含むビデオ画像のシーケンスを補間する方法。
それぞれが複数のブロックに分割されているビデオ画像のシーケンスにおける現在の画像を構成する対象ブロックについて、動きベクトルを決定するための動き検出回路であって、
前記ビデオ画像のシーケンスにおける先行する画像において、前記対象ブロックと水平方向の位置が同じブロック全体から構成される行の各ブロックの動きベクトル、及び前記対象ブロックと垂直方向の位置が同じブロック全体から構成される列の各ブロックの動きベクトルが所定の閾値を超えるか否かを比較し、
前記動きベクトルのうち、前記所定の閾値を超える動きベクトルの数をカウントし、
前記所定の閾値を超える動きベクトル数を、所定の数と比較し、
水平方向毎または垂直方向毎にカウントされた数が前記所定の数以上の場合に限り水平方向の動きベクトルまたは垂直方向の動きベクトルを決定し、
前記行毎または前記列毎にカウントされた数が前記所定の数以上の場合に限り、前記列の動きベクトルである列ベクトルまたは前記行の動きベクトルである行ベクトルを決定する計算ユニットを備え、
前記決定された行ベクトルまたは列ベクトルを含む複数の候補ベクトルの中から、動きベクトルを選択することによって、前記動きベクトルを前記対象ブロックに割り当てるセレクタをさらに備える、回路。
前記所定の閾値は、行ベクトルおよび列ベクトル毎に異なる、請求項１８に記載の動き検出回路。
前記所定の閾値は、ブロックの行方向の長さまたはブロックの列方向の長さの１／３および２／３の間の長さに対応する、請求項１８または１９に記載の動き検出回路。
前記所定の閾値は、ブロックの行方向の長さまたはブロックの列方向の長さの１／２の長さに対応する、請求項１８または２０に記載の動き検出回路。
前記所定の閾値は２以上の画素である、請求項１８〜２１のいずれかに記載の動き検出回路。
前記所定の数は、行方向のブロックまたは列方向のブロックの総数に対し、１／４および３／４の間の値である、請求項１８に記載の動き検出回路。
前記所定の数は、行方向のブロックまたは列方向のブロックの総数に対し、１／２の値を有する、請求項１８または２４に記載の動き検出回路。
個々の前記行の前記行ベクトルを決定するにあたり、前記所定の数は、ＰＡＬ規格に従う画像の水平方向に８画素のブロック長の場合、４５の値を有する、請求項１８、２３、２４のいずれかに記載の動き検出回路。
個々の前記列の前記列ベクトルを決定するにあたり、前記所定の数は、ＰＡＬ規格に従う画像の垂直方向に８画素のブロック長の場合、３６の値を有する、請求項１８、２３〜２５のいずれかに記載の動き検出回路。
前記候補ベクトルはさらに、
前記現在のブロックと同一のブロック位置を指示するゼロ動きベクトル、
前記現在のブロックに隣接するブロックについて決定される動きベクトル、
前記現在のブロックに隣接するブロックについて決定され、更新ベクトルを加算することでベクトル長が変化するベクトル、および
前記先行する画像のブロックについて決定される動きベクトルのうち、
少なくとも１つの動きベクトルを含む、請求項１８に記載の動き検出回路。
現在の画像において前記隣接するブロックは、動きベクトルが既に決定されている同じ列にあるブロックまたは同じ行にあるブロックである、請求項２７に記載の動き検出回路。
前記更新ベクトルは、ランダムなまたは擬似ランダムなオフセット値を、算出された動きベクトルに加算する、請求項２８に記載の動き検出回路。
一連のオフセット値を格納するメモリをさらに備える、請求項２９に記載の動き検出回路。
前記計算ユニットは、前記行または列ベクトルを、先行する画像において少なくとも２個の隣り合う前記行または前記列に基づいて決定する、請求項１８〜３０のいずれかに記載の動き検出回路。
前記セレクタは、
候補動きベクトルそれぞれの予測誤差を算出する処理ユニットと、
算出された予測誤差を比較し、最も小さい予測誤差を選択する比較器と、
最も小さい予測誤差を有する候補動きベクトルから、動きベクトルを選択する選択ユニットとを備える、請求項１８〜３１のいずれかに記載の動き検出回路。
請求項１８〜３２のいずれかに記載の動き検出回路を用いた動き補償を含むビデオ画像のシーケンスを符号化する符号化回路。
請求項１８〜３３のいずれかに記載の動き検出回路を用いた動き補償を含むビデオ画像のシーケンスを補間する補間回路。