JP3597781B2 - ピクセルを有するディジタル画像における動き予測方法及び装置 - Google Patents

Description

【０００１】
本発明は、ピクセルを有するディジタル画像における動き予測に関する。
このような方法は〔１〕によって公知である。
〔１〕による動き予測方法では、動き予測を行う対象の数値化された一つのブロックの複数のピクセルが複数の画像ブロックに分割される。
この画像の各画像ブロックに対して、動き予測が行われている画像ブロックに含まれている符号情報が可能な限り同じになる画像ブロックサイズの領域を、サイズを予め設定できる探索領域内で求めることが試みられる。
【０００２】
以下の説明中で、符号化情報と云う用語は、ピクセルに関連する輝度情報（輝度値）又はカラー情報（クロミナンス値）のことを意味している。
この目的のために、先行画像内で且つその画像ブロックが配置されている位置に基づいて、この画像ブロックに含まれているピクセルと同数のピクセルを有する対応するブロックサイズの領域が、それぞれの場合に、サイズ（探索領域）を予め決めることができる一つの領域内に各位置に対して形成され、符号化情報の自乗又は差の絶対値の和が動き予測が行われる予定の画像ブロックと先行画像内の各領域との間に形成される。最も良く合致した領域、即ち和の値が最も小さい領域が合致画像領域とされ、先行画像内の「最良」領域とこの画像ブロックとの間の画像ブロックの位置における動きが求められる。この動きは動きベクトルと呼ばれる。
Ｏｈその他による文献「Ｂｌｏｃｋ−ｍａｔｃｈｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｄｙｎａｍｉｃ ａｄｊｕｓｔｍｅｎｔ ｏｆ ｓｅａｒｃｈ ｗｉｎｄｏｗ ｆｏｒ ｌｏｗ ｂｉｔ−ｒａｔｅ ｖｉｄｅｏ ｃｏｄｉｎｇ」， Ｊｏｕｒｎａｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ， 米国， Ｖｏｌｕｍｅ ７， Ｎｏ． ３， １９９８年７月、５７１〜５７７ページ、は、ブロックマッチングアルゴリズムを用いるビデオシーケンス内の対象物の運動予測方法と、ビデオデータのこの圧縮方法により決定された運きベクトルの使用を記載している。動きベクトルの予測のために、個々のビデオ画像はＮ×Ｎピクセルのブロックに分解される。現在のビデオ画像内の各画像ブロックに対して、先行する参照ビデオ画像内で、関連する、最もよく一致する画像ブロックが決定されて、この画像ブロックに対して求められた動きベクトルが２つのビデオ画像内のブロックの位置における差から決定される。この場合における方法は可変サイズの探索領域を使用し、その中で画像ブロックが参照ビデオ画像内で探索される。
文献ＵＳ−Ａ ５ ５３７ １５５号はビデオ圧縮方法を記載しており、ここでは動き予測はビデオシーケンス内の個々の画像間で行われる。動き予測はブロックマッチングアルゴリズムを使用して行われ、その中で現在のビデオ画像内の画像ブロックが先行するビデオ画像からの画像ブロックと比較される。この比較は異なる探索領域内のそれぞれ異なるステップ幅で行われる。この探索は、比較画像内の第１探索領域内の現在の画像ブロックの位置の周りでは小さいステップ幅で行われる。現在の画像ブロックの周りのより大きな領域では対応してより大きなステップ幅で探索が行われる。
比較画像内の対応するビデオブロックが見出されると、これはこのブロックの動きベクトルを規定し、それは次いでそのビデオブロックの符号化のために使用される。
【０００３】
本発明は、動きベクトルを符号化するのに必要なビットの総数を減らすことのできるディジタル画像の動き予測方法及び装置を提供するという問題に基づくものである。
この問題は、独立請求項の特徴部分によって構成された方法と装置によって解決される。
【０００４】
複数のピクセルを有するディジタル画像の動き予測方法の場合には、複数のピクセルは複数の画像ブロックにグループ分けされる。ピクセルはグループ分けされて少なくとも一つの第１画像領域と一つの第２画像領域を形成する。前記第１画像領域内の少なくとも一つの第１画像ブロックに対して、第１探索領域において第１の動き予測が行われて動きベクトルを求め、それによって先行する画像の第１画像ブロック及び／又は後続する画像の第１画像ブロックとの比較によって、前記第１画像ブロックの動きが求められる。更に、前記第２画像領域内の少なくとも一つの第２画像ブロックに対して、第２探索領域において第２の動き予測が行われて第２動きベクトルが求められ、それによって先行する画像の第２画像ブロック及び／又は後続する画像の第２画像ブロックとの比較によって、前記第２画像ブロックの動きが求められる。この場合に、前記第１探索領域と前記第２探索領域とは異なるサイズを有している。
【０００５】
複数のピクセルを有するディジタル画像の動き予測を行うための装置はプロセッサを有し、このプロセッサは、次のステップを行うように構成されている。
ピクセルを複数の画像ブロックにグループ分けし、
ピクセルをグループ分けして少なくとも一つの第１画像領域と一つの第２画像領域を形成し、
前記第１画像領域内の少なくとも一つの第１画像ブロックに対して、第１探索領域において第１の動き予測を行って第１動きベクトルを求め、それによって先行する画像の第１画像ブロック及び／又は後続する画像の第１画像ブロックと比較して、前記第１画像ブロックの動きを求め、
前記第２画像領域内の少なくとも一つの第２画像ブロックに対して、第２探索領域において第２の動き予測を行って第２動きベクトルを求め、それによって先行する画像の第２画像ブロック及び／又は後続する画像の第２画像ブロックと比較して、前記第２画像ブロックの動きを求める各ステップを含み、且つ
前記第１探索領域と前記第２探索領域が異なるサイズを有している。
【０００６】
本発明によれば、画像の品質の主観的印象を著しく損なうことなく、例えば低品質であってもかまわない箇所に非常に狭い探索領域を設けるだけで動きベクトルのサイズを品質要求に調節可能に合致させることができるので、圧縮されたビデオデータの伝送のために必要な速度を減らすことが可能となる。こうして、この探索領域における動きベクトルの最大サイズは比較的小さくなり、その結果、動きベクトルの符号化のためのビット数を少なくすることができる。
【０００７】
本発明の特徴は、画像領域における画像ブロックの動き予測のための画像領域に、異なるサイズの探索領域が使用され、その結果、動きベクトルを符号化するのに必要なデータ速度を品質に合致させて可変に減らすことができることにある。
本発明の好ましい態様は、従属クレームから得られる。
【０００８】
一態様によれば、前記第１探索領域及び／又は前記第２探索領域のサイズが所定の画像品質の関数として変化し、それによって前記第１画像ブロック及び／又は第２画像ブロックが符号化される。
このようにして、探索領域を制限する指標が特定され、これによって所望の画像品質を考慮に入れて必要なデータ速度を減らすことが可能になる。
【０００９】
別の態様による各探索領域のサイズを決める非常に簡単な基準は、量子化パラメータであり、これによって前記第１画像ブロック及び／又は前記第２画像ブロックが量子化される。
他の態様によれば、可変長符号化するための符号を記憶した多数の表を用いて、動きベクトルの可変長符号化を行い、これによってビデオデータの伝送のために必要なデータ速度を更に減少させることが可能である。
【００１０】
本発明の一実施例が、以下に詳細に説明され且つ図面に示されている。
図２は二つのコンピュータ２０２、２０８とカメラ２０１を備えた装置を示し、画像の符号化、ビデオデータの伝送、画像の解読を示している。
カメラ２０１がライン２１９を介して第１コンピュータ２０２に接続されている。カメラ２０１は、それが撮影した画像２０４を第１コンピュータ２０２に伝送する。第１コンピュータ２０２は、バス２１８を介してフレームメモリ２０５に接続された第１プロセッサ２０３を有する。画像の符号化のための方法は、第１コンピュータ２０２内で第１プロセッサ２０３によって行われる。このようにして、符号化されたビデオデータ２０６は、通信リンク２０７、好ましくはケーブル又は無線経路を介して第１コンピュータ２０２から第２コンピュータ２０８に伝送される。第２コンピュータ２０８は、バス２１０を介してフレームメモリ２１１に接続された第２プロセッサ２０９を備えている。画像を解読する方法は第２プロセッサ２０９によって行われる。
【００１１】
第１コンピュータ２０２と第２コンピュータ２０８は、それぞれ、スクリーン２１２又は２１３を有し、それにビデオデータ２０４が表示される。入力ユニット、好ましくはキーボード２１４又は２１５或いはコンピュータ用マウス２１６又は２１７が、第１コンピュータ２０２と第２コンピュータ２０８のためにそれぞれ設けられている。
【００１２】
カメラ２０１からライン２１９を介して第１コンピュータ２０２に伝送されたビデオデータ２０４は時間領域のデータであり、一方、通信リンク２０７を介して第１コンピュータ２０２から第２コンピュータ２０８に伝送されたデータ２０６はスペクトル領域のビデオデータである。
解読されたビデオデータはスクリーン２１３に表示される。
【００１３】
図３は、Ｈ．２６３標準（〔５〕を参照のこと）によるブロックに基づく画像符号化法を実施するための装置の概略を示す。
連続的なディジタル画像を含む符号化対象のビデオデータの流れは、画像符号化ユニット３０１に供給される。このディジタル画像は、それぞれが１６ｘ１６のピクセルを含む複数のマクロブロック３０２に細分割される。このマクロブロック３０２は四つの画像ブロック３０３、３０４、３０５及び３０６を備え、各画像ブロックは、それぞれルミナンス値（輝度値）が割り当てられた８ｘ８のピクセルを含んでいる。更に、各マクロブロック３０２は、ピクセルに割り当てられたクロミナンス値（カラー情報、彩度）を有する二つのクロミナンスブロック３０７及び３０８を備えている。
【００１４】
画像内のブロックはルミナンス値（輝度）、第１クロミナンス値及び第２クロミナンス値を含んでいる。この場合、ルミナンス値、第１クロミナンス値及び第２クロミナンス値は、カラー値と呼ばれている。
この画像ブロックは変換符号化ユニット３０９に供給される。差分画像符号化の際に、先行画像から得られた画像ブロックから符号化されるべき値は、その時に符号化されるべき画像ブロックから減算され、その差を形成する情報３１０のみが変換符号化ユニット（離散コサイン変換、ＤＣＴ）３０９に供給される。この目的のために、現在のマクロブロック３０２がリンク３３４を介して動き予測ユニット３２９に伝送される。変換符号化ユニット３０９においては、符号化対象の画像ブロックすなわち差の画像ブロックのためにスペクトル係数３１１が形成され、量子化ユニット３１２に供給される。
【００１５】
量子化されたスペクトル係数３１３は走査ユニット３１４とフィードバック経路の逆量子化ユニット３１５の両方に供給される。例えば「ジグザグ」走査法等の走査法を使用して、エントロピーの符号化が、この目的のために設けられたエントロピー符号化ユニット３１６において、走査されたスペクトル係数３３２について行われる。このエントロピー符号化スペクトル係数は、符号化されたビデオデータ３１７として、好ましくはケーブルや無線経路であるチャンネルを通じてデコーダに伝送される。
【００１６】
量子化されたスペクトル係数３１３の逆量子化は、逆量子化ユニット３１５で行われる。このようにして得られたスペクトル係数３１８は、逆変換符号化ユニット３１９（逆離散コサイン変換， ＩＤＣＴ） に供給される。再構成された符号化値（及び差分符号化値）は差分形成モードで加算器３２１に供給される。この加算器３２１は、動き補償が既に行われている場合には、先行画像から得られた画像ブロックのための符号化値も受け取る。加算器３２１は再構成される画像ブロック３２２を形成するのに使用され、これらのブロックはフレームメモリ３２３に記憶される。
【００１７】
再構成された画像ブロック３２２のクロミナンス値３２４は、フレームメモリ３２３から動き補償ユニット３２５に供給される。輝度値３２６に対して、補間が、この目的のために設けられた補間ユニット３２７において行われる。この補間は、各画像ブロックに含まれている輝度値の数を四倍するのに使用される。輝度値３２８の全ては動き補償ユニット３２５だけでなく、動き予測ユニット３２９にも供給される。この動き予測ユニット３２９は、リンク３３４を介して符号化対象の各マクロブロック（１６ｘ１６ピクセル）のための画像ブロックも受け入れる。補間された輝度値を考慮に入れて、動き予測ユニット３２９において動き予測（「半ピクセルに基づく動き予測」）が行われる。
【００１８】
動き予測の結果は、先行画像から符号化対象のマクロブロック３０２までの選ばれたマクロブロックの位置の動きを表す動きベクトルである。
この動き予測ユニット３２９によって決められたマクロブロックに関する輝度情報とクロミナンス情報の両者は、動きベクトル３３０によってずらされ、マクロブロック３０２の符号化値から差し引かれる（データ経路２３１を参照のこと）。
【００１９】
この動き予測によって、二つの動きベクトル成分、即ち第１方向ｘと第２方向ｙに沿う第１ベクトル成分ＢＶｘと第２ベクトル成分ＢＶ_ｙを有する動きベクトル３３０が得られる。
【００２０】
【数１】

【００２１】
動きベクトル３３０は画像ブロックに割り当てられる。
こうして、図３に示された画像符号化ユニットは、すべての画像ブロックとマクロ画像ブロックに対して動きベクトル３３０を提供する。
図１Ａは、図３に示された装置を用いて符号化することを意図しているディジタル画像１００を示す。
【００２２】
このディジタル画像１００は、符号化情報が割り当てられているピクセル１０１を有する。
これらのピクセル１０１は画像ブロック１０２にグループ化されている。画像ブロック１０２は第１画像領域１０５と第２画像領域１０６にグループ分けされている。
【００２３】
以下の説明では、第１画像領域１０５における品質に対する要求は、第２画像領域１０６における品質に対する要求より厳重であると仮定する。
第１画像ブロック１０３に対する動き予測は、第１画像領域１０５において行われる。この目的のために、先行画像及び／又は後続画像１１０に第１探索領域１１４が規定される。
【００２４】
前記第１画像ブロックと形状及びサイズが同じである開始域１１３に基づいて、次の誤差Ｅがそれぞれの場合に求められ、１ピクセル、或いは１ピクセルの一部、或いは複数のピクセル（例えば１ピクセルの半分；半ピクセル動き予測）だけずらされ、これによってそれぞれの場合に開始域１１３がずらされる。
【００２５】
【数２】

【００２６】
ここで、
ｉ，ｊは順次指数、
ｎは第１方向に沿う第１画像ブロック内のピクセルの数、
ｍは第２方向に沿う第１画像ブロック内のピクセルの数、
ｘ_ｉ，ｊは第１画像ブロック内の位置ｉ，ｊにあるピクセルの符号化情報、
ｙ_ｉ，ｊは対応する動きベクトルだけずらされた先行画像の対応するポイントにあるピクセルの符号化情報である。
【００２７】
この誤差Ｅは先行する画像１１０において各シフト毎に計算され、誤差Ｅが最も小さい値を有するシフト（＝動きベクトル）から画像ブロックが選ばれて、第１画像ブロック１０３に最も近似しているものとされる。
【００２８】
【外１】

【００２９】
図１Ｃは、第２画像領域１０６における第２画像ブロック１０４のための第２の動き予測を示す。第２動き予測についての動き予測の目的のための基本手順も前述と同様に述べられている。
第２画像領域１０６における画像品質に対する要求は第１画像領域１０５における画像品質に対する要求ほど厳重ではないので、第２動き予測のための第２探索領域１１６は小さくなっている。
【００３０】
【外２】

【００３１】
この例から、第２動きベクトル１１８を符号化するのに必要な計算は、第１動きベクトル１１７を符号化する計算よりも簡単になることが判る。
この例に基づけば、実施例における一つの画像ブロックのための探索領域のサイズは、この例に基づいて先行する画像１００を符号化するのに使用された量子化ステップを示す量子化パラメータに依存している。
【００３２】
探索領域のサイズＳは、次の規則を用いて得られる。
Ｓ＝１５−ＱＰ／２
ここで、
Ｓは探索領域のサイズ、
ＱＰは量子化パラメータである。
【００３３】
量子化パラメータＱＰはＨ．２６３のための正規ヘッダーデータに含まれている因子であり、量子化のための開始値として使用される。
したがって、一つの画像ブロックのための探索領域のサイズＳは、量子化パラメータＱＰが小さくなるほど大きくなり、これは高い画像品質に対応する。
動きベクトルの可変長符号化のために、異なる値の範囲を有する異なる長さの動きベクトルのための種々の符号を含む多くの表が使用される。
【００３４】
量子化パラメータＱＰは可変長符号化のための表を選ぶのに使用され、可変長符号用の表のエントリーは、探索領域のサイズＳ、したがって動きベクトルの最大長さに合致している。
上述の実施例の多くの変形について、次ぎに述べる。
動き予測のタイプ即ち類似性の指標を形成する方法は本発明と関係がない。
【００３５】
例えば、誤差Ｅを形成するのに次の規則が使用される。
【００３６】
【数３】

【００３７】
必要なデータ速度を更に減らすために、動きを補償するための差画像を形成する際に生じる誤差信号を伝送することなく、動きベクトルだけを伝送するのみで充分な多くの場合があることも判っている。
本発明は、画像領域内の画像ブロックの動き予測のための画像領域に異なるサイズの探索領域が使用され、その結果、動きベクトルの符号化のために必要なデータ速度において、品質に適合して柔軟にこれを減少させる点にその特徴が存する。
【００３８】
次ぎに挙げる文献が本明細書に参照されている。
〔１〕ＩＴＵ−Ｔ Ｄｒａｆｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６３， Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｆｏｒ Ｌｏｗ Ｂｉｔｒａｔｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ， Ｍａｙ １９９６．
【図面の簡単な説明】
【図１Ａ】画像並びに先行画像の概略を示し、本発明が立脚している原理が図示されている。
【図１Ｂ】画像並びに先行画像の概略を示し、本発明が立脚している原理が図示されている。
【図１Ｃ】画像並びに先行画像の概略を示し、本発明が立脚している原理が図示されている。
【図２】ビデオデータを符号化し、伝送し、解読し、そして表示するための二つのコンピュータ、一つのカメラ及びスクリーンからなる装置を示す。
【図３】ブロックに基づいて数値化画像を符号化するための装置の概略を示す。

Claims (8)

1. 複数のピクセルを有するディジタル画像における動き予測方法であって、
   前記ピクセルを複数の画像ブロックにグループ分けし、
   前記ピクセルをグループ分けして少なくとも一つの第１画像領域と一つの第２画像領域を形成し、
   前記第１画像領域内の少なくとも一つの第１画像ブロックに対して、第１探索領域において第１の動き予測を行って第１動きベクトルを求め、それによって先行する画像の第１画像ブロック及び／又は後続する画像の第１画像ブロックと比較して、前記第１画像ブロックの動きを求め、
   前記第２画像領域内の少なくとも一つの第２画像ブロックに対して、第２探索領域において第２の動き予測を行って第１動きベクトルを求め、それによって先行する画像の第２画像ブロック及び／又は後続する画像の第２画像ブロックと比較して、前記第２画像ブロックの動きを求める各ステップを含み、
   前記第１探索領域と前記第２探索領域とが異なるサイズを有しており、
   前記第１探索領域及び／又は前記第２探索領域のサイズが所定の画像品質の関数として変化し、それによって前記第１画像ブロック及び／又は第２画像ブロックが符号化され、
   前記第１探索領域及び／又は前記第２探索領域のサイズが量子化パラメータの関数として変化し、それによって前記第１画像ブロック及び／又は前記第２画像ブロックが量子化されることを特徴とする動き予測方法。
2. ディジタル画像を符号化するのに使用される請求項１に記載の方法。
3. 前記動きベクトルの可変長符号化を行い、
   この可変長符号化には、可変長符号化のための符号が記憶されている多数の格納された異なる表が用いられる請求項２に記載の方法。
4. 前記表が前記動きベクトルの最大長さに合致していることを特徴とする請求項３に記載の方法。
5. 複数のピクセルを有するディジタル画像における動き予測を行うために次のステップを行うように構成されたプロセッサを備えた装置であって、
   前記ピクセルを複数の画像ブロックにグループ分けし、
   ピクセルをグループ分けして少なくとも一つの第１画像領域と一つの第２画像領域を形成し、
   前記第１画像領域内の少なくとも一つの第１画像ブロックに対して、第１探索領域において第１の動き予測を行って第１動きベクトルを求め、それによって先行する画像の第１画像ブロック及び／又は後続する画像の第１画像ブロックと比較して、前記第１画像ブロックの動きを求め、
   前記第２画像領域内の少なくとも一つの第２画像ブロックに対して、第２探索領域において第２の動き予測を行って第２動きベクトルを求め、それによって先行する画像の第２画像ブロック及び／又は後続する画像の第２画像ブロックと比較して、前記第２画像ブロックの動きを求める各ステップを含み、
   前記第１探索領域と前記第２探索領域とが異なるサイズを有しており、
   前記プロセッサは、前記第１探索領域及び／又は前記第２探索領域のサイズが所定の画像品質の関数として変化し、それによって前記第１画像ブロック及び／又は第２画像ブロックが符号化されるように構成されており、
   前記プロセッサは、前記第１探索領域及び／又は前記第２探索領域のサイズが量子化パラメータの関数として変化し、それによって前記第１画像ブロック及び／又は前記第２画像ブロックが量子化されるように構成されていることを特徴とする装置。
6. 画像符号化装置に使用される請求項５に記載の装置。
7. 画像符号化装置に使用され、
   前記プロセッサが
   動きベクトルの可変長符号化を行い、
   可変長符号化用の符号が記憶されている多数の格納された異なる表を可変長符号化のために使用することを特徴とする請求項５に記載の装置。
8. 前記プロセッサが、前記表を動きベクトルの最大長さに合致させるように構成されていることを特徴とする請求項７に記載の装置。

Images