JP5612214B2 - 階層的映像符号化及び復号化のための方法及び装置 - Google Patents

Description

本発明は、階層的映像符号化及び復号化技術に関し、特に、動映像などを処理する映像圧縮コーデックで残差映像を用いて画質を改善する階層的映像符号化及び復号化装置及び方法に関する。

一般的に、動映像圧縮技術において、映像は、Ｍ×Ｎピクセル当たりのブロックを有するマクロブロックの単位で処理される。動映像処理の際に、マクロブロックは、イントラ予測モード及びインター予測モードのうちの１つのモードで符号化／復号化が行われる。ここで使用される「マクロブロック」という用語は、特定のサイズをそれぞれ有するピクセルブロックのセットを意味する。１つのフレームは複数のマクロブロックを含む。マクロブロックを使用する代表的な映像圧縮技術は、ＭＰＥＧ及びＨ.２６ｘのような圧縮標準の使用を含むことができる。

動映像圧縮の基本的な概念は、元来の映像データから空間的及び時間的に重複するデータを除去するものである。イントラ予測モードは、空間的な重複性を除去する方式である。言い換えれば、このモードは、現在のフレームにおいて、特定のサイズを有するマクロブロック内のピクセル間の重複性を除去する方式である。インター予測モードは、時間的な重複性を除去する方式である。すなわち、隣接した２つのフレーム内の対応するマクロブロック間の動き予測を通して現在のフレームのマクロブロックと以前又は未来の参照フレームの対応するマクロブロックとの間の差を予測する方式である。動き予測は、現在のフレームで符号化されるマクロブロックと類似した参照フレーム内のマクロブロックを探索する過程である。映像符号化の際に、動き予測過程により探索された参照フレーム内のマクロブロックを用いて動き補償を実行する。映像符号化部は、探索された参照フレーム内のマクロブロックと現在のフレーム内のマクロブロックとの間の差を参照フレームの位置を示す動きベクトルとともにエントロピー符号化して送信する。

通常、動き補償にあたり、残差符号化部／復号化部は、残差符号化部／復号化部に入力される残差映像を構成する複数の画質階層（quality layer)に対して複数の残差差分映像を求め、それぞれの残差差分映像に対して動き補償を実行し、これにより、残差符号化部／復号化部の複雑度及び符号化／復号化時間を増加させるという問題がある。

本発明の目的は、少なくとも上述した問題点及び／又は課題に取り組み、少なくとも以下の便宜を提供することにある。
すなわち、本発明の目的は、階層的映像処理技術において映像の符号化の間に、特に、残差符号化の間に複雑度を減少させ、画質を改善させる方法及び装置を提供することにある。

本発明の他の目的は、階層的映像処理技術において映像の復号化の間に、特に、残差復号化の間に複雑度を減少させ、画質を改善させる方法及び装置を提供することにある。

上記のような目的を達成するために、本発明の実施形態の一態様によれば、１つの映像が基底レイヤ(basement layer）及び少なくとも１つのエンハンスメントレイヤ(enhancement layer）を含み、上記エンハンスメントレイヤの映像が１つ以上の画質階層に区分される階層構造に基づいた映像処理で映像データの残差映像を符号化する方法を提供する。上記方法は、上記残差映像を同一のエンハンスメントレイヤ内の参照フレームで動き補償された映像と結合し、上記結合された映像を上記画質階層別に符号化することにより画質階層別ビットストリームを生成するステップと、上記結合された映像を上記画質階層別に符号化する過程で生成された残差差分映像をそれぞれフレームバッファに格納するステップと、上記フレームバッファに格納された映像の動き補償を選択的に実行することにより動き補償された映像を出力するステップと、上記画質階層別ビットストリームを多重化することにより１つのエンハンスメントレイヤビットストリームを出力するステップとを有することを特徴とする。

本発明の実施形態の他の態様によれば、１つの映像が基底レイヤ及び少なくとも１つのエンハンスメントレイヤを含み、上記エンハンスメントレイヤの映像が１つ以上の画質階層に区分される階層構造に基づいた映像処理で映像データの残差映像を符号化する装置を提供する。上記装置は、上記残差映像を同一のエンハンスメントレイヤ内の参照フレームで動き補償された映像と結合し、上記結合された映像を上記画質階層別に符号化することにより画質階層別ビットストリーム及び残差差分映像を生成する画質階層符号化部と、上記画質階層符号化部で生成された残差差分映像をそれぞれ格納するフレームバッファと、上記フレームバッファに格納された映像の動き補償を選択的に実行することにより動き補償された映像を出力する動き補償部と、上記画質階層別ビットストリームを多重化することにより１つのエンハンスメントレイヤビットストリームを出力する多重化部とを有することを特徴とする。

本発明の実施形態のさらに他の態様によれば、１つの映像が基底レイヤ及び少なくとも１つのエンハンスメントレイヤを含み、上記エンハンスメントレイヤの映像が１つ以上の画質階層に区分される階層構造に基づいた映像処理で映像データの残差映像を復号化する方法を提供する。上記方法は、入力されるエンハンスメントレイヤビットストリームを上記画質階層の順序に対応する１つ以上のビットストリームに逆多重化するステップと、上記ビットストリームを画質階層別に復号化することにより残差映像を復元し、上記復元にされた残差映像をフレームバッファに格納するステップと、同一のエンハンスメントレイヤ内の参照フレームで動き補償された映像を上記復元された残差映像に付加することにより最終に復元された残差映像を出力するステップとを有することを特徴とする。

本発明の実施形態のさらなる他の態様によれば、１つの映像が基底レイヤ及び少なくとも１つのエンハンスメントレイヤを含み、上記エンハンスメントレイヤの映像が１つ以上の画質階層に区分される階層構造に基づいた映像処理で映像データの残差映像を復号化する装置を提供する。上記装置は、入力されるエンハンスメントレイヤビットストリームを上記画質階層の順序に対応する１つ以上のビットストリームに逆多重化する逆多重化部と、上記ビットストリームを画質階層別に復号化することにより残差映像を復元する画質階層復号化部と、上記画質階層復号化部で復元された残差映像を格納するフレームバッファと、同一のエンハンスメントレイヤ内の参照フレームで動き補償された映像を上記復元された残差映像に付加することにより最終に復元された残差映像を出力する動き補償部とを有することを特徴とする。

本発明の実施形態によれば、ドリフトは、原映像で発生するのではなく残差映像で発生するので、ドリフトによる画質劣化を減少させ、効率的且つスケーラブルな符号化が保証される。

階層的映像符号化部の構成の一例を示す図である。 階層的映像復号化部の構成の一例を示す図である。 本発明の実施形態による残差符号化部の構成を示す図である。 本発明の実施形態による画質階層符号化部の構成を示す図である。 本発明の実施形態による選択的動き補償部の構成を示す図である。 本発明の他の実施形態による残差符号化部の構成を示す図である。 本発明の実施形態による階層的映像復号化部での残差復号化部の構成を示す図である。 本発明の他の実施形態による階層的映像復号化部での残差復号化部の構成を示す図である。 本発明の実施形態による残差符号化過程を示すフローチャートである。 本発明の実施形態による残差復号化過程を示すフローチャートである。

添付の図面を参照した下記の説明は、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるような本発明の実施形態の包括的な理解を助けるために提供するものであり、この理解を助けるために様々な特定の詳細を含むが、唯一つの実施形態に過ぎない。従って、本発明の範囲及び趣旨を逸脱することなく、ここに説明する実施形態の様々な変更及び修正が可能であるということは、当該技術分野における通常の知識を有する者には明らかである。また、明瞭性と簡潔性の観点から、当業者に良く知られている機能や構成に関する具体的な説明は省略する。

本発明は、階層的映像符号化／復号化過程においてエンハンスメントレイヤビットストリーム／映像を構成する複数の画質階層に対して残差符号化及び／又は復号化を実行する方法及び装置を提供する。

まず、本発明で使用される用語を簡略に定義すると次のようである。

画質改善：改善データ（refinement data)を用いて再構成された残差サンプルの画質を改善するための過程を示す。画質階層（quality layers)：画質改善過程で使用される１つ以上の階層を示す。画質基底レイヤ（quality basement layer)：１つの映像内にある複数の画質階層のうちで再構成された映像のうちで最も低い画質映像を示す階層を示す。画質エンハンスメントレイヤ（quality enhancement layer)：１つの映像内にある複数の画質階層のうちで再構成された映像のうちで高い画質映像を示す階層を示す。

一般的な階層的映像符号化／復号化装置について説明する。

図１は、階層的映像符号化部の構成を示す図である。図１を参照すると、映像符号化部は、基底レイヤと１つ以上のエンハンスメントレイヤとを含む階層構造に従って動作し、符号化のための入力映像を受け入れ、基底レイヤビットストリーム及びエンハンスメントレイヤビットストリームを出力する。基底レイヤの映像及びエンハンスメントレイヤの映像は、相互に異なる解像度、映像サイズ、及び／又は視点を有する映像であることができる。

図１の実施形態において、入力映像及びエンハンスメントレイヤで処理される映像は、大きいサイズ又は１つの視点の映像である高解像度映像であることを仮定する。また、基底レイヤで処理される映像は、小さいサイズ又は他の視点の映像である低解像度映像であることを仮定する。フォーマットダウンコンバータ（format down-converter)１０１は、入力映像を基底レイヤの映像フォーマットと同一のフォーマットを有する映像にダウンコンバートする。例えば、フォーマットダウンコンバータ１０１は、入力映像のサイズ又はフレーム率又は立体映像の視点の観点でダウンコンバージョンを実行する。基底レイヤ符号化部１０３は、入力された基底レイヤ映像、例えば、VC-1，H.264，MPEG-4 Part2 Visual，MPEG-2 Part2 Video，AVS，及びJPEG2000のような既存の映像コーデックのうちで任意の映像コーデックを既存の符号化方式に従って符号化することにより生成された基底レイヤビットストリームを出力する。基底レイヤ映像を符号化する過程において、基底レイヤ符号化部１０３は、再構成された基底レイヤ映像をフォーマットアップコンバータ１０５に出力する。

フォーマットアップコンバータ（format up-converter)１０５は、例えば、入力映像のサイズ又はフレーム率又は視点の観点でアップコンバージョンを実行するように構成され、フォーマットダウンコンバータ１０１の過程の逆である過程を実行するものと見なされることができる。フォーマットアップコンバータ１０５は、再構成された基底レイヤ映像をエンハンスメントレイヤ映像のフォーマットと同一のフォーマットを有する映像にアップコンバートする。フォーマットダウンコンバータ１０１に入力される入力映像は、減算器１０７にも入力される。減算器１０７は、入力映像からフォーマットアップコンバータ１０５により出力されたアップコンバートされた映像を減算した残差データを得ることによりフォーマットアップコンバータ１０５により出力する。残差マッピング／スケーリング部１０９は、残差データを残差映像に変換する。残差映像は、残差符号化部１１１に入力され、残差符号化部１１１は、入力された残差映像の残差符号化を実行することによりエンハンスメントレイヤビットストリームを出力する。

１つのエンハンスメントレイヤ内で徐々に画質を改善することができるように残差映像を符号化する方法について説明する。

残差符号化部１１１は、画質階層符号化部（図示せず）及び動き補償部（図示せず）を含む。画質階層符号化部は、複数の画質階層で残差映像を符号化するようにそれぞれの画質階層に対して符号化を実行する。

図２は、階層的映像復号化部の構成を示す図である。図２を参照すると、映像復号化部は、基底レイヤ及び１つ以上のエンハンスメントレイヤを含む階層構造に従って動作し、図１における映像符号化部によりそれぞれ符号化された基底レイヤビットストリーム及びエンハンスメントレイヤビットストリームを復号化することにより再構成された基底レイヤ映像及び再構成されたエンハンスメントレイヤ映像を出力する。基底レイヤの映像及びエンハンスメントレイヤの映像は、相互に異なる解像度、映像サイズ及び／又は視点を有する映像であることができる。

図２の実施形態において、入力映像及びエンハンスメントレイヤで処理される映像は、大きいサイズ又は１つの視点を示す高解像度映像であり、基底レイヤで処理される映像は、小さいサイズ又は他の視点を示す低解像度映像であることを仮定する。基底レイヤ復号化部２０１は、入力された基底レイヤビットストリームを図１の基底レイヤ符号化部１０１で使用された任意の映像コーデックに対応する復号化方式に従って復号化して再構成された基底レイヤ映像を出力する。また、基底レイヤ復号化部２０１により再構成された基底レイヤ映像は、フォーマットアップコンバータ２０３にも出力される。フォーマットアップコンバータ２０３は、再構成された基底レイヤの映像をエンハンスメントレイヤの映像フォーマットと同一のフォーマットを有する映像にアップコンバートする。残差復号化部２０５は、エンハンスメントレイヤビットストリームの入力を受けて残差映像を出力する。このような残差映像は、入力されたエンハンスメントレイヤビットストリームの残差復号化を実行することにより生成され、その次に、残差映像は、残差マッピング／スケーリング部２０７により残差データに変換される。残差データは、加算器２０９によりフォーマットアップコンバートされた映像に付加され、その結果、再構成されたエンハンスメントレイヤ映像を生成する。

残差復号化部２０５は、画質階層復号化部（図示せず）及び動き補償部を含む。画質階層復号化部は、複数の画質階層で残差映像を再構成するようにそれぞれの画質階層に対して復号化を実行する。

図３は、本発明の実施形態による残差符号化部の構成を示す図である。図３における残差符号化部が３つの画質階層を有する場合を例を挙げて図示したが、本発明はこれに限定されない。図３を参照すると、残差符号化部は、画質階層の個数に対応する３つの画質階層符号化部３０１、３０３、及び３０５と選択的動き補償部３０７とを含む。

残差符号化部に入力された残差映像は、第１の画質階層符号化部３０１により第１のビットストリーム及び第１の残差差分映像に符号化される。第２の画質階層符号化部３０３は、残差映像と第１の残差差分映像との差に対応する映像を第２のビットストリーム及び第２の残差差分映像に符号化する。第３の画質階層符号化部３０５は、残差映像と第２の残差差分映像との差に対応する映像を第３のビットストリーム及び第３の残差差分映像に符号化する。第１乃至第３の残差差分映像は、選択的動き補償部３０７に入力される。選択的動き補償部３０７は、動きベクトルに基づく動き補償を実行し、この動き補償が実行された映像を出力する。残差映像と動き補償された映像との差に対応する映像が第１の画質階層符号化部３０１にさらに入力される。第１乃至第３のビットストリームは、多重化器（図示せず)により１つのビットストリーム（すなわち、エンハンスメントレイヤビットストリーム)に統合された（すなわち多重化された）後に転送チャネルを介して復号化部に送信される。

図４は、本発明の実施形態による画質階層符号化部の構成を示す図である。図４を参照すると、画質階層符号化部は、変換符号化部４０１、量子化部４０３、可変長符号化部４０５、逆量子化部４０７、及び逆変換符号化部４０９を含む。変換符号化部４０１は、画質階層符号化部から受信された差分映像をＮ×Ｎブロック単位で変換符号化を実行することにより変換係数を求める。量子化部４０３は、Ｎ×Ｎブロックの変換係数の量子化を実行し、可変長符号化部４０５は、量子化されたレベル値からビットストリームを生成する。量子化部４０３により量子化されたレベル値は、逆量子化部４０７を通して変換係数値を復元する。逆変換符号化部４０９は、復元された変換係数値を逆変換して映像を復元することにより再構成された差分映像を出力する。

残差映像の漸進的な画質改善を達成するために、図３での画質階層符号化部により再構成された残差差分映像は、第１の差分映像から第３の差分映像に行くほど残差映像の画質が改善する特徴を有する。図４の画質階層符号化部は、量子化部４０３の量子化パラメータを調節することによりこのような漸進的な画質改善を達成することができる。例えば、第１の画質階層乃至第３の画質階層の順に量子化部４０３の量子化パラメータを漸進的に減少させることにより順次に画質が改善した差分映像を復元することができる。

図５は、本発明の実施形態による選択的動き補償部の構成を示す図である。図５では選択的動き補償部が３つの画質階層を有する場合を例を挙げて図示したが、本発明はこれに限定されない。図５を参照すると、選択的動き補償部は、画質階層の個数に対応する３つのフレームバッファ５０１、５０３、及び５０５と動き補償部５０７とを含む。各画質階層符号化部で復元された各残差差分映像は、動き補償部５０７から出力された動き補償された映像に付加されることによりそれぞれのフレームバッファ５０１、５０３、及び５０５に格納される。各フレームバッファに格納された復元された残差映像は、符号化部の制御の下に選択的に動き補償部５０７に入力され、動き補償のために使用される。この時に、符号化部では、どのフレームバッファを使用して動き補償を実行したかを示す情報をヘッダーに送信することにより復号化部が同一の動作を続いて実行することができるようにする。

図６は、本発明の他の実施形態による残差符号化部の構成を示す図である。図６での残差符号化部が３つの画質階層を有するが、本発明はこれに限定されない。図６を参照すると、それぞれの画質階層に対する画質階層符号化部６０１、６０３、及び６０５の構成は図３及び図４に示した構成と同一であり、１番目の画質階層に対する第１の画質階層符号化部６０１及び最後の画質階層に対する第３の画質階層符号化部６０３からそれぞれ出力された２つの残差差分映像だけが第１のフレームバッファ６０７及び第３のフレームバッファ６０９にそれぞれ格納され、動き補償部６１１の動き補償のために上述した２つの残差差分映像だけが使用されるという点が異なる。複数の画質階層を有する残差符号化部において、フレームバッファは常に最下位画質階層及び最上位画質階層の再構成された差分映像のみに対して提供される。すなわち、図６において、２つ又はそれ以上の画質階層を有する残差符号化部は、画質階層の個数に関係なく常に２つのフレームバッファを有する。

図７は、本発明の実施形態による階層的映像復号化部での残差復号化部の構成を示す図である。図７の残差復号化部が３つの画質階層を有するが、本発明はこれに限定されない。図７を参照すると、残差復号化部に入力されるエンハンスメントレイヤビットストリームである第１乃至第３のビットストリームは、それぞれの画質階層に対する第１乃至第３の画質階層復号化部７１０、７２０、及び７３０に入力される。第１乃至第３の画質階層復号化部７１０、７２０、及び７３０は、可変長復号化部７１１、７２１、及び７３１と、逆量子化部７１３、７２３、及び７３３と、逆変換符号化部７１５、７２５、及び７３５とを含む。

第１のビットストリームは、第１の可変長復号化部７１１で可変長復号化を用いて量子化されたレベル値に変換され、第１の逆量子化部７１３で逆量子化動作を用いてＮ×Ｎブロックの変換係数に変換される。この変換係数は、第１の逆変換符号化部７１５においてＮ×Ｎブロック単位で逆変換符号化された後に、動き補償部７４０から動き補償された映像に付加される。この結果は、第１のフレームバッファ７５０に格納される。

第２のビットストリームは、第２の可変長復号化部７２１で可変長復号化を用いて量子化されたレベル値に変換され、第２の逆量子化部７２３で逆量子化動作を用いてＮ×Ｎブロックの変換係数に変換される。この変換係数は、第２の逆変換符号化部７２５においてＮ×Ｎブロック単位で逆変換符号化された後に、第１の画質階層復号化部７１０で復元された映像と動き補償部７４０から動き補償された映像との和に付加される。この結果は、第３の画質階層復号化部７３０に伝達される。

第３のビットストリームは、第３の可変長復号化部７３１で可変長復号化を用いて量子化されたレベル値に変換され、第３の逆量子化部７３３で逆量子化動作を用いてＮ×Ｎブロックの変換係数に変換される。この変換係数は、第３の逆変換符号化部７３５においてＮ×Ｎブロック単位で逆変換符号化された後に、第１の画質階層復号化部７１０及び第２の画質階層復号化部７２０で復元された映像と動き補償部７４０から動き補償された映像との和に付加される。その結果は、第３のフレームバッファ７６０に格納される。また、第３のフレームバッファ７６０に格納された映像は、残差復号化部で最終に復元された残差映像として出力される。

第１のフレームバッファ７５０及び第３のフレームバッファ７６０に格納された映像は、動き補償部７４０の動き補償のために使用される。

図８は、本発明の他の実施形態による階層的映像復号化部の残差復号化部の構成を示す図である。図８の残差復号化部が３つの画質階層を有するが、本発明はこれに限定されない。図８を参照すると、第１の画質階層復号化部８１０、第２の画質階層復号化部８２０、及び第３の画質階層復号化部８３０の構成及び動作は図７のそれと実質的に同一であり、第１の画質階層復号化部８１０、第２の画質階層復号化部８２０、及び第３の画質階層復号化部８３０の出力段の動作だけ異なる。すなわち、第１の画質階層復号化部８１０での第１の逆変換符号化部８１５から出力された映像はそのまま第１のフレームバッファ８５０に格納され、第２の画質階層復号化部８２０での第２の逆変換符号化部８２５から出力された映像は、第１の逆変換符号化部８１５から出力された映像に付加され、第３の画質階層復号化部８３０に伝達される。第３の画質階層復号化部８３０での第３の逆変換符号化部８３５から出力された映像は、第２の画質階層復号化部８２０から出力された映像と動き補償部８４０から動き補償された映像との和に付加され、その結果は、第３のフレームバッファ８６０に格納される。第３のフレームバッファ８６０に格納された映像は、残差復号化部で最終に復元された残差映像として出力される。

すなわち、本発明におけるように、階層的映像復号化部で映像間の画質改善が適用される場合に、第１の画質階層である画質基底レイヤでは、逆変換符号化されたブロックに動き補償されたブロックを付加することにより残差ブロックが復元され、復元された残差サンプルが画質基底レイヤの映像を構成する。また、画質基底レイヤに接続された画質エンハンスメントレイヤ（例えば、図７及び図８での第２及び第３の画質階層）の逆変換ブロックは、画質基底レイヤの逆変換ブロックの画質を改善するために使用される。最終的に画質が改善した逆変換ブロックは、動き補償部で動き補償された映像に付加される。画質改善過程の後に、復元された残差サンプルにより画質エンハンスメントレイヤ映像が復元される。

図９は、本発明の実施形態による残差符号化過程を示すフローチャートである。図９を参照すると、ステップ９０１において、残差映像が残差符号化部に入力される場合に、ステップ９０３において、同一のエンハンスメントレイヤ内の参照フレームで動き補償された映像に付加された後に画質階層符号化部に入力される。ステップ９０５において、各画質階層符号化部で画質階層別にビットストリームを生成し、残差映像を復元しフレームバッファに格納される。上位画質階層符号化部で復元された残差映像は、その次の下位画質階層符号化部でビットストリームを生成するために使用される。また、フレームバッファは、すべての画質階層に対して存在してもよく、又は最上位画質階層及び最下位画質階層だけに対して存在してもよい。ステップ９０７において、フレームバッファに格納された映像に対する動き補償を行った後に、次のフレームのビットストリームの生成のために使用する。本実施形態に従って、すべてのフレームバッファに格納された映像のうちの１つの映像に対して選択的に動き補償が行われることもあり、あるいは、最上位画質階層及び最下位画質階層に対応するフレームバッファに格納された映像に対して動き補償が行われることもある。ステップ９０９において、各画質階層符号化部で生成されたビットストリームを１つのエンハンスメントレイヤビットストリームに多重化した後に復号化部に送信する。

図１０は、本発明の実施形態による残差復号化過程を示すフローチャートである。図１０を参照すると、ステップ１００１において、残差復号化部に入力されたエンハンスメントレイヤビットストリームは、画質階層の個数に従って複数のビットストリームに逆多重化される。ステップ１００３において、逆多重化されたビットストリームを画質階層復号化部により画質階層別に復号化することにより画質階層別残差映像を復元する。ステップ１００５において、復元された画質階層別残差映像は、次のフレームの残差映像の復元のためにそれぞれのフレームバッファに格納された後に動き補償が行われる。ステップ１００７において、同一のエンハンスメントレイヤ内の参照フレームの動き補償された映像を画質階層別に復元された残差映像に付加することにより最終に復元された残差映像を出力する。このように復元された残差映像は、基底レイヤ映像と結合されることによりエンハンスメントレイヤ映像として再構成される。一方、本発明の実施形態に従って、画質階層別に復元された残差映像を結合することにより最終に復元された残差映像を作る場合に、最上位画質階層復号化過程で動き補償された映像を反映することもあり、又は最下位画質階層復号化過程で動き補償された映像を反映することもある。また、各画質階層復号化部において、復元された残差映像は、上位画質階層復号化部で残差映像を復元するために使用される。

上述した説明からわかるように、本実施形態によれば、複数の残差映像に対して１回だけ動き補償を行うので、低い複雑度の残差符号化部／復号化部を保証することができる。

以上、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び趣旨を逸脱することなく様々な変更が可能であるということは、当業者には明らかであり、本発明の範囲は、上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきである。

１０１ フォーマットダウンコンバータ
１０３ 基底レイヤ符号化部
１０５ フォーマットアップコンバータ
１０７ 減算器
１０９ 残差マッピング／スケーリング部
１１１ 残差符号化部

Claims (21)

1. １つの映像が基底レイヤ及び少なくとも１つのエンハンスメントレイヤを含み、前記エンハンスメントレイヤの映像が１つ以上の画質階層に区分される階層構造に基づいた映像処理で映像データの残差映像を符号化する階層的映像符号化装置により実行される方法であって、前記階層的映像符号化装置は、残差符号化部を具備し：
   前記残差符号化部が、前記残差映像を同一のエンハンスメントレイヤ内の参照フレームで動き補償された映像と結合し、前記結合された映像を前記画質階層別に符号化することにより画質階層別ビットストリームを生成するステップと、
   前記残差符号化部が、前記結合された映像を前記画質階層別に符号化する過程で画質階層別に生成された複数の残差差分映像のそれぞれをフレームバッファに格納するステップと、
   前記残差符号化部が、前記フレームバッファに格納された映像の動き補償を選択的に実行することにより動き補償された映像を出力するステップと、
   前記残差符号化部が、前記画質階層別ビットストリームを多重化することにより１つのエンハンスメントレイヤビットストリームを出力するステップと、
   を有することを特徴とする符号化方法。
2. 前記残差映像を前記参照フレームで動き補償された映像と結合することにより得られた映像と下位画質階層の映像を符号化する過程で生成された残差差分映像との間の差に対応する映像が画質階層別符号化過程での入力信号として使用される、
   ことを特徴とする請求項１に記載の符号化方法。
3. 前記フレームバッファに格納するステップは、前記画質階層のうちで最上位画質階層及び最下位画質階層の符号化過程で生成された残差差分映像だけをそれぞれフレームバッファに格納する、
   ことを特徴とする請求項１又は２に記載の符号化方法。
4. 前記選択的に実行される動き補償における選択が、前記画質階層のうちで最上位画質階層及び最下位画質階層の符号化過程で生成された２つの残差差分映像だけを選択することを含む、請求項１乃至３の何れか一項に記載の符号化方法。
5. １つの映像が基底レイヤ及び少なくとも１つのエンハンスメントレイヤを含み、前記エンハンスメントレイヤの映像が１つ以上の画質階層に区分される階層構造に基づいた映像処理で映像データの残差映像を符号化する装置であって、
   前記残差映像を同一のエンハンスメントレイヤ内の参照フレームで動き補償された映像と結合し、前記結合された映像を前記画質階層別に符号化することにより画質階層別ビットストリーム及び残差差分映像を生成する画質階層符号化部と、
   前記画質階層符号化部で生成された残差差分映像をそれぞれ格納するフレームバッファと、
   前記フレームバッファに格納された映像の動き補償を選択的に実行することにより動き補償された映像を出力する動き補償部と、
   前記画質階層別ビットストリームを多重化することにより１つのエンハンスメントレイヤビットストリームを出力する多重化部と、
   を有することを特徴とする符号化装置。
6. 前記画質階層符号化部は、前記残差映像を前記参照フレームで動き補償された映像と結合されることにより得られた映像と下位画質階層の映像を符号化する過程で生成された残差差分映像との間の差に対応する映像を入力信号として使用する、
   ことを特徴とする請求項５に記載の符号化装置。
7. 前記フレームバッファは、前記画質階層のうちで最上位画質階層及び最下位画質階層の符号化過程で生成された残差差分映像だけをそれぞれフレームバッファに格納する、
   ことを特徴とする請求項５又は６に記載の符号化装置。
8. 前記選択的に実行される動き補償における選択が、前記画質階層のうちで最上位画質階層及び最下位画質階層の符号化過程で生成された２つの残差差分映像だけを選択することを含む、請求項５乃至７の何れか一項に記載の符号化装置。
9. １つの映像が基底レイヤ及び少なくとも１つのエンハンスメントレイヤを含み、前記エンハンスメントレイヤの映像が１つ以上の画質階層に区分される階層構造に基づいた映像処理で映像データの残差映像を復号化する階層的映像復号化装置により実行される方法であって、前記階層的映像復号化装置は、残差復号化部を具備し：
   前記残差復号化部が、入力されるエンハンスメントレイヤビットストリームを前記画質階層の順序に対応する１つ以上のビットストリームに逆多重化するステップと、
   前記残差復号化部が、前記ビットストリームを画質階層別に復号化することにより残差映像を復元し、前記復元にされた残差映像をフレームバッファに格納するステップと、
   前記残差復号化部が、同一のエンハンスメントレイヤ内の参照フレームで動き補償された映像を前記復元された残差映像に付加することにより最終に復元された残差映像を出力するステップと、
   を有することを特徴とする復号化方法。
10. 前記最終に復元された残差映像を出力するステップは、各画質階層復号化過程で復元された残差映像をすべて合わせた映像に同一のエンハンスメントレイヤ内の参照フレームで動き補償された映像を付加することにより最終に復元された残差映像を出力する、
    ことを特徴とする請求項９に記載の復号化方法。
11. 前記格納するステップは、前記参照フレームで動き補償された映像を最下位画質階層復号化過程で復元された残差映像に付加することにより得られた映像を前記最下位画質階層に対応する第１のフレームバッファに格納し、
    前記最終に復元された残差映像を最上位画質階層に対応する第２のフレームバッファに格納する、
    ことを特徴とする請求項９又は１０に記載の復号化方法。
12. 前記格納するステップは、
    最下位画質階層復号化過程で復元された残差映像を前記最下位画質階層に対応する第１のフレームバッファに格納し、
    前記参照フレームで動き補償された映像を最上位画質階層復号化過程で復元された残差映像に付加することにより得られた映像を前記最終に復元された残差映像として出力し、前記最終に復元された残差映像を前記最上位画質階層に対応する第２のフレームバッファに格納する、
    ことを特徴とする請求項９又は１０に記載の復号化方法。
13. 前記第１及び第２のフレームバッファのうちの少なくとも１つに格納された映像は、動き補償を行った後に次のフレームの残差映像の復元のために使用される、
    ことを特徴とする請求項１１又は１２に記載の復号化方法。
14. １つの映像が基底レイヤ及び少なくとも１つのエンハンスメントレイヤを含み、前記エンハンスメントレイヤの映像が１つ以上の画質階層に区分される階層構造に基づいた映像処理で映像データの残差映像を復号化する装置であって、
    入力されるエンハンスメントレイヤビットストリームを前記画質階層の順序に対応する１つ以上のビットストリームに逆多重化する逆多重化部と、
    前記ビットストリームを画質階層別に復号化することにより残差映像を復元する画質階層復号化部と、
    前記画質階層復号化部で復元された残差映像を格納するフレームバッファと、
    同一のエンハンスメントレイヤ内の参照フレームで動き補償された映像を前記復元された残差映像に付加することにより最終に復元された残差映像を出力する動き補償部と、
    を有することを特徴とする復号化装置。
15. 前記動き補償部は、各画質階層復号化過程で復元された残差映像をすべて合わせた映像に同一のエンハンスメントレイヤ内の参照フレームで動き補償された映像を付加することにより最終に復元された残差映像を出力する、
    ことを特徴とする請求項１４に記載の復号化装置。
16. 前記フレームバッファは、
    前記参照フレームで動き補償された映像を最下位画質階層復号化部で復元された残差映像に付加することにより得られた映像を格納する第１のフレームバッファと、
    前記最終に復元された残差映像を格納する第２のフレームバッファと、
    を有することを特徴とする請求項１４又は１５に記載の復号化装置。
17. 前記フレームバッファは、
    最下位画質階層復号化部で復元された残差映像を格納する第１のフレームバッファと、
    前記参照フレームで動き補償された映像を最上位画質階層復号化部で復元された残差映像に付加することにより得られた映像を前記最終に復元された残差映像として格納する第２のフレームバッファと、
    を有することを特徴とする請求項１４又は１５に記載の復号化装置。
18. 前記動き補償部は、前記第１及び第２のフレームバッファのうちの少なくとも１つに格納された映像に対して動き補償を実行し、次のフレームの残差映像の復元のために前記動き補償された映像を使用する、
    ことを特徴とする請求項１６又は１７に記載の復号化装置。
19. 残差符号化部であって、
    １番目の画質階層符号化部及び最後の画質階層符号化部を含む複数の連続した画質階層符号化部と、
    動き補償された映像を出力する選択的動き補償部とを含み、
    前記１番目の画質階層符号化部は、残差映像と前記動き補償された映像との間の差に基づいて１番目の残差差分映像を生成し、前記１番目の残差差分映像は、前記選択的動き補償部及び前記複数の連続した画質階層符号化部のそれぞれに対する次の画質階層符号化部に出力され、
    前記複数の連続した画質階層符号化部のそれぞれに対する次の画質階層符号化部は、前記残差映像と直前に位置した画質階層符号化部から出力された映像との間の差に基づいてそれぞれ残差差分映像を生成し、前記各残差差分映像は、前記選択的動き補償部及び前記複数の連続した画質階層符号化部のそれぞれに対する次の画質階層符号化部に出力され、
    前記最後の画質階層符号化部は、残差映像と直前に位置した画質階層符号化部から出力された各残差差分映像との間の差に基づいて最後の残差差分映像を生成し、前記最後の残差差分映像は、前記選択的動き補償部に出力される、
    ことを特徴とする残差符号化部。
20. 前記１番目の残差差分映像及び前記最後の残差差分映像だけを格納するフレームバッファをさらに有する、
    ことを特徴とする請求項１９に記載の残差符号化部。
21. 前記複数の連続した画質階層符号化部のそれぞれに対応する残差差分映像を格納するフレームバッファをさらに有する、
    ことを特徴とする請求項１９又は２０に記載の残差符号化部。
    

Images