JP5547394B2 - 映像を階層的に符号化／復号化する方法及び装置 - Google Patents

Description

本発明は、映像を符号化または復号化する方法及び装置に係り、特に映像を階層的に符号化または復号化する方法及び装置に関する。

現在広く使用中のコーデック（ｃｏｄｅｃ）は、４：２：０映像またはビット深さ（ｂｉｔ ｄｅｐｔｈ）が８ビットである映像を再生できる。一方、映像フォーマットが４：４：４または４：２：２に拡張するか、ビット深さが１０ビットに拡張した高画質の映像を再生できる新たなコーデックについての研究が活発に進んでいる。ところが、４：２：０映像またはビット深さが８ビットである映像を再生できる既存コーデック付き端末機は、４：４：４映像、４：２：２映像またはビット深さが１０ビットである映像を再生できない。４：４：４映像、４：２：２映像またはビット深さが１０ビットである映像が一般化されるならば、既存コーデック付き端末機はいずれも不要になる。これにより、一つの単一ストリームを、既存コーデック付き端末機と新たなコーデック付き端末機とを共に再生可能にする技術への要求が大きく浮び上がっている。

本発明が解決しようとする技術的課題は、一つの単一ストリームを、既存コーデック付き端末機と新たなコーデック付き端末機とが共に再生可能にすると同時に、人間の視覚特性を反映して階層的に映像を符号化または復号化可能にする方法及び装置を提供するところにある。また、前記の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。本発明が解決しようとする技術的課題は、前記のような技術的課題に限定されず、さらに他の技術的課題が存在できる。これは、当業者ならば下の記載から明確に理解できるであろう。

前記技術的課題を解決するための本発明による第１映像符号化方法は、原本映像をダウンサンプリングすることで基本映像を生成するステップと、前記生成された基本映像を符号化することによって基本階層ビットストリームを生成するステップと、前記基本映像の復元映像を生成するステップと、前記復元映像をアップサンプリングするステップと、前記原本映像と前記アップサンプリングされた復元映像間のレジデュー映像を、相異なる量子化パラメータを利用して符号化することによって、拡張階層ビットストリームを生成するステップとを含む。

前記他の技術的課題を解決するために、本発明は、前記第１映像符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

前記さらに他の技術的課題を解決するための本発明による第１映像符号化装置は、原本映像をダウンサンプリングすることで基本映像を生成するダウンサンプラーと、前記生成された基本映像を符号化することによって基本階層ビットストリームを生成する第１符号化部と、前記基本映像の復元映像を生成する生成部と、前記復元映像をアップサンプリングするアップサンプラーと、前記原本映像と前記アップサンプリングされた復元映像間のレジデュー映像を、相異なる量子化パラメータを利用して符号化することによって拡張階層ビットストリームを生成する第２符号化部とを備える。

前記さらに他の技術的課題を解決するための本発明による第１映像復号化方法は、基本階層ビットストリームを復号化することによって基本映像の復元映像を生成するステップと、前記生成された復元映像をアップサンプリングするステップと、拡張階層ビットストリームそれぞれを、相異なる量子化パラメータを利用して復号化することによって、原本映像と前記アップサンプリングされた復元映像間のレジデュー映像を復元するステップと、前記アップサンプリングされた復元映像に前記復元されたレジデュー映像を加えることによって原本映像の復元映像を生成するステップと、を含む。

前記さらに他の技術的課題を解決するために、本発明は、前記第１映像符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

前記さらに他の技術的課題を解決するための本発明による第１映像復号化装置は、基本階層ビットストリームを復号化することによって基本映像の復元映像を生成する第１復号化部と、前記生成された復元映像をアップサンプリングするアップサンプラーと、拡張階層ビットストリームそれぞれを、相異なる量子化パラメータを利用して復号化することによって原本映像と前記アップサンプリングされた復元映像間のレジデュー映像を復元する第２復号化部と、前記アップサンプリングされた復元映像に前記復元されたレジデュー映像を加えることによって原本映像の復元映像を生成する加算器とを備える。

前記さらに他の技術的課題を解決するための本発明による第２映像符号化方法は、原本映像をダウンサンプリングすることで基本映像を生成するステップと、前記生成された基本映像を符号化することによって基本階層ビットストリームを生成するステップと、前記基本映像の復元映像を生成するステップと、前記復元映像をアップサンプリングするステップと、前記原本映像と前記アップサンプリングされた復元映像間のレジデュー映像の予測映像を生成するステップと、前記レジデュー映像と前記生成された予測映像間のレジデュー映像を、相異なる量子化パラメータを利用して符号化することによって拡張階層ビットストリームを生成するステップと、を含む。

前記さらに他の技術的課題を解決するために、本発明は、前記第２映像符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

前記さらに他の技術的課題を解決するための本発明による第２映像符号化装置は、原本映像をダウンサンプリングすることで基本映像を生成するダウンサンプラーと、前記生成された基本映像を符号化することによって基本階層ビットストリームを生成する第１符号化部と、前記基本映像の復元映像を生成する第１生成部と、前記復元映像をアップサンプリングするアップサンプラーと、前記原本映像と前記アップサンプリングされた復元映像間のレジデュー映像の予測映像を生成する第２生成部と、前記レジデュー映像と前記生成された予測映像間のレジデュー映像を、相異なる量子化パラメータを用いて符号化することによって拡張階層ビットストリームを生成する第２符号化部とを備える。

前記さらに他の技術的課題を解決するための本発明による第２映像復号化方法は、基本階層ビットストリームを復号化することによって基本映像の復元映像を生成するステップと、前記生成された復元映像をアップサンプリングするステップと、原本映像と前記アップサンプリングされた復元映像間のレジデュー映像の予測映像を生成するステップと、拡張階層ビットストリームそれぞれを、相異なる量子化パラメータを利用して復号化することによって、前記レジデュー映像と前記予測映像間のレジデュー映像を復元するステップと、前記生成された予測映像に前記復元されたレジデュー映像を加えることによって前記レジデュー映像を復元するステップと、前記アップサンプリングされた復元映像に前記復元されたレジデュー映像を加えることによって前記原本映像の復元映像を生成するステップとを含む。

前記さらに他の技術的課題を解決するために、本発明は、前記第２映像符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

前記さらに他の技術的課題を解決するための本発明による第２映像復号化装置は、基本階層ビットストリームを復号化することによって基本映像の復元映像を生成する第１復号化部と、前記生成された復元映像をアップサンプリングするアップサンプラーと、原本映像と前記アップサンプリングされた復元映像間のレジデュー映像の予測映像を生成する生成部と、拡張階層ビットストリームそれぞれを、相異なる量子化パラメータを利用して復号化することによって前記レジデュー映像と前記予測映像間のレジデュー映像を復元する第２復号化部と、前記生成された予測映像に前記復元されたレジデュー映像を加えることで前記レジデュー映像を復元する第１加算器と、前記アップサンプリングされた復元映像に前記復元されたレジデュー映像を加えることによって前記原本映像の復元映像を生成する第２加算器とを備える。

前記さらに他の技術的課題を解決するための本発明による第３映像符号化方法は、原本映像をダウンサンプリングすることで基本映像を生成するステップと、前記生成された基本映像を符号化することによって基本階層ビットストリームを生成するステップと、前記基本映像の復元映像を生成するステップと、前記復元映像をアップサンプリングするステップと、前記原本映像と前記アップサンプリングされた復元映像間の第１レジデュー映像の第１予測映像を生成するステップと、前記第１レジデュー映像と前記生成された第１予測映像間の第２レジデュー映像を、第１量子化パラメータを利用して符号化することによって第１拡張階層ビットストリームを生成するステップと、前記第１レジデュー映像の第２予測映像を生成するステップと、前記第１レジデュー映像と前記第２予測映像間の第３レジデュー映像を、第２量子化パラメータを利用して符号化することによって第２拡張階層ビットストリームを生成するステップとを含む。

前記さらに他の技術的課題を解決するために、本発明は、前記第３映像符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

前記さらに他の技術的課題を解決するための本発明による第３映像符号化装置は、原本映像をダウンサンプリングすることで基本映像を生成するダウンサンプラーと、前記生成された基本映像を符号化することによって基本階層ビットストリームを生成する第１符号化部と、前記基本映像の復元映像を生成する第１生成部と、前記復元映像をアップサンプリングするアップサンプラーと、前記原本映像と前記アップサンプリングされた復元映像間の第１レジデュー映像の第１予測映像を生成する第２生成部と、前記第１レジデュー映像と前記生成された第１予測映像間の第２レジデュー映像を、第１量子化パラメータを利用して符号化することによって第１拡張階層ビットストリームを生成する第２符号化部と、前記第１レジデュー映像の第２予測映像を生成する第３生成部と、前記第１レジデュー映像と前記第２予測映像間の第３レジデュー映像を、第２量子化パラメータを利用して符号化することによって第２拡張階層ビットストリームを生成する第３符号化部とを備える。

前記さらに他の技術的課題を解決するための本発明による第３映像符号化方法は、基本階層ビットストリームを復号化することによって基本映像の復元映像を生成するステップと、前記生成された復元映像をアップサンプリングするステップと、原本映像と前記アップサンプリングされた復元映像間の第１レジデュー映像の第１予測映像を生成するステップと、第１拡張階層ビットストリームを、前記第１量子化パラメータを利用して復号化することによって、前記第１レジデュー映像と前記第１予測映像間の第２レジデュー映像を復元するステップと、前記生成された第１予測映像に前記復元された第２レジデュー映像を加えることによって前記第１レジデュー映像の第１復元映像を生成するステップと、前記第１レジデュー映像の第２予測映像を生成するステップと、第２拡張階層ビットストリームを、第２量子化パラメータを利用して復号化することによって、前記第１レジデュー映像と前記第２予測映像間の第３レジデュー映像を復元するステップと、前記生成された第２予測映像に前記復元された第３レジデュー映像を加えることによって前記第１レジデュー映像の第２復元映像を生成するステップと、前記アップサンプリングされた復元映像に、前記生成された第１復元映像及び第２復元映像のうち少なくとも一つを加算することによって前記原本映像の復元映像を生成するステップとを含む。

前記さらに他の技術的課題を解決するために、本発明は、前記第３映像復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

前記さらに他の技術的課題を解決するための本発明による第３映像復号化装置は、基本階層ビットストリームを復号化することによって基本映像の復元映像を生成する第１復号化部と、前記生成された復元映像をアップサンプリングするアップサンプラーと、原本映像と前記アップサンプリングされた復元映像間の第１レジデュー映像の第１予測映像を生成する第１生成部と、第１拡張階層ビットストリームを、前記第１量子化パラメータを利用して復号化することによって前記第１レジデュー映像と前記第１予測映像間の第２レジデュー映像を復元する第２復号化部と、前記生成された第１予測映像に前記復元された第２レジデュー映像を加えることによって前記第１レジデュー映像の第１復元映像を生成する第１加算器と、前記第１レジデュー映像の第２予測映像を生成する第２生成部と、第２拡張階層ビットストリームを、第２量子化パラメータを利用して復号化することによって前記第１レジデュー映像と前記第２予測映像間の第３レジデュー映像を復元する第３復号化部と、前記生成された第２予測映像に前記復元された第３レジデュー映像を加えることによって前記第１レジデュー映像の第２復元映像を生成する第２加算器と、前記アップサンプリングされた復元映像に前記生成された第１復元映像及び第２復元映像のうち少なくとも一つを加算することによって前記原本映像の復元映像を生成する第３加算器とを備える。

本発明の少なくとも一つの実施形態によれば、一つの単一ストリームを、既存コーデック付き端末機と新たなコーデック付き端末機とが共に再生可能にすると同時に、人間の視覚特性を反映して階層的に映像を符号化または復号化できる。

以下では、図面を参照して本発明の実施形態を詳細に説明する。特に、以下に記載された“映像（ｉｍａｇｅ）”という用語は、ピクチャー、フレームのような同等な意味を持つ他の用語に代置して使われうるということを、当業者ならば理解できるであろう。

図１は、本発明の実施形態が適用されるスケーラブル映像処理環境を示す図である。図１を参照するに、スケーラブル映像処理環境は、第１符号化装置１０、第１復号化装置２０、第２符号化装置３０及び第２復号化装置４０で構成される。第１符号化装置１０、第１復号化装置２０は、４：２：０映像またはビット深さが８ビットである映像を再生できる既存コーデック付き装置であり、第２符号化装置３０及び第２復号化装置４０は、４：４：４映像、４：２：２映像またはビット深さが１０ビットである映像を再生できる新たなコーデック付き装置である。

したがって、第１符号化装置１０は、４：２：０映像またはビット深さが８ビットである映像を符号化し、その結果に該当するビットストリームを出力する。また、第２符号化装置３０は、４：４：４映像、４：２：２映像またはビット深さが１０ビットである映像を符号化し、その結果に該当するビットストリームを出力する。既存コーデック付き第１復号化装置２０が、新たなコーデック付き第２符号化装置３０から出力されたビットストリームを再生できる互換性を、順方向互換性という。また、新たなコーデック付き第２復号化装置４０が、既存コーデック付き第１符号化装置１０から出力されたビットストリームを再生できる互換性を、逆方向互換性という。特に、以下で説明される本発明の実施形態は順方向互換性を支援する。

図２は、本発明の実施形態によって階層的に符号化または復号化する態様を示す図である。図２を参照するに、第２符号化装置３０がＮ個の階層ほど映像を階層的に符号化するならば、第２符号化装置３０は、基本階層ビットストリーム、第１拡張階層ビットストリーム、第２拡張階層ビットストリーム、…、第Ｎ拡張階層ビットストリームを含むスケーラブルビットストリームを出力する。既存コーデック付き第１復号化装置２０は、スケーラブルビットストリームのうち基本階層ビットストリームのみを選別して復号化する。一方、新たなコーデック付き第２復号化装置４０は、スケーラブルビットストリーム全てを復号化する。もちろん、Ｎ個の拡張階層ビットストリームのうち一部のみを復号化する装置も可能である。

図３は、図２に示した第２符号化装置３０から出力されたスケーラブルビットストリームのフォーマットを示す図である。前記のように、図３に示したスケーラブルビットストリームは、基本階層ビットストリーム、第１拡張階層ビットストリーム、第２拡張階層ビットストリーム、…、及び第Ｎ拡張階層ビットストリームで構成される。基本階層と拡張階層間には映像フォーマットまたはビット深さなどが変わるため、量階層間の画質差が非常に大きい。一方、拡張階層間に映像フォーマットまたはビット深さなどが同一であるため、拡張階層間の画質差が大きくない。これにより、前者の拡張性を“ｃｏａｒｓｅ ｇｒａｉｎ ｓｃａｌａｂｉｌｉｔｙ”と呼み、後者の拡張性を“ｍｅｄｉａｎ／ｆｉｎｅ ｇｒａｉｎ ｓｃａｌａｂｉｌｉｔｙ”と呼ぶ。特に、以下で説明される本発明の実施形態は、人間の視覚特性に基づいて量子化パラメータを各階層別に異ならせることによって、このように“ｍｅｄｉａｎ／ｆｉｎｅ ｇｒａｉｎ ｓｃａｌａｂｉｌｉｔｙ”を支援可能にしている。

図４は、本発明の一実施形態による映像符号化装置１００の構成図である。図４を参照するに、本実施形態による映像符号化装置は、ダウンサンプラー１０１、動き推定部１０２、動き補償部１０３、第１減算器１０４、第１変換部１０５、量子化部１０６、エントロピー符号化部１０７、逆量子化部１０８、逆変換部１０９、加算器１１０、バッファ１１１、アップサンプラー１１２、第２減算器１１３、第２変換部１１４、第１拡張階層量子化部１１５、第２拡張階層量子化部１１７及び第Ｎ拡張階層量子化部１２１、第１拡張階層エントロピー符号化部１１６、第２拡張階層エントロピー符号化部１２０及び第Ｎ拡張階層エントロピー符号化部１２４、第１レベル推定部１１８及び第Ｎ−１レベル推定部１２２、第１レベル減算器１１９及び第Ｎ−１レベル減算器１２３及びビットストリーム生成部１２５で構成される。

ダウンサンプラー１０１は、動映像を構成する原本映像中映像符号化装置１００に現在入力された原本映像をダウンサンプリングすることで基本映像を生成する。例えば、原本映像のフォーマットが４：４：４または４：２：２である場合、ダウンサンプラー１０１は、４：４：４原本映像または４：２：２原本映像をダウンサンプリングすることで４：２：０基本映像を生成する。もし、原本映像の解像度がＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）またはＣＩＦ（Ｃｏｍｍｏｎ Ｉｎｔｅｒｍｅｄｉａｔｅ Ｆｏｒｍａｔ）である場合、ダウンサンプラー１０１は、ＨＤ原本映像またはＣＩＦ原本映像をダウンサンプリングすることで、ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）基本映像またはＱＣＩＦ（Ｑｕａｒｔｅｒ ＣＩＦ）基本映像を生成する。もし、原本映像を構成する画素のカラー値を表すビットの数、すなわち、ビット深さが１０ビットである場合、ダウンサンプラー１０１は、ビット深さが１０ビットである原本映像をダウンサンプリングすることで、ビット深さが８ビットである基本映像を生成する。また、ダウンサンプラー１０１は、前記のような例のうち少なくとも二つ以上を同時に行う事も出来る。

動き推定部１０２は、バッファ１１１に保存された参照映像のうち少なくとも一つの参照映像を基準に、ダウンサンプラー１０１により生成された基本映像の動きを推定する。より詳細に説明すれば、動き推定部１０２は、基本映像を構成するブロックそれぞれに対して、バッファ１１１に保存された参照映像のうち、基本映像のブロックに最もよくマッチングする参照映像のブロックを決定し、このように決定された参照映像のブロックと基本映像のブロック間の変位を表す動きベクトルを算出する。本実施形態での映像の処理単位に該当するブロックのサイズは、最も一般的な１６×１６であると仮定する。このように１６×１６サイズのブロックを、いわゆるマクロブロックという。ただし、当業者ならば、前記１６×１６以外に１６×８、８×１６、８×８、４×４などの多様なサイズになりうるということを理解できるであろう。

動き補償部１０３は、動き推定部１０２による基本映像の動き推定を利用して、バッファ１１１に保存された参照映像のうち少なくとも一つの参照映像から基本映像の予測映像を生成する。より詳細に説明すれば、動き補償部１０３は、動き推定部１０２により算出された基本映像のブロックそれぞれの動きベクトルが指示する少なくとも一つの参照映像のブロック値を基本映像のブロック値に決定することによって、基本映像の予測映像を生成する。

前記動き推定部１０２及び動き補償部１０３による映像圧縮方式は、いずれか一つの動映像を構成するいろいろな映像間の時間的重複性を利用して映像を圧縮する方式であり、インター符号化方式という。いずれか一つの映像内の空間的重複性を利用して映像を圧縮する方式をイントラ符号化方式というが、本実施形態の説明が過度に長くなることを回避するために、本実施形態にインター符号化方式のみ適用されるように設計したが、当業者ならば、本実施形態にイントラ符号化方式も適用できるということを理解できるであろう。また、イントラ符号化方式は、映像符号化装置１００に入力される映像に適用されてもよく、第１変換部１０５により変換された結果に適用されてもよい。

第１減算器１０４は、基本映像から動き補償部１０３により生成された予測映像を減算することで、基本映像と予測映像間のレジデュー映像（以下、“第１レジデュー映像”という）を生成する。より詳細に説明すれば、第１減算器１０４は、基本映像の各ブロックから各ブロックの動きベクトルが指示する少なくとも一つの予測映像のブロックを減算する。第１変換部１０５は、第１減算器１０４により生成された第１レジデュー映像を色空間から周波数空間に変換することによって、第１レジデュー映像の周波数係数を生成する。例えば、第１変換部１０５は、ＤＨＴ（Ｄｉｓｃｒｅｔｅ Ｈａｄａｍａｒｄ Ｔｒａｎｓｆｏｒｍ）、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などを利用して、第１減算器１０４により生成された第１レジデュー映像を色空間から周波数空間に変換できる。

量子化部１０６は、第１変換部１０５により生成された周波数係数を量子化することで第１レジデュー映像の量子化レベルを生成する。より詳細に説明すれば、量子化部１０６は、第１変換部１０５により生成された周波数係数を量子化パラメータで割り、その結果を整数値に近似化する。すなわち、このように近似化された整数値を量子化レベルという。エントロピー符号化部１０７は、量子化部１０６により生成された量子化レベルをエントロピー符号化することによって基本階層ビットストリームを生成する。例えば、エントロピー符号化部１０７は、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ−Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）、ＣＡＶＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）などを利用して、量子化部１０６により生成された量子化レベルをエントロピー符号化できる。また、エントロピー符号化部１０７は、動映像に該当する整数値以外に動映像復号化のための情報、例えばインター予測に使われた参照映像の索引情報、動きベクトル情報などをエントロピー符号化する。前記変換方式、量子化方式及びエントロピー符号化方式に関する詳細な説明は、以下でもそのまま適用されるため、以下ではこれら方式については簡略に説明する。

逆量子化部１０８は、量子化部１０６により生成された量子化レベルを逆量子化することで第１レジデュー映像の周波数係数を復元する。より詳細に説明すれば、逆量子化部１０８は、量子化部１０６により近似化された整数値に量子化パラメータを乗算することによって、第１レジデュー映像の周波数係数を復元する。逆変換部１０９は、逆量子化部１０８により復元された周波数係数を、周波数空間から色空間に変換することによって第１レジデュー映像を復元する。加算器１１０は、動き補償部１０３により生成された予測映像に、逆変換部１０９により復元された第１レジデュー映像を加えることによって基本映像の復元映像を生成し、この復元映像をバッファ１１１に保存する。バッファ１１１に現在保存された復元映像は、基本映像の以後に登場する未来の映像または基本映像以前に存在した過去の映像の参照映像として使われる。

アップサンプラー１１２は、加算器１１０により生成された復元映像をアップサンプリングする。例えば、加算器１１０により生成された復元映像のフォーマットが４：２：０である場合、アップサンプラー１１２は４：２：０復元映像をアップサンプリングすることで４：４：４または４：２：２映像を生成する。もし、加算器１１０により生成された復元映像の解像度がＳＤまたはＱＣＩＦである場合、アップサンプラー１１２は、ＳＤ復元映像またはＱＣＩＦ復元映像をアップサンプリングすることでＨＤ映像またはＣＩＦ映像を生成する。もし、加算器１１０により生成された復元映像を構成する画素のビット深さが８ビットである場合、アップサンプラー１１２は、ビット深さが８ビットである復元映像をアップサンプリングすることでビット深さが１０ビットである映像を生成する。また、アップサンプラー１１２は、前記のような例のうち少なくとも二つ以上を同時に行ってもよい。

第２減算器１１３は、動映像を構成する原本映像のうち、映像符号化装置１００に現在入力された原本映像からアップサンプラー１１２によりアップサンプリングされた復元映像を減算することで、原本映像とアップサンプラー１１２によりアップサンプリングされた復元映像間のレジデュー映像（以下、“第２レジデュー映像”という）を生成する。より詳細に説明すれば、第２減算器１１３は、原本映像の各ブロックから各ブロックと共通位置の復元映像のブロックを減算する。第２変換部１１４は、第２減算器１１３により生成された第２レジデュー映像を、色空間から周波数空間に変換することによって第２レジデュー映像の周波数係数を生成する。

第１拡張階層量子化部１１５は、第２変換部１１４により生成された周波数係数を、第１拡張階層量子化パラメータを利用して量子化することで、第２レジデュー映像の第１拡張階層量子化レベルを生成する。第１拡張階層エントロピー符号化部１１６は、第１拡張階層量子化部１１５により生成された第１拡張階層量子化レベルをエントロピー符号化することによって第１拡張階層ビットストリームを生成する。第２拡張階層量子化部１１７は、第２変換部１１４により生成された周波数係数を第２拡張階層量子化パラメータを利用して量子化することで、第２レジデュー映像の第２拡張階層量子化レベルを生成する。

第１レベル推定部１１８は、第１拡張階層量子化部１１５により生成された第１拡張階層量子化レベルから、第２拡張階層量子化部１１７により生成される第２拡張階層量子化レベルを推定する。より詳細に説明すれば、第１レベル推定部１１８は、第１拡張階層量子化部１１５により生成された第１拡張階層量子化レベルを、第１拡張階層量子化パラメータを利用して逆量子化することで第２レジデュー映像の周波数係数を復元し、この周波数係数を、第２拡張階層量子化パラメータを利用して量子化することで、第２拡張階層量子化部１１７により生成される第２拡張階層量子化レベルを推定する。すなわち、第２拡張階層量子化パラメータを利用して量子化された結果が、第２拡張階層量子化レベルの推定値である。

第１レベル減算器１１９は、第２拡張階層量子化部１１７により生成された第２拡張階層量子化レベルから、第１レベル推定部１１８により推定された第２拡張階層量子化レベルを減算することで、第２拡張階層量子化部１１７により生成された第２拡張階層量子化レベルと第１レベル推定部１１８により推定された第２拡張階層量子化レベル間の差値を生成する。第２拡張階層エントロピー符号化部１２０は、第１レベル減算器１１９により生成された差値をエントロピー符号化することによって第２拡張階層ビットストリームを生成する。

以上では本実施形態のうち、第１拡張階層と第２拡張階層に関する部分を説明した。以下では、本実施形態による量子化パラメータについての具体的な例を挙げて、第１拡張階層及び第２拡張階層を第ｘ−１拡張階層及び第ｘ拡張階層に一般化させて説明する。また、第ｘ−１拡張階層及び第ｘ拡張階層に該当する構成要素については、図４の複雑度を低めるために、この構成要素についての図示は省略する。

本実施形態によれば、第１拡張階層量子化パラメータは、第１拡張階層の量子化ステップサイズと量子化行列との積で定義できる。この場合、第ｘ−１拡張階層量子化部は、次の式（１）によって、第２変換部１１４により生成された周波数係数の行列を、第ｘ−１拡張階層の量子化ステップサイズと量子化行列との積で割り、その結果を整数値に近似化する。次の式（１）で“Ｃｏｅｆｆ_ｘ−１”は、第２変換部１１４により生成された周波数係数の行列であり、“Ｑ_Ｅｘ−１”は、第ｘ−１拡張階層の量子化ステップサイズであり、“Ｗ_ｘ−１”は、第ｘ−１拡張階層の量子化行列であり、“１／２（Ｑ_Ｅｘ−１×Ｗ_ｘ−１）”は、“Ｃｏｅｆｆ_ｘ−１”を“Ｑ_Ｅｘ−１×Ｗ_ｘ−１”で割った結果値を四捨五入するための値である。また、“ｆｌｏｏｒ［］”は、［］内に記載された任意の実数値からこの値の少数点以下の値を切断（ｔｒｕｎｃａｔｉｏｎ）する関数であり、“Ｌｅｖｅｌ_ｘ−１”は、第ｘ−１拡張階層量子化部により生成された第ｘ−１拡張階層量子化レベルである。

また、第ｘ−１レベル推定部は、次の式（２）によって第ｘ−１拡張階層量子化部により生成された第ｘ−１拡張階層量子化レベルと、第ｘ−１拡張階層の量子化ステップサイズと量子化行列との積とを乗算することによって、第２レジデュー映像の第ｘ−１拡張階層周波数係数を復元する。次の式（２）で“Ｌｅｖｅｌ_ｘ−１”は、第ｘ−１拡張階層量子化部により生成された第ｘ−１拡張階層量子化レベルであり、“Ｑ_Ｅｘ−１”は、第ｘ−１拡張階層の量子化ステップサイズであり、“Ｗ_ｘ−１”は、第ｘ−１拡張階層の量子化行列であり、“ｒｅｃＣｏｅｆｆ_ｘ−１”は、第ｘ−１レベル推定部により復元された周波数係数である。

次いで、第ｘ−１レベル推定部は、次の式（３）によってこのように復元された第ｘ−１拡張階層周波数係数を、第ｘ拡張階層の量子化ステップサイズと量子化行列との積で割り、その結果を整数値に近似化する。次の式（３）で“ｒｅｃＣｏｅｆｆ_ｘ−１”は、第ｘ−１レベル推定部により復元された周波数係数であり、“Ｑ_Ｅｘ”は、第ｘ拡張階層の量子化ステップサイズであり、“Ｗ_ｘ”は、第ｘ拡張階層の量子化行列であり、“１／２（Ｑ_Ｅｘ×Ｗ_ｘ）”は、“ｒｅｃＣｏｅｆｆ_ｘ−１”を“Ｑ_Ｅｘ×Ｗ_ｘ”で割った結果値を四捨五入するための値である。また、“ｅｓｔＬｅｖｅｌ_ｘ”は、第ｘ−１レベル推定部により推定された第ｘ拡張階層量子化レベルである。

また、第ｘ−１レベル減算器は、次の式（４）によって、第ｘ拡張階層量子化部により生成された第ｘ拡張階層量子化レベルから、第ｘ−１レベル推定部により推定された第ｘ拡張階層量子化レベルを減算する。次の式（４）で、“Ｌｅｖｅｌ_ｘ”は、第ｘ拡張階層量子化部により生成された第ｘ拡張階層量子化レベルであり、“ｅｓｔＬｅｖｅｌ_ｘ−１”は、第ｘ−１レベル推定部により推定された第ｘ拡張階層量子化レベルである。また、“ｒｅｓＬｅｖｅｌ_ｘ”は、第ｘ拡張階層量子化部により生成された第ｘ拡張階層量子化レベルと、第ｘ−１レベル推定部により推定された第ｘ拡張階層量子化レベルとの差値である。

そうでなければ、第１拡張階層量子化パラメータは、第１拡張階層の量子化ステップサイズと量子化行列との和とも定義できる。この場合、第ｘ−１拡張階層量子化部は、次の式（５）によって第２変換部１１４により生成された周波数係数の行列を、第１拡張階層の量子化ステップサイズと量子化行列との和で割り、その結果を整数値に近似化する。次の式（５）で、“Ｃｏｅｆｆ_ｘ−１”は、第２変換部１１４により生成された周波数係数の行列であり、“Ｑ_Ｅｘ−１”は、第ｘ−１拡張階層の量子化ステップサイズであり、“Ｗ_ｘ−１”は、第ｘ−１拡張階層の量子化行列であり、“１／２（Ｑ_Ｅｘ−１＋Ｗ_ｘ−１）”は、“Ｃｏｅｆｆ_ｘ−１”を“Ｑ_Ｅｘ−１＋Ｗ_ｘ−１”で割った結果値を四捨五入するための値である。また、“Ｌｅｖｅｌ_ｘ−１”は、第ｘ−１拡張階層量子化部により生成された第ｘ−１拡張階層量子化レベルである。

また、第ｘ−１レベル推定部は、次の式（６）によって、第ｘ−１拡張階層量子化部により生成された第ｘ−１拡張階層量子化レベルと第ｘ−１拡張階層の量子化ステップサイズと量子化行列との和を乗算することによって、第２変換部１１４により生成された周波数係数を復元する。次の式（６）で、“Ｌｅｖｅｌ_ｘ−１”は、第ｘ−１拡張階層量子化部により生成された第ｘ−１拡張階層量子化レベルであり、“Ｑ_Ｅｘ−１”は、第ｘ−１拡張階層の量子化ステップサイズであり、“Ｗ_ｘ−１”は、第ｘ−１拡張階層の量子化行列であり、“ｒｅｃＣｏｅｆｆ_ｘ−１”は、第ｘ−１レベル推定部により復元された周波数係数である。

次いで、第ｘ−１レベル推定部は、次の式（７）によってこのように復元された周波数係数を、第ｘ拡張階層の量子化ステップサイズと量子化行列との和で割り、その結果を整数値に近似化する。次の式（７）で“ｒｅｃＣｏｅｆｆ_ｘ−１”は、第ｘ−１レベル推定部により復元された周波数係数であり、“Ｑ_Ｅｘ”は、第ｘ拡張階層の量子化ステップサイズであり、“Ｗ_ｘ”は、第ｘ拡張階層の量子化行列であり、“１／２（Ｑ_Ｅｘ＋Ｗ_ｘ）”は、“ｒｅｃＣｏｅｆｆ_ｘ−１”を“Ｑ_Ｅｘ＋Ｗ_ｘ”で割った結果値を四捨五入するための値である。また、“ｅｓｔＬｅｖｅｌ_ｘ”は、第ｘ−１レベル推定部により推定された第ｘ拡張階層量子化レベルである。

前記例での第ｘ−１レベル減算器は、量子化パラメータが量子化ステップサイズと量子化行列との積と定義される例と同一であるので、これについての説明は省略する。前記のような階層的符号化方式は、拡張階層のうち最上位階層の第Ｎ階層まで反復的に適用される。したがって、図４に示した構成要素のうち説明されていない構成要素、例えば、第Ｎ拡張階層量子化部１２１、第Ｎ拡張階層エントロピー符号化部１２４、第Ｎ−１レベル推定部１２２、第Ｎ−１レベル減算器１２３などについてはその説明を省略する。ただし、各拡張階層の量子化パラメータは相異なる値になりうる。特に、本実施形態では上位階層へ行くほど高画質の映像を提供せねばならないため、上位階層へ行くほど量子化ステップサイズは減少し、量子化行列の元素値全体または一部が減少する。

図５は、本発明の一実施形態による量子化行列を示す図である。第２変換部１１４により生成された周波数係数の行列それぞれの左側上段は、人間の視覚に敏感な低周波数領域であり、この行列それぞれの右側下段は、人間の視覚に鈍感な高周波数領域である。図５を参照するに、量子化行列は、左側上段へ行くほどさらに小さな値が配されており、右側下段へ行くほどさらに大きい値が配されていることが分かる。量子化ステップサイズは、映像データの全体的なサイズ減少を決定する値である一方、量子化行列は、人間の視覚に敏感な低周波数領域に対してはさらに小さな値を配し、人間の視覚に鈍感な高周波数領域に対してはさらに大きい値を配することによって、人間の視覚特性を反映した映像の周波数係数別サイズ減少を決定する値である。

特に、図５に示した量子化行列は、上位階層へ行くほど左側上段の元素値を減少させ、右側下段の元素値をそのまま維持する方式で設計された。これにより、上位階層は、下位階層より人間の視覚特性にさらに充実な画質を提供できるようになる。また、当業者ならば、人間の視覚特性を考慮して、図５に示した形態の量子化行列以外に多様な形態の量子化行列を容易に設計できるということを理解できるであろう。

ビットストリーム生成部１２５は、エントロピー符号化部１０７により生成された基本階層ビットストリームと、第１拡張階層エントロピー符号化部１１６及び第Ｎ拡張階層エントロピー符号化部１２４により生成された拡張階層ビットストリームとを組み合わせすることで、スケーラブルビットストリームを生成する。

図６は、本発明の一実施形態による映像復号化装置２００の構成図である。図６を参照するに、本実施形態による映像符号化装置は、ビットストリームパーザ２０１、エントロピー符号化部２０２、逆量子化部２０３、第１逆変換部２０４、動き補償部２０５、第１加算器２０６、バッファ２０７、アップサンプラー２０８、第１拡張階層エントロピー復号化部２０９、第２拡張階層エントロピー復号化部２１１及び第Ｎ拡張階層エントロピー復号化部２１５、第１拡張階層逆量子化部２１０、第２拡張階層逆量子化部２１４−第Ｎ拡張階層逆量子化部２１８、第１レベル推定部２１２及び第Ｎ−１レベル推定部２１６、第１レベル加算器２１３及び第Ｎ−１レベル加算器２１７、第２逆変換部２１９及び第２加算器２２０で構成される。図６に示した映像復号化装置２００の映像復元過程は、図４に示した映像符号化装置１００の映像復元過程と同一である。したがって、以下省略された内容であっても、図４に示した動映像符号化装置１００に関して以上で記述された内容は、本実施形態による動映像復号化装置２００にも適用される。

ビットストリームパーザ２０１は、図４に示した映像符号化装置１００から伝送されたスケーラブルビットストリームをパージングすることで、このスケーラブルビットストリームから基本階層ビットストリーム及び拡張階層ビットストリームを抽出する。

エントロピー符号化部２０２は、ビットストリームパーザ２０１により抽出された基本階層ビットストリームをエントロピー復号化することによって、基本映像と予測映像間のレジデュー映像（以下、“第１レジデュー映像”という）の量子化レベルと映像復号化のための情報などを復元する。逆量子化部２０３は、エントロピー符号化部２０２により復元された量子化レベルを逆量子化することで、第１レジデュー映像の周波数係数を復元する。第１逆変換部２０４は、逆量子化部２０３により復元された周波数係数を、周波数空間から色空間に変換することによって第１レジデュー映像を復元する。

動き補償部２０５は、バッファ２０７に保存された参照映像のうち少なくとも一つの参照映像基準の基本映像の動き推定を利用して、少なくとも一つの参照映像から基本映像の予測映像を生成する。より詳細に説明すれば、動き補償部１０３は、エントロピー符号化部２０２に復元された映像復号化のための情報のうち、基本映像のブロックそれぞれの動きベクトルが指示する少なくとも一つの参照映像のブロック値を基本映像のブロック値として決定することによって、基本映像の予測映像を生成する。第１加算器２０６は、動き補償部２０５により生成された予測映像に、逆変換部２０４により復元された第１レジデュー映像を加えることによって基本映像の復元映像を生成し、この復元映像をバッファ２０７に保存する。

アップサンプラー２０８は、加算器１１０により生成された復元映像をアップサンプリングする。第１拡張階層エントロピー復号化部２０９は、ビットストリームパーザ２０１により抽出された第１拡張階層ビットストリームをエントロピー復号化することによって、原本映像とアップサンプラー２０８によりアップサンプリングされた復元映像間のレジデュー映像（以下、“第２レジデュー映像”という）の第１拡張階層量子化レベルを復元する。第１拡張階層逆量子化部２１０は、第１拡張階層エントロピー復号化部２０９により復元された第１拡張階層量子化レベルを、第１量子化パラメータを利用して逆量子化することで、第２レジデュー映像の第１拡張階層周波数係数を復元する。第２拡張階層エントロピー復号化部２１１は、ビットストリームパーザ２０１により抽出された第２拡張階層ビットストリームをエントロピー復号化することによって、第２レジデュー映像の第２拡張階層量子化レベルとこの第２拡張階層量子化レベルとの推定値の差値を復元する。

第１レベル推定部２１２は、第１拡張階層エントロピー復号化部２０９により復元された第１拡張階層量子化レベルから、第２拡張階層エントロピー復号化部２１１により復元される第２拡張階層量子化レベルを推定する。より詳細に説明すれば、第１レベル推定部２１２は、第１拡張階層エントロピー復号化部２０９により復元された第１拡張階層量子化レベルを、第１拡張階層量子化パラメータを利用して逆量子化することで第２レジデュー映像の第１拡張階層周波数係数を復元し、この第１拡張階層周波数係数を、第２拡張階層量子化パラメータを利用して量子化することで、第２拡張階層エントロピー復号化部２１１により復元される第２拡張階層量子化レベルを推定する。すなわち、第２拡張階層量子化パラメータを利用して量子化された結果が、第２拡張階層量子化レベルの推定値である。

第１レベル加算器２１３は、第１レベル推定部２１２により推定された第２拡張階層量子化レベルに、第２拡張階層エントロピー復号化部２１１により復元された差値を加算することによって第２レジデュー映像の第２拡張階層量子化レベルを復元する。第２拡張階層逆量子化部２１４は、第１レベル加算器２１３により復元された第２拡張階層量子化レベルを、第２拡張階層量子化パラメータを利用して逆量子化することで第２レジデュー映像の第２拡張階層周波数係数を復元する。

以上では、本実施形態のうち、第１拡張階層及び第２拡張階層に関する部分を説明した。以下では、本実施形態による量子化パラメータについての具体的な例を挙げて、第１拡張階層及び第２拡張階層を第ｘ−１拡張階層及び第ｘ拡張階層に一般化させて説明する。また、第ｘ−１拡張階層及び第ｘ拡張階層に該当する構成要素については、図６の複雑度を低めるために、この構成要素についての図示は省略する。

本実施形態によれば、第１拡張階層量子化パラメータは、第１拡張階層の量子化ステップサイズと量子化行列との積と定義できる。この場合、第ｘ−１レベル推定部は、前記式（２）によって、第ｘ−１拡張階層エントロピー符号化部により復元された第ｘ−１拡張階層量子化レベルと、第ｘ−１拡張階層の量子化ステップサイズと量子化行列との積とを乗算することによって、第２レジデュー映像の第ｘ−１拡張階層周波数係数を復元する。次いで、第ｘ−１レベル推定部は、前記式（３）によってこのように復元された第ｘ−１拡張階層周波数係数を、第ｘ拡張階層の量子化ステップサイズと量子化行列との積で割り、その結果を整数値に近似化する。

また、第ｘ−１レベル加算器は、次の式（８）によって、第ｘ−１レベル推定部により推定された第ｘ拡張階層量子化レベルに、第ｘ拡張階層エントロピー符号化部により復元された差値を加算することによって、第２レジデュー映像の第ｘ拡張階層量子化レベルを復元する。次の式（８）で“ｅｓｔＬｅｖｅｌ_ｘ−１”は、第ｘ−１レベル推定部により推定された第ｘ拡張階層量子化レベルであり、“ｒｅｓＬｅｖｅｌ_ｘ”は、第２レジデュー映像の第ｘ拡張階層量子化レベルとこの第ｘ拡張階層量子化レベルとの推定値の差値であり、“ｒｅｃＬｅｖｅｌ_ｘ”は、第ｘ−１レベル加算器により復元された第ｘ拡張階層量子化レベルである。

また、第ｘ階層逆量子化部は、次の式（９）によって第ｘ−１レベル加算器により復元された第ｘ拡張階層量子化レベルと、第ｘ拡張階層の量子化ステップサイズと量子化行列との積とを乗算することによって、第２レジデュー映像の第ｘ拡張階層周波数係数を復元する。次の式（９）で“ｒｅｃＬｅｖｅｌ_ｘ”は、第ｘ−１レベル加算器により復元された第ｘ拡張階層量子化レベルであり、“Ｑ_Ｅｘ”は、第ｘ拡張階層の量子化ステップサイズであり、“Ｗ_ｘ”は、第ｘ拡張階層の量子化行列であり、“ｒｅｃＣｏｅｆｆ_ｘ”は、第ｘ−１レベル逆量子化部により復元された第ｘ拡張階層周波数係数である。

そうでなければ、第１拡張階層量子化パラメータは、第１拡張階層の量子化ステップサイズと量子化行列との和とも定義できる。この場合、第ｘ−１レベル推定部は、前記式（６）によって、第ｘ−１拡張階層エントロピー符号化部により復元された第ｘ−１拡張階層量子化レベルと、第ｘ−１拡張階層の量子化ステップサイズと量子化行列との和とを乗算することによって、第２レジデュー映像の第ｘ−１拡張階層周波数係数を復元する。次いで、第ｘ−１レベル推定部は、前記式（７）によってこのように復元された第ｘ−１拡張階層周波数係数を、第ｘ拡張階層の量子化ステップサイズと量子化行列との和で割り、その結果を整数値に近似化する。

前記の例での第ｘ−１レベル加算器は、量子化パラメータが、量子化ステップサイズと量子化行列との積と定義される例と同一であるので、これについての説明は省略する。また、第ｘ階層逆量子化部は、次の式（１０）によって第ｘ−１レベル加算器により復元された第ｘ拡張階層量子化レベルと、第ｘ拡張階層の量子化ステップサイズと量子化行列との和とを乗算することによって、第２レジデュー映像の第ｘ拡張階層周波数係数を復元する。次の式（１０）で“ｒｅｃＬｅｖｅｌ_ｘ”は、第ｘ−１レベル加算器により復元された第ｘ拡張階層量子化レベルであり、“Ｑ_Ｅｘ”は、第ｘ拡張階層の量子化ステップサイズであり、“Ｗ_ｘ”は、第ｘ拡張階層の量子化行列であり、“ｒｅｃＣｏｅｆｆ_ｘ”は、第ｘ−１レベル逆量子化部により復元された第ｘ拡張階層周波数係数である。

前記のような階層的復号化方式は、拡張階層のうち最上位階層である第Ｎ階層まで反復的に適用されうる。したがって、図５に示した構成要素のうち、説明されていない構成要素、例えば、第Ｎ拡張階層エントロピー復号化部２１５、第Ｎ拡張階層逆量子化部２１８、第Ｎ−１レベル推定部２１６、第Ｎ−１レベル加算器２１７については、その説明を省略する。ただし、各拡張階層の量子化パラメータは相異なる値になりうる。上位階層へ行くほど量子化ステップサイズは減少し、量子化行列の元素値全体または一部が減少するという点は、図４に示した映像符号化装置１００の場合と同一である。また、図５に示した量子化行列も本実施形態にそのまま適用される。

第２逆変換部２１９は、第１拡張階層逆量子化部２１０及び第Ｎ拡張階層逆量子化部２１８での逆量子化結果に該当する拡張階層周波数係数のうち、最高順位の拡張階層の周波数係数を周波数空間から色空間に変換することによって拡張階層レジデュー映像を復元する。例えば、第１拡張階層逆量子化部２１０及び第Ｎ拡張階層逆量子化部２１８での逆量子化結果に該当する拡張階層周波数係数のうち、最高順位の拡張階層が第３拡張階層ならば、第２逆変換部２１９は、第３拡張階層周波数係数を周波数空間から色空間に変換することによって拡張階層レジデュー映像を復元する。第１拡張階層逆量子化部２１０及び第Ｎ拡張階層逆量子化部２１８での逆量子化結果に該当する拡張階層周波数係数のうち、最高順位の拡張階層が第３拡張階層になる場合は、代表的に次の２つを挙げることができる。

まず、図４に示した映像符号化装置１００から伝送されたスケーラブルビットストリームが、基本階層ビットストリームから第３拡張階層ビットストリームまで、またはそれ以上の上位拡張階層ビットストリームまで含んでいるが、第Ｎ拡張階層逆量子化部２１８が第３拡張階層逆量子化部である場合がこれに該当する。次いで、第Ｎ拡張階層逆量子化部２１８が、第３拡張階層またはそれ以上の上位拡張階層の逆量子化部や、図４に示した映像符号化装置１００から伝送されたスケーラブルビットストリームが、基本階層ビットストリームから第３拡張階層ビットストリームまで含んでいる場合もここに該当する。

このように場合、第２逆変換部２１９での逆変換の対象にならない第１拡張階層周波数係数及び第２拡張階層周波数係数は、第１拡張階層逆量子化部２１０及び第２拡張階層逆量子化部２１４により復元される必要がないということが分かる。したがって、第２逆変換部２１９が常に第３拡張階層以上の順位の拡張階層の周波数係数を逆変換する環境ならば、第１拡張階層逆量子化部２１０及び第２拡張階層逆量子化部２１４は、映像復号化装置２００の構成要素から除外されるように設計されうる。さらに、第２逆変換部２１９が常に最上位階層である第Ｎ拡張階層の周波数係数を逆変換する環境ならば、第１拡張階層逆量子化部２１０から第Ｎ−１拡張階層逆量子化部までは、映像復号化装置２００の構成要素から除外されるように設計されうる。

第２加算器２２０は、アップサンプラー２０８によりアップサンプリングされた復元映像に、第２逆変換部２１９により復元された拡張階層レジデュー映像を加えることによって、原本映像の復元映像を生成する。

図７は、本発明の他の実施形態による映像符号化装置３００の構成図である。図７を参照するに、本実施形態による映像符号化装置は、ダウンサンプラー３０１、第１動き推定部３０２、第１動き補償部３０３、第１減算器３０４、第１変換部３０５、量子化部３０６、エントロピー符号化部３０７、第１逆量子化部３０８、第１逆変換部３０９、第１加算器３１０、第１バッファ３１１、アップサンプラー３１２、第２減算器３１３、第２動き推定部３１４、第２動き補償部３１５、第３減算器３１６、第２変換部３１７、第１拡張階層量子化部３１８、第２拡張階層量子化部３２０、第Ｎ拡張階層量子化部３２４、第１拡張階層エントロピー符号化部３１９、第２拡張階層エントロピー符号化部３２３−第Ｎ拡張階層エントロピー符号化部３２７、第１レベル推定部３２１、第Ｎ−１レベル推定部３２５、第１レベル減算器３２２、第Ｎ−１レベル減算器３２６、第２逆量子化部３２８、第２逆変換部３２９、第２加算器３３０、第２バッファ３３１及びビットストリーム生成部３３２で構成される。

図７に示した映像符号化装置３００は、図４に示した映像符号化装置１００に、第１拡張階層のインター符号化に関連した構成要素が追加されたことを除いては、映像符号化装置１００と同一である。したがって、以下省略された内容であっても、図４に示した映像符号化装置１００に関して以上で記述された内容は、本実施形態による映像符号化装置３００にも適用される。

ダウンサンプラー３０１は、動映像を構成する原本映像中映像符号化装置３００に現在入力された原本映像をダウンサンプリングすることで基本映像を生成する。第１動き推定部３０２は、第１バッファ３１１に保存された参照映像のうち少なくとも一つの参照映像を基準に、ダウンサンプラー３０１により生成された基本映像の動きを推定する。第１動き補償部３０３は、第１動き推定部３０２による基本映像の動き推定を利用して、第１バッファ３１１に保存された参照映像のうち少なくとも一つの参照映像から基本映像の予測映像を生成する。

第１減算器３０４は、基本映像から第１動き補償部３０３により生成された予測映像を減算することで、基本映像と予測映像間のレジデュー映像（以下、“第１レジデュー映像”という）を生成する。第１変換部３０５は、第１減算器３０４により生成された第１レジデュー映像を、色空間から周波数空間に変換することによって第１レジデュー映像の周波数係数を生成する。量子化部３０６は、第１変換部３０５により生成された周波数係数を量子化することで第１レジデュー映像の量子化レベルを生成する。エントロピー符号化部３０７は、量子化部３０６により生成された量子化レベルをエントロピー符号化することによって基本階層ビットストリームを生成する。

第１逆量子化部３０８は、量子化部３０６により生成された量子化レベルを逆量子化することで第１レジデュー映像の周波数係数を復元する。第１逆変換部３０９は、第１逆量子化部３０８により復元された周波数係数を、周波数空間から色空間に変換することによって第１レジデュー映像を復元する。第１加算器３１０は、第１動き補償部３０３により生成された予測映像に、逆変換部３０９により復元された第１レジデュー映像を加えることによって基本映像の復元映像を生成し、この復元映像を第１バッファ３１１に保存する。

アップサンプラー３１２は、第１加算器３１０により生成された復元映像をアップサンプリングする。第２減算器３１３は、動映像を構成する原本映像のうち、映像符号化装置３００に現在入力された原本映像から、アップサンプラー３１２によりアップサンプリングされた復元映像を減算することで、原本映像とアップサンプラー３１２によりアップサンプリングされた復元映像間のレジデュー映像（以下、“第２レジデュー映像”という）を生成する。

第２動き推定部３１４は、第２バッファ３３１に保存された参照映像のうち少なくとも一つの参照映像を基準に、第２減算器３１３により生成された第２レジデュー映像の動きを推定する。第２動き補償部３１５は、第２動き推定部３１４による第２レジデュー映像の動き推定を利用して、第２バッファ３３１に保存された参照映像のうち少なくとも一つの参照映像から第２レジデュー映像の予測映像を生成する。第３減算器３１６は、第２減算器３１３により生成された第２レジデュー映像から、第２動き補償部３１５により生成された予測映像を減算することで、第２レジデュー映像と予測映像間のレジデュー映像（以下、“第３レジデュー映像”という）を生成する。より詳細に説明すれば、第３減算器３１６は、第２レジデュー映像の各ブロックから、各ブロックの動きベクトルが指示する少なくとも一つの予測映像のブロックを減算する。第２変換部３１７は、第３減算器３１６により生成された第３レジデュー映像を、色空間から周波数空間に変換することによって第３レジデュー映像の周波数係数を生成する。

第１拡張階層量子化部３１８は、第２変換部３１７により生成された周波数係数を、第１拡張階層量子化パラメータを利用して量子化することで、第３レジデュー映像の第１拡張階層量子化レベルを生成する。第１拡張階層エントロピー符号化部３１９は、第１拡張階層量子化部３１８により生成された第１拡張階層量子化レベルをエントロピー符号化することによって、第１拡張階層ビットストリームを生成する。第２拡張階層量子化部３２０は、第２変換部３１７により生成された周波数係数を、第２拡張階層量子化パラメータを利用して量子化することで、第３レジデュー映像の第２拡張階層量子化レベルを生成する。

第１レベル推定部３２１は、第１拡張階層量子化部３１８により生成された第１拡張階層量子化レベルから、第２拡張階層量子化部３２０により生成される第２拡張階層量子化レベルを推定する。第１レベル減算器３２２は、第２拡張階層量子化部３２０により生成された第２拡張階層量子化レベルから、第１レベル推定部３２１により推定された第２拡張階層量子化レベルを減算することで、第２拡張階層量子化部３２０により生成された第２拡張階層量子化レベルと、第１レベル推定部３２１により推定された第２拡張階層量子化レベル間の差値を生成する。第２拡張階層エントロピー符号化部３２３は、第１レベル減算器３２２により生成された差値をエントロピー符号化することによって、第２拡張階層ビットストリームを生成する。

第２逆量子化部３２８は、第１拡張階層量子化部３１８により生成された第１拡張階層量子化レベルを逆量子化することで、第３レジデュー映像の第１拡張階層周波数係数を復元する。第２逆変換部３２９は、第２逆量子化部３２８により復元された第１拡張階層周波数係数を、周波数空間から色空間に変換することによって第３レジデュー映像を復元する。第２加算器３３０は、第２動き補償部３１５により生成された予測映像に、第２逆変換部３２９により復元された第３レジデュー映像を加えることによって第２レジデュー映像の復元映像を生成し、この復元映像を第２バッファ３３１に保存する。

ビットストリーム生成部３３２は、エントロピー符号化部３０７により生成された基本階層ビットストリームと、第１拡張階層エントロピー符号化部３１９及び第Ｎ拡張階層エントロピー符号化部３２７により生成された拡張階層ビットストリームとを組み合わせすることで、スケーラブルビットストリームを生成する。

図８は、本発明の他の実施形態による映像復号化装置４００の構成図である。図８を参照するに、本実施形態による映像復号化装置４００は、ビットストリームパーザ４０１、エントロピー符号化部４０２、逆量子化部４０３、第１逆変換部４０４、第１動き補償部４０５、第１加算器４０６、第１バッファ４０７、アップサンプラー４０８、第１拡張階層エントロピー復号化部４０９、第２拡張階層エントロピー復号化部４１１、第Ｎ拡張階層エントロピー復号化部４１５、第１拡張階層逆量子化部４１０、第２拡張階層逆量子化部４１４及び第Ｎ拡張階層逆量子化部４１８、第１レベル推定部４１２及び第Ｎ−１レベル推定部４１６、第１レベル加算器４１３及び第Ｎ−１レベル加算器４１７、第２逆変換部４１９、第２動き補償部４２０、第２加算器４２１、第２バッファ４２２、第３加算器４２４及び第４加算器４２５で構成される。

図８に示した映像復号化装置４００は、図７に示した映像復号化装置２００に第１拡張階層のインター復号化に関連した構成要素が追加されたことを除いて、映像復号化装置２００と同一である。したがって、以下で省略された内容であっても、図６に示した映像復号化装置２００に関して以上で記述された内容は、本実施形態による映像復号化装置４００にも適用される。

ビットストリームパーザ４０１は、図７に示した映像符号化装置３００から伝送されたスケーラブルビットストリームをパージングすることで、このスケーラブルビットストリームから基本階層ビットストリーム及び拡張階層ビットストリームを抽出する。エントロピー符号化部４０２は、ビットストリームパーザ４０１により抽出された基本階層ビットストリームをエントロピー復号化することによって、基本映像と予測映像間のレジデュー映像（以下、“第１レジデュー映像”という）の量子化レベルと映像復号化のための情報などを復元する。逆量子化部４０３は、エントロピー符号化部４０２により復元された量子化レベルを逆量子化することで、第１レジデュー映像の周波数係数を復元する。第１逆変換部４０４は、逆量子化部４０３により復元された周波数係数を、周波数空間から色空間に変換することによって第１レジデュー映像を復元する。

第１動き補償部４０５は、第１バッファ４０７に保存された参照映像のうち、少なくとも一つの参照映像基準の基本映像の動き推定を利用して、少なくとも一つの参照映像から基本映像の予測映像を生成する。第１加算器４０６は、第１動き補償部４０５により生成された予測映像に、第１逆変換部４０４により復元された第１レジデュー映像を加えることによって、基本映像の復元映像を生成し、この復元映像を第１バッファ４０７に保存する。

アップサンプラー４０８は、加算器１１０により生成された復元映像をアップサンプリングする。第１拡張階層エントロピー復号化部４０９は、ビットストリームパーザ４０１により抽出された第１拡張階層ビットストリームをエントロピー符号化することによって、原本映像とアップサンプラー４０８によりアップサンプリングされた復元映像間のレジデュー映像（以下、“第２レジデュー映像”という）と、予測映像間のレジデュー映像（以下、“第３レジデュー映像”という）との第１拡張階層量子化レベルを復元する。第１拡張階層逆量子化部４１０は、第１拡張階層エントロピー復号化部４０９により復元された第１拡張階層量子化レベルを、第１拡張階層量子化パラメータを利用して逆量子化することで、第３レジデュー映像の第１拡張階層周波数係数を復元する。第２拡張階層エントロピー復号化部４１１は、ビットストリームパーザ４０１により抽出された第２拡張階層ビットストリームをエントロピー符号化することによって、第３レジデュー映像の第２拡張階層量子化レベルとこの第２拡張階層量子化レベルとの推定値の差値を復元する。

第１レベル推定部４１２は、第１拡張階層エントロピー復号化部４０９により復元された第１拡張階層量子化レベルから、第２拡張階層エントロピー復号化部４１１により復元される第２拡張階層量子化レベルを推定する。より詳細に説明すれば、第１レベル推定部４１２は、第１拡張階層エントロピー復号化部４０９により復元された第１拡張階層量子化レベルを、第１拡張階層量子化パラメータを利用して逆量子化することで、第３レジデュー映像の周波数係数を復元し、この周波数係数を、第２拡張階層量子化パラメータを利用して量子化することで、第２拡張階層エントロピー復号化部４１１により復元される第２拡張階層量子化レベルを推定する。

第１レベル加算器４１３は、第１レベル推定部４１２により推定された第２拡張階層量子化レベルに、第２拡張階層エントロピー復号化部４１１により復元された差値を加算することによって、第３レジデュー映像の第２拡張階層量子化レベルを復元する。第２拡張階層逆量子化部４１４は、第１レベル加算器４１３により復元された第２拡張階層量子化レベルを、第２拡張階層量子化パラメータを利用して逆量子化することで、第３レジデュー映像の第２拡張階層周波数係数を復元する。

第２逆変換部４１９は、第１拡張階層逆量子化部４１０により復元された第１拡張階層周波数係数を、周波数空間から色空間に変換することによって第３レジデュー映像を復元する。第２動き補償部４２０は、第２バッファ４２２に保存された参照映像のうち少なくとも一つの参照映像基準の第２レジデュー映像の動き推定を利用して、少なくとも一つの参照映像から第２レジデュー映像の予測映像を生成する。第２加算器４２１は、第２動き補償部４２０により生成された予測映像に、第２逆変換部４１９により復元された第３レジデュー映像を加えることによって第２レジデュー映像の復元映像を生成し、この復元映像を第２バッファ４２２に保存する。

第３逆変換部４２３は、第２拡張階層逆量子化部４１４及び第Ｎ拡張階層逆量子化部４１８での逆量子化結果に該当する拡張階層周波数係数のうち、最高順位の拡張階層の周波数係数を、周波数空間から色空間に変換することによって拡張階層レジデュー映像を復元する。第３加算器４２４は、第２加算器４２１により生成された復元映像に、第２逆変換部４１９により復元された拡張階層レジデュー映像を加えることによって、さらに高画質の第２レジデュー映像の復元映像を生成する。第４加算器４２５は、アップサンプラー４０８によりアップサンプリングされた復元映像に、第３加算器４２４により生成された復元映像を加えることによって原本映像の復元映像を生成する。

図９は、本発明のさらに他の実施形態による映像符号化装置５００の構成図である。図９を参照するに、本実施形態による映像符号化装置は、ダウンサンプラー５０１、第１動き推定部５０２、第１動き補償部５０３、第１減算器５０４、第１変換部５０５、量子化部５０６、エントロピー符号化部５０７、第１逆量子化部５０８、第１逆変換部５０９、第１加算器５１０、第１バッファ５１１、アップサンプラー５１２、第２減算器５１３、第２動き推定部５１４、第２動き補償部５１５、第３減算器５１６、第２変換部５１７、第１拡張階層量子化部５１８、第１拡張階層エントロピー符号化部５１９、第２逆量子化部５２０、第２逆変換部５２１、第２加算器５２２、第２バッファ５２３、第３動き推定部５２４、第３動き補償部５２５、第４減算器５２６、第３変換部５２７、第２拡張階層量子化部５２８、第１レベル推定部５２９、第１レベル減算器５３０、第２拡張階層エントロピー符号化部５３１、第３逆量子化部５３２、第３逆変換部５３３、第３加算器５３４及び第３バッファ５３５で構成される。

図９に示した映像符号化装置５００は、図７に示した映像符号化装置３００に第１拡張階層以外の他の拡張階層のインター符号化に関連した構成要素が追加されたことを除いて、映像符号化装置３００と同一である。したがって、以下省略された内容であっても、図７に示した映像符号化装置３００に関して以上で記述された内容は、本実施形態による映像符号化装置５００にも適用される。特に、図９の複雑度を低めるために、第３拡張階層以上の上位階層についての図示は省略したが、第３拡張階層以上の上位階層にも以下に記述される内容が同じく適用されうる。

ダウンサンプラー５０１は、動映像を構成する原本映像のうち、映像符号化装置５００に現在入力された原本映像をダウンサンプリングすることで基本映像を生成する。第１動き推定部５０２は、第１バッファ５１１に保存された参照映像のうち少なくとも一つの参照映像を基準に、ダウンサンプラー５０１により生成された基本映像の動きを推定する。第１動き補償部５０３は、第１動き推定部５０２による基本映像の動き推定を利用して、第１バッファ５１１に保存された参照映像のうち少なくとも一つの参照映像から基本映像の予測映像を生成する。

第１減算器５０４は、基本映像から、第１動き補償部５０３により生成された予測映像を減算することで、基本映像と予測映像間のレジデュー映像（以下、“第１レジデュー映像”という）を生成する。第１変換部５０５は、第１減算器５０４により生成された第１レジデュー映像を、色空間から周波数空間に変換することによって、第１レジデュー映像の周波数係数を生成する。量子化部５０６は、第１変換部５０５により生成された周波数係数を量子化することで、第１レジデュー映像の量子化レベルを生成する。エントロピー符号化部５０７は、量子化部５０６により生成された量子化レベルをエントロピー符号化することによって、基本階層ビットストリームを生成する。

第１逆量子化部５０８は、量子化部５０６により生成された量子化レベルを逆量子化することで、第１レジデュー映像の周波数係数を復元する。第１逆変換部５０９は、第１逆量子化部５０８により復元された周波数係数を、周波数空間から色空間に変換することによって第１レジデュー映像を復元する。第１加算器５１０は、第１動き補償部５０３により生成された予測映像に、第１逆変換部５０９により復元された第１レジデュー映像を加えることによって基本映像の復元映像を生成し、この復元映像を第１バッファ５１１に保存する。

アップサンプラー５１２は、第１加算器５１０により生成された復元映像をアップサンプリングする。第２減算器５１３は、動映像を構成する原本映像のうち、映像符号化装置５００に現在入力された原本映像から、アップサンプラー５１２によりアップサンプリングされた復元映像を減算することで、原本映像とアップサンプラー５１２によりアップサンプリングされた復元映像間のレジデュー映像（以下、“第２レジデュー映像”という）を生成する。

第２動き推定部５１４は、第２バッファ５２３に保存された参照映像のうち少なくとも一つの参照映像を基準に、第２減算器５１３により生成された第２レジデュー映像の動きを推定する。第２動き補償部５１５は、第２動き推定部５１４による第２レジデュー映像の動き推定を利用して、第２バッファ５２３に保存された参照映像のうち少なくとも一つの参照映像から、第２レジデュー映像の予測映像を生成する。第３減算器５１６は、第２減算器５１３により生成された第２レジデュー映像から、第２動き補償部５１５により生成された予測映像を減算することで、第２レジデュー映像と予測映像間のレジデュー映像（以下、“第３レジデュー映像”という）を生成する。第２変換部５１７は、第３減算器５１６により生成された第３レジデュー映像を、色空間から周波数空間に変換することによって第３レジデュー映像の周波数係数を生成する。

第１拡張階層量子化部５１８は、第２変換部５１７により生成された周波数係数を、第１拡張階層量子化パラメータを利用して量子化することで、第３レジデュー映像の第１拡張階層量子化レベルを生成する。第１拡張階層エントロピー符号化部５１９は、第１拡張階層量子化部５１８により生成された第１拡張階層量子化レベルをエントロピー符号化することによって、第１拡張階層ビットストリームを生成する。

第２逆量子化部５２０は、第１拡張階層量子化部５１８により生成された第１拡張階層量子化レベルを逆量子化することで、第３レジデュー映像の第１拡張階層周波数係数を復元する。第２逆変換部５２１は、第２逆量子化部５２０により復元された第１拡張階層周波数係数を周波数空間から色空間に変換することによって、第３レジデュー映像を復元する。第２加算器５２２は、第２動き補償部５１５により生成された予測映像に、第２逆変換部５２１により復元された第３レジデュー映像を加えることによって、第２レジデュー映像の復元映像を生成し、この復元映像を第２バッファ５２３に保存する。

第３動き推定部５２４は、第３バッファ５３５に保存された参照映像のうち少なくとも一つの参照映像を基準に、第２減算器５１３により生成された第２レジデュー映像の動きを推定する。第３動き補償部５２５は、第３動き推定部５２４による第２レジデュー映像の動き推定を利用して、第３バッファ５３５に保存された参照映像のうち少なくとも一つの参照映像から、第２レジデュー映像の予測映像を生成する。第４減算器５２６は、第２減算器５１３により生成された第２レジデュー映像から、第３動き補償部５２５により生成された予測映像を減算することで、第３レジデュー映像を生成する。第３変換部５２７は、第４減算器５２６により生成された第３レジデュー映像を、色空間から周波数空間に変換することによって、第３レジデュー映像の周波数係数を生成する。

第２拡張階層量子化部５２８は、第３変換部５２７により生成された周波数係数を、第２拡張階層量子化パラメータを利用して量子化することで、第３レジデュー映像の第２拡張階層量子化レベルを生成する。第１レベル推定部５２９は、第１拡張階層量子化部５１８により生成された第１拡張階層量子化レベルから、第２拡張階層量子化部５２８により生成される第２拡張階層量子化レベルを推定する。第１レベル減算器５３０は、第２拡張階層量子化部５２８により生成された第２拡張階層量子化レベルから、第１レベル推定部５２９により推定された第２拡張階層量子化レベルを減算することで、第２拡張階層量子化部５２８により生成された第２拡張階層量子化レベルと、第１レベル推定部５２９により推定された第２拡張階層量子化レベル間の差値とを生成する。第２拡張階層エントロピー符号化部５３１は、第１レベル減算器５３０により生成された差値をエントロピー符号化することによって、第２拡張階層ビットストリームを生成する。

第３逆量子化部５３２は、第２拡張階層量子化部５２８により生成された第２拡張階層量子化レベルを逆量子化することで、第３レジデュー映像の第２拡張階層周波数係数を復元する。第３逆変換部５３３は、第３逆量子化部５３２により復元された第２拡張階層周波数係数を、周波数空間から色空間に変換することによって第３レジデュー映像を復元する。第３加算器５３４は、第３動き補償部５２５により生成された予測映像に、第３逆変換部５３３により復元された第３レジデュー映像を加えることによって、第２レジデュー映像の復元映像を生成し、この復元映像を第３バッファ５３５に保存する。

ビットストリーム生成部５５２は、エントロピー符号化部５０７により生成された基本階層ビットストリームと、第１拡張階層エントロピー符号化部５１９及び第２拡張階層エントロピー符号化部５３１により生成された拡張階層ビットストリームとを組み合わせすることで、スケーラブルビットストリームを生成する。

図１０は、本発明の実施形態による映像復号化装置６００の構成図である。図１０を参照するに、本実施形態による映像復号化装置６００は、ビットストリームパーザ６０１、エントロピー符号化部６０２、逆量子化部６０３、第１逆変換部６０４、第１動き補償部６０５、第１加算器６０６、第１バッファ６０７、アップサンプラー６０８、第１拡張階層エントロピー復号化部６０９、第１拡張階層逆量子化部６１０、第２逆変換部６１１、第２動き補償部６１２、第２加算器６１３、第２バッファ６１４、第２拡張階層エントロピー復号化部６１５、第１レベル推定部６１６、第１レベル加算器６１７、第２拡張階層逆量子化部６１８、第３逆変換部６１９、第３動き補償部６２０、第３加算器６２１、第３バッファ６２２及び第４加算器６２３で構成される。

図１０に示した映像復号化装置６００は、図８に示した映像復号化装置４００に、第１拡張階層以外の他の拡張階層のインター復号化に関連した構成要素が追加されたことを除いて、映像復号化装置４００と同一である。したがって、以下省略された内容であっても、図８に示した映像復号化装置４００に関して以上で記述された内容は、本実施形態による映像復号化装置６００にも適用される。特に、図１０の複雑度を低めるために、第３拡張階層以上の上位階層についての図示は省略したが、第３拡張階層以上の上位階層にも以下に記述される内容が同じく適用されうる。

ビットストリームパーザ６０１は、図９に示した映像符号化装置５００から伝送されたスケーラブルビットストリームをパージングすることで、このスケーラブルビットストリームから基本階層ビットストリーム及び拡張階層ビットストリームを抽出する。エントロピー符号化部６０２は、ビットストリームパーザ６０１により抽出された基本階層ビットストリームをエントロピー復号化することによって、基本映像と予測映像間のレジデュー映像（以下、“第１レジデュー映像”という）の量子化レベルと映像復号化のための情報などを復元する。逆量子化部６０３は、エントロピー符号化部６０２により復元された量子化レベルを逆量子化することで、第１レジデュー映像の周波数係数を復元する。第１逆変換部６０４は、逆量子化部６０３により復元された周波数係数を、周波数空間から色空間に変換することによって第１レジデュー映像を復元する。

第１動き補償部６０５は、第１バッファ６０７に保存された参照映像のうち、少なくとも一つの参照映像基準の基本映像の動き推定を利用して、少なくとも一つの参照映像から基本映像の予測映像を生成する。第１加算器６０６は、第１動き補償部６０５により生成された予測映像に、第１逆変換部６０４により復元された第１レジデュー映像を加えることによって基本映像の復元映像を生成し、この復元映像を第１バッファ６０７に保存する。

アップサンプラー６０８は、加算器１１０により生成された復元映像をアップサンプリングする。第１拡張階層エントロピー復号化部６０９は、ビットストリームパーザ６０１により抽出された第１拡張階層ビットストリームをエントロピー符号化することによって、原本映像とアップサンプラー６０８によりアップサンプリングされた復元映像間のレジデュー映像（以下、“第２レジデュー映像”という）と、予測映像間のレジデュー映像（以下、“第３レジデュー映像”という）との第１拡張階層量子化レベルを復元する。第１拡張階層逆量子化部６１０は、第１拡張階層エントロピー復号化部６０９により復元された第１拡張階層量子化レベルを、第１拡張階層量子化パラメータを利用して逆量子化することで、第３レジデュー映像の第１拡張階層周波数係数を復元する。

第２逆変換部６１１は、第１拡張階層逆量子化部６１０により復元された第１拡張階層周波数係数を、周波数空間から色空間に変換することによって第３レジデュー映像を復元する。第２動き補償部６１２は、第２バッファ６１４に保存された参照映像のうち、少なくとも一つの参照映像基準の第２レジデュー映像の動き推定を利用して、少なくとも一つの参照映像から第２レジデュー映像の予測映像を生成する。第２加算器６１３は、第２動き補償部６１２により生成された予測映像に、第２逆変換部６１１により復元された第３レジデュー映像を加えることによって第２レジデュー映像の復元映像を生成し、この復元映像を第２バッファ６１４に保存する。

第２拡張階層エントロピー復号化部６１５は、ビットストリームパーザ６０１により抽出された第２拡張階層ビットストリームをエントロピー符号化することによって、第３レジデュー映像の第２拡張階層量子化レベルと、この第２拡張階層量子化レベルとの推定値の差値を復元する。第１レベル推定部６１６は、第１拡張階層エントロピー復号化部６０９により復元された第１拡張階層量子化レベルから、第２拡張階層エントロピー復号化部６１５により復元される第２拡張階層量子化レベルを推定する。第１レベル加算器６１７は、第１レベル推定部６１６により推定された第２拡張階層量子化レベルに、第２拡張階層エントロピー復号化部６１５により復元された差値を加算することによって、第３レジデュー映像の第２拡張階層量子化レベルを復元する。第２拡張階層逆量子化部６１８は、第１レベル加算器６１７により復元された第２拡張階層量子化レベルを、第２拡張階層量子化パラメータを利用して逆量子化することで、第３レジデュー映像の第２拡張階層周波数係数を復元する。

第３逆変換部６１９は、第２拡張階層逆量子化部６１８により復元された第２拡張階層周波数係数を、周波数空間から色空間に変換することによって第３レジデュー映像を復元する。第３動き補償部６２０は、第３バッファ６２２に保存された参照映像のうち少なくとも一つの参照映像基準の第２レジデュー映像の動き推定を利用して、少なくとも一つの参照映像から第２レジデュー映像の予測映像を生成する。第３加算器６２１は、第３動き補償部６２０により生成された予測映像に、第３逆変換部６１９により復元された第３レジデュー映像を加えることによって、第２レジデュー映像の復元映像を生成し、この復元映像を第３バッファ６２２に保存する。

第４加算器６２３は、アップサンプラー６０８によりアップサンプリングされた復元映像に、第２加算器６１３により生成された復元映像及び第３加算器６２１により生成された復元映像のうち最高順位の拡張階層の復元映像、すなわち、第３加算器６２１により生成された復元映像を加えることによって、原本映像の復元映像を生成する。

図１１は、本発明の一実施形態による映像符号化方法のフローチャートである。図１１を参照するに、本実施形態による映像符号化方法は、図４に示した映像符号化装置１００で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図４に示した映像符号化装置１００に関して以上で記述された内容は、本実施形態による映像符号化方法にも適用される。特に、図１１の複雑度を低めるために、図１１には動映像を構成する原本映像のうちいずれか一つの原本映像の処理過程のみ図示されているが、図１１に示した映像符号化方法は、動映像を構成する原本映像それぞれに反復的に適用される。

１００１ステップで映像符号化装置１００は、動映像を構成する原本映像のうち、映像符号化装置１００に現在入力された原本映像をダウンサンプリングすることで基本映像を生成する。１００２ステップで映像符号化装置１００は、バッファ１１１に保存された参照映像のうち少なくとも一つの参照映像を基準に、ダウンサンプラー１０１により生成された基本映像の動きを推定し、この基本映像の動き推定を利用して、バッファ１１１に保存された参照映像のうち少なくとも一つの参照映像から基本映像の予測映像を生成する。

１００３ステップで映像符号化装置１００は、基本映像から、１００２ステップで生成された予測映像を減算することで、基本映像と予測映像間のレジデュー映像（以下、“第１レジデュー映像”という）を生成する。１００４ステップで映像符号化装置１００は、１００３ステップで生成された第１レジデュー映像を、色空間から周波数空間に変換することによって第１レジデュー映像の周波数係数を生成し、この周波数係数を量子化することで第１レジデュー映像の量子化レベルを生成する。１００５ステップで映像符号化装置１００は、１００４ステップで生成された量子化レベルをエントロピー符号化することによって、基本階層ビットストリームを生成する。

１００６ステップで映像符号化装置１００は、１００４ステップで生成された量子化レベルを逆量子化することで第１レジデュー映像の周波数係数を復元し、この周波数係数を、周波数空間から色空間に変換することによって第１レジデュー映像を復元し、１００２ステップで生成された予測映像に復元された第１レジデュー映像を加えることによって基本映像の復元映像を生成し、この復元映像をバッファ１１１に保存する。

１００７ステップで映像符号化装置１００は、１００６ステップで生成された復元映像をアップサンプリングする。１００８ステップで映像符号化装置１００は、動映像を構成する原本映像中映像符号化装置１００に現在入力された原本映像から、１００７ステップでアップサンプリングされた復元映像を減算することで、原本映像と、１００７ステップでアップサンプリングされた復元映像間のレジデュー映像（以下、“第２レジデュー映像”という）を生成する。１００９ステップで映像符号化装置１００は、１００８ステップで生成された第２レジデュー映像を、色空間から周波数空間に変換することによって第２レジデュー映像の周波数係数を生成する。

１０１０ステップで映像符号化装置１００は、１００９ステップで生成された周波数係数を、第１拡張階層量子化パラメータを利用して量子化することで、第２レジデュー映像の第１拡張階層量子化レベルを生成し、この第１拡張階層量子化レベルをエントロピー符号化することによって、第１拡張階層ビットストリームを生成する。また、１０１０ステップで映像符号化装置１００は、１００９ステップでより生成された周波数係数を、第２拡張階層量子化パラメータを利用して量子化することで、第２レジデュー映像の第２拡張階層量子化レベルを生成する。また、１０１０ステップで映像符号化装置１００は、第１拡張階層量子化レベルから第２拡張階層量子化レベルを推定し、第２拡張階層量子化レベルと第２拡張階層量子化レベルとの推定値間の差値をエントロピー符号化することによって、第２拡張階層ビットストリームを生成する。前記１０１０ステップは、あらゆる拡張階層に対して反復的に適用される。

１０１１ステップで映像符号化装置１００は、１００５ステップで生成された基本階層ビットストリームと、１０１０ステップで生成された拡張階層ビットストリームとを組み合わせすることでスケーラブルビットストリームを生成する。

図１２は、本発明の一実施形態による映像復号化方法のフローチャートである。図１２を参照するに、本実施形態による映像復号化方法は、図６に示した映像復号化装置２００で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図６に示した映像復号化装置２００に関して以上で記述された内容は、本実施形態による映像復号化方法にも適用される。特に、図１２の複雑度を低めるために、図１２には、動映像を構成する原本映像のうちいずれか一つの原本映像の処理過程のみ図示されているが、図１２に示した映像復号化方法は、動映像を構成する原本映像それぞれに反復的に適用される。

２００１ステップで映像復号化装置２００は、図４に示した映像符号化装置１００から伝送されたスケーラブルビットストリームをパージングすることで、このスケーラブルビットストリームから基本階層ビットストリーム及び拡張階層ビットストリームを抽出する。

２００２ステップで映像復号化装置２００は、２００１ステップで抽出された基本階層ビットストリームをエントロピー復号化することによって、基本映像と予測映像間のレジデュー映像（以下、“第１レジデュー映像”という）の量子化レベルと映像復号化のための情報などを復元し、この量子化レベルを逆量子化することで第１レジデュー映像の周波数係数を復元し、この周波数係数を周波数空間から色空間に変換することによって第１レジデュー映像を復元する。

２００３ステップで映像復号化装置２００は、バッファ２０７に保存された参照映像のうち少なくとも一つの参照映像基準の基本映像の動き推定を利用して、少なくとも一つの参照映像から基本映像の予測映像を生成する。２００４ステップで映像復号化装置２００は、２００３ステップで生成された予測映像に、２００２ステップで復元された第１レジデュー映像を加えることによって基本映像の復元映像を生成し、この復元映像をバッファ２０７に保存する。２００５ステップで映像復号化装置２００は、２００４ステップで生成された復元映像をアップサンプリングする。

２００６ステップで映像復号化装置２００は、２００１ステップで抽出された第１拡張階層ビットストリームをエントロピー復号化することによって、原本映像と２００５ステップでアップサンプリングされた復元映像間のレジデュー映像（以下、“第２レジデュー映像”という）の第１拡張階層量子化レベルを復元し、この第１拡張階層量子化レベルを、第１拡張階層量子化パラメータを利用して逆量子化することで、第２レジデュー映像の第１拡張階層周波数係数を復元する。

また、２００６ステップで映像復号化装置２００は、２００１ステップで抽出された第２拡張階層ビットストリームをエントロピー復号化することによって、第２レジデュー映像の第２拡張階層量子化レベルとこの第２拡張階層量子化レベルの推定値との差値を復元し、この第１拡張階層量子化レベルから、第２拡張階層エントロピー復号化部２１１により復元される第２拡張階層量子化レベルを推定し、第２拡張階層量子化レベルの推定値に復元された差値を加算することによって、第２レジデュー映像の第２拡張階層量子化レベルを復元する。また、２００６ステップで映像復号化装置２００は、復元された第２拡張階層量子化レベルを、第２拡張階層量子化パラメータを利用して逆量子化することで、第２レジデュー映像の第２拡張階層周波数係数を復元する。前記２００６ステップは、あらゆる拡張階層に対して反復的に適用される。

２００７ステップで映像復号化装置２００は、２００６ステップでの逆量子化結果に該当する拡張階層周波数係数のうち、最高順位の拡張階層周波数係数を、周波数空間から色空間に変換することによって拡張階層レジデュー映像を復元する。２００８ステップで映像復号化装置２００は、２００５ステップでアップサンプリングされた復元映像に、２００７ステップで復元された拡張階層レジデュー映像を加えることによって原本映像の復元映像を生成する。

図１３は、本発明の他の実施形態による映像符号化方法のフローチャートである。図１３を参照するに、本実施形態による映像符号化方法は、図７に示した映像符号化装置３００で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図７に示した映像符号化装置３００に関して以上で記述された内容は、本実施形態による映像符号化方法にも適用される。特に、図１３の複雑度を低めるために、図１３には、動映像を構成する原本映像のうちいずれか一つの原本映像の処理過程のみ図示されているが、図１３に示した映像符号化方法は、動映像を構成する原本映像それぞれに反復的に適用される。

３００１ステップで映像符号化装置３００は、動映像を構成する原本映像のうち、映像符号化装置３００に現在入力された原本映像をダウンサンプリングすることで、基本映像を生成する。３００２ステップで映像符号化装置３００は、第１バッファ３１１に保存された参照映像のうち少なくとも一つの参照映像を基準に、ダウンサンプラー３０１により生成された基本映像の動きを推定し、この基本映像の動き推定を利用して、第１バッファ３１１に保存された参照映像のうち少なくとも一つの参照映像から基本映像の予測映像を生成する。

３００３ステップで映像符号化装置３００は、基本映像から第１動き補償部３０３により生成された予測映像を減算することで、基本映像と予測映像間のレジデュー映像（以下、“第１レジデュー映像”という）を生成する。３００４ステップで映像符号化装置３００は、３００３ステップで生成された第１レジデュー映像を、色空間から周波数空間に変換することによって第１レジデュー映像の周波数係数を生成し、この周波数係数を量子化することで第１レジデュー映像の量子化レベルを生成する。３００５ステップで映像符号化装置３００は、３００４ステップで生成された量子化レベルをエントロピー符号化することによって、基本階層ビットストリームを生成する。

３００６ステップで映像符号化装置３００は、３００４ステップで生成された量子化レベルを逆量子化することで、第１レジデュー映像の周波数係数を復元し、この周波数係数を周波数空間から色空間に変換することによって、第１レジデュー映像を復元し、３００２ステップで生成された予測映像に復元された第１レジデュー映像を加えることによって基本映像の復元映像を生成し、この復元映像を第１バッファ３１１に保存する。

３００７ステップで映像符号化装置３００は、３００６ステップで生成された復元映像をアップサンプリングする。３００８ステップで映像符号化装置３００は、動映像を構成する原本映像のうち、映像符号化装置３００に現在入力された原本映像から、３００７ステップでアップサンプリングされた復元映像を減算することで、原本映像と、３００７ステップでアップサンプリングされた復元映像間のレジデュー映像（以下、“第２レジデュー映像”という）を生成する。

３００９ステップで映像符号化装置３００は、第２バッファ３３１に保存された参照映像のうち少なくとも一つの参照映像を基準に、３００８ステップで生成された第２レジデュー映像の動きを推定し、この第２レジデュー映像の動き推定を利用して、第２バッファ３３１に保存された参照映像のうち少なくとも一つの参照映像から第２レジデュー映像の予測映像を生成する。３０１０ステップで映像符号化装置３００は、３００８ステップで生成された第２レジデュー映像から、３００９ステップで生成された予測映像を減算することで、第２レジデュー映像と予測映像間のレジデュー映像（以下、“第３レジデュー映像”という）を生成する。３０１１ステップで映像符号化装置３００は、３０１０ステップで生成された第３レジデュー映像を、色空間から周波数空間に変換することによって、第３レジデュー映像の周波数係数を生成する。

３０１２ステップで映像符号化装置３００は、３０１１ステップで生成された周波数係数を、第１拡張階層量子化パラメータを利用して量子化することで、第３レジデュー映像の第１拡張階層量子化レベルを生成し、この第１拡張階層量子化レベルをエントロピー符号化することによって、第１拡張階層ビットストリームを生成する。また、３０１２ステップで映像符号化装置３００は、３０１１ステップで生成された周波数係数を、第２拡張階層量子化パラメータを利用して量子化することで、第３レジデュー映像の第２拡張階層量子化レベルを生成する。また、３０１２ステップで映像符号化装置３００は、第１拡張階層量子化レベルから第２拡張階層量子化レベルを推定し、第２拡張階層量子化レベルと第２拡張階層量子化レベルとの推定値間の差値をエントロピー符号化することによって第２拡張階層ビットストリームを生成する。前記になった３０１２ステップは、あらゆる拡張階層に対して反復的に適用される。

３０１３ステップで映像符号化装置３００は、３０１１ステップで生成された第１拡張階層量子化レベルを逆量子化することで、第３レジデュー映像の第１拡張階層周波数係数を復元し、この第１拡張階層周波数係数を周波数空間から色空間に変換することによって第３レジデュー映像を復元し、３００９ステップで生成された予測映像に復元された第３レジデュー映像を加えることによって第２レジデュー映像の復元映像を生成し、この復元映像を第２バッファ３３１に保存する。

３０１４ステップで映像符号化装置３００は、３００５ステップで生成された基本階層ビットストリームと、３０１２ステップで生成された拡張階層ビットストリームとを組み合わせすることで、スケーラブルビットストリームを生成する。

図１４は、本発明の他の実施形態による映像復号化方法のフローチャートである。図１４を参照するに、本実施形態による映像復号化方法は、図８に示した映像復号化装置４００で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図８に示した映像復号化装置４００に関して以上で記述された内容は、本実施形態による映像復号化方法にも適用される。特に、図１４の複雑度を低めるために、図１４には動映像を構成する原本映像のうちいずれか一つの原本映像の処理過程のみ図示されているが、図１４に示した映像復号化方法は、動映像を構成する原本映像それぞれに反復的に適用される。

４００１ステップで映像復号化装置４００は、図６に示した映像符号化装置３００から伝送されたスケーラブルビットストリームをパージングすることで、このスケーラブルビットストリームから基本階層ビットストリーム及び拡張階層ビットストリームを抽出する。４００２ステップで映像復号化装置４００は、４００１ステップで抽出された基本階層ビットストリームをエントロピー復号化することによって、基本映像と予測映像間のレジデュー映像（以下、“第１レジデュー映像”という）の量子化レベルと映像復号化のための情報などを復元し、この量子化レベルを逆量子化することで第１レジデュー映像の周波数係数を復元し、この周波数係数を周波数空間から色空間に変換することによって第１レジデュー映像を復元する。

４００３ステップで映像復号化装置４００は、第１バッファ４０７に保存された参照映像のうち少なくとも一つの参照映像基準の現在映像の動き推定を利用して、少なくとも一つの参照映像から現在映像の予測映像を生成する。４００４ステップで映像復号化装置４００は、４００３ステップで復元された予測映像に、４００２ステップで復元された第１レジデュー映像を加えることによって、基本映像の復元映像を生成し、この復元映像を第１バッファ４０７に保存する。４００５ステップで映像復号化装置４００は、４００４ステップで生成された復元映像をアップサンプリングする。

４００６ステップで映像復号化装置４００は、４００１ステップで抽出された第１拡張階層ビットストリームをエントロピー符号化することによって、原本映像と４００５ステップでアップサンプリングされた復元映像間のレジデュー映像（以下、“第２レジデュー映像”という）と予測映像間のレジデュー映像（以下、“第３レジデュー映像”という）との第１拡張階層量子化レベルを復元し、この第１拡張階層量子化レベルを、第１拡張階層量子化パラメータを利用して逆量子化することで、第３レジデュー映像の第１拡張階層周波数係数を復元する。

また、４００６ステップで映像復号化装置４００は、４００１ステップで抽出された第２拡張階層ビットストリームをエントロピー符号化することによって、第３レジデュー映像の第２拡張階層量子化レベルとこの第２拡張階層量子化レベルとの推定値の差値を復元し、この第１拡張階層量子化レベルから第２拡張階層量子化レベルを推定し、第２拡張階層量子化レベルの推定値に復元された差値を加算することによって、第３レジデュー映像の第２拡張階層量子化レベルを復元する。また、４００６ステップで映像復号化装置４００は、復元された第２拡張階層量子化レベルを、第２拡張階層量子化パラメータを利用して逆量子化することで、第３レジデュー映像の第２拡張階層周波数係数を復元する。

４００７ステップで映像復号化装置４００は、４００６ステップで復元された第１拡張階層周波数係数を、周波数空間から色空間に変換することによって第３レジデュー映像を復元する。４００８ステップで映像復号化装置４００は、第２バッファ４２２に保存された参照映像のうち少なくとも一つの参照映像基準の第２レジデュー映像の動き推定を利用して、少なくとも一つの参照映像から第２レジデュー映像の予測映像を生成する。４００９ステップで映像復号化装置４００は、４００６ステップでの逆量子化結果に該当する拡張階層周波数のうち、最高順位の拡張階層の拡張階層周波数を、周波数空間から色空間に変換することによって拡張階層レジデュー映像を復元する。

４０１０ステップで映像復号化装置４００は、４００８ステップで生成された予測映像に、４００７ステップで復元された第３レジデュー映像を加えることによって、第２レジデュー映像の復元映像を生成し、この復元映像を第２バッファ４２２に保存する。また、４０１０ステップで映像復号化装置４００は、この復元映像に、４００９ステップで復元された拡張階層レジデュー映像を加えることによって、さらに高画質の第２レジデュー映像の復元映像を生成する。４０１１ステップで映像復号化装置４００は、４００５ステップでアップサンプリングされた復元映像に、４０１０ステップで生成された復元映像を加えることによって、原本映像の復元映像を生成する。

図１５Ａ及び図１５Ｂは、本発明のさらに他の実施形態による映像符号化方法のフローチャートである。図１５Ａ及び図１５Ｂを参照するに、本実施形態による映像符号化方法は、図９に示した映像符号化装置５００で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図９に示した映像符号化装置５００に関して以上で記述された内容は、本実施形態による映像符号化方法にも適用される。特に、図１５Ａ及び図１５Ｂの複雑度を低めるために、図１５Ａ及び図１５Ｂには動映像を構成する原本映像のうちいずれか一つの原本映像の処理過程のみ示されているが、図１５Ａ及び図１５Ｂに示した映像符号化方法は、動映像を構成する原本映像それぞれに反復的に適用される。

５００１ステップで映像符号化装置５００は、動映像を構成する原本映像のうち、映像符号化装置５００に現在入力された原本映像をダウンサンプリングすることで基本映像を生成する。５００２ステップで映像符号化装置５００は、第１バッファ５１１に保存された参照映像のうち少なくとも一つの参照映像を基準に、ダウンサンプラー５０１により生成された基本映像の動きを推定し、基本映像の動き推定を利用して、第１バッファ５１１に保存された参照映像のうち少なくとも一つの参照映像から基本映像の予測映像を生成する。

５００３ステップで映像符号化装置５００は、基本映像から、５００２ステップで生成された予測映像を減算することで、基本映像と予測映像間のレジデュー映像（以下、“第１レジデュー映像”という）を生成する。５００４ステップで映像符号化装置５００は、５００３ステップで生成された第１レジデュー映像を、色空間から周波数空間に変換することによって第１レジデュー映像の周波数係数を生成し、この周波数係数を量子化することで第１レジデュー映像の量子化レベルを生成する。５００５ステップで映像符号化装置５００は、５００４ステップで生成された量子化レベルをエントロピー符号化することによって、基本階層ビットストリームを生成する。

５００６ステップで映像符号化装置５００は、５００４ステップで生成された量子化レベルを逆量子化することで第１レジデュー映像の周波数係数を復元し、この周波数係数を、周波数空間から色空間に変換することによって第１レジデュー映像を復元し、２００２ステップで生成された予測映像に、第１逆変換部５０９により復元された第１レジデュー映像を加えることによって基本映像の復元映像を生成し、この復元映像を第１バッファ５１１に保存する。

５００７ステップで映像符号化装置５００は、５００６ステップで生成された復元映像をアップサンプリングする。５００８ステップで映像符号化装置５００は、動映像を構成する原本映像のうち、映像符号化装置５００に現在入力された原本映像から、５００７ステップでアップサンプリングされた復元映像を減算することで、原本映像と、５００７ステップでアップサンプリングされた復元映像間のレジデュー映像（以下、“第２レジデュー映像”という）を生成する。

５００９ステップで映像符号化装置５００は、第２バッファ５２３に保存された参照映像のうち少なくとも一つの参照映像を基準に、５００８ステップで生成された第２レジデュー映像の動きを推定し、この第２レジデュー映像の動き推定を利用して、第２バッファ５３０に保存された参照映像のうち、少なくとも一つの参照映像から第２レジデュー映像の予測映像を生成する。５０１０ステップで映像符号化装置５００は、５００８ステップで生成された第２レジデュー映像から、５００９ステップで生成された予測映像を減算することで、第２レジデュー映像と予測映像間のレジデュー映像（以下、“第３レジデュー映像”という）を生成する。

５０１１ステップで映像符号化装置５００は、５０１０ステップで生成された第３レジデュー映像を色空間から周波数空間に変換することによって、第３レジデュー映像の周波数係数を生成し、この周波数係数を、第１拡張階層量子化パラメータを利用して量子化することで、第３レジデュー映像の第１拡張階層量子化レベルを生成し、この第１拡張階層量子化レベルをエントロピー符号化することによって第１拡張階層ビットストリームを生成する。

５０１２ステップで映像符号化装置５００は、５０１１ステップで生成された第１拡張階層量子化レベルを逆量子化することで、第３レジデュー映像の第１拡張階層周波数係数を復元し、この第１拡張階層周波数係数を、周波数空間から色空間に変換することによって第３レジデュー映像を復元し、５００９ステップで生成された予測映像に復元された第３レジデュー映像を加えることによって、第２レジデュー映像の復元映像を生成し、この復元映像を第２バッファ５２３に保存する。

５０１３ステップで映像符号化装置５００は、第３バッファ５３５に保存された参照映像のうち少なくとも一つの参照映像を基準に、第２減算器５１３により生成された第２レジデュー映像の動きを推定し、この第２レジデュー映像の動き推定を利用して、第３バッファ５３５に保存された参照映像のうち、少なくとも一つの参照映像から第２レジデュー映像の予測映像を生成する。５０１４ステップで映像符号化装置５００は、５００８ステップで生成された第２レジデュー映像から、５０１３ステップで生成された予測映像を減算することで第３レジデュー映像を生成する。

５０１５ステップで映像符号化装置５００は、５０１４ステップで生成された第３レジデュー映像を、色空間から周波数空間に変換することによって第３レジデュー映像の周波数係数を生成し、この周波数係数を、第２拡張階層量子化パラメータを利用して量子化することで、第３レジデュー映像の第２拡張階層量子化レベルを生成する。また、５０１５ステップで映像符号化装置５００は、第１拡張階層量子化レベルから、第２拡張階層量子化部５２８により生成される第２拡張階層量子化レベルを推定し、第２拡張階層量子化レベルと第２拡張階層量子化レベルとの推定値間の差値をエントロピー符号化することによって、第２拡張階層ビットストリームを生成する。

５０１６ステップで映像符号化装置５００は、５０１５ステップで生成された第２拡張階層量子化レベルを逆量子化することで、第３レジデュー映像の第２拡張階層周波数係数を復元し、この第２拡張階層周波数係数を、周波数空間から色空間に変換することによって第３レジデュー映像を復元し、５０１３ステップで生成された予測映像に、復元された第３レジデュー映像を加えることによって第２レジデュー映像の復元映像を生成し、この復元映像を第３バッファ５３５に保存する。

５０１７ステップで映像符号化装置５００は、５００５ステップで生成された基本階層ビットストリームと、５０１１ステップ及び５０１５ステップで生成された拡張階層ビットストリームとを組み合わせすることで、スケーラブルビットストリームを生成する。特に、前記になったステップのうち、５００９ステップないし５０１６ステップは、あらゆる拡張階層に対して反復的に適用される。したがって、５０１７ステップで映像符号化装置５００は、５０１１ステップ及び５０１５ステップ以外に他のステップで生成された拡張階層ビットストリームを組み合わせることができる。

図１６は、本発明のさらに他の実施形態による映像復号化方法のフローチャートである。図１６を参照するに、本実施形態による映像復号化方法は、図１０に示した映像復号化装置６００で時系列的に処理されるステップで構成される。したがって、以下省略された内容であっても、図１０に示した映像復号化装置６００に関して以上で記述された内容は、本実施形態による映像復号化方法にも適用される。特に、図１６の複雑度を低めるために、図１６には、動映像を構成する原本映像のうちいずれか一つの原本映像の処理過程のみ図示されているが、図１０に示した映像復号化方法は、動映像を構成する原本映像それぞれに反復的に適用される。

６００１ステップで映像復号化装置６００は、図９に示した映像符号化装置５００から伝送されたスケーラブルビットストリームをパージングすることで、このスケーラブルビットストリームから、基本階層ビットストリーム及び拡張階層ビットストリームを抽出する。６００２ステップで映像復号化装置６００は、６００１ステップで抽出された基本階層ビットストリームをエントロピー復号化することによって、基本映像と予測映像間のレジデュー映像（以下、“第１レジデュー映像”という）の量子化レベルと映像復号化のための情報などを復元し、この量子化レベルを逆量子化することで第１レジデュー映像の周波数係数を復元し、この復元された周波数係数を、周波数空間から色空間に変換することによって第１レジデュー映像を復元する。

６００３ステップで映像復号化装置６００は、第１バッファ６０７に保存された参照映像のうち少なくとも一つの参照映像基準の基本映像の動き推定を利用して、少なくとも一つの参照映像から基本映像の予測映像を生成する。６００４ステップで映像復号化装置６００は、６００３ステップで生成された予測映像に、６００２ステップで復元された第１レジデュー映像を加えることによって基本映像の復元映像を生成し、この復元映像を第１バッファ６０７に保存する。６００５ステップで映像復号化装置６００は、６００４ステップで生成された復元映像をアップサンプリングする。

６００６ステップで映像復号化装置６００は、６００１ステップで抽出された第１拡張階層ビットストリームをエントロピー符号化することによって、原本映像と６００５ステップでアップサンプリングされた復元映像間のレジデュー映像（以下、“第２レジデュー映像”という）と、予測映像間のレジデュー映像（以下、“第３レジデュー映像”という）との第１拡張階層量子化レベルを復元し、この第１拡張階層量子化レベルを、第１拡張階層量子化パラメータを利用して逆量子化することで第３レジデュー映像の第１拡張階層周波数係数を復元し、この第１拡張階層周波数係数を、周波数空間から色空間に変換することによって第３レジデュー映像を復元する。

６００７ステップで映像復号化装置６００は、第２バッファ６１４に保存された参照映像のうち少なくとも一つの参照映像基準の第２レジデュー映像の動き推定を利用して、少なくとも一つの参照映像から第２レジデュー映像の予測映像を生成し、この予測映像に、６００６ステップで復元された第３レジデュー映像を加えることによって第２レジデュー映像の復元映像を生成し、この復元映像を第２バッファ６１４に保存する。

６００８ステップで映像復号化装置６００は、６００１ステップで抽出された第２拡張階層ビットストリームをエントロピー符号化することによって、第３レジデュー映像の第２拡張階層量子化レベルと、この第２拡張階層量子化レベルとの推定値の差値を復元し、第１拡張階層量子化レベルから、第２拡張階層エントロピー復号化部６１５により復元される第２拡張階層量子化レベルを推定し、第２拡張階層量子化レベルの推定値に復元された差値を加算することによって、第３レジデュー映像の第２拡張階層量子化レベルを復元する。また、６００８ステップで映像復号化装置６００は、復元された第２拡張階層量子化レベルを、第２拡張階層量子化パラメータを利用して逆量子化することで第３レジデュー映像の第２拡張階層周波数係数を復元して、この第２拡張階層周波数係数を、周波数空間から色空間に変換することによって第３レジデュー映像を復元する。

６００９ステップで映像復号化装置６００は、第３バッファ６２２に保存された参照映像のうち少なくとも一つの参照映像基準の第２レジデュー映像の動き推定を利用して、少なくとも一つの参照映像から第２レジデュー映像の予測映像を生成し、この予測映像に、６００８ステップで復元された第３レジデュー映像を加えることによって第２レジデュー映像の復元映像を生成し、この復元映像を第３バッファ６２２に保存する。

６０１０ステップで映像復号化装置６００は、６００５ステップでアップサンプリングされた復元映像に、６００７ステップで生成された復元映像及び６００９ステップで生成された復元映像のうち最高順位の拡張階層の復元映像、すなわち、６００９ステップで生成された復元映像を加えることによって原本映像の復元映像を生成する。

一方、前述した本発明の実施形態は、コンピュータで実行できるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用ディジタルコンピューターで具現できる。また、前述した本発明の実施形態で使われたデータの構造は、コンピュータで読み取り可能な記録媒体にいろいろな手段を通じて記録されうる。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。

これまで本発明についてその実施形態を中心に説明した。当業者ならば、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されることを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく特許請求の範囲に現れており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれていると解釈されねばならない。

本発明の少なくとも一つの実施形態は、映像を符号化または復号化するコンピュータ、映像機器などに適用できる。

本発明の実施形態が適用されるスケーラブル映像処理環境を示す図である。 本発明の実施形態によって階層的に符号化または復号化する態様を示す図である。 図２に示した第２符号化装置３０から出力されたスケーラブルビットストリームのフォーマットを示す図である。 本発明の一実施形態による映像符号化装置１００の構成図である。 本発明の一実施形態による量子化行列を示す図である。 本発明の一実施形態による映像復号化装置２００の構成図である。 本発明の他の実施形態による映像符号化装置３００の構成図である。 本発明の他の実施形態による映像復号化装置４００の構成図である。 本発明のさらに他の実施形態による映像符号化装置５００の構成図である。 本発明の実施形態による映像復号化装置６００の構成図である。 本発明の一実施形態による映像符号化方法のフローチャートである。 本発明の一実施形態による映像復号化方法のフローチャートである。 本発明の他の実施形態による映像符号化方法のフローチャートである。 本発明の他の実施形態による映像復号化方法のフローチャートである。 本発明のさらに他の実施形態による映像符号化方法のフローチャートである。 本発明のさらに他の実施形態による映像符号化方法のフローチャートである。 本発明のさらに他の実施形態による映像復号化方法のフローチャートである。

符号の説明

１００ 映像符号化装置
１０１ ダウンサンプラー
１０２ 動き推定部
１０３ 動き補償部
１０４ 第１減算器
１０５ 第１変換部
１０６ 量子化部
１０７ エントロピー符号化部
１０８ 逆量子化部
１０９ 逆変換部
１１０ 加算器
１１１ バッファ
１１２ アップサンプラー
１１３ 第２減算器
１１４ 第２変換部
１１５ 第１拡張階層量子化部
１１６ 第１拡張階層エントロピー符号化部
１１７ 第２拡張階層量子化部
１１８ 第１レベル推定部
１１９ 第１レベル減算器
１２０ 第２拡張階層エントロピー符号化部
１２１ 第Ｎ拡張階層量子化部
１２２ 第Ｎ−１レベル推定部
１２３ 第Ｎ−１レベル減算器
１２４ 第Ｎ拡張階層エントロピー符号化部
１２５ ビットストリーム生成部

Claims (25)

1. 原本映像をダウンサンプリングすることで第１レベルの映像フォーマットまたは第２レベルのビット深さを有する基本映像を生成するステップと、
   前記生成された基本映像を符号化することによって基本階層ビットストリームを生成するステップと、
   前記基本映像の復元映像を生成するステップと、
   前記復元映像をアップサンプリングすることで前記第１レベルより高い映像フォーマットまたは前記第２レベルより深いビット深さを有するアップサンプリングされた復元映像を生成するステップと、
   前記原本映像と前記アップサンプリングされた復元映像間のレジデュー映像の周波数係数それぞれに相異なる量子化パラメータを適用して各階層に対する多数の量子化レベルを生成し、少なくとも一つの階層の量子化レベルの予測において他の階層の量子化レベルから推定された値を利用して、前記レジデュー映像を符号化して前記レジデュー映像に対する拡張階層ビットストリームを生成するステップと、
   を含むことを特徴とする映像符号化方法。
2. 前記拡張階層ビットストリームを生成するステップは、前記レジデュー映像の周波数係数それぞれを、第１拡張階層の量子化ステップサイズを利用して符号化することによって前記レジデュー映像に対する第１拡張階層ビットストリームを生成し、前記レジデュー映像の周波数係数それぞれを、前記第１拡張階層の量子化ステップサイズより小さな第２拡張階層の量子化ステップサイズを利用して符号化することによって前記レジデュー映像に対する第２拡張階層ビットストリームを生成する、
   ことを特徴とする請求項１に記載の映像符号化方法。
3. 前記拡張階層ビットストリームを生成するステップは、前記レジデュー映像の周波数係数それぞれを第１拡張階層の量子化行列を利用して符号化することによって前記レジデュー映像に対する第１拡張階層ビットストリームを生成し、前記レジデュー映像の周波数係数それぞれを、前記第１拡張階層の量子化行列とは異なる第２階層の量子化行列を利用して符号化することによって前記レジデュー映像に対する第２拡張階層ビットストリームを生成する、
   ことを特徴とする請求項１に記載の映像符号化方法。
4. 前記拡張階層ビットストリームを生成するステップは、前記レジデュー映像の周波数係数それぞれを、前記量子化パラメータである、第１量子化ステップサイズと第１量子化行列との積を利用して符号化することによって前記レジデュー映像に対する第１拡張階層ビットストリームを生成し、前記レジデュー映像の周波数係数それぞれを、第２量子化ステップサイズと第２量子化行列との積を利用して符号化することによって前記レジデュー映像に対する第２拡張階層ビットストリームを生成する、
   ことを特徴とする請求項１に記載の映像符号化方法。
5. 前記拡張階層ビットストリームを生成するステップは、前記レジデュー映像の周波数係数それぞれを、前記量子化パラメータである、第１量子化ステップサイズと第１量子化行列との和を利用して符号化することによって
   前記レジデュー映像に対する第１拡張階層ビットストリームを生成し、前記レジデュー映像の周波数係数それぞれを、第２量子化ステップサイズと第２量子化行列の和を利用して符号化することによって前記レジデュー映像に対する第２拡張階層ビットストリームを生成する、
   ことを特徴とする請求項１に記載の映像符号化方法。
6. 前記拡張階層ビットストリームを生成するステップは、
   前記レジデュー映像を変換することによって前記レジデュー映像の周波数係数を生成するステップと、
   前記生成された周波数係数を、第１拡張階層量子化パラメータを利用して量子化することで第１拡張階層量子化レベルを生成するステップと、
   前記生成された周波数係数を、第２拡張階層量子化パラメータを利用して量子化することで第２拡張階層量子化レベルを生成するステップと、
   前記生成された第１拡張階層量子化レベルから前記第２拡張階層量子化レベルを推定するステップと、
   前記生成された第２拡張階層量子化レベルと前記推定された第２拡張階層量子化レベルとの差値をエントロピー符号化するステップと、
   を含むことを特徴とする請求項１に記載の映像符号化方法。
7. 前記第２拡張階層量子化レベルを推定するステップは、前記生成された第１拡張階層量子化レベルを逆量子化することで前記周波数係数を復元し、前記復元された周波数係数を、前記第２拡張階層量子化パラメータを利用して量子化することで前記第２拡張階層量子化レベルを推定する、
   ことを特徴とする請求項６に記載の映像符号化方法。
8. 基本階層ビットストリームを復号化することによって第１レベルの映像フォーマットまたは第２レベルのビット深さを有する基本映像の復元映像を生成するステップと、
   前記生成された復元映像をアップサンプリングすることで前記第１レベルより高い映像フォーマットまたは前記第２レベルより深いビット深さを有するアップサンプリングされた復元映像を生成するステップと、
   レジデュー映像に対する拡張階層ビットストリームそれぞれについて、他の階層の量子化レベルから推定された量子化レベルを利用して少なくとも一つの階層の量子化レベルを復元するステップと、
   各階層の復元された量子化レベルに相異なる量子化パラメータを適用することによって前記レジデュー映像の周波数係数を復号化して、原本映像と前記アップサンプリングされた復元映像間のレジデュー映像を復元するステップと、
   前記アップサンプリングされた復元映像に前記復元されたレジデュー映像を加えることによって原本映像の復元映像を生成するステップと、
   を含むことを特徴とする映像復号化方法。
9. 前記レジデュー映像を復元するステップは、第１拡張階層ビットストリームを、第１拡張階層の量子化ステップサイズを利用して復号化し、第２拡張階層ビットストリームを、前記第１拡張階層の量子化ステップサイズより小さな第２拡張階層の量子化ステップサイズを利用して復号化することによって拡張階層レジデュー映像を生成するステップを含む、
   ことを特徴とする請求項８に記載の映像復号化方法。
10. 前記レジデュー映像を復元するステップは、第１拡張階層ビットストリームを、第１拡張階層の量子化行列を利用して復号化し、第２拡張階層ビットストリームを、前記第１拡張階層の量子化行列とは異なる第２階層の量子化行列を利用して復号化することによって拡張階層レジデュー映像を生成するステップを含む、
    ことを特徴とする請求項８に記載の映像復号化方法。
11. 前記レジデュー映像を復元するステップは、第１拡張階層ビットストリームを、第１拡張階層の量子化ステップサイズと量子化行列との積を利用して復号化し、第２拡張階層ビットストリームを、第２拡張階層の量子化ステップサイズと量子化行列との積を利用して復号化することによって拡張階層レジデュー映像を生成するステップを含む、
    ことを特徴とする請求項８に記載の映像復号化方法。
12. 前記レジデュー映像を復元するステップは、
    第１拡張階層ビットストリームを、第１拡張階層の量子化ステップサイズと量子化行列との和を利用して復号化し、第２拡張階層ビットストリームを、第２拡張階層の量子化ステップサイズと量子化行列との和を利用して復号化することによって拡張階層レジデュー映像を生成するステップを含む、
    ことを特徴とする請求項８に記載の映像復号化方法。
13. 前記レジデュー映像を復元するステップは、
    第１拡張階層ビットストリームをエントロピー復号化することによって第１拡張階層量子化レベルを復元するステップと、
    第２拡張階層ビットストリームをエントロピー復号化することによって第２拡張階層量子化レベルと前記第２拡張階層量子化レベルとの推定値との差値を復元するステップと、
    前記復元された第１拡張階層量子化レベルから前記第２拡張階層量子化レベルを推定するステップと、
    前記推定された第２拡張階層量子化レベルに前記復元された差値を加算することによって前記第２拡張階層量子化レベルを復元するステップと、
    前記復元された第２拡張階層量子化レベルを、第２拡張階層量子化パラメータを利用して復号化することによって拡張階層レジデュー映像を生成するステップと、
    を含むことを特徴とする請求項８に記載の映像復号化方法。
14. 前記第２拡張階層量子化レベルを推定するステップは、前記復元された第１拡張階層量子化レベルを、第１拡張階層量子化パラメータを利用して逆量子化することで第１拡張階層周波数係数を復元し、前記復元された第１拡張階層周波数係数を、前記第２拡張階層量子化パラメータを利用して量子化することで前記第２拡張階層量子化レベルを推定する、
    ことを特徴とする請求項１３に記載の映像復号化方法。
15. 原本映像をダウンサンプリングすることで第１レベルの映像フォーマットまたは第２レベルのビット深さを有する基本映像を生成するステップと、
    前記生成された基本映像を符号化することによって基本階層ビットストリームを生成するステップと、
    前記基本映像の復元映像を生成するステップと、
    前記復元映像をアップサンプリングすることで前記第１レベルより高い映像フォーマットまたは前記第２レベルより深いビット深さを有するアップサンプリングされた復元映像を生成するステップと、
    前記原本映像と前記アップサンプリングされた復元映像間のレジデュー映像の予測映像を生成するステップと、
    前記レジデュー映像と前記生成された予測映像間のレジデュー映像の周波数係数それぞれに、相異なる量子化パラメータを適用して各階層に対する多数の量子化レベルを生成するステップと、
    少なくとも一つの階層の量子化レベルの予測において他の階層の量子化レベルから推定された値を利用して、前記レジデュー映像と前記生成された予測映像間のレジデュー映像を符号化して拡張階層ビットストリームを生成するステップと、
    を含むことを特徴とする映像符号化方法。
16. 基本階層ビットストリームを復号化することによって第１レベルの映像フォーマットまたは第２レベルのビット深さを有する基本映像の復元映像を生成するステップと、
    前記生成された復元映像をアップサンプリングすることで前記第１レベルより高い映像フォーマットまたは前記第２レベルより深いビット深さを有するアップサンプリングされた復元映像を生成するステップと、
    原本映像と前記アップサンプリングされた復元映像間のレジデュー映像の予測映像を生成するステップと、
    前記レジデュー映像と前記生成された予測映像間のレジデュー映像に対する拡張階層ビットストリームそれぞれについて、他の階層の量子化レベルから推定された各階層の量子化レベルを利用して少なくとも一つの階層の量子化レベルを復元するステップと、
    各階層の復元された量子化レベルに相異なる量子化パラメータを適用して周波数係数を復号化することによって、前記レジデュー映像と前記予測映像間のレジデュー映像を復元するステップと、
    前記生成された予測映像に前記復元されたレジデュー映像を加えることによって前記レジデュー映像を復元するステップと、
    前記アップサンプリングされた復元映像に前記復元されたレジデュー映像を加えることによって前記原本映像の復元映像を生成するステップと、
    を含むことを特徴とする映像復号化方法。
17. 基本階層ビットストリームを復号化することによって第１レベルの映像フォーマットまたは第２レベルのビット深さを有する基本映像の復元映像を生成するステップと、
    前記生成された復元映像をアップサンプリングすることで前記第１レベルより高い映像フォーマットまたは前記第２レベルより深いビット深さを有するアップサンプリングされた復元映像を生成するステップと、
    原本映像と前記アップサンプリングされた復元映像間の第１レジデュー映像の第１予測映像を生成するステップと、
    第１拡張階層ビットストリームを、第１量子化パラメータを利用して復号化することによって、前記第１レジデュー映像と前記第１予測映像間の第２レジデュー映像を復元するステップと、
    前記生成された第１予測映像に前記復元された第２レジデュー映像を加えることによって前記第１レジデュー映像の第１復元映像を生成するステップと、
    前記第１レジデュー映像の第２予測映像を生成するステップと、
    第２拡張階層ビットストリームを、第２量子化パラメータを利用して復号化することによって、前記第１レジデュー映像と前記第２予測映像間の第３レジデュー映像を復元するステップと、
    前記生成された第２予測映像に前記復元された第３レジデュー映像を加えることによって前記第１レジデュー映像の第２復元映像を生成するステップと、
    前記アップサンプリングされた復元映像に、前記生成された第１復元映像及び第２復元映像のうち少なくとも一つを加算することによって前記原本映像の復元映像を生成するステップと、を含み、
    前記第３レジデュー映像を復元するステップは、
    前記第２拡張階層ビットストリームについて、推定された第２拡張階層量子化レベルを利用して前記第２拡張階層量子化レベルを復元するステップと、
    前記復元された量子化レベルに第２拡張階層量子化パラメータを適用して前記第３レジデュー映像の第２拡張階層周波数係数を復元することによって前記第３レジデュー映像を復元するステップを含む
    ことを特徴とする映像復号化方法。
18. ダウンサンプリングされた原本映像を符号化することによって第１レベルの映像フォーマットまたは第２レベルのビット深さを有する基本階層ビットストリームを生成する生成部と、
    前記ダウンサンプリングされた原本映像の復元映像をアップサンプリングすることで前記第１レベルより高い映像フォーマットまたは前記第２レベルより深いビット深さを有するアップサンプリングされた復元映像を生成するアップサンプリング部と、
    前記原本映像と前記アップサンプリングされた復元映像間のレジデュー映像の周波数係数それぞれに、相異なる量子化パラメータを適用して各階層に対する多数の量子化レベルを生成し、少なくとも一つの階層の量子化レベルの予測において他の階層の量子化レベルから推定された値を利用して、前記レジデュー映像を符号化して前記レジデュー映像に対する拡張階層ビットストリームを生成する生成部と、を備えることを特徴とする映像符号化装置。
19. 前記拡張階層ビットストリームのうち少なくとも一つは、各拡張階層に対してその拡張階層に関する量子化パラメータを使用して生成される、
    ことを特徴とする請求項１８に記載の映像符号化装置。
20. 前記生成部は、第１拡張階層に関してインター符号化する、
    ことを特徴とする請求項１８に記載の映像符号化装置。
21. 前記生成部は、第１拡張階層以外の他の拡張階層に関してインター符号化する、
    ことを特徴とする請求項１８に記載の映像符号化装置。
22. 復号化された基本階層ビットストリームから復元された第１レベルの映像フォーマットまたは第２レベルのビット深さを有する基本映像の復元映像をアップサンプリングすることで前記第１レベルより高い映像フォーマットまたは前記第２レベルより深いビット深さを有するアップサンプリングされた復元映像を生成するステップと、
    復号化された拡張階層ビットストリームから拡張階層残差映像を復元するステップと、
    前記アップサンプリングされた復元された基本映像の復元映像に拡張階層レジデュー映像を加えることによって原本映像の復元映像を生成するステップと、
    を含み、
    前記拡張階層レジデュー映像を復元するステップは、
    他の階層の量子化レベルから推定された各階層の量子化レベルを利用して少なくとも一つの階層の量子化レベルを復元するステップと、
    各階層の復元された量子化レベルに相異なる量子化パラメータを適用して周波数係数を復号化することによって前記拡張階層レジデュー映像を復元するステップを含むことを特徴とする映像復号化方法。
23. 前記復元するステップは、拡張階層のうち最高順位の拡張階層の周波数係数を色ドメインに逆変換する、
    ことを特徴とする請求項２２に記載の映像復号化方法。
24. 前記逆変換された周波数係数は、拡張階層それぞれで行った逆量子化結果に対応する、
    ことを特徴とする請求項２３に記載の映像復号化方法。
25. 請求項１乃至７の何れか１項に記載の方法をコンピュータに実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images