JP5823430B2 - コンプレクシティスケーラブル映像符号化復号化方法及び装置 - Google Patents

Description

［関連出願の相互参照］
本出願は、そのすべてが参照することによりここに含まれる２００４年１０月１３日に出願された米国仮出願第６０／６１８，２５４号の利益を主張する。
［発明の分野］
本発明は、一般に映像符号化復号化に関し、より詳細には、スケーラブルコンプレクシティ映像符号化復号化方法及び装置に関する。

サイマルキャスト符号化のビットレートの不利益を受けることなく、ブロードキャスト映像アプリケーションが各種ユーザ装置に対するサポートを提供することが望ましい。映像復号化は複雑な処理であり、コンプレクシティは符号化される映像の解像度に大きく依存する。低電力の携帯装置は、典型的には、極めて厳格なコンプレクシティ制約及び低解像度ディスプレイを有する。異なる解像度に対応する２以上の映像ビットストリームのサイマルキャストブロードキャストは、低解像度装置のコンプレクシティ要求を解消するのに利用可能であるが、本発明によるコンプレクシティスケーラブルシステムより高いトータルビットレートを要求する。従って、高い映像符号化ビットレート効率を維持しながら、コンプレクシティスケーラブルデコーダを可能にする手段が必要とされる。

ＭＰＥＧ−２及びＭＰＥＧ−４規格のスケーラビリティプロファイルにおいて、ＳＮＲスケーラビリティ、空間スケーラビリティ、時間スケーラビリティ及びファイングレインスケーラビリティを含む多数のスケーラビリティ方法が広範に研究及び規格化されてきた。スケーラブル符号化における研究の大部分は、低解像度レイヤが限られた帯域幅を有するビットレートスケーラビリティを対象としてきた。図１に示されるように、典型的な空間スケーラビリティシステムが、参照番号１００により全体表示される。システム１００は、映像シーケンスを受信するためのコンプレクシティスケーラブルビデオエンコーダ１１０を有する。コンプレクシティスケーラブルビデオエンコーダ１１０の第１出力は、低帯域幅ネットワーク１２０とマルチプレクサ１３０の第１入力とに信号通信接続される。コンプレクシティスケーラブルビデオエンコーダ１１０の第２出力は、マルチプレクサ１３０の第２入力と信号通信接続される。低帯域幅ネットワーク１２０の出力は、低解像度デコーダ１４０の入力と信号通信接続される。マルチプレクサ１３０の出力は、高帯域幅ネットワーク１５０の入力と信号通信接続される。高帯域幅ネットワーク１５０の出力は、デマルチプレクサ１６０の入力と信号通信接続される。デマルチプレクサ１６０の第１出力は、高解像度デコーダ１７０の第１入力と信号通信接続され、デマルチプレクサ１６０の第２出力は、高解像度デコーダ１７０の第２入力と信号通信接続される。低解像度デコーダ１４０の出力は、ベースレイヤビットストリームについてシステム１００の出力として利用可能であり、高解像度デコーダ１７０の出力は、スケーラブルビットストリームについてシステム１００の出力として利用可能である。

スケーラブル符号化は、エンコーダ及びデコーダコンプレクシティの大きな増大のため、またスケーラブルエンコーダの符号化効率は、典型的には、非スケーラブルエンコーダのものより低いため、実際的には広くは採用されていない。

空間スケーラブルエンコーダ及びデコーダは、典型的には、高解像度スケーラブルエンコーダ／デコーダが、通常の高解像度エンコーダ／デコーダより追加的機能を提供することを要求している。ＭＰＥＧ−２空間スケーラブルエンコーダでは、低解像度リファレンスピクチャ又は高解像度リファレンスピクチャから予測が実行される判断される。ＭＰＥＧ−２空間スケーラブルデコーダは、低解像度リファレンスピクチャ又は高解像度リファレンスピクチャの何れかから予測可能でなければならない。低解像度ピクチャについてのものと、高解像度ピクチャについてのものの２つのリファレンスピクチャセットが、ＭＰＥＧ−２空間スケーラブルエンコーダ／デコーダによって求められる。図２は、従来技術による２つのレイヤをサポートする低コンプレクシティ空間スケーラブルエンコーダ２００のブロック図を示す。図３は、従来技術による２つのレイヤをサポートする低コンプレクシティ空間スケーラブルデコーダ３００のブロック図を示す。

図２を参照するに、２つのレイヤをサポートする空間スケーラブルビデオエンコーダが、参照番号２００により全体表示される。ビデオエンコーダ２００は、高解像度入力映像シーケンスを受け付けるダウンサンプラ２１０を有する。ダウンサンプラ２１０は、低解像度非スケーラブルエンコーダ２１２と信号通信接続され、さらに低解像度非スケーラブルエンコーダ２１２は、低解像度フレームストア２１４に信号通信接続される。低解像度非スケーラブルエンコーダ２１２は、低解像度ビットストリームを出力し、さらに低解像度非スケーラブルデコーダ２２０と信号通信接続される。

低解像度非スケーラブルデコーダ２２０は、アップサンプラ２３０に信号通信接続され、さらにアップサンプラ２３０は、スケーラブル高解像度エンコーダ２４０に信号通信接続される。スケーラブル高解像度エンコーダ２４０はまた、高解像度入力映像シーケンスを受け付け、高解像度フレームストア２５０と信号通信接続され、高解像度スケーラブルビットストリームを出力する。低解像度非スケーラブルエンコーダ２１２の出力と、スケーラブル高解像度エンコーダの出力とは、空間スケーラブルビデオエンコーダ２００の出力として利用可能である。

このため、高解像度入力映像シーケンスは、低コンプレクシティエンコーダ２００により受け付けされ、低解像度映像シーケンスを生成するためダウンサンプリングされる。低解像度映像シーケンスは、非スケーラブル低解像度ビデオ圧縮エンコーダを用いて符号化され、低解像度ビットストリームを生成する。低解像度ビットストリームは、非スケーラブル低解像度ビデオ圧縮デコーダを用いて復号化される。この機能は、エンコーダの代わりに実行されてもよい。復号化された低解像度シーケンスは、アップサンプリングされ、スケーラブル高解像度エンコーダへの２つの入力の１つとして提供される。スケーラブル高解像度エンコーダは、高解像度スケーラブルビットストリームを生成するため、当該映像を符号化する。

図３を参照するに、２つのレイヤをサポートする空間スケーラブルビデオデコーダは、参照番号３００により全体表示される。ビデオデコーダ３００は、低解像度フレームストア３６２と信号通信接続される低解像度ビットストリームを受け付ける低解像度デコーダ３６０を有し、低解像度映像シーケンスを出力する。低解像度デコーダ３６０はさらに、アップサンプラ３７０と信号通信接続され、アップサンプラ３７０はさらに、スケーラブル高解像度デコーダ３８０と信号通信接続される。

スケーラブル高解像度デコーダ３８０はさらに、高解像度フレームストア３９０と信号通信接続される。スケーラブル高解像度デコーダ３８０は、高解像度スケーラブルビットストリームを受け付け、高解像度映像シーケンスを出力する。低解像度デコーダ３６０の出力とスケーラブル高解像度デコーダの出力とは、空間スケーラブルビデオデコーダ３００の出力として利用可能である。

このため、高解像度スケーラブルビットストリームと低解像度ビットストリームは共に、低コンプレクシティデコーダ３００により受け付けられる。低解像度ビットストリームは、低解像度フレームストアを利用する非スケーラブル低解像度ビデオ圧縮デコーダを用いて復号化される。復号化された低解像度映像は、アップサンプリングされ、その後に高解像度スケーラブルデコーダに入力される。高解像度スケーラブルデコーダは、高解像度フレームストアセットを利用し、高解像度出力映像シーケンスを生成する。

図４を参照するに、非スケーラブルビデオエンコーダが、参照番号４００により全体表示される。ビデオエンコーダ４００への入力は、加算結合部４１０の非反転入力と信号通信接続される。加算結合部４１０は、変換装置／量子化装置４２０と信号通信接続される。変換装置／量子化装置４２０の出力は、エントロピー符号化装置４４０と信号通信接続される。エントロピー符号化装置４４０の出力は、エンコーダ４００の出力として利用可能である。

変換装置／量子化装置４２０の出力はさらに、逆変換装置／量子化装置４５０と信号通信接続される。逆変換装置／量子化装置４５０の出力は、デブロックフィルタ４６０の入力と信号通信接続される。デブロックフィルタ４６０の出力は、リファレンスピクチャストア４７０と信号通信接続される。リファレンスピクチャストア４７０の第１出力は、動き推定装置４８０の第１入力と信号通信接続される。エンコーダ４００への入力がさらに、動き推定装置４８０の第２入力と信号通信接続される。動き推定装置４８０の出力は、動き補償装置４９０の第１入力と信号通信接続される。リファレンスピクチャストア４７０の第２出力は、動き補償装置４９０の第２入力と信号通信接続される。動き補償装置４９０の出力は、加算結合部４１０の反転入力と信号通信接続される。

図５を参照するに、非スケーラブルビデオデコーダが、参照番号５００により全体表示される。ビデオデコーダ５００は、映像シーケンスを受け付けるエントロピーデコーダ５１０を有する。エントロピーデコーダ５１０の第１出力は、逆量子化装置／変換装置５２０の入力と信号通信接続される。逆量子化装置／変換装置５２０の出力は、加算結合部５４０の第１入力と信号通信接続される。

加算結合部５４０の出力は、デブロックフィルタ５９０と信号通信接続される。デブロックフィルタ５９０の出力は、リファレンスピクチャストア５５０と信号通信接続される。リファレンスピクチャストア５５０は、動き補償装置５６０の第１入力と信号通信接続される。動き補償装置５６０の出力は、加算結合部５４０の第２入力と信号通信接続される。エントロピーデコーダ５１０の第２出力は、動き補償装置５６０の第２入力と信号通信接続される。デブロックフィルタ５９０の出力は、ビデオデコーダ５００の出力として利用可能である。

Ｈ．２６４／ＭＰＥＧ ＡＶＣがＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）モードを利用するため拡張されることが提案されてきた。ＲＲＵモードは、フル解像度ピクチャの動き推定及び補償を実行しながら、符号化対象となる残差マクロブロック（ＭＢ）の個数を減少させることによって、ビットレートによる符号化効率を向上させる。図６を参照するに、ＲＲＵビデオエンコーダが、参照番号６００により全体表示される。ビデオエンコーダ６００への入力は、加算結合部６１０の非反転入力と信号通信接続される。加算結合部６１０の出力は、ダウンサンプラ６１２の入力と信号通信接続される。変換装置／量子化装置６２０の入力は、ダウンサンプラ６１２の出力又は加算結合部６１０の出力と信号通信接続される。変換装置／量子化装置６２０の出力は、エントロピー符号化装置６４０と信号通信接続される。エントロピー符号化装置６４０の出力は、ビデオエンコーダ６００の出力として利用可能である。

変換装置／量子化装置６２０の出力はさらに、逆変換装置／量子化装置６５０の入力と信号通信接続される。逆変換装置／量子化装置６５０の出力は、アップサンプラ６５５の入力と信号通信接続される。デブロックフィルタ６６０の入力は、逆変換装置／量子化装置６５０の出力又はアップサンプラ６５５の出力と信号通信接続される。デブロックフィルタ６６０の入力は、リファレンスピクチャストア６７０の入力と信号通信接続される。リファレンスピクチャストア６７０の第１出力は、動き推定装置６８０の第１入力と信号通信接続される。エンコーダ６００への入力はさらに、動き推定装置６８０の第２入力と信号通信接続される。動き推定装置６８０の出力は、動き補償装置６９０の第１入力と信号通信接続される。リファレンスピクチャストア６７０の第２出力は、動き補償装置６９０の第２入力と信号通信接続される。動き補償装置６９０の出力は、加算結合部６１０の反転入力と信号通信接続される。

図７を参照するに、ＲＲＵビデオデコーダが、参照番号７００により全体表示される。ビデオデコーダ７００は、映像シーケンスを受け付けるエントロピーデコーダ７１０を有する。エントロピーデコーダ７１０の出力は、逆量子化装置／変換装置７２０の入力と信号通信接続される。逆量子化装置／変換装置７２０の出力は、アップサンプラ７２２の入力と信号通信接続される。アップサンプラ７２２の出力は、加算結合部７４０の第１入力と信号通信接続される。

加算結合部７４０の出力は、デブロックフィルタ７９０と信号通信接続される。デブロックフィルタ７９０の出力は、フル解像度リファレンスピクチャストア７５０の入力と信号通信接続される。デブロックフィルタ７９０の出力はまた、ビデオデコーダ７００の出力として利用可能である。フル解像度リファレンスピクチャストア７５０の出力は、動き補償装置７６０と信号通信接続され、動き補償装置７６０は、加算結合部７４０の第２入力と信号通信接続される。

ＲＲＵコンセプトを用いてコンプレクシティスケーラブルコーデックを設計することが提案されてきた。一例として、異なる２つのデコーダコンプレクシティ及び解像度のレベルをサポートするシステムが提供される。低解像度デコーダは、より小さな表示サイズを有し、大変厳しいデコーダコンプレクシティ制約を有する。フル解像度デコーダは、より大きな表示サイズを有し、あまり厳しくはないが依然として重要なデコーダコンプレクシティ制約を有する。ブロードキャスト又はマルチキャストシステムは、ＢＲ_ｂａｓｅのビットレートによるベースレイヤと、ＢＲ_{ｅｎｈａｎ}のビットレートによるエンハンスメントレイヤとの２つのビットストリームを伝送する。これら２つのビットストリームは、一緒に多重化され、１つのトランスポートストリームにより送信されてもよい。図８を参照するに、コンプレクシティスケーラブルブロードキャストシステムが、参照番号８００により全体表示される。システム８００は、コンプレクシティスケーラブルビデオエンコーダ、低解像度デコーダ及びフル解像度デコーダを有する。コンプレクシティスケーラブルブロードキャストシステム８００は、コンプレクシティスケーラブルビデオエンコーダ８１０を有する。コンプレクシティスケーラブルビデオエンコーダの第２出力は、マルチプレクサ８２０の第２入力と信号通信接続される。コンプレクシティスケーラブルビデオエンコーダ８１０の第２出力は、マルチプレクサ８２０の第２入力と信号通信接続される。マルチプレクサ８２０の出力は、ネットワーク８３０と信号通信接続される。ネットワーク８３０の出力は、第１デマルチプレクサ８４０の入力と第２デマルチプレクサ８５０の入力と信号通信接続される。第１デマルチプレクサ８４０の出力は、低解像度デコーダ８５０の入力と信号通信接続される。第２デマルチプレクサ８６０の第１出力は、フル解像度デコーダ８７０の第１入力と信号通信接続される。第２デマルチプレクサ８６０の第２出力は、フル解像度デコーダ８７０の第２入力と信号通信接続される。低解像度デコーダ８５０の出力は、ベースレイヤビットストリームについてシステム８００の出力として利用可能であり、フル解像度デコーダ８７０の出力は、スケーラブルビットストリームについてシステム８００の出力として利用可能である。

低解像度デコーダ８５０は、ベースレイヤビットストリームのみを処理し、フル解像度デコーダ８７０は、ベースレイヤビットストリームとエンハンスメントレイヤビットストリームの両方を処理する。ＲＲＵは、デコーダにおいて異なるコンプレクシティにより低解像度及び高解像度シーケンスの両方に復号化できるベースレイヤにおいて利用される。エンハンスメントレイヤビットストリームは、フル解像度動き補償により実行されたベースレイヤビットストリームの復号化の結果として追加されるべきフル解像度誤差信号を有する。エンハンスメントレイヤのビットレートは、ベースレイヤのものより最終的に低くなる可能性があり、ベースレイヤビットレートが典型的には、エンハンスメントレイヤビットレートと比較して小さくなる典型的な空間スケーラビリティのケースと異なる。フル解像度誤差信号は、すべての符号化されたマクロブロック又はスライス／ピクチャについて送信される必要はない。

従来技術の上記及び他の問題点及び欠点が、スケーラブルコンプレクシティ映像符号化及び復号化のための方法及び装置に関する本発明によって解決される。

本発明の特徴によると、ビデオビットストリームを復号化するスケーラブルコンプレクシティビデオデコーダが提供される。本ビデオデコーダは、第１合成装置と、第２合成装置と、デブロックフィルタとを有する。第１合成装置は、デブロック処理を適用することなく、表示用の再構成されたアップサンプリングベースレイヤピクチャを形成するため、フル解像度動き補償予測と復号化されたアップサンプリングベースレイヤ残差とを合成するためのものである。第２合成装置は、第１合成装置と信号通信し、再構成されたフル解像度エンハンスメントレイヤピクチャを形成するため、再構成されたアップサンプリングベースレイヤピクチャと復号化されたエンハンスメントレイヤ残差とを合成するためのものである。デブロックフィルタは、第２合成装置と信号通信し、表示用のフィルタリングされた再構成されたフル解像度エンハンスメントレイヤピクチャを出力するため、再構成されたフル解像度エンハンスメントレイヤピクチャのみに対してデブロック処理を実行するためのものである。

本発明の他の特徴によると、ビデオビットストリームを復号化する空間スケーラブルビデオデコーダが提供される。本ビデオデコーダは、アップサンプラとデブロックフィルタとを有する。アップサンプラは、アップサンプリング予測残差を形成するため、ビデオビットストリームに対応する符号化予測残差に対してアップサンプリング処理を実行するためのものである。デブロックフィルタは、アップサンプリング処理の前又は後に、デブロック処理を実行するためのものである。

本発明のさらなる他の特徴によると、ビデオビットストリームを復号化する空間スケーラブルビデオデコーダが提供される。本ビデオデコーダは、アップサンプラと、リファレンスピクチャストアとを有する。アップサンプルは、アップサンプリングされたベースレイヤ予測残差を形成するため、ベースレイヤ予測残差をアップサンプリングするためのものである。リファレンスピクチャストアは、アップサンプリングベースレイヤ予測残差と対応する前のフル解像度リファレンスピクチャとから形成されるアップサンプリングベースレイヤリファレンスピクチャを格納するためのものである。

本発明のさらなる他の特徴によると、複数のピクチャのビデオ信号データを符号化する空間スケーラブルビデオエンコーダが提供される。本ビデオエンコーダは、イントラ符号化手段と、インター符号化手段とを有する。イントラ符号化手段は、イントラ符号化ピクチャを形成するため、レイヤ化符号化技術を利用してイントラ符号化を実行するためのものである。インター符号化手段は、インター符号化ピクチャを形成するため、ＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）を利用してインター符号化を実行するためのものである。インター符号化手段は、ダウンサンプリング低解像度予測残差を形成するため、予測残差をダウンサンプリングするダウンサンプラを有する。インター符号化手段はさらに、ダウンサンプラと信号通信し、ダウンサンプリング低解像度予測残差を符号化する変換装置／量子化装置を有する。

本発明のさらなる特徴によると、ビデオビットストリームを復号化するスケーラブルコンプレクシティ方法が提供される。本方法は、デブロック処理を適用することなく、表示用の再構成されたアップサンプリングベースレイヤピクチャを形成するため、フル解像度動き補償予測と復号化されたアップサンプリングベースレイヤ残差とを合成するステップを有する。本方法はさらに、再構成されたフル解像度エンハンスメントレイヤピクチャを形成するため、再構成されたアップサンプリングベースレイヤピクチャと復号化されたエンハンスメントレイヤ残差とを合成するステップを有する。本方法はまた、表示用のフィルタリングされた再構成されたフル解像度エンハンスメントレイヤピクチャを出力するため、再構成された解像度エンハンスメントレイヤピクチャのみに対してデブロック処理を実行するステップを有する。

本発明のさらなる他の特徴によると、ビデオビットストリームを復号化する空間スケーラブル方法が提供される。本方法は、アップサンプリング予測残差を形成するため、ビデオビットストリームに対応する符号化予測残差に対してアップサンプリング処理を実行するステップを有する。本方法はさらに、アップサンプリング処理の前又は後に、デブロック処理を実行するステップを有する。

本発明のさらなる特徴によると、ビデオビットストリームを復号化する空間スケーラブル方法が提供される。本方法は、アップサンプリングベースレイヤ予測残差を形成するため、ベースレイヤ予測残差をアップサンプリングするステップを有する。本方法はさらに、アップサンプリングベースレイヤ予測残差と対応する前のフル解像度リファレンスピクチャとから形成されるアップサンプリングベースレイヤリファレンスピクチャを格納するステップを有する。

本発明のさらなる他の特徴によると、複数のピクチャのビデオ信号データを符号化する空間スケーラブル方法が提供される。本方法は、イントラ符号化ピクチャを形成するため、レイヤ化符号化技術を利用してイントラ符号化を実行するステップを有する。本方法はさらに、インター符号化ピクチャを形成するため、ＲＲＵ技術を利用してインター符号化を実行するステップを有する。インター符号化ステップは、ダウンサンプリング低解像度予測残差を形成するため、予測残差をダウンサンプリングするステップを有する。インター符号化ステップはさらに、ダウンサンプリング低解像度予測残差を符号化するステップを有する。

本発明によると、スケーラブルコンプレクシティ映像符号化及び復号化のための方法及び装置を提供することができる。本発明の上記及び他の特徴及び効果は、添付した図面と共に参照される以下の実施例の詳細な説明から明らかになるであろう。

図１は、従来技術による典型的な空間スケーラビリティシステムのブロック図を示す。 図２は、従来技術による２つのレイヤをサポートする空間スケーラブルエンコーダのブロック図を示す。 図３は、従来技術による２つのレイヤをサポートする空間スケーラブルデコーダのブロック図を示す。 図４は、従来技術によるＨ．２６４／ＭＰＥＧ ＡＶＣ規格により用いられる通常の非スケーラブルビデオエンコーダのブロック図を示す。 図５は、従来技術によるＨ．２６４／ＭＰＥＧ ＡＶＣ規格により用いられる通常の非スケーラブルビデオデコーダのブロック図を示す。 図６は、従来技術によるＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）ビデオエンコーダのブロック図を示す。 図７は、従来技術によるＲＲＵビデオデコーダのブロック図を示す。 図８は、従来技術によるコンプレクシティスケーラブルブロードキャストシステムのブロック図を示す。 図９は、本発明が適用される低解像度コンプレクシティスケーラブルビデオデコーダのブロック図を示す。 図１０は、本発明が適用される高解像度コンプレクシティスケーラブルビデオデコーダのブロック図を示す。 図１１は、本発明が適用されるコンプレクシティスケーラブルビデオエンコーダのブロック図を示す。 図１２は、本発明の原理によるコンプレクシティスケーラブルのブロック図を示す。 図１３は、本発明の原理によるフル解像度により映像データを復号化する方法のフロー図を示す。 図１４Ａは、本発明の原理によるスライスヘッダシンタックスのテーブルを示す。 図１４Ｂは、本発明の原理によるスライスヘッダシンタックスのテーブルを示す。 図１４Ｃは、本発明の原理によるスライスヘッダシンタックスのテーブルを示す。 図１４Ｄは、本発明の原理によるスライスヘッダシンタックスのテーブルを示す。 図１５は、本発明の原理によるＮＡＬユニットタイプコードのテーブルを示す。 図１６は、本発明の原理による低解像度により映像データを復号化する方法のフロー図を示す。 図１７は、本発明の原理による映像データを符号化する方法のフロー図を示す。

本発明は、スケーラブルコンプレクシティ映像符号化及び復号化のための方法及び装置に関する。本発明の一実施例では、最も低い解像度レイヤを維持しながら、２以上のレイヤのトータルビットレートが最適化される。

本記載は、本発明の原理を説明する。従って、当業者は、ここで明示的には記載又は図示されないが、本発明の原理を実現し、その精神及び範囲内に含まれる各種構成を当業者が創出可能であるということを理解するであろう。

ここに記載されるすべての実施例及び条件付き言語は、本発明の原理及び発明者によって寄与した従来技術に対する進歩となるコンセプトを読者が理解するのに役立つことを意図したものであり、このように具体的に記載された実施例及び条件に制限されることなく解釈されるべきである。

さらに、本発明の原理、特徴及び実施例と共にその具体例を記載するここでのすべての記載は、それの構造的及び機能的な均等物を含むものと意図される。さらに、このような均等物は、現在知られている均等物と共に、将来開発される均等物、すなわち、構造に関係なく同一の機能を実行するよう開発された任意の要素を含むことが意図される。

従って、例えば、ここに与えられるブロック図が本発明の原理を実現する例示的回路の概念図を表すことが、当業者により理解されるであろう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどが、コンピュータ可読媒体により実質的に表現可能であり、このため、明示的に図示されていないかもしれないが、コンピュータ又はプロセッサにより実行可能である各種プロセスを表すことが理解される。

図面に示される各種要素の機能は、専用のハードウェアと共に適切なソフトウェアと連関してソフトウェアを実行可能なハードウェアを利用することにより提供されるかもしれない。プロセッサにより提供されるとき、当該機能は、単一の専用プロセッサ、単一の共有プロセッサ又はその一部が共有可能な複数の個別のプロセッサによって提供されてもよい。さらに、「プロセッサ」又は「コントローラ」という用語の明示的使用は、ソフトウェアを実行可能なハードウェアのみを表すものと解釈されるべきでなく、以下に限定されるものではないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及び不揮発性ストレージを非明示的に含むかもしれない。

他のハードウェア、従来のハードウェア及び／又はカスタムハードウェアもまた含まれるかもしれない。同様に、図示されるスイッチは、概念的なものである。それらの機能は、プログラムロジックの実行、専用ロジック、プログラムコントロールと専用ロジックのやりとりを介し、又は手動により実行されてもよく、実現者により選択可能な技術がここでの記載からより具体的に理解される。

その請求項において、指定された機能を実行する手段として表現される要素は、ａ）当該機能を実行する回路要素の組み合わせ、又はｂ）当該機能を実行するためソフトウェアを実行するのに適切な回路と共に、ファームウェア、マイクロコードなどを含む何れかの形式によるソフトウェアなどを含む、当該機能を実行する任意の方法を含むことが意図される。このような請求項によって規定されるような本発明は、記載された各手段によって提供される機能が、請求項が求める方法により合成されるという事実に属する。このため、当該機能を提供可能な要素はここに示されるものと均等であるとみなされる。

図９を参照するに、低解像度コンプレクシティスケーラブルビデオデコーダが、参照番号９００により全体表示される。ビデオデコーダ９００は、映像シーケンスを受け付けるエントロピーデコーダ９１０を有する。エントロピーデコーダ９１０の第１出力は、逆量子化装置／変換装置９２０の入力と信号通信接続される。逆量子化装置／変換装置９２０の出力は、加算結合部９４０の第１入力と信号通信接続される。

加算結合部９４０の出力は、デブロックフィルタ９９０と信号通信接続される。デブロックフィルタの出力は、リファレンスピクチャストア９５０の入力と信号通信接続される。デブロックフィルタ９９０の出力はまた、ビデオデコーダ９００の出力として利用可能である。リファレンスピクチャストア９５０の出力は、動き補償装置９６０の第１入力と信号通信接続される。動き補償装置９６０の出力は、加算結合部９４０の第２入力と信号通信接続される。エントロピーデコーダ９１０の第２出力は、動きベクトル（ＭＶ）解像度低減装置９９９の入力と信号通信接続される。ＭＶ低減装置９９９の出力は、動き補償装置９６０の第２入力と信号通信接続される。

デコーダ９００において、ベースレイヤビットストリームは、エントロピー復号化される。動きベクトルは、低解像度に対応する精度に低減するよう丸められる。この低解像度スケーラブルデコーダのコンプレクシティは、動きベクトルのスケーリングが大変低いコンプレクシティしか有しないため、非スケーラブルデコーダのものと大変類似している。２の係数が、低解像度とフル解像度との間の各サイズの解像度レシオで使用される場合、ラウンドアップ又はラウンドダウンがシステムにより選択されているかに依存して、丸め処理は左シフト又は右シフトのみにより実現可能である。

図１０を参照するに、高解像度コンプレクシティスケーラブルビデオデコーダ１０００が、参照番号１０００により全体表示される。ビデオデコーダ１０００は、ベースレイヤビットストリームを受け付ける第１エントロピーデコーダ１００５を有する。第１エントロピーデコーダ１００５の出力は、第１逆量子化装置／変換装置１０１０の入力と信号通信接続される。第１逆量子化装置／変換装置１０１０の出力は、アップサンプラ１０１５の入力と信号通信接続される。アップサンプラ１０１５の出力は、第１加算結合部１０２０の第１入力と信号通信接続される。

第１加算結合部１０２０の出力は、第２加算結合部１０２５の第１入力と信号通信接続される。フル解像度リファレンスピクチャストア１０３０の出力は、動き補償装置１０３５の第１入力と信号通信接続される。エントロピーデコーダ（動きベクトル（ＭＶ）を出力するための）１００５の第２出力は、動き補償装置１０３５の第２入力と信号通信接続される。動き補償装置１０３５の出力は、第１加算結合部１０２０の第２入力と信号通信接続される。

第２エントロピーデコーダ１０４０の入力は、エンハンストレイヤビットストリームを受け付けるためのものである。第２エントロピーデコーダ１０４０の出力は、第２逆量子化装置／変換装置１０４５の入力と信号通信接続される。第２量子化装置／変換装置１０４５の出力は、第２加算結合部１０２５の第２入力と信号通信接続される。

デブロックフィルタ１０５０への入力は、第１加算結合部１０２０の出力又は第２加算結合部１０２５の出力に信号通信接続される。デブロックフィルタ１０５０の出力は、フル解像度リファレンスピクチャストア１０３０の入力と信号通信接続される。デブロックフィルタ１０５０の出力は、ビデオデコーダ１０００の出力として利用可能である。

デコーダ１０００のベースレイヤビットストリーム上で動作する部分は、ＲＲＵデコーダと類似している。エントロピー復号化、逆量子化及び逆変換の後、残差がアップサンプリングされる。フル解像度予測を生成するため、動き補償がフル解像度リファレンスピクチャに適用され、アップサンプリングされた残差が当該予測に追加される。フル解像度誤差信号がエンハンスメントレイヤビットストリームに存在する場合、それはエントロピー復号化、逆量子化及び変換され、その後、ＲＲＵ再構成信号に追加される。デブロッキングフィルタがその後に適用される。

図１１を参照するに、コンプレクシティスケーラブルビデオエンコーダが、参照番号１１００により全体表示される。ビデオエンコーダ１１００への入力は、第１加算結合部１１０５の非反転入力と信号通信接続される。第１加算結合部１１０５の出力は、ダウンサンプラ１１１２の入力と信号通信接続される。ダウンサンプラ１１１２の出力は、第１変換装置／量子化装置１１１５の入力と信号通信接続される。第１変換装置／量子化装置１１１５の出力は、第１エントロピー符号化装置１１２０の入力と信号通信接続される。第１エントロピー符号化装置１１２０の出力は、ベースレイヤビットストリームについてのエンコーダ１１００の出力として利用可能である。

第１変換装置／量子化装置１１１５の出力はさらに、第１逆変換装置／量子化装置１１２５の入力と信号通信接続される。第１逆変換装置／量子化装置１１２５の出力は、アップサンプラ１１５５の入力と信号通信接続される。アップサンプラ１１５５の出力は、第２加算結合部１１６０の反転入力と第３加算結合部１１６５の第１非反転入力とに信号通信接続される。

ビデオエンコーダ１１００への入力はさらに、第２加算結合部１１６０の非反転入力と信号通信接続される。第２加算結合部１１６０の出力は、スイッチ１１６２の入力と信号通信接続される。スイッチ１１６２の出力は、第２変換装置／量子化装置１１７０への入力と信号通信接続される。第２変換装置／量子化装置１１７０の出力は、第２エントロピー符号化装置１１７５の入力と信号通信接続される。第２エントロピー符号化装置１１７５の出力は、エンハンストレイヤビットストリームについてエンコーダ１１００の出力として利用可能である。第２変換装置／量子化装置１１７０の出力はさらに、第２逆変換装置／量子化装置１１８０の入力と信号通信接続される。第２逆変換装置／量子化装置１１８０の出力は、第３加算結合部１１６５の第２非反転入力と信号通信接続される。

ビデオエンコーダ１１００への入力はさらに、動き推定装置１１８５の第１入力と信号通信接続される。動き推定装置１１８５の出力は、動き補償装置１１９０の第１入力と信号通信接続される。動き補償装置１１９０の出力は、第１加算結合部１１０５の反転入力と信号通信接続される。フル解像度リファレンスピクチャストア１１９２の第１出力は、動き推定装置１１８５の第２入力と信号通信接続される。フル解像度リファレンスピクチャストア１１９２の第２出力は、動き補償装置１１９０の第２入力と信号通信接続される。フル解像度リファレンスピクチャストア１１９２の入力は、デブロックフィルタ１１９５の出力と信号通信接続される。デブロックフィルタ１１９５の入力は、スイッチ１１９１の出力と信号通信接続される。スイッチ１１９１の他の入力は、第３加算結合部１１６５の出力と信号通信接続される。

エンコーダ１１００は、低解像度映像クオリティでなくフル解像度映像クオリティを最適化しようとする。動き推定は、フル解像度ビデオピクチャに対して実行される。動き補償された予測を入力ピクチャから減算した後、予測残差がダウンサンプリングされる。ＲＲＵコーデックと異なって、低解像度デコーダが常に復号化すべきピクチャを有することが可能となるように、ダウンサンプリングがすべてのピクチャに適用される。ダウンサンプリングされた残差は、変換、量子化及びエントロピー符号化される。これは、ベースレイヤビットストリームを構成する。逆量子化装置及び逆変換装置が適用され、その後、符号化された残差がフル解像度までアップサンプリングされる。エンコーダ１１００は、エンハンスメントレイヤにピクチャ又はスライスのフル解像度誤差信号を送信するか否か選択することができる。一般に、すべてのＩスライスについて、エンハンスメントレイヤフル解像度誤差信号が符号化され、フル解像度入力ピクチャが復号化されたアップサンプリングされたものを減算するとき、誤差信号の大きさに基づきＰ及びＢスライスについて任意的に送信可能である。エンハンスメントレイヤフル解像度誤差信号が符号化される場合、符号化されたベースレイヤのアップサンプリングされた符号化ピクチャが、入力フル解像度ピクチャから減算される。その後、この差分が量子化、変換及びエントロピー符号化され、エンハンスメントレイヤビットストリームを形成する。エンハンスメントレイヤビットストリームは、イントラ符号化スライスのみを有するものとしてみることができる。

本発明の原理によると、新たなコンプレクシティスケーラブルビデオエンコーダ及びデコーダが説明される。すべてのタイプのスライスにＲＲＵを利用する図８に関して図示及び説明された従来技術のアプローチと対照的に、本発明では、ＲＲＵはインターピクチャ（Ｐ及びＢ）についてベースレイヤで利用され、従来の空間スケーラビリティアプローチは、イントラピクチャ（Ｉ）について利用される。従って、インターピクチャについて、ベースレイヤは、デコーダのコンプレクシティレベルに基づき、低解像度又はフル解像度シーケンスの両方に復号可能である。すなわち、動き推定／補償の後に形成される映像残差を符号化するのに用いられるビットは、低解像度デコーダとフル解像度デコーダの両方において使用される。ベースレイヤビットストリームにより送信される動きベクトルは、低解像度デコーダとフル解像度デコーダの両方において使用されるが、低解像度デコーダよりフル解像度デコーダにおいてより高い精度により利用される。また、動き補償予測が、低解像度デコーダでは低い解像度により、高解像度デコーダでは高い解像度により実行される。低解像度フレームストアが低解像度デコーダにおいて使用され、高解像度フレームストアが高解像度デコーダにおいて使用される。Ｉピクチャがベースレイヤに存在するときに限って、エンハンスメントレイヤが送信される。

すべての復号化処理は低解像度により実行されるため（逆量子化／変換、動き補償、デブロック処理）、低解像度デコーダのデコーダコンプレクシティは低く維持される。しかしながら、ベースレイヤビットストリームのビットレートは、サイマルキャスト又は空間スケーラブルビットストリームと比較して高くなる傾向があり、エントロピーデコーダのコンプレクシティに影響を与える。エンハンスメントレイヤがベースレイヤのＩピクチャについてのみ存在するよう制限される場合、１つのレイヤのみの復号化が非Ｉピクチャについて必要とされるため、フル解像度デコーダのコンプレクシティは典型的な空間スケーラビリティデコーダより小さくなる。

Ｉフレームは、Ｈ．２６３などの従来技術による空間スケーラブルアプローチを用いて符号化される。ベースレイヤのＩフレームは、Ｈ．２６４イントラ符号化アプローチを用いて低解像度として符号化される。ベースレイヤＩフレームのエンハンスメントレイヤについて、Ｈ．２６３におけるアプローチはＨ．２６４の新たな特徴を組み込むことによって利用される。エンハンスメントレイヤピクチャは、アップサンプリングされた時間的に同期したベースレイヤリファレンスピクチャと前のベースレイヤフル解像度リファレンスピクチャとから予測可能である。当該アップサンプリングは、半サンプル補間（ｈａｌｆ−ｓａｍｐｌｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ）のためのＨ．２６４に規定される６タップ補間フィルタ｛１，−５，２０，２０，−５，１｝／３２又は他のバイリニアフィルタによって実行可能である。エンハンスメントレイヤのピクチャは、それが対応するアップサンプリングされたベースレイヤリファレンスＩピクチャから予測される場合にはＥＩと、それがシンプル予測によって前のベースレイヤフル解像度リファレンスピクチャとアップサンプリングされたリファレンスＩピクチャの両方から予測される場合にはＥＰと、それがバイ予測によって前のベースレイヤフル解像度リファレンスピクチャとアップサンプリングされたリファレンスＩピクチャの両方から予測される場合にはＥＢと呼ばれる。ＥＩピクチャは、Ｈ．２６４のＩスライスシンタックスを用いて符号化される。すなわち、ＥＩはまず、動きベクトルがゼロであると仮定することによって、フル解像度ピクチャとそれの対応するアップサンプリングされたベースレイヤリファレンスピクチャの残差として生成される。その後、この残差がＩピクチャとして正確に符号化される。より詳細には、現在のマクロブロックと（アップサンプリングされた）再構成されたベースレイヤからの近隣マクロブロックの残差が、１２８を加え、（０，２５５）にクリッピングすることによって調整され、その後、ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ）のサブクローズ８．３に規定されるものなど、空間イントラ予測に利用される。その後、１２８の減算と（−２５６，２５５）へのクリッピングが実行される。レイヤ間イントラ予測残差が、その後、再構成されたエンハンスメントレイヤマクロブロックを形成するため、（アップサンプリング）再構成されたベースレイヤに加えられる。ＥＩを符号化する他の方法は、ＭＰＥＧ−２／ＭＰＥＧ−４／Ｈ．２６３などと同様に、空間予測なしに残差ピクチャを符号化することである。エンハンスメントレイヤピクチャが符号化されたＥＰであるとき、アップサンプリングされたベースレイヤリファレンスピクチャとそれの前のレイヤフル解像度リファレンスピクチャがリファレンスピクチャリスト０におかれる。ＥＰが符号化された後、アップサンプリングされたベースレイヤリファレンスピクチャがリファレンスピクチャバッファから削除できる。ＥＰは、Ｈ．２６４においてＰスライスシンタックスを用いて符号化される。エンハンスメントレイヤピクチャが符号化されたＥＢであるとき、アップサンプリングされたベースレイヤリファレンスピクチャとそれの前のベースレイヤフル解像度リファレンスピクチャの両方が、リファレンスピクチャリスト０及び１におかれる。リファレンスピクチャリスト１の最初の２つのピクチャのデフォルト順序は、リファレンスピクチャリスト０と異なっているべきである。ＥＢが符号化された後、アップサンプリングされたベースレイヤリファレンスピクチャが、リファレンスピクチャバッファから削除可能である。ＥＢは、Ｈ．２６４におけるＢスライスシンタックスを用いて符号化される。他の方法はマクロブロックに基づくものであり、ＭＢがマクロブロック適応的なものに基づきＥＩ、ＥＰ及びＥＢにおいてどのように符号化されるか組み合わせる。すなわち、アップサンプリングされた再構成されたベースレイヤからのエンハンスメントレイヤ残差について空間イントラ予測を利用して、マクロブロックを符号化することが可能であり、又はマクロブロックは、イントラＭＢとして、又はリファレンスピクチャからのシングル予測又はバイ予測として符号化することが可能である。

図１２を参照するに、本発明の原理によるコンプレクシティスケーラビリティが、参照番号１２００によって全体表示される。コンプレクシティスケーラビリティ１２００は、ベースレイヤ１２１０とエンハンスメントレイヤ１２２０とに関する。関連するピクチャタイプは、Ｉピクチャ１２３０、Ｐピクチャ１２４０、ＥＩピクチャ１２５０、ＥＰピクチャ１２６０及びＥＢピクチャ１２７０を含む。両方のレイヤにおけるＰピクチャ１２４０は共に、異なる復号化技術によって同一のビットストリームから復号化される。

図１３を参照するに、フル解像度によるピクチャの映像データを復号化する方法が、参照番号１３００により全体表示される。

スタートブロック１３０２は、機能ブロック１３０５と１３１０にコントロールをわたす。機能ブロック１３１０は、エンハンスメントレイヤビットストリームを抽出し、機能ブロック１３３０にコントロールをわたす。機能ブロック１３３０は、エンハンスメントレイヤピクチャを復号化し、エンドブロック１３３５にコントロールをわたす。

機能ブロック１３０５は、ベースレイヤビットストリームを抽出し、判定ブロック１３１５にコントロールをわたす。判定ブロック１３１５は、現在のピクチャがＩＮＴＥＲ−ＲＲＵ（符号化された）ピクチャであるか判断する。現在ピクチャがＩＮＴＥＲ−ＲＲＵピクチャでない場合、コントロールは機能ブロック１３２０にわたされる。そうでない場合、現在ピクチャはＩＮＴＥＲ−ＲＲＵ（符号化された）ピクチャである場合、コントロールは機能ブロック１３４０にわたされる。

機能ブロック１３２０は、現在ピクチャをＩＮＴＲＡ復号化し、コントロールを機能ブロック１３２５にわたす。機能ブロック１３２５は、現在ピクチャをアップサンプリングし、コントロールを機能ブロック１３３０にわたす。

機能ブロック１３４０は、現在ピクチャの残差をアップサンプリングし、コントロールを機能ブロック１３４５にわたす。機能ブロック１３４５は、フル解像度により現在ピクチャをＩＮＴＥＲ復号化し、コントロールをエンドブロック１３３５にわたす。

図１３の方法１３００は、図１０のデコーダ１０００などによって実現されてもよい。インターピクチャのためのベースレイヤビットストリームに対して動作するデコーダ１０００の部分は、ＲＲＵデコーダである。エントロピー復号化１００５並びに逆量子化及び逆変換１０１０の後、残差がアップサンプリング１０１５される。動き補償１０３５が、フル解像度予測を生成するため、フル解像度リファレンスピクチャに適用され、アップサンプリングされた残差が予測に加算１０２０される。イントラピクチャについて、ベースレイヤデコーダは、低解像度で動作するＨ．２６４デコーダである。デブロックフィルタ１０５０は、任意的なものである。デブロックフィルタ１０５０は、アップサンプリング前又は後に挿入可能である。アップサンプリングされた再構成されたベースレイヤピクチャは、予測のためリファレンスピクチャバッファ１０３０におかれる。エンハンスメントレイヤデコーダ１０４０は、フル解像度により動作するＨ．２６４デコーダである。ＥＩピクチャがデコーダ１３００に入力される場合、生成された残差ピクチャがアップサンプリングされたリファレンスピクチャに加えられ、その後デブロック処理される。ＥＰピクチャがデコーダ１３００に入力される場合、さらなるステップは不要である。

一般に、ＥＰ／ＥＢは、ＥＩより効率的に符号化することができる。しかしながら、チャネル変更や他のトリックモードなどのいくつかのアプリケーションでは、ＥＩは高速アクセスに利用される必要がある。それにもかかわらず、Ｉピクチャは常にベースレイヤにおいて利用可能であるため、エンハンスメントレイヤにおけるＥＩピクチャの周波数は、フル解像度のドリフトを可能にすることによって、低減することが可能であり、その直後にチャネル変更される。すなわち、チャネル変更が行われ、エンハンスメントレイヤピクチャがＥＰ／ＥＢであるとき、アップサンプリングされたベースレイヤリファレンスピクチャが以降のピクチャの予測のためのリファレンスピクチャとして使用される。ドリフトを限定するため、ＩＤＲなどの制約が以降のインターピクチャに利用可能であり、すなわち、以降のインターピクチャはＩピクチャの前にピクチャから予測することはできない。ドリフトは、次のＥＩピクチャまで完全に復元される。

従って、本発明の原理によるコンプレクシティスケーラブルビデオエンコーダ及びデコーダは、フル解像度について高い符号化効率をターゲットとし、低解像度の制限されたドリフト伝搬を許容する。低解像度及びフル解像度デコーダのデコーダコンプレクシティは、サイマルキャストについて可能であるように、非スケーラブルコーデックと極めて類似している。低解像度デコーダコンプレクシティは、非スケーラブル低解像度Ｈ．２６４／ＡＶＣデコーダと極めて類似している。フル解像度デコーダコンプレクシティは、残差アップサンプラの追加のみによって、非ＩピクチャについてＨ．２６４／ＡＶＣデコーダからほとんど変更されない。エンハンスメントレイヤは、Ｉピクチャのみについて復号化され、これにより、各解像度に１つ、従って２つのフレームストアである２つの動き補償が実行されることを典型的な空間スケーラビリティデコーダと異なって、１つのピクチャについて１回のみ実行される。

コンプレクシティスケーラブルビデオコーデックは、Ｈ．２６４にポート及び拡張可能である。新たなスライスパラメータ（ｒｅｄｕｃｅｄ＿ｒｅｓｏｌｕｔｉｏｎ＿ｕｐｄａｔｅ）が、現在スライスが３２×３２のサイズのマクロブロックに分割され、低解像度ピクチャのサイズがｐｉｃ＿ｗｉｄｔｈ／２×ｐｉｃ＿ｈｅｉｇｈｔ／２とされることに従って加えられる。水平又は垂直方向の任意のレシオによる任意の低解像度をサポートするため、現在のスライスが（ｌｏｗ＿ｗｉｄｔｈ＿ｓｃａｌｅ＊１６）×（ｌｏｗ＿ｈｅｉｇｈｔ＿ｓｃａｌｅ＊１６）のサイズのマクロブロックに分割されることを可能にするよう加えられてもよい。対応する低解像度サイズは、（ｐｉｃ＿ｗｉｄｔｈ／ｌｏｗ＿ｗｉｄｔｈ＿ｓｃａｌｅ×ｐｉｃ＿ｈｅｉｇｈｔ／ｌｏｗ＿ｈｅｉｇｈｔ＿ｓｃａｌｅ）となる。他のパラメータｃｏｍｐｌｅｘｉｔｙ＿ｓｃａｌａｂｌｅ＿ｅｎａｂｌｅは、現在スライスが２つのレイヤとして符号化されるか示すのに追加される。現在スライスがベースレイヤとして符号化される場合、パラメータｅｎｈａｎｃｅｍｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇは０に設定され、そうでない場合には、１に設定される。ｅｎｈａｎｃｅｍｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇが１に設定され、ｓｌｉｃｅ＿ｔｙｐｅがＩである場合、エンハンスメントレイヤはＥＩとして符号化される。ｅｎｈａｎｃｅｍｅｎｔ＿ｌａｙｅｒ＿ｆｌａｇが１であり、ｓｌｉｃｅ＿ｔｙｐｅがＰである場合、エンハンスメントレイヤはＥＰとして符号化される。低解像度のサイズは、ｌｏｗ＿ｗｉｄｔｈ＿ｓｃａｌｅ及びｌｏｗ＿ｈｅｉｇｈｔ＿ｓｃａｌｅにより示される。図１４を参照するに、スライスヘッダシンタックスのテーブルが、参照番号１４００により全体表示される。ここで、ｓｌｉｃｅ＿ｈｅａｄｅｒ（）の具体例について２つのテーブルがあることに留意されたい。第１のテーブルは、任意の空間解像度スケーラビリティについて利用可能である。第２のテーブルは、空間スケーラビリティが２であることを前提とする。低解像度デコーダがエンハンスメントレイヤを迅速に通過するため、エンハンスメントレイヤについて新たなＮＡＬユニットタイプ（タイプ１３）が、図１５に図示されるように設けられる。図１５を参照するに、ＮＡＬユニットタイプコーデックのテーブルは、参照番号１５００により全体表示される。

図１６を参照するに、低解像度によりピクチャの映像データを復号化する方法が、参照番号１６００により全体表示される。

スタートブロック１６０２は、機能ブロック１６０５にコントロールをわたす。機能ブロック１６０５は、ベースレイヤビットストリームを抽出し、判定ブロック１６１０にコントロールをわたす。判定ブロック１６１０は、現在ピクチャがＩＮＴＥＲ−ＲＲＵ（符号化された）ピクチャであるか判断する。現在ピクチャがＩＮＴＥＲ−ＲＲＵピクチャでない場合、コントロールは機能ブロック１６１５にわたされる。そうでない場合、現在ブロックがＩＮＴＥＲ−ＲＲＵピクチャである場合、コントロールは機能ブロック１６２５にわたされる。

機能ブロック１６１５ＩＮＴＲＡは現在ピクチャを復号化し、コントロールをエンドブロック１６２０にわたす。

機能ブロック１６２５は、現在ピクチャの動きベクトルをダウンサンプリングし、コントロールを機能ブロック１６３０にわたす。機能ブロック１６３０は、低解像度により現在ピクチャをＩＮＴＥＲ復号化し、コントロールをエンドブロック１６２０にわたす。

図１７を参照するに、映像データを符号化する方法が、参照番号１７００により全体表示される。

スタートブロック１７０２は、判定ブロック１７０４にコントロールをわたす。判定ブロック１７０４は、ベースレイヤがイントラ符号化されるべきか判断する。ベースレイヤがイントラ符号化されるべきでない場合、コントロールは機能ブロック１７０６にわたされる。そうでない場合、ベースレイヤがイントラ符号化されるべきである場合、コントロールが機能ブロック１７１０にわたされる。

機能ブロック１７０６は、フル解像度によりベースレイヤをＲＲＵインター符号化し、コントロールを機能ブロック１７０８にわたす。機能ブロック１７０８は、ベースレイヤビットストリームを出力する。

機能ブロック１７１０は、ベースレイヤにおいてピクチャをダウンサンプリングし、コントロールを機能ブロック１７２０にわたす。機能ブロック１７２０は、低解像度によりイントラピクチャとしてピクチャを符号化し、コントロールを機能ブロック１７０８と１７３０にわたす。

機能ブロック１７３０は、イントラ符号化されたピクチャをアップサンプリングし、コントロールを機能ブロック１７４０にわたす。機能ブロック１７４０は、フル解像度によりピクチャを符号化し、コントロールを機能ブロック１７５０にわたす。機能ブロック１７５０は、エンハンスメントレイヤビットストリームを出力する。

本発明の多数の付随する効果／特徴が説明される。例えば、１つの効果／特徴は、デコーダがデブロック処理を利用することなくフル解像度映像シーケンスを形成するため、ベースレイヤビットストリームを復号化する復号化手段を有し、ベースレイヤビットストリームとエンハンスメントレイヤビットストリームを含む映像ビットストリームを復号化するスケーラブルコンプレクシティビデオデコーダである。他の効果／特徴は、フル解像度映像シーケンスを出力し、アップサンプリングの処理前又は処理後にデブロックフィルタを利用するスケーラブルコンプレクシティビデオデコーダである。さらなる他の効果／特徴は、フル解像度映像シーケンスを出力し、それの前のベースレイヤフル解像度リファレンスピクチャに加えて、アップサンプリングされたベースレイヤリファレンスピクチャを格納するリファレンスピクチャストアを有するスケーラブルコンプレクシティビデオデコーダである。さらなる他の効果／特徴は、イントラピクチャのためのレイヤ化符号化技術とインターピクチャのためのＲＲＵ技術を利用したスケーラブルコンプレクシティビデオエンコーダである。さらに、他の効果／特徴は、イントラピクチャがベースレイヤとエンハンスメントレイヤの両方を有し、インターピクチャがベースレイヤしか有しない上述したスケーラブルコンプレクシティビデオエンコーダである。さらに、他の効果／特徴は、イントラピクチャについて、対応するエンハンスメントレイヤがＥＩ、ＥＰ及びＥＢを用いて符号化可能な上述したスケーラブルコンプレクシティビデオエンコーダである。また、他の効果／特徴は、動きベクトルをゼロと仮定し、Ｉスライスシンタックスを用いて符号化することによって、ＥＩピクチャがフル解像度ピクチャとそれの対応するアップサンプリングされたベースレイヤリファレンスピクチャの残差として形成される、上述したスケーラブルコンプレクシティビデオエンコーダである。さらなる他の効果／特徴は、イントラピクチャのエンハンスメントレイヤが、ＥＩ、ＥＰ及びＥＢを利用して符号化可能であり、アップサンプリングされたベースレイヤリファレンスピクチャとそれの前のベースレイヤフル解像度リファレンスピクチャの両方が、シングル予測についてリファレンスピクチャリスト０に、又はバイ予測についてリファレンスリスト０及び１におくことができる、上述したスケーラブルコンプレクシティビデオエンコーダである。さらに、他の効果／特徴は、イントラピクチャのエンハンスメントレイヤがＥＩ、ＥＰ及びＥＢを用いて符号可能であり、エンハンスメントレイヤがＥＢとして参照され、バイ予測が利用されるときは、Ｂスライスシンタックスを利用して符号化される、上述のスケーラブルコンプレクシティビデオエンコーダである。さらに、他の効果／特徴は、イントラピクチャのエンハンスメントレイヤがマクロブロックベースにより符号可能であり、ＭＢがマクロブロック適応的にＥＩ、ＥＰ及びＥＢにおいて符号化される方法を組み合わせる、上述したスケーラブルコンプレクシティビデオエンコーダである。

本発明の上記及び他の特徴及び効果は、ここでの教示に基づき当業者により容易に確認されるかもしれない。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ又はこれらの組み合わせの各種形式により実現可能であるということが理解されるべきである。

最も好ましくは、本発明の教示は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、好ましくは、プログラムストレージユニット上で有形的に実現されるアプリケーションプログラムとして実現される。アプリケーションプログラムは、何れか適当なアーキテクチャを有するマシーンにアップロード及び実行されてもよい。好ましくは、当該マシーンは、１以上の中央処理ユニット（ＣＰＵ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、入出力（Ｉ／Ｏ）インタフェースなどのハードウェアを有するコンピュータプラットフォーム上で実現される。コンピュータプラットフォームはまた、オペレーティングシステムとマイクロ命令コードを有するかもしれない。ここに記載される各種プロセス及び機能は、ＣＰＵにより実行可能なアプリケーションプログラムの一部、マイクロ命令コードの一部又はそれらの任意の組み合わせであってもよい。さらに、追加的なデータストレージユニットと印刷ユニットなどの他の各種周辺ユニットが、コンピュータプラットフォームに接続されてもよい。

さらに、添付した図面に示されているシステムコンポーネント及び方法は、好ましくは、ソフトウェアにより実現されるため、本発明がプログラムされる方法に応じて、システムコンポーネント又はプロセス機能ブロックとの間の実際の接続は異なるかもしれない。ここでの教示が与えられると、当業者は本発明の上記及び類似の実現形態又は構成を検討することが可能であろう。

例示した実施例が添付した図面を参照して説明されたが、本発明は当該実施例に限定されず、本発明の範囲又は趣旨から逸脱することなく当業者により各種変更及び改良が可能であるということが理解されるべきである。このような変更及び改良のすべては、添付した請求項おいて与えられる本発明の範囲内に含まれることが意図される。
本発明の実施例に関し、更に以下の項目を開示する。
（付記１）ビデオビットストリームを復号化するスケーラブルコンプレクシティビデオデコーダであって、
デブロック処理を適用することなく、表示用の再構成されたアップサンプリングベースレイヤピクチャを形成するため、フル解像度動き補償予測と復号化されたアップサンプリングベースレイヤ残差とを合成する第１合成装置と、
前記第１合成装置と信号通信し、再構成されたフル解像度エンハンスメントレイヤピクチャを形成するため、前記再構成されたアップサンプリングベースレイヤピクチャと復号化されたエンハンスメントレイヤ残差と合成する第２合成装置と、
前記第２合成装置と信号通信し、前記再構成されたフル解像度エンハンスメントレイヤピクチャに対しデブロック処理を実行するデブロックフィルタと、
を有するデコーダ。
（付記２）ビデオビットストリームを復号化する空間スケーラブルビデオデコーダであって、
アップサンプリング予測残差を形成するため、前記ビデオビットストリームに対応する符号化された予測残差に対しアップサンプリング処理を実行するアップサンプラと、
前記アップサンプリング処理の前又は後に、デブロック処理を実行するデブロックフィルタと、
を有するデコーダ。
（付記３）ビデオビットストリームを復号化する空間スケーラブルビデオデコーダであって、
アップサンプリングベースレイヤ予測残差を形成するため、ベースレイヤ予測残差をアップサンプリングするアップサンプラと、
前記アップサンプリングベースレイヤ予測残差と対応する前のフル解像度リファレンスピクチャとから形成されるアップサンプリングベースレイヤリファレンスピクチャを格納するリファレンスピクチャストアと、
を有するデコーダ。
（付記４）複数のピクチャのビデオ信号データを符号化する空間スケーラブルビデオエンコーダであって、
イントラ符号化ピクチャを形成するため、レイヤ化符号化技術を利用してイントラ符号化を実行するイントラ符号化手段と、
インター符号化ピクチャを形成するため、ＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）技術を利用してインター符号化を実行するインター符号化手段と、
を有し、
前記インター符号化手段は、ダウンサンプリング低解像度予測残差を形成するため、予測残差をダウンサンプリングするダウンサンプラと、前記ダウンサンプラと信号通信し、前記ダウンサンプリング低解像度予測残差を符号化する変換／量子化装置とを有するエンコーダ。
（付記５）前記イントラ符号化ピクチャは、ベースレイヤとエンハンスメントレイヤの両方を有するよう符号化され、
インター符号化ピクチャは、ベースレイヤのみを有するよう符号化される、付記４記載のエンコーダ。
（付記６）イントラ符号化ベースレイヤピクチャについて、エンハンスメントレイヤは、
該エンハンスメントレイヤのエンハンスメントレイヤ符号化ピクチャが、対応するアップサンプリングベースレイヤリファレンスピクチャから予測され、
前記エンハンスメントレイヤ符号化ピクチャが、前記アップサンプリングベースレイヤリファレンスピクチャと、前のベースレイヤフル解像度リファレンスピクチャの両方からシングル予測により予測され、
前記エンハンスメントレイヤ符号化ピクチャは、前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方からバイ予測により予測される、
ように符号化される、付記４記載のエンコーダ。
（付記７）前記対応するアップサンプリングベースレイヤリファレンスピクチャから予測される前記エンハンスメントレイヤ符号化ピクチャは、対応する動きベクトルをゼロとみなすことによって、前記対応するアップサンプリングベースレイヤリファレンスピクチャと現在のオリジナルフル解像度ピクチャの残差として形成され、Ｉスライスシンタックスを利用して符号化される、付記６記載のエンコーダ。
（付記８）前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方を、シングル予測についてはリファレンスピクチャ０に、バイ予測についてはリファレンスピクチャリスト１に配置する手段をさらに有する、付記６記載のエンコーダ。
（付記９）前記エンハンスメントレイヤ符号化ピクチャは、前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方から、Ｐスライスシンタックスを利用してシングル予測により予測される、付記６記載のエンコーダ。
（付記１０）前記エンハンスメントレイヤ符号化ピクチャは、前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方から、Ｂスライスシンタックスを利用してバイ予測により予測される、付記６記載のエンコーダ。
（付記１１）ビデオビットストリームを復号化するスケーラブルコンプレクシティ方法であって、
デブロック処理を適用することなく、表示用の再構成されたアップサンプリングベースレイヤピクチャを形成するため、フル解像度動き補償予測と復号化されたアップサンプリングベースレイヤ残差とを合成するステップと、
再構成されたフル解像度エンハンスメントレイヤピクチャを形成するため、前記再構成されたアンプサンプリングベースレイヤピクチャと復号化されたエンハンスメントレイヤ残差とを合成するステップと、
表示用のフィルタリングされた再構成されたフル解像度エンハンスメントレイヤピクチャを出力するため、前記再構成されたフル解像度エンハンスメントレイヤピクチャのみに対してデブロック処理を実行するステップと、
を有する方法。
（付記１２）ビデオビットストリームを復号化する空間スケーラブル方法であって、
アップサンプリング予測残差を形成するため、前記ビデオビットストリームに対応する符号化された予測残差に対してアップサンプリング処理を実行するステップと、
前記アップサンプリング処理の前又は後に、デブロック処理を実行するステップと、
を有する方法。
（付記１３）ビデオビットストリームを復号化する空間スケーラブル方法であって、
アップサンプリングベースレイヤ予測残差を形成するため、ベースレイヤ予測残差をアップサンプリングするステップと、
前記アップサンプリングベースレイヤ予測残差と対応する前のフル解像度リファレンスピクチャとから形成されるアップサンプリングベースレイヤリファレンスピクチャを格納するステップと、
を有する方法。
（付記１４）複数のピクチャのビデオ信号データを符号化する空間スケーラブル方法であって、
イントラ符号化ピクチャを形成するため、レイヤ化符号化技術を利用してイントラ符号化を実行するステップと、
インター符号化ピクチャを形成するため、ＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）技術を利用してインター符号化を実行するステップと、
を有し、
前記インター符号化ステップは、ダウンサンプリング低解像度予測残差を形成するため、予測残差をダウンサンプリングするステップと、前記ダウンサンプリングされた低解像度予測残差を符号化するステップとを有する方法。
（付記１５）前記イントラ符号化ピクチャは、ベースレイヤとエンハンスメントレイヤの両方を有するよう符号化され、
前記インター符号化ピクチャは、ベースレイヤのみを有するよう符号化される、付記１４記載の方法。
（付記１６）イントラ符号化ベースレイヤピクチャについて、エンハンスメントレイヤは、
該エンハンスメントレイヤのエンハンスメントレイヤ符号化ピクチャが、対応するアップサンプリングベースレイヤリファレンスピクチャから予測され、
前記エンハンスメントレイヤ符号化ピクチャが、前記アップサンプリングベースレイヤリファレンスピクチャと、前のベースレイヤフル解像度リファレンスピクチャの両方からシングル予測により予測され、
前記エンハンスメントレイヤ符号化ピクチャは、前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方からバイ予測により予測される、
ように符号化される、付記１４記載の方法。
（付記１７）前記対応するアップサンプリングベースレイヤリファレンスピクチャから予測される前記エンハンスメントレイヤ符号化ピクチャは、対応する動きベクトルをゼロとみなすことによって、前記対応するアップサンプリングベースレイヤリファレンスピクチャと現在のオリジナルフル解像度ピクチャの残差として形成され、Ｉスライスシンタックスを利用して符号化される、付記１６記載の方法。
（付記１８）前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方を、シングル予測についてはリファレンスピクチャ０に、バイ予測についてはリファレンスピクチャリスト１に配置するステップをさらに有する、付記１６記載の方法。
（付記１９）前記エンハンスメントレイヤ符号化ピクチャは、前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方から、Ｐスライスシンタックスを利用してシングル予測により予測される、付記１６記載の方法。
（付記２０）前記エンハンスメントレイヤ符号化ピクチャは、前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方から、Ｂスライスシンタックスを利用してバイ予測により予測される、付記１６記載の方法。
（付記２１）ＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）モードを利用して、ベースレイヤにおいてインター符号化を実行するステップと、
非ＲＲＵモードを利用して、ベースレイヤにおいてイントラ符号化を実行するステップと、
を有するビデオ符号化方法。

９００，１０００ ビデオデコーダ
１１００ ビデオエンコーダ

Claims (20)

1. ビデオビットストリームを復号化する空間スケーラブルビデオデコーダであって、
   インター符号化ピクチャについてベースレイヤにおいてＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）アプローチを適用する手段と、
   イントラ符号化ピクチャについて前記ベースレイヤにおいて非ＲＲＵアプローチを適用する手段と、
   復号化されたアップサンプリングベースレイヤ残差を形成するため、ベースレイヤピクチャをアップサンプリングするアップサンプラと、
   フル解像度リファレンスピクチャとベースレイヤの動きベクトルとを用いてフル解像度動き補償予測を形成する動き補償装置と、
   デブロック処理を適用することなく、表示用の再構成されたアップサンプリングベースレイヤピクチャを形成するため、前記フル解像度動き補償予測と前記復号化されたアップサンプリングベースレイヤ残差とを合成する第１合成装置と、
   前記第１合成装置と信号通信し、再構成されたフル解像度エンハンスメントレイヤピクチャを形成するため、前記再構成されたアップサンプリングベースレイヤピクチャと復号化されたエンハンスメントレイヤ残差とを合成する第２合成装置と、
   前記第２合成装置と信号通信し、前記再構成されたフル解像度エンハンスメントレイヤピクチャに対しデブロック処理を実行するデブロックフィルタと、
   を有するデコーダ。
2. ビデオビットストリームを復号化する空間スケーラブルビデオデコーダであって、
   インター符号化ピクチャについてベースレイヤにおいてＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）アプローチを適用する手段と、
   イントラ符号化ピクチャについて前記ベースレイヤにおいて非ＲＲＵアプローチを適用する手段と、
   アップサンプリング予測残差を形成するため、前記ビデオビットストリームに対応する符号化された予測残差に対しアップサンプリング処理を実行するアップサンプラと、
   前記アップサンプリング処理の前又は後に、デブロック処理を実行するデブロックフィルタと、
   を有するデコーダ。
3. ビデオビットストリームを復号化する空間スケーラブルビデオデコーダであって、
   インター符号化ピクチャについてベースレイヤにおいてＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）アプローチを適用する手段と、
   イントラ符号化ピクチャについて前記ベースレイヤにおいて非ＲＲＵアプローチを適用する手段と、
   アップサンプリングベースレイヤ予測残差を形成するため、ベースレイヤ予測残差をアップサンプリングするアップサンプラと、
   前記アップサンプリングベースレイヤ予測残差と対応する前のフル解像度リファレンスピクチャとから形成されるアップサンプリングベースレイヤリファレンスピクチャを格納するリファレンスピクチャストアと、
   を有するデコーダ。
4. 複数のピクチャのビデオ信号データを符号化する空間スケーラブルビデオエンコーダであって、
   イントラ符号化ピクチャを形成するため、非ＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）レイヤ化符号化技術を利用してイントラ符号化を実行するイントラ符号化手段と、
   インター符号化ピクチャを形成するため、ＲＲＵ技術を利用してインター符号化を実行するインター符号化手段であって、前記インター符号化手段は、ダウンサンプリング低解像度予測残差を形成するため、予測残差をダウンサンプリングするダウンサンプラと、前記ダウンサンプラと信号通信し、前記ダウンサンプリング低解像度予測残差を符号化する変換／量子化装置とを有する、前記インター符号化手段と、
   を有するエンコーダ。
5. 前記イントラ符号化ピクチャは、ベースレイヤとエンハンスメントレイヤの両方を有するよう符号化され、
   前記インター符号化ピクチャは、ベースレイヤのみを有するよう符号化される、請求項４記載のエンコーダ。
6. イントラ符号化ベースレイヤピクチャについて、
   エンハンスメントレイヤは、
   該エンハンスメントレイヤのエンハンスメントレイヤ符号化ピクチャが、対応するアップサンプリングベースレイヤリファレンスピクチャから予測され、
   前記エンハンスメントレイヤ符号化ピクチャが、前記アップサンプリングベースレイヤリファレンスピクチャと、前のベースレイヤフル解像度リファレンスピクチャの両方から単予測により予測され、及び
   前記エンハンスメントレイヤ符号化ピクチャは、前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方から双予測により予測される、
   の１つとなるように符号化される、請求項４記載のエンコーダ。
7. 前記対応するアップサンプリングベースレイヤリファレンスピクチャから予測される前記エンハンスメントレイヤ符号化ピクチャは、対応する動きベクトルをゼロとみなすことによって、前記対応するアップサンプリングベースレイヤリファレンスピクチャと現在のオリジナルフル解像度ピクチャの残差として形成され、Ｉスライスシンタックスを利用して符号化される、請求項６記載のエンコーダ。
8. 前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方を、単予測についてはリファレンスピクチャリスト０に、双予測についてはリファレンスピクチャリスト１に配置する手段をさらに有する、請求項６記載のエンコーダ。
9. 前記エンハンスメントレイヤ符号化ピクチャは、前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方から、Ｐスライスシンタックスを利用して単予測により予測される、請求項６記載のエンコーダ。
10. 前記エンハンスメントレイヤ符号化ピクチャは、前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方から、Ｂスライスシンタックスを利用して双予測により予測される、請求項６記載のエンコーダ。
11. ビデオビットストリームを復号化する空間スケーラブル復号化方法であって、
    ベースレイヤにおいてＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）モードを用いてインター復号化を実行するステップと、
    前記ベースレイヤにおいて非ＲＲＵモードを用いてイントラ復号化を実行するステップと、
    デブロック処理を適用することなく、表示用の再構成されたアップサンプリングベースレイヤピクチャを形成するため、フル解像度動き補償予測と復号化されたアップサンプリングベースレイヤ残差とを合成するステップと、
    再構成されたフル解像度エンハンスメントレイヤピクチャを形成するため、前記再構成されたアンプサンプリングベースレイヤピクチャと復号化されたエンハンスメントレイヤ残差とを合成するステップと、
    表示用のフィルタリングされた再構成されたフル解像度エンハンスメントレイヤピクチャを出力するため、前記再構成されたフル解像度エンハンスメントレイヤピクチャのみに対してデブロック処理を実行するステップと、
    を有する方法。
12. ビデオビットストリームを復号化する空間スケーラブル復号化方法であって、
    ベースレイヤにおいてＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）モードを用いてインター復号化を実行するステップと、
    前記ベースレイヤにおいて非ＲＲＵモードを用いてイントラ復号化を実行するステップと、
    アップサンプリング予測残差を形成するため、前記ビデオビットストリームに対応する符号化された予測残差に対してアップサンプリング処理を実行するステップと、
    前記アップサンプリング処理の前又は後に、デブロック処理を実行するステップと、
    を有する方法。
13. ビデオビットストリームを復号化する空間スケーラブル復号化方法であって、
    ベースレイヤにおいてＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）モードを用いてインター復号化を実行するステップと、
    前記ベースレイヤにおいて非ＲＲＵモードを用いてイントラ復号化を実行するステップと、
    アップサンプリングベースレイヤ予測残差を形成するため、ベースレイヤ予測残差をアップサンプリングするステップと、
    前記アップサンプリングベースレイヤ予測残差と対応する前のフル解像度リファレンスピクチャとから形成されるアップサンプリングベースレイヤリファレンスピクチャを格納するステップと、
    を有する方法。
14. 複数のピクチャのビデオ信号データを符号化する空間スケーラブル符号化方法であって、
    イントラ符号化ピクチャを形成するため、非ＲＲＵ（Ｒｅｄｕｃｅｄ Ｒｅｓｏｌｕｔｉｏｎ Ｕｐｄａｔｅ）レイヤ化符号化技術を利用してイントラ符号化を実行するステップと、
    インター符号化ピクチャを形成するため、ＲＲＵ技術を利用してインター符号化を実行するステップであって、前記インター符号化を実行するステップは、ダウンサンプリング低解像度予測残差を形成するため、予測残差をダウンサンプリングするステップと、前記ダウンサンプリングされた低解像度予測残差を符号化するステップとを有する、前記インター符号化を実行するステップと、
    を有する方法。
15. 前記イントラ符号化ピクチャは、ベースレイヤとエンハンスメントレイヤの両方を有するよう符号化され、
    前記インター符号化ピクチャは、ベースレイヤのみを有するよう符号化される、請求項１４記載の方法。
16. イントラ符号化ベースレイヤピクチャについて、
    エンハンスメントレイヤは、
    該エンハンスメントレイヤのエンハンスメントレイヤ符号化ピクチャが、対応するアップサンプリングベースレイヤリファレンスピクチャから予測され、
    前記エンハンスメントレイヤ符号化ピクチャが、前記アップサンプリングベースレイヤリファレンスピクチャと、前のベースレイヤフル解像度リファレンスピクチャの両方から単予測により予測され、及び
    前記エンハンスメントレイヤ符号化ピクチャは、前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方から双予測により予測される、
    の１つとなるように符号化される、請求項１４記載の方法。
17. 前記対応するアップサンプリングベースレイヤリファレンスピクチャから予測される前記エンハンスメントレイヤ符号化ピクチャは、対応する動きベクトルをゼロとみなすことによって、前記対応するアップサンプリングベースレイヤリファレンスピクチャと現在のオリジナルフル解像度ピクチャの残差として形成され、Ｉスライスシンタックスを利用して符号化される、請求項１６記載の方法。
18. 前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方を、単予測についてはリファレンスピクチャリスト０に、双予測についてはリファレンスピクチャリスト１に配置するステップをさらに有する、請求項１６記載の方法。
19. 前記エンハンスメントレイヤ符号化ピクチャは、前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方から、Ｐスライスシンタックスを利用して単予測により予測される、請求項１６記載の方法。
20. 前記エンハンスメントレイヤ符号化ピクチャは、前記アップサンプリングベースレイヤリファレンスピクチャと前記前のベースレイヤフル解像度リファレンスピクチャの両方から、Ｂスライスシンタックスを利用して双予測により予測される、請求項１６記載の方法。

Images