JP4955755B2 - スケーラビリティを有する映像処理 - Google Patents

Description

３５Ｕ．Ｓ．Ｃ§１１９に基づく優先権の主張
本特許出願は、各々の全内容が本明細書において参照されることによって本明細書に組み入れられている米国仮特許出願一連番号６０／７８７，３１０（出願日：２００６年３月２９日）、米国仮特許出願一連番号６０／７８９，３２０（出願日：２００６年３月２９日）、及び米国仮特許出願一連番号６０／８３３，４４５（出願日：２００６年７月２５日）の利益を主張するものである。

本開示は、デジタル映像処理に関するものである。本開示は、特に、スケーラブル映像処理に関する技術に関するものである。

デジタル映像能力は、デジタルテレビ、デジタル直接放送システム、無線通信デバイス、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、ビデオゲームコンソール、デジタルカメラ、デジタル録画装置、携帯電話、衛星無線電話、等を含む広範なデバイス内に組み込むことができる。デジタル映像デバイスは、映像シーケンスを処理及び送信する際に従来のアナログ映像システムの重要な改良を提供することができる。

デジタル映像シーケンスを符号化するための幾つかの異なる映像符号化基準が確立されている。例えば、ムービング・ピクチャ・エキスパーツ・グループ（ＭＰＥＧ）は、ＭＰＥＧ−１、ＭＰＥＧ−２及びＭＰＥＧ−４を含む幾つかの基準を策定している。その他の例は、国際電気通信連合（ＩＴＵ）−Ｔ Ｈ．２６３基準、ＩＴＵ−Ｔ Ｈ．２６４基準及びその同等基準、ＩＳＯ／ＩＥＣ ＭＰＥＧ−４、Ｐａｒｔ１０、すなわち、アドバンスト・ビデオ・コーディング（ＡＶＣ）を含む。これらの映像符号化基準は、データを圧縮して符号化することによって映像シーケンスの向上された送信効率をサポートする。

発明の概要

一般的には、本開示は、映像スケーラビリティを有するマルチメディア処理に関する複雑度が低い拡張をサポートするために構文要素及び意味論を利用する映像処理技術を説明する。前記構文要素及び意味論は、マルチメディア放送に適用可能であり、複雑度が低い映像スケーラビリティをサポートするビットストリームフォーマット及び符号化プロセスを定義する。

前記構文要素及び意味論は、ネットワーク抽象化層（ＮＡＬ）ユニットに適用可能である。幾つかの側面においては、技術は、本来はＩＴＵ−Ｔ Ｈ．２６４基準に準拠するデバイスに関する低複雑性映像スケーラビリティ拡張を実装するために適用することができる。従って、幾つかの側面においては、ＮＡＬユニットは、一般的には、Ｈ．２６４基準に準拠することができる。特に、基本層映像データを搬送するＮＡＬユニットは、Ｈ．２６４に準拠することができ、拡張層映像データを搬送するＮＡＬユニットは、１つ以上の追加又は修正された構文要素を含むことができる。

一側面においては、本開示は、スケーラブルデジタル映像データを転送するための方法を提供し、前記方法は、拡張層映像データをネットワーク抽象化層（ＮＡＬ）ユニット内に含めることと、前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための１つ以上の構文要素をＮＡＬユニット内に含めること、とを具備する。

他の側面においては、本開示は、スケーラブルデジタル映像データを転送するための装置を提供し、前記装置は、符号化された拡張層映像データをＮＡＬユニット内に含め、前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための１つ以上の構文要素を前記ＮＡＬユニット内に含めるネットワーク抽象化層（ＮＡＬ）ユニットモジュールを具備する。

さらなる側面においては、本開示は、スケーラブルデジタル映像データを転送するためのプロセッサを提供し、前記プロセッサは、拡張層映像データをネットワーク抽象化層（ＮＡＬ）ユニット内に含め、前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための１つ以上の構文要素を前記ＮＡＬユニット内に含めるように構成される。

追加の側面においては、本開示は、スケーラブルデジタル映像データを処理するための方法を提供し、前記方法は、ネットワーク抽象化層（ＮＡＬ）ユニットにおける拡張層映像データを受信することと、前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための前記ＮＡＬユニットにおける１つ以上の構文要素を受信することと、前記表示に基づいて前記ＮＡＬユニット内の前記デジタル映像データを復号すること、とを具備する。

他の側面においては、本開示は、スケーラブルデジタル映像データを処理するための装置を提供し、前記装置は、ネットワーク抽象化層（ＮＡＬ）ユニットにおける拡張層映像データを受信し、前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための前記ＮＡＬユニットにおける１つ以上の構文要素を受信するＮＡＬユニットモジュールと、前記表示に基づいて前記ＮＡＬユニット内の前記デジタル映像データを復号する復号器と、を具備する。

さらなる側面においては、本開示は、スケーラブルデジタル映像データを処理するためのプロセッサを提供し、前記プロセッサは、ネットワーク抽象化層（ＮＡＬ）ユニットにおける拡張層映像データを受信し、前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための前記ＮＡＬユニットにおける１つ以上の構文要素を受信し、前記表示に基づいて前記ＮＡＬユニット内の前記デジタル映像データを復号するように構成される。

本開示において説明される技術は、デジタル映像符号化及び／又は復号装置においてハードウェア内、ソフトウェア内、ファームウェア内、又はそのいずれかの組合せ内に実装することができる。ソフトウェア内において実装される場合は、前記ソフトウェアは、コンピュータにおいて実行することができる。前記ソフトウェアは、最初に、命令、プログラム符号、等として格納することができる。従って、本開示は、コンピュータによって読み取り可能な媒体であって、本開示によりコンピュータに技術及び機能を実行させるための符号を具備するコンピュータによって読み取り可能な媒体、を具備するデジタル映像符号化のためのコンピュータプログラム製品も企図する。

様々な側面の追加の詳細が添付図面及び以下の説明において示される。その他の特長、目的及び利点が、前記説明と図面から、及び請求項から明確になるであろう。

スケーラブル映像符号化は、映像圧縮アプリケーションにおいて信号対雑音比（ＳＮＲ）スケーラビリティを提供するために用いることができる。時間的及び空間的スケーラビリティも可能である。一例として、ＳＮＲスケーラビリティに関して、符号化された映像は、基本層と、拡張層と、を含む。基本層は、映像符号化に関して必要な最低量のデータを搬送し、基本レベルの品質を提供する。拡張層は、復号された映像の品質を拡張する追加データを搬送する。

一般的には、基本層は、本明細書によって定義された第１のレベルの空間−時間的ＳＮＲスケーラビリティを表す符号化された映像データを含むビットストリームを指すことができる。拡張層は、本明細書によって定義された第２のレベルの空間−時間的ＳＮＲスケーラビリティを表す符号化された映像データを含むビットストリームを指すことができる。拡張層ビットストリームは、基本層と関連するときのみに復号可能であり、すなわち、最終的な復号された映像データを生成するために用いられる復号された基本層映像データへのレファレンス（ｒｅｆｅｒｅｎｃｅ）を含む。

物理層における階層的変調を用いることで、基本層及び拡張層は、同じ搬送波又は副搬送波で送信することができるが、送信特性が異なるため異なるパケット誤り率（ＰＥＲ）になる可能性がある。基本層は、カバレッジエリア全体を通じて信頼性がより高い受信を確保するためにより低いＰＥＲを有する。復号器は、基本層のみ、又は拡張層が信頼できる形で受信される及び／又はその他の判定基準に準拠する場合は基本層＋拡張層、を復号することができる。

一般的には、本開示は、映像スケーラビリティを有するマルチメディア処理に関する複雑度が低い拡張をサポートするために構文要素及び意味論を利用する映像処理技術について説明するものである。これらの技術は、マルチメディア放送に特に応用可能であり、複雑度の低い映像スケーラビリティをサポートするビットストリームフォーマット及び符号化プロセスを定義する。幾つかの側面においては、これらの技術は、本来はＨ２６４．基準に準拠するデバイスに関する複雑度が低い映像スケーラビリティ拡張を実装するために応用することができる。例えば、拡張は、Ｈ．２６４又はその他の基準の将来のバージョンに関する潜在的修正又はこれらの基準の拡張を表すことができる。

Ｈ２６４．基準は、ＩＴＵ−Ｔビデオ・コーディング・エキスパーツ・グループ及びＩＳＯ／ＩＥＣムービング・ピクチャ・エキスパーツ・グループ（ＭＰＥＧ）によって、合同映像チーム（ＪＶＴ）と呼ばれるパートナー関係の産物として開発されたものである。Ｈ．２６４基準は、ＩＴＵ−Ｔ研究グループによる２００５年３月付ＩＴＵ−Ｔ勧告Ｈ．２６４、一般的オーディオビジュアルサービスに関する高度映像コーディング、において説明されており、本明細書においては、Ｈ．２６４基準又はＨ．２６４仕様、又はＨ．２６４／ＡＶＣ基準又は仕様と呼ばれることがある。

本開示において説明される技術は、映像復号器による基本層及び拡張層の映像の効率的な処理を促進するように設計された拡張層構文要素及び意味論を利用する。本開示においては様々な構文要素及び意味論が説明され、いっしょに又は別々に選択的に用いることができる。低複雑性映像スケーラビリティは、基本層及び拡張層として表される２つの型の構文上のエンティティにビットストリームをパーティショニングすることによって２つのレベルの空間−時間的ＳＮＲ スケーラビリティを提供する。

コーディングされた映像データ及びスケーラブルな拡張は、ネットワーク抽象化層（ＮＡＬ）ユニットで搬送される。各ＮＡＬユニットは、整数の数のバイトを含むパケットの形態をとることができるネットワーク送信ユニットである。ＮＡＬユニットは、基本層データ又は拡張層データのいずれも搬送する。本開示の幾つかの側面においては、ＮＡＬユニットの一部は、Ｈ．２６４／ＡＶＣ基準に実質的に準拠することができる。しかしながら、本開示の様々な原理は、その他の型のＮＡＬユニットに対しても適用することができる。一般的には、ＮＡＬユニットの最初のバイトは、ＮＡＬユニット内におけるデータの型を示すヘッダーを含む。ＮＡＬユニットの残りの部分は、ヘッダーにおいて示される型に対応するペイロードデータを搬送する。ヘッダーｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、３２の異なるＮＡＬユニット型のうちの１つを示す５ビット値であり、これらのＮＡＬユニット型のうちの９つは、将来用いるために予約される。９つの予約されたＮＡＬユニット型のうちの４つは、スケーラビリティ拡張用に予約される。ＮＡＬユニットがスケーラビリティアプリケーションにおいて用いるための拡張層映像データを含むことができるアプリケーション専用のＮＡＬユニットであることを示すためにアプリケーション専用ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを用いることができる。

ＮＡＬユニット内の基本層ビットストリーム構文及び意味論は、一般的には、おそらく幾つかの制約を受ける形で、Ｈ．２６４基準、等の適用可能な基準に準拠することができる。制約例として、ピクチャパラメータ組は、０に等しいＭｂａｆｆＦＲａｍｅＦｌａｇを有することができ、シーケンスパラメータ組は、１に等しいｆｒａｍｅ＿ｍｂｓ＿ｏｎｌｙ＿ｆｌａｇを有することができ、格納されたＢピクチャフラグは、０に等しくすることができる。ＮＡＬユニットに関する拡張層ビットストリーム構文及び意味論は、本開示においては、映像スケーラビリティに関する複雑度の低い拡張を効率的にサポートするように定義される。例えば、拡張層データを搬送するネットワーク抽象化層（ＮＡＬ）ユニットの意味論は、Ｈ．２６４に関して、拡張層ＮＡＬユニットに含まれるロービットシーケンスペイロード（ＲＢＳＰ）データ構造の型を指定する新しいＮＡＬユニット型を導入するように修正することができる。

拡張層ＮＡＬユニットは、映像復号器がＮＡＬユニットを処理するのを援助するための様々な拡張層表示を有する構文要素を搬送することができる。様々な表示は、ＮＡＬユニットが拡張層においてイントラコーディングされた拡張層映像データを含むかどうかの表示、復号器が拡張層映像データを基本層データに付加時に画素領域又は変換領域のいずれを用いるべきかを示す表示、及び／又は拡張層映像データが基本層映像データに関する残存データを含むかどうかの表示を含むことができる。

拡張層ＮＡＬユニットは、ＮＡＬユニットがシーケンスパラメータ、ピクチャパラメータ組、参照ピクチャのスライス又は参照ピクチャのスライスデータパーティションを含むかどうかを示す構文要素も搬送することができる。その他の構文要素は、非ゼロ変換係数値を含む拡張層映像データ内のブロックを識別し、１よりも大きい規模を有する拡張層映像データ内のイントラコーディングされたブロックにおいて幾つかの非ゼロ係数を示し、拡張層映像データ内のインターコーディングされたブロックに関するコーディングされたブロックパターンを示すことができる。上述される情報は、効率的で順序に従った復号をサポートするのに有用であることができる。

本開示において説明される技術は、様々な予測映像符号化基準、例えば、ＭＰＥＧ−１基準、ＭＰＥＧ−２基準、又はＭＰＥＧ−４基準、ＩＴＵ Ｈ．２６３基準又はＨ．２６４基準、又はＨ．２６４基準と実質的に同一であるＩＳＯ／ＩＥＣ ＭＰＥＧ−４、Ｐａｒｔ １０基準、すなわち、アドバンスト・ビデオ・コーディング（ＡＶＣ）、のうちのいずれかと組合せて用いることができる。本明細書においては、Ｈ．２６４基準と関連づけられた映像スケーラビリティに関する低複雑性拡張をサポートするための該技術の利用は、例示することを目的として説明される。従って、本開示は、低複雑性映像スケーラビリティを提供することを目的として、本明細書において説明される場合におけるＨ．２６４基準の適合化、拡張及び修正を企図するが、その他の基準にも適用可能である。

幾つかの側面においては、本開示は、技術基準ＴＩＡ−１０９９（“ＦＬＯ仕様”）として発行予定の順方向リンク専用（ＦＬＯ）エアインタフェース仕様、“地上モバイルマルチメディアマルチキャストに関する順方向リンク専用エアインタフェース仕様”、を用いる地上モバイルマルチメディアマルチキャスト（ＴＭ３）システムにおいてリアルタイム映像サービスを引き渡すためのエンハンストＨ．２６４映像コーディングへの適用を企図する。ＦＬＯ仕様は、ＦＬＯエアインタフェースを通じてサービスを引き渡すのに適するビットストリーム構文及び意味論及び復号プロセスを定義する例を含む。

上述されるように、スケーラブル映像コーディングは、２つの層、すなわち基本層及び拡張層、を提供する。幾つかの側面においては、漸増的レベルの品質、例えば信号対雑音比スケーラビリティ、を提供する複数の拡張層を提供することができる。しかしながら、本開示においては、例示することを目的として単一の拡張層が説明される。物理層において階層的変調を用いることによって、基本層及び１つ以上の拡張層を同じ搬送波又は副搬送波で送信することができるが、異なる送信特性を有するために異なるパケット誤り率（ＰＥＲ）になる可能性がある。基本層は、より低いＰＥＲを有する。復号器は、利用可能性及び／又はその他の判定基準に依存して基本層のみ又は基本層＋拡張層を復号することができる。

モバイルハンドセット、又はその他の小型の携帯デバイス、等のクライアントデバイスにおいて復号が行われる場合は、計算上の複雑さ及びメモリ要求に起因する制限が存在する場合がある。従って、スケーラブル符号化は、基本層＋拡張層の復号が単層復号と比較して計算上の複雑さ及びメモリ要求を有意な形で高めないように設計することができる。適切な構文要素及び関連する意味論が、基本層データ及び拡張層データの効率的な復号をサポートすることができる。

可能なハードウェア実装の一例として、加入者デバイスは、３つのモジュール、すなわち、動き補償を取り扱うための動き推定モジュール、逆量子化動作及び逆変換動作を取り扱うための変換モジュール、及び復号された映像のデブロッキングを取り扱うためのデブロッキングモジュールを有するハードウェアコアを具備することができる。各モジュールは、一度に１つのマクロブロック（ＭＢ）を処理するように構成することができる。しかしながら、各モジュールのサブステップにアクセスするのは困難な場合がある。

例えば、インターＭＢの輝度の逆変換は、４ｘ４ブロックに基づくことができ、変換モジュールにおけるすべての４ｘ４ブロックに関して１６の変換を順次行うことができる。さらに、復号プロセスを加速するために３つのモジュールのパイプライン化を用いることができる。従って、スケーラブル復号に関するプロセスを受け入れるための割り込みは、実行フローの速度を遅くする可能性がある。

スケーラブル符号化設計においては、例えば汎用プロセッサにおいて、本開示の１つの側面に従い、復号器において、基本層及び拡張層からのデータを結合して単一の層にすることができる。この方法により、マイクロプロセッサから出された着信データは、単一のデータ層のように見え、ハードウェアコアによって単一の層として処理することができる。従って、幾つかの側面においては、スケーラブル復号は、ハードウェアコアにとって透明である。

ハードウェアコアのモジュールを再スケジューリングする必要はないことがある。基本層データ及び拡張層データの単層復号は、幾つかの側面においては、復号の複雑さをほんのわずかに高めることがあり、メモリ要求はほとんど又はまったく高めない。

高ＰＥＲであることに起因して又はその他の何らかの理由で拡張層が取り除かれるときには、基本層データのみを入手可能である。従って、基本層データには従来の単層復号を行うことができ、一般的には、従来の非スケーラブル復号の変更はほとんど又はまったく要求されない。しかしながら、基本層及び拡張層の両層のデータを入手可能である場合は、復号器は、両層を復号して拡張層品質の映像を生成し、その結果得られた映像の信号対雑音比を表示装置における表示のために高くすることができる。

本開示においては、基本層及び拡張層の両層が受信されていて利用可能である場合に関する復号手順が説明される。しかしながら、説明される復号手順は、基本層のみの単層復号に対しても適用可能であることが当業者にとって明らかなはずである。さらに、スケーラブル復号及び従来の単（基本）層復号は、同じハードウェアコアを共有することができる。さらに、ハードウェアコア内におけるスケジューリング制御は、基本層復号及び基本層＋拡張層復号の両方を処理する上でほとんど又はまったく修正を要求しない。

スケーラブル復号に関連するタスクの一部は、汎用マイクロプロセッサにおいて実行することができる。作業は、２層エントロピー復号と、２つの層係数を結合することと、デジタル信号プロセッサ（ＤＳＰ）に制御情報を提供すること、とを含むことができる。ＤＳＰに提供される制御情報は、ＱＰ値と、各４ｘ４ブロックにおける非ゼロ係数の数と、を含むことができる。ＱＰ値は、逆量子化のためにＤＳＰに送ることができ、デブロッキングのためにハードウェアコア内の非ゼロ係数情報といっしょに機能することができる。ＤＳＰは、その他の動作を完了させるためにハードウェアコア内のユニットにアクセスすることができる。しかしながら、本開示において説明される技術は、特定のハードウェア実装又はアーキテクチャに限定する必要がない。

本開示においては、両層においてＢフレームを搬送可能であると仮定し、双方向予測（Ｂ）フレームを標準的な方法で符号化することができる。本開示は、一般的には、基本層、拡張層、又は両方において現れることができるＩ及びＰフレーム及び／又はスライスの処理に焦点を合わせるものである。一般的には、本開示は、基本層ビットストリームと拡張層ビットストリームに関する動作を結合させて復号の複雑度及び電力消費量を最小にする単層復号プロセスについて説明する。

一例として、基本層及び拡張層を結合させるために、基本層係数を拡張層ＳＮＲスケールに変換することができる。例えば、基本層係数は、単純にスケールファクタを乗じることができる。基本層と拡張層との間の量子化パラメータ（ＱＰ）差が例えば６の倍数である場合は、基本層係数は、単純なビットシフト動作によって拡張層スケールに変換することができる。その結果、基本層データのスケールアップされたバージョンが得られ、該バージョンを拡張層データと結合することによって、基本層及び拡張層の両方があたかも共通のビットストリーム層内に常駐するかのようにして両層を単層復号することを可能にする。

２つの異なる層を独立して復号するのではなく単一の層を復号することによって、復号器の必要な処理構成要素を単純化することができ、スケジューリング上の制約を緩和することができ、電力消費量を低減させることができる。単純化された、複雑度が低いスケーラビリティを可能にするために、拡張層ビットストリームＮＡＬユニットは、映像復号器が異なるＮＡＬユニット内における基本層データ及び拡張層データの両方の存在に応じることができるような形で復号を容易にするように設計された様々な構文要素及び意味論を含む。構文要素、意味論、及び処理上の特長の例が以下において図面を参照して説明される。

図１は、映像スケーラビリティをサポートするデジタルマルチメディア放送システム１０を例示するブロック図である。図１の例においては、システム１０は、放送サーバー１２と、送信塔１４と、複数の加入者デバイス１６Ａ、１６Ｂと、を含む。放送サーバー１２は、１つ以上のソースからデジタルマルチメディアコンテンツを入手し、例えば本明細書において説明される映像符号化基準のうちのいずれか、例えばＨ．２６４、に従ってマルチメディアコンテンツを符号化する。放送サーバー１２によって符号化されるマルチメディアコンテンツは、加入者デバイス１６と関連づけられたユーザーによる選択のために異なるチャネルをサポートするように別々のビットストリームにおいて手配することができる。放送サーバー１２は、デジタルマルチメディアコンテンツをライブの又は保存されたマルチメディアとして異なるコンテンツプロバイダフィードから入手することができる。

放送サーバー１２は、無線チャネルを通じて放送サーバー１２から入手された符号化されたマルチメディアを引き渡すために送信塔１４と関連づけられた１本以上のアンテナを駆動するための適切な無線周波数（ＲＦ）変調、フィルタリング、及び増幅器構成要素を含む変調器／送信機を含むこと又は該変調器／送信機に結合することができる。幾つかの側面においては、放送サーバー１２は、一般的には、ＦＬＯ仕様に従って地上モバイルマルチメディアマルチキャスト（ＴＭ３）システムにおいてリアルタイム映像サービスを提供するように構成することができる。変調器／送信機は、様々な無線通信技術、例えば、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交周波数分割多重化（ＯＦＤＭ）、又は該技術の組合せ、のうちのいずれかに従ってマルチメディアデータを送信することができる。

各加入者デバイス１６は、デジタルマルチメディアデータを復号して提示することができるあらゆるデバイス、デジタル直接放送システム、無線通信デバイス、例えば、携帯電話又は衛星無線電話、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、ビデオゲームコンソール、等、の内部に常駐することができる。加入者デバイス１６は、マルチメディアデータの有線及び／又は無線受信をサポートすることができる。さらに、幾つかの加入者デバイス１６は、ビデオテレフォニー、映像ストリーミング、等を含む音声及びデータのアプリケーションをサポートすることに加えて、マルチメディアデータを符号化して送信するために装備することができる。

スケーラブルな映像をサポートするために、放送サーバー１２は、複数の映像データチャネルに関して別々の基本層ビットストリーム及び拡張層ビットストリームを生成するためにソース映像を符号化する。チャネルは、加入者デバイス１６Ａ、１６Ｂがいずれの時点においても観るために異なるチャネルを選択できるように一般的には同時に送信される。従って、ユーザー制御下にある加入者デバイス１６Ａ、１６Ｂは、テレビを観るのとほとんど同じように、スポーツを観るために１つのチャネルを選択し、ニュース又はその他のスケジュールが定められた番組を観るために他のチャネルを選択することができる。一般的には、各チャネルは、異なるＰＥＲレベルで送信される基本層及び拡張層を含む。

図１の例においては、２つの加入者デバイス１６Ａ、１６Ｂが示される。しかしながら、システム１０は、所定のカバレッジエリア内のあらゆる数の加入者デバイス１６Ａ、１６Ｂを含むことができる。特に、複数の加入者デバイス１６Ａ、１６Ｂが同じチャネルにアクセスして同じコンテンツを同時に閲覧することができる。図１は、一方の加入者デバイス１６Ａが送信塔により近くなり、他方の加入者デバイス１６Ｂが送信塔からより遠くなるように送信塔１４に対する加入者デバイス１６Ａ及び１６Ｂの位置を決めることを表す。基本層はより低いＰＥＲで符号化されるため、該当するカバレッジエリア内のあらゆる加入者デバイス１６によって信頼できる形で受信されて復号されるようにすべきである。図１に示されるように、両加入者デバイス１６Ａ、１６Ｂが基本層を受信する。しかしながら、加入者１６Ｂは、送信塔１４からより遠くに位置しており、拡張層を信頼できる形で受信しない。

より近い加入者デバイス１６Ａは、基本層データ及び拡張層データの両方を利用可能であるためより高い品質の映像が可能であり、他方、加入者デバイス１６Ｂは、基本層データによって提供された最低の品質レベルしか提示することができない。従って、加入者デバイス１６によって入手される映像は、拡張層を復号して基本層に付加して復号映像の信号対雑音比を増大することが可能であるという意味でスケーラブルである。しかしながら、スケーラビリティは、拡張層データが存在するときにしか可能でない。説明されるように、拡張層データが利用可能であるときには、拡張層ＮＡＬユニットと関連づけられた構文要素及び意味論は、加入者デバイス１６内の映像復号器が映像スケーラビリティを達成させるのを補助する。本開示においては、特に図面においては、“拡張”という用語は、簡潔にするために“ｅｈｎ”又は“ＥＮＨ”に略されることがある。

図２は、スケーラブル映像ビットストリームの基本層１７及び拡張層１８内の映像フレームを示した図である。基本層１７は、第１のレベルの空間−時間ＳＮＲスケーラビリティを表す符号化された映像データを含むビットストリームである。拡張層１８は、第２のレベルの空間−時間ＳＮＲスケーラビリティを表す符号化された映像データを含むビットストリームである。一般的には、拡張層ビットストリームは、基本層と関連させたときのみに復号可能であり、独立して復号することができない。拡張層１８は、基本層１７内の復号された映像データへのレファレンスを含む。該レファレンスは、変換領域又は画素領域のいずれかにおいて用いて最終的な復号された映像データを生成することができる。

基本層１７及び拡張層１８は、イントラ（Ｉ）フレーム、インター（Ｐ）フレーム、及び双方向（Ｂ）フレームを含むことができる。拡張層１８内のＰフレームは、基本層１７内のＰフレームへのレファレンスに依存する。拡張層１８及び基本層１７内のフレームを復号することによって、映像復号器は、復号された映像の映像品質を向上させることができる。例えば、基本層１７は、毎秒１５フレームの最低フレームレートで符号化された映像を含むことができ、拡張層１８は、毎秒３０フレームのより高いフレームレートで符号化された映像を含むことができる。異なる品質レベルでの符号化をサポートするため、基本層１７及び拡張層１８は、より高い量子化パラメータ（ＱＰ）及びより低いＱＰをそれぞれ用いて符号化することができる。

図３は、図１のデジタルマルチメディア放送システム１０における放送サーバー１２及び加入者デバイス１６の典型的構成要素を示すブロック図である。図３に示されるように、放送サーバー１２は、１つ以上の映像ソース２０、又は様々な映像ソースへのインタフェースを含む。放送サーバー１２は、映像符号器２２と、ＮＡＬユニットモジュール２３と、変調器／送信機２４と、を同じく含む。加入者デバイス１６は、受信機／復調器２６と、ＮＡＬユニットモジュール２７と、映像復号器２８と、映像表示装置３０と、を含む。受信機／復調器２６は、通信チャネル１５を介して変調器／送信機２４から映像データを受信する。映像符号器２２は、基本層符号器モジュール３２と、拡張層符号器モジュール３４と、を含む。映像復号器２８は、基本層／拡張（基本／ｅｎｈ）層結合器モジュール３８と、基本層／拡張層エントロピー復号器４０と、を含む。

基本層符号器３２及び拡張層符号器３４は、共通の映像データを受信する。基本層符号器３２は、第１の品質レベルで映像データを符号化する。拡張層符号器３４は、基本層に付加されたときに第２のより高い品質レベルに映像を拡張するリファインメントを符号化する。ＮＡＬユニットモジュール２３は、映像符号器２２からの符号化されたビットストリームを処理し、基本層及び拡張層からの符号化された映像データが入ったＮＡＬユニットを生成する。ＮＡＬユニットモジュール２３は、図３に示されるような別個の構成要素であること又は映像符号器２２内に埋め込むこと又はその他の方法で一体化することができる。幾つかのＮＡＬユニットは基本層データを搬送し、その他のＮＡＬユニットは拡張層データを搬送する。本開示に従い、ＮＡＬユニットの少なくとも一部は、映像復号器２８が複雑さを実質的に高めずに基本層データ及び拡張層データを復号するのを援助するための構文要素及び意味論を含む。例えば、ＮＡＬユニット内における拡張層映像データの存在を示す１つ以上の構文要素を、拡張層映像データを含むＮＡＬユニット、基本層映像データを含むＮＡＬユニット、又は両方において提供することができる。

変調器／送信機２４は、ＮＡＬユニットモジュール２３によって生成されたＮＡＬユニットの変調及び無線送信をサポートするための適切なモデム、増幅器、フィルタ、周波数変換構成要素を含む。受信機／復調器２６は、放送サーバーによって送信されたＮＡＬユニットの無線受信をサポートするための適切なモデム、増幅器、フィルタ及び周波数変換構成要素を含む。幾つかの側面においては、放送サーバー１２及び加入者デバイス１６は、双方向通信のために装備し、放送サーバー１２、加入者デバイス１６、又は両方が送信構成要素及び受信構成要素の両方を含み、両方が映像を符号化及び復号できるようにすることができる。その他の側面においては、放送サーバー１２は、基本層符号化及び拡張層符号化を用いて映像データを符号化、復号、送信及び受信するために装備される加入者デバイス１６であることができる。従って、２つ以上の加入者デバイス間において送信された映像に関するスケーラブル映像処理も企図される。

ＮＡＬユニットモジュール２７は、受信されたＮＡＬユニットから構文要素を抽出し、関連づけられた情報を、基本層及び拡張層の映像データを復号する際に用いるために映像復号器２８に提供する。ＮＡＬユニットモジュール２７は、図３に示される別個の構成要素であること又は映像復号器内に埋め込むこと又は映像復号器２８とその他の形で一体化することができる。基本層／拡張層エントロピー復号器４０は、受信された映像データに対してエントロピー復号を適用する。拡張層データが利用可能である場合は、基本層／拡張層結合器モジュール３８は、結合された情報の単層復号をサポートするために、ＮＡＬユニットモジュール２７によって提供された表示を用いて基本層及び拡張層からの係数を結合する。映像復号器２８は、結合された映像データを復号し、表示装置３０を駆動するための出力映像を生成する。各ＮＡＬユニット内に存在する構文要素、及び構文要素の意味論は、受信された基本層及び拡張層の映像データの結合及び復号の際に映像２８を導く。

放送サーバー１２及び加入者デバイス１６内の様々な構成要素は、ハードウェア、ソフトウェア、及びファームウェアの適切な組合せによって実現することができる。例えば、映像符号器２２及びＮＡＬユニットモジュール２３は、ＮＡＬユニットモジュール２７及び映像復号器２８と同様に、１つ以上の汎用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ハードウェアコア、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又はそのいずれかの組合せによって実現することができる。さらに、様々な構成要素を、映像符号器−復号器（ＣＯＤＥＣ）内において実装することができる。幾つかの場合においては、開示される技術の幾つかの側面は、符号化プロセスを加速させるためにハードウェアコア内の様々なハードウェア構成要素を呼び出すＤＳＰによって実行することができる。

機能、例えばプロセッサ又はＤＳＰによって実行される機能、がソフトウェア内に実装される側面に関しては、本開示は、コンピュータプログラム製品内において符号を具備するコンピュータによって読み取り可能な媒体も企図する。符号は、機械内において実行されるときには、本開示において説明される技術の１つ以上の側面を機械に実行させる。機械によって読み取り可能な媒体は、ランダムアクセスメモリ（ＲＡＭ）、例えば、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、読取専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、等、を具備することができる。

図４は、加入者デバイス１６に関する映像復号器２８の典型的構成要素を示すブロック図である。図４の例においては、図３の場合と同じように、映像復号器２８は、基本層／拡張層エントロピー復号器モジュール４０と、基本層／拡張層結合器モジュール３８と、を含む。図４には、基本層＋拡張層誤り回復モジュール４４、逆量子化モジュール４６、及び逆変換及び予測モジュール４８も示される。図４は、映像復号器２８及び表示装置３０の出力を受信する後処理モジュール５０も示す。

基本層／拡張層エントロピー復号器４０は、映像復号器２８によって受信された映像データに対してエントロピー復号を適用する。基本層／拡張層結合器モジュール３８は、拡張層データが入手可能であるときに、すなわち、拡張層データが成功裏に受信されているときに、所定のフレーム又はマクロブロックに関する基本層映像データ及び拡張層映像データを結合する。後述されるように、基本層／拡張層結合器モジュール３８は、最初に、ＮＡＬユニット内に存在する構文要素に基づいて、ＮＡＬユニットが拡張層データを含むかどうかを決定することができる。ＮＡＬユニットが拡張層データを含む場合は、結合器モジュール３８は、例えば基本層データをスケーリングすることによって、対応するフレームに関する基本層データを拡張層データと結合する。この方法により、結合器モジュール３８は、複数の層を処理せずに映像復号器２８によって復号することができる単層ビットストリームを生成する。ＮＡＬユニット内のその他の構文要素及び関連づけられた意味論は、基本層データ及び拡張層データが結合されて復号される方法を指定することができる。

誤り回復モジュール４４は、結合器モジュール３８の復号された出力内における誤りを訂正する。逆量子化モジュール４６及び逆変換モジュール４８は、逆量子化関数及び逆変換関数を誤り回復モジュール４４の出力にそれぞれ適用し、後処理モジュール５０のための復号された出力映像を生成する。後処理モジュール５０は、様々な映像拡張機能、例えば、デブロッキング、デリンギング、平滑化、シャープ化、等のうちのいずれかを実行することができる。フレーム又はマクロブロックに関して拡張層データが存在するときは、映像復号器２８は、後処理モジュール５０及び表示装置３０に適用するためのより高質の映像を生成することができる。拡張層データが存在しない場合は、復号された映像は、基本層によって提供された最低品質レベルで生成される。

図５は、スケーラブル映像ビットストリーム内の基本層映像データ及び拡張層映像データの復号を示す流れ図である。一般的には、拡張層が高いパケット誤り率に起因して捨てられるか又は受信されないときには、基本層データのみが利用可能である。従って、従来の単層復号が実行される。しかしながら、データの基本層及び拡張層の両方が利用可能である場合は、映像復号器２８は、両層を復号して拡張層品質の映像を生成する。図５に示されるように、１つのグループのピクチャ（ＧＯＰ）の復号が開始され次第（５４）、ＮＡＬユニットモジュール２７は、着信したＮＡＬユニットが拡張層データ又は基本層データのみを含むかどうかを決定する（５８）。ＮＡＬユニットが基本層データのみを含む場合は、映像復号器２８は、従来の単層復号を基本層データに適用し（６０）、ＧＯＰの最後まで継続する（６２）。

ＮＡＬユニットが基本層データのみを含むだけではない（５８）、すなわち、ＮＡＬユニットの一部が拡張層データを含む、場合は、映像復号器２８は、基本層Ｉ復号（６４）及び拡張層（ＥＮＨ）層Ｉ復号（６６）を行う。特に、映像復号器２８は、基本層及び拡張層内のすべてのＩフレームを復号する。映像復号器２８は、基本層及び拡張層の両方に関するＩフレームの復号を管理するためにメモリシャッフルを行う（６８）。実際には、基本層及び拡張層は、単一のＩフレームに関して２つのＩフレーム、すなわち、拡張層ＩフレームＩ_ｅ及び基本層ＩフレームＩ_ｂ、を提供する。この理由により、メモリシャッフルを用いることができる。

両層からのデータを利用可能であるときにＩフレームを復号するために、一般的には次のように機能する２パス復号を実装することができる。最初に、基本層フレームＩｂが通常のＩフレームとして再構築される。次に、拡張層ＩフレームがＰフレームとして再構築される。再構築された拡張層Ｐフレームに関する参照フレームは、再構築された基本層Ｉフレームである。結果的に得られたＰフレームにおいてはすべての動きベクトルがゼロである。従って、復号器２８は、再構築されたフレームをゼロの動きベクトルを有するＰフレームとして復号し、スケーラビリティを透明にする。

単層復号と比較して、拡張層ＩフレームＩ_ｅを復号することは、一般的には、従来のＩフレーム及びＰフレームの復号時間に相当する。Ｉフレームの頻度が毎秒１フレームよりも大きくない場合は、追加の複雑さは有意ではない。例えばシーンの変化又はその他の何らかの理由で頻度が毎秒１つのＩフレームよりも大きい場合は、符号化アルゴリズムは、これらの指定されたＩフレームのみが基本層において符号化されるように構成しなければならない。

復号器においてＩ_ｂとＩ_ｅの両方が同時に存在することが可能である場合は、Ｉ_ｅは、Ｉ_ｂとは異なるフレームバッファに保存することができる。この方法により、Ｉ_ｅがＰフレームとして再構築されるときには、メモリインデックスをシャッフルすることができ、Ｉ_ｂによって占有されるメモリを解放することができる。復号器２８は、拡張層ビットストリームが存在するかどうかに基づいてメモリインデックスシャッフルを処理する。メモリバジェットが厳しすぎるためこのことを考慮できない場合は、すべての動きベクトルがゼロであるため、プロセスは、Ｉ_ｂ上にＩ_ｅを上書きすることができる。

Ｉフレームの復号（６４、６６）及びメモリのシャッフル（６８）後は、結合器モジュール３８は、基本層及び拡張層のＰフレームデータを結合して単層に入れる（７０）。次に、逆量子化モジュール４６及び逆変換モジュール４８は、単一のＰフレーム層を復号する（７２）。さらに、逆量子化モジュール４６及び逆変換モジュール４８は、Ｂフレームを復号する（７４）。

Ｐフレームデータ（７２）及びＢフレームデータ（７４）を復号した時点で、プロセスは、ＧＯＰが完了した場合は終了する（６２）。ＧＯＰがまだ完全に復号されていない場合は、プロセスは、基本層及び拡張層のＰフレームデータの結合（７０）、その結果得られた単層Ｐフレームデータの復号（７２）、及びＢフレームの復号（７４）のさらなる繰り返しを通じて継続する。このプロセスは、ＧＯＰの最後に到達するまで継続し、ＧＯＰの最後に到達した時点でプロセスが終了される。

図６は、映像復号器２８における基本層係数及び拡張層係数の結合を示すブロック図である。図６に示されるように、基本層Ｐフレーム係数は、例えば逆量子化モジュール４６及び逆変換及び予測モジュール４８による逆量子化８０及び逆変換８２がそれぞれ実施され（図４）、次に、参照フレームを表すバッファ８６からの残存データが加算器８４によって加算され、復号された基本層Ｐフレーム出力が生成される。しかしながら、拡張層データが利用可能である場合は、拡張層係数の品質レベルと合致するように基本層係数のスケーリングが行われる（８８）。

次に、所定のフレームに関するスケーリングされた基本層係数及び拡張層係数が加算器９０において加えられ、結合された基本層／拡張層データが生成される。結合されたデータは、逆量子化９２及び逆変換９４が行われ、バッファ９８からの残存データが加算器９６によって加算される。出力は、結合された復号された基本層データ及び拡張層データであり、基本層に関する拡張された品質レベルを生み出すが、単層処理のみを要求することができる。

一般的には、基本層バッファ及び拡張層バッファ８６及び９８は、動き補償を目的として構成ファイルによって指定された再構築された基準映像データを格納することができる。基本層及び拡張層の両方のビットストリームが受信された場合は、単純に基本層ＤＣＴ係数をスケーリングし、これらの係数を拡張層ＤＣＴ係数と合計することは、２つの層のデータに関して単一の逆量子化及び逆ＤＣＴ動作が行われる単層復号をサポートすることができる。

幾つかの側面においては、基本層データのスケーリングは、単一のビットシフト動作によって完遂することができる。例えば、基本層の量子化パラメータ（ＱＰ）が拡張層のＱＰよりも６レベル大きい場合、すなわち、ＱＰ_ｂ−ＱＰ_ｅ＝６である場合は、結合された基本層及び拡張層データは、以下のように表すことができる。

Ｃ_ｅｎｈ’＝Ｑ_ｅ ^−１（（Ｃ_ｂａｓｅ＜＜１）＋Ｃ_ｅｎｈ）
ここで、Ｃ_ｅｎｈ’は、基本層係数Ｃ_ｂａｓｅをスケーリングして原拡張層係数Ｃ_ｅｎｈに加えた後の結合された係数を表し、Ｑ_ｅ ^−１は、拡張層に適用された逆量子化動作を表す。

図７は、映像復号器における基本層係数と拡張層係数の結合を示す流れ図である。図７に示されるように、ＮＡＬユニットモジュール２７は、例えばＮＡＬユニット拡張型を示すＮＡＬユニット構文要素を参照することによって、基本層映像データ及び拡張層映像データの両方がいつ加入者デバイス１６によって受信されるかを決定する（１００）。基本層及び拡張層の映像データが受信された場合は、ＮＡＬユニットモジュール２７は、所定のＮＡＬユニット内の１つ以上の追加の構文要素を検査し、各々の基本マクロブロック（ＭＢ）が非ゼロ係数を有するかどうかを決定する（１０２）。非ゼロ係数を有する（１０２の判断ブロックにおいて「はい」）である場合は、結合器２８は、拡張層係数を変換し、各々の共配置されたＭＢに関する既存の拡張層係数＋共配置されたＭＢに関するアップスケーリングされた基本層係数の合計を求める（１０４）。

この場合は、逆量子化モジュール４６及び逆変換モジュール４８に関する係数は、ＣＯＥＦＦ＝ＳＣＡＬＥＤ ＢＡＳＥ＿ＣＯＥＦＦ＋ＥＮＨ＿ＣＯＥＦＦ（１０４）によって表される、スケーリングされた基本層係数と拡張層係数の和である。この方法により、結合器３８は、拡張層データ及び基本層データを結合し、映像復号器２８の逆量子化モジュール４６及び逆変換モジュール４８に関する単層にする。拡張層とともに共配置された基本層ＭＢがゼロでない係数を有さない（１０２の判断ブロックにおいて「いいえ」である）場合は、拡張層係数は、基本層係数と合計されない。代わりに、逆量子化モジュール４６及び逆変換モジュール４８に関する係数は、ＣＯＥＦＦ＝ＥＮＨ＿ＣＯＥＦＦによって表される拡張層係数である（１０８）。逆量子化モジュール４６及び逆変換モジュール４８は、拡張層係数（１０８）又は結合された基本層及び拡張層係数（１０４）のいずれかを用いて、ＭＢを復号する（１０６）。

図８は、低複雑性映像スケーラビリティをサポートするために様々な典型的構文要素を組み入れるためのスケーラブル映像ビットストリームの符号化を示す流れ図である。様々な構文要素は、拡張層映像データを搬送するＮＡＬユニット内に挿入することで、ＮＡＬユニットにおいて搬送されるデータの型を識別すること及び拡張層映像データの復号を援助するための情報を通信することができる。一般的には、構文要素は、関連づけられた意味論を有しており、ＮＡＬユニットモジュール２３によって生成し、放送サーバー１２から加入者１６への送信前にＮＡＬユニット内に挿入することができる。一例として、ＮＡＬユニットモジュール２３は、ＮＡＬユニット内のＮＡＬユニット型パラメータ（例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を、選択された値（例えば、３０）に設定し、ＮＡＬユニットは拡張層映像データを含むことができるアプリケーション専用ＮＡＬユニットであることを示すことができる。本明細書において説明されるその他の構文要素及び関連づけられた値は、様々なＮＡＬユニットで搬送される拡張層映像データの処理及び復号を容易にするためにＮＡＬユニットモジュール２３によって生成することができる。第２のＮＡＬユニットにおける拡張層映像データの存在を示すために、基本層映像データを含む第１のＮＡＬユニット、拡張層映像データを含む第２のＮＡＬユニット、又はその両方に１つ以上の構文要素を含めることができる。

以下において構文要素及び意味論がさらに詳細に説明される。図８においては、プロセスは、基本層映像及び拡張層映像の両方の送信に関して示される。ほとんどの場合は、基本層映像及び拡張層映像は両方とも送信される。しかしながら、幾つかの加入者デバイス１６は、送信塔１４からの距離、干渉又はその他の要因に起因して、基本層映像を搬送するＮＡＬユニットのみを受信する。しかしながら、放送サーバー１２の観点からは、基本層映像及び拡張層映像は、幾つかの加入者デバイス１６が両層を受信する能力を有さないことに留意せずに送信される。

図８に示されるように、基本層符号器３２及び拡張層符号器３４からのそれぞれの符号化された基本層映像データ及び符号化された拡張層映像データが、ＮＡＬユニットモジュール２３によって受信され、ペイロードとして各々のＮＡＬユニット内に挿入される。特に、ＮＡＬユニットモジュール２３は、符号化された基本層映像を第１のＮＡＬユニット内に挿入し（１１０）、符号化された拡張層映像を第２のＮＡＬユニット内に挿入する（１１２）。映像復号器２８を援助するため、ＮＡＬユニットモジュール２３は、第１のＮＡＬユニットに関するＮＡＬユニット型が基本層映像データを含むＲＢＳＰであることを示す値を第１のＮＡＬユニット内に挿入する。さらに、ＮＡＬユニットモジュール２３は、第２のＮＡＬユニットに関する拡張されたＮＡＬユニット型が拡張層映像データを含むＲＢＳＰであることを示す値を第２のＮＡＬユニット内に挿入する。前記値は、特定の構文要素と関連づけることができる。この方法により、加入者デバイス１６内のＮＡＬユニットモジュール２７は、基本層映像データ及び拡張層映像データを含むＮＡＬユニットを区別し、どの時点でスケーラブル映像処理を映像復号器２８によって開始すべきかを検出することができる。基本層ビットストリームは、正確なＨ．２６４フォーマットに従うことができ、他方、拡張層ビットストリームは、拡張されたビットストリーム構文要素、例えば “ｅｘｔｅｎｄｅｄ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ”をＮＡＬユニットヘッダー内に含むことができる。映像復号器２８の観点からは、ＮＡＬユニットヘッダー内の構文要素、例えば“拡張フラグ”は、拡張層ビットストリームを示し、映像復号器による該当する処理をトリガーする。

拡張層データがイントラコーディングされた（Ｉ）データを含む場合は（１１８）、ＮＡＬユニットモジュール２３は、拡張層データ内におけるイントラデータの存在を示すための構文要素値を第２のＮＡＬユニット内に挿入する（１２０）。この方法により、ＮＡＬユニットモジュール２７は、第２のＮＡＬユニットが加入者デバイス１６によって信頼できる形で受信されると仮定し、第２のＮＡＬユニット内の拡張層映像データのイントラ処理が必要であることを示す情報を映像復号器２８に送信することができる。いずれの場合も、拡張層がイントラデータを含むかどうかにかかわらず（１１８）、ＮＡＬユニットモジュール２３は、基本層映像データと拡張層映像データの付加を、拡張層符号器３４によって指定された領域に依存して画素領域又は変換領域のいずれの領域で行うべきかを示すための構文要素値も第２のＮＡＬユニット内に挿入する（１２２）。

拡張層に残存データが存在する場合は（１２４）、ＮＡＬユニットモジュール２３は、拡張層における残存情報の存在を示すための値を第２のＮＡＬユニット内に挿入する（１２６）。いずれの場合も、残存データが存在するかどうかにかかわらず、ＮＡＬユニットモジュール２３は、第２のＮＡＬユニットで搬送されるパラメータ組の適用範囲を示すための値も第２のＮＡＬユニット内に挿入する（１２８）。図８においてさらに示されるように、ＮＡＬユニットモジュール２３は、１よりも大きい非ゼロ係数を有するイントラコーディングされたブロック、例えばマクロブロック（ＭＢ）、を識別するための値も第２のＮＡＬユニット、すなわち、拡張層映像データを搬送するＮＡＬユニット、内に挿入する。

さらに、ＮＡＬユニットモジュール２３は、第２のＮＡＬユニットによって搬送される拡張層映像データ内におけるインターコーディングされたブロックに関するコーディングされたブロックパターン（ＣＢＰ）を示すための値を第２のＮＡＬユニット内に挿入する（１３２）。１を超える非ゼロ係数を有するイントラコーディングされたブロックの識別、及びインターコーディングされたブロックパターンに関するＣＢＰの表示は、加入者デバイス１６内の映像復号器２８がスケーラブル映像復号を行うのを援助する。特に、ＮＡＬユニットモジュール２７は、様々な構文要素を検出し、基本層及び拡張層の映像データを復号目的で効率的に処理するためのコマンドをエントロピー復号器４０及び結合器３８に提供する。

一例として、ＮＡＬユニット内における拡張層映像の存在は、構文要素“ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ”によって示すことができ、該構文要素は、特定の復号プロセスが規定されるアプリケーション専用ＮＡＬユニッを示す。Ｈ．２６４の規定されていない範囲内におけるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの値、例えば３０の値、を用いて、ＮＡＬユニットがアプリケーション専用ＮＡＬユニットであることを示すことができる。ＮＡＬユニットヘッダー内の構文要素“ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇ”は、アプリケーション専用ＮＡＬユニットが拡張されたＮＡＬユニッＲＢＳＰを含むことを示す。以上のように、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ及びｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、ＮＡＬユニッが拡張層データを含むかどうかを共同で示すことができる。構文要素“ｅｘｔｅｎｄｅｄ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ”は、ＮＡＬユニッ内に含まれている拡張層の特定の型を示す。

映像復号器２８が画素領域付加又は変換領域付加のいずれを用いるべきかを示す表示は、拡張スライスヘッダー“ｅｎｈ＿ｓｌｉｃｅ＿ｈｅａｄｅｒ”内における構文要素“ｄｅｃｏｄｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ”によって示すことができる。イントラコーディングされたデータが拡張層内に存在するかどうかの表示は、構文要素“ｒｅｆｉｎｅ＿ｉｎｔｒａ＿ｍｂ＿ｆｌａｇ”によって提供することができる。非ゼロ係数及びイントラＣＢＰを有するイントラブロックの表示は、拡張層マクロブロック層（ｅｎｈ＿ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒ）内のイントラ１６ｘ１６ＭＢに関しては“ｅｎｈ＿ｉｎｔｒａ＿１６ｘ１６＿ｍａｃｒｏｂｌｏｃｋ＿ｃｂｐ（）”、ｅｎｈ＿ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒ内のイントラ４ｘ４モードに関しては“ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ”、等の構文要素によって示すことができる。インターＣＢＰは、ｅｎｈ＿ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒ内における構文要素“ｅｎｈ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ”によって示すことができる。構文要素の特定の名前は、例示することを目的として提供されるが、変化することがある。従って、これらの名前は、該構文要素と関連づけられた機能及び表示を制限するものであるとはみなすべきではない。

図９は、低複雑性映像スケーラビリティをサポートするための様々な典型的構文要素を処理するためのスケーラブル映像ビットストリームの復号を示す流れ図である。図９に示される復号プロセスは、一般的には、受信された拡張層ＮＡＬユニッ内の様々な構文要素の処理を強調するという意味で図８に示される符号化プロセスと相互関係にある。図９に示されるように、受信機／復調器２６によってＮＡＬユニットが受信され次第（１３４）、ＮＡＬユニットモジュール２７は、ＮＡＬユニットが拡張層映像データを含むことを示す構文要素値をＮＡＬユニットが含むかどうかを決定する。含まない場合は、復号器２８は、基本層映像処理のみを適用する（１３８）。しかしながら、ＮＡＬユニット型が拡張層データを示す場合は（１３６）、ＮＡＬユユニットモジュール２７は、ＮＡＬユニットを解析して拡張層映像データと関連づけられたその他の構文要素を検出する。追加の構文要素は、復号器２８が基本層映像データ及び拡張層映像データの両方の効率的で順序に従った復号を提供するのを援助する。

例えば、ＮＡＬユニッモジュール２７は、例えば該当する構文要素値の存在を検出することによって、ＮＡＬユニッ内の拡張層映像データがイントラデータを含むかどうかを決定する（１４２）。さらに、ＮＡＬユニッモジュール２７は、ＮＡＬユニッを構文解析し、画素領域又は変換領域のいずれによる基本層及び拡張層の付加が示されているか（１４４）、拡張層内における残存データの存在が示されているかどうか（１４６）、及びパラメータ組及びパラメータ組の適用範囲が示されているかどうか（１４８）を示す構文要素を検出する。ＮＡＬユニッモジュール２７は、拡張層内において１よりも大きい非ゼロ係数を有するイントラコーディングされたブロックを識別する構文要素、及び拡張層映像データ内のインターコーディングされたブロックに関するＣＢＰを示す構文要素も検出する（１５２）。構文要素によって提供される決定事項に基づき、ＮＡＬユニッモジュール２７は、基本層及び拡張層の映像データを復号する際に用いるための該当する表示を映像復号器２８に提供する。

図８及び９の例においては、拡張層ＮＡＬユニッは、映像復号器２８がＮＡＬユニットを処理するのを援助するための様々な拡張層表示を有する構文要素を搬送することができる。例として、様々な表示は、ＮＡＬユニットがイントラコーディングされた拡張層映像データを含むかどうかの表示、
復号器が拡張層映像データと基本層データの付加のために画素領域又は変換領域のいずれを用いるべきかの表示、及び／又は拡張層映像データが基本層映像データに関する残存データを含むかどうかの表示を含むことができる。さらなる例として、拡張層ＮＡＬユニットは、ＮＡＬユニットがシーケンスパラメータ、ピクチャパラメータ組、参照ピクチャのスライス又は参照ピクチャのスライスデータパーティションを含むかどうかを示す構文要素を搬送することもできる。

その他の構文要素は、非ゼロ変換係数値を含む拡張層映像データ内のブロックを識別し、１より大きい規模を有する拡張層映像データ内のイントラコーディングされたブロックにおける非ゼロ係数の数を示し、拡張層映像データ内のインターコーディングされたブロックに関するコーディングされたブロックパターンを示すことができる。繰り返すと、図８及び９において提供される例は、制限するものであるとはみなすべきでない。拡張層ＮＡＬユニットにおいては多くの追加の構文要素及び意味論を提供することができ、そのうちの一部が以下において説明される。

次に、拡張層構文例がさらに詳細に説明され、該当する意味論が論じられる。幾つかの側面においては、上述されるように、ＮＡＬユニットは、基本層映像データ及び拡張層映像データを含むマルチメディアデータの符号化及び／又は復号の際に用いることができる。該場合においては、拡張層ＮＡＬユニットの一般的構文及び構造は、Ｈ．２６４基準と同じであることができる。しかしながら、その他のユニットも使用可能であることが当業者にとって明らかなはずである。代替として、拡張層ＮＡＬユニット内に含まれているロービットシーケンスペイロード（ＲＢＳＰ）データ構造の型を指定する新しいＮＡＬユニット型（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）値を導入することが可能である。

一般的には、本開示において説明される拡張層構文は、例えば単層復号によってオーバーヘッドが低い意味論であること及び複雑さが小さいことを特徴とすることができる。拡張層マクロブロック層構文は、圧縮効率が高いことを特徴とすることができ、Ｉｎｔｒａ＿１６ｘ１６コーディングされたブロックパターン（ＣＢＰ）、拡張層インターＭＢ ＣＢＰ、及び拡張層イントラＭＢに関するコンテキスト適応型可変長コーディング（ＣＡＶＬＣ）コーディングテーブルを用いる新しいエントロピー復号に関する構文要素を指定することができる。

低オーバーヘッドに関しては、スライス及びＭＢ構文は、拡張層スライスと共配置された基本層スライスの関連づけを指定する。マクロブロック予測モード及び動きベクトルは、基本層構文で搬送することができる。拡張層ＭＢモードは、共配置された基本層ＭＢモードから導き出すことができる。拡張層ＭＢコーディングされたブロックパターン（ＣＢＰ）は、共配置された基本層ＭＢ ＣＢＰに依存して２つの異なる方法で復号することができる。

低複雑性に関しては、基本層及び拡張層のビットストリームに関する動作を単純に結合して復号器の複雑さを緩和し電力消費量を低減させることによって単層復号を達成させることができる。この場合は、基本層係数は、例えばスケールファクタによる乗算によって、拡張層スケールに変換することができ、基本層と拡張層との間の量子化パラメータ（ＱＰ）の差に基づいてビットシフトすることによって達成させることができる。

同じく低複雑性に関して、拡張層Ｐスライス内におけるイントラＭＢの存在を示すために構文要素ｒｅｆｉｎｅ＿ｉｎｔｒａ＿ｍｂ＿ｆｌａｇを提供することができる。デフォルト設定では、値ｒｅｆｉｎｅ＿ｉｎｔｒａ＿ｍｂ＿ｆｌａｇ＝０に設定することで単層復号を可能することができる。この場合は、拡張層におけるイントラＭＢに関するリファインメントは存在しない。イントラＭＢは基本層の品質でコーディングされるため、このことは視覚上の品質に対して悪影響を及ぼさない。特に、イントラＭＢは、通常は、新しく現れてきた視覚情報に対応し、人間の目は最初はその視覚情報を感じない。しかしながら、ｒｅｆｉｎｅ＿ｉｎｔｒａ＿ｍｂ＿ｆｌａｇ＝１は、拡張のために依然として提供可能である。

高圧縮効率に関して、拡張層イントラ１６ｘ１６係数のパーティションが基本層ｌｕｍａ ｉｎｔｒａ＿１６ｘ１６予測モードに基づいて定義されるようにするために拡張層イントラ１６ｘ１６ ＭＢ ＣＢＰを提供することができる。拡張層ｉｎｔｒａ＿１６ｘ１６ ＭＢ ｃｂｐは、共配置された基本層ＭＢ ｃｂｐに依存して２つの異なる方法で復号される。基本層ＡＣ係数はすべてがゼロであるわけではないケース１においては、拡張層ｉｎｔｒａ＿１６ｘ１６ ＣＢＰは、Ｈ．２６４に従って復号される。基本層スライス内の対応するマクロブロックのすべてのＡＣ係数がゼロであるかどうかを示すフラグとして構文要素（例えば、ＢａｓｅＬａｙｅｒＡｃＣｏｅｆｆｉｃｉｅｎｔｓＡｌｌＺｅｒｏ）を提供することができる。基本層ＡＣ係数がすべてゼロであるケース２においては、ｉｎｔｒａ＿１６ｘ１６ ｃｂｐを搬送するための新しい手法を提供することができる。特に、拡張層ＭＢは、基本層ｌｕｍａ ｉｎｔｒａ＿１６ｘ１６予測モードに依存して４つのサブＭＢパーティションにパーティショニングされる。

６つの８ｘ８ブロック、ルマ及びクロマ、のうちのいずれが非ゼロ係数を含むかを指定するために拡張層インターＭＢ ＣＢＰを提供することができる。拡張層ＭＢ ＣＢＰは、共配置された基本層ＭＢ ＣＢＰに依存して２つの異なる方法で復号される。共配置された基本層ＭＢ ＣＢＰ（ｂａｓｅ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ又はｂａｓｅ＿ｃｂｐ）がゼロであるケース１においては、拡張層ＭＢ ＣＢＰ（ｅｎｈ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ又はｅｎｈ＿ｃｂｐ）は、Ｈ．２６４に従って復号される。ｂａｓｅ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎがゼロに等しくないケース２においては、ｅｎｈ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎを搬送するための新しい手法を提供することができる。非ゼロ係数を有する基本層８ｘ８に関しては、共配置された拡張層８ｘ８が非ゼロ係数を有するかどうかを示すために１ビットが用いられる。その他の８ｘ８ブロックの状態は、可変長コーディング（ＶＬＣ）によって表される。

さらなるリファインメントとして、拡張層イントラＭＢが拡張層イントラＭＢ内における非ゼロ係数の数を表すために新しいエントロピー復号（ＣＡＶＬＣテーブル）を提供することができる。構文要素ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎ０乃至１６は、１よりも大きい規模を有する係数が存在しないことを条件として０から１６までの非ゼロ係数の数を表すことができる。構文要素ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎ１７は、１よりも大きい規模を有する少なくとも１つの非ゼロ係数が存在することを表す。この場合（ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎ１７）は、標準的な手法を用いて非ゼロ係数の総数及び末尾１（ｔｒａｉｌｉｎｇ １）係数の数が復号される。ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎ（０乃至１６）は、コンテキストに基づいて８つのＶＬＣテーブルのうちの１つを用いて復号される。

本開示においては、様々な略語は、Ｈ．２６４基準の条項４において規定されるとおりに解釈すべきである。規約（ｃｏｎｖｅｎｔｉｏｎ）は、Ｈ．２６４基準の条項５において規定されるとおりに解釈することができ、ソース、コーディングされた、復号された及び出力されたデータフォーマット、走査プロセス、及び近隣関係は、Ｈ．２６４基準の条項６において規定されるとおりに解釈することができる。

さらに、本明細書の目的上、次の定義を適用することができる。用語基本層は、一般的には、本明細書によって定義された第１のレベルの空間−時間ＳＮＲスケーラビリティを表す符号化された映像データを含むビットストリームを指す。基本層ビットストリームは、Ｈ．２６４のあらゆる準拠する拡張プロフィール復号器によって復号可能である。構文要素ＢａｓｅＬａｙｅｒＡｃＣｏｅｆｆｉｃｉｅｎｔｓＡｌｌＺｅｒｏは、０に等しくないときには、基本層内の共配置されたマクロブロックのすべてのＡＣ係数がゼロであることを示す変数である。

構文要素ＢａｓｅＬａｙｅｒＩｎｔｒａＩｎｔｒａ１６ｘ１６ＰｒｅｄＭｏｄｅは、基本層における共配置されたＩｎｔｒａ＿１６ｘ１６予測マクロブロックの予測モードを示す変数である。構文要素ＢａｓｅＬａｙｅｒＩｎｔｒａ１６ｘ１６ＰｒｅｄＭｏｄｅは、Ｉｎｔｒａ＿１６ｘ１６＿Ｖｅｒｔｉｃａｌ、Ｉｎｔｒａ＿１６ｘ１６＿Ｈｏｒｉｚｏｎｔａｌ、Ｉｎｔｒａ＿１６ｘ１６＿ＤＣ及びＩｎｔｒａ＿１６ｘ１６＿Ｐｌａｎａｒにそれぞれ対応する値０、１、２、又は３を有する。この変数は、Ｈ．２６４基準の条項８．３．３において規定されるとおりに変数Ｉｎｔｒａ＿１６ｘ１６ＰｒｅＭｏｄｅに等しい。構文ａｓｅＬａｙｅｒＭｂＴｔｐｅは、基本層内における共配置されたマクロブロックのマクロブロック型を示す変数である。この変数は、Ｈ．２６４基準の条項７．３．５において規定されるように構文要素ｍｂ＿ｔｙｐｅに等しくすることができる。

用語基本層スライス（又はｂａｓｅ＿ｌａｙｅｒ＿ｓｌｉｃｅ）は、Ｈ．２６４の条項７．３．３に準拠してコーディングされ、Ｈ．２６４の条項８．２．１において定義されるのと同じピクチャオーダーカウントを持った本開示の規定に従ってコーディングされた対応する拡張層スライスを有するスライス、を指すことができる。要素ＢａｓｅＬａｙｅｒＳｌｉｃｅＴｙｐｅ（又はｂａｓｅ＿ｌａｙｅｒ＿ｓｌｉｃｅ＿ｔｙｐｅ）は、基本層内における共配置されたスライスのスライス型を示す変数である。この変数は、Ｈ．２６４基準の条項７．３．３において規定されるとおりの構文要素ｓｌｉｃｅ＿ｔｙｐｅに等しい。

用語拡張層は、一般的には、第２のレベルの空間−時間ＳＮＲスケーラビリティを表す符号化された映像データを含むビットストリームを指す。拡張層ビットストリームは、基本層と関連するときのみに復号可能であり、すなわち、最終的な復号された映像データを生成するために用いられる復号された基本層映像データへのレファレンスを含む。

クォーターマクロブロックは、マクロブロックをパーティショニングした結果得られるマクロブロックのサンプルの１／４を指す。この定義は、クォーターマクロブロックが正方形以外の（例えば長方形の）形をとることができる以外は、Ｈ．２６４基準におけるサブマクロブロックの定義と類似する。用語クォーターマクロブロックパーティションは、インター予測及びイントラリファインメントに関するクォーターマクロブロックのパーティショニングの結果得られる１つのルマサンプルブロック及び２つの対応するクロマサンプルブロックを指す。この定義は、用語“イントラリファインメント”は本明細書によって導入されたものであること以外は、Ｈ．２６４基準におけるサブマクロブロックパーティションの定義と同一であることができる。

用語マクロブロックパーティションは、インター予測又はイントラリファインメントに関するマクロブロックのパーティショニングの結果得られる１つのルマサンプルブロック及び２つの対応するクロマサンプルブロックを指す。この定義は、用語“イントラリファインメント”は本開示によって導入されたものであること以外は、Ｈ．２６４基準における定義と同一である。さらに、本明細書において定義されるマクロブロックパーティションの形状は、Ｈ．２６４の定義と異なることができる。

拡張層構文
ＲＢＳＰ構文
下表１は、低複雑性映像スケーラビリティに関するＲＢＳＰ型の例を提供する。

上述されるように、拡張層ＲＢＳＰの構文は、シーケンスパラメータ組及びピクチャパラメータ組は基本層において送信できること以外は、Ｈ．２６４基準と同じであることができる。例えば、拡張層内においてコーディングされたシーケンスパラメータ組ＲＢＳＰ構文、ピクチャパラメータ組ＲＢＳＰ構文及びスライスデータパーティションＲＢＳＰは、ＩＴＵ−Ｔ Ｈ．２６４基準の条項７において規定される構文を有することができる。

本開示における様々な表において、すべての構文要素は、別の規定がないかぎりにおいて、該構文要素がＨ．２６４基準において説明される範囲で、ＩＴＵ−Ｔ Ｈ．２６４基準において示される該当する構文及び意味論を有することができる。一般的には、Ｈ．２６４基準において説明されない構文要素及び意味論が本開示において説明される。

本開示の様々な表において、“Ｃ”が表示される列は、Ｈ．２６４基準におけるカテゴリに準拠することができる、ＮＡＬユニット内に存在することができる構文要素のカテゴリを記載する。さらに、ＲＢＳＰデータ構造の構文及び意味論による決定に従い、構文カテゴリ“すべて”を有する構文要素が存在することができる。

特定の記載されたカテゴリの構文要素が存在するか又は存在しないかは、関連づけられたＲＢＳＰデータ構造の構文及び意味論から決定される。記述子列は、一般的には、本開示において別の規定がないかぎり、Ｈ．２６４基準において規定される記述子に準拠することができる記述子、例えばｆ（ｎ）、ｕ（ｎ）、ｂ（ｎ）、ｕｅ（ｖ）、ｓｅ（ｖ）、ｍｅ（ｖ）、ｃｅ（ｖ）、を規定する。

拡張ＮＡＬユニット構文
本開示の一側面による、映像スケーラビリティに関する拡張のためのＮＡＬユニット構文は、一般的には下表２のように規定することができる。

上表２において、値ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、拡張層処理に関する特定の拡張を示す３０に設定される。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが選択値、例えば３０、に設定されたときには、ＮＡＬユニットは、復号器２８による拡張層処理をトリガーする拡張層データを搬送することを示す。ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値は、標準的なＨ．２６４ビットストリームに加えて追加の拡張層ビットストリーム構文修正の処理をサポートするための一意の専用のｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを提供する。一例として、このｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ値は、ＮＡＬユニットが拡張層データを含むことを示すための値３０を割り当てることができ、さらに、ＮＡＬユニット内に存在することができる追加の構文要素、例えば、ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇ及びｅｘｔｅｎｄｅｄ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ、の処理をトリガーすることができる。例えば、構文要素ｅｘｔｅｎｄｅｄ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、拡張の型を指定する値に設定される。特に、ｅｘｔｅｎｄｅｄ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、拡張層ＮＡＬユニット型を示すことができる。要素ｅｘｔｅｎｄｅｄ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、ＮＡＬユニット内における拡張層データのＲＢＳＰデータ構造の型を示すことができる。Ｂスライスに関して、スライスヘッダー構文は、Ｈ．２６４基準に従うことができる。適用可能な意味論が本開示全体においてさらに詳細に説明される。

スライスヘッダー構文
拡張層におけるＩスライス及びＰスライスに関して、スライスヘッダー構文は、下表３Ａにおいて示されるように定義することができる。参照フレーム情報を含む拡張層スライスに関するその他のパラメータは、共配置された基本層スライスから導き出すことができる。

要素ｂａｓｅ＿ｌａｙｅｒ＿ｓｌｉｃｅは、例えばＨ．２６４の条項７．３．３に準拠してコーディングされ、例えばＨ．２６４の条項８．２．１において定義されるのと同じピクチャオーダーカウントを持った表２に従ってコーディングされた対応する拡張層スライスを有するスライス、を指すことができる。要素ｂａｓｅ＿ｌａｙｅｒ＿ｓｌｉｃｅ＿ｔｙｐｅは、例えばＨ．２６４基準の条項７．３において規定されるとおりの基本層のスライス型を指す。参照フレーム情報を含む拡張層スライスに関するその他のパラメータは、共配置された基本層スライスから導き出される。

スライスヘッダー構文において、ｒｅｆｉｎｅ＿ｉｎｔｒａ＿ＭＢは、ＮＡＬユニット内の拡張層映像データがイントラコーディングされた映像データを含むかどうかを示す。ｒｅｆｉｎｅ＿ｉｎｔｒａ＿ＭＢが０である場合は、イントラコーディングは基本層のみにおいて存在する。従って、拡張層イントラ復号をスキップすることができる。ｒｅｆｉｎｅ＿ｉｎｔｒａ＿ＭＢが１である場合は、イントラコーディングされた映像データは、基本層及び拡張層の両方に存在する。この場合は、拡張層イントラデータを処理して基本層イントラデータを拡張することができる。

スライスデータ構文
下表３Ｂに示されるようなスライス構文例を提供することができる。

マクロブロック層構文
下表４に示されるような拡張層ＭＢ構文例を提供することができる。

拡張マクロブロック層に関するその他のパラメータは、対応するｂａｓｅ＿ｌａｙｅｒ＿ｓｌｉｃｅ内の対応するマクロブロックに関する基本層マクロブロック層から導き出される。

上表４において、構文要素ｅｎｈ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎは、一般的には、拡張層ＭＢ内の拡張層映像データが基本層データに関する何らかの残存データを含むかどうかを示す。拡張マクロブロック層に関するその他のパラメータは、対応するｂａｓｅ＿ｌａｙｅｒ＿ｓｌｉｃｅ内の対応するマクロブロックに関する基本層マクロブロック層から導き出される。

イントラマクロブロックコーディングされたブロックパターン（ＣＢＰ）構文
イントラ４ｘ４ＭＢに関しては、ＣＢＰ構文は、Ｈ．２６４基準、例えばＨ．２６４基準の条項７におけるのと同じであることができる。イントラ１６ｘ１６ＭＢに関して、ＣＢＰ情報を符号化するための新たな構文を下表５において示されるように提供することができる。

残存データ構文
拡張層内におけるイントラコーディングされたＭＢ残存データに関する構文、すなわち、拡張層残存データ構文、は、下表６Ａに示されるとおりであることができる。インターコーディングされたＭＢ残存データに関しては、構文は、Ｈ．２６４基準に準拠することができる。

拡張層残存データに関するその他のパラメータは、対応する基本層スライス内の共配置されたマクロブロックに関する基本層残存データから導き出される。

残存ブロックＣＡＶＬＣ構文
拡張層残存ブロックコンテキスト適応型可変長コーディング（ＣＡＶＬＣ）に関する構文は、下表６Ｂにおいて規定されるとおりであることができる。

拡張層残存ブロックＣＡＶＬＣに関するその他のパラメータは、対応する基本層スライス内の共配置されたマクロブロックに関する基本層残存ブロックＣＡＶＬＣから導き出すことができる。

拡張層意味論
ここでは拡張層意味論が説明される。拡張層ＮＡＬユニットの意味論は、Ｈ．２６４基準において規定された構文要素に関してＨ．２６４基準によって規定されたＮＡＬユニットの構文と実質的に同じであることができる。Ｈ．２６４基準において説明されない新しい構文要素は、本開示において説明される該当する意味論を有する。拡張層ＲＢＳＰ及びＲＢＳＰ末尾ビットの意味論は、Ｈ．２６４基準と同じであることができる。

拡張ＮＡＬユニット意味論
上表２に関して、ｆｏｒｂｉｄｄｅｎ＿ｚｅｒｏ＿ｂｉｔは、Ｈ．２６４基準仕様の条項７において規定されるとおりである。０に等しくない値ｎａｌ＿ｒｅｆ＿ｉｄｃは、拡張されたＮＡＬユニットの内容が、シーケンスパラメータ組又はピクチャパラメータ組又は参照ピクチャのスライス又は参照ピクチャのスライスデータパーティションを含むことを規定する。スライス又はスライスデータパーティションを含む拡張ＮＡＬユニットに関して０に等しい値ｎａｌ＿ｒｅｆ＿ｉｄｃは、該スライス又はスライスデータパーティションが非参照ピクチャの一部であることを示す。ｎａｌ＿ｒｅｆ＿ｉｄｃの値は、シーケンスパラメータ組又はピクチャパラメータ組ＮＡＬユニットに関しては０に等しくないものとする。

ｎａｌ＿ｒｅｆ＿ｉｄｃが、特定のピクチャの１つのスライス又はスライスデータパーティション拡張ＮＡＬユニットに関して０に等しいときには、該ピクチャのすべてのスライス又はスライスデータパーティション拡張ＮＡＬユニットに関して０に等しいものとする。値ｎａｌ＿ｒｅｆ＿ｉｄｃは、下表７において示されるように、ＩＤＲ拡張ＮＡＬユニット、すなわち、５に等しいｅｘｔｅｎｄｅｄ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するＮＡＬユニット、に関しては０に等しくないものとする。さらに、ｎａｌ＿ｒｅｆ＿ｉｄｃは、下表７において示されるように、６、９、１０、１１、又は１２に等しいｅｘｔｅｎｄｅｄ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを有するすべての拡張ＮＡＬユニットに関しては０に等しいものとする。

値ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、本開示において復号プロセスが規定されるアプリケーション専用ＮＡＬユニットを示すためのＨ．２６４の“未指定”範囲内の３０の値を有する。３０に等しくない値ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、Ｈ．２６４基準の条項７において規定されるとおりである。

値ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇは、１ビットのフラグである。ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇが０であるときには、後続する６ビットが予約されることを指定する。ｅｘｔｅｎｓｉｏｎ＿ｆｌａｇが１であるときには、このＮＡＬユニットは拡張されたＮＡＬユニットＲＢＳＰを含むことを指定する。

値ｒｅｓｅｒｖｅｄ又はｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿１ｂｉｔは、３０であるｎａｌ＿ｕｎｉｔ＿ｔｙｐｅに対応するアプリケーションへの将来の拡張に関して用いられる１ビットのフラグである。値ｅｎｈ＿ｐｒｏｆｉｌｅ＿ｉｄｃは、ビットストリームが準拠するプロフィールを示す。値ｒｅｓｅｒｖｅｄ＿ｚｅｒｏ＿３ｂｉｔｓは、将来用いるために予約された３ビットのフィールドである。

値ｅｘｔｅｎｄｅｄ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは、下表７において規定されるとおりである。

０に等しいか又は２４．．６３の範囲内にあるｅｘｔｅｎｄｅｄ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅを用いる拡張ＮＡＬユニットは、本開示において説明される復号プロセスには影響を与えない。拡張ＮＡＬユニット型０及び２４．．６３は、アプリケーションによる決定に従って用いることができる。

ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅのこれらの値（０及び２４．６３）に関する復号プロセスは指定されない。この例においては、復号器は、ｅｘｔｅｎｄｅｄ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅの予約値を用いるすべての拡張ＮＡＬユニットの内容を無視する、すなわちビットストリームから取り除いて捨てることができる。この潜在的要求は、適合可能な拡張に関する将来の定義を可能にする。値ｒｂｓｐ＿ｂｙｔｅ及びｅｍｕｌａｔｉｏｎ＿ｐｒｅｖｅｎｔｉｏｎ＿ｔｈｒｅｅ＿ｂｙｔｅは、Ｈ．２６４基準仕様の条項７において規定されるとおりである。

ＲＢＳＰ意味論
拡張層ＲＢＳＰの意味論は、Ｈ．２６４基準仕様の条項７において規定されるとおりである。

スライスヘッダー意味論
スライスヘッダー意味論に関して、構文要素ｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅは、スライス内における第１のマクロブロックのアドレスを指定する。任意のスライス順序が許容されないときには、ｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅの値は、復号順序において現在のスライスに先行する現在のピクチャのその他のあらゆるスライスに関するｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅの値よりも小さくすべきでない。スライスの第１のマクロブロックアドレスは、次のようにして導き出すことができる。値ｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅは、スライス内の第１のマクロブロックのマクロブロックアドレスであり、ｆｉｒｓｔ＿ｍｂ＿ｉｎ＿ｓｌｉｃｅは、０乃至ＰｉｃＳｉｚｅＩｎＭｂｓ−１の範囲内にあり、ここで、ＰｉｃＳｉｚｅＩｎＭｂｓは、ピクチャ内におけるメガバイト数である。

要素ｅｎｈ＿ｓｌｉｃｅ＿ｔｙｐｅは、下表８に従ったスライスのコーディング型を指定する。

5乃至９の範囲内のｅｎｈ＿ｓｌｉｃｅ＿ｔｙｐｅの値は、現在のスライスのコーディング型に加えて、現在のコーディングされたピクチャのその他のすべてのスライスが、ｅｎｈ＿ｓｌｉｃｅ＿ｔｙｐｅの現在値に等しいか又はｓｌｉｃｅ＿ｔｙｐｅ−５の現在値に等しいｅｎｈ＿ｓｌｉｃｅ＿ｔｙｐｅの値を有することを指定する。代替側面においては、ｅｎｈ＿ｓｌｉｃｅ＿ｔｙｐｅ値３、４、８及び９は、未使用であることができる。ｅｘｔｅｎｄｅｄ＿ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅが、瞬時復号リフレッシュ（ＩＤＲ）ピクチャに対応する５に等しいときには、ｓｌｉｃｅ＿ｔｙｐｅは、２、４、７、又は９に等しくすることができる。

構文要素ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄは、対応するｂａｓｅ＿ｌａｙｅｒ＿ｓｌｉｃｅのｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄとして指定される。拡張層ＮＡＬユニット内の要素ｆｒａｍｅ＿ｎｕｍは、基本層共配置スライスと同じになる。同様に、拡張層ＮＡＬユニット内の要素ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂは、基本層共配置スライス（ｂａｓｅ＿ｌａｙｅｒ＿ｓｌｉｃｅ）に関するｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂと同じになる。ｄｅｌｔａ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｂｏｔｔｏｍ、ｄｅｌｔａ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ［０］、ｄｅｌｔａ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ［１］に関する意味論、及びｒｅｄｕｎｄａｎｔ＿ｐｉｃ＿ｃｎｔ意味論は、Ｈ．２６４基準の条項７．３．３において規定されるとおりである。要素ｄｅｃｏｄｉｎｇ＿ｍｏｄｅ＿ｆｌａｇは、下表９において示されるように拡張層スライスに関する復号プロセスを指定する。

上表９において、画素領域付加は、ＮＡＬユニットにおいて０のｄｅｃｏｄｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ値によって示され、単層復号をサポートするために画素領域において拡張層スライスを基本層スライスに付加すべきであることを意味する。係数領域付加は、ＮＡＬユニットにおいて１のｄｅｃｏｄｉｎｇ＿ｍｏｄｅ＿ｆｌａｇ値によって示され、単層復号をサポートするために係数領域において拡張層スライスを基本層スライスに付加できることを意味する。従って、ｄｅｃｏｄｉｎｇ＿ｍｏｄｅ＿ｆｌａｇは、復号器が画素領域又は変換領域のいずれにおける拡張層映像データと基本層データの付加を用いるべきかを示す構文要素を提供する。

画素領域付加では、拡張層スライスが以下のように画素領域において基本層スライスに付加される。

Ｙ［ｉ］［ｊ］＝Ｃｌｉｐ１_Ｙ（ Ｙ［ｉ］［ｊ］_ｂａｓｅ＋Ｙ［ｉ］［ｊ］_ｅｎｈ）
Ｃｂ［ｉ］［ｊ］＝Ｃｌｉｐ１_Ｃ（ Ｃｂ［ｉ］［ｊ］_ｂａｓｅ＋Ｃｂ［ｉ］［ｊ］_ｅｎｈ）
Ｃｒ［ｉ］［ｊ］＝Ｃｌｉｐ１_Ｃ（ Ｃｒ［ｉ］［ｊ］_ｂａｓｅ＋Ｃｒ［ｉ］［ｊ］_ｅｎｈ）
ここで、Ｙは、輝度を表し、Ｃｂは、青のクロミナンスを表し、Ｃｒは、赤のクロミナンスを表し、ここで、Ｃｌｉｐ１Ｙは、以下のような数学関数であり、
Ｃｌｉｐ１_Ｙ（ｘ）＝Ｃｌｉｐ３（０，（１＜＜ＢｉｔＤｅｐｔｈ_Ｙ）−１，ｘ）
Ｃｌｉｐ１Ｃは、以下のような数学関数であり、
Ｃｌｉｐ１_Ｃ（ｘ）＝Ｃｌｉｐ３（０，（１＜＜ＢｉｔＤｅｐｔｈ_Ｃ）−１，ｘ）
Ｃｌｉｐ３は、本明細書の別の箇所において説明される。数学関数Ｃｌｉｐ１ｙ、Ｃｌｉｐ１ｃ及びＣｌｉｐ３は、Ｈ．２６４基準において定義される。

係数領域付加では、以下のように拡張層スライスが係数領域において基本層スライスに付加される。

ＬｕｍａＬｅｖｅｌ［ｉ］［ｊ］＝ｋＬｕｍａＬｅｖｅｌ［ｉ］［ｊ］_ｂａｓｅ＋ＬｕｍａＬｅｖｅｌ［ｉ］［ｊ］_ｅｎｈ
ＣｈｒｏｍａＬｅｖｅｌ［ｉ］［ｊ］＝ｋＣｈｒｏｍａＬｅｖｅｌ［ｉ］［ｊ］_ｂａｓｅ＋ＣｈｒｏｍａＬｅｖｅｌ［ｉ］［ｊ］_ｅｎｈ
ここで、ｋは、基本層係数を拡張層ＱＰスケールに合わせて調整するために用いられるスケーリングファクタである。

拡張層ＮＡＬユニット内の構文要素ｒｅｆｉｎｅ＿ｉｎｔｒａ＿ＭＢは、拡張層において非Ｉスライス内のイントラＭＢをリファインメントすべきかどうかを指定する。ｒｅｆｉｎｅ＿ｉｎｔｒａ＿ＭＢが０に等しい場合は、イントラＭＢは拡張層においてはリファインメントされず、これらのＭＢは、拡張層においてはスキップされる。ｒｅｆｉｎｅ＿ｉｎｔｒａ＿ＭＢが１に等しい場合は、イントラＭＢは拡張層においてリファインメントされる。

要素ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａは、マクロブロック層内においてｍｂ＿ｑｐ＿ｄｅｌｔａの値によって修正されるまでスライス内の全マクロブロックに関して用いられるルマ量子化パラメータＱＰ_Ｙの初期値を指定する。スライスに関する初期ＱＰ_Ｙ量子化パラメータは、以下のように計算される。

ＳｌｉｃｅＱＰ_Ｙ＝２６＋ｐｉｃ＿ｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６＋ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａ
ｓｌｉｃｅ＿ｑｐ＿ｄｅｌｔａの値は、ＱＰ_Ｙが０乃至５１の範囲内にあるように制限することができる。値ｐｉｃ＿ｉｎｉｔ＿ｑｐ＿ｍｉｎｕｓ２６は、初期ＱＰ値を示す。

スライスデータ意味論
拡張層スライスデータの意味論は、Ｈ．２６４基準の条項７．４．４において規定されるとおりであることができる。

マクロブロック層意味論
マクロブロック層意味論に関して、要素ｅｎｈ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎは、６つの８ｘ８ブロック−ルマ及びクロマ−のうちのいずれが非ゼロ変換係数レベルを含むことができるかを指定する。要素ｍｂ＿ｑｐ＿ｄｅｌｔａ意味論は、Ｈ．２６４基準の条項７．４．５において規定されるとおりであることができる。構文要素ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎに関する意味論は、Ｈ．２６４基準の条項７．４．５において規定されるとおりであることができる。

イントラ１６ｘ１６マクロブロックコーディングされたブロックパターン（ＣＢＰ）意味論
ｒｅｆｉｎｅ＿ｉｎｔｒａ＿ｍｂ＿ｆｌａｇが１に等しい時のＩスライス及びＰスライスに関して、以下の説明は、イントラ１６ｘ１６ＣＢＰ意味論を定義する。Ｉｎｔｒａ＿１６ｘ１６に等しい共配置基本層マクロブロック予測モードを有するマクロブロックは、ＡＣ係数の値及び共配置基本層マクロブロックのｉｎｔｒａ＿１６ｘ１６予測モード（ＢａｓｅＬａｙｅｒＩｎｔｒａ１６ｘ１６ＰｒｅｄＭｏｄｅ）に依存して４つのクォーターマクロブロックにパーティショニングすることができる。基本層ＡＣ係数がすべてゼロであり、少なくとも１つの拡張層ＡＣ係数がゼロでない場合は、拡張層マクロブロックは、ＢａｓｅＬａｙｅｒＩｎｔｒａ１６ｘ１６ＰｒｅｄＭｏｄｅに依存して４つのマクロブロックパーティションに分割される。

マクロブロックパーティショニングは、クォーターマクロブロックと呼ばれるパーティションが結果的に得られる。図１０及び１１は、マクロブロック及びクォーターマクロブロックのパーティショニングを示す図である。図１０は、基本層ｉｎｔｒａ＿１６ｘ６１予測モードに基づく拡張層マクロブロックパーティション及び空間位置に対応するそのインデックスを示す。図１１は、図１０に示されるマクロブロックパーティションに基づく拡張層クォーターマクロブロックパーティション及び空間位置に対応するそのインデックスを示す。

図１０は、各々が４^＊１６ルマサンプル及び対応するクロマサンプルから成る４つのＭＢパーティションを有するＩｎｔｒａ＿１６ｘ１６＿Ｖｅｒｔｉｃａｌモード、各々が１６^＊４ルマサンプル及び対応するクロマサンプルから成る４つのマクロブロックパーティションを有するＩｎｔｒａ＿１６ｘ１６＿Ｈｏｒｉｚｏｎｔａｌモード、及び各々が８^＊８ルマサンプル及び対応するクロマサンプルから成る４つのマクロブロックパーティションを有するＩｎｔｒａ＿１６ｘ１６＿ＤＣ又はＩｎｔｒａ＿１６ｘ１６＿Ｐｌａｎａｒモードを示す。

図１１は、各々が４＊４ルマサンプル及び対応するクロマサンプルから成る４つのクォーターマクロブロック垂直パーティション、各々が４＊４ルマサンプル及び対応するクロマサンプルから成る４つのクォーターマクロブロック水平パーティション、及び各々が４＊４ルマサンプル及び対応するクロマサンプルから成る４つのクォーターマクロブロックＤＣ又はプラナー（ｐｌａｎａｒ）パーティションを示す。

各マクロブロックパーティションは、ｍｂＰａｒｔＩｄｘによって参照される。各クォーターマクロブロックパーティションは、ｑｔｒＭｂＰａｒｔＩｄｘによって参照される。ｍｂＰａｒｔＩｄｘ及びｑｔｒＭｂＰａｒｔＩｄｘの両方とも、０、１、２、又は３に等しい値を有することができる。図１０及び１１において示されるように、イントラリファインメントに関してマクロブロック及びクォーターマクロブロックパーティションが走査される。長方形は、パーティションを指す。各長方形内の数字は、マクロブロックパーティション走査又はクォーターマクロブロックパーティション走査のインデックスを指定する。

１に等しい要素ｍｂ＿ｉｎｔｒａ１６ｘ１６＿ｌｕｍａ＿ｆｌａｇは、Ｉｎｔｒａ１６ｘ１６ＡＣＬｅｖｅｌ内の少なくとも１つの係数がゼロでないことを指定する。０に等しいｉｎｔｒａ１６ｘ１６＿ｌｕｍａ＿ｆｌａｇは、Ｉｎｔｒａ１６ｘ１６ＡＣＬｅｖｅｌ内のすべての係数がゼロであることを指定する。

１に等しい要素ｍｂ＿ｉｎｔｒａ１６ｘ１６＿ｌｕｍａ＿ｐａｒｔ＿ｆｌａｇ［ｍｂＰａｒｔＩｄｘ］は、マクロブロックパーティションｍｂＰａｒｔＩｄｘ内のＩｎｔｒａ１６ｘ１６ＡＣＬｅｖｅｌ内に少なくとも１つの非ゼロ係数が存在することを指定する。０に等しいｍｂ＿ｉｎｔｒａ１６ｘ１６＿ｌｕｍａ＿ｐａｒｔ＿ｆｌａｇ［ｍｂＰａｒｔＩｄｘ］は、マクロブロックパーティションｍｂＰａｒｔＩｄｘ内のＩｎｔｒａ１６ｘ１６ＡＣＬｅｖｅｌ内のすべて係数がゼロであることを指定する。

１に等しい要素ｑｔｒ＿ｍｂ＿ｉｎｔｒａ１６ｘ１６＿ｌｕｍａ＿ｐａｒｔ＿ｆｌａｇ［ｍｂＰａｒｔＩｄｘ］［ｑｔｒＭｂＰａｒｔＩｄｘ］は、クォーターマクロブロックパーティションｑｔｒＭｂＰａｒｔＩｄｘ内のＩｎｔｒａ１６ｘ１６ＡＣＬｅｖｅｌ内に少なくとも１つの非ゼロ係数が存在することを指定する。

０に等しい要素ｑｔｒ＿ｍｂ＿ｉｎｔｒａ１６ｘ１６＿ｌｕｍａ＿ｐａｒｔ＿ｆｌａｇ［ｍｂＰａｒｔＩｄｘ］［ｑｔｒＭｂＰａｒｔＩｄｘ］は、クォーターマクロブロックパーティションｑｔｒＭｂＰａｒｔＩｄｘ内のＩｎｔｒａ１６ｘ１６ＡＣＬｅｖｅｌ内のすべての係数がゼロであることを指定する。１に等しい要素ｍｂ＿ｉｎｔｒａ１６ｘ１６＿ｃｈｒｏｍａ＿ｆｌａｇは、少なくとも１つのクロマ係数がゼロでないことを指定する。

０に等しい要素ｍｂ＿ｉｎｔｒａ１６ｘ１６＿ｃｈｒｏｍａ＿ｆｌａｇは、すべてのクロマ係数がゼロであることを指定する。１に等しい要素ｍｂ＿ｉｎｔｒａ１６ｘ１６＿ｃｈｒｏｍａ＿ＡＣ＿ｆｌａｇは、ｍｂ＿ＣｈｒｏｍａＡＣＬｅｖｅｌ内の少なくとも１つのクロマ係数がゼロでないことを指定する。０に等しいｍｂ＿ｉｎｔｒａ１６ｘ１６＿ｃｈｒｏｍａ＿ＡＣ＿ｆｌａｇは、ｍｂ＿ＣｈｒｏｍａＡＣＬｅｖｅｌ内のすべての係数がゼロであることを指定する。

残存データ意味論
残存データの意味論は、本開示において説明される残存ブロックＣＡＶＬＣ意味論を例外として、Ｈ．２６４基準の条項７．４．５．３における規定と同じであることができる。

残存ブロックＣＡＶＬＣ意味論
残存ブロックＣＡＶＬＣ意味論は、次のように提供することができる。特に、変換係数レベル走査におけるｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎは、非ゼロ変換係数レベルの総数を指定する。関数ＴｏｔａｌＣｏｅｆｆ（ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎ）は、ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎから導き出された非ゼロ変換係数レベル数を戻す。

１． ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎが１７に等しいときには、ＴｏｔａｌＣｏｅｆｆ（ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎ）は、Ｈ．２６４基準の条項７．４．５．３．１において規定されるとおりである。

２． ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎが１７に等しくないときには、ＴｏｔａｌＣｏｅｆｆ（ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎ）は、ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎに等しい。

値ｅｎｈ＿ｃｏｅｆｆ＿ｓｉｇｎ＿ｆｌａｇは、非ゼロ変換係数レベルの符号を指定する。ｔｏｔａｌ＿ｚｅｒｏｓ意味論は、Ｈ．２６４基準の条項７．４．５．３．１において規定されるとおりである。ｒｕｎ＿ｂｅｆｏｒｅ意味論は、Ｈ．２６４基準の条項７．４．５．３．１において規定されるとおりである。

拡張に関する復号処理
Ｉスライス復号
次に、スケーラビリティ拡張に関する復号プロセスがさらに詳細に説明される。基本層及び拡張層の両方からのデータを利用可能であるときにＩフレームを復号するために、２パス復号を復号器２８において実装することができる。２パス復号プロセスは、一般的には、前述されるように、及び以下において繰り返されるように機能する。最初に、基本層フレームＩ_ｂが通常のＩフレームとして再構築される。次に、共配置された拡張層ＩフレームがＰフレームとして再構築される。これで、このＰフレームに関する参照フレームが再構築された基本層Ｉフレームである。繰り返すと、再構築された拡張層Ｐフレーム内のすべての動きベクトルがゼロである。

拡張層が利用可能であるときには、各拡張層マクロブロックは、基本層内の共配置されたマクロブロックからのモード情報を用いて残存データとして復号される。基本層ＩスライスＩ_ｂは、Ｈ．２６４基準の条項８における規定のように復号することができる。拡張層マクロブロック及びその共配置された基本層マクロブロックの両方が復号された後は、Ｈ．２６４基準の条項２．１．２．３において規定される画素領域付加を適用して最終的な再構築されたブロックを生成することができる。

Ｐスライス復号
Ｐスライスに関する復号プロセスにおいては、基本層及び拡張層の両方が、同じモード、及び基本層において送信される動き情報を共有する。インターマクロブロックに関する情報が両層内に存在する。換言すると、イントラＭＢに属するビットは、基本層のみにしか存在せず、拡張層にはイントラＭＢビットは存在しない。他方、インターＭＢの係数は両層にわたって散在する。共配置された基本層によってスキップされたマクロブロックを有する拡張層マクロブロックもスキップされる。

ｒｅｆｉｎｅ＿ ｉｎｔｒａ＿ｍｂ＿ｆｌａｇが１に等しい場合は、イントラマクロブロックに属する情報は両層内に存在し、ｄｅｃｏｄｉｎｇ＿ｍｏｄｅ＿ｆｌａｇは０に等しくなければならない。他方、ｒｅｆｉｎｅ＿ ｉｎｔｒａ＿ｍｂ＿ｆｌａｇが０に等しい場合は、イントラマクロブロックに属する情報は基本層内のみに存在し、共配置基本層イントラマクロブロックを有する拡張層マクロブロックがスキップされる。

Ｐスライス復号設計の一側面により、非量子化モジュールがハードウェアコア内に配置されており、その他のモジュールとパイプライン化されているため、エントロピー復号直後でさらに非量子化前に、インターＭＢの２層係数データを汎用マイクロプロセッサにおいて結合することができる。従って、ＤＳＰ及びハードウェアコアによって処理すべきＭＢの総数は、依然として単層復号の場合と同じであることができ、ハードウェアコアは、単一復号のみを経る。この場合は、ハードウェアコアのスケジューリングを変更する必要がない。

図１２は、Ｐスライス復号を示す流れ図である。図１２に示されるように、映像復号器２８は、基本層ＭＢエントロピー復号を行う（１６０）。現在の基本層ＭＢがイントラコーディングされたＭＢであるか又はスキップされる場合は（１６２）、映像復号器２８は、次の基本層ＭＢに進む１６４。しかしながら、ＭＢがイントラコーディングされず又はスキップされない場合は、映像復号器２８は、共配置された拡張層ＭＢに関するエントロピー復号を行い（１６６）、２つの層のデータ、すなわち、エントロピー復号された基本層ＭＢ及び共配置されたエントロピー復号された拡張層ＭＢ、を結合し、逆量子化動作及び逆変換動作に関する単層データを生成する。図１２に示されるタスクは、単一の結合された層のデータを逆量子化及び逆変換のためにハードウェアコアに手渡す前に汎用マイクロプロセッサ内において実行することができる。図１２に示される手順に基づき、復号されたピクチャバッファ（ｄｐｂ）の管理は、単層復号と同じ又はほぼ同じであり、余分のメモリは必要ないことがある。

拡張層イントラマクロブロック復号
拡張層イントラマクロブロック復号に関しては、変換係数のエントロピー復号中に、ＣＡＶＬＣは、基本層復号及び拡張層復号において異なる形で処理されるコンテキスト情報を要求することができる。コンテキスト情報は、現在のブロック（ｂｌｋＡ）の左側に所在する変換係数レベルのブロック及び現在のブロック（ｂｌｋＢ）の上方に所在する変換係数レベルのブロック内に（ＴｏｔａｌＣｏｅｆｆ（ｃｏｅｆｆ＿ｔｏｋｅｎ）によって与えられた）非ゼロ変換係数レベルの数を含む。

非ゼロ係数基本層共配置マクロブロックを有する拡張層イントラマクロブロックのエントロピー復号に関しては、ｃｏｅｆｆ＿ｔｏｋｅｎを復号するためのコンテキストは、共配置された基本層ブロックにおける非ゼロ係数数である。係数がすべてゼロである基本層共配置マクロブロックを有する拡張層イントラマクロブロックのエントロピー復号に関しては、ｃｏｅｆｆ＿ｔｏｋｅｎを復号するためのコンテキストは、拡張層コンテキストであり、ｎＡ及びｎＢは、現在のブロックの左側に所在する拡張層ブロックｂｌｋＡ及び現在のブロックの上方に所在する基本層ブロックｂｌｋＢのそれぞれにおける（ＴｏｔａｌＣｏｅｆｆ（ｃｏｅｆｆ＿ｔｏｋｅｎ）によって与えられた）非ゼロ変換係数レベルの数である。

エントロピー復号後は、その他のマクロブロックのエントロピー復号及びデブロッキングのために復号器２８によって情報が保存される。拡張層復号を伴わない基本層復号のみに関して、各変換ブロックのＴｏｔａｌＣｏｅｆｆ（ｃｏｅｆｆ＿ｔｏｋｅｎ）が保存される。この情報は、その他のマクロブロックのエントロピー復号に関するコンテキストとして及びデブロッキングを制御するために用いられる。拡張層映像復号に関しては、ＴｏｔａｌＣｏｅｆｆ（ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎ）は、コンテキストとして及びデブロッキングを制御するために用いられる。

一側面においては、復号器２８内のハードウェアコアは、エントロピー復号を処理するように構成される。この側面においては、ＤＳＰは、ゼロの動きベクトルを有するＰフレームを復号する情報をハードウェアコアに提供するように構成される。ハードウェアコアにとっては、従来のＰフレームが復号中であり、スケーラブルな復号が透明である。繰り返すと、単層復号と比較して、拡張層Ｉフレームを復号することは、一般的には、従来のＩフレーム及びＰフレームの復号時間と同等である。

Ｉフレームの頻度が毎秒１フレームよりも大きくない場合は、余分の複雑さは有意ではない。（シーンの変化又はその他の何らかの理由に起因して）頻度が毎秒１フレームよりも大きい場合は、復号アルゴリズムは、これらの指定されたＩフレームが基本層でしか符号化されないことを確認することができる。

ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎに関する導出プロセス
次に、ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎに関する導出プロセスが説明される。構文要素ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎは、下表１０及び１１において指定される８つのＶＬＣのうちの１つを用いて復号することができる。

構文要素ｅｎｈ＿ｃｏｅｆｆ＿ｆｌａｇは、非ゼロ変換係数レベルの復号を指定する。表１０及び１１のＶＬＣは、２７のＭＰＥＧ２復号されたシーケンスに関する統計情報に基づく。各ＶＬＣは、所定の符号語ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎに関する値ＴｏｔａｌＣｏｅｆｆ（ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎ）を指定する。ＶＬＣの選択は、以下のようにして導き出される変数ｎｕｍｃｏｅｆｆ＿ｖｌｃに依存する。基本層共配置ブロックが非ゼロ係数を有する場合は、以下が適用される。

ｉｆ（ｂａｓｅ＿ｎＣ＜２）
ｎｕｍｃｏｅｆｆ＿ｖｌｃ＝０；
ｅｌｓｅ ｉｆ（ｂａｓｅ＿ｎＣ＜４）
ｎｕｍｃｏｅｆｆ＿ｖｌｃ＝１；
ｅｌｓｅ ｉｆ（ｂａｓｅ＿ｎＣ＜８）
ｎｕｍｃｏｅｆｆ＿ｖｌｃ＝２；
Ｅｌｓｅ
ｎｕｍｃｏｅｆｆ＿ｖｌｃ＝３；
その他の場合は、ｎＣは、Ｈ．２６４基準に準拠する技術を用いて見つけ出され、ｎｕｍｃｏｅｆｆ＿ｖｌｃは以下のようにして導き出される。

ｉｆ（ｎＣ＜２）
ｎｕｍｃｏｅｆｆ＿ｖｌｃ＝４；
Ｅｌｓｅ ｉｆ（ｎＣ＜４）
ｎｕｍｃｏｅｆｆ＿ｖｌｃ＝５；
Ｅｌｓｅ ｉｆ（ｎＣ＜８）
ｎｕｍｃｏｅｆｆ＿ｖｌｃ＝６；
Ｅｌｓｅ
ｎｕｍｃｏｅｆｆ＿ｖｌｃ＝７；

拡張層インターマクロブロック復号
次に、拡張層インターマクロブロック復号が説明される。インターマクロブロック（スキップされたマクロブロックを除く）に関して、復号器２８は、基本層及び拡張層の両方からの残存情報を復号する。従って、復号器２８は、各マクロブロックに関して要求することができる２つのエントロピー復号プロセスを提供するように構成することができる。

基本層及び拡張層の両方がマクロブロックに関して非ゼロ係数を有する場合は、両層において近隣のマクロブロックのコンテキスト情報を用いてｃｏｅｆ＿ｔｏｋｅｎが復号される。各層は、異なるコンテキスト情報を用いる。

エントロピー復号後は、情報は、その他のマクロブロックのエントロピー復号及びデブロッキング用のコンテキスト情報として保存される。基本層復号に関しては、復号されたＴｏｔａｌＣｏｅｆｆ（ｃｏｅｆｆ＿ｔｏｋｅｎ）が保存される。拡張層復号に関しては、基本層復号されたＴｏｔａｌＣｏｅｆｆ（ｃｏｅｆｆ＿ｔｏｋｅｎ）及び拡張層ＴｏｔａｌＣｏｅｆｆ（ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎ）が別々に保存される。パラメータＴｏｔａｌＣｏｅｆｆ（ｃｏｅｆｆ＿ｔｏｋｅｎ）は、基本層内のみに存在するイントラマクロブロックを含む基本層マクロブロックｃｏｅｆｆ＿ｔｏｋｅｎを復号するためのコンテキストとして用いられる。合計ＴｏｔａｌＣｏｅｆｆ（ｃｏｅｆｆ＿ｔｏｋｅｎ）＋ＴｏｔａｌＣｏｅｆｆ（ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎ）は、拡張層内におけるインターマクロブロックを復号するためのコンテキストとして用いられる。

拡張層インターマクロブロック復号
スキップされたＭＢを除くインターＭＢに関して、実装される場合は、残存情報は、基本層及び拡張層の両方において符号化することができる。従って、例えば図５において例示されるように、２つのエントロピー復号が各ＭＢに関して適用される。両層がＭＢに関して非ゼロ係数を有すると仮定すると、ｃｏｅｆｆ＿ｔｏｋｅｎを復号するために近隣ＭＢのコンテキスト情報が両層において提供される。各層は、自己のコンテキスト情報を有する。

エントロピー復号後は、その他のＭＢのエントロピー復号及びデブロッキングのために何らかの情報が保存される。基本層映像復号が行われる場合は、基本層復号されたＴｏｔａｌＣｏｅｆｆ（ｃｏｅｆｆ＿ｔｏｋｅｎ）が保存される。拡張層映像復号が行われる場合は、基本層復号されたＴｏｔａｌＣｏｅｆｆ（ｃｏｅｆｆ＿ｔｏｋｅｎ）及び拡張層復号されたＴｏｔａｌＣｏｅｆｆ（ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎ）が別個に保存される。

パラメータＴｏｔａｌＣｏｅｆｆ（ｃｏｅｆｆ＿ｔｏｋｅｎ）は、基本層のみに存在するイントラＭＢを含む基本層ＭＢｃｏｅｆｆ＿ｔｏｋｅｎを復号するためのコンテキストとして用いられる。基本層ＴｏｔａｌＣｏｅｆｆ（ｃｏｅｆｆ＿ｔｏｋｅｎ）及び拡張層ＴｏｔａｌＣｏｅｆｆ（ｅｎｈ＿ｃｏｅｆｆ＿ｔｏｋｅｎ）の合計は、拡張層内におけるインターＭＢを復号するためのコンテキストとして用いられる。さらに、この合計は、拡張層映像をデブロッキングするためのパラメータとしても用いることができる。

非量子化は、集中的な計算が関わるため、２つの層からの係数は、ハードウェアコアが１つのＱＰを有する各ＭＢに関して１回非量子化を行うようにするために、非量子化前に汎用マイクロプロセッサにおいて結合させることができる。両層は、例えば以下の節において説明されるように、マイクロプロセッサ内において結合することができる。

コーディングされたブロックパターン（ＣＢＰ）復号
拡張層マクロブロックｃｂｐ、ｅｎｈ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ、は、拡張層映像データ内のインターコーディングされたブロックに関する符号ブロックパターンを示す。幾つかの場合においては、ｅｎｈ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎは、例えば下表１２乃至１５におけるように、ｅｎｈ＿ｃｂｐに短縮することができる。高圧縮効率を有するＣＢＰ復号に関して、拡張層マクロブロックｃｂｐ、ｅｎｈ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ、は、共配置基本層ＭＢｃｂｐ ｂａｓｅ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎに依存して２つの異なる方法で符号化することができる。

ｂａｓｅ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ＝０であるケース１の場合は、ｅｎｈ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎは、Ｈ．２６４基準に準拠して、例えば基本層と同じ方法で符号化することができる。ｂａｓｅ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ≠０であるケース２の場合は、以下の手法を用いてｅｎｈ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎを搬送することができる。この手法は、３つのステップを含むことができる。

ステップ１。このステップにおいては、対応する基本層ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎビットが１に等しい各ルマ８ｘ８ブロックに関して、１ビットをフェッチする。各ビットは、拡張層共配置８ｘ８ブロックに関するｅｎｈ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎビットである。フェッチされたビットは、リファインメントビットと呼ぶことができる。８ｘ８ブロックは、説明を目的とする一例として用いられることに注目すべきである。従って、異なるサイズのその他のブロックも利用可能である。

ステップ２。基本層における非ゼロルマ８ｘ８ブロック数及びクロマブロックｃｂｐに基づき、下表１２に示されるように９つの組合せが存在する。各組合せは、残りのｅｎｈ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ情報の復号に関するコンテキストである。表１２において、ｃｂｐ_ｂ，Ｃは、基本層クロマｃｂｐを表し、Σｃｂｐ_ｂ，Ｙ（ｂ８）は、非ゼロ基本層ルマ８ｘ８ブロック数を表す。ｃｂｐ_ｅ，Ｃ及びｃｂｐ_ｅ，Ｙの列は、コーディングされないｅｎｈ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ情報に関する新しいｃｂｐフォーマットを示し、コンテキスト４及び９を除く。ｃｂｐ_ｅ，Ｙにおいては、“ｘ”は、ルマ８ｘ８ブロックに関する１ビットを表し、ｃｂｐ_ｅ，Ｃにおいては、“ｘｘ”は、０、１又は２を表す。

異なるコンテキストに基づいてｅｎｈ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎを復号するための符号表が下表１３及び１４において規定される。

ステップ３。コンテキスト４及び９に関して、ｅｎｈ＿ｃｈｒｏｍａ＿ｃｏｄｅｄ＿ｂｌｏｃｋ＿ｐａｔｔｅｒｎ（ｅｎｈ＿ｃｈｒｏｍａ＿ｃｂｐに短縮できる）は、下表１５における符号表を用いることによって別々に復号される。

異なるコンテキストに関する符号表が下表１３及び１４に示される。これらの符号表は、２７のＭＰＥＧ２復号されたシーケンスにわたる統計情報に基づくものである。

ステップ３。コンテキスト4乃至９に関して、クロマｅｎｈ＿ｃｂｐは、下表１５に示される符号表を用いて別々に復号することができる。

量子化パラメータに関する導出プロセス
次に、量子化パラメータ（ＱＰ）に関する導出プロセスが説明される。各マクロブロックに関する構文要素ｍｂ＿ｑｐ＿ｄｅｌｔａは、マクロブロックＱＰを搬送する。公称基本層ＱＰ、ＱＰｂは、ｂａｓｅ＿ｌａｙｅｒ＿ｓｌｉｃｅ内のマクロブロック内のｍｂ＿ｑｐ＿ｄｅｌｔａを用いて指定された基本層における量子化に関して用いられるＱＰでもある。公称拡張層ＱＰ、ＱＰｅは、ｅｎｈ＿ｍａｃｒｏｂｌｏｃｋ＿ｌａｙｅｒ内のマクロブロック内のｍｂ＿ｑｐ＿ｄｅｌｔａを用いて指定された拡張層における量子化に関して用いられるＱＰでもある。ＱＰ導出に関して、ビットを保存するために、各拡張層マクロブロックに関するｍｂ＿ｑｐ＿ｄｅｌｔａを送信する代わりに、基本層と拡張層との間におけるＱＰ差を一定に保持することができる。この方法により、２つの層間におけるＱＰ差ｍｂ＿ｑｐ＿ｄｅｌｔａは、フレームのみに基づいて送信される。

ＱＰ_ｂ及びＱＰ_ｅに基づき、ｄｅｌｔａ＿ｌａｙｅｒ＿ｑｐと呼ばれる差ＱＰが以下のように定義される。

ｄｅｌｔａ＿ｌａｙｅｒ＿ｑｐ＝ＱＰ_ｂ−ＱＰ_ｅ
拡張層に関して用いられる量子化ＱＰ ＱＰ_ｅ，Ｙは、２つの要因、すなわち、（ａ）基本層における非ゼロ係数レベルの存在及び（ｂ）ｄｅｌｔａ＿ｌａｙｅｒ＿ｑｐ、に基づいて導き出される。拡張層係数に関する単一の逆量子化動作を容易にするために、ｄｅｌｔａ＿ｌａｙｅｒ＿ｑｐは、ｄｅｌｔａ＿ｌａｙｅｒ＿ｑｐ％６＝０であるように制限することができる。これらの２つの量が与えられた場合、ＱＰは以下のように導き出される。

１． 基本層共配置ＭＢが非ゼロ係数を有さない場合は、拡張層係数のみを復号する必要があるため、公称ＱＰ_ｅが用いられる。

ＱＰ_ｅ，Ｙ＝ＱＰ_ｅ
２． ｄｅｌｔａ＿ｌａｙｅｒ＿ｑｐ％６＝０である場合は、非ゼロ係数が存在するかどうかにかかわらず、ＱＰ_ｅが依然として拡張層に関して用いられる。このことは、量子化ステップサイズはＱＰが６増えるごとに２倍になるという事実に基づく。

以下の動作は、Ｃ_ｂ及びＣ_ｅとしてそれぞれ定義される基本層係数及び拡張層係数を結合するための逆量子化プロセス（Ｑ^−１で表される）について説明する。

Ｆ_ｅ＝Ｑ^−１（（Ｃ_ｂ（ＱＰ_ｂ）＜＜（ｄｅｌｔａ＿ｌａｙｅｒ＿ｑｐ／６）＋Ｃ_ｅ（ＱＰ_ｅ））
ここで、Ｆ_ｅは、逆量子化された拡張層係数を表し、Ｑ^−１は、逆量子化関数を示す。

基本層共配置マクロブロックが非ゼロ係数を有し、ｄｅｌｔａ＿ｌａｙｅｒ＿ｑｐ％６≠０の場合は、基本層係数及び拡張層係数の逆量子化は、ＱＰ_ｂ及びＱＰ_ｅをそれぞれ用いる。拡張層係数は、以下のように導き出される。

Ｆｅ＝Ｑ^−１（Ｃ_ｂ（ＱＰ_ｂ））＋Ｑ^−１（Ｃ_ｅ（ＱＰ_ｅ））
クロマＱＰ（ＱＰ_{ｂａｓｅ，Ｃ}及びＱＰ_{ｅｎｈ，Ｃ}）の導出は、ルマＱＰ（ＱＰ_ｂ，Ｙ及びＱＰ_ｅ，Ｙ）に基づく。最初に、ｑＰ_Ｉを以下のように計算する。

ｑＰ_Ｉ＝Ｃｌｉｐ３（０，５１，ＱＰ_ｘ，Ｙ＋ｃｈｒｏｍａ＿ｑｐ＿ｉｎｄｅｘ＿ｏｆｆｓｅｔ）
ここで、ｘは、基本に関する“ｂ”又は拡張に関する“ｅ”を表し、ｃｈｒｏｍａ＿ｑｐ＿ｉｎｄｅｘ＿ｏｆｆｓｅｔは、ピクチャパラメータ組において定義され、Ｃｌｉｐ３は、以下の数学関数である。

ＱＰ_ｘ，Ｃの値は、下表１６において規定されるとおりに決定することができる。

拡張層映像に関して、逆量子化中に導き出されたＭＢ ＱＰがデブロッキングの際に用いられる。

デブロッキング
デブロッキングに関しては、フレームのすべての４ｘ４ブロックエッジに対してデブロックフィルタを適用することができる。ただし、フレームの境界におけるエッジ及びデブロッキングフィルタプロセスがｄｉｓａｂｌｅ＿ｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃによってディスエーブルにされるエッジは除く。このフィルタリングプロセスは、フレーム内の全マクロブロックがマクロブロックアドレスの昇順で処理されるフレーム構築プロセスの完了後にマクロブロック（ＭＢ）に基づいて実行される。

図１３は、ルマ及びクロマデブロッキングフィルタプロセスを示す図である。デブロッキングフィルタプロセスは、ルマ成分及びクロマ成分に関して別々に呼び出される。各マクロブロックに関して、最初に垂直なエッジが左から右にフィルタリングされ、次に、水平なエッジが上から下に向かってフィルタリングされる。図１３に示されるように、１６ｘ１６マクロブロックに関しては、水平方向に関して及び垂直方向に関して、ルマデブロッキングフィルタプロセスが４つの１６サンプルエッジに関して行われ、各クロマ成分に関するデブロッキングフィルタプロセスが２つの８サンプルエッジに関して行われる。図１３においては、フィルタリングされるべきマクロブロック内のルマ境界は、実線で示される。図１３は、フィルタリングされるべきマクロブロック内のクロマ境界をダッシュ線で示す。

図１３において、参照数字１７０、１７２は、ルマフィルタリング及びクロマフィルタリングに関する垂直エッジをそれぞれ示す。参照数字１７４、１７６は、ルマフィルタリング及びクロマフィルタリングに関する水平エッジをそれぞれ示す。以前のマクロブロックに関するデブロッキングフィルタプロセス動作によって既に修正されている現在のマクロブロックの左上のサンプル値は、現在のマクロブロックに関するデブロッキングフィルタプロセスへの入力として用いられ、現在のマクロブロックのフィルタリング中にさらに修正することができる。垂直エッジのフィルタリング中に修正されたサンプル値は、同じマクロブロックに関する水平エッジのフィルタリングに関する入力して用いられる。

Ｈ．２６４基準においては、ＭＢモード、非ゼロ変換係数レベルの数及び動き情報は、境界フィルタリング強度を決定するために用いられる。ＭＢ ＱＰは、入力サンプルがフィルタリングされるかどうかを示すしきい値を入手するために用いられる。基本層デブロッキングに関して、これらの情報は直接的である。拡張層映像に関しては、適切な情報が生成される。この例においては、フィルタリングプロセスは、エッジ１７８がｐ_０とｑ_０との間に存在する図１４に示されるように、ｐ_ｉ及びｑ_ｉ、ここでｉ＝０、１、２、又は３、で表される４ｘ４ブロック水平エッジ又は垂直エッジにおける一組の８つのサンプルに対して適用される。図１４は、ｐ_ｉ及びｑ_ｉを指定し、ここでｉ＝０乃至３である。

拡張層Ｉフレームの復号は、復号された基本層Ｉフレーム及び層間予測残存物を加えることを要求することができる。デブロッキングフィルタは、再構築された基本層Ｉフレームにおいて拡張層Ｉフレームを予測するために用いられる前に適用される。拡張層Ｉフレームをデブロッキングするために標準的なＩフレームデブロッキング技術を用いることは、望ましくないことがある。代替として、以下の判定基準を用いて境界フィルタリング強度（ｂＳ）を導き出すことができる。変数ｂＳは、以下のようにして導き出すことができる。ｂＳの値は、以下の条件のうちのいずれかが真である場合は２に設定される。

ａ．サンプルｐ_０を含む４ｘ４ルマブロックは、非ゼロ変換係数レベルを含み、イントラ４ｘ４マクロブロック予測モードを用いてコーディングされたマクロブロック内に存在する。

ｂ．サンプルｑ_０を含む４ｘ４ルマブロックは、非ゼロ変換係数レベルを含み、イントラ４ｘ４マクロブロック予測モードを用いてコーディングされたマクロブロック内に存在する。

上記の条件のいずれもが真でない場合は、ｂＳ値は１に設定される。

Ｐフレームに関して、スキップされたＭＢを除くインターＭＢの残存情報は、基本層及び拡張層の両方において符号化することができる。単一復号に起因して、２つの層からの係数が結合される。非ゼロ変換係数レベル数は、デブロッキングの際に境界強度を決定するために用いられるため、デブロッキング時に用いられる拡張層における各々の４ｘ４ブロックの非ゼロ変換係数レベル数の計算方法を定義することが重要である。この数を不適切に増減することは、ピクチャを過度に平滑化するか又はブロックノイズを生じさせる可能性がある。変数ｂＳは、以下のようにして導き出される。

１． ブロックエッジがマクロブロックエッジでもあり、サンプルｐ_０及びｑ_０が両方ともフレームマクロブロック内にあり、サンプルｐ_０又はｑ_０のいずれかがイントラマクロブロック予測モードを用いてコーディングされたマクロブロック内にある場合は、ｂＳに関する値は４である。

２． その他の場合において、サンプルｐ_０又はｑ_０のいずれかがイントラマクロブロック予測モードを用いてコーディングされたマクロブロック内にある場合は、ｂＳに関する値は３である。

３． その他の場合において、基本層において、サンプルｐ_０を含む４ｘ４ルマブロック又はサンプルｑ_０を含む４ｘ４ルマブロックが非ゼロ変換係数レベルを含む場合、又は、拡張層において、サンプルｐ_０を含む４ｘ４ルマブロック又はサンプルｑ_０を含む４ｘ４ルマブロックが非ゼロ変換係数レベルを含む場合は、ｂＳに関する値は２である。

４． その他の場合においては、ｂＳに関する１の値を出力し、又は代替として標準手法を用いる。

チャネルスイッチフレーム
チャネルスイッチフレームは、１つ以上の補足拡張情報（ＳＥＩ）ＮＡＬユニットにおいてカプセル化することができ、ＳＥＩチャネルスイッチフレーム（ＣＳＦ）と呼ぶことができる。一例においては、ＳＥＩ ＣＦＳは、２２に等しいｐａｙｌｏａｄＴｙｐｅｆｉｅｌｄを有する。ＳＥＩメッセージに関するＲＢＳＰ構文は、Ｈ．２６４基準の７．３．２．３において規定されるとおりである。ＳＥＩ ＲＢＳＰ及びＳＥＩ ＣＳＦメッセージ構文は、下表１７及び１８において示されるように提供することができる。

チャネルスイッチフレームスライスデータの構文は、Ｈ．２６４基準の条項７において規定される基本層Ｉスライス又はＰスライスの構文と同一であることができる。チャネルスイッチフレーム（ＣＳＦ）は、コーディングされたビットストリーム内のランダムアクセスポイントの可視性を可能にするために独立したトランスポートプロトコルパケット内においてカプセル化することができる。層がチャネルスイッチフレームを通信する上での制約はない。チャネルスイッチフレームは、基本層又は拡張層のいずれかに含めることができる。

チャネルスイッチフレーム復号に関して、チャネル変更要求が開始された場合は、要求されたチャネル内のチャネルスイッチフレームが復号される。チャネルスイッチフレームがＳＥＩ ＣＳＦメッセージ内に含まれている場合は、基本層Ｉスライスに関して用いられる復号プロセスが、ＳＥＩ ＣＳＦを復号するために用いられる。ＳＥＩ ＣＳＦと共存するＰスライスは復号されず、チャネルスイッチフレームの前方において出力順序を有するＢピクチャが捨てられる。将来のピクチャの復号プロセスの（出力順序という意味での）変更はない。

図１５は、低複雑性映像データスケーラビリティをサポートするために様々な典型的構文要素を有するスケーラブルデジタル映像データを転送するためのデバイス１８０を示すブロック図である。デバイス１８０は、基本層映像データを第１のＮＡＬユニットに含めるためのモジュール１８２と、拡張層映像データを第２のＮＡＬユニットに含めるためのモジュール１８４と、第２のＮＡＬユニットにおける拡張層映像データの存在を示すための１つ以上の構文要素を第１及び第２のＮＡＬユニットのうちの少なくとも１つに含めるためのモジュール１８６と、を含む。一例においては、デバイス１８０は、図１及び３に示されるような放送サーバー１２の一部を成すことができ、ハードウェア、ソフトウェア、ファームウェア、又はそのあらゆる適切な組合せによって実現することができる。例えば、モジュール１８２は、基本層映像データを符号化してＮＡＬユニット内に含める、図３の基本層符号器３２及びＮＡＬユニットモジュール２３の１つ以上の側面を含むことができる。さらに、一例として、モジュール１８４は、拡張層映像データを符号化してＮＡＬユニット内に含める、拡張層符号器３４及びＮＡＬユニットモジュール２３の１つ以上の側面を含むことができる。モジュール１８６は、第２のＮＡＬユニット内における拡張層映像データの存在を示すための１つ以上の構文要素を第１及び第２のＮＡＬユニットのうちの少なくとも１つに含める、ＮＡＬユニットモジュール２３の１つ以上の側面を含むことができる。一例においては、１つ以上の構文要素は、拡張層映像データが提供される第２のＮＡＬユニットにおいて提供される。

図１６は、低複雑性映像スケーラビリティをサポートするためにスケーラブル映像ビットストリームを復号して様々な典型的構文要素を処理するデジタル映像復号装置１８８を示すブロック図である。デジタル映像復号装置１８８は、加入者デバイス、例えば図１又は図３の加入者デバイス１６又は図１の映像復号器１４、の中に常駐することができ、ハードウェア、ソフトウェア、ファームウェア、又はそのあらゆる適切な組合せによって実現することができる。装置１８８は、第１のＮＡＬユニットにおける基本層映像データを受信するためのモジュール１９０と、第２のＮＡＬユニットにおける拡張層映像データを受信するためのモジュール１９２と、第２のＮＡＬユニット内における拡張層映像データの存在を示すための第１及び第２のＮＡＬユニットのうちの少なくとも１つにおける１つ以上の構文要素を受信するためのモジュール１９４と、第２のＮＡＬユニット内の１つ以上の構文要素によって提供される表示に基づいて第２のＮＡＬユニット内のデジタル映像データを復号するためのモジュール１９６と、を含む。一側面においては、１つ以上の構文要素は、拡張層映像データが提供される第２のＮＡＬユニットにおいて提供される。一例として、モジュール１９０は、図３の加入者デバイス１６の受信機／復調器２６を含むことができる。この例においては、モジュール１９２は、受信機／復調器２６も含むことができる。モジュール１９４は、幾つかの構成例においては、ＮＡＬユニット内の構文要素を処理するＮＡＬユニットモジュール、例えば図３のＮＡＬユニットモジュール２７、を含むことができる。モジュール１９６は、映像復号器、例えば図３の映像復号器２８、を含むことができる。

本明細書において説明される技術は、ハードウェア内、ソフトウェア内、ファームウェア内、又はそのいずれかの組合せ内に実装することができる。ソフトウェア内に実装される場合は、前記技術は、少なくとも部分的には、コンピュータによって読み取り可能な媒体内の１つ以上の格納又は送信された命令又は符号によって実現することができる。コンピュータによって読み取り可能な媒体は、コンピュータ記憶媒体、通信媒体、又はその両方を含むことができ、さらに、１つの場所から他の場所へのコンピュータプログラムの転送を容易にするいずれかの媒体を含むことができる。記憶媒体は、コンピュータによってアクセス可能なあらゆる利用可能な媒体であることができる。

一例として、ただし限定することなしに、該コンピュータによって読み取り可能な媒体は、ＲＡＭ、例えば、同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、読取専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、ＲＯＭ、電気的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、ＥＥＰＲＯＭ、ＦＬＡＳＨメモリ、ＣＤ−ＲＯＭ又はその他の光学ディスク記憶装置、磁気ディスク記憶装置又はその他の磁気記憶デバイス、又は、希望されるプログラム符号を命令又はデータ構造の形態で搬送又は格納するために用いることができさらにコンピュータによってアクセス可能なその他のいずれかの媒体を具備することができる。

さらに、いずれの接続もコンピュータによって読み取り可能な媒体と適切に呼ばれる。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、より対線、デジタル加入者ライン（ＤＳＬ）、又は無線技術、例えば、赤外線、無線、及びマイクロ波、を用いてウェブサイト、サーバー、又はその他の遠隔ソースから送信される場合は、該同軸ケーブル、光ファイバーケーブル、より対線、ＤＳＬ、又は無線技術、例えば赤外線、無線、及びマイクロ波、は、媒体の定義の中に含まれる。本明細書において用いられるときのディスク（ｄｉｓｋ及びｄｉｓｃ）は、コンパクトディスク（ＣＤ）（ｄｉｓｃ）と、レーザー（登録商標）ディスク（ｄｉｓｃ）と、光ディスク（ｄｉｓｃ）と、デジタルバーサタイルディスク（ＤＶＤ）（ｄｉｓｃ）と、フロッピー（登録商標）ディスク（ｄｉｓｋ）と、ブルーレイディスク（ｄｉｓｃ）と、を含み、ここで、ｄｉｓｋは通常はデータを磁気的に複製し、ｄｉｓｃは、例えばレーザーを用いて光学的にデータを複製する。上記の組合せも、コンピュータによって読み取り可能な媒体の適用範囲に含めるべきである。

コンピュータプログラム製品のコンピュータによって読み取り可能な媒体と関連づけられた符号は、コンピュータによって、例えば１つ以上のプロセッサ、例えば、１つ以上のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、又はその他の同等の集積回路又はディスクリート論理回路によって実行することができる。幾つかの側面においては、本明細書において説明される機能は、符号化及び復号を目的として構成される専用ソフトウェアモジュール又はハードウェアモジュール内において提供すること、又は結合された映像符号器−復号器（ＣＯＤＥＣ）内に組み込むことができる。

様々な側面が説明されている。これらの及びその他の側面は、以下の請求項の適用範囲内にある。

映像スケーラビリティをサポートするデジタルマルチメディア放送システムを示したブロック図である。 スケーラブル映像ビットストリームの基本層及び拡張層内の映像フレームを示した図である。 図１のデジタルマルチメディア放送システムにおける放送サーバー及び加入者デバイスの典型的構成要素を示したブロック図である。 加入者デバイスに関する映像復号器の典型的構成要素を示したブロック図である。 スケーラブル映像ビットストリーム内の基本層映像データ及び拡張層映像データの復号を示した流れ図である。 単層復号に関する映像復号器における基本層係数及び拡張層係数の組合せを示したブロック図である。 映像復号器における基本層係数及び拡張層係数の組合せを示した流れ図である。 低複雑性映像のスケーラビリティをサポートするために様々な典型的構文要素を組み入れるためのスケーラブル映像ビットストリームの符号化を示した流れ図である。 低複雑性映像のスケーラビリティをサポートするために様々な典型的構文要素を処理するためのスケーラブル映像ビットストリームの復号を示した流れ図である。 ルマ空間予測モードに関するマクロブロック（ＭＢ）及びクォーターマクロブロックのパーティショニングを示した図である。 ルマ空間予測モードに関するマクロブロック（ＭＢ）及びクォーターマクロブロックのパーティショニングを示した図である。 基本層及び拡張層のマクロブロック（ＭＢ）を復号して単一ＭＢ層を生成することを示した流れ図である。 ルマ及びクロマデブロッキングフィルタプロセスを示した図である。 ４ｘ４ブロックの水平又は垂直境界を越えるサンプルを説明するための規約を示した図である。 スケーラブルデジタル映像データを転送するための装置を示したブロック図である。 スケーラブルデジタル映像データを復号するための装置を示したブロック図である。

Claims (58)

1. スケーラブルデジタル映像データを転送するための方法であって、
   拡張層映像データをネットワーク抽象化層（ＮＡＬ）ユニットに含めることと、
   前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための１つ以上の構文要素を前記ＮＡＬユニットに含めることと、を具備し、
   前記構文要素は複雑度が低い映像スケーラビリティをサポートするビットストリームフォーマット及び符号化プロセスを定義するために用いられ、
   １よりも大きい規模を有する前記拡張層映像データ内のイントラコーディングされたブロック内の非ゼロ係数の数を示すための１つ以上の構文要素を前記ＮＡＬユニットに含めることをさらに具備する、方法。
2. 前記ＮＡＬユニット内の前記拡張層データの１つの型のローバイトシーケンスペイロード（ＲＢＳＰ）データ構造を示すための１つ以上の構文要素を前記ＮＡＬユニットに含めることをさらに具備する請求項１記載の方法。
3. 前記ＮＡＬユニット内の前記拡張層映像データがイントラコーディングされた映像データを含むかどうかを示すための１つ以上の構文要素を前記ＮＡＬユニットに含めることをさらに具備する請求項１記載の方法。
4. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、基本層映像データを第２のＮＡＬユニットに含めることと、復号器が拡張層映像データを基本層映像データに付加するために画素領域又は変換領域のいずれを用いるべきかを示すための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つに含めること、とをさらに具備する請求項１に記載の方法。
5. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、基本層映像データを第２のＮＡＬユニットに含めることと、前記拡張層映像データが前記基本層映像データに関する残存データを含むかどうかを示すための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つに含めること、とをさらに具備する請求項１に記載の方法。
6. 前記ＮＡＬユニットがシーケンスパラメータ、ピクチャパラメータ組、参照ピクチャの１つのスライス又は参照ピクチャのスライスデータパーティションを含むかどうかを示すための１つ以上の構文要素を前記ＮＡＬユニットに含めることをさらに具備する請求項１に記載の方法。
7. 非ゼロ変換係数構文要素を含む拡張層映像データ内のブロックを識別するための１つ以上の構文要素を前記ＮＡＬユニットに含めることをさらに具備する請求項１に記載の方法。
8. 前記拡張層映像データ内のインターコーディングされたブロックに関するコーディングされたブロックパターンを示すための１つ以上の構文要素を前記ＮＡＬユニットに含めることをさらに具備する請求項１に記載の方法。
9. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、基本層映像データを第２のＮＡＬユニットに含めることをさらに具備し、前記拡張層映像データは、前記基本層映像データの信号対雑音比を拡張するために符号化される請求項１に記載の方法。
10. 前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための１つ以上の構文要素を前記ＮＡＬユニットに含めることは、前記ＮＡＬユニットが拡張層映像データを含むことを示すために前記ＮＡＬユニット内のＮＡＬユニット型パラメータを選択された値に設定することを具備する請求項１に記載の方法。
11. スケーラブルデジタル映像データを転送するための装置であって、
    符号化された拡張層映像データをＮＡＬユニットに含め、前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための１つ以上の構文要素を前記ＮＡＬユニットに含めるネットワーク抽象化層（ＮＡＬ）ユニットモジュールを具備し、
    前記構文要素は複雑度が低い映像スケーラビリティをサポートするビットストリームフォーマット及び符号化プロセスを定義するために用いられ、
    前記ＮＡＬユニットモジュールは、１よりも大きい規模を有する前記拡張層映像データ内のイントラコーディングされたブロックにおける非ゼロ係数の数を示すための１つ以上の構文要素を前記ＮＡＬユニットに含める、装置。
12. 前記ＮＡＬユニットモジュールは、前記ＮＡＬユニット内における前記拡張層データの１つの型のローバイトシーケンスペイロード（ＲＢＳＰ）データ構造を示すための１つ以上の構文要素を前記ＮＡＬユニットに含める請求項１２に記載の装置。
13. 前記ＮＡＬユニットモジュールは、前記ＮＡＬユニット内の前記拡張層映像データがイントラコーディングされた映像データを含むかどうかを示すための１つ以上の構文要素を前記ＮＡＬユニットに含める請求項１１に記載の装置。
14. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、前記ＮＡＬユニットモジュールは、基本層映像データを第２のＮＡＬユニットに含め、前記ＮＡＬユニットモジュールは、復号器が拡張層映像データを基本層映像データに付加するために画素領域又は変換領域のいずれを用いるべきかを示すための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つに含めることをさらに具備する請求項１１に記載の装置。
15. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、前記ＮＡＬユニットモジュールは、基本層映像データを第２のＮＡＬユニットに含め、前記ＮＡＬユニットモジュールは、前記拡張層映像データが基本層映像データに関する残存データを含むかどうかを示すための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つに含める請求項１１に記載の装置。
16. 前記ＮＡＬユニットモジュールは、前記ＮＡＬユニットがシーケンスパラメータ、ピクチャパラメータ組、参照ピクチャの１つのスライス又は参照ピクチャのスライスデータパーティションを含むかどうかを示すための１つ以上の構文要素を前記ＮＡＬユニットに含めることをさらに具備する請求項１１に記載の装置。
17. 前記ＮＡＬユニットモジュールは、非ゼロ変換係数構文要素を含む前記拡張層映像データ内のブロックを識別するための１つ以上の構文要素を前記ＮＡＬユニットに含める請求項１１に記載の装置。
18. 前記ＮＡＬユニットモジュールは、前記拡張層映像データ内のインターコーディングされたブロックに関するコーディングされたブロックパターンを示すための１つ以上の構文要素を前記ＮＡＬユニットに含める請求項１１に記載の装置。
19. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、前記ＮＡＬユニットモジュールは、基本層映像データを第２のＮＡＬユニットに含め、前記符号器は、前記基本層映像データの信号対雑音比を拡張するために前記拡張層映像データを符号化する請求項１１に記載の装置。
20. 前記ＮＡＬユニットモジュールは、前記ＮＡＬユニットが拡張層映像データを含むことを示すために前記ＮＡＬユニット内のＮＡＬユニット型パラメータを選択された値に設定する請求項１１に記載の装置。
21. スケーラブルデジタル映像データを転送するためのプロセッサであって、拡張層映像データをネットワーク抽象化層（ＮＡＬ）ユニットに含め、前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための１つ以上の構文要素を前記ＮＡＬユニットに含めるように構成され、
    前記構文要素は複雑度が低い映像スケーラビリティをサポートするビットストリームフォーマット及び符号化プロセスを定義するために用いられ、
    前記プロセッサはさらに、１よりも大きい規模を有する前記拡張層映像データ内のイントラコーディングされたブロック内の非ゼロ係数の数を示すための１つ以上の構文要素を前記ＮＡＬユニットに含めるように構成される、プロセッサ。
22. スケーラブルデジタル映像データを転送するための装置であって、
    拡張層映像データをネットワーク抽象化（ＮＡＬ）ユニットに含めるための手段と、
    前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための１つ以上の構文要素を前記ＮＡＬユニットに含めるための手段と、を具備し、
    前記構文要素は複雑度が低い映像スケーラビリティをサポートするビットストリームフォーマット及び符号化プロセスを定義するために用いられ、
    １よりも大きい規模を有する前記拡張層映像データ内のイントラコーディングされたブロックにおける非ゼロ係数の数を示すための１つ以上の構文要素を前記ＮＡＬユニットに含めるための手段をさらに具備する装置。
23. 前記ＮＡＬユニット内における前記拡張層データの１つの型のローバイトシーケンスペイロード（ＲＢＳＰ）データ構造を示すための１つ以上の構文要素を前記ＮＡＬユニットに含めるための手段をさらに具備する請求項２２に記載の装置。
24. 前記ＮＡＬユニット内の前記拡張層映像データがイントラコーディングされた映像データを含むかどうかを示すための１つ以上の構文要素を前記ＮＡＬユニットに含めるための手段をさらに具備する請求項２２に記載の装置。
25. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、基本層映像データを第２のＮＡＬユニットに含めるための手段と、復号器が拡張層映像データを基本層映像データに付加するために画素領域付加又は変換領域付加のいずれを用いるべきかを示すための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つに含めるための手段と、をさらに具備する請求項２２に記載の装置。
26. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、基本層映像データを第２のＮＡＬユニットに含めるための手段と、前記拡張層映像データが前記基本層映像データに関する残存データを含むかどうかを示すための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つに含めるための手段と、をさらに具備する請求項２２に記載の装置。
27. 前記ＮＡＬユニットがシーケンスパラメータ、ピクチャパラメータ組、参照ピクチャの１つのスライス又は参照ピクチャのスライスデータパーティションを含むかどうかを示すための１つ以上の構文要素を前記ＮＡＬユニットに含めるための手段をさらに具備する請求項２２に記載の装置。
28. 非ゼロ変換係数構文要素を含む前記拡張層映像データ内のブロックを識別するための１つ以上の構文要素を前記ＮＡＬユニットに含めるための手段をさらに具備する請求項２２に記載の装置。
29. 前記拡張層映像データ内のインターコーディングされたブロックに関するコーディングされたブロックパターンを示すための１つ以上の構文要素を前記ＮＡＬユニットに含めるための手段をさらに具備する請求項２２に記載の装置。
30. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、基本層映像データを第２のＮＡＬユニットに含めるための手段をさらに具備し、前記拡張層映像データは、前記基本層映像データの信号対雑音比を拡張する請求項２２に記載の装置。
31. 前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための１つ以上の構文要素を前記ＮＡＬユニットに含めるための手段は、前記ＮＡＬユニットが拡張層映像データを含むことを示すために前記ＮＡＬユニット内のＮＡＬユニット型パラメータを選択された値に設定するための手段を具備する請求項２２に記載の装置。
32. スケーラブルデジタル映像データを転送するためのコンピュータプログラム製品であって、
    拡張層映像データをネットワーク抽象化層（ＮＡＬ）ユニットに含め、前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための１つ以上の構文要素を前記ＮＡＬユニットに含め、前記構文要素は複雑度が低い映像スケーラビリティをサポートするビットストリームフォーマット及び符号化プロセスを定義するために用いられ、
    １よりも大きい規模を有する前記拡張層映像データ内のイントラコーディングされたブロック内の非ゼロ係数の数を示すための１つ以上の構文要素を前記ＮＡＬユニットに含める、ことをコンピュータに行わせるための符号を具備する、コンピュータによって読み取り可能な媒体を具備する、コンピュータプログラム製品。
33. スケーラブルデジタル映像データを処理するための方法であって、
    ネットワーク抽象化層（ＮＡＬ）ユニットにおける拡張層映像データを受信することと、
    前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための前記ＮＡＬユニットにおける１つ以上の構文要素を受信することであって、前記構文要素は複雑度が低い映像スケーラビリティをサポートするビットストリームフォーマット及び符号化プロセスを定義するために用いられることと、
    前記表示に基づいて前記ＮＡＬユニット内の前記デジタル映像データを復号することと、を具備し、
    １よりも大きい規模を有する前記拡張層映像データ内のイントラコーディングされたブロックにおける非ゼロ係数の数を決定するための１つ以上の構文要素を前記ＮＡＬユニットにおいて検出することをさらに具備する、方法。
34. 前記ＮＡＬユニット内における前記拡張層データの１つの型のローバイトシーケンスペイロード（ＲＢＳＰ）データ構造を決定するための１つ以上の構文要素を前記ＮＡＬユニット内において検出することをさらに具備する請求項３３に記載の方法。
35. 前記ＮＡＬユニット内の前記拡張層映像データがイントラコーディングされた映像データを含むかどうかを決定するための１つ以上の構文要素を前記ＮＡＬユニット内において検出することをさらに具備する請求項３３に記載の方法。
36. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、
    第２のＮＡＬユニットにおける基本層映像データを受信することと、
    前記拡張層映像データが前記基本層映像データに関する残存データを含むかどうかを決定するための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つにおいて検出することと、
    前記拡張層映像データが前記基本層映像データに関する残存データを含まないことが決定された場合は前記拡張層映像データの復号をスキップすること、とをさらに具備する請求項３３に記載の方法。
37. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、
    第２のＮＡＬユニットにおける基本層映像データを受信することと、
    前記第１のＮＡＬユニットがシーケンスパラメータ、ピクチャパラメータ組、参照ピクチャの１つのスライス又は参照ピクチャのスライスデータパーティションを含むかどうかを決定するための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つにおいて検出することと、
    非ゼロ変換係数構文要素を含む前記拡張層映像データ内のブロックを識別するための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのちの少なくとも１つにおいて検出することと、
    前記デジタル映像データを復号するために拡張層映像データを基本層映像データに付加するために画素領域付加又は変換領域付加のいずれを用いるべきかを決定するための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つにおいて検出すること、とをさらに具備する請求項３３に記載の方法。
38. 前記拡張層映像データ内のインターコーディングされたブロックに関するコーディングされたブロックパターンを決定するための１つ以上の構文要素を前記ＮＡＬユニットにおいて検出することをさらに具備する請求項３３に記載の方法。
39. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、基本層映像データを第２のＮＡＬユニットに含めることをさらに具備し、前記拡張層映像データは、前記基本層映像データの信号対雑音比を拡張するために符号化される請求項３３に記載の方法。
40. 前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための前記ＮＡＬユニットにおける１つ以上の構文要素を受信することは、前記ＮＡＬユニットが拡張層映像データを含むことを示すために選択値に設定された前記ＮＡＬユニットにおけるＮＡＬユニット型パラメータを受信することを具備する請求項３３に記載の方法。
41. スケーラブルデジタル映像データを処理するための装置であって、
    ＮＡＬユニットにおける拡張層映像データを受信し、前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための前記ＮＡＬユニットにおける１つ以上の構文要素を受信するネットワーク抽象化層（ＮＡＬ）ユニットモジュールであって、前記構文要素は複雑度が低い映像スケーラビリティをサポートするビットストリームフォーマット及び符号化プロセスを定義するために用いられるネットワーク抽象化層（ＮＡＬ）ユニットモジュールと、
    前記表示に基づいて前記ＮＡＬユニット内の前記デジタル映像データを復号する復号器と、を具備し、
    前記ＮＡＬユニットモジュールは、１よりも大きい規模を有する前記拡張層映像データ内のイントラコーディングされたブロック内の非ゼロ係数の数を決定するための１つ以上の構文要素を前記ＮＡＬユニットにおいて検出する、装置。
42. 前記ＮＡＬユニットモジュールは、前記ＮＡＬユニット内における前記拡張層データの１つの型のローバイトシーケンスペイロード（ＲＢＳＰ）データ構造を決定するための１つ以上の構文要素を前記ＮＡＬユニットにおいて検出する請求項４１に記載の装置。
43. 前記ＮＡＬユニットモジュールは、前記ＮＡＬユニット内の前記拡張層映像データがイントラコーディングされた映像データを含むかどうかを決定するための１つ以上の構文要素を前記ＮＡＬユニットにおいて検出する請求項４１に記載の装置。
44. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、前記ＮＡＬユニットモジュールは、第２のＮＡＬユニットにおける基本層映像データを受信し、前記ＮＡＬユニットモジュールは、前記拡張層映像データが前記基本層映像データに関する残存データを含むかどうかを決定するための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つにおいて検出し、前記復号器は、前記拡張層映像データが前記基本層映像データに関する残存データを含まないことが決定された場合は前記拡張層映像データの復号をスキップする請求項４１に記載の装置。
45. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、前記ＮＡＬユニットモジュールは、
    第２のＮＡＬユニットにおける基本層映像データを受信し、
    前記第１のＮＡＬユニットがシーケンスパラメータ、ピクチャパラメータ組、参照ピクチャの１つのスライス又は参照ピクチャのスライスデータパーティションを含むかどうかを決定するための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つにおいて検出し、
    非ゼロ変換係数構文要素を含む前記拡張層映像データ内のブロックを識別するための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つにおいて検出し、
    前記デジタル映像データを復号するために拡張層映像データを基本層映像データに付加するために画素領域付加又は変換領域付加のいずれを用いるべきかを決定するための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つにおいて検出する請求項４１に記載の装置。
46. 前記ＮＡＬ処理モジュールは、前記拡張層映像データ内のインターコーディングされたブロックに関するコーディングされたブロックパターンを決定するための１つ以上の構文要素を前記ＮＡＬユニットにおいて検出する請求項４１に記載の装置。
47. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、前記ＮＡＬユニットモジュールは、基本層映像データを第２のＮＡＬユニットに含め、前記拡張層映像データは、前記基本層映像データの信号対雑音比を拡張するために符号化される請求項４１に記載の装置。
48. 前記ＮＡＬユニットモジュールは、前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すために選択値に設定された前記ＮＡＬユニットにおけるＮＡＬユニット型パラメータを受信する請求項４１に記載の装置。
49. スケーラブルデジタル映像データを処理するためのプロセッサであって、
    ネットワーク抽象化層（ＮＡＬ）ユニットにおける拡張層映像データを受信し、
    前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための前記ＮＡＬユニットにおける１つ以上の構文要素を受信し、前記構文要素は複雑度が低い映像スケーラビリティをサポートするビットストリームフォーマット及び符号化プロセスを定義するために用いられるものであり、
    前記表示に基づいて前記ＮＡＬユニット内の前記デジタル映像データを復号するように構成され、
    さらに、前記プロセッサは、１よりも大きい規模を有する前記拡張層映像データ内のイントラコーディングされたブロックにおける非ゼロ係数の数を決定するための１つ以上の構文要素を前記ＮＡＬユニットにおいて検出するように構成される、プロセッサ。
50. スケーラブルデジタル映像データを処理するための装置であって、
    ネットワーク抽象化層（ＮＡＬ）ユニットにおける拡張層映像データを受信するための手段と、
    前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための前記ＮＡＬユニットにおける１つ以上の構文要素を受信するための手段であって、前記構文要素は複雑度が低い映像スケーラビリティをサポートするビットストリームフォーマット及び符号化プロセスを定義するために用いられる手段と、
    前記表示に基づいて前記ＮＡＬユニット内の前記デジタル映像データを復号するための手段と、を具備し、
    １よりも大きい規模を有する前記拡張層映像データ内のイントラコーディングされたブロックにおける非ゼロ係数の数を決定するための１つ以上の構文要素を前記ＮＡＬユニットにおいて検出するための手段をさらに具備する、装置。
51. 前記ＮＡＬユニット内における前記拡張層データの１つの型のローバイトシーケンスペイロード（ＲＢＳＰ）データ構造を決定するための１つ以上の構文要素を前記ＮＡＬユニットにおいて検出するための手段をさらに具備する請求項５０記載の装置。
52. 前記ＮＡＬユニット内の前記拡張層映像データがイントラコーディングされた映像データを含むかどうかを決定するための１つ以上の構文要素を前記ＮＡＬユニットにおいて検出するための手段をさらに具備する請求項５０に記載の装置。
53. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、
    第２のＮＡＬユニットにおける基本層映像データを受信するための手段と、
    前記拡張層映像データが前記基本層映像データに関する残存データを含むかどうかを決定するための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つにおいて検出するための手段と、
    前記拡張層映像データが前記基本層映像データに関する残存データを含まないことが決定された場合は前記拡張層映像データの復号をスキップするための手段と、をさらに具備する請求項５０に記載の装置。
54. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、
    第２のＮＡＬユニットにおける基本層映像データを受信するための手段と、
    前記第１のＮＡＬユニットがシーケンスパラメータ、ピクチャパラメータ組、参照ピクチャの１つのスライス又は参照ピクチャのスライスデータパーティションを含むかどうかを決定するための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つにおいて検出するための手段と、
    非ゼロ変換係数構文要素を含む拡張層映像データ内のブロックを識別するための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つにおいて検出するための手段と、
    前記デジタル映像データを復号するために前記拡張層映像データを前記基本層映像データに付加するために画素領域付加又は変換領域付加のいずれを用いるべきかを決定するための１つ以上の構文要素を前記第１及び第２のＮＡＬユニットのうちの少なくとも１つにおいて検出するための手段と、をさらに具備する請求項５０に記載の装置。
55. 前記拡張層映像データ内のインターコーディングされたブロックに関するコーディングされたブロックパターンを決定するための１つ以上の構文要素を前記ＮＡＬユニットにおいて検出するための手段をさらに具備する請求項５０に記載の装置。
56. 前記ＮＡＬユニットは第１のＮＡＬユニットであり、基本層映像データを第２のＮＡＬユニットに含めるための手段をさらに具備し、前記拡張層映像データは、前記基本層映像データの信号対雑音比を拡張するために符号化される請求項５０に記載の装置。
57. 前記各々のＮＡＬユニットが拡張層映像データを含むかどうかを示すための前記ＮＡＬユニットにおける１つ以上の構文要素を受信するための手段は、前記ＮＡＬユニットが拡張層映像データを含むことを示すために選択値に設定された前記ＮＡＬユニットにおけるＮＡＬユニット型パラメータを受信するための手段を具備する請求項５０に記載の装置。
58. スケーラブルデジタル映像データを処理するためのコンピュータプログラム製品であって、
    ネットワーク抽象化層（ＮＡＬ）ユニットにおける拡張層映像データを受信し、
    前記ＮＡＬユニットが拡張層映像データを含むかどうかを示すための前記ＮＡＬユニットにおける１つ以上の構文要素を受信し、前記構文要素は複雑度が低い映像スケーラビリティをサポートするビットストリームフォーマット及び符号化プロセスを定義するために用いられるものであり、
    前記表示に基づいて前記ＮＡＬユニット内の前記デジタル映像データを復号し、
    １よりも大きい規模を有する前記拡張層映像データ内のイントラコーディングされたブロックにおける非ゼロ係数の数を決定するための１つ以上の構文要素を前記ＮＡＬユニットにおいて検出する、ことをコンピュータに行わせるための符号を具備する、コンピュータによって読み取り可能な媒体を具備する、コンピュータプログラム製品。

Images