JPWO2014050425A1 - 画像復号装置 - Google Patents

Abstract

階層動画像復号装置（１）が、上記各サブレイヤに関するサブレイヤプロファイル提示フラグの復号後、サブレイヤプロファイル情報を復号／設定するプロファイル情報復号部（１２２１ａ）と、サブレイヤレベル情報を復号／設定するレベル情報復号部（１２２１ｂ）とを備える。

Description

本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置に関する。

通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。

動画像符号化方式としては、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣや、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）が知られている（非特許文献１）。

このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーブロック（以下、ＣＴＢ（Coding Tree Block）と称する）、ＣＴＢを再帰的に４分木分割して得られる符号化単位（コーディングユニット（Coding Unit）と呼ばれることもある）からなる階層構造により管理され、符号化／復号される。

また、符号化単位（以下、ＣＵと称する）は、さらに変換係数の処理を管理するための変換単位、および、予測画像の処理を管理するための予測単位に適宜分割される。

そして、これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が直交変換・量子化されて符号化される。

上述の予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。

インター予測については、フレーム間の動き補償により予測画像が生成される。一方、イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。

また、ＨＥＶＣでは、ＣＵによる分割と、ＣＵ毎にシグナルされる分割タイプの組み合わせによりインター予測における動き補償の予測単位サイズが表現される。

また、近年、必要なデータレートに従って、画像を階層的に符号化する階層符号化技術が提案されている。

階層符号化の方式としては、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔの標準としてＨ．２６４／ＡＶＣ Ａｎｎｅｘ Ｇ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＳＶＣ）が挙げられる。

ＳＶＣでは空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティをサポートする。例えば空間スケーラビリティの場合、まず、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとしてＨ．２６４／ＡＶＣで符号化する。なお、復号の対象となる対象レイヤにおいて参照される下位レイヤは参照レイヤとも称される。次に対象レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う。レイヤ間予測としては、動き予測に関する情報を同時刻の参照レイヤの情報から予測する動き情報予測、あるいは同時刻の参照レイヤの復号画像をアップサンプリングした画像から予測するテクスチャ予測がある（非特許文献２）。上記動き情報予測では、参照レイヤの動き情報（動きベクトル等）を推定値として動き情報が符号化される。

また、非特許文献１によれば、画像復号装置（デコーダ）がどのような画像の符号化データ（または、階層符号化データ）の範囲まで対応できるか（復号することができるか）という機能、あるいはパラメータを示すために、以下の概念が定義されている。
（１）特定のアプリケーションを想定して、符号化ツール（要素技術）の組み合わせを定義した“プロファイル”(profile)
（２）画像のサイズなどに応じて、パラメータ（設定情報）の制限を規定する“レベル”(level)
プロファイルとは、符号化された画像の符号化データを復号するために必要な符号化ツール（要素技術）の集合を規定している。プロファイルを規定しておくことで、個々のアプリケーションでは、規格全体でなく、適したプロファイルのみを実装すればよく、デコーダ／エンコーダの複雑度を低減することが可能となるメリットがある。

また、レベルとは、デコーダの能力やビットストリームの複雑さを規定するものである。例えば、デコーダがビットストリームを復号するスピードを規定する。また、レベルでは、各プロファイルで規定されたツールを、どの範囲までサポートするかについても規定されている。そのため、上位のレベルでは、下位のレベルをサポートする必要がある。

例えば、非特許文献１では、レベルによって制限される各種パラメータは、図２８に示すように、最大輝度サンプルレート(Max luma sample rate)、最大輝度ピクチャサイズ（Max luma picture size）、最大ビットレート(Max bitrate)、最大ＣＰＢサイズ(Max CPB size)、最低圧縮比率(Min compression Ratio)、ピクチャ単位当りの最大スライス数(Max slices per picture)などが挙げられる。なお、レベルのサブ概念として、各レベルに対応するビットストリーム（符号化データ）の最大ビットレート、及びビットストリームを格納する最大ＣＰＢサイズがメインティア（Main tier:コンシューマ用）で規定される値か、または、ハイティア（High tier:業務用）で規定される値であるか表す“ティア”(tier)がある。

例えば、非特許文献１では、プロファイルとして、メインプロファイルが定義されている。メインプロファイルでは、例えば、図２９の（ａ）に示すような符号化ツールの制約が規定されている。また、メインプロファイルでは、図２８に示すレベルで規定される制限のほかに、図２９の（ｂ）に示す追加のレベル制限が規定されている。

また、ビットストリームが、どのプロファイルに準拠するものであるかは、非特許文献１では、図３０に示すプロファイル／レベル情報profile_tier_level()上のプロファイル識別子general_profile_idc(図３０上のSYNZ103)によって指定される。例えば、メインプロファイルに準拠する場合は、general_profile_idcの値は、１に設定される。

また、プロファイル識別子general_profile_idcで指定されるプロファイル以外のプロファイルに準拠するデコーダで現ビットストリームを復号できるかどうかを示すgeneral_profile_compatibility_flag[i]( 図３０上のSYNZ104)がある。例えば、メインプロファイルと互換がある場合は、general_profile_compatibility_flag[ 1 ] = 1と設定される。

また、ビットストリームの複雑さ、あるいはビットストリームを復号するために必要とするデコーダの能力を示すレベルが、図２８のいずれのレベルに準拠するものであるかは、プロファイル／レベル情報profile_tier_level()上のレベル識別子general_level_idc(図３０上のSYNZ106)によって指定される。例えば、レベル識別子general_level_idcの値が、“６１”を示す場合は、図２８のレベル６．１に対応し、レベル識別子general_level_idcの値が、“１０”である場合は、図２８のレベル１に対応することを表す。すなわち、レベル識別子general_level_idcの示す値の十の桁（二桁目）、一の桁（一桁目）は、それぞれ、図２８上のレベルの整数と、小数点の値と対応する。

また、レベル識別子general_level_idcで指定されるレベルのうち、ティアがメインティアであるか、ハイティアであるかを示すティアフラグgeneral_tier_flag(図３０上のSYNZ102)がある。ティアフラグgeneral_tier_flagの値が０の場合、メインティアであること示し、値が１の場合、ハイティアであることを示す。

また、図３０に示すプロファイル／レベル情報profile_tier_level()では、時間スケーラビリティに関するレイヤ（以降、サブレイヤとも称する）毎のプロファイル情報（以降、サブレイヤプロファイル情報と称する、図３０上のSYNZ111、SYNZ112、SYNZ110、SYNZ109、SYNZ113）、およびレベル情報(以降、サブレイヤレベル情報と称する、図３０上のシンタックスSYNZ114)を、サブレイヤプロファイル提示フラグsub_layer_profile_present_flag[ i ]( 図３０上のSYNZ107)、サブレイヤレベル提示フラグsub_layer_level_present_flag[ i ]( 図３０上のSYNZ108)がそれぞれ１であれば、明示的に指定することができる。

なお、プロファイル／レベル情報profile_tier_level()は、非特許文献１では、図７の（ａ）に示すビデオパラメータセットVPS（Video Parameter Set）と図７の（ｂ）に示すシーケンスパラメータセットSPS（Sequence Parameter Set）の両方のパラメータセットにおいてシグナルされている。

「High efficiency video coding (HEVC) text specification draft 8（JCTVC-J1003_d7）」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 11th Meeting: Stockholm, SE, 11-20 July 2012（２０１２年７月２８日公開） ITU-T H.264 「Advanced video coding for generic audiovisual services」（２００７年１１月公開）

しかしながら、従来技術におけるプロファイル／レベル情報profile_tier_level()（図３０）に関して、次の課題がある。

（１）図３０に示すプロファイル／レベル情報profile_tier_level()に関するシンタックスのデータ構造では、i番目のサブレイヤに関する、サブレイヤプロファイル提示フラグ、サブレイヤレベル提示フラグ、及びサブレイヤに関するサブレイヤプロファイル情報とサブレイヤレベル情報が、各サブレイヤ単位で表現されている。従って、ある特定のj番目のサブレイヤに関するサブレイヤプロファイル情報、およびサブレイヤレベル情報を取得するためには、0番目からｊ−１番目までのサブレイヤプロファイル情報、およびサブレイヤレベル情報に関するシンタックスを復号する必要がある。すなわち、任意のサブレイヤに関するサブレイヤプロファイル情報、およびサブレイヤレベル情報を復号し抽出することが容易にはできないとう課題がある。

（２）サブレイヤプロファイル提示フラグ、及びサブレイヤレベル提示フラグはそれぞれ１bitで表現されている。また、サブレイヤプロファイル情報（図３０上の“SYNZ201”の部分(SYNZ109, SYNZ110, SYNZ111, SYNZ112, SYNZ113)）は、計56bit(7byte)、サブレイヤレベル情報（図３０上のSYN114）は、8bit(1byte)で表現されている。そのため、サブレイヤプロファイル提示フラグ、及びサブレイヤレベル提示フラグの以降のシンタックス、すなわち、サブレイヤプロファイル情報、およびサブレイヤレベル情報がバイトアラインされていない。従って、サブレイヤのサブレイヤプロファイル情報、およびサブレイヤレベル情報がバイト境界をまたぐため、メモリからの読み出し／書き出しの回数が増加するという課題がある。

（３）プロファイル／レベル情報profile_tier_level()において、プロファイル提示フラグProfilePresentFlagの値が０の場合、サブレイヤのサブレイヤプロファイル提示フラグの値によらず、サブレイヤプロファイル情報はシグナルされない。従って、プロファイル提示フラグProfilePresentFlagの値が０の場合、サブレイヤのサブレイヤプロファイル提示フラグが冗長にシグナルされるという課題がある。

（４）プロファイル／レベル情報profile_tier_level()において、プロファイル提示フラグProfilePresentFlagの値に依存して、レベル情報に関連するティアフラグgeneral_tier_flagがシグナルされている。仮に、ProfilePresentFlagの値が０の場合、レベル識別子general_level_idcのみしかシグナルされず、デコーダはレベル識別子general_level_idcとティアフラグgeneral_tier_flagによって定まるレベルの制約を取得することができないという課題がある。同様に、サブレイヤにおいても、プロファイル提示フラグとサブレイヤプロファイル提示フラグの値に依存して、サブレイヤレベル情報に関連するサブレイヤティアフラグsub_layer_tier_flag[ i ]がシグナルされている。仮に、プロファイル提示フラグ、またはサブレイヤプロファイル提示フラグの値が０、サブレイヤレベル提示フラグが１の場合、サブレイヤレベル識別子sub_layer_level_idc[ i ]のみしかシグナルされず、デコーダはあるサブレイヤに関して、サブレイヤレベル識別子sub_layer_level_idc[ i ]とサブレイヤティアフラグsub_layer_tier_flag[ i ]によって定まるレベルの制約を取得することができないという課題がある。

以上、（１）〜（２）から、プロファイル／レベル情報のデータ構造では、プロファイル情報とレベル情報の符号化／復号に関する処理が複雑になり、エンコーダ／デコーダの実装の観点から望ましくない。また、（３）の課題から、サブレイヤプロファイル提示フラグの冗長性は符号量の増加の原因となる。また、（４）の課題から、デコーダが特定条件において、レベル制約に関する一部のパラメータを取得できないという課題がある。

本発明は、上記問題に鑑みてされたものであり、その目的は、デコーダが、画像を符号化した符号化データ（または階層符号化データ）を復号可能であるかを判断するために必要となるプロファイル／レベル情報に関連するシンタックス、およびデータ構造を改良し、プロファイル情報、及びレベル情報の復号に係る処理量を低減することができることができる画像復号装置等を実現することにある。

上記の課題を解決するために、本発明の一態様に係る画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、上記対象レイヤの符号化データがいずれのプロファイルを備える画像復号装置によって復号可能であるかを示すプロファイル情報を提示するか否かを示すプロファイル提示フラグ (ProfilePresentFlag)が、対象レイヤのプロファイル情報を提示することを示す場合、対象レイヤのプロファイル情報を符号化データより復号する一方、上記プロファイル提示フラグが対象レイヤのプロファイル情報を提示しないことを示す場合、所定の復号済みレイヤのプロファイル情報を対象レイヤのプロファイル情報へ設定するプロファイル情報復号手段と、上記対象レイヤの符号化データがいずれのレベルを備える画像復号装置によって復号可能であるかを示すレベル情報を符号化データより復号するレベル情報復号手段と、上記対象レイヤに含まれる各サブレイヤに関するサブレイヤプロファイル情報を提示するか否かを示すサブレイヤプロファイル提示フラグ(sub_layer_profile_flag)を符号化データより復号するサブレイヤプロファイル提示フラグ復号手段と、上記対象レイヤに含まれる各サブレイヤに関するサブレイヤレベル情報を提示するか否かを示すサブレイヤレベル提示フラグ(sub_layer_level_flag)を符号化データより復号するサブレイヤレベル提示フラグ復号手段と、上記各サブレイヤに関するサブレイヤプロファイル提示フラグの復号後、上記サブレイヤプロファイル提示フラグがサブレイヤプロファイル情報を提示することを示す場合、上記対象レイヤに含まれる各サブレイヤのサブレイヤプロファイル情報を復号する一方、上記サブレイヤプロファイル提示フラグがサブレイヤプロファイル情報を提示しないことを示す場合、上記対象レイヤのプロファイル情報をサブレイヤのサブレイヤプロファイル情報へ設定するサブレイヤプロファイル情報復号手段と、上記各サブレイヤに関するサブレイヤレベル提示フラグの復号後、上記サブレイヤレベル提示フラグがサブレイヤレベル情報を提示することを示す場合、上記対象レイヤに含まれる各サブレイヤのサブレイヤレベル情報を復号する一方、上記サブレイヤレベル提示フラグがサブレイヤレベル情報を提示しないことを示す場合、上記対象レイヤのレベル情報をサブレイヤのサブレイヤレベル情報へ設定するサブレイヤレベル情報復号手段と、を備えることを特徴とする。

また、上記の課題を解決するために、本発明の一態様に係る画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、上記対象レイヤの符号化データがいずれのプロファイルおよびレベルを備える画像復号装置によって復号可能であるかを示すプロファイル情報およびレベル情報を提示するか否かを示すプロファイルレベル提示フラグ (ProfileLevelPresentFlag)が、対象レイヤのプロファイル情報およびレベル情報を提示することを示す場合、対象レイヤのプロファイル情報を符号化データより復号する一方、上記プロファイルレベル提示フラグが対象レイヤのプロファイル情報およびレベル情報を提示しないことを示す場合、所定の復号済みレイヤのプロファイル情報を対象レイヤのプロファイル情報へ設定するプロファイル情報復号手段と、上記プロファイルレベル提示フラグが、対象レイヤのプロファイル情報およびレベル情報を提示することを示す場合対象レイヤのレベル情報を符号化データより復号する一方、上記プロファイルレベル提示フラグが対象レイヤのプロファイル情報およびレベル情報を提示しないことを示す場合、所定の復号済みレイヤのレベル情報を対象レイヤのレベル情報へ設定するレベル情報復号手段と、上記対象レイヤに含まれる各サブレイヤに関するサブレイヤプロファイル情報およびサブレイヤレベル情報を提示するか否かを示すサブレイヤプロファイルレベル提示フラグを符号化データより復号するサブレイヤプロファイルレベル提示フラグ復号手段と、上記サブレイヤプロファイルレベル提示フラグがサブレイヤプロファイル情報とサブレイヤレベル情報を提示することを示す場合、対象レイヤに含まれる各サブレイヤのサブレイヤプロファイル情報を復号する一方、上記サブレイヤプロファイルレベル提示フラグがサブレイヤプロファイル情報とサブレイヤレベル情報を提示しないことを示す場合、上記対象レイヤのプロファイル情報をサブレイヤのサブレイヤプロファイル情報へ設定するサブレイヤプロファイル情報復号手段と、上記サブレイヤプロファイルレベル提示フラグがサブレイヤプロファイル情報とサブレイヤレベル情報を提示することを示す場合、対象レイヤに含まれる各サブレイヤのサブレイヤレベル情報を復号する一方、上記サブレイヤプロファイルレベル提示フラグがサブレイヤプロファイル情報とサブレイヤレベル情報を提示しないことを示す場合、上記対象レイヤのレベル情報をサブレイヤのサブレイヤレベル情報へ設定するサブレイヤレベル情報復号手段と、を備えることを特徴とする。

本発明の一態様によれば、画像復号装置が、画像を符号化した符号化データ（または階層符号化データ）を復号可能であるかを判断するために必要となるプロファイル／レベル情報の復号に係る処理量を低減することができる。

本発明の一実施形態に係るプロファイル／レベル情報復号部１２１１の概略的構成を示す機能ブロック図である。 本発明の一実施形態に係る階層符号化データのレイヤ構造を説明するための図であって、（ａ）は、階層動画像符号化装置側について示しており、（ｂ）は、階層動画像復号装置側について示している。 時間スケーラビリティに関するサブレイヤを説明するための図である。（ａ）は時間スケーラビリティに関するサブレイヤの一例を説明するための図であり、（ｂ）は時間スケーラビリティに関するサブレイヤの他の例を説明するための図である。 本発明の一実施形態に係る階層符号化データの構成を説明するための図であって、（ａ）は、シーケンスＳＥＱを規定するシーケンスレイヤを示しており、（ｂ）は、ピクチャＰＩＣＴを規定するピクチャレイヤを示しており、（ｃ）は、スライスＳを規定するスライスレイヤを示しており、（ｄ）は、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤを示しており、（ｅ）は、ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示している。 本発明の一実施形態に係る階層動画像復号装置の概略的構成を示す機能ブロック図である。 本発明の一実施形態に係る可変長復号部１２の概略的構成を示す機能ブロック図である。 階層符号化データに係るシンタックスの例を示す図である。（ａ）はビデオパラメータセットＶＰＳのシンタックス例を示す図であり、(ｂ)はシーケンスパラメータセットＳＰＳのシンタックス例を示す図であり、（ｃ）はＮＡＬユニットヘッダのシンタックス例を示す図である。 上記階層動画像復号装置が備える予測パラメータ復元部の概略的構成を示す機能ブロック図である。 上記階層動画像復号装置が備えるテクスチャ復元部の概略的構成を示す機能ブロック図である。 上記階層動画像復号装置が備えるベース復号部の概略的構成を示す機能ブロック図である。 実施例１に係るプロファイル／レベル情報のデータ構造である。 実施例１に係るプロファイル／レベル情報復号部１２１１におけるプロファイル／レベル情報の復号処理の動作について示すフロー図である。 実施例１に係るプロファイル／レベル情報の別例（変形例１）のデータ構造である。 実施例１に係るプロファイル／レベル情報復号部１２１１におけるプロファイル／レベル情報の復号処理の動作の別例（変形例１）について示すフロー図である。 実施例１に係るプロファイル／レベル情報の別例（変形例２）のデータ構造である。 実施例１に係るプロファイル／レベル情報の別例（変形例２ａ）のデータ構造である。 実施例１に係るプロファイル／レベル情報の別例（変形例３）のデータ構造である。 本発明の一実施形態に係るプロファイル／レベル情報復号部１２１１の別の概略的構成を示す機能ブロック図である（変形例３）。 実施例１に係るプロファイル／レベル情報復号部１２１１におけるプロファイル／レベル情報の復号処理の動作の別例（変形例３）について示すフロー図である。 本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。 本発明の一実施形態に係る可変長符号化部２２の概略的構成を示す機能ブロック図である。 上記階層動画像符号化装置が備える予測情報生成部２５の概略的構成を示す機能ブロック図である。 上記階層動画像符号化装置が備えるテクスチャ情報生成部２４の概略的構成を示す機能ブロック図である。 本発明の一実施形態に係るプロファイル／レベル情報符号化部２２１１の概略的構成を示す機能ブロック図である。 本発明の一実施形態に係るプロファイル／レベル情報符号化部２２１１の別の概略的構成を示す機能ブロック図である（変形例３）。 上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。 上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。 非特許文献１におけるレベル制約に関する各パラメータの制限値を表わす。 非特許文献１における、（ａ）メインプロファイルに関するパラメータの制約の一例であり、（ｂ）メインプロファイルに関する追加のレベル制約の一例である。 非特許文献１に係るプロファイル／レベル情報のデータ構造である。

図１〜図２７に基づいて、本発明の一実施形態に係る階層動画像復号装置１および階層動画像符号化装置２について説明すれば以下のとおりである。
〔概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によってスケーラブル映像符号化（ＳＶＣ；Scalable Video Coding）された符号化データを復号する。スケーラブル映像符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。スケーラブル映像符号化は、例えば、Ｈ．２６４／ＡＶＣ Ａｎｎｅｘ Ｇ ＳＶＣにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。

また、ＳＶＣは、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、および（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレーム・レート（単位時間のフレーム数）において階層化する技術である。また、ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。

本実施形態に係る階層動画像符号化装置２及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造について説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。
〔階層符号化データのレイヤ構造〕
ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２の（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。

以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。

図２の（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図２の（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。

まず、図２の（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。

下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。

また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。

また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。

このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。

次に、図２の（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。

なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。

例えば、中位階層Ｌ２の階層動画像復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号することができる。

なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。

また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２の（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。

なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。

本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。

上位レイヤ ： ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、画質が高い等）復号画像のことをいう。

下位レイヤ ： ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。

対象レイヤ ： 復号または符号化の対象となっている階層のことをいう。

参照レイヤ（reference layer） ： 対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。

図２の（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。

基本レイヤ（base layer） ： 最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。

拡張レイヤ ： 基本レイヤの上位レイヤは、拡張レイヤと称される。

レイヤ識別子 ： レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。

一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。

レイヤ間予測 ： レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を（同時刻の）参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、（同時刻の）下位レイヤの復号画像をアップサンプリングした画像から予測するレイヤ間予測のことをテクスチャ予測（あるいはレイヤ間イントラ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。

テンポラル識別子： テンポラル識別子は、時間スケーラビリティに関するレイヤ（以降、サブレイヤ）を識別するための識別子である。テンポラル識別子は、サブレイヤを識別するためのものであり、サブレイヤと１対１に対応する。符号化データには特定のサブレイヤの復号画像の復号に必要な部分符号化データを選択するために用いられるテンポラル識別子が含まれる。

サブレイヤ： サブレイヤとは、テンポラル識別子により特定される時間スケーラビリティに関するレイヤである。空間スケーラビリティ、ＳＮＲスケーラビリティ等、そのほかのスケーラビリティと区別するため、以降サブレイヤと称する（テンポラルレイヤとも称する）。

なお、以降では、時間スケーラビリティは、基本レイヤの符号化データ、またはあるレイヤを復号するために必要な階層符号化データ、に含まれるサブレイヤによって実現されるものとする。

時間スケーラビリティに関して、図３の（ａ）を用いて説明する。ＳＶＣや、ＨＥＶＣでは時間スケーラビリティを実現するために、Ｂピクチャでのピクチャ参照を入れ子的に行う階層Ｂピクチャが導入されている。図３の（ａ）は、階層Ｂピクチャにおけるピクチャ参照関係を表わしたものである。ここで、符号L#Nは、あるレイヤＮを示し、符号SL#Mは、あるレイヤＮに属する時間スケーラビリティのサブレイヤ（サブ階層）Mを示す。フレームレートを変更し時間スケーラビリティを実現する場合、まず他のピクチャから参照されないＢピクチャの符号化データを破棄する。図３の（ａ）の場合、サブレイヤSL#4に属するＢピクチャ（B2,B4,B6,B8）の符号化データを破棄することにより、フレームレートが1/2となるサブレイヤSL#1〜SL#3の符号化データが生成される。さらに、他のピクチャから参照されないＢピクチャ（図３の（ａ）では、サブレイヤSL#3に属するＢピクチャ（B3,B7））の符号化データを破棄することで、フレームレートが1/4となるサブレイヤSL#1〜SL#2の符号化データが生成される。上記処理を繰り返すことで、段階的にフレームレートを調整することができる。また、各サブレイヤを識別する識別子として、テンポラル識別子（temporalId;tId,temporal_idとも称する）がある。図３の（ａ）では、各Ｂピクチャの参照構造の段数と、サブレイヤを１対１に対応付ける例であるが、これに限定されない。例えば、複数のＢピクチャの参照構造の段数と、サブレイヤを１又は複数対１に対応付けてもよい。例えば、図３の（ｂ）において、サブレイヤSL#1をピクチャI1,B3,B5,B7,P9から構成し、サブレイヤSL#2をピクチャB2, B4, B6, B8から構成されるように対応付けてもよい。

なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、ＨＥＶＣおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣなどの符号化方式により生成してもよい。

また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１に供給されるものであってもよいし、同一の伝送路を介して階層動画像復号装置１に供給されるものであってもよい。

例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをＭＰＥＧ−２またはＨ．２６４／ＡＶＣにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をＨＥＶＣにより符号化して、インターネットで伝送してもよい。

（基本レイヤ）
図４は、基本レイヤにおいて採用することができる符号化データ（図２の例でいえば、階層符号化データＤＡＴＡ＃Ｃ）のデータ構造について例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。

階層符号化データＤＡＴＡ＃Ｃにおけるデータの階層構造を図４に示す。図４の（ａ）〜（ｅ）は、それぞれ、（ａ）シーケンスＳＥＱを規定するシーケンスレイヤ、（ｂ）ピクチャＰＩＣＴを規定するピクチャレイヤ、（ｃ）スライスＳを規定するスライスレイヤ、（ｄ）ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤ、（ｅ）ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。

（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図４の（ａ）に示すように、ビデオパラメータセットＶＰＳ(Video Parameter Set)、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、適応パラメータセットＡＰＳ（Adaptation Parameter Set）、ピクチャＰＩＣＴ_１〜ＰＩＣＴ_NP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。

ビデオパラメータセットＶＰＳでは、基本レイヤおよび拡張レイヤにおいて、対象シーケンスを復号するための階層動画像復号装置１が参照する共通の符号化パラメータの集合が規定されている。ＶＰＳの詳細は、後述する。

シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＳＰＳの詳細は後述する。

ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。

適応パラメータセットＡＰＳは、対象シーケンス内の各スライスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＡＰＳは複数存在してもよい。その場合、対象シーケンス内の各スライスから複数のＡＰＳの何れかを選択する。

（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図４の（ｂ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ₁〜Ｓ_NSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。

なお、以下、スライスＳ₁〜Ｓ_NSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータについても同様である。

ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。なお、符号化パラメータ群は、必ずしもピクチャヘッダＰＨ内に直接含んでいる必要はなく、例えばピクチャパラメータセットＰＰＳへの参照を含むことで、間接的に含めても良い。

（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図４の（ｃ）に示すように、スライスヘッダＳＨ、及び、ツリーブロックＴＢＬＫ₁〜ＴＢＬＫ_NC（ＮＣはスライスＳに含まれるツリーブロックの総数）のシーケンスを含んでいる。

スライスヘッダＳＨには、対象スライスの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。

なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（pic_parameter_set_id）、適応パラメータセットＡＰＳへの参照（aps_id）を含んでいても良い。

また、スライスヘッダＳＨには、階層動画像復号装置１の備える適応フィルタによって参照されるフィルタパラメータＦＰが含まれている。フィルタパラメータＦＰは、フィルタ係数群を含んでいる。フィルタ係数群には、（１）フィルタのタップ数を指定するタップ数指定情報、（２）フィルタ係数a₀〜a_NT-1（NTは、フィルタ係数群に含まれるフィルタ係数の総数）、および、（３）オフセットが含まれる。

（ツリーブロックレイヤ）
ツリーブロックレイヤでは、処理対象のツリーブロックＴＢＬＫ（以下、対象ツリーブロックとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、ツリーブロックのことを符号化ツリーブロック（CTB:Coding Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。

ツリーブロックＴＢＬＫは、ツリーブロックヘッダＴＢＬＫＨと、符号化単位情報ＣＵ_１〜ＣＵ_ＮＬ（ＮＬはツリーブロックＴＢＬＫに含まれる符号化単位情報の総数）とを含む。ここで、まず、ツリーブロックＴＢＬＫと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。

ツリーブロックＴＢＬＫは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのパーティションに分割される。

ツリーブロックＴＢＬＫの上記パーティションは、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。

以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するパーティションを、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。なお、符号化ノードは、符号化ブロック（CB: Coding Block）と呼ぶこともある。

つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ_１〜ＣＵ_ＮＬは、ツリーブロックＴＢＬＫを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。

また、符号化ツリーのルート（root）は、ツリーブロックＴＢＬＫに対応付けられる。換言すれば、ツリーブロックＴＢＬＫは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。

なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのパーティション）のサイズの縦横とも半分である。

また、ツリーブロックＴＢＬＫのサイズ、および、各符号化ノードのとり得るサイズは、階層符号化データＤＡＴＡ＃ＣのシーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、ツリーブロックＴＢＬＫのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。

（ツリーブロックヘッダ）
ツリーブロックヘッダＴＢＬＫＨには、対象ツリーブロックの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図４の（ｄ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。

ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。

また、量子化パラメータ差分Δｑｐは、対象ツリーブロックにおける量子化パラメータｑｐと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。

（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。

ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。

予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。

予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。

また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。

変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。

（ＣＵ情報のデータ構造）
続いて、図４の（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容について説明する。図４の（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。

[スキップフラグ]
スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。

［ＰＴ情報］
ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図４の（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。

予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。

予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅが何れの予測方法を指定するのかに応じて、イントラ予測情報ＰＰ＿Ｉｎｔｒａ、または、インター予測情報ＰＰ＿Ｉｎｔｅｒを含む。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。

インター予測情報ＰＰ＿Ｉｎｔｅｒは、階層動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、インター予測情報ＰＰ＿Ｉｎｔｅｒは、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータを含む。インター予測パラメータとしては、例えば、推定動きベクトルインデックス（ｍｖｐ＿ｉｄｘ）、参照画像インデックス（ｒｅｆ＿ｉｄｘ）、インター予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）、および動きベクトル残差（ｍｖｄ）が挙げられる。

イントラ予測情報ＰＰ＿Ｉｎｔｒａは、階層動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、イントラ予測情報ＰＰ＿Ｉｎｔｒａには、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。イントラ予測パラメータとしては、例えば、推定予測モードフラグ、推定予測モードインデックス、および、残余予測モードインデックスが挙げられる。

また、ＰＵ分割情報には、対象ＰＵの形状、サイズ、および、位置を指定する情報が含まれていてもよい。ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２^ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる領域のことをパーティションとも称する。

［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことをブロックと称することもある。

ＴＴ情報ＴＴＩは、図４の（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ₁〜ＱＤ_NT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。

ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各ＴＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象となるノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現することができる。

また、例えば、ＣＵのサイズが、６４×６４の場合、分割により得られる各ＴＵは、３２×３２画素から４×４画素までのサイズをとり得る。

各量子化予測残差ＱＤは、階層動画像符号化装置２が以下の処理１〜３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。

処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２^qp/6）。

（拡張レイヤ）
拡張レイヤの符号化データについても、例えば、図４に示すデータ構造とほぼ同様のデータ構造を採用することができる。ただし、拡張レイヤの符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略したりすることができる。

ＶＰＳまたはＳＰＳには階層符号化を示す情報が符号化されていてもよい。

また、スライスレイヤでは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、および、quality_id）が符号化されていてもよい。フィルタ情報やフィルタのオン／オフ情報（後述）はＰＰＳ、スライスヘッダ、ツリーブロックヘッダＴＢＬＫＨや、符号化単位情報ＣＵ等で符号化することが可能である。

また、ＣＵ情報ＣＵでは、スキップフラグ（skip_flag）、ベースモードフラグ（base_mode_flag）および予測モードフラグ（pred_mode_flag）が符号化されていてもよい。

また、これらのフラグにより対象ＣＵのＣＵタイプが、イントラＣＵ、インターＣＵ、スキップＣＵおよびベーススキップＣＵのいずれであるかが指定されていてもよい。

イントラＣＵおよびスキップＣＵは、上述のＨＥＶＣ方式の場合と同様に定義できる。例えば、スキップＣＵでは、スキップフラグに“１”が設定される。スキップＣＵでない場合、スキップフラグに“０”が設定される。また、イントラＣＵでは、予測モードフラグに“０”が設定される。

また、インターＣＵは、非スキップかつ動き補償（ＭＣ；Motion Compensation）を適用するＣＵと定義されていてもよい。インターＣＵでは、例えば、スキップフラグに“０”が設定され、予測モードフラグに“１”が設定される。

ベーススキップＣＵは、ＣＵまたはＰＵの情報を参照レイヤから推定するＣＵタイプである。また、ベーススキップＣＵでは、例えば、スキップフラグに“１”が設定され、ベースモードフラグに“１”が設定される。

また、ＰＴ情報ＰＴＩでは、対象ＰＵのＰＵタイプが、イントラＰＵ、インターＰＵ、のいずれであるかが指定されていてもよい。

イントラＰＵ、インターＰＵは、上述のＨＥＶＣ方式の場合と同様に定義できる。

なお、拡張レイヤに含まれる動きベクトル情報のうち、下位レイヤに含まれる動きベクトル情報から導出可能な動きベクトル情報については、拡張レイヤから省略する構成とすることができる。このような構成とすることによって、拡張レイヤの符号量を削減することができるので、符号化効率が向上する。

また、上述のとおり拡張レイヤの符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。

下位レイヤが、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣ方式によって符号化されていてもよい。

対象レイヤと参照レイヤとが異なる符号化方式によって符号化されている場合、参照レイヤのパラメータを、対象レイヤの対応するパラメータ、または、類似のパラメータに変換することでレイヤ間における相応の互換性を保つことができる。例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣ方式におけるマクロブロックは、ＨＥＶＣにおけるＣＴＢに読み替えて解釈することが可能である。

なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略することができる。
〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置１の構成について、図１〜図１９を参照して説明する。

（階層動画像復号装置の構成）
図５を用いて、階層動画像復号装置１の概略的構成について説明すると次のとおりである。図５は、階層動画像復号装置１の概略的構成について示した機能ブロック図である。階層動画像復号装置１は、階層動画像符号化装置２から供給される階層符号化データＤＡＴＡを、ＨＥＶＣ方式により復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。

図５に示すように階層動画像復号装置１は、ＮＡＬ逆多重化部１１、可変長復号部１２、予測パラメータ復元部１４、テクスチャ復元部１５、およびベース復号部１６を備える。

[ＮＡＬ逆多重化部１１]
ＮＡＬ逆多重化部１１は、ＮＡＬ（Network Abstraction Layer）におけるＮＡＬユニット単位で伝送される階層符号化データＤＡＴＡを逆多重化する。

ＮＡＬは、ＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。

ＶＣＬは、動画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのファイルフォーマットや、ＭＰＥＧ−２システムに対応する。以下に示す例では、下位システムは、対象レイヤおよび参照レイヤにおける復号処理に対応する。

なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダ（ＮＡＬユニットヘッダ：nal_unit_header()）が含まれる。なお、ＮＡＬユニットヘッダは、例えば、図７の（ｃ）に示すシンタックスで表わされる。ＮＡＬユニットヘッダには、ＮＡＬユニットに格納された符号化データの種類を表わす”nal_unit_type”、格納された符号化データが属するサブレイヤの識別子（テンポラル識別子）を表わす”nuh_temporal_id_plus1”や、格納された符号化データが属するレイヤの識別子（レイヤ識別子）を表わす”nuh_layer_id”（または、nuh_reserved_zero_6bits）が記述されている。

また、各階層における符号化データは、ＮＡＬユニット格納されることでＮＡＬ多重化されて階層動画像復号装置１に伝送される。

ＮＡＬ逆多重化部１１は、階層符号化データＤＡＴＡを逆多重化して、対象レイヤ符号化データＤＡＴＡ＃Ｔおよび参照レイヤ符号化データＤＡＴＡ＃Ｒ（以降、単に、符号化データＤＡＴＡ＃Ｒとも称する）を取り出す。また、ＮＡＬ逆多重化部１１は、対象レイヤ符号化データＤＡＴＡ＃Ｔ（以降、単に、符号化データＤＡＴＡ＃Ｔとも称する）を可変長復号部１２に供給するとともに、参照レイヤ符号化データＤＡＴＡ＃Ｒをベース復号部１６に供給する。

[可変長復号部１２]
可変長復号部１２は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるバイナリから各種のシンタックス値を復号するための情報の復号処理を行う。

具体的には、可変長復号部１２は、図６に示すように、ヘッダ情報復号部１２１、予測情報復号部１２２、変換係数情報復号部１２３を備える。さらに、ヘッダ情報復号部１２１は、プロファイル／レベル情報復号部１２１１を備える。

[ヘッダ情報復号部１２１]
ヘッダ情報復号部１２１は、シーケンス単位、ピクチャ単位、またはスライス単位で復号に利用されるパラメータに関するヘッダ情報を、符号化データＤＡＴＡ＃Ｔから復号する。

ヘッダ情報復号部１２１は、符号化データＤＡＴＡ＃Ｔに含まれるＶＰＳおよびＳＰＳを規定のシンタックス定義に基づいて、シーケンス単位で復号に利用される情報を復号する。

例えば、ＶＰＳからは、図７の（ａ）に示すシンタックスが復号される。各シンタックスの意味は、次の通りである。なお、図７の（ａ）に示すシンタックスはＶＰＳのシンタックスの一例であり、図７の（ａ）に示されていないレイヤ毎に定まるレベル情報（サブレイヤレベル情報を含む）により規定されるデコーダの能力（ＣＰＢ、ＤＰＢのサイズ等）を満たすように仮想デコーダを動作させるためのパラメータの集合ＨＲＤパラメータ(hrd_parameters)や、ＶＰＳの拡張フラグ、ＶＰＳの拡張データ等も含まれている。
・“video_parameter_set_id”は、各ＶＰＳを識別するための識別子である。
・“vps_temporal_id_nesting_flag”は、当該ＶＰＳを参照するピクチャにおけるインター予測に関して、追加の制約をするか否かを表わすフラグである。
・“vps_resereved_zero_2bits”は、将来HEVCを拡張する際に予約されたシンタックスである。
・“vps_reserved_zero_6bits”、または”vps_max_num_layers_minus1”は、少なくとも基本レイヤを含む階層符号化データに関して、時間スケーラビリティを除く、その他のスケーラビリティに関するレイヤの数の上限値MaxNumLayersを算出するために用いるシンタックスである。なお、レイヤ数の上限値MaxNumLayersは、MaxNumLayers = vps_max_num_layers_minus1 + 1によって表わされる。階層符号化データが基本レイヤのみで構成される場合は、vps_max_num_layers_minus1 = 0となる。
・“vps_max_sub_layer_minus1”は、少なくとも基本レイヤを含む階層符号化データの時間スケーラビリティに関するレイヤ（サブレイヤ）の数の上限値MaxNumSubLayersを算出するために用いるシンタックスである。なお、サブレイヤ数の上限値MaxNumSubLayersは、MaxNumSubLayers = vps_max_sub_layers_minus1 + 1 によって表わされる。
・“profile_tier_level(X,Y)”は、階層符号化データに関するプロファイル情報、及びレベル情報を表わすシンタックス（以降、プロファイル／レベル情報とも称する）である。なお、引数Xは、プロファイル情報提示フラグProfilePresentFlagの値であり、引数Yは、サブレイヤ数の上限値−１の値、すなわちMaxNumSubLayersMinus1である。なお、引数Ｙは、サブレイヤ数の上限値−１の値MaxNumSubLayersMinus1の代わりに、MaxNumSubLayersの値としてもよい。その場合、プロファイル／レベル情報profile_tier_level()上におけるMaxNumSubLayersMinus1を、”MaxNumSubLayers−１”と解釈する。以降では、サブレイヤ数の上限値―１の値MaxNumSubLayersMinus1の代わり、サブレイヤ数の上限値MaxNumSubLayersを用いて説明する。なお、プロファイル／レベル情報profile_tier_level()に関しては、後述する。なお、ここで規定されるプロファイル／レベル情報には、デコーダが、全レイヤ（基本レイヤおよび拡張レイヤ、各レイヤに付随するサブレイヤを含む）を復号するのに必要とする最大のプロファイル／レベル情報が設定されている。

なお、ＶＰＳに含まれるプロファイル／レベル情報profile_tier_level()は、後述のプロファイル／レベル情報復号部１２１１において復号される。
・“vps_reserved_zero_12bits”、または“next_essential_info_byte_offset”は、ＶＰＳを含むＮＡＬユニットの先頭位置から、ＶＰＳ上の固定長符号で表わされる次の重要なシンタックスまで何バイトであるかを示すオフセット値である。

また、ＳＰＳからは、例えば、図７の（ｂ）に示すシンタックスが復号される。各シンタックスの意味は、次の通りである。なお、図７の（ｂ）に示すシンタックスはＳＰＳのシンタックスの一例であり、図７の（ｂ）に示されていない画像サイズに関する情報、クロップに関する情報や、ＳＰＳの拡張フラグ、ＳＰＳの拡張データなども含まれている。
・“video_parameter_set”は、後述のＳＰＳ識別子(seq_parameter_set_id)に該当するＳＰＳが参照するＶＰＳを特定するＶＰＳ識別子（video_parameter_set_id）である。
・“sps_max_sub_layers_minus1”は、対象レイヤの時間スケーラビリティに関するサブレイヤ数の上限値MaxNumSubLayersを算出するために用いるシンタックスである。なお、サブレイヤ数の上限値MaxNumSubLayersは、MaxNumSubLayers = sps_max_sub_layers_minus1 + 1 によって表わされる。
・“sps_reserved_zero_bit”は、将来HEVCを拡張する際に予約されたシンタックスである。
・“profile_tier_level(X,Y)”は、対象レイヤの符号化データＤＡＴＡ＃Ｔに関するプロファイル情報及びレベル情報を表わすシンタックスである。なお、引数Xは、プロファイル情報提示フラグProfilePresentFlagの値であり、引数Yは、サブレイヤ数の上限値−１の値、すなわちMaxNumSubLayersMinus1である。なお、ＳＰＳで規定されるプロファイル／レベル情報には、デコーダが、対象レイヤ、および対象レイヤに付随するサブレイヤを復号するのに必要とするプロファイル／レベル情報が設定されている。なお、ＳＰＳに含まれるプロファイル／レベル情報profile_tier_level()は、後述のプロファイル／レベル情報復号部１２１１において復号される。
・”seq_parameter_set_id”は、各ＳＰＳを識別するための識別子である。

ヘッダ情報復号部１２１は、さらに、ＶＰＳやＳＰＳに含まれるプロファイル／レベル情報profile_tier_level()を復号するプロファイル／レベル情報復号部１２１１を備える。プロファイル／レベル情報復号部１２１１は、プロファイル提示フラグProfilePresentFlag、およびサブレイヤ数MaxNumSubLayersを入力とし、符号化データＤＡＴＡ＃Ｔからプロファイル／レベル情報profile_tier_level()を復号する。詳細については後述する。

[予測情報復号部１２２]
予測情報復号部１２２は、各ＣＵまたはＰＵに関する予測情報を符号化データＤＡＴＡ＃Ｔから復号する。

予測情報には、例えば、ＣＵタイプまたはＰＵタイプの指定する情報、ＣＵの形状、サイズ、位置を特定するための情報が含まれる。

ＣＵがインターＣＵである場合、予測情報復号部１２２はＰＵ分割情報を符号化ＤＡＴＡ＃Ｔから復号する。加えて、各ＰＵにおいて、予測情報復号部１２２は、さらに、予測情報として、参照画像インデックス(refIdx)、推定動きベクトルインデックス(mvp_idx)、及び、動きベクトル残差(mvd)等の動き情報、モード情報を符号化データＤＡＴＡ＃Ｔから復号する。

一方、ＣＵがイントラＣＵである場合、予測情報復号部１２２は、さらに、予測情報として、（１）予測単位のサイズを指定するサイズ指定情報、および、（２）予測インデックスを指定する予測インデックス指定情報を含むイントラ予測情報を符号化データＤＡＴＡ＃Ｔから復号する。

また、予測情報復号部１２２は、さらに、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報、すなわち、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報（ＣＵの形状、サイズ、位置を特定するための情報）を符号化データＤＡＴＡ＃Ｔから復号する。

また、予測情報復号部１２２は、復号した予測情報を予測パラメータ復元部１４に供給する。

[変換係数情報復号部１２３]
変換係数情報復号部１２３は、各ブロックに関する量子化予測残差ＱＤ、及び、そのブロックを含むツリーブロックに関する量子化パラメータ差分Δｑｐを符号化データＤＡＴＡ＃Ｔから復号する。変換係数情報復号部１２３は、復号した量子化予測残差ＱＤおよび量子化パラメータ差分Δｑｐを変換係数情報としてテクスチャ復元部１５に供給する。

[ベース復号部１６]
ベース復号部１６は、参照レイヤ符号化データＤＡＴＡ＃Ｒから、対象レイヤに対応する復号画像を復号する際に参照される参照レイヤに関する情報であるベース復号情報を復号する。ベース復号情報には、ベース予測パラメータ、ベース変換係数、およびベース復号画像が含まれる。ベース復号部１６は、復号したベース復号情報を予測パラメータ復元部１４およびテクスチャ復元部１５に供給する。

［予測パラメータ復元部１４］
予測パラメータ復元部１４は、予測情報およびベース復号情報を用いて、予測パラメータを復元する。予測パラメータ復元部１４は、復元した予測パラメータを、テクスチャ復元部１５に供給する。なお、予測パラメータ復元部１４は、予測パラメータを復元する際に、テクスチャ復元部１５が備えるフレームメモリ１５５（後述）に格納されたインター予測パラメータを参照することができる。

[テクスチャ復元部１５]
テクスチャ復元部１５は、変換係数情報、ベース復号情報および予測パラメータを用いて、復号画像ＰＯＵＴ＃Ｔを生成し、外部に出力する。なお、テクスチャ復元部１５では、復元された復号画像に関する情報が、内部に備えるフレームメモリ１５５（後述）に格納される。

以下において、ベース復号部１６、予測パラメータ復元部１４、およびテクスチャ復元部１５それぞれの詳細について説明する。

（予測パラメータ復元部）
図８を用いて、予測パラメータ復元部１４の詳細構成について説明する。図８は、予測パラメータ復元部１４の構成について例示した機能ブロック図である。

図８に示すように、予測パラメータ復元部１４は、予測タイプ選択部１４１、スイッチ１４２、イントラ予測パラメータ復元部１４３、インター予測パラメータ復元部１４５を備える。

予測タイプ選択部１４１は、ＣＵタイプまたはＰＵタイプに応じてスイッチ１４２に切り替え指示を送り予測パラメータの導出処理を制御する。具体的には以下のとおりである。

イントラＣＵまたはイントラＰＵが指定されている場合、予測タイプ選択部１４１はイントラ予測パラメータ復元部１４３を用いて予測パラメータを導出できるようスイッチ１４２を制御する。

インターＣＵおよびインターＰＵのいずれかが指定されている場合、予測タイプ選択部１４１はインター予測パラメータ復元部１４５を用いて予測パラメータを導出できるようスイッチ１４２を制御する。

スイッチ１４２は、予測タイプ選択部１４１の指示に応じて、予測情報を、イントラ予測パラメータ復元部１４３、およびインター予測パラメータ復元部１４５のいずれかに供給する。予測情報の供給先において予測パラメータが導出される。

イントラ予測パラメータ復元部１４３は、ベース復号情報または予測情報から予測モードを導出する。すなわち、イントラ予測パラメータ復元部１４３が予測パラメータとして復元するのは予測モード（イントラ予測モード）である。

なお、イントラ予測モードには、 “Intra_Planar（プラナー予測モード、平面予測モード）”、 “Intra DC(イントラＤＣ予測モード)”、 “Intra Angular（方向予測）”、輝度の予測に基づいて色差の予測を行う“Intra From Luma”等がある。

インター予測パラメータ復元部１４５は、対象ＣＵ（ＰＵ）がインターＣＵ（インターＰＵ）である場合、予測情報、ベース復号情報、およびフレームメモリに格納された復号済インター予測パラメータから、インター予測パラメータを復元する。より具体的には、インター予測パラメータ復元部１４５は、まず、ベース復号情報を用いて、レイヤ内動き推定処理、または、レイヤ間動き推定処理により推定動きベクトルの候補を導出する。続いて、動きベクトル残差（mvd）、推定動きベクトルインデックス（mvp_idx）、インター予測フラグ（inter_pred_flag）および、参照画像インデックス（refIdx）を取得する。そして、インター予測フラグの値に基づいて、参照画像リストＬ０と参照画像リストＬ１各々について参照画像リスト利用フラグを決定する。続いて、対応する参照画像リスト利用フラグが、当該参照画像を利用することを示している場合、インター予測パラメータ復元部１４５は、推定動きベクトルインデックスの値に基づいて、推定動きベクトルを導出するとともに、動きベクトル残差と推定動きベクトルとに基づいて動きベクトルを導出する。インター予測パラメータ復元部１４５は、導出した動きベクトルと、参照画像リスト利用フラグ、および、参照画像インデックスと合わせてインター予測パラメータとして出力する。

（テクスチャ復元部）
図９を用いて、テクスチャ復元部１５の詳細構成について説明する。図９は、テクスチャ復元部１５の構成について例示した機能ブロック図である。

図９に示すように、テクスチャ復元部１５は、逆直交変換・逆量子化部１５１、テクスチャ予測部１５２、加算器１５３、ループフィルタ部１５４、およびフレームメモリ１５５を備える。

逆直交変換・逆量子化部１５１は、（１）可変長復号部１２から供給される変換係数情報に含まれる量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆直交変換（例えば、ＤＣＴ（Discrete Cosine Transform）変換）し、（３）逆直交変換によって得られた予測残差Ｄを加算器１５３に供給する。なお、量子化予測残差ＱＤを逆量子化する際に、逆直交変換・逆量子化部１５１は、変換係数情報に含まれる量子化パラメータ差分Δｑｐから量子化ステップＱＰを導出する。量子化パラメータｑｐは、直前に逆量子化／逆直交変換したツリーブロックに関する量子化パラメータｑｐ’に量子化パラメータ差分Δｑｐを加算することによって導出でき、量子化ステップＱＰは、量子化パラメータｑｐからＱＰ＝２^ｑｐ／６によって導出できる。また、逆直交変換・逆量子化部１５１による予測残差Ｄの生成は、ブロック（変換単位）を単位として行われる。

テクスチャ予測部１５２は、予測パラメータに応じて、ベース復号情報に含まれるベース復号画像またはフレームメモリに格納されている復号済みの復号画像を参照し、予測画像を生成する。

テクスチャ予測部１５２は、より詳細には、インター予測部１５２Ａ、レイヤ内イントラ予測部１５２Ｂ、およびレイヤ間イントラ予測部１５２Ｃを備える。

インター予測部１５２Ａは、各インター予測パーティションに関する予測画像をインター予測により生成する。具体的には、インター予測部１５２Ａは、インター予測パラメータ復元部１４５から予測パラメータとして供給されるインター予測パラメータを用いて、参照画像から予測画像を生成する。

レイヤ内イントラ予測部１５２Ｂは、各イントラ予測パーティションに関する予測画像をレイヤ内イントラ予測により生成する。具体的には、レイヤ内イントラ予測部１５２Ｂは、イントラ予測パラメータ復元部１４３から予測パラメータとして供給される予測パラメータを用いて、対象パーティションにおいて復号済みの復号画像から予測画像を生成する。

レイヤ間イントラ予測部１５２Ｃは、各イントラ予測パーティションに関する予測画像をレイヤ間イントラ予測により生成する。具体的には、レイヤ間イントラ予測部１５２Ｃは、イントラ予測パラメータ復元部１４３から予測パラメータとして供給されるイントラ予測パラメータを用いて、ベース復号情報に含まれるベース復号画像に基づいて予測画像を生成する。ベース復号画像は、対象レイヤの解像度に合わせて適宜アップサンプリングされてもよい。

テクスチャ予測部１５２は、インター予測部１５２Ａ、レイヤ内イントラ予測部１５２Ｂまたはレイヤ間イントラ予測部１５２Ｃが生成した予測画像を加算器１５３に供給する。

加算器１５３は、テクスチャ予測部１５２予測画像と、逆直交変換・逆量子化部１５１から供給された予測残差Ｄとを加算することによって復号画像を生成する。

ループフィルタ部１５４は、加算器１５３から供給される復号画像に対し、デブロッキング処理や、適応フィルタパラメータによるフィルタ処理を施すものである。

フレームメモリ１５５は、ループフィルタ部１５４によるフィルタ済み復号画像を格納する。

（ベース復号部）
図１０を用いて、ベース復号部１６の詳細構成について説明する。図１０は、ベース復号部１６の構成について例示した機能ブロック図である。

図１０に示すように、ベース復号部１６は、可変長復号部１６１、ベース予測パラメータ復元部１６２、ベース変換係数復元部１６３、およびベーステクスチャ復元部１６４を備える。

可変長復号部１６１は、参照レイヤ符号化データＤＡＴＡ＃Ｒに含まれるバイナリから各種のシンタックス値を復号するための情報の復号処理を行う。

具体的には、可変長復号部１６１は、ヘッダ情報、予測情報および変換係数情報を符号化データＤＡＴＡ＃Ｒから復号する。可変長復号部１６１が復号するヘッダ情報、予測情報および変換係数のシンタックスは、可変長復号部１２と同様であるのでここではその詳細な説明を省略する。

可変長復号部１６１は、復号した予測情報をベース予測パラメータ復元部１６２に供給するとともに、復号した変換係数情報をベース変換係数復元部１６３に供給する。

ベース予測パラメータ復元部１６２は、可変長復号部１６１から供給される予測情報に基づいて、ベース予測パラメータを復元する。ベース予測パラメータ復元部１６２が、ベース予測パラメータを復元する方法については、予測パラメータ復元部１４と同様であるので、ここではその詳細な説明を省略する。ベース予測パラメータ復元部１６２は、復元したベース予測パラメータを、ベーステクスチャ復元部１６４に供給するとともに、外部に出力する。

ベース変換係数復元部１６３は、可変長復号部１６１から供給される変換係数情報に基づいて、変換係数を復元する。ベース変換係数復元部１６３が変換係数を復元する方法については、逆直交変換・逆量子化部１５１と同様であるので、ここではその詳細な説明を省略する。ベース変換係数復元部１６３は、復元したベース変換係数を、ベーステクスチャ復元部１６４に供給するとともに、外部に出力する。

ベーステクスチャ復元部１６４は、ベース予測パラメータ復元部１６２から供給されるベース予測パラメータと、ベース変換係数復元部１６３から供給されるベース変換係数とを用いて、復号画像を生成する。具体的には、ベーステクスチャ復元部１６４は、ベース予測パラメータに基づき、テクスチャ予測部１５２と同様のテクスチャ予測を行って、予測画像を生成する。また、ベーステクスチャ復元部１６４は、ベース変換係数に基づいて予測残差を生成し、生成した予測残差と、テクスチャ予測により生成した予測画像とを加算することでベース復号画像を生成する。

なお、ベーステクスチャ復元部１６４は、ベース復号画像に対して、ループフィルタ部１５４と同様のフィルタ処理を施してもよい。また、ベーステクスチャ復元部１６４は、復号済みのベース復号画像を格納するためのフレームメモリを備えていてもよく、テクスチャ予測においてフレームメモリに格納されている復号済みのベース復号画像を参照してもよい。
＜＜実施例１＞＞
＜＜プロファイル／レベル情報復号部１２１１の詳細＞＞
次に、実施例１に係るプロファイル／レベル情報復号部１２１１の詳細について、図１、図１１、図１２を用いて説明する。

図１は、プロファイル／レベル情報復号部１２１１の構成について例示した機能ブロック図である。

図１に示すように、プロファイル／レベル情報復号部１２１１は、プロファイル情報復号部１２２１ａ、レベル情報復号部１２２１ｂ、サブレイヤプロファイル提示フラグ復号部１２２１ｃ、サブレイヤレベル提示フラグ復号部１２２１ｄ、およびバイトアラインデータ復号部１２２１ｅを備える。

[プロファイル情報復号部１２２１ａ]
プロファイル情報復号部１２２１ａは、プロファイル提示フラグProfilePresentFlagに基づいて、符号化データＤＡＴＡ＃Ｔより対象レイヤのプロファイル情報を復号し出力する。具体的には、プロファイル提示フラグProfilePresentFlagが１の場合、対象レイヤのプロファイル情報を符号化データＤＡＴＡ＃Ｔより復号する。プロファイル提示フラグProfilePresentFlagが０の場合、プロファイル情報が、復号済のＶＰＳ、または、下位レイヤ（例えば、基本レイヤ）のプロファイル情報と等しいと判断し、復号済のＶＰＳ、または下位レイヤのプロファイル情報を対象レイヤのプロファイル情報として出力する。なお、複数レイヤで参照されるＶＰＳ、基本レイヤにおけるＳＰＳにおいては、必ずプロファイル情報が符号化側においてシグナルされる。

また、プロファイル情報復号部１２２１ａは、プロファイル提示フラグProfilePresentFlag、サブレイヤ数MaxNumSubLayers、及びサブレイヤプロファイル提示フラグ復号部１２２１ｃより供給される各サブレイヤのサブレイヤプロファイル提示フラグsub_layer_profile_present_flag[i]に基づいて、符号化データＤＡＴＡ＃Ｔより対象レイヤに含まれる各サブレイヤのサブレイヤプロファイル情報を復号し出力する。具体的には、プロファイル提示フラグが１、かつ、サブレイヤi（temporalId=i+1）のサブレイヤプロファイル提示フラグが１の場合、復号済プロファイル情報とサブレイヤプロファイル情報が異なると判断し、符号化データＤＡＴＡ＃Ｔよりサブレイヤiのサブレイヤプロファイル情報を復号する。それ以外の場合は、サブレイヤiのサブレイヤプロファイル情報が、対象レイヤの復号済プロファイル情報と同じであると判断し、対象レイヤの復号済プロファイル情報をサブレイヤプロファイル情報として出力する。

[レベル情報復号部１２２１ｂ]
レベル情報復号部１２２１ｂは、符号化データＤＡＴＡ＃Ｔより対象レイヤのレベル情報を復号し出力する。また、レベル情報復号部１２２１ｂは、サブレイヤ数MaxNumSubLayers、及びサブレイヤレベル提示フラグ復号部１２２１ｄより供給される各サブレイヤのサブレイヤレベル提示フラグsub_layer_level_present_flag[i]に基づいて、符号化データＤＡＴＡ＃Ｔより対象レイヤに含まれる各サブレイヤのサブレイヤレベル情報を復号し出力する。具体的には、サブレイヤレベル提示フラグsub_layer_level_present_flag[i]が１の場合、サブレイヤi（temporalId=i+1）のサブレイヤレベル情報が、対象レイヤの復号済レベル情報と異なると判断し、符号化データＤＡＴＡ＃Ｔよりサブレイヤiのサブレイヤレベル情報を復号し出力する。それ以外の場合（サブレイヤレベル提示フラグsub_layer_level_present_flag[i]が０）、対象レイヤの復号済レベル情報とサブレイヤiのサブレイヤレベル情報が同じであると判断し、対象レイヤの復号済レベル情報をサブレベルiのサブレイヤレベル情報として出力する。

[サブレイヤプロファイル提示フラグ復号部１２２１ｃ]
サブレイヤプロファイル提示フラグ復号部１２２１ｃは、サブレイヤ数MaxNumSubLayersに基づいて、符号化データＤＡＴＡ＃Ｔより対象レイヤに含まれる各サブレイヤのサブレイヤプロファイル提示フラグを復号し、プロファイル情報復号部１２２１ａ、および外部へ出力する。

[サブレイヤレベル提示フラグ復号部１２２１ｄ]
サブレイヤレベル提示フラグ復号部１２２１ｄは、サブレイヤ数MaxNumSubLayersに基づいて、符号化データＤＡＴＡ＃Ｔより対象レイヤに含まれる各サブレイヤのサブレイヤレベル提示フラグを復号し、レベル情報復号部１２２１ｂ、および外部へ出力する。

[バイトアラインデータ復号部１２２１ｅ]
バイトアラインデータ復号部１２２１ｅは、符号化データ上の現在位置（ビット単位）がバイト境界上に位置する、すなわち、符号化データ上の現在位置の次の位置にあるビットがバイトの先頭ビット（最初に読みだされるビット）となるまで、１ビット単位でバイトアラインデータalignment_bitを符号化データから読み出す（復号する）。

（プロファイル／レベル情報profile_tier_level()の復号処理の流れ）
図１１は、プロファイル／レベル情報復号部１２１１において復号されるプロファイル／レベル情報profile_tier_level()のシンタックスのデータ構造を表し、図１２は、図１１に示すプロファイル／レベル情報profile_tier_level()の復号処理を示すフロー図である。以下、プロファイル／レベル情報復号部１２１１の動作について説明する。なお、図１１において、図３０と比べて、シンタックスまたはステートメントの追加および削除を施した箇所をそれぞれ、網掛け、取り消し線にて示している。以降の図１５、１６、１７において同様である。

（ステップＳＡ１０１） プロファイル情報復号部１２２１ａは、プロファイル提示フラグProfilePresentFlagが１であるか判別する。プロファイル提示フラグProfilePresentFlagが１の場合（ステップＳＡ１０１においてＹｅｓ）の場合、ステップＳＡ１０２へ進み、それ以外の場合（ステップＳＡ１０１においてＮｏ）の場合、ステップＳＡ１０３へ進む。

（ステップＳＡ１０２）
プロファイル情報復号部１２２１ａは、符号化データＤＡＴＡ＃Ｔから、図１１に示すシンタックス、
・プロファイル空間general_profile_space
・ティアフラグgeneral_tier_flag
・プロファイル識別子general_profile_idc
・プロファイル互換フラグgeneral_profile_compatibility_flag[ i ]
・プロファイル予約シンタックスgeneral_reserved_zero_16bits
を復号し、対象レイヤのプロファイル情報として出力する。

（ステップＳＡ１０３）
プロファイル情報復号部１２２１ａは、対象レイヤのプロファイル情報が、ＶＰＳ、または、下位レイヤ（例えば、基本レイヤ）のプロファイル情報と等しいと判断し、ＶＰＳ、または、下位レイヤのプロファイル情報を対象レイヤのプロファイル情報へ設定して出力する。

（ステップＳＡ１０４)
レベル情報復号部１２２１は、符号化データＤＡＴＡ＃Ｔから、図１１に示すシンタックス、
・レベル識別子general_level_idc
を復号し、対象レイヤのレベル情報として出力する。

（ステップＳＡ１０５）
サブレイヤのサブレイヤプロファイル提示フラグ、およびサブレイヤレベル提示フラグの復号に関するループの開始である。ループの開始前に、変数iは０に初期化される。ループ内の処理は、変数iがサブレイヤ数−１、“MaxNumSubLayers - 1”未満のときに実行され、ループ内の処理が１回実行される度に、変数iは“1”増分される。

（ステップＳＡ１０６）
サブレイヤプロファイル提示フラグ復号部１２２１ｃは、符号化データＤＡＴＡ＃Ｔから、変数iで指定されるサブレイヤに関するサブレイヤプロファイル提示フラグsub_layer_profile_present_flag[i]を復号し出力する。

サブレイヤレベル提示フラグ復号部１２２１ｄは、符号化データＤＡＴＡ＃Ｔから、変数iで指定されるサブレイヤに関するサブレイヤレベル提示フラグsub_layer_level_present_flag[i]を復号し出力する。

（ステップＳＡ１０７)
サブレイヤのサブレイヤプロファイル提示フラグ、およびサブレイヤレベル提示フラグの復号に関するループの終端である。

（ステップＳＡ１０８）
バイトアラインデータ復号部１２２１ｅは、符号化データよりバイトアラインデータを復号し、復号開始点を次のシンタックスの復号開始点（先頭ビット）へ移動する。より具体的には、符号化データ上の現在位置（ビット単位）がバイト境界上に位置する、すなわち、符号化データ上の現在位置の次の位置にあるビットがバイトの先頭ビット（最初に読みだされるビット）となるまで、１ビット単位でバイトアラインデータalignment_bitを符号化データから読み出す。なお、alignment_bitの値は、０または１であるが、いずれか一方に統一することが望ましい。

疑似コードＡで示せば、次の通りである。ここで、関数byte_aligned()は、符号化データ上の現在位置（ビット単位）がバイト境界上であるか否かを判定する処理であり、符号化データ上の現在位置がバイト境界上である場合は、”真”と判定し、それ以外の場合は、“偽”と判定する。また、関数read_bits( N )は、引数Nで指定されたビット数だけ、符号化データよりビット列を読み出す処理である。
== 疑似コードＡ 開始==========================================================
while ( !byte_aligned() ){
read_bits( 1 )
}
== 疑似コードＡ 終わり=========================================================
なお、実際に読み出さずに、符号化データ上の現在位置から次に復号するシンタックスの復号開始点までのオフセットを演算により求め、そのオフセットが示すビット数分だけ移動してもよい。オフセットは次の式により求まる。

offset = 8 - ( 2 * (MaxNumSubLayers - 1) % 8 )
具体的には、ステップＳＡ１０５〜ステップＳＡ１０７において、サブレイヤ毎に復号されるサブレイヤプロファイル提示フラグとサブレイヤレベル提示フラグの符号量は各１ビット、計２ビットであり、サブレイヤ数はMaxNumSubLayersであるため、ステップＳＡ１０５〜ステップＳＡ１０７で復号される符号量の総和は、2 * (MaxNumSubLayers - 1)である。従って、オフセットは、 “8−（前記符号量の総和を8で除算した残余）”により定まる。

（ステップＳＡ１０９）
サブレイヤのサブレイヤプロファイル情報、およびサブレイヤレベル情報の復号に関するループの開始点である。ループの開始前に、変数iは０に初期化される。ループ内の処理は、変数iがサブレイヤ数−１、“MaxNumSubLayers - 1”未満のときに実行され、ループ内の処理が１回実行される度に、変数iは”1”増分される。

（ステップＳＡ１１０）
プロファイル情報復号部１２２１ａは、プロファイル提示フラグProfilePresentFlagと、変数iで指定されるサブレイヤのサブレイヤプロファイル提示フラグsub_layer_profile_present_flag[i]が両方とも１であるかを判定する。プロファイル提示フラグおよびサブレイヤプロファイル提示フラグが両方とも１の場合（ステップＳＡ１１０においてＹｅｓ）、ステップＳＡ１１１へ進み、それ以外の場合（ステップＳＡ１１０においてＮｏ）、ステップＳＡ１１２へ進む。

（ステップＳＡ１１１）
プロファイル情報復号部１２２１ａは、符号化データＤＡＴＡ＃Ｔより、変数iで指定されるサブレイヤのサブレイヤプロファイル情報として、
・サブレイヤプロファイル空間sub_layer_profile_space[ i ]
・サブレイヤティアフラグsub_layer_tier_flag[ i ]
・サブレイヤプロファイル識別子sub_layer_profile_idc[ i ]
・サブレイヤプロファイル互換フラグsub_layer_profile_compatibility_flag[ i ][ j ]
・サブレイヤプロファイル予約シンタックスsub_layer_reserved_zero_16bits[ i ]
を復号し出力する。

（ステップＳＡ１１２）
プロファイル情報復号部１２２１ａは、サブレイヤiのサブレイヤプロファイル情報が、対象レイヤのプロファイル情報と同じであると判断し、サブレイヤプロファイル情報を対象レイヤのプロファイル情報に設定し出力する。

（ステップＳＡ１１３）
レベル情報復号部１２２１ｂは、変数iで指定されるサブレイヤのサブレイヤレベル提示フラグsub_layer_level_present_flag[i]が１であるか判定する。サブレイヤレベル提示フラグが１の場合（ステップＳＡ１１３においてＹｅｓ）、ステップＳＡ１１４へ進み、それ以外の場合（ステップＳＡ１１３においてＮｏ）、ステップＳＡ１１５へ進む。

（ステップＳＡ１１４）
レベル情報復号部１２２１ｂは、符号化データＤＡＴＡ＃Ｔより、変数iで指定されるサブレイヤのサブレイヤレベル情報として、
・サブレイヤレベル識別子sub_layer_level_idc[ i ]
を復号し出力する。

（ステップＳ１１５）
レベル情報復号部１２２１ｂは、サブレイヤiのサブレイヤレベル情報が、対象レイヤのレベル情報と同じであると判断し、サブレイヤレベル情報を対象レイヤのレベル情報に設定し出力する。

（ステップＳＡ１１６）
サブレイヤのサブレイヤプロファイル情報、およびサブレイヤレベル情報の復号に関するループの終端である。

以上、実施例１に係るプロファイル／レベル情報復号部１２１１の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。

また、図１１に示すプロファイル／レベル情報のデータ構造には、以下の特徴がある。

図１１に示す符号ＳＹＮＡ１０２を付したシンタックス部分、すなわち、各サブレイヤに対応するサブレイヤプロファイル提示フラグとサブレイヤレベル提示フラグを、図１１に示す符号ＳＹＮＡ１０３を付したシンタックス部分、すなわち、各サブレイヤに対応するサブレイヤプロファイル情報とサブレイヤレベル情報とを分離してシグナルし、双方の間にバイトアラインするためのデータ（バイトアラインデータ）を挿入している。従って、図１１上に示す符号ＳＹＮＡ１０１を付したシンタックス部分、符号ＳＹＮＡ１０２を付したシンタックス部分、符号ＳＹＮＡ１０３を付したシンタックス部分において、すべてバイトアラインされている。

従って、従来技術に比べて、サブレイヤプロファイル提示フラグおよびサブレイヤレベル提示フラグ、サブレイヤプロファイル情報、サブレイヤレベル情報を復号／符号化する際の読み出し／書き出しに関するメモリアクセスの回数を低減させることができる。プロファイル／レベル情報に係る復号／符号化に要する処理量を低減させる効果を奏する。

また、図１１上の符号ＳＹＮＡ１０４を付した位置から、特定のサブレイヤＸに関するサブレイヤプロファイル情報およびサブレイヤレベル情報（図１１上の符号ＳＹＮ１０３を付したシンタックス部分)の復号開始点までのバイト単位のオフセットbyte_offsetを、サブレイヤプロファイル提示フラグの値、およびサブレイヤプロファイル情報の符号量（７バイト（54ビット）)、サブレイヤレベル提示フラグの値、およびサブレイヤプロファイル情報の符号量（１バイト（8ビット)）に基づいて次の疑似コードＢにより算出することができる。なお、バイト単位のオフセットの代わりに、ビット単位のオフセットを算出してもよい。
== 疑似コードＢ 開始==========================================================
byte_offset = 0
for(i=0; i<X; i++){
byte_offset = byte_offset +
(sub_layer_profile_present_flag[i] * 7 + sub_layers_level_present_flag[i] * 1 )
}
== 疑似コードＢ 終わり=========================================================
従って、サブレイヤＸより前のサブレイヤのサブレイヤプロファイル情報／サブレイヤプロファイル情報を復号せずとも、サブレイヤＸのサブレイヤプロファイル情報／サブレイヤプロファイル情報の復号開始点を計算により容易に特定でき、特定サブレイヤＸのみのサブレイヤプロファイル情報／サブレイヤレベル情報を容易に抽出することができる。すなわち、サブレイヤプロファイル情報／サブレイヤレベル情報に係る復号に要する処理量を低減させる効果を奏する。

また、対象レイヤのプロファイル情報、およびレベル情報を復号した時点で、デコーダが対象レイヤの符号化データを復号可能であると分かれば、対象レイヤに属する各サブレイヤのプロファイル情報／レベル情報を復号せずとも、各サブレイヤの符号化データを復号可能なことが自明である。従って、上記構成の場合、サブレイヤのプロファイル情報／レベル情報の符号量を容易に特定することができるため、サブレイヤのプロファイル情報／レベル情報の復号を省略することが可能である。

＜＜プロファイル／レベル情報復号部１２１１の変形例１＞＞
次に、実施例１に係るプロファイル／レベル情報復号部１２１１の変形例１について、図１３、図１４を用いて説明する。

変形例１に係るプロファイル／レベル情報復号部１２１１’は、図１と同様の構成であるため、説明を省略する。

図１３は、プロファイル／レベル情報復号部１２１１’において復号されるプロファイル／レベル情報profile_tier_level()のシンタックスのデータ構造を表わし、図１４は、図１３に示すシンタックスの復号処理を示すフロー図である。変形例１に係る図１３に示すプロファイル／レベル情報と、実施例１に係る図１１に示すプロファイル／レベル情報のデータ構造の違いは、以下の通りである。
・図１３上のそれぞれ符号SYNA201、SYNA202を付した部分に示すように、サブレイヤプロファイル提示フラグと、サブレイヤレベル提示フラグを分離してシグナルすること。
・図１３上の符号SYNA201を付した部分に示すように、プロファイル提示フラグが１のときのみ、サブレイヤプロファイル提示フラグをシグナルすること。
・図１３上の符号SYNA201、SYN202を付した部分に示すように、サブレイヤプロファイル提示フラグ、サブレイヤレベル提示フラグの後に、それぞれバイトアラインデータを挿入すること。

従って、従来技術と比べて、変形例１では、プロファイル提示フラグProfilePresentFlagが０の場合に、サブレイヤのサブレイヤプロファイル提示フラグをシグナルしないため、サブレイヤのサブレイヤプロファイル提示フラグが冗長にシグナルされるという問題点を解消することができる。すなわち、プロファイル／レベル情報の冗長性（符号量）を削減する効果を奏する。

また、実施例１と同様に、変形例１においても、プロファイル／レベル情報が全てバイトアラインされるため、サブレイヤプロファイル提示フラグおよびサブレイヤレベル提示フラグ、サブレイヤプロファイル情報、サブレイヤレベル情報を復号／符号化する際の読み出し／書き出しに関するメモリアクセスの回数を低減させることができる。すなわち、プロファイル／レベル情報に係る復号／符号化に要する処理量を低減させる効果を奏する。

また、実施例１と同様に、変形例１も、特定サブレイヤＸのみのサブレイヤプロファイル情報／サブレイヤレベル情報を容易に抽出することができる。すなわち、サブレイヤプロファイル情報／サブレイヤレベル情報に係る復号に要する処理量を低減させる効果を奏する。

以下、図１４を用いて、変形例１に係るプロファイル／レベル情報復号部１２１１’の動作について説明する。なお、プロファイル情報／レベル情報の復号処理は、図１２のステップＳＡ１０１〜ＳＡ１０４と共通のため説明を省略する。また、サブレイヤプロファイル情報／サブレイヤレベル情報の復号処理は、図１２のステップＳＡ１０８〜ステップＳＡ１１６と共通のため説明を省略する。

（ステップＳＡ１２１）
サブレイヤプロファイル提示フラグ復号部１２２１ｃは、プロファイル提示フラグが１であるか判定する。プロファイル提示フラグが１の場合（ステップＳＡ１２１においてＹｅｓ）は、ステップＳＡ１２２〜ＳＡ１２５の処理を行う。それ以外の場合（ステップＳＡ１２１においてＮｏ）は、ステップＳＡ１２６へ進む。

（ステップＳＡ１２２）
サブレイヤのサブレイヤプロファイル提示フラグの復号に関するループの開始である。ループの開始前に、変数iは０に初期化される。ループ内の処理は、変数iがサブレイヤ数−１、“MaxNumSubLayers - 1”未満のときに実行され、ループ内の処理が１回実行される度に、変数iは“1”増分される。

（ステップＳＡ１２３）
サブレイヤプロファイル提示フラグ復号部１２２１ｃは、符号化データＤＡＴＡ＃Ｔから、変数iで指定されるサブレイヤに関するサブレイヤプロファイル提示フラグsub_layer_profile_present_flag[i]を復号し出力する。

（ステップＳＡ１２４)
サブレイヤのサブレイヤプロファイル提示フラグの復号に関するループの終端である。

（ステップＳＡ１２５）
バイトアラインデータ復号部１２２１ｅは、符号化データよりバイトアラインデータを復号し、復号開始点を次のシンタックスの復号開始点（先頭ビット）へ移動する。

（ステップＳＡ１２６）
プロファイル提示フラグが０の場合（ステップＳＡ１２１においてＮｏ）、サブレイヤプロファイル提示フラグ復号部１２２１ｃは、各サブレイヤiのサブレイヤプロファイル提示フラグsub_layer_profile_present_flag[i]を０に設定し出力する。

（ステップＳＡ１２７）
サブレイヤのサブレイヤレベル提示フラグの復号に関するループの開始である。ループの開始前に、変数iは０に初期化される。ループ内の処理は、変数iがサブレイヤ数−１、“MaxNumSubLayers - 1”未満のときに実行され、ループ内の処理が１回実行される度に、変数iは“1”増分される。

（ステップＳＡ１２８）
サブレイヤレベル提示フラグ復号部１２２１ｄは、符号化データＤＡＴＡ＃Ｔから、変数iで指定されるサブレイヤに関するサブレイヤレベル提示フラグsub_layer_level_present_flag[i]を復号し出力する。

（ステップＳＡ１２９)
サブレイヤレベル提示フラグの復号に関するループの終端である。

（ステップＳＡ１３０）
バイトアラインデータ復号部１２２１ｅは、符号化データよりバイトアラインデータを復号し、復号開始点を次のシンタックスの復号開始点（先頭ビット）へ移動する。

＜＜プロファイル／レベル情報復号部１２１１の変形例２＞＞
次に、実施例１に係るプロファイル／レベル情報復号部１２１１の変形例２について、図１３、図１４を用いて説明する。

変形例２に係るプロファイル／レベル情報復号部１２１１’’は、図１と同様の構成であるため、説明を省略する。

図１５は、プロファイル／レベル情報復号部１２１１’’において復号されるプロファイル／レベル情報profile_tier_level()のシンタックスのデータ構造を表わし、図１２は、図１５に示すシンタックスの復号処理を示すフロー図である。変形例２に係る図１５に示すプロファイル／レベル情報と、実施例１に係る図１１に示すプロファイル／レベル情報のデータ構造の違いは、以下の通りである。
・図１５上のそれぞれ符号SYNA302、SYNA304を付した部分に示すように、レベル情報に関連するシンタックス、ティアフラグgeneral_tier_flag／サブレイヤティアフラグsub_layer_tier_flag[i]が、プロファイル提示フラグProfilePresentFlag／サブレイヤプロファイル提示フラグsub_layer_profile_present_flag[i]に依存しないようにシグナルされる。具体的には、ティアフラグgeneral_tier_flagとレベル識別子general_level_idcとを一緒にシグナルするとともに、サブレイヤティアフラグsub_layer_tier_flag[i]とサブレイヤレベル識別子sub_layer_level_idc[i]を一緒にシグナルする。従って、従来技術と比べて、プロファイル提示フラグProfilePresentFlagの値によらず、デコーダはレベル識別子general_level_idcとティアフラグgeneral_tier_flagによって定まるレベルの制約を取得することが可能となる。同様に、サブレイヤにおいても、プロファイル提示フラグとサブレイヤプロファイル提示フラグの値によらず、デコーダは、サブレイヤレベル識別子sub_layer_level_idc[ i ]とサブレイヤティアフラグsub_layer_tier_flag[ i ]によって定まるレベルの制約を取得することができる。また、局所的にレベル識別子とティアフラグを一緒にシグナルすることで、デコーダが符号化データを復号可能であるかを容易に特定することが可能となる。
・プロファイル／レベル情報に関して全てバイトアラインされるよう、図１５上の符号SYNA301に示すプロファイル空間general_profile_space、及び、符号SYNA303に示すサブレイヤプロファイル空間sub_layer_profile_space[i]の符号長を２ビットから３ビットへ、図１５上の符号SYNA305に示すレベル識別子general_level_idc、及び符号SYNA306に示すサブレイヤレベル識別子の符号長を８ビットから７ビットへ変更している。従って、実施例１と同様に、変形例２においても、プロファイル／レベル情報が全てバイトアラインされるため、プロファイル／レベル情報の各シンタックスを復号／符号化する際の読み出し／書き出しに関するメモリアクセスの回数を低減させることができる。すなわち、プロファイル／レベル情報に係る復号／符号化に要する処理量を低減させる効果を奏する。なお、レベル識別子／サブレイヤレベル識別子の符号長を７ビットへ変更しても、０〜１２７までの値をとることができるため、今後のレベル数の拡張に十分対応可能である。また、プロファイル空間の符号長を３ビットへ変更することで、０〜７までの値をとることができ、今後のプロファイルの拡張にさらに柔軟性をもたせることが可能である。

また、実施例１と同様に、変形例２も、特定サブレイヤＸのみのサブレイヤプロファイル情報／サブレイヤレベル情報を容易に抽出することができる。すなわち、サブレイヤプロファイル情報／サブレイヤレベル情報に係る復号に要する処理量を低減させる効果を奏する。

また、実施例１と同様に、変形例２も、対象レイヤのプロファイル情報、およびレベル情報を復号した時点で、デコーダが対象レイヤの符号化データを復号可能であると分かれば、サブレイヤのプロファイル情報／レベル情報の符号量を容易に特定することができるため、サブレイヤのプロファイル情報／レベル情報の復号を省略することが可能である。

（プロファイル／レベル情報profile_tier_level()の復号処理の流れ）
以下、図１２を用いて、変形例２に係るプロファイル／レベル情報復号部１２１１’’の動作について説明する。なお、プロファイル情報／レベル情報の復号処理は、図１２のうち、動作が異なるステップＳＡ１０２、ＳＡ１０４、ＳＡ１１１、ＳＡ１１４のみ説明する。それ以外のステップは共通のため説明を省略する。すなわち、以下の説明では、図１２のステップＳＡ１０２、ＳＡ１０４、ＳＡ１１１、ＳＡ１１４を、それぞれ、ステップＳＡ１０２’、ＳＡ１０４’、ＳＡ１１１’、ＳＡ１１４’と読み替える。

（ステップＳＡ１０２’）
プロファイル情報復号部１２２１ａは、符号化データＤＡＴＡ＃Ｔから、図１５に示すシンタックス、
・プロファイル空間general_profile_space
・プロファイル識別子general_profile_idc
・プロファイル互換フラグgeneral_profile_compatibility_flag[ i ]
・プロファイル予約シンタックスgeneral_reserved_zero_16bits
を復号し、対象レイヤのプロファイル情報として出力する。

（ステップＳＡ１０４’）
レベル情報復号部１２２１は、符号化データＤＡＴＡ＃Ｔから、図１５に示すシンタックス、
・レベル識別子general_level_idc
・ティアフラグgeneral_tier_flag
を復号し、対象レイヤのレベル情報として出力する。

（ステップＳＡ１１１’）
プロファイル情報復号部１２２１ａは、符号化データＤＡＴＡ＃Ｔより、変数iで指定されるサブレイヤのサブレイヤプロファイル情報として、
・サブレイヤプロファイル空間sub_layer_profile_space[ i ]
・サブレイヤプロファイル識別子sub_layer_profile_idc[ i ]
・サブレイヤプロファイル互換フラグsub_layer_profile_compatibility_flag[ i ][ j ]
・サブレイヤプロファイル予約シンタックスsub_layer_reserved_zero_16bits[ i ]
を復号し出力する。

（ステップＳＡ１１４’）
レベル情報復号部１２２１ｂは、符号化データＤＡＴＡ＃Ｔより、変数iで指定されるサブレイヤのサブレイヤレベル情報として、
・サブレイヤレベル識別子sub_layer_level_idc[ i ]
・サブレイヤティアフラグsub_layer_tier_flag [ i ]
を復号し出力する。

＜＜プロファイル／レベル情報復号部１２１１の変形例２ａ＞＞
なお、変形例２では、プロファイル／レベル情報のバイトアラインを保つために、図１５上の符号SYNA305、SYNA306に示すレベル識別子／サブレイヤレベル識別子の符号長を８ビットから７ビットへ変更したが、これに限定されない。ティアtierに関するシンタックス、ティアフラグgeneral_tier_flag/sub_layer_tier_flag[i] をそれぞれ、図１６上の符号SYN302a、SYN304aに示すように、１ビットから８ビットへ拡張した、ティア識別子general_tier_idc/sub_layer_tier_idc[i]へ置き換えてもよい。この場合、ティアに関して、０〜２５５までの値をとるため、レベル識別子とティアにより定まるレベル制約に関するパラメータに関して拡張性を持たせることが可能である。

＜＜プロファイル／レベル情報復号部１２１１の変形例３＞＞
従来技術では、プロファイル情報に関しては、プロファイル提示フラグによって復号を省略するか否かを制御することができる。しかし、複数レイヤ利用時の場合、レイヤ間において共通のレベルをとることがあるため、レベル情報を冗長にシグナルする場合がある。そこで、レベル情報のシグナルの冗長性を削減するために、プロファイル／レベル情報profile_tier_level()のデータ構造を図１７に示すように、プロファイル提示フラグProfilePresentFlagをプロファイル情報とレベル情報を提示するか否かを表わすプロファイルレベル提示フラグProfileLevelPresentFlagへ置き換え、同様にサブレイヤプロファイル提示フラグ、サブレイヤレベル提示フラグをサブレイヤプロファイル情報とサブレイヤレベル情報を提示するか否かを表わすサブレイヤプロファイルレベル提示フラグsub_layer_profile_level_present_flagへ置き換える。

以下、変形例３におけるプロファイル／レベル情報復号部１２１１の構成について図１８を用いて説明する。図１８に示すように、プロファイル／レベル情報復号部１２１１は、プロファイル情報復号部１２２１ａ、レベル情報復号部１２２１ｂ、サブレイヤプロファイルレベル提示フラグ復号部１２２１ｆ、およびバイトアラインデータ復号部１２２１ｅを備える。なお、プロファイル情報復号部１２２１ａ、レベル情報復号部１２２１ｂ、バイトアラインデータ復号部１２２１ｅは、実施例１と同一のため、説明を省略する。ただし、実施例１におけるプロファイル提示フラグProfilePresentFlagをプロファイルレベル提示フラグProfileLevelPresentFlag、およびサブレイヤプロファイル提示フラグ／サブレイヤレベル提示フラグを、サブレイヤプロファイルレベル提示フラグへ置き換えて解釈するものとする。

[サブレイヤプロファイルレベル提示フラグ復号部１２２１ｆ]
サブレイヤプロファイルレベル提示フラグ復号部１２２１ｆは、プロファイルレベル提示フラグProfileLevelPresentFlag、およびサブレイヤ数MaxNumSubLayersに基づいて、符号化データＤＡＴＡ＃Ｔより対象レイヤに含まれる各サブレイヤのサブレイヤプロファイルレベル提示フラグを復号し、プロファイル情報復号部１２２１ａ、レベル情報復号部１２２１ｂおよび外部へ出力する。

（プロファイル／レベル情報profile_tier_level()の復号処理の流れ） 以下、図１９を用いて、変形例３に係るプロファイル／レベル情報復号部１２１１の動作を説明する。

（ステップＳＣ１０１） プロファイル情報復号部１２２１ａは、プロファイルレベル提示フラグProfilelevelPresentFlagが１であるか判別する。プロファイルレベル提示フラグProfileLevelPresentFlagが１の場合（ステップＳＣ１０１においてＹｅｓ）の場合、ステップＳＣ１０２へ進み、それ以外の場合（ステップＳＣ１０１においてＮｏ）の場合、ステップＳＣ１０３へ進む。

（ステップＳＣ１０２）
プロファイル情報復号部１２２１ａは、符号化データＤＡＴＡ＃Ｔから、
・プロファイル空間general_profile_space
・プロファイル識別子general_profile_idc
・プロファイル互換フラグgeneral_profile_compatibility_flag[ i ]
・プロファイル予約シンタックスgeneral_reserved_zero_16bits
を復号し、対象レイヤのプロファイル情報として出力する。

レベル情報復号部１２２１ｂは、符号化データＤＡＴＡ＃Ｔから、
・レベル識別子general_level_idc
・ティアフラグgeneral_tier_flag
を復号し、対象レイヤのレベル情報として出力する。

（ステップＳＣ１０３）
プロファイル情報復号部１２２１ａは、対象レイヤのプロファイル情報が、ＶＰＳ、または、下位レイヤ（例えば、基本レイヤ）のプロファイル情報と等しいと判断し、ＶＰＳ、または、下位レイヤのプロファイル情報を対象レイヤのプロファイル情報へ設定して出力する。

また、レベル情報復号部１２２１ｂは、対象レイヤのレベル情報が、ＶＰＳ、または、下位レイヤ（例えば、基本レイヤ）のレベル情報と等しいと判断し、ＶＰＳ、または、下位レイヤのレベル情報を対象レイヤのレベル情報へ設定して出力する。

（ステップＳＣ１０４）
サブレイヤのサブレイヤプロファイルレベル提示フラグの復号に関するループの開始である。ループの開始前に、変数iは０に初期化される。ループ内の処理は、変数iがサブレイヤ数−１、“MaxNumSubLayers - 1”未満のときに実行され、ループ内の処理が１回実行される度に、変数iは“1”増分される。

（ステップＳＣ１０５）
サブレイヤプロファイルレベル提示フラグ復号部１２２１ｆは、符号化データＤＡＴＡ＃Ｔから、変数iで指定されるサブレイヤに関するサブレイヤプロファイルレベル提示フラグsub_layer_profile_level_present_flag[i]を復号し出力する。

（ステップＳＣ１０６)
サブレイヤのサブレイヤプロファイルレベル提示フラグの復号に関するループの終端である。

（ステップＳＣ１０７）
バイトアラインデータ復号部１２２１ｅは、符号化データよりバイトアラインデータを復号し、復号開始点を次のシンタックスの復号開始点（先頭ビット）へ移動する。

（ステップＳＣ１０８）
サブレイヤのサブレイヤプロファイル情報、およびサブレイヤレベル情報の復号に関するループの開始点である。ループの開始前に、変数iは０に初期化される。ループ内の処理は、変数iがサブレイヤ数−１、“MaxNumSubLayers - 1”未満のときに実行され、ループ内の処理が１回実行される度に、変数iは“1”増分される。

（ステップＳＣ１０９）
プロファイル情報復号部１２２１ａは、プロファイルレベル提示フラグProfileLevelPresentFlagと、変数iで指定されるサブレイヤのサブレイヤプロファイルレベル提示フラグsub_layer_profile_level_present_flag[i]とが両方とも１であるかを判定する。プロファイルレベル提示フラグおよびサブレイヤプロファイルレベル提示フラグが両方とも１の場合（ステップＳＣ１０９においてＹｅｓ）、ステップＳＣ１１０へ進み、それ以外の場合は、ステップＳＣ１１１へ進む。

（ステップＳＣ１１０）
プロファイル情報復号部１２２１ａは、符号化データＤＡＴＡ＃Ｔより、変数iで指定されるサブレイヤのサブレイヤプロファイル情報として、
・サブレイヤプロファイル空間sub_layer_profile_space[ i ]
・サブレイヤプロファイル識別子sub_layer_profile_idc[ i ]
・サブレイヤプロファイル互換フラグsub_layer_profile_compatibility_flag[ i ][ j ]
・サブレイヤプロファイル予約シンタックスsub_layer_reserved_zero_16bits[ i ]
を復号し出力する。

また、レベル情報復号部１２２１ｂは、符号化データＤＡＴＡ＃Ｔより、変数iで指定されるサブレイヤのサブレイヤレベル情報として、
・サブレイヤレベル識別子sub_layer_level_idc[ i ]
・サブレイヤティアフラグsub_layer_tier_flag[ i ]
を復号し出力する。

（ステップＳＣ１１１）
プロファイル情報復号部１２２１ａは、サブレイヤiのサブレイヤプロファイル情報が、対象レイヤのプロファイル情報と同じであると判断し、サブレイヤプロファイル情報を対象レイヤのプロファイル情報に設定し出力する。

また、レベル情報復号部１２２１ｂは、サブレイヤiのサブレイヤレベル情報が、対象レイヤのレベル情報と同じであると判断し、サブレイヤレベル情報を対象レイヤのプロファイル情報に設定し出力する。

（ステップＳＣ１１２）
サブレイヤのサブレイヤプロファイル情報、およびサブレイヤレベル情報の復号に関するループの終端である。

以上、変形例３に係るプロファイル／レベル情報復号部１２１１の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。

以上、変形例３は、実施例１と同様に、プロファイル／レベル情報の全シンタックスがバイトアラインされるため、サブレイヤプロファイルレベル提示フラグ、サブレイヤプロファイル情報、サブレイヤレベル情報を復号／符号化する際の読み出し／書き出しに関するメモリアクセスの回数を低減させることができる。すなわち、プロファイル／レベル情報に係る復号／符号化に要する処理量を低減させる効果を奏する。

また、レベル情報の冗長性を低減することができるため、プロファイル／レベル情報の復号に要する処理量を低減させる効果を奏する。

実施例１と同様に、変形例３も、対象レイヤのプロファイル情報、およびレベル情報を復号した時点で、デコーダが対象レイヤの符号化データを復号可能であると分かれば、サブレイヤのプロファイル情報／レベル情報の符号量を容易に特定することができるため、サブレイヤのプロファイル情報／レベル情報の復号を省略することが可能である。
〔階層動画像符号化装置〕
以下では、本実施形態に係る階層動画像符号化装置２の構成について、図２０〜図２５を参照して説明する。

（階層動画像符号化装置の構成）
図２０を用いて、階層動画像符号化装置２の概略的構成について説明すると次のとおりである。図２０は、階層動画像符号化装置２の概略的構成について示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。

図２０に示すように階層動画像符号化装置２は、予測パラメータ決定部２１、予測情報生成部２５、ベース復号部２３、テクスチャ情報生成部２４、可変長符号化部２２、およびＮＡＬ多重化部２６を備える。

[予測パラメータ決定部２１]
予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔに基づいて、予測画像の予測に用いられる予測パラメータおよびその他の符号化の設定（ヘッダ情報）を決定する。

まず、予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔに基づいて、ＶＰＳ、ＳＰＳ、ＰＰＳおよびスライスヘッダを生成し、ヘッダ情報として出力する。なお、ＶＰＳ、ＳＰＳには対象レイヤの符号化／復号に必要とするプロファイル、およびレベルに関するプロファイル／レベル情報profile_tier_level()が含まれる。

予測パラメータ決定部２１は、予測パラメータをはじめとする符号化の設定を、以下のとおり行う。

予測パラメータ決定部２１は、プロファイル／レベル情報に関して、以下の処理を行う。予測パラメータ決定部２１は、外部より供給された、または予め設定された、下位レイヤ（例えば、基本レイヤ）、対象レイヤおよび対象レイヤに属する各サブレイヤのプロファイル情報、およびレベル情報（プロファイル／レベル／ティア）に基づいて、対象レイヤのプロファイル提示フラグ、サブレイヤのプロファイル提示フラグ（サブレイヤ提示フラグ）、サブレイヤのレベル提示フラグ（サブレイヤレベル提示フラグ）の値を設定し、設定したプロファイル提示フラグ、および各サブレイヤのプロファイル提示フラグ／レベル提示フラグを、ヘッダ情報符号化部２２１へ供給する。

なお、下位レイヤのプロファイル情報と対象レイヤのプロファイル情報、あるいは対象レイヤのプロファイル情報とサブレイヤのプロファイル情報（サブレイヤプロファイル情報）が等しいとは、少なくとも以下のことを指す。

・プロファイル空間の値が等しい
・プロファイル識別子の値が等しい
・プロファイル互換フラグの値が等しい
また、下位レイヤのレベル情報と対象レイヤのレベル情報、あるいは対象レイヤのレベル情報とサブレイヤのレベル情報（サブレイヤレベル情報）が等しいとは、少なくとも以下のことを指す。

・レベル識別子の値が等しい
・ティアフラグの値が等しい
なお、ティアフラグがプロファイル情報に含まれていてもよい。その場合、プロファイル情報が等しいとは、上記条件に加えて、ティアフラグの値が等しいことを含める。

プロファイル情報を明示的に符号化するか否かを示すProfilePresentFlagを次のように決定する。下位レイヤのプロファイル情報と、対象レイヤのプロファイル情報が等しい場合は、対象レイヤのプロファイル情報を所定レイヤのプロファイルから設定するため、プロファイル提示フラグを０に設定し、それ以外の場合は、対象レイヤのプロファイル情報を明示的に符号化するために、プロファイル提示フラグを１へ設定する。

続いて、プロファイル提示フラグが１の場合、各サブレイヤのプロファイル提示フラグ（サブレイヤプロファイル提示フラグ）を次のように決定する。対象レイヤのプロファイル情報と、サブレイヤのサブレイヤプロファイル情報が等しい場合、サブレイヤのサブレイヤプロファイル情報を対象レイヤのプロファイル情報から設定するため、サブレイヤプロファイル提示フラグを０に設定し、それ以外の場合は、サブレイヤのサブレイヤプロファイル情報を明示的に符号化するために、サブレイヤプロファイル提示フラグを１へ設定する。

また、各サブレイヤのレベル提示フラグ（サブレイヤレベル提示フラグ）を次のように決定する。対象レイヤのレベル情報と、サブレイヤのサブレイヤレベル情報が等しい場合、サブレイヤのサブレイヤレベル情報を対象レイヤのレベル情報から設定するため、サブレイヤレベル提示フラグを０に設定し、それ以外の場合は、サブレイヤのサブレイヤプロファイル情報を明示的に符号化するため、サブレイヤレベル提示フラグを１へ設定する。

なお、予測パラメータ決定部２１は、プロファイル提示フラグ、サブレイヤプロファイル提示フラグ、サブレイヤレベル提示フラグの代わりに、プロファイル情報とレベル情報を提示するか否かを示すプロファイルレベル提示フラグ、サブレイヤプロファイル情報とサブレイヤレベル情報を提示するか否かを示すサブレイヤプロファイルレベル提示フラグを決定し、ヘッダ情報符号化部２２１へ供給してもよい。

すなわち、プロファイル情報とレベル情報を明示的に符号化するか否かを示すProfileLevelPresentFlagを次のように決定する。下位レイヤのプロファイル情報およびレベル情報と、対象レイヤのプロファイル情報およびレベル情報がそれぞれ等しい場合は、対象レイヤのプロファイル情報およびレベル情報を所定レイヤのプロファイル情報およびレベル情報をから設定するため、プロファイルレベル提示フラグを０に設定し、それ以外の場合は、対象レイヤのプロファイル情報およびレベル情報を明示的に符号化するために、プロファイルレベル提示フラグを１へ設定する。

続いて、プロファイルレベル提示フラグが１の場合、各サブレイヤのプロファイルレベル提示フラグ（サブレイヤプロファイルレベル提示フラグ）を次のように決定する。対象レイヤのプロファイル情報およびレベル情報と、サブレイヤのサブレイヤプロファイル情報およびサブレイヤレベル情報がそれぞれ等しい場合、サブレイヤのサブレイヤプロファイル情報およびサブレイヤレベル情報を対象レイヤのプロファイル情報およびレベル情報から設定するため、サブレイヤプロファイル提示フラグを０に設定し、それ以外の場合は、サブレイヤのサブレイヤプロファイル情報を明示的に符号化するために、サブレイヤプロファイル提示フラグを１へ設定する。

まず、予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔを、スライス単位、ツリーブロック単位、ＣＵ単位に順次分割することにより、対象ＣＵについてのＣＵ画像を生成する。

また、予測パラメータ決定部２１は、分割処理の結果に基づいて、符号化情報（ヘッダ情報とも称されることがある）を生成する。符号化情報は、（１）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報であるツリーブロック情報と、（２）各ツリーブロックに属するＣＵのサイズ、形状および対象ツリーブロック内での位置についての情報であるＣＵ情報とを含んでいる。

さらに、予測パラメータ決定部２１は、ＣＵ画像、ツリーブロック情報、およびＣＵ情報を参照して、対象ＣＵの予測タイプ、対象ＣＵのＰＵへの分割情報、および、予測パラメータ（対象ＣＵが、イントラＣＵであればイントラ予測モード、インターＣＵである場合には各ＰＵにおける動き補償パラメータ）を導出する。

予測パラメータ決定部２１は、（１）対象ＣＵの予測タイプ、（２）対象ＣＵの各ＰＵへの可能な分割パターン、および、（３）各ＰＵに割り付ける可能な予測モード（イントラＣＵであればイントラ予測モード、インターＣＵであれば動き補償パラメータ）、の全ての組み合わせについて、コストを算出し、最低コストの予測タイプ、分割パターン、および、予測モードを決定する。

予測パラメータ決定部２１は、ヘッダ情報および予測パラメータを予測情報生成部２５およびテクスチャ情報生成部２４に供給する。なお、説明の簡便のため図示しないが、予測パラメータ決定部２１において決定された上記の符号化の設定は、階層動画像符号化装置２の各部において参照可能とする。

[予測情報生成部２５]
予測情報生成部２５は、予測パラメータ決定部２１から供給される予測パラメータと、参照レイヤ符号化データＤＡＴＡ＃Ｒとに基づいて予測パラメータに関するシンタックス値を含む予測情報を生成する。予測情報生成部２５は、生成した予測情報を可変長符号化部２２に供給する。なお、予測情報生成部２５は、予測パラメータを復元する際に、テクスチャ情報生成部２４が備えるフレームメモリに格納されたインター予測パラメータを参照することができる。なお、予測情報生成部２５の詳細構成については後述する。

[ベース復号部２３]
ベース復号部２３は、階層動画像復号装置１のベース復号部１６と同様であるので、ここではその説明を省略する。

[テクスチャ情報生成部２４]
テクスチャ情報生成部２４は、入力画像ＰＩＮ＃Ｔから予測画像を減算して得られる予測残差を、直交変換・量子化した変換係数を含む変換係数情報を生成する。テクスチャ情報生成部２４は、生成した変換係数情報を可変長符号化部２２に供給する。なお、テクスチャ情報生成部２４では、復元された復号画像に関する情報が、内部に備えるフレームメモリに格納される。

[可変長符号化部２２]
可変長符号化部２２は、予測パラメータ決定部２１から供給されるヘッダ情報、予測情報生成部２５から供給される予測情報およびテクスチャ情報生成部２４から供給される変換係数情報を可変長符号化して対象レイヤ符号化データＤＡＴＡ＃Ｔを生成する。可変長符号化部２２は、生成した対象レイヤ符号化データＤＡＴＡ＃ＴをＮＡＬ多重化部２６に供給する。

具体的には、可変長符号化部２２は、図２１に示すように、ヘッダ情報符号化部２２１、予測情報符号化部２２２、変換係数情報符号化部２２３を備える。さらに、ヘッダ情報符号化部２２１は、プロファイル／レベル情報符号化部２２１１を備える。

［ヘッダ情報符号化部２２１］
ヘッダ情報符号化部２２１は、ヘッダ情報復号部１２１の逆処理にあたり、ヘッダ情報符号化部２２１は、シーケンス単位、ピクチャ単位、またはスライス単位で符号化に利用されたパラメータに関するヘッダ情報を、符号化し、ヘッダ情報の符号化データを出力する。なお、ヘッダ情報符号化部２２１が備えるプロファイル／レベル情報符号化部２２１１の詳細については後述する。

［予測情報符号化部２２２］
予測情報符号化部２２２は、予測情報復号部１２２の逆処理にあたり、各ＣＵまたはＰＵに関する予測情報を符号化し、予測情報の符号化データを出力する。

予測情報には、例えば、ＣＵタイプまたはＰＵタイプの指定する情報、ＣＵの形状、サイズ、位置を特定するための情報が含まれる。

［変換係数情報符号化部２２３］
変換係数情報符号化部２２３は、変換係数情報復号部１２３の逆処理にあたり、各ブロックに関する量子化予測残差ＱＤ、及び、そのブロックを含むツリーブロックに関する量子化パラメータ差分Δｑｐ等の変換係数情報を符号化し、変換係数情報の符号化データを出力する。

［ＮＡＬ多重化部２６］
ＮＡＬ多重化部２６は、可変長符号化部２２から供給される対象レイヤ符号化データＤＡＴＡ＃Ｔと、参照レイヤ符号化データＤＡＴＡ＃ＲとをＮＡＬユニットに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡを生成し、外部に出力する。なお、ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダ（ＮＡＬユニットヘッダ：nal_unit_header()）が付加される。

以下において、予測情報生成部２５、およびテクスチャ情報生成部２４それぞれの詳細について説明する。

（予測情報生成部）
図２２を用いて、予測情報生成部２５の詳細構成について説明する。図２２は、予測情報生成部２５の構成について例示した機能ブロック図である。

図２２に示すように、予測情報生成部２５は、予測タイプ選択部２５１、スイッチ２５２、イントラ予測情報生成部２５３、インター予測情報生成部２５５を備える。

予測タイプ選択部２５１は、ＣＵタイプまたはＰＵタイプに応じてスイッチ２５２に切り替え指示を送り予測パラメータの導出処理を制御する。具体的には以下のとおりである。

イントラＣＵまたはイントラＰＵが指定されている場合、予測タイプ選択部２５１はイントラ予測情報生成部２５３を用いてイントラ予測情報（予測情報）を生成できるようスイッチ２５２を制御する。

インターＣＵ、インターＰＵのいずれかが指定されている場合、予測タイプ選択部２５１はインター予測情報生成部２５５を用いてインター予測情報を生成できるようスイッチ２５２を制御する。

スイッチ２５２は、予測タイプ選択部２５１の指示に応じて、予測パラメータを、イントラ予測情報生成部２５３、およびインター予測情報生成部２５５いずれかに供給する。予測パラメータの供給先において予測情報が生成される。

イントラ予測情報生成部２５３は、イントラ予測モードに関するシンタックス値を導出する。すなわち、イントラ予測情報生成部２５３が予測情報として生成するのは、予測モードに関するシンタックス値である。

インター予測情報生成部２５５は、ベース復号情報を用いて、レイヤ内動き推定処理、または、レイヤ間動き推定処理により推定動きベクトルの候補を導出する。続いて、各ＰＵにおけるインター予測パラメータから、対応するシンタックス要素値であるinter_pred_flag、mvd、mvp_idx、および、refIdxを導出し、インター予測情報として出力する。

（テクスチャ情報生成部）
図２３を用いて、テクスチャ情報生成部２４の詳細構成について説明する。図２３は、テクスチャ情報生成部２４の構成について例示した機能ブロック図である。

図２３に示すように、テクスチャ情報生成部２４は、テクスチャ予測部２４１、減算器２４２、直交変換・量子化部２４３、逆直交変換・逆量子化部２４４、加算器２４５、ループフィルタ部２４６、およびフレームメモリ２４７を備える。

減算器２４２は、入力画像ＰＩＮ＃Ｔからテクスチャ予測部２４１から供給される予測画像を減算することによって、予測残差Ｄを生成する。減算器２４２は、生成した予測残差Ｄを、直交変換・量子化部２４３に供給する。

直交変換・量子化部２４３は、予測残差Ｄに対して、直交変換および量子化を行うことで量子化予測残差を生成する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことをさす。また、直交変換の例としては、ＤＣＴ変換（Discrete Cosine Transform）、およびＤＳＴ変換（Discrete Sine Transform）等が挙げられる。また、具体的な量子化過程については、すでに説明した通りであるので、ここではその説明を省略する。直交変換・量子化部２４３は、生成した量子化予測残差を含む変換係数情報を逆直交変換・逆量子化部２４４および可変長符号化部２２に供給する。

テクスチャ予測部２４１、逆直交変換・逆量子化部２４４、加算器２４５、ループフィルタ部２４６、およびフレームメモリ２４７は、それぞれ、階層動画像復号装置１に含まれるテクスチャ予測部１５２、逆直交変換・逆量子化部１５１、加算器１５３、ループフィルタ部１５４、およびフレームメモリ１５５と同様であるので、ここではその説明は省略する。ただし、テクスチャ予測部２４１は、加算器２４５だけでなく減算器２４２にも予測画像を供給する。
＜＜実施例１＞＞
＜＜プロファイル／レベル情報符号化部２２１１の詳細＞＞
次に、実施例１に係るプロファイル／レベル情報復号部１２１１の逆処理にあたる、実施例１に係るプロファイル／レベル情報符号化部２２１１の構成について、図２４を用いて説明する。

図２４は、プロファイル／レベル情報符号化部２２１１の構成について例示した機能ブロック図である。図２４に示すように、プロファイル情報符号化部２２２１ａ、レベル情報符号化部２２２１ｂ、サブレイヤプロファイル提示フラグ符号化部２２２１ｃ、サブレイヤレベル提示フラグ符号化部２２２１ｄ、バイトアラインデータ符号化部２２２１ｅを備える。なお、実施例１に係るプロファイル／レベル情報符号化部２２１１は、図１１に示すプロファイル／レベル情報profile_tier_level()のシンタックス定義に従って、各機能ブロックにおいて、プロファイル情報、レベル情報、サブレイヤプロファイル提示フラグ、サブレイヤレベル提示フラグ、サブレイヤプロファイル情報、サブレイヤレベル情報、及びバイトアラインデータを符号化する。

[プロファイル情報符号化部２２２１ａ]
プロファイル情報符号化部２２２１ａは、プロファイル提示フラグProfilePresentFlagに基づいて、外部より供給された対象レイヤのプロファイル情報を符号化し、その符号化データを出力する。具体的には、プロファイル提示フラグProfilePresentFlagが１の場合、対象レイヤのプロファイル情報を符号化する。プロファイル提示フラグProfilePresentFlagが０の場合、プロファイル情報を符号化しない。

また、プロファイル情報符号化部２２２１ａは、プロファイル提示フラグProfilePresentFlag、サブレイヤ数MaxNumSubLayers、及び各サブレイヤのサブレイヤプロファイル提示フラグsub_layer_profile_prenset_flag[i]基づいて、外部より供給された各サブレイヤのサブレイヤプロファイル情報を符号化する。具体的には、プロファイル提示フラグが１、かつ、サブレイヤi（temporalId=i+1）のサブレイヤプロファイル提示フラグが１の場合、対応するサブレイヤプロファイル情報を符号化する。それ以外の場合は、サブレイヤiのサブレイヤプロファイル情報を符号化しない。

[レベル情報符号化部２２２１ｂ]
レベル情報符号化部２２２１ｂは、外部より供給された対象レイヤのレベル情報を符号化し、その符号化データを出力する。また、レベル情報符号化部２２２１ｂは、サブレイヤ数MaxNumSubLayers、及び各サブレイヤのサブレイヤレベル提示フラグsub_layer_level_present_flag[i]に基づいて、外部より供給された各サブレイヤのサブレイヤレベル情報を符号化し出力する。具体的には、サブレイヤレベル提示フラグsub_layer_level_present_flag[i]が１の場合、対応するサブレイヤi（temporalId=i+1）のサブレイヤレベル情報を符号化する。それ以外の場合（サブレイヤレベル提示フラグsub_layer_level_present_flag[i]が０）、サブレイヤiのサブレイヤレベル情報を符号化しない。

[サブレイヤプロファイル提示フラグ符号化部２２２１ｃ]
サブレイヤプロファイル提示フラグ符号化部２２２１ｃは、サブレイヤ数MaxNumSubLayersに基づいて、外部より供給された各サブレイヤのサブレイヤプロファイル提示フラグを符号化し、出力する。

[サブレイヤレベル提示フラグ符号化部２２２１ｄ]
サブレイヤレベル提示フラグ符号化部２２２１ｄは、サブレイヤ数MaxNumSubLayersに基づいて、外部より供給された各サブレイヤのサブレイヤレベル提示フラグを符号化し、出力する。

[バイトアラインデータ符号化部２２２１ｅ]
バイトアラインデータ符号化部２２２１ｅは、符号化データ上の現在位置（ビット単位）がバイト境界上に位置する、すなわち、符号化データ上の現在位置の次の位置にあるビットがバイトの先頭ビットとなるまで、１ビット単位でバイトアラインデータalignment_bitを符号化データへ挿入する（符号化する）。
＜＜変形例１＞＞
以下では、実施例１に係るプロファイル／レベル情報復号部１２１１の変形例１に対応するプロファイル／レベル情報符号化部２２１１の構成について説明する。

また、プロファイル／レベル情報符号化部２２１１は、図１１に示すプロファイル／レベル情報profile_tier_level()に限らず、例えば、図１３に示すように、
・図１３上のそれぞれ符号SYNA201、SYNA202を付した部分に示すように、サブレイヤプロファイル提示フラグと、サブレイヤレベル提示フラグを分離してシグナルし、
・図１３上の符号SYNA201を付した部分に示すように、プロファイル提示フラグが１のときのみ、サブレイヤプロファイル提示フラグをシグナルし、
・図１３上の符号SYNA201、SYN202を付した部分に示すように、サブレイヤプロファイル提示フラグ、サブレイヤレベル提示フラグの後に、それぞれバイトアラインデータを挿入する、
ようにしたプロファイル／レベル情報を符号化してもよい。この場合、プロファイル提示フラグProfilePresentFlagが０の場合に、サブレイヤのサブレイヤプロファイル提示フラグを符号化しないため、従来技術に比べて、プロファイル／レベル情報に係る符号量を削減する効果を奏する。

また、プロファイル／レベル情報がすべてバイトアラインされるため、サブレイヤプロファイル提示フラグおよびサブレイヤレベル提示フラグ、サブレイヤプロファイル情報、サブレイヤレベル情報を復号／符号化する際の読み出し／書き出しに関するメモリアクセスの回数を低減させることができる。すなわち、プロファイル／レベル情報に係る復号／符号化に要する処理量を低減させる効果を奏する。
＜＜変形例２＞＞
以下では、実施例１に係るプロファイル／レベル情報復号部１２１１の変形例２に対応するプロファイル／レベル情報符号化部２２１１の構成について説明する。

また、プロファイル／レベル情報符号化部２２１１は、図１１に示すプロファイル／レベル情報profile_tier_level()に限らず、図１５に示すように、
・図１５上のそれぞれ符号SYNA302、SYNA304を付した部分に示すように、レベル情報に関連するシンタックス、ティアフラグgeneral_tier_flag／サブレイヤティアフラグsub_layer_tier_flag[i]のシグナルが、プロファイル提示フラグProfilePresentFlag／サブレイヤプロファイル提示フラグsub_layer_profile_present_flag[i]に依存しないように、それぞれ、ティアフラグgeneral_tier_flagとレベル識別子general_level_idc、サブレイヤティアフラグsub_layer_tier_flag[i]とサブレイヤレベル識別子sub_layer_level_idc[i]を一緒にシグナルし、
・プロファイル／レベル情報に関して全てバイトアラインされるよう、図１５上の符号SYNA301に示すプロファイル空間general_profile_space、及び、符号SYNA303に示すサブレイヤプロファイル空間sub_layer_profile_space[i]の符号長を２ビットから３ビットへ、図１５上の符号SYNA305に示すレベル識別子general_level_idc、及び符号SYNA306に示すサブレイヤレベル識別子の符号長を８ビットから７ビットへ変更する、
ようにしたプロファイル／レベル情報を符号化してもよい。

この場合、プロファイル提示フラグProfilePresentFlagの値によらず、デコーダはレベル識別子general_level_idcとティアフラグgeneral_tier_flagによって定まるレベルの制約を取得することが可能となる。

同様に、サブレイヤにおいても、プロファイル提示フラグとサブレイヤプロファイル提示フラグの値によらず、デコーダは、サブレイヤレベル識別子sub_layer_level_idc[ i ]とサブレイヤティアフラグsub_layer_tier_flag[ i ]によって定まるレベルの制約を取得することができる。すなわち、局所的にレベル識別子とティアフラグを一緒にシグナルすることで、デコーダが符号化データを復号可能であるかを容易に特定することが可能なプロファイル／レベル情報を符号化することができる。また、プロファイル／レベル情報が全てバイトアラインされるため、プロファイル／レベル情報の各シンタックスを復号／符号化する際の読み出し／書き出しに関するメモリアクセスの回数を低減させることができる。すなわち、プロファイル／レベル情報に係る復号／符号化に要する処理量を低減させる効果を奏する。
＜＜変形例２ａ＞＞
以下では、実施例１に係るプロファイル／レベル情報復号部１２１１の変形例２ａに対応するプロファイル／レベル情報符号化部２２１１の構成について説明する。

また、プロファイル／レベル情報符号化部２２１１は、図１５に示すプロファイル／レベル情報の代わりに、ティアtierに関するシンタックス、ティアフラグgeneral_tier_flag/sub_layer_tier_flag[i] をそれぞれ、図１６上の符号SYN302a、SYN304aに示すように、１ビットから８ビットへ拡張した、ティア識別子general_tier_idc/sub_layer_idc[i]へ置き換えたプロファイル／レベル情報を符号化してもよい。この場合、ティアに関して、０〜２５５までの値をとるため、レベル識別子とティアにより定まるレベル制約に関するパラメータに関して拡張性を持たせることが可能である。また、プロファイル／レベル情報が全てバイトアラインされるため、プロファイル／レベル情報の各シンタックスを復号／符号化する際の読み出し／書き出しに関するメモリアクセスの回数を低減させることができる。すなわち、プロファイル／レベル情報に係る復号／符号化に要する処理量を低減させる効果を奏する。

＜＜変形例３＞＞
以下では、実施例１に係るプロファイル／レベル情報復号部１２１１の変形例３に対応するプロファイル／レベル情報符号化部２２１１の構成について説明する。

また、プロファイル／レベル情報符号化部２２１１は、レベル情報のシグナルの冗長性を削減するために、図１７に示すように、プロファイル提示フラグProfilePresentFlagをプロファイル情報とレベル情報を提示するか否かを表わすプロファイルレベル提示フラグProfileLevelPresentFlagへ置き換え、同様にサブレイヤプロファイル提示フラグ、サブレイヤレベル提示フラグをサブレイヤプロファイル情報とサブレイヤレベル情報を提示するか否かを表わすサブレイヤプロファイルレベル提示フラグsub_layer_profile_level_present_flaへ置き換えたプロファイル／レベル情報profile_tier_level()のシンタックスを符号化してもよい。この場合、プロファイル／レベル情報符号化部２２１１は、図２５に示すように、プロファイル情報符号化部２２２１ａ、レベル情報符号化部２２２１ｂ、サブレイヤプロファイルレベル提示フラグ符号化部２２２１ｆ、バイトアラインデータ符号化部２２２１ｅを備える。なお、プロファイル情報符号化部２２２１ａ、レベル情報符号化部２２２１ｂ、バイトアラインデータ符号化部２２２１ｅは、実施例１と同一のため、説明を省略する。ただし、実施例１におけるプロファイル提示フラグProfilePresentFlagをプロファイルレベル提示フラグProfileLevelPresentFlag、およびサブレイヤプロファイル提示フラグ／サブレイヤレベル提示フラグを、サブレイヤプロファイルレベル提示フラグへ置き換えて解釈するものとする。

[サブレイヤプロファイルレベル提示フラグ復号部２２２１ｆ]
サブレイヤプロファイルレベル提示フラグ符号化部２２２１ｆは、プロファイルレベル提示フラグProfileLevelPresentFlag、およびサブレイヤ数MaxNumSubLayersに基づいて、各サブレイヤのサブレイヤプロファイルレベル提示フラグを符号化し、その符号化データを出力する。

（付記事項）
なお、従来技術（非特許文献１）では、サブレイヤのサブレイヤプロファイル情報およびサブレイヤレベル情報（サブレイヤプロファイル／サブレイヤレベル／サブレイヤティア）が、対象レイヤを復号するために参照するプロファイル情報およびレベル情報（プロファイル／レベル／ティア）との間に制約がないため、画像復号装置の実装負荷が高い（画像復号装置の複雑度が増大する）という問題がある。例えば、図３の（a）において、対象レイヤL#Nのプロファイル及び、対象レイヤL#Nに含まれるサブレイヤSL#4〜SL#1の各サブレイヤプロファイルが次のように、
対象レイヤL#Nのプロファイル :"high profile"、
サブレイヤSL#1のプロファイル(サブレイヤプロファイル）:"base profile"、
サブレイヤSL#2のプロファイル(サブレイヤプロファイル）:"high profile"、
サブレイヤSL#3のプロファイル(サブレイヤプロファイル）:"high profile"、
サブレイヤSL#4のプロファイル(サブレイヤプロファイル）:"main profile"、
と3種類のプロファイルの設定で符号化されたものと仮定する。ここで、"high profile"は、"main profile"の符号化ツールを全てサポートする上位のプロファイルであり、"main profile"は、"base profile"の符号化ツールを全てサポートする上位のプロファイルであるものとする。すなわち、プロファイルの関係は、"base profile" ＜ "main profile" ＜ "high profile"となる。

上記例の場合、プロファイル"high profile"をサポートする画像復号装置では、対象レイヤL#N内のサブレイヤSL#1〜SL#4までを復号することが可能である。すなわち、対象レイヤL#Nを完全に復号することができる。しかし、プロファイル"main profile"をサポートする画像復号装置では、下位サブレイヤ(SL#2,SL#3)のプロファイルが上位サブレイヤ(SL#4)のプロファイルと互換がないため、サブレイヤSL#4の復号時に依存する下位サブレイヤ(SL#2,SL#3)および、上位サブレイヤSL#4を復号できず、下位プロファイル"base profile"である最下位サブレイヤSL#1しか復号することができない。すなわち、画像符号化装置側において、下位サブレイヤのプロファイルが、上位サブレイヤのプロファイルと互換のないプロファイルを不連続に設定した符号化データが生成される可能性がある。そのため、画像復号装置側において、その符号化データを復号する場合には、復号対象サブレイヤが依存する下位サブレイヤを復号できず、結果として、時間スケーラビリティの粒度が粗くなるという課題がある。

また、画像復号装置側において、上記のような符号化データに対して柔軟にスケーラビリティを実現できるようするには、複数のプロファイルをサポートするように実装する必要があり、画像復号装置の複雑度が増大するという課題がある。

そこで、上記課題を解決するため、対象レイヤのプロファイルと、対象レイヤに属するサブレイヤのプロファイル（サブレイヤプロファイル）に関して、以下の制約を設けることが好ましい。
（１−１）対象レイヤのプロファイルを、対象レイヤに含まれる最上位サブレイヤのプロファイルと同一に設定すること。
（１−２）上位サブレイヤのプロファイルは、復号時に依存する下位サブレイヤのプロファイル以上へ設定すること。

画像復号装置側と画像符号化装置側において上記プロファイルの制約を予め設けることで、下位サブレイヤのプロファイルと、上位サブレイヤのプロファイルと互換のないプロファイルを不連続に設定した符号化データが生成されることを防止する効果を奏する。また、画像復号装置が対応すべきプロファイルを必要最小限に抑制することができるため画像復号装置の複雑度を軽減する効果を奏する。

また、上記対象レイヤのプロファイルと対象レイヤに属するサブレイヤのプロファイルに関する上記制約を実施するか否かを表わすシンタックス（プロファイル制約フラグ"profile_restrict_flag"）をビデオパラメータセットVPS、またはシーケンスパラメータセットSPS等のシーケンスレイヤにおいて、プロファイル／レベル情報profile_tier_level()の直前で明示的に、ヘッダ情報復号部１２１およびヘッダ情報符号化部２２１により、それぞれ復号／符号化してもよい。上記と同様の効果に加えて、画像復号装置はプロファイル／レベル情報profile_tier_level()を復号する前に、VPSまたはSPS上で早期に各レイヤでのプロファイル制約の有無を容易に判定することができる効果を奏する。

同様に、レベル／ティアに関しても、対象レイヤのレベル／ティアと対象レイヤに属するサブレイヤとのサブレイヤレベル／サブレイヤティアとの間に制約がないことにより、上記プロファイル制約がない場合と同様の問題が発生する。すなわち、画像符号化装置側で、下位サブレイヤのレベルおよびティアが、上位サブレイヤのレベルおよびティアと互換のないレベルおよびティアを不連続に設定した符号化データが生成される可能性があり、画像復号装置側において、時間スケーラビリティの粒度が粗くなり、柔軟性が損なわれるという課題が発生する。

また、画像復号装置側において、上記のような符号化データに対して柔軟にスケーラビリティを実現できるようするには、複数のレベルおよびティアをサポートするように実装する必要があり、画像復号装置の複雑度が増大するという課題がある。

そこで、上記課題を解決するために、対象レイヤのレベル／ティアと、対象レイヤに属するサブレイヤのレベル／ティア（サブレイヤレベル／サブレイヤティア）との間に、以下の制約を設けることが好ましい。

レベルに関する制約は、
（２−１）対象レイヤのレベルを対象レイヤに含まれる最上位サブレイヤのレベルと同一に設定すること。
（２−２）上位サブレイヤのレベルは、復号時に依存する下位サブレイヤのレベル以上へ設定すること。
である。

ティアに関する制約は、
（３−１）対象レイヤのティアを対象レイヤに含まれる最上位サブレイヤのティアと同一に設定すること。
（３−２）上位サブレイヤのティアは、復号時に依存する下位サブレイヤのティア以上へ設定すること。

画像復号装置側と画像符号化装置側において、上記レベル／ティアの制約を予め設けることで、下位サブレイヤのレベルおよびティアと、上位サブレイヤのレベルおよびティアと互換のないレベルを不連続に設定した符号化データが生成されることを防止する効果を奏する。また、画像復号装置が対応すべきレベルおよびティアを必要最小限に設定することができるため、画像復号装置の複雑度を軽減する効果を奏する。

また、上記対象レイヤのティア／レベルと対象レイヤに属するサブレイヤのティア／レベルに関する上記制約を実施するか否かを表わすシンタックス（レベルティア制約フラグ"level_tier_restrict_flag"）をビデオパラメータセットVPS、またはシーケンスパラメータセットSPS等のシーケンスレイヤにおいて、プロファイル／レベル情報(profile_tier_level()の直前で明示的に、ヘッダ情報復号部１２１およびヘッダ情報符号化部２２１により、それぞれ復号／符号化してもよい。上記と同様の効果に加えて、VPSまたはSPS上で早期に各レイヤでのレベル／ティア制約の有無を容易に判定することができる効果を奏する。

また、上記プロファイル制約とレベル／ティア制約を画像復号装置側と画像符号化装置側で予め設けることで、下位サブレイヤのプロファイル、レベルおよびティアと、上位サブレイヤのプロファイル、レベルおよびティアと互換のないレベルを不連続に設定した符号化データが生成されることを防止する効果を奏する。また、画像復号装置が対応すべきプロファイル、レベルおよびティアを必要最小限に抑制することができるため、画像復号装置の複雑度を軽減する効果を奏する。

また、上記プロファイル制約とレベル／ティア制約を実施するか否かを示すシンタックス（プロファイルレベルティア制約フラグ"profile_level_tier_restrict_flag"）をビデオパラメータセットVPS、またはシーケンスパラメータセットSPS等のシーケンスレイヤにおいて、プロファイル／レベル情報(profile_tier_level()の直前で明示的に、ヘッダ情報復号部１２１およびヘッダ情報符号化部２２１により、それぞれ復号／符号化してもよい。上記と同様の効果に加えて、画像復号装置はプロファイル／レベル情報profile_tier_level()を復号する前に、VPSまたはSPS上で早期に各レイヤでのプロファイル制約、レベル／ティア制約の有無を、容易に判定することができる効果を奏する。

（他の階層動画像符号化／復号システムへの適用例）
上述した階層動画像符号化装置２及び階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。

まず、上述した階層動画像符号化装置２及び階層動画像復号装置１を、動画像の送信及び受信に利用できることを、図２６を参照して説明する。

図２６の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。図２６の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。

送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２６の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

図２６の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２６の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。

受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２６の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。

また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。

次に、上述した階層動画像符号化装置２及び階層動画像復号装置１を、動画像の記録及び再生に利用できることを、図２７を参照して説明する。

図２７の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。図２７の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図２７の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。

なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。

図２７の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図２７の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図２７の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。

なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
〔まとめ〕
本発明の一態様に係る画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、
上記対象レイヤの符号化データがいずれのプロファイルを備える画像復号装置によって復号可能であるかを示すプロファイル情報を提示するか否かを示すプロファイル提示フラグ (ProfilePresentFlag)が、対象レイヤのプロファイル情報を提示することを示す場合、対象レイヤのプロファイル情報を符号化データより復号する一方、
上記プロファイル提示フラグが対象レイヤのプロファイル情報を提示しないことを示す場合、所定の復号済みレイヤのプロファイル情報を対象レイヤのプロファイル情報へ設定するプロファイル情報復号手段（プロファイル情報復号部１２２１ａ）と、
上記対象レイヤの符号化データがいずれのレベルを備える画像復号装置によって復号可能であるかを示すレベル情報を符号化データより復号するレベル情報復号手段（レベル情報復号部１２２１ｂ）と、
上記対象レイヤに含まれる各サブレイヤに関するサブレイヤプロファイル情報を提示するか否かを示すサブレイヤプロファイル提示フラグ(sub_layer_profile_flag)を符号化データより復号するサブレイヤプロファイル提示フラグ復号手段（サブレイヤプロファイル提示フラグ復号部１２２１ｃ）と、
上記対象レイヤに含まれる各サブレイヤに関するサブレイヤレベル情報を提示するか否かを示すサブレイヤレベル提示フラグ(sub_layer_level_flag)を符号化データより復号するサブレイヤレベル提示フラグ復号手段（サブレイヤレベル提示フラグ復号部１２２１ｄ）と、
上記各サブレイヤに関するサブレイヤプロファイル提示フラグの復号後、上記サブレイヤプロファイル提示フラグがサブレイヤプロファイル情報を提示することを示す場合、上記対象レイヤに含まれる各サブレイヤのサブレイヤプロファイル情報を復号する一方、上記サブレイヤプロファイル提示フラグがサブレイヤプロファイル情報を提示しないことを示す場合、上記対象レイヤのプロファイル情報をサブレイヤのサブレイヤプロファイル情報へ設定するサブレイヤプロファイル情報復号手段（プロファイル情報復号部１２２１ａ）と、
上記各サブレイヤに関するサブレイヤレベル提示フラグの復号後、上記サブレイヤレベル提示フラグがサブレイヤレベル情報を提示することを示す場合、上記対象レイヤに含まれる各サブレイヤのサブレイヤレベル情報を復号する一方、上記サブレイヤレベル提示フラグがサブレイヤレベル情報を提示しないことを示す場合、上記対象レイヤのレベル情報をサブレイヤのサブレイヤレベル情報へ設定するサブレイヤレベル情報復号手段（レベル情報復号部１２２１ｂ）と、
を備えている。

以上、上記構成によれば、上記各サブレイヤに関するサブレイヤプロファイル提示フラグおよび／またはサブレイヤレベル提示フラグの復号後、サブレイヤプロファイル情報および／またはサブレイヤレベル情報を復号または設定する。

すなわち、上記構成によれば、各サブレイヤに対応するサブレイヤプロファイル提示フラグおよびサブレイヤレベル提示フラグと、各サブレイヤに対応するサブレイヤプロファイル情報およびサブレイヤレベル情報とを分離して復号する。

このため、特定のサブレイヤに関するサブレイヤプロファイル情報およびサブレイヤレベル情報の復号開始点までのビット単位のオフセットを、サブレイヤプロファイル提示フラグの値、およびサブレイヤプロファイル情報の符号量、サブレイヤレベル提示フラグの値、およびサブレイヤレベル情報の符号量に基づいて容易に特定することができる。

よって、サブレイヤプロファイル情報およびサブレイヤレベル情報に係る復号に要する処理量を削減させる効果を奏する。

本発明の一態様に係る画像復号装置では、さらに、上記サブレイヤプロファイル提示フラグおよびサブレイヤレベル提示フラグが復号された後に、符号化データから、復号開始位置がバイト境界上に位置するまでバイトアラインデータを復号するバイトアラインデータ復号手段（バイトアラインデータ復号部１２２１ｅ）を備えていてもよい。

上記構成によれば、各サブレイヤに対応するサブレイヤプロファイル提示フラグおよびサブレイヤレベル提示フラグと、各サブレイヤに対応するサブレイヤプロファイル情報およびサブレイヤレベル情報とを分離して復号し、双方の間（サブレイヤプロファイル提示フラグおよびサブレイヤレベル提示フラグと、サブレイヤプロファイル情報およびサブレイヤレベル情報との間）にバイトアラインするために挿入されたバイトアラインデータをさらに復号する。

従って、従来技術に比べて、プロファイル／レベル情報の全シンタックスがバイアラインされた状態で復号することができる。そのため、サブレイヤプロファイル提示フラグ、サブレイヤレベル提示フラグ、サブレイヤプロファイル情報、およびサブレイヤレベル情報を復号する際の読み出しに関するメモリアクセスの回数を低減させることができる。すなわち、プロファイル／レベル情報に係る復号に要する処理量を低減させる効果を奏する。

本発明の一態様に係る画像復号装置では、上記サブレイヤプロファイル提示フラグ復号手段は、上記プロファイル提示フラグがプロファイル情報を提示することを示す場合、上記サブレイヤプロファイル提示フラグを符号化データより復号する一方、上記プロファイル提示フラグがプロファイル情報を提示しないことを示す場合、上記サブレイヤプロファイル提示フラグに、サブレイヤプロファイル情報を提示しないことを示す値を設定してもよい。

上記構成によれば、プロファイル提示フラグがプロファイル情報を提示しないことを示す場合に、サブレイヤのサブレイヤプロファイル提示フラグが提示されないことを示すと推定し、明示的にサブレイヤプロファイル提示フラグを復号しないため、従来技術に比べて、サブレイヤプロファイル提示フラグの復号に係る処理量を削減する効果を奏する。

本発明の一態様に係る画像復号装置では、上記バイトアラインデータ復号手段は、上記プロファイル提示フラグがプロファイル情報を提示することを示す場合、上記第サブレイヤプロファイル提示フラグの復号後に、符号化データから、復号開始位置がバイト境界上に位置するまでバイトアラインデータを復号してもよい。

上記構成によれば、サブレイヤに対応するサブレイヤプロファイル提示フラグとサブレイヤレベル提示フラグとを分離して復号し、プロファイル提示フラグがプロファイル情報を提示することを示す場合、双方の間に双方の間にバイトアラインするために挿入されたバイトアラインデータをさらに復号する。従って、従来技術に比べて、プロファイル／レベル情報の全シンタックスがバイアラインされた状態で復号することができる。そのため、サブレイヤプロファイル提示フラグ、サブレイヤレベル提示フラグ、サブレイヤプロファイル情報、およびサブレイヤレベル情報を復号する際の読み出しに関するメモリアクセスの回数を低減させることができる。すなわち、プロファイル／レベル情報に係る復号に要する処理量を低減させる効果を奏する。

本発明の一態様に係る画像復号装置では、上記プロファイル情報復号手段は、プロファイル提示フラグがプロファイル情報を提示することを示す場合に、プロファイル情報として、少なくとも、プロファイル空間、プロファイル識別子、プロファイル互換情報を復号し、
上記レベル情報復号手段は、プロファイル提示フラグの値によらず、レベル情報として、レベル識別子、およびティアフラグを復号してもよい。

上記構成によれば、レベル識別子とティアフラグとをプロファイル提示フラグによらず復号することができる。そのため、従来に比べて、プロファイル提示フラグがプロファイル情報を提示しないことを示す場合においても、レベル識別子とティアフラグによって定まるレベルの制約を取得することができ、容易にデコーダが対象レイヤの符号化データを復号可能であるかを特定することができる効果を奏する。

本発明の一態様に係る画像復号装置では、上記サブレイヤプロファイル情報復号手段は、プロファイル提示フラグがプロファイル情報を提示することを示し、かつ、サブレイヤプロファイル提示フラグがサブレイヤプロファイル情報を提示することを示す場合、サブレイヤプロファイル情報として、少なくとも、サブレイヤプロファイル空間、サブレイヤプロファイル識別子、サブレイヤプロファイル互換情報を復号し、
上記サブレイヤレベル情報復号手段は、サブレイヤプロファイル提示フラグの値によらず、サブレイヤレベル情報として、サブレイヤレベル識別子、およびサブレイヤティアフラグを復号してもよい。

上記構成によれば、サブレイヤレベル識別子とサブレイヤティアフラグとをプロファイル提示フラグ及びサブレイヤプロファイル提示フラグによらず復号することができる。そのため、従来に比べて、プロファイル提示フラグまたはサブレイヤプロファイル提示フラグがサブレイヤに関するプロファイル情報を提示しないことを示す場合においても、サブレイヤに関して、サブレイヤレベル識別子とサブレイヤティアフラグによって定まるレベルの制約を取得することができ、容易にデコーダが対象レイヤに含まれるサブレイヤの符号化データを復号可能であるかを特定することができる効果を奏する。

本発明の一態様に係る画像復号装置では、符号化データよりプロファイル制約またはレベル制約またはティア制約を適用するか否かを示す制約フラグを復号する制約フラグ復号手段を備え、
上記制約フラグが上記プロファイル制約を適用することを示す場合、
上記プロファイル情報復号手段は、対象レイヤに含まれる最上位サブレイヤのプロファイルと対象レイヤのプロファイルが同一であると判断すると共に、
各サブレイヤのプロファイルが復号時に依存する下位サブレイヤのプロファイル以上へ設定されていると判断し、
上記制約フラグが上記レベル制約を適用することを示す場合、
上記レベル情報復号手段は、
対象レイヤに含まれる最上位サブレイヤのレベルと対象レイヤのレベルが同一であると判断すると共に、
各サブレイヤのレベルが復号時に依存する下位サブレイヤのレベル以上へ設定されていると判断し、
さらに、上記制約フラグが上記ティア制約を適用することを示す場合、
上記レベル情報復号手段は、対象レイヤに含まれる最上位サブレイヤのティアと対象レイヤのティアが同一であると判断すると共に、
各サブレイヤのティアが復号時に依存する下位サブレイヤのティア以上へ設定されていると判断してもよい。

以上、上記構成によれば、対象サブレイヤに属する各サブレイヤのプロファイル、レベルおよびティアが、上位サブレイヤのプロファイル、レベルおよびティアと互換のない不連続に生成された符号化データであるか否かをプロファイル情報／レベル情報を復号する前に画像復号装置は容易に判定することができる。また、画像復号装置と画像符号化装置間において、上記プロファイル制約、レベル制約、ティア制約を適用するか否か設定することにより、各サブレイヤのプロファイル、レベルおよびティアが、上位サブレイヤのプロファイル、レベルおよびティアと互換のないプロファイル／レベル／ティアを不連続に設定した符号化データが生成されることを防止する効果を奏する。また、画像復号装置が対応すべきプロファイル、レベル、およびティアを必要最小限に抑制することができるため画像復号装置の複雑度を軽減する効果を奏する。

本発明の一態様に係る画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、
上記対象レイヤの符号化データがいずれのプロファイルおよびレベルを備える画像復号装置によって復号可能であるかを示すプロファイル情報およびレベル情報を提示するか否かを示すプロファイルレベル提示フラグ (ProfileLevelPresentFlag)が、対象レイヤのプロファイル情報およびレベル情報を提示することを示す場合、対象レイヤのプロファイル情報を符号化データより復号する一方、上記プロファイルレベル提示フラグが対象レイヤのプロファイル情報およびレベル情報を提示しないことを示す場合、所定の復号済みレイヤのプロファイル情報を対象レイヤのプロファイル情報へ設定するプロファイル情報復号手段（プロファイル情報復号部１２２１ａ）と、
上記プロファイルレベル提示フラグが、対象レイヤのプロファイル情報およびレベル情報を提示することを示す場合対象レイヤのレベル情報を符号化データより復号する一方、上記プロファイルレベル提示フラグが対象レイヤのプロファイル情報およびレベル情報を提示しないことを示す場合、所定の復号済みレイヤのレベル情報を対象レイヤのレベル情報へ設定するレベル情報復号手段（レベル情報復号部１２２１ｂ）と、
上記対象レイヤに含まれる各サブレイヤに関するサブレイヤプロファイル情報およびサブレイヤレベル情報を提示するか否かを示すサブレイヤプロファイルレベル提示フラグを符号化データより復号するサブレイヤプロファイルレベル提示フラグ復号手段と、
上記サブレイヤプロファイルレベル提示フラグがサブレイヤプロファイル情報とサブレイヤレベル情報を提示することを示す場合、対象レイヤに含まれる各サブレイヤのサブレイヤプロファイル情報を復号する一方、上記サブレイヤプロファイルレベル提示フラグがサブレイヤプロファイル情報とサブレイヤレベル情報を提示しないことを示す場合、上記対象レイヤのプロファイル情報をサブレイヤのサブレイヤプロファイル情報へ設定するサブレイヤプロファイル情報復号手段（プロファイル情報復号部１２２１ａ）と、
上記サブレイヤプロファイルレベル提示フラグがサブレイヤプロファイル情報とサブレイヤレベル情報を提示することを示す場合、対象レイヤに含まれる各サブレイヤのサブレイヤレベル情報を復号する一方、上記サブレイヤプロファイルレベル提示フラグがサブレイヤプロファイル情報とサブレイヤレベル情報を提示しないことを示す場合、上記対象レイヤのレベル情報をサブレイヤのサブレイヤレベル情報へ設定するサブレイヤレベル情報復号手段（レベル情報復号部１２２１ｂ）と、
を備えている。

以上、上記構成によれば、複数レイヤ間においてプロファイルとレベルが共通の場合に、対象レイヤのプロファイル情報とレベル情報の提示を省略することができる。すなわち、プロファイルレベル提示フラグがプロファイル情報およびレベル情報を提示しないことを示す場合に、プロファイル情報およびレベル情報が、所定の復号済レイヤのプロファイル情報とレベル情報を、対象レイヤのプロファイル情報とレベル情報へ設定し、明示的にプロファイル情報とレベル情報を復号しないため、従来技術に比べて、対象レイヤのプロファイル情報、およびレベル情報の復号に係る処理量を削減する効果を奏する。

また、対象レイヤのプロファイルとレベルとが、対象レイヤに含まれるサブレイヤのサブレイヤプロファイルとサブレイヤレベルが共通の場合に、サブレイヤのサブレイヤプロファイル情報とサブレイヤレベル情報の提示を省略することができる。すなわち、サブレイヤプロファイルレベル提示フラグがサブレイヤプロファイル情報およびサブレイヤレベル情報を提示しないことを示す場合に、復号済の対象レイヤのプロファイル情報およびレベル情報を、対象サブレイヤのサブレイヤプロファイル情報とサブレイヤレベル情報へ設定し、明示的にサブレイヤプロファイル情報とサブレイヤレベル情報を復号しないため、従来技術に比べて、サブレイヤプロファイル情報、およびサブレイヤレベル情報の復号に係る処理量を削減する効果を奏する。

なお、上記画像復号装置は、上記サブレイヤプロファイルレベル提示フラグが復号された後に、符号化データから、復号開始位置がバイト境界上に位置するまでバイトアラインデータを復号するバイトアラインデータ復号手段、を備えていてもよい。

上記構成によれば、従来技術に比べて、プロファイル／レベル情報の全シンタックスがバイアラインされた状態で復号することができる。そのため、サブレイヤプロファイル提示フラグ、サブレイヤレベル提示フラグ、サブレイヤプロファイル情報、およびサブレイヤレベル情報を復号する際の読み出しに関するメモリアクセスの回数を低減させることができる。すなわち、プロファイル／レベル情報に係る復号に要する処理量を低減させる効果を奏する。

このように構成した画像符号化装置も本発明の範疇であり、この場合においても、上記画像復号装置と同様の作用・効果を得ることができる。

また、上記画像符号化装置に生成され、上記画像復号装置において復号される階層符号化データのデータ構造も本発明の範疇である。

（ハードウェア的実現およびソフトウェア的実現について）
最後に、階層動画像復号装置１、階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（Micro Processing Unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯ（Magneto-Optical）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasable and Programmable Read-only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance、登録商標）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、画像データが階層的に符号化された符号化データを復号する階層動画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層動画像符号化装置に好適に適用することができる。また、階層動画像符号化装置によって生成され、階層動画像復号装置によって参照される階層符号化データのデータ構造に好適に適用することができる。

１ 階層動画像復号装置（画像復号装置）
１１ ＮＡＬ逆多重化部
１２ 可変長復号部
１２１ ヘッダ情報復号部
１２１１ プロファイル／レベル情報復号部
１２２１ａ プロファイル情報復号部
１２２１ｂ レベル情報復号部
１２２１ｃ サブレイヤプロファイル提示フラグ復号部
１２２１ｄ サブレイヤレベル提示フラグ復号部
１２２１ｅ バイトアラインデータ復号部
１２２１ｆ サブレイヤプロファイルレベル提示フラグ復号部
１２２ 予測情報復号部
１２３ 変換係数情報復号部
１４ 予測パラメータ復元部
１５ テクスチャ復元部
１６ ベース復号部
２ 階層動画像符号化装置（画像符号化装置）
２１ 予測パラメータ決定部
２２ 可変長符号化部
２２１ ヘッダ情報符号化部
２２１１ プロファイル／レベル情報符号化部
２２２１ａ プロファイル情報符号化部
２２２１ｂ レベル情報符号化部
２２２１ｃ サブレイヤプロファイル提示フラグ符号化部
２２２１ｄ サブレイヤレベル提示フラグ符号化部
２２２１ｅ バイトアラインデータ符号化部
２２２１ｆ サブレイヤプロファイルレベル提示フラグ符号化部
２２２ 予測情報符号化部
２２３ 変換係数情報符号化部
２３ ベース復号部
２４ テクスチャ情報生成部
２５ 予測情報生成部
２６ ＮＡＬ多重化部

Claims (7)

1. 画像情報が符号化された符号化データを復号する画像復号装置であって、
   プロファイル情報を復号するプロファイル情報復号手段と、
   レベル情報を復号するレベル情報復号手段と、
   各サブレイヤに関するサブレイヤプロファイル情報の有無を示すサブレイヤプロファイル提示フラグ(sub_layer_profile_flag)を復号するサブレイヤプロファイル提示フラグ復号手段と、
   上記各サブレイヤに関するサブレイヤレベル情報の有無を示すサブレイヤレベル提示フラグ(sub_layer_level_flag)を復号するサブレイヤレベル提示フラグ復号手段と、を備え、
   上記プロファイル情報復号手段は、サブレイヤ数−１個の復号済の上記サブレイヤプロファイル提示フラグを参照し、上記サブレイヤプロファイル情報がある場合、上記サブレイヤプロファイル情報を復号し、
   上記レベル情報復号手段は、サブレイヤ数−１個の復号済の上記サブレイヤレベル提示フラグを参照し、上記サブレイヤレベル情報がある場合、上記サブレイヤレベル情報を復号することを特徴とする画像復号装置。
2. 上記プロファイル情報復号手段は、上記サブレイヤプロファイル提示フラグを参照し、サブレイヤプロファイル情報がない場合上記各サブレイヤのサブレイヤプロファイル情報として上記各サブレイヤを含むレイヤのプロファイル情報を設定することを特徴とする請求項１に記載の画像復号装置。
3. 上記レベル情報復号手段は、上記サブレイヤレベル提示フラグを参照し、サブレイヤレベル情報がない場合上記各サブレイヤのサブレイヤレベル情報として上記各サブレイヤを含むレイヤのレベル情報を設定することを特徴とする請求項１に記載の画像復号装置。
4. 上記符号化データからバイトアラインデータを復号するバイトアラインデータ復号手段をさらに備えることを特徴とする請求項１に記載の画像復号装置。
5. 上記バイトアラインデータは、上記サブレイヤ数に基づいて定まることを特徴とする請求項４に記載の画像復号装置。
6. 上記プロファイル情報復号手段は、上記サブレイヤプロファイル情報としてサブレイヤプロファイル空間、サブレイヤティアフラグ、サブレイヤプロファイル識別子及びサブレイヤプロファイル互換情報を復号することを特徴とする請求項１に記載の画像復号装置。
7. 上記レベル情報復号手段は、上記サブレイヤレベル情報としてサブレイヤレベル識別子を復号することを特徴とする請求項１に記載の画像復号装置。

Images