JPWO2015053330A1 - 画像復号装置 - Google Patents

画像復号装置 Download PDF

Info

Publication number
JPWO2015053330A1
JPWO2015053330A1 JP2015541617A JP2015541617A JPWO2015053330A1 JP WO2015053330 A1 JPWO2015053330 A1 JP WO2015053330A1 JP 2015541617 A JP2015541617 A JP 2015541617A JP 2015541617 A JP2015541617 A JP 2015541617A JP WO2015053330 A1 JPWO2015053330 A1 JP WO2015053330A1
Authority
JP
Japan
Prior art keywords
layer
identifier
sps
pps
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015541617A
Other languages
English (en)
Inventor
健史 筑波
健史 筑波
山本　智幸
智幸 山本
知宏 猪飼
知宏 猪飼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2015053330A1 publication Critical patent/JPWO2015053330A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

あるレイヤセット内のレイヤ間において共有パラメータセットが適用される場合において、該レイヤセットを含むビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤが発生する。本発明の一態様によれば、あるレイヤセット内のレイヤ間において共有パラメータセットが適用される場合におけるビットストリームの制約及び、共有パラメータセットを利用するレイヤ間の依存関係を規定する。

Description

本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、および画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置に関する。
通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。
動画像符号化方式としては、AVC（H.264/MPEG-4 Advanced Video Coding）や、その後継コーデックであるHEVC（High-Efficiency Video Coding）が知られている（非特許文献１）。
これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
HEVCでは、60fpsのコンテンツを30fpsで再生する場合のような、時間的に間引いたフレームレートで再生する場合を想定してテンポラルスケーラビリティ（時間スケーラビリティ）を実現する技術が用いられている。具体的には、各ピクチャに時間識別子(TemporalID、サブレイヤ識別子)と呼ばれる数値を割り当て、時間識別子の大きいピクチャは、該時間識別子よりも小さい時間識別子のピクチャを参照しない、という制約を課している。これにより、特定の時間識別子のピクチャのみを間引いて再生する場合には、それよりも大きい時間識別子が付加されたピクチャの復号は不要になる。
また、近年、必要なデータレートに従って、画像を階層的に符号化するスケーラブル符号化技術、又は階層符号化技術が提案されている。代表的なスケーラブル符号化方式（階層符号化方式）としてSHVC（Scalable HEVC）、及びMV-HEVC(MultiView HEVC)が知られている。
SHVCでは、空間スケーラビリティ、時間スケーラビリティ、SNRスケーラビリティをサポートする。例えば空間スケーラビリティの場合、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとして符号化する。次に上位レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う（非特許文献２）。
MV-HEVCでは、視点スケーラビリティ（ビュースケーラビリティ）をサポートする。例えば、視点画像０（レイヤ０）、視点画像１（レイヤ１）、視点画像２（レイヤ２）の３つの視点画像を符号化する場合、下位レイヤ（レイヤ０）から、上位レイヤである視点画像１、視点画像２をレイヤ間予測により予測することによりレイヤ間の冗長性の除去が可能である（非特許文献３）。
SHVCやMV-HEVC等のスケーラブル符号化方式において利用されるレイヤ間予測には、レイヤ間画像予測とレイヤ間動き予測がある。レイヤ間画像予測では、下位レイヤ（あるいは、対象レイヤとは異なる別レイヤ）の復号済ピクチャのテクスチャ情報（画像）を利用して、対象レイヤの予測画像を生成する。レイヤ間動き予測では、下位レイヤ（あるいは、対象レイヤとは異なる別レイヤ）の復号済ピクチャの動き情報を利用して、対象レイヤの動き情報の予測値を導出する。すなわち、対象レイヤの参照ピクチャとして、下位レイヤ（あるいは、対象レイヤと異なる別レイヤ）の復号済ピクチャを利用することで、レイヤ間予測を行う。
また、レイヤ間の画像情報、あるいは動き情報の冗長性を除去するレイヤ間予測の他にも、符号化データを復号／符号化するために必要な符号化パラメータの集合が規定されているパラメータセット（例えば、シーケンスパラメータセットSPS、やピクチャパラメータセットPPS等）において、レイヤ間で共通する符号化パラメータの冗長性を除去するために、上位レイヤの復号／符号化で利用されるパラメータセット内の一部の符号化パラメータを、下位レイヤの復号／符号化で利用されるパラメータセット内の対応する符号化パラメータから予測（参照、あるいは継承ともいう）し、その符号化パラメータの復号／符号化を省略するパラメータセット間予測がある。例えば、SPSやPPSにおいて通知される、対象レイヤのスケーリングリスト情報（量子化マトリックス）を、下位レイヤのスケーリングリスト情報から予測する技術（パラメータセット間シンタックス予測とも称する）がある。
また、ビュースケーラビリティや、SNRスケーラビリティの場合、各レイヤの復号／符号化で利用されるパラメータセット内で、共通する符号化パラメータが多いため、異なるレイヤ間で共通のパラメータセットを利用し、レイヤ間のサイド情報（パラメータセット）の冗長性を除去する共有パラメータセットという技術がある。例えば、非特許文献２及び３では、レイヤ識別子の値がnuhLayerIdAである下位レイヤの復号／符号化で利用されるSPSやPPS（パラメータセットのレイヤ識別子の値もnuhLayerIdA）が、nuhLayerIdAよりも大きいレイヤ識別子の値（nuhLayerIdB）である上位レイヤの復号／符号化時に利用されることが許容されている。なお、画像の符号化データや、符号化パラメータ等のパラメータセットの符号化データが格納されるNALユニット内のNALユニットヘッダにおいて、レイヤを識別するレイヤ識別子 (nuh_layer_id、またはlayerId、lIdとも称する)、及びレイヤに付随するサブレイヤを識別するテンポラル識別子 (nuh_temporal_id_plus1、またはtemporalId、tIdとも称する)、さらに、NALユニットに格納されている符号化データの種別を表わすNALユニットタイプ（nal_unit_type）が通知される。
「Recommendation H.265 (04/13)」, ITU-T (２０１３年６月７日公開) JCTVC-N1008_v3 「SHVC Draft 3」, Joint Collaborative Team onVideo Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Vienna, AT, 25 July - 2 Aug. 2013 (２０１３年８月２０日公開) JCT3V-E1008_v5 「MV-HEVC Draft Text 5」, Joint CollaborativeTeam on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 5th Meeting: Vienna, AT, 27 July - 2 Aug. 2013 (２０１３年８月７日公開)
しかしながら、従来技術におけるシーケンスパラメータセット(SPS)、及びピクチャパラメータセット(PPS)等のパラメータセットを複数のレイヤ間において共有する場合（共有パラメータセット）において、次の課題がある。
（１）レイヤ識別子の値がnuhLayerIdAであるレイヤＡとレイヤ識別子の値がnuhLayerIdBであるレイヤＢから構成されるビットストリームがある場合において、ビットストリーム抽出により、レイヤＡの符号化データを破棄しレイヤＢのみの符号化データで構成されるビットストリームを抽出すると、レイヤＢを復号するために必要なレイヤＡのパラメータセット（レイヤ識別子の値がnuhLayerIdA）が破棄されることがある。この場合、抽出されたレイヤＢの符号化データを復号することができないという問題がある。
より具体的には、図１(a)に示すように、レイヤ識別子の値がそれぞれ、nuhLayerId0、nuhLyaerId1、及びnuhLayerId2であるレイヤ０(図１(a)上のnuhLayerId0)、レイヤ１(図１(a)上のnuhLayerId1)、レイヤ２(図１(a)上のnuhLayerId2)で構成されるレイヤセットＡ｛nuhLayerId0, nuhLayerId1, nuhLayerId2｝を含むビットストリームがあるとする。さらに、レイヤセットＡにおけるレイヤ間の依存関係が、図１(a)に示すように、レイヤ１、レイヤ２はそれぞれレイヤ０をレイヤ間予測（レイヤ間画像予測、レイヤ間動き予測）の参照レイヤとして依存し（図１上の実線の矢印）、レイヤ１の復号で利用されるレイヤ識別子の値がnuhLayerId1であるパラメータセット（ＳＰＳ、ＰＰＳ）を、レイヤ２は、レイヤ２の復号で参照する依存関係がある（図１上の二重点線の矢印）とする。
このレイヤセットＡ｛nuhLayerId0, nuhLayerId1, nuhLayerId2｝を含むビットストリームから、レイヤセットＡのサブセットであるレイヤセットＢ{nuhLayerId0, nuhLayerId2}のみを含むサブビットストリーム、レイヤＩＤ{nuhLayerId0, nuhLayerId2}に基づいて抽出（ビットストリーム抽出）する（図１(b)）。しかし、レイヤセットＢ内のレイヤ２（nuhLayerId2）の符号化データを復号するときに利用する、レイヤ識別子の値がnuhLayerId1であるパラメータセット（ＳＰＳ、ＰＰＳ等）は、抽出後のビットストリームには存在しないため、レイヤ２の符号化データを復号することができない場合が発生しうる。
（２）レイヤ識別子の値がnuhLayerIdAであるレイヤＡのパラメータセットが、どのレイヤと共通で利用される（共有パラメータセットを適用する）かが、符号化データの復号開始時点において不明であるため、あるレイヤＩＤ（もしくはレイヤセット）の符号化データのみを復号もしくは抽出する場合に、どのレイヤＩＤのパラメータセットを復号、抽出すべきかが不明であるという課題がある。
本発明は、上記問題に鑑みてされたものであり、その目的は、あるレイヤセット内のレイヤ間において共有パラメータセットが適用される場合におけるビットストリームの制約及び、共有パラメータセットを利用するレイヤ間の依存関係を規定し、該レイヤセットを含むビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止する画像復号装置、及び画像符号化装置を実現することにある。
上記の課題を解決するために、本発明の一態様に係る画像復号装置は、複数のレイヤを含む階層画像符号化データを復号する画像復号装置であって、パラメータセットを復号するパラメータセット復号手段と、スライスヘッダを復号するスライスヘッダ復号手段と、スライスヘッダ、又はパラメータセットに含まれるアクティブパラメータセット識別子に基づいて、パラメータセットから、アクティブパラメータセットを指定するアクティブパラメータセット指定手段と、を備え、上記アクティブパラメータセットのレイヤ識別子は、対象レイヤ、又は、対象レイヤの依存レイヤのレイヤ識別子である。
本発明の一態様によれば、あるレイヤセット内のレイヤ間において共有パラメータセットが適用される場合におけるビットストリームの制約及び、共有パラメータセットを利用するレイヤ間の依存関係を規定し、該レイヤセットを含むビットストリームから、ビットストリーム抽出処理により生成された、該レイヤセットのサブセットのレイヤセットのみを含むビットストリーム上で復号不可となるレイヤの発生を防止することができる。
あるレイヤセットＡを含むビットストリームから、レイヤセットＡのサブセットであるレイヤセットＢを抽出する際に発生する問題の一例を説明するための図である。（ａ）はレイヤセットＡの一例を示し、（ｂ）はビットストリーム抽出後のレイヤセットＢの一例を示す。 本発明の一実施形態に係る階層符号化データのレイヤ構造を説明するための図であって、（ａ）は、階層動画像符号化装置側について示しており、（ｂ）は、階層動画像復号装置側について示している。 あるレイヤセットを構成するレイヤ、およびサブレイヤ（テンポラルレイヤ）の構造を説明するための図である。 図３に示すレイヤセットよりサブビットストリーム抽出処理により、抽出したレイヤセットのサブセットを構成するレイヤ、およびサブレイヤ（テンポラルレイヤ）を説明するための図である。 NALユニットレイヤを構成するデータ構造の例を示す図である。 NALユニットレイヤに含まれるシンタックスの例を示す図である。（ａ）はNALユニットレイヤを構成するシンタックス例を示し、 (ｂ)はNALユニットヘッダのシンタックス例を示す図である。 本発明の実施形態に係るＮＡＬユニットタイプの値とＮＡＬユニットの種別の関係を示す図である。 アクセスユニットに含まれるＮＡＬユニットの構成の一例を示す図である。 本発明の実施形態に係る階層符号化データの構成を説明するための図であって、（ａ）は、シーケンスSEQを既定するシーケンスレイヤ、（ｂ）は、ピクチャPICTを規定するピクチャレイヤ、（ｃ）は、スライスSを規定するスライスレイヤ、（ｄ）は、スライスデータを規定するスライスデータレイヤ、（ｅ）は、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、（ｆ）は、符号化ツリーに含まれる符号化単位（Coding Unit; CU）を規定する符号化ユニットレイヤを示す図である。 本実施形態に係る共有パラメータセットを説明するための図である。 参照ピクチャリスト、及び参照ピクチャを説明するための図である。（ａ）は、参照ピクチャリストの一例を示し、（ｂ）参照ピクチャの一例を示す概念図である。 本発明の実施形態に係るＶＰＳのシンタックステーブルの一例である。 本発明の実施形態に係るＶＰＳ拡張データのシンタックステーブルの一例である。 本実施形態に係るレイヤ依存タイプを説明するための図である。（ａ）は、依存タイプとして、non-VCLの依存の有無を含める一例を示し、(b)は、依存タイプとして、共有パラメータセットの有無、及びパラメータセット間予測の有無を含める一例である。 本発明の実施形態に係るＳＰＳのシンタックステーブルの一例である。 従来技術に係るＳＰＳ拡張データのシンタックステーブルの一例である。 本発明の実施形態に係るＰＰＳのシンタックステーブルの一例である。 本発明の実施形態に係るスライスレイヤのシンタックステーブルの一例である。(a)は、スライスレイヤに含まれるスライスヘッダ、及びスライスデータのシンタックステーブルの一例を示し、（ｂ）は、スライスヘッダのシンタックステーブルの一例を示し、（ｃ）スライスデータのシンタックステーブルの一例を示す。 本実施形態に係る階層動画像復号装置の構成を示す概略図である。 本実施形態に係る対象レイヤセットピクチャ復号部の構成を示す概略図である。 本実施形態に係るピクチャ復号部の動作を説明するためのフローチャートである。 本実施形態に係る階層動画像復号装置の構成を示す概略図である。 本実施形態に係る対象レイヤセットピクチャ復号部の構成を示す概略図である。 本実施形態に係るピクチャ復号部の動作を説明するためのフローチャートである。 上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。 上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。 本発明の実施形態に係るスライスヘッダのシンタックステーブルの変形例の一例である。 本発明の実施形態に係るＰＰＳのシンタックステーブルの変形例の一例である。 本発明の実施形態に係るＳＰＳ拡張データのシンタックステーブルの一例である。（ａ）本発明の実施形態に係るレイヤ間画素対応情報の一例であり、（ｂ）はレイヤ間画素対応情報の変形例の一例である。 対象レイヤのピクチャ、参照レイヤのピクチャ、および、レイヤ間画素対応オフセットの関係を例示する図であり、（ａ）は、参照レイヤのピクチャ全体が対象レイヤのピクチャの一部に対応する場合の例を示し、（ｂ）は、参照レイヤのピクチャの一部が対象レイヤのピクチャ全体に対応する場合の例を示す。 間接参照レイヤを説明するための図である。
図２〜図３１に基づいて、本発明の一実施形態に係る階層動画像復号装置１および階層動画像符号化装置２を説明すれば以下のとおりである。
〔概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、SVCやSHVCにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。
また、階層符号化技術は、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティ、および（４）ビュースケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレームレート（単位時間のフレーム数）において階層化する技術である。ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。また、ビュースケーラビリティは、各画像に対応付けられた視点位置において階層化する技術である。
本実施形態に係る階層動画像符号化装置２及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造を説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。
〔階層符号化データのレイヤ構造〕
ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表わす図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。
以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。
図２（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図２（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。
まず、図２（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。
下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。
また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。
また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。
このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。
次に、図２（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。
なお、上位の階層符号化データの一部の情報を抽出（ビットストリーム抽出とも呼ぶ）して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。
例えば、中位階層Ｌ２の階層復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号できる。
なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。
また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像ＰＯＵＴ＃Ｂの復号に、“Ｂ”だけから構成される階層符号化データと、復号画像ＰＯＵＴ＃Ｃを入力とする階層動画像復号装置も構成できる。
なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。
本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。
VCL NALユニット ： VCL(Video Coding Layer、ビデオ符号化レイヤ) NALユニットとは、動画像（映像信号）の符号化データを含むNALユニットである。例えば、VCL NALユニットには、スライスデータ（ＣＴＵの符号化データ）、及び当該スライスの復号を通じて共通で利用されるヘッダ情報（スライスヘッダ）が含まれる。
non-VCL NALユニット ： non-VCL(non-Video Coding Layer、非ビデオ符号化レイヤ、非VCL) NALユニットとは、ビデオパラメータセットＶＰＳ、シーケンスパラメータセットＳＰＳ、ピクチャパラメータセットＰＰＳ等の各シーケンスやピクチャを復号する時に利用される符号化パラメータの集合であるヘッダ情報等の符号化データを含むNALユニットである。
レイヤ識別子 ： レイヤ識別子(レイヤIDとも称する)は、階層（レイヤ）を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。
一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。
レイヤ ： 特定の階層（レイヤ）のレイヤ識別子の値(nuh_layer_id, nuhLayerId)をもつVCL NAL UNIT及びそのVCL NALユニットに関連付けられたnon-VCL NAL UNITの集合、あるいは、階層的な関係をもつシンタックス構造の集合の一つである。
上位レイヤ ： ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。
下位レイヤ ： ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。
対象レイヤ ： 復号または符号化の対象となっている階層のことをいう。なお、対象レイヤに対応する復号画像を対象レイヤピクチャと呼ぶ。また、対象レイヤピクチャを構成する画素を対象レイヤ画素と呼ぶ。
参照レイヤ ： 対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。なお、参照レイヤに対応する復号画像を参照レイヤピクチャと呼ぶ。また、参照レイヤを構成する画素を参照レイヤ画素と呼ぶ。
図２（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。また、参照レイヤは、対象レイヤの復号に用いられる符号化パラメータ等を予測する際に利用（参照）される、対象レイヤとは異なるレイヤであるとも表現できる。対象レイヤのレイヤ間予測で直接、参照される参照レイヤを直接参照レイヤとも呼ばれる。また、対象レイヤの直接参照レイヤＡのレイヤ間予測で参照される直接参照レイヤＢは、対象レイヤの間接参照レイヤとも呼ばれる。
基本レイヤ ： 最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。
拡張レイヤ ： 基本レイヤの上位レイヤは、拡張レイヤと称される。
レイヤ間予測 ： レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を参照レイヤの情報から予測するレイヤ間予測のことをレイヤ間動き情報予測と称することもある。また、下位レイヤの復号画像から予測するレイヤ間予測のことをレイヤ間画像予測（あるいはレイヤ間テクスチャ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。
テンポラル識別子： テンポラル識別子（テンポラルＩＤ、時間識別子、サブレイヤＩＤ、あるいはサブレイヤ識別子ともいう）は、時間スケーラビリティに関するレイヤ（以降、サブレイヤ）を識別するための識別子である。テンポラル識別子は、サブレイヤを識別するためのものであり、サブレイヤと１対１に対応する。符号化データには特定のサブレイヤの復号画像の復号に必要な部分符号化データを選択するために用いられるテンポラル識別子が含まれる。特に、最高次（最上位）のサブレイヤのテンポラル識別子を最高次（最上位）テンポラル識別子(highest TemporalId, highestTid)と称する。
サブレイヤ： サブレイヤとは、テンポラル識別子により特定される時間スケーラビリティに関するレイヤである。空間スケーラビリティ、ＳＮＲスケーラビリティ等、そのほかのスケーラビリティと区別するため、以降サブレイヤと称する（テンポラルレイヤとも称する）。また、以降では、時間スケーラビリティは、基本レイヤの符号化データ、またはあるレイヤを復号するために必要な階層符号化データ、に含まれるサブレイヤによって実現されるものとする。
レイヤセット： レイヤセットとは、1以上のレイヤからなるレイヤの集合である。
ビットストリーム抽出処理 ： ビットストリーム抽出処理とは、あるビットストリーム（階層符号化データ、符号化データ）から、対象最高次テンポラル識別子(highest TemporalId, highestTid)、対象レイヤセットに含まれるレイヤを表わすレイヤIDリスト(LayerSetLayerIdList[]ともいう)によって定まる集合（ターゲットセットと呼ぶ）に含まれないNALユニットを除去（破棄）し、ターゲットセットに含まれるNALユニットから構成されるビットストリーム（サブビットストリームとも称する）を抽出する処理である。ビットストリーム抽出処理は、サブビットストリーム抽出とも呼ばれる。なお、レイヤセットに含まれるレイヤＩＤは、レイヤＩＤリストLayerSetLayerIdList[K](K=0…N-1, Nはレイヤセットに含まれるレイヤ数)の各要素に、昇順で格納されているものとする。
次に、図３、及び図４を参照して、ビットストリーム抽出処理（サブビットストリーム抽出ともいう）により、あるレイヤセットＡを含む階層符号化データより、レイヤセットＡのサブセットとなるレイヤセットＢ（ターゲットセットとも呼ぶ）を含む階層符号化データを抽出する例について説明する。
図３は、３つのレイヤ（L#0,L#1,L#2）、及び各レイヤは３つのサブレイヤ(TID1, TID2,TID3)から構成されるレイヤセットＡの構成を表わす。なお、以降では、レイヤセットをを構成するレイヤ、及びサブレイヤを、｛レイヤＩＤリスト｛L#0,…,L#N｝、最高次テンポラルＩＤ（HighestTid=K）｝と表わす。例えば、図３のレイヤセットＡは、｛レイヤＩＤリスト｛L#0, L#1, L#2｝、最高次テンポラルID=3｝と表現される。ここで、符号Ｌ♯Ｎは、あるレイヤＮを示し、図３中の各ボックスは、ピクチャを表わし、ボックス内の番号は、復号順の一例を表わす。以降、ピクチャで番号Ｎを、P#Nと表記する（図４についても同様）。
また、各ピクチャ間の矢印は、ピクチャ間の依存方向（参照関係）を表わす。同一レイヤ内の矢印であれば、インター予測に利用される参照ピクチャであることを示す。レイヤ間の矢印であれば、レイヤ間予測に利用される参照ピクチャ（参照レイヤピクチャともいう）であることを表わす。
また、図３中のＡＵは、アクセスユニットを表わし、符号＃Ｎは、アクセスユニット番号を表わす。ＡＵ＃Ｎは、ある起点（例えば、ランダムアクセス開始点）のＡＵをＡＵ＃０とすれば、（Ｎ−１）番目のアクセスユニットであることを表わし、ビットストリームに含まれるＡＵの順番を表わす。すなわち、図３の例であれば、ビットストリーム上で、アクセスユニットは、ＡＵ＃０、ＡＵ＃１、ＡＵ＃２、ＡＵ＃３、ＡＵ＃４…の順で格納されている。なお、アクセスユニットとは、特定の分類ルールにより集約されたＮＡＬユニットの集合を表わす。図３のＡＵ＃０は、ピクチャＰ＃１、Ｐ＃１、及びＰ＃３の符号化データを含むVCL NALの集合とみることができる。なお、アクセスユニットの詳細については後述する。
図３の例では、ターゲットセット（レイヤセットＢ）は、レイヤＩＤリスト｛L#0,L#1｝、及び最高次テンポラルID=2であるから、レイヤセットＡを含むビットストリームから、ターゲットセット（レイヤセットＢ）に含まれないレイヤ、及び最高次テンポラルID=2より大きいサブレイヤを、ビットストリーム抽出により破棄する。すなわち、レイヤIDリストに含まれないレイヤL#2、及びサブレイヤ(TID3)を有するＮＡＬユニットが破棄され、最終的には、図４に示すように、レイヤセットＢを含むビットストリームが抽出される。図４では、点線のボックスは、破棄されたピクチャを表わし、点線の矢印は、破棄されたピクチャと参照ピクチャ間の依存方向を示す。なお、レイヤL#3、及びTID3のサブレイヤのピクチャを構成するNALユニットは破棄済のため、依存関係は既に断ち切られている。
ＳＨＶＣやＭＶ−ＨＥＶＣでは、ＳＮＲスケーラビリティ、空間スケーラビリティ、時間スケーラビリティ等を実現するために、レイヤ、及びサブレイヤの概念が導入されている。図３、図４で既に説明したように、フレームレートを変更し時間スケーラビリティを実現する場合、ビットストリーム抽出処理により、まず他のピクチャから参照されないピクチャ（最高次テンポラルＩＤ（TID3））の符号化データを破棄する。図３、図４の場合、ピクチャ（１０、１３、１１、１４、１２、１５）の符号化データを破棄することにより、フレームレートが１／２となる符号化データが生成される。
また、ＳＮＲスケーラビリティ、空間スケーラビリティや、ビュースケーラビリティを実現する場合、ビットストリーム抽出により、ターゲットセットに含まれない、レイヤの符号化データを破棄することで、各スケーラビリティの粒度を変更することができる。（図３、図４では、３、６、９、１２、１５）の符号化データを破棄することで、スケーラビリティの粒度を粗くした符号化データが生成される。上記処理を繰り返すことで、段階的にレイヤ、サブレイヤの粒度を調整することができる。
なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、HEVCおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、MPEG-2や、H.264/AVCなどの符号化方式により生成してもよい。
また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１に供給されてもよいし、同一の伝送路を介して階層動画像復号装置１に供給されてもよい。
例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをMPEG-2またはH.264/AVCにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をHEVCにより符号化して、インターネットで伝送してもよい。
＜階層符号化データＤＡＴＡの構造＞
本実施形態に係る画像符号化装置２および画像復号装置１の詳細な説明に先立って、画像符号化装置２によって生成され、画像復号装置１によって復号される階層符号化データＤＡＴＡのデータ構造について説明する。
（ＮＡＬユニットレイヤ）
図５は、階層符号化データＤＡＴＡにおけるデータの階層構造を示す図である。階層符号化データＤＡＴＡは、ＮＡＬ（Network Abstraction Layer）ユニットと呼ばれる単位で符号化される。
ＮＡＬは、動画像符号化処理を行う層であるＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
ＶＣＬは、画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのファイルフォーマットや、ＭＰＥＧ−２システムに対応する。以下に示す例では、下位システムは、対象レイヤおよび参照レイヤにおける復号処理に対応する。なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。
図６（ａ）は、ＮＡＬ（Network Abstraction Layer）ユニットのシンタックステーブルを示す。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダ（ＮＡＬユニットヘッダ：nal_unit_header()）が含まれる。ＮＡＬユニットヘッダは、例えば、図６（ｂ）に示すシンタックスで表わされる。ＮＡＬユニットヘッダには、ＮＡＬユニットに格納された符号化データの種類を表わす”nal_unit_type”、格納された符号化データが属するサブレイヤの識別子（テンポラル識別子）を表わす”nuh_temporal_id_plus1”や、格納された符号化データが属するレイヤの識別子（レイヤ識別子）を表わす”nuh_layer_id”（または、nuh_reserved_zero_6bits）が記述されている。一方、ＮＡＬユニットデータには、後述のパラメータセット、ＳＥＩ、スライスなどが含まれる。
図７は、ＮＡＬユニットタイプの値とＮＡＬユニットの種別の関係を示す図である。図７に示す通り、SYNA101 で示される０から１５の値のＮＡＬユニットタイプを持つＮＡＬユニットは、非ＲＡＰ(ランダムアクセスピクチャ)のスライスである。SYNA102 で示される１６から２１の値のＮＡＬユニットタイプを持つＮＡＬユニットは、ＲＡＰ(ランダムアクセスピクチャ、ＩＲＡＰピクチャ)のスライスである。ＲＡＰピクチャには、大きく分けて、ＢＬＡピクチャ、ＩＤＲピクチャ、ＣＲＡピクチャがあり、ＢＬＡピクチャは、さらに、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＤＬＰ、ＢＬＡ＿Ｎ＿ＬＰに分類される。ＩＤＲピクチャは、さらに、ＩＤＲ＿Ｗ＿ＤＬＰ、ＩＤＲ＿Ｎ＿ＬＰに分類される。ＲＡＰピクチャ以外のピクチャには、リーディングピクチャ（ＬＰピクチャ）、テンポラルアクセスピクチャ（ＴＳＡピクチャ、ＳＴＳＡピクチャ）、トレイリングピクチャ（ＴＲＡＩＬピクチャ）などがある。なお、各階層における符号化データは、NALユニットに格納されることでNAL多重化されて階層動画像復号装置１に伝送される。
図７、特にNAL Unit Type Classで示されるように、各ＮＡＬユニットは、ＮＡＬユニットタイプに応じて、ピクチャを構成するデータ(VCLデータ)と、それ以外のデータ（non-VCL）に分類される。ピクチャは、ランダムアクセスピクチャ、リーディングピクチャ、トレイリングピクチャなどのピクチャ種別によらず、全てVCL NALユニットに分類され、ピクチャの復号に必要なデータであるパラメータセットや、ピクチャの補助情報であるＳＥＩ、シーケンスの区切りを表わすアクセスユニットデリミタ(AUD)、エンドオブシーケンス(EOS)、エンドオブビットストリーム(EOB)などは、non-VCL NALユニットに分類される。
（アクセスユニット）
特定の分類ルールにより集約されたＮＡＬユニットの集合のことをアクセスユニットと呼ぶ。レイヤ数が１の場合には、アクセスユニットは１ピクチャを構成するＮＡＬユニットの集合である。レイヤ数が１より大きい場合には、アクセスユニットは同じ時刻の複数のレイヤのピクチャを構成するＮＡＬユニットの集合である。なお、アクセスユニットの区切りを示すために、符号化データはアクセスユニットデリミタ（Access unit delimiter）と呼ばれるＮＡＬユニットを含んでも良い。アクセスユニットデリミタは、符号化データ中にあるアクセスユニットを構成するＮＡＬユニットの集合と、別のアクセスユニットを構成するＮＡＬユニットの集合の間に含まれる。
図８は、アクセスユニットに含まれるＮＡＬユニットの構成の一例を示す図である。図８に示すように、ＡＵには、ＡＵの先頭であることを示すアクセスユニットデリミタ（ＡＵＤ）、各種パラメータセット（ＶＰＳ、ＳＰＳ、ＰＰＳ）、各種ＳＥＩ（Prefix SEI, Suffix SEI）、レイヤ数が１の場合は１ピクチャを構成するＶＣＬ（slice）、レイヤ数が１より大きい場合はレイヤ数分のピクチャを構成するＶＣＬ、シーケンスの終端を示すＥＯＳ（End of Sequence）、ビットストリームの終端を示すＥＯＢ（End of Bitstream）等のＮＡＬユニットから構成される。なお、図８において、ＶＰＳ、ＳＰＳ、ＳＥＩ、ＶＣＬの後の符号L#K(K=Nmin…Nmax)は、レイヤＩＤを表わす。図８の例では、ＡＵ内に、ＶＰＳを除き、各レイヤL#Nmin〜レイヤL#NmaxのＳＰＳ、ＰＰＳ、ＳＥＩ、ＶＣＬが、レイヤＩＤの昇順で存在する。ＶＰＳは、最低次のレイヤＩＤでのみ送られる。なお、図８において、特定ＮＡＬユニットがＡＵ内に存在するか、または繰り返し存在するかを、矢印によって示している。例えば、特定のＮＡＬユニットがＡＵ内に存在すれば、そのＮＡＬユニットを通過する矢印で示し、特定のＮＡＬユニットがＡＵ内に存在しなければ、そのＮＡＬユニットをスキップする矢印で示している。例えば、ＡＵＤを通らずに、ＶＰＳへ向かう矢印は、ＡＵＤがＡＵ内に存在しない場合を示す。また、最低次以外の上位のレイヤＩＤを有するＶＰＳがＡＵ内に含まれてもよいが、画像復号装置は、最低次以外のレイヤＩＤを有するＶＰＳを無視するものとする。また、各種パラメータセット（ＶＰＳ，ＳＰＳ，ＰＰＳ）や補助情報であるＳＥＩは、図８のように、アクセスユニットの一部として含まれてもよいし、ビットストリームとは別の手段でデコーダに伝達されてもよい。
図９は、階層符号化データＤＡＴＡにおけるデータの階層構造を示す図である。階層符号化データＤＡＴＡは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図９の（ａ）〜（ｆ）は、それぞれ、シーケンスＳＥＱを既定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、符号化ツリーに含まれる符号化単位（Coding Unit；ＣＵ）を規定する符号化ユニットレイヤを示す図である。
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図９の（ａ）に示すように、ビデオパラメータセット（Video Parameter Set）シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤＩＤを示す。図９では、＃０と＃１すなわちレイヤＩＤが０とレイヤＩＤが１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれに限定されない。
ビデオパラメータセットＶＰＳでは、１以上のレイヤから構成される符号化データを復号するために画像復号装置１が参照する符号化パラメータの集合が規定されている。例えば、後述のシーケンスパラメータセットや他のシンタックス要素が参照するＶＰＳを識別するために用いるＶＰＳ識別子(video_parameter_set_id)や、符号化データに含まれるレイヤ数(vps_max_layers_minus1)、レイヤに含まれるサブレイヤ数(vps_sub_layers_minus1)、符号化データ中で表現される1以上のレイヤからなるレイヤの集合を規定するレイヤセットの数(vps_num_layer_sets_minus1)、レイヤセットを構成するレイヤの集合を規定するレイヤセット構成情報(layer_id_included_flag[i][j])や、レイヤ間の依存関係(直接依存フラグdirect_dependency_flag[i][j]、レイヤ依存タイプdirect_dependency_type[i][j])などが規定されている。ＶＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス毎に復号に用いられるＶＰＳが複数の候補から選択される。あるレイヤに属する特定シーケンスの復号に使用されるＶＰＳは、アクティブＶＰＳと呼ばれる。また、基本レイヤと拡張レイヤに適用されるＶＰＳを区別して、基本レイヤ（レイヤＩＤ＝０）に対するＶＰＳをアクティブＶＰＳと呼び、拡張レイヤ（レイヤＩＤ＞０）に対するＶＰＳをアクティブレイヤＶＰＳと呼ぶこともある。以下では、特に断りがなければ、ＶＰＳは、あるレイヤに属する対象シーケンスに対するアクティブＶＰＳを意味する。なお、レイヤID＝nuhLayerIdAであるレイヤの復号で利用される、レイヤID＝nuhLayerIdAであるＶＰＳは、nuhLayerIdAよりも大きいレイヤIDであるレイヤ（nuhLayerIdB、nuhLayerIdB>nuhLayerIdA）の復号に利用されてもよい。以降、特に断りがなければ、VPSのレイヤIDは０であり(nuhLayerId=0)、テンポラルIDは０である（tId=0）とする制約（ビットストリーム制約ともいう）がデコーダとエンコーダ間であるものとする。
シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために画像復号装置１が参照する符号化パラメータの集合が規定されている。例えば、対象ＳＰＳが参照するアクティブＶＰＳを表わすアクティブＶＰＳ識別子(sps_video_parameter_set_id)、後述のピクチャパラメータセットや他のシンタックス要素が参照するＳＰＳを識別するために用いるＳＰＳ識別子（sps_seq_parameter_set_id）や、ピクチャの幅や高さが規定される。ＳＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス毎に復号に用いられるＳＰＳが複数の候補から選択される。あるレイヤに属する特定シーケンスの復号に使用されるＳＰＳは、アクティブＳＰＳとも呼ばれる。また、基本レイヤと拡張レイヤに適用されるＳＰＳを区別して、基本レイヤに対するＳＰＳをアクティブＳＰＳと呼び、拡張レイヤに対するＳＰＳをアクティブレイヤＳＰＳと呼ぶこともある。以下では、特に断りがなければ、ＳＰＳは、あるレイヤに属する対象シーケンスの復号に利用されるに対するアクティブＳＰＳを意味する。なお、レイヤID＝nuhLayerIdAであるレイヤに属するシーケンスの復号で利用される、レイヤID＝nuhLayerIdAであるＳＰＳは、nuhLayerIdAよりも大きいレイヤIDであるレイヤ（nuhLayerIdB、nuhLayerIdB>nuhLayerIdA）に属するシーケンスの復号に利用されてもよい。以降、特に断りがなければ、SPSのテンポラルIDは０である（tId=0）とする制約（ビットストリーム制約ともいう）がデコーダとエンコーダ間であるものとする。
ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために画像復号装置１が参照する符号化パラメータの集合が規定されている。例えば、対象ＰＰSが参照するアクティブＳＰＳを表わすアクティブＳＰＳ識別子(pps_seq_parameter_set_id)、後述のスライスヘッダや他のシンタックス要素が参照するＰＰＳを識別するために用いるＰＰＳ識別子（pps_pic_parameter_set_id）や、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）、スケーリングリスト（量子化マトリックス）が含まれる。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。あるレイヤに属する特定ピクチャの復号に使用されるＰＰＳはアクティブＰＰＳと呼ばれる。また、基本レイヤと拡張レイヤに適用されるＰＰＳを区別して、基本レイヤに対するＰＰＳをアクティブＰＰＳと呼び、拡張レイヤに対するＰＰＳをアクティブレイヤＰＰＳと呼ぶこともある。以下では、特に断りがなければ、ＰＰＳは、あるレイヤに属する対象ピクチャに対するアクティブＰＰＳを意味する。なお、レイヤID＝nuhLayerIdAであるレイヤに属するピクチャの復号で利用される、レイヤID＝nuhLayerIdAであるＰＰＳは、nuhLayerIdAよりも大きいレイヤIDであるレイヤ（nuhLayerIdB、nuhLayerIdB>nuhLayerIdA）に属するピクチャの復号に利用されてもよい。
なお、アクティブＳＰＳ、及びアクティブＰＰＳは、レイヤ毎に異なるＳＰＳやＰＰＳに設定してもよい。すなわち、レイヤ毎に異なるＳＰＳやＰＰＳを参照して復号処理を実行することができる。
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図９の（ｂ）に示すように、スライスS0〜SNS-1を含んでいる（NSはピクチャＰＩＣＴに含まれるスライスの総数）。
なお、以下、スライスS0〜SNS-1のそれぞれを区別する必要が無い場合、符号の添字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡに含まれるデータであって、添字を付している他のデータについても同様である。
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図９の（ｃ）に示すように、スライスヘッダＳＨ、および、スライスデータSDATAを含んでいる。
スライスヘッダＳＨには、対象スライスの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれる。例えば、対象スライスを復号するために参照するＰＰＳ（アクティブＰＰＳ）を指定するアクティブＰＰＳ識別子（slice_pic_parameter_set_id）が含まれる。なお、アクティブＰＰＳが参照するＳＰＳは、アクティブＰＰＳに含まれるアクティブＳＰＳ識別子（pps_seq_parameter_set_id）により指定される。さらに、アクティブＳＰＳが参照するＶＰＳ（アクティブＶＰＳ）は、アクティブＳＰＳに含まれるアクティブＶＰＳ識別子（sps_video_parameter_set_id）により指定される。
図１０を例に、本実施例におけるレイヤ間のパラメータセットの共有（共有パラメータセット）を説明する。図１０は、ヘッダ情報とアクセスユニット（ＡＵ）を構成する符号化データの参照関係を表わす。図１０の例では、各ＡＵ内のレイヤL#K(K=Nmin…Nmax)に属するピクチャを構成する各スライスは、参照すべきＰＰＳを指定するアクティブＰＰＳ識別子をスライスヘッダ内に含んでおり、各スライスの復号開始時に該識別子によって復号に用いるＰＰＳ（アクティブＰＰＳ）を指定する（アクティベートするともいう）。なお、同一ピクチャ内のスライスが参照する各ＰＰＳ、ＳＰＳ、ＶＰＳの識別子は同一でなければならない。アクティベートされたＰＰＳの中には、復号処理上参照すべきＳＰＳ（アクティブＳＰＳ）を指定するアクティブＳＰＳ識別子が含まれており、該識別子によって復号に用いるＳＰＳ（アクティブＳＰＳ）を指定する（アクティベートする）。同様に、アクティベートされたＳＰＳの中には、各レイヤに属するシーケンスの復号処理上参照すべきＶＰＳ（アクティブＶＰＳ）を指定するアクティブＶＰＳ識別子が含まれており、該識別子によって復号に用いるＶＰＳ（アクティブＶＰＳ）を指定する（アクティベートする）。以上の手順により、各レイヤの符号化データの復号処理を実行するにあたって必要なパラメータセットが確定する。図１０の例では、各パラメータセット（ＶＰＳ、ＳＰＳ、ＰＰＳ）のレイヤ識別子は、あるレイヤセットに属する最低次のレイヤID＝L#Nminであるとする。レイヤID=L#Nminであるスライスは、同一レイヤIDを有するパラメータセットを参照している。すなわち、図１０の例では、AU#iのレイヤID=L#Nminであるスライスは、レイヤID=L#Nminであって、PPS識別子＝０であるＰＰＳを参照し、同ＰＰＳは、レイヤID=L#Nminであって、SPS識別子＝０であるＳＰＳを参照し、同ＳＰＳは、レイヤID=L#Nminであって、VPS識別子＝０であるＶＰＳを参照している。一方、AU#iのレイヤID=L#K(K>Nmin)（図１０では、L#Nmax）であるスライスは、同一レイヤID(=L#K)を有するＰＰＳ、ＳＰＳを参照することも可能であるが、L#Kより下位レイヤL#M(K>M)（図１０では、M=Nmin、L#Nmin）のＰＰＳ、ＳＰＳも参照することが可能である。すなわち、レイヤ間で、共通のパラメータセットを参照することにより、上位レイヤにおいて、下位レイヤと同一の符号化パラメータを有するパラメータセットを重複して送る必要がなくなるため、重複するパラメータセットに関する符号量の低減、及び復号／符号化に係る処理量を低減することが可能である。なお、各ヘッダ情報（スライスヘッダ、ＰＰＳ、ＳＰＳ）が参照する上位のパラメータセットの識別子は、図１０の例に限定されない。ＶＰＳであれば、VPS識別子k=0…15の中から選択されてよいし、ＳＰＳであれば、SPS識別子m=0…15の中から選択されてよいし、ＰＰＳであれば、PPS識別子n=0…63の中から選択されてよい。
また、スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。
（スライスデータレイヤ）
スライスデータレイヤでは、処理対象のスライスデータSDATAを復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスデータSDATAは、図９の（ｄ）に示すように、符号化ツリーブロック（CTB:Coded Tree Block）を含んでいる。ＣＴＢは、スライスを構成する固定サイズ（例えば６４×６４）のブロックであり、最大符号化単位（ＬＣＵ:Largest Cording Unit）と呼ぶこともある。
（符号化ツリーレイヤ）
符号化ツリーレイヤは、図９の（ｅ）に示すように、処理対象の符号化ツリーブロックを復号するために階層動画像復号装置１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ツリー（coding tree）と称する。４分木の中間ノードは、符号化ツリーユニット（CTU:Coded Tree Unit）であり、符号化ツリーブロック自身も最上位のCTUとして規定される。CTUは、分割フラグ（split_flag）を含み、split_flagが１の場合には、４つの符号化ツリーユニットCTUに分割される。split_flagが０の場合には、符号化ツリーユニットCTUは４つの符号化ユニット(CU：Coded Unit)に分割される。符号化ユニットCUは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットCUは、符号化処理の基本的な単位となる。
また、符号化ツリーユニットＣＴＵのサイズ、および、各符号化ユニットのとり得るサイズは、シーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、符号化ツリーユニットＣＴＵのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
なお、符号化ツリーユニットより復号される対象ピクチャ上の部分領域を符号化ツリーブロック（CTB: Coding Tree block）と呼ぶ。対象ピクチャの輝度成分である輝度ピクチャに対応するCTBは輝度CTBと呼ばれる。換言すると、CTUから復号される輝度ピクチャ上の部分領域は輝度CTBと呼ばれる。一方、CTUから復号される色差ピクチャに対応する部分領域は色差CTBと呼ばれる。一般に、画像の色フォーマットが決まっていれば、輝度CTBサイズと色差CTBサイズは相互に変換可能である。例えば、色フォーマットが4:2:2の場合は、色差CTBサイズは輝度CTBサイズの各半分である。以下の記載では、特に断りがなければ、CTBサイズとは輝度CTBサイズを意味する。また、CTUサイズは、CTUに対応する輝度CTBサイズである。
（符号化ユニットレイヤ）
符号化ユニットレイヤは、図９の（ｆ）に示すように、処理対象の符号化ユニットを復号するために階層動画像復号装置１が参照するデータの集合が規定されている。具体的には、符号化ユニットＣＵ（coding unit）は、ＣＵヘッダＣＵＨ、予測ツリー、変換ツリーから構成される。ＣＵヘッダＣＵＨでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。符号化ユニットは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートとなる。なお、CUに対応するピクチャ上の領域は符号化ブロック（CB:Coding Block）と呼ばれる。輝度ピクチャ上のCBを輝度CB、色差ピクチャ上のCBを色差CBと呼ぶ。CUサイズ（符号化ノードのサイズ）とは、輝度CBサイズを意味する。
（変換ツリー）
変換ツリー（以下、ＴＴと略称する）は、符号化ユニットＣＵが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ユニットＣＵを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。なお、ＣＵに含まれる変換ツリーに関する情報、及び変換ツリーに包含される情報を、ＴＴ情報と呼ぶ。
変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
変換ツリーＴＴには、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、及び量子化予測残差ＱＤ1〜ＱＤNT（ＮＴは、対象ＣＵに含まれる変換単位ＴＵの総数）を含んでいる。
ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各変換ブロックの形状、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象ノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現できる。例えば、ＣＵサイズが、６４×６４の場合、分割により得られる各変換ブロックは、３２×３２画素から４×４画素までのサイズをとり得る。
各量子化予測残差ＱＤは、階層動画像符号化装置２が以下の処理１〜３を、処理対象の変換ブロックである対象ブロックに施すことによって生成した符号化データである。
処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表わす（ＱＰ＝２qp/6）。
（予測ツリー）
予測ツリー（以下、ＰＴと略称する）は、符号化ユニットＣＵが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ユニットＣＵを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。なお、ＣＵに含まれる予測ツリーに関する情報、及び予測ツリーに包含される情報を、ＰＴ情報と呼ぶ。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。すなわち、インター予測では、対象レイヤと同一レイヤの参照ピクチャ（レイヤ内参照ピクチャ）または、対象レイヤの参照レイヤ上の参照ピクチャ（レイヤ間参照ピクチャ）のいずれを参照ピクチャとして、参照ピクチャ上の復号画像から予測画像を生成する。
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）と、Ｎ×Ｎとがある。
また、インター予測の場合、分割方法は、符号化データのpart_modeにより符号化され、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味する。また、分割数は１、２、４のいずれかであるため、ＣＵに含まれるＰＵは１個から４個である。これらのＰＵを順にPU0、PU1、PU2、PU3と表現する。
（予測パラメータ）
予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータ、もしくはインター予測の予測パラメータがある。
イントラ予測パラメータは、各イントラＰＵについてのイントラ予測（予測モード）を復元するためのパラメータである。予測モードを復元するためのパラメータには、ＭＰＭ（Most Probable Mode、以下同様）に関するフラグであるmpm_flag、ＭＰＭを選択するためのインデクスであるmpm_idx、及び、ＭＰＭ以外の予測モードを指定するためのインデクスであるrem_idxが含まれる。ここで、ＭＰＭとは、対象パーティションで選択される可能性が高い推定予測モードである。例えば、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいて推定された推定予測モードや、一般的に発生確率の高いＤＣモードやＰｌａｎａｒモードがＭＰＭに含まれ得る。また、以下において、単に“予測モード”と表記する場合、特にことわりのない限り、輝度予測モードのことを指すものとする。色差予測モードについては、“色差予測モード”と表記し、輝度予測モードと区別する。また、予測モードを復元するパラメータには、色差予測モードを指定するためのパラメータであるchroma_modeが含まれる。
インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0参照リスト、L1参照リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。２つの参照ピクチャリストが用いられる場合、つまり、predFlagL0=1, predFlagL1=1の場合が、双予測に対応し、１つの参照ピクチャリストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。
符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。なお、予測リスト利用フラグの各値は、インター予測識別子に基づいて、次のように導出される。
predFlagL0 ＝インター予測識別子 & 1
predFlagL1 ＝インター予測識別子 >> 1
ここで、“&”は論理積、“>>”は右シフトである。
（参照ピクチャリストの一例）
次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、復号ピクチャバッファに記憶された参照ピクチャからなる列である。図１１(a)は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリストRPL0において、左右に一列に配列された５個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号Ｐ１、Ｐ２、Ｑ０、Ｐ３、Ｐ４は、それぞれの参照ピクチャを示す符号である。同様に、参照ピクチャリストRPL1において、左端から右へ順に示されている符号Ｐ４、Ｐ３、Ｒ０、Ｐ２、Ｐ１は、それぞれの参照ピクチャを示す符号である。Ｐ１等のＰとは、対象レイヤＰを示し、そしてＱ０のＱとは、対象レイヤＰとは異なるレイヤＱを示す。同様に、Ｒ０のＲとは、対象レイヤＰ、及びレイヤＱとは異なるレイヤＲを示す。Ｐ、Ｑ及びＲの添字は、ピクチャ順序番号ＰＯＣを示す。refIdxL0の真下の下向きの矢印は、参照ピクチャインデックスrefIdxL0が、復号ピクチャバッファにおいて、参照ピクチャリストRPL0より参照ピクチャＱ０を参照するインデックスであることを示す。同様に、refIdxL1の真下の下向きの矢印は、参照ピクチャインデックスrefIdxL1が、復号ピクチャバッファにおいて、参照ピクチャリストRPL1より参照ピクチャＰ３を参照するインデックスであることを示す。
（参照ピクチャの例）
次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図１１(b)は、参照ピクチャの例を示す概念図である。図１１(b)において、横軸は表示時刻を示し、縦軸はレイヤ数を示す。図示されている、縦３行、横３列（計９個）の長方形は、それぞれピクチャを示す。９個の長方形のうち、下行の左から２列目の長方形は復号対象のピクチャ（対象ピクチャ）を示し、残りの８個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから下向きの矢印で示される参照ピクチャＱ２、及びＲ２は対象ピクチャと同じ表示時刻であってレイヤが異なるピクチャである。対象ピクチャcurPic(P2)を基準とするレイヤ間予測においては、参照ピクチャＱ２、またはＲ２が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャＰ１は、対象ピクチャと同じレイヤであって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャＰ３は、対象ピクチャと同じレイヤであって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャＰ１又はＰ３が用いられる。
（マージ予測とAMVP予測）
インター予測パラメータの復号（符号化）方法には、マージ予測（merge）モードとAMVP（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードでも、AMVPモードでも、既に処理済みのブロックの予測パラメータを用いて、対象ＰＵの予測パラメータが導出される。マージ予測モードは、予測リスト利用フラグpredFlagLX（インター予測識別子inter_pred_idc）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めずに、既に導出した予測パラメータをそのまま用いるモードであり、AMVPモードは、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めるモードである。なおベクトルmvLXは、予測ベクトルを示す予測ベクトルインデックスmvp_LX_idxと差分ベクトル(mvdLX)として符号化される。
インター予測識別子inter_pred_idcは、参照ピクチャの種類および数を示すデータであり、Pred_L0、Pred_L1、Pred_Biの何れかの値をとる。Pred_L0、Pred_L1は、各々L0参照リスト、L1参照リストと呼ばれる参照ピクチャリストに記憶された参照ピクチャが用いられることを示し、共に１枚の参照ピクチャを用いること（単予測）を示す。L0参照リスト、L1参照リストを用いた予測を各々L0予測、L1予測と呼ぶ。Pred_Biは２枚の参照ピクチャを用いること（双予測）を示し、L0参照リストとL1参照リストに記憶された参照ピクチャの２つを用いることを示す。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストに記憶された参照ピクチャを示すインデックスである。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、LXをL0、L1に置き換えることでL0参照リストに対するパラメータとL1参照リストに対するパラメータを区別するする。例えば、refIdxL0はL0予測に用いる参照ピクチャインデックス、refIdxL1はL1予測に用いる参照ピクチャインデックス、refIdx（refIdxLX）は、refIdxL0とrefIdxL1を区別しない場合に用いられる表記である。
マージインデックスmerge_idxは、処理が完了したブロックから導出される予測パラメータ候補（マージ候補）のうち、いずれかの予測パラメータを復号対象ブロックの予測パラメータとして用いるかを示すインデックスである。
（動きベクトルと変位ベクトル）
ベクトルmvLXには、動きベクトルと変位ベクトル（disparity vector、視差ベクトル）がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、異なる表示時刻（例えば、隣接する離散時刻）における同一のレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、同一解像度でかつ品質が異なるピクチャである場合、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。以下の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルmvLXと呼ぶ。ベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。ベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか、変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて行われる。
なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略できる。
〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置１の構成について、図１９〜図２１を参照して説明する。
（階層動画像復号装置の構成）
本実施形態に係る階層動画像復号装置１の構成について説明する。図１９は、本実施形態に係る階層動画復号装置１の構成を示す概略図である。階層動画像復号装置１は、外部より供給される階層符号化データＤＡＴＡに含まれる復号対象とするレイヤセット（レイヤＩＤリスト）、及び復号対象とするレイヤに付随するサブレイヤを指定する最高次テンポラルレイヤ識別子に基づいて、階層動画像符号化装置２から供給される階層符号化データＤＡＴＡを復号して、対象レイヤセットに含まれる各レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。すなわち、階層動画像復号装置１は、対象レイヤセットに含まれる、最低次のレイヤＩＤから最高次のレイヤＩＤまで、昇順で、各レイヤのピクチャの符号化データを復号し、その復号画像（復号ピクチャ）を生成する。言い換えれば、対象レイヤセットのレイヤＩＤリストLayerSetLayerIdList[0]…LayerSetIdList[N-1](Nは対象レイヤセットに含まれるレイヤ数)の順で、各レイヤのピクチャの符号化データを復号する。
なお、以下では、対象レイヤは基本レイヤを参照レイヤとする拡張レイヤであるとして説明する。そのため、対象レイヤは、参照レイヤに対する上位レイヤでもある。逆に、参照レイヤは、対象レイヤに対する下位レイヤでもある。
図１９に示すように階層動画像復号装置１は、ＮＡＬ逆多重化部１１、及び対象レイヤセットピクチャ復号部１０を含んで構成される。さらに、対象レイヤセットピクチャ復号部１０は、パラメータセット復号部１２、パラメータセット管理部１３、ピクチャ復号部１４、および復号ピクチャ管理部１５を含んで構成される。また、ＮＡＬ逆多重化部１１は、図示されないビットストリーム抽出部１７を備える。
階層符号化データＤＡＴＡには、VCLにより生成されたNALの他に、パラメータセット（VPS、SPS、PPS）やSEI等を含むNALが含まれる。それらのNALはVCL NALに対して非VCL NAL(non-VCL)と呼ばれる。
ＮＡＬ逆多重化部１１の備えるビットストリーム抽出部１７は、外部より供給される復号対象とするレイヤセット（レイヤIDリスト）、及び最高次テンポラルレイヤ識別子に基づいて、ビットストリーム抽出処理を行い、階層符号化データＤＡＴＡから、最高次テンポラル識別子(highest TemporalId, highestTid)、対象レイヤセットに含まれるレイヤを表わすレイヤIDリストによって定まる集合（ターゲットセットと呼ぶ）に含まれないNALユニットを除去（破棄）し、ターゲットセットに含まれるＮＡＬユニットから構成される対象レイヤセット符号化データＤＡＴＡ＃Ｔを抽出する。
続いて、ＮＡＬ逆多重化部１１は、ビットストリーム抽出部１７より抽出された対象レイヤセット符号化データＤＡＴＡ＃Ｔを逆多重化して、ＮＡＬユニットに含まれるＮＡＬユニットタイプ、レイヤ識別子（レイヤＩＤ）、テンポラル識別子（テンポラルＩＤ）を参照し、対象レイヤセットに含まれるＮＡＬユニットを、対象レイヤセットピクチャ復号部１０へ供給する。
対象レイヤセットピクチャ復号部１０は、供給された対象レイヤセット符号化データＤＡＴＡ＃Ｔに含まれるNALのうち、非VCL NALをパラメータセット復号部１２に、VCL NALをピクチャ復号部１４にそれぞれ供給する。すなわち、対象レイヤセットピクチャ復号部１０は、供給されたＮＡＬユニットのヘッダ（ＮＡＬユニットヘッダ）を復号し、復号したＮＡＬユニットヘッダに含まれるＮＡＬユニットタイプ、レイヤ識別子、及びテンポラル識別子に基づいて、non-VCLの符号化データをパラメータセット復号部１２へ、VCLの符号化データをピクチャ復号部１４へ、復号したＮＡＬユニットタイプ、レイヤ識別子、及びテンポラル識別子と合わせて供給する。
パラメータセット復号部１２は、入力される非VCL NALからパラメータセット、すなわち、ＶＰＳ、ＳＰＳ、および、ＰＰＳを復号してパラメータセット管理部１３に供給する。なお、パラメータセット復号部１２における本発明との関連性の高い処理の詳細について後述する。
パラメータセット管理部１３は、復号されたパラメータセットを各パラメータセットの識別子毎に、パラメータセットの符号化パラメータを保持する。具体的には、ＶＰＳであれば、ＶＰＳ識別子(video_parameter_set_id)毎に、ＶＰＳの符号化パラメータを保持する。ＳＰＳであれば、ＳＰＳ識別子(sps_seq_parameter_set_id)毎に、ＳＰＳの符号化パラメータを保持する。ＰＰＳであれば、ＰＰＳ識別子(pps_pic_parameter_set_id)毎に、ＰＰＳの符号化パラメータを保持する。
また、パラメータセット管理部１３は、後述のピクチャ復号部１４が、ピクチャを復号するために参照するパラメータセット（アクティブパラメータセット）の符号化パラメータを、ピクチャ復号部１４へ供給する。具体的には、まず、ピクチャ復号部１４で復号されたスライスヘッダＳＨに含まれるアクティブＰＰＳ識別子(slice_pic_parameter_set_id)により、アクティブＰＰＳが指定される。次に、指定されたアクティブＰＰＳに含まれるアクティブＳＰＳ識別子（pps_seq_parameter_set_id）により、アクティブＳＰＳが指定される。最後に、アクティブＳＰＳに含まれるアクティブＶＰＳ識別子（sps_video_parameter_set_id）により、アクティブＶＰＳが指定される。その後、指定されたアクティブＰＰＳ、アクティブＳＰＳ、アクティブＶＰＳの符号化パラメータを、ピクチャ復号部１４へ供給する。なお、ピクチャを復号するために参照されるパラメータセットを指定することを、「パラメータセットをアクティベートする」とも呼ぶ。例えば、アクティブＰＰＳ、アクティブＳＰＳ、アクティブＶＰＳを指定することを、それぞれ「ＰＰＳをアクティベートする」、「ＳＰＳをアクティベートする」、「ＶＰＳをアクティベートする」と呼ぶ。
ピクチャ復号部１４は、入力されるVCL NAL、アクティブパラメータセット（アクティブＰＰＳ、アクティブＳＰＳ、アクティブＶＰＳ），及び参照ピクチャに基づいて復号ピクチャを生成して復号ピクチャ管理部１５へ供給する。供給された復号ピクチャは、復号ピクチャ管理部１５内のバッファに記録される。なお、ピクチャ復号部１４の詳細な説明は後述する。
復号ピクチャ管理部１５は、入力される復号ピクチャを内部の復号ピクチャバッファ（DPB: Decoded Picture Buffer）に記録するとともに、参照ピクチャリスト生成や出力ピクチャ決定を行う。また、復号ピクチャ管理部１５は、DPBに記録されている復号ピクチャを、所定のタイミングで出力ピクチャＰＯＵＴ＃Ｔとして外部に出力する。
（パラメータセット復号部１２）
パラメータセット復号部１２は、入力される対象レイヤセット符号化データから、対象レイヤセットの復号に用いられるパラメータセット（ＶＰＳ、ＳＰＳ、ＰＰＳ）を復号する。復号されたパラメータセットの符号化パラメータは、パラメータセット管理部１３に供給され、各パラメータセットの有する識別子毎に記録される。
一般に、パラメータセットの復号は既定のシンタックス表に基づいて実行される。すなわち、シンタックス表の定める手順に従って符号化データからビット列を読み出して、シンタックス表に含まれるシンタックスのシンタックス値を復号する。また、必要に応じて、復号したシンタックス値に基づいて導出した変数を導出して、出力するパラメータセットに含めてもよい。したがって、パラメータセット復号部１２から出力されるパラメータセットは、符号化データに含まれるパラメータセット（VPS、SPS、PPS）に係るシンタックスのシンタックス値、および、該シンタックス値より導出される変数の集合と表現することもできる。
以下では、パラメータセット復号部１２において復号に使用されるシンタックス表のうち、本発明との関連性が高いシンタックス表を中心に説明する。
(ビデオパラメータセットVPS)
ビデオパラメータセットVPSは、複数のレイヤに共通するパラメータを規定するためのパラメータセットであり、各VPSを識別するためのVPS識別子、レイヤ情報として、最大レイヤ数情報、レイヤセット情報、及びレイヤ間依存情報が含まれている。
VPS識別子は、各VPSを識別するための識別子であり、シンタックス“video_parameter_set_id”(図１２のSYNVPS01)としてVPSに含まれている。後述のSPSに含まれるアクティブVPS識別子(sps_video_parameter_set_id)により特定されるVPSが、対象レイヤセット内の対象レイヤの符号化データの復号処理時に参照される。
最大レイヤ数情報は、階層符号化データ内の最大レイヤ数を表わす情報であり、シンタックス“vps_max_layers_minus1”(図１２のSYNVPS02)としてVPSに含まれている。階層符号化データ内の最大レイヤ数（以下、最大レイヤ数MaxNumLayers）は、（vps_max_layers_minus1+1）の値に設定される。なお、ここで規定される最大レイヤ数は、時間スケーラビリティを除く、その他のスケーラビリティ（ＳＮＲスケーラビリティ、空間スケーラビリティ、ビュースケーラビリティなど）に関するレイヤの最大レイヤ数である。
最大サブレイヤ数情報は、階層符号化データ内の最大サブレイヤ数を表わす情報であり、シンタックス“vps_max_sub_layers_minus1”(図１２のSYNVPS03)としてVPSに含まれている。階層符号化データ内の最大サブレイヤ数（以下、最大サブレイヤ数MaxNumSubLayers）は、(vps_max_num_sub_layers_minus1+1)の値に設定される。なお、ここで規定される最大サブレイヤ数とは、時間スケーラビリティに関するレイヤの最大レイヤ数である。
最大レイヤ識別子情報は、階層符号化データ内に含まれる最高次のレイヤのレイヤ識別子（レイヤＩＤ）を表わす情報であり、シンタックス“vps_max_layer_id”(図１２のSYNVPS04)として、VPSに含まれている。言い換えれば、階層符号化データ内に含まれる、NALユニットのレイヤＩＤ(nuh_layer_id)の最大値である。
レイヤセット数情報は、階層符号化データに含まれるレイヤセットの総数を表わす情報であり、シンタックス“vps_num_layer_sets_minus1” (図１２のSYNVPS05)として、VPSに含まれている。階層符号化データ内のレイヤセット数（以下、レイヤセット数NumLayerSets）は、(vps_num_layer_sets_minus1+1)の値に設定される。
レイヤセット情報は、階層符号化データに含まれるレイヤセットを構成するレイヤの集合を表わすリスト（以下、レイヤＩＤリストLayerSetLayerIdList）であり、VPSから復号される。VPSには、レイヤ識別子の値がｊ(nuhLayerId=j)のレイヤが、ｉ番目のレイヤセットに含まれるか否かを示すシンタックス“layer_id_included_flag[i][j]”（図１２のSYNVPS06）が含まれており、該シンタックスの値が１であるレイヤ識別子を持つレイヤからレイヤセットが構成される。すなわち、レイヤセットｉを構成するレイヤjは、レイヤＩＤリストLayerSetLayerIdList[i]に含まれる。
ＶＰＳ拡張データ有無フラグ“vps_extension_flag”(図１２のSYNVPS07)は、ＶＰＳがさらにＶＰＳ拡張データvps_extension()(図１２のSYNVPS08)を含むか否かを示すフラグである。なお、本明細書中「ＸＸであるか否かを示すフラグ」、あるいは「ＸＸの有無フラグ」と記す場合、１をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。
レイヤ間依存情報は、VPSに含まれるVPS拡張データ(vps_extension())から復号される。VPS拡張データに含まれるレイヤ間依存情報について、図１３を参照して説明する。図１３は、VPS拡張復号時に参照されるシンタックス表の一部であって、レイヤ間依存情報に係る部分を示す。
VPS拡張データ（vps_extension()）には、レイヤ間依存情報として、直接依存フラグ“direct_dependency_flag[i][j]”(図１３のSYNVPS0A)が含まれている。直接依存フラグdirect_dependency_flag[i][j]は、ｉ番目のレイヤが、ｊ番目のレイヤに直接的に依存しているか否かを示し、直接的に依存している場合に１の値、直接的に依存していない場合に０の値をとる。ここで、ｉ番目のレイヤがｊ番目のレイヤに直接的に依存している場合、ｉ番目のレイヤを対象レイヤとして復号処理を実行する場合に、ｊ番目のレイヤに関するパラメータセット、復号ピクチャや関連する復号済シンタックスが、対象レイヤにより直接的に参照される可能性があることを意味する。逆に、ｉ番目のレイヤがｊ番目のレイヤに直接的に依存していない場合、ｉ番目のレイヤを対象レイヤとして復号処理を実行する場合に、ｊ番目のレイヤに関するパラメータセット、復号ピクチャや関連する復号済シンタックスが直接的に参照されないことを意味する。言い換えると、ｉ番目のレイヤのｊ番目のレイヤに対する直接依存フラグが１である場合、ｊ番目のレイヤはｉ番目のレイヤの直接的な参照レイヤとなりえる。特定のレイヤに対して直接的な参照レイヤとなりえるレイヤの集合、つまり対応する直接依存フラグの値が１であるレイヤの集合を、直接依存レイヤセットと呼ぶ。なお、i＝０、すなわちの０番目のレイヤ（基本レイヤ）は、ｊ番目のレイヤ（拡張レイヤ）とは直接的な依存関係がないため、直接依存フラグ”direct_depedency_flag[i][j]”の値は０であり、図１３のSYNVPS0Aを含むiのループが１から始まることに示されるように、０番目のレイヤ（基本レイヤ）に対するｊ番目のレイヤ（拡張レイヤ）の直接依存フラグの復号/符号化は省略可能である。
ここで、i番目のレイヤ(レイヤ識別子iNuhLId=nunLayerIdI)に対する直接参照レイヤセットを示す、参照レイヤIDリストRefLayerId[iNuhLId][]、及びi番目のレイヤの参照レイヤであるｊ番目のレイヤが、直接参照レイヤセットの中で、昇順で、何番目の要素であるかを示す直接参照レイヤIDXリストDirectRefLayerIdx[iNuhLId][]は、後述の式により導出される。なお、参照レイヤIDリストRefLayerId[][]は２次元の配列であり、１番目の配列の要素には、対象レイヤ(レイヤi)のレイヤ識別子が格納され、２番目の配列の要素には、直接参照レイヤセットの中で、昇順で、k番目の参照レイヤのレイヤ識別子が格納される。なお、直接参照レイヤIDXリストDirectRefLayerIdx[][]は２次元の配列であり、１番目の配列の要素には、対象レイヤ(レイヤi)のレイヤ識別子が格納され、２番目の配列の要素には、レイヤ識別子が、直接参照レイヤセットの中で、昇順で、何番目の要素であるかを示すインデクス（直接参照レイヤIDX）が格納される。
上記、参照レイヤIDリスト、及び直接参照レイヤIDXリストは以下の疑似コードで導出される。なお、i番目のレイヤのレイヤ識別子nuhLayerIdは、VPS上で“layer_id_in_nuh[i]”（図１３では不図示）のシンタックスによって表わされる。以降では、i番目のレイヤのレイヤ識別子“layer_id_in_nuh[i]”の表記を短くするため、”nuhLId#i”と表記する。layer_id_in_nuh[j]であれば、”nuhLId#j”である。また、配列NumDirectRefLayers[]は、レイヤ識別子iNuhLIdのレイヤが参照する直接参照レイヤ数を表わす。
（参照レイヤIDリスト、及び直接参照レイヤIDXリストの導出）
参照レイヤIDリスト、及び直接参照レイヤIDXリストの導出は以下の疑似コードにより実行される。
for(i=0; i< vps_max_layers_minus1+1; i++){
iNuhLId = nuhLId#i;
NumDirectRefLayers[iNuhLId] = 0;
for(j=0; j<i; j++){
if( direct_dependency_flag[i][j]){
RefLayerId[iNuhLId][NumDirectRefLayers[iNuhLId]] = nuhLId#j;
NumDirectRefLayers[iNuhLId]++;
DirectRefLayerIdx[iNuhLId][ nuhLId#j]= NumDirectRefLayers[iNuhLId] - 1;
}
} // end of loop on for(j=0; j<i; i++)
} // end of loop on for(i=0; i< vps_max_layers_minus1+1; i++)
なお、上記疑似コードをステップで表わせば、次の通りである。
（SL01）i番目のレイヤに関する参照レイヤIDリスト、及び直接参照レイヤIDXリストの導出に係るループの開始点である。ループの開始前に、変数iは０に初期化される。ループ内の処理は、変数iがレイヤ数“ vps_max_layers_minus1+1”未満のときに実行され、ループ内の処理が１回実行される度に、変数iは“１”加算される。
（SL02）変数iNuhLidに、i番目のレイヤのレイヤ識別子nuhLID#iを設定する。さらに、レイヤ識別子nuhLID#iの直接参照レイヤ数NumDirectRefLyaers[iNuhLID]を０へ設定する。（SL03）j番目のレイヤを、i番目のレイヤに関する参照レイヤIDリスト、及び直接参照レイヤIDXリストへ要素追加に係るループの開始点である。ループの開始前に、変数jは０に初期化される。ループ内の処理は、変数ｊ（ｊ番目のレイヤ）がi番目のレイヤ未満（j<i）のときに実行され、ループ内の処理が１回実行される度に、変数jは“１”加算される。
（SL04）i番目のレイヤに対するj番目のレイヤの直接依存フラグ(direct_dependency_flag[i][j])を判定する。直接依存フラグが１であれば、ステップSL05〜SL07の処理を実行するため、ステップSL05へ遷移する。直接依存フラグが０であれば、ステップSL05〜SL07の処理を省略し、SL0Aへ遷移する。
（SL05）参照レイヤIDリストRefLayerId[iNuhLId][]のNumDirectRefLayers[iNuhLId]番目の要素へ、レイヤ識別子nuhLID#jを設定する。
すなわち、RefLayerId[iNuhLId][NumDirectRefLayers[iNuhLId]] = nuhLId#j;
（SL06）直接参照レイヤ数NumDirectRefLayers[iNuhLId]の値を“１”加算する。すなわち、NumDirectRefLayers[iNuhLId]++;
（SL07）直接参照レイヤIDXリストDirectRefLayerIdx[iNuhLid][]のnuhLId#j番目の要素へ、直接参照レイヤインデクス(直接参照レイヤIDX)として、“直接参照レイヤ数-1”の値を設定する。すなわち、
DirectRefLayerIdx[iNuhLId][ nuhLId#j]= NumDirectRefLayers[iNuhLId] - 1;
（SL0A）j番目のレイヤを、i番目のレイヤに関する参照レイヤIDリスト、及び直接参照レイヤIDXリストへ要素追加に係るループの終端である。
（SL0B）i番目のレイヤの参照レイヤIDリスト、及び直接参照レイヤIDXリストの導出に係るループの終端である。
以上、説明した、参照レイヤIDリスト、及び直接参照レイヤIDXリストを利用することで、直接参照レイヤセットで、ｋ番目のレイヤのレイヤIDが、全レイヤの中で、何番目の要素（直接参照レイヤIDX）であるか、逆に、直接参照レイヤIDXが、直接参照レイヤセットで、何番目の要素であるかを把握することができる。なお、導出の手順は、上記ステップに限定されず、実施可能な範囲で変更してもよい。
（間接依存フラグ、依存フラグの導出）
ここで、i番目のレイヤが、ｊ番目のレイヤに間接的に依存するか否か（ｊ番目のレイヤは、i番目のレイヤの間接参照レイヤであるか否か）の依存関係を示す間接依存フラグ(IndirectDependencyFlag[i][j])は、直接依存フラグ(direct_dependency_flag[i][j])を参照して、後述の疑似コードにより導出することができる。同様に、i番目のレイヤが、ｊ番目のレイヤに直接的に依存するか（直接依存フラグが１の場合、ｊ番目のレイヤは、i番目のレイヤの直接参照レイヤともいう）、あるいは間接的に依存するか（間接依存フラグが１の場合、ｊ番目のレイヤは、i番目のレイヤの間接参照レイヤともいう）の依存関係を示す依存フラグ(DependencyFlag[i][j])は、直接依存フラグ(direct_dependency_flag[i][j])、及び上記間接依存フラグ（IndirectDepdendencyFlag[i][j]）を参照して、後述の疑似コードにより導出することができる。ここで、図３１を参照しながら、間接参照レイヤについて説明する。図３１では、レイヤ数が、N+1であり、j番目のレイヤ（図３１上のL#j、レイヤｊと呼ぶ）は、i番目のレイヤ（図３１上のL#i、レイヤiと呼ぶ）より下位のレイヤである（j<i）。また、レイヤｊより上位であり、レイヤiより下位であるレイヤｋ(図３１上では、L#k)（j<k<i）があるとする。図３１では、レイヤkは、レイヤjに直接的に依存し（図３１上の実線の矢印、レイヤｊはレイヤｋの直接参照レイヤ、direct_dependency_flag[k][j]==1）、レイヤiは、レイヤｋに直接的に依存する(レイヤkは、レイヤjの直接参照レイヤ、direct_dependency_flag[i][k]==1)。このとき、レイヤiは、レイヤｋを介して、レイヤｊに対して、間接的に依存する（図３１上の点線の矢印）ため、レイヤｊはレイヤiの間接参照レイヤであると呼ぶ。また、図３１の例では、レイヤｊは、レイヤ1（図３１上のL#1）に直接的に依存し、レイヤ1は、レイヤ0(図３１上のL#0、基本レイヤ)に直接的に依存している。このとき、レイヤiは、レイヤk、レイヤjを介して、レイヤ1に間接的に依存するため、レイヤ1は、レイヤiの間接参照レイヤである。また、レイヤiは、レイヤk、レイヤj、レイヤ1を介して、レイヤ0に間接的に依存するため、レイヤ0は、レイヤiの間接参照レイヤである。換言すれば、レイヤiが、１又は複数のレイヤｋ(i<k<j)を介して、レイヤjに対して、間接的に依存す場合、レイヤｊは、レイヤiの間接参照レイヤである。
なお、間接依存フラグIndirectDependencyFlag[i][j]は、ｉ番目のレイヤが、ｊ番目のレイヤに間接的に依存しているか否かを示し、間接的に依存している場合に１の値、間接的に依存していない場合に０の値をとる。ここで、ｉ番目のレイヤがｊ番目のレイヤに間接的に依存している場合、ｉ番目のレイヤを対象レイヤとして復号処理を実行する場合に、ｊ番目のレイヤに関するパラメータセット、復号ピクチャや関連する復号済シンタックスが、対象レイヤにより間接的に参照される可能性があることを意味する。逆に、ｉ番目のレイヤがｊ番目のレイヤに間接的に依存していない場合、ｉ番目のレイヤを対象レイヤとして復号処理を実行する場合に、ｊ番目のレイヤに関するパラメータセット、復号ピクチャや関連する復号済シンタックスが間接的に参照されないことを意味する。言い換えると、ｉ番目のレイヤのｊ番目のレイヤに対する間接依存フラグが１である場合、ｊ番目のレイヤはｉ番目のレイヤの間接的な参照レイヤとなりえる。特定のレイヤに対して間接的な参照レイヤとなりえるレイヤの集合、つまり対応する間接依存フラグの値が１であるレイヤの集合を、間接依存レイヤセットと呼ぶ。なお、i＝０、すなわちの０番目のレイヤ（基本レイヤ）は、ｊ番目のレイヤ（拡張レイヤ）とは間接的な依存関係がないため、間接依存フラグ“IndirecctDepedencyFlag[i][j]”の値は０であり、０番目のレイヤ（基本レイヤ）に対するｊ番目のレイヤ（拡張レイヤ）の間接依存フラグの導出は省略可能である。
また、依存フラグDependencyFlag[i][j]は、ｉ番目のレイヤが、ｊ番目のレイヤに依存しているか否かを示し、依存している場合に１の値、依存していない場合に０の値をとる。なお、依存フラグDependencyFlag[i][j]に関連する、参照や依存については、特に言及しない限り、直接と間接（直接参照、間接参照、直接依存、間接依存）の両方を含むものとする。ここで、ｉ番目のレイヤがｊ番目のレイヤに依存している場合、ｉ番目のレイヤを対象レイヤとして復号処理を実行する場合に、ｊ番目のレイヤに関するパラメータセット、復号ピクチャや関連する復号済シンタックスが、対象レイヤにより参照される可能性があることを意味する。逆に、ｉ番目のレイヤがｊ番目のレイヤに依存していない場合、ｉ番目のレイヤを対象レイヤとして復号処理を実行する場合に、ｊ番目のレイヤに関するパラメータセット、復号ピクチャや関連する復号済シンタックスが参照されないことを意味する。言い換えると、ｉ番目のレイヤのｊ番目のレイヤに対する依存フラグが１である場合、ｊ番目のレイヤはｉ番目のレイヤの直接参照レイヤ、または間接参照レイヤとなりえる。特定のレイヤに対して直接参照レイヤ、または間接参照レイヤとなりえるレイヤの集合、つまり対応する依存フラグの値が１であるレイヤの集合を、依存レイヤセットと呼ぶ。なお、i＝０、すなわちの０番目のレイヤ（基本レイヤ）は、ｊ番目のレイヤ（拡張レイヤ）とは依存関係がないため、依存フラグ“DepedencyFlag[i][j]”の値は０であり、０番目のレイヤ（基本レイヤ）に対するｊ番目のレイヤ（拡張レイヤ）の依存フラグの導出は省略可能である。
（疑似コード）
for(i=0; i< vps_max_layers_minus1+1; i++){
for(j=0; j<i; j++){
IndirectDependencyFlag[i][j] = 0;
DependencyFlag[i][j] = 0;
for(k=j+1; k<i; k++){
if(direct_dependency_flag[k][j] &&
direct_dependency_flag[i][k] &&
!direct_dependency_flag[i][j]){
IndirectDependencyFlag[i][j] = 1;
}
}
DependencyFlag[i][j] =
(direct_dependency_flag[i][j] | IndirectDependencyFlag[i][j]);
} // end of loop on for(j=0; j<i; i++)
} // end of loop on for(i=0; i< vps_max_layers_minus1+1; i++)
なお、上記疑似コードをステップで表わせば、次の通りである。
（SN01）i番目のレイヤに関する間接依存フラグ、及び依存フラグの導出に係るループの開始点である。ループの開始前に、変数iは０に初期化される。ループ内の処理は、変数iがレイヤ数“vps_max_layers_minus1+1”未満のときに実行され、ループ内の処理が１回実行される度に、変数iは“１”加算される。
（SN02）i番目のレイヤとj番目のレイヤに関する間接依存フラグ、及び依存フラグの導出に係るループの開始点である。ループの開始前に、変数jは０に初期化される。ループ内の処理は、変数ｊ（ｊ番目のレイヤ）がi番目のレイヤ未満（j<i）のときに実行され、ループ内の処理が１回実行される度に、変数jは“1”加算される。
（SN03）間接依存フラグIndirectDependencyFlag[i][]のｊ番目の要素の値を０、依存フラグDependencyFlag[i][]のｊ番目の要素の値を０へ設定する。すなわち、IndirectDependencyFlag[i][j] = 0、DependencyFlag[i][j] = 0である。
（SN04）i番目のレイヤに対するj番目のレイヤが間接参照レイヤであるか否かを探索するためのループの開始点である。ループの開始前に、変数ｋは”j+1”に初期化される。ループ内の処理は、変数ｋの値が、変数i未満のときに実行され、ループ内の処理が１回実行される度に、変数kは“１”加算される。
（SN05）ｊ番目のレイヤがi番目のレイヤの間接参照レイヤであるかを判定するため、以下の（１）〜（３）の条件を判定する。
（１）j番目のレイヤが、k番目のレイヤの直接参照レイヤであるかを判定する。具体的には、ｋ番目のレイヤに対するj番目のレイヤの直接依存フラグ(direct_dependency_flag[k][j])が１であれば、真(直接参照レイヤである)と判定し、直接依存フラグが０（直接参照レイヤでない）であれば、偽と判定する。
（２）k番目のレイヤが、i番目のレイヤの直接参照レイヤであるかを判定する。具体的には、i番目のレイヤに対するk番目のレイヤの直接依存フラグ(direct_dependency_flag[i][k])が１であれば、真(直接参照レイヤである)と判定し、直接依存フラグが０(直接参照レイヤでない)であれば、偽と判定する。
（３）j番目のレイヤが、i番目のレイヤの直接参照レイヤでないことを判定する。具体的には、i番目のレイヤに対するj番目のレイヤの直接依存フラグ(direct_dependency_flag[i][j])が０（直接参照レイヤでない）であれば、真と判定し、直接依存フラグが１（直接参照レイヤである）であれば、偽と判定する。
上記（１）〜（３）の条件が全て真である場合（すなわち、ｋ番目のレイヤに対するｊ番目のレイヤの直接依存フラグdirect_dependency_flag[k][j]が１、かつ、i番目のレイヤに対するｋ番目のレイヤの直接依存フラグdirect_dependency_flag[i][k]が１、かつ、i番目のレイヤに対するｊ番目のレイヤの直接依存フラグdirect_dependency_flag[i][j]が０）、ステップSN06へ遷移する。それ以外の場合（上記（１）〜（３）のいずれか一つでも偽である場合、すなわち、ｋ番目のレイヤに対するｊ番目のレイヤの直接依存フラグdirect_dependency_flag[k][j]が０、または、i番目のレイヤに対するｋ番目のレイヤの直接依存フラグdirect_dependency_flag[i][k]が０、または、i番目のレイヤに対するｊ番目のレイヤの直接依存フラグdirect_dependency_flag[i][j]が１）であれば、ステップSN06の処理を省略し、ステップSN07へ遷移する。
（SN06）上記（１）〜（３）の条件が全て真である場合、i番目のレイヤに対するｊ番目のレイヤは間接参照レイヤであると判断し、間接依存フラグIndirectDependencyFlag[i][]のｊ番目の要素の値を１へ設定する。すなわち、IndirectDependencyFlag[i][j] = 1である。
（SN07）i番目のレイヤに対するj番目のレイヤが間接参照レイヤであるか否かを探索するためのループの終端である。
（SN08）直接依存フラグ(direct_dependency_flag[i][j])、及び間接依存フラグ(IndirectDependencyFlag[i][j])に基づいて、依存フラグ(DependencyFlag[i][j])の値を設定する。具体的には、直接依存フラグ（direct_dependency_flag[i][j]）の値と、間接依存フラグ（direct_dependency_flag[i][j]）の値の論理和の値を、依存フラグ(DependencyFlag[i][j])の値とする。すなわち、以下の式で導出する。直接依存フラグの値が１、または間接依存フラグの値が１であれば、依存フラグの値は１となる。それ以外の場合（直接依存フラグの値が０、かつ、間接依存フラグの値が０）は、依存フラグの値は０となる。なお、下記導出式は、一例であり、依存フラグに設定される値が同一になる範囲で変更可能である。
DependencyFlag[i][j] =
(direct_dependency_flag[i][j] | IndirectDependencyFlag[i][j]);
（SN0A））i番目のレイヤとj番目のレイヤに関する間接依存フラグ、及び依存フラグの導出に係るループの終端である。
（SN0B）i番目のレイヤに関する間接依存フラグ、及び依存フラグの導出に係るループの終端である。
以上、説明したように、i番目のレイヤが、ｊ番目のレイヤに間接的に依存する場合の依存関係を示す間接依存フラグ(IndirectDependencyFlag[i][j])を導出することにより、ｊ番目のレイヤが、i番目のレイヤの間接参照レイヤであるかを把握することができる。また、i番目のレイヤが、ｊ番目のレイヤに依存する場合（直接依存フラグが１、または間接依存フラグが１の場合）の依存関係を示す依存フラグ(DependencyFlag[i][j])を導出することにより、ｊ番目のレイヤが、i番目のレイヤの直接参照レイヤ、または間接参照レイヤであるかを把握することができる。なお、導出の手順は、上記ステップに限定されず、実施可能な範囲で変更してもよい。例えば、間接依存フラグ、依存フラグの導出は、次の疑似コードによって導出してもよい。
（疑似コード）
// derive indirect reference layers of layer i
for(i=2; i< vps_max_layers_minus1+1; i++){
for(k=1; k<i; k++){
for(j=0; j<k; j++){
if( (direct_dependency_flag[k][j] || IndirectDependencyFlag[k][j] )
direct_dependency_flag[i][k] &&
!direct_dependency_flag[i][j]){
IndirectDependencyFlag[i][j] = 1;
}
} // end of loop on for(j=0; j<k; j++)
} // end of loop on for(k=1; k<i; k++)
} // end of loop on for(i=2; i< vps_max_layers_minus1+1; i++)
// derive dependent layers (direct or indirect reference layers) of layer i
for(i=0; i< vps_max_layers_minus1+1; i++){
for(j=0; j<i; j++){
DependencyFlag[i][j] =
(direct_dependency_flag[i][j] | IndirectDependencyFlag[i][j]);
} // end of loop on for(j=0; j<i; i++)
} // end of loop on for(i=0; i< vps_max_layers_minus1+1; i++)
なお、上記疑似コードをステップで表わせば、次の通りである。なお、ステップSO01の開始前に、間接依存フラグIndirectDependencyFlag[][]、及び依存フラグDependencyFlga[][]の全ての要素の値は、０で初期化済であるものとする。
（SO01）i番目のレイヤ(レイヤi)に関する間接依存フラグの導出に係るループの開始点である。ループの開始前に、変数iは２に初期化される。ループ内の処理は、変数iがレイヤ数“vps_max_layers_minus1+1”未満のときに実行され、ループ内の処理が１回実行される度に、変数iは“１”加算される。なお、変数iを２から開始するのは、間接参照レイヤが発生するのはレイヤ数が３レイヤ以上のためである。
（SO02）i番目のレイヤ(レイヤi)の下位レイヤであって、ｊ番目のレイヤ(レイヤj)の上位レイヤであるｋ番目のレイヤ(レイヤk)(j<k<i)に関するループの開始点である。ループの開始前に、変数iは１に初期化される。ループ内の処理は、変数k（レイヤk）がレイヤi未満（k<i）のときに実行され、ループ内の処理が１回実行される度に、変数kは“1”加算される。なお、変数kを1から開始するのは、間接参照レイヤが発生するのはレイヤ数が３レイヤ以上のためである。
（SO03）レイヤjがレイヤiの間接参照レイヤであるかを探索するループ開始点である。ループの開始前に、変数jは0に初期化される。ループ内の処理は、変数j（レイヤj）がレイヤk未満（j<k）のときに実行され、ループ内の処理が１回実行される度に、変数jは“1”加算される。
（SO04）レイヤｊがレイヤiの間接参照レイヤであるかを判定するため、以下の（１）〜（３）の条件を判定する。
（１）レイヤjが、レイヤkの直接参照レイヤ、または間接参照レイヤであるかを判定する。具体的には、レイヤkに対するレイヤjの直接依存フラグ(direct_dependency_flag[k][j])が１、または、レイヤkに対するレイヤjの間接依存フラグ(IndirectDependencyFlag[k][j])が１であれば、真(直接参照レイヤ、または間接参照レイヤである)と判定する。また、直接依存フラグが０（直接参照レイヤでない）、かつ、間接依存フラグが０（間接参照レイヤでない）であれば、偽と判定する。
（２）レイヤkが、レイヤiの直接参照レイヤであるかを判定する。具体的には、レイヤiに対するレイヤkの直接依存フラグ(direct_dependency_flag[i][k])が１であれば、真(直接参照レイヤである)と判定し、直接依存フラグが０(直接参照レイヤでない)であれば、偽と判定する。
（３）レイヤjが、レイヤiの直接参照レイヤでないことを判定する。具体的には、レイヤiに対するレイヤjの直接依存フラグ(direct_dependency_flag[i][j])が０（直接参照レイヤでない）であれば、真と判定し、直接依存フラグが１（直接参照レイヤである）であれば、偽と判定する。
上記（１）〜（３）の条件が全て真である場合（すなわち、（レイヤkに対するレイヤｊの直接依存フラグが１、あるいは間接依存フラグが１）、かつ、レイヤiに対するレイヤの直接依存フラグdirect_dependency_flag[i][k]が１、かつ、レイヤiに対するレイヤの直接依存フラグdirect_dependency_flag[i][j]が０）、ステップSN06へ遷移する。それ以外の場合（上記（１）〜（３）のいずれか一つでも偽である場合、すなわち、レイヤkに対するレイヤｊの直接依存フラグが０、かつ間接依存フラグが０）、または、レイヤiに対するレイヤの直接依存フラグdirect_dependency_flag[i][k]が０、または、レイヤiに対するレイヤの直接依存フラグdirect_dependency_flag[i][j]が１）であれば、ステップSO05の処理を省略し、ステップSO06へ遷移する。
（SO05）上記（１）〜（３）の条件が全て真である場合、レイヤｊは、レイヤiの間接参照レイヤであると判断し、間接依存フラグIndirectDependencyFlag[i][]のｊ番目の要素の値を１へ設定する。すなわち、IndirectDependencyFlag[i][j] = 1である。
（SO06）レイヤjがレイヤiの間接参照レイヤであるかを探索するループの終端である。
（SO07）レイヤiの下位レイヤであって、レイヤjの上位レイヤであるレイヤk (j<k<i)に関するループの終端である。
（SO08）レイヤiに関する間接依存フラグの導出に係るループの終端である。
（S00A）レイヤiに関する依存フラグの導出に係るループの開始点である。ループの開始前に、変数iは０に初期化される。ループ内の処理は、変数iがレイヤ数“vps_max_layers_minus1+1”未満のときに実行され、ループ内の処理が１回実行される度に、変数iは“１”加算される。
（S00B）レイヤjがレイヤiの依存レイヤ（直接参照レイヤ、または間接参照レイヤ）であるかを探索するループの開始点である。ループの開始前に、変数jは０に初期化される。ループ内の処理は、変数jが変数i未満(j<i)のときに実行され、ループ内の処理が１回実行される度に、変数jは“１”加算される。
（S00C）直接依存フラグ(direct_dependency_flag[i][j])、及び間接依存フラグ(IndirectDependencyFlag[i][j])に基づいて、依存フラグ(DependencyFlag[i][j])の値を設定する。具体的には、直接依存フラグ（direct_dependency_flag[i][j]）の値と、間接依存フラグ（direct_dependency_flag[i][j]）の値の論理和の値を、依存フラグ(DependencyFlag[i][j])の値とする。すなわち、以下の式で導出する。直接依存フラグの値が１、または間接依存フラグの値が１であれば、依存フラグの値は１となる。それ以外の場合（直接依存フラグの値が０、かつ、間接依存フラグの値が０）は、依存フラグの値は０となる。なお、下記導出式は、一例であり、依存フラグに設定される値が同一になる範囲で変更可能である。
DependencyFlag[i][j] =
(direct_dependency_flag[i][j] | IndirectDependencyFlag[i][j]);
（S00D）レイヤjがレイヤiの依存レイヤ（直接参照レイヤ、または間接参照レイヤ）であるかを探索するループの終端である。
（S00E）レイヤiに関する依存フラグの導出に係るループの終端である。
以上、説明したように、レイヤiが、レイヤｊに間接的に依存する場合の依存関係を示す間接依存フラグ(IndirectDependencyFlag[i][j])を導出することにより、レイヤjが、レイヤiの間接参照レイヤであるかを把握することができる。また、レイヤiが、レイヤｊに依存する場合（直接依存フラグが１、または間接依存フラグが１の場合）の依存関係を示す依存フラグ(DependencyFlag[i][j])を導出することにより、レイヤｊが、レイヤiの依存レイヤ（直接参照レイヤ、または間接参照レイヤ）であるかを把握することができる。なお、導出の手順は、上記ステップに限定されず、実施可能な範囲で変更してもよい。
また、上記の例では、i番目のレイヤに対するｊ番目のレイヤが直接参照レイヤ、または間接参照レイヤであるか否かを示す依存フラグDipendecyFlag[i][j]を、全レイヤ内でのインデクスiとｊに対して導出しているが、i番目のレイヤのレイヤ識別子nuhLId#i、及びｊ番目のレイヤのレイヤ識別子nuhLId#jとして、レイヤ識別子間の依存フラグ（レイヤ識別子間依存フラグ）LIdDipendencyFlag[][]を導出してもよい。その場合、上記ステップSN08において、レイヤ識別子間依存フラグ(LIdDependencyFlag[][])の１番目の要素を、i番目のレイヤのレイヤ識別子nuhLId#i、２番目の要素をｊ番目のレイヤのレイヤ識別子nuhLId#jとして、レイヤ識別子間依存フラグ(LIdDependencyFlag[nuhLId#i][nuhLId#j])の値を導出する。すなわち、以下の式に示すように、直接依存フラグの値が１、または間接依存フラグの値が１であれば、レイヤ識別子間依存フラグの値は１となる。それ以外の場合（直接依存フラグの値が０、かつ、間接依存フラグの値が０）は、レイヤ識別子間依存フラグの値は０となる。
LIdDependencyFlag[nuhLId#i][nuhLId#j] =
(direct_dependency_flag[i][j] | IndirectDependencyFlag[i][j]);
以上、説明したように、レイヤ識別子nuhLId#iであるi番目のレイヤが、レイヤ識別子nuhLId#jであるｊ番目のレイヤに直接的に、または間接的に依存するか示すレイヤ識別子間依存フラグ(Lid0DependencyFlag[nuhLId#i][nuhLId#j])を導出することにより、レイヤ識別子nuhLId#jであるｊ番目のレイヤが、レイヤ識別子nuhLId#iであるi番目のレイヤの直接参照レイヤ、または間接参照レイヤであるかを把握することができる。なお、上記手順は、これに限定されず、実施可能な範囲で変更してもよい。
また、レイヤ間依存情報には、後述のレイヤ依存タイプ(direct_dependency_type[i][j])ビット長Ｍを示すシンタックス“direct_dependency_len_minusN”(レイヤ依存タイプビット長)(図１３のSYNVPS0C)が含まれている。ここで、Ｎはレイヤ依存タイプの種類の総数によって定まる値であり、少なくとも２以上の整数である。なお、ビット長Mの最大値は、例えば、32であり、Ｎ＝２とすれば、direct_dependency_type[i][j]の値域は、0から(2^32 - 2)である。より一般的には、ビット長Ｍ、及びレイヤ依存タイプの総数によって定まるＮで表せば、direct_dependency_type[i][j]の値域は、0から(2^M - N)である。
レイヤ間依存情報には、i番目のレイヤがとｊ番目のレイヤ間の参照関係を示すレイヤ依存タイプを示すシンタックス“direct_dependency_type[i][j]”(図１３のSYNVPS0D)が含まれている。具体的には、直接依存フラグdirect_dependency_flag[i][j]が1である場合、レイヤ依存タイプ(DirectDepType[i][j] = direct_dependency_type[i][j] + 1)の各ビット値で、ｉ番目のレイヤに対する参照レイヤであるj番目のレイヤのレイヤ依存タイプの種別の有無フラグを示す。例えば、レイヤ依存タイプの種別の有無フラグには、レイヤ間画像予測の有無フラグ(SamplePredEnabledFlag;レイヤ間画像予測有無フラグ)、レイヤ間動き予測の有無フラグ(MotionPredEnabledFlag;レイヤ間動き予測有無フラグ)や、non-VCLの依存の有無フラグ（NonVCLDepEnabledFlag;non-VCL依存有無フラグ）がある。なお、non-VCLの依存有無フラグは、non-VCL NALユニットに含まれるヘッダ情報（SPSやPPSなどのパラメータセット）に関するレイヤ間の依存関係の有無を示す。例えば、後述するレイヤ間でのパラメータセットの共有（共有パラメータセット）の有無や、レイヤ間でのパラメータセット内の一部のシンタックス予測（例えば、スケーリングリスト情報（量子化マトリックス）等）（パラメータセット間シンタックス予測、あるいはパラメータセット間予測ともいう）の有無が含まれる。なお、シンタックス“direct_dependency_type[i][j]”で符号化される値は、図１４の例では、レイヤ依存タイプの値-1、すなわち、“DirectDepType[i][j] - 1”の値である。
ここで、本実施形態に係るレイヤ依存タイプの値（DirectDepType[i][j] = direct_dependency_type[i][j] + 1）とレイヤ依存タイプの種別の対応関係の一例を図１４(a)に示す。図１４(a)に示すように、レイヤ依存タイプの最下位ビット（０ビット）の値は、レイヤ間画像予測の有無を示し、最下位ビットから1ビット目の値は、レイヤ間動き予測の有無を示し、最下位ビットから(N-1)ビット目の値は、non-VCLの依存の有無を示す。なお、最下位ビットからNビット目から最上位ビット(M-1ビット目)の各ビットは、依存タイプの拡張用ビットである。
対象レイヤi（レイヤ識別子iNuhLId=nunLayerIdI）に対する参照レイヤjの各レイヤ依存タイプ別有無フラグは、次の式によって導出される。
SamplePredEnabledFlag[iNuhLId][j]=((direct_dependency_type[i][j]+1) & 1 );
MotionPredEnabledFlag[iNuhLId][j]=((direct_dependency_type[i][j]+1) & 2 )>>1;
NonVCLDepEnabledFlag [iNuhLid][j]=
((direct_dependency_type[i][j]+1) & (1<<(N-1)) ) >> (N-1);
あるいは、(direct_dependency_type[i][j]+1)の代わりに、変数DirectDepType[i][j]を用いて、次の式によっても表現できる。
SamplePredEnabledFlag[iNuhLId][j]=((DirectDepType[i][j]) & 1 );
MotionPredEnabledFlag[iNuhLId][j]=((DirectDepType[i][j]) & 2 )>>1;
NonVCLDepEnabledFlag [iNuhLid][j]=
((DirectDepType[i][j]) & (1<<(N-1)) ) >> (N-1);
なお、図１４(a)の例では、(N-1)ビット目をnon-VCL依存タイプ(non-VCL依存有無フラグ)としているが、これに限定されない。例えば、N=3とし、最下位ビットから2ビット目をnon-VCLの依存タイプの有無を表わすビットとしてもよい。また、各依存タイプ別の有無フラグを示すビット位置は、実施可能な範囲で変更してもよい。なお、上記各有無フラグの導出は、前述した（参照レイヤIDリスト、及び直接参照レイヤIDXリストの導出）において、ステップSL08として実行して導出してもよい。なお、導出の手順は、上記ステップに限定されず、実施可能な範囲で変更してもよい。
また、上記non-VCL依存有無フラグに基づいて、i番目のレイヤの直接参照レイヤセットのサブセットとして、non-VCL依存レイヤセット(non-VCL依存レイヤIDリストNonVCLDepRefLayerId[iNuh][]、及び直接non-VCL依存レイヤIDXリストDirectNonVCLDepRefLayerIdX[iNuh][])を導出することもできる。ここで、non-VCL依存レイヤIDリストNonVCLDepRefLayerId[][]は２次元の配列であり、１番目の配列の要素には、対象レイヤ(レイヤi)のレイヤ識別子が格納され、２番目の配列の要素には、直接参照レイヤセットの中で、かつ、non-VCL依存有無フラグが１である、k番目の参照レイヤのレイヤ識別子が格納される。また、直接non-VCL依存レイヤIDXリストDirectNonVCLDepRefLayerId[][]は２次元の配列であり、１番目の配列の要素には、対象レイヤ(レイヤi)のレイヤ識別子が格納され、２番目の配列の要素には、non-VCL依存有無フラグが１でかつ、レイヤ識別子が、non-VCL依存レイヤセットの中で、昇順で、何番目の要素であるかを示すインデクス（直接non-VCL依存レイヤIDX）が格納される。
なお、基本的に、non-VCLのNALユニットの内、ピクチャの復号に依存性を有するnon-VCL NALユニットはパラメータセットである。つまり、non-VCLのNALユニットの内、補助情報であるSEIや、ストリームの区切りを示すAUD、EOS、EOBは、ピクチャの復号動作自体には影響を与えない。そのため、上記では、より一般的な定義のために、non-VCLに対する依存性を示すフラグを導入しているが、non-VCLに対する依存性を示すフラグの代わりに、より直接的に、パラメータセットに対する依存性を示すフラグを定義しても良い。パラメータセットに対する依存性を示すフラグとして定義する場合も、direct_dependency_type[][]への割り当ては、non-VCLに対する依存性の場合と等しく、処理も同様である（以下、同様）。なお、パラメータセットに対する依存性として定義する場合には、導出されるリスト名もNonVCLDepRefLayerIdからParameterSetDepRefLayerIdなどとしておけばよい。
（non-VCL依存レイヤIDリスト、直接non-VCL依存レイヤIDXリストの導出）
non-VCL依存レイヤIDリストの導出は以下の疑似コードにより実行される。
for(i=1; i< vps_max_layers_minus1+1; i++){
iNuhLId = nuhLId#i;
NumNonVCLDepRefLayers[iNuhLId] = 0;
for(j=0; j<i; j++){
if( NonVCLDepEnabledFlag[i][j] ){
NonVCLDepRefLayerId[iNuhLId][ NumNonVCLDepRefLayers[iNuhLId]] = nuhLId#j;
NumNonVCLDepRefLayers[iNuhLId]++;
DirectNonVCLDepRefLayerIdx[iNuhLId][ nuhLId#j ] =
NumNonVCLDepRefLayers[iNuhLId] - 1;
}
} // end of loop on for(j=0; j<i; i++)
} // end of loop on for(i=1; i< vps_max_layers_minus1+1; i++)
なお、上記疑似コードをステップで表わせば、次の通りである。
（SN01）i番目のレイヤに関するnon-VCL依存レイヤIDリスト、及び直接non-VCLレイヤIDXリストの導出に係るループの開始点である。ループの開始前に、変数iは０に初期化される。ループ内の処理は、変数iが、1以上、かつ、レイヤ数“vps_max_layers_minus1+1”未満のときに実行され、ループ内の処理が１回実行される度に、変数iは“1”加算される。変数i=0の場合、基本レイヤのため、拡張レイヤとの依存はないため、処理を省略している。
（SN02）変数iNuhLidに、i番目のレイヤのレイヤ識別子nuhLID#iを設定する。さらに、レイヤ識別子nuhLID#iの直接non-VCL依存レイヤ数NumDirectNonVCLDepRefLyaers[iNuhLID]を０へ設定する。
（SN03）j番目のレイヤを、i番目のレイヤに関するnon-VCL依存レイヤIDリスト、及び直接non-VCL依存レイヤIDXリストへ要素追加に係るループの開始点である。ループの開始前に、変数jは０に初期化される。ループ内の処理は、変数iがi番目のレイヤ - 1“i-1”未満のときに実行され、ループ内の処理が１回実行される度に、変数jは“1”加算される。（SN04）i番目のレイヤに対するj番目のレイヤのnon-VCL依存有無フラグ(NonVCLDepEnabledFlag[i][j])を判定する。non-VCL依存有無フラグが１であれば、ステップSN05〜SN0Xの処理を実行するため、ステップSN05へ遷移する。non-VCL依存フラグが０であれば、ステップSN05〜SN07の処理を省略し、SN0Aへ遷移する。
（SN05）non-VCL依存レイヤIDリストNonVCLDepRefLayerId[iNuhLId][]のNumDirectNonVCLDepRefLayers[iNuhLId]番目の要素へ、レイヤ識別子nuhLID#jを設定する。
すなわち、NonVCLDepRefLayerId[iNuhLId][NumDirectNonVCLDepRefLayers[iNuhLId]] = nuhLId#j;
（SN06）直接non-VCL依存レイヤ数NumDirectNonVCLDepRefLyaers[iNuhLId]の値を“１”加算する。すなわち、NumDirectNonVCLDepRefLayers[iNuhLId]++;
（SN07）直接non-VCL依存レイヤIDXリストDirectNonVCLDepRefLyaerIdX [iNuhLid][]のnuhLId#j番目の要素へ、直接non-VCL依存レイヤIDXとして、“直接non-VCL依存レイヤ数-1”の値を設定する。すなわち、
DirectNonVCLDepRefLayerIdX [iNuhLId][ nuhLId#j]=
NumDirectNonVCLDepRefLayers[iNuhLId] - 1;
（SN0A）j番目のレイヤを、i番目のレイヤに関するnon-VCL依存レイヤIDリスト、及び直接non-VCL依存レイヤIDXリストへ要素追加に係るループの終端である。
（SN0B）i番目のレイヤのnon-VCL依存レイヤIDリスト、及び直接non-VCL依存レイヤIDXリストの導出に係るループの終端である。
なお、変数i=0の場合、直接non-VCL依存レイヤ数NumDirectNonVCLDepRefLyaers[0]の値は0、すなわち、“NumDirectNonVCLDepRefLyaers[0]=0”である。
以上、説明した、non-VCL依存レイヤIDリスト、及び直接non-VCLレイヤIDXリストを利用することで、直接参照レイヤセットで、かつ、non-VCL依存有無フラグが１である、ｋ番目のレイヤのレイヤIDが、全レイヤの中で、何番目の要素（直接non-VCL依存レイヤIDX）であるか、逆に、non-VCL依存有無フラグが１である、直接non-VCL依存レイヤIDXが、直接参照レイヤセットで、何番目の要素であるかを把握することができる。なお、導出の手順は、上記ステップに限定されず、実施可能な範囲で変更してもよい。
（non-VCL依存タイプの効果）
以上、本実施例では、レイヤ依存タイプとして、VCL間の依存タイプ(レイヤ間画像予測やレイヤ間動き予測)の他に、新たにnon-VCL間の依存タイプの有無を示すnon-VCL依存タイプを導入する。non-VCL間の依存には、異なるレイヤ間でのパラメータセットの共有（共有パラメータセット）や、異なるレイヤ間でのパラメータセット間のシンタックスの一部の予測（パラメータセット間シンタックス予測）が含まれる。
non-VCL依存タイプの有無(non-VCL依存タイプ)を明示的に通知することによって、デコーダは、レイヤセット内のいずれのレイヤが、対象レイヤのnon-VCLの依存レイヤ(non-VCL依存レイヤ）となるかＶＰＳ拡張データを復号することによって把握することができる効果を奏する。すなわち、レイヤ識別子の値がnuhLayerIdAであるレイヤＡのnon-VCLが、nuhLayerIdAと異なるレイヤ識別子nuhLayerIdBであるレイヤＢから参照されるか否かが、ＶＰＳ以外のnon-VCLを復号開始する前に把握できるため、あるレイヤＩＤ（またはレイヤセット）の符号化データのみを復号もしくは抽出する場合に、どのレイヤＩＤのnon-VCLを復号、抽出すべきか把握することができる。すなわち、従来技術において、レイヤ識別子の値がnuhLayerIdAであるレイヤＡのパラメータセットが、どのレイヤと共通で利用される（共有パラメータセットを適用する）かが、符号化データの復号開始時点において不明であるため、あるレイヤＩＤ（もしくはレイヤセット）の符号化データのみを復号もしくは抽出する場合に、どのレイヤＩＤのパラメータセットを復号、抽出すべきかが不明であるという課題を解消することができる。
同様に、non-VCL依存タイプに基づいて、レイヤ識別子nuhLayerIdAであるレイヤＡのパラメータセットが、nuhLayerIdAと異なるレイヤ識別子nuhLayerIdBであるレイヤＢから参照されるか否かを把握することができる。換言すれば、non-VCL依存タイプに基づいて、レイヤ識別子nuhLayerIdAであるレイヤＡのパラメータセットが、nuhLayerIdAと異なるレイヤ識別子nuhLayerIdBであるレイヤＢから共有パラメータセットとして参照されるか否かを把握することができる。同様に、レイヤ識別子nuhLayerIdAであるレイヤＡのパラメータセットが、nuhLayerIdAと異なるレイヤ識別子nuhLayerIdBであるレイヤＢからのパラメータセット間予測で参照されるか否かを把握することができる。
（non-VCL依存タイプに係るビットストリーム制約）
また、non-VCL間の依存タイプの有無を導入することによって、デコーダとエンコーダ間で以下のビットストリーム制約を明示的に示すことができる。ここで、ビットストリームコンフォーマンスとは、階層動画像復号装置（ここでは本発明の実施形態に係る階層動画像復号装置）が復号するビットストリームが満たす必要がある条件である。
すなわち、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＸ１を満たさなければならない。
ＣＸ１：「レイヤ識別子nuhLayerIdAであるnon-VCLが、レイヤ識別子nuhLayerIdBであるレイヤで利用されるnon-VCLであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLayerIdBの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
なお、ＣＸ１の条件は、次の条件ＣＸ１’のようにも言い換えることができる。
ＣＸ１’：「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するnon-VCLが、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idを有するレイヤで利用（参照）されるnon-VCLであるとき、nuhLayerIdAに等しいレイヤ識別子nuh_layer_idのレイヤは、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idのレイヤの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
上記ビットストリーム制約ＣＸ１は、換言すれば、対象レイヤが参照可能なレイヤのnon-VCLは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するnon-VCLであるということである。
「対象レイヤが参照可能なレイヤのnon-VCLは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するnon-VCLである」ということは、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのnon-VCLを参照すること」を禁止することを意味する。
すなわち、レイヤセットＡからサブセットであるレイヤセットＢをビットストリーム抽出するときに、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのnon-VCLを参照すること」を禁止できるため、レイヤセットＢに含まれるレイヤが参照する異なるレイヤのnon-VCLが破棄されることはない。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、異なるレイヤのnon-VCLを参照するレイヤが復号できないという問題を解消することができる。
さらに、共有パラメータセットに関して限定すれば、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＸ２を満たさなければならない。
ＣＸ２：「レイヤ識別子nuhLayerIdAであるパラメータセットが、レイヤ識別子nuhLayerIdBであるレイヤのアクティブパラメータセットであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLayerIdBの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
なお、ＣＸ２の条件は、次の条件ＣＸ２’のようにも言い換えることができる。
ＣＸ２’：「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するパラメータセットが、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idを有するレイヤのアクティブパラメータセットであるとき、nuhLayerIdAに等しいレイヤ識別子nuh_layer_idのレイヤは、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idのレイヤの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
さらに、上記制約条件ＣＸ２をＳＰＳに関する共有パラメータセット、ＰＰＳに関する共有パラメータセットに限定すれば、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＸ３、及びＣＸ４をそれぞれ満たさなければならない。
ＣＸ３：「レイヤ識別子nuhLayerIdAであるSPSが、レイヤ識別子nuhLayerIdBであるレイヤのアクティブSPSであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLayerIdBの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
ＣＸ４：「レイヤ識別子nuhLayerIdAであるPPSが、レイヤ識別子nuhLayerIdBであるレイヤのアクティブPPSであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLyaerIdBの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
なお、ＣＸ３、及びＣＸ４はそれぞれ、次の条件ＣＸ３’、ＣＸ４’のようにも言い換えることができる。
ＣＸ３’：「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するPPSが、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idを有するレイヤのアクティブPPSであるとき、nuhLayerIdAに等しいレイヤ識別子nuh_layer_idのレイヤは、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idのレイヤの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
ＣＸ４’：「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するSPSが、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idを有するレイヤのアクティブSPSであるとき、nuhLayerIdAに等しいレイヤ識別子nuh_layer_idのレイヤは、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idのレイヤの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
上記ビットストリーム制約ＣＸ２〜ＣＸ４は、換言すれば、共有パラメータセットとして利用可能なパラメータセットは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するパラメータセットであるということである。
「共有パラメータセットとして利用可能なパラメータセットは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するパラメータセットである」ということは、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのパラメータセットを参照すること」を禁止することを意味する。
すなわち、レイヤセットＡからサブセットであるレイヤセットＢをビットストリーム抽出するときに、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのパラメータセットを参照すること」を禁止できるため、レイヤセットＢに含まれるレイヤが参照する異なるレイヤのパラメータセットが破棄されることはない。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、共有パラメータセットを利用するレイヤが復号できないという問題を解消することができる。すなわち、図１で説明した従来技術において発生しえたビットストリーム抽出時の課題を解消することができる。
(シーケンスパラメータセットSPS)
シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために画像復号装置１が参照する符号化パラメータの集合が規定されている。
アクティブVPS識別子は、対象SPSが参照するアクティブVPSと指定する識別子であり、シンタックス“sps_video_parameter_set_id”(図１５のSYNSPS01)としてSPSに含まれている。なお、パラメータセット復号部１２は、復号対象のシーケンスパラメータセットＳＰＳに含まれるアクティブVPS識別子を復号するとともに、パラメータセット管理部１３から、該アクティブVPS識別子で指定されるアクティブＶＰＳの符号化パラメータを読み出し、以降の復号対象ＳＰＳの各シンタックスを復号する際に該アクティブＶＰＳの符号化パラメータを参照してもよい。なお、復号対象SPSの各シンタックスが、アクティブVPSの符号化パラメータに依存しない場合は、復号対象SPSのアクティブVPS識別子復号時点での、VPSのアクティベート処理は必要ない。
SPS識別子は、各SPSを識別するための識別子であり、シンタックス“sps_seq_parameter_set_id”(図１５のSYNSPS02)としてSPSに含まれている。後述のPPSに含まれるアクティブSPS識別子(pps_seq_parameter_set_id)により特定されるSPSが、対象レイヤセット内の対象レイヤの符号化データの復号処理時に参照される。
（ピクチャ情報）
ＳＰＳには、ピクチャ情報として、対象レイヤの復号ピクチャのサイズを定める情報が含まれる。例えば、ピクチャ情報は、対象レイヤの復号ピクチャの幅や高さを表わす情報を含んでいる。SPSから復号されるピクチャ情報には、復号ピクチャの幅（pic_width_in_luma_samples）と復号ピクチャの高さ（pic_height_in_luma_samples）が含まれている（図１５では不図示）。シンタックス“pic_width_in_luma_samples”の値は、輝度画素単位での復号ピクチャの幅に対応する。また、シンタックス“pic_height_in_luma_samples”の値は、輝度画素単位での復号ピクチャの高さに対応する。
図１５のSYNSPS04に示すシンタックス群は、対象シーケンス全体を通じて利用されるスケーリングリスト（量子化マトリックス）に関する情報（スケーリングリスト情報）である。スケーリングリスト情報の中で、“sps_infer_scaling_list_flag”(SPSスケーリングリスト推定フラグ)は、対象SPSのスケーリングリストに関する情報を、“sps_scaling_list_ref_layer_id”で特定される参照レイヤのアクティブＳＰＳのスケーリングリスト情報から推定するか否かを示すフラグである。SPSスケーリングリスト推定フラグが１の場合、該SPSのスケーリングリスト情報は、“sps_scaling_list_ref_layer_id”で特定される参照レイヤのアクティブＳＰＳのスケーリングリスト情報から推定される（コピーされる）。SPSスケーリングリスト推定フラグが０の場合、SPSでスケーリングリスト情報が、“sps_scaling_list_data_present_flag”に基づいて通知される。
ＳＰＳ拡張データ有無フラグ“sps_extension_flag”（図１５のSYNSPS05）は、ＳＰＳがさらにＳＰＳ拡張データsps_extension()（図１５のSYNSPS06）を含むか否かを示すフラグである。
ＳＰＳ拡張データ（sps_extension()）には、レイヤ間位置対応情報が含まれている。
（レイヤ間位置対応情報）
レイヤ間位置対応情報は、概略的には、対象レイヤと参照レイヤの対応する領域の位置関係を示す。例えば、対象レイヤのピクチャと参照レイヤのピクチャにある物体（物体Ａ）が含まれる場合、対象レイヤのピクチャ上の物体Ａに対応する領域と、参照レイヤのピクチャ上の物体Ａに対応する領域が、前記対象レイヤと参照レイヤの対応する領域に相当する。なお、レイヤ間位置対応情報は、必ずしも上記の対象レイヤと参照レイヤの対応する領域の位置関係を正確に示す情報でなくてもよいが、一般的には、レイヤ間予測の正確性を高めるために正確な対象レイヤと参照レイヤの対応する領域の位置関係を示している。
レイヤ間位置対応情報は、レイヤ間画素対応情報を含む。レイヤ間画素対応情報は、参照レイヤのピクチャ上の画素と、対応する対象レイヤのピクチャ上の画素との位置関係を示す情報である。
（レイヤ間画素対応情報）
レイヤ間画素対応情報は、例えば、図２９ (a)に示すシンタックス表に従って復号される。図２９（ａ）は、パラメータセット復号部１２がSPS復号時に参照するシンタックス表の一部であって、レイヤ間画素対応情報に係る部分である。
レイヤ間画素対応情報には、レイヤ識別子nuhLayerIdB（nuhLayerIdB>=nuhLayerIdA）を有するレイヤに属するシーケンスの復号の際に、レイヤ識別子nuhLayerIdAを有するレイヤの該SPS（復号対象SPS）を共有パラメータセットとして参照するレイヤ数（パラメータセット参照レイヤ数NumLIdRefSharedSPS）を表わすシンタックス“num_layer_id_refering_shared_sps_minus1”(図２９（ａ）のSYNSPS0A)が含まれる。パラメータセット参照レイヤ数NumLIdRefSharedSPSは、(num_layer_id_refering_shared_sps_minus1 + 1）の値に設定される。
レイヤ間画素対応情報には、レイヤ識別子nuhLayerIdB（nuhLayerIdB>=nuhLayerIdA）を有するレイヤに属するシーケンスの復号の際に、レイヤ識別子nuhLayerIdAを有するレイヤの該SPS（復号対象SPS）を参照するレイヤ（レイヤ識別子nuhLayerIdB＝layer_id_referring_sps[k]）(図２９(a)のSYNSPS0B)毎に、SPS拡張データに含まれるレイヤ間画素対応情報の個数“num_scaled_ref_layer_offsets[k]”(図２９(a)のSYNSPS0C)が含まれる。なお、図２９（ａ）のSYNSPS0Bにおいて、“layer_id_referring_sps[k]”は、変数ｋが０の場合、該ＳＰＳと同一のレイヤ識別子nuhLayerIdAを有するレイヤであるため、“layer_id_referring_sps[k]”は復号されず、“layer_id_referring_sps[k]”の値は、該ＳＰＳのレイヤ識別子nuhLayerIdAと等しいと推定される（図２９（ａ）では、layer_id_referring_sps[0]=nuh_layer_id）。すなわち、“layer_id_referring_sps[0]”に係る符号量を削減する効果がある。
加えて、レイヤ間画素対応情報には、上記レイヤ識別子nuhLayerIdB=layer_id_referring_sps[k]であるレイヤ毎に、該レイヤと参照レイヤ（直接参照レイヤ）に関する前記レイヤ間画素対応情報の個数分のレイヤ間画素対応オフセットが含まれる。すなわち、図２９（ａ）に示すレイヤ間画素対応情報は、対象レイヤと直接参照レイヤ間のレイヤ画素対応情報である。レイヤ間画素対応オフセットには、スケール後参照レイヤ左オフセット（scaled_ref_layer_left_offset[k][i]）、スケール後参照レイヤ上オフセット（scaled_ref_layer_top_offset[k][i]）、スケール後参照レイヤ右オフセット（scaled_ref_layer_right_offset[k][i]）、および、スケール後参照レイヤ下オフセット（scaled_ref_layer_bottom_offset[k][i]）が含まれる。ここで、変数ｋは、パラメータセット参照レイヤの識別するためのインデックスであり、変数iは、該パラメータセット参照レイヤの直接参照レイヤを識別するためのインデックスであり、直接参照レイヤIDXリストDirectRefLayerIdx[ layer_id_refering_shared_sps[k] ][ ]の２番目の要素に格納されている直接参照レイヤIDXと対応する。なお、各オフセット(scaled_ref_layer_x_offset[k][],x=left, top, right, bottom))の２番の要素は、直接参照レイヤの直接参照レイヤIDXの代わり、直接参照レイヤのレイヤ識別子であってもよい。その場合には、図２９（ｂ）のSYNSPS0Dに示すように、直接参照レイヤIDXのレイヤ識別子を示す“scaled_ref_layer_id[k][i]”がオフセットに関するシンタックスの直前に配置する。
レイヤ間画素対応オフセットに含まれる各オフセットの意味を、図３０を参照して説明する。図３０は、対象レイヤのピクチャ、参照レイヤのピクチャ、および、レイヤ間画素対応オフセットの関係を例示する図である。各オフセットは、対象レイヤピクチャ上で、参照レイヤピクチャ全体（もしくは一部領域）に対応する対象レイヤ対象領域を示す。図３０（ａ）は、対象レイヤ対象領域が、参照レイヤピクチャ全体に対応する場合であり、図３０（ｂ）は、参照レイヤ対象領域が、参照レイヤピクチャの一部に対応する場合である。
図３０（ａ）は、参照レイヤのピクチャ全体が対象レイヤのピクチャの一部に対応する場合の例を示す。この場合、参照レイヤピクチャ全体に対応する対象レイヤ上の領域（対象レイヤ対応領域）は、対象レイヤピクチャの内部に含まれている。図３０（ｂ）は、参照レイヤのピクチャの一部が対象レイヤのピクチャ全体に対応する場合の例を示す。この場合、参照レイヤ対応領域の内部に対象レイヤピクチャが含まれている。
図３０に示すように、スケール後参照レイヤ左オフセット（図３０ではSRL左オフセット）は、参照レイヤ対象領域左辺の対象レイヤピクチャ左辺に対するオフセットを表わす。なお、SRL左オフセットが０より大きい場合、参照レイヤ対象領域左辺が対象レイヤピクチャ左辺の右側に位置することを表わす。
スケール後参照レイヤ上オフセット（図３０ではSRL上オフセット）は、参照レイヤ対象領域上辺の対象レイヤピクチャ上辺に対するオフセットを表わす。なお、SRL上オフセットが０より大きい場合、参照レイヤ対象領域上辺が対象レイヤピクチャ上辺の下側に位置することを表わす。
スケール後参照レイヤ右オフセット（図３０ではSRL右オフセット）は、参照レイヤ対象領域右辺の対象レイヤピクチャ右辺に対するオフセットを表わす。なお、SRL右オフセットが０より大きい場合、参照レイヤ対象領域右辺が対象レイヤピクチャ右辺の左側に位置することを表わす。
スケール後参照レイヤ下オフセット（図３０ではSRL下オフセット）は、参照レイヤ対象領域下辺の対象レイヤピクチャ下辺に対するオフセットを表わす。なお、SRL下オフセットが０より大きい場合、参照レイヤ対象領域下辺が対象レイヤピクチャ下辺の上側に位置することを表わす。
従来技術に係るＳＰＳのレイヤ間位置対応情報（図１６のSYNSPS0B）では、該ＳＰＳと同一のレイヤ識別子を有するレイヤに関してのみ、該レイヤと該レイヤの参照レイヤ間のレイヤ間画素対応情報が含まれている。しかし、該ＳＰＳのレイヤ識別子より上位のレイヤ識別子を有するレイヤ（上位レイヤ）が、該ＳＰＳを共有パラメータセットとして参照する場合には、該上位レイヤと該上位レイヤの参照レイヤ間のレイヤ画素対応位置情報がないという問題がある。すなわち、該上位レイヤがレイヤ間画像予測を正確に実施するために必要なレイヤ間画素対応情報がないため、符号化効率が低下するという問題がある。また、レイヤ間画像対応情報を含まない（num_scaled_ref_layer_offsets=0）場合にしか、上位レイヤが該ＳＰＳを共有パラメータセットとして参照することができない問題がある。なお、レイヤ間画像対応情報を含まない場合とは、対象レイヤピクチャ全体と参照レイヤピクチャ全体が対応することを意味する。
一方、本実施例に係るＳＰＳに含まれるレイヤ間位置対応情報には、レイヤ識別子nuhLayerIdB（nuhLayerIdB>=nuhLayerIdA）を有するレイヤに属するシーケンスの復号の際に、該SPS(レイヤ識別子nuhLayerIdAを有するレイヤのSPS)を、共有パラメータセットとして参照するレイヤ（パラメータセット参照レイヤ）の数が含まれる。さらに、該レイヤ間位置対応情報には、パラメータセット参照レイヤ毎に、該パラメータセット参照レイヤのレイヤ識別子を有するレイヤが、依存するレイヤ数個のレイヤ間画素対応情報が含まれる構成である。従って、従来技術において発生した上記課題を解消することができる。すなわち、該ＳＰＳのレイヤ識別子より上位のレイヤ識別子を有するレイヤ（上位レイヤ）が、該ＳＰＳを共有パラメータセットとして参照する場合には、該上位レイヤと該上位レイヤの参照レイヤ間のレイヤ画素対応位置情報がないという問題を解消する。従って、該上位レイヤがレイヤ間画像予測を正確に実施するために必要なレイヤ間画素対応情報を含むため、従来技術に対して、符号化効率の向上の効果を奏する。また、レイヤ間画像対応情報を含まない（num_scaled_ref_layer_offsets=0）場合に限定されず、上位レイヤが該ＳＰＳを共有パラメータセットとして参照することができるため、上位レイヤのパラメータセットに関する符号量を低減、及びその復号／符号化に係る処理量を低減することができる。
(ピクチャパラメータセットPPS)
ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために画像復号装置１が参照する符号化パラメータの集合が規定されている。
PPS識別子は、各PPSを識別するための識別子であり、シンタックス“sps_seq_parameter_set_id”(図１５のSYNSPS02)としてPPSに含まれている。後述のスライスヘッダに含まれるアクティブPPS識別子(slice_pic_parameter_set_id)により特定されるPPSが、対象レイヤセット内の対象レイヤの符号化データの復号処理時に参照される。
アクティブSPS識別子は、対象PPSが参照するアクティブSPSと指定する識別子であり、シンタックス“pps_seq_parameter_set_id”(図１７のSYNSPS02)としてPPSに含まれている。なお、パラメータセット復号部１２は、復号対象のピクチャパラメータセットＰＰＳに含まれるアクティブSPS識別子を復号するとともに、パラメータセット管理部１３から、該アクティブSPS識別子で指定されるアクティブＳＰＳの符号化パラメータを読み出し、さらに、該アクティブSPSが参照するアクティブVPSの符号化パラメータを呼び出し、以降の復号対象ＰＰＳの各シンタックスを復号する際に該アクティブＳＰＳ、及び該アクティブＶＰＳの符号化パラメータを参照してもよい。なお、復号対象PPSの各シンタックスが、アクティブSPS、及びアクティブVPSの符号化パラメータに依存しない場合は、復号対象PPSのアクティブPPS識別子復号時点での、SPS、及びVPSのアクティベート処理は必要ない。
図１７のSYNPPS03に示すシンタックス群は、対象ＰＰＳを参照するピクチャの復号時に利用されるスケーリングリスト（量子化マトリックス）に関する情報（スケーリングリスト情報）である。スケーリングリスト情報の中で、“pps_infer_scaling_list_flag”(スケーリングリスト推定フラグ)は、対象PPSのスケーリングリストに関する情報を、“pps_scaling_list_ref_layer_id”で特定される参照レイヤのアクティブＰＰＳのスケーリングリスト情報から推定するか否かを示すフラグである。PPSスケーリングリスト推定フラグが１の場合、該PPSのスケーリングリスト情報は、“sps_scaling_list_ref_layer_id”で特定される参照レイヤのアクティブＰＰＳのスケーリングリスト情報から推定される（コピーされる）。PPSスケーリングリスト推定フラグが０の場合、PPSでスケーリングリスト情報が、“sps_scaling_list_data_present_flag”に基づいて通知される。
（ピクチャ復号部１４）
ピクチャ復号部１４は、入力されるVCL NALユニット、および、アクティブパラメータセットに基づいて復号ピクチャを生成して出力する。
図２０を用いて、ピクチャ復号部１４の概略的構成を説明する。図２０は、ピクチャ復号部１４の概略的構成を示した機能ブロック図である。
ピクチャ復号部１４は、スライスヘッダ復号部１４１、CTU復号部１４２を備えている。CTU復号部１４２は、さらに、予測残差復元部１４２１、予測画像生成部１４２２、及びCTU復号画像生成部１４２３を含んでいる。
（スライスヘッダ復号部１４１）
スライスヘッダ復号部１４１は、入力されるVCL NALユニットとアクティブパラメータセットに基づいてスライスヘッダを復号する。復号したスライスヘッダは、入力されるVCL NALユニットと合わせてCTU復号部１４２に出力する。
（ＣＴＵ復号部１４２）
ＣＴＵ復号部１４２は、概略的には、入力されるスライスヘッダ、VCL NALユニットに含まれるスライスデータ、及びアクティブパラメータセットに基づいて、ピクチャを構成するスライスに含まれる各CTUに対応する領域の復号画像を復号することで、スライスの復号画像を生成する。ここで、CTUサイズは、アクティブパラメータセットに含まれる、対象レイヤに対するCTBサイズ(図15のSYNSPS03上のlog2_min_luma_coding_block_size_minus3、及びlog2_diff_max_min_luma_coding_block_sizeが対応するシンタックスである)が用いられる。スライスの復号画像は、入力されるスライスヘッダが示すスライス位置へ、復号ピクチャの一部として出力される。CTUの復号画像は、CTU復号部１４２内部の予測残差復元部１４２１、予測画像生成部１４２２、及びCTU復号画像生成部１４２３により生成される。
予測残差復元部１４２１は、入力のスライスデータに含まれる予測残差情報（ＴＴ情報）を復号して対象CTUの予測残差を生成して出力する。
予測画像生成部１４２２は、入力のスライスデータに含まれる予測情報（ＰＴ情報）の示す予測方法と予測パラメータに基づいて予測画像を生成して出力する。その際、必要に応じて、参照ピクチャの復号画像や符号化パラメータが利用される。例えば、インター予測、または、レイヤ間画像予測を使用する場合は、復号ピクチャ管理部１５より対応する参照ピクチャを読み出す。なお、予測画像生成部１４２２による予測画像生成処理のうち、レイヤ間画像予測が選択された場合の予測画像生成処理の詳細は後述する。
CTU復号画像生成部１４２３は、入力される予測画像と予測残差を加算して対象CTUの復号画像を生成して出力する。
＜レイヤ画像予測による予測画像生成処理の詳細＞
前述の予測画像生成部１４２２による予測画像生成処理のうち、レイヤ間画像予測が選択された場合の予測画像生成処理の詳細を説明する。
レイヤ間画像予測が適用される対象CTUに含まれる対象画素の予測画素値の生成処理は次の手順で実行される。まず、参照ピクチャ位置導出処理を実行し、対応参照位置を導出する。ここで、対応参照位置とは、対象レイヤピクチャ上の対象画素に対応する参照レイヤ上の位置である。なお、対象レイヤと参照レイヤの画素は必ずしも１対１に対応しないため、対応参照位置は、参照レイヤにおける画素単位未満の精度で表現される。次に、導出した対応参照位置を入力として補間フィルタ処理を実行することで、対象画素の予測画素値が生成される。
対応参照位置導出処理では、パラメータセットに含まれるピクチャ情報、レイヤ間画素対応情報に基づいて、対応参照位置を導出する。対応参照位置導出処理の詳細手順について説明する。対応参照位置導出処理は、以下のＳ１０１〜Ｓ１０４の処理を順次実行することで実現される。
（Ｓ１０１）対象レイヤピクチャサイズ、参照レイヤピクチャサイズ、レイヤ間画素対応情報に基づいて参照レイヤ対応領域サイズと、レイヤ間サイズ比率（参照レイヤ対応領域サイズに対する参照レイヤピクチャサイズの比率）を計算する。まず、参照レイヤ対応領域の幅SRLWと高さSRLH、レイヤ間サイズ比率の水平成分scaleXと水平成分scaleYが次式により計算される。
SRLW = currPicW - SRLLeftOffset - SRLRightOffset
SRLH = currPicH - SRLTopOffset - SRLBottomOffset
scaleX = refPicW ÷ SRLW
scaleY = refPicH ÷ SRLH
ここで、currPicWとcurrPicHは対象ピクチャの高さと幅であり、対応参照位置導出処理の対象が輝度画素の場合は、対象レイヤにおけるSPSのピクチャ情報に含まれるpic_width_in_luma_samplesとpic_height_in_luma_samplesの各シンタックス値と一致する。対象が色差の場合は、色フォーマットの種類に応じて前記シンタックス値を変換した値を使用する。例えば色フォーマットが4:2:2の場合、各シンタックス値の半分の値を使用する。また、refPicWとrefPicHは参照ピクチャの高さと幅であり、対象が輝度画素の場合、参照レイヤにおけるSPSのピクチャ情報に含まれるpic_width_in_luma_samplesとpic_height_in_luma_samplesの各シンタックス値と一致する。また、SRLLeftOffset、SRLRightOffset、SRLTopOffset、SRLBottomOffsetは、図３０を参照して説明したレイヤ間画素対応オフセットである。
（Ｓ１０２）対象画素(xP,yP)に対する対応参照位置（xRef、yRef）を、レイヤ間画素対応情報とレイヤ間サイズ比率に基づいて計算する。対象レイヤ画素に対応する参照位置の水平成分xRefと垂直成分yRefは次式により計算される。なお、xRefは参照レイヤピクチャの左上画素を基準とする水平方向の位置を、yRefは同左上画素を基準とする垂直方向の位置をそれぞれ参照レイヤピクチャの画素単位で表わす。
xRef = (xP - SRLLeftOffset) * scaleX
yRef = (yP - SRLTopOffset) * scaleY
ここで、xPとyPは対象レイヤピクチャ左上画素を基準とする対象レイヤ画素の水平成分と垂直成分をそれぞれ対象レイヤピクチャの画素単位で表わす。また、実数Xに対してFloor(X)は、Xを超えない最大の整数を意味する。
上記の式では、参照レイヤ対応領域の左上画素に対する対象画素の位置をレイヤ間サイズ比率によりスケールした値を参照位置としている。なお、上記の計算を整数表現による近似演算により計算しても構わない。例えば、scaleXとscaleYを実際の倍率の値に所定の値（例えば１６）を乗算した整数として計算し、その整数値を用いてxRefやyRefを計算しても構わない。また、対象が色差の画素である場合に、輝度と色差の位相差を考慮した補正を行っても構わない。
なお、上記式では対応参照位置を画素単位で計算したが、それに限らない。例えば、対応参照位置の整数表現による１６分の１画素単位の値（xRef16,yRef16)を以下の式により計算してもよい。
xRef16 = Floor ( ( (xP - SRLLeftOffset) * scaleX) * 16 ) )
yRef16 = Floor ( ( (yP - SRLTopOffset ) * scaleY) * 16 ) )
一般に、フィルタ処理の適用に好ましい単位や表現で対応参照位置を導出することが好ましい。例えば、補間フィルタが参照する最小単位と一致する精度の整数表現により対象参照位置を導出することが好ましい。
以上説明した対応参照位置導出処理により、対象レイヤピクチャ上の対象画素に対応する参照レイヤピクチャ上の位置を対応参照位置として導出できる。
補間フィルタ処理では、上記対応参照位置導出処理で導出した対応参照位置に相当する位置の画素値を、参照レイヤピクチャ上の、前記対応参照位置近傍の画素の復号画素に補間フィルタを適用することで生成する。
以上、上記階層動画像復号装置１の備える予測画像生成部１４２２は、前記レイヤ間位相対応情報を用いて、予測対象画素に対応する参照レイヤピクチャ上の正確な位置を導出できるため、補間処理により生成される予測画素の正確さが向上する。そのため、上記階層復号装置１は、従来より少ない符号量の符号化データを復号して、上位レイヤの復号ピクチャを出力できる。
＜ピクチャ復号部１４の復号プロセス＞
以下、図２１を参照して、ピクチャ復号部１４における対象レイヤiのピクチャの復号の概略的な動作について説明する。図２１は、ピクチャ復号部１４における対象レイヤiのピクチャを構成するスライス単位の復号プロセスを示すフロー図である。
（ＳＤ１０１）復号対象スライスの先頭スライスフラグ(first_slice_segment_in_pic_flag)を復号する。先頭スライスフラグが１の場合、復号対象スライスは、ピクチャ内の復号順（以降、処理順）で先頭スライスであり、復号対象スライスの先頭ＣＴＵのピクチャ内でのラスタスキャン順での位置（以降、ＣＴＵアドレス）を０に設定する。さらに、ピクチャ内の処理済みＣＴＵ数のカウンタnumCtb（以降、処理済CTU数numCtb）を０に設定する。先頭スライスフラグが０の場合、後述のＳＤ１０６で復号されるスライスアドレスに基づいて、復号対象スライスの先頭ＣＴＵアドレスを設定する。
（ＳＤ１０２）復号対象スライスの復号時に参照するアクティブＰＰＳを指定するアクティブＰＰＳ識別子(slice_pic_paramter_set_id)を復号する。
（ＳＤ１０４）アクティブパラメータセットをパラメータセット管理部１３よりフェッチする。すなわち、復号対象スライスが参照するアクティブＰＰＳ識別子(slice_pic_parameter_set_id)と同一のＰＰＳ識別子(pps_pic_parameter_set_id)を有するＰＰＳをアクティブＰＰＳとし、パラメータセット管理部１３から、アクティブＰＰＳの符号化パラメータをフェッチする（読み出す）。さらに、アクティブＰＰＳ内のアクティブＳＰＳ識別子(pps_seq_parameter_set_id)と同一のＳＰＳ識別子(sps_seq_parameter_set_id)を有するＳＰＳをアクティブＳＰＳとし、パラメータセット管理部１３から、アクティブＳＰＳの符号化パラメータをフェッチする。さらに、アクティブＳＰＳ内のアクティブＶＰＳ識別子(sps_video_parameter_set_id)と同一のＶＰＳ識別子(vps_video_parameter_set_id)を有するＶＰＳをアクティブＶＰＳとし、パラメータセット管理部１３から、アクティブＶＰＳの符号化パラメータをフェッチする。
（ＳＤ１０５）復号対象スライスが、ピクチャ内の処理順で先頭スライスであるか否かを先頭スライスフラグに基づいて判定する。先頭スライスフラグが０の場合(SD105でYes)、ステップSD106へ遷移する。それ以外の場合(SD105でNo)、ステップSD106の処理をスキップする。なお、先頭スライスフラグが１の場合、復号対象スライスのスライスアドレスは０である。
（ＳＤ１０６）復号対象スライスのスライスアドレス（slice_segment_address）を復号し、復号対象スライスの先頭ＣＴＵアドレスを設定する。例えば、先頭スライスＣＴＵアドレス＝slice_segment_addressである。
・・・省略・・・
（ＳＤ１０Ａ）ＣＴＵ復号部１４２は、入力されるスライスヘッダ、アクティブパラメータセット、及びVCL NALユニットに含まれるスライスデータ内の各ＣＴＵ情報(図１８のSYNSD01)に基づいて、ピクチャを構成するスライスに含まれる各CTUに対応する領域のCTU復号画像を生成する。さらに、各CTU情報の後に、該CTUが復号対象スライスの終端であるかを示すスライス終端フラグ(end_of_slice_segment_flag)(図１８のSYNSD2)。また、各CTUの復号後に、処理済CTU数numCtbの値を１加算する(numCtb++)。
（ＳＤ１０Ｂ）該CTUが復号対象スライスの終端であるか否かをスライス終端フラグに基づいて判定する。スライス終端フラグが１の場合(SD10BでYes)、ステップSD10Cへ遷移する。それ以外の場合(SD10BでNo)、後続のCTU情報を復号するため、ステップSD10Aへ遷移する。
（ＳＤ１０Ｃ）処理済CTU数numCtuが、ピクチャを構成するＣＴＵの総数(PicSizeInCtbsY)に達したか判定する。すなわち、numCtu==PicSizeInCtbsYであるか判定する。numCtuがPicSizeInCtbsYと等しい場合(SD10CでYes)、復号対象ピクチャを構成するスライス単位の復号処理を終了する。それ以外の場合（numCtu<PicSizeInCtbsY）（SD10CでNo）、復号対象ピクチャを構成するスライス単位の復号処理を継続するため、ステップSD101へ遷移する。
以上、実施例１に係るピクチャ復号部１４の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
（動画像復号装置１の効果）
以上説明した本実施形態に係る階層動画像復号装置１（階層画像復号装置）は、対象レイヤの復号に利用されるパラメータセット（ＳＰＳ、ＰＰＳ）として、参照レイヤの復号に利用されるパラメータセットを共有することにより、対象レイヤのパラメータセットに係る復号処理を省略することが可能である。より具体的には、本実施例では、レイヤ依存タイプとして、VCL間の依存タイプ(レイヤ間画像予測やレイヤ間動き予測)の他に、新たにnon-VCL間の依存タイプの有無を導入する。non-VCL間の依存には、異なるレイヤ間でのパラメータセットの共有（共有パラメータセット）や、異なるレイヤ間でのパラメータセット間のシンタックスの一部の予測（パラメータセット間シンタックス予測）が含まれる。
non-VCLの有無を示す依存タイプの有無を明示的に通知することによって、デコーダは、レイヤセット内のいずれのレイヤが、対象レイヤのnon-VCLの依存レイヤ(non-VCL参照レイヤ）となるかＶＰＳ拡張データを復号することによって把握することができる効果を奏する。すなわち、レイヤ識別子の値がnuhLayerIdAであるレイヤＡのパラメータセットが、どのレイヤと共通で利用される（共有パラメータセットを適用する）かが、符号化データの復号開始時点において不明であるという課題を解消することができる。
（実施例１に係るビットストリーム制約）
また、non-VCL間の依存タイプの有無を導入することによって、デコーダとエンコーダ間で以下のビットストリーム制約を明示的に示すことができる。
すなわち、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＸ１を満たさなければならない。
ＣＸ１：「レイヤ識別子nuhLayerIdAであるnon-VCLが、レイヤ識別子nuhLayerIdBであるレイヤで利用されるnon-VCLであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLayerIdBの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
さらに、共有パラメータセットに関して限定すれば、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＸ２を満たさなければならない。
ＣＸ２：「レイヤ識別子nuhLayerIdAであるパラメータセットが、レイヤ識別子nuhLayerIdBであるレイヤjのアクティブパラメータセットであるとき、レイヤ識別子nuhLayerIdAであるレイヤiは、レイヤ識別子nuhLayerIdBの直接参照レイヤ(direct_dependency_flag[i][j]=1）であり、かつ、nuhLayerIdAとnuhLayerIdB間の依存タイプdirect_dependency_type[i][j]から導出されるnon-VCL依存有無フラグが１であること」
さらに、上記制約条件ＣＸ２をＳＰＳに関する共有パラメータセット、ＰＰＳに関する共有パラメータセットに限定すれば、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＸ３、及びＣＸ４をそれぞれ満たさなければならない。
ＣＸ３：「レイヤ識別子nuhLayerIdAであるSPSが、レイヤ識別子nuhLayerIdBであるレイヤのアクティブSPSであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLayerIdBの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
ＣＸ４：「レイヤ識別子nuhLayerIdAであるPPSが、レイヤ識別子nuhLayerIdBであるレイヤのアクティブPPSであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLayerIdBの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
なお、上記条件ＣＸ１〜ＣＸ４は、（non-VCL依存タイプの効果）で説明済の条件ＣＸ１’〜ＣＸ４’へそれぞれ言い換えることもできる。
（実施例１に係るビットストリーム制約の効果）
上記ビットストリーム制約は、換言すれば、共有パラメータセットとして利用可能なパラメータセットは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するパラメータセットであるということである。
「共有パラメータセットとして利用可能なパラメータセットは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するパラメータセットである」ということは、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのパラメータセットを参照すること」を禁止することを意味する。
すなわち、レイヤセットＡからサブセットであるレイヤセットＢをビットストリーム抽出するときに、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのパラメータセットを参照すること」を禁止できるため、レイヤセットＢに含まれるレイヤが参照する直接参照レイヤののパラメータセットが破棄されることはない。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、共有パラメータセットを利用するレイヤが復号できないという問題を解消することができる。すなわち、図１で説明した従来技術において発生しえたビットストリーム抽出時の課題を解消することができる。
（non-VCL依存タイプの変形例１）
なお、図１４(a)の例では、パラメータセット間予測、共有パラメータセットなどの各non-VCLの依存タイプを区別せずに、non-VCLの依存の有無フラグにより表現しているが、これに限定されない。例えば、図１４(b)に示すように、各non-VCLの依存タイプを区別し、最下位ビットから2ビット目の値を、共有パラメータセットの有無フラグ(SharedParamSetEnabledFlag)、最下位ビットから3ビット目の値を、パラメータセット間予測(ParamSetPredEnabledFlag)の有無を表わす依存タイプとしてもよい。この場合、対象レイヤi（レイヤ識別子iNuhLId=layer_id_in_nuh[i]）に対する参照レイヤjの各レイヤ依存タイプ別有無フラグは、次の式によって導出される。
SamplePredEnabledFlag[iNuhLId][j]=((direct_dependency_type[i][j]+1) & 1 );
MotionPredEnabledFlag[iNuhLId][j]=((direct_dependency_type[i][j]+1) & 2 )>>1;
SharedParamSetEnabledFlag[iNuhLid][j]=
((direct_dependency_type[i][j]+1) & 4 ) >> 2;
ParamSetPredEnabledFlag[iNuhLid][j]=
((direct_dependency_type[i][j]+1) & 8 ) >> 3;
あるいは、(direct_dependency_type[i][j]+1)の代わりに、変数DirectDepType[i][j]を用いて、次の式によっても表現できる。
SamplePredEnabledFlag[iNuhLId][j]=((DirectDepType[i][j]) & 1 );
MotionPredEnabledFlag[iNuhLId][j]=((DirectDepType[i][j]) & 2 )>>1;
SharedParamSetEnabledFlag[iNuhLid][j]=
((DirectDepType[i][j]) & 4 ) >> 2;
ParamSetPredEnabledFlag[iNuhLid][j]=
((DirectDepType[i][j]) & 8 ) >> 3;
なお、各依存タイプ別の有無フラグを示すビット位置は、実施可能な範囲で変更してもよい。
（non-VCL依存タイプの変形例１の効果）
以上、本実施例では、レイヤ依存タイプとして、VCL間の依存タイプ(レイヤ間画像予測やレイヤ間動き予測)の他に、新たにnon-VCL間の依存タイプとして、異なるレイヤ間でのパラメータセットの共有（共有パラメータセット）の有無を示す共有パラメータセット有無フラグや、異なるレイヤ間でのパラメータセット間のシンタックスの一部の予測（パラメータセット間シンタックス予測）の有無を示すパラメータセット間シンタックス予測有無フラグが含まれる。
各non-VCLの依存タイプ別の有無を明示的に通知することによって、デコーダは、レイヤセット内のいずれのレイヤが、対象レイヤの共有パラメータセットの依存レイヤ、パラメータセット間予測の依存レイヤとなるかＶＰＳ拡張データを復号することによって把握することができる効果を奏する。すなわち、レイヤ識別子の値がnuhLayerIdAであるレイヤＡのパラメータセットが、どのレイヤと共通で利用される（共有パラメータセットを適用する）かが、符号化データの復号開始時点において不明であるという課題を解消することができる。さらに、レイヤ識別子の値がnuhLayerIdAであるレイヤＡのパラメータセットが、どのレイヤのパラメータセットのシンタックスを参照するかが、符号化データの復号開始時点において不明であるという課題を解消することができる。
（non-VCL依存タイプの変形例１に係るビットストリーム制約）
また、各non-VCLの依存タイプ別の有無を導入することによって、デコーダとエンコーダ間で以下のビットストリーム制約を明示的に示すことができる。
すなわち、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＷ１、及びＣＷ２を満たさなければならない。
ＣＷ１：「レイヤ識別子nuhLayerIdAであるパラメータセットが、レイヤ識別子nuhLayerIdBであるレイヤのアクティブパラメータセットであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLyaerIdBの直接参照レイヤであり、かつ、共有パラメータセット有無フラグが１であること」
ＣＷ２：「レイヤ識別子nuhLayerIdAであるパラメータセットが、レイヤ識別子nuhLayerIdBであるレイヤのパラメータセット間予測で参照されるパラメータセットであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLyaerIdBの直接参照レイヤであり、かつ、パラメータセット間予測有無フラグが１であること」
なお、ＣＷ１、及びＣＷ２の条件はそれぞれ、次の条件ＣＷ１’、ＣＷ２’のようにも言い換えることができる。
ＣＷ１’：「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するパラメータセットが、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idを有するレイヤのアクティブパラメータセットであるとき、nuhLayerIdAに等しいレイヤ識別子nuh_layer_idのレイヤは、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idのレイヤの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
ＣＷ２’：「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するパラメータセットが、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idを有するレイヤのパラメータセット間予測で参照されるパラメータセットであるとき、nuhLayerIdAに等しいレイヤ識別子nuh_layer_idのレイヤは、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idのレイヤの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
さらに、上記制約条件ＣＷ１をＳＰＳに関する共有パラメータセット、ＰＰＳに関する共有パラメータセットに限定すれば、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＷ３、及びＣＷ４をそれぞれ満たさなければならない。
ＣＷ３：「レイヤ識別子nuhLayerIdAであるSPSが、レイヤ識別子nuhLayerIdBであるレイヤのアクティブSPSであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLayerIdBの直接参照レイヤであり、かつ、共有パラメータセット有無フラグが１であること」
ＣＷ４：「レイヤ識別子nuhLayerIdAであるPPSが、レイヤ識別子nuhLayerIdBであるレイヤのアクティブPPSであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLyaerIdBの直接参照レイヤであり、かつ、共有パラメータセット有無フラグが１であること」
なお、上記ＣＷ３、及びＣＷ４の条件はそれぞれ、次の条件ＣＷ３’、ＣＷ４’のようにも言い換えることができる。
ＣＷ３’：「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するSPSが、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idを有するレイヤのアクティブSPSであるとき、nuhLayerIdAに等しいレイヤ識別子nuh_layer_idのレイヤは、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idのレイヤの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
ＣＷ４’：「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するPPSが、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idを有するレイヤのアクティブPPSであるとき、nuhLayerIdAに等しいレイヤ識別子nuh_layer_idのレイヤは、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idのレイヤの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
上記ビットストリーム制約は、換言すれば、共有パラメータセットとして利用可能なパラメータセットは、対象レイヤに対する直接参照レイヤのパラメータセットであるということである。
（non-VCL依存タイプの変形例１に係るビットストリーム制約の効果）
共有パラメータセットとして利用可能なパラメータセットは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するパラメータセットである。すなわち、レイヤセットＡからサブセットであるレイヤセットＢをビットストリーム抽出するときに、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのパラメータセットを参照すること」を禁止できるため、レイヤセットＢに含まれるレイヤが参照する直接参照レイヤのパラメータセットが破棄されることはない。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、共有パラメータセットを利用するレイヤが復号できないという問題を解消することができる。すなわち、図１で説明した従来技術において発生しえたビットストリーム抽出時の課題を解消することができる。
（non-VCL依存タイプの変形例１に係るビットストリーム制約の変形例）
また、上記制約条件ＣＷ２をＳＰＳ間のパラメータセット間予測、ＰＰＳ間のパラメータセット間予測に限定すれば、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＷ５、及びＣＷ６をそれぞれ満たさなければならない。
ＣＷ５：「レイヤ識別子nuhLayerIdAであるSPSが、レイヤ識別子nuhLayerIdBであるレイヤのSPSのパラメータセット間予測で参照されるSPSであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLyaerIdBの直接参照レイヤであり、かつ、パラメータセット間予測有無フラグが１であること」
ＣＷ６：「レイヤ識別子nuhLayerIdAであるPPSが、レイヤ識別子nuhLayerIdBであるレイヤのPPSのパラメータセット間予測で参照されるPPSであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLyaerIdBの直接参照レイヤであり、かつ、パラメータセット間予測有無フラグが１であること」
なお、上記ＣＷ５、及びＣＷ６の条件はそれぞれ、次の条件ＣＷ５’、ＣＷ６’のようにも言い換えることができる。
ＣＷ５’：「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するSPSが、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idを有するレイヤのパラメータセット間予測で参照されるSPSであるとき、nuhLayerIdAに等しいレイヤ識別子nuh_layer_idのレイヤは、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idのレイヤの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
ＣＷ６’：「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するPPSが、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idを有するレイヤのパラメータセット間予測で参照されるPPSであるとき、nuhLayerIdAに等しいレイヤ識別子nuh_layer_idのレイヤは、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idのレイヤの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
上記ビットストリーム制約は、換言すれば、パラメータセット間予測として利用可能なパラメータセットは、対象レイヤに対する直接参照レイヤのパラメータセットであるということである。
（non-VCL依存タイプの変形例１に係るビットストリーム制約の変形例の効果）
パラメータセット間予測として利用可能なパラメータセットは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するパラメータセットである。すなわち、レイヤセットＡからサブセットであるレイヤセットＢをビットストリーム抽出するときに、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのパラメータセットを参照すること」を禁止できるため、レイヤセットＢに含まれるレイヤが参照する直接参照レイヤのパラメータセットが破棄されることはない。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、共有パラメータセットを利用するレイヤが復号できないという問題を解消することができる。すなわち、図１で説明した従来技術において発生しえたビットストリーム抽出時の課題を解消することができる。
（non-VCL依存タイプの変形例２）
なお、実施例１、及びnon-VCL依存タイプの変形例１では、パラメータセット間予測、共有パラメータセットなどの各non-VCLの依存タイプ有無フラグや、non-VCLの依存の有無フラグにより表現しているが、non-VCLの依存タイプの有無フラグを明示的にシグナルせずに、直接依存フラグによって表わしてもよい。より具体的には、直接依存フラグの値に基づいて、non-VCL依存有無フラグ(NonVCLDepEnabledFlag[i][j])を次式により導出（推定）する。すなわち、直接依存フラグが１の場合、non-VCL依存有無フラグを１へ設定し、直接依存フラグが０の場合、non-VCL依存有無フラグを０へ設定する。
NonVCLDepEnabledFlag [iNuhLid][j]= direct_dependency_type[i][j] ? 1 : 0;
または、i番目のレイヤが、ｊ番目のレイヤに直接的に依存する場合（直接依存フラグが１の場合、ｊ番目のレイヤは、i番目のレイヤの直接参照レイヤともいう）、あるいは間接的に依存する場合（ｊ番目のレイヤは、i番目のレイヤの間接参照レイヤともいう）の依存関係を示す依存フラグ(DependencyFlag[i][j])の値に基づいて、non-VCL依存有無フラグ(NonVCLDepEnabledFlag[i][j])を次式により導出（推定）してもよい。すなわち、依存フラグ(DependencyFlag[i][j])が１の場合、non-VCL依存有無フラグを１へ設定し、依存フラグ(DependencyFlag[i][j])が０の場合、non-VCL依存有無フラグを０へ設定する。
NonVCLDepEnabledFlag [iNuhLid][j]= DependencyFlag[i][j] ? 1 : 0;
（non-VCL依存タイプの変形例２の効果）
以上のように、non-VCL依存タイプの変形例２では、直接依存フラグ、あるいは依存フラグに基づいて、non-VCL依存有無フラグを推定することにより、non-VCLの依存タイプの有無フラグ(non-VCL依存有無フラグ)に関する符号量、及び復号／符号化に関する処理量を低減することができる。
（non-VCL依存タイプの変形例２に係るビットストリーム制約）
non-VCL依存タイプの変形例２の場合、デコーダとエンコーダ間で以下のビットストリーム制約をさらに追加する。
すなわち、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＺ１を満たさなければならない。
ＣＺ１：「レイヤ識別子nuhLayerIdAであるnon-VCLが、レイヤ識別子nuhLayerIdBであるレイヤで利用されるnon-VCLであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLyaerIdBの直接参照レイヤ、または、間接参照レイヤであること」
また、ＣＺ１の条件は、次の条件ＣＺ１’のようにも言い換えることができる。
ＣＺ１’：「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するnon-VCLが、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idを有するレイヤで利用されるnon-VCLであるとき、nuhLayerIdAに等しいレイヤ識別子nuh_layer_idのレイヤは、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idのレイヤの直接参照レイヤ、または、間接参照レイヤであること」
なお、上記条件において「レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLyaerIdBの直接参照レイヤ、または、間接参照レイヤであること」の表現は、依存フラグ(DependencyFlag[i][j])を用いて、「レイヤ識別子nuhLayerIdAであるレイヤと、レイヤ識別子nuhLayerIdBであるレイヤｊの依存フラグ(DependencyFlag[i][j])が１であること」とも表現できる。この言い換えは、以降の条件ＣＺ２〜ＣＺ４、ＣＺ１’〜ＣＺ４’、及び、その他同様の表現を用いる条件にも適用可能である。
（non-VCL依存タイプの変形例２に係るビットストリーム制約の変形例１）
さらに、共有パラメータセットに関して限定すれば、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＸ２を満たさなければならない。
ＣＺ２：「レイヤ識別子nuhLayerIdAであるパラメータセットが、レイヤ識別子nuhLayerIdBであるレイヤのアクティブパラメータセットであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLyaerIdBの直接参照レイヤ、または、直接参照レイヤ、または、間接参照レイヤであること」
なお、ＣＺ２の条件は、次の条件ＣＺ２’のようにも言い換えることができる。
ＣＺ２’：「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するパラメータセットが、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idを有するレイヤのアクティブパラメータセットであるとき、nuhLayerIdAに等しいレイヤ識別子nuh_layer_idのレイヤは、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idのレイヤの直接参照レイヤ、または、間接参照レイヤであること」
（non-VCL依存タイプの変形例２に係るビットストリーム制約の変形例２）
さらに、上記制約条件ＣＺ２をＳＰＳに関する共有パラメータセット、ＰＰＳに関する共有パラメータセットに限定すれば、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＺ３、及びＣＺ４をそれぞれ満たさなければならない。
ＣＺ３：「レイヤ識別子nuhLayerIdAであるSPSが、レイヤ識別子nuhLayerIdBであるレイヤのアクティブSPSであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLayerIdBの直接参照レイヤ、または、間接参照レイヤであること」
ＣＺ４：「レイヤ識別子nuhLayerIdAであるPPSが、レイヤ識別子nuhLayerIdBであるレイヤのアクティブPPSであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLyaerIdBの直接参照レイヤ、または、間接参照レイヤであること」
なお、上記ＣＺ３、及びＣＺ４はそれぞれ、次の条件ＣＺ３’、ＣＺ４’のようにも言い換えることができる。
ＣＺ３’：「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するSPSが、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idを有するレイヤのアクティブSPSであるとき、nuhLayerIdAに等しいレイヤ識別子nuh_layer_idのレイヤは、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idのレイヤの直接参照レイヤ、または、間接参照レイヤであること」
ＣＺ４’：「nuhLayerIdAに等しいレイヤ識別子nuh_layer_idを有するPPSが、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idを有するレイヤのアクティブPPSであるとき、nuhLayerIdAに等しいレイヤ識別子nuh_layer_idのレイヤは、nuhLayerIdBに等しいレイヤ識別子nuh_layer_idのレイヤの直接参照レイヤ、または、間接参照レイヤであること」
（non-VCL依存タイプの変形例２、及びビットストリーム制約の効果）
以上、non-VCL依存タイプの変形例２では、直接依存フラグ、あるいは依存フラグに基づいて、non-VCL依存有無フラグを推定することにより、non-VCLの依存タイプの有無フラグ(non-VCL依存有無フラグ)に関する符号量、及び復号／符号化に関する処理量を低減することができる。
また、上記ビットストリーム制約ＣＺ１〜ＣＺ４（ＣＺ１’〜ＣＺ４’を含む）は、換言すれば、共有パラメータセットとして利用可能なパラメータセットは、対象レイヤに対する直接参照レイヤ、または間接参照レイヤのパラメータセットであるということである。
共有パラメータセットとして利用可能なパラメータセットは、対象レイヤに対する直接参照レイヤ、または間接参照レイヤのレイヤ識別子を有するパラメータセットである。すなわち、レイヤセットＡからサブセットであるレイヤセットＢをビットストリーム抽出するときに、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのパラメータセットを参照すること」を禁止できるため、レイヤセットＢに含まれるレイヤが参照する直接参照レイヤまたは間接参照レイヤのパラメータセットが破棄されることはない。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、共有パラメータセットを利用するレイヤが復号できないという問題を解消することができる。すなわち、図１で説明した従来技術において発生しえたビットストリーム抽出時の課題を解消することができる。
（共有パラメータセットの変形例１）
（共有パラメータセットの変形例１のスライスヘッダ）
スライスヘッダには、対象レイヤiが共有パラメータセットとして参照しうる、non-VCLの直接参照レイヤ数が１の場合(NumNonVCLDepRefLayers[i]==1)、ＰＰＳがレイヤ間で参照されること示す共有ＰＰＳ利用フラグ(slice_shared_pps_flag)（例えば、図２７（ａ）上のSYNSH0X）が含まれていてもよい。すなわち、スライスヘッダ復号部１４１は、図２７（ａ）の例では、アクティブＰＰＳ識別子(slice_pic_parameter_set_id)(図２７（ａ）のSYNSH02)の直後に、対象レイヤiのレイヤ識別子nuhLayerId(nuh_layer_id)が０より大きい場合、該共有ＰＰＳ利用フラグ(slice_shared_pps_flag)を復号する。共有ＰＰＳ利用フラグが真の場合、対象レイヤiの符号化データには、対象レイヤiのレイヤIDを有するPPSが含まれないため、アクティブＰＰＳ識別子(slice_pic_parameter_set_id)で特定される、non-VCL依存レイヤNonVCLDepRefLayerId[i][0]のレイヤIDを有するPPSをアクティブＰＰＳとする。スライスヘッダ復号部１４１は、共有ＰＰＳ利用フラグが偽の場合、対象レイヤiの符号化データに、対象レイヤiのレイヤIDを有するPPSが含まるため、アクティブＰＰＳ識別子(slice_pic_parameter_set_id)で特定される、対象レイヤiのレイヤIDを有するPPSをアクティブＰＰＳとする。すなわち、スライスヘッダ復号部１４１は、アクティブPPS識別子、及び共有ＰＰＳ利用フラグに基づいて特定されるＰＰＳを、その後のシンタックス等の復号時に参照するアクティブＰＰＳとし、該アクティブＰＰＳの符号化パラメータをパラメータ管理部１３より読み出す（フェッチする、ＰＰＳをアクティベートする）。
（共有パラメータセットの変形例１のスライスヘッダの効果）
動画像復号装置１におけるnon-VCLの依存タイプの有無の導入による同一の効果を奏すると共に、ピクチャ単位で、PPSに関する共有パラメータセットを利用するか否かを選択することができる。例えば、レイヤ間で、ピクチャの符号化に利用するＰＰＳの最適なパラメータが参照レイヤのパラメータと異なる場合には、対象レイヤにおいて、slice_shared_pps_flag =0とし、対象レイヤのレイヤIDを有するPPSを参照することで、対象レイヤのピクチャの符号化データの符号量の低減、及び対象レイヤのピクチャの符号化データの復号／符号化に係る処理量を削減することができる。また、対象レイヤにおいて、slice_shared_pps_flag =1とし、参照レイヤのレイヤIDを有するPPSを参照することで、対象レイヤのレイヤIDを有するPPSの符号化を省略し、該PPSに関する符号量の低減、及び該PPSの復号／符号化に要する処理量を削減することができる。
（共有パラメータセットの変形例１のＰＰＳ）
同様に、ピクチャパラメータセットＰＰＳには、対象レイヤiが共有パラメータとして参照しうる、non-VCLの直接参照レイヤ数が１の場合(NumNonVCLDepRefLayers[i]==1)、ＳＰＳがレイヤ間で参照されること示す共有ＳＰＳ利用フラグ(pps_shared_sps_flag)(例えば、図２８（ａ）上のSYNPPS05)が含まれていてもよい。すなわち、パラメータセット復号部１２は、図２８（ａ）の例では、ＰＰＳ識別子(pps_pic_parameter_set_id)（図２８（ａ）上のSYNPPS01）、アクティブＳＰＳ識別子(pps_seq_parameter_set_id)（図２８（ａ）上のSYNPPS02）の直後に、対象レイヤiのレイヤ識別子nuhLayerId(nuh_layer_id)が０より大きい場合、該共有ＳＰＳ利用フラグ(pps_shared_sps_flag)を復号する。共有ＳＰＳ利用フラグが真の場合、対象レイヤiの符号化データには、対象レイヤiのレイヤIDを有するSPSが含まれないため、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)で特定される、non-VCL依存レイヤNonVCLDepRefLayerId[i][0]のレイヤIDを有するSPSをアクティブＳＰＳとする。また、共有ＳＰＳ利用フラグが偽の場合、対象レイヤiの符号化データに、対象レイヤiのレイヤIDを有するSPSが含まれるため、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)で特定される、対象レイヤiのレイヤIDを有するSPSをアクティブＳＰＳとする。すなわち、パラメータセット復号部１２は、アクティブSPS識別子、及び共有ＳＰＳ利用フラグに基づいて特定されるＳＰＳを、その後のシンタックス等の復号時に参照するアクティブＳＰＳとし、該アクティブＳＰＳの符号化パラメータをパラメータ管理部１３より読み出してもよい（フェッチする、ＳＰＳをアクティベートする）。なお、復号対象PPSの各シンタックスが、アクティブSPSの符号化パラメータに依存しない場合は、復号対象PPSのアクティブSPS識別子、及び共有SPS利用フラグ復号時点での、SPSのアクティベート処理は必要ない。
同様に、スライスヘッダ復号部１４１は、共有ＳＰＳ利用フラグが真の場合、対象レイヤiの符号化データには、対象レイヤiのレイヤIDを有するSPSが含まれないため、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)で特定される、non-VCL依存レイヤNonVCLDepRefLayerIdx[i][0]のレイヤIDを有するSPSをアクティブＳＰＳとする。スライスヘッダ復号部１４１は、共有ＳＰＳ利用フラグが偽の場合、対象レイヤiの符号化データに、対象レイヤiのレイヤIDを有するSPSが含まれるため、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)で特定される、対象レイヤiのレイヤIDを有するSPSをアクティブＳＰＳとする。すなわち、スライスヘッダ復号部１４１は、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)、及び共有ＳＰＳ利用フラグに基づいて特定されるSPSをアクティブＳＰＳとし、該アクティブＳＰＳの符号化パラメータをパラメータセット管理部１３より読み出す（フェッチする、ＳＰＳをアクティベートする）。
（共有パラメータセットの変形例１のＰＰＳの効果）
動画像復号装置１におけるnon-VCLの依存タイプの有無の導入による同一の効果を奏すると共に、ピクチャ単位で、SPSに関する共有パラメータセットを利用するか否かを選択することができる。例えば、レイヤ間で、ピクチャの符号化に利用するＳＰＳの最適なパラメータが参照レイヤのパラメータと異なる場合には、対象レイヤにおいて、pps_shared_sps_flag=0とし、対象レイヤのレイヤIDを有するSPSを参照することで、対象レイヤのピクチャの符号化データの符号量の低減、及び対象レイヤのピクチャの符号化データの復号／符号化に係る処理量を削減することができる。また、対象レイヤにおいて、pps_shared_sps_flag=1とし、参照レイヤ(non-VCL依存レイヤ)のレイヤIDを有するSPSを参照することで、対象レイヤのレイヤIDを有するSPSの符号化を省略し、該SPSに関する符号量の低減、及び該SPSの復号／符号化に要する処理量を削減することができる。
（共有パラメータセットの変形例２）
（共有パラメータセットの変形例２のスライスヘッダ）
スライスヘッダには、対象レイヤiが共有パラメータセットとして参照しうる、non-VCLの直接参照レイヤ数が１より大きい場合(NumNonVCLDepRefLayers[i]>1)、ＰＰＳがレイヤ間で参照されること示す共有ＰＰＳ利用フラグ(slice_shared_pps_flag)(例えば、図２７（ｂ）上のSYNSH0X)、及びnon-VCL依存レイヤのレイヤ識別子を指定するnon-VCL依存レイヤ指定情報(NonVCLDepRefLayerId[i][slice_non_vcl_dep_ref_layer_id]のslice_non_vcl_dep_ref_layer_id(図２７（ｂ）上のSYNSH0Y))が含まれていてもよい。
すなわち、スライスヘッダ復号部１４１は、図２７（ｂ）の例では、アクティブＰＰＳ識別子(slice_pic_parameter_set_id)(図２７（ｂ）のSYNSH02)の直後に、対象レイヤiのレイヤ識別子nuhLayerId(nuh_layer_id)が０より大きい場合、該共有ＰＰＳ利用フラグ(slice_shared_pps_flag)を復号する。さらに、スライスヘッダ復号部１４１は、共有ＰＰＳ利用フラグが真の場合、non-VCL依存レイヤ指定情報（slice_non_vcl_dep_ref_layer_id）を復号する。スライスヘッダ復号部１４１は、対象レイヤiの符号化データには、対象レイヤiのレイヤIDを有するPPSが含まれないため、アクティブＰＰＳ識別子(slice_pic_parameter_set_id)、及びnon-VCL依存レイヤ指定情報(NonVCLDepRefLayerId[i][slice_non_vcl_dep_ref_layer_id])で特定される、non-VCL依存レイヤNonVCLDepRefLayerId[i][ slice_non_vcl_dep_ref_layer_id]のレイヤIDを有するPPSをアクティブＰＰＳとする。スライスヘッダ復号部１４１は、共有ＰＰＳ利用フラグが偽の場合、対象レイヤiの符号化データに、対象レイヤiのレイヤIDを有するPPSが含まるため、アクティブＰＰＳ識別子(slice_pic_parameter_set_id)で特定される、対象レイヤiのレイヤIDを有するPPSをアクティブＰＰＳとする。すなわち、スライスヘッダ復号部１４１は、アクティブPPS識別子、共有ＰＰＳ利用フラグ及び参照レイヤ指定情報に基づいて特定されるＰＰＳを、その後のシンタックス等の復号時に参照するアクティブＰＰＳとし、該アクティブＰＰＳの符号化パラメータをパラメータ管理部１３より読み出す（フェッチする、ＰＰＳをアクティベートする）。
（共有パラメータセットの変形例２のスライスヘッダの効果）
動画像復号装置１におけるnon-VCLの依存タイプの有無の導入と同一の効果、及び共有パラメータセットの変形例１と同一の効果を奏すると共に、ピクチャ単位で、PPSに関する共有パラメータセットを複数のレイヤから選択することができる。例えば、レイヤ間で、ピクチャの符号化に利用するＰＰＳの最適なパラメータが参照レイヤのパラメータと異なる場合には、対象レイヤにおいて、slice_shared_pps_flag=0とし、対象レイヤのレイヤIDを有するPPSを参照することで、対象レイヤのピクチャの符号化データの符号量の低減、及び対象レイヤのピクチャの符号化データの復号／符号化に係る処理量を削減することができる。また、対象レイヤにおいて、slice_shared_pps_flag=1とし、non-VCL依存レイヤ指定情報（NonVCLDepRefLayerId[i][ slice_non_vcl_dep_ref_layer_id]）で特定されるnon-VCL依存レイヤのレイヤIDを有するPPSを参照することで、対象レイヤのレイヤIDを有するPPSの符号化を省略し、該PPSに関する符号量の低減、及び該PPSの復号／符号化に要する処理量を削減することができる。
（共有パラメータセットの変形例２のＰＰＳ）
同様に、ピクチャパラメータセットＰＰＳには、対象レイヤiが共有パラメータとして参照しうる、non-VCLの直接参照レイヤ数が１より大きい場合(NumNonVCLDepRefLayers[i]>1)、ＳＰＳがレイヤ間で参照されること示す共有ＳＰＳ利用フラグ(pps_shared_sps_flag)(例えば、図２８（ｂ）上のSYNPPS05)及びnon-VCL依存レイヤのレイヤ識別子を指定するnon-VCL依存レイヤ指定情報(NonVCLDepRefLayerId[i][ pps_non_vcl_dep_ref_layer_id]のpps_non_vcl_dep_ref_layer_id(図２８（ｂ）上のSYNPPS06))が含まれていてもよい。
すなわち、パラメータセット復号部１２は、図２８（ｂ）の例では、ＰＰＳ識別子(pps_pic_parameter_set_id)（図２８（ｂ）上のSYNPPS01）、アクティブＳＰＳ識別子(pps_seq_parameter_set_id)（図２８（ｂ）上のSYNPPS02）の直後に、対象レイヤiのレイヤ識別子nuhLayerId(nuh_layer_id)が０より大きい場合、該共有ＳＰＳ利用フラグ(pps_shared_sps_flag)を復号する。さらに、パラメータセット復号部１２は、共有ＳＰＳ利用フラグが真の場合、non-VCL依存レイヤ指定情報（pps_non_vcl_dep_ref_layer_id）を復号する。パラメータセット復号部１２は、対象レイヤiの符号化データには、対象レイヤiのレイヤIDを有するSPSが含まれないため、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)、及びnon-VCL依存レイヤNonVCLDepRefLayerId[i][pps_non_vcl_dep_ref_layer_id]のレイヤIDを有するSPSをアクティブＳＰＳとする。
また、パラメータセット復号部１２は、共有ＳＰＳ利用フラグが偽の場合、対象レイヤiの符号化データに、対象レイヤiのレイヤIDを有するSPSが含まるため、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)で特定される、対象レイヤiのレイヤIDを有するSPSをアクティブＳＰＳとする。すなわち、パラメータセット復号部１２は、アクティブSPS識別子、共有ＳＰＳ利用フラグ(pps_shared_sps_flag)、及びnon-VCL依存レイヤ指定情報(pps_non_vcl_dep_ref_layer_id)に基づいて特定されるＳＰＳを、その後のシンタックス等の復号時に参照するアクティブＳＰＳとし、該アクティブＳＰＳの符号化パラメータをパラメータ管理部１３より読み出してもよい（フェッチする、ＳＰＳをアクティベートする）。なお、復号対象PPSの各シンタックスが、アクティブSPSの符号化パラメータに依存しない場合は、復号対象PPSのアクティブSPS識別子、共有SPS利用フラグ、及びnon-VCL依存レイヤ指定情報の復号時点での、SPSのアクティベート処理は必要ない。
同様に、スライスヘッダ復号部１４１は、共有ＳＰＳ利用フラグが真の場合、対象レイヤiの符号化データには、対象レイヤiのレイヤIDを有するSPSが含まれないため、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)、及びnon-VCL依存レイヤNonVCLDepRefLayerId[i][pps_non_vcl_dep_ref_layer_id]のレイヤIDを有するSPSをアクティブＳＰＳとする。スライスヘッダ復号部１４１は、共有ＳＰＳ利用フラグが偽の場合、対象レイヤiの符号化データに、対象レイヤiのレイヤIDを有するSPSが含まるため、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)で特定される、対象レイヤiのレイヤIDを有するSPSをアクティブＳＰＳとする。すなわち、スライスヘッダ復号部１４１は、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)、共有ＳＰＳ利用フラグ、non-VCL依存レイヤ指定情報(pps_nov_vcl_dep_ref_layer_id)に基づいて特定されるSPSをアクティブＳＰＳとし、該アクティブＳＰＳの符号化パラメータをパラメータセット管理部１３より読み出す（フェッチする、ＳＰＳをアクティベートする）。
（共有パラメータセットの変形例２のＰＰＳの効果）
動画像復号装置１におけるnon-VCLの依存タイプの有無の導入と同一の効果、及び共有パラメータセットの変形例１と同一の効果を奏すると共に、ピクチャ単位で、SPSに関する共有パラメータセットを複数のレイヤから選択することができる。例えば、レイヤ間で、ピクチャの符号化に利用するＳＰＳの最適なパラメータが参照レイヤのパラメータと異なる場合には、対象レイヤにおいて、pps_shared_sps_flag=0とし、対象レイヤのレイヤIDを有するSPSを参照することで、対象レイヤのピクチャの符号化データの符号量の低減、及び対象レイヤのピクチャの符号化データの復号／符号化に係る処理量を削減することができる。また、対象レイヤにおいて、pps_shared_sps_flag =1とし、NonVCLDepRefLayerId[i][ pps_nov_vcl_dep_ref_layer_id]で特定されるnon-VCL依存レイヤのレイヤIDを有するSPSを参照することで、対象レイヤのレイヤIDを有するSPSの符号化を省略し、該SPSに関する符号量の低減、及び該SPSの復号／符号化に要する処理量を削減することができる。
（付記事項）
なお、階層動画層復号装置１の備えるパラメータセット復号部１２では、レイヤ間依存情報として、i番目のレイヤがとｊ番目のレイヤ間の参照関係を示すレイヤ依存タイプを示すシンタックス“direct_dependency_type[i][j]”(図１３のSYNVPS0D)の値を、図１４の例で説明した、レイヤ依存タイプの値-1、すなわち、“DirectDepType[i][j] - 1”の値として復号するとしたが、これに限定されない。代わりに、シンタックス“direct_dependency_type[i][j]”の値を、直接、レイヤ依存タイプの値、すなわち、“DirectDepType[i][j]”の値として復号してもよい。この場合、レイヤ依存タイプを示すシンタックス “direct_dependency_type[i][j]”の値に関して、以下の制約ＣＶ１を追加する。すなわち、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＶ１を満たさなければならない。
ＣＶ１：「直接依存フラグ“direct_dependency_flag[i][j]”の値が１の場合、レイヤ依存タイプを示すシンタックス“direct_dependency_type[i][j]”の値は、０より大きい整数であること」。すなわち、レイヤ依存タイプ“direct_dependency_type[i][j]”の値域は、レイヤ依存タイプのビット長Ｍ、及びレイヤ依存タイプの総数によって定まるＮで表せば、direct_dependency_type[i][j]の値域は、1から(2^M - N)である。
以上の場合も、（non-VCL依存タイプの効果）で説明した効果と同様の効果を奏する。さらに、シンタックス“direct_dependency_type[i][j]”の値を、直接、レイヤ依存タイプの値、すなわち、“DirectDepType[i][j]”の値とするため、“DirectDepType[i][j] -1”とする場合と比較して、加算（減算）の演算を削減することができる。すなわち、レイヤ依存タイプ“DirectDepType[i][j]”の導出処理、復号処理を簡略化することができる。また、上記変更は、階層動画像符号化装置２の備えるパラメータセット符号化部２２において適用可能であり、同様の効果を奏する。
〔階層動画像符号化装置〕
以下では、本実施形態に係る階層動画像符号化装置２の構成について、図２２を参照して説明する。
（階層動画像符号化装置の構成）
図２２を用いて、階層動画像符号化装置２の概略構成を説明する。図２２は、階層動画像符号化装置２の概略的構成を示した機能ブロック図である。階層動画像符号化装置２は、符号化対象とするレイヤセット（対象レイヤセット）に含まれる各レイヤの入力画像ＰＩＮ＃Ｔ(ピクチャ)を符号化して、対象レイヤセットの階層符号化データＤＡＴＡを生成する。すなわち、動画像符号化装置２は、対象レイヤセットに含まれる、最低次のレイヤＩＤから最高次のレイヤＩＤまで、昇順で、各レイヤのピクチャを符号化し、その符号化データを生成する。言い換えれば、対象レイヤセットのレイヤＩＤリストLayerSetLayerIdList[0]…LayerSetIdList[N-1](Nは対象レイヤセットに含まれるレイヤ数)の順で、各レイヤのピクチャを符号化する。
図２２に示すように階層動画像符号化装置２は、対象レイヤセットピクチャ符号化部２０、及びＮＡＬ多重化部２１を含んで備える。さらに、対象レイヤセットピクチャ符号化部２０は、パラメータセット符号化部２２、ピクチャ符号化部２４、復号ピクチャ管理部１５、および符号化パラメータ決定部２６を含んで構成される。
復号ピクチャ管理部１５は、既に説明した階層動画像復号装置１の備える復号ピクチャ管理部１５と同一の構成要素である。ただし、階層動画像符号化装置２の備える復号ピクチャ管理部１５では、内部のＤＰＢに記録されたピクチャを出力ピクチャとして出力する必要はないため、当該出力は省略可能である。なお、階層動画像復号装置１の復号ピクチャ管理部１５の説明において「復号」として説明した記載は「符号化」と置き換えることで、階層動画像符号化装置２の備える復号ピクチャ管理部１５にも適用できる。
ＮＡＬ多重化部２１は、入力される対象レイヤセットの各レイヤのVCL、及びnon-VCLを、ＮＡＬユニットに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡ＃Ｔを生成し、外部へ出力する。言い換えれば、ＮＡＬ多重化部２１は、対象レイヤセットピクチャ符号化部２０から供給されるnon-VCLの符号化データ、VCLの符号化データ、及び各non-VCL、VCLに対応するＮＡＬユニットタイプ、レイヤ識別子、テンポラル識別子を、ＮＡＬユニットに格納して（符号化して）、ＮＡＬ多重化した階層符号化データＤＡＴＡ＃Ｔを生成する。
符号化パラメータ決定部２６は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、各パラメータセット（ＶＰＳ、ＳＰＳ、ＰＰＳ）に関連した各種パラメータや、ピクチャを符号化するための予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。符号化パラメータ決定部２６は、上記符号化パラメータの複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータを可変長符号化して得られる対象レイヤセットの各レイヤの符号化データの情報量である。二乗誤差は、入力画像ＰＩＮ＃Ｔと予測画像との差分値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部２６は、算出したコスト値が最小となる符号化パラメータのセットを選択し、選択した各符号化パラメータのセットをパラメータセット符号化部２２、及びピクチャ符号化部２４へ供給する。
パラメータセット符号化部２２は、符号化パラメータ決定部２６から入力される各パラメータセットの符号化パラメータと入力画像に基づいて、入力画像の符号化に用いるパラメータセット（ＶＰＳ、ＳＰＳ、およびＳＰＳ）を設定し、各パラメータセットをnon-VCL NALユニットに格納されるデータとして、ＮＡＬ多重化部２１へ供給する。なお、パラメータセット符号化部２２で符号化されるパラメータセットには、階層動画像復号装置１の備えるパラメータセット復号部１２の説明で記載したレイヤ間依存情報(直接依存フラグ、レイヤ依存タイプビット長、レイヤ依存タイプ)、及びレイヤ間位置対応情報を含んでいる。パラメータセット符号化部２２は、レイヤ依存タイプの一部として、non-VCL依存有無フラグを符号化する。なお、パラメータセット符号化部２２は、ＮＡＬ多重化部２１へnon-VCLの符号化データを供給するときに、non-VCLに対応するＮＡＬユニットタイプ、レイヤ識別子、及びテンポラル識別子も付与して出力する。
また、パラメータセット符号化部２２で生成されるパラメータセットには、該パラメータセットを識別する識別子、及び各レイヤのピクチャを復号するために参照する該パラメータセットが参照するパラメータセット（アクティブパラメータセット）を指定するアクティブパラメータセット識別子が含まれる。具体的には、ビデオパラメータセットＶＰＳであれば、該ＶＰＳを識別するＶＰＳ識別子が含まれる。シーケンスパラメータセットＳＰＳであれば、該ＳＰＳを識別するＳＰＳ識別子(sps_seq_parameter_set_id)、及び該ＳＰＳや他のシンタックスが参照するＶＰＳを特定するアクティブＶＰＳ識別子(sps_video_parameter_set_id)が含まれる。ピクチャパラメータセットＰＰＳであれば、該ＰＰＳを識別するＰＰＳ識別子(pps_pic_parameter_set_id)、及び該ＰＰＳや他のシンタックスが参照するＳＰＳを特定するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)が含まれる。
ピクチャ符号化部２４は、入力される各レイヤの入力画像ＰＩＮ＃Ｔ、符号化パラメータ決定部２６より供給されるパラメータセット、および復号ピクチャ管理部部１５に記録されている参照ピクチャに基づいて、ピクチャを構成するスライスに対応する各レイヤの入力画像の一部を符号化して、当該部分の符号化データを生成し、VCL NALユニットに格納されるデータとして、ＮＡＬ多重化部２１へ供給する。ピクチャ符号化部２４の詳細な説明は後述する。なお、ピクチャ符号化部２４は、ＮＡＬ多重化部２１へVCLの符号化データを供給するときに、VCLに対応するＮＡＬユニットタイプ、レイヤ識別子、及びテンポラル識別子も付与して出力する。
（ピクチャ符号化部２４）
図２３を参照して、ピクチャ符号化部２４の構成の詳細を説明する。図２３は、ピクチャ符号化部２４の概略的構成を示した機能ブロック図である。
図２３に示すように、ピクチャ符号化部２４は、スライスヘッダ設定部２４１、及びＣＴＵ符号化部２４２を含んで構成される。
スライスヘッダ設定部２４１は、入力されるアクティブパラメータセットに基づいてスライス単位で入力される各レイヤの入力画像の符号化に用いるスライスヘッダを生成する。生成されたスライスヘッダは、スライス符号化データの一部として出力されるとともに、入力画像と共にＣＴＵ符号化部２４２へ供給される。なお、スライスヘッダ設定部２４１で生成されるスライスヘッダには、各レイヤのピクチャを復号するために参照するピクチャパラメータセットＰＰＳ(アクティブＰＰＳ)を指定するアクティブＰＰＳ識別子が含まれる。
ＣＴＵ符号化部２４２は、入力されるアクティブパラメータセット、スライスヘッダに基づいて、入力画像（対象スライス部分）をＣＴＵ単位で符号化して、対象スライスに係るスライスデータおよび復号画像（復号ピクチャ）を生成して出力する。より具体的には、ＣＴＵ符号化部２４２は、パラメータセットが含むCTBサイズの大きさのCTBを単位として対象スライスの入力画像を分割し、各CTBに対応する画像を一つのCTUとして符号化する。CTUの符号化は、予測残差符号化部２４２１、予測画像符号化部２４２２、CTU復号画像生成部２４２３により実行される。
予測残差符号化部２４２１は、入力される入力画像と予測画像の差分画像を、変換・量子化して得られる量子化残差情報（ＴＴ情報）を、スライス符号化データに含まれるスライスデータの一部として出力する。また、量子化残差情報に逆変換・逆量子化を適用して予測残差を復元し、復元した予測残差をCTU復号画像生成部２４２３に出力する。
予測画像符号化部２４２２は、符号化パラメータ決定部２６で決定された、対象スライスに含まれる対象CTUの予測方式および予測パラメータに基づいて、予測画像を生成して予測残差符号化部２４２１とCTU復号画像生成部２４２３に出力する。なお、予測方式や予測パラメータの情報は予測情報（ＰＴ情報）として可変長符号化されて、スライス符号化データに含まれるスライスデータの一部として出力される。予測画像符号化部２４２２で選択可能な予測方式には、少なくともレイヤ間画像予測が含まれている。
予測画像符号化部２４２２は、予測方式としてレイヤ間画像予測が選択された場合、対応参照位置導出処理を実行して、予測対象画素に対応する参照レイヤ画素位置を決定し、該位置に基づく補間処理により予測画素値を決定する。対応参照位置導出処理としては、階層動画像復号装置１の予測画像生成部１４２２について説明した各処理が適用できる。例えば、＜レイヤ画像予測による予測画像生成処理の詳細＞で説明した処理が適用する。なお、インター予測、または、レイヤ間画像予測を使用する場合は、復号ピクチャ管理部１５より対応する参照ピクチャを読み出す。
以上、上記階層動画像符号化装置２の備える予測画像符号化部２４２２は、前記レイヤ間位相対応情報を用いて、予測対象画素に対応する参照レイヤピクチャ上の正確な位置を導出できるため、補間処理により生成される予測画素の正確さが向上する。そのため、上記階層動画像符号化装置２は、従来より少ない符号量で符号化データを生成して出力することができる。
CTU復号画像生成部２４２３は、階層動画像復号装置１の備えるCTU復号画像制生成部１４２３と同一の構成要素であるため、説明を省略する。なお、対象ＣＴＵの復号画像は、復号ピクチャ管理部１５へ供給され、内部のＤＰＢに記録される。
＜ピクチャ符号化部２４の符号化プロセス＞
以下、図２４を参照して、ピクチャ符号化部２４における対象レイヤiのピクチャの符号化の概略的な動作について説明する。図２４は、ピクチャ符号化部２４における対象レイヤiのピクチャを構成するスライス単位の符号化プロセスを示すフロー図である。
（ＳＥ１０１）符号化対象スライスの先頭スライスフラグ(first_slice_segment_in_pic_flag)を符号化する。すなわち、スライス単位に分割された入力画像（以降、符号化対象スライス）が、ピクチャ内の符号化順（復号順）（以降、処理順）で先頭スライスであれば、先頭スライスフラグ(first_slice_segment_in_pic_flag)が１である。符号化対象スライスが先頭スライスでなければ、先頭スライスフラグは０である。なお、先頭スライスフラグが１の場合、符号化対象スライスの先頭ＣＴＵアドレスを０に設定する。さらに、ピクチャ内の処理済みＣＴＵ数のカウンタnumCtbを０に設定する。先頭スライスフラグが０の場合、後述のＳＤ１０６で符号化されるスライスアドレスに基づいて、符号化対象スライスの先頭ＣＴＵアドレスを設定する。
（ＳＥ１０２）符号化対象スライスの符号化時に参照するアクティブＰＰＳを指定するアクティブＰＰＳ識別子(slice_pic_paramter_set_id)を符号化する。
（ＳＥ１０４）符号化パラメータ決定部２６で決定されたアクティブパラメータセットをフェッチする。すなわち、符号化対象スライスが参照するアクティブＰＰＳ識別子(slice_pic_parameter_set_id)と同一のＰＰＳ識別子(pps_pic_parameter_set_id)を有するＰＰＳをアクティブＰＰＳとし、符号化パラメータ決定部２６から、アクティブＰＰＳの符号化パラメータをフェッチする（読み出す）。さらに、アクティブＰＰＳ内のアクティブＳＰＳ識別子(pps_seq_parameter_set_id)と同一のＳＰＳ識別子(sps_seq_parameter_set_id)を有するＳＰＳをアクティブＳＰＳとし、符号化パラメータ決定部２６から、アクティブＳＰＳの符号化パラメータをフェッチする。さらに、アクティブＳＰＳ内のアクティブＶＰＳ識別子(sps_video_parameter_set_id)と同一のＶＰＳ識別子(vps_video_parameter_set_id)を有するＶＰＳをアクティブＶＰＳとし、符号化パラメータ決定部２６から、アクティブＶＰＳの符号化パラメータをフェッチする。
（ＳＥ１０５）符号化対象スライスが、ピクチャ内の処理順で先頭スライスであるか否かを先頭スライスフラグに基づいて判定する。先頭スライスフラグが０の場合(SE105でYes)、ステップSE106へ遷移する。それ以外の場合(SE105でNo)、ステップSE106の処理をスキップする。なお、先頭スライスフラグが１の場合、符号化対象スライスのスライスアドレスは０である。
（ＳＥ１０６）符号化対象スライスのスライスアドレス（slice_segment_address）を符号化する。なお、符号化対象スライスのスライスアドレス（符号化対象スライスの先頭ＣＵＴアドレス）は、例えば、ピクチャ内の処理済ＣＴＵ数のカウンタnumCtbに基づいて設定可能である。この場合、スライスアドレスslice_segment_adress＝numCtbである。すなわち、符号化対象スライスの先頭ＣＴＵアドレス＝numCtbでもある。なお、スライスアドレスの決定方法はこれに限定されず、実施可能な範囲で変更可能である。
・・・省略・・・
（ＳＥ１０Ａ）ＣＴＵ符号化部２４２は、入力されるアクティブパラメータセット、スライスヘッダに基づいて、入力画像（符号化対象スライス）をＣＴＵ単位で符号化して、符号化対象スライスのスライスデータの一部として、ＣＴＵ情報の符号化データ(図１８のSYNSD01)を出力する。また、ＣＴＵ符号化部２４２は、各ＣＴＵに対応する領域のＣＴＵ復号画像を生成し出力する。さらに、各CTU情報の符号化データの後に、該CTUが符号化対象スライスの終端であるかを示すスライス終端フラグ(end_of_slice_segment_flag)(図１８のSYNSD2)を符号化する。該CTUが符号化対象スライスの終端である場合、スライス終端フラグを１へ設定し、それ以外の場合は０へ設定し、符号化する。また、各CTUの符号化後に、処理済CTU数numCtbの値を１加算する(numCtb++)。
（ＳＥ１０Ｂ）該CTUが符号化対象スライスの終端であるか否かをスライス終端フラグに基づいて判定する。スライス終端フラグが１の場合(SE10BでYes)、ステップSE10Cへ遷移する。それ以外の場合(SE10BでNo)、後続のCTUを符号化するため、ステップSE10Aへ遷移する。
（ＳＥ１０Ｃ）処理済CTU数numCtuが、ピクチャを構成するＣＴＵの総数(PicSizeInCtbsY)に達したか判定する。すなわち、numCtu==PicSizeInCtbsYであるか判定する。numCtuがPicSizeInCtbsYと等しい場合(SE10CでYes)、符号化対象ピクチャを構成するスライス単位の符号化処理を終了する。それ以外の場合（numCtu<PicSizeInCtbsY）（SE10CでNo）、符号化対象対象ピクチャを構成するスライス単位の符号化処理を継続するため、ステップSE101へ遷移する。
以上、実施例１に係るピクチャ符号化部２４の動作について説明したが、上記ステップに限定されず、実施可能な範囲で、ステップを変更しても構わない。
（動画像符号化装置２の効果）
以上説明した本実施形態に係る階層動画像符号化装置２は、対象レイヤの符号化に利用されるパラメータセット（ＳＰＳ、ＰＰＳ）ととして、参照レイヤの符号化に利用されるパラメータセットを共有することにより、対象レイヤのパラメータセットに係る符号量を削減することが可能である。より具体的には、本実施例では、レイヤ依存タイプとして、VCL間の依存タイプ(レイヤ間画像予測やレイヤ間動き予測)の他に、新たにnon-VCL間の依存タイプの有無を導入する。non-VCL間の依存には、異なるレイヤ間でのパラメータセットの共有（共有パラメータセット）や、異なるレイヤ間でのパラメータセット間のシンタックスの一部の予測（パラメータセット間シンタックス予測）が含まれる。
non-VCLの有無を示す依存タイプの有無を明示的に通知することによって、デコーダは、レイヤセット内のいずれのレイヤが、対象レイヤのnon-VCLの依存レイヤ(non-VCL参照レイヤ）となるかＶＰＳ拡張データを復号することによって把握することができる効果を奏する。すなわち、レイヤ識別子の値がnuhLayerIdAであるレイヤＡのパラメータセットが、どのレイヤと共通で利用される（共有パラメータセットを適用する）かが、符号化データの復号開始時点において不明であるという課題を解消することができる。
また、non-VCL間の依存タイプの有無を導入することによって、デコーダとエンコーダ間で以下のビットストリーム制約を明示的に示すことができる。
すなわち、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＸ１を満たさなければならない。
ＣＸ１：「レイヤ識別子nuhLayerIdAであるnon-VCLが、レイヤ識別子nuhLayerIdBであるレイヤで利用されるnon-VCLであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLyaerIdBの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
さらに、共有パラメータセットに関して限定すれば、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＸ２を満たさなければならない。
ＣＸ２：「レイヤ識別子nuhLayerIdAであるパラメータセットが、レイヤ識別子nuhLayerIdBであるレイヤのアクティブパラメータセットであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLyaerIdBの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
さらに、上記制約条件ＣＸ２をＳＰＳに関する共有パラメータセット、ＰＰＳに関する共有パラメータセットに限定すれば、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＸ３、及びＣＸ４をそれぞれ満たさなければならない。
ＣＸ３：「レイヤ識別子nuhLayerIdAであるSPSが、レイヤ識別子nuhLayerIdBであるレイヤのアクティブSPSであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLayerIdBの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
ＣＸ４：「レイヤ識別子nuhLayerIdAであるPPSが、レイヤ識別子nuhLayerIdBであるレイヤのアクティブPPSであるとき、レイヤ識別子nuhLayerIdAであるレイヤは、レイヤ識別子nuhLyaerIdBの直接参照レイヤであり、かつ、non-VCL依存有無フラグが１であること」
上記ビットストリーム制約は、換言すれば、共有パラメータセットとして利用可能なパラメータセットは、対象レイヤに対する直接参照レイヤのパラメータセットであるということである。
共有パラメータセットとして利用可能なパラメータセットは、対象レイヤに対する直接参照レイヤのパラメータセットであるということは、レイヤセットＡのサブセットであるレイヤセットＢ内では、レイヤセットＡに含まれるが、レイヤセットＢに含まれないレイヤからの参照を禁止する。
すなわち、レイヤセットＡからサブセットであるレイヤセットＢをビットストリーム抽出するときに、レイヤセットＢに含まれないレイヤを参照するパラメータセットの共有を禁止できるため、レイヤセットＢのあるレイヤが参照する直接参照レイヤのレイヤIDを有するパラメータセットが破棄されることはない。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、共有パラメータセットを利用するレイヤが復号できないという問題を解消することができる。すなわち、図１で説明した従来技術において発生しえたビットストリーム抽出時の課題を解消することができる。
（non-VCL依存タイプの変形例１）
動画符号化装置１におけるnon-VCL依存タイプの変形例１は、動画像復号装置１におけるnon-VCL依存タイプの変形例１と対応し、同一の内容であるため、説明を省略する。また、動画像復号装置１におけるnon-VCL依存タイプの変形例１と同様の効果を奏する。
（non-VCL依存タイプの変形例２）
動画符号化装置１におけるnon-VCL依存タイプの変形例２は、動画像復号装置１におけるnon-VCL依存タイプの変形例２と対応し、同一の内容であるため、説明を省略する。また、動画像復号装置１におけるnon-VCL依存タイプの変形例２と同様の効果を奏する。
（共有パラメータセットの変形例１）
動画像符号化装置２における共有パラメータセットの変形例１は、動画像復号装置１における共有パラメータセットの変形例１に対応する逆処理である。
（共有パラメータセットの変形例１に係るスライスヘッダ）
スライスヘッダには、対象レイヤiが共有パラメータセットとして参照しうる、non-VCLの直接参照レイヤ数が１の場合(NumNonVCLDepRefLayers[i]==1)、ＰＰＳがレイヤ間で参照されること示す共有ＰＰＳ利用フラグ(slice_shared_pps_flag)（例えば、図２７（ａ）上のSYNSH0X）が含まれていてもよい。すなわち、スライスヘッダ設定部２４１は、図２７（ａ）の例では、アクティブＰＰＳ識別子(slice_pic_parameter_set_id)(図２７（ａ）のSYNSH02)の直後に、対象レイヤiのレイヤ識別子nuhLayerId(nuh_layer_id)が０より大きい場合、該共有ＰＰＳ利用フラグ(slice_shared_pps_flag)を符号化する。スライスヘッダ設定部２４１は、該共有ＰＰＳ利用フラグが真の場合、対象レイヤiの符号化データの一部として、パラメータセット符号部２２において対象レイヤiのレイヤIDを有するPPSの符号化は省略され、アクティブＰＰＳ識別子(slice_pic_parameter_set_id)で特定される、non-VCL依存レイヤNonVCLDepRefLayerId[i][0]のレイヤIDを有する符号化済PPSをアクティブＰＰＳとする。スライスヘッダ設定部２４１は、共有ＰＰＳ利用フラグが偽の場合、対象レイヤiの符号化データの一部として、パラメータセット符号部２２において対象レイヤiのレイヤIDを有するPPSは符号化済であるため、アクティブＰＰＳ識別子(slice_pic_parameter_set_id)で特定される、対象レイヤiのレイヤIDを有する符号化済PPSをアクティブＰＰＳとする。すなわち、スライスヘッダ設定部２４１は、アクティブPPS識別子、及び共有ＰＰＳ利用フラグに基づいて特定されるＰＰＳを、その後のシンタックス等の符号化号時に参照するアクティブＰＰＳとし、該アクティブＰＰＳの符号化パラメータを符号化パラメータ決定部２６より読み出す（フェッチする、ＰＰＳをアクティベートする）。
（共有パラメータセットの変形例１に係るスライスヘッダの効果）
動画像復号装置１におけるnon-VCLの依存タイプの有無の導入による同一の効果を奏すると共に、ピクチャ単位で、PPSに関する共有パラメータセットを利用するか否かを選択することができる。例えば、レイヤ間で、ピクチャの符号化に利用するＰＰＳの最適なパラメータが参照レイヤのパラメータと異なる場合には、対象レイヤにおいて、slice_shared_pps_flag =0とし、対象レイヤのレイヤIDを有するPPSを参照することで、対象レイヤのピクチャの符号化データの符号量の低減、及び対象レイヤのピクチャの符号化データの復号／符号化に係る処理量を削減することができる。また、対象レイヤにおいて、slice_shared_pps_flag =1とし、参照レイヤのレイヤIDを有するPPSを参照することで、対象レイヤのレイヤIDを有するPPSの符号化を省略し、該PPSに関する符号量の低減、及び該PPSの復号／符号化に要する処理量を削減することができる。
（共有パラメータセットの変形例１に係るＰＰＳ）
同様に、ピクチャパラメータセットＰＰＳには、対象レイヤiが共有パラメータとして参照しうる、non-VCLの直接参照レイヤ数が１の場合(NumNonVCLDepRefLayers[i]==1)、ＳＰＳがレイヤ間で参照されること示す共有ＳＰＳ利用フラグ(pps_shared_pps_flag)が含まれていてもよい。すなわち、パラメータセット符号化部２２は、図２８（ａ）の例では、ＰＰＳ識別子(pps_pic_parameter_set_id)（図２８（ａ）上のSYNPPS01）、アクティブＳＰＳ識別子(pps_seq_parameter_set_id)（図２８（ａ）上のSYNPPS02）の直後に、対象レイヤiのレイヤ識別子nuhLayerId(nuh_layer_id)が０より大きい場合、該共有ＳＰＳ利用フラグ(pps_shared_sps_flag)を符号化する。パラメータセット符号化部２２は、該共有ＳＰＳ利用フラグ(pps_shared_sps_flag)が真の場合、対象レイヤiの符号化データの一部として、対象レイヤiのレイヤIDを有するSPSの符号化を省略し、アクティブＳＰＳ識別子(pps_seq_parameter_set_id)で特定される、non-VCL依存レイヤNonVCLDepRefLayerId[i][0]のレイヤIDを有する符号化済SPSをアクティブＳＰＳとする。また、パラメータセット符号化部２２は、該共有ＳＰＳ利用フラグが偽の場合、対象レイヤiの符号化データの一部として、アクティブＳＰＳ識別子(pps_seq_parameter_set_id)で特定される、対象レイヤiのレイヤIDを有するSPSを符号化し、該アクティブＳＰＳ識別子(pps_seq_parameter_set_id)で特定されるSPSをアクティブＳＰＳとする。すなわち、パラメータセット符号化部２２は、アクティブSPS識別子、及び共有SPS利用フラグに基づいて特定されるＳＰＳを、その後のシンタックス等の符号化時に参照するアクティブＳＰＳとし、該アクティブＳＰＳの符号化パラメータを符号化パラメータ決定部２６より読み出してもよい（フェッチする、ＳＰＳをアクティベートする）。なお、符号化対象PPSの各シンタックスが、アクティブSPSの符号化パラメータに依存しない場合は、符号化対象PPSの符号化開始時点での、SPSのアクティベート処理は必要ない。
同様に、スライスヘッダ設定部２４１は、共有ＳＰＳ利用フラグが真の場合、対象レイヤiの符号化データの一部として、パラメータセット符号部２２において対象レイヤiのレイヤIDを有するSPSの符号化は省略され、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)で特定される、non-VCL依存レイヤNonVCLDepRefLayerId[i][0]のレイヤIDを有する符号化済SPSをアクティブＳＰＳとする。スライスヘッダ設定部２４１は、共有ＳＰＳ利用フラグが偽の場合、対象レイヤiの符号化データの一部として、パラメータセット符号部２２において対象レイヤiのレイヤIDを有するSPSは符号化済みであるため、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)で特定される、対象レイヤiのレイヤIDを有する符号化済SPSをアクティブＳＰＳとする。なわち、スライスヘッダ設定部２４１は、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)、共有ＳＰＳ利用フラグに基づいて特定されるＳＰＳを、その後のシンタックス等の符号化号時に参照するアクティブＳＰＳとし、該アクティブＳＰＳの符号化パラメータを符号化パラメータ決定部２６より読み出す（フェッチする、ＳＰＳをアクティベートする）。
（共有パラメータセットの変形例１に係るＰＰＳの効果）
動画像復号装置１におけるnon-VCLの依存タイプの有無の導入による同一の効果を奏すると共に、ピクチャ単位で、SPSに関する共有パラメータセットを利用するか否かを選択することができる。例えば、レイヤ間で、ピクチャの符号化に利用するＳＰＳの最適なパラメータが参照レイヤのパラメータと異なる場合には、対象レイヤにおいて、pps_shared_sps_flag=0とし、対象レイヤのレイヤIDを有するSPSを参照することで、対象レイヤのピクチャの符号化データの符号量の低減、及び対象レイヤのピクチャの符号化データの復号／符号化に係る処理量を削減することができる。また、対象レイヤにおいて、pps_shared_sps_flag=1とし、参照レイヤのレイヤIDを有するSPSを参照することで、対象レイヤのレイヤIDを有するSPSの符号化を省略し、該SPSに関する符号量の低減、及び該SPSの復号／符号化に要する処理量を削減することができる。
（共有パラメータセットの変形例２）
動画像符号化装置２における共有パラメータセットの変形例２は、動画像復号装置１における共有パラメータセットの変形例２に対応する逆処理である。
（共有パラメータセットの変形例２に係るスライスヘッダ）
スライスヘッダには、対象レイヤiが共有パラメータセットとして参照しうる、non-VCLの直接参照レイヤ数が１より大きい場合(NumNonVCLDepRefLayers[i]>1)、ＰＰＳがレイヤ間で参照されること示す共有ＰＰＳ利用フラグ(slice_shared_pps_flag) (例えば、図２７（ｂ）上のSYNSH0X)、及びnon-VCL依存レイヤを指定するnon-VCL依存レイヤ指定情報(NonVCLDepRefLayerId[i][slice_non_vcl_dep_ref_layer_id]のslice_non_vcl_dep_ref_layer_id(図２７（ｂ）上のSYNSH0Y))が含まれていてもよい。
すなわち、スライスヘッダ設定部２４１は、図２７（ｂ）の例では、アクティブＰＰＳ識別子(slice_pic_parameter_set_id)の直後に、対象レイヤiのレイヤ識別子nuhLayerId(nuh_layer_id)が０より大きい場合、該共有ＰＰＳ利用フラグ(slice_shared_pps_flag)を符号化する。さらに、スライスヘッダ設定部２４１は、共有ＰＰＳ利用フラグが真の場合、対象レイヤiの符号化データの一部として、パラメータセット符号部２２において対象レイヤiのレイヤIDを有するPPSの符号化は省略され、アクティブＰＰＳ識別子(slice_pic_parameter_set_id)、及びnon-VCL依存レイヤ指定情報(NonVCLDepRefLayerId[i][slice_non_vcl_dep_ref_layer_id]のslice_non_vcl_dep_ref_layer_id)で特定される、non-VCL依存レイヤNonVCLDepRefLayerId[i][ slice_non_vcl_dep_ref_layer_id]のレイヤIDを有す符号化済PPSをアクティブＰＰＳとする。スライスヘッダ設定部２４１は、共有ＰＰＳ利用フラグが偽の場合、対象レイヤiの符号化データの一部として、パラメータセット符号化部２２において対象レイヤiのレイヤIDを有するPPSは符号化済みため、アクティブＰＰＳ識別子(slice_pic_parameter_set_id)で特定される、対象レイヤiのレイヤIDを有する符号化済PPSをアクティブＰＰＳとする。
（共有パラメータセットの変形例２に係るスライスヘッダの効果）
動画像復号装置１におけるnon-VCLの依存タイプの有無の導入と同一の効果、及び共有パラメータセットの変形例１と同一の効果を奏すると共に、ピクチャ単位で、PPSに関する共有パラメータセットを複数のレイヤから選択することができる。例えば、レイヤ間で、ピクチャの符号化に利用するＰＰＳの最適なパラメータが参照レイヤのパラメータと異なる場合には、対象レイヤにおいて、slice_shared_pps_flag=0とし、対象レイヤのレイヤIDを有するPPSを参照することで、対象レイヤのピクチャの符号化データの符号量の低減、及び対象レイヤのピクチャの符号化データの復号／符号化に係る処理量を削減することができる。また、対象レイヤにおいて、slice_shared_pps_flag=1とし、NonVCLDepRefLayerId[i][slice_non_vcl_dep_ref_layer_id]で特定されるnon-VCL依存レイヤのレイヤIDを有するPPSを参照することで、対象レイヤのレイヤIDを有するPPSの符号化を省略し、該PPSに関する符号量の低減、及び該PPSの復号／符号化に要する処理量を削減することができる。
（共有パラメータセットの変形例２に係るＰＰＳ）
同様に、ピクチャパラメータセットＰＰＳには、対象レイヤiが共有パラメータとして参照しうる、non-VCLの直接参照レイヤ数が１より大きい場合(NumNonVCLDepRefLayers[i]>1)、ＳＰＳがレイヤ間で参照されること示す共有ＳＰＳ利用フラグ(pps_shared_sps_flag)(例えば、図２８（ｂ）上のSYNPPS05)及びnon-VCL依存レイヤを指定するnon-VCL依存レイヤ指定情報(NonVCLDepRefLayerId[i][pps_non_vcl_dep_ref_layer_id]のpps_non_vcl_dep_ref_layer_id(図２８（ｂ）上のSYNPPS06))が含まれていてもよい。
すなわち、パラメータセット符号化部２２は、図２８（ｂ）の例では、ＰＰＳ識別子 (pps_pic_parameter_set_id)（図２８（ｂ）上のSYNPPS01）、アクティブＳＰＳ識別子(pps_seq_parameter_set_id)（図２８（ｂ）上のSYNPPS02）の直後に、対象レイヤiのレイヤ識別子nuhLayerId(nuh_layer_id)が０より大きい場合、該共有ＳＰＳ利用フラグ(pps_shared_sps_flag)を符号化する。さらに、パラメータセット符号化部２２は、共有ＳＰＳ利用フラグが真の場合、non-VCL依存レイヤ指定情報（pps_non_vcl_dep_ref_layer_id）を符号化する。パラメータセット符号化部２２は、対象レイヤiの符号化データの一部として、対象レイヤiのレイヤIDを有するSPSの符号化を省略し、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)、及びnon-VCL依存レイヤNonVCLDepRefLayerId[i][pps_non_vcl_dep_ref_layer_id]のレイヤIDを有する符号化済SPSをアクティブＳＰＳとする。また、パラメータセット符号化部２２は、該共有ＳＰＳ利用フラグが偽の場合、対象レイヤiの符号化データの一部として、アクティブＳＰＳ識別子(pps_seq_parameter_set_id)で特定される、対象レイヤiのレイヤIDを有するSPSを符号化し、該アクティブＳＰＳ識別子(pps_seq_parameter_set_id)で特定されるSPSをアクティブＳＰＳとする。すなわち、パラメータセット符号化部２２は、アクティブSPS識別子、共有SPS利用フラグ(pps_shared_pps_flag)、及びnon-VCL依存レイヤ指定情報(pps_non_vcl_dep_ref_layer_id)に基づいて特定されるＳＰＳを、その後のシンタックス等の符号化時に参照するアクティブＳＰＳとし、該アクティブＳＰＳの符号化パラメータを符号化パラメータ決定部２６より読み出してもよい（フェッチする、ＳＰＳをアクティベートする）。なお、符号化対象PPSの各シンタックスが、アクティブSPSの符号化パラメータに依存しない場合は、符号化対象PPSの符号化開始時点での、SPSのアクティベート処理は必要ない。
同様に、スライスヘッダ設定部２４１は、共有ＳＰＳ利用フラグが真の場合、対象レイヤiの符号化データの一部として、パラメータセット符号化部２２において対象レイヤiのレイヤIDを有するSPSの符号化は省略され、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)で特定される、non-VCL依存レイヤNonVCLDepRefLayerId[i][pps_non_vcl_ref_layer_id]のレイヤIDを有する符号化済SPSをアクティブＳＰＳとする。スライスヘッダ設定部２４１は、共有ＳＰＳ利用フラグが偽の場合、対象レイヤiの符号化データの一部として、パラメータセット符号化部２２において対象レイヤiのレイヤIDを有するSPSは符号化済のため、アクティブＰＰＳの有するアクティブＳＰＳ識別子(pps_seq_parameter_set_id)で特定される、対象レイヤiのレイヤIDを有する符号化済SPSをアクティブＳＰＳとする。すなわち、スライスヘッダ設定部２４１は、アクティブＰＰＳの有するアクティブSPS識別子、共有ＳＰＳ利用フラグ(pps_shared_sps_flag)、及びnon-VCL依存レイヤ指定情報(pps_non_vcl_ref_layer_id)に基づいて特定されるＳＰＳを、その後のシンタックス等の符号化号時に参照するアクティブＳＰＳとし、該アクティブＳＰＳの符号化パラメータを符号化パラメータ決定部２６より読み出す（フェッチする、ＳＰＳをアクティベートする）。
（共有パラメータセットの変形例２に係るＰＰＳの効果）
動画像復号装置１におけるnon-VCLの依存タイプの有無の導入と同一の効果、及び共有パラメータセットの変形例１と同一の効果を奏すると共に、ピクチャ単位で、SPSに関する共有パラメータセットを複数のレイヤから選択することができる。例えば、レイヤ間で、ピクチャの符号化に利用するＳＰＳの最適なパラメータが参照レイヤのパラメータと異なる場合には、対象レイヤにおいて、pps_shared_sps_flag=0とし、対象レイヤのレイヤIDを有するSPSを参照することで、対象レイヤのピクチャの符号化データの符号量の低減、及び対象レイヤのピクチャの符号化データの復号／符号化に係る処理量を削減することができる。また、対象レイヤにおいて、pps_shared_sps_flag =1とし、NonVCLDepRefLayerId[i][pps_non_vcl_dep_ref_layer_id]で特定されるnon-VCL依存レイヤのレイヤIDを有するSPSを参照することで、対象レイヤのレイヤIDを有するSPSの符号化を省略し、該SPSに関する符号量の低減、及び該SPSの復号／符号化に要する処理量を削減することができる。
（付記事項）
なお、階層動画層符号化装置２の備えるパラメータセット符号化部２２では、レイヤ間依存情報として、i番目のレイヤがとｊ番目のレイヤ間の参照関係を示すレイヤ依存タイプを示すシンタックス“direct_dependency_type[i][j]”(図１３のSYNVPS0D)の値を、図１４の例で説明した、レイヤ依存タイプの値-1、すなわち、”DirectDepType[i][j] - 1”の値を符号化するとしたが、これに限定されない。代わりに、シンタックス“direct_dependency_type[i][j]”の値を、直接、レイヤ依存タイプの値、すなわち、”DirectDepType[i][j]”の値として符号化してもよい。この場合、レイヤ依存タイプを示すシンタックス“direct_dependency_type[i][j]”の値に関して、以下の制約ＣＶ１を追加する。すなわち、ビットストリームコンフォーマンスとして、ビットストリームは、以下の条件ＣＶ１を満たさなければならない。
ＣＶ１：「直接依存フラグ“direct_dependency_flag[i][j]”の値が１の場合、レイヤ依存タイプを示すシンタックス“direct_dependency_type[i][j]”の値は、０より大きい整数であること」。すなわち、レイヤ依存タイプ“direct_dependency_type[i][j]”の値域は、レイヤ依存タイプのビット長Ｍ、及びレイヤ依存タイプの総数によって定まるＮで表せば、direct_dependency_type[i][j]の値域は、1から(2^M - N)である。以上の場合でも、（non-VCL依存タイプの効果）で説明した効果と同様の効果を奏する。さらに、シンタックス“direct_dependency_type[i][j]”の値を、直接、レイヤ依存タイプの値、すなわち、”DirectDepType[i][j]”の値とするため、”DirectDepType[i][j] - 1”とする場合と比較して、加算（減算）の演算を削減することができる。すなわち、レイヤ依存タイプ”DirectDepType[i][j]”の導出処理、符号化処理を簡略化することができる。なお、上記変更は、階層動画像復号装置１で説明した（付記事項）と対応する逆処理である。
（他の階層動画像符号化／復号システムへの適用例）
上述した階層動画像符号化装置２及び階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用できる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
図２５に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の送信および受信に利用できることを説明する。図２５の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。
図２５の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３とを備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２５の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
図２５の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２５の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３とを備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２５の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
図２６に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の記録および再生に利用できることを説明する。図２６の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。
図２６の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリ等のように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図２６の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
図２６の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図２６の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図２６の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
（ハードウェア的実現およびソフトウェア的実現について）
最後に、階層動画像復号装置１、階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（Micro Processing Unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯ（Magneto-Optical）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-only Memory）／ＥＥＰＲＯＭ（登録商標）（ElectricallyErasable and Programmable Read-only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate
Array）等の論理回路類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric DigitalSubscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（登録商標）（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様１に係る画像復号装置は、レイヤ識別子を復号するレイヤ識別子復号手段と、対象レイヤと参照レイヤの参照関係を示すレイヤ依存フラグを復号するレイヤ依存フラグ復号手段と、non-VCLを復号するnon-VCL復号手段を備える画像復号装置であって、前記画像復号装置は、ある対象レイヤから参照されるnon-VCLのレイヤ識別子は、前記対象レイヤと同じレイヤ識別子もしくは、前記対象レイヤから、直接参照されるレイヤのレイヤ識別子である、というコンフォーマンス条件を満たす画像符号化データを復号することを特徴とする。
以上の画像復号装置によれば、「ある対象レイヤが参照可能なレイヤのnon-VCLは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するnon-VCLである」ことを満たす画像符号化データを復号する。「ある対象レイヤが参照可能なレイヤのnon-VCLは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するnon-VCLである」ということは、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのnon-VCLを参照すること」を禁止することを意味する。
すなわち、レイヤセットＡからサブセットであるレイヤセットＢをビットストリーム抽出するときに、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのnon-VCLを参照すること」を禁止できるため、レイヤセットＢに含まれるレイヤが参照する直接参照レイヤのnon-VCLが破棄されることはない。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、直接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様２に係る画像復号装置は、上記態様１において、上記参照されるnon-VCLのレイヤ識別子は、さらに、前記対象レイヤから、間接参照されるレイヤ識別子である、というコンフォーマンス条件を満たす画像符号化データを復号することを特徴とする。
以上の画像復号装置によれば、ある対象レイヤが参照可能な参照レイヤのnon-VCLは、対象レイヤに対する直接参照レイヤ、または間接参照レイヤのnon-VCLである画像符号化データを復号する。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、直接参照レイヤまたは間接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤまたは間接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様３に係る画像復号装置は、上記態様１または態様２において、さらに、前記参照レイヤは、前記レイヤ依存フラグによって指定されることを特徴とする画像符号化データを復号することを特徴とする。
以上の画像符号化データによれば、「前記直接参照レイヤあるいは間接参照レイヤは、対象レイヤと参照レイヤの参照関係を示すレイヤ依存フラグによって指定される参照レイヤであること」へ制限する。すなわち、「対象レイヤが参照可能な参照レイヤのnon-VCLは、対象レイヤと参照レイヤの参照関係を示すレイヤ依存フラグによって指定される参照レイヤ」へ制限されている。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、レイヤ依存フラグによって指定された直接参照レイヤまたは間接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤまたは間接参照レイヤを参照するレイヤのnon-VCLを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様４に係る画像復号装置は、上記態様１において、さらに、レイヤ依存タイプを復号するレイヤ依存タイプ復号手段を備え、前記レイヤ依存タイプは、前記対象レイヤのnon-VCLと前記参照レイヤのnon-VCL間の依存の有無を示すnon-VCL依存タイプを含むことを特徴とする。
以上の画像復号装置によれば、「前記直接参照レイヤは、前記non-VCL依存タイプがnon-VCL間の依存があることを示す参照レイヤであること」へ制限された画像符号化データを復号する。すなわち、「対象レイヤが参照可能な参照レイヤは、前記対象レイヤと前記直接参照レイヤのnon-VCL間の依存がある直接参照レイヤ」へ制限する。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記対象レイヤと前記直接参照レイヤのnon-VCL間の依存がある直接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様５に係る画像復号装置は、上記態様４において、さらに、前記参照レイヤのレイヤ識別子nuhLayerIdAに等しいnuh_layer_idを有するnon-VCLが、nuhLayerIdBに等しいnuh_layer_idを有する対象レイヤで利用されるnon-VCLである場合には、nuhLayerIdAに等しいnuh_layer_idのレイヤは、nuhLayerIdBに等しいnuh_layer_idを有するレイヤの直接参照レイヤである、というコンフォーマンス条件を満たす画像復号データを復号することを特徴とする。
以上の画像復号装置によれば、「前記参照レイヤのレイヤ識別子nuhLayerIdAに等しいnuh_layer_idを有するnon-VCLが、nuhLayerIdBに等しいnuh_layer_idを有する対象レイヤで利用されるnon-VCLである場合には、nuhLayerIdAに等しいnuh_layer_idのレイヤは、nuhLayerIdBに等しいnuh_layer_idを有するレイヤの直接参照レイヤであること」へ制限された画像符号化データを復号する。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、nuhLayerIdAに等しいnuh_layer_idを有する直接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤを参照するnuhLayerIdBと等しいnuh_layer_idを有するレイヤが復号できないという問題を解消することができる。
本発明の態様６に係る画像復号装置は、上記態様４または態様５において、さらに、前記non-VCL依存タイプは、共有パラメータセットの依存の有無を含む画像符号化データを復号することを特徴とする。
以上の画像復号装置によれば、「対象レイヤが共有パラメータセットとして参照可能なパラメータセットは、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプが共有パラメータセットの依存があることを示す直接参照レイヤのパラメータセットであること」へ制限された画像符号化データを復号する。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプが共有パラメータセットの依存があることを示す直接参照レイヤのパラメータセットが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様７に係る画像復号装置は、上記態様４または態様５において、さらに、前記non-VCL依存タイプは、パラメータセット間予測の依存の有無を含む画像符号化データを復号することを特徴とする。
以上の画像復号装置によれば、「対象レイヤがパラメータセット間予測として参照可能なパラメータセットは、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプがパラメータセット間予測の依存があることを示す直接参照レイヤのパラメータセットであること」へ制限された画像符号化データを復号する。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプがパラメータセット間予測の依存があることを示す直接参照レイヤのパラメータセットが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様８に係る画像復号装置は、上記態様１から態様７において、さらに、前記non-VCLはパラメータセットを含む画像符号化データを復号することを特徴とする。
以上の画像復号装置によれば、non-VCLとして、パラメータセットを復号する。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記参照レイヤのパラメータセットが破棄され、前記参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様９に係る画像符号化データは、ある対象レイヤから参照される参照レイヤのnon-VCLのレイヤ識別子は、前記対象レイヤと同じレイヤ識別子もしくは、前記対象レイヤの直接参照レイヤのレイヤ識別子である、というコンフォーマンス条件を満たす画像符号化データであることを特徴とする。
以上の画像符号化データによれば、「ある対象レイヤが参照可能なレイヤのnon-VCLは、対象レイヤに対する直接参照レイヤのnon-VCLである」ことへ制限する。「ある対象レイヤが参照可能なレイヤのnon-VCLは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するnon-VCLであると」ということは、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのnon-VCLを参照すること」を禁止することを意味する。
すなわち、レイヤセットＡからサブセットであるレイヤセットＢをビットストリーム抽出するときに、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのnon-VCLを参照すること」を禁止できるため、レイヤセットＢに含まれるレイヤが参照する直接参照レイヤのnon-VCLが破棄されることはない。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、直接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様１０に係る画像符号化データは、上記態様９において、さらに、前記対象レイヤから参照される参照レイヤのnon-VCLのレイヤ識別子は、前記対象レイヤの間接参照レイヤのレイヤ識別子である、というコンフォーマンス条件を満たす画像符号化データであることを特徴とする。
以上の画像符号化データによれば、「ある対象レイヤが参照可能な参照レイヤのnon-VCLは、対象レイヤに対する直接参照レイヤ、または間接参照レイヤのnon-VCLである」ことへ制限する。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、直接参照レイヤまたは間接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤまたは間接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様１１に係る画像符号化データは、上記態様９また態様１０において、さらに、前記対象レイヤと前記参照レイヤの参照関係を示すレイヤ依存フラグを含み、前記参照レイヤは、前記レイヤ依存フラグによって指定されることを特徴とする。
以上の画像符号化データによれば、「前記直接参照レイヤあるいは間接参照レイヤは、対象レイヤと参照レイヤの参照関係を示すレイヤ依存フラグによって指定される参照レイヤであること」へ制限された画像符号化データを復号する。すなわち、「対象レイヤが参照可能な参照レイヤのnon-VCLは、対象レイヤと参照レイヤの参照関係を示すレイヤ依存フラグによって指定される参照レイヤ」へ制限されている。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、レイヤ依存フラグによって指定された直接参照レイヤまたは間接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤまたは間接参照レイヤを参照するレイヤのnon-VCLを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様１２に係る画像符号化データは、上記態様９において、さらに前記対象レイヤと前記参照レイヤの参照関係の種類を示すレイヤ依存タイプを含み、前記レイヤ依存タイプは、前記対象レイヤのnon-VCLと前記参照レイヤのnon-VCL間の依non-VCL存タイプを含むことを特徴とする。
以上の画像符号化データによれば、「前記直接参照レイヤは、前記non-VCL依存タイプがnon-VCL間の依存があることを示す参照レイヤであること」へ制限する。すなわち、「対象レイヤが参照可能な参照レイヤは、前記対象レイヤと前記直接参照レイヤのnon-VCL間の依存がある直接参照レイヤ」へ制限する。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記対象レイヤと前記直接参照レイヤのnon-VCL間の依存がある直接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様１３に係る画像符号化データは、上記態様１２において、さらに、前記参照レイヤのレイヤ識別子nuhLayerIdAに等しいnuh_layer_idを有するnon-VCLが、nuhLayerIdBに等しいnuh_layer_idを有する対象レイヤで利用されるnon-VCLである場合には、nuhLayerIdAに等しいnuh_layer_idのレイヤは、nuhLayerIdBに等しいnuh_layer_idを有するレイヤの直接参照レイヤであることを特徴とする。
以上の画像符号化データによれば、「前記参照レイヤのレイヤ識別子nuhLayerIdAに等しいnuh_layer_idを有するnon-VCLが、nuhLayerIdBに等しいnuh_layer_idを有する対象レイヤで利用されるnon-VCLである場合には、nuhLayerIdAに等しいnuh_layer_idのレイヤは、nuhLayerIdBに等しいnuh_layer_idを有するレイヤの直接参照レイヤであること」へ制限する。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、nuhLayerIdAに等しいnuh_layer_idを有する直接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤを参照するnuhLayerIdBと等しいnuh_layer_idを有するレイヤが復号できないという問題を解消することができる。
本発明の態様１４に係る画像符号化データは、上記態様９また態様１０において、さらに前記non-VCL依存タイプは、共有パラメータセットの依存の有無を含むことを特徴とする。
以上の画像符号化データによれば、「対象レイヤが共有パラメータセットとして参照可能なパラメータセットは、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプが共有パラメータセットの依存があることを示す直接参照レイヤのパラメータセットであること」へ制限する。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプが共有パラメータセットの依存があることを示す直接参照レイヤのパラメータセットが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様１５に係る画像符号化データは、上記態様１２または態様１３において、さらに、前記non-VCL依存タイプは、パラメータセット間予測の依存の有無を含むことを特徴とする。
以上の画像符号化データによれば、「対象レイヤがパラメータセット間予測として参照可能なパラメータセットは、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプがパラメータセット間予測の依存があることを示す直接参照レイヤのパラメータセットであること」へ制限する。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプがパラメータセット間予測の依存があることを示す直接参照レイヤのパラメータセットが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様１６に係る画像符号化データは、上記態様９から態様１５において、さらに前記non-VCLはパラメータセットを含むことを特徴とする。
以上の画像符号化データによれば、non-VCLとして、パラメータセットを含む画像符号化データである。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記参照レイヤのパラメータセットが破棄され、前記参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様１７に係る画像符号化データは、上記態様１６において、さらに、前記パラメータセットは、シーケンスパラメータセットを含むことを特徴とする。
以上の画像符号化データによれば、パラメータセットとして、シーケンスパラメータセットを含む画像符号化データである。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記参照レイヤのシーケンスパラメータセットが破棄され、前記参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様１８に係る画像符号化データは、上記態様１６において、さらに、前記パラメータセットは、ピクチャパラメータセットを含むことを特徴とする。
以上の画像符号化データによれば、パラメータセットとして、ピクチャパラメータセットを含む画像符号化データである。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記参照レイヤのピクチャパラメータセットが破棄され、前記参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
本発明の態様１９に係る画像符号化データは、上記態様１８において、さらに、前記ピクチャパラメータセットは、前記non-VCL依存レイヤのシーケンスパラメータセットを共有パラメータセットとして参照するか否かを示す共有ＳＰＳ利用フラグを含み、
前記共有ＳＰＳ利用フラグが真である場合、前記non-VCL依存レイヤのシーケンスパラメータセットを共有パラメータセットとして参照することを示し、
前記共有ＳＰＳ利用フラグが偽である場合前記non-VCL依存レイヤのシーケンスパラメータセットを共有パラメータセットとして参照しないことを示すことを特徴とする。
以上の画像符号化データによれば、ピクチャ単位で、SPSに関する共有パラメータセットを利用するか否かを選択することができる。例えば、レイヤ間で、ピクチャの符号化に利用するＳＰＳの最適なパラメータが参照レイヤのパラメータと異なる場合には、対象レイヤにおいて、pps_shared_sps_flag=0とし、対象レイヤのレイヤIDを有するSPSを参照することで、より少ない符号量で、対象レイヤのピクチャの符号化データを生成することができる。従って、上記画像符号化データの復号／符号化に係る処理量を削減することができる。また、対象レイヤにおいて、pps_shared_sps_flag=1とし、参照レイヤ(non-VCL依存レイヤ)のレイヤIDを有するSPSを参照することで、対象レイヤのレイヤIDを有するSPSの符号化を省略し、該SPSに関する符号量の低減、及び該SPSの復号／符号化に要する処理量を削減することができる。
本発明の態様２０に係る画像符号化データは、上記態様１９において、さらに、前記対象レイヤのピクチャを構成するスライスを含み、前記スライスに含まれるスライスヘッダは、さらに、前記non-VCL依存レイヤのピクチャパラメータセットを共有パラメータセットとして参照するか否かを示す共有ＰＰＳ利用フラグを含み、前記共有ＰＰＳ利用フラグが真である場合、前記non-VCL依存レイヤのピクチャパラメータセットを共有パラメータセットとして参照することを示し、前記共有ＰＰＳ利用フラグが偽である場合、前記non-VCL依存レイヤのピクチャパラメータセットを共有パラメータセットとして参照しないことを示すことを特徴とする。
以上の画像符号化データによれば、ピクチャ単位で、PPSに関する共有パラメータセットを利用するか否かを選択することができる。例えば、レイヤ間で、ピクチャの符号化に利用するＰＰＳの最適なパラメータが参照レイヤのパラメータと異なる場合には、対象レイヤにおいて、slice_shared_pps_flag =0とし、対象レイヤのレイヤIDを有するPPSを参照することで、対象レイヤのピクチャの符号化データの符号量の低減、及び対象レイヤのピクチャの符号化データの復号／符号化に係る処理量を削減することができる。また、対象レイヤにおいて、slice_shared_pps_flag =1とし、参照レイヤのレイヤIDを有するPPSを参照することで、対象レイヤのレイヤIDを有するPPSの符号化を省略し、該PPSに関する符号量の低減、及び該PPSの復号／符号化に要する処理量を削減することができる。
本発明の態様２１に係る画像符号化データは、上記態様１７において、さらに、前記シーケンスパラメータセットは、レイヤ識別子nuhLayerIdAを有するレイヤの前記シーケンスパラメータセットを参照するレイヤ識別子nuhLayerIdB(nuhLayerIdB>=nuhLayerIdA)を有するレイヤ毎に、前記レイヤ識別子nuhLayerIdBを有するレイヤと前記レイヤ識別子nuhLayerIdBに対する直接参照レイヤとのレイヤ間画素対応情報を含むことを特徴する。
以上の画像符号化データによれば、前記シーケンスパラメータセットに含まれるレイヤ間位置対応情報には、レイヤ識別子nuhLayerIdB（nuhLayerIdB>=nuhLayerIdA）を有するレイヤに属するシーケンスの復号の際に、該SPS(レイヤ識別子nuhLayerIdAを有するレイヤのSPS)を、共有パラメータセットとして参照するレイヤ（パラメータセット参照レイヤ）の数が含まれる。さらに、該レイヤ間位置対応情報には、パラメータセット参照レイヤ毎に、該パラメータセット参照レイヤのレイヤ識別子を有するレイヤが、依存するレイヤ数個のレイヤ間画素対応情報が含まれる構成である。従って、従来技術において発生した上記課題を解消することができる。すなわち、該ＳＰＳのレイヤ識別子より上位のレイヤ識別子を有するレイヤ（上位レイヤ）が、該ＳＰＳを共有パラメータセットとして参照する場合には、該上位レイヤと該上位レイヤの参照レイヤ間のレイヤ画素対応位置情報がないという問題を解消する。従って、該上位レイヤがレイヤ間画像予測を正確に実施するために必要なレイヤ間画素対応情報を含むため、従来技術に対して、符号化効率の向上の効果を奏する。また、レイヤ間画像対応情報を含まない（num_scaled_ref_layer_offsets=0）場合に限定されず、上位レイヤが該ＳＰＳを共有パラメータセットとして参照することができるため、上位レイヤのパラメータセットに関する符号量を低減、及びその復号／符号化に係る処理量を低減することができる。
本発明の態様２２に係る画像符号化装置は、レイヤ識別子を符号化するレイヤ識別子符号化手段と、対象レイヤと参照レイヤの参照関係を示すレイヤ依存フラグを符号化するレイヤ依存フラグ符号化手段と、non-VCLを符号化するnon-VCL符号化手段を備える画像符号化装置であって、前記画像符号化装置は、ある対象レイヤから参照されるnon-VCLのレイヤ識別子は、前記対象レイヤと同じレイヤ識別子もしくは、前記対象レイヤから、直接参照されるレイヤのレイヤ識別子である、というコンフォーマンス条件を満たす符号化データを生成することを特徴とする。
以上の画像符号化装置によれば、ある対象レイヤが参照可能な参照レイヤのnon-VCLは、対象レイヤに対する直接参照レイヤのnon-VCLである符号化データを生成する。「ある対象レイヤが参照可能なレイヤのnon-VCLは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するnon-VCLである」ということは、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのnon-VCLを参照すること」を禁止することを意味する。
すなわち、レイヤセットＡからサブセットであるレイヤセットＢをビットストリーム抽出するときに、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのnon-VCLを参照すること」を禁止できるため、レイヤセットＢに含まれるレイヤが参照する直接参照レイヤのnon-VCLが破棄されることはない。したがって、上記画像符号化装置によって生成された画像符号化データから、ビットストリーム抽出によって生成されたサブビットストリームにおいて、直接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。すなわち、図１で説明した従来技術において発生しえたビットストリーム抽出時の課題を解消することができる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
〔付記事項〕
なお、本発明は以下のようにも表現できる。
上記の課題を解決するために、本発明の態様１に係る画像復号装置は、レイヤ識別子を復号するレイヤ識別子復号手段と、対象レイヤと参照レイヤの参照関係を示すレイヤ依存フラグを復号するレイヤ依存フラグ復号手段と、non-VCLを復号するnon-VCL復号手段を備える画像復号装置であって、前記画像復号装置は、ある対象レイヤから参照されるnon-VCLのレイヤ識別子は、前記対象レイヤと同じレイヤ識別子もしくは、前記対象レイヤから、直接参照されるレイヤのレイヤ識別子である、というコンフォーマンス条件を満たす画像符号化データを復号することを特徴とする。
以上の画像復号装置によれば、「ある対象レイヤが参照可能なレイヤのnon-VCLは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するnon-VCLである」ことを満たす画像符号化データを復号する。「ある対象レイヤが参照可能なレイヤのnon-VCLは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するnon-VCLである」ということは、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのnon-VCLを参照すること」を禁止することを意味する。
すなわち、レイヤセットＡからサブセットであるレイヤセットＢをビットストリーム抽出するときに、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのnon-VCLを参照すること」を禁止できるため、レイヤセットＢに含まれるレイヤが参照する直接参照レイヤのnon-VCLが破棄されることはない。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、直接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様２に係る画像復号装置は、上記態様１において、上記参照されるnon-VCLのレイヤ識別子は、さらに、前記対象レイヤから、間接参照されるレイヤ識別子である、というコンフォーマンス条件を満たす画像符号化データを復号することを特徴とする。
以上の画像復号装置によれば、ある対象レイヤが参照可能な参照レイヤのnon-VCLは、対象レイヤに対する直接参照レイヤ、または間接参照レイヤのnon-VCLである画像符号化データを復号する。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、直接参照レイヤまたは間接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤまたは間接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様３に係る画像復号装置は、上記態様１または態様２において、さらに、前記参照レイヤは、前記レイヤ依存フラグによって指定されることを特徴とする画像符号化データを復号することを特徴とする。
以上の画像符号化データによれば、「前記直接参照レイヤあるいは間接参照レイヤは、対象レイヤと参照レイヤの参照関係を示すレイヤ依存フラグによって指定される参照レイヤであること」へ制限する。すなわち、「対象レイヤが参照可能な参照レイヤのnon-VCLは、対象レイヤと参照レイヤの参照関係を示すレイヤ依存フラグによって指定される参照レイヤ」へ制限されている。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、レイヤ依存フラグによって指定された直接参照レイヤまたは間接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤまたは間接参照レイヤを参照するレイヤのnon-VCLを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様４に係る画像復号装置は、上記態様１において、さらに、レイヤ依存タイプを復号するレイヤ依存タイプ復号手段を備え、前記レイヤ依存タイプは、前記対象レイヤのnon-VCLと前記参照レイヤのnon-VCL間の依存の有無を示すnon-VCL依存タイプを含むことを特徴とする。
以上の画像復号装置によれば、「前記直接参照レイヤは、前記non-VCL依存タイプがnon-VCL間の依存があることを示す参照レイヤであること」へ制限された画像符号化データを復号する。すなわち、「対象レイヤが参照可能な参照レイヤは、前記対象レイヤと前記直接参照レイヤのnon-VCL間の依存がある直接参照レイヤ」へ制限する。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記対象レイヤと前記直接参照レイヤのnon-VCL間の依存がある直接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様５に係る画像復号装置は、上記態様４において、さらに、前記参照レイヤのレイヤ識別子nuhLayerIdAに等しいnuh_layer_idを有するnon-VCLが、nuhLayerIdBに等しいnuh_layer_idを有する対象レイヤで利用されるnon-VCLである場合には、nuhLayerIdAに等しいnuh_layer_idのレイヤは、nuhLayerIdBに等しいnuh_layer_idを有するレイヤの直接参照レイヤである、というコンフォーマンス条件を満たす画像復号データを復号することを特徴とする。
以上の画像復号装置によれば、「前記参照レイヤのレイヤ識別子nuhLayerIdAに等しいnuh_layer_idを有するnon-VCLが、nuhLayerIdBに等しいnuh_layer_idを有する対象レイヤで利用されるnon-VCLである場合には、nuhLayerIdAに等しいnuh_layer_idのレイヤは、nuhLayerIdBに等しいnuh_layer_idを有するレイヤの直接参照レイヤであること」へ制限された画像符号化データを復号する。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、nuhLayerIdAに等しいnuh_layer_idを有する直接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤを参照するnuhLayerIdBと等しいnuh_layer_idを有するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様６に係る画像復号装置は、上記態様４または態様５において、さらに、前記non-VCL依存タイプは、共有パラメータセットの依存の有無を含む画像符号化データを復号することを特徴とする。
以上の画像復号装置によれば、「対象レイヤが共有パラメータセットとして参照可能なパラメータセットは、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプが共有パラメータセットの依存があることを示す直接参照レイヤのパラメータセットであること」へ制限された画像符号化データを復号する。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプが共有パラメータセットの依存があることを示す直接参照レイヤのパラメータセットが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様７に係る画像復号装置は、上記態様４または態様５において、さらに、前記non-VCL依存タイプは、パラメータセット間予測の依存の有無を含む画像符号化データを復号することを特徴とする。
以上の画像復号装置によれば、「対象レイヤがパラメータセット間予測として参照可能なパラメータセットは、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプがパラメータセット間予測の依存があることを示す直接参照レイヤのパラメータセットであること」へ制限された画像符号化データを復号する。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプがパラメータセット間予測の依存があることを示す直接参照レイヤのパラメータセットが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様８に係る画像復号装置は、上記態様１から態様７において、さらに、前記non-VCLはパラメータセットを含む画像符号化データを復号することを特徴とする。
以上の画像復号装置によれば、non-VCLとして、パラメータセットを復号する。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記参照レイヤのパラメータセットが破棄され、前記参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様９に係る画像符号化データは、ある対象レイヤから参照される参照レイヤのnon-VCLのレイヤ識別子は、前記対象レイヤと同じレイヤ識別子もしくは、前記対象レイヤの直接参照レイヤのレイヤ識別子である、というコンフォーマンス条件を満たす画像符号化データであることを特徴とする。
以上の画像符号化データによれば、「ある対象レイヤが参照可能なレイヤのnon-VCLは、対象レイヤに対する直接参照レイヤのnon-VCLである」ことへ制限する。「ある対象レイヤが参照可能なレイヤのnon-VCLは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するnon-VCLであると」ということは、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのnon-VCLを参照すること」を禁止することを意味する。
すなわち、レイヤセットＡからサブセットであるレイヤセットＢをビットストリーム抽出するときに、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのnon-VCLを参照すること」を禁止できるため、レイヤセットＢに含まれるレイヤが参照する直接参照レイヤのnon-VCLが破棄されることはない。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、直接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様１０に係る画像符号化データは、上記態様９において、さらに、前記対象レイヤから参照される参照レイヤのnon-VCLのレイヤ識別子は、前記対象レイヤの間接参照レイヤのレイヤ識別子である、というコンフォーマンス条件を満たす画像符号化データであることを特徴とする。
以上の画像符号化データによれば、「ある対象レイヤが参照可能な参照レイヤのnon-VCLは、対象レイヤに対する直接参照レイヤ、または間接参照レイヤのnon-VCLである」ことへ制限する。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、直接参照レイヤまたは間接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤまたは間接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様１１に係る画像符号化データは、上記態様９また態様１０において、さらに、前記対象レイヤと前記参照レイヤの参照関係を示すレイヤ依存フラグを含み、前記参照レイヤは、前記レイヤ依存フラグによって指定されることを特徴とする。
以上の画像符号化データによれば、「前記直接参照レイヤあるいは間接参照レイヤは、対象レイヤと参照レイヤの参照関係を示すレイヤ依存フラグによって指定される参照レイヤであること」へ制限された画像符号化データを復号する。すなわち、「対象レイヤが参照可能な参照レイヤのnon-VCLは、対象レイヤと参照レイヤの参照関係を示すレイヤ依存フラグによって指定される参照レイヤ」へ制限されている。したがって、ビットストリーム抽出によって生成されたサブビットストリームにおいて、レイヤ依存フラグによって指定された直接参照レイヤまたは間接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤまたは間接参照レイヤを参照するレイヤのnon-VCLを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様１２に係る画像符号化データは、上記態様９において、さらに前記対象レイヤと前記参照レイヤの参照関係の種類を示すレイヤ依存タイプを含み、前記レイヤ依存タイプは、前記対象レイヤのnon-VCLと前記参照レイヤのnon-VCL間の依non-VCL存タイプを含むことを特徴とする。
以上の画像符号化データによれば、「前記直接参照レイヤは、前記non-VCL依存タイプがnon-VCL間の依存があることを示す参照レイヤであること」へ制限する。すなわち、「対象レイヤが参照可能な参照レイヤは、前記対象レイヤと前記直接参照レイヤのnon-VCL間の依存がある直接参照レイヤ」へ制限する。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記対象レイヤと前記直接参照レイヤのnon-VCL間の依存がある直接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様１３に係る画像符号化データは、上記態様１２において、さらに、前記参照レイヤのレイヤ識別子nuhLayerIdAに等しいnuh_layer_idを有するnon-VCLが、nuhLayerIdBに等しいnuh_layer_idを有する対象レイヤで利用されるnon-VCLである場合には、nuhLayerIdAに等しいnuh_layer_idのレイヤは、nuhLayerIdBに等しいnuh_layer_idを有するレイヤの直接参照レイヤであることを特徴とする。
以上の画像符号化データによれば、「前記参照レイヤのレイヤ識別子nuhLayerIdAに等しいnuh_layer_idを有するnon-VCLが、nuhLayerIdBに等しいnuh_layer_idを有する対象レイヤで利用されるnon-VCLである場合には、nuhLayerIdAに等しいnuh_layer_idのレイヤは、nuhLayerIdBに等しいnuh_layer_idを有するレイヤの直接参照レイヤであること」へ制限する。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、nuhLayerIdAに等しいnuh_layer_idを有する直接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤを参照するnuhLayerIdBと等しいnuh_layer_idを有するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様１４に係る画像符号化データは、上記態様９また態様１０において、さらに前記non-VCL依存タイプは、共有パラメータセットの依存の有無を含むことを特徴とする。
以上の画像符号化データによれば、「対象レイヤが共有パラメータセットとして参照可能なパラメータセットは、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプが共有パラメータセットの依存があることを示す直接参照レイヤのパラメータセットであること」へ制限する。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプが共有パラメータセットの依存があることを示す直接参照レイヤのパラメータセットが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様１５に係る画像符号化データは、上記態様１２または態様１３において、さらに、前記non-VCL依存タイプは、パラメータセット間予測の依存の有無を含むことを特徴とする。
以上の画像符号化データによれば、「対象レイヤがパラメータセット間予測として参照可能なパラメータセットは、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプがパラメータセット間予測の依存があることを示す直接参照レイヤのパラメータセットであること」へ制限する。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記対象レイヤと前記直接参照レイヤの前記non-VCL依存タイプがパラメータセット間予測の依存があることを示す直接参照レイヤのパラメータセットが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様１６に係る画像符号化データは、上記態様９から態様１５において、さらに前記non-VCLはパラメータセットを含むことを特徴とする。
以上の画像符号化データによれば、non-VCLとして、パラメータセットを含む画像符号化データである。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記参照レイヤのパラメータセットが破棄され、前記参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様１７に係る画像符号化データは、上記態様１６において、さらに、前記パラメータセットは、シーケンスパラメータセットを含むことを特徴とする。
以上の画像符号化データによれば、パラメータセットとして、シーケンスパラメータセットを含む画像符号化データである。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記参照レイヤのシーケンスパラメータセットが破棄され、前記参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様１８に係る画像符号化データは、上記態様１６において、さらに、前記パラメータセットは、ピクチャパラメータセットを含むことを特徴とする。
以上の画像符号化データによれば、パラメータセットとして、ピクチャパラメータセットを含む画像符号化データである。したがって、上記画像符号化データより、ビットストリーム抽出によって生成されたサブビットストリームにおいて、前記参照レイヤのピクチャパラメータセットが破棄され、前記参照レイヤを参照するレイヤが復号できないという問題を解消することができる。
上記の課題を解決するために、本発明の態様１９に係る画像符号化データは、上記態様１８において、さらに、前記ピクチャパラメータセットは、前記non-VCL依存レイヤのシーケンスパラメータセットを共有パラメータセットとして参照するか否かを示す共有ＳＰＳ利用フラグを含み、
前記共有ＳＰＳ利用フラグが真である場合、前記non-VCL依存レイヤのシーケンスパラメータセットを共有パラメータセットとして参照することを示し、
前記共有ＳＰＳ利用フラグが偽である場合前記non-VCL依存レイヤのシーケンスパラメータセットを共有パラメータセットとして参照しないことを示すことを特徴とする。
以上の画像符号化データによれば、ピクチャ単位で、SPSに関する共有パラメータセットを利用するか否かを選択することができる。例えば、レイヤ間で、ピクチャの符号化に利用するＳＰＳの最適なパラメータが参照レイヤのパラメータと異なる場合には、対象レイヤにおいて、pps_shared_sps_flag=0とし、対象レイヤのレイヤIDを有するSPSを参照することで、より少ない符号量で、対象レイヤのピクチャの符号化データを生成することができる。従って、上記画像符号化データの復号／符号化に係る処理量を削減することができる。また、対象レイヤにおいて、pps_shared_sps_flag=1とし、参照レイヤ(non-VCL依存レイヤ)のレイヤIDを有するSPSを参照することで、対象レイヤのレイヤIDを有するSPSの符号化を省略し、該SPSに関する符号量の低減、及び該SPSの復号／符号化に要する処理量を削減することができる。
上記の課題を解決するために、本発明の態様２０に係る画像符号化データは、上記態様１９において、さらに、前記対象レイヤのピクチャを構成するスライスを含み、前記スライスに含まれるスライスヘッダは、さらに、前記non-VCL依存レイヤのピクチャパラメータセットを共有パラメータセットとして参照するか否かを示す共有ＰＰＳ利用フラグを含み、前記共有ＰＰＳ利用フラグが真である場合、前記non-VCL依存レイヤのピクチャパラメータセットを共有パラメータセットとして参照することを示し、前記共有ＰＰＳ利用フラグが偽である場合、前記non-VCL依存レイヤのピクチャパラメータセットを共有パラメータセットとして参照しないことを示すことを特徴とする。
以上の画像符号化データによれば、ピクチャ単位で、PPSに関する共有パラメータセットを利用するか否かを選択することができる。例えば、レイヤ間で、ピクチャの符号化に利用するＰＰＳの最適なパラメータが参照レイヤのパラメータと異なる場合には、対象レイヤにおいて、slice_shared_pps_flag =0とし、対象レイヤのレイヤIDを有するPPSを参照することで、対象レイヤのピクチャの符号化データの符号量の低減、及び対象レイヤのピクチャの符号化データの復号／符号化に係る処理量を削減することができる。また、対象レイヤにおいて、slice_shared_pps_flag =1とし、参照レイヤのレイヤIDを有するPPSを参照することで、対象レイヤのレイヤIDを有するPPSの符号化を省略し、該PPSに関する符号量の低減、及び該PPSの復号／符号化に要する処理量を削減することができる。
上記の課題を解決するために、本発明の態様２１に係る画像符号化データは、上記態様１７において、さらに、前記シーケンスパラメータセットは、レイヤ識別子nuhLayerIdAを有するレイヤの前記シーケンスパラメータセットを参照するレイヤ識別子nuhLayerIdB(nuhLayerIdB>=nuhLayerIdA)を有するレイヤ毎に、前記レイヤ識別子nuhLayerIdBを有するレイヤと前記レイヤ識別子nuhLayerIdBに対する直接参照レイヤとのレイヤ間画素対応情報を含むことを特徴する。
以上の画像符号化データによれば、前記シーケンスパラメータセットに含まれるレイヤ間位置対応情報には、レイヤ識別子nuhLayerIdB（nuhLayerIdB>=nuhLayerIdA）を有するレイヤに属するシーケンスの復号の際に、該SPS(レイヤ識別子nuhLayerIdAを有するレイヤのSPS)を、共有パラメータセットとして参照するレイヤ（パラメータセット参照レイヤ）の数が含まれる。さらに、該レイヤ間位置対応情報には、パラメータセット参照レイヤ毎に、該パラメータセット参照レイヤのレイヤ識別子を有するレイヤが、依存するレイヤ数個のレイヤ間画素対応情報が含まれる構成である。従って、従来技術において発生した上記課題を解消することができる。すなわち、該ＳＰＳのレイヤ識別子より上位のレイヤ識別子を有するレイヤ（上位レイヤ）が、該ＳＰＳを共有パラメータセットとして参照する場合には、該上位レイヤと該上位レイヤの参照レイヤ間のレイヤ画素対応位置情報がないという問題を解消する。従って、該上位レイヤがレイヤ間画像予測を正確に実施するために必要なレイヤ間画素対応情報を含むため、従来技術に対して、符号化効率の向上の効果を奏する。また、レイヤ間画像対応情報を含まない（num_scaled_ref_layer_offsets=0）場合に限定されず、上位レイヤが該ＳＰＳを共有パラメータセットとして参照することができるため、上位レイヤのパラメータセットに関する符号量を低減、及びその復号／符号化に係る処理量を低減することができる。
上記の課題を解決するために、本発明の態様２２に係る画像符号化装置は、レイヤ識別子を符号化するレイヤ識別子符号化手段と、対象レイヤと参照レイヤの参照関係を示すレイヤ依存フラグを符号化するレイヤ依存フラグ符号化手段と、non-VCLを符号化するnon-VCL符号化手段を備える画像符号化装置であって、前記画像符号化装置は、ある対象レイヤから参照されるnon-VCLのレイヤ識別子は、前記対象レイヤと同じレイヤ識別子もしくは、前記対象レイヤから、直接参照されるレイヤのレイヤ識別子である、というコンフォーマンス条件を満たす符号化データを生成することを特徴とする。
以上の画像符号化装置によれば、ある対象レイヤが参照可能な参照レイヤのnon-VCLは、対象レイヤに対する直接参照レイヤのnon-VCLである符号化データを生成する。「ある対象レイヤが参照可能なレイヤのnon-VCLは、対象レイヤに対する直接参照レイヤのレイヤ識別子を有するnon-VCLである」ということは、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのnon-VCLを参照すること」を禁止することを意味する。
すなわち、レイヤセットＡからサブセットであるレイヤセットＢをビットストリーム抽出するときに、「レイヤセットＡのサブセットであるレイヤセットＢ内のレイヤが、“レイヤセットＡに含まれるが、レイヤセットＢに含まれない”レイヤのnon-VCLを参照すること」を禁止できるため、レイヤセットＢに含まれるレイヤが参照する直接参照レイヤのnon-VCLが破棄されることはない。したがって、上記画像符号化装置によって生成された画像符号化データから、ビットストリーム抽出によって生成されたサブビットストリームにおいて、直接参照レイヤのnon-VCLが破棄され、前記直接参照レイヤを参照するレイヤが復号できないという問題を解消することができる。すなわち、図１で説明した従来技術において発生しえたビットストリーム抽出時の課題を解消することができる。
本発明は、画像データが階層的に符号化された符号化データを復号する階層動画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層動画像符号化装置に好適に適用することができる。また、階層動画像符号化装置によって生成され、階層動画像復号装置によって参照される階層符号化データのデータ構造に好適に適用することができる。
１…階層動画像復号装置
２…階層動画像符号化装置
１０…対象レイヤセットピクチャ復号部
１１…NAL逆多重化部
１２…パラメータセット復号部
１３…パラメータセット管理部
１４…ピクチャ復号部
１４１…スライスヘッダ復号部
１４２…ＣＴＵ復号部
１４２１…予測残差復元部
１４２２…予測画像生成部
１４２３…ＣＴＵ復号画像生成部
１５…復号ピクチャ管理部
２０…対象レイヤセットピクチャ符号化部
２１…NAL多重化部
２２…パラメータセット符号化部
２４…ピクチャ符号化部
２６…符号化パラメータ決定部
２４１…スライスヘッダ設定部
２４２…ＣＴＵ符号化部
２４２１…予測残差符号化部
２４２２…予測画像符号化部
２４２３…ＣＴＵ復号画像生成部

Claims (5)

  1. 複数のレイヤを含む階層画像符号化データを復号する画像復号装置であって、
    パラメータセットを復号するパラメータセット復号手段と、
    スライスヘッダを復号するスライスヘッダ復号手段と、
    スライスヘッダ、又はパラメータセットに含まれるアクティブパラメータセット識別子に基づいて、パラメータセットから、アクティブパラメータセットを指定するアクティブパラメータセット指定手段と、を備え
    上記アクティブパラメータセットのレイヤ識別子は、対象レイヤ、又は、対象レイヤの依存レイヤのレイヤ識別子であることを特徴とする画像復号装置。
  2. 上記複数のレイヤのうち、第１のレイヤが第２のレイヤの直接参照レイヤであるか否かを示す直接依存フラグを復号する直接依存フラグ復号手段と、
    復号された上記直接依存フラグを参照して、上記第１のレイヤが上記第２のレイヤの依存レイヤ（直接参照レイヤ、又は間接参照レイヤ）であるかを示す依存フラグを導出する依存フラグ導出手段と、をさらに備えることを特徴とする請求項１に記載の画像復号装置。
  3. 上記依存レイヤとは、上記依存フラグが１のレイヤであることを特徴とする請求項２に記載の画像復号装置。
  4. 上記アクティブパラメータセット識別子によって指定されるアクティブパラメータセットは、上記スライスヘッダに含まれるアクティブＰＰＳ識別子と等しいＰＰＳ識別子を有するピクチャパラメータセットであることを特徴とする請求項３に記載の画像復号装置。
  5. 上記アクティブパラメータセット識別子によって指定されるアクティブパラメータセットは、上記ピクチャパラメータセットに含まれるアクティブＳＰＳ識別子と等しいＳＰＳ識別子を有するシーケンスパラメータセットであることを特徴とする請求項４に記載の画像復号装置。
JP2015541617A 2013-10-10 2014-10-08 画像復号装置 Pending JPWO2015053330A1 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2013213079 2013-10-10
JP2013213079 2013-10-10
JP2013217572 2013-10-18
JP2013217572 2013-10-18
JP2013231338 2013-11-07
JP2013231338 2013-11-07
PCT/JP2014/076980 WO2015053330A1 (ja) 2013-10-10 2014-10-08 画像復号装置

Publications (1)

Publication Number Publication Date
JPWO2015053330A1 true JPWO2015053330A1 (ja) 2017-03-09

Family

ID=52813145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015541617A Pending JPWO2015053330A1 (ja) 2013-10-10 2014-10-08 画像復号装置

Country Status (5)

Country Link
US (1) US20160249056A1 (ja)
JP (1) JPWO2015053330A1 (ja)
CN (1) CN105519119B (ja)
HK (1) HK1223472A1 (ja)
WO (1) WO2015053330A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
CN105580370A (zh) * 2013-10-08 2016-05-11 夏普株式会社 图像解码装置、图像编码装置以及编码数据变换装置
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
JP6652320B2 (ja) * 2013-12-16 2020-02-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置及び受信装置
EP3703379B1 (en) 2013-12-16 2022-06-22 Panasonic Intellectual Property Corporation of America Transmission method, reception method, transmitting device, and receiving device
WO2015105385A1 (ko) * 2014-01-09 2015-07-16 삼성전자 주식회사 스케일러블 비디오 부호화/복호화 방법 및 장치
US10284867B2 (en) * 2014-12-18 2019-05-07 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
WO2016204481A1 (ko) * 2015-06-16 2016-12-22 엘지전자 주식회사 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법
US10623755B2 (en) 2016-05-23 2020-04-14 Qualcomm Incorporated End of sequence and end of bitstream NAL units in separate file tracks
KR20190053256A (ko) 2016-10-04 2019-05-17 김기백 영상 데이터 부호화/복호화 방법 및 장치
KR20230030017A (ko) * 2016-10-04 2023-03-03 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
CN110022481B (zh) * 2018-01-10 2023-05-02 中兴通讯股份有限公司 视频码流的解码、生成方法及装置、存储介质、电子装置
WO2020084475A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Utilization of refined motion vector
CN117459722A (zh) 2018-11-12 2024-01-26 北京字节跳动网络技术有限公司 组合帧间-帧内预测的简化
EP3861742A4 (en) 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
CN109788300A (zh) * 2018-12-28 2019-05-21 芯原微电子(北京)有限公司 一种hevc解码器中的错误检测方法和装置
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
WO2020182167A1 (en) * 2019-03-12 2020-09-17 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image coding
US11153583B2 (en) * 2019-06-07 2021-10-19 Qualcomm Incorporated Spatial scalability support in video encoding and decoding
KR20220070325A (ko) 2019-10-07 2022-05-30 후아웨이 테크놀러지 컴퍼니 리미티드 서브 비트스트림 추출의 sps 오류 방지
CN114930820A (zh) * 2019-11-28 2022-08-19 Lg 电子株式会社 基于图片划分结构的图像/视频编译方法及设备
WO2021128295A1 (en) * 2019-12-27 2021-07-01 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for inter prediction
CN114930834A (zh) * 2020-01-03 2022-08-19 华为技术有限公司 编码器、解码器及灵活档次配置的对应方法
US11140399B1 (en) * 2020-04-03 2021-10-05 Sony Corporation Controlling video data encoding and decoding levels
WO2021222038A1 (en) 2020-04-27 2021-11-04 Bytedance Inc. Sublayers information in video coding
KR20230013053A (ko) * 2020-05-22 2023-01-26 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 서브계층에 대한 숫자 제한
CN114845134B (zh) * 2020-10-16 2023-01-24 腾讯科技（深圳）有限公司 文件封装方法、文件传输方法、文件解码方法及相关设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371571B (zh) * 2006-01-12 2013-06-19 Lg电子株式会社 处理多视图视频
CN101895748B (zh) * 2010-06-21 2014-03-26 华为终端有限公司 一种编解码方法以及编解码装置
ES2898887T3 (es) * 2011-11-08 2022-03-09 Nokia Technologies Oy Manejo de imágenes de referencia
WO2013106521A2 (en) * 2012-01-10 2013-07-18 Vidyo, Inc. Techniques for layered video encoding and decoding
US9774927B2 (en) * 2012-12-21 2017-09-26 Telefonaktiebolaget L M Ericsson (Publ) Multi-layer video stream decoding
US9426468B2 (en) * 2013-01-04 2016-08-23 Huawei Technologies Co., Ltd. Signaling layer dependency information in a parameter set
US9992493B2 (en) * 2013-04-01 2018-06-05 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN: "High efficiency video coding (HEVC) scalable extension draft 3[online]", JCTVC-N1008_V3, JPN6018029277, 25 July 2013 (2013-07-25), pages 11 - 33 *
KAZUSHI SATO, ET.AL.: "SHVC: On direct_dependency_flag", JCTVC-O0271[ONLINE], JPN6019002354, 15 October 2013 (2013-10-15), pages 1 - 7 *

Also Published As

Publication number Publication date
CN105519119A (zh) 2016-04-20
HK1223472A1 (zh) 2017-07-28
US20160249056A1 (en) 2016-08-25
CN105519119B (zh) 2019-12-17
WO2015053330A1 (ja) 2015-04-16

Similar Documents

Publication Publication Date Title
JP6800837B2 (ja) 画像復号装置、及び画像復号方法
JP6585223B2 (ja) 画像復号装置
WO2015053330A1 (ja) 画像復号装置
JP6456535B2 (ja) 画像符号化装置、画像符号化方法および記録媒体
US10237564B1 (en) Image decoding device, image decoding method, image coding device, and image coding method
JP6465863B2 (ja) 画像復号装置、画像復号方法及び記録媒体
WO2014050597A1 (ja) 画像復号装置
WO2014162954A1 (ja) 画像復号装置、および画像符号化装置
JP2015195543A (ja) 画像復号装置、画像符号化装置
WO2014007131A1 (ja) 画像復号装置、および画像符号化装置
JP2015119402A (ja) 画像復号装置、画像符号化装置、及び符号化データ
JP2015073213A (ja) 画像復号装置、画像符号化装置、符号化データ変換装置、および、注目領域表示システム
WO2015098713A1 (ja) 画像復号装置および画像符号化装置
JP2015050506A (ja) 画像復号装置および画像符号化装置
JP2015126507A (ja) 画像復号装置、画像符号化装置、及び符号化データ
JP2015076807A (ja) 画像復号装置、画像符号化装置、および符号化データのデータ構造

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170920

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190806