JP6397421B2 - 画像復号装置及び画像符号化装置 - Google Patents

画像復号装置及び画像符号化装置 Download PDF

Info

Publication number
JP6397421B2
JP6397421B2 JP2015541594A JP2015541594A JP6397421B2 JP 6397421 B2 JP6397421 B2 JP 6397421B2 JP 2015541594 A JP2015541594 A JP 2015541594A JP 2015541594 A JP2015541594 A JP 2015541594A JP 6397421 B2 JP6397421 B2 JP 6397421B2
Authority
JP
Japan
Prior art keywords
unit
layer
picture
decoding
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015541594A
Other languages
English (en)
Other versions
JPWO2015053286A1 (ja
Inventor
知宏 猪飼
知宏 猪飼
山本　智幸
智幸 山本
健史 筑波
健史 筑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2015053286A1 publication Critical patent/JPWO2015053286A1/ja
Application granted granted Critical
Publication of JP6397421B2 publication Critical patent/JP6397421B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、スケーラブル符号化された画像データを復号する画像復号装置、画像データをスケーラブル符号化する画像符号化装置、及び、そのような画像復号装置が参照する符号化データに関する。
スケーラブル符号化技術として、レイヤ間で解像度が異なる空間スケーラブル、レイヤ間で画質やビットデプスが異なるＳＮＲスケーラブル、ビットデプススケーラブル、複数の視点画像を符号化できるビュースケーラブル、視聴用の画像（テクスチャ）と奥行き情報（デプス）を同時に符号化できるデプススケーラブル、ビュースケーラブルとデプススケーラブルを組み合わせた３Ｄスケーラブル（もしくはビュースケーラブルプラスデプス）が知られている。スケーラブル符号化では、それぞれの解像度、画質、ビット深度、視点、デプスに対応する画像を、レイヤＩＤと呼ばれる識別子で区別して符号化される。
非特許文献１においては、HEVC/H.265を拡張したスケーラブル技術が知られている。非特許文献１では、レイヤＩＤが０のレイヤをベースレイヤと呼び、ベースレイヤの符号化データは、後方互換性のために、非スケーラブルデコーダ（例えば、HEVC/H.265のメインプロファイルデコーダ）で復号可能であるという条件が課させられている。これは、ベースレイヤのみを抽出した場合、非スケーラブルデコーダで簡易に再生可能とするためである。そのため、レイヤＩＤが０のレイヤでは、スケーラブル符号化された画像データであってもシンタックス構造は、メインプロファイルのものと同一であり、また、使用するツールもメインプロファイルのものと同一である。なお、レイヤＩＤは、nah_layer_idとして、ＮＡＬユニットヘッダで符号化される。
スケーラブル符号化では、ある視点（あるレイヤ）の画像を他の視点（他のレイヤ）の画像から予測する場合のように、レイヤ間の依存関係を利用して、レイヤを独立に符号化する場合よりも効率的に符号化する。レイヤ間の依存関係（の有無）は、ビデオパラメータセット（ＶＰＳ）で符号化される。但し、付随動画として、ある視点と全く異なる視点の動画を符号化する場合、２つの画像の相関は低いため依存関係を利用する効果は少ない。また依存関係を利用しない方が復号は容易になる。そのため、このような場合には、あるレイヤを他のレイヤには依存しないレイヤ（以下、独立レイヤ）として符号化することも可能である。
非特許文献１においては、HEVCのスケーラブル符号化技術のデータ構造として、レイヤＩＤに応じてシンタックス構造を変更する、以下の方法が知られている。（１）ＶＰＳで複数レイヤのプロファイル情報などを符号化することにより、レイヤＩＤが０以外である拡張レイヤのシーケンスパラメータセット（ＳＰＳ）では、ＶＰＳで符号化したプロファイル情報などを省略する技術（２）ＶＰＳで複数レイヤの画像サイズなどのレプリゼンテーション情報を符号化することにより、レイヤＩＤが０以外である拡張レイヤのＳＰＳでは、ＶＰＳで符号化したレプリゼンテーション情報を省略する技術（３）他のレイヤのスケーリングリストから予測することにより、レイヤＩＤが０以外である拡張レイヤのＳＰＳおよびピクチャパラメータセット（ＰＰＳ）では、スケーリングリストの符号化を省略する技術（４）レイヤＩＤが０でない場合においては、レイヤＩＤが０であるＩＤＲピクチャ、ＢＬＡピクチャでは符号化しないＰＯＣ ＬＳＢを符号化し、ＩＤＲピクチャ、ＢＬＡピクチャにおいても指定したＰＯＣを符号化可能にする技術などが知られている。これらの技術を適用した場合のＳＰＳ、ＰＰＳおよびスライスヘッダの符号化データの構成を図４４および図４５に示しておく。
"Scalable High Efficiency Video Coding Draft 3"，JCTVC-N1008，14th Meeting: Vienna, AT, 25 July - 2 Aug. 2013
しかしながら、非特許文献１においては、独立レイヤである場合においても、レイヤＩＤが０以外のときには、ＳＰＳやＰＰＳ、スライスヘッダのシンタックス構造の変更があるために、独立レイヤを抽出して、非スケーラブルデコーダで復号する場合に復号できない、もしくは、独立レイヤを抽出して、非スケーラブルデコーダで復号する場合には、ＳＰＳ、ＰＰＳ、スライスヘッダの書き替えが必要である、という課題があった。
本発明は上記の点に鑑みてなされたものであり、その主な目的は、スケーラブル符号化された画像データを復号する画像復号装置において、シンタックスの書き換えなしに独立レイヤを抽出し、非スケーラブルデコーダに再生させることを可能にすることにある。
上記課題を解決するために、本発明の一態様に係る画像復号装置は、スケーラブル符号化された画像を復号する画像復号装置であって、第１のフラグを復号するヘッダ復号手段と、ＰＯＣ情報の一つとしてslice_pic_order_cnt_lsbを復号するＰＯＣ情報復号手段と、を備え、上記ＰＯＣ情報復号手段は、上記第１のフラグが第１の値を示し、尚且つ、レイヤＩＤが０より大きい場合、または、ＮＡＬユニットタイプがＩＤＲピクチャを示していない場合には、スライスヘッダから上記slice_pic_order_cnt_lsbを復号し、それ以外の場合には上記slice_pic_order_cnt_lsbを復号しない。
本発明の一態様に係る画像復号装置には、シンタックスの書き換えなしに独立レイヤを抽出し、非スケーラブルデコーダに再生させることを可能にするという利点がある。
本発明の実施形態に係る画像伝送システムの構成を示す概略図である。 本実施形態に係る符号化データの階層構造を示す図である。 参照ピクチャリストの一例を示す概念図である。 参照ピクチャの例を示す概念図である。 本実施形態に係る画像復号装置の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の構成を示す概略図である。 本実施形態に係るマージ予測パラメータ導出部の構成を示す概略図である。 本実施形態に係るAMVP予測パラメータ導出部の構成を示す概略図である。 ベクトル候補の一例を示す概念図である。 本実施形態に係るインター予測画像生成部の構成を示す概略図である。 本発明の実施形態に係るＮＡＬユニットの構成を示す概略図である。 本発明の実施形態に係るＮＡＬユニットの符号化データの構成を示す図である。 本発明の実施形態に係るＮＡＬユニットタイプの値とＮＡＬユニットの種別の関係を示す図である。 本発明の実施形態に係るＶＰＳの符号化データの構成を示す図である。 本発明の実施形態に係るＶＰＳ拡張の符号化データの構成を示す図である。 本発明の実施形態に係るＳＰＳ、ＰＰＳ、および、スライスヘッダについて符号化データの構成を示した図である。 本発明の実施形態に係るランダムアクセスピクチャの構成を示す図である。 本発明の実施形態に係る画像復号装置の概略的構成について示した機能ブロック図である。 本発明の実施形態に係るヘッダ復号部の概略的構成について示した機能ブロック図である。 本発明の実施形態に係るＮＡＬユニットヘッダ復号部の概略的構成について示した機能ブロック図である。 図１９のヘッダ復号部とは別の実施形態に係るヘッダ復号部の概略的構成について示した機能ブロック図である。 図２１のヘッダ復号部を構成する各復号部の概略的構成について示した機能ブロック図である。 図２２のＳＰＳ復号部およびＰＰＳ復号部に含まれるスケーリングリスト復号部の概略的構成について示した機能ブロック図である。 本実施形態に係るピクチャ構造の構成を示す概略図である。 本実施形態に係る画像符号化装置の構成を示す概略図である。 本実施形態に係るピクチャ符号化部の構成を示すブロック図である。 本実施形態に係るインター予測パラメータ符号化部の構成を示す概略図である。 図１９のヘッダ復号部に含まれるリプレゼンテーション情報復号部が復号する符号化データの構成を示す図である。 本発明の実施形態に係るＰＯＣ情報復号部の構成を示す概略図である。 本発明の実施形態に係るＰＯＣ情報復号部の動作を示す図である。 本実施形態に係る参照ピクチャ管理部の概略的構成について示した機能ブロック図である。 参照ピクチャセットと参照ピクチャリストの例を示す図であり、（ａ）は、動画像を構成するピクチャを表示順に並べた図であり、（ｂ）は、対象ピクチャに適用されるＲＰＳ情報の例を示す図であり、（ｃ）は、対象ピクチャのＰＯＣが０の場合に、（ｂ）で例示したＲＰＳ情報を適用したときに導出される現ＲＰＳの例を示す図であり、（ｄ）および（ｅ）は、現ＲＰＳに含まれる参照ピクチャから生成される参照ピクチャリストの例を示す図である。 参照ピクチャリスト修正例を示す図であり、（ａ）は修正前Ｌ０参照リストを示す図であり、（ｂ）はＲＰＬ修正情報を示す図であり、（ｃ）は、修正後のＬ０参照リストを示す図である。 上記画像復号装置のヘッダ復号部および参照ピクチャ情報復号部においてＳＰＳ復号時に利用されるＳＰＳシンタックス表の一部を例示する図である。 上記画像復号装置のヘッダ復号部および参照ピクチャ情報復号部におけるＳＰＳ復号時、および、スライスヘッダ復号時に利用される短期参照ピクチャセットのシンタックス表を例示する図である。 上記画像復号装置のヘッダ復号部および参照ピクチャ情報復号部においてスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示する図である。 上記画像復号装置のヘッダ復号部および参照ピクチャ情報復号部においてスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示する図である。 上記画像復号装置のヘッダ復号部および参照ピクチャ情報復号部においてスライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示する図である。 上記画像復号装置におけるスライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示する図である。 本発明の実施形態に係るＰＯＣ情報符号化部の構成を示す概略図である。 本発明の実施形態の変形例１に係るＶＰＳ拡張およびＳＰＳについて符号化データの構成を示した図である。 本発明の実施形態の変形例１に係るＰＰＳ、および、スライスヘッダについて符号化データの構成を示した図である。 本発明の実施形態の変形例２に係るＳＰＳ、ＰＰＳ、および、スライスヘッダについて符号化データの構成を示した図である。 従来のＳＰＳの符号化データの構成を示した図である。 従来のＰＰＳおよびスライスヘッダについて符号化データの構成を示した図である。 本発明の実施形態のレイヤ間ＰＯＣアライメントに関するＣＳ制限Ｘ１を説明するための図である。 本発明の実施形態のレイヤ間ＰＯＣアライメントに関するＣＳ制限Ｘ２を説明するための図である。 本発明の実施形態のアクセスユニット制限を説明するための図である。
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る画像伝送システム５の構成を示す概略図である。
画像伝送システム５は、複数のレイヤ画像を符号化した符号を伝送し、伝送された符号を復号した画像を表示するシステムである。画像伝送システム５は、画像符号化装置２、ネットワーク３、画像復号装置１及び画像表示装置４を含んで構成される。
画像符号化装置２には、複数のレイヤ画像（テクスチャ画像ともいう）を示す信号Ｔ（入力画像＃１０）が入力される。レイヤ画像とは、ある解像度及びある視点で視認もしくは撮影される画像である。複数のレイヤ画像を用いて３次元画像を符号化するビュースケーラブル符号化を行う場合、複数のレイヤ画像のそれぞれは、視点画像と呼ばれる。ここで、視点は撮影装置の位置又は観測点に相当する。例えば、複数の視点画像は、被写体に向かって左右の撮影装置のそれぞれが撮影した画像である。画像符号化装置２は、この信号のそれぞれを符号化して符号化データ＃１（符号化データ）を生成する。符号化データ＃１の詳細については、後述する。視点画像とは、ある視点において観測される２次元画像（平面画像）である。視点画像は、例えば２次元平面内に配置された画素毎の輝度値、又は色信号値で示される。以下では、１枚の視点画像又は、その視点画像を示す信号をピクチャ（ｐｉｃｔｕｒｅ）と呼ぶ。また、複数のレイヤ画像を用いて空間スケーラブル符号化を行う場合、その複数のレイヤ画像は、解像度の低いベースレイヤ画像と、解像度の高い拡張レイヤ画像からなる。複数のレイヤ画像を用いてＳＮＲスケーラブル符号化を行う場合、その複数のレイヤ画像は、画質の低いベースレイヤ画像と、画質の高い拡張レイヤ画像からなる。なお、ビュースケーラブル符号化、空間スケーラブル符号化、ＳＮＲスケーラブル符号化を任意に組み合わせて行っても良い。
ネットワーク３は、画像符号化装置２が生成した符号化データ＃１を画像復号装置１に伝送する。ネットワーク３は、インターネット（ｉｎｔｅｒｎｅｔ）、広域ネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、小規模ネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はこれらの組み合わせである。ネットワーク３は、必ずしも双方向の通信網に限らず、地上波ディジタル放送、衛星放送等の放送波を伝送する一方向又は双方向の通信網であっても良い。また、ネットワーク３は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＢＤ（Ｂｌｕｅ−ｒａｙ Ｄｉｓｃ）等の符号化データ＃１を記録した記憶媒体で代替されても良い。
画像復号装置１は、ネットワーク３が伝送した符号化データ＃１のそれぞれを復号し、それぞれ復号した複数の復号レイヤ画像Ｔｄ（復号視点画像Ｔｄ、復号画像＃２）を生成する。
画像表示装置４は、画像復号装置１が生成した複数の復号レイヤ画像Ｔｄ（復号画像＃２）の全部又は一部を表示する。例えば、ビュースケーラブル符号化においては、全部の場合、３次元画像（立体画像）や自由視点画像が表示され、一部の場合、２次元画像が表示される。画像表示装置４は、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ−ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、ＳＮＲスケーラブル符号化では、画像復号装置１、画像表示装置４が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示し、より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。
＜符号化データ＃１の構造＞
本実施形態に係る画像符号化装置２および画像復号装置１の詳細な説明に先立って、画像符号化装置２によって生成され、画像復号装置１によって復号される符号化データ＃１のデータ構造について説明する。
（ＮＡＬユニットレイヤ）
図１１は、符号化データ＃１におけるデータの階層構造を示す図である。符号化データ＃１は、ＮＡＬ（Network Abstraction Layer）ユニットと呼ばれる単位で符号化される。
ＮＡＬは、動画像符号化処理を行う層であるＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
ＶＣＬは、画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのファイルフォーマットや、ＭＰＥＧ−２システムに対応する。以下に示す例では、下位システムは、対象レイヤおよび参照レイヤにおける復号処理に対応する。なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。
図１２（ａ）は、ＮＡＬ（Network Abstraction Layer）ユニットのシンタックステーブルを示す。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダ（ＮＡＬユニットヘッダ：nal_unit_header()）が含まれる。なお、ＮＡＬユニットヘッダは、例えば、図１２（ｂ）に示すシンタックスで表わされる。ＮＡＬユニットヘッダには、ＮＡＬユニットに格納された符号化データの種類を表わす”nal_unit_type”、格納された符号化データが属するサブレイヤの識別子（テンポラル識別子）を表わす”nuh_temporal_id_plus1”や、格納された符号化データが属するレイヤの識別子（レイヤ識別子）を表わす”nuh_layer_id”（または、nuh_reserved_zero_6bits）が記述されている。
ＮＡＬユニットデータには、後述のパラメータセット、ＳＥＩ、スライスなどが含まれる。
図１３は、ＮＡＬユニットタイプの値とＮＡＬユニットの種別の関係を示す図である。図１３に示す通り、SYNA101 で示される０から１５の値のＮＡＬユニットタイプを持つＮＡＬユニットは、非ＲＡＰ(ランダムアクセスピクチャ)のスライスである。SYNA102 で示される１６から２１の値のＮＡＬユニットタイプを持つＮＡＬユニットは、ＲＡＰ(ランダムアクセスピクチャ)のスライスである。ＲＡＰピクチャには、大きく分けて、ＢＬＡピクチャ、ＩＤＲピクチャ、ＣＲＡピクチャがあり、ＢＬＡピクチャは、さらに、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＤＬＰ、ＢＬＡ＿Ｎ＿ＬＰに分類される。ＩＤＲピクチャは、さらに、ＩＤＲ＿Ｗ＿ＤＬＰ、ＩＤＲ＿Ｎ＿ＬＰに分類される。ＲＡＰピクチャ以外のピクチャには後述のＬＰピクチャ、ＴＳＡピクチャ、ＳＴＳＡピクチャ、ＴＲＡＩＬピクチャなどがある。
（アクセスユニット）
特定の分類ルールにより集約されたＮＡＬユニットの集合のことをアクセスユニットと呼ぶ。レイヤ数が１の場合には、アクセスユニットは１ピクチャを構成するＮＡＬユニットの集合である。レイヤ数が１より大きい場合には、アクセスユニットは同じ時刻(output time)の複数のレイヤのピクチャを構成するＮＡＬユニットの集合である。なお、アクセスユニットの区切りを示すために、符号化データはアクセスユニットデリミタ（Accessunit delimiter）と呼ばれるＮＡＬユニットを含んでも良い。アクセスユニットデリミタは、符号化データ中にあるアクセスユニットを構成するＮＡＬユニットの集合と、別のアクセスユニットを構成するＮＡＬユニットの集合の間に含まれる。アクセスユニットデリミタのＮＡＬユニットタイプの値（AUD_NUT）には例えば３５を用いる。
（アクセスユニットのＰＯＣ制限）
従来技術においては、ビットストリームに対する制限（コンフォーマンス条件）として、同じアクセスユニットに含まれる全てのピクチャのピクチャ順序番号ＰＯＣ（picture order count、PicOrderCntVal）は同一であるという制限がある。
本実施形態では、ビットストリームに対する制限（コンフォーマンス条件）を緩和する。具体的には、コンフォーマンス条件を、同じアクセスユニットに含まれる全ての独立ではないレイヤのピクチャのピクチャ順序番号ＰＯＣは同一であるという制限を用いる。すなわち、以下のＣＳ制限Ｘ１を用いる。
（ＣＳ制限Ｘ１）レイヤＡとレイヤＢの間に、依存関係がある場合（direct_dependency_flag[レイヤＡのレイヤＩＤ][レイヤＢのレイヤＩＤ]!=0の場合）、同じアクセスユニットに含まれるレイヤＡとレイヤＢについて、ピクチャのＰＯＣは同一でなくてはならない。
ＣＳ制限Ｘ１では、逆にあるレイヤＡとあるレイヤＢの間に依存関係がない場合、同じアクセスユニットに含まれるレイヤＡとレイヤＢのＰＯＣは異なっていても良い。なお、レイヤ間で同じ時刻（output time）のピクチャが同じＰＯＣを有することを、「ＰＯＣがレイヤ間でアライメントされている」と呼ぶ。また、レイヤ間のＰＯＣアライメントを行うために、ＩＤＲ以外のピクチャでも、ＰＯＣを０に初期化することを可能とするＰＯＣリセットフラグの処理と、ＩＤＲピクチャでもスライスヘッダにＰＯＣ下位ビットを含める、ＩＤＲピクチャにおいても０以外のＰＯＣを備えることを可能とする処理が行われる。
コンフォーマンス条件としては、ＣＳ制限Ｘ１に加えてさらにＣＳ制限Ｘ２を用いても良い。
（ＣＳ制限Ｘ２）レイヤＡとレイヤＢが依存関係を有するレイヤを持つ場合（NumDirectRefLayers[レイヤＡのレイヤＩＤ]>0、NumDirectRefLayers[レイヤＢのレイヤＩＤ]>0の場合）には、アクセスユニットに含まれるレイヤＡとレイヤＢについて、ピクチャのＰＯＣは同一でなくてはならない。
ＣＳ制限Ｘ１、ＣＳ制限Ｘ２は、同じ意味を有する限り、他の表現でも構わない。例えば、ＣＳ制限Ｘ１、Ｘ２は、各々、以下のように表現することができる。
（ＣＳ制限Ｘ１´）同じアクセスユニットに含まれる参照レイヤのピクチャと被参照レイヤのピクチャのＰＯＣは同一でなくてはならない。
（ＣＳ制限Ｘ２´）依存関係を有するレイヤ（NumDirectRefLayers[レイヤＩＤ]>0）のピクチャは、同じアクセスユニットにおいて同一のＰＯＣを有していなくてはならない。
ＣＳ制限Ｘ１、Ｘ２を合わせてＣＳ制限Ｘ３のように表現することができる。
（ＣＳ制限Ｘ３）参照レイヤにも被参照レイヤにもなり得るレイヤであるとレイヤ依存情報（direct_dependency_type）において定義されたレイヤに属する全てのピクチャは、同じアクセスユニットにおいて同一のＰＯＣを有していなくてはならない。
なお、ＣＳ制限Ｘ１、ＣＳ制限Ｘ２に示される依存関係は、後述のようにＶＰＳのレイヤ依存情報（direct_dependency_type）で示される依存関係である。独立レイヤは、後述のように依存レイヤ数NumDirectRefLayers[]、独立レイヤフラグIndependentLayerFlag[]で示される。
図４６は、ＣＳ制限Ｘ１を説明するための図である。図中、アクセスユニットはピクチャのセットを含む点線で示し、ピクチャ中の数字は、当該ピクチャのＰＯＣを示す。図に示すように、依存関係にあるレイヤ０とレイヤ１（direct_dependency_flag[1][0]!=0）、レイヤ２とレイヤ３（direct_dependency_flag[3][2]!=0）は、同じアクセスユニットに含まれるピクチャにおいて同じＰＯＣを有する。それに対し独立レイヤであるレイヤ４（NumDirectRefLayers[4]==0、IndependentLayerFlag[4]!=0）は、レイヤ０〜レイヤ３とは異なるＰＯＣを有することができる。
図４７は、ＣＳ制限Ｘ１＋ＣＳ制限Ｘ２（ＣＳ制限Ｘ３）を説明するための図である。図に示すように、独立レイヤではないレイヤ１、レイヤ３は、同じアクセスユニットに含まれるピクチャにおいて同じＰＯＣを有する。すなわち、互いに依存関係にないレイヤ０とレイヤ１のレイヤ群と、レイヤ２とレイヤ３のレイヤ群は、同じアクセスユニットのピクチャにおいて同じＰＯＣを有する。また、ＣＳ制限Ｘ１により依存関係にあるピクチャは互いに同じＰＯＣを有することから、結局、レイヤ０〜レイヤ３は同じアクセスユニットにおいて同じＰＯＣを有する。それに対し独立レイヤであるレイヤ４は、レイヤ０〜レイヤ３とは異なるＰＯＣを有することができる。
本実施形態の示す（ＣＳ制限Ｘ１）もしくは（ＣＳ制限Ｘ１＋ＣＳ制限Ｘ２）のビットストリーム制限によれば、独立レイヤにおいては、ＰＯＣに関する制限を課すことがない。そのため、レイヤ間のＰＯＣのアライメントを保つために、スライスヘッダにＰＯＣ情報（ＰＯＣ下位ビット）を符号化する必要が無い。従って、独立レイヤにおいては、ＩＤＲのＮＡＬユニットタイプを有するピクチャにおいても、ＰＯＣ下位ビットを含めるようなシンタックス変更（レイヤＩＤ＝０の符号化データのシンタックス構造からの変更）を必要としないという効果を奏する。この場合、レイヤＩＤが０の場合のシンタックスの構造の符号化データを復号することが可能な非スケーラブルデコーダを用いて、独立レイヤを復号することが可能となる。
なお、対象レイヤが独立レイヤではない場合には、対象ピクチャが参照するピクチャをＤＰＢ（復号ピクチャバッファ１２）内のピクチャ群から特定する処理において、図１５の（Ｓ２０５）、（Ｓ２０６）で後述するように、対象ピクチャのＰＯＣと等しいＰＯＣを持つ参照ピクチャを選択するＰＯＣによる判定が必要である。そのため、対象レイヤが独立レイヤではない場合には（少なくとも、対象レイヤと参照レイヤの間には）、レイヤ間のＰＯＣアライメントが必要である。上述のＣＳ制限Ｘ１を満たす場合には、対象ピクチャと参照レイヤのレイヤ間ピクチャは、レイヤ間のＰＯＣアライメントが守られるため、上記レイヤ間ピクチャ特定処理は問題なく動作する。さらに、ＣＳ制限Ｘ１＋ＣＳ制限Ｘ２を満たす場合には、独立レイヤ以外のピクチャは全て同じアクセスユニットにおいて同一のＰＯＣを有するため、同じ時刻のピクチャの特定が容易になるというさらなる効果を奏する。
（アクセスユニットのＰＯＣ制限とアクセスユニットデリミタ）
アクセスユニット内のＰＯＣに関するコンフォーマンス条件を緩和する場合、すなわち、同じアクセスユニットにおいて、ＰＯＣが等しくない場合を許容する場合、符号化データからの画像復号においては問題は生じないが、復号した画像を表示する場合において、レイヤ間で同じ表示時刻（output time）のピクチャの特定にＰＯＣを用いることができず、同期した再生が困難になる場合がある。実際、符号化データをさらにＭＰＥＧ２ＴＳやＭＰ４などのコンテナに収める場合には、各ピクチャ単位でコンテナの方で時刻情報を付加するために問題にはならないが、コンテナに格納しない場合には、ＰＯＣで表示の同期を取れないことは問題となり得る。従って、このような場合には、以下のアクセスユニットに関するコンフォーマンス条件を設けることが適当である。
（ＣＳ制限ＡＵＤ１）同じアクセスユニットに属する全てのピクチャは同じＰＯＣを有する。もしくは、アクセスユニットの区切りとしてアクセスユニットデリミタを有する。
ＣＳ制限ＡＵＤ１は、同じ意味を有する異なる表現を用いることもできる。例えば、以下のＣＳ制限ＡＵＤ２でも良い。
（ＣＳ制限ＡＵＤ２）同じアクセスユニットに属する全てのピクチャは同じＰＯＣを有する。もしくは、同じアクセスユニットに属する全てのピクチャが同じＰＯＣを有しない可能性がある場合には、そのアクセスユニットの前にアクセスユニットデリミタを有する。
なお、ＣＳ制限ＡＵＤ２においては、符号化データ（coded video stream、CVS）の中断および終端を示すend of streamを示すＮＡＬユニット（EOS_NUT）、もしくは、end of bitstreamを示すＮＡＬユニット（EOB_NUT）の直前では、同じアクセスユニットに属する全てのピクチャは同じＰＯＣを有しない場合の後にはアクセスユニットデリミタが無くても良い。
また、さらにアクセスユニットの区切りを明確にするために、以下のＣＳ制限ＡＵＤ３でも良い。
（ＣＳ制限ＡＵＤ３）同じアクセスユニットに属する全てのピクチャは同じＰＯＣを有する。もしくは、同じアクセスユニットに属する全てのピクチャが同じＰＯＣを有しない可能性がある場合には、そのアクセスユニットの前後にアクセスユニットデリミタを有する。
なお、上記課題は、コンテナに含めずとも利用されることを想定したフォーマットであるバイトストリームフォーマット（HEVCのAnnexBで説明されるスタートコードプリフィックスと追加のパディングを含むフォーマット）において特に課題となるため、バイトストリームフォーマットにおいてのみ、上記、アクセスユニットの関するコンフォーマンス条件を加えても構わない。
図４８は、本実施形態のアクセスユニットの関するコンフォーマンス条件を説明するための図である。図４８（ａ）は、同じアクセスユニットに属する全てのピクチャは同じＰＯＣを有する場合であり、図中のＡＵＤ（アクセスユニットデリミタ）が破線で示されているように、ＡＵＤは必須ではない。図４８（ｂ）は、同じアクセスユニットに属するピクチャにおいて異なるＰＯＣを有する場合であり、ＡＵＤ（アクセスユニットデリミタ）は必須となる。図４８（ｃ）は、同じアクセスユニットに属するピクチャにおいて異なるＰＯＣを有する場合であり、かつＥＯＳで符号化データが中断する場合であり、（ＣＳ制限ＡＵＤ２）においては、同じアクセスユニットに属するピクチャにおいて異なるＰＯＣを有する場合の前にはＡＵＤが必須であるが、ＥＯＳの前にはＡＵＤ（アクセスユニットデリミタ）は不要となる。
なお、連続するアクセスユニットから構成されるある符号化データ（ＣＶＳ）内に属するアクセスユニットにおいて、一つでも同じアクセス内において異なるＰＯＣのピクチャが存在するピクチャが有る可能性がある場合には、全てのアクセスユニットにおいて付随するＡＵＤ（通常、アクセスユニットの直前のＡＵＤ）を有することが好ましい。つまり、図４８（ｄ）に示すように、ＣＶＳ内に複数のアクセスユニット（ここでは、アクセスユニット０とアクセスユニット１）が存在する場合に、あるアクセスユニット（アクセスユニット１）ではレイヤ間のＰＯＣアライメントが保たれており、あるアクセスユニット（アクセスユニット０）ではレイヤ間のＰＯＣアライメントが保たれていない場合には、レイヤ間のＰＯＣアライメントが保たれているアクセスユニットにおいても、ＡＵＤを付加する。この条件は、コンフォーマンス制限として、以下のＣＳ制限ＡＵＤ４で行われる。
（ＣＳ制限ＡＵＤ４）あるＣＶＳ内において、同じアクセスユニットに属する全てのピクチャは同じＰＯＣを有する。もしくは、あるＣＶＳ内において、同じアクセスユニットに属する全てのピクチャは同じＰＯＣを有しない場合が存在し得る場合には、そのＣＶＳ内のアクセスユニットの前にアクセスユニットデリミタを有する。
ここで、ＣＶＳとは、符号化データの単位であり、複数のアクセスユニットを備える。また、ＣＶＳは、ＩＲＡＰピクチャから開始するＮＡＬユニットから構成される。なお、ＩＲＡＰピクチャとはＩＤＲ、ＣＲＡ、ＢＬＡの何れか種類に属するＮＡＬユニットタイプを有するピクチャである。
（ビデオパラメータセット）
図１４は、本発明の実施形態に係るＶＰＳ（Video Parameter Set）の符号化データの構成を示す図である。一部シンタック要素について意味を示すと、次の通りである。ＶＰＳは、複数のレイヤに共通するパラメータを規定するためのパラメータセットである。パラメータセットは、ピクチャを圧縮データである符号化データからＩＤ（video_parameter_set_id）を用いて参照される。
・video_parameter_set_id（図１４のＳＹＮＡ４０１）は、各ＶＰＳを識別するための識別子である。
・vps_temporal_id_nesting_flag（図１４のＳＹＮＡ４０２）は、当該ＶＰＳを参照するピクチャにおけるインター予測に関して、追加の制約をするか否かを表わすフラグである。
・vps_max_num_sub_layers_minus1（図１４のＳＹＮＡ４０３）は、少なくとも基本レイヤを含む階層符号化データに関して、時間スケーラビリティを除く、その他のスケーラビリティに関するレイヤの数の上限値MaxNumLayersを算出するために用いるシンタックスである。なお、レイヤ数の上限値MaxNumLayersは、MaxNumLayers = vps_max_num_sub_layers_minus1 + 1によって表わされる。階層符号化データが基本レイヤのみで構成される場合は、vps_max_num_sub_layers_minus1 = 0となる。
・vps_extension_flag（図１４のＳＹＮＡ４０４）は、ＶＰＳがさらにＶＰＳ拡張を含むか否かを示すフラグである。
・vps_extension_data_flag（図１４のＳＹＮＡ４０５）は、ＶＰＳ拡張本体であり、具体的には図１５で説明する。
なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、１をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。
図１５は、本発明の実施形態に係るＶＰＳ拡張の符号化データの構成を示す図である。一部シンタックス要素について意味を示すと、次の通りである。
・dimension_id_len_minus1（図１５のＳＹＮＡ５０１）は、スケーラブルの種別ごとに含まれる次元ＩＤdimention_idの数num_dimensionsを示す。num_dimensions＝dimension_id_len_minus1[1]+1である。例えば、num_dimensionsは、スケーラブルの種別がデプスの場合２、ビューの場合には視点数が復号される。
・次元ＩＤdimention_id（図１５のＳＹＮＡ５０２）は、スケーラブルの種別ごとのピクチャの種別を示す情報である。
・依存レイヤ情報direct_dependency_flag[i][j]（図１５のＳＹＮＡ５０３）は、対象レイヤiと参照レイヤjの間に依存性が有るか否かを示すフラグである。
・図１５のＳＹＮＡ５０４で、「・・・」として示される部分は、プロファイルもしくはスケーラブルの種別ごとに異なる情報である（詳細は後述する）。
図２は、符号化データ＃１におけるデータの階層構造を示す図である。符号化データ＃１は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図２の（ａ）〜（ｆ）は、それぞれ、シーケンスＳＥＱを既定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、符号化ツリーに含まれる符号化単位（Coding Unit；ＣＵ）を規定する符号化ユニットレイヤを示す図である。
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図２の（ａ）に示すように、ビデオパラメータセット（Video Parameter Set）シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤＩＤを示す。図２では、＃０と＃１すなわちレイヤＩＤが０とレイヤＩＤが１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。
ビデオパラメータセットＶＰＳは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために画像復号装置１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。
ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために画像復号装置１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）、スケーリングリスト（量子化マトリックス）が含まれる。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図２の（ｂ）に示すように、スライスS0〜SNS-1を含んでいる（NSはピクチャＰＩＣＴに含まれるスライスの総数）。
なお、以下、スライスS0〜SNS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化データ＃１に含まれるデータであって、添え字を付している他のデータについても同様である。
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図２の（ｃ）に示すように、スライスヘッダＳＨ（スライスセグメントヘッダＳＨ）、および、スライスデータSDATAを含んでいる。
スライスヘッダＳＨには、対象スライスの復号方法を決定するために画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。
なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（pic_parameter_set_id）を含んでいても良い。
（スライスデータレイヤ）
スライスデータレイヤでは、処理対象のスライスデータSDATAを復号するために画像復号装置１が参照するデータの集合が規定されている。スライスデータSDATAは、図２の（ｄ）に示すように、符号化ツリーブロック（CTB:Coded Tree Block）（符号化ツリーユニットＣＴＵ）を含んでいる。ＣＴＢは、スライスを構成する固定サイズ（例えば６４×６４）のブロックであり、最大符号化単位（ＬＣＵ:Largest Cording Unit）と呼ぶこともある。
（符号化ツリーレイヤ）
符号化ツリーレイヤは、図２の（ｅ）に示すように、処理対象の符号化ツリーブロックを復号するために画像復号装置１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ツリー（coding tree）と称する。４分木の中間ノードは、符号化４分木ツリー（CQT:Coded Quad Tree）であり、ＣＴＵは、最上位のＣＱＴを含むものとして規定される。ＣＱＴは、分割フラグ（split_flag）を含み、split_flagが１の場合には、４つのＣＱＴに分割される（４つのＣＱＴを含む）。split_flagが０の場合には、ＣＱＴは末端ノードである符号化ユニット（CU:Coded Unit）を含む。符号化ユニットＣＵは、符号化処理の基本的な単位となる。
（符号化ユニットレイヤ）
符号化ユニットレイヤは、図２の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、ＣＵヘッダＣＵＨ、予測ツリー、変換ツリー、ＣＵヘッダＣＵＦから構成される。ＣＵヘッダＣＵＨでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。符号化ユニットは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートとなる。ＣＵヘッダＣＵＦは、予測ツリーと変換ツリーの間、もしくは、変換ツリーの後に含まれる。
予測ツリーは、符号化ユニットが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ユニットを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）と、Ｎ×Ｎとがある。
また、インター予測の場合、分割方法は、符号化データのpart_modeにより符号化され、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。なお、２Ｎ×ｎＵは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×0.5Ｎと２Ｎ×1.5Ｎの２領域に分割することを示す。２Ｎ×ｎＤは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×1.5Ｎと２Ｎ×0.5Ｎの２領域に分割することを示す。ｎＬ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に0.5Ｎ×２Ｎと1.5Ｎ×２Ｎの２領域に分割することを示す。ｎＲ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に1.5Ｎ×２Ｎと0.5Ｎ×1.5Ｎの２領域に分割することを示す。分割数は１、２、４のいずれかであるため、ＣＵに含まれるＰＵは１個から４個である。これらのＰＵを順にPU0、PU1、PU2、PU3と表現する。
また、変換ツリーにおいては、符号化ユニットが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ユニットを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
（予測パラメータ）
予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0参照リスト、L1参照リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。２つの参照ピクチャリストが用いられる場合、つまり、predFlagL0=1, predFlagL1=1の場合が、双予測に対応し、１つの参照ピクチャリストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。なお、予測リスト利用フラグの情報は、後述のインター予測フラグinter_pred_idxで表現することもできる。通常、後述の予測画像生成部、予測パラメータメモリでは、予測リスト利用フラグが用いれ、符号化データから、どの参照ピクチャリストが用いられるか否かの情報を復号する場合にはインター予測フラグinter_pred_idxが用いられる。
符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。
（参照ピクチャリストの一例）
次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、復号ピクチャバッファ１２に記憶された参照ピクチャからなる列である。図３は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト６０１において、左右に一列に配列された５個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号、Ｐ１、Ｐ２、Ｑ０、Ｐ３、Ｐ４は、それぞれの参照ピクチャを示す符号である。Ｐ１等のＰとは、視点Ｐを示し、そしてＱ０のＱとは、視点Ｐとは異なる視点Ｑを示す。Ｐ及びＱの添字は、ピクチャ順序番号ＰＯＣを示す。refIdxLXの真下の下向きの矢印は、参照ピクチャインデックスrefIdxLXが、復号ピクチャバッファ１２において参照ピクチャＱ０を参照するインデックスであることを示す。
（参照ピクチャの例）
次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図４は、参照ピクチャの例を示す概念図である。図４において、横軸は表示時刻を示し、縦軸は視点を示す。図４に示されている、縦２行、横３列（計６個）の長方形は、それぞれピクチャを示す。６個の長方形のうち、下行の左から２列目の長方形は復号対象のピクチャ（対象ピクチャ）を示し、残りの５個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから上向きの矢印で示される参照ピクチャＱ０は対象ピクチャと同表示時刻であって視点が異なるピクチャである。対象ピクチャを基準とする変位予測においては、参照ピクチャＱ０が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャＰ１は、対象ピクチャと同じ視点であって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャＰ２は、対象ピクチャと同じ視点であって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャＰ１又はＰ２が用いられる。
（ランダムアクセスピクチャ）
本実施例で扱うランダムアクセスピクチャ（ＲＡＰ）の構成について説明する。図１７は、ランダムアクセスピクチャの構成を説明する図である。ＲＡＰには、ＩＤＲ（Instantaneous Decoding Refresh）、ＣＲＡ（Clean Random Access）、ＢＬＡ(Broken Link Access)の３種類がある。あるＮＡＬユニットが、ＲＡＰピクチャのスライスを含むＮＡＬユニットであるか否かは、ＮＡＬユニットタイプにより識別される。ＩＤＲ_Ｗ＿ＬＰ、ＩＤＲ_Ｎ＿ＬＰ、ＣＲＡ、ＢＬＡ_Ｗ＿ＬＰ、ＢＬＡ_Ｗ＿ＤＬＰ、ＢＬＡ_Ｎ＿ＬＰのＮＡＬユニットタイプは、各々、後述のＩＤＲ_Ｗ＿ＬＰピクチャ、ＩＤＲ_Ｎ＿ＬＰピクチャ、ＣＲＡピクチャ、ＢＬＡ_Ｗ＿ＬＰピクチャ、ＢＬＡ_Ｗ＿ＤＬＰピクチャ、ＢＬＡ_Ｎ＿ＬＰピクチャに対応する。すなわち、上記ピクチャのスライスを含むＮＡＬユニットは、上述のＮＡＬユニットタイプを有する。
図１７（ａ）は、ＲＡＰピクチャが先頭ピクチャ以外にない場合である。ボックス中の英字はピクチャの名前、数字はＰＯＣを示す（以下同様）。図中左から右に表示順が並ぶ。ＩＤＲ０、Ａ１、Ａ２、Ｂ４、Ｂ５、Ｂ６が、ＩＤＲ０、Ｂ４、Ａ１、Ａ２、Ｂ６、Ｂ５の順で復号される。以下、図１７（ａ）のＢ４で示されるピクチャがＲＡＰピクチャに変更される場合を、図１７（ｂ）から図１７（ｇ）に示す。
図１７（ｂ）は、ＩＤＲピクチャ（特にＩＤＲ_Ｗ＿ＬＰピクチャ）が挿入される例である。本例では、ＩＤＲ０、ＩＤＲ´０、Ａ１、Ａ２、Ｂ２、Ｂ１の順で復号される。２つのＩＤＲピクチャを区別するために時刻が先（復号順も先）のピクチャをＩＤＲ０、時刻が後のピクチャをＩＤＲ´０ピクチャと呼ぶ。本例のＩＤＲピクチャを含め全てのＲＡＰピクチャは、他のピクチャの参照は禁止される。他のピクチャの参照は、ＲＡＰピクチャのスライスを後述のようにイントラI_SLICEに制限することで行われる（この制限は、後述の実施例では、レイヤＩＤが０以外のレイヤに関して緩和される）。よって、ＲＡＰピクチャ自身は、他のピクチャの復号によらず独立して復号が可能である。さらに、ＩＤＲピクチャの復号時点で、後述のリファレンスピクチャセット（ＲＰＳ）が初期化される。そのため、ＩＤＲピクチャ以前に復号されたピクチャを用いた予測、例えば、Ｂ２からＩＤＲ０への予測は禁止される。ピクチャＡ３は、ＲＡＰ（ここではＩＤＲ´０）の表示時刻ＰＯＣより前の表示時刻ＰＯＣを有するが、ＲＡＰピクチャよりも後に復号される。このようなＲＡＰピクチャよりも後に復号されるが、ＲＡＰピクチャよりも前に再生されるピクチャをLeadingピクチャ（ＬＰピクチャ）と呼ぶ。ＲＡＰピクチャ、ＬＰピクチャ以外のピクチャは、ＲＡＰピクチャよりも後に復号され、再生されるピクチャであり一般にＴＲＡＩＬピクチャと呼ばれる。ＩＤＲ_Ｗ＿ＬＰは、Instantaneous Decoding Refresh With Leading Pictureの略であり、ピクチャＡ３のようなＬＰピクチャが含まれていても良い。ピクチャＡ２は、図１７（ａ）の例では、ＩＤＲ０とＰＯＣ４のピクチャを参照していたが、ＩＤＲピクチャの場合には、ＩＤＲ´０を復号した時点で、ＲＰＳが初期化されるため、Ａ２からＩＤＲ´０への参照は禁止される。またＩＤＲピクチャを復号した時点で、ＰＯＣは初期化される。
以上をまとめると、ＩＤＲピクチャは以下の制約を有するピクチャである。
・ピクチャ復号時点でＰＯＣは初期化される
・ピクチャ復号時点でＲＰＳは初期化される
・他のピクチャの参照の禁止
・復号順でＩＤＲより後のピクチャから、復号順でＩＤＲより前のピクチャの参照の禁止
・ＲＡＳＬピクチャ（後述）の禁止
・ＲＡＤＬピクチャ（後述）を持つことができる（ＩＤＲ_Ｗ＿ＬＰピクチャの場合）
・ＲＡＤＬピクチャ（後述）を持つことができる（ＢＬＡ_Ｗ＿ＬＰ、ＢＬＡ_Ｗ＿ＤＬＰピクチャの場合）。
図１７（ｃ）は、ＩＤＲピクチャ（特にＩＤＲ_Ｎ＿ＬＰピクチャ）が挿入される例である。ＩＤＲ_Ｎ＿ＬＰは、Instantaneous Decoding Refresh No Leading Pictureの略であり、ＬＰピクチャの存在が禁止される。従って、図１７（ｂ）のＡ３ピクチャの存在が禁止される。よって、Ａ３ピクチャは、ＩＤＲ´０ピクチャの代わりに、ＩＤＲ０ピクチャを参照することで、ＩＤＲ´０ピクチャより前に復号される必要がある。
図１７（ｄ）は、ＣＲＡピクチャが挿入される例である。本例では、ＩＤＲ０、ＣＲＡ４、Ａ１、Ａ２、Ｂ６、Ｂ５の順で復号される。ＣＲＡピクチャでは、ＩＤＲピクチャと異なり、ＲＰＳの初期化は行われない。従って、復号順でＲＡＰ（ここではＣＲＡ）より後のピクチャから、復号順でＲＡＰ（ここではＣＲＡ）より前のピクチャの参照の禁止（Ａ２からＣＲＡ４への参照禁止）は、必要とされない。しかしながら、ＲＡＰピクチャであるＣＲＡピクチャから復号を開始する場合には、ＣＲＡより表示順が後のピクチャは復号可能であることが必要なため、表示順でＲＡＰ（ＣＲＡ）より後のピクチャから、復号順でＲＡＰ（ＣＲＡ）より前のピクチャの参照の禁止（Ｂ６からＩＤＲ０への参照禁止）は必要とされる。なお、ＣＲＡではＰＯＣは初期化されない。
以上をまとめると、ＣＲＡピクチャは以下の制約を有するピクチャである。
・ピクチャ復号時点でＰＯＣは初期化されない
・ピクチャ復号時点でＲＰＳは初期化されない
・他のピクチャの参照の禁止
・表示順でＣＲＡより後のピクチャから、復号順でＣＲＡより前のピクチャの参照の禁止
・ＲＡＤＬピクチャとＲＡＳＬピクチャを持つことできる。
図１７（ｅ）から（ｇ）は、ＢＬＡピクチャの例である。ＢＬＡピクチャはＣＲＡピクチャを含む符号化データの編集などにより、ＣＲＡピクチャを先頭としてシーケンスを再構成した場合に利用されるＲＡＰピクチャであり、以下の制限を有する。
・ピクチャ復号時点でＰＯＣは初期化される
・他のピクチャの参照の禁止
・表示順でＢＬＡより後のピクチャから、復号順でＢＬＡより前のピクチャの参照の禁止
・ＲＡＳＬピクチャ（後述）を持つことができる（ＢＬＡ_Ｗ＿ＬＰの場合）
・ＲＡＤＬピクチャ（後述）を持つことができる（ＢＬＡ_Ｗ＿ＬＰ、ＢＬＡ_Ｗ＿ＤＬＰピクチャの場合）。
例えば、図６（ｄ）のＣＲＡ４ピクチャの位置からシーケンスの復号を開始する場合を例に説明する。
図１７（ｅ）は、ＢＬＡピクチャ（特にＢＬＡ_Ｗ＿ＬＰピクチャ）を用いる例である。ＢＬＡ_Ｗ＿ＬＰは、Broken Link Access With Leading Pictureの略であり、ＬＰピクチャの存在が許容される。ＣＲＡ４ピクチャをＢＬＡ_Ｗ＿ＬＰピクチャに置き換えた場合、ＢＬＡピクチャのＬＰピクチャであるＡ２ピクチャ、Ａ３ピクチャは符号化データ中に存在しても良い。しかしながら、Ａ２ピクチャは、ＢＬＡ_Ｗ＿ＬＰピクチャよりも前に復号されるピクチャであるから、ＢＬＡ_Ｗ＿ＬＰピクチャを先頭ピクチャとして編集した符号化データでは符号化データ中に存在しない。ＢＬＡ_Ｗ＿ＬＰピクチャではそのような復号不可能なＬＰピクチャをＲＡＳＬ（random access skipped leading）ピクチャとして扱い、復号、表示しないことで対応する。なお、Ａ３ピクチャは、復号可能なＬＰピクチャであり、このようなピクチャはＲＡＤL（random access decodable leading）ピクチャと呼ばれる。上記ＲＡＳＬピクチャ、ＲＡＤＬピクチャはRASL_NUT、RADL_NUTのＮＡＬユニットタイプにより識別される。
図１７（ｆ）は、ＢＬＡピクチャ（特にＢＬＡ_Ｗ＿ＤＬＰピクチャ）を用いる例である。ＢＬＡ_Ｗ＿ＤＬＰは、Broken Link Access With Decorable Leading Pictureの略であり、復号可能なＬＰピクチャの存在が許容される。よって、ＢＬＡ_Ｗ＿ＤＬＰピクチャでは、図１７（ｅ）と異なり、復号不可能なＬＰピクチャ（ＲＡＳＬ）であるＡ２ピクチャは、符号化データ中に存在を許されない。復号可能なＬＰピクチャ（ＲＡＤＬ）であるＡ３ピクチャは符号化データ中に存在が許される。
図１７（ｇ）は、ＢＬＡピクチャ（特にＢＬＡ_Ｎ＿ＬＰピクチャ）を用いる例である。ＢＬＡ_Ｎ＿ＬＰは、Broken Link Access No Leading Pictureの略であり、ＬＰピクチャの存在が許容されない。よって、ＢＬＡ_Ｎ＿ＤＬＰピクチャでは、図１７（ｅ）、図１７（ｆ）と異なり、Ａ２ピクチャ（ＲＡＳＬ）だけでなく、Ａ３ピクチャ（ＲＡＤＬ）も符号化データ中に存在を許されない。
（インター予測フラグと予測リスト利用フラグ）
インター予測フラグと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。そのため、インター予測パラメータとしては、予測リスト利用フラグを用いても良いし、インター予測フラグを用いてもよい。また、以下、予測リスト利用フラグを用いた判定は、インター予測フラグに置き替えても可能である。逆に、インター予測フラグを用いた判定は、予測リスト利用フラグに置き替えても可能である。
インター予測フラグ ＝ (predFlagL1<<1) + predFlagL0
predFlagL0 ＝インター予測フラグ & 1
predFlagL1 ＝インター予測フラグ >> 1
ここで、>>は右シフト、<<は左シフトである。
（マージ予測とAMVP予測）
予測パラメータの復号（符号化）方法には、マージ予測（merge）モードとAMVP（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードでも、AMVPモードでも、既に処理済みのブロックの予測パラメータを用いて、対象ＰＵの予測パラメータが導出される。マージ予測モードは、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idx）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めずに、既に導出した予測パラメータをそのまま用いるモードであり、AMVPモードは、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めるモードである。なおベクトルmvLXは、予測ベクトルを示す予測ベクトルインデックスmvp_LX_idxと差分ベクトル(mvdLX)として符号化される。
インター予測フラグinter_pred_idcは、参照ピクチャの種類および数を示すデータであり、Pred_L0、Pred_L1、Pred_Biの何れかの値をとる。Pred_L0、Pred_L1は、各々L0参照リスト、L1参照リストと呼ばれる参照ピクチャリストに記憶された参照ピクチャが用いられることを示し、共に１枚の参照ピクチャを用いること（単予測）を示す。L0参照リスト、L1参照リストを用いた予測を各々L0予測、L1予測と呼ぶ。Pred_Biは２枚の参照ピクチャを用いること（双予測）を示し、L0参照リストとL1参照リストに記憶された参照ピクチャの２つを用いることを示す。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストに記憶された参照ピクチャを示すインデックスである。なお、LXは、L0予測とL1予測を区別しない場合に用いられる記述方法であり、LXをL0、L1に置き換えることでL0参照リストに対するパラメータとL1参照リストに対するパラメータを区別するする。例えば、refIdxL0はL0予測に用いる参照ピクチャインデックス、refIdxL1はL1予測に用いる参照ピクチャインデックス、refIdx（refIdxLX）は、refIdxL0とrefIdxL1を区別しない場合に用いられる表記である。
マージインデックスmerge_idxは、処理が完了したブロックから導出される予測パラメータ候補（マージ候補）のうち、いずれかの予測パラメータを復号対象ブロックの予測パラメータとして用いるかを示すインデックスである。
（動きベクトルと変位ベクトル）
ベクトルmvLXには、動きベクトルと変位ベクトル（disparity vector、視差ベクトル）がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、異なる表示時刻（例えば、隣接する離散時刻）における同一のレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。以下の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルmvLXと呼ぶ。ベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。ベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか、変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて行われる。
（符号化データ構造についての付記事項）
独立レイヤ以外のレイヤのＮＡＬユニットに限り、レイヤＩＤが０か否かに応じてＮＡＬユニットに含まれるシンタックスの構造を変更してもよい。これにより、独立レイヤのＮＡＬユニットに含まれるシンタックスの構造は、レイヤＩＤが０の場合とレイヤＩＤが０以外の場合とで同じになるため、データの書き換えを全くまたはほとんど必要とすることなく、レイヤＩＤが０の場合のシンタックスの構造の符号化データをそのまま復号することが可能な非スケーラブルデコーダを用いて独立レイヤを復号することが可能となる。また、非スケーラブルデコーダで復号可能なデータを抽出する処理が容易になる、という効果を奏する。なお、厳密には、非スケーラブルデコーダで復号可能とするには、独立レイヤのレイヤＩＤを０に書き換える処理が必要となるが、符号化データ上の位置が明確なＮＡＬユニットヘッダにおいて固定長符号化されたレイヤＩＤを書き換えることは容易であるため、他のシンタックスを変更する場合に比べると、当該処理の処理量は無視できる程度である。
また、レイヤＩＤのチェックを無視する非スケーラブルデコーダであれば、レイヤＩＤを０に書き換える処理なしでそのまま符号化データを復号できる。なお、レイヤＩＤは０以上の数であるであるから、レイヤＩＤが０以外かの判定（分岐）は、レイヤＩＤが０より大きいか否かの判定（分岐）としても良い（以下、同様）。
なお、スライスヘッダ（スライスセグメントヘッダ）の変更に比べ、ＳＰＳ、ＰＰＳの書き替えは比較的容易であるから、スライスヘッダにおいて、独立レイヤの場合のシンタックス構造を、レイヤＩＤが０の場合のシンタックスの構造と同じにし、ＳＰＳおよびＰＰＳのシンタックス構造は、独立レイヤにおいても、レイヤＩＤが０の場合のシンタックスの構造とは異なる構成としても良い。この場合、非スケーラブルデコーダで復号可能とするには、独立レイヤのＳＰＳ、ＰＰＳについては書き換え処理が必要となるが、独立レイヤのピクチャ（のスライスヘッダ）については書き換え処理が不要となるため、この構成も効果的である。なお、後述の変形例においても同様に、スライスヘッダのみにおいて独立レイヤに基づく符号化データ構造およびその復号と符号化を用いても良い。
（画像復号装置の構成）
本実施形態に係る画像復号装置１の構成について説明する。図１８は、本実施形態に係る画像復号装置１の構成を示す概略図である。画像復号装置１は、ヘッダ復号部１０、ピクチャ復号部１１、復号ピクチャバッファ１２、参照ピクチャ管理部１３を含んで構成される。画像復号装置１は、複数のレイヤを含む画像において特定の時刻のピクチャから復号を開始する後述するランダムアクセス復号処理が可能である。
［ヘッダ復号部１０］
ヘッダ復号部１０は、画像符号化装置２より供給される符号化データ＃１から、ＮＡＬユニット単位、シーケンス単位、ピクチャ単位、またはスライス単位で復号に利用される情報を復号する。復号された情報は、ピクチャ復号部１１及び参照ピクチャ管理部１３に出力される。
ヘッダ復号部１０は、符号化データ＃１に含まれるＶＰＳ、ＳＰＳ、および、ＰＰＳを既定のシンタックス定義に基づいてパースして、シーケンス単位で復号に利用される情報を復号する。例えば、レイヤ数に関する情報をＶＰＳから復号する。また、レプリゼンテーション情報がＶＰＳに存在する場合には、復号画像の画像サイズに関連する情報をＶＰＳから復号し、レプリゼンテーション情報がＳＰＳに存在する場合には、復号画像の画像サイズに関連する情報をＳＰＳから復号する。
また、ヘッダ復号部１０は、符号化データ＃１に含まれるスライスヘッダを既定のシンタックス定義に基づいてパースして、スライス単位で復号に利用される情報を復号する。例えば、スライスタイプがスライスヘッダから復号される。
図１９に示すようにヘッダ復号部１０は、ＮＡＬユニットヘッダ復号部２１１、依存レイヤ情報復号部２１０１、プロファイルレベル情報復号部２１０２、レプリゼンテーション情報復号部２１０３、スケーリングリスト復号部２１０４、ＰＯＣ情報復号部２１０５、および、参照ピクチャ情報復号部２１８を備えている。
なお、依存レイヤ情報、プロファイルレベル情報、レプリゼンテーション情報、スケーリングリストなどの各種ヘッダ情報について触れたが、ヘッダ復号部を、ヘッダの種別毎に当該種別のヘッダを復号する復号部が内部に設けられるような構成にすることも可能である。この場合には、図２１に示すように、ヘッダ復号部を、ＮＡＬユニットヘッダ復号部２１１、ＶＰＳ復号部２１２、ＳＰＳ復号部２１３、ＰＰＳ復号部２１４、および、スライスヘッダ復号部２１５を備えるヘッダ復号部１０’としてもよい。
そして、ＶＰＳ復号部２１２、ＳＰＳ復号部２１３、ＰＰＳ復号部２１４、および、スライスヘッダ復号部２１５の各復号部は、図２２に示すような構成にしてもよい。
すなわち、ＶＰＳ復号部２１２は、依存レイヤ情報復号部２１０１、プロファイルレベル情報復号部２１０２、レプリゼンテーション情報復号部２１０３を備え、ＳＰＳ復号部２１３は、プロファイルレベル情報復号部２１０２、レプリゼンテーション情報復号部２１０３、スケーリングリスト復号部２１０４を備え、ＰＰＳ復号部２１４は、スケーリングリスト復号部２１０４を備え、スライスヘッダ復号部２１５は、ＰＯＣ情報復号部２１０５を備えてもよい。また、スケーリングリスト復号部２１０４は、例えば、図２３に示すような構成としてもよい。
なお、この場合、複数のヘッダ復号部（例えば、ＶＰＳ復号部２１２およびＳＰＳ復号部２１３）が同じ手段Ｘ（例えば、プロファイルレベル情報復号部２１０２）を有することになるが、一方のヘッダ復号部が内部に手段Ｘを有し、他のヘッダ復号部がその手段Ｘを用いてもよい。また、手段Ｘを、各ヘッダ復号部の外部に備え、各ヘッダ復号部は、その手段Ｘを用いても良い。また、ＶＰＳ復号部２１２およびＳＰＳ復号部２１３がプロファイルレベル情報復号部２１０２を備えるものとしたが、ＶＰＳ復号部２１２およびＳＰＳ復号部２１３の一方の内部にプロファイルレベル情報復号部２１０２を設け、他方の内部にはプロファイルレベル情報復号部２１０２を設けないようにしてもよい。また、プロファイルレベル情報復号部２１０２をＶＰＳ復号部２１２およびＳＰＳ復号部２１３の外部に備え、ＶＰＳ復号部２１２およびＳＰＳ復号部２１３がそのプロファイルレベル情報復号部２１０２を用いる構成としても良い。
[ＮＡＬユニットヘッダ復号部２１１]
図２０は、ＮＡＬユニットヘッダ復号部２１１の概略的構成について示した機能ブロック図である。図２０に示すように、ＮＡＬユニットヘッダ復号部２１１はレイヤＩＤ復号部２１１１とＮＡＬユニットタイプ復号部２１１２を含んで構成される。
レイヤＩＤ復号部２１１１は、符号化データからレイヤＩＤ（ＮＡＬユニットヘッダに含まれているレイヤＩＤ）を復号する。ＮＡＬユニットタイプ復号部２１１２は、符号化データからＮＡＬユニットタイプを復号する。レイヤＩＤは、例えば０から６３の６ビットの情報であり、レイヤＩＤが０の場合、ベースレイヤを示す。スケーラブル符号化された符号化データの一部は、非スケーラブルデコーダでも復号可能にするという後方互換性をサポートするために、ベースレイヤは、非スケーラブルデコーダで復号可能である。ＮＡＬユニットタイプは、例えば０から６３の６ビットの情報であり、ＮＡＬユニットに含まれるデータの種別を示す。後述するようにデータの種別には、例えば、ＶＰＳ、ＳＰＳ、ＰＰＳなどのパラメータセット、ＩＤＲピクチャ、ＣＲＡピクチャ、ＢＬＡピクチャなどのＲＰＳピクチャ、ＬＰピクチャなどの非ＲＡＰピクチャ、ＳＥＩなどがＮＡＬユニットタイプから識別される。
［依存レイヤ情報復号部２１０１］
依存レイヤ情報復号部２１０１は、符号化データに含まれるＶＰＳおよびＶＰＳ拡張から規定のシンタックス定義に基づいて、依存レイヤ情報を復号する。例えば、ＶＰＳからは図１４に示すシンタックスを復号し、ＶＰＳ拡張からは図１５に示すシンタックスを復号する。ＶＰＳ拡張は、フラグvps_extension_flagが１の場合に復号される。本明細書では、符号化データの構成（シンタックステーブル）と、符号化データ構成が含むシンタックス要素の意味や制限（セマンティクス）を、符号化データ構造と呼ぶ。符号化データ構造は、画像復号装置において符号化データを復号する場合のランダムアクセス性やメモリサイズ、異なる画像復号装置間で同じ動作を補償することに関連すると共に、符号化データの符号化効率にも影響を与える重要な技術要素である。
依存レイヤ情報復号部２１０１は、符号化データから、各レイヤの依存レイヤ情報（direct_dependency_flag[][]）を復号する。依存レイヤ情報復号部２１０１は、各レイヤの独立レイヤフラグIndependentLayerFlag[]を導出する。
依存レイヤ情報復号部２１０１は、対象レイヤiと参照レイヤj（0<=j<i）の間に依存性が有るか否かを示すフラグdirect_dependency_flag[i][j]を用いて、対象レイヤiの依存レイヤ数NumDirectRefLayers[i]を導出する。具体的には、対象レイヤiに対する0からi-1までのインデックスjの参照レイヤにおいて、direct_dependency_flag[i][j]が０以外であるレイヤの数を導出する。さらに、依存レイヤ情報復号部２１０１は、対象レイヤiに依存レイヤが無い場合（つまり、依存レイヤ数NumDirectRefLayers[i] == 0が真である場合）にはIndependentLayerFlag[i]＝１とし、対象レイヤに依存レイヤが有る場合（つまり、NumDirectRefLayers[i] == 0が偽である場合）には、IndependentLayerFlag[i]＝０とする。また、IndependentLayerFlag[i]が存在しない場合には、IndependentLayerFlag[i]には、独立であることを示す１を導出する。
さらに、依存レイヤ情報復号部２１０１は、導出した当該レイヤの依存レイヤ情報（IndependentLayerFlag[]）に基づいてnuh_layer_idのレイヤで示される当該レイヤが独立レイヤであるか否か（IndependentLayerFlag[nuh_layer_id]！＝０）を判定する。なお、あるレイヤiが独立レイヤであるか否かを示すフラグIndependentLayerFlag[i]の代わりに、あるレイヤiが依存レイヤであるか否かを示すフラグDependentLayerFlag[i]を用いても良い。この場合、「レイヤが独立レイヤであるか否か（IndependentLayerFlag[nuh_layer_id]！＝０）」の判定（分岐）は、全て、「レイヤが依存レイヤでないか否か（DependentLayerFlag[nuh_layer_id]==０）」の判定（分岐）に置き換える。
なお、スケーラブル符号化では、多くの場合、レイヤ間の依存性を利用したツール拡張を行い、レイヤ内の依存性についてはツールを拡張していない。すなわち、レイヤ間の依存性を利用しない独立レイヤ（レイヤ内の依存性のみを利用する独立レイヤ）は、非スケーラブルデコーダでも利用可能なツールのみを用いて生成されている。そのため、独立レイヤは、ベースレイヤとシンタックス構造が同じであれば、非スケーラブルデコーダでも復号可能である。
［プロファイルレベル復号部２１０２］
プロファイルレベル復号部２１０２は、ＶＰＳから各レイヤのプロファイルレベル情報を復号する。
また、プロファイルレベル復号部２１０２は、ＳＰＳを復号する場合において、ＳＰＳのレイヤＩＤ（nuh_layer_id）が表すレイヤが独立レイヤである（例えば、IndependentLayerFlag[nuh_layer_id]の値が真である）か、もしくは、ＳＰＳのレイヤＩＤが０の場合には、ＳＰＳからもプロファイルレベル情報を復号する（図１６の（ａ）を参照）。具体的には、ＮＡＬユニットヘッダ復号部２１１から、ＮＡＬユニットタイプがＳＰＳであるようなＮＡＬユニットヘッダに含まれているレイヤＩＤの入力を受けると、ＶＰＳから復号された依存レイヤ情報によって当該レイヤＩＤが示すレイヤが独立レイヤであることが示されている場合、又は、当該レイヤＩＤが０の場合に、ＳＰＳからもプロファイルレベル情報を復号する。この処理により、ＳＰＳシェアリング（SPS sharing）が（例えば、解像度の違いにより）使用できない場合にＳＰＳのビット長が増加するのを防ぐことができる。
［レプリゼンテーション情報復号部２１０３］
レプリゼンテーション情報復号部２１０３は、図２８（ａ）のシンタックスをＶＰＳから復号し、図２８（ｂ）のシンタックスをＳＰＳから復号する。具体的には、レプリゼンテーション情報復号部２１０３は、ＶＰＳに含まれるrep_format()を復号し、chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8、bit_depth_chroma_minus8などのレプリゼンテーション情報を復号する。レプリゼンテーション情報復号部２１０３は、さらに、ＳＰＳのレイヤＩＤ（nuh_layer_id）が表すレイヤが独立レイヤではない（例えば、IndependentLayerFlag[nuh_layer_id]の値が偽である）場合には、レプリゼンテーション情報更新フラグupdate_rep_format_flagがＳＰＳに含まれ、そのフラグをＳＰＳから復号する。update_rep_format_flagがＳＰＳに含まれない場合には、update_rep_format_flagを０と導出（infer）する。update_rep_format_flagが１の場合には、レプリゼンテーション情報復号部２１０３はさらにchroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8、bit_depth_chroma_minus8などのレプリゼンテーション情報を復号する。update_rep_format_flagが０の場合には、ＶＰＳのrep_format()において既に復号されたレプリゼンテーション情報を対象レイヤに対するレプリゼンテーション情報として用いる。
上記の「レイヤＩＤが表すレイヤが独立レイヤ以外のレイヤであるか」の判定は、「レイヤＩＤが表すレイヤが独立レイヤ以外のレイヤであり、かつ、レイヤＩＤが０より大きい（レイヤＩＤが０以外の場合）か」の判定に置き換えることもできる。レイヤＩＤが０のレイヤは一般に独立レイヤであるから、前者の真偽値が真の場合（レイヤＩＤが表すレイヤが独立レイヤ以外のレイヤである場合）には、レイヤＩＤも０よりも大きい。よって、後者の真偽値判定は必須ではないが、ベースレイヤ（レイヤＩＤ＝０）の場合にはレプリゼンテーション情報更新フラグupdate_rep_format_flagが含まれないことを明確にするために、独立レイヤに関する判定に加え、レイヤＩＤに関する判定を行っても良い（以下、同様）。
［スケーリングリスト復号部２１０４］
スケーリングリスト復号部２１０４は、レイヤＩＤが表すレイヤが独立レイヤ以外のレイヤである（例えば、IndependentLayerFlag[nuh_layer_id]の値が０である、つまり!IndependentLayerFlag[nuh_layer_id]が真である）場合には、ＳＰＳからスケーリングリスト予測フラグsps_infer_scaling_list_flagを復号する（図１６の（ａ）を参照）。sps_infer_scaling_list_flagが０以外の場合には、さらに、sps_scaling_list_ref_layer_idを復号する。sps_infer_scaling_list_flagが０の場合には、sps_scaling_list_data_present_flagと、scaling_list_data()を復号しスケーリングリストを復号する。
また、スケーリングリスト復号部２１０４は、レイヤＩＤが表すレイヤが独立レイヤ以外のレイヤである場合には、ＰＰＳからpps_infer_scaling_list_flagを復号する（図１６の（ｂ）を参照）。pps_infer_scaling_list_flagが０以外の場合には、さらに、pps_scaling_list_ref_layer_idを復号する。pps_infer_scaling_list_flagが０の場合には、pps_scaling_list_data_present_flagと、scaling_list_data()を復号しスケーリングリストを復号する。
具体的には、スケーリングリスト復号部２１０４は、ＳＰＳ、ＰＰＳを復号する場合、ＮＡＬユニットヘッダ復号部２１１から、ＳＰＳ、ＰＰＳのＮＡＬユニットヘッダに含まれているレイヤＩＤの入力を受けると、ＶＰＳから復号された依存レイヤ情報によって当該レイヤＩＤが示すレイヤが独立レイヤ以外であることが示されているときに、スケーリングリストを予測するかどうかを示すフラグsps_infer_scaling_list_flag、pps_infer_scaling_list_flagを復号する。
この処理により、ＳＰＳ／ＰＰＳシェアリング（SPS/PPS sharing）が使用できない場合にＳＰＳおよびＰＰＳのビット長が増加するのを防ぐことができる。
［ＰＯＣ情報復号部２１０５］
図２９は、ＰＯＣ情報復号部２１０５（ＰＯＣ導出部）の概略的構成について示した機能ブロック図である。図２９に示すように、ＰＯＣ情報復号部２１０５はＰＯＣ下位ビット最大値復号部２１０５１、ＰＯＣ下位ビット復号部２１０５２、ＰＯＣ上位ビット導出部２１０５３、ＰＯＣ加算部２１０５４、ＰＯＣリセット部２１０５５を含んで構成される。ＰＯＣ情報復号部２１０５は、ＰＯＣの上位ビットPicOrderCntMsbとＰＯＣの下位ビットpic_order_cnt_lsbを復号することにより、ＰＯＣを導出し、ピクチャ復号部１１と参照ピクチャ管理部１３に出力する。
ＰＯＣ下位ビット最大値復号部２１０５１は、符号化データから対象ピクチャのＰＯＣ下位ビット最大値MaxPicOrderCntLsbを復号する。具体的には、ＰＯＣ下位ビット最大値MaxPicOrderCntLsbの対数から定数４を引いた値として符号化されるシンタックス要素log2_max_pic_order_cnt_lsb_minus4を対象ピクチャのパラメータを規定するＰＰＳの符号化データから復号し、以下の式により、ＰＯＣ下位ビット最大値MaxPicOrderCntLsbを導出する。
MaxPicOrderCntLsb=2(log2_max_pic_order_cnt_lsb_minus4 + 4)
なお、MaxPicOrderCntLsbは、ＰＯＣの上位ビットPicOrderCntMsbと下位ビットpic_order_cnt_lsbの区切りを示す。例えば、MaxPicOrderCntLsbが１６（log2_max_pic_order_cnt_lsb_minus4=0）の場合には、０〜１５までの下位４ビットがpic_order_cnt_lsbで示され、それより上の上位ビットがPicOrderCntMsbで示される。
ＰＯＣ下位ビット復号部２１０５２は、ａ）ピクチャのレイヤＩＤが表すレイヤが独立レイヤ以外のレイヤ（例えば、IndependentLayerFlag[nuh_layer_id]の値が０である）、または、ｂ）ピクチャのＮＡＬユニットタイプがＩＤＲ以外（IDR_W_RADLおよびIDR_N_LP以外の場合）には、符号化データから、対象ピクチャのＰＯＣの下位ビットであるＰＯＣ下位ビットpic_order_cnt_lsbを復号する。具体的には、対象ピクチャのスライスヘッダに含まれるpic_order_cnt_lsbを復号する。
ＰＯＣ上位ビット導出部２１０５３は、対象ピクチャのＰＯＣの上位ビットであるＰＯＣ上位ビットPicOrderCntMsbを導出する。具体的には、ＮＡＬユニットヘッダ復号部２１１から入力された対象ピクチャのＮＡＬユニットタイプが、ＰＯＣの初期化が必要なＲＡＰピクチャであることを示す場合（ＢＬＡもしくはＩＤＲの場合）に、以下の式によりＰＯＣ上位ビットPicOrderCntMsbを０に初期化する。
PicOrderCntMsb＝０
初期化のタイミングは、対象ピクチャの先頭スライス（スライスヘッダに含まれるスライスアドレスが０のスライス、もしくは、対象ピクチャに入力されるスライスの内、画像復号装置に入力される最初のスライス）を復号する時点とする。
それ以外のＮＡＬユニットタイプの場合には、ＰＯＣ下位ビット最大値復号部２１０５１で復号されたＰＯＣ下位ビット最大値MaxPicOrderCntLsb、後述の一時変数prevPicOrderCntLsb、prevPicOrderCntMsbを用いて、以下の式によりＰＯＣ上位ビットPicOrderCntMsbを導出する。
if( ( pic_order_cnt_lsb < prevPicOrderCntLsb ) &&
( ( prevPicOrderCntLsb - pic_order_cnt_lsb ) >= ( MaxPicOrderCntLsb / 2 ) ) )
PicOrderCntMsb = prevPicOrderCntMsb + MaxPicOrderCntLsb
else if( (pic_order_cnt_lsb > prevPicOrderCntLsb ) &&
( ( pic_order_cnt_lsb - prevPicOrderCntLsb ) > ( MaxPicOrderCntLsb / 2 ) ) )
PicOrderCntMsb = prevPicOrderCntMsb - MaxPicOrderCntLsb
else
PicOrderCntMsb = prevPicOrderCntMsb
すなわち、pic_order_cnt_lsbがprevPicOrderCntLsbよりも小さく、かつ、prevPicOrderCntLsbとpic_order_cnt_lsbの差が、MaxPicOrderCntLsbの半分以上の場合には、PicOrderCntMsbとして、prevPicOrderCntMsbにMaxPicOrderCntLsbを加えた数を設定する。それ以外で、pic_order_cnt_lsbがprevPicOrderCntLsbよりも大きく、prevPicOrderCntLsbとpic_order_cnt_lsbの差が、MaxPicOrderCntLsbの半分よりも大きい場合には、PicOrderCntMsbとして、prevPicOrderCntMsbからMaxPicOrderCntLsbを引いた数を設定する。それ以外の場合には、PicOrderCntMsbにprevPicOrderCntMsbを設定する。
なお、一時変数prevPicOrderCntLsb、prevPicOrderCntMsbは、ＰＯＣ上位ビット導出部２１０５３において、以下の手順により導出する。復号順で直前のTemporalIdが0の参照ピクチャをprevTid0Picとした場合、ピクチャprevTid0PicのPOC(PicOrderCntVal)を、prevPicOrderCntとし、prevPicOrderCntMsb、prevPicOrderCntMsbを下記の式によって導出する。
prevPicOrderCntMsb＝prevPicOrderCnt & ( MaxPicOrderCntLsb - 1 )
prevPicOrderCntMsb＝prevPicOrderCnt - prevPicOrderCntLsb
図３０は、ＰＯＣ情報復号部２１０５の動作を示す図である。図３０に示すように、MaxPicOrderCntLsb＝１６の場合においてＰＯＣ＝１５、１８、２４、１１、３２のピクチャが、図の左から右の順に復号される例を示す。ここで、右端のピクチャ（ＰＯＣ＝３２のピクチャ）を対象ピクチャとする場合、対象ピクチャを復号する時点で、復号順で直前のTemporalID=0のピクチャはＰＯＣ＝２４のピクチャであるからＰＯＣ情報復号部２１０５は、ピクチャprevTid0PicとしてＰＯＣ＝２４のピクチャを設定する。ピクチャprevTid0PicのＰＯＣ下位ビット、ＰＯＣ上位ビットよりprevPicOrderCntLsb、prevPicOrderCntMsbを、各々８、１６と導出する。対象ピクチャのpic_order_cnt_lsbは０、導出されたprevPicOrderCntLsbは８、MaxPicOrderCntLsbの半分が８であるから、上述の判定pic_order_cnt_lsbがprevPicOrderCntLsbよりも小さく、かつ、prevPicOrderCntLsbとpic_order_cnt_lsbの差が、MaxPicOrderCntLsbの半分以上の場合が成立し、ＰＯＣ情報復号部２１０５は、PicOrderCntMsbとして、prevPicOrderCntMsbにMaxPicOrderCntLsbを加えた数を設定する。すなわち、対象ピクチャのPicOrderCntMsbが３２（＝１６＋１６）と導出される。
ＰＯＣ加算部２１０５４は、ＰＯＣ下位ビット復号部２１０５２で復号されたＰＯＣ下位ビットpic_order_cnt_lsbとＰＯＣ上位ビット導出部２１０５３で導出されたＰＯＣ上位ビットを加算し、以下の式により、ＰＯＣ（PicOrderCntVal）を導出する。
PicOrderCntVal = PicOrderCntMsb + pic_order_cnt_lsb
図３０の例では、PicOrderCntMsb＝３２、pic_order_cnt_lsb＝０であるから、対象ピクチャのＰＯＣであるPicOrderCntValが３２と導出される。
ＰＯＣリセット部２１０５５は、poc_reset_flagが１の場合には、DPBに格納されている同じアクセスユニットの各参照ピクチャのPicOrderCntValを、ＰＯＣ加算部２１０５４により導出されるPicOrderCntValだけ減算し、対象ピクチャのPicOrderCntValを０に設定する。
上記ＰＯＣ情報復号部２１０５は、ａ）ピクチャのレイヤＩＤが表すレイヤが独立レイヤ以外のレイヤの場合、または、ｂ）ピクチャのＮＡＬユニットタイプがＩＤＲ以外の場合（IDR_W_RADLおよびIDR_N_LP以外の場合）には、スライスヘッダからslice_pic_order_cnt_lsbを復号する（図１６の（ｃ）を参照）。この処理により、ＮＡＬユニットタイプがＩＤＲの場合にも、当該レイヤＩＤが表すレイヤが独立レイヤ以外のレイヤであるときには、slice_pic_order_cnt_lsbを定めることが可能であり、ＰＯＣのアライメントに問題が生じるのを防ぐことができる。
［参照ピクチャ情報復号部２１８］
参照ピクチャ情報復号部２１８は、ヘッダ復号部１０の構成要素であり、参照ピクチャに関する情報を符号化データ＃１から復号する。参照ピクチャに関する情報には、参照ピクチャセット情報（以下、ＲＰＳ情報）と、参照ピクチャリスト修正情報（以下、ＲＰＬ修正情報）が含まれる。
参照ピクチャセット（RPS: Reference Picture Set）は、対象ピクチャ、または、復号順で対象ピクチャに後続するピクチャにおいて、参照ピクチャとして利用される可能性のあるピクチャの集合を表す。ＲＰＳ情報は、ＳＰＳやスライスヘッダから復号される情報であり、各ピクチャの復号時に設定される参照ピクチャセットの導出に用いられる情報である。
参照ピクチャリスト（RPL: Reference Picture List）は、動き補償予測を行う際に参照すべき参照ピクチャの候補リストである。参照ピクチャリストは２以上存在してもよい。本実施形態では、Ｌ０参照ピクチャリスト（Ｌ０参照リスト）とＬ１参照ピクチャリスト（Ｌ１参照リスト）を用いるとする。ＲＰＬ修正情報は、ＳＰＳやスライスヘッダから復号される情報であり、参照ピクチャリスト内の参照ピクチャの順序を示す。
動き補償予測では、参照画像リスト上で参照画像インデックス（refIdx）の位置に記録されている参照ピクチャを利用する。例えば、refIdxの値が０の場合は、参照画像リストの０の位置、すなわち参照画像リストの先頭の参照ピクチャが動き補償予測に用いられる。
なお、参照ピクチャ情報復号部２１８によるＲＰＳ情報およびＲＰＬ修正情報の復号処理は、本実施形態における重要な処理であるため、後ほど詳しく説明する。
ここで、参照ピクチャセットと参照ピクチャリストの例を、図３２を参照して説明しておく。図３２（ａ）は、動画像を構成するピクチャを表示順に並べて示したものであり、図中の数字は各ピクチャに対応するＰＯＣを表している。ＰＯＣは、復号ピクチャバッファの説明で後述するように、出力順で昇順となるよう各ピクチャに割り当てられている。“ｃｕｒｒ”と示されたＰＯＣが９のピクチャが、現在の復号の対象ピクチャである。
図３２（ｂ）は、対象ピクチャに適用されるＲＰＳ情報の例を示す。対象ピクチャにおける参照ピクチャセット（現ＲＰＳ）は、当該ＲＰＳ情報に基づいて導出される。ＲＰＳ情報には、長期ＲＰＳ情報と短期ＲＰＳ情報とが含まれる。長期ＲＰＳ情報として、現ＲＰＳに含めるピクチャのＰＯＣが直接示されている。図３２（ｂ）に示す例では、長期ＲＰＳ情報は、ＰＯＣ＝１のピクチャを現ＲＰＳに含めることを示している。短期ＲＰＳ情報には、現ＲＰＳに含めるピクチャが、対象ピクチャのＰＯＣに対する差分で記録されている。図中の「Before, dPOC=1」と示された短期ＲＰＳ情報は、対象ピクチャのＰＯＣに対して１小さいＰＯＣのピクチャを現ＲＰＳに含めることを示している。同様に、図中の「Before, dPOC=4」は４小さいＰＯＣのピクチャを示し、「After, dPOC=1」は１大きいＰＯＣのピクチャを現ＲＰＳに含めることを示す。なお、「Before」は、対象ピクチャの前方、つまり、対象ピクチャより表示順の早いピクチャを示す。また、「After」は、対象ピクチャの後方、つまり、対象ピクチャより表示順の遅いピクチャを示す。
図３２（ｃ）は、対象ピクチャのＰＯＣが０の場合に、図３２（ｂ）で例示したＲＰＳ情報を適用したときに導出される現ＲＰＳの例を示す。長期ＲＰＳ情報で示されたＰＯＣ＝１のピクチャが含まれている。また、短期ＲＰＳ情報で示された、対象ピクチャ（ＰＯＣ＝９）より１小さいＰＯＣを有するピクチャ、すなわちＰＯＣ＝８のピクチャが含まれている。同様に、短期ＲＰＳ情報で示された、ＰＯＣ＝５とＰＯＣ＝１０のピクチャが含まれている。
図３２（ｄ）および（ｅ）は、現ＲＰＳに含まれる参照ピクチャから生成される参照ピクチャリストの例を示す。参照ピクチャリストの各要素にはインデックス（参照ピクチャインデックス）が付与されている（図中ではidxと記載）。図３２（ｄ）は、Ｌ０参照リストの例を示す。Ｌ０参照リストには、５、８、１０、１のＰＯＣを持つ現ＲＰＳに含まれる参照ピクチャが、この順で含まれている。図３２（ｅ）は、Ｌ１参照リストの例を示す。Ｌ１参照リストには、１０、５、８のＰＯＣを持つ現ＲＰＳに含まれる参照ピクチャが、この順で含まれている。なお、Ｌ１参照リストの例で示した通り、参照ピクチャリストには、現ＲＰＳに含まれる全ての参照ピクチャ（参照可能ピクチャ）を含める必要はない。しかし、参照ピクチャリストの要素数は、最大でも現ＲＰＳに含まれる参照ピクチャの数となる。言い換えると、参照ピクチャリストの長さは、現ピクチャで参照可能なピクチャ数以下である。
次に、参照ピクチャリスト修正の例を、図３３を参照して説明しておく。図３３は、特定の参照ピクチャリストに（図３３（ａ））に対して、ＲＰＬ修正情報（図３３（ｂ））を適用した場合に得られる修正後の参照ピクチャリスト（図３３（ｃ））を例示している。図３３（ａ）に示す修正前Ｌ０参照リストは、図３２（ｄ）で説明したＬ０参照リストと同一である。図３３（ｂ）に示すＲＰＬ修正情報は参照ピクチャインデックスの値を要素とするリストになっており、先頭から順に０、２、１、３の値が格納されている。このＲＰＬ修正情報は、修正前参照リストに含まれる０、２、１、３の参照ピクチャインデックスで示される参照ピクチャを、この順で修正後Ｌ０参照リストの参照ピクチャとすることを示す。図３３（ｃ）は修正後Ｌ０参照リストを示し、ＰＯＣが５、１０、８、１のピクチャがこの順で含まれている。
（動画像復号処理手順）
画像復号装置１が、入力符号化データ＃１から復号画像＃２を生成する手順は次のとおりである。
（Ｓ１１）ヘッダ復号部１０は、符号化データ＃１からＶＰＳ、ＳＰＳを復号する。
（Ｓ１２）ヘッダ復号部１０は、符号化データ＃１からＰＰＳを復号する。
（Ｓ１３）符号化データ＃１の示すピクチャを順次対象ピクチャに設定する。各対象ピクチャに対して、Ｓ１４〜Ｓ１７の処理を実行する。
（Ｓ１４）ヘッダ復号部１０は、符号化データ＃１から対象ピクチャに含まれる各スライスのスライスヘッダを復号する。ヘッダ復号部１０に含まれる参照ピクチャ情報復号部２１８は、スライスヘッダからRPS情報を復号して参照ピクチャ管理部１３に含まれる参照ピクチャセット設定部１３１に出力する。また、参照ピクチャ情報復号部２１８は、スライスヘッダからＲＰＬ修正情報を復号して参照ピクチャリスト導出部１３２に出力する。（Ｓ１５）参照ピクチャセット設定部１３１は、ＲＰＳ情報と、復号ピクチャバッファ１２に記録されている局所復号画像のＰＯＣとメモリ上の位置情報の組み合わせに基づいて、対象ピクチャに適用する参照ピクチャセットＲＰＳを生成して、参照ピクチャリスト導出部１３２に出力する。
（Ｓ１６）参照ピクチャリスト導出部１３２は、参照ピクチャセットＲＰＳと、ＲＰＬ修正情報に基づいて参照ピクチャリストＲＰＬを生成してピクチャ復号部１１に出力する。（Ｓ１７）ピクチャ復号部１１は、符号化データ＃１から対象ピクチャに含まれる各スライスのスライスデータと、参照ピクチャリストＲＰＬに基づいて対象ピクチャの局所復号画像を作成して、対象ピクチャのＰＯＣと関連付けて復号ピクチャバッファに記録する。復号ピクチャバッファに記録された局所復号画像は、ＰＯＣに基づき決定される適切なタイミングで、外部に復号画像＃２として出力される。
［復号ピクチャバッファ１２］
復号ピクチャバッファ１２には、ピクチャ復号部で復号された各ピクチャの局所復号画像が、レイヤＩＤ、当該ピクチャのＰＯＣ（Picture Order Count、ピクチャ順序情報）と関連付けられて記録されている。復号ピクチャバッファ１２は、所定の出力タイミングで、出力対象のＰＯＣを決定する。その後、当該ＰＯＣに対応する局所復号画像を、復号画像＃２を構成するピクチャの一つとして外部に出力する。
図２４は、復号ピクチャメモリの構成を示す概念図である。図中内部に数字を記したボックスが局所復号画像を示す。数字はＰＯＣを示す。図２４の図の通り、複数のレイヤの局所復号画像が、そのレイヤＩＤ、ＰＯＣ、局所復号画像に関連づけられて記録される。さらに、レイヤＩＤに対応するビューＩＤview_id、デプスフラグdepth_flagも局所復号画像に関連づけられて記録される。
［参照ピクチャ管理部１３］
図３１は、本実施形態に係る参照ピクチャ管理部１３の構成を示す概略図である。参照ピクチャ管理部１３は、参照ピクチャセット設定部１３１と、参照ピクチャリスト導出部１３２を含んで構成される。
参照ピクチャセット設定部１３１は、参照ピクチャ情報復号部２１８で復号されたRPS情報、および、復号ピクチャバッファ１２に記録されている局所復号画像とレイヤＩＤ、ＰＯＣの情報に基づいて、参照ピクチャセットRPSを構築して参照ピクチャリスト導出部１３２に出力する。なお、参照ピクチャセット設定部１３１の詳細は後述する。
参照ピクチャリスト導出部１３２は、参照ピクチャ情報復号部２１８で復号されたＲＰＬ修正情報、および、参照ピクチャセット設定部１３１から入力された参照ピクチャセットRPSに基づいて参照ピクチャリストＲＰＬを生成して、ピクチャ復号部１１に出力する。なお、参照ピクチャリスト導出部１３２の詳細は後述する。
（参照ピクチャ情報復号処理の詳細）
上記復号手順におけるＳ１４の処理のうち、ＲＰＳ情報およびＲＰＬ修正情報の復号処理について詳細を説明する。
（ＲＰＳ情報復号処理）
ＲＰＳ情報は、参照ピクチャセットを構築するためにＳＰＳまたはスライスヘッダより復号される情報である。ＲＰＳ情報には以下を含む。
１．ＳＰＳ短期ＲＰＳ情報：ＳＰＳに含まれる短期参照ピクチャセット情報
２．ＳＰＳ長期ＲＰ情報：ＳＰＳに含まれる長期参照ピクチャ情報
３．ＳＨ短期ＲＰＳ情報：スライスヘッダに含まれる短期参照ピクチャセット情報
４．ＳＨ長期ＲＰ情報：スライスヘッダに含まれる長期参照ピクチャ情報
（１．ＳＰＳ短期ＲＰＳ情報）
ＳＰＳ短期ＲＰＳ情報は、ＳＰＳを参照する各ピクチャから利用され得る複数の短期参照ピクチャセットの情報を含む。なお、短期参照ピクチャセットとは、対象ピクチャに対する相対的な位置（例えば対象ピクチャとのＰＯＣ差分）により指定される参照ピクチャ（短期参照ピクチャ）となり得るピクチャの集合である。
ＳＰＳ短期ＲＰＳ情報の復号について、図３４を参照して説明する。図３４は、ヘッダ復号部１０および参照ピクチャ情報復号部２１８においてＳＰＳ復号時に利用されるＳＰＳシンタックス表の一部を例示している。図３４の（Ａ）の部分がＳＰＳ短期ＲＰＳ情報に相当する。ＳＰＳ短期ＲＰＳ情報には、ＳＰＳに含まれる短期参照ピクチャセットの数（num_short_term_ref_pic_sets）、および、各短期参照ピクチャセットの情報（short_term_ref_pic_set(i)）が含まれる。
短期参照ピクチャセット情報について、図３５を参照して説明する。図３５は、ヘッダ復号部１０および参照ピクチャ情報復号部２１８においてＳＰＳ復号時、および、スライスヘッダ復号時に利用される短期参照ピクチャセットのシンタックス表を例示している。
短期参照ピクチャセット情報には、対象ピクチャより表示順が早い短期参照ピクチャ数（num_negative_pics）、および、対象ピクチャより表示順が遅い短期参照ピクチャ数（num_positive_pics）が含まれる。なお、以下では、対象ピクチャより表示順が早い短期参照ピクチャを前方短期参照ピクチャ、対象ピクチャより表示順が遅い短期参照ピクチャを後方短期参照ピクチャと呼ぶ。
また、短期参照ピクチャセット情報には、各前方短期参照ピクチャに対して、対象ピクチャに対するＰＯＣ差分の絶対値（delta_poc_s0_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s0_flag[i]）が含まれる。加えて、各後方短期参照ピクチャに対して、対象ピクチャに対するＰＯＣ差分の絶対値（delta_poc_s1_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s1_flag[i]）が含まれる。
（２．ＳＰＳ長期ＲＰ情報）
ＳＰＳ長期ＲＰ情報は、ＳＰＳを参照する各ピクチャから利用され得る複数の長期参照ピクチャの情報を含む。なお、長期参照ピクチャとは、シーケンス内の絶対的な位置（例えばＰＯＣ）により指定されるピクチャである。
ＳＰＳ長期ＲＰ情報の復号について、図３４を再び参照して説明する。図３４の（Ｂ）の部分がＳＰＳ長期ＲＰ情報に相当する。ＳＰＳ長期ＲＰ情報には、ＳＰＳで伝送される長期参照ピクチャの有無を示す情報（long_term_ref_pics_present_flag）、ＳＰＳに含まれる長期参照ピクチャの数（num_long_term_ref_pics_sps）、および、各長期参照ピクチャの情報が含まれる。長期参照ピクチャの情報には、参照ピクチャのＰＯＣ（lt_ref_pic_poc_lsb_sps[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_lt_sps_flag[i]）が含まれる。
なお、上記参照ピクチャのＰＯＣは、参照ピクチャに関連付けられたＰＯＣの値自体であってもよいし、ＰＯＣのＬＳＢ（Least Significant Bit）、すなわち、ＰＯＣを既定の２の冪乗の数で割った余りの値を用いてもよい。
（３．ＳＨ短期ＲＰＳ情報）
ＳＨ短期ＲＰＳ情報は、スライスヘッダを参照するピクチャから利用され得る単一の短期参照ピクチャセットの情報を含む。
ＳＰＳ短期ＲＰＳ情報の復号について、図３６を参照して説明する。図３６は、ヘッダ復号部１０および参照ピクチャ情報復号部２１８においてスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図３６の（Ａ）の部分がＳＨ短期ＲＰＳ情報に相当する。ＳＨ短期ＲＰＳ情報は、短期参照ピクチャセットをＳＰＳで復号済みの短期参照ピクチャセットの中から選択するか、スライスヘッダに明示的に含めるかを示すフラグ（short_term_ref_pic_set_sps_flag）を含む。ＳＰＳで復号済の中から選択する場合、復号済の短期参照ピクチャセットを一つ選択する識別子（short_term_ref_pic_set_idx）が含まれる。スライスヘッダに明示的に含める場合は、前述の図７を参照して説明したシンタックス表（short_term_ref_pic_set(idx)）に相当する情報が、ＳＰＳ短期ＲＰＳ情報に含まれる。
（４．ＳＨ長期ＲＰ情報）
ＳＨ長期ＲＰ情報は、スライスヘッダを参照するピクチャから利用され得る長期参照ピクチャの情報を含む。
ＳＨ長期ＲＰ情報の復号について、図３６を再び参照して説明する。図３６の（Ｂ）の部分がＳＨ長期ＲＰ情報に相当する。ＳＨ長期ＲＰ情報は、対象ピクチャで長期参照ピクチャが利用可能（long_term_ref_pic_present_flag）である場合のみスライスヘッダに含まれる。ＳＰＳで１以上の長期参照ピクチャを復号済である場合（num_long_term_ref_pics_sps>0）、ＳＰＳで復号済の長期参照ピクチャの中で対象ピクチャで参照され得る参照ピクチャの数（num_long_term_sps）がＳＨ長期ＲＰ情報に含まれる。また、スライスヘッダで明示的に伝送される長期参照ピクチャ数（num_long_term_pics）がＳＨ長期ＲＰ情報に含まれる。加えて、上記num_long_term_spsの数の長期参照ピクチャをＳＰＳで伝送済の長期参照ピクチャの中から選択する情報（lt_idx_sps[i]）がＳＨ長期ＲＰ情報に含まれる。さらに、スライスヘッダに明示的に含める長期参照ピクチャの情報として、上記num_long_term_picsの数だけ、参照ピクチャのＰＯＣ（poc_lsb_lt [i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_lt_flag[i]）が含まれる。
（RPL修正情報復号処理）
RPL修正情報は、参照ピクチャリストRPLを構築するためにＳＰＳまたはスライスヘッダより復号される情報である。RPL修正情報には、SPSリスト修正情報、および、SHリスト修正情報が含まれる。
（ＳＰＳリスト修正情報）
ＳＰＳリスト修正情報はＳＰＳに含まれる情報であり、参照ピクチャリスト修正の制約に係る情報である。ＳＰＳリスト修正情報について、図３４を再び参照して説明する。図３４の（Ｃ）の部分がＳＰＳリスト修正情報に相当する。ＳＰＳリスト修正情報には、ピクチャに含まれる前スライスで参照ピクチャリストが共通か否かを示すフラグ（restricted_ref_pic_lists_flag）、および、スライスヘッダ内にリスト並べ替えに関する情報が存在するか否かを示すフラグ（lists_modification_present_flag）が含まれる。
（ＳＨリスト修正情報）
ＳＨリスト修正情報はスライスヘッダに含まれる情報であり、対象ピクチャに適用される参照ピクチャリストの長さ（参照リスト長）の更新情報、および、参照ピクチャリストの並べ替え情報（参照リスト並べ替え情報）が含まれる。SHリスト修正情報について、図３７を参照して説明する。図３７はヘッダ復号部１０および参照ピクチャ情報復号部２１８においてスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図３７の（Ｃ）の部分がＳＨリスト修正情報に相当する。
参照リスト長更新情報として、リスト長の更新有無を示すフラグ（num_ref_idx_active_override_flag）が含まれる。加えて、Ｌ０参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l0_active_minus1）、および、Ｌ１参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l1_active_minus1）が含まれる。
参照リスト並べ替え情報としてスライスヘッダに含まれる情報について、図３８を参照して説明する。図３８はヘッダ復号部１０および参照ピクチャ情報復号部２１８においてスライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示している。
参照リスト並べ替え情報には、Ｌ０参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l0）が含まれる。前記フラグの値が１（Ｌ０参照リストの並べ替えが有る場合）、かつ、NumPocTotalCurrが２より大きい場合、Ｌ０参照リスト並べ替え順序（list_entry_l0[i]）が参照リスト並べ替え情報に含まれる。ここで、NumPocTotalCurrは、現ピクチャにおいて利用可能な参照ピクチャの数を表す変数である。したがって、Ｌ０参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照ピクチャ数が２より大きい場合にのみ、Ｌ０参照リスト並べ替え順序がスライスヘッダに含まれる。
同様に、参照ピクチャがＢスライスである場合、つまり、対象ピクチャにおいてＬ１参照リストが利用可能である場合、Ｌ１参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l1）が参照リスト並べ替え情報に含まれる。前記フラグの値が１、かつ、NumPocTotalCurrが２より大きい場合、Ｌ１参照リスト並べ替え順序（list_entry_l1[i]）が参照リスト並べ替え情報に含まれる。言い換えると、Ｌ１参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照ピクチャ数が２より大きい場合にのみ、Ｌ１参照リスト並べ替え順序がスライスヘッダに含まれる。
（参照ピクチャセット導出処理の詳細）
前述の動画像復号手順におけるＳ１５の処理、すなわち、参照ピクチャセット設定部による参照ピクチャセット導出処理の詳細を説明する。
既に説明したとおり、参照ピクチャセット設定部１３１は、ＲＰＳ情報と、復号ピクチャバッファ１２に記録されている情報に基づいて、対象ピクチャの復号に用いる参照ピクチャセットＲＰＳを生成する。
参照ピクチャセットRPSは、対象ピクチャ、または、対象ピクチャに復号順で後続のピクチャにおいて、復号時に参照画像として利用可能なピクチャ（参照可能ピクチャ）の集合である。参照ピクチャセットは、参照可能ピクチャの種類に応じて次の２つのサブセットに分けられる。
・現ピクチャ参照可能リストListCurr：復号ピクチャバッファ上のピクチャのうち、対象ピクチャにおける参照可能ピクチャのリスト
・後続ピクチャ参照可能リストListFoll：対象ピクチャでは参照されないが、対象ピクチャに復号順で後続のピクチャで参照可能な復号ピクチャバッファ上のピクチャのリスト
なお、現ピクチャ参照可能リストに含まれるピクチャの数を、現ピクチャ参照可能ピクチャ数NumCurrListと呼ぶ。なお、前述の図３８を参照して説明したNumPocTotalCurrは、NumCurrListと同一である。
現ピクチャ参照可能リストは、さらに３つの部分リストから構成される。
・現ピクチャ長期参照可能リストListLtCurr：ＳＰＳ長期ＲＰ情報またはSH長期RP情報により指定される現ピクチャ参照可能ピクチャ
・現ピクチャ短期前方参照可能リストListStCurrBefore：ＳＰＳ短期ＲＰＳ情報またはＳＨ短期ＲＰＳ情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
・現ピクチャ短期後方参照可能リストListStCurrAfter：ＳＰＳ短期ＲＰＳ情報またはＳＨ短期ＲＰＳ情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
後続ピクチャ参照可能リストは、さらに２つの部分リストから構成される。
・後続ピクチャ長期参照可能リストListLtFoll：ＳＰＳ長期ＲＰ情報またはＳＨ長期ＲＰ情報により指定される後続ピクチャ参照可能ピクチャ
・後続ピクチャ短期参照可能リストListStFoll：ＳＰＳ短期ＲＰＳ情報またはＳＨ短期ＲＰＳ情報により指定される現ピクチャ参照可能ピクチャ
参照ピクチャセット設定部１３１は、ＮＡＬユニットタイプがＩＤＲ以外の場合に、参照ピクチャセットＲＰＳ、すなわち、現ピクチャ短期前方参照可能リストListStCurrBefore、現ピクチャ短期後方参照可能リストListStCurrAfter、現ピクチャ長期参照可能リストListLtCurr、後続ピクチャ短期参照可能リストListStFoll、および、後続ピクチャ長期参照可能リストListLtFollを次の手順で生成する。加えて、現ピクチャ参照可能ピクチャ数を表す変数NumPocTotalCurrを導出する。なお、前記各参照可能リストは、以下の処理の開始前に空に設定されているとする。参照ピクチャセット設定部１３１は、ＮＡＬユニットタイプがＩＤＲの場合は、参照ピクチャセットＲＰＳを空として導出する。
（Ｓ２０１）ＳＰＳ短期ＲＰＳ情報、および、ＳＨ短期ＲＰＳ情報に基づいて、対象ピクチャの復号に用いる単一の短期参照ピクチャセットを特定する。具体的には、ＳＨ短期ＲＰＳ情報に含まれるshort_term_ref_pic_set_spsの値が０である場合、ＳＨ短期ＲＰＳ情報に含まれるスライスヘッダで明示的に伝送された短期ＲＰＳを選択する。それ以外の場合（short_term_ref_pic_set_spsの値が１の場合）、ＳＨ短期ＲＰＳ情報に含まれるshort_term_ref_pic_set_idxが示す短期ＲＰＳを、ＳＰＳ短期ＲＰＳ情報に含まれる複数の短期ＲＰＳの中から選択する。
（Ｓ２０２）選択された短期ＲＰＳに含まれる参照ピクチャ各々のＰＯＣの値を導出し、復号ピクチャバッファ１２上に当該ＰＯＣ値と関連付けられて記録されている局所復号画像の位置を検出して、参照ピクチャの復号ピクチャバッファ上の記録位置として導出する。
参照ピクチャのＰＯＣ値は、参照ピクチャが前方短期参照ピクチャの場合、対象ピクチャのＰＯＣの値から「delta_poc_s0_minus1[i]+1」の値を減算して導出する。一方、参照ピクチャが後方短期参照ピクチャの場合、対象ピクチャのＰＯＣの値に「delta_poc_s1_minus1[i]+1」の値を加算して導出する。
（Ｓ２０３）短期ＲＰＳに含まれる前方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s0_flag[i]の値が1である場合、当該前方参照ピクチャを現ピクチャ短期前方参照可能リストListStCurrBeforeに追加する。それ以外（used_by_curr_pic_s0_flag[i]の値が0）の場合、当該前方参照ピクチャを後続ピクチャ短期参照可能リストListStFollに追加する。
（Ｓ２０４）短期ＲＰＳに含まれる後方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s1_flag[i]の値が1である場合、当該後方参照ピクチャを現ピクチャ短期後方参照可能リストListStCurrAfterに追加する。それ以外（used_by_curr_pic_s1_flag[i]の値が０の場合、当該前方参照ピクチャを後続ピクチャ短期参照可能リストListStFollに追加する。
（Ｓ２０５） ＳＰＳ長期ＲＰ情報、および、ＳＨ長期ＲＰ情報に基づいて、対象ピクチャの復号に用いる長期参照ピクチャセットを特定する。具体的には、num_long_term_spsの数の参照ピクチャを、ＳＰＳ長期ＲＰ情報に含まれ、かつ、対象ピクチャとレイヤＩＤが等しい参照ピクチャの中から選択して、順に長期参照ピクチャセットに追加する。選択される参照ピクチャは、lt_idx_sps[i]の示す参照ピクチャである。続いて、num_long_term_picsの数の参照ピクチャをＳＨ長期ＲＰ情報に含まれる参照ピクチャを順に長期参照ピクチャセットに追加する。対象ピクチャのレイヤＩＤが０以外の場合には、対象ピクチャとレイヤＩＤが異なるピクチャの中から、対象ピクチャのＰＯＣと等しいＰＯＣを持つ参照ピクチャをさらに長期参照ピクチャセットに追加する。
（Ｓ２０６）長期参照ピクチャセットに含まれる参照ピクチャ各々のＰＯＣの値を導出し、復号ピクチャバッファ１２上で対象ピクチャとレイヤＩＤが等しい参照ピクチャの中から当該ＰＯＣ値と関連付けられて記録されている局所復号画像の位置を検出して、参照ピクチャの復号ピクチャバッファ上の記録位置として導出する。また、対象ピクチャとレイヤＩＤが異なる参照ピクチャについては、レイヤＩＤと対象ピクチャのＰＯＣと関連付けられて記録されている局所復号画像の位置を検出して、参照ピクチャの復号ピクチャバッファ上の記録位置として導出する。
長期参照ピクチャのＰＯＣは、対象ピクチャとレイヤＩＤが等しい参照ピクチャについては、関連付けて復号されたpoc_lst_lt[i]、または、lt_ref_pic_poc_lsb_sps[i]の値から直接導出される。対象ピクチャとレイヤＩＤが異なる参照ピクチャについては、対象ピクチャのＰＯＣが設定される。
（Ｓ２０７）長期参照ピクチャセットに含まれる参照ピクチャを順に確認し、関連付けられているused_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が1である場合、当該長期参照ピクチャを現ピクチャ長期参照可能リストListLtCurrに追加する。それ以外（used_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が0）の場合、当該長期参照ピクチャを後続ピクチャ長期参照可能リストListLtFollに追加する。
（Ｓ２０８）変数NumPocTotalCurrの値を、現ピクチャから参照可能な参照ピクチャの和に設定する。すなわち、変数NumPocTotalCurrの値を、現ピクチャ短期前方参照可能リストListStCurrBefore、現ピクチャ短期後方参照可能リストListStCurrAfter、および、現ピクチャ長期参照可能リストListLtCurrの３つのリストの各要素数の和に設定する。
（参照ピクチャリスト構築処理の詳細）
上記復号手順におけるＳ１６の処理、すなわち、参照ピクチャリスト構築処理の詳細を図１を参照して説明する。既に説明したとおり、参照ピクチャリスト導出部１３２は、参照ピクチャセットＲＰＳと、ＲＰＬ修正情報に基づいて参照ピクチャリストＲＰＬを生成する。
参照ピクチャリストはＬ０参照リストとＬ１参照リストの２つのリストから構成される。始めに、Ｌ０参照リストの構築手順を説明する。Ｌ０参照リストは、以下のＳ３０１〜Ｓ３０７に示す手順で構築される。
（Ｓ３０１）暫定Ｌ０参照リストを生成して、空のリストに初期化する。
（Ｓ３０２）暫定Ｌ０参照リストに対し、現ピクチャ短期前方参照可能リストに含まれる参照ピクチャを順に追加する。
（Ｓ３０３）暫定Ｌ０参照リストに対し、現ピクチャ短期後方参照可能リストに含まれる参照ピクチャを順に追加する。
（Ｓ３０４）暫定Ｌ０参照リストに対し、現ピクチャ長期参照可能リストに含まれる参照ピクチャを順に追加する。
（Ｓ３０５）参照ピクチャリストが修正される場合（ＲＰＬ修正情報に含まれるlists_modification_present_flagの値が１の場合）、以下のＳ３０６ａ〜Ｓ３０６ｂの処理を実行する。そうでない場合（lists_modification_present_flagの値が０の場合）、Ｓ３０７の処理を実行する。
（Ｓ３０６ａ）Ｌ０参照ピクチャの修正が有効な場合（ＲＰＬ修正情報に含まれるref_pic_list_modification_flag_l0の値が１の場合）であって、かつ、現ピクチャ参照可能ピクチャ数NumCurrListが２に等しい場合、Ｓ３０６ｂを実行する。そうでない場合、Ｓ３０６ｃを実行する。
（Ｓ３０６ｂ）ＲＰＬ修正情報に含まれるリスト並べ替え順序list_entry_l0[i]の値を下記の式により設定し、その後、Ｓ３０６ｃを実行する。
list_entry_l0[0] = 1
list_entry_l0[1] = 0
（Ｓ３０６ｃ）参照リスト並べ替え順序list_entry_l0[i]の値に基づいて、暫定Ｌ０参照リストの要素を並べ換えて、Ｌ０参照リストとする。参照ピクチャインデックスrIdxに対応するＬ０参照リストの要素RefPicList0[rIdx]は、次式により導出される。ここで、RefListTemp0[i]は、暫定Ｌ０参照リストのi番目の要素を表す。
RefPicList0[ rIdx ] = RefPicListTemp0[ list_entry_l0[ rIdx ] ]
上記の式によれば、参照リスト並べ替え順序list_entry_l0[i]において、参照ピクチャインデックスrIdxの示す位置に記録されている値を参照し、暫定Ｌ０参照リストにおいて前記値の位置に記録されている参照ピクチャを、Ｌ０参照リストのrIdxの位置の参照ピクチャとして格納する。
（Ｓ３０７）暫定Ｌ０参照リストをＬ０参照リストとする。
次にＬ１参照リストを構築する。なお、Ｌ１参照リストも、上記Ｌ０参照リストと同様の手順で構築できる。上記Ｌ０参照リストの構築手順（Ｓ３０１〜Ｓ３０７）において、Ｌ０参照ピクチャ、Ｌ０参照リスト、暫定Ｌ０参照リスト、list_entry_l0をそれぞれ、Ｌ１参照ピクチャ、Ｌ１参照リスト、暫定Ｌ１参照リスト、list_entry_l1と置き換えればよい。
上記では、図３８において、現ピクチャ参照可能ピクチャ数が２の場合にＲＰＬ修正情報を省略する例を記載したが、それに限らない。現ピクチャ参照可能ピクチャ数が１の場合にＲＰＬ修正情報を省略してもよい。具体的には、参照ピクチャ情報復号部２１８におけるＳＨリスト修正情報の復号処理において、参照リスト並べ替え情報を図３９に示すシンタックス表に基づいてパースする。図３９は、スライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示している。
［ピクチャ復号部１１］
ピクチャ復号部１１は、符号化データ＃１、ヘッダ復号部１０より入力されるヘッダ情報、復号ピクチャバッファ１２に記録されている参照ピクチャ、および、参照ピクチャリスト導出部１３２より入力される参照ピクチャリストに基づいて、各ピクチャの局所復号画像を生成して復号ピクチャバッファ１２に記録する。
図５は、本実施形態に係るピクチャ復号部１１の構成を示す概略図である。ピクチャ復号部１１は、エントロピー復号部３０１、予測パラメータ復号部３０２、予測パラメータメモリ（予測パラメータ記憶部）３０７、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１、及び加算部３１２を含んで構成される。
また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。
エントロピー復号部３０１は、外部から入力された符号化データ＃１に対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための残差情報などがある。
エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードPredMode、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXである。どの符号を復号するか否かの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。エントロピー復号部３０１は、量子化係数を逆量子化・逆ＤＣＴ部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、離散コサイン変換）を行い量子化して得られる係数である。
インター予測パラメータ復号部３０３は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを復号する。
インター予測パラメータ復号部３０３は、復号したインター予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。インター予測パラメータ復号部３０３の詳細については後述する。
イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを生成する。イントラ予測パラメータとは、復号対象ブロックの予測画像をイントラ予測を用いて生成する際に必要な情報であり、例えば、イントラ予測モードIntraPredModeである。
イントラ予測パラメータ復号部３０４は、入力された符号から、デプスイントラ予測モードdmm_modeを復号する。イントラ予測パラメータ復号部３０４は、デプスイントラ予測モードdmm_modeを用いて、イントラ予測モードIntraPredModeを以下の式から生成する。
IntraPredMode = dmm_mode + 35
デプスイントラ予測モードdmm_modeが０または１、即ち、MODE_DMM_WFULLまたはMODE_DMM_WFULLDELTAを示している場合には、イントラ予測パラメータ復号部３０４は、入力された符号から、ウェッジレットパターンインデックスwedge_full_tab_idxを復号する。
デプスイントラ予測モードdmm_modeが、MODE_DMM_WFULLDELTAまたはMODE_DMM_CPREDTEXDELTAである場合には、イントラ予測パラメータ復号部３０４は、入力された符号から、ＤＣ１絶対値、ＤＣ１符号、ＤＣ２絶対値、ＤＣ２符号を復号する。デプスイントラ予測モードdmm_modeは、ＤＣ１絶対値、ＤＣ１符号、ＤＣ２絶対値、ＤＣ２符号から量子化オフセットＤＣ１DmmQuantOffsetDC1、量子化オフセットＤＣ２DmmQuantOffsetDC2を以下の式より生成する。
DmmQuantOffsetDC1 = (1 - 2*dmm_dc_1_sign_flag) * dmm_dc_1_abs
DmmQuantOffsetDC2 = (1 - 2*dmm_dc_2_sign_flag) * dmm_dc_2_abs
イントラ予測パラメータ復号部３０４は、生成したイントラ予測モードIntraPredMode、デルタエンド、量子化オフセットＤＣ１DmmQuantOffsetDC1、量子化オフセットＤＣ２DmmQuantOffsetDC2と復号したウェッジレットパターンインデックスwedge_full_tab_idxを予測パラメータとする。
イントラ予測パラメータ復号部３０４は、イントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。
予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードpredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idx）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXがある。
予測画像生成部３０８には、エントロピー復号部３０１から入力された予測モードpredModeが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、復号ピクチャバッファ１２から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードpredModeが示す予測モードで、入力された予測パラメータと読み出した参照ピクチャを用いて予測ピクチャブロックＰ（予測画像）を生成する。
ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャを用いてインター予測により予測ピクチャブロックＰを生成する。予測ピクチャブロックＰはＰＵに対応する。ＰＵは、上述したように予測処理を行う単位となる複数の画素からなるピクチャの一部分、つまり１度に予測処理が行われる復号対象ブロックに相当する。
インター予測画像生成部３０９は、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（L0参照リスト、もしくはL1参照リスト）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャから、復号対象ブロックを基準としてベクトルmvLXが示す位置にある参照ピクチャブロックを復号ピクチャバッファ１２から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックについて予測を行って予測ピクチャブロックＰを生成する。インター予測画像生成部３０９は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたブロックのうち復号対象ブロックから予め定めた範囲にある参照ピクチャブロックを復号ピクチャバッファ１２から読み出す。予め定めた範囲とは、復号対象ブロックがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接ブロックのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。
イントラ予測画像生成部３１０は、読み出した参照ピクチャブロックと、入力された予測パラメータを用いて予測ピクチャブロックを生成する。
イントラ予測画像生成部３１０は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
逆量子化・逆ＤＣＴ部３１１は、エントロピー復号部３０１から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部３１１は、求めたＤＣＴ係数について逆ＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、逆離散コサイン変換）を行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部３１１は、算出した復号残差信号を加算部３１２に出力する。
加算部３１２は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０から入力された予測ピクチャブロックＰと逆量子化・逆ＤＣＴ部３１１から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部３１２は、生成した参照ピクチャブロックを参照ピクチャバッファ１２に記憶し、生成した参照ピクチャブロックをピクチャ毎に統合した復号レイヤ画像Ｔｄを外部に出力する。
（インター予測パラメータ復号部の構成）
次に、インター予測パラメータ復号部３０３の構成について説明する。
図６は、本実施形態に係るインター予測パラメータ復号部３０３の構成を示す概略図である。インター予測パラメータ復号部３０３は、インター予測パラメータ復号制御部３０３１、AMVP予測パラメータ導出部３０３２、加算部３０３５及びマージ予測パラメータ導出部３０３６を含んで構成される。
インター予測パラメータ復号制御部３０３１は、インター予測に関連する符号（シンタックス要素の復号をエントロピー復号部３０１に指示し、符号化データに含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを抽出する。
インター予測パラメータ復号制御部３０３１は、まず、をマージフラグ抽出する。インター予測パラメータ復号制御部３０３１が、あるシンタックス要素を抽出すると表現する場合は、あるシンタックス要素の復号をエントロピー復号部３０１に指示し、該当のシンタックス要素を符号化データから読み出すことを意味する。ここで、マージフラグが示す値が１、すなわち、マージ予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、マージ予測に係る予測パラメータとして、マージインデックスmerge_idxを抽出する。インター予測パラメータ復号制御部３０３１は、抽出したマージインデックスmerge_idxをマージ予測パラメータ導出部３０３６に出力する。
マージフラグmerge_flagが０、すなわち、AMVP予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、エントロピー復号部３０１を用いて符号化データからAMVP予測パラメータを抽出する。AMVP予測パラメータとして、例えば、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。インター予測パラメータ復号制御部３０３１は、抽出したインター予測フラグinter_pred_idxから導出した予測リスト利用フラグpredFlagLXと、参照ピクチャインデックスrefIdxLXをAMVP予測パラメータ導出部３０３２及び予測画像生成部３０８（図５）に出力し、また予測パラメータメモリ３０７（図５）に記憶する。インター予測パラメータ復号制御部３０３１は、抽出したベクトルインデックスmvp_LX_idxをAMVP予測パラメータ導出部３０３２に出力する。インター予測パラメータ復号制御部３０３１は、抽出した差分ベクトルmvdLXを加算部３０３５に出力する。
図７は、本実施形態に係るマージ予測パラメータ導出部３０３６の構成を示す概略図である。マージ予測パラメータ導出部３０３６は、マージ候補導出部３０３６１とマージ候補選択部３０３６２を備える。マージ候補導出部３０３６１は、マージ候補格納部３０３６１１と、拡張マージ候補導出部３０３６１２と、基本マージ候補導出部３０３６１３とＭＰＩ候補導出部３０３６１４を含んで構成される。
マージ候補格納部３０３６１１は、拡張マージ候補導出部３０３６１２及び基本マージ候補導出部３０３６１３から入力されたマージ候補を格納する。なお、マージ候補は、予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLXを含んで構成されている。マージ候補格納部３０３６１１において、格納されたマージ候補には、所定の規則に従ってインデックスが割り当てられる。例えば、拡張マージ候補導出部３０３６１２またはＭＰＩ候補導出部３０３６１４から入力されたマージ候補には、インデックスとして「０」を割り当てる。
ＭＰＩ候補導出部３０３６１４は、対象ブロックのレイヤがデプスレイヤであり、なお且つ、動きパラメータ継承を用いることが可能であれば、即ち、デプスフラグdepth_flag及び動きパラメータ継承フラグuse_mpi_flagが共に１の場合に、対象レイヤとは異なるレイヤの動き補償パラメータを用いて、マージ候補を導出する。対象レイヤとは異なるレイヤとしては、例えば、対象のデプスピクチャと同一ビューＩＤview_id、同一ＰＯＣを持つテクスチャレイヤのピクチャである。
ＭＰＩ候補導出部３０３６１４は、対象レイヤとは異なるレイヤのピクチャ中の、対象ブロックと同一座標のブロック（対応ブロックとも呼ぶ）の予測パラメータを予測パラメータメモリ３０７から読みだす。
対応ブロックのサイズが対象ブロックよりも小さい場合には、ＭＰＩ候補導出部３０３６１４は、対応するテクスチャピクチャ中の対象ブロックと同一座標のＣＴＵの分割フラグsplit_flagと、該ＣＴＵに含まれる複数のブロックの予測パラメータを読み出す。
対応ブロックのサイズが対象ブロックよりも大きい場合には、ＭＰＩ候補導出部３０３６１４は、対応ブロックの予測パラメータを読み出す。
ＭＰＩ候補導出部３０３６１４は、読みだした予測パラメータをマージ候補としてマージ候補格納部３０３６１１に出力する。なお、ＣＴＵの分割フラグsplit_flagも読みだした場合には、該分割情報もマージ候補に含める。
拡張マージ候補導出部３０３６１２は、変位ベクトル取得部３０３６１２２と、インターレイヤマージ候補導出部３０３６１２１とインターレイヤ変位マージ候補導出部３０３６１２３を含んで構成される。
拡張マージ候補導出部３０３６１２は、対象ブロックのレイヤがデプスレイヤでない、又は、動きパラメータ継承を用いることが不可能であれば、即ち、デプスフラグdepth_flagまたは動きパラメータ継承フラグuse_mpi_flagのどちらかが０の場合に、マージ候補を導出する。なお、拡張マージ候補導出部３０３６１２は、デプスフラグdepth_flag及び動きパラメータ継承フラグuse_mpi_flagが共に１である場合に、マージ候補を導出してもよい。この場合には、マージ候補格納部３０３６１１は、拡張マージ候補導出部３０３６１２とＭＰＩ候補導出部３０３６１４が導出するマージ候補に異なるインデックスを割り当てる。
変位ベクトル取得部３０３６１２２は、まず、復号対象ブロックに隣接する複数の候補ブロック（例えば、左、上、右上に隣接するブロック）から順に変位ベクトルを取得する。具体的には、候補ブロックの一つを選択し、選択した候補ブロックのベクトルが変位ベクトルであるか動きベクトルであるかを、候補ブロックの参照ピクチャインデックスrefIdxLXを用いて判定し変位ベクトルが有る場合には、それを変位ベクトルとする。候補ブロックに変位ベクトルがない場合には、次の候補ブロックを順に走査する。隣接するブロックに変位ベクトルがない場合、変位ベクトル取得部３０３６１２２は、時間的に別の表示順の参照ピクチャに含まれるブロックの対象ブロックに対応する位置のブロックの変位ベクトルの取得を試みる。変位ベクトルが取得できなかった場合には、変位ベクトル取得部３０３６１２２は、変位ベクトルとしてゼロベクトルを設定する。変位ベクトル取得部３０３６１２２は、変位ベクトルをインターレイヤマージ候補導出部３０３６１２１及びインターレイヤ変位マージ候補導出部に出力する。
インターレイヤマージ候補導出部３０３６１２１は、変位ベクトル取得部３０３６１２２から変位ベクトルを入力される。インターレイヤマージ候補導出部３０３６１２１は、別レイヤ（例えばベースレイヤ、ベースビュー）の復号対象ピクチャと同一ＰＯＣを持つピクチャ内から、変位ベクトル取得部３０３６１２２から入力された変位ベクトルだけが示すブロックを選択し、該ブロックが有する動きベクトルである予測パラメータを予測パラメータメモリ３０７から読み出す。より具体的には、インターレイヤマージ候補導出部３０３６１２１が読みだす予測パラメータは、対象ブロックの中心点を起点にしたときに、起点の座標に変位ベクトルを加算した座標を含むブロックの予測パラメータである。
参照ブロックの座標（xRef、yRef）は、対象ブロックの座標が(xP、yP)、変位ベクトルが（mvDisp[0]、mvDisp[1]）、対象ブロックの幅と高さがnPSW、nPSHの場合に以下の式により導出する。
xRef = Clip3( 0, PicWidthInSamplesL - 1, xP + ( ( nPSW - 1 ) >> 1 ) + ( ( mvDisp[0] + 2 ) >> 2 ) )
yRef = Clip3( 0, PicHeightInSamplesL - 1, yP + ( ( nPSH - 1 ) >> 1 ) + ( ( mvDisp[1] + 2 ) >> 2 ))
インターレイヤ変位マージ候補導出部３０３６１２３は、変位ベクトル取得部３０３６１２２から変位ベクトルを入力される。インターレイヤ変位マージ候補導出部３０３６１２３は、入力された変位ベクトルと、変位ベクトルが指す先のレイヤ画像の参照ピクチャインデックスrefIdxLX（例えば、復号対象ピクチャと同一ＰＯＣを持つベースレイヤ画像のインデックス）をマージ候補としてマージ候補格納部３０３６１１に出力する。本マージ候補は、変位予測のインターレイヤ候補（インタービュー候補）でありインターレイヤマージ候補（変位予測）とも記載する。
基本マージ候補導出部３０３６１３は、空間マージ候補導出部３０３６１３１と時間マージ候補導出部３０３６１３２と結合マージ候補導出部３０３６１３３とゼロマージ候補導出部３０３６１３４を含んで構成される。
空間マージ候補導出部３０３６１３１は、所定の規則に従って、予測パラメータメモリ３０７が記憶している予測パラメータ（予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLX）を読み出し、読み出した予測パラメータをマージ候補として導出する。読み出される予測パラメータは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係る予測パラメータである。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
時間マージ候補導出部３０３６１３２は、復号対象ブロックの右下の座標を含む参照画像中のブロックの予測パラメータを予測パラメータメモリ３０７から読みだしマージ候補とする。参照画像の指定方法は、例えば、スライスヘッダに置いて指定された参照ピクチャインデックスrefIdxLXでも良いし、復号対象ブロックに隣接するブロックの参照ピクチャインデックスrefIdxLXのうち最小のものを用いて指定しても良い。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
結合マージ候補導出部３０３６１３３は、既に導出されマージ候補格納部３０３６１１に格納された２つの異なる導出済マージ候補のベクトルと参照ピクチャインデックスを、それぞれＬ０、Ｌ１のベクトルとして組み合わせることで結合マージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
ゼロマージ候補導出部３０３６１３４は、参照ピクチャインデックスrefIdxLXが０であり、ベクトルmvLXのＸ成分、Ｙ成分が共に０であるマージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
マージ候補選択部３０３６２は、マージ候補格納部３０３６１１に格納されているマージ候補のうち、インター予測パラメータ復号制御部３０３１から入力されたマージインデックスmerge_idxに対応するインデックスが割り当てられたマージ候補を、対象ＰＵのインター予測パラメータとして選択する。マージ候補選択部３０３６２は選択したマージ候補を予測パラメータメモリ３０７（図５）に記憶するとともに、予測画像生成部３０８（図５）に出力する。なお、マージ候補選択部３０３６２が、ＭＰＩ候補導出部３０３６１４が導出したマージ候補を選択し、なお且つ、該マージ候補が分割フラグsplit_flagを含んでいる場合には、分割フラグsplit_flagによって分割されたブロックそれぞれに対応する複数の予測パラメータが予測パラメータメモリ３０７に記憶され、予測画像生成部３０８に出力される。
図８は、本実施形態に係るAMVP予測パラメータ導出部３０３２の構成を示す概略図である。AMVP予測パラメータ導出部３０３２は、ベクトル候補導出部３０３３と予測ベクトル選択部３０３４を備える。ベクトル候補導出部３０３３は、参照ピクチャインデックスrefIdxに基づいて予測パラメータメモリ３０７（図５）が記憶するベクトル（動きベクトル又は変位ベクトル）をベクトル候補として読み出す。読み出されるベクトルは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係るベクトルである。
予測ベクトル選択部３０３４は、ベクトル候補導出部３０３３が読み出したベクトル候補のうち、インター予測パラメータ復号制御部３０３１から入力されたベクトルインデックスmvp_LX_idxが示すベクトル候補を予測ベクトルmvpLXとして選択する。予測ベクトル選択部３０３４は、選択した予測ベクトルmvpLXを加算部３０３５に出力する。
図９は、ベクトル候補の一例を示す概念図である。図９に示す予測ベクトルリスト６０２は、ベクトル候補導出部３０３３において導出される複数のベクトル候補からなるリストである。予測ベクトルリスト６０２において、左右に一列に配列された５個の長方形は、それぞれ予測ベクトルを示す領域を示す。左端から２番目のmvp_LX_idxの真下の下向きの矢印とその下のmvpLXは、ベクトルインデックスmvp_LX_idxが、予測パラメータメモリ３０７においてベクトルmvpLXを参照するインデックスであることを示す。
候補ベクトルは、復号処理が完了したブロックであって、復号対象ブロックから予め定めた範囲のブロック（例えば、隣接ブロック）を参照し、参照したブロックに係るベクトルに基づいて生成される。なお、隣接ブロックには、対象ブロックに空間的に隣接するブロック、例えば、左ブロック、上ブロックの他、対象ブロックに時間的に隣接するブロック、例えば、対象ブロックと同じ位置で、表示時刻が異なるブロックから得られたブロックを含む。
加算部３０３５は、予測ベクトル選択部３０３４から入力された予測ベクトルmvpLXとインター予測パラメータ復号制御部から入力された差分ベクトルmvdLXを加算してベクトルmvLXを算出する。加算部３０３５は、算出したベクトルmvLXを予測画像生成部３０８（図５）に出力する。
（インター予測パラメータ復号制御部の構成）
次に、インター予測パラメータ復号制御部３０３１の構成について説明する。インター予測パラメータ復号制御部３０３１は、図１０に示すように、マージインデックス復号部３０３１２、ベクトル候補インデックス復号部３０３１３、及び図示しない、分割モード復号部、マージフラグ復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル差分復号部を含んで構成される。分割モード復号部、マージフラグ復号部、マージインデックス復号部、インター予測フラグ復号部、参照ピクチャインデックス復号部、ベクトル候補インデックス復号部３０３１３、ベクトル差分復号部は各々、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを復号する。
追加予測フラグ復号部３０３１１は、内部に、追加予測フラグ判定部３０３１４を備える。追加予測フラグ判定部３０３１４は、追加予測フラグxpred_flagを符号化データに含まれるか否か（符号化データから読み出して復号するか否か）を判定する。追加予測フラグ判定部３０３１４において、追加予測フラグを符号化データに符号化データに含めると判定された場合には、追加予測フラグ復号部３０３１１は、エントロピー復号部３０１に、追加予測フラグの復号を通知し、エントロピー復号部３０１を通じて符号化データから、追加予測フラグに対応するシンタックス要素を抽出する。逆に、追加予測フラグ判定部３０３１４において、符号化データに含めないと判定した場合には、追加予測フラグに、追加予測を示す値（ここでは１）を導出（infer）する。追加予測フラグ判定部３０３１４については後述する。
（変位ベクトル取得部）
変位ベクトル取得部は、対象ＰＵに隣接するブロックが変位ベクトルを持つ場合には、その変位ベクトルを予測パラメータメモリ３０７から抽出し、予測パラメータメモリ３０７を参照し、対象ＰＵに隣接するブロックの予測フラグpredFlagLX、参照ピクチャインデックスrefIdxLXとベクトルmvLXを読み出す。変位ベクトル取得部は、対象ＰＵに隣接するブロックの予測パラメータを順に読み出し、隣接ブロックの参照ピクチャインデックスから隣接ブロックが変位ベクトルを備えるか否かを判定する。隣接ブロックが変位ベクトルを備える場合には、その変位ベクトルを出力する。隣接ブロックの予測パラメータに変位ベクトルが無い場合にはゼロベクトルを変位ベクトルとして出力する。
（インター予測画像生成部３０９）
図１０は、本実施形態に係るインター予測画像生成部３０９の構成を示す概略図である。インター予測画像生成部３０９は、動き変位補償部３０９１、残差予測部３０９２、照度補償部３０９３、重み予測部３０９４を含んで構成される。
（動き変位補償）
動き変位補償部３０９１は、インター予測パラメータ復号部３０３から入力された、予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXに基づいて、参照ピクチャメモリ３０６から、参照ピクチャインデックスrefIdxLXで指定された参照ピクチャの対象ブロックの位置を起点として、ベクトルmvLXだけずれた位置にあるブロックを読み出すことによって動き変位補償画像を生成する。ここで、ベクトルmvLXが整数ベクトルでない場合には、動き補償フィルタ（もしくは変位補償フィルタ）と呼ばれる小数位置の画素を生成するためのフィルタを施して、動き変位補償画像を生成する。一般に、ベクトルmvLXが動きベクトルの場合、上記処理を動き補償と呼び、変位ベクトルの場合は変位補償と呼ぶ。ここでは総称して動き変位補償と表現する。以下、Ｌ０予測の動き変位補償画像をpredSamplesL0、Ｌ１予測の動き変位補償画像をpredSamplesL1と呼ぶ。両者を区別しない場合predSamplesLXと呼ぶ。以下、動き変位補償部３０９１で得られた動き変位補償画像predSamplesLXに、さらに残差予測および照度補償が行われる例を説明するが、これらの出力画像もまた、動き変位補償画像predSamplesLXと呼ぶ。なお、以下の残差予測および照度補償において、入力画像と出力画像を区別する場合には、入力画像をpredSamplesLX、出力画像をpredSamplesLX´と表現する。
（残差予測）
残差予測部３０９２は、残差予測実施フラグresPredFlagが１の場合に、入力された動き変位補償画像predSamplesLXに対して、残差予測を行う。残差予測実施フラグresPredFlagが０の場合には、入力された動き変位補償画像predSamplesLXをそのまま出力する。refResSamples残差予測は、予測画像生成の対象とする対象レイヤ（第２のレイヤ画像）とは異なる参照レイヤ（第１のレイヤ画像）の残差を、対象レイヤの予測した画像である動き変位補償画像predSamplesLXに加えることにより行われる。すなわち、参照レイヤと同様の残差が対象レイヤにも生じると仮定して、既に導出された参照レイヤの残差を対象レイヤの残差の推定値として用いる。ベースレイヤ（ベースビュー）では同じレイヤの画像のみが参照画像となる。
（照度補償）
照度補償部３０９３は、照度補償フラグic_enable_flagが１の場合に、入力された動き変位補償画像predSamplesLXに対して、照度補償を行う。照度補償フラグic_enable_flagが０の場合には、入力された動き変位補償画像predSamplesLXをそのまま出力する。照度補償部３０９３に入力される動き変位補償画像predSamplesLXは、残差予測がオフの場合には、動き変位補償部３０９１の出力画像であり、残差予測がオンの場合には、残差予測部３０９２の出力画像である。
（重み予測）
重み予測部３０９４は、入力される動き変位画像predSamplesLXに重み係数を乗算することにより予測ピクチャブロックＰ（予測画像）を生成する。入力される動き変位画像predSamplesLXは、残差予測、照度補償が行われる場合には、それらが施された画像である。参照リスト利用フラグの一方（predFlagL0もしくはpredFlagL1）が１の場合（単予測の場合）で、重み予測を用いない場合には入力された動き変位画像predSamplesLX（ＬＸはＬ０もしくはＬ１）を画素ビット数に合わせる以下の式の処理を行う。
predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesLX[ x ][ y ] + offset1 ) >> shift1 )
ここで、shift1=14-bitDepth、offset1=1<<(shift1-1)である。
また、参照リスト利用フラグの両者（predFlagL0もしくはpredFlagL1）が１の場合（双予測の場合）で、重み予測を用いない場合には、入力された動き変位画像predSamplesL0、predSamplesL1を平均し画素ビット数に合わせる以下の式の処理を行う。
predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesL0[ x ][ y ] + predSamplesL1[ x ][ y ] + offset2 ) >> shift2 )
ここで、shift2=15-bitDepth、offset2=1<<(shift2-1)である。
さらに、単予測の場合で、重み予測を行う場合には、重み予測部３０９４は、重み予測係数ｗ０とオフセットｏ０を導出し、以下の式の処理を行う。
predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( (predSamplesLX[ x ][ y ] * w0 + 2log2WD - 1) >> log2WD ) + o0 )
ここで、log2WDは所定のシフト量を示す変数である。
さらに、双予測の場合で、重み予測を行う場合には、重み予測部３０９４は、重み予測係数w0、w1、o0、o1を導出し、以下の式の処理を行う。
predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesL0 [ x ][ y ] * w0 + predSamplesL1[ x ][ y ] * w1 + ((o0 + o1 + 1) << log2WD) ) >> (log2WD + 1) )
〔画像符号化装置〕
以下において、本実施形態に係る画像符号化装置２について、図２５を参照して説明する。
（画像符号化装置の概要）
画像符号化装置２は、概略的に言えば、入力画像＃１０を符号化することによって符号化データ＃１を生成し、出力する装置である。
（画像符号化装置の構成）
本実施形態に係る画像符号化装置２の構成例について説明する。図２５は、本実施形態に係る画像符号化装置２の構成を示す概略図である。画像符号化装置２は、ヘッダ符号化部１０Ｅ、ピクチャ符号化部２１、復号ピクチャバッファ１２、参照ピクチャ決定部１３Ｅを含んで構成される。画像符号化装置２は、複数のレイヤを含む画像において特定の時刻のピクチャから復号を開始する後述するランダムアクセス復号処理が可能である。
［ヘッダ符号化部１０Ｅ］
ヘッダ符号化部１０Ｅは、入力画像＃１０に基づいて、ＮＡＬユニットヘッダ、ＳＰＳ、ＰＰＳ、および、スライスヘッダなどをの、ＮＡＬユニット単位、シーケンス単位、ピクチャ単位、またはスライス単位で復号に利用される情報を生成し、符号化して出力する。
ヘッダ符号化部１０Ｅは、符号化データ＃１に含まれるＶＰＳおよびＳＰＳを既定のシンタックス定義に基づいてパースして、シーケンス単位で復号に利用される情報を符号化する。例えば、レイヤ数に関する情報がＶＰＳに符号化され、復号画像の画像サイズに関連する情報がＳＰＳに符号化される。
また、ヘッダ符号化部１０Ｅは、符号化データ＃１に含まれるスライスヘッダを既定のシンタックス定義に基づいてパースして、スライス単位で復号に利用される情報を符号化する。例えば、スライスタイプがスライスヘッダから符号化される。
ヘッダ符号化部１０Ｅは、レイヤＩＤが表すレイヤが独立レイヤではない場合には、シンタックスを変更し、変更後のシンタックスを符号化する。
なお、ヘッダ符号化部１０Ｅは、シンタックスを変更する代わりに、追加のシンタックスを符号化してもよい。
あるいは、ヘッダ符号化部１０Ｅは、シンタックスを変更する代わりに、シンタックスの符号化をスキップしてもよい。すなわち、レイヤＩＤが表すレイヤが独立レイヤであるか、または、レイヤＩＤが０である場合に限って、シンタックスを符号化してもよい。
ヘッダ符号化部１０Ｅは、ＮＡＬユニットヘッダ符号化部２１１Ｅ、依存レイヤ情報符号化部、プロファイルレベル情報符号化部、レプリゼンテーション情報符号化部、スケーリングリスト符号化部、ＰＯＣ情報符号化部２１０５Ｅ、および、参照ピクチャ情報符号化部２１８Ｅを備えている。
[ＮＡＬユニットヘッダ符号化部２１１Ｅ]
ＮＡＬユニットヘッダ符号化部２１１ＥはレイヤＩＤ符号化部とＮＡＬユニットタイプ符号化部を含んで構成される。
レイヤＩＤ符号化部はレイヤＩＤを符号化し、ＮＡＬユニットタイプ符号化部は、ＮＡＬユニットタイプを符号化する。
［依存レイヤ情報符号化部］
依存レイヤ情報符号化部は、ＶＰＳおよびＶＰＳ拡張から規定のシンタックス定義に基づいて、各レイヤの依存レイヤ情報を符号化するとともに、各レイヤのレプリゼンテーション情報を符号化する。
［プロファイルレベル情報符号化部］
プロファイルレベル情報符号化部は、各レイヤのプロファイルレベル情報を符号化してＶＰＳに含める。また、プロファイルレベル情報符号化部は、独立レイヤ、および、ＳＰＳのレイヤＩＤが０であるレイヤのプロファイルレベル情報を符号化してＳＰＳに含める。
［レプリゼンテーション情報符号化部］
レプリゼンテーション情報符号化部は、図２８（ａ）のシンタックスを符号化してＶＰＳに含めるとともに、図２８（ｂ）のシンタックスを符号化してＳＰＳに含める。
具体的には、レプリゼンテーション情報符号化部は、rep_format()を符号化してＶＰＳに含めるとともに、chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8、bit_depth_chroma_minus8などのレプリゼンテーション情報を符号化してＶＰＳに含める。
また、レプリゼンテーション情報符号化部は、ＳＰＳのレイヤＩＤ（nuh_layer_id）が表すレイヤが独立レイヤではない場合に、レプリゼンテーション情報更新フラグupdate_rep_format_flagを符号化して当該ＳＰＳに含める。さらに、符号化されるレプリゼンテーション情報更新フラグupdate_rep_format_flagが１である場合には、chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8、bit_depth_chroma_minus8などのレプリゼンテーション情報を符号化してＳＰＳに含める。
［スケーリングリスト符号化部］
スケーリングリスト符号化部は、ＳＰＳのレイヤＩＤ（nuh_layer_id）が表すレイヤが独立レイヤではない場合には、sps_infer_scaling_list_flagを符号化し、sps_infer_scaling_list_flagが０以外の場合には、sps_scaling_list_ref_layer_idを符号化してＳＰＳに含める。sps_infer_scaling_list_flagが０の場合には、sps_scaling_list_data_present_flag、および、scaling_list_data()を符号化してＳＰＳに含める。また、同様に、スケーリングリスト符号化部は、ＰＰＳのレイヤＩＤ（nuh_layer_id）が表すレイヤが独立レイヤではない場合には、pps_infer_scaling_list_flagを符号化し、pps_infer_scaling_list_flagが０以外の場合には、sps_scaling_list_ref_layer_idを符号化してＰＰＳに含める。pps_infer_scaling_list_flagが０の場合には、pps_scaling_list_data_present_flag 、および、scaling_list_data()を符号化してＰＰＳに含める。
［参照ピクチャ決定部１３Ｅ］
参照ピクチャ決定部１３Ｅは、参照ピクチャ情報符号化部２１８Ｅと参照ピクチャセット決定部２４と参照ピクチャリスト決定部２５を内部に備える。
参照ピクチャセット決定部２４は、入力画像＃１０と復号ピクチャバッファ１２に記録されている局所復号画像に基づいて、符号化対象ピクチャの符号化及び局所復号に用いる参照ピクチャセットRPSを決定して出力する。
参照ピクチャリスト決定部２５は、入力画像＃１０と参照ピクチャセットに基づいて、符号化対象ピクチャの符号化及び局所復号に用いる参照ピクチャリストRPLを決定して出力する。
［参照ピクチャ情報符号化部２１８Ｅ］
参照ピクチャ情報符号化部２１８Ｅは、ヘッダ符号化部１０Ｅに含まれており、参照ピクチャセットRPSおよび参照ピクチャリストRPLに基づいて、参照ピクチャ情報符号化処理を行い、ＳＰＳおよびスライスヘッダに含める、RPS情報およびRPL修正情報を生成する。
（画像復号装置との対応関係）
画像符号化装置２は、画像復号装置１の各構成と対応する構成を含む。ここで、対応とは、同様の処理、または、逆の処理を行う関係にあるということである。
例えば、画像復号装置１が備える参照ピクチャ情報復号部２１８の参照ピクチャ情報復号処理と、画像符号化装置２が備える参照ピクチャ情報符号化部２１８Ｅの参照ピクチャ情報符号化処理とは、同様である。より詳細には、参照ピクチャ情報復号部２１８は、ＳＰＳやスライスヘッダから復号されるシンタックス値としてRPS情報や修正RPL情報を生成する。それに対し、参照ピクチャ情報符号化部２１８Ｅは、入力されたRPS情報や修正RPL情報を、ＳＰＳやスライスヘッダのシンタックス値として符号化する。
例えば、画像復号装置１において、ビット列から、シンタックス値を復号する処理は、画像符号化装置２において、シンタックス値から、ビット列を符号化する処理と逆の処理としての対応となっている。
（処理の流れ）
画像符号化装置２が、入力画像＃１０から出力符号化データ＃１を生成する手順は次のとおりである。
（Ｓ２１）入力画像＃１０を構成する各ピクチャ（対象ピクチャ）に対して、以下のＳ２２〜Ｓ２９の処理を実行する。
（Ｓ２２）参照ピクチャセット決定部２４は入力画像＃１０内の対象ピクチャと復号ピクチャバッファ１２に記録されている局所復号画像に基づいて参照ピクチャセットRPSを決定して、参照ピクチャリスト決定部２５に出力する。また、参照ピクチャセットRPSの生成に必要なRPS情報を導出して、参照ピクチャ情報符号化部２１８Ｅに出力する。
（Ｓ２３）参照ピクチャリスト決定部２５は入力画像＃１０内の対象ピクチャと入力された参照ピクチャセットRPSに基づいて参照ピクチャリストRPLを導出し、ピクチャ符号化部２１、および、ピクチャ復号部１１に出力する。また、参照ピクチャリストRPLの生成に必要なRPL修正情報を導出して、参照ピクチャ情報符号化部２１８Ｅに出力する。
（Ｓ２４）参照ピクチャ情報符号化部２１８Ｅは、参照ピクチャセットRPSおよび参照ピクチャリストRPLに基づいて、ＳＰＳ、または、スライスヘッダに含めるためのRPS情報およびRPL修正情報を生成する。
（Ｓ２５）ヘッダ符号化部１０Ｅは、入力画像＃１０、および、参照ピクチャ決定部１３Ｅで生成されたRPS情報およびRPL修正情報に基づいて、対象ピクチャに適用するＳＰＳを生成して出力する。
（Ｓ２６）ヘッダ符号化部１０Ｅは、入力画像＃１０に基づいて、対象ピクチャに適用するＰＰＳを生成して出力する。
（Ｓ２７）ヘッダ符号化部１０Ｅは、入力画像＃１０、および、参照ピクチャ決定部１３Ｅで生成されたRPS情報およびRPL修正情報に基づいて、対象ピクチャを構成する各スライスのスライスヘッダを符号化して、符号化データ＃１の一部として外部に出力するとともに、ピクチャ復号部１１に出力する。
（Ｓ２８）ピクチャ符号化部２１は、入力画像＃１０に基づいて、対象ピクチャを構成する各スライスのスライスデータを生成して、符号化データ＃１の一部として外部に出力する。
（Ｓ２９）ピクチャ符号化部２１は、対象ピクチャの局所復号画像を生成し、対象ピクチャのレイヤＩＤとＰＯＣに関連付けて復号ピクチャバッファに記録する。
［ＰＯＣ情報符号化部２１０５Ｅ］
図４０は、ＰＯＣ情報符号化部２１０５Ｅの概略的構成について示した機能ブロック図である。図４０に示すように、ＰＯＣ情報符号化部２１０５Ｅは、ＰＯＣ設定部２１０５６、ＰＯＣ下位ビット最大値符号化部２１０５１Ｅ、ＰＯＣ下位ビット符号化部２１０５２Ｅを含んで構成される。ＰＯＣ情報符号化部２１０５Ｅは、ＰＯＣの上位ビットPicOrderCntMsbとＰＯＣの下位ビットpic_order_cnt_lsbに分離して符号化される。
ＰＯＣ設定部２１０５６は、同じ時刻の全てのレイヤのピクチャに対して、共通の時刻ＴＩＭＥを設定する。さらに、ＰＯＣ設定部２１０５６は、対象ピクチャの時刻ＴＩＭＥ（共通時刻ＴＩＭE）に基づいて、対象ピクチャのＰＯＣを設定する。具体的には、対象レイヤのピクチャがＰＯＣを符号化するＲＡＰピクチャである場合（ＢＬＡもしくはＩＤＲ）において、ＰＯＣを０に設定し、このときのＴＩＭＥを変数ＴＩＭＥ＿ＢＡＳＥに設定する。ＴＩＭＥ＿ＢＡＳＥは、ＰＯＣ設定部２１０５６で記録する。
対象レイヤのピクチャがＰＯＣを符号化するＲＡＰピクチャでない場合にはＴＩＭＥからＴＩＭＥ＿ＢＡＳＥを引いた値をＰＯＣに設定する。
ＰＯＣ下位ビット最大値符号化部２１０５１Ｅは、全てのレイヤにおいて共通のＰＯＣ下位ビット最大値MaxPicOrderCntLsbを設定する。符号化データ＃１に設定されたＰＯＣ下位ビット最大値MaxPicOrderCntLsbを符号化する。具体的には、ＰＯＣ下位ビット最大値MaxPicOrderCntLsbの対数から定数４を引いた値をlog2_max_pic_order_cnt_lsb_minus4として符号化する。
同じ時刻（output time）を有する複数のレイヤのピクチャに対して、表示時刻ＰＯＣ（ＰＯＣ上位ビット）の更新を同じタイミングで行うことにより、同じ時刻を有する複数のレイヤのピクチャ間で表示時刻ＰＯＣを有することができる。これにより、参照ピクチャリストにおける、対象レイヤとは異なるレイヤのピクチャを参照ピクチャとして用いる場合の参照ピクチャ管理、および、３次元画像再生のような、複数のレイヤを同期して再生させる場合に、表示タイミングをピクチャの時刻を用いて管理する場合などにおいて、同じ時刻のピクチャであることをＰＯＣを用いて管理することが可能となり、参照ピクチャの探索および同期が容易になるという効果を奏する。
ＰＯＣ下位ビット符号化部２１０５２Ｅは、ＰＯＣ設定部２１０５６から入力された対象ピクチャのＰＯＣから、対象ピクチャのＰＯＣ下位ビットpic_order_cnt_lsbを符号化する。具体的には、入力されたＰＯＣのＰＯＣ下位ビット最大値MaxPicOrderCntLsbによる剰余、ＰＯＣ％MaxPicOrderCntLsb（もしくはＰＯＣ＆（MaxPicOrderCntLsb−１））により、ＰＯＣ下位ビットpic_order_cnt_lsbを求める。ＰＯＣ下位ビット符号化部２１０５２Ｅは、ａ）レイヤＩＤが表すレイヤが独立レイヤ以外のレイヤ、または、ｂ）ＮＡＬユニットタイプがＩＤＲ以外（IDR_W_RADLおよびIDR_N_LP以外の場合）には、対象ピクチャのスライスヘッダにpic_order_cnt_lsbを符号化する。
上記ＰＯＣ設定部２１０５６を備える符号化装置によれば、同じ時刻の全てのレイヤのピクチャに対して、共通の時刻ＴＩＭＥを設定し、ＰＯＣ下位ビット最大値符号化部２１０５１Ｅにおいて、全てのレイヤにおいて共通のＰＯＣ下位ビット最大値MaxPicOrderCntLsbを設定することにより、既に説明したＰＯＣ下位ビットpic_order_cnt_lsbを有する符号化データを生成することができる。
（ピクチャ符号化部２１の構成）
次に、本実施形態に係るピクチャ符号化部２１の構成について説明する。図２６は、本実施形態に係るピクチャ符号化部２１の構成を示すブロック図である。ピクチャ符号化部２１は、予測画像生成部１０１、減算部１０２、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、加算部１０６、予測パラメータメモリ１０８、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。
予測画像生成部１０１は、外部から入力されたレイヤ画像Ｔの視点毎の各ピクチャについて、そのピクチャを分割した領域であるブロック毎に予測ピクチャブロックＰを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて復号ピクチャバッファ１２から参照ピクチャブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えば、動きベクトル又は変位ベクトルである。予測画像生成部１０１は、符号化対象ブロックを起点として予測された動きベクトル又は変位ベクトルが示す位置にあるブロックの参照ピクチャブロックを読み出す。予測画像生成部１０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いて予測ピクチャブロックＰを生成する。予測画像生成部１０１は、生成した予測ピクチャブロックＰを減算部１０２に出力する。なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作であるため予測ピクチャブロックＰの生成の詳細は省略する。
予測画像生成部１０１は、予測方式を選択するために、例えば、レイヤ画像に含まれるブロックの画素毎の信号値と予測ピクチャブロックＰの対応する画素毎の信号値との差分に基づく誤差値を最小にする予測方式を選択する。予測方式を選択する方法は、これには限られない。
符号化対象のピクチャがベースビューピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測及びマージ予測である。動き予測とは、上述のインター予測のうち、表示時刻間の予測である。マージ予測とは、既に符号化されたブロックであって、符号化対象ブロックから予め定めた範囲内にあるブロックと同一の参照ピクチャブロック及び予測パラメータを用いる予測である。符号化対象のピクチャがノンベースビューピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測、マージ予測、及び変位予測である。変位予測（視差予測）とは、上述のインター予測のうち、別レイヤ画像（別視点画像）間の予測である。さらに、動き予測、マージ予測、及び変位予測である。変位予測（視差予測）に対して、追加予測（残差予測および照度補償）を行う場合と行わない場合の予測がある。
予測画像生成部１０１は、イントラ予測を選択した場合、予測ピクチャブロックＰを生成する際に用いたイントラ予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
予測画像生成部１０１は、動き予測を選択した場合、予測ピクチャブロックＰを生成する際に用いた動きベクトルmvLXを予測パラメータメモリ１０８に記憶し、インター予測パラメータ符号化部１１２に出力する。動きベクトルmvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。動きベクトルmvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ピクチャ順序番号ＰＯＣ）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部１０１は、インター予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
予測画像生成部１０１は、変位予測を選択した場合、予測ピクチャブロックＰを生成する際に用いた変位ベクトルを予測パラメータメモリ１０８に記憶し、インター予測パラメータ符号化部１１２に出力する。変位ベクトルdvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。変位ベクトルdvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ビューＩＤview_id）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部１０１は、インター予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
予測画像生成部１０１は、マージ予測を選択した場合、選択した参照ピクチャブロックを示すマージインデックスmerge_idxをインター予測パラメータ符号化部１１２に出力する。また、予測画像生成部１０１は、マージ予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
上記の、動き予測、変位予測、マージ予測において、予測画像生成部１０１は、追加予測として残差予測を行う場合には、既に説明したように予測画像生成部１０１に含まれる残差予測部３０９２において残差予測を行い、追加予測として照度補償を行う場合には、既に説明したように予測画像生成部１０１に含まれる照度補償部３０９３において照度補償予測を行う。
減算部１０２は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値を、外部から入力されたレイヤ画像Ｔの対応するブロックの信号値から画素毎に減算して、残差信号を生成する。減算部１０２は、生成した残差信号をＤＣＴ・量子化部１０３と符号化パラメータ決定部１１０に出力する。
ＤＣＴ・量子化部１０３は、減算部１０２から入力された残差信号についてＤＣＴを行い、ＤＣＴ係数を算出する。ＤＣＴ・量子化部１０３は、算出したＤＣＴ係数を量子化して量子化係数を求める。ＤＣＴ・量子化部１０３は、求めた量子化係数をエントロピー符号化部１０４及び逆量子化・逆ＤＣＴ部１０５に出力する。
エントロピー符号化部１０４には、ＤＣＴ・量子化部１０３から量子化係数が入力され、符号化パラメータ決定部１１０から符号化パラメータが入力される。入力される符号化パラメータには、例えば、参照ピクチャインデックスrefIdxLX、ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpredMode、及びマージインデックスmerge_idx等の符号がある。
エントロピー符号化部１０４は、入力された量子化係数と符号化パラメータをエントロピー符号化して符号化データ＃１を生成し、生成した符号化データ＃１を外部に出力する。
逆量子化・逆ＤＣＴ部１０５は、ＤＣＴ・量子化部１０３から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部１０５は、求めたＤＣＴ係数について逆ＤＣＴを行い、符号化残差信号を算出する。逆量子化・逆ＤＣＴ部１０５は、算出した符号化残差信号を加算部１０６に出力する。
加算部１０６は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値と逆量子化・逆ＤＣＴ部１０５から入力された符号化残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部１０６は、生成した参照ピクチャブロックを復号ピクチャバッファ１２に記憶する。
予測パラメータメモリ１０８は、予測パラメータ符号化部１１１が生成した予測パラメータを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。予測画像生成部１０１は、これらの符号化パラメータのセットの各々を用いて予測ピクチャブロックＰを生成する。
符号化パラメータ決定部１１０は、複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化データ＃１の情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部１０４は、選択した符号化パラメータのセットを符号化データ＃１として外部に出力し、選択されなかった符号化パラメータのセットを出力しない。
予測パラメータ符号化部１１１は、予測画像生成部１０１から入力されたパラメータに基づいて予測ピクチャを生成する際に用いる予測パラメータを導出し、導出した予測パラメータを符号化して符号化パラメータのセットを生成する。予測パラメータ符号化部１１１は、生成した符号化パラメータのセットをエントロピー符号化部１０４に出力する。
予測パラメータ符号化部１１１は、生成した符号化パラメータのセットのうち符号化パラメータ決定部１１０が選択したものに対応する予測パラメータを予測パラメータメモリ１０８に記憶する。
予測パラメータ符号化部１１１は、予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合、インター予測パラメータ符号化部１１２を動作させる。予測パラメータ符号化部１１１は、予測モードpredModeがイントラ予測モードを示す場合、イントラ予測パラメータ符号化部１１３を動作させる。
インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいてインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、インター予測パラメータを導出する構成として、インター予測パラメータ復号部３０３（図５等、参照）がインター予測パラメータを導出する構成と同一の構成を含む。インター予測パラメータ符号化部１１２の構成については、後述する。
イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力された予測モードpredModeが示すイントラ予測モードIntraPredModeをインター予測パラメータのセットとして定める。
（インター予測パラメータ符号化部の構成）
次に、インター予測パラメータ符号化部１１２の構成について説明する。インター予測パラメータ符号化部１１２は、インター予測パラメータ復号部３０３に対応する手段である。
図２７は、本実施形態に係るインター予測パラメータ符号化部１１２の構成を示す概略図である。
インター予測パラメータ符号化部１１２は、インター予測パラメータ符号化制御部１０３１、マージ予測パラメータ導出部１１２１、AMVP予測パラメータ導出部１１２２、減算部１１２３、及び予測パラメータ統合部１１２６を含んで構成される。
マージ予測パラメータ導出部１１２１は、上述のマージ予測パラメータ導出部３０３６（図７参照）と同様な構成を有する。
インター予測パラメータ符号化制御部１０３１は、インター予測に関連する符号（シンタックス要素の符号化をエントロピー符号化部１０４に指示し、符号化データ＃１に含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idx、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化する。
マージ予測パラメータ導出部１１２１には、予測画像生成部１０１から入力された予測モードpredModeがマージ予測モードを示す場合、符号化パラメータ決定部１１０からマージインデックスmerge_idxが入力される。マージインデックスmerge_idxは、予測パラメータ統合部１１２６に出力される。マージ予測パラメータ導出部１１２１は、マージ候補のうちマージインデックスmerge_idxが示す参照ブロックの参照ピクチャインデックスrefIdxLX、ベクトルmvLXを予測パラメータメモリ１０８から読み出す。マージ候補とは、符号化対象となる符号化対象ブロックから予め定めた範囲にある参照ブロック（例えば、符号化対象ブロックの左下端、左上端、右上端に接する参照ブロックのうち）であって、符号化処理が完了した参照ブロックである。
AMVP予測パラメータ導出部１１２２は、上述のAMVP予測パラメータ導出部３０３２（図８参照）と同様な構成を有する。
AMVP予測パラメータ導出部１１２２には、予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合、符号化パラメータ決定部１１０からベクトルmvLXが入力される。AMVP予測パラメータ導出部１１２２は、入力されたベクトルmvLXに基づいて予測ベクトルmvpLXを導出する。AMVP予測パラメータ導出部１１２２は、導出した予測ベクトルmvpLXを減算部１１２３に出力する。なお、参照ピクチャインデックスrefIdx及びベクトルインデックスmvp_LX_idxは、予測パラメータ統合部１１２６に出力される。
減算部１１２３は、符号化パラメータ決定部１１０から入力されたベクトルmvLXからAMVP予測パラメータ導出部１１２２から入力された予測ベクトルmvpLXを減算して差分ベクトルmvdLXを生成する。差分ベクトルmvdLXは予測パラメータ統合部１１２６に出力する。
予測画像生成部１０１から入力された予測モードpredModeがマージ予測モードを示す場合には、予測パラメータ統合部１１２６は、符号化パラメータ決定部１１０から入力されたマージインデックスmerge_idxをエントロピー符号化部１０４に出力する。
予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合には、予測パラメータ統合部１１２６は、次の処理を行う。
予測パラメータ統合部１１２６は、符号化パラメータ決定部１１０から入力された参照ピクチャインデックスrefIdxLX及びベクトルインデックスmvp_LX_idx、減算部１１２３から入力された差分ベクトルｍｖｄＬＸを統合する。予測パラメータ統合部１１２６は、統合した符号をエントロピー符号化部１０４に出力する。
（復号装置１および符号化装置２の変形例１）
符号化装置２は、シンタックス構成を変更してもよいか否かを示すフラグvps_syntax_change_by_layer_id_flagを符号化し、符号化されたフラグをＶＰＳに含めてもよい。また、符号化装置２は、vps_syntax_change_by_layer_id_flagが１かつレイヤＩＤが０より大きい場合のみ、独立レイヤのシンタックス構成を変更してもよい。また、符号化装置２は、レイヤ毎に、レイヤiのシンタックス構成を変更してもよいか否かを示すフラグvps_syntax_change_by_layer_id_flag[]を符号化しても良い。このとき、独立レイヤフラグIndependentLayerFlag[i]が独立であることを示す場合（NumDirectRefLayers[i]が０より大きい場合）のみ、フラグvps_syntax_change_by_layer_id_flag[i]を復号しても良い。
この場合、復号装置１のヘッダ復号部１０は、シンタックス構成を変更してもよいか否かを示すフラグvps_syntax_change_by_layer_id_flagをＶＰＳ等から復号する。なお、レイヤ毎にフラグvps_syntax_change_by_layer_id_flagを符号化する場合には、復号装置１は、レイヤiのフラグvps_syntax_change_by_layer_id_flag[i]を順に復号する。独立レイヤフラグIndependentLayerFlag[i]が独立であることを示す場合（NumDirectRefLayers[i]が０の場合）のみ、フラグvps_syntax_change_by_layer_id_flag[i]を復号しても良い。また、復号装置１のヘッダ復号部１０の内部に設ける、プロファイルレベル復号部２１０２、レプリゼンテーション情報復号部２１０３、および、スケーリングリスト復号部２１０４は、以下に示す処理を実行するように構成されることになる。
［プロファイルレベル復号部２１０２］
プロファイルレベル復号部２１０２は、ＶＰＳから各レイヤのプロファイルレベル情報を復号する。また、プロファイルレベル復号部２１０２は、ＳＰＳを復号する場合において、フラグvps_syntax_change_by_layer_id_flagが０であるか、もしくは、ＳＰＳのレイヤＩＤが０のときには、レイヤＩＤが示すレイヤが独立レイヤであるか否かに関わらず、ＳＰＳからもプロファイルレベル情報を復号する（図４１の（ｂ）を参照）。
［レプリゼンテーション情報復号部２１０３］
レプリゼンテーション情報復号部２１０３は、図４１（ａ）のシンタックスをＶＰＳから復号し、図２８（ｂ）のシンタックスをＳＰＳから復号する。
レプリゼンテーション情報復号部２１０３は、フラグvps_syntax_change_by_layer_id_flagが０以外であり、尚且つ、ＳＰＳのレイヤＩＤが０より大きい場合には、レプリゼンテーション情報更新フラグupdate_rep_format_flagがＳＰＳに含まれ、そのフラグをＳＰＳから復号する。update_rep_format_flagがＳＰＳに含まれない場合には、update_rep_format_flagを０と導出（infer）する。update_rep_format_flagが１の場合には、レプリゼンテーション情報復号部２１０３はさらにchroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8、bit_depth_chroma_minus8などのレプリゼンテーション情報を復号する。update_rep_format_flagが０の場合には、ＶＰＳのrep_format()において既に復号されたレプリゼンテーション情報を対象レイヤに対するレプリゼンテーション情報として用いる。
［スケーリングリスト復号部２１０４］
スケーリングリスト復号部２１０４は、フラグvps_syntax_change_by_layer_id_flagが０以外であり、かつ、レイヤＩＤが０より大きい場合（レイヤＩＤが０以外の場合）には、ＳＰＳからsps_infer_scaling_list_flagを復号する（図４１の（ｂ）を参照）。sps_infer_scaling_list_flagが０以外の場合には、さらに、sps_scaling_list_ref_layer_idを復号する。sps_infer_scaling_list_flagが０の場合には、sps_scaling_list_data_present_flagと、scaling_list_data()を復号しスケーリングリストを復号する。
スケーリングリスト復号部２１０４は、フラグvps_syntax_change_by_layer_id_flagが０以外であり、かつ、レイヤＩＤが０より大きい場合（レイヤＩＤが０以外の場合）には、ＰＰＳからpps_infer_scaling_list_flagを復号する（図４２の（ａ）を参照）。pps_infer_scaling_list_flagが０以外の場合には、さらに、pps_scaling_list_ref_layer_idを復号する。pps_infer_scaling_list_flagが０の場合には、pps_scaling_list_data_present_flagと、scaling_list_data()を復号しスケーリングリストを復号する。
［ＰＯＣ情報復号部２１０５］
ＰＯＣ情報復号部２１０５は、ａ）フラグvps_syntax_change_by_layer_id_flagが０以外であり、尚且つ、レイヤＩＤが０より大きい場合（レイヤＩＤが０以外の場合）、または、ｂ）ＮＡＬユニットタイプがＩＤＲピクチャを示していない場合（NAL_UNIT_TYPEがIDR_W_RADLでもIDR_N_LPでもない場合）には、スライスヘッダからslice_pic_order_cnt_lsbを復号する（図４２の（ｂ）を参照）。
［レプリゼンテーション情報符号化部］
また、レプリゼンテーション情報符号化部は、フラグvps_syntax_change_by_layer_id_flagが０以外であり、かつ、ＳＰＳのレイヤＩＤが０より大きい場合に、レプリゼンテーション情報更新フラグupdate_rep_format_flagを符号化して当該ＳＰＳに含める。さらに、符号化されるレプリゼンテーション情報更新フラグupdate_rep_format_flagが１である場合には、chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8、bit_depth_chroma_minus8などのレプリゼンテーション情報を符号化してＳＰＳに含める。
［スケーリングリスト符号化部］
スケーリングリスト符号化部は、フラグvps_syntax_change_by_layer_id_flagが０以外であり、かつ、レイヤＩＤが０より大きい場合（レイヤＩＤが０以外の場合）には、sps_infer_scaling_list_flagを符号化し、そのsps_infer_scaling_list_flagが０以外の場合には、sps_scaling_list_ref_layer_idを符号化してＳＰＳに含める。sps_infer_scaling_list_flagが０の場合には、sps_scaling_list_data_present_flag、および、scaling_list_data()を符号化してＳＰＳに含める。また、同様に、スケーリングリスト符号化部は、フラグvps_syntax_change_by_layer_id_flagが０以外であり、かつ、レイヤＩＤが０より大きい場合（レイヤＩＤが０以外の場合）には、pps_infer_scaling_list_flagを符号化し、そのpps_infer_scaling_list_flagが０以外の場合には、sps_scaling_list_ref_layer_idを符号化してＰＰＳに含める。pps_infer_scaling_list_flagが０の場合には、pps_scaling_list_data_present_flag 、および、scaling_list_data()を符号化してＰＰＳに含める。
［ＰＯＣ情報符号化部２１０５Ｅ］
ＰＯＣ情報符号化部２１０５Ｅは、ａ）フラグvps_syntax_change_by_layer_id_flagが０以外であり、尚且つ、レイヤＩＤが０より大きい場合（レイヤＩＤが０以外の場合）、または、ｂ）ＮＡＬユニットタイプがＩＤＲピクチャを示していない場合（NAL_UNIT_TYPEがIDR_W_RADLでもIDR_N_LPでもない場合）には、スライスヘッダにおいてslice_pic_order_cnt_lsbを符号化する。
なお、レイヤ毎にシンタックス構成を変更してもよいか否かを示すフラグのリストvps_syntax_change_by_layer_id_flag[]を符号化する場合には、ＳＰＳ、ＰＰＳ、スライスヘッダの復号において、各ＳＰＳ、ＰＰＳ、スライスヘッダのレイヤＩＤ（nuh_layer_id）に対応するフラグvps_syntax_change_by_layer_id[nuh_layer_id]に応じて、各情報を復号するか否かを決定するための上記判定を実行する。なお、この場合、vps_syntax_change_by_layer_id[nuh_layer_id]が既にレイヤ単位の情報を備えているため、上記までの説明において、フラグvps_syntax_change_by_layer_id_flagが０以外であり、尚且つ、レイヤＩＤが０より大きい場合（レイヤＩＤが０以外の場合）の判定は、vps_syntax_change_by_layer_id[nuh_layer_id]が０以外の判定に置き換える。
なお、シンタックス構成を変更しても良いかを示す所定のフラグの名称はvps_syntax_change_by_layer_id_flagに限らない。例えば、syntax_change_enable_flag等の名称を用いても良い。また、所定のフラグは真偽が逆のフラグでも良い。つまり、シンタックス変更を許可することを示すフラグではなく、シンタックス変更を許可しないことを示すフラグ（例えば、syntax_change_disable_flag）としても良い。この場合、「フラグvps_syntax_change_by_layer_id_flagが０以外であるか否か」の判定は、「フラグが０であるかか否か」の判定に置き換え、「フラグvps_syntax_change_by_layer_id_flagが０であるか否か」の判定は、「フラグが０以外であるか否か」の判定に置き換える。
（変形例１に関する付記事項）
符号化装置２は、各レイヤのvps_syntax_change_by_layer_id_flagを、ＶＰＳを通じて復号装置１にシグナリングしてもよい。
（復号装置１および符号化装置２の変形例２）
動画像を構成する複数のレイヤを、シンタックス変更を許可するレイヤとシンタックス変更を許可しないレイヤとに分けてもよい。
例えば、レイヤＩＤが規定の値（例えば、LAYER_ID_FOR_SYNTAX_CHANGEの値）よりも小さいレイヤ（すなわち、レイヤＩＤが０を示すレイヤ、または、レイヤＩＤが特定の範囲内の値（１以上LAYER_ID_FOR_SYNTAX_CHANGE未満の値を示すようなレイヤ）をシンタックス変更が許可されるレイヤとし、レイヤＩＤが規定の値以上であるレイヤをシンタックス変更が許可されないレイヤとしてもよい。
この場合、符号化装置２は、レイヤＩＤが規定の閾値（例えば、LAYER_ID_FOR_SYNTAX_CHANGEの値）よりも小さい各レイヤのシンタックス構成を変更してもよい。そして、符号化装置２は、LAYER_ID_FOR_SYNTAX_CHANGEの値を符号化してＳＰＳおよび／またはＰＰＳに含めてもよい。
この場合、復号装置１のヘッダ復号部１０の内部に設ける、プロファイルレベル復号部２１０２、および、スケーリングリスト復号部２１０４は、以下に示す処理を実行するように構成されることになる。
［プロファイルレベル復号部２１０２］
プロファイルレベル復号部２１０２は、ＶＰＳから各レイヤのプロファイルレベル情報を復号する。また、プロファイルレベル復号部２１０２は、ＳＰＳを復号する場合において、ＳＰＳのレイヤＩＤ（ＮＡＬユニットタイプがＳＰＳであるようなＮＡＬユニットヘッダに含まれているnuh_layer_id）がLAYER_ID_FOR_SYNTAX_CHANGEの値以上であるか、もしくは、ＳＰＳのレイヤＩＤが０のときには、レイヤＩＤが示すレイヤが独立レイヤであるか否かに関わらず、ＳＰＳからもプロファイルレベル情報を復号する（図４３の（ａ）を参照）。
［レプリゼンテーション情報復号部２１０３］
レプリゼンテーション情報復号部２１０３は、ＳＰＳのレイヤＩＤ（nuh_layer_id）がLAYER_ID_FOR_SYNTAX_CHANGEの値より小さく、かつ、ＳＰＳのレイヤＩＤが０より大きい場合には、レプリゼンテーション情報更新フラグupdate_rep_format_flagがＳＰＳに含まれ、そのフラグをＳＰＳから復号する。update_rep_format_flagがＳＰＳに含まれない場合には、update_rep_format_flagを０と導出（infer）する。update_rep_format_flagが１の場合には、レプリゼンテーション情報復号部２１０３はさらにchroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8、bit_depth_chroma_minus8などのレプリゼンテーション情報を復号する。update_rep_format_flagが０の場合には、ＶＰＳのrep_format()において既に復号されたレプリゼンテーション情報を対象レイヤに対するレプリゼンテーション情報として用いる。
［スケーリングリスト復号部２１０４］
スケーリングリスト復号部２１０４は、ＳＰＳのレイヤＩＤ（nuh_layer_id）がLAYER_ID_FOR_SYNTAX_CHANGEの値より小さく、かつ、レイヤＩＤが０より大きい場合には、ＳＰＳからsps_infer_scaling_list_flagを復号する（図４１の（ｂ）を参照）。sps_infer_scaling_list_flagが０以外の場合には、さらに、sps_scaling_list_ref_layer_idを復号する。sps_infer_scaling_list_flagが０の場合には、sps_scaling_list_data_present_flagと、scaling_list_data()を復号しスケーリングリストを復号する。
スケーリングリスト復号部２１０４は、ＰＰＳのレイヤＩＤ（nuh_layer_id）がLAYER_ID_FOR_SYNTAX_CHANGEの値より小さく、レイヤＩＤが０より大きい場合（レイヤＩＤが０以外の場合）には、ＰＰＳからpps_infer_scaling_list_flagを復号する（図４２の（ａ）を参照）。pps_infer_scaling_list_flagが０以外の場合には、さらに、pps_scaling_list_ref_layer_idを復号する。pps_infer_scaling_list_flagが０の場合には、pps_scaling_list_data_present_flagと、scaling_list_data()を復号しスケーリングリストを復号する。
［ＰＯＣ情報復号部２１０５］
ＰＯＣ情報復号部２１０５は、ａ）スライスヘッダのレイヤＩＤ（nuh_layer_id）がLAYER_ID_FOR_SYNTAX_CHANGEの値より小さく、かつ、レイヤＩＤが０より大きい場合（レイヤＩＤが０以外の場合）、または、ｂ）ＮＡＬユニットタイプがＩＤＲピクチャを示していない場合（NAL_UNIT_TYPEがIDR_W_RADLでもIDR_N_LPでもない場合）には、スライスヘッダからslice_pic_order_cnt_lsbを復号する（図４２の（ｂ）を参照）。
［レプリゼンテーション情報符号化部］
また、レプリゼンテーション情報符号化部は、フラグvps_syntax_change_by_layer_id_flagが０以外であり、かつ、ＳＰＳのレイヤＩＤが０より大きい場合に、レプリゼンテーション情報更新フラグupdate_rep_format_flagを符号化して当該ＳＰＳに含める。さらに、符号化されるレプリゼンテーション情報更新フラグupdate_rep_format_flagが１である場合には、chroma_format_idc、separate_colour_plane_flag、pic_width_in_luma_samples、pic_height_in_luma_samples、bit_depth_luma_minus8、bit_depth_chroma_minus8などのレプリゼンテーション情報を符号化してＳＰＳに含める。
［スケーリングリスト符号化部］
スケーリングリスト符号化部は、ＳＰＳのレイヤＩＤ（nuh_layer_id）がLAYER_ID_FOR_SYNTAX_CHANGEの値より小さく、かつ、ＳＰＳのレイヤＩＤが０より大きい場合（レイヤＩＤが０以外の場合）には、sps_infer_scaling_list_flagを符号化し、sps_infer_scaling_list_flagが０以外の場合には、sps_scaling_list_ref_layer_idを符号化してＳＰＳに含める。sps_infer_scaling_list_flagが０の場合には、sps_scaling_list_data_present_flag、および、scaling_list_data()を符号化してＳＰＳに含める。また、同様に、スケーリングリスト符号化部は、ＰＰＳのレイヤＩＤ（nuh_layer_id）がLAYER_ID_FOR_SYNTAX_CHANGEの値より小さく、かつ、ＰＰＳのレイヤＩＤが０より大きい場合（レイヤＩＤが０以外の場合）には、pps_infer_scaling_list_flagを符号化し、pps_infer_scaling_list_flagが０以外の場合には、sps_scaling_list_ref_layer_idを符号化してＰＰＳに含める。pps_infer_scaling_list_flagが０の場合には、pps_scaling_list_data_present_flag 、および、scaling_list_data()を符号化してＰＰＳに含める。
［ＰＯＣ情報符号化部２１０５Ｅ］
ＰＯＣ情報符号化部２１０５Ｅは、ａ）ピクチャのレイヤＩＤ（nuh_layer_id）がLAYER_ID_FOR_SYNTAX_CHANGEの値より小さく、かつ、ピクチャのレイヤＩＤが０より大きい場合（レイヤＩＤが０以外の場合）、または、ｂ）ピクチャのＮＡＬユニットタイプがＩＤＲピクチャを示していない場合（NAL_UNIT_TYPEがIDR_W_RADLでもIDR_N_LPでもない場合）には、スライスヘッダにおいてslice_pic_order_cnt_lsbを符号化する。
なお、上述した実施形態における画像符号化装置２、画像復号装置１の一部、例えば、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部１０１、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、エントロピー復号部３０１、予測パラメータ復号部３０２、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置２、画像復号装置１のいずれかに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像符号化装置２、画像復号装置１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像符号化装置２、画像復号装置１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
（まとめ）
本発明の態様１に係る画像復号装置は、スケーラブル符号化された画像を復号する画像復号装置（画像復号装置１）であって、ＮＡＬユニットヘッダに含まれているレイヤＩＤを復号するレイヤＩＤ復号部（レイヤＩＤ復号部２１１１）と、レイヤ間の依存関係の有無を示す依存レイヤ情報を復号するとともに、上記依存レイヤ情報に基づいて、上記レイヤＩＤによって示されるレイヤが上記依存関係のない独立レイヤであるか否かを判定する依存レイヤ情報復号部（依存レイヤ情報復号部２１０１）と、ビデオパラメータセットからプロファイルレベル情報を復号するプロファイルレベル情報復号部（プロファイルレベル情報復号部２１０２）と、を備え、上記プロファイルレベル情報復号部は、上記レイヤＩＤによって示されるレイヤが上記独立レイヤであると判定された場合、シーケンスパラメータセットからもプロファイルレベル情報を復号する。
上記の構成によれば、上記画像復号装置は、シンタックスの書き換えなしに独立レイヤを抽出し、非スケーラブルデコーダに再生させることを可能にする、という効果を奏する。
本発明の態様２に係る画像復号装置は、上記態様１において、上記プロファイルレベル情報復号部が、上記レイヤＩＤによって示されるレイヤが上記独立レイヤであると判定された場合、上記レイヤＩＤが０であるか、または、シンタックス変更に関する特定のフラグ（フラグvps_syntax_change_by_layer_id_flag）の値が０であるときに限り、上記シーケンスパラメータセットからもプロファイルレベル情報を復号してもよい。
本発明の態様３に係る画像復号装置は、上記態様１において、上記プロファイルレベル情報復号部が、上記レイヤＩＤによって示されるレイヤが上記独立レイヤであると判定された場合、上記レイヤＩＤが０であるか、または、上記レイヤＩＤが特定の範囲内の値であるときに限り、上記シーケンスパラメータセットからもプロファイルレベル情報を復号してもよい。
本発明の態様４に係る画像符号化装置は、スケーラブル符号化された画像を符号化する画像符号化装置（画像符号化装置２）であって、ＮＡＬユニットヘッダに含めるレイヤＩＤを符号化するレイヤＩＤ符号化部と、レイヤ間の依存関係の有無を示す依存レイヤ情報を符号化する依存レイヤ情報符号化部と、ビデオパラメータセットおよびシーケンスパラメータセットの各パラメータセットについて、該パラメータセットに含めるプロファイルレベル情報を符号化するプロファイルレベル情報符号化部とを備え、上記プロファイルレベル情報符号化部は、上記レイヤＩＤによって示されるレイヤが上記独立レイヤであると判定された場合に、シーケンスパラメータセットに含めるプロファイルレベル情報を符号化する。
本発明の態様５に係る符号化データは、ＮＡＬユニットヘッダとＮＡＬユニットデータとから構成されるＮＡＬユニットを１つ以上含んでいる符号化データであって、上記符号化データに含まれる１つ以上の上記ＮＡＬユニットヘッダの各々には、レイヤＩＤと、該ＮＡＬユニットヘッダを含むＮＡＬユニットの種類を規定するＮＡＬユニットタイプとが含まれており、上記ＮＡＬユニットタイプがビデオパラメータセットであるＮＡＬユニットには、プロファイルレベル情報とレイヤ間の依存関係の有無を示す依存レイヤ情報が含まれており、上記ＮＡＬユニットタイプがシーケンスパラメータセットであるＮＡＬユニットであって、上記レイヤＩＤによって示されるレイヤが独立レイヤであるようなＮＡＬユニットにはプロファイルレベル情報が含まれている、符号化データである。
本発明の態様６に係る画像復号装置は、スケーラブル符号化された画像を復号する画像復号装置であって、ＮＡＬユニットヘッダに含まれているレイヤＩＤを復号するレイヤＩＤ復号部と、レイヤ間の依存関係の有無を示す依存レイヤ情報を復号するとともに、上記依存レイヤ情報に基づいて、上記レイヤＩＤによって示されるレイヤが上記依存関係のない独立レイヤであるか否かを判定する依存レイヤ情報復号部と、スライスヘッダからＰＯＣ情報を復号するＰＯＣ情報復号部と、を備え、上記ＰＯＣ情報復号部は、ＮＡＬユニットタイプがＩＤＲピクチャを示していない場合に上記ＰＯＣ情報を復号するように構成され、上記ＰＯＣ情報復号部は、上記レイヤＩＤによって示されるレイヤが上記独立レイヤ以外のレイヤであると判定された場合にも、上記ＰＯＣ情報を復号する。
上記の構成によれば、上記画像復号装置は、シンタックスの書き換えなしに独立レイヤを抽出し、非スケーラブルデコーダに再生させることを可能にする、という効果を奏する。
本発明の態様７に係る画像復号装置は、上記態様６において、上記ＰＯＣ情報復号部は、上記ＮＡＬユニットタイプがＩＤＲピクチャを示している場合には、上記レイヤＩＤに関する特定のフラグ（例えば、vps_syntax_change_by_layer_idフラグ）の値が０でないときに限り、上記ＰＯＣ情報を復号してもよい。
本発明の態様８に係る画像復号装置は、上記態様６において、上記ＰＯＣ情報復号部は、上記ＮＡＬユニットタイプがＩＤＲピクチャを示している場合には、上記レイヤＩＤが特定の範囲内の値（例えば、１以上LAYER_ID_FOR_SYNTAX_CHANGE未満の値）であるときに限り、上記シーケンスパラメータセットからもプロファイルレベル情報を復号してもよい。
本発明の態様９に係る画像符号化装置は、スケーラブル符号化された画像を符号化する画像符号化装置であって、ＮＡＬユニットヘッダに含めるレイヤＩＤを符号化するレイヤＩＤ符号化部と、レイヤ間の依存関係の有無を示す依存レイヤ情報を符号化する依存レイヤ情報符号化部と、ＮＡＬユニットタイプがＩＤＲピクチャ以外である場合、もしくは、レイヤＩＤによって示されるレイヤが上記独立レイヤ以外のレイヤであると判定された場合、スライスヘッダにＰＯＣ情報を符号化するＰＯＣ情報符号化部と、を備えている。
本発明の態様１０に係る符号化データは、ＮＡＬユニットヘッダとＮＡＬユニットデータとから構成されるＮＡＬユニットを１つ以上含んでいる符号化データであって、上記符号化データに含まれる１つ以上の上記ＮＡＬユニットヘッダの各々には、レイヤＩＤと、該ＮＡＬユニットヘッダを含むＮＡＬユニットの種類を規定するＮＡＬユニットタイプとが含まれており、ＮＡＬユニットタイプがＩＤＲピクチャ以外である場合、もしくは、レイヤＩＤによって示されるレイヤが上記独立レイヤ以外のレイヤである場合に限り、スライスヘッダにＰＯＣ情報が含まれている、符号化データである。
本発明の態様１１に係る画像復号装置は、スケーラブル符号化された画像を復号する画像復号装置であって、ＮＡＬユニットヘッダに含まれているレイヤＩＤを復号するレイヤＩＤ復号部と、レイヤ間の依存関係の有無を示す依存レイヤ情報を復号するとともに、上記依存レイヤ情報に基づいて、上記レイヤＩＤによって示されるレイヤが上記依存関係のない独立レイヤであるか否かを判定する依存レイヤ情報復号部と、ビデオパラメータセットからレプリゼンテーション情報を復号するレプリゼンテーション情報復号部と、を備え、上記レプリゼンテーション情報復号部は、上記レイヤＩＤによって示されるレイヤが上記独立レイヤではないと判定された場合に、シーケンスパラメータセットからレプリゼンテーション情報更新フラグを復号し、レプリゼンテーション情報更新フラグが０以外の場合にレプリゼンテーション情報を復号する。
上記の構成によれば、上記画像復号装置は、シンタックスの書き換えなしに独立レイヤを抽出し、非スケーラブルデコーダに再生させることを可能にする、という効果を奏する。
本発明の態様１２に係る画像復号装置は、上記態様１１において、上記レプリゼンテーション情報復号部は、上記レイヤＩＤに関する特定のフラグ（例えば、vps_syntax_change_by_layer_idフラグ）の値が０でないときに限り、シーケンスパラメータセットからレプリゼンテーション情報更新フラグを復号してもよい。
本発明の態様１３に係る画像復号装置は、上記態様１１において、上記レプリゼンテーション情報復号部は、上記レイヤＩＤが特定の範囲内の値（例えば、１以上LAYER_ID_FOR_SYNTAX_CHANGE未満の値）であるときに限り、シーケンスパラメータセットからレプリゼンテーション情報更新フラグを復号してもよい。
本発明の態様１４に係る画像符号化装置は、スケーラブル符号化された画像を符号化する画像符号化装置であって、ＮＡＬユニットヘッダに含めるレイヤＩＤを符号化するレイヤＩＤ符号化部と、レイヤ間の依存関係の有無を示す依存レイヤ情報を符号化する依存レイヤ情報符号化部と、ビデオパラメータセットに含めるレプリゼンテーション情報を符号化するレプリゼンテーション情報符号化部とを備え、上記レプリゼンテーション情報符号化部は、上記レイヤＩＤによって示されるレイヤが上記独立レイヤではないと判定された場合に、シーケンスパラメータセットに含めるレプリゼンテーション情報更新フラグを符号化する。
本発明の態様１５に係る符号化データは、ＮＡＬユニットヘッダとＮＡＬユニットデータとから構成されるＮＡＬユニットを１つ以上含んでいる符号化データであって、上記符号化データに含まれる１つ以上の上記ＮＡＬユニットヘッダの各々には、レイヤＩＤと、該ＮＡＬユニットヘッダを含むＮＡＬユニットの種類を規定するＮＡＬユニットタイプとが含まれており、上記ＮＡＬユニットタイプがビデオパラメータセットであるＮＡＬユニットにはレプリゼンテーション情報が含まれており、上記ＮＡＬユニットタイプがシーケンスパラメータセットであるＮＡＬユニットであって、上記レイヤＩＤによって示されるレイヤが独立レイヤでないようなＮＡＬユニットには、レプリゼンテーション情報更新フラグが含まれている、符号化データである。
本発明の態様１６に係る画像復号装置は、スケーラブル符号化された画像を復号する画像復号装置であって、ＮＡＬユニットタイプがシーケンスパラメータセットであるＮＡＬユニットヘッダに含まれているレイヤＩＤを復号するレイヤＩＤ復号部と、レイヤ間の依存関係の有無を示す依存レイヤ情報を復号するとともに、上記依存レイヤ情報に基づいて、上記レイヤＩＤによって示されるレイヤが上記依存関係のない独立レイヤであるか否かを判定する依存レイヤ情報復号部と、スケーリングリストを復号するスケーリングリスト復号部と、を備え、上記スケーリングリスト復号部は、上記レイヤＩＤによって示されるレイヤが上記独立レイヤ以外であると判定された場合に、シーケンスパラメータセットおよびピクチャパラメータセットからスケーリングリスト予測フラグを復号し、スケーリングリスト予測フラグが０の場合にはスケーリングリストを復号する。
上記の構成によれば、上記画像復号装置は、シンタックスの書き換えなしに独立レイヤを抽出し、非スケーラブルデコーダに再生させることを可能にする、という効果を奏する。
本発明の態様１７に係る画像復号装置は、上記態様１６において、上記スケーリングリスト復号部は、上記レイヤＩＤに関する特定のフラグ（例えば、vps_syntax_change_by_layer_idフラグ）の値が０でないときに限り、上記シーケンスパラメータセットおよび上記ピクチャパラメータセットからスケーリングリスト予測フラグを復号してもよい。
本発明の態様１８に係る画像復号装置は、上記態様１６において、上記スケーリングリスト復号部は、上記レイヤＩＤが特定の範囲内の値（例えば、１以上LAYER_ID_FOR_SYNTAX_CHANGE未満の値）であるときに限り、上記シーケンスパラメータセットから上記スケーリングリスト予測フラグを復号してもよい。
本発明の態様１９に係る画像符号化装置は、スケーラブル符号化された画像を符号化する画像符号化装置であって、ＮＡＬユニットヘッダに含めるレイヤＩＤを符号化するレイヤＩＤ符号化部と、レイヤ間の依存関係の有無を示す依存レイヤ情報を符号化する依存レイヤ情報符号化部と、スケーリングリストを符号化するスケーリングリスト符号化部と、を備え、上記スケーリングリスト符号化部は、上記レイヤＩＤによって示されるレイヤが上記独立レイヤ以外である判定された場合に、シーケンスパラメータセットおよびピクチャパラメータセットにスケーリングリスト予測フラグを符号化する。
本発明の態様２０に係る符号化データは、ＮＡＬユニットヘッダとＮＡＬユニットデータとから構成されるＮＡＬユニットを１つ以上含んでいる符号化データであって、上記符号化データに含まれる１つ以上の上記ＮＡＬユニットヘッダの各々には、レイヤＩＤと、該ＮＡＬユニットヘッダを含むＮＡＬユニットの種類を規定するＮＡＬユニットタイプとが含まれており、上記ＮＡＬユニットタイプがシーケンスパラメータセットであるＮＡＬユニットであって、上記レイヤＩＤによって示されるレイヤが独立レイヤでないようなＮＡＬユニット、および、上記ＮＡＬユニットタイプがピクチャパラメータセットであるＮＡＬユニットであって、上記レイヤＩＤによって示されるレイヤが独立レイヤでないようなＮＡＬユニットに、スケーリングリスト予測フラグが含まれている、符号化データである。
本発明の態様２１に係る符号化データは、ＮＡＬユニットヘッダとＮＡＬユニットデータとから構成されるＮＡＬユニットを１つ以上含んでいるアクセスユニットから構成される符号化データであって、上記符号化データに含まれる１つ以上の上記ＮＡＬユニットヘッダの各々には、レイヤＩＤと、該ＮＡＬユニットヘッダを含むＮＡＬユニットの種類を規定するＮＡＬユニットタイプとが含まれており、上記ＮＡＬユニットタイプがビデオパラメータセットであるＮＡＬユニットにはレイヤ間の依存関係の有無を示す依存レイヤ情報が含まれており、上記ＮＡＬユニットタイプがピクチャであるＮＡＬユニットにはスライスヘッダにおいて、ＰＯＣ情報が含まれており、上記アクセスユニット内に含まれる、上記依存レイヤ情報において参照レイヤとなるレイヤおよび被参照レイヤとなると定義されたレイヤに属する全てのピクチャは同じＰＯＣを有することを特徴とする。
本発明の態様２２に係る符号化データは、ＮＡＬユニットヘッダとＮＡＬユニットデータとから構成されるＮＡＬユニットを１つ以上含んでいるアクセスユニットから構成される符号化データであって、上記符号化データに含まれる１つ以上の上記ＮＡＬユニットヘッダの各々には、レイヤＩＤと、該ＮＡＬユニットヘッダを含むＮＡＬユニットの種類を規定するＮＡＬユニットタイプとが含まれており、上記ＮＡＬユニットタイプがビデオパラメータセットであるＮＡＬユニットにはレイヤ間の依存関係の有無を示す依存レイヤ情報が含まれており、上記ＮＡＬユニットタイプがピクチャであるＮＡＬユニットにはスライスヘッダにおいてＰＯＣ情報が含まれており、上記アクセスユニット内に含まれる属するピクチャにおいて異なるＰＯＣを有する可能性がある場合には、アクセスユニットの前に、アクセスユニットの区切りを表すアクセスユニットデリミタを有していることを特徴とする。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
１…画像復号装置
２…画像符号化装置
３…ネットワーク
４…画像表示装置
５…画像伝送システム
１０…ヘッダ復号部
１０Ｅ…ヘッダ符号化部
１１…ピクチャ復号部
１２…復号ピクチャバッファ
１３…参照ピクチャ管理部
１３１…参照ピクチャセット設定部
１３２…参照ピクチャリスト導出部
１３Ｅ…参照ピクチャ決定部
１０１…予測画像生成部
１０２…減算部
１０３…ＤＣＴ・量子化部
１０３１…インター予測パラメータ符号化制御部
１０４…エントロピー符号化部
１０５…逆量子化・逆ＤＣＴ部
１０６…加算部
１０８…予測パラメータメモリ
１１０…符号化パラメータ決定部
１１１…予測パラメータ符号化部
１１２…インター予測パラメータ符号化部
１１２１…マージ予測パラメータ導出部
１１２２…ＡＭＶＰ予測パラメータ導出部
１１２３…減算部
１１２６…予測パラメータ統合部
１１３…イントラ予測パラメータ符号化部
２１０１…依存レイヤ情報復号部
２１０２…プロファイルレベル情報復号部
２１０３…レプリゼンテーション情報復号部
２１０４…スケーリングリスト復号部
２１０５…ＰＯＣ情報復号部
２１０５Ｅ…ＰＯＣ情報符号化部
２１０５１…ＰＯＣ下位ビット最大値復号部
２１０５１Ｅ…ＰＯＣ下位ビット最大値符号化部
２１０５２…ＰＯＣ下位ビット復号部
２１０５２Ｅ…ＰＯＣ下位ビット符号化部
２１０５３…ＰＯＣ上位ビット導出部
２１０５３Ｂ…ＰＯＣ上位ビット導出部
２１０５４…ＰＯＣ加算部
２１０５５…ＰＯＣリセット部
２１０５６…ＰＯＣ設定部２１…ピクチャ符号化部
２１１…ＮＡＬユニットヘッダ復号部
２１１１…レイヤＩＤ復号部
２１１２…ＮＡＬユニットタイプ復号部
２１１Ｅ…ＮＡＬユニットヘッダ符号化部
２１１２Ｅ…ＮＡＬユニットタイプ符号化部
２１２…ＶＰＳ復号部
２１３…ＳＰＳ復号部
２１４…ＰＰＳ復号部
２１５…スライスヘッダ復号部
２１８…参照ピクチャ情報復号部
２４…参照ピクチャセット決定部
２５…参照ピクチャリスト決定部
３０１…エントロピー復号部
３０２…予測パラメータ復号部
３０３…インター予測パラメータ復号部
３０３１…インター予測パラメータ復号制御部
３０３１１…追加予測フラグ復号部
３０３１２…マージインデックス復号部
３０３１３…ベクトル候補インデックス復号部
３０３１４…追加予測フラグ判定部
３０３２…ＡＭＶＰ予測パラメータ導出部
３０３３…ベクトル候補導出部
３０３４…予測ベクトル選択部
３０３５…加算部
３０３６…マージ予測パラメータ導出部
３０３６１…マージ候補導出部
３０３６１１…マージ候補格納部
３０３６１２…拡張マージ候補導出部
３０３６１２１…インターレイヤマージ候補導出部
３０３６１２２…変位ベクトル取得部
３０３６１２３…インターレイヤ変位マージ候補導出部
３０３６１３…基本マージ候補導出部
３０３６１３１…空間マージ候補導出部
３０３６１３２…時間マージ候補導出部
３０３６１３３…結合マージ候補導出部
３０３６１３４…ゼロマージ候補導出部
３０３６１４…ＭＰＩ候補導出部
３０３６２…マージ候補選択部
３０４…イントラ予測パラメータ復号部
３０７…予測パラメータメモリ
３０８…予測画像生成部
３０９…インター予測画像生成部
３０９１…変位補償部
３０９２…残差予測部
３０９２１…残差取得部
３０９２２…残差フィルタ部
３０９３…照度補償部
３０９３１…照度パラメータ推定部
３０９３２…照度補償フィルタ部
３０９４…予測部
３１０…イントラ予測画像生成部
３１０１…方向予測部
３１０２…ＤＭＭ予測部
３１１…逆量子化・逆ＤＣＴ部
３１２…加算部
３１３…残差格納部

Claims (4)

  1. スケーラブル符号化された画像データを復号する画像復号装置において、
    レイヤ単位で、第１のフラグを復号するヘッダ復号手段と、
    ＰＯＣ情報の一つとしてslice_pic_order_cnt_lsbを復号するＰＯＣ情報復号手段と、を備え、
    上記ＰＯＣ情報復号手段は、上記第１のフラグが第１の値を示し、尚且つ、レイヤＩＤが０より大きい場合、または、ＮＡＬユニットタイプがＩＤＲピクチャを示していない場合には、スライスヘッダから上記slice_pic_order_cnt_lsbを復号し、それ以外の場合には上記slice_pic_order_cnt_lsbを復号しないことを特徴とする画像復号装置。
  2. 前記ヘッダ復号手段は、さらに直接依存レイヤ数を復号し、上記直接依存レイヤ数が０の場合のみ、上記第１のフラグを復号することを特徴とする請求項１に記載の画像復号装置。
  3. 画像データをスケーラブル符号化する画像符号化装置において、
    レイヤ単位で、第１のフラグを符号化するヘッダ符号化手段と、
    ＰＯＣ情報の一つとしてslice_pic_order_cnt_lsbを符号化するＰＯＣ情報符号化手段と、を備え、
    上記ＰＯＣ情報符号化手段は、上記第１のフラグが第１の値を示し、尚且つ、レイヤＩＤが０より大きい場合、または、ＮＡＬユニットタイプがＩＤＲピクチャを示していない場合には、スライスヘッダから上記slice_pic_order_cnt_lsbを符号化し、それ以外の場合には上記slice_pic_order_cnt_lsbを符号化しないことを特徴とする画像符号化装置。
  4. 前記ヘッダ符号化手段は、さらに直接依存レイヤ数を符号化し、上記直接依存レイヤ数が０の場合のみ、上記第１のフラグを符号化することを特徴とする請求項３に記載の画像符号化装置。
JP2015541594A 2013-10-08 2014-10-07 画像復号装置及び画像符号化装置 Expired - Fee Related JP6397421B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013211468 2013-10-08
JP2013211468 2013-10-08
PCT/JP2014/076852 WO2015053286A1 (ja) 2013-10-08 2014-10-07 画像復号装置、画像符号化装置、及び、符号化データ

Publications (2)

Publication Number Publication Date
JPWO2015053286A1 JPWO2015053286A1 (ja) 2017-03-09
JP6397421B2 true JP6397421B2 (ja) 2018-09-26

Family

ID=52813102

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015541594A Expired - Fee Related JP6397421B2 (ja) 2013-10-08 2014-10-07 画像復号装置及び画像符号化装置

Country Status (5)

Country Link
US (2) US10104362B2 (ja)
EP (1) EP3057325A4 (ja)
JP (1) JP6397421B2 (ja)
CN (1) CN105612745A (ja)
WO (1) WO2015053286A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104754358B (zh) * 2013-12-27 2019-02-19 中兴通讯股份有限公司 码流的生成和处理方法、装置及系统
KR102105535B1 (ko) * 2014-01-03 2020-04-29 지이 비디오 컴프레션, 엘엘씨 웨지렛 기반 코딩 개념
US9866869B2 (en) * 2014-03-17 2018-01-09 Qualcomm Incorporated POC value design for multi-layer video coding
US9838697B2 (en) * 2014-06-25 2017-12-05 Qualcomm Incorporated Multi-layer video coding
JP2017532871A (ja) * 2014-09-30 2017-11-02 寰發股▲ふん▼有限公司ＨＦＩ Ｉｎｎｏｖａｔｉｏｎ Ｉｎｃ． 深さコーディングにおける深さモデリングモードのルックアップテーブルサイズ減少方法
GB2531271A (en) * 2014-10-14 2016-04-20 Nokia Technologies Oy An apparatus, a method and a computer program for image sequence coding and decoding
KR20180048735A (ko) * 2015-09-29 2018-05-10 엘지전자 주식회사 영상 코딩 시스템에서 영상 필터링 방법 및 장치
EP3493540A4 (en) * 2016-07-29 2020-01-15 Sony Corporation IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
KR20200012957A (ko) * 2017-06-30 2020-02-05 후아웨이 테크놀러지 컴퍼니 리미티드 인터-프레임 예측 방법 및 디바이스
CN117061738A (zh) * 2018-04-02 2023-11-14 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
WO2019216325A1 (en) * 2018-05-09 2019-11-14 Sharp Kabushiki Kaisha Systems and methods for performing motion vector prediction using a derived set of motion vectors
JP7111846B2 (ja) 2018-06-26 2022-08-02 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 点群符号化のための高レベルシンタックス設計
KR20210122818A (ko) * 2019-02-28 2021-10-12 삼성전자주식회사 영상의 부호화 및 복호화 장치, 및 이에 의한 영상의 부호화 및 복호화 방법
CN110288513B (zh) * 2019-05-24 2023-04-25 北京百度网讯科技有限公司 用于改变人脸属性的方法、装置、设备和存储介质
EP3987803A1 (en) * 2019-06-24 2022-04-27 InterDigital VC Holdings, Inc. Method and apparatus for signaling decoding data using high level syntax elements
BR112021026826A2 (pt) * 2019-07-03 2022-02-22 Huawei Tech Co Ltd Tipos de imagens de referência em listas de imagens de referência
US11418813B2 (en) 2019-09-20 2022-08-16 Tencent America LLC Signaling of inter layer prediction in video bitstream
US11245899B2 (en) * 2019-09-22 2022-02-08 Tencent America LLC Method and system for single loop multilayer coding with subpicture partitioning
KR20220058960A (ko) * 2019-09-24 2022-05-10 후아웨이 테크놀러지 컴퍼니 리미티드 다중 레이어 비디오 비트스트림의 액세스 유닛 내 혼합 irap 및 비-irap 픽처 지원
CA3156854A1 (en) 2019-10-07 2021-04-15 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods
US11758193B2 (en) * 2019-11-04 2023-09-12 Hfi Innovation Inc. Signaling high-level information in video and image coding
US11496770B2 (en) * 2019-12-19 2022-11-08 Apple Inc. Media object compression/decompression with adaptive processing for block-level sub-errors and/or decomposed block-level sub-errors

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102100069A (zh) * 2008-07-16 2011-06-15 汤姆逊许可证公司 用于快速信道改变以增大编码效率的可分级视频编码方法
CN103843341B (zh) * 2011-09-27 2017-06-13 瑞典爱立信有限公司 用于管理视频解码过程中的画面的解码器及其方法
CN104025599B (zh) * 2011-11-08 2018-12-14 诺基亚技术有限公司 参考图片处理
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding

Also Published As

Publication number Publication date
EP3057325A1 (en) 2016-08-17
JPWO2015053286A1 (ja) 2017-03-09
US10104362B2 (en) 2018-10-16
US20160241835A1 (en) 2016-08-18
WO2015053286A1 (ja) 2015-04-16
EP3057325A4 (en) 2017-05-10
US20180367782A1 (en) 2018-12-20
CN105612745A (zh) 2016-05-25

Similar Documents

Publication Publication Date Title
JP6397421B2 (ja) 画像復号装置及び画像符号化装置
US10237564B1 (en) Image decoding device, image decoding method, image coding device, and image coding method
KR102106190B1 (ko) 비디오 코딩을 위한 디코딩된 화상 버퍼 오퍼레이션들
WO2014103529A1 (ja) 画像復号装置、およびデータ構造
KR102187723B1 (ko) 3 차원（3ｄ）비디오 코딩을 위한 진보된 병합 모드
US9967592B2 (en) Block-based advanced residual prediction for 3D video coding
BR112016007760B1 (pt) Método e aparelho de decodificação de dados de vídeo e método de codificação de dados de vídeo
BR112016000866B1 (pt) Processamento de compensação de iluminação para codificação de vídeo
BR112014001799B1 (pt) Codificação de vídeo de múltiplas visualizações
US20160191933A1 (en) Image decoding device and image coding device
ES2780686T3 (es) Tipo de dependencia entre vistas en MV-HEVC
BR112014001860B1 (pt) Método e aparelho para decodificar e codificar dados de vídeo, e memória legível por computador
JP2010525724A (ja) ビデオ信号をデコーディング／エンコーディングする方法および装置
WO2015056620A1 (ja) 画像復号装置、画像符号化装置
WO2014103600A1 (ja) 符号化データ構造、および画像復号装置
JPWO2014104242A1 (ja) 画像復号装置、および画像符号化装置
JP2015019140A (ja) 画像復号装置、画像符号化装置
JP6401707B2 (ja) 画像復号装置、画像復号方法、および記録媒体
JP2015015626A (ja) 画像復号装置および画像符号化装置
JP2014204327A (ja) 画像復号装置および画像符号化装置
JP2015076806A (ja) 画像復号装置および画像符号化装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180831

R150 Certificate of patent or registration of utility model

Ref document number: 6397421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees