JP6401707B2 - 画像復号装置、画像復号方法、および記録媒体 - Google Patents

画像復号装置、画像復号方法、および記録媒体 Download PDF

Info

Publication number
JP6401707B2
JP6401707B2 JP2015542651A JP2015542651A JP6401707B2 JP 6401707 B2 JP6401707 B2 JP 6401707B2 JP 2015542651 A JP2015542651 A JP 2015542651A JP 2015542651 A JP2015542651 A JP 2015542651A JP 6401707 B2 JP6401707 B2 JP 6401707B2
Authority
JP
Japan
Prior art keywords
picture
prediction
reference picture
layer
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015542651A
Other languages
English (en)
Other versions
JPWO2015056735A1 (ja
Inventor
知宏 猪飼
知宏 猪飼
健史 筑波
健史 筑波
山本　智幸
智幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2015056735A1 publication Critical patent/JPWO2015056735A1/ja
Application granted granted Critical
Publication of JP6401707B2 publication Critical patent/JP6401707B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、対象レイヤおよび参照レイヤの間で残差予測を行う画像復号装置に関する。
近年、動画像を符号化して伝送・蓄積する動画像符号化方式の一つとしてHEVC（High-Efficiency Video Coding）が知られている（非特許文献１）。また、複数の相互に関連性のある動画像をレイヤ（階層）に分けて符号化することで、複数の動画像から符号化データを生成する技術も知られており、このような技術は階層符号化技術（あるいはスケーラブル符号化技術）と呼ばれる。
また、階層符号化技術の一つとしてHEVCを基礎とするMV-HEVC（Multi View HEVC）が提案されている（非特許文献２）。
MV-HEVCではビュースケーラビリティをサポートする。ビュースケーラビリティでは、複数の異なる視点（ビュー）に対応する動画像をレイヤに分けて符号化して階層符号化データを生成する。例えば、基本となる視点（ベースビュー）に対応する動画像を下位レイヤとして符号化する。次に、異なる視点に対応する動画像を、レイヤ間予測を適用した上で、上位レイヤとして符号化する。
さらには、HEVCおよびMV-HEVCを基礎とした3D-HEVC(3D High Efficiency Video Coding)という３Ｄ動画技術が検討されている。
また、3D-HEVCでは、ＡＲＰ(Advanced Residual Prediction)という予測技術も提案されている。ＡＲＰでは、異なる視点において復号済みのピクチャを対象ピクチャにおける残差の推定に用いる。より具体的には、ＡＲＰでは、対象時刻以外の参照レイヤの復号画像(refIvRefPic)と、対象時刻の参照レイヤの復号画像(currIvRefPic)の差から、対象ピクチャの残差を推定する。
「Recommendation H.265 (04/13)」, ITU-T (２０１３年６月７日公開) JCT3V-E1004_v6 「MV-HEVC Draft Text 5」, Joint CollaborativeTeam on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 115th Meeting: Vienna, AT, 27 Jul. - 2 Aug. 2013 (２０１３年８月７日公開)
しかしながら、上述のような従来技術では、refIvRefPicがＤＰＢ（Decoded Picture Buffer）から既に破棄されて、存在しない場合があるという課題がある。
図２４を用いて具体的に説明すると次のとおりである。図２４において、２つのビューが符号化されている。ピクチャＰ１０１、Ｐ１０２、およびＰ１０３は、対象ビュー（レイヤ）におけるピクチャであり、ピクチャＰ２０１、Ｐ２０２、およびＰ２０３は、参照ビュー（RefViewIdx）のピクチャである。なお、各ピクチャに付した番号は、復号順を示している。
ここで、ピクチャＰ１０３を復号する場合において、ピクチャＰ１０３が、ピクチャＰ１０１から予測されるとする。
この場合、ＡＲＰでは、現行ＰＯＣの対応するピクチャまたはcurrIvRefPicにて指定されるピクチャＰ２０３と、RefPicListXにおいて最初に位置するピクチャまたはrefIvRefPicにて指定されるピクチャＰ２０２とから残差が導出される。
しかしながら、図２４に示す例では、refIvRefPicにて指定されるピクチャＰ２０２がcurrIvRefPicにて指定されるピクチャＰ２０３から参照されていないため、ピクチャＰ１０３の復号の前に、ＤＰＢから削除された場合には、refIvRefPicにて指定されるピクチャＰ２０２が利用できない。また、対象ピクチャの復号は、参照ピクチャリストに格納されたピクチャを参照しながら行われるが、参照ピクチャリストはスライス単位で変わるため、ピクチャＰ１０２（arpRefpic）の参照ピクチャリストにおける位置が、スライス単位で変わる可能性があるという問題もある。さらには、参照しようとするピクチャＰ１０２のＰＯＣと、復号する対象ピクチャのピクチャＰ１０３のＰＯＣとが一致していしまう可能性もある。
本発明は上記問題に鑑みてなされたものであり、その目的は、残差予測時に、参照レイヤの参照ピクチャが存在しない、または、対象レイヤにおける参照ピクチャの所在がスライス間で変わる、または、復号する対象ピクチャのピクチャ順序と参照しようとする対象レイヤにおけるピクチャのピクチャ順序とが一致する、という事態を避けることができる画像復号装置等を実現することにある。
本発明の一態様に係る画像復号装置は、残差予測参照ピクチャが利用可能であるか否かの判定を行う参照ピクチャ判定部と、上記残差予測参照ピクチャを用いた残差予測を行う残差予測適用部とを備え上記参照ピクチャ判定部は、上記残差予測参照レイヤの参照ピクチャがＤＰＢ（Decoded Picture Buffer）において格納されているか否かに応じて、上記判定を行うことを特徴とする。
本発明の別の態様に係る画像復号装置は、残差予測用参照ピクチャを導出する参照ピクチャ導出部と、上記残差予測参照ピクチャを用いた残差予測を行う残差予測適用部とを備え、
上記参照ピクチャ導出部は、参照ピクチャリストに含まれる参照ピクチャのうち、対象ピクチャのピクチャ順序と異なるピクチャ順序を有する参照ピクチャを上記残差予測用参照ピクチャとして導出することを特徴とする。
本発明の別の態様に係る画像復号装置は、残差予測用参照ピクチャを導出する参照ピクチャ選択部と、上記残差予測参照ピクチャが利用可能な場合に、上記残差予測参照ピクチャを用いた残差予測を行う残差予測適用部とを備え、参照ピクチャリストを先頭から順に走査し、参照ピクチャRefPicListX[i]のＰＯＣと、対象ピクチャcurrPicのＰＯＣ（PicOrderCntVal）の差分の絶対値が、上記POC差分よりも小さい場合に、その参照ピクチャを残差予測用参照ピクチャに設定することを特徴とする。
本発明の別の態様に係る画像復号装置は、参照ピクチャリストに含まれる参照ピクチャのうち、上記対象ピクチャのピクチャ順序と異なるピクチャ順序を有する参照ピクチャを残差予測参照ピクチャとして導出する参照ピクチャ導出部と、上記残差予測参照ピクチャが利用可能な場合に、残差予測フラグiv_res_pred_weight_idxを復号するインター予測パラメータ復号制御部を備える。
本発明の一態様に係る画像復号装置よれば、対象ピクチャについての残差予測時に、上記参照レイヤの復号ピクチャが利用できないという事態を回避することができるという効果を奏する。
また、本発明の他の態様に係る画像復号装置によれば、arpRefpicのＰＯＣが現ピクチャのＰＯＣと異なることを保障することができるという効果を奏する。
本発明の一実施形態に係る画像復号装置に含まれる残差予測部の構成を示す機能ブロック図である。 本実施形態に係る画像伝送システムの構成を示す概略図である。 本実施形態に係る符号化ストリームのデータの階層構造を示す図である。 （ａ）は、参照ピクチャリストの一例を示す概念図であり、（ｂ）は、ベクトル候補の一例を示す概念図である。 参照ピクチャの例を示す概念図である。 本実施形態に係る画像復号装置の構成を示す概略図である。 本実施形態に係るインター予測パラメータ復号部の構成を示す概略図である。 マージインデックスmerge_idxと、残差予測の重み数の関係を示す表である。 上記画像復号装置に含まれる復号ピクチャ管理部の構成を例示した機能ブロック図である。 本実施形態に係るインター予測画像生成部の構成を示す概略図である。 （ａ）は、本実施形態に係る残差予測の概念図（その１）であり、（ｂ）は、本実施形態に係る残差予測の概念図（その２）である。 本実施形態に係る画像符号化装置の構成を示すブロック図である。 本実施形態に係るインター予測パラメータ符号化部の構成を示す概略図である。 ＣＵレベルで、arpRefPicAvailableフラグを判定する例を示すシンタックスである。 ＣＵレベルで、arpRefPicAvailableフラグを判定する別の例を示すシンタックスである。 上記画像復号装置のエントロピー復号部によりＳＰＳ復号時に利用されるシンタックス表の一部であって、参照ピクチャセットおよび参照ピクチャリストに係る部分を示す図である。 （ａ）は、上記画像復号装置のエントロピー復号部により短期参照ピクチャセット情報の復号時に利用されるシンタックス表を示す図である。（ｂ）は、上記画像復号装置のエントロピー復号部によりスライスヘッダ復号時に利用されるシンタックス表の一部であって、参照ピクチャセットに係る部分を示す図である。 （ａ）は、VPSに含まれるVPS拡張（vps_extension）の復号時に参照されるシンタックス表の一部であって、IL-RPS情報に相当する部分を示す図である。（ｂ）は、スライス復号時に参照されるシンタックス表の一部であって、IL-RPS情報に相当する部分を示す図である。 （ａ）は、レイヤ間予測の種類にレイヤ間画像予測とレイヤ間動き予測がある場合の依存タイプと各レイヤ間予測の使用可否の関係を示す図である。（ｂ）は、上記画像復号装置において生成されるレイヤ間RPSに含まれるサブRPS（レイヤ間画素RPSとレイヤ間動き限定RPS）と依存タイプの関係を例示する図である。 レイヤ間RPSに含まれるサブRPS（レイヤ間画素RPSとレイヤ間動き限定RPS）の導出処理を表わすフロー図である。 （ａ）は、上記画像復号装置のエントロピー復号部によりスライスヘッダ復号時に利用されるシンタックス表の一部であって、参照ピクチャリストに係る部分を示す図である。（ｂ）は、上記画像復号装置のエントロピー復号部により参照ピクチャリスト修正情報の復号時に利用されるシンタックス表を示す図である。 上記画像復号装置のRPL導出部におけるＬ０参照リストとＬ１参照リスト導出の中間過程で生成される暫定Ｌ０参照リストと暫定Ｌ１参照リストを示す概略図である。 上記画像復号装置に含まれるマージ予測パラメータ導出部の構成を示す概略図である。 ＡＲＰにおける対象レイヤのピクチャおよび参照レイヤの間の関連性を説明する図である。
〔第１の実施形態〕
以下、図面を参照しながら本発明の実施形態について説明する。
まず、図２を用いて、本実施形態に係る画像伝送システム１の概略的構成について説明する。図２は、本実施形態に係る画像伝送システム１の構成を示す概略図である。
画像伝送システム１は、複数のレイヤ画像を符号化した符号を伝送し、伝送された符号を復号した画像を表示するシステムである。画像伝送システム１は、画像符号化装置１１、ネットワーク２１、画像復号装置３１及び画像表示装置４１を含んで構成される。
画像符号化装置１１には、複数のレイヤ画像（テクスチャ画像ともいう）を示す信号Ｔが入力される。レイヤ画像とは、ある解像度及びある視点で視認もしくは撮影される画像である。複数のレイヤ画像を用いて３次元画像を符号化するビュースケーラブル符号化を行う場合、複数のレイヤ画像のそれぞれは、視点画像と呼ばれる。ここで、視点は撮影装置の位置又は観測点に相当する。例えば、複数の視点画像は、被写体に向かって左右の撮影装置のそれぞれが撮影した画像である。画像符号化装置１１は、この信号のそれぞれを符号化して符号化ストリームＴｅ（符号化データ）を生成する。符号化ストリームＴｅの詳細については、後述する。視点画像とは、ある視点において観測される２次元画像（平面画像）である。視点画像は、例えば２次元平面内に配置された画素毎の輝度値、又は色信号値で示される。以下では、１枚の視点画像又は、その視点画像を示す信号をピクチャ（ｐｉｃｔｕｒｅ）と呼ぶ。また、複数のレイヤ画像を用いて空間スケーラブル符号化を行う場合、その複数のレイヤ画像は、解像度の低いベースレイヤ画像と、解像度の高い拡張レイヤ画像からなる。複数のレイヤ画像を用いてＳＮＲスケーラブル符号化を行う場合、その複数のレイヤ画像は、画質の低いベースレイヤ画像と、画質の高い拡張レイヤ画像からなる。なお、ビュースケーラブル符号化、空間スケーラブル符号化、ＳＮＲスケーラブル符号化を任意に組み合わせて行っても良い。本実施形態では、複数のレイヤ画像として、少なくともベースレイヤ画像と、ベースレイヤ画像以外の画像（拡張レイヤ画像）を含む画像の符号化および復号を扱う。複数のレイヤのうち、画像もしくは符号化パラメータにおいて参照関係（依存関係）にある２つのレイヤについて、参照される側の画像を、第１レイヤ画像、参照する側の画像を第２レイヤ画像と呼ぶ。例えば、ベースレイヤを参照して符号化される（ベースレイヤ以外の）エンハンスレイヤ画像がある場合、ベースレイヤ画像を第１レイヤ画像、エンハンスレイヤ画像を第２レイヤ画像として扱う。なお、エンハンスレイヤ画像の例としては、ベースビュー以外の視点の画像、デプス（ｄｅｐｔｈ）の画像などがある。
ネットワーク２１は、画像符号化装置１１が生成した符号化ストリームＴｅを画像復号装置３１に伝送する。ネットワーク２１は、例えば、インターネット（internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）又はこれらの組み合わせによって構成することができる。ネットワーク２１は、必ずしも双方向の通信網に限らず、地上波ディジタル放送、衛星放送等の放送波を伝送する一方向又は双方向の通信網であっても良い。また、ネットワーク２１は、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blue-ray Disc）等の符号化ストリームＴｅを記録した記憶媒体で代替されても良い。
画像復号装置３１は、ネットワーク２１が伝送した符号化ストリームＴｅのそれぞれを復号し、それぞれ復号した複数の復号レイヤ画像Ｔｄ（復号視点画像Ｔｄ）を生成する。
画像表示装置４１は、画像復号装置３１が生成した複数の復号レイヤ画像Ｔｄの全部又は一部を表示する。例えば、ビュースケーラブル符号化においては、全部の場合、３次元画像（立体画像）や自由視点画像が表示され、一部の場合、２次元画像が表示される。画像表示装置４１は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。また、空間スケーラブル符号化、ＳＮＲスケーラブル符号化では、画像復号装置３１、画像表示装置４１が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示し、より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。
本実施形態に係る画像符号化装置１１および画像復号装置３１の詳細な説明に先立って、画像符号化装置１１によって生成され、画像復号装置３１によって復号される符号化ストリームＴｅのデータ構造について説明する。
図３は、符号化ストリームＴｅにおけるデータの階層構造を示す図である。符号化ストリームＴｅは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図３の（ａ）〜（ｆ）は、それぞれ、シーケンスＳＥＱを既定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、符号化ツリーに含まれる符号化単位（Ｃｏｄｉｎｇ Ｕｎｉｔ；ＣＵ）を規定する符号化ユニットレイヤを示す図である。
（シーケンスレイヤ） シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、ビデオパラメータセットＶＰＳ（Video Parameter Set）シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤＩＤを示す。図３では、＃０と＃１すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。
ビデオパラメータセットＶＰＳは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。
ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。
（ピクチャレイヤ） ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、スライスＳ０〜ＳＮＳ−１を含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
なお、以下、スライスＳ０〜ＳＮＳ−１のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームＴｅに含まれるデータであって、添え字を付している他のデータについても同様である。
（スライスレイヤ） スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、スライスヘッダＳＨ、および、スライスデータＳＤＡＴＡを含んでいる。
スライスヘッダＳＨには、対象スライスの復号方法を決定するために画像復号装置３１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（ｓｌｉｃｅ＿ｔｙｐｅ）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。
なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（pic_parameter_set_id）を含んでいても良い。
（スライスデータレイヤ） スライスデータレイヤでは、処理対象のスライスデータＳＤＡＴＡを復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスデータＳＤＡＴＡは、図３の（ｄ）に示すように、符号化ツリーブロック（CTB:Coded Tree Block）（符号化ツリーユニットＣＴＵ）を含んでいる。ＣＴＢは、スライスを構成する固定サイズ（例えば６４×６４）のブロックであり、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。
（符号化ツリーレイヤ） 符号化ツリーレイヤは、図２の（ｅ）に示すように、処理対象の符号化ツリーブロックを復号するために画像復号装置３１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のノードのことを符号化ツリー（coding tree）と称する。４分木の中間ノードは、符号化４分木ツリー（CQT:Coded Quad Tree）であり、ＣＴＵは、最上位のＣＱＴを含むものとして規定される。ＣＱＴは、分割フラグ（split_flag）を含み、split_flagが１の場合には、４つのＣＱＴに分割される（４つのＣＱＴを含む）。split_flagが０の場合には、ＣＱＴは末端ノードである符号化ユニット（CU:Coded Unit）を含む。符号化ユニットＣＵは、符号化処理の基本的な単位となる。
（符号化ユニットレイヤ） 符号化ユニットレイヤは、図３の（ｆ）に示すように、処理対象の符号化ユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、ＣＵヘッダＣＵＨ、予測ツリー、変換ツリー、ＣＵヘッダＣＵＨから構成される。ＣＵヘッダＣＵＨでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかなどが規定される。符号化ユニットは、予測ツリー（prediction tree;PT）および変換ツリー（transform tree;TT）のルートとなる。ＣＵヘッダＣＵＨは、予測ツリーと変換ツリーの間、もしくは、変換ツリーの後に含まれる。
予測ツリーは、符号化ユニットが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ユニットを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit;PU、予測ユニット）とも称する。
予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）と、Ｎ×Ｎとがある。
また、インター予測の場合、分割方法は、符号化データのpart_modeにより符号化され、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。なお、２Ｎ×ｎＵは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×０．５Ｎと２Ｎ×１．５Ｎの２領域に分割することを示す。２Ｎ×ｎＤは、２Ｎ×２Ｎの符号化ユニットを上から順に２Ｎ×１．５Ｎと２Ｎ×０．５Ｎの２領域に分割することを示す。ｎＬ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に０．５Ｎ×２Ｎと１．５Ｎ×２Ｎの２領域に分割することを示す。ｎＲ×２Ｎは、２Ｎ×２Ｎの符号化ユニットを左から順に１．５Ｎ×２Ｎと０．５Ｎ×１．５Ｎの２領域に分割することを示す。分割数は１、２、４のいずれかであるため、ＣＵに含まれるＰＵは１個から４個である。これらのＰＵを順にＰＵ０、ＰＵ１、ＰＵ２、ＰＵ３と表現する。
また、変換ツリーにおいては、符号化ユニットが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ユニットを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit;TU）とも称する。
（予測パラメータ） 予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルｍｖＬ０、ｍｖＬ１から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々Ｌ０リスト、Ｌ１リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、１をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。２つの参照ピクチャリストが用いられる場合、つまり、predFlagL0＝１， predFlagL1＝１の場合が、双予測に対応し、１つの参照ピクチャリストを用いる場合、すなわち(predFlagL0, predFlagL1) = (1, 0)もしくは(predFlagL0, predFlagL1) = (0, 1)の場合が単予測に対応する。なお、予測リスト利用フラグの情報は、後述のインター予測フラグinter_pred_idcで表現することもできる。通常、後述の予測画像生成部、予測パラメータメモリでは、予測リスト利用フラグが用いれ、符号化データから、どの参照ピクチャリストが用いられるか否かの情報を復号する場合にはインター予測フラグinter_pred_idcが用いられる。
符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。
（参照ピクチャリストの一例） 次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、復号ピクチャ管理部３０６のＤＰＢ３０６１（図９：詳細は後述）に記憶された参照ピクチャからなる列である。図４の（ａ）は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト６０１において、左右に一列に配列された５個の長方形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号、Ｐ１、Ｐ２、Ｑ０、Ｐ３、Ｐ４は、それぞれの参照ピクチャを示す符号である。Ｐ１等のＰとは、視点Ｐを示し、そしてＱ０のＱとは、視点Ｐとは異なる視点Ｑを示す。Ｐ及びＱの添字は、ピクチャ順序番号ＰＯＣを示す。refIdxLXの真下の下向きの矢印は、参照ピクチャインデックスrefIdxLXが、復号ピクチャ管理部３０６のＤＰＢ３０６１に記憶された参照ピクチャＱ０を参照するインデックスであることを示す。
（参照ピクチャの例） 次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図５は、参照ピクチャの例を示す概念図である。図５において、横軸は表示時刻を示し、縦軸は視点を示す。図５に示されている、縦２行、横３列（計６個）の長方形は、それぞれピクチャを示す。６個の長方形のうち、下行の左から２列目の長方形は復号対象のピクチャ（対象ピクチャ）を示し、残りの５個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから上向きの矢印で示される参照ピクチャＱ０は対象ピクチャと同表示時刻であって視点が異なるピクチャである。対象ピクチャを基準とする変位予測においては、参照ピクチャＱ０が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャＰ１は、対象ピクチャと同じ視点であって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャＰ２は、対象ピクチャと同じ視点であって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャＰ１又はＰ２が用いられる。
（インター予測フラグと予測リスト利用フラグ） インター予測フラグと、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。そのため、インター予測パラメータとしては、予測リスト利用フラグを用いても良いし、インター予測フラグを用いてもよい。また、以下、予測リスト利用フラグを用いた判定は、インター予測フラグに置き替えても可能である。逆に、インター予測フラグを用いた判定は、予測リスト利用フラグに置き替えても可能である。
インター予測フラグ ＝ （predFlagL1＜＜１） ＋ predFlagL0
predFlagL0 ＝インター予測フラグ ＆ １
predFlagL1 ＝インター予測フラグ ＞＞ １
ここで、＞＞は右シフト、＜＜は左シフトである。
（マージ予測とAMVP予測） 予測パラメータの復号（符号化）方法には、マージ予測（ｍｅｒｇｅ）モードとAMVP（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがある、マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードでも、AMVPモードでも、既に処理済みのブロックの予測パラメータを用いて、対象ＰＵの予測パラメータが導出される。マージ予測モードは、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idcinter_pred_idc）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めずに、既に導出した予測パラメータをそのまま用いるモードであり、AMVPモードは、インター予測フラグinter_pred_idcinter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めるモードである。なおベクトルmvLXは、予測ベクトルを示す予測ベクトルインデックスmvp_LX_idxと差分ベクトル（mvdLX）として符号化される。
インター予測フラグinter_pred_idcは、参照ピクチャの種類および数を示すデータであり、Ｐｒｅｄ＿Ｌ０、Ｐｒｅｄ＿Ｌ１、Ｐｒｅｄ＿Ｂｉの何れかの値をとる。Ｐｒｅｄ＿Ｌ０、Ｐｒｅｄ＿Ｌ１は、各々Ｌ０リスト、Ｌ１リストと呼ばれる参照ピクチャリストに記憶された参照ピクチャが用いられることを示し、共に１枚の参照ピクチャを用いること（単予測）を示す。Ｌ０リスト、Ｌ１リストを用いた予測を各々Ｌ０予測、Ｌ１予測と呼ぶ。Ｐｒｅｄ＿Ｂｉは２枚の参照ピクチャを用いること（双予測）を示し、Ｌ０リストとＬ１リストに記憶された参照ピクチャの２つを用いることを示す。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストに記憶された参照ピクチャを示すインデックスである。なお、ＬＸは、Ｌ０予測とＬ１予測を区別しない場合に用いられる記述方法であり、ＬＸをＬ０、Ｌ１に置き換えることでＬ０リストに対するパラメータとＬ１リストに対するパラメータを区別するする。例えば、refIdxL0はＬ０予測に用いる参照ピクチャインデックス、refIdxL1はＬ１予測に用いる参照ピクチャインデックス、refIdx（refIdxLX）は、refIdxL0とrefIdxL1を区別しない場合に用いられる表記である。
マージインデックスmerge_idxは、処理が完了したブロックから導出される予測パラメータ候補（マージ候補）のうち、いずれかの予測パラメータを復号対象ブロックの予測パラメータとして用いるかを示すインデックスである。
（動きベクトルと変位ベクトル） ベクトルmvLXには、動きベクトルと変位ベクトル（disparity vector、視差ベクトル）がある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、異なる表示時刻（例えば、隣接する離散時刻）における同一のレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、異なる視点のピクチャである場合、もしくは、異なる解像度のピクチャである場合などがある。特に、異なる視点のピクチャに対応する変位ベクトルを視差ベクトルと呼ぶ。以下の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルmvLXと呼ぶ。ベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。ベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか、変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて判別される。
次に、本実施形態に係る画像復号装置３１の構成について説明する。図６は、本実施形態に係る画像復号装置３１の構成を示す概略図である。画像復号装置３１は、エントロピー復号部３０１、予測パラメータ復号部３０２、復号ピクチャ管理部（参照画像記憶部、フレームメモリ）３０６、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１、及び加算部３１２、残差格納部３１３（残差記録部）を含んで構成される。
また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。
エントロピー復号部３０１は、外部から入力された符号化ストリームＴｅに対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための残差情報などがある。
エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードPredMode、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idcinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックmvp_LX_idx、差分ベクトルmvdLX、残差予測フラグiv_res_pred_weight_idxである。どの符号を復号するか否かの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。エントロピー復号部３０１は、量子化係数を逆量子化・逆ＤＣＴ部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してＤＣＴ（Discrete Cosine Transform、離散コサイン変換）を行い量子化して得られる係数である。
インター予測パラメータ復号部３０３は、エントロピー復号部３０１から入力された符号に基づいて、復号ピクチャ管理部３０６の予測パラメータメモリ３０６７に記憶された予測パラメータを参照してインター予測パラメータを復号する。
インター予測パラメータ復号部３０３は、復号したインター予測パラメータを予測画像生成部３０８に出力し、また復号ピクチャ管理部３０６の予測パラメータメモリ３０６７に記憶する。インター予測パラメータ復号部３０３の詳細については後述する。
イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号に基づいて、復号ピクチャ管理部３０６の予測パラメータメモリ３０６７に記憶された予測パラメータを参照してイントラ予測パラメータを復号する。イントラ予測パラメータとは、ピクチャブロックを１つのピクチャ内で予測する処理で用いるパラメータ、例えば、イントラ予測モードＩｎｔｒａPredModeである。イントラ予測パラメータ復号部３０４は、復号したイントラ予測パラメータを予測画像生成部３０８に出力し、また復号ピクチャ管理部３０６の予測パラメータメモリ３０６７に記憶する。
イントラ予測パラメータ復号部３０４は、輝度と色差で異なるイントラ予測モードを導出しても良い。この場合、イントラ予測パラメータ復号部３０４は、輝度の予測パラメータとして輝度予測モードIntraPredModeY、色差の予測パラメータとして、色差予測モードIntraPredModeCを復号する。輝度予測モードIntraPredModeYは、３５モードであり、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２〜３４）が対応する。色差予測モードIntraPredModeCは、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２、３、４）、ＬＭモード（５）の何れかを用いるもの。
復号ピクチャ管理部３０６は、加算部３１２が生成した参照ピクチャのブロック（参照ピクチャブロック）を、ＤＰＢ３０６１において、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶するとともに、所定のタイミングで参照ピクチャブロックをピクチャ毎に統合した復号視点画像Ｔｄを外部に出力する。
また、復号ピクチャ管理部３０６は、予測パラメータを、予測パラメータメモリ３０６７において、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。復号ピクチャ管理部３０６の詳細については、図９を用いて後に説明する。
予測画像生成部３０８には、エントロピー復号部３０１から入力された予測モードpredModeが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、復号ピクチャ管理部３０６のＤＰＢ３０６１から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードpredModeが示す予測モードで、入力された予測パラメータと読み出した参照ピクチャを用いて予測ピクチャブロックＰ（予測画像）を生成する。
ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャを用いてインター予測により予測ピクチャブロックＰを生成する。予測ピクチャブロックＰは予測単位ＰＵに対応する。ＰＵは、上述したように予測処理を行う単位となる複数の画素からなるピクチャの一部分、つまり１度に予測処理が行われる復号対象ブロックに相当する。
インター予測画像生成部３０９は、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（ＲＰＳ：Reference Picture List）（Ｌ０リスト、もしくはＬ１リスト）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャから、復号対象ブロックを基準としてベクトルmvLXが示す位置にある参照ピクチャブロックを復号ピクチャ管理部３０６のＤＰＢ３０６１から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックについて予測を行って予測ピクチャブロックＰを生成する。インター予測画像生成部３０９は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたブロックのうち復号対象ブロックから予め定めた範囲にある参照ピクチャブロックを復号ピクチャ管理部３０６のＤＰＢ３０６１から読み出す。予め定めた範囲とは、復号対象ブロックがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接ブロックのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。
イントラ予測画像生成部３１０は、読み出した参照ピクチャブロックについてイントラ予測モードIntraPredModeが示す予測モードで予測を行って予測ピクチャブロックを生成する。イントラ予測画像生成部３１０は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
イントラ予測パラメータ復号部３０４において、輝度と色差で異なるイントラ予測モードを導出する場合、イントラ予測画像生成部３１０は、輝度予測モードIntraPredModeYに応じて、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２〜３４）の何れかによって輝度の予測ピクチャブロックを生成し、色差予測モードIntraPredModeCに応じて、プレーナ予測（０）、ＤＣ予測（１）、方向予測（２、３、４）、ＬＭモード（５）の何れかによって色差の予測ピクチャブロックを生成する。
逆量子化・逆ＤＣＴ部３１１は、エントロピー復号部３０１から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部３１１は、求めたＤＣＴ係数について逆ＤＣＴ（Inverse Discrete Cosine Transform、逆離散コサイン変換）を行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部３１１は、算出した復号残差信号を加算部３１２および残差格納部３１３に出力する。
加算部３１２は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０から入力された予測ピクチャブロックＰと逆量子化・逆ＤＣＴ部３１１から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部３１２は、生成した参照ピクチャブロック（すなわち復号ピクチャ）を復号ピクチャ管理部３０６のＤＰＢ３０６１に記憶する。
［インター予測パラメータ復号部の構成］ 次に、インター予測パラメータ復号部３０３の構成について説明する。図７は、本実施形態に係るインター予測パラメータ復号部３０３の構成を示す概略図である。インター予測パラメータ復号部３０３は、インター予測パラメータ復号制御部３０３１、AMVP予測パラメータ導出部３０３２、加算部３０３５及びマージ予測パラメータ導出部３０３６を含んで構成される。
［［インター予測パラメータ復号制御部］］ インター予測パラメータ復号制御部３０３１は、インター予測に関連する符号（シンタックス要素）の復号をエントロピー復号部３０１に指示し、符号化データに含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idcinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、残差予測フラグiv_res_pred_weight_idxを抽出する。
インター予測パラメータ復号制御部３０３１は、まず、符号化データからマージフラグを抽出する。インター予測パラメータ復号制御部３０３１が、あるシンタックス要素を抽出すると表現する場合は、あるシンタックス要素の復号をエントロピー復号部３０１に指示し、該当のシンタックス要素を符号化データから読み出すことを意味する。ここで、マージフラグが示す値が１、すなわち、マージ予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、マージ予測に係る予測パラメータとして、マージインデックスmerge_idxを抽出する。インター予測パラメータ復号制御部３０３１は、抽出したマージインデックスmerge_idxをマージ予測パラメータ導出部３０３６に出力する。
マージフラグmerge_flagが０、すなわち、AMVP予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、エントロピー復号部３０１を用いて符号化データからAMVP予測パラメータを抽出する。AMVP予測パラメータとして、例えば、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。インター予測パラメータ復号制御部３０３１は、抽出したインター予測フラグinter_pred_idcinter_pred_idcから導出した予測リスト利用フラグpredFlagLXと、参照ピクチャインデックスrefIdxLXをAMVP予測パラメータ導出部３０３２及び予測画像生成部３０８（図６）に出力し、また復号ピクチャ管理部３０６のＤＰＢ３０６１（図９）に記憶する。インター予測パラメータ復号制御部３０３１は、抽出したベクトルインデックスmvp_LX_idxをAMVP予測パラメータ導出部３０３２に出力する。インター予測パラメータ復号制御部３０３１は、抽出した差分ベクトルmvdLXを加算部３０３５に出力する。
［［マージ予測パラメータ導出部］］ 図２３は、本実施形態に係るマージ予測パラメータ導出部３０３６の構成を示す概略図である。マージ予測パラメータ導出部３０３６は、マージ候補導出部３０３６１とマージ候補選択部３０３６２を備える。マージ候補導出部３０３６１は、マージ候補格納部３０３６１１と、拡張マージ候補導出部３０３６１２と基本マージ候補導出部３０３６１３を含んで構成される。
マージ候補格納部３０３６１１は、拡張マージ候補導出部３０３６１２及び基本マージ候補導出部３０３６１３から入力されたマージ候補を格納する。なお、マージ候補は、予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLXを含んで構成されている。マージ候補格納部３０３６１１において、格納されたマージ候補には、所定の規則に従ってインデックスが割り当てられる。例えば、拡張マージ候補導出部３０３６１２から入力されたマージ候補には、インデックスとして「０」を割り当てる。
拡張マージ候補導出部３０３６１２は、変位ベクトル取得部３０３６１２２と、レイヤ間マージ候補導出部３０３６１２１と変位マージ候補導出部３０３６１２３、図示しないＢＶＳＰマージ候補導出部３０３６１２４を含んで構成される。
変位ベクトル取得部３０３６１２２は、まず、復号対象ブロックに隣接する複数の候補ブロック（例えば、左、上、右上に隣接するブロック）から順に変位ベクトルを取得する。具体的には、変位ベクトル取得部３０３６１２２は、候補ブロックの一つを選択し、選択した候補ブロックのベクトルが変位ベクトルであるか動きベクトルであるかを、候補ブロックの参照ピクチャインデックスrefIdxLXを用いてリファレンスレイヤ判定機能（後述）を用いて判定し変位ベクトルが有る場合には、それを変位ベクトルとする。候補ブロックに変位ベクトルがない場合には、次の候補ブロックを順に走査する。隣接するブロックに変位ベクトルがない場合、変位ベクトル取得部３０３６１２２は、時間的に別の表示順の参照ピクチャに含まれるブロックの対象ブロックに対応する位置のブロックの変位ベクトルの取得を試みる。変位ベクトルが取得できなかった場合には、変位ベクトル取得部３０３６１２２は、変位ベクトルとしてゼロベクトルを設定する。変位ベクトル取得部３０３６１２２は、変位ベクトルをレイヤ間マージ候補導出部３０３６１２１及び変位マージ候補導出部に出力する。
レイヤ間マージ候補導出部３０３６１２１は、変位ベクトル取得部３０３６１２２から変位ベクトルを入力される。レイヤ間マージ候補導出部３０３６１２１は、別レイヤ（例えばベースレイヤ、ベースビュー）の復号対象ピクチャと同一ＰＯＣを持つピクチャ内から、変位ベクトル取得部３０３６１２２から入力された変位ベクトルだけが示すブロックを選択し、該ブロックが有する動きベクトルである予測パラメータを予測パラメータメモリ３０７から読み出す。より具体的には、レイヤ間マージ候補導出部３０３６１２１が読みだす予測パラメータは、対象ブロックの中心点を起点にしたときに、起点の座標に変位ベクトルを加算した座標を含むブロックの予測パラメータである。
参照ブロックの座標（ｘＲｅｆ、ｙＲｅｆ）は、対象ブロックの座標が（ｘＰ、ｙＰ）、変位ベクトルが（mvDisp［０］、mvDisp［１］）、対象ブロックの幅と高さがｎＰＳＷ、ｎＰＳＨの場合に以下の式により導出する。
xRef = Clip3( 0, PicWidthInSamplesL - 1, xP + ( ( nPSW - 1 ) >> 1 ) + ( ( mvDisp[0] + 2 ) >> 2 ) )
yRef = Clip3( 0, PicHeightInSamplesL - 1, yP + ( ( nPSH - 1 ) >> 1 ) + ( ( mvDisp[1] + 2 ) >> 2 ))
なお、レイヤ間マージ候補導出部３０３６１２１は、予測パラメータが動きベクトルか否かを、インター予測パラメータ復号制御部３０３１に含まれる後述するリファレンスレイヤ判定機能による判定方法において偽（変位ベクトルではない）と判定した方法により判定する。レイヤ間マージ候補導出部３０３６１２１は、読みだした予測パラメータをマージ候補としてマージ候補格納部３０３６１１に出力する。また、レイヤ間マージ候補導出部３０３６１２１は、予測パラメータを導出出来なかった際には、その旨を変位マージ候補導出部に出力する。本マージ候補は、動き予測のインターレイヤ候補（インタービュー候補）でありレイヤ間マージ候補（動き予測）とも記載する。
変位マージ候補導出部３０３６１２３は、変位ベクトル取得部３０３６１２２から変位ベクトルを入力される。変位マージ候補導出部３０３６１２３は、入力された変位ベクトルと、変位ベクトルが指す先のレイヤ画像の参照ピクチャインデックスrefIdxLX（例えば、復号対象ピクチャと同一ＰＯＣを持つベースレイヤ画像のインデックス）をマージ候補としてマージ候補格納部３０３６１１に出力する。本マージ候補は、変位予測のインターレイヤ候補（インタービュー候補）でありレイヤ間マージ候補（変位予測）とも記載する。
ＢＶＳＰマージ候補導出部３０３６１２４は、ブロック視点合成予測（Block View Synthesis Prediction）マージ候補を導出する。ＢＶＳＰマージ候補は、別の視点画像から予測画像を生成する変位マージ候補の一種であるが、ＰＵ内をさらに小さいブロックに分割して、予測画像生成処理を行うマージ候補である。
基本マージ候補導出部３０３６１３は、空間マージ候補導出部３０３６１３１と時間マージ候補導出部３０３６１３２と結合マージ候補導出部３０３６１３３とゼロマージ候補導出部３０３６１３４を含んで構成される。
空間マージ候補導出部３０３６１３１は、所定の規則に従って、予測パラメータメモリ３０７が記憶している予測パラメータ（予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLX）を読み出し、読み出した予測パラメータをマージ候補として導出する。読み出される予測パラメータは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係る予測パラメータである。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
時間マージ候補導出部３０３６１３２は、復号対象ブロックの右下の座標を含む参照画像中のブロックの予測パラメータを予測パラメータメモリ３０７から読みだしマージ候補とする。参照画像の指定方法は、例えば、スライスヘッダに置いて指定された参照ピクチャインデックスrefIdxLXでも良いし、復号対象ブロックに隣接するブロックの参照ピクチャインデックスrefIdxLXのうち最小のものを用いて指定しても良い。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
結合マージ候補導出部３０３６１３３は、既に導出されマージ候補格納部３０３６１１に格納された２つの異なる導出済マージ候補のベクトルと参照ピクチャインデックスを、それぞれＬ０、Ｌ１のベクトルとして組み合わせることで結合マージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
ゼロマージ候補導出部３０３６１３４は、参照ピクチャインデックスrefIdxLXが０であり、ベクトルmvLXのＸ成分、Ｙ成分が共に０であるマージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
図８は、マージ候補導出部３０３６１が導出するマージ候補の例を示すものである。２つのマージ候補が同じ予測パラメータである場合に順番を詰める処理を除くと、マージインデックス順に、レイヤ間マージ候補、空間マージ候補（左下）、空間マージ候補（右上）、空間マージ候補（右上）、変位マージ候補、ＢＶＳＰマージ候補、空間マージ候補（左下）、空間マージ候補（左上）、時間マージ候補の順になる。また、それ以降に、結合マージ候補、ゼロマージ候補があるが、図８では省略している。
マージ候補選択部３０３６２は、マージ候補格納部３０３６１１に格納されているマージ候補のうち、インター予測パラメータ復号制御部３０３１から入力されたマージインデックスmerge_idxに対応するインデックスが割り当てられたマージ候補を、対象ＰＵのインター予測パラメータとして選択する。マージ候補選択部３０３６２は選択したマージ候補を復号ピクチャ管理部３０６の予測パラメータメモリ３０６７（図９）に記憶するとともに、予測画像生成部３０８（図６）に出力する。
［［［変位ベクトル取得部について］］］ 以下において、変位ベクトル取得部３０３６１２２の詳細について説明する。変位ベクトル取得部３０３６１２２は、対象ＰＵに隣接するブロックが変位ベクトルを持つ場合には、その変位ベクトルを復号ピクチャ管理部３０６の予測パラメータメモリ３０６７から抽出し、当該予測パラメータメモリ３０６７を参照し、対象ＰＵに隣接するブロックの予測フラグpredFlagLX、参照ピクチャインデックスrefIdxLXとベクトルmvLXを読み出す。変位ベクトル取得部３０３６１２２は、参照レイヤ判定機能を有している。変位ベクトル取得部３０３６１２２は、対象ＰＵに隣接するブロックの予測パラメータを順に読み出し、参照レイヤ判定機能によって、隣接ブロックの参照ピクチャインデックスから隣接ブロックが変位ベクトルを備えるか否かを判定する。隣接ブロックが変位ベクトルを備える場合、変位ベクトル取得部３０３６１２２は、その変位ベクトルを出力する。隣接ブロックの予測パラメータに変位ベクトルが無い場合にはゼロベクトルを変位ベクトルとして出力する。
（参照レイヤ判定機能） 変位ベクトル取得部３０３６１２２が有する参照レイヤ判定機能は、入力された参照ピクチャインデックスrefIdxLXに基づいて、参照ピクチャインデックスrefIdxLXが指す参照ピクチャと、対象ピクチャの関係を示すリファレンスレイヤ情報reference_layer_infoを定めるというものである。リファレンスレイヤ情報reference_layer_infoは、参照ピクチャへのベクトルmvLXが変位ベクトルであるか動きベクトルであるかを示す情報である。
対象ピクチャのレイヤと参照ピクチャのレイヤが同じレイヤである場合の予測を、同一レイヤ予測と呼び、この場合に得られるベクトルは動きベクトルである。対象ピクチャのレイヤと、参照ピクチャのレイヤが異なるレイヤである場合の予測をレイヤ間予測と呼び、この場合に得られるベクトルは変位ベクトルである。
［［AMVP予測パラメータ導出部］］ AMVP予測パラメータ導出部３０３２は、参照ピクチャインデックスrefIdxに基づいて復号ピクチャ管理部３０６の予測パラメータメモリ３０６７（図９）に記憶されているベクトル（動きベクトル又は変位ベクトル）をベクトル候補mvpLXとして読み出す。AMVP予測パラメータ導出部３０３２が読み出すベクトルは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係るベクトルである。
AMVP予測パラメータ導出部３０３２は、読み出したベクトル候補のうち、インター予測パラメータ復号制御部３０３１から入力されたベクトルインデックスmvp_LX_idxが示すベクトル候補を予測ベクトルmvpLXとして選択する。AMVP予測パラメータ導出部３０３２は、選択した予測ベクトルmvpLXを加算部３０３５に出力する。
図４の（ｂ）は、ベクトル候補の一例を示す概念図である。図４の（ｂ）に示す予測ベクトルリスト６０２は、AMVP予測パラメータ導出部３０３２において導出される複数のベクトル候補からなるリストである。予測ベクトルリスト６０２において、左右に一列に配列された５個の長方形は、それぞれ予測ベクトルを示す領域を示す。左端から２番目のmvp_LX_idxの真下の下向きの矢印とその下のmvpLXは、ベクトルインデックスmvp_LX_idxが、復号ピクチャ管理部３０６の予測パラメータメモリ３０６７においてベクトルmvpLXを参照するインデックスであることを示す。
候補ベクトルは、復号処理が完了したブロックであって、復号対象ブロックから予め定めた範囲のブロック（例えば、隣接ブロック）を参照し、参照したブロックに係るベクトルに基づいて生成される。なお、隣接ブロックには、対象ブロックに空間的に隣接するブロック、例えば、左ブロック、上ブロックの他、対象ブロックに時間的に隣接するブロック、例えば、対象ブロックと同じ位置で、表示時刻が異なるブロックから得られたブロックを含む。
加算部３０３５は、予測ベクトル選択部３０３４から入力された予測ベクトルmvpLXとインター予測パラメータ復号制御部から入力された差分ベクトルmvdLXを加算してベクトルmvLXを算出する。加算部３０３５は、算出したベクトルmvLXを予測画像生成部３０８（図６）に出力する。
［復号ピクチャ管理部］ 図９を用いて、復号ピクチャ管理部３０６の詳細構成を説明する。図９は復号ピクチャ管理部３０６の構成を例示した機能ブロック図である。
図９に示すように、復号ピクチャ管理部３０６は、ＤＰＢ３０６１、RPS導出部３０６２、参照ピクチャ制御部３０６３、参照レイヤピクチャ制御部３０６４、RPL導出部３０６５、出力制御部３０６６、予測パラメータメモリ３０６７を備える。
［［ＤＰＢ３０６１］］ ＤＰＢ３０６１は、復号ピクチャバッファ（Decoded Picture Buffer）とも呼ばれ、加算部３１２から出力される対象レイヤの各ピクチャの復号ピクチャを記録する。ＤＰＢには、対象レイヤの各ピクチャに対応する復号ピクチャが出力順（POC: Picture Order Count）に関連付けて記録されている。加えて、ＤＰＢの各ピクチャに対しては、参照マークおよび出力マークを設定できる。
参照マークは、ＤＰＢ上のピクチャが対象ピクチャ以降の復号処理における予測画像生成処理（例えば、インター予測やレイヤ間画像予測）への利用可否を示す情報である。参照マークは、具体的には、「短期参照使用」（「used for short-term reference」）、「長期参照使用」（「used for long-term reference」）、「参照不使用」（「not usedfor reference」）のいずれかの値を取る。
なお、参照マークの取り得る値を上記とするがそれに限らない。例えば、「レイヤ間参照使用」（「used for inter-layer reference」）の値に参照マークを設定できてもよい。また、「短期参照使用」と「長期参照使用」の区別をせず、両者の和集合を「参照使用」（「used for reference」）と定義してもよい。
出力マークは、ＤＰＢ上のピクチャを外部へ出力する必要性の有無を示す情報である。出力マークは、具体的には、「出力要」（「needed for output」）、「出力不要」（「not needed for output」）のいずれかの値を取る。なお、参照マークや出力マークは復号処理や符号化処理の特定のタイミングで明示的に設定されていなくてもよく、その場合、参照マークまたは出力マークは「未定義」と判定する。
［［RPS導出部３０６２］］ RPS導出部３０６２は、入力されるシンタックス値に基づいて対象ピクチャの復号処理に用いるRPS（Reference Picture Set；参照ピクチャセット）を導出してベース参照ピクチャ制御部１４４、参照ピクチャ制御部１４３、およびRPL導出部３０６５に出力する。
RPSは、概略的には、対象ピクチャの復号処理、または、復号順で対象ピクチャに後続するピクチャの復号処理において利用されうる参照ピクチャの集合を表わす。
（サブRPSの定義） RPSは、参照ピクチャの性質に基づいて複数のサブRPSに分割できる。本実施形態では、RPSは以下の５種類のサブRPSから構成される。
（１）前方短期RPS：対象ピクチャを基準とする表示順の相対位置により指定される参照ピクチャであって、対象ピクチャと同一レイヤに属し、かつ、表示順が対象ピクチャより前の参照ピクチャを含むサブRPS。
（２）後方短期RPS：対象ピクチャを基準とする表示順の相対位置により指定される参照ピクチャであって、対象ピクチャと同一レイヤに属し、かつ、表示順が対象ピクチャより後の参照ピクチャを含むサブRPS。
（３）長期RPS：表示順の絶対位置により指定される参照ピクチャであって、対象ピクチャと同一レイヤに属する参照ピクチャを含むサブRPS。
（４）レイヤ間画素RPS：対象ピクチャと異なるレイヤに属し、かつ、レイヤ間予測で画素値が参照される参照ピクチャを含むサブRPS。
（５）レイヤ間動き限定RPS：対象ピクチャと異なるレイヤに属し、かつ、レイヤ間予測で動き情報が参照されて画素値が参照されない参照ピクチャを含むサブRPS。
なお、以下では、前方短期RPSと後方短期RPSの和集合を短期RPSとも称する。つまり、短期RPSは、対象ピクチャを基準とする表示順の相対位置により指定される参照ピクチャであって、対象ピクチャと同一レイヤに属するピクチャを含む。また、レイヤ間画素RPSとレイヤ間動き限定RPSの和集合をレイヤ間RPSとも称する。つまり、レイヤ間RPSは、対象ピクチャと異なるレイヤに属する参照ピクチャ（レイヤ間参照ピクチャ）を含む。
（サブRPSの導出） RPS導出部３０６２におけるRPS導出はサブRPS毎に実行される。以下では、前述のサブRPS毎に関連シンタックスを説明するとともに、当該シンタックスからサブRPSを導出する処理を説明する。
（短期RPS） 短期RPS（前方短期RPSと後方短期RPS）に係るシンタックスに、SPSに含まれる短期参照ピクチャセット情報であるSPS短期RPS情報と、スライスヘッダに含まれる短期参照ピクチャセット情報であるSH短期RPS情報がある。
（SPS短期RPS情報） SPS短期RPS情報は、SPSを参照する各ピクチャにおいて短期SPSとして選択され得る複数の短期RPS候補の情報を含む。なお、短期RPSは、対象ピクチャに対する相対的な位置（例えば対象ピクチャとのPOC差分）により指定される参照ピクチャ（短期参照ピクチャ）となり得るピクチャの集合である。
SPS短期RPS情報を、図１６を参照して説明する。図１６は、SPS復号時に利用されるSPSシンタックス表の一部を例示している。図１６の（Ａ）の部分がSPS短期RPS情報に相当する。SPS短期RPS情報には、SPSに含まれる短期RPS数（num_short_term_ref_pic_sets）、および、各短期RPSの定義（short_term_ref_pic_set(i)）が含まれる。
短期RPS情報について、図１７の（ａ）を参照して説明する。図１７の（ａ）は、SPS復号時、および、スライスヘッダ復号時に利用される短期RPSのシンタックス表を例示している。
短期RPS情報には、対象ピクチャより表示順が早い短期参照ピクチャ数（num_negative_pics）、および、対象ピクチャより表示順が遅い短期参照ピクチャ数（num_positive_pics）が含まれる。なお、以下では、対象ピクチャより表示順が早い短期参照ピクチャを前方短期参照ピクチャ、対象ピクチャより表示順が遅い短期参照ピクチャを後方短期参照ピクチャと呼ぶ。
また、短期RPS情報には、各前方短期参照ピクチャに対して、対象ピクチャに対するPOC差分の絶対値（delta_poc_s0_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s0_flag[i]）が含まれる。加えて、各後方短期参照ピクチャに対して、対象ピクチャに対するPOC差分の絶対値（delta_poc_s1_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s1_flag[i]）が含まれる。
（SH短期RPS情報） SH短期RPS情報は、スライスヘッダを参照するピクチャから利用され得る単一の短期RPSの情報を含む。
SH短期RPS情報の復号について、図１７の（ｂ）を参照して説明する。図１７の（ｂ）は、スライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図１７の（ｂ）の（Ａ）の部分がSH短期RPS情報に相当する。SH短期RPS情報は、短期RPSをSPSで復号済みの短期RPS候補の中から選択するか、スライスヘッダに明示的に含めるかを示すフラグ（short_term_ref_pic_set_sps_flag）を含む。短期RPS候補から選択する場合、何れか一つの短期RPS候補を選択する識別子（short_term_ref_pic_set_idx）が含まれる。スライスヘッダに明示的に含める場合は、前述の図１７の（ａ）を参照して説明したシンタックス表（short_term_ref_pic_set(idx)）に相当する情報が、SPS短期RPS情報に含まれる。
（短期RPS導出処理） 短期RPS情報から短期RPS、すなわち、前方短期RPSと後方短期RPSが導出される。また、後続参照短期RPSも導出される。
・前方短期RPS：SPS短期RPS情報またはSH短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いピクチャを含む。
・後方短期RPS：SPS短期RPS情報またはSH短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより遅いピクチャを含む。
・後続参照短期RPS：現ピクチャでは参照されないが、復号順で現ピクチャに後続するピクチャにおいて参照されえるピクチャを含む。
前方短期RPS（ListStCurrBefore）、後方短期RPS（ListStCurrAfter）、後続参照短期RPS（ListStFoll）を以下の手順で導出する。なお、前方短期RPS、後方短期RPS、および、後続参照短期RPSは、以下の処理の開始前に空に設定されている。
（Ｓ１０１）SPS短期RPS情報、および、SH短期RPS情報に基づいて、対象ピクチャの復号に用いる短期RPS情報を特定する。具体的には、SH短期RPS情報に含まれるshort_term_ref_pic_set_spsの値が０である場合、SH短期RPS情報に含まれるスライスヘッダで明示的に伝送された短期RPSを選択する。それ以外（short_term_ref_pic_set_spsの値が１の場合、ＳＨ短期RPS情報に含まれるshort_term_ref_pic_set_idxが示す短期RPSを、SPS短期RPS情報に含まれる複数の短期RPS候補から選択する。
（Ｓ１０２）選択された短期RPSに含まれる参照ピクチャ各々のPOCを導出する。参照ピクチャのPOCは、参照ピクチャが前方短期RPSに属する場合、対象ピクチャのPOCから「delta_poc_s0_minus1[i]+1」の値を減算して導出する。一方、参照ピクチャが後方短期RPSに属する場合、対象ピクチャのPOCに「delta_poc_s1_minus1[i]+1」の値を加算して導出する。
（Ｓ１０３）短期RPSに含まれる前方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s0_flag[i]の値が1である場合、当該前方参照ピクチャをListStCurrBeforeに追加する。それ以外（used_by_curr_pic_s0_flag[i]の値が0）の場合、当該前方参照ピクチャをListStFollに追加する。
（Ｓ１０４）短期RPSに含まれる後方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s1_flag[i]の値が1である場合、当該後方参照ピクチャをListStCurrAfterに追加する。それ以外（used_by_curr_pic_s1_flag[i]の値が０）の場合、当該後方参照ピクチャをListStFollに追加する。
（長期RPS） 長期RPSに係るシンタックスに、SPSに含まれる長期参照ピクチャ情報であるSPS長期RPS情報と、スライスヘッダに含まれる長期参照ピクチャ情報であるSH長期RPS情報がある。
（SPS長期RPS情報） SPS長期RPS情報は、SPSを参照する各ピクチャから利用され得る複数の長期参照ピクチャの情報を含む。なお、長期参照ピクチャとは、シーケンス内の絶対的な位置（例えばPOC）により指定される参照ピクチャである。
SPS長期RPS情報の復号について、図１６を再び参照して説明する。図１６の（Ｂ）の部分がSPS長期RPS情報に相当する。SPS長期RPS情報には、SPSでの長期参照ピクチャ伝送有無を示すフラグ（long_term_ref_pics_present_flag）、SPSで伝送される長期参照ピクチャ数（num_long_term_ref_pics_sps）、および、各長期参照ピクチャの情報が含まれる。長期参照ピクチャの情報には、参照ピクチャのPOC（lt_ref_pic_poc_lsb_sps[i]）、および、長期参照ピクチャが対象ピクチャにおいて参照される可能性の有無（used_by_curr_pic_lt_sps_flag[i]）が含まれる。
なお、上記参照ピクチャのPOCは、参照ピクチャに関連付けられたPOCの値自体であってもよいし、POCのLSB（Least Significant Bit）、すなわち、POCを既定の２の冪乗の数で割った余りの値を用いてもよい。
（SH長期RPS情報） SH長期RPS情報は、スライスヘッダを参照するピクチャから利用され得る長期参照ピクチャの情報を含む。
SH長期RPS情報の復号について、図１７の（ｂ）を再び参照して説明する。図１７の（ｂ）の（Ｂ）の部分がSH長期RPS情報に相当する。SH長期RPS情報は、長期参照ピクチャを利用することがフラグ（long_term_ref_pic_present_flag）で示されている場合にスライスヘッダに含まれる。SPS長期RPS情報が１以上の長期参照ピクチャを含む場合（num_long_term_ref_pics_sps>0）、SPSで復号済の長期参照ピクチャの中で対象ピクチャで参照され得る参照ピクチャの数（num_long_term_sps）がSH長期RPS情報に含まれる。また、スライスヘッダで明示的に伝送される長期参照ピクチャ数（num_long_term_pics）がSH長期RPS情報に含まれる。加えて、上記num_long_term_spsの数の長期参照ピクチャをSPS長期RPS情報に含まれる長期参照ピクチャから選択する情報（lt_idx_sps[i]）がSH長期RPS情報に含まれる。さらに、スライスヘッダに明示的に含める長期参照ピクチャの情報として、上記num_long_term_picsの数だけ、参照ピクチャのPOC（poc_lsb_lt [i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_lt_flag[i]）が含まれる。
（長期RPS導出処理） 長期RPS情報から長期RPSが導出される。また、後続参照長期RPSも導出される。
・長期RPS：SPS長期RPS情報またはSH長期RPS情報により指定される現ピクチャ参照可能ピクチャを含む。
・後続参照長期RPS：現ピクチャでは参照されないが、復号順で現ピクチャに後続するピクチャにおいて参照されえる参照ピクチャを含む。
長期RPS（ListLtCurr）、後続参照長期RPS（ListLtFoll）を以下の手順で導出する。なお、長期RPS、および、後続参照長期RPSは、以下の処理の開始前に空に設定されている。（Ｓ２０１） SPS長期RPS情報、および、SH長期RP情報に基づいて、対象ピクチャの復号に用いる長期参照ピクチャを特定する。具体的には、num_long_term_spsの数の参照ピクチャをSPS長期RPS情報に含まれる参照ピクチャの中から選択して、長期RPSに追加すする。選択される参照ピクチャは、lt_idx_sps[i]の示す参照ピクチャである。
（Ｓ２０２）続いて、num_long_term_picsの数のSH長期RPS情報に含まれる参照ピクチャを順に長期RPSに追加する。
（Ｓ２０３）長期RPSに含まれる参照ピクチャ各々のPOCを導出する。長期参照ピクチャのPOCは、関連付けて復号されたpoc_lst_lt[i]、または、lt_ref_pic_poc_lsb_sps[i]の値から直接導出される。
（Ｓ２０４）長期RPSに含まれる参照ピクチャを順に確認し、関連付けられているused_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が1である場合、当該長期参照ピクチャをListLtCurrに追加する。それ以外（used_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が0）の場合、当該長期参照ピクチャを後続参照長期RPS（ListLtFoll）に追加する。
（レイヤ間RPS） レイヤ間画素RPSとレイヤ間動き限定RPSに係るシンタックスに、IL-RPS情報（レイヤ間RPS情報、レイヤ間参照ピクチャセット情報）がある。
（IL-RPS情報） IL-RPS情報は、スライスヘッダを含むピクチャからレイヤ間予測で参照され得るレイヤ間参照ピクチャの情報を含む。
IL-RPS情報について、図１８の（ａ）と図１８の（ｂ）を参照して説明する。
図１８の（ａ）はVPSに含まれるVPS拡張（vps_extension）の復号時に参照されるシンタックス表の一部であって、IL-RPS情報に相当する部分である。図１８の（ａ）に示すように、VPSには、IL-RPS情報に含まれるシンタックスであるmax_one_active_ref_layer_flag、direct_dep_type_len_minus2、direct_dependency_type[i][j]が含まれる。
シンタックスmax_one_active_ref_layer_flagは、任意レイヤの任意ピクチャの復号時に参照されるレイヤの最大値が１以下であるかを示すフラグである。最大値が１以下の場合に当該フラグの値に１、それ以外（最大値が２以上）の場合に当該フラグの値に０が設定される。
シンタックスdirect_dep_type_len_minus2は、シンタックスdirect_dependency_type[i][j]のビット数を表わす値である。direct_dependency_type[i][j]のビット数は（direct_dep_type_len_minus2+2）となる。
シンタックスdirect_dependency_type[i][j]は、“i”で示されるレイヤから“j”で示されるレイヤを参照する際に使用可能なレイヤ間予測の種類を示す値である。以降の説明では、direct_dependency_type[i][j]のことを、対象レイヤ（レイヤi）から参照レイヤ（レイヤj）参照時の依存タイプ、とも称する。また、レイヤiとレイヤjを省略して、依存タイプ（direct_dependency_type）とも称する。
レイヤ間予測の種類にレイヤ間画像予測とレイヤ間動き予測がある場合の依存タイプと各レイヤ間予測の使用可否の関係を図１９の（ａ）に示す。依存タイプが「０」の場合、画素依存であり、かつ、動き依存である。依存タイプが「１」の場合、画素依存であり、かつ、動き依存ではない。依存タイプが「２」の場合、動き依存であり、かつ、画素依存ではない。
ここで、依存タイプが画素依存を示す場合には、対象レイヤiは、参照レイヤjの画素を予測に用いることができる。例えば、レイヤ間画像予測に用いることができる。依存タイプが動き依存を示す場合には、対象レイヤiは、参照レイヤjの動き情報（動きベクトルおよび参照ピクチャインデックス）を予測に用いることができる。例えば、レイヤ間動き予測に用いることができる。レイヤ間画像予測は、参照レイヤの復号画像の画素値を用いて対象ピクチャの予測画像を生成する処理である。また、レイヤ間動き予測は、参照レイヤの動き情報（動きベクトル、参照ピクチャインデックス、インター予測タイプ）を直接または間接的に用いて対象ピクチャの予測画像を生成する処理である。
したがって、依存タイプが「０」の場合は、参照レイヤの復号画素（復号画像の画素値）と動き情報のいずれも対象ピクチャの復号処理で利用される可能性があることを意味する。依存タイプが「１」の場合は、参照レイヤの復号画素は利用される可能性があるが、動き情報は利用される可能性がないことを意味する。依存タイプが「２」の場合は、参照レイヤの動き情報は利用される可能性があるが、復号画素は利用される可能性がないことを意味する。
依存タイプが参照レイヤの復号画素を参照することを示す場合（上記の定義でいえば、依存タイプが「０」または「１」）の場合、依存タイプが画素依存を示すと表現できる。一方、依存タイプが参照レイヤの復号画素を参照しないことを示す場合（上記の定義でいえば、依存タイプが「２」）の場合、依存タイプが画素非依存を示すと表現できる。
同様に、依存タイプが参照レイヤの動き情報を参照することを示す場合（上記の定義でいえば、依存タイプが「０」または「２」）の場合、依存タイプが動き依存を示すと表現できる。一方、依存タイプが参照レイヤの復号画素を参照しないことを示す場合（上記の定義でいえば、依存タイプが「２」）の場合、依存タイプが動き非依存を示すと表現できる。
例えば、対象レイヤiが参照レイヤjの復号画素を用いるか否か（画素依存）を示す画素依存フラグSampleEnableFlag[i][j]、対象レイヤiが参照レイヤjの動き情報を用いるか否か（動き依存）を示す動き依存フラグMotionEnableFlag[i][j]は、以下の式において導出することができる。
SampleEnableFlag[i][j] = (3 - direct_dependency_type[i][j]) & 2) >> 1
MotionEnableFlag[i][j] = (3 - direct_dependency_type[i][j]) & 1)
なお、依存タイプの値の意味は必ずしも上記に限らない。例えば、依存タイプが「０」の場合に画素依存かつ動き非依存を示し、依存タイプが「１」の場合に動き依存かつ画素非依存を示し、依存タイプが「２」の場合に画素依存かつ動き依存を示していてもよい。
この例では、上記、画素依存フラグSampleEnableFlag[i][j]、動き依存フラグMotionEnableFlag[i][j]は以下の式から導出される。
SampleEnableFlag[i][j] = (direct_dependency_type[i][j] + 1) & 1)
MotionEnableFlag[i][j] = (direct_dependency_type[i][j] + 1) & 2) >> 1
また、対象レイヤが、参照レイヤの復号画素および動き情報以外を参照することを示すために、依存タイプによって、画素依存および動き依存以外の依存の種類を示しても良い。例えば、依存の種類には、ブロック分割情報、変換係数情報（変換係数の有無など）、ループフィルタ情報などが可能である。この場合も、画素依存フラグ、動き依存フラグは、上述の式などにより、導出することが可能であり、追加の依存があるか否かを示すフラグ（例えば、ＸＸＸ依存フラグXXXEnableFlag、ＸＸＸは、ブロック分割情報、変換係数情報、ループフィルタ情報など）は以下の式により導出することができる。
XXXEnableFlag[i][j] = (direct_dependency_type[i][j] + 1) & 4) >> 2
図１８の（ｂ）はスライスヘッダ復号時に参照されるシンタックス表の一部であって、IL-RPS情報に相当する部分である。
IL-RPS情報は、レイヤ間予測有効フラグ（inter_layer_pred_enabled_flag）を含む。さらに、レイヤ間予測有効フラグが１であり（レイヤ間予測が有効であり）、かつ、対象ピクチャから参照可能な参照レイヤ数（NumDirectRefLayers[nuh_layer_id]）が１より大きい場合、レイヤ間参照ピクチャ数を表すシンタックス（num_inter_layr_ref_pics_minus1）がIL-RPS情報に含まれる。アクティブレイヤ間参照ピクチャ数（NumActiveRefLayerPics）は“num_inter_layer_ref_pics_minus1 + 1”の値に設定される。アクティブレイヤ間参照ピクチャ数は、対象ピクチャにおいてレイヤ間予測により参照可能なレイヤ間参照ピクチャ数に相当する。加えて、各レイヤ間参照ピクチャの属するレイヤを示すレイヤ識別子（inter_layer_pred_layer_idc[i]）がIL-RPS情報に含まれる。
なお、IL-RPS情報に含まれる上記の各シンタックスは、自明である場合は省略されてもよい。例えば、１つのピクチャから参照可能なレイヤ間参照ピクチャ数が１枚に制限されている場合、レイヤ間参照ピクチャ数に係るシンタックスは不要である。
（レイヤ間RPS導出処理） IL-RPS情報からレイヤ間RPS、すなわちレイヤ間画素RPSとレイヤ間動き限定RPSが導出される。
導出処理の説明に先立って、本実施形態のRPS導出部３０６２により導出されるレイヤ間画素RPSとレイヤ間動き限定RPSと依存タイプの関係について図１９の（ｂ）を用いて説明する。図１９の（ｂ）はレイヤ間RPSに含まれるサブRPS（レイヤ間画素RPSとレイヤ間動き限定RPS）と依存タイプの関係を例示する図である。
図１９の（ｂ）に示すように、レイヤ間RPSはレイヤ間画素RPSとレイヤ間動き限定RPSの２つのサブRPSを含む。以下、レイヤ識別子がx、依存タイプがyであるレイヤ間参照ピクチャを「LID=x,DT=y」と表記する。図１９の（ｂ）の例では、レイヤ間RPSは3枚のレイヤ間参照ピクチャ（「LID=0,DT=0」、「LID=1,DT=1」、「LID=3,DT=0」）を含む。レイヤ間動き限定RPSは2枚のレイヤ間参照ピクチャ（「LID=2,DT=2」、「LID=4,DT=2」）を含む。
すなわち、レイヤ間画素RPSは依存タイプが「０」の参照ピクチャと依存タイプが「１」のレイヤ間参照ピクチャを含む。一方、レイヤ間動き限定RPSは依存タイプが「２」のレイヤ間参照ピクチャを含む。換言すると、レイヤ間画素RPSは、復号画素が参照される可能性のあるレイヤ間参照ピクチャを含む。一方、レイヤ間動き限定RPSは、復号画素が参照される可能性のあるレイヤ間参照ピクチャを含まず、動き情報が参照される可能性のあるレイヤ間参照ピクチャを含む。
レイヤ間画素RPS（IL-RPS0）、レイヤ間動き限定RPS（IL-RPS1）の導出手順を図２０を用いて説明する。図２０は、レイヤ間RPSに含まれるサブRPS（レイヤ間画素RPSとレイヤ間動き限定RPS）の導出処理を表わすフロー図である。
（Ｓ３０１）レイヤ間画素RPSを表わすリストIL-RPS0、および、レイヤ間動き限定RPSを表わすリストIL-RPS1をそれぞれ空に設定する。
（Ｓ３０２）変数iを「０」に設定する。Ｓ３０３に進む。
（Ｓ３０３）i番目のアクティブレイヤ間参照ピクチャの依存タイプが「０」または「１」の場合（YESの場合）、Ｓ３０４に進む。それ以外の場合（NOの場合）、Ｓ３０５に進む。
（Ｓ３０４）i番目のアクティブレイヤ間参照ピクチャをIL-RPS0（レイヤ間画素RPS）の末尾に追加して、Ｓ３０７に進む。
（Ｓ３０５）i番目のアクティブレイヤ間参照ピクチャの依存タイプが「２」の場合（YESの場合）、Ｓ３０６に進む。それ以外の場合（NOの場合）、Ｓ３０７に進む。
（Ｓ３０６）i番目のアクティブレイヤ間参照ピクチャをIL-RPS1（レイヤ間動き限定RPS）の末尾に追加して、Ｓ３０７に進む。
（Ｓ３０７）iの値がアクティブレイヤ間参照ピクチャ数（NumActiveRefLayerPics）より小さい場合（YESの場合）、Ｓ３０８に進む。それ以外の場合（NOの場合）、処理を終了する。
（Ｓ３０８）変数iの値を１加算して、Ｓ３０３に進む。
以上の処理により、図１９の（ｂ）を用いて説明した性質を持つレイヤ間画素RPSとレイヤ間動き限定RPSをIL-RPS情報に基づいて導出できる。
なお、Ｓ３０３とＳ３０５の判定は、より一般的には次のように表現できる。
（Ｓ３０３ｒ１）i番目のアクティブレイヤ間参照ピクチャの依存タイプが、レイヤ間参照ピクチャの復号画素が参照される可能性のあることを示す場合（i番目のアクティブレイヤ間参照ピクチャに対応する参照ピクチャのSampleEnableFlagが1の場合）、Ｓ３０４に進む。それ以外の場合、Ｓ３０５に進む。
（Ｓ３０５ｒ１）i番目のアクティブレイヤ間参照ピクチャの依存タイプが、レイヤ間参照ピクチャの動き情報が参照される可能性のあることを示す場合（i番目のアクティブレイヤ間参照ピクチャに対応する参照ピクチャのSampleEnableFlagが０かつMotionEnableFlagが1の場合）、Ｓ３０６に進む。それ以外の場合、Ｓ３０７に進む。
上記の図２０を用いて説明したレイヤ間画素RPSとレイヤ間動き限定RPSの導出方法はあくまで一例である。レイヤ間画素RPSとレイヤ間動き限定RPSが特定の性質、すなわち、レイヤ間画素RPSは復号画素が参照される可能性のあるレイヤ間参照ピクチャを含み、また、レイヤ間動き限定RPSは復号画素が参照される可能性のあるレイヤ間参照ピクチャを含まず、動き情報が参照される可能性のあるレイヤ間参照ピクチャを含む、という性質を満たす限りにおいては、異なる方法で導出しても構わない。なお、上記では、レイヤ間画素RPSとレイヤ間動き限定RPSのサブRPSを導出したが、レイヤ間画素RPSとレイヤ間画素非依存RPSのサブRPSを導出しても良い。この場合、Ｓ３０３とＳ３０５の判定を、各々、以下の判定Ｓ３０３ｒ２とＳ３０５ｒ２に置き換える。
（Ｓ３０３ｒ２）i番目のアクティブレイヤ間参照ピクチャの依存タイプが、レイヤ間参照ピクチャの復号画素が参照される可能性のあることを示す場合（i番目のアクティブレイヤ間参照ピクチャに対応する参照ピクチャのSampleEnableFlagが1の場合）、Ｓ３０４に進む。それ以外の場合、Ｓ３０５に進む。
（Ｓ３０５ｒ２）i番目のアクティブレイヤ間参照ピクチャの依存タイプが、レイヤ間参照ピクチャの復号画素が参照されることを示さない場合（i番目のアクティブレイヤ間参照ピクチャに対応する参照ピクチャのSampleEnableFlagが０の場合）、Ｓ３０６に進む。それ以外の場合、Ｓ３０７に進む。なお、依存タイプの種類が、画素依存と動き依存の２つのみの場合は、レイヤ間動き限定RPSとレイヤ間画素非依存RPSは等しくなる。
［［参照ピクチャ制御部３０６３］］ 参照ピクチャ制御部３０６３は、入力されるRPSに基づいて、ＤＰＢ３０６１を更新する。概略的には、参照ピクチャ制御部３０６３は、入力されたRPSにおいて 対象ピクチャ（現ピクチャ）のインター予測で参照可能と示されているピクチャの参照マークを「参照使用」（「短期参照使用」または「長期参照使用」）に設定する。加えて、ＤＰＢに記録されている対象レイヤの復号ピクチャであって、前記の処理で「参照使用」とマークされないピクチャを「参照不使用」に設定する。なお、ＤＰＢ上のレイヤ間参照ピクチャの参照マークは参照ピクチャ制御部３０６３では変更しない。言い換えると、ベース復号ピクチャに由来するＤＰＢ上のピクチャの参照マークの変更は参照ピクチャ制御部３０６３では行わず、後述の参照レイヤピクチャ制御部３０６４で行う。
［［参照レイヤピクチャ制御部３０６４］］ 参照レイヤピクチャ制御部３０６４は、入力される参照レイヤの復号ピクチャとRPSに基づいて、ＤＰＢ３０６１を更新する。概略的には、参照レイヤピクチャ制御部３０６４は、入力されたRPSにおいて 対象ピクチャ（現ピクチャ）のレイヤ間インター予測で参照可能と示されているピクチャに対応する参照レイヤの復号ピクチャをＤＰＢに記録する。加えて、ＤＰＢ上で当該ピクチャの参照マークを「参照使用」（「短期参照使用」または「長期参照使用」に設定する。加えて、ＤＰＢ上で当該ピクチャの出力マークを「出力不要」に設定する。なお、参照レイヤの復号ピクチャを記録する際に、必要に応じてスケーリングやフィルタリングを適用した後に前記ピクチャバッファに記録してもよい。特に、参照レイヤと対象レイヤの出力ピクチャの解像度が異なる場合（空間スケーラビリティの場合）、参照レイヤの復号ピクチャを、対象レイヤの出力ピクチャの解像度に合わせてスケーリングする必要がある。
［［RPL導出部３０６５］］ RPL導出部３０６５は、入力RPS、および、入力シンタックス値に含まれるRPL情報に基づいて対象ピクチャの対象スライスのインター予測またはレイヤ間予測で利用する参照ピクチャリストを導出して出力する。
RPL情報は、参照ピクチャリストRPLを構築するためにSPSまたはスライスヘッダより復号されるシンタックス値である。RPL情報は、SPSリスト修正情報、および、SHリスト修正情報から構成される。
SPSリスト修正情報はSPSに含まれる情報であり、参照ピクチャリスト修正の制約に係る情報である。SPSリスト修正情報について、図１６を再び参照して説明する。図１６の（Ｃ）の部分がSPSリスト修正情報に相当する。SPSリスト修正情報には、ピクチャに含まれる前スライスで参照ピクチャリストが共通か否かを示すフラグ（restricted_ref_pic_lists_flag）、および、スライスヘッダ内にリスト並べ替えに関する情報が存在するか否かを示すフラグ（lists_modification_present_flag）が含まれる。
ＳＨリスト修正情報はスライスヘッダに含まれる情報であり、対象ピクチャに適用される参照ピクチャリストの長さ（参照リスト長）の更新情報、および、参照ピクチャリストの並べ替え情報（参照リスト並べ替え情報）が含まれる。SHリスト修正情報について、図２１の（ａ）を参照して説明する。図２１の（ａ）はスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図２１の（ａ）の（Ｃ）の部分がＳＨリスト修正情報に相当する。
参照リスト長更新情報として、リスト長の更新有無を示すフラグ（num_ref_idx_active_override_flag）が含まれる。加えて、Ｌ０参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l0_active_minus1）、および、Ｌ１参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l1_active_minus1）が含まれる。
参照リスト並べ替え情報としてスライスヘッダに含まれる情報について、図２１の（ｂ）を参照して説明する。図２１の（ｂ）はスライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示している。
参照リスト並べ替え情報には、Ｌ０参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l0）が含まれる。前記フラグの値が１（Ｌ０参照リストの並べ替えが有る場合）、かつ、NumPocTotalCurrが２より大きい場合、Ｌ０参照リスト並べ替え順序（list_entry_l0[i]）が参照リスト並べ替え情報に含まれる。ここで、NumPocTotalCurrは、現ピクチャにおいて利用可能な参照ピクチャの数を表す変数である。したがって、Ｌ０参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照ピクチャ数が２より大きい場合にのみ、Ｌ０参照リスト並べ替え順序がスライスヘッダに含まれる。
同様に、参照ピクチャがＢスライスである場合、つまり、対象ピクチャにおいてＬ１参照リストが利用可能である場合、Ｌ１参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l1）が参照リスト並べ替え情報に含まれる。前記フラグの値が１、かつ、NumPocTotalCurrが２より大きい場合、Ｌ１参照リスト並べ替え順序（list_entry_l1[i]）が参照リスト並べ替え情報に含まれる。言い換えると、Ｌ１参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照ピクチャ数が２より大きい場合にのみ、Ｌ１参照リスト並べ替え順序がスライスヘッダに含まれる。
（RPL導出処理） 参照ピクチャリスト導出処理（RPL導出処理）の詳細を説明する。参照ピクチャリスト導出部は、参照ピクチャセットRPSと、RPL修正情報に基づいて、対象ピクチャの復号に用いる参照ピクチャリストRPLを生成する。
参照ピクチャリストにはＬ０参照リストとＬ１参照リストの２つのリストがある。各参照ピクチャリスト導出の説明に先立って、導出処理の過程で生成される暫定Ｌ０参照リストと暫定Ｌ１参照リストの特徴を図２２を用いて説明しておく。図２２は、RPL導出部３０６５におけるＬ０参照リストとＬ１参照リスト導出の中間過程で生成される暫定Ｌ０参照リストと暫定Ｌ１参照リストの概略を示す図である。
図２２（ａ）に示すように、暫定Ｌ０参照リストは、リストの先頭から順に（優先度の高い順に）前方短期RPS（図中でStBef）、レイヤ間画素RPS（図中でILSample）、後方短期RPS（図中でStAft）、長期RPS（図中でLt）、レイヤ間動き限定RPS（図中でILMotion）の順にサブRPSを含む。
図２２（ｂ）に示すように、暫定Ｌ１参照リストは、リストの先頭から順に（優先度の高い順に）後方短期RPS（図中でStAft）、前方短期RPS（図中でStBef）、長期RPS（図中でLt）、レイヤ間画素RPS（図中でILSample）、レイヤ間動き限定RPS（図中でILMotion）の順にサブRPSを含む。
つまり、RPL導出部３０６５にて生成される暫定参照リスト（暫定参照Ｌ０参照リストおよび暫定Ｌ１参照リスト）は、レイヤ間画素RPSを、レイヤ間動き限定RPSに較べて、よりリストの先頭に近い位置に含んでいる。換言すると、暫定参照リストは、レイヤ間画素RPSを、レイヤ間動き限定RPSに較べてより高い優先度に対応する位置に含んでいる。
続いて、Ｌ０参照リストとＬ１参照リストの導出手順を説明する。Ｌ０参照リストは、以下のＳ４０１〜Ｓ４０９に示す手順で構築される。
（Ｓ４０１）暫定Ｌ０参照リストを生成して、空のリストに初期化する。
（Ｓ４０２）暫定Ｌ０参照リストに対し、前方短期RPSに含まれる参照ピクチャを順に追加する。
（Ｓ４０３）暫定Ｌ０参照リストに対し、レイヤ間画素RPSに含まれる参照ピクチャを順に追加する。
（Ｓ４０４）暫定Ｌ０参照リストに対し、後方短期RPSに含まれる参照ピクチャを順に追加する。
（Ｓ４０５）暫定Ｌ０参照リストに対し、長期RPSに含まれる参照ピクチャを順に追加する。
（Ｓ４０６）暫定Ｌ０参照リストに対し、レイヤ間動き限定RPSに含まれる参照ピクチャを順に追加する。
（Ｓ４０７）参照ピクチャリストが修正される場合（RPL修正情報に含まれるlists_modification_present_flagの値が１の場合）、以下のＳ４０８に進む。それ以外の場合（lists_modification_present_flagの値が０の場合）、Ｓ４０９に進む。
（Ｓ４０８）参照リスト並べ替え順序list_entry_l0[i]の値に基づいて、暫定Ｌ０参照リストの要素を並べ換えて、Ｌ０参照リストとする。参照ピクチャインデックスrIdxに対応するＬ０参照リストの要素RefPicList0[rIdx]は、次式により導出される。ここで、RefListTemp0[i]は、暫定Ｌ０参照リストのi番目の要素を表す。
RefPicList0[ rIdx ] = RefPicListTemp0[ list_entry_l0[ rIdx ] ]
上記の式によれば、参照リスト並べ替え順序list_entry_l0[i]において、参照ピクチャインデックスrIdxの示す位置に記録されている値を参照し、暫定Ｌ０参照リストにおいて前記値の位置に記録されている参照ピクチャを、Ｌ０参照リストのrIdxの位置の参照ピクチャとして格納する。
（Ｓ４０９）暫定Ｌ０参照リストをＬ０参照リストとする。
次にＬ１参照リストの構築手順を説明する。Ｌ１参照リストの構築は、以下のＳ５０１〜Ｓ５０９に記載の手順で実行される。
（Ｓ５０１）暫定Ｌ１参照リストを生成して、空のリストに初期化する。
（Ｓ５０２）暫定Ｌ１参照リストに対し、後方短期RPSに含まれる参照ピクチャを順に追加する。
（Ｓ５０３）暫定Ｌ１参照リストに対し、前方短期RPSに含まれる参照ピクチャを順に追加する。
（Ｓ５０４）暫定Ｌ１参照リストに対し、長期RPSに含まれる参照ピクチャを順に追加する。
（Ｓ５０５）暫定Ｌ１参照リストに対し、レイヤ間画素RPSに含まれる参照ピクチャを順に追加する。
（Ｓ５０６）暫定Ｌ１参照リストに対し、レイヤ間動き限定RPSに含まれる参照ピクチャを順に追加する。
（Ｓ５０７）参照ピクチャリストが修正される場合（RPL修正情報に含まれるlists_modification_present_flagの値が１の場合）、以下のＳ５０８に進む。それ以外の場合（lists_modification_present_flagの値が０の場合）、Ｓ５０９に進む。
（Ｓ５０８）参照リスト並べ替え順序list_entry_l1 [i]の値に基づいて、暫定Ｌ１参照リストの要素を並べ換えて、Ｌ１参照リストとする。参照ピクチャインデックスrIdxに対応するＬ１参照リストの要素RefPicList1[rIdx]は、次式により導出される。ここで、RefListTemp1[i]は、暫定Ｌ１参照リストのi番目の要素を表す。
RefPicList1[ rIdx ] = RefPicListTemp1[ list_entry_l1[ rIdx ] ]
上記の式によれば、参照リスト並べ替え順序list_entry_l1[i]において、参照ピクチャインデックスrIdxの示す位置に記録されている値を参照し、暫定Ｌ１参照リストにおいて前記値の位置に記録されている参照ピクチャを、Ｌ１参照リストのrIdxの位置の参照ピクチャとして格納する。
（Ｓ５０９）暫定Ｌ１参照リストをＬ１参照リストとする。
上記の参照ピクチャリスト導出手順によれば、参照ピクチャリスト（参照リストＬ０と参照リストＬ１）が、対応する暫定参照リスト（暫定参照リストＬ０と暫定参照リストＬ１）をRPL修正情報に基づいて選択および並べ替えることにより生成される。その際、暫定参照リストは、レイヤ間画素RPSを、レイヤ間動き限定RPSに較べてより高い優先度に対応する位置に含んでいる。言い換えると、暫定参照リストは、レイヤ間画素RPSを、レイヤ間動き限定RPSに較べてよりリストの先頭に近い位置に含んでいる。
RPL修正情報が並べ替えを行わないことを示す場合、レイヤ間画素RPSに含まれるレイヤ間参照ピクチャが、レイヤ間動き限定RPSに含まれるレイヤ間参照ピクチャ較べて参照ピクチャリストの先頭に近い位置（より小さい参照ピクチャインデックスに対応する位置）に関連付けられる。したがって、レイヤ間画素RPSに含まれるレイヤ間参照ピクチャを、レイヤ間動き限定RPSに含まれるレイヤ間参照ピクチャ較べてより小さい値の参照ピクチャインデックスで指定できる。レイヤ間画素RPSに含まれるレイヤ間参照ピクチャは、レイヤ間画素予測に使われる可能性のあるレイヤ間参照ピクチャである。一方、レイヤ間動き限定RPSに含まれるレイヤ間参照ピクチャは、レイヤ間画素予測に使われる可能性はなく、レイヤ間動き予測に使われる可能性のあるレイヤ間参照ピクチャである。一般に、レイヤ間画像予測に用いる参照ピクチャを指定するための参照ピクチャインデックスの方が、レイヤ間動き予測に用いる参照ピクチャを指定するための参照ピクチャインデックスに較べてより多数含まれている。例えば、前者は予測単位毎に含まれるのに対し、後者はスライス毎に含まれる。したがって、レイヤ間画素RPSに含まれるレイヤ間参照ピクチャを、レイヤ間動き限定RPSに含まれるレイヤ間参照ピクチャに較べて小さい参照ピクチャインデックスを割り当てて、より少ない符号量で指定できるようにすることで、符号化データ全体の符号量を低減できる。
RPL修正情報が並べ変えを行うことを示す場合、参照リスト並べ替え情報（list_entry_l0、list_entry_l1）により暫定参照リスト中の位置を指定することで、暫定参照リストを並べ替えて参照リストを生成する。この場合、参照ピクチャリストの先頭に並べ替えられる可能性の高い参照ピクチャを、より小さい値の参照リスト並べ替え情報で指定できるようにすることで、RPL修正情報の符号量を削減できる。暫定参照リストでは、レイヤ間画素RPSに含まれるレイヤ間参照ピクチャが、参照ピクチャリストの先頭に並べ替えられる可能性のより低いレイヤ間動き限定RPSに含まれるレイヤ間参照ピクチャに較べて、暫定参照リストの先頭に近い位置にあるため、より小さい値の参照リスト並べ替え情報で指定できる。したがって、上記手順で導出した暫定参照リストを用いることで、RPL修正情報の符号量を低減できる。
加えて、上記の暫定参照リストは、動き限定RPSを暫定参照リストの末尾に含んでいる。また、上記の暫定参照リストは、動き限定RPSを短期RPSよりもリストの後方に近い位置に含んでいる。動き限定参照リストに含まれるレイヤ間参照ピクチャは、同一レイヤ内のインター予測に係るサブRPSである短期RPSや長期RPSに含まれる参照ピクチャよりも選択頻度が低いため、上記のように暫定参照リストを構成することで、参照ピクチャの選択に係る情報をより少ない符号量で復号できる。
なお、レイヤ間画素RPSとレイヤ間動き限定RPSのサブRPSの代わりに、レイヤ間画素RPSとレイヤ間画素非依存RPSのサブRPSを導出する場合には、上記、参照ピクチャリスト導出処理（RPL導出処理）において、レイヤ間動き限定RPSを、レイヤ間画素非依存RPSに読み替えて処理する。より具体的には、Ｓ４０６とＳ５０６の処理を以下の処理に置き換える。
（Ｓ４０６ｒ２）暫定Ｌ０参照リストに対し、レイヤ間画素非依存RPSに含まれる参照ピクチャを順に追加する。
（Ｓ５０６ｒ２）暫定Ｌ１参照リストに対し、レイヤ間画素非依存RPSに含まれる参照ピクチャを順に追加する。
これにより、暫定参照リストは、レイヤ間画素RPSを、レイヤ間画素非依存RPSに較べてより高い優先度に対応する位置に含んでいる。言い換えると、暫定参照リストは、レイヤ間画素RPSを、レイヤ間画素非依存RPSに較べてよりリストの先頭に近い位置に含んでいる。また、上記の暫定参照リストは、画素非依存限定RPSを暫定参照リストの末尾に含んでいる。また、上記の暫定参照リストは、画素非依存RPSを短期RPSよりもリストの後方に近い位置に含んでいる。
上述のように、レイヤ間画像予測に用いる参照ピクチャを指定するための参照ピクチャインデックスは予測単位毎に含まれるため、一般の場合においても、レイヤ間画像予測以外の予測（例えば、動き情報依存の場合のレイヤ間動き予測）の場合に、参照ピクチャを指定するための参照ピクチャインデックスよりも、多数含まれると考えられる。従って、レイヤ間画素RPSに含まれるレイヤ間参照ピクチャを、レイヤ間画素非依存RPSに含まれるレイヤ間参照ピクチャに較べて小さい参照ピクチャインデックスを割り当てて、より少ない符号量で指定できるようにすることで、符号化データ全体の符号量を低減できる。
［［出力制御部３０６６］］ 出力制御部３０６６は、概略的には、所定のタイミングでＤＰＢ３０６１のピクチャを外部に出力するとともに出力マークを更新する。具体的には、出力制御部３０６６によるピクチャ出力処理は次の手順で実行される。
まず、ＤＰＢ上のピクチャであって、出力マークが「出力要」であるピクチャのうちPOCが最小であるピクチャを出力する。次に、出力されたピクチャの出力マークを「出力不要」に設定する。最後に、ＤＰＢ上のピクチャの中から、参照マークが「参照不使用」であり、かつ、出力マークが「出力不要」であるピクチャを選択して、当該ピクチャをＤＰＢから削除する。
［［予測パラメータメモリ３０６７］］ 予測パラメータメモリ３０６７には、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードpredModeが記憶される。予測パラメータメモリ３０６７に記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX（インター予測フラグinter_pred_idcinter_pred_idc）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXがある。
［インター予測画像生成部３０９］ 図１０は、本実施形態に係るインター予測画像生成部３０９の構成を示す概略図である。インター予測画像生成部３０９は、動き変位補償部３０９１、残差予測部３０９２、照度補償部３０９３、重み予測部３０９４、参照画像判定部３０９５を含んで構成される。
動き変位補償部３０９１は、インター予測パラメータ復号部３０３から入力された、予測リスト利用フラグpredFlagLX、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXに基づいて、復号ピクチャ管理部３０６のＤＰＢ３０６１から、参照ピクチャインデックスrefIdxLXで指定された参照ピクチャの対象ブロックの位置を起点として、ベクトルmvLXだけずれた位置にあるブロックを読み出すことによって動き変位補償画像を生成する。ここで、ベクトルmvLXが整数ベクトルでない場合には、動き補償フィルタ（もしくは変位補償フィルタ）と呼ばれる小数位置の画素を生成するためのフィルタを施して、動き変位補償画像を生成する。一般に、ベクトルmvLXが動きベクトルの場合、上記処理を動き補償と呼び、変位ベクトルの場合は変位補償と呼ぶ。ここでは総称して動き変位補償と表現する。以下、Ｌ０予測の動き変位補償画像をpredSamplesL0、Ｌ１予測の動き変位補償画像をpredSamplesL1と呼ぶ。両者を区別しない場合predSamplesLXと呼ぶ。以下、動き変位補償部３０９１で得られた動き変位補償画像predSamplesLXに、さらに残差予測および照度補償が行われる例を説明するが、これらの出力画像もまた、動き変位補償画像predSamplesLXと呼ぶ。なお、以下の残差予測および照度補償において、入力画像と出力画像を区別する場合には、入力画像をpredSamplesLX、出力画像をpredSamplesLX´と表現する。
参照画像判定部３０９５は、残差予測を行うために用いられる、参照レイヤ（参照ビュー）における参照ピクチャ（復号画像）(refIvRefPic）（以下、説明の便宜のため“参照レイヤ参照ピクチャrefIvRefPic”にて参照する）が利用可能か否かを判定する。参照画像判定部３０９５は、参照レイヤ参照ピクチャrefIvRefPicが利用可能な場合、参照レイヤ参照ピクチャ利用フラグrefIvRefPicAvailable(refIvRefPicAvailable2)に１を設定する。一方、参照画像判定部３０９５は、参照レイヤ参照ピクチャrefIvRefPicが利用不可能な場合、参照レイヤ参照ピクチャ利用フラグrefIvRefPicAvailable(refIvRefPicAvailable2)に０を設定する。参照画像判定部３０９５は、このようにして設定した参照レイヤ参照ピクチャ利用フラグrefIvRefPicAvailable(refIvRefPicAvailable2)を残差予測部３０９２に出力する。
参照画像判定部３０９５は、参照ピクチャの利用可否を以下のとおり判定してもよい。なお、以下では、対象レイヤにおける参照ピクチャをＡＲＰ参照ピクチャarpRefPicと称する。ＡＲＰ参照ピクチャarpRefPicは、上記対象ピクチャのピクチャ順序と異なるピクチャ順序を有する。また、参照ピクチャリストRefPicListX(X=0,1)のインデックスarpRefIdxLXで参照されるピクチャ（RefPicListX[arpRefIdxLX ]）がＡＲＰ参照ピクチャarpRefPicであるものとする。また、ビュー識別子を示すインデックスをViewIdx、対象ブロックの座標を（ｘＰ、ｙＰ）における参照レイヤ（ビュー）のビュー識別子をrefViewIdx[xP][yP]と記述する。また、PicOrderCnt(X)は、ピクチャXのピクチャ順序番号POCを示す。インデックスarpRefIdxLXは、０を設定しても良いし、後述する第４の実施形態のオプションＹ５に示す方法を用いても良い。
（オプション１）：参照ピクチャがRPSに存在するか否かを判定する
以下の（１−１）および（１−２）を満たす参照ピクチャPicが存在する場合、参照レイヤ参照ピクチャrefIvRefPicに参照ピクチャPicを設定し、参照レイヤ参照ピクチャ利用フラグrefIvRefPicAvailableに１を設定する。そうでなければ、参照レイヤ参照ピクチャ利用フラグrefIvRefPicAvailableに０を設定する。
（１−１）PicOrderCnt(Pic）が、PicOrderCnt（arpRefPic)であり、かつ、PicのViewIdxが refViewIdx[xP][yP]となる。
（１−２）上記（１−１）の条件を満たす参照ピクチャPicが、対象ピクチャと同じＰＯＣであり、かつ、ViewIdxが refViewIdx[xP][yP]である参照レイヤ上のピクチャのRPSに存在する。
RPSは、あるピクチャに含まれる複数のスライス間で不変であり、スライスタイプがＩスライスの場合にも存在することから、RPSによる判定は適当である。
（オプション２）：参照ピクチャがRPLに存在するか否かを判定する
上記（１−１）および下記（２−２）を満たす参照ピクチャPicが存在する場合、参照レイヤ参照ピクチャrefIvRefPicとして参照ピクチャPicを採用し、参照レイヤ参照ピクチャ利用フラグrefIvRefPicAvailableに１を設定する。そうでなければ、参照レイヤ参照ピクチャ利用フラグrefIvRefPicAvailableに０を設定する。
（２−２）上記（１−１）の条件を満たす参照ピクチャPicが、対象ピクチャと同じＰＯＣであり、かつ、ViewIdxが refViewIdx[xP][yP]である、参照レイヤ上の、スライスタイプ（slice_type）がＩスライスでないピクチャの参照レイヤリストRPL（RefPicListX）に存在する。
ＲＰＬは多くの場合、簡単に導出することができる。なお、ＲＰＬの長さ、および／または、内容は、スライス毎に異なるため、以上に説明したように、判定には第１番目のスライスのRefPicListX[]を用いることができる。しかしながら、これに限られず、対象ピクチャに含まれるスライスのうち、所定番目のスライスのRefPicListX[]を、対象ピクチャに含まれるスライス間で用いるように構成することもできる。例えば、最後のスライスを用いることも可能である。上記判定において、参照ピクチャリストに存在するとは、参照ピクチャリストの特定の順番の要素に存在するのではなく、順序によらず存在すれば良い。また、参照ピクチャリストとしてL0リストRefPicList0[]とL1リストRefPicList1[]が有る場合には、何れかのリストの要素として存在すれば良い。
（オプション３ａ）：参照ピクチャがDPBに存在するか否かを判定する
上記（１−１）および下記（３−１）を満たす参照ピクチャPicが存在する場合、参照レイヤ参照ピクチャrefIvRefPicとして参照ピクチャPicを採用し、参照レイヤ参照ピクチャ利用フラグrefIvRefPicAvailableに１を設定する。そうでなければ、参照レイヤ参照ピクチャ利用フラグrefIvRefPicAvailableに０を設定する。
（３−１）上記（１−１）の条件を満たす参照ピクチャPicが、対象ピクチャと同じＰＯＣであり、かつ、ViewIdxが refViewIdx[xP][yP]である、デコードピクチャバッファ（ＤＰＢ）に存在する。
ＤＰＢ３０６１は、利用可能なピクチャを記憶しているため、以上のようにＤＰＢを判定に用いてもよい。
（オプション３ｂ）：参照ピクチャがDPBに存在し、さらに、参照使用（used for reference）にマークされているか否かを判定する
上記（１−１）および以下の（３ｂ−２）を満たす参照ピクチャPicが存在する場合、参照レイヤ参照ピクチャrefIvRefPicとして参照ピクチャPicを採用し、参照レイヤ参照レイヤ参照ピクチャ利用フラグrefIvRefPicAvailableに１を設定する。そうでなければ、参照レイヤ参照レイヤ参照ピクチャ利用フラグrefIvRefPicAvailableに０を設定する。
（３ｂ−２）上記（１−１）の条件を満たす参照ピクチャPicが、対象ピクチャと同じＰＯＣであり、かつ、ViewIdxが refViewIdx[xP][yP]である、かつ、参照使用（used forreference）とマークされているピクチャが、デコードピクチャバッファ（ＤＰＢ）に存在する。
ＤＰＢの動作はデコーダ依存であるため、ＤＰＢにおけるピクチャの記憶状態が信頼できない場合がある。具体的には、ＤＰＢは出力必要（need for output）とマークされておらず、参照使用とマークされているピクチャを破棄するが、出力するタイミングは、デコーダ依存である場合があるため、あるデコーダではピクチャが破棄されているが、他のデコーダではピクチャが破棄されていないということがおきうる。この場合、（ＡＲＰに利用される）ある参照ピクチャがＤＰＢに存在するか否かの判定がデコーダにより異なる可能性がある。参照使用のマークは、明示的に復号されるＲＰＳに応じて設定されるため、デコーダ間で異なることがない。このため、以上に示したように、参照ピクチャの参照マークが「参照使用」であるか否かを判定することが好ましい。
なお、上記オプション１からオプション３ｂにおいて、（１−１）の設定の代わりに、以下の（１−１ｂ）を用いても良い。
（１−１ｂ）PicOrderCnt(Pic）が、PicOrderCnt（arpRefPic)であり、かつ、PicのViewIdxが refViewIdx[xP][yP]、かつ、PicのDepthFlagが０である。
（１−１ｂ）によれば、参照ピクチャが、デプスピクチャである場合（DepthFlagが１である場合）に、目的とする参照ピクチャPicであるとして設定することがない。ＡＲＰは、テクスチャピクチャ（DepthFlag=0）を参照ピクチャとして使用されることで機能し、デプスピクチャ（DepthFlag=1）を参照ピクチャとして使用する場合には機能しない（残差予測により適当な予測画像が生成できない）ことから、上記、（１−１ｂ）の判定は、残差予測の効果を生じさせる効果を奏する。つまり、RPS（オプション１の場合）、RPL（オプション２の場合）、DPB（オプション３ａ、オプション３ｂ）の場合で、それらから参照ピクチャPicを設定する場合に、誤ってデプスピクチャを設定して残差予測の効果が得られない課題を防ぐ効果を奏する。
残差予測部３０９２は、残差予測実施フラグresPredFlagが１の場合に、入力された動き変位補償画像predSamplesLXに対して、残差予測（ＡＲＰ：Advanced Residual Prediction）を行う。残差予測実施フラグresPredFlagが０の場合には、入力された動き変位補償画像predSamplesLXをそのまま出力する。
残差予測は、予測画像生成の対象とする対象レイヤ（第２のレイヤ画像）とは異なる参照レイヤ（第１のレイヤ画像）の残差を、対象レイヤの参照ピクチャから予測した画像（動き補償画像）である動き変位補償画像predSamplesLXに加えることにより行われる。これを、第１の残差予測と呼ぶ。また、残差予測は、予測画像生成の対象とする対象レイヤ（第２のレイヤ画像）と参照レイヤ（第１のレイヤ画像）間の対象ピクチャとは異なる時刻（ＰＯＣ）における残差を、参照レイヤの参照ピクチャから予測した画像（変位補償画像）である動き変位補償画像predSamplesLXに加えることにより行うこともできる。これを第２の残差予測と呼ぶ。
第１の残差予測では、参照レイヤと同様の残差が対象レイヤにも生じると仮定して、既に導出された参照レイヤの対象ピクチャと異なる時刻（ＰＯＣ）のピクチャrefIvRefPicと、参照レイヤの対象ピクチャと同じ時刻（ＰＯＣ）のピクチャcurrIvRefPic間の残差を対象レイヤの対象ピクチャと異なる時刻（ＰＯＣ）のピクチャ（例えばarpRefPic）からの動き補償予測における残差の推定値として用いる。
第２の残差予測では、既に導出された対象ピクチャと異なる時刻（ＰＯＣ）のピクチャにおける参照レイヤのピクチャrefIvRefPicと、対象ピクチャのピクチャ間arpRefPicの残差を、対象ピクチャと同じ時刻（ＰＯＣ）における、参照レイヤのピクチャcurrIvRefPicからの変位補償予測における残差の推定値として用いる。
以下の実施形態では、第１の残差予測と第２の残差予測の両方を用いるが、簡略化のために第１の残差予測と第２の残差予測の一方のみを用いる構成でも構わない。
図１は残差予測部３０９２の構成を示すブロック図である。残差予測部３０９２は、残差予測実施フラグ導出部３０９２１と、参照画像取得部３０９２２と、残差合成部３０９２３から構成される。
残差予測実施フラグ導出部３０９２１は、（１）残差予測フラグiv_res_pred_weight_idxが０ではなく、かつ、（２）参照ピクチャ利用フラグが、“１”である場合に、残差予測実施フラグresPredFlagに残差予測を実行することを示す１を設定する。一方、残差予測フラグiv_res_pred_weight_idxが０である、または、参照ピクチャ利用フラグが、“１”でない場合（視差補償である場合）に、残差予測実施フラグresPredFlagに０を設定する。
すなわち、残差予測実施フラグ導出部３０９２１は、以下の条件式（Ｒ−１）により、残差予測実施フラグresPredFlagを導出してもよい。
resPredFlag = ( iv_res_pred_weight_idx != 0 ) && refIvRefPicAvailable ・・・（Ｒ−１）
ここで、PicOrderCntValは、対象ピクチャのピクチャ順序番号POCである。
なお、動き予測の場合に限定する場合には、残差予測実施フラグ導出部３０９２１は、上記（１）および（２）に加えて、（３）対象ブロックが動き補償であるか否かを判定してもよい( PicOrderCnt( RefPicListX[ refIdxLX ] ) != PicOrderCntVal )。すなわち、以下の条件式（Ｒ−２）により、残差予測実施フラグresPredFlagを導出してもよい。
resPredFlag = ( iv_res_pred_weight_idx != 0 )
( PicOrderCnt( RefPicListX[ refIdxLX ] ) != PicOrderCntVal ) && refIvRefPicAvail ・・・ （Ｒ−２）
参照画像取得部３０９２２は、残差予測実施フラグresPredFlagが１の場合には、インター予測パラメータ復号部３０３から入力された動きベクトルmvLXと残差予測変位ベクトルmvDisp、及び復号ピクチャ管理部３０６に格納された対応ブロックcurrIvSamplesLXと対応ブロックの参照ブロックrefIvSamplesLXを読み出す。
図１１の（ａ）は、対応ブロックcurrIvSamplesLXを説明するための図である。図１１の（ａ）に示すように、対象レイヤ上の対象ブロックＴａｒ１に対応する対応ブロックＣｏｒ１は、参照レイヤ上の画像の対象ブロックＴａｒ１´の位置を起点として、参照レイヤと対象レイヤの位置関係を示すベクトルである変位ベクトルmvDispだけずれた位置になるブロックに位置する。
具体的には、参照画像取得部３０９２２は、対象ブロックの画素の座標（ｘ，ｙ）を、対象ブロックの変位ベクトルmvDispだけずらした位置の画素を導出する。変位ベクトルmvDispが１／４ペルの小数精度であることを考慮し、残差生成部３０９２２は、対象ブロックの画素の座標が（ｘＰ、ｙＰ）である場合に対応する整数精度の画素Ｒ０のＸ座標xIntとＹ座標yInt、及び変位ベクトルmvDispのＸ成分の小数部分xFracとＹ成分の小数部分yFracを
xInt = xPb + ( mvLX[ 0 ] >> 2 )
yInt = yPb + ( mvLX[ 1 ] >> 2 )
xFrac = mvLX[ 0 ] & 3
yFrac = mvLX[ 1 ] & 3
の式により導出する。ここで、Ｘ & 3は、Ｘの下位２ビットのみを取り出す数式である。
次に、参照画像取得部３０９２２は、変位ベクトルmvDispが１／４ペルの小数精度であることを考慮し、補間画素predPartLX[ x ][ y ]を生成する。まず、整数画素Ａ(xA,yB)、Ｂ(xB,yB)、Ｃ(xC,yC)及びＤ(xD,yD)の座標を
xA = Clip3( 0, picWidthInSamples - 1, xInt )
xB = Clip3( 0, picWidthInSamples - 1, xInt + 1 )
xC = Clip3( 0, picWidthInSamples - 1, xInt )
xD = Clip3( 0, picWidthInSamples - 1, xInt + 1 )
yA = Clip3( 0, picHeightInSamples - 1, yInt )
yB = Clip3( 0, picHeightInSamples - 1, yInt )
yC = Clip3( 0, picHeightInSamples - 1, yInt + 1 )
yD = Clip3( 0, picHeightInSamples - 1, yInt + 1 )
の式により導出する。ここで、整数画素Ａは画素Ｒ０に対応した画素であり、整数画素Ｂ，Ｃ，Ｄはそれぞれ整数画素Ａの右、下、右下に隣接する整数精度の画素であり、Clip3(x, y, z）は、ｚをｘ以上、ｙ以下に制限（クリップ）する関数である。参照画像取得部３０９２２は、各整数画素Ａ、Ｂ、Ｃ、及びＤに対応する参照画素refPicLX[ xA ][ yA ]、refPicLX[ xB ][ yB ]、refPicLX[ xC ][ yC ]、及びrefPicLX[ xD ][ yD ]を復号ピクチャ管理部３０６のＤＰＢ３０６１から読み出す。
そして、参照画像取得部３０９２２は、参照画素refPicLX[ xA ][ yA ]、refPicLX[ xB][ yB ]、refPicLX[ xC ][ yC ]、refPicLX[ xD ][ yD ]と変位ベクトルmvDispのＸ成分の小数部分xFracとＹ成分の小数部分yFracを用いて、画素Ｒ０から変位ベクトルmvDispの小数部分だけずらした位置の画素である補間画素predPartLX[ x ][ y ]を導出する。具体的には、
predPartLX[ x ][ y ] = (refPicLX[ xA ][ yA ] * ( 8 - xFrac ) * ( 8 - yFrac )
+ refPicLX[ xB ][ yB ] * ( 8 - yFrac ) * xFrac
+ refPicLX[ xC ][ yC ] * ( 8 - xFrac ) * yFrac
+ refPicLX[ xD ][ yD ] * xFrac * yFrac ) >> 6
の式により導出する。
参照画像取得部３０９２２は、上記の補間画素導出処理を、対象ブロック内の各画素に対して行い、補間画素の集合を補間ブロックpredPartLXとする。参照画像取得部３０９２２は、導出した補間ブロックpredPartLXを、対応ブロックcurrIvSamplesLXとして、残差合成部３０９２３に出力する。
図１１の（ｂ）は、参照ブロックrefIvSamplesLXを説明するための図である。図１１の（ｂ）に示すように、参照レイヤ上の対応ブロックに対応する参照ブロックは、参照レイヤ上の参照画像の対応ブロックの位置を起点として、対象ブロックの動きベクトルmvLXだけずれた位置になるブロックに位置する。
参照画像取得部３０９２２は、対応ブロックcurrIvSamplesLXを導出した処理と、変位ベクトルmvDispをベクトル（mvDisp[ 0 ] + mvLX [ 0 ]、mvDisp[ 1 ] + mvLX [ 1 ]）に置き換えている点を除いて、同様の処理を行うことで、対応ブロックrefIvSamplesLXを導出する。参照画像取得部３０９２２は、対応ブロックrefIvSamplesLXを残差合成部３０９２３に出力する。
残差合成部３０９２３は、残差予測実施フラグresPredFlagが１の場合には、動き変位補償画像predSamplesLX、対応ブロックcurrIvSamplesLX、参照ブロックrefIvSamplesLX及び残差予測フラグiv_res_pred_weight_idxから、補正動き変位補償画像predSamplesLX´を導出する。補正動き変位補償画像predSamplesLX´は、
predSamplesLX´ = predSamplesLX + ((currIvSamplesLX - refIvSamplesLX) >> (iv_res_pred_weight_idx - 1))
の式を用いて求める。残差合成部３０９２３は、残差予測実施フラグresPredFlagが０の場合には、動き変位補償画像predSamplesLXをそのまま出力する。
照度補償部３０９３は、照度補償フラグic_enable_flagが１の場合に、入力された動き変位補償画像predSamplesLXに対して、照度補償を行う。照度補償フラグic_enable_flagが０の場合には、入力された動き変位補償画像predSamplesLXをそのまま出力する。照度補償部３０９３に入力される動き変位補償画像predSamplesLXは、残差予測がオフの場合には、動き変位補償部３０９１の出力画像であり、残差予測がオンの場合には、残差予測部３０９２の出力画像である。
重み予測部３０９４は、入力される動き変位画像predSamplesLXに重み係数を乗算することにより予測ピクチャブロックＰ（予測画像）を生成する。入力される動き変位画像predSamplesLXは、残差予測、照度補償が行われる場合には、それらが施された画像である。参照リスト利用フラグの一方(predFlagL0もしくはpredFlagL1)が1の場合(単予測の場合)で、重み予測を用いない場合には入力された動き変位画像predSamplesLX(LXはL0もしくはL1)を画素ビット数に合わせる以下の式の処理を行う。
predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesLX[ x ][ y ] + offset1 ) >> shift1 )
ここで、shift1=14-bitDepth、offset1=1<<(shift1-1)である。
また、参照リスト利用フラグの両者(predFlagL0もしくはpredFlagL1)が１の場合（双予測の場合）で、重み予測を用いない場合には、入力された動き変位画像predSamplesL0、predSamplesL1を平均し画素ビット数に合わせる以下の式の処理を行う。
predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesL0[ x ][ y ] + predSamplesL1[ x ][ y ] + offset2 ) >> shift2 )
ここで、shift2=15-bitDepth、offset2=1<<(shift2-1)である。
さらに、単予測の場合で、重み予測を行う場合には、重み予測部３０９４は、重み予測係数w0とオフセットo0を導出し、以下の式の処理を行う。
predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( (predSamplesLX[ x ][ y ] * w0 + 2log2WD - 1) >> log2WD ) + o0 )
ここで、log2WDは所定のシフト量を示す変数である。
さらに、双予測の場合で、重み予測を行う場合には、重み予測部３０９４は、重み予測係数w0、w1、o0、o1を導出し、以下の式の処理を行う。
predSamples[ x ][ y ] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesL0 [ x ][ y ] * w0 + predSamplesL1[ x ][ y ] * w1 + ((o0 + o1 + 1) << log2WD) ) >> (log2WD + 1) )
（変形例１） 上記（参照画像判定）では、動き補償レベルの条件（resPredFlag）を用いて、参照レイヤ参照ピクチャrefIvRefPicの利用可否を判定することについて説明した。しかしながら、これに限られず、パース段階の条件を用いてもよい。
すなわち、参照画像判定部３０９５は、パース段階においてＡＲＰ参照ピクチャarpRefPicの利用可否を判定し、当該判定結果arpRefPicAvailableをインター予測パラメータ復号制御部３０３１に供給してもよい。以下、パース段階におけるＡＲＰ参照ピクチャarpRefPicの利用可否を示すフラグをarpRefPicAvailable、動き補償段階におけるＡＲＰ参照ピクチャarpRefPicの利用可否を示すフラグをrefIvRefPicAvailableとして区別する。
図１４を用いて、より具体的に説明すると次のとおりである。図１４のＳＹＮ１１およびＳＹＮ１２に示すように、ＣＵレベルの残差予測フラグ（ＡＲＰフラグ）iv_res_pred_weight_idxの導出の際、参照画像判定部３０９５は、ＡＲＰ参照ピクチャarpRefPicの利用可否を判定してもよい。
そして、ＣＵレベルのパラメータ復号において、インタービュー残差予測が利用可能なレイヤであって（iv_res_pred_flag[nuh_layer_id]が０でない）、かつＡＲＰ参照ピクチャarpRefPicが利用可能である（arpRefPicAvailableが０でない）場合、インター予測パラメータ復号制御部３０３１は、iv_res_pred_weight_idxを復号してもよい。
これにより、残差予測処理において、参照ピクチャが利用可能でない事態が発生することを抑制することができる。
次に、本実施形態に係る画像符号化装置１１の構成について説明する。図１２は、本実施形態に係る画像符号化装置１１の構成を示すブロック図である。画像符号化装置１１は、予測画像生成部１０１、減算部１０２、ＤＣＴ・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆ＤＣＴ部１０５、加算部１０６、復号ピクチャ管理部（参照画像記憶部、フレームメモリ）１０９、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、残差格納部３１３（残差記録部）を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。
予測画像生成部１０１は、外部から入力されたレイヤ画像Ｔの視点毎の各ピクチャについて、そのピクチャを分割した領域であるブロック毎に予測ピクチャブロックＰを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて復号ピクチャ管理部１０９から参照ピクチャブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えば、動きベクトル又は変位ベクトルである。予測画像生成部１０１は、符号化対象ブロックを起点として予測された動きベクトル又は変位ベクトルが示す位置にあるブロックの参照ピクチャブロックを読み出す。予測画像生成部１０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いて予測ピクチャブロックＰを生成する。予測画像生成部１０１は、生成した予測ピクチャブロックＰを減算部１０２に出力する。なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作であるため予測ピクチャブロックＰの生成の詳細は省略する。
予測画像生成部１０１は、予測方式を選択するために、例えば、レイヤ画像に含まれるブロックの画素毎の信号値と予測ピクチャブロックＰの対応する画素毎の信号値との差分に基づく誤差値を最小にする予測方式を選択する。予測方式を選択する方法は、これには限られない。
符号化対象のピクチャがベースビューピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測及びマージ予測である。動き予測とは、上述のインター予測のうち、表示時刻間の予測である。マージ予測とは、既に符号化されたブロックであって、符号化対象ブロックから予め定めた範囲内にあるブロックと同一の参照ピクチャブロック及び予測パラメータを用いる予測である。符号化対象のピクチャがノンベースビューピクチャである場合には、複数の予測方式とは、イントラ予測、動き予測、マージ予測、及び変位予測である。変位予測（視差予測）とは、上述のインター予測のうち、別レイヤ画像（別視点画像）間の予測である。さらに、動き予測、マージ予測、及び変位予測である。変位予測（視差予測）に対して、追加予測（残差予測および照度補償）を行う場合と行わない場合の予測がある。
予測画像生成部１０１は、イントラ予測を選択した場合、予測ピクチャブロックＰを生成する際に用いたイントラ予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
予測画像生成部１０１は、動き予測を選択した場合、予測ピクチャブロックＰを生成する際に用いた動きベクトルmvLXを復号ピクチャ管理部１０９に記憶し、インター予測パラメータ符号化部１１２に出力する。動きベクトルmvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。動きベクトルmvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ピクチャ順序番号ＰＯＣ）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部１０１は、インター予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
予測画像生成部１０１は、変位予測を選択した場合、予測ピクチャブロックＰを生成する際に用いた変位ベクトルを復号ピクチャ管理部１０９に記憶し、インター予測パラメータ符号化部１１２に出力する。変位ベクトルdvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。変位ベクトルdvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ビューＩＤview_id）を含み、予測パラメータを表すものであっても良い。また、予測画像生成部１０１は、インター予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
予測画像生成部１０１は、マージ予測を選択した場合、選択した参照ピクチャブロックを示すマージインデックスmerge_idxをインター予測パラメータ符号化部１１２に出力する。また、予測画像生成部１０１は、マージ予測モードを示す予測モードpredModeを予測パラメータ符号化部１１１に出力する。
上記の、動き予測、変位予測、マージ予測において、予測画像生成部１０１は、残差予測実施フラグresPredFlagが残差予測を行うことを示す場合には、既に説明したように予測画像生成部１０１に含まれる残差予測部３０９２において残差予測を行う。
減算部１０２は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値を、外部から入力されたレイヤ画像Ｔの対応するブロックの信号値から画素毎に減算して、残差信号を生成する。減算部１０２は、生成した残差信号をＤＣＴ・量子化部１０３と符号化パラメータ決定部１１０に出力する。
ＤＣＴ・量子化部１０３は、減算部１０２から入力された残差信号についてＤＣＴを行い、ＤＣＴ係数を算出する。ＤＣＴ・量子化部１０３は、算出したＤＣＴ係数を量子化して量子化係数を求める。ＤＣＴ・量子化部１０３は、求めた量子化係数をエントロピー符号化部１０４及び逆量子化・逆ＤＣＴ部１０５に出力する。
エントロピー符号化部１０４には、ＤＣＴ・量子化部１０３から量子化係数が入力され、符号化パラメータ決定部１１０から符号化パラメータが入力される。入力される符号化パラメータには、例えば、参照ピクチャインデックスrefIdxLX、ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、予測モードpredMode、残差予測フラグiv_res_pred_weight_idx、及びマージインデックスmerge_idx等の符号がある。
エントロピー符号化部１０４は、入力された量子化係数と符号化パラメータをエントロピー符号化して符号化ストリームＴｅを生成し、生成した符号化ストリームＴｅを外部に出力する。
逆量子化・逆ＤＣＴ部１０５は、ＤＣＴ・量子化部１０３から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部１０５は、求めたＤＣＴ係数について逆ＤＣＴを行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部１０５は、算出した復号残差信号を加算部１０６に出力する。
加算部１０６は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値と逆量子化・逆ＤＣＴ部１０５から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部１０６は、生成した参照ピクチャブロックを復号ピクチャ管理部１０９に記憶する。
復号ピクチャ管理部１０９は、画像復号装置３１の復号ピクチャ管理部３０６と同様、予測パラメータメモリ（不図示）を有しており、当該予測パラメータメモリにおいて、予測パラメータ符号化部１１１が生成した予測パラメータを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
また、復号ピクチャ管理部１０９は、画像復号装置３１の復号ピクチャ管理部３０６と同様、ＤＰＢ（不図示）を有しており、当該ＤＰＢにおいて、加算部１０６が生成した参照ピクチャブロックを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
なお、復号ピクチャ管理部１０９の詳細については、画像復号装置３１の復号ピクチャ管理部３０６について説明したものと同様であるので、ここではその説明は省略する。
符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。予測画像生成部１０１は、これらの符号化パラメータのセットの各々を用いて予測ピクチャブロックＰを生成する。
符号化パラメータ決定部１１０は、複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータをエントロピー符号化して得られる符号化ストリームＴｅの情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部１０４は、選択した符号化パラメータのセットを符号化ストリームＴｅとして外部に出力し、選択されなかった符号化パラメータのセットを出力しない。
予測パラメータ符号化部１１１は、予測画像生成部１０１から入力されたパラメータに基づいて予測ピクチャを生成する際に用いる予測パラメータを導出し、導出した予測パラメータを符号化して符号化パラメータのセットを生成する。予測パラメータ符号化部１１１は、生成した符号化パラメータのセットをエントロピー符号化部１０４に出力する。
予測パラメータ符号化部１１１は、生成した符号化パラメータのセットのうち符号化パラメータ決定部１１０が選択したものに対応する予測パラメータを復号ピクチャ管理部１０９に記憶する。
予測パラメータ符号化部１１１は、予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合、インター予測パラメータ符号化部１１２を動作させる。予測パラメータ符号化部１１１は、予測モードpredModeがイントラ予測モードを示す場合、イントラ予測パラメータ符号化部１１３を動作させる。
インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいてインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、インター予測パラメータを導出する構成として、インター予測パラメータ復号部３０３（図６等、参照）がインター予測パラメータを導出する構成と同一の構成を含む。インター予測パラメータ符号化部１１２の構成については、後述する。
イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力された予測モードpredModeが示すイントラ予測モードIntraPredModeをインター予測パラメータのセットとして定める。
次に、インター予測パラメータ符号化部１１２の構成について説明する。インター予測パラメータ符号化部１１２は、インター予測パラメータ復号部３０３に対応する手段である。
図１３は、本実施形態に係るインター予測パラメータ符号化部１１２の構成を示す概略図である。
インター予測パラメータ符号化部１１２は、インター予測パラメータ符号化制御部１０３１、マージ予測パラメータ導出部１１２１、AMVP予測パラメータ導出部１１２２、減算部１１２３、及び予測パラメータ統合部１１２６を含んで構成される。
マージ予測パラメータ導出部１１２１は、上述のマージ予測パラメータ導出部３０３６（図７参照）と同様な構成を有する。
インター予測パラメータ符号化制御部１０３１は、インター予測に関連する符号（シンタックス要素の復号をエントロピー符号化部１０４に指示し、符号化データに含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idcinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化する。
インター予測パラメータ符号化制御部１０３１は、追加予測フラグ符号化部１０３１１、マージインデックス符号化部１０３１２、ベクトル候補インデックス符号化部１０３１３、及び図示しない、分割モード符号化部、マージフラグ符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル差分符号化部を含んで構成される。分割モード符号化部、マージフラグ符号化部、マージインデックス符号化部、インター予測フラグ符号化部、参照ピクチャインデックス符号化部、ベクトル候補インデックス符号化部１０３１３、ベクトル差分符号化部は各々、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idcinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化する。
追加予測フラグ符号化部１０３１は、追加予測が行われるか否かを示すために、照度補償フラグic_enable_flag、残差予測フラグiv_res_pred_weight_flsgを符号化する。
マージ予測パラメータ導出部１１２１には、予測画像生成部１０１から入力された予測モードpredModeがマージ予測モードを示す場合、符号化パラメータ決定部１１０からマージインデックスmerge_idxが入力される。マージインデックスmerge_idxは、予測パラメータ統合部１１２６に出力される。マージ予測パラメータ導出部１１２１は、マージ候補のうちマージインデックスmerge_idxが示す参照ブロックの参照ピクチャインデックスrefIdxLX、ベクトルmvLXを復号ピクチャ管理部１０９から読み出す。マージ候補とは、符号化対象となる符号化対象ブロックから予め定めた範囲にある参照ブロック（例えば、符号化対象ブロックの左下端、左上端、右上端に接する参照ブロックのうち）であって、符号化処理が完了した参照ブロックである。
AMVP予測パラメータ導出部１１２２は、上述のAMVP予測パラメータ導出部３０３２（図７参照）と同様な構成を有する。
AMVP予測パラメータ導出部１１２２には、予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合、符号化パラメータ決定部１１０からベクトルmvLXが入力される。AMVP予測パラメータ導出部１１２２は、入力されたベクトルmvLXに基づいて予測ベクトルmvpLXを導出する。AMVP予測パラメータ導出部１１２２は、導出した予測ベクトルmvpLXを減算部１１２３に出力する。なお、参照ピクチャインデックスrefIdx及びベクトルインデックスmvp_LX_idxは、予測パラメータ統合部１１２６に出力される。
減算部１１２３は、符号化パラメータ決定部１１０から入力されたベクトルmvLXからAMVP予測パラメータ導出部１１２２から入力された予測ベクトルmvpLXを減算して差分ベクトルmvdLXを生成する。差分ベクトルmvdLXは予測パラメータ統合部１１２６に出力する。
予測画像生成部１０１から入力された予測モードpredModeがマージ予測モードを示す場合には、予測パラメータ統合部１１２６は、符号化パラメータ決定部１１０から入力されたマージインデックスmerge_idxをエントロピー符号化部１０４に出力する。
予測画像生成部１０１から入力された予測モードpredModeがインター予測モードを示す場合には、予測パラメータ統合部１１２６は、次の処理を行う。
予測パラメータ統合部１１２６は、符号化パラメータ決定部１１０から入力された参照ピクチャインデックスrefIdxLX及びベクトルインデックスmvp_LX_idx、減算部１１２３から入力された差分ベクトルmvdLXを統合する。予測パラメータ統合部１１２６は、統合した符号をエントロピー符号化部１０４に出力する。
〔第２の実施形態〕
以下、図面を参照しながら本発明の第２の実施形態について説明する。第２の実施形態では、参照レイヤ参照ピクチャrefIvRefPicの利用可否が判定できるようビットストリームに制約を課す例について説明する。以下では、ビットストリームが課されるべき制約のことをビットストリームコンフォーマンスと称する。
（オプションＢ１）：ＲＰＳ制約によるビットストリームコンフォーマンス
画像符号化装置１１の予測パラメータ符号化部１１１は、スライスレベルでＡＲＰのオン／オフフラグを符号化してもよい。また、画像符号化装置１１は、インター予測処理が実行されるとき、以下の条件（Ｂ１−１）および（Ｂ１−２）を満たすことをビットストリームコンフォーマンスとする。
（Ｂ１−１）対象ピクチャのRPS において、ViewIdx = refViewIdx[xP][yP]となる参照ピクチャPicが存在する。
（Ｂ１−２）PicOrderCnt(Pic）が、PicOrderCnt（arpRefPic)であり、かつ、ViewIdxが refViewIdx[xP][yP]となる。
画像復号装置３１は、上記をビットストリームコンフォーマンスとする符号化データを復号する。画像復号装置３１の復号対象とするビットストリームとして、ＡＲＰ参照ピクチャに関する制約を課すことによって、ＡＲＰ参照ピクチャが参照できないことにより復号処理が失敗することを防ぐことができる。
また、画像復号装置３１は、次のように構成しても良い。すなわち、画像復号装置３１は、上記ビットストリームコンフォーマンスに従って生成された、符号化ストリームを受信し、スライスレベル（スライスヘッダ／セグメントヘッダ）で符号化されたＡＲＰのオン／オフフラグをインター予測パラメータ復号部３０３において復号する。また、復号したＡＲＰのオン／オフフラグに応じて、残差予測部３０９２において残差予測処理を実行する。スライスヘッダ単位でＡＲＰのオンオフを符号化することで、参照レイヤの参照ピクチャリストの構成において、上記ビットストリームコンフォーマンスを遵守できない場合には、ＡＲＰをオフとすることができる。
（オプションＢ２）：ＲＰＬ制約によるビットストリームコンフォーマンス
画像符号化装置１１の予測パラメータ符号化部１１１は、スライスレベルでＡＲＰのオン／オフフラグを符号化してもよい。また、画像符号化装置１１は、インター予測処理が実行されるとき、以下の（Ｂ２−１）および（Ｂ２−２）を満たすことをビットストリームコンフォーマンスとする。
（Ｂ２−１）参照ピクチャPicが、ViewIdx = refViewIdx[xP][yP]であり、かつスライスタイプ（slice_type）が対象ピクチャのＩスライスでない第１番目のスライスのRefPicListX[0]に存在する。
（Ｂ２−２）PicOrderCnt(Pic）が、PicOrderCnt（arpRefPic)であり、かつ、ViewIdxが refViewIdx[xP][yP]となる。
画像復号装置３１は、上記をビットストリームコンフォーマンスとする符号化データを復号する。画像復号装置３１の復号対象とするビットストリームとして、ＡＲＰ参照ピクチャに関する制約を課すことによって、ＡＲＰ参照ピクチャが参照できないことにより復号処理が失敗することを防ぐことができる。
また、画像復号装置３１は、次のように構成しても良い。すなわち、画像復号装置３１は、上記ビットストリームコンフォーマンスに従って生成された、符号化ストリームを受信し、スライスレベルで符号化されたＡＲＰのオン／オフフラグをインター予測パラメータ復号部３０３において復号する。また、復号したＡＲＰのオン／オフフラグに応じて、残差予測部３０９２において残差予測処理を実行する。
なお、上記に限られず、（Ｂ２−１）では、対象ピクチャのＩスライスでないスライスのうち、所定番目のスライスのRefPicListX[0]を用いるように構成することもできる。例えば、最後のスライスのRefPicListX[0]を用いることも可能である。また、上記判定では、参照ピクチャリストの０番目だけでなく、所定番目の位置の参照ピクチャを対象としてもよい。
（オプションＢ３）：参照ピクチャがDPBに存在するか否かを判定する
画像符号化装置１１の予測パラメータ符号化部１１１は、スライスレベルでＡＲＰのオン／オフフラグを符号化する。また、画像符号化装置１１は、インター予測処理が実行されるとき、以下の（Ｂ３−１）および（Ｂ３−２）を満たすことをビットストリームコンフォーマンスとする。
（Ｂ３−１）参照ピクチャPicが、ViewIdx = refViewIdx[xP][yP]であり、PicOrderCnt(Pic）が、PicOrderCnt（arpRefPic)であり、かつ、ＤＰＢに存在する。
（Ｂ３−２）参照ピクチャPicの参照マークは「参照使用」である。
画像復号装置３１は、上記をビットストリームコンフォーマンスとする符号化データを復号する。画像復号装置３１の復号対象とするビットストリームとして、ＡＲＰ参照ピクチャに関する制約を課すことによって、ＡＲＰ参照ピクチャが参照できないことにより復号処理が失敗することを防ぐことができる。
また、画像復号装置３１は、次のように構成しても良い。すなわち、画像復号装置３１は、上記ビットストリームコンフォーマンスに従って生成された、符号化ストリームを受信し、スライスレベルで符号化されたＡＲＰのオン／オフフラグをインター予測パラメータ復号部３０３において復号する。また、復号したＡＲＰのオン／オフフラグに応じて、残差予測部３０９２において残差予測処理を実行する。
〔第３の実施形態〕
以下、第３の実施形態について説明する。ＡＲＰ参照ピクチャarpRefPicが参照ピクチャリストRefPicListXのarpRefIdxLXの参照ピクチャRefPicListX[arpRefIdxLX]である場合において、参照ピクチャリストは、ピクチャによって異なる。第３の実施形態では、対象レイヤにおける参照ピクチャarpRefPicの参照ピクチャリストにおける位置が、スライス単位で変わるのを防ぐための構成について説明する。なお、arpRefIdxLX（X=0 or 1）は、ＡＲＰ参照ピクチャarpRefPicを特定するためのインデックスである。
ＡＲＰ参照ピクチャに用いられる参照ピクチャ（arpRefPicおよび対応curIvRefPic）は、対象ピクチャに含まれるスライス間において同じになるように、以下の（オプションＸ１）または（オプションＸ１´）のようなビットストリームコンフォーマンスを導入することが好ましい。
（オプションＸ１）
画像符号化装置１１は、符号化されるピクチャのＡＲＰフラグ（残差予測フラグ）が、“ＡＲＰ残差予測が可能である”ことを示す場合、以下の（Ｘ１−１）および（Ｘ１−２）を満たすことをビットストリームコンフォーマンスとする。
（Ｘ１−１） 符号化されるピクチャにおいて、Ｌ０の参照画像を用いてＡＲＰを行う場合にarpRefPicL0によって参照される参照ピクチャを、スライスタイプ（slice_type）が“Ｐ”である全スライスについて、同じものに統一する。
（Ｘ１−２） 符号化されるピクチャにおいて、Ｌ１の参照画像を用いてＡＲＰを行う場合にarpRefPicL1によって参照される参照ピクチャを、スライスタイプ（slice_type）が“Ｐ”である全スライスについて、同じものに統一する。
画像復号装置３１は、上記をビットストリームコンフォーマンスとする符号化データを復号する。画像復号装置３１の復号対象とするビットストリームとして、ＡＲＰ参照ピクチャに関する制約を課すことによって、ＡＲＰ参照ピクチャがピクチャ内で変化することに伴うデータ転送上の処理量の増加（キャッシュが当たらない等）を防ぐことができる。
また、画像復号装置３１は、次のように構成してもよい。すなわち、画像復号装置３１は、上記ビットストリームコンフォーマンスに従って生成された、符号化ストリームを受信し、スライスレベルで符号化されたＡＲＰフラグをインター予測パラメータ復号部３０３において復号する。また、復号したＡＲＰフラグに応じて、残差予測部３０９２において残差予測処理を実行する。
（オプションＸ１´）
画像符号化装置１１は、符号化されるピクチャのＡＲＰフラグ（残差予測フラグ）が、“ＡＲＰ残差予測が可能である”ことを示す場合、以下の（Ｘ１−１´）および（Ｘ１−２´）を満たすことをビットストリームコンフォーマンスとする。
（Ｘ１−１´） 符号化されるピクチャにおいて、RefPicList0[arpRefIdxL0]によって参照される参照ピクチャを、スライスタイプ（slice_type）が“Ｐ”である全スライスについて、同じものに統一する。
（Ｘ１−２´） 符号化されるピクチャにおいて、RefPicList1[arpRefIdxL1]によって参照される参照ピクチャを、スライスタイプ（slice_type）が“Ｂ”である全スライスについて、同じものに統一する。
画像復号装置３１は、上記をビットストリームコンフォーマンスとする符号化データを復号する。画像復号装置３１の復号対象とするビットストリームとして、ＡＲＰ参照ピクチャに関する制約を課すことによって、ＡＲＰ参照ピクチャがピクチャ内で変化することに伴うデータ転送上の処理量の増加（キャッシュが当たらない等）を防ぐことができる。
また、画像復号装置３１は、次のように構成しても良い。すなわち、画像復号装置３１は、上記ビットストリームコンフォーマンスに従って生成された、符号化ストリームを受信し、スライスレベルで符号化されたＡＲＰフラグをインター予測パラメータ復号部３０３において復号する。また、復号したＡＲＰフラグに応じて、残差予測部３０９２において残差予測処理を実行する。
なお、ＡＲＰ参照ピクチャarpRefPicが参照ピクチャリストRefPicListXの先頭の要素として導出される場合には、上記のビットストリームコンフォーマンスにおいてarpRefIdxL0=0、arpRefIdxL1=0とすれば良い。
（オプションＸ２）
ＡＲＰ参照ピクチャarpRefPicを、ピクチャにおける、スライスタイプ（slice_type）が“Ｉ”でない第１番目のスライスのRefPicListX[0]に限定する。
例えば、残差予測時に、参照画像取得部３０９２２において、ピクチャにおける、スライスタイプ（slice_type）が“Ｉ”でない第１番目のスライスのRefPicListX[0]からＡＲＰ参照ピクチャarpRefPicを取得するようにすればよい。
なお、上記に限られず、対象ピクチャのＩスライスでないスライスのうち、所定番目のスライスを用いるように構成することもできる。例えば、対象ピクチャに含まれるスライスの間で、最後のスライスのRefPicListX[0]を用いることも可能である。また、上記判定では、参照ピクチャリストの０番目だけでなく、所定番目の位置（arpRefIdxLX）の参照ピクチャ（すなわち、RefPicListX[arpRefIdxLX]）を対象としてもよい。
〔第４の実施形態〕
以下、第４の実施形態について説明する。ＡＲＰでは対象ピクチャのＰＯＣである対象ピクチャ順序とは異なるＰＯＣである参照ピクチャ順序の参照ピクチャを利用して残差を予測する。この参照ピクチャ順序を、参照ピクチャリスト中の特定の参照ピクチャのＰＯＣ（例えば参照ピクチャリストRefPicListX[]の先頭の参照ピクチャRefPicListX[0]のＰＯＣ）として導出する場合、参照ピクチャ順序が、対象ピクチャと等しくなることがある。この場合には、ＡＲＰを利用することができない。第４の実施形態では、ＡＲＰにおいて、対象ピクチャと同じＰＯＣを有するレイヤ間ピクチャが、対象ピクチャと異なるＰＯＣを有する参照ピクチャとして、参照されることを防ぐために、ＡＲＰに使用するための参照ピクチャを特定する手法について説明する。
（オプションＹ１）：
オプションＹ１では、ＡＲＰに用いられる参照ピクチャに関するビットストリームコンフォーマンスについて説明する。ＡＲＰ参照ピクチャarpRefPicが参照ピクチャリストRefPicListXのarpRefIdxLXの参照ピクチャRefPicListX[arpRefIdxLX]である場合において、画像符号化装置１１は、以下の（Ｙ１−１）および（Ｙ１−２）を満たすことをビットストリームコンフォーマンスとする。
（Ｙ１−１） ＡＲＰが適用されるピクチャでは、DiffPicOrderCnt(RefPicList0[arpRefIdxL0], currPic)が０でなく、スライスタイプ（slice_type）がＩでない。
（Ｙ１−２） ＡＲＰが適用されるピクチャでは、DiffPicOrderCnt(RefPicList1[arpRefIdxL1], currPic)が０でなく、スライスタイプ（slice_type）がＢである。
なお、上記において「DiffPicOrderCnt(PicA、currPic)が０ではない」の式は、「PicOrderCnt(PicA) != PicOrderCntVal」に置き替え可能である（以下同様）。
画像復号装置３１は、上記ビットストリームコンフォーマンスに従って生成された、符号化ストリームを受信し、残差予測処理を実行する。
画像復号装置３１は、上記をビットストリームコンフォーマンスとする符号化データを復号する。画像復号装置３１の復号対象とするビットストリームとして、ＡＲＰ参照ピクチャに関する制約を課すことによって、ＡＲＰ参照ピクチャが参照できないことにより復号処理が失敗することを防ぐことができる。
なお、ＡＲＰ参照ピクチャarpRefPicが参照ピクチャリストRefPicListXの先頭の要素として導出される場合には、上記のビットストリームコンフォーマンスにおいてarpRefIdxL0=0、arpRefIdxL1=0とすれば良い。
（オプションＹ２）：
インター予測パラメータ復号部３０３およびエントロピー復号部３０１のいずれかが、参照画像判定部３０９５を備える構成であってもよい。
そして、図１５に示すように、パース段階（ＣＵレベル）で、参照画像判定部３０９５がＡＲＰ参照ピクチャ利用フラグarpRefPicAvailableフラグを導出してもよい。また、図１５のＳＹＮ２１およびＳＹＮ２２に示すように、パース段階で、つまり、インター予測パラメータ復号部３０３およびエントロピー復号部３０１のいずれかにおいて、参照画像判定部３０９５が、ＡＲＰ参照ピクチャの利用可否（ＡＲＰ参照ピクチャ利用フラグarpRefPicAvailable）に応じて残差予測フラグ（ＡＲＰフラグ）iv_res_pred_weight_idxを復号してもよい。すなわち、パース段階のパラメータ復号において、インタービュー残差予測が利用可能なレイヤであって（iv_res_pred_flag[nuh_layer_id]が０でない）、かつＡＲＰ参照ピクチャarpRefPicが利用可能である（arpRefPicAvailableが０でない）場合、iv_res_pred_weight_idxを復号してもよい。
なお、参照画像判定部３０９５は、パース段階では、arpRefPicAvailableを、以下の式（Ｙ２−１）に従って導出する。
arpRefPicAvailable = !(DiffPicOrderCnt(RefPicList0[arpRefIdxL0], currPic) == 0)
&& !(DiffPicOrderCnt(RefPicList1[arpRefIdxL1] , currPic) == 0) && slice_type == B)・・・ （Ｙ２−１）
式（Ｙ２−１）では、以下の（Ｙ２．１）および（Ｙ２．２）を満たす場合、arpRefPicAvailableに対して真（１）が設定される。
（Ｙ２．１） Ｌ０参照ピクチャリストのインデックスarpRefIdxL0の参照ピクチャのＰＯＣと、対象ピクチャcurrPicのＰＯＣ（PicOrderCntVal）との差分が０でない。
（Ｙ２．２） Ｌ１参照ピクチャリストのインデックスarpRefIdxL1の参照ピクチャのＰＯＣと、対象ピクチャcurrPicのＰＯＣ（PicOrderCntVal）との差分が０でなく、かつ、スライスタイプ（slice_type）がＢである。
すなわち、L0リストの参照ピクチャarpRefPicL0（上記式ではRefPicList0[arpRefIdxL0]）のＰＯＣと、L1リストの参照ピクチャarpRefPicL1（上記式ではRefPicList1[arpRefIdxL1]）のＰＯＣの何れかが、対象ピクチャcurrPicのＰＯＣと等しくなければ上記式（Ｙ４−１）は真となる。スライスタイプslice_typeが双方向予測可能を示すBの場合のみ、L1リストが用いられるため、上記式では、slice_type == Bの場合のみ、L1リストに関する条件が可否に利用されるようにしている。（Ｙ２−１）は、変形すれば、（Ｙ２−１´）とも記載できる。
arpRefPicAvailable = !( PicOrderCnt (RefPicListL0[arpRefPicL0]) == PicOrderCntVal) || !( PicOrderCnt (RefPicListL1[arpRefPicL1]) == PicOrderCntVal) && slice_type == B) ・・・ （Ｙ２−１´）
ここで、PicOrderCnt（Pic）はPicのＰＯＣを導出する関数である。
なお、ＡＲＰ参照ピクチャarpRefPicが参照ピクチャリストRefPicListXの先頭の要素として導出される場合には、上記の式（Ｙ２−１）においてarpRefIdxL0=0、arpRefIdxL1=0とした以下の式（Ｙ２−１´´）を用いてarpRefPicAvailableを導出すれば良い。
arpRefPicAvailable = !( PicOrderCnt (RefPicListL0]) == PicOrderCntVal) || !( PicOrderCnt (RefPicListL1[0]) == PicOrderCntVal) && slice_type == B) ・・・ （Ｙ２−１´´）
オプションＹ２の参照画像判定部３０９５およびエントロピー復号部３０１（インター予測パラメータ復号部３０３）によれば、ＡＲＰ参照ピクチャarpRefPicが対象ピクチャcurrPicのＰＯＣと等しいかに応じて、残差予測フラグ（ＡＲＰフラグ）iv_res_pred_weight_idxを復号する。ＡＲＰを行うことができない場合、つまり、ＡＲＰ参照ピクチャarpRefPicが対象ピクチャcurrPicのＰＯＣと等しい場合に無駄なフラグとなるiv_res_pred_weight_idxを復号しないため、符号量低減の効果を奏する。
（オプションＹ３）
また、オプション３では、インター予測画像生成部３０９において、動き補償段階における判定を行う。以下では、参照ピクチャリストのインデックスarpRefIdxLXのピクチャ（RefPicListX[arpRefIdxLX]）をＡＲＰ参照ピクチャarpRefPicと称する。
まず、インター予測画像生成部３０９において、参照画像判定部３０９５は、参照ピクチャarpRefPicについて、arpRefPicのピクチャ順序(POC (arpRefPic))が、対象ピクチャcurrPicのピクチャ順序PicOrderCntValと等しいか否かに応じて参照レイヤ参照ピクチャ利用フラグ（refIvRefPicAvailable2）を設定する。具体的には、DiffPicOrderCnt(arpRefPic, currPic)が０でなければ、refIvRefPicAvailable2を１に設定する一方で、それ以外の場合は、refIvRefPicAvailable2を０に設定する。
参照画像判定部３０９５は、参照ピクチャarpRefPicについて、arpRefPicのピクチャ順序(PicOrderCnt (arpRefPic))が、対象ピクチャcurrPicのピクチャ順序PicOrderCntValと等しいか否かに応じて参照レイヤ参照ピクチャ利用フラグ（refIvRefPicAvailable2）を設定する。具体的には、DiffPicOrderCnt(arpRefPic, currPic)が０でなければ、refIvRefPicAvailable2を非０に設定する一方で、それ以外の場合は、refIvRefPicAvailable2を０に設定する。
refIvRefPicAvailable2＝!DiffPicOrderCnt(arpRefPic, currPic) （Ｙ３−１）
ここで、式（Ｙ３−１）は、以下の式（Ｙ３−１´）と表現することも可能である。
refIvRefPicAvailable2＝PicOrderCnt(arpRefPic) != PicOrderCntVal （Ｙ３−１´）
なお、参照ピクチャarpRefPicが、参照ピクチャリストRefPicListX[]の参照インデックスarpRefIdxLXの要素RefPicListX[arpRefIdxLX]から導出される場合には、以下の式（Ｙ３−２）で導出する。
refIvRefPicAvailable2＝!DiffPicOrderCnt(RefPicListX[arpRefIdxLX], currPic) （Ｙ３―２）
ここでは、LX(X=0, 1)リストから導出される動き補償画像に残差予測を実施する場合に、そのリストLXの参照ピクチャインデックスであるarpRefIdxLXが０以上であるか（LXリストに有効な参照ピクチャarpRefPicが存在するかを判定している。式（Ｙ３−２）は、以下の式（Ｙ３−２´）と表現することも可能である。
refIvRefPicAvailable2＝PicOrderCnt(RefPicListX[arpRefIdxLX]) != PicOrderCntVal
（Ｙ３−２´）
残差予測実施フラグ導出部３０９２１は、導出したrefIvRefPicAvailable2が非０である場合のみ、実施フラグresPredFlagが非０となるように、以下の式（Ｃ３−１）に従ってresPredFlagを導出する。
resPredFlag = (iv_res_pred_weight_idx != 0) && arpRefPicAvailable2 ・・・ 式（Ｃ３−１）
なお、残差予測を、動き予測の場合に限定する場合には、式（Ｙ３−１）の変形例である以下の式（Ｃ３−２）を用いてresPredFlagを導出しても良い（以降の実施形態も同様）
resPredFlag = (iv_res_pred_weight_idx != 0) &&
(PicOrderCnt(RefPicListX[refIdxLX]) != PicOrderCntVal) && arpRefPicAvailable2
・・・（Ｃ３−２）
残差予測実施フラグ導出部３０９２１は、実施形態１で導出したrefIvRefPicAvailableを併用して、実施フラグresPredFlagを導出しても良い。具体的には、実施形態１の式（Ｒ−１）と、式（Ｙ３−１）をあわせて以下の式を用いても良い。
resPredFlag = ( iv_res_pred_weight_idx != 0 ) && refIvRefPicAvailable && refIvRefPicAvailable2 ・・・（Ｃ３−３）
なお、残差予測を、動き予測の場合に限定する場合には、式（Ｙ３−３）の変形例である以下の式（Ｃ３−４）を用いてresPredFlagを導出しても良い（以降の実施形態も同様）
resPredFlag = (iv_res_pred_weight_idx != 0) &&
(PicOrderCnt(RefPicListX[refIdxLX]) != PicOrderCntVal) && arpRefPicAvailable1 && arpRefPicAvailable2 ・・・（Ｃ３−４）
オプションＹ３の参照画像判定部３０９５および残差予測実施フラグ導出部３０９２１（インター予測画像生成部３０９）によれば、ＡＲＰ参照ピクチャarpRefPicが対象ピクチャcurrPicのＰＯＣと等しいかに応じて、動き補償画像に残差予測を行うかどうか（resPredFlag）を決定する。ＡＲＰを行うことができない場合、つまり、ＡＲＰ参照ピクチャarpRefPicが対象ピクチャcurrPicのＰＯＣと等しい場合にＡＲＰの動作を行わないことによって、無効な動作を避ける効果を奏する。
（オプションＹ４）
オプションＹ４では、インター予測パラメータ復号部３０３およびエントロピー復号部３０１のいずれかが、参照画像判定部３０９５を備える構成とする。
また、オプションＹ４では、インター予測パラメータ復号部３０３およびエントロピー復号部３０１におけるパース段階での判定とインター予測画像生成部３０９における動き補償段階における判定を併用する。
パース段階では、インター予測パラメータ復号部３０３およびエントロピー復号部３０１のいずれかにおいて、参照画像判定部３０９５は、上述の式（Ｙ２−１）およびその変形例に従って、図１５に示したarpRefPicAvailableを導出してもよい。
また、インター予測パラメータ復号部３０３およびエントロピー復号部３０１では、ＡＲＰ参照ピクチャ利用フラグarpRefPicAvailableフラグに応じて、残差予測フラグ（ＡＲＰフラグ）iv_res_pred_weight_idxを復号してもよい。すなわち図１６に示すように、arpRefPicAvailableフラグが真の場合のみiv_res_pred_weight_idxを復号してもよい。
一方、動き補償段階では、以下のとおり判定を行うよう参照画像判定部３０９５を変形する。
参照画像判定部３０９５は、上述の式（Ｙ３−１）およびその変形例に従って、refIvRefPicAvailable2を導出する。
また、残差予測実施フラグ導出部３０９２１は、実施形態３において説明した式（Ｙ３−１）およびその変形例に従ってresPredFlagを導出する。
オプションＹ４の参照画像判定部３０９５およびエントロピー復号部３０１（インター予測パラメータ復号部３０３）によれば、オプションＹ２と同様、ＡＲＰ参照ピクチャarpRefPicが対象ピクチャcurrPicのＰＯＣと等しい場合に無駄なフラグとなるiv_res_pred_weight_idxを復号しないため、符号量低減の効果を奏する。
オプションＹ４の参照画像判定部３０９５および残差予測実施フラグ導出部３０９２１（インター予測画像生成部３０９）によれば、オプションＹ３と同様、ＡＲＰを行うことができない場合、つまり、ＡＲＰ参照ピクチャarpRefPicが対象ピクチャcurrPicのＰＯＣと等しい場合にＡＲＰの動作を行わないことによって、無効な動作を避ける効果を奏する。
（オプションＹ５）
オプション５では、ＡＲＰ参照ピクチャarpRefPicが参照ピクチャリストRefPicListXのarpRefIdxLXの参照ピクチャRefPicListX[arpRefIdxLX]である場合において、arpRefPicがレイヤ間ピクチャとはならないよう、つまり、可能であれば、対象ピクチャのＰＯＣであるPictureOrderCntValと異なるＰＯＣを有するarpRefPicを設定するように、arpRefIdxLXを選択する。
本実施例の参照画像判定部３０９５は、参照ピクチャarpRefPicの導出も行う。
参照画像判定部３０９５は、以下の疑似コードに従い、X = 0 or 1について、インターレイヤピクチャではないという条件を満たす参照ピクチャリストRefPicListX[]の要素を検索し、ＡＲＰ参照ピクチャのインデックスarpRefIdxLXと、arpRefPicAvailableとを導出してもよい。
なお、以下の疑似コードにおいて、X = 0 or 1である。また、以下の疑似コードの実行前の初期化処理として、arpRefIdxL0およびarpRefIdxL1は、参照ピクチャインデックスとしては、無効な値である負値（ここでは−１）に設定するとともに、arpRefPicAvailableは偽を示す０に設定する。
================================================================================for(i = 0; i <= num_ref_idx_lX_active_minus1; i++) {
if(DiffPicOrderCnt(RefPicListX[i], currPic)) {
arpRefIdxLX = i
arpRefPicAvailable = 1
}
}
================================================================================
上記疑似コードでは、参照ピクチャリストRefPicListX[]中の0からnum_ref_idx_lX_active_minus1までのインデックスiの参照ピクチャRefPicListX[i]を順に走査し、参照ピクチャRefPicListX[i]のＰＯＣと、対象ピクチャcurrPicのＰＯＣ（PicOrderCntVal）との差が０ではない条件を満たす参照ピクチャarpRefPicLXを検索している。上記疑似コードによって得られたarpRefIdxLXに関し、参照画像判定部３０９５は、RefPIcListX[arpRefIdxLX]を、ＡＲＰ参照ピクチャarpRefPicとして採用してもよい。
なお、上記処理は、以下の擬似コードを用いても処理できる。
arpRefIdxL0 = -1
for(i = 0; i <= num_ref_idx_l0_active_minus1 && arpRefIdxL0 < 0; i++)
if (PicOrderCnt(RefPicList0[i]) != PicOrderCntVal)
arpRefIdxL0 = i
arpRefIdxL1 = -1
if (slice_type != B)
for(i = 0; i <= num_ref_idx_l1_active_minus1 && arpRefIdxL1 < 0; i++)
if (PicOrderCnt(RefPicList1[i]) != PicOrderCntVal)
arpRefIdxL1 = i
上記、擬似コードにおいては、X=0、X=1の各々の参照ピクチャリストLXについて、参照ピクチャインデックスarpRefIdxLXとして０未満の値（ここでは-1）で初期化した上で、参照ピクチャリストRefPicListX[]中の0からnum_ref_idx_lX_active_minus1までのインデックスiの参照ピクチャRefPicListX[i]を順に走査し、参照ピクチャRefPicListX[i]のＰＯＣと、対象ピクチャのＰＯＣ(PicOrderCntVal)が異なる条件を満たす参照ピクチャ（レイヤ間ピクチャ以外の参照ピクチャ）を検索し、条件を満たす参照ピクチャの参照ピクチャインデックスiをarpRefIdxLXとして保持する。初期状態では、参照ピクチャインデックスarpRefIdxLXとして、負の値（ここでは-1）を与え、上記検索を行う。条件を満たす参照ピクチャが得られた場合でarpRefIdxLXは0以上の値が設定される。なお、上記検索は、条件を満たす参照ピクチャが得られた時点、つまり、arpRefIdxLXが0以上になった時点で終了する。
オプションＹ５も、オプションＹ２、オプションＹ４と同様、インター予測パラメータ復号部３０３およびエントロピー復号部３０１におけるパース段階での判定を行っても良い。この場合、インター予測パラメータ復号部３０３およびエントロピー復号部３０１のいずれかが、参照画像判定部３０９５を備える構成とする。
パース段階では、インター予測パラメータ復号部３０３およびエントロピー復号部３０１のいずれかにおいて、参照画像判定部３０９５は、既に説明したように上述の式（Ｙ２−１）および変形例（Ｙ２−１´）に従って、図１５に示したarpRefPicAvailableを導出することも可能だが、以下の式（Ｙ５−１）において導出することも可能である。
arpRefPicAvailable = arpRefIdxL0 >= 0 || arpRefIdxL1 >= 0
ここでは、参照画像判定部３０９５は、パース段階においては、L0の参照ピクチャインデックスであるarpRefIdxL0が有効である値（０以上）もしくはL1の参照ピクチャインデックスであるarpRefIdxL1が有効である値（０以上）の場合に、arpRefPicAvailableに真（０以外の値）を設定する。すなわち、L0の参照ピクチャリストもしくはL1の参照ピクチャリストのいずれかでレイヤ間ピクチャ以外のピクチャが見つかった場合には、arpRefPicAvailableに真（非０）を設定する。
また、オプションＹ５も、オプションＹ３、オプションＹ４と同様、インター予測画像生成部３０９における動き補償段階における判定を行うことも可能である。
動き補償段階では、インター予測画像生成部３０９において、参照画像判定部３０９５は、既に説明したように上述の式（Ｙ３−１）およびその変形例に従って、refIvRefPicAvailable2を導出することも可能だが、以下の式（Ｙ５−２）において導出することも可能である。
refIvRefPicAvailable2 = arpRefIdxLX >= 0 式（Ｙ５−２）
ここでは、動き補償段階において、LX(X=0, 1)リストから導出される動き補償画像に残差予測を実施する場合に、そのリストLXの参照ピクチャインデックスであるarpRefIdxLXが０以上であるか（LXリストに有効な参照ピクチャarpRefPicが存在するか）により判定を行っている。
また、残差予測実施フラグ導出部３０９２１は、オプションＹ３において説明した式（Ｃ３−１）およびその変形例に従ってresPredFlagを導出する。
オプションＹ５の参照画像判定部３０９５によれば、対象ピクチャのＰＯＣであるPictureOrderCntValと異なるＰＯＣを有するarpRefPicを設定するように、arpRefIdxLXを選択するため、arpRefPicのＰＯＣが対象ピクチャのＰＯＣであるPictureOrderCntValと等しいためにＡＲＰが動作しないという課題を解消する効果を奏する。
さらに、パース段階の判定を行う場合には、オプションＹ５の参照画像判定部３０９５およびエントロピー復号部３０１（インター予測パラメータ復号部３０３）によれば、オプションＹ２と同様、ＡＲＰ参照ピクチャarpRefPicが対象ピクチャcurrPicのＰＯＣと等しい場合に無駄なフラグとなるiv_res_pred_weight_idxを復号しないため、符号量低減の効果を奏する。
さらに、動き補償段階の判定を行う場合には、オプションＹ５の参照画像判定部３０９５および残差予測実施フラグ導出部３０９２１（インター予測画像生成部３０９）によれば、オプションＹ３と同様、ＡＲＰを行うことができない場合、つまり、ＡＲＰ参照ピクチャarpRefPicが対象ピクチャcurrPicのＰＯＣと等しい場合にＡＲＰの動作を行わないことによって、無効な動作を避ける効果を奏する。
（オプションＹ５の変形例）
以下、オプションＹ５の変形例を説明する。オプションＹ５の変形例も、対象ピクチャのＰＯＣであるPictureOrderCntValと異なるＰＯＣを有するarpRefPicを設定するように参照ピクチャを定める。
参照画像判定部３０９５は、ＡＲＰ参照ピクチャarpRecPicを、参照ピクチャリストRefPicListXに含まれる参照ピクチャから、以下に示す疑似コードに従って導出してもよい。なお、以下の疑似コードの実行前に初期化処理として、ＰＯＣの差分の暫定的な最小値を示すminiDiffPOCを、十分に大きい所定の値（ここでは、例えば２16）に設定するとともに、ＡＲＰ参照ピクチャの利用可否を示すフラグであるarpRefPicAvailableを、０（偽）に設定する。
================================================================================for (rIdx = 0; rIdx <= num_ref_idx_lX_active_minus1; rIdx++) {
if (isNearerPOC(rIdx, minDiffPOC)) {
minDiffPOC = abs(DiffPicOrderCnt(RefPicListX[rIdx], currPic)
rIdxSel = rIdx
arpRefPicAvailable = 1 }
}
================================================================================
上記疑似コードでは、forループの処理が参照ピクチャリストに含まれる各参照ピクチャに対して実行される。
ここで、isNearerPOC(rIdx, minDiffPOC)は、参照ピクチャリストのrIdx番目の参照ピクチャが、対象ピクチャのＲＰＳに含まれ、ViewIdx = RefViewIdx[xP][yP]であり、ＰＯＣが以下の条件式Ｃ（１−１）を満たすような参照ピクチャが存在するか否かを判定する関数である。
（参照ピクチャがRefPicListX[rIdx]に格納されている参照ピクチャと同じPOCを有する） && minDiffPOC > abs(DiffPicOrderCnt(RefPicListX[rIdx], currPic))・・・（Ｃ１−１）
条件式（Ｃ１−１）において、DiffPicOrderCnt(PicA, PicB)は、ピクチャPicAのＰＯＣからピクチャPicBのＰＯＣを差し引いた値を求める関数である。（以下の構成においても同様）。対象ピクチャcurrPicのＰＯＣはPicOrderCntValであるから、DiffPicOrderCnt(picA, currPic)をPOC(picA) - PicOrderCntValとしても良い。条件式Ｃ（１−１）では、RefPicListX[rIdx]に格納されている参照ピクチャと同じPOCを有する参照ピクチャが存在し、かつ、rIdx番目の参照ピクチャのＰＯＣと、対象ピクチャcurrPicのＰＯＣ（PicOrderCntVal）との差分の絶対値が、minDiffPOC未満である場合、“真”となる。
条件式（Ｃ１−１）が“真”である場合、minDiffPOCが、abs(DiffPicOrderCnt(RefPicListX[rIdx], currPic)によって更新され、rIdxが、暫定的なＡＲＰ参照ピクチャの候補となる（rIdxSel）。また、このとき、arpRefPicAvailableは、１に設定される。
このようにして、各参照ピクチャについて、forループが実行されることで、最も参照ピクチャのＰＯＣと近いＰＯＣを有する参照ピクチャが、ＡＲＰ参照ピクチャを示すインデックスとして（rIdxSel）導出される。
すなわち、参照画像判定部３０９５は、このようにして得られたrIdxSelに関し、ＡＲＰ参照ピクチャarpRefPiを、が参照ピクチャリストRefPicListX[]のインデックスrIdxSelの参照ピクチャRefPicListX[rIdxSel]として導出する。
オプションＹ５の変形例の参照画像判定部３０９５によれば、対象ピクチャのＰＯＣであるPictureOrderCntValと異なるＰＯＣを有するarpRefPicを設定するように、arpRefIdxLXを選択するため、arpRefPicのＰＯＣが対象ピクチャのＰＯＣであるPictureOrderCntValと等しいためにＡＲＰが動作しないという課題を解消する効果を奏する。
さらに、オプションＹ５同様にパース段階の判定を行っても良い。この場合には、オプションＹ５の参照画像判定部３０９５およびエントロピー復号部３０１（インター予測パラメータ復号部３０３）によれば、オプションＹ２と同様、ＡＲＰ参照ピクチャarpRefPicが対象ピクチャcurrPicのＰＯＣと等しい場合に無駄なフラグとなるiv_res_pred_weight_idxを復号しないため、符号量低減の効果を奏する。
さらに、オプションＹ５同様に動き補償段階の判定を行っても良い。この場合には、オプションＹ５の参照画像判定部３０９５および残差予測実施フラグ導出部３０９２１（インター予測画像生成部３０９）によれば、オプションＹ３と同様、ＡＲＰを行うことができない場合、つまり、ＡＲＰ参照ピクチャarpRefPicが対象ピクチャcurrPicのＰＯＣと等しい場合にＡＲＰの動作を行わないことによって、無効な動作を避ける効果を奏する。
なお、上述した実施形態における画像符号化装置１１、画像復号装置３１の各部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１１、画像復号装置３１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像符号化装置１１、画像復号装置３１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
〔まとめ〕
本発明の態様１に係る画像復号装置は、動き補償画像に対象ピクチャとは異なるレイヤの参照レイヤを用いた残差予測を適用することで対象ピクチャの予測画像を生成する画像復号装置において、上記対象ピクチャのピクチャ順序と異なるピクチャ順序を有する上記参照レイヤの参照ピクチャが利用可能であるか否かを判定する参照ピクチャ判定部（参照画像判定部３０９５）と、少なくとも上記判定結果に応じて、上記参照レイヤの参照ピクチャと、対象ピクチャのピクチャ順序と同一のピクチャ順序を有する参照レイヤの復号済ピクチャとに基づく上記残差予測を、上記動き補償画像に適用する残差予測適用部（残差合成部３０９２３）と、を備える。
対象ピクチャとは復号の対象となるピクチャである。参照レイヤとは、対象ピクチャが属するレイヤである対象レイヤと異なるレイヤのことである。参照レイヤにおける残差予測を行う場合、参照レイヤに属する参照ピクチャを参照する。
上記残差予測は、参照レイヤにおける残差を、対象レイヤにおける残差として推定するという技術である。上記残差予測は、対象ピクチャのピクチャ順序と異なるピクチャ順序を有する参照レイヤの参照ピクチャと、対象ピクチャのピクチャ順序と同一のピクチャ順序を有する参照レイヤの復号済ピクチャとに基づいて行われる。
上記構成によれば、上記参照レイヤの参照ピクチャが利用可能であるか否かに応じて、上記動き補償画像に上記残差予測を適用することができる。
よって、対象ピクチャについての残差予測時に、上記参照レイヤの復号ピクチャが利用できないという事態を回避することができるという効果を奏する。
本発明の態様２に係る画像復号装置では、上記態様１において、上記参照ピクチャ判定部は、上記参照レイヤの復号済ピクチャの復号時に参照されるピクチャを示す参照ピクチャセットにおいて、上記参照レイヤの参照ピクチャが存在するか否かに応じて、上記判定を行ってもよい。
参照ピクチャセットは、ピクチャ単位に導出される。よって、対象ピクチャに含まれるスライスの復号において共通して用いられる。
上記構成のように、参照ピクチャセットに基づいて上記参照レイヤの上記参照ピクチャの存否を判定することで、スライス間で共通の基準に基づいて上記参照レイヤの上記参照ピクチャの存否を判定することができる。
本発明の態様３に係る画像復号装置では、上記態様１において、上記参照ピクチャ判定部は、上記対象ピクチャの所定番目のＩスライスでないスライスの参照ピクチャリストの所定の位置において、上記参照レイヤの参照ピクチャが存在するか否かに応じて、上記判定を行ってもよい。
上記構成によれば、対象ピクチャに含まれるスライスの間において、上記対象ピクチャの所定番目のＩスライスでないスライスの参照ピクチャリストの所定の位置を判定に用いるため、判定処理を共通化することができる。
本発明の態様４に係る画像復号装置では、上記態様１において、上記参照ピクチャ判定部は、上記参照レイヤの参照ピクチャがＤＰＢ（Decoded Picture Buffer）において格納されているか否かに応じて、上記判定を行ってもよい。
このように、復号済みのピクチャが保持されるＤＰＢに上記参照レイヤの参照ピクチャが定義されているか否かに応じて判定を行うことも可能である。
本発明の態様５に係る画像復号装置では、上記態様４において、上記参照ピクチャ判定部は、上記参照レイヤの参照ピクチャのＤＰＢ（Decoded Picture Buffer）における参照マークが、「参照使用」であるか否かに応じて、上記判定を行ってもよい。
デコーダによっては、ＨＲＤ（Hypothetical Reference Decoder）で規定されるようなＤＰＢ処理をサポートしていないものもあるため、ＤＰＢの状態は不正確な場合がある。よって、上記参照レイヤの参照ピクチャのＤＰＢ（Decoded Picture Buffer）における参照マークを確認することにより、上記参照レイヤの参照ピクチャが利用可能か否かの上記判定をより正確に行うことができる。
すなわち、参照マークが、「参照使用」である場合、上記参照レイヤの参照ピクチャが存在すると判定すればよい。
本発明の態様６に係る画像復号装置は、動き補償画像に対象ピクチャとは異なるレイヤの参照レイヤを用いた残差予測を適用することで対象ピクチャの予測画像を生成する画像復号装置において、上記対象ピクチャの所定番目のＩスライスでないスライスの参照ピクチャリストの所定の位置から、上記対象ピクチャが属する対象レイヤに属しており、上記対象ピクチャのピクチャ順序と異なるピクチャ順序を有する参照ピクチャを取得する参照ピクチャ取得部（参照画像取得部３０９２２）と、上記取得した参照ピクチャのピクチャ順序と同一のピクチャ順序を有する上記参照レイヤの参照ピクチャと、上記対象ピクチャのピクチャ順序と同一のピクチャ順序を有する参照レイヤの復号済ピクチャとに基づく上記残差予測を、上記動き補償画像に適用する残差予測適用部（残差合成部３０９２３）と、を備える。
上記構成によれば、上記対象ピクチャが属する対象レイヤに属しており、上記対象ピクチャのピクチャ順序と異なるピクチャ順序を有する参照ピクチャ（いわゆるＡＲＰ参照ピクチャ）を、上記対象ピクチャの所定番目のＩスライスでないスライスの参照ピクチャリストの所定の位置から取得する。
上記対象ピクチャの所定番目のＩスライスでないスライスは、対象ピクチャの第１番目のＩスライスでないスライスであることが好ましい。また、参照ピクチャリストの所定の位置は、参照ピクチャリストの第０番目の位置（先頭）であってもよい。対象ピクチャに含まれるスライス間で共通であれば、スライスの番号、参照ピクチャリストの位置は、任意である。
上記構成によれば、対象ピクチャに含まれるスライス間で、ＡＲＰ参照ピクチャの判定を共通化することができる。
本発明の態様７に係る画像復号装置は、動き補償画像に対象ピクチャとは異なるレイヤの参照レイヤを用いた残差予測を適用することで対象ピクチャの予測画像を生成する画像復号装置において、上記残差予測を実行することを指示する残差予測実行フラグを復号するフラグ復号部（インター予測パラメータ復号部３０３）と、上記対象ピクチャのピクチャ順序と異なるピクチャ順序を有する上記参照レイヤの参照ピクチャが利用可能となっているビットストリームを受信する受信部と、上記残差予測実行フラグに従って、上記残差予測を実行する残差予測実行部（残差予測部３０９２）と、を備える。
本発明の態様８に係る画像符号化装置は、動き補償画像に対象ピクチャとは異なるレイヤの参照レイヤを用いた残差予測を適用することで対象ピクチャの予測画像を生成する画像符号化装置において、上記残差予測を実行することを指示する残差予測実行フラグを符号化するフラグ符号化部（予測パラメータ符号化部１１１）と、上記対象ピクチャのピクチャ順序と異なるピクチャ順序を有する上記参照レイヤの参照ピクチャが利用可能となっているビットストリームを生成するビットストリーム生成部（予測パラメータ符号化部１１１）と、上記生成したビットストリームを画像復号装置に対して送信するビットストリーム送信部（エントロピー符号化部１０４）と、を備える。
上記態様７に係る画像復号装置または上記態様８に係る画像符号化装置は、上記態様１に係る画像復号装置に対応する特徴点を含む。よって、上記態様７に係る画像復号装置または上記態様８に係る画像符号化装置によっても、上記態様１に係る画像復号装置と同様の効果を得ることができる。
本発明の態様９に係る画像復号装置は、動き補償画像に対象ピクチャとは異なるレイヤの参照レイヤを用いた残差予測を適用することで対象ピクチャの予測画像を生成する画像復号装置において、参照ピクチャリストに含まれる参照ピクチャのうち、上記対象ピクチャが属する対象レイヤに属しており、上記対象ピクチャのピクチャ順序と異なるピクチャ順序を有する参照ピクチャを選択する参照ピクチャ選択部と、上記選択された参照ピクチャのピクチャ順序と同一のピクチャ順序を有する上記参照レイヤの参照ピクチャと、上記対象ピクチャのピクチャ順序と同一のピクチャ順序を有する参照レイヤの復号済ピクチャとに基づく上記残差予測を、上記動き補償画像に適用する残差予測適用部と、を備えることを特徴とする。
上記構成によれば、arpRefpicのＰＯＣが現ピクチャのＰＯＣと異なることを保障することができる。すなわち、選択された参照ピクチャのピクチャ順序と同一のピクチャ順序を有する上記参照レイヤの参照ピクチャのピクチャ順序と、上記対象ピクチャのピクチャ順序と同一のピクチャ順序を有する参照レイヤの復号済ピクチャのピクチャ順序とが異なることを保障することができる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
１…画像伝送システム
１１…画像符号化装置
１０１…予測画像生成部
１０２…減算部
１０３…ＤＣＴ・量子化部
１０４…エントロピー符号化部
１０５…逆量子化・逆ＤＣＴ部
１０６…加算部
１０９…復号ピクチャ管理部
１１０…符号化パラメータ決定部
１１１…予測パラメータ符号化部（フラグ符号化部、ビットストリーム生成部）
１１２…インター予測パラメータ符号化部
１１２１…マージ予測パラメータ導出部
１１２２…AMVP予測パラメータ導出部
１１２３…減算部
１１２６…予測パラメータ統合部
１１３…イントラ予測パラメータ符号化部
２１…ネットワーク
３１…画像復号装置
３０１…エントロピー復号部
３０２…予測パラメータ復号部
３０３…インター予測パラメータ復号部（フラグ復号部）
３０３１…インター予測パラメータ復号制御部
３０３２…AMVP予測パラメータ導出部
３０３５…加算部
３０４…イントラ予測パラメータ復号部
３０６…復号ピクチャ管理部
３０６１…ＤＰＢ
３０６２…ＲＰＳ導出部
３０６３…参照ピクチャ制御部
３０６４…参照レイヤピクチャ制御部
３０６５…ＲＰＬ導出部
３０６６…出力制御部
３０６７…予測パラメータメモリ
３０８…予測画像生成部
３０９…インター予測画像生成部
３０９１…変位補償部
３０９２…残差予測部（残差予測実行部）
３０９２１…残差予測実施フラグ導出部
３０９２２…参照画像取得部（参照ピクチャ取得部）
３０９２３…残差合成部（残差予測適用部）
３０９３…照度補償部
３０９４…重み予測部
３０９５…参照画像判定部（参照ピクチャ判定部）
３１０…イントラ予測画像生成部
３１１…逆量子化・逆ＤＣＴ部
３１２…加算部
３１３…残差格納部
４１…画像表示装置

Claims (3)

  1. 参照レイヤにおける参照ピクチャが対象レイヤにおける対象ピクチャの残差予測に利用可能か否かを示す参照ピクチャ利用フラグを導出する参照ピクチャ判定部と、
    上記参照ピクチャが利用可能であることを上記参照ピクチャ利用フラグが示す場合には、残差予測を行い、上記参照ピクチャが利用不可能であることを上記参照ピクチャ利用フラグが示す場合には、残差予測を行わない残差予測適用部とを備え
    上記参照ピクチャ判定部は、上記参照ピクチャが上記対象ピクチャの上記対象レイヤとは別のレイヤである上記参照レイヤ上のピクチャの参照ピクチャセットに存在するか否かに応じて、上記参照ピクチャ利用フラグを導出することを特徴とする画像復号装置。
  2. 参照レイヤにおける参照ピクチャが対象レイヤにおける対象ピクチャの残差予測に利用可能か否かを示す参照ピクチャ利用フラグを導出する参照ピクチャ判定ステップと、
    上記参照ピクチャが利用可能であることを上記参照ピクチャ利用フラグが示す場合には、残差予測を行い、上記参照ピクチャが利用不可能であることを上記参照ピクチャ利用フラグが示す場合には、残差予測を行わない残差予測適用ステップとを含み、
    上記参照ピクチャ判定ステップにおいて、上記参照ピクチャが上記対象ピクチャの上記対象レイヤとは別のレイヤである上記参照レイヤ上のピクチャの参照ピクチャセットに存在するか否かに応じて、上記参照ピクチャ利用フラグを導出することを特徴とする画像復号方法。
  3. 参照レイヤにおける参照ピクチャが対象レイヤにおける対象ピクチャの残差予測に利用可能か否かを示す参照ピクチャ利用フラグを導出する参照ピクチャ判定部と、
    上記参照ピクチャが利用可能であることを上記参照ピクチャ利用フラグが示す場合には、残差予測を行い、上記参照ピクチャが利用不可能であることを上記参照ピクチャ利用フラグが示す場合には、残差予測を行わない残差予測適用部とを備え、
    上記参照ピクチャ判定部が、上記参照ピクチャが上記対象ピクチャの上記対象レイヤとは別のレイヤである上記参照レイヤ上のピクチャの参照ピクチャセットに存在するか否かに応じて、上記参照ピクチャ利用フラグを導出する画像復号装置として、コンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2015542651A 2013-10-16 2014-10-16 画像復号装置、画像復号方法、および記録媒体 Expired - Fee Related JP6401707B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013215881 2013-10-16
JP2013215881 2013-10-16
PCT/JP2014/077530 WO2015056735A1 (ja) 2013-10-16 2014-10-16 画像復号装置

Publications (2)

Publication Number Publication Date
JPWO2015056735A1 JPWO2015056735A1 (ja) 2017-03-09
JP6401707B2 true JP6401707B2 (ja) 2018-10-10

Family

ID=52828176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015542651A Expired - Fee Related JP6401707B2 (ja) 2013-10-16 2014-10-16 画像復号装置、画像復号方法、および記録媒体

Country Status (2)

Country Link
JP (1) JP6401707B2 (ja)
WO (1) WO2015056735A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9420307B2 (en) * 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
JPWO2014104242A1 (ja) * 2012-12-28 2017-01-19 シャープ株式会社 画像復号装置、および画像符号化装置
US9615090B2 (en) * 2012-12-28 2017-04-04 Qualcomm Incorporated Parsing syntax elements in three-dimensional video coding
US9380305B2 (en) * 2013-04-05 2016-06-28 Qualcomm Incorporated Generalized residual prediction in high-level syntax only SHVC and signaling and management thereof

Also Published As

Publication number Publication date
JPWO2015056735A1 (ja) 2017-03-09
WO2015056735A1 (ja) 2015-04-23

Similar Documents

Publication Publication Date Title
US10200712B2 (en) Merge candidate derivation device, image decoding device, and image coding device
US10306235B2 (en) Image decoding apparatus, image coding apparatus, and prediction-vector deriving device
JP6469588B2 (ja) 残差予測装置、画像復号装置、画像符号化装置、残差予測方法、画像復号方法、および画像符号化方法
US9967592B2 (en) Block-based advanced residual prediction for 3D video coding
KR102060857B1 (ko) ３ｄ-ｈｅｖｃ 를 위한 단순화된 진보된 모션 예측
JP6397421B2 (ja) 画像復号装置及び画像符号化装置
KR101812381B1 (ko) Hevc 및 그의 확장안들에서의 모션 벡터 코딩 및 양-예측
US20150326866A1 (en) Image decoding device and data structure
US20160277758A1 (en) Image decoding device and image coding device
US20160191933A1 (en) Image decoding device and image coding device
JP6473078B2 (ja) 画像復号装置
WO2015056620A1 (ja) 画像復号装置、画像符号化装置
JP6118199B2 (ja) 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体。
WO2014103600A1 (ja) 符号化データ構造、および画像復号装置
JP6401707B2 (ja) 画像復号装置、画像復号方法、および記録媒体
JPWO2015141696A1 (ja) 画像復号装置、画像符号化装置および予測装置
JP2016066864A (ja) 画像復号装置、画像符号化装置およびマージモードパラメータ導出装置
JP2017212477A (ja) 画像復号装置、画像符号化装置、変位配列導出装置、変位ベクトル導出装置、デフォルト参照ビューインデックス導出装置及びデプスルックアップテーブル導出装置
JP2015015626A (ja) 画像復号装置および画像符号化装置
JP2014204327A (ja) 画像復号装置および画像符号化装置
JP2015080053A (ja) 画像復号装置、及び画像符号化装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170524

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180907

R150 Certificate of patent or registration of utility model

Ref document number: 6401707

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees