JPWO2014162954A1 - 画像復号装置、および画像符号化装置 - Google Patents

画像復号装置、および画像符号化装置 Download PDF

Info

Publication number
JPWO2014162954A1
JPWO2014162954A1 JP2015510030A JP2015510030A JPWO2014162954A1 JP WO2014162954 A1 JPWO2014162954 A1 JP WO2014162954A1 JP 2015510030 A JP2015510030 A JP 2015510030A JP 2015510030 A JP2015510030 A JP 2015510030A JP WO2014162954 A1 JPWO2014162954 A1 JP WO2014162954A1
Authority
JP
Japan
Prior art keywords
image
layer
base
decoding
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015510030A
Other languages
English (en)
Other versions
JP6352248B2 (ja
Inventor
山本　智幸
智幸 山本
知宏 猪飼
知宏 猪飼
健史 筑波
健史 筑波
将伸 八杉
将伸 八杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2014162954A1 publication Critical patent/JPWO2014162954A1/ja
Application granted granted Critical
Publication of JP6352248B2 publication Critical patent/JP6352248B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

階層動画像復号装置（１）は、対象レイヤのパラメータセットに基づいて、特定の対象レイヤ上のピクチャにおいて利用するレイヤ間参照画像リストおよびレイヤ間参照画像セットを導出するレイヤ間画参照画像リスト設定部（１５５）を備えている。

Description

本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、および画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置に関する。
通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。
動画像符号化方式としては、AVC（H.264/MPEG-4 Advanced Video Coding）や、その後継コーデックであるHEVC（High-Efficiency Video Coding）が知られている（非特許文献１）。
これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
イントラ予測においては、同一ピクチャ内の局所復号画像に基づいて、当該ピクチャにおける予測画像が順次生成される。
インター予測については、ピクチャ間の動き補償により予測画像が生成される。動き補償に関する情報（動き補償パラメータ）は、たいていの場合、符号量の削減のため直接符号化されない。そこで、インター予測では、対象ブロック周辺の復号状況等に基づく動き補償パラメータの推定が行われる。
また、近年、必要なデータレートに従って、画像を階層的に符号化する階層符号化技術が提案されている。代表的な階層符号化方式の一つとしてＳＨＶＣ（Scalable HEVC）が知られている（非特許文献２）。
ＳＨＶＣでは、空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティをサポートする。例えば空間スケーラビリティの場合、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとして符号化する。次に上位レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う。
レイヤ間予測としては、動き予測に関する情報を同時刻の下位レイヤの情報から予測するレイヤ間動き情報予測、あるいは同時刻の下位レイヤの復号画像から予測画像を生成するレイヤ間画像予測（レイヤ間テクスチャ予測）がある。
ＳＨＶＣでは、予測画像の生成に、インター予測、イントラ予測、レイヤ間画像予測のいずれかを利用できる。
ＳＨＶＣのレイヤ間画像予測では、復号対象のピクチャと同時刻の下位レイヤの復号画像を利用するため、下位レイヤの復号画像は参照のためにバッファに保持される。
JCTVC-L1003_v24「High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Consent)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013 (２０１３年２月２５日公開) JCTVC-L1007_v1 「SHVC Test Model 1 (SHM1)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013 (２０１３年２月１５日公開)
しかしながら、従来技術として挙げたＳＨＶＣでは、レイヤ間画像予測において利用可能な下位レイヤの復号画像が、復号対象ピクチャと同時刻のものに限定されている。そのため、レイヤ間画像予測、または、下位レイヤの復号画像を参照する予測画像生成処理において、復号対象ピクチャと表示時刻の異なる下位レイヤの復号画像を参照する手段が明確には記載されていないという課題があった。復号対象ピクチャと表示時刻の異なる下位レイヤの復号画像を参照して予測画像を生成することで、復号対象ピクチャと表示時刻の同じ下位レイヤの復号画像のみを参照して予測画像を生成する場合に較べて、入力画像に近い予測画像を生成できるが、従来技術では、表示時刻の異なる下位レイヤの復号画像は参照できない。
本発明は、上記問題に鑑みてされたものであり、その目的は、階層符号化方式において、復号対象のピクチャと表示時刻の異なる下位レイヤの復号画像を用いて予測画像を生成する仕組みを提供することにある。また、それにより、従来技術に較べてより入力画像に近い予測画像を生成することで、符号量の少ない符号化データを符号化／復号する画像符号化装置および画像復号装置を実現することにある。
上記課題を解決するために、本発明に係る画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを用いて、上位レイヤの復号画像を復元する画像復号装置であって、上位レイヤの符号化データからパラメータセットを復号する可変長復号手段と、下位レイヤの復号画像を、上記パラメータセットから導出した上位レイヤのピクチャ表示順と対応付けて記録するベース復号画像バッファと、外部の手段で復号された画像をベース復号シーケンスとして読み込んで上記ベース復号画像バッファに記録するベース制御手段と、上記ベース復号シーケンスに含まれるベース復号画像からベース参照画像を選択し、上記ベース参照画像を用いたレイヤ間予測により予測画像を生成するレイヤ間画像予測部を備えることを特徴としている。
上記課題を解決するために、本発明に係る画像符号化装置は、入力画像から上位レイヤの符号化データを生成する画像符号化装置であって、上位レイヤの符号化データに含めるパラメータセットを符号化する可変長符号化手段と、下位レイヤの復号画像を、上記パラメータセットから導出した上位レイヤのピクチャ表示順と対応付けて記録するベース復号画像バッファと、外部の手段で復号された画像をベース復号シーケンスとして読み込んで上記ベース復号画像バッファに記録するベース制御手段と、上記ベース復号シーケンスに含まれるベース復号画像からベース参照画像を選択し、上記ベース参照画像を用いたレイヤ間予測により予測画像を生成するレイヤ間画像予測部を備えることを特徴としている。
上記課題を解決するために、本発明に係る画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号画像を復元する画像復号装置であって、下位レイヤの復号画像を記録するベース参照画像バッファと、上位レイヤのピクチャの復号に用いるレイヤ間参照画像セットを設定するレイヤ間参照画像リスト設定手段と、上記レイヤ間参照画像セットに含まれる、上記ベース参照画像バッファに記録されているベース参照画像を用いて上位レイヤのピクチャの予測画像を生成する予測画像生成手段を備えることを特徴としている。
本発明に係る画像復号装置は、レイヤ間参照画像セットを導出するレイヤ間参照画像リスト設定部を備えている。したがって、本発明に係る画像復号装置は、レイヤ間参照画像セットを利用することで、復号対象ピクチャと表示順の異なる参照レイヤの復号画像を用いて生成された予測画像を用いて少ない符号量で符号化された符号化データから対象ピクチャの復号画像を再生できる。また、レイヤ間参照画像セットを利用することで、参照レイヤの復号画像が、対象レイヤの予測画像生成に用いられなくなるタイミングを特定して、ベース復号画像バッファから削除できるため、メモリ量を低減できる。
本発明に係る画像符号化装置は、レイヤ間参照画像セットを導出するレイヤ間参照画像リスト設定部を備えている。したがって、本発明に係る画像符号化装置では、レイヤ間参照画像セットを利用することで、復号対象ピクチャと表示順の異なる参照レイヤの復号画像を用いて生成された予測画像を用いてより少ない符号量で符号化データを生成できる。また、レイヤ間参照画像セットを利用することで、参照レイヤの復号画像が、対象レイヤの予測画像生成に用いられなくなるタイミングを特定して、ベース復号画像バッファから削除できるため、メモリ量を低減できる。
本発明の一実施形態に係る階層動画像復号装置に含まれるテクスチャ復元部の構成について例示する機能ブロック図である。 本発明の実施形態に係る階層符号化データのレイヤ構造を説明するための図であって、（ａ）は、階層動画像符号化装置側について示しており、（ｂ）は、階層動画像復号装置側について示している。 本発明の実施形態に係る階層符号化データの構成を説明するための図であって、（ａ）は、シーケンスＳＥＱを規定するシーケンスレイヤを示しており、（ｂ）は、ピクチャＰＩＣＴを規定するピクチャレイヤを示しており、（ｃ）は、スライスＳを規定するスライスレイヤを示しており、（ｄ）は、符号化ツリーユニットＣＴＵを規定するＣＴＵレイヤを示しており、（ｅ）は、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示している。 上記階層動画像復号装置の概略的構成を示す機能ブロック図である。 上記階層動画像復号装置に含まれるベース復号部の構成について例示する機能ブロック図である。 参照画像セットと参照画像リストの例を示した図であり、（ａ）は、動画像を構成するピクチャを表示順に並べた図であり、（ｂ）は、対象ピクチャに適用されるＲＰＳ情報の例を示す図であり、（ｃ）は、対象ピクチャのＰＯＣが０の場合に、（ｂ）で例示したＲＰＳ情報を適用したときに導出される現ＲＰＳの例を示す図であり、（ｄ）および（ｅ）は、現ＲＰＳに含まれる参照ピクチャから生成される参照ピクチャリストの例を示す図である。 参照画像リスト修正の例を示した図であり、（ａ）は、修正前のＬ０参照画像リストの状態を表す図であり、（ｂ）は、参照画像リスト修正情報の内容を表す図であり、（ｃ）は、修正後のＬ０参照画像リストの状態を表す図である。 上記階層動画像復号装置によるイントラレイヤ間予測を模式的に示す図であり、（ａ）は表示順が同一のベース復号画像を用いたレイヤ間画像予測の例を示す図であり、（ｂ）は表示順が異なるベース復号画像を用いたレイヤ間画像予測の例を示す図である。 ２レイヤからなる階層符号化データ復号時における、レイヤ間参照画像セット、レイヤ間参照画像リスト、拡張レイヤと参照レイヤの各参照画像セットと参照画像リストの状態の例を示す図である。 ２レイヤからなる階層符号化データ復号時における、レイヤ間参照画像セット、レイヤ間参照画像リスト、拡張レイヤと参照レイヤの各参照画像セットと参照画像リストの状態の別の例を示す図である。 上記階層動画像復号装置の可変長復号部からＳＰＳ復号時に利用されるシンタックス表の一部であって、参照画像セットおよび参照画像リストに係る部分を示す図である。 上記階層動画像復号装置の可変長復号部から短期参照画像セット情報の復号時に利用されるシンタックス表を示す図である。 上記階層動画像復号装置の可変長復号部からスライスヘッダ復号時に利用されるシンタックス表の一部であって、参照画像セットに係る部分を示す図である。 上記階層動画像復号装置の可変長復号部からスライスヘッダ復号時に利用されるシンタックス表の一部であって、参照画像リストに係る部分を示す図である。 上記階層動画像復号装置の可変長復号部から参照画像リスト修正情報の復号時に利用されるシンタックス表を示す図である。 上記階層動画像復号装置の可変長復号部からＳＰＳ復号時に利用されるシンタックス表の一部であって、レイヤ間参照画像リストに係る部分を示す図である。 上記階層動画像復号装置の可変長復号部からレイヤ間参照画像セット情報の復号時に利用されるシンタックス表を示す図である。 上記階層動画像復号装置の可変長復号部からスライスヘッダ復号時に利用されるシンタックス表の一部であって、レイヤ間参照画像セットに係る部分を示す図である。 上記階層動画像復号装置の可変長復号部からスライスヘッダ復号時に利用されるシンタックス表の一部であって、レイヤ間参照画像セットに係る部分の別の例を示す図である。 上記階層動画像復号装置の可変長復号部からスライスヘッダ復号時に利用されるシンタックス表の一部であって、レイヤ間参照画像リストに係る部分を示す図である。 上記階層動画像復号装置の可変長復号部からレイヤ間参照画像リスト修正情報の復号時に利用されるシンタックス表を示す図である。 本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。 上記階層動画像符号化装置に含まれるテクスチャ情報生成部の概略的構成を示す機能ブロック図である。 本発明の別の実施形態に係る階層動画像復号装置の概略的構成を示す機能ブロック図である。 上記階層動画像復号装置の可変長復号部からＳＰＳ復号時に利用されるシンタックス表の一部であって、ベース制御情報に係る部分を示す図である。 拡張レイヤ上の特定ピクチャ復号時における上記階層動画像復号装置のベース制御部におけるベース復号画像設定処理を示すフロー図である。 ベース復号画像設定処理の具体例を説明するための図であり、（ａ）は、具体例における拡張レイヤと参照レイヤのピクチャ間の参照関係を表す図であり、（ｂ）は拡張レイヤの各ピクチャ復号時の参照画像セット、レイヤ間参照画像セット、ベース復号画像バッファ、ベース復号画像読み込みを示す図である。 本発明の別の実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。 上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。 上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。
図１〜図２３に基づいて、本発明の一実施形態に係る階層動画像復号装置１および階層動画像符号化装置２について説明すれば以下のとおりである。
〔概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、ＳＶＣやＳＨＶＣにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。
また、階層符号化技術は、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、および（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレームレート（単位時間のフレーム数）において階層化する技術である。また、ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。
本実施形態に係る階層動画像符号化装置２及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造について説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。
〔階層符号化データのレイヤ構造〕
ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。
以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。
図２（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図２（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。
まず、図２（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。
下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。
また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。
また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。
このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。
次に、図２（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。
なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。
例えば、中位階層Ｌ２の階層復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号することができる。
なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。
また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像ＰＯＵＴ＃Ｂの復号に、“Ｂ”だけから構成される階層符号化データと、復号画像ＰＯＵＴ＃Ｃを入力とする階層動画像復号装置も構成できる。
なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。
本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。
上位レイヤ ： ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。
下位レイヤ ： ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。
対象レイヤ ： 復号または符号化の対象となっている階層のことをいう。
参照レイヤ（reference layer） ： 対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。
図２（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。
基本レイヤ（base layer） ： 最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。
拡張レイヤ ： 基本レイヤの上位レイヤは、拡張レイヤと称される。
レイヤ識別子 ： レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。
一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。
レイヤ間予測 ： レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、下位レイヤの復号画像から予測するレイヤ間予測のことをレイヤ間画像予測（あるいはレイヤ間テクスチャ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。
なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、ＨＥＶＣおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣなどの符号化方式により生成してもよい。
また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１に供給されるものであってもよいし、同一の伝送路を介して階層動画像復号装置１に供給されるものであってもよい。
例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをＭＰＥＧ−２またはＨ．２６４／ＡＶＣにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をＨＥＶＣにより符号化して、インターネットで伝送してもよい。
（基本レイヤ）
図３は、基本レイヤにおいて採用することができる符号化データ（図２の例でいえば、階層符号化データＤＡＴＡ＃Ｃ）のデータ構造について例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
階層符号化データＤＡＴＡ＃Ｃにおけるデータの階層構造を図３に示す。図３の（ａ）〜（ｅ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、符号化ツリーユニット（Coding Tree Unit；ＣＴＵ）を規定するＣＴＵレイヤ、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、ビデオパラメータセットＶＰＳ（Video Parameter Set）、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ１〜ＰＩＣＴNP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。
ビデオパラメータセットＶＰＳでは、符号化データに含まれるレイヤ数、レイヤ間の依存関係が規定されている。
シーケンスパラメータセットＳＰＳでは、対象レイヤの対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＳＰＳは符号化データ内に複数存在してもよい。その場合、対象レイヤの対象シーケンス毎に復号に用いられるＳＰＳが複数の候補から選択される。特定のシーケンスの復号に使用されるＳＰＳは、アクティブＳＰＳとも呼ばれる。以下では、特に断りがなければ、ＳＰＳは対象レイヤの対象シーケンスに対するアクティブＳＰＳを意味する。
ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。特定のピクチャの復号に使用されるＰＰＳはアクティブＰＰＳとも呼ばれる。以下では、特に断りがなければ、ＰＰＳは対象ピクチャに対するアクティブＰＰＳを意味する。
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、スライスヘッダＳＨ1〜ＳＨNS、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
なお、以下、スライスヘッダＳＨ1〜ＳＨNSやスライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータについても同様である。
スライスヘッダＳＨkには、対応するスライスＳkの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、ＳＰＳを指定するＳＰＳ識別子（seq_parameter_set_id）や、ＰＰＳを指定するＰＰＳ識別子（pic_parameter_set_id）が含まれる。また、スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、符号化ツリーユニットＣＴＵ1〜ＣＴＵNC（ＮＣはスライスＳに含まれるＣＴＵの総数）のシーケンスを含んでいる。
（ＣＴＵレイヤ）
ＣＴＵレイヤでは、処理対象の符号化ツリーユニットＣＴＵ（以下、対象ＣＴＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、符号化ツリーユニットのことを符号化ツリーブロック（CTB: Coding Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。
符号化ツリーユニットＣＴＵは、ＣＴＵヘッダＣＴＵＨと、符号化単位情報ＣＵ１〜ＣＵＮＬ（ＮＬはＣＴＵに含まれる符号化単位情報の総数）とを含む。ここで、まず、符号化ツリーユニットＣＴＵと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
符号化ツリーユニットＣＴＵは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するための単位に分割される。
符号化ツリーユニットＣＴＵの上記単位は、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応する単位を、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。
つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１〜ＣＵＮＬは、符号化ツリーユニットＣＴＵを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
また、符号化ツリーのルート（root）は、符号化ツリーユニットＣＴＵに対応付けられる。換言すれば、符号化ツリーユニットＣＴＵは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
なお、各符号化ノードのサイズは、当該符号化ノードの親ノードとなる符号化ノード（すなわち、当該符号化ノードの１階層上位のノード）のサイズの縦横とも半分である。
また、符号化ツリーユニットＣＴＵのサイズ、および、各符号化ユニットのとり得るサイズは、シーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、符号化ツリーユニットＣＴＵのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
（ＣＴＵヘッダ）
ＣＴＵヘッダＣＴＵＨには、対象ＣＴＵの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ＣＴＵの各ＣＵへの分割パターンを指定するＣＴＵ分割情報ＳＰ＿ＣＴＵ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＴＵを分割するための符号化ツリーを表す情報であり、具体的には、対象ＣＴＵに含まれる各ＣＵの形状、サイズ、および、対象ＣＴＵ内での位置を指定する情報である。
なお、ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばＣＴＵ分割情報ＳＰ＿ＣＴＵは、対象ＣＴＵ全体またはＣＴＵの部分領域を四分割するか否かを示すフラグの集合であってもよい。その場合、ＣＴＵの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
また、量子化パラメータ差分Δｑｐは、対象ＣＴＵにおける量子化パラメータｑｐと、当該対象ＣＴＵの直前に符号化されたＣＴＵにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。
（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。
ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。換言すれば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
予測ツリーにおける分割（以下、ＰＵ分割と略称する）の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。
また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎなどがある。
また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。換言すれば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
（ＣＵ情報のデータ構造）
続いて、図３（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容について説明する。図３（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。
スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
［ＰＴ情報］
ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。
予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法を指定する情報である。ベースレイヤにおいては、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅで指定される予測方法において用いられる予測情報である。ベースレイヤにおいては、イントラ予測の場合にイントラ予測情報PP_Intraが含まれる。また、インター予測の場合にはインター予測情報PP_Interを含む。
インター予測情報PP_Interは、階層動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される予測情報を含む。より具体的には、インター予測情報PP_Interは、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータ（動き補償パラメータ）を含む。インター予測パラメータとしては、例えば、マージフラグ（merge_flag）、マージインデックス（merge_idx）、推定動きベクトルインデックス（mvp_idx）、参照画像インデックス（ref_idx）、インター予測フラグ（inter_pred_flag）、および動きベクトル残差（mvd）を含む。
イントラ予測情報PP_Intraは、階層動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、イントラ予測情報PP_Intraには、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。
ここで、イントラ予測パラメータは、各イントラＰＵについてのイントラ予測（予測モード）を復元するためのパラメータである。予測モードを復元するためのパラメータには、ＭＰＭ（Most Probable Mode、以下同様）に関するフラグであるmpm_flag、ＭＰＭを選択するためのインデックスであるmpm_idx、および、ＭＰＭ以外の予測モードを指定するためのインデックスであるrem_idxが含まれる。ここで、ＭＰＭとは、対象パーティションで選択される可能性が高い推定予測モードである。例えば、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいて推定された推定予測モードや、一般的に発生確率の高いＤＣモードやＰｌａｎａｒモードがＭＰＭに含まれ得る。
また、以下において、単に“予測モード”と表記する場合、特にことわりのない限り、輝度予測モードのことを指すものとする。色差予測モードについては、“色差予測モード”と表記し、輝度予測モードと区別する。また、予測モードを復元するパラメータには、色差予測モードを指定するためのパラメータであるchroma_modeが含まれる。
［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数の変換ブロックそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。
ＴＴ情報ＴＴＩは、図３（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ1〜ＱＤNT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。
ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各変換ブロックの形状、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象ノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現することができる。
また、例えば、ＣＵサイズが、６４×６４の場合、分割により得られる各変換ブロックは、３２×３２画素から４×４画素までのサイズをとり得る。
各量子化予測残差ＱＤは、階層動画像符号化装置２が以下の処理１〜３を、処理対象の変換ブロックである対象ブロックに施すことによって生成した符号化データである。
処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
（ＰＵ分割情報）
ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる予測単位のことを予測ブロック、または、パーティションと称する。
（拡張レイヤ）
拡張レイヤのレイヤ表現に含まれる符号化データ（以下、拡張レイヤ符号化データ）についても、例えば、図３に示すデータ構造とほぼ同様のデータ構造を採用することができる。ただし、拡張レイヤ符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略したりすることができる。
スライスレイヤでは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティ、ビュースケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、quality_id、および、view_id）が符号化されていてもよい。
また、ＣＵ情報ＣＵに含まれる予測タイプ情報ＰＴｙｐｅは、対象ＣＵについての予測画像生成方法がイントラ予測、インター予測、または、レイヤ間画像予測のいずれかを指定する情報である。予測タイプ情報ＰＴｙｐｅには、レイヤ間画像予測モードの適用有無を指定するフラグ（レイヤ間画像予測フラグ）を含む。なお、レイヤ間画像予測フラグは、texture_rl_flag、inter_layer_pred_flag、または、base_mode_flagと呼ばれることもある。
拡張レイヤにおいて、対象ＣＵのＣＵタイプが、イントラＣＵ、レイヤ間ＣＵ、インターＣＵ、スキップＣＵのいずれであるかが指定されていてもよい。
イントラＣＵは、ベースレイヤにおけるイントラＣＵと同様に定義できる。イントラＣＵでは、レイヤ間画像予測フラグが“０”に、予測モードフラグが“０”に設定される。
レイヤ間ＣＵは、参照レイヤのピクチャの復号画像を予測画像生成に用いるＣＵと定義できる。レイヤ間ＣＵでは、レイヤ間画像予測フラグが“１”に、予測モードフラグが“０”に設定される。
スキップＣＵは、上述のＨＥＶＣ方式の場合と同様に定義できる。例えば、スキップＣＵでは、スキップフラグに“１”が設定される。
インターＣＵは、非スキップかつ動き補償（ＭＣ；Motion Compensation）を適用するＣＵと定義されていてもよい。インターＣＵでは、例えば、スキップフラグに“０”が設定され、予測モードフラグに“１”が設定される。
また、上述のとおり拡張レイヤの符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。
下位レイヤが、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣ方式によって符号化されていてもよい。
拡張レイヤ符号化データでは、ＶＰＳが拡張されて、レイヤ間の参照構造を表すパラメータが含まれていてもよい。
また、拡張レイヤ符号化データでは、ＳＰＳ、ＰＰＳ、スライスヘッダが拡張されて、レイヤ間画像予測に用いる参照レイヤの復号画像に係る情報（例えば、後述のレイヤ間参照画像セット、レイヤ間参照画像リスト、ベース制御情報等を直接、または、間接的に導出するためのシンタックス）が含まれていてもよい。
なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略することができる。
〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置１の構成について、図１〜図２１を参照して説明する。
（階層動画像復号装置の構成）
図４を用いて、階層動画像復号装置１の概略的構成について説明すると次のとおりである。図４は、階層動画像復号装置１の概略的構成について示した機能ブロック図である。階層動画像復号装置１は、階層動画像符号化装置２から供給される階層符号化データＤＡＴＡを復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。なお、以下では、対象レイヤは拡張レイヤであるとして説明する。そのため、対象レイヤは、参照レイヤに対する上位レイヤでもある。逆に、参照レイヤは、対象レイヤに対する下位レイヤでもある。
図４に示すように階層動画像復号装置１は、ＮＡＬ逆多重化部１１、可変長復号部１２、復号画像バッファ１３、予測パラメータ復元部１４、テクスチャ復元部１５、ベース復号部１６、および、ベース復号画像バッファ１７を備える。
ＮＡＬ逆多重化部１１は、ＮＡＬ（Network Abstraction Layer）におけるＮＡＬユニット単位で伝送される階層符号化データＤＡＴＡを逆多重化する。
ＮＡＬは、ＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
ＶＣＬは、動画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのファイルフォーマットや、ＭＰＥＧ−２システムに対応する。
なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダが含まれる。また、各階層における符号化データは、ＮＡＬユニット格納されることでＮＡＬ多重化されて階層動画像復号装置１に伝送される。
ＮＡＬ逆多重化部１１は、階層符号化データＤＡＴＡを逆多重化して、対象レイヤ符号化データＤＡＴＡ＃Ｔおよび参照レイヤ符号化データＤＡＴＡ＃Ｒを取り出す。また、ＮＡＬ逆多重化部１１は、対象レイヤ符号化データＤＡＴＡ＃Ｔを可変長復号部１２に供給するとともに、参照レイヤ符号化データＤＡＴＡ＃Ｒをベース復号部１６に供給する。
可変長復号部１２は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるバイナリから各種のシンタックス値を復号する。復号されたシンタックス値は、分類されて出力される。シンタックス値の分類には、図３（ｅ）のＰＴＩに相当する予測情報、図３（ｅ）のＴＴＩに相当する変換係数情報が含まれる。
また、可変長復号部１２は、ＣＵ情報を符号化データＤＡＴＡ＃Ｔから復号する。ＣＵ情報には、ＣＵの形状、サイズ、位置を特定するための情報が含まれる。
また、可変長復号部１２は、対象レイヤの復号に用いるパラメータセットを符号化データＤＡＴＡ＃Ｔから復号する。パラメータセットは、ＶＰＳ、ＳＰＳ、ＰＰＳ、および、スライスヘッダを含む。
可変長復号部１２は、復号した予測情報およびＣＵ情報を予測パラメータ復元部１４に供給する。また、可変長復号部１２は、復号した変換係数情報、ＣＵ情報、およびパラメータセットをテクスチャ復元部１５に供給する。
復号画像バッファ１３は、テクスチャ復元部１５で復元された対象レイヤの各ピクチャの復号画像を記録するピクチャバッファである。復号画像バッファ１３では、対象レイヤの各ピクチャに対応する復号画像が出力順（POC: Picture Order Count）に関連付けて記録されている。なお、以下では、復号画像バッファ１３のことをDPB（Decoded Picture Buffer）とも呼ぶ。DPBは対象レイヤの復号画像を記録している。
ベース復号部１６は、参照レイヤ符号化データＤＡＴＡ＃Ｒから、対象レイヤに対応する復号画像を復号する際に参照される参照レイヤの復号画像であるベース復号画像を復号する。ベース復号部１６は、復号したベース復号画像をテクスチャ復元部１５に供給する。
なお、ベース復号部１６は、参照レイヤ符号化データ＃Ｒから、参照レイヤにおける予測パラメータに相当するベース予測パラメータを復号して予測パラメータ復元部１４に供給してもよい。
ベース復号画像バッファ１７は、ベース復号部１６で復元された参照レイヤの各ピクチャの復号画像を記録するピクチャバッファである。ベース復号画像バッファ１７では、参照レイヤの各ピクチャに対応する復号画像が出力順（POC）に関連付けて記録されている。なお、以下では、ベース復号画像バッファ１７のことをBASE_DPB（Base Decoded Picture Buffer）とも呼ぶ。
予測パラメータ復元部１４は、ＣＵ情報と予測情報を用いて、予測パラメータを復元する。予測パラメータ復元部１４は、復元した予測パラメータを、テクスチャ復元部１５に供給する。
テクスチャ復元部１５は、ＣＵ情報、変換係数情報、ベース復号画像および予測パラメータを用いて、復号画像ＰＯＵＴ＃Ｔを生成し、外部に出力する。なお、テクスチャ復元部１５では、復元された復号画像に関する情報が、復号画像バッファ１３に格納される。
以下では、テクスチャ復元部１５、可変長復号部１２、および、ベース復号部１６それぞれの詳細について説明する。
（テクスチャ復元部）
図１を用いて、テクスチャ復元部１５の詳細構成について説明する。図１は、テクスチャ復元部１５の構成を例示した機能ブロック図である。
図１に示すように、テクスチャ復元部１５は、逆直交変換・逆量子化部１５１、テクスチャ予測部１５２、加算器１５３、ループフィルタ部１５４、参照画像リスト設定部１５５、レイヤ間参照画像リスト設定部１５６を備える。テクスチャ予測部１５２は、内部に、インター予測部１５２Ｔ、イントラ予測部１５２Ｓ、および、レイヤ間画像予測部１５２Ｂを備える。
逆直交変換・逆量子化部１５１は、（１）可変長復号部１２から供給される変換係数情報に含まれる量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆直交変換（例えば、ＤＣＴ（Discrete Cosine Transform）変換）し、（３）逆直交変換によって得られた予測残差Ｄを加算器１５３に供給する。なお、予測残差Ｄの生成は、変換ブロックを単位として行われる。
テクスチャ予測部１５２は、予測パラメータに応じて、ベース復号画像バッファ１７に記録されているベース復号画像（ベース参照画像とも呼ぶ）または復号画像バッファ１３に記録されている復号済みの復号画像を参照し、予測画像を生成する。
テクスチャ予測部１５２は、インター予測部１５２Ｔ、イントラ予測部１５２Ｓ、または、レイヤ間画像予測部１５２Ｂが生成した予測画像を加算器１５３に供給する。
インター予測部１５２Ｔは、各予測ブロックの予測画像をインター予測により生成する。具体的には、予測パラメータに含まれる動きベクトルが示す参照画像上の領域の画素値に基づく動き補償予測により予測画像が生成される。参照画像は、復号画像バッファ１３上に記録されている復号画像であって、予測パラメータに含まれる参照画像インデックスと、参照画像リストの組み合わせにより特定される。インター予測部１５２Ｔにおけるインター予測による予測画像生成処理については、参照画像リスト設定部１５５における参照画像リスト設定処理と合わせて詳細を後述する。
イントラ予測部１５２Ｓは、各イントラ予測パーティションに関する予測画像をイントラ予測により生成する。具体的には、イントラ予測情報復元部１４４Ｓから予測パラメータとして供給される空間予測モードを用いて、対象ＰＵの復号済周辺画素値を参照する空間予測により、予測画像を生成する。
レイヤ間画像予測部１５２Ｂは、ベース参照画像を参照して、レイヤ間画像予測により、予測画像を生成する。ベース参照画像は、ベース復号画像バッファ１７に記録されている復号画像から選択される。より厳密には、対象ピクチャにおけるレイヤ間参照画像セットに含まれるベース復号画像であって、対象ピクチャから参照可能であることが示されたベース復号画像の中から、ベース参照画像が選択される。ベース参照画像の選択には、予測パラメータに含まれるベース参照画像インデックスを用いる。ベース参照画像インデックスとレイヤ間参照画像リストの組み合わせにより、何れのベース復号画像を参照画像として利用するかが決定される。レイヤ間画像予測部１５２Ｂにおけるレイヤ間画像予測による予測画像生成処理については、レイヤ間参照画像リスト設定部１５６におけるレイヤ間参照画像リスト設定処理と合わせて詳細を後述する。
加算器１５３は、テクスチャ予測部１５２から供給された予測画像と、逆直交変換・逆量子化部１５１から供給された予測残差Ｄとを加算することによって復号画像を生成する。
ループフィルタ部１５４は、加算器１５３から供給される復号画像に対し、デブロッキング処理や、適応フィルタパラメータによるフィルタ処理を施すものである。
参照画像リスト設定部１５５は、パラメータセットに含まれる参照画像リストに係るシンタックスに基づいて、テクスチャ予測部１５２内のインター予測部１５２Ｔにおける動き補償予測に用いられる参照画像リストを生成する。
レイヤ間参照画像リスト設定部１５６は、パラメータセットに含まれるレイヤ間参照画像リストに係るシンタックスに基づいて、テクスチャ予測部１５２内のレイヤ間画像予測部１５２Ｂにおけるレイヤ間画像予測に用いられるレイヤ間参照画像リストを生成する。
＜インター予測と参照画像リスト生成＞
インター予測部１５２Ｔにおけるインター予測による予測画像生成処理、および、参照画像リスト設定部１５５における参照画像リスト設定処理の詳細を説明する。
インター予測部１５２Ｔにおける予測画像生成（動き補償予測）では、参照画像インデックス（refIdx）の示す参照画像リスト上の位置に記録されている復号画像を参照画像として利用する。例えば、refIdxの値が０の場合は、参照画像リストの０の位置、すなわち参照画像リストの先頭の復号画像が参照画像として動き補償予測に用いられる。
参照画像リスト（RPL: Reference Picture List）は、動き補償予測の適用時に参照可能な参照画像の候補リストである。参照画像リストは２以上存在してもよい。本実施形態では、Ｌ０参照画像リスト（Ｌ０参照リスト）とＬ１参照画像リスト（Ｌ１参照リスト）を用いるとする。ＲＰＬ修正情報は、パラメータセット（ＳＰＳやスライスヘッダ）に含まれる情報であり、参照画像リスト内の参照画像の順序を示す。
参照画像セット（RPS: Reference Picture Set）は、対象ピクチャ、または、復号順で対象ピクチャに後続するピクチャにおいて、参照画像として利用される可能性のあるピクチャの集合を表す。ＲＰＳ情報は、パラメータセット（ＳＰＳやスライスヘッダ）に含まれる情報であり、各ピクチャの復号時に設定される参照画像セットの導出に用いられる。
特定のピクチャに対する参照画像セットに含まれないピクチャは、復号順で当該特定ピクチャ以降のピクチャの復号には用いられない。したがって、階層動画像復号装置は、参照画像セットに含まれないピクチャを復号画像バッファから削除できる。
参照画像リストは、参照画像セットに含まれるピクチャから、対象ピクチャにおいて参照画像として利用される可能性のあるピクチャを選択し、順序を付けたリストと表現することもできる。
ここで、参照画像セットと参照画像リストの例を、図６を参照して説明しておく。図６（ａ）は、動画像を構成するピクチャを表示順に並べて図示したものであり、図中の数字は各ピクチャに対応するＰＯＣを表している。ＰＯＣは、出力順で昇順となるよう各ピクチャに割り当てられている。“ｃｕｒｒ”と示されたＰＯＣが９のピクチャが、現在の復号対象ピクチャである。
図６（ｂ）は、対象ピクチャに適用されるＲＰＳ情報の例を示す。対象ピクチャにおける参照画像セット（現ＲＰＳ）は、当該ＲＰＳ情報に基づいて導出される。ＲＰＳ情報には、長期ＲＰＳ情報と短期ＲＰＳ情報とが含まれる。長期ＲＰＳ情報として、現ＲＰＳに含めるピクチャのＰＯＣが直接示されている。図６（ｂ）に示す例では、長期ＲＰＳ情報は、ＰＯＣ＝１のピクチャを現ＲＰＳに含めることを示している。短期ＲＰＳ情報には、現ＲＰＳに含めるピクチャが、対象ピクチャのＰＯＣに対する差分で記録されている。図中の「Before, dPOC=1」と示された短期ＲＰＳ情報は、対象ピクチャのＰＯＣに対して１小さいＰＯＣのピクチャを現ＲＰＳに含めることを示している。同様に、図中の「Before, dPOC=4」は４小さいＰＯＣのピクチャを示し、「After, dPOC=1」は１大きいＰＯＣのピクチャを現ＲＰＳに含めることを示す。なお、「Before」は、対象ピクチャの前方、つまり、対象ピクチャより表示順の早いピクチャを示す。また、「After」は、対象ピクチャの広報後方、つまり、対象ピクチャより表示順の遅いピクチャを示す。
図６（ｃ）は、対象ピクチャのＰＯＣが０の場合に、図６（ｂ）で例示したＲＰＳ情報を適用したときに導出される現ＲＰＳの例を示す。長期ＲＰＳ情報で示されたＰＯＣ＝１のピクチャが含まれている。また、短期ＲＰＳ情報で示された、対象ピクチャ（ＰＯＣ＝９）より１小さいＰＯＣを有するピクチャ、すなわちＰＯＣ＝８のピクチャが含まれている。同様に、短期ＲＰＳ情報で示された、ＰＯＣ＝５とＰＯＣ＝１０のピクチャが含まれている。
図６（ｄ）および（ｅ）は、現ＲＰＳに含まれる参照画像から生成される参照画像リストの例を示す。参照画像リストの各要素にはインデックス（参照画像インデックス）が付与されている（図中ではidxと記載）。図６（ｄ）は、Ｌ０参照リストの例を示す。Ｌ０参照リストには、５、８、１０、１のＰＯＣを持つ現ＲＰＳに含まれる参照ピクチャが、この順で含まれている。図６（ｅ）は、Ｌ１参照リストの例を示す。Ｌ１参照リストには、１０、５、８のＰＯＣを持つ現ＲＰＳに含まれる参照ピクチャが、この順で含まれている。なお、Ｌ１参照リストの例で示した通り、参照画像リストには、現RPSに含まれる全ての参照画像（参照可能ピクチャ）を含める必要はない。しかし、参照画像ストの要素数は、最大でも現RPSに含まれる参照画像の数となる。言い換えると、参照画像リストの長さは、現ピクチャで参照可能なピクチャ数以下である。
次に、参照ピクチャリスト修正の例を、図７を参照して説明しておく。図７は、特定の参照ピクチャリストに（図７（ａ））に対して、ＲＰＬ修正情報（図７（ｂ））を適用した場合に得られる修正後の参照ピクチャリスト（図７（ｃ））を例示している。図７（ａ）に示す修正前Ｌ０参照リストは、図６（ｄ）で説明したＬ０参照リストと同一である。図７（ｂ）に示すＲＰＬ修正情報は参照画像インデックスの値を要素とするリストになっており、先頭から順に０、２、１、３の値が格納されている。このＲＰＬ修正情報は、修正前参照リストに含まれる０、２、１、３の参照画像インデックスで示される参照画像を、この順で修正後Ｌ０参照リストの参照画像とすることを示す。図７（ｃ）は修正後Ｌ０参照リストを示し、ＰＯＣが５、１０、８、１のピクチャがこの順で含まれている。
＜インター予測（動き補償予測）処理＞
インター予測部１５２Ｔにおける予測画像生成処理は以下のＳ１０１からＳ１０５の手順で実行される。
（Ｓ１０１）対象ＣＵ内の予測ブロックを順次対象予測ブロックに設定し、以下のＳ１０２からＳ１０５の各処理を順次実行する。
（Ｓ１０２）対象予測ブロックの動き情報を予測パラメータから読み出す。
（Ｓ１０３）対象予測ブロックがＬ０予測を利用する場合、Ｌ０参照リストにおいてＬ０参照インデックスの示す位置の参照画像を、対象予測ブロックの参照画像に設定する。Ｌ０動きベクトルの示す当該参照画像の復号画素値に基づいてＬ０予測画像を生成する。
（Ｓ１０４）対象予測ブロックがＬ１予測を利用する場合、Ｌ１参照リストにおいてＬ１参照インデックスの示す位置の参照画像を、対象予測ブロックの参照画像に設定する。当該参照画像上のＬ１動きベクトルの示す位置の画素値に基づいてＬ１予測画像を生成する。
（Ｓ１０５）対象予測ブロックがＬ０予測のみ利用する場合、Ｌ０予測画像を対象予測ブロックの予測画像とする。他方、対象予測ブロックがＬ１予測のみ利用する場合、Ｌ１予測画像を対象予測ブロックの予測画像とする。他方、対象予測ブロックがＬ０予測とＬ１予測の両方を利用する場合（双予測を利用する場合）、Ｌ０予測画像とＬ１予測画像の加重平均を対象予測ブロックの予測画像とする。
＜レイヤ間画像予測とレイヤ間参照画像リスト生成＞
レイヤ間画像予測部１５２Ｂにおけるレイヤ間画像予測による予測画像生成処理と、レイヤ間参照画像リスト設定部１５６におけるレイヤ間参照画像リスト設定処理の詳細を説明する。
レイヤ間画像予測部１５２Ｂにおけるレイヤ間画像予測について、図８を参照して説明する。図８は、ベース復号画像を用いたレイヤ間画像予測を概略的に示す模式図である。
図８（ａ）に示すように、レイヤ間画像予測では、対象レイヤ（拡張レイヤ）の対象ブロック（復号される予測ブロックのことを指す（以下同様））の予測画像が、参照レイヤにおいて、時間的に該対象ブロックと同時刻に位置するピクチャ上のブロックであって、空間的に該対象ブロックに対応する位置に配置されたブロックである参照ブロック（参照される予測ブロックのことを指す（以下同様））の復号画像に基づいて生成できる。
また、図８（ｂ）に示すように、レイヤ間画像予測では、対象レイヤ（拡張レイヤ）の対象ブロックの予測画像が、参照レイヤにおいて、時間的に該対象ブロックと異なる時刻に位置するピクチャであって、空間的に該対象ブロックに対応する位置に配置されたブロックである参照ブロックの復号画像に基づいて生成できる。
なお、対象ブロックと、参照ブロックとで、画素数が異なる場合はアップサンプルを行う構成とすればよい。また、必要に応じて、参照ブロックの復号画像に対してフィルタリング（サンプル適応オフセット（Sample Adaptive Offset；ＳＡＯ）、適応ループフィルタ（Adaptive Loop Filter；ＡＬＦ）、エッジ強調、ノイズ除去、インタレース解除など）を適用したベース復号画像を参照してイントラ予測画像を生成する構成としてもよい。
以下では、レイヤ間画像予測による予測画像生成に使われる参照レイヤのピクチャをベース参照画像と呼ぶ。ベース参照画像は、レイヤ間参照画像リストから選択される。
レイヤ間参照画像リスト（IL-RPL: Inter-Layer Reference Picture List）は、レイヤ間画像予測の適用時に参照可能なベース参照画像の候補リストである。ＩＬ−ＲＰＬ修正情報は、パラメータセット（ＳＰＳやスライスヘッダ）に含まれる情報であり、ベース参照画像リスト内のベース参照画像の順序を示す。
より一般的には、レイヤ間参照画像リストは、対象レイヤ（拡張レイヤ）における予測画像生成時に参照可能なベース復号画像の候補リストである、とも言える。例えば、一般化残差予測と呼ばれる方式を用いる場合にも、レイヤ間参照画像リストを用いることができる。一般化残差予測は、概略的には、参照レイヤの複数の復号画像から対象ブロックの予測残差推定値を導出し、当該予測残差推定値を用いて対象ブロックの予測画像を生成する予測方法である。
レイヤ間参照画像セット（IL-RPS: Inter-Layer Reference Picture Set）は、対象レイヤ（拡張レイヤ）上の対象ピクチャ、または、復号順で対象ピクチャに後続する対象レイヤ（拡張レイヤ）上のピクチャにおいて、ベース参照画像として利用される可能性のある参照レイヤ上のピクチャの集合を表す。ＩＬ−ＲＰＳ情報は、パラメータセット（ＳＰＳやスライスヘッダ）に含まれる情報であり、対象レイヤ（拡張レイヤ）上の各ピクチャの復号時に設定されるベース参照画像セットの導出に用いられる。
対象レイヤ（拡張レイヤ）上の特定のピクチャに対するレイヤ間参照画像セットに含まれない参照レイヤ上のピクチャは、復号順で当該特定ピクチャ以降の対象レイヤ（拡張レイヤ）上のピクチャの復号には用いられない。したがって、当該参照レイヤ上のピクチャが、復号順が現ピクチャより後の参照レイヤ上のピクチャの復号に用いられないのであれば、階層動画像復号装置は、参照画像セットに含まれないピクチャをベース復号画像バッファから削除できる。
＜レイヤ間参照画像セットの具体例１＞
ここで、参照画像セットとレイヤ間参照画像セットの具体例を、図９を参照して説明する。図９は、２レイヤからなる階層符号化データ復号時における、レイヤ間参照画像セット、レイヤ間参照画像リスト、拡張レイヤと参照レイヤの各参照画像セットと参照画像リストの状態を例示する図である。
図９（ａ）は、参照レイヤ上のピクチャB1、B2、B3、および、対象レイヤ（拡張レイヤ）上のピクチャE1、E2、E3の表示順とインター予測またはレイヤ間画像予測による参照関係を示している。図９（ｂ）は、上記各ピクチャの復号順と、各ピクチャ復号時における対象レイヤ（拡張レイヤ）の参照画像セット（EL-RPS）、レイヤ間参照画像セット（IL-RPS）、参照レイヤの参照画像セット（BL-RPS）、対象レイヤ（拡張レイヤ）または参照レイヤにおけるＬ０参照画像リスト（L0-RPL）およびＬ１参照画像リスト（L1-RPL）、および、レイヤ間参照画像リスト（IL-RPL）の状態を示している。以下、復号順に従って、説明する。
（１）B1復号時：B1は参照レイヤの最初のピクチャであるため、BL-RPSは空（図中で「{}」）である。インター予測が用いられないため、L0-RPLもL1-RPLも用いられない（図中で「−」）。また、参照レイヤはベースレイヤでもあるため、レイヤ間画像予測は利用できず、IL-RPLは用いられない（B2、B3復号時も同様）。
（２）E1復号時：E1は対象レイヤ（拡張レイヤ）の最初のピクチャであるため、EL-RPSは空である。レイヤ間画像予測ではB1の復号画像を参照できる、つまり、IL-RPSおよびIL-RPLにはB1を含む。
（３）B3復号時：B3ではインター予測によりB1を参照できる。つまり、BL-RPSにB1を含む。また、L0_RPLとL1_RPLにB1を含む。
（４）E3復号時：E3ではインター予測によりE1を参照できる。つまり、EL-RPSにE1を含む。また、L0_PRLとL1_RPLにE1を含む。また、E3はレイヤ間画像予測によりB3を参照できる。つまり、IL-RPSおよびIL-RPLにはB3が含まれる。
（５）B2復号時：B2ではインター予測によりB1およびB3を参照できる。つまり、BL-RPSにB1およびB3が含まれる。L0-RPLとL1-RPLのいずれにもB1とB3が含まれるが、L0-RPLではB1、B3の順、L1-RPLではB3、B1の順となっている。
（６）E2復号時：E2ではインター予測によりE1およびE3を参照できる。つまり、EL-RPSにE1およびE3が含まれる。L0-RPLとL1-RPLのいずれにもE1とE3が含まれるが、L0-RPLではE1、E3の順、L1-RPLではE3、E1の順となっている。また、E2ではレイヤ間画像予測によりB2を参照できる。つまり、IL-RPSおよびIL-RPLにはB2が含まれる。
上記の例では、E3復号時に、IL-RPSにB1は含まれない。これは、E3よりも復号順が後の拡張レイヤ上のピクチャでは、B1がレイヤ間画像予測に用いられないことを意味する。したがって、階層動画像復号装置は、B1がBL-RPSに含まれなくなった時点で、B1の復号画像をベース復号画像バッファから削除できる。なお、IL-RPSを用いない場合は、B1がBL-RPSに含まれなくなっても、対象レイヤ（拡張レイヤ）上のピクチャでB1がレイヤ間画像予測に用いられる可能性の有無が判定できないため、ベース復号画像バッファからB1を削除できない。ゆえに、IL-RPSを用いることで、インター予測にもレイヤ間画像予測にも用いられない参照レイヤの復号画像を特定して、ベース参照画像から削除できるため、IL-RPSを用いない場合に較べてメモリ量を低減できる。
＜レイヤ間参照画像セットの具体例２＞
次に、参照画像セットとレイヤ間参照画像セットの別の具体例を、図１０を参照して説明する。図１０は、２レイヤからなる階層符号化データ復号時における、レイヤ間参照画像セット、レイヤ間参照画像リスト、対象レイヤ（拡張レイヤ）と参照レイヤの各参照画像セットと参照画像リストの状態の別の例を示す図である。図１０に示す例では、参照レイヤの復号順と表示順の関係と、対象レイヤ（拡張レイヤ）の表示順と復号順の関係が一致していない点が、図９で説明した例と異なる。
図９（ａ）と同様に、図１０（ａ）はピクチャB1、B2、B3、E1、E2、E3の表示順とインター予測またはレイヤ間画像予測による参照関係を示している。また、図９（ｂ）と同様に、図１０（ｂ）は、上記各ピクチャの復号順と、各ピクチャ復号時におけるEL-RPS、IL-RPS、BL-RPS、L0-RPL、L1-RPL、および、IL-RPLの状態を示している。以下、復号順に従って、説明する。
（１）B1復号時：B1は参照レイヤの最初のピクチャであるため、BL-RPSは空である。また、インター予測が用いられないため、L0-RPLもL1-RPLも用いられない。また、参照レイヤはベースレイヤでもあるため、レイヤ間画像予測は利用できず、IL-RPLは用いられない（B2、B3復号時も同様）。
（２）B2復号時：B2ではインター予測によりB1を参照できる。つまり、BL-RPSにB1を含む。また、L0_RPLとL1_RPLにB1を含む。
（３）B3復号時：B3ではインター予測によりB1を参照できる。つまり、BL-RPSにB1が含まれる。また、L0_RPLとL1_RPLにB1を含む。
（４）E1復号時：E1は対象レイヤ（拡張レイヤ）の最初のピクチャであるため、EL-RPSは空である。レイヤ間画像予測ではB1の復号画像を参照できる、つまり、IL-RPSおよびIL-RPLにはB1を含む。
（５）E3復号時：E3ではインター予測によりE1を参照できる。つまり、EL-RPSにE1を含む。また、L0_PRLとL1_RPLにE1を含む。また、E3はレイヤ間画像予測によりB3を参照できる。つまり、IL-RPLにはB3が含まれる。なお、B1はE3におけるレイヤ間画像予測では参照されないが、E3より後に復号されるE2においてレイヤ間画像予測で参照される。そのため、IL-RPSにはB3に加えてB1も含まれる。
（６）E2復号時：E2ではインター予測によりE1およびE3を参照できる。つまり、EL-RPSにE1およびE3が含まれる。L0-RPLとL1-RPLのいずれにもE1とE3が含まれるが、L0-RPLではE1、E3の順、L1-RPLではE3、E1の順となっている。また、E2ではレイヤ間画像予測によりB1およびB3を参照できる。つまり、IL-RPSおよびIL-RPLにはB1およびB3が含まれる。
上記の例では、B3復号時のBL-RPSにB2が含まれない。従って、B3復号時点で、B2がB3以降の参照レイヤ上のピクチャ復号時に参照されないことが分かる。E1復号時には、IL-RPSにB2は含まれない。従って、E1復号時点で、B2がE1以降の拡張レイヤ上のピクチャ復号時に参照されないことが分かる。そのため、E1復号時点で、B2をベース参照画像バッファから削除できる。
上記の２つの例で示したように、レイヤ間参照画像セットを利用することで、動画像復号装置において、参照レイヤの復号画像が予測画像生成に用いられなくなるタイミングを特定して、ベース復号画像バッファから削除でき、それにより、メモリ量を低減できる。レイヤ間参照画像セットを利用する方式は、参照レイヤと対象レイヤ（拡張レイヤ）の復号順および各ピクチャの予測画像生成時に利用する参照レイヤの復号画像があらかじめ決まっていない場合にも有効である。
（可変長復号部）
前述の通り、可変長復号部１２は、入力された符号化データから、予測情報、ＣＵ情報、パラメータセットを復号して、適切な出力先に出力する。ここでは、本発明に関わりの深い参照画像セット、参照画像リスト、レイヤ間参照画像セット、および、レイヤ間参照画像リストに係るシンタックスの復号について詳細を説明する。また、復号シンタックスから参照画像セット、参照画像リスト、レイヤ間参照画像セット、および、レイヤ間参照画像リストを導出する処理についても説明する。
＜参照画像セット復号処理＞
ＲＰＳ情報は、参照画像セットを構築するためにＳＰＳまたはスライスヘッダより復号される情報である。ＲＰＳ情報には以下を含む。
１．ＳＰＳ短期ＲＰＳ情報：ＳＰＳに含まれる短期参照画像セット情報
２．ＳＰＳ長期ＲＰ情報：ＳＰＳに含まれる長期参照画像情報
３．ＳＨ短期ＲＰＳ情報：スライスヘッダに含まれる短期参照画像セット情報
４．ＳＨ長期ＲＰ情報：スライスヘッダに含まれる長期参照画像情報
（１．ＳＰＳ短期ＲＰＳ情報）
ＳＰＳ短期ＲＰＳ情報は、ＳＰＳを参照する各ピクチャから利用され得る複数の短期参照画像セットの情報を含む。なお、短期参照画像セットとは、対象ピクチャに対する相対的な位置（例えば対象ピクチャとのＰＯＣ差分）により指定される参照画像（短期参照画像）となり得るピクチャの集合である。
ＳＰＳ短期ＲＰＳ情報の復号について、図１１を参照して説明する。図１１は、ＳＰＳ復号時に利用されるＳＰＳシンタックス表の一部を例示している。図１１の（Ａ）の部分がＳＰＳ短期ＲＰＳ情報に相当する。ＳＰＳ短期ＲＰＳ情報には、ＳＰＳに含まれる短期参照画像セットの数（num_short_term_ref_pic_sets）、および、各短期参照画像セットの情報（short_term_ref_pic_set(i)）が含まれる。
短期参照画像セット情報について、図１２を参照して説明する。図１２は、ＳＰＳ復号時、および、スライスヘッダ復号時に利用される短期参照画像セットのシンタックス表を例示している。
短期参照画像セット情報には、対象ピクチャより表示順が早い短期参照画像数（num_negative_pics）、および、対象ピクチャより表示順が遅い短期参照画像数（num_positive_pics）が含まれる。なお、以下では、対象ピクチャより表示順が早い短期参照画像を前方短期参照画像、対象ピクチャより表示順が遅い短期参照画像を後方短期参照画像と呼ぶ。
また、短期参照画像セット情報には、各前方短期参照画像に対して、対象ピクチャに対するＰＯＣ差分の絶対値（delta_poc_s0_minus1[i]）、および、対象ピクチャの参照画像として使用される可能性の有無（used_by_curr_pic_s0_flag[i]）が含まれる。加えて、各後方短期参照画像に対して、対象ピクチャに対するＰＯＣ差分の絶対値（delta_poc_s1_minus1[i]）、および、対象ピクチャの参照画像として使用される可能性の有無（used_by_curr_pic_s1_flag[i]）が含まれる。
（２．ＳＰＳ長期ＲＰ情報）
ＳＰＳ長期ＲＰ情報は、ＳＰＳを参照する各ピクチャから利用され得る複数の長期参照画像の情報を含む。なお、長期参照画像とは、シーケンス内の絶対的な位置（例えばＰＯＣ）により指定されるピクチャである。
ＳＰＳ長期ＲＰ情報の復号について、図１１を再び参照して説明する。図１１の（Ｂ）の部分がＳＰＳ長期ＲＰ情報に相当する。ＳＰＳ長期ＲＰ情報には、ＳＰＳで伝送される長期参照画像の有無を示す情報（long_term_ref_pics_present_flag）、ＳＰＳに含まれる長期参照画像の数（num_long_term_ref_pics_sps）、および、各長期参照画像の情報が含まれる。長期参照画像の情報には、参照画像のＰＯＣ（lt_ref_pic_poc_lsb_sps[i]）、および、対象ピクチャの参照画像として使用される可能性の有無（used_by_curr_pic_lt_sps_flag[i]）が含まれる。
なお、上記参照画像のＰＯＣは、参照画像に関連付けられたＰＯＣの値自体であってもよいし、ＰＯＣのＬＳＢ（Least Significant Bit）、すなわち、ＰＯＣを既定の２の冪乗の数で割った余りの値を用いてもよい。
（３．ＳＨ短期ＲＰＳ情報）
ＳＨ短期ＲＰＳ情報は、スライスヘッダを参照するピクチャから利用され得る単一の短期参照画像セットの情報を含む。
ＳＰＳ短期ＲＰＳ情報の復号について、図１３を参照して説明する。図１３は、スライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図１３の（Ａ）の部分がＳＨ短期ＲＰＳ情報に相当する。ＳＨ短期ＲＰＳ情報は、短期参照画像セットをＳＰＳで復号済みの短期参照画像セットの中から選択するか、スライスヘッダに明示的に含めるかを示すフラグ（short_term_ref_pic_set_sps_flag）を含む。ＳＰＳで復号済の中から選択する場合、復号済の短期参照画像セットを一つ選択する識別子（short_term_ref_pic_set_idx）が含まれる。スライスヘッダに明示的に含める場合は、前述の図１２を参照して説明したシンタックス表（short_term_ref_pic_set(idx)）に相当する情報が、ＳＰＳ短期ＲＰＳ情報に含まれる。
（４．ＳＨ長期ＲＰ情報）
ＳＨ長期ＲＰ情報は、スライスヘッダを参照するピクチャから利用され得る長期参照画像の情報を含む。
ＳＨ長期ＲＰ情報の復号について、図１３を再び参照して説明する。図１３の（Ｂ）の部分がＳＨ長期ＲＰ情報に相当する。ＳＨ長期ＲＰ情報は、対象ピクチャで長期参照画像が利用可能（long_term_ref_pic_present_flag）である場合のみスライスヘッダに含まれる。ＳＰＳで１以上の長期参照画像を復号済である場合（num_long_term_ref_pics_sps>0）、ＳＰＳで復号済の長期参照画像の中で対象ピクチャで参照され得る参照画像の数（num_long_term_sps）がＳＨ長期ＲＰ情報に含まれる。また、スライスヘッダで明示的に伝送される長期参照画像数（num_long_term_pics）がＳＨ長期ＲＰ情報に含まれる。加えて、上記num_long_term_spsの数の長期参照画像をＳＰＳで伝送済の長期参照画像の中から選択する情報（lt_idx_sps[i]）がＳＨ長期ＲＰ情報に含まれる。さらに、スライスヘッダに明示的に含める長期参照画像の情報として、上記num_long_term_picsの数だけ、参照画像のＰＯＣ（poc_lsb_lt [i]）、および、対象ピクチャの参照画像として使用される可能性の有無（used_by_curr_pic_lt_flag[i]）が含まれる。
＜参照画像リスト復号処理＞
RPL修正情報は、参照画像リストRPLを構築するためにＳＰＳまたはスライスヘッダより復号される情報である。RPL修正情報には、SPSリスト修正情報、および、SHリスト修正情報が含まれる。
（ＳＰＳリスト修正情報）
ＳＰＳリスト修正情報はＳＰＳに含まれる情報であり、参照画像リスト修正の制約に係る情報である。ＳＰＳリスト修正情報について、図１１を再び参照して説明する。図１１の（Ｃ）の部分がＳＰＳリスト修正情報に相当する。ＳＰＳリスト修正情報には、ピクチャに含まれる前スライスで参照画像リストが共通か否かを示すフラグ（restricted_ref_pic_lists_flag）、および、スライスヘッダ内にリスト並べ替えに関する情報が存在するか否かを示すフラグ（lists_modification_present_flag）が含まれる。
（ＳＨリスト修正情報）
ＳＨリスト修正情報はスライスヘッダに含まれる情報であり、対象ピクチャに適用される参照画像リストの長さ（参照リスト長）の更新情報、および、参照画像リストの並べ替え情報（参照リスト並べ替え情報）が含まれる。SHリスト修正情報について、図１４を参照して説明する。図１４はスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図１４の（Ｃ）の部分がＳＨリスト修正情報に相当する。
参照リスト長更新情報として、リスト長の更新有無を示すフラグ（num_ref_idx_active_override_flag）が含まれる。加えて、Ｌ０参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l0_active_minus1）、および、Ｌ１参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l1_active_minus1）が含まれる。
参照リスト並べ替え情報としてスライスヘッダに含まれる情報について、図１５を参照して説明する。図１５はスライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示している。
参照リスト並べ替え情報には、Ｌ０参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l0）が含まれる。前記フラグの値が１（Ｌ０参照リストの並べ替えが有る場合）、かつ、NumPocTotalCurrが２より大きい場合、Ｌ０参照リスト並べ替え順序（list_entry_l0[i]）が参照リスト並べ替え情報に含まれる。ここで、NumPocTotalCurrは、現ピクチャにおいて利用可能な参照画像の数を表す変数である。したがって、Ｌ０参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照画像数が２より大きい場合にのみ、Ｌ０参照リスト並べ替え順序がスライスヘッダに含まれる。
同様に、参照画像がＢスライスである場合、つまり、対象ピクチャにおいてＬ１参照リストが利用可能である場合、Ｌ１参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l1）が参照リスト並べ替え情報に含まれる。前記フラグの値が１、かつ、NumPocTotalCurrが２より大きい場合、Ｌ１参照リスト並べ替え順序（list_entry_l1[i]）が参照リスト並べ替え情報に含まれる。言い換えると、Ｌ１参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照画像数が２より大きい場合にのみ、Ｌ１参照リスト並べ替え順序がスライスヘッダに含まれる。
＜参照画像セット構築処理＞
上記の各シンタックス値に基づく参照画像セット導出処理の詳細を説明する。なお、参照画像セット導出処理は、本実施形態においては、テクスチャ復元部１５内の参照画像リスト設定部１５５で実行される。
ＲＰＳ情報と、復号画像バッファ１３に記録されている情報に基づいて、対象ピクチャの復号に用いる参照画像セットRPSを生成する。参照画像セットRPSは、対象ピクチャ、または、対象ピクチャに復号順で後続の同一レイヤ上のピクチャにおいて、復号時に参照画像として利用可能なピクチャ（参照可能ピクチャ）の集合である。参照画像セットは、参照可能ピクチャの種類に応じて次の２つのサブセットに分けられる。
・現ピクチャ参照可能リストListCurr：復号画像バッファ上のピクチャのうち、対象ピクチャにおける参照可能ピクチャのリスト
・後続ピクチャ参照可能リストListFoll：対象ピクチャでは参照されないが、対象ピクチャに復号順で後続のピクチャで参照可能な復号画像バッファ上のピクチャのリスト
なお、現ピクチャ参照可能リストに含まれるピクチャの数を、現ピクチャ参照可能ピクチャ数NumCurrListと呼ぶ。なお、前述の図１５を参照して説明したNumPocTotalCurrは、NumCurrListと同一である。
現ピクチャ参照可能リストは、さらに３つの部分リストから構成される。
・現ピクチャ長期参照可能リストListLtCurr：ＳＰＳ長期ＲＰ情報またはSH長期RP情報により指定される現ピクチャ参照可能ピクチャ
・現ピクチャ短期前方参照可能リストListStCurrBefore：ＳＰＳ短期ＲＰＳ情報またはＳＨ短期ＲＰＳ情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
・現ピクチャ短期後方参照可能リストListStCurrAfter：ＳＰＳ短期ＲＰＳ情報またはＳＨ短期ＲＰＳ情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
後続ピクチャ参照可能リストは、さらに２つの部分リストから構成される。
・後続ピクチャ長期参照可能リストListLtFoll：ＳＰＳ長期ＲＰ情報またはＳＨ長期ＲＰ情報により指定される後続ピクチャ参照可能ピクチャ。
・後続ピクチャ短期参照可能リストListStFoll：ＳＰＳ短期ＲＰＳ情報またはＳＨ短期ＲＰＳ情報により指定される現ピクチャ参照可能ピクチャ。
参照画像リスト設定部１５５は、参照画像セットＲＰＳ、すなわち、現ピクチャ短期前方参照可能リストListStCurrBefore、現ピクチャ短期後方参照可能リストListStCurrAfter、現ピクチャ長期参照可能リストListLtCurr、後続ピクチャ短期参照可能リストListStFoll、および、後続ピクチャ長期参照可能リストListLtFollを次の手順で生成する。加えて、現ピクチャ参照可能ピクチャ数を表す変数NumPocTotalCurrを導出する。なお、前記各参照可能リストは、以下の処理の開始前に空に設定されているとする。
（Ｓ２０１）ＳＰＳ短期ＲＰＳ情報、および、ＳＨ短期ＲＰＳ情報に基づいて、対象ピクチャの復号に用いる単一の短期参照画像セットを特定する。具体的には、ＳＨ短期ＲＰＳ情報に含まれるshort_term_ref_pic_set_spsの値が０である場合、ＳＨ短期ＲＰＳ情報に含まれるスライスヘッダで明示的に伝送された短期ＲＰＳを選択する。それ以外（short_term_ref_pic_set_spsの値が１の場合、ＳＨ短期ＲＰＳ情報に含まれるshort_term_ref_pic_set_idxが示す短期ＲＰＳを、ＳＰＳ短期ＲＰＳ情報に含まれる複数の短期ＲＰＳの中から選択する。
（Ｓ２０２）選択された短期ＲＰＳに含まれる参照画像各々のＰＯＣの値を導出し、復号画像バッファ１３上に当該ＰＯＣ値と関連付けられて記録されている局所復号画像の位置を検出して、参照画像の復号画像バッファ上の記録位置として導出する。
参照画像のＰＯＣ値は、参照画像が前方短期参照画像の場合、対象ピクチャのＰＯＣの値から「delta_poc_s0_minus1[i]+1」の値を減算して導出する。一方、参照画像が後方短期参照画像の場合、対象ピクチャのＰＯＣの値に「delta_poc_s1_minus1[i]+1」の値を加算して導出する。
（Ｓ２０３）短期ＲＰＳに含まれる前方参照画像を伝送された順に確認し、関連付けられているused_by_curr_pic_s0_flag[i]の値が1である場合、当該前方参照画像を現ピクチャ短期前方参照可能リストListStCurrBeforeに追加する。それ以外（used_by_curr_pic_s0_flag[i]の値が0）の場合、当該前方参照画像を後続ピクチャ短期参照可能リストListStFollに追加する。
（Ｓ２０４）短期ＲＰＳに含まれる後方参照画像を伝送された順に確認し、関連付けられているused_by_curr_pic_s1_flag[i]の値が1である場合、当該後方参照画像を現ピクチャ短期後方参照可能リストListStCurrAfterに追加する。それ以外（used_by_curr_pic_s1_flag[i]の値が０の場合、当該前方参照画像を後続ピクチャ短期参照可能リストListStFollに追加する。
（Ｓ２０５） ＳＰＳ長期ＲＰ情報、および、ＳＨ長期ＲＰ情報に基づいて、対象ピクチャの復号に用いる長期参照画像セットを特定する。具体的には、num_long_term_spsの数の参照画像をＳＰＳ長期ＲＰ情報に含まれる参照画像の中から選択して、順に長期参照画像セットに追加する。選択される参照画像は、lt_idx_sps[i]の示す参照画像である。続いて、num_long_term_picsの数の参照画像をＳＨ長期ＲＰ情報に含まれる参照画像を順に長期参照画像セットに追加する。
（Ｓ２０６）長期参照画像セットに含まれる参照画像各々のＰＯＣの値を導出し、復号画像バッファ１３上に当該ＰＯＣ値と関連付けられて記録されている局所復号画像の位置を検出して、参照画像の復号画像バッファ上の記録位置として導出する。
長期参照画像のＰＯＣは、関連付けて復号されたpoc_lst_lt[i]、または、lt_ref_pic_poc_lsb_sps[i]の値から直接導出される。
（Ｓ２０７）長期参照画像セットに含まれる参照画像を順に確認し、関連付けられているused_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が1である場合、当該長期参照画像を現ピクチャ長期参照可能リストListLtCurrに追加する。それ以外（used_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が0）の場合、当該長期参照画像を後続ピクチャ長期参照可能リストListLtFollに追加する。
（Ｓ２０８）変数NumPocTotalCurrの値を、現ピクチャから参照可能な参照画像の和に設定する。すなわち、変数NumPocTotalCurrの値を、現ピクチャ短期前方参照可能リストListStCurrBefore、現ピクチャ短期後方参照可能リストListStCurrAfter、および、現ピクチャ長期参照可能リストListLtCurrの３つのリストの各要素数の和に設定する。
＜参照画像リスト構築処理＞
参照画像リスト構築処理の詳細を説明する。参照画像リスト導出部は、参照画像セットＲＰＳと、ＲＰＬ修正情報に基づいて参照画像リストＲＰＬを生成する。
参照画像リストはＬ０参照リストとＬ１参照リストの２つのリストから構成される。始めに、Ｌ０参照リストの構築手順を説明する。Ｌ０参照リストは、以下のＳ３０１〜Ｓ３０７に示す手順で構築される。
（Ｓ３０１）暫定Ｌ０参照リストを生成して、空のリストに初期化する。
（Ｓ３０２）暫定Ｌ０参照リストに対し、現ピクチャ短期前方参照可能リストに含まれる参照画像を順に追加する。
（Ｓ３０３）暫定Ｌ０参照リストに対し、現ピクチャ短期後方参照可能リストに含まれる参照画像を順に追加する。
（Ｓ３０４）暫定Ｌ０参照リストに対し、現ピクチャ長期参照可能リストに含まれる参照画像を順に追加する。
（Ｓ３０５）参照画像リストが修正される場合（ＲＰＬ修正情報に含まれるlists_modification_present_flagの値が１の場合）、以下のＳ３０６ａ〜Ｓ３０６ｂの処理を実行する。そうでない場合（lists_modification_present_flagの値が０の場合）、Ｓ３０７の処理を実行する。
（Ｓ３０６ａ）Ｌ０参照画像の修正が有効な場合（ＲＰＬ修正情報に含まれるref_pic_list_modification_flag_l0の値が１の場合）であって、かつ、現ピクチャ参照可能ピクチャ数NumCurrListが２に等しい場合、Ｓ３０６ｂを実行する。そうでない場合、Ｓ３０６ｃを実行する。
（Ｓ３０６ｂ）ＲＰＬ修正情報に含まれるリスト並べ替え順序list_entry_l0[i]の値を下記の式により設定し、その後、Ｓ３０６ｃを実行する。
list_entry_l0[0] = 1
list_entry_l0[1] = 0
（Ｓ３０６ｃ）参照リスト並べ替え順序list_entry_l0[i]の値に基づいて、暫定Ｌ０参照リストの要素を並べ換えて、Ｌ０参照リストとする。参照画像インデックスrIdxに対応するＬ０参照リストの要素RefPicList0[rIdx]は、次式により導出される。ここで、RefListTemp0[i]は、暫定Ｌ０参照リストのi番目の要素を表す。
RefPicList0[ rIdx ] = RefPicListTemp0[ list_entry_l0[ rIdx ] ]
上記の式によれば、参照リスト並べ替え順序list_entry_l0[i]において、参照画像インデックスrIdxの示す位置に記録されている値を参照し、暫定Ｌ０参照リストにおいて前記値の位置に記録されている参照画像を、Ｌ０参照リストのrIdxの位置の参照画像として格納する。
（Ｓ３０７）暫定Ｌ０参照リストをＬ０参照リストとする。
次にＬ１参照リストを構築する。なお、Ｌ１参照リストも、上記Ｌ０参照リストと同様の手順で構築できる。上記Ｌ０参照リストの構築手順（Ｓ３０１〜Ｓ３０７）において、Ｌ０参照画像、Ｌ０参照リスト、暫定Ｌ０参照リスト、list_entry_l0をそれぞれ、Ｌ１参照画像、Ｌ１参照リスト、暫定Ｌ１参照リスト、list_entry_l1と置き換えればよい。
＜レイヤ間参照画像セット復号処理＞
ＩＬ−ＲＰＳ情報（レイヤ間参照画像セット情報）は、レイヤ間参照画像セットを構築するためにＳＰＳまたはスライスヘッダより復号される情報である。なお、対象ピクチャは対象レイヤ（拡張レイヤ）上のピクチャであるため、以下の説明におけるＳＰＳやスライスヘッダは、対象レイヤ（拡張レイヤ）のピクチャ復号時に参照されるＳＰＳやスライスヘッダを意味する。図１６はＩＬ−ＲＰＳ情報に係るＳＰＳシンタックス表（seq_parameter_set_rbsp）の一部を示す図である。ＳＰＳには、ＩＬ−ＲＰＳ情報であるシンタックス要素として、ＳＰＳレイヤ間ＲＰＳ推定フラグ（sps_infer_inter_layer_rps_flag）、および、レイヤ間ＲＰＳ数（num_inter_layer_ref_pic_sets）を含む。また、ＩＬ−ＲＰＳ情報であるシンタックス構造として、レイヤ間ＲＰＳ（inter_layer_ref_pic_set(i)）を含む。
ＳＰＳレイヤ間ＲＰＳ推定フラグは、ＳＰＳが適用されるシーケンスにおいて、レイヤ間参照画像セットが推定されるか否かを示すフラグである。ＳＰＳレイヤ間ＲＰＳ推定フラグの値が１の場合、レイヤ間参照画像セットが推定されることを示し、同フラグの値が０の場合、レイヤ間参照画像セットが明示的符号化データから復号されることを示す。レイヤ間参照画像セットが推定される場合、例えば、各ピクチャにおけるレイヤ間参照画像セットは、当該ピクチャと出力順が等しい参照レイヤ上のピクチャにおける参照画像セットを複製することで実現できる。また、例えば、各ピクチャにおける参照画像セットをコピーして、複製した参照画像セットに含まれる拡張レイヤ上のピクチャの復号画像を、それぞれ出力順の等しい参照レイヤ上のピクチャにおける復号画像に置き換えることでも実現できる。
レイヤ間ＲＰＳ数は、ＳＰＳに含まれるレイヤ間参照画像セット情報の数を示す。ＳＰＳには、レイヤ間ＲＰＳ数と等しい個数のレイヤ間参照画像セット情報が含まれる。
レイヤ間参照画像セット情報について、図１７を参照して説明する。図１７は、ＳＰＳ復号時、および、スライスヘッダ復号時に利用されるレイヤ間参照画像セット（inter_layer_ref_pic_set）のシンタックス表を例示している。
レイヤ間参照画像セット情報には、対象ピクチャより表示順が早いレイヤ間参照画像数（num_negative_il_pics）、および、対象ピクチャより表示順が遅いレイヤ間参照画像数（num_positive_il_pics）が含まれる。なお、以下では、対象ピクチャより表示順が早いレイヤ間参照画像を前方レイヤ間参照画像、対象ピクチャより表示順が遅いレイヤ間参照画像を後方レイヤ間参照画像と呼ぶ。
また、レイヤ間参照画像セット情報には、各前方レイヤ間参照画像に対して、対象ピクチャに対するＰＯＣ差分の絶対値（delta_poc_il_s0_minus1[i]）、および、対象ピクチャがレイヤ間参照画像として使用される可能性の有無（used_by_curr_pic_il_s0_flag[i]）が含まれる。num_negative_pics、delta_poc_il_s0_minus[i]、used_by_curr_pic_il_s0_flag[i]はレイヤ間参照画像セットに含まれる前方レイヤ間参照画像を示すレイヤ間参照画像セット情報である。
加えて、各後方レイヤ間参照画像に対して、対象ピクチャに対するＰＯＣ差分の絶対値（delta_poc_il_s1_minus1[i]）、および、対象ピクチャがレイヤ間参照画像として使用される可能性の有無（used_by_curr_pic_il_s1_flag[i]）が含まれる。num_positive_pics、delta_poc_il_s1_minus[i]、used_by_curr_pic_il_s1_flag[i]はレイヤ間参照画像セット内の後方レイヤ間参照画像を示すレイヤ間参照画像セット情報である。
加えて、レイヤ間参照画像セット情報には、対象ピクチャと表示順（ＰＯＣ）が等しい参照レイヤ上のピクチャ（同時刻レイヤ間参照画像）がレイヤ間参照画像セットに含まれるか否かを示すフラグ（il_col_pic_in_rps_flag）を含む。同時刻レイヤ間参照画像がレイヤ間参照画像セットに含まれる場合（il_col_pic_in_rps_flagが１の場合）、同時刻レイヤ間参照画像が対象ピクチャのレイヤ間参照画像として使用される可能性の有無（used_by_curr_pic_il_col_flag）が含まれる。il_col_pic_in_rps_flagとused_by_curr_pic_il_col_flagは、レイヤ間参照画像セット内の同時刻レイヤ間参照画像を示すレイヤ間参照画像セット情報である。
上記、図１７を参照して説明したレイヤ間参照画像セット情報のシンタックス表には次の特徴がある。すなわち、レイヤ間参照画像セット情報の前半部分（図中のＡの部分）には、レイヤ間同時刻ピクチャを除く参照レイヤのピクチャに係るレイヤ間参照ピクチャ情報が含まれている。加えて、前記前半部分のシンタックス構造は、図１２を参照して説明した短期参照画像セットのシンタックス構造と同じ構造となっている。ここで、同じ構造とは、同一のパース処理によりシンタックス値を復号できることを意味する。後半部分（図中のＢの部分）には、レイヤ間同時刻ピクチャに関するレイヤ間参照ピクチャ情報が含まれている。
上記のようなレイヤ間参照画像のシンタックス構造を用いることで、前半部分のパース処理に、短期参照画像セットに用いるパース処理を流用できるため、階層動画像復号装置の実装を単順化できるという利点がある。
なお、上記のシンタックス構造の例では、表示時刻の基準としてＰＯＣを用いることを仮定しているが、それに限らない。例えば、ピクチャ毎に表示時刻が直接関連付けられている場合には、表示時刻の差分をＰＯＣ差分を表すシンタックス値（delta_poc_il_s0_minus1、および、delta_poc_il_s1_minus）に設定しても構わない。
図１８はＩＬ−ＲＰＳ情報に係るスライスヘッダシンタックス表（seq_parameter_set_rbsp）の一部を示す図である。スライスヘッダ内のＩＬ−ＲＰＳ情報は、スライスヘッダを参照するピクチャから利用され得る単一のレイヤ間参照画像セットの情報を含む。
スライスヘッダ内のＩＬ−ＲＰＳ情報（ＳＨ−ＩＬ−ＲＰＳ情報）の復号について、図１８を参照して説明する。図１８は、スライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。ＳＨ−ＩＬ−ＲＰＳ情報は、レイヤ間参照画像セットが推定されるない場合（sps_infer_inter_layer_rps_flagが０の場合）に復号される。ＳＨ―ＩＬ−ＲＰＳ情報は、レイヤ間参照画像セットをＳＰＳで復号済みのレイヤ間参照画像セットの中から選択するか、スライスヘッダに明示的に含めるかを示すフラグ（il_ref_pic_set_sps_flag）を含む。ＳＰＳで復号済の中から選択する場合、復号済のレイヤ間参照画像セットから一つのセットを選択する識別子（il_ref_pic_set_idx）がＳＨ―ＩＬ−ＲＰＳ情報に含まれる。スライスヘッダに明示的に含める場合は、前述の図１７を参照して説明したシンタックス表（inter_layer_ref_pic_set()）に相当する情報がＳＨ―ＩＬ−ＲＰＳ情報に含まれる。
＜レイヤ間参照画像リスト復号処理＞
レイヤ間参照画像リスト修正情報（ＩＬ−ＲＰＬ修正情報）はスライスヘッダに含まれる情報であり、対象ピクチャに適用されるレイヤ間参照画像リストの長さ（レイヤ間参照リスト長）の更新情報、および、参照画像リストの並べ替え情報（レイヤ間参照リスト並べ替え情報）が含まれる。ＩＬ−ＲＰＬ修正情報について、図２０を参照して説明する。図２０はスライスヘッダ復号時に利用されるスライスヘッダシンタックス表のおいて、レイヤ間参照画像リスト情報に係る部分を例示している。
レイヤ間参照リスト長更新情報として、リスト長の更新有無を示すフラグ（num_il_ref_idx_active_override_flag）が含まれる。加えて、レイヤ間参照リストの変更後の参照リスト長を表す情報（num_il_ref_idx_ active_minus1）が含まれる。
レイヤ間参照リスト並べ替え情報としてスライスヘッダに含まれる情報について、図２１を参照して説明する。図２１はスライスヘッダ復号時に利用されるレイヤ間参照リスト並べ替え情報のシンタックス表を例示している。
レイヤ間参照リスト並べ替え情報には、レイヤ間参照画像リスト並べ替え有無フラグ（il_ref_pic_list_modification_flag）が含まれる。前記フラグの値が１（レイヤ間参照画像リストを並べ替える場合）、レイヤ間参照画像リスト並べ替え順序（list_entry_il[i]）が参照画像リスト並べ替え情報に含まれる。
＜レイヤ間参照画像セット構築処理＞
上記の各シンタックス値に基づくレイヤ間参照画像セット構築処理の詳細を説明する。なお、参照画像セット導出処理は、本実施形態においては、テクスチャ復元部１５内のレイヤ間参照画像リスト設定部１５６で実行される。
ＩＬ−ＲＰＳ情報と、ベース復号画像バッファ１７に記録されている情報に基づいて、対象ピクチャの復号に用いるレイヤ間参照画像セットILRPSを生成する。レイヤ間参照画像セットILRPSは、対象ピクチャ、または、対象ピクチャに復号順で後続の対象レイヤ上のピクチャにおいて、復号時にベース参照画像として利用可能な参照レイヤ上のピクチャの集合（レイヤ間参照可能ピクチャの集合）である。レイヤ間参照画像セットは、レイヤ間参照可能ピクチャの種類に応じて次の２つのサブセットに分けられる。
・現レイヤ間参照可能リストListIlCurr：ベース復号画像バッファ上のピクチャのうち、対象ピクチャにおけるレイヤ間参照可能ピクチャのリスト
・後続レイヤ間参照可能リストListIlFoll：対象ピクチャでは参照されないが、対象ピクチャに復号順で後続の拡張レイヤ上のピクチャで参照可能なベース復号画像バッファ上のピクチャのリスト
なお、現レイヤ間参照可能リストに含まれるピクチャの数を、現レイヤ間参照可能ピクチャ数NumIlCurrListと呼ぶ。
現レイヤ間参照可能リストは、さらに３つの部分リストから構成される。
・現レイヤ間前方参照可能リストListIlCurrBefore：ＩＬ−ＲＰＳ情報により指定される現レイヤ間参照可能ピクチャであって、表示順が対象ピクチャより早いもの。
・現レイヤ間後方参照可能リストListIlCurrAfter：ＩＬ−ＲＰＳ情報により指定される現レイヤ間参照可能ピクチャであって、表示順が対象ピクチャより早いもの。
・現レイヤ間同時刻参照可能ピクチャリストListIlCurrCol：ＩＬ−ＲＰＳ情報により指定される現レイヤ間参照可能ピクチャであって、表示順が対象ピクチャと同じもの。
後続レイヤ間参照可能リストは、次の通り定義される。
・後続レイヤ間参照可能リスト（ListIlFoll）：ＩＬ−ＲＰＳ情報により指定される後続レイヤ間参照可能ピクチャ。
レイヤ間参照画像リスト設定部１５６は、レイヤ間参照画像セットILRPS、すなわち、現レイヤ間前方参照可能リストListIlCurrBefore、現レイヤ間後方参照可能リストListIlCurrAfter、および、後続レイヤ間参照可能リストListIlFollを次の手順で生成する。加えて、現レイヤ間参照可能ピクチャ数を表す変数NumIlPocTotalCurrを導出する。なお、前記各レイヤ間参照可能リストは、以下の処理の開始前に空に設定されているとする。
（Ｓ４０１）ＳＰＳおよびスライスヘッダより復号されたＩＬ−ＲＰＳ情報に基づいて、対象ピクチャの復号に用いる単一のレイヤ間参照画像セットを特定する。具体的には、スライスヘッダのＩＬ−ＲＰＳ情報に含まれるil_ref_pic_set_sps_flagの値が０である場合、スライスヘッダで明示的に伝送されたレイヤ間参照画像セットを選択する。それ以外（il_ref_pic_set_sps_flagの値が１の場合）、ＩＬ−ＲＰＳ情報に含まれるil_ref_pic_set_idxが示すレイヤ間参照画像セットを、ＳＰＳで復号されたＩＬ−ＲＰＳ情報に含まれる複数のレイヤ間参照画像セットの中から選択する。
（Ｓ４０２）選択されたレイヤ間参照画像セットに含まれるレイヤ間参照画像各々のＰＯＣの値を導出し、ベース復号画像バッファ１７上に当該ＰＯＣ値と関連付けられて記録されている参照レイヤの復号画像の位置を検出して、レイヤ間参照画像の復号画像バッファ上の記録位置として導出する。
レイヤ間参照画像のＰＯＣ値は、レイヤ間参照画像が前方レイヤ間参照画像の場合、対象ピクチャのＰＯＣの値から「delta_poc_il_s0_minus1[i]+1」の値を減算して導出する。一方、レイヤ間参照画像が後方短期参照画像の場合、対象ピクチャのＰＯＣの値に「delta_poc_il_s1_minus1[i]+1」の値を加算して導出する。
（Ｓ４０３）レイヤ間参照画像セットに含まれる前方レイヤ間参照画像を伝送された順に確認し、関連付けられているused_by_curr_pic_il_s0_flag[i]の値が1である場合、当該前方レイヤ間参照画像を現レイヤ間前方参照可能リストListIlCurrBeforeに追加する。それ以外（used_by_curr_pic_il_s0_flag[i]の値が0）の場合、当該前方レイヤ間参照画像を後続レイヤ間参照可能リストListIlFollに追加する。
（Ｓ４０４）レイヤ間参照画像セットに含まれる後方レイヤ間参照画像を伝送された順に確認し、関連付けられているused_by_curr_pic_il_s1_flag[i]の値が1である場合、当該後方レイヤ間参照画像を現レイヤ間後方参照可能リストListIlCurrAfterに追加する。それ以外（used_by_curr_pic_il_s1_flag[i]の値が0）の場合、当該前方レイヤ間参照画像を後続レイヤ間参照可能リストListIlFollに追加する。
（Ｓ４０５）レイヤ間参照画像セットに含まれる対象ピクチャと同時刻の表示順のレイヤ間参照画像を確認し、関連付けられているused_by_curr_pic_il_col_flagの値が1である場合、当該レイヤ間参照画像を現レイヤ間同時刻参照可能リストListIlCurrColに追加する。それ以外（used_by_curr_pic_il_col_flagの値が0）の場合、当該レイヤ間参照画像を後続レイヤ間参照可能リストListIlFollに追加する。
（Ｓ４０６）変数NumIlPocTotalCurrの値を、現ピクチャから参照可能なレイヤ間参照画像の和に設定する。すなわち、変数NumIlPocTotalCurrの値を、現レイヤ間前方参照可能リストListIlCurrBefore、および、現レイヤ間後方参照可能リストListIlCurrAfterの各要素数の和に設定する。
上記手順により、可変長復号部１２で復号されたレイヤ間参照画像セットに係るシンタックスに基づいて、レイヤ間参照画像リスト設定部１５６において、対象ピクチャの復号に用いるレイヤ間参照画像セットを構築できる。なお、上記のレイヤ間参照画像セットに係るシンタックス、および、レイヤ間参照画像リスト導出処理は、あくまで例示であって、上記以外のシンタックスや構築処理によりレイヤ間参照画像リストを導出してもよい。
上記手順で構築されるレイヤ間参照画像セットは、対象ピクチャ、または、対象ピクチャに出力順で後続の対象レイヤ上のピクチャの復号に用いられる可能性のあるベース復号画像の集合（レイヤ間参照可能ピクチャの集合）を含んでいる。そのため、レイヤ間参照画像セットに基づいて、対象ピクチャ復号時にベース復号画像バッファ１７に保持しておくべき参照レイヤの復号画像（ベース復号画像）を特定できる。したがって、レイヤ間参照画像セットを用いることで、必要最低限のベース復号画像のみをベース復号画像バッファ１７に残しておくことで、ベース復号画像バッファのメモリ量を削減できる。
また、上記手順で構築されるレイヤ間参照画像セットは、対象ピクチャの復号に用いられる可能性のあるベース復号画像の集合（現レイヤ間参照可能リスト）を含んでいる。そのため、テクスチャ復元部１５では、現レイヤ間参照可能リストに含まれるベース復号画像の中からベース参照画像を選択してレイヤ間予測画像を生成できる。したがって、対象ピクチャと同一出力順のベース復号画像のみをベース参照画像としてレイヤ間予測画像を生成する場合に較べて、入力画像に近い予測画像を生成できるため、予測残差の符号量を減らすことができ、結果として、少ない符号量の対象レイヤの階層符号化データを生成できる。
＜レイヤ間参照画像リスト構築処理＞
レイヤ間参照画像リスト構築処理の詳細を説明する。テクスチャ復元部１５内のレイヤ間参照画像リスト設定部１５６は、レイヤ間参照画像セットＩＬＲＰＳと、ＩＬ−ＲＰＬ修正情報に基づいてレイヤ間参照画像リストＩＬＲＰＬを生成する。
レイヤ間参照画像リスト（ＩＬ参照リスト）は、以下のＳ５０１〜Ｓ５０７に示す手順で構築される。
（Ｓ５０１）暫定ＩＬ参照リストを生成して、空のリストに初期化する。
（Ｓ５０２）暫定ＩＬ参照リストに対し、現レイヤ間同時刻参照可能リストに含まれる参照画像を順に追加する。
（Ｓ５０３）暫定ＩＬ参照リストに対し、現レイヤ間前方参照可能リストに含まれる参照画像を順に追加する。
（Ｓ５０４）暫定ＩＬ参照リストに対し、現レイヤ間後方参照可能リストに含まれる参照画像を順に追加する。
（Ｓ５０５）レイヤ間参照画像リストが修正される場合（ＲＰＬ修正情報に含まれるlists_modification_present_flagの値が１の場合）、以下のＳ５０６の処理を実行する。そうでない場合（lists_modification_present_flagの値が０の場合）、Ｓ５０７の処理を実行する。
（Ｓ５０６）レイヤ間参照リスト並べ替え順序list_entry_il[i]の値に基づいて、暫定ＩＬ参照リストの要素を並べ換えて、ＩＬ参照リストとする。参照画像インデックスrIdxに対応するＩＬ参照リストの要素RefPicListIl[rIdx]は、次式により導出される。ここで、RefListTempIl[i]は、暫定ＩＬ参照リストのi番目の要素を表す。
RefPicListIl[ rIdx ] = RefPicListTempIl[ list_entry_il[ rIdx ] ]
上記の式によれば、レイヤ間参照リスト並べ替え順序list_entry_il[i]において、参照画像インデックスrIdxの示す位置に記録されている値を参照し、暫定ＩＬ参照リストにおいて前記値の位置に記録されているレイヤ間参照画像を、ＩＬ参照リストのrIdxの位置のレイヤ間参照画像として格納する。その後、処理を終了する。
（Ｓ５０７）暫定ＩＬ参照リストをＩＬ参照リストとする。その後、処理を終了する。
上記手順で構築されるレイヤ間参照画像リストは、レイヤ間参照画像セットに含まれる、対象ピクチャの復号に用いられる可能性のあるベース復号画像の集合（現レイヤ間参照可能リスト）に含まれるベース復号画像を重複を許して並び替えたリストである。そのため、選択頻度の高いベース参照画像がより高い優先度となるようレイヤ間参照画像リストを構築した上で、レイヤ間参照画像リスト上の高い優先度のベース参照画像を選択する場合の予測パラメータに、低い優先度を選択する場合の予測パラメータに較べて短い符号を割り当てることで、選択頻度の高いベース復号画像を短い符号の予測パラメータで選択できるため、階層符号化データの符号量を低減できる。
図５を用いて、ベース復号部１６の詳細構成について説明する。図５は、ベース復号部１６の構成について例示した機能ブロック図である。
図５に示すように、ベース復号部１６は、可変長復号部１６１、ベース予測パラメータ復元部１６２、ベース変換係数復元部１６３、およびベーステクスチャ復元部１６４を備える。
可変長復号部１６１は、参照レイヤ符号化データＤＡＴＡ＃Ｒに含まれるバイナリから各種のシンタックス値を復号する。
具体的には、可変長復号部１６１は、予測情報および変換係数情報を符号化データＤＡＴＡ＃Ｒから復号する。可変長復号部１６１が復号する予測情報および変換係数のシンタックスは、可変長復号部１２と同様であるのでここではその詳細な説明を省略する。
可変長復号部１６１は、復号した予測情報をベース予測パラメータ復元部１６２に供給するとともに、復号した変換係数情報をベース変換係数復元部１６３に供給する。
ベース予測パラメータ復元部１６２は、可変長復号部１６１から供給される予測情報に基づいて、ベース予測パラメータを復元する。ベース予測パラメータ復元部１６２が、ベース予測パラメータを復元する方法については、予測パラメータ復元部１４と同様であるので、ここではその詳細な説明を省略する。ベース予測パラメータ復元部１６２は、復元したベース予測パラメータを、ベーステクスチャ復元部１６４に供給する。
ベース変換係数復元部１６３は、可変長復号部１６１から供給される変換係数情報に基づいて、変換係数を復元する。ベース変換係数復元部１６３が変換係数を復元する方法については、逆直交変換・逆量子化部１５１と同様であるので、ここではその詳細な説明を省略する。ベース変換係数復元部１６３は、復元したベース変換係数を、ベーステクスチャ復元部１６４に供給する。
ベーステクスチャ復元部１６４は、ベース予測パラメータ復元部１６２から供給されるベース予測パラメータと、ベース変換係数復元部１６３から供給されるベース変換係数とを用いて、復号画像を生成する。具体的には、ベーステクスチャ復元部１６４は、ベース予測パラメータに基づき、テクスチャ予測部１５２と同様のテクスチャ予測を行って、予測画像を生成する。また、ベーステクスチャ復元部１６４は、ベース変換係数に基づいて予測残差を生成し、生成した予測残差と、テクスチャ予測により生成した予測画像とを加算することでベース復号画像を生成する。
なお、ベーステクスチャ復元部１６４は、ベース復号画像に対して、ループフィルタ部１５４と同様のフィルタ処理を施してもよい。また、ベーステクスチャ復元部１６４は、復号済みのベース復号画像を格納するためのフレームメモリを備えていてもよく、テクスチャ予測においてフレームメモリに格納されている復号済みのベース復号画像を参照してもよい。
（動画像復号装置１の効果）
以上説明した本実施形態に係る階層動画像復号装置１は、レイヤ間参照画像セットを導出するレイヤ間参照画像リスト設定部を備えている。したがって、階層動画像復号装置１は、レイヤ間参照画像セットを利用することで、復号対象ピクチャと表示順の異なる参照レイヤの復号画像を用いて生成された予測画像を用いて少ない符号量で符号化された符号化データから対象ピクチャの復号画像を再生できる。また、レイヤ間参照画像セットを利用することで、参照レイヤの復号画像が、対象レイヤの予測画像生成に用いられなくなるタイミングを特定して、ベース復号画像バッファから削除できるため、メモリ量を低減できる。
〔変形例１：レイヤ間参照画像セット復号処理２：短期RPSとの差分をシグナル〕
上記の動画像復号装置１の説明では、図１６、図１７、図１８を参照してを、ＩＬ−ＲＰＳ情報を、ＲＰＳ情報（参照画像セット情報）とは別にシグナルする方法を示したが、参照画像セットとレイヤ間参照画像セットの差分に相当する情報をＩＬ−ＲＰＳ情報としても良い。この例について、図１９を参照して説明する。図１９は、スライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。ＳＨ−ＩＬ−ＲＰＳ情報は、レイヤ間参照画像セットが推定されるない場合（sps_infer_inter_layer_rps_flagが０の場合）に復号される。ＩＬ−ＲＰＳ情報として、対象スライスに適用される参照画像セットの前方短期参照画像数（num_negative_pics）の各前方短期参照画像について、当該前方短期参照画像に対応する参照レイヤ上のピクチャをレイヤ間参照画像セットに含めるかを示すフラグ（pic_s0_in_il_rps_flag[i]）を復号する。含める場合（pic_s0_in_il_rps_flag[i]が１の場合）、当該前方短期参照画像がレイヤ間参照画像として対象ピクチャの復号に使用される可能性の有無（used_by_curr_pic_il_s0_flag[i]）が復号される。同様に、対象スライスに適用される参照画像セットの後方短期参照画像数（num_positive_pics）の各後方短期参照画像について、当該後方短期参照画像に対応する参照レイヤ上のピクチャをレイヤ間参照画像セットに含めるかを示すフラグ（pic_s1_in_il_rps_flag[i]）を復号する。含める場合（pic_s1_in_il_rps_flag[i]が１の場合）、当該後方短期参照画像がレイヤ間参照画像として対象ピクチャの復号に使用される可能性の有無（used_by_curr_pic_il_s1_flag[i]）が復号される。
上記のＩＬ−ＲＰＳ情報のシグナル方法は、概略的には次のように表現することもできる。すなわち、対象ピクチャにおける参照画像セットに含まれる各参照画像について、当該参照画像に対応する（表示順が同一の）参照レイヤのピクチャをレイヤ間参照画像セットに含めるか否かのフラグを復号する。含める場合、さらに当該参照レイヤのピクチャが対象ピクチャの復号に使用される可能性の有無を示すフラグを復号する。
この方法によりＩＬ−ＲＰＳ情報をシグナルする場合、レイヤ間参照画像セットに含まれ得る参照レイヤのピクチャは、表示時刻が同一の拡張レイヤのピクチャが参照画像セットに含まれているものに限定される。言い換えると、特定の拡張レイヤのピクチャが参照画像セットに含まれていない場合、当該拡張レイヤのピクチャと同一表示時刻の参照レイヤのピクチャがレイヤ間参照画像セットに含まれないことが、レイヤ間参照画像セット情報をパラメータセットから復号しなくても判別できる。したがって、階層動画像復号装置は、一部の参照レイヤのピクチャを、レイヤ間参照画像セット情報をパラメータセットから復号することなくレイヤ間参照画像バッファから削除できるため、復号処理を簡略化できる。
〔階層動画像符号化装置〕
以下では、本実施形態に係る階層動画像符号化装置２の構成について、図２２〜図２３を参照して説明する。
（階層動画像符号化装置の構成）
図２２を用いて、階層動画像符号化装置２の概略的構成について説明すると次のとおりである。図２２は、階層動画像符号化装置２の概略的構成について示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。
図２２に示すように階層動画像符号化装置２は、予測パラメータ決定部２１、予測情報生成部２２、ベース復号部２３、テクスチャ情報生成部２４、可変長符号化部２５、ＮＡＬ多重化部２６、復号画像バッファ２７、および、ベース復号画像バッファ２８を備える。
予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔに基づいて、予測画像の予測に用いられる予測パラメータおよびその他の符号化の設定を決定する。
予測パラメータ決定部２１は、予測パラメータをはじめとする符号化の設定を、以下のとおり行う。
まず、予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔを、スライス単位、ＣＴＵ単位、ＣＵ単位に順次分割することにより、対象ＣＵについてのＣＵ画像を生成する。
また、予測パラメータ決定部２１は、分割処理の結果に基づいて、符号化情報（ヘッダ情報とも称されることがある）を生成する。 符号化情報は、（１）対象スライスに属するＣＴＵのサイズ、形状および対象スライス内での位置についての情報であるＣＴＵ情報と、（２）各ＣＴＵに属するＣＵのサイズ、形状および対象ツリーブロック内での位置についての情報であるＣＵ情報とを含んでいる。
さらに、予測パラメータ決定部２１は、ＣＵ画像、ＣＴＵ情報、およびＣＵ情報を参照して、対象ＣＵのＣＵ予測タイプ、対象ＣＵのＰＵへの分割情報、および、予測パラメータ（対象ＣＵがイントラＣＵであればレイヤ間予測フラグと空間予測モード、インターＣＵであれば動き補償パラメータ）を導出する。
予測パラメータ決定部２１は、（１）対象ＣＵの予測タイプ、（２）対象ＣＵの各ＰＵへの可能な分割パターン、および、（３）各ＰＵに割り付ける可能な予測モード（例えばレイヤ間予測フラグ、空間予測モード、スキップフラグ、動き補償パラメータ）、の全ての組み合わせについて、コストを算出し、最低コストの予測タイプ、分割パターン、および、予測モードを決定する。
また、予測パラメータ決定部２１は、あらかじめ指定された情報に基づいてパラメータセットを導出する。パラメータセットには、ピクチャの符号化順と表示順の関係や、同一レイヤ内のピクチャの参照構造によって決まる参照画像セットおよび参照画像リストが含まれる。また、パラメータセットには、符号化対象レイヤと参照レイヤのピクチャの符号化順と表示順の関係や、レイヤ間のピクチャの参照構造によって決まるレイヤ間参照画像セットおよびレイヤ間参照画像リストが含まれる。
予測パラメータ決定部２１は、符号化情報および予測パラメータを予測情報生成部２２およびテクスチャ情報生成部２４に供給する。なお、説明の簡便のため図示しないが、予測パラメータ決定部２１において決定された上記の符号化の設定は、階層動画像符号化装置２の各部において参照可能とする。
予測情報生成部２２は、予測パラメータ決定部２１から供給される予測パラメータに基づいて予測パラメータに関するシンタックス値を含む予測情報を生成する。予測情報生成部２２は、生成した予測情報を可変長符号化部２５に供給する。
ベース復号部２３は、階層動画像復号装置１のベース復号部１６と同様であるので、ここではその説明を省略する。ベース復号部２３から出力される参照レイヤの復号画像は、ベース復号画像バッファ２８に記録される。
テクスチャ情報生成部２４は、入力画像ＰＩＮ＃Ｔから予測画像を減算して得られる予測残差を、直交変換・量子化した変換係数を含む変換係数情報を生成する。テクスチャ情報生成部２４は、生成した変換係数情報を可変長符号化部２５に供給する。また、テクスチャ情報生成２４では、復元された復号画像は、復号画像バッファ２７に格納される。
可変長符号化部２５は、予測情報生成部２２から供給される予測情報とパラメータセット情報、および、テクスチャ情報生成部２４から供給される変換係数情報を可変長符号化して対象レイヤ符号化データＤＡＴＡ＃Ｔを生成する。可変長符号化部２５は、生成した対象レイヤ符号化データＤＡＴＡ＃ＴをＮＡＬ多重化部２６に供給する。
ＮＡＬ多重化部２６は、可変長符号化部２５から供給される対象レイヤ符号化データＤＡＴＡ＃Ｔと、参照レイヤ符号化データＤＡＴＡ＃ＲとをＮＡＬユニットに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡを生成し、外部に出力する。
（テクスチャ情報生成部）
図２３を用いて、テクスチャ情報生成部２４の詳細を説明する。図２３は、階層動画像符号化装置２におけるテクスチャ情報生成部２４の概略的構成について示した機能ブロック図である。テクスチャ情報生成部２４は、加算器２４１、直交変換・量子化部２４２を備える。また、テクスチャ情報生成部２４は、加えて、階層動画像復号装置１のテクスチャ復元部１５と共通の構成要素、すなわち、逆直交変換・逆量子化部１５１、テクスチャ予測部１５２、加算器１５３、ループフィルタ部１５４、参照画像リスト設定部１５５、および、レイヤ間参照画像リスト設定部１５６を備える。テクスチャ復元部と共通の構成要素については、同一の記号を付与して説明を省略する。
加算器２４１は、入力画像と、テクスチャ予測部１５２から供給された予測画像を減算することで予測残差Ｄを生成する。
直交変換・量子化部２４２は、（１）加算器２４１から供給される予測残差Ｄに直交変換（例えば、ＤＣＴ（Discrete Cosine Transform）変換）を適用し、（２）直行変換により得られたＤＣＴ係数に量子化を適用し、（３）量子化により得られた量子化済ＤＣＴ係数を変換係数情報として外部に出力するとともに、逆聴講変換・逆量子化部１５１に供給する。なお、直交変換は、変換ブロックを単位として適用される。
テクスチャ情報生成部２４における、対象レイヤ（拡張レイヤ）上の特定ピクチャを対象ピクチャとする変換係数情報および復号画像生成処理の手順は、以下のＳ７０１〜Ｓ７０８により実行される。
（Ｓ７０１）参照画像リスト設定部１５５は、入力される予測パラメータに含まれるパラメータセットの情報（参照画像セット情報、参照画像リスト修正情報）に基づいて、対象ピクチャにおける予測画像生成に用いる参照画像リストを生成して、テクスチャ予測部１５２に出力する。なお、参照画像リストでは、テクスチャ予測部１５２内のインター予測部１５２Ｔより参照される参照画像の復号画像バッファ２７上の位置を特定する情報が含まれている。
（Ｓ７０２）レイヤ間参照画像リスト設定部１５６は、入力される予測パラメータに含まれるパラメータセットの情報（レイヤ参照画像セット情報、レイヤ間参照画像リスト修正情報）に基づいて、対象ピクチャにおける予測画像生成に用いるレイヤ間参照画像リストを生成して、テクスチャ予測部１５２に出力する。なお、レイヤ間参照画像リストでは、テクスチャ予測部１５２内のレイヤ間画像予測部１５２Ｓより参照されるレイヤ間参照画像のレイヤ間復号画像バッファ２８上の位置を特定する情報が含まれている。
（Ｓ７０３）テクスチャ予測部１５２は、入力される予測パラメータの示す予測単位、および、予測方法によって入力画像の部分領域に対応する予測画像を生成して加算器２４１および加算器１５３に出力する。予測タイプに応じて、インター予測部１５２Ｔ、イントラ予測部１５２Ｓ、レイヤ間画像予測部１５２Ｂの何れかの予測部により予測画像が生成される。
（Ｓ７０４）加算器２４１は、テクスチャ予測部１５２から入力される予測画像を、対応する入力画像の領域から減算することで予測残差Ｄを生成して直交変換・量子化部２４２に出力する。
（Ｓ７０５）直行変換・量子化部２４２は、入力される予測残差Ｄは変換ブロックに分割して、変換ブロック毎に直交変換および量子化を適用して量子化済の変換係数を生成して、変換係数情報として外部に出力するとともに、逆直交変換・逆量子化部１５１に出力する。
（Ｓ７０６）逆直交変換・逆量子化部１５１は、入力された量子化済の変換係数に変換ブロック単位で逆量子化および逆直交変換を適用して予測残差を生成して加算器１５３に出力する。
（Ｓ７０７）加算器１５３は、入力される予測画像と予測残差を加算して、得られたループフィルタ適用前復号画像をループフィルタ部１５４に出力する。
（Ｓ７０８）ループフィルタ部１５４は入力されるループフィルタ適用前復号画像にループフィルタを適用して復号画像を生成し、外部の復号画像バッファ２７に、対象ピクチャの出力順（ＰＯＣ）と関連付けて記録する。
（動画像符号化装置２の効果）
以上説明した本実施形態に係る階層動画像符号化装置２は、レイヤ間参照画像セットを導出するレイヤ間参照画像リスト設定部を備えている。階層動画像符号化装置２では、レイヤ間参照画像セットを利用することで、参照レイヤの復号画像が予測画像生成に用いられなくなるタイミングを特定して、ベース復号画像バッファから削除できるため、メモリ量を低減できる。また、動画像符号化装置では、対応する動画像復号装置での復号時に、レイヤ間参照画像セットを利用することで、参照レイヤの復号画像が予測画像生成に用いられなくなるタイミングを特定して、ベース復号画像バッファから削除することでメモリ量を低減できる符号化データを生成できる。
〔階層動画像復号装置（第二の実施形態）〕
以下では、本実施形態に係る階層動画像復号装置３について、図２４〜図２７を参照して説明する。図２４は、階層動画像復号装置３の概略的構成について示した機能ブロック図である。階層動画像復号装置３は、対象レイヤ符号化ＤＡＴＡ＃Ｔとベース復号シーケンスを入力として、対象レイヤ復号画像ＰＯＵＴ＃Ｔを復号する。ベース復号シーケンスは、参照レイヤの復号画像のシーケンスであり、対象レイヤのピクチャに対応する参照レイヤのピクチャの復号画像を複数含む。また、ベース復号シーケンスは、各ピクチャに対するベースピクチャヘッダを含んでいてもよい。ベースピクチャヘッダは、復号画像の表示時刻（タイムスタンプ）を示す情報を含んでいる。
図２４に示すように階層動画像復号装置３は、ベース制御部３１、可変長復号部３２、復号画像バッファ１３、予測パラメータ復元部１４、テクスチャ復元部１５、ベース復号画像バッファ３７を備える。
階層動画像復号装置３は、階層符号化データを入力とする階層動画像復号装置１とは異なり、内部にベース復号部を備えておらず、したがって、階層符号化データに含まれる参照レイヤ符号化データを復号することはできない。その代わりに外部の手段で復号した画像を入力して、参照レイヤの復号画像（ベース復号画像）として用いる。そのため、階層動画像復号装置３は、既存のコーデック（例えばＡＶＣやＭＰＥＧ−２）で符号化された符号化データを外部の復号装置で復号し、出力される復号画像のシーケンスを、ベース復号シーケンスとして入力に用いるような用途にも利用できる。
階層動画像復号装置３の構成要素のうち、予測パラメータ復元部１４、テクスチャ復元部１５、復号画像バッファ１３は、階層動画像復号装置１の同名の構成要素と同じ機能を有するため、同一の符号を付与して説明を省略する。
（ベース復号画像バッファ）
ベース復号画像バッファ３７は、外部より入力されたベース復号画像を、対象レイヤ（拡張レイヤ）におけるピクチャの表示順（ＰＯＣ）と関連付けて保持しておくためのバッファである。ベース復号画像バッファ３７には、対象レイヤにおける対象ピクチャの復号時には、テクスチャ復元部１５において予測画像生成に用いられるベース復号画像が少なくとも記録されている必要がある。メモリ量を抑制する観点からは、対象レイヤ（拡張レイヤ）の復号に用いられるベース復号画像のみをベース復号画像バッファ３７に記録することが好ましい。しかしながら、予測画像生成に用いられないベース復号画像がベース復号画像バッファ３７に記録されていても構わない。
以下では、ベース復号画像バッファ３７に記録されるベース復号画像は、ベース復号シーケンスに含まれるピクチャと同一のピクチャサイズと仮定して説明する。しかし、異なるピクチャサイズ（例えば、対象レイヤのピクチャサイズ）に変換したピクチャをベース復号画像としてベース復号画像バッファ３７に記録していてもよい。その場合、参照レイヤと対象レイヤのピクチャサイズの比率に応じて、ベース復号シーケンスに含まれる復号画像をアップサンプルする処理が必要となる。
（可変長復号部）
可変長復号部３２は、基本的には、階層動画像復号装置１の可変長復号部１２と同様の機能を有する。すなわち、入力された符号化データから、予測情報、ＣＵ情報、パラメータセットを復号して、適切な出力先に出力する。加えて、可変長復号部３２は、ベース制御情報を対象レイヤ符号化データＤＡＴＡ＃Ｔより復号して出力する。パラメータセットには、階層動画像復号装置１で説明した、レイヤ間参照画像セットが含まれる。
以下では、ベース制御情報はパラメータセットの一つであるＳＰＳに含まれていると仮定して説明する。なお、ベース制御情報は必ずしもＳＰＳに含まれている必要はなく、他のパラメータセットに含まれていてもよい。例えば、パラメータセットの一つであるＶＰＳに含まれていてもよい。
ベース制御情報はベース復号シーケンスの特性を表す情報を含む。ベース制御情報（ＢＬＩ）には以下が含まれる。
（ＢＬＩ１）ベース復号画像のサイズ：ベース復号画像のピクチャサイズを直接、または、間接的に表す量。ピクチャサイズを直接表す量として、例えば、ベース復号画像の輝度成分の縦および横の画素単位での長さ、ベース復号画像の色差成分の縦および横の画素単位での長さが挙げられる。縦および横の長さの２の対数を用いてもよい。また、ピクチャサイズを間接的に表す量としては、対象レイヤ（拡張レイヤ）のピクチャサイズと参照レイヤのピクチャサイズの比率が挙げられる。
（ＢＬＩ２）ベース復号画像のビット深度：ベース復号画像のビット深度を直接、または、間接的に表す量。ビット深度を直接表す量として、例えば、ベース復号画像の輝度と色差成分に共通の画素値のビット深度が挙げられる。また、ビット深度を間接的に表す量としては、対象レイヤ（拡張レイヤ）のビット深度と参照レイヤのビット深度の差が挙げられる。
（ＢＬＩ３）ベース復号画像の色フォーマット：ベース復号画像の色フォーマットを直接、または、間接的に表す量。例えば、既定の色フォーマット識別子を用いることができる。また、対象レイヤ（拡張レイヤ）の色フォーマットと参照レイヤの色フォーマットが同一か否かのフラグを用いてもよい。
（ＢＬＩ４）ベース復号画像のフレームレート：ベース復号画像のフレームレートを直接、または、間接的に表す量。フレームレートを直接表す量としては、参照レイヤ復号画像の１秒あたりのピクチャ枚数が挙げられる。また、フレームレートを間接的に表す量としては、対象レイヤ（拡張レイヤ）のフレームレートと参照レイヤのフレームレートの比率が挙げられる。また、参照レイヤのフレームレートが対象レイヤ（拡張レイヤ）のフレームレートよりも小さいことを前提として、参照レイヤのピクチャ１枚あたり、対象レイヤ（拡張レイヤ）のピクチャ何枚が対応するかの情報を用いても良い。例えば、対象レイヤ（拡張レイヤ）が60fps、参照レイヤが30fpsの場合、参照レイヤのピクチャ１枚に対し、対象レイヤ（拡張レイヤ）2枚が対応するため、「２」をベース復号画像のフレームレートの情報として用いることができる。
（ＢＬＩ５）ベース復号画像のフィールドフレーム構造：ベース復号画像のフィールドフレーム構造を直接、または、間接的に表す量。例えば、ベース復号画像がインタレースフォーマットであるかのフラグが挙げられる。また、ベース復号画像がインタレースフォーマットである場合に、奇数フィールドと偶数フィールドの何れが先かを示すフラグも含んでいてもよい。また、入力されるベース復号シーケンスの各ピクチャはフレーム構造であっても、当該ピクチャが参照レイヤ符号化データにおいてインタレースで符号化されていたかを示すフラグを含んでいてもよい。なお、類似の概念として、ステレオ画像のフレームパッキングに代表されるような、複数の画像が１枚のピクチャに含まれていることを示す情報や、複数の画像のピクチャ内での配置に関する情報を含んでいてもよい。
（ＢＬＩ６）ベース復号画像の由来コーデック：ベース復号シーケンスに対応する参照レイヤ符号化データの生成に用いられた符号化方式を特定する情報。例えば、ベース復号シーケンスがＡＶＣの符号化データから復号されたかを示すフラグ、ベース復号シーケンスがＭＰＥＧ−２の符号化データから復号されたかを示すフラグが挙げられる。また、プロファイルやレベル等、符号化方式のサブセットを示す情報を含んでいてもよい。なお、符号化方式が規格で定義されている場合、符号化方式のサブセットを示す情報は、当該規格により符号化された符号化データのビットストリームに含まれる形式と同一の形式で、対象レイヤ符号化データに含まれていることが互換性や実装を踏まえると好ましい。
（ＢＬＩ７）ベース復号画像のエラーチェック：エンコーダ（階層動画像符号化装置）の意図するベース復号シーケンスの性質に係る情報を含んでいてもよい。例えば、各ベース復号画像のＭＤ５に代表されるチェックサムを含んでいてもよい。ベース復号画像のチェックサムを利用することで、階層動画像復号装置において参照レイヤの正当性を判定することができる。
ベース制御情報は、上記に例示した情報を必ずしも全て含む必要はなく、少なくとも一部の情報を含んでいればよい。例えば、対象レイヤ（拡張レイヤ）と参照レイヤで同一のビット深度を用いるようあらかじめ制限されている場合には、ビット深度に係る情報を含む必要はない。
ベース制御情報の具体例について、図２５を参照して説明する。図２５は、可変長復号部３２で拡張レイヤのＳＰＳ復号時に参照されるシンタックス表（seq_parameter_set_rbsp）の一部であって、ベース制御情報に対応する部分を例示した図である。
図２５において、ＳＰＳは、拡張レイヤのＳＰＳであるかを示すフラグ（sps_extension_flag）を含む。当該フラグが１の場合、ＳＰＳはさらに、参照レイヤに対応するＳＰＳ存在有無を示すフラグ（no_base_sps_flag）を含む。no_base_sps_flagの値が１の場合、ＳＰＳはさらに各種ベース制御情報を含む。なお、no_base_sps_flagの値が０の場合、参照レイヤに対応するＳＰＳが存在するため、ベース制御情報に相当する情報は、参照レイヤに対応するＳＰＳから複製または導出すればよい。したがって、拡張レイヤのＳＰＳであるかを示すフラグを用いることで、拡張レイヤのＳＰＳが存在する場合にベース制御情報を省略して、ＳＰＳの符号量を低減できる。
図２５において、ＳＰＳに含まれる制御情報は、以下のシンタックスを含む。
ＢＬＩ１に相当するシンタックス：ベース復号画像の輝度ピクチャの横方向の画素数を表すシンタックス（base_recon_luma_width）、および、同輝度ピクチャの縦方向の画素数を表すシンタックス（base_recon_luma_height）。
ＢＬＩ２に相当するシンタックス：対象レイヤ（拡張レイヤ）のビット深度から参照レイヤのビット深度を引いた値を表すシンタックス（base_delta_bitdepth）。
ＢＬＩ３に相当するシンタックス：参照レイヤ復号画像のカラーフォーマット識別子（base_color_format_idc）。例えば、識別子「０」と4:2:0、「１」と4:2:2、「２」と4:4:4の各色フォーマットが対応する。
ＢＬＩ４に相当するシンタックス：参照レイヤのピクチャ１枚に対応する対象レイヤ（拡張レイヤ）復号画像の枚数の２の対数（log2_base_framerate_factor_idc）。階層動画像復号装置の複雑化を防ぐために、上位レイヤである対象レイヤのフレームレートは、下位レイヤである参照レイヤのフレームレートと同一か、下位レイヤのフレームレートに２のべき乗を乗じた値であることが好ましい。そのような場合、前記のような、参照レイヤのピクチャを基準とした拡張レイヤのピクチャの枚数を対数により表現することが好ましい。
ＢＬＩ５に相当するシンタックス：参照レイヤがフレーム構造か否かを示すフラグ（base_frame_flag）。base_frame_flagの値が１の場合、ベース復号画像がフレーム構造（非インタレース構造）であることを示し、値が０の場合、インタレース構造であることを示す。
ＢＬＩ６に相当するシンタックス：参照レイヤのコーデックを示す識別子（base_codec_idc）。例えば、識別子「１」とＨＥＶＣ、識別子「２」とＡＶＣ、識別子「３」とＭＰＥＧ−２、識別子「０」と「不明なコーデック」が対応する。なお、参照レイヤのコーデックがＡＶＣの場合（base_codec_idc＝＝AVC_CODECの場合）、ＡＶＣ規格におけるプロファイルレベル情報と同一のシンタックス構造avc_profile_level_info()を含む。
以下では、説明の簡単のため、図２５に示したベース制御情報を用いるものとして説明する。
（ベース制御部）
ベース制御部３１は、入力されるベース制御情報およびパラメータセットに基づいて、入力されるベース復号シーケンスをベース復号画像バッファ３７の適切な位置に設定する。また、不要となったベース復号画像を適切なタイミングでベース復号画像バッファ３７から削除する。
以下、対象レイヤ上の対象ピクチャ復号に先立って、ベース制御部３１がベース復号画像バッファ３７にベース復号画像を設定する処理（ベース復号画像設定処理）を図２６を参照して説明する。図２６は、拡張レイヤ上の特定ピクチャ復号時のベース制御部３１におけるベース復号画像設定処理を示すフロー図である。ベース復号画像設定処理は、以下のＳ８０１〜Ｓ８０７の手順で実行される。
（Ｓ８０１）対象ピクチャが最初の復号ピクチャである場合（例えば、ＩＤＲピクチャの場合）、ベース復号画像の読み込み位置を示す変数currBaseSeekPoc（ピクチャ位置）に対象レイヤ（拡張レイヤ）上の対象ピクチャのＰＯＣの値から所定の値（後述のＳ８０６ａの処理で加算される値）を引いた値を設定する。
（Ｓ８０２）パラメータセットから、対象ピクチャにおけるレイヤ間参照画像セットを導出する。当該レイヤ間参照画像セットの導出方法としては、階層動画像復号装置１で説明した導出方法を用いることができる。
（Ｓ８０３）ベース復号画像バッファ３７に記録されている各ベース復号画像が、Ｓ８０２で導出した対象ピクチャにおけるレイヤ間参照画像セットに含まれるか否かを判定する。各ベース復号画像のＰＯＣが、レイヤ間参照画像セットに含まれるピクチャのＰＯＣのリストに含まれる場合には、レイヤ間参照画像セットに含まれると判定する。ベース復号画像バッファ３７に記録されているベース復号画像のうち、前記レイヤ間参照画像セットに含まれないものについては、ベース復号画像バッファ３７から削除する。なお、必ずしも即座に削除する必要はなく、削除が必要なことを記録しておき、適当なタイミングで実際に削除しても構わない。
（Ｓ８０４）前記対象ピクチャにおけるレイヤ間参照画像セットから、拡張レイヤ上の対象ピクチャの復号時に参照される可能性のある参照レイヤのピクチャであって、表示順の最も遅いピクチャを特定し、当該ピクチャと同一表示順に対応する拡張レイヤのピクチャの表示順（ＰＯＣ）を変数maxBasePocに設定する。
（Ｓ８０５）ピクチャ位置currBaseSeekPocの値が、変数maxBasePocよりも小さい場合、変数currBaseSeekPocの値が変数maxBasePocの値と等しくなるまで、Ｓ８０６ａとＳ８０６ｂの処理を繰り返し実行する。その後、Ｓ８０７の処理へ移る。
（Ｓ８０６ａ）ピクチャ位置currBaseSeekPocの値に所定の値を加算する。加算される所定の値は、拡張レイヤのピクチャ間のＰＯＣ間隔と、拡張レイヤと参照レイヤのフレームレートの関係から決定される。拡張レイヤのピクチャ間のＰＯＣ間隔をＤｅｐ、シンタックスbase_framerate_factor_idcが示す参照レイヤのピクチャ１枚に対応する拡張レイヤのピクチャ数をＮｅとすると、加算される所定の値Ｄｂｐは、ＮｅとＤｅｐの積に設定される。
（Ｓ８０６ｂ）ベース復号シーケンスから１ピクチャ分のベース復号画像を読み出し、ベース復号画像バッファ３７に記録する。なお、その際、変数currBaseSeekPocの値が、当該ベース復号画像に対応するＰＯＣの値として、当該ベース復号画像と関連付けて記録される。なお、ベース復号シーケンスから読み出されるデータの量は、ベース制御情報（base_recon_luma_width、base_recon_luma_height、base_delta_bitdepth、base_color_format_idc）に基づいて決定される。例として、前記ベース制御情報により、ベース復号画像の幅がＷｂ［画素]、高さがＨｂ［画素］、ビット深度がＢＤｂ［ビット］、色フォーマットが4:2:0である場合、読みだされるデータ量Ｒｂは次式により計算できる：
Ｒｂ＝Ｗｂ×Ｈｂ×ＢＤｂ×1.5 ［ビット］。
（Ｓ８０７）ベース復号画像設定処理を終了する。
なお、上記の処理において、Ｓ８０１の処理は先頭ピクチャを扱うための例外処理であり、他の手段により代替してもよい。例えば、Ｓ８０１の処理を省略し、Ｓ８０６ａの処理において、対象ピクチャが最初の復号ピクチャでない場合にのみ、ピクチャ位置currBaseSeekPocの値に所定の値を加算する処理としてもよい。
また、上記の処理Ｓ８０６ｂにおいて、ベース復号シーケンスから１ピクチャ分のベース復号画像を読み出す際に、ベース制御情報（ＢＬＩ）に含まれる画像サイズ（ＢＬＩ１）、ビット深度（ＢＬＩ２）、ベース復号画像の色フォーマット（ＢＬＩ３）と、対象ピクチャの画像サイズ、ビット深度、色フォーマットが異なる場合に、対象ピクチャに合わせてフォーマット変換を行ってもよい。具体的には、ベース制御情報に含まれる画像サイズが対象ピクチャの画像サイズよりも小さい場合には、アップサンプルを行うことが好ましい。
＜ベース復号画像設定処理の具体例＞
次に、上記のベース復号画像設定処理の具体例について、図２７を参照して説明する。図２７はベース復号画像設定処理の具体例を示す図であり、（ａ）は具体例における対象レイヤ（拡張レイヤ）と参照レイヤのピクチャ間の参照関係を表し、（ｂ）は拡張レイヤの各ピクチャ復号時の参照画像セット、レイヤ間参照画像セット、ベース復号画像バッファ、ベース復号画像読み込みを示している。
図２７（ａ）に示すように、拡張レイヤには出力順にE1、E2、E3のピクチャが含まれる。参照レイヤには出力順に、B1、B2、B3のピクチャが含まれる。また、E1からB1が、E2からE1、E3、および、B2が、E3からE1およびB3が参照されている。なお、参照レイヤの復号画像は、外部の手段により復号されて、出力順にベース復号シーケンスに含まれている。
対象レイヤ（拡張レイヤ）の各ピクチャ復号時のベース復号画像設定処理を図２７（ｂ）を参照して説明する。E1、E2、E3には、出力順を示すＰＯＣとして、６、８、１０の値がそれぞれ割り当てられているものとする。
（１）初期：拡張レイヤの復号開始前には、参照画像セット（EL-RPS）、レイヤ間参照画像セット（IL-RPS）、ベース復号画像バッファは全て空である。
（２）E1復号時：E1は拡張レイヤの最初の復号ピクチャであり、変数currBaseSeekPocの値に、E1のＰＯＣである６から所定の値２を引いた４が設定される。所定の値２は、１（対象レイヤのピクチャ１枚に対する拡張レイヤのピクチャの枚数）と、２（上位レイヤ（拡張レイヤ）のピクチャのＰＯＣ間隔）の積である（Ｓ８０１）。E1におけるIL-RPSにはB1を含む（Ｓ８０２）。ベース復号画像バッファは、この時点では空であるため、ベース復号画像の削除は不要（Ｓ８０３）。IL-RPSに含まれる表示順の最も遅いベース復号画像はB1であり、B1と同一表示順である拡張レイヤのピクチャE1のＰＯＣである６を変数maxBasePocに設定する（Ｓ８０４）。変数currBaseSeekPocの値は４で、変数maxBasePocの値６より小さいため、ベース復号画像を読み込む（Ｓ８０５）。変数currBaseSeekPocの値に所定の値２を加算して６の値を設定する（Ｓ８０６ａ）。ベース復号シーケンスから、B1のベース復号画像を読み込み、変数currBaseSeekPocの値６を対応するＰＯＣとして、ベース復号画像バッファに記録する（Ｓ８０６ｂ）。変数currBaseSeekPocの値６と変数maxBasePocの値６が等しいため（Ｓ８０５）、E1復号時のベース復号画像設定処理を終了する（Ｓ８０７）。
（３）E3復号時： E3におけるIL-RPSにはB1とB3を含む（Ｓ８０２）。ベース復号画像バッファは、この時点ではB1を含む。B1はIL-RPSに含まれるため、ベース復号画像バッファから削除されない（Ｓ８０３）。IL-RPSに含まれる表示順の最も遅いベース復号画像はB3であり、B3と同一表示順である対象レイヤ（拡張レイヤ）のピクチャE3のＰＯＣである１０を変数maxBasePocに設定する（Ｓ８０４）。変数currBaseSeekPocの値は６で、変数maxBasePocの値１０より小さいため、ベース復号画像を読み込む（Ｓ８０５）。変数currBaseSeekPocの値に所定の値２を加算して８の値を設定する（Ｓ８０６ａ）。ベース復号シーケンスから、B2のベース復号画像を読み込み、変数currBaseSeekPocの値８を対応するＰＯＣとして、ベース復号画像バッファに記録する（Ｓ８０６ｂ）。変数currBaseSeekPocの値８は変数maxBasePocの値１０より小さいため、次のベース復号画像を読み込む（Ｓ８０５）。変数currBaseSeekPocの値に所定の値２を加算して１０の値を設定する（Ｓ８０６ａ）。ベース復号シーケンスから、B3のベース復号画像を読み込み、変数currBaseSeekPocの値１０を対応するＰＯＣとして、ベース復号画像バッファに記録する（Ｓ８０６ｂ）。変数currBaseSeekPocの値１０と変数maxBasePocの値１０が等しいため（Ｓ８０５）、E3復号時のベース復号画像設定処理を終了する（Ｓ８０７）。
（４）E2復号時： E2におけるIL-RPSにはB2を含む（Ｓ８０２）。ベース復号画像バッファはB1、B2、B3を含んでおり、B1とB3はIL-RPSに含まれないため、ベース復号画像バッファから削除される（Ｓ８０３）。IL-RPSに含まれる表示順の最も遅いベース復号画像はB2であり、B2と同一表示順である対象レイヤ（拡張レイヤ）のピクチャE1のＰＯＣである８を変数maxBasePocに設定する（Ｓ８０４）。変数currBaseSeekPocの値は１０で、変数maxBasePocの値８より大きいため（Ｓ８０５）、E3復号時のベース復号画像設定処理を終了する（Ｓ８０７）。
上記のベース復号画像設定処理によれば、ベース制御部３１は、可変長復号部３２より供給される対象レイヤのＳＰＳに含まれるベース制御情報とパラメータセットに基づいて、対象レイヤ（拡張レイヤ）上の対象ピクチャの復号に必要なベース復号画像をベース復号シーケンスから読みこんでベース復号画像バッファ３７に記録できる。なお、ベース制御情報やパラメータセットを用いない場合、対象レイヤ（拡張レイヤ）上の特定ピクチャの復号前に、ベース復号シーケンスからどれだけのデータ量をベース復号画像として読み込んでベース復号画像バッファ３７に記録すべきかが判定できない。
また、上記の手順によれば、ベース制御部３１は、可変長復号部３２より供給されるベース制御情報とパラメータセットに基づいて、対象ピクチャよりも復号順が後の拡張レイヤ上のピクチャの復号に不要なベース復号画像を、ベース復号画像バッファ３７から適切なタイミングで削除できる。したがって、不要なベース復号画像がベース復号画像バッファ３７に残らないため、ベース復号画像バッファに要求されるバッファサイズを低減できる。
（動画像復号装置３の効果）
以上説明した本実施形態に係る動画像復号装置３は、対象レイヤ（拡張レイヤ）のＳＰＳに含まれるパラメータセットおよびベース制御情報に基づいて、ベース復号画像バッファにベース復号画像を読み込むベース制御部を備えている。それにより、入力されるベース復号シーケンスから適切なデータ量のベース復号画像を読み出して、ベース復号画像バッファに記録することができる。
また、上記の手順によれば、ベース制御部３１は、ベース復号シーケンスからベース復号画像を読み出しベース復号画像バッファ３７に記録する際に、対象レイヤのＰＯＣに基づいて設定されたピクチャ位置currBaseSeekPocを、読み出したベース復号画像のＰＯＣとして設定する。ベースレイヤ復号画像のＰＯＣを、拡張レイヤの画像のＰＯＣに基づいて設定することにより、ベース復号シーケンスに含まれるベース復号画像に出力順（表示順）を示すＰＯＣがない場合においても、ＰＯＣを用いて管理される参照画像セット（レイヤ間参照画像セット）に含まれるベース復号画像を特定することができる。
また、上記の手順によれば、ベース制御部３１は、ベース制御情報（ＢＬＩ）に従って、フォーマット変換を行う。具体的には、ベース制御情報の示すベース復号画像の画像サイズが、対象ピクチャの画像サイズよりも小さい場合にはアップサンプルを行う。対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるベース制御情報（ＢＬＩ）に含まれるベース復号画像の情報を参照することにより、内部にベース復号部を備えておらず、そのため、階層符号化データに含まれる参照レイヤ符号化データ（ベース符号化データ）を復号することができない動画像復号装置の場合にも、ベース復号画像を、対象ピクチャの復号に必要な画像フォーマットに変更することができる。したがって、参照レイヤ（ベースレイヤ）が符号化データとして入力されない場合であっても、ベース復号画像の画像フォーマット情報を得ることができ、アップサンプルなどのフォーマット変換を適用した参照レイヤの復号画像を、対象ピクチャの復号時にベース参照画像として利用できる。ベース復号シーケンスとして入力する際に、フォーマット変換を行うことが不要となるため、アップサンプルやビット深度拡大に伴う、ベース復号シーケンスのサイズ増大を防ぐことができる。
〔変形例２：レイヤ間参照画像セットを利用しない例〕
上記の階層動画像復号装置３の説明では、ベース制御部３１によるベース復号画像設定処理の説明において、レイヤ間参照ピクチャを用いてベース参照シーケンスからベース参照画像を読み込んでベース復号画像バッファに記録する処理を記載したが、必ずしもレイヤ間参照セットを利用する必要はない。具体的には、ベース復号画像設定処理のＳ８０４では、変数maxBasePocを、前記対象ピクチャにおけるレイヤ間参照画像セットから、拡張レイヤ上の対象ピクチャの復号時に参照される可能性のある参照レイヤのピクチャであって、表示順の最も遅いピクチャを特定し、当該ピクチャと同一表示順に対応する拡張レイヤのピクチャの表示順（ＰＯＣ）に設定しているが、この情報が対象ピクチャに関連付けられたパラメータセット（例えば、スライスヘッダやＰＰＳ）に直接含まれていてもよい。すなわち、拡張レイヤ上の対象ピクチャの復号時に参照される可能性のある参照レイヤのピクチャであって、表示順の最も遅いピクチャの表示順を示す情報がパラメータセットに含まれていてもよい。ここで、表示順を示す情報とは、例えば、表示順の絶対値、対象ピクチャの表示順に対する差分、表示時刻である。また、表示順に係る情報ではなく、読みこむべきベース復号画像の枚数を直接パラメータセットに含んでいても構わない。
なお、階層動画像復号装置１において説明したように、レイヤ間画像予測に用いられる可能性のあるベース参照画像を指定する場合にはレイヤ間参照画像セットが有用である。そのため、レイヤ間画像予測においてレイヤ間参照画像セットを用いる場合には、レイヤ間参照画像セットを利用して、ベース復号画像設定処理を実行することで、追加の情報を送る必要がないという利点がある。
〔階層動画像符号化装置（第二の実施形態）〕
以下では、本実施形態に係る階層動画像符号化装置４の構成について、図２８を参照して説明する。図２８は、階層動画像符号化装置４の概略的構成について示した機能ブロック図である。階層動画像符号化装置４は、対象レイヤの入力画像ＰＩＮ＃Ｔとベース復号シーケンスを入力として、対象レイヤ符号化ＤＡＴＡ＃Ｔを出力する。
図２８に示すように階層動画像符号化装置４は、ベース制御部４１、可変長符号化部４５、復号画像バッファ２７、予測パラメータ決定部４９、予測情報生成部２２、テクスチャ情報生成部２４、ベース復号画像バッファ４８を備える。
階層動画像符号化装置４で生成される対象レイヤ符号化データＤＡＴＡ＃Ｔは、生成時に入力として用いられたベース復号シーケンスと合わせて、前述の階層動画像復号装置３に入力することで、対象レイヤの復号画像を再生できる。
階層動画像符号化装置４の構成要素のうち、予測情報生成部２２、テクスチャ情報生成部２４、復号画像バッファ２７は、階層動画像符号化装置２の同名の構成要素と同じ機能を有するため、同一の符号を付与して説明を省略する。
ベース復号画像バッファ４８は、階層動画像復号装置３におけるベース復号画像バッファ３７に対応する構成要素であり、外部より入力されたベース復号画像を、拡張レイヤにおけるピクチャの表示順（ＰＯＣ）と関連付けて保持しておくためのバッファである。ベース復号画像バッファ４８には、対象レイヤにおける対象ピクチャの符号化時には、テクスチャ生成部２４において予測画像生成に用いられるベース復号画像が少なくとも記録されている必要がある。
予測パラメータ決定部４９は、予測パラメータ決定部２１の機能に加え、ベース制御情報を導出する機能を有する。ベース制御情報は、階層動画像復号装置３の可変長復号部３２の説明で記載したベース制御情報と同じものを利用できる。ベース制御情報は、符号化の制御パラメータとして外部（図示せず）より入力される。
ベース制御部４１は、階層動画像復号装置３におけるベース制御部３１に対応する構成要素であり、予測パラメータ決定部４９より入力されるベース制御情報およびパラメータセットに基づいて、入力されるベース復号シーケンスをベース復号画像バッファ４８の適切な位置に設定する。また、不要となったベース復号画像を適切なタイミングでベース復号画像バッファ４８から削除する。
ベース制御部４１においては、階層動画像復号装置３のベース制御部３１におけるベース復号画像設定処理と同様のベース復号画像設定処理を適用することで、対象レイヤの特定ピクチャ符号化時のベース復号画像バッファへのベース復号画像の読み込み、および、ベース復号画像バッファからのベース復号画像の削除を実行できる。具体的には、図２６を用いて説明した階層動画像復号装置３のベース制御部３１におけるベース復号画像設定処理を、「復号時」を「符号化時」に、「ベース復号画像バッファ３７」を「ベース復号画像バッファ４８」に、それぞれ読み変えて実行すればよい。
上記のベース復号画像設定処理によれば、ベース制御部４１は、予測パラメータ決定部４９より供給される対象レイヤ（拡張レイヤ）のＳＰＳに含まれるベース制御情報とパラメータセットに基づいて、対象レイヤ（拡張レイヤ）上の対象ピクチャの復号に必要なベース復号画像をベース復号シーケンスから読みこんでベース復号画像バッファ４８に記録できる。なお、ベース制御情報やパラメータセットを用いない場合、対象レイヤ（拡張レイヤ）上の特定ピクチャの符号化前に、ベース復号シーケンスからどれだけのデータ量をベース復号画像として読み込んでベース復号画像バッファ４８に記録すべきかが判定できない。
また、上記の手順によれば、ベース制御部４１は、予測パラメータ決定部４９より供給されるベース制御情報とパラメータセットに基づいて、対象ピクチャよりも符号化順が後の拡張レイヤ上のピクチャの符号化に不要なベース復号画像を、ベース復号画像バッファ４８から適切なタイミングで削除できる。したがって、不要なベース復号画像がベース復号画像バッファ４８に残らないため、ベース復号画像バッファに要求されるバッファサイズを低減できる。
（動画像符号化装置４の効果）
以上説明した本実施形態に係る動画像符号化装置４は、対象レイヤ（拡張レイヤ）のＳＰＳに含まれるパラメータセットおよびベース制御情報に基づいて、ベース復号画像バッファにベース復号画像を読み込むベース制御部を備えている。それにより、入力されるベース復号シーケンスから適切なデータ量のベース復号画像を読み出して、ベース復号画像バッファに記録することができる。
〔付記事項１：レイヤ間画像予測以外の用途への適用〕
以上の階層動画像復号装置（階層動画像復号装置１と階層動画像復号装置３）および階層動画像符号化装置（階層動画像符号化装置２と階層動画像符号化装置４）の説明において、ベース復号画像バッファに記録されるベース復号画像はレイヤ間画像予測におけるベース参照画像として利用されると記載したが、ベース復号画像の用途はそれに限らない。本発明は、対象レイヤ（拡張レイヤ）上のピクチャの復号または符号化において、ベース復号画像を利用する場合に適用可能である。例えば、対象レイヤにおいて、複数のベース復号画像から対象ピクチャの予測残差を推定する一般化残差予測と呼ばれる方式において、複数のベース復号画像として利用される可能性のあるベース復号画像を特定するために、本発明に記載したレイヤ間参照画像セットを用いることができる。また、複数のベース復号画像から対象ピクチャの動きベクトルを推定する方式において、複数のベース復号画像として利用される可能性のあるベース復号画像を特定するために、本発明に記載したレイヤ間参照画像セットを用いることができる。
〔付記事項２：２レイヤ以上の階層符号化への適用〕
以上の階層動画像復号装置（階層動画像復号装置１と階層動画像復号装置３）および階層動画像符号化装置（階層動画像符号化装置２と階層動画像符号化装置４）の説明において、対象レイヤと参照レイヤ（ベースレイヤ）の２レイヤの例を挙げて説明したが、本発明は３レイヤ以上の場合にも適用できる。なお、３レイヤ以上の階層符号化を行う場合に、対象レイヤに対して２以上の参照レイヤを設定して、各参照レイヤの復号画像を用いて対象レイヤの符号化・復号を行う構成も想定される。そのような場合であっても、本発明に記載したレイヤ間参照画像セットを利用したベース復号画像バッファの制御は有効であり、２つの参照レイヤそれぞれに対してレイヤ間参照画像セットを設定すればよい。
（他の階層動画像符号化／復号システムへの適用例）
上述した階層動画像符号化装置２及び階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
図２９に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の送信および受信に利用できることを説明する。図２９の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。
図２９の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３とを備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２９の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
図２９の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２９の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３とを備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２９の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
図３０に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の記録および再生に利用できることを説明する。図３０の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。
図３０の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリ等のように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図３０の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
図３０の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図３０の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図３０の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
（ハードウェア的実現およびソフトウェア的実現について）
最後に、階層動画像復号装置１、階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（Micro Processing Unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯ（Magneto-Optical）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-only Memory）／ＥＥＰＲＯＭ（登録商標）（ElectricallyErasable and Programmable Read-only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric DigitalSubscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、画像データが階層的に符号化された符号化データを復号する階層画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層画像符号化装置に好適に適用することができる。また、階層画像符号化装置によって生成され、階層画像復号装置によって参照される階層符号化データのデータ構造に好適に適用することができる。
１、３ 階層動画像復号装置（画像復号装置）
１１ ＮＡＬ逆多重化部
１２、３２ 可変長復号部（可変長復号手段）
１３、２７ 復号画像バッファ
１４ 予測パラメータ復元部
１５ テクスチャ復元部
１５１ 逆直交変換・逆量子化部
１５２ テクスチャ予測部（予測画像生成手段）
１５２Ｔ インター予測部
１５２Ｓ イントラ予測部
１５２Ｂ レイヤ間画像予測部（レイヤ間画像予測手段）
１５４ ループフィルタ部
１５５ 参照画像リスト設定部
１５６ レイヤ間参照画像リスト設定部
１６、２３ ベース復号部
１６１ 可変長復号部
１６２ ベース予測パラメータ復元部
１６３ ベース変換係数復元部
１６４ ベーステクスチャ復元部
１７、２８ ベース復号画像バッファ
２ 階層動画像符号化装置（画像符号化装置）
２１ 予測パラメータ決定部（予測パラメータ決定手段）
２２ 予測情報生成部
２４ テクスチャ情報生成部
２５ 可変長符号化部
２６ ＮＡＬ多重化部
３１、４１ ベース制御部（ベース制御手段）
３７、４８ ベース復号画像バッファ

Claims (24)

  1. 階層符号化された符号化データに含まれる上位レイヤの符号化データを用いて、上位レイヤの復号画像を復元する画像復号装置であって、
    上位レイヤの符号化データからパラメータセットを復号する可変長復号手段と、
    下位レイヤの復号画像を、上記パラメータセットから導出した上位レイヤのピクチャ表示順と対応付けて記録するベース復号画像バッファと、
    外部の手段で復号された画像をベース復号シーケンスとして読み込んで上記ベース復号画像バッファに記録するベース制御手段と、
    上記ベース復号シーケンスに含まれるベース復号画像からベース参照画像を選択し、上記ベース参照画像を用いたレイヤ間予測により予測画像を生成するレイヤ間画像予測部を備えることを特徴とする画像復号装置。
  2. 上記可変長復号手段は、ベース制御情報を復号することを特徴とする、請求項１に記載の画像復号装置。
  3. 上記可変長復号手段は、上記パラメータセット内の上記ベース制御情報の有無を示すフラグを復号することを特徴とする、請求項２に記載の画像復号装置。
  4. 上記ベース制御情報は、ベース復号画像のサイズを直接、または、間接的に表す情報を含むことを特徴とする、請求項２に記載の画像復号装置。
  5. 上記ベース制御情報は、参照レイヤのコーデックを示す識別子を含むことを特徴とする、請求項２に記載の画像復号装置。
  6. 上記参照レイヤのコーデックを示す識別子がＡＶＣであることを示す場合、上記ベース制御情報はＡＶＣ規格におけるプロファイルレベル情報を含むことを特徴とする、請求項５に記載の画像復号装置。
  7. 上記ベース制御手段は、上記ベース復号シーケンスに含まれる上記ベース復号画像を上位レイヤのピクチャ表示順と関連付けて上記ベース復号画像バッファに設定し、
    上記上位レイヤのピクチャ表示順として、上位レイヤの復号対象ピクチャにおいて参照される可能性のある参照レイヤのピクチャであって、表示順の最も遅いピクチャと同一表示順に対応する拡張レイヤのピクチャの表示順が設定されることを特徴とする請求項１に記載の画像復号装置。
  8. 上記ベース制御手段は、上位レイヤのピクチャ復号時に、上記ベース制御情報と上記パラメータセットに基づいてベース復号画像バッファ上のベース復号画像を削除することを特徴とする請求項２に記載の画像復号装置。
  9. 上記ベース復号シーケンスは、復号画像の表示時刻を示す情報を含んでいることを特徴とする請求項１に記載の画像復号装置。
  10. 入力画像から上位レイヤの符号化データを生成する画像符号化装置であって、
    上位レイヤの符号化データに含めるパラメータセットを符号化する可変長符号化手段と、
    下位レイヤの復号画像を、上記パラメータセットから導出した上位レイヤのピクチャ表示順と対応付けて記録するベース復号画像バッファと、
    外部の手段で復号された画像をベース復号シーケンスとして読み込んで上記ベース復号画像バッファに記録するベース制御手段と、
    上記ベース復号シーケンスに含まれるベース復号画像からベース参照画像を選択し、上記ベース参照画像を用いたレイヤ間予測により予測画像を生成するレイヤ間画像予測部を備えることを特徴とする画像符号化装置。
  11. 上記可変長符号化手段は、ベース制御情報を符号化することを特徴とする、請求項１０に記載の画像符号化装置。
  12. 上記可変長符号化手段は、上記パラメータセット内の上記ベース制御情報の有無を示すフラグを符号化することを特徴とする、請求項１１に記載の画像符号化装置。
  13. 上記ベース制御情報は、ベース復号画像のサイズを直接、または、間接的に表す情報を含むことを特徴とする、請求項１１に記載の画像符号化装置。
  14. 上記ベース制御情報は、参照レイヤのコーデックを示す識別子を含むことを特徴とする、請求項１１に記載の画像符号化装置。
  15. 上記参照レイヤのコーデックを示す識別子がＡＶＣであることを示す場合、上記ベース制御情報はＡＶＣ規格におけるプロファイルレベル情報を含むことを特徴とする、請求項１４に記載の画像符号化装置。
  16. 上記ベース制御手段は、上記ベース復号シーケンスに含まれる上記ベース復号画像を上位レイヤのピクチャ表示順と関連付けて上記ベース復号画像バッファに設定し、
    上記上位レイヤのピクチャ表示順として、上位レイヤの符号化対象ピクチャにおいて参照される可能性のある参照レイヤのピクチャであって、表示順の最も遅いピクチャと同一表示順に対応する拡張レイヤのピクチャの表示順が設定されることを特徴とする請求項１０に記載の画像符号化装置。
  17. 上記ベース制御手段は、上位レイヤのピクチャ符号化時に、上記ベース制御情報と上記パラメータセットに基づいてベース復号画像バッファ上のベース復号画像を削除することを特徴とする請求項１１に記載の画像符号化装置。
  18. 上記ベース復号シーケンスは、復号画像の表示時刻を示す情報を含んでいることを特徴とする請求項１０に記載の画像符号化装置。
  19. 階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号画像を復元する画像復号装置であって、
    下位レイヤの復号画像を記録するベース参照画像バッファと、
    上位レイヤのピクチャの復号に用いるレイヤ間参照画像セットを設定するレイヤ間参照画像リスト設定手段と、
    上記レイヤ間参照画像セットに含まれる、上記ベース参照画像バッファに記録されているベース参照画像を用いて上位レイヤのピクチャの予測画像を生成する予測画像生成手段を備えることを特徴とする画像復号装置。
  20. 上記レイヤ間参照画像セットは、上位レイヤの復号対象ピクチャの復号時、または、前記復号対象ピクチャより復号順が後の上位レイヤのピクチャの復号時に、上記予測画像生成手段により利用される可能性のあるベース参照画像バッファ上の画像の集合を含んでいることを特徴とする請求項１９に記載の画像復号装置。
  21. 上記レイヤ間参照画像セットは、上位レイヤの復号対象ピクチャの復号時に、上記予測画像生成手段により利用される可能性のあるベース参照画像バッファ上の画像の集合を、含んでいることを特徴とする請求項２０に記載の画像復号装置。
  22. 上記レイヤ間参照画像セットの導出に用いるレイヤ間参照画像セット情報を上位レイヤに関連付けられたパラメータセットから復号する可変長復号手段を備えることを特徴とする請求項１から請求項２１に記載の画像復号装置。
  23. 上記レイヤ間参照画像セット情報は、前方レイヤ間参照画像を示す情報、後方レイヤ間参照画像を示す情報、および、同時刻レイヤ間参照画像を示す情報を含むことを特徴とする請求項２２に記載の画像復号装置。
  24. 上位レイヤの復号画像を記録する参照画像バッファと、
    上記参照画像バッファに記録された画像のリストである参照画像リストを生成する参照画像リスト設定手段と、
    上記参照画像リストに含まれる少なくとも一以上の参照画像の画素値に基づいて上位レイヤの予測画像を生成するインター予測手段を備え、
    上記参照画像リスト設定手段は、上位レイヤ上の対象ピクチャ、または、対象ピクチャより復号順が後の上位レイヤのピクチャの復号時に上記インター予測手段により参照される可能性のある参照画像バッファ上の画像の集合を表す参照画像セットを導出し、
    上記レイヤ間参照画像セット情報は、上記参照画像セットに含まれる各参照画像に対応する下位レイヤの参照画像が、上記レイヤ間参照画像セットに含まれるか否かを示すフラグを含むことを特徴とする請求項２２に記載の画像復号装置。
JP2015510030A 2013-04-04 2014-03-26 画像復号装置、および画像符号化装置 Expired - Fee Related JP6352248B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013078430 2013-04-04
JP2013078430 2013-04-04
PCT/JP2014/058610 WO2014162954A1 (ja) 2013-04-04 2014-03-26 画像復号装置、および画像符号化装置

Publications (2)

Publication Number Publication Date
JPWO2014162954A1 true JPWO2014162954A1 (ja) 2017-02-16
JP6352248B2 JP6352248B2 (ja) 2018-07-04

Family

ID=51658252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015510030A Expired - Fee Related JP6352248B2 (ja) 2013-04-04 2014-03-26 画像復号装置、および画像符号化装置

Country Status (7)

Country Link
US (2) US9912959B2 (ja)
EP (1) EP2996339A4 (ja)
JP (1) JP6352248B2 (ja)
CN (1) CN105075269B (ja)
HK (1) HK1217256A1 (ja)
TW (1) TWI646826B (ja)
WO (1) WO2014162954A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140121315A (ko) * 2013-04-04 2014-10-15 한국전자통신연구원 참조 픽처 리스트를 이용한 다 계층 기반의 영상 부호화/복호화 방법 및 그 장치
US9756335B2 (en) 2013-07-02 2017-09-05 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
CN105379277B (zh) 2013-07-15 2019-12-17 株式会社Kt 用于编码/解码可伸缩视频信号的方法和装置
KR20150009465A (ko) * 2013-07-15 2015-01-26 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US9681145B2 (en) * 2013-10-14 2017-06-13 Qualcomm Incorporated Systems and methods for inter-layer RPS derivation based on sub-layer reference prediction dependency
US10455242B2 (en) * 2015-03-04 2019-10-22 Qualcomm Incorporated Signaling output indications in codec-hybrid multi-layer video coding
WO2017154604A1 (ja) * 2016-03-10 2017-09-14 ソニー株式会社 画像処理装置および方法
CN105933800A (zh) * 2016-04-29 2016-09-07 联发科技（新加坡）私人有限公司 一种视频播放方法及其控制终端
US20180352240A1 (en) * 2017-06-03 2018-12-06 Apple Inc. Generalized Temporal Sub-Layering Frame Work
CN110419217B (zh) * 2018-04-02 2023-09-26 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
MX2021002951A (es) * 2018-09-12 2021-07-15 Huawei Tech Co Ltd Un codificador de video, un decodificador de video y metodos correspondientes.
WO2020156175A1 (zh) * 2019-02-01 2020-08-06 浙江大学 位流检验方法、解码方法及其装置
CN111935557B (zh) * 2019-05-13 2022-06-28 华为技术有限公司 视频处理方法、装置及系统
CA3157535A1 (en) * 2019-10-10 2021-04-15 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for simplifying signalling picture header
WO2021235882A1 (ko) * 2020-05-22 2021-11-25 엘지전자 주식회사 Ilrp의 레이어 인덱스에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010095556A1 (ja) * 2009-02-19 2010-08-26 ソニー株式会社 画像処理装置および方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006333436A (ja) * 2005-01-07 2006-12-07 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
US20140003521A1 (en) * 2011-03-11 2014-01-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding images and method and apparatus for decoding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010095556A1 (ja) * 2009-02-19 2010-08-26 ソニー株式会社 画像処理装置および方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN, JILL BOYCE, YAN YE, MISKA M. HANNUKSELA, SHVC TEST MODEL 1 (SHM 1), JPN6014023901, 26 March 2013 (2013-03-26), pages 第２．１欄, Ｇ．８．１．２欄 *
TOMOYUKI YAMAMOTO, YUKINOBU YASUGI, HISAO KUMAI, MAKI TAKAHASHI, DESCRIPTION OF SCALABLE VIDEO CODING TECHNOLOGY PROPOSAL BY SHARP (PROPOSAL 2), JPN6014023900, 10 October 2012 (2012-10-10), pages 第１欄，第７欄 *

Also Published As

Publication number Publication date
US20180115780A1 (en) 2018-04-26
TWI646826B (zh) 2019-01-01
CN105075269B (zh) 2018-07-03
WO2014162954A1 (ja) 2014-10-09
CN105075269A (zh) 2015-11-18
US9912959B2 (en) 2018-03-06
TW201448574A (zh) 2014-12-16
EP2996339A1 (en) 2016-03-16
HK1217256A1 (zh) 2016-12-30
JP6352248B2 (ja) 2018-07-04
EP2996339A4 (en) 2016-11-02
US20160057439A1 (en) 2016-02-25

Similar Documents

Publication Publication Date Title
JP6352248B2 (ja) 画像復号装置、および画像符号化装置
JP6456535B2 (ja) 画像符号化装置、画像符号化方法および記録媒体
US10237564B1 (en) Image decoding device, image decoding method, image coding device, and image coding method
JP6800837B2 (ja) 画像復号装置、及び画像復号方法
US10136151B2 (en) Image decoding device and image decoding method
US20160249056A1 (en) Image decoding device, image coding device, and coded data
JP6609000B2 (ja) 画像復号装置
JP6653860B2 (ja) 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体
WO2014007131A1 (ja) 画像復号装置、および画像符号化装置
JP2013243636A (ja) 画像復号装置および画像符号化装置
JP2015073213A (ja) 画像復号装置、画像符号化装置、符号化データ変換装置、および、注目領域表示システム
JP2014176039A (ja) 画像復号装置、および画像符号化装置
JP2013232775A (ja) 動画像復号装置、および動画像符号化装置
JP2015002495A (ja) 画像復号装置、および画像符号化装置
WO2014050554A1 (ja) 画像復号装置、および画像符号化装置
JP2015050506A (ja) 画像復号装置および画像符号化装置
JP2014082729A (ja) 画像復号装置、および画像符号化装置
JP2013251827A (ja) 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造
JP2015076807A (ja) 画像復号装置、画像符号化装置、および符号化データのデータ構造
JP2015076806A (ja) 画像復号装置および画像符号化装置
JP2014013976A (ja) 画像復号装置、および画像符号化装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170302

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170302

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180606

R150 Certificate of patent or registration of utility model

Ref document number: 6352248

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees