JP6653860B2 - 画像復号装置、画像符号化装置、画像復号方法、画像符号化方法及びコンピュータ読み取り可能な記録媒体 - Google Patents

Description

本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、および画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置に関する。

通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。

動画像符号化方式としては、AVC（H.264/MPEG-4 Advanced Video Coding）や、その後継コーデックであるHEVC（High-Efficiency Video Coding）が知られている（非特許文献１）。

これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。

イントラ予測では、同一ピクチャ内の局所復号画像に基づいて、当該ピクチャにおける予測画像が順次生成される。

インター予測では、ピクチャ間の動き補償により予測画像が生成される。インター予測で予測画像生成に用いられる復号済のピクチャは参照ピクチャと呼ばれる。

また、複数の相互に関連する動画像をレイヤ（階層）に分けて符号化することで、複数の動画像から符号化データを生成する技術も知られており、階層符号化技術と呼ばれる。階層符号化技術により生成される符号化データは階層符号化データとも呼ばれる。

代表的な階層符号化技術としてHEVCを基礎とするSHVC（Scalable HEVC）が知られている（非特許文献２）。

SHVCでは、空間スケーラビリティ、時間スケーラビリティ、SNRスケーラビリティをサポートする。例えば空間スケーラビリティの場合、複数の異なる解像度の動画像をレイヤに分けて符号化して階層符号化データを生成する。例えば、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとして符号化する。次に原画像をレイヤ間の冗長性を除去するためにレイヤ間予測を適用した上で、上位レイヤとして符号化する。

別の代表的な階層符号化技術としてHEVCを基礎とするMV-HEVC（Multi View HEVC）が知られている。MV-HEVCではビュースケーラビリティをサポートする。ビュースケーラビリティでは、複数の異なる視点（ビュー）に対応する動画像をレイヤに分けて符号化して階層符号化データを生成する。例えば、基本となる視点（ベースビュー）に対応する動画像を下位レイヤとして符号化する。次に、異なる視点に対応する動画像を、レイヤ間予測を適用した上で、上位レイヤとして符号化する。

SHVCやMV-HEVCにおけるレイヤ間予測には、レイヤ間画像予測とレイヤ間動き予測がある。レイヤ間画像予測では、下位レイヤの復号画像を利用して、予測画像を生成する。レイヤ間動き予測では、下位レイヤの動き情報を利用して、動き情報の予測値を導出する。レイヤ間予測において予測に用いられるピクチャはレイヤ間参照ピクチャと呼ばれる。また、レイヤ間参照ピクチャを含むレイヤは参照レイヤと呼ばれる。なお、以下では、インター予測に用いられる参照ピクチャと、レイヤ間予測に用いられる参照ピクチャを総称して単に参照ピクチャと呼称する。

レイヤ間画像予測には、上位レイヤ上の予測対象画素の位置に対応する下位レイヤ上の画素位置を導出する参照画素位置導出処理と、下位レイヤのピクチャに適用される拡大処理における拡大率に相当するスケールを導出するスケール導出処理が含まれる。

SHVCやMV-HEVCでは、予測画像の生成に、インター予測、イントラ予測、レイヤ間画像予測のいずれかを利用できる。

SHVCやMV-HEVCを利用するアプリーケーションの一つに、注目領域を考慮した映像アプリケーションがある。例えば、映像再生端末において、通常は全領域の映像を比較的低解像度で再生する。映像再生端末の視聴者が表示されている映像の一部を注目領域として指定した場合、当該注目領域が高解像度で再生端末に表示される。

前記のような注目領域を考慮した映像アプリケーションは、全領域の比較的低解像度の映像を下位レイヤの符号化データとして、注目領域の高解像度映像を上位レイヤの符号化データとして符号化した階層符号化データを用いて実現できる。すなわち、全領域を再生する場合は下位レイヤの符号化データのみを復号して再生し、注目領域の高解像度映像を再生する場合は、上位レイヤの符号化データを前記下位レイヤの符号化データに追加して伝送することで、低解像度映像に対する符号化データと高解像度映像に対する符号化データを両方送る場合に較べて少ない伝送帯域で前記アプリケーションが実現できる。その際、注目領域を含む領域に対応する符号化データを上位レイヤおよび下位レイヤからそれぞれ抽出して伝送することで、さらに伝送帯域を抑制できる。

上記のような注目領域を考慮した映像アプリケーションにおいて、注目領域を含む上位レイヤおよび下位レイヤの符号化データを生成する場合に、上位レイヤの画素と下位レイヤの画素の位置関係が変化し、その結果、下位レイヤの画素値に基づく上位レイヤの画素値を予測する場合の予測の正確さが低下するという課題がある。

SHVC（非特許文献２）では、上位レイヤの画素と下位レイヤの画素の位置関係を示すパラメータとして、拡大参照レイヤオフセットを採用している。拡大参照レイヤオフセットは、参照レイヤ上の所定の領域（例えば参照レイヤピクチャ全体）の、対象レイヤである上位レイヤ上の位置を表すオフセットの集合である。

非特許文献３では、前述の拡大参照レイヤオフセットに加え、下位レイヤ上のスケール計算に用いる領域の位置を表す参照レイヤオフセットを送り、拡大参照レイヤオフセットと参照レイヤオフセットを用いて参照画素位置やスケールを計算することで、階層符号化データから注目領域に相当する部分データを抽出した場合であっても、参照画素位置（対応参照位置）やスケールの抽出前後での一致を実現する方法が開示されている。

「Recommendation H.265 (04/13)」, ITU-T (２０１３年６月７日公開) JCTVC-Q1008_v1 「Preliminary version of High efficiency video coding (HEVC) scalable extension Draft 6」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Valencia, ES, 27 March - 4 April 2014（2014年4月15日公開） JCTVC-Q0159 「AHG 13: Sub-region extraction - position calculation and comparison of different approaches」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Valencia, ES, 27 March - 4 April 2014（2014年3月18日公開）

しかしながら、非特許文献２や非特許文献３に開示されている拡大参照レイヤオフセットおよび参照レイヤオフセットでは、上位レイヤまたは下位レイヤのピクチャの色フォーマットが、４：２：０色フォーマットと異なる輝度画素と色差画素の対応関係を持つ場合に正しい値が設定できないという課題があった。そのため、拡大参照レイヤオフセットおよび参照レイヤオフセットから導出される参照画素位置やスケールが実際の値と異なる場合があり、したがって、レイヤ間予測により生成される予測画像が不正確となり、結果として予測残差が増加して符号化データの符号量が増加するという課題があった。

本発明は、上記問題に鑑みてなされたものであり、その目的は、４：２：０色フォーマットのピクチャを処理対象とする場合に符号化または復号される拡大参照レイヤオフセットや参照レイヤオフセットの符号量を増やすことなく、４：２：０色フォーマットとは異なる色フォーマットのピクチャが上位レイヤまたは下位レイヤの処理対象である場合に拡大参照レイヤオフセットや参照レイヤオフセットに対して正確な値を設定できる画像符号化装置および画像復号装置を実現することにある。

上記課題を解決するために、本発明に係る画像復号装置は、階層符号化された符号化データを復号し、対象レイヤである上位レイヤの復号ピクチャを復元する画像復号装置であって、パラメータセットを復号するパラメータセット復号部と、参照レイヤピクチャの復号画素を参照して、レイヤ間予測により予測画像を生成する予測画像生成部を備え、前記パラメータセット復号部は対象レイヤピクチャの色フォーマットを復号し、該色フォーマットに基づいて対象レイヤピクチャの輝度色差サイズ比を導出し、前記パラメータセット復号部は対象レイヤの色差画素単位で符号化された拡大参照レイヤオフセットシンタックスを復号し、前記予測画像生成部は、該拡大参照レイヤオフセットシンタックスの値と前記対象レイヤピクチャの輝度色差サイズ比の積により拡大参照レイヤオフセットを導出し、前記拡大参照レイヤオフセットに基づいてスケールを計算し、該スケールを参照して対応参照位置を導出してレイヤ間予測を実行する、ことを特徴としている。

上記課題を解決するために、本発明に係る画像符号化装置は、入力画像から対象レイヤである上位レイヤの符号化データを生成する画像符号化装置であって、パラメータセットを符号化するパラメータセット符号化部と、参照レイヤピクチャの復号画素を参照して、レイヤ間予測により予測画像を生成する予測画像生成部を備え、前記パラメータセット符号化部は対象レイヤピクチャの色フォーマットを符号化するとともに、該色フォーマットに基づいて対象レイヤピクチャの輝度色差サイズ比を導出し、前記パラメータセット符号化部は対象レイヤの色差画素単位で拡大参照レイヤオフセットシンタックスを符号化し、前記予測画像生成部は、該拡大参照レイヤオフセットシンタックスの値と前記対象レイヤピクチャの輝度色差サイズ比の積により拡大参照レイヤオフセットを導出し、前記拡大参照レイヤオフセットに基づいてスケールを計算し、該スケールを参照して対応参照位置を導出してレイヤ間予測を実行する、ことを特徴としている。

本発明に係る画像復号装置（画像符号化装置）は、パラメータセットを復号するパラメータセット復号部（符号化部）と、参照レイヤピクチャの復号画素を参照してレイヤ間予測により予測画像を生成する予測画像生成部を備えている。パラメータセット復号部（符号化部）は色差画素単位の拡大参照レイヤオフセットシンタックスを復号（符号化）し、予測画像生成部は、該拡大参照レイヤオフセットシンタックスの値と対象レイヤの輝度色差サイズ比の積により拡大参照レイヤオフセットを導出し、該拡大参照レイヤオフセットに基づいてスケールを計算し、該スケールを参照して対応参照位置を導出してレイヤ間予測を実行する。

したがって、対象ピクチャの色フォーマットが4:2:0や4:2:2の場合には、参照レイヤオフセットシンタックスを輝度画素単位で復号する場合に較べて、より少ない符号量の符号で参照レイヤオフセットシンタックスの値を復号（符号化）できる。加えて、参照ピクチャの色フォーマットが4:4:4の場合には、参照レイヤオフセットシンタックスを輝度２画素単位で復号する場合に較べて、より高い精度、すなわち輝度１画素精度で、参照レイヤオフセットシンタックスを復号（符号化）できる。

本実施形態に係る、階層動画像復号装置および階層動画像符号化装置において実行される対応参照位置導出処理のフロー図である。 本発明の実施形態に係る階層符号化データのレイヤ構造を説明するための図であって、（ａ）は、階層動画像符号化装置側について示しており、（ｂ）は、階層動画像復号装置側について示している。 本発明の実施形態に係る階層符号化データの構成を説明するための図であって、（ａ）は、シーケンスＳＥＱを規定するシーケンスレイヤを示しており、（ｂ）は、ピクチャＰＩＣＴを規定するピクチャレイヤを示しており、（ｃ）は、スライスＳを規定するスライスレイヤを示しており、（ｄ）は、符号化ツリーユニットＣＴＵを規定するＣＴＵレイヤを示しており、（ｅ）は、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示している。 上記階層動画像復号装置の概略的構成を示す機能ブロック図である。 上記階層動画像復号装置に含まれるベース復号部の構成を例示する機能ブロック図である。 色フォーマット識別子と色フォーマット、輝度色差幅比、および、輝度色差高さ比の関係を示す表である。 ピクチャ内の部分領域である表示領域と表示領域位置情報の関係を例示する図である。 対象レイヤピクチャ、対象レイヤ対応領域、参照レイヤピクチャ、参照レイヤ対応領域と、拡大参照レイヤオフセットの関係を例示する図である。 SPS拡張の復号時に参照されるシンタックス表の一部であって、拡大参照レイヤオフセット情報に係るシンタックスに係る部分である。 SPS拡張の復号時に参照されるシンタックス表の一部であって、参照レイヤオフセット情報に係るシンタックスに係る部分である。 上記階層動画像復号装置に含まれるスライス復号部の構成を例示する機能ブロック図である。 本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。 上記階層動画像符号化装置に含まれるスライス符号化部の構成を例示する機能ブロック図である。 上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成を示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。 上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成を示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。

図１〜図１５に基づいて、本発明の一実施形態に係る階層動画像復号装置１、階層動画像符号化装置２を説明すれば以下のとおりである。

〔概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、SVCやSHVCにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。

階層符号化技術は、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティ、および（４）ビュースケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレームレート（単位時間のフレーム数）において階層化する技術である。ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。また、ビュースケーラビリティは、各画像に対応付けられた視点位置において階層化する技術である。

本実施形態に係る階層動画像符号化装置２、及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造を説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。

〔階層符号化データのレイヤ構造〕
ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。

以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。

図２（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図２（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。

まず、図２（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。

下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。

また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。

また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。

このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。

次に、図２（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。

なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。

例えば、中位階層Ｌ２の階層復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号できる。

なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。

また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像ＰＯＵＴ＃Ｂの復号に、“Ｂ”だけから構成される階層符号化データと、復号画像ＰＯＵＴ＃Ｃを入力とする階層動画像復号装置も構成できる。

なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。

本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。

上位レイヤ ： ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。

下位レイヤ ： ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。

対象レイヤ ： 復号または符号化の対象となっている階層のことをいう。なお、対象レイヤに対応する復号画像を対象レイヤピクチャと呼ぶ。また、対象レイヤピクチャを構成する画素を対象レイヤ画素と呼ぶ。

参照レイヤ（reference layer） ： 対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。なお、参照レイヤに対応する復号画像を参照レイヤピクチャと呼ぶ。また、参照レイヤを構成する画素を参照レイヤ画素と呼ぶ。

図２（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。

基本レイヤ（base layer；ベースレイヤ） ： 最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。

拡張レイヤ ： 基本レイヤの上位レイヤは、拡張レイヤと称される。

レイヤ識別子 ： レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。

一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。

レイヤ間予測 ： レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、下位レイヤの復号画像から予測するレイヤ間予測のことをレイヤ間画像予測（あるいはレイヤ間テクスチャ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。

なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。

〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、HEVCおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、MPEG-2や、H.264/AVCなどの符号化方式により生成してもよい。

また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１に供給されてもよいし、同一の伝送路を介して階層動画像復号装置１に供給されてもよい。

例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをMPEG-2またはH.264/AVCにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をHEVCにより符号化して、インターネットで伝送してもよい。

（基本レイヤ）
図３は、基本レイヤにおいて採用できる符号化データ（図２の例でいえば、階層符号化データＤＡＴＡ＃Ｃ）のデータ構造を例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。

階層符号化データＤＡＴＡ＃Ｃにおけるデータの階層構造を図３に示す。図３の（ａ）〜（ｅ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、符号化ツリーユニット（Coding Tree Unit；ＣＴＵ）を規定するＣＴＵレイヤ、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。

（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、ビデオパラメータセットＶＰＳ（Video Parameter Set）、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ１〜ＰＩＣＴNP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。

ビデオパラメータセットＶＰＳでは、符号化データに含まれるレイヤ数、レイヤ間の依存関係が規定されている。

シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＳＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス毎に復号に用いられるＳＰＳが複数の候補から選択される。特定シーケンスの復号に使用されるＳＰＳは、アクティブＳＰＳとも呼ばれる。以下では、特に断りがなければ、対象シーケンスに対するアクティブＳＰＳを意味する。

ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。特定ピクチャの復号に使用されるＰＰＳはアクティブＰＰＳとも呼ばれる。以下では、特に断りがなければ、ＰＰＳは対象ピクチャに対するアクティブＰＰＳを意味する。なお、アクティブＳＰＳおよびアクティブＰＰＳは、レイヤ毎に異なるＳＰＳやＰＰＳに設定してもよい。

（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、スライスヘッダＳＨ1〜ＳＨNS、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。

なお、以下、スライスヘッダＳＨ1〜ＳＨNSやスライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータも同様である。

スライスヘッダＳＨkには、対応するスライスＳkの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、ＳＰＳを指定するＳＰＳ識別子（seq_parameter_set_id）や、ＰＰＳを指定するＰＰＳ識別子（pic_parameter_set_id）が含まれる。また、スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。

（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、符号化ツリーユニットＣＴＵ1〜ＣＴＵNC（ＮＣはスライスＳに含まれるＣＴＵの総数）を含んでいる。

（ＣＴＵレイヤ）
ＣＴＵレイヤでは、処理対象の符号化ツリーユニットＣＴＵ（以下、対象ＣＴＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、符号化ツリーユニットのことを符号化ツリーブロック（CTB: Coding Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。

符号化ツリーユニットＣＴＵは、ＣＴＵヘッダＣＴＵＨと、符号化単位情報ＣＵ１〜ＣＵＮＬ（ＮＬはＣＴＵに含まれる符号化単位情報の総数）とを含む。ここで、まず、符号化ツリーユニットＣＴＵと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。

符号化ツリーユニットＣＴＵは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するための単位に分割される。

符号化ツリーユニットＣＴＵの上記単位は、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。

以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応する単位を、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。

つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１〜ＣＵＮＬは、符号化ツリーユニットＣＴＵを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。

また、符号化ツリーのルート（root）は、符号化ツリーユニットＣＴＵに対応付けられる。換言すれば、符号化ツリーユニットＣＴＵは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。

なお、各符号化ノードのサイズは、当該符号化ノードの親ノードとなる符号化ノード（すなわち、当該符号化ノードの１階層上位のノード）のサイズの縦横とも半分である。

また、符号化ツリーユニットＣＴＵのサイズ、および、各符号化ユニットのとり得るサイズは、シーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、符号化ツリーユニットＣＴＵのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。

（ＣＴＵヘッダ）
ＣＴＵヘッダＣＴＵＨには、対象ＣＴＵの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ＣＴＵの各ＣＵへの分割パターンを指定するＣＴＵ分割情報ＳＰ＿ＣＴＵ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。

ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＴＵを分割するための符号化ツリーを表す情報であり、具体的には、対象ＣＴＵに含まれる各ＣＵの形状、サイズ、および、対象ＣＴＵ内での位置を指定する情報である。

なお、ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばＣＴＵ分割情報ＳＰ＿ＣＴＵは、対象ＣＴＵ全体またはＣＴＵの部分領域を四分割するか否かを示すフラグの集合であってもよい。その場合、ＣＴＵの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。

（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。

ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。

予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。換言すれば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。

予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。

予測ツリーにおける分割（以下、ＰＵ分割と略称する）の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。

イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎなどがある。

また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。換言すれば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。

変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。

変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。

（ＣＵ情報のデータ構造）
続いて、図３（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容を説明する。図３（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。

スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。

［ＰＴ情報］
ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。

予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法を指定する情報である。ベースレイヤにおいては、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。

予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅで指定される予測方法において用いられる予測情報である。ベースレイヤにおいては、イントラ予測の場合にイントラ予測情報PP_Intraが含まれる。また、インター予測の場合にはインター予測情報PP_Interを含む。

インター予測情報PP_Interは、階層動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される予測情報を含む。より具体的には、インター予測情報PP_Interは、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータ（動き補償パラメータ）を含む。インター予測パラメータとしては、例えば、マージフラグ（merge_flag）、マージインデックス（merge_idx）、推定動きベクトルインデックス（mvp_idx）、参照ピクチャインデックス（ref_idx）、インター予測フラグ（inter_pred_flag）、および動きベクトル残差（mvd）を含む。

イントラ予測情報PP_Intraは、階層動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、イントラ予測情報PP_Intraには、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。

［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数の変換ブロックそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。

ＴＴ情報ＴＴＩは、図３（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ1〜ＱＤNT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。

ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各変換ブロックの形状、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象ノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現できる。

また、例えば、ＣＵサイズが、６４×６４の場合、分割により得られる各変換ブロックは、３２×３２画素から４×４画素までのサイズをとり得る。

各量子化予測残差ＱＤは、階層動画像符号化装置２が以下の処理１〜３を、処理対象の変換ブロックである対象ブロックに施すことによって生成した符号化データである。

処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。

（ＰＵ分割情報）
ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる予測単位のことを予測ブロック、または、パーティションと称する。

（拡張レイヤ）
拡張レイヤのレイヤ表現に含まれる符号化データ（以下、拡張レイヤ符号化データ）についても、例えば、図３に示すデータ構造とほぼ同様のデータ構造を採用できる。ただし、拡張レイヤ符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略できる。

スライスレイヤでは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティ、ビュースケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、quality_id、および、view_id）が符号化されていてもよい。

また、ＣＵ情報ＣＵに含まれる予測タイプ情報ＰＴｙｐｅは、対象ＣＵについての予測画像生成方法がイントラ予測、インター予測、または、レイヤ間画像予測のいずれかを指定する情報である。予測タイプ情報ＰＴｙｐｅには、レイヤ間画像予測モードの適用有無を指定するフラグ（レイヤ間画像予測フラグ）を含む。なお、レイヤ間画像予測フラグは、texture_rl_flag、inter_layer_pred_flag、または、base_mode_flagと呼ばれることもある。

拡張レイヤにおいて、対象ＣＵのＣＵタイプが、イントラＣＵ、レイヤ間ＣＵ、インターＣＵ、スキップＣＵのいずれであるかが指定されていてもよい。

イントラＣＵは、ベースレイヤにおけるイントラＣＵと同様に定義できる。イントラＣＵでは、レイヤ間画像予測フラグが“０”に、予測モードフラグが“０”に設定される。

レイヤ間ＣＵは、参照レイヤのピクチャの復号画像を予測画像生成に用いるＣＵと定義できる。レイヤ間ＣＵでは、レイヤ間画像予測フラグが“１”に、予測モードフラグが“０”に設定される。

スキップＣＵは、上述のHEVC方式の場合と同様に定義できる。例えば、スキップＣＵでは、スキップフラグに“１”が設定される。

インターＣＵは、非スキップかつ動き補償（MC；Motion Compensation）を適用するＣＵと定義されていてもよい。インターＣＵでは、例えば、スキップフラグに“０”が設定され、予測モードフラグに“１”が設定される。

また、上述のとおり拡張レイヤの符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。

下位レイヤが、例えば、MPEG-2や、H.264/AVC方式によって符号化されていてもよい。

拡張レイヤ符号化データでは、VPSが拡張されて、レイヤ間の参照構造を表すパラメータが含まれていてもよい。

また、拡張レイヤ符号化データでは、SPS、PPS、スライスヘッダが拡張されて、レイヤ間画像予測に用いる参照レイヤの復号画像に係る情報（例えば、後述のレイヤ間参照ピクチャセット、レイヤ間参照ピクチャリスト、ベース制御情報等を直接、または、間接的に導出するためのシンタックス）が含まれていてもよい。

なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略できる。

〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置１の構成について、図１〜図１１を参照して説明する。

（階層動画像復号装置の構成）
図４を参照して、階層動画像復号装置１の概略的構成を説明する。図４は、階層動画像復号装置１の概略的構成を示した機能ブロック図である。階層動画像復号装置１は、階層符号化データDATA（階層動画像符号化装置２から提供される階層符号化データDATAF）を復号して、対象レイヤの復号画像POUT#Tを生成する。なお、以下では、対象レイヤは基本レイヤを参照レイヤとする拡張レイヤであるとして説明する。そのため、対象レイヤは、参照レイヤに対する上位レイヤでもある。逆に、参照レイヤは、対象レイヤに対する下位レイヤでもある。

図４に示すように階層動画像復号装置１は、NAL逆多重化部１１、パラメータセット復号部１２、タイル設定部１３、スライス復号部１４、ベース復号部１５、復号ピクチャ管理部１６を含む。

NAL逆多重化部１１は、NAL（Network Abstraction Layer）におけるNALユニット単位で伝送される階層符号化データDATAを逆多重化する。

NALは、VCL（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。

VCLは、動画像符号化処理を行う層のことであり、VCLにおいて符号化が行われる。一方、ここでいう、下位システムは、H.264/AVCおよびHEVCのファイルフォーマットや、MPEG-2システムに対応する。

なお、NALでは、VCLで生成されたビットストリームが、NALユニットという単位で区切られて、宛先となる下位システムへ伝送される。NALユニットには、VCLで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダが含まれる。また、各階層における符号化データは、NALユニット格納されることでNAL多重化されて階層動画像復号装置１に伝送される。

階層符号化データDATAには、VCLにより生成されたNALの他に、パラメータセット（VPS、SPS、PPS）やSEI等を含むNALが含まれる。それらのNALはVCL NALに対して非VCL NALと呼ばれる。

NAL逆多重化部１１は、階層符号化データDATAを逆多重化して、対象レイヤ符号化データDATA#Tおよび参照レイヤ符号化データDATA#$を取り出す。また、NAL逆多重化部１１は、対象レイヤ符号化データDATA#Tに含まれるNALのうち、非VCL NALをパラメータセット復号部１２に、VCL NALをスライス復号部１４にそれぞれ供給する。

パラメータセット復号部１２は、入力される非VCL NALからパラメータセット、すなわち、ＶＰＳ、ＳＰＳ、および、ＰＰＳを復号してタイル設定部１３とスライス復号部１４に供給する。なお、パラメータセット復号部１２における本発明との関連性の高い処理の詳細について後述する。

タイル設定部１３は、入力されるパラメータセットに基づいてピクチャのタイル情報を導出してスライス復号部１４に供給する。タイル情報は、少なくともピクチャのタイル分割情報を含む。

スライス復号部１４は、入力されるVCL NAL、パラメータセット、タイル情報、および、参照ピクチャに基づいて復号ピクチャ、または、復号ピクチャの部分領域を生成して復号ピクチャ管理部１６内のバッファに記録する。スライス復号部の詳細な説明は後述する。

復号ピクチャ管理部１６は、入力される復号ピクチャやベース復号ピクチャを内部の復号ピクチャバッファ（DPB: Decoded Picture Buffer）に記録するとともに、参照ピクチャリスト生成や出力ピクチャ決定を行う。また、復号ピクチャ管理部１６は、DPBに記録されている復号ピクチャを、所定のタイミングで出力ピクチャPOUT#Tとして外部に出力する。

ベース復号部１５は、参照レイヤ符号化データDATA#Rからベース復号ピクチャを復号する。ベース復号ピクチャは、対象レイヤの復号ピクチャ復号時に利用される参照レイヤの復号ピクチャである。ベース復号部１５は、復号したベース復号ピクチャを復号ピクチャ管理部１６内のDPBに記録する。

図５を用いて、ベース復号部１５の詳細構成を説明する。図５は、ベース復号部１５の構成を例示した機能ブロック図である。

図５に示すように、ベース復号部１５は、ベースNAL逆多重化部１５１、ベースパラメータセット復号部１５２、ベースタイル設定部１５３、ベーススライス復号部１５４、ベース復号ピクチャ管理部１５６を備える。

ベースNAL逆多重化部１５１は、参照レイヤ符号化データＤＡＴＡ＃Ｒを逆多重化して、VCL NALと非VCL NALを抽出し、非VCL NALをベースパラメータセット復号部１５２に、VCL NALをベーススライス復号部１５４にそれぞれ供給する。

ベースパラメータセット復号部１５２は、入力される非VCL NALからパラメータセット、すなわち、VPS、SPS、および、PPSを復号してベースタイル設定部１５３とベーススライス復号部１５４に供給する。

ベーススタイル設定部１５３は、入力されるパラメータセットに基づいてピクチャのタイル情報を導出してベーススライス復号部１５４に供給する。

ベーススライス復号部１５４は、入力されるVCL NAL、パラメータセット、タイル情報、および、参照ピクチャに基づいて復号ピクチャ、または、復号ピクチャの部分領域を生成してベース復号ピクチャ管理部１５６内のバッファに記録する。

ベース復号ピクチャ管理部１５６は、入力される復号ピクチャを内部のDPBに記録するとともに、参照ピクチャリスト生成や出力ピクチャ決定を行う。また、ベース復号ピクチャ管理部１５６は、DPBに記録されている復号ピクチャを、所定のタイミングでベース復号ピクチャとして出力する。

（パラメータセット復号部１２）
パラメータセット復号部１２は、入力される対象レイヤの符号化データから、対象レイヤの復号に用いられるパラメータセット（VPS、SPS、PPS）を復号して出力する。一般に、パラメータセットの復号は既定のシンタックス表に基づいて実行される。すなわち、シンタックス表の定める手順に従って符号化データからビット列を読み出して、シンタックス表に含まれるシンタックス要素のシンタックス値を復号する。また、必要に応じて、復号したシンタックス値に基づいて導出した変数を、出力するパラメータセットに含めてもよい。したがって、パラメータセット復号部１２から出力されるパラメータセットは、符号化データに含まれるパラメータセット（VPS、SPS、PPS）に係るシンタックス要素のシンタックス値、および、該シンタックス値より導出される変数の集合と表現できる。

以下では、パラメータセット復号部１２において復号に使用されるシンタックス表のうち、本発明との関連性が高い、ピクチャ情報、および、レイヤ間位置対応情報に係るシンタックス表の一部について詳しく説明する。

（ピクチャ情報）
パラメータセット復号部１２は、入力される対象レイヤ符号化データからピクチャ情報を復号する。ピクチャ情報は、概略的には、対象レイヤの復号ピクチャのサイズを定める情報である。例えば、ピクチャ情報は、対象レイヤの復号ピクチャの幅や高さを表わす情報を含んでいる。

ピクチャ情報は、例えば、SPSに含まれている。SPSから復号されるピクチャ情報には、復号ピクチャの幅（pic_width_in_luma_samples）と復号ピクチャの高さ（pic_height_in_luma_samples）が含まれている。シンタックスpic_width_in_luma_samplesの値は、輝度画素単位での復号ピクチャの幅に対応する。また、シンタックスpic_height_in_luma_samplesの値は、輝度画素単位での復号ピクチャの高さに対応する。

なお、ピクチャ情報は、レイヤ間で共有されている。すなわち、対象レイヤとは異なるレイヤのピクチャ情報を対象レイヤの復号および符号化時に参照できる。

（ピクチャフォーマット情報）
パラメータセット復号部１２は、入力される対象レイヤ符号化データからピクチャフォーマット情報を復号する。ピクチャフォーマット情報は、復号ピクチャの色フォーマットの識別子である色フォーマット識別子（chroma_format_idc）を少なくとも含む。ピクチャフォーマット情報は、例えば、SPSに含まれている。その場合、特定のピクチャのピクチャフォーマットは、該ピクチャに関連付けられたSPSに含まれるピクチャフォーマット情報から導出される。また、ピクチャフォーマット情報は、VPSに含まれていてもよい。その場合、特定のピクチャのピクチャフォーマットは、該ピクチャが属するレイヤとVPS内で関連付けられるピクチャフォーマット情報から導出される。

パラメータセット復号部１２は、復号した色フォーマット識別子の値に基づいて、色差画素あたりの輝度画素幅（SubWidthC）、および、色差画素あたりの輝度画素高（SubHeightC）を導出する。色差画素あたりの輝度画素幅（SubWidthC）は、輝度プレーンの画素単位の幅を色差プレーンの画素単位の幅で除算した値と同じであり、SubWidthCを輝度色差幅比とも呼ぶ。同様に、色差画素あたりの輝度画素幅（SubHeightC）は、輝度プレーンの画素単位の高さを色差プレーンの画素単位の高さで除算した値と同じであり、SubHeightCを輝度色差高さ比とも呼ぶ。また、輝度色差幅比と輝度色差高さ比を総称して、輝度色差サイズ比と呼ぶ。

図６は、パラメータセット復号部１２が参照する表であって、色フォーマット識別子と色フォーマット、輝度色差幅比、および、輝度色差高さ比の関係を表す表である。パラメータセット復号部１２は、図６に従って、色フォーマット識別子（chroma_format_idc）から、色フォーマット（Chroma format）、輝度色差幅比（SubWidthC）、および、輝度色差高さ比（SubHeightC）が導出される。

（１）色フォーマット識別子が「０」の場合、ピクチャの色フォーマットは「monochrome」であり、SubWidthCとSubHeightCの値はそれぞれ「１」に設定される。ここで、「monochrome」とは、ピクチャが１枚の画像プレーン（例えば１枚の輝度プレーン）のみから構成されることを意味する。

（２）色フォーマット識別子が「１」の場合、ピクチャの色フォーマットは「4:2:0」であり、SubWidthCの値は「２」、SubHeightCの値は「２」に設定される。ここで、「4:2:0」の色フォーマットでは、ピクチャは１枚の輝度プレーンと２枚の色差プレーンから構成される。加えて、輝度プレーンの縦の画素数は色差プレーンの縦の画素数の２倍であり、横の画素数も同様である。

（３）色フォーマット識別子が「２」の場合、ピクチャの色フォーマットは「4:2:2」であり、SubWidthCの値は「２」、SubHeightCの値は「１」に設定される。ここで、「4:2:2」の色フォーマットでは、ピクチャは１枚の輝度プレーンと２枚の色差プレーンから構成される。加えて、輝度プレーンの縦の画素数は色差プレーンの縦の画素数と同一であり、輝度プレーンの横の画素数は色差プレーンの横の画素数の２倍である。

（４）色フォーマット識別子が「３」の場合、ピクチャの色フォーマットは「4:4:4」であり、SubWidthCの値は「１」、SubHeightCの値は「１」に設定される。ここで、「4:4:4」の色フォーマットでは、ピクチャは１枚の輝度プレーンと２枚の色差プレーンから構成される。加えて、輝度プレーンの縦の画素数は色差プレーンの縦の画素数と同一であり、横の画素数も同様である。

上記の（２）、（３）、（４）におけるSubWidthCとSubHeightCの導出処理をまとめて、次のように表現することもできる。すなわち、色フォーマット識別子が、ピクチャが１枚の輝度プレーンと２枚の色差プレーンから構成される色フォーマットを示す場合、輝度色差幅比（SubWidthC）の値は、輝度プレーン横画素数の色差プレーン横画素数に対する比に設定され、輝度色差高さ比（SubHeightC）の値は、輝度プレーン縦画素数の色差プレーン縦画素数に対する比に設定される。

（表示領域情報）
パラメータセット復号部１２は、入力される対象レイヤ符号化データから表示領域情報を復号する。表示領域情報は、例えば、SPSに含まれている。SPSから復号される表示領域情報は、表示領域フラグ（conformance_flag）を含む。表示領域フラグは表示領域の位置を表わす情報（表示領域位置情報）が追加でSPSに含まれるか否かを示す。すなわち、表示領域フラグが１の場合、表示領域位置情報が追加で含まれることを示し、表示領域フラグが０の場合、表示領域位置情報が追加で含まれないことを示す。

SPSから復号される表示領域情報は、表示領域フラグが１の場合、さらに表示領域位置情報として表示領域左オフセット（conf_win_left_offset）、表示領域右オフセット（conf_win_right_offset）、表示領域上オフセット（conf_win_top_offset）、表示領域下オフセット（conf_win_bottom_offset）を含む。

表示領域は、表示領域フラグが０の場合には、ピクチャ全体が設定される。一方、表示領域フラグが１の場合には、表示領域位置情報が示すピクチャ内の部分領域が設定される。なお、表示領域は、コンフォーマンス窓（conformance window）とも呼称される。

図７を参照して表示領域位置情報と表示領域の関係を説明する。図７は、ピクチャ内の部分領域である表示領域と表示領域位置情報の関係を例示する図である。図に示したように、表示領域はピクチャ内に包含されており、表示領域上オフセットはピクチャ上辺と表示領域上辺の距離、表示領域左オフセットはピクチャ左辺と表示領域左辺の距離、表示領域右オフセットはピクチャ右辺と表示領域右辺の距離、表示領域下オフセットはピクチャ下辺と表示領域下辺の距離をそれぞれ表わしている。したがって、上記の表示領域位置情報により、表示領域のピクチャ内の位置およびサイズが一意に特定できる。なお、表示領域情報は、表示領域のピクチャ内の位置およびサイズが一意に特定できる他の情報であっても構わない。

（レイヤ間位置対応情報）
パラメータセット復号部１２は、入力される対象レイヤ符号化データからレイヤ間位置対応情報を復号する。レイヤ間位置対応情報は、概略的には、対象レイヤと参照レイヤの対応する領域の位置関係を示す。例えば、対象レイヤのピクチャと参照レイヤのピクチャにある物体（物体Ａ）が含まれる場合、対象レイヤのピクチャ上の物体Ａに対応する領域と、参照レイヤのピクチャ上の物体Ａに対応する領域が、前記対象レイヤと参照レイヤの対応する領域に相当する。なお、レイヤ間位置対応情報は、必ずしも上記の対象レイヤと参照レイヤの対応する領域の位置関係を正確に示す情報でなくてもよいが、一般的には、レイヤ間予測の正確性を高めるために正確な対象レイヤと参照レイヤの対応する領域の位置関係を示している。

（レイヤ間位置対応情報：拡大参照レイヤオフセット）
レイヤ間位置対応情報には拡大参照レイヤオフセットを規定する情報が含まれる。拡大参照レイヤオフセットは符号化データ内に複数含むことが可能であり、各々の拡大参照レイヤオフセットは、左、上、右、下にそれぞれ対応する４つのオフセットから構成され、対象ピクチャ、および、参照ピクチャの２枚のピクチャの組み合わせに関連付けられている。言い換えると、対象ピクチャと、特定の参照ピクチャの組み合わせそれぞれに対して、対応する拡大参照レイヤオフセットを規定する情報がレイヤ間位置対応情報に含まれる。なお、必ずしも全ての対象ピクチャと参照ピクチャの組み合わせに対して参照レイヤオフセットを規定する情報が含まれている必要はなく、特定の条件で一部の組み合わせについて省略して既定値を用いることもできる。

拡大参照レイヤオフセットを構成する各オフセットの意味を、図８を参照して説明する。図８は、対象レイヤピクチャ、参照レイヤピクチャ、および、レイヤ間画素対応オフセットの関係を例示する図である。

図８（ａ）は、参照レイヤのピクチャ全体が対象レイヤのピクチャの一部に対応する場合の例を示す。この場合、参照レイヤピクチャ全体に対応する対象レイヤ上の領域（対象レイヤ対応領域）は、対象レイヤピクチャの内部に含まれている。図８（ｂ）は、参照レイヤのピクチャの一部が対象レイヤのピクチャ全体に対応する場合の例を示す。この場合、参照レイヤ対応領域の内部に対象レイヤピクチャが含まれている。なお、対象レイヤピクチャ全体にオフセットが含まれている。

図８に示したように、拡大参照レイヤ左オフセット（図ではSRL左オフセット）は、参照レイヤ対応領域左辺の対象レイヤピクチャ左辺に対するオフセットを表わす。なお、SRL左オフセットが０より大きい場合、参照レイヤ対応領域左辺が対象レイヤピクチャ左辺の右側に位置することを表わす。

拡大参照レイヤ上オフセット（図ではSRL上オフセット）は、参照レイヤ対応領域上辺の対象レイヤピクチャ上辺に対するオフセットを表わす。なお、SRL上オフセットが０より大きい場合、参照レイヤ対応領域上辺が対象レイヤピクチャ上辺の下側に位置することを表わす。

拡大参照レイヤ右オフセット（図ではSRL右オフセット）は、参照レイヤ対応領域右辺の対象レイヤピクチャ右辺に対するオフセットを表わす。なお、SRL右オフセットが０より大きい場合、参照レイヤ対応領域右辺が対象レイヤピクチャ右辺の左側に位置することを表わす。

拡大参照レイヤ下オフセット（図ではSRL下オフセット）は、参照レイヤ対応領域下辺の対象レイヤピクチャ下辺に対するオフセットを表わす。なお、SRL下オフセットが０より大きい場合、参照レイヤ対応領域下辺が対象レイヤピクチャ下辺の上側に位置することを表わす。

次に符号化データに含まれ、パラメータセット復号部１２により復号される、拡大参照レイヤオフセットを規定する情報（以下、拡大参照レイヤオフセット情報）について説明する。拡大参照レイヤオフセット情報は、例えば、上位レイヤのSPSの一部であるSPS拡張（sps_estension）に含まれており、図９に示すシンタックス表に従って復号される。図９は、パラメータセット復号部１２がSPS復号時に参照するシンタックス表の一部であって、レイヤ間画素対応情報に係る部分である。

SPSから復号される拡大参照レイヤオフセット情報には、SPS拡張に含まれる拡大参照レイヤオフセット数（num_scaled_ref_layer_offsets）が含まれる。加えて、レイヤ間画素対応情報には、前記拡大参照レイヤオフセット数が示す個数分の拡大参照レイヤオフセットが、各レイヤ間画素対応オフセットが関連付けられる参照レイヤを示す識別子と合わせて含まれる。拡大参照レイヤ識別子（scaled_ref_layer_id）は、後続の拡大参照レイヤオフセットが関連付けられる参照レイヤを示す識別子である。レイヤ間画素対応オフセットとして、拡大参照レイヤ左オフセット（scaled_ref_layer_left_offset）、拡大参照レイヤ上オフセット（scaled_ref_layer_top_offset）、拡大参照レイヤ右オフセット（scaled_ref_layer_right_offset）、および、拡大参照レイヤ下オフセット（scaled_ref_layer_bottom_offset）が含まれる。以下、scaled_ref_layer_left_offset、scaled_ref_layer_top_offset、scaled_ref_layer_right_offset、scaled_ref_layer_bottom_offsetを総称して、拡大参照レイヤオフセットシンタックスと呼ぶ。

パラメータセット復号部１２は、符号化データから符号付指数ゴロム符号（se(v)）の符号を復号することで、拡大参照レイヤオフセットシンタックスの値を復号する。符号付き指数ゴロム符号は、具体的には、HEVCで既定されている同名の符号が使用できる。復号された拡大参照レイヤオフセットシンタックスの値は、対象ピクチャの色差画素を単位とする。対象ピクチャの輝度画素単位のオフセットOYと、対象ピクチャの色差画素単位のオフセットOCの間には、次式の関係が成立する。

OY = RYC * OC
ここで、RYCは色差画素１個に対応する輝度画素数を表すパラメータである。水平方向のオフセット（左オフセットおよび右オフセット）に対しては、RYCの値として、ピクチャフォーマット情報から導出される対象ピクチャにおける輝度色差幅比（SubWidthC）が利用できる。また、垂直方向のオフセット（上オフセットおよび右オフセット）に対しては、RYCの値として、対象ピクチャにおける輝度色差高さ比（SubHightC）が利用できる。

拡大参照レイヤオフセットシンタックスを色差画素単位で復号する場合、対象ピクチャの色フォーマットが4:2:0や4:2:2の場合には、拡大参照レイヤオフセットシンタックスを輝度画素単位で復号する場合に較べて、より少ない符号量の符号から拡大参照レイヤオフセットシンタックスの値を復号できる。一方、対象ピクチャの色フォーマットが4:4:4の場合には、拡大参照レイヤオフセットシンタックスを輝度２画素単位で復号する場合に較べて、より高い精度、すなわち輝度１画素精度で、拡大参照レイヤオフセットシンタックスを復号できる。

（レイヤ間位置対応情報：参照レイヤオフセット）
レイヤ間位置対応情報には参照レイヤオフセットを規定する情報（参照レイヤオフセット情報）が含まれる。参照レイヤオフセットは符号化データ内に複数含むことが可能であり、各々の参照レイヤオフセットは、左、上、右、下にそれぞれ対応する４つのオフセットから構成され、対象ピクチャ、および、参照ピクチャの２枚のピクチャの組み合わせに関連付けられている。言い換えると、対象ピクチャと、特定の参照ピクチャの組み合わせそれぞれに対して、対応する参照レイヤオフセットがレイヤ間画素対応情報に含まれ得る。

参照レイヤ左オフセットは、参照レイヤ基準領域左辺の参照レイヤピクチャ左辺に対するオフセットを表わす。なお、オフセット値が０より大きい場合、参照レイヤ基準領域左辺が参照レイヤピクチャ左辺の右側に位置することを表わす。

参照レイヤ上オフセットは、参照レイヤ基準領域上辺の参照レイヤピクチャ上辺に対するオフセットを表わす。なお、オフセット値が０より大きい場合、参照レイヤ基準領域上辺が参照レイヤピクチャ上辺の下側に位置することを表わす。

参照レイヤ右オフセットは、参照レイヤ基準領域右辺の参照レイヤピクチャ右辺に対するオフセットを表わす。なお、オフセット値が０より大きい場合、参照レイヤ基準領域右辺が参照レイヤピクチャ右辺の左側に位置することを表わす。

参照レイヤ下オフセットは、参照レイヤ基準領域下辺の参照レイヤピクチャ下辺に対するオフセットを表わす。なお、オフセット値が０より大きい場合、参照レイヤ基準領域下辺が参照レイヤピクチャ下辺の上側に位置することを表わす。

次に参照レイヤオフセットに対応するシンタックスを含む参照レイヤオフセット情報に対応するシンタックスについて説明する。参照レイヤオフセット情報は、例えば、上位レイヤのSPSの一部であるSPS拡張（sps_extension）に含まれており、図１０に示すシンタックス表に従って復号される。図１０は、パラメータセット復号部１２がSPS復号時に参照するシンタックス表の一部であって、参照レイヤオフセット情報に係る部分である。

SPSから復号される参照レイヤオフセット情報には、SPS拡張に含まれる参照レイヤオフセット数（num_ref_layer_offsets）が含まれる。加えて、レイヤ間画素対応情報には、前記参照レイヤオフセット数が示す個数分の参照レイヤオフセットが、各参照レイヤオフセットが関連付けられる参照レイヤを示す識別子と合わせて含まれる。参照レイヤ識別子（ref_layer_id）は、後続の参照レイヤオフセットが関連付けられる参照レイヤを示す識別子である。参照レイヤオフセットとして、参照レイヤ左オフセット（ref_layer_left_offset）、参照レイヤ上オフセット（ref_layer_top_offset）、参照レイヤ右オフセット（ref_layer_right_offset）、および、参照レイヤ下オフセット（ref_layer_bottom_offset）が含まれる。以下、ref_layer_left_offset、ref_layer_top_offset、ref_layer_right_offset、ref_layer_bottom_offsetを総称して、参照レイヤオフセットシンタックスと呼ぶ。

パラメータセット復号部１２は、符号化データから符号付指数ゴロム符号（se(v)）の符号を復号することで、参照レイヤオフセットシンタックスの値を復号する。復号された参照レイヤオフセットシンタックスの値は、該参照レイヤオフセットシンタックスと参照レイヤ識別子を介して関連付けられた参照レイヤピクチャの色差画素を単位とする。該参照ピクチャの輝度画素単位のオフセットROYと、該参照ピクチャの色差画素単位のオフセットROCの間には、次式の関係が成立する。

ROY = RRYC * ROC
ここで、RRYCは関連付けられた参照ピクチャの色差画素１個に対応する輝度画素数を表すパラメータである。水平方向のオフセット（左オフセットおよび右オフセット）に対しては、RRYCの値として、ピクチャフォーマット情報から導出される関連付けられた参照ピクチャにおける輝度色差幅比（SubWidthC）が利用できる。また、垂直方向のオフセット（上オフセットおよび右オフセット）に対しては、RRYCの値として、対象ピクチャにおける輝度色差高さ比（SubHightC）が利用できる。

参照レイヤオフセットシンタックスを色差画素単位で復号する場合、参照ピクチャの色フォーマットが4:2:0や4:2:2の場合には、参照レイヤオフセットシンタックスを輝度画素単位で復号する場合に較べて、より少ない符号量の符号から参照レイヤオフセットシンタックスの値を復号できる。一方、参照ピクチャの色フォーマットが4:4:4の場合には、参照レイヤオフセットシンタックスを輝度２画素単位で復号する場合に較べて、より高い精度、すなわち輝度１画素精度で、参照レイヤオフセットシンタックスを復号できる。

以上説明したように、レイヤ間画素対応情報として、拡大参照レイヤオフセット情報と参照レイヤオフセット情報が含まれる。各オフセットを表すシンタックスの単位は、上記説明したように、対象レイヤピクチャ色フォーマットまたは参照レイヤピクチャ色フォーマットに基づいてそれぞれ設定される。そのため、対象レイヤと参照レイヤの色フォーマットにそれぞれ合わせて、拡大参照レイヤオフセットと参照レイヤオフセットにそれぞれ対応するシンタックスの単位を独立に設定できる。

なお、本実施形態においては、拡大参照レイヤオフセットと参照レイヤオフセットの両方を送る場合を説明しているが、いずれか一方のみ使う場合、すなわち、いずれか一方のオフセットに対応するシンタックスのみが符号化データから復号される場合であっても本発明の効果は成立する。

（スライス復号部１４）
スライス復号部１４は、入力されるVCL NAL、パラメータセット、および、タイル情報に基づいて復号ピクチャを生成して出力する。

図１１を用いて、スライス復号部１４の概略的構成を説明する。図１１は、スライス復号部１４の概略的構成を示した機能ブロック図である。

スライス復号部１４は、スライスヘッダ復号部１４１、スライス位置設定部１４２、ＣＴＵ復号部１４４を備えている。ＣＴＵ復号部１４４は、さらに、予測残差復元部１４４１、予測画像生成部１４４２、および、ＣＴＵ復号画像生成部１４４３を含んでいる。

（スライスヘッダ復号部）
スライスヘッダ復号部１４１は、入力されるVCL NALとパラメータセットに基づいてスライスヘッダを復号し、スライス位置設定部１４２、スキップスライス判定部１４３、および、ＣＴＵ復号部１４４に出力する。

スライスヘッダには、ピクチャ内のスライス位置に係る情報（SHスライス位置情報）、および、スキップスライスに係る情報（SHスキップスライス情報）が含まれる。

スライスヘッダには、スライス位置情報として、ピクチャ内先頭スライスフラグ（first_slice_segment_in_pic_flag）が含まれる。ピクチャ内先頭スライスフラグが１の場合、対象スライスが復号順でピクチャ内の先頭に位置することを示す。ピクチャ内先頭スライスフラグが０の場合は、対象スライスが復号順でピクチャ内の先頭に位置しないことを示す。

また、スライスヘッダには、スライス位置情報として、スライスPPS識別子（slice_pic_parameter_set_id）が含まれる。スライスPPS識別子は、対象スライスに関連付けられるPPSの識別子であり、当該PPS識別子を介して、対象スライスに関連付けるべきタイル情報が特定される。

（スライス位置設定部）
スライス位置設定部１４２は、入力されるスライスヘッダとタイル情報に基づいてピクチャ内のスライス位置を特定してＣＴＵ復号部１４４に出力する。スライス位置設定部１４２で導出されるピクチャ内のスライス位置は、スライスに含まれる各CTUのピクチャ内での位置を含む。

（CTU復号部）
ＣＴＵ復号部１４４は、概略的には、入力されるスライスヘッダ、スライスデータ、および、パラメータセットに基づいて、スライスに含まれる各ＣＴＵに対応する領域の復号画像を復号することで、スライスの復号画像を生成する。スライスの復号画像は、入力されるスライス位置の示す位置に、復号ピクチャの一部として出力される。CTUの復号画像は、ＣＴＵ復号部１４４内部の予測残差復元部１４４１、予測画像生成部１４４２、および、ＣＴＵ復号画像生成部１４４３により生成される。予測残差復元部１４４１は、入力のスライスデータに含まれる予測残差情報（ＴＴ情報）を復号して対象CTUの予測残差を生成して出力する。予測画像生成部１４４２は、入力のスライスデータに含まれる予測情報（ＰＴ情報）の示す予測方法と予測パラメータに基づいて予測画像を生成して出力する。その際、必要に応じて、参照ピクチャの復号画像や符号化らメータが利用される。ＣＴＵ復号画像生成部１４４３は、入力される予測画像と予測残差を加算して対象CTUの復号画像を生成して出力する。

（予測画像生成部の詳細）
前述の予測画像生成部１４４２による予測画像生成処理のうち、レイヤ間画像予測が選択された場合の予測画像生成処理の詳細を説明する。

レイヤ間画像予測が適用される対象CTUに含まれる対象画素の予測画素値の生成処理は次の手順で実行される。まず、参照ピクチャ位置導出処理を実行し、対応参照位置を導出する。ここで、対応参照位置とは、対象レイヤピクチャ上の対象画素（予測対象画素）に対応する参照レイヤ上の位置である。より厳密には、予測画像生成処理の対象が輝度の場合、対応参照位置は、参照レイヤピクチャの輝度プレーン上の位置である。また、予測画像生成処理の対象が色差の場合、対応参照位置は、参照レイヤピクチャの色差プレーン上の位置である。なお、対象レイヤと参照レイヤの画素は必ずしも１対１に対応しないため、対応参照位置は、参照レイヤにおける画素単位未満の精度で表現される。次に、導出した対応参照位置を入力として補間フィルタ処理を実行することで、対象画素の予測画素値が生成される。

対応参照位置導出処理では、パラメータセットに含まれるピクチャ情報、および、レイヤ間画素対応情報に基づいて、対応参照位置を導出する。対応参照位置導出処理の詳細手順について、図１を参照して説明する。なお、以下では、対応参照位置導出処理の対象レイヤがレイヤC（レイヤCのVPS内インデックスがc）、対象レイヤの参照レイヤがレイヤR（レイヤRのVPS内インデックスがr）であるとして説明する。ここで、対象レイヤの参照レイヤは、対象レイヤより下位のレイヤであって、小さいVPS内インデックスに対応するレイヤがより下位のレイヤである、という２つの事実から、rはcより小さいという関係が成り立つ。図１は、対応参照位置導出処理のフロー図である。レイヤCを対象レイヤとする場合のレイヤCとレイヤRの間のレイヤ間画像予測処理における対応参照位置導出処理は、以下のＳ１０１〜Ｓ１０９の手順で順次実行される。

（Ｓ１０１）予測画像生成処理の対象が輝度画素か色差画素かを判定する。対象が輝度画素の場合、Ｓ１０２を実行する。対象が色差画素の場合、Ｓ１０３を実行する。

（Ｓ１０２）パラメータセット復号部１２で復号された、参照レイヤに対応する拡大参照レイヤオフセットシンタックスの値から、拡大参照レイヤオフセットを導出する。以下では、導出される、参照レイヤ（レイヤR）に係る拡大参照レイヤオフセットを、SRLO[r]と呼ぶ。加えて、SRLO[r]を構成する左、上、右、下にそれぞれ対応する拡大参照レイヤオフセットと記号を以下の通り定義する。

拡大参照レイヤ左オフセット：SRLLO[r]
拡大参照レイヤ上オフセット：SRLTO[r]
拡大参照レイヤ右オフセット：SRLRO[r]
拡大参照レイヤ下オフセット：SRLBO[r]
SRLO[r]を構成する各オフセット、SRLLO[r]、SRLTO[r]、SRLRO[r]、SRLBO[r]は、対応する拡大参照レイヤオフセットシンタックスの値に基づいて、以下の計算により導出され
SRLLO[r] = (scaled_ref_layer_left_offset[r] * SubWidthC)
SRLTO[r] = (scaled_ref_layer_top_offset[r] * SubHeightC)
SRLRO[r] = (scaled_ref_layer_right_offset[r] * SubWidthC)
SRLBO[r] = (scaled_ref_layer_bottom_offset[r] * SubHeightC)
ここで、SubWidthCおよびSubHeightCは、パラメータセット復号部１２の説明におけるピクチャフォーマット情報から導出される変数であって、対象レイヤに対応付けられる色フォーマットから導出される輝度色差幅比および輝度色差高さ比である。

上記の拡大参照レイヤオフセットの導出処理は、次のように表現することができる。すなわち、予測画像生成処理の対象が輝度画素である場合、拡大参照レイヤオフセットシンタックスの値と、対象レイヤにおける輝度色差サイズ比（輝度色差幅比または輝度色差高さ比）との積により、拡大参照レイヤオフセットを導出する。次にＳ１０３を実行する。

（Ｓ１０３）参照レイヤ（レイヤr）上の参照レイヤオフセットを導出する。参照レイヤオフセットは、左、上、右、下にそれぞれ対応する４つのオフセット（順にRLLO、RLTO、RLRO、RLBO）から構成され、参照レイヤオフセットシンタックスの値に基づいて次式により導出される。

RLLO = (ref_layer_left_offset[r] * RefSubWidthC)
RLTO = (ref_layer_top_offset[r] * RefSubHeightC)
RLRO = (ref_layer_right_offset[r] * RefSubWidthC)
RLBO = (ref_layer_bottom_offset[r] * RefSubHeightC)
ここで、RefSubWidthCおよびRefSubHeightCは、パラメータセット復号部１２の説明におけるピクチャフォーマット情報から導出される輝度色差サイズ比（SubWidthCとSubHeightC）にそれぞれ対応する変数であって、参照レイヤに対応付けられる色フォーマットから導出される輝度色差サイズ比である。すなわち、参照レイヤの色フォーマットに基づき導出されたSubWidthCの値がRefSubWidthCに、参照レイヤの色フォーマットに基づき導出されたSubHeightCの値がRefSubHeightCにそれぞれ設定される。

上記の参照レイヤオフセットの導出処理は、次のように表現することができる。すなわち、予測画像生成処理の対象が輝度画素である場合、参照レイヤオフセットシンタックスの値と、参照レイヤにおける輝度色差サイズ比との積により、参照レイヤオフセットを導出する。次にＳ１０６を実行する。

（Ｓ１０４）Ｓ１０２で説明したSRLO[j]を構成する各オフセット、SRLLO[r]、SRLTO[r]、SRLRO[r]、SRLBO[r]は、対応する拡大参照レイヤオフセットシンタックスの値に基づいて、以下の計算により導出される。

SRLLO[r] = scaled_ref_layer_left_offset[r]
SRLTO[r] = scaled_ref_layer_top_offset[r]
SRLRO[r] = scaled_ref_layer_right_offset[r]
SRLBO[r] = scaled_ref_layer_bottom_offset[r]
上記の拡大参照レイヤオフセットの導出処理は、次のように表現することができる。すなわち、予測画像生成処理の対象が色差画素である場合、拡大参照レイヤオフセットシンタックスの値を拡大参照レイヤオフセットとして導出する。

次に、Ｓ１０５を実行する。

（Ｓ１０５）Ｓ１０３で説明した参照レイヤオフセット（RLLO、RLTO、RLRO、RLBO）を、次式により導出される。

RLLO = ref_layer_left_offset[r]
RLTO = ref_layer_top_offset[r]
RLRO = ref_layer_right_offset[r]
RLBO = ref_layer_bottom_offset[r]
上記の参照レイヤオフセットの導出処理は、次のように表現できる。すなわち、予測画像生成処理の対象が色差画素である場合、参照レイヤオフセットシンタックスの値を参照レイヤオフセットの値として導出する。次にＳ１０６を実行する。

（Ｓ１０６）Ｓ１０２またはＳ１０４で導出した拡大参照レイヤオフセットと、対象レイヤピクチャサイズに基づいて、拡大参照レイヤのサイズを導出する。拡大参照レイヤの幅（SRLW）と高さ（SRLH）は、対象レイヤピクチャの幅（CL_PICW）と高さ（CL_PICH）に基づいて、それぞれ次式により導出される。

SRLW = CL_PICW - (SRLLO + SRLRO)
SRLH = CL_PICH - (SRLTO + SRLBO)
すなわち、上記の式によれば、対象レイヤピクチャの幅に、拡大参照レイヤ左オフセットと拡大参照レイヤ右オフセットの和を減算することで、対象レイヤ上の拡大参照レイヤの幅を導出している。対象レイヤ上の拡大参照レイヤの高さについても同様である。次にＳ１０７を実行する。なお、上記式においてオフセットの和を減算するのは、図８（a）に示したように、拡大参照レイヤ（図中の参照レイヤ対応領域）が、対象レイヤピクチャの内部にある場合にオフセットの値が正になるようオフセットの符号が定義されているためである。逆に、図８（b）のように、拡大参照レイヤが、対象レイヤピクチャの外部にある場合にオフセットの値が正になるようオフセットの符号を定義する場合には、オフセットは加算する必要があり、拡大参照レイヤの幅と高さは次式により導出される。

SRLW = CL_PICW + (SRLLO + SRLRO)
SRLH = CL_PICH + (SRLTO + SRLBO)
（Ｓ１０７）Ｓ１０３またはＳ１０５で導出した参照レイヤオフセットと、参照レイヤピクチャサイズに基づいて、参照レイヤ上のスケール計算の基準となる領域（参照レイヤ基準領域）のサイズを導出する。参照レイヤ基準領域の幅（RLW）と高さ（RLH）は、参照レイヤピクチャの幅（RL_PICW）と高さ（RL_PICH）に基づいて、それぞれ次式により導出される。

RLW = RL_PICW - (RLLO + RLRO)
RLH = RL_PICH - (RLTO + RLBO)
すなわち、上記の式によれば、参照レイヤピクチャ幅に、参照レイヤ左オフセットと参照レイヤ右オフセットの和を減算することで、参照レイヤ基準領域の幅を導出している。参照レイヤ基準領域の高さについても同様である。なお、拡大参照レイヤオフセットと同様、参照レイヤオフセットもオフセットの符号を反対とすることが可能である。この場合、参照レイヤ基準領域の幅（RLW）と高さ（RLH）は、参照レイヤピクチャの幅（RL_PICW）と高さ（RL_PICH）に基づいて、それぞれ次式により導出される。

RLW = RL_PICW + (RLLO + RLRO)
RLH = RL_PICH + (RLTO + RLBO)
次にＳ１０８を実行する。

（Ｓ１０８）Ｓ１０６で導出した拡大参照レイヤのサイズとＳ１０７で導出した参照レイヤ基準領域のサイズに基づいて、レイヤ間予測に用いるスケールを導出する。水平方向のスケールsxと垂直方向のスケールsyはそれぞれ次式により導出される。

sx = ((RLW << 16) + (SRLW >> 1)) / SRLW
sy = ((RLH << 16) + (SRLH >> 1)) / SRLH
なお、演算子“/”は整数の除算を表す演算子である。

すなわち、上式によれば、参照レイヤ参照領域サイズに所定の定数（上式では“<<16”）を乗じ、対象レイヤ参照領域サイズで除算した値をスケールとして設定している。なお、“(SRLW>>1）”の項は、除算による丸めを調整する項である。したがって、単位や丸め調整の効果を除けば、スケールは参照レイヤ基準領域のサイズ（幅または高さ）の、拡大参照レイヤのサイズ（幅または高さ）に対する比率と説明できる。次にＳ１０９を実行する。

（Ｓ１０９）Ｓ１０２またはＳ１０４で導出した拡大参照レイヤオフセットと、Ｓ１０３またはＳ１０５で導出した参照レイヤ基準領域オフセットと、Ｓ１０８で導出したスケールに基づいて、１６分の１画素精度の参照画素位置を導出する。対象レイヤ上の画素位置（xP、yP）に対応する、参照レイヤ上の１６分の１画素精度の参照画素位置の水平成分（x成分）xRef16と、垂直成分（y成分）yRef16の値は、それぞれ次式により導出される。

xRef16 = (((xP - CL_OX) * sx + addX + (1<<11)) >> 12) + deltaX + RL_OX
yRef16 = (((yP - CL_OY) * sy + addY + (1<<11)) >> 12) + deltaY + RL_OY
ここで、
CL_OX = SRLLO
CL_OY = SRLTO
RL_OX = (RLLO << 4)
RL_OY = (RLTO << 4)
なお、addX、addY、deltaX、deltaYは、アップサンプリングやインタレースに伴う対象レイヤ上の画素と参照レイヤ上の画素のずれを表すパラメータである。

すなわち、上式によれば、拡大参照レイヤオフセットと参照レイヤ基準領域オフセットとスケールに基づいて参照画素位置を計算している。導出した１６分の１画素精度の参照画素位置を対応参照位置として、対応参照位置導出処理を終了する。

なお、（Ｓ１０１）（Ｓ１０２）（Ｓ１０４）の処理は、３項演算子を用いて以下の式で記載することもできる。なお、cIdxは予測画像生成処理の対象がピクチャを構成するいずれのプレーンかを指定する識別子であり、cIdx=0は輝度プレーンを、cIdx=1と2は色差プレーンを表す。

SRLLO[r] = cIdx == 0 ? (scaled_ref_layer_left_offset[r] * SubWidthC) : scaled_ref_layer_left_offset[r]
SRLTO[r] = cIdx == 0 ? (scaled_ref_layer_top_offset[r] * SubHeightC) : scaled_ref_layer_top_offset[r]
SRLRO[r] = cIdx == 0 ? (scaled_ref_layer_right_offset[r] * SubWidthC) : scaled_ref_layer_right_offset[r]
SRLBO[r] = cIdx == 0 ? (scaled_ref_layer_bottom_offset[r] * SubHeightC) : scaled_ref_layer_bottom_offset[r]
なお、（Ｓ１０１）（Ｓ１０３）（Ｓ１０５）の処理は、３項演算子を用いて以下の式で記載することもできる。

RLLO = cIdx == 0 ? (ref_layer_left_offset[r] * RefSubWidthC) : ref_layer_left_offset[r]
RLTO = cIdx == 0 ? (ref_layer_top_offset[r] * RefSubHeightC) : ref_layer_top_offset[r]
RLRO = cIdx == 0 ? (ref_layer_right_offset[r] * RefSubWidthC) : ref_layer_right_offset[r]
RLBO = cIdx == 0 ? (ref_layer_bottom_offset[r] * RefSubHeightC) : ref_layer_bottom_offset[r] なお、拡大参照レイヤオフセットと参照レイヤオフセットのいずれか一方のオフセットに対応するシンタックスのみが符号化データから復号される場合には、対応参照位置導出処理は、非該当の処理は行われない（含まれない）。

すなわち、拡大参照レイヤオフセットのみが復号される場合には、拡大参照レイヤオフセットに関するＳ１０２、Ｓ１０４の処理は行われるが、参照レイヤオフセットに関するＳ１０３、Ｓ１０５の処理は含まれない。また、Ｓ１０７の処理の参照レイヤ基準領域の幅（RLW）と高さ（RLH）は、それぞれ次式により導出される。

RLW = RL_PICW
RLH = RL_PICH
また、Ｓ１０９の処理の１６分の１画素精度の参照画素位置は、次式により導出される。

xRef16 = (((xP - CL_OX) * sx + addX + (1<<11)) >> 12) + deltaX
yRef16 = (((yP - CL_OY) * sy + addY + (1<<11)) >> 12) + deltaY
逆に、参照レイヤオフセットのみが復号される場合には、参照レイヤオフセットに関するＳ１０３、Ｓ１０５の処理は行われるが、拡大参照レイヤオフセットに関するＳ１０２、Ｓ１０４の処理は含まれない。また、Ｓ１０６の処理の対象レイヤピクチャの幅（CL_PICW）と高さ（CL_PICH）に基づいて、それぞれ次式により導出される。

SRLW = CL_PICW
SRLH = CL_PICH
また、Ｓ１０９の処理の１６分の１画素精度の参照画素位置は、次式により導出される。

xRef16 = ((xP * sx + addX + (1<<11)) >> 12) + deltaX + RL_OX
yRef16 = ((yP * sy + addY + (1<<11)) >> 12) + deltaY + RL_OY
補間フィルタ処理では、上記対応参照位置導出処理で導出した対応参照位置に相当する位置の画素値を、参照レイヤピクチャ上の、前記対応参照位置近傍の画素の復号画素に補間フィルタを適用することで生成する。

（動画像復号装置１の効果）
以上説明した本実施形態に係る階層動画像復号装置１（階層画像復号装置）は、パラメータセットを復号するパラメータセット復号部１２と、参照レイヤピクチャの復号画素を参照してレイヤ間予測により予測画像を生成する予測画像生成部１４４２を備えている。パラメータセット復号部１２は色差画素単位で符号化された拡大参照レイヤオフセットを復号し、予測画像生成部１４４２は、該拡大参照レイヤオフセットシンタックスの値と対象レイヤの輝度色差サイズ比の積により拡大参照レイヤオフセットを導出し、該拡大参照レイヤオフセットに基づいてスケールを計算し、該スケールを参照して対応参照位置を導出してレイヤ間予測を実行する。

したがって、階層動画像復号装置１は、対象ピクチャの色フォーマットが4:2:0や4:2:2の場合には、参照レイヤオフセットシンタックスを輝度画素単位で復号する場合に較べて、より少ない符号量の符号から参照レイヤオフセットシンタックスの値を復号できる。加えて、参照ピクチャの色フォーマットが4:4:4の場合には、参照レイヤオフセットシンタックスを輝度２画素単位で復号する場合に較べて、より高い精度、すなわち輝度１画素精度で、参照レイヤオフセットシンタックスを復号できる。

［変形例１：参照レイヤオフセット]
上記説明した階層動画像復号装置１において、パラメータセット復号部１２において復号される参照レイヤオフセットシンタックスの復号が省略された場合に、予測画像生成部１４４２において参照レイヤオフセットシンタックスの値に基づいて導出される参照レイヤオフセットが、スケールを考慮した上で拡大参照レイヤオフセットと一致するようにすることが好ましい。

例えば、対象レイヤCと参照レイヤRに関連付けられる参照レイヤオフセットシンタックスの復号が省略された場合に、予測画像生成部１４４２において、既定の参照レイヤオフセットDEF_RLOを参照レイヤオフセットの値に設定する。DEF_RLOは左、上、右、下のオフセットに対応するDEF_RLLO、DEF_RLTO、DEF_RLRO、DEF_RLBOから構成され、それぞれ、以下の式により導出される。

DEF_RLLO = - SRLLO * RL_PICW / CL_PICW
DEF_RLTO = - SRLTO * RL_PICH / CL_PICH
DEF_RLRO = - SRLRO * RL_PICW / CL_PICW
DEF_RLBO = - SRLBO * RL_PICH / CL_PICH
すなわち、参照レイヤオフセットの値は、対応する拡大参照レイヤオフセットの値を参照レイヤピクチャと対象レイヤピクチャの間のサイズ（幅または高さ）の比率に基づいて変換した値が設定される。ここでは、拡大参照レイヤオフセットに参照レイヤピクチャのサイズを乗算し、対象レイヤピクチャのサイズを除算した後に極性（正負の符号）を反転させているが、これは、拡大参照レイヤオフセットと参照レイヤピクチャの正の方向が反対になるように規定した場合である（例えば、拡大参照レイヤオフセットは外側方向が正、参照レイヤピクチャは内側方向が正）。両者のオフセットシンタックスを同じ方向に設定する場合には、下記に示すように、極性を反転させる必要はない。

DEF_RLLO = SRLLO * RL_PICW / CL_PICW
DEF_RLTO = SRLTO * RL_PICH / CL_PICH
DEF_RLRO = SRLRO * RL_PICW / CL_PICW
DEF_RLBO = SRLBO * RL_PICH / CL_PICH
輝度成分の参照レイヤピクチャのサイズ{横幅,縦幅}が{RL_PICW, RL_PICH}、対象レイヤピクチャのサイズが{CL_PICW,CL_PICH}の場合、色差成分の参照レイヤピクチャのサイズは、{RL_PICW / RefSubWidthC, RL_PICH / RefSubHeightC}であり、対象レイヤピクチャのサイズは、{CL_PICW / SubWidthC, CL_PICH / SubHeightC}であるから、対象画素が色差画素の場合の参照レイヤオフセットの値は、以下の式により導出することができる。

DEF_RLLO´ = - SRLLO * (RL_PICW / RefSubWidthC)/ (CL_PICW / SubWidthC)
DEF_RLTO´ = - SRLTO * (RL_PICH / RefSubHeightC)/ (CL_PICH / SubHeightC)
DEF_RLRO´ = - SRLRO * (RL_PICW / RefSubWidthC)/ (CL_PICW / SubWidthC)
DEF_RLBO´ = - SRLBO * (RL_PICH / RefSubHeightC)/ (CL_PICH / SubHeightC)
なお「-」はオフセットシンタックスの方向を補正する符号である。

また、対象レイヤCと参照レイヤRに関連付けられる参照レイヤオフセットシンタックスの復号が省略された場合に、拡大参照レイヤオフセットシンタックスから、参照レイヤオフセットシンタックスを導出しても良い。この場合も、参照レイヤオフセットシンタックスの値は、対応する拡大参照レイヤオフセットシンタックスの値を参照レイヤピクチャと対象レイヤピクチャの間のサイズ（幅または高さ）の比率に基づいて変換した値が設定される。

ref_layer_left_offset[r] = - scaled_ref_layer_left_offset[r] * RL_PICW / CL_PICW
ref_layer_top_offset[r] = - scaled_ref_layer_top_offset[r] * RL_PICH / CL_PICH
ref_layer_right_offset[r] = - scaled_ref_layer_right_offset[r] * RL_PICW / CL_PICW
ref_layer_bottom_offset[r] = - scaled_ref_layer_bottom_offset[r] * RL_PICH / CL_PICH
なお「-」はオフセットシンタックスの方向を補正する符号である。

上記は、参照レイヤピクチャの輝度色差サイズ比｛RefSubWidthC, RefSubHeightC｝と対象レイヤピクチャの輝度色差サイズ比｛SubWidthC, SubHeightC｝が等しい場合にそのまま適用可能である。

また輝度色差サイズ比を考慮すれば以下の式により導出してもよい。

ref_layer_left_offset[r] = - scaled_ref_layer_left_offset[r] * RL_PICW / CL_PICW * (SubWidthC / RefSubWidthC)
ref_layer_top_offset[r] = - scaled_ref_layer_top_offset[r] * RL_PICH / CL_PICH* (SubHeightC / RefSubHeightC)
ref_layer_right_offset[r] = - scaled_ref_layer_right_offset[r] * RL_PICW / CL_PICW * (SubWidthC / RefSubWidthC)
ref_layer_bottom_offset[r] = - scaled_ref_layer_bottom_offset[r] * RL_PICH / CL_PICH * (SubHeightC / RefSubHeightC)
また、例えば、対象レイヤCと参照レイヤR（レイヤインデックスr）に関連付けられた参照レイヤオフセットシンタックス（ref_layer_left_offset[r]、ref_layer_top_offset[r]、ref_layer_right_offset[r]、ref_layer_bottom_offset[r]）が省略された場合に、各シンタックス値として０を設定するものとし、予測画像生成部１４４２における対応参照位置導出処理において、対象画素が輝度画素の場合、上記で説明したDEF_RLOの値を用いて次式により参照レイヤオフセットの各値を導出してもよい。

RLLO = (ref_layer_left_offset[r] * RefSubWidthC) + DEF_RLLO
RLTO = (ref_layer_top_offset[r] * RefSubHeightC) + DEF_RLTO
RLRO = (ref_layer_right_offset[r] * RefSubWidthC) + DEF_RLRO
RLBO = (ref_layer_bottom_offset[r] * RefSubHeightC) + DEF_RLBO
すなわち、参照レイヤオフセットの値は、参照レイヤオフセットの既定値（DEF_RLO）に参照レイヤオフセットシンタックスの値と輝度色差サイズ比の積を加算した値に基づいて導出される。参照レイヤオフセットシンタックス値が省略された場合には積の部分の値が０になるため、参照レイヤオフセット既定値の値が参照レイヤオフセットの値として設定される。

なお、対象画素が色差画素である場合には、以下の式により参照レイヤオフセットの各値を導出できる。

RLLO = ref_layer_left_offset[r] + DEF_RLLO´
RLTO = ref_layer_top_offset[r] + DEF_RLTO´
RLRO = ref_layer_right_offset[r] + DEF_RLRO´
RLBO = ref_layer_bottom_offset[r] + DEF_RLBO´
すなわち、参照レイヤオフセットの値は、参照レイヤオフセットの既定値（DEF_RLO）に参照レイヤオフセットシンタックスの値を加算した値に基づいて導出される。

本変形例によれば、参照レイヤオフセットシンタックスが省略された場合に、拡大参照レイヤオフセットに相当するオフセット値が参照レイヤオフセットに設定される。典型的には、対象レイヤピクチャの全体と参照レイヤピクチャの全体が物理的に同じ領域に対応する場合が多く、上記に示した方法によれば、そのような典型的な場合に、参照レイヤオフセットシンタックスを省略でき、したがって少ない符号量の符号化データから参照レイヤオフセットを復号できる。

［変形例２：拡大参照レイヤオフセット]
上記説明した階層動画像復号装置１において、パラメータセット復号部１２において復号される拡大参照レイヤオフセットシンタックスの復号が省略された場合に、予測画像生成部１４４２において拡大参照レイヤオフセットシンタックスの値に基づいて導出される拡大参照レイヤオフセットが、スケールを考慮した上で、参照レイヤオフセットと一致するようにすることが好ましい。

例えば、対象レイヤCと参照レイヤRに関連付けられる拡大参照レイヤオフセットシンタックスの復号が省略された場合に、予測画像生成部１４４２において、既定の拡大参照レイヤオフセットDEF_SRLOを拡大参照レイヤオフセットの値に設定する。DEF_SRLOは左、上、右、下のオフセットに対応するDEF_SRLLO、DEF_SRLTO、DEF_SRLRO、DEF_SRLBOから構成され、それぞれ、以下の式により導出される。

例えば、対象レイヤCと参照レイヤRに関連付けられる拡大参照レイヤオフセットシンタックスの復号が省略された場合に、予測画像生成部１４４２において、既定の拡大参照レイヤオフセットDEF_SRLOを拡大参照レイヤオフセットの値に設定する。DEF_SRLOは左、上、右、下のオフセットに対応するDEF_SRLLO、DEF_SRLTO、DEF_SRLRO、DEF_SRLBOから構成され、それぞれ、以下の式により導出される。

DEF_SRLLO = - RLLO * CL_PICW / RL_PICW
DEF_SRLTO = - RLTO * CL_PICH / RL_PICH
DEF_SRLRO = - RLRO * CL_PICW / RL_PICW
DEF_SRLBO = - RLBO * CL_PICH / RL_PICH
すなわち、拡大参照レイヤオフセットの値は、対応する参照レイヤオフセットの値を参照レイヤピクチャと対象レイヤピクチャの間のサイズ（幅または高さ）の比率に基づいて変換した値が設定される。ここでは、参照レイヤオフセットに参照レイヤピクチャのサイズを乗算し、対象レイヤピクチャのサイズを除算した後に極性を反転させているが、これは、参照レイヤオフセットと参照レイヤピクチャの正の方向が反対になるように規定した場合である（例えば、拡大参照レイヤオフセットは外側方向が正、参照レイヤピクチャは内側方向が正）。両者のオフセットシンタックスを同じ方向に設定する場合には、極性を反転させる必要はない。

DEF_SRLLO = RLLO * CL_PICW / RL_PICW
DEF_SRLTO = RLTO * CL_PICH / RL_PICH
DEF_SRLRO = RLRO * CL_PICW / RL_PICW
DEF_SRLBO = RLBO * CL_PICH / RL_PICH
輝度成分の参照レイヤピクチャのサイズ{横幅,縦幅}が{RL_PICW,RL_PICH}であり、対象レイヤピクチャのサイズが{CL_PICW, CL_PICH}の場合、参照レイヤピクチャの色差成分のサイズは、{RL_PICW / RefSubWidthC,RL_PICH / RefSubHeightC}であり、対象レイヤピクチャの色差成分のサイズは、{CL_PICW / SubWidthC, CL_PICH / SubHeightC}であるから、対象画素が色差画素の場合の拡大参照レイヤオフセットの値は、以下の式により導出することができる。

DEF_SRLLO´ = - RLLO * (CL_PICW / SubWidthC)/ (RL_PICW / RefSubWidthC)
DEF_SRLTO´ = - RLTO * (CL_PICW / SubHeightC)/ (RL_PICW / RefSubHeightC)
DEF_SRLRO´ = - RLRO * (CL_PICW / SubWidthC)/ (RL_PICW / RefSubWidthC)
DEF_SRLBO´ = - RLBO * (CL_PICW / SubHeightC)/ (RL_PICW / RefSubHeightC)
なお「-」はオフセットシンタックスの方向を補正する符号である。

また、対象レイヤCと参照レイヤRに関連付けられる拡大参照レイヤオフセットシンタックスの復号が省略された場合に、参照レイヤオフセットシンタックスから、拡大参照レイヤオフセットシンタックスを導出しても良い。この場合も、参照レイヤオフセットシンタックスの値は、対応する参照レイヤオフセットシンタックスの値を対象レイヤピクチャと参照レイヤピクチャの間のサイズ（幅または高さ）の比率に基づいて変換した値が設定される。

scaled_ref_layer_left_offset[r] = - ref_layer_left_offset[r] * CL_PICW / RL_PICW
scaled_ref_layer_top_offset[r] = - ref_layer_top_offset[r] * CL_PICH / RL_PICH
scaled_ref_layer_right_offset[r] = - ref_layer_right_offset[r] * CL_PICW / RL_PICW
scaled_ref_layer_bottom_offset[r] = - ref_layer_bottom_offset[r] * CL_PICH / RL_PICH
なお「-」はオフセットシンタックスを方向に関する補正。

上記は、参照レイヤピクチャの輝度色差サイズ比{RefSubWidthC,RefSubHeightC}と対象レイヤピクチャの輝度色差サイズ比{SubWidthC,SubHeightC}が等しい場合にそのまま適用可能である。

また輝度色差サイズ比を考慮すれば以下の式により導出しても構わない。

scaled_ref_layer_left_offset[r] = - ref_layer_left_offset[r] * CL_PICW / RL_PICW * (RefSubWidthC / SubWidthC)
scaled_ref_layer_top_offset[r] = - ref_layer_top_offset[r] * CL_PICH / RL_PICH* (RefSubHeightC / SubHeightC)
scaled_ref_layer_right_offset[r] = - ref_layer_right_offset[r] * CL_PICW / RL_PICW * (RefSubWidthC / SubWidthC)
scaled_ref_layer_bottom_offset[r] = - ref_layer_bottom_offset[r] * CL_PICH / RL_PICH * (RefSubHeightC / SubHeightC)
また、例えば、対象レイヤCと参照レイヤR（レイヤインデックスr）に関連付けられた拡大参照レイヤオフセットシンタックス（scaled_ref_layer_left_offset[r]、scaled_ref_layer_top_offset[r]、scaled_ref_layer_right_offset[r]、scaled_ref_layer_bottom_offset[r]）が省略された場合に、各シンタックス値として０を設定するものとし、予測画像生成部１４４２における対応参照位置導出処理において、対象画素が輝度画素の場合、上記で説明したDEF_SRRLOの値を用いて次式により参照レイヤオフセットの各値を導出してもよい。

SRLLO = (scaled_ref_layer_left_offset[r] * RefSubWidthC) + DEF_SRLLO
SRLTO = (scaled_ref_layer_top_offset[r] * RefSubHeightC) + DEF_SRLTO
SRLRO = (scaled_ref_layer_right_offset[r] * RefSubWidthC) + DEF_SRLRO
SRLBO = (scaled_ref_layer_bottom_offset[r] * RefSubHeightC) + DEF_SRLBO
すなわち、参照レイヤオフセットの値は、参照レイヤオフセットの既定値（DEF_RLO）に参照レイヤオフセットシンタックスの値と輝度色差サイズ比の積を加算した値に基づいて導出される。参照レイヤオフセットシンタックス値が省略された場合には積の部分の値が０になるため、参照レイヤオフセット既定値の値が参照レイヤオフセットの値として設定される。

なお、対象画素が色差画素である場合には、以下の式により参照レイヤオフセットの各値を導出できる。

SRLLO = scaled_ref_layer_left_offset[r] + DEF_SRLLO´
SRLTO = scaled_ref_layer_top_offset[r] + DEF_SRLTO´
SRLRO = scaled_ref_layer_right_offset[r] + DEF_SRLRO´
SRLBO = scaled_ref_layer_bottom_offset[r] + DEF_SRLBO´
すなわち、拡大参照レイヤオフセットの値は、拡大参照レイヤオフセットの既定値（DEF_SRLO）に拡大参照レイヤオフセットシンタックスの値を加算した値に基づいて導出される。

本変形例によれば、拡大参照レイヤオフセットシンタックスが省略された場合に、参照レイヤオフセットに相当するオフセット値が拡大参照レイヤオフセットに設定される。典型的には、対象レイヤピクチャの全体と参照レイヤピクチャの全体が物理的に同じ領域に対応する場合が多く、上記に示した方法によれば、そのような典型的な場合に、拡大参照レイヤオフセットシンタックスを省略でき、したがって少ない符号量の符号化データから拡大参照レイヤオフセットを復号できる。

［変形例３：オフセットの伝送位置]
上記説明した階層動画像復号装置１において、参照レイヤオフセットシンタックスや拡大参照レイヤオフセットシンタックスは、パラメータセット復号部１２においてSPS拡張（SPS）から復号されると説明したが、他のパラメータセットやヘッダから復号されても構わない。例えば、VPS、PPS、スライスヘッダから復号されてもよい。具体的には、オフセットをピクチャ毎に変更しない場合には、VPSまたはSPSにオフセットシンタックスを含めるのが好ましく、オフセットをピクチャ毎に変更する場合には、PPSまたはスライスヘッダにオフセットシンタックスを含めるのが好ましい。

対象レイヤ側の注目領域の位置をピクチャ単位に移動する場合には、対応する参照レイヤ上において対象レイヤ対応領域を移動させることが必要になる。このとき、図８（ｂ）のように、拡大参照レイヤオフセットにより参照レイヤ対応領域を移動させることで、対象レイヤ対応領域が参照レイヤピクチャ内で移動することも可能であるし、参照レイヤオフセットにより、対象レイヤ対応領域を直接参照レイヤピクチャ内で移動させることも可能である。すなわち、拡大参照レイヤオフセットを設定する方法と、参照レイヤオフセットを設定する方法のいずれでも取ることができる。しかしながら、PPSまたはスライスヘッダは頻繁に符号化されるためオーバーヘッドが多く、注目領域の位置をピクチャ単位で移動させることを目的として、拡大参照レイヤオフセットと参照レイヤオフセットの両者を、PPSまたはスライスヘッダにオフセットシンタックスを含めることは符号量が増えることになり望ましくない。

好適には、拡大参照レイヤオフセットをピクチャ単位に変更できるようにし、参照レイヤオフセットをピクチャ単位で変更しないようにすることが好ましい。これにより、対象レイヤ上で注目領域をピクチャ単位に移動することができると同時に参照レイヤオフセット情報の符号量を削減することができる。

より具体的には、パラメータセット復号部１２は、拡大参照レイヤオフセットシンタックスをPPSまたはスライスヘッダの少なくとも何れかから復号し、参照レイヤオフセットシンタックスをVPSまたはSPSから復号する構成を備えることが好ましい。

（階層動画像符号化装置の構成）
図１２を用いて、階層動画像符号化装置２の概略構成を説明する。図１２は、階層動画像符号化装置２の概略的構成を示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。

図１２に示すように階層動画像符号化装置２は、NAL多重化部２１、パラメータセット符号化部２２、タイル設定部２３、スライス符号化部２４、復号ピクチャ管理部１６、および、ベース復号部１５を備える。

ＮＡＬ多重化部２１は、入力される対象レイヤ符号化データＤＡＴＡ＃Ｔと、参照レイヤ符号化データＤＡＴＡ＃ＲとをＮＡＬユニットに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡを生成し、外部に出力する。

パラメータセット符号化部２２は、入力されるタイル情報と入力画像に基づいて、入力画像の符号化に用いるパラメータセット（VPS、SPS、および、PPS）を設定して、対象レイヤ符号化データＤＡＴＡ＃Ｔの一部としてVCL NALの形式でパケット化してNAL多重化部２１に供給する。

パラメータセット符号化部２２が符号化するパラメータセットには、階層動画像復号装置１に関連して説明したピクチャ情報、表示領域情報、ピクチャフォーマット情報、および、レイヤ間位置対応情報（拡大参照レイヤオフセット情報と参照レイヤオフセット情報）が少なくとも含まれる。パラメータセット符号化部２２は、拡大参照レイヤオフセット情報に含まれる拡大参照レイヤオフセットシンタックスを、対象レイヤの色差画素単位で符号化する。また、参照レイヤオフセット情報に含まれる参照レイヤオフセットシンタックスを、参照レイヤの色差画素単位で符号化する。

タイル設定部２３は、入力画像に基づいてピクチャのタイル情報を設定して、パラメータセット符号化部２２とスライス符号化部２４に供給する。例えば、ピクチャサイズをＭ×Ｎ個のタイルに分割することを示すタイル情報を設定する。ここで、Ｍ、Ｎは任意の正の整数である。

スライス符号化部２４は、入力される入力画像、パラメータセット、タイル情報、および、復号ピクチャ管理部１６に記録されている参照ピクチャに基づいて、ピクチャを構成するスライスに対応する入力画像の一部を符号化して、当該部分の符号化データを生成し、対象レイヤ符号化データＤＡＴＡ＃Ｔの一部としてNAL多重化部２１に供給する。スライス符号化部２４の詳細な説明は後述する。

復号ピクチャ管理部１６は、既に説明した階層動画像復号装置１の備える復号ピクチャ管理部１６と同一の構成要素である。ただし、階層動画像符号化装置２の備える復号ピクチャ管理部１６では、内部のDPBに記録されたピクチャを出力ピクチャとして出力する必要はないため、当該出力は省略できる。なお、階層動画像復号装置１の復号ピクチャ管理部１６の説明において「復号」として説明した記載は「符号化」と置き換えることで、階層動画像符号化装置２の復号ピクチャ管理部１６にも適用できる。

ベース復号部１５は、既に説明した階層動画像復号装置１の備えるベース復号部１５と同一の構成要素であり、詳細説明は省略する。

（スライス符号化部）
次に図１３を参照して、スライス符号化部２４の構成の詳細を説明する。図１３は、スライス符号化部２４の概略的構成を示した機能ブロック図である。

図１３に示すように、スライス符号化部２４は、スライスヘッダ設定部２４１、スライス位置設定部２４２、ＣＴＵ符号化部２４４を含む。ＣＴＵ符号化部２４４は、内部に予測残差符号化部２４４１、予測画像符号化部２４４２、ＣＴＵ復号画像生成部１４４３を含む。

スライスヘッダ設定部２４１は、入力されるパラメータセットとスライス位置情報に基づいてスライス単位で入力される入力画像の符号化に用いるスライスヘッダを生成する。生成されたスライスヘッダは、スライス符号化データの一部として出力されるとともに、入力画像と合わせてＣＴＵ符号化部２４４に供給される。

スライスヘッダ設定部２４１で生成されるスライスヘッダには、SHスライス位置情報が少なくとも含まれる。

スライス位置設定部２４２は、入力されるタイル情報に基づいてピクチャ内のスライス位置を決定してスライスヘッダ設定部２４１に供給する。

ＣＴＵ符号化部２４４は、入力されるパラメータセット、スライスヘッダに基づいて、入力画像（対象スライス部分）をCTU単位で符号化して、対象スライスに係るスライスデータおよび復号画像（復号ピクチャ）を生成して出力する。CTUの符号化は、予測画像符号化部２４４２、予測残差符号化部２４４１、CTU復号画像生成部により実行される。

予測画像符号化部２４４２は、対象スライスに含まれる対象CTUの予測方式および予測パラメータを決定し、決定した予測方式に基づいて予測画像を生成して予測残差符号化部２４４１とＣＴＵ復号画像生成部１４４３に出力する。予測方式や予測パラメータの情報は予測情報（ＰＴ情報）として可変長符号化されて、スライス符号化データに含まれるスライスデータの一部として出力される。予測画像符号化部２４４２で選択可能な予測方式には、少なくともレイヤ間画像予測が含まれている。

予測画像符号化部２４４２は、予測方式としてレイヤ間画像予測が選択された場合、対応参照位置導出処理を実行して、予測対象画素に対応する参照レイヤ画素位置を決定し、該位置に基づく補間処理により予測画素値を決定する。対応参照位置導出処理としては、階層動画像復号装置１の予測画像生成部１４４２について説明した各処理が適用できる。例えば、図１を参照して説明した、パラメータセットに含まれる拡大参照レイヤオフセット情報と参照レイヤオフセット情報に基づいて対応参照位置を導出する処理が適用される。

予測残差符号化部２４４１は、入力される入力画像と予測画像の差分画像を、変換・量子化して得られる量子化変換係数（ＴＴ情報）を、スライス符号化データに含まれるスライスデータの一部として出力する。また、量子化変換係数に逆変換・逆量子化を適用して予測残差を復元し、復元した予測残差をＣＴＵ復号画像生成部１４４３に出力する。

ＣＴＵ復号画像生成部１４４３は、階層動画像復号装置１の同名の構成要素と同じ機能を有しているため、同一の符号を付与して説明を省略する。

（動画像符号化装置２の効果）
以上説明した本実施形態に係る階層動画像符号化装置２（階層画像符号化装置）は、パラメータセットを符号化するパラメータセット符号化部２２と、参照レイヤピクチャの復号画素を参照してレイヤ間予測により予測画像を生成する予測画像符号化部２４４２を備えている。パラメータセット符号化部２２は色差画素単位で符号化された拡大参照レイヤオフセットを復号し、予測画像符号化部２４４２は、該拡大参照レイヤオフセットシンタックスの値と対象レイヤの輝度色差サイズ比の積により拡大参照レイヤオフセットを導出し、該拡大参照レイヤオフセットに基づいてスケールを計算し、該スケールを参照して対応参照位置を導出してレイヤ間予測を実行する。

したがって、階層動画像符号化装置２は、対象ピクチャの色フォーマットが4:2:0や4:2:2の場合には、参照レイヤオフセットシンタックスを輝度画素単位で符号化する場合に較べて、より少ない符号量の符号により参照レイヤオフセットシンタックスの値を符号化できる。加えて、参照ピクチャの色フォーマットが4:4:4の場合には、参照レイヤオフセットシンタックスを輝度２画素単位で符号化する場合に較べて、より高い精度、すなわち輝度１画素精度で、参照レイヤオフセットシンタックスを符号化できる。

（他の階層動画像符号化／復号システムへの適用例）
上述した階層動画像符号化装置２及び階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用できる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。

図１４に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の送信および受信に利用できることを説明する。図１４の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。

図１４の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３とを備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。

送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図１４の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

図１４の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図１４の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３とを備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。

受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図１４の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。

また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。

図１５に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の記録および再生に利用できることを説明する。図１５の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。

図１５の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリ等のように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray（登録商標）Disc）等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図１５の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。

なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。

図１５の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図１５の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図１５の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。

なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。

（ハードウェア的実現およびソフトウェア的実現について）
最後に、階層動画像復号装置１、階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（Micro Processing Unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯ（Magneto-Optical）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-only Memory）／ＥＥＰＲＯＭ（登録商標）（ElectricallyErasable and Programmable Read-only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric DigitalSubscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（登録商標）（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

〔付記事項〕
また、本発明は以下のように表現する事もできる。

上記課題を解決するために、本発明に係る画像復号装置は、階層符号化された符号化データを復号し、対象レイヤである上位レイヤの復号ピクチャを復元する画像復号装置であって、パラメータセットを復号するパラメータセット復号部と、参照レイヤピクチャの復号画素を参照して、レイヤ間予測により予測画像を生成する予測画像生成部を備え、前記パラメータセット復号部は対象レイヤピクチャの色フォーマットを復号し、該色フォーマットに基づいて対象レイヤピクチャの輝度色差サイズ比を導出し、前記パラメータセット復号部は対象レイヤの色差画素単位で符号化された拡大参照レイヤオフセットシンタックスを復号し、前記予測画像生成部は、該拡大参照レイヤオフセットシンタックスの値と前記対象レイヤピクチャの輝度色差サイズ比の積により拡大参照レイヤオフセットを導出し、前記拡大参照レイヤオフセットに基づいてスケールを計算し、該スケールを参照して対応参照位置を導出してレイヤ間予測を実行する、ことを特徴としている。

また、上記画像復号装置において、前記パラメータセット復号部は参照レイヤピクチャの色フォーマットを復号し、該色フォーマットに基づいて参照レイヤピクチャの輝度色差サイズ比を導出し、前記パラメータセット復号部は参照レイヤの色差画素単位で符号化された参照レイヤオフセットシンタックスを復号し、前記予測画像生成部は、該参照レイヤオフセットシンタックスの値と前記参照レイヤピクチャの輝度色差サイズ比の積により参照レイヤオフセットを導出し、該参照レイヤオフセットに基づいてスケールを計算し、該スケールを参照して対応参照位置を導出してレイヤ間予測を実行する、ことを特徴としている。

また、上記画像復号装置において、前記予測画像生成部は、予測画像生成処理の対象が輝度画素の場合に、前記拡大参照レイヤオフセットシンタックスと前記対象レイヤピクチャの輝度色差サイズ比の積を前記拡大参照レイヤオフセットに設定し、予測画像生成処理の対象が色差画素の場合に、前記拡大参照レイヤオフセットシンタックスの値を前記拡大参照レイヤオフセットに設定する、ことを特徴としている。

また、上記画像復号装置において、前記予測画像生成部は、予測画像生成処理の対象が輝度画素の場合に、前記参照レイヤオフセットシンタックスと前記参照レイヤピクチャの輝度色差サイズ比の積を前記参照レイヤオフセットに設定し、予測画像生成処理の対象が色差画素の場合に、前記参照レイヤオフセットシンタックスの値を前記参照レイヤオフセットに設定する、ことを特徴としている。

また、上記画像復号装置において、前記パラメータセット復号部で、前記参照レイヤオフセットシンタックスの復号が省略された場合、前記予測画像生成部は、前記拡大参照レイヤオフセットの値を対象レイヤピクチャと参照レイヤピクチャのサイズの比に基づいて導出される値を参照レイヤオフセットの値に設定する、ことを特徴としている。

また、上記画像復号装置において、前記パラメータセット復号部は、前記拡大参照レイヤオフセットシンタックスをＰＰＳまたはスライスヘッダの何れかから復号し、前記参照レイヤオフセットシンタックスをＶＰＳまたはＳＰＳから復号する、ことを特徴としている。

上記課題を解決するために、本発明に係る画像符号化装置は、入力画像から対象レイヤである上位レイヤの符号化データを生成する画像符号化装置であって、パラメータセットを符号化するパラメータセット符号化部と、参照レイヤピクチャの復号画素を参照して、レイヤ間予測により予測画像を生成する予測画像生成部を備え、前記パラメータセット符号化部は対象レイヤピクチャの色フォーマットを符号化するとともに、該色フォーマットに基づいて対象レイヤピクチャの輝度色差サイズ比を導出し、前記パラメータセット符号化部は対象レイヤの色差画素単位で拡大参照レイヤオフセットシンタックスを符号化し、前記予測画像生成部は、該拡大参照レイヤオフセットシンタックスの値と前記対象レイヤピクチャの輝度色差サイズ比の積により拡大参照レイヤオフセットを導出し、前記拡大参照レイヤオフセットに基づいてスケールを計算し、該スケールを参照して対応参照位置を導出してレイヤ間予測を実行する、ことを特徴としている。

本発明は、画像データが階層的に符号化された符号化データを復号する階層画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層画像符号化装置に好適に適用できる。また、階層画像符号化装置によって生成され、階層画像復号装置によって参照される階層符号化データのデータ構造に好適に適用できる。

１ 階層動画像復号装置（画像復号装置）
１１ ＮＡＬ逆多重化部
１２ パラメータセット復号部
１３ タイル設定部
１４ スライス復号部
１４１ スライスヘッダ復号部
１４２ スライス位置設定部
１４４ ＣＴＵ復号部
１４４１ 予測残差復元部
１４４２ 予測画像生成部
１４４３ ＣＴＵ復号画像生成部
１５ ベース復号部
１５１ ベースＮＡＬ逆多重化部
１５２ ベースパラメータセット復号部
１５３ ベースタイル設定部
１５４ ベーススライス復号部
１５６ ベース復号ピクチャ管理部
１６ 復号ピクチャ管理部
２ 階層動画像符号化装置（画像符号化装置）
２１ ＮＡＬ多重化部
２２ パラメータセット符号化部
２３ タイル設定部
２４ スライス符号化部
２４１ スライスヘッダ設定部
２４２ スライス位置設定部
２４４ ＣＴＵ符号化部
２４４１ 予測残差符号化部
２４４２ 予測画像符号化部（予測画像生成部）

Claims (6)

1. 階層符号化された符号化データを復号し、対象レイヤである上位レイヤの復号ピクチャを復元する画像復号装置であって、
   ピクチャパラメータセットに含まれる、参照レイヤ対応領域と対象レイヤピクチャ間のオフセットである拡大参照レイヤオフセットシンタックスと、参照レイヤ基準領域と参照レイヤピクチャ間のオフセットである参照レイヤオフセットシンタックスとを復号するパラメータセット復号部と、
   前記参照レイヤピクチャの復号画素を参照して、レイヤ間予測により予測画像を生成する予測画像生成部を備え、
   前記拡大参照レイヤオフセットシンタックスは、前記対象レイヤピクチャの色差画素単位で復号され、
   前記参照レイヤオフセットシンタックスは、参照レイヤの色差画素単位で復号され、
   前記パラメータセット復号部は、色フォーマット識別子を復号し、該色フォーマット識別子によって特定される色フォーマットに基づいて輝度色差サイズ比を導出し、
   前記予測画像生成部は、
   前記拡大参照レイヤオフセットシンタックスの値と前記対象レイヤピクチャの前記輝度色差サイズ比との積により、拡大参照レイヤオフセットを導出し、
   前記参照レイヤピクチャの輝度色差サイズ比を第１の輝度色差サイズ比に設定し、前記参照レイヤオフセットシンタックスの値と該第１の輝度色差サイズ比との積により、参照レイヤオフセットを導出し、
   該拡大参照レイヤオフセットと該参照レイヤオフセットとを用いてスケールを導出し、
   該スケールと、該拡大参照レイヤオフセットと、該参照レイヤオフセットとを用いて、対応参照位置を導出することを特徴とする画像復号装置。
2. 入力画像から対象レイヤである上位レイヤの符号化データを生成する画像符号化装置であって、
   ピクチャパラメータセットに含まれる、参照レイヤ対応領域と対象レイヤピクチャ間のオフセットである拡大参照レイヤオフセットシンタックスと、参照レイヤ基準領域と参照
   レイヤピクチャ間のオフセットである参照レイヤオフセットシンタックスとを符号化するパラメータセット符号化部と、
   前記参照レイヤピクチャの画素を参照して、レイヤ間予測により予測画像を生成する予測画像生成部を備え、
   前記拡大参照レイヤオフセットシンタックスは、前記対象レイヤピクチャの色差画素単位で符号化され、
   前記参照レイヤオフセットシンタックスは、参照レイヤの色差画素単位で符号化され、
   前記パラメータセット符号化部は、色フォーマット識別子を符号化し、該色フォーマット識別子によって特定される色フォーマットに基づいて輝度色差サイズ比を導出し、
   前記予測画像生成部は、
   前記拡大参照レイヤオフセットシンタックスの値と前記対象レイヤピクチャの前記輝度色差サイズ比との積により、拡大参照レイヤオフセットを導出し、
   前記参照レイヤピクチャの輝度色差サイズ比を第１の輝度色差サイズ比に設定し、前記参照レイヤオフセットシンタックスの値と該第１の輝度色差サイズ比との積により、参照レイヤオフセットを導出し、
   該拡大参照レイヤオフセットと該参照レイヤオフセットとを用いてスケールを導出し、
   該スケールと、該拡大参照レイヤオフセットと、該参照レイヤオフセットとを用いて、対応参照位置を導出することを特徴とする画像符号化装置。
3. 階層符号化された符号化データを復号し、対象レイヤである上位レイヤの復号ピクチャを復元する画像復号方法であって、
   ピクチャパラメータセットに含まれる、参照レイヤ対応領域と対象レイヤピクチャ間のオフセットである拡大参照レイヤオフセットシンタックスと、参照レイヤ基準領域と参照レイヤピクチャ間のオフセットである参照レイヤオフセットシンタックスとを復号するステップと、
   色フォーマット識別子を復号し、該色フォーマット識別子によって特定される色フォーマットに基づいて輝度色差サイズ比を導出するステップと、
   前記拡大参照レイヤオフセットシンタックスの値と前記対象レイヤピクチャの前記輝度色差サイズ比との積により、拡大参照レイヤオフセットを導出するステップと、
   前記参照レイヤピクチャの輝度色差サイズ比を第１の輝度色差サイズ比に設定し、前記参照レイヤオフセットシンタックスの値と該第１の輝度色差サイズ比との積により、参照レイヤオフセットを導出するステップと、
   前記拡大参照レイヤオフセットと前記参照レイヤオフセットとを用いてスケールを導出するステップと、
   前記スケールと、前記拡大参照レイヤオフセットと、前記参照レイヤオフセットとを用いて、対応参照位置を導出するステップと、を少なくとも含み、
   前記拡大参照レイヤオフセットシンタックスは、前記対象レイヤピクチャの色差画素単位で復号され、
   前記参照レイヤオフセットシンタックスは、参照レイヤの色差画素単位で復号されることを特徴とする画像復号方法。
4. 入力画像から対象レイヤである上位レイヤの符号化データを生成する画像符号化方法であって、
   ピクチャパラメータセットに含まれる、参照レイヤ対応領域と対象レイヤピクチャ間のオフセットである拡大参照レイヤオフセットシンタックスと、参照レイヤ基準領域と参照レイヤピクチャ間のオフセットである参照レイヤオフセットシンタックスとを符号化するステップと、
   色フォーマット識別子を符号化し、該色フォーマット識別子によって特定される色フォーマットに基づいて輝度色差サイズ比を導出するステップと、
   前記拡大参照レイヤオフセットシンタックスの値と前記対象レイヤピクチャの前記輝度色差サイズ比との積により、拡大参照レイヤオフセットを導出するステップと、
   前記参照レイヤピクチャの輝度色差サイズ比を第１の輝度色差サイズ比に設定し、前記参照レイヤオフセットシンタックスの値と該第１の輝度色差サイズ比との積により、参照レイヤオフセットを導出するステップと、
   前記拡大参照レイヤオフセットと前記参照レイヤオフセットとを用いてスケールを導出するステップと、
   前記スケールと、前記拡大参照レイヤオフセットと、前記参照レイヤオフセットとを用いて、対応参照位置を導出するステップと、を少なくとも含み、
   前記拡大参照レイヤオフセットシンタックスは、前記対象レイヤピクチャの色差画素単位で符号化され、
   前記参照レイヤオフセットシンタックスは、参照レイヤの色差画素単位で符号化されることを特徴とする画像符号化方法。
5. コンピュータに階層符号化された符号化データを復号させ、対象レイヤである上位レイヤの復号ピクチャを復元させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   ピクチャパラメータセットに含まれる、参照レイヤ対応領域と対象レイヤピクチャ間のオフセットである拡大参照レイヤオフセットシンタックスと、参照レイヤ基準領域と参照レイヤピクチャ間のオフセットである参照レイヤオフセットシンタックスとを復号するステップと、
   色フォーマット識別子を復号し、該色フォーマット識別子によって特定される色フォーマットに基づいて輝度色差サイズ比を導出するステップと、
   前記拡大参照レイヤオフセットシンタックスの値と前記対象レイヤピクチャの前記輝度色差サイズ比との積により、拡大参照レイヤオフセットを導出するステップと、
   前記参照レイヤピクチャの輝度色差サイズ比を第１の輝度色差サイズ比に設定し、前記参照レイヤオフセットシンタックスの値と該第１の輝度色差サイズ比との積により、参照レイヤオフセットを導出するステップと、
   前記拡大参照レイヤオフセットと前記参照レイヤオフセットとを用いてスケールを導出するステップと、
   前記スケールと、前記拡大参照レイヤオフセットと、前記参照レイヤオフセットとを用いて、対応参照位置を導出するステップと、を実行させ、
   前記拡大参照レイヤオフセットシンタックスは、前記対象レイヤピクチャの色差画素単位で復号させ、前記参照レイヤオフセットシンタックスは、参照レイヤの色差画素単位で復号させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
6. コンピュータに入力画像から対象レイヤである上位レイヤの符号化データを生成させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
   ピクチャパラメータセットに含まれる、参照レイヤ対応領域と対象レイヤピクチャ間のオフセットである拡大参照レイヤオフセットシンタックスと、参照レイヤ基準領域と参照レイヤピクチャ間のオフセットである参照レイヤオフセットシンタックスとを符号化するステップと、
   色フォーマット識別子を符号化し、該色フォーマット識別子によって特定される色フォーマットに基づいて輝度色差サイズ比を導出するステップと、
   前記拡大参照レイヤオフセットシンタックスの値と前記対象レイヤピクチャの前記輝度色差サイズ比との積により、拡大参照レイヤオフセットを導出するステップと、
   前記参照レイヤピクチャの輝度色差サイズ比を第１の輝度色差サイズ比に設定し、前記参照レイヤオフセットシンタックスの値と該第１の輝度色差サイズ比との積により、参照レイヤオフセットを導出するステップと、
   前記拡大参照レイヤオフセットと前記参照レイヤオフセットとを用いてスケールを導出
   するステップと、
   前記スケールと、前記拡大参照レイヤオフセットと、前記参照レイヤオフセットとを用いて、対応参照位置を導出するステップと、を実行させ、
   前記拡大参照レイヤオフセットシンタックスは、前記対象レイヤピクチャの色差画素単位で符号化させ、前記参照レイヤオフセットシンタックスは、参照レイヤの色差画素単位で符号化させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images