JPWO2014104242A1

JPWO2014104242A1 - 画像復号装置、および画像符号化装置

Info

Publication number: JPWO2014104242A1
Application number: JP2014554570A
Authority: JP
Inventors: 健史筑波; 山本　智幸; 智幸山本; 知宏猪飼
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2012-12-28
Filing date: 2013-12-26
Publication date: 2017-01-19
Also published as: WO2014104242A1

Abstract

残差予測に関する符号化パラメータの符号化、復号に係る処理量を低減させるために、画像復号装置は、所定単位毎に残差予測情報を復号するか否かを示す残差予測利用可フラグを導出する残差予測利用可フラグ導出手段を備え、残差予測情報復号手段は、上記残差予測利用可フラグが残差予測情報を復号しないことを示す場合、残差予測フラグに、残差予測を実施しないことを示す値を設定する。

Description

本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、および画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置に関する。

通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。

動画像符号化方式としては、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣや、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）が知られている（非特許文献１）。これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。

イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。インター予測においては、フレーム間の動き補償により予測画像が生成される。動き補償に関する情報（動き補償パラメータ）は、たいていの場合、符号量の削減のため直接符号化されない。そこで、インター予測では、対象ブロック周辺の復号状況等に基づく動き補償パラメータの推定が行われる。

また、必要なデータレートに従って、画像を階層的に符号化する階層符号化技術も提案されている。階層符号化の方式としては、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔの標準としてＨ．２６４／ＡＶＣＡｎｎｅｘＧＳｃａｌａｂｌｅＶｉｄｅｏＣｏｄｉｎｇ（ＳＶＣ）が挙げられる。

ＳＶＣでは空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティをサポートする。例えば空間スケーラビリティの場合、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとしてＨ．２６４／ＡＶＣで符号化する。次に上位レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う。

レイヤ間予測としては、動き予測に関する情報を同時刻の下位レイヤの情報から予測する動き情報予測、あるいは同時刻の下位レイヤの復号画像をアップサンプリングした画像から予測するテクスチャ予測がある（非特許文献１）。上記動き情報予測では、参照レイヤの動き情報を推定値として動き情報が符号化される。

また、レイヤ間予測の一手法として、下位レイヤの残差画像を保持し、上位レイヤにおいて、インター予測によって生成された対象ブロックの予測画像に、上記対象ブロックと対応する下位レイヤの残差画像とを合成し、上記対象ブロックの予測画像を補正する残差予測がある。また、上記残差予測の改良技術として、一般化残差予測が知られている（非特許文献３〜５）。一般化残差予測は、上位レイヤにおいて、対象ブロックの予測画像の生成時にインター予測に用いた動き補償パラメータ（動きベクトル、参照画像）を参照して、上位レイヤの対象ブロックと対応する下位レイヤの復号画像と、上位レイヤの参照画像と対応する下位レイヤの参照画像と上位レイヤの動き補償パラメータを基に動き補償によって生成された予測画像とから、上位レイヤの対象ブロックと対応する下位レイヤの残差画像を生成し、生成した残差画像と上記対象ブロックの予測画像を合成し、上記対象ブロックの予測画像を補正する技術である。非特許文献１の残差予測と比べて、上位レイヤの動き補償パラメータを用いて、下位レイヤの残差画像を生成するため、精度の良い残差画像を生成できるため、符号化効率を向上する効果がある。

ITU-T H.264 「Advanced video coding for generic audiovisual services」（２００７年１１月公開）「High efficiency video coding (HEVC) text specification draft 8」, JCTVC-K1003, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 11th Meeting: Shanghai, China, Oct. 2012（２０１２年１０月２１日公開）「Description of scalable video coding technology proposal by Qualcomm (configuration 2)」, JCTVC-K0036, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 11th Meeting: Shanghai, China, Oct. 2012 「Description of scalable video coding technology proposal by Nokia (encoder configuration 1)」, JCTVC-K0040, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 11th Meeting: Shanghai, China, Oct. 2012 「Description of scalable video coding technology proposal by Nokia (encoder configuration 1)」, JCTVC-K0041, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 11th Meeting: Shanghai, China, Oct. 2012

上述したように、一般化残差予測は、従来の残差予測に比べて、符号化効率を向上させることができる。しかしながら、従来の残差予測に比べて、残差画像を生成するために、上位レイヤの動き補償パラメータを参照して、下位レイヤの参照画像に対して動き補償をし、下位レイヤの予測画像を生成する必要があるため、処理が重いという課題がある。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、一般化残差予測に要する処理量を低減することにある。また、残差予測に関する符号化パラメータの符号化、復号に係る処理量を低減することにある。

本発明の第２の構成の動画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、所定単位毎に残差予測を実施するか否かを示す残差予測フラグを復号する復号手段と、既に復号済みの対象レイヤの参照画像と予測パラメータに基づいて、上記対象レイヤの予測単位の予測画像を生成する予測画像生成手段と、既に復号済みの参照レイヤの参照画像と、対象レイヤの復号対象画像と対応する参照レイヤの復号画像と、上記予測パラメータとに基づいて、上記対象レイヤの上記予測単位の推定残差を生成し、上記予測画像生成手段で生成された予測画像と上記推定残差を合成する残差予測手段とを備え、上記残差予測フラグ復号手段は、以下の（１）〜（３）の条件である（１）対象レイヤの現画像と対応する同時刻の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に存在するか、（２）対象レイヤの当該予測単位において、参照画像利用リストフラグpredFlagL0が１の場合、参照画像リストＬ０と参照画像インデックスRefIdxL0から定まる対象レイヤの参照画像と対応する同時刻の参照レイヤの復号画像が存在するか、（３）対象レイヤの当該予測単位において、参照画像利用リストフラグpredFlagL1が１の場合、参照画像リストＬ１と参照画像インデックスRefIdxL1から定まる対象レイヤの参照画像と対応する同時刻の参照レイヤの復号画像が存在するかに基づいて、残差予測フラグを復号するか否かを制御することを特徴とする。

本発明の第２の構成の動画像符号化装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを符号化して、符号化の対象となる対象レイヤにおける画像を符号化する画像符号化装置であって、所定単位毎に残差予測を実施するか否かを示す残差予測フラグを符号化する符号化手段と、既に符号化済みの対象レイヤの参照画像と予測パラメータに基づいて、上記対象レイヤの予測単位の予測画像を生成する予測画像生成手段と、既に符号化済みの参照レイヤの参照画像と、対象レイヤの符号化対象画像と対応する参照レイヤの符号化済画像と、上記予測パラメータとに基づいて、上記対象レイヤの上記予測単位の推定残差を生成し、上記予測画像生成手段で生成された予測画像と上記推定残差を合成する残差予測手段とを備え、上記残差予測フラグ符号化手段は、以下の（１）〜（３）の条件である（１）対象レイヤの現画像と対応する同時刻の参照レイヤの符号化済画像が参照レイヤのピクチャバッファ上に存在するか、（２）対象レイヤの当該予測単位において、参照画像利用リストフラグpredFlagL0が１の場合、参照画像リストＬ０と参照画像インデックスRefIdxL0から定まる対象レイヤの参照画像と対応する同時刻の参照レイヤの符号化済画像が存在するか、（３）対象レイヤの当該予測単位において、参照画像利用リストフラグpredFlagL1が１の場合、参照画像リストＬ１と参照画像インデックスRefIdxL1から定まる対象レイヤの参照画像と対応する同時刻の参照レイヤの符号化済画像が存在するかに基づいて、残差予測フラグを符号化するか否かを制御することを特徴とする。

本発明の第３の構成の動画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、所定単位毎に残差予測情報を復号するか否かを示す残差予測利用可フラグを導出する残差予測利用可フラグ導出手段と、所定単位毎に残差予測情報を復号する残差予測情報復号手段と、既に復号済みの対象レイヤの参照画像と予測パラメータに基づいて、上記対象レイヤの上記予測単位の予測画像を生成する予測画像生成手段と、上記残差予測情報が残差予測を実施することを表わす場合に、既に復号済みの参照レイヤの参照画像と、対象レイヤの復号対象画像と対応する参照レイヤの復号画像と、上記予測パラメータとに基づいて、上記対象レイヤの上記予測単位の推定残差を生成し、上記予測画像生成手段で生成された予測画像と上記推定残差を合成する残差予測手段とを備え、上記残差予測情報復号手段は、上記残差予測利用可フラグが残差予測情報を復号することを示す場合、符号化データから残差予測情報のうち残差予測を実施するか否かを示す残差予測フラグに関するシンタックス要素値を復号し、前記シンタックス要素値に基づいて残差予測フラグを設定し、上記残差予測情報復号手段は、上記残差予測利用可フラグが残差予測情報を復号しないことを示す場合、上記残差予測フラグに残差予測を実施しないことを示す値を設定することを特徴とする。

本発明の第３の構成の動画像符号化装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを符号化して、符号化の対象となる対象レイヤにおける画像を符号化する画像符号化装置であって、所定単位毎に残差予測情報を符号化するか否かを示す残差予測利用可フラグを導出する残差予測利用可フラグ導出手段と、所定単位毎に残差予測情報を符号化する残差予測情報符号化手段と、既に符号化済みの対象レイヤの参照画像と予測パラメータに基づいて、上記対象レイヤの予測単位の予測画像を生成する予測画像生成手段と、既に符号化済みの参照レイヤの参照画像と、対象レイヤの符号化対象画像と対応する参照レイヤの符号化済画像と、上記予測パラメータとに基づいて、上記対象レイヤの上記予測単位の推定残差を生成し、上記予測画像生成手段で生成された予測画像と上記推定残差を合成する残差予測手段とを備え、上記残差予測情報符号化手段は、上記残差予測利用可フラグが残差予測情報を符号化することを示す場合、残差予測情報を符号化し、上記残差予測利用可フラグが残差予測情報を符号化しないことを示す場合、残差予測情報の符号化を省略することを特徴とする。

本発明の第４の構成の動画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、所定単位毎に残差予測を実施するか否かを示す残差予測フラグを復号する残差予測フラグ復号手段と、既に復号済みの対象レイヤの参照画像と予測パラメータに基づいて、上記対象レイヤの上記予測単位の予測画像を生成する予測画像生成手段と、上記残差予測フラグが残差予測を実施することを表わす場合に、既に復号済みの参照レイヤの参照画像と、対象レイヤの復号対象画像と対応する参照レイヤの復号画像と、上記予測パラメータとに基づいて、上記対象レイヤの上記予測単位の推定残差を生成し、上記予測画像生成手段で生成された予測画像と上記推定残差を合成する残差予測手段とを備え、上記残差予測フラグ復号手段は、以下の（１）〜（３）の条件である（１）対象レイヤの現画像と対応する同時刻の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に存在する否か、（２）対象レイヤの現画像で利用される参照画像リストＬ０に含まれる参照画像のいずれかと対応する同時刻の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否か、（３）対象レイヤの現画像で利用される参照画像リストＬ１に含まれる参照画像のいずれかと対応する同時刻の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否かに基づいて、残差予測フラグを復号するか否かを制御することを特徴とする。

本発明の第４の構成の動画像符号化装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを符号化して、符号化の対象となる対象レイヤにおける画像を符号化する画像符号化装置であって、所定単位毎に残差予測を実施するか否かを示す残差予測フラグを符号化する残差予測フラグ符号化手段と、既に符号化済みの対象レイヤの参照画像と予測パラメータに基づいて、上記対象レイヤの予測単位の予測画像を生成する予測画像生成手段と、既に符号化済みの参照レイヤの参照画像と、対象レイヤの符号化対象画像と対応する参照レイヤの符号化済画像と、上記予測パラメータとに基づいて、上記対象レイヤの上記予測単位の推定残差を生成し、上記予測画像生成手段で生成された予測画像と上記推定残差を合成する残差予測手段とを備え、上記残差予測フラグ符号化手段は、以下の（１）〜（３）の条件である（１）対象レイヤの現画像と対応する同時刻の参照レイヤの符号化済画像が参照レイヤのピクチャバッファ上に存在する否か、（２）対象レイヤの現画像で利用される参照画像リストＬ０に含まれる参照画像のいずれかと対応する同時刻の参照レイヤの符号化済画像が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否か、（３）対象レイヤの現画像で利用される参照画像リストＬ１に含まれる参照画像のいずれかと対応する同時刻の参照レイヤの符号化済画像が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否かに基づいて、残差予測フラグを符号化するか否かを制御することを特徴とする。

以上のように、本発明に係る画像復号装置は、上記予測パラメータが第１の条件を満たす場合と、上記予測パラメータが第２の条件を満たす場合とで、異なるフィルタを用いて推定残差を生成するため、参照レイヤの推定残差生成時の動き補償に係るメモリアクセスを低減し、符号化効率を維持しつつ残差予測に係る処理量を低減する効果を奏する。

以上のように、本発明に係る画像符号化装置は、上記予測パラメータが第１の条件を満たす場合と、上記予測パラメータが第２の条件を満たす場合とで、異なるフィルタを用いて推定残差を生成するため、参照レイヤの推定残差生成時の動き補償に係るメモリアクセスを低減し、符号化効率を維持しつつ残差予測に係る処理量を低減する効果を奏する。

本発明の実施の形態を示すものであり、階層動画像復号装置の概略的構成を示す機能ブロック図である。上記実施の形態に係る階層符号化データのレイヤ構造を説明するための図であり、（ａ）は階層動画像符号化装置側について示す図であり、（ｂ）は階層動画像復号装置側について示す図である。上記実施の形態に係る階層符号化データの構成を説明するための図であり、（ａ）はシーケンスＳＥＱを規定するシーケンスレイヤを示す図であり、（ｂ）はピクチャＰＩＣＴを規定するピクチャレイヤを示す図であり、（ｃ）はスライスＳを規定するスライスレイヤを示す図であり、（ｄ）はツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤを示す図であり、（ｅ）はツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。ＰＵ分割タイプのパターンを示す図であり、（ａ）〜（ｈ）は、それぞれ、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤの場合のパーティション形状について示している。上記階層動画像復号装置が備える予測パラメータ復元部の概略的構成を示す機能ブロック図である。上記階層動画像復号装置において利用可能なイントラ予測の方向について示す図である。イントラ予測モードと、当該イントラ予測モードに対応付けられている名前とを示す図である。上記階層動画像復号装置が備えるテクスチャ復元部の概略的構成を示す機能ブロック図である。上記階層動画像復号装置が備えるベース復号部の概略的構成を示す機能ブロック図である。階層動画像復号装置が備えるインター予測部の概略的構成を示す機能ブロック図である。動き補償に用いるフィルタの一例を示す図であり、（ａ）は輝度に関して、動き補償に用いる８タップの分離フィルタを表わし、（ｂ）は色差に関して、動き補償に用いる４タップの分離フィルタを表わす。上記階層動画像復号装置が備える残差予測部の概略的構成を示す機能ブロック図である。対象レイヤのピクチャ上の対象ＰＵと対応する参照レイヤのピクチャ上のＰＵの対応関係を表わす図である。残差予測部１５２２の備える動き補償部１５２２２において、動き補償に用いるフィルタの選択の動作例を示すフローチャートである。残差予測部１５２２の備える動き補償部１５２２２において、動き補償に用いるフィルタの組み合わせの一例を示す図である。残差予測部１５２２の備える動き補償部１５２２２において、輝度の動き補償に用いるフィルタの一例を表わし、（ａ）は２タップの分離フィルタ、（ｂ）は４タップの分離フィルタの一例である。残差予測部１５２２の備える動き補償部１５２２２において、色差の動き補償に用いるフィルタの一例を表わし、（ａ）は２タップの分離フィルタ、（ｂ）は４タップの分離フィルタの一例である。残差予測部１５２２の備える動き補償部１５２２２において、動き補償に用いるフィルタの選択の動作例の別の一例を示すフローチャートである。残差予測部１５２２の備える動き補償部１５２２２において、動き補償に用いるフィルタの組み合わせの別の一例を示す図である。残差予測部１５２２の備える動き補償部１５２２２において、動き補償に用いるフィルタの選択の動作例の別の一例を示すフローチャートである。残差予測部１５２２の備える動き補償部１５２２２において、動き補償に用いるフィルタの組み合わせの別の一例を示す図である。可変長復号部１２において、残差予測情報を含む符号化データを復号する動作を示すフローチャートである。図２２のＳ３０５における所定条件を説明するための図であり、（ａ）は、対象レイヤの現画像CurPicEL、参照画像RefPicEL、及び対象レイヤの現ピクチャCurPicELと対応する同時刻の参照レイヤの現ピクチャCurPicBL、参照レイヤの参照ピクチャRefPicELと対応する同時刻の参照レイヤの参照ピクチャRefPicBLを表わす。また、（ｂ）は、対象レイヤのピクチャバッファ上にある復号画像、または現画像の復号画像の一例を表わす。また、（ｃ）は、参照レイヤのピクチャバッファにある復号画像、または現画像の復号画像の一例を表わす。可変長復号部１２で復号される符号化データの構成の予測単位の符号化データの一例を示す図である。本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。上記階層動画像符号化装置が備える予測情報生成部の概略的構成を示す機能ブロック図である。上記階層動画像符号化装置が備えるテクスチャ情報生成部の概略的構成を示す機能ブロック図である。可変長符号化部２５において、残差予測情報を含む符号化パラメータを符号化する動作を示すフローチャートである。上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。可変長復号部１２の変形例１において、残差予測情報を含む符号化データを復号する動作を示すフローチャートである。可変長復号部１２の変形例１において、復号される符号化データの構成の予測単位の符号化データの一例を示す図である。可変長復号部１２の変形例１において、残差予測利用可フラグ(ResPredAvailableFlag)の導出の動作を示すフローチャートである。残差予測利用可フラグを導出する所定条件として、「当該予測単位のＰＵのサイズが所定サイズより大きいか否か」を含める場合を示すフローチャートである。残差予測利用可フラグを導出する所定条件として、「当該予測単位の属するＣＵのサイズが所定サイズ以上であるか否か」を含める場合を示すフローチャートである。残差予測利用可フラグを導出する所定条件として、「当該予測単位の属するＣＵのＰＵ分割タイプが２Ｎ×２Ｎであるか否か」を含める場合のフローチャートである。残差予測利用可フラグを導出する所定条件として、「当該予測単位のインター予測モードが単予測（Ｌ０予測、または、Ｌ１予測）であるか否か」を含める場合を示すフローチャートである。残差予測利用可フラグを導出する所定条件として、「当該予測単位の予測モードが、スキップモード、または、マージモードであるか否か」を含める場合を示すフローチャートである。残差予測利用可フラグを導出する所定条件として、「当該予測単位の参照画像が所定条件を満たすか否」を含める場合を示すフローチャートである。参照画像リストＬＸに含まれる参照画像RefPicの中で、現画像CurPicとの時間距離が最小となる参照画像を示す参照画像インデックスRefIdxLXwithMinAbsDiffPocの導出に関するフローチャートである。参照画像リストＬＸに含まれる参照画像RefPicの中で、現画像CurPicとの時間距離が最小となる参照画像を示す参照画像インデックスRefIdxLXwithMinAbsDiffPocの導出を示す疑似コードである。最大ＣＵサイズ＝６４ｘ６４、最小ＣＵサイズ＝８ｘ８の場合における、符号化ツリーの分割深度を示すcqtDepthと、各ＣＵサイズにおいて取り得るＰＵ分割タイプ毎のＰＵサイズの対応関係を示す表である。同図において、記号”N/A”は、対応ＰＵサイズが存在しないことを示す。ＣＵの予測タイプCuPredMode(PredMode)とＰＵ分割タイプPartMode(part_mode)の対応関係を示す表である。可変長復号部１２の変形例２において、残差予測情報を含む符号化データを復号する動作を示すフローチャートである。可変長復号部１２の変形例２において、復号される符号化データの構成の予測単位の符号化データの一例を示す図である。残差予測重み係数を「当該予測単位のインター予測モード」に基づいて導出する例を示すフローチャートである。残差予測重み係数を「対象レイヤのスケーラビリティタイプ」に基づいて導出する例を示すフローチャートである。残差予測重み係数を「当該予測単位のサイズ」に基づいて導出する例を示すフローチャートである。上記階層動画像復号装置が備える残差予測部の変形例１に係る概略的構成を示す機能ブロック図である。上記階層動画像復号装置が備える残差予測部の変形例２に係る概略的構成を示す機能ブロック図である。上記階層動画像復号装置が備える残差予測部の変形例３に係る概略的構成を示す機能ブロック図である。可変長符号化部２５の変形例１において、残差予測情報を含む符号化パラメータを符号化する動作を示すフローチャートである。可変長符号化部２５の変形例２において、残差予測情報を含む符号化パラメータを符号化する動作を示すフローチャートである。残差予測重み係数を当該予測単位の予測パラメータのマージフラグに基づいて導出する例を示すフローチャートである。インター予測識別子inter_pred_idc、及びマージフラグmerge_flagと残差予測重み係数の対応関係を示す図である。残差予測重み係数を当該予測単位の予測パラメータの動きベクトルに基づいて導出する例を示すフローチャートである。残差予測重み係数を当該予測単位の予測パラメータの参照画像インデックスで指定される参照画像RefPicと現画像CurPicとの時間距離に基づいて導出する例を示すフローチャートである。可変長復号部１２の変形例３において、ＣＵ単位で残差予測フラグを含む符号化データを復号する動作を示すフローチャートである。ＣＵ単位で残差予測フラグを含む場合の符号化データの構成を示す図である。可変長符号化部２５の変形例３において、ＣＵ単位で残差予測フラグを含む符号化パラメータを符号化する動作を示すフローチャートである。

図１〜３０に基づいて、本発明の一実施の形態に係る階層動画像復号装置１および階層動画像符号化装置２について説明すれば以下の通りである。

〔概要〕
〔階層符号化の概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によってスケーラブル映像符号化（ＳＶＣ；Scalable Video Coding）された符号化データを復号する。スケーラブル映像符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。スケーラブル映像符号化は、例えば、Ｈ．２６４／ＡＶＣＡｎｎｅｘＧＳＶＣにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”“画質”、および“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。

また、ＳＶＣは、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、および（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレーム・レート（単位時間のフレーム数）において階層化する技術である。また、ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。

本実施形態に係る階層動画像符号化装置２及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造について説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。
〔階層符号化データのレイヤ構造〕
ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。

以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。

図２（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図２（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。

まず、図２（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。

下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。

また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。

また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。

このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。

次に、図２（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。

なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。

例えば、中位階層Ｌ２の階層動画像復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号することができる。

なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。

また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。

なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。

本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。

上位レイヤ：ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。

下位レイヤ：ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。

対象レイヤ：復号または符号化の対象となっている階層のことをいう。

参照レイヤ（reference layer）：対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。

図２（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。

基本レイヤ（base layer）：最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本（base）復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。

拡張レイヤ：基本レイヤの上位レイヤは、拡張レイヤと称される。

レイヤ識別子：レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。

一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。

レイヤ間予測：レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を（同時刻の）参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、（同時刻の）下位レイヤの復号画像をアップサンプリングした画像から予測するレイヤ間予測のことをテクスチャ予測と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。

なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、ＨＥＶＣおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣなどの符号化方式により生成してもよい。

また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１’に供給されるものであってもよいし、同一の伝送路を介して階層動画像復号装置１’に供給されるものであってもよい。

例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをＭＰＥＧ−２またはＨ．２６４／ＡＶＣにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をＨＥＶＣにより符号化して、インターネットで伝送してもよい。

（基本レイヤ）
図３は、基本レイヤにおいて採用することができる符号化データ（図２の例でいえば、階層符号化データＤＡＴＡ＃Ｃ）のデータ構造について例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。

階層符号化データＤＡＴＡ＃Ｃにおけるデータの階層構造を図３に示す。図３の（ａ）〜（ｅ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤ、ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。

（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、ビデオパラメータセット（Video Parameter Set）、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、適応パラメータセットＡＰＳ（Adaptation Parameter Set）、ピクチャＰＩＣＴ＃Ｎ₁〜ＰＩＣＴ#Ｎ_NP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値ＮはレイヤＩＤを示す。図２では、＃０と＃１すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。

ビデオパラメータセットＶＰＳは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。

シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。

ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。

適応パラメータセットＡＰＳは、対象シーケンス内の各スライスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＡＰＳは複数存在してもよい。その場合、対象シーケンス内の各スライスから複数のＡＰＳの何れかを選択する。

（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。

なお、以下、スライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータについても同様である。

ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。なお、符号化パラメータ群は、必ずしもピクチャヘッダＰＨ内に直接含んでいる必要はなく、例えばピクチャパラメータセットＰＰＳへの参照を含むことで、間接的に含めても良い。

（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、スライスヘッダＳＨ、及び、ツリーブロックＴＢＬＫ1〜ＴＢＬＫNC（ＮＣはスライスＳに含まれるツリーブロックの総数）のシーケンスを含んでいる。

スライスヘッダＳＨには、対象スライスの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。

なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（pic_parameter_set_id）、適応パラメータセットＡＰＳへの参照（aps_id）を含んでいても良い。

（ツリーブロックレイヤ）
ツリーブロックレイヤでは、処理対象のツリーブロックＴＢＬＫ（以下、対象ツリーブロックとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、ツリーブロックのことを符号化ツリーブロック（CTB:Coding Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。

ツリーブロックＴＢＬＫは、ツリーブロックヘッダＴＢＬＫＨと、符号化単位情報ＣＵ１〜ＣＵＮＬ（ＮＬはツリーブロックＴＢＬＫに含まれる符号化単位情報の総数）とを含む。ここで、まず、ツリーブロックＴＢＬＫと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。

ツリーブロックＴＢＬＫは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのパーティションに分割される。

ツリーブロックＴＢＬＫの上記パーティションは、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。

以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するパーティションを、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。なお、符号化ノードは、符号化ブロック（CB: Coding Block）と呼ぶこともある。

つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１〜ＣＵＮＬは、ツリーブロックＴＢＬＫを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。

また、符号化ツリーのルート（root）は、ツリーブロックＴＢＬＫに対応付けられる。換言すれば、ツリーブロックＴＢＬＫは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。

なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのパーティション）のサイズの縦横とも半分である。

また、ツリーブロックＴＢＬＫのサイズ、および、各符号化ノードのとり得るサイズは、階層符号化データＤＡＴＡ＃ＣのシーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、ツリーブロックＴＢＬＫのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。

（ツリーブロックヘッダ）
ツリーブロックヘッダＴＢＬＫＨには、対象ツリーブロックの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。

ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。

なお、ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報ＳＰ＿ＴＢＬＫは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグの集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。

また、量子化パラメータ差分Δｑｐは、対象ツリーブロックにおける量子化パラメータｑｐと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。

（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために階層動画像復号装置１’が参照するデータの集合が規定されている。

ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。

予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。

予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。

予測ツリーにおける分割（以下、ＰＵ分割と略称する）の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。

イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。

また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。ＰＵ分割の種類については、後に図面を用いて説明する。

また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。

変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。

変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。

（ＣＵ情報のデータ構造）
続いて、図３（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容について説明する。図３（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。

スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。

［ＰＴ情報］
ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１’により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。

予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。

予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅが何れの予測方法を指定するのかに応じて、イントラ予測情報ＰＰ＿Ｉｎｔｒａ、または、インター予測情報ＰＰ＿Ｉｎｔｅｒを含む。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。

インター予測情報ＰＰ＿Ｉｎｔｅｒは、階層動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、インター予測情報ＰＰ＿Ｉｎｔｅｒは、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータを含む。

イントラ予測情報ＰＰ＿Ｉｎｔｒａは、階層動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、イントラ予測情報ＰＰ＿Ｉｎｔｒａには、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。

また、ＰＵ分割情報には、対象ＰＵの形状、サイズ、および、位置を指定する情報が含まれていてもよい。ＰＵ分割情報の詳細については後述する。

［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことをブロックと称することもある。

ＴＴ情報ＴＴＩは、図３（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ1〜ＱＤNT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。

ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各ＴＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象となるノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現することができる。

また、例えば、ＣＵのサイズが、６４×６４の場合、分割により得られる各ＴＵは、３２×３２画素から４×４画素までのサイズをとり得る。

各量子化予測残差ＱＤは、階層動画像符号化装置２’が以下の処理１〜３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。

処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２’が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。

（予測パラメータ）
インター予測およびイントラ予測における予測パラメータの詳細について説明する。上述のとおり、予測情報ＰＩｎｆｏには、インター予測パラメータまたはイントラ予測パラメータが含まれる。

インター予測パラメータとしては、例えば、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、推定動きベクトルインデックス（ｍｖｐ＿ｉｄｘ）、参照画像インデックス（ｒｅｆ＿ｉｄｘ）、インター予測識別子（ｉｎｔｅｒ＿ｐｒｅｄ＿ｉｄｃ）、および動きベクトル残差（ｍｖｄ）が挙げられる。なお、マージフラグ（merge_flag）が１の場合、マージモードとも呼ぶ。

一方、イントラ予測パラメータとしては、例えば、推定予測モードフラグ、推定予測モードインデックス、および、残余予測モードインデックスが挙げられる。

（ＰＵ分割情報）
ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる領域のことをパーティションとも称する。

図４（ａ）〜（ｈ）に、それぞれの分割タイプについて、ＣＵにおけるＰＵ分割の境界の位置を具体的に図示している。

図４（ａ）は、ＣＵの分割を行わない２Ｎ×２ＮのＰＵ分割タイプを示している。また、図４（ｂ）、（ｃ）、および（ｄ）は、それぞれ、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤである場合のパーティションの形状について示している。また、図４（ｅ）、（ｆ）、および（ｇ）は、それぞれ、ＰＵ分割タイプが、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションの形状について示している。また、図４（ｈ）は、ＰＵ分割タイプが、Ｎ×Ｎである場合のパーティションの形状を示している。

図４（ａ）および（ｈ）のＰＵ分割タイプのことを、そのパーティションの形状に基づいて、正方形分割とも称する。また、図４（ｂ）〜（ｇ）のＰＵ分割タイプのことは、非正方形分割とも称する。

また、図４（ａ）〜（ｈ）において、各領域に付した番号は、領域の識別番号を示しており、この識別番号順に、領域に対して処理が行われる。すなわち、当該識別番号は、領域のスキャン順を表している。

［インター予測の場合の分割タイプ］
インターＰＵでは、上記８種類の分割タイプのうち、Ｎ×Ｎ（図４（ｈ））以外の７種類が定義されている。なお、上記６つの非対称的分割は、ＡＭＰ（Asymmetric Motion Partition）と呼ばれることもある。

また、Ｎの具体的な値は、当該ＰＵが属するＣＵのサイズによって規定され、ｎＵ、ｎＤ、ｎＬ、および、ｎＲの具体的な値は、Ｎの値に応じて定められる。例えば、１２８×１２８画素のインターＣＵは、１２８×１２８画素、１２８×６４画素、６４×１２８画素、６４×６４画素、１２８×３２画素、１２８×９６画素、３２×１２８画素、および、９６×１２８画素のインターＰＵへ分割することが可能である。

［イントラ予測の場合の分割タイプ］
イントラＰＵでは、次の２種類の分割パターンが定義されている。対象ＣＵを分割しない、すなわち対象ＣＵ自身が１つのＰＵとして取り扱われる分割パターン２Ｎ×２Ｎと、対象ＣＵを、４つのＰＵへと対称的に分割するパターンＮ×Ｎと、である。

したがって、イントラＰＵでは、図４に示した例でいえば、（ａ）および（ｈ）の分割パターンを取ることができる。

例えば、１２８×１２８画素のイントラＣＵは、１２８×１２８画素、および、６４×６４画素のイントラＰＵへ分割することが可能である。

（拡張レイヤ）
拡張レイヤの符号化データについても、例えば、図３に示すデータ構造とほぼ同様のデータ構造を採用することができる。ただし、拡張レイヤの符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略したりすることができる。

ＶＰＳ、ＳＰＳには階層符号化を示す情報が符号化されていてもよい。

また、スライスレイヤでは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、および、quality_id）が符号化されていてもよい。

また、スライスヘッダＳＨには、階層動画像復号装置の備える残差予測部において参照される残差予測有効フラグ(res_pred_enable_flag)が含まれている。残差予測有効フラグは、値が０の場合、残差予測は常に実施されないことを表わし、値が１の場合は、所定単位毎に、残差予測を実施するか否かを示す残差予測フラグ(res_pred_flag)を符号化／復号することを表わす。なお、上記残差予測有効フラグは、スライスヘッダＳＨに限定されず、シーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、適応パラメータセット（ＡＰＳ）などでも符号化／復号されうる。

残差予測フラグ（res_pred_flag）は、値が０の場合、所定単位に含まれる予測単位(ＰＵ)毎に、残差予測を実施しないことを表わし、値が１の場合には、所定単位に含まれる予測単位毎に、残差予測を実施することを表わす。なお、残差予測フラグは、ＣＴＢ単位、ＣＵ単位、ＰＵ単位で符号化／復号されうる。

また、残差予測フラグ(res_pred_flag)の値が１の場合には、さらに残差予測により生成された推定残差を予測画像へ合成する際の重み係数を表わすインデクス（res_pred_weight_idx；残差予測重み係数インデクス）を符号化／復号されてもよい。例えば、res_pred_weight_idxが０の場合は、重み係数０．５を表わし、res_pred_weight_idxが１の場合は、重み係数１．０を表わしてもよい。なお、上記重み係数は、０．５、１．０に限定されず、０．２５、０．５、０．７５、１．０となるようにインデクスと対応付けてもよい。また、残差予測時に選択可能な重み係数を予め１つの値に設定しておき、明示的に重み係数インデクスを符号化／復号しない構成としてもよい。所定の値には、例えば、０．５、または１．０と設定しておくことが好ましい。以降、残差予測フラグ(res_pred_flag)、残差予測重み係数インデクス(res_pred_weight_idx)を含めて残差予測情報とも総称する。なお、上記のように、残差予測の重み係数を複数選択できるように符号化パラメータに含めることで、残差予測により生成される推定残差の予測精度を向上させる効果を奏する。従って、拡張レイヤにおいて、推定残差により補正された予測画像の精度が向上し、拡張レイヤの符号量を削減することができるので、符号化効率が向上する。

また、ＣＵ情報ＣＵでは、スキップフラグ（skip_flag）、ベースモードフラグ（base_mode_flag）および予測モードフラグ（pred_mode_flag）が符号化されていてもよい。なお、ベースモードフラグは、テクスチャレファレンスレイヤフラグ（texture_rl_flag）とも呼ばれる。ベースモードの場合は、参照レイヤの復号済みピクチャの画像を利用してレイヤ間テクスチャ予測を行うＣＵ（インターレイヤＣＵ）と定義されてもよい。

また、これらのフラグにより対象ＣＵのＣＵタイプが、イントラＣＵ、インターＣＵ、スキップＣＵおよびベーススキップＣＵのいずれであるかが指定されていてもよい。

イントラＣＵおよびスキップＣＵは、上述のＨＥＶＣ方式の場合と同様に定義できる。例えば、スキップＣＵでは、スキップフラグに“１”が設定される。スキップＣＵでない場合、スキップフラグに“０”が設定される。また、イントラＣＵでは、予測モードフラグに“０”が設定される。

また、インターＣＵは、非スキップかつ動き補償（ＭＣ；Motion Compensation）を適用するＣＵと定義されていてもよい。インターＣＵでは、例えば、スキップフラグに“０”が設定され、予測モードフラグに“１”が設定される。

ベーススキップＣＵは、ＣＵまたはＰＵの情報を参照レイヤから推定するＣＵタイプである。また、ベーススキップＣＵでは、例えば、スキップフラグに“１”が設定され、ベースモードフラグに“１”が設定される。

また、ＰＴ情報ＰＴＩでは、対象ＰＵのＰＵタイプが、イントラＰＵ、インターＰＵ、マージＰＵ、およびベースマージＰＵのいずれであるかが指定されていてもよい。

イントラＰＵ、インターＰＵ、マージＰＵは、上述のＨＥＶＣ方式の場合と同様に定義できる。

ベースマージＰＵは、ＰＵの情報を参照レイヤから推定するＰＵタイプである。また、例えば、ＰＴ情報ＰＴＩにおいて、マージフラグおよびベースモードフラグを符号化しておき、これらのフラグを用いて、対象ＰＵがベースマージを行うＰＵであるか否かを判定してもよい。すなわち、ベースマージＰＵでは、マージフラグに“１”が設定され、ベースモードフラグに“１”が設定される。

なお、拡張レイヤに含まれる動きベクトル情報のうち、下位レイヤに含まれる動きベクトル情報から導出可能な動きベクトル情報については、拡張レイヤから省略する構成とすることができる。このような構成とすることによって、拡張レイヤの符号量を削減することができるので、符号化効率が向上する。

また、上述のとおり拡張レイヤの符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。

下位レイヤが、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣ方式によって符号化されていてもよい。

対象レイヤと参照レイヤとが異なる符号化方式によって符号化されている場合、参照レイヤのパラメータを、対象レイヤの対応するパラメータ、または、類似のパラメータに変換することでレイヤ間における相応の互換性を保つことができる。例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣ方式におけるマクロブロックは、ＨＥＶＣにおけるＣＴＢに読み替えて解釈することが可能である。

なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略することができる。

〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置１の構成について、図１、５〜９を参照して説明する。

（階層動画像復号装置の構成）
図１を用いて、階層動画像復号装置１の概略的構成について説明すると次のとおりである。図１は、階層動画像復号装置１の概略的構成について示した機能ブロック図である。階層動画像復号装置１は、階層動画像符号化装置２から供給される階層符号化データＤＡＴＡを、ＨＥＶＣ方式により復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。

図１に示すように階層動画像復号装置１は、ＮＡＬ逆多重化部１１、可変長復号部１２、予測パラメータ復元部１４、テクスチャ復元部１５、ベース復号部１３、およびフィルタパラメータ復元部１６を備える。

ＮＡＬ逆多重化部１１は、ＮＡＬ（Network Abstraction Layer）におけるＮＡＬユニット単位で伝送される階層符号化データＤＡＴＡを逆多重化する。

ＮＡＬは、ＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。

ＶＣＬは、動画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのファイルフォーマットや、ＭＰＥＧ−２システムに対応する。以下に示す例では、下位システムは、対象レイヤおよび参照レイヤにおける復号処理に対応する。

なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダが含まれる。また、各階層における符号化データは、ＮＡＬユニットに格納されることでＮＡＬ多重化されて階層動画像復号装置１’に伝送される。

ＮＡＬ逆多重化部１１は、階層符号化データＤＡＴＡを逆多重化して、対象レイヤ符号化データＤＡＴＡ＃Ｔおよび参照レイヤ符号化データＤＡＴＡ＃Ｒを取り出す。また、ＮＡＬ逆多重化部１１は、対象レイヤ符号化データＤＡＴＡ＃Ｔを可変長復号部１２に供給するとともに、参照レイヤ符号化データＤＡＴＡ＃Ｒをベース復号部１３に供給する。

可変長復号部１２は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるバイナリから各種のシンタックス値を復号するための情報の復号処理を行う。

具体的には、可変長復号部１２は、以下のように、予測情報、符号化情報、変換係数情報、およびフィルタパラメータ情報を符号化データＤＡＴＡ＃Ｔから復号する。

すなわち、可変長復号部１２は、各ＣＵまたはＰＵに関する予測情報を、符号化データＤＡＴＡ＃Ｔから復号する。予測情報には、例えば、ＣＵタイプまたはＰＵタイプの指定が含まれる。

ＣＵがインターＣＵである場合、可変長復号部１２はＰＵ分割情報を符号化ＤＡＴＡ＃Ｔから復号する。加えて、各ＰＵにおいて、可変長復号部１２は、さらに、予測情報として、参照画像インデックスＲＩ、推定動きベクトルインデックスＰＭＶＩ、及び、動きベクトル残差ＭＶＤ等の動き情報、モード情報、残差予測情報（残差予測フラグ、残差予測重み係数インデクス）を符号化データＤＡＴＡ＃Ｔから復号する。

一方、ＣＵがイントラＣＵである場合、可変長復号部１２は、さらに、予測情報として、（１）予測単位のサイズを指定するサイズ指定情報、および、（２）予測インデックスを指定する予測インデックス指定情報を含むイントラ予測情報を符号化データＤＡＴＡ＃Ｔから復号する。

また、可変長復号部１２は、符号化情報を符号化データＤＡＴＡ＃Ｔから復号する。符号化情報には、ＣＵの形状、サイズ、位置を特定するための情報が含まれる。より具体的には、符号化情報には、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報、すなわち、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報が含まれる。

可変長復号部１２は、復号した予測情報および符号化情報を予測パラメータ復元部１４に供給する。

また、可変長復号部１２は、各ブロックに関する量子化予測残差ＱＤ、及び、そのブロックを含むツリーブロックに関する量子化パラメータ差分Δｑｐを符号化データＤＡＴＡ＃Ｔから復号する。可変長復号部１２は、復号した量子化予測残差ＱＤおよび量子化パラメータ差分Δｑｐを変換係数情報としてテクスチャ復元部１５に供給する。

ベース復号部１３は、参照レイヤ符号化データＤＡＴＡ＃Ｒから、対象レイヤに対応する復号画像を復号する際に参照される参照レイヤに関する情報であるベース復号情報を復号する。ベース復号情報には、ベース予測パラメータ、ベース変換係数、ベース復号画像が含まれる。ベース復号部１３は、復号したベース復号情報を予測パラメータ復元部１４、テクスチャ復元部１５に供給する。

予測パラメータ復元部１４は、予測情報およびベース復号情報を用いて、予測パラメータを復元する。予測パラメータ復元部１４は、復元した予測パラメータを、テクスチャ復元部１５に供給する。なお、予測パラメータ復元部１４は、予測パラメータを復元する際に、テクスチャ復元部１５が備えるフレームメモリ１５５に格納された動き情報を参照することができる。

テクスチャ復元部１５は、変換係数情報、ベース復号情報、および予測パラメータを用いて、復号画像ＰＯＵＴ＃Ｔを生成し、外部に出力する。なお、テクスチャ復元部１５では、復元された復号画像に関する情報が、内部に備えるフレームメモリ１５５に格納される。

以下において、ベース復号部１３、予測パラメータ復元部１４、およびテクスチャ復元部１５それぞれの詳細について説明する。

（予測パラメータ復元部）
図５を用いて、予測パラメータ復元部１４の詳細構成について説明する。図５は、予測パラメータ復元部１４の構成について例示した機能ブロック図である。

図５に示すように、予測パラメータ復元部１４は、予測タイプ選択部１４１、スイッチ１４２、イントラ予測モード復元部１４３、動きベクトル候補導出部１４４、動き情報復元部１４５、マージ候補導出部１４６、マージ情報復元部１４７、および残差予測情報復元部１４８を備える。

予測タイプ選択部１４１は、ＣＵタイプまたはＰＵタイプに応じてスイッチ１４２に切り替え指示を送り予測パラメータの導出処理を制御する。具体的には以下のとおりである。

イントラＣＵまたはイントラＰＵが指定されている場合、予測タイプ選択部１４１はイントラ予測モード復元部１４３を用いて予測パラメータを導出できるようスイッチ１４２を制御する。

インターＣＵ（マージなし）およびインターＰＵ（マージなし）のいずれかが指定されている場合、予測タイプ選択部１４１は動き情報復元部１４５を用いて予測パラメータを導出できるようスイッチ１４２を制御する。

ベーススキップＣＵ、ベースマージＣＵ、スキップＣＵ、およびマージＰＵのいずれかが指定されている場合、予測タイプ選択部１４１はマージ情報復元部１４７を用いて予測パラメータを導出できるようスイッチ１４２を制御する。

また、インターＣＵ（マージなし）、インターＰＵ（マージなし）、ベーススキップＣＵ、ベースマージＣＵ、スキップＣＵ、およびマージＰＵのいずれかが指定されている場合、予測タイプ選択部１４１は、残差予測情報復元部１４８を用いて、さらに残差予測情報を予測パラメータの一部として導出できるようスイッチ１４２を制御する。

スイッチ１４２は、予測タイプ選択部１４１の指示に応じて、予測情報を、イントラ予測モード復元部１４３、動き情報復元部１４５、およびマージ情報復元部１４７のいずれかに供給する。また、スイッチ１４２は、予測タイプ選択部１４１の指示に応じて、さらに残差予測情報復元部１４８へ予測情報を供給する。予測情報の供給先において予測パラメータが導出される。

イントラ予測モード復元部１４３は、予測情報から予測モードを導出する。すなわち、イントラ予測モード復元部１４３が予測パラメータとして復元するのは予測モードである。

ここで、図６を用いて、予測モードの定義について説明する。図６は、予測モードの定義を示している。同図に示すように、３６種類の予測モードが定義されており、それぞれの予測モードは、「０」〜「３５」の番号（イントラ予測モードインデックス）によって特定される。また、図７に示すように、各予測モードには次のような名称が割り当てられている。すなわち、「０」は、“Intra_Planar（プラナー予測モード、平面予測モード）”であり、「１」は、“Intra DC(イントラＤＣ予測モード)”であり、「２」〜「３４」は、“Intra Angular（方向予測）”であり、「３５」は、“Intra From Luma”である。「３５」は、色差予測モード固有のものであり、輝度の予測に基づいて色差の予測を行うモードである。言い換えれば、色差予測モード「３５」は、輝度画素値と色差画素値との相関を利用した予測モードである。色差予測モード「３５」はＬＭモードとも称する。予測モード数（intraPredModeNum）は、対象ブロックのサイズによらず「３５」である。

動きベクトル候補導出部１４４は、ベース復号情報を用いて、レイヤ内動き推定処理、またはレイヤ間動き推定処理により推定動きベクトルの候補を導出する。動きベクトル候補導出部１４４は、導出した動きベクトルの候補を動き情報復元部１４５に供給する。

動き情報復元部１４５は、マージを行わない各インターＰＵに関する動き情報を復元する。すなわち、動き情報復元部１４５が予測パラメータとして復元するのは動き情報である。

動き情報復元部１４５は、対象ＰＵがインターＣＵおよびインターＰＵである場合、予測情報から、動き情報を復元する。より具体的には、動き情報復元部１４５は、動きベクトル残差（mvd）、推定動きベクトルインデックス（mvp_idx）、インター予測識別子（inter_pred_idc）および、参照画像インデックス（refIdx）を取得する。そして、インター予測識別子の値に基づいて、参照画像リストＬ０と参照画像リストＬ１各々について参照画像リスト利用フラグpredFlagLX(X=0,1)を決定する。具体的には、参照画像リスト利用フラグは以下のように導出される。

predFlagL0 = (inter_pred_idc == Pred_L0 || inter_pred_idc == Pred_BI)
predFlagL1 = (inter_pred_idc == Pred_L1 || itner_pred_idc == Pred_BI)
ここで、”||”は論理和を表わす。また、Pred_L0はＬ０予測を表わし、Pred_L1はＬ１予測を表わし、Pred_BIは、双予測を表わす。参照画像リスト利用フラグpredFlagLX(X=0,1)の値が、０の場合は、参照画像リストＬＸを利用したＬＸ予測をしないことを表わし、１の場合は、参照画像リストＬＸを利用したＬＸ予測をすることを表わす。また、predFlagL0、predFlagL1が共に１の場合は、双予測を行うことを表わす。

続いて、対応する参照画像リスト利用フラグが、当該参照画像を利用することを示している場合、動き情報復元部１４５は、推定動きベクトルインデックスの値に基づいて、推定動きベクトルを導出するとともに、動きベクトル残差と推定動きベクトルとに基づいて動きベクトルを導出する。動き情報復元部１４５は、導出した動きベクトルと、参照画像リスト利用フラグ、および、参照画像インデックスと合わせて動き情報（動き補償パラメータ）として出力する。

マージ候補導出部１４６は、フレームメモリ１５５から供給される復号済みの動き情報および／またはベース復号部１３から供給されるベース復号情報等を用いて、各種のマージ候補を導出する。マージ候補導出部１４６は、導出したマージ候補をマージ情報復元部１４７に供給する。

マージ情報復元部１４７は、レイヤ内またはレイヤ間でマージを行う各ＰＵに関する動き情報を復元する。すなわち、動き情報復元部１４５が予測パラメータとして復元するのは動き情報である。

具体的には、マージ情報復元部１４７は、対象ＣＵ（ＰＵ）がマージを行うスキップＣＵ（マージＰＵ）である場合、マージ候補導出部１４６がマージ候補リストから、予測情報に含まれるマージインデックス（merge_idx）に対応する動き補償パラメータ(動きベクトルと、インター予測識別子、参照画像リスト利用フラグ、および、参照画像インデックス)を導出することにより、動き情報を復元する。

残差予測情報復元部１４８は、各ＰＵに関する残差予測情報を復元する。可変長復号部１２より復号された残差予測に関するシンタックス値に基づいて、残差予測情報として、各ＰＵ単位での残差予測の適用の有無を表わす残差予測フラグres_pred_flag、および残差予測を適用する場合（res_pred_flag==1）には、さらに、残差予測重み係数インデックスres_pred_weight_idxを復元する。なお、残差予測時に選択可能な重み係数を予め１つの値に設定しておき、明示的に重み係数インデクスを復元しない構成としてもよい。例えば、残差予測を適用する場合には、残差予測重み係数を、０．５、または１．０と設定してもよい。

（テクスチャ復元部）
図８を用いて、テクスチャ復元部１５の詳細構成について説明する。図８は、テクスチャ復元部１５の構成について例示した機能ブロック図である。

図８に示すように、テクスチャ復元部１５は、逆直交変換・逆量子化部１５１、テクスチャ予測部１５２、加算器１５３、ループフィルタ部１５４、およびフレームメモリ１５５を備える。

逆直交変換・逆量子化部１５１は、（１）可変長復号部１２から供給される変換係数情報に含まれる量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆直交変換（例えば、ＤＣＴ（Discrete Cosine Transform）変換）し、（３）逆直交変換によって得られた予測残差Ｄを加算器１５３に供給する。なお、量子化予測残差ＱＤを逆量子化する際に、逆直交変換・逆量子化部１５１は、変換係数情報に含まれる量子化パラメータ差分Δｑｐから量子化ステップＱＰを導出する。量子化パラメータｑｐは、直前に逆量子化／逆直交変換したツリーブロックに関する量子化パラメータｑｐ’に量子化パラメータ差分Δｑｐを加算することによって導出でき、量子化ステップＱＰは、量子化パラメータｑｐからＱＰ＝２ｑｐ／６によって導出できる。また、逆直交変換・逆量子化部１５１による予測残差Ｄの生成は、ブロック（変換単位）を単位として行われる。

テクスチャ予測部１５２は、予測パラメータに応じて、ベース復号情報に含まれるベース復号画像またはフレームメモリに格納されている復号済みの復号画像を参照し、予測画像を生成する。

テクスチャ予測部１５２は、より詳細には、インター予測部１５２Ａ、イントラ予測部１５２Ｂを備える。

インター予測部１５２Ａは、各インター予測パーティションに関する予測画像をインター予測により生成する。具体的には、インター予測部１５２Ａは、動き情報復元部１４５またはマージ情報復元部１４７から予測パラメータとして供給される動き情報を用いて、参照画像から予測画像を生成する。また、インター予測部１５２Ａは、残差予測情報復元部１４８から予測パラメータとして供給される残差予測情報と、動きベクトル復元部１４５、またはマージ情報復元部１４７から予測パラメータとして供給される動き情報を用いて、参照レイヤから、各インター予測パーティションに対応する推定残差を生成し、上記予測画像へ推定残差を合成し、予測画像を補正する。

イントラ予測部１５２Ｂは、各イントラ予測パーティションに関する予測画像をイントラ予測により生成する。具体的には、イントラ予測部１５２Ｂは、イントラ予測モード復元部１４３から予測パラメータとして供給される予測モードを用いて、対象パーティションにおいて復号済みの復号画像もしくはベース復号画像から予測画像を生成する。

テクスチャ予測部１５２は、インター予測部１５２Ａ、イントラ予測部１５２Ｂが生成した予測画像を加算器１５３に供給する。

加算器１５３は、テクスチャ予測部１５２が生成した予測画像と、逆直交変換・逆量子化部１５１から供給された予測残差Ｄとを加算することによって復号画像を生成する。

ループフィルタ部１５４は、加算器１５３から供給される復号画像に対し、デブロッキング処理や、適応オフセットフィルタ、適応ループフィルタによるフィルタ処理を施すものである。

フレームメモリ１５５は、ループフィルタ部１５４によるフィルタ済み復号画像を格納する。

（ベース復号部）
図９を用いて、ベース復号部１３の詳細構成について説明する。図９は、ベース復号部１３の構成について例示した機能ブロック図である。

図９に示すように、ベース復号部１３は、可変長復号部１３１、ベース予測パラメータ復元部１３２、ベース変換係数復元部１３３、ベーステクスチャ復元部１３４を備える。

可変長復号部１３１は、参照レイヤ符号化データＤＡＴＡ＃Ｒに含まれるバイナリから各種のシンタックス値を復号するための情報の復号処理を行う。

具体的には、可変長復号部１３１は、予測情報および変換係数情報を符号化データＤＡＴＡ＃Ｒから復号する。可変長復号部１３１が復号する予測情報および変換係数のシンタックスは、可変長復号部１２と同様であるのでここではその詳細な説明を省略する。

可変長復号部１３１は、復号した予測情報をベース予測パラメータ復元部１３２に供給し、復号した変換係数情報をベース変換係数復元部１３３に供給する。

ベース予測パラメータ復元部１３２は、可変長復号部１３１から供給される予測情報に基づいて、ベース予測パラメータを復元する。ベース予測パラメータ復元部１３２が、ベース予測パラメータを復元する方法については、予測パラメータ復元部１４と同様であるので、ここではその詳細な説明を省略する。ベース予測パラメータ復元部１３２は、復元したベース予測パラメータを、ベーステクスチャ復元部１３４に供給するとともに、外部に出力する。

ベース変換係数復元部１３３は、可変長復号部１３１から供給される変換係数情報に基づいて、変換係数を復元する。ベース変換係数復元部１３３が変換係数を復元する方法については、逆直交変換・逆量子化部１５１と同様であるので、ここではその詳細な説明を省略する。ベース変換係数復元部１３３は、復元したベース変換係数を、ベーステクスチャ復元部１３４に供給するとともに、外部に出力する。

ベーステクスチャ復元部１３４は、ベース予測パラメータ復元部１３２から供給されるベース予測パラメータと、ベース変換係数復元部１３３から供給されるベース変換係数とを用いて、復号画像を生成する。具体的には、ベーステクスチャ復元部１３４は、ベース予測パラメータに基づき、テクスチャ予測部１５２と同様のテクスチャ予測を行って、予測画像を生成する。また、ベーステクスチャ復元部１３４は、ベース変換係数に基づいて予測残差を生成し、生成した予測残差と、テクスチャ予測により生成した予測画像とを加算することでベース復号画像を生成する。

なお、ベーステクスチャ復元部１３４は、ベース復号画像に対して、ループフィルタ部１５４と同様のフィルタ処理を施してもよい。また、ベーステクスチャ復元部１３４は、復号済みのベース復号画像を格納するためのフレームメモリを備えていてもよく、テクスチャ予測においてフレームメモリに格納されている復号済みのベース復号画像を参照してもよい。

＜インター予測部１５２Ａの詳細＞
次に、インター予測部１５２Ａにおいて行われる処理について図１０〜２４を参照して説明する。

図１０は、インター予測部１５２Ａの構成を示す図である。インター予測部１５２Ａは、動き補償部１５２１、残差予測部１５２２、重み予測部１５２３から構成される。インター予測部１５２Ａには、予測情報ＰＩｎｆｏ（動き補償パラメータ）と残差予測情報が入力される。動き補償パラメータは、対象ＰＵの左上座標（xP、yP）、ＰＵのサイズであるＰＵの幅と高さ、nPSW、nPSH、参照画像リストＬ０に係る参照画像に関わる参照画像リスト利用フラグpredFlagL0、参照画像リスト中の参照画像を特定するためのインデックスである参照画像インデックスRefIdxL0、動きベクトルMvL0[]、と、参照画像リストＬ１に係る参照画像に関わる参照画像リスト利用フラグpredFlagL1、参照画像リスト中の参照画像を特定するためのインデックスである参照画像インデックスRefIdxL1、動きベクトルMvL1[]から構成される。

（動き補償）
動き補償部１５２１は、インター予測部１５２Ａに入力される対象レイヤ画像と動き補償パラメータに基づいて、対象レイヤ画像の動き補償を行い、動き補償画像を生成する。具体的には、参照画像リストＬ０とＬ１に対して各々、参照画像リスト利用フラグpredFlagLXが予測リストを利用することを示す場合、すなわち、-1以外の場合に、参照画像インデックスRefIdxLXで指定される参照画像RefPicLXELをフレームメモリ１５５から読み出す。続いて、ＰＵの左上座標（xP、yP）を起点として、動きベクトルMvLX[]だけずらした位置から、ＰＵサイズにより定まる動き補償フィルタに必要な画像を参照画像RefPicLXELより抽出し、動きベクトルMvLX[]に従った整数位置もしくは小数位置の画像を生成するためにフィルタ処理を行い動き補償画像を生成する。なお、動きベクトルMvLX[0]は、水平方向の動きベクトルを表わし、動きベクトルMvLX[1]は、垂直方向の動きベクトルである。フィルタ処理は、例えば、輝度には、図１１（ａ）に示す水平８タップ、垂直８タップの分離フィルタ、色差には、図１１（ｂ）に示す水平４タップ、垂直４タップの分離フィルタが用いられる。参照画像リスト利用フラグpredFlagL0、predFlagL1の一方が有効であり他が無効である場合には、１つの参照画像から予測画像を生成するような単予測であり動き補償画像は１つだけ生成される。参照画像リスト利用フラグpredFlagL0、predFlagL1の両者が有効の場合は、２つの参照画像から予測画像を生成するような双予測であり、動き補償画像は２つ生成される。以下、L0予測の動き補償画像（Ｌ０予測画像ともいう）をpredSamplesL0、L1予測の動き補償画像(L１予測画像ともいう)をpredSamplesL1と呼ぶ。両者を区別しない場合、predSamplesLXとも呼ぶ。以下、動き補償部１５２１で得られた動き補償画像（ＬＸ予測画像）predSamplesLXに、さらに残差予測が行われる例を説明するが、これらの出力画像を補正動き補償画像（補正ＬＸ予測画像ともいう）predSamplesLX’と呼ぶ。なお、以下の残差予測において、入力画像と出力画像を区別する場合には、入力画像をpredSamplesLX、出力画像をpredSamplesLX´と表現する。

（残差予測）
残差予測部１５２２は、残差予測フラグres_pred_flagが０の場合には、対象ＰＵのＬＸ予測画像predSampleLXをそのまま出力する。また、残差予測フラグres_pred_flagが１の場合に、対象ＰＵのＬＸ予測画像predSamplesLXに対して、残差予測を行う。残差予測は、予測画像生成の対象とする対象レイヤ（第２のレイヤ画像）とは異なる参照レイヤ（第１のレイヤ画像）の残差を、対象レイヤの予測した画像であるＬＸ予測画像predSamplesLXに加えることにより行われる。

図１２は、残差予測部１５２２の概略構成図を示す機能ブロック図である。図１２に示すように、残差予測部１５２２は、スケーリング部１５２２１、残差生成部１５２２３、動き補償部１５２２２、および残差合成部１５２２４により構成される。

まず、残差予測部１５２２は、対象レイヤの現ピクチャCurPicEL上の対象ＰＵと対応する同時刻の参照レイヤのピクチャCurPicBLの参照領域CurPicBLReg、および対象レイヤの参照画像インデックスRefIdxLX及び参照画像リストLXで指定される参照画像RefPicLXELの参照領域RefPicLXELRegと対応する同時刻のピクチャRefPicLXBLの参照領域RefPicLXBLRegを設定する。ここで、参照領域CurPicBlReg、及び参照領域RefPicLXBLRegについて、図１３を用いて説明する。

図１３に示すように、対象レイヤ上の現ピクチャCurPicELの高さおよび幅を、それぞれhPicおよびwPicとする。また、対象ＰＵの高さおよび幅を、それぞれhPU、wPUとし、左上画素の位置の現ピクチャCurPicELのける座標表現を、(xPU,yPU)とする。また、参照レイヤ上の現ピクチャCurPicBLの高さおよび幅を、それぞれhRefPicおよびwRefPicとする。

対象ＰＵ(tgtPU)に対応する参照領域CurPicBLRegは、次のように設定される。以下の計算により、参照領域CurPicBLRegの座標（xCurPicBLReg, yCurPicBLReg）、及び幅wBLReg、高さwBLRegが導出される。なお、以下のscaleX・scaleYは、対象レイヤの現ピクチャの幅・高さの参照レイヤの現ピクチャの幅・高さに対する比である。

xCurPicBLReg = xPu / scaleX
yCurPicBLReg = yPu / scaleY
wBLReg = wPu / scaleX
hBLReg = hPu / scaleY
scaleX = wPic / wRefPic
scaleY = hPic / hRefPic
同様に、対象レイヤ上の参照ピクチャRefPicLXELの参照領域RefPicLXELRegと対応する参照レイヤ上の同時刻の参照ピクチャRefPicLXBL上の参照領域RefPicLXBLRegの座標（xRefPicLXELReg, yRefPicLXELReg）、及び幅wBLReg、高さwBLRegは次のように導出される。

xRefPicLXBLReg = (xPu + mvX) / scaleX
yRefPicLXBLReg = (yPu + mvY) / scaleY
wBLReg = wPu / scaleX
hBLReg = hPu / scaleY
ここで、mvX、およびmvYは、それぞれ、対象レイヤの動き補償に用いた動きベクトルのｘ成分、ｙ成分である。

スケーリング部１５２２１は、設定された参照領域CurPicBLRegの局所復号画像CurPicBLRegSamples、および参照領域RefPicLXBLRegの局所復号画像RefPicLXBLRegSamplesを参照レイヤのフレームメモリより読み出し、所定のアップサンプリングフィルタによりｘ方向へscaleX、ｙ方向へscaleYだけスケーリングし、参照領域CurPicBLRegのアップサンプル画像CurPicBLRegScaledSamplesおよび、参照領域RefPicLXBLRegのアップサンプル画像RefPicLXBLRegScaledSamplesを生成する。生成された参照領域CurPicBLRegのアップサンプル画像CurPicBLRegScaledSamplesは、残差生成部１５２２３へ出力される。また、生成された参照領域RefPicLXBLRegのアップサンプル画像RefPicLXBLRegScaledSamplesは、動き補償部１５２２２へ出力される。なお、アップサンプル画像が生成されるのは、対象レイヤのスケーラビリティが空間スケーラビリティの場合のみである。対象レイヤのスケーラビリティがＳＮＲスケーラビリティの場合、つまり、scaleX=scaleY=1の場合は、参照レイヤのフレームメモリより読み出した参照領域CurPicBLRegの局所復号画像CurPicBLRegSamples、および参照領域RefPicLXBLRegの局所復号画像RefPicLXBLRegSamplesをそれぞれ、アップサンプル画像CurPicBLRegScaledSamples、RefPicLXBLRegScaledSampelsとして出力するものとする。なお、残差予測フラグres_pred_flag＝１の場合は、参照領域CurPicBLRegのアップサンプル画像CurPicBLRegScaledSamplesおよび、参照領域RefPicLXBLRegのアップサンプル画像RefPicLXBLRegScaledSamplesの生成処理をし、残差予測フラグres_pred_flag＝０の場合は、参照領域CurPicBLRegのアップサンプル画像CurPicBLRegScaledSamplesおよび、参照領域RefPicLXBLRegのアップサンプル画像RefPicLXBLRegScaledSamplesの生成処理を省略する。

動き補償部１５２２２は、対象レイヤの参照画像RefPicLXELと対応する参照レイヤの画像RefPicLXBLのアップサンプル画像RefPicLXBLScaledSamplesと、対象レイヤの参照画像RefPIcLXELから動き補償画像（ＬＸ予測画像）predSamplesLXを生成するのに用いた動きベクトルMvLX[]に基づいて、整数位置もしくは小数点位置の画像を生成するためにフィルタ処理を行い、参照レイヤの動き補償画像predSamlesLXBLを生成する。なお、動き補償部１５２２２では、所定条件に基づいて、参照レイヤの動き補償画像predSamplesLXBLを生成するために用いる動き補償フィルタが選択される。なお、残差予測フラグres_pred_flag＝１の場合は、参照レイヤの動き補償画像predSamlesLXBLの生成処理をし、残差予測フラグres_pred_flag＝０の場合は、参照レイヤの動き補償画像predSamlesLXBLの生成処理を省略する。

＜動き補償フィルタの選択の第１例＞
動き補償フィルタの選択例について、図１４を用いて説明する。図１４は、動き補償部１５２２２において、動き補償フィルタを選択する一例を示すフローチャートである。

（Ｓ２０１）動き補償部１５２２２は、対象レイヤのスケーラビリティが空間スケーラビリティであるか否かを判定する。対象レイヤのスケーラビリティが空間スケーラビリティである場合（Ｓ２０１でＹｅｓ）、Ｓ２０２へ遷移する。それ以外（例えば、ＳＮＲスケーラビリティである）の場合（Ｓ２０１でＮｏ）、Ｓ２０３へ遷移する。

（Ｓ２０２）動き補償部１５２２２は、水平N1horタップの動き補償フィルタ、垂直N1verタップの動き補償フィルタを選択する。

（Ｓ２０３）動き補償部１５２２２は、水平N2horタップの動き補償フィルタ、垂直N2verタップの動き補償フィルタを選択する。
ここで、変数N1Horの値は、変数N2Horの値以下であり、変数N2Verの値は、変数N2Verの値以下である。さらに、変数N1Verの値は、変数N1Horの値以下であり、変数N2Verの値は、変数N2Verの値以下であることが好ましい。

例えば、動き補償フィルタの組み合わせの一例を図１５（ａ）に示す。図１５（ａ）では、空間スケーラビリティの場合、輝度には、水平、垂直共に図１６（ａ）に示す２タップの分離フィルタ（N1Hor=N1Ver=2）を選択し、色差には、水平、垂直共に図１７（ａ）に示す２タップ（N1Hor=N1Ver=2）の分離フィルタを選択する。ＳＮＲスケーラビリティの場合、輝度には、水平、垂直共に、図１６（ｂ）に示す４タップ（N2Hor=N2Ver）の分離フィルタを選択し、色差には、水平、垂直共に、図Ａ１６（ｂ）に示す４タップ（N2Hor=N2Ver=4）の分離フィルタを選択する。なお、動き補償に用いるフィルタの組み合わせは図１５（ａ）に限定されず、図１５（ｂ）に示すように、色差に関して、スケーラビリティによらず、水平、垂直共に図１５(ａ)に示す２タップの分離フィルタを選択してもよい。また、図１５(ｃ)に示すように、空間スケーラビリティ時に，垂直方向のフィルタタップ数が、水平方向のフィルタタップ数より小さいフィルタを用いてもよい。また、図１５（ｄ）に示すように、空間スケーラビリティ時のみ、輝度は、水平、垂直共に図１６（ａ）に示す２タップの分離フィルタを用い、色差には、水平、垂直共に図１７（ａ）に示す２タップの分離フィルタを用いてもよい。

以上、ＳＮＲスケーラビリティの場合は、参照レイヤと対象レイヤの画像サイズが同じである。そこで、動き補償部１５２１において対象レイヤの動き補償画像の生成に用いるフィルタよりも、簡易なフィルタを用いることで、残差予測に用いる参照レイヤの予測画像を生成するために必要な処理量を削減することが可能である。また、空間スケーラビリティの場合、残差予測に用いる参照レイヤの画像をアップサンプルする必要があり、ＳＮＲスケーラビリティの場合に比べて処理量が多い。そこで、残差予測に必要な参照レイヤの動き補償にさらに簡易なフィルタを用いることで、参照レイヤの予測画像を生成するために必要な処理量を削減することが可能である。なお、発明者らは、実験により、参照レイヤの動き補償画像の生成に用いるフィルタを、輝度の場合、図１１（ａ）示す８タップの分離フィルタの代わりに、図１６（ａ）に示す２タップの分離フィルタ（線形補間フィルタ）、または、図１６（ｂ）に示す４タップの分離フィルタを適用しても符号化効率が低下しないことを確認している。また、色差に関しても、図１１（ｂ）に示す４タップの分離フィルタの代わりに、図１７（ａ）に示す２タップの分離フィルタを用いても符号化効率が低下しないことを確認している。

＜動き補償フィルタの選択の第２例＞
動き補償フィルタの選択例の別例について、図１８を用いて説明する。図１８は、動き補償部１５２２２において、動き補償フィルタを選択する別の一例を示すフローチャートである。

（Ｓ２０１’）動き補償部１５２２２は、対象レイヤ上の予測単位のインター予測識別子inter_pred_idcが双予測であるか（inter_pred_idc==Pred_BI?）否かを判定する。双予測である場合（Ｓ２０１’でＹｅｓ）、Ｓ２０２’へ遷移する。それ以外（Ｌ０予測、Ｌ１予測の場合）の場合（Ｓ２０１’でＮｏ）、Ｓ２０３’へ遷移する。

（Ｓ２０２’）動き補償部１５２２２は、水平N1horタップの動き補償フィルタ、垂直N1verタップの動き補償フィルタを選択する。

（Ｓ２０３’）動き補償部１５２２２は、水平N2horタップの動き補償フィルタ、垂直N2verタップの動き補償フィルタを選択する。
ここで、変数N1Horの値は、変数N2Horの値以下であり、変数N2Verの値は、変数N2Verの値以下である。さらに、変数N1Verの値は、変数N1Horの値以下であり、変数N2Verの値は、変数N2Verの値以下であることが好ましい。

例えば、動き補償フィルタの組み合わせの一例を図１９（ａ）に示す。図１９（ａ）では、双予測の場合、輝度には、水平、垂直共に図１６（ａ）に示す２タップの分離フィルタ（N1Hor=N1Ver=2）を選択し、色差には、水平、垂直共に図１７（ａ）に示す２タップ（N1Hor=N1Ver=2）の分離フィルタを選択する。単予測の場合、輝度には、水平、垂直共に、図１６（ｂ）に示す４タップ（N2Hor=N2Ver）の分離フィルタを選択し、色差には、水平、垂直共に、図１７（ｂ）に示す４タップ（N2Hor=N2Ver=4）の分離フィルタを選択する。なお、動き補償に用いるフィルタの組み合わせは図１９（ａ）に限定されず、図１９（ｂ）に示すように、色差に関して、双予測、単予測共に、水平、垂直共に図１５(ａ)に示す２タップの分離フィルタを選択してもよい。また、図１５(ｃ)に示すように、双予測時に，垂直方向のフィルタタップ数が、水平方向のフィルタタップ数より小さいフィルタを用いてもよい。また、図１９（ｄ）に示すように、双予測時に、輝度は、水平、垂直共に図１６（ａ）に示す２タップの分離フィルタを用い、色差には、水平、垂直共に図１７（ａ）に示す２タップの分離フィルタを用いてもよい。

以上、双予測の場合は、Ｌ０予測画像とＬ１予測画像の両方を生成する必要があるため、ＬＸ予測（単予測）に比べて、処理量が多い。そこで、双予測の場合は、単予測に用いるフィルタよりも、簡易なフィルタを用いることで、残差予測に用いる参照レイヤの予測画像を生成するために必要な処理量を削減することが可能である。また、単予測に関しても、動き補償部１５２１において対象レイヤの動き補償画像の生成に用いるフィルタよりも、簡易なフィルタを用いることで、残差予測に用いる参照レイヤの予測画像を生成するために必要な処理量を削減することが可能である。

＜動き補償フィルタの選択の第３例＞
動き補償フィルタの選択例の別例について、図２０を用いて説明する。図２０は、動き補償部１５２２２において、動き補償フィルタを選択する別の一例を示すフローチャートである。

（Ｓ２０１’’）動き補償部１５２２２は、対象レイヤ上の予測単位を含むスライスのスライスタイプがＢスライスであるか否かを判定する。Ｂスライスである場合（Ｓ２０１’’でＹｅｓ）、Ｓ２０２’’へ遷移する。それ以外（Ｐスライスの場合）の場合（Ｓ２０１’’でＮｏ）、Ｓ２０３’’へ遷移する。

（Ｓ２０２’’）動き補償部１５２２２は、水平N1horタップの動き補償フィルタ、垂直N1verタップの動き補償フィルタを選択する。

（Ｓ２０３’’）動き補償部１５２２２は、水平N2horタップの動き補償フィルタ、垂直N2verタップの動き補償フィルタを選択する。
ここで、変数N1Horの値は、変数N2Horの値以下であり、変数N2Verの値は、変数N2Verの値以下である。さらに、変数N1Verの値は、変数N1Horの値以下であり、変数N2Verの値は、変数N2Verの値以下であることが好ましい。

例えば、動き補償フィルタの組み合わせの一例を図２１（ａ）に示す。図２１（ａ）では、Ｂスライスの場合、輝度には、水平、垂直共に図１６（ａ）に示す２タップの分離フィルタ（N1Hor=N1Ver=2）を選択し、色差には、水平、垂直共に図１７（ａ）に示す２タップ（N1Hor=N1Ver=2）の分離フィルタを選択する。Ｐスライスの場合、輝度には、水平、垂直共に、図１６（ｂ）に示す４タップ（N2Hor=N2Ver）の分離フィルタを選択し、色差には、水平、垂直共に、図１７（ｂ）に示す４タップ（N2Hor=N2Ver=4）の分離フィルタを選択する。なお、動き補償に用いるフィルタの組み合わせは図２１（ａ）に限定されず、図２１（ｂ）に示すように、色差に関して、Ｂスライス、Ｐスライス共に、水平、垂直共に図１６(ａ)に示す２タップの分離フィルタを選択してもよい。また、図２１(ｃ)に示すように、Ｂスライス時に，垂直方向のフィルタタップ数が、水平方向のフィルタタップ数より小さいフィルタを用いてもよい。また、図２１（ｄ）に示すように、Ｂスライス時に、輝度は、水平、垂直共に図１６（ａ）に示す２タップの分離フィルタを用い、色差には、水平、垂直共に図１７（ａ）に示す２タップの分離フィルタを用いてもよい。

以上、Ｂスライスの場合は、Ｌ０予測、Ｌ１予測、双予測の３通りの予測方法があり、Ｐスライスに比べて、処理量が多い。そこで、Ｂスライスの場合は、Ｐスライスに用いるフィルタよりも、簡易なフィルタを用いることで、残差予測に用いる参照レイヤの予測画像を生成するために必要な処理量を削減することが可能である。また、Ｐスライスに関しても、動き補償部１５２１において対象レイヤの動き補償画像の生成に用いるフィルタよりも、簡易なフィルタを用いることで、残差予測に用いる参照レイヤの予測画像を生成するために必要な処理量を削減することが可能である。

残差生成部１５２２３は、入力された対象レイヤの現ピクチャのＰＵに対応する参照レイヤの現ピクチャのアップサンプル画像CurPicBLScaledSamplesと、動き補償部１５２２２で生成された、対象レイヤの参照画像RefPicLXELと対応する参照レイヤの画像RefPicLXBLのアップサンプル画像RefPicLXBLScaledSamplesの動き補償画像predSamplesLXBLとの差分を計算し、残差画像resSamplesLXを生成する。すなわち、座標（ｘ、ｙ）の残差resSamplesLX’[x, y]は、以下の式により導出される。

resSamplesLX[x, y] = CurPicBLRegScaledSamples[x, y] - predSamplesLXBL[x, y]
その後、残差画像resSamplesLXを残差合成部１５２２４へ出力する。なお、残差予測フラグres_pred_flag＝１の場合は、残差画像resSamplesLXの生成処理をし、残差予測フラグres_pred_flag＝０の場合は、残差画像resSamplesLXの生成処理を省略する。

残差合成部１５２２４は、残差予測フラグres_pred_flagが０の場合には、対象ＰＵのＬＸ予測画像predSampleLXをそのまま出力する。残差予測フラグres_pred_flagが１の場合には、残差予測重み係数インデックスres_pred_weight_idxで指定される重み係数res_pred_weightを残差画像resSampleLXへ乗算し、対象ＰＵのＬＸ予測画像predSamlesLXと合成し、合成した補正ＬＸ予測画像predSamplesLX’を出力する。すなわち、座標（ｘ、ｙ）の補正ＬＸ予測画素値は、以下の式により導出される。なお、残差予測重み係数インデックスで指定される残差予測重み係数の代わりに、所定条件に基づいて導出された残差予測重み係数res_pred_weightを用いてもよい。

predVal = predSamplesLX[x, y] + (res_pred_weight * resSamplesLX[x, y])
predSamplesLX’[x, y] = predVal
なお、残差画像resSamplesLXと重み係数res_pred_weightの乗算をシフト演算と整数精度の乗算との組み合わせによって実現してもよい。

例えば、res_pred_weight = 0.25の場合、以下の式により導出する。

predVal = predSamplesLX[x, y] + ( resSamplesLX[x, y]>>2 )
また、res_pred_weight = 0.5の場合、以下の式により導出する。

predVal = predSamplesLX[x, y] + ( resSamplesLX[x, y]>>1 )
また、res_pred_weight = 0.75の場合、以下の式により導出する。

predVal = predSamplesLX[x, y] + ( 3*resSamplesLX[x, y]>>2 )
また、res_pred_weight = 1.0の場合、以下の式により導出する。

predVal = predSamplesLX[x, y] + resSamplesLX[x, y]
以上、上記残差予測部１５２２によれば、残差予測フラグres_pred_flagが０の場合には、対象ＰＵのＬＸ予測画像predSampleLXをそのまま出力する。また、残差予測フラグres_pred_flagが１の場合に、対象ＰＵのＬＸ予測画像predSamplesLXに対して、残差予測を行う。残差予測は、予測画像生成の対象とする対象レイヤ（第２のレイヤ画像）とは異なる参照レイヤ（第１のレイヤ画像）の残差resSamplesを、残差予測重み係数インデクスres_weight_indexが示す重み係数res_weightだけ乗算し、対象レイヤのＬＸ予測画像predSamplesLXに加算することで、ＬＸ予測画像を補正することができるため、予測画像の精度が増し、符号化効率を改善する効果を奏する。

（重み予測）
重み予測部１５２３は、残差予測部１５２２より入力されたＬＸ予測画像predSamplesLXに重み係数を乗算することにより予測画像を生成する。入力されるＬＸ予測画像predSamplesLXは、残差予測が行われる場合には、それらが施された画像である。参照リスト利用フラグの一方（predFlagL0もしくはpredFlagL1）が１の場合（単予測の場合）で、重み予測を用いない場合には入力されたＬＸ予測画像predSamplesLX（LXはL0もしくはL1）を画素ビット数に合わせる以下の式の処理を行う。

predSamples[x, y] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesLX[x, y] + offset1 ) >> shift1 )
ここで、shift1=14-bitDepth、offset1=1<<(shift1-1)である。

また、参照リスト利用フラグの両者（predFlagL0もしくはpredFlagL1）が１の場合（双予測の場合）で、重み予測を用いない場合には、入力されたＬＸ予測画像predSamplesL0、predSamplesL1を平均し画素ビット数に合わせる以下の式の処理を行う。

predSamples[x, y] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesL0[x, y] + predSamplesL1[x, y] + offset2 ) >> shift2 )
ここで、shift2=15-bitDepth、offset2=1<<(shift2-1)である。

さらに、単予測の場合で、重み予測を行う場合には、重み予測部１５２３は、重み予測係数w0とオフセットo0を導出し、以下の式の処理を行う。

predSamples[x, y] = Clip3( 0, ( 1 << bitDepth ) - 1, ( (predSamplesLX[x, y] * w0 + 2log2WD - 1) >> log2WD ) + o0 )
ここで、log2WDは所定のシフト量を示す変数である。

さらに、双予測の場合で、重み予測を行う場合には、重み予測部１５２３は、重み予測係数w0、w1、o0、o1を導出し、以下の式の処理を行う。

predSamples[x, y] = Clip3( 0, ( 1 << bitDepth ) - 1, ( predSamplesL0 [x, y] * w0 + predSamplesL1[x, y] * w1 + ((o0 + o1 + 1) << log2WD) ) >> (log2WD + 1) )
＜残差予測部１５２２の変形例１＞
以下では、残差予測部１５２２の変形例１に係る残差予測部１５２２ａについて説明する。

図４９は、残差予測部１５２２ａの概略構成図を示す機能ブロック図である。図４９に示すように、残差予測部１５２２ａは、ＬＸ残差予測制限判定部１５２２６、推定残差生成部１５２３０、および残差合成部１５２２４ａにより構成される。また、推定残差生成部１５２３０は、さらに、スケーリング部１５２２１、残差生成部１５２２３、および動き補償部１５２２２によって構成される。なお、残差予測部１５２２と同一の機能ブロックには、同一の符号を付し、説明を省略する。以下では、ＬＸ残差予測制限判定部１５２２６、推定残差生成部１５２３０、残差合成部１５２２４ａについて説明する。

まず、残差予測部１５２２ａは、対象レイヤの現ピクチャCurPicEL上の対象ＰＵと対応する同時刻の参照レイヤのピクチャCurPicBLの参照領域CurPicBLReg、および対象レイヤの参照画像インデックスRefIdxLX及び参照画像リストLXで指定される参照画像RefPicLXELの参照領域RefPicLXELRegと対応する同時刻のピクチャRefPicLXBLの参照領域RefPicLXBLRegを設定する。ここで、参照領域CurPicBlReg、及び参照領域RefPicLXBLRegについては、残差予測部１５２２において説明済のため、省略する。

ＬＸ残差予測制限判定部１５２２６は、入力された対象レイヤの当該ＰＵの動き補償パラメータに基づいて、当該ＰＵのＬＸ予測画像と対応する参照レイヤの推定残差を生成するか否かを判定する。具体的には、次の式に基づいて、Ｌ０予測画像、またはＬ１予測画像のいずれか一方に対応する参照レイヤの推定残差の生成を制限するか否かを示すＬＸ残差予測制限フラグNoResPredLXFlagを導出し、残差合成部１５２２４ａへ出力する。

NoResPredLXFlag = (inter_pred_idc==Pred_BI) ? 1 : 0;
すなわち、当該ＰＵの予測モードが双予測である場合(inter_pred_idc==Pred_BI)、ＬＸ残差予測制限フラグNoResPredLXFlagを１へ設定し、単予測である場合(inter_pred_idc==Pred_L0 || inter_pred_idc==Pred_L1)は、０へ設定する。

ここで、ＬＸ残差予測制限フラグNoResPredLXFlagは１の場合、ＬＸ予測画像に対応する推定残差の生成を実施しないことを示し、０の場合はＬＸ予測画像に対応する推定残差の生成を実施することを示す。例えば、双予測の場合、Ｌ０予測画像に対応する推定残差の生成を関して制限してもよいし、Ｌ１予測画像に対応する推定残差の生成を関して制限してもよい。予め制限するＬＸ予測画像をＬ０予測画像、またはＬ１予測画像のいずれか一方へ定めるものとする。Ｌ０予測画像に対応する推定残差の生成を制限する場合は、NoResPredL0Flag＝１、NoResPredL1Flag＝０が推定残差生成部１５２３０、残差合成部１５２２４ａへ出力され、Ｌ１予測画像に対応する推定残差の生成を制限する場合は、NoResPredL0Flag＝0、NoResPredL1Flag＝１が推定残差生成部１５２３０、残差合成部１５２２４ａへ出力される。

推定残差生成部１５２３０は、入力された残差予測フラグres_pred_flag、およびＬＸ残差予測制限フラグNoResPredLXFlagに基づいて、ＬＸ予測画像に対応する残差画像resSamplesLXを生成する。すなわち、残差予測フラグres_pred_flag＝１、かつ、ＬＸ残差予測制限フラグNoResPredLXFlag＝０の場合、推定残差生成部１５２３０を構成する各スケーリング部１５２２１、動き補償部１５２２２、および残差生成部１５２２３の処理を通して、ＬＸ予測画像predSamplesLXに対応する残差画像resSamplesLXを生成し、残差合成部１５２２４ａへ出力する。それ以外の場合、すなわち、残差予測フラグres_pred_flag＝０、または、残差予測フラグres_pred_flag＝１、かつ、ＬＸ残差予測制限フラグNoResPredLXFlag＝1の場合、ＬＸ予測画像predSamplesLXに対応する残差画像resSamplesLXの生成を省略する。

残差合成部１５２２４ａは、残差予測フラグres_pred_flag、およびＬＸ残差予測制限フラグNoResPredLXFlagに基づいて、補正ＬＸ予測画像predSamplesLX’を生成し、出力する。すなわち、予測残差フラグres_pred_flag＝１、かつ、ＬＸ残差予測制限フラグNoResPredLXLFlag＝０の場合には、残差予測重み係数インデックスres_pred_weight_idxで指定される重み係数res_pred_weightを残差画像resSamplesLXへ乗算し、対象ＰＵのＬＸ予測画像predSamlesLXと合成し、合成した補正ＬＸ予測画像predSamplesLX’を出力する。また、それ以外の場合、すなわち、残差予測フラグres_pred_flag＝０、または、残差予測フラグres_pred_flag＝１、かつ、ＬＸ残差予測制限フラグNoResPredLXFlag＝１の場合、対象ＰＵのＬＸ予測画像predSampleLXをそのまま出力する。その他の残差画像resPredSmaplesとＬＸ予測画像predSamplesLXの合成処理は、残差合成部１５２２４と同じであるため説明を省略する。

以上、上記残差予測部１５２２ａによれば、残差予測フラグres_pred_flagが１、かつ、ＬＸ残差予測制限フラグNoResPredLXFlagが０の場合には、対象ＰＵのＬＸ予測画像predSamplesLXに対して残差予測を行い、それ以外の場合、すなわち、残差予測フラグres_pred_flag＝０、または、残差予測フラグres_pred_flag＝１、かつ、ＬＸ残差予測制限フラグNoResPredLXFlag＝１の場合、対象ＰＵのＬＸ予測画像predSampleLXをそのまま出力する構成である。すなわち、対象ＰＵの予測モードが双予測である場合には、Ｌ０予測画像、または、Ｌ１予測画像のいずれか一方に対応する推定残差の生成を省略する構成である。従って、単予測の場合、Ｌ０予測画像、Ｌ１予測画像に関して、双予測の場合、Ｌ０予測画像、またはＬ１予測画像の何れか一方に関して、対象レイヤ（第２のレイヤ画像）とは異なる参照レイヤ（第１のレイヤ画像）の残差resSamplesを、残差予測重み係数res_pred_weightだけ乗算し、対象レイヤのＬＸ予測画像predSamplesLXに加算することで、ＬＸ予測画像を補正することができるため、予測画像の精度が増し、符号化効率を改善する効果を奏する。また、双予測の場合、Ｌ０予測画像、またはＬ１予測画像の何れか一方に対応する推定残差に係る処理量を削減する効果を奏する。

＜残差予測部１５２２の変形例２＞
以下では、残差予測部１５２２の変形例１に係る残差予測部１５２２ａについて説明する。

図５０は、残差予測部１５２２ｂの概略構成図を示す機能ブロック図である。図５０に示すように、残差予測部１５２２ｂは、垂直動きベクトルラウンド部１５２２７、推定残差生成部１５２３０ｂ、および残差合成部１５２２４により構成される。また、推定残差生成部１５２３０ｂは、さらに、スケーリング部１５２２１、残差生成部１５２２３、および動き補償部１５２２２によって構成される。なお、残差予測部１５２２ａと同一の機能ブロックには、同一の符号を付し、説明を省略する。以下では、ＬＸ垂直動きベクトルラウンド部１５２２７について説明する。

まず、残差予測部１５２２ｂは、対象レイヤの現ピクチャCurPicEL上の対象ＰＵと対応する同時刻の参照レイヤのピクチャCurPicBLの参照領域CurPicBLReg、および対象レイヤの参照画像インデックスRefIdxLX及び参照画像リストLXで指定される参照画像RefPicLXELの参照領域RefPicLXELRegと対応する同時刻のピクチャRefPicLXBLの参照領域RefPicLXBLRegを設定する。ここで、参照領域CurPicBlReg、及び参照領域RefPicLXBLRegについては、残差予測部１５２２において説明済のため、省略する。

垂直動きベクトルラウンド部１５２２７は、入力された対象レイヤの当該ＰＵの動き補償パラメータのうち、垂直成分の動きベクトルMvLX［1］に関して、整数精度へラウンドする。すなわち、以下の式により、垂直成分の動きベクトルMvLX[1]を整数精度へラウンドする。

MvLX[1] = sign3(MvLX[1]) * (Abs(MvLX[1]) >> bitShiftToInt ) << bitShiftToInt;
ここで、sign3(X)は、入力変数Xに関する正負の符号を返す関数であり、入力変数Xが正の場合１を返し、負の場合−１を返し、０の場合は０を返す。また、変数bitShfitToIntは、動きベクトルの精度により定まる変数であり、例えば、1/2^N[Pel]精度の動きベクトルの場合、分母の値2^Nの２を底とする対数値NをbitShiftToIntへ設定する。すなわち、
bitShiftToInt = N;
例えば、1/4[Pel]精度の動きベクトルであれば、bitShiftToIntの値は２となり、1/8[Pel]精度の動きベクトルであれば、bitShiftToIntの値は３となる。

推定残差生成部１５２３０ｂは、入力された残差予測フラグres_pred_flagに基づいて、ＬＸ予測画像に対応する残差画像resSamplesLXを生成する。すなわち、残差予測フラグres_pred_flag＝１の場合、推定残差生成部１５２３０を構成する各スケーリング部１５２２１、動き補償部１５２２２、および残差生成部１５２２３の処理を通して、ＬＸ予測画像predSamplesLXに対応する残差画像resSamplesLXを生成し、残差合成部１５２２４へ出力する。それ以外の場合、すなわち、残差予測フラグres_pred_flag＝０の場合、ＬＸ予測画像predSamplesLXに対応する残差画像resSamplesLXの生成を省略する。

以上、上記残差予測部１５２２ｂによれば、動き補償部１５２２２では、入力される動きベクトルMvLX[]のうち、垂直方向の成分に関して、垂直動きベクトルラウンド部１５２２７において、整数精度へラウンドされているため、水平方向に関してのみ動き補償フィルタの処理を実施することになる。従って、垂直方向の動き補償フィルタの処理が省略されるため、ＬＸ予測画像に対応する推定残差に係る動き補償の処理量を削減することが可能である。一般的に、メモリ上で、水平方向と垂直方向へ画素をアクセスする場合を比較すると、垂直方向へ画素をアクセスする方がより処理が重いため、垂直方向の動きベクトルの精度をラウンドする方がメモリアクセスの処理を低減することが可能である。また、一般的に、動画像では、水平方向の動きベクトルの発生頻度が大きく、垂直方向の動きベクトルの発生頻度は少ない。そのため、垂直方向の動きベクトルの精度をラウンドしても、残差予測の改善幅の低下が少ない。すなわち、符号化効率を維持しつつ、残差予測の処理量を削減することが可能である。

＜残差予測部１５２２の変形例３＞
以下では、残差予測部１５２２の変形例３に係る残差予測部１５２２ｃについて説明する。

図５１は、残差予測部１５２２ｃの概略構成図を示す機能ブロック図である。図５１に示すように、残差予測部１５２２ｃは、推定残差生成部１５２３０ｃ、および残差合成部１５２２４により構成される。また、推定残差生成部１５２３０ｃは、さらに、動き補償部１５２２２ｃ、残差生成部１５２２３ｃ、およびスケーリング部１５２２１ｃによって構成される。なお、残差予測部１５２２と同一の機能ブロックには、同一の符号を付し、説明を省略する。以下では、推定残差生成部１５２３０ｃ、動き補償部１５２２２ｃ、残差生成部１５２２３ｃ、およびスケーリング部１５２２１ｃについて説明する。

残差予測部１５２２ｃは、対象レイヤの現ピクチャCurPicEL上の対象ＰＵと対応する同時刻の参照レイヤのピクチャCurPicBLの参照領域CurPicBLReg、および対象レイヤの参照画像インデックスRefIdxLX及び参照画像リストLXで指定される参照画像RefPicLXELの参照領域RefPicLXELRegと対応する同時刻のピクチャRefPicLXBLの参照領域RefPicLXBLRegを設定する。具体的には、対象レイヤ上の現ピクチャCurPicELの高さおよび幅を、それぞれhPicおよびwPicとする。また、対象ＰＵの高さおよび幅を、それぞれhPU、wPUとし、左上画素の位置の現ピクチャCurPicELのける座標表現を、(xPU,yPU)とする。また、参照レイヤ上の現ピクチャCurPicBLの高さおよび幅を、それぞれhRefPicおよびwRefPicとする。

動き補償部１５２２２ｃは、設定された参照レイヤの参照画像RefPicLXBLの参照領域RefPicLXBLRegの局所復号画像RefPicLXBLRegSamplesを参照レイヤのピクチャバッファより読み出し、局所復号画像RefPicLXBLRegSamplesと、対象レイヤの参照画像RefPIcLXELから動き補償画像（ＬＸ予測画像）predSamplesLXを生成するのに用いた1/2^N[pel]精度の動きベクトルMvLXEL[]に基づいて、整数位置もしくは小数点位置の画像を生成するためにフィルタ処理を行い、参照レイヤの動き補償画像predSamlesLXBLを生成する。なお、動き補償に利用する1/2^N [pel]精度の動きベクトルMvLXEL[i]は、対象レイヤと参照レイヤの画像比scaleX、scaleYを用いて、以下の式により、参照レイヤの画像サイズにおける動きベクトルMvLXBL[i]へラウンディングされるものとする。

MvLXBL[0] = sign3(MvLXEL[0])*
(Abs(MvLXEL[i]) << N ) + (1<<(N-1) ) /scaleX ) >> N;
MvLXBL[1] = sign3(MvLXEL[1])*
(Abs(MvLXEL[i]) << N ) + (1<<(N-1) ) /scaleY ) >> N;
ここで、sign3(X)は、入力変数Xに関する正負の符号を返す関数であり、入力変数Xが正の場合１を返し、負の場合−１を返し、０の場合は０を返す。また、動き補償に用いるフィルタは、例えば、輝度であれば、図１１（ａ）に示す水平、垂直共に８タップの分離フィルタを用いてもよいし、図１６（ａ）に示す水平、垂直共に２タップの分離フィルタを用いて良いし、図１６（ｂ）に示す水平、垂直共に４タップの分離フィルタを用いてもよい。また、色差であれば、図１７（ａ）に示す水平、垂直共に２タップの分離フィルタを用いて良いし、図１７（ｂ）に示す水平、垂直共に４タップの分離フィルタを用いてもよい。なお、残差予測フラグres_pred_flag＝１の場合は、動き補償画像predSamplesLXBLの生成処理をし、残差予測フラグres_pred_flag＝０の場合は、動き補償画像predSamplesLXBLの生成処理を省略する。

残差生成部１５２２３ｃは、設定された現画像と対応する参照レイヤの画像CurPicBLの参照領域CurPicBLRegの局所復号画像CurPicBLRegSamplesを参照レイヤのピクチャバッファより読み出し、局所復号画像CurPicBLRegSamplesと、動き補償部１５２２２ｃで生成された、対象レイヤの参照画像RefPicLXELと対応する参照レイヤの参照画像RefPicLXBLの動き補償画像predSamplesLXBLとの差分を計算し、参照レイヤの残差画像resSamplesLXBLを生成する。すなわち、参照レイヤの画像サイズにおいて、座標（ｘ、ｙ）の残差resSamplesLXBL [x, y]は、以下の式により導出される。

resSamplesLXBL[x, y] = CurPicBLRegSamples[x, y] - predSamplesLXBL[x, y]
その後、参照レイヤの残差画像resSamplesLXBLをスケーリング部１５２２１ｃへ出力する。なお、残差予測フラグres_pred_flag＝１の場合は、参照レイヤの残差画像resSamplesLXBLの生成処理をし、残差予測フラグres_pred_flag＝０の場合は、参照レイヤの残差画像resSamplesLXBLの生成処理を省略する。

スケーリング部１５２２１ｃは、入力された参照レイヤの残差画像resSamplesLXBLを、所定のアップサンプリングフィルタによりｘ方向へscaleX、ｙ方向へscaleYだけスケーリングし、参照レイヤの残差画像resSamplesLXBLをアップサンプルしたアップサンプル済残差画像resSamplesLXを生成する。生成された参照レイヤのアップサンプル済残差画像resSamplesLXは、残差合成部１５２２４へ出力される。なお、アップサンプル残差画像が生成されるのは、対象レイヤのスケーラビリティが空間スケーラビリティの場合のみである。対象レイヤのスケーラビリティがＳＮＲスケーラビリティの場合、つまり、scaleX=scaleY=1の場合は、入力された参照レイヤの残差画像resSamplesLXBLを、アップサンプル済残差画像resSamplesLXとして出力するものとする。なお、残差予測フラグres_pred_flag＝１の場合は、アップサンプル残差画像の生成処理をし、残差予測フラグres_pred_flag＝０の場合は、アップサンプル残差画像の生成処理を省略する。

以上、上記残差予測部１５２２ｃによれば、対象ＰＵのＬＸ予測画像predSamplesLXに対応する残差画像resSamplesLXを、まず参照レイヤの解像度において生成する。すなわち、参照レイヤの推定残差の生成に係る動き補償を、参照レイヤの解像度において実施するため、動き補償に係る処理量を削減することが可能である。また、残差予測部１５２２と同様に、残差予測フラグres_pred_flagが１の場合に、対象ＰＵのＬＸ予測画像predSamplesLXに対して、残差予測を行う。残差予測は、予測画像生成の対象とする対象レイヤ（第２のレイヤ画像）とは異なる参照レイヤ（第１のレイヤ画像）の残差resSamplesを、残差予測重み係数インデクスres_weight_indexが示す重み係数res_weightだけ乗算し、対象レイヤのＬＸ予測画像predSamplesLXに加算することで、ＬＸ予測画像を補正することができるため、予測画像の精度が増し、符号化効率を改善する効果を奏する。

＜可変長復号部１２の詳細＞
以下、可変長復号部１２における残差予測情報の復号の詳細を説明する。

図２２は、可変長復号部１２において、残差予測情報を含む符号化データを復号する動作を示す図である。

（Ｓ３０１）可変長復号部１２は、所定のパラメータセット（例えば、スライスヘッダＳＨ）単位毎に、所定単位毎に残差予測フラグを復号するか否かを示す残差予測有効フラグres_pred_enable_flagを復号する。続いて、各ＣＴＢにおいて、以下の処理を行う。

（Ｓ３０２）ＣＵのループを開始する。ＣＵのループはＣＴＢに含まれる全てのＣＵを順に処理することで行われる。

（Ｓ３０３）ＰＵのループを開始する。ＰＵのループは該ＣＵに含まれる全てのＰＵを順に処理することで行われる。

（Ｓ３０４）ＰＵのループ内では、残差予測情報（res_pred_flag, res_pred_weight）を除く、予測情報ＰＩｎｆｏの内該ＰＵに対応する情報を復号する。例えば、マージインデックス、マージフラグ、インター予測識別子、参照画像インデックス、推定動きベクトルインデックス、動きベクトル残差と、が復号される。

（Ｓ３０５）続いて、本ＰＵにおいて、残差予測有効フラグ(res_pred_enable_flag)が１、かつ、所定条件を満たすか否かを判定する（Ｓ３０５）。残差予測有効フラグが１かつ、所定条件を満たす場合（ステップ３０５でＹｅｓ）、残差予測フラグを復号へ遷移する（Ｓ３０６に遷移）。それ以外の場合（ステップ３０５でＮｏ）、残差予測フラグの復号は省略され、res_pred_flag＝０へ設定される（Ｓ３０９に遷移）。上記所定条件（残差予測が利用可能な状態であるか）を満たすか否かとは、具体的には、（１）〜（３）の条件に関して、各条件の判定式の値をret1, ret2, ret3とすると、例えば、以下の条件（ａ）〜（ｃ）の何れかを満たすことである。なお、retXの値が１の場合を真、０の場合を偽と解釈する。
（１）対象レイヤの現画像と対応する同時刻（poc）の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に存在するか否か
（２）対象レイヤの当該ＰＵにおいて、参照画像利用リストフラグpredFlagL0が１の場合、参照画像リストＬ０と参照画像インデックスRefIdxL0から定まる対象レイヤの参照画像と対応する同時刻(poc)の参照レイヤの復号画像が存在する否か
（３）対象レイヤの当該ＰＵにおいて、参照画像利用リストフラグpredFlagL1が１の場合、参照画像リストＬ１と参照画像インデックスRefIdxL1から定まる対象レイヤの参照画像と対応する同時刻(poc)の参照レイヤの復号画像が存在する否か
ここで、pocとは、ピクチャ順序番号(Picture Ordering Count)を表わし、復号画像の表示時刻に関連するパラメータである。
（ａ）インター予測識別子inter_pred_idcがＬ０予測である場合、残差予測Ｌ０予測有効フラグres_predL0_enable_flagを以下の式で導出する。
res_predL0_enable_flag = ret1 && ( ret2 ) ?
・・・条件（１）を満たし、かつ、条件（２）を満たすか否か。
（ｂ）インター予測識別子inter_pred_idcがＬ１予測である場合、残差予測Ｌ１予測有効フラグres_predL1_enable_flagを以下の式で導出する。
res_predL1_enable_flag = ret1 && ( ret3 ) ?
・・・条件（１）を満たし、かつ、条件（３）を満たすか否か。

（ｃ）インター予測識別子inter_pred_idcが双予測である場合、残差予測双予測有効フラグres_predBI_enable_flagを以下の式で導出する。

res_predBI_enable_flag= ret1 && ( ret2 && ret3) ?
・・・条件（１）を満たし、かつ条件（２）を満たし、かつ条件（３）を満たすか否か。なお、双予測に関しては、条件（ｃ）の代わりに条件（ｄ）を用いてもよい。
（ｄ）res_predBI_enable_flag= ret1 && ( ret2 || ret3 ) ?
・・・条件（１）を満たし、かつ、条件（２）または条件（３）の何れかを満たすか否か。

以下、（１）〜（３）の条件に関して、図２３（ａ）〜（ｃ）を用いて説明する。図２３（ａ）は、対象レイヤの現画像CurPicEL、参照画像RefPicEL、及び対象レイヤの現ピクチャCurPicELと対応する同時刻の参照レイヤの現ピクチャCurPicBL、参照レイヤの参照ピクチャRefPicELと対応する同時刻の参照レイヤの参照ピクチャRefPicBLを表わす。なお、図２３（a）において、参照レイヤにおいて、点線で表現された画像（poc=6, 8, 10）は、符号化／復号されない画像を表わす。また、図２３（ｂ）は、対象レイヤのピクチャバッファ上にある復号画像、または現画像の復号画像の一例を表わす。idx=0は、現画像CurPicELの復号画像を表わし、idx=1〜4は、それぞれ対象レイヤにおいて、poc=8, 7, 6, 1の復号画像である。また、図２３（ｃ）は、参照レイヤのピクチャバッファにある復号画像、または現画像の復号画像の一例を表わす。idx=0は、現画像CurPicBLの復号画像を表わし、idx=1〜4は、それぞれ参照レイヤにおいて、poc=7, 5, 3, 1の復号画像である。

まず、条件（１）に関して、対象レイヤの現画像CurPicELのpocがCurPocの場合、参照レイヤのピクチャバッファ上に、対応する同時刻(poc==curPoc)となる復号画像CurPicBLがあるか判定する。判定式は、例えば、以下の式により判定する。

RefLayerPocExist(CurPoc) ?
ここで、RefLayerPocExist( X )は、対象レイヤのあるpoc=Xと対応する参照レイヤの復号画像が、参照レイヤのピクチャバッファ上にある場合に１を返し、存在しない場合は０を返す関数である。例えば、図２３（a）において、対象レイヤの現画像CurPicELのpocが9である場合、図２３（c）において、参照レイヤのピクチャバッファ上に対応する同時刻(poc=9)が存在するため、判定式RefLayerPocExist(CurPoc=9)の戻り値は１となる。従って、対象レイヤの現画像CurPicELと対応する参照レイヤの復号画像CurPicBLが存在すると判定される。

続いて、条件（２）〜（３）に関して、対象レイヤの参照画像リスト利用フラグpredFlgLXが１の場合、参照画像リストＬＸと参照画像インデックスrefIdxLXから定まる参照画像RefPicELのpoc(=RefPicPoc(LX, refIdxLX))と対応する同時刻の参照レイヤの復号画像RefPicBLが、参照レイヤのピクチャバッファ上にあるかを以下の式により求める。

RefLayerPocExist( RefPicPoc( LX, refIdxLX ) ) ?
ここで、RefPicPoc( LX, refIdxLX )は、参照画像リストLX上の参照画像インデックスrefIdxLXにより指定される参照画像のpocを返す関数である。なお、条件（２）の場合は、LXをL0へ置き換えて解釈し、条件（３）の場合は、LXをL1へ置き換えて解釈するものとする。例えば、図２３（ａ）において、対象レイヤの参照画像リストLXとrefIdxLXから定まる参照画像refPicELのpoc(=RefPicPoc( LX, refIdxLX) )が8であるとする。この場合、図２３（c）において、参照レイヤのピクチャバッファ上に対応する同時刻(poc=8)が存在しないため、判定式RefLayerPocExist( 8 )の戻り値は０となる。従って、対象レイヤの参照画像RefPicELと対応する参照レイヤの復号画像RefPicELは存在しないと判断される。

以上、インター予測識別子inter_pred_idcが示す予測モード（Ｌ０予測、Ｌ１予測、双予測）毎に、残差予測を利用可能な状態であるかを判定することで、明示的に残差予測フラグを復号するか否かを制御することが可能である。従って、残差予測を利用できない場合は、残差予測フラグの復号を省略することができるため、残差予測フラグの復号に係る処理量を削減することができる。

（Ｓ３０６）残差予測フラグres_pred_flagを復号する。

（Ｓ３０７）残差予測フラグres_pred_flagが１であるかを判定する。残差予測フラグが１である場合（Ｓ３０７でＹｅｓ）、残差予測重み係数インデックスを復号へ遷移する（Ｓ３０８へ遷移）。それ以外の場合は、Ｓ３０９へ遷移する。

（Ｓ３０８）残差予測重み係数インデックスres_pred_weight_idxを復号する。残差予測重み係数インデックスと対応する重み係数をres_pred_weightへ設定する。

（Ｓ３０９）ＰＵ単位のループの終端である。

（Ｓ３１０）ＣＵ単位のループの終端である。

以上の構成の可変長復号部１２によれば、インター予測識別子inter_pred_idcが示す予測モード（Ｌ０予測、Ｌ１予測、双予測）毎に、残差予測を利用可能な状態であるかを、以下の（１）〜（３）の条件に基づいて判定することで、明示的に残差予測フラグを復号するか否かを制御することが可能である。従って、残差予測を利用できない場合は、残差予測フラグの復号を省略することができるため、残差予測フラグの復号に係る処理量を削減することができる。
（１）対象レイヤの現画像と対応する同時刻の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に存在するか否か
（２）対象レイヤの当該ＰＵにおいて、参照画像利用リストフラグpredFlagL0が１の場合、参照画像リストＬ０と参照画像インデックスRefIdxL0から定まる対象レイヤの参照画像と対応する同時刻の参照レイヤの復号画像が存在する否か
（３）対象レイヤの当該ＰＵにおいて、参照画像利用リストフラグpredFlagL1が１の場合、参照画像リストＬ１と参照画像インデックスRefIdxL1から定まる対象レイヤの参照画像と対応する同時刻の参照レイヤの復号画像が存在する否か
＜残差予測情報の符号化データ上の構成＞
図２４は、可変長復号部１２で復号される符号化データの構成の予測単位の符号化データ部分（図３の予測情報ＰＩｎｆｏに対応）を示す図である。

本例では、残差予測情報が、ＰＵごとに符号化される。図２４に示す通り、符号化データの予測単位の符号化データは、図２４のＳＹＮ１Ａで示される動き補償パラメータ（マージインデックスmerge_idx、マージフラグmerge_flag、インター予測識別子inter_pred_idc、参照画像インデックスref_idx_l0、ref_idx_l1、推定動きベクトルインデックスmvp_l0_flag、mvp_l1_flag、動きベクトル残差mvd_coding）と、ＳＹＮ２Ａで示される該ＰＵに対応する残差予測情報（残差予測フラグres_pred_flag, 残差予測重み係数インデックスres_pred_weight_idx）から構成される。図２４のように、予測単位の符号化データでは、動き補償パラメータ、残差予測情報の順に符号化を配置する。この順序で配置することにより、予測単位ごとの動き報償パラメータの値に応じて、残差予測を適用するか否かを表わす残差予測フラグを明示的に復号するか否かを制御することが可能である。ＳＹＮ２Ａに次の判定がある。

res_pred_enable_flag &&
( ( inter_pred_idc[x0][y0]==Pred_L0 && res_predL0_enable_flag) ||
( inter_pred_idc[x0][y0]==Pred_L1 && res_predL1_enable_flag) ||
( inter_pred_idc[x0][y0]==Pred_BI && res_predBI_enable_flag) ) ?
本判定は、該ＰＵのインター予測識別子inter_pred_idcが示す予測モード（Ｌ０予測、Ｌ１予測、双予測）において、残差予測が利用可能な状態であるか否かの判定であり、図２２のＳ３０５の判定に相当する。

以上の符号化構造では、残差予測が利用可能な状態である場合のみ、残差予測情報（残差予測フラグres_pred_flag、残差予測重み係数インデクスres_pred_weight_idx）が含まれ、それ以外の場合は、残差予測情報は含まれない。従って、該ＰＵ単位において、残差予測が利用可能な状態のときのみ、残差予測情報が符号化されるため、残差予測情報の符号量を低減する効果が得られる。

＜可変長復号部１２の変形例１＞
上述の＜可変長復号部１２の詳細＞では、図２２のステップＳ３０５において、残差予測有効フラグ(res_pred_enable_flag)が１であるか否かと、所定条件（残差予測が利用可能な状態であるか）を満たすか否かに基づいて、残差予測情報を復号するか否かを判定しているが、これに限定されない。例えば、図３１に示すフロー図のように、ステップＳ３０５をステップＳ３２１とステップＳ３２２に置き換えてもよい。以下、図３１、及び図３２を用いて、可変長復号部１２の変形例１において、残差予測情報を含む符号化データを復号する動作について説明する。なお、図３１において、ステップＳ３０１〜ステップＳ３０４、ステップＳ３０６〜ステップ３１０は、図２２の各ステップと同一であるため、説明を省略し、ステップＳ３２１、ステップＳ３２２について説明する。

（Ｓ３２１）続いて、本ＰＵにおいて、残差予測利用可フラグ(ResPredAvailableFlag)を導出する。残差予測利用可フラグとは、本ＰＵにおいて、残差予測情報を復号するか否かを制御するフラグである。残差予測利用可フラグの導出については、後述する。

（Ｓ３２２）残差予測利用可フラグ（ResPredAvaiableFlag）の値が１であるか否かを判定する。残差予測利用可フラグが１である場合（ステップＳ３２２においてＹｅｓ）、
残差予測フラグを復号へ遷移する（Ｓ３０６に遷移）。それ以外の場合、すなわち、残差予測利用可フラグが０である場合（ステップ３２２でＮｏ）、残差予測フラグの復号は省略され、res_pred_flag＝０へ設定される（Ｓ３０９に遷移）。

以上、可変長復号装置１２の変形例１によれば、残差予測利用可フラグに基づいて、残差予測情報を明示的に復号するか否かを制御することが可能である。従って、残差予測利用可フラグが、残差予測情報を復号しないことを示す場合、残差予測情報に係る復号を省略することができるため、残差予測情報の復号に係る処理量を削減することができる。

＜残差予測利用可フラグの導出について＞
図３３を用いて、残差予測利用可フラグの導出について説明する。図３３は、可変長復号部１２の変形例１、および後述の可変長符号化装置２５の変形例１における残差予測利用可フラグの導出の動作を示すフローチャートである。

（Ｓ３０５−１）対象レイヤのレイヤ識別子（layer_id）が０より大きいか否かを判定する。なお、レイヤ識別子layer_idの値が０の場合は、対象レイヤが基本レイヤであることを示し、レイヤ識別子layer_idの値が０より大きい場合は、対象レイヤが拡張レイヤであることを示す。レイヤ識別子layer_idが０より大きい場合（ステップＳ３０５−１においてＹｅｓ）、ステップＳ３０５−２へ遷移する。それ以外の場合（ステップＳ３０５−１においてＮｏ）、ステップＳ３０５−５へ遷移する。

（Ｓ３０５−２）残差予測有効フラグ(res_pred_enable_flag)が１であるか否かを判定する。残差予測有効フラグが１の場合（ステップ３０５−２でＹｅｓ）、ステップＳ３０５−３へ遷移する。残差予測有効フラグが０の場合、ステップＳ３０５−５へ遷移する。

（Ｓ３０５−３）所定条件ＡＸを満たすか否かを判定する。所定条件ＡＸを満たす場合（ステップＳ３０５−３においてＹｅｓ）、ステップ３０５−４へ遷移する。所定条件ＡＸを満たさない場合、ステップ３０５−５へ遷移する。

（Ｓ３０５−４）残差予測利用可フラグ(ResPredAvailableFlag)を１へ設定する。

（Ｓ３０５−５）残差予測利用可フラグ(ResPredAvailableFlag)を０へ設定する。

ステップ３０５−３において、所定条件ＡＸとは、例えば、以下に示す（Ａ１）〜（Ａ６）に示す条件である。
（Ａ１）処理対象の予測単位（ＰＵ）のサイズが所定サイズより大きいか否か
（Ａ２）処理対象の予測単位を含むＣＵのサイズが所定サイズ以上であるか否か
（Ａ３）処理対象の予測単位を含むＣＵのＰＵ分割タイプが２Ｎ×２Ｎであるか否か
（Ａ４）処理対象の予測単位のインター予測が単予測であるか否か
（Ａ５）処理対象の予測単位の予測モードがスキップモード、またはマージモードであるか否か
（Ａ６）処理対象の予測単位の参照画像が所定条件を満たすか否か
以下では、各所定条件Ａ１〜Ａ６の詳細について説明する。

（所定条件Ａ１について）
図３４は、残差予測利用可フラグを導出する所定条件として、「当該予測単位のサイズが所定サイズより大きいか否か」を含める場合を示すフローチャートである。この場合、図３４のステップＳ３０５−３ａにおいて、当該予測単位のサイズが所定サイズより大きいか否かを、例えば、ＰＵサイズの縦幅ｐＨと、横幅ｐＷに基づいて、以下の判定式により判断する。

pH + pW > TH_PUSIZE ?
すなわち、上記判定式が“真”を示す場合（当該予測単位のＰＵサイズの縦幅pHと横幅pWの和が所定閾値より大きい場合）（ステップＳ３０５−３ａにおいてＹｅｓ）、ステップＳ３０５−４へ遷移し、残差予測利用可フラグを１へ設定する。また、上記判定式が“偽”を示す場合（当該予測単位のＰＵサイズの縦幅pHと横幅pWの和が所定閾値以下である場合）（ステップＳ３０５−３ａにおいてＮｏ）、ステップＳ３０５−５へ遷移し、残差予測利用可フラグを０へ設定する。

なお、ステップＳ３０５−３ａからステップＳ３０５−４へ遷移する前に、所定条件ＡＸの追加の判定として、所定条件Ａ１を除く所定条件Ａ１〜Ａ６のいずれかの判定処理へ遷移する構成としてもよい。ここで、所定閾値TH_PUSIZEの具体例としては、１６と設定することが好ましい。例えば、最大ＣＵサイズが６４ｘ６４（Log2MaxCbSizeY = 6 ）、最小ＣＵサイズが８ｘ８であるとすると、図４２に示すように、ＰＵの縦幅pHと横幅pWの和が１６以下となる予測単位（PUサイズ：8x8, 8x4, 4x8）に関して、残差予測が制限される（残差予測をOFF）。すなわち、小サイズの予測単位に関して、残差予測の適用を制限する。なお、上記判定式(pH + pW > TH_PUSIZE?)に代わりに、以下の判定式によって判定してもよい。

(pH > TH_PUSIZE) || (pW > TH_PUSIZE) ?
すなわち、上記判定式が“真”を示す場合（当該予測単位のＰＵサイズの縦幅pH、または横幅pWが所定閾値より大きい場合）（ステップＳ３０５−３ａにおいてＹｅｓ）、ステップＳ３０５−４へ遷移し、残差予測利用可フラグを１へ設定する。また、上記判定式が“偽”を示す場合（当該予測単位のＰＵサイズの縦幅pH、または横幅pWが所定閾値以下である場合）（ステップＳ３０５−３ａにおいてＮｏ）、ステップＳ３０５−５へ遷移し、残差予測利用可フラグを０へ設定する。この場合、閾値TH_PUSIZEを８と設定すれば、ＰＵの縦幅pH、または横幅pWが８以下となる予測単位（PUサイズ：8x8, 8x4, 4x8）に関して、残差予測が制限される（残差予測をOFF）。

一般的に、インター予測において、小サイズの予測単位（ＰＵ）は、大サイズのＰＵに比べて単位面積あたりの処理量が大きい。従って、小サイズのＰＵにおいて残差予測を適用することは処理のボトルネックを招くことにとなりうる。このため、小サイズのＰＵでは、残差予測を抑制することで、処理量が過度に増大することを抑えることができる。特に、最も小さいサイズのＰＵを処理するような最悪ケースの処理量を抑制することができる。従って、ＰＵサイズが所定閾値より大きいときのみに残差予測のＯＮ／ＯＦＦ制御するように制限する（それ以外は、残差予測をＯＦＦ）ことによって、所定閾値以下のＰＵサイズとなる予測単位に関して最悪ケースの処理量を削減することができる。また、実験から、例えば、ＰＵサイズ＝８ｘ８、４ｘ８、８ｘ４となるＰＵにおいて、残差予測をＯＦＦとするように制限しても、残差予測により得られる符号化効率の改善幅の低下は少ないことが分かっている。また、階層動画像復号装置１は、ＰＵサイズが所定閾値より大きいときのみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを復号するため、ＰＵサイズが所定閾値以下の場合において残差予測に係る予測パラメータのシンタックスの復号に係る処理量を削減することが可能である。

以上、階層動画像符号化装置２は、ＰＵサイズが所定閾値より大きいときのみに残差予測のＯＮ／ＯＦＦ制御するように制限する（それ以外は、残差予測をＯＦＦ）ことによって、所定閾値以下のＰＵサイズの予測単位に関して最悪ケースの処理量を削減することができる。また、階層動画像符号化装置２は、ＰＵサイズが所定閾値より大きいときのみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを符号化するため、ＰＵサイズが所定閾値以下の場合において残差予測に係る予測パラメータのシンタックスの符号化に係る処理量、および符号量を削減することが可能である。

また、残差予測を制限するＰＵサイズの閾値を単予測、双予測毎に設定してもよい。例えば、インター予測識別子inter_pred_idcと、ＰＵの縦幅ｐＨ、横幅ｐＷ、第１の閾値TH_PUSIZE1と第２の閾値TH_PUSIZE2を用いて、以下の判定式によって判定する。

( (inter_pred_idc == Pred_L0 || inter_pred_idc == pred_L1) && ( pH + pW > TH_PUSIZE1) ) ||
( (inter_pred_idc == Pred_BI) && ( pH + pW > TH_PUSIZE2 ) ) ?
上記判定式において、(inter_pred_idc == Pred_L0 || inter_pred_idc == pred_L1) && ( pH + pW > TH_PUSIZE1)の部分が“真”となる場合（当該予測単位の予測モードが単予測であり、かつ、当該予測単位のＰＵサイズの縦幅pHと横幅pWの和が第１の閾値より大きい場合）、または、上記判定式の(inter_pred_idc == Pred_BI) && ( pH + pW > TH_PUSIZE2)の部分が“真”となる場合（当該予測単位の予測モードが双予測であり、かつ、当該予測単位のＰＵサイズの縦幅pHと横幅pWの和が第２の閾値より大きい場合）、ステップＳ３０５−４へ遷移し、残差予測利用可フラグを１へ設定する。それ以外の場合、ステップＳ３０５−５へ遷移し、残差予測利用可フラグを０へ設定する。ここで、第２の閾値TH_PUSIZE2の値は、第１の閾値TH_PUSIZE1の値以上に設定することが好ましい。例えば、第１の閾値TH_PUSIZE1を１２へ設定し、第２の閾値TH_PUSIZE2を１６へ設定することが好ましい。例えば、最大ＣＵサイズが６４ｘ６４（Log2MaxCbSizeY = 6 ）、最小ＣＵサイズが８ｘ８であるとすると、図４２に示すように、単予測の場合、ＰＵの縦幅pHと横幅pWの和が１２以下となる予測単位（PUサイズ： 8x4, 4x8）に関して、残差予測が制限される（残差予測をOFF）。また、双予測の場合、ＰＵの縦幅pHと横幅pWの和が１６以下となる予測単位（PUサイズ：8x8, 8x4, 4x8）に関して、残差予測が制限される。すなわち、小サイズの予測単位に関して、残差予測の適用を制限する。なお、閾値は、(TH_PUSIZE1,TH_PUSIZE2) = (12,16)に限定されず、以下の条件を満たすように各閾値の値を設定してもよい。

TH_PUSIZE1⊂｛12, 16, 20, 24, 28, 32, 48, 64｝、かつ、TH_PUSIZE2⊂｛12, 16, 20, 24, 28, 32, 48, 64｝、かつ、TH_PUSIZE1≦TH_PUSIZE2
一般的に、インター予測において、小サイズの予測単位（ＰＵ）は、大サイズのＰＵに比べて単位面積あたりの処理量が大きい。従って、小サイズのＰＵにおいて残差予測を適用することは処理のボトルネックを招くことにとなりうる。また、双予測は、単予測と比較して、Ｌ０予測画像、Ｌ１予測画像を生成する必要があるため、処理が複雑である。さらに、双予測において、残差予測を実施する場合、各ＬＸ予測画像に対応する参照レイヤからの推定残差（残差画像）を生成する必要があるため、単予測において、残差予測を実施する場合に比べて、処理がさらに複雑となり、処理のボトルネックを招くことになりうる。従って、小サイズのＰＵでは、残差予測を抑制することで、処理量が過度に増大することを抑えることができる。特に、単予測の場合、ＰＵサイズが第１の閾値より大きいときのみに残差予測のＯＮ／ＯＦＦ制御するように制限し、双予測の場合、ＰＵサイズが第２の閾値より大きいときのみ残差予測のＯＮ／ＯＦＦ制御するように制限することによって、各予測モード毎（単予測、双予測毎）における残差予測による符号化効率の改善幅の低下を抑えつつ、小さいサイズのＰＵを処理するような最悪ケースの処理量を抑制することができる。また、階層動画像復号装置１は、単予測の場合、ＰＵサイズが第１の閾値より大きいときのみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを復号するため、ＰＵサイズが第１の閾値以下の場合において残差予測に係る予測パラメータのシンタックスの復号に係る処理量を削減し、双予測の場合、ＰＵサイズが第２の閾値より大きいときのみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを復号するため、ＰＵサイズが第２の閾値以下の場合において残差予測に係る予測パラメータのシンタックスの復号に係る処理量を削減することが可能である。

以上、階層動画像符号化装置２は、単予測の場合、ＰＵサイズが第１の閾値より大きいときのみ、残差予測のＯＮ／ＯＦＦ制御するように制限し、双予測の場合、ＰＵサイズが第２の閾値より大きいときのみに残差予測のＯＮ／ＯＦＦ制御するように制限することによって、各予測モード毎（単予測、双予測毎）に、所定閾値以下のＰＵサイズの予測単位に関して最悪ケースの処理量を削減することができる。また、階層動画像符号化装置２は、単予測の場合、ＰＵサイズが第１の閾値より大きいときのみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを符号化するため、ＰＵサイズが第１の閾値以下の場合において残差予測に係る予測パラメータのシンタックスの符号化に係る処理量を削減し、双予測の場合、ＰＵサイズが第２の閾値より大きいときのみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを符号化するため、ＰＵサイズが第２の閾値以下の場合において残差予測に係る予測パラメータのシンタックスの符号化に係る処理量、および符号量を削減することが可能である。

（所定条件Ａ２について）
図３５は、残差予測利用可フラグを導出する所定条件として、「当該予測単位の属するＣＵのサイズが所定サイズ以上である否か」を含める場合を示すフローチャートである。この場合、図３５のステップＳ３０５−３ｂにおいて、当該予測単位の属するＣＵのサイズが所定サイズ以上であるか否かを、例えば、ＣＵサイズを示すlog2CbSizeに基づいて、以下の判定式により判断する。

log2CbSize>=TH_Log2CbSize ?
すなわち、上記判定式が“真”を示す場合（当該予測単位の属するＣＵのサイズが所定閾値以上である場合）（ステップＳ３０５−３ｂにおいてＹｅｓ）、ステップＳ３０５−４へ遷移し、残差予測利用可フラグを１へ設定する。また、上記判定式が“偽”を示す場合（ステップＳ３０５−３ｂにおいてＮｏ）、ステップＳ３０５−５へ遷移し、残差予測利用可フラグを０へ設定する。なお、ステップＳ３０５−３ｂからステップＳ３０５−４へ遷移する前に、所定条件ＡＸの追加の判定として、所定条件Ａ２を除く所定条件Ａ１〜Ａ６のいずれかの判定処理へ遷移する構成としてもよい。

ここで、log2CbSizeは、ＣＵサイズの対数表現であり、例えば、CUサイズ６４ｘ６４、３２ｘ３２、１６ｘ１６、８ｘ８の場合、それぞれ、６、５、４、３の値に対応する。また、閾値TH_Log2CbSizeの具体例としては、例えば、４を設定することが好ましい。上記設定の場合、ＣＵサイズ６４ｘ６４、３２ｘ３２、１６ｘ１６であるＣＵに属する予測単位に関しては、残差予測のＯＮ／ＯＦＦ制御を実行し、ＣＵサイズ８ｘ８であるＣＵに属する予測単位に関しては、残差予測をＯＦＦとする。なお、閾値TH_Log2CbSizeは４に限定されず、５としてもよい。なお、ＣＵサイズを示すlog2CbSizeの代わりに、ＣＵの横幅ｗＣＵ、または、縦幅ｈＣＵに基づいて、以下の判定式によって判断してもよい。

wCU >= (1<<TH_Log2CbSize) ?
また、閾値TH_Log2CbSizeは、輝度の最小ＣＵサイズを規定するLog2MinCbSizeYの値に設定してもよい。なお、Log2MinCbSizeYは、以下の式により導出される。
Log2MinCbSizeY = log2_min_luma_coding_block_size_minus3 + 3
ここで、log2_min_luma_coding_block_size_minus3は、輝度の最小ＣＵサイズの対数値−３の値を示し、シーケンスパラメータセット等のパラメータセットに含まれる。なお、CＵサイズを示すlog2CbSizeの代わりに、当該予測単位の属するＣＵを含む符号化ツリーブロックＣＴＢの分割の深度を示すcqtDepthに基づいて、以下の判定式によって判断してもよい。すなわち、ＣＵのcqtDepthが所定閾値TH_cqtDepthより小さいか否かを判定する。

cqtDepth < TH_cqtDepth ?
ここで、閾値TH_cqtDepthには例えば、輝度の最大ＣＵサイズの対数表現Log2MaxCbSizeYと輝度の最小ＣＵサイズの対数表現Log2MinCbSizeYを用いて、次のように設定してもよい。TH_cqtDepth = Max(0, Log2MaxCbSizeY - Log2MinCbSizeY - offset)
例えば、最大ＣＵサイズが６４ｘ６４（Log2MaxCbSizeY = 6 ）、最小ＣＵサイズが８ｘ８(Log2MinCbSizeY = 3)、offset = 0とすると、閾値TH_cqtDepthは３となる。この場合、図４２に示すように、cqtDepth＝3、つまり、ＣＵサイズが８ｘ８となるＣＵに属する予測単位（PUサイズ：8x8, 8x4, 4x8）に関して、残差予測が制限される（残差予測をOFF）。また、offset = 1とすると、TH_cqtDepthは２となり、cqtDepth=2、3となるＣＵ、つまり、ＣＵサイズが８ｘ８、１６ｘ１６となるＣＵに属する予測単位（PUサイズ：16x16,16x8,16x4,16x12,8x6,4x16,12x16,8x8,8x4,4x8）に関して、残差予測が制限される。すなわち、小サイズの予測単位に関して、残差予測の適用を制限する。

一般的に、インター予測において、小サイズの予測単位（ＰＵ）は、大サイズのＰＵに比べて単位面積あたりの処理量が大きい。従って、小サイズのＰＵにおいて残差予測を適用することは処理のボトルネックを招くことにとなりうる。このため、小サイズのＰＵでは、残差予測を抑制することで、処理量が過度に増大することを抑えることができる。特に、最も小さいサイズのＰＵを処理するような最悪ケースの処理量を抑制することができる。従って、ＣＵサイズが所定サイズ以上のときのみに残差予測のＯＮ／ＯＦＦ制御するように制限する（それ以外は、残差予測をＯＦＦ）ことによって、所定サイズ未満のＣＵサイズのＣＵに属する予測単位に関して最悪ケースの処理量を削減することができる。また、実験から、例えば、ＣＵサイズ＝８ｘ８となるＣＵにおいて、残差予測をＯＦＦとするように制限しても、残差予測により得られる符号化効率の改善幅の低下は少ないことが分かっている。また、階層動画像復号装置１は、ＣＵサイズが所定閾値以上のときのみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを復号するため、ＣＵサイズが所定閾値未満の場合において残差予測に係る予測パラメータのシンタックスの復号に係る処理量を削減することが可能である。

以上、階層動画像符号化装置２は、ＣＵサイズが所定サイズ以上のときのみに残差予測のＯＮ／ＯＦＦ制御するように制限する（それ以外は、残差予測をＯＦＦ）ことによって、所定サイズ未満のＣＵサイズのＣＵに属する予測単位に関して最悪ケースの処理量を削減することができる。また、また、階層動画像符号化装置２は、ＣＵサイズが所定閾サイズ以上のときのみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを符号化するため、ＣＵサイズが所定閾値未満の場合において残差予測に係る予測パラメータのシンタックスの符号化に係る処理量、及び符号量を削減することが可能である。

（所定条件Ａ３について）
図３６は、残差予測利用可フラグを導出する所定条件として、「当該予測単位の属するＣＵのＰＵ分割タイプが２Ｎ×２Ｎであるか否か」を含める場合のフローチャートである。この場合、図３６のステップＳ３０５−３ｃにおいて、当該予測単位の属するＣＵのＰＵ分割タイプが２Ｎ×２Ｎであるか否かを、例えば、PU分割タイプを示すPartModeに基づいて、以下の判定式により判断する。

PartMode==PART_2Nx2N ?
ここで、ＰＵ分割タイプPartMode(part_mode)の示す値は、図４３に示す通りである。すなわち、PART_2Nx2N、PART_2NxN、PART_2NxnU、PART_2NxnDは、それぞれＰＵ分割タイプとして、図４（ａ）に示す２Ｎｘ２Ｎ、図４（ｂ）に示す２ＮｘＮ、図４（ｃ）に示す２ＮｘｎＵ、図４（ｄ）に示す２ＮｘｎＤに対応し、PART_Nx2N、PART_nLx2N、PART_nRx2N、PART_NxNは、それぞれＰＵ分割タイプとして、図４（ｅ）に示すＮｘ２Ｎ、図４（ｆ）に示すｎＬｘ２Ｎ、図４（ｇ）に示すｎＲｘ２Ｎ、図４（ｈ）に示すＮｘＮに対応する。なお、インター予測の場合、ＮｘＮのＰＵ分割タイプはない。

すなわち、上記判定式が“真”を示す場合（当該予測単位の属するＣＵのＰＵ分割タイプが、２Ｎ×２Ｎである場合）（ステップＳ３０５−３ｃにおいてＹｅｓ）、ステップＳ３０５−４へ遷移し、残差予測利用可フラグを１へ設定する。また、上記判定式が“偽”を示す場合（ステップＳ３０５−３ｃにおいてＮｏ）、ステップＳ３０５−５へ遷移し、残差予測利用可フラグを０へ設定する。なお、ステップＳ３０５−３ｃからステップＳ３０５−４へ遷移する前に、所定条件ＡＸの追加の判定として、所定条件Ａ３を除く所定条件Ａ１〜Ａ６のいずれかの判定処理へ遷移する構成としてもよい。

一般的に、インター予測において、ＣＵ（符号化単位）のＰＵ分割タイプとして、２Ｎ×２Ｎの場合は、予測単位とＣＵが一致するため、ＣＵ単位あたり１個のインター予測画像を生成すればよい。一方、それ以外の分割タイプ（２ＮｘＮ、２ＮｘｎＵ、２ＮｘｎＤ、Ｎｘ２Ｎ、ｎＬｘ２Ｎ、ｎＲｘ２Ｎ）の場合、ＣＵに属する予測単位は２個であるため、ＣＵ単位当たりの２個のインター予測画像が生成する必要があるため、２Ｎ×２Ｎと比較して、インター予測画像を生成するために要する処理量が多い。さらに、残差予測を実施する場合、各予測単位毎に、各ＬＸ予測画像に対応する参照レイヤからの推定残差（残差画像）を生成する必要があるため、２Ｎ×２Ｎにおいて残差予測を実施する場合に比べて、それ以外のＰＵ分割タイプは、処理がさらに複雑となる。そこで、階層動画像復号装置１は、ＰＵ分割タイプが２Ｎ×２Ｎ時のみに残差予測のＯＮ／ＯＦＦ制御するように制限する（２Ｎ×２Ｎ以外のＰＵ分割タイプは、残差予測をＯＦＦ）ことによって、ＣＵ単位当たりの残差予測に係る処理量（推定残差を生成するために必要な動き補償に係る処理量）を削減することが可能である。また、実験から、残差予測をＰＵ分割タイプが２Ｎ×２Ｎ以外の時にＯＦＦとするように制限しても、残差予測により得られる符号化効率の改善幅の低下は少ないことが分かっている。また、階層動画像復号装置１は、ＰＵ分割タイプが２Ｎ×２Ｎ時のみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを復号するため、ＰＵ分割タイプが２Ｎ×２Ｎ以外の残差予測に係る予測パラメータのシンタックスの復号に係る処理量を削減することが可能である。

以上、階層動画像符号化装置２は、ＰＵ分割タイプが２Ｎ×２Ｎ時のみ、残差予測のＯＮ／ＯＦＦ制御を実施するように制限する（ＰＵ分割タイプが２Ｎ×２Ｎ以外は、常にＯＦＦ) ことで、ＣＵ単位当たりの残差予測に係る処理量（推定残差を生成するために必要な動き補償に係る処理量）を削減することが可能である。また、階層動画像符号化装置２は、ＰＵ分割タイプが２Ｎ×２Ｎ時のみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを符号化するため、ＰＵ分割タイプが２Ｎ×２Ｎ以外の残差予測に係る予測パラメータのシンタックスの符号化に係る処理量、及び符号量を削減することが可能である。

（所定条件Ａ４について）
図３７は、残差予測利用可フラグを導出する所定条件として、「当該予測単位のインター予測モードが単予測（Ｌ０予測、または、Ｌ１予測）であるか否か」を含める場合を示すフローチャートである。この場合、図３７のステップＳ３０５−３ｄにおいて、当該予測単位のインター予測モードが単予測であるか否かを、例えば、インター予測識別子に基づいて、以下の判定式により判断する。

(inter_pred_idc == Pred_L0 || inter_pred_idc == Pred_L1) ?
ここで、インター予測識別子inter_pred_idcの値が、Pred_LXである場合、ＬX予測（Ｘ＝０、１）であることを示し、Pred_BIの場合は双予測であることを示す。

すなわち、上記判定式が“真”を示す場合（当該予測単位のインター予測モードが、単予測である場合）（ステップＳ３０５−３ｄにおいてＹｅｓ）、ステップＳ３０５−４へ遷移し、残差予測利用可フラグを１へ設定する。また、上記判定式が“偽”を示す場合（ステップＳ３０５−３ｄにおいてＮｏ）、ステップＳ３０５−５へ遷移し、残差予測利用可フラグを０へ設定する。なお、ステップＳ３０５−３ｄからステップＳ３０５−４へ遷移する前に、所定条件ＡＸの追加の判定として、所定条件Ａ４を除く所定条件Ａ１〜Ａ６のいずれかの判定処理へ遷移する構成としてもよい。

なお、判定式として、インター予測識別子の代わりに、参照画像利用リストフラグpredFlagLＸ（Ｘ＝０，１）に基づいて、以下の判定式を用いて判定してもよい。
(predFlagL0 == 1 && predFlagL1 == 0) || (predFlagL0 == 0 && predFlagL1 == 1) ?
ここで、上記判定式において、(predFlagL0 == 1 && predFlagL1 == 0)が“真”の場合（参照画像リストフラグpredFlagL0が”真”かつ、参照画像利用リストフラグpredFlagL1が”偽”）は、Ｌ０予測であることを示し、(predFlagL0 == 0 && predFlagL1 == 1)が“真”の場合（参照画像リストフラグpredFlagL0が”偽”かつ、参照画像リストフラグpredFlagL1が”真”）は、Ｌ１予測であることを示す。

一般的に、インター予測において、双予測は、単予測と比較して双予測の場合、Ｌ０予測画像、Ｌ１予測画像を生成する必要があるため、処理が複雑である。さらに、双予測において、残差予測を実施する場合、各ＬX予測画像に対応する参照レイヤからの推定残差（残差画像）を生成する必要があるため、単予測において、残差予測を実施する場合に比べて、処理がさらに複雑となる。そこで、階層動画像復号装置１は、単予測時のみに残差予測のＯＮ／ＯＦＦ制御するように制限する（双予測時は、常にＯＦＦ）ことによって、双予測時の残差予測に係る処理量（推定残差を生成するために必要な動き補償に係る処理量）を削減することが可能である。また、実験から、残差予測を双予測時にＯＦＦとするように制限しても、残差予測により得られる符号化効率の改善幅の低下は少ない。また、階層動画像復号装置１は、単予測時のみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを復号するため、単予測以外（双予測）の残差予測に係る予測パラメータのシンタックスの復号に係る処理量を削減することが可能である。

以上、階層動画像符号化装置２は、単予測時のみ、残差予測のＯＮ／ＯＦＦ制御を実施するように制限する（双予測時は、常にＯＦＦ) ことで、残差予測を試行すべき動き補償パラメータの候補数を単予測のみへ削減することができるため、推定残差を生成するために実施する動き補償の試行回数を削減することが可能である。また、階層動画像符号化装置２は、単予測時のみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを符号化するため、単予測以外（双予測）の残差予測に係る予測パラメータのシンタックスの符号化に係る処理量、及び符号量を削減することが可能である。

（所定条件Ａ５について）
図３８は、残差予測利用可フラグを導出する所定条件として、「当該予測単位の予測モードが、スキップモード、または、マージモードであるか否か」を含める場合を示すフローチャートである。この場合、図３８のステップＳ３０５−３ｅにおいて、当該予測単位の予測モードが、スキップモード、または、マージモードであるか否かを、以下の判定式により判断する。

(skip_flag == 1 || merge_flag == 1) ?
ここで、skip_flagは、当該予測単位の予測モードがスキップモードであるか否かを示すフラグであり、フラグの値が“真”を示す場合、スキップモードであることを示し、フラグの値が“偽”の場合、スキップモードでないことを示す。また、merge_flagは、当該予測単位の予測モードがマージモードであるか否かを示すフラグであり、フラグの値が“真”を示す場合、マージモードであること示し、フラグの値が“偽”の場合、マージモードではない（通常のインター予測）であることを示す。

すなわち、上記判定式が“真”を示す場合（当該予測単位の予測モードが、スキップモード、または、マージモードである場合）（ステップＳ３０５−３ｅにおいてＹｅｓ）、ステップＳ３０５−４へ遷移し、残差予測利用可フラグを１へ設定する。
また、上記判定式が“偽”を示す場合（ステップＳ３０５−３ｅにおいてＮｏ）、ステップＳ３０５−５へ遷移し、残差予測利用可フラグを０へ設定する。
なお、ステップＳ３０５−３ｅからステップＳ３０５−４へ遷移する前に、所定条件ＡＸの追加の判定として、所定条件Ａ５を除く所定条件Ａ１〜Ａ６のいずれかの判定処理へ遷移する構成としてもよい。なお、上記条件の代わりに、スキップフラグ、または、マージフラグの何れか一方に基づいて判定してもよい。

一般的に、インター予測において、統計的に、スキップモード、または、マージモードが選択される確率が高いため、残差予測をスキップモード、または、マージモードに制限しても、残差予測により得られる符号化効率の改善幅の低下は少ない。すなわち、階層動画像復号装置１は、スキップモード、または、マージモードのときのみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを復号するため、スキップモード、または、マージモード以外（通常のインター予測時）の残差予測に係る予測パラメータのシンタックスの復号に係る処理量を削減することが可能である。

以上、階層動画像符号化装置２は、スキップモード、または、マージモードのときのみ、残差予測のＯＮ／ＯＦＦ制御を実施するように制限する（通常のインター予測時は、ＯＦＦ）ことで、残差予測を試行すべき動き補償パラメータの候補数を削減することができるため、推定残差を生成するために実施する動き補償の試行回数を削減することが可能である。例えば、スキップモード、または、マージモードの場合、探索すべき動き補償パラメータの候補の最大数は、MaxNumMergeCand(＜＝５）個である。なお、MaxNumMergeCandは、以下のように設定される。

MaxNumMergeCand = 5 - five_minus_max_num_merge_cand
ここで、five_minus_max_num_merge_candは、マージ候補の最大数を示すシンタックスであり、スライスヘッダ、ピクチャパラメータセット、シーケンスパラメータセット等のパラメータセットにおいて、復号／符号化される。また、階層動画像符号化装置２は、スキップモード、または、マージモードのときのみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを符号化するため、スキップモード、または、マージモード以外（通常のインター予測時）の残差予測に係る予測パラメータのシンタックスの符号化に係る処理量、および符号量を削減することが可能である。

（所定条件Ａ６について）
図３９は、残差予測利用可フラグを導出する所定条件として、「当該予測単位の参照画像が所定条件を満たすか否か」を含める場合を示すフローチャートである。この場合、図３９のステップＳ３０５−３ｆにおいて、「当該予測単位の参照画像が所定条件を満たすか否か」をインター予測識別子inter_prd_idcと各refIdxLXに基づいて、以下の判定式により判断する。
(inter_pred_idc == Pred_L0 && refIdxL0 == 0) ||
(inter_pred_idc == Pred_L1 && refIdxL1 == 0) ||
(inter_pred_idc == Pred_BI && refIdxL0 == 0 && refIdxL1 == 0) ?
ここで、上記判定式において、(inter_pred_idc == Pred_L0 && refIdxL0 ==0)が”真”であることは、「Ｌ０予測であり、参照画像インデックスRefIdxL0が０である」ことを示し、(inter_pred_idc == Pred_L1 && refIdxL1 ==0)が”真”であることは、「Ｌ1予測であり、参照画像インデックスRefIdxL1が０である」ことを示し、(inter_pred_idc == Pred_BI && refIdxL0 ==0 && refIdxL1 == 0)が”真”であることはの場合、「双予測であり、参照画像インデックスRefIdxL0、RefIdxL1が共に０である」ことを示す。

すなわち、上記判定式が“真”を示す場合（ステップＳ３０５−３ｆにおいてＹｅｓ）、ステップＳ３０５−４へ遷移し、残差予測利用可フラグを１へ設定する。また、上記判定式が“偽”を示す場合（ステップＳ３０５−３ｆにおいてＮｏ）、ステップＳ３０５−５へ遷移し、残差予測利用可フラグを０へ設定する。なお、ステップＳ３０５−３ｆからステップＳ３０５−４へ遷移する前に、所定条件ＡＸの追加の判定として、所定条件Ａ６を除く所定条件Ａ１〜Ａ６のいずれかの判定処理へ遷移する構成としてもよい。なお、上記判定式において、Ｌ０予測、Ｌ１予測、双予測の識別に、インター予測識別子の代わりに、参照画像利用リストフラグpredFlagLX(X=0,1)を用いてもよい。すなわち、以下の判定式を用いてもよい。
(predFlagL0==1 && predFlagL1==0 && refIdxL0 == 0) ||
(predFlagL0==1 && predFlagL1==0 && refIdxL1 == 0) ||
(predFlagL0==1 && predFlagL1==1 && refIdxL0 == 0 && refIdxL1 == 0) ?
一般的に、インター予測において、統計的に、動き補償パラメータとして、参照画像インデックスrefIdxLX==0となる参照画像が選択される確率が非常に高い。従って、インター予測において、参照画像インデックスrefIdxLX=０（Ｘ＝０、１）となる参照画像を参照する場合のみ、残差予測の適用を制限しても、残差予測により得られる符号化効率の改善幅の低下は少ない。従って、階層動画像復号装置１は、符号化効率を維持しつつ、推定残差を生成するために参照する参照レイヤの参照画像を、拡張レイヤの参照画像インデックスrefIdxLX=0と対応する時刻の参照画像へ制限するため、拡張レイヤのピクチャバッファにおいて、保持すべき参照レイヤの参照画像数を削減することが可能である。つまり、残差予測のために保持すべき参照レイヤの参照画像に係るメモリ量を削減することが可能である。また、階層動画像復号装置１は、参照画像インデックスrefIdxLX=０となるときのみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを復号するため、参照画像インデックスrefIdxLX＝０以外（refIdxLX!=0）の残差予測に係る予測パラメータのシンタックスの復号に係る処理量を削減することが可能である。

以上、階層動画像符号化装置２は、参照画像インデックスrefIdxLX=0(X=0,1)となる参照画像が選択される場合のみ、残差予測のＯＮ／ＯＦＦ制御を実施するように制限することで、残差予測を試行すべき動き補償パラメータとして、参照画像の候補数を削減することができるため、推定残差を生成するために実施する動き補償の試行回数を削減することが可能である。例えば、単予測の場合、参照画像は１枚へ制限され、双予測の場合、参照画像は２枚以下へ制限される。双予測の場合、参照画像インデックスrefIdxL0とrefIdxL1は、それぞれ同一の時刻の参照画像を示していてもよい。また、階層動画像符号化装置２は、符号化効率を維持しつつ、推定残差を生成するために参照する参照レイヤの参照画像を、拡張レイヤの参照画像インデックスrefIdxLX=0と対応する時刻の参照画像へ制限するため、拡張レイヤのピクチャバッファにおいて、保持すべき参照レイヤの参照画像数を削減することが可能である。つまり、残差予測のために保持すべき参照レイヤの参照画像に係るメモリ量を削減することが可能である。また、階層動画像符号化装置２は、参照画像インデックスrefIdxLX=０となるときのみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを符号化するため、参照画像インデックスrefIdxLX＝０以外（refIdxLX!=0）の残差予測に係る予測パラメータのシンタックスの符号化に係る処理量、及び符号量を削減することが可能である。

なお、「当該予測単位の参照画像が所定条件を満たすか否か」の所定条件として、「当該予測単位の参照する各参照画像RefPicLX(X=0,1)が、各参照画像リストＬＸ（Ｘ＝０，１）に含まれる参照画像のうち、現画像CurPicとの時間距離が最小となる参照画像であるか否か」を用いてもよい。すなわち、以下の判定式を用いる。

(inter_pred_idc==Pred_L0 && RefIdxL0 == RefIdxL0withMinAbsDiffPoc) ||
(inter_pred_idc==Pred_L1 && RefIdxL1 == RefIdxL1withMinAbsDiffPoc) ||
(inter_pred_idc==Pred_BI &&
RefIdxL0 == RefIdxL0withMinAbsDiffPoc &&
RefIdxL1 == RefIdxL1withMinAbsDiffPoc ) ?
ここで、変数RefIdxLXwithMinAbsDiffPoc(X=0,1)は、各参照画像リストＬＸ（Ｘ＝0，１）に含まれる参照画像RefPicの中で、現画像CurPicとの時間距離AbsDiffPocが最小となる参照画像を示す参照画像インデックスである。変数RefIdxLXwithMinAbsDiffPoc(X=0,1)の導出については、後述する。ここで、現画像CurPicと参照画像RefPicの時間距離AbsDiffPocを、ピクチャ順序番号(POC:Picture Ordering Count)を用いて算出する。すなわち、
AbsDiffPoc = Abs ( CurPicPoc - RefPicPoc(LX, RefIdxLX) )
である。ここで、CurPicPocは、現画像のPOCを示し、RefPicPoc(LX, RefIdxLX)は、参照画像リストＬＸと参照画像インデックスRefIdxLXで指定される参照画像RefPicのPOCを示し、Abs( )は、絶対値を返す関数である。

ここで、上記判定式において、(inter_pred_idc == Pred_L0 && refIdxL0 == RefIdxL0withMinAbsDiffPoc)が”真”であることは、「Ｌ０予測であり、参照画像インデックスRefIdxL0が示す参照画像は、参照画像リストＬ０に含まれる参照画像RefPicの中で、現画像CurPicとの時間距離AbsDiffPocが最小となる参照画像RefIdxL0withMinAbsDiffPocである」ことを示し、(inter_pred_idc == Pred_L1 && refIdxL1 == RefIdxL1withMinAbsDiffPoc)が”真”であることは、「Ｌ１予測であり、参照画像インデックスRefIdxL1が示す参照画像は、参照画像リストＬ１に含まれる参照画像RefPicの中で、現画像CurPicとの時間距離AbsDiffPocが最小となる参照画像RefIdxL1withMinAbsDiffPocである」ことを示し、(inter_pred_idc == Pred_BI && refIdxL0 == RefIdxL0withMinAbsDiffPoc && refIdxL1 == RefIdxL1withMinAbsDiffPoc)が”真”であること、「双予測であり、参照画像インデックスRefIdxL0、RefIdxL1が示す各参照画像は、各参照画像リストＬＸ（Ｘ＝0，１）に含まれる参照画像RefPicの中で、現画像CurPicとの時間距離AbsDiffPocが最小となる参照画像を示す参照画像インデックスである」ことを示す。

すなわち、上記判定式が“真”を示す場合（ステップＳ３０５−３ｆにおいてＹｅｓ）、ステップＳ３０５−４へ遷移し、残差予測利用可フラグを１へ設定する。また、上記判定式が“偽”を示す場合（ステップＳ３０５−３ｆにおいてＮｏ）、ステップＳ３０５−５へ遷移し、残差予測利用可フラグを０へ設定する。なお、ステップＳ３０５−３ｆからステップＳ３０５−４へ遷移する前に、所定条件ＡＸの追加の判定として、所定条件Ａ６を除く所定条件Ａ１〜Ａ６のいずれかの判定処理へ遷移する構成としてもよい。なお、上記判定式において、Ｌ０予測、Ｌ１予測、双予測の識別に、インター予測識別子の代わりに、参照画像利用リストフラグpredFlagLX(X=0,1)を用いてもよい。すなわち、以下の判定式を用いてもよい。
(predFlagL0==1 && predFlagL1==0 && refIdxL0 == RefIdxL0withMinAbsDiffPoc) ||
(predFlagL0==1 && predFlagL1==0 && refIdxL1 == RefIdxL1withMinAbsDiffPoc) ||
(predFlagL0==1 && predFlagL1==1 &&
refIdxL0 == RefIdxL0withMinAbsDiffPoc &&
refIdxL1 == RefIdxL1withMinAbsDiffPoc) ?
また、上記判定式において、「参照画像インデックスRefIdxLXが示す参照画像が、参照画像リストＬＸに含まれる参照画像RefPicの中で、現画像CurPicとの時間距離AbsDiffPocが最小となる参照画像RefIdxLXwithMinAbsDiffPocであるか」を識別するために、変数RefIdxL0withMinAbsDiffPocの代わりに、参照画像リストＬＸにおける、現画像CurPicと参照画像との最小時間距離MinAbsDiffPocLXを用いて判定してもよい。すなわち、
(inter_pred_idc==Pred_L0 &&
Abs(CurPicPoc, RefPicPoc(L0,RefIdxL0)) == MinAbsDiffPocL0 ) ||
(inter_pred_idc==Pred_L1 &&
Abs(CurPicPoc, RefPicPoc(L1,RefIdxL1)) == MinAbsDiffPocL1 ) ||
(inter_pred_idc==Pred_BI &&
( Abs(CurPicPoc, RefPicPoc(L0,RefIdxL0)) == MinAbsDiffPocL0 ) &&
( Abs(CurPicPoc, RefPicPoc(L1,RefIdxL1)) == MinAbsDiffPocL1 ) ) ?
ここで、変数MinAbsDiffPocLX(X=0,1)の導出については、後述の＜変数RefIdxLXwithMinAbsDiffPoc(X=0,1)の導出について＞において説明する。

一般的に、インター予測において、参照画像と現画像との時間距離が近いほど、画像間の相関が高いため、動き補償パラメータとして、参照画像と現画像との時間距離が近い参照画像インデックスをもつ参照画像が選択される確率が非常に高い。従って、インター予測において、参照画像インデックスrefIdxLX=RefIdxLXwithMinAbsDiffPoc（Ｘ＝０、１）となる、すなわち、参照画像リストＬＸに含まれる参照画像の中で、現ピクチャとの時間距離が最小となる参照画像を参照する場合のみ、残差予測の適用を制限しても、残差予測により得られる符号化効率の改善幅の低下は少ない。従って、階層動画像復号装置１は、符号化効率を維持しつつ、推定残差を生成するために参照する参照レイヤの参照画像を、拡張レイヤの参照画像インデックスrefIdxLX=RefIdxLXwithMinAbsDiffPocと対応する時刻の参照画像、すなわち、対象レイヤの参照画像リストＬＸに含まれる参照画像の中で、現画像との時間距離が最小となる参照画像と対応する時刻の参照画像へ制限するため、拡張レイヤのピクチャバッファにおいて、保持すべき参照レイヤの参照画像数を削減することが可能である。つまり、残差予測のために保持すべき参照レイヤの参照画像に係るメモリ量を削減することが可能である。また、階層動画像復号装置１は、参照画像インデックスrefIdxLX=RefIdxLXwithMinAbsDiffPocとなるときのみ、すなわち、対象レイヤの参照画像リストＬＸに含まれる参照画像の中で、現画像との時間距離が最小となる参照画像を参照する場合のみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを復号するため、参照画像インデックスrefIdxLX＝RefIdxLXwithMinAbsDiffPoc以外の参照画像を参照する際に残差予測に係る予測パラメータのシンタックスの復号に係る処理量を削減することが可能である。

以上、階層動画像符号化装置２は、参照画像インデックスrefIdxLX=RefIdxLXwithMinAbsDiffPoc(X=0,1)となる参照画像（参照画像リストＬＸに含まれる参照画像の中で、現ピクチャとの時間距離が最小となる参照画像）が選択される場合のみ、残差予測のＯＮ／ＯＦＦ制御を実施するように制限することで、残差予測を試行すべき動き補償パラメータとして、参照画像の候補数を削減することができるため、推定残差を生成するために実施する動き補償の試行回数を削減することが可能である。例えば、単予測の場合、参照画像は１枚へ制限され、双予測の場合、参照画像は２枚以下へ制限される。双予測の場合、参照画像インデックスrefIdxL0とrefIdxL1は、それぞれ同一の時刻の参照画像を示していてもよい。また、階層動画像符号化装置２は、符号化効率を維持しつつ、推定残差を生成するために参照する参照レイヤの参照画像を、拡張レイヤの参照画像インデックスrefIdxLX=RefIdxLXwithMinAbsDiffPocと対応する時刻の参照画像へ制限するため、拡張レイヤのピクチャバッファにおいて、保持すべき参照レイヤの参照画像数を削減することが可能である。つまり、残差予測のために保持すべき参照レイヤの参照画像に係るメモリ量を削減することが可能である。また、階層動画像符号化装置２は、参照画像インデックスrefIdxLX=RefIdxLXwithMinAbsDiffPocとなるときのみ、すなわち、対象レイヤの参照画像リストＬＸに含まれる参照画像の中で、現画像との時間距離が最小となる参照画像を参照する場合のみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを符号化するため、参照画像インデックスrefIdxLX=RefIdxLXwithMinAbsDiffPoc以外の参照画像を参照する際に残差予測に係る予測パラメータのシンタックスの符号化に係る処理量、及び符号量を削減することが可能である。

＜変数RefIdxLXwithMinAbsDiffPoc(X=0,1)の導出について＞
以下では、変数RefIdxLXwithMinAbsDiffPoc(X=0,1)の導出（参照画像リストＬＸに含まれる参照画像RefPicの中で、現画像CurPicとの時間距離が最小となる参照画像を示す参照画像インデックスRefIdxLXwithMinAbsDiffPocの導出）について、図４０、図４１を用いて説明する。図４０は、変数RefIdxLXwithMinAbsDiffPoc(X=0,1)の導出を示すフローチャートであり、図４１は、図４０と対応する処理の疑似コードを示す。

（Ｓ５０１）参照画像リストＬＸ単位のループを開始する。参照画像リスト数NumRefListは、現スライスタイプslice_typeがＢスライス(B_SLICE)の場合、２へ設定し、Ｐスライス(P_SLICE)の場合、１へ設定し、それ以外の場合（Ｉスライス）は、０へ設定する。すなわち、
NumRefList = (slice_type == B_SLICE) ? 2 : (slice_type == P_SLICE) ? 1 : 0;
（Ｓ５０２）変数MinAbsDiffPocLX(X=0,1), RefIdxLXwithMinAbsDiffPoc(X=0,1)を初期化する。すなわち、RefIdxLX=0の示す参照画像と現画像との時間距離を導出する。

MinAbsDiffPocLX = Abs( CurPicPoc - RefPicPoc(LX, RefIdxLX=0) );
RefIdxLXwithMinAbsDiffPoc = 0;
（Ｓ５０３）参照画像リストＬＸの含まれる参照画像毎のループである。参照画像インデックスrefIdxLX=1から開始し、参照画像インデックスrefIdxLX=num_ref_idx_lX-1までループ内の処理を行う。ここで、num_ref_idx_lXは、参照画像リストＬＸに含まれる参照画像数を示す。

（Ｓ５０４）各参照画像と現画像との時間距離AbsDiffPocを算出する。すなわち、
RefIdxLX = i;
AbsDiffPoc = Abs( CurPicPoc - RefPicPoc(LX, RefIdxLX) );
（Ｓ５０５）参照画像インデックスRefIdxLX=iが示す参照画像と現画像との時間距離が最小であるか判定する。すなわち、RefIdxLX=i-1までに算出した最小の時間距離MinAbsDiffPocLXよりもAbsDiffPocが小さいか判定する。

AbsDiffPoc < MinAbsDiffPocLX ?
ここで、上記判定式が“真”である場合（ステップＳ５０５においてＹｅｓ）、ステップＳ５０６へ遷移する。それ以外の場合（ステップＳ５０５においてＮｏ）、Ｓ５０７へ遷移する。

（Ｓ５０６）変数MinAbsDiffPocLX(X=0,1)、RefIdxLXwithMinAbsDiffPoc(X=0,1)を更新する。すなわち、参照画像インデックスRefIdxLX=iで指定される参照画像を現画像との時間距離が最小となる参照画像であるものとする。

MinAbsDiffPocLX = AbsDiffPoc;
RefIdxLXwithMinAbsDiffPoc = RefIdxLX;
（Ｓ５０７）参照画像単位のループの終端である。

（Ｓ５０８）参照画像リスト単位のループの終端である。

以上、上記Ｓ５０１〜Ｓ５０８に示す処理を実行することで、「参照画像リストＬＸに含まれる参照画像RefPicの中で、現画像CurPicとの時間距離が最小となる参照画像を示す参照画像インデックスRefIdxLXwithMinAbsDiffPoc」、または、「参照画像リストＬＸにおいて、現画像CurPicと参照画像RefPicの時間距離の最小値MinAbsDiffPocLX(X=0,1)」を導出することができる。なお、上記変数RefIdxLXwithMinAbsDiffPoc(X=0,1)の導出の処理は、可変長復号部１２、可変長符号化部２５において、各スライス単位で先頭の符号化ツリーブロックＣＴＢの復号／符号化を開始する前に実行するものとする。

例えば、可変長復号部１２の変形例１の場合、図４４において、ステップＳ３０１において、残差予測有効フラグ(res_pred_enable_flag)を復号し、残差予測有効フラグの値が１の場合に、変数RefIdxLXwithMinAbsDiffPoc(X=0,1)の導出の処理を実行し、その後、ステップＳ３０２へ進む。また、可変長符号化部２５の変形例１の場合、図５３において、ステップＳ４０１において、残差予測有効フラグを符号化し、残差予測有効フラグが１の場合に、変数RefIdxLXwithMinAbsDiffPoc(X=0,1)の導出の処理を実行し、その後、ステップＳ４０２へ進む。」
＜残差予測情報の符号化データ上の構成（図３２）＞
図３２は、可変長復号部１２の変形例１で復号される符号化データの構成の予測単位の符号化データ部分（図３の予測情報ＰＩｎｆｏに対応）を示す図である。

本例では、残差予測情報が、ＰＵごとに符号化される。図３２に示す通り、符号化データの予測単位の符号化データは、図３２のＳＹＮ１Ａで示される動き補償パラメータ（マージインデックスmerge_idx、マージフラグmerge_flag、インター予測識別子inter_pred_idc、参照画像インデックスref_idx_l0、ref_idx_l1、推定動きベクトルインデックスmvp_l0_flag、mvp_l1_flag、動きベクトル残差mvd_coding）と、ＳＹＮ２Ａ１で示される該ＰＵに対応する残差予測情報（残差予測フラグres_pred_flag, 残差予測重み係数インデックスres_pred_weight_idx）から構成される。図３２のように、予測単位の符号化データでは、動き補償パラメータ、残差予測情報の順に符号化を配置する。この順序で配置することにより、予測単位ごとの動き報償パラメータの値に応じて、残差予測を適用するか否かを表わす残差予測情報を明示的に復号するか否かを制御することが可能である。ＳＹＮ２Ａ１に次の判定がある。

ResPredAvailableFlag ?
本判定は、該ＰＵにおいて、残差予測利用可フラグ（ResPredAvailableFlag）が１であるか否かの判定であり、図３１のＳ３２２の判定、図５２のＳ４２２に相当する。残差予測利用可フラグ(ResPredAvailableFlag)については、上述の＜残差予測利用可フラグの導出について＞において説明済である。

以上の符号化構造では、残差予測利用可フラグが１である場合のみ、残差予測情報（残差予測フラグres_pred_flag、残差予測重み係数インデクスres_pred_weight_idx）が含まれ、それ以外の場合は、残差予測情報は含まれない。従って、該ＰＵ単位において、残差予測利用可フラグが１のときのみ、残差予測情報が符号化／復号されるため、残差予測情報に係る符号化／復号に関する処理量の低減、及び符号量を低減する効果が得られる。

＜可変長復号部１２の変形例２＞
上述の＜可変長復号部１２の変形例１＞では、図３１のステップＳ３０８において、残差予測フラグ(res_pred_flag)が１で場合に、明示的に残差予測重み係数を示す残差予測重み係数インデックスを復号する構成であるが、これに限定されない。例えば、図４４に示すフロー図のように、ステップＳ３０８をステップＳ３０８’に置き換えてもよい。以下、図４４、及び図４５を用いて、可変長復号部１２の変形例２において、残差予測情報を含む符号化データを復号する動作について説明する。なお、図４４において、ステップＳ３０１〜ステップＳ３０４、ステップＳ３２１〜ステップＳ３２２、ステップＳ３０６，ステップＳ３０９〜ステップＳ３１０は、図３１の各ステップと同一であるため、説明を省略し、ステップＳ３０８’について説明する。

（Ｓ３０７）残差予測フラグ(res_pred_flag)が１の場合（ステップＳ３０７においてＹｅｓ）、ステップＳ３０８’へ遷移する。それ以外の場合は、Ｓ３０９へ遷移する。

（Ｓ３０８’）所定条件に基づいて、残差予測重み係数res_pred_weightを導出する。所定条件の詳細については、後述する。

以上、可変長復号部１２の変形例２は、残差予測利用可フラグが１である場合、残差予測情報（残差予測フラグres_pred_flag）を復号し、それ以外の場合は、残差予測情報を復号しない。また、残差予測フラグres_pred_flagが１の場合、所定条件に基づいて、当該ＰＵにおいて残差予測を適用時の残差予測重み係数res_pred_weightを導出する。従って、該ＰＵ単位において、残差予測利用可フラグが１のとき、残差予測フラグが復号されるため、残差予測フラグに係る復号に関する処理量の低減、及び符号量を低減する効果が得られる。また、残差予測フラグが１の場合、残差予測重み係数を所定条件に基づいて導出するため、残差予測重み係数に関するシンタックスの復号に関する処理量の低減、及び符号量を低減する効果が得られる。

＜残差予測重み係数の導出について＞
以下では、残差予測重み係数res_pred_weightを以下に示す（１）〜（４）の各条件に基づいて残差予測重み係数の値を設定する例について説明する。

（１）当該予測単位の予測モードに基づく場合
（２）対象レイヤのスケーラビリティに基づく場合
（３）当該予測単位のサイズに基づく場合
（４）当該予測単位の予測パラメータに基づく場合
（（１）当該予測単位の予測モードに基づく場合について）
図４６は、所定条件として、「当該予測単位の予測モードが単予測であるか否か」に基づく場合における残差予測重み係数の導出を示すフローチャートである。

ステップＳ３０８−１ａにおいて、当該予測単位のインター予測が単予測であるかを判定する（ステップＳ３０８−１ａ）。例えば、インター予測識別子(inter_pred_idc)に基づいて、以下の判定式により判定する。

(inter_pred_idc==Pred_L0) || (inter_pred_idc==Pred_L1) ?
すなわち、インター予測識別子がＬ０予測(Pred_L0)、またはＬ１予測(Pred_L1)を示す場合（ステップ３０８−１ａにおいてＹｅｓ）、残差予測の重み係数を第１の重み係数ｗ１へと設定し（ステップＳ３０８−２ａ）、それ以外の場合、すなわち、双予測(Pred_BI)を示す場合（ステップＳ３０８−１ａにおいてＮｏ）、残差予測の重み係数を第２の重み係数ｗ２へと設定する（ステップＳ３０８−３ａ）。

なお、ステップＳ３０８−１ａにおける判定式に関して、インター予測識別子の代わりに、参照画像リスト利用フラグpredFlagLX(X=0,1)に基づいて、次のように判定してもよい。すなわち、
(predFlagL0==1 && predFlagL1==0) || (predFlagL0==0 && prdFlagL1==1) ?
なお、インター予測識別子の代わりに、スライスタイプに基づいて、重み係数を設定してもよい。例えば、Ｐスライスである場合、重み係数をｗ１へ設定し、Ｂスライスでる場合、重み係数をｗ２へ設定する。

ここで、ｗ１の値は、ｗ２の値以下であることが望ましい。ｗ１、ｗ２の具体例としては、ｗ１＝０．５、ｗ２＝１．０である。なお、発明者らの実験から、統計的に、単予測（Ｌ０予測、Ｌ１予測）の場合、重み係数０．５が選択される確率が高く、双予測の場合、重み係数１．０が選択される確率が高いことが分かっている。そのため、各重み係数と対応付けられた残差予測重み係数インデックス(res_pred_weight_idx)を明示的に符号化／復号せずとも、残差予測フラグ(res_pred_flag)の値が１の場合、上記条件に基づいて、残差予測の重み係数を暗黙的に設定することによって、残差予測の符号化効率の向上幅を損なわずに、残差予測の重み係数に関するシンタックスの符号化／復号処理を簡略化することが可能である。

（（２）対象レイヤのスケーラビリティに基づく場合について）
図４７は、所定条件として、「対象レイヤのスケーラビリティが空間スケーラビリティであるか否か」に基づく場合のおける残差予測重み係数の導出を示すフローチャートである。

ステップＳ３０８−１ｂにおいて、対象レイヤのスケーラビリティが、空間スケーラビリティであるか否かを判定する（ステップＳ３０８−１ｂ）。対象レイヤのスケーラビリティが空間スケーラビリティである場合（ステップＳ３０８−１ｂにおいてＹｅｓ）、残差予測の重み係数を第１の重み係数ｗ１へ設定し（ステップＳ３０８−２ｂ）、それ以外の場合（例えば、ＳＮＲスケーラビリティ）の場合（ステップＳ３０８−１ｂにおいてＮｏ）、残差予測の重み係数を第２の重み係数ｗ２へと設定する（ステップＳ３０８−３ｂ）。ここで、ｗ１の値は、ｗ２の値以下であることが望ましい。ｗ１、ｗ２の具体例としては、ｗ１＝０．５、ｗ２＝１．０である。なお、発明者らの実験から、統計的に、空間スケーラビリティの場合、重み係数０．５が選択される確率が高く、ＳＮＲスケーラビリティの場合、重み係数１．０が選択される確率が高いことが分かっている。そのため、各重み係数と対応付けられた残差予測重み係数インデックス(res_pred_weight_idx)を明示的に符号化／復号せずとも、残差予測フラグ(res_pred_flag)の値が１の場合、上記条件に基づいて、残差予測の重み係数を暗黙的に設定することによって、残差予測の符号化効率の向上幅を損なわずに、残差予測の重み係数に関するシンタックスの符号化／復号処理を簡略化することが可能である。

（（３）当該予測単位のサイズに基づく場合について）
図４８は、所定条件として、「当該予測単位のサイズが所定サイズ以下か否か」に基づく場合のおける残差予測重み係数の導出を示すフローチャートである。

ステップＳ３０８−１ｃにおいて、当該予測単位のサイズが所定サイズ以下か否かを、例えば、ＰＵの縦幅ｐＨと、横幅ｐＷに基づいて以下の判定式により判定する（ステップＳ３０８−１ｃ）。

pH + pW <= TH_PUSIZE ?
すなわち、上記判定式が“真”を示す場合（当該予測単位のＰＵサイズの縦幅pHと横幅pWの和が所定閾値以下の場合）（ステップＳ３０８−１ｃにおいてＹｅｓ）、ステップＳ３０８−２ｃへ遷移し、残差予測の重み係数を第１の重み係数ｗ１へ設定する（ステップＳ３０８−２ｃ）。それ以外の場合（ステップＳ３０８−１ｃにおいてＮｏ）、ステップＳ３０８−３ｃへ遷移し、残差予測の重み係数を第２の重み係数ｗ２へと設定する（ステップＳ３０８−３ｃ）。ここで、ｗ１の値は、ｗ２の値以下であることが望ましい。ｗ１、ｗ２の具体例としては、ｗ１＝０．５、ｗ２＝１．０である。また、閾値TH_PUSIZEの具体例としては、３２へ設定することが好ましい。この場合、次の小ＰＵサイズ、16x16,16x8,8x16,12x16,16x12,4x16,16x4,8x8,8x4,4x8に関して、重み係数０．５が選択され、それ以外の大ＰＵサイズに関して、重み係数１．０が選択される。なお、閾値TH_PUSIZEは、３２に限定されず、２８、２４、１６の何れかの値に設定してもよい。なお、発明者らの実験から、小ＰＵサイズにおいて、重み係数０．５が選択される確率が高く、大ＰＵサイズにおいて、重み係数１．０が選択される確率が高いことが分かっている。そのため、各重み係数と対応付けられた残差予測重み係数インデックス(res_pred_weight_idx)を明示的に符号化／復号せずとも、残差予測フラグ(res_pred_flag)の値が１の場合、上記条件に基づいて、残差予測の重み係数を暗黙的に設定することによって、残差予測の符号化効率の向上幅を損なわずに、残差予測の重み係数に関するシンタックスの符号化／復号処理を簡略化することが可能である。

なお、各条件（１）〜（３）において、重み係数ｗ１、ｗ２の組み合わせは、ｗ１＝０．５、ｗ２＝１．０に限定されず、ｗ１＝０．５、ｗ２＝０．７５、あるいは、ｗ１＝０．７５、ｗ２＝１．０と設定してもよい。

（（４）当該予測単位の予測パラメータに基づく場合）
図５４は、当該予測単位の予測パラメータのうち、マージフラグに基づいて残差予測重み係数res_pred_weightを導出する例を示す図である。

まず、当該予測単位のマージフラグが０であるか否かを判定する（ステップＳ３０８−１ｄ）。

merge_flag == 0 ?
すなわち、上記判定式が“真”を示す場合（当該予測単位のマージフラグが１の場合）（ステップＳ３０８−１ｄにおいてＹｅｓ）、ステップＳ３０８−２ｄへ遷移し、残差予測の重み係数を第１の重み係数ｗ１へ設定する（ステップＳ３０８−２ｃ）。それ以外の場合（ステップＳ３０８−１ｃにおいてＮｏ）、ステップＳ３０８−３ｃへ遷移し、残差予測の重み係数を第２の重み係数ｗ２へと設定する（ステップＳ３０８−３ｃ）。ここで、ｗ１の値は、ｗ２の値以下であることが望ましい。ｗ１、ｗ２の具体例としては、ｗ１＝０．５、ｗ２＝１．０である。なお、マージフラグが１となる予測単位は、対象ＰＵの動き補償パラメータがマージインデックスにより指定されるマージ候補、すなわち、対象ＰＵに隣接する処理済（符号化済／復号済）ＰＵの動き補償パラメータ、または、所定の動き補償パラメータと同一であることを示す。

一般的に、マージフラグが１となるＰＵにおける残差の大きさは、マージフラグが０となるＰＵにおける残差の大きさに比べて、小さい傾向がある。また対象ＰＵと対応する参照レイヤの残差の大きさも同様に小さい傾向がある。すなわち、残差の大きさは、０近傍に集中している。０近傍へ集中している残差に対して、１．０未満の重み係数を乗ずると推定残差が０となる頻度が高くなり、推定残差の精度を悪化させる場合がある。従って、対象ＰＵのＬＸ予測画像へ加算する参照レイヤの推定残差は、参照レイヤの残差の大きさが小さい場合には、残差予測重み係数を乗じない（すなわち、重み係数を１．０へ設定する）ことにより、推定残差の予測精度を向上させることができる。逆に、参照レイヤの残差が大きい場合には、重み係数１．０未満を乗じ、残差の大きさを小さくすることで、推定残差の予測精度を向上させることができる。

なお、発明者らの実験から、マージフラグが１となるＰＵにおいて、重み係数１．０が選択される確率が高く、マージフラグが０となるＰＵにおいて、重み係数０．５が選択される確率が高いことが分かっている。そのため、各重み係数と対応付けられた残差予測重み係数インデックス(res_pred_weight_idx)を明示的に符号化／復号せずとも、残差予測フラグ(res_pred_flag)の値が１の場合、上記条件に基づいて、残差予測の重み係数を暗黙的に設定することによって、残差予測の符号化効率の向上幅を損なわずに、残差予測の重み係数に関するシンタックスの符号化／復号処理を簡略化することが可能である。

上記例では、マージフラグに基づいて、残差予測重み係数を導出しているが、これに限定されない。例えば、マージフラグの代わりに、スキップフラグに基づいて、残差予測重み係数を導出してもよい。スキップフラグが１の場合、対象ＰＵの残差は０となる。同様に、対象ＰＵと対応する参照レイヤの残差も０近傍となる傾向があるため、残差予測重み係数をｗ２へ設定することが好ましい。また、スキップフラグが０の場合は、参照レイヤの残差が大きい可能性があるため、残差予測重み係数をｗ１へ設定することが好ましい。

（（１）と（４）の組み合わせの例）
なお、残差予測重み係数は、条件（４）のマージフラグと、条件（１）の予測モードと組み合わせて導出することもできる。図５５は、インター予測識別子inter_pred_idc、及びマージフラグmerge_flagと残差予測重み係数の対応関係を示す図である。図５５に示すように、残差予測重み係数をインター予測識別子とマージフラグに基づいて、（ａ）〜（ｄ）のように導出する。
（ａ）インター予測識別子inter_pred_idcが単予測(Pred_L0、または、Pred_L1)、かつ、マージフラグが０の場合は、残差予測重み係数res_pred_weightを重み係数ｗ１へ設定する。すなわち、res_pred_weight = w1
（ｂ）インター予測識別子inter_pred_idcが単予測(Pred_L0、または、Pred_L1)、かつ、マージフラグが１の場合は、残差予測重み係数res_pred_weightを重み係数ｗ２へ設定する。すなわち、res_pred_weight = w2
（ｃ）インター予測識別子inter_pred_idcが双予測(Pred_BI)、かつ、マージフラグが０の場合は、残差予測重み係数res_pred_weightを重み係数ｗ３へ設定する。
すなわち、res_pred_weight = w3
（ｄ）インター予測識別子inter_pred_idcが双予測(Pred_BI)、かつ、マージフラグが１の場合は、残差予測重み係数res_pred_weightを重み係数ｗ４へ設定する。
すなわち、res_pred_weight = w4
なお、上記重み係数ｗ１、ｗ２、ｗ３、ｗ４は、少なくとも以下の条件を満たすように設定することが好ましい。すなわち、ｗ１≦ｗ２、ｗ３≦ｗ４、ｗ１≦ｗ３。

発明者らの実験から、例えば、ｗ１＝０．５、ｗ２＝ｗ３＝ｗ４＝１．０へ設定することが好適であることが分かっている。

上記構成によれば、マージフラグとインター予測識別子に基づいて残差予測重み係数を導出することにより、マージフラグ、または、インター予測識別子のいずれか一方に基づいて残差予測重み係数を導出する場合に比べて、残差予測重み係数の候補数を最大２から４へ増やすことができるため、さらに残差予測の推定精度を向上させることができる。また、各重み係数と対応付けられた残差予測重み係数インデックス(res_pred_weight_idx)を明示的に符号化／復号せずとも、残差予測フラグ(res_pred_flag)の値が１の場合、上記条件に基づいて、残差予測の重み係数を暗黙的に設定することによって、残差予測の符号化効率の向上幅を損なわずに、残差予測の重み係数に関するシンタックスの符号化／復号処理を簡略化することが可能である。

図５６は、当該予測単位の予測パラメータのうち、動きベクトルの大きさに基づいて残差予測重み係数res_pred_weightを導出する例を示す図である。

（Ｓ３０８−１ｅ）ＬＸ予測単位のループの開始である。当該ＰＵのインター予測識別子inter_pred_idcがPred_L0であれば、Ｌ０予測の補正へ適用する残差予測重み係数を以下のステップで導出する。また、インター予測識別子inter_pred_idcがPred_L1であれば、Ｌ１予測の補正へ適用する残差予測重み係数を導出する。また、インター予測識別子inter_rped_idcがpred_BIでれば、各Ｌ０予測、Ｌ１予測毎に残差予測重み係数を導出する。

（Ｓ３０８−２ｅ）ＬＸ予測に用いる動きベクトルMvLX[]の大きさMagMvを算出する。例えば、以下の式によって、動きベクトルの大きさmag_mvを算出する。ここで、演算子Abs(.)は、絶対値を返す関数である。また、MvLX[0]は、動きベクトルのｘ成分、MvLX[1]は動きベクトルのｙ成分である。

MagMv = Abs( MvLX[0] ) + Abs( MvLX[1] )
なお、動きベクトルの大きさMagMvは、以下の式によって求めてもよい。

MagMv = MvLX[0]*MvLX[0] + MvLX[1]*MvLX[1]
（Ｓ３０８−３ｅ）ＬＸ予測に用いる動きベクトルの大きさMagMvが所定閾値TH_MV未満であるかを判定する。例えば、以下の判定式を用いる。

mag_mv < TH_MV ?
上記判定式において、“真”となる場合（ステップＳ３０８−３ｅでＹｅｓ）、ステップＳ３０８−５ｅへ遷移し、それ以外の場合（ステップＳ３０８−３ｅでＮｏ）、ステップ３０８−４ｅへ遷移する。

（Ｓ３０８−４ｅ）ＬＸ予測に適用する残差予測重み係数をｗ２へ設定する。すなわち、res_pred_weight = w2
（Ｓ３０８−５ｅ）ＬＸ予測に適用する残差予測重み係数をｗ１へ設定する。すなわち、res_pred_weight = w1
（Ｓ３０８−６ｅ）ＬＸ予測単位のループの終端である。
ここで、重み係数ｗ１の値は、ｗ２の値以下であることが望ましい。

一般的に、動きベクトルの大きさが小さい場合、残差の誤差が小さくなる傾向がある。また、また対象ＰＵと対応する参照レイヤの残差の誤差も小さい傾向がある。すなわち、残差の大きさは、０近傍に集中する。０近傍へ集中する残差に対して、１．０未満の重み係数を乗ずると推定残差が０となる頻度が高くなり、推定残差の精度を悪化させる場合がある。従って、対象ＰＵのＬＸ予測画像へ加算する参照レイヤの推定残差は、参照レイヤの残差の大きさが小さい場合には、残差予測重み係数を乗じない（すなわち、重み係数を１．０へ設定する）ことにより、推定残差の予測精度を向上させることができる。逆に、参照レイヤの残差が大きい場合には、重み係数１．０未満を乗じ、残差の大きさを小さくすることで、推定残差の予測精度を向上させることができる。また、各重み係数と対応付けられた残差予測重み係数インデックス(res_pred_weight_idx)を明示的に符号化／復号せずとも、残差予測フラグ(res_pred_flag)の値が１の場合、上記条件に基づいて、残差予測の重み係数を暗黙的に設定することによって、残差予測の符号化効率の向上幅を損なわずに、残差予測の重み係数に関するシンタックスの符号化／復号処理を簡略化することが可能である。

図５７は、当該予測単位の予測パラメータのうち、参照画像インデックスで指定される参照画像RefPicと現画像CurPicとの時間距離に基づいて残差予測重み係数res_pred_weightを導出する例を示す図である。

（Ｓ３０８−１ｆ）ＬＸ予測単位のループの開始である。当該ＰＵのインター予測識別子inter_pred_idcがPred_L0であれば、Ｌ０予測の補正へ適用する残差予測重み係数を以下のステップで導出する。また、インター予測識別子inter_pred_idcがPred_L1であれば、Ｌ１予測の補正へ適用する残差予測重み係数を導出する。また、インター予測識別子inter_rped_idcがPred_BIでれば、各Ｌ０予測、Ｌ１予測毎に残差予測重み係数を導出する。

（Ｓ３０８−２ｆ）ＬＸ予測に用いる参照画像インデックスRefIdxLX(X=0,1)で指定される参照画像RefPicと現画像CurPicとの時間距離AbsDiffPocを以下の式で導出する。

AbsDiffPoc = Abs (RefPicPoc( LX, RefIdxLX ) - CurPicPoc )
ここで、RefPicPoc( LX, refIdxLX )は、参照画像リストLX上の参照画像インデックスRefIdxLXにより指定される参照画像のPOCを返す関数である。また、CurPicPocは現画像のpocを表わす。

（Ｓ３０８−３ｆ）時間距離AbsDiffPocが所定閾値TH_AbsDiffPoc未満であるかを以下の条件式により判定する。

AbsDiffPoc < TH_AbsDiffPoc ?
上記判定式において、“真”となる場合（ステップＳ３０８−３ｆでＹｅｓ）、ステップＳ３０８−５ｆへ遷移し、それ以外の場合（ステップＳ３０８−３ｆでＮｏ）、ステップ３０８−４ｆへ遷移する。

（Ｓ３０８−４ｆ）ＬＸ予測に適用する残差予測重み係数をｗ２へ設定する。すなわち、res_pred_weight = w2
（Ｓ３０８−５ｆ）ＬＸ予測に適用する残差予測重み係数をｗ１へ設定する。すなわち、res_pred_weight = w1
（Ｓ３０８−５ｆ）ＬＸ予測単位のループの終端である。
ここで、重み係数ｗ１の値は、ｗ２の値以下であることが望ましい。

一般的に、現画像と参照画像との時間距離が近いほど、残差の誤差が小さくなる傾向がある。また、また対象ＰＵと対応する参照レイヤの残差の誤差も小さい傾向がある。すなわち、残差の大きさは、０近傍に集中する。０近傍へ集中する残差に対して、１．０未満の重み係数を乗ずると推定残差が０となる頻度が高くなり、推定残差の精度を悪化させる場合がある。従って、対象ＰＵのＬＸ予測画像へ加算する参照レイヤの推定残差は、参照レイヤの残差の大きさが小さい場合には、残差予測重み係数を乗じない（すなわち、重み係数を１．０へ設定する）ことにより、推定残差の予測精度を向上させることができる。逆に、参照レイヤの残差が大きい場合には、重み係数１．０未満を乗じ、残差の大きさを小さくすることで、推定残差の予測精度を向上させることができる。また、各重み係数と対応付けられた残差予測重み係数インデックス(res_pred_weight_idx)を明示的に符号化／復号せずとも、残差予測フラグ(res_pred_flag)の値が１の場合、上記条件に基づいて、残差予測の重み係数を暗黙的に設定することによって、残差予測の符号化効率の向上幅を損なわずに、残差予測の重み係数に関するシンタックスの符号化／復号処理を簡略化することが可能である。

＜残差予測情報の符号化データ上の構成（図４５）＞
図４５は、可変長復号部１２の変形例２で復号される符号化データの構成の予測単位の符号化データ部分（図３の予測情報ＰＩｎｆｏに対応）を示す図である。

本例では、残差予測情報が、ＰＵごとに符号化される。図４５に示す通り、符号化データの予測単位の符号化データは、図４５のＳＹＮ１Ａで示される動き補償パラメータ（マージインデックスmerge_idx、マージフラグmerge_flag、インター予測識別子inter_pred_idc、参照画像インデックスref_idx_l0、ref_idx_l1、推定動きベクトルインデックスmvp_l0_flag、mvp_l1_flag、動きベクトル残差mvd_coding）と、ＳＹＮ２Ａ２で示される該ＰＵに対応する残差予測情報（残差予測フラグres_pred_flag）から構成される。図４５のように、予測単位の符号化データでは、動き補償パラメータ、残差予測情報の順に符号化を配置する。この順序で配置することにより、予測単位ごとの動き報償パラメータの値に応じて、残差予測を適用するか否かを表わす残差予測情報を明示的に復号するか否かを制御することが可能である。ＳＹＮ２Ａ２に次の判定がある。

ResPredAvailableFlag ?
本判定は、該ＰＵにおいて、残差予測利用可フラグ（ResPredAvailableFlag）が１であるか否かの判定であり、図４４のＳ３２２の判定、図５３のＳ４２２に相当する。残差予測利用可フラグ(ResPredAvailableFlag)については、上述の＜残差予測利用可フラグの導出について＞において説明済である。

以上の符号化構造では、残差予測利用可フラグが１である場合、残差予測情報（残差予測フラグres_pred_flag）が含まれ、それ以外の場合は、残差予測情報は含まれない。また、残差予測フラグres_pred_flagが１の場合、所定条件に基づいて、当該ＰＵにおいて残差予測を適用時の残差予測重み係数res_pred_weightを導出する。従って、該ＰＵ単位において、残差予測利用可フラグが１のとき、残差予測フラグが符号化／復号されるため、残差予測フラグに係る符号化／復号に関する処理量の低減、及び符号量を低減する効果が得られる。また、残差予測フラグが１の場合、残差予測重み係数を所定条件に基づいて導出するため、残差予測係数重み係数に関するシンタックスの符号化／復号に関する処理量の低減、及び符号量を低減する効果が得られる。

＜可変長復号部１２の変形例３＞
上述の＜可変長復号部２の変形例２＞では、ＰＵ単位で残差予測フラグres_pred_flagを復号し、残差予測フラグres_pred_flagが１の場合、所定条件に基づいて、当該ＰＵにおいて残差予測適用時の残差予測重み係数res_pred_weightを導出する例を述べたが、これに限定されない。例えば、ＣＵ単位で残差予測フラグres_pred_flagを復号し、残差予測フラグres_pred_flagが１の場合、上述の＜残差予測重み係数の導出について＞に説明してあるように所定条件に基づいて、残差予測重み係数res_pred_weightを導出する構成としてもよい。以下、図５８を用いて、ＣＵ単位で残差予測フラグを含む場合の符号化データを復号する動作を説明する。なお、図５９は、ＣＵ単位で残差予測フラグを含む場合の符号化データの構成を示す図である。

（Ｓ６０１）可変長復号部１２の変形例３は、所定のパラメータセット（例えば、スライスヘッダＳＨ）単位毎に、ＣＵ単位毎に残差予測フラグを復号するか否かを示す残差予測有効フラグres_pred_enable_flagを復号する。続いて、各ＣＴＢにおいて、以下の処理を行う。

（Ｓ６０２）ＣＵのループを開始する。ＣＵのループはＣＴＢに含まれる全てのＣＵを順に処理することで行われる。

（Ｓ６０３）ＣＵのループ内では、対象ＣＵのＣＵタイプを示すＣＵタイプ情報、図５９上のシンタックスＳＹＮ３Ａ１が示すスキップフラグ（cu_skip_flag）、または、図５９上のシンタックスＳＹＮ３Ａ３に示す予測モードフラグ(pred_mode_flag)を復号する。上記スキップフラグ、および予測モードフラグに基づいて、対象ＣＵのＣＵタイプが、スキップＣＵ、イントラＣＵ、または、インターＣＵであるかを決定する。スキップフラグが１の場合は、スキップＣＵであることを示す。また、スキップフラグが０の場合は、さらに予測モードフラグに基づいて、イントラＣＵであるか、インターＣＵであるか決定する。予測モードフラグが１の場合は、イントラＣＵであることを示し、０の場合は、インターＣＵであることを示す。なお、インターＣＵの場合は、予測モードフラグの後に、図５９上のＳＹＮ３Ａ４に示すＰＵ分割タイプ情報(part_mode)がさらに復号されうる。

（Ｓ６０４）対象ＣＵがスキップＣＵ、または、インターＣＵであるか判定する。対象ＣＵがスキップＣＵ、またはインターＣＵである場合（ステップＳ６０４でＹｅｓ）は、ステップＳ６０５へ遷移する。それ以外の場合（ステップＳ６０４でＮｏ）は、ステップＳ６０７へ遷移する。

（Ｓ６０５）＜可変長復号部１２の詳細＞において既述であるが、図２２に示すステップ３０５に示すように、残差予測有効フラグが１、かつ、所定条件（残差予測が利用可能な状態であるか）を満たすか否かを判定する。判定式が“真”の場合（Ｓ６０５でＹｅｓ）は、ステップＳ６０６へ遷移し、残差予測フラグを復号する（ステップＳ６０６）。判定式が“偽”の場合（Ｓ６０５でＮｏ）、ステップＳ６０７へ遷移する。なお、残差予測フラグが復号されない場合、残差予測フラグの値は０へ設定されるものとする。

また、ここでの残差予測が利用可能な状態であるかとは、具体的には、（１）〜（３）の条件に関して、各条件の判定式の値を、ret1, ret2, ret3とすると、例えば、以下の条件（ａ）〜（ｃ）の何れかを満たすことである。
（１）対象レイヤの現画像と対応する同時刻（poc）の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に存在する否か
（２）対象レイヤの現画像で利用される参照画像リストＬ０に含まれる参照画像のいずれかと対応する同時刻（poc）の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否か
（３）対象レイヤの現画像で利用される参照画像リストＬ１に含まれる参照画像のいずれかと対応する同時刻（poc）の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否か
（ａ）対象ＣＵを含むスライスのスライスタイプがＰスライスである場合、残差予測Ｐスライス有効フラグres_pred_pslice_enable_flagを以下の式で導出する。
res_pred_pslice_enable_flag = (ret1 && ret2) ? ・・・条件（１）を満たし、かつ、条件（２）を満たすか否か
（ｂ）対象ＣＵを含むスライスのスライスタイプがＢスライスである場合、残差予測Ｂスライス有効フラグres_pred_bslice_enable_flagを以下の式で導出する。
res_pred_bslice_enable_flag = (ret1 && ( ret2 && ret3 )) ? ・・・条件（１）を満たし、かつ条件（２）を満たし、かつ条件（３）を満たすか否か
条件（ｂ）のres_pred_bslice_enable_flagの代わりに、条件（ｃ）を用いてもよい。
（ｃ）対象ＣＵを含むスライスのスライスタイプがＢスライスである場合、残差予測Ｂスライス有効フラグres_pred_bslice_enable_flagを以下の式で導出する。
res_pred_bslice_enable_flag = (ret1 && ( ret2 || ret3 ) ? ・・・条件（１）を満たし、かつ、条件（２）または条件（３）の何れかを満たすか否か。なお、上記残差予測Ｐスライス有効フラグ、及び残差予測Ｂスライス有効フラグは、各ＣＵ単位で実行せずに、各スライス毎に処理順で最初のＣＵにおいて導出し、以降のＣＵにおいて、導出済の各フラグの値を参照する構成としてもよい。こにれよって、残差予測Ｐスライス有効フラグ、及び残差予測Ｂスライス有効フラグの導出回数をスライス単位当たり１回へ低減することができる。

（Ｓ６０７）ＰＵのループを開始する。ＰＵのループは該ＣＵに含まれる全てのＰＵを順に処理することで行われる。

（Ｓ６０８）ＰＵのループ内では、予測情報ＰＩｎｆｏのうち該ＰＵに対応する情報を復号する。図２２のステップＳ３０４と同一であるため、詳細な説明を省略する。

（Ｓ６０９）残差予測フラグが１であるか判定する。残差予測フラグが１である場合（ステップＳ６０９においてＹｅｓ）
（Ｓ６１０）該ＰＵにおいて残差予測を実際に適用するか否かを示す残差予測可フラグResPredAvailableFlagを導出する。なお、残差予測利用可フラグResPredAvailableFlagの導出は、既述の＜残差予測利用可フラグの導出について＞と同様であるため、説明を省略する。

（Ｓ６１１）残差予測可フラグResPredAvailableFlagが１である場合（ステップＳ６１０でＹｅｓ）、ステップＳ６１２へ遷移し、それ以外の場合（ステップＳ６１１でＮｏ）、ステップＳ６１３へ遷移する。

（Ｓ６１２）所定条件に基づいて、該ＰＵの残差予測重み係数res_pred_weightを導出する。なお、残差予測重み係数の導出は、既述の＜残差予測重み係数の導出について＞と同様であるため、説明を省略する。

（Ｓ６１３）ＰＵ単位のループの終端である。

（Ｓ６１４）ＣＵ単位のループの終端である。

上記可変長復号部１２の変形例３によれば、スライスタイプ毎に、残差予測を利用可能な状態であるかを、以下の（１）〜（３）の条件に基づいて判定することで、明示的に残差予測フラグを復号するか否かを制御することが可能である。従って、残差予測を利用できない場合は、残差予測フラグの復号を省略することができるため、残差予測フラグの復号に係る処理量を削減することができる。
（１）対象レイヤの現画像と対応する同時刻（poc）の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に存在する否か
（２）対象レイヤの現画像で利用される参照画像リストＬ０に含まれる参照画像のいずれかと対応する同時刻（poc）の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否か
（３）対象レイヤの現画像で利用される参照画像リストＬ１に含まれる参照画像のいずれかと対応する同時刻（poc）の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否か
さらに、可変長復号部１２の変形例３によれば、当該ＣＵにおいて残差予測フラグが１である場合、ＰＵ単位毎に実際に残差予測を適用する否かを残差予測利用可フラグに基づいて制御する。残差予測利用可フラグは、既述の＜残差予測利用可フラグの導出について＞と同様に所定条件Ａ１〜Ａ６の何れか、または、各条件の組み合わせに基づいて導出される。従って、各ＰＵの予測パラメータ、ＣＵサイズ、ＰＵサイズ等に基づいて、各ＰＵへの残差予測の適用を制限することができるため、残差予測に係る処理量を低減することが可能である。
（Ａ１）処理対象の予測単位（ＰＵ）のサイズが所定サイズより大きいか否か
（Ａ２）処理対象の予測単位を含むＣＵのサイズが所定サイズ以上であるか否か
（Ａ３）処理対象の予測単位を含むＣＵのＰＵ分割タイプが２Ｎ×２Ｎであるか否か
（Ａ４）処理対象の予測単位のインター予測が単予測であるか否か
（Ａ５）処理対象の予測単位の予測モードがスキップモード、またはマージモードであるか否か
（Ａ６）処理対象の予測単位の参照画像が所定条件を満たすか否か
なお、各条件毎の具体的な効果・作用は、既述の＜残差予測利用可フラグの導出について＞と同様であるため、詳細な説明は省略する。

さらに、可変長復号部１２の変形例３によれば、残差予測利用可フラグが１である場合、所定条件に基づいて、当該ＰＵにおいて残差予測を適用時の残差予測重み係数res_pred_weightを導出するため、残差予測重み係数に関するシンタックスの復号に関する処理量の低減、及び符号量を低減する効果が得られる。

＜残差予測情報の符号化データ上の構成（図５９）＞
図５９は、可変長復号部１２の変形例２Ａで復号される符号化データの構成の予測単位の符号化データ部分（図３の予測情報ＰＩｎｆｏに対応）を示す図である。

本例では、残差予測情報が、ＣＵごとに符号化される。図５９に示す通り、符号化データのＣＵ単位の符号化データは、図５９のＳＹＮ３Ａ１、またはＳＹＮ３Ａ３で示されるＣＵタイプ情報（スキップフラグcu_skip_flag、予測モードフラグpred_mode_flag）と、ＳＹＮ３Ａ２、およびＳＹＮ３Ａ５で示される該ＣＵに対応する残差予測情報（残差予測フラグres_pred_flag）、ＰＵ分割タイプ(part_mode)、ならびに図示しないＰＵ情報、及びＴＵ情報から構成される。図５９のように、ＣＵ単位の符号化データでは、ＣＵタイプ情報、残差予測情報の順にシンタックスを配置する。この順序で配置することにより、ＣＵタイプ毎に、残差予測を適用するか否かを表わす残差予測情報を明示的に復号するか否かを制御することが可能である。ＳＹＮ３Ａ２、およびＳＹＮ３Ａ５に次の判定がある。

res_pred_enable_flag &&
( ( slice_type==P_SLICE && res_pred_pslice_enable_flag) ||
( slice_type==B_SLICE && res_pred_bslice_enable_flag) ) ?
本判定は、該ＣＵが属するスライスにおいて、残差予測が利用可能な状態であるか否かの判定であり、図５８のＳ６０５の判定、図６０のＳ７０５に相当する。

以上の符号化構造では、残差予測が利用可能な状態である場合のみ、残差予測情報（残差予測フラグres_pred_flag）が含まれ、それ以外の場合は、残差予測情報は含まれない。従って、該ＣＵ単位において、残差予測が利用可能な状態のときのみ、残差予測情報が符号化されるため、残差予測情報の符号量を低減する効果が得られる。また、当該ＰＵにおいて、残差予測利用可フラグResPredEnableFlagが１の場合、残差予測を適用時の残差予測重み係数res_pred_weightを所定条件に基づいて導出する。従って、残差予測係数重み係数に関するシンタックスの符号化／復号に関する処理量の低減、及び符号量を低減する効果が得られる。

〔階層動画像符号化装置〕
次に、本実施形態に係る階層動画像符号化装置２の構成について、図２５〜２９を参照して説明する。

（階層動画像符号化装置の構成）
図２５を用いて、階層動画像符号化装置２の概略的構成について説明すると次のとおりである。図２５は、階層動画像符号化装置２の概略的構成について示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。

図２５に示すように階層動画像符号化装置２は、予測パラメータ決定部２１、予測情報生成部２２、ベース復号部２３、テクスチャ情報生成部２４、可変長符号化部２５、および、ＮＡＬ多重化部２６を備える。

予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔに基づいて、予測画像の予測に用いられる予測パラメータおよびその他の符号化の設定を決定する。

予測パラメータ決定部２１は、予測パラメータをはじめとする符号化の設定を、以下のとおり行う。

まず、予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔを、スライス単位、ツリーブロック単位、ＣＵ単位に順次分割することにより、対象ＣＵについてのＣＵ画像を生成する。

また、予測パラメータ決定部２１は、分割処理の結果に基づいて、符号化情報（ヘッダ情報とも称されることがある）を生成する。符号化情報は、（１）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報であるツリーブロック情報と、（２）各ツリーブロックに属するＣＵのサイズ、形状および対象ツリーブロック内での位置についての情報であるＣＵ情報とを含んでいる。

さらに、予測パラメータ決定部２１は、ＣＵ画像、ツリーブロック情報、およびＣＵ情報を参照して、対象ＣＵの予測タイプ、対象ＣＵのＰＵへの分割情報、および、予測パラメータ（対象ＣＵが、イントラＣＵであればイントラ予測モード、インターＣＵである場合には各ＰＵにおける動き補償パラメータ、残差予測情報）を導出する。

予測パラメータ決定部２１は、（１）対象ＣＵの予測タイプ、（２）対象ＣＵの各ＰＵへの可能な分割パターン、および、（３）各ＰＵに割り付ける可能な予測モード（イントラＣＵであればイントラ予測モード、インターＣＵであれば動き補償パラメータおよび残差予測）、の全ての組み合わせについて、コストを算出し、最低コストの予測タイプ、分割パターン、および、予測モードを決定する。

予測パラメータ決定部２１は、符号化情報および予測パラメータを予測情報生成部２２およびテクスチャ情報生成部２４に供給する。なお、説明の簡便のため図示しないが、予測パラメータ決定部２１において決定された上記の符号化の設定は、階層動画像符号化装置２の各部において参照可能とする。

予測情報生成部２２は、予測パラメータ決定部２１から供給される予測パラメータと、参照レイヤ符号化データＤＡＴＡ＃Ｒとに基づいて予測パラメータに関するシンタックス値を含む予測情報を生成する。予測情報生成部２２は、生成した予測情報を可変長符号化部２５に供給する。なお、予測情報生成部２２は、予測パラメータを復元する際に、テクスチャ情報生成部２４が備えるフレームメモリ１５５に格納された動き情報を参照することができる。

ベース復号部２３は、階層動画像復号装置１のベース復号部１３と同様であるので、ここではその説明を省略する。

テクスチャ情報生成部２４は、入力画像ＰＩＮ＃Ｔから予測画像を減算して得られる予測残差を、直交変換・量子化した変換係数を含む変換係数情報を生成する。テクスチャ情報生成部２４は、生成した変換係数情報を可変長符号化部２５に供給する。なお、テクスチャ情報生成部２４では、復元された復号画像に関する情報が、内部に備えるフレームメモリ１５５に格納される。

可変長符号化部２５は、予測情報生成部２２から供給される予測情報（動き補償パラメータ、残差予測情報など）、およびテクスチャ情報生成部２４から供給される変換係数情報を可変長符号化して対象レイヤ符号化データＤＡＴＡ＃Ｔを生成する。可変長符号化部２５は、生成した対象レイヤ符号化データＤＡＴＡ＃ＴをＮＡＬ多重化部２６に供給する。

ＮＡＬ多重化部２６は、可変長符号化部２５から供給される対象レイヤ符号化データＤＡＴＡ＃Ｔと、参照レイヤ符号化データＤＡＴＡ＃ＲとをＮＡＬユニットに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡを生成し、外部に出力する。

以下において、予測情報生成部２２、およびテクスチャ情報生成部２４それぞれの詳細について説明する。

（予測情報生成部）
図２６を用いて、予測情報生成部２２の詳細構成について説明する。図２６は、予測情報生成部２２の構成について例示した機能ブロック図である。

図２６に示すように、予測情報生成部２２は、予測タイプ選択部２２１、スイッチ２２２、イントラ予測モード導出部２２３、動きベクトル候補導出部２２４、動き情報生成部２２５、マージ候補導出部２２６、マージ情報生成部２２７、残差予測情報生成部２２８を備える。

予測タイプ選択部２２１は、ＣＵタイプまたはＰＵタイプに応じてスイッチ２２２に切り替え指示を送り予測パラメータの導出処理を制御する。具体的には以下のとおりである。

イントラＣＵまたはイントラＰＵが指定されている場合、予測タイプ選択部２２１はイントラ予測モード導出部２２３を用いて予測情報を導出できるようスイッチ２２２を制御する。

インターＣＵ（マージなし）およびインターＰＵ（マージなし）のいずれかが指定されている場合、予測タイプ選択部２２１は動き情報生成部２２５を用いて予測パラメータを導出できるようスイッチ２２２を制御する。

ベーススキップＣＵ、ベースマージＣＵ、スキップＣＵ、およびマージＰＵのいずれかが指定されている場合、予測タイプ選択部２２１はマージ情報生成部２２７を用いて予測パラメータを導出できるようスイッチ２２２を制御する。

また、インターＣＵ（マージなし）、インターＰＵ（マージなし）、ベーススキップＣＵ、ベースマージＣＵ、スキップＣＵ、およびマージＣＵのいずれかが指定されている場合、予測タイプ選択部２２１は、残差予測情報生成部２２８を用いて、さらに予測パラメータの一部として、残差予測情報を導出できるようスイッチ２２１を制御する。

スイッチ２２２は、予測タイプ選択部２２１の指示に応じて、予測パラメータを、イントラ予測モード導出部２２３、動き情報生成部２２５、およびマージ情報生成部２２７のいずれかに供給する。また、スイッチ２２２は、予測タイプ選択部２２２の指示に応じて、さらに残差予測情報生成部２２８へ予測情報を供給する。予測情報の供給先において予測パラメータが導出される。

イントラ予測モード導出部２２３は、予測モードに関するシンタックス値を導出する。すなわち、イントラ予測モード導出部２２３が予測情報として生成するのは、予測モードに関するシンタックス値である。

動きベクトル候補導出部２２４は、ベース復号情報を用いて、レイヤ内動き推定処理、またはレイヤ間動き推定処理により推定動きベクトルの候補を導出する。動きベクトル候補導出部２２４は、導出した動きベクトルの候補を動き情報生成部２２５に供給する。

動き情報生成部２２５は、マージを行わない各インター予測パーティションにおける動き情報に関するシンタックス値を生成する。すなわち、動き情報生成部２２５が予測情報として生成するのは動き情報に関するシンタックス値である。具体的には、動き情報生成部２２５は、各ＰＵにおける動き補償パラメータから、対応するシンタックス要素値であるinter_pred_idc、mvd、mvp_idx、および、refIdxを導出する。

具体的には、動き情報生成部２２５は、対象ＰＵがベースマージＰＵである場合、動きベクトル候補導出部２２４から供給される動きベクトルの候補に基づいて、上記シンタックス値を導出する。

一方、動き情報生成部２２５は、対象ＣＵ（ＰＵ）がマージを行わないインターＣＵ（インターＰＵ）である場合、予測パラメータに含まれる動き情報に基づいて、上記シンタックス値を導出する。

マージ候補導出部２２６は、フレームメモリ１５５から供給される復号済みの動き情報および／またはベース復号部２３から供給されるベース復号情報等を用いて、各ＰＵにおける動き補償パラメータと類似の動き補償パラメータを有するマージ候補を導出する。マージ候補導出部２２６は、導出したマージ候補をマージ情報生成部２２７に供給する。

マージ情報生成部２２７は、マージを行う各インター予測パーティションに関する動き情報に関するシンタックス値を生成する。すなわち、マージ情報生成部２２７が予測情報として生成するのは動き情報に関するシンタックス値である。具体的には、マージ情報生成部２２７は、各ＰＵにおける動き補償パラメータと類似の動き補償パラメータを有するマージ候補を指定するシンタックス要素値merge_idxを出力する。

残差予測情報生成部２２８は、各ＰＵに関する残差予測情報を生成する。具体的には、残差予測情報に対応するシンタックス要素値である、残差予測フラグres_pred_flag、および残差予測重み係数インデックスを導出する。

（テクスチャ情報生成部）
図２７を用いて、テクスチャ情報生成部３４の詳細構成について説明する。図２７は、テクスチャ情報生成部２４の構成について例示した機能ブロック図である。

図２７に示すように、テクスチャ情報生成部２４は、テクスチャ予測部１５２、減算器２４２、直交変換・量子化部２４３、逆直交変換・逆量子化部２４４、加算器２４５、ループフィルタ部２４６、およびフレームメモリ１５５を備える。

減算器２４２は、入力画像ＰＩＮ＃Ｔからテクスチャ予測部１５２から供給される予測画像を減算することによって、予測残差Ｄを生成する。減算器２４２は、生成した予測残差Ｄを、直交変換・量子化部２４３に供給する。

直交変換・量子化部２４３は、予測残差Ｄに対して、直交変換および量子化を行うことで量子化予測残差を生成する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことをさす。また、直交変換の例としては、ＤＣＴ変換（Discrete Cosine Transform）、およびＤＳＴ変換（Discrete Sine Transform）等が挙げられる。また、具体的な量子化過程については、すでに説明した通りであるので、ここではその説明を省略する。直交変換・量子化部２４３は、生成した量子化予測残差を含む変換係数情報を逆直交変換・逆量子化部２４４および可変長符号化部２５に供給する。

テクスチャ予測部１５２、逆直交変換・逆量子化部２４４、加算器２４５、ループフィルタ部２４６、およびフレームメモリ１５５は、それぞれ、階層動画像復号装置１に含まれるテクスチャ予測部１５２、逆直交変換・逆量子化部１５１、加算器１５３、ループフィルタ部１５４、およびフレームメモリ１５５と同様であるので、ここではその説明は省略する。ただし、テクスチャ予測部１５２は、加算器２４５だけでなく減算器２４２にも予測画像を供給する。

テクスチャ予測部１５２のインター予測部１５２Ａの備える残差予測部１５２２は、既に階層動画像復号装置１に置いて説明したように、残差予測フラグres_pred_flagが０の場合には、対象ＰＵのＬＸ予測画像predSampleLXをそのまま出力する。また、残差予測フラグres_pred_flagが１の場合に、対象ＰＵのＬＸ予測画像predSamplesLXに対して、残差予測を行う。残差予測は、予測画像生成の対象とする対象レイヤ（第２のレイヤ画像）とは異なる参照レイヤ（第１のレイヤ画像）の残差resSamplesを、残差予測重み係数インデクスres_weight_indexが示す重み係数res_weightだけ乗算し、対象レイヤのＬＸ予測画像predSamplesLXに加算することで、ＬＸ予測画像を補正することができるため、予測画像の精度が増し、符号化効率を改善する効果を奏する。なお、テクスチャ予測部１５２のインター予測部１５２Ａの備える残差予測部１５２２は、階層動画像復号装置において説明した、残差予測部１５２２の変形例１〜変形例３と対応する残差予測部１５２２ａ、または１５２２ｂ、または１５２２ｃによって構成されてもよい。

＜可変長符号化部２５の詳細＞
以下、可変長符号化部２５における残差予測情報の符号化の詳細を説明する。

図２８は、復号装置における図２２に対応する図面である。なお、Ｓ３０１〜Ｓ３１０は各々、Ｓ４０１〜Ｓ４１０に対応する。

図２８は、可変長符号化部２５において、残差予測情報を含む符号化パラメータを符号化する動作を示す図である。

（Ｓ４０１）可変長符号化部２５は、所定のパラメータセット（例えば、スライスヘッダＳＨ）、所定単位毎に残差予測フラグを符号化するか否かを示す残差予測有効フラグres_pred_enable_flagを符号化する。続いて、各ＣＴＢにおいて、以下の処理を行う。

（Ｓ４０２）ＣＵのループを開始する。ＣＵのループはＣＴＢに含まれる全てのＣＵを順に処理することで行われる。

（Ｓ４０３）ＰＵのループを開始する。ＰＵのループは該ＣＵに含まれる全てのＰＵを順に処理することで行われる。

（Ｓ４０４）ＰＵのループ内では、残差予測情報（res_pred_flag, res_pred_weight）を除く、予測情報ＰＩｎｆｏの内該ＰＵに対応する情報を符号化する。例えば、マージインデックス、マージフラグ、インター予測識別子、参照画像インデックス、推定動きベクトルインデックス、動きベクトル残差と、が符号化される。

（Ｓ４０５）続いて、本ＰＵにおいて、残差予測有効フラグ(res_pred_enable_flag)が１、かつ、所定条件を満たすか否かを判定する（Ｓ４０５）。残差予測有効フラグが１かつ、所定条件を満たす場合（ステップ４０５でＹｅｓ）、残差予測フラグを符号化へ遷移する（Ｓ４０６に遷移）。それ以外の場合（ステップ４０５でＮｏ）、残差予測フラグの符号化は省略される（Ｓ４０９に遷移）。上記所定条件（残差予測が利用可能な状態であるか）を満たすか否かとは、具体的には、（１）〜（３）の条件に関して、各条件の判定式の値をret1, ret2, ret3とすると、例えば、以下の条件（ａ）〜（ｃ）の何れかを満たすことである。なお、retXの値が１の場合を真、０の場合を偽と解釈する。
（１）対象レイヤの現画像と対応する同時刻（poc）の参照レイヤの符号化済画像が参照レイヤのピクチャバッファ上に存在するか否か
（２）対象レイヤの当該ＰＵにおいて、参照画像利用リストフラグpredFlagL0が１の場合、参照画像リストＬ０と参照画像インデックスRefIdxL0から定まる対象レイヤの参照画像と対応する同時刻(poc)の参照レイヤの符号化済画像が存在する否か
（３）対象レイヤの当該ＰＵにおいて、参照画像利用リストフラグpredFlagL1が１の場合、参照画像リストＬ１と参照画像インデックスRefIdxL1から定まる対象レイヤの参照画像と対応する同時刻(poc)の参照レイヤの符号化済画像が存在する否か
ここで、pocとは、ピクチャ順序番号(Picture Ordering Count)を表わし、符号化済画像の表示時刻に関連するパラメータである。
（ａ）インター予測識別子inter_pred_idcがＬ０予測である場合、残差予測Ｌ０予測有効フラグres_predL0_enable_flagを以下の式で導出する。
res_predL0_enable_flag = ret1 && ( ret2 ) ? ・・・条件（１）を満たし、かつ、条件（２）を満たすか否か。
（ｂ）インター予測識別子inter_pred_idcがＬ１予測である場合、残差予測Ｌ１予測有効フラグres_predL1_enable_flagを以下の式で導出する。
res_predL0_enable_flag = ret1 && ( ret3 ) ?
・・・条件（１）を満たし、かつ、条件（３）を満たすか否か。
（ｃ）インター予測識別子inter_pred_idcが双予測である場合、残差予測双予測有効フラグres_predBI_enable_flagを以下の式で導出する。
res_predBI_enable_fla = ret1 && ( ret2 && ret3) ?
・・・条件（１）を満たし、かつ条件（２）を満たし、かつ条件（３）を満たすか否か。なお、双予測に関しては、条件（ｃ）の代わりに条件（ｄ）を用いてもよい。
（ｄ）res_predBI_enable_flag= ret1 && ( ret2 || ret3 ) ? ・・・条件（１）を満たし、かつ、条件（２）または条件（３）の何れかを満たすか否か。

以上、インター予測識別子inter_pred_idcが示す予測モード（Ｌ０予測、Ｌ１予測、双予測）毎に、残差予測を利用可能な状態であるかを判定することで、明示的に残差予測フラグを符号化するか否かを制御することが可能である。従って、残差予測を利用できない場合は、残差予測フラグの符号化を省略することができるため、残差予測フラグの符号化に係る処理量を削減し、かつ、符号量を削減することができる。

（Ｓ４０６）残差予測フラグres_pred_flagを符号化する。

（Ｓ４０７）残差予測フラグres_pred_flagが１であるかを判定する。残差予測フラグが１である場合（Ｓ４０７でＹｅｓ）、残差予測重み係数インデックスを符号化へ遷移する（Ｓ４０８へ遷移）。それ以外の場合は、Ｓ４０９へ遷移する。

（Ｓ４０８）残差予測重み係数インデックスres_pred_weight_idxを符号化する。

（Ｓ４０９）ＰＵ単位のループの終端である。

（Ｓ４１０）ＣＵ単位のループの終端である。

以上の構成の可変長符号化部２５によれば、インター予測識別子inter_pred_idcが示す予測モード（Ｌ０予測、Ｌ１予測、双予測）毎に、残差予測を利用可能な状態であるかを、以下の（１）〜（３）の条件に基づいて判定することで、明示的に残差予測フラグを符号化するか否かを制御することが可能である。従って、残差予測を利用できない場合は、残差予測フラグの符号化を省略することができるため、残差予測フラグの符号化に係る処理量を削減し、かつ、符号量を削減することができる。
（１）対象レイヤの現画像と対応する同時刻の参照レイヤの符号化済画像が参照レイヤのピクチャバッファ上に存在するか否か
（２）対象レイヤの当該ＰＵにおいて、参照画像利用リストフラグpredFlagL0が１の場合、参照画像リストＬ０と参照画像インデックスRefIdxL0から定まる対象レイヤの参照画像と対応する同時刻の参照レイヤの符号化済画像が存在する否か
（３）対象レイヤの当該ＰＵにおいて、参照画像利用リストフラグpredFlagL1が１の場合、参照画像リストＬ１と参照画像インデックスRefIdxL1から定まる対象レイヤの参照画像と対応する同時刻の参照レイヤの符号化済画像が存在する否か
＜可変長符号化部２５の変形例１＞
上述の＜可変長符号化部２５の詳細＞では、図２８のステップＳ４０５において、残差予測有効フラグ(res_pred_enable_flag)が１であるか否かと、所定条件（残差予測が利用可能な状態であるか）を満たすか否かに基づいて、残差予測情報を復号するか否かを判定しているが、これに限定されない。例えば、図５２に示すフロー図のように、ステップＳ４０５をステップＳ４２１とステップＳ４２２に置き換えてもよい。以下、図５２を用いて、可変長符号化２５の変形例１において、残差予測情報を含む符号化パラメータを符号化する動作について説明する。なお、図５２は、復号装置における図３１に対応する図面であり、各ステップＳ３０１〜４、Ｓ３２１〜Ｓ３２２、Ｓ３０６〜Ｓ３１０は各々、Ｓ４０１〜Ｓ４０４、Ｓ４２１〜Ｓ４２２、Ｓ４０６〜Ｓ４１０に対応する。なお、図５２において、ステップＳ４０１〜ステップＳ４０４、ステップＳ４０６〜ステップ４１０は、図２８の各ステップと同一であるため、説明を省略し、ステップＳ４２１、ステップＳ４２２について説明する。

（Ｓ４２１）続いて、本ＰＵにおいて、残差予測利用可フラグ(ResPredAvailableFlag)を導出する。残差予測利用可フラグとは、本ＰＵにおいて、残差予測情報を符号化するか否かを制御するフラグである。

（Ｓ４２２）残差予測利用可フラグ（ResPredAvaiableFlag）の値が１であるか否かを判定する。残差予測利用可フラグが１である場合（ステップＳ４２２においてＹｅｓ）、
残差予測フラグを符号化へ遷移する（Ｓ４０６に遷移）。それ以外の場合、すなわち、残差予測利用可フラグが０である場合（ステップ４２２でＮｏ）、残差予測フラグの符号化は省略される（Ｓ４０９に遷移）。

なお、ステップＳ４２１における残差予測利用可フラグの導出は、図３１のステップＳ３２１と同一であり、＜残差予測利用可フラグの導出について＞において、既述のため詳細な説明を省略する。

以上、可変長符号化部の変形例２によれば、残差予測利用可フラグに基づいて、残差予測情報を明示的に符号化するか否かを制御することが可能である。従って、残差予測利用可フラグが、残差予測情報を符号化しないことを示す場合、残差予測情報に係る符号化の処理量の低減、及び残差予測情報に係る符号量を削減することができる。

＜可変長符号化部２５の変形例２＞
上述の＜可変長符号化部２５の変形例１＞では、図５２のステップＳ４０８において、残差予測フラグ(res_pred_flag)が１で場合に、明示的に残差予測重み係数を示す残差予測重み係数インデックスを復号する構成であるが、これに限定されない。例えば、図５３に示すフロー図のように、ステップＳ４０８をステップＳ４０８’に置き換えてもよい。以下、図５３を用いて、可変長符号化部２５の変形例２において、残差予測情報を含む符号化パラメータを符号化するする動作について説明する。なお、図５３において、ステップＳ４０１〜ステップＳ４０４、ステップＳ４２１〜ステップＳ４２２、ステップＳ４０６，ステップＳ４０９〜ステップＳ４１０は、図５２の各ステップと同一であるため、説明を省略し、ステップＳ４０８’について説明する。

（Ｓ４０７）残差予測フラグ(res_pred_flag)が１の場合（ステップＳ４０７においてＹｅｓ）、ステップＳ４０８’へ遷移する。それ以外の場合は、Ｓ４０９へ遷移する。

（Ｓ４０８’）所定条件に基づいて、残差予測重み係数res_pred_weightを導出する。なお、ステップＳ４０８’における残差予測重み係数の導出は、図４４のステップＳ３０８’と同一であり、＜残差予測重み係数の導出について＞において既述であるため、説明を省略する。

以上、可変長符号部２５の変形例２は、残差予測利用可フラグが１である場合、残差予測情報（残差予測フラグres_pred_flag）を符号化し、それ以外の場合は、残差予測情報を符号化しない。また、残差予測フラグres_pred_flagが１の場合、所定条件に基づいて、当該ＰＵにおいて残差予測を適用時の残差予測重み係数res_pred_weightを導出する。従って、該ＰＵ単位において、残差予測利用可フラグが１のとき、残差予測フラグが符号化されるため、残差予測フラグに係る符号化に関する処理量の低減、及び符号量を低減する効果が得られる。また、残差予測フラグが１の場合、残差予測重み係数を所定条件に基づいて導出するため、残差予測係数重み係数に関するシンタックスの符号化に関する処理量の低減、及び符号量を低減する効果が得られる。

＜可変長符号化部２５の変形例３＞
上述の＜可変長符号化部２５の変形例２＞では、ＰＵ単位で残差予測フラグres_pred_flagを符号化し、残差予測フラグres_pred_flagが１の場合、所定条件に基づいて、当該ＰＵにおいて残差予測適用時の残差予測重み係数res_pred_weightを導出する例を述べたが、これに限定されない。例えば、ＣＵ単位で残差予測フラグres_pred_flagを符号化し、残差予測フラグres_pred_flagが１の場合、上述の＜残差予測重み係数の導出について＞に説明してあるように所定条件に基づいて、残差予測重み係数res_pred_weightを導出する構成としてもよい。以下、図６０を用いて、ＣＵ単位で残差予測フラグを含む場合の符号化データを符号化する動作を説明する。なお、図５９は、ＣＵ単位で残差予測フラグを含む場合の符号化データの構成を示す図である。なお、図６０は、復号装置における図５８に対応する図面である。なお、Ｓ６０１〜Ｓ６１４は各々、Ｓ７０１〜Ｓ７１４に対応する。

（Ｓ７０１）可変長符号化部２５の変形例３は、所定のパラメータセット（例えば、スライスヘッダＳＨ）単位毎に、ＣＵ単位毎に残差予測フラグを符号化するか否かを示す残差予測有効フラグres_pred_enable_flagを符号化する。続いて、各ＣＴＢにおいて、以下の処理を行う。

（Ｓ７０２）ＣＵのループを開始する。ＣＵのループはＣＴＢに含まれる全てのＣＵを順に処理することで行われる。

（Ｓ７０３）ＣＵのループ内では、対象ＣＵのＣＵタイプを示すＣＵタイプ情報、図５９上のシンタックスＳＹＮ３Ａ１が示すスキップフラグ（cu_skip_flag）、または、図５９上のシンタックスＳＹＮ３Ａ３に示す予測モードフラグ(pred_mode_flag)を符号化する。具体的には、スキップＣＵであれば、スキップフラグを１として符号化する。また、またイントラＣＵであれば、スキップフラグを０、予測モードフラグを１として符号化する。また、インターＣＵであれば、スキップフラグ０、予測モードフラグを０として符号化する。なお、インターＣＵの場合は、予測モードフラグの後に、図５９上のＳＹＮ３Ａ４に示すＰＵ分割タイプ情報(part_mode)がさらに符号化されうる。

（Ｓ７０４）対象ＣＵがスキップＣＵ、または、インターＣＵであるか判定する。対象ＣＵがスキップＣＵ、またはインターＣＵである場合（ステップＳ７０４でＹｅｓ）は、ステップＳ７０５へ遷移する。それ以外の場合（ステップＳ７０４でＮｏ）は、ステップＳ７０７へ遷移する。

（Ｓ７０５）＜可変長符号化部２５の詳細＞において既述であるが、図２８に示すステップ４０５に示すように、残差予測有効フラグが１、かつ、所定条件（残差予測が利用可能な状態であるか）を満たすか否かを判定する。判定式が“真”の場合（Ｓ７０５でＹｅｓ）は、ステップＳ７０６へ遷移し、残差予測フラグを符号化する（ステップＳ７０６）。判定式が“偽”の場合（Ｓ７０５でＮｏ）、ステップＳ７０７へ遷移する。

また、ここでの残差予測が利用可能な状態であるかとは、具体的には、（１）〜（３）の条件に関して、各条件の判定式の値を、ret1, ret2, ret3とすると、例えば、以下の条件（ａ）〜（ｃ）の何れかを満たすことである。
（１）対象レイヤの現画像と対応する同時刻（poc）の参照レイヤの符号化済画像（復号画像）が参照レイヤのピクチャバッファ上に存在する否か
（２）対象レイヤの現画像で利用される参照画像リストＬ０に含まれる参照画像のいずれかと対応する同時刻（poc）の参照レイヤの符号化済画像（復号画像）が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否か
（３）対象レイヤの現画像で利用される参照画像リストＬ１に含まれる参照画像のいずれかと対応する同時刻（poc）の参照レイヤの符号化済画像（復号画像）が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否か
（ａ）対象ＣＵを含むスライスのスライスタイプがＰスライスである場合、残差予測Ｐスライス有効フラグres_pred_pslice_enable_flagを以下の式で導出する。
res_pred_pslice_enable_flag = (ret1 && ret2) ? ・・・条件（１）を満たし、かつ、条件（２）を満たすか否か
（ｂ）対象ＣＵを含むスライスのスライスタイプがＢスライスである場合、残差予測Ｂスライス有効フラグres_pred_bslice_enable_flagを以下の式で導出する。
res_pred_bslice_enable_flag = (ret1 && ( ret2 && ret3 )) ? ・・・条件（１）を満たし、かつ条件（２）を満たし、かつ条件（３）を満たすか否か
条件（ｂ）のres_pred_bslice_enable_flagの代わりに、条件（ｃ）を用いてもよい。
（ｃ）対象ＣＵを含むスライスのスライスタイプがＢスライスである場合、残差予測Ｂスライス有効フラグres_pred_bslice_enable_flagを以下の式で導出する。
res_pred_bslice_enable_flag = (ret1 && ( ret2 || ret3 ) ? ・・・条件（１）を満たし、かつ、条件（２）または条件（３）の何れかを満たすか否か。なお、上記残差予測Ｐスライス有効フラグ、及び残差予測Ｂスライス有効フラグは、各ＣＵ単位で実行せずに、各スライス毎に処理順で最初のＣＵにおいて導出し、以降のＣＵにおいて、導出済の各フラグの値を参照する構成としてもよい。こにれよって、残差予測Ｐスライス有効フラグ、及び残差予測Ｂスライス有効フラグの導出回数をスライス単位当たり１回へ低減することができる。

（Ｓ７０７）ＰＵのループを開始する。ＰＵのループは該ＣＵに含まれる全てのＰＵを順に処理することで行われる。

（Ｓ７０８）ＰＵのループ内では、予測情報ＰＩｎｆｏのうち該ＰＵに対応する情報を符号化する。図２８のステップＳ４０４と同一であるため、詳細な説明を省略する。

（Ｓ７０９）残差予測フラグが１であるか判定する。残差予測フラグが１である場合（ステップＳ７０９においてＹｅｓ）
（Ｓ７１０）該ＰＵにおいて残差予測を実際に適用するか否かを示す残差予測可フラグResPredAvailableFlagを導出する。なお、残差予測利用可フラグResPredAvailableFlagの導出は、既述の＜残差予測利用可フラグの導出について＞と同様であるため、説明を省略する。

（Ｓ７１１）残差予測可フラグResPredAvailableFlagが１である場合（ステップＳ７１０でＹｅｓ）、ステップＳ７１２へ遷移し、それ以外の場合（ステップＳ７１１でＮｏ）、ステップＳ７１３へ遷移する。

（Ｓ７１２）所定条件に基づいて、該ＰＵの残差予測重み係数res_pred_weightを導出する。なお、残差予測重み係数の導出は、既述の＜残差予測重み係数の導出について＞と同様であるため、説明を省略する。

（Ｓ７１３）ＰＵ単位のループの終端である。

（Ｓ７１４）ＣＵ単位のループの終端である。

上記可変長符号化部２５の変形例３によれば、スライスタイプ毎に、残差予測を利用可能な状態であるかを、以下の（１）〜（３）の条件に基づいて判定することで、明示的に残差予測フラグを符号化するか否かを制御することが可能である。従って、残差予測を利用できない場合は、残差予測フラグの符号化を省略することができるため、残差予測フラグの符号化に係る処理量を削減することができる。
（１）対象レイヤの現画像と対応する同時刻（poc）の参照レイヤの符号化済画像（復号画像）が参照レイヤのピクチャバッファ上に存在する否か
（２）対象レイヤの現画像で利用される参照画像リストＬ０に含まれる参照画像のいずれかと対応する同時刻（poc）の参照レイヤの符号化済画像（復号画像）が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否か
（３）対象レイヤの現画像で利用される参照画像リストＬ１に含まれる参照画像のいずれかと対応する同時刻（poc）の参照レイヤの符号化済（復号画像）が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否か
さらに、可変長符号化部２５の変形例３によれば、当該ＣＵにおいて残差予測フラグが１である場合、ＰＵ単位毎に実際に残差予測を適用する否かを残差予測利用可フラグに基づいて制御する。残差予測利用可フラグは、既述の＜残差予測利用可フラグの導出について＞と同様に所定条件Ａ１〜Ａ６の何れか、または、各条件の組み合わせに基づいて導出される。従って、各ＰＵの予測パラメータ、ＣＵサイズ、ＰＵサイズ等に基づいて、各ＰＵへの残差予測の適用を制限することができるため、残差予測に係る処理量を低減することが可能である。
（Ａ１）処理対象の予測単位（ＰＵ）のサイズが所定サイズより大きいか否か
（Ａ２）処理対象の予測単位を含むＣＵのサイズが所定サイズ以上であるか否か
（Ａ３）処理対象の予測単位を含むＣＵのＰＵ分割タイプが２Ｎ×２Ｎであるか否か
（Ａ４）処理対象の予測単位のインター予測が単予測であるか否か
（Ａ５）処理対象の予測単位の予測モードがスキップモード、またはマージモードであるか否か
（Ａ６）処理対象の予測単位の参照画像が所定条件を満たすか否か
なお、各条件毎の具体的な効果・作用は、既述の＜残差予測利用可フラグの導出について＞と同様であるため、詳細な説明は省略する。

さらに、可変長符号化部２５の変形例３によれば、残差予測利用可フラグが１である場合、所定条件に基づいて、当該ＰＵにおいて残差予測を適用時の残差予測重み係数res_pred_weightを導出するため、残差予測重み係数に関するシンタックスの符号化に関する処理量の低減、及び符号量を低減する効果が得られる。

（応用例）
図２９および図３０を用いて、上述した階層動画像符号化装置２、および階層動画像復号装置１の応用例について説明する。上述した階層動画像符号化装置２および階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。

まず、上述した階層動画像符号化装置２及び階層動画像復号装置１を、動画像の送信及び受信に利用できることを、図２９を参照して説明する。

図２９の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。図２９の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。

送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２９の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

図２９の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２９の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。

受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２９の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。

また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。

次に、上述した階層動画像符号化装置２及び階層動画像復号装置１を、動画像の記録及び再生に利用できることを、図３０を参照して説明する。

図３０の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。図３０の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図３０の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。

なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。

図３０の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図３０の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図３０の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。

なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。

（ハードウェア的実現およびソフトウェア的実現）
また、上述した階層動画像復号装置１、および階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯディスク（Magneto-Optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）／ＣＤ−Ｒ（CD Recordable）／ブルーレイディスク（Blu-ray Disc:登録商標）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasable and Programmable Read-Only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance、登録商標）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の第１の構成の動画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、既に復号済みの対象レイヤの参照画像と予測パラメータとに基づいて、上記対象レイヤの予測単位の予測画像を生成する予測画像生成手段と、既に復号済みの参照レイヤの参照画像と、対象レイヤの復号対象画像と対応する参照レイヤの復号画像と、上記予測パラメータに基づいて、上記対象レイヤの上記予測単位の推定残差を生成し、上記予測画像生成手段で生成された予測画像と上記推定残差を合成する残差予測手段とを備え、上記残差予測手段は、上記予測パラメータが第１の条件を満たす場合に、第１のフィルタを用いて、上記推定残差を生成し、上記予測パラメータが第２の条件を満たす場合に、上記第１のフィルタと異なる第２のフィルタを用いて、上記推定残差を生成することを特徴とする。

これにより、従来技術に比べて、上記予測パラメータが第１の条件を満たす場合と、上記予測パラメータが第２の条件を満たす場合とで、異なるフィルタを用いて推定残差を生成するため、参照レイヤの推定残差生成時の動き補償に係るメモリアクセスを低減し、符号化効率を維持しつつ残差予測に係る処理量を低減する効果を奏する。

さらに、上記動画像復号装置によれば、上記第１の条件は、対象レイヤのスケーラビリティがＳＮＲスケーラビリティであり、上記第２の条件は、対象レイヤのスケーラビリティが空間スケーラビリティであり、上記第２のフィルタのタップ数は、第１のフィルタのタップ数以下であることを特徴とする。

これにより、従来技術に比べて、対象レイヤのスケーラビリティが、ＳＮＲスケーラビリティである場合と、上記対象レイヤのスケーラビリティが空間スケーラビリティである場合とで、タップ数の異なるフィルタを用いて推定残差を生成するため、参照レイヤの推定残差生成時の動き補償に係るメモリアクセスを低減し、符号化効率を維持しつつ残差予測に係る処理量を低減する効果を奏する。

さらに、上記動画像復号装置によれば、上記第１の条件は、上記予測単位のインター予測が単予測であり、上記第２の条件は、上記予測単位のインター予測が双予測であり、上記第２のフィルタのタップ数は、第１のフィルタのタップ数以下であることを特徴とする。

これにより、従来技術に比べて、予測単位のインター予測が単予測である場合と、上記予測単位のインター予測が双予測である場合とで、タップ数の異なるフィルタを用いて推定残差を生成するため、参照レイヤの推定残差生成時の動き補償に係るメモリアクセスを低減し、符号化効率を維持しつつ残差予測に係る処理量を低減する効果を奏する。

さらに、上記動画像復号装置によれば、上記第１の条件は、上記予測単位を含むスライスのスライスタイプがＢスライスであり、上記第２の条件は、上記予測単位を含むスライスのスライスタイプがＰスライスであり、上記第２のフィルタのタップ数は、第１のフィルタのタップ数以下であることを特徴とする。

これにより、従来技術に比べて、上記予測単位を含むスライスのスライスタイプがＰスライスである場合と、上記予測単位を含むスライスのスライスタイプがＢスライスである場合とで、タップ数の異なるフィルタを用いて推定残差を生成するため、参照レイヤの推定残差生成時の動き補償に係るメモリアクセスを低減し、符号化効率を維持しつつ残差予測に係る処理量を低減する効果を奏する。

本発明の第１の構成の動画像符号化装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを符号化して、符号化の対象となる対象レイヤにおける画像を符号化する画像符号化装置であって、既に符号化済みの対象レイヤの参照画像と予測パラメータに基づいて、上記対象レイヤの予測単位の予測画像を生成する予測画像生成手段と、既に符号化済みの参照レイヤの参照画像と、対象レイヤの符号化対象画像と対応する参照レイヤの符号化済画像と、上記予測パラメータとに基づいて、上記対象レイヤの上記予測単位の推定残差を生成し、上記予測画像生成手段で生成された予測画像と上記推定残差を合成する残差予測手段とを備え、上記残差予測手段は、上記予測パラメータが第１の条件を満たす場合に、第１のフィルタを用いて、上記推定残差を生成し、上記予測パラメータが第２の条件を満たす場合に、上記第１のフィルタと異なる第２のフィルタを用いて、上記推定残差を生成することを特徴とする。

さらに、上記動画像符号化装置によれば、上記第１の条件は、対象レイヤのスケーラビリティがＳＮＲスケーラビリティであり、上記第２の条件は、対象レイヤのスケーラビリティが空間スケーラビリティであり、上記第２のフィルタのタップ数は、第１のフィルタのタップ数以下であることを特徴とする。

さらに、上記動画像符号化装置によれば、上記第１の条件は、対象レイヤのインター予測が単予測であり、上記第２の条件は、対象レイヤのインター予測が双予測であり、上記第２のフィルタのタップ数は、第１のフィルタのタップ数以下であることを特徴とする。

これにより、従来技術に比べて、対象レイヤのインター予測が単予測である場合と、上記対象レイヤのインター予測が双予測である場合とで、タップ数の異なるフィルタを用いて推定残差を生成するため、参照レイヤの推定残差生成時の動き補償に係るメモリアクセスを低減し、符号化効率を維持しつつ残差予測に係る処理量を低減する効果を奏する。

これにより、インター予測識別子inter_pred_idcが示す予測モード（Ｌ０予測、Ｌ１予測、双予測）毎に、残差予測を利用可能な状態であるかを、上記（１）〜（３）の条件に基づいて判定することで、明示的に残差予測フラグを復号するか否かを制御することが可能である。従って、残差予測を利用できない場合は、残差予測フラグの復号を省略することができるため、残差予測フラグの復号に係る処理量を削減することができる。

これにより、インター予測識別子inter_pred_idcが示す予測モード（Ｌ０予測、Ｌ１予測、双予測）毎に、残差予測を利用可能な状態であるかを、上記（１）〜（３）の条件に基づいて判定することで、明示的に残差予測フラグを符号化するか否かを制御することが可能である。従って、残差予測を利用できない場合は、残差予測フラグの符号化を省略することができるため、残差予測フラグの符号化に係る処理量の低減、および残差予測フラグの符号量を削減する効果を奏する。

上記構成によれば、残差予測利用可フラグに基づいて、残差予測情報を明示的に復号するか否かを制御することが可能である。従って、残差予測利用可フラグが、残差予測情報を復号しないことを示す場合、残差予測情報に係る復号を省略することができるため、残差予測情報の復号に係る処理量を削減することができる。

さらに、上記動画像復号装置によれば、上記残差予測利用可フラグ導出手段は、当該予測単位の属するＣＵのサイズが所定サイズ以上の場合、残差予測利用可フラグの値を１へ設定し、当該予測単位の属するＣＵのサイズが所定サイズ未満の場合、残差予測利用可フラグの値を０へ設定することを特徴とする。

一般的に、インター予測において、小サイズの予測単位（ＰＵ）は、大サイズのＰＵに比べて単位面積あたりの処理量が大きい。従って、小サイズのＰＵにおいて残差予測を適用することは処理のボトルネックを招くことにとなりうる。このため、小サイズのＰＵでは、残差予測を抑制することで、処理量が過度に増大することを抑えることができる。従って、上記構成によれば、ＣＵサイズが所定サイズより大きいときのみに残差予測のＯＮ／ＯＦＦ制御するように制限する（それ以外は、残差予測をＯＦＦ）ことによって、所定サイズ以下のＣＵサイズのＣＵに属する予測単位に関して最悪ケースの処理量を削減することができる。また、上記構成によれば、ＣＵサイズが所定サイズ以上のときのみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを復号するため、ＣＵサイズが所定サイズ未満の場合において残差予測に係る予測パラメータのシンタックスの復号に係る処理量を削減することが可能である。

さらに、上記動画像復号装置によれば、上記残差予測利用可フラグ導出手段は、当該予測単位のサイズが所定サイズより大きい場合、残差予測利用可フラグの値を１へ設定し、当該予測単位のサイズが所定サイズ以下の場合、残差予測利用可フラグの値を０へ設定することを特徴とする。

一般的に、インター予測において、小サイズの予測単位（ＰＵ）は、大サイズのＰＵに比べて単位面積あたりの処理量が大きい。従って、小サイズのＰＵにおいて残差予測を適用することは処理のボトルネックを招くことにとなりうる。従って、小サイズのＰＵでは、残差予測を抑制することで、処理量が過度に増大することを抑えることができる。

従って、上記構成によれば、ＰＵサイズが所定サイズより大きいときのみに残差予測のＯＮ／ＯＦＦ制御するように制限する（それ以外は、残差予測をＯＦＦ）ことによって、所定サイズ以下のＰＵサイズとなる予測単位に関して最悪ケースの処理量を削減することができる。また、上記構成によれば、ＰＵサイズが所定サイズより大きいときのみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを復号するため、ＰＵサイズが所定閾値以下の場合において残差予測に係る予測パラメータのシンタックスの復号に係る処理量を削減することが可能である。

さらに、上記動画像復号装置によれば、上記残差予測利用可フラグ導出手段は、当該予測単位の属するＣＵのＰＵ分割タイプが２Ｎ×２Ｎである場合、残差予測利用可フラグの値を１へ設定し、当該予測単位の属するＣＵのＰＵ分割タイプが２Ｎ×２Ｎでない場合、残差予測利用可フラグの値を０へ設定することを特徴とする。

一般的に、インター予測において、ＣＵ（符号化単位）のＰＵ分割タイプとして、２Ｎ×２Ｎの場合は、予測単位とＣＵが一致するため、ＣＵ単位あたり１個のインター予測画像を生成すればよい。一方、それ以外の分割タイプ（２ＮｘＮ、２ＮｘｎＵ、２ＮｘｎＤ、Ｎｘ２Ｎ、ｎＬｘ２Ｎ、ｎＲｘ２Ｎ）の場合、ＣＵに属する予測単位は２個であるため、ＣＵ単位当たりの２個のインター予測画像が生成する必要があるため、２Ｎ×２Ｎと比較して、インター予測画像を生成するために要する処理量が多い。さらに、残差予測を実施する場合、各予測単位毎に、各ＬＸ予測画像に対応する参照レイヤからの推定残差（残差画像）を生成する必要があるため、２Ｎ×２Ｎにおいて残差予測を実施する場合に比べて、それ以外のＰＵ分割タイプは、処理がさらに複雑となる。従って、上記構成によれば、ＰＵ分割タイプが２Ｎ×２Ｎ時のみに残差予測のＯＮ／ＯＦＦ制御するように制限する（２Ｎ×２Ｎ以外のＰＵ分割タイプは、残差予測をＯＦＦ）ことによって、ＣＵ単位当たりの残差予測に係る処理量（推定残差を生成するために必要な動き補償に係る処理量）を削減することが可能である。また、上記構成によれば、ＰＵ分割タイプが２Ｎ×２Ｎ時のみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを復号するため、ＰＵ分割タイプが２Ｎ×２Ｎ以外の残差予測に係る予測パラメータのシンタックスの復号に係る処理量を削減することが可能である。

さらに、上記動画像復号装置によれば、上記残差予測利用可フラグ導出手段は、当該予測単位のインター予測モードが単予測である場合、残差予測利用可フラグの値を１へ設定し、当該予測単位のインター予測モードが双予測である場合、残差予測利用可フラグの値を０へ設定することを特徴とする。

一般的に、インター予測において、双予測は、単予測と比較して双予測の場合、Ｌ０予測画像、Ｌ１予測画像を生成する必要があるため、処理が複雑である。さらに、双予測において、残差予測を実施する場合、各ＬX予測画像に対応する参照レイヤからの推定残差（残差画像）を生成する必要があるため、単予測において、残差予測を実施する場合に比べて、処理がさらに複雑となる。従って、上記構成によれば、単予測時のみに残差予測のＯＮ／ＯＦＦ制御するように制限する（双予測時は、常にＯＦＦ）ことによって、双予測時の残差予測に係る処理量（推定残差を生成するために必要な動き補償に係る処理量）を削減することが可能である。また、上記構成によれば、単予測時のみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを復号するため、単予測以外（双予測）の残差予測に係る予測パラメータのシンタックスの復号に係る処理量を削減することが可能である。

さらに、上記動画像復号装置によれば、上記残差予測利用可フラグ導出手段は、当該予測単位の予測モードが、スキップモード、または、マージモードである場合、残差予測利用可フラグの値を１へ設定し、当該予測単位の予測モードが、スキップモード、または、マージモードのいずれでもない場合、残差予測利用可フラグの値を０へ設定することを特徴とする。

一般的に、インター予測において、スキップモード、または、マージモードが選択される確率が高いため、残差予測をスキップモード、または、マージモードに制限しても、残差予測により得られる符号化効率の改善幅の低下は少ない。従って、上記構成によれば、残差予測による符号化効率の改善幅を維持しつつ、スキップモード、または、マージモードのときのみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを復号するため、スキップモード、または、マージモード以外（通常のインター予測時）の残差予測に係る予測パラメータのシンタックスの復号に係る処理量を削減することが可能である。

さらに、上記動画像復号装置によれば、上記残差予測利用可フラグ導出手段は、当該予測単位の参照する各参照画像が、各参照画像リストに含まれる参照画像のうち、現画像との時間距離が最小となる参照画像である場合、残差予測利用可フラグの値を１へ設定し、それ以外の場合、残差予測利用可フラグの値を０へ設定することを特徴とする。

一般的に、インター予測において、参照画像と現画像との時間距離が近いほど、画像間の相関が高いため、動き補償パラメータとして、参照画像と現画像との時間距離が近い参照画像インデックスをもつ参照画像が選択される確率が非常に高い。従って、インター予測において、参照画像リストＬＸに含まれる参照画像の中で、現画像との時間距離が最小となる参照画像を参照する場合のみ、残差予測の適用を制限しても、残差予測により得られる符号化効率の改善幅の低下は少ない。従って、上記構成によれば、残差予測による符号化効率の改善幅を維持しつつ、推定残差を生成するために参照する参照レイヤの参照画像を、対象レイヤの参照画像リストＬＸに含まれる参照画像の中で、現画像との時間距離が最小となる参照画像と対応する時刻の参照画像へ制限するため、拡張レイヤのピクチャバッファにおいて、保持すべき参照レイヤの参照画像数を削減することが可能である。つまり、残差予測のために保持すべき参照レイヤの参照画像に係るメモリ量を削減することが可能である。また、上記構成によれば、参照画像リストＬＸに含まれる参照画像の中で、現画像との時間距離が最小となる参照画像を参照する場合のみ、残差予測に係る予測パラメータ（残差予測情報）に関するシンタックスを復号するため、それ以外の参照画像を利用する際に残差予測に係る予測パラメータのシンタックスの復号に係る処理量を削減することが可能である。

さらに上記残差予測情報復号手段は、設定した予測残差フラグが残差予測を実施することを示す場合、上記予測パラメータに基づいて、上記推定残差に対する重み係数を導出する残差予測重み係数導出手段を備えることを特徴とする。

上記構成によれば、残差予測重み係数を予測パラメータに基づいて導出するため、残差予測重み係数に関するシンタックスの復号に関する処理量の低減、及び符号量を低減する効果を奏する。

さらに、上記残差予測重み係数導出手段は、当該予測単位のインター予測モードが単予測である場合、重み係数を第１の重み係数へ設定し、当該予測単位のインター予測モードが双予測である場合、重み係数を第２の重み係数へ設定することを特徴とする。

上記構成によれば、当該予測単位のインター予測モードに基づいて、選択確率の高い残差予測の重み係数を暗黙的に設定することが可能である。従って、残差予測の符号化効率の向上幅を損なわずに、残差予測の重み係数に関するシンタックスの復号処理を簡略化することができる。

さらに、上記残差予測重み係数導出手段は、対象レイヤのスケーラビリティが空間スケーラビリティである場合、重み係数を第１の重み係数へ設定し、対象レイヤのスケーラビリティがＳＮＲスケーラビリティである場合、重み係数を第２の重み係数へ設定することを特徴とする。

上記構成によれば、対象レイヤのスケーラビリティに基づいて、選択確率の高い残差予測の重み係数を暗黙的に設定することが可能である。従って、残差予測の符号化効率の向上幅を損なわずに、残差予測の重み係数に関するシンタックスの復号処理を簡略化することができる。

さらに、上記残差予測重み係数導出手段は、当該予測単位のサイズが所定サイズ以下である場合、重み係数を第１の重み係数へ設定し、当該予測単位のサイズが所定サイズより大きい場合、重み係数を第２の重み係数へ設定することを特徴とする。

上記構成によれば、当該予測単位のサイズに基づいて、選択確率の高い残差予測の重み係数を暗黙的に設定することが可能である。従って、残差予測の符号化効率の向上幅を損なわずに、残差予測の重み係数に関するシンタックスの復号処理を簡略化することができる。

さらに、上記残差予測重み係数導出手段は、当該予測単位のマージフラグが０である場合、重み係数を第１の重み係数へ設定し、当該予測単位のマージフラグが１である場合、重み係数を第２の重み係数へ設定することを特徴とする。

上記構成によれば、当該予測単位のマージフラグに基づいて、残差予測の重み係数を暗黙的に設定することが可能である。従って、残差予測の符号化効率の向上幅を損なわずに、残差予測の重み係数に関するシンタックスの復号処理を簡略化することができる。

さらに、上記残差予測重み係数導出手段は、当該予測単位のインター予測モードが単予測であり、かつ、マージフラグが０である場合、重み係数を第１の重み係数へ設定し、当該予測単位のインター予測モードが単予測であり、かつ、マージフラグが１である場合、重み係数を第２の重み係数へ設定し、当該予測単位のインター予測モードが双予測であり、かつ、マージフラグが０である場合、重み係数を第３の重み係数へ設定し、当該予測単位のインター予測モードが双予測であり、かつ、マージフラグが１である場合、重み係数を第４の重み係数へ設定することを特徴とする。

上記構成によれば、マージフラグとインター予測識別子に基づいて残差予測重み係数を導出することにより、マージフラグ、または、インター予測識別子のいずれか一方に基づいて残差予測重み係数を導出する場合に比べて、残差予測重み係数の候補数を最大２から４へ増やすことができるため、さらに残差予測の推定精度を向上させることができる。また、各重み係数と対応付けられた残差予測重み係数インデックス(res_pred_weight_idx)を明示的に符号化／復号せずとも、残差予測フラグ(res_pred_flag)の値が１の場合、上記条件に基づいて、残差予測の重み係数を暗黙的に設定することによって、残差予測の符号化効率の向上幅を損なわずに、残差予測の重み係数に関するシンタックスの符号化／復号処理を簡略化することができる。

さらに、上記残差予測重み係数導出手段は、当該予測単位の各ＬＸ予測に用いる動きベクトルの大きさが所定閾値未満である場合、重み係数を第１の重み係数へ設定し、それ以外の場合には、重み係数を第２の重み係数へ設定することを特徴とする。

上記構成によれば、当該予測単位の動きベクトルの大きさに基づいて、残差予測の重み係数を暗黙的に設定することが可能である。従って、残差予測の符号化効率の向上幅を損なわずに、残差予測の重み係数に関するシンタックスの復号処理を簡略化することができる。

さらに、上記残差予測重み係数導出手段は、当該予測単位の各ＬＸ予測に用いる参照画像と現画像との時間距離が所定閾値未満である場合、重み係数を第１の重み係数へ設定し、それ以外の場合には、重み係数を第２の重み係数へ設定することを特徴とする。

上記構成によれば、当該予測単位の各ＬＸ予測に用いる参照画像と現画像との時間距離に基づいて、残差予測の重み係数を暗黙的に設定することが可能である。従って、残差予測の符号化効率の向上幅を損なわずに、残差予測の重み係数に関するシンタックスの復号処理を簡略化することができる。

上記構成によれば、残差予測利用可フラグに基づいて、残差予測情報を明示的に符号化するか否かを制御することが可能である。従って、残差予測利用可フラグが、残差予測情報を符号化しないことを示す場合、残差予測情報に係る符号化の処理量の低減、及び残差予測情報に係る符号量を削減することができる。

さらに、上記残差予測情報符号化手段は、設定した予測残差フラグが残差予測を実施することを示す場合、上記予測パラメータに基づいて、上記推定残差に対する重み係数を導出する残差予測重み係数導出手段を備えることを特徴とする。

上記構成によれば、残差予測重み係数を予測パラメータに基づいて導出するため、残差予測重み係数に関するシンタックスの符号化に関する処理量の低減、及び符号量を低減する効果を奏する。

これにより、スライスタイプ毎に、残差予測を利用可能な状態であるかを、上記（１）〜（３）の条件に基づいて判定することで、明示的に残差予測フラグを復号するか否かを制御することが可能である。従って、残差予測を利用できない場合は、残差予測フラグの復号を省略することができるため、残差予測フラグの復号に係る処理量を削減する効果を奏する。

これにより、スライスタイプ毎に、残差予測を利用可能な状態であるかを、上記（１）〜（３）の条件に基づいて判定することで、明示的に残差予測フラグを符号化するか否かを制御することが可能である。従って、残差予測を利用できない場合は、残差予測フラグの符号化を省略することができるため、残差予測フラグの符号化に係る処理量の低減、および残差予測フラグの符号量を削減する効果を奏する。

本発明は、画像データが階層的に符号化された符号化データを復号する階層動画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層動画像符号化装置に好適に適用することができる。また、階層動画像符号化装置によって生成され、階層動画像復号装置によって参照される階層符号化データのデータ構造に好適に適用することができる。

１階層動画像復号装置（画像復号装置）
１１ＮＡＬ逆多重化部
１２可変長復号部（復号手段、残差予測利用可フラグ導出手段、残差予測重み係数導出手段）
１３ベース復号部
１４予測パラメータ復元部
１５テクスチャ復元部（予測画像生成手段）
２階層動画像符号化装置（画像符号化装置）
２１予測パラメータ決定部
２２予測情報生成部
２３ベース復号部
２４テクスチャ情報生成部（予測画像生成手段）
２５可変長符号化部（符号化手段、残差予測利用可フラグ導出手段、残差予測重み係数導出手段）
２６ＮＡＬ逆多重化部
１５２Ａインター予測部（予測画像生成手段）
１５２Ｂイントラ予測部
１５２１動き補償部
１５２２残差予測部（残差予測手段）
１５２３重み予測部
１５２２１スケーリング部
１５２２２動き補償部
１５２２３残差生成部
１５２２４残差合成部
１５２２６ＬＸ残差予測制限判定部
１５２２７垂直動きベクトルラウンド部
１５２３０推定残差生成部

Claims

レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、
所定単位毎に残差予測情報を復号するか否かを示す残差予測利用可フラグを導出する残差予測利用可フラグ導出手段と、
所定単位毎に残差予測情報を復号する残差予測情報復号手段と、
既に復号済みの対象レイヤの参照画像と予測パラメータに基づいて、上記対象レイヤの予測単位の予測画像を生成する予測画像生成手段と、
上記残差予測情報が残差予測を実施することを表わす場合に、既に復号済みの参照レイヤの参照画像と、対象レイヤの復号対象画像と対応する参照レイヤの復号画像と、上記予測パラメータとに基づいて、上記対象レイヤの上記予測単位の推定残差を生成し、上記予測画像生成手段で生成された予測画像と上記推定残差を合成する残差予測手段とを備え、
上記残差予測情報復号手段は、上記残差予測利用可フラグが残差予測情報を復号することを示す場合、符号化データから残差予測情報のうち残差予測を実施するか否かを示す残差予測フラグに関するシンタックス要素値を復号し、前記シンタックス要素値に基づいて残差予測フラグを設定し、
上記残差予測情報復号手段は、上記残差予測利用可フラグが残差予測情報を復号しないことを示す場合、上記残差予測フラグに残差予測を実施しないことを示す値を設定することを特徴とする画像復号装置。
上記残差予測利用可フラグ導出手段は、当該予測単位の属するＣＵのサイズが所定サイズ以上の場合、残差予測利用可フラグの値を１へ設定し、当該予測単位の属するＣＵのサイズが所定サイズ未満の場合、残差予測利用可フラグの値を０へ設定することを特徴とする請求項１に記載の画像復号装置。
上記残差予測利用可フラグ導出手段は、当該予測単位のサイズが所定サイズより大きい場合、残差予測利用可フラグの値を１へ設定し、当該予測単位のサイズが所定サイズ以下の場合、残差予測利用可フラグの値を０へ設定することを特徴とする請求項１に記載の画像復号装置。
上記残差予測利用可フラグ導出手段は、当該予測単位の属するＣＵのＰＵ分割タイプが２Ｎ×２Ｎである場合、残差予測利用可フラグの値を１へ設定し、当該予測単位の属するＣＵのＰＵ分割タイプが２Ｎ×２Ｎでない場合、残差予測利用可フラグの値を０へ設定することを特徴とする請求項１に記載の画像復号装置。
上記残差予測利用可フラグ導出手段は、当該予測単位のインター予測モードが単予測である場合、残差予測利用可フラグの値を１へ設定し、当該予測単位のインター予測モードが双予測である場合、残差予測利用可フラグの値を０へ設定することを特徴とする請求項１に記載の画像復号装置。
上記残差予測利用可フラグ導出手段は、当該予測単位の予測モードが、スキップモード、または、マージモードである場合、残差予測利用可フラグの値を１へ設定し、当該予測単位の予測モードが、スキップモード、または、マージモードのいずれでもない場合、残差予測利用可フラグの値を０へ設定することを特徴とする請求項１に記載の画像復号装置。
上記残差予測利用可フラグ導出手段は、当該予測単位の参照する各参照画像が、各参照画像リストに含まれる参照画像のうち、現画像との時間距離が最小となる参照画像である場合、残差予測利用可フラグの値を１へ設定し、それ以外の場合、残差予測利用可フラグの値を０へ設定することを特徴とする請求項１に記載の画像復号装置。
上記残差予測情報復号手段は、さらに、設定した予測残差フラグが残差予測を実施することを示す場合、上記予測パラメータに基づいて、上記推定残差に対する重み係数を導出する残差予測重み係数導出手段を備えることを特徴とする請求項１乃至７に記載の画像復号装置。
上記残差予測重み係数導出手段は、当該予測単位のインター予測モードが単予測である場合、重み係数を第１の重み係数へ設定し、当該予測単位のインター予測モードが双予測である場合、重み係数を第２の重み係数へ設定することを特徴とする請求項８に記載の画像復号装置。
上記残差予測重み係数導出手段は、対象レイヤのスケーラビリティが空間スケーラビリティである場合、重み係数を第１の重み係数へ設定し、対象レイヤのスケーラビリティがＳＮＲスケーラビリティである場合、重み係数を第２の重み係数へ設定することを特徴とする請求項８に記載の画像復号装置。
上記残差予測重み係数導出手段は、当該予測単位のサイズが所定サイズ以下である場合、重み係数を第１の重み係数へ設定し、当該予測単位のサイズが所定サイズより大きい場合、重み係数を第２の重み係数へ設定することを特徴とする請求項８に記載の画像復号装置。
上記残差予測重み係数導出手段は、当該予測単位のマージフラグが０である場合、重み係数を第１の重み係数へ設定し、当該予測単位のマージフラグが１である場合、重み係数を第２の重み係数へ設定することを特徴とする請求項８に記載の画像復号装置。
上記残差予測重み係数導出手段は、
当該予測単位のインター予測モードが単予測であり、かつ、マージフラグが０である場合、重み係数を第１の重み係数へ設定し、
当該予測単位のインター予測モードが単予測であり、かつ、マージフラグが１である場合、重み係数を第２の重み係数へ設定し、
当該予測単位のインター予測モードが双予測であり、かつ、マージフラグが０である場合、重み係数を第３の重み係数へ設定し、
当該予測単位のインター予測モードが双予測であり、かつ、マージフラグが１である場合、重み係数を第４の重み係数へ設定することを特徴とする請求項８に記載の画像復号装置。
上記残差予測重み係数導出手段は、当該予測単位の各ＬＸ予測に用いる動きベクトルの大きさが所定閾値未満である場合、重み係数を第１の重み係数へ設定し、それ以外の場合には、重み係数を第２の重み係数へ設定することを特徴とする請求項８に記載の画像復号装置。
上記残差予測重み係数導出手段は、当該予測単位の各ＬＸ予測に用いる参照画像と現画像との時間距離が所定閾値未満である場合、重み係数を第１の重み係数へ設定し、それ以外の場合には、重み係数を第２の重み係数へ設定することを特徴とする請求項８に記載の画像復号装置。
レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを符号化して、符号化の対象となる対象レイヤにおける画像を符号化する画像符号化装置であって、
所定単位毎に残差予測情報を符号化するか否かを示す残差予測利用可フラグを導出する残差予測利用可フラグ導出手段と、
所定単位毎に残差予測情報を符号化する残差予測情報符号化手段と、
既に符号化済みの対象レイヤの参照画像と予測パラメータに基づいて、上記対象レイヤの予測単位の予測画像を生成する予測画像生成手段と、
既に符号化済みの参照レイヤの参照画像と、対象レイヤの符号化対象画像と対応する参照レイヤの符号化済画像と、上記予測パラメータとに基づいて、上記対象レイヤの上記予測単位の推定残差を生成し、上記予測画像生成手段で生成された予測画像と上記推定残差を合成する残差予測手段とを備え、
上記残差予測情報符号化手段は、上記残差予測利用可フラグが残差予測情報を符号化することを示す場合、残差予測情報を符号化し、上記残差予測利用可フラグが残差予測情報を符号化しないことを示す場合、残差予測情報の符号化を省略することを特徴とする画像符号化装置。
上記残差予測情報符号化手段は、さらに、設定した予測残差フラグが残差予測を実施することを示す場合、上記予測パラメータに基づいて、上記推定残差に対する重み係数を導出する残差予測重み係数導出手段を備えることを特徴とする請求項１６に記載の画像符号化装置。
レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、
所定単位毎に残差予測を実施するか否かを示す残差予測フラグを復号する残差予測フラグ復号手段と、
既に復号済みの対象レイヤの参照画像と予測パラメータに基づいて、上記対象レイヤの予測単位の予測画像を生成する予測画像生成手段と、
上記残差予測フラグが残差予測を実施することを表わす場合に、既に復号済みの参照レイヤの参照画像と、対象レイヤの復号対象画像と対応する参照レイヤの復号画像と、上記予測パラメータとに基づいて、上記対象レイヤの上記予測単位の推定残差を生成し、上記予測画像生成手段で生成された予測画像と上記推定残差を合成する残差予測手段とを備え、
上記残差予測フラグ復号手段は、以下の（１）〜（３）の条件に基づいて、残差予測フラグを復号するか否かを制御することを特徴とする画像復号装置。
（１）対象レイヤの現画像と対応する同時刻の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に存在する否か
（２）対象レイヤの現画像で利用される参照画像リストＬ０に含まれる参照画像のいずれかと対応する同時刻の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否か
（３）対象レイヤの現画像で利用される参照画像リストＬ１に含まれる参照画像のいずれかと対応する同時刻の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否か
レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを符号化して、符号化の対象となる対象レイヤにおける画像を符号化する画像符号化装置であって、
所定単位毎に残差予測を実施するか否かを示す残差予測フラグを符号化する残差予測フラグ符号化手段と、
既に符号化済みの対象レイヤの参照画像と予測パラメータに基づいて、上記対象レイヤの予測単位の予測画像を生成する予測画像生成手段と、
既に符号化済みの参照レイヤの参照画像と、対象レイヤの符号化対象画像と対応する参照レイヤの符号化済画像と、上記予測パラメータとに基づいて、上記対象レイヤの上記予測単位の推定残差を生成し、上記予測画像生成手段で生成された予測画像と上記推定残差を合成する残差予測手段とを備え、
上記残差予測フラグ符号化手段は、以下の（１）〜（３）の条件に基づいて、残差予測フラグを符号化するか否かを制御することを特徴とする画像符号化装置。
（１）対象レイヤの現画像と対応する同時刻の参照レイヤの符号化済画像が参照レイヤのピクチャバッファ上に存在する否か
（２）対象レイヤの現画像で利用される参照画像リストＬ０に含まれる参照画像のいずれかと対応する同時刻の参照レイヤの符号化済画像が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否か
（３）対象レイヤの現画像で利用される参照画像リストＬ１に含まれる参照画像のいずれかと対応する同時刻の参照レイヤの符号化済画像が参照レイヤのピクチャバッファ上に少なくとも１つは存在するか否か
レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、
所定単位毎に残差予測を実施するか否かを示す残差予測フラグを復号する残差予測フラグ復号手段と、
既に復号済みの対象レイヤの参照画像と予測パラメータに基づいて、上記対象レイヤの予測単位の予測画像を生成する予測画像生成手段と、
上記残差予測フラグが残差予測を実施することを表わす場合に、既に復号済みの参照レイヤの参照画像と、対象レイヤの復号対象画像と対応する参照レイヤの復号画像と、上記予測パラメータとに基づいて、上記対象レイヤの上記予測単位の推定残差を生成し、上記予測画像生成手段で生成された予測画像と上記推定残差を合成する残差予測手段とを備え、
上記残差予測フラグ復号手段は、以下の（１）〜（３）の条件に基づいて、残差予測フラグを復号するか否かを制御することを特徴とする画像復号装置。
（１）対象レイヤの現画像と対応する同時刻の参照レイヤの復号画像が参照レイヤのピクチャバッファ上に存在するか
（２）対象レイヤの当該予測単位において、参照画像利用リストフラグpredFlagL0が１の場合、参照画像リストＬ０と参照画像インデックスRefIdxL0から定まる対象レイヤの参照画像と対応する同時刻の参照レイヤの復号画像が存在するか
（３）対象レイヤの当該予測単位において、参照画像利用リストフラグpredFlagL1が１の場合、参照画像リストＬ１と参照画像インデックスRefIdxL1から定まる対象レイヤの参照画像と対応する同時刻の参照レイヤの復号画像が存在するか
レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを符号化して、符号化の対象となる対象レイヤにおける画像を符号化する画像符号化装置であって、
所定単位毎に残差予測を実施するか否かを示す残差予測フラグを符号化する残差予測フラグ符号化手段と、
既に符号化済みの対象レイヤの参照画像と予測パラメータに基づいて、上記対象レイヤの予測単位の予測画像を生成する予測画像生成手段と、
既に符号化済みの参照レイヤの参照画像と、対象レイヤの符号化対象画像と対応する参照レイヤの符号化済画像と、上記予測パラメータとに基づいて、上記対象レイヤの上記予測単位の推定残差を生成し、上記予測画像生成手段で生成された予測画像と上記推定残差を合成する残差予測手段とを備え、
上記残差予測フラグ符号化手段は、以下の（１）〜（３）の条件に基づいて、残差予測フラグを符号化するか否かを制御することを特徴とする画像符号化装置。
（１）対象レイヤの現画像と対応する同時刻の参照レイヤの符号化済画像が参照レイヤのピクチャバッファ上に存在するか
（２）対象レイヤの当該予測単位において、参照画像利用リストフラグpredFlagL0が１の場合、参照画像リストＬ０と参照画像インデックスRefIdxL0から定まる対象レイヤの参照画像と対応する同時刻の参照レイヤの符号化済画像が存在するか
（３）対象レイヤの当該予測単位において、参照画像利用リストフラグpredFlagL1が１の場合、参照画像リストＬ１と参照画像インデックスRefIdxL1から定まる対象レイヤの参照画像と対応する同時刻の参照レイヤの符号化済画像が存在するか