JP6085601B2 - 画像復号装置、および画像符号化装置 - Google Patents

Description

本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、および画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置に関する。

通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。

動画像符号化方式としては、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣや、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）が知られている（非特許文献１）。

これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。

イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。

インター予測については、フレーム間の動き補償により予測画像が生成される。動き補償に関する情報（動き補償パラメータ）は、たいていの場合、符号量の削減のため直接符号化されない。そこで、インター予測では、対象ブロック周辺の復号状況等に基づく動き補償パラメータの推定が行われる。

例えば、ＨＥＶＣでは、マージモードの予測単位においては、動き補償パラメータ候補（マージ候補）のリストを生成し、リストからインデックスで選択されるマージ候補を用いて、予測画像の動き補償を行う。マージ候補のリストには、隣接領域の動き情報に基づき導出される空間候補が含まれる。空間候補の導出において、隣接領域は、復号対象となる予測単位の左上、右上、および右下に位置する領域から選択される。

一方、マージモード以外の予測単位においては、動き補償パラメータ候補（予測動きベクトル候補）のリストを生成し、リストからインデックスで選択される動き補償候補と、差分動きベクトルから、動き補償パラメータを導出し動き補償を行う。

また、近年、必要なデータレートに従って、画像を階層的に符号化する階層符号化技術が提案されている。

階層符号化の方式としては、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔの標準としてＨ．２６４／ＡＶＣ Ａｎｎｅｘ Ｇ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＳＶＣ）が挙げられる。

ＳＶＣでは空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティをサポートする。例えば空間スケーラビリティの場合、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとしてＨ．２６４／ＡＶＣで符号化する。次に上位レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う。

レイヤ間予測としては、動き予測に関する情報を同時刻の下位レイヤの情報から予測する動き情報予測、あるいは同時刻の下位レイヤの復号画像をアップサンプリングした画像から予測するテクスチャ予測がある（非特許文献２）。上記動き情報予測では、参照レイヤの動き情報を推定値として動き情報が符号化される。

「High efficiency video coding (HEVC) text specification draft 7（JCTVC-I1003_d1）」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 9th Meeting: Geneva, CH, 27 April - 7 May 2012（２０１２年４月公開） ITU-T H.264 「Advanced video coding for generic audiovisual services」（２００７年１１月公開）

しかしながら、上述のようなマージ候補の導出に係る従来技術では、候補リストに含まれる動き情報に左上領域に対応する動き情報が多く、右下領域に対応する動き情報が少ない。これは、同じレイヤでは、右下領域に対応する動き情報は未導出であるので、マージ候補として利用できないためである。このため、動き情報の推定精度が十分でなく、所望の符号量削減効果が得られない場合があった。

本発明は、上記問題に鑑みてされたものであり、その目的は、階層符号化における動き情報候補リストの生成において、多様な動き情報を候補として導出することで動き情報の符号量削減を図ることのできる画像復号装置および画像符号化装置を実現することにある。

上記課題を解決するために、本発明に係る画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける動き情報を復元し、復元した動き情報に基づく動き補償予測によって生成した予測画像を用いて、上記対象レイヤにおける画像を復元する画像復号装置であって、上記対象レイヤにおける予測画像生成の処理対象となる対象予測単位において、復号済みレイヤである参照レイヤを参照し、該対象予測単位を含む周辺領域で復号未済の領域に対応する該参照レイヤ上の領域において復号されている動き情報を、上記対象予測単位における動き情報を推定するための候補として導出する層間候補導出手段を備えることを特徴とする。

上記画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、画像を復元するいわゆる階層画像復号装置である。

このような階層符号化方式は、（ＳＶＣ；Scalable Video Coding）と称されることもあり、例えば、H.264/AVC Annex G SVCにおいて標準化されている。また、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”および、“画質”が含まれる。以下、より高品質に対応するレイヤは、より上位のレイヤであるといい、より低品質に対応するレイヤは、より下位のレイヤであるという。

上記構成において、対象レイヤとは、復号の対象となっているレイヤのことをいう。

上記構成によれば、対象レイヤにおける動き情報を復元し、復元した動き情報に基づく動き補償予測によって生成した予測画像を用いて、上記対象レイヤにおける画像を復元する。このように動き情報に基づく動き補償予測による予測方式はインター予測方式と称される場合もある。

上記構成によれば、上記対象レイヤにおける予測画像生成の処理対象となる対象予測単位において、復号済みレイヤである参照レイヤを参照する。

階層符号化方式では、対象レイヤの復号に際して、画像情報が復号済みのレイヤが参照されることがある。このように、対象レイヤの復号に際して、参照されるレイヤのことを参照レイヤと称する。参照レイヤは、一般的には、対象レイヤの下位レイヤである。しかしながら、対象レイヤよりも下位の全てのレイヤを参照しなくてもよく、少なくとも対象レイヤにおける復号に必要な情報が復号された下位レイヤが参照されればよい。

上記構成によれば、対象予測単位を含む周辺領域で復号未済の領域に対応する該参照レイヤ上の領域において復号されている動き情報を、上記対象予測単位における動き情報を推定するための候補として導出する。

対象予測単位を含む周辺領域とは、対象予測単位から所定範囲内にある領域であって、対象予測単位を含む領域のことである。対象予測単位を含む周辺領域には、例えば、対象予測単位の隣接周辺領域が含まれる。復号未済の領域とは、動き情報が復号されていない領域という意味である。

なお、上記動き情報を推定するための候補とは、対象予測単位周辺の復号状況等に基づく動き補償パラメータの推定のための情報である。例えば、ＨＥＶＣにおけるマージ候補に相当する。このような候補が１または複数リスト化される。このリストのことをマージ候補リストと称することもある。

上記構成によれば、同じレイヤでは未復号のため利用できない領域に対応する参照領域上の動き情報をマージ候補リストに追加することができる。

これにより、階層符号化における動き情報候補リストの生成において、多様な動き情報を候補として導出することで動き情報の符号量削減を図ることができるという効果を奏する。

本発明に係る画像復号装置では、上記対象予測単位を含む周辺領域で復号未済の領域に対応する該参照レイヤ上の領域は、該対象予測単位に対応する上記参照レイヤ上の領域における右下画素を含む所定範囲の領域である右下領域であることが好ましい。

上記構成によれば、同じレイヤでは未復号のため利用できない対象予測単位の右下画素を取り囲む所定範囲の領域における動き情報を、動き情報の候補として追加することができる。参照レイヤ上の上記領域における右下画素周辺で導出された動き情報は、対象レイヤの左上領域における動き情報と性質がより異なる可能性が高いため、より高い符号量削減効果が見込める。

本発明に係る画像復号装置では、上記右下領域は、上記対象予測単位に対応する参照レイヤ上の領域内の右下画素を含む動き情報記録単位であることが好ましい。

上記構成によれば、同じレイヤでは未復号のため利用できない対象予測単位の右下画素に対応する動き情報を、動き情報の候補として追加することができる。右下画素に対応する動き情報は、左上領域における動き情報と性質がより異なる可能性が高いため、より高い符号量削減効果が見込める。

本発明に係る画像復号装置では、上記右下領域は、上記対象予測単位に対応する参照レイヤ上の領域内の右下画素を含む動き情報記録単位の右、下、および、右下のいずれかに隣接する動き情報記録単位であることが好ましい。

対象予測単位または対象予測単位に対応する参照レイヤ上における領域が小さい場合、当該参照レイヤ上における領域における左上の位置に対応する画素と右下の位置に対応する画素とが同じ動き情報の記録単位に属している可能性がある。

上記構成によれば、上記対象予測単位に対応する参照レイヤ上の領域内の右下画素を含む動き情報記録単位の右、下、および、右下のいずれかに隣接する動き情報記録単位の動き情報を用いることができる。このため、対応参照領域における左上の部分と異なる記録単位から動き情報を導出できる可能性が高まる。これにより、多様な動き情報を導出できる可能性が高まる。

本発明に係る画像復号装置では、上記層間候補導出手段は、上記右下領域における動き情報を含む複数の動き情報を、上記候補として導出し、かつ、上記右下領域における動き情報を、他の動き情報よりも優先して導出することが好ましい。

上記構成によれば、上記右下領域における動き情報を含む複数の動き情報が使用不可の場合でも、動き情報の候補を導出することができる場合がある。

本発明に係る画像復号装置では、上記層間候補導出手段は、上記他の動き情報として、少なくとも、上記対象予測単位に対応する参照レイヤ上の領域内の左上画素を含む動き情報記録単位における動き情報を導出することが好ましい。

上記構成によれば、右下画素を含む動き情報記録単位における動き情報が利用不可であっても、動き情報が利用可能な可能性が高い領域の動き情報を候補として追加することができる。

本発明に係る画像復号装置では、さらに、候補として導出される動き情報が、候補として導出済みの動き情報と一致するか否かを判定する判定手段を備え、上記層間候補導出手段は、候補として導出しようとする上記他の動き情報が、上記右下領域における動き情報と一致しないと判定手段が判定したとき、上記他の動き情報を候補として導出することが好ましい。

上記構成によれば、候補として導出しようとする動き情報の重複を避けることができる。

本発明に係る画像復号装置では、さらに、対象レイヤにおいて復号された復号情報に基づいて動き情報の候補を導出する対象レイヤ候補導出手段を備え、上記一致判定手段は、上記層間候補導出手段が候補として導出する動き情報と、上記対象レイヤ候補導出手段が候補として導出する動き情報との一致判定を行わないことが好ましい。

上記層間候補導出手段が候補として導出する動き情報と、上記対象レイヤ候補導出手段が候補として導出する動き情報との一致判定を行う場合、上記層間候補導出手段による動き情報の候補導出処理と、上記対象レイヤ候補導出手段による動き情報の候補導出処理との並列実行性が低下する。例えば、上述のような一致判定を行う場合、上記層間候補導出手段による動き情報の候補導出処理が終了してから、上記対象レイヤ候補導出手段による動き情報の候補導出処理を直列的に実行することになる。

これに対して、上記構成によれば、対象レイヤ候補導出手段が候補として導出する動き情報は一致判定する一方で、上述のような一致判定を行わない。

このため、上記層間候補導出手段による動き情報の候補導出処理と、上記対象レイヤ候補導出手段による動き情報の候補導出処理との並列実行性を高めることができる。

本発明に係る画像復号装置では、さらに、対象予測単位の周辺領域において復号された動き情報に基づいて動き情報の候補を導出する空間動き情報候補導出手段と、候補として導出される動き情報が、候補として導出済みの動き情報と一致するか否かを判定する判定手段と、を備え、上記層間候補導出手段は、候補として導出しようとする動き情報が、上記空間動き情報候補導出手段によって導出された動き情報の候補のうち、最も優先度の高い動き情報の候補と一致しないと判定手段が判定したとき、上記動き情報を候補として導出することが好ましい。

上記構成によれば、層間候補導出手段が候補として導出しようとする動き情報が、上記空間動き情報候補導出手段によって導出された動き情報の候補のうち、最も優先度の高い動き情報の候補と一致しないときに、層間候補導出手段は、上記動き情報を候補として導出する。

よって、最も優先度の高い動き情報が重複して導出されることを防ぎつつ、並列性を高めることができる。

いかえれば、並列性の低下を抑えつつ、同一のマージ候補が候補リストに含まれる可能性を低減できる。

本発明に係る画像復号装置では、さらに、対象予測単位が属するピクチャとは別のピクチャにおいて復号された動き情報に基づいて動き情報の候補を導出する時間動き情報候補導出手段を備え、上記時間動き情報候補導出手段は、上記層間候補導出手段による動き情報の候補導出処理が実行される場合、動き情報の候補導出処理を実行しないことが好ましい。

本発明に係る画像復号装置では、さらに、対象予測単位が属するピクチャとは別のピクチャにおいて復号された動き情報に基づいて動き情報の候補を導出する時間動き情報候補導出手段を備え、上記層間候補導出手段は、上記時間動き情報候補導出手段による動き情報の候補導出処理が実行される場合、動き情報の候補導出処理を実行しないことが好ましい。

層間候補導出手段および時間動き情報候補導出手段の両方が動き情報の候補を導出する場合における動き情報の符号量削減幅は、何れか一方が動き情報の候補を導出する場合における動き情報の符号量削減幅と大きな差がない。

上記構成によれば、層間候補導出手段により動き情報の候補を導出する場合、時間動き情報候補導出手段が、動き情報の候補を導出しない。

その結果、動き情報の符号量が大きく増加することを抑えつつ、時間動き情報候補導出手段が動き情報の候補の導出に必要な処理量、および、参照画像の動きベクトルを記録するメモリ量を削減することができる。なお、逆もまた同様のことがいえる。

上記課題を解決するために、本発明に係る画像符号化装置は、レイヤごとに異なる品質の画像に関する画像情報を階層的に符号化して階層符号化データを生成する際に、符号化の対象となる対象レイヤにおいて導出した動き情報に基づく動き補償予測によって生成した予測画像を、上記対象レイヤにおける入力原画像から減算し、上記対象レイヤにおける予測残差を生成する画像符号化装置であって、上記対象レイヤにおける予測画像生成の処理対象となる対象予測単位において、復号済みレイヤである参照レイヤを参照し、該対象予測単位を含む周辺領域で復号未済の領域に対応する該参照レイヤ上の領域において復号されている動き情報を、上記対象予測単位における動き情報を推定するための候補として導出する層間候補導出手段を備えることを特徴とする。

このように構成した画像符号化装置も本発明の範疇であり、この場合においても、上記画像復号装置と同様の作用・効果を得ることができる。

また、上記画像符号化装置に生成され、上記画像復号装置において復号される階層符号化データのデータ構造も本発明の範疇である。

本発明に係る画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける動き情報を復元し、復元した動き情報に基づく動き補償予測によって生成した予測画像を用いて、上記対象レイヤにおける画像を復元する画像復号装置であって、上記対象レイヤにおける予測画像生成の処理対象となる対象予測単位において、復号済みレイヤである参照レイヤを参照し、該対象予測単位を含む周辺領域で復号未済の領域に対応する該参照レイヤ上の領域において復号されている動き情報を、上記対象予測単位における動き情報を推定するための候補として導出する層間候補導出手段を備える構成である。

本発明に係る画像符号化装置は、レイヤごとに異なる品質の画像に関する画像情報を階層的に符号化して階層符号化データを生成する際に、符号化の対象となる対象レイヤにおいて導出した動き情報に基づく動き補償予測によって生成した予測画像を、上記対象レイヤにおける入力原画像から減算し、上記対象レイヤにおける予測残差を生成する画像符号化装置であって、上記対象レイヤにおける予測画像生成の処理対象となる対象予測単位において、復号済みレイヤである参照レイヤを参照し、該対象予測単位を含む周辺領域で復号未済の領域に対応する該参照レイヤ上の領域において復号されている動き情報を、上記対象予測単位における動き情報を推定するための候補として導出する層間候補導出手段を備える構成である。

よって、階層符号化における動き情報候補リストの生成において、多様な動き情報を候補として導出することで動き情報の符号量削減を図ることができるという効果を奏する。

本発明の一実施形態に係る階層動画像復号装置に含まれるマージ候補導出部の構成について例示する機能ブロック図である。 本発明の実施形態に係る階層符号化データのレイヤ構造を説明するための図であって、（ａ）は、階層動画像符号化装置側について示しており、（ｂ）は、階層動画像復号装置側について示している。 本発明の実施形態に係る階層符号化データの構成を説明するための図であって、（ａ）は、シーケンスＳＥＱを規定するシーケンスレイヤを示しており、（ｂ）は、ピクチャＰＩＣＴを規定するピクチャレイヤを示しており、（ｃ）は、スライスＳを規定するスライスレイヤを示しており、（ｄ）は、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤを示しており、（ｅ）は、ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示している。 ＰＵ分割タイプのパターンを示す図であり、（ａ）〜（ｈ）は、それぞれ、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤの場合のパーティション形状について示している。 上記階層動画像復号装置の概略的構成を示す機能ブロック図である。 上記階層動画像復号装置が備える予測パラメータ復元部の概略的構成を示す機能ブロック図である。 上記階層動画像復号装置において利用可能なイントラ予測の方向について示す図である。 イントラ予測モードと、当該イントラ予測モードに対応付けられている名前とを示す図である。 上記階層動画像復号装置が備えるテクスチャ復元部の概略的構成を示す機能ブロック図である。 上記階層動画像復号装置が備えるベース復号部の概略的構成を示す機能ブロック図である。 上記マージ候補導出部が備える空間マージ候補導出部の動作を説明するための図である。 上記マージ候補導出部が備えるレイヤ間マージ候補導出部の動作を示す図である。 上記マージ候補導出部が備える時間マージ候補導出部の動作を説明する図である。 マージ候補組み合わせリストの例を示す図である。 上記マージ候補導出部が備えるゼロマージ候補導出部の動作を示す図である。 上記マージ候補導出部の動作の流れの一例を示すフロー図である。 上記レイヤ間マージ候補導出部の別の動作について例示する図である。（ａ）〜（ｃ）は、２個以上の位置から、レイヤ間マージ候補を導出する例を示す。（ｄ）は、レイヤ間マージ候補の導出を禁止する例を示す。 上記マージ候補導出部の動作の流れの別の例を示すフロー図である。 上記マージ候補導出部の変形例に係る構成について例示する機能ブロック図である。 スキャン順がラスタスキャン順である場合の復号未済の領域について説明するための図である。 スキャン順がＺスキャン順である場合の復号未済の領域について説明するための図である。 本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。 上記階層動画像符号化装置が備える予測パラメータ復元部の概略的構成を示す機能ブロック図である。 上記階層動画像符号化装置において利用可能なイントラ予測の方向について示す図である。 上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。 上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。 本発明の一実施形態に係る階層動画像復号装置に含まれるＰＵ分割タイプ導出部の構成について例示する機能ブロック図である。 上記ＰＵ分割タイプ導出部が備える参照ＣＵ設定部が、対象レイヤ上の対象フレームに含まれる対象ＣＵに対して参照ＣＵを設定する例について説明する図である。 図２８の参照ＣＵの設定について、より具体的に示した図である。 参照ＣＵの右下画素の位置の参照領域における位置を判定した結果を用いて、ＰＵ分割タイプを設定する手法について示した図である。 参照ＣＵの右下画素の位置の参照領域における位置を判定した結果を用いて、ＰＵ分割タイプを設定する手法について示した図である。 参照ＣＵの右下画素の位置の参照領域における位置を判定した結果を用いて、ＰＵ分割タイプを設定する手法について示した図である。 参照ＣＵの右下画素の位置の参照領域における位置を判定した結果を用いて、ＰＵ分割タイプを設定する手法について示した図である。 右下画素の位置を判定する手法についてより具体的に説明する図である。 右下画素の位置を判定する手法についてより具体的に説明する図である。 参照ＣＵと参照領域との重複領域の重複の度合いを判定した結果を用いて、ＰＵ分割タイプを決定する手法について示した図である。 参照ＣＵと参照領域との重複領域の重複の度合いを判定した結果を用いて、ＰＵ分割タイプを決定する手法について示した図である。 参照ＣＵと参照領域との重複領域の重複の度合いを判定した結果を用いて、ＰＵ分割タイプを決定する手法について示した図である。 重複領域の重複の度合いの判定についてより具体的に説明するための図である。 重複領域の重複の度合いの判定についてより具体的に説明するための図である。 シンタックス要素値とＣＵタイプとの関係を示すテーブルである。 coding_unitでbase_mode_flagを符号化する場合のシンタックステーブルである。 prediction_unitでbase_mode_flagを判定する場合のシンタックステーブルである。 階層動画像復号装置におけるベーススキップＣＵ復号処理の流れの一例について示すフローチャートである。 階層動画像復号装置におけるスキップＣＵ復号処理の流れの一例について示すフローチャートである。 階層動画像復号装置におけるインターＣＵ復号処理の流れの一例について示すフローチャートである。

図１〜図４６に基づいて、本発明の一実施形態に係る階層動画像復号装置１および階層動画像符号化装置２について説明すれば以下のとおりである。
〔概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によってスケーラブル映像符号化（ＳＶＣ；Scalable Video Coding）された符号化データを復号する。スケーラブル映像符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。スケーラブル映像符号化は、例えば、Ｈ．２６４／ＡＶＣ Ａｎｎｅｘ Ｇ ＳＶＣにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。

また、ＳＶＣは、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、および（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレーム・レート（単位時間のフレーム数）において階層化する技術である。また、ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。

本実施形態に係る階層動画像符号化装置２及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造について説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。
〔階層符号化データのレイヤ構造〕
ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。

以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。

図２（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図２（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。

まず、図２（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。

下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。

また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。

また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。

このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。

次に、図２（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。

なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。

例えば、中位階層Ｌ２の階層動画像復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号することができる。

なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。

また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。

なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。

本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。

上位レイヤ ： ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。

下位レイヤ ： ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。

対象レイヤ ： 復号または符号化の対象となっている階層のことをいう。

参照レイヤ（reference layer） ： 対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。

図２（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。

基本レイヤ（base layer） ： 最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。

拡張レイヤ ： 基本レイヤの上位レイヤは、拡張レイヤと称される。

レイヤ識別子 ： レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。

一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。

レイヤ間予測 ： レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を（同時刻の）参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、（同時刻の）下位レイヤの復号画像をアップサンプリングした画像から予測するレイヤ間予測のことをテクスチャ予測（あるいはレイヤ間イントラ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。

なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、ＨＥＶＣおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣなどの符号化方式により生成してもよい。

また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１に供給されるものであってもよいし、同一の伝送路を介して階層動画像復号装置１に供給されるものであってもよい。

例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをＭＰＥＧ−２またはＨ．２６４／ＡＶＣにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をＨＥＶＣにより符号化して、インターネットで伝送してもよい。

（基本レイヤ）
図３は、基本レイヤにおいて採用することができる符号化データ（図２の例でいえば、階層符号化データＤＡＴＡ＃Ｃ）のデータ構造について例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。

階層符号化データＤＡＴＡ＃Ｃにおけるデータの階層構造を図３に示す。図３の（ａ）〜（ｅ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤ、ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。

（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、適応パラメータセットＡＰＳ（Adaptation Parameter Set）、ピクチャＰＩＣＴ_１〜ＰＩＣＴ_NP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。

シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。

ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。

適応パラメータセットＡＰＳは、対象シーケンス内の各スライスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＡＰＳは複数存在してもよい。その場合、対象シーケンス内の各スライスから複数のＡＰＳの何れかを選択する。

（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ₁〜Ｓ_NSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。

なお、以下、スライスＳ₁〜Ｓ_NSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータについても同様である。

ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。なお、符号化パラメータ群は、必ずしもピクチャヘッダＰＨ内に直接含んでいる必要はなく、例えばピクチャパラメータセットＰＰＳへの参照を含むことで、間接的に含めても良い。

（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、スライスヘッダＳＨ、及び、ツリーブロックＴＢＬＫ₁〜ＴＢＬＫ_NC（ＮＣはスライスＳに含まれるツリーブロックの総数）のシーケンスを含んでいる。

スライスヘッダＳＨには、対象スライスの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。

なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（pic_parameter_set_id）、適応パラメータセットＡＰＳへの参照（aps_id）を含んでいても良い。

また、スライスヘッダＳＨには、階層動画像復号装置１の備える適応フィルタによって参照されるフィルタパラメータＦＰが含まれている。フィルタパラメータＦＰは、フィルタ係数群を含んでいる。フィルタ係数群には、（１）フィルタのタップ数を指定するタップ数指定情報、（２）フィルタ係数a₀〜a_NT-1（NTは、フィルタ係数群に含まれるフィルタ係数の総数）、および、（３）オフセットが含まれる。

（ツリーブロックレイヤ）
ツリーブロックレイヤでは、処理対象のツリーブロックＴＢＬＫ（以下、対象ツリーブロックとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、ツリーブロックのことを符号化ツリーブロック（CTB:Coding Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。

ツリーブロックＴＢＬＫは、ツリーブロックヘッダＴＢＬＫＨと、符号化単位情報ＣＵ_１〜ＣＵ_ＮＬ（ＮＬはツリーブロックＴＢＬＫに含まれる符号化単位情報の総数）とを含む。ここで、まず、ツリーブロックＴＢＬＫと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。

ツリーブロックＴＢＬＫは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのパーティションに分割される。

ツリーブロックＴＢＬＫの上記パーティションは、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。

以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するパーティションを、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。なお、符号化ノードは、符号化ブロック（CB: Coding Block）と呼ぶこともある。

つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ_１〜ＣＵ_ＮＬは、ツリーブロックＴＢＬＫを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。

また、符号化ツリーのルート（root）は、ツリーブロックＴＢＬＫに対応付けられる。換言すれば、ツリーブロックＴＢＬＫは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。

なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのパーティション）のサイズの縦横とも半分である。

また、ツリーブロックＴＢＬＫのサイズ、および、各符号化ノードのとり得るサイズは、階層符号化データＤＡＴＡ＃ＣのシーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、ツリーブロックＴＢＬＫのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。

（ツリーブロックヘッダ）
ツリーブロックヘッダＴＢＬＫＨには、対象ツリーブロックの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。

ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。

なお、ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報ＳＰ＿ＴＢＬＫは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグの集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。

また、量子化パラメータ差分Δｑｐは、対象ツリーブロックにおける量子化パラメータｑｐと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。

（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。

ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。

予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。

予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。

予測ツリーにおける分割（以下、ＰＵ分割と略称する）の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。

イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。

また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。ＰＵ分割の種類については、後に図面を用いて説明する。

また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。

変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。

変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。

（ＣＵ情報のデータ構造）
続いて、図３（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容について説明する。図３（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。

スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。

［ＰＴ情報］
ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。

予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。

予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅが何れの予測方法を指定するのかに応じて、イントラ予測情報ＰＰ＿Ｉｎｔｒａ、または、インター予測情報ＰＰ＿Ｉｎｔｅｒを含む。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。

インター予測情報ＰＰ＿Ｉｎｔｅｒは、階層動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、インター予測情報ＰＰ＿Ｉｎｔｅｒは、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータを含む。

イントラ予測情報ＰＰ＿Ｉｎｔｒａは、階層動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、イントラ予測情報ＰＰ＿Ｉｎｔｒａには、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。

また、ＰＵ分割情報には、対象ＰＵの形状、サイズ、および、位置を指定する情報が含まれていてもよい。ＰＵ分割情報の詳細については後述する。

［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことをブロックと称することもある。

ＴＴ情報ＴＴＩは、図３（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ₁〜ＱＤ_NT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。

ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各ＴＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象となるノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現することができる。

また、例えば、ＣＵのサイズが、６４×６４の場合、分割により得られる各ＴＵは、３２×３２画素から４×４画素までのサイズをとり得る。

各量子化予測残差ＱＤは、階層動画像符号化装置２が以下の処理１〜３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。

処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２^qp/6）。

（予測パラメータ）
インター予測およびイントラ予測における予測パラメータの詳細について説明する。上述のとおり、予測情報ＰＩｎｆｏには、インター予測パラメータまたはイントラ予測パラメータが含まれる。

インター予測パラメータとしては、例えば、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、推定動きベクトルインデックス（ｍｖｐ＿ｉｄｘ）、参照画像インデックス（ｒｅｆ＿ｉｄｘ）、インター予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）、および動きベクトル残差（ｍｖｄ）が挙げられる。

一方、イントラ予測パラメータとしては、例えば、推定予測モードフラグ、推定予測モードインデックス、および、残余予測モードインデックスが挙げられる。

（ＰＵ分割情報）
ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２^ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる領域のことをパーティションとも称する。

図４（ａ）〜（ｈ）に、それぞれの分割タイプについて、ＣＵにおけるＰＵ分割の境界の位置を具体的に図示している。

図４（ａ）は、ＣＵの分割を行わない２Ｎ×２ＮのＰＵ分割タイプを示している。また、図４（ｂ）、（ｃ）、および（ｄ）は、それぞれ、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤである場合のパーティションの形状について示している。また、図４（ｅ）、（ｆ）、および（ｇ）は、それぞれ、ＰＵ分割タイプが、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションの形状について示している。また、図４（ｈ）は、ＰＵ分割タイプが、Ｎ×Ｎである場合のパーティションの形状を示している。

図４（ａ）および（ｈ）のＰＵ分割タイプのことを、そのパーティションの形状に基づいて、正方形分割とも称する。また、図４（ｂ）〜（ｇ）のＰＵ分割タイプのことは、非正方形分割とも称する。

また、図４（ａ）〜（ｈ）において、各領域に付した番号は、領域の識別番号を示しており、この識別番号順に、領域に対して処理が行われる。すなわち、当該識別番号は、領域のスキャン順を表している。

［インター予測の場合の分割タイプ］
インターＰＵでは、上記８種類の分割タイプのうち、Ｎ×Ｎ（図４（ｈ））以外の７種類が定義されている。なお、上記６つの非対称的分割は、ＡＭＰ（Asymmetric Motion Partition）と呼ばれることもある。

また、Ｎの具体的な値は、当該ＰＵが属するＣＵのサイズによって規定され、ｎＵ、ｎＤ、ｎＬ、および、ｎＲの具体的な値は、Ｎの値に応じて定められる。例えば、１２８×１２８画素のインターＣＵは、１２８×１２８画素、１２８×６４画素、６４×１２８画素、６４×６４画素、１２８×３２画素、１２８×９６画素、３２×１２８画素、および、９６×１２８画素のインターＰＵへ分割することが可能である。

［イントラ予測の場合の分割タイプ］
イントラＰＵでは、次の２種類の分割パターンが定義されている。対象ＣＵを分割しない、すなわち対象ＣＵ自身が１つのＰＵとして取り扱われる分割パターン２Ｎ×２Ｎと、対象ＣＵを、４つのＰＵへと対称的に分割するパターンＮ×Ｎと、である。

したがって、イントラＰＵでは、図４に示した例でいえば、（ａ）および（ｈ）の分割パターンを取ることができる。

例えば、１２８×１２８画素のイントラＣＵは、１２８×１２８画素、および、６４×６４画素のイントラＰＵへ分割することが可能である。

（拡張レイヤ）
拡張レイヤの符号化データについても、例えば、図３に示すデータ構造とほぼ同様のデータ構造を採用することができる。ただし、拡張レイヤの符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略したりすることができる。

ＳＰＳには階層符号化を示す情報が符号化されていてもよい。

また、スライスレイヤでは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、および、quality_id）が符号化されていてもよい。フィルタ情報やフィルタのオン／オフ情報（後述）はＰＰＳ、スライスヘッダ、マクロブロックヘッダ等で符号化することが可能である。

また、ＣＵ情報ＣＵでは、スキップフラグ（skip_flag）、ベースモードフラグ（base_mode_flag）および予測モードフラグ（pred_mode_flag）が符号化されていてもよい。

また、これらのフラグにより対象ＣＵのＣＵタイプが、イントラＣＵ、インターＣＵ、スキップＣＵおよびベーススキップＣＵのいずれであるかが指定されていてもよい。

イントラＣＵおよびスキップＣＵは、上述のＨＥＶＣ方式の場合と同様に定義できる。例えば、スキップＣＵでは、スキップフラグに“１”が設定される。スキップＣＵでない場合、スキップフラグに“０”が設定される。また、イントラＣＵでは、予測モードフラグに“０”が設定される。

また、インターＣＵは、非スキップかつ動き補償（ＭＣ；Motion Compensation）を適用するＣＵと定義されていてもよい。インターＣＵでは、例えば、スキップフラグに“０”が設定され、予測モードフラグに“１”が設定される。

ベーススキップＣＵは、ＣＵまたはＰＵの情報を参照レイヤから推定するＣＵタイプである。また、ベーススキップＣＵでは、例えば、スキップフラグに“１”が設定され、ベースモードフラグに“１”が設定される。

また、ＰＴ情報ＰＴＩでは、対象ＰＵのＰＵタイプが、イントラＰＵ、インターＰＵ、マージＰＵ、およびベースマージＰＵのいずれであるかが指定されていてもよい。

イントラＰＵ、インターＰＵ、マージＰＵは、上述のＨＥＶＣ方式の場合と同様に定義できる。

ベースマージＰＵは、ＰＵの情報を参照レイヤから推定するＰＵタイプである。また、例えば、ＰＴ情報ＰＴＩにおいて、マージフラグおよびベースモードフラグを符号化しておき、これらのフラグを用いて、対象ＰＵがベースマージを行うＰＵであるか否かを判定してもよい。すなわち、ベースマージＰＵでは、マージフラグに“１”が設定され、ベースモードフラグに“１”が設定される。

なお、拡張レイヤに含まれる動きベクトル情報のうち、下位レイヤに含まれる動きベクトル情報から導出可能な動きベクトル情報については、拡張レイヤから省略する構成とすることができる。このような構成とすることによって、拡張レイヤの符号量を削減することができるので、符号化効率が向上する。

また、上述のとおり拡張レイヤの符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。

下位レイヤが、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣ方式によって符号化されていてもよい。

対象レイヤと参照レイヤとが異なる符号化方式によって符号化されている場合、参照レイヤのパラメータを、対象レイヤの対応するパラメータ、または、類似のパラメータに変換することでレイヤ間における相応の互換性を保つことができる。例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣ方式におけるマクロブロックは、ＨＥＶＣにおけるＣＴＢに読み替えて解釈することが可能である。

なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略することができる。
〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置１の構成について、図１〜図２１を参照して説明する。

（階層動画像復号装置の構成）
図５を用いて、階層動画像復号装置１の概略的構成について説明すると次のとおりである。図５は、階層動画像復号装置１の概略的構成について示した機能ブロック図である。階層動画像復号装置１は、階層動画像符号化装置２から供給される階層符号化データＤＡＴＡを、ＨＥＶＣ方式により復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。

図５に示すように階層動画像復号装置１は、ＮＡＬ逆多重化部１１、可変長復号部１２、予測パラメータ復元部１４、テクスチャ復元部１５、およびベース復号部１６を備える。

ＮＡＬ逆多重化部１１は、ＮＡＬ（Network Abstraction Layer）におけるＮＡＬユニット単位で伝送される階層符号化データＤＡＴＡを逆多重化する。

ＮＡＬは、ＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。

ＶＣＬは、動画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのファイルフォーマットや、ＭＰＥＧ−２システムに対応する。以下に示す例では、下位システムは、対象レイヤおよび参照レイヤにおける復号処理に対応する。

なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダが含まれる。また、各階層における符号化データは、ＮＡＬユニット格納されることでＮＡＬ多重化されて階層動画像復号装置１に伝送される。

ＮＡＬ逆多重化部１１は、階層符号化データＤＡＴＡを逆多重化して、対象レイヤ符号化データＤＡＴＡ＃Ｔおよび参照レイヤ符号化データＤＡＴＡ＃Ｒを取り出す。また、ＮＡＬ逆多重化部１１は、対象レイヤ符号化データＤＡＴＡ＃Ｔを可変長復号部１２に供給するとともに、参照レイヤ符号化データＤＡＴＡ＃Ｒをベース復号部１６に供給する。

可変長復号部１２は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるバイナリから各種のシンタックス値を復号するための情報の復号処理を行う。

具体的には、可変長復号部１２は、以下のように、予測情報、符号化情報および変換係数情報を符号化データＤＡＴＡ＃Ｔから復号する。

すなわち、可変長復号部１２は、各ＣＵまたはＰＵに関する予測情報を、符号化データＤＡＴＡ＃Ｔから復号する。予測情報には、例えば、ＣＵタイプまたはＰＵタイプの指定が含まれる。

ＣＵがインターＣＵである場合、可変長復号部１２はＰＵ分割情報を符号化ＤＡＴＡ＃Ｔから復号する。加えて、各ＰＵにおいて、可変長復号部１２は、さらに、予測情報として、参照画像インデックスＲＩ、推定動きベクトルインデックスＰＭＶＩ、及び、動きベクトル残差ＭＶＤ等の動き情報、モード情報を符号化データＤＡＴＡ＃Ｔから復号する。

一方、ＣＵがイントラＣＵである場合、可変長復号部１２は、さらに、予測情報として、（１）予測単位のサイズを指定するサイズ指定情報、および、（２）予測インデックスを指定する予測インデックス指定情報を含むイントラ予測情報を符号化データＤＡＴＡ＃Ｔから復号する。

また、可変長復号部１２は、符号化情報を符号化データＤＡＴＡ＃Ｔから復号する。符号化情報には、ＣＵの形状、サイズ、位置を特定するための情報が含まれる。より具体的には、符号化情報には、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報、すなわち、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報が含まれる。

可変長復号部１２は、復号した予測情報および符号化情報を予測パラメータ復元部１４に供給する。

また、可変長復号部１２は、各ブロックに関する量子化予測残差ＱＤ、及び、そのブロックを含むツリーブロックに関する量子化パラメータ差分Δｑｐを符号化データＤＡＴＡ＃Ｔから復号する。可変長復号部１２は、復号した量子化予測残差ＱＤおよび量子化パラメータ差分Δｑｐを変換係数情報としてテクスチャ復元部１５に供給する。

ベース復号部１６は、参照レイヤ符号化データＤＡＴＡ＃Ｒから、対象レイヤに対応する復号画像を復号する際に参照される参照レイヤに関する情報であるベース復号情報を復号する。ベース復号情報には、ベース予測パラメータ、ベース変換係数、およびベース復号画像が含まれる。ベース復号部１６は、復号したベース復号情報を予測パラメータ復元部１４およびテクスチャ復元部１５に供給する。

予測パラメータ復元部１４は、予測情報およびベース復号情報を用いて、予測パラメータを復元する。予測パラメータ復元部１４は、復元した予測パラメータを、テクスチャ復元部１５に供給する。なお、予測パラメータ復元部１４は、予測パラメータを復元する際に、テクスチャ復元部１５が備えるフレームメモリ１５５（後述）に格納された動き情報を参照することができる。

テクスチャ復元部１５は、変換係数情報、ベース復号情報および予測パラメータを用いて、復号画像ＰＯＵＴ＃Ｔを生成し、外部に出力する。なお、テクスチャ復元部１５では、復元された復号画像に関する情報が、内部に備えるフレームメモリ１５５（後述）に格納される。

以下において、ベース復号部１６、予測パラメータ復元部１４、およびテクスチャ復元部１５それぞれの詳細について説明する。

（予測パラメータ復元部）
図６を用いて、予測パラメータ復元部１４の詳細構成について説明する。図６は、予測パラメータ復元部１４の構成について例示した機能ブロック図である。

図６に示すように、予測パラメータ復元部１４は、予測タイプ選択部１４１、スイッチ１４２、イントラ予測モード復元部１４３、動きベクトル候補導出部１４４、動き情報復元部１４５、マージ候補導出部１４６、マージ情報復元部１４７、およびＰＵ分割タイプ導出部１４８を備える。

予測タイプ選択部１４１は、ＣＵタイプまたはＰＵタイプに応じてスイッチ１４２に切り替え指示を送り予測パラメータの導出処理を制御する。具体的には以下のとおりである。

イントラＣＵまたはイントラＰＵが指定されている場合、予測タイプ選択部１４１はイントラ予測モード復元部１４３を用いて予測パラメータを導出できるようスイッチ１４２を制御する。

インターＣＵ（マージなし）およびインターＰＵ（マージなし）のいずれかが指定されている場合、予測タイプ選択部１４１は動き情報復元部１４５を用いて予測パラメータを導出できるようスイッチ１４２を制御する。

ベーススキップＣＵ、ベースマージＰＵ、スキップＣＵおよびマージＰＵのいずれかが指定されている場合、予測タイプ選択部１４１はマージ情報復元部１４７を用いて予測パラメータを導出できるようスイッチ１４２を制御する。

スイッチ１４２は、予測タイプ選択部１４１の指示に応じて、予測情報を、イントラ予測モード復元部１４３、動き情報復元部１４５、およびマージ情報復元部１４７のいずれかに供給する。予測情報の供給先において予測パラメータが導出される。

イントラ予測モード復元部１４３は、予測情報から予測モードを導出する。すなわち、イントラ予測モード復元部１４３が予測パラメータとして復元するのは予測モードである。

ここで、図７を用いて、予測モードの定義について説明する。図７は、予測モードの定義を示している。同図に示すように、３６種類の予測モードが定義されており、それぞれの予測モードは、「０」〜「３５」の番号（イントラ予測モードインデックス）によって特定される。また、図８に示すように、各予測モードには次のような名称が割り当てられている。すなわち、「０」は、“Intra_Planar（プラナー予測モード、平面予測モード）”であり、「１」は、“Intra DC(イントラＤＣ予測モード)”であり、「２」〜「３４」は、“Intra Angular（方向予測）”であり、「３５」は、“Intra From Luma”である。「３５」は、色差予測モード固有のものであり、輝度の予測に基づいて色差の予測を行うモードである。言い換えれば、色差予測モード「３５」は、輝度画素値と色差画素値との相関を利用した予測モードである。色差予測モード「３５」はＬＭモードとも称する。予測モード数（intraPredModeNum）は、対象ブロックのサイズによらず「３５」である。

動きベクトル候補導出部１４４は、ベース復号情報を用いて、レイヤ内動き推定処理、または、レイヤ間動き推定処理により推定動きベクトルの候補を導出する。動きベクトル候補導出部１４４は、導出した動きベクトルの候補を動き情報復元部１４５に供給する。

動き情報復元部１４５は、マージを行わない各インターＰＵに関する動き情報を復元する。すなわち、動き情報復元部１４５が予測パラメータとして復元するのは動き情報である。

動き情報復元部１４５は、対象ＣＵ（ＰＵ）がインターＣＵ（インターＰＵ）である場合、予測情報から、動き情報を復元する。より具体的には、動き情報復元部１４５は、動きベクトル残差（mvd）、推定動きベクトルインデックス（mvp_idx）、インター予測フラグ（inter_pred_flag）および、参照画像インデックス（refIdx）を取得する。そして、インター予測フラグの値に基づいて、参照画像リストＬ０と参照画像リストＬ１各々について参照画像リスト利用フラグを決定する。続いて、対応する参照画像リスト利用フラグが、当該参照画像を利用することを示している場合、動き情報復元部１４５は、推定動きベクトルインデックスの値に基づいて、推定動きベクトルを導出するとともに、動きベクトル残差と推定動きベクトルとに基づいて動きベクトルを導出する。動き情報復元部１４５は、導出した動きベクトルと、参照画像リスト利用フラグ、および、参照画像インデックスと合わせて動き情報（動き補償パラメータ）として出力する。

マージ候補導出部１４６は、後述するフレームメモリ１５５から供給される復号済みの動き情報および／またはベース復号部１６から供給されるベース復号情報等を用いて、各種のマージ候補を導出する。マージ候補導出部１４６は、導出したマージ候補をマージ情報復元部１４７に供給する。

マージ情報復元部１４７は、レイヤ内またはレイヤ間でマージを行う各ＰＵに関する動き情報を復元する。すなわち、動き情報復元部１４５が予測パラメータとして復元するのは動き情報である。

具体的には、マージ情報復元部１４７は、対象ＣＵ（ＰＵ）がレイヤ内でマージを行うスキップＣＵ（マージＰＵ）である場合、マージ候補導出部１４６がレイヤ内マージにより導出したマージ候補リストから、予測情報に含まれるマージインデックス（merge_idx）に対応する動き補償パラメータを導出することにより、動き情報を復元する。

また、マージ情報復元部１４７は、レイヤ間でマージを行うベーススキップＣＵである場合、マージ候補導出部１４６がレイヤ間マージにより導出したマージ候補リストから、予測情報に含まれるマージインデックス（merge_idx）に対応する動き補償パラメータを導出することにより、動き情報を復元する。

ＰＵ分割タイプ導出部１４８は、符号化情報およびベース復号情報を用いて、対象レイヤにおける対象ＣＵのＰＵへのＰＵ分割タイプを推定する。ＰＵ分割タイプ導出部１４８は、推定したＰＵ分割タイプをマージ候補導出部１４６およびマージ情報復元部１４７に供給する。

なお、マージ候補導出部１４６およびＰＵ分割タイプ導出部１４８の詳細については後述する。

（テクスチャ復元部）
図９を用いて、テクスチャ復元部１５の詳細構成について説明する。図９は、テクスチャ復元部１５の構成について例示した機能ブロック図である。

図９に示すように、テクスチャ復元部１５は、逆直交変換・逆量子化部１５１、テクスチャ予測部１５２、加算器１５３、ループフィルタ部１５４、およびフレームメモリ１５５を備える。

逆直交変換・逆量子化部１５１は、（１）可変長復号部１２から供給される変換係数情報に含まれる量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆直交変換（例えば、ＤＣＴ（Discrete Cosine Transform）変換）し、（３）逆直交変換によって得られた予測残差Ｄを加算器１５３に供給する。なお、量子化予測残差ＱＤを逆量子化する際に、逆直交変換・逆量子化部１５１は、変換係数情報に含まれる量子化パラメータ差分Δｑｐから量子化ステップＱＰを導出する。量子化パラメータｑｐは、直前に逆量子化／逆直交変換したツリーブロックに関する量子化パラメータｑｐ’に量子化パラメータ差分Δｑｐを加算することによって導出でき、量子化ステップＱＰは、量子化パラメータｑｐからＱＰ＝２^ｑｐ／６によって導出できる。また、逆直交変換・逆量子化部１５１による予測残差Ｄの生成は、ブロック（変換単位）を単位として行われる。

テクスチャ予測部１５２は、予測パラメータに応じて、ベース復号情報に含まれるベース復号画像またはフレームメモリに格納されている復号済みの復号画像を参照し、予測画像を生成する。

テクスチャ予測部１５２は、より詳細には、インター予測部１５２Ａ、レイヤ内イントラ予測部１５２Ｂ、およびレイヤ間イントラ予測部１５２Ｃを備える。

インター予測部１５２Ａは、各インター予測パーティションに関する予測画像をインター予測により生成する。具体的には、インター予測部１５２Ａは、動き情報復元部１４５またはマージ情報復元部１４７から予測パラメータとして供給される動き情報を用いて、参照画像から予測画像を生成する。

レイヤ内イントラ予測部１５２Ｂは、各イントラ予測パーティションに関する予測画像をレイヤ内イントラ予測により生成する。具体的には、レイヤ内イントラ予測部１５２Ｂは、イントラ予測モード復元部１４３から予測パラメータとして供給される予測モードを用いて、対象パーティションにおいて復号済みの復号画像から予測画像を生成する。

レイヤ間イントラ予測部１５２Ｃは、各イントラ予測パーティションに関する予測画像をレイヤ間イントラ予測により生成する。具体的には、レイヤ間イントラ予測部１５２Ｃは、イントラ予測モード復元部１４３から予測パラメータとして供給される予測モードを用いて、ベース復号情報に含まれるベース復号画像に基づいて予測画像を生成する。ベース復号画像は、対象レイヤの解像度に合わせて適宜アップサンプリングされてもよい。

テクスチャ予測部１５２は、インター予測部１５２Ａ、レイヤ内イントラ予測部１５２Ｂまたはレイヤ間イントラ予測部１５２Ｃが生成した予測画像を加算器１５３に供給する。

加算器１５３は、テクスチャ予測部１５３予測画像と、逆直交変換・逆量子化部１５１から供給された予測残差Ｄとを加算することによって復号画像を生成する。

ループフィルタ部１５４は、加算器１５３から供給される復号画像に対し、デブロッキング処理や、適応フィルタパラメータによるフィルタ処理を施すものである。

フレームメモリ１５５は、ループフィルタ部１５４によるフィルタ済み復号画像を格納する。

（ベース復号部）
図１０を用いて、ベース復号部１６の詳細構成について説明する。図１０は、ベース復号部１６の構成について例示した機能ブロック図である。

図１０に示すように、ベース復号部１６は、可変長復号部１６１、ベース予測パラメータ復元部１６２、ベース変換係数復元部１６３、およびベーステクスチャ復元部１６４を備える。

可変長復号部１６１は、参照レイヤ符号化データＤＡＴＡ＃Ｒに含まれるバイナリから各種のシンタックス値を復号するための情報の復号処理を行う。

具体的には、可変長復号部１６１は、予測情報および変換係数情報を符号化データＤＡＴＡ＃Ｒから復号する。可変長復号部１６１が復号する予測情報および変換係数のシンタックスは、可変長復号部１２と同様であるのでここではその詳細な説明を省略する。

可変長復号部１６１は、復号した予測情報をベース予測パラメータ復元部１６２に供給するとともに、復号した変換係数情報をベース変換係数復元部１６３に供給する。

ベース予測パラメータ復元部１６２は、可変長復号部１６１から供給される予測情報に基づいて、ベース予測パラメータを復元する。ベース予測パラメータ復元部１６２が、ベース予測パラメータを復元する方法については、予測パラメータ復元部１４と同様であるので、ここではその詳細な説明を省略する。ベース予測パラメータ復元部１６２は、復元したベース予測パラメータを、ベーステクスチャ復元部１６４に供給するとともに、外部に出力する。

ベース変換係数復元部１６３は、可変長復号部１６１から供給される変換係数情報に基づいて、変換係数を復元する。ベース変換係数復元部１６３が変換係数を復元する方法については、逆直交変換・逆量子化部１５１と同様であるので、ここではその詳細な説明を省略する。ベース変換係数復元部１６３は、復元したベース変換係数を、ベーステクスチャ復元部１６４に供給するとともに、外部に出力する。

ベーステクスチャ復元部１６４は、ベース予測パラメータ復元部１６２から供給されるベース予測パラメータと、ベース変換係数復元部１６３から供給されるベース変換係数とを用いて、復号画像を生成する。具体的には、ベーステクスチャ復元部１６４は、ベース予測パラメータに基づき、テクスチャ予測部１５２と同様のテクスチャ予測を行って、予測画像を生成する。また、ベーステクスチャ復元部１６４は、ベース変換係数に基づいて予測残差を生成し、生成した予測残差と、テクスチャ予測により生成した予測画像とを加算することでベース復号画像を生成する。

なお、ベーステクスチャ復元部１６４は、ベース復号画像に対して、ループフィルタ部１５４と同様のフィルタ処理を施してもよい。また、ベーステクスチャ復元部１６４は、復号済みのベース復号画像を格納するためのフレームメモリを備えていてもよく、テクスチャ予測においてフレームメモリに格納されている復号済みのベース復号画像を参照してもよい。

＜＜マージ候補導出部の詳細＞＞
次に、図１を用いて、マージ候補導出部１４６の詳細構成について説明する。図１は、マージ候補導出部１４６の構成について例示した機能ブロック図である。

図１に示すように、マージ候補導出部１４６は、マージ候補導出制御部（判定手段）１４６１、マージ候補格納部１４６２、スライスタイプ判定部１４６３、および個別マージ候補導出部１４６４を備える構成である。

マージ候補導出制御部１４６１は、個別マージ候補導出部１４６４を制御し、所定数（マージ候補導出数）のマージ候補を導出しマージ候補格納部１４６２に格納する。上記マージ候補導出数として、例えば、merge_idx+1の値が通常用いられる。なお、上記マージ候補導出数として、merge_idx+1の値以上の任意の整数を用いてもよい。例えば、merge_idxの最大値に1を加えた値をMRG_MAX_NUM_CANDSとして、上記マージ候補導出数として用いてもよい。

マージ候補格納部１４６２には、複数のマージ候補が格納される。マージ候補は順序づけられたリスト（マージ候補リスト）として記録される。

スライスタイプ判定部１４６３は、要求に応じて対象ＰＵを含むスライスのスライスタイプを判定し、結果を出力する。

個別マージ候補導出部１４６４は、指定された導出方法によりマージ候補を導出して出力する。指定された導出方法に基づき選択される各マージ候補導出部の詳細動作については後述する。なお、導出されるマージ候補は、例示的には、参照画像リストＬＸに対する参照画像リスト利用フラグ（predFlagLX）、参照画像インデックス（refIdxLX）、動きベクトル（mvLX）から構成される。ここで、ＬＸはＬ０またはＬ１である。

（個別マージ候補導出部の詳細）
個別マージ候補導出部１４６４は、より詳細には、空間マージ候補導出部（対象レイヤ候補導出手段、空間動き情報候補導出手段）１４６４Ａ、レイヤ間マージ候補導出部（層間候補導出手段）１４６４Ｂ、時間マージ候補導出部（対象レイヤ候補導出手段、時間動き情報候補導出手段）１４６４Ｃ、結合マージ候補導出部（対象レイヤ候補導出手段）１４６４Ｄ、および、ゼロマージ候補導出部（対象レイヤ候補導出手段）１４６４Ｅを有している。なお、図１では図示しないが、空間マージ候補導出部１４６４Ａおよび時間マージ候補導出部１４６４Ｃには、フレームメモリ１５５に格納されている復号済のＣＵ及びＰＵの符号化パラメータ、特に、ＰＵ単位の動き補償（動き補償パラメータ）が供給される。

また、以下では、空間マージ候補導出部１４６４Ａ、レイヤ間マージ候補導出部１４６４Ｂ、時間マージ候補導出部１４６４Ｃ、結合マージ候補導出部１４６４Ｄ、および、ゼロマージ候補導出部１４６４Ｅをまとめて参照する場合、“各マージ候補導出部”と総称する。また、各マージ候補導出部は、所定の優先順に従ってマージ候補を導出する。このマージ候補の導出順序は、マージ候補導出制御部１４６１によって制御される。

また、レイヤ内マージを行う場合、マージ候補導出制御部１４６１は、レイヤ間マージ候補を除く任意のマージ候補を各マージ候補導出部に導出させることができる。また、レイヤ間マージを行う場合、マージ候補導出制御部１４６１は、レイヤ間マージ候補を含む任意のマージ候補を各マージ候補導出部に導出させることができる。

（空間マージ候補導出部）
図１１は、空間マージ候補導出部１４６４Ａの動作を説明するための図である。図１１は、対象ＰＵと、隣接ブロックＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２の位置関係を示している。空間マージ候補導出部１４６４Ａでは、概略的には、上記各隣接ブロックにおける動き補償パラメータが、マージ候補として出力される。導出する順序は、例示的に、Ａ１、Ｂ１、Ｂ０、Ａ０、Ｂ２であるとする。導出されたマージ候補は、マージ候補格納部１４６２に格納される。より厳密には、導出された順番で、マージ候補格納部１４６２に格納されているマージ候補リストの末尾に追加される。各隣接ブロックの位置は、ＰＵの左上座標を(xP,yP)、ＰＵのサイズnPSW、nPSHとして、以下のように表現できる。
Ａ０：(xP - 1,yP + nPSH)
Ａ１：(xP - 1,yP + nPSH - 1)
Ｂ０：(xP + nPSW,yP - 1)
Ｂ１：(xP + nPSW - 1,yP - 1)
Ｂ２：(xP - 1,yP - 1)
なお、以下の条件のいずれかを満たす場合は、位置Ｎ（ＮはＡ０、Ａ１、Ｂ０、Ｂ１、または、Ｂ２のいずれか）に対応するマージ候補は導出されない。
・位置Ｎのブロックが利用可能ではない（availableではない）場合。
・位置Ｎのブロックがイントラ符号化されている場合。
・ＮがＢ２であって、Ａ０、Ａ１、Ｂ０、Ｂ１の位置に対応するマージ候補が全て導出された場合。
・ＰＵの分割タイプが、２Ｎ×ＮもしくはＮ×２Ｎ、かつ、ＰＵのインデックスが１であって、ブロックＮとインデックス０のＰＵが同一の動き補償パラメータを有する場合。
・ＮがＢ０であって、ブロックＮとブロックＢ１が同一の動き補償パラメータを有する場合。
・ＮがＡ０であって、ブロックＮとブロックＡ１が同一の動き補償パラメータを有する場合。
・ＮがＢ２であって、ブロックＮが、ブロックＡ１またはブロックＢ１のいずれかと同一の動き補償パラメータを有する場合。

ここで、あるブロックがavailableではない場合とは、当該ブロックが画面外にある場合、スライス外にある場合、または、未復号である場合である。また、２つのブロックが同一の動き補償パラメータを有するとは、両ブロックにおいて、参照画像リストＬ０とＬ１の双方について、参照画像リスト利用フラグ、参照画像インデックス、動きベクトルが全て等しいことを表す。動き補償パラメータの同一性の判定（一致判定）、については後に詳細に説明する。

（レイヤ間マージ候補導出部）
図１２は、レイヤ間マージ候補導出部１４６４Ｂの動作を示す図である。図１２は、レイヤ間マージ候補を導出する際に参照する参照レイヤ上の領域を示している。レイヤ間マージ候補導出部１４６４Ｂでは、例示的には、対象ＰＵに対応する参照レイヤ上の領域（以下、対応参照領域と略称する）における右下の位置Ｃ０における動き補償パラメータが、マージ候補として出力される。導出されたマージ候補は、マージ候補格納部１４６２に格納される。より厳密には、導出された順番で、マージ候補格納部１４６２に格納されているマージ候補リストの末尾に追加される。

レイヤ間マージ候補導出部１４６４Ｂは、具体的には、次のようにベース復号情報を参照してマージ候補を導出する。

レイヤ間マージ候補導出部１４６４Ｂが参照するベース復号情報には、参照レイヤの動き補償パラメータ（mxLX_RL, reｆIdxLX_RL, predFlagLX_RL）が含れている。

また、レイヤ間マージ候補導出部１４６４Ｂが出力するマージ候補（マージ候補Ｃ０）は、動き補償パラメータ（mvLX_C0, refIdxLX_C0, predFlagLX_C0）より構成される。

ここで、
対象予測単位の左上画素位置 ：（xP, yP）
対応する参照レイヤの画素位置：（xPR, yPR）
参照レイヤに対する対象レイヤの解像度の比率：（scaleX, scaleY）
対象ＰＵのサイズ：nPSW * nPSH
とすると、対応参照領域のサイズは、nPSWR = ceil(nPSW / scaleX)、nPSHR = ceil(nPSH / scaleY)である。対応参照領域は、対象ＰＵに対応する参照レイヤ上の領域のことである。

また、このときＣ０の位置（xC0, yC0）とすると、
(xC0, yC0) = (xPR + nPSWR - 1, yPR + nPSHR - 1)
であり、マージ候補Ｃ０は、
mvL_C0[0] = mvLX_RL(xC0, yC0)[0] * scaleX
mvL_C0[1] = mvLX_RL(xC0, yC0)[1] * scaleY
refIdxLX_C0 = refIdxLX_RL(xC0, yC0)
predFlagLX_C0 = predFlagLX_RL(xC0, yC0)
となる。

空間マージ候補は、前述のとおり対象ＰＵの右上（Ｂ１、Ｂ０）、左下（Ａ１、Ａ０）、および左上（Ｂ２）の位置の情報に基づき導出されるのに対して、レイヤ間マージ候補は、対応参照領域における右下（Ｃ０）の位置の情報に基づいて導出される。これにより、マージ候補リストに、空間マージ候補とは性質の異なる多様なマージ候補が含まれることになる。

その結果、マージ候補リストに含まれるいずれかのマージ候補が、実際の動き情報と一致する可能性が高まり、これにより動き情報の符号量を削減することができる。

なお、以上の例に限定されず、レイヤ間マージ候補導出部１４６４Ｂは、対応参照領域内の任意の位置からマージ候補を導出できるようになっていてもよい。

例えば、対象予測単位において復号未済の領域に対応する参照レイヤ上の領域において復号されている動き情報をマージ候補として導出できるようになっていればよい。

また、レイヤ間マージ候補導出部１４６４Ｂは、右下（Ｃ０）の右、下、および右下のいずれかに隣接する位置の情報に基づいて導出してもよい。

例えば、レイヤ間マージ候補導出部１４６４Ｂは、図１１に示した対象ＰＵの領域Ｒ１付近の位置に対応する参照レイヤ上の位置からマージ候補を導出できるようになっていてもよい。領域Ｒ１は、対象参照領域内の右下の位置を含む所定範囲の領域と表現することができる。

定性的に言えば、空間マージ候補が導出される位置と異なる位置（“異なる位置”とは、言い換えれば、“所定の距離以上、離間した位置”）に対応する参照レイヤ上の位置から、レイヤ間マージ候補が導出されるようになっていればよい。

空間マージ候補では、主に対象ＰＵの左上領域に対応する動き情報が多く、右下領域（領域Ｒ１）に対応する動き情報が少ない。上記構成によれば、レイヤ間マージ候補として、対応参照領域内の位置から、空間マージ候補と異なる性質のマージ候補を導出することができる。

復号未済の領域について補足すると、以下の通りである。一般に、ツリーブロックは、図２０に示すように、ピクチャの左上を起点として、右下方向に向かうラスタスキャン順に復号処理される。そのような場合、対象予測単位が含まれる対象ツリーブロックに対して、ラスタスキャン順で後続のツリーブロックは、復号未済の領域となる。ラスタスキャン順の場合、対象ツリーブロックより下に位置するツリーブロック、または、対象ツリーブロックと垂直位置が同じツリーブロックであって、対象ツリーブロックよりも右に位置するツリーブロックが復号未済のツリーブロックである。復号未済のツリーブロックに含まれる領域は、復号未済の領域である。

次に、ツリーブロック内の符号化単位（ＣＵ）の処理順について、ツリーブロック内のＣＵは、いわゆるＺスキャンの順により処理される。Ｚスキャンでは、ツリーブロックを４つの合同な正方形に分割して、左上、右上、左下、右下の各正方形領域に含まれるＣＵの順に処理を行う。続いて、各正方形領域についても再帰的に処理を行う。例えば、左上の領域をさらに４つの合同な正方領域に分割し、左上、右上、左下、右下の順に各正方形領域に含まれるＣＵの処理を行う。

Ｚスキャンの例について、図２１の例を参照しながら説明する。図２１において、各領域に付与された数字はＺスキャンによるスキャン順を表す。ツリーブロックを４分割した左上領域に１〜７のＣＵ、右上領域に８のＣＵ、左下領域に９のＣＵ、そして、右下領域に１０〜１３のＣＵが含まれている。１〜７のＣＵが含まれる左上領域をさらに４分割した左上領域に１のＣＵ、右上領域に２のＣＵ、左下領域に３のＣＵ、右下領域に４〜７のＣＵが含まれる。Ｚスキャン順で対象ＣＵよりも後のＣＵは復号未済のＣＵであり、当該ＣＵに含まれる領域は復号未済の領域である。

また、レイヤ間マージ候補導出部１４６４Ｂは、特定の位置からマージ候補を導出することを制限または禁止されていてもよい。

例えば、図１７（ｄ）に示すような対応参照領域における左上の位置Ｃ０からマージ候補を導出することが禁止されていてもよい。

また、対応参照領域における右下（Ｃ０）の位置に対応する動き情報がメモリ上に記録されていない場合もあるが、そのような場合には右下（Ｃ０）の近傍の位置に対応する情報に基づいてマージ候補を導出してもよい。例えば、参照レイヤの動き情報が特定の間隔（Ｎ画素単位）で間引いて記録されている場合、Ｃ０の位置、すなわち、（xC0,yC0）の位置に替えて、（(xC0//N)*N, (yC0//N)*N）の位置に対応する動き情報に基づいてマージ候補を導出してもよい。ここで、演算子“//”は、“x//y”の値がxをyで割った商となる演算子である。

（時間マージ候補導出部）
図１３は、時間マージ候補導出部１４６４Ｃの動作を説明する図である。図１３（ａ）を参照して説明すると、時間マージ候補導出部１４６４Ｃは、概略的には、時間マージ候補を次のようにして導出する。すなわち、現ピクチャがcurrPicである場合、時間マージ候補導出部１４６４Ｃは、現ピクチャ内における対象ＰＵの空間的位置とほぼ同じ空間的位置を占める、参照画像インデックスrefIdxL0で指定される参照画像上のＰＵ、もしくは、参照画像インデックスrefIdxL1で指定される参照画像上のＰＵの動き補償パラメータをコピーすることにより時間マージ候補を導出する。図１３（ｂ）を参照して、参照インデックス番号refIdxL0、参照インデックス番号refIdxL1の導出方法を説明する。参照インデックス番号refIdxLX（ここでXは0もしくは1もしくはＣ）は、対象ＰＵの隣接ＰＵ、Ａ、Ｂ、Ｃのブロックの参照ピクチャrefIdxLXA、refIdxLXB、refIdxLXCを用いて以下のように求められる。
（１）refIdxLXA = refIdxLXB = refIdxLXCの場合、
refIdxLXA = -1のとき、refIdxLX = 0
それ以外のとき、refIdxLX = refIdxLXA
（２）refIdxLXA = refIdxLXBの場合、
refIdxLXA = -1のとき、refIdxLX = refIdxLXC
それ以外のとき、refIdxLX = refIdxLXA
（３）refIdxLXB = refIdxLXCの場合、
refIdxLXB = -1のとき、refIdxLX = refIdxLXA
それ以外のとき、refIdxLX = refIdxLXB
（４）refIdxLXA = refIdxLXCの場合、
refIdxLXA = -1のとき、refIdxLX = refIdxLXB
それ以外のとき、refIdxLX = refIdxLXA
（５）refIdxLXA = -1の場合、
refIdxLX = min( refIdxLXB, refIdxLXC)
（６）refIdxLXB = -1の場合、
refIdxLX = min( refIdxLXA, refIdxLXC)
（７）refIdxLXC = -1の場合、
refIdxLX = min( refIdxLXA, refIdxLXB)
（８）その他の場合、
refIdxLX = min( refIdxLXA, refIdxLXB, refIdxLXC)
ここで、minは最小値をとる関数である。
なお、ブロックＡ、Ｂの座標は、以下の通りである。
Ａ：(xP - 1,yP + nPSH - 1)
Ｂ：(xP + nPSW - 1,yP - 1)
ブロックＣの座標は、下記Ｃ０、Ｃ１、Ｃ２の何れかである。Ｃ０からＣ２の順に走査し、各位置に対応するPUが、availableであり、イントラ以外である場合に、その位置のＰＵのrefIdxLXを、refIdxLXCとする。
Ｃ０：(xP + nPSW - 1,yP - 1)
Ｃ１：(xP - 1,yP + nPSH)
Ｃ２：(xP - 1,yP - 1)
上記のようにrefIdxL0、refIdxL1が導出されると、refIdxL0で示される参照ピクチャの位置（xP +nPSW、yP +nPSH）の動き補償パラメータを用いて、L0の動きベクトルを定め、refIdxL1で示される参照ピクチャの位置（xP +nPSW、yP +nPSH）の動き補償パラメータを用いて、L1の動きベクトルを定めることにより、時間的マージ候補を導出する。すなわち、各参照ピクチャリストLX（X=0、X=1もしくはX=C）に対する動きベクトルmvLXCol[0]、mvLXCol[0]を、LXリスト及びrefIdxLXで示される参照ピクチャから算出する。具体的には、refIdxLXで示される参照ピクチャの位置（xP +nPSW、yP +nPSH）のＰＵがunavailableである、もしくは、イントラ予測モードである場合には、時間的マージ候補のLXの動きベクトルmvLXCol[0]、mvLXCol[1]を０に定める。それ以外、すなわち、該PUのPredFlagL0が0である場合には、該PUのL1の動きベクトルMvL1を、時間的マージ候補のLXの動きベクトルmvLXCol[0]、mvLXCol[1]として用いる。それ以外の場合には、該ＰＵのL0の動きベクトルMvL0を、時間マージ候補のLXの動きベクトルmvLXCol[0]、mvLXCol[1]として用いる。

続いて、動きベクトルmvLXColを、現フレームのＰＯＣ（Picture Order Count）と参照ピクチャのＰＯＣを用いてスケーリングして最終的な時間マージ候補を得る。時間マージ候補導出部１４６４Ｃは、導出した時間マージ候補を、マージ候補格納部１４６２に格納する。

（結合マージ候補導出部）
結合マージ候補導出部１４６４Ｄは、概略的には、既に導出されマージ候補格納部１４６２に格納された、２つの異なる導出済マージ候補の動きベクトルを組み合わせることで結合マージ候補を導出する。

結合マージ候補導出部１４６４Ｄでは、結合マージ候補カウントcombCntを0から増加させ、マージ候補リストの要素数がマージ候補導出数と一致するか、または、combCntが最大値（５）を超えるまで、結合マージ候補を導出して、マージ候補リストの末尾に追加する。

特定の結合マージ候補カウントcombCntに対応する結合マージ候補の導出手順は次の通りである。

まず、マージ候補組み合わせリストをcombCntをインデックス（combIdx）として参照して、結合に用いる２つのマージ候補、すなわち、Ｌ０マージ候補とＬ１マージ候補のマージ候補リスト上の位置を示すインデックスl0CandIdx、L1CandIdxをそれぞれ導出する。マージ候補組み合わせリストの例を図１４に示す。結合マージ候補は、参照画像リストＬ０に対してＬ０マージ候補、参照画像リストＬ１に対してＬ１マージ候補の動き補償パラメータをそれぞれコピーすることで生成される。なお、以下の何れかの条件が満たされる場合には、combCntに対応する結合マージ候補は導出されない。
・Ｌ０マージ候補のＬ０参照画像リスト利用フラグが０
・Ｌ１マージ候補のＬ１参照画像リスト利用フラグが０
・Ｌ０マージ候補とＬ１マージ候補の動きベクトルまたは参照画像が一致
上記の手順で結合マージ候補が導出される。なお、結合マージ候補に対応する動き補償パラメータでは、Ｌ０とＬ１の参照画像リスト利用フラグが共に１となっている。すなわち、結合マージ候補は双予測を行うマージ候補である。したがって、双予測が適用不可能である状況（例えば、Ｐスライス内のＰＵ）では、結合マージ候補はマージ候補リストに含まれない。

（ゼロマージ候補導出部）
図１５は、ゼロマージ候補導出部１４６４Ｅの動作を示す図である。マージ候補格納部１４６２のマージ候補数がマージ候補導出数に到達していれば、ゼロマージ候補導出部１４６４Ｅは、処理を行わない（ゼロマージ候補は導出されない）。一方、マージ候補数がマージ候補導出数個に到達していなければ、ゼロマージ候補導出部１４６４Ｅは、マージ候補数がマージ候補導出数に到達するまでゼロベクトルを有するマージ候補を生成してマージ候補リストに追加する。すなわち、参照するマージ候補のインデックスをzeroCand_mとして、L0の動きベクトル（mvL0zeroCand_m[0]、mvL0zeroCand_m[1]）、L1の動きベクトル（mvL1zeroCand_m[0]、mvL1zeroCand_m[1]）が共に０となるような候補を導出する。ここで、インデックスzeroCand_mは、既に導出されたマージ候補リストの最後のインデックスの値に１を加えた値を用いる。mは、０から開始するインデックスであり、ゼロマージ候補をマージ候補リストに追加する際に１ずつインクリメントする。

（マージ候補導出処理の流れ）
図１６を用いてマージ候補導出処理の流れの一例について説明する。図１６は、マージ候補導出部１４６の動作の流れの一例を示すフロー図である。

図１６に示すように、まず、空間マージ候補導出部１４６４Ａにおいて、マージ候補Ｓ０〜マージ候補Ｓ２が導出される（Ｓ１０１）。

続いて、レイヤ間マージ候補導出部１４６４Ｂにおいて、マージ候補Ｃ０が導出される（Ｓ１０２）。

続いて、時間マージ候補導出部１４６４Ｃにおいて、マージ候補Ｔが導出される（Ｓ１０３）。

続いて、結合マージ候補導出部１４６４Ｄにおいて、マージ候補Ｃが導出される（Ｓ１０４）。なお、Ｓ１０４は、スライスタイプ判定部１４６３によって、スライスタイプがＢスライスであると判定されときに実行するように構成しても構わない。

最後にゼロマージ候補導出部１４６４Ｅにおいて、マージ候補Ｚが導出される（Ｓ１０５）。

（作用・効果）
以上に示したように、階層動画像復号装置１は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データＤＡＴＡを復号して、復号の対象となる対象レイヤにおける動き情報を復元し、復元した動き情報に基づく動き補償予測によって生成した予測画像を用いて、上記対象レイヤにおける復号画像ＰＯＵＴ＃Ｔを復元する階層動画像復号装置１であって、上記対象レイヤにおける予測画像生成の処理対象となる対象予測単位において、復号済みレイヤである参照レイヤを参照し、該対象予測単位を含む周辺領域で復号未済の領域に対応する該参照レイヤ上の領域において復号されている動き情報を、上記対象予測単位における動き情報を推定するための候補として導出するレイヤ間マージ候補導出部１４６４Ｂを備える構成である。

よって、上記構成によれば、同じレイヤでは未復号のため利用できない領域に対応する参照領域上の動き情報をマージ候補リストに追加することができる。

これにより、階層符号化における動き情報候補リストの生成において、多様な動き情報を候補として導出することで動き情報の符号量削減を図ることができるという効果を奏する。

（マージ候補導出部の変形例）
以下において、マージ候補導出部１４６の好ましい変形例について説明する。

（２個以上の位置からレイヤ間マージ候補を導出する）
図１７（ａ）〜（ｃ）に示すように、レイヤ間マージ候補導出部１４６４Ｂは、参照領域上の２個以上の位置から、レイヤ間マージ候補を導出してもよい。以下、図１７（ａ）〜（ｃ）のそれぞれについて順に説明する。

［１］ 図１７（ａ）に示すように、レイヤ間マージ候補導出部１４６４Ｂは、位置Ｃ０に加えて、対応参照領域における左上の位置Ｃ１をさらにレイヤ間マージ候補導出の対象としてもよい。

例えば、レイヤ間マージ候補導出部１４６４Ｂは、位置Ｃ０が利用不可である場合、位置Ｃ１を利用する。すなわち、レイヤ間マージ候補導出部１４６４Ｂのマージ候補導出の優先順位としては、右下の位置Ｃ０が、位置Ｃ１に優先する。

上記変形例によれば、位置Ｃ０が利用不可のため、位置Ｃ０の動き情報が参照できない場合でも、レイヤ間マージ候補導出部１４６４Ｂがレイヤ間マージ候補を導出できる場合がある。

［２］ 図１７（ｂ）に示すように、レイヤ間マージ候補導出部１４６４Ｂは、対応参照領域の右下隣接ブロックＣ０、Ｃ２、Ｃ３と、対応参照領域における左上の位置Ｃ１とをレイヤ間マージ候補の導出に利用してもよい。なお、マージ候補導出の優先順位は、例示的に、位置Ｃ０，Ｃ１，Ｃ２、およびＣ３の順とする。

対象ＰＵまたは対応参照領域が小さい場合、対応参照領域における左上の位置に対応する画素と右下の位置に対応する画素とが同じ動き情報の記録単位に属している可能性がある。

右下隣接ブロックの動き情報を用いることで、対応参照領域における左上の部分と異なる記録単位から動き情報を導出できる可能性が高まる。

これにより、対応参照領域の左上部分と、異なる動き情報を導出できる可能性が高まる。

［３］ 図１７（ｃ）に示すように、レイヤ間マージ候補導出部１４６４Ｂは、対応参照領域における右下の位置Ｃ０、対応参照領域の右下隣接ブロックＣ１、対応参照領域における左上の位置Ｃ１、対応参照領域の右隣接ブロックＣ３および下隣接ブロックＣ４をレイヤ間マージ候補の導出に利用してもよい。

また、マージ候補導出の優先順位は、位置Ｃ０，Ｃ１，Ｃ２、Ｃ３、およびＣ４の順としてもよい。

また、位置Ｃ０〜Ｃ４の各位置において、動き情報が存在しない場合は、レイヤ間マージ候補を追加しなくてもよい。

また、マージ候補導出制御部１４６１が、位置Ｃ１〜Ｃ４における動き補償パラメータそれぞれと、位置Ｃ０における動き補償パラメータとの間で一致判定を行い、その判定の結果、互いの動き補償パラメータが一致しない場合に、レイヤ間マージ候補導出部１４６４Ｂは、対応するマージ候補を導出してもよい。

なお、ブロックＡ、ブロックＢの動き補償パラメータの一致判定を行う関数equalMotion（A, B）の動作は、例示的には、以下のように規定できる。

equalMotion(A, B) = (predFlagL0A == predFlagL0B) && (predFlagL1A == predFlagL1B) && mvL0A[0] == mvL0B[0] && mvL0A[1] == mvL0B[1] && mvL1A[0] == mvL1B[0] && mvL1A[1] == mvL1B[1])
ここで、predFlagL0A、predFlagL1Aは、各々、ブロックＡにおいてL0、L1の参照ピクチャが用いられる場合に１、それ以外は０となる。mvL0[0]、mvL0[1]は、L0の水平動きベクトル、垂直動きベクトル、mvL1[0]、mvL1[1]は、L1の水平動きベクトル、垂直動きベクトルである。なお、ブロックＢの場合には、上記AをBに置き換える。

また、レイヤ間マージ候補導出部１４６４Ｂは、上記一致判定を行いながら、上記優先順位の順にマージ候補を導出し、ユニークなマージ候補の数が２個になるまで、レイヤ間マージ候補を追加してもよい。

上記変形例に係る構成によれば、異なる動き情報を導出できる可能性が高まるため、符号化対象の動き情報がマージ候補に含まれる可能性が高まる。その結果、動き情報の符号量を削減することができる。

（一致判定）
マージ候補導出制御部１４６１は、各マージ候補導出部が導出するマージ候補の動き補償パラメータの一致判定（以下、マージ候補の一致判定と称する）を行ってもよい。また、マージ候補導出制御部１４６１は、一致判定の結果、ユニークと判定されたマージ候補のみをマージ候補格納部１４６２に格納してもよい。また、マージ候補導出制御部１４６１は、レイヤ間マージ候補導出部１４６４Ｂが導出するレイヤ間マージ候補と、他のマージ候補導出部が導出するマージ候補との一致判定を省略してもよい。

例えば、図１６に示すフローチャートにおいて、レイヤ間マージ候補導出部１４６４Ｂよりも後に、時間マージ候補導出部１４６４Ｃおよび結合マージ候補導出部１４６４Ｄがマージ候補を導出する。ここで、時間マージ候補および結合マージ候補とマージ候補リストに含まれるマージ候補との一致判定を省略してもよい。

上記変形例に係る構成によれば、レイヤ間マージ候補導出ステップ（Ｓ１０２）と、時間マージ候補導出ステップ（Ｓ１０３）および結合マージ候補導出ステップ（Ｓ１０４）とを並列に実行することができる。

また、マージ候補導出制御部１４６１は、空間マージ候補と、レイヤ間マージ候補との一致判定を行う場合、空間マージ候補のマージ候補Ｓ０（マージ候補リスト内の最初のマージ候補）とのみ一致判定を行うことが好ましい。

これにより、並列性の低下を抑えつつ、同一のマージ候補が候補リストに含まれる可能性を低減できる。

（マージ候補導出ステップの省略）
図１８を用いてマージ候補導出処理の流れの別の例について説明する。図１８は、マージ候補導出部１４６の動作の別の例を示すフロー図である。

以下では、図１８を参照しながら、レイヤ間マージ候補導出ステップを実行する場合、時間マージ候補導出ステップを省略する例について説明する。

図１８に示すように、まず、空間マージ候補導出部１４６４Ａにおいて、マージ候補Ｓ０〜マージ候補Ｓ２が導出される（Ｓ２０１）。

次に、マージ候補導出制御部１４６１が、レイヤ間マージ候補導出が有効であるか否かを判定する（Ｓ２０２）。マージ候補導出制御部１４６１は、例えば、次の（Ａ）または（Ｂ）の場合に、レイヤ間マージ候補導出が有効であると判定することができる。

（Ａ）ＳＰＳ、ＰＰＳに含まれるフラグが、レイヤ間マージ予測が有効であることを示している場合；または、
（Ｂ）対象ＰＵに対応する参照レイヤが存在し、対象ＰＵおよび参照レイヤが、Ｐスライス、またはＢスライスである場合。

ここで、レイヤ間マージ候補導出が有効である場合（Ｓ２０２においてＹＥＳ）、レイヤ間マージ候補導出部１４６４Ｂにおいて、マージ候補Ｃ０が導出される（Ｓ２０４）。

一方、レイヤ間マージ候補導出が有効でない場合（Ｓ２０２においてＮＯ）、時間マージ候補導出部１４６４Ｃにおいて、マージ候補Ｔが導出される（Ｓ２０３）。

すなわち、レイヤ間マージ候補ステップ（Ｓ２０４）および時間マージ候補導出ステップ（Ｓ２０３）は択一的に行われるため、両者のうちの一方が実行される場合、他方は省略される。

以後、結合マージ候補導出部１４６４Ｄにおいて、マージ候補Ｃが導出される（Ｓ２０５）。最後にゼロマージ候補導出部１４６４Ｅにおいて、マージ候補Ｚが導出される（Ｓ２０６）。

時間マージ候補とレイヤ間マージ候補とを併用する場合における動き情報の符号量削減幅は、何れか一方を用いる場合における動き情報の符号量削減幅と大きな差がない。

よって、レイヤ間マージ候補を用いる場合、時間マージ候補を用いなくても、それほど符号量は増大しない。さらに言えば、時間マージ候補の導出を省略すれば、時間マージ候補の導出に関する処理負荷の低減や、メモリ資源の節約を図ることができる。

上記構成によれば、レイヤ間マージ候補を用いる場合、時間マージ候補の導出を省略する。

よって、レイヤ間マージ候補を用いる場合において時間マージ候補を用いない。これにより、動き情報の符号量が大きく増加することを抑えつつ、時間マージ候補導出に必要な処理量、および、参照画像の動きベクトルを記録するメモリ量を削減することができる。

また、逆のことも言える。例えば、時間マージ候補を用いる場合、レイヤ間マージ候補を用いなくても、それほど符号量は増大しない。

上記構成によれば、時間マージ候補を用いる場合、レイヤ間マージ候補の導出を省略する。よって、動き情報の符号量をそれほど大きく増加させることがない一方で、レイヤ間マージ候補に必要な処理量を削減することができる。

以上のように、レイヤ間マージ候補および時間マージ候補のいずれか一方を択一的に導出することで、レイヤ間マージ候補および時間マージ候補の両マージ候補を併用するケースを回避することができる。すなわち、両マージ候補を処理しなければならないケースを回避することができる。これにより、処理量の最悪値（最も処理量が多くなる場合の処理量）の低減を図ることができる。

（レイヤ間イントラ候補導出部）
図１９を用いて、マージ候補導出部１４６の変形例について説明する。個別マージ候補導出部１４６４は、さらに、レイヤ間イントラ候補導出部１４６４Ｆを有していてもよい。

本変形例では、マージ候補リストの概念を拡張する。具体的には、レイヤ間イントラ候補導出部１４６４Ｆが、マージ候補リストにおいてレイヤ間イントラ予測（テクスチャ予測）をシグナルする。

すなわち、レイヤ間イントラ候補導出部１４６４Ｆは、マージ候補リストに、レイヤ間イントラ予測をシグナルする候補であるレイヤ間イントラ候補を追加する。マージ候補リストからレイヤ間イントラ候補が選択された場合、テクスチャ予測部１５２のレイヤ間イントラ予測部１５２Ｃが、参照レイヤの復号画素をアップサンプルした画像に基づいて予測画像を生成する。

また、本変形例では、マージ候補導出制御部１４６１は、次の優先順で各マージ候補をマージ候補リストに追加してもよい。

１）空間マージ候補、２）時間マージ候補、３）レイヤ間マージ候補、４）結合マージ候補、５）ゼロマージ候補、６）レイヤ間イントラ候補
また、マージ候補導出部１４６におけるマージ候補の導出は、例えば、以下に示す手法により行うことができる。

すなわち、一つの手法としては、１）〜６）の優先順に、マージ候補リストのマージ候補導出数の最大値になるまでマージ候補を追加する。また、別の手法としては、１）〜５）の優先順でマージ候補リストのマージ候補導出数の最大値−１個のマージ候補を追加し、その後ろに６）レイヤ間マージ候補をマージ候補として追加する。

上記構成によれば、レイヤ間イントラ予測をＰＵ単位で選択することができる。これにより、ＣＵごとに選択フラグ（base_mode_flag）を設ける場合に比べてサイド情報を削減することができる。

また、マージ候補導出制御部１４６１は、次の優先順で各マージ候補をマージ候補リストに追加してもよい。

１）空間マージ候補、２）時間マージ候補、３）レイヤ間候補、４）結合マージ候補、５）ゼロマージ候補
ここで、３）レイヤ間候補は、レイヤ間予測に関するマージ候補であり、具体的には、レイヤ間マージ候補またはレイヤ間イントラ候補である。対象ＰＵに対応する参照レイヤ上の領域が属するＣＵ（以下、参照ＣＵと称する）の予測タイプに応じて、レイヤ間候補として追加される候補が、レイヤ間マージ候補およびレイヤ間イントラ候補の間で切り替えられる。なお、この切り替えは、マージ候補導出制御部１４６１が制御すればよい。

参照ＣＵがインターＣＵの場合、レイヤ間マージ候補導出部１４６４Ｂがレイヤ間マージ候補をレイヤ間候補として導出する。レイヤ間マージ候補が選択された場合、テクスチャ予測部１５２のインター予測部１５２Ａが動き補償予測により予測画像を生成する。

参照ＣＵがイントラＣＵの場合、レイヤ間イントラ候補導出部１４６４Ｆがレイヤ間イントラ候補をレイヤ間候補として導出する。レイヤ間イントラ候補が選択された場合、テクスチャ予測部１５２のレイヤ間イントラ予測部１５２Ｃが、参照レイヤの復号画素をアップサンプルした画像に基づいて予測画像を生成する。

参照レイヤがインターＣＵである場合、動き補償処理における処理量削減を図るため、当該インターＣＵの復号画像はレイヤ間予測における動き情報予測に用いられない。また、参照レイヤがイントラＣＵの場合、当該イントラＣＵでは動き補償の情報が存在しない。

上記構成によれば、参照ＣＵがインターＣＵかイントラＣＵかに応じて、当該参照ＣＵにおいて利用可能な情報を用いて候補を生成する。

これによりマージ候補リストにおいて、レイヤ間マージ候補とレイヤ間イントラ候補とを別々の候補とする場合に比べて、マージ候補の数を削減することができる。

また、マージ候補を追加する際に、利用可能でない情報を参照してしまうというオーバーヘッドを抑制することができる。

＜＜ＰＵ分割タイプ導出部の詳細＞＞
次に、図２７を用いて、ＰＵ分割タイプ導出部１４８の詳細構成について説明する。図２７は、ＰＵ分割タイプ導出部１４８の構成について例示した機能ブロック図である。

図２７に示すように、ＰＵ分割タイプ導出部１４８は、参照ＣＵ設定部１４８１、およびＰＵ分割推定部１４８２を備える構成である。

参照ＣＵ設定部１４８１は、復号の対象となる対象ＣＵの復号化の際に、当該対象ＣＵに対応する参照レイヤ上の領域を設定し、設定した参照領域を基準として、ＰＵ分割推定時に参照すべき参照レイヤ上のＣＵを設定する。以後、参照ＣＵ設定部１４８１が設定する上記領域のことを参照領域と称し、上記参照レイヤ上のＣＵのことを参照ＣＵと称する。

ＰＵ分割推定部１４８２は、参照ＣＵ設定部１４８１によって設定された参照ＣＵを参照して、対象レイヤの対象ＣＵにおけるＰＵへの分割タイプ（推定ＰＵ分割タイプ）を推定するものである。

より具体的には、ＰＵ分割推定部１４８２は、右下画素位置判定部１４８２Ａ、重複領域判定部１４８２Ｂ、および分割タイプ決定部１４８２Ｃを備えている。

右下画素位置判定部１４８２Ａは、参照ＣＵにおける右下画素の位置の参照領域内での位置を判定する。

重複領域判定部１４８２Ｂは、参照ＣＵと参照領域とが重なる領域（以下、重複領域と称する）の重複の度合いを判定する。重複領域の重複の度合いには、例えば、重複領域の面積の大小や、重複領域の形状、幅および高さの大小関係、および参照ＣＵと参照領域との包含関係が含まれる。

分割タイプ決定部１４８２Ｃは、右下画素位置判定部１４８２Ａまたは重複領域判定部１４８２Ｂの判定結果に応じて、対象ＣＵにおけるＰＵ分割タイプを決定する。

以下において、図２８〜図４０を用いて、参照ＣＵ設定部１４８１およびＰＵ分割推定部１４８２の動作の詳細について順に説明する。

（参照ＣＵ設定部の動作について）
図２８を用いて、参照ＣＵ設定部１４８１が、対象レイヤ上の対象フレームｔｇｔＦＲ１に含まれる対象ＣＵｔｇｔＣＵに対して参照ＣＵを設定する例について説明する。

図２８に示すように、まず、参照ＣＵ設定部１４８１は、参照レイヤ上の参照フレームｒｅｆＦＲ１に含まれるＣＵであって、対象ＣＵｔｇｔＣＵに対応する参照レイヤ上の参照領域ｒｅｆＲＥＧを設定する。

すなわち、参照フレームｒｅｆＦＲ１は、例示的には、対象フレームｔｇｔＦＲ１と同時刻における参照レイヤ上のフレームである。

また、ここで対象ＣＵｔｇｔＣＵが参照領域ｒｅｆＲＥＧと“対応する”とは、対象レイヤ上の対象フレームｔｇｔＦＲ１における対象ＣＵｔｇｔＣＵの空間的位置が、参照レイヤ上の参照フレームｒｅｆＦＲ１における参照領域ｒｅｆＲＥＧの空間的位置と対応しているということである。

次に、参照ＣＵ設定部１４８１は、参照領域ｒｅｆＲＥＧを基準として、参照ＣＵを設定する。

図２８に示す例では、参照レイヤ上のコーディングツリーブロックｒｅｆＣＴＢ１に参照領域ｒｅｆＲＥＧが含まれている。また、コーディングツリーブロックｒｅｆＣＴＢ１には、階層深度１のＣＵであるｒｅｆＣＵ０、ｒｅｆＣＵ１、ｒｅｆＣＵ２、およびｒｅｆＣＵ３が含まれる。また、ｒｅｆＣＵ０には、階層深度２の分割ＣＵであるｒｅｆＣＵ００、ｒｅｆＣＵ０１、ｒｅｆＣＵ０２、およびｒｅｆＣＵ０３が含まれる。

ここで、参照領域ｒｅｆＲＥＧは、参照レイヤ上の複数のＣＵと重複部分を有する可能性がある。すなわち、参照領域ｒｅｆＲＥＧは、参照レイヤ上の複数のＣＵと重なり合う可能性がある。

図２８に示す例では、参照領域ｒｅｆＲＥＧは、ｒｅｆＣＵ００、ｒｅｆＣＵ０１、ｒｅｆＣＵ０２、およびｒｅｆＣＵ０３、ｒｅｆＣＵ１、ｒｅｆＣＵ２、およびｒｅｆＣＵ３と重複部分を有する。

以下では、主として、参照ＣＵ設定部１４８１が、対象ＣＵの左上画素ｔｇｔＣＵＰＸに対応する画素ｒｅｆＣＵＰＸを含む参照レイヤ上のＣＵを参照ＣＵとして設定する例について説明する。すなわち、図２８に示す例では、ｒｅｆＣＵ００が参照ＣＵとなる。

図２９を用いて、上述のような参照ＣＵの設定について、より具体的に説明する。図２９に示すように、対象レイヤ上の対象フレームｔｇｔＦＲ１の高さおよび幅を、それぞれｈＰｉｃおよびｗＰｉｃとする。また、対象ＣＵｔｇｔＣＵの高さおよび幅を、それぞれｈＣｕおよびｗＣｕとし、左上画素の位置の対象フレームｔｇｔＦＲ１における座標表現を、（ｘＣｕ，ｙＣｕ）とする。また、参照レイヤ上の参照フレームｒｅｆＦＲ１の高さおよび幅を、それぞれｈＲｅｆＰｉｃおよびｗＲｅｆＰｉｃとする。

左上画素に対応する参照ＣＵを設定する場合、参照ＣＵ設定部１４８１は、以下のとおり参照ＣＵを設定する。まず、参照ＣＵ設定部１４８１は、以下の計算により、参照領域ｒｅｆＲＥＧの座標（xRefReg, yRefReg）を導出する。なお、以下のscaleX・scaleYは、対象フレームの幅・高さの参照フレームの幅・高さに対する比である。

scaleX = wPic / wRefPic
scaleY = hPic / hRefPic
xRefReg = xCu / scaleX
yRefReg = yCu / scaleY
続いて、参照ＣＵ設定部１４８１は、以上のようにして得られた参照領域ｒｅｆＲＥＧの座標（xRefReg, yRefReg）を含むＣＵを参照ＣＵとして設定する。

なお、上記に限られず、参照ＣＵ設定部１４８１は、以下のようにして、中心画素に対応する参照ＣＵを設定してもよい。まず、参照ＣＵ設定部１４８１は、以下の計算により、参照領域ｒｅｆＲＥＧの幅および高さ（wRefReg, hRefReg）を導出する。なお、以下に示すscaleX,scaleY,xRefReg およびyRefRegの導出方法については、既に説明した通りである。

wRefReg = wCu / scaleX
hRefReg = hCu / scaleY
このとき、参照領域の中心画素の座標（xRefC, yRefC）は、
xRefC = xRefReg + (hRefReg >> 1)
yRefC = yRefReg + (wRefReg >> 1)
により得られる。

続いて、参照ＣＵ設定部１４８１は、以上のようにして得られた参照領域の中心画素の座標（xRefC, yRefC）を含むＣＵを参照ＣＵとして設定する。

上記の例において、scaleXおよびscaleＹの値は、参照レイヤ上の参照フレーム全体と対象レイヤ上の対象フレーム全体が空間的に対応することを仮定して算出されているが、それに限らない。例えば、対象レイヤ上の部分領域が参照レイヤ上の参照フレーム全体と空間的に対応するような場合も考えられる。そのような場合、scaleXやscaleYの値は、対象レイヤ上の部分領域の位置（対象フレーム左上からのオフセット）や当該部分領域のサイズに基づいて算出される。

（ＰＵ分割推定部の動作について）
次に、図３０〜図４０を用いて、ＰＵ分割推定部１４８２が、対象ＣＵｔｇｔＣＵのＰＵ分割タイプを推定する例について説明する。

［単一の参照ＣＵ（参照領域の左上画素を含むＣＵ）を用いる場合］
まず、右下画素位置判定部１４８２Ａが参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置が参照領域ｒｅｆＲＥＧにおける位置を判定し、当該判定結果に基づいて、分割タイプ決定部１４８２Ｃが対象ＣＵにおけるＰＵ分割タイプを決定する例について説明する。なお、上述のとおり参照領域ｒｅｆＲＥＧの左上画素が参照ＣＵｒｅｆＣＵには含まれる。

［Ａ］右下画素が参照領域の上半分
図３０（ａ）に示すように、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置が参照領域ｒｅｆＲＥＧ内の上半分の位置（直線Ｍ１より上の領域）にあると判定される場合、分割タイプ決定部１４８２Ｃは、対象ＣＵｔｇｔＣＵにおけるＰＵ分割タイプを、２Ｎ×Ｎと推定する（図３０（ｂ）参照）。

参照ＣＵの右下画素が参照領域の上半分の位置にある場合、参照領域の上半分に、少なくとも水平方向のＣＵ境界が存在する。一般にＣＵ境界が存在する場合、境界を挟んだ２領域が異なる動き情報を有する可能性が、ＣＵ境界が存在しない場合に較べて高い。従って、参照領域の上半分には、物体の境界が存在する可能性が高い。そのため、物体の境界が存在する可能性が高い上半分の領域と、物体の境界の有無が不明である下半分の領域を異なるＰＵに分割することで、物体の境界が存在しないＰＵが設定される可能性を高めることができる。

［Ｂ］右下画素が参照領域の左下
図３１（ａ）に示すように、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置が参照領域ｒｅｆＲＥＧ内の左下の位置（直線Ｍ１より下であって直線Ｍ２より左の領域）にあると判定される場合、分割タイプ決定部１４８２Ｃは、対象ＣＵｔｇｔＣＵにおけるＰＵ分割タイプを、Ｎ×２Ｎと推定する（図３１（ｂ）参照）。

参照ＣＵの右下画素が参照領域の左下の位置にある場合、参照領域の左半分に、少なくとも垂直方向のＣＵ境界が存在する。従って、参照領域の左半分と右半分を分割するＰＵ分割タイプを用いることで、［Ａ］の場合と同様に、物体の境界が存在しないＰＵが設定される可能性を高めることができる。

［Ｃ］右下画素が参照領域の右下
図３２（ａ）に示すように、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置が参照領域ｒｅｆＲＥＧ内の右下の位置（直線Ｍ１より下であって直線Ｍ２より右の領域）にあると判定される場合、分割タイプ決定部１４８２Ｃは、対象ＣＵｔｇｔＣＵにおけるＰＵ分割タイプを、２Ｎ×２Ｎと推定する（図３２（ｂ）参照）。

参照ＣＵの右下画素が参照領域の右下の位置にある場合、参照領域と参照ＣＵの重複領域の面積が大きい。そのため、参照領域の大部分が単一のＣＵ（参照ＣＵ）に含まれている可能性が高く、一様な動き情報を有している可能性が高い。そのため、参照領域内で一様な動きを有する場合に最も適したＰＵ分割である２Ｎ×２Ｎを用いることで、符号化効率を向上できる。

［Ｄ］参照ＣＵが参照領域を含む
図３３（ａ）に示すように、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置が参照領域ｒｅｆＲＥＧの外側右下の位置にあると判定される場合、すなわち、参照ＣＵｒｅｆＣＵが、参照領域ｒｅｆＲＥＧを含むような場合、分割タイプ決定部１４８２Ｃは、対象ＣＵｔｇｔＣＵにおけるＰＵ分割タイプを、２Ｎ×２Ｎと推定する（図３２（ｂ）参照）。

参照ＣＵが参照領域を含む場合、参照領域内で一様な動き情報を有している可能性が高い。そのため、参照領域内で一様な動きを有する場合に最も適したＰＵ分割である２Ｎ×２Ｎを用いることで、符号化効率を向上できる。

以上のように、参照領域内のＣＵ境界の位置を厳密に導出することなく、右下画素の位置判定処理によりＰＵ分割タイプを導出することができる。これにより、比較的少ない処理量でＰＵ分割タイプを導出することができる。

図３４および図３５を用いて、右下画素位置判定部１４８２Ａが、右下画素ｒｅｆＣＵＰＸの位置を判定する手法についてより具体的に説明する。

図３４に示すように、参照領域ｒｅｆＲＥＧの左上画素の位置を（ｘＲｅｆＲｅｇ，ｙＲｅｆＲｅｇ）とし、参照領域ｒｅｆＲＥＧのサイズを、ｗＲｅｆＲｅｇ×ｈＲｅｆＲｅｇとする。また、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置を（ｘＲｅｆＣＵＢＲ，ｙＲｅｆＣＵＢＲ）とする。

上記判定条件［Ａ］〜［Ｄ］のそれぞれについて説明すると次のとおりである。

［Ａ］右下画素が参照領域の上半分
図３５は、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置と、判定結果との関係を示す図である。

まず、右下画素位置判定部１４８２Ａは、式（Ａ１）の真偽を判定する。

yRefCuBR < yRefReg + (hRefReg >> 1) ・・・（Ａ１）
式（Ａ１）では、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置が、参照領域ｒｅｆＲＥＧの上半分にあるか否かを判定している。すなわち、式（Ａ１）が真である場合、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置は、図３５に示す区画Ａに存在する。なお、図３５に示す各区画に付したラベルＡ〜Ｄは、判定条件［Ａ］〜［Ｄ］に対応している。例えば、判定条件“［Ａ］右下画素が参照領域の上半分”を満たす位置が、区画Ａに対応している。

［Ｂ］右下画素が参照領域の左下
式（Ａ１）が偽である場合、右下画素位置判定部１４８２Ａは、さらに、式（Ａ２）の真偽を判定する。

xRefCuBR < xRefReg + (wRefReg >> 1) ・・・（Ａ２）
式（Ａ２）では、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置が、参照領域ｒｅｆＲＥＧの左下にあるか否かを判定している。すなわち、式（Ａ２）が真である場合、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置は、図３５に示す区画Ｂに存在する。

［Ｃ］右下画素が参照領域の右下
式（Ａ２）が偽である場合、右下画素位置判定部１４８２Ａは、さらに、式（Ａ３）の真偽を判定する。

xRefCuBR < xRefReg + wRefReg ||
xRefCuBR < yRefReg + hRefReg ・・・（Ａ３）
式（Ａ３）では、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置が、参照領域ｒｅｆＲＥＧの右下にあるか否かを判定している。すなわち、式（Ａ３）が真である場合、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置は、図３５に示す区画Ｃに存在する。

［Ｄ］参照ＣＵが参照領域を含む
式（Ａ３）が偽である場合、右下画素位置判定部１４８２Ａは、さらに、式（Ａ４）の真偽を判定する。

(xRefCuBR >= xRefReg + wRefReg &&
yRefCuBR >= yRefReg + hRefReg) ・・・（Ａ４）
式（Ａ４）では、参照ＣＵｒｅｆＣＵが、参照領域ｒｅｆＲＥＧを含むか否かを判定している。すなわち、式（Ａ４）が真である場合、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置は、図３５に示す区画Ｄに存在する。

［参照ＣＵと参照領域が重なる領域（重複領域）の重複の度合いによる判定］
次に、重複領域判定部１４８２Ｂが参照ＣＵｒｅｆＣＵと参照領域ｒｅｆＲＥＧとの重複領域の重複の度合いを判定し、当該判定結果に基づいて、分割タイプ決定部１４８２Ｃが対象ＣＵにおけるＰＵ分割タイプを決定する例について説明する。

なお、図３６においても、図３４と同様、参照領域ｒｅｆＲＥＧの左上画素の位置を（ｘＲｅｆＲｅｇ，ｙＲｅｆＲｅｇ）とする。また、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置を（ｘＲｅｆＣＵＢＲ，ｙＲｅｆＣＵＢＲ）とする。また、参照領域ｒｅｆＲＥＧの右下画素の位置を（ｘＲｅｆＲｅｇＢＲ、ｙＲｅｆＲｅｇＢＲ）とし、参照ＣＵｒｅｆＣＵの左上画素の位置を（ｘＲｅｆＣＵ，ｙＲｅｆＣＵ）とする。

［Ａ´］参照ＣＵｒｅｆＣＵが参照領域ｒｅｆＲＥＧを含む場合
図３６（ａ）に示すように、参照ＣＵｒｅｆＣＵが参照領域ｒｅｆＲＥＧを含むと判定される場合（参照領域ｒｅｆＲＥＧが重複領域と一致する場合）、分割タイプ決定部１４８２Ｃは、対象ＣＵｔｇｔＣＵにおけるＰＵ分割タイプを、２Ｎ×２Ｎと推定する（図３６（ｂ）参照）。なお、上記判定は、例えば、参照ＣＵｒｅｆＣＵの左上画素の位置と、参照領域ｒｅｆＲＥＧの左上画素の位置とを比較し、さらに、参照ＣＵｒｅｆＣＵの幅および高さと、参照領域ｒｅｆＲＥＧの幅および高さとを比較することにより行うことができる。

また、重複領域の幅（wOver）、重複領域の幅（hOver）を算出して、それらの値に基づいて判定を行ってもよい。wOver、hOverはそれぞれ次の式で算出できる。

wOver = Min(xRefRegBR, xRefCuBR) - Max(xRefReg, xRefCu)
hOver = Min(yRefRegBR, yRefCuBR) - Max(yRefReg, yRefCu)
ここで、参照ＣＵｒｅｆＣＵが参照領域ｒｅｆＲＥＧを含む場合、重複領域と参照領域ｒｅｆＲＥＧが一致し、次の関係式が成り立つ。

wOver == wRefReg && hOver == hRefReg
なお、参照ＣＵｒｅｆＣＵが参照領域ｒｅｆＲＥＧの位置関係に特定の制約がある場合、より簡略化した計算によりwOver、hOverの値を算出できる。例えば、参照ＣＵｒｅｆＣＵが参照領域ｒｅｆＲＥＧの左上画素を含む場合、参照ＣＵｒｅｆＣＵの左上画素は、参照領域ｒｅｆＲＥＧの左上画素よりも常に左上に位置する。従って、そのような場合、wOver、hOverの値はそれぞれ以下の式により計算できる。

wOver = Min(xRefRegBR, xRefCuBR) - xRefReg
hOver = Min(yRefRegBR, yRefCuBR) - yRefReg
［Ｂ´］重複領域の幅がその高さ以上の場合
［Ａ´］でない場合であって、図３７（ａ）または（ｂ）に示すように、参照ＣＵｒｅｆＣＵと参照領域ｒｅｆＲＥＧとの重複領域の幅が、当該重複領域の高さ以上と判定される場合、分割タイプ決定部１４８２Ｃは、対象ＣＵｔｇｔＣＵにおけるＰＵ分割タイプを、２Ｎ×Ｎと推定する（図３７（ｃ）参照）。なお、図３７（ａ）および（ｂ）では、wOverを“w”と、hOverを“h”とそれぞれ略記している。

具体的には、重複領域判定部１４８２Ｂは、式（Ｂ１）の真偽を判定する。

wOver >=hOver ・・・（Ｂ１）
式（Ｂ１）が真であれば、重複領域の幅がその高さ以上と判定される。

［Ｃ´］重複領域の幅がその高さ未満の場合、
それ以外の場合（［Ａ´］でも「Ｂ´」でもない場合）であって、図３８（ａ）または（ｂ）に示すように、参照ＣＵｒｅｆＣＵと参照領域ｒｅｆＲＥＧとの重複領域の幅が、当該重複領域の高さ未満と判定される場合、分割タイプ決定部１４８２Ｃは、対象ＣＵｔｇｔＣＵにおけるＰＵ分割タイプを、Ｎ×２Ｎと推定する（図３８（ｃ）参照）。

重複領域判定部１４８２Ｂは、上記式（Ｂ１）が偽である場合、重複領域の幅がその高さ未満と判定してもよい。

なお、以上の説明では、参照領域ｒｅｆＲＥＧの左上画素の位置（ｘＲｅｆＲｅｇ，ｙＲｅｆＲｅｇ）と、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸの位置（ｘＲｅｆＣＵＢＲ，ｙＲｅｆＣＵＢＲ）とを判定における比較の対象とした。しかしながらこれに限られず、以上の判定は、参照領域ｒｅｆＲＥＧの左上画素以外の画素位置に対応する参照ＣＵを用いる場合にも適用可能である。

（作用・効果）
以上に示したように、階層動画像復号装置１は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する階層動画像復号装置１であって、上記対象レイヤにおける対象ＣＵについて、参照レイヤにおける、上記対象ＣＵに対応する参照領域と重複部分を有するＣＵに基づいて、上記参照領域との重複の度合いを判定するべき参照ＣＵを設定する参照ＣＵ設定部１４８１と、上記参照領域と上記参照ＣＵとの重複の度合いに応じて、上記対象ＣＵについて、ＰＵ分割タイプを決定するＰＵ分割推定部１４８２と、を備える構成である。

よって、ＰＵ分割タイプを導出する処理の処理量を低減することができるという効果を奏する。

（ＰＵ分割タイプ導出部の変形例）
以下において、ＰＵ分割タイプ導出部１４８の好ましい変形例について説明する。

（参照ＣＵのＰＵ分割タイプを利用した判定）
右下画素位置判定部１４８２Ａによる判定に応じて、分割タイプ決定部１４８２Ｃは、参照ＣＵのＰＵ分割タイプを利用した判定を行う構成としてもよい。

［厳密な計算を省略する場合］
具体的には、上記“単一の参照ＣＵを用いる場合”で説明した［Ａ］〜［Ｃ］に該当すると判定される場合は、前述のとおりとする。すなわち、参照ＣＵｒｅｆＣＵの右下画素ｒｅｆＣＵＰＸが参照領域ｒｅｆＲＥＧ内に含まれると判定される場合、分割タイプ決定部１４８２Ｃは、参照ＣＵのＰＵ分割タイプは用いずに対象ＣＵのＰＵ分割タイプを決定する。

一方、上記［Ｄ］に該当すると判定される場合は、分割タイプ決定部１４８２Ｃは、参照ＣＵのＰＵ分割タイプを利用して、以下のとおり対象ＣＵのＰＵ分割タイプを決定する。すなわち、
［Ｄ１］参照ＣＵのＰＵ分割タイプが２Ｎ×２Ｎの場合：
分割タイプ決定部１４８２Ｃは、対象ＣＵのＰＵ分割タイプを、２Ｎ×２Ｎと決定する。

［Ｄ２］参照ＣＵのＰＵ分割タイプが２Ｎ×Ｎ or ２Ｎ×ｎＵ or ２Ｎ×ｎＤの場合：
分割タイプ決定部１４８２Ｃは、対象ＣＵのＰＵ分割タイプを、２Ｎ×Ｎと決定する。

［Ｄ３］参照ＣＵのＰＵ分割タイプがＮ×２Ｎ or ｎＬ×２Ｎ or ｎＲ×２Ｎの場合：
分割タイプ決定部１４８２Ｃは、対象ＣＵのＰＵ分割タイプを、Ｎ×２Ｎと決定する。

以上の構成によれば、参照ＣＵ内にパーティション境界（ＰＵ境界）がない場合、パーティション境界のないＰＵ分割タイプである２Ｎ×２Ｎを対象ＣＵにおけるＰＵ分割タイプとして決定する（［Ｄ１］の場合）。

また、参照ＣＵにおいてＰＵ境界が存在する可能性がある場合（［Ｄ２］または［Ｄ３］の場合）、参照ＣＵにおけるＰＵ境界の位置の厳密な計算を省略し、垂直または水平の何れに境界がありえるかのみを判定して、対象ＣＵにおけるＰＵ分割タイプを決定する。

なお、“参照ＣＵと参照領域が重なる領域重複の度合いによる判定”の場合は、上記［Ａ´］の場合に上記［Ｄ１］〜［Ｄ３］の判定を行ってもよい。

［厳密な計算を実行する場合］
厳密な計算を省略する場合の構成は、以上に説明したとおりであるが、分割タイプ決定部１４８２Ｃは、参照ＣＵにおけるＰＵ境界の位置を厳密に計算して、対象ＣＵにおけるＰＵ分割タイプを決定する構成であっても構わない。以下において、このような分割タイプ決定部１４８２Ｃの構成例を示す。

上記“単一の参照ＣＵを用いる場合”で説明した［Ａ］〜［Ｃ］に該当すると判定される場合は、前述のとおりとする。

一方、上記［Ｄ］に該当すると判定される場合は、分割タイプ決定部１４８２Ｃは、参照ＣＵのＰＵ分割タイプを利用して、以下のとおり対象ＣＵのＰＵ分割タイプを決定する。すなわち、
［Ｄ１］参照ＣＵのＰＵ分割タイプが２Ｎ×２Ｎの場合：
分割タイプ決定部１４８２Ｃは、対象ＣＵのＰＵ分割タイプを、２Ｎ×２Ｎと決定する。

［Ｄ２］参照ＣＵのＰＵ分割タイプが２Ｎ×Ｎ or ２Ｎ×ｎＵ or ２Ｎ×ｎＤの場合：
図３９（ａ）、（ｂ）および（ｃ）に示すように、参照ＣＵのＰＵ分割タイプが２Ｎ×Ｎ or ２Ｎ×ｎＵ or ２Ｎ×ｎＤの場合、分割タイプ決定部１４８２Ｃは、以下の計算により、参照ＣＵにおけるＰＵ境界の位置（すなわち、横ＰＵ境界の位置）を厳密に計算する。

ここで、図４０に示すように、参照ＣＵｒｅｆＣＵの左上画素の位置を(xRefCu, yRefCu）とし、参照ＣＵｒｅｆＣＵの高さおよび幅を、それぞれhRefCu, wRefCuとする。また、参照ＣＵｒｅｆＣｕにおけるＰＵ境界の基準となる位置を、参照ＣＵの左辺と、ＰＵ境界とが交わる位置(xRefCu，yPub)とする（yPubは、縦ＰＵ境界の位置）。また、参照領域ｒｅｆＲＥＧの左上画素の位置を（xRefReg, yRefReg）とし、参照領域の高さおよび幅を、それぞれ、hRefReg, wRefRegとする。

［１］分割タイプ決定部１４８２Ｃは、以下のとおり横ＰＵ境界のｙ方向の位置yPubを導出する。

yPub = yRefCu + (hRefCu * bPos)
bPos = 0.25 (2NxnUの場合)
0.5 (2NxNの場合)
0.75 (2NxnDの場合)
［２］分割タイプ決定部１４８２Ｃは、yPubの参照領域ｒｅｆＲＥＧ内での位置にお応じて、以下のとおりＰＵ分割タイプを決定する。以下では、d = yPub - yRefRegとする。すなわち、ここでは、分割タイプ決定部１４８２Ｃは、参照ＣＵｒｅｆＣＵの横ＰＵ境界の参照領域ｒｅｆＲＥＧにおける位置に応じて、ＰＵ分割タイプを決定している。

［２−１］ d ≦ 0 または d ≧ hRefRegの場合
これは、参照領域ｒｅｆＲＥＧが、参照ＣＵｒｅｆＣＵのいずれかのパーティションに含まれるような場合である。分割タイプ決定部１４８２Ｃは、ＰＵ分割タイプを２Ｎ×２Ｎと決定する。

［２−２］ 0 ＜ d ＜ 0.25 * hRefRegの場合
これは、参照ＣＵｒｅｆＣＵのＰＵ境界が、参照領域ｒｅｆＲＥＧの上１／４以上の位置を横切る場合である。分割タイプ決定部１４８２Ｃは、ＰＵ分割タイプを２Ｎ×ｎＵと決定する。

［２−３］0.25 * hRefReg ≦ d ＜ 0.75 * hRefRegの場合
これは、参照ＣＵｒｅｆＣＵのＰＵ境界が、参照領域ｒｅｆＲＥＧの中央付近（上１／４〜下１／４の位置）を横切る場合である。分割タイプ決定部１４８２Ｃは、ＰＵ分割タイプを２Ｎ×Ｎと決定する。

［２−４］0.75 * hRefReg ≦ d ＜ hRefRegの場合
これは、参照ＣＵｒｅｆＣＵのＰＵ境界が、参照領域ｒｅｆＲＥＧの下１／４以上の位置を横切る場合である。分割タイプ決定部１４８２Ｃは、ＰＵ分割タイプを２Ｎ×ｎＤと決定する。

［Ｄ３］参照ＣＵのＰＵ分割タイプがＮ×２Ｎ or ｎＬ×２Ｎ or ｎＲ×２Ｎの場合：
分割タイプ決定部１４８２Ｃは、参照ＣＵにおけるＰＵ境界の位置（すなわち、縦ＰＵ境界の位置）を厳密に計算する。その計算方法は、図４０を用いて示した計算手法を、縦ＰＵ境界について応用したものを用いることが可能であるので、その詳細な説明を省略する。

（解像度比が小さい場合の判定）
参照レイヤの解像度に対する対象レイヤの解像度の比が所定値以下である場合（例えば、１．５以下の場合）、分割タイプ決定部１４８２Ｃは、参照ＣＵのサイズと、対象ＣＵのサイズとの大小に応じてＰＵ分割タイプを決定してもよい。

例えば、参照ＣＵのサイズが、対象ＣＵのサイズよりも大きい場合、分割タイプ決定部１４８２Ｃは、ＰＵ分割タイプを２Ｎ×２Ｎと決定してもよい。

また、例えば、参照ＣＵのサイズが、対象ＣＵのサイズ以下の場合、分割タイプ決定部１４８２Ｃは、参照ＣＵのＰＵ分割タイプを、ＰＵ分割タイプとしてもよい。

以上の構成によれば、判定処理を簡略化することができる。

（ブロックサイズによる制限）
小さいサイズのＰＵがＰＵ分割により発生することを抑制することが好ましい。よって、分割タイプ決定部１４８２Ｃは、所定のサイズのＣＵ（例えば、８×８ＣＵ）では、常に２Ｎ×２ＮをＰＵ分割タイプとする構成であってもよい。すなわち、分割タイプ決定部１４８２Ｃは、所定のサイズのＣＵでは、分割を禁止してもよい。

上記構成によれば、処理のボトルネックとなる小サイズＰＵのインターＣＵの割合を減らすことができ、これにより平均的な処理量を低減することができる。

なお、分割タイプ決定部１４８２Ｃは、所定のサイズのＣＵにおいて、対称的なパーティションのみをＰＵ分割タイプとして導出してもよい。また、分割タイプ決定部１４８２Ｃは、Ｎ×ＮをＰＵ分割パターンとして導出することを制限してもよい。

（非対称パーティションの制限）
参照レイヤからＰＵ分割タイプを決定する場合、分割タイプ決定部１４８２Ｃは、非対称パーティションをＰＵ分割タイプとして導出しないような構成であってもよい。例えば、参照ＣＵのＰＵ分割タイプから対象ＣＵのＰＵ分割タイプを推定する場合、分割タイプ決定部１４８２Ｃは、境界の方向性に応じた対称パーティションをＰＵ分割タイプとして導出する構成であってもよい。

言い換えれば、上述の参照ＣＵのＰＵ分割タイプを利用した判定は、［Ｄ］の場合に限られず、［Ａ］〜［Ｃ］にも適用することができる。また、上述の参照ＣＵのＰＵ分割タイプを利用した判定を［Ａ］〜［Ｃ］にも適用する場合、分割タイプ決定部１４８２Ｃは、対称パーティションをＰＵ分割タイプとして導出してもよい。

上記構成によれば、垂直または水平境界の厳密な位置を判定しなくても済むため、処理を簡略化することができる。

（参照ＣＵの選択・設定）
以上の説明では、参照ＣＵ設定部１４８１は、参照領域ｒｅｆＲＥＧと重複部分を有する複数のＣＵのうち、対象ＣＵの左上画素を含むＣＵを参照ＣＵとして設定する構成について説明した。

しかしながら、本発明は上記の構成には限られない。参照ＣＵ設定部１４８１は、より一般的には、参照領域ｒｅｆＲＥＧと重複部分を有する複数のＣＵのうちから所定の基準で単一の参照ＣＵを設定する構成であってもよい。

例えば、参照ＣＵ設定部１４８１は、上記複数のＣＵのうち、対象ＣＵに含まれる所定の位置にある画素に対応する画素を含む参照レイヤ上のＣＵを参照ＣＵとして設定してもよい。具体例を挙げると、参照ＣＵ設定部１４８１は、対象ＣＵに含まれる中央画素に対応する画素を含む参照レイヤ上のＣＵを参照ＣＵとして設定してもよい。

また別の具体例では、参照ＣＵ設定部１４８１は、参照領域ｒｅｆＲＥＧと重複部分を有する複数のＣＵのうちから、最大の面積を有するＣＵを参照ＣＵとして用いてもよい。

上記構成によれば、対象ＣＵに含まれる中央画素に対応する画素を含む参照レイヤ上のＣＵや、上記複数のＣＵのうち最大の面積を有するＣＵは、対象ＣＵと同じＰＵ分割タイプである可能性が高いため、推定精度を向上させることができる。

また、参照ＣＵ設定部１４８１は、参照領域ｒｅｆＲＥＧと重複部分を有する複数のＣＵから仮想的な単一のＣＵを生成してもよい。具体的には、参照ＣＵ設定部１４８１は、複数のＣＵにおける代表的な性質を参照領域周辺のＣＵから抽出し、抽出した性質に基づいて仮想的な単一のＣＵを生成して、参照符号化単位としてもよい。例えば、参照ＣＵ設定部１４８１は、複数のＣＵのサイズおよび形状に基づいて、あるいは、これらの情報を組み合わせて、当該仮想的な単一のＣＵを生成することができる。なお、上記仮想的な単一の符号化単位は、上記参照領域と重複するよう領域になるように生成する。

また、参照ＣＵ設定部１４８１は、参照領域ｒｅｆＲＥＧと重複部分を有する複数のＣＵを参照ＣＵリストとして利用してもよい。

（ＰＵ分割推定部の補足）
上記図２７のＰＵ分割推定部１４８２の説明において、ＰＵ分割推定部１４８２は右下画素位置判定部１４８２Ａと重複領域判定部１４８２Ｂの双方を備える構成として説明したが、常にいずれか一方の判定部を用いるように構成した上で、ＰＵ分割推定部１４８２を右下画素位置判定部１４８２Ａと重複領域判定部１４８２Ｂのいずれか一方を含む構成としてもよい。

（その他の変形例）
以下において、その他の変形例について説明する。

（シンタックステーブルの構成例）
ベーススキップＣＵを符号化するためのシンタックスの構成例について以下説明する。その構成の概要は、次のとおりである。まず、参照レイヤの情報を用いるか否かのベースモードフラグ（base_mode_flag）を符号化する。また、ベースモードフラグが“true”の場合、PartModeの導出に上述したＰＵ分割タイプ導出部１４８によるＰＵ分割タイプの推定を用いる。

なお、シンタックス構成の仕方によっては、ＰＵ分割タイプ以外の推定（例えば、pred_mode）を実行する場合もある。

［coding_unitでbase_mode_flagを符号化する構成］
図４１および図４２を用いて、coding_unitでbase_mode_flagを符号化する構成例について説明する。

図４２にcoding_unitでbase_mode_flagを符号化する場合のシンタックスの構成例を示している。

図４２に示すように、coding_unitにおいて、skip_flagの直後にbase_mode_flagを符号化してもよい（ＳＹＮ１１）。なお、以下では、base_mode_flagの符号化に関連する技術的事項として、予測モードpred_mode、およびＰＵ分割タイプpart_modeの省略および導出を、あわせて検討する。

図４２を参照し、さらに具体的に説明すると、符号化データの構成において、ベースモードフラグ（base_mode_flag）は、スキップフラグ（skip_flag）の後、かつ予測モードフラグ（pred_mode_flag）の前に配置される。

また、ベースモードフラグ（base_mode_flag）が“true”の場合には、予測モードフラグ（pred_mode_flag）および分割タイプ（part_mode）を配置しない（それぞれ、ＳＹＮ１２およびＳＹＮ１３に対応）。

図４２に示すシンタックスの構成例によれば、ベーススキップＣＵにおける復号（base_mode_flagに関する復号）は、次のように行われる。

（１）階層動画像復号装置１は、base_mode_flagを復号する。

（２）base_mode_flagが“true”の場合、階層動画像復号装置１は、PredModeとPartModeとを推定（infer）により導出する。

（３）これに対して、base_mode_flagが“false”の場合、階層動画像復号装置１は、pred_mode_flagとpart_modeのシンタックス要素値を符号化データより復号して、復号したシンタックス値に基づいてPredModeとPartModeとを導出する。

以上の復号処理を表形式にて表すと図４１のとおりである。図４１は、シンタックス要素値とＣＵタイプとの関係について示すテーブルである。同図において、“-”は、そのＣＵタイプでは復号しなくてもよいシンタックス要素であることを示している。

以上のシンタックス構成によれば、図４１に示すように、ベーススキップＣＵの場合、pred_mode_flagとpart_modeとを復号しないため、符号化効率が向上する。

（予測モード（PredMode）の導出）
以下に、予測モード（PredMode）の導出方法について説明する。

［導出方法１］
べースレイヤがIスライスである場合、階層動画像復号装置１は、対象ＣＵにおいて常にイントラ予測（ＭＯＤＥ＿ＩＮＴＲＡ）を用いてもよい。

一方、べースレイヤがIスライスでない場合、階層動画像復号装置１は、参照ＣＵのＰｒｅｄＭｏｄｅを用いてもよい。なお、上記の参照ＣＵには、例えば、対象ＣＵの左上画素を含む参照レイヤ上のＣＵを用いることができる。

［導出方法２］
べースレイヤがIスライスである場合、階層動画像復号装置１は、対象ＣＵにおいて常にイントラ予測（ＭＯＤＥ＿ＩＮＴＲＡ）を用いてもよい。

一方、ベースレイヤがＩスライスでない場合、階層動画像復号装置１は、インター予測（ＭＯＤＥ＿ＩＮＴＥＲ）を用いる。

なお、上記導出方法１および２において、「ベースレイヤがＩスライスでない場合」という条件は、「ベースレイヤがＩＤＲ（Instantaneous Decoding Refresh）である場合」という条件でもよい。ＩＤＲとは、参照ピクチャの初期化のことであり、ＩＤＲピクチャは、参照がリセットされたピクチャである。つまり、ＩＤＲピクチャでは、そのピクチャより前（スライス）の情報を参照せずに、そのピクチャ以後のピクチャが正しく復号できる。

（merge_flagの導出）
図４３を用いて、prediction_unitでbase_mode_flagの判定に応じてmerge_flagを符号化する構成例について説明する。

図４３にprediction_unitでbase_mode_flagの判定を行ってからmerge_flagを符号化する場合のシンタックスの構成例を示している。

図４３に示すように、prediction_unitにおいて、mereg_flagの直前でbase_mode_flagを判定してもよい（ＳＹＮ２１）。また、base_mode_flagが“true”である場合は、merge_flagを配置しなくてもよい。

すなわち、base_mode_flagが“true”となるベーススキップＣＵに含まれる各ＰＵでは、常にマージモードを用いる構成（merge_flag=true）であってもよい。

上記構成によれば、３つのフラグpred_mode, part_mode, merge_flagを省略することができる。これにより、これら３つのフラグの符号量を削減でき符号化効率が向上する。

（階層動画像復号装置におけるＣＵ復号処理の流れ）
図４４、図４５、および図４６を用いて階層動画像復号装置１における予測パラメータに関するＣＵ復号処理の流れの一例について説明する。図４４、図４５、および図４６は、それぞれ、ベーススキップＣＵ、スキップＣＵ、およびインターＣＵの予測パラメータに関する復号処理の流れの一例を示すフロー図である。

まず、図４４を用いて、階層動画像復号装置１におけるベーススキップＣＵ復号処理の流れの一例について説明する。

対象ＣＵがベーススキップＣＵの場合、参照ＣＵ設定部１４８１が対象ＣＵに対応する参照ＣＵを設定する（Ｓ３０１）。

続いて、ＰＵ分割推定部１４８２が、対象ＣＵにおけるＰＵ分割タイプをレイヤ間予測により推定する（Ｓ３０２）。具体的には、ＰＵ分割タイプの推定は、右下画素位置判定部１４８２Ａにおける判定結果、または、重複領域判定部１４８２Ｂにおける判定結果に基づいて、分割タイプ決定部１４８２Ｃによって実行される。

続いて、推定されたＰＵ分割タイプに従って、ＰＵが分割され対象ＰＵが設定されると（Ｓ３０３）、対象ＰＵについてマージ候補導出部１４６がマージ候補リストを導出する（Ｓ３０４）。なお、マージ候補導出部１４６は、例示的には、マージ候補リストの導出において、レイヤ間マージ候補を導出する。しかしながら、レイヤ間予測をどの程度行うかは任意に設定することができる。例えば、ベーススキップＣＵでは、ＰＵ分割タイプのみをレイヤ間予測の対象としてもよい。すなわち、Ｓ３０４において、レイヤ内マージ候補のみを導出する構成も採用可能である。また、ベーススキップＣＵにおいて、Ｓ３０１“参照ＣＵの設定”・Ｓ３０２“ＰＵ分割の推定”処理の代わりに、後述のＳ４０１“ＰＵ分割を２Ｎ×２Ｎに設定”処理を実行してもよい。また、ベーススキップＣＵ以外のＣＵにおいて、ＰＵ分割の推定を行っても構わない。

続いて、マージ情報復元部１４７が、導出されたマージ候補リストからマージ候補を選択する（Ｓ３０５）。

ここで、対象ＰＵが、対象ＣＵにおける処理順序上の最終ＰＵでなければ（Ｓ３０６においてＮＯ）、Ｓ３０３〜Ｓ３０５の処理が繰り返し実行される。

その後、対象ＣＵにおける処理順序上の最終ＰＵまで処理が完了すれば（Ｓ３０６においてＹＥＳ）、ベーススキップＣＵ復号処理が終了する。

次に、図４５を用いて、階層動画像復号装置１におけるスキップＣＵ復号処理の流れの一例について説明する。

対象ＣＵがスキップＣＵの場合、予測パラメータ復元部１４において、ＰＵ分割タイプが２Ｎ×２Ｎ（すなわちＰＵ分割なし）に設定されるとともに（Ｓ４０１）、対象ＰＵが設定される（Ｓ４０２）。

続いて、マージ候補リスト導出部１４６が、対象ＰＵについて、マージ候補リストを導出する（Ｓ４０３）。さらに、マージ情報復元部１４７が、導出されたマージ候補リストからマージ候補を選択し（Ｓ４０４）、その後、スキップＣＵ復号処理が終了する。

次に、図４６を用いて、階層動画像復号装置１におけるインターＣＵ復号処理の流れの一例について説明する。

対象ＣＵがインターＣＵの場合、ＰＵ分割タイプが符号化データから復号される（Ｓ５０１）。また、復号されたＰＵ分割タイプに従って対象ＣＵにおけるＰＵへのパーティションが設定され、対象ＰＵが設定される（Ｓ５０２）。

続いて、対象ＰＵがマージＰＵであるか否かが判定される（Ｓ５０３）。対象ＰＵがマージＰＵである場合（Ｓ５０３においてＹＥＳ）、マージ候補導出部１４６がマージ候補リストを導出し（Ｓ５０４）、マージ情報復元部１４７がマージ候補リストからマージ候補を選択する（Ｓ５０５）。

一方、対象ＰＵがマージＰＵでない場合（Ｓ５０３においてＮＯ）、ＰＵ情報が符号化パラメータから復号される（Ｓ５０７）。

Ｓ５０５またはＳ５０７の処理の後、対象ＰＵが、対象ＣＵにおける処理順序上の最終ＰＵでなければ（Ｓ５０６においてＮＯ）、Ｓ５０２〜Ｓ５０７の処理が繰り返し実行される。

その後、対象ＣＵにおける処理順序上の最終ＰＵまで処理が完了すれば（Ｓ５０６においてＹＥＳ）、インターＣＵ復号処理が終了する。
〔階層動画像符号化装置〕
以下では、本実施形態に係る階層動画像符号化装置２の構成について、図２２〜図２４を参照して説明する。

（階層動画像符号化装置の構成）
図２２を用いて、階層動画像符号化装置２の概略的構成について説明すると次のとおりである。図２２は、階層動画像符号化装置２の概略的構成について示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。

図２２に示すように階層動画像符号化装置２は、予測パラメータ決定部２１、予測情報生成部２２、ベース復号部２３、テクスチャ情報生成部２４、可変長符号化部２５、およびＮＡＬ多重化部２６を備える。

予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔに基づいて、予測画像の予測に用いられる予測パラメータおよびその他の符号化の設定を決定する。

予測パラメータ決定部２１は、予測パラメータをはじめとする符号化の設定を、以下のとおり行う。

まず、予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔを、スライス単位、ツリーブロック単位、ＣＵ単位に順次分割することにより、対象ＣＵについてのＣＵ画像を生成する。

また、予測パラメータ決定部２１は、分割処理の結果に基づいて、符号化情報（ヘッダ情報とも称されることがある）を生成する。符号化情報は、（１）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報であるツリーブロック情報と、（２）各ツリーブロックに属するＣＵのサイズ、形状および対象ツリーブロック内での位置についての情報であるＣＵ情報とを含んでいる。

さらに、予測パラメータ決定部２１は、ＣＵ画像、ツリーブロック情報、およびＣＵ情報を参照して、対象ＣＵの予測タイプ、対象ＣＵのＰＵへの分割情報、および、予測パラメータ（対象ＣＵが、イントラＣＵであればイントラ予測モード、インターＣＵである場合には各ＰＵにおける動き補償パラメータ）を導出する。

予測パラメータ決定部２１は、（１）対象ＣＵの予測タイプ、（２）対象ＣＵの各ＰＵへの可能な分割パターン、および、（３）各ＰＵに割り付ける可能な予測モード（イントラＣＵであればイントラ予測モード、インターＣＵであれば動き補償パラメータ）、の全ての組み合わせについて、コストを算出し、最低コストの予測タイプ、分割パターン、および、予測モードを決定する。

予測パラメータ決定部２１は、符号化情報および予測パラメータを予測情報生成部２２およびテクスチャ情報生成部２４に供給する。なお、説明の簡便のため図示しないが、予測パラメータ決定部２１において決定された上記の符号化の設定は、階層動画像符号化装置２の各部において参照可能とする。

予測情報生成部２２は、予測パラメータ決定部２１から供給される予測パラメータと、参照レイヤ符号化データＤＡＴＡ＃Ｒとに基づいて予測パラメータに関するシンタックス値を含む予測情報を生成する。予測情報生成部２２は、生成した予測情報を可変長符号化部２５に供給する。なお、予測情報生成部２２は、予測パラメータを復元する際に、テクスチャ情報生成２４が備えるフレームメモリ２４４（後述）に格納された動き情報を参照することができる。

ベース復号部２３は、階層動画像復号装置１のベース復号部１６と同様であるので、ここではその説明を省略する。

テクスチャ情報生成部２４は、入力画像ＰＩＮ＃Ｔから予測画像を減算して得られる予測残差を、直交変換・量子化した変換係数を含む変換係数情報を生成する。テクスチャ情報生成部２４は、生成した変換係数情報を可変長符号化部２５に供給する。なお、テクスチャ情報生成２４では、復元された復号画像に関する情報が、内部に備えるフレームメモリ２４４（後述）に格納される。

可変長符号化部２５は、予測情報生成部２２から供給される予測情報およびテクスチャ情報生成部２４から供給される変換係数情報を可変長符号化して対象レイヤ符号化データＤＡＴＡ＃Ｔを生成する。可変長符号化部２５は、生成した対象レイヤ符号化データＤＡＴＡ＃ＴをＮＡＬ多重化部２６に供給する。

ＮＡＬ多重化部２６は、可変長符号化部２５から供給される対象レイヤ符号化データＤＡＴＡ＃Ｔと、参照レイヤ符号化データＤＡＴＡ＃ＲとをＮＡＬユニットに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡを生成し、外部に出力する。

以下において、予測情報生成部２２、およびテクスチャ情報生成部２４それぞれの詳細について説明する。

（予測情報生成部）
図２３を用いて、予測情報生成部２２の詳細構成について説明する。図２３は、予測情報生成部２２の構成について例示した機能ブロック図である。

図２３に示すように、予測情報生成部２２は、予測タイプ選択部２２１、スイッチ２２２、イントラ予測モード導出部２２３、動きベクトル候補導出部２２４、動き情報生成部２２５、マージ候補導出部（層間候補導出手段）２２６、マージ情報生成部２２７、およびＰＵ分割タイプ導出部２２８を備える。

予測タイプ選択部２２１は、ＣＵタイプまたはＰＵタイプに応じてスイッチ２２２に切り替え指示を送り予測パラメータの導出処理を制御する。具体的には以下のとおりである。

イントラＣＵまたはイントラＰＵが指定されている場合、予測タイプ選択部２２１はイントラ予測モード導出部２２３を用いて予測情報を導出できるようスイッチ２２２を制御する。

インターＣＵ（マージなし）およびインターＰＵ（マージなし）のいずれかが指定されている場合、予測タイプ選択部２２１は動き情報生成部２２５を用いて予測パラメータを導出できるようスイッチ２２２を制御する。

ベーススキップＣＵ、ベースマージＰＵ、スキップＣＵおよびマージＰＵのいずれかが指定されている場合、予測タイプ選択部２２１はマージ情報生成部２２７を用いて予測パラメータを導出できるようスイッチ２２２を制御する。

スイッチ２２２は、予測タイプ選択部２２１の指示に応じて、予測パラメータを、イントラ予測モード導出部２２３、動き情報生成部２２５、およびマージ情報生成部２２７のいずれかに供給する。予測情報の供給先において予測パラメータが導出される。

イントラ予測モード導出部２２３は、イントラ予測モードに関するシンタックス値を導出する。すなわち、イントラ予測モード復元部１４３が予測情報として生成するのは、予測モードに関するシンタックス値である。

動きベクトル候補導出部２２４は、ベース復号情報を用いて、レイヤ内動き推定処理、または、レイヤ間動き推定処理により推定動きベクトルの候補を導出する。動きベクトル候補導出部２２４は、導出した動きベクトルの候補を動き情報生成部２２５に供給する。

動き情報生成部２２５は、マージを行わない各インター予測パーティションにおける動き情報に関するシンタックス値を生成する。すなわち、動き情報復元部１４５が予測情報として生成するのは動き情報に関するシンタックス値である。具体的には、動き情報生成部２２５は、各ＰＵにおける動き補償パラメータから、対応するシンタックス要素値であるinter_pred_flag、mvd、mvp_idx、および、refIdxを導出する。

具体的には、動き情報生成部２２５は、対象ＰＵがベースマージＰＵである場合、動きベクトル候補導出部２２４から供給される動きベクトルの候補に基づいて、上記シンタックス値を導出する。

一方、動き情報復元部１４５は、対象ＣＵ（ＰＵ）がマージを行わないインターＣＵ（インターＰＵ）である場合、予測パラメータに含まれる動き情報に基づいて、上記シンタックス値を導出する。

マージ候補導出部２２６は、後述するフレームメモリ１５５から供給される復号済みの動き情報および／またはベース復号部２３から供給されるベース復号情報等を用いて、各ＰＵにおける動き補償パラメータと類似の動き補償パラメータを有するマージ候補を導出する。マージ候補導出部２２６は、導出したマージ候補をマージ情報生成部２２７に供給する。マージ候補導出部２２６の構成は、階層動画像復号装置１に含まれるマージ候補導出部１４６の構成と同様であるので、その説明を省略する。

マージ情報生成部２２７は、マージを行う各インター予測パーティションに関する動き情報に関するシンタックス値を生成する。すなわち、マージ情報生成部２２７が予測情報として生成するのは動き情報に関するシンタックス値である。具体的には、マージ情報生成部２２７は、各ＰＵにおける動き補償パラメータと類似の動き補償パラメータを有するマージ候補を指定するシンタックス要素値merge_idxを出力する。

ＰＵ分割タイプ導出部２２８は、符号化情報およびベース復号情報を用いて、対象レイヤにおける対象ＣＵのＰＵへのＰＵ分割タイプを推定する。ＰＵ分割タイプ導出部２２８の構成は、階層画像復号装置１に含まれるＰＵ分割タイプ導出部１４８の構成と同様であるので、その詳細な説明を省略する。

（テクスチャ情報生成部）
図２４を用いて、テクスチャ情報生成部２４の詳細構成について説明する。図２４は、テクスチャ情報生成部２４の構成について例示した機能ブロック図である。

図２４に示すように、テクスチャ情報生成部２４は、テクスチャ予測部２４１、減算器２４２、直交変換・量子化部２４３、逆直交変換・逆量子化部２４４、加算器２４５、ループフィルタ部２４６、およびフレームメモリ２４７を備える。

減算器２４２は、入力画像ＰＩＮ＃Ｔからテクスチャ予測部２４１から供給される予測画像を減算することによって、予測残差Ｄを生成する。減算器２４２は、生成した予測残差Ｄを、変換・量子化部２４３に供給する。

直交変換・量子化部２４３は、予測残差Ｄに対して、直交変換および量子化を行うことで量子化予測残差を生成する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことをさす。また、直交変換の例としては、ＤＣＴ変換（Discrete Cosine Transform）、およびＤＳＴ変換（Discrete Sine Transform）等が挙げられる。また、具体的な量子化過程については、すでに説明した通りであるので、ここではその説明を省略する。直交変換・量子化部２４３は、生成した量子化予測残差を含む変換係数情報を逆変換・逆量子化部２４４および可変長符号化部２５に供給する。

テクスチャ予測部２４１、逆直交変換・逆量子化部２４４、加算器２４５、ループフィルタ部２４６、およびフレームメモリ２４７は、それぞれ、階層動画像復号装置１に含まれるテクスチャ予測部１５２、逆直交変換・逆量子化部１５１、加算器１５３、ループフィルタ部１５４、およびフレームメモリ１５５と同様であるので、ここではその説明は省略する。ただし、テクスチャ予測部２４１は、加算器２４５だけでなく減算器２４２にも予測画像を供給する。

（他の階層動画像符号化／復号システムへの適用例）
上述した階層動画像符号化装置２及び階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。

まず、上述した階層動画像符号化装置２及び階層動画像復号装置１を、動画像の送信及び受信に利用できることを、図２５を参照して説明する。

図２５の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。図２５の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。

送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２５の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

図２５の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２５の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。

受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２５の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。

なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。

また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。

次に、上述した階層動画像符号化装置２及び階層動画像復号装置１を、動画像の記録及び再生に利用できることを、図２６を参照して説明する。

図２６の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。図２６の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図２６の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。

なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。

図２６の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図２６の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図２６の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。

なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。

（ハードウェア的実現およびソフトウェア的実現について）
最後に、階層動画像復号装置１、階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（Micro Processing Unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯ（Magneto-Optical）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasable and Programmable Read-only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、画像データが階層的に符号化された符号化データを復号する階層動画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層動画像符号化装置に好適に適用することができる。また、階層動画像符号化装置によって生成され、階層動画像復号装置によって参照される階層符号化データのデータ構造に好適に適用することができる。

１ 階層動画像復号装置（画像復号装置）
１１ ＮＡＬ逆多重化部
１２ 可変長復号部（フラグ復号手段）
１３ ベース復号部
１４ 予測パラメータ復元部
１５ テクスチャ復元部
１４６ マージ候補導出部
１４８ ＰＵ分割タイプ導出部
１４６１ マージ候補導出制御部（判定手段）
１４６２ マージ候補格納部
１４６３ スライスタイプ判定部
１４６４ 個別マージ候補導出部
１４６４Ａ 空間マージ候補導出部（対象レイヤ候補導出手段、空間動き情報候補導出手段）
１４６４Ｂ レイヤ間マージ候補導出部（層間候補導出手段）
１４６４Ｃ 時間マージ候補導出部（対象レイヤ候補導出手段、時間動き情報候補導出手段）
１４６４Ｄ 結合マージ候補導出部（対象レイヤ候補導出手段）
１４６４Ｅ ゼロマージ候補導出部（対象レイヤ候補導出手段）
１４６４Ｆ
１４８１ 参照ＣＵ設定部（参照符号化単位設定手段）
１４８２ ＰＵ分割推定部（分割パターン決定手段）
１４８２Ａ 右下画素位置判定部
１４８２Ｂ 重複領域判定部
２ 階層動画像符号化装置（画像符号化装置）
２１ 予測パラメータ決定部
２２ 予測情報生成部
２３ ベース復号部
２４ テクスチャ情報生成
２５ 可変長符号化部
２６ ＮＡＬ逆多重化部
２２６ マージ候補導出部（層間候補導出手段）

Claims (7)

1. 階層符号化データを復号して、復号の対象となる対象レイヤにおける動き情報を復元し、復元した動き情報に基づく動き補償予測によって生成した予測画像を用いて、上記対象レイヤにおける画像を復元する画像復号装置であって、
   上記対象レイヤにおける予測画像生成の処理対象となる対象予測単位において、複数のマージ候補を導出するマージ候補導出手段を備え、
   上記マージ候補導出手段は、参照レイヤ上の所定の位置に関連付けられた復号済の動き情報を用いてレイヤ間マージ候補と呼ばれるマージ候補を導出する層間候補導出手段を個別マージ候補導出手段の一つとして含み、
   上記参照レイヤ上の所定の位置は、上記対象予測単位の左上画素の位置から計算される参照レイヤ上の画素位置に右下方向の変位を加算して導出される右下位置に対応する位置であることを特徴とする画像復号装置。
2. 上記マージ候補導出手段は、対象予測単位の右上、左下、および左上の位置の動き情報を用いて空間マージ候補と呼ばれるマージ候補を導出する空間マージ候補導出手段を個別マージ候補導出手段の一つとして含み、
   上記マージ候補導出手段で導出される複数のマージ候補には、上記レイヤ間マージ候補、および、上記空間マージ候補が含まれることを特徴とする請求項１に記載の画像復号装置。
3. 上記所定の位置に関連付けられた復号済の動き情報の記録位置は、上記所定の位置を（ｘＣ０、ｙＣ０）、正の整数Ｎとした場合、（(xC0//N)*N、(yC0//N)*N）であることを特徴とする請求項１または請求項２に記載の画像復号装置。
4. 上記層間候補導出手段は、参照レイヤ上の第一の位置が利用可能である場合に、上記第一の位置に関連付けられた復号済の動き情報を用いてレイヤ間マージ候補を導出し、上記第一の位置が利用不可である場合に、上記第一の位置の左上に位置する第二の位置に関連付けられた動き情報を用いてレイヤ間マージ候補を導出することを特徴とする請求項１から３のいずれか１項に記載の画像復号装置。
5. 上記マージ候補導出手段は、上記レイヤ間マージ候補を他のマージ候補と一致判定せずにマージ候補に追加することを特徴とする請求項１から４のいずれか１項に記載の画像復
   号装置。
6. 対象予測単位が属するピクチャとは別のピクチャにおいて復号された動き情報に基づいてマージ候補を導出する時間動き情報候補導出手段を備え、
   上記マージ候補導出手段は、上記層間候補導出手段によるレイヤ間マージ候補導出処理と、上記時間動き情報候補導出手段によるマージ候補導出処理のいずれか一方を実行することを特徴とする請求項１から５のいずれか１項に記載の画像復号装置。
7. 階層符号化データを生成する際に、符号化の対象となる対象レイヤにおいて導出した動き情報に基づく動き補償予測によって生成した予測画像を、上記対象レイヤにおける入力原画像から減算し、上記対象レイヤにおける予測残差を生成する画像符号化装置であって、
   上記対象レイヤにおける予測画像生成の対象予測単位において、複数のマージ候補を導出するマージ候補導出手段を備え、
   上記マージ候補導出手段は、参照レイヤ上の所定の位置に関連付けられた復号済の動き情報を用いてレイヤ間マージ候補と呼ばれるマージ候補を導出する層間候補導出手段を個別マージ候補導出手段の一つとして含み、
   上記参照レイヤ上の所定の位置は、上記対象予測単位の左上画素の位置に右下方向の変位を加算して導出される右下位置に対応する位置であることを特徴とする画像符号化装置。
   

Images