JP5900612B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本開示は、画像処理装置及び画像処理方法に関する。

現在、Ｈ．２６４／ＡＶＣよりも符号化効率をさらに向上することを目的として、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同の標準化団体であるＪＣＴＶＣ（Joint Collaboration Team-Video Coding）により、ＨＥＶＣ（High Efficiency Video Coding）と呼ばれる画像符号化方式の標準化が進められている。ＨＥＶＣ規格については、２０１２年２月に最初のドラフト版の仕様であるＣｏｍｍｉｔｔｅｅ ｄｒａｆｔが発行されている（例えば、下記非特許文献１参照）。

また、異なる画像符号化方式で符号化ストリームを復号することを可能とするために、スケーラブル符号化におけるベースレイヤを旧来の画像符号化方式で符号化し、エンハンスメントレイヤをＨＥＶＣで符号化することも提案されている（例えば、下記非特許文献２参照）。

スケーラブル符号化（ＳＶＣ（Scalable Video Coding）ともいう）とは、一般には、粗い画像信号を伝送するレイヤと精細な画像信号を伝送するレイヤとを階層的に符号化する技術をいう。スケーラブル符号化において階層化される典型的な属性は、主に次の３種類である。
−空間スケーラビリティ：空間解像度あるいは画像サイズが階層化される。
−時間スケーラビリティ：フレームレートが階層化される。
−ＳＮＲ（Signal to Noise Ratio）スケーラビリティ：ＳＮ比が階層化される。
さらに、標準規格で未だ採用されていないものの、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティもまた議論されている。

スケーラブル符号化では、レイヤ間で共有可能なパラメータを１つのレイヤ内でのみ符号化することで、符号化効率を高めることができる。

Benjamin Bross, Woo-Jin Han, Jens-Rainer Ohm, Gary J. Sullivan, Thomas Wiegand, "High efficiency video coding (HEVC) text specification draft 6"（JCTVC-H1003 ver20, 2012年2月17日） Ajay Luthra, Jens-Rainer Ohm, Joern Ostermann, "Draft requirements for the scalable enhancement of HEVC"（ISO/IEC JTC1/SC29/WG11 N12400，2011年11月）

しかしながら、ＨＥＶＣでは、画像を再帰的にブロック分割することにより形成されるQuad-Tree構造内の符号化単位ごとに符号化処理が行われる。これに対し、ＭＰＥＧ２又はＡＶＣなどの旧来の画像符号化方式では、固定的なサイズを有するマクロブロックごとに符号化処理が行われる。そして、ベースレイヤを旧来の画像符号化方式で、エンハンスメントレイヤをＨＥＶＣでそれぞれ符号化しようとするマルチコーデックのスケーラブル符号化において、レイヤ間でどのようにブロック構造をマッピングすべきかについての最適な解決策は未だ提示されていない。

例えば、ベースレイヤにおけるマクロブロック構造を全く無視してエンハンスメントレイヤにおいてQuad-Tree構造を一から形成するとすれば、レイヤ間のブロックのマッピングが失われる。この場合、ブロックごとに設定される様々なパラメータをレイヤ間で再利用することが困難となり、スケーラブル符号化の利点が失われ、符号化効率は低下する。

そこで、マルチコーデックのスケーラブル符号化において、エンハンスメントレイヤにブロックを設定するための改善された仕組みが提供されることが望ましい。

本開示によれば、固定的なサイズを有するマクロブロックに基づく第１の符号化方式で復号されるベースレイヤ内にマクロブロックを設定する第１設定部と、再帰的にブロック分割される符号化単位に基づく第２の符号化方式で復号されるエンハンスメントレイヤ内に、前記第１設定部により設定されるブロックサイズに応じて、符号化単位を設定する第２設定部と、を備える画像処理装置が提供される。

上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。

また、本開示によれば、固定的なサイズを有するマクロブロックに基づく第１の符号化方式で復号されるベースレイヤ内にマクロブロックを設定することと、再帰的にブロック分割される符号化単位に基づく第２の符号化方式で復号されるエンハンスメントレイヤ内に、前記ベースレイヤ内に設定されたブロックサイズに応じて、符号化単位を設定することと、を含む画像処理方法が提供される。

また、本開示によれば、固定的なサイズを有するマクロブロックに基づく第１の符号化方式で符号化されるベースレイヤ内にマクロブロックを設定する第１設定部と、再帰的にブロック分割される符号化単位に基づく第２の符号化方式で符号化されるエンハンスメントレイヤ内に、前記第１設定部により設定されるブロックサイズに応じて、符号化単位を設定する第２設定部と、を備える画像処理装置が提供される。

上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。

また、本開示によれば、固定的なサイズを有するマクロブロックに基づく第１の符号化方式で符号化されるベースレイヤ内にマクロブロックを設定することと、再帰的にブロック分割される符号化単位に基づく第２の符号化方式で符号化されるエンハンスメントレイヤ内に、前記ベースレイヤ内に設定されるブロックサイズに応じて、符号化単位を設定することと、を含む画像処理方法が提供される。

本開示に係る技術によれば、マルチコーデックのスケーラブル符号化における、エンハンスメントレイヤにブロックを設定するための改善された仕組みに従って、符号化効率を高めることができる。

スケーラブル符号化について説明するための説明図である。 ＨＥＶＣにおける符号化単位のQuad-Tree構造について説明するための説明図である。 ＨＥＶＣのＬＣＵサイズを設定するための第１の手法について説明するための説明図である。 ＨＥＶＣのＬＣＵサイズを設定するための第２の手法について説明するための説明図である。 ＨＥＶＣのＳＣＵサイズを設定するための第１の手法について説明するための説明図である。 ＨＥＶＣのＳＣＵサイズを設定するための第２の手法について説明するための説明図である。 ＨＥＶＣのＴＵサイズを設定するための第１の手法について説明するための説明図である。 ＨＥＶＣのＴＵサイズを設定するための第２の手法について説明するための説明図である。 ＨＥＶＣのＰＵサイズを設定するための第１の手法について説明するための説明図である。 ＨＥＶＣのＰＵサイズを設定するための第２の手法について説明するための説明図である。 ＡＶＣのインター予測において利用可能な予測ブロックサイズの候補を示す説明図である。 ＨＥＶＣのインター予測のＰＵサイズを設定するための第３の手法について説明するための説明図である。 一実施形態に係る画像符号化装置の概略的な構成を示すブロック図である。 一実施形態に係る画像復号装置の概略的な構成を示すブロック図である。 図８に示した第１符号化部及び第２符号化部の構成の一例を示すブロック図である。 図１０に示したブロック設定部の詳細な構成の一例を示すブロック図である。 図１０に示した直交変換部の詳細な構成の一例を示すブロック図である。 図１０に示したイントラ予測部の詳細な構成の一例を示すブロック図である。 図１０に示したインター予測部の詳細な構成の一例を示すブロック図である。 符号化時のエンハンスメントレイヤにおけるブロック設定処理の流れの第１の例を示すフローチャートである。 符号化時のエンハンスメントレイヤにおけるブロック設定処理の流れの第２の例を示すフローチャートである。 符号化時のエンハンスメントレイヤにおける直交変換処理の流れの第１の例を示すフローチャートである。 符号化時のエンハンスメントレイヤにおける直交変換処理の流れの第２の例を示すフローチャートである。 符号化時のエンハンスメントレイヤにおけるイントラ予測処理の流れの第１の例を示すフローチャートである。 符号化時のエンハンスメントレイヤにおけるイントラ予測処理の流れの第２の例を示すフローチャートである。 符号化時のエンハンスメントレイヤにおけるインター予測処理の流れの第１の例を示すフローチャートである。 符号化時のエンハンスメントレイヤにおけるインター予測処理の流れの第２の例を示すフローチャートである。 図９に示した第１復号部及び第２復号部の構成の一例を示すブロック図である。 図１９に示したブロック設定部の詳細な構成の一例を示すブロック図である。 図１９に示した逆直交変換部の詳細な構成の一例を示すブロック図である。 図１９に示したイントラ予測部の詳細な構成の一例を示すブロック図である。 図１９に示したインター予測部の詳細な構成の一例を示すブロック図である。 復号時のエンハンスメントレイヤにおけるブロック設定処理の流れの第１の例を示すフローチャートである。 復号時のエンハンスメントレイヤにおけるブロック設定処理の流れの第２の例を示すフローチャートである。 復号時のエンハンスメントレイヤにおける逆直交変換処理の流れの第１の例を示すフローチャートである。 復号時のエンハンスメントレイヤにおける逆直交変換処理の流れの第２の例を示すフローチャートである。 復号時のエンハンスメントレイヤにおけるイントラ予測処理の流れの第１の例を示すフローチャートである。 復号時のエンハンスメントレイヤにおけるイントラ予測処理の流れの第２の例を示すフローチャートである。 復号時のエンハンスメントレイヤにおけるインター予測処理の流れの第１の例を示すフローチャートである。 復号時のエンハンスメントレイヤにおけるインター予測処理の流れの第２の例を示すフローチャートである。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 スケーラブル符号化の用途の第１の例について説明するための説明図である。 スケーラブル符号化の用途の第２の例について説明するための説明図である。 スケーラブル符号化の用途の第３の例について説明するための説明図である。 マルチビューコーデックについて説明するための説明図である。 マルチビューコーデックのための画像符号化装置の概略的な構成を示すブロック図である。 マルチビューコーデックのための画像復号装置の概略的な構成を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．概要
１−１．課題の説明
１−２．符号化単位に関するマッピング
１−３．変換単位に関するマッピング
１−４．予測単位に関するマッピング
１−５．エンコーダの基本的な構成例
１−６．デコーダの基本的な構成例
２．一実施形態に係る符号化部の構成例
２−１．全体的な構成
２−２．ブロック設定部の詳細な構成
２−３．直交変換部の詳細な構成
２−４．イントラ予測部の詳細な構成
２−５．インター予測部の詳細な構成
３．一実施形態に係る符号化時の処理の流れ
３−１．ブロック設定処理
３−２．直交変換処理
３−３．イントラ予測処理
３−４．インター予測処理
４．一実施形態に係る復号部の構成例
４−１．全体的な構成
４−２．ブロック設定部の詳細な構成
４−３．逆直交変換部の詳細な構成
４−４．イントラ予測部の詳細な構成
４−５．インター予測部の詳細な構成
５．一実施形態に係る復号時の処理の流れ
５−１．ブロック設定処理
５−２．逆直交変換処理
５−３．イントラ予測処理
５−４．インター予測処理
６．応用例
６−１．様々な製品への応用
６−２．スケーラブル符号化の様々な用途
６−３．その他
７．まとめ

＜１．概要＞
［１−１．課題の説明］
スケーラブル符号化においては、一連の画像をそれぞれ含む複数のレイヤが符号化される。ベースレイヤ（base layer）は、最初に符号化される、最も粗い画像を表現するレイヤである。ベースレイヤの符号化ストリームは、他のレイヤの符号化ストリームを復号することなく、独立して復号され得る。ベースレイヤ以外のレイヤは、エンハンスメントレイヤ（enhancement layer）と呼ばれる、より精細な画像を表現するレイヤである。エンハンスメントレイヤの符号化ストリームは、ベースレイヤの符号化ストリームに含まれる情報を用いて符号化される。従って、エンハンスメントレイヤの画像を再現するためには、ベースレイヤ及びエンハンスメントレイヤの双方の符号化ストリームが復号されることになる。スケーラブル符号化において扱われるレイヤの数は、２つ以上のいかなる数であってもよい。３つ以上のレイヤが符号化される場合には、最下位のレイヤがベースレイヤ、残りの複数のレイヤがエンハンスメントレイヤである。より上位のエンハンスメントレイヤの符号化ストリームは、より下位のエンハンスメントレイヤ又はベースレイヤの符号化ストリームに含まれる情報を用いて符号化され及び復号され得る。本明細書では、依存関係を有する少なくとも２つのレイヤのうち、依存される側のレイヤを下位レイヤ（lower layer）、依存する側のレイヤを上位レイヤ（upper layer）という。

図１は、スケーラブル符号化される３つのレイヤＬ１、Ｌ２及びＬ３を示している。レイヤＬ１はベースレイヤであり、レイヤＬ２及びＬ３はエンハンスメントレイヤである。なお、ここでは、様々な種類のスケーラビリティのうち、空間スケーラビリティを例にとっている。レイヤＬ２のレイヤＬ１に対する空間解像度の比は、２：１（即ち、スケーラビリティ比ＳＲ＝２．０）である。レイヤＬ３のレイヤＬ１に対する空間解像度の比は、４：１である。なお、スケーラビリティ比は、かかる例に限定されない。例えば、ＳＲ＝１．５という非整数のスケーラビリティ比もまた採用され得る。

ここで、ベースレイヤＬ１が、ＭＰＥＧ２又はＡＶＣなどの、マクロブロックベースの画像符号化方式で符号化されるものとする。ベースレイヤＬ１のブロックＢ１は、１つのマクロブロックである。マクロブロックのサイズは固定的に定義されており、マクロブロックＢ１は、１６×１６画素のサイズを有する。さらに、エンハンスメントレイヤＬ２もまたマクロブロックベースの画像符号化方式で符号化されるとすると、レイヤＬ２のレイヤＬ１に対するスケーラビリティ比は２．０であるため、ブロックＢ１に対応するエンハンスメントレイヤＬ２内の画像領域は、４つのマクロブロックＢ２１、Ｂ２２、Ｂ２３及びＢ２４に分割され得る。

これに対し、エンハンスメントレイヤＬ２がＨＥＶＣで符号化されるとすると、事情は異なる。ＨＥＶＣでは、画像を再帰的にブロック分割することにより形成されるQuad-Tree（四分木）構造内の符号化単位ごとに符号化処理が行われる。図２は、ＨＥＶＣにおける符号化単位のQuad-Tree構造について説明するための説明図である。図２の左には、人物の顔が映っている画像ＩＭ０１が示されている。画像ＩＭ０１は、まず、シーケンスパラメータセット（ＳＰＳ）内で指定されるサイズを有する複数のＬＣＵ（最大符号化単位：Largest Coding Unit）に分割される。利用可能な最大のＬＣＵサイズは、６４×６４画素である。さらに、各ＬＣＵは、同じくＳＰＳ内で指定されるＳＣＵ（最小符号化単位：Smallest Coding Unit）を下回らない範囲で、１つ以上のＣＵ（符号化単位：Coding Unit）に再帰的に分割される。図２の右には、テクスチャ境界が横切るＬＣＵ０が複数のＣＵに再帰的に分割される様子が拡大して示されている。テクスチャ境界の近傍領域では、分割を繰り返すことでより小さいＣＵが設定され、それ以外の領域では、分割の回数をより少なくすることでより大きいＣＵが設定されている。例えば、ＬＣＵ０のサイズが６４×６４画素であるとすると、ＣＵ０１のサイズは３２×３２画素、ＣＵ０２のサイズは１６×１６画素、ＣＵ０３のサイズは８×８画素である。さらに、図示していないものの、各ＣＵは、それぞれ直交変換の処理単位となる複数のＴＵ（変換単位：Transform Unit）に分割される。また、各ＣＵは、それぞれイントラ予測又はインター予測の処理単位となる複数のＰＵ（予測単位：Prediction Unit）に分割される。このような再帰的なブロック分割によれば、画像の内容に応じて符号化処理の処理単位のサイズを柔軟に変化させて、高精細な画像の符号化効率を高めることができる。

再び図１を参照すると、ベースレイヤＬ１がＡＶＣで符号化され、エンハンスメントレイヤＬ２がＨＥＶＣで符号化される場合に、最も単純な手法によれば、ブロックＢ２１、Ｂ２２、Ｂ２３及びＢ２４から構成される、ブロックＢ１に対応する３２×３２画素の１つのＣＵがエンハンスメントレイヤＬ２に設定され得る。しかし、ブロックＢ２１、Ｂ２２、Ｂ２３及びＢ２４のうち例えばブロックＢ２１にのみ何らかのテクスチャが存在する場合には、これら４つのブロックから構成される１つのＣＵではなく、より小さいＣＵを設定する方が符号化効率の観点で望ましい可能性がある。逆に、隣接する周囲の領域との間でテクスチャが共通している場合には、上記４つのブロックから構成される１つのＣＵではなく、より大きいＣＵを設定する方が望ましい可能性もある。従って、ベースレイヤＬ１の格子状のマクロブロック構造を単純にエンハンスメントレイヤＬ２において再利用する手法では、ＨＥＶＣに特有のQuad-Tree構造の利点を享受できず、符号化効率は最適化されない。

また、ベースレイヤＬ１におけるマクロブロック構造を全く無視してエンハンスメントレイヤＬ２においてQuad-Tree構造を一から形成するとすれば、レイヤ間のブロックのマッピングが失われる。この場合、ブロックごとに設定される様々なパラメータをレイヤ間で再利用することが困難となり、やはり符号化効率は最適化されない。

そこで、本明細書では、これら問題点が解決され又は少なくとも部分的に改善されるように、マルチコーデックのスケーラブル符号化におけるレイヤ間のブロックのマッピングを定義する。そして、そのマッピングに従って画像を符号化し又は復号する装置の構成の一例を説明する。

なお、以下の説明では、一例として、ベースレイヤがＡＶＣ（Advanced Video Coding）で符号化され、エンハンスメントレイヤがＨＥＶＣ（High Efficiency Video Coding）で符号化されるものとする。但し、本開示に係る技術は、かかる例に限定されず、他の画像符号化方式の組合せ（例えば、ベースレイヤがＭＰＥＧ２で符号化され、エンハンスメントレイヤがＨＥＶＣで符号化される、など）にも適用可能である。また、本開示に係る技術は、図１に例示した空間スケーラビリティのみならず、ＳＮＲスケーラビリティ、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティにも適用可能である。

［１−２．符号化単位に関するマッピング］
ＣＵに関するマッピングの基本的な考え方として、本開示に係る技術では、ベースレイヤ内に設定されるマクロブロックのブロックサイズに応じて、ＨＥＶＣで符号化されるエンハンスメントレイヤ内にＣＵを設定する。即ち、エンハンスメントレイヤでは、Quad-Tree構造が一から形成されるのではなく、ベースレイヤにおけるマクロブロックサイズを利用してQuad-Tree構造が形成される。

より具体的には、エンハンスメントレイヤにおけるＬＣＵサイズを、ベースレイヤにおけるマクロブロックサイズとスケーラビリティ比との積と同等か又は当該積よりも大きい値に設定する。実際に設定されるＬＣＵサイズは、利用可能なサイズのうち上記積に最も近いサイズとして決め打ちで（deterministically）決定されてもよく、又は上記積を基準として絞り込まれる複数のサイズから選択されてもよい。このように設定される各ＬＣＵは、ベースレイヤにおけるマクロブロックサイズに関わらず、より小さいＣＵに柔軟に分割されてよい。

図３Ａは、ＨＥＶＣのＬＣＵサイズを設定するための第１の手法について説明するための説明図である。第１の手法では、ＬＣＵサイズは、決め打ちで決定される。図３Ａの左には、ＡＶＣにおいて１６×１６画素のブロックサイズを有するマクロブロックが示されている。図３Ａの右には、ＨＥＶＣにおいて利用可能な４種類のブロックサイズ（６４×６４画素、３２×３２画素、１６×１６画素及び８×８画素）をそれぞれ有する４つのＬＣＵが示されている。例えば、スケーラビリティ比ＳＲ＝２．０である場合には、マクロブロックサイズとスケーラビリティ比との積は、１６×２．０＝３２である。この場合、エンハンスメントレイヤにおけるＬＣＵサイズは、３２×３２画素に決め打ちで設定されてよい。同様にして、３．０≦ＳＲである場合にはＬＣＵサイズは６４×６４画素に、１．５≦ＳＲ＜３．０である場合にはＬＣＵサイズは３２×３２画素に、１．０≦ＳＲ＜１．５である場合にはＬＣＵサイズは１６×１６画素にそれぞれ決め打ちで設定されてよい。このような第１の手法によれば、エンハンスメントレイヤにおいて、ＬＣＵサイズを示すパラメータを追加的に符号化することなく、ＬＣＵサイズを決定することができる。

図３Ｂは、ＨＥＶＣのＬＣＵサイズを設定するための第２の手法について説明するための説明図である。第２の手法では、ＬＣＵサイズは、マクロブロックサイズとスケーラビリティ比との積を基準として絞り込まれる１つ以上のサイズの候補から選択される。例えば、スケーラビリティ比ＳＲ＝２．０である場合には、マクロブロックサイズとスケーラビリティ比との積は、１６×２．０＝３２である。そこで、エンハンスメントレイヤにおけるＬＣＵサイズは、当該積以上の２種類のサイズ、即ち６４×６４画素及び３２×３２画素から選択される。例えば、ベースレイヤにおけるマクロブロックに対応する領域よりも広いＣＵを設定することが望ましい場合には６４×６４画素のＬＣＵサイズが選択され、そうでない場合には３２×３２画素のＬＣＵサイズが選択されてもよい。第２の手法では、エンハンスメントレイヤにおいて、ＬＣＵサイズを示すパラメータ（ＬＣＵサイズ情報）が追加的に生成され、生成されたパラメータが符号化される。但し、選択されるＬＣＵサイズの候補が絞り込まれるため、追加的に符号化されるパラメータのビット数は、全ての種類のＬＣＵサイズが選択可能である場合と比較して少なくて済む。図３Ｂの例では、追加的に符号化されるパラメータのビット数は１であり、例えばパラメータ値“０”は６４×６４画素、パラメータ値“１”は３２×３２画素をそれぞれ示し得る（その逆であってもよい）。このような第２の手法によれば、エンハンスメントレイヤにおいて、ＬＣＵサイズの選択の柔軟性を残しつつ、ＬＣＵサイズを示すパラメータの符号量を削減することができる。

なお、ＬＣＵサイズの候補を絞り込むための手法は、図３Ｂに例示した手法に限定されない。例えば、スケーラビリティ比が２のべき乗に等しくない場合には、ＨＥＶＣにおいて、マクロブロックサイズとスケーラビリティ比との積に一致するＬＣＵサイズは利用可能でない。この場合、ＬＣＵサイズの候補は、上記積よりも大きい利用可能なＬＣＵサイズのうちの最小のサイズと、上記積よりも小さい利用可能なＬＣＵサイズのうちの最大のサイズとに絞り込まれてもよい。例えば、スケーラビリティ比ＳＲ＝１．５であれば、マクロブロックサイズとスケーラビリティ比との積は、１６×１．５＝２４である。従って、ＬＣＵサイズの候補は、１６×１６画素及び３２×３２画素の２種類に絞り込まれてもよい。この場合、いずれのＬＣＵサイズが選択されたかを示す１ビットのパラメータが生成され、生成されたパラメータが符号化される。デコーダは、かかるパラメータを復号し、復号したパラメータを参照してＬＣＵサイズを選択する。以下に説明するＳＣＵサイズ、ＴＵサイズ及びＰＵサイズの絞り込みについても同様のアイディアが適用されてよい。

エンハンスメントレイヤにおけるＳＣＵサイズは、所望のブロック分割が可能となるように、ＬＣＵサイズ以下の値に設定され得る。ＳＣＵサイズは、ベースレイヤのブロックサイズに依存することなく決定されてもよい。その代わりに、ＳＣＵサイズは、ベースレイヤにおいてサブマクロブロックサイズが定義されている場合には、サブマクロブロックサイズとスケーラビリティ比との積に応じて決定されてもよい。

図４Ａは、ＨＥＶＣのＳＣＵサイズを設定するための第１の手法について説明するための説明図である。第１の手法では、ＳＣＵサイズは、決め打ちで決定される。図４Ａの左には、ＡＶＣにおいて８×８画素のブロックサイズを有するサブマクロブロックが示されている。図４Ａの右には、４種類のブロックサイズ（６４×６４画素、３２×３２画素、１６×１６画素及び８×８画素）をそれぞれ有する４つのＳＣＵが示されている。例えば、スケーラビリティ比ＳＲ＝２．０である場合には、サブマクロブロックサイズとスケーラビリティ比との積は、８×２．０＝１６である。この場合、エンハンスメントレイヤにおけるＳＣＵサイズは、１６×１６画素に決め打ちで設定されてよい。同様にして、３．０≦ＳＲである場合にはＳＣＵサイズは３２×３２画素に、１．５≦ＳＲ＜３．０である場合にはＳＣＵサイズは３２×３２画素に、１．０≦ＳＲ＜１．５である場合にはＳＣＵサイズは１６×１６画素にそれぞれ決め打ちで設定されてよい。このような第１の手法によれば、エンハンスメントレイヤにおいて、ＳＣＵサイズを示すパラメータを追加的に符号化することなく、ＳＣＵサイズを決定することができる。

図４Ｂは、ＨＥＶＣのＳＣＵサイズを設定するための第２の手法について説明するための説明図である。第２の手法では、ＳＣＵサイズは、ＬＣＵサイズ以下の複数のサイズから選択される。例えば、図４Ｂにおいて、ＬＣＵサイズは、３２×３２画素に設定されている。従って、ＳＣＵサイズの候補は、３２×３２画素、１６×１６画素及び８×８画素を含み得る。例えば、より細かいブロック分割を可能とすることが望ましい場合には、より小さいＳＣＵサイズが選択されてよい。第２の手法では、エンハンスメントレイヤにおいて、ＳＣＵサイズを示すパラメータ（ＳＣＵサイズ情報）が追加的に生成され、生成されたパラメータが符号化される。図４Ｂの例では、パラメータ値“０”は３２×３２画素、パラメータ値“１”は１６×１６画素、パラメータ値“２”は８×８画素、をそれぞれ示し得る。

なお、本項で説明したＬＣＵを設定するための手法とＳＣＵを設定するための手法とは、どのように組合わされてもよい。

［１−３．変換単位に関するマッピング］
ＴＵに関するマッピングの基本的な考え方は、ＣＵに関するマッピングと類似する。本開示に係る技術では、ベースレイヤ内に設定される変換ブロックのサイズ、即ちＤＣＴ（Discrete Cosine Transform）サイズに応じて、エンハンスメントレイヤ内に設定されるＴＵのサイズが決定される。

ＡＶＣでは、直交変換の処理単位となる変換ブロックのＤＣＴサイズは、８×８画素及び４×４画素から選択される。ＨＥＶＣでは、直交変換の処理単位となる変換ブロックのサイズ（即ち、ＴＵサイズ）は、３２×３２画素、１６×１６画素、８×８画素及び４×４画素から選択される。エンハンスメントレイヤにおいて実際に設定されるＴＵサイズは、利用可能なサイズのうち、ベースレイヤにおいて設定されたＤＣＴサイズとスケーラビリティ比との積に最も近いサイズとして決め打ちで決定されてもよい。その代わりに、上記積を基準として絞り込まれる複数のサイズから、実際に設定されるＴＵサイズが選択されてもよい。

図５Ａは、ＨＥＶＣのＴＵを設定するための第１の手法について説明するための説明図である。第１の手法では、ＴＵサイズは、決め打ちで決定される。図５Ａの左には、ＡＶＣにおいて８×８画素のＤＣＴサイズが設定されたことが、点線枠で示されている。図５Ａの右には、ＨＥＶＣにおいて利用可能な４種類のＴＵサイズ（３２×３２画素、１６×１６画素、８×８画素及び４×４画素）をそれぞれ有する４つのＴＵが示されている。例えば、スケーラビリティ比ＳＲ＝２．０である場合には、ＤＣＴサイズとスケーラビリティ比との積は、８×２．０＝１６である。この場合、エンハンスメントレイヤにおけるＴＵサイズは、１６×１６画素に決め打ちで設定されてよい。同様にして、３．０≦ＳＲである場合にはＴＵサイズは３２×３２画素に、１．５≦ＳＲ＜３．０である場合にはＴＵサイズは１６×１６画素に、１．０≦ＳＲ＜１．５である場合にはＴＵサイズは８×８画素にそれぞれ決め打ちで設定されてよい。このような第１の手法によれば、エンハンスメントレイヤにおいて、ＴＵサイズを示すパラメータを追加的に符号化することなく、ＴＵサイズを決定することができる。

図５Ｂは、ＨＥＶＣのＴＵを設定するための第２の手法について説明するための説明図である。第２の手法では、ＴＵサイズは、ＤＣＴサイズとスケーラビリティ比との積を基準として絞り込まれる１つ以上のサイズの候補から選択される。例えば、スケーラビリティ比ＳＲ＝２．０であって、ベースレイヤにおいて設定されたＤＣＴサイズが８×８画素であるものとする。この場合、ＤＣＴサイズとスケーラビリティ比との積は、８×２．０＝１６である。ここで、ベースレイヤにおいて８×８画素よりも小さいＤＣＴサイズが選択されなかった事実を考慮すれば、エンハンスメントレイヤにおいて１６×１６画素よりも小さいＤＣＴサイズを候補から除外しても、符号化効率にネガティブな影響は生じないと言える。よって、この場合、エンハンスメントレイヤにおけるＴＵサイズの候補は、３２×３２画素及び１６×１６画素の２種類に絞り込まれる。そして、実際に設定されたＴＵサイズを示すパラメータ（ＴＵサイズ情報）が追加的に生成され、生成されたパラメータが符号化される。同様に、例えば、スケーラビリティ比ＳＲ＝２．０であって、ベースレイヤにおいて設定されたＤＣＴサイズが４×４画素であるものとする。この場合、ＤＣＴサイズとスケーラビリティ比との積は、４×２．０＝８．０である。ここで、ベースレイヤにおいて４×４画素よりも大きいＤＣＴサイズが選択されなかった事実を考慮すれば、エンハンスメントレイヤにおいて８×８画素よりも大きいＤＣＴサイズを候補から除外しても、符号化効率にネガティブな影響は生じないと言える。よって、この場合、エンハンスメントレイヤにおけるＴＵサイズの候補は、８×８画素及び４×４画素の２種類に絞り込まれる。そして、実際に設定されたＴＵサイズを示すパラメータ（ＴＵサイズ情報）が追加的に生成され、生成されたパラメータが符号化される。いずれの場合にも、ＴＵサイズの候補が絞り込まれるため、追加的に符号化されるパラメータのビット数は、全ての種類のＴＵサイズが選択可能である場合と比較して少なくて済む。このような第２の手法によれば、エンハンスメントレイヤにおいて、ＴＵサイズの選択の柔軟性を残しつつ、ＴＵサイズを示すパラメータの符号量を削減することができる。

［１−４．予測単位に関するマッピング］
ＰＵに関するマッピングの基本的な考え方は、ＴＵに関するマッピングと類似する。本開示に係る技術では、ベースレイヤ内に設定される予測ブロックのサイズに応じて、エンハンスメントレイヤ内に設定されるＰＵのサイズが決定される。

ＡＶＣでは、予測の処理単位となる予測ブロックのサイズ（即ち、予測ブロックサイズ）は、イントラ予測について、１６×１６画素、８×８画素及び４×４画素から選択される。インター予測（動き補償）については、８×１６画素、１６×８画素、４×８画素及び８×４画素の非正方形の予測ブロックサイズもまた利用可能である。ＨＥＶＣでは、予測の処理単位となる予測ブロックのサイズ（即ち、ＰＵサイズ）は、イントラ予測について、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素及び４×４画素から選択される。インター予測（動き補償）については、非正方形の予測ブロックサイズもまた利用可能である。エンハンスメントレイヤにおいて実際に設定されるＰＵサイズは、利用可能なサイズのうち、ベースレイヤにおいて設定された予測ブロックサイズとスケーラビリティ比との積に最も近いサイズとして決め打ちで決定されてもよい。その代わりに、上記積を基準として絞り込まれる複数のサイズから、実際に設定されるＰＵサイズが選択されてもよい。

図６Ａは、ＨＥＶＣのＰＵを設定するための第１の手法について説明するための説明図である。ここでは、一例として、イントラ予測を説明の対象とする。第１の手法では、ＰＵサイズは、決め打ちで決定される。図６Ａの左には、ＡＶＣにおいて４×４画素の予測ブロックサイズが設定されたことが、点線枠で示されている。図６Ａの右には、４種類のＰＵサイズ（３２×３２画素、１６×１６画素、８×８画素及び４×４画素）をそれぞれ有する４つのＰＵが示されている。例えば、スケーラビリティ比ＳＲ＝２．０である場合には、予測ブロックサイズとスケーラビリティ比との積は、４×２．０＝８．０である。この場合、エンハンスメントレイヤにおけるＰＵサイズは、８×８画素に決め打ちで設定されてよい。同様にして、６．０≦ＳＲである場合にはＰＵサイズは３２×３２画素に、３．０≦ＳＲ＜６．０である場合にはＰＵサイズは１６×１６画素に、１．５≦ＳＲ＜３．０である場合にはＰＵサイズは８×８画素に、１．０≦ＳＲ＜１．５である場合にはＰＵサイズは４×４画素に、それぞれ決め打ちで設定されてよい。このような第１の手法によれば、エンハンスメントレイヤにおいて、ＰＵサイズを示すパラメータを追加的に符号化することなく、ＰＵサイズを決定することができる。

図６Ｂは、ＨＥＶＣのＰＵを設定するための第２の手法について説明するための説明図である。ここでは、一例として、イントラ予測を説明の対象とする。第２の手法では、ＰＵサイズは、予測ブロックサイズとスケーラビリティ比との積を基準として絞り込まれる１つ以上のサイズの候補から選択される。例えば、スケーラビリティ比ＳＲ＝２．０であって、ベースレイヤにおいて設定された予測ブロックサイズが１６×１６画素であるものとする。この場合、予測ブロックサイズとスケーラビリティ比との積は、１６×２．０＝３２である。ここで、ベースレイヤにおいて１６×１６画素よりも小さい予測ブロックサイズが選択されなかった事実を考慮すれば、エンハンスメントレイヤにおいて３２×３２画素よりも小さい予測ブロックサイズを候補から除外しても、符号化効率にネガティブな影響は生じないと言える。よって、この場合、エンハンスメントレイヤにおけるＰＵサイズの候補は、６４×６４画素及び３２×３２画素の２種類に絞り込まれる。そして、実際に設定されたＰＵサイズを示すパラメータ（ＰＵサイズ情報）が追加的に生成され、生成されたパラメータが符号化される。同様に、例えば、スケーラビリティ比ＳＲ＝２．０であって、ベースレイヤにおいて設定された予測ブロックサイズが４×４画素であるものとする。この場合、予測ブロックサイズとスケーラビリティ比との積は、４×２．０＝８．０である。ここで、ベースレイヤにおいて４×４画素よりも大きい予測ブロックサイズが選択されなかった事実を考慮すれば、エンハンスメントレイヤにおいて８×８画素よりも大きい予測ブロックサイズを候補から除外しても、符号化効率にネガティブな影響は生じないと言える。よって、この場合、エンハンスメントレイヤにおけるＰＵサイズの候補は、８×８画素及び４×４画素の２種類に絞り込まれる。そして、実際に設定されたＰＵサイズを示すパラメータ（ＰＵサイズ情報）が追加的に生成され、生成されたパラメータが符号化される。スケーラビリティ比ＳＲ＝２．０であって、ベースレイヤにおいて設定された予測ブロックサイズが８×８画素である場合には、絞り込みの結果として、エンハンスメントレイヤにおけるＰＵサイズの候補は１６×１６画素のみとなる。この場合、エンハンスメントレイヤにおいて必然的に１６×１６画素のＰＵサイズが設定されてよく、ＰＵサイズを示すパラメータは生成されない。いずれの場合にも、ＰＵサイズの候補が絞り込まれるため、追加的に符号化されるパラメータのビット数は、全ての種類のＰＵサイズが選択可能である場合と比較して少なくて済む。このような第２の手法によれば、エンハンスメントレイヤにおいて、ＰＵサイズの選択の柔軟性を残しつつ、ＰＵサイズを示すパラメータの符号量を削減することができる。

なお、図６Ａ及び図６Ｂを用いて説明した２つの手法は、利用可能な予測ブロックの候補が異なるものの、ＨＥＶＣのインター予測のＰＵを設定するために使用されてもよい。

図７Ａは、ＡＶＣのインター予測において利用可能な予測ブロックサイズの候補を示している。インター予測に際して、ＡＶＣでは、８×８画素以下のサイズを有する予測ブロックが使用される場合、即ちサブマクロブロックへの分割が使用される場合に、サブマクロブロックの形状及びサイズを示すサブマクロブロックタイプというパラメータが符号化される。そこで、エンハンスメントレイヤでは、サブマクロブロックへの分割が使用されたか、即ちサブマクロブロックタイプが符号化されているかに応じて、ＰＵサイズの候補を絞り込んでもよい。

図７Ｂは、ＨＥＶＣのインター予測のＰＵサイズを設定するための第３の手法について説明するための説明図である。第３の手法では、ＰＵサイズは、ベースレイヤの対応するブロックについてサブマクロブロックタイプが符号化されたかに応じて絞り込まれる。例えば、スケーラビリティ比ＳＲ＝２．０であって、ベースレイヤにおいてサブマクロブロックタイプが符号化されていない場合、エンハンスメントレイヤにおけるＰＵサイズの候補は、１６×１６画素以上のサイズに絞り込まれ得る。そして、実際に設定されたＰＵサイズを示すパラメータ（ＰＵサイズ情報）が追加的に生成され、生成されたパラメータが符号化される。一方、例えば、スケーラビリティ比ＳＲ＝２．０であって、ベースレイヤにおいてサブマクロブロックタイプが符号化されている場合、エンハンスメントレイヤにおけるＰＵサイズの候補は、８×８画素以下のサイズに絞り込まれ得る。そして、実際に設定されたＰＵサイズを示すパラメータ（ＰＵサイズ情報）が追加的に生成され、生成されたパラメータが符号化される。いずれの場合にも、ＰＵサイズの候補が絞り込まれるため、追加的に符号化されるパラメータのビット数は、全ての種類のＰＵサイズが選択可能である場合と比較して少なくて済む。このような第３の手法においても、エンハンスメントレイヤにおいて、ＰＵサイズの選択の柔軟性を残しつつ、ＰＵサイズを示すパラメータの符号量を削減することができる。

［１−５．エンコーダの基本的な構成例］
図８は、スケーラブル符号化をサポートする、一実施形態に係る画像符号化装置１０の概略的な構成を示すブロック図である。図８を参照すると、画像符号化装置１０は、第１符号化部１ａ、第２符号化部１ｂ、共通メモリ２及び多重化部３を備える。

第１符号化部１ａは、ベースレイヤ画像を符号化し、ベースレイヤの符号化ストリームを生成する。第２符号化部１ｂは、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、第１符号化部１ａにより生成されるベースレイヤの符号化ストリームと、第２符号化部１ｂにより生成される１つ以上のエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。

［１−６．デコーダの基本的な構成例］
図９は、スケーラブル符号化をサポートする、一実施形態に係る画像復号装置６０の概略的な構成を示すブロック図である。図９を参照すると、画像復号装置６０は、逆多重化部５、第１復号部６ａ、第２復号部６ｂ及び共通メモリ７を備える。

逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及び１つ以上のエンハンスメントレイヤの符号化ストリームに逆多重化する。第１復号部６ａは、ベースレイヤの符号化ストリームからベースレイヤ画像を復号する。第２復号部６ｂは、エンハンスメントレイヤの符号化ストリームからエンハンスメントレイヤ画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。

図８に例示した画像符号化装置１０において、ベースレイヤの符号化のための第１符号化部１ａの構成と、エンハンスメントレイヤの符号化のための第２符号化部１ｂの構成とは、画像符号化方式の違いは存在するものの、互いに類似する。第１符号化部１ａにより生成され又は取得されるいくつかのパラメータは、共通メモリ２を用いてバッファリングされ、第２符号化部１ｂにより再利用される。次節では、そのような第１符号化部１ａ及び第２符号化部１ｂの構成について詳細に説明する。

同様に、図９に例示した画像復号装置６０において、ベースレイヤの復号のための第１復号部６ａの構成と、エンハンスメントレイヤの復号のための第２復号部６ｂの構成とは、画像符号化方式の違いは存在するものの、互いに類似する。第１復号部６ａにより生成され又は取得されるいくつかのパラメータは、共通メモリ７を用いてバッファリングされ、第２復号部６ｂにより再利用される。さらに次の節では、そのような第１復号部６ａ及び第２復号部６ｂの構成について詳細に説明する。

＜２．一実施形態に係る符号化部の構成例＞
［２−１．全体的な構成］
図１０は、図８に示した第１符号化部１ａ及び第２符号化部１ｂの構成の一例を示すブロック図である。図１０を参照すると、第１符号化部１ａは、並び替えバッファ１１、ブロック設定部１２ａ、減算部１３、直交変換部１４ａ、量子化部１５、可逆符号化部１６ａ、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２ａ、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０ａ、及びインター予測部４０ａを備える。第２符号化部１ｂは、ブロック設定部１２ａ、直交変換部１４ａ、可逆符号化部１６ａ、逆直交変換部２２ａ、イントラ予測部３０ａ及びインター予測部４０ａの代わりに、ブロック設定部１２ｂ、直交変換部１４ｂ、可逆符号化部１６ｂ、逆直交変換部２２ｂ、イントラ予測部３０ｂ及びインター予測部４０ｂを備える。

並び替えバッファ１１は、一連の画像データに含まれる画像を並び替える。並び替えバッファ１１は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データをブロック設定部１２ａ又は１２ｂへ出力する。

ブロック設定部１２ａは、並び替えバッファ１１から入力されるベースレイヤの画像データに、１つ以上のマクロブロックを設定する。例えば、ＡＶＣにおいてマクロブロックサイズは固定的に定義されており、マクロブロックサイズは共通メモリ２により予め記憶される。そして、ブロック設定部１２ａは、設定したマクロブロックごとに、画像データを減算部１３、イントラ予測部３０ａ、及びインター予測部４０ａへ出力する。

ブロック設定部１２ｂは、並び替えバッファ１１から入力されるエンハンスメントレイヤの画像データについて、ＬＣＵサイズ及びＳＣＵサイズを設定する。ＬＣＵサイズ及びＳＣＵサイズの設定は、シーケンスごとに変更されてよい。ブロック設定部１２ｂは、共通メモリ２により記憶されるマクロブロックサイズ及びスケーラビリティ比を用いて、ＬＣＵサイズを決定し得る。ＳＣＵサイズは、さらに共通メモリ２により記憶され得るサブマクロブロックサイズを参照することにより決定されてもよい。そして、ブロック設定部１２ｂは、設定されたＬＣＵごとに、画像データを減算部１３、イントラ予測部３０ｂ、及びインター予測部４０ｂへ出力する。

減算部１３には、ブロック設定部１２ａ又は１２ｂから入力される画像データ、及び後に説明するイントラ予測部３０ａ若しくは３０ｂ又はインター予測部４０ａ若しくは４０ｂから入力される予測画像データが供給される。減算部１３は、並び替えバッファ１１から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４ａ又は１４ｂへ出力する。

直交変換部１４ａは、減算部１３から入力されるベースレイヤの予測誤差データについて、マクロブロック内に変換ブロックを設定して、設定した変換ブロックごとに直交変換を実行する。直交変換部１４ａにより実行される直交変換は、例えば、離散コサイン変換（ＤＣＴ）であってよい。直交変換部１４ａにより設定される変換ブロックのサイズは、８×８画素又は４×４画素である。直交変換部１４ａは、変換ブロックごとに直交変換処理により取得される変換係数データを量子化部１５へ出力する。また、直交変換部１４ａは、設定した各変換ブロックのサイズを示すＤＣＴサイズ情報を、共通メモリ２によりバッファリングさせる。

直交変換部１４ｂは、減算部１３から入力されるエンハンスメントレイヤの予測誤差データについて、ＬＣＵ内にＴＵを設定して、設定したＴＵごとに直交変換を実行する。直交変換部１４ｂにより実行される直交変換もまた、離散コサイン変換（ＤＣＴ）であってよい。直交変換部１４ｂにより設定されるＴＵのサイズは、３２×３２画素、１６×１６画素、８×８画素又は４×４画素である。直交変換部１４ｂは、共通メモリ２により記憶されるベースレイヤのＤＣＴサイズ情報及びスケーラビリティ比を用いて、エンハンスメントレイヤに設定すべきＴＵサイズを決定し得る。直交変換部１４ｂは、ＴＵごとに直交変換処理により取得される変換係数データを量子化部１５へ出力する。

量子化部１５には、直交変換部１４ａ又は１４ｂから入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６ａ又は１６ｂ及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、量子化データのビットレートを変化させる。

可逆符号化部１６ａは、量子化部１５から入力されるベースレイヤの量子化データについて可逆符号化処理を行うことにより、ベースレイヤの符号化ストリームを生成する。また、可逆符号化部１６ａは、ベースレイヤ内に設定された様々なブロックサイズに関する情報を符号化して、符号化パラメータを符号化ストリームのヘッダ領域内に多重化する。ここで符号化される情報は、例えば、ＤＣＴサイズ情報、イントラ予測に関する情報及びインター予測に関する情報を含み得る。そして、可逆符号化部１６ａは、生成した符号化ストリームを蓄積バッファ１７へ出力する。

可逆符号化部１６ｂは、量子化部１５から入力されるエンハンスメントレイヤの量子化データについて可逆符号化処理を行うことにより、エンハンスメントレイヤの符号化ストリームを生成する。また、可逆符号化部１６ｂは、エンハンスメントレイヤ内に設定された様々なブロックサイズに関する情報を符号化して、符号化パラメータを符号化ストリームのヘッダ領域内に多重化する。ここで符号化される情報は、例えば、スケーラビリティ比、ブロックサイズ情報、各ＬＣＵ内のブロック分割を示す分割フラグ（split_flag）、イントラ予測に関する情報及びインター予測に関する情報を含み得る。そして、可逆符号化部１６ｂは、生成した符号化ストリームを蓄積バッファ１７へ出力する。

蓄積バッファ１７は、可逆符号化部１６ａから入力されるベースレイヤの符号化ストリーム及び可逆符号化部１６ｂから入力されるエンハンスメントレイヤの符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。

レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。

逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２ａ又は２２ｂへ出力する。

逆直交変換部２２ａは、逆量子化部２１から入力されるベースレイヤの変換係数データについて、直交変換部１４ａにより設定された変換ブロックごとに逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２ａは、復元した予測誤差データを加算部２３へ出力する。

逆直交変換部２２ｂは、逆量子化部２１から入力されるエンハンスメントレイヤの変換係数データについて、直交変換部１４ｂにより設定されたＴＵごとに逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２ｂは、復元した予測誤差データを加算部２３へ出力する。

加算部２３は、逆直交変換部２２ａ又は２２ｂから入力される復元された予測誤差データとイントラ予測部３０ａ若しくは３０ｂ又はインター予測部４０ａ若しくは４０ｂから入力される予測画像データとを加算することにより、復号画像データ（いわゆるリコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。

デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。

フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。

セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０ａ又は３０ｂに供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてインター予測部４０ａ又は４０ｂに供給する。

セレクタ２７は、イントラ予測モードにおいて、イントラ予測部３０ａ又は３０ｂから出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６ａ又は１６ｂへ出力する。また、セレクタ２７は、インター予測モードにおいて、インター予測部４０ａ又は４０ｂから出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６ａ又は１６ｂへ出力する。セレクタ２７は、イントラ予測モードとインター予測モードとを、コスト関数値の大きさに応じて切り替える。

イントラ予測部３０ａは、ベースレイヤの原画像データ及び復号画像データに基づいて、ＡＶＣの予測ブロックごとにイントラ予測処理を行う。例えば、イントラ予測部３０ａは、マクロブロック内に予測ブロックを設定し、設定した予測ブロックごとにイントラ予測を実行する。イントラ予測部３０ａにより設定される予測ブロックのサイズは、１６×１６画素、８×８画素又は４×４画素である。次に、イントラ予測部３０ａは、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、イントラ予測部３０ａは、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部３０ａは、当該最適な予測モードに従ってベースレイヤの予測画像データを生成する。そして、イントラ予測部３０ａは、選択した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。また、イントラ予測部３０ａは、予測ブロックサイズ情報を共通メモリ２によりバッファリングさせる。

イントラ予測部３０ｂは、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、ＨＥＶＣのＰＵごとにイントラ予測処理を行う。例えば、イントラ予測部３０ｂは、ＬＣＵ内にＰＵを設定し、設定したＰＵごとにイントラ予測を実行する。イントラ予測部３０ｂにより設定されるＰＵのサイズは、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素又は４×４画素である。イントラ予測部３０ｂは、共通メモリ２により記憶されるベースレイヤの予測ブロックサイズ情報及びスケーラビリティ比を用いて、エンハンスメントレイヤに設定すべきＰＵサイズを決定し得る。次に、イントラ予測部３０ｂは、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、イントラ予測部３０ｂは、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部３０ｂは、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。そして、イントラ予測部３０ｂは、選択した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。

インター予測部４０ａは、ベースレイヤの原画像データ及び復号画像データに基づいて、ＡＶＣの予測ブロックごとにインター予測処理（動き探索処理）を行う。例えば、インター予測部４０ａは、マクロブロック内に予測ブロックを設定し、設定した予測ブロックごとにインター予測を実行する。インター予測部４０ａにより設定される予測ブロックのサイズは、図７Ａに示した７種類のサイズのいずれかである。次に、インター予測部４０ａは、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、インター予測部４０ａは、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部４０ａは、当該最適な予測モードに従ってベースレイヤの予測画像データを生成する。そして、インター予測部４０ａは、選択した最適な予測モードに対応する動き情報を含むインター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。また、インター予測部４０ａは、予測ブロックサイズ情報を共通メモリ２によりバッファリングさせる。当該予測ブロックサイズ情報は、サブマクロブロックタイプを含み得る。

インター予測部４０ｂは、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、ＨＥＶＣのＰＵごとにインター予測処理（動き探索処理）を行う。例えば、インター予測部４０ｂは、ＬＣＵ内にＰＵを設定し、設定したＰＵごとにインター予測を実行する。インター予測部４０ｂは、共通メモリ２により記憶されるベースレイヤの予測ブロックサイズ情報及びスケーラビリティ比を用いて、エンハンスメントレイヤに設定すべきＰＵサイズを決定し得る。次に、インター予測部４０ｂは、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、インター予測部４０ｂは、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部４０ｂは、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。そして、インター予測部４０ｂは、選択した最適な予測モードに対応する動き情報を含むインター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。

第１符号化部１ａは、ここで説明した一連の符号化処理を、ベースレイヤの一連の画像データについて実行する。第２符号化部１ｂは、ここで説明した一連の符号化処理を、エンハンスメントレイヤの一連の画像データについて実行する。エンハンスメントレイヤが複数存在する場合には、エンハンスメントレイヤの符号化処理は、エンハンスメントレイヤの数だけ繰り返されてもよい。

［２−２．ブロック設定部の詳細な構成］
図１１は、図１０に示したブロック設定部１２ａ及び１２ｂの詳細な構成の一例を示すブロック図である。図１１を参照すると、ブロック設定部１２ａは、設定制御部１１１ａ及びマクロブロック設定部１１２ａを有する。ブロック設定部１２ｂは、設定制御部１１１ｂ及びＣＵ設定部１１２ｂを有する。

（１）ベースレイヤのブロック設定処理
ブロック設定部１２ａの設定制御部１１１ａは、共通メモリ２により予め記憶される固定的なマクロブロックサイズを取得し、取得したサイズを有するマクロブロックの設定をマクロブロック設定部１１２ａに指示する。

マクロブロック設定部１１２ａは、設定制御部１１１ａからの指示に応じて、ベースレイヤの画像データに１つ以上のマクロブロックを設定する。そして、マクロブロック設定部１１２ａは、設定したマクロブロックごとに、画像データを減算部１３、イントラ予測部３０ａ、及びインター予測部４０ａへ出力する。

（２）エンハンスメントレイヤのブロック設定処理
ブロック設定部１２ｂの設定制御部１１１ｂは、共通メモリ２により記憶されるマクロブロックサイズ、及びベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する。スケーラビリティ比は、予め共通メモリ２により記憶されてもよく、又は２つのレイヤの解像度データから計算されてもよい。そして、設定制御部１１１ｂは、マクロブロックサイズとスケーラビリティ比とを用いて決定されるＬＣＵサイズ及びＳＣＵサイズの設定を、ＣＵ設定部１１２ｂに指示する。

ＣＵ設定部１１２ｂは、設定制御部１１１ｂからの指示に応じて、エンハンスメントレイヤ内にＬＣＵサイズ及びＳＣＵサイズを設定する。ＣＵ設定部１１２ｂは、図３Ａを用いて説明した第１の手法に従って、マクロブロックサイズにスケーラビリティ比を乗じることにより、ＬＣＵサイズを決め打ちで決定してもよい。その代わりに、ＣＵ設定部１１２ｂは、図３Ｂを用いて説明した第２の手法に従って、マクロブロックサイズとスケーラビリティ比との積を基準として絞り込まれる複数のサイズ候補から選択されるサイズを、ＬＣＵサイズとして決定してもよい。後者の場合には、ＣＵ設定部１１２ｂは、選択したＬＣＵサイズを示すＬＣＵサイズ情報を生成する。

また、ＣＵ設定部１１２ｂは、図４Ａを用いて説明した第１の手法に従って、共通メモリ２により予め記憶されるサブマクロブロックサイズにスケーラビリティ比を乗じることにより、ＳＣＵサイズを決め打ちで決定してもよい。その代わりに、ＣＵ設定部１１２ｂは、図４Ｂを用いて説明した第２の手法に従って、ＬＣＵサイズ以下の複数のサイズ候補から選択されるサイズを、ＳＣＵサイズとして決定してもよい。後者の場合には、ＣＵ設定部１１２ｂは、選択したＳＣＵサイズを示すＳＣＵサイズ情報を生成する。

そして、ＣＵ設定部１１２ｂは、ＬＣＵごとに、画像データを減算部１３、イントラ予測部３０ｂ、及びインター予測部４０ｂへ出力する。また、マクロブロック設定部１１２ｂは、ＬＣＵサイズ情報又はＳＣＵサイズ情報を生成した場合には、生成したこれらサイズ情報を可逆符号化部１６ｂへ出力する。

［２−３．直交変換部の詳細な構成］
図１２は、図１０に示した直交変換部１４ａ及び１４ｂの詳細な構成の一例を示すブロック図である。図１２を参照すると、直交変換部１４ａは、変換制御部１２１ａ、４×４変換部１２２ａ、８×８変換部１２３ａ及びサイズ判定部１２６ａを有する。直交変換部１４ｂは、変換制御部１２１ｂ、４×４変換部１２２ｂ、８×８変換部１２３ｂ、１６×１６変換部１２４ｂ、３２×３２変換部１２５ｂ及びサイズ判定部１２６ｂを有する。

（１）ベースレイヤの直交変換処理
直交変換部１４ａの変換制御部１２１ａは、ベースレイヤの予測誤差データについて、マクロブロック内に４×４画素の変換ブロックを設定して、設定した変換ブロックごとに４×４変換部１２２ａに直交変換を実行させる。また、変換制御部１２１ａは、同様にマクロブロック内に８×８画素の変換ブロックを設定して、設定した変換ブロックごとに８×８変換部１２３ａに直交変換を実行させる。そして、変換制御部１２１ａは、最適なＤＣＴサイズをサイズ判定部１２６ａに判定させる。

４×４変換部１２２ａは、変換制御部１２１ａにより設定される変換ブロックごとに、予測誤差データについて４×４画素の２次元ＤＣＴを実行する。そして、４×４変換部１２２ａは、変換係数データをサイズ判定部１２６ａへ出力する。８×８変換部１２３ａは、変換制御部１２１ａにより設定される変換ブロックごとに、予測誤差データについて８×８画素の２次元ＤＣＴを実行する。そして、８×８変換部１２３ａは、変換係数データをサイズ判定部１２６ａへ出力する。

サイズ判定部１２６ａは、４×４変換部１２２ａ及び８×８変換部１２３ａから入力される変換係数データに基づいて最適なＤＣＴサイズを判定し、最適なＤＣＴサイズに対応する変換係数データを量子化部１５へ出力する。また、サイズ判定部１２６ａは、最適なＤＣＴサイズを示すＤＣＴサイズ情報を可逆符号化部１６ａ及び逆直交変換部２２ａへ出力すると共に、当該ＤＣＴサイズ情報を共通メモリ２によりバッファリングさせる。

（２）エンハンスメントレイヤの直交変換処理
直交変換部１４ｂの変換制御部１２１ｂは、共通メモリ２により記憶されるＤＣＴサイズ情報、及びスケーラビリティ比を取得する。そして、変換制御部１２１ｂは、ＤＣＴサイズとスケーラビリティ比とを用いて決定される１つ以上のサイズを有するＴＵをＬＣＵ内に設定する。

例えば、変換制御部１２１ｂは、図５Ａを用いて説明した第１の手法に従って、ＤＣＴサイズにスケーラビリティ比を乗じることにより決め打ちで決定されるサイズを有するＴＵを、エンハンスメントレイヤのＬＣＵ内に設定する。そして、変換制御部１２１ｂは、４×４変換部１２２ｂ、８×８変換部１２３ｂ、１６×１６変換部１２４ｂ及び３２×３２変換部１２５ｂのうち、決定したＴＵサイズに対応する変換部に、予測誤差データについての直交変換を実行させる。

その代わりに、変換制御部１２１ｂは、図５Ｂを用いて説明した第２の手法に従って、ＤＣＴサイズとスケーラビリティ比との積を基準として絞り込まれる１つ以上のＴＵサイズをそれぞれ有するＴＵを、ＬＣＵ内に設定してもよい。そして、変換制御部１２１ｂは、４×４変換部１２２ｂ、８×８変換部１２３ｂ、１６×１６変換部１２４ｂ及び３２×３２変換部１２５ｂのうち対応する変換部に、予測誤差データについての直交変換をそれぞれ実行させる。第２の手法が採用される場合には、変換制御部１２１ｂは、最適なＴＵサイズをサイズ判定部１２６ｂに判定させる。

４×４変換部１２２ｂは、予測誤差データについて４×４画素の２次元ＤＣＴを実行する。８×８変換部１２３ｂは、予測誤差データについて８×８画素の２次元ＤＣＴを実行する。１６×１６変換部１２４ｂは、予測誤差データについて１６×１６画素の２次元ＤＣＴを実行する。３２×３２変換部１２５ｂは、予測誤差データについて３２×３２画素の２次元ＤＣＴを実行する。

サイズ判定部１２６ｂは、同じ位置の予測誤差データについて変換制御部１２１ｂにより複数のＴＵサイズが設定された場合に、対応する複数の変換部から入力される変換係数データに基づいて最適なＴＵサイズを判定する。そして、サイズ判定部１２６ｂは、最適なＴＵサイズに対応する変換係数データを量子化部１５へ出力する。また、サイズ判定部１２６ｂは、最適なＴＵサイズを示すＴＵサイズ情報を可逆符号化部１６ｂ及び逆直交変換部２２ｂへ出力する。

［２−４．イントラ予測部の詳細な構成］
図１３は、図１０に示したイントラ予測部３０ａ及び３０ｂの詳細な構成の一例を示すブロック図である。図１３を参照すると、イントラ予測部３０ａは、予測制御部１３１ａ、予測部１３２ａ及びモード判定部１３３ａを有する。イントラ予測部３０ｂは、予測制御部１３１ｂ、予測部１３２ｂ及びモード判定部１３３ｂを有する。

（１）ベースレイヤのイントラ予測処理
イントラ予測部３０ａの予測制御部１３１ａは、ベースレイヤのイントラ予測処理を制御する。より具体的には、予測制御部１３１ａは、ベースレイヤのマクロブロック内に様々なサイズを有する予測ブロックを設定して、様々な予測モードで予測部１３２ａにイントラ予測を実行させる。そして、予測制御部１３１ａは、最適な予測ブロックサイズ及び予測モードをモード判定部１３３ａに判定させる。

予測部１３２ａは、予測制御部１３１ａにより設定される予測ブロックごとに、（例えば、ＤＣ予測、水平予測、垂直予測及び平面予測などの）様々な予測モードで、フレームメモリ２５から入力される復号画像データを用いて予測画像データを生成する。そして、予測部１３２ａは、生成した予測画像データをモード判定部１３３ａへ出力する。

モード判定部１３３ａは、予測部１３２ａから入力される予測画像データを原画像データと比較することによりコスト関数値を算出し、コスト関数値が最小となる予測ブロックサイズと予測モードとの組合せを選択する。そして、モード判定部１３３ａは、最適な予測ブロックサイズと予測モードとの組合せを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。また、モード判定部１３３ａは、予測ブロックサイズ情報を共通メモリ２によりバッファリングさせる。

（２）エンハンスメントレイヤのイントラ予測処理
イントラ予測部３０ｂの予測制御部１３１ｂは、エンハンスメントレイヤのイントラ予測処理を制御する。より具体的には、予測制御部１３１ｂは、エンハンスメントレイヤのＬＣＵ内に１つ以上のＰＵを設定して、様々な予測モードで予測部１３２ｂにイントラ予測を実行させる。そして、予測制御部１３１ｂは、最適な予測モードをモード判定部１３３ｂに判定させる。

予測制御部１３１ｂは、ＰＵサイズを決定するために、共通メモリ２により記憶されるベースレイヤの予測ブロックサイズ情報、及びスケーラビリティ比を取得する。そして、予測制御部１３１ｂは、予測ブロックサイズとスケーラビリティ比とを用いて、ＬＣＵ内に設定すべきＰＵサイズを決定する。

例えば、予測制御部１３１ｂは、図６Ａを用いて説明した第１の手法に従って、予測ブロックサイズにスケーラビリティ比を乗じることにより決め打ちで決定されるＰＵサイズを有するＰＵを、ＬＣＵ内に設定してもよい。その代わりに、予測制御部１３１ｂは、図６Ｂを用いて説明した第２の手法に従って、予測ブロックサイズとスケーラビリティ比との積を基準として絞り込まれる１つ以上のＰＵサイズをそれぞれ有するＰＵを、ＬＣＵ内に設定してもよい。

予測部１３２ｂは、予測制御部１３１ｂにより設定されるＰＵごとに、（例えば、ＤＣ予測、角度予測、平面予測及び輝度ベース色差予測などの）様々な予測モードで、フレームメモリ２５から入力される復号画像データを用いて予測画像データを生成する。そして、予測部１３２ｂは、生成した予測画像データをモード判定部１３３ｂへ出力する。

モード判定部１３３ｂは、予測部１３２ｂから入力される予測画像データを原画像データと比較することによりコスト関数値を算出し、コスト関数値が最小となるＰＵサイズと予測モードとの組合せを選択する。そして、モード判定部１３３ｂは、予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。予測制御部１３１ｂにより複数のＰＵサイズが設定された場合には、モード判定部１３３ｂにより生成される情報は、図６Ｂに例示したようなＰＵサイズ情報を含み得る。

［２−５．インター予測部の詳細な構成］
図１４は、図１０に示したインター予測部４０ａ及び４０ｂの詳細な構成の一例を示すブロック図である。図１４を参照すると、インター予測部４０ａは、予測制御部１４１ａ、予測部１４２ａ及びモード判定部１４３ａを有する。インター予測部４０ｂは、予測制御部１４１ｂ、予測部１４２ｂ及びモード判定部１４３ｂを有する。

（１）ベースレイヤのインター予測処理
インター予測部４０ａの予測制御部１４１ａは、ベースレイヤのインター予測処理を制御する。より具体的には、予測制御部１４１ａは、ベースレイヤのマクロブロック内に様々なサイズを有する予測ブロックを設定する。また、予測制御部１４１ａは、予測ブロックごとに参照画像を設定する。そして、予測制御部１４１ａは、様々な予測モードで予測部１４２ａにインター予測を実行させる。そして、予測制御部１４１ａは、最適な予測ブロックサイズ及び予測モードをモード判定部１４３ａに判定させる。

予測部１４２ａは、予測制御部１４１ａにより設定される予測ブロックごとに、動きベクトルを算出し、算出した動きベクトルと参照画像データとを用いて、予測画像データを生成する。そして、予測部１４２ａは、動きベクトル情報と予測画像データとをモード判定部１４３ａへ出力する。

モード判定部１４３ａは、予測部１４２ａから入力される予測画像データを原画像データと比較することによりコスト関数値を算出し、コスト関数値が最小となる予測ブロックサイズと予測モードとの組合せを選択する。そして、モード判定部１４３ａは、選択した最適な組合せに従って、予測ブロックサイズ情報、予測モード情報、及び動き情報（動きベクトル情報及び参照画像情報）を生成する。モード判定部１４３ａは、これらインター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。また、モード判定部１４３ａは、（サブマクロブロックタイプを含み得る）予測ブロックサイズ情報を共通メモリ２によりバッファリングさせる。

（２）エンハンスメントレイヤのインター予測処理
インター予測部４０ｂの予測制御部１４１ｂは、エンハンスメントレイヤのインター予測処理を制御する。より具体的には、予測制御部１４１ｂは、エンハンスメントレイヤのＬＣＵ内に１つ以上のＰＵを設定して、予測部１４２ｂにインター予測を実行させる。そして、予測制御部１４１ｂは、最適な予測モードをモード判定部１４３ｂに判定させる。

予測制御部１４１ｂは、ＰＵサイズを決定するために、共通メモリ２により記憶されるベースレイヤの予測ブロックサイズ情報、及びスケーラビリティ比を取得する。そして、予測制御部１４１ｂは、予測ブロックサイズとスケーラビリティ比とを用いて、ＬＣＵ内に設定すべきＰＵサイズを決定する。

例えば、予測制御部１４１ｂは、予測ブロックサイズにスケーラビリティ比を乗じることにより決め打ちで決定されるＰＵサイズを有するＰＵを、ＬＣＵ内に設定してもよい。その代わりに、予測制御部１４１ｂは、予測ブロックサイズとスケーラビリティ比との積を基準として絞り込まれる１つ以上のＰＵサイズをそれぞれ有するＰＵを、ＬＣＵ内に設定してもよい。また、予測制御部１４１ｂは、ベースレイヤ内の対応する予測ブロックについてサブマクロブロックタイプが存在するかに応じて絞り込まれる１つ以上のＰＵサイズをそれぞれ有するＰＵを、ＬＣＵ内に設定してもよい。

予測部１４２ｂは、予測制御部１４１ｂにより設定されるＰＵごとに、動きベクトルを算出し、算出した動きベクトルと参照画像データとを用いて、予測画像データを生成する。そして、予測部１４２ｂは、動きベクトル情報と予測画像データとをモード判定部１４３ｂへ出力する。

モード判定部１４３ｂは、予測部１４２ｂから入力される予測画像データを原画像データと比較することによりコスト関数値を算出し、コスト関数値が最小となるＰＵサイズと予測モードとの組合せを選択する。そして、モード判定部１４３ｂは、選択した最適な組合せに従って、予測モード情報及び動き情報を生成する。モード判定部１４３ｂは、これらインター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。予測制御部１４１ｂにより複数のＰＵサイズが設定された場合には、モード判定部１４３ｂにより生成される情報は、絞り込まれたＰＵサイズのうち選択されたＰＵサイズを示すＰＵサイズ情報を含み得る。

＜３．一実施形態に係る符号化時の処理の流れ＞
次に、図１５Ａ〜図１８Ｂを用いて、一実施形態に係る符号化時の処理の流れについて説明する。なお、説明の簡明さのために、本開示に係る技術の要旨に直接的に関連しない処理の説明は省略される。

［３−１．ブロック設定処理］
（１）第１の例
図１５Ａは、符号化時のエンハンスメントレイヤにおけるブロック設定処理の流れの第１の例を示すフローチャートである。図１５Ａに示したブロック設定処理は、図３Ａを用いて説明したＬＣＵサイズを設定するための第１の手法と、図４Ａを用いて説明したＳＣＵサイズを設定するための第１の手法との組合せに従った処理である。

図１５Ａを参照すると、まず、エンハンスメントレイヤのためのブロック設定部１２ｂの設定制御部１１１ｂは、ベースレイヤのマクロブロックサイズ及びサブマクロブロックサイズを示すブロックサイズ情報を、共通メモリ２から取得する（ステップＳ１１０ａ）。次に、設定制御部１１１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１１１）。

次に、ＣＵ設定部１１２ｂは、ブロックサイズ情報により示されるマクロブロックサイズにスケーラビリティ比を乗じることにより、エンハンスメントレイヤのＬＣＵサイズを、決め打ちで決定する（ステップＳ１１２ａ）。また、ＣＵ設定部１１２ｂは、ブロックサイズ情報により示されるサブマクロブロックサイズにスケーラビリティ比を乗じることにより、エンハンスメントレイヤのＳＣＵサイズを、決め打ちで決定する（ステップＳ１１４ａ）。

次に、ＣＵ設定部１１２ｂは、ステップＳ１１２ａにおいて決定したＬＣＵサイズを有するＬＣＵをエンハンスメントレイヤ内に設定する（ステップＳ１１５ａ）。なお、各ＬＣＵからのＣＵへのブロック分割は、直交変換、イントラ予測及びインター予測の結果に従って決定され得る。そして、可逆符号化部１６ｂは、当該ブロック分割を示す分割フラグを、ＣＵ設定部１１２ｂにより決定されたＬＣＵサイズとＳＣＵサイズとに基づいて生成する（ステップＳ１１７）。

（２）第２の例
図１５Ｂは、符号化時のエンハンスメントレイヤにおけるブロック設定処理の流れの第２の例を示すフローチャートである。図１５Ｂに示したブロック設定処理は、図３Ｂを用いて説明したＬＣＵサイズを設定するための第２の手法と、図４Ｂを用いて説明したＳＣＵサイズを設定するための第２の手法との組合せに従った処理である。

図１５Ｂを参照すると、まず、エンハンスメントレイヤのためのブロック設定部１２ｂの設定制御部１１１ｂは、ベースレイヤのマクロブロックサイズを示すブロックサイズ情報を、共通メモリ２から取得する（ステップＳ１１０ｂ）。次に、設定制御部１１１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１１１）。

次に、ＣＵ設定部１１２ｂは、マクロブロックサイズとスケーラビリティ比との積を基準として、エンハンスメントレイヤのＬＣＵサイズの１つ以上の候補を決定する（ステップＳ１１２ｂ）。次に、ＣＵ設定部１１２ｂは、絞り込まれたＬＣＵサイズの候補から、設定すべきＬＣＵサイズを選択する（ステップＳ１１３）。また、ＣＵ設定部１１２ｂは、ステップＳ１１３において選択したＬＣＵサイズ以下のＳＣＵサイズの１つ以上の候補から、設定すべきＳＣＵサイズを選択する（ステップＳ１１４ｂ）。

次に、ＣＵ設定部１１２ｂは、ステップＳ１１３において選択したＬＣＵサイズを有するＬＣＵをエンハンスメントレイヤ内に設定する（ステップＳ１１５ｂ）。また、ＣＵ設定部１１２ｂは、選択したＬＣＵサイズ及びＳＣＵサイズを示すパラメータを生成する（ステップＳ１１６）。ここで生成されるパラメータは、可逆符号化部１６ｂにより符号化され、例えばＳＰＳ内に挿入される。

各ＬＣＵからのＣＵへのブロック分割は、直交変換、イントラ予測及びインター予測の結果に従って決定され得る。そして、可逆符号化部１６ｂは、当該ブロック分割を示す分割フラグを、ＣＵ設定部１１２ｂにより選択されたＬＣＵサイズとＳＣＵサイズとに基づいて生成する（ステップＳ１１７）。

［３−２．直交変換処理］
（１）第１の例
図１６Ａは、符号化時のエンハンスメントレイヤにおける直交変換処理の流れの第１の例を示すフローチャートである。図１６Ａに示した直交変換処理は、図５Ａを用いて説明したＴＵサイズを設定するための第１の手法に従った処理である。

図１６Ａを参照すると、まず、エンハンスメントレイヤのための直交変換部１４ｂの変換制御部１２１ｂは、ベースレイヤにおいて設定されたＤＣＴサイズを示すＤＣＴサイズ情報を、共通メモリ２から取得する（ステップＳ１２０）。次に、変換制御部１２１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１２１）。

次に、変換制御部１２１ｂは、ＤＣＴサイズ情報により示されるＤＣＴサイズにスケーラビリティ比を乗じることにより、ベースレイヤ内の変換ブロックに対応するエンハンスメントレイヤ内のＴＵのサイズを、決め打ちで決定する（ステップＳ１２２ａ）。そして、変換制御部１２１ｂは、決定したＴＵサイズを有するＴＵを、エンハンスメントレイヤ内に設定する。

次に、４×４変換部１２２ｂ、８×８変換部１２３ｂ、１６×１６変換部１２４ｂ及び３２×３２変換部１２５ｂのうち、ステップＳ１２２ａにおいて決定されたＴＵサイズに対応する変換部は、変換制御部１２１ｂにより設定されたＴＵについて、直交変換を実行する（ステップＳ１２３ａ）。そして、当該変換部は、直交変換の結果として得られる変換係数データを、量子化部１５へ出力する（ステップＳ１２５ａ）。

（２）第２の例
図１６Ｂは、符号化時のエンハンスメントレイヤにおける直交変換処理の流れの第２の例を示すフローチャートである。図１６Ｂに示した直交変換処理は、図５Ｂを用いて説明したＴＵサイズを設定するための第２の手法に従った処理である。

図１６Ｂを参照すると、まず、エンハンスメントレイヤのための直交変換部１４ｂの変換制御部１２１ｂは、ベースレイヤにおいて設定されたＤＣＴサイズを示すＤＣＴサイズ情報を、共通メモリ２から取得する（ステップＳ１２０）。次に、変換制御部１２１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１２１）。

次に、変換制御部１２１ｂは、ＤＣＴサイズとスケーラビリティ比との積を基準として、ベースレイヤ内の変換ブロックに対応するエンハンスメントレイヤ内のＴＵについての１つ以上のＴＵサイズの候補を決定する（ステップＳ１２２ｂ）。そして、変換制御部１２１ｂは、決定した候補としてのＴＵサイズを有するＴＵを、エンハンスメントレイヤ内に設定する。

次に、４×４変換部１２２ｂ、８×８変換部１２３ｂ、１６×１６変換部１２４ｂ及び３２×３２変換部１２５ｂのうち、ステップＳ１２２ｂにおいて決定されたＴＵサイズに対応する変換部は、ＴＵサイズの候補ごとに、直交変換を実行する（ステップＳ１２３ｂ）。

次に、サイズ判定部１２６ｂは、直交変換の結果として得られる変換係数データを比較することにより、１つ以上のＴＵサイズの候補から最適なＴＵサイズを判定する（ステップＳ１２４）。そして、サイズ判定部１２６ｂは、最適なＴＵサイズに対応する変換係数データを量子化部１５へ出力する（ステップＳ１２５ｂ）。また、サイズ判定部１２６ｂは、最適なＴＵサイズを示すパラメータを生成し、生成したパラメータを可逆符号化部１６ｂ及び逆直交変換部２２ｂへ出力する（ステップＳ１２６）。

［３−３．イントラ予測処理］
（１）第１の例
図１７Ａは、符号化時のエンハンスメントレイヤにおけるイントラ予測処理の流れの第１の例を示すフローチャートである。図１７Ａに示したイントラ予測処理は、図６Ａを用いて説明したＰＵサイズを設定するための第１の手法に従った処理である。

図１７Ａを参照すると、まず、エンハンスメントレイヤのためのイントラ予測部３０ｂの予測制御部１３１ｂは、ベースレイヤにおいて設定された予測ブロックサイズを示す予測ブロックサイズ情報を、共通メモリ２から取得する（ステップＳ１３０）。次に、予測制御部１３１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１３１）。

次に、予測制御部１３１ｂは、予測ブロックサイズ情報により示される予測ブロックサイズにスケーラビリティ比を乗じることにより、ベースレイヤ内の予測ブロックに対応するエンハンスメントレイヤ内のＰＵのサイズを、決め打ちで決定する（ステップＳ１３２ａ）。そして、予測制御部１３１ｂは、決定したＰＵサイズを有するＰＵを、エンハンスメントレイヤ内に設定する。

次に、予測部１３２ｂは、予測制御部１３１ｂにより設定されたＰＵについて、様々な予測モードでのイントラ予測を実行する（ステップＳ１３３ａ）。次に、モード判定部１３３ｂは、予測部１３２ｂから入力される予測画像データを原画像データと比較することにより、最適な予測モードを選択する（ステップＳ１３４ａ）。

そして、モード判定部１３３ｂは、選択した最適な予測モードを示す予測モード情報を生成する（ステップＳ１３６）。そして、モード判定部１３３ｂは、イントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。

（２）第２の例
図１７Ｂは、符号化時のエンハンスメントレイヤにおけるイントラ予測処理の流れの第２の例を示すフローチャートである。図１７Ｂに示したイントラ予測処理は、図６Ｂを用いて説明したＰＵサイズを設定するための第２の手法に従った処理である。

図１７Ｂを参照すると、まず、エンハンスメントレイヤのためのイントラ予測部３０ｂの予測制御部１３１ｂは、ベースレイヤにおいて設定された予測ブロックサイズを示す予測ブロックサイズ情報を、共通メモリ２から取得する（ステップＳ１３０）。次に、予測制御部１３１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１３１）。

次に、予測制御部１３１ｂは、予測ブロックサイズとスケーラビリティ比との積を基準として、ベースレイヤ内の予測ブロックに対応するエンハンスメントレイヤ内のＰＵについての１つ以上のＰＵサイズの候補を決定する（ステップＳ１３２ｂ）。そして、予測制御部１３１ｂは、決定した候補としてのＰＵサイズを有するＰＵを、エンハンスメントレイヤ内に設定する。

次に、予測部１３２ｂは、候補としてのＰＵサイズをそれぞれ有するＰＵごとに、様々な予測モードでのイントラ予測を実行する（ステップＳ１３３ｂ）。次に、モード判定部１３３ｂは、予測部１３２ｂから入力される予測画像データを原画像データと比較することにより、最適なＰＵサイズ及び予測モードを選択する（ステップＳ１３４ｂ）。

そして、モード判定部１３３ｂは、選択した最適なＰＵサイズを示すパラメータを生成する（ステップＳ１３５ｂ）。また、モード判定部１３３ｂは、最適な予測モードを示す予測モード情報を生成する（ステップＳ１３６）。そして、モード判定部１３３ｂは、イントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。

［３−４．インター予測処理］
（１）第１の例
図１８Ａは、符号化時のエンハンスメントレイヤにおけるインター予測処理の流れの第１の例を示すフローチャートである。図１８Ａに示したインター予測処理は、図６Ａを用いて説明したＰＵサイズを設定するための第１の手法をインター予測に応用した処理である。

図１８Ａを参照すると、まず、エンハンスメントレイヤのためのインター予測部４０ｂの予測制御部１４１ｂは、ベースレイヤにおいて設定された予測ブロックサイズを示す予測ブロックサイズ情報を、共通メモリ２から取得する（ステップＳ１４０ａ）。次に、予測制御部１４１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１４１）。

次に、予測制御部１４１ｂは、予測ブロックサイズ情報により示される予測ブロックサイズにスケーラビリティ比を乗じることにより、ベースレイヤ内の予測ブロックに対応するエンハンスメントレイヤ内のＰＵのサイズを、決め打ちで決定する（ステップＳ１４２ａ）。そして、予測制御部１４１ｂは、決定したＰＵサイズを有するＰＵを、エンハンスメントレイヤ内に設定する。

次に、予測部１４２ｂは、予測制御部１４１ｂにより設定されたＰＵについて、様々な予測モードでのインター予測を実行する（ステップＳ１４３ａ）。次に、モード判定部１４３ｂは、予測部１４２ｂから入力される予測画像データを原画像データと比較することにより、最適な予測モードを選択する（ステップＳ１４４ａ）。

そして、モード判定部１４３ｂは、選択した最適な予測モードを示す予測モード情報及び動き情報を生成する（ステップＳ１４６）。そして、モード判定部１４３ｂは、インター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。

（２）第２の例
図１８Ｂは、符号化時のエンハンスメントレイヤにおけるインター予測処理の流れの第２の例を示すフローチャートである。図１８Ｂに示したインター予測処理は、図７Ｂを用いて説明したＰＵサイズを設定するための第３の手法に従った処理である。

図１８Ｂを参照すると、まず、エンハンスメントレイヤのためのインター予測部４０ｂの予測制御部１４１ｂは、ベースレイヤにおいてサブマクロブロックへの分割が使用されたかを示すサブマクロブロックタイプを、共通メモリ２から取得する（ステップＳ１４０ｂ）。次に、予測制御部１４１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１４１）。

次に、予測制御部１４１ｂは、サブマクロブロックタイプを参照し、ベースレイヤ内の予測ブロックについてサブマクロブロックへの分割が使用されたかに応じて、当該予測ブロックに対応するエンハンスメントレイヤ内のＰＵについての１つ以上のＰＵサイズの候補を決定する（ステップＳ１４２ｂ）。そして、予測制御部１４１ｂは、決定した候補としてのＰＵサイズを有するＰＵを、エンハンスメントレイヤ内に設定する。

次に、予測部１４２ｂは、候補としてのＰＵサイズをそれぞれ有するＰＵごとに、様々な予測モードでのインター予測を実行する（ステップＳ１４３ｂ）。次に、モード判定部１４３ｂは、予測部１４２ｂから入力される予測画像データを原画像データと比較することにより、最適なＰＵサイズ及び予測モードを選択する（ステップＳ１４４ｂ）。

そして、モード判定部１４３ｂは、選択した最適なＰＵサイズを示すパラメータを生成する（ステップＳ１４５）。また、モード判定部１４３ｂは、最適な予測モードを示す予測モード情報及び動き情報を生成する（ステップＳ１４６）。そして、モード判定部１４３ｂは、インター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。

＜４．一実施形態に係る復号部の構成例＞
［４−１．全体的な構成］
図１９は、図９に示した第１復号部６ａ及び第２復号部６ｂの構成の一例を示すブロック図である。図１９を参照すると、第１復号部６ａは、可逆復号部６１ａ、ブロック設定部６２ａ、逆量子化部６３、逆直交変換部６４ａ、加算部６５、デブロックフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０ａ並びにインター予測部９０ａを備える。第２復号部６ｂは、可逆復号部６１ａ、ブロック設定部６２ａ、逆直交変換部６４ａ、イントラ予測部８０ａ及びインター予測部９０ａの代わりに、可逆復号部６１ｂ、ブロック設定部６２ｂ、逆直交変換部６４ｂ、イントラ予測部８０ｂ及びインター予測部９０ｂを備える。

可逆復号部６１ａは、伝送路を介して入力されるベースレイヤの符号化ストリームを、符号化の際に使用された符号化方式に従って復号し、ベースレイヤの量子化データを生成する。また、可逆復号部６１ａは、符号化ストリームのヘッダ領域に多重化されている情報を復号する。可逆復号部６１ａにより復号される情報は、例えば、ＤＣＴサイズ情報、イントラ予測に関する情報及びインター予測に関する情報を含み得る。

可逆復号部６１ｂは、伝送路を介して入力されるエンハンスメントレイヤの符号化ストリームを、符号化の際に使用された符号化方式に従って復号し、エンハンスメントレイヤの量子化データを生成する。また、可逆復号部６１ｂは、符号化ストリームのヘッダ領域に多重化されている情報を復号する。可逆復号部６１ｂにより復号される情報は、例えば、スケーラビリティ比、ブロックサイズ情報、分割フラグ、イントラ予測に関する情報及びインター予測に関する情報を含み得る。

ブロック設定部６２ａは、ベースレイヤ内に固定的なサイズを有するマクロブロックを設定する。そして、ブロック設定部６２ａは、設定したマクロブロックごとに、量子化データを逆量子化部６３へ、イントラ予測に関する情報をイントラ予測部８０ａへ、インター予測に関する情報をインター予測部９０ａへそれぞれ出力する。マクロブロックサイズは、共通メモリ７により予め記憶される。

ブロック設定部６２ｂは、ブロック設定部６２ａにより設定されるマクロブロックサイズに応じて、エンハンスメントレイヤ内にＣＵを設定する。より具体的には、ブロック設定部６２ｂは、まずＬＣＵをエンハンスメントレイヤ内に設定し、さらに、ＬＣＵサイズ、ＳＣＵサイズ及び分割フラグに従ってＬＣＵを再帰的にブロック分割することにより、各ＬＣＵ内にＣＵを設定する。ブロック設定部６２ｂは、スケーラビリティ比、及び共通メモリ７により記憶されるマクロブロックサイズを用いて、ＬＣＵサイズを決定し得る。ＳＣＵサイズは、さらに共通メモリ７により記憶され得るサブマクロブロックサイズを参照することにより決定されてもよい。そして、ブロック設定部６２ｂは、設定したＬＣＵごとに、量子化データを逆量子化部６３へ、イントラ予測に関する情報をイントラ予測部８０ｂへ、インター予測に関する情報をインター予測部９０ｂへそれぞれ出力する。

逆量子化部６３は、ブロック設定部６２ａ又は６２ｂから入力される量子化データを逆量子化し、変換係数データを生成する。そして、逆量子化部６３は、生成した変換係数データを逆直交変換部６４ａ又は６４ｂへ出力する。

逆直交変換部６４ａは、可逆復号部６１ａにより復号されるＤＣＴサイズ情報に従ってマクロブロック内に変換ブロックを設定して、逆量子化部６３から入力されるベースレイヤの変換係数データについて逆直交変換を実行する。逆直交変換部６４ａにより実行される逆直交変換は、例えば、逆離散コサイン変換（逆ＤＣＴ）であってよい。ＤＣＴサイズは、８×８画素又は４×４画素である。逆直交変換部６４ａは、変換ブロックごとに逆直交変換処理により取得される予測誤差データを加算部６５へ出力する。また、逆直交変換部６４ａは、設定した各変換ブロックのサイズを示すＤＣＴサイズ情報を、共通メモリ７によりバッファリングさせる。

逆直交変換部６４ｂは、ブロック設定部６２ｂにより設定される各ＣＵ内にＴＵを設定して、逆量子化部６３から入力されるエンハンスメントレイヤの変換係数データについて逆直交変換を実行する。逆直交変換部６４ｂにより実行される逆直交変換もまた、逆ＤＣＴであってよい。逆直交変換部６４ｂにより設定されるＴＵのサイズは、３２×３２画素、１６×１６画素、８×８画素又は４×４画素である。逆直交変換部６４ｂは、共通メモリ７により記憶されるベースレイヤのＤＣＴサイズ情報及びスケーラビリティ比を用いて、エンハンスメントレイヤに設定すべきＴＵサイズを決定し得る。逆直交変換部６４ｂは、ＴＵごとに直交変換処理により取得される変換係数データを加算部６５へ出力する。

加算部６５は、逆直交変換部６４ａ又は６４ｂから入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。

デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。

並び替えバッファ６７は、デブロックフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。

Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。

フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。

セレクタ７０は、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先をイントラ予測部８０ａ又は８０ｂとインター予測部９０ａ又は９０ｂとの間で切り替える。例えば、セレクタ７０は、復号されるパラメータによりイントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０ａ又は８０ｂへ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング後の復号画像データを参照画像データとしてインター予測部９０ａ又は９０ｂへ出力する。

セレクタ７１は、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０ａ又は８０ｂとインター予測部９０ａ又は９０ｂとの間で切り替える。例えば、セレクタ７１は、復号されるパラメータによりイントラ予測モードが指定された場合には、イントラ予測部８０ａ又は８０ｂから出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、インター予測モードが指定された場合には、インター予測部９０ａ又は９０ｂから出力される予測画像データを加算部６５へ供給する。

イントラ予測部８０ａは、ブロック設定部６２ａからマクロブロックごとに入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてベースレイヤのイントラ予測処理を行い、予測画像データを生成する。例えば、イントラ予測部８０ａは、予測ブロックサイズ情報に従ってマクロブロック内に予測ブロックを設定し、設定した予測ブロックごとに、予測モード情報に従ってイントラ予測を実行する。イントラ予測部８０ａにより設定される予測ブロックのサイズは、１６×１６画素、８×８画素又は４×４画素である。そして、イントラ予測部８０ａは、生成したベースレイヤの予測画像データをセレクタ７１へ出力する。また、イントラ予測部８０ａは、予測ブロックサイズ情報を共通メモリ７によりバッファリングさせる。

イントラ予測部８０ｂは、ブロック設定部６２ｂからＬＣＵごとに入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてエンハンスメントレイヤのイントラ予測処理を行い、予測画像データを生成する。例えば、イントラ予測部８０ｂは、各ＣＵ内にＰＵを設定し、設定したＰＵごとに、予測モード情報に従ってイントラ予測を実行する。イントラ予測部８０ｂにより設定されるＰＵのサイズは、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素又は４×４画素である。イントラ予測部８０ｂは、共通メモリ７により記憶されるベースレイヤの予測ブロックサイズ情報及びスケーラビリティ比を用いて、エンハンスメントレイヤに設定すべきＰＵサイズを決定し得る。そして、イントラ予測部８０ｂは、生成したエンハンスメントレイヤの予測画像データをセレクタ７１へ出力する。

インター予測部９０ａは、ブロック設定部６２ａからマクロブロックごとに入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてベースレイヤのインター予測処理を行い、予測画像データを生成する。例えば、インター予測部９０ａは、予測ブロックサイズ情報に従ってマクロブロック内に予測ブロックを設定し、設定した予測ブロックごとに、動き情報を用いてインター予測（動き補償）を実行する。インター予測部９０ａにより設定される予測ブロックのサイズは、図７Ａに示した７種類のサイズのいずれかである。そして、インター予測部９０ａは、生成したベースレイヤの予測画像データをセレクタ７１へ出力する。また、インター予測部９０ａは、予測ブロックサイズ情報を共通メモリ７によりバッファリングさせる。当該予測ブロックサイズ情報は、サブマクロブロックタイプを含み得る。

インター予測部９０ｂは、ブロック設定部６２ｂからＬＣＵごとに入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてエンハンスメントレイヤのインター予測処理を行い、予測画像データを生成する。例えば、インター予測部９０ｂは、各ＣＵ内にＰＵを設定し、設定したＰＵごとに、動き情報を用いてインター予測を実行する。インター予測部９０ｂは、共通メモリ７により記憶されるベースレイヤの予測ブロックサイズ情報及びスケーラビリティ比を用いて、エンハンスメントレイヤに設定すべきＰＵサイズを決定し得る。そして、インター予測部９０ｂは、生成したエンハンスメントレイヤの予測画像データをセレクタ７１へ出力する。

第１復号部６ａは、ここで説明した一連の復号処理を、ベースレイヤの一連の画像データについて実行する。第２復号部６ｂは、ここで説明した一連の復号処理を、エンハンスメントレイヤの一連の画像データについて実行する。エンハンスメントレイヤが複数存在する場合には、エンハンスメントレイヤの復号処理は、エンハンスメントレイヤの数だけ繰り返されてもよい。

［４−２．ブロック設定部の詳細な構成］
図２０は、図１９に示したブロック設定部６２ａ及び６２ｂの詳細な構成の一例を示すブロック図である。図２０を参照すると、ブロック設定部６２ａは、設定制御部１６１ａ及びマクロブロック設定部１６２ａを有する。ブロック設定部６２ｂは、設定制御部１６１ｂ、サイズ設定部１６２ｂ及びＣＵ設定部１６３ｂを有する。

（１）ベースレイヤのブロック設定処理
ブロック設定部６２ａの設定制御部１６１ａは、共通メモリ７により予め記憶される固定的なマクロブロックサイズを取得し、取得したサイズを有するマクロブロックの設定をマクロブロック設定部１６２ａに指示する。

マクロブロック設定部１６２ａは、設定制御部１６１ａからの指示に応じて、ベースレイヤ内に１つ以上のマクロブロックを設定する。そして、マクロブロック設定部１６２ａは、設定したマクロブロックごとに、量子化データを逆量子化部６３へ、イントラ予測に関する情報をイントラ予測部８０ａへ、インター予測に関する情報をインター予測部９０ａへ、それぞれ出力する。

（２）エンハンスメントレイヤのブロック設定処理
ブロック設定部６２ｂの設定制御部１６１ｂは、共通メモリ７により記憶されるマクロブロックサイズ、及びベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する。スケーラビリティ比は、可逆復号部６１ｂにより復号されるパラメータにより直接的に示されてもよく、又は２つのレイヤの解像度データから計算されてもよい。そして、設定制御部１６１ｂは、マクロブロックサイズとスケーラビリティ比とを用いて決定されるＬＣＵサイズ及びＳＣＵサイズの設定を、サイズ設定部１６２ｂに指示する。

サイズ設定部１６２ｂは、設定制御部１６１ｂからの指示に応じて、エンハンスメントレイヤ内にＬＣＵサイズ及びＳＣＵサイズを設定する。サイズ設定部１６２ｂは、図３Ａを用いて説明した第１の手法に従って、マクロブロックサイズにスケーラビリティ比を乗じることにより、ＬＣＵサイズを決め打ちで決定してもよい。その代わりに、サイズ設定部１６２ｂは、図３Ｂを用いて説明した第２の手法に従って、マクロブロックサイズとスケーラビリティ比との積を基準としてサイズ候補を絞り込んだ上で、可逆復号部６１ｂにより復号されるＬＣＵサイズ情報を参照してＬＣＵサイズを選択してもよい。

また、サイズ設定部１６２ｂは、図４Ａを用いて説明した第１の手法に従って、共通メモリ７により予め記憶されるサブマクロブロックサイズにスケーラビリティ比を乗じることにより、ＳＣＵサイズを決め打ちで決定してもよい。その代わりに、サイズ設定部１６２ｂは、図４Ｂを用いて説明した第２の手法に従って、ＬＣＵサイズ以下の複数のサイズ候補から、可逆復号部６１ｂにより復号されるＳＣＵサイズ情報を参照してＳＣＵサイズを選択してもよい。

ＣＵ設定部１６３ｂは、サイズ設定部１６２ｂにより設定されるＬＣＵサイズ及びＳＣＵサイズ、並びに可逆復号部６１ｂにより復号される分割フラグに従って、ＬＣＵを再帰的にブロック分割することにより、各ＬＣＵ内にＣＵを設定する。そして、ＣＵ設定部１６３ｂは、ＬＣＵごとに、量子化データを逆量子化部６３へ、イントラ予測に関する情報をイントラ予測部８０ｂへ、インター予測に関する情報をインター予測部９０ｂへそれぞれ出力する。

［４−３．逆直交変換部の詳細な構成］
図２１は、図１９に示した逆直交変換部６４ａ及び６４ｂの詳細な構成の一例を示すブロック図である。図２１を参照すると、逆直交変換部６４ａは、変換制御部１７１ａ、４×４変換部１７２ａ及び８×８変換部１７３ａを有する。逆直交変換部６４ｂは、変換制御部１７１ｂ、４×４変換部１７２ｂ、８×８変換部１７３ｂ、１６×１６変換部１７４ｂ及び３２×３２変換部１７５ｂを有する。

（１）ベースレイヤの逆直交変換処理
逆直交変換部６４ａの変換制御部１７１ａは、可逆復号部６１ａにより復号されるＤＣＴサイズ情報により示されるＤＣＴサイズを有する変換ブロックを、マクロブロック内に設定する。そして、変換制御部１７１ａは、４×４変換部１７２ａ及び８×８変換部１７３ａのうち、設定したＤＣＴサイズに対応する変換部に、逆量子化部６３から入力されるベースレイヤの変換係数データについて逆直交変換を実行させる。また、変換制御部１７１ａは、各変換ブロックのサイズを示すＤＣＴサイズ情報を、共通メモリ７によりバッファリングさせる。

４×４変換部１７２ａは、４×４画素のサイズを有する変換ブロックが設定された場合に、当該変換ブロックの変換係数データについて４×４画素の２次元逆ＤＣＴを実行する。そして、４×４変換部１７２ａは、予測誤差データを加算部６５へ出力する。８×８変換部１７３ａは、８×８画素のサイズを有する変換ブロックが設定された場合に、当該変換ブロックの変換係数データについて８×８画素の２次元逆ＤＣＴを実行する。そして、８×８変換部１７３ａは、予測誤差データを加算部６５へ出力する。

（２）エンハンスメントレイヤの逆直交変換処理
逆直交変換部６４ｂの変換制御部１７１ｂは、共通メモリ７により記憶されるＤＣＴサイズ情報、及びスケーラビリティ比を取得する。そして、変換制御部１７１ｂは、ＤＣＴサイズとスケーラビリティ比とを用いて決定されるサイズを有するＴＵをエンハンスメントレイヤの各ＣＵ内に設定する。

例えば、変換制御部１７１ｂは、図５Ａを用いて説明した第１の手法に従って、ＤＣＴサイズにスケーラビリティ比を乗じることにより、ＴＵサイズを決め打ちで決定してもよい。その代わりに、変換制御部１７１ｂは、図５Ｂを用いて説明した第２の手法に従って、ＤＣＴサイズとスケーラビリティ比との積を基準としてサイズ候補を絞り込んだ上で、可逆復号部６１ｂにより復号されるＴＵサイズ情報を参照してＴＵサイズを選択してもよい。そして、変換制御部１７１ａは、４×４変換部１７２ｂ、８×８変換部１７３ｂ、１６×１６変換部１７４ｂ及び３２×３２変換部１７５ｂのうち、設定したＴＵサイズに対応する変換部に、逆量子化部６３から入力されるエンハンスメントレイヤの変換係数データについて逆直交変換を実行させる。

４×４変換部１７２ｂは、４×４画素のサイズを有するＴＵが設定された場合に、当該ＴＵの変換係数データについて４×４画素の２次元逆ＤＣＴを実行する。そして、４×４変換部１７２ｂは、予測誤差データを加算部６５へ出力する。８×８変換部１７３ｂは、８×８画素のサイズを有するＴＵが設定された場合に、当該ＴＵの変換係数データについて８×８画素の２次元逆ＤＣＴを実行する。そして、８×８変換部１７３ｂは、予測誤差データを加算部６５へ出力する。１６×１６変換部１７４ｂは、１６×１６画素のサイズを有するＴＵが設定された場合に、当該ＴＵの変換係数データについて１６×１６画素の２次元逆ＤＣＴを実行する。そして、１６×１６変換部１７４ｂは、予測誤差データを加算部６５へ出力する。３２×３２変換部１７５ｂは、３２×３２画素のサイズを有するＴＵが設定された場合に、当該ＴＵの変換係数データについて３２×３２画素の２次元逆ＤＣＴを実行する。そして、３２×３２変換部１７５ｂは、予測誤差データを加算部６５へ出力する。

［４−４．イントラ予測部の詳細な構成］
図２２は、図１９に示したイントラ予測部８０ａ及び８０ｂの詳細な構成の一例を示すブロック図である。図２２を参照すると、イントラ予測部８０ａは、予測制御部１８１ａ、モード取得部１８２ａ及び予測部１８３ａを有する。イントラ予測部８０ｂは、予測制御部１８１ｂ、モード取得部１８２ｂ及び予測部１８３ｂを有する。

（１）ベースレイヤのイントラ予測処理
イントラ予測部８０ａの予測制御部１８１ａは、ベースレイヤのイントラ予測処理を制御する。より具体的には、予測制御部１８１ａは、可逆復号部６１ａにより復号される予測ブロックサイズ情報により示されるサイズを有する予測ブロックを、マクロブロック内に設定する。また、モード取得部１８２ａは、可逆復号部６１ａにより復号される予測モード情報を取得する。そして、予測制御部１８１ａは、予測モード情報により示される予測モードで、予測部１８３ａにイントラ予測を実行させる。また、予測制御部１８１ａは、各予測ブロックのサイズを示す予測ブロックサイズ情報を、共通メモリ７によりバッファリングさせる。

予測部１８３ａは、予測制御部１８１ａにより設定される予測ブロックごとに、予測モード情報により示される予測モードで、フレームメモリ６９から入力される復号画像データを用いて予測画像データを生成する。そして、予測部１８３ａは、生成した予測画像データを加算部６５へ出力する。

（２）エンハンスメントレイヤのイントラ予測処理
イントラ予測部８０ｂの予測制御部１８１ｂは、エンハンスメントレイヤのイントラ予測処理を制御する。より具体的には、予測制御部１８１ｂは、エンハンスメントレイヤの各ＣＵ内にＰＵを設定する。予測制御部１８１ｂは、ＰＵサイズを決定するために、スケーラビリティ比、及び共通メモリ７により記憶されるベースレイヤの予測ブロックサイズ情報を取得する。そして、予測制御部１８１ｂは、予測ブロックサイズとスケーラビリティ比とを用いて、設定すべきＰＵサイズを決定する。

例えば、予測制御部１８１ｂは、図６Ａを用いて説明した第１の手法に従って、予測ブロックサイズにスケーラビリティ比を乗じることにより、ＰＵサイズを決め打ちで決定してもよい。その代わりに、予測制御部１８１ｂは、図６Ｂを用いて説明した第２の手法に従って、予測ブロックサイズとスケーラビリティ比との積を基準としてサイズ候補を絞り込んだ上で、可逆復号部６１ｂにより復号されるＰＵサイズ情報を参照してＰＵサイズを選択してもよい。

モード取得部１８２ｂは、可逆復号部６１ｂにより復号される予測モード情報を取得する。予測部１８３ｂは、予測制御部１８１ｂにより設定されるＰＵごとに、予測モード情報により示される予測モードで、フレームメモリ６９から入力される復号画像データを用いて予測画像データを生成する。そして、予測部１８３ｂは、生成した予測画像データを加算部６５へ出力する。

［４−５．インター予測部の詳細な構成］
図２３は、図１９に示したインター予測部９０ａ及び９０ｂの詳細な構成の一例を示すブロック図である。図２３を参照すると、インター予測部９０ａは、予測制御部１９１ａ、情報取得部１９２ａ及び予測部１９３ａを有する。インター予測部９０ｂは、予測制御部１９１ｂ、情報取得部１９２ｂ及び予測部１９３ｂを有する。

（１）ベースレイヤのインター予測処理
インター予測部９０ａの予測制御部１９１ａは、ベースレイヤのインター予測処理を制御する。より具体的には、予測制御部１９１ａは、可逆復号部６１ａにより復号される予測ブロックサイズ情報により示されるサイズを有する予測ブロックを、マクロブロック内に設定する。また、情報取得部１９２ａは、可逆復号部６１ａにより復号される予測モード情報及び動き情報を取得する。そして、予測制御部１９１ａは、予測モード情報により示される予測モードで、予測部１９３ａにインター予測を実行させる。また、予測制御部１９１ａは、各予測ブロックのサイズを示す（サブマクロブロックタイプを含み得る）予測ブロックサイズ情報を、共通メモリ７によりバッファリングさせる。

予測部１９３ａは、予測制御部１９１ａにより設定される予測ブロックごとに、予測モード情報により示される予測モードで、動き情報及びフレームメモリ６９から入力される復号画像データを用いて予測画像データを生成する。そして、予測部１９３ａは、生成した予測画像データを加算部６５へ出力する。

（２）エンハンスメントレイヤのインター予測処理
インター予測部９０ｂの予測制御部１９１ｂは、エンハンスメントレイヤのインター予測処理を制御する。より具体的には、予測制御部１９１ｂは、エンハンスメントレイヤの各ＣＵ内にＰＵを設定する。予測制御部１９１ｂは、ＰＵサイズを決定するために、スケーラビリティ比、及び共通メモリ７により記憶されるベースレイヤの予測ブロックサイズ情報を取得する。そして、予測制御部１９１ｂは、予測ブロックサイズとスケーラビリティ比とを用いて、設定すべきＰＵサイズを決定する。

例えば、予測制御部１９１ｂは、予測ブロックサイズにスケーラビリティ比を乗じることにより、ＰＵサイズを決め打ちで決定してもよい。その代わりに、予測制御部１９１ｂは、予測ブロックサイズとスケーラビリティ比との積を基準としてサイズ候補を絞り込んだ上で、可逆復号部６１ｂにより復号されるＰＵサイズ情報を参照してＰＵサイズを選択してもよい。また、予測制御部１４１ｂは、ベースレイヤ内の対応する予測ブロックについてサブマクロブロックタイプが存在するかに応じてサイズ候補を絞り込んだ上で、可逆復号部６１ｂにより復号されるＰＵサイズ情報を参照してＰＵサイズを選択してもよい。

情報取得部１９２ｂは、可逆復号部６１ｂにより復号される予測モード情報及び動き情報を取得する。予測部１９３ｂは、予測制御部１９１ｂにより設定されるＰＵごとに、動き情報に含まれる動きベクトル情報及び参照画像情報に従って、フレームメモリ６９から入力される復号画像データを用いて予測画像データを生成する。そして、予測部１９３ｂは、生成した予測画像データを加算部６５へ出力する。

＜５．一実施形態に係る復号時の処理の流れ＞
次に、図２４Ａ〜図２７Ｂを用いて、一実施形態に係る復号時の処理の流れについて説明する。なお、説明の簡明さのために、本開示に係る技術の要旨に直接的に関連しない処理の説明は省略される。

［５−１．ブロック設定処理］
（１）第１の例
図２４Ａは、復号時のエンハンスメントレイヤにおけるブロック設定処理の流れの第１の例を示すフローチャートである。図２４Ａに示したブロック設定処理は、図３Ａを用いて説明したＬＣＵサイズを設定するための第１の手法と、図４Ａを用いて説明したＳＣＵサイズを設定するための第１の手法との組合せに従った処理である。

図２４Ａを参照すると、まず、エンハンスメントレイヤのためのブロック設定部６２ｂの設定制御部１６１ｂは、ベースレイヤのマクロブロックサイズ及びサブマクロブロックサイズを示すブロックサイズ情報を取得する（ステップＳ１６０ａ）。次に、設定制御部１６１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１６１）。

次に、サイズ設定部１６２ｂは、ブロックサイズ情報により示されるマクロブロックサイズにスケーラビリティ比を乗じることにより、エンハンスメントレイヤのＬＣＵサイズを、決め打ちで決定する（ステップＳ１６４ａ）。また、サイズ設定部１６２ｂは、ブロックサイズ情報により示されるサブマクロブロックサイズにスケーラビリティ比を乗じることにより、エンハンスメントレイヤのＳＣＵサイズを、決め打ちで決定する（ステップＳ１６６ａ）。ステップＳ１６４ａ及びステップＳ１６６ａにおいて決定されたＬＣＵサイズ及びＳＣＵサイズは、エンハンスメントレイヤ内の各シーケンスに設定され得る。

次に、サイズ設定部１６２ｂは、ステップＳ１６４ａにおいて決定したＬＣＵサイズを有するＬＣＵをエンハンスメントレイヤ内に設定する（ステップＳ１６７ａ）。次に、ＣＵ設定部１６３ｂは、サイズ設定部１６２ｂにより設定されるＬＣＵサイズ及びＳＣＵサイズ、並びに可逆復号部６１ｂにより復号される分割フラグに従って、ＬＣＵを再帰的にブロック分割することにより、各ＬＣＵ内にＣＵを設定する（ステップＳ１６８）。

（２）第２の例
図２４Ｂは、復号時のエンハンスメントレイヤにおけるブロック設定処理の流れの第２の例を示すフローチャートである。図２４Ｂに示したブロック設定処理は、図３Ｂを用いて説明したＬＣＵサイズを設定するための第２の手法と、図４Ｂを用いて説明したＳＣＵサイズを設定するための第２の手法との組合せに従った処理である。

図２４Ｂを参照すると、まず、エンハンスメントレイヤのためのブロック設定部６２ｂの設定制御部１６１ｂは、ベースレイヤのマクロブロックサイズを示すブロックサイズ情報を取得する（ステップＳ１６０ｂ）。次に、設定制御部１６１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１６１）。次に、設定制御部１６１ｂは、可逆復号部６１ｂにより復号されるＬＣＵサイズ及びＳＣＵサイズを示すパラメータを取得する（ステップＳ１６２ｂ）。

次に、サイズ設定部１６２ｂは、マクロブロックサイズとスケーラビリティ比との積を基準として、ＬＣＵサイズの１つ以上の候補を決定する（ステップＳ１６３ｂ）。次に、サイズ設定部１６２ｂは、ＬＣＵサイズの候補のうち、可逆復号部６１ｂにより復号されるパラメータにより指定されるＬＣＵサイズを選択する（ステップＳ１６４ｂ）。また、サイズ設定部１６２ｂは、選択したＬＣＵサイズ以下のサイズを有する１つ以上のＳＣＵサイズの候補を決定する（ステップＳ１６５ｂ）。次に、サイズ設定部１６２ｂは、ＳＣＵサイズの候補のうち、可逆復号部６１ｂにより復号されるパラメータにより指定されるＳＣＵサイズを選択する（ステップＳ１６４ｂ）。ステップＳ１６４ｂ及びステップＳ１６６ｂにおいて選択されたＬＣＵサイズ及びＳＣＵサイズは、エンハンスメントレイヤ内の各シーケンスに設定され得る。

次に、サイズ設定部１６２ｂは、ステップＳ１６４ｂにおいて選択したＬＣＵサイズを有するＬＣＵをエンハンスメントレイヤ内に設定する（ステップＳ１６７ｂ）。次に、ＣＵ設定部１６３ｂは、サイズ設定部１６２ｂにより設定されるＬＣＵサイズ及びＳＣＵサイズ、並びに可逆復号部６１ｂにより復号される分割フラグに従って、ＬＣＵを再帰的にブロック分割することにより、各ＬＣＵ内にＣＵを設定する（ステップＳ１６８）。

［５−２．逆直交変換処理］
（１）第１の例
図２５Ａは、復号時のエンハンスメントレイヤにおける逆直交変換処理の流れの第１の例を示すフローチャートである。図２５Ａに示した逆直交変換処理は、図５Ａを用いて説明したＴＵサイズを設定するための第１の手法に従った処理である。

図２５Ａを参照すると、まず、エンハンスメントレイヤのための逆直交変換部６４ｂの変換制御部１７１ｂは、ベースレイヤのＤＣＴサイズを示すＤＣＴサイズ情報を、共通メモリ７から取得する（ステップＳ１７０）。次に、変換制御部１７１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１７１）。

次に、変換制御部１７１ｂは、ＤＣＴサイズにスケーラビリティ比を乗じることにより、エンハンスメントレイヤのＴＵサイズを、決め打ちで決定する（ステップＳ１７４ａ）。次に、変換制御部１７１ｂは、決定したＴＵサイズを有するＴＵを、エンハンスメントレイヤの各ＣＵ内に設定する（ステップＳ１７５ａ）。

次に、４×４変換部１７２ｂ、８×８変換部１７３ｂ、１６×１６変換部１７４ｂ及び３２×３２変換部１７５ｂのうち、変換制御部１７１ｂにより決定されたＴＵサイズに対応する変換部は、設定されたＴＵについて、逆直交変換を実行する（ステップＳ１７６）。

（２）第２の例
図２５Ｂは、復号時のエンハンスメントレイヤにおける逆直交変換処理の流れの第２の例を示すフローチャートである。図２５Ｂに示した逆直交変換処理は、図５Ｂを用いて説明したＴＵサイズを設定するための第２の手法に従った処理である。

図２５Ｂを参照すると、まず、エンハンスメントレイヤのための逆直交変換部６４ｂの変換制御部１７１ｂは、ベースレイヤのＤＣＴサイズを示すＤＣＴサイズ情報を、共通メモリ７から取得する（ステップＳ１７０）。次に、変換制御部１７１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１７１）。次に、変換制御部１７１ｂは、可逆復号部６１ｂにより復号されるＴＵサイズ情報を取得する（ステップＳ１７２）

次に、変換制御部１７１ｂは、ＤＣＴサイズとスケーラビリティ比との積を基準として、ＴＵサイズの１つ以上の候補を決定する（ステップＳ１７３）。次に、変換制御部１７１ｂは、ＴＵサイズの候補のうち、ＴＵサイズ情報により指定されるＴＵサイズを選択する（ステップＳ１７４ｂ）。次に、変換制御部１７１ｂは、選択したＴＵサイズを有するＴＵを、エンハンスメントレイヤの各ＣＵ内に設定する（ステップＳ１７５ｂ）。

次に、４×４変換部１７２ｂ、８×８変換部１７３ｂ、１６×１６変換部１７４ｂ及び３２×３２変換部１７５ｂのうち、変換制御部１７１ｂにより選択されたＴＵサイズに対応する変換部は、設定されたＴＵについて、逆直交変換を実行する（ステップＳ１７６）。

［５−３．イントラ予測処理］
（１）第１の例
図２６Ａは、復号時のエンハンスメントレイヤにおけるイントラ予測処理の流れの第１の例を示すフローチャートである。図２６Ａに示したイントラ予測処理は、図６Ａを用いて説明したＰＵサイズを設定するための第１の手法に従った処理である。

図２６Ａを参照すると、まず、エンハンスメントレイヤのためのイントラ予測部８０ｂの予測制御部１８１ｂは、ベースレイヤの予測ブロックサイズを示す予測ブロックサイズ情報を、共通メモリ７から取得する（ステップＳ１８０）。次に、予測制御部１８１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１８１）。

次に、予測制御部１８１ｂは、予測ブロックサイズにスケーラビリティ比を乗じることにより、エンハンスメントレイヤのＰＵサイズを、決め打ちで決定する（ステップＳ１８４ａ）。次に、予測制御部１８１ｂは、決定したＰＵサイズを有するＰＵを、エンハンスメントレイヤの各ＣＵ内に設定する（ステップＳ１８５ａ）。

次に、モード取得部１８２ｂは、予測制御部１８１ｂにより設定されたＰＵについて可逆復号部６１ｂにより復号された予測モード情報を取得する（ステップＳ１８６）。そして、予測部１８３ｂは、予測制御部１８１ｂにより設定されたＰＵについて、予測モード情報により示される予測モードに従ってイントラ予測を実行する（ステップＳ１８７）。

（２）第２の例
図２６Ｂは、復号時のエンハンスメントレイヤにおけるイントラ予測処理の流れの第２の例を示すフローチャートである。図２６Ｂに示したイントラ予測処理は、図６Ｂを用いて説明したＰＵサイズを設定するための第２の手法に従った処理である。

図２６Ｂを参照すると、まず、エンハンスメントレイヤのためのイントラ予測部８０ｂの予測制御部１８１ｂは、ベースレイヤの予測ブロックサイズを示す予測ブロックサイズ情報を、共通メモリ７から取得する（ステップＳ１８０）。次に、予測制御部１８１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１８１）。次に、予測制御部１８１ｂは、可逆復号部６１ｂにより復号されるＰＵサイズ情報を取得する（ステップＳ１８２）。

次に、予測制御部１８１ｂは、予測ブロックサイズとスケーラビリティ比との積を基準として、ＰＵサイズの１つ以上の候補を決定する（ステップＳ１８３）。次に、予測制御部１８１ｂは、ＰＵサイズの候補のうち、ＰＵサイズ情報により指定されるＰＵサイズを選択する（ステップＳ１８４ｂ）。次に、予測制御部１８１ｂは、選択したＰＵサイズを有するＰＵを、エンハンスメントレイヤの各ＣＵ内に設定する（ステップＳ１８５ｂ）。

次に、モード取得部１８２ｂは、予測制御部１８１ｂにより設定されたＰＵについて可逆復号部６１ｂにより復号された予測モード情報を取得する（ステップＳ１８６）。そして、予測部１８３ｂは、予測制御部１８１ｂにより設定されたＰＵについて、予測モード情報により示される予測モードに従ってイントラ予測を実行する（ステップＳ１８７）。

［５−４．インター予測処理］
（１）第１の例
図２７Ａは、復号時のエンハンスメントレイヤにおけるインター予測処理の流れの第１の例を示すフローチャートである。図２７Ａに示したインター予測処理は、図６Ａを用いて説明したＰＵサイズを設定するための第１の手法をインター予測に応用した処理である。

図２７Ａを参照すると、まず、エンハンスメントレイヤのためのインター予測部９０ｂの予測制御部１９１ｂは、ベースレイヤの予測ブロックサイズを示す予測ブロックサイズ情報を、共通メモリ７から取得する（ステップＳ１９０ａ）。次に、予測制御部１９１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１９１）。

次に、予測制御部１９１ｂは、予測ブロックサイズにスケーラビリティ比を乗じることにより、エンハンスメントレイヤのＰＵサイズを、決め打ちで決定する（ステップＳ１９４ａ）。次に、予測制御部１９１ｂは、決定したＰＵサイズを有するＰＵを、エンハンスメントレイヤの各ＣＵ内に設定する（ステップＳ１９５ａ）。

次に、情報取得部１９２ｂは、予測制御部１９１ｂにより設定されたＰＵについて可逆復号部６１ｂにより復号された予測モード情報及び動き情報を取得する（ステップＳ１９６）。そして、予測部１９３ｂは、予測制御部１９１ｂにより設定されたＰＵについて、予測モード情報により示される予測モードに従い、動き情報を用いてインター予測を実行する（ステップＳ１９７）。

（２）第２の例
図２７Ｂは、復号時のエンハンスメントレイヤにおけるインター予測処理の流れの第２の例を示すフローチャートである。図２７Ｂに示したインター予測処理は、図７Ｂを用いて説明したＰＵサイズを設定するための第３の手法に従った処理である。

図２７Ｂを参照すると、まず、エンハンスメントレイヤのためのインター予測部９０ｂの予測制御部１９１ｂは、ベースレイヤの対応する予測ブロックについて指定されたサブマクロブロックタイプを含む予測ブロックサイズ情報を、共通メモリ７から取得する（ステップＳ１９０ｂ）。次に、予測制御部１９１ｂは、ベースレイヤとエンハンスメントレイヤとの間のスケーラビリティ比を取得する（ステップＳ１９１）。次に、予測制御部１９１ｂは、可逆復号部６１ｂにより復号されるＰＵサイズ情報を取得する（ステップＳ１９２）。

次に、予測制御部１９１ｂは、サブマクロブロックタイプを参照することにより、ＰＵサイズの１つ以上の候補を決定する（ステップＳ１９３）。次に、予測制御部１９１ｂは、ＰＵサイズの候補のうち、ＰＵサイズ情報により指定されるＰＵサイズを選択する（ステップＳ１９４ｂ）。次に、予測制御部１９１ｂは、選択したＰＵサイズを有するＰＵを、エンハンスメントレイヤの各ＣＵ内に設定する（ステップＳ１９５ｂ）。

次に、情報取得部１９２ｂは、予測制御部１９１ｂにより設定されたＰＵについて可逆復号部６１ｂにより復号された予測モード情報及び動き情報を取得する（ステップＳ１９６）。そして、予測部１９３ｂは、予測制御部１９１ｂにより設定されたＰＵについて、予測モード情報により示される予測モードに従い、動き情報を用いてインター予測を実行する（ステップＳ１９７）。

＜６．応用例＞
［６−１．様々な製品への応用］
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

（１）第１の応用例
図２８は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００での画像のマルチコーデックのスケーラブル復号のために、エンハンスメントレイヤにブロックを設定する改善された仕組みを採用し、符号化効率を高めることができる。

（２）第２の応用例
図２９は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０での画像のマルチコーデックのスケーラブル符号化及び復号のために、エンハンスメントレイヤにブロックを設定する改善された仕組みを採用し、符号化効率を高めることができる。

（３）第３の応用例
図３０は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。

制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０での画像のマルチコーデックのスケーラブル符号化及び復号のために、エンハンスメントレイヤにブロックを設定する改善された仕組みを採用し、符号化効率を高めることができる。

（４）第４の応用例
図３１は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０での画像のマルチコーデックのスケーラブル符号化及び復号のために、エンハンスメントレイヤにブロックを設定する改善された仕組みを採用し、符号化効率を高めることができる。

［６−２．スケーラブル符号化の様々な用途］
上述したスケーラブル符号化の利点は、様々な用途において享受され得る。以下、３つの用途の例について説明する。

（１）第１の例
第１の例において、スケーラブル符号化は、データの選択的な伝送のために利用される。図３２を参照すると、データ伝送システム１０００は、ストリーム記憶装置１００１及び配信サーバ１００２を含む。配信サーバ１００２は、ネットワーク１００３を介して、いくつかの端末装置と接続される。ネットワーク１００３は、有線ネットワークであっても無線ネットワークであってもよく、又はそれらの組合せであってもよい。図３２には、端末装置の例として、ＰＣ（Personal Computer）１００４、ＡＶ機器１００５、タブレット装置１００６及び携帯電話機１００７が示されている。

ストリーム記憶装置１００１は、例えば、画像符号化装置１０により生成される多重化ストリームを含むストリームデータ１０１１を記憶する。多重化ストリームは、ベースレイヤ（ＢＬ）の符号化ストリーム及びエンハンスメントレイヤ（ＥＬ）の符号化ストリームを含む。配信サーバ１００２は、ストリーム記憶装置１００１に記憶されているストリームデータ１０１１を読み出し、読み出したストリームデータ１０１１の少なくとも一部分を、ネットワーク１００３を介して、ＰＣ１００４、ＡＶ機器１００５、タブレット装置１００６、及び携帯電話機１００７へ配信する。

端末装置へのストリームの配信の際、配信サーバ１００２は、端末装置の能力又は通信環境などの何らかの条件に基づいて、配信すべきストリームを選択する。例えば、配信サーバ１００２は、端末装置が扱うことのできる画質を上回るほど高い画質を有する符号化ストリームを配信しないことにより、端末装置における遅延、オーバフロー又はプロセッサの過負荷の発生を回避してもよい。また、配信サーバ１００２は、高い画質を有する符号化ストリームを配信しないことにより、ネットワーク１００３の通信帯域が占有されることを回避してもよい。一方、配信サーバ１００２は、これら回避すべきリスクが存在しない場合、又はユーザとの契約若しくは何らかの条件に基づいて適切だと判断される場合に、多重化ストリームの全てを端末装置へ配信してもよい。

図３２の例では、配信サーバ１００２は、ストリーム記憶装置１００１からストリームデータ１０１１を読み出す。そして、配信サーバ１００２は、高い処理能力を有するＰＣ１００４へ、ストリームデータ１０１１をそのまま配信する。また、ＡＶ機器１００５は低い処理能力を有するため、配信サーバ１００２は、ストリームデータ１０１１から抽出されるベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を生成し、ストリームデータ１０１２をＡＶ機器１００５へ配信する。また、配信サーバ１００２は、高い通信レートで通信可能であるタブレット装置１００６へストリームデータ１０１１をそのまま配信する。また、携帯電話機１００７は低い通信レートでしか通信できないため、配信サーバ１００２は、ベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を携帯電話機１００７へ配信する。

このように多重化ストリームを用いることにより、伝送されるトラフィックの量を適応的に調整することができる。また、個々のレイヤがそれぞれ単独に符号化されるケースと比較して、ストリームデータ１０１１の符号量は削減されるため、ストリームデータ１０１１の全体が配信されるとしても、ネットワーク１００３に掛かる負荷は抑制される。さらに、ストリーム記憶装置１００１のメモリリソースも節約される。

端末装置のハードウエア性能は、装置ごとに異なる。また、端末装置において実行されるアプリケーションのケイパビリティも様々である。さらに、ネットワーク１００３の通信容量もまた様々である。データ伝送のために利用可能な容量は、他のトラフィックの存在に起因して、時々刻々と変化し得る。そこで、配信サーバ１００２は、ストリームデータの配信を開始する前に、配信先の端末装置との間のシグナリングを通じて、端末装置のハードウエア性能及びアプリケーションケイパビリティなどに関する端末情報と、ネットワーク１００３の通信容量などに関するネットワーク情報とを取得してもよい。そして、配信サーバ１００２は、取得した情報に基づいて、配信すべきストリームを選択し得る。

なお、復号すべきレイヤの抽出は、端末装置において行われてもよい。例えば、ＰＣ１００４は、受信した多重化ストリームから抽出され復号されるベースレイヤ画像をその画面に表示してもよい。また、ＰＣ１００４は、受信した多重化ストリームからベースレイヤの符号化ストリームを抽出してストリームデータ１０１２を生成し、生成したストリームデータ１０１２を記憶媒体に記憶させ、又は他の装置へ転送してもよい。

図３２に示したデータ伝送システム１０００の構成は一例に過ぎない。データ伝送システム１０００は、いかなる数のストリーム記憶装置１００１、配信サーバ１００２、ネットワーク１００３、及び端末装置を含んでもよい。

（２）第２の例
第２の例において、スケーラブル符号化は、複数の通信チャネルを介するデータの伝送のために利用される。図３３を参照すると、データ伝送システム１１００は、放送局１１０１及び端末装置１１０２を含む。放送局１１０１は、地上波チャネル１１１１上で、ベースレイヤの符号化ストリーム１１２１を放送する。また、放送局１１０１は、ネットワーク１１１２を介して、エンハンスメントレイヤの符号化ストリーム１１２２を端末装置１１０２へ送信する。

端末装置１１０２は、放送局１１０１により放送される地上波放送を受信するための受信機能を有し、地上波チャネル１１１１を介してベースレイヤの符号化ストリーム１１２１を受信する。また、端末装置１１０２は、放送局１１０１と通信するための通信機能を有し、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信する。

端末装置１１０２は、例えば、ユーザからの指示に応じて、ベースレイヤの符号化ストリーム１１２１を受信し、受信した符号化ストリーム１１２１からベースレイヤ画像を復号してベースレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したベースレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。

また、端末装置１１０２は、例えば、ユーザからの指示に応じて、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信し、ベースレイヤの符号化ストリーム１１２１とエンハンスメントレイヤの符号化ストリーム１１２２とを多重化することにより多重化ストリームを生成してもよい。また、端末装置１１０２は、エンハンスメントレイヤの符号化ストリーム１１２２からエンハンスメントレイヤ画像を復号してエンハンスメントレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したエンハンスメントレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。

上述したように、多重化ストリームに含まれる各レイヤの符号化ストリームは、レイヤごとに異なる通信チャネルを介して伝送され得る。それにより、個々のチャネルに掛かる負荷を分散させて、通信の遅延若しくはオーバフローの発生を抑制することができる。

また、何らかの条件に応じて、伝送のために使用される通信チャネルが動的に選択されてもよい。例えば、データ量が比較的多いベースレイヤの符号化ストリーム１１２１は帯域幅の広い通信チャネルを介して伝送され、データ量が比較的少ないエンハンスメントレイヤの符号化ストリーム１１２２は帯域幅の狭い通信チャネルを介して伝送され得る。また、特定のレイヤの符号化ストリーム１１２２が伝送される通信チャネルが、通信チャネルの帯域幅に応じて切り替えられてもよい。それにより、個々のチャネルに掛かる負荷をより効果的に抑制することができる。

なお、図３３に示したデータ伝送システム１１００の構成は一例に過ぎない。データ伝送システム１１００は、いかなる数の通信チャネル及び端末装置を含んでもよい。また、放送以外の用途において、ここで説明したシステムの構成が利用されてもよい。

（３）第３の例
第３の例において、スケーラブル符号化は、映像の記憶のために利用される。図３４を参照すると、データ伝送システム１２００は、撮像装置１２０１及びストリーム記憶装置１２０２を含む。撮像装置１２０１は、被写体１２１１を撮像することにより生成される画像データをスケーラブル符号化し、多重化ストリーム１２２１を生成する。多重化ストリーム１２２１は、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを含む。そして、撮像装置１２０１は、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給する。

ストリーム記憶装置１２０２は、撮像装置１２０１から供給される多重化ストリーム１２２１を、モードごとに異なる画質で記憶する。例えば、ストリーム記憶装置１２０２は、通常モードにおいて、多重化ストリーム１２２１からベースレイヤの符号化ストリーム１２２２を抽出し、抽出したベースレイヤの符号化ストリーム１２２２を記憶する。これに対し、ストリーム記憶装置１２０２は、高画質モードにおいて、多重化ストリーム１２２１をそのまま記憶する。それにより、ストリーム記憶装置１２０２は、高画質での映像の記録が望まれる場合にのみ、データ量の多い高画質のストリームを記録することができる。そのため、画質の劣化のユーザへの影響を抑制しながら、メモリリソースを節約することができる。

例えば、撮像装置１２０１は、監視カメラであるものとする。撮像画像に監視対象（例えば侵入者）が映っていない場合には、通常モードが選択される。この場合、撮像画像は重要でない可能性が高いため、データ量の削減が優先され、映像は低画質で記録される（即ち、ベースレイヤの符号化ストリーム１２２２のみが記憶される）。これに対し、撮像画像に監視対象（例えば、侵入者である被写体１２１１）が映っている場合には、高画質モードが選択される。この場合、撮像画像は重要である可能性が高いため、画質の高さが優先され、映像は高画質で記録される（即ち、多重化ストリーム１２２１が記憶される）。

図３４の例では、モードは、例えば画像解析結果に基づいて、ストリーム記憶装置１２０２により選択される。しかしながら、かかる例に限定されず、撮像装置１２０１がモードを選択してもよい。後者の場合、撮像装置１２０１は、通常モードにおいて、ベースレイヤの符号化ストリーム１２２２をストリーム記憶装置１２０２へ供給し、高画質モードにおいて、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給してもよい。

なお、モードを選択するための選択基準は、いかなる基準であってもよい。例えば、マイクロフォンを通じて取得される音声の大きさ又は音声の波形などに応じて、モードが切り替えられてもよい。また、周期的にモードが切り替えられてもよい。また、ユーザがらの指示に応じてモードが切り替えられてもよい。さらに、選択可能なモードの数は、階層化されるレイヤの数を超えない限り、いかなる数であってもよい。

図３４に示したデータ伝送システム１２００の構成は一例に過ぎない。データ伝送システム１２００は、いかなる数の撮像装置１２０１を含んでもよい。また、監視カメラ以外の用途において、ここで説明したシステムの構成が利用されてもよい。

［６−３．その他］
（１）マルチビューコーデックへの応用
マルチビューコーデックは、マルチレイヤコーデックの一種であり、いわゆる多視点映像を符号化し及び復号するための画像符号化方式である。図３５は、マルチビューコーデックについて説明するための説明図である。図３５を参照すると、３つの視点においてそれぞれ撮影される３つのビューのフレームのシーケンスが示されている。各ビューには、ビューＩＤ（view_id）が付与される。これら複数のビューのうちいずれか１つのビューが、ベースビュー（base view）に指定される。ベースビュー以外のビューは、ノンベースビューと呼ばれる。図３５の例では、ビューＩＤが“０”であるビューがベースビューであり、ビューＩＤが“１”又は“２”である２つのビューがノンベースビューである。これらビューが階層的に符号化される場合、各ビューがレイヤに相当し得る。図中に矢印で示したように、ノンベースビューの画像は、ベースビューの画像を参照して符号化され及び復号される（他のノンベースビューの画像も参照されてよい）。

図３６は、マルチビューコーデックをサポートする画像符号化装置１０ｖの概略的な構成を示すブロック図である。図３６を参照すると、画像符号化装置１０ｖは、第１レイヤ符号化部１ｃ、第２レイヤ符号化部１ｄ、共通メモリ２及び多重化部３を備える。

第１レイヤ符号化部１ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像を受け取ることを除き、図８を用いて説明した第１符号化部１ａの機能と同等である。第１レイヤ符号化部１ｃは、ベースビュー画像を符号化し、第１レイヤの符号化ストリームを生成する。第２レイヤ符号化部１ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像を受け取ることを除き、図８を用いて説明した第２符号化部１ｂの機能と同等である。第２レイヤ符号化部１ｄは、ノンベースビュー画像を符号化し、第２レイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、第１レイヤ符号化部１ｃにより生成される第１レイヤの符号化ストリームと、第２レイヤ符号化部１ｄにより生成される第２レイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。

図３７は、マルチビューコーデックをサポートする画像復号装置６０ｖの概略的な構成を示すブロック図である。図３７を参照すると、画像復号装置６０ｖは、逆多重化部５、第１レイヤ復号部６ｃ、第２レイヤ復号部６ｄ及び共通メモリ７を備える。

逆多重化部５は、マルチレイヤの多重化ストリームを第１レイヤの符号化ストリーム及び第２レイヤの符号化ストリームに逆多重化する。第１レイヤ復号部６ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図９を用いて説明した第１復号部６ａの機能と同等である。第１レイヤ復号部６ｃは、第１レイヤの符号化ストリームからベースビュー画像を復号する。第２レイヤ復号部６ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図９を用いて説明した第２復号部６ｂの機能と同等である。第２レイヤ復号部６ｄは、第２レイヤの符号化ストリームからノンベースビュー画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。

マルチビューの画像データを符号化し又は復号する際、本開示に係る技術に従ってノンベースビューのレイヤにブロックを設定することにより、符号化効率が高められてもよい。

（２）ストリーミング技術への応用
本開示に係る技術は、ストリーミングプロトコルに適用されてもよい。例えば、ＭＰＥＧ−ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）では、解像度などのパラメータが互いに異なる複数の符号化ストリームがストリーミングサーバにおいて予め用意される。そして、ストリーミングサーバは、複数の符号化ストリームからストリーミングすべき適切なデータをセグメント単位で動的に選択し、選択したデータを配信する。このようなストリーミングプロトコルにおいて、本開示に係る技術が採用されてもよい。

＜７．まとめ＞
ここまで、図１〜図３７を用いて、画像符号化装置１０及び画像復号装置６０の様々な実施形態について説明した。上述した実施形態によれば、マクロブロックベースの画像符号化方式でベースレイヤが符号化され、再帰的にブロック分割されるＣＵベースの画像符号化方式でエンハンスメントレイヤが符号化されるマルチコーデックのスケーラブル符号化において、ベースレイヤ内に設定されるブロックサイズに応じて、エンハンスメントレイヤ内にＣＵが設定される。従って、エンハンスメントレイヤにおいてQuad-Tree構造を一から形成する手法と比較して、高い符号化効率を達成することができる。

また、上述した実施形態によれば、ＣＵの最大サイズ、即ちＬＣＵサイズが、ベースレイヤにおけるブロックサイズとレイヤ間のスケーラビリティ比とを用いて、決定される。それに対し、ＬＣＵ内のＣＵへのブロック分割は、必ずしもベースレイヤにおけるブロックサイズに依存しない。従って、ベースレイヤの格子状のマクロブロック構造にとらわれることなく、ＨＥＶＣに特有のQuad-Tree構造の柔軟性の利点を生かして、エンハンスメントレイヤの符号化効率を最適化することができる。ＬＣＵサイズがマクロブロックサイズ及びスケーラビリティ比を用いて決め打ちで決定される場合には、エンハンスメントレイヤにおいてブロックサイズ情報を符号化しなくてよいため、符号量を削減することができる。また、ＬＣＵサイズの候補がマクロブロックサイズとスケーラビリティ比との積を基準として絞り込まれる場合には、符号量を削減しつつ、ＬＣＵサイズの設定の柔軟性を獲得することもできる。

なお、本明細書では、様々な情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
固定的なサイズを有するマクロブロックに基づく第１の符号化方式で復号されるベースレイヤ内にマクロブロックを設定する第１設定部と、
再帰的にブロック分割される符号化単位に基づく第２の符号化方式で復号されるエンハンスメントレイヤ内に、前記第１設定部により設定されるブロックサイズに応じて、符号化単位を設定する第２設定部と、
を備える画像処理装置。
（２）
前記第２設定部は、マクロブロックサイズとレイヤ間のスケーラビリティ比とを用いて、符号化単位のサイズを決定する、前記（１）に記載の画像処理装置。
（３）
前記第２設定部は、前記マクロブロックサイズに前記スケーラビリティ比を乗じることにより、符号化単位の最大サイズを決定する、前記（２）に記載の画像処理装置。
（４）
前記第２設定部は、前記マクロブロックサイズと前記スケーラビリティ比との積を基準として絞り込まれる複数のサイズのうち、符号化ストリームから取得されるパラメータに従って選択されるサイズを、符号化単位の最大サイズとして決定する、前記（２）に記載の画像処理装置。
（５）
前記第２設定部は、サブマクロブロックサイズに前記スケーラビリティ比を乗じることにより、符号化単位の最小サイズを決定する、前記（３）又は前記（４）に記載の画像処理装置。
（６）
前記第２設定部は、符号化ストリームから取得されるパラメータに従って、符号化単位の最小サイズを決定する、前記（３）又は前記（４）に記載の画像処理装置。
（７）
前記ベースレイヤ内に第１の予測ブロックを設定して、当該第１の予測ブロックについてイントラ予測又はインター予測を実行する第１予測部と、
前記第１の予測ブロックのサイズと前記スケーラビリティ比とを用いて、前記エンハンスメントレイヤ内に前記第１の予測ブロックに対応する第２の予測ブロックを設定して、当該第２の予測ブロックについてイントラ予測又はインター予測を実行する第２予測部と、
をさらに備える、前記（２）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記第２予測部は、前記第１予測部により設定される前記第１の予測ブロックのサイズに前記スケーラビリティ比を乗じることにより、前記第２の予測ブロックのサイズを決定する、前記（７）に記載の画像処理装置。
（９）
前記第２予測部は、前記第１予測部により設定される前記第１の予測ブロックのサイズと前記スケーラビリティ比との積を基準として絞り込まれる複数のサイズのうち、符号化ストリームから取得されるパラメータに従って選択されるサイズを、前記第２の予測ブロックのサイズとして決定する、前記（７）に記載の画像処理装置。
（１０）
前記第１予測部及び前記第２予測部は、インター予測を実行し、
前記第２予測部は、前記第１の予測ブロックを設定する際に前記第１予測部によりサブマクロブロックへの分割が使用されたかに応じて絞り込まれる複数のサイズのうち、符号化ストリームから取得されるパラメータに従って選択されるサイズを、前記第２の予測ブロックのサイズとして決定する、
前記（７）に記載の画像処理装置。
（１１）
前記ベースレイヤ内に第１の変換ブロックを設定して、当該第１の変換ブロックについて逆直交変換を実行する第１変換部と、
前記第１の変換ブロックのサイズと前記スケーラビリティ比とを用いて、前記エンハンスメントレイヤ内に前記第１の変換ブロックに対応する第２の変換ブロックを設定して、当該第２の変換ブロックについて逆直交変換を実行する第２変換部と、
をさらに備える、前記（２）〜（１０）のいずれか１項に記載の画像処理装置。
（１２）
前記第２変換部は、前記第１変換部により設定される前記第１の変換ブロックのサイズに前記スケーラビリティ比を乗じることにより、前記第２の変換ブロックのサイズを決定する、前記（１１）に記載の画像処理装置。
（１３）
前記第２変換部は、前記第１変換部により設定される前記第１の変換ブロックのサイズと前記スケーラビリティ比との積を基準として絞り込まれる複数のサイズのうち、符号化ストリームから取得されるパラメータに従って選択されるサイズを、前記第２の変換ブロックのサイズとして決定する、前記（１１）に記載の画像処理装置。
（１４）
固定的なサイズを有するマクロブロックに基づく第１の符号化方式で復号されるベースレイヤ内にマクロブロックを設定することと、
再帰的にブロック分割される符号化単位に基づく第２の符号化方式で復号されるエンハンスメントレイヤ内に、前記ベースレイヤ内に設定されたブロックサイズに応じて、符号化単位を設定することと、
を含む画像処理方法。
（１５）
固定的なサイズを有するマクロブロックに基づく第１の符号化方式で符号化されるベースレイヤ内にマクロブロックを設定する第１設定部と、
再帰的にブロック分割される符号化単位に基づく第２の符号化方式で符号化されるエンハンスメントレイヤ内に、前記第１設定部により設定されるブロックサイズに応じて、符号化単位を設定する第２設定部と、
を備える画像処理装置。
（１６）
前記第２設定部は、マクロブロックサイズとレイヤ間のスケーラビリティ比とを用いて、符号化単位のサイズを決定する、前記（１５）に記載の画像処理装置。
（１７）
前記第２設定部は、前記マクロブロックサイズに前記スケーラビリティ比を乗じることにより、符号化単位の最大サイズを決定する、前記（１６）に記載の画像処理装置。
（１８）
前記第２設定部は、サブマクロブロックサイズに前記スケーラビリティ比を乗じることにより、符号化単位の最小サイズを決定する、前記（１７）に記載の画像処理装置。
（１９）
前記第２設定部は、符号化単位の最小サイズとして選択されるサイズを示すパラメータを生成する、前記（１７）に記載の画像処理装置。
（２０）
固定的なサイズを有するマクロブロックに基づく第１の符号化方式で符号化されるベースレイヤ内にマクロブロックを設定することと、
再帰的にブロック分割される符号化単位に基づく第２の符号化方式で符号化されるエンハンスメントレイヤ内に、前記ベースレイヤ内に設定されるブロックサイズに応じて、符号化単位を設定することと、
を含む画像処理方法。

１０ 画像符号化装置（画像処理装置）
１２ａ ブロック設定部（第１設定部）
１２ｂ ブロック設定部（第２設定部）
１４ａ 直交変換部（第１変換部）
１４ｂ 直交変換部（第２変換部）
３０ａ イントラ予測部（第１予測部）
３０ｂ イントラ予測部（第２予測部）
４０ａ インター予測部（第１予測部）
４０ｂ インター予測部（第２予測部）
６０ 画像復号装置（画像処理装置）
６２ａ ブロック設定部（第１設定部）
６２ｂ ブロック設定部（第２設定部）
６４ａ 逆直交変換部（第１変換部）
６４ｂ 逆直交変換部（第２変換部）
８０ａ イントラ予測部（第１予測部）
８０ｂ イントラ予測部（第２予測部）
９０ａ インター予測部（第１予測部）
９０ｂ インター予測部（第２予測部）

Claims (19)

1. 固定的なサイズを有するマクロブロックに基づく第１の符号化方式で復号されるベースレイヤ内にマクロブロックを設定する第１設定部と、
   再帰的にブロック分割される符号化単位に基づく第２の符号化方式で復号されるエンハンスメントレイヤ内に、前記第１設定部により設定されるマクロブロックのサイズに応じて、符号化単位を設定する第２設定部と、
   を備え、
   前記第２設定部は、マクロブロックサイズとレイヤ間のスケーラビリティ比との積を基準として絞り込まれる複数のサイズのうち、符号化ストリームから取得されるパラメータに従って選択されるサイズを、符号化単位の最大サイズとして決定する、
   画像処理装置。
2. 前記第２設定部は、前記最大サイズの符号化単位を再帰的に分割することにより、前記エンハンスメントレイヤ内に符号化単位を設定する、請求項１に記載の画像処理装置。
3. 画像が符号化される際に、前記画像のテクスチャに基づいて、前記エンハンスメントレイヤにおいて各符号化単位をより小さい符号化単位へ分割するか否かが決定される、請求項２に記載の画像処理装置。
4. 前記第２設定部は、サブマクロブロックサイズに前記スケーラビリティ比を乗じることにより、符号化単位の最小サイズを決定する、請求項３に記載の画像処理装置。
5. 前記第２設定部は、符号化ストリームから取得されるパラメータに従って、符号化単位の最小サイズを決定する、請求項３に記載の画像処理装置。
6. 前記ベースレイヤ内に第１の予測ブロックを設定して、当該第１の予測ブロックについてイントラ予測又はインター予測を実行する第１予測部と、
   前記第１の予測ブロックのサイズと前記スケーラビリティ比とを用いて、前記エンハンスメントレイヤ内に前記第１の予測ブロックに対応する第２の予測ブロックを設定して、当該第２の予測ブロックについてイントラ予測又はインター予測を実行する第２予測部と、
   をさらに備える、請求項１に記載の画像処理装置。
7. 前記第２予測部は、前記第１予測部により設定される前記第１の予測ブロックのサイズに前記スケーラビリティ比を乗じることにより、前記第２の予測ブロックのサイズを決定する、請求項６に記載の画像処理装置。
8. 前記第２予測部は、前記第１予測部により設定される前記第１の予測ブロックのサイズと前記スケーラビリティ比との積を基準として絞り込まれる複数のサイズのうち、符号化ストリームから取得されるパラメータに従って選択されるサイズを、前記第２の予測ブロックのサイズとして決定する、請求項６に記載の画像処理装置。
9. 前記第１予測部及び前記第２予測部は、インター予測を実行し、
   前記第２予測部は、前記第１の予測ブロックを設定する際に前記第１予測部によりサブマクロブロックへの分割が使用されたかに応じて絞り込まれる複数のサイズのうち、符号化ストリームから取得されるパラメータに従って選択されるサイズを、前記第２の予測ブロックのサイズとして決定する、
   請求項６に記載の画像処理装置。
10. 前記ベースレイヤ内に第１の変換ブロックを設定して、当該第１の変換ブロックについて逆直交変換を実行する第１変換部と、
    前記第１の変換ブロックのサイズと前記スケーラビリティ比とを用いて、前記エンハンスメントレイヤ内に前記第１の変換ブロックに対応する第２の変換ブロックを設定して、当該第２の変換ブロックについて逆直交変換を実行する第２変換部と、
    をさらに備える、請求項１に記載の画像処理装置。
11. 前記第２変換部は、前記第１変換部により設定される前記第１の変換ブロックのサイズに前記スケーラビリティ比を乗じることにより、前記第２の変換ブロックのサイズを決定する、請求項１０に記載の画像処理装置。
12. 前記第２変換部は、前記第１変換部により設定される前記第１の変換ブロックのサイズと前記スケーラビリティ比との積を基準として絞り込まれる複数のサイズのうち、符号化ストリームから取得されるパラメータに従って選択されるサイズを、前記第２の変換ブロックのサイズとして決定する、請求項１０に記載の画像処理装置。
13. 固定的なサイズを有するマクロブロックに基づく第１の符号化方式で復号されるベースレイヤ内にマクロブロックを設定することと、
    再帰的にブロック分割される符号化単位に基づく第２の符号化方式で復号されるエンハンスメントレイヤ内に、前記ベースレイヤ内に設定されたマクロブロックのサイズに応じて、符号化単位を設定することと、
    を含み、
    前記エンハンスメントレイヤ内の符号化単位の最大サイズは、マクロブロックサイズとレイヤ間のスケーラビリティ比との積を基準として絞り込まれる複数のサイズのうち、符号化ストリームから取得されるパラメータに従って選択される、
    画像処理方法。
14. 固定的なサイズを有するマクロブロックに基づく第１の符号化方式で符号化されるベースレイヤ内にマクロブロックを設定する第１設定部と、
    再帰的にブロック分割される符号化単位に基づく第２の符号化方式で符号化されるエンハンスメントレイヤ内に、前記第１設定部により設定されるマクロブロックのサイズに応じて、符号化単位を設定する第２設定部と、
    マクロブロックサイズとレイヤ間のスケーラビリティ比との積を基準として絞り込まれる複数のサイズのうちで前記エンハンスメントレイヤ内に設定される符号化単位の最大サイズを示すパラメータを符号化する符号化部と、
    を備える画像処理装置。
15. 前記第２設定部は、前記最大サイズの符号化単位を再帰的に分割することにより、前記エンハンスメントレイヤ内に符号化単位を設定する、請求項１４に記載の画像処理装置。
16. 前記第２設定部は、画像のテクスチャに基づいて、前記エンハンスメントレイヤにおいて各符号化単位をより小さい符号化単位へ分割するか否かを決定する、請求項１５に記載の画像処理装置。
17. 前記第２設定部は、サブマクロブロックサイズに前記スケーラビリティ比を乗じることにより、符号化単位の最小サイズを決定する、請求項１６に記載の画像処理装置。
18. 前記第２設定部は、符号化単位の最小サイズとして選択されるサイズを示すパラメータを生成する、請求項１６に記載の画像処理装置。
19. 固定的なサイズを有するマクロブロックに基づく第１の符号化方式で符号化されるベースレイヤ内にマクロブロックを設定することと、
    再帰的にブロック分割される符号化単位に基づく第２の符号化方式で符号化されるエンハンスメントレイヤ内に、前記ベースレイヤ内に設定されるマクロブロックのサイズに応じて、符号化単位を設定することと、
    マクロブロックサイズとレイヤ間のスケーラビリティ比との積を基準として絞り込まれる複数のサイズのうちで前記エンハンスメントレイヤ内に設定される符号化単位の最大サイズを示すパラメータを符号化することと、
    を含む画像処理方法。
    

Images