JPWO2015053001A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】レイヤ間で参照される画像を精細化する際に、効率的に画質を改善することのできる仕組みを提供すること。【解決手段】異なるブロックサイズを有する複数のブロックが設定された第１レイヤの復号画像に基づく、前記第１レイヤとは異なる属性を有する第２レイヤの画像の符号化又は復号のための参照画像を取得する取得部と、前記取得部により取得される前記参照画像に精細化フィルタを適用して、精細化参照画像を生成するフィルタリング部と、前記複数のブロックの各々への前記フィルタリング部による前記精細化フィルタの適用を、各ブロックのブロックサイズに応じて制御する制御部と、を備える画像処理装置を提供する。【選択図】図８

Description

本開示は、画像処理装置及び画像処理方法に関する。

現在、Ｈ．２６４／ＡＶＣよりも符号化効率をさらに向上することを目的として、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同の標準化団体であるＪＣＴＶＣ（Joint Collaboration Team-Video Coding）により、ＨＥＶＣ（High Efficiency Video Coding）と呼ばれる画像符号化方式の標準化が進められている（例えば、非特許文献１参照）。ＨＥＶＣは、ＭＰＥＧ２及びＡＶＣ（Advanced Video Coding）などの既存の画像符号化方式と同様、シングルレイヤの符号化のみならず、スケーラブル符号化をも提供する。ＨＥＶＣのスケーラブル符号化技術を、ＳＨＶＣ（Scalable HEVC）ともいう（例えば、非特許文献２参照）。

スケーラブル符号化とは、一般には、粗い画像信号を伝送するレイヤと精細な画像信号を伝送するレイヤとを階層的に符号化する技術をいう。スケーラブル符号化は、典型的には、階層化される属性に応じて、空間スケーラビリティ方式、時間スケーラビリティ方式及びＳＮＲ（Signal to Noise Ratio）スケーラビリティ方式という３種類の方式に分類される。空間スケーラビリティ方式では、空間解像度（あるいは画像サイズ）が階層化され、下位レイヤの画像は、アップサンプリングされた後に上位レイヤの画像を符号化し又は復号するために用いられる。時間スケーラビリティ方式では、フレームレートが階層化される。ＳＮＲスケーラビリティ方式では、量子化の粗さを変化させることにより、ＳＮ比が階層化される。さらに、標準規格で未だ採用されていないものの、ビット深度スケーラビリティ方式及びクロマフォーマットスケーラビリティ方式もまた議論されている。

スケーラブル符号化において、下位レイヤの画像を参照画像として用いて上位レイヤの画像を予測することを、インターレイヤ予測（inter-layer prediction）という。非特許文献２は、インターレイヤ予測のためのいくつかの手法を提案している。エンハンスメントレイヤでのインターレイヤ予測において、参照画像である下位レイヤの画像の画質は、予測精度を左右する。そこで、非特許文献３は、下位レイヤの画像の画質を精細化するために良好なゲインを示す手法として、２つの手法を提示している。第１の手法は、非特許文献４において具体的に説明されており、クロスカラーフィルタを使用する。第１の手法におけるクロスカラーフィルタは、精細化フィルタの一種であり、近傍の輝度成分に基づいて色差成分を精細化する。第２の手法は、非特許文献５において具体的に説明されており、エッジ強調フィルタを使用する。

Benjamin Bross, Woo-Jin Han, Gary J. Sullivan, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Consent)"（JCTVC-L1003_v4, 2013年1月14-23日） Jianle Chen, el. al, "Description of scalable video coding technology proposal by Qualcomm (configuration 2)"（JCTVC-K0036， 2012年10月10-19日） Jianle Chen, el. al, "Description of HEVC Scalable Extension Core Experiment SCE3: Inter-layer filtering"（JCTVC-N1103， 2013年7月25-8月2日） Xiang Li, el. al, "Non-SCE3: Region based Inter-layer Cross-Color Filtering"（JCTVC-N0229_r2， 2013年7月25-8月2日） Sychev Maximi, el. al, "Inter-layer prediction modes based on base layer sharpness filter"（JCTVC-N0070， 2013年7月25-8月2日）

しかしながら、上述したような精細化フィルタが画像内の全ての画素に適用されるとすれば、フィルタリングの演算量が膨大となる。特に、エッジ又はテクスチャを含まないフラットな領域に精細化フィルタを適用しても、画質はそれほど改善されず、演算量の増加というデメリットの方が大きい。一方、個別のブロックごとに精細化フィルタの構成を調整すれば、画質の改善を期待することはできる。しかし、エンコーダからデコーダへブロックごとのフィルタ構成情報が伝送される場合、フィルタ構成情報の多大な符号量が符号化効率を低下させる。

本開示に係る技術は、上述した問題点のうち少なくとも１つを解決し又は緩和することのできる改善された仕組みを提供することを目的とする。

本開示によれば、異なるブロックサイズを有する複数のブロックが設定された第１レイヤの復号画像に基づく、前記第１レイヤとは異なる属性を有する第２レイヤの画像の符号化又は復号のための参照画像を取得する取得部と、前記取得部により取得される前記参照画像に精細化フィルタを適用して、精細化参照画像を生成するフィルタリング部と、前記複数のブロックの各々への前記フィルタリング部による前記精細化フィルタの適用を、各ブロックのブロックサイズに応じて制御する制御部と、を備える画像処理装置が提供される。

上記画像処理装置は、画像を復号する画像復号装置として実現されてもよく、又は画像を符号化する画像符号化装置として実現されてもよい。

また、本開示によれば、異なるブロックサイズを有する複数のブロックが設定された第１レイヤの復号画像に基づく、前記第１レイヤとは異なる属性を有する第２レイヤの画像の符号化又は復号のための参照画像を取得することと、取得された前記参照画像に精細化フィルタを適用して、精細化参照画像を生成することと、前記複数のブロックの各々への前記精細化フィルタの適用を、各ブロックのブロックサイズに応じて制御することと、を含む画像処理方法が提供される。

本開示に係る技術によれば、レイヤ間で参照される画像を精細化する際に、効率的に画質の改善を図ることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

空間スケーラビリティ方式について説明するための説明図である。 ＳＮＲスケーラビリティ方式について説明するための説明図である。 クロスカラーフィルタを用いる精細化の手法について説明するための説明図である。 エッジ強調フィルタを用いる精細化の手法について説明するための説明図である。 画像符号化装置の概略的な構成を示すブロック図である。 画像復号装置の概略的な構成を示すブロック図である。 第１の実施形態に係るＥＬ符号化部の構成の一例を示すブロック図である。 図７に示した精細化部の詳細な構成の一例を示すブロック図である。 ブロックサイズに応じた精細化フィルタのオン／オフについて説明するための第１の説明図である。 ブロックサイズに応じた精細化フィルタのオン／オフについて説明するための第２の説明図である。 符号化時の概略的な処理の流れの一例を示すフローチャートである。 第１の実施形態における符号化時の参照画像の精細化に関連する処理の流れの一例を示すフローチャートである。 第１の実施形態に係るＥＬ復号部の構成の一例を示すブロック図である。 図１２に示した精細化部の詳細な構成の一例を示すブロック図である。 復号時の概略的な処理の流れの一例を示すフローチャートである。 第１の実施形態における復号時の参照画像の精細化に関連する処理の流れの一例を示すフローチャートである。 第２の実施形態に係るＥＬ符号化部の構成の一例を示すブロック図である。 図１６に示した精細化部の詳細な構成の一例を示すブロック図である。 ブロックサイズに依存するフィルタ構成の一例について説明するための説明図である。 フィルタ構成情報の予測符号化の一例について説明するための説明図である。 第２の実施形態における符号化時の参照画像の精細化に関連する処理の流れの一例を示すフローチャートである。 第２の実施形態に係るＥＬ復号部の構成の一例を示すブロック図である。 図２１に示した精細化部の詳細な構成の一例を示すブロック図である。 第２の実施形態における復号時の参照画像の精細化に関連する処理の流れの一例を示すフローチャートである。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 スケーラブル符号化の用途の第１の例について説明するための説明図である。 スケーラブル符号化の用途の第２の例について説明するための説明図である。 スケーラブル符号化の用途の第３の例について説明するための説明図である。 マルチビューコーデックについて説明するための説明図である。 マルチビューコーデックのための画像符号化装置の概略的な構成を示すブロック図である。 マルチビューコーデックのための画像復号装置の概略的な構成を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．概要
１−１．スケーラブル符号化
１−２．参照画像の精細化
１−３．エンコーダの基本的な構成例
１−４．デコーダの基本的な構成例
２．ＥＬ符号化部の構成例（第１の実施形態）
２−１．全体的な構成
２−２．精細化部の構成
２−３．処理の流れ
３．ＥＬ復号部の構成例（第１の実施形態）
３−１．全体的な構成
３−２．精細化部の構成
３−３．処理の流れ
４．ＥＬ符号化部の構成例（第２の実施形態）
４−１．全体的な構成
４−２．精細化部の構成
４−３．処理の流れ
５．ＥＬ復号部の構成例（第２の実施形態）
５−１．全体的な構成
５−２．精細化部の構成
５−３．処理の流れ
６．応用例
６−１．様々な製品への応用
６−２．スケーラブル符号化の様々な用途
６−３．その他
７．まとめ

＜１．概要＞
［１−１．スケーラブル符号化］
スケーラブル符号化においては、一連の画像をそれぞれ含む複数のレイヤが符号化される。ベースレイヤ（base layer）は、最初に符号化される、最も粗い画像を表現するレイヤである。ベースレイヤの符号化ストリームは、他のレイヤの符号化ストリームを復号することなく、独立して復号され得る。ベースレイヤ以外のレイヤは、エンハンスメントレイヤ（enhancement layer）と呼ばれる、より精細な画像を表現するレイヤである。エンハンスメントレイヤの符号化ストリームは、ベースレイヤの符号化ストリームに含まれる情報を用いて符号化される。従って、エンハンスメントレイヤの画像を再現するためには、ベースレイヤ及びエンハンスメントレイヤの双方の符号化ストリームが復号されることになる。スケーラブル符号化において扱われるレイヤの数は、２つ以上のいかなる数であってもよい。３つ以上のレイヤが符号化される場合には、最下位のレイヤがベースレイヤ、残りの複数のレイヤがエンハンスメントレイヤである。より上位のエンハンスメントレイヤの符号化ストリームは、より下位のエンハンスメントレイヤ又はベースレイヤの符号化ストリームに含まれる情報を用いて符号化され及び復号され得る。

（１）空間スケーラビリティ方式
図１は、空間スケーラビリティ方式について説明するための説明図である。図１を参照すると、空間スケーラビリティ方式でスケーラブル符号化される３つのレイヤＬ１１、Ｌ１２及びＬ１３が示されている。レイヤＬ１１はベースレイヤであり、レイヤＬ１２及びＬ１３はエンハンスメントレイヤである。レイヤＬ１２のレイヤＬ１１に対する空間解像度の比は、２：１である。レイヤＬ１３のレイヤＬ１１に対する空間解像度の比は、４：１である。なお、ここでの解像度比は一例に過ぎず、例えば１．５：１などの非整数の解像度比が使用されてもよい。レイヤＬ１１のブロックＢ１１は、ベースレイヤのピクチャ内の符号化処理の処理単位である。レイヤＬ１２のブロックＢ１２は、ブロックＢ１１と共通するシーンを映したエンハンスメントレイヤのピクチャ内の符号化処理の処理単位である。ブロックＢ１２は、レイヤＬ１１のブロックＢ１１に対応する。レイヤＬ１３のブロックＢ１３は、ブロックＢ１１及びＢ１２と共通するシーンを映したより上位のエンハンスメントレイヤのピクチャ内の符号化処理の処理単位である。ブロックＢ１３は、レイヤＬ１１のブロックＢ１１及びレイヤＬ１２のブロックＢ１２に対応する。

図１に例示したレイヤ構造において、画像のテクスチャは、共通するシーンを映したレイヤ間で類似する。即ち、レイヤＬ１１内のブロックＢ１１、レイヤＬ１２内のブロックＢ１２、及びレイヤＬ１３内のブロックＢ１３のテクスチャは類似する。従って、例えばブロックＢ１１を参照ブロックとして用いてブロックＢ１２又はブロックＢ１３の画素を予測し、又はブロックＢ１２を参照ブロックとして用いてブロックＢ１３の画素を予測すれば、高い予測精度が得られる可能性がある。このようなレイヤ間の予測を、インターレイヤ予測という。インターレイヤ予測の一種であるイントラＢＬ予測では、ベースレイヤの復号画像（リコンストラクト画像）が、エンハンスメントレイヤの復号画像を予測するための参照画像として使用される。イントラ残差予測及びインター残差予測では、ベースレイヤの予測誤差（残差）画像が、エンハンスメントレイヤの予測誤差画像を予測するための参照画像として使用される。空間スケーラビリティ方式では、エンハンスメントレイヤの空間解像度は、ベースレイヤの空間解像度よりも高い。従って、ベースレイヤの画像は、解像度比に従ってアップサンプリングされた上で参照画像として使用される。インターレイヤ予測のためのアップサンプリングフィルタは、通常、動き補償のための補間フィルタと同様に設計される。動き補償のための補間フィルタは、輝度成分について７タップ又は８タップ、色差成分について４タップのタップ数を有する。

（２）ＳＮＲスケーラビリティ方式
図２は、ＳＮＲスケーラビリティ方式について説明するための説明図である。図２を参照すると、ＳＮＲスケーラビリティ方式でスケーラブル符号化される３つのレイヤＬ２１、Ｌ２２及びＬ２３が示されている。レイヤＬ２１はベースレイヤであり、レイヤＬ２２及びＬ２３はエンハンスメントレイヤである。レイヤＬ２１は、３つのレイヤの中で最も粗い量子化データ（最も大きい量子化ステップで量子化されたデータ）のみを含むように符号化される。レイヤＬ２２は、レイヤＬ２１の量子化誤差を補償する量子化データを含むように符号化される。よって、レイヤＬ２１及びＬ２２を復号すれば、レイヤＬ２１のみを復号する場合よりも精細な（ＳＮ比のより高い）復号画像を得ることができる。レイヤＬ２３は、レイヤＬ２２の量子化誤差をさらに補償する量子化データを含むように符号化される。よって、レイヤＬ２１、Ｌ２２及びＬ２３を復号すれば、さらに精細な復号画像を得ることができる。レイヤＬ２１のブロックＢ２１は、ベースレイヤのピクチャ内の符号化処理の処理単位である。レイヤＬ２２のブロックＢ２２は、ブロックＢ２１と共通するシーンを映したエンハンスメントレイヤのピクチャ内の符号化処理の処理単位である。ブロックＢ２２は、レイヤＬ２１のブロックＢ２１に対応する。レイヤＬ２３のブロックＢ２３は、ブロックＢ２１及びＢ２２と共通するシーンを映したより上位のエンハンスメントレイヤのピクチャ内の符号化処理の処理単位である。ブロックＢ２３は、レイヤＬ２１のブロックＢ２１及びレイヤＬ２２のブロックＢ２２に対応する。

図２に例示したレイヤ構造においても、画像のテクスチャは共通するシーンを映したレイヤ間で類似する。従って、インターレイヤ予測において、例えばブロックＢ２１を参照ブロックとして用いてブロックＢ２２又はブロックＢ２３の画素を予測し、又はブロックＢ２２を参照ブロックとして用いてブロックＢ２３の画素を予測すれば、高い予測精度が得られる可能性がある。単独のＳＮＲスケーラビリティ方式では、エンハンスメントレイヤの空間解像度は、ベースレイヤの空間解像度と等しい。従って、ベースレイヤの画像を参照画像として使用するために、アップサンプリングは不要である。空間スケーラビリティ方式とＳＮＲスケーラビリティ方式とが組合せられる場合には、ベースレイヤの画像はアップサンプリングされる。

［１−２．参照画像の精細化］
インターレイヤ予測において、ベースレイヤから取得される参照画像の画質は、予測精度を左右する。そこで、予測処理に先立って参照画像を精細化するためのいくつかの手法が提案されている。良好なゲインを示す１つの手法は、非特許文献４により説明されているクロスカラーフィルタを用いる手法である。良好なゲインを示す他の手法は、非特許文献５により説明されているエッジ強調フィルタを用いる手法である。

（１）色差成分のためのクロスカラーフィルタ
図３は、クロスカラーフィルタを用いる精細化の手法について説明するための説明図である。非特許文献４により提案されているクロスカラーフィルタは、図中に丸印で示した１つの色差成分Ｐ２０を精細化するために、この色差成分Ｐ２０に加えて、図中に四角印で示した８つの輝度成分Ｐ１１〜Ｐ１８をフィルタタップとして使用する。フィルタ係数は、エンコーダ側で、原画像と精細化画像との間の平均二乗誤差を最小にするように、Ｃｂ成分及びＣｒ成分について別々にWienerフィルタを用いて計算される。フィルタ係数の計算は、画像をある深さまで分割することにより形成される、互いに均一なブロックサイズを有する１つ以上のブロックの各々について実行される。そして、ブロックごとの最適なフィルタ係数のセットが、符号化ストリームへ符号化される。しかしながら、非特許文献４により提案された手法では、画像がどの深さまで分割されるとしても、画像内の全ての画素にクロスカラーフィルタが適用される。よって、フィルタリングの演算量は、膨大である。また、深いブロック分割が行われれば、ブロックごとにフィルタ係数を特定するフィルタ構成情報の符号量は多大となる
。

（２）エッジ強調フィルタ
図４は、エッジ強調フィルタを用いる精細化の手法について説明するための説明図である。非特許文献５により提案された手法によれば、ベースレイヤの画像のエッジマップがPrewittフィルタを用いて抽出され、エッジマップに基づいて画素ごとに計算されるワープパラメータ（warping parameter）が各画素に加算される。それにより、ベースレイヤの画像のエッジが強調される。図４を参照すると、画像ＩＭ１の一部分がエッジを含んでおり、ワープ演算によってエッジが強調される様子が多数の矢印アイコンで象徴的に表現されている。しかしながら、非特許文献５により提案された手法では、画像内の全ての画素についてエッジマップの抽出及びワープ演算が実行される。よって、フィルタリングの演算量は、やはり膨大である。

（３）課題の説明
上述したような２つの例を含む様々な精細化フィルタに言えることとして、複雑なエッジ又はテクスチャを含む領域をフィルタリングすれば画質の改善の効果は大きい一方、エッジ又はテクスチャを含まない領域をフィルタリングしても画質はそれほど改善されない。よって、演算量を低減することが望ましい場合、領域ごとに適応的に精細化フィルタを制御することが有益である。但し、非特許文献４により提案された手法のように、エンコーダからデコーダへフィルタ構成情報が伝送される場合、個別のブロックごとにフィルタ構成を変化させると、フィルタ構成情報の符号量が多大となり、却って符号化効率が低下してしまう可能性がある。従って、現実的な演算量の範囲内で、符号化効率を低下させることなく適応的に画質の改善を図ることのできる仕組みが望ましい。そこで、そのような仕組みを提供する例示的な２つの実施形態について、後に詳細に説明する。

［１−３．エンコーダの基本的な構成例］
図５は、スケーラブル符号化をサポートする画像符号化装置１０の概略的な構成を示すブロック図である。図５を参照すると、画像符号化装置１０は、ベースレイヤ（ＢＬ）符号化部１ａ、エンハンスメントレイヤ（ＥＬ）符号化部１ｂ、共通メモリ２及び多重化部３を備える。

ＢＬ符号化部１ａは、ベースレイヤ画像を符号化し、ベースレイヤの符号化ストリームを生成する。ＥＬ符号化部１ｂは、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、ＢＬ符号化部１ａにより生成されるベースレイヤの符号化ストリームと、ＥＬ符号化部１ｂにより生成される１つ以上のエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。

［１−４．デコーダの基本的な構成例］
図６は、スケーラブル符号化をサポートする画像復号装置６０の概略的な構成を示すブロック図である。図６を参照すると、画像復号装置６０は、逆多重化部５、ベースレイヤ（ＢＬ）復号部６ａ、エンハンスメントレイヤ（ＥＬ）復号部６ｂ及び共通メモリ７を備える。

逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及び１つ以上のエンハンスメントレイヤの符号化ストリームに逆多重化する。ＢＬ復号部６ａは、ベースレイヤの符号化ストリームからベースレイヤ画像を復号する。ＥＬ復号部６ｂは、エンハンスメントレイヤの符号化ストリームからエンハンスメントレイヤ画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。

図５に例示した画像符号化装置１０において、ベースレイヤの符号化のためのＢＬ符号化部１ａの構成と、エンハンスメントレイヤの符号化のためのＥＬ符号化部１ｂの構成とは、互いに類似する。ＢＬ符号化部１ａにより生成され又は取得されるいくつかのパラメータ及び画像は、共通メモリ２を用いてバッファリングされ、ＥＬ符号化部１ｂにより再利用され得る。次節以降で、そのようなＥＬ符号化部１ｂの構成のいくつかの実施形態について説明する。

同様に、図６に例示した画像復号装置６０において、ベースレイヤの復号のためのＢＬ復号部６ａの構成と、エンハンスメントレイヤの復号のためのＥＬ復号部６ｂの構成とは、互いに類似する。ＢＬ復号部６ａにより生成され又は取得されるいくつかのパラメータ及び画像は、共通メモリ７を用いてバッファリングされ、ＥＬ復号部６ｂにより再利用され得る。次節以降で、そのようなＥＬ復号部６ｂの構成のいくつかの実施形態についても説明する。

＜２．ＥＬ符号化部の構成例（第１の実施形態）＞
［２−１．全体的な構成］
図７は、第１の実施形態に係るＥＬ符号化部１ｂの構成の一例を示すブロック図である。図７を参照すると、ＥＬ符号化部１ｂは、並び替えバッファ１１、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、ループフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０、インター予測部３５並びに精細化部４０を備える。

並び替えバッファ１１は、一連の画像データに含まれる画像を並び替える。並び替えバッファ１１は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、イントラ予測部３０、及びインター予測部３５へ出力する。

減算部１３には、並び替えバッファ１１から入力される画像データ、及び後に説明するイントラ予測部３０又はインター予測部３５から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１１から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。

直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。ＨＥＶＣにおいて、直交変換は、ＴＵ（変換単位：Transform Unit）と呼ばれるブロックごとに実行される。ＴＵは、ＣＵ（符号化単位：Coding Unit）を再帰的に分割することにより形成されるブロックであり、ＴＵのサイズは、４×４画素、８×８画素、１６×１６画素及び３２×３２画素から選択される。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。

量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。レート制御信号は、ブロックごとの各色成分についての量子化パラメータを特定する。典型的には、量子化パラメータが大きい場合、変換係数データの量子化誤差も大きくなる。ＳＮＲスケーラビリティ方式においては、エンハンスメントレイヤの量子化誤差は、ベースレイヤの量子化誤差よりも小さい。量子化部１５は、量子化パラメータ（及び量子化行列）に依存する量子化ステップで変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。

可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、エンハンスメントレイヤの符号化ストリームを生成する。また、可逆符号化部１６は、符号化ストリームを復号する際に参照される様々なパラメータを符号化して、符号化されたパラメータを符号化ストリームのヘッダ領域に挿入する。可逆符号化部１６により符号化されるパラメータは、後に説明するイントラ予測に関する情報及びインター予測に関する情報を含み得る。また、後述する精細化部４０により生成される精細化に関連するパラメータ（以下、精細化関連パラメータという）もまた、エンハンスメントレイヤにおいて符号化され得る。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。

蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。

レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。

逆量子化部２１、逆直交変換部２２及び加算部２３は、ローカルデコーダを構成する。逆量子化部２１は、量子化部１５により使用されたものと同じ量子化ステップで、エンハンスメントレイヤの量子化データを逆量子化し、変換係数データを復元する。そして、逆量子化部２１は、復元した変換係数データを逆直交変換部２２へ出力する。

逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。直交変換と同様、逆直交変換は、ＴＵごとに実行される。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。

加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとイントラ予測部３０又はインター予測部３５から入力される予測画像データとを加算することにより、復号画像データ（エンハンスメントレイヤのリコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像データをループフィルタ２４及びフレームメモリ２５へ出力する。

ループフィルタ２４は、画質の向上を目的とするフィルタ群を含む。デブロックフィルタ（ＤＦ）は、画像の符号化時に生じるブロック歪みを軽減するフィルタである。サンプル適応オフセット（ＳＡＯ）フィルタは、各画素値に適応的に決定されるオフセット値を加えるフィルタである。適応ループフィルタ（ＡＬＦ）は、ＳＡＯ後の画像と原画像との誤差を最小化するフィルタである。ループフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。

フレームメモリ２５は、加算部２３から入力されるエンハンスメントレイヤの復号画像データ、ループフィルタ２４から入力されるエンハンスメントレイヤのフィルタリング後の復号画像データ、及び精細化部４０から入力されるベースレイヤの参照画像データを記憶媒体を用いて記憶する。

セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてインター予測部３５に供給する。さらに、イントラ予測部３０又はインター予測部３５においてインターレイヤ予測が実行される場合、セレクタ２６は、ベースレイヤの参照画像データをイントラ予測部３０又はインター予測部３５へ供給する。

セレクタ２７は、イントラ予測モードにおいて、イントラ予測部３０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、インター予測モードにおいて、インター予測部３５から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、イントラ予測モードとインター予測モードとを、コスト関数値の大きさに応じて切り替える。

イントラ予測部３０は、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、ＨＥＶＣのＰＵ（予測単位：Prediction Unit）ごとにイントラ予測処理を行う。ＰＵは、ＴＵと同様、ＣＵを再帰的に分割することにより形成されるブロックである。例えば、イントラ予測部３０は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、イントラ予測部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部３０は、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。イントラ予測部３０は、エンハンスメントレイヤにおける予測モードセットに、インターレイヤ予測を含めてもよい。イントラ予測部３０は、選択した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。

インター予測部３５は、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、ＨＥＶＣのＰＵごとにインター予測処理を行う。例えば、インター予測部３５は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、インター予測部３５は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部３５は、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。インター予測部３５は、エンハンスメントレイヤにおける予測モードセットに、インターレイヤ予測を含めてもよい。インター予測部３５は、選択した最適な予測モードを表す予測モード情報と動き情報とを含むインター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。

精細化部４０は、共通メモリ２によりバッファリングされるベースレイヤの画像を参照画像として取得し、取得した参照画像に精細化フィルタを適用して、精細化参照画像を生成する。精細化部４０は、参照画像への精細化フィルタの適用を、ベースレイヤの画像に設定されたブロックのブロックサイズに応じて制御する。より具体的には、本実施形態において、精細化部４０は、閾値よりも大きいブロックサイズを有するブロックへの精細化フィルタの適用を無効化する。精細化部４０は、ベースレイヤとエンハンスメントレイヤとの間で空間解像度が異なる場合には、参照画像のアップサンプリングも実行する。精細化部４０により生成される精細化参照画像は、フレームメモリ２５に格納され、イントラ予測部３０又はインター予測部３５により、インターレイヤ予測において参照され得る。また、精細化部４０により生成される精細化関連パラメータは、可逆符号化部１６により符号化される。

［２−２．精細化部の構成］
図８は、図７に示した精細化部４０の詳細な構成の一例を示すブロック図である。図８を参照すると、精細化部４０は、ブロックサイズバッファ４１、参照画像取得部４３、閾値設定部４５、フィルタ制御部４７及び精細化フィルタ４９を有する。

（１）ブロックサイズバッファ
ブロックサイズバッファ４１は、ベースレイヤ画像に設定されたブロックのブロックサイズを特定するブロックサイズ情報を記憶するバッファである。ここでのブロックとは、ベースレイヤの符号化処理の処理単位として設定されるＣＵ、予測処理の処理単位として設定されるＰＵ、又は直交変換処理の処理単位として設定されるＴＵであってよい。ＣＵは、各ピクチャ（又はスライス）にラスタスキャン順に配置されるＬＣＵ（Largest Coding Unit）の各々を四分木（Quad-Tree）状に階層的に分割することにより形成される。通常、１つのピクチャには複数のＣＵが設定され、それらＣＵは様々なブロックサイズを有する。例えば、画像内で高域成分が強い領域（例えば、多くのエッジ又は複雑なテクスチャを含む領域）についてはブロック分割は深くなり、従って各ブロックのブロックサイズは小さくなる。一方、画像内で高域成分が弱い領域（フラットな領域）についてはブロック分割は浅くなり、従って各ブロックのブロックサイズは大きくなる。この傾向は、ＣＵのみならずＰＵ及びＴＵについても同様である。

ＣＵについてのブロックサイズ情報は、例えば、ＬＣＵサイズ情報と分割情報とを含む。ＬＣＵサイズ情報は、例えば、ＨＥＶＣの仕様においてＳＣＵ（Smallest Coding Unit）のサイズを特定するパラメータ（log2_min_luma_coding_block_size_minus3）と、ＳＣＵサイズとＬＣＵサイズとの間の差分を特定するパラメータ（log2_diff_max_min_luma_coding_block_size）とを含む。分割情報は、ＬＣＵからのブロック分割の有無を再帰的に特定するパラメータ（フラグ（split_cu_flag）のセット）を含む。ＰＵについてのブロックサイズ情報は、ＣＵから１つ以上のＰＵへのブロック分割を特定する情報を含む。ＴＵについてのブロックサイズ情報は、ＣＵから１つ以上のＴＵへのブロック分割を特定する情報を含む。

（２）参照画像取得部
参照画像取得部４３は、共通メモリ２によりバッファリングされるベースレイヤの復号画像を、エンハンスメントレイヤの画像の符号化のための参照画像として取得する。例えば、単独のＳＮＲスケーラビリティ方式でエンハンスメントレイヤが符号化される場合、即ちベースレイヤとエンハンスメントレイヤとの間で空間解像度が等しい場合には、参照画像取得部４３は、取得した参照画像をそのまま精細化フィルタ４９へ出力する。一方、参照画像取得部４３は、空間スケーラビリティ方式でエンハンスメントレイヤが符号化される場合、即ちベースレイヤがエンハンスメントレイヤよりも低い空間解像度を有する場合には、ベースレイヤの復号画像を解像度比に従ってアップサンプリングする。そして、参照画像取得部４３は、アップサンプリング後のベースレイヤの復号画像を、参照画像として精細化フィルタ４９へ出力する。

（３）閾値設定部
閾値設定部４５は、精細化フィルタ４９の適用を有効化（ターンオン）し又は無効化（ターンオフ）するためにブロックサイズと比較される判定閾値の設定を保持する。判定閾値は、映像データ、シーケンス又はピクチャなどの任意の単位で設定されてよい。例えば、ブロックサイズとしてＣＵサイズが利用される場合、判定閾値は、ＳＣＵサイズからＬＣＵサイズまでのレンジに含まれる任意の値をとり得る。判定閾値は、予め固定的に定義されてもよい。また、判定閾値は、エンコーダにおいて選択され、符号化ストリームへ符号化されてもよい。また、判定閾値は、後に説明するように、動的に設定されてもよい。判定閾値がデコーダにとって既知でない（例えば、予め仕様として定義されない）場合、閾値設定部４５は、設定した判定閾値を示す閾値情報を生成する。閾値情報は、例えば、２を底とするブロックサイズの対数の形式で表現されてもよい。閾値設定部４５により生成される閾値情報は、精細化関連パラメータとして、可逆符号化部１６へ出力され得る。そして、閾値情報は、可逆符号化部１６により符号化され、例えば符号化ストリームのＶＰＳ（Video Parameter Set）、ＳＰＳ（Sequence Parameter Set）若しくはＰＰＳ（Picture Parameter Set）又はそれらの拡張（extension）へ挿入され得る。

（４）フィルタ制御部
フィルタ制御部４７は、参照画像の複数のブロックの各々への精細化フィルタの適用を、各ブロックのブロックサイズに応じて制御する。より具体的には、本実施形態において、フィルタ制御部４７は、閾値設定部４５により設定される判定閾値よりも小さいブロックサイズを有するブロックへの精細化フィルタ４９の適用を有効化し、当該判定閾値よりも大きいブロックサイズを有するブロックへの精細化フィルタ４９の適用を無効化する。

図９Ａ及び図９Ｂは、ブロックサイズに応じた精細化フィルタのオン／オフについて説明するための説明図である。図９Ａに示した画像ＩＭ２には、ブロックＢ３１、Ｂ３２、Ｂ３３及びＢ３４を含む多数のブロックが設定されている。ブロックＢ３１のサイズは、６４×６４画素である。ブロックＢ３２のサイズは、３２×３２画素である。ブロックＢ３３のサイズは、１６×１６画素である。ブロックＢ３４のサイズは、８×８画素である。ここで、例えば判定閾値が８画素を示し、判定閾値に等しいブロックサイズを有するブロックには精細化フィルタが適用されるものとする。すると、フィルタ制御部４７は、図中に斜線の網掛けで示したように、ブロックＢ３４を含む８×８画素のサイズを有するブロックについて精細化フィルタ４９の適用を有効化する。一方、フィルタ制御部４７は、ブロックＢ３１、Ｂ３２及びＢ３３を含む６４×６４画素、３２×３２画素又は１６×１６画素のサイズを有するブロックについては精細化フィルタ４９の適用を無効化する。ブロックサイズの大きいブロックの画像はフラットに近い傾向があるため、このように精細化フィルタ４９を適応的にターンオフすることにより、画質をあまりロスすることなくフィルタリングの演算量を削減することができる。また、エンコーダ及びデコーダの消費電力を低減することもできる。

図９Ｂには、画像ＩＭ２が再び示されている。ここで、例えば判定閾値が１６画素を示し、判定閾値に等しいブロックサイズを有するブロックには精細化フィルタが適用されるものとする。すると、フィルタ制御部４７は、図中に斜線の網掛けで示したように、ブロックＢ３３及びＢ３４を含む１６×１６画素又は８×８画素のサイズを有するブロックについて精細化フィルタ４９の適用を有効化する。一方、フィルタ制御部４７は、ブロックＢ３１及びＢ３２を含む６４×６４画素又は３２×３２画素のサイズを有するブロックについては精細化フィルタ４９の適用を無効化する。

一例として、フィルタ制御部４７は、ベースレイヤとエンハンスメントレイヤとの間の空間解像度の比に依存して、判定閾値を決定してもよい。例えば、解像度比が大きい場合には、アップサンプリングによって画像のエッジ及びテクスチャは不鮮明になり易い。そのため、解像度比が大きい場合には判定閾値も大きく設定して精細化フィルタが適用される領域を広げることで、不鮮明になるエッジ又はテクスチャを適切に精細化することができる。

（５）精細化フィルタ
精細化フィルタ４９は、フィルタ制御部４７による制御の下、ベースレイヤとは異なる属性（例えば、空間解像度又は量子化誤差）を有するエンハンスメントレイヤの画像を符号化するために使用される参照画像を精細化する。精細化フィルタ４９は、例えば、非特許文献４により提案されているクロスカラーフィルタであってもよい。この場合、精細化フィルタ４９は、参照画像取得部４３から入力される参照画像の色差成分の各々を、各色差成分と近傍の複数の輝度成分とをフィルタタップとして用いてフィルタリングすることにより、精細化する。フィルタ係数は、原画像と精細化画像との間の平均二乗誤差を最小にするように、Wienerフィルタを用いて計算され得る。この場合、精細化フィルタ４９は、計算したフィルタ係数を示すフィルタ構成情報を生成し、生成したフィルタ構成情報を精細化関連パラメータとして可逆符号化部１６へ出力する。また、精細化フィルタ４９は、非特許文献５により提案されているエッジ強調フィルタであってもよい。この場合、精細化フィルタ４９は、参照画像取得部４３から入力される参照画像のエッジマップをPrewittフィルタを用いて抽出し、エッジマップに基づいて画素ごとにワープパラメータを計算し、計算したワープパラメータを各画素に加算する。それにより、参照画像のエッジが強調される。各画素への精細化フィルタ４９の適用は、当該画素に対応するベースレイヤのブロックのブロックサイズに応じて制御される。精細化フィルタ４９は、フィルタの適用が有効化された画素については、精細化後の画素値を出力する。一方、精細化フィルタ４９は、フィルタの適用が無効化された画素については、参照画像取得部４３から入力された画素値をそのまま出力する。これら画素値により形成される精細化参照画像は、フレームメモリ２５へ格納される。

［２−３．処理の流れ］
（１）概略的な流れ
図１０は、符号化時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。

図１０を参照すると、まず、ＢＬ符号化部１ａは、ベースレイヤの符号化処理を実行し、ベースレイヤの符号化ストリームを生成する（ステップＳ１１）。

共通メモリ２は、ベースレイヤの符号化処理において生成されるベースレイヤの画像及びいくつかのパラメータ（例えば、解像度情報及びブロックサイズ情報）をバッファリングする（ステップＳ１２）。

次に、ＥＬ符号化部１ｂは、エンハンスメントレイヤの符号化処理を実行し、エンハンスメントレイヤの符号化ストリームを生成する（ステップＳ１３）。ここで実行されるエンハンスメントレイヤの符号化処理において、共通メモリ２によりバッファリングされているベースレイヤの画像は、精細化部４０により精細化され、インターレイヤ予測において参照画像として使用される。

次に、多重化部３は、ＢＬ符号化部１ａにより生成されるベースレイヤの符号化ストリームと、ＥＬ符号化部１ｂにより生成されるエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する（ステップＳ１４）。

（２）精細化関連処理
図１１は、第１の実施形態における符号化時の参照画像の精細化に関連する処理の流れの一例を示すフローチャートである。

図１１を参照すると、まず、フィルタ制御部４７は、閾値設定部４５により設定された判定閾値を取得する（ステップＳ２１）。その後の処理は、エンハンスメントレイヤの各画素（以下、注目画素という）について順に実行される。

フィルタ制御部４７は、注目画素に対応するベースレイヤのブロックサイズを識別する（ステップＳ２３）。ここで識別されるブロックサイズは、典型的には、エンハンスメントレイヤにおける注目画素の画素位置に対応する位置のベースレイヤのＣＵ、ＰＵ又はＴＵのサイズである。

次に、フィルタ制御部４７は、注目画素の画素位置及びレイヤ間の解像度比に基づいて、アップサンプリングを実行すべきかを判定する（ステップＳ２５）。フィルタ制御部４７によりアップサンプリングを実行すべきであると判定されると、参照画像取得部４３は、共通メモリ２によりバッファリングされているベースレイヤの画素群にアップサンプリングフィルタを適用して、注目画素の参照画素値を取得する（ステップＳ２７）。一方、アップサンプリングを実行すべきでないと判定されると、参照画像取得部４３は、共通メモリ２によりバッファリングされているベースレイヤの同じ位置の画素値を、注目画素の参照画素値としてそのまま取得する（ステップＳ２８）。

次に、フィルタ制御部４７は、識別したブロックサイズが判定閾値以下であるかを判定する（ステップＳ３１）。フィルタ制御部４７は、識別したブロックサイズが判定閾値を上回る場合には、注目画素についての精細化フィルタ４９の適用を無効化する。一方、注目画素に対応するブロックサイズが判定閾値以下である場合には、精細化フィルタ４９は、参照画像取得部４３により取得された画素群をフィルタリングすることにより、参照画像を精細化する（ステップＳ３３）。ここでのフィルタ演算は、クロスカラーフィルタの演算であってもよく、又はエッジ強調フィルタの演算であってもよい。

次に、精細化フィルタ４９は、精細化参照画像を構成する注目画素の参照画素値をフレームメモリ２５へ格納する（ステップＳ３５）。その後、次の注目画素が存在する場合には、処理はステップＳ２３へ戻る（ステップＳ３７）。一方、次の注目画素が存在しない場合には、閾値情報を含み得る精細化関連パラメータが可逆符号化部１６により符号化され（ステップＳ３９）、図１１に示した処理は終了する。

＜３．ＥＬ復号部の構成例（第１の実施形態）＞
［３−１．全体的な構成］
図１２は、第１の実施形態に係るＥＬ復号部６ｂの構成の一例を示すブロック図である。図１２を参照すると、ＥＬ復号部６ｂは、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、ループフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、インター予測部８５並びに精細化部９０を備える。

蓄積バッファ６１は、逆多重化部５から入力されるエンハンスメントレイヤの符号化ストリームを記憶媒体を用いて一時的に蓄積する。

可逆復号部６２は、蓄積バッファ６１から入力されるエンハンスメントレイヤの符号化ストリームから、符号化の際に使用された符号化方式に従ってエンハンスメントレイヤの量子化データを復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に挿入されている情報を復号する。可逆復号部６２により復号される情報は、例えば、イントラ予測に関する情報及びインター予測に関する情報を含み得る。精細化関連パラメータもまた復号され得る。可逆復号部６２は、量子化データを逆量子化部６３へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６２は、インター予測に関する情報をインター予測部８５へ出力する。また、可逆復号部６２は、精細化関連パラメータが復号される場合には、復号した精細化関連パラメータを精細化部９０へ出力する。

逆量子化部６３は、可逆復号部６２から入力される量子化データを、符号化の際に使用されたものと同じ量子化ステップ（又は同じ量子化行列）で逆量子化し、エンハンスメントレイヤの変換係数データを復元する。そして、逆量子化部６３は、復元した変換係数データを逆直交変換部６４へ出力する。

逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。上述したように、逆直交変換は、ＴＵごとに実行される。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。

加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをループフィルタ６６及びフレームメモリ６９へ出力する。

ループフィルタ６６は、ＥＬ符号化部１ｂのループフィルタ２４と同様、ブロック歪みを軽減するデブロックフィルタ、各画素値にオフセット値を加えるサンプル適応オフセットフィルタ、及び原画像との誤差を最小化する適応ループフィルタを含み得る。ループフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。

並び替えバッファ６７は、ループフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。

Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、エンハンスメントレイヤの画像を表示させる。

フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、ループフィルタ６６から入力されるフィルタリング後の復号画像データ、及び精細化部９０から入力されるベースレイヤの参照画像データを記憶媒体を用いて記憶する。

セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先をイントラ予測部８０とインター予測部８５との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フィルタリング後の復号画像データを参照画像データとしてインター予測部８５へ出力する。さらに、イントラ予測部８０又はインター予測部８５においてインターレイヤ予測が実行される場合、セレクタ７０は、ベースレイヤの参照画像データ（精細化参照画像）をイントラ予測部８０又はインター予測部８５へ供給する。

セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０とインター予測部８５との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、インター予測モードが指定された場合には、インター予測部８５から出力される予測画像データを加算部６５へ供給する。

イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてエンハンスメントレイヤのイントラ予測処理を行い、予測画像データを生成する。イントラ予測処理は、ＰＵごとに実行される。イントラ予測部８０は、イントラ予測モードとしてインターレイヤ予測に相当するモードが指定された場合には、ベースレイヤの参照画像データを参照する。イントラ予測部８０は、生成したエンハンスメントレイヤの予測画像データをセレクタ７１へ出力する。

インター予測部８５は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてエンハンスメントレイヤのインター予測処理（動き補償処理）を行い、予測画像データを生成する。インター予測処理は、ＰＵごとに実行される。インター予測部８５は、インター予測モードとしてインターレイヤ予測に相当するモードが指定された場合には、ベースレイヤの参照画像データを参照する。インター予測部８５は、生成したエンハンスメントレイヤの予測画像データをセレクタ７１へ出力する。

精細化部９０は、共通メモリ７によりバッファリングされるベースレイヤの画像を参照画像として取得し、取得した参照画像に精細化フィルタを適用して、精細化参照画像を生成する。精細化部９０は、参照画像への精細化フィルタの適用を、ベースレイヤの画像に設定されたブロックのブロックサイズに応じて制御する。より具体的には、本実施形態において、精細化部９０は、閾値よりも大きいブロックサイズを有するブロックへの精細化フィルタの適用を無効化する。精細化部９０は、ベースレイヤとエンハンスメントレイヤとの間で空間解像度が異なる場合には、参照画像のアップサンプリングも実行する。精細化部９０により生成される精細化参照画像は、フレームメモリ６９に格納され、イントラ予測部８０又はインター予測部８５により、インターレイヤ予測において参照画像として使用され得る。精細化部９０は、符号化ストリームから復号される精細化関連パラメータに従って、精細化処理を制御してもよい。

［３−２．精細化部の構成］
図１３は、図１２に示した精細化部９０の詳細な構成の一例を示すブロック図である。図１３を参照すると、精細化部９０は、ブロックサイズバッファ９１、参照画像取得部９３、閾値取得部９５、フィルタ制御部９７及び精細化フィルタ９９を有する。

（１）ブロックサイズバッファ
ブロックサイズバッファ９１は、ベースレイヤ画像に設定されたブロックのブロックサイズを特定するブロックサイズ情報を記憶するバッファである。ここでのブロックとは、ベースレイヤの復号処理の処理単位として設定されるＣＵ、予測処理の処理単位として設定されるＰＵ、又は直交変換処理の処理単位として設定されるＴＵであってよい。ＣＵについてのブロックサイズ情報は、例えば、ＬＣＵサイズ情報と分割情報とを含む。ＰＵについてのブロックサイズ情報は、ＣＵから１つ以上のＰＵへのブロック分割を特定する情報を含む。ＴＵについてのブロックサイズ情報は、ＣＵから１つ以上のＴＵへのブロック分割を特定する情報を含む。

（２）参照画像取得部
参照画像取得部９３は、共通メモリ７によりバッファリングされるベースレイヤの復号画像を、エンハンスメントレイヤの画像の復号のための参照画像として取得する。例えば、単独のＳＮＲスケーラビリティ方式でエンハンスメントレイヤが復号される場合、即ちベースレイヤとエンハンスメントレイヤとの間で空間解像度が等しい場合には、参照画像取得部９３は、取得した参照画像をそのまま精細化フィルタ９９へ出力する。一方、参照画像取得部９３は、空間スケーラビリティ方式でエンハンスメントレイヤが復号される場合、即ちベースレイヤがエンハンスメントレイヤよりも低い空間解像度を有する場合には、ベースレイヤの復号画像を解像度比に従ってアップサンプリングする。そして、参照画像取得部９３は、アップサンプリング後のベースレイヤの復号画像を、参照画像として精細化フィルタ９９へ出力する。

（３）閾値取得部
閾値取得部９５は、精細化フィルタ９９の適用を有効化し又は無効化するためにブロックサイズと比較される判定閾値を取得する。判定閾値は、映像データ、シーケンス又はピクチャなどの任意の単位で取得されてよい。例えば、判定閾値は、予め固定的に定義されてもよい。その代わりに、判定閾値がエンコーダにおいて選択された場合には、符号化ストリームのＶＰＳ、ＳＰＳ又はＰＰＳから、精細化関連パラメータが可逆復号部６２により復号され得る。当該精細化関連パラメータは、デコーダが使用すべき判定閾値を示す閾値情報を含む。閾値取得部９５は、かかる閾値情報を取得し得る。判定閾値は、上述したように、レイヤ間の解像度比に依存して動的に設定されてもよい。

（４）フィルタ制御部
フィルタ制御部９７は、参照画像の複数のブロックの各々への精細化フィルタの適用を、各ブロックのブロックサイズに応じて制御する。より具体的には、本実施形態において、フィルタ制御部９７は、閾値取得部９５により取得される判定閾値よりも小さいブロックサイズを有するブロックへの精細化フィルタ９９の適用を有効化し、当該判定閾値よりも大きいブロックサイズを有するブロックへの精細化フィルタ９９の適用を無効化する。一例として、フィルタ制御部９７は、ベースレイヤとエンハンスメントレイヤとの間の空間解像度の比に依存して、判定閾値を決定してもよい。

（５）精細化フィルタ
精細化フィルタ９９は、フィルタ制御部９７による制御の下、ベースレイヤとは異なる属性を有するエンハンスメントレイヤの画像を復号するために使用される参照画像を精細化する。精細化フィルタ９９は、例えば、非特許文献４により提案されているクロスカラーフィルタであってもよい。この場合、精細化フィルタ９９は、参照画像取得部９３から入力される参照画像の色差成分の各々を、各色差成分と近傍の複数の輝度成分とをフィルタタップとして用いてフィルタリングすることにより、精細化する。フィルタ係数は、エンコーダ側でWienerフィルタを用いて計算され、精細化関連パラメータに含まれるフィルタ構成情報によって特定され得る。また、精細化フィルタ９９は、非特許文献５により提案されているエッジ強調フィルタであってもよい。この場合、精細化フィルタ９９は、参照画像取得部９３から入力される参照画像のエッジマップをPrewittフィルタを用いて抽出し、エッジマップに基づいて画素ごとにワープパラメータを計算し、計算したワープパラメータを各画素に加算する。それにより、参照画像のエッジが強調される。各画素への精細化フィルタ９９の適用は、当該画素に対応するベースレイヤのブロックのブロックサイズに応じて制御される。精細化フィルタ９９は、フィルタの適用が有効化された画素については、精細化後の画素値を出力する。一方、精細化フィルタ９９は、フィルタの適用が無効化された画素については、参照画像取得部９３から入力された画素値をそのまま出力する。これら画素値により形成される精細化参照画像は、フレームメモリ６９へ格納される。

［３−３．処理の流れ］
（１）概略的な流れ
図１４は、復号時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。

図１４を参照すると、まず、逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームに逆多重化する（ステップＳ６０）。

次に、ＢＬ復号部６ａは、ベースレイヤの復号処理を実行し、ベースレイヤの符号化ストリームからベースレイヤ画像を再構築する（ステップＳ６１）。

共通メモリ７は、ベースレイヤの復号処理において生成されるベースレイヤの画像及びいくつかのパラメータ（例えば、解像度情報及びブロックサイズ情報）をバッファリングする（ステップＳ６２）。

次に、ＥＬ復号部６ｂは、エンハンスメントレイヤの復号処理を実行し、エンハンスメントレイヤ画像を再構築する（ステップＳ６３）。ここで実行されるエンハンスメントレイヤの復号処理において、共通メモリ７によりバッファリングされているベースレイヤの画像は、精細化部９０により精細化され、インターレイヤ予測において参照画像として使用される。

（２）精細化関連処理
図１５は、第１の実施形態における復号時の参照画像の精細化に関連する処理の流れの一例を示すフローチャートである。

図１５を参照すると、まず、閾値取得部９５は、精細化の制御のために使用される判定閾値を取得する（ステップＳ７１）。判定閾値は、予め定義されるパラメータを記憶するメモリから取得されてもよく、又は可逆復号部６２により復号される精細化関連パラメータから取得されてもよい。その後の処理は、エンハンスメントレイヤの各注目画素について順に実行される。

フィルタ制御部９７は、注目画素に対応するベースレイヤのブロックサイズを識別する（ステップＳ７３）。ここで識別されるブロックサイズは、典型的には、エンハンスメントレイヤにおける注目画素の画素位置に対応する位置のベースレイヤのＣＵ、ＰＵ又はＴＵのサイズである。

次に、フィルタ制御部９７は、注目画素の画素位置及びレイヤ間の解像度比に基づいて、アップサンプリングを実行すべきかを判定する（ステップＳ７５）。フィルタ制御部９７によりアップサンプリングを実行すべきであると判定されると、参照画像取得部９３は、共通メモリ７によりバッファリングされているベースレイヤの画素群にアップサンプリングフィルタを適用して、注目画素の参照画素値を取得する（ステップＳ７７）。一方、アップサンプリングを実行すべきでないと判定されると、参照画像取得部９３は、共通メモリ７によりバッファリングされているベースレイヤの同じ位置の画素値を、注目画素の参照画素値としてそのまま取得する（ステップＳ７８）。

次に、フィルタ制御部９７は、識別したブロックサイズが判定閾値以下であるかを判定する（ステップＳ８１）。フィルタ制御部９７は、識別したブロックサイズが判定閾値を上回る場合には、注目画素についての精細化フィルタ９９の適用を無効化する。一方、注目画素に対応するブロックサイズが判定閾値以下である場合には、精細化フィルタ９９は、参照画像取得部９３により取得された画素群をフィルタリングすることにより、参照画像を精細化する（ステップＳ８３）。ここでのフィルタ演算は、クロスカラーフィルタの演算であってもよく、又はエッジ強調フィルタの演算であってもよい。

次に、精細化フィルタ９９は、精細化参照画像を構成する注目画素の参照画素値をフレームメモリ６９へ格納する（ステップＳ８５）。その後、次の注目画素が存在する場合には、処理はステップＳ７３へ戻る（ステップＳ８７）。一方、次の注目画素が存在しない場合には、図１５に示した処理は終了する。

＜４．ＥＬ符号化部の構成例（第２の実施形態）＞
［４−１．全体的な構成］
図１６は、第２の実施形態に係るＥＬ符号化部１ｂの構成の一例を示すブロック図である。図１６を参照すると、ＥＬ符号化部１ｂは、並び替えバッファ１１、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、ループフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０、インター予測部３５並びに精細化部１４０を備える。

精細化部１４０は、共通メモリ２によりバッファリングされるベースレイヤの画像を参照画像として取得し、取得した参照画像に精細化フィルタを適用して、精細化参照画像を生成する。精細化部１４０は、参照画像への精細化フィルタの適用を、ベースレイヤの画像に設定されたブロックのブロックサイズに応じて制御する。より具体的には、本実施形態において、精細化部１４０は、各ブロックに適用される精細化フィルタのフィルタ構成を、当該ブロックのブロックサイズに依存して決定する。精細化部１４０は、ベースレイヤとエンハンスメントレイヤとの間で空間解像度が異なる場合には、参照画像のアップサンプリングも実行する。精細化部１４０により生成される精細化参照画像は、フレームメモリ２５に格納され、イントラ予測部３０又はインター予測部３５により、インターレイヤ予測において参照され得る。また、精細化部１４０により生成される精細化関連パラメータは、可逆符号化部１６により符号化される。

［４−２．精細化部の構成］
図１７は、図１６に示した精細化部１４０の詳細な構成の一例を示すブロック図である。図１７を参照すると、精細化部１４０は、ブロックサイズバッファ４１、参照画像取得部４３、輝度成分バッファ１４６、フィルタ制御部１４７、係数計算部１４８及び精細化フィルタ１４９を有する。

（１）輝度成分バッファ
輝度成分バッファ１４６は、参照画像取得部４３により取得される（必要に応じてアップサンプリングされる）輝度成分の参照画像を一時的に記憶するバッファである。輝度成分バッファ１４６により記憶される輝度成分の参照画像は、係数計算部１４８によるクロスカラーフィルタのフィルタ係数の計算、及び精細化フィルタ１４９によるフィルタ演算の際に使用され得る。

（２）フィルタ制御部
フィルタ制御部１４７は、参照画像の複数のブロックの各々への精細化フィルタの適用を、各ブロックのブロックサイズに応じて制御する。より具体的には、本実施形態において、フィルタ制御部１４７は、各ブロックに適用される精細化フィルタ１４９のフィルタ構成を、当該ブロックのブロックサイズに依存して決定する。フィルタ制御部１４７は、例えば、ピクチャ又はスライス内で同じブロックサイズを有するブロックについて、クロスカラーフィルタの最適なフィルタ係数を係数計算部１４８に計算させる。それにより、ブロックサイズの候補ごとに、最適なフィルタ係数のセットが１セットずつ計算される（例えば、ブロックサイズが８×８画素、１６×１６画素又は３２×３２画素であれば、最適なフィルタ係数の３つのセットがそれぞれ導かれる）。そして、フィルタ制御部１４７は、各ブロックに精細化フィルタ１４９を適用する際に、当該ブロックのブロックサイズに対応する計算されたフィルタ係数のセットを、精細化フィルタ１４９に使用させる。

（３）係数計算部
係数計算部１４８は、参照画像の色差成分に適用されるクロスカラーフィルタの最適なフィルタ係数のセットを、ブロックサイズの候補ごとに、当該ブロックサイズを有する１つ以上のブロックの輝度成分及び色差成分を用いて計算する。クロスカラーフィルタのフィルタタップは、各色差成分と近傍の複数の輝度成分とを含む。最適なフィルタ係数のセットの計算は、色差成分の原画像と精細化画像との間の平均二乗誤差を最小にするように、Wienerフィルタを用いて行われ得る。ここでの１つ以上のブロックとは、ピクチャ若しくはスライス内で同じブロックサイズを有する全てのブロックであってもよく、又はそれらブロックの一部であってもよい。

図１８は、ブロックサイズに依存するフィルタ構成の一例について説明するための説明図である。図１８に示した画像ＩＭ３には、ブロックＢ４１、Ｂ４２ａ、Ｂ４２ｂ、Ｂ４３及びＢ４４を含む多数のブロックが設定されている。ブロックＢ４１のサイズは、６４×６４画素である。ブロックＢ４２ａ及びＢ４２ｂのサイズは、３２×３２画素である。ブロックＢ４３のサイズは、１６×１６画素である。ブロックＢ４４のサイズは、８×８画素である。係数計算部１４８は、例えば、まず、ブロックＢ４１の色差成分の原画像と精細化画像との間の平均二乗誤差を最小にする係数セットＦＣ_６４を計算する。次に、係数計算部１４８は、ブロックＢ４２ａ及びＢ４２ｂの色差成分の原画像と精細化画像との間の平均二乗誤差を最小にする係数セットＦＣ_３２を計算する。次に、係数計算部１４８は、ブロックＢ４３を含む複数の１６×１６画素のブロックの色差成分の原画像と精細化画像との間の平均二乗誤差を最小にする係数セットＦＣ_１６を計算する。次に、係数計算部１４８は、ブロックＢ４４を含む複数の８×８画素のブロックの色差成分の原画像と精細化画像との間の平均二乗誤差を最小にする係数セットＦＣ_８を計算する。このように同じブロックサイズについて共通的に使用可能なフィルタ係数のセットを計算することで、フィルタ係数をデコーダへ伝送するためのフィルタ構成情報の符号量を少なくすることができる。また、ブロックサイズと高域成分の強さとの相関から、より高域成分の強い（より小さい）ブロックについてはフィルタ強度がより強く、より高域成分の弱い（より大きい）ブロックについてはフィルタ強度がより弱くなるように、フィルタ係数のセットがそれぞれ導かれ得る。そのため、画一的なフィルタ係数が使用される場合と比較して、画質が効果的に改善される。

係数計算部１４８は、ブロックサイズごとに計算したフィルタ係数のセットを、精細化フィルタ１４９へ出力する。また、係数計算部１４８は、それらフィルタ係数のセットを示すフィルタ構成情報を生成する。フィルタ構成情報は、とり得るブロックサイズの範囲内で、デコーダにおいて精細化フィルタが使用すべきフィルタ構成をブロックサイズごとに示す。例えば、ブロックサイズとしてＣＵサイズが利用され、ＳＣＵサイズが８×８画素、ＬＣＵサイズが３２×３２画素である場合、係数計算部１４８は、６４×６４画素のブロックサイズに対応するフィルタ係数のセットの計算とフィルタ構成情報の生成とを省略してよい。そして、係数計算部１４８は、生成したフィルタ構成情報を、精細化関連パラメータとして、可逆符号化部１６へ出力する。フィルタ構成情報は、可逆符号化部１６により符号化され、例えば符号化ストリームのＶＰＳ、ＳＰＳ若しくはＰＰＳ又はそれらの拡張へ挿入され得る。

係数計算部１４８は、フィルタ構成情報を、ピクチャ間で予測符号化してもよい。また、係数計算部１４８は、フィルタ構成情報を、異なるブロックサイズの間で予測符号化してもよい。また、係数計算部１４８は、フィルタ構成情報を、異なる色成分の間で（例えば、Ｃｂ成分からＣｒ成分へ、又はその逆）で予測符号化してもよい。それにより、フィルタ構成情報の符号量を一層削減することができる。

図１９は、フィルタ構成情報の予測符号化の一例について説明するための説明図である。図１９の左には、ｎ番目のピクチャＰ_ｎを符号化する際に４つのブロックサイズについて計算されたフィルタ係数のセットＦＣ_６４＿ｎ、ＦＣ_３２＿ｎ、ＦＣ_１６＿ｎ及びＦＣ_８＿ｎが示されている。係数計算部１４８は、ｎ＋１番目のピクチャＰ_ｎ＋１を符号化する際にフィルタ係数のセットＦＣ_{６４＿ｎ＋１}を計算した後、さらにフィルタ係数の差分のセットＤ_{６４＿ｎ＋１}（＝ＦＣ_{６４＿ｎ＋１}−ＦＣ_６４＿ｎ）を計算する。同様に、係数計算部１４８は、フィルタ係数のセットＦＣ_{３２＿ｎ＋１}、ＦＣ_{１６＿ｎ＋１}及びＦＣ_{８＿ｎ＋１}にそれぞれ対応するフィルタ係数の差分のセットＤ_{３２＿ｎ＋１}、Ｄ_{１６＿ｎ＋１}及びＤ_{８＿ｎ＋１}も計算する。通常、最適なフィルタ係数はピクチャ間で大きく変化しないため、フィルタ係数の差分のセットの値のレンジは、フィルタ係数のセットの値のレンジよりも小さい。そのため、このようなフィルタ係数の差分のセットを符号化することにより、フィルタ構成情報の符号量が削減され得る。

（４）精細化フィルタ
精細化フィルタ１４９は、フィルタ制御部１４７による制御の下、ベースレイヤとは異なる属性（例えば、空間解像度又は量子化誤差）を有するエンハンスメントレイヤの画像を符号化するために使用される参照画像を精細化する。本実施形態において、精細化フィルタ１４９は、例えば、非特許文献４により提案されているクロスカラーフィルタである。精細化フィルタ１４９は、参照画像取得部４３から入力される参照画像の色差成分の各々を、各色差成分と近傍の複数の輝度成分とをフィルタタップとして用いてフィルタリングすることにより、精細化する。精細化フィルタ１４９は、係数計算部１４８から入力されるフィルタ係数の複数のセットのうち、フィルタ制御部１４７により識別されるブロックサイズに対応するセットを使用する。そして、精細化フィルタ１４９は、精細化された参照画像をフレームメモリ２５へ格納する。

［４−３．処理の流れ］
本実施形態における符号化時の概略的な処理の流れは、図１０を用いて説明した流れと同様であってよい。図２０は、本実施形態における符号化時の参照画像の精細化に関連する処理の流れの一例を示すフローチャートである。

図２０を参照すると、まず、係数計算部１４８は、ブロックサイズごとに最適なフィルタ係数を計算する（ステップＳ２２）。その後の処理は、エンハンスメントレイヤの色差成分の各注目画素について順に実行される。

フィルタ制御部１４７は、注目画素に対応するベースレイヤのブロックサイズを識別する（ステップＳ２３）。ここで識別されるブロックサイズは、典型的には、エンハンスメントレイヤにおける注目画素の画素位置に対応する位置のベースレイヤのＣＵ、ＰＵ又はＴＵのサイズである。

次に、フィルタ制御部１４７は、注目画素の画素位置及びレイヤ間の解像度比に基づいて、アップサンプリングを実行すべきかを判定する（ステップＳ２５）。フィルタ制御部１４７によりアップサンプリングを実行すべきであると判定されると、参照画像取得部１４３は、共通メモリ２によりバッファリングされているベースレイヤの画素群にアップサンプリングフィルタを適用して、注目画素の参照画素値を取得する（ステップＳ２７）。一方、アップサンプリングを実行すべきでないと判定されると、参照画像取得部１４３は、共通メモリ２によりバッファリングされているベースレイヤの同じ位置の画素値を、注目画素の参照画素値としてそのまま取得する（ステップＳ２８）。

次に、精細化フィルタ１４９は、参照画像取得部４３から入力される色差成分と、輝度成分バッファ１４６から取得される近傍の複数の輝度成分とをフィルタタップとして用いてフィルタリングすることにより、注目画素の色差成分を精細化する（ステップＳ３２）。ここで使用されるフィルタ係数のセットは、フィルタ制御部１４７により識別されたブロックサイズに対応するセットである。

次に、精細化フィルタ１４９は、注目画素の精細化された参照画素値をフレームメモリ２５へ格納する（ステップＳ３５）。その後、次の注目画素が存在する場合には、処理はステップＳ２３へ戻る（ステップＳ３７）。一方、次の注目画素が存在しない場合には、ブロックサイズごとのフィルタ構成を示すフィルタ構成情報を含み得る精細化関連パラメータが可逆符号化部１６により符号化され（ステップＳ４０）、図２０に示した処理は終了する。

＜５．ＥＬ復号部の構成例（第２の実施形態）＞
［５−１．全体的な構成］
図２１は、第２の実施形態に係るＥＬ復号部６ｂの構成の一例を示すブロック図である。図２１を参照すると、ＥＬ復号部６ｂは、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、ループフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、インター予測部８５並びに精細化部１９０を備える。

精細化部１９０は、共通メモリ７によりバッファリングされるベースレイヤの画像を参照画像として取得し、取得した参照画像に精細化フィルタを適用して、精細化参照画像を生成する。精細化部１９０は、参照画像への精細化フィルタの適用を、ベースレイヤの画像に設定されたブロックのブロックサイズに応じて制御する。より具体的には、本実施形態において、精細化部１９０は、各ブロックに適用される精細化フィルタのフィルタ構成を、当該ブロックのブロックサイズに依存して決定する。精細化部１９０は、ベースレイヤとエンハンスメントレイヤとの間で空間解像度が異なる場合には、参照画像のアップサンプリングも実行する。精細化部１９０により生成される精細化参照画像は、フレームメモリ６９に格納され、イントラ予測部８０又はインター予測部８５により、インターレイヤ予測において参照画像として使用され得る。精細化部１９０は、符号化ストリームから復号される精細化関連パラメータに従って、精細化処理を制御する。

［５−２．精細化部の構成］
図２２は、図２１に示した精細化部１９０の詳細な構成の一例を示すブロック図である。図２２を参照すると、精細化部１９０は、ブロックサイズバッファ９１、参照画像取得部９３、輝度成分バッファ１９６、フィルタ制御部１９７、係数取得部１９８及び精細化フィルタ１９９を有する。

（１）輝度成分バッファ
輝度成分バッファ１９６は、参照画像取得部９３により取得される（必要に応じてアップサンプリングされる）輝度成分の参照画像を一時的に記憶するバッファである。輝度成分バッファ１９６により記憶される輝度成分の参照画像は、精細化フィルタ１９９によるフィルタ演算の際に使用され得る。

（２）フィルタ制御部
フィルタ制御部１９７は、参照画像の複数のブロックの各々への精細化フィルタの適用を、各ブロックのブロックサイズに応じて制御する。より具体的には、本実施形態において、フィルタ制御部１９７は、各ブロックに適用される精細化フィルタ１９９のフィルタ構成を、当該ブロックのブロックサイズに依存して決定する。フィルタ制御部１９７は、例えば、可逆復号部６２により復号される精細化関連パラメータに含まれるフィルタ構成情報により示されるブロックサイズごとのフィルタ係数のセットを、係数取得部１９８に取得させる。そして、フィルタ制御部１９７は、各ブロックに精細化フィルタ１９９を適用する際に、当該ブロックのブロックサイズに対応する取得されたフィルタ係数のセットを、精細化フィルタ１９９に使用させる。

（３）係数取得部
係数取得部１９８は、参照画像の色差成分に適用されるクロスカラーフィルタの最適なフィルタ係数のセットを、ブロックサイズの候補ごとに取得する。典型的には、フィルタ係数のセットは、図１８を用いて説明したようにエンコーダ側で計算され、可逆復号部６２により復号されるフィルタ構成情報により示される。フィルタ構成情報は、とり得るブロックサイズの範囲内で、精細化フィルタ１９９が使用すべきフィルタ構成をブロックサイズごとに示す。フィルタ構成情報は、例えば、符号化ストリームのＶＰＳ、ＳＰＳ若しくはＰＰＳ又はそれらの拡張から復号されてよい。係数取得部１９８は、取得したブロックサイズごとのフィルタ係数のセットを、精細化フィルタ１９９へ出力する。

係数取得部１９８は、フィルタ構成情報が予測符号化されている場合には、例えばフィルタ係数の予測値と復号される差分値とを加算することにより、フィルタ係数を取得する。ピクチャ間で予測符号化が行われる場合には、フィルタ係数の予測値は、前のピクチャのために復号したフィルタ係数の値であってよい。異なるブロックサイズの間で予測符号化が行われる場合には、あるブロックサイズについてのフィルタ係数の予測値は、他のブロックサイズのためのフィルタ係数の値であってよい。異なる色成分の間で予測符号化が行われる場合には、例えばＣｒ成分についてのフィルタ係数の予測値は、Ｃｂ成分のためのフィルタ係数の値であってよい（その逆であってもよい）。

（４）精細化フィルタ
精細化フィルタ１９９は、フィルタ制御部１９７による制御の下、ベースレイヤとは異なる属性を有するエンハンスメントレイヤの画像を復号するために使用される参照画像を精細化する。本実施形態において、精細化フィルタ１９９は、例えば、非特許文献４により提案されているクロスカラーフィルタである。精細化フィルタ１９９は、参照画像取得部９３から入力される参照画像の色差成分の各々を、各色差成分と近傍の複数の輝度成分とをフィルタタップとして用いてフィルタリングすることにより、精細化する。精細化フィルタ１９９は、係数取得部１９８から入力されるフィルタ係数の複数のセットのうち、フィルタ制御部１９７により識別されるブロックサイズに対応するセットを使用する。そして、精細化フィルタ１９９は、精細化された参照画像をフレームメモリ６９へ格納する。

［５−３．処理の流れ］
本実施形態における復号時の概略的な処理の流れは、図１４を用いて説明した流れと同様であってよい。図２３は、本実施形態における復号時の参照画像の精細化に関連する処理の流れの一例を示すフローチャートである。

図２３を参照すると、まず、係数取得部１９８は、可逆復号部６２により復号されたフィルタ構成情報から、ブロックサイズごとのフィルタ係数のセットを取得する（ステップＳ７２）。その後の処理は、エンハンスメントレイヤの色差成分の各注目画素について順に実行される。

フィルタ制御部１９７は、注目画素に対応するベースレイヤのブロックサイズを識別する（ステップＳ７３）。ここで識別されるブロックサイズは、典型的には、エンハンスメントレイヤにおける注目画素の画素位置に対応する位置のベースレイヤのＣＵ、ＰＵ又はＴＵのサイズである。

次に、フィルタ制御部１９７は、注目画素の画素位置及びレイヤ間の解像度比に基づいて、アップサンプリングを実行すべきかを判定する（ステップＳ７５）。フィルタ制御部１９７によりアップサンプリングを実行すべきであると判定されると、参照画像取得部１９３は、共通メモリ７によりバッファリングされているベースレイヤの画素群にアップサンプリングフィルタを適用して、注目画素の参照画素値を取得する（ステップＳ７７）。一方、アップサンプリングを実行すべきでないと判定されると、参照画像取得部１９３は、共通メモリ７によりバッファリングされているベースレイヤの同じ位置の画素値を、注目画素の参照画素値としてそのまま取得する（ステップＳ７８）。

次に、精細化フィルタ１９９は、参照画像取得部９３から入力される色差成分と、輝度成分バッファ１９６から取得される近傍の複数の輝度成分とをフィルタタップとして用いてフィルタリングすることにより、注目画素の色差成分を精細化する（ステップＳ８２）。ここで使用されるフィルタ係数のセットは、フィルタ制御部１９７により識別されたブロックサイズに対応するセットである。

次に、精細化フィルタ１９９は、注目画素の精細化された参照画素値をフレームメモリ６９へ格納する（ステップＳ８５）。その後、次の注目画素が存在する場合には、処理はステップＳ７３へ戻る（ステップＳ８７）。一方、次の注目画素が存在しない場合には、図２３に示した処理は終了する。

＜６．応用例＞
［６−１．様々な製品への応用］
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

（１）第１の応用例
図２４は、テレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、画像復号装置６０の機能を有する。それにより、テレビジョン装置９００がレイヤ間で参照される画像を精細化する際に、演算量又は符号量を抑制しつつ効率的に参照画像の画質を改善することができる。

（２）第２の応用例
図２５は、携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０がレイヤ間で参照される画像を精細化する際に、演算量又は符号量を抑制しつつ効率的に参照画像の画質を改善することができる。

（３）第３の応用例
図２６は、記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。

制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、画像符号化装置１０の機能を有する。また、デコーダ９４７は、画像復号装置６０の機能を有する。それにより、記録再生装置９４０がレイヤ間で参照される画像を精細化する際に、演算量又は符号量を抑制しつつ効率的に参照画像の画質を改善することができる。

（４）第４の応用例
図２７は、撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０がレイヤ間で参照される画像を精細化する際に、演算量又は符号量を抑制しつつ効率的に参照画像の画質を改善することができる。

［６−２．スケーラブル符号化の様々な用途］
上述したスケーラブル符号化の利点は、様々な用途において享受され得る。以下、３つの用途の例について説明する。

（１）第１の例
第１の例において、スケーラブル符号化は、データの選択的な伝送のために利用される。図２８を参照すると、データ伝送システム１０００は、ストリーム記憶装置１００１及び配信サーバ１００２を含む。配信サーバ１００２は、ネットワーク１００３を介して、いくつかの端末装置と接続される。ネットワーク１００３は、有線ネットワークであっても無線ネットワークであってもよく、又はそれらの組合せであってもよい。図２８には、端末装置の例として、ＰＣ（Personal Computer）１００４、ＡＶ機器１００５、タブレット装置１００６及び携帯電話機１００７が示されている。

ストリーム記憶装置１００１は、例えば、画像符号化装置１０により生成される多重化ストリームを含むストリームデータ１０１１を記憶する。多重化ストリームは、ベースレイヤ（ＢＬ）の符号化ストリーム及びエンハンスメントレイヤ（ＥＬ）の符号化ストリームを含む。配信サーバ１００２は、ストリーム記憶装置１００１に記憶されているストリームデータ１０１１を読み出し、読み出したストリームデータ１０１１の少なくとも一部分を、ネットワーク１００３を介して、ＰＣ１００４、ＡＶ機器１００５、タブレット装置１００６、及び携帯電話機１００７へ配信する。

端末装置へのストリームの配信の際、配信サーバ１００２は、端末装置の能力又は通信環境などの何らかの条件に基づいて、配信すべきストリームを選択する。例えば、配信サーバ１００２は、端末装置が扱うことのできる画質を上回るほど高い画質を有する符号化ストリームを配信しないことにより、端末装置における遅延、オーバフロー又はプロセッサの過負荷の発生を回避してもよい。また、配信サーバ１００２は、高い画質を有する符号化ストリームを配信しないことにより、ネットワーク１００３の通信帯域が占有されることを回避してもよい。一方、配信サーバ１００２は、これら回避すべきリスクが存在しない場合、又はユーザとの契約若しくは何らかの条件に基づいて適切だと判断される場合に、多重化ストリームの全てを端末装置へ配信してもよい。

図２８の例では、配信サーバ１００２は、ストリーム記憶装置１００１からストリームデータ１０１１を読み出す。そして、配信サーバ１００２は、高い処理能力を有するＰＣ１００４へ、ストリームデータ１０１１をそのまま配信する。また、ＡＶ機器１００５は低い処理能力を有するため、配信サーバ１００２は、ストリームデータ１０１１から抽出されるベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を生成し、ストリームデータ１０１２をＡＶ機器１００５へ配信する。また、配信サーバ１００２は、高い通信レートで通信可能であるタブレット装置１００６へストリームデータ１０１１をそのまま配信する。また、携帯電話機１００７は低い通信レートでしか通信できないため、配信サーバ１００２は、ベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を携帯電話機１００７へ配信する。

このように多重化ストリームを用いることにより、伝送されるトラフィックの量を適応的に調整することができる。また、個々のレイヤがそれぞれ単独に符号化されるケースと比較して、ストリームデータ１０１１の符号量は削減されるため、ストリームデータ１０１１の全体が配信されるとしても、ネットワーク１００３に掛かる負荷は抑制される。さらに、ストリーム記憶装置１００１のメモリリソースも節約される。

端末装置のハードウエア性能は、装置ごとに異なる。また、端末装置において実行されるアプリケーションのケイパビリティも様々である。さらに、ネットワーク１００３の通信容量もまた様々である。データ伝送のために利用可能な容量は、他のトラフィックの存在に起因して、時々刻々と変化し得る。そこで、配信サーバ１００２は、ストリームデータの配信を開始する前に、配信先の端末装置との間のシグナリングを通じて、端末装置のハードウエア性能及びアプリケーションケイパビリティなどに関する端末情報と、ネットワーク１００３の通信容量などに関するネットワーク情報とを取得してもよい。そして、配信サーバ１００２は、取得した情報に基づいて、配信すべきストリームを選択し得る。

なお、復号すべきレイヤの抽出は、端末装置において行われてもよい。例えば、ＰＣ１００４は、受信した多重化ストリームから抽出され復号されるベースレイヤ画像をその画面に表示してもよい。また、ＰＣ１００４は、受信した多重化ストリームからベースレイヤの符号化ストリームを抽出してストリームデータ１０１２を生成し、生成したストリームデータ１０１２を記憶媒体に記憶させ、又は他の装置へ転送してもよい。

図２８に示したデータ伝送システム１０００の構成は一例に過ぎない。データ伝送システム１０００は、いかなる数のストリーム記憶装置１００１、配信サーバ１００２、ネットワーク１００３、及び端末装置を含んでもよい。

（２）第２の例
第２の例において、スケーラブル符号化は、複数の通信チャネルを介するデータの伝送のために利用される。図２９を参照すると、データ伝送システム１１００は、放送局１１０１及び端末装置１１０２を含む。放送局１１０１は、地上波チャネル１１１１上で、ベースレイヤの符号化ストリーム１１２１を放送する。また、放送局１１０１は、ネットワーク１１１２を介して、エンハンスメントレイヤの符号化ストリーム１１２２を端末装置１１０２へ送信する。

端末装置１１０２は、放送局１１０１により放送される地上波放送を受信するための受信機能を有し、地上波チャネル１１１１を介してベースレイヤの符号化ストリーム１１２１を受信する。また、端末装置１１０２は、放送局１１０１と通信するための通信機能を有し、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信する。

端末装置１１０２は、例えば、ユーザからの指示に応じて、ベースレイヤの符号化ストリーム１１２１を受信し、受信した符号化ストリーム１１２１からベースレイヤ画像を復号してベースレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したベースレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。

また、端末装置１１０２は、例えば、ユーザからの指示に応じて、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信し、ベースレイヤの符号化ストリーム１１２１とエンハンスメントレイヤの符号化ストリーム１１２２とを多重化することにより多重化ストリームを生成してもよい。また、端末装置１１０２は、エンハンスメントレイヤの符号化ストリーム１１２２からエンハンスメントレイヤ画像を復号してエンハンスメントレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したエンハンスメントレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。

上述したように、多重化ストリームに含まれる各レイヤの符号化ストリームは、レイヤごとに異なる通信チャネルを介して伝送され得る。それにより、個々のチャネルに掛かる負荷を分散させて、通信の遅延若しくはオーバフローの発生を抑制することができる。

また、何らかの条件に応じて、伝送のために使用される通信チャネルが動的に選択されてもよい。例えば、データ量が比較的多いベースレイヤの符号化ストリーム１１２１は帯域幅の広い通信チャネルを介して伝送され、データ量が比較的少ないエンハンスメントレイヤの符号化ストリーム１１２２は帯域幅の狭い通信チャネルを介して伝送され得る。また、特定のレイヤの符号化ストリーム１１２２が伝送される通信チャネルが、通信チャネルの帯域幅に応じて切り替えられてもよい。それにより、個々のチャネルに掛かる負荷をより効果的に抑制することができる。

なお、図２９に示したデータ伝送システム１１００の構成は一例に過ぎない。データ伝送システム１１００は、いかなる数の通信チャネル及び端末装置を含んでもよい。また、放送以外の用途において、ここで説明したシステムの構成が利用されてもよい。

（３）第３の例
第３の例において、スケーラブル符号化は、映像の記憶のために利用される。図３０を参照すると、データ伝送システム１２００は、撮像装置１２０１及びストリーム記憶装置１２０２を含む。撮像装置１２０１は、被写体１２１１を撮像することにより生成される画像データをスケーラブル符号化し、多重化ストリーム１２２１を生成する。多重化ストリーム１２２１は、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを含む。そして、撮像装置１２０１は、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給する。

ストリーム記憶装置１２０２は、撮像装置１２０１から供給される多重化ストリーム１２２１を、モードごとに異なる画質で記憶する。例えば、ストリーム記憶装置１２０２は、通常モードにおいて、多重化ストリーム１２２１からベースレイヤの符号化ストリーム１２２２を抽出し、抽出したベースレイヤの符号化ストリーム１２２２を記憶する。これに対し、ストリーム記憶装置１２０２は、高画質モードにおいて、多重化ストリーム１２２１をそのまま記憶する。それにより、ストリーム記憶装置１２０２は、高画質での映像の記録が望まれる場合にのみ、データ量の多い高画質のストリームを記録することができる。そのため、画質の劣化のユーザへの影響を抑制しながら、メモリリソースを節約することができる。

例えば、撮像装置１２０１は、監視カメラであるものとする。撮像画像に監視対象（例えば侵入者）が映っていない場合には、通常モードが選択される。この場合、撮像画像は重要でない可能性が高いため、データ量の削減が優先され、映像は低画質で記録される（即ち、ベースレイヤの符号化ストリーム１２２２のみが記憶される）。これに対し、撮像画像に監視対象（例えば、侵入者である被写体１２１１）が映っている場合には、高画質モードが選択される。この場合、撮像画像は重要である可能性が高いため、画質の高さが優先され、映像は高画質で記録される（即ち、多重化ストリーム１２２１が記憶される）。

図３０の例では、モードは、例えば画像解析結果に基づいて、ストリーム記憶装置１２０２により選択される。しかしながら、かかる例に限定されず、撮像装置１２０１がモードを選択してもよい。後者の場合、撮像装置１２０１は、通常モードにおいて、ベースレイヤの符号化ストリーム１２２２をストリーム記憶装置１２０２へ供給し、高画質モードにおいて、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給してもよい。

なお、モードを選択するための選択基準は、いかなる基準であってもよい。例えば、マイクロフォンを通じて取得される音声の大きさ又は音声の波形などに応じて、モードが切り替えられてもよい。また、周期的にモードが切り替えられてもよい。また、ユーザがらの指示に応じてモードが切り替えられてもよい。さらに、選択可能なモードの数は、階層化されるレイヤの数を超えない限り、いかなる数であってもよい。

図３０に示したデータ伝送システム１２００の構成は一例に過ぎない。データ伝送システム１２００は、いかなる数の撮像装置１２０１を含んでもよい。また、監視カメラ以外の用途において、ここで説明したシステムの構成が利用されてもよい。

［６−３．その他］
（１）マルチビューコーデックへの応用
マルチビューコーデックは、マルチレイヤコーデックの一種であり、いわゆる多視点映像を符号化し及び復号するための画像符号化方式である。図３１は、マルチビューコーデックについて説明するための説明図である。図３１を参照すると、３つの視点においてそれぞれ撮影される３つのビューのフレームのシーケンスが示されている。各ビューには、ビューＩＤ（view_id）が付与される。これら複数のビューのうちいずれか１つのビューが、ベースビュー（base view）に指定される。ベースビュー以外のビューは、ノンベースビューと呼ばれる。図３１の例では、ビューＩＤが“０”であるビューがベースビューであり、ビューＩＤが“１”又は“２”である２つのビューがノンベースビューである。これらビューが階層的に符号化される場合、各ビューがレイヤに相当し得る。図中に矢印で示したように、ノンベースビューの画像は、ベースビューの画像を参照して符号化され及び復号される（他のノンベースビューの画像も参照されてよい）。

図３２は、マルチビューコーデックをサポートする画像符号化装置１０ｖの概略的な構成を示すブロック図である。図３２を参照すると、画像符号化装置１０ｖは、第１レイヤ符号化部１ｃ、第２レイヤ符号化部１ｄ、共通メモリ２及び多重化部３を備える。

第１レイヤ符号化部１ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像を受け取ることを除き、図５を用いて説明したＢＬ符号化部１ａの機能と同等である。第１レイヤ符号化部１ｃは、ベースビュー画像を符号化し、第１レイヤの符号化ストリームを生成する。第２レイヤ符号化部１ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像を受け取ることを除き、図５を用いて説明したＥＬ符号化部１ｂの機能と同等である。第２レイヤ符号化部１ｄは、ノンベースビュー画像を符号化し、第２レイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、第１レイヤ符号化部１ｃにより生成される第１レイヤの符号化ストリームと、第２レイヤ符号化部１ｄにより生成される第２レイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。

図３３は、マルチビューコーデックをサポートする画像復号装置６０ｖの概略的な構成を示すブロック図である。図３３を参照すると、画像復号装置６０ｖは、逆多重化部５、第１レイヤ復号部６ｃ、第２レイヤ復号部６ｄ及び共通メモリ７を備える。

逆多重化部５は、マルチレイヤの多重化ストリームを第１レイヤの符号化ストリーム及び第２レイヤの符号化ストリームに逆多重化する。第１レイヤ復号部６ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図６を用いて説明したＢＬ復号部６ａの機能と同等である。第１レイヤ復号部６ｃは、第１レイヤの符号化ストリームからベースビュー画像を復号する。第２レイヤ復号部６ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図６を用いて説明したＥＬ復号部６ｂの機能と同等である。第２レイヤ復号部６ｄは、第２レイヤの符号化ストリームからノンベースビュー画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。

マルチビューの画像データを符号化し又は復号する際、ビュー間で空間解像度が異なる場合には、本開示に係る技術に従って、レイヤ間で参照される画像の精細化が制御されてもよい。それにより、スケーラブル符号化のケースと同様に、マルチビューコーデックにおいても、演算量又は符号量を抑制しつつ効率的に参照画像の画質を改善することができる。

（２）ストリーミング技術への応用
本開示に係る技術は、ストリーミングプロトコルに適用されてもよい。例えば、ＭＰＥＧ−ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）では、解像度などのパラメータが互いに異なる複数の符号化ストリームがストリーミングサーバにおいて予め用意される。そして、ストリーミングサーバは、複数の符号化ストリームからストリーミングすべき適切なデータをセグメント単位で動的に選択し、選択したデータを配信する。このようなストリーミングプロトコルにおいて、本開示に係る技術に従って、符号化ストリーム間で参照される参照画像の精細化が制御されてもよい。

＜７．まとめ＞
ここまで、図１〜図３３を用いて、本開示に係る技術の様々な実施形態について詳細に説明した。上述した実施形態によれば、第２レイヤの画像を符号化し又は復号する際に使用される参照画像であって、第１レイヤの復号画像に基づく当該参照画像への精細化フィルタの適用が、第１レイヤにおいて設定されたブロックのブロックサイズに応じて制御される。それにより、ブロックサイズ（例えば、ＣＵサイズ、ＰＵサイズ又はＴＵサイズ）と高域成分の強さとの相関を利用して、精細化フィルタを通じて参照画像の画質を効率的に改善することが可能となる。

例えば、第１の実施形態によれば、閾値よりも大きいブロックサイズを有するブロックへの精細化フィルタの適用が無効化される。それにより、フィルタリングの演算量が削減される。また、エンコーダ及びデコーダの消費電力を低減することもできる。ブロックサイズの大きいブロックの画像はフラットに近い傾向があるため、ブロックサイズの大きいブロックへの精細化フィルタの適用が無効化されても、画質のロスは小さい。

また、第２の実施形態によれば、各ブロックに適用される精細化フィルタのフィルタ構成が、当該ブロックのブロックサイズに依存して決定される。この場合、ブロックサイズの候補ごとにフィルタ係数の１つのセットのみをエンコーダからデコーダへ伝送すればよくなるため、ブロックごとにフィルタ係数が決定されるような実装と比較すると、フィルタ係数を特定するフィルタ構成情報の符号量を少なくすることができる。また、画一的なフィルタ係数を使用するような実装と比較すると、画像領域ごとの高域成分の強さに合わせて画質を適応的に改善することが可能となる。

なお、上述した第１の実施形態及び第２の実施形態は、互いに組合わされてもよい。その場合には、例えば、判定閾値よりも大きいブロックサイズを有するブロックへの精細化フィルタの適用は無効化され、それ以外のブロックサイズを有するブロックへ適用される精細化フィルタのフィルタ構成は、ブロックサイズに依存して決定される。また、本開示に係る技術は、空間スケーラビリティ方式及びＳＮＲスケーラビリティ方式又はそれらの組合せへの適用に限定されない。例えば、ビット深度スケーラビリティ方式に本開示に係る技術が適用される場合には、参照画像の取得の際にビットシフト演算が実行されてもよい。

また、本明細書に記述したＣＵ、ＰＵ及びＴＵとの用語は、ＨＥＶＣにおいて、個々のブロックに関連付られるシンタックスをも含む論理的な単位を意味する。画像の一部分としての個々のブロックのみに着目する場合、これらは、ＣＢ（Coding Block）、ＰＢ（Prediction Block）及びＴＢ（Transform Block）との用語にそれぞれ置き換えられてもよい。ＣＢは、ＣＴＢ（Coding Tree Block）を四分木（Quad-Tree）状に階層的に分割することにより形成される。１つの四分木の全体がＣＴＢに相当し、ＣＴＢに対応する論理的な単位はＣＴＵ（Coding Tree Unit）と呼ばれる。ＨＥＶＣにおけるＣＴＢ及びＣＢは、符号化処理の処理単位である点でＨ．２６４／ＡＶＣにおけるマクロブロックに類似する役割を有する。但し、ＣＴＢ及びＣＢは、そのサイズが固定的でない点でマクロブロックと異なる（マクロブロックのサイズは常に１６×１６画素である）。ＣＴＢのサイズは１６×１６画素、３２×３２画素及び６４×６４画素から選択され、符号化ストリーム内でパラメータにより指定される。ＣＢのサイズは、ＣＴＢの分割の深さによって変化し得る。

また、本明細書では、精細化の制御に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
異なるブロックサイズを有する複数のブロックが設定された第１レイヤの復号画像に基づく、前記第１レイヤとは異なる属性を有する第２レイヤの画像の符号化又は復号のための参照画像を取得する取得部と、
前記取得部により取得される前記参照画像に精細化フィルタを適用して、精細化参照画像を生成するフィルタリング部と、
前記複数のブロックの各々への前記フィルタリング部による前記精細化フィルタの適用を、各ブロックのブロックサイズに応じて制御する制御部と、
を備える画像処理装置。
（２）
前記ブロックは、前記第１レイヤの符号化処理の処理単位として設定される、前記（１）に記載の画像処理装置。
（３）
前記ブロックは、前記第１レイヤの予測処理の処理単位として設定される、前記（１）に記載の画像処理装置。
（４）
前記ブロックは、前記第１レイヤの直交変換処理の処理単位として設定される、前記（１）に記載の画像処理装置。
（５）
前記制御部は、閾値よりも大きいブロックサイズを有するブロックへの前記精細化フィルタの適用を無効化する、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記制御部は、前記第１レイヤと前記第２レイヤとの間の空間解像度の比に依存して、前記閾値を決定する、前記（５）に記載の画像処理装置。
（７）
前記画像処理装置は、前記閾値を示す閾値情報を符号化ストリームから復号する復号部、をさらに備える、前記（５）に記載の画像処理装置。
（８）
前記画像処理装置は、前記閾値を示す閾値情報を符号化ストリームへ符号化する符号化部、をさらに備える、前記（５）に記載の画像処理装置。
（９）
前記制御部は、各ブロックに適用される前記精細化フィルタのフィルタ構成を、当該ブロックのブロックサイズに依存して決定する、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（１０）
前記画像処理装置は、使用すべき前記フィルタ構成をブロックサイズごとに示すフィルタ構成情報を符号化ストリームから復号する復号部、をさらに備える、前記（９）に記載の画像処理装置。
（１１）
前記画像処理装置は、使用すべき前記フィルタ構成をブロックサイズごとに示すフィルタ構成情報を符号化ストリームへ符号化する符号化部、をさらに備える、前記（９）に記載の画像処理装置。
（１２）
前記フィルタ構成情報は、とり得るブロックサイズの範囲内でブロックサイズごとに前記フィルタ構成を示す、前記（１０）又は（１１）に記載の画像処理装置。
（１３）
前記フィルタ構成情報は、ピクチャ間、異なるブロックサイズの間又は異なる色成分の間で予測符号化される情報を含む、前記（１０）〜（１２）のいずれか１項に記載の画像処理装置。
（１４）
前記フィルタ構成情報は、ブロックサイズごとに、当該ブロックサイズを有する１つ以上のブロックの画素値を用いて符号化の際に計算される最適なフィルタ構成を示す、前記（１０）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
前記精細化フィルタは、近傍の輝度成分に基づいて色差成分を精細化するクロスカラーフィルタである、前記（１）〜（１４）のいずれか１項に記載の画像処理装置。
（１６）
前記精細化フィルタは、エッジ強調フィルタである、前記（１）〜（８）のいずれか１項に記載の画像処理装置。
（１７）
前記取得部は、前記第２レイヤよりも低い空間解像度を有する前記第１レイヤの復号画像をアップサンプリングすることにより前記参照画像を取得する、前記（１）〜（１６）のいずれか１項に記載の画像処理装置。
（１８）
前記取得部は、前記第２レイヤよりも大きい量子化誤差を有する前記第１レイヤの復号画像を前記参照画像として取得する、前記（１）〜（１７）のいずれか１項に記載の画像処理装置。
（１９）
異なるブロックサイズを有する複数のブロックが設定された第１レイヤの復号画像に基づく、前記第１レイヤとは異なる属性を有する第２レイヤの画像の符号化又は復号のための参照画像を取得することと、
取得された前記参照画像に精細化フィルタを適用して、精細化参照画像を生成することと、
前記複数のブロックの各々への前記精細化フィルタの適用を、各ブロックのブロックサイズに応じて制御することと、
を含む画像処理方法。

１０，１０ｖ 画像符号化装置（画像処理装置）
１６ 可逆符号化部
４３ 参照画像取得部
４７，１４７ フィルタ制御部
４９，１４９ 精細化フィルタ（フィルタリング部）
６０，６０ｖ 画像復号装置（画像処理装置）
６２ 可逆復号部
９３ 参照画像取得部
９７，１９７ フィルタ制御部
９９，１９９ 精細化フィルタ（フィルタリング部）

Claims (19)

1. 異なるブロックサイズを有する複数のブロックが設定された第１レイヤの復号画像に基づく、前記第１レイヤとは異なる属性を有する第２レイヤの画像の符号化又は復号のための参照画像を取得する取得部と、
   前記取得部により取得される前記参照画像に精細化フィルタを適用して、精細化参照画像を生成するフィルタリング部と、
   前記複数のブロックの各々への前記フィルタリング部による前記精細化フィルタの適用を、各ブロックのブロックサイズに応じて制御する制御部と、
   を備える画像処理装置。
2. 前記ブロックは、前記第１レイヤの符号化処理の処理単位として設定される、請求項１に記載の画像処理装置。
3. 前記ブロックは、前記第１レイヤの予測処理の処理単位として設定される、請求項１に記載の画像処理装置。
4. 前記ブロックは、前記第１レイヤの直交変換処理の処理単位として設定される、請求項１に記載の画像処理装置。
5. 前記制御部は、閾値よりも大きいブロックサイズを有するブロックへの前記精細化フィルタの適用を無効化する、請求項１に記載の画像処理装置。
6. 前記制御部は、前記第１レイヤと前記第２レイヤとの間の空間解像度の比に依存して、前記閾値を決定する、請求項５に記載の画像処理装置。
7. 前記画像処理装置は、前記閾値を示す閾値情報を符号化ストリームから復号する復号部、をさらに備える、請求項５に記載の画像処理装置。
8. 前記画像処理装置は、前記閾値を示す閾値情報を符号化ストリームへ符号化する符号化部、をさらに備える、請求項５に記載の画像処理装置。
9. 前記制御部は、各ブロックに適用される前記精細化フィルタのフィルタ構成を、当該ブロックのブロックサイズに依存して決定する、請求項１に記載の画像処理装置。
10. 前記画像処理装置は、使用すべき前記フィルタ構成をブロックサイズごとに示すフィルタ構成情報を符号化ストリームから復号する復号部、をさらに備える、請求項９に記載の画像処理装置。
11. 前記画像処理装置は、使用すべき前記フィルタ構成をブロックサイズごとに示すフィルタ構成情報を符号化ストリームへ符号化する符号化部、をさらに備える、請求項９に記載の画像処理装置。
12. 前記フィルタ構成情報は、とり得るブロックサイズの範囲内でブロックサイズごとに前記フィルタ構成を示す、請求項１０に記載の画像処理装置。
13. 前記フィルタ構成情報は、ピクチャ間、異なるブロックサイズの間又は異なる色成分の間で予測符号化される情報を含む、請求項１０に記載の画像処理装置。
14. 前記フィルタ構成情報は、ブロックサイズごとに、当該ブロックサイズを有する１つ以上のブロックの画素値を用いて符号化の際に計算される最適なフィルタ構成を示す、請求項１０に記載の画像処理装置。
15. 前記精細化フィルタは、近傍の輝度成分に基づいて色差成分を精細化するクロスカラーフィルタである、請求項１に記載の画像処理装置。
16. 前記精細化フィルタは、エッジ強調フィルタである、請求項１に記載の画像処理装置。
17. 前記取得部は、前記第２レイヤよりも低い空間解像度を有する前記第１レイヤの復号画像をアップサンプリングすることにより前記参照画像を取得する、請求項１に記載の画像処理装置。
18. 前記取得部は、前記第２レイヤよりも大きい量子化誤差を有する前記第１レイヤの復号画像を前記参照画像として取得する、請求項１に記載の画像処理装置。
19. 異なるブロックサイズを有する複数のブロックが設定された第１レイヤの復号画像に基づく、前記第１レイヤとは異なる属性を有する第２レイヤの画像の符号化又は復号のための参照画像を取得することと、
    取得された前記参照画像に精細化フィルタを適用して、精細化参照画像を生成することと、
    前記複数のブロックの各々への前記精細化フィルタの適用を、各ブロックのブロックサイズに応じて制御することと、
    を含む画像処理方法。
    

Images