JP6455434B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本開示は、画像処理装置及び画像処理方法に関する。

現在、Ｈ．２６４／ＡＶＣよりも符号化効率をさらに向上することを目的として、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同の標準化団体であるＪＣＴＶＣ（Joint Collaboration Team-Video Coding）により、ＨＥＶＣ（High Efficiency Video Coding）と呼ばれる画像符号化方式の標準化が進められている（例えば、非特許文献１参照）。

ＨＥＶＣは、ＭＰＥＧ２及びＡＶＣ（Advanced Video Coding）などの既存の画像符号化方式と同様、シングルレイヤの符号化のみならず、スケーラブル符号化をも提供する。ＨＥＶＣのスケーラブル符号化技術を、ＳＨＶＣ（Scalable HEVC）ともいう（例えば、非特許文献２参照）。

スケーラブル符号化とは、一般には、粗い画像信号を伝送するレイヤと精細な画像信号を伝送するレイヤとを階層的に符号化する技術をいう。スケーラブル符号化において階層化される典型的な属性は、主に次の３種類である。
−空間スケーラビリティ：空間解像度あるいは画像サイズが階層化される。
−時間スケーラビリティ：フレームレートが階層化される。
−ＳＮＲ（Signal to Noise Ratio）スケーラビリティ：ＳＮ比が階層化される。
さらに、標準規格で未だ採用されていないものの、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティもまた議論されている。

さらに、非特許文献３及び非特許文献４は、色域（Color Gamut）を階層化する色域スケーラビリティを提案している。例えば、高精細（ＨＤ）テレビジョンでは、通常、１９２０×１０８０画素の画像サイズ、ＩＴＵ−Ｒ ＢＴ．７０９の色域、８ビットのビット深度が使用される。これに対し、超高精細（ＵＨＤ）テレビジョンでは、４０００×２０００画素又は８０００×４０００画素の画像サイズ、ＩＴＵ−Ｒ ＢＴ．２０２０の色域、１０ビット又は１２ビットのビット深度が使用されることが検討されている。非特許文献３及び非特許文献４において説明されている手法によれば、ＢＴ．７０９の色域における画素ベクトル（Ｙ，Ｕ，Ｖ）から、３次元のルックアップテーブルを用いて、ＢＴ．２０２０の色域における対応する画素ベクトルが予測される。

Benjamin Bross, Woo-Jin Han, Gary J. Sullivan, Jens-Rainer Ohm, Gary J. Sullivan, Ye-Kui Wang, Thomas Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS & Consent)"（JCTVC-L1003_v4, 2013年1月14-23日） Jianle Chen, el. al, "Description of scalable video coding technology proposal by Qualcomm (configuration 2)"（JCTVC-K0036， 2012年10月10-19日） Philippe Bordes, el. al, "SCE4: Results on 5.3-test1 and 5.3-test2"（JCTVC-O0159， 2013年10月23-11月1日） Yuwen He, el. al, "Non-SCE4/AHG14: Combined bit-depth and color gamut conversion with 3D LUT for SHVC color gamut scalability"（JCTVC-O0161， 2013年10月23-11月1日）

通常、同じレイヤにおいて３つの色成分のビット深度は互いに等しい。そのため、ルックアップテーブルを参照するために画素値を選別（grading）する際の粒度もまた、３つの色成分について共通的に設計される。例えば、非特許文献３は、ＰＰＳ（Picture Parameter Set）内に符号化される１つのパラメータnbp_codeによって、色域予測のためのルックアップテーブルにおける３つの色成分の粒度を定義することを想定している。非特許文献４は、ルックアップテーブルのサイズ（３つの色成分の粒度）を１７×１７×１７としている。この粒度がより精細であるほど、色域予測の予測精度は高まる一方で、ルックアップテーブルのサイズ（ＬＵＴサイズ）はより大きくなる。例えば、予測画素値のビット深度が１０ビット、ＬＵＴサイズが１７×１７×１７であれば、ルックアップテーブルをバッファリングするために、１７×１７×１７×３（色成分の数）×１０（ビット深度）＝１４７３９０ビットのバッファを確保することが求められる。ＨＥＶＣが通常の量子化行列（スケーリングリスト）のために要するバッファサイズが約８０００ビットであることを考慮すると、色域予測のためのルックアップテーブルの上記バッファサイズは極めて大きいことが理解される。

従って、色域スケーラビリティにおける十分な予測精度を確保しつつ、ルックアップテーブルのバッファサイズを低減することのできる手法が提供されることが望ましい。

本開示によれば、第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する第２レイヤの予測画素値とをマッピングするルックアップテーブルを用いて、前記第１レイヤの画像から、前記第１レイヤとは異なる色域を有する前記第２レイヤの画像を予測する予測部、を備え、前記予測部は、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度よりも粗い前記ルックアップテーブルを用いる、画像処理装置が提供される。

また、本開示によれば、第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せの各々と当該組合せに対応する第２レイヤの予測画素値とをマッピングするルックアップテーブルを用いて、前記第１レイヤの画像から、前記第１レイヤとは異なる色域を有する前記第２レイヤの画像を予測すること、を含み、前記第２レイヤの画像の予測は、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度よりも粗い前記ルックアップテーブルを用いて行われる、画像処理方法が提供される。

本開示に係る技術によれば、色域スケーラビリティにおける十分な予測精度を確保しつつ、ルックアップテーブルのバッファサイズを低減することができる。

スケーラブル符号化について説明するための説明図である。 ＢＴ．７０９及びＢＴ．２０２０により表現される色域について説明するための説明図である。 一実施形態に係る画像符号化装置の概略的な構成を示すブロック図である。 一実施形態に係る画像復号装置の概略的な構成を示すブロック図である。 図３に示したＥＬ符号化部の構成の一例を示すブロック図である。 一実施形態に係る符号化時の概略的な処理の流れの一例を示すフローチャートである。 エンハンスメントレイヤの符号化処理における色域予測処理の流れの一例を示すフローチャートである。 図４に示したＥＬ復号部の構成の一例を示すブロック図である。 一実施形態に係る復号時の概略的な処理の流れの一例を示すフローチャートである。 エンハンスメントレイヤの復号処理における色域予測処理の流れの一例を示すフローチャートである。 ビデオフォーマットのダイナミックレンジについて説明するための説明図である。 ダイナミックレンジスケーラビリティを実現するためのＥＬ符号化部の構成の一例を示すブロック図である。 ダイナミックレンジスケーラビリティを実現するためのＥＬ復号部の構成の一例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 スケーラブル符号化の用途の第１の例について説明するための説明図である。 スケーラブル符号化の用途の第２の例について説明するための説明図である。 スケーラブル符号化の用途の第３の例について説明するための説明図である。 マルチビューコーデックについて説明するための説明図である。 マルチビューコーデックのための画像符号化装置の概略的な構成を示すブロック図である。 マルチビューコーデックのための画像復号装置の概略的な構成を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下の順序で説明を行う。
１．概要
１−１．スケーラブル符号化
１−２．色域スケーラビリティ
１−３．エンコーダの基本的な構成例
１−４．デコーダの基本的な構成例
２．一実施形態に係るＥＬ符号化部の構成例
２−１．全体的な構成
２−２．色域予測の詳細
３．一実施形態に係る符号化時の処理の流れ
３−１．概略的な流れ
３−２．色域予測処理
４．一実施形態に係るＥＬ復号部の構成例
４−１．全体的な構成
４−２．色域予測の詳細
５．一実施形態に係る復号時の処理の流れ
５−１．概略的な流れ
５−２．色域予測処理
６．ダイナミックレンジスケーラビリティ
７．応用例
７−１．様々な製品への応用
７−２．スケーラブル符号化の様々な用途
７−３．その他
８．まとめ

＜１．概要＞
［１−１．スケーラブル符号化］
スケーラブル符号化においては、一連の画像をそれぞれ含む複数のレイヤが符号化される。ベースレイヤ（base layer）は、最初に符号化される、最も粗い画像を表現するレイヤである。ベースレイヤの符号化ストリームは、他のレイヤの符号化ストリームを復号することなく、独立して復号され得る。ベースレイヤ以外のレイヤは、エンハンスメントレイヤ（enhancement layer）と呼ばれる、より精細な画像を表現するレイヤである。エンハンスメントレイヤの符号化ストリームは、ベースレイヤの符号化ストリームに含まれる情報を用いて符号化される。従って、エンハンスメントレイヤの画像を再現するためには、ベースレイヤ及びエンハンスメントレイヤの双方の符号化ストリームが復号されることになる。スケーラブル符号化において扱われるレイヤの数は、２つ以上のいかなる数であってもよい。３つ以上のレイヤが符号化される場合には、最下位のレイヤがベースレイヤ、残りの複数のレイヤがエンハンスメントレイヤである。より上位のエンハンスメントレイヤの符号化ストリームは、より下位のエンハンスメントレイヤ又はベースレイヤの符号化ストリームに含まれる情報を用いて符号化され及び復号され得る。

図１は、スケーラブル符号化される３つのレイヤＬ１、Ｌ２及びＬ３を示している。レイヤＬ１はベースレイヤであり、レイヤＬ２及びＬ３はエンハンスメントレイヤである。レイヤＬ２のレイヤＬ１に対する空間解像度の比は、２：１である。レイヤＬ３のレイヤＬ１に対する空間解像度の比は、４：１である。なお、ここでの解像度比は一例に過ぎず、例えば１．５：１などの非整数の解像度比が使用されてもよい。レイヤＬ１のブロックＢ１は、ベースレイヤのピクチャ内の符号化処理の処理単位である。レイヤＬ２のブロックＢ２は、ブロックＢ１と共通するシーンを映したエンハンスメントレイヤのピクチャ内の符号化処理の処理単位である。ブロックＢ２は、レイヤＬ１のブロックＢ１に対応する。レイヤＬ３のブロックＢ３は、ブロックＢ１及びＢ２と共通するシーンを映したより上位のエンハンスメントレイヤのピクチャ内の符号化処理の処理単位である。ブロックＢ３は、レイヤＬ１のブロックＢ１及びレイヤＬ２のブロックＢ２に対応する。

［１−２．色域スケーラビリティ］
図１に例示したレイヤ構造において、画像のテクスチャは、共通するシーンを映したレイヤ間で類似する。即ち、レイヤＬ１内のブロックＢ１、レイヤＬ２内のブロックＢ２、及びレイヤＬ３内のブロックＢ３のテクスチャは類似する。従って、例えばブロックＢ１を参照ブロックとして用いてブロックＢ２又はブロックＢ３の画素を予測し、又はブロックＢ２を参照ブロックとして用いてブロックＢ３の画素を予測すれば、高い予測精度が得られる可能性がある。このようなレイヤ間の予測を、インターレイヤ予測という。非特許文献２では、インターレイヤ予測のためのいくつかの手法が提案されている。それら手法のうち、イントラＢＬ予測では、ベースレイヤの復号画像（リコンストラクト画像）が、エンハンスメントレイヤの復号画像を予測するための参照画像として使用される。イントラ残差予測及びインター残差予測では、ベースレイヤの予測誤差（残差）画像が、エンハンスメントレイヤの予測誤差画像を予測するための参照画像として使用される。

ここで、例えばレイヤＬ１の画像がＨＤテレビジョン画像であり、レイヤＬ２の画像がＵＨＤテレビジョン画像であるものとする。図２は、ＢＴ．７０９及びＢＴ．２０２０により表現される色域について説明するための説明図である。図２を参照すると、所定の拘束条件を用いて３次元の色空間を２次元平面へマッピングした色域グラフが示されている。グラフ中の十字マークは、白色がマッピングされる位置を示す。グラフ中の破線は、ＢＴ．７０９が表現することのできる色の範囲を示す。グラフ中の実線は、ＢＴ．２０２０が表現することのできる色の範囲を示す。グラフ中の点線は、人間の視覚が識別することのできる色の範囲を示す。図２から理解されるように、ＢＴ．２０２０は、ＢＴ．７０９よりも多彩な色を表現することができる。レイヤＬ１の各画素がＢＴ．７０９で表現され、レイヤＬ２の各画素がＢＴ．２０２０で表現される場合、インターレイヤ予測に際して、参照画像（レイヤＬ１の画像）についての解像度の変換（即ち、アップサンプリング）及び色域の変換が行われる。一例として、非特許文献３及び非特許文献４は、ＢＴ．７０９の画素ベクトルを、３次元のルックアップテーブルを用いてＢＴ．２０２０の画素ベクトルに変換する手法を説明している。実際には、変換後の画素ベクトルがそのまま使用されるわけではなく、残差（予測誤差）が別途符号化され及び復号され得るため、このような色域の変換を、色域予測ともいう。ルックアップテーブルは、例えば、レイヤＬ１の輝度成分（Ｙ）、第１色差成分（Ｕ）及び第２色差成分（Ｖ）の組合せと、当該組合せに対応するレイヤＬ２の予測画素値とをマッピングする。

ところで、通常、同じレイヤにおいて３つの色成分のビット深度は互いに等しい。ビット深度がｎビットであれば、輝度成分及び色差成分のレンジ幅は全て２^ｎに等しい。そのため、ルックアップテーブルを参照するために画素値を選別（grading）する際の粒度もまた、３つの色成分について共通的に設計される。例えば、非特許文献３は、次の表１に示したように、ＰＰＳ内に符号化される１つのパラメータnbp_codeによって、色域予測用のルックアップテーブルにおける３つの色成分の粒度を定義することを想定している。

表１において、フラグuse_color_prediction_flagは、レイヤ間で色域を変換するか否かを示すフラグである。関数3D_LUT_color_data()は、色域予測用のルックアップテーブルに関連するシンタックスを定義する。パラメータnbp_codeは、色域予測用のルックアップテーブルにおける３つの色成分の粒度を共通的に定義する。実際の粒度nbpとパラメータnbp_codeとの間の関係は、nbp＝１＋（１<<（nbp_code−１））という関係式で表現される。パラメータlut_bit_depth_minus8は、予測画素値のビット深度を定義する。関数coding_octant(0,0,0,0)は、ルックアップテーブルの内容（入力画素値と予測画素値とのマッピング）をパラメータnbp_codeにより特定される粒度で定義する関数である。関数coding_octant(0,0,0,0)の具体的な仕様は、非特許文献３に記載されている。非特許文献４は、ルックアップテーブルを用いた色域予測の性能をシミュレーションする際に、全てのテストにおいてサイズ１７×１７×１７のルックアップテーブルを使用している。

色域予測用のルックアップテーブルにおける色成分の粒度がより精細であるほど、色域予測のより高い予測精度を期待することができる。一方で、当該粒度がより精細であるほど、ルックアップテーブルのサイズ（ＬＵＴサイズ）はより大きくなる。例えば、予測画素値のビット深度が１０ビット、ＬＵＴサイズが１７×１７×１７であれば、ルックアップテーブルをバッファリングするために、１７×１７×１７×３（色成分の数）×１０（ビット深度）＝１４７３９０ビットのバッファを確保することが求められる。ＨＥＶＣが通常の量子化行列（スケーリングリスト）のために要するバッファサイズが約８０００ビットであることを考慮すると、色域予測のためのルックアップテーブルの上記バッファサイズは極めて大きいことが理解される。そして、大規模なバッファの確保は、デバイスのコストの上昇、メモリリソース不足に起因する動作不良及び処理の遅延などの様々なデメリットをもたらし得る。そこで、以下に説明する実施形態において、色域スケーラビリティにおける十分な予測精度を確保しつつ、ルックアップテーブルのバッファサイズを低減するための仕組みを説明する。

［１−３．エンコーダの基本的な構成例］
図３は、スケーラブル符号化をサポートする、一実施形態に係る画像符号化装置１０の概略的な構成を示すブロック図である。図３を参照すると、画像符号化装置１０は、ベースレイヤ（ＢＬ）符号化部１ａ、エンハンスメントレイヤ（ＥＬ）符号化部１ｂ、共通メモリ２及び多重化部３を備える。

ＢＬ符号化部１ａは、ベースレイヤ画像を符号化し、ベースレイヤの符号化ストリームを生成する。ＥＬ符号化部１ｂは、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、ＢＬ符号化部１ａにより生成されるベースレイヤの符号化ストリームと、ＥＬ符号化部１ｂにより生成される１つ以上のエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。

［１−４．デコーダの基本的な構成例］
図４は、スケーラブル符号化をサポートする、一実施形態に係る画像復号装置６０の概略的な構成を示すブロック図である。図４を参照すると、画像復号装置６０は、逆多重化部５、ベースレイヤ（ＢＬ）復号部６ａ、エンハンスメントレイヤ（ＥＬ）復号部６ｂ及び共通メモリ７を備える。

逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及び１つ以上のエンハンスメントレイヤの符号化ストリームに逆多重化する。ＢＬ復号部６ａは、ベースレイヤの符号化ストリームからベースレイヤ画像を復号する。ＥＬ復号部６ｂは、エンハンスメントレイヤの符号化ストリームからエンハンスメントレイヤ画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。

図３に例示した画像符号化装置１０において、ベースレイヤの符号化のためのＢＬ符号化部１ａの構成と、エンハンスメントレイヤの符号化のためのＥＬ符号化部１ｂの構成とは、互いに類似する。ＢＬ符号化部１ａにより生成され又は取得されるいくつかのパラメータ及び画像は、共通メモリ２を用いてバッファリングされ、ＥＬ符号化部１ｂにより再利用され得る。次節では、そのようなＥＬ符号化部１ｂの構成について詳細に説明する。

同様に、図４に例示した画像復号装置６０において、ベースレイヤの復号のためのＢＬ復号部６ａの構成と、エンハンスメントレイヤの復号のためのＥＬ復号部６ｂの構成とは、互いに類似する。ＢＬ復号部６ａにより生成され又は取得されるいくつかのパラメータ及び画像は、共通メモリ７を用いてバッファリングされ、ＥＬ復号部６ｂにより再利用され得る。さらに次の節では、そのようなＥＬ復号部６ｂの構成について詳細に説明する。

＜２．一実施形態に係るＥＬ符号化部の構成例＞
［２−１．全体的な構成］
図５は、図３に示したＥＬ符号化部１ｂの構成の一例を示すブロック図である。図５を参照すると、ＥＬ符号化部１ｂは、並び替えバッファ１１、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、ループフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０、インター予測部３５、色域予測部４０並びにＬＵＴバッファ４５を備える。

並び替えバッファ１１は、一連の画像データに含まれる画像を並び替える。並び替えバッファ１１は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、イントラ予測部３０、インター予測部３５及び色域予測部４０へ出力する。

減算部１３には、並び替えバッファ１１から入力される画像データ、及び後に説明するイントラ予測部３０又はインター予測部３５から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１１から入力される画像データと予測画像データとの差分である予測誤差データを計算し、計算した予測誤差データを直交変換部１４へ出力する。

直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。ＨＥＶＣにおいて、直交変換は、ＴＵ（変換単位：Transform Unit）と呼ばれるブロックごとに実行される。ＴＵは、ＣＵ（符号化単位：Coding Unit）を分割することにより形成されるブロックである。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。

量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、レート制御信号に従って決定される量子化ステップで変換係数データを量子化する。量子化部１５は、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。

可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、エンハンスメントレイヤの符号化ストリームを生成する。また、可逆符号化部１６は、符号化ストリームを復号する際に参照される様々なパラメータを符号化して、符号化されたパラメータを符号化ストリームのヘッダ領域に挿入する。可逆符号化部１６により符号化されるパラメータは、後に説明するイントラ予測に関する情報及びインター予測に関する情報を含み得る。色域の予測に関連するパラメータもまた符号化され得る。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。

蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。

レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。

逆量子化部２１、逆直交変換部２２及び加算部２３は、ローカルデコーダを構成する。逆量子化部２１は、量子化部１５により使用されたものと同じ量子化ステップで、エンハンスメントレイヤの量子化データを逆量子化し、変換係数データを復元する。そして、逆量子化部２１は、復元した変換係数データを逆直交変換部２２へ出力する。

逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。直交変換と同様、逆直交変換は、ＴＵごとに実行される。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。

加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとイントラ予測部３０又はインター予測部３５から入力される予測画像データとを加算することにより、復号画像データ（エンハンスメントレイヤのリコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像データをループフィルタ２４及びフレームメモリ２５へ出力する。

ループフィルタ２４は、画質の向上を目的とするフィルタ群を含む。デブロックフィルタ（ＤＦ）は、画像の符号化時に生じるブロック歪みを軽減するフィルタである。サンプル適応オフセット（ＳＡＯ）フィルタは、各画素値に適応的に決定されるオフセット値を加えるフィルタである。適応ループフィルタ（ＡＬＦ）は、ＳＡＯ後の画像と原画像との誤差を最小化するフィルタである。ループフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。

フレームメモリ２５は、加算部２３から入力されるエンハンスメントレイヤの復号画像データ、ループフィルタ２４から入力されるエンハンスメントレイヤのフィルタリング後の復号画像データ、及び色域予測部４０から入力されるベースレイヤの参照画像データを記憶媒体を用いて記憶する。

セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてインター予測部３５に供給する。さらに、イントラ予測部３０又はインター予測部３５においてインターレイヤ予測が実行される場合、セレクタ２６は、ベースレイヤの参照画像データをイントラ予測部３０又はインター予測部３５へ供給する。

セレクタ２７は、イントラ予測モードにおいて、イントラ予測部３０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、インター予測モードにおいて、インター予測部３５から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、イントラ予測モードとインター予測モードとを、コスト関数値の大きさに応じて切り替える。

イントラ予測部３０は、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、ＨＥＶＣのＰＵ（予測単位：Prediction Unit）ごとにイントラ予測処理を行う。例えば、イントラ予測部３０は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、イントラ予測部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部３０は、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。イントラ予測部３０は、エンハンスメントレイヤにおける予測モードセットに、インターレイヤ予測の一種であるイントラＢＬ予測を含めてもよい。イントラＢＬ予測では、エンハンスメントレイヤ内の予測対象ブロックに対応するベースレイヤ内のコロケーテッドブロックが参照ブロックとして使用され、当該参照ブロックの復号画像に基づいて予測画像が生成される。また、イントラ予測部３０は、インターレイヤ予測の一種であるイントラ残差予測を含めてもよい。イントラ残差予測では、ベースレイヤ内のコロケーテッドブロックである参照ブロックの予測誤差画像に基づいてイントラ予測の予測誤差が予測され、予測された予測誤差の加算された予測画像が生成される。イントラ予測部３０は、選択した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。

インター予測部３５は、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、ＨＥＶＣのＰＵごとにインター予測処理を行う。例えば、インター予測部３５は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、インター予測部３５は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部３５は、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。インター予測部３５は、エンハンスメントレイヤにおける予測モードセットに、インターレイヤ予測の一種であるインター残差予測を含めてもよい。インター残差予測では、ベースレイヤ内のコロケーテッドブロックである参照ブロックの予測誤差画像に基づいてインター予測の予測誤差が予測され、予測された予測誤差の加算された予測画像が生成される。インター予測部３５は、選択した最適な予測モードを表す予測モード情報と動き情報とを含むインター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。

色域予測部４０は、共通メモリ２によりバッファリングされるベースレイヤの画像（復号画像又は予測誤差画像）を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。また、色域予測部４０は、ベースレイヤの画像とは異なる色域をエンハンスメントレイヤの画像が有する場合に、アップサンプリングしたベースレイヤの画像の色域を、エンハンスメントレイヤの画像と同等の色域に変換する。本実施形態において、色域予測部４０は、色域を変換するために、ＬＵＴ（ルックアップテーブル）バッファ４５によりバッファリングされるルックアップテーブルを用いる。色域予測部４０により色域の変換されたベースレイヤの画像は、フレームメモリ２５に格納され、イントラ予測部３０又はインター予測部３５により、インターレイヤ予測において参照画像として使用され得る。

ＬＵＴバッファ４５は、色域予測部４０により使用されるルックアップテーブルをバッファリングするバッファである。ルックアップテーブルは、ベースレイヤの輝度成分（Ｙ）、第１色差成分（Ｕ）及び第２色差成分（Ｖ）の組合せと当該組合せに対応するエンハンスメントレイヤの予測画素値とをマッピングする。

［２−２．色域予測の詳細］
本実施形態において、色域予測部４０は、ベースレイヤ画像からエンハンスメントレイヤ画像を予測する際に、第１色差成分及び第２色差成分の粒度が輝度成分の粒度よりも粗いルックアップテーブルを、色域予測のために用いる。一例として、ベースレイヤ画像のビット深度が８ビットである場合、輝度成分の粒度は１７であるのに対し、第１色差成分及び第２色差成分の粒度は９であってよい。この場合、ベースレイヤの色空間は１７×９×９個のサブ空間に分割され、ルックアップテーブルはサブ空間ごとに対応する予測画素値（エンハンスメントレイヤの画素ベクトル）を定義する。エンハンスメントレイヤのビット深度が１０ビットであれば、ルックアップテーブルをバッファリングするために、ＬＵＴバッファ４５は、１７×９×９×３（色成分の数）×１０（ビット深度）＝４１３１０ビットのメモリリソースを消費する。なお、上述した粒度の値は一例に過ぎず、他の値（例えば、９×５×５又は１７×５×５など）が使用されてもよい。また、第１色差成分の粒度と第２色差成分の粒度とは異なってもよい（例えば、１７×９×５又は１７×５×９など）。

色域予測部４０は、例えば、ユーザによる事前の設定又は画像の解析に従って、輝度成分（Ｙ）、第１色差成分（Ｕ）及び第２色差成分（Ｖ）の粒度を設定する。また、色域予測部４０は、設定した粒度に基づいて分割されるベースレイヤの色空間（Ｙ，Ｕ，Ｖ）のサブ空間ごとに、エンハンスメントレイヤの原画像と予測画像との差が最小化されるように、予測画素値を決定する。そして、色域予測部４０は、各サブ空間と対応する予測画素値との間のマッピングを定義するルックアップテーブルを、ＬＵＴバッファ４５にバッファリングさせる。このようなルックアップテーブルの生成は、シーケンス、ピクチャ又はスライスなどの単位で行われ得る。

また、色域予測部４０は、共通メモリ２から取得されるベースレイヤ画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。そして、色域予測部４０は、アップサンプリング後のベースレイヤの各画素ベクトルがどのサブ空間に属するかを選別し、選別されたサブ空間にマッピングされている予測画素値をルックアップテーブルを参照することにより取得する。色域予測部４０は、このような処理を各画素について繰り返すことにより、ベースレイヤ画像の色域を変換する。そして、色域予測部４０は、色域変換後のベースレイヤ画像を、インターレイヤ予測のための参照画像として、フレームメモリ２５に格納する。なお、アップサンプリングは色域の変換の後に行われてもよい。

色域予測部４０は、エンコーダにおいて使用したものと同じルックアップテーブルをデコーダに使用させるために、ルックアップテーブル情報を生成する。第１の例において、ルックアップテーブル情報は、例えば、次の表２に示すようなシンタックスを有し得る。

第１の例において、パラメータnbp_code_Lumaは、色域予測用のルックアップテーブルにおける輝度成分の粒度を定義する。パラメータnbp_code_Chromaは、色域予測用のルックアップテーブルにおける第１色差成分及び第２色差成分の粒度を定義する。第２の例において、ルックアップテーブル情報は、例えば、次の表３に示すようなシンタックスを有し得る。

第２の例において、パラメータnbp_code_Yは、色域予測用のルックアップテーブルにおける輝度成分の粒度を定義する。パラメータnbp_code_Uは、色域予測用のルックアップテーブルにおける第１色差成分の粒度を定義する。パラメータnbp_code_Vは、色域予測用のルックアップテーブルにおける第２色差成分の粒度を定義する。

色域予測部４０は、このようなシンタックスを有するルックアップテーブル情報を生成し、生成したルックアップテーブル情報を可逆符号化部１６へ出力する。可逆符号化部１６は、入力されたルックアップテーブル情報を符号化し、符号化した情報を符号化ストリームのヘッダ領域に挿入する。ルックアップテーブル情報は、例えば、符号化ストリームのＶＰＳ（Video Parameter Set）若しくはその拡張、ＳＰＳ（Sequence Parameter Set）若しくはその拡張、ＰＰＳ（Picture Parameter Set）若しくはその拡張、又はスライスヘッダ若しくはその拡張内で符号化されてもよい。また、ルックアップテーブル情報は、ＳＥＩ（Supplemental Enhancement Information）内で符号化されてもよい。ルックアップテーブル情報がＳＥＩ内で符号化される場合、画像の復号ではなくディスプレイでの表示の際に色域を変換するような応用も可能となる。

なお、ルックアップテーブルがエンコーダ及びデコーダの双方にとって既知である場合には、ルックアップテーブル情報はエンコーダからデコーダへ伝送されなくてよい。また、ルックアップテーブルの３つの色成分の粒度が予め固定的に定義される場合には、粒度情報を含まないルックアップテーブル情報がエンコーダからデコーダへ伝送されてもよい。

一変形例として、色域予測部４０は、例えば、第１色差成分及び第２色差成分の解像度（resolution）が輝度成分の解像度よりも低いことをクロマフォーマットが示す場合に、第１色差成分及び第２色差成分の粒度（granularity）が輝度成分の粒度よりも粗いルックアップテーブルを用いてもよい。例えば、クロマフォーマットが４：２：０の場合、色差成分の解像度は、垂直方向及び水平方向の双方において輝度成分よりも低い。クロマフォーマットが４：２：２の場合、色差成分の解像度は、水平方向において輝度成分よりも低い。これらケースでは、ルックアップテーブルの粒度の削減に起因する予測精度の低下が符号化効率に与える影響は、輝度成分と比較して色差成分においてより小さい。よって、これらケースにおいて色差成分についてのみルックアップテーブルの粒度を削減することで、符号化効率の犠牲を抑制しつつ、ルックアップテーブルのバッファサイズを効果的に低減することができる。一方、色域予測部４０は、クロマフォーマットが４：４：４の場合、即ち色差成分の解像度が輝度成分の解像度と等しい場合には、既存の手法と同様に、輝度成分、第１色差成分及び第２色差成分について共通的な粒度を有するルックアップテーブルを用いてもよい。

＜３．一実施形態に係る符号化時の処理の流れ＞
［３−１．概略的な流れ］
図６は、一実施形態に係る符号化時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。

図６を参照すると、まず、ＢＬ符号化部１ａは、ベースレイヤの符号化処理を実行し、ベースレイヤの符号化ストリームを生成する（ステップＳ１１）。

共通メモリ２は、ベースレイヤの符号化処理において生成されるベースレイヤの画像（復号画像及び予測誤差画像の一方又は双方）及びレイヤ間で再利用されるパラメータをバッファリングする（ステップＳ１２）。レイヤ間で再利用されるパラメータは、例えば、解像度情報を含み得る。

次に、ＥＬ符号化部１ｂは、エンハンスメントレイヤの符号化処理を実行し、エンハンスメントレイヤの符号化ストリームを生成する（ステップＳ１３）。ここで実行されるエンハンスメントレイヤの符号化処理において、共通メモリ２によりバッファリングされているベースレイヤの画像は、色域予測部４０によりアップサンプリングされ、その色域は変換される。そして、色域変換後のベースレイヤの画像は、インターレイヤ予測において参照画像として使用され得る。

次に、多重化部３は、ＢＬ符号化部１ａにより生成されるベースレイヤの符号化ストリームと、ＥＬ符号化部１ｂにより生成されるエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する（ステップＳ１４）。

［３−２．色域予測処理］
図７は、エンハンスメントレイヤの符号化処理における色域予測処理の流れの一例を示すフローチャートである。ここで説明する色域予測処理は、ルックアップテーブルが更新される単位（例えば、シーケンス、ピクチャ又はスライス）で繰り返され得る。

図７を参照すると、まず、色域予測部４０は、ユーザによる事前の設定又は画像の解析に従って、ルックアップテーブルの輝度成分の粒度を設定する（ステップＳ２０）。また、色域予測部４０は、輝度成分の粒度よりも粗い、第１色差成分及び第２色差成分の粒度を設定する（ステップＳ２２）。次に、色域予測部４０は、設定した粒度を有するルックアップテーブルを色域予測のために決定し、決定したルックアップテーブルをＬＵＴバッファ４５にバッファリングさせる（ステップＳ２４）。ＬＵＴバッファ４５は、色域予測部４０により決定されたルックアップテーブルを、テーブルの次回の更新まで保持する。

次に、色域予測部４０は、例えば表２又は表３に示したようなシンタックスで、ルックアップテーブルを定義するルックアップテーブル情報を生成する（ステップＳ２６）。ここで生成されるルックアップテーブル情報は、輝度成分の粒度を定義する粒度情報に加えて、第１色差成分及び第２色差成分の（共通的な又は別個の）粒度を定義する粒度情報を含む。そして、可逆符号化部１６は、色域予測部４０により生成されたルックアップテーブル情報を符号化する（ステップＳ２８）。

また、色域予測部４０は、共通メモリ２から取得されるベースレイヤ画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする（ステップＳ３０）。その後のステップＳ３２〜Ｓ３８の処理は、アップサンプリング後の各画素を注目画素として、画素ごとに繰り返される。まず、色域予測部４０は、注目画素の画素ベクトルが、３つの色成分の粒度で分割された３次元の色空間のどのサブ空間に属するかを選別する（ステップＳ３２）。次に、色域予測部４０は、選別したサブ空間に対応する予測画素値を、ＬＵＴバッファ４５によりバッファリングされている３次元のルックアップテーブルから取得する（ステップＳ３４）。そして、色域予測部４０は、取得した注目画素の予測画素値を、フレームメモリ２５に格納する（ステップＳ３６）。

その後、未処理の次の注目画素が存在する場合には、処理はステップＳ３２へ戻り、次の注目画素について色域予測が繰り返される（ステップＳ３８）。アップサンプリングもまた繰り返されてよい。次の注目画素が存在しない場合には、図７に示した色域予測処理は終了する。

＜４．一実施形態に係るＥＬ復号部の構成例＞
［４−１．全体的な構成］
図８は、図４に示したＥＬ復号部６ｂの構成の一例を示すブロック図である。図８を参照すると、ＥＬ復号部６ｂは、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、ループフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital to Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、インター予測部８５、色域予測部９０並びにＬＵＴバッファ９５を備える。

蓄積バッファ６１は、逆多重化部５から入力されるエンハンスメントレイヤの符号化ストリームを記憶媒体を用いて一時的に蓄積する。

可逆復号部６２は、蓄積バッファ６１から入力されるエンハンスメントレイヤの符号化ストリームから、符号化の際に使用された符号化方式に従ってエンハンスメントレイヤの量子化データを復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に挿入されている情報を復号する。可逆復号部６２により復号される情報は、例えば、イントラ予測に関する情報及びインター予測に関する情報を含み得る。色域予測のためのパラメータ（例えば、ルックアップテーブル情報）もまた、エンハンスメントレイヤにおいて復号され得る。可逆復号部６２は、量子化データを逆量子化部６３へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６２は、インター予測に関する情報をインター予測部８５へ出力する。また、可逆復号部６２は、色域予測のためのパラメータを色域予測部９０へ出力する。

逆量子化部６３は、可逆復号部６２から入力される量子化データを、符号化の際に使用されたものと同じ量子化ステップで逆量子化し、エンハンスメントレイヤの変換係数データを復元する。逆量子化部６３は、復元した変換係数データを逆直交変換部６４へ出力する。

逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。

加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをループフィルタ６６及びフレームメモリ６９へ出力する。

ループフィルタ６６は、ＥＬ符号化部１ｂのループフィルタ２４と同様、ブロック歪みを軽減するデブロックフィルタ、各画素値にオフセット値を加えるサンプル適応オフセットフィルタ、及び原画像との誤差を最小化する適応ループフィルタを含む。ループフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。

並び替えバッファ６７は、ループフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。

Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、エンハンスメントレイヤの画像を表示させる。

フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、ループフィルタ６６から入力されるフィルタリング後の復号画像データ、及び色域予測部９０から入力されるベースレイヤの参照画像データを記憶媒体を用いて記憶する。

セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先をイントラ予測部８０とインター予測部８５との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フィルタリング後の復号画像データを参照画像データとしてインター予測部８５へ出力する。さらに、イントラ予測部８０又はインター予測部８５においてインターレイヤ予測が実行される場合、セレクタ７０は、ベースレイヤの参照画像データをイントラ予測部８０又はインター予測部８５へ供給する。

セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０とインター予測部８５との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、インター予測モードが指定された場合には、インター予測部８５から出力される予測画像データを加算部６５へ供給する。

イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてエンハンスメントレイヤのイントラ予測処理を行い、予測画像データを生成する。イントラ予測処理は、ＰＵごとに実行される。イントラ予測部８０は、イントラ予測モードとしてイントラＢＬ予測又はイントラ残差予測が指定された場合には、予測対象ブロックに対応するベースレイヤ内のコロケーテッドブロックを参照ブロックとして使用する。イントラＢＬ予測の場合、イントラ予測部８０は、参照ブロックの復号画像に基づいて予測画像を生成する。イントラ残差予測の場合、イントラ予測部８０は、参照ブロックの予測誤差画像に基づいてイントラ予測の予測誤差を予測し、予測した予測誤差の加算された予測画像を生成する。イントラ予測部８０は、生成したエンハンスメントレイヤの予測画像データをセレクタ７１へ出力する。

インター予測部８５は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてエンハンスメントレイヤのインター予測処理（動き補償処理）を行い、予測画像データを生成する。インター予測処理は、ＰＵごとに実行される。インター予測部８５は、インター予測モードとしてインター残差予測が指定された場合には、予測対象ブロックに対応するベースレイヤ内のコロケーテッドブロックを参照ブロックとして使用する。インター残差予測の場合、インター予測部８５は、参照ブロックの予測誤差画像に基づいてインター予測の予測誤差を予測し、予測した予測誤差の加算された予測画像を生成する。インター予測部８５は、生成したエンハンスメントレイヤの予測画像データをセレクタ７１へ出力する。

色域予測部９０は、共通メモリ７によりバッファリングされるベースレイヤの画像（復号画像又は予測誤差画像）を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。また、色域予測部９０は、ベースレイヤの画像とは異なる色域をエンハンスメントレイヤの画像が有する場合に、アップサンプリングしたベースレイヤの画像の色域を、エンハンスメントレイヤの画像と同等の色域に変換する。本実施形態において、色域予測部９０は、色域を変換するために、ＬＵＴバッファ９５によりバッファリングされるルックアップテーブルを用いる。色域予測部９０により色域の変換されたベースレイヤの画像は、フレームメモリ６９に格納され、イントラ予測部８０又はインター予測部８５により、インターレイヤ予測において参照画像として使用され得る。

ＬＵＴバッファ９５は、色域予測部９０により使用されるルックアップテーブルをバッファリングするバッファである。ルックアップテーブルは、ベースレイヤの輝度成分（Ｙ）、第１色差成分（Ｕ）及び第２色差成分（Ｖ）の組合せと当該組合せに対応するエンハンスメントレイヤの予測画素値とをマッピングする。

［４−２．色域予測の詳細］
本実施形態において、色域予測部９０は、上で説明した色域予測部４０と同様、ベースレイヤ画像からエンハンスメントレイヤ画像を予測する際に、第１色差成分及び第２色差成分の粒度が輝度成分の粒度よりも粗いルックアップテーブルを、色域予測のために用いる。ベースレイヤの色空間は３つの色成分の粒度に基づいて複数のサブ空間に分割され、ルックアップテーブルはサブ空間ごとに対応する予測画素値（エンハンスメントレイヤの画素ベクトル）を定義する。

色域予測部９０は、可逆復号部６２により復号されるルックアップテーブル情報を取得する。ルックアップテーブル情報は、表２又は表３において説明したように、輝度成分（Ｙ）、第１色差成分（Ｕ）及び第２色差成分（Ｖ）について設定すべき粒度を定義する粒度情報を含み得る。粒度情報は、輝度成分の粒度を定義するパラメータとは別に、第１色差成分及び第２色差成分の粒度を共通的に定義する１つのパラメータを含んでもよい。その代わりに、粒度情報は、第１色差成分及び第２色差成分の粒度をそれぞれ定義する別個のパラメータを含んでもよい。ルックアップテーブル情報は、さらに、予測画素値のビット深度を定義するパラメータ、及びルックアップテーブルの内容（入力画素値と予測画素値とのマッピング）を定義する情報を含み得る。色域予測部９０は、このようなルックアップテーブル情報に基づいて、ベースレイヤの色空間の複数のサブ空間の各々と対応する予測画素値との間のマッピングを定義するルックアップテーブルを生成し、生成したルックアップテーブルをＬＵＴバッファ９５にバッファリングさせる。このようなルックアップテーブル情報の取得及びルックアップテーブルの生成は、シーケンス、ピクチャ又はスライスなどの単位で行われ得る。ルックアップテーブル情報は、例えば、符号化ストリームのＶＰＳ若しくはその拡張、ＳＰＳ若しくはその拡張、ＰＰＳ若しくはその拡張、又はスライスヘッダ若しくはその拡張から復号されてよい。また、ルックアップテーブル情報は、ＳＥＩから復号され、ディスプレイでの表示の際に色域を変換するために利用されてもよい。

また、使用すべきルックアップテーブルを生成した後、色域予測部９０は、共通メモリ７から取得されるベースレイヤ画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。そして、色域予測部９０は、アップサンプリング後のベースレイヤの各画素ベクトルがどのサブ空間に属するかを選別し、選別されたサブ空間にマッピングされている予測画素値をルックアップテーブルを参照することにより取得する。色域予測部９０は、このような処理を各画素について繰り返すことにより、ベースレイヤ画像の色域を変換する。そして、色域予測部９０は、色域変換後のベースレイヤ画像を、インターレイヤ予測のための参照画像として、フレームメモリ６９に格納する。なお、アップサンプリングは色域の変換の後に行われてもよい。

一変形例として、色域予測部９０は、例えば、第１色差成分及び第２色差成分の解像度が輝度成分の解像度よりも低いことをクロマフォーマットが示す場合に、第１色差成分及び第２色差成分の粒度が輝度成分の粒度よりも粗いルックアップテーブルを用いてもよい。色差成分の解像度が輝度成分の解像度よりも低いケースにおいて色差成分についてのみルックアップテーブルの粒度を削減することで、符号化効率の犠牲を抑制しつつ、ルックアップテーブルのバッファサイズを効果的に低減することができる。一方、色域予測部９０は、色差成分の解像度が輝度成分の解像度と等しいことをクロマフォーマットが示す場合には、既存の手法と同様に、輝度成分、第１色差成分及び第２色差成分について共通的な粒度を有するルックアップテーブルを用いてもよい。

＜５．一実施形態に係る復号時の処理の流れ＞
［５−１．概略的な流れ］
図９は、一実施形態に係る復号時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。

図９を参照すると、まず、逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームに逆多重化する（ステップＳ６０）。

次に、ＢＬ復号部６ａは、ベースレイヤの復号処理を実行し、ベースレイヤの符号化ストリームからベースレイヤ画像を再構築する（ステップＳ６１）。

共通メモリ７は、ベースレイヤの復号処理において生成されるベースレイヤの画像（復号画像及び予測誤差画像の一方又は双方）及びレイヤ間で再利用されるパラメータをバッファリングする（ステップＳ６２）。レイヤ間で再利用されるパラメータは、例えば、解像度情報を含み得る。

次に、ＥＬ復号部６ｂは、エンハンスメントレイヤの復号処理を実行し、エンハンスメントレイヤ画像を再構築する（ステップＳ６３）。ここで実行されるエンハンスメントレイヤの復号処理において、共通メモリ７によりバッファリングされているベースレイヤの画像は、色域予測部９０によりアップサンプリングされ、その色域は変換される。そして、色域変換後のベースレイヤの画像は、インターレイヤ予測において参照画像として使用され得る。

［５−２．色域予測処理］
図１０は、エンハンスメントレイヤの復号処理における色域予測処理の流れの一例を示すフローチャートである。ここで説明する色域予測処理は、ルックアップテーブルが更新される単位（例えば、シーケンス、ピクチャ又はスライス）で繰り返され得る。

図１０を参照すると、まず、可逆復号部６２は、粒度情報を含むルックアップテーブル情報を、符号化ストリームのヘッダ領域から復号する（ステップＳ７０）。次に、色域予測部９０は、復号された粒度情報に従って、ルックアップテーブルの輝度成分の粒度を設定する（ステップＳ７２）。また、色域予測部９０は、復号された粒度情報に従って、輝度成分の粒度よりも粗い、第１色差成分及び第２色差成分の粒度を設定する（ステップＳ７４）。次に、色域予測部９０は、設定した粒度を有するルックアップテーブルを再構築（設定）し、再構築したルックアップテーブルをＬＵＴバッファ９５にバッファリングさせる（ステップＳ７６）。ＬＵＴバッファ９５は、色域予測部９０により再構築されたルックアップテーブルを、テーブルの次回の更新まで保持する。

また、色域予測部９０は、共通メモリ７から取得されるベースレイヤ画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする（ステップＳ８０）。その後のステップＳ８２〜Ｓ８８の処理は、アップサンプリング後の各画素を注目画素として、画素ごとに繰り返される。まず、色域予測部９０は、注目画素の画素ベクトルが、３つの色成分の粒度で分割された３次元の色空間のどのサブ空間に属するかを選別する（ステップＳ８２）。次に、色域予測部９０は、選別したサブ空間に対応する予測画素値を、ＬＵＴバッファ９５によりバッファリングされている３次元のルックアップテーブルから取得する（ステップＳ８４）。そして、色域予測部９０は、取得した注目画素の予測画素値を、フレームメモリ６９に格納する（ステップＳ８６）。

その後、未処理の次の注目画素が存在する場合には、処理はステップＳ８２へ戻り、次の注目画素について色域予測が繰り返される（ステップＳ８８）。アップサンプリングもまた繰り返されてよい。次の注目画素が存在しない場合には、図１０に示した色域予測処理は終了する。

＜６．ダイナミックレンジスケーラビリティ＞
レイヤ間の画像予測のために色差成分の粒度が輝度成分の粒度よりも粗いルックアップテーブルを用いるという本開示のアイディアは、色域スケーラビリティのみならず、他の種類のスケーラブル符号化にも適用可能である。例えば、画素のダイナミックレンジは、画質に影響を与える重要な属性である。既存の多くのディスプレイによりサポートされるＳＤＲ（Standard Dynamic Range）画像の最大輝度は、１００ｎｉｔである。一方、近年市場に投入されたハイエンドディスプレイによりサポートされるＨＤＲ（High Dynamic Range）画像の最大輝度は、例えば８００ｎｉｔに達する。ＳＤＲ画像は、ＨＤＲ画像との対比において、ＬＤＲ（Low Dynamic Range）画像とも呼ばれる。

図１１は、ビデオフォーマットのダイナミックレンジについて説明するための説明図である。図１１の縦軸は輝度［ｎｉｔ］を表す。自然界の最大輝度は２００００ｎｉｔに達することがあり、一般的な被写体の輝度は例えば最大で１２０００ｎｉｔ程度である。これに対し、イメージセンサのダイナミックレンジの上限は、自然界の最大輝度よりも低く、例えば４０００ｎｉｔであり得る。イメージセンサにより生成される画像信号は、さらに所定のビデオフォーマットで記録される。ＳＤＲ画像のダイナミックレンジは図中で斜線で網掛けされたバーで示されており、その上限は１００ｎｉｔである。よって、ＳＤＲ画像として撮像画像を記録する際には、輝度のダイナミックレンジは、例えばニー（knee）圧縮などの手法で、大きく圧縮される。そして、ディスプレイが表現可能な最大輝度が１０００ｎｉｔである場合、ＳＤＲ画像を表示する際に１０倍のスケーリングが行われるが、スケーリングの結果として表示画像には画質の劣化が現れ易い。ＨＤＲ画像のダイナミックレンジは図中で太枠のバーで示されており、その上限は８００ｎｉｔである。よって、ＨＤＲ画像として撮像画像を記録する際にも、輝度のダイナミックレンジは、例えばニー圧縮などの手法で圧縮される。ディスプレイが表現可能な最大輝度が１０００ｎｉｔである場合、ＨＤＲ画像を表示する際に１．２５倍のスケーリングが行われるが、スケーリング率が小さいために表示画像の画質の劣化は少なくて済む。

従って、ビデオフォーマットとしてＨＤＲ画像をサポートすることは、高画質の画像をユーザに提供することが可能となるという恩恵をもたらす。そして、ＳＤＲ画像をサポートするデバイスとの互換性の確保、ストレージの制約及び多様な伝送帯域への対応などを理由として、ダイナミックレンジスケーラビリティと称するスケーラブル符号化技術が実現されることが有益である。ダイナミックレンジスケーラビリティにおいて、ベースレイヤでＳＤＲ画像が伝送され、ＳＤＲ画像からＨＤＲ画像を復元するための情報がエンハンスメントレイヤで伝送される。ＳＤＲ画像からのＨＤＲ画像の復元にあたって重要な点は、可能な限り簡易な実装を維持し、フォーマットの汎用性及び拡張性を保証することである。

文献“High Dynamic Range Video Distribution Using Existing Video Codecs”（David Touze, el. al, 30th Picture Coding Symposium, December 8-11, 2013）は、ダイナミックレンジスケーラビリティの一形態とも言うべき技術を提案している。しかしながら、同文献により提案された技術は、ＨＤＲ画像を復元するために、複数フレームにわたる画素値から構成されるフィルタタップのフィルタリング及びＲＧＢ領域でのガンマ補正などの、複雑なアルゴリズムを要する。これに対し、上述した色域スケーラビリティと同様に、ＳＤＲ画像の３つの色成分の組合せに対応するＨＤＲ画像の予測画素値を３次元のルックアップテーブルから取得する手法を採用すれば、複雑な実装を要することなくＨＤＲ画像の相応の画質を復元することが可能となる。

一例として、ダイナミックレンジスケーラビリティを実現するために、図３に示したＥＬ符号化部１ｂの代わりに、図１２に示すＥＬ符号化部１０１ｂが使用されてよい。図１２を参照すると、ＥＬ符号化部１０１ｂは、並び替えバッファ１１、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、ループフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０、インター予測部３５、ダイナミックレンジ（ＤＲ）予測部１４０並びにＬＵＴバッファ４５を備える。

ＤＲ予測部１４０は、共通メモリ２によりバッファリングされるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。また、ＤＲ予測部１４０は、ベースレイヤの画像とは異なるダイナミックレンジをエンハンスメントレイヤの画像が有する場合に、アップサンプリングしたベースレイヤの画像のダイナミックレンジを、エンハンスメントレイヤの画像と同等のレンジに変換する。本実施形態において、ＤＲ予測部１４０は、ダイナミックレンジを変換するために、ＬＵＴバッファ４５によりバッファリングされるルックアップテーブルを用いる。ＤＲ予測部１４０によりダイナミックレンジの変換されたベースレイヤの画像は、フレームメモリ２５に格納され、イントラ予測部３０又はインター予測部３５により、インターレイヤ予測において参照画像として使用され得る。

また、ダイナミックレンジスケーラビリティを実現するために、図４に示したＥＬ復号部６ｂの代わりに、図１３に示すＥＬ復号部１０６ｂが使用されてよい。図１３を参照すると、ＥＬ復号部１０６ｂは、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、ループフィルタ６６、並び替えバッファ６７、Ｄ／Ａ変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、インター予測部８５、ＤＲ予測部１９０並びにＬＵＴバッファ９５を備える。

ＤＲ予測部１９０は、共通メモリ７によりバッファリングされるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。また、ＤＲ予測部１９０は、ベースレイヤの画像とは異なるダイナミックレンジをエンハンスメントレイヤの画像が有する場合に、アップサンプリングしたベースレイヤの画像のダイナミックレンジを、エンハンスメントレイヤの画像と同等のレンジに変換する。本実施形態において、ＤＲ予測部１９０は、ダイナミックレンジを変換するために、ＬＵＴバッファ９５によりバッファリングされるルックアップテーブルを用いる。ＤＲ予測部１９０によりダイナミックレンジの変換されたベースレイヤの画像は、フレームメモリ６９に格納され、イントラ予測部８０又はインター予測部８５により、インターレイヤ予測において参照画像として使用され得る。

ここで、ＤＲ予測部１４０及びＤＲ予測部１９０は、ベースレイヤ画像からエンハンスメントレイヤ画像を予測する際に、第１色差成分及び第２色差成分の粒度が輝度成分の粒度よりも粗いルックアップテーブルを用いる。３つの色成分の粒度の組合せは、色域スケーラビリティに関連して上述したような、いかなる組合せであってもよい。ＬＵＴバッファ４５及びＬＵＴバッファ９５は、それら粒度に基づいて分割されるベースレイヤの色空間のサブ空間と対応する予測画素値との間のマッピングを定義する、ダイナミックレンジ（ＤＲ）予測用のルックアップテーブルをバッファリングする。

ＤＲ予測用のルックアップテーブルにおける２つの色差成分の粒度が等しい場合、ＥＬ符号化部１０１ｂのＤＲ予測部１４０は、輝度成分の粒度を定義する１つのパラメータ（例えば、nbp_code_Luma）及び色差成分の粒度を定義する１つのパラメータ（例えば、nbp_code_Chroma）を含むルックアップテーブル情報を生成し得る。一方、ＤＲ予測用のルックアップテーブルにおける２つの色差成分の粒度が異なる場合、ＤＲ予測部１４０は、輝度成分の粒度を定義する１つのパラメータ（例えば、nbp_code_Y）並びに、第１色差成分及び第２色差成分の粒度をそれぞれ定義する２つのパラメータ（例えば、nbp_code_U及びnbp_code_V）を含むルックアップテーブル情報を生成し得る。ルックアップテーブル情報のシンタックスは、表２又は表３に例示したものと同様であってよい。ルックアップテーブル情報は、可逆符号化部１６により符号化され、ＶＰＳ若しくはその拡張、ＳＰＳ若しくはその拡張、ＰＰＳ若しくはその拡張、スライスヘッダ若しくはその拡張、又はＳＥＩ内で伝送され得る。伝送されたＤＲ予測用のルックアップテーブル情報は、ＥＬ復号部１０６ｂにおいて、可逆復号部６２により復号され、ＤＲ予測部１９０によりルックアップテーブルを生成するために使用され得る。

なお、一変形例として、ダイナミックレンジスケーラビリティにおいても、クロマフォーマットに依存してルックアップテーブルの色成分ごとの粒度が切り替えられてもよい。例えば、第１色差成分及び第２色差成分の解像度が輝度成分の解像度よりも低いことをクロマフォーマットが示す場合には、第１色差成分及び第２色差成分の粒度が輝度成分の粒度よりも粗いルックアップテーブルが使用され得る。一方、第１色差成分及び第２色差成分の解像度が輝度成分の解像度と等しいことをクロマフォーマットが示す場合には、３つの色成分の粒度が等しいルックアップテーブルが使用され得る。

＜７．応用例＞
［７−１．様々な製品への応用］
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。

（１）第１の応用例
図１４は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。

チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。

デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。

映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。

表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。

音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。

外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。

制御部９１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ、並びにＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。

ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。

バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。

このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００が色域の互いに異なるレイヤについて色域予測を実行する際にルックアップテーブルのために必要とされるバッファサイズを低減することができる。

（２）第２の応用例
図１５は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。

アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。

携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。

音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。

記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。

また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。

また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。

このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０が色域の互いに異なるレイヤについて色域予測を実行する際にルックアップテーブルのために必要とされるバッファサイズを低減することができる。

（３）第３の応用例
図１６は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。

記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。

チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。

外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。

エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。

ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。

ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。

セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。

デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。

ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。

制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。

ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。

このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０が色域の互いに異なるレイヤについて色域予測を実行する際にルックアップテーブルのために必要とされるバッファサイズを低減することができる。

（４）第４の応用例
図１７は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。

撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。

光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。

光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。

信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。

画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。

ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。

外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。

メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。

制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。

ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。

このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０が色域の互いに異なるレイヤについて色域予測を実行する際にルックアップテーブルのために必要とされるバッファサイズを低減することができる。

［７−２．スケーラブル符号化の様々な用途］
上述したスケーラブル符号化の利点は、様々な用途において享受され得る。以下、３つの用途の例について説明する。

（１）第１の例
第１の例において、スケーラブル符号化は、データの選択的な伝送のために利用される。図１８を参照すると、データ伝送システム１０００は、ストリーム記憶装置１００１及び配信サーバ１００２を含む。配信サーバ１００２は、ネットワーク１００３を介して、いくつかの端末装置と接続される。ネットワーク１００３は、有線ネットワークであっても無線ネットワークであってもよく、又はそれらの組合せであってもよい。図１８には、端末装置の例として、ＰＣ（Personal Computer）１００４、ＡＶ機器１００５、タブレット装置１００６及び携帯電話機１００７が示されている。

ストリーム記憶装置１００１は、例えば、画像符号化装置１０により生成される多重化ストリームを含むストリームデータ１０１１を記憶する。多重化ストリームは、ベースレイヤ（ＢＬ）の符号化ストリーム及びエンハンスメントレイヤ（ＥＬ）の符号化ストリームを含む。配信サーバ１００２は、ストリーム記憶装置１００１に記憶されているストリームデータ１０１１を読み出し、読み出したストリームデータ１０１１の少なくとも一部分を、ネットワーク１００３を介して、ＰＣ１００４、ＡＶ機器１００５、タブレット装置１００６、及び携帯電話機１００７へ配信する。

端末装置へのストリームの配信の際、配信サーバ１００２は、端末装置の能力又は通信環境などの何らかの条件に基づいて、配信すべきストリームを選択する。例えば、配信サーバ１００２は、端末装置が扱うことのできる画質を上回るほど高い画質を有する符号化ストリームを配信しないことにより、端末装置における遅延、オーバフロー又はプロセッサの過負荷の発生を回避してもよい。また、配信サーバ１００２は、高い画質を有する符号化ストリームを配信しないことにより、ネットワーク１００３の通信帯域が占有されることを回避してもよい。一方、配信サーバ１００２は、これら回避すべきリスクが存在しない場合、又はユーザとの契約若しくは何らかの条件に基づいて適切だと判断される場合に、多重化ストリームの全てを端末装置へ配信してもよい。

図１８の例では、配信サーバ１００２は、ストリーム記憶装置１００１からストリームデータ１０１１を読み出す。そして、配信サーバ１００２は、高い処理能力を有するＰＣ１００４へ、ストリームデータ１０１１をそのまま配信する。また、ＡＶ機器１００５は低い処理能力を有するため、配信サーバ１００２は、ストリームデータ１０１１から抽出されるベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を生成し、ストリームデータ１０１２をＡＶ機器１００５へ配信する。また、配信サーバ１００２は、高い通信レートで通信可能であるタブレット装置１００６へストリームデータ１０１１をそのまま配信する。また、携帯電話機１００７は低い通信レートでしか通信できないため、配信サーバ１００２は、ベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を携帯電話機１００７へ配信する。

このように多重化ストリームを用いることにより、伝送されるトラフィックの量を適応的に調整することができる。また、個々のレイヤがそれぞれ単独に符号化されるケースと比較して、ストリームデータ１０１１の符号量は削減されるため、ストリームデータ１０１１の全体が配信されるとしても、ネットワーク１００３に掛かる負荷は抑制される。さらに、ストリーム記憶装置１００１のメモリリソースも節約される。

端末装置のハードウエア性能は、装置ごとに異なる。また、端末装置において実行されるアプリケーションのケイパビリティも様々である。さらに、ネットワーク１００３の通信容量もまた様々である。データ伝送のために利用可能な容量は、他のトラフィックの存在に起因して、時々刻々と変化し得る。そこで、配信サーバ１００２は、ストリームデータの配信を開始する前に、配信先の端末装置との間のシグナリングを通じて、端末装置のハードウエア性能及びアプリケーションケイパビリティなどに関する端末情報と、ネットワーク１００３の通信容量などに関するネットワーク情報とを取得してもよい。そして、配信サーバ１００２は、取得した情報に基づいて、配信すべきストリームを選択し得る。

なお、復号すべきレイヤの抽出は、端末装置において行われてもよい。例えば、ＰＣ１００４は、受信した多重化ストリームから抽出され復号されるベースレイヤ画像をその画面に表示してもよい。また、ＰＣ１００４は、受信した多重化ストリームからベースレイヤの符号化ストリームを抽出してストリームデータ１０１２を生成し、生成したストリームデータ１０１２を記憶媒体に記憶させ、又は他の装置へ転送してもよい。

図１８に示したデータ伝送システム１０００の構成は一例に過ぎない。データ伝送システム１０００は、いかなる数のストリーム記憶装置１００１、配信サーバ１００２、ネットワーク１００３、及び端末装置を含んでもよい。

（２）第２の例
第２の例において、スケーラブル符号化は、複数の通信チャネルを介するデータの伝送のために利用される。図１９を参照すると、データ伝送システム１１００は、放送局１１０１及び端末装置１１０２を含む。放送局１１０１は、地上波チャネル１１１１上で、ベースレイヤの符号化ストリーム１１２１を放送する。また、放送局１１０１は、ネットワーク１１１２を介して、エンハンスメントレイヤの符号化ストリーム１１２２を端末装置１１０２へ送信する。

端末装置１１０２は、放送局１１０１により放送される地上波放送を受信するための受信機能を有し、地上波チャネル１１１１を介してベースレイヤの符号化ストリーム１１２１を受信する。また、端末装置１１０２は、放送局１１０１と通信するための通信機能を有し、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信する。

端末装置１１０２は、例えば、ユーザからの指示に応じて、ベースレイヤの符号化ストリーム１１２１を受信し、受信した符号化ストリーム１１２１からベースレイヤ画像を復号してベースレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したベースレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。

また、端末装置１１０２は、例えば、ユーザからの指示に応じて、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信し、ベースレイヤの符号化ストリーム１１２１とエンハンスメントレイヤの符号化ストリーム１１２２とを多重化することにより多重化ストリームを生成してもよい。また、端末装置１１０２は、エンハンスメントレイヤの符号化ストリーム１１２２からエンハンスメントレイヤ画像を復号してエンハンスメントレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したエンハンスメントレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。

上述したように、多重化ストリームに含まれる各レイヤの符号化ストリームは、レイヤごとに異なる通信チャネルを介して伝送され得る。それにより、個々のチャネルに掛かる負荷を分散させて、通信の遅延若しくはオーバフローの発生を抑制することができる。

また、何らかの条件に応じて、伝送のために使用される通信チャネルが動的に選択されてもよい。例えば、データ量が比較的多いベースレイヤの符号化ストリーム１１２１は帯域幅の広い通信チャネルを介して伝送され、データ量が比較的少ないエンハンスメントレイヤの符号化ストリーム１１２２は帯域幅の狭い通信チャネルを介して伝送され得る。また、特定のレイヤの符号化ストリーム１１２２が伝送される通信チャネルが、通信チャネルの帯域幅に応じて切り替えられてもよい。それにより、個々のチャネルに掛かる負荷をより効果的に抑制することができる。

なお、図１９に示したデータ伝送システム１１００の構成は一例に過ぎない。データ伝送システム１１００は、いかなる数の通信チャネル及び端末装置を含んでもよい。また、放送以外の用途において、ここで説明したシステムの構成が利用されてもよい。

（３）第３の例
第３の例において、スケーラブル符号化は、映像の記憶のために利用される。図２０を参照すると、データ伝送システム１２００は、撮像装置１２０１及びストリーム記憶装置１２０２を含む。撮像装置１２０１は、被写体１２１１を撮像することにより生成される画像データをスケーラブル符号化し、多重化ストリーム１２２１を生成する。多重化ストリーム１２２１は、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを含む。そして、撮像装置１２０１は、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給する。

ストリーム記憶装置１２０２は、撮像装置１２０１から供給される多重化ストリーム１２２１を、モードごとに異なる画質で記憶する。例えば、ストリーム記憶装置１２０２は、通常モードにおいて、多重化ストリーム１２２１からベースレイヤの符号化ストリーム１２２２を抽出し、抽出したベースレイヤの符号化ストリーム１２２２を記憶する。これに対し、ストリーム記憶装置１２０２は、高画質モードにおいて、多重化ストリーム１２２１をそのまま記憶する。それにより、ストリーム記憶装置１２０２は、高画質での映像の記録が望まれる場合にのみ、データ量の多い高画質のストリームを記録することができる。そのため、画質の劣化のユーザへの影響を抑制しながら、メモリリソースを節約することができる。

例えば、撮像装置１２０１は、監視カメラであるものとする。撮像画像に監視対象（例えば侵入者）が映っていない場合には、通常モードが選択される。この場合、撮像画像は重要でない可能性が高いため、データ量の削減が優先され、映像は低画質で記録される（即ち、ベースレイヤの符号化ストリーム１２２２のみが記憶される）。これに対し、撮像画像に監視対象（例えば、侵入者である被写体１２１１）が映っている場合には、高画質モードが選択される。この場合、撮像画像は重要である可能性が高いため、画質の高さが優先され、映像は高画質で記録される（即ち、多重化ストリーム１２２１が記憶される）。

図２０の例では、モードは、例えば画像解析結果に基づいて、ストリーム記憶装置１２０２により選択される。しかしながら、かかる例に限定されず、撮像装置１２０１がモードを選択してもよい。後者の場合、撮像装置１２０１は、通常モードにおいて、ベースレイヤの符号化ストリーム１２２２をストリーム記憶装置１２０２へ供給し、高画質モードにおいて、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給してもよい。

なお、モードを選択するための選択基準は、いかなる基準であってもよい。例えば、マイクロフォンを通じて取得される音声の大きさ又は音声の波形などに応じて、モードが切り替えられてもよい。また、周期的にモードが切り替えられてもよい。また、ユーザからの指示に応じてモードが切り替えられてもよい。さらに、選択可能なモードの数は、階層化されるレイヤの数を超えない限り、いかなる数であってもよい。

図２０に示したデータ伝送システム１２００の構成は一例に過ぎない。データ伝送システム１２００は、いかなる数の撮像装置１２０１を含んでもよい。また、監視カメラ以外の用途において、ここで説明したシステムの構成が利用されてもよい。

［７−３．その他］
（１）マルチビューコーデックへの応用
マルチビューコーデックは、マルチレイヤコーデックの一種であり、いわゆる多視点映像を符号化し及び復号するための画像符号化方式である。図２１は、マルチビューコーデックについて説明するための説明図である。図２１を参照すると、３つの視点においてそれぞれ撮影される３つのビューのフレームのシーケンスが示されている。各ビューには、ビューＩＤ（view_id）が付与される。これら複数のビューのうちいずれか１つのビューが、ベースビュー（base view）に指定される。ベースビュー以外のビューは、ノンベースビューと呼ばれる。図２１の例では、ビューＩＤが“０”であるビューがベースビューであり、ビューＩＤが“１”又は“２”である２つのビューがノンベースビューである。これらビューが階層的に符号化される場合、各ビューがレイヤに相当し得る。図中に矢印で示したように、ノンベースビューの画像は、ベースビューの画像を参照して符号化され及び復号される（他のノンベースビューの画像も参照されてよい）。

図２２は、マルチビューコーデックをサポートする画像符号化装置１０ｖの概略的な構成を示すブロック図である。図２２を参照すると、画像符号化装置１０ｖは、第１レイヤ符号化部１ｃ、第２レイヤ符号化部１ｄ、共通メモリ２及び多重化部３を備える。

第１レイヤ符号化部１ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像を受け取ることを除き、図３を用いて説明したＢＬ符号化部１ａの機能と同等である。第１レイヤ符号化部１ｃは、ベースビュー画像を符号化し、第１レイヤの符号化ストリームを生成する。第２レイヤ符号化部１ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像を受け取ることを除き、図３を用いて説明したＥＬ符号化部１ｂの機能と同等である。第２レイヤ符号化部１ｄは、ノンベースビュー画像を符号化し、第２レイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、第１レイヤ符号化部１ｃにより生成される第１レイヤの符号化ストリームと、第２レイヤ符号化部１ｄにより生成される第２レイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。

図２３は、マルチビューコーデックをサポートする画像復号装置６０ｖの概略的な構成を示すブロック図である。図２３を参照すると、画像復号装置６０ｖは、逆多重化部５、第１レイヤ復号部６ｃ、第２レイヤ復号部６ｄ及び共通メモリ７を備える。

逆多重化部５は、マルチレイヤの多重化ストリームを第１レイヤの符号化ストリーム及び第２レイヤの符号化ストリームに逆多重化する。第１レイヤ復号部６ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図４を用いて説明したＢＬ復号部６ａの機能と同等である。第１レイヤ復号部６ｃは、第１レイヤの符号化ストリームからベースビュー画像を復号する。第２レイヤ復号部６ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図４を用いて説明したＥＬ復号部６ｂの機能と同等である。第２レイヤ復号部６ｄは、第２レイヤの符号化ストリームからノンベースビュー画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。

マルチビューの画像データを符号化し又は復号する際、ビュー間で色域が異なる場合には、本開示に係る技術に従って、ビュー間の色域の変換が制御されてもよい。それにより、スケーラブル符号化のケースと同様に、マルチビューコーデックにおいても、色域予測のためのルックアップテーブルのために必要とされるバッファサイズを低減することができる。

（２）ストリーミング技術への応用
本開示に係る技術は、ストリーミングプロトコルに適用されてもよい。例えば、ＭＰＥＧ−ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）では、解像度などのパラメータが互いに異なる複数の符号化ストリームがストリーミングサーバにおいて予め用意される。そして、ストリーミングサーバは、複数の符号化ストリームからストリーミングすべき適切なデータをセグメント単位で動的に選択し、選択したデータを配信する。このようなストリーミングプロトコルにおいて、本開示に係る技術に従って、符号化ストリーム間の色域の予測が制御されてもよい。

＜７．まとめ＞
ここまで、図１〜図２３を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する第２レイヤの予測画素値とをマッピングするルックアップテーブルを用いて、第１レイヤの画像から当該第１レイヤとは異なる色域（又はダイナミックレンジ）を有する第２レイヤの画像を予測する際に、第１色差成分及び第２色差成分の粒度が輝度成分の粒度よりも粗いルックアップテーブルが使用される。従って、３つの色成分の粒度が互いに等しいルックアップテーブルが使用されるケースと比較して、ルックアップテーブルをバッファリングするバッファのサイズを低減することができる。また、多くの用途において、色差成分の画像解像度は輝度成分の画像解像度よりも低く設定されることから、輝度成分の精細な粒度を維持しつつ色差成分の粒度のみをより粗くすることで、粒度の削減に起因する予測精度の低下という影響を小さくすることができる。

また、上述した実施形態によれば、ルックアップテーブルの第１色差成分及び第２色差成分の粒度に関連するルックアップテーブル情報が、輝度成分の粒度とは別に符号化され及び復号される。かかる構成によれば、色成分ごとの解像度の違い、符号化効率に関する要件、又はメモリリソースの制約などの様々な条件に合わせて、バッファサイズの削減の程度を柔軟に調整することが可能となる。

なお、本明細書に記述したＣＵ、ＰＵ及びＴＵとの用語は、ＨＥＶＣにおいて、個々のブロックに関連付けられるシンタックスをも含む論理的な単位を意味する。画像の一部分としての個々のブロックのみに着目する場合、これらは、ＣＢ（Coding Block）、ＰＢ（Prediction Block）及びＴＢ（Transform Block）との用語にそれぞれ置き換えられてもよい。ＣＢは、ＣＴＢ（Coding Tree Block）を四分木（Quad-Tree）状に階層的に分割することにより形成される。１つの四分木の全体がＣＴＢに相当し、ＣＴＢに対応する論理的な単位はＣＴＵ（Coding Tree Unit）と呼ばれる。ＨＥＶＣにおけるＣＴＢ及びＣＢは、符号化処理の処理単位である点でＨ．２６４／ＡＶＣにおけるマクロブロックに類似する役割を有する。但し、ＣＴＢ及びＣＢは、そのサイズが固定的でない点でマクロブロックと異なる（マクロブロックのサイズは常に１６×１６画素である）。ＣＴＢのサイズは１６×１６画素、３２×３２画素及び６４×６４画素から選択され、符号化ストリーム内でパラメータにより指定される。ＣＢのサイズは、ＣＴＢの分割の深さによって変化し得る。

また、本明細書では、色域予測（又はＤＲ予測）に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する第２レイヤの予測画素値とをマッピングするルックアップテーブルを用いて、前記第１レイヤの画像から、前記第１レイヤとは異なる色域を有する前記第２レイヤの画像を予測する予測部、
を備え、
前記予測部は、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度よりも粗い前記ルックアップテーブルを用いる、
画像処理装置。
（２）
前記画像処理装置は、
前記ルックアップテーブルの前記第１色差成分及び前記第２色差成分の粒度に関連するルックアップテーブル情報を復号する復号部、
をさらに備える、
前記（１）に記載の画像処理装置。
（３）
前記画像処理装置は、
前記復号部により復号される前記ルックアップテーブル情報に基づいて設定される前記ルックアップテーブルをバッファリングするルックアップテーブルバッファ、
をさらに備える、前記（２）に記載の画像処理装置。
（４）
前記画像処理装置は、
前記ルックアップテーブルの前記第１色差成分及び前記第２色差成分の粒度に関連するルックアップテーブル情報を符号化する符号化部、
をさらに備える、
前記（１）に記載の画像処理装置。
（５）
前記予測部は、前記第１色差成分及び前記第２色差成分の解像度が前記輝度成分の解像度よりも低いことをクロマフォーマットが示す場合に、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度よりも粗い前記ルックアップテーブルを用いる、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（６）
第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せの各々と当該組合せに対応する第２レイヤの予測画素値とをマッピングするルックアップテーブルを用いて、前記第１レイヤの画像から、前記第１レイヤとは異なる色域を有する前記第２レイヤの画像を予測すること、
を含み、
前記第２レイヤの画像の予測は、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度よりも粗い前記ルックアップテーブルを用いて行われる、
画像処理方法。

また、以下のような構成も本開示の技術的範囲に属する。
（１）
第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する第２レイヤの予測画素値とをマッピングするルックアップテーブルを用いて、前記第１レイヤの画像から、前記第１レイヤとは異なるダイナミックレンジを有する前記第２レイヤの画像を予測する予測部、
を備え、
前記予測部は、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度よりも粗い前記ルックアップテーブルを用いる、
画像処理装置。
（２）
前記画像処理装置は、
前記ルックアップテーブルの前記第１色差成分及び前記第２色差成分の粒度に関連するルックアップテーブル情報を復号する復号部、
をさらに備える、
前記（１）に記載の画像処理装置。
（３）
前記画像処理装置は、
前記復号部により復号される前記ルックアップテーブル情報に基づいて設定される前記ルックアップテーブルをバッファリングするルックアップテーブルバッファ、
をさらに備える、前記（２）に記載の画像処理装置。
（４）
前記画像処理装置は、
前記ルックアップテーブルの前記第１色差成分及び前記第２色差成分の粒度に関連するルックアップテーブル情報を符号化する符号化部、
をさらに備える、
前記（１）に記載の画像処理装置。
（５）
前記予測部は、前記第１色差成分及び前記第２色差成分の解像度が前記輝度成分の解像度よりも低いことをクロマフォーマットが示す場合に、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度よりも粗い前記ルックアップテーブルを用いる、前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（６）
第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せの各々と当該組合せに対応する第２レイヤの予測画素値とをマッピングするルックアップテーブルを用いて、前記第１レイヤの画像から、前記第１レイヤとは異なるダイナミックレンジを有する前記第２レイヤの画像を予測すること、
を含み、
前記第２レイヤの画像の予測は、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度よりも粗い前記ルックアップテーブルを用いて行われる、
画像処理方法。

また、以下のような構成も本開示の技術的範囲に属する。
（１）
第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する第２レイヤの予測画素値とをマッピングするルックアップテーブルを用いて、前記第１レイヤの画像から、前記第１レイヤとは異なる色域を有する前記第２レイヤの画像を予測するように構成される回路、
を備え、
前記回路は、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度よりも粗い前記ルックアップテーブルを用いる、
画像処理装置。
（２）
前記回路は、前記ルックアップテーブルの前記第１色差成分及び前記第２色差成分の前記粒度に関連するルックアップテーブル情報を復号する、ようにさらに構成される、前記（１）に記載の画像処理装置。
（３）
前記回路により復号される前記ルックアップテーブル情報に基づいて設定される前記ルックアップテーブルをバッファリングするように構成されるルックアップテーブルバッファ、をさらに備える、前記（２）に記載の画像処理装置。
（４）
前記回路は、前記第１色差成分及び前記第２色差成分の解像度が前記輝度成分の解像度よりも低いことをクロマフォーマットが示す場合に、前記第１色差成分及び前記第２色差成分の前記粒度が前記輝度成分の前記粒度よりも粗い前記ルックアップテーブルを用いる、前記（１）に記載の画像処理装置。
（５）
画像処理装置の回路により、第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する第２レイヤの予測画素値とをマッピングするルックアップテーブルを用いて、前記第１レイヤの画像から、前記第１レイヤとは異なる色域を有する前記第２レイヤの画像を予測すること、
を含み、
前記第２レイヤの画像の前記予測は、前記回路により、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度よりも粗い前記ルックアップテーブルを用いて行われる、
画像処理方法。
（６）
前記ルックアップテーブルの前記第１色差成分及び前記第２色差成分の前記粒度に関連するルックアップテーブル情報を復号すること、をさらに含む、前記（５）に記載の画像処理方法。
（７）
前記回路により復号される前記ルックアップテーブル情報に基づいて設定される前記ルックアップテーブルをバッファリングすること、をさらに含む、前記（６）に記載の画像処理方法。
（８）
前記第２レイヤの画像の前記予測は、前記第１色差成分及び前記第２色差成分の解像度が前記輝度成分の解像度よりも低いことをクロマフォーマットが示す場合に、前記第１色差成分及び前記第２色差成分の前記粒度が前記輝度成分の前記粒度よりも粗い前記ルックアップテーブルを用いて行われる、前記（５）に記載の画像処理方法。
（９）
第１レイヤの符号化された画像データと、
前記第１レイヤとは異なる色域を有する第２レイヤの符号化された画像データと、
前記第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する前記第２レイヤの予測画素値とをマッピングするルックアップテーブルと、
を記憶している、非一時的なコンピュータ読取可能な媒体であって、
前記第１レイヤの画像から前記第２レイヤの画像が前記ルックアップテーブルを用いてデコーダにより予測され、
前記ルックアップテーブルにおいて、前記第１色差成分及び前記第２色差成分の粒度は前記輝度成分の粒度よりも粗い、
非一時的なコンピュータ読取可能な媒体。
（１０）
前記ルックアップテーブルの前記第１色差成分及び前記第２色差成分の前記粒度に関連するルックアップテーブル情報、をさらに記憶している、前記（９）に記載の非一時的なコンピュータ読取可能な媒体。
（１１）
前記第１色差成分及び前記第２色差成分の解像度が前記輝度成分の解像度よりも低いことをクロマフォーマットが示す場合に、前記ルックアップテーブルにおいて、前記第１色差成分及び前記第２色差成分の粒度は前記輝度成分の粒度よりも粗い、前記（９）に記載の非一時的なコンピュータ読取可能な媒体。
（１２）
第１レイヤの画像を符号化し、
前記第１レイヤとは異なる色域を有する第２レイヤの画像を符号化し、
前記第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する前記第２レイヤの予測画素値とをマッピングするルックアップテーブルを生成する、
ように構成される回路、を備え、
前記ルックアップテーブルにおいて、前記第１色差成分及び前記第２色差成分の粒度は前記輝度成分の粒度よりも粗い、
エンコーダ。
（１３）
前記回路は、前記ルックアップテーブルの前記第１色差成分及び前記第２色差成分の前記粒度に関連するルックアップテーブル情報を符号化する、ようにさらに構成される、前記（１２）に記載のエンコーダ。
（１４）
前記第２レイヤの画像は、前記第１色差成分及び前記第２色差成分の解像度が前記輝度成分の解像度よりも低いことをクロマフォーマットが示す場合に、前記第１色差成分及び前記第２色差成分の前記粒度が前記輝度成分の前記粒度よりも粗い前記ルックアップテーブルを用いて予測される、前記（１２）に記載のエンコーダ。

１０，１０ｖ 画像符号化装置（画像処理装置）
１６ 可逆符号化部
４０ 色域予測部
４５ ルックアップテーブルバッファ
６０，６０ｖ 画像復号装置（画像処理装置）
６２ 可逆復号部
９０ 色域予測部
９５ ルックアップテーブルバッファ

Claims (8)

1. 第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する第２レイヤの予測画素値とをマッピングするルックアップテーブルを用いて、前記第１レイヤの画像から、前記第１レイヤとは異なる色域を有する前記第２レイヤの画像を予測するように構成される回路、
   を備え、
   前記回路は、前記第１色差成分及び前記第２色差成分の解像度が前記輝度成分の解像度よりも低いことをクロマフォーマットが示す場合に、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度よりも粗い前記ルックアップテーブルを用い、前記第１色差成分及び前記第２色差成分の解像度が前記輝度成分の解像度と等しいことをクロマフォーマットが示す場合に、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度と等しい前記ルックアップテーブルを用いる、
   画像処理装置。
2. 前記回路は、前記ルックアップテーブルの前記第１色差成分及び前記第２色差成分の前記粒度に関連するルックアップテーブル情報を復号する、ようにさらに構成される、請求項１に記載の画像処理装置。
3. 前記回路により復号される前記ルックアップテーブル情報に基づいて設定される前記ルックアップテーブルをバッファリングするように構成されるルックアップテーブルバッファ、をさらに備える、請求項２に記載の画像処理装置。
4. 画像処理装置の回路により、第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する第２レイヤの予測画素値とをマッピングするルックアップテーブルを用いて、前記第１レイヤの画像から、前記第１レイヤとは異なる色域を有する前記第２レイヤの画像を予測すること、
   を含み、
   前記第２レイヤの画像の前記予測は、前記第１色差成分及び前記第２色差成分の解像度が前記輝度成分の解像度よりも低いことをクロマフォーマットが示す場合に、前記回路により、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度よりも粗い前記ルックアップテーブルを用い、前記第１色差成分及び前記第２色差成分の解像度が前記輝度成分の解像度と等しいことをクロマフォーマットが示す場合に、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度と等しい前記ルックアップテーブルを用いて行われる、
   画像処理方法。
5. 前記ルックアップテーブルの前記第１色差成分及び前記第２色差成分の前記粒度に関連するルックアップテーブル情報を復号すること、をさらに含む、請求項４に記載の画像処理方法。
6. 前記回路により復号される前記ルックアップテーブル情報に基づいて設定される前記ルックアップテーブルをバッファリングすること、をさらに含む、請求項５に記載の画像処理方法。
7. 第１レイヤの画像を符号化し、
   前記第１レイヤとは異なる色域を有する第２レイヤの画像を符号化し、
   前記第１レイヤの輝度成分、第１色差成分及び第２色差成分の組合せと当該組合せに対応する前記第２レイヤの予測画素値とをマッピングするルックアップテーブルを生成する、
   ように構成される回路、を備え、
   前記第２レイヤの画像は、前記第１色差成分及び前記第２色差成分の解像度が前記輝度成分の解像度よりも低いことをクロマフォーマットが示す場合に、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度よりも粗い前記ルックアップテーブルを用いて予測され、前記第１色差成分及び前記第２色差成分の解像度が前記輝度成分の解像度と等しいことをクロマフォーマットが示す場合に、前記第１色差成分及び前記第２色差成分の粒度が前記輝度成分の粒度と等しい前記ルックアップテーブルを用いて予測される、
   エンコーダ。
8. 前記回路は、前記ルックアップテーブルの前記第１色差成分及び前記第２色差成分の前記粒度に関連するルックアップテーブル情報を符号化する、ようにさらに構成される、請求項７に記載のエンコーダ。
   
   

Images