JP5905610B2 - ３ｄ視覚的ダイナミックレンジ符号化 - Google Patents

Description

関連出願への相互参照
本願は2012年3月12日に出願された米国特許仮出願第61/609,542号に対する優先権を主張するものである。同出願の内容はここにその全体において参照によって組み込まれる。

技術
本発明は概括的には画像に関する。より詳細には、本発明のある実施形態は、三次元（3D）視覚的ダイナミックレンジ（VDR: visual dynamic range）画像の階層状のエンコードおよびデコードに関する。

3Dビデオ・システムは、映画館であれ家庭であれ、消費者の経験を高めるために多大な関心を集めている。これらのシステムは、立体視または裸眼立体視方法を使うが、それには次のようなものが含まれる：
（ｉ）アナグリフ――通例一方の目のための赤および他方の目のためのシアンの二色フィルタを通じて光をフィルタリングすることにより左右の目の分離を提供する。
（ｉｉ）線形偏光――（通例）垂直配向の線形偏光子を通じて左目をフィルタリングし、水平配向の線形偏光子を通じて右目画像をフィルタリングすることによってプロジェクターにおいて分離を提供する。
（ｉｉｉ）円偏光――（通例）左巻きの円偏光子を通じて左目画像をフィルタリングし、右巻きの円偏光子を通じて右目画像をフィルタリングすることによってプロジェクターにおいて分離を提供する。
（ｉｖ）シャッター眼鏡――左右の画像を時間的に多重化することによって分離を提供する。
（ｖ）左右の目をスペクトル的にフィルタリングすることによってプロジェクターにおいて分離を提供する。左右の目はそれぞれ赤、緑および青スペクトルの相補的な部分を受け取る。

残念ながら、これらのシステムは貧弱なダイナミックレンジをもつ立体視画像対を用いており、その結果、奥行きの幻想が平板になる――特に真のリアリズムを欠く。ダイナミックレンジ（DR）は、たとえば最も暗い暗部から最も明るい明部までの画像中の強度（たとえばルミナンス、ルーマ）の範囲である。これらの立体視画像対は、通常のテレビジョンおよびコンピュータ・モニタの限られたレンダリング機能に対応する約三桁のダイナミックレンジ（たとえば、標準ダイナミックレンジ（standard dynamic range）、SDR）によって特徴付けられる。これは、（順応により）人間の視覚系に知覚可能なほぼ14ないし15桁のダイナミックレンジ（たとえば、高ダイナミックレンジ（high dynamic range）、HDR）にとって、あるいは同時に知覚可能な5ないし6桁のダイナミックレンジ（たとえばVDR）にとってさえ、乏しい呈示である。

国際公開第2010/123909号、Tourapis, A. et al., Directed Interpolation/Post-processing Methods for Video Encoded Data 国際公開第2011/005624号、Tourapis, A. et al., Encoding and Decoding Architecture for Frame Compatible 3D Video Delivery

ダイナミックレンジを単純に大きくすることは、特に3Dコンテンツについては帯域幅および記憶の制限もあって、しばしば現実的ではない。二倍の画像（たとえば左目および右目の視点の画像）をもつ3D立体視ビデオは、二次元（2D）ビデオに対してすでに二倍の帯域幅および記憶を必要とすることがある。本願の発明者によって認識されたところでは、より優れた没入体験のために、実際的な帯域幅および記憶の要求を与えられたうえでの、3D画像処理のための改善された技法が望ましい。これらの改善された技法は単一ビューSDRシステム、単一ビューVDRシステムおよび3D SDRシステムと後方互換であることが好ましいことがさらに認識される。

上記のセクションで記述されたアプローチは、追求されることができたが必ずしも以前に着想または追求されたアプローチではない。したがって、特に断りのない限り、該セクションにおいて記述されるアプローチはいずれも、該セクションに含まれているというだけのために従来技術の資格をもつと想定されるべきではない。同様に、特に断りのない限り、一つまたは複数のアプローチに関して特定されている問題は、該セクションに基づいて何らかの従来技術において認識されていたと想定されるべきではない。

本発明の実施形態は、限定ではなく例として付属の図面に示される。図面において、同様の参照符号は同様の要素を指す。
本発明のある実施形態に基づくVDR-SDRシステムのための例示的なデータ・フローを描いた図である。 本発明のある実施形態に基づく例示的な二重ビュー二重階層エンコード・モジュールを描いた図である。 本発明のある実施形態に基づく例示的な3D VDRエンコーダを描いた図である。 本発明のある実施形態に基づく例示的な二重ビュー二重階層デコード・モジュールを描いた図である。 本発明のある実施形態に基づく例示的な3D VDRデコーダを描いた図である。

本稿では3D VDR画像の階層状のエンコードおよびデコードが記述される。対応する3D VDRおよびSDR画像の対、すなわち同じシーンを、ただし異なるビューおよび異なるレベルのダイナミックレンジで表わす画像が与えられるとして、本明細書は、デコーダが：単一ビューSDR、3D SDR、単一ビューVDRまたは3D VDRの信号のうちの任意のものを簡単に抽出できるよう、エンコーダが3Dビデオを効率的にエンコードできるようにする方法を記述する。以下の記述では、説明のために、数多くの個別的詳細が、本発明の十全な理解を与えるために記述される。しかしながら、本発明がそうした個別的詳細なしでも実施されうることは明白であろう。他方、よく知られた構造および装置は、本発明を無用に埋没させるのを避けるために、網羅的な詳細さでは記述されない。

〈概観〉
本稿に記述される例示的な実施形態は、3D VDR画像の階層状のエンコードおよびデコードに関する。3D VDR画像および3D SDR画像のシーケンスが、単眼視SDR基本層および一つまたは複数の向上層を使ってエンコードされうる。エンコーダでは、第一のVDRビューおよび第一のSDRビューが二重ビュー二重階層（DVDL: dual-view-dual-layer）エンコーダを使ってエンコードされ、第一の符号化された信号および第二の符号化された信号を出力する。第一の予測されたVDRビューおよび第二の予測されたVDRビューを含む予測された3D VDR信号が生成される。第一のVDRビューおよび第一の予測されたVDRビューに基づいて第一のVDR残差が生成される。第二のVDRビューおよび第二の予測されたVDRビューに基づいて第二のVDR残差が生成される。第一のVDR残差および第二のVDR残差は、DVDLエンコーダを使ってエンコードされ、第三の符号化された信号および第四の符号化された信号を出力する。二つのDVDLデコーダおよびSDRからVDRの予測器を有する3D VDRデコーダが、四つの符号化された入力信号を使って、単一ビューSDR、3D SDR、単一ビューVDRまたは3D VDR信号を生成しうる。

〈記号と名称〉
本稿での用法では、用語高ダイナミックレンジ（HDR）は、人間の視覚系のほぼ14ないし15桁にわたるDR幅に関する。たとえば、本質的に正常な（たとえば統計的、生理的、バイオメトリックまたは眼科的な意味のうちの一つまたは複数の意味で）、よく順応した人間は約15桁にまたがる強度範囲をもつ。順応した人間は、ほんの一握りの光子ほどの弱い光源を知覚しうる。しかしながら、これらの同じ人間が、砂漠、海または雪における白昼の太陽のほとんど痛々しいほどの明るい強度を感知することがある（あるいは、傷害を防ぐため短時間とはいえ、太陽を見ることさえある）。ただし、この幅は「順応した」人間に利用可能である。たとえばそのような人の視覚系は、リセットし調整するためのある時間期間をもつ。

対照的に、人間が強度範囲の広範な幅を同時に知覚しうるDRは、HDRに対してある程度打ち切られていることがある。本稿での用法では、視覚的ダイナミックレンジまたは可変ダイナミックレンジ（VDR）は、個々にまたは交換可能に、HVSによって同時に知覚可能なDRに関係する。本稿での用法では、VDRは5〜6桁にまたがるDRに関しうる。よって、真のシーン基準の（scene referred）HDRに比べるといくぶん狭いかもしれないが、それでもVDRは幅広いDR幅を表す。

スケーラブル・ビデオ符号化および高精細度テレビジョン（HDTV）技術と同様、画像DRの拡張は典型的には二面的なアプローチに関わる。たとえば、現代のHDR対応カメラで捕捉されるシーン基準のHDRコンテンツは、コンテンツのSDRバージョンを生成するために使用されうる。あるアプローチでは、捕捉されたVDRバージョンからSDRバージョンを生成することは、HDRコンテンツ中の強度（たとえばルミナンス、ルーマ）に関係したピクセル値にグローバルなトーン・マッピング演算子（TMO: tone mapping operator）を適用することに関わりうる。第二のアプローチでは、SDR画像の生成は、VDRデータに対して可逆な演算子（または予測器）を適用することに関わりうる。帯域幅節約のためまたは他の事情のために、実際の捕捉されたVDRコンテンツおよび対応するSDRバージョンの両方の伝送は実際的なアプローチではないことがある。

よって、もとのTMOに対して逆にされた逆トーン・マッピング演算子（iTMO）またはもとの予測器に対する逆演算子が、生成されたSDRコンテンツ・バージョンに適用されてもよく、それによりVDRコンテンツのあるバージョンが予測されることができる。予測されたVDRコンテンツ・バージョンはもとの捕捉されたHDRコンテンツと比較されてもよい。たとえば、もとのVDRバージョンから予測されたVDRバージョンを減算することで残差画像を生成してもよい。エンコーダは、生成されたSDRコンテンツを基本層（BL: base layer）として送り、生成されたSDRコンテンツ・バージョン、任意の残差画像およびiTMOまたは他の予測器を向上層（EL: enhancement layer）としてまたはメタデータとしてパッケージ化してもよい。

ELおよびメタデータをそのSDRコンテンツ、残差および予測器とともにビットストリームにおいて送ることは、典型的には、HDRおよびSDRコンテンツの両方を直接ビットストリーム中に送る際に消費されるよりも少ない帯域幅を消費する。エンコーダによって送られたビットストリームを受け取る互換なデコーダは、SDRをデコードし、通常のディスプレイ上でレンダリングしてもよい。しかしながら、互換なデコーダは、より高機能なディスプレイ上での使用のために、残差画像、iTMO予測器またはメタデータを使ってそれからHDRコンテンツの予測されたバージョンを計算してもよい。

立体視または3Dの撮像はVDR画像に追加的なレベルの複雑さを加える。立体視撮像のもとでは、各画像またはビデオ・フレームは少なくとも二つのビューによって表わされる。後方互換性のために、レガシー・デコーダはビューの少なくとも一つをデコードできるが、立体視デコーダは両方のビューを再構成し、表示できる。本稿に記載される例示的な3D VDRビデオ・エンコードおよびデコード・ソリューションは、SDR HDTVから3D VDR HDTVへの移行を容易にする。例示的な実施形態は3D VDR画像の階層化されたエンコードおよびデコードに関し、図１〜図５を参照しつつ、本稿で記述される。

〈例示的なVDR-SDRシステム〉
図１は、本発明のある実施形態に基づく階層化されたVDR-SDRシステム１００における例示的なデータ・フローを描いている。3D HDR画像またはビデオ・シーケンスは、3D HDRカメラ１１０または他の同様の手段を使って捕捉または生成される。捕捉後、捕捉された画像またはビデオは、マスタリング・プロセスによって処理されてターゲット3D VDR画像１２５を生成する。マスタリング・プロセスは、編集、一次および二次色補正、色変換およびノイズ・フィルタリングといった多様な処理ステップを組み込んでいてもよい。このプロセスのVDR出力１２５は典型的には、捕捉された画像がどのようにターゲットVDRディスプレイ（映画館VDR投影システムを含む）上で表示されるかについての監督の意図を表わす。

マスタリング・プロセスは、対応する3D SDR画像１４５をも出力してもよい。これは捕捉された画像がレガシーSDRディスプレイ上でどのように表示されるかについての監督の意図を表わす。SDR出力１４５は、マスタリング回路１２０から直接与えられてもよく、あるいは別個のVDRからSDRの変換器１４０をもって生成されてもよい。

この例示的な実施形態において、VDR １２５およびSDR １４５信号はエンコーダ１３０に入力される。エンコーダ１３０の目的は、VDRおよびSDR信号を送信するよう要求される帯域幅を減らすが、対応するデコーダ１５０がSDRまたはVDR信号をデコードおよびレンダリングすることを許容もする符号化されたビットストリームを生成することである。ある例示的実施形態では、エンコーダ１３０は、その出力を基本層、一つまたは複数の向上層およびメタデータとして表現する階層化されたエンコーダであってもよい。本稿での用法では、用語「メタデータ」は、符号化されたビットストリームの一部として伝送され、デコードされた画像をレンダリングするためにデコーダを支援する任意の補助情報に関する。そのようなメタデータは、色空間または色域情報、ダイナミックレンジ情報、トーン・マッピング情報または本稿に記載されるもののような予測器演算子のようなデータを含みうるが、これに限られない。

受信器では、デコーダ１５０は受信された符号化されたビットストリームおよびメタデータを使い、ターゲット・ディスプレイの機能に応じて、単一ビューSDR画像１５３、二つのSDRビュー（たとえば１５３および１５５）に基づく3D SDR画像、単一ビューVDR画像１５７または二つのVDRビュー（たとえば１５７および１５９）に基づく3D VDR画像１５９のいずれかをレンダリングする。たとえば、単眼視SDRディスプレイは基本層およびメタデータのみを使って、単一ビューSDR画像をレンダリングしてもよい。対照的に、3D VDRディスプレイはすべての入力層からの情報およびメタデータを使って、3D VDR信号をレンダリングしてもよい。本発明のある実施形態は、二つのビューを使うディスプレイで実装されてもよい。追加的または代替的に、本発明のある実施形態は、三つ以上のビュー（たとえば3、4、5またはそれ以上のビュー）を使うディスプレイで実装されてもよい。たとえば、ある実施形態は、裸眼立体視ディスプレイで実装されてもよい。

二つの関係したビデオ信号（たとえばS1 ２０２およびS2 ２０４）を与えられて、図２は基本層（BL）および向上層（EL）を使ったそれらの効率的なエンコードのための二重ビュー二重階層（DVDL）エンコーダ・モジュールのある実施形態のブロック図である。たとえば、ある実施形態では、S1は3D VDR信号のあるビュー（たとえば左ビューまたは右ビュー）に対応してもよく、S2は対応するSDR信号の同じビューに対応してもよい。もう一つの実施形態では、S1は3D VDRまたはSDR信号の第一のビューに対応してもよく、S2は同じ信号の第二のビューに対応してもよい。

図２に描かれるように、信号S1 ２０２はBLエンコーダ２１０を使って基本層（BL）２１２に符号化される。BLエンコーダは、MPEG-1、MPEG-2またはH.264規格によって定義されるようなよく知られたビデオ・エンコーダのいずれであってもよい。BLエンコーダの出力はデコードされてもよく（図示せず）、出力フレームはBL参照記憶領域２１５に記憶されてもよい。これらのフレームは、参照処理ユニット（RPU: reference processor unit）２２０によって後処理されてもよい。

RPUに関係して本稿での用法では、用語「参照」は、このピクチャーが完全な符号化プロセス内で参照として（たとえば「参照ピクチャー」の意味で）明示的に使用されることを含意または表現することは意図されておらず、そのようなことを意味すると解釈するべきではない。RPUは、特許協力条約（PCT）に基づいて出願された特許文献１、２の二つの特許出願刊行物に記載される記述に従うものでもよい。これらの文献はあたかも本稿において完全に記載されているかのうようにあらゆる目的について参照によってここに組み込まれる。RPUの以下の記述は、特に断わりのない限り、エンコーダのRPUおよびデコーダのRPUの両方に当てはまる。ビデオ符号化に関する分野の当業者は、本開示を読めば、その差を理解するであろうし、エンコーダ固有、デコーダ固有および一般的なRPUの記述、機能およびプロセスの間の区別ができるであろう。図２に描かれる3Dビデオ符号化システムのコンテキスト内では、RPU（２２０）は、種々のRPUフィルタを選択する一組の規則に従って、デコードされた画像S1（２０２）にアクセスし、これを補間する。

RPU ２２０は、補間プロセスが領域レベルで適応的であることができるようにする。ここで、ピクチャー／シーケンスの各領域がその領域の特性に従って補間される。RPU ２２０は、水平方向、垂直方向または二次元（2D）フィルタ、エッジ適応性または周波数ベースの領域依存のフィルタおよび／またはピクセル複製フィルタまたは補間のための他の方法または手段を使うことができる。

たとえば、あるピクセル複製フィルタは単にゼロ次ホールド（zero-order-hold）を実行してもよい。たとえば、補間された画像における各サンプルは低解像度画像における隣のサンプルの値に等しい。別のピクセル複製フィルタはビュー間コピー（cross-view copy）動作を実行してもよい。たとえば、あるビューにおける各補間されたサンプルは、相手のビューからの補間されていない共位置のサンプルに等しい。

追加的または代替的に、「視差補償されたコピー」方式もRPUにおいて使用されることができる。たとえば、フィルタは、共位置でない領域の諸サンプルをコピーしてもよい。ここで、コピーされる領域の位置は、異なるビューからの領域であってもよく、視差ベクトル（disparity vector）を使って指定されることができる。視差ベクトルは、整数またはサブピクセルの精度を使って指定されることができ、単純な、たとえば並進動きパラメータまたはたとえばアフィン（affine）または透視（perspective）動き情報および／またはその他のようなより複雑な動きモデルに関わってもよい。

エンコーダは、RPUフィルタを選択してもよく、デコーダRPUに入力データとして与えられる領域処理信号を出力する。信号伝達（signaling）がフィルタリング方法を領域毎に指定する。たとえば、数、サイズ、形および他の特性といった領域属性に関係するパラメータがRPUに関係したデータ・ヘッダにおいて指定されてもよい。フィルタのいくつかは固定したフィルタ係数を有していてもよく、その場合、フィルタ係数はRPUによって明示的に信号伝達される必要はない。他のフィルタ・モードは、係数値および水平／垂直タップの数といったフィルタ・パラメータが明示的に信号伝達される明示モードを有していてもよい。

フィルタは、各色成分毎に指定されてもよい。RPUは線形フィルタを指定してもよい。エッジ適応性フィルタ、二側面（bi-lateral）フィルタなどといった非線形フィルタがRPUにおいて指定されてもよい。さらに、アフィンまたは透視動きモデルのような高度な動き補償方法を指定するモデルを含む予測モデルが信号伝達されてもよい。

RPUデータ信号伝達はエンコードされたビットストリームに埋め込まれることもできるし、あるいはデコーダに別個に伝送されることもできる。RPUデータは、RPU処理が実行される層とともに信号伝達されてもよい。追加的または代替的に、すべての層のRPUデータが、層２エンコードされたデータを埋め込む前またはあとにビットストリーム内に埋め込まれる一つのRPUデータ・パケット内で信号伝達されてもよい。RPUデータの提供は所与の層について任意的であってもよい。RPUデータが利用可能でない場合には、その層の上方変換〔アップコンバージョン〕のためにデフォルト方式が使用されてもよい。似ていなくもないが、向上層エンコードされたビットストリームの提供も任意的である。

ある実施形態は、各RPUにおけるフィルタおよびフィルタ処理される領域を最適に選択する複数の可能な方法を許容する。最適なRPU選択を決定することにおいて、いくつかの基準が別個に、あるいは連携して使用されてもよい。最適なRPU選択基準は、基本層ビットストリームのデコード品質、向上層ビットストリームのデコード品質、RPUデータを含む各層のエンコードのために必要とされるビットレートおよび／またはデータのデコードおよびRPU処理の複雑さを含みうる。

RPUは、向上層におけるその後の処理とは独立に最適化されてもよい。こうして、RPUのための最適フィルタ選択は、補間される基本層画像ともとの左眼および右眼画像の間の予測誤差が、ビットレートおよびフィルタ複雑さのような他の制約条件のもとで最小化されるよう、決定されてもよい。

RPU ２２０は、BLエンコーダ２１０からの情報を、該情報をELエンコーダ２３０における向上層のための潜在的な予測器として利用する前に処理する前処理段のはたらきをしてもよい。RPU処理に関係した情報は、RPU層（RPUL）ストリーム２２２を使ってデコーダ（たとえば１５０）に（たとえばメタデータとして）通信されてもよい。RPU処理は、色空間変換、非線形量子化、ルーマおよびクロマ・アップサンプリング、フィルタリングまたはSDRからVDRのマッピングといった多様な画像処理演算を含みうる。典型的な実装では、EL ２３４、BL ２１２およびRPUL ２２２信号が単一の符号化されたビットストリーム（図示せず）に多重化される。

図３は、ある実施形態に基づく例示的な3D VDRエンコーダを描いている。エンコード・システム３００への入力は、一対のVDR信号（３０２および３０４）および対応するSDR信号（３１２および３０７）を含む。たとえば、LV-VDR ３０２は入力VDR信号の左ビューを表わしていてもよく、RV-VDR ３０４は対応する右ビューを表わしていてもよい。SDR信号３１２および３０７は、最適な対応するVDRからSDRのトーン・マッピング・プロセッサを介してまたはカラー・グレーディング・プロセス（３１０および３０５）を通じて生成されてもよい。

DVDLエンコーダ３１５（たとえば３００）は、二つのSDR入力（３０７および３１２）を受領し、信号C1 ３１９およびC2 ３１７を出力する。信号C1 ３１９はベースラインSDR信号のあるビュー（たとえば、右ビュー）を表わす。信号C2 ３１７はC1信号への向上層を表わす。C1およびC2を使って、DVDLデコーダ・モジュール（たとえば３４０または４００）は、入力SDR信号の第二のビュー（たとえば左ビュー）を再構成することができる。こうして、C1 ３１９およびC2 ３１７が組み合わさって符号化されたベースライン3D SDR信号を表わす。

信号C1 ３１７およびC2 ３１９はDVDLデコーダ３４０への入力として使われてもよい。DVDLデコーダ３４０は、先に説明したように、入力SDR信号（３０７および３１２）の二つのビューを、対応するデコーダによって受領されるように、再構成するために適用されることができる。代替的な実施形態では、DVDLデコーダは除去されてもよく、もとのSDR入力を使ってもよい。つまり、信号３４２は信号３０７で置換されてもよく、信号３４４は信号３１２で置換されてもよい。さらにもう一つの実施形態では、信号３４２および３４４はDVDLエンコーダ３１５中の信号から直接抽出されてもよい。たとえば、信号３４２はDVDLエンコーダ・モジュール３１５のBL記憶ユニット（４１５）の出力によって置換されてもよい。

SDR信号３４２および３４４はSDRからVDRの予測器３２０および３３０に入力される。これらの予測器のそれぞれは、SDR入力（３４２または３４４）を与えられて、対応するVDR信号についての予測値を生成する。これらの予測器は、追加的なメタデータ（図示せず）をも生成してもよく、該追加的なメタデータはデコーダに伝送される多層エンコードされたビットストリームの一部として多重化されてもよい。

3D SDR信号３０７および３１２のエンコードは、各ビューの垂直方向または水平方向のフィルタリングといった追加的な前処理段を含んでいてもよい。ある実施形態では、3D信号（たとえば３０２および３０４または３１２および３０７）の二つのビューが、水平方向にダウンサンプリングされて単一の隣り合わせ（side-by-side）フレームに組み合わされる前に、水平方向の低域通過フィルタによってフィルタリングされてもよい。同様に、同じ二つのビューが、垂直方向にダウンサンプリングされて単一の上下（top-and-bottom）フレームに組み合わされる前に、垂直方向の低域通過フィルタによってフィルタリングされてもよい。次いで、DVDLエンコーダ（たとえば３１５および３４５）を使ってフル解像度のビューまたはフル解像度の残差を直接符号化する代わりに、DVDLエンコーダ３１５および３４５を使って生成された上下および隣り合わせのフレームおよびそれらの残差のシーケンスをエンコードしてもよい。これらの段階は、本発明を無用に隠蔽し、埋没させ、あるいは曖昧にするのを避けるために、図３には描かれていない。

３２０および３３０におけるSDRからVDRの予測に続いて、予測されたVDRビューがもとのVDRビュー（３０２および３０４）から減算され、二つのVDR残差信号３２７および３３７が生成される。こうして、信号３３７は左ビューVDR残差信号を表わしてもよく、信号３２７は、右ビューVDR残差信号を表わしてもよい。それら二つの信号は、出力信号C3 ３４７およびC4 ３４９を生成するために第二のDVDLエンコーダ・モジュール３４５に入力されてもよい。信号C3およびC4は、3D残差VDR信号の符号化された表現を表わす。これは、ベースラインSDR C1およびC2信号と一緒に、入力3D VDR信号を完全に再構成できる。

VDR残差信号３２７および３３７の符号化効率を改善するために、それらの信号のそれぞれは、非線形量子化器によって後処理されてもよい。

信号C1、C2、C3およびC4ならびにすべての関連するメタデータ（図示せず）は、受信器に送信されることのできる単一の符号化されたビットストリーム中に多重化されてもよい。

いくつかの実施形態では、DVDLエンコーダ３１５および３４５は、H.264規格の付属書Hで規定されているようなマルチビュー（MVC）エンコーダを使って実装されてもよい。同様に、DVDLデコーダ３４０はMVC H.264デコーダに準拠していてもよい。

いくつかの実施形態では、特別なVDRからSDRへの、およびSDRからVDRへのマッピング・アルゴリズムが、予測されるVDR信号のほとんど同一の再現を許容しうる。そのような実施形態では、残差信号３２７および３３７は非常に小さいまたは0に近いことがある。そうした場合、DVDLエンコーダ３４５は消去されてもよく、SDRからVDRの変換パラメータは、メタデータを使って好適なデコーダに渡されてもよい。

システム３００は、レガシーSDR信号および典型的にはもとのVDR入力よりずっと小さなダイナミックレンジをもつ残差の組み合わせを処理することに基づくので、システム３００は、既存の商業的に入手可能なSDRビデオ・エンコーダ（たとえば、8ビット／ピクセルのパイプラインをもつMPEGエンコードIC）を使ったコスト効率のよいハードウェア実装になじみやすい。

〈画像デコード〉
図４は、本発明のある実施形態に基づくDVDLデコーダ・モジュール（たとえば３４０）の例示的な実装を示している。デコード・モジュール４００は、基本層４０２、向上層４０４およびRPU層４０６を組み合わせていてもよい符号化されたビットストリームを受領する。BL ４０２は、BLデコーダ４１０を使ってそれだけで復号されて、第一の信号S1 ４１２を生成しうる。BLデコーダ４１０は、BLエンコーダ２１０に対応するいかなるデコーダであってもよい（たとえばMPEG-2、MPEG-4、MPEG-4などのデコーダ）。BLデコーダからのフレームは、向上層ストリーム４０４をデコードする際に参照フレームとして使えるよう、参照BL記憶ユニット４１５に記憶されてもよい。RPUL ４０６に格納されているメタデータを考慮に入れて、RPU ４２０はBL記憶中のデータを後処理し、参照フレームをEL記憶ユニット４２５に出力する。ELデコーダ４３０は、ELストリーム４０４またはBL４０２のいずれかからの参照フレームを使って、出力信号S2 ４３２を生成する。これは第一の信号S1 ４１２に関係した第二の信号に対応する。

図５は、ある実施形態に基づく3D VDRデコーダの例示的な実装を描いている。デコーダ５００は符号化された信号C1、C2、C3、C4および任意的なRPUストリーム（図示せず）を含む符号化されたビットストリームを受領する。該任意的なRPUストリームは受領される符号化されたビットストリームに関係したメタデータを含む。信号C1およびC2は、3D SDR信号の符号化された表現を表わす。信号C3およびC4は、3D VDR信号を再生成するために使用できる向上層の符号化された表現を表わす。

DVDLデコーダ５１０（たとえばデコード・モジュール４００）は、C1およびC2符号化ビットストリームをデコードし、単眼視SDR信号５１２およびSDR信号の第二のビュー（SDR-2 ５１７）を生成してもよい。こうして、レガシー単眼視SDRプレーヤーは信号SDR ５１２を使用でき、一方、3D SDRデコーダはSDRおよびSDR-2の両方を3D閲覧のために使用できる。

単眼視（単一ビュー）VDR閲覧のために、VDRデコーダは、デコードされたVDR残差信号５２２および５２４を生成する第二のDVDLデコーダ５２０をも有していてもよい。SDRからVDRの予測器５３０を使って、デコーダは予測されたVDR信号５３２を生成してもよい。該予測されたVDR信号５３２は、デコードされた残差５２２に加算されるときにVDR信号５５２を生成する。

3D VDR閲覧のために、SDRからVDRの予測器５４０は第二のVDR予測信号５４２を計算してもよい。該第二のVDR予測信号５４２は、デコードされた残差５２４に加算されたときに、第二のビュー、信号VDR-2 ５６２を生成しうる。よって、3Dディスプレイ・システムは、VDR ５５２およびVDR-2 ５６２を使って、受領された信号の3D VDRレンダリングを表示しうる。

エンコーダ（たとえば３００）での対応する処理に合わせるため、システム５００は、改善された3D処理のための水平方向および垂直方向のフィルタ、色変換プロセッサおよび非線形量子化解除器といった追加的なコンポーネントをも有していてもよい。

〈例示的なHDRディスプレイ実装〉
本発明の実施形態は、SDRより高いDRをもってコンテンツをレンダリングできるHDRディスプレイのために実装されることができる。たとえば、発光ダイオード（LED）アレイを有するバックライト・ユニット（BLU）をもつLCDディスプレイが使用できる。BLUアレイのLEDは、能動LCD要素の偏光状態の変調とは別個に変調されることができる。このデュアル変調手法は、BLUアレイとLCD画面要素との間の制御可能な介在層などにより拡張可能である（たとえばNは2より大きい整数であるとしてN変調層に）。そのLEDアレイに基づくBLUおよびデュアル（またはN重）変調は、そのような機能をもつLCDモニタのディスプレイ基準の（display-referred）DRを効果的に増す。

そのようなHDRディスプレイがレンダリングしうる色域は、より普通のディスプレイの色域を有意に、ワイド色域（WCG: wide color gamut）をうまくレンダリングするまでに、超えてもよい。「次世代」映画およびテレビジョン・カメラによって生成されうるようなシーン基準のHDRまたはVDRおよびWCG画像コンテンツは、今や、HDRディスプレイをもって、より忠実かつ効果的に表示されうる。

あるいはまた、本発明の実施形態は、投影システム、たとえばあらゆる目的についてここに組み込まれる米国仮特許出願第61/476,949号に記載されるようなデュアル・プロジェクター・システムであるHDRディスプレイのために実装されることができる。そのようなディスプレイでは、高いピーク・ルミナンスおよび増大したダイナミックレンジが（基本画像を投影する）メイン・プロジェクターおよび（基本画像上にスーパーインポーズされるハイライト画像を投影する）ハイライト・プロジェクターによって提供される。3D VDRについて、二つのデュアル・プロジェクターは、左視点基本画像、右視点基本画像、左ハイライト画像および右ハイライト画像の四つの画像を提供するために用いることができる。

〈例示的なコンピュータ・システム実装〉
本発明の実施形態は、コンピュータ・システム、電子回路およびコンポーネントにおいて構成されたシステム、マイクロコントローラ、フィールド・プログラム可能なゲート・アレイ（FPGA）または他の構成設定可能もしくはプログラム可能な論理デバイス（PLD）、離散時間またはデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）のような集積回路（IC）装置および／またはそのようなシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されてもよい。コンピュータおよび／またはICは、本稿に記載したような3D VDRエンコードおよびデコードに関係する命令を実行、制御または執行してもよい。コンピュータおよび／またはICは、本稿に記載したような3D VDRエンコードおよびデコードに関係する多様なパラメータまたは値の任意のものを計算してもよい。画像およびビデオのダイナミックレンジ拡張の実施形態は、ハードウェア、ソフトウェア、ファームウェアおよびそれらのさまざまな組み合わせにおいて実装されうる。

本発明のある種の実装は、プロセッサに本発明の方法を実行させるソフトウェア命令を実行するコンピュータ・プロセッサを有する。たとえば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダなどにおける一つまたは複数のプロセッサが、該プロセッサにアクセス可能なプログラム・メモリ中のソフトウェア命令を実行することによって、上記に記載したような3D VDRエンコードおよびデコード方法を実装してもよい。本発明は、プログラム・プロダクトの形で提供されてもよい。プログラム・プロダクトは、データ・プロセッサによって実行されたときに該データ・プロセッサに本発明の方法を実行させる命令を含むコンピュータ可読信号のセットを担持する任意の媒体を含みうる。本発明に基づくプログラム・プロダクトは、幅広い多様な形のいかなるものであってもよい。プログラム・プロダクトは、たとえば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD-ROM、DVDを含む光データ記憶媒体、ROM、フラッシュRAMを含む電子データ記憶媒体などのような物理的な媒体であってもよい。プログラム・プロダクト上のコンピュータ可読信号は任意的に圧縮または暗号化されていてもよい。

上記でコンポーネント（たとえば、ソフトウェア・モジュール、プロセッサ、組立体、装置、回路など）が言及されるとき、特に断わりのない限り、そのコンポーネントへの言及（「手段」への言及を含む）は、本発明の例示した実施例における機能を実行する開示される構造と構造的に等価ではないコンポーネントも含め、記載されるコンポーネントの機能を実行する（すなわち機能的に等価な）任意のコンポーネントをそのコンポーネントの等価物として含むと解釈されるべきである。

〈等価物、拡張、代替その他〉
このように、3D VDRおよびSDR画像のエンコードおよびデコードに関係する例示的な実施形態について述べてきた。以上の明細書では、本発明の諸実施形態について、実装によって変わりうる数多くの個別的詳細に言及しつつ述べてきた。このように、何が本発明であるか、何が出願人によって本発明であると意図されているかの唯一にして排他的な指標は、この出願に対して付与される特許の請求項の、その後の訂正があればそれも含めてかかる請求項が特許された特定の形のものである。かかる請求項に含まれる用語について本稿で明示的に記載される定義があったとすればそれは請求項において使用される当該用語の意味を支配する。よって、請求項に明示的に記載されていない限定、要素、属性、特徴、利点もしくは特性は、いかなる仕方であれかかる請求項の範囲を限定すべきではない。よって、明細書および図面は制約する意味ではなく例示的な意味で見なされるべきものである。
いくつかの付番実施例を記載しておく。
〔付番実施例１〕
第一のVDRビューおよび第二のVDRビューを含む3D視覚的ダイナミックレンジ（VDR）信号にアクセスする段階と；
第一のSDRビューおよび第二のSDRビューを含む3D標準ダイナミックレンジ（SDR）信号にアクセスする段階であって、前記SDR信号は前記VDR信号より小さなダイナミックレンジをもつ、段階と；
二重ビュー二重階層（DVDL）エンコーダを使って前記第一のVDRビューおよび前記第一のSDRビューをエンコードして、第一の符号化された信号および第二の符号化された信号を出力する段階と；
前記3D SDR信号に基づくことを含め予測された3D VDR信号を生成する段階であって、前記予測された3D VDR信号は第一の予測されたVDRビューおよび第二の予測されたVDRビューを含む、段階と；
前記第一のVDRビューおよび前記第一の予測されたVDRビューに基づいて第一のVDR残差を生成する段階と；
前記第二のVDRビューおよび前記第二の予測されたVDRビューに基づいて第二のVDR残差を生成する段階と；
前記第一のVDR残差および前記第二のVDR残差を、DVDLエンコーダを使ってエンコードして、第三の符号化された信号および第四の符号化された信号を出力する段階とを含む、
方法。
〔付番実施例２〕
前記3D SDR信号が前記3D VDR信号から、VDRからSDRへのマッピング関数を使って導出される、付番実施例１記載の方法。
〔付番実施例３〕
当該方法が、前記予測された3D VDR信号を導出するために：
前記第一の符号化された信号および前記第二の符号化された信号をDVDLデコーダを使ってデコードして第一のデコードされたSDRビューおよび第二のデコードされたSDRビューを出力する段階と：
前記第一のデコードされたSDRビューに、SDRからVDRへの予測器を適用して第一の予測されたVDRビューを生成する段階と；
前記第二のデコードされたSDRビューに、SDRからVDRへの予測器を適用して第二の予測されたVDRビューを生成する段階とを含む、
付番実施例１記載の方法。
〔付番実施例４〕
前記DVDLエンコーダがH.264マルチビュー・エンコーダを有する、付番実施例１記載の方法。
〔付番実施例５〕
当該方法が、前記DVDLエンコーダを用いて二つの信号をエンコードするために：
前記第一の信号を、基本層（BL）エンコーダを使ってエンコードして、符号化された第一の信号を生成する段階と；
前記符号化された第一の信号に基づいて複数のBL参照フレームを生成する段階と；
前記複数のBL参照フレームに基づいて複数の向上層（EL）参照フレームを生成する段階と；
前記第二の信号を、ELエンコーダを使ってエンコードして、符号化された第二の信号を生成する段階とを含んでおり、前記ELエンコーダが前記第二の信号または前記複数のELフレームの両方からの参照フレームを使用しうる、
付番実施例１記載の方法。
〔付番実施例６〕
前記複数のBL参照フレームに基づいて前記複数の向上層参照フレームを生成する段階が、参照処理ユニットを適用することを含む、付番実施例５記載の方法。
〔付番実施例７〕
プロセッサを有しており、付番実施例１ないし６のうちいずれか一項記載の方法を実行するよう構成された装置。
〔付番実施例８〕
付番実施例１ないし６のうちいずれか一項記載の方法を実行するためのコンピュータ実行可能な命令を記憶している非一時的なコンピュータ可読記憶媒体。
〔付番実施例９〕
第一のVDRビューおよび第二のVDRビューを含む3D視覚的ダイナミックレンジ（VDR）信号にアクセスする手段と；
第一のSDRビューおよび第二のSDRビューを含む3D標準ダイナミックレンジ（SDR）信号にアクセスする手段であって、前記SDR信号は前記VDR信号より小さなダイナミックレンジをもつ、手段と；
二重ビュー二重階層（DVDL）エンコーダを使って前記第一のVDRビューおよび前記第一のSDRビューをエンコードして、第一の符号化された信号および第二の符号化された信号を出力する手段と；
前記3D SDR信号に基づくことを含め予測された3D VDR信号を生成する手段であって、前記予測された3D VDR信号は第一の予測されたVDRビューおよび第二の予測されたVDRビューを含む、手段と；
前記第一のVDRビューおよび前記第一の予測されたVDRビューに基づいて第一のVDR残差を生成する手段と；
前記第二のVDRビューおよび前記第二の予測されたVDRビューに基づいて第二のVDR残差を生成する手段と；
前記第一のVDR残差および前記第二のVDR残差を、DVDLエンコーダを使ってエンコードして、第三の符号化された信号および第四の符号化された信号を出力する手段とを有する、
システム。
〔付番実施例１０〕
付番実施例２ないし６のうちいずれか一項記載の段階の一つまたは複数を実行または執行する手段をさらに有する、
付番実施例９記載のシステム。
〔付番実施例１１〕
付番実施例１ないし６のうちいずれか一項記載の方法の段階の一つまたは複数を実行するエンコーダ。
〔付番実施例１２〕
デコードする方法であって：
符号化された3D VDR信号の基本層（BL）および一つまたは複数の向上層を表わす第一、第二、第三および第四の符号化された信号にアクセスする段階と；
DVDLデコーダを使って前記第一の符号化された信号および前記第二の符号化された信号をデコードして、第一ビューSDR信号および第二ビューSDR信号を生成する段階と；
前記第一ビューSDR信号に基づいて第一ビューBL VDR信号を生成する段階と；
前記第二ビューSDR信号に基づいて第二ビューBL VDR信号を生成する段階と；
DVDLデコーダを使って前記第三の符号化された信号および前記第四の符号化された信号をデコードして第一のビュー残差信号および第二のビュー残差信号を生成する段階と；
前記第一のビュー残差信号および前記第一ビューBL VDR信号に基づいて第一ビューVDR信号を生成する段階と；
前記第二のビュー残差信号および前記第二ビューBL VDR信号に基づいて第二ビューVDR信号を生成する段階とを含む、
方法。
〔付番実施例１３〕
付番実施例１２記載の方法の段階の一つまたは複数を実行するデコーダ。
〔付番実施例１４〕
デコード・システムであって：
符号化された3D VDR信号の基本層（BL）および一つまたは複数の向上層を表わす第一、第二、第三および第四の符号化された信号にアクセスする手段と；
DVDLデコーダを使って前記第一の符号化された信号および前記第二の符号化された信号をデコードして、第一ビューSDR信号および第二ビューSDR信号を生成する手段と；
前記第一ビューSDR信号に基づいて第一ビューBL VDR信号を生成する手段と；
前記第二ビューSDR信号に基づいて第二ビューBL VDR信号を生成する手段と；
DVDLデコーダを使って前記第三の符号化された信号および前記第四の符号化された信号をデコードして第一のビュー残差信号および第二のビュー残差信号を生成する手段と；
前記第一のビュー残差信号および前記第一ビューBL VDR信号に基づいて第一ビューVDR信号を生成する手段と；
前記第二のビュー残差信号および前記第二ビューBL VDR信号に基づいて第二ビューVDR信号を生成する手段とを有する、
装置。

Claims (14)

1. 基本層および一つまたは複数の向上層を含む多層エンコードされたビデオ・ビットストリームを生成する方法であって、第一のダイナミックレンジをもつ第一のビュー（３０４）および前記第一のダイナミックレンジをもつ第二のビュー（３０２）を含む前記第一のダイナミックレンジをもつ第一の3Dビデオ信号および第二のダイナミックレンジをもつ第三のビュー（３０７）および前記第二のダイナミックレンジをもつ第四のビュー（３１２）を含む前記第二のダイナミックレンジをもつ第二の3Dビデオ信号について、前記第一のダイナミックレンジは前記第二のダイナミックレンジより大きなダイナミックレンジであり：
   前記第三のビュー（３０７）および前記第四のビュー（３１２）を第一のエンコーダ（３１５）を使ってエンコードして、前記第二のダイナミックレンジをもつ第一の符号化されたビデオ信号（３１９）および前記第二のダイナミックレンジをもつ第二の符号化されたビデオ信号（３１７）を出力する段階と；
   前記第二の3Dビデオ信号に基づいて前記第一のダイナミックレンジをもつ予測された3Dビデオ信号を生成する段階であって、前記予測された3Dビデオ信号は前記第一のダイナミックレンジをもつ第一の予測されたビューおよび前記第一のダイナミックレンジをもつ第二の予測されたビューを含む、段階と；
   前記第一のビュー（３０４）および前記第一の予測されたビューに基づいて前記第一のダイナミックレンジをもつ第一の残差信号（３２７）を生成する段階と；
   前記第二のビュー（３０２）および前記第二の予測されたビューに基づいて前記第一のダイナミックレンジをもつ第二の残差信号（３３７）を生成する段階と；
   前記第一の残差信号（３２７）および前記第二の残差信号（３３７）を、第二のエンコーダ（３４５）を使ってエンコードして、第一の符号化された残差信号（３４７）および第二の符号化された残差信号（３４９）を出力する段階と；
   前記第一の符号化されたビデオ信号（３１９）を前記多層エンコードされたビデオ・ビットストリームの基本層に挿入する段階と；
   前記第二の符号化されたビデオ信号（３１７）、前記第一の符号化された残差信号（３４７）および前記第二の符号化された残差信号（３４９）を前記多層エンコードされたビデオ・ビットストリームの向上層の一つまたは複数に挿入する段階とを含む、
   方法。
2. 前記第二の3Dビデオ信号が前記第一のダイナミックレンジをもつ前記第一の3Dビデオ信号から、前記第一のダイナミックレンジから前記第二のダイナミックレンジへのマッピング関数（３０５、３１０）を使って導出される、請求項１記載の方法。
3. 前記予測された3Dビデオ信号を生成する段階が：
   前記第一の符号化されたビデオ信号（３１９）および前記第二の符号化されたビデオ信号（３１７）をデコーダ（３４０）を使ってデコードして、前記第二のダイナミックレンジをもつ第一のデコードされたビュー（３４２）および前記第二のダイナミックレンジをもつ第二のデコードされたビュー（３４４）を出力する段階と：
   前記第一のデコードされたビュー（３４２）に、前記第二のダイナミックレンジから前記第一のダイナミックレンジへの第一の予測器（３２０）を適用して前記第一の予測されたビューを生成する段階と；
   前記第二のデコードされたビュー（３４４）に、前記第二のダイナミックレンジから前記第一のダイナミックレンジへの第二の予測器（３３０）を適用して前記第二の予測されたビューを生成する段階とを含む、
   請求項１記載の方法。
4. 前記第一（３１５）および／または第二（３４５）のエンコーダ（２００）がH.264マルチビュー・エンコーダを有する、請求項１記載の方法。
5. エンコードする前記の諸段階が：
   第一のビデオ信号（２０２）を、基本層エンコーダ（２１０）を使ってエンコードして、第一の結果ビデオ信号（２１２）を生成する段階と；
   前記第一の結果ビデオ信号（２１２）に基づいて複数の基本層参照フレームを生成する段階と；
   前記複数の基本層参照フレームに基づいて複数の向上層参照フレームを生成する段階と；
   第二のビデオ信号（２０４）を、向上層エンコーダ（２３０）を使ってエンコードして、第二の結果ビデオ信号（２３４）を生成する段階とを含んでおり、前記向上層エンコーダ（２３０）が前記第二のビデオ信号（２０４）または前記複数の向上層フレームの両方からの参照フレームを使用でき、
   前記エンコードが前記第一のエンコーダ（３１５）によって実行される場合は、前記第一のビデオ信号（２０２）は前記第三のビュー（３０７）を表わし、前記第二のビデオ信号（２０４）は前記第四のビュー（３１２）を表わし、前記第一の結果ビデオ信号は前記第一の符号化されたビデオ信号（３１９）を表わし、前記第二の結果ビデオ信号（２３４）は前記第二の符号化されたビデオ信号（３１７）を表わし；
   前記エンコードが前記第二のエンコーダ（３４５）によって実行される場合は、前記第一のビデオ信号（２０２）は前記第一の残差信号（３２７）を表わし、前記第二のビデオ信号（２０４）は前記第二の残差信号（３３７）を表わし、前記第一の結果ビデオ信号（２１２）は前記第一の符号化された残差信号（３４７）を表わし、前記第二の結果ビデオ信号（２３４）は前記第二の符号化されたビデオ信号（３４９）を表わす、
   請求項１記載の方法。
6. 前記複数の基本層参照フレームに基づいて前記複数の向上層参照フレームを生成する段階が、参照処理ユニット（２２０）を使って前記基本層エンコーダ（２１０）からの情報を、該情報を前記向上層エンコーダ（２３０）において前記向上層についての潜在的な予測器として利用する前に、処理することを含み、前記参照処理ユニット（２２０）による処理に関係した前記情報が前記多層エンコードされたビデオ・ビットストリーム中にメタデータとして挿入される、請求項５記載の方法。
7. プロセッサを有しており、請求項１ないし６のうちいずれか一項記載の方法を実行するよう構成された装置（３００）。
8. 請求項１ないし６のうちいずれか一項記載の方法を実行するためのコンピュータ実行可能な命令を記憶している非一時的なコンピュータ可読記憶媒体。
9. 基本層および一つまたは複数の向上層を含む多層エンコードされたビデオ・ビットストリームを生成するシステム（３００）であって、第一のダイナミックレンジをもつ第一のビュー（３０４）および前記第一のダイナミックレンジをもつ第二のビュー（３０２）を含む前記第一のダイナミックレンジをもつ第一の3Dビデオ信号および第二のダイナミックレンジをもつ第三のビュー（３０７）および前記第二のダイナミックレンジをもつ第四のビュー（３１２）を含む前記第二のダイナミックレンジをもつ第二の3Dビデオ信号について、前記第一のダイナミックレンジは前記第二のダイナミックレンジより大きなダイナミックレンジであり：
   前記第三のビュー（３０７）および前記第四のビュー（３１２）を第一のエンコーダ（３１５）を使ってエンコードして、前記第二のダイナミックレンジをもつ第一の符号化されたビデオ信号（３１９）および前記第二のダイナミックレンジをもつ第二の符号化されたビデオ信号（３１７）を出力する手段と；
   前記第二の3Dビデオ信号に基づいて前記第一のダイナミックレンジをもつ予測された3Dビデオ信号を生成する手段であって、前記予測された3Dビデオ信号は前記第一のダイナミックレンジをもつ第一の予測されたビューおよび前記第一のダイナミックレンジをもつ第二の予測されたビューを含む、手段と；
   前記第一のビュー（３０４）および前記第一の予測されたビューに基づいて前記第一のダイナミックレンジをもつ第一の残差信号（３２７）を生成する手段と；
   前記第二のビュー（３０２）および前記第二の予測されたビューに基づいて前記第一のダイナミックレンジをもつ第二の残差信号（３３７）を生成する手段と；
   前記第一の残差信号（３２７）および前記第二の残差信号（３３７）を、第二のエンコーダ（３４５）を使ってエンコードして、第一の符号化された残差信号（３４７）および第二の符号化された残差信号（３４９）を出力する手段と；
   前記第一の符号化されたビデオ信号（３１９）を前記多層エンコードされたビデオ・ビットストリームの基本層に挿入する手段と；
   前記第二の符号化されたビデオ信号（３１７）、前記第一の符号化された残差信号（３４７）および前記第二の符号化された残差信号（３４９）を前記多層エンコードされたビデオ・ビットストリームの向上層の一つまたは複数に挿入する手段とを有する、
   システム。
10. 請求項２ないし６のうちいずれか一項記載の段階の一つまたは複数を実行または執行する手段をさらに有する、
    請求項９記載のシステム。
11. 請求項１ないし６のうちいずれか一項記載の方法を実行する、多層エンコードされたビデオ・ビットストリームを生成するエンコーダ（３００）。
12. 第一のダイナミックレンジをもつ符号化された3Dビデオ信号をデコードする方法であって、第二のダイナミックレンジをもち、前記第一のダイナミックレンジは前記第二のダイナミックレンジより大きなダイナミックレンジであり、前記符号化された3Dビデオ信号の基本層を表わす第一の符号化されたビデオ信号（３１９）と、前記符号化された3Dビデオ信号の一つまたは複数の向上層を表わす、前記第二のダイナミックレンジをもつ第二の符号化されたビデオ信号（３１７）、第一の符号化された残差信号（３４７）および第二の符号化された残差信号（３４９）とについて：
    第一のデコーダ（５１０）を使って前記第一の符号化されたビデオ信号（３１９）および前記第二の符号化されたビデオ信号（３１７）をデコードして前記第二のダイナミックレンジをもつ第一のビュー・ビデオ信号（５１２）および前記第二のダイナミックレンジをもつ第二のビュー・ビデオ信号（５１７）を生成する段階と；
    前記第一のビュー・ビデオ信号（５１２）に基づいて前記第一のダイナミックレンジをもつ第一ビュー基本層ビデオ信号（５３２）を生成する段階と；
    前記第二のビュー・ビデオ信号（５１７）に基づいて前記第一のダイナミックレンジをもつ第二ビュー基本層ビデオ信号（５４２）を生成する段階と；
    第二のデコーダ（５２０）を使って前記第一の符号化された残差信号（３４７）および前記第二の符号化された残差信号（３４９）をデコードして前記第一のダイナミックレンジをもつ第一のビュー残差信号（５２２）および前記第一のダイナミックレンジをもつ第二のビュー残差信号（５２４）を生成する段階と；
    前記第一のビュー残差信号（５２２）および前記第一ビュー基本層ビデオ信号（５３２）に基づいて、前記第一のダイナミックレンジをもつ第三のビュー・ビデオ信号（５５２）を生成する段階と；
    前記第二のビュー残差信号（５２４）および前記第二ビュー基本層ビデオ信号（５４２）に基づいて、前記第一のダイナミックレンジをもつ第四のビュー・ビデオ信号（５６２）を生成する段階とを含む、
    方法。
13. 請求項１２記載の方法を実行するよう適応されているデコーダ（５００）。
14. 第一のダイナミックレンジをもつ符号化された3Dビデオ信号をデコードするデコード・システム（５００）であって、第二のダイナミックレンジをもち、前記第一のダイナミックレンジは前記第二のダイナミックレンジより大きなダイナミックレンジであり、前記符号化された3Dビデオ信号の基本層を表わす第一の符号化されたビデオ信号（３１９）と、前記符号化された3Dビデオ信号の一つまたは複数の向上層を表わす、前記第二のダイナミックレンジをもつ第二の符号化されたビデオ信号（３１７）、第一の符号化された残差信号（３４７）および第二の符号化された残差信号（３４９）とについて：
    第一のデコーダ（５１０）を使って前記第一の符号化されたビデオ信号（３１９）および前記第二の符号化されたビデオ信号（３１７）をデコードして前記第二のダイナミックレンジをもつ第一のビュー・ビデオ信号（５１２）および前記第二のダイナミックレンジをもつ第二のビュー・ビデオ信号（５１７）を生成する手段と；
    前記第一のビュー・ビデオ信号（５１２）に基づいて前記第一のダイナミックレンジをもつ第一ビュー基本層ビデオ信号（５３２）を生成する手段と；
    前記第二のビュー・ビデオ信号（５１７）に基づいて前記第一のダイナミックレンジをもつ第二ビュー基本層ビデオ信号（５４２）を生成する手段と；
    第二のデコーダ（５２０）を使って前記第一の符号化された残差信号（３４７）および前記第二の符号化された残差信号（３４９）をデコードして前記第一のダイナミックレンジをもつ第一のビュー残差信号（５２２）および前記第一のダイナミックレンジをもつ第二のビュー残差信号（５２４）を生成する手段と；
    前記第一のビュー残差信号（５２２）および前記第一ビュー基本層ビデオ信号（５３２）に基づいて、前記第一のダイナミックレンジをもつ第三のビュー・ビデオ信号（５５２）を生成する手段（５５０）と；
    前記第二のビュー残差信号（５２４）および前記第二ビュー基本層ビデオ信号（５４２）に基づいて、前記第一のダイナミックレンジをもつ第四のビュー・ビデオ信号（５６２）を生成する手段（５６０）とを有する、
    装置。
    

Images