JP5706826B2 - ３ｄ画像信号を符号化する方法及びシステム、符号された３ｄ画像信号、３ｄ画像信号を復号する方法及びシステム - Google Patents

Description

本発明は、３Ｄ画像符号化及び復号の分野に関する。これは、３Ｄ画像信号を符号化する方法及びシステムを示す。本発明は、３Ｄ画像信号を復号する方法及びシステムにも関する。本発明は、符号化された３Ｄ画像信号にも関する。

近年、３Ｄ画像ディスプレイ上で３Ｄ画像を提供することに多くの関心がある。３Ｄイメージングは、カラーイメージングの後に、イメージングにおける次の大きなイノベーションであると信じられている。現在、消費者市場に対する３Ｄディスプレイの導入が到来するところである。

３Ｄ表示装置は、通常、画像が表示されるディスプレイスクリーンを持つ。基本的には、三次元印象は、ステレオ画像、すなわち観察者の２つの目に向けられた２つのわずかに異なる画像を使用することにより作成されることができる。このような装置の例は、オートステレオスコピックディスプレイである。他の装置において、画像は全ての方向に送られ、眼鏡が、３Ｄ知覚を与えるように特定の画像をブロックするのに使用される。

どのようなタイプの３Ｄディスプレイが使用されても、３Ｄ画像情報は、前記表示装置に与えられなくてはならない。これは、通常は、デジタルデータを有する３Ｄ画像信号の形式で行われる。

３Ｄ画像の生成は、従来は、深度マップを加えることにより行われ、前記深度マップは、前記画像内の画素の深度に関する情報を与え、したがって３Ｄ情報を与える。画像に対する深度マップを使用すると、左画像及び右画像は、"Real-time rendering with layered depth images"と題された米国特許第６４６６２０７号に開示されるように構成され、３Ｄ画像を提供する。代替的には、例えば、マルチビューオートステレオスコピックディスプレイを使用する場合、２より多いビューが、三次元シーンを視覚化する際に使用するために構成されることができる。

コンテンツがディスプレイ上に表示される場合、複数のビューが、レンダリングされなくてはならず、これらは、異なる方向に送られる。観察者は、両目に異なる画像を持ち、これらの画像は、前記観察者が深度を知覚するようにレンダリングされる。異なるビューは、異なる観察位置を表す。しかしながら、入力データにおいて、通常は、しばしば、１つの視角が見える。したがって、レンダリングされたビューは、例えば前景オブジェクトの後ろのエリアの情報又はオブジェクトの側部に関する情報を紛失している。異なる方法が、この紛失した情報に対処するために存在する。解決法は、前景オブジェクトの後ろに隠れている前記３Ｄ画像の部分を表す他のデータ層の形式でデータを前記信号に加えることである。この背景情報は、同じ視角から記憶される。３Ｄ画像において多くのオブジェクトが互いの後ろに配置される場合に、背景情報の１より多い層が存在しうる。

このような方法において、３Ｄディスプレイに対するコンテンツは、多層表現で記憶される。この多層表現は、単一のカメラの始点から前記シーンをキャプチャし、層の助けで第３の次元を表す。このような層は、透明性を含むことができる。しばしば、各層は、対応する深度マップを与えられる。前景層の後ろの層は、通常は、`遮蔽（occlusion）層'と称される。

発明者は、現在の方法において、３Ｄ画像の正確な構築に有用な遮蔽情報の一部が、遮蔽層に表されることができることを発見した。これは、紛失した情報が何らかの他の方法でレンダリングされなくてはならず、通常は前記紛失した情報のコンテンツを推定する何らかの方法を生じるので、３Ｄイメージングの品質を低減する。このような方法がどんなにインテリジェントであろうとも、前記紛失した情報は、一般に、単に実際のコンテンツの近似であり、画像エラー及び不完全な３Ｄ画像の可能性を生じる。

したがって、本発明の目的は、改良された３Ｄイメージングを可能にする３Ｄ画像データを符号化する方法を提供することである。

他の目的は、３Ｄ画像信号を符号化する改良されたシステム、３Ｄ画像信号を復号するシステム及び３Ｄ画像信号を提供することである。

このために、本発明による符号化方法は、３Ｄ画像信号が符号化され、前記符号化された３Ｄ画像信号が、基準ビューデータ層、及び前記基準ビューデータ層に対する１以上の他のデータ層を有し、前記基準ビュー及び１以上の他のデータ層により覆われる表示エリア（viewing area）が、サイズ及び／又は形状において異なり、前記基準ビュー表示エリアと前記１以上の他の層の表示エリアとの間の関係を表すスケーリングデータが、生成されることを特徴とする。

本発明による符号化システムにおいて、基準ビューデータ層及び１以上の他のデータ層を有する３Ｄ画像信号が符号化され、前記基準ビューデータ層及び前記１以上の他のデータ層により覆われる表示エリアのサイズ及び／又は形状が異なり、前記基準ビュー表示エリアと前記１以上の他の層の表示エリアとの間の関係を表すスケーリングデータが生成される。

本発明による３Ｄ画像信号は、３Ｄ画像信号を有し、前記３Ｄ画像信号は、基準ビューデータ層及び１以上の他のデータ層を有し、前記基準ビューデータ層及び前記１以上の他のデータ層により覆われる表示エリアが、サイズ及び／又は形状において異なり、前記３Ｄ画像信号が、前記基準ビュー表示エリアと前記１以上の他の層の表示エリアとの間の関係を表すスケーリングデータを有する。

本発明による復号システムは、基準ビューデータ層及び１以上の他のデータ層を有する３Ｄ画像に対する入力を有し、様々なデータ層により覆われる表示エリアのサイズ及び／又は形状は異なり、前記３Ｄ画像信号は、前記基準ビュー表示エリアと前記１以上の他の層の表示エリアとの間の関係を表すスケーリングデータを有し、前記復号システムは、前記スケーリングデータに依存して２以上のデータ層により覆われた表示エリアを制御する手段を有する。

現在の２Ｄプラス深度フォーマットにおいて、遮蔽層及び深度マップは、前景層と同じアスペクト比及び位置を持ち、すなわち前記基準ビューデータ層は、前記前景データ層である。前記他のデータ層は、背景データ層である。前記他のデータ層は、３Ｄ画像が構築されることを可能にするデータ層の形式の情報を有する。現在の方法において、前記様々な層は、同じ表示エリアを覆う。

３Ｄビューが、シーンの２Ｄプラス深度表現からレンダリングされる場合、前記スクリーンの後ろに現れるオブジェクトは、１つの方向にシフトされ、前記スクリーンの前に現れるオブジェクトは、反対方向にシフトされる。いずれの方向であるかは、中央のビューの左に対するビューがレンダリングされるか又は右に対するビューがレンダリングされるかに依存する。典型的には、必ずではないが、スクリーンの前又は近くに現れるオブジェクトは、前景層にあり、前記背景層が、前記前景オブジェクトの後ろの全てを含む。通常は、前記前景オブジェクトは、前記スクリーンに表れるべきなので、前記レンダリングによりシフトされない。前記背景全体は、この場合、１つの方向にシフトされ、一方の側において"ギャップ"又は紛失した情報を生じ、例えば、前記背景が左に１６画素移動される場合、前記背景層の右側の１６画素に関する情報が、紛失している。前記紛失した情報は、取り出されることができない。

本発明は、以下の方法で前記問題を解決する。
前記他の層及び前記基準ビュー層により覆われる表示エリアのサイズ及び／又は形状が、異なり、前記覆われる表示エリアの間の関係を表すスケーリングデータが生成される。

したがって、例えば、前記基準ビューの後ろの遮蔽層に対して、前景層の表示エリアより大きい表示エリアを持つ遮蔽層は、生成されることができ、前記２つのデータ層の表示エリアのサイズ及び／又は形状の間の関係が、例えば適切なメタデータで示される。ほとんどの現在のレンダリング方法に対して、水平画素シフトのみが存在するので、前記遮蔽層の幅を増大することが十分である。増大の量は、様々な遮蔽層に対して異なることができ、前記スケーリングデータは異なることができる。前記スケーリングデータは、どのように前記２つの層がマッチされることができるかを示す。好ましくは、前記スケーリングデータは、マッチされる前記２つの層をも示す。

好適な実施例において、通常は標準的な解像度に留まることが、互換性に対して最良であるので、前記他の層データは、前記基準ビューデータと同じ解像度及び形状を持つ。したがって、例えば前記基準ビュー層及び前記遮蔽層の両方が、１２８０×７２０であることができるが、前記基準ビュー表示エリアに対応する前記遮蔽層の一部は、例えば前記遮蔽層の左側及び右側の表示エリアの多くの境界を与えるように前記遮蔽層画像の中心の１２００×７２０でありうる。前記遮蔽層の表示エリアは、この場合、前記基準ビュー層の表示エリアより大きく、この例において水平方向において係数１２８０／１２００である。

より洗練されたレンダリング方法において、これは、より多くの自由度で非中央ビューをレンダリングするのに使用される仮想的なカメラを移動することができてもよい。このような方法において、垂直画素シフト、すなわち垂直方向のサイズ及び／又は形状の差は、有利になりうる。前記遮蔽層の表示エリアは、この場合、垂直方向において前記基準ビューの表示エリアと異なる。オプションとして水平方向及び垂直方向の異なる数の追加の画素を用いて、可能な限り水平方向及び垂直方向の両方においてより大きな表示エリアを符号化する組み合わせは、当業者に明らかである。

単純な実施例において、メタデータは、前記基準ビューデータ層に対応する前記遮蔽層内の長方形により実現される。これは、前記遮蔽層が、異なる解像度及びアスペクト比で自動的に記憶されることができるという利点を持つ。

本発明のこれら及び他の態様は、添付の図面を参照して例によって更に詳細に説明される。

図面は、正しいスケールで描かれていない。一般に、同一の構成要素は、図面において同じ参照番号により示される。

オートステレオスコピック表示装置の一例を示す。 遮蔽問題を示す。 遮蔽問題を示す。 本発明の第１の例を示す。 本発明の第２の例を示す。 前景層に対応する他の層内のエリアを表すのに非長方形形状が使用される実施例を示す。 前景層に対応する他の層内のエリアを表すのに非長方形形状が使用される実施例を示す。 前景層に対応する他の層内のエリアを表すのに非長方形形状が使用される実施例を示す。 前景層に対応する他の層内のエリアを表すのに非長方形形状が使用される実施例を示す。 前景層に対応する他の層内のエリアを表すのに非長方形形状が使用される実施例を示す。 前景層に対応する他の層内のエリアを表すのに非長方形形状が使用される実施例を示す。 本発明の他の例を示す。 本発明の他の例を示す。 本発明の他の例を示す。 本発明による符号化システム及び復号システムを示す。

以下の与えられる例において、画像が示され、画像データ層に示されるものが、深度マップに対して同等に適用可能であることが述べられる。

図１は、一種のオートステレオスコピック表示装置の基本原理を示す。前記表示装置は、２つのステレオ画像５及び６を形成するレンチキュラスクリーン分割部３を有する。２つのステレオ画像の垂直線は、例えば、バックライト１を持つ空間光変調器２（例えばＬＣＤ）上に（空間的に）交互に表示される。前記バックライト及び前記空間光変調器は、一緒に画素アレイを形成する。レンチキュラスクリーン３のレンズ構成は、観察者の適切な目に前記ステレオ画像を向ける。

図２及び３において、遮蔽問題が示される。この図において背景と示される線は、背景であり、前景と示される線は、前記背景の前に配置されるオブジェクトを表す。左及び右は、このシーンの２つのビューを表す。これら２つのビューは、例えば、ステレオセットアップに対する左及び右ビュー、又はマルチビューディスプレイの使用の場合に対する２つの最も外側のビューであることができる。Ｌ＋Ｒで示される線は、両方のビューにより観察されることができ、Ｌ部分は、左ビューからのみ観察されることができ、Ｒ部分は、右ビューからのみ観察されることができる。したがって、前記Ｒ部分は、前記左ビューから観察されることができず、同様に前記Ｌ部分は、前記右ビューから観察されることができない。図３において、中央は、中央ビューを示す。この図から見られることができように、図３に示される前記背景のＬ及びＲ部分の一部（Ｌ１、Ｒ１）は、前記中央ビューから見られることができる。しかしながら、前記Ｌ及びＲ部分の一部は、前景オブジェクトの後ろに隠れるので、前記中央ビューから見えない。Ｏｃで示されるこれらのエリアは、前記中央ビューに対して遮蔽されるが、他のビューから見えるエリアである。図から見られることができるように、遮蔽エリアは、典型的には、前景オブジェクトの縁において生じる。

中央ビュー及び深度マップのみから３Ｄデータを生成するのは、遮蔽されたエリアに対する問題を引き起こす。前景オブジェクトの後ろに隠れた前記画像の部分のデータは、未知である。

既知の方法において、これは、基準ビューデータ、この例では中央ビューとは別に、他のデータ層が生成される、層状構造で３Ｄ画像データを生成することにより解決される。データは、前景オブジェクトの後ろに隠れる前記３Ｄ画像の部分を表す他のデータ層の形式で前記３Ｄ画像信号に加えられる。この背景情報は、同じ視角から記憶される。３Ｄ画像において、多くのオブジェクトが互いの後ろに配置される場合に、背景情報の１より多い層が存在しうる。

当業者に明らかであるように、前記層状３Ｄ画像は、中央ビューに対して符号化されることができるが、必要ではなく、代わりに、例えば右画像のレンダリングを可能にするためにステレオ対の左画像及び関連した深度情報を符号化することもできる。

発明者は、現在の方法において、必要とされる情報の一部が、遮蔽層において表されることができないことを発見した。これは、失われた情報が他の方法でレンダリングされなくてはならず、通常は紛失した情報のコンテンツを予想する何らかの方法を生じるので、３Ｄイメージングの品質を低下する。このような方法がどれほどインテリジェントであろうとも、表されない情報は、決して実際に取り出されず、画像エラー及び不完全な３Ｄ画像の可能性を生じる。

現在の２Ｄプラス深度フォーマットにおいて、前記深度マップ及び前記遮蔽層の表示エリアは、同じアスペクト比及び位置、すなわち前記基準ビューとして見られることができる前記前景層と同じ表示エリアのサイズ及び形状を持つ。３Ｄビューが、シーンの２Ｄプラス深度表現からレンダリングされる場合、前記スクリーンの後ろに現れるオブジェクトは、一方向にシフトされ、前記スクリーンの前に現れるオブジェクトは、反対方向にシフトされる。いずれの方向であるかは、前記中央ビューの左に対するビューがレンダリングされるのか又は右に対するビューがレンダリングされるのかに依存する。典型的には、必ずではないが、スクリーン面の前に又は近くに現れるオブジェクトは、前景層内にあり、前記背景層は、前記前景オブジェクトの後ろの全てを含む。通常は、前記前景オブジェクトは、前記スクリーン面に現れるべきであるので、前記レンダリングによりシフトされない。前記背景全体は、この場合、一方向にシフトされ、一方の側における'ギャップ'又は表されない情報を生じ、例えば、前記背景が左に１６画素移動される場合に、前記背景層の右側の１６画素に関する情報は、前記遮蔽データ層において表されない。前記表されない情報は、取り出されることができない。

本発明の基本的な洞察は、他の層の表示エリアを、前記基準ビュー、例えば前景層の表示エリアとはサイズ及び／又は形状において異ならせ、これを適切なメタデータを用いて前記３Ｄ画像信号において示すことである。多くの場合、水平画素シフトのみを持つので、前記遮蔽層の表示エリアの幅を増大することで十分である。より複雑なレンダリング方法は、より高い自由度で非中央ビューをレンダリングするのに使用される前記仮想的なカメラを移動することができる。これらの場合、垂直画素シフトも必要とされうる。符号化中に、サイズ又は形状の差は、例えば、前記様々な層及び視角に関連付けられた様々な深度マップから計算されることができる。

図４は、本発明の第１の例を示す。

この単純な例において、送信システム、ビデオコンテナ又はビデオコーデックが、全ての層に対して固定の解像度のみを可能にすると仮定される。図４は、前景層Ｆ及び複数の遮蔽層ＯＣ１、ＯＣ２を概略的に示す。各遮蔽層ＯＣ１、ＯＣ２において、長方形は、前記遮蔽層の表示エリアのいずれのエリアが前景層Ｆに対する表示エリアに対応するかを示す。典型的には、他の遮蔽層ＯＣ１の後ろである遮蔽層ＯＣ２は、レンダリング中の画素シフトが大きいので、表示エリアにおいてより大きい必要がある。この場合、これは、前景層Ｆの表示エリアに対応する長方形が小さくなることを意味する。前記メタデータは、前記前景層に対応する前記遮蔽層内の長方形により実現されることができる。これは、前記遮蔽層が、異なる解像度及びアスペクト比で自動的に記憶されることができるという利点を持つ。

たとえ前記ビデオコーデックが、全ての層に対して固定の解像度を記憶することを強制するとしても、情報は、前記情報を所定の解像度に'スクイーズする'ことにより前記遮蔽層の左及び右に追加されることができる。前記背景の水平解像度は、左及び右縁に関する情報を得ると同時に失われる。スケーリングデータなしで、例えば、前記前景層と同じ解像度の背景層について、如何なる拡張も無い前記前景層と同じ解像度における背景層と、スケールダウンされたが、前記背景層全体を再び元のサイズに拡大する拡張を持つ背景層とを区別することは、不可能である。前記スケーリングデータは、メタデータとして記憶されることができる。

より大きな背景層は、前記紛失した情報を符号化するのに前記背景層を使用することができるので、前記前景自体が前記縁においてスクリーン深度以外の深度を持つ場合でさえ、役に立つ。コンテンツが元々"単一層"だけである（したがって、背景層が必要ではない）場合でさえ、前記背景層は、例えば、前記縁が手動で又は半自動的に満たされる又はコンテンツ作成プロセスから利用可能であるコンテンツ作成ソフトウェアにより、左及び右に対する拡張として使用されることができる。

図５は、本発明の第２の例を示す。

この例において、遮蔽層は、前記前景層とマッチするエリアが、前記前景層自体と同数の画素を持つように符号化される。これは、リスケーリング（及び結果として生じる精度の損失）がレンダリングに必要とされないので、ほとんどのアルゴリズムに対して有用である。

他の図は、本発明の他の例を示す。

Ａ．非長方形形状、図６−１１
図６−１０は、前景層の表示エリアに対応するエリアを表すのに非長方形形状を使用することが有利である例を示す。水平線に消える道路のシーンを持つと仮定する（図６）。前景層は、この道路上を走る自動車、空を飛ぶ鳥等を含むことができる。図６は、このようなシーンに対する背景層のみを描いている。側面から見た場合（図７及び８）、暗いエリアは、元の画像の外側からの背景情報が必要とされるところを示す。この情報は、（例えばマルチビューデータ、図６−８から）入手可能である。前記背景層にこれらを加えることは、図９をもたらす。この情報を長方形ビデオエリアに記憶することができるために、画像の線は、水平方向に（底部より上部で大きく）スクイーズされなくてはならず、結果として図１０をもたらす。図１１は、前記前景層（例えば前景オブジェクトを持つ図６）に対応するエリアを太線で示す。

Ｂ．非線形スケーリング（図１２及び１３）
図１２に描かれる背景層を持つと仮定する（太線において対応する前景画像エリア）。これは、前記画像の真ん中で、背景と前景との間の非常に正確な対応を持つことを望む場合でありうる。１つのオプションは、背景画像を３つのエリア、すなわち、前記前景と１：１対応を持つ真ん中エリア、及び例えば前記背景を最大前景幅及びそれを超える拡張まで広げるために（底部における矢印でシンボル化された）倍数２で拡張されなければならない（図１３において灰色の）側部エリアに分割することである。このようにして、前記背景層を作成するためのデータの圧縮は、側部においてのみ行われるのに対し、真ん中部分は、手をつけられないままである。

この単純なアプローチは、背景拡大が１と２との間でジャンプする新しく導入された遷移においてアーチファクトを生じるかもしれず、したがって（例えばスプラインの使用による）スケーリング係数のより滑らかな遷移が使用されることもできると理解されうる。

一般に、前景と従属層との間の座標のマッピングは、任意の高次の補間を持つ制御点のグリッドであることができる。

Ｃ．他の層タイプ／サイズ、図１４
図１４は、より高度な例を示し、右上に前景透明データ層と、真ん中の行に前景合成色及び深度データ層と、底部の行において背景色及び深度データ層とを持つ。前記透明層は、フルサイズである必要はなく、ゴーストを持つエリアだけに減少されることができる。この場合、前記背景層（画像及び深度）についても同様である。代替例（描かれていない）は、全ての柱の後ろの背景情報を依然として持つことができ、（ほぼ）フルサイズの前景／合成画像を依然として持つために前記背景画像及び深度を必要とし、前記透明層は、上の例の減少したサイズを依然として持つことができる。この画像が取られるビデオにおいて、前記ゴーストは、右から左に移動し、したがって、透明性が必要とされるエリア、すなわち、前記透明データ層の表示エリアは、小さいままであるが、時間に対して、基準ビューデータ層、この例においては前景合成色データ層の表示エリアに対して移動する（すなわち、スケーリングメタデータは、時間に対して活動させられることができる）。

場合により、これは、多くの脱遮蔽（de-occlusions）に対して、前記深度に対する画素繰り返しが、十分な品質を提供することができ、（画素繰り返しが深度に対する受信器／レンダリング側で実行されることができるので）これらのエリアに対して、遮蔽画像データのみが記憶されることを必要としうる場合であることができる。これは、前記背景画像に対して記憶されることを必要とするエリアが、背景深度に対するエリアとは異なる場合を生じる。

Ｄ．基準ビュー層として異なる層
前記他の層に対して、対応する表示エリアがスケーリングデータに表される基準として前景／合成層とは異なる層を使用することが可能である。例えば、鍵穴を覗くシーンを持つ場合、小さなエリアのみが、背景層に対して必要とされる。対応する前景エリアを示すために実際の背景画像より大幅に大きい背景エリア内の長方形を示すことができる。しかしながら、代替的には、前景層において、前記背景画像が有効であるエリアを示すこともできる。

好ましくはメタデータの形式である、スケーリングデータを生成する複数の方法が存在する。下は幾つかの実施例である。

層を合成する場合、前記背景層は、単純に最終的な合成物より大きくてもよく、追加の情報及びその場所は、元の層情報、どのように前記層が互いに対して配置されているか、及びいずれの"クロップ選択（crop selection）"が最終（前景）ビューポートとして使用されるかから確定されることができる。

代替的には、図６−１１は、どのようにして追加の情報及び表示エリア表現がマルチビュー情報から確定されることが得きるかを示す。

代替的には、（例えばPhilips 3D Solutionsの"WOWzone"製品のような）ビディウォール（vidi-wall）に示されるようにビデオを分割する場合、前記ビデオが分割されたタイルの背景層は、（前記タイルの背景層が重複することさえできる点に対して）前景層クロッピングとは異なる形で全体画像からクロップされることができる。

代替的には、異なる層を異なるレンダリングパスにおいてレンダリングする（3D Studio Max, Blendar, Mayaのような）コンピュータグラフィックスレンダリングシステムに対するプラグインにおいて、ビューポート及び／又は出力解像度は、レンダリングパスの間で変化されることができ、これらの変化は、層間の対応を示すように異なる層に沿ったメタデータとして記憶される。

代替的には、合成器は、入力層を分析することができ、例えば前述の鍵穴の例に対して、前記背景層の小さな部分のみが必要とされることを見て、当該部分及びいずれの部分が選択されたかを表すメタデータのみを記憶することができる。

代替的には、合成器は、元の背景情報が十分に大きくない場合に背景を埋めるのにテクスチャ修復方法を使用し、適切なメタデータを作成することができる。高品質なテクスチャ修復方法は、遅く、現在は、ディスプレイにおける実施に適しておらず、したがって、オフラインで使用することは当然である。

図１５は、本発明の一実施例による符号化システム及び本発明の一実施例による復号システムを概略的に示す。エンコーダ入力ＥＩは、前景データ画像ＦＧ及び様々なサイズの複数の背景画像ＢＧ１ないしＢＧ３を有する。本発明による符号化システムは、前記エンコーダ入力をエンコーダ出力信号ＥＯに符号化するように構成されたエンコーダ／符号化プロセッサを有する。前記エンコーダ出力信号は、前景データ画像ＦＧに対応する前景データ層ＦＧ及びスケーリングされた背景層ＢＧ１'ないしＢＧ３'を有し、前記スケーリングされた背景層の各々が、背景画像ＢＧ１ないしＢＧ３のそれぞれ１つ及び関連したスケーリングデータに対応する。

エンコーダ出力ＥＯは、前記復号システムに対する入力画像データ信号ＤＩとして使用されることができる。入力データ信号ＤＩは、この例では前景データ層ＦＧ及び複数の背景データ層ＢＧ１'ないしＢＧ３'を有する、層状データ構造を有する。画像入力データ信号ＤＩは、様々なデータ層の表示エリアの間のスケーリングを提供するスケーリングデータｓをも有する。復号プロセッサ／デコーダＤの出力は、前記前景層の表示エリアに対応する前記背景層のエリアを示す長方形を前記背景層に対して有する様々なデータ層を提供する。前記デコーダは、前記前景層の表示エリアに対応する前記背景層内のエリアが前記前景層と同じサイズであるように前記背景データ層をスケーリングする。

符号化プロセッサＥ及び符号化プロセッサＤが、スケーリングデータが必要とされない実施例、すなわち符号化された出力信号／復号に対する入力信号が元々与えられたスケーリングされていない層ＦＧ、ＧＢ１、ＢＧ２及びＢＧ３を含む実施例に対してエンコーダ出力信号ＥＯ／デコーダ入力信号ＤＩを生成するにも構成されることができることは、当業者に明らかである。

上記記載が、明確性のために、単一の復号／符号化プロセッサを参照して本発明の実施例を記載していると理解される。しかしながら、異なる機能ユニット又はプロセッサ間の機能の適切な分散が本発明からそれることなしに使用されることができることは明らかである。したがって、前記復号／符号化プロセッサに対する参照は、厳密な論理的又は物理的構造又は組織を示すのではなく記載された機能を提供する適切な手段に対する参照と見なされるだけである。

本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせを含む如何なる適切な形式でも実施されることができる。本発明は、オプションとして、１以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で実行されるコンピュータソフトウェアとして少なくとも部分的に実施されることができる。本発明の一実施例の要素及び構成要素は、如何なる適切な形でも物理的に、機能的に及び論理的に実施されることができる。実際に、機能は、単一のユニットで、複数のユニットで又は他の機能ユニットの一部として実施されてもよい。このように、本発明は、単一のユニットで実施されてもよく又は異なるユニット及びプロセッサの間に物理的に及び機能的に分散されてもよい。

本発明は、ある実施例に関連して記載されているが、ここに記載された特定の形式に限定されることを意図されない。むしろ、本発明の範囲は、添付の請求項によってのみ限定される。加えて、特徴は、特定の実施例に関連して記載されているように見えるかもしれないが、当業者は、記載された実施例の様々な特徴が本発明によって組み合わされることができると認識している。請求項において、用語有するは、他の要素又はステップの存在を除外しない。

更に、個別にリストされているが、複数の手段、要素又は方法ステップが、例えば単一のユニット又はプロセッサにより実施されてもよい。加えて、個別の特徴が、異なる請求項に含まれているかもしれないが、これらは、場合により有利に組み合わせられることができ、異なる請求項における包含は、特徴の組み合わせが実行可能及び／又は有利ではないことを意味しない。また、請求項の１つのカテゴリにおける特徴の包含は、このカテゴリに対する限定を意味せず、むしろこの特徴は、適切に他の請求項カテゴリに同等に適用可能である。更に、請求項内の特徴の順序は、前記特徴が動作されなくてはならない特定の順序を意味せず、特に方法請求項内の個別のステップの順序は、前記ステップがこの順序で実行されなくてはならないことを意味しない。加えて、単数形は、複数を除外しない。したがって、"１つの"（"a"、"an"）、"第１の"、"第２の"等への言及は、複数を除外しない。請求項内の参照符号は、単に明確化する例として提供され、いかなる形にも請求項の範囲を限定すると解釈されるべきでない。

Claims (12)

1. ２Ｄ画像及び深度情報を有する３Ｄ画像信号が符号化され、前記符号化された３Ｄ画像信号が、前景データ層及び前記前景データ層に対する１以上の背景データ層を有し、前記前景データ層及び前記１以上の背景データ層により覆われる表示エリアが、サイズ及び／又は形状において異なり、前記１以上の背景データ層の表示エリアにおける前記前景データ層の表示エリアに対応するエリアが前記前景データ層の表示エリアと同じサイズ及び形状になるように前記１以上の背景データ層をスケーリングするためのスケーリングデータが生成される、符号化方法。
2. 前記スケーリングデータが、メタデータとして生成される、請求項１に記載の符号化方法。
3. 前記スケーリングデータは、前記前景データ層の表示エリアのサイズ及び前記１以上の背景データ層の表示エリアのサイズが、水平方向にのみ異なることを表す、請求項１に記載の符号化方法。
4. 前記スケーリングデータが、非長方形形状を表す、請求項１に記載の符号化方法。
5. 前記スケーリングデータが、非線形スケーリングを表す、請求項１に記載の符号化方法。
6. ２Ｄ画像及び深度情報を有する３Ｄ画像信号を符号化するシステムにおいて、前記符号化された３Ｄ画像信号が、前景データ層及び前記前景データ層に対する１以上の背景データ層を有し、前記前景データ層及び前記１以上の背景データ層により覆われる表示エリアのサイズ及び／又は形状が異なり、前記１以上の背景データ層の表示エリアにおける前記前景データ層の表示エリアに対応するエリアが前記前景データ層の表示エリアと同じサイズ及び形状になるように前記１以上の背景データ層をスケーリングするためのスケーリングデータが生成される、システム。
7. 前景データ層及び１以上の背景データ層を有する３Ｄ画像信号を復号する方法において、様々なデータ層の表示エリアが異なり、前記３Ｄ画像信号が、前記１以上の背景データ層の表示エリアにおける前記前景データ層の表示エリアに対応するエリアが前記前景データ層の表示エリアと同じサイズ及び形状になるように前記１以上の背景データ層をスケーリングするためのスケーリングデータを有し、前記復号する方法が、前記スケーリングデータに依存して２以上のデータ層のサイズ及び／又は形状をマッチングするステップを有する、方法。
8. 前景データ層及び１以上の背景データ層を有する３Ｄ画像信号に対する入力を有する復号システムにおいて、様々なデータ層の表示エリアのサイズ及び／又は形状が異なり、前記３Ｄ画像信号が、前記１以上の背景データ層の表示エリアにおける前記前景データ層の表示エリアに対応するエリアが前記前景データ層の表示エリアと同じサイズ及び形状になるように前記１以上の背景データ層をスケーリングするためのスケーリングデータを有し、前記復号システムが、前記スケーリングデータに依存して前記２以上のデータ層により覆われる表示エリアをマッチングする手段を有する、復号システム。
9. コンピュータ上で実行される場合に、請求項１ないし５のいずれか一項に記載の符号化方法を実行するプログラムコード手段を有するコンピュータプログラム。
10. コンピュータ上で実行される場合に、請求項７に記載の方法を実行するプログラムコード手段を有するコンピュータプログラム。
11. ２Ｄ画像及び深度情報を有する３Ｄ画像信号を符号化する手順であって、前記符号化された３Ｄ画像信号が、前景データ層及び前記前景データ層に対する１以上の背景データ層を有し、前記前景データ層及び前記１以上の背景データ層により覆われる表示エリアが、サイズ及び／又は形状において異なる、当該符号化する手順と、
    前記１以上の背景データ層の表示エリアにおける前記前景データ層の表示エリアに対応するエリアが前記前景データ層の表示エリアと同じサイズ及び形状になるように前記１以上の背景データ層をスケーリングするためのスケーリングデータを生成する手順と、
    をコンピュータに実行させるプログラムコード手段を有するコンピュータプログラム。
12. 前景データ層及び１以上の背景データ層を有する３Ｄ画像信号を復号するコンピュータプログラムにおいて、様々なデータ層の表示エリアが異なり、前記３Ｄ画像信号が、前記１以上の背景データ層の表示エリアにおける前記前景データ層の表示エリアに対応するエリアが前記前景データ層の表示エリアと同じサイズ及び形状になるように前記１以上の背景データ層をスケーリングするためのスケーリングデータを有し、前記復号するコンピュータプログラムが、
    前記スケーリングデータに依存して２以上のデータ層のサイズ及び／又は形状をマッチングする手順、
    をコンピュータに実行させるプログラムコード手段を有するコンピュータプログラム。

Images