JP5173028B2 - シーンの階層化深さモデルを提供するための方法及び装置並びにシーンの階層化深さモデルを有する信号 - Google Patents

Description

本発明は、三次元シーンの階層化深さモデルを提供するための方法及び装置、並びに、シーンの階層化深さモデルを有する信号に関する。

三次元画像を表示するための適切なディスプレイ装置の研究における関心が高まっている。加えて、満足できる高品質な視聴経験をエンドユーザーに提供する方法を確立するために、相当な研究が行われている。

三次元(3D)ディスプレイは、観察されているシーンの異なるビューを観察者の両方の目に提供することによって、視聴経験に第３の次元を追加する。これは、表示される２つのビューを分離するための眼鏡をユーザに着用させることによって、達成されることができる。しかしながら、眼鏡はユーザにとって不便であると考えられる場合があるので、多くのシナリオにおいて、ビューを分離して、それらが個別にユーザの目に達することができる異なる方向にそれらを送るための、ディスプレイにおける手段（例えばレンチキュラレンズ又はバリア）を用いる自動立体視ディスプレイを用いることが好ましい。ステレオ・ディスプレイでは、２つのビューが必要とされるが、自動立体視ディスプレイは一般的に、より多くのビュー（例えば９つのビュー）を必要とする。

三次元表示を効果的にサポートするために、生成された三次元コンテンツの適切なデータ表現が用いられることが重要である。例えば、異なるステレオ・ディスプレイに対して、２つのビューが必ずしも同じものであるというわけではなく、最適な視聴経験は、一般的にスクリーン・サイズ及び観察者距離の特定の組み合わせに対するコンテンツ・データの適応を必要とする。同じ考慮点が、自動立体視ディスプレイにも当てはまる傾向がある。

三次元画像を表現するための普及しているアプローチは、１つ以上の階層化された二次元画像に加えて深さ表現を用いることである。例えば、各々関連する深さ情報を有する前景及び背景画像が、三次元シーンを表現するために用いられることができる。本出願のコンテキストの範囲において、用語「深さ情報」は、視点までのそれぞれの画像要素の距離を示す情報、又は、２つのそれぞれの視点間のそれぞれの画像要素の視差を示す情報を示すために用いられる。視差（すなわち、左目ビューと右目ビューとの間の画像要素の見かけ上の変位）は深さに反比例するので、いずれの表現も、階層化深さモデルのビューをレンダリングするための入力として用いられることができる。

画像及び深さ表現を用いることには、二次元ビューが比較的低い複雑度でレンダリングされて、複数のビューの記憶と比較して効率的なデータ表現が提供されることを可能にし、それによって、例えば三次元画像(及びビデオ)信号のための記憶及び通信リソース要件を低減する点において、いくつかの利点がある。このアプローチは、さらに、二次元画像が三次元表現中に含まれる二次元画像とは異なる視点及び観察角で生成されることを可能にする。さらに、この表現は、異なるディスプレイ構成に容易に適応されて、異なるディスプレイ構成をサポートすることができる。

階層化画像によって表現されるそれとは異なる観察角からのビューをレンダリングするとき、前景ピクセルは、それらの深さに応じてシフトされる。これにより、元の観察角では遮蔽されていた領域が見えるようになる。その場合、これらの領域は、背景レイヤを用いて、又は適切な背景レイヤ・データが利用可能でない場合には、例えば前景画像のピクセルを繰り返すことによって、満たされる。しかしながら、そのようなピクセルの複製は、目に見えるアーチファクトをもたらす場合がある。背景情報は一般的に、前景画像オブジェクトのエッジ周辺でのみ必要とされ、したがって、大部分のコンテンツに対して大いに圧縮可能である。

シーンの階層化深さモデルは、複数のレイヤから最上レイヤ及び遮蔽レイヤである２つのレイヤへと単純化されることができることが知られている。そのようなモデルにおいて、遮蔽レイヤは、ピクセル反復又は背景補間に関連した視覚的アーチファクトを回避するために用いられる。従来の技術システムでは、そのようなレイヤは、規定の数の観察角からみて、いくつかの全ての可能な遮蔽された領域に提供される。

これは、そのような階層化深さモデルがダウンスケーリングされるときに、レンダリングにおいて視覚的アーチファクトをもたらす可能性があるという点で、問題が存在する。同様に、階層化深さモデルを符号化することは、同様のアーチファクトをもたらす場合がある。これは特に、（教科書的なスケーリング技術を用いて正しくダウンスケーリングされることができない）明示的に符号化されたメタデータによってではなく、コンテンツ・データ自体によって暗黙に、例えばダウンスケーリングされた階層化深さモデルにおける深さ遷移の存在の結果として、遮蔽情報の使用が誘発される状況において、真である。

ダウンスケーリングから生じるそのようなアーチファクトを軽減することが本発明の目的である。

この目的は、シーンの階層化深さモデルを提供する方法によって達成され、この深さモデルのレイヤは、一次観察方向からのシーンの一次ビューのための一次ビュー情報、及び、シーンの他のビューをレンダリングするための一次ビュー情報と関連した遮蔽情報を有し、一次ビュー情報は、一次観察方向に対して深さ方向に最も近いモデルのレイヤ・セグメントを有し、遮蔽情報は、モデルの更なるレイヤ・セグメントを有し、遮蔽情報は、遮蔽情報が提供される深さ遷移に隣接した安全領域を有し、安全領域は、一次ビュー情報の対応するセグメントを有し、安全領域は、それぞれの深さ遷移の一次観察方向に対して深さ方向に最も遠い側に位置づけられる。

例えば記憶又は伝送のための遮蔽データを含む階層化深さモデルのリサイズ又は圧縮に続いて、階層化深さモデル、特に遮蔽データの表現は、影響を及ぼされる。結果として、レンダリング装置は、正しく深さ変動を検出することができない。特に、そのような深さ遷移の検出が遮蔽情報の使用を始動させるために用いられるとき、これは、はっきり目に見えるアーチファクトをもたらす可能性がある。

これらのアーチファクトは、それ自体、通常、時間的に安定しておらず、結果として、それらの「点滅」に起因して目立つので、従来技術（例えばピクセル反復）を使用するより迷惑でありえる。あるいは、リサイズは、レンダリング装置に、スケーリングの前にはそのような遷移が存在しなかった所で深さ変動を検出させる可能性がある。しかしながら、概して、後者のエラーから生じるアーチファクトは、あまり突出していない。

本発明は、安全領域において、つまり、遮蔽情報が利用可能である深さ遷移の外側の隣接した領域において、この遮蔽情報が一次ビュー情報のそれと同一にされることを効果的に確認する。結果として、一般に一次ビュー情報中及び遮蔽情報中に含まれる両方の深さ値を伴うダウンスケーリングされた信号における深さ遷移の検出が改善される。結果として、ビデオ・コンテンツ自体の遮蔽データの使用のドリガの信頼性が改善される。

一般的に、一次ビュー情報及び遮蔽情報の両方は、
−非遮蔽化された領域をレンダリングするための色/テクスチャ・データを提供する画像情報、及び
−非遮蔽化された領域をレンダリングするための深さ情報を提供する深さ情報、
の両方を有する。

遮蔽情報を使用して、他の観察角から見えるようになるそれぞれのテクスチャは、観察角及び深さ情報に基づくそれぞれの遮蔽テクスチャの適切な変位を使用して、レンダリングされることができる。

実施の形態において、２つを超えるレイヤを有する階層化深さモデルは、２レイヤ・モデルに折りたたまれる。そのようなモデルは、それ自体、再び階層化深さモデルである。後者の階層化深さモデルにおいて、最上レイヤは一次ビュー情報を有し、遮蔽レイヤは遮蔽情報を有する。最上レイヤが、更なる処理を伴わずにレガシー二次元ディスプレイ装置上で実際に使用されることができることが明らかな利点である。元の階層化深さモデルがさらに透明度を有する場合には、最上レイヤは、複数の他のレイヤのデータから成る複合レイヤであることができる。

実施の形態において、遮蔽レイヤは、深さに関して最上レイヤに最も近いモデルのレイヤの更なるレイヤ・セグメントが存在しないときはいつでも、最上レイヤのセグメントを有する。結果として、遮蔽レイヤは、レンダリングに用いられる更なる完全な画像を表し、遮蔽レイヤ中の遮蔽データの存在を示すこと、又は、完全な遮蔽レイヤのランタイム合成の必要性は存在しない。

実施の形態において、遮蔽レイヤ情報中の遮蔽情報のそれぞれのセグメントのサイズは、一次ビューの観察角からの最大偏差及びシーン中の深さ情報に基づく。他の実施例において、それぞれのセグメントのサイズは、最上レイヤ及び複合レイヤの両方における同時深さ遷移の内側の予め定められた幅に基づく。さらに他の実施の形態では、それぞれのセグメントのサイズは、遮蔽データが利用可能である深さ遷移の内側の予め定められた幅、及び、外側の更なる予め定められた幅に基づく。これらの実施の形態の各々は、第１の実施の形態が、観察角及び深さ限界内での適切なレンダリングを可能にする遮蔽レイヤの符号化を可能にするという利点を提供する。第２の実施の形態は、より記憶に配慮した実施態様を可能にする。第３の実施の形態は、遮蔽情報を符号化するときに、モスキート・ノイズのような圧縮アーチファクトの防止を可能にする。

他の実施例において、安全領域のサイズは、予め定められた最大ダウンスケール係数に基づく。この特徴は、コンテンツ・プロバイダが、遮蔽情報のダウンスケーリングが最小のスケーリング・アーチファクトをもたらす解像度の範囲を決定することを可能とする。例えば、コンテンツが1920x1080ピクセルの解像度で配布され、さらに、ダウンスケーリング・レジリエンスが640x480の解像度まで必要とされると考える。この場合には、より低い解像度において２ピクセル幅の安全領域を維持するために、７ピクセル幅の安全領域が導入される。同様に、安全領域のサイズは、遮蔽情報を符号化するために使用される符号器の粒度に基づくことができる。

本発明を使用するダウンスケーリング保護は、x及びy方向の両方において異なって適用されることができるので、安全領域は、望ましいロバストネスに基づいて、各々のそれぞれの方向に対して異なって選択されることができる。

好ましい実施の形態において、階層化深さモデルは、少なくとも一次ビュー情報のために、透明度情報をさらに有する。実施の形態によれば、深さ遷移に隣接した安全領域の透明度値は実質的に透明であり、安全領域の他の端における安全領域の透明度値は実質的に不透明である。厳密に言えば、この実施の形態にとって一次ビュー情報及び遮蔽情報は同一であるので、透明度領域は、この実施の形態の安全領域では必要とされない。しかしながら、階層化深さモデルをスケーリングに対してよりロバストにするために、好ましくは、滑らかな遷移が、追加的な安全ゾーンの有無にかかわらず適用される。さらに好ましい実施の形態において、安全領域は、（連続する透明なピクセルに隣接する）実質的に透明から、深さ遷移から外れる安全領域の端の実質的に不透明までの勾配に加えて、深さ遷移に隣接した予め定められた数の連続する透明なピクセルを有する。透明度値のこの特定の選択によって、最上レイヤの任意の不透明度/透明度/α値は、ダウンスケーリングにおいて実質的に維持されることができる。同様に、安全領域のちょうど外側の値が、ダウンスケーリングするときに、「引き下ろされない」ことを保証するために、予め定められた数の連続する透明度値が、勾配の後、安全領域の端において用いられることができる。

あるいは、連続する透明な/不透明なピクセル間の勾配を使用する代わりに、コーデック・ブロック境界に配置されるならば、急な遷移を使用することも可能である。連続する透明な及び/又は連続する不透明なピクセルが、遷移を境界に正しく配置するために用いられることができる。結果として生じる整列配置された遷移は、より効率的に符号化されることができる。これは次に、符号化アーチファクトの導入を防止するのを助けることができ、改善されたロバストネスをもたらす。

さらに有利な実施の形態において、深さホール保護領域が、深さホール、すなわち、第１の閾値数のピクセルを超えて離れていない深さの下方遷移及びその後の深さの上方遷移を含む領域の一次ビュー情報に提供される。そのような深さホールのために、好ましくは、一次ビュー深さ情報は、深さホールの高い端の深さ値のうちの一方、高い端の深さ値の両方の平均、高い端の深さ値の間の勾配、又は、深さホールの両方の高い端の深さ値に基づく補間されたセグメントのいずれか１つに設定される。加えて、隣接する深さジャンプ間の透明度値は、好ましくは実質的に透明に設定される。結果として、深さホールは、ダウンスケーリングに対してより適切に保護される。

さらに有利な実施の形態において、深さスパイク保護領域が、深さスパイク、すなわち、第２の閾値数のピクセルを超えて離れていない深さの上方遷移及びその後の深さの下方遷移を含む領域の一次ビュー情報に提供される。そのような深さスパイクのために、好ましくは、一次ビュー深さ情報は、深さスパイク保護領域内の深さスパイクの最上部の深さ値に設定され、深さスパイクの外側の深さスパイク保護領域中の透明度値は、実質的に透明に設定される。結果として、深さスパイクは、ダウンスケーリングに対してより適切に保護される。

本発明による方法は、シーンの３次元モデルを受信し、本発明に従ってシーンの階層化深さモデルを提供し、シーンの３次元モデルを処理することにより、シーンの３次元モデルを処理する方法に有利に適用されることができる。

本発明は、さらに、シーンの階層化深さモデルを含む信号に関し、この深さモデルのレイヤは、一次観察方向からのシーンの一次ビューのための符号化された一次ビュー情報であって、一次観察方向に対して深さ方向に最も近いモデルのレイヤ・セグメントを有する一次ビュー情報、及び、シーンの他のビューをレンダリングするための一次ビュー情報と関連した符号化された遮蔽情報を有し、遮蔽情報はモデルの更なるレイヤ・セグメントを有し、遮蔽情報は、遮蔽情報が提供される深さ遷移に隣接する安全領域を有し、安全領域は、一次ビュー情報の対応するセグメントを有し、安全領域は、それぞれの深さ遷移のうちの一次観察方向に対して深さ方向に最も遠い側に位置づけられる。

本発明はさらに、シーンの階層化深さモデルを提供するための装置に関し、深さモデルのレイヤは、一次観察方向からのシーンの一次ビューのための一次ビュー情報及びシーンの他のビューをレンダリングするのに用いられる一次ビュー情報と関連した遮蔽情報を有し、当該装置は、深さに関して一次ビューの視点に最も近いモデルのレイヤ・セグメントを有する一次ビュー情報、及び、モデルの更なるレイヤ・セグメントを有する遮蔽情報を提供するように配置され、遮蔽情報は、遮蔽情報が提供される深さ遷移に隣接する安全領域を有し、安全領域は、一次ビュー情報の対応するセグメントを有し、安全領域は、それぞれの深さ遷移のうちの一次観察方向に対して深さ方向に最も遠い側に位置づけられる。

本発明のこれらの及び他の態様、特徴及び利点は、以下に説明される実施の形態から明らかであり、それらを参照して説明される。

本発明の実施の形態は、単に一例として、図面を参照して説明される。同様の番号は同様の機能を持つ要素を指す。

三次元シーンの階層化深さモデルの水平断面図。 図1Aの階層化深さモデルの最上レイヤを示す図。 図1Aの階層化深さモデルの従来技術の遮蔽レイヤを示す図。 本発明の実施の形態による図1Aの階層化深さモデルのための遮蔽安全領域のコンセプトを示す図。 図1Aの階層化深さモデルへの透明度の追加を示す図。 本発明の実施の形態による安全領域に対する透明度の追加を示す図。 本発明の好ましい実施の形態による深さ遷移に近接した安全領域に対する透明度の追加を示す図。 一次ビュー情報のための深さホール保護処理を示す図。 一次ビュー情報のための深さスパイク保護処理を示す図。 本発明による方法を示す図。 本発明による処理装置及び信号を示す図。 本発明による装置及び信号を示す図。 本発明による更なる装置及び信号を示す図。 従来技術による２レイヤ深さモデルのテクスチャ、深さ、遮蔽テクスチャ及び遮蔽深さ情報のそれぞれの抜粋を示す図。 本発明の実施の形態による２レイヤ深さモデルのテクスチャ、深さ、遮蔽テクスチャ及び遮蔽深さ情報のそれぞれの抜粋を示す図。 図7Aの入力データに基づくレンダリングされたビューを示す図。 図7Bの入力データに基づくレンダリングされたビューを示す図。

階層化深さ表現に基づいて新たなビューをレンダリングするのに用いられる階層化深さ表現の使用は、長年にわたり研究者を引きつけている。"Layered Depth Images", Shade et. al, Proceedings of ACM SIGGRAPH 1998において、マルチレイヤ深さ画像に基づく３次元モデルの記憶が、それに基づくコンテンツのレンダリングと同様に説明される。

"High-quality video view interpolation using a layered representation", Zitnick, et al, Proceedings of ACM SIGGRAPH 2004において、シーンの階層化深さモデルの生成が開示され、ここで階層化深さモデルは、境界色、境界深さ及び境界α（不透明度）の形の遮蔽情報を有する。加えて、階層化深さモデルからのビューのレンダリングの方法が示される。

本発明の発明者は、実際に、コンテンツが階層化深さモードを用いて配信されるとき、階層化深さモデルをダウンスケール及び/又は圧縮することが必要とされる場合があることを認識した。しかしながら、本発明によって対処されるような問題を認識しないソフトウェア・スケーラー又はハードウェア・スケーラーがそうするために用いられると、これは一般に目に見えるアーチファクトをもたらす。そのようなアーチファクトの例が図7Cに示され、領域745のアーチファクトが領域740中に拡大されて示される。

上記の問題は、特に、階層化深さモデルからの深さ情報が遮蔽情報の使用を始動させるために用いられている状況にあてはまる。そのような状況において、階層化深さモデルのダウンスケーリングは、深さ遷移がもはや正しく認識されないか、あるいはダウンスケーリング前には存在していなかったところで認識されるように、一次ビュー情報及び遮蔽情報に影響を及ぼす場合がある。

遮蔽情報を符号化するための考えられる経験則が以下で提供される。なお、これは単なる例示であって、他のトリガ・メカニズムが用いられることができる。しかしながら、この説明から、一次ビュー及び/又は遮蔽情報の両方における深さ情報のダウンスケーリングは、遮蔽情報の使用の適切なトリガリングに影響を及ぼす可能性があることが明らかだろう。

次の場合において、遮蔽情報が深さ遷移のために提供されるべきである。

一次ビュー情報及び遮蔽情報の低いピクセルが同様である。例えば、一定の閾値が用いられることができる。

遷移の一次ビュー情報中の高いピクセルが、遮蔽情報のピクセルより大幅に大きくなければならない。例えば、更なる一定の閾値が用いられることができる。

一次ビュー情報の高いピクセルが、一次ビュー情報の低いピクセルより大幅に大きくなければならない。これは、一次ビュー情報が一様であり、遮蔽情報が突然「落ちる」ときに、遷移を検出することを回避する。本発明は、領域755が（745と比較する）アーチファクトを示し、領域750が領域755の引伸ばしを提供する図7Dに描かれているように、アーチファクトをより少なくするような態様でダウンスケーリング後のモデルのレンダリングを可能にするソリューションを提供する点において、このダウンスケーリング問題に対処する。

図1Aは、三次元シーンの階層化深さモデルの水平断面図を示す。この特定のモデルは、レイヤL1、セグメントL2,1及びL2,2から成るレイヤL2、レイヤL3及びL4、並びに、背景レイヤL5である５つのレイヤを有する。この例では、全てのレイヤが水平ラインとして、すなわち全体に単一の深さ値を持つように表現されているが、これは必須ではなく、単に明確にするための単純化である。レイヤ内の深さは一般的に変化することが留意されるべきである。実際には、オブジェクト・ベースの符号化を用いるとき、そのようなレイヤ内の深さ変動は、一般にオブジェクト深さに関する。

図1Aに示される階層化深さ画像が一次観察方向PVDからの観察のためにレンダリングされるとき、結果として生じるビューは、一次ビューの視点に最も近い深さに関するモデルのレイヤのレイヤ・セグメントからなる。組み合わせられたこれらのセグメントは、最上レイヤTLを形成する。

最上レイヤを決定するために、遮蔽レイヤを生成するために使用されるカメラ・モデルは、PVDによって示される一次観察方向に関して無限遠に配置されるカメラである。結果として、階層化深さ画像中の最上レイヤは、特定の位置（x,y）において深さ方向にカメラに最も近いレイヤである（この場合には最も上のレイヤ）。

図1Cは、従来技術による遮蔽レイヤを形成する階層化深さモデルのセグメントを示す。遮蔽レイヤは、遮蔽レイヤOLによって図1Cに示されるように、深さに関して最上レイヤに最も近い、モデルのレイヤの更なるレイヤ・セグメントを有する。結果として、深さ方向に最上レイヤの背後に更なるレイヤが存在する場合、そのレイヤは遮蔽情報を提供する。なお、背後の図において、観察方向PVDの結果として、以下に対応する。この例の遮蔽レイヤは最上レイヤの下にあるので、遮蔽レイヤは一般的に、ジャンプJ1, J2, J3及びJ4によって示されるように、最上レイヤにおける不連続又はジャンプと一緒にレイヤを変更する。

遮蔽レイヤOLに関して、図1CにおいてL1の下の中央のセグメントが遮蔽レイヤ中に含まれるが、これは必須ではないことが留意されるべきである。実際、レンダリングされるビューが遮蔽レイヤのこのセグメントのレンダリングを必要とする確率は非常に低いので、それはモデルから完全に削除されることができ、それによって記憶空間を節約する。この情報を含まないことによって、レンダリングの間に遮蔽レイヤ中のそのようなホールを満たすために、補間又はピクセル反復に頼ることが必要である可能性がある。

上記は、遮蔽レイヤ中に何が含まれて何が含まれないかを決定する際に、発見的手法が重要な役割を演ずる場合があることを明確に示す。

図1Dは、本発明による、ここでは遮蔽レイヤOL2の形の遮蔽情報を示す。図1Dに示されるように、最上レイヤTL及び遮蔽レイヤの両方における同時深さ遷移J1, J2, J3又はJ4に隣接した安全領域SR1, SR2, SR3又はSR4中の遮蔽レイヤのセグメントは、最上レイヤTL1, TL2, TL3又はTL4の対応するセグメントによって置き換えられる。安全領域は、最上レイヤにおける深さ遷移の、深さ値が一次観察方向PVDに対して最も小さい側に対応する深さ遷移の外側に配置される。

図1A-1Dに示される遮蔽レイヤ及び深さレイヤは、テクスチャ情報（ここでは黒/グレー）及び深さ情報（z成分）の両方を有する。

図1Dに示される一次ビュー情報及び遮蔽情報OL2を含む階層化深さモデルは、様々な態様で符号化されることができることは、当業者にとって明らかである。第１のアプローチは、例えば、図1Aに示される階層化深さモデルを符号化して、さらに、遮蔽情報として安全領域TL1, TL2, TL3及びTL4に関する情報を符号化することである。他のアプローチは、図1Bに示される最上レイヤ及び図1Dに示される遮蔽レイヤOL2を符号化して、単純化された階層化深さモデルとしてこれらの２つを併用して用いることである。しかしながら、階層化深さモデルがどのように符号化されるかにかかわらず、本発明によれば、安全領域において、遮蔽情報OL2は最上レイヤ情報TLに対応し、これは、階層化深さモデルを別々に設定するものである。

図1Cに示された遮蔽レイヤOLは、すべてのピクセルが輝度及び深さ値を割り当てられた遮蔽レイヤに対応する。結果として、遮蔽レイヤのランタイム合成は必要とされない。

図2Aは、図1Aのそれに対応する最上レイヤTLを含む階層化深さ画像を示す。加えて、図2Aは、レンダリングにおいて滑らかなオブジェクト・エッジを得るために最上レイヤTLのセグメントのための透明度の使用を示す。ここで、透明度は、ギザギザのエッジの発生を防止するために用いられる。レイヤのそれぞれのセグメントの端に向かって、不透明度に対応するα値が減少し、階層化深さモデルの最上レイヤにおける透明なエッジをもたらすことが留意されるべきである。

図2Bは、図1Dを参照して説明される本発明の実施の形態による遮蔽レイヤを含む階層化深さ画像を示す。本発明の実施の形態にしたがって安全領域のための補正された透明度/不透明度値を備える最上レイヤTLの透明度情報が、図2Bに含まれる。厳密に言えば、透明度領域は上に示されるような安全領域には必要とされないが、そのような情報を追加することは、階層化深さモデルのダウンスケーリング又は圧縮を改善することができる。

図3は、本発明の好ましい実施の形態による安全領域の透明度値の更なる改良を示す。この図において、予め定められた数の連続する完全に透明なピクセルが、深さ遷移に隣接して配置される。同様に、遷移の左側で、予め定められた数の連続する完全に不透明なピクセルが用いられる。安全領域におけるこれらの追加的な透明な/不透明なピクセルの存在の結果として、スケーリングされた最上レイヤの透明度に関する安全領域の透明度勾配の影響は、最低限に保たれる。これらのピクセルの結果として、一次ビュー透明度情報は、安全領域中の透明度勾配によって実質的に影響を受けないままであり、すなわち、完全に透明なピクセルの数は、ダウンスケーリング係数を補正するために十分に大きく選択される。

本発明が水平方向に沿って、すなわちx軸の方向に沿って安全領域を提供するとして説明されたが、本発明はさらに、垂直方向に沿って有利に適用されることができる。

例えば、640x480にダウンスケーリングされることができなければならず、水平方向におけるダウンスケーリング係数が３となる、1920x1080の最大解像度で提供されるコンテンツをダウンスケーリングするとき、好ましくは、７ピクセル幅の安全領域が水平方向に導入される。符号化がレイヤ境界に影響を与えることを防止するために、２ピクセルの安全領域があることが好ましい。結果として、理論的には、６ピクセルの安全領域を使用すれば十分である。実際には、例えば非対称フィルタ・カーネルの結果として、７ピクセル幅の安全領域が好ましい。多くの現在のアプリケーションにとって垂直方向のアーチファクトはそれほど重要ではないので、そこでは３ピクセルの安全領域が適用される。

遮蔽データの保護のために安全領域を用いる比率は図7A〜7Dに示される。図7Aは、階層化深さ画像の最上レイヤ及び遮蔽レイヤを表す入力画像の１セットの抜粋を提供する。画像710は色画像の抜粋を提供し、楕円オブジェクトが矩形のストライプのオブジェクトを部分的に遮蔽している。画像712は対応する深さマップを示す抜粋を提供し、より明るいトーンが「カメラ」により近く、画像710及び712が一緒に最上レイヤを形成する。同様に、遮蔽レイヤは、それぞれ遮蔽色画像及び遮蔽深さマップから成る画像714, 716によって提供される。

図7Bは、遮蔽レイヤが本発明の実施の形態によって生成されたことを除いて、それぞれの画像710, 712, 714及び716に対応する入力画像720, 722, 724及び726の１セットの抜粋を提供する。特に、ストライプの矩形のオブジェクトに属する最上レイヤの色情報及び深さ情報は、図7B中の遮蔽レイヤにおいて、図7A中より大きい領域をカバーする（すなわち、ストライプの矩形の後のスターの遮蔽情報がより少ない）ことが留意される。これは、遮蔽レイヤにおいて「コピーされている」最上レイヤ情報の結果である。

図7Cは、その抜粋が図7Aに示される入力画像に基づいてレンダリングされたビュー、すなわち、（符号化/復号化後の）従来技術に従って遮蔽レイヤに基づいてレンダリングされたビューを示す。図7Cは、領域745中に示されて、領域740中にもう一度拡大される相当なレンダリング・アーチファクトを示す。

図7Dは、その抜粋が図7Aに示される入力画像に基づいて、すなわち、（符号化/復号化後の）本発明に従って遮蔽レイヤに基づいてレンダリングされたビューを示す。図7Dは、領域755中に示されて、領域750中にもう一度拡大される実質的により少ないアーチファクトを示す。

上に説明される遮蔽レイヤは、コンテンツの記憶又は配布のために有利に用いられることができる。その結果として、そのように処理された遮蔽レイヤを備えたコンテンツは、優先日において一般的に利用可能なダウンスケーリング・ツールを用いてダウンスケーリングされることができる。そのようなコンテンツはさらに、符号化/復号化により強い。さらに、そのようなスケーリング・アルゴリズムを、使用される実際の遮蔽フォーマットに特有の特異性に応じるために調整する必要がなく、その代わりに一般的に、遮蔽情報は、従来の二次元画像と同様にダウンスケーリングされることができる。別の態様では、本願明細書において説明される方法は、（必ずしもコンテンツ作成側においてではなく）ダウンスケーリングする直前に適用されることができる。あるいは、それは、必ずしも大きいダウンスケール係数からではなく、符号化から保護するのに十分大きい安全マージンによってコンテンツ作成側で適用されることができ、そして後で、より大きい安全マージンによって、来るべきダウンスケール操作に対して調整される。

図4Aは、本発明の更なる実施の形態による、一次ビュー情報のための深さホール保護領域DHPの概念を示す。図4Aは、２つのホールを有する深さプロファイルを示す。そのようなホールが十分に狭く、つまり、深さホール保護領域DHPの幅が第１の閾値未満（例えば３ピクセル）であるとすると、係数３によってダウンスケーリングするときに、スケーリング後に深さホールは完全に消滅するだろう。図4Aは、遮蔽情報安全領域に対して相補的である深さホール保護スキームを示す。

図4Aにおいて、一次ビュー情報中の３つのホールは、セクションD1及びD2のための深さ値を、深さホールの高い端の線形補間を表す値に設定することによって、「修復される」。加えて、セクションD1及びD2の不透明度は0に設定され、すなわち、それらは透明にされる。このアプローチの結果、一次ビュー情報中の２つの深さホールは、アーチファクトを引き起こしにくい２つの透明な「ウィンドウ」によって、効果的に置き換えられる。

図4Bは、本発明の実施の形態による、一次ビュー情報のための深さスパイク保護領域DSPの概念を示す。図4Bは、深さスパイクを有する深さプロファイルを示す。そのようなスパイクが十分に狭く、つまり、スパイクの幅がある数のピクセル（例えば３ピクセル）未満であるとすると、係数3によってダウンスケーリングするときに、スケーリング後に深さスパイクは完全に消滅するだろう。図4Bは、遮蔽情報安全領域に対して相補的である深さスパイク保護スキームを示す。

図4Bにおいて、一次ビュー情報中のスパイクは、セクションD3及びD4のための深さ値を、スパイクの高い端の延長を表す値に設定することによって拡張される。加えて、セクションD3及びD4の不透明度は0に設定され、すなわち、それらは透明にされる。このアプローチの結果、スパイクは、スケーリング処理を生き残るのに十分に広くされるが、「サイド・ローブ」は、透明度値によって透明にされる。

図5は、シーンの階層化深さモデルを処理する方法のフローチャート500を示す。本方法は、階層化深さモデルやワイヤーフレーム・モデル、あるいは他の適切な三次元シーン・モデルであることができる、シーンの三次元モデルを取得するステップ500を有する。

本方法はさらに、シーンの階層化深さモードを提供すること(510)を含み、階層化深さモデルは、一次観察方向からのシーンの一次ビューのための一次ビュー情報及びシーンの他のビューのレンダリングに用いられる一次ビュー情報に関連した遮蔽情報を有する。一次ビュー情報は、次に、一次観察方向に関して深さ方向に最も近いモデルのレイヤ・セグメントを有する。遮蔽情報は、モデルの更なるレイヤ・セグメントを有する。遮蔽情報は、遮蔽情報が提供される深さ遷移に隣接した安全領域を有する。安全領域は次に、一次ビュー情報の対応するセグメントを有し、安全領域は、それぞれの深さ遷移のうちの一次観察方向に対して深さ方向に最も遠い側に位置づけられる。

オプションとして、図5に示される方法は、ダウンスケーリング、符号化、記憶、送信及び/又はレンダリングのような、階層化深さモデルを処理するステップ515をさらに有することができる。

図6Aは、シーンの３次元モデルを処理するための装置600を示す。この装置は、シーンの３次元モデルを受信するために配置される受信手段670を有する。受信手段は、無線ネットワークから情報を受信するための受信機か、又は、例えばデータキャリアからシーンの３次元モデルを取得するための他の入力ユニットであることができる。

装置600はさらに、シーンの階層化深さモデル605を提供するための装置610を有する。提供される深さモデル605のレイヤは、一次観察方向からのシーンの一次ビューのための一次ビュー情報及びシーンの他のビューをレンダリングするのに用いられる一次ビュー情報と関連した遮蔽情報を有する。装置610は、深さに関して一次ビューの視点に最も近いモデルのレイヤ・セグメントを有する一次ビュー情報、及び、モデルの更なるレイヤ・セグメントを有する遮蔽情報を提供するように配置される。遮蔽情報は、遮蔽情報が提供される深さ遷移に隣接する安全領域を有し、安全領域は、一次ビュー情報の対応するセグメントを有し、安全領域は、それぞれの深さ遷移のうちの一次観察方向に対して深さ方向に最も遠い側に位置づけられる。

オプションとして、この装置はさらに、階層化深さモデル605を処理するために、例えば汎用プロセッサ、ASIC又は他の処理プラットフォームであることができる処理手段680を有する。処理は、例えばダウンスケーリング、符号化、記憶、送信及び/又はレンダリングを含むことができる。

図6Aに示される装置610はさらに、消費装置620に単独で信号615を出力するように配置されることができ、あるいは図6Bに示されるように、信号615は、例えば家庭内のネットワーク、他のイントラネット又はインターネットであることができるネットワーク630を通じて配布されることができる。

装置610がシーンの３次元モデルを処理するとして説明されたが、シーンの３次元モデルは、特に有利な場合において、図6Cに示されるような複合レイヤとも呼ばれる場合がある最上レイヤ625及び遮蔽レイヤ635から成る２レイヤ・モードであることができる階層化深さモデルであることもできる。

明確性のための前記説明が異なる機能ユニット及びプロセッサを参照して本発明の実施の形態を説明したことはいうまでもない。しかしながら、異なる機能ユニット又はプロセッサ間での機能の任意の適切な分配が、本発明を損なわずに用いられることができることは明らかである。例えば、別々のユニット、プロセッサ又はコントローラによって実行されることが示された機能は、同じプロセッサ又はコントローラによって実行されることができる。したがって、特定の機能ユニットへの参照は、厳密な論理的若しくは物理的な構造又は組織を示すのではなく、単に、説明された機能を提供するための適切な手段への参照と考えられるべきである。

本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形式で実施されることができる。本発明は、オプションとして、少なくとも部分的に、１つ以上のデータプロセッサ及び/又はデジタルシグナルプロセッサ上で動作するコンピュータ・ソフトウェアとして実施されることができる。本発明の実施の形態の要素及びコンポーネントは、物理的に、機能的に及び論理的に、任意の適切な態様で実施されることができる。実際、機能は、単一のユニットにおいて、複数のユニットにおいて又は他の機能ユニットの一部として実施されることができる。このように、本発明は、単一のユニットにおいて実施されることができ、又は、異なるユニット及びプロセッサ間で物理的及び機能的に分配されることができる。

本発明は、いくつかの実施の形態に関連して説明されたが、本願明細書において述べられた特定の形式に制限されることは意図されない。むしろ、本発明の範囲は、添付の請求の範囲のみによって制限される。加えて、ある特徴が特定の実施の形態に関連して説明されると思われるかもしれないが、当業者は、説明された実施の形態のさまざまな特徴は、本発明に従って組み合わせられることができることを認識する。請求の範囲において、「有する」「含む」などの用語は、他の要素又はステップの存在を除外しない。さらに、個別に記載されるが、複数の手段、要素又は方法ステップは、例えば単一のユニット又はプロセッサによって実施されることができる。

加えて、個々の特徴が異なる請求項中に含まれる場合があるが、これらは有利に組み合わせられることができ、異なる請求項中に含まれることは、特徴の組み合わせが利用可能でない及び/又は有利ではないことを意味しない。さらに、請求項の１つのカテゴリ中にある特徴が含まれることは、このカテゴリへの制限を意味せず、その特徴が、適切であるように、他の請求項カテゴリにも同様に適用可能であることを示す。さらに、請求項中の特徴の順序は、その特徴が動作しなければならない任意の特定の順序を意味せず、特に、方法クレーム中の個々のステップの順序は、ステップがこの順序で実行される必要があることを意味しない。むしろ、ステップは、任意の適切な順序で実行されることができる。加えて、単数形の参照は、複数を除外しない。"a"、 "an"といった冠詞、 "第１", "第２"などは、複数を除外しない。請求の範囲中の参照符号は、単に明確な例として提供され、如何なる態様においても、請求の範囲を制限するものとして解釈されてはならない。

Claims (14)

1. シーンの階層化深さモデルを提供する方法であって、前記深さモデルのレイヤは、一次観察方向からの前記シーンの一次ビューのための一次ビュー情報、及び、前記シーンの他のビューをレンダリングするために用いられる前記一次ビュー情報に関連する遮蔽情報を有し、
   前記一次ビュー情報は、前記一次観察方向に対して深さ方向に最も近い前記モデルのレイヤ・セグメントを有し、
   前記遮蔽情報は、前記モデルの更なるレイヤ・セグメントを有し、前記遮蔽情報は、遮蔽情報が提供される深さ遷移に隣接する安全領域を有し、前記安全領域は、前記一次ビュー情報の対応するセグメントを有し、前記安全領域は、それぞれの深さ遷移の前記一次観察方向に対して深さ方向に最も遠い側に配置される、方法。
2. 前記一次ビュー情報及び前記遮蔽情報は、各々、画像情報及び深さ情報の両方を有する、請求項１に記載の方法。
3. 前記階層化深さモデルは、
   前記一次ビュー情報を符号化する最上レイヤ、及び
   前記遮蔽情報を符号化する遮蔽レイヤ、
   からなる２レイヤモデルである、請求項１に記載の方法。
4. 前記遮蔽レイヤは、利用可能な他の情報が存在しないときはいつでも、前記最上レイヤの対応するセグメントを有する、請求項３に記載の方法。
5. 前記遮蔽情報のサイズが、
   前記一次ビューの観察角からの最大偏差及び深さ情報に基づく幅、
   深さ遷移の一方の側の予め定められた幅、並びに
   深さ遷移の一方の側の予め定められた幅及び他方の側の更なる予め定められた幅、
   のうちの１つに基づく、請求項１から請求項４のいずれか一項に記載の方法。
6. 前記安全領域のサイズが、
   予め定められた最大スケーリング係数、及び
   遮蔽情報コーデックの粒度、
   のうちの１つに基づく、請求項１から請求項４のいずれか一項に記載の方法。
7. 前記階層化深さモデルが、前記一次ビュー情報のための透明度情報をさらに有し、
   深さ遷移に隣接する前記安全領域の透明度値が実質的に透明であり、前記安全領域の他方の端における前記安全領域の透明度値が実質的に不透明である、請求項１から請求項６のいずれか一項に記載の方法。
8. 前記安全領域の前記透明度値は、
   − 前記深さ遷移に隣接する実質的に透明から、前記安全領域の他方の端における実質的に不透明までの勾配、
   − 前記深さ遷移に隣接する予め定められた数の連続する実質的に透明なピクセル、
   − 前記深さ遷移に隣接する予め定められた数の連続する実質的に透明なピクセル、及び、前記安全領域の他方の端における更なる予め定められた数の連続する実質的に不透明なピクセル、
   − 前記深さ遷移に隣接する予め定められた数の連続する実質的に透明なピクセル、及び、連続する完全に透明なピクセルに隣接する実質的に透明から実質的に不透明までの勾配、
   − 前記深さ遷移に隣接する予め定められた数の連続する実質的に透明なピクセル、及び、連続する完全に透明なピクセルに隣接する実質的に透明から、更なる予め定められた数の連続する実質的に不透明なピクセルがその後に続く実質的に不透明までの勾配、並びに
   − 前記深さ遷移に隣接する予め定められた数の連続する実質的に透明なピクセル、及び、連続する完全に透明なピクセルに隣接する実質的に透明から実質的に不透明までの急な遷移であって、当該遷移はビデオ・コーデックのブロック境界に位置合わせされ、当該遷移の後に、更なる予め定められた数の連続する実質的に不透明なピクセルが続く遷移、
   のうちの１つからなる、請求項７に記載の方法。
9. 前記一次ビュー情報において、第１の閾値幅未満の幅を持つ深さホールを含む領域に深さホール保護領域が設けられ、当該深さホール保護領域において、
   前記一次ビュー深さ情報が、前記深さホールの両方の高い端の深さ値に基づき、
   隣接する深さジャンプ間の前記透明度値が、実質的に透明に設定される、
   請求項７又は請求項８に記載の方法。
10. 前記一次ビュー情報において、第２の閾値幅未満の幅を持つ深さスパイクを含む領域に深さスパイク保護領域が設けられ、当該深さスパイク保護領域において、
    前記一次ビュー深さ情報は、前記深さスパイク保護領域内の前記深さスパイクの最上部の深さ値に設定され、
    前記深さスパイクの外側の前記深さスパイク保護領域中の透明度値は、実質的に透明に設定される、請求項７から請求項９のいずれか一項に記載の方法。
11. シーンの三次元モデルを処理する方法であって、
    シーンの三次元モデルを取得し、
    請求項１から請求項１０のいずれか一項に記載の方法に従って、前記シーンの階層化深さモデルを提供し、
    前記シーンの前記三次元モデルを処理する、方法。
12. シーンの階層化深さモデルを提供する装置であって、前記深さモデルのレイヤは、一次観察方向からの前記シーンの一次ビューのための一次ビュー情報、及び、前記シーンの他のビューのレンダリングに用いられる前記一次ビュー情報に関連する遮蔽情報を有し、当該装置は、
    深さに関して前記一次ビューの視点に最も近い前記モデルのレイヤ・セグメントを有する前記一次ビュー情報、及び
    前記モデルの更なるレイヤ・セグメントを有する前記遮蔽情報、
    を提供し、
    前記遮蔽情報は、遮蔽情報が提供される深さ遷移に隣接する安全領域を有し、
    前記安全領域は、前記一次ビュー情報の対応するセグメントを有し、
    前記安全領域は、それぞれの深さ遷移の前記一次観察方向に対して深さ方向に最も遠い側に配置される、装置。
13. シーンの三次元モデルを処理する装置であって、
    シーンの三次元モデルを受信する受信手段、
    前記シーンの前記三次元モデルに基づいて階層化深さモデルを提供する、請求項１２に記載のシーンの階層化深さモデルを提供する装置、
    前記階層化深さモデルを処理する処理手段、
    を有する装置。
14. 請求項１から請求項１１のいずれか一項に記載の方法を実行するためのプログラム命令を有するコンピュータ・プログラム。

Images