JP5406182B2 - ３次元ビデオ信号をエンコードするための方法及びシステム、含まれる３次元ビデオ信号、並びに３次元ビデオ信号のためのデコーダのための方法及び信号 - Google Patents

Description

本発明は、ビデオエンコード及びデコードの分野に関する。本発明は、３次元ビデオ信号をエンコードするための方法及びシステムを提示する。本発明はまた、３次元ビデオ信号をデコードするための方法及びシステムに関する。本発明はまた、エンコードされた３次元ビデオ信号に関する。

近年、３次元（３Ｄ）画像ディスプレイに３Ｄ画像を供給する関心が高い。３Ｄ画像は、カラー画像に続く、画像における次代の大きな改革となると考えられている。我々は現在、消費者市場向けの自動立体（auto-stereoscopic）ディスプレイの導入の到来を迎えている。

３Ｄディスプレイ装置は通常、画像が表示される表示画面を持つ。

基本的に、３次元の印象は、ステレオ対、即ち観測者の２つの目に向けられた２つの僅かに異なる画像を用いて、生成されることができる。

ステレオ画像を生成するための、幾つかの方法がある。画像は２次元（２Ｄ）ディスプレイにおいて時間多重化されても良いが、このことは例えばＬＣＤシャッタを備えた眼鏡を観測者が装着することを要求する。ステレオ画像が同時に表示される場合には、これら画像は、頭部装着型ディスプレイを用いることにより、又は偏光眼鏡（この場合には画像は直交する偏光で生成される）を用いることにより、適切な目へと向けられることができる。観測者により装着された眼鏡が、それぞれの目へとビューを効果的にルーティングする。眼鏡におけるシャッタ又は偏光子は、該ルーティングを制御するためフレームレートに同期される。ちらつきを防ぐため、該フレームレートは、２次元の等価な画像に対して倍にされるか、又は解像度が半分にされる必要がある。斯かるシステムの欠点は、いずれの効果を生成するためにも、眼鏡が装着される必要がある点である。このことは、眼鏡を装着することに慣れていない観測者には不快なものであり、既に眼鏡を装着している観測者にとっても、更なる眼鏡が常にフィットするものとは限らないため、潜在的な問題となる。

観測者の目の近くではなく、例えば米国特許US5,969,850に示されるような視差バリア（parallax barrier）といった分割画面により、表示画面においても２つのステレオ画像が分離されることができる。斯かる装置は、眼鏡の使用なく自身で（自動の）立体効果を提供するため、自動立体ディスプレイと呼ばれる。幾つかの異なるタイプの自動立体ディスプレイが知られている。

どのタイプのディスプレイが利用される場合であっても、ディスプレイ装置に３Ｄ画像情報が供給される必要がある。このことは通常、ディジタルデータを有するビデオ信号の形で行われる。

ディジタル画像に本質的なデータの巨大な量のため、ディジタル画像信号の処理及び／又は伝送は著しい問題を引き起こす。多くの状況において、利用可能な処理能力及び／又は伝送容量は、高画質のビデオ信号を処理及び／又は伝送するために十分なものではない。より詳細には、各ディジタル画像フレームは、画素のアレイから形成された静止画である。

生のディジタル情報の量は通常は大量であり、常に利用可能というわけではない高い処理能力及び／又は大きな伝送レートを必要とする。伝送されるデータの量を低減するため、例えばＭＰＥＧ−２、ＭＰＥＧ−４及びＨ．２６３を含む種々の圧縮方法が提案されてきた。

これらの圧縮方法は元々、標準的な２Ｄ画像のために設定されてきたものである。

３Ｄ画像の生成は従来、入力されるエンコードされた２Ｄビデオ信号を３Ｄビデオ信号へとディスプレイ側で変換することにより実行される。入力される２Ｄデータシーケンスは、ビデオシーケンスを表示する直前に３Ｄシーケンスへと変換される。しばしば、ディスプレイ側において、２Ｄ画像中の画素に奥行きマップ（depth map）が追加され、該奥行きマップが画像内の画素の奥行きに対する情報を供給し、斯くして３Ｄ情報を供給する。画像についての奥行きマップを利用することにより、左及び右画像が構築され３Ｄ画像を提供することができる。２Ｄ画像内のオブジェクトの相対的な奥行きは、例えばフォーカス（フォーカスが合っている、フォーカスが合っていない）から、又はオブジェクトが互いをどのように見えなくしているかから、推量され得る。

ディスプレイ側で生成される３Ｄ情報は不完全さを持つこととなるため、改善された３Ｄ情報を生成するニーズが存在する。撮像側で生成される３Ｄ情報は、以下の理由により、改善された３Ｄ画像描画を提供し得る：
−撮像側における強力な計算の可能性
−オフライン処理の可能性
−手動操作の可能性

３Ｄ情報が撮像側で生成される場合には、該情報は伝送される必要があり、ビットレートの点で低い追加のオーバヘッドを持つためには、３Ｄ情報の圧縮が必要とされる。好適には、３Ｄ情報の該圧縮（又はエンコード）は、３Ｄ情報の圧縮が、比較的少ない調節のみによって、既存の圧縮規格を用いて実装されるように実行される。

しばしば、３Ｄ情報は、奥行きマップ（ｚマップ）を伴う画像の形で与えられる。

優れた奥行きマップは、３Ｄディスプレイが、更なる奥行きを生成することを可能とする。しかしながら、奥行きの再現を増大させることは、奥行きの不連続の周りの可視の不完全さに帰着する。これら可視の不完全さは、改善された奥行きマップの正の効果を大きく低減させる。更に、伝送能力は限られており、符号化効率が非常に重要である。

斯くして、本発明の目的は、エンコードされたデータ内のデータの量を制限内に保ちつつ、表示される画像についての奥行きの不連続の周りの可視の不完全さが低減される、送信側において３Ｄ画像データをエンコードするための方法を提供することにある。好適にも、符号化効率が大きい。また、好適にも、本方法は既存のエンコード規格に準拠する。

別の目的は、３Ｄビデオ信号をエンコードするための改善されたエンコーダ、３Ｄビデオ信号をデコードするためのデコーダ、及び３Ｄビデオ信号を提供することにある。

この目的のため、本発明による符号化のための方法は、３次元ビデオ信号がエンコードされ、前記３次元ビデオ信号は、中心ビュービデオフレームと、前記中心ビュービデオフレームについての奥行きマップと、前記中心ビュービデオフレームについてのオクルージョン（occlusion）データフレームと、を有し、中心ビューについての奥行きマップにおけるデータの制御の下、前記オクルージョンデータフレームのデータについて、前記オクルージョンデータフレームにおける有効（functional）データを無効（non-functional）データから区別するための示唆手段が生成され、その後に前記オクルージョンデータフレームがエンコードされることを特徴とする。

実際には、このことは、オクルージョンデータフレームにおいて、関連するオクルージョンデータが生成されない（即ち無効）領域が存在することを意味する。本方法は、スイッチが少なくとも２つの設定、即ちデータが無効なもの（即ち実際のビデオコンテンツと独立したもの及び／又は関連のないもの）として認識される設定と、有効データ（即ちビデオコンテンツに依存し関連しているデータ）として認識される設定と、を持つ、「スイッチ機能」を包含する。有効データから無効データを区別することが可能であることは、後続するエンコードの符号化効率を増大させ、及び／又は伝送されるビットの数を減少させることを可能とする。

好適な実施例においては、オクルージョンデータフレームは、奥行きマップがエンコードされた後にエンコードされる。原則的に、元の奥行きマップが利用されても良い。しかしながら、デコーダ側において逆の手順が利用されることとなり、デコーダ側においては「オリジナル」はもはや利用可能ではなく、エンコードされたバージョンのみが利用可能である。エンコード側においてエンコード／デコードされたものではなく、オリジナルを利用することは、不確実性に導く。なぜなら、デコーダ側での処理が正確に同じとはならない場合があるからである。

一実施例においては、奥行きマップにおけるデータの制御の下、無効データを区別するための示唆手段として、一定値又は一定範囲内の値が、オクルージョンデータフレームにおいて生成される。

斯かる一定値（例えば完全な黒又は完全な白）は次いでデコーダによって、（オクルージョンデータフレームの画素が或る値、即ち前記一定値又は一定範囲内の値を持ち得るが）該値が現実のオクルージョンデータとして取り扱われるべきではないと、即ち関連するビデオ情報に関するものではないと解釈される。このことは、ビットの大きな低減及び増大させられる符号化効率を可能とする。該一定範囲が、画像にエラーが存在する場合に典型的に生成される値（例えば完全な黒）として選択される場合には、更なる利点が得られる。好適には、該一定値又は一定範囲内のいずれの有効データもが、該一定値とは異なる値又は該一定範囲外の値によって置き換えられ、それによって有効データに対して該一定値又は値範囲を除外する。このことは例えば、入力されるオクルージョンデータをクリッピングすることにより容易に実行され得る。クリッピングは、値の「自由範囲」（即ちクリッピングされた値）を提供し、これら値の１つ又は全てが次いで、無効データのための示唆手段として利用されることができる。

斯かる実施例においては、該示唆は次いで、オクルージョンデータフレーム内のデータに明示的に含まれる。即ち、特定の値が、無効データを表す。

好適には、一定値又は一定の値範囲が、ビデオ信号にメタデータとして組み込まれる。

該示唆手段はまた、データストリームに挿入されたパラメータの形をとっても良く、このことは、デコーダが、オクルージョンデータフレームのデータ内で、有効データから無効データを区別することを可能とする。

本発明は、以下の洞察に基づく。

奥行きマップが撮像側で生成され、より詳細な情報が撮像側では利用可能であるため、より優れた奥行きマップが生成されることを可能とする。

中心のビューフレームについてのオクルージョンデータフレームの提供は、受信側においてオクルージョンデータを生成することに比べて、３Ｄ画質における著しい改善を実現する。

例えば好適にはオクルージョンデータフレームにおける一定値の利用によって、無効データから有効データを区別することができることは、伝送されるべきデータの量を著しく低減させ、符号化効率を増大させる。

奥行きマップのデータは、無効データからの有効データの区別のための非常に優れた基礎を提供する。

本発明はまた、３次元ビデオ信号をエンコードするためのエンコーダであって、前記エンコードされた３次元ビデオ信号は、中心ビュービデオフレームと、前記中心ビュービデオフレームについての奥行きマップと、前記中心ビュービデオフレームについてのオクルージョンデータフレームと、を有し、前記エンコーダは、エンコードされるべき中心ビューデータフレームと、中心ビューデータフレームについての奥行きマップと、オクルージョンデータフレームと、のための入力部を有し、前記エンコーダは、前記奥行きマップについてのデータに基づいてスイッチを制御するコントローラを有し、前記スイッチは、前記オクルージョンデータフレームのデータについて、有効データか又は無効データを生成する、エンコーダにおいて実施化され得る。

好適には、該制御において奥行き不連続さ閾値が適用され、閾値よりも小さな奥行きマップにおける奥行きの不連続さが、決定因子である。好適には、オクルージョンデータは、奥行きマップがエンコードされた後に生成される。このことは、奥行きの不連続さが十分に大きく（特定の閾値を超えている）且つ奥行きの不連続さが元のものと圧縮による符号化された奥行きマップとの間で変化する場合に、オクルージョンデータが生成されるという事実による。従って、オクルージョンデータがデコードされた奥行きマップに応じて決定されない場合には、利用される閾値は、実際の定義される閾値よりも低くなり得る。このことは、厳密に必要とされるよりも多いオクルージョンデータに帰着し、より高いビットレートに導く。

奥行きの不連続さは、隣接する画素の奥行き値が、大きく異なる場合に生じる。或るオブジェクトが他のオブジェクトの背後に隠されているかも知れないという事実は、奥行き値におけるジャンプにより推量される。急激な変化は、画像における前景オブジェクトから背景オブジェクトへの変化、又はより一般的に言えば、或るオブジェクトから別のオブジェクトへの変化の示唆である。滑らかに変化する値は、オブジェクト内での変化を示唆する。オクルージョンデータは、奥行きの不連続さ（即ち隣接する画素間の奥行き値の変化）が閾値よりも大きい場合、即ち十分に大きい場合にのみ、生成される。

オクルージョンデータは、「前景オブジェクトの背後」の領域、即ち奥行き値の変化が閾値よりも大きい線又は点に隣接する領域に対して、生成される。斯かる領域は、閾値を超える画像中の奥行きの不連続さにより、容易に識別されることができる。好適には、該閾値は、奥行きマップにおけるデータから算出される。該算出はコントローラにおいて実行される。該閾値は、代替として一定値に設定されても良いが、好適には動的に算出される。なぜなら、種々の画像が、最適な閾値に影響を与える種々の内容を持ち得るからである。コントローラは好適には、エンコードされた３Ｄ画像データにおいて利用される閾値を挿入するための出力部を持つ。該閾値は次いでデコーダにおいて利用されることができ、斯くして、デコーダにおいて利用される閾値を確立する必要性を取り除く。

オクルージョンデータフレームのデータをダウンスケーリングすることにより、更なるビットの低減が得られることが分かっている。

オクルージョンデータは、前景オブジェクトの周囲のエッジを埋める。オクルージョンデータフレームにおけるデータのダウンスケーリングは、品質に対しては限られた影響しか及ぼさないものの、エンコードされた３Ｄ信号におけるビットの数を低減させることが示されている。

好適な実施例においては、コントローラは、エンコードされたオクルージョンデータフレームのビットレートについての入力部を持つ。

該コントローラはこれにより、「有効なもの」と「無効なもの」とを区別するためのパラメータを調節することができ、従ってオクルージョンデータフレームにおける無効データに対する有効データの量を調節することができる。このことは、手動操作の可能性を提供する。実際には、このことは例えば、ビットレートがオクルージョンデータフレームのために割り当てられたビットレートを超えるほどに高くなり過ぎた場合に、有効データを持つフレームの領域が減少させられるように閾値が引き上げられるように、ビットレートに依存して閾値が調節されることを意味する。

更なる実施例においては、ビデオ奥行きマップ及びオクルージョンデータフレームがエンコードされ、ここでオクルージョンデータフレームは、エンコードにおける基準フレームとして１つ以上の中心ビューフレームを用いてエンコードされる。

好適な実施例については、オクルージョンデータフレームについて中心ビューから基準フレームが利用される場合に、オクルージョンデータフレームの符号化効率が著しく改善されることが分かった。オクルージョンデータは中心ビューにおいて可視でないデータ即ち中心ビューフレームにおいて利用可能ではないデータを有するため、このことは最初は驚くべきことに思われるかも知れない。しかしながら、中心ビューにおける前景オブジェクトに近い中心ビューデータとのオクルージョンデータの相関は、前景オブジェクトの動きにより、高くなり得る。オクルージョンデータフレームをエンコードするための中心ビューからの基準フレームの利用は、オクルージョンデータの符号化効率を著しく改善することが分かっている。

オクルージョンデータの量は、ビデオ奥行きマップにより制限される。本発明の枠組内では、オクルージョンデータフレームの生成も好適には、観測角の最大範囲に制限される。オクルージョンデータの量は斯くして、ビデオ奥行きマップによって、及び（好適な実施例においては）観測の最大範囲即ち最大観測角によって制限される。斯かる実施例においては、オクルージョンデータは、奥行きマップ及び左及び右への最大変位（即ち観測角）に見られるデータに制限される。斯くして、中心ビューデータ及び該中心ビューデータについての奥行きマップに加わる付加的なデータの量は制限され、限られた量の付加ビットしか必要としない。デコーダにおけるコントローラは好適には、観測角の最大範囲のための入力部を持つ。

本発明においては、オクルージョンデータは、ビデオデータ収集側で生成される。

受信側で或る種のオクルージョンデータを生成することは知られていることに留意されたい。しかしながら、中心ビュー及び該中心ビューについての奥行きマップに基づいて受信側で行われるものであり、オクルージョンデータを真に再構築すること、即ち前景オブジェクトの背後にあるものを再構築することは不可能である。なぜなら、中心ビューにおいて前景オブジェクトの背後に何が隠れているかは、本質的に未知であるからである。この場合、オクルージョンデータは通常、「経験に基づく推測」型のアルゴリズムにより、中心ビューから生成される。失われた部分は推測され埋められる。

更に、完全な３Ｄ手法は、現在のエンコード手法と全く又は少なくとも容易には両立しないことに留意されたい。本発明においては、全てのエンコードされたデータは１つの視点及び１つの座標系にのみ関連し、既存の手法とより容易に両立可能なものとする。

ビデオ信号処理において、フレーム内符号化及びフレーム間符号化されたフレーム、例えばＩフレーム、Ｐフレーム及びＢフレームに信号が含められる。Ｉフレームはフレーム内符号化される。Ｐ及びＢフレームは、フレーム間符号化されたフレームと呼ばれる。フレーム内符号化されたフレームは、他のフレームを参照することなく再構築されることができ、フレーム間符号化されたフレームは、他のフレームのデータを用いて再構築される（前方又は後方予測）。

本発明は、符号化のための方法において実施化されるが、本方法の種々のステップを実行するための手段を持つ対応するエンコーダにおいても等しく実施化される。斯かる手段は、ハードウェアで提供されても良いし、ソフトウェアで提供されても良いし、又はハードウェア及びソフトウェアのいずれかの組み合わせ若しくはシェアウェアによって提供されても良い。

本発明はまた、エンコード方法により生成される信号において、並びに斯かる信号をデコードするためのいずれかのデコード方法及びデコーダにおいて実施化される。

とりわけ、本発明はまた、エンコードされたビデオ信号をデコードするための方法であって、３次元ビデオ信号がデコードされ、前記３Ｄビデオ信号はエンコードされた中心ビューのビデオフレームと、前記中心ビューのビデオフレームについての奥行きマップと、前記中心ビューのビデオフレームについてのオクルージョンデータフレームとを有し、前記エンコードされたビデオ信号は、有効オクルージョンデータから無効オクルージョンデータを区別するための示唆を有し、前記デコードにおいて、有効オクルージョンデータと中心ビューのデータとを有する、結合されたデータストリームが生成される方法において実施化される。

本発明はまた、エンコードされたビデオ信号をデコードするためのデコーダであって、３次元ビデオ信号がデコードされ、前記３Ｄビデオ信号はエンコードされた中心ビューのビデオフレームと、前記中心ビューのビデオフレームについての奥行きマップと、前記中心ビューのビデオフレームについてのオクルージョンデータフレームとを有し、前記エンコードされたビデオ信号は、有効オクルージョンデータから無効オクルージョンデータを区別するための示唆を有し、前記デコーダは、有効オクルージョンデータと中心ビューのデータとを有する、結合されたデータストリームを生成するための結合器を有するデコーダにおいて実施化される。

本発明のこれらの及び更なる態様は、添付図面を参照しながら、例として以下に詳細に説明される。

図面は定縮尺で描かれたものではない。全般的に、図面において、同一の構成要素は同じ参照番号により示される。

自動立体表示装置の例を示す。 オクルージョンの問題を示す。 オクルージョンの問題を示す。 コンピュータにより生成された場面の左及び右のビューを示す。 ３つのデータマップ、即ち中心ビュー、中心ビューについての奥行きマップ、及び中心ビューについてのオクルージョンデータによる、図４の表現を示す。 本発明による符号化方式及びエンコーダを示す。 本発明によるデコード方式及びデコーダの実施例を示す。 本発明によるデコード方式及びデコーダの別の実施例を示す。 オクルージョンデータのブロックグリッド配列が可視である、中心ビューデータ及びオクルージョンデータに対するズームインを示す。 エンコード／デコード方式を示す。 エンコード／デコード方式を示す。 更なるエンコード／デコード方式を示す。 エンコード／デコード方式を示す。 オクルージョンフレームを符号化する際の基準フレームとして中心ビューフレームを用いる符号化方法を示す。 オクルージョンフレームについての奥行きマップを符号化する際の基準フレームとして中心ビューについての奥行きマップ用いる符号化方法を示す。 オクルージョンフレームをデコードする際に中心ビュー基準フレームが利用される、デコードステップを示す。 本発明の更なる実施例を示す。

図１は、一種の自動立体表示装置の基本原理を示す。該表示装置は、２つのステレオ画像５及び６を形成するためのレンチキュラ画面スプリッタ３を有する。２つのステレオ画像の垂直線は、例えばバックライト１を伴う空間光変調器２（例えばＬＣＤ）上に（空間的に）交互に表示される。バックライトと空間光変調器とが合わせて、画素アレイを形成する。レンチキュラ画面３のレンズ構造は、ステレオ画像を、観測者の適切な目へと導く。

図２及び３において、オクルージョンの問題が示されている。本図において、「背景」と示されている線が背景であり、「前景」と示されている線が該背景の前に位置するオブジェクトを表す。「左」及び「右」は、該場面の２つのビューを表す。これら２つのビューは例えば、ステレオ設定については左及び右のビューであっても良いし、又はｎ個のビューのディスプレイを利用する場合については最も外側の２つのビューであっても良い。ｎ個のビューのディスプレイのために必要とされる残りのｎ−２個のビューは、この場合にはディスプレイ側で生成されるべきである。「Ｌ＋Ｒ」と示される線は、両方の目によって観測されることができるが、Ｌの部分は左のビューのみから観測されることができ、Ｒの部分は右のビューのみから観測されることができる。それ故、Ｒの部分は左のビューからは観測されることができず、同様にＬの部分は右のビューからは観測されることができない。図３において、「中心」は中心ビューを示す。本図から分かるように、図３において示される背景のＬ及びＲの部分の一部（それぞれＬ１又はＲ１）は、中心ビューから観測されることができる。しかしながら、Ｌ及びＲ部分の一部は、前景オブジェクトの背後に隠されているため、中心ビューから観測されることができない。Ｏｃにより示されたこれらの領域は、中心ビューに対しては遮蔽されているが、他のビューからは可視であり得る。本図から分かるように、これらオクルージョン領域は典型的に、前景オブジェクトのエッジにおいて生じる。中心ビュー及び奥行きマップのみから３Ｄデータを生成することは、遮蔽された領域についての問題を引き起こす。前景オブジェクトの背後に隠された画像の部分のデータは、未知である。

優れた奥行きマップは、３Ｄディスプレイが、更なる奥行きを表示することを可能とする。奥行き再生の増大は、オクルージョンデータの欠如のため、奥行きの不連続点の周囲で可視の不完全さに帰着する。それ故、高品質の奥行きマップに対して、本発明者はオクルージョンデータの必要性を認識した。

図４は、コンピュータにより生成された場面の左及び右のビューを示す。黄色のタイル状の床と２つの壁とを持つ仮想的な部屋に、携帯電話が浮かんでいる。左のビューにおいては農婦がはっきりと見えるが、右のビューでは見えない。右のビューにおける褐色の牛については、反対のことが成り立つ。

図５において、以上に議論したものと同じ場面が示されている。本場面はここでは、本発明によって、３つのデータマップ、即ち中心ビューについての画像データ、中心ビューについての奥行きマップ、及び中心ビューについてのオクルージョンマップにより表され、ここでオクルージョンデータはビデオ奥行きマップにより決定される。有効オクルージョンデータの大きさは、奥行きマップにより決定される。基本的に、中心ビューにおける奥行きのステップの線を辿る。本例においては、オクルージョンデータに含まれる領域が、携帯電話の輪郭に沿った帯により形成される。この帯は（斯くしてオクルージョン領域の大きさを決定する）、種々の方法で決定され得る：
−ビュー及び奥行きのステップの最大範囲から導かれる幅として
−標準的な幅として
−設定されるべき幅として
−携帯電話の輪郭の近隣（外側及び／又は内側）におけるいずれかのものとして

奥行きマップは密なマップである。奥行きマップにおいて、明るい部分は近いオブジェクトを表し、奥行きマップが暗いほどオブジェクトは観測者から遠い。

有効オクルージョンデータは、図５に示された本発明の例においては、所与の奥行きマップ並びに左及び右への最大変位で観測されるものに対するデータの限定に対応する幅の帯である。オクルージョンデータの残りは、無効である。

殆どのディジタルビデオ符号化規格は、ビデオレベル又はシステムレベルであり得る付加的なデータチャネルをサポートしている。これらの利用可能なチャネルを用いて、オクルージョンデータの伝送が単純なものとなり得る。

図６は、本発明によるエンコード方法及びエンコーダの実施例を示す。該エンコーダは、３つのデータストリーム、即ち中心ビューについてのデータを供給するデータ６１、中心ビューについての奥行きマップを供給するデータ６２、及びオクルージョンデータを供給するデータ６３を受信する。これらデータストリームのそれぞれについてエンコーダがあり、中心ビューデータのエンコーダとしてエンコーダＣＶ、中心ビューデータの奥行きマップに対してエンコーダＣＶ（ｚ）、オクルージョンデータに対してエンコーダＯｃｃｌ、最後にオクルージョンデータについての任意の奥行きマップに対してエンコーダＯｃｃｌ（ｚ）がある。オクルージョンデータフレームは、データの大量のセットであり得る。

該データはまた、図６の最下部に模式的に示されたようなオクルージョンデータのための奥行きマップを有する。

中心ビューの奥行きマップデータはコントローラ６５に供給され、コントローラ６５は決定器又はスイッチ６６を調節する。コントローラ６５の出力に依存して、オクルージョンデータフレーム中のデータは、有効データ（即ち、エンコード方法の残り及び後のデコードにおいて真のオクルージョンデータとして扱われるべきデータ）と無効データ、即ち機能的に無視されるべきデータとで区別される。図５において、無効データは灰色である。無効データは、図６においてＯｃｃｌ＝「０」により模式的に示される。これに対処するための直接的な方法は、無効領域についてのデータに固定値（例えば完全な黒）を割り当てることである。エンコーダの残り及びデコーダを通して、これら無効データは次いで、無効なものとして認識されることとなる。コントローラ内において、閾値ＴＨが好適に設定又は算出される。好適には、無効データのために固定値又は固定範囲内の値が確保され、固定値の又は固定の値範囲内のいずれの有効データもが、該確保された値以外の値又は確保された範囲外の値によって置き換えられる。

完全な黒（０のＹ値）が無効データを示す場合には、いずれの無効データもがデコーダによって無効データとして識別されることとなるが、単なる偶然として完全な黒であり得る有効領域におけるいずれのデータもが「無効データ」とみなされ、その結果、有効領域に小さな穴が形成されてしまい得る。完全な黒を無効データのために確保しておくことにより、この負の影響は回避され得る。このことは、入力されるオクルージョンデータ（例えば０と２５５との間の輝度値に亘る）を、例えば４の輝度値へとクリッピングすることにより、容易に実行され得る。入力されるオクルージョンデータ中の、全ての完全な黒の信号（又は０、１、２又は３のＹ値を持ついずれかの信号）が、僅かに黒くなくされ、即ち斯かる画素の「完全な黒」の値が、確保された値以外の値又は確保された値の範囲外の値により（本例においてはクリッピングによって）置き換えられる。このとき、「完全な黒」は、無効データのために確保されることとなる。本例においては、無効データのためにＹ＝０、１、２又は３の範囲を確保することも可能である。結果の３Ｄビデオ信号は、本発明の実施例による方法により作成されるものと比較的容易に認識される。なぜなら、多くのオクルージョンデータフレームは、全て「完全な黒」である比較的大きな領域を持ち、「完全な黒」である画素がない残りの領域が一定範囲の値を示すからである。

ビデオ奥行きマップに基づいて有効オクルージョン領域を制限することにより、付加的なデータの数は制限内に保たれる。奥行きマップは好適には最初にエンコードされ、その後にオクルージョンデータが符号化される。ここで奥行きマップについてのデータは、有効データと無効データとを区別するために利用される。奥行きの不連続は、隣接する画素の奥行き値が大きい量だけ異なる場合に生じる。或るオブジェクトが他のオブジェクトの背後に隠されている可能性があるという事実は、奥行き値のジャンプにより推量され得る。急激な変化は、前景オブジェクトから背景オブジェクトへの、又はより一般的には或るオブジェクトから他のオブジェクトへの、画像における変化の示唆である。滑らかに変化する値は、オブジェクト内での変化を示唆する。オクルージョンデータは、奥行きの不連続さ（即ち隣接する画素間の奥行き値の変化）が閾値よりも大きい即ち十分に高い場合にのみ生成される。特定の実施例においては、最大の符号化誤りが決定され（閾値ＴＨについての下限を設定する。符号化誤りを生じるよりも低い閾値ＴＨを設定しても意味はない）、閾値ＴＨが算出される。ＴＨの制御において、閾値は画素間の奥行きの差と比較され、このことは減算ブロック６７により模式的に示される。該ブロックには、デコーダの奥行きマップデータと隣接する奥行きマップデータとが供給される（図６においてシフトτ１により模式的に示される）。隣接する画素間の奥行きのステップが閾値ＴＨよりも大きい場合には、該ステップはデータにおける「真のエッジ」を示唆する。一方で奥行きにおける測定されたステップ即ち奥行きの不連続さと他方で算出された閾値ＴＨとの比較は斯くして為され、決定因子が制御される。真のエッジから、前景オブジェクトの位置が決定されることができ、それにより有効オクルージョンデータ領域の境界が決定されることができる。コントローラ６５は、それに従ってスイッチ６６を制御する。オクルージョンデータフレームの画素が該フレームの無効部分に属する場合には、該データは無効なものとして識別される。

このことは、有効オクルージョンデータが生成され、有効オクルージョンデータであるオクルージョンデータフレームの一部に対してのみオクルージョンエンコーダにおいて対処されるという利点を持つ。下限閾値よりも小さな奥行きの不連続さについてオクルージョン領域（通常は小さい）を埋めることは、例えばストレッチングのような他の手法によって解決され得る。

好適には、オクルージョン領域は、最小の奥行きの不連続さと共に、ディスプレイ側で生成されることとなる最大のビューの範囲即ち最大ビュー角によって、決定される。図６において、このことは「最大ビュー角」なる語と「制御」ボックスとの間の線により示される。後者の制約は、オクルージョンマップにおけるオクルージョン領域の帯域幅、即ち前景画像の背後のどれだけ深く見ることが可能である必要があるかを決定する。最大ビュー角に加え、帯域幅もまた実際の奥行き値に依存しても良く、このことは該線がデコーダから制御まで伸びている理由である。

図６はまた、以下のことを示す。コントローラは、エンコード／デコードされた奥行きマップデータを入力として得る。元のデータが利用されても良く、即ちコントローラ及び他の部分に元のデータを直接供給しても良い。しかしながら、デコーダ側においては、元のデータはもはや利用可能ではなく、エンコードされた、通常は大きく圧縮されたデータのみが利用可能である。該データはデコードされ、従ってデコーダ側において、エンコードされた信号が利用される必要がある。例えば、奥行きの不連続さが十分に（特定の閾値を超えて）大きく且つ奥行きの不連続さが圧縮により模式的に元のものと符号化された奥行きマップとの間で変化する場合に、有効オクルージョンデータが生成される。従って、オクルージョンデータがデコードされた奥行きマップに基づいて決定されない場合には、利用される閾値は、有効データを逃さないように、実際の定義された閾値よりも低いべきである。このことは、厳密に必要とされるよりも多いオクルージョンデータに帰着し、高いビットレートへと導くこととなる。

有用なオクルージョンデータを有さないオクルージョンデータフレームにおける領域（図５における灰色の領域）は無効なものと識別され、それ自体はエンコードにおいて役割を果たさない。これを実現するための単純な方法は、以上に説明したように、完全な黒又は完全な白のような固定値を、斯かる画素に割り当てることである。無効オクルージョンデータに対しては、画質の必然的な損失を伴う情報の起こり得る損失のために有効オクルージョンデータに対して必要とされない、極端な値及び圧縮の方法が利用されても良く、このことは、最終的な画質の低下を伴うことなく、エンコードされたオクルージョンフレーム信号及び伝送におけるビットの量の著しい低減と、符号化及びデコード効率の増大とを可能とする。無効なものと識別されたデータに対しては、最小限の数のビットをもたらす、いずれの形態の（可変長）符号化が利用されても良い。最大の奥行きは奥行きマップから既知であり、最大ビュー角も既知であるから、最大オクルージョン領域が算出されることができる。更なる好適な実施例においては、符号化効率を改善するための方法がとられる。更なる好適な実施例は例えば、エンコーダＯｃｃｌと「制御」との間の線により示される。符号化されたオクルージョンフレームのビットレートの入力は、スイッチ６６を制御するために利用され得る。ビットレートが設定された値を超える虞がある場合には、スイッチ６６の制御はより厳密に実行されても良く、このことは例えば、閾値ＴＨが増加させられ、及び／又はビューの最大範囲が減少されることを意味する。このことは勿論、有効領域のサイズの減少と、オクルージョンフレームにおける無効データの割合の増加に導くこととなる。このことは、ディスプレイにおいて画像に対して不利な影響を与え得るが、有利な結果は、符号化されたオクルージョンフレームのビットレートが制限内に保たれる点である。全体として、最終結果は有利なものとなる。オクルージョン奥行きフレームが利用可能である場合には、画像におけるエッジを見つけ出すことを「微調整」するために、該オクルージョン奥行きフレームの情報もがコントローラ６５において利用されても良い。代替の方法は、オクルージョンデータが自動的にダウンスケールされない実施例においては、ビットレートが設定された値を超える虞がある場合に、ダウンスケールが起動されることである。

更なる実施例は、コントローラにおいて、中心ビューデータの付加的な入力を含めることである。中心ビューにおけるエッジの周囲において中心ビュー画像が非常に滑らかである場合、即ち細部を殆ど示さない場合、特に前景オブジェクトの周囲で全て滑らかな背景（例えばテクスチャのない単純な色）が存在する場合、ストレッチングが優れた結果を与える見込みが高い。ストレッチングは、デコーダ側で実行される動作であり、ビットが送信される必要がない。斯かる状況においては、オクルージョンデータを有効なものと宣言する代わりに、オクルージョンデータが（ステップ高さが十分に高いにも
かかわらず）無効なものと識別されても良い。このことはビットを節約する一方で、不利な影響が最小限になる見込みが高い。

閾値ＴＨ、無効データのための固定値（又は固定範囲）、シフトτ１及びτ２及び最大ビュー角のようなパラメータ、並びにコントローラにおいて利用される符号化されたオクルージョンデータのビットレートのような、エンコードの方法において利用される全てのパラメータデータは、エンコードされたデータストリームと共にメタデータとして送信されても良い。デコーダ側において、これらパラメータは次いで同様な方法で利用される。

図６はまた、更なる好適な実施例を示す。エンコーダは、中心ビューフレームをエンコードするためのエンコーダ（エンコーダＣＶ）と、エンコードされた中心ビューフレームをデコードするためのデコーダ（デコーダＣＶ）と、オクルージョンデータフレームをエンコードし、基準フレームとしてデコードされた中心ビューフレームを挿入するためにオクルージョンデータフレームをエンコードするための該エンコーダにおける入力をエンコードするためのエンコーダ（エンコーダＯｃｃｌ）と、を有する。このことは、デコーダＣＶからエンコーダＯｃｃｌへと延びる線により模式的に示される。好適には、同じ時点からの中心ビューフレームが基準フレームとして利用されるのみならず、時間（又はフレーム）シフトが利用される。即ち、１つ以上の前又は将来の中心ビューフレームが、オクルージョンデータフレームのためのエンコーダにおいて基準フレームとして利用される。オクルージョンデータの符号化効率は、オクルージョンデータ基準フレームが中心ビューから利用される場合に、著しく改善されることが観測されている。オクルージョンデータは現在の時間において中心ビューにおいて可視でないデータ即ち中心ビューフレームにおいて利用可能ではないデータを有するため、このことは最初は驚くべきことに思われるかも知れない。しかしながら、前景オブジェクトに近い背景データとのオクルージョンデータの相関は高い。オクルージョンデータフレームをエンコードするために中心ビューからの基準フレームを利用することは、オクルージョンデータの符号化効率を著しく改善することが分かっている。このことは、部分６７において模式的に示されている。

オクルージョンフレームの奥行きマップについてのデータを示す線における、「制御」からスイッチ６６'へと延びる線は、幾分かのオクルージョンデータ自体が無効なものと識別された場合に、対応するオクルージョンフレームについての奥行きマップに対して同じ動作が適用されても良いことを示唆している。このことは、オクルージョンデータについての奥行きマップにおけるビットの低減を可能とする。原則として、スイッチ６６'のみを利用することも可能であるが、最も重要なビットの低減は、オクルージョンフレームについての奥行きマップにおけるよりも、オクルージョンフレームにおいて得られる。オクルージョンデータフレームの奥行きマップにおけるデータを、オクルージョンデータフレーム自体における無効領域を識別するための手段として利用することも可能である。このことは例えば、オクルージョンデータフレームについての奥行きマップの内容によって、オクルージョンデータフレームにおける無効領域を識別することを可能とする。斯かる無効領域はこのとき、もはや値を制限されることはなく、他の情報の保存のために利用されることができる。「無効」とは、画素値に対して重要な値を有さないことを意味することに留意されたい。オクルージョンデータフレームにおける無効領域を示唆するための示唆手段が次いで、オクルージョンデータフレームについてのエンコードされた奥行きマップに含められる。

図７は、本発明によるデコード方法及びデコーダを示す。エンコーダの一部に概ね対応するデコーダの一部は、図６における数字よりも１０だけ大きな数字により示されている。

図７及び８における最も右側の部分は、画面Ｓｃにおける種々のビューを示している。中心ビューは画面に垂直なビューであり、他のビューはビュー角を変化させることにより作られ、＋２乃至−２に亘るビュー角インデクスにより模式的に及び例示的に示される。

ここでは、中心の奥行き不連続が、歪んだブロック（基本的に画素のシフトを実行する）を制御する。歪みの量は、所望の視点位置Ｎに依存し、各視点位置にビュー角が対応する。基本的な歪は、結果の画素フレームに「穴」を残す。

オクルージョン奥行きデータが利用可能である場合には、現在位置ａにあるスイッチＳを介して、オクルージョン奥行き不連続を利用して、デコードオクルージョンもが歪ませられる。

ここで歪ませられたオクルージョン情報が利用可能である場合（「０」に等しくないことを意味し、小さな間隔として定義され得る）には、該オクルージョン情報は、中心ビューにおける「穴」を埋めるために利用されることができる（位置ａにあるスイッチ７６）。そうでなければ、例えばストレッチングにより、「穴」のエッジからのコピーによって該「穴」が埋められる（位置ｂにあるスイッチ７６）。

「０」の範囲はエンコードＥＮＣにより送信され、デコーダＤＥＣにより受信されるため、その値は既知であり、スイッチ７６を適切に制御することができる。

オクルージョン奥行き情報が利用可能でない場合には、スイッチＳは通常は位置ｃにあり、代わりに中心奥行きが利用されることを意味する。中心ビュー不連続がジャンプを引き起こす場合には（閾値ＴＨよりも大きい）、奥行きの不連続が繰り返され、ｂ位置にあるスイッチＳにより示される。

閾値ＴＨはまた、全体のストリームにおいてメタデータとしてエンコーダＥＮＣによって送信され（図６も参照されたい）、歪んだ中心画像の「穴」を埋めるためどこのデータをとるかについて、スイッチ７６を制御する。中心の奥行き不連続がＴＨよりも小さい場合には、スイッチ７６が位置ｂにある。信号７８は、有効オクルージョンデータと中心ビューデータとの両方を有する結合された信号であり、スイッチ７６の位置が該結合を決定する。

図８は、本発明による符号化の方法及びデコーダの更なる実施例を示す。

中心ビューは、中心ビューのためのデコーダＤｅｃＣＶにおいてデコードされる。デコーダＣＶは、歪２において、歪（変形動作）が実行される種々の角度で画像を生成するように、中心ビュー画像を供給する。このことは、画像に「穴」をもたらすこととなる。中心ビューにおけるオブジェクトは、ここでは「可視」であるべきである背景の特定の部分を遮る。しかしながら、中心ビュー画像についてのデータは、これら「穴」の部分についてのデータを有さない。これらの穴は、穴埋め動作において埋められる必要がある。従来の方法においては、このことは例えばストレッチングにより実行され、即ち該「穴」の周囲の画素の値が、該穴における画素の内容の経験に基づく推測を為すために利用される。しかしながら、このことは、前景画像の背後にあったものを実際に描くものではなく、単に推測するに過ぎない。本発明においては、符号化された遮蔽されたデータフレームが利用される。位置８８において、結合されたデータストリームが生成される。該結合されたデータストリームは、一方では有効なオクルージョンデータと、中心ビューからのデータとを有する。スイッチは、有効オクルージョンデータを通過させる第１の位置（有効オクルージョンデータについては、図においてＯｃｃｌ≠「０」により模式的に示される）を持つ。スイッチ８６は、図７におけるスイッチ７６と同じ機能を提供する。データが無効であると識別された場合には、スイッチ８６は、中心ビューデータが通過させられる位置とされる。その結果は、中心ビューデータとオクルージョンデータフレームから導出された部分とを有する結合されたデータストリーム８８であり、該部分は有効オクルージョンデータを有する。スイッチ７６及び８６は斯くして、有効データと無効データとの、ことによると更なるパラメータの区別により起動されて、有効オクルージョンデータと中心ビューデータとの組み合わせを有する結合された信号７８、８８を生成する結合器である。該結合された信号は、穴を埋めるために利用される。

該信号８８はここでは、歪器１により「歪ませられる」。オクルージョン奥行きストリームが利用可能である場合には、歪器１により利用される奥行き情報は、デコードされた奥行きストリームからとられる。そうでなければ、歪器１により利用される奥行き情報は、中心ビュー奥行き信号から導出される。「穴」でない位置については、デコードされた中心ビュー奥行き信号は、スイッチｓｗ３及びスイッチｓｗ２を介して、歪器１へと送られる。

「穴」の位置において、スイッチｓｗは「穴」位置にあり、ｃｖ奥行き信号は、次の「穴」でない位置まで繰り返される（又は代替としては、侵食されたｃｖ奥行き信号が利用される）。

デコーダが「穴」の直前まで最後の既知の奥行き値を繰り返すことも選択肢のひとつであるが、該位置は通常は大きな奥行きジャンプに非常に近いため、一定の符号化アーティファクトを含み得、「穴」に対して不正確な奥行き値に導き得る。エンコーダは、例えば繰り返されるべき値の奥行き誤りを測定することによって斯かる場所における斯かる状況を検出し、これら誤りをより高い精度でエンコードすることによって低減しても良い（例えばＱｓｃ値を減少させることによって）。一方、デコーダは、単に最後の奥行き値を繰り返すことによってではなく、「穴」のすぐ外側にある奥行き値の短い列から中央値又は平均値を繰り返すことによって、測定を実行しても良い。

歪器１において、複合データストリームに対して歪が加えられる。該歪ませられた複合画像は、種々の角度からの種々のビューを合成するために、穴埋め動作において利用される。複合データストリームは、オクルージョンデータフレームからの有効データを有するため、かなり正確な穴埋めが可能であり、改善された画質に帰着する。歪ませられた中心ビュー画像内の特定の「穴」は、ストレッチングによって依然として埋められることとなる点に留意されたい。例えば実施例においては、閾値を下回る小さなステップ高さについては、オクルージョンデータは無効であり、斯くして複合データストリームは中心ビューデータを有する。なぜなら、スイッチが、中心データが通過させられるように設定されているからである。明確さのため、本説明においてはスイッチについて記載されているが、スイッチはハードウェア、ソフトウェア又は機能を実行するためのコンピュータコードのいずれから構成されるものであっても良いことは、留意されたい。利点は、一方では、斯かる状況に対しては穴埋めが非常に好適且つ効率的な手順であり、他方では、有効オクルージョンデータを制限することにより、無効オクルージョンデータが極端な手段で圧縮されることを可能とし、符号化効率が増大させられる点である。図７の実施例と図８の実施例との主な相違は、図７においては歪導入が結合された信号を生成する前に実行されるのに対し、図８においては結合された信号８８が歪導入の前に生成される点である。更に、図８においては、結合された奥行き信号８８ｚも生成される。

好適には、オクルージョンデータは、ブロックグリッドで整列されている。このことは、改善された符号化効率を実現する。図９は、オクルージョンデータのブロックグリッド配列が可視である、中心ビューデータ及びオクルージョンデータに対するズームインを示す。

オクルージョンデータは、既知の手法を用いて好適にエンコードされるべきである。

本発明においては、オクルージョンデータは、中心ビューからの基準フレームを利用してエンコードされても良い。本発明の枠組内では、オクルージョンデータの空間及び時間相関は、例えば中心ビューにおける相関よりもかなり低いことが分かっている。オクルージョンデータの符号化効率は、中心ビューから基準フレームが利用される場合に、著しく改善されることが分かっている。オクルージョンデータは中心ビューにおいて利用可能ではないため、このことは最初は驚くべきことに思われるかも知れない。しかしながら、前景オブジェクトに近いが時間的にシフトされている背景データとのオクルージョンデータの相関は、高い。従って、オクルージョンデータを符号化するために、中心ビューからことによると時間的にシフトされた基準フレームを利用することは、オクルージョンデータの符号化効率を改善することとなる。

図９において、携帯電話の場面の拡大された一部が示されている。オクルージョンデータと中心ビューにおける背景データとの間の相関が高いことが、明らかに分かる。一方では中心ビューデータとオクルージョンデータとの間の当該空間的相関を利用することは、ビットレートを著しく低減する。ＭＰＥＧ標準化団体では、例えばＨ．２６４ＭＶＣ（マルチビュー符号化）が、優れた性能を持つ基準フレームのクロスビューの利用を可能とするための幾つかの基本的な原理を持つ。ＭＶＣの手法は、一般化されたＢフレームを利用するツールに基づくものであり、複数のカメラにより捕捉されたビューの間の相関を利用する。これらツールは、オクルージョンデータを符号化するために中心ビューから基準フレームを利用する目的のために適用され得る。

更なる実施例においては、１つのビューを得ても良いし、又はオクルージョンデータを含む中心ビュー及び第２のビューを含む、１つより多いビューを得ても良く、一般化されたＢフレームによりＨ．２６４ＭＶＣを用いて当該ストリームを符号化しても良い。このことは、新たな符号化規格を設計する必要がないことを意味し、この場合においては、ＭＶＣ規格が異なった態様で（該規格においてフラグ付けされるべきである）利用されても良い。

図１０は、ＭＶＣ符号化方式を模式的に示し、図１０Ａに示されるように、時間Ｔ０、Ｔ１等について、種々のビューｓ１、ｓ２等が送信される。図１０Ｂは、中心ビューフレーム（ＣＶ）及びオクルージョンデータフレーム（Ｏｃｃｌ）をエンコードする際に、同様の方式がどのように利用され得るかを、模式的に示す。

しかしながら、１つのエンコーダ及び／又はＭＶＣにおいて一般化されたＢフレームを利用することは、３つの重要な制約を持つ。フレームレートと解像度とが合致する必要がある点、及び既存の規格／ハードウェアの利用である。

ＡＶＣ圧縮規格のような幾つかの更に複雑なビデオ圧縮規格が、多くの複数の予測の可能性を持つ。比較的多い時間的（即ち前方又は後方）予測が為される。予測を為すために時間的に最も近いフレームのみならず、時間的に離れたフレームも考慮される。バッファにおいて、時間的な予測のために利用されるように、幾つかのフレームがメモリに保存される。この原理は、本発明の実施例の第１の態様の枠組内で適用される。

図１１は、複数の参照を模式的に示す。矢印は、フレーム間の参照を示し、矢印の数は利用されるフレーム数である。時間Ｔ０、Ｔ１等は、表示順序を表す。本図において例えば、時間Ｔ４におけるフレームＰ、Ｔ０におけるフレームＩ、Ｔ２におけるフレームＰ、及び更に前のフレームが、エンコードにおいて（同様にデコードにおいても）基準フレームとして利用されることが分かる。このことは、Ｔ４におけるフレームＰへ向かう矢印により示される。Ｔ４におけるフレームＰ自体が、Ｔ３におけるフレームＢ（前方）及びＴ６におけるフレームＰについての基準フレームである。図１１において、Ｉ及びＰはフレーム内（Intra）符号化及び予測（Predictive）符号化されたフレームを示し、Ｂは双方向（Bi-directional）符号化されたフレームを示す。矢印は予測を示す。図１１に示された例においては、例えば時間Ｔ５において、時間Ｔ２、Ｔ４、Ｔ６及びＴ８におけるフレームからの予測が利用される。

図１２は、本発明の好適な実施例の模式的な図を示す。

２つのタイプのフレーム、即ち中心ビューフレーム及びオクルージョンデータフレームがあることが分かる。図１１におけるように、中心フレームは中心フレームについての基準フレームとして利用され、同様にオクルージョンデータフレームは、オクルージョンデータフレームを前方及び後方予測するための基準フレームとして利用される。

各時間Ｔ０、Ｔ１等において、同じ位置における且つミューティングの場合における、オクルージョンデータフレームと中心ビューフレームとの間の相関は限られていることに留意されたい。なぜなら、オクルージョンデータフレームは、中心ビューにないデータを有するからである。しかしながら、オクルージョンデータフレームについての基準フレームとして中心ビューフレームが利用されると、符号化効率にかなりの増大をもたらすことが分かっており、このことは図１２において、中心ビューフレーム（上側のブロック）からオクルージョンデータフレーム（下側のブロック）へ向かう矢印により示される。本図１２において、Ｉはフレーム内符号化を示し、Ｐは予測フレームを示し、Ｂは双方向予測されたフレームを示す。インデクスは、フレームが存在するレイヤに関連する。画像は下位のレイヤからのみ予測される。従って、時間Ｔ０におけるオクルージョンデータは、中心ビューにおける画像からのみ予測されることができ、時間Ｔ２におけるオクルージョンデータは、中心ビューに加えて時間Ｔ０及びＴ８におけるオクルージョンデータの画像を全て利用することができる。利用されることとなる基準フレームの数は、特定されても良い。この制限は、実装の観点からもたらされるものであり、概念的な観点からもたらされるものではない。

より高い符号化効率を得るためオクルージョンデータを符号化するために中心ビュー基準フレームを利用することは、本発明の実施例における基本原理である。

このことは、既に図６において、デコーダＣＶとエンコーダＯｃｃｌとの間の線により示されている。

本発明の枠組内において、オクルージョンの予測のためにエンコードにおいて保存されるフレームは、前の又は後続する中心ビューフレームに加えて、前のオクルージョンフレームを含んでも良い。中心ビューフレームの利用は、オクルージョンデータをも利用することの可能性を除外するものではない。

しかしながら、１つのエンコーダ及び／又はＭＶＣにおいて一般化されたＢフレームを利用することは、３つの重要な制約を持つ。フレームレートと解像度とが合致する必要がある点、及び既存の規格／ハードウェアの利用である。

図１３は、中心ビュー画像とオクルージョンデータ画像との結合された符号化のために、これらの原理がどのように適用されるかについての図を示し、図６においてボックス６７により模式的に示された好適な実施例に対応する。オクルージョンデータ画像はここでは、非常に低いオーバヘッドの設定で動作することを可能とするために、低減された空間（更には時間）解像度で圧縮されても良い。低減された空間解像度の場合には、最適なアップフィルタ（upfilter）係数が決定され、エンコードされたオクルージョンデータのビットストリームと共に送信されても良い。時間解像度（フレームレート）低減の場合には、３Ｄ描画処理のために、既知の時間的アップコンバージョン手法（自然な動きのような）が利用されても良い。

本図の下部には、中心ビューデータをエンコードするためのとり得る方式が示されている。

図１３における略語は、以下を表す：
ＤＣＴ：離散コサイン変換
Ｑ：量子化
ＤＣＴ^−１：逆離散コサイン変換
Ｑ^−１：逆量子化
ＶＬＣ：可変長符号化
ＭＥ／ＭＣ：動き推定／動き補償
Ｒ０、Ｒ１等：エンコードにおいて利用されるメモリ中のフレーム
ＰＴＳｉ：表示時間スタンプｉ

このスキーマの実装は、特定の時点において、メモリポインタを変更することであると言うことができる。勿論、中心ビューデータレイヤから利用されるフレームの数はいずれの数であっても良いが、幾分かの制約を持つことが現実的であると思われる（例えばＭＶＣの実施例にも当てはまるようなメモリ制約）。

適切な選択は、現在のフレーム（ＰＴＳｉ）及びａ個（例えばａ＝５）のフレームの値のオフセットとなると考えられ、従ってフレームＰＴＳｉ−ａ、即ち前の中心ビューフレームである。例えばＰＴＳｉ＋ａのような将来を考慮すること、即ちオクルージョンフレームの内容の予測のために将来の中心ビューフレームを利用することすら、考えられる。例えばａ＝−５、−２、０、２、５のような、更なるオフセットもあり得る。また、オフセット中心ビュービューフレームの重みが、変動を示しても良い。オフセット数は、図６におけるシフトτ２に対応する。該シフトτ２は時間におけるシフトを示すシフトであるが、タイムスタンプオフセットはフレームにおける（従ってまた時間における）シフトである。図６においては、単一のシフトτ２が模式的に示されている。１つよりも多いシフトτ２（基準フレームとして利用される１つよりも多い前の又は将来の中心ビューフレームがあり得るため）が利用されても良いことは、明らかであろう。本発明の概念内で、基準フレームは、中心ビューフレームと共に、前のオクルージョンデータフレームを有しても良い。オフセット数ａ、及びことによると対応する参照される中心ビューフレームの重みは、前のビデオコンテンツに基づいて決定されても良く、例えば背景に対する前景オブジェクトの動き及びその方向に依存しても決定されても良く、ここで該オフセット数は、水平方向において高速な動きが決定された場合には小さくなり、該方向において低速な動きが決定された場合には大きくなり、幾つかの前のフレームが利用され、フレームが古くなる毎に重みが減少する。

シフト又はオフセット及び／又は重みが算出される一実施例においては、斯かる情報は好適には、例えばメタデータとしてビデオ信号に含められる。このことは、デコーダ側における対応する計算ステップの必要性を取り除く。

シフト又はオフセット及びことによると重みの算出は、画像中の元のデータに基づいて実行されても良いが、好適にはエンコード／デコードされたフレームに対して実行される。デコーダ側においては、元の信号はもはや利用可能ではない。また、図に示されるように、エンコード／デコードされたフレームは基準フレームを形成し、従って、該算出に利用されるいずれのパラメータもがこれらフレームに関連する。

決定された動き及びその方向に依存して、オクルージョンフレームもが基準フレームを形成しても良く、このことは図１３において、エンコードされたオクルージョンフレームの線からメモリＲ_−１、Ｒ_−２への線により模式的に示される。

図１３は、エンコードに先立ち、オクルージョンデータがダウンスケールされる（図６も参照されたい）好適な実施例を示す。エンコードの後、結果のデータは再びアップスケールされる必要がある。これを実行するため、ダウンスケール／アップスケールによる起こり得るアーティファクトを可能な限り低減するために、例えばダウンスケールされ次いでアップスケールされたフレームを元のフレームと比較することによって、最良のアップスケールのためのアップフィルタ係数が算出される。これら係数は、メタデータとしてデータビットストリームに組み入れられる。このことは、デコーダ側で同様のことを実行することを可能とする。

本実施例においては、オクルージョンデータのエンコードに利用される基準フレームは、中心ビューフレーム及びオクルージョンデータフレームである。

オクルージョンフレームについての奥行きマップのエンコードに対しても、同様の原理が適用されることができる。オクルージョンフレームについての奥行きマップの符号化において、中心ビューデータについての奥行きマップが基準フレームとして利用されても良い。一例として、斯かるエンコードを実行するための方式が、図１４に示されている。同様に、オクルージョンフレームについての奥行きマップのために、オクルージョンデータフレームについての無効データの原理が利用されても良く、図６も参照されたい。

オクルージョンフレーム（実際の画像データを有するものであっても奥行きデータを有するものであっても）をエンコードするために基準フレームとして中心ビューフレームを用いる原理は、オクルージョンフレーム（又はオクルージョンフレームについての奥行きマップ）における有効データと無効データとを区別する原理とは独立して適用可能である点に、留意されたい。しかしながら、以上の原理は、無効データを識別する原理と組み合わせられた場合に、特に有利となる。

中心ビュー及びオクルージョンデータフレームがインタリーブされた画像シーケンスとしての符号化である、一般化されたＢエンコードを用いる１つのエンコーダを用いることは、有用な実施例を提供するが、既存の２Ｄエンコード方式と後方互換性がないという欠点がある。

オクルージョンデータと中心ビューデータとをインタリーブさせることが可能である。通常のデコーダは、斯かるストリームに対処できない。全てのフレームがデコードされ表示され得、不快な画像をもたらし得る。ＭＶＣツールを用いることは、このようにする支援となり得る。

図１５は、オクルージョンフレームをデコードする際に中心ビュー基準フレームが利用される、デコードステップを示す。

これらステップは基本的に、図１３に示されたエンコード方法と逆の手順である。ＩＱは逆量子化を示し（図１３においてはＱ^−１と示された）、ＩＤＣＴは逆ＤＣＴ（ＤＣＴ^−１）を表す。奥行きデータをエンコードするための図１４のエンコード方式については、同様のデコード方式が利用され得る。

本発明は、例として以上に説明された、エンコードのための方法及びシステム、並びにデコードのための方法及びシステムに関する。

本発明はまた、エンコードされたビデオ信号と、例えばデコードの方法における使用のための機能パラメータを有する制御情報とを有する、ビデオ信号において実施化される。該制御情報は、以上に説明されたいずれかの実施例又はこれら実施例のいずれかの組み合わせによるデータを有しても良い。

本発明によるビデオ信号に含まれる制御情報は、以下の情報のうちの１つ以上を有しても良い：
Ａ：一般的な情報、即ちビデオ信号の全体に適用可能なもの：
１．本方法がビデオ信号をエンコードするために利用される。このことは、将来、１つの標準的な方法のみが利用される場合に有用である。
２．本方法の特定の実施例が、ビデオ信号又は閾値ＴＨのような実施例におけるパラメータをエンコードするために利用される。
３．本方法においてパラメータが利用される。斯かるパラメータは例えば、
−利用されるタイムスタンプ
−フィルタについてのパラメータ、アップスケール若しくはダウンスケールのアルゴリズム、又はどの予測が利用されるかを決定するためのアルゴリズムのような、ビデオ信号のエンコードを通して利用されるパラメータ
Ｂ：特定の、動的な情報

ビデオ信号が動的に生成される場合、即ちエンコードの間に為される特定の選択がビデオコンテンツに依存する場合には、エンコーダにおいて為される選択は、エンコードされたビデオ信号に含められる。例えば、エンコード方法がタイムスタンプのうちどれが利用されるべきか（例えばａ又はτ２の値）についての決定を為すためのアルゴリズムを有する場合には、ビデオ信号に該選択アルゴリズムの詳細を含める選択となる（従って、一般的な情報をビデオ信号に含める）。しかしながら、このことは、デコーダが該アルゴリズムを有する場合にのみ可能である。デコーダが該アルゴリズムを有さない場合には、特定の動的な情報が送信されても良く、即ち、特定のタイムスタンプ値が利用されるビデオ信号の特定の部分（例えばフラグ）について規定される。

ビデオ信号は、一般的な情報と共に動的な情報を有しても良い。以上のタイプの情報は全て、本発明による方法の利用に関連する他のいずれのタイプの情報とも合わせて、本願の枠組内で、パラメータと呼ばれる。

本発明はまた、本発明による方法又は装置のためのいずれのコンピュータプログラムにおいても実施化される。コンピュータプログラムとは、プロセッサ（汎用であっても特殊用途向けであっても）に、一連のロードステップ（中間言語及び最終的なプロセッサ言語への変換のような中間の変換ステップを含んでいても良い）の後に、プロセッサへのコマンドを取得し、本発明の特徴的な機能のいずれかを実行することを可能とする、コマンドの集合の物理的な具現化として理解されるべきである。特に、コンピュータプログラムは、例えばディスク又はテープのような媒体上のデータ、メモリに存在するデータ、ネットワーク接続（有線であっても無線であっても良い）を通して伝送されるデータ、又は紙上のプログラムコードとして実現されても良い。プログラムコードの他に、プログラムのために必要とされる特徴的なデータも、コンピュータプログラムとして実施化されても良い。

要約すると、本発明は以下のように説明される：
３Ｄビデオ信号のためのエンコードのための方法及びエンコーダにおいて、中心ビューフレーム、中心ビューフレームについての奥行きマップ、及びオクルージョンデータフレームがエンコードされる。該中心ビューフレームについての奥行きマップに基づいて、オクルージョンデータフレームにおける有効データと無効データとが区別される。このことは、エンコードされたオクルージョンデータフレームのために必要とされるビットの大きな低減を可能とする。デコーダにおいて、エンコードされたオクルージョンデータフレームにおける有効データと、中心ビューフレームとから、結合されたデータストリームが作成される。好適には、中心ビューフレームは、オクルージョンデータフレームをエンコードする際の基準フレームとして利用される。

上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付する請求項の範囲から逸脱することなく多くの代替実施例を設計することが可能であろうことは留意されるべきである。

例えば、図１６は、本発明の更なる実施例を示す。

本図１６は、中心ビュー画素位置ｘの関数として、典型的な視差プロファイルＤを示す。該視差プロファイルは基本的に、奥行きΔ_Ｌ ^（１）、Δ_Ｌ ^（２）、Δ_Ｒ ^（１），Δ_Ｒ ^（２）におけるステップにより分離された種々の位置における中心ビューにおける幾つかのオブジェクトを示し、ここでＬは左目ビューに関連する視差（即ち左からのビュー角）を表し、Ｒは右目ビューに関連する視差を表す。該視差プロファイルを用いて新たなビューが描画される場合には、視差のステップにより新たなビューにおいて穴が生じることとなる。新たなビューが左目に対して描画される場合には、ステップΔ_Ｌ ^（１）及びΔ_Ｌ ^（２）が、穴（ｈＬ１及びｈＬ２）を生じさせる。新たなビューが右目に対して描画される場合には、ステップΔ_Ｒ ^（１）及びΔ_Ｒ ^（２）が、穴（ｈＲ１及びｈＲ２）を生じさせる。左目ビューについて、所与の閾値を超えるΔＬは、オクルージョンフレームからの対応するデータによって穴が埋められるべきであることを示唆する。しかしながら、このことは、対応する「有効データ」（例１乃至４における領域Ｌ１、Ｌ２、Ｒ１、Ｒ２）が見出される場合にのみ実行される。有効データのこれらの領域は、本例においては無効データを持つ領域から区別可能である。なぜなら、例えば閾値を超える有効データの輝度値に対して、該閾値を下回る輝度データ（例えば３の輝度値）は無効データであるからである。対応する穴の位置において「無効」データが存在する場合には、該穴は、例えばテクスチャの繰り返しにより、中心ビューのテクスチャからのデータを用いて埋められる必要がある。「無効」データのない２つの連続するステップΔ_Ｌ ^（ｋ）及びΔ_Ｌ ^{（ｋ＋１）}が出現した場合には、「有効」データはΔ_Ｌ ^（ｋ）による穴に属し、Δ_Ｌ ^{（ｋ＋１）}による穴（例２）を埋めるために利用されることができない。同様のことは、Δ_Ｒ ^（ｋ）及びΔ_Ｒ ^{（ｋ＋１）}にも成り立つ。２つの連続するΔ_Ｌ ^（ｋ）及びΔ_Ｒ ^（ｍ）の間でオクルージョンデータフレーム中に「無効」データが出現しない場合には、それぞれ左目ビュー及び右目ビューを生成するため、Δ_Ｌ ^（ｋ）及びΔ_Ｒ ^（ｍ）の両方による穴を埋めるために、同一の「有効」データが利用されることとなる（例３）。「有効データ」は、所与の穴に存在しても良いし、存在していなくても良い（例４）。

エンコーダ側において全ての「３Ｄ」データが利用可能である場合（例えば中心ビューが「ブルースクリーン」手法により構築され、全ての中間レイヤが依然として利用可能である場合）には、エンコーダは、どの部分が他の部分よりも重要であるかを、オクルージョンデータフレームのビットレートをも考慮に入れて、該データをオクルージョンフレームに結合する前に、選択する必要がある。例１乃至４は、エンコーダが為すことができる種々の選択のうちの幾つかを示している。これら部分（Ｌ１、Ｌ２、…、Ｒ１、Ｒ２）の間に無効ギャップ（Ｏｃｃｌ＝「０」）を挿入することにより、これら部分は互いから分離され、デコーダ側で適切に解釈されることができる（それにより、これら部分は描画の間に適切な穴に出現する）。エンコーダにより為された該選択により、Ｏｃｃｌ＝「０」であるか又は誤ったタイプのものであるために（例えば右ビューの描画については、Ｌｘ部分は穴埋めには用いられ得ない）、斯かる穴埋めデータが利用可能ではない場合には、該穴は例えば繰り返しデータによって中心ビューからのデータを用いて埋められるべきである。前述したように、また例３により示されるように、無効データがＬｉとＲｊとの間で現われない場合には、斯かる部分は、左目方向及び右目方向のいずれについての描画の間にも、対応する穴を埋めるために利用されることができる。

オクルージョンデータフレームのための候補部分におけるテクスチャな豊富度の量は、どの部分が他の部分よりも優先されるかを決定するための、エンコーダのための基準となり得る（例２においては、明らかにＬ１がＬ２よりも重要であり、Ｌ２は省略される）。

斯かる実施例においては、複数のオクルージョン部分が１つのオクルージョンデータフレームへと結合され、異なるオクルージョン部分を互いから区別するために示唆手段（ギャップ）が生成される。

本実施例においては、有効（Ｏｃｃｌ≠「０」）から無効（Ｏｃｃｌ＝「０」）への遷移の出現、即ち少なくとも１つの画素についてのオクルージョン信号のギャップの挿入又は非挿入は、オクルージョンデータフレーム内の異なるオクルージョン部分を区別するための示唆として利用される。以上に説明したように、実施例においては、無効データについての値は確保された値又は確保された範囲内の値であり得る。確保された範囲（例えば０、１、２及び３）が利用される場合には、実際の値は、隣接する有効領域に関する情報をデコーダに伝送するために利用され得る。該情報は例えば、右領域であるか左領域であるか、例えば後続する有効領域が左領域であることを示唆する０の値、後続領域が右領域であることを示唆する１の値である。該情報は、デコーダにおいて適切な使用のために設定されることができる。なぜなら、種々のオクルージョン部分の特性はデコーダに既知であるからである。

図６に関連して前述したように、「無効」とは、該画素値に対してデータが利用可能ではないことを意味する。該データは従って、画素データとしては取り扱われない。しかしながら、「無効」データは他の情報を有しても良く、このことは単純な例である。要約すれば、値の範囲が利用される場合には、「無効」データによって、画素値ではない情報をデコーダに伝送できる実現性がある。無効データがこれらデータの値とは異なる手段により（例えば奥行きマップの内容（図６の説明を参照されたい）により）区別され得る場合には、オクルージョンデータフレームの無効領域に、比較的大量の情報が保存され得る。勿論、このことはオクルージョンデータフレームのために必要とされるビットの数を増大させ得るが、斯かる情報が価値がある場合には符号化効率も増大させ得、これを用いなければ斯かる情報は効率的に伝送されることができない。

デコーダ側において、エンコードされた信号をデコードするためのデコーダは、複数のオクルージョン部分が１つのオクルージョンデータフレームへと結合され且つ異なるオクルージョン部分を互いから区別するための示唆（挿入されたギャップ及び／又は該ギャップ内の実際の値）が存在するビデオ信号を受信し、デコーダは該示唆を識別するための手段を持ち、即ち示唆を挿入するためにエンコーダにおいて利用されたアルゴリズムと逆のアルゴリズムを利用する。

請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。

「有する（comprising）」なる語は、請求項に記載されたもの以外の要素又はステップの存在を除外するものではない。本発明は、以上に説明された種々の好適な実施例の特徴のいずれの組み合わせによっても実装され得る。

Claims (42)

1. ３次元ビデオ信号をエンコードするためにエンコーダが実行する方法であって、３次元ビデオ信号がエンコードされ、前記３次元ビデオ信号は、中心ビュービデオフレームと、前記中心ビュービデオフレームについての奥行きマップと、前記中心ビュービデオフレームについてのオクルージョンデータフレームと、を有し、中心ビューについての奥行きマップにおけるデータの制御の下、前記オクルージョンデータフレームのデータについて、前記オクルージョンデータフレームをエンコードする前に、前記オクルージョンデータフレームにおける有効データを無効データから区別するための示唆手段が生成される方法。
2. 前記オクルージョンデータフレームは、前記奥行きマップがエンコードされた後にエンコードされる、請求項１に記載のエンコードする方法。
3. オクルージョンデータフレームについての奥行きマップもがエンコードされる、請求項１に記載のエンコードする方法。
4. 前記オクルージョンデータフレームにおける有効データを無効データから区別するための示唆手段の生成のために、前記オクルージョンデータフレームについての奥行きマップのデータが利用される、請求項３に記載のエンコードする方法。
5. 前記中心ビュービデオフレームについての奥行きマップにおけるデータの制御の下、無効データを識別するための示唆手段として固定値又は固定範囲内の値がオクルージョンデータフレームにおいて生成される、請求項１又は２に記載のエンコードする方法。
6. 前記固定値又は固定範囲内の値が無効データのために確保され、前記固定値の又は前記固定範囲内のいずれの有効データもが、前記確保された値とは異なる又は前記確保された範囲外の値により置き換えられる、請求項５に記載のエンコードする方法。
7. 前記制御において奥行き不連続さ閾値が適用され、前記奥行きマップにおける閾値よりも大きい奥行きの不連続さが決定因子である、請求項１又は２に記載のエンコードする方法。
8. 前記閾値は前記奥行きマップにおけるデータから算出される、請求項７に記載のエンコードする方法。
9. 前記閾値及び／又は固定値又は固定範囲は、前記エンコードされたビデオ信号に組み入れられる、請求項５乃至８のいずれか一項に記載のエンコードする方法。
10. 前記閾値及び／又は固定値又は固定範囲は、メタデータとして前記ビデオ信号に組み入れられる、請求項９に記載のエンコードする方法。
11. 複数のオクルージョン部分が１つのオクルージョンデータフレームに結合され、異なるオクルージョン部分を互いから区別するための示唆手段が生成される、請求項１に記載のエンコードする方法。
12. 少なくとも１つの画素についてのオクルージョン信号における有効から無効への及び／又は無効から有効への遷移の出現が、前記オクルージョンデータフレーム内の異なるオクルージョン部分を区別するための示唆として利用される、請求項１１に記載のエンコードする方法。
13. 前記制御における更なる決定因子が最大ビュー角である、請求項１乃至１２のいずれか一項に記載のエンコードする方法。
14. 前記制御における更なる決定因子が、符号化された前記オクルージョンデータフレームのビットレートにより形成される、請求項１乃至１３のいずれか一項に記載のエンコードする方法。
15. 前記オクルージョンデータフレームのエンコードにおいて、中心ビュービデオフレームが基準フレームとして利用される、請求項１乃至１４のいずれか一項に記載のエンコードする方法。
16. 前記オクルージョンデータフレームのエンコードにおいて時間シフトされた中心ビューデータが利用され、前記時間シフトは画像データから算出される、請求項１５に記載のエンコードする方法。
17. 前記算出された時間シフトは、前記ビデオ信号に組み入れられる、請求項１６に記載のエンコードする方法。
18. 前記算出された時間シフトは、メタデータとして前記ビデオ信号に組み入れられる、請求項１７に記載のエンコードする方法。
19. ３次元ビデオ信号をエンコードするためのエンコーダであって、前記エンコードされた３次元ビデオ信号は、中心ビュービデオフレームと、前記中心ビュービデオフレームについての奥行きマップと、前記中心ビュービデオフレームについてのオクルージョンデータフレームと、を有し、前記エンコーダは、エンコードされるべき中心ビュービデオフレームと、中心ビュービデオフレームについての奥行きマップと、オクルージョンデータフレームと、のための入力部を有し、前記エンコーダは、前記奥行きマップについてのデータに基づいてスイッチを制御するコントローラを有し、前記スイッチは、前記オクルージョンデータフレームのデータについて、有効データか又は無効データを生成する、エンコーダ。
20. 前記エンコーダは整列器を有し、前記有効データと無効データとの整列はブロックグリッド状に整列される、請求項１９に記載のエンコーダ。
21. 前記整列器は、前記ブロックグリッドを、４×４、８×８、１６×１６及び／又は他のいずれかの整数の組み合わせで整列させるように構成された、請求項２０に記載のエンコーダ。
22. 前記エンコーダは、前記中心ビューフレームについての奥行きマップをエンコードするためのエンコーダと、前記エンコードされた奥行きマップをデコードするための内部デコーダと、を有し、前記内部デコーダによりデコードされた奥行きマップが前記コントローラにおいて利用される、請求項１９に記載のエンコーダ。
23. 前記エンコーダは、前記奥行きマップにおける奥行きの不連続さについての閾値を算出するための算出器を有し、前記スイッチの制御は、前記閾値に対する測定された奥行きの不連続さの比較に依存する、請求項１９乃至２２のいずれか一項に記載のエンコーダ。
24. 前記エンコーダは、前記算出された閾値を前記エンコードされたデータストリームに組み入れるための出力部を有する、請求項２３に記載のエンコーダ。
25. 前記エンコーダは、中心ビューフレームをエンコードするためのエンコーダと、エンコードされた中心ビューフレームをデコードするためのデコーダと、前記オクルージョンデータフレームをエンコードし、入力部において前記デコードされた中心ビューフレームを基準フレームとして挿入するために前記オクルージョンデータフレームをエンコードするためのエンコーダと、を有する、請求項１９乃至２４のいずれか一項に記載のエンコーダ。
26. シフトパラメータが算出され前記ビデオ信号に組み入れられる、請求項２３に記載のエンコーダ。
27. エンコードされたビデオ信号をデコードするためにデコーダが実行する方法であって、３次元ビデオ信号がデコードされ、前記３次元ビデオ信号はエンコードされた中心ビュービデオフレームと、前記中心ビュービデオフレームについての奥行きマップと、前記中心ビュービデオフレームについてのオクルージョンデータフレームとを有し、前記エンコードされたビデオ信号は、有効オクルージョンデータから無効オクルージョンデータを区別するための示唆を有し、前記デコードにおいて、有効オクルージョンデータと中心ビューデータとを有する、結合されたデータストリームが生成される方法。
28. 前記オクルージョンデータフレームのデコードにおいて、基準フレームとして中心ビュービデオフレームが利用される、請求項２７に記載のエンコードされたビデオ信号をデコードするための方法。
29. 前記結合された信号は、生成の後に歪ませられる、請求項２７又は２８に記載のエンコードされたビデオ信号をデコードするための方法。
30. 前記結合された信号の生成の前に歪ませるステップが実行される、請求項２７又は２８に記載のエンコードされたビデオ信号をデコードするための方法。
31. 前記デコードにおいて、有効奥行きオクルージョンデータと奥行き中心ビューデータとを有する、結合された奥行きデータストリームが生成される、請求項２７乃至３０のいずれか一項に記載のエンコードされたビデオ信号をデコードするための方法。
32. エンコードされたビデオ信号をデコードするためのデコーダであって、３次元ビデオ信号がデコードされ、前記３次元ビデオ信号はエンコードされた中心ビュービデオフレームと、前記中心ビュービデオフレームについての奥行きマップと、前記中心ビュービデオフレームについてのオクルージョンデータフレームとを有し、前記エンコードされたビデオ信号は、有効オクルージョンデータから無効オクルージョンデータを区別するための示唆を有し、前記デコーダは、有効オクルージョンデータと中心ビューデータとを有する、結合されたデータストリームを生成するための結合器を有するデコーダ。
33. 前記オクルージョンデータフレームのためのデコーダは、前記オクルージョンデータフレームのデコードにおいて、基準フレームとして中心ビュービデオフレームを利用するように構成された、請求項３２に記載のエンコードされたビデオ信号をデコードするためのデコーダ。
34. 前記デコーダは、前記結合された信号を歪ませるための歪器を有する、請求項３２又は３３に記載のエンコードされたビデオ信号をデコードするためのデコーダ。
35. 前記デコーダは、前記結合された信号の生成の前に歪ませるステップを実行するための歪器を有する、請求項３２又は３３に記載のエンコードされたビデオ信号をデコードするためのデコーダ。
36. 前記デコーダは、有効奥行きオクルージョンデータと奥行き中心ビューデータとを有する、結合された奥行きデータストリームを生成するための結合器を有する、請求項３２乃至３５のいずれか一項に記載のエンコードされたビデオ信号をデコードするためのデコーダ。
37. 前記エンコードされた信号は、１つのオクルージョンデータフレームへと結合された複数のオクルージョン部分を有し、前記エンコードされた信号は、異なるオクルージョン部分を互いから区別するための示唆を有し、前記デコーダは、前記示唆を識別し、種々のオクルージョン部分を識別するために前記示唆を利用するための手段を持つ、請求項３２乃至３６のいずれか一項に記載のエンコードされたビデオ信号をデコードするためのデコーダ。
38. 前記示唆は、オクルージョン信号における有効から無効への及び／又は無効から有効への遷移の出現により形成される、請求項３７に記載のエンコードされたビデオ信号をデコードするためのデコーダ。
39. コンピュータ上で実行されるときに、請求項１乃至１８のいずれか一項に記載のエンコードする方法を前記コンピュータに実行させるコンピュータプログラム。
40. コンピュータ上で実行されるときに、請求項２７乃至３１のいずれか一項に記載のデコードする方法を前記コンピュータに実行させるコンピュータプログラム。
41. 請求項１乃至１８のいずれか一項に記載のエンコードする方法を実行するための、コンピュータ読み取り可能な記録媒体に保存されたコンピュータプログラム。
42. 請求項２７乃至３１のいずれか一項に記載のデコードする方法を実行するための、コンピュータ読み取り可能な記録媒体に保存されたコンピュータプログラム。

Images