JP7189272B2 - 多視点信号コーデック - Google Patents

Description

本発明は、多視点信号の符号化に関する。

多視点信号は、例えば二眼及び多視点ディスプレイ、自由視点映像アプリケーションなどを含む、立体映像アプリケーションのような、多数のアプリケーションに関係している。ステレオ映像及び多視点映像コンテンツのために、ＭＶＣ（多視点映像符号化方式）の標準[１，２]が策定されてきた。その標準方式では、いくつかの近隣のカメラからの映像シーケンスが圧縮される。ＭＶＣ復号化処理では、これらのカメラ視点をそれぞれ元のカメラ位置で再構成するだけである。しかし、異なる多視点ディスプレイのためには、異なる空間位置を持つ異なる個数の視点が必要となり、例えば元のカメラ位置同士の間の追加的な視点などが必要となる。

多視点信号を取り扱う上での問題は、多視点信号の中に含まれる多数の視点に関する情報を伝送するために膨大なデータ量が必要になることである。中間視点の抽出／合成を可能とするために求められるデータ量の場合には、その必要データ量がさらに膨大となる。なぜなら、この場合には、個々の視点に関連付けられた映像には、それぞれの視点を中間視点のような他の視点へと再投影（re-projecting）できるようにする奥行き／視差マップデータのような、補足的データが付随している可能性があるからである。このように膨大な量のデータのために、多視点信号コーデックの圧縮レートをできるだけ大きくすることが非常に重要である。

そこで、本発明の目的は、より高い圧縮レート又はより良好なレート／歪み比を可能にする、多視点信号コーデックを提供することである。

この目的は、本願の各独立請求項に記載の主題によって達成される。

本願が提供する実施形態は、多視点信号の第１視点を符号化する際に使用された第１符号化パラメータから、多視点信号の第２視点を符号化するために使用される第２符号化パラメータを採用又は予測することで、より高い圧縮レート又はより良好なレート／歪み比を達成できる、という知見を利用している。換言すれば、多視点信号の視点間の重複性は、それら視点の映像情報のような視点そのものに限られるのではなく、それらの視点を並列的に符号化する際の符号化パラメータもまた類似性を示すという点であり、この点を利用すれば、符号化レートを更に向上させることができる、という発見が本願の発明者らによりなされた。

本願のいくつかの実施形態は、さらに次のような知見にも基づいている。即ち、奥行き／視差マップを符号化する際に使用された、所定の視点の一映像の所定のフレームに関連付けられた奥行き／視差マップのセグメンテーションは、その映像フレーム内で検出されたエッジを手掛かりとして使用することで、即ちウェッジレット（wedgelet）分割線をその映像フレーム内のエッジに沿って延びるように決定することで、決定又は予測されても良いという知見である。エッジの検出は復号器側における演算量を増大させる欠点を生むが、しかし、許容可能な品質における低い伝送レートの方が演算量が増える問題よりも重要であるようなアプリケーションのシナリオにおいては、このような欠点も許容範囲といえるであろう。そのようなシナリオは、復号器が静止した装置として構成されている、放送用アプリケーションを含んでも良い。

加えて、本願のいくつかの実施形態は、さらに次のような知見にも基づいている。即ち、もし符号化パラメータの採用／予測が、空間解像度間の比に基づくそれら符号化パラメータのスケーリングを含む場合には、他の視点の符号化情報から採用／予測されてきた符号化パラメータを持つ視点は、低位の空間解像度において符号化される、即ち予測及び残余補正（residual-corrected）されることも可能であり、これにより、符号化されたビットを節約できるという知見である。

上述した態様の実施形態の有益な構成は、本願の従属請求項の主題である。特に、本願の好適な実施形態を添付の図面を参照しながら以下に説明する。

本発明の一実施形態に係る符号器のブロック図である。 複数の視点及び映像奥行き／視差境界に亘る情報再使用を説明するための多視点信号の一部を示す概略図である。 本発明の一実施形態に係る復号器のブロック図である。 ２つの視点と２つの時刻を持つ例の多視点符号化における、予測の構成と動き／視差ベクトルとを示す図である。 近隣の視点の間における視差ベクトルによる点対応（point correspondence）を示す図である。 スケールされた視差ベクトルを用いた、視点１及び視点２からの場面コンテンツ投影(scene content projection)による中間視点合成を示す図である。 任意の視点において中間視点を生成するための、個別に復号化された色彩及び補足データからのＮ視点抽出を示す図である。 ９視点ディスプレイのための２視点ビットストリームにおけるＮ視点抽出の例を示す図である。

図１は、多視点信号を符号化する、本発明の一実施形態に係る符号器のブロック図である。図１の多視点信号は、説明上の参照番号１０が付されており、２つの視点１２₁及び１２₂を含む。しかし、図１の実施形態はより多数の視点を含む構成であっても良い。さらに、図１の実施形態に従えば、各視点１２₁及び１２₂は映像１４と奥行き／視差マップデータ１６とを含む。しかし、図１に示す実施形態の有益な原理の多くは、たとえ奥行き／視差マップデータを含まない視点からなる多視点信号において使用された場合でも、その有益性は変わらないであろう。本発明の実施形態のそのような一般法則化については、図１～図３の説明に続いて後述する。

各視点１２₁及び１２₂の映像１４は、一つの共通場面の投影の異なる投影／視点方向に沿った時空間サンプリングを表す。好適には、各視点１２₁及び１２₂の映像１４の時間的サンプリングレートは互いに等しいが、しかし、このような条件を必ずしも満足させる必要はない。図１に示すように、好適には映像１４の各々がフレームのシーケンスを含み、それらのフレームの各々がそれぞれの時間スタンプｔ，ｔ-１，ｔ-２，・・・に関連付けられている。図１においては、映像フレームは、それぞれＶ_{視点番号,時間スタンプ番号}の形式で示す。各フレームＶ_i,tは、各時間スタンプｔにおける各視点方向に沿った場面ｉの空間サンプリングを表す。各フレームＶ_i,tは、一つ又は複数のサンプルアレーを含み、複数のサンプルアレーの場合には、例えば輝度（luma）サンプルのための一つのサンプルアレーと彩度サンプルの二つのサンプルアレーとを含む場合や、複数の輝度(luminance)サンプルだけを含む場合や、例えばＲＧＢ色彩スペース又は同種の色彩要素のような、他の色彩要素のための複数のサンプルアレーだけを含む場合などがある。このような一つ又は複数のサンプルアレーの空間解像度は、一つの映像１４内で異なっていても良いし、異なる視点１２₁及び１２₂の各映像１４の内で異なっていても良い。

同様に、奥行き／視差マップデータ１６は、各視点１２₁及び１２₂のそれぞれの視点方向に沿って測定された、共通場面の場面オブジェクトの奥行きの時空間サンプリングを表す。この奥行き／視差マップデータ１６の時間的サンプリングレートは、図１に示すように、同一視点の関連付けられた映像の時間的サンプリングレートと同じであっても良く、又は異なっていても良い。図１の場合には、映像フレームＶの各々は、各視点１２₁及び１２₂の奥行き／視差マップデータ１６の各々に関連付けられた奥行き／視差マップｄを有する。換言すれば、図１の例においては、視点ｉ及び時間スタンプｔの各映像フレームＶ_i,tは、それに関連付けられた奥行き／視差マップｄ_i,tを有する。この奥行き／視差マップｄの空間解像度に関しても、映像フレームについて上述したことと同じことが当てはまる。即ち、空間解像度は異なる視点の奥行き／視差マップの間で異なっていても良い。

多視点信号１０を効率的に圧縮するために、図１の符号器は視点１２₁及び１２₂をデータストリーム１８へと並列的に符号化する。しかしながら、第１視点１２₁を符号化するために使用された符号化パラメータは、第２視点１２₂を符号化するために使用されるべき第２の符号化パラメータとして採用するか又はそれを予測するために、再使用される。このような方法で、図１の符号器は本発明者らによって発見された事実を利用している。つまり、この事実に従い、視点１２₁及び１２₂の並列的な符号化が、これらの視点について符号器の中で符号化パラメータを決定する際に同様な結果を生じさせる。そのため、これら符号化パラメータ間の重複性を効率的に利用することで、圧縮レート又はレート／歪み比を増大させることができる（このときの歪みは、例えば両方の視点の平均歪みとして測定され、レートは全体のデータストリーム１８の符号化レートとして測定される）。

具体的には、図１の符号器は、その全体が参照番号２０で示され、多視点信号１０を受け取るための入力と、データストリーム１８を出力するための出力とを備える。図２から分かるように、図１の符号器２０は、視点１２₁及び１２₂の各々について、二つの符号化分枝、即ち映像データ用の分枝と、奥行き／視差マップデータ用の分枝とを含む。つまり、符号器２０は、視点１の映像データ用の符号化分枝２２_v,1と、視点１の奥行き／視差マップデータ用の符号化分枝２２_d,1と、第２視点の映像データ用の符号化分枝２２_v,2と、第２視点の奥行き／視差マップデータ用の符号化分枝２２_d,2とを含む。これらの符号化分枝２２の各々は、同様に構成されている。符号器２０の構成及び機能を説明する目的で、以下にまず分枝２２_v,1の構成と機能とを説明する。この機能はすべての分枝２２に共通するものである。分枝２２の個別の特性については、その後で説明する。

符号化分枝２２_v,1は、多視点信号１２の第１視点１２₁の映像１４₁を符号化するためのものであり、符号化分枝２２_v,1は映像１４₁を受け取る入力を有する。加えて、符号化分枝２２_v,1は、減算器２４と、量子化／変換モジュール２６と、量子化／逆変換モジュール２８と、加算器３０と、追加処理モジュール３２と、復号化済み画像バッファ３４と、並列接続された二つの予測モジュール３６及び３８と、結合器又は選択器４０とを、上述の順序で直列に接続された状態で含む。結合器又は選択器４０は、予測モジュール３６及び３８の出力の間に接続される一方で、他方では、減算器２４の反転入力へと接続されている。結合器４０の出力は、加算器３０の追加的入力へも接続されている。減算器２４の非反転入力は、映像１４を受け取る。

符号化分枝２２_v,1の要素２４～４０は、協働して映像１４₁を符号化する。この符号化においては、映像１４₁を所定の部分からなるユニット単位で符号化する。例えば、映像１４₁を符号化する際には、フレームＶ_1,kは、例えばブロックや他のサンプル群などのようなセグメントに分節（セグメント）される。この場合のセグメンテーションは、時間的に一定でも良いし、時間において変化しても良い。さらに、このセグメンテーションは、デフォルトによって符号器及び復号器に対して知らされても良く、又はデータストリーム１８内で信号伝達されても良い。このセグメンテーションは、横列及び縦列において非オーバーラップ型に配置されたブロックへと分節するような、フレームからブロックへの規則的なセグメンテーションであっても良く、又は、可変サイズのブロックへと分節するクワッドツリー(quad-tree)・ベースのセグメンテーションであっても良い。以下の説明においては、映像１４₁のセグメントであって、減算器２４の非反転入力に入力され現時点で符号化されつつあるセグメントのことを、映像１４₁の現在部分と呼ぶ。

予測モジュール３６と３８とは、現在部分を予測するためのものであり、この目的のために、予測モジュール３６と３８とは、それぞれの入力が復号化済み画像バッファ３４へと接続されている。実際に、予測モジュール３６と３８との両方は、映像１４₁の事前に再構成された部分であって、復号化済み画像バッファ３４内に存在している部分を使用して、減算器２４の非反転入力に入力されつつある現在部分／セグメントを予測する。この観点から見ると、予測モジュール３６は、映像１４₁の同一フレームの空間的に近隣にあって既に再構成された部分から、映像１４₁の現在部分を空間的に予測する、イントラ予測器(intra predictor)としての役割を果たしている。他方、予測モジュール３８は、映像１４₁の事前に再構成されたフレームから現在部分を時間的に予測する、インター予測器(inter predictor)としての役割を果たしている。予測モジュール３６，３８の両方は、所定の予測パラメータに従って、又は記述通りにそれぞれの予測を実行する。より詳細には、後者のパラメータは、例えば最大ビットレートのようないくつかの制限の下か、又は制限が全くない状態で、レート／歪み比を最適化するようなある最適化の目標に照準を定めた最適化の枠組みの中で、符号器２０によって決定される。

例えば、イントラ予測モジュール３６は、予測方向（prediction direction）のような現在部分についての空間予測パラメータを決定しても良く、その場合、映像１４₁の同一フレームの近隣にあって既に再構成された部分のコンテンツを、現在部分へと拡張／コピーすることで、現在部分についての予測とするように決定しても良い。インター予測モジュール３８は、動き補償を用いて事前に再構成されたフレームから現在部分を予測しても良く、その際に関与するインター予測パラメータは、動き補償ベクトルと、参照フレームインデックスと、現在部分に関する動き補償サブ分割情報と、仮説数（hypothesis number）又はそれらの任意の組合せと、を含んでも良い。結合器又は選択器４０は、モジュール３６と３８によって与えられた予測のうちの一つもしくは複数を結合しても良いし、又は単に一つを選択しても良い。結合器４０は、結果として得られた現在部分の予測を、減算器２４の反転入力と、加算器３０の追加的入力とにそれぞれ伝送する。

減算器２４の出力においては、現在部分の予測の残余が出力され、量子化／変換モジュール２６は、この残余信号を変換係数を量子化することで変換するよう構成されている。この変換は、ＤＣＴのような任意のスペクトル分解的な変換であっても良い。量子化によって、量子化／変換モジュール２６の処理の結果は非可逆となる。即ち、符号化の損失が生じる。モジュール２６の出力は、データストリームの中で伝送されるべき残余信号４２₁である。残余信号４２₁は、残余信号ができるだけ再構成されるように、即ち量子化ノイズにも関わらず減算器２４によって出力された残余信号にできるだけ対応するように、モジュール２８の中で逆量子化されかつ逆変換される。加算器３０は、この再構成された残余信号と現在部分の予測とを合計により結合する。他の結合方法も使用可能である。例えば、他の方法では、減算器２４は比における残余を測定する割算器として作動してもよく、加算器は現在部分を再構成する乗算器として構成されても良い。このようにして、加算器３０の出力は、現在部分の事前の再構成を表している。モジュール３２における追加処理は、その再構成を強化する目的で、任意ではあるが使用されても良い。そのような追加処理は、例えばデ・ブロッキング（deblocking）適応型フィルタ処理及び同種の処理などを含んでも良い。これまでに有効な再構成の全ては、復号化済み画像バッファ３４においてバッファ処理される。つまり、復号化済み画像バッファ３４は、映像１４₁の事前に再構成されたフレームと、現在部分が帰属する現在フレームの事前に再構成された部分とをバッファ処理する。

復号器がデータストリーム１８から多視点信号を再構成できるようにするために、量子化／変換モジュール２６は残余信号４２₁を符号器２０のマルチプレクサ４４へと伝送する。同時に、予測モジュール３６はイントラ予測パラメータ４６₁をマルチプレクサ４４へと伝送し、インター予測モジュール３８はインター予測パラメータ４８₁をマルチプレクサ４４へと伝送し、追加処理モジュール３２は追加処理パラメータ５０₁をマルチプレクサ４４へと伝送する。マルチプレクサ４４は、これらの情報の全てをデータストリーム１８の中に多重化又は挿入する。

図１の実施形態について上述した説明から分かるように、符号化分枝２２_v,1による映像１４₁の符号化方法は、その符号化が奥行き／視差マップデータ１６₁からも他のいずれの視点１２₂のデータからも独立しているという点において、自己充足的である。より一般的な観点から言えば、符号化分枝２２_v,1による符号化とは、符号化パラメータを決定するステップと、映像１４₁の事前に符号化された部分であって、現在部分の符号化よりも前に符号器２０によってデータストリーム１８の中へと符号化された部分から、第１の符号化パラメータに従って映像１４₁の現在部分を予測するステップと、補正データ即ち上述した残余信号４２₁を取得するために現在部分の予測における予測誤差を決定するステップとによって、映像１４₁からデータストリーム１８へと符号化する方法として認識されても良い。その符号化パラメータと補正データとがデータストリーム１８へ挿入されている。

符号化分枝２２_v,1によってデータストリーム１８の中に挿入された上述の符号化パラメータは、以下の記載事項のうちの一つか、組み合わせ又は全てを含んでも良い。

－まず、映像１４₁のための符号化パラメータは、前段で簡単に説明したような方法により、映像１４₁のフレームのセグメンテーションを定義／信号化しても良い。

－さらに、符号化パラメータは、イントラ予測、インター予測又はそれらの組合せなど、各セグメントを予測するためにどの符号化モードを使用すべきかを各セグメント又は現在部分について示す、符号化モード情報を含んでも良い。

－符号化パラメータは、イントラ予測によって予測された部分／セグメントのためのイントラ予測パラメータや、インター予測された部分／セグメントのためのインター予測パラメータのような、上述の予測パラメータを含んでいても良い。

－また、符号化パラメータは追加処理パラメータ５０₁をさらに含んでいても良く、この追加処理パラメータ５０₁は、映像１４₁の現在部分又は後続の部分を予測するために映像１４₁の既に再構成された部分を使用する前に、その映像１４₁の既に再構成された部分をどのような方法で追加処理すべきかについて、復号器側に対して信号伝達するものである。それらの追加処理パラメータ５０₁は、それぞれのフィルタ、フィルタ係数又は同種の情報を示すインデックスを含んでいても良い。

予測パラメータ４６₁、４８₁と追加処理パラメータ５０₁とは、サブ・セグメンテーション・データをさらに含んでいても良く、このサブ・セグメンテーション・データは、上述のセグメンテーションとの比較において更なるサブ・セグメンテーションを定義しており、上記モード選択の粒度(granularity)を定義するか、又は、追加処理の中でフレームの異なる部分のために異なる適応型フィルタを適用する場合などのように完全に独立したセグメンテーションを定義するものである。

符号化パラメータは、残余信号の決定に対して影響を与えても良く、従って、残余信号４２₁の一部であっても良い。例えば、量子化／変換モジュール２６によって出力されるスペクトル変換係数レベルは補正用データとして認識されても良く、一方で量子化ステップサイズもデータストリーム１８の中で信号伝達されても良く、更に、量子化ステップサイズ・パラメータは、以下に説明する意味において符号化パラメータとして認識されても良い。

符号化パラメータは、上述した１回目の予測ステージの予測残余の次に、２回目の予測ステージを定義する予測パラメータをさらに定義しても良い。この点において、イントラ／インター予測が使用されても良い。

符号化効率を高めるために、符号器２０は符号化情報交換モジュール５２を含み、このモジュール５２は、例えばモジュール３６、３８及び３２内における処理に対して影響を与えるか又はそれらモジュールの処理から影響を受ける、全ての符号化パラメータ及び更なる情報を受け取る。その様子は、図１ではそれぞれのモジュールから下方の符号化情報交換モジュール５２に向かって垂直方向に延びる矢印で示す。符号化情報交換モジュール５２の役割は、符号化パラメータと任意ではあるが更なる符号化情報とを符号化分枝２２の中で共有させることであり、これにより、各符号化分枝２２が相互に符号化パラメータを予測又は採用できるようになる。図１に示す実施形態では、この目的で、多視点信号１０の視点１２₁と１２₂とのデータ・エンティティ、即ち映像と奥行き／視差マップデータとの間で、ある順序が定義されている。具体的には、第１視点１２₁の映像１４₁が先行し、第１視点の奥行き／視差マップデータ１６₁が続き、次に第２視点１２₂の映像１４₂が続き、第２視点の奥行き／視差マップデータ１６₂が続くという具合である。ここで留意すべきは、多視点信号１０のデータ・エンティティ間におけるこのような厳密な順序は、多視点信号１０の全体を符号化するに当たって厳密に適用される必要はないという点である。しかし、説明を簡単にするために、以下ではこの順序が一定であると仮定している。データ・エンティティ間におけるこのような順序は、当然ながらそれらに関連付けられている分枝２２間の順序をも規定する。

既に上述したように、符号化分枝２２_d,1、符号化分枝２２_v,2及び符号化分枝２２_d,2のような符号化分枝２２のさらなる符号化分枝も、符号化分枝２２_v,1と同様に作動して、それぞれの入力１６₁，１４₂及び１６₂をそれぞれ符号化する。しかし、視点１２₁、１２₂のそれぞれの映像及び奥行き／視差マップデータ間の上述したような順序と、それに対応して符号化分枝２２間に定義される順序とによって、符号化分枝２２_d,1は、例えば第１視点１２₁の奥行き／視差マップデータ１６₁の現在部分を符号化するために使用されるべき符号化パラメータを予測する際に、追加的な自由度を持つ。これは、異なる視点の映像及び奥行き／視差マップデータ間の上述したような順序に起因する。つまり、例えばこれらエンティティの各々は、それ自身の再構成された部分を使用して符号化されても良く、また、そのデータのエンティティであってこれらデータ・エンティティ間における上述した順序で前に位置するエンティティを使用して符号化されても良い。従って、奥行き／視差マップデータ１６₁を符号化する際には、符号化分枝２２_d,1は、対応する映像１４₁の事前に再構成された部分から既知となる情報を使用することができる。以下に、分枝２２_d,1がどのようにして映像１４₁の再構成された部分を利用して奥行き／視差マップデータ１６₁のある特性を予測し、それにより奥行き／視差マップデータ１６₁の圧縮率を高めることができるかについて、より詳細に説明する。しかし、これに加えて、符号化分枝２２_d,1は、映像１４₁を符号化する際に使用される符号化パラメータを上述したように予測／採用することで、奥行き／視差マップデータ１６₁を符号化するための符号化パラメータを取得することができる。採用の場合には、データストリーム１８内の奥行き／視差マップデータ１６₁に関するいかなる符号化パラメータの信号化をも抑制することができる。予測の場合には、単にこれらの符号化パラメータに関する予測残余／補正データをデータストリーム１８内に信号化するだけでも良い。符号化パラメータのそのような予測／採用の例も、後段で説明する。

後続のデータ・エンティティ、即ち第２視点１２₂の映像１４₂と奥行き／視差マップデータ１６₂とについては、追加的な予測の可能性が存在する。これらの符号化分枝に関しては、インター予測モジュールは、時間的な予測を実行するだけでなく、視点間予測（inter-view prediction）も実行できる。対応するインター予測パラメータは、時間予測と比べて類似する情報を含む。即ち、視点間予測されたセグメント毎に、視差ベクトル、視点インデックス、参照フレームインデックス及び／又は仮説数についての指示、即ち、例えば合計によって視点間予測を形成する際に関与した視点間のインター予測の数の指示を含む。そのような視点間予測は、映像１４₂に関する分枝２２_v,2に有効であるだけでなく、奥行き／視差マップデータ１６₂に関する分枝２２_d,2のインター予測モジュール３８に対しても有効である。当然ながら、これら視点間予測パラメータもまた、潜在的な第３の視点の後続の視点データのための採用／予測の基礎としての役割を果たすことができる符号化パラメータを表しているが、この潜在的な第３の視点については、図１には図示していない。

以上のような方法で、マルチプレクサ４４によってデータストリーム１８内へと挿入されるべきデータの量がさらに減少する。特に、符号化の分枝２２_d,1と分枝２２_v,2と分枝２２_d,2の符号化パラメータの量は、先行する符号化分枝の符号化パラメータを採用するか、又はその先行する符号化分枝の符号化パラメータに対する予測残余をマルチプレクサ４４によってデータストリーム１８の中に単に挿入することで、大きく減少させることができる。時間的予測と視点間予測との間で選択可能であることから、符号化分枝２２_v,2と符号化分枝２２_d,2との各残余データ４２₃、４２₄の量も減少させることができる。残余データ量における削減は、時間的予測モードと視点間予測モードとの差別化に要する符号化演算量の増加を補償して余りある。

符号化パラメータの採用／予測についてより詳細に説明するために、図２を参照されたい。図２は、多視点信号１０のある例示的な部分を示す。図２は、映像フレームｖ_1,tがセグメント又は部分６０ａ，６０ｂ，６０ｃへと分節される様子を示す。説明を簡単にするために、フレームｖ_1,tの３個の部分だけを示すが、セグメンテーションは、フレームを継ぎ目なくかつ切れ目なくセグメント／部分へと分割しても良い。上述したように、映像フレームｖ_1,tのセグメンテーションは一定でも良く、又は時間的に変化しても良い。さらに、このセグメンテーションはデータストリームの中で信号伝達されても良く、又はされなくても良い。図２が示す例では、部分６０ａと６０ｂとが、映像１４₁の任意の参照フレームの再構成されたバージョンから、動きベクトル６２ａと６２ｂとを用いて時間的に予測される。映像１４₁の任意の参照フレームは、この場合は例示的にフレームｖ_1,t-1とする。当該技術分野では公知なように、映像１４₁のフレーム間の符号化順序は、これらフレーム間の出現の順序と一致する必要はなく、従って、参照フレームは現在のフレームｖ_1,tよりも出現時間順序６４において後ろであっても良い。例えば、部分６０ｃはイントラ予測された部分であり、そのためのイントラ予測パラメータがデータストリーム１８の中に挿入される。

符号化分枝２２_d,1は、奥行き／視差マップｄ_1,tを符号化する際に、以下に図２を参照しながら例示的に説明する方法のうちの一つ又は複数の方法によって、上述の可能性を利用しても良い。

－例えば、符号化分枝２２_d,1は、奥行き／視差マップｄ_1,tを符号化する際に、符号化分枝２２_v,1によって使用された映像フレームｖ_1,tのセグメンテーションを採用しても良い。そうすれば、もし映像フレームｖ_1,tのための符号化パラメータの中にセグメンテーション・パラメータが存在する場合には、そのパラメータを奥行き／視差マップデータｄ_1,tのために再送信することを省略できる。代替的に、符号化分枝２２_d,1は、映像フレームｖ_1,tのセグメンテーションを奥行き／視差マップｄ_1,tについて使用すべきセグメンテーションのための基礎／予測として使用しても良く、その場合には、その使用すべきセグメンテーションの映像フレームｖ_1,tに対するずれがデータストリーム１８を介して信号伝達される。図２に示す場合には、符号化分枝２２_d,1は、映像フレームｖ_1,tのセグメンテーションを奥行き／視差マップｄ_1,tの前セグメンテーション(pre-segmentation)として使用する。つまり、符号化分枝２２_d,1は、映像ｖ_1,tのセグメンテーションから前セグメンテーションを採用するか、又はそこから前セグメンテーションを予測する。

－さらに、符号化分枝２２_d,1は、映像フレームｖ_1,tの中の部分６０ａ，６０ｂ，６０ｃのそれぞれに割り当てられた符号化モードから、奥行き／視差マップｄ_1,tの各部分６０ａ，６０ｂ，６０ｃの符号化モードを採用又は予測しても良い。映像フレームｖ_1,tと奥行き／視差マップｄ_1,tとの間でセグメンテーションが異なる場合には、映像フレームｖ_1,tからの符号化モードの採用／予測は、その採用／予測が映像フレームｖ_1,tのセグメンテーションの共通位置部分(co-located portions)から得られるように制御されても良い。この共通位置を適切に定義すると、以下のようになる。即ち、奥行き／視差マップｄ_1,tの中の現在部分についての映像フレームｖ_1,tの中の共通位置部分とは、例えば奥行き／視差マップｄ_1,tの中の現在部分の上部左角に配置された共通位置を含む一つの部分であっても良い。符号化モードの予測の場合には、符号化分枝２２_d,1は、データストリーム１８内で明確に信号伝達された映像フレームｖ_1,tの中の符号化モードに対する、奥行き／視差マップｄ_1,tの部分６０ａ～６０ｃの符号化モードのずれを、信号伝達しても良い。

－予測パラメータに関する限り、符号化分枝２２_d,1は、同じ奥行き／視差マップｄ_1,tの中の近隣の部分を符号化するために使用された予測パラメータを空間的に採用／予測するか、又は、映像フレームｖ_1,tの共通位置部分６０ａ～６０ｃを符号化するために使用された予測パラメータからそれらを採用／予測するか、の自由度を持つ。例えば図２は、奥行き／視差マップｄ_1,tの部分６６ａがインター予測された部分であり、さらに、対応する動きベクトル６８ａが映像フレームｖ_1,tの共通位置部分６０ａの動きベクトル６２ａから採用又は予測されたものであっても良いことを示している。予測の場合には、動きベクトルの差が、インター予測パラメータ４８₂の一部として、データストリーム１８内へと挿入されるだけで良い。

符号化効率を向上させる目的で、符号化分枝２２_d,1が所謂ウェッジレット分割線７０を使用して奥行き／視差マップｄ_1,tの前セグメンテーションのセグメントをサブ分割する能力を有し、データストリーム１８の中でこのウェッジレット分割線７０の位置を復号器に対して信号伝達することが望ましい。この方法により、図２に示す例においては、奥行き／視差マップｄ_1,tの部分６６ｃが二つのウェッジレット形状(wedgelet-shaped )部分７２ａ及び７２ｂへとサブ分割される。符号化分枝２２_d,1は、これらのサブセグメント７２ａ及び７２ｂを別々に符号化するよう構成されても良い。図２に示す例においては、サブセグメント７２ａ及び７２ｂの両方は、例示的に、それぞれの動きベクトル６８ｃ及び６８ｄを用いてインター予測される。サブセグメント７２ａ及び７２ｂの両方に対してイントラ予測を用いる場合には、各セグメントのための各ＤＣ値が近隣の関係するセグメントのＤＣ値から補外法により導出されても良い。この場合、任意ではあるが、対応する精製ＤＣ値をイントラ予測パラメータとして復号器に伝送することで、これらの導出されたＤＣ値の各々を精製しても良い。奥行き／視差マップの前セグメンテーションをサブ分割するために符号器が使用したウェッジレット分割線を、復号器が決定できるようにする可能性は、いくつか存在する。符号化分枝２２_d,1は、それらの可能性のうちの任意のものを排他的に使用しても良い。代替的に、符号化分枝２２_d,1は、以下に記載するような符号化の選択枝の中から選択し、その選択をデータストリーム１８内でサイド情報として復号器へ信号伝達する自由度を持っていても良い。

ウェッジレット分割線７０は、例えば直線であっても良い。この分割線７０の位置の復号器側への信号化は、セグメント６６ｃの境界に沿った一つの交点を、傾斜もしくは勾配情報と共に、又は、ウェッジレット分割線７０とセグメント６６ｃの境界との二つの交点の指示と共に、信号化することを含んでも良い。ある実施形態においては、ウェッジレット分割線７０とセグメント６６ｃの境界との二つの交点を指示することで、ウェッジレット分割線７０がデータストリーム内で明確に信号化されても良く、この場合、可能性のある交点を指示するグリッドの粒度、即ち交点の指示の粒度又は解像度は、セグメント６６ｃのサイズ又は量子化パラメータのような符号化パラメータに依存しても良い。

代替的な実施形態においては、前セグメンテーションは、例えばダイアディック・スクエア・ブロック（dyadic square blocks）を用いたクワッドツリー・ベースのブロック分割によって実行され、各ブロックサイズについての交点の許容可能なセットは、ルックアップテーブル（ＬＵＴ）により与えられ、ここで、各交点の信号化は対応するＬＵＴインデックスの信号化を含んでいる。

しかし、さらに他の実施形態によれば、符号化分枝２２_d,1は、復号化済み画像バッファ３４の中で、映像フレームｖ_1,tの再構成された部分６０ｃを使用して、ウェッジレット分割線７０の位置を予測し、さらに、もしセグメント６６ｃを符号化する際に実際に使用されるべきウェッジレット分割線７０にずれがあった場合には、そのずれを復号器に対してデータストリーム内で信号伝達する。特に、モジュール５２は、奥行き／視差マップｄ_1,tの中の部分６６ｃ位置に対応する位置における映像フレームｖ_1,tについてのエッジ検出を実行しても良い。例えば、その検出は映像フレームｖ_1,tの中のエッジに対して敏感であっても良く、このエッジとは、鮮やかさ、輝度要素、彩度要素もしくはクロミナンス、又はそれらと同種の特徴などのような段階的にスケールされた特徴の空間的勾配が、ある最小閾値を超えるような場所である。モジュール５２は、このエッジ７２の位置に基づいてウェッジレット分割線７０を決定することができ、その場合、そのウェッジレット分割線がエッジ７２に沿って延びるように決定する。復号器も再構成された映像フレームｖ_1,tに対してアクセスするために、復号器もまた同様の方法で、部分６６ｃをウェッジレット形状部分７２ａ及び７２ｂへとサブ分割するためのウェッジレット分割線７０を決定することができる。その結果、ウェッジレット分割線７０を信号伝達するための信号伝達容量を節約できる。ウェッジレット分割線の位置を表現するために、部分６６ｃのサイズに依存する解像度を持つという態様は、分割線７０の位置をエッジ検出によって決定する本発明の態様にも適用することができ、さらに、予測位置からの任意のずれを送信するためにも適用することができる。

映像１４₂を符号化する際には、符号化分枝２２_v,2は、符号化分枝２２_v,1に有効な符号化モードの選択枝に加え、視点間予測という選択肢をも有している。

図２は、例えば、映像フレームｖ_2,tのセグメンテーションの部分７４ｂが、第１視点の映像１４₁の時間的に対応する映像フレームｖ_1,tから、視差ベクトル７６を用いて視点間予測される様子を表している。

このような差異とは別に、符号化分枝２２_v,2は、映像フレームｖ_1,tと奥行き／視差マップｄ_1,tとの符号化から使用可能となる全ての情報、特に、これら符号化において使用された符号化パラメータのような情報を、追加的に利用しても良い。そのため、符号化分枝２２_v,2は、映像フレームｖ_2,tの時間的にインター予測された部分７４ａについて、時間的に整列された映像フレームｖ_1,tの共通位置部分６０ａの動きベクトル６２ａと、奥行き／視差マップｄ_1,tの共通位置部分６６ａの動きベクトル６８ａとのいずれか、又はそれらの組合せから、動きベクトル７８を含む動きパラメータを採用又は予測しても良い。部分７４ａについてのインター予測パラメータに関して、もし予測残余が存在する場合には、その予測残余が信号化されても良い。この点において、動きベクトル６８ａには、動きベクトル６２ａそれ自体からの予測／採用が既に適用されていても良いことに留意すべきである。

奥行き／視差マップｄ_1,tの符号化に関して上述したように、映像フレームｖ_2,tを符号化するために符号化パラメータを採用／予測する他の可能性もまた、符号化分枝２２_v,2による映像フレームｖ_2,tの符号化のために適用することができる。しかしその場合には、映像フレームｖ_1,tの符号化パラメータと、対応する奥行き／視差マップｄ_1,tの符号化パラメータとの両方が使用可能となるため、モジュール５２により提供される使用可能な共通データは増加する。

次に、符号化分枝２２_d,2は、符号化分枝２２_d,1による奥行き／視差マップｄ_1,tの符号化と類似的な方法で、奥行き／視差マップｄ_2,tを符号化する。このことは、例えば同一の視点１２₂の映像フレームｖ_2,tから符号化パラメータを採用／予測する全ての場合についても真実である。しかし、符号化分枝２２_d,2はさらに、先行する視点１２₁の奥行き／視差マップｄ_1,tを符号化するために使用された符号化パラメータから、符号化パラメータを採用／予測するという機会も有している。さらには、符号化分枝２２_d,2は、符号化分枝２２_v,2に関して説明したように、視点間予測を使用することもできる。

符号化パラメータの採用／予測に関して言えば、符号化分枝２２_d,2がその符号化パラメータを採用／予測する可能性を、多視点信号１０の以前に符号化されたエンティティの符号化パラメータの中から、同じ視点１２₂の映像１４₂と、近隣でかつ以前に符号化された視点１２₁の奥行き／視差マップデータ１６₁とに、制限しておくことが有意義であるかもしれない。その結果、奥行き／視差マップｄ_2,tの各部分についての採用／予測のソースを、復号器側に対してデータストリーム１８の中で信号伝達する必要性から生じる、信号伝達用オーバーヘッドを低減することができる。例えば、符号化分枝２２_d,2が、奥行き／視差マップｄ_2,tの視点間予測された部分８０ａについて、映像フレームｖ_2,tの共通位置部分７４ｂの視差ベクトル７６からの視差ベクトル８２を含む、予測パラメータを予測しても良い。この場合には、採用／予測が行われる元になるデータ・エンティティ、即ち図２においては映像１４₂の指示は省略されても良い。なぜなら、奥行き／視差マップｄ_2,tのための視差ベクトルの採用／予測に関して、唯一の可能性のあるソースは映像１４₂しかないからである。しかし、時間的にインター予測された部分８０ｂのインター予測パラメータを採用／予測するに際し、符号化分枝２２_d,2は、対応する動きベクトル８４を動きベクトル７８，６８ａ及び６２ａの中のいずれか一つから採用／予測しても良く、従って、符号化分枝２２_d,2は、動きベクトル８４のための採用／予測のソースをデータストリーム１８の中に信号化するよう構成されても良い。このとき、可能性のあるソースを映像１４₂と奥行き／視差マップデータ１６₁とに制限しておくことで、オーバーヘッドを低減することができる。

ウェッジレット分割線に関して言えば、符号化分枝２２_d,2は、上述した方法に加えて以下のような選択枝も有する。

ウェッジレット分割線を用いて視点１２₂の奥行き／視差マップｄ_2,tを符号化するために、エッジ検出及びそれに対応するウェッジレット分割線の暗示的な導出などの方法で、信号ｄ_1,tの奥行き補正済みの対応する部分を使用することができる。ここで、奥行き補正は、奥行き／視差マップｄ_1,tの中の検出された分割線を奥行き／視差マップｄ_2,tへと変換するために使用される。奥行き補正のために、奥行き／視差マップｄ_1,tの中でそれぞれ検出されたエッジに沿った前景(foreground)の奥行き／視差値が使用されても良い。

代替的に、ウェッジレット分割線を用いた視点１２₂の奥行き／視差マップｄ_2,tの符号化の方法として、信号ｄ_1,tの視差補正済み部分内の所定のウェッジレット分割線を使用すること、即ち、信号ｄ_1,tの共通位置にある部分を符号化する際に既に使用されたウェッジレット分割線を予測値（predictor）として使用するか、又はそれを採用することで、信号ｄ_1,tの対応する視差補正済み部分を利用しても良い。

図１の符号器２０を説明した後であるが、この符号器は、ソフトウエア、ハードウエア、又はファームウエア即ちプログラム可能なハードウエアにおいて構成可能である点に留意すべきである。図１のブロック図では、符号器２０が並列的な符号化分枝を含む構造を持つように表されている、即ち、多視点信号１０の各映像及び奥行き／視差データごとに一つの符号化分枝を持つように表されているが、この点は必須要件ではない。例えば、各構成要素２４～４０の作業をそれぞれ実行するよう構成されたソフトウエア・ルーチン、回路部分又はプログラム可能な論理部分が、符号化分枝のそれぞれの作業を実行するようにシーケンシャルに使用されても良い。並列処理においては、並列符号化分枝の処理は、並列プロセッサ・コアや並列作動回路などにおいて実行されてもよい。

図３は、データストリーム１８を復号化できる復号器の一例を示し、その復号器は、データストリーム１８からの多視点信号により表現された場面に対応する一つ又は複数の視点映像を再構成するものである。図３に示す復号器の構成及び機能は、図１の符号器の構成及び機能にかなりの程度似ている。従って、図１の参照符号をできるだけ多く再使用することで、上述した図１に関する機能説明が図３にも適用できることを示している。

図３の復号器は、その全体を参照符号１００で示し、データストリーム１８のための入力と、上述した一つ又は複数の視点の再構成１０２を出力するための出力とを有する。復号器１００は、デマルチプレクサ１０４と、データストリーム１８によって表現される多視点信号１０の各データ・エンティティ（図１参照）のための復号化分枝１０６のペアと、視点抽出器１０８と、符号化パラメータ交換器１１０とを含む。図１の符号器の場合と同様に、これら復号化分枝１０６は、同じ相互接続の中で同じ復号化要素を備えており、それらの様子を第１視点１２₁の映像１４₁を復号化する役割を担う復号化分枝１０６_v,1に関して代表的に説明する。具体的には、各復号化分枝１０６は、マルチプレクサ１０４の出力にそれぞれ接続された入力と、視点抽出器１０８の入力にそれぞれ接続された出力であって、復号化分枝１０６_v,1の場合では映像１４₁であるような多視点信号１０のそれぞれのデータ・エンティティを視点抽出器１０８に対して出力するための出力と、を含む。この入力と出力との間に、各復号化分枝１０６は、逆量子化／逆変換モジュール２８と加算器３０と追加処理モジュール３２と復号化済み画像バッファ３４とを含み、これら要素はマルチプレクサ１０４と視点抽出器１０８との間に直列に接続されている。加算器３０と追加処理モジュール３２と復号化済み画像バッファ３４とは、並列接続された予測モジュール３６及び３８とその後続の結合器／選択器４０と共に、閉回路を形成している。並列接続された予測モジュール３６及び３８と結合器／選択器４０とは、前述した順序で、復号化済み画像バッファ３４と加算器３０の追加的な入力との間に接続されている。図１の場合と同じ参照符号を使用して示すように、復号化分枝１０６の構成要素２８～４０の構成及び機能は、図１の符号化分枝の対応する要素の構成及び機能と類似している。つまり、復号化分枝１０６の各構成要素は、データストリーム１８内で伝送された情報を使用して、符号化処理における処理に似た作業を実行する。当然ながら、各復号化分枝１０６は、符号器２０によって最終的に選択された各符号化パラメータに関して符号化手順を単純に逆転させるものである。一方、図１の符号器２０は、場合によっては例えば最大ビットレート又は同様の制限などのような所定の制限の下で、例えばレート／歪みコスト機能を最適化する符号化パラメータのように、最適化の意味における１つの最適な符号化パラメータのセットを発見しなければならない。

デマルチプレクサ１０４は、データストリーム１８を様々な復号化分枝１０６へと供給する。例えば、デマルチプレクサ１０４は、量子化／逆変換モジュール２８に対しては残余データ４２₁を供給し、追加処理モジュール３２に対しては追加処理パラメータ５０₁を供給し、イントラ予測モジュール３６に対してはイントラ予測パラメータ４６₁を供給し、インター予測モジュール３８に対してはインター予測パラメッタ４８₁を供給する。符号化パラメータ交換器１１０は、図１内の対応するモジュール５２と同様の役割を果たし、共通の符号化パラメータと他の共通のデータとを様々な復号化分枝１０６へと供給する。

視点抽出器１０８は、並列的な復号化分枝１０６により再構成された多視点信号を受け取り、外部から提供された中間視点抽出制御データ１１２によって規定された視点角度又は視点方向に対応する一つ又は複数の視点１０２を、その多視点信号から抽出する。

復号器１００の構成は符号器２０の対応する部分の構成と似ていることから、視点抽出器１０８に対するインターフェイスまでの機能は、上述の説明と同様にして容易に説明できる。

実際、復号化分枝１０６_v,1と１０６_d,1とが協働してデータストリーム１８から多視点信号１０の第１視点１２₁を再構成するが、この場合、データストリーム１８内に含まれる第１の符号化パラメータ（例えば４２₁の中のスケーリングパラメータ、パラメータ４６₁，４８₁，５０₁及び対応する非採用パラメータと、第２の分枝１０６_d,1の符号化パラメータの予測残余、即ち４２₂及びパラメータ４６₂，４８₂，５０₂など）に基づいて、多視点信号１０の事前に再構成された部分、即ち第１視点１２₁の現在部分の再構成よりも前にデータストリーム１８から再構成された部分から、視点１２₁の現在部分を予測し、かつ、第１の補正データ、即ちデータストリーム１８内に含まれた４２₁及び４２₂内のデータを使用して、第１視点１２₁の現在部分の予測の予測誤差を補正することで、この再構成が実行される。復号化分枝１０６_v,1が映像１４₁を復号化する役割を担う一方で、復号化分枝１０６_d,1が奥行き／視差マップデータ１６₁を再構成する役割を担う。例えば、図２を参照されたい。この図では、復号化分枝１０６_v,1がデータストリーム１８から第１視点１２₁の映像１４₁を再構成するが、この再構成は、データストリーム１８から読み出された対応する符号化パラメータ、即ち４２₁の中のスケーリングパラメータ及びパラメータ４６₁，４８₁，５０₁に基づいて、多視点信号１０の事前に再構成された部分から６０ａ，６０ｂ又は６０ｃのような映像１４₁の現在部分を予測し、かつ、データストリーム１８から、即ち４２₁内の変換係数レベルから得られる対応する補正データを使用して、その予測の予測誤差を補正することで、実行される。例えば、復号化分枝１０６_v,1は、映像１４₁をセグメント／部分のユニット単位で処理するが、その場合、映像フレーム間の符号化順序を使用して処理し、さらに、フレーム内のセグメントを復号化するために、それらフレームのセグメント間の符号化順序を使用して、符号器の対応する符号化分枝のやり方と同様にして処理する。このように、映像１４₁の事前に再構成された全ての部分が現在部分の予測のために使用できる。現在部分のための符号化パラメータは、一つ又は複数のイントラ予測パラメータ５０、インター予測パラメータ４８₁、追加処理モジュール３２のためのフィルタパラメータなどを含んでいても良い。予測誤差を補正するための補正データは、残余データ４２₁内のスペクトル変換係数レベルによって表されても良い。これら全ての符号化パラメータが、全部に亘って送信される必要はない。符号化パラメータのうちの幾つかは、映像１４₁の近隣のセグメントから空間的に予測されたものであっても良い。例えば、映像１４₁のための動きベクトルは、映像１４₁の近隣の部分／セグメントの動きベクトル間のベクトル差として、ビットストリーム内で伝送されても良い。

第２の復号化分枝１０６_d,1に関して説明すれば、この復号化分枝１０６_d,1は、残余データ４２₂と対応する予測及びフィルタパラメータとのように、データストリーム１８内で信号化されかつデマルチプレクサ１０４によって個々の復号化分枝１０６_d,1に供給されたパラメータ、即ち視点間境界を越えて予測されたものではないパラメータに対するアクセスを有するだけではなく、デマルチプレクサ１０４を介して復号化分枝１０６_v,1に供給された符号化パラメータ及び補正データ、又は符号化情報交換モジュール１１０を介して供給されるような、それら情報から導出可能ないかなる情報に対する間接的なアクセスも有している。そのため、復号化分枝１０６_d,1は、奥行き／視差マップデータ１６₁を再構成するための符号化パラメータを、第１視点１２₁のためにデマルチプレクサ１０４を介して復号化分枝１０６_v,1と１０６_d,1とのペアに対して送られた複数の符号化パラメータの一部分から決定する。それら符号化パラメータは、復号化分枝１０６_v,1のために特別に選択されかつ伝送された符号化パラメータの部分と部分的に重複する。例えば、復号化分枝１０６_d,1は、動きベクトル６８ａを、一方では例えばフレームｖ_1,tの別の近隣の部分に対する動きベクトル差として４８₁の中で明示的に伝送された動きベクトル６２ａから決定し、他方では４８₂の中で明示的に伝送されたある動きベクトル差からも決定する。追加的に又は代替的に、復号化分枝１０６_d,1は、ウェッジレット分割線の予測に関して上述したように映像１４₁の再構成された部分を使用して、奥行き／視差マップデータ１６₁を復号化するための符号化パラメータを予測しても良い。

より詳細には、復号化分枝１０６_d,1は、データストリームから第１視点１２₁の奥行き／視差マップデータ１６₁を符号化パラメータを使用して再構成するが、これらの符号化パラメータは、少なくとも部分的には、復号化分枝１０６_v,1によって使用された符号化パラメータから予測された（又は採用された）ものであり、及び／又は、復号化分枝１０６_v,1の復号化済み画像バッファ３４の中の映像１４₁の再構成された部分から予測されたものである。符号化パラメータの予測残余は、デマルチプレクサ１０４を介してデータストリーム１８から取得されても良い。復号化分枝１０６_d,1のための他の符号化パラメータは、データストリーム１８の中で完全な形で伝送されても良いし、他の基準との関連において伝送されても良い。即ち、奥行き／視差マップデータ１６₁自身の事前に再構成された部分のいずれかを符号化するために既に使用された符号化パラメータを参照する形で伝送されても良い。これらの符号化パラメータに基づいて、復号器分枝１０６_d,1は、奥行き／視差マップデータ１６₁の現在部分を、奥行き／視差マップデータ１６₁の事前に再構成された部分から、即ち奥行き／視差マップデータ１６₁の現在部分の再構成よりも前に復号化分枝１０６_d,1によってデータストリーム１８から再構成された部分から、予測し、かつそれぞれの補正データ４２₂を使用して、奥行き／視差マップデータ１６₁の現在部分の予測の予測誤差を補正する。

従って、データストリーム１８は、例えば奥行き／視差マップデータ１６₁の部分６６ａについて、以下の項目を含んでもよい。
－現在部分についての符号化パラメータが、例えば映像１４₁の共通位置にありかつ時間的に整列された部分の対応する符号化パラメータから（又はウェッジレット分割線を予測するための映像１４₁の再構成されたバージョンのような、映像１４₁の他の特定のデータから）、採用もしくは予測されるべきか否か、又はどの部分が採用もしくは予測されるべきかについての指示
－採用もしくは予測されるべきである場合に、予測においては符号化パラメータの残余
－採用もしくは予測されるべきでない場合に、現在部分についての全ての符号化パラメータであって、奥行き／視差マップデータ１６₁の事前に再構成された部分の符号化パラメータと比較された予測残余として信号化されても良い、符号化パラメータ
－必ずしも全ての符号化パラメータが上述のように予測／採用されるべきではない場合に、現在部分についての符号化パラメータの残りの部分であって、奥行き／視差マップデータ１６₁の事前に再構成された部分の符号化パラメータと比較された予測残余として信号化されても良い、符号化パラメータの残りの部分。

例えば、もし現在部分が部分６６ａのようにインター予測された部分である場合には、動きベクトル６８ａは、動きベクトル６２ａから採用又は予測されたものとして、データストリーム１８の中で信号化されても良い。さらに、復号化分枝１０６_d,1は、上述したように映像１４₁の再構成された部分の中で検出されたエッジ７２に依存して、ウェッジレット分割線７０の位置を予測しても良く、かつこのウェッジレット分割線を、データストリーム１８内で信号化せずに適用するか、又は、データストリーム１８内の個々のアプリケーション信号化に依存して適用しても良い。換言すれば、現在部分に対するウェッジレット分割線予測の使用は、データストリーム１８内における信号化のために抑制又は許可されても良い。さらに換言すれば、復号化分枝１０６_d,1は、奥行き／視差マップデータの現在再構成中の部分の周辺を効果的に予測することができる。

第２視点１２₂についての復号化分枝のペア１０６_v,2、１０６_d,2の機能は、符号化に関して上述したように、第１視点１２₁についての復号化分枝のペアと類似している。両復号化分枝は、それ自身の符号化パラメータを使用して、多視点信号１０の第２視点１２₂をデータストリーム１８から協働して再構成する。これらの符号化パラメータのうち、視点１２₁と１２₂との間の視点境界を越えて採用／予測されたものではない部分だけが、２つの復号化分枝１０６_v,2と１０６_d,2の何れかに対してデマルチプレクサ１０４を介して伝送及び分配される必要があり、さらに任意ではあるが、視点間予測された部分の残余も伝送及び分配されても良い。第２視点１２₂の現在部分は、多視点信号１０の事前に再構成された部分、即ち第２視点１２₂の各現在部分の再構成よりも前に復号化分枝１０６のうちのいずれかによってデータストリーム１８から再構成された部分、から予測され、さらに補正データ、即ちデマルチプレクサ１０４によってこれら復号化分枝のペア１０６_v,2と１０６_d,2とに提供された４２₃と４２₄とを使用して、予測誤差が適切に補正される。

復号化分枝１０６_v,2は、その符号化パラメータを、復号化分枝１０６_v,1と１０６_d,1とのいずれかによって使用された符号化パラメータから、少なくとも部分的に採用又は予測するよう構成されている。符号化パラメータの以下の情報が映像１４₂の現在部分のために存在しても良い。
－現在部分についての符号化パラメータが、例えば映像１４₁の共通位置にありかつ時間的に整列された部分の対応する符号化パラメータから、採用もしくは予測されるべきか否か、又はどの部分が採用もしくは予測されるべきかについての指示
－採用もしくは予測されるべき場合に、予測においては符号化パラメータの残余
－採用もしくは予測されるべきでない場合に、現在部分についての全ての符号化パラメータであって、映像１４₂の事前に再構成された部分の符号化パラメータと比較された予測残余として信号化されても良い、符号化パラメータ
－必ずしも全ての符号化パラメータが上述のように予測／採用されるべきではない場合に、現在部分についての符号化パラメータの残りの部分であって、映像１４₂の事前に再構成された部分の符号化パラメータと比較された予測残余として信号化されても良い、符号化パラメータの残りの部分
－データストリーム１８内での信号化は、現在部分７４ａについて、例えば動きベクトル７８のようなその部分のための対応する符号化パラメータが、データストリームから全く新たに読み込まれるべきか、空間的に予測されるべきか、又は第１視点１２₁の映像１４₁もしくは奥行き／視差マップ１６₁の共通位置部分の動きベクトルから予測されるべきか、について信号化されても良く、それに応じて、復号化分枝１０６_v,2がデータストリーム１８から動きベクトル７８を全部抽出するか、採用するか、又は予測することによって作動してもよく、予測する場合には、さらにデータストリーム１８から現在部分７４ａのための符号化パラメータに関する予測誤差データを抽出してもよい。

復号化分枝１０６_d,2も同様に作動しても良い。つまり、復号化分枝１０６_d,2は、復号化分枝１０６_v,1と１０６_d,1と１０６_v,2とのいずれかによって使用された符号化パラメータ、再構成された映像１４₂、及び／又は第１視点１２₁の再構成された奥行き／視差マップデータ１６₁から、少なくとも部分的に採用／予測することで、その符号化パラメータを決定しても良い。例えば、データストリーム１８は、奥行き／視差マップデータ１６₂の現在部分８０ｂに関して、その現在部分８０ｂについての符号化パラメータが、映像１４₁、奥行き／視差マップデータ１６₁、もしくは映像１４₂の共通位置部分から、又はそれらの適切なサブセットから採用もしくは予測されるべきか否か、又はどの部分が採用もしくは予測されるべきかについて信号化しても良い。これら符号化パラメータ内の重要な部分は、例えば８４のような動きベクトル、又は８２のような視差ベクトルを含んでいても良い。さらに、ウェッジレット分割線に関するような他の符号化パラメータは、映像１４₂内のエッジ検出を使用して、復号化分枝１０６_d,2によって導出されても良い。代替的に、エッジ検出は、所定の再投影を使用しながら再構成された奥行き／視差マップデータ１６₁に対して適用されても良く、その再投影とは、奥行き／視差マップｄ_1,t内の検出されたエッジの位置を奥行き／視差マップｄ_2,t内へと変換することで、ウェッジレット分割線の位置の予測の基礎としての役割を果たすものである。

いずれの場合でも、多視点信号１０の再構成された部分は視点抽出器１０８に到達し、ここでそれら再構成された部分に含まれる視点が新たな視点の視点抽出の基礎、つまり新たな視点に関連する映像の基礎となる。このような視点抽出は、映像１４₁及び映像１４₂を、それらに関連する奥行き／視差マップデータを用いて再投影することを含むか又は伴っていても良い。率直に言えば、ある映像を他の中間視点へと再投影する際に、観察者（viewer）に近い位置にある場面部分に対応するその映像の部分は、その観察者の位置から遠い位置にある場面部分に対応するその映像の部分よりも、視差方向、即ち視線方向差ベクトルの方向に沿って大きくシフトされる。視点抽出器１０８により実行される視点抽出の一例を、以下に図４～図６及び図８を参照しながら説明する。オクルージョン補償処理(disocclusion handling)が視点抽出器によって実行されても良い。

後段では他の実施形態を説明するが、その前に、上述した実施形態に関連していくつかの変更がなされても良いことにも留意すべきである。例えば、多視点信号１０は、奥行き／視差マップデータを必ずしも各々の視点について持つ必要はない。多視点信号１０の視点のいずれもが、それに関連付けられた奥行き／視差マップデータを持たない可能性もあり得る。しかしながら、上述したような多視点の中における符号化パラメータの再利用及び共有は、符号化効率の向上をもたらす。さらに、いくつかの視点については、奥行き／視差マップデータは、データストリーム内で伝送されるようオクルージョン補償領域(disocclusion areas)、即ち、多視点信号の他の視点から再投影された視点内でのオクルージョン補償された領域(disoccluded areas)を満たすべき領域、に制限されても良い。奥行き／視差マップデータは、そのマップの残りの領域内においては影響のない値に設定されてもよい。

上述したように、多視点信号１０の視点１２₁と１２₂とは、異なる空間解像度を有していても良い。つまり、これら二つの視点は、データストリーム１８内で異なる解像度を使用して伝送されても良い。換言すれば、視点１２₁の後に視点１２₂が続く視点間の上述した順序においては、符号化分枝２２_v,1と２２_d,1とが視点１２₁の予測符号化を実行する空間解像度は、符号化分枝２２_v,2と２２_d,2とが視点１２₂の予測符号化を実行する空間解像度に比べて、より高くても良い。本発明の発明者らは、この点が、合成された視点１０２の品質を考慮する場合に、レート／歪み比をさらに改善することを発見した。例えば、図１の符号器は、最初に多視点信号１０の視点１２₁と視点１２₂とを同一の空間解像度で受け取り、その後に、視点１２₂の映像１４₂と奥行き／視差マップデータ１６₂とについては、それらがモジュール２４～４０による予測符号化の処理を受ける前に、低い空間解像度へとダウンサンプリングすることもできる。しかしながら、上述したような視点境界を越える符号化パラメータの採用及び予測の手法は、原視点(source view)と目的視点(destination view)との異なる解像度間の比に従った採用又は予測の基礎を成す、符号化パラメータのスケーリングによって実行されることも可能である。例えば図２を参照されたい。もし符号化分枝２２_v,2が、動きベクトル６２ａ及び６８ａのいずれかから動きベクトル７８を採用又は予測しようとする場合には、符号化分枝２２_v,2は、原視点である視点１２₁の高い解像度と目的視点である視点１２₂の低い解像度との比に対応する値によって、その動きベクトル６２ａ及び６８ａのいずれかをダウンスケールすることができる。当然ながら、復号器及び復号化分枝１０６にも同様の処理を適用できる。つまり、復号化分枝１０６_v,2と１０６_d,2とは、復号化分枝１０６_v,1と１０６_d,1とに比べて低い空間解像度で予測復号化を実行できる。その場合、再構成の後で、かつ視点抽出器１０８に到達する前に、復号化分枝１０６_v,2と１０６_d,2との復号化済み画像バッファ３４から出力され再構成された映像及び奥行き／視差マップを、低い空間解像度から高い空間解像度へと変換するために、アップサンプリングが使用されても良い。各々のアップ・サンプラーは、各復号化済み画像バッファ３４と視点抽出器１０８の各入力との間に配置されても良い。上述したように、一つの視点１２₁又は１２₂の中では、映像と関連する奥行き／視差マップデータとは同じ空間解像度を持っていても良い。しかし、追加的又は代替的に、これらの映像と奥行き／視差マップデータのペアが異なる空間解像度を持ち、上述した方法が空間解像度の境界を越えて、即ち奥行き／視差マップデータと映像との間に亘って実行されても良い。さらに、他の実施形態によれば、説明の便宜上図１～図３に示されていない視点１２₃を含む、３つの視点が存在しても良く、その場合、第１及び第２視点が同じ空間解像度を持つ一方で、第３視点１２₃がより低い空間解像度を持っても良い。さらに、上述した実施形態に従って、１２₂のような後続のいくつかの視点は、符号化の前にダウンサンプルされ、復号化の後でアップサンプルされても良い。このようなダウンサンプリングとアップサンプリングとは、符号化／復号化分枝の一種の前処理又は後処理をそれぞれ表しており、任意の後続の（目的）視点の符号化パラメータを採用／予測するために使用される符号化パラメータは、原視点及び目的視点の空間解像度のそれぞれの比に従ってスケールされる。上述したように、中間視点抽出器１０８内の処理によって、１２₂のような後続の視点が伝送され予測的に符号化されたより低い品質が、中間視点抽出器１０８の中間視点出力１０２の品質に対して重大な影響を与えることはない。視点抽出器１０８は、中間視点への再投影と、その再投影された映像サンプル値から中間視点のサンプルグリッドへの必要な再サンプリングとによって、映像１４₁と１４₂とに対して一種の補間／低域通過フィルタリングを施している。第１視点１２₁が近隣の視点１２₂よりも高い空間解像度で伝送されて来たという事実を利用して、それら視点の間の中間視点は主として視点１２₁から取得されても良く、その場合、低い空間解像度の視点１２₂とその映像１４₂とを単に補足的な視点として使用しても良い。つまり、例えば単に映像１４₁の再投影されたバージョンのオクルージョン補償領域を満たすために視点１２₂とその映像１４₂とを使用しても良く、又は、視点１２₁を一方とし視点１２₂を他方とした映像の再投影されたバージョン間のある平均化を実行する際の、小さな重み付けファクタとして使用しても良い。このようにして、低い空間解像度における伝送のために第２視点１２₂の符号化レートが有意に低くされた場合でも、視点１２₂の低い空間解像度が補償される。

上述した実施形態は、符号化／復号化分枝の内部構成に関しても補正可能であることに留意すべきである。例えば、イントラ予測モードが存在しない、即ち空間予測モードが使用できない場合もある。同様に、視点間及び時間的な予測モードが使用できない場合もある。更に、任意の追加処理の全てが選択可能である。他方では、ループ外の後処理モジュールが復号化分枝１０６の出力側に存在し、例えば適応型フィルタリング又は他の品質向上の手法、及び／又は上述したアップサンプリングを実行しても良い。更に、残余の変換が実行されなくても良い。むしろ、残余が周波数ドメインよりも空間ドメインで伝送されても良い。さらに一般的な意味では、図１と図３とに示すハイブリッド型の符号化／復号化の設計は、例えばウェーブレット変換に基づくような他の符号化／復号化の概念によって置換されても良い。

さらに、復号器が必ずしも視点抽出器１０８を含む必要はない点にも留意すべきである。むしろ、抽出器１０８は存在しなくても良い。その場合には、復号器１００は、単に視点１２₁や１２₂のうちの任意の数、例えば一つ、複数又は全てを再構成する。個々の視点１２₁や１２₂についての奥行き／視差マップデータがない場合でも、視点抽出器１０８は、互いに隣接する視点の対応する部分に関連する視差ベクトルを利用して、中間視点抽出を実行しても良い。これらの視差ベクトルを、近隣の視点の映像に関連づけられた視差ベクトル場の補助的な視差ベクトルとして使用して、視点抽出器１０８は、隣接する視点１２₁と１２₂とのそのような映像から、この視差ベクトル場を適用することで中間視点映像を形成しても良い。例えば映像フレームｖ_2,tは、その部分／セグメントの５０％が視点間予測されていると仮定する。つまり、その部分／セグメントの５０％については、視差ベクトルが存在することになる。残りの部分については、各視差ベクトルは、空間的な意味における補間法／補外法（interpolation/extrapolation）を用いて、視点抽出器１０８によって決定することができる。映像１４₂のフレームの事前に再構成された部分／セグメントについての視差ベクトルを使用する、時間的な補間もまた使用されても良い。次に、映像フレームｖ_2,t及び／又は参照映像フレームｖ_1,tが、これら視差ベクトルに従って歪みを与えられることで、中間視点が取得されても良い。この目的で、第１視点１２₁と第２視点１２₂との視点位置間の中間視点の中間視点位置に従って、視差ベクトルがスケールされる。この手順についての詳細を、後段でより詳細に説明する。

映像の再構成された現在のフレーム内で検出されたエッジに沿って延びるようにウェッジレット分割線を決定するという、上述した選択肢を使用することで、符号化効率の利得が得られる。つまり、既に説明したように、上述のウェッジレット分割線の位置予測が、各々の視点について、即ち全ての視点又は視点のうちの適切なサブセットだけについて、使用されても良い。

これまでの図３の説明から、次のようなことが明らかである。即ち、復号器は、データストリーム１８から映像１４₁の現在フレームｖ_1,tを再構成する復号化分枝１０６_v,1と、復号化分枝１０６_d,1とを有する。復号化分枝１０６_d,1は、データストリーム１８から、現在フレームｖ_1,t内のエッジ７２を検出し、そのエッジ７２に沿って延びるようにウェッジレット分割線７０を決定し、さらに、現在フレームｖ_1,tに関連する奥行き／視差マップｄ_1,tを、奥行き／視差マップｄ_1,tのセグメンテーションのセグメントのユニット６６ａ，６６ｂ，７２ａ，７２ｂ単位で再構成するものであり、その奥行き／視差マップｄ_1,tにおいては、セグメンテーションの二つの隣接するセグメント７２ａと７２ｂとがウェッジレット分割線７０によって互いに分離されている。復号器は、映像の現在フレームｖ_1,tに関連する奥行き／視差マップｄ_1,t、又は映像の以前に復号化された任意のフレームｖ_1,t-1に関連する奥行き／視差マップｄ_1,t-1の事前に再構成されたセグメントから、そのセグメントについての予測パラメータの個別のセットを使用して、奥行き／視差マップｄ_1,tをセグメント単位で予測しても良い。復号器は、ウェッジレット分割線７０を直線とするように構成されても良く、さらに復号器は、奥行き／視差マップｄ_1,tのブロック・ベースの前セグメンテーションからのセグメンテーションを決定するように構成されても良く、その際には、ウェッジレット分割線７０に沿って前セグメンテーションのブロック６６ｃが分割され、その結果、二つの隣接するセグメント７２ａと７２ｂは、一緒に前セグメンテーションのブロック６６ｃを構成するウェッジレット形セグメントである。

上述した実施形態のいくつかを要約すれば、これらの実施形態は、多視点映像と補足的データとを共有して復号化することから、視点抽出を可能にする。「補足的データ」とは、以下においては奥行き／視差マップデータの意味で使用される。これらの実施形態によれば、多視点映像と補足的データとは、一つの圧縮された表現の中に埋め込まれる。補足的データは、画素毎の奥行きマップ、視差データ又は３Ｄワイヤフレームを含んでも良い。抽出された視点１０２は、圧縮された表現又はビットストリーム１８の中に含まれる視点１２₁と１２₂とから、視点番号及び空間位置において異なっていても良い。圧縮された表現１８は、符号器２０によって事前に生成されたものであり、その符号器２０は、映像データの符号化を改善させるためにも補足的データを使用することができる。

現状の技術の方法とは対照的に、ジョイント復号化が実行され、そこでは、映像及び補足的データの復号化が共通の情報によって支持されかつ制御されても良い。例として、動き又は視差ベクトルの共通のセットが挙げられ、これらは映像と補足的データとを復号化するために使用される。最後に、復号化された映像データ、補足的データ及び可能な結合データから視点が抽出され、このとき、抽出された視点の番号と位置とは受信装置における抽出制御によって制御される。

更に、上述した多視点圧縮の概念は、視差ベースの視点合成に関連して使用可能である。視差ベースの視点合成とは、仮に、場面コンテンツが映像１４₁と１４₂のように多数のカメラでキャプチャーされた場合、このコンテンツの３次元認識を観察者に提供できるものである。そのため、左右の眼のための、わずかに異なる視線方向を持つステレオ・ペアを提供する必要がある。同一コンテンツの同一時刻についての両方の視点におけるシフトは、視差ベクトルによって表現される。同様に、一つのシーケンス内の異なる時刻同士におけるコンテンツシフトは、動きベクトルであり、これについては、図４において二つの時刻における二つの視点について説明する。

通常、視差は直接的に推定されるか、又は場面の奥行きとして推定されるものであり、外部的に提供されるか、又は特別なセンサーもしくはカメラを用いて記録されている。動き推定は、標準的な符号器によって既に実行されている。もし多数の視点が一緒に符号化される場合には、符号化の間に時間的にも視点間方向にも動き推定が実行されるように、時間的及び視点間方向の動き推定は同様に処理される。この点については、図１及び図２に関して既に説明した通りである。視点間方向の推定された動きベクトルは、視差ベクトルである。そのような視差ベクトルは、図２において、参照番号８２と７６とで例示的に示した通りである。このように、符号器２０は暗黙のうちに視差推定をも実行しており、視差ベクトルは符号化されたビットストリーム１８の中に含まれる。これらのベクトルは、復号器側、即ち視点抽出器１０８内における、追加的な中間視点合成にも使用することができる。

仮に、同一の輝度値を持つ、視点１内の位置（ｘ₁，ｙ₁）にある画素ｐ₁（ｘ₁，ｙ₁）と、視点２内の位置（ｘ₂，ｙ₂）にある画素ｐ₂（ｘ₂，ｙ₂）とを想定する。ここで、
ｐ₁（ｘ₁，ｙ₁）＝ｐ₂（ｘ₂，ｙ₂） （１）
この場合、二つの画素の位置（ｘ₁，ｙ₁）と（ｘ₂，ｙ₂）とは、例えば視点２から視点１への二次元の視差ベクトル、即ち成分ｄ_x,21（ｘ₂，ｙ₂）と成分ｄ_y,21（ｘ₂，ｙ₂）とを有するｄ₂₁（ｘ₂，ｙ₂）によって接続される。従って、次式が成り立つ。
（ｘ₁，ｙ₁）＝（ｘ₂＋ｄ_x,21（ｘ₂，ｙ₂），ｙ₂＋ｄ_y,21（ｘ₂，ｙ₂）） （２）
式（１）と（２）を組み合わせると、次式（３）となる。
ｐ₁（ｘ₂＋ｄ_x,21（ｘ₂，ｙ₂），ｙ₂＋ｄ_y,21（ｘ₂，ｙ₂））＝ｐ₂（ｘ₂，ｙ₂） （３）

図５の右下に示すように、同一のコンテンツを持つ二つの点は、視差ベクトルによって接続することができる。このベクトルをｐ₂の座標に加えることで、イメージ座標内のｐ₁の位置が得られる。もし、視差ベクトルｄ₂₁（ｘ₂，ｙ₂）がファクタＫ＝［０．．．１］によりスケールされるならば、位置（ｘ₁，ｙ₁）と（ｘ₂，ｙ₂）との間のあらゆる中間位置もアドレス可能となる。このように、視点１及び／又は視点２のイメージコンテンツを、スケールされた視差ベクトルによってシフトすることで、中間視点を生成することができる。中間視点についての例は、図６で示す。

以上のように、視点１と視点２との間のあらゆる位置について、新たな中間視点を生成することができる。

更には、視差についてスケーリングファクタＫ＜０及びＫ＞１を使用することで、視点補外をも達成できる。

これらのスケーリング法はまた、時間的な方向にも適用することができ、動きベクトルをスケーリングすることで、新たなフレームを抽出可能となる。この点は、より高いフレームレート映像シーケンスの生成に繋がる。

次に、図１～図３に関して説明した実施形態に戻ると、これらの実施形態は、特に、複数の復号化分枝を持つ並列的な復号化構造を示すものであり、それらの復号化分枝は、映像と奥行きマップなどの補足的データとを処理し、共通情報モジュール、即ちモジュール１１０を含む。このモジュールは、符号器によって生成された両方の信号からの空間的情報を使用する。共通情報の例として、動きベクトル又は視差ベクトルの１セットであって、例えば映像データの符号化処理の中で抽出されたものであり、例えば奥行きデータのためにも使用できるものが挙げられる。復号器側では、この共通情報は、映像及び奥行きデータの復号化を進め、各復号化分枝に対して必要な情報を提供し、かつ任意ではあるが、新たな視点を抽出するために使用される。この情報があれば、例えばＮ視点ディスプレイのために必要な全ての視点が、映像データから並列的に抽出できる。個々の符号化／復号化分枝の間で共有されるべき共通情報又は符号化パラメータには、以下のようなものがある。
－補足的データのためにも使用される、例えば映像データからの、共通の動きベクトル及び視差ベクトル
－補足的データのためにも使用される、例えば映像データ分割（partitioning）からの、共通のブロック分割構造
－予測モード
－例えばある輝度ブロック内の直線のような、輝度及び／又は色度情報における、エッジ及び輪郭データ。このデータは、補足的データの非矩形ブロック分割のために使用される。その分割はウェッジレットと呼ばれ、所定の角度と位置とを有する一つの直線によって、一つのブロックを二つの領域へと分割する。

共通情報は、（例えば映像用の）一つの復号化分枝からの予測値であって、（例えば補足的データ用の）他の分枝において精製されるべき予測値として使用されても良く、又はその逆の予測値として使用されても良い。この共通情報は、具体的には、動きベクトル又は視差ベクトルの精製、補足的データ内のブロック構成を映像データのブロック構成によって初期化すること、一つの映像ブロックから輝度もしくは色度のエッジ又は輪郭情報に基づいて直線を抽出すること、及びこの線をウェッジレット分割線予測のために使用すること（同一の角度を持つが、その角度を保持しながらも、対応する奥行きブロック内では異なる位置を持つことも可能）を含んでも良い。共通情報モジュールはさらに、部分的に再構成されたデータを一つの復号化分枝から他の復号化分枝へと伝送しても良い。最後に、このモジュールからのデータは視点抽出モジュールに送られても良く、その視点抽出モジュールでは、例えば一つのディスプレイ（２Ｄ，二眼立体視、Ｎ視点自動立体視でも良い）に必要な全ての視点が抽出される。

一つの重要な点は、もし映像と奥行き／補足的信号との２つ以上のペアが、上述の符号化／復号化構成を用いて符号化／復号化される場合には、各時刻ｔについて、色彩視点Ｖ_{Color_}１（ｔ）とＶ_{Color_}２（ｔ）とのペアと、それに対応する奥行きデータＶ_{Depth_}１（ｔ）とＶ_{Depth_}２（ｔ）とを一緒に伝送する必要があるような、アプリケーション・シナリオを考慮しても良い。上述した実施形態は、以下のような点を提案するものである。即ち、最初に、信号Ｖ_{Color_}１（ｔ）を例えば従来の動き補償予測を用いて符号化／復号化する。次に、第２のステップでは、対応する奥行き信号Ｖ_{Depth_}１（ｔ）を符号化／復号化するために、符号化／復号化された信号Ｖ_{Color_}１（ｔ）からの情報を上述したように再使用できる。その後、Ｖ_{Color_}１（ｔ）及びＶ_{Depth_}１（ｔ）からの蓄積された情報は、Ｖ_{Color_}２（ｔ）及び／又はＶ_{Depth_}２（ｔ）を符号化／復号化するためにさらに利用することができる。このようにして、異なる視点及び／又は奥行きの間で共通情報を共有しかつ再利用することで、重複性を大幅に活用することができる。

図３に示す復号化と視点抽出との構成について、代替的に図７をも参照して説明する。

図７に示す復号器の構成は、色彩及び補足的データのための、二つの並列化された従来型の映像復号化構成に基づいている。加えて、この実施形態は共通情報モジュールを含む。この共通情報モジュールは、共有された任意の情報を、両方の復号化構成の任意のモジュールから及び任意のモジュールに対して、送信、処理及び受信することができる。復号化された映像と補足的データは、最終的には映像抽出モジュールの中で結合されて、必要数の視点が抽出される。ここで、上述の新規なモジュールからの共通情報も使用することができる。本発明が新たに提案する復号化の新規なモジュールと視点抽出方法とは、図７において斜線のボックスによって強調されている。

復号化プロセスは、共通の圧縮された表現又はビットストリームを受信することから開始する。この共通ビットストリームは映像データと補足的データとを含んでおり、さらに、一つ又は複数の視点からの両方の復号化プロセスに共通の情報、例えば動き又は視差ベクトル、制御情報、ブロック分割情報、予測モード、輪郭データなどを含んでいる。

最初に、ビットストリームに対してエントロピー復号化が適用され、映像及び補足的データのための量子化済み変換係数が抽出される。これらの変換係数は、図７においてはそれぞれ「映像データ処理」及び「補足的データ処理」と記載され、点線で囲まれたボックスで強調された二つの別個の復号化分枝へと供給される。さらに、このエントロピー復号化は、共有された又は共通のデータをも抽出し、そのデータを新規な共通情報モジュールへと供給する。

エントロピー復号化の後は、両方の復号化分枝は類似的に作動する。受信された量子化済み変換係数はスケールされ、逆変換が適用されて差分信号が取得される。これに対して、時間的又は空間的に近隣の視点からの事前に復号化されたデータが加算される。加算されるべき情報のタイプは、特別な制御データによって制御される。イントラ符号化された映像又は補足的データの場合には、以前の又は近隣の情報が有効でないため、イントラ・フレーム再構成が適用される。インター符号化された映像又は補足的データの場合には、時間的に先行するか又は近隣の視点からの以前に復号化されたデータが有効となる（図７の現在のスイッチ設定を参照）。以前に復号化されたデータは、動き補償ブロック内で関連する動きベクトルによってシフトされ、差分信号に対して追加されて、初期フレームが生成される。もし、以前に復号化されたデータが近隣の視点のものである場合には、動きデータは視差データを表している。これらの初期フレーム又は視点は、デブロッキングフィルタや例えばエッジの平滑化などのような可能な強化法によってさらに処理されることで、視覚的品質が改善される。

このような改善ステージの後で、再構成されたデータは復号化済み画像バッファへと供給される。このバッファは、復号化されたデータの順序を整え、各時刻について正確な時間的順序で復号化済みの画像を出力する。記憶されたデータはまた、次の処理サイクルのためにも使用され、スケーラブルな動き／視差ベクトル補償に対する入力として役立てられる。

上述したような映像及び補足的データの分離した復号化に加え、新規な共通情報モジュールが使用される。このモジュールは、映像及び補足的データに共通するあらゆるデータを処理するものである。共通情報の例としては、共有された動き／視差ベクトル、ブロック分割情報、予測モード、輪郭データ、制御情報だけではなく、共通の変換係数又はモード、視点強化データなども挙げられる。個別の映像及び補足的データのモジュールにおいて処理されるいかなるデータも、共通モジュールのデータの一部にもなることができる。そのため、共通モジュールと、個別の復号化分枝の全ての部分と、の間を往復する接続が存在しても良い。更には、共通情報モジュールが十分なデータを含んでいてもよいため、個別の復号化分枝のうちの一つの分枝と共通モジュールだけで、全ての映像及び補足的データを復号化できるようにしても良い。そのような場合の例は、圧縮された表現であって、その内のいくつかの部分は映像データだけを持ち、他の全ての部分は共通の映像及び補足的データを持つ場合である。その場合、映像データは映像の復号化分枝内で復号化される一方で、全ての補足的データは共通モジュール内で処理され、視点合成へと出力される。従って、この例においては、別個の補足的データの分枝は使用されない。更に、別個の復号化分枝の各モジュールからの個々のデータは、例えば部分的に復号化されたデータの形で共通情報処理モジュールへと送り返され、そこで使用されるか又は他の復号化分枝に伝送されても良い。そのような例としては、変換係数、動きベクトル、モード又は設定などのような復号化済み映像データであって、適切な補足的な復号化モジュールへと伝送されるデータが挙げられる。

復号化の後で、再構成された映像及び補足的データが、別個の復号化分枝又は共通情報モジュールから、視点抽出器へと伝送される。図３内で参照番号１１０で示すような視点抽出モジュールの中で、例えば多視点ディスプレイのような受信装置に必要な視点が抽出される。この工程は、視点シーケンスの必要数や位置を設定する、中間視点抽出制御によって制御される。この視点抽出の例は視点合成である。つまり、図６に示すように、もし２つの元の視点１と２との間に新たな視点を合成しようとする場合には、まず、視点１からのデータが新たな位置へとシフトされても良い。しかし、この視差シフトは、前景オブジェクトと背景オブジェクトとに対して異なるものとなる。なぜなら、このシフトは、元の場面の奥行き（カメラからの前方の距離）に対して反比例するからである。このようにして、視点１では見えなかった新たな背景領域が、合成された視点の中では可視となる。このとき、視点２を、この情報を満たすために使用しても良い。更に、空間的に近隣のデータ、例えば隣接する背景情報なども使用されても良い。

一例として、図８に示すような設定を考慮されたい。この例では、復号化されたデータは、色彩データＶ_Color１及びＶ_Color２と、奥行きデータＶ_Depth１及びＶ_Depth２と、をそれぞれ有する二つの視点シーケンスを含む。このデータから、視点Ｖ_D１，視点Ｖ_D２，．．．，視点Ｖ_D９を持つ、９視点ディスプレイのための視点が抽出されることになる。ディスプレイは、中間視点抽出制御を介して、視点の個数や空間位置を信号伝達する。ここで、９視点には０．２５の空間的距離が求められており、隣接するディスプレイ視点（例えばＶ_D２とＶ_D３）が、空間位置及び立体視知覚において、ビットストリーム内の視点と比較して互いに４倍近づいた状態となっている。従って、視点抽出ファクタ｛Ｋ₁，Ｋ₂，・・・，Ｋ₉｝は、｛－０．５，－０．２５，０，０．２５，０．５，０．７５，１，１．２５，１．５｝に設定されている。つまり、復号化された色彩の視点Ｖ_Color１及びＶ_Color２が、それらの空間位置においては、（Ｋ₃＝０であり、Ｋ₇＝１であることから）ディスプレイの視点Ｖ_D３及びＶ_D７と一致することになる。更に、Ｖ_D４とＶ_D５とＶ_D６とは、Ｖ_Color１とＶ_Color２との間で補間される。最後に、Ｖ_D１及びＶ_D２と、Ｖ_D８及びＶ_D９とは、それぞれビットストリームのペアＶ_Color１及びＶ_Color２の各サイドにおいて補外される。視点抽出ファクタのセットを用いて、奥行きデータＶ_Depth１及びＶ_Depth２が視点抽出ステージにおける画素毎の変位情報へと変換され、かつ適切にスケールされることで、復号化された色彩データの９個の異なる方法でシフトされたバージョンが取得される。

これまで装置を説明する文脈で幾つかの態様を示してきたが、これらの態様は対応する方法の説明でもあることは明らかであり、そのブロック又は装置が方法ステップ又は方法ステップの特徴に対応することは明らかである。同様に、方法ステップを説明する文脈で示した態様もまた、対応する装置の対応するブロックもしくは項目又は特徴を表している。方法ステップの幾つか又は全ては、例えばマイクロプロセッサ、プログラム可能なコンピュータ、又は電子回路等のハードウエアにより（を使用して）実行されても良い。幾つかの実施形態においては、最も重要な方法ステップの内の１つ又は複数のステップは、そのような装置によって実行されても良い。

本発明の符号化された多視点信号は、デジタル記憶媒体に記憶されても良く、インターネットのような無線伝送媒体や有線伝送媒体などによって伝送されても良い。

所定の構成要件にも依るが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納される電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働可能な）、デジタル記憶媒体、例えばフレキシブルディスク，ＤＶＤ，ブルーレイ，ＣＤ，ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ，フラッシュメモリなどを使用して実行することができる。従って、そのデジタル記憶媒体はコンピュータ読み取り可能であっても良い。

本発明に従う実施形態の幾つかは、上述した方法の１つを実行するようプログラム可能なコンピュータシステムと協働可能で、電子的に読み取り可能な制御信号を有するデータキャリアを含んでも良い。

一般的に、本発明の実施例は、コンピュータプログラム製品として構成することができ、このプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の一つを実行するよう作動する。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されても良い。

本発明の他の実施形態は、上述した方法の１つを実行するための、機械読み取り可能なキャリアに記憶されたコンピュータプログラムを含む。

換言すれば、本発明の方法のある実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の１つを実行するためのプログラムコードを有する、コンピュータプログラムである。

本発明の他の実施形態は、上述した方法の１つを実行するために記憶されたコンピュータプログラムを含む、データキャリア（又はデジタル記憶媒体又はコンピュータ読み取り可能な媒体）である。そのデータキャリア、デジタル記憶媒体又は記憶された媒体は、典型的には有形及び／又は非一時的である。

本発明の他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号シーケンスである。そのデータストリーム又は信号シーケンスは、例えばインターネットを介するデータ通信接続を介して伝送されるように構成されても良い。

他の実施形態は、上述した方法の１つを実行するように構成又は適用された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。

他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムをインストールされたコンピュータを含む。

本発明の他の実施形態は、上述した方法の１つを実行するためのコンピュータプログラムを受信器に対して（例えば電子的に又は光学的に）伝送するよう構成された、装置又はシステムを含む。その受信器は、例えばコンピュータ、モバイル装置、メモリ装置又はその類似物であっても良い。その装置又はシステムは、コンピュータプログラムを受信器に対して伝送するためのファイルサーバーを含んでも良い。

幾つかの実施形態においては、（例えば書換え可能ゲートアレイのような）プログラム可能な論理デバイスは、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の１つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には、任意のハードウエア装置によって実行される。

上述した実施の形態は、本発明の原理を単に例示的に示したにすぎない。本明細書に記載した構成及び詳細について、修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではなく、添付した特許請求の範囲によってのみ限定されるべきである。
［請求項１］
データストリーム（１８）から得られた第１符号化パラメータ（４６₁，４８₁，５０₁）に従って、多視点信号（１０）の第１の事前に再構成された部分から第１視点（１２₁）の現在部分を予測し、かつ前記データストリーム（１８）に含まれた第１補正データ（４２₁，４２₂）を使用して前記第１視点（１２₁）の現在部分の予測の予測誤差を補正することによって、前記データストリーム（１８）から前記多視点信号（１０）の前記第１視点（１２₁）を再構成する手段（１０６_v,1，１０６_d,1）であって、前記第１の事前に再構成された部分は前記第１視点（１２₁）の現在部分の再構成よりも前に復号器によって前記データストリーム（１８）から再構成されたものである、手段（１０６_v,1，１０６_d,1）と、
前記第１符号化パラメータから第２符号化パラメータを少なくとも部分的に採用し又は予測する手段と、
前記第２符号化パラメータに従って、多視点信号（１０）の第２の事前に再構成された部分から第２視点の現在部分を予測し、かつ前記データストリーム（１８）に含まれた第２補正データ（４２₃，４２₄）を使用して前記第２視点（１２₂）の現在部分の予測の予測誤差を補正することによって、前記データストリーム（１８）から前記多視点信号（１０）の前記第２視点（１２₂）を再構成する手段（１０６_v,2，１０６_d,2）であって、前記第２の事前に再構成された部分は前記第２視点（１２₂）の現在部分の再構成よりも前に前記復号器によって前記データストリーム（１８）から再構成されたものである、手段（１０６_v,2，１０６_d,2）と、
を備える復号器。
［請求項２］
請求項１に記載の復号器において、
前記第１視点と前記第２視点とから中間視点（１０２）を抽出する手段（１０８）をさらに備える復号器。
［請求項３］
請求項１又は２に記載の復号器において、
前記第１視点（１２₁）と前記第２視点（１２₂）のそれぞれが、個別のカメラ位置からキャプチャーされた映像（１４₁，１４₂）と、関連する奥行き／視差マップデータ（１６₁，１６₂）とを備える復号器。
［請求項４］
請求項３に記載の復号器において、
前記第１符号化パラメータの第１部分（４６₁，４８₁，５０₁）に従って、前記多視点信号（１０）の第３の事前に再構成された部分から前記第１視点（１２₁）の前記映像（１４₁）の現在部分を予測し、かつ前記データストリーム（１８）に含まれた第１補正データ（４２₁，４２₂）の第１サブセット（４２₁）を使用して前記第１視点（１２₁）の前記映像（１４₁）の現在部分の予測の予測誤差を補正することによって、前記データストリーム（１８）から前記第１視点（１２₁）の前記映像（１４₁）を再構成する手段（１０６_v,1）であって、前記第３の事前に再構成された部分は前記第１視点（１２₁）の前記映像（１４₁）の現在部分の再構成よりも前に前記復号器によって前記データストリーム（１８）から再構成されたものである、手段（１０６_v,1）と、
前記第１符号化パラメータの前記第１部分から前記第１符号化パラメータの第２部分を少なくとも部分的に採用し又は予測する手段と、
前記第１符号化パラメータの前記第２部分に従って、前記多視点信号（１０）の第４の事前に再構成された部分から前記第1視点（１２₁）の前記奥行き／視差マップデータ（１６₁）の現在部分を予測し、かつ前記第1補正データの第２サブセット（４２₂）を使用して前記第１視点（１２₁）の前記奥行き／視差マップデータ（１６₁）の現在部分の予測の予測誤差を補正することによって、前記データストリーム（１８）から前記第１視点（１２₁）の前記奥行き／視差マップデータ（１６₁）を再構成する手段（１０６_d,1）であって、前記第４の事前に再構成された部分は前記第１視点（１２₁）の前記奥行き／視差マップデータ（１６₁）の現在部分の再構成よりも前に前記復号器によって前記データストリーム（１８）から再構成されたものである、手段（１０６_d,1）と、
を備える復号器。
［請求項５］
請求項４に記載の復号器において、
前記第１符号化パラメータは前記第１視点（１２₁）の前記映像（１４₁）のフレームのセグメンテーションを定義し、前記復号器は、前記第１視点（１２₁）の前記奥行き／視差マップデータ（１６₁）を再構成するに際して、前記第１視点（１２₁）の前記映像（１４₁）のフレームのセグメンテーションを前記第１視点（１２₁）の前記奥行き／視差マップデータ（１６₁）の前セグメンテーションとして使用することを特徴とする、復号器。
［請求項６］
請求項４に記載の復号器において、
前記復号器は、前記第１視点（１２₁）の前記映像の現在フレーム（ｖ_1,t）の再構成された部分を使用して、ウェッジレット分割線（７０）の位置を予測し、
前記データストリーム（１８）から前記第１視点の前記奥行き／視差マップデータ（１６₁）を再構成するに当り、前記ウェッジレット分割線と合致するように、前記第1視点の前記映像の現在フレーム（ｖ_1,t）と関連した前記第１視点の前記奥行き／視差マップデータ（１６₁）の奥行き／視差マップの現在部分（ｄ_1,t）の境界を設定する、ことを特徴とする復号器。
［請求項７］
請求項４～６のいずれかに記載の復号器において、
前記第１視点（１２₁）の前記映像の第１の事前に再構成された部分（ｖ_1,t-1）から前記第１視点（１２₁）の前記映像の現在部分（６０ａ）を予測する手段であって、前記第１の事前に再構成された部分（ｖ_1,t-1）は前記第１視点の前記映像の現在部分の再構成よりも前に前記復号器によって前記データストリーム（１８）から再構成されたものである、手段と、
前記第１視点（１２₁）の前記奥行き／視差マップデータの第１の事前に再構成された部分（ｄ_1,t-1）から前記第１視点（１２₁）の前記奥行き／視差マップデータの現在部分（６６ａ）を予測する手段であって、前記第１の事前に再構成された部分（ｄ_1,t-1）は前記第１視点（１２₁）の前記奥行き／視差マップデータの現在部分（６６ａ）の再構成よりも前に前記復号器によって前記データストリーム（１８）から再構成されたものである、手段と、
を備える復号器。
［請求項８］
請求項３～７のいずれかに記載の復号器において、
前記第１符号化パラメータから前記第２符号化パラメータの第１部分を少なくとも部分的に採用し又は予測する手段と、
前記第２符号化パラメータの第１部分に従って、前記多視点信号（１０）の第５の事前に再構成された部分から前記第２視点（１２₂）の前記映像（１４₂）の現在部分を予測し、かつ前記データストリーム（１８）に含まれた第２補正データの第１サブセット（４２₃）を使用して前記第２視点（１２₂）の前記映像（１４₂）の現在部分の予測の予測誤差を補正することによって、前記データストリーム（１８）から前記第２視点（１２₂）の前記映像（１４₂）を再構成する手段（１０６_v,2）であって、前記第５の事前に再構成された部分は前記第２視点（１２₂）の前記映像（１４₂）の現在部分の再構成よりも前に前記復号器によって前記データストリーム（１８）から再構成されたものである、手段（１０６_v,2）と、
前記第１符号化パラメータから、及び／又は前記第２符号化パラメータの前記第１部分から、前記第２符号化パラメータの第２部分を少なくとも部分的に採用し又は予測する手段と、
前記第２符号化パラメータの前記第２部分に従って、前記多視点信号（１０）の第６の事前に再構成された部分から前記第２視点（１２₂）の前記奥行き／視差マップデータ（１６₂）の現在部分を予測し、かつ前記第２補正データの第２サブセット（４２₄）を使用して前記第２視点（１２₂）の前記奥行き／視差マップデータ（１６₂）の現在部分の予測の予測誤差を補正することによって、前記データストリーム（１８）から前記第２視点（１２₂）の前記奥行き／視差マップデータ（１６₂）を再構成する手段（１０６_d,2）であって、前記第６の事前に再構成された部分は前記第２視点（１２₂）の前記奥行き／視差マップデータ（１６₂）の現在部分の再構成よりも前に前記復号器によって前記データストリーム（１８）から再構成されたものである、手段（１０６_d,2）と、
を備える復号器。
［請求項９］
請求項８に記載の復号器において、
前記復号器は、
前記データストリーム（１８）から前記第１視点（１２₁）の前記奥行き／視差マップデータ（１６₁）を再構成（１０６_d,1）するに当り、前記第１視点の前記奥行き／視差マップデータ（１６₁）における第１のウェッジレット分割線（７０）を使用し、
前記第２視点の前記奥行き／視差マップデータ（１６₂）における第２のウェッジレット分割線のための予測値として前記第１のウェッジレット分割線（７０）を使用し、又は前記第１のウェッジレット分割線（７０）を第２のウェッジレット分割線として採用し、
前記データストリーム（１８）から前記第２視点の前記奥行き／視差マップデータ（１６₂）を再構成するに当り、前記第２のウェッジレット分割線と合致するように、前記第２視点の前記映像の現在フレーム（ｖ_2,t）と関連した前記第２視点の前記奥行き／視差マップデータ（１６₂）の奥行き／視差マップ（ｄ_2,t）の現在部分の境界を設定する、ことを特徴とする復号器。
［請求項１０］
請求項８又は９に記載の復号器において、
前記第２視点（１２₂）の前記映像（１４₂）の第１の事前に再構成された部分（ｖ_2,t-1）から、又は前記第１視点（１２₁）の前記映像（１４₁）の第２の事前に再構成された部分（ｖ_1,t）から、前記第２視点（１２₂）の前記映像（１４₂）の現在部分（７４ａ；７４ｂ）を予測する手段であって、前記第１の事前に再構成された部分（ｖ_2,t-1）は前記第２視点（１２₂）の前記映像（１４₂）の現在部分の再構成よりも前に前記復号器によって前記データストリーム（１８）から再構成されたものであり、前記第２の事前に再構成された部分（ｖ_1,t）は前記第２視点（１２₂）の前記映像（１４₂）の現在部分の再構成よりも前に前記復号器によって前記データストリーム（１８）から再構成されたものである、手段と、
前記第２視点（１２₂）の前記奥行き／視差マップデータ（１６₂）の第１の事前に再構成された部分（ｄ_2,t-1）から、又は前記第１視点（１２₁）の前記奥行き／視差マップデータ（１６₁）の第２の事前に再構成された部分（ｄ_1,t）から、前記第２視点（１２₂）の前記奥行き／視差マップデータ（１６₂）の現在部分（８０ａ；８０ｂ）を予測する手段であって、前記第１の事前に再構成された部分（ｄ_2,t-1）は前記第２視点（１２₂）の前記奥行き／視差マップデータ（１６₂）の現在部分の再構成よりも前に前記復号器によって前記データストリーム（１８）から再構成されたものであり、前記第２の事前に再構成された部分（ｄ_1,t）は前記第２視点の前記奥行き／視差マップデータの現在部分の再構成よりも前に前記復号器によって前記データストリーム（１８）から再構成されたものである、手段と、
を備える復号器。
［請求項１１］
請求項８～１０のいずれかに記載の復号器において、
前記第２視点（１２₂）の前記映像の現在フレーム（ｖ_2,t）におけるエッジ（７２）を検出し、前記エッジ（７２）に沿って延びるようにウェッジレット分割線（７０）を決定する手段と、
前記データストリーム（１８）から前記第２視点の前記奥行き／視差マップデータ（１６₂）を再構成するに当り、前記ウェッジレット分割線と合致するように、前記第２視点の前記映像の現在フレーム（ｖ_2,t）と関連した前記第２視点の前記奥行き／視差マップデータ（１６₂）の奥行き／視差マップの現在部分（ｄ_2,t）の境界を設定する手段と、を備える復号器。
［請求項１２］
請求項１１に記載の復号器において、
前記データストリーム（１８）から前記第２視点の前記奥行き／視差マップデータ（１６₂）を再構成する際に、前記現在部分が所属するセグメントのユニット内でセグメント毎に、前記セグメントのために予測パラメータの個別のセットを使用して、予測を実行することを特徴とする、復号器。
［請求項１３］
請求項１１又は１２に記載の復号器において、
前記ウェッジレット分割線（７０）は直線であり、前記復号器は、前記第２視点の前記奥行き／視差マップデータ（１６₂）の前セグメンテーションのブロック（６６ｃ）を前記ウェッジレット分割線（７０）に沿って分割するものであり、２つの隣接するセグメント（７２ａ，７２ｂ）は、前セグメンテーションのブロック（６６ｃ）を同時に形成するウェッジレット形セグメントである、ことを特徴とする復号器。
［請求項１４］
請求項１～１３のいずれかに記載の復号器において、
前記第１と第２の符号化パラメータはそれぞれ、前記第１視点の現在部分の予測と前記第２視点の現在部分の予測とを制御する、第１と第２の予測パラメータであることを特徴とする復号器。
［請求項１５］
請求項１～１４のいずれかに記載の復号器において、
前記現在部分とは、それぞれ前記第１視点と前記第２視点との前記映像のフレームのセグメンテーションのセグメントであることを特徴とする復号器。
［請求項１６］
請求項１～１５のいずれかに記載の復号器において、
前記復号器は、
前記第１視点（１２₁）の現在部分を第１の空間解像度で予測しかつ補正することによって、前記データストリームから前記多視点信号（１０）の前記第１視点（１２₁）を再構成し、
前記第２視点（１２₂）の現在部分を前記第１の空間解像度より低い第２の空間解像度で予測しかつ補正し、しかる後に前記第２視点（１２₂）の再構成された現在部分を前記第２の空間解像度から前記第１の空間解像度へとアップサンプリングすることによって、前記データストリームから前記多視点信号（１０）の前記第２視点（１２₂）を再構成する、ことを特徴とする復号器。
［請求項１７］
請求項１６に記載の復号器において、
前記第１符号化パラメータから前記第２符号化パラメータを少なくとも部分的に採用し又は予測する際に、前記第１の空間解像度と第２の空間解像度との比率にしたがって前記第１符号化パラメータをスケーリングすることを特徴とする復号器。
［請求項１８］
次の（１）～（３）を実行することによって多視点信号の第１視点をデータストリームへ符号化する手段と、
（１）第１符号化パラメータを決定すること、
（２）前記第１符号化パラメータに従って、前記多視点信号の第１の事前に符号化された部分から前記第１視点の現在部分を予測すること、及び第１補正データを得るために前記第１視点の現在部分の予測の予測誤差を決定することであって、前記第１の事前に符号化された部分は前記第１視点の現在部分の符号化よりも前に前記符号器によって前記データストリーム内に符号化されたものである、
（３）前記第１符号化パラメータと前記第１補正データとを前記データストリーム内へ挿入すること、
次の（４）～（６）を実行することによって前記多視点信号の第２視点を前記データストリームへ符号化する手段と、
（４）前記第１符号化パラメータから第２符号化パラメータを採用し又は予測することによって前記第２符号化パラメータを決定すること、
（５）前記第２符号化パラメータに従って、前記多視点信号の第２の事前に符号化された部分から前記第２視点の現在部分を予測すること、及び前記データストリーム内に含まれた第２補正データを得るために前記第２視点の現在部分の予測の予測誤差を決定することであって、前記第２の事前に符号化された部分は前記第２視点の現在部分の符号化よりも前に前記符号器によって前記データストリーム内に符号化されたものである、
（６）前記第２補正データを前記データストリーム内へ挿入すること、
を含む符号器。
［請求項１９］
第１部分と第２部分とを含むデータストリームであって、
前記第１部分はその中へ多視点信号の第１視点が符号化されたものであり、前記第１部分は第１補正データと第１符号化パラメータとを含み、前記第１符号化パラメータに従って、前記第１視点の現在部分が前記多視点信号の第１の事前に符号化された部分から予測可能であり、前記第１の事前に符号化された部分は前記第１視点の前記現在部分の符号化よりも前に前記データストリーム内へ符号化されたものであり、前記第１視点の現在部分の予測の予測誤差は前記第１補正データを使用して補正可能であり、
前記第２部分はその中へ多視点信号の第２視点が符号化されたものであり、前記第２部分は第２補正データを含み、前記第１符号化パラメータから予測可能又は採用可能な第２符号化パラメータに従って、前記第２視点の現在部分が前記多視点信号の第２の事前に符号化された部分から予測可能であり、前記第２の事前に符号化された部分は前記第２視点の前記現在部分の符号化よりも前に前記データストリーム内へ符号化されたものであり、前記第２視点の現在部分の予測の予測誤差は前記第２補正データを使用して補正可能である、データストリーム。
［請求項２０］
データストリーム（１８）から得られた第１符号化パラメータ（４６₁，４８₁，５０₁）に従って、多視点信号（１０）の第１の事前に再構成された部分から第１視点（１２₁）の現在部分を予測し、かつ前記データストリーム（１８）に含まれた第１補正データ（４２₁，４２₂）を使用して前記第１視点（１２₁）の現在部分の予測の予測誤差を補正することによって、前記データストリーム（１８）から前記多視点信号（１０）の前記第１視点（１２₁）を再構成するステップ（１０６_v,1，１０６_d,1）であって、前記第１の事前に再構成された部分は前記第１視点（１２）の現在部分の再構成よりも前に復号器によって前記データストリーム（１８）から再構成されたものである、ステップ（１０６_v,1，１０６_d,1）と、
前記第１符号化パラメータから第２符号化パラメータを少なくとも部分的に採用し又は予測するステップと、
前記第２符号化パラメータに従って、多視点信号（１０）の第２の事前に再構成された部分から第２視点の現在部分を予測し、かつ前記データストリーム（１８）に含まれた第２補正データ（４２₃，４２₄）を使用して前記第２視点（１２₂）の現在部分の予測の予測誤差を補正することによって、前記データストリーム（１８）から前記多視点信号（１０）の前記第２視点（１２₂）を再構成するステップ（１０６_v,2，１０６_d,2）であって、前記第２の事前に再構成された部分は前記第２視点（１２₂）の現在部分の再構成よりも前に前記復号器によって前記データストリーム（１８）から再構成されたものである、ステップ（１０６_v,2，１０６_d,2）と、
を備える復号化方法。
［請求項２１］
次の（１）～（３）を実行することによって多視点信号の第１視点をデータストリームへ符号化するステップと、
（１）第１符号化パラメータを決定すること、
（２）前記第１符号化パラメータに従って、前記多視点信号の第１の事前に符号化された部分から前記第１視点の現在部分を予測すること、及び第１補正データを得るために前記第１視点の現在部分の予測の予測誤差を決定することであって、前記第１の事前に符号化された部分は前記第１視点の現在部分の符号化よりも前に前記符号器によって前記データストリーム内に符号化されたものである、
（３）前記第１符号化パラメータと前記第１補正データとを前記データストリーム内へ挿入すること、
次の（４）～（６）を実行することによって前記多視点信号の第２視点を前記データストリームへ符号化するステップと、
（４）前記第１符号化パラメータから第２符号化パラメータを採用し又は予測することによって前記第２符号化パラメータを決定すること、
（５）前記第２符号化パラメータに従って、前記多視点信号の第２の事前に符号化された部分から前記第２視点の現在部分を予測すること、及び前記データストリーム内に含まれた第２補正データを得るために前記第２視点の現在部分の予測の予測誤差を決定することであって、前記第２の事前に符号化された部分は前記第２視点の現在部分の符号化よりも前に前記符号器によって前記データストリーム内に符号化されたものである、
（６）前記第２補正データを前記データストリーム内へ挿入すること、
を含む符号化方法。
［請求項２２］
コンピュータ上で作動するときに、請求項２０又は２１に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。

Claims (21)

1. 多視点映像を生成するために、符号化済み映像データストリームを復号化する復号器であって、
   前記復号器は視点復号器を含み、前記視点復号器は、
   プロセッサを使用して、多視点映像信号の第１視点における第１符号化ブロックに関連する第１情報をデータストリームから抽出し、ここで、前記第１情報は、前記第１符号化ブロックの動きパラメータが、（ａ）他の符号化パラメータとは独立して前記データストリームから読み出されるべきか、又は（ｂ）前記多視点映像信号の第２視点に配置された第２符号化ブロックの１つ以上の符号化パラメータを再使用するべきかを示すことができ、
   前記第１符号化ブロックの動きパラメータが他の符号化パラメータとは独立して前記データストリームから読み出されるべきであると前記第１情報が示している場合に、前記プロセッサを使用して、前記第１符号化ブロックの動きパラメータを前記データストリームから抽出し、
   前記第１符号化ブロックの動きパラメータが前記第２視点における第２符号化ブロックの１つ以上の符号化パラメータを再使用するべきであると前記第１情報が示している場合に、前記プロセッサを使用して、前記第２符号化ブロックの動きパラメータを含む１つ以上の符号化パラメータを受信し、前記プロセッサを使用して、前記第２符号化ブロックの動きパラメータに基づいて前記第１符号化ブロックの動きパラメータを予測し、かつ前記第１符号化ブロックの動きパラメータに関連する予測誤差データを抽出し、
   前記プロセッサを使用して、（ｉ）前記第１符号化ブロックの抽出され又は予測された動きパラメータと、（ｉｉ）前記第１符号化ブロックの動きパラメータが１つ以上の符号化パラメータを再使用するべきであると前記第１情報が示している場合には前記予測誤差データと、に基づいて、前記第１符号化ブロックの予測を生成し、
   前記プロセッサを使用して、前記データストリームから前記第１符号化ブロックに関連する残差データを取得し、かつ
   前記プロセッサを使用して、前記多視点映像の第１視点における映像フレームの一部分を生成するために、前記第１符号化ブロックの予測と前記残差データとを使用して、前記第１符号化ブロックを再構成するよう構成される、
   復号器。
2. 前記第１視点と前記第２視点は、それぞれ異なるタイプの情報成分を含む、請求項１に記載の復号器。
3. 前記異なるタイプの情報成分は、映像及び前記映像に対応する奥行きマップを含む、請求項２に記載の復号器。
4. 前記第１符号化ブロックは映像データを含み、かつ前記第２符号化ブロックからの１つ以上の符号化パラメータの第１サブセットに基づいて再構成される、請求項３に記載の復号器。
5. 前記第１符号化ブロックは奥行きデータを含み、かつ前記第２符号化ブロックからの１つ以上の符号化パラメータの第２サブセットに基づいて再構成される、請求項４に記載の復号器。
6. 前記視点復号器はさらに、
   前記第１視点における第１の奥行き符号化ブロックを、前記第１の奥行き符号化ブロックに関連する第１エッジに基づいて再構成するよう構成され、前記復号器はさらに別の視点復号器を備え、前記別の視点復号器は、
   前記第１エッジに基づいて前記第２視点の第２の奥行き符号化ブロックに関連する第２エッジを予測し、かつ
   前記第２エッジに基づいて前記第２視点の前記第２の奥行き符号化ブロックを再構成するよう構成される、
   請求項３に記載の復号器。
7. 前記第１符号化ブロックは第１空間解像度に従って再構成され、前記第２符号化ブロックは第２空間解像度に従って再構成される、請求項１に記載の復号器。
8. 前記復号器は、前記第１符号化ブロックと前記第２符号化ブロックとに基づいて中間符号化ブロックを生成するようさらに構成される、請求項１に記載の復号器。
9. 前記復号器は、前記第１視点と前記第２視点とに基づいて中間視点を生成するようさらに構成される、請求項１に記載の復号器。
10. 前記第１情報は、前記第１符号化ブロックの動きパラメータが前記第１視点の事前に再構成された部分の動きパラメータから予測されるべきであるとさらに示すことができ、その場合に、前記視点復号器は、
    前記プロセッサを使用して、前記事前に再構成された部分の動きパラメータを取得し、かつ前記プロセッサを使用して、前記事前に再構成された部分の動きパラメータに基づいて前記第１符号化ブロックの動きパラメータを予測するように構成される、請求項１に記載の復号器。
11. 前記１つ以上の符号化パラメータは映像パラメータと奥行きパラメータとを含み、その両方が前記第２視点における第２符号化ブロックに関連する、請求項１に記載の復号器。
12. 多視点映像をデータストリームへ符号化する符号器であって、前記符号器は視点符号器を含み、前記視点符号器は、
    プロセッサを使用して、多視点映像信号の第１視点における第１符号化ブロックに関連する第１情報を前記データストリームへ符号化するよう構成され、ここで、前記第１情報は、前記第１符号化ブロックの動きパラメータが、（ａ）他の符号化パラメータとは独立して前記データストリームから読み出されるべきか、又は（ｂ）前記多視点映像信号の第２視点に配置された第２符号化ブロックの１つ以上の符号化パラメータを再使用するべきかを示すことができ、
    前記第１符号化ブロックの動きパラメータが他の符号化パラメータとは独立して前記データストリームから読み出されるべきであると前記第１情報が示している場合に、前記プロセッサを使用して、前記第１符号化ブロックの動きパラメータを前記データストリームへ符号化し、
    前記第１符号化ブロックの動きパラメータが前記第２視点における第２符号化ブロックからの１つ以上の符号化パラメータを再使用するべきであると前記第１情報が示している場合に、前記プロセッサを使用して、前記第２視点における第２符号化ブロックの動きパラメータと前記第１符号化ブロックの動きパラメータに関連する予測誤差データとを含む１つ以上の符号化パラメータを前記データストリームへ符号化し、
    前記プロセッサを使用して、前記第１符号化ブロックの動きパラメータに少なくとも基づいて前記第１符号化ブロックの予測を生成し、
    前記プロセッサを使用して、前記第１符号化ブロックと前記第１符号化ブロックの予測との差に基づいて、前記第１符号化ブロックに関連する残差データを決定し、かつ
    前記プロセッサを使用して、前記第１符号化ブロックに関連する前記残差データを前記データストリームへ符号化し、前記第１符号化ブロックは、前記多視点映像の第１視点における映像フレームの一部分を生成するために、前記第１符号化ブロックの予測と前記予測誤差データと前記残差データとを使用して再構成される、
    符号器。
13. 前記第１情報は、前記第１符号化ブロックの動きパラメータが前記第１視点の事前に再構成された部分の動きパラメータから予測されるべきであるとさらに示すことができ、その場合に、前記視点符号器は、
    前記プロセッサを使用して、前記事前に再構成された部分の動きパラメータを前記データストリームへ符号化するように構成される、請求項１２に記載の符号器。
14. 前記第１視点と前記第２視点は、それぞれ異なるタイプの情報成分を含む、請求項１２に記載の符号器。
15. 前記異なるタイプの情報成分は、映像及び前記映像に対応する奥行きマップを含む、請求項１４に記載の符号器。
16. 前記第１符号化ブロックは映像データを含み、かつ前記第２符号化ブロックからの１つ以上の符号化パラメータの第１サブセットに基づいて再構成される、請求項１５に記載の符号器。
17. 前記第１符号化ブロックは奥行きデータを含み、かつ前記第２符号化ブロックからの１つ以上の符号化パラメータの第２サブセットに基づいて再構成される、請求項１６に記載の符号器。
18. 前記符号器は、前記第１視点と前記第２視点とに基づいて中間視点を符号化するようさらに構成される、請求項１２に記載の符号器。
19. 多視点映像を生成するために、符号化済み映像データストリームを復号化する方法であって、
    多視点映像信号の第１視点における第１符号化ブロックに関連する第１情報をデータストリームから抽出するステップであって、前記第１情報は、前記第１符号化ブロックの動きパラメータが、（ａ）他の符号化パラメータとは独立して前記データストリームから読み出されるべきか、又は（ｂ）前記多視点映像信号の第２視点に配置された第２符号化ブロックの１つ以上の符号化パラメータを再使用するべきかを示すことができる、ステップと、
    前記第１符号化ブロックの動きパラメータが他の符号化パラメータとは独立して前記データストリームから読み出されるべきであると前記第１情報が示している場合に、前記第１符号化ブロックの動きパラメータを前記データストリームから抽出するステップと、
    前記第１符号化ブロックの動きパラメータが前記第２視点における第２符号化ブロックの１つ以上の符号化パラメータを再使用するべきであると前記第１情報が示している場合に、前記第２符号化ブロックの動きパラメータを含む１つ以上の符号化パラメータを受信し、前記第２符号化ブロックの動きパラメータに基づいて前記第１符号化ブロックの動きパラメータを予測し、かつ前記第１符号化ブロックの動きパラメータに関連する予測誤差データを抽出するステップと、
    （ｉ）前記第１符号化ブロックの抽出され又は予測された動きパラメータと、（ｉｉ）前記第１符号化ブロックの動きパラメータが１つ以上の符号化パラメータを再使用するべきであると前記第１情報が示している場合には前記予測誤差データと、に基づいて、前記第１符号化ブロックの予測を生成するステップと、
    前記データストリームから前記第１符号化ブロックに関連する残差データを取得するステップと、
    前記多視点映像の第１視点における映像フレームの一部分を生成するために、前記第１符号化ブロックの予測と前記残差データとを使用して、前記第１符号化ブロックを再構成するステップと、
    を含む方法。
20. 多視点映像をデータストリームへ符号化する方法あって、
    多視点映像信号の第１視点における第１符号化ブロックに関連する第１情報を前記データストリームへ符号化するステップであって、前記第１情報は前記第１符号化ブロックの動きパラメータが、（ａ）他の符号化パラメータとは独立して前記データストリームから読み出されるべきか、又は（ｂ）前記多視点映像信号の第２視点に配置された第２符号化ブロックの１つ以上の符号化パラメータを再使用するべきかを示すことができる、ステップと、
    前記第１符号化ブロックの動きパラメータが他の符号化パラメータとは独立して前記データストリームから読み出されるべきであると前記第１情報が示している場合に、前記第１符号化ブロックの動きパラメータを前記データストリームへ符号化するステップと、
    前記第１符号化ブロックの動きパラメータが前記第２視点における第２符号化ブロックからの１つ以上の符号化パラメータを再使用するべきであると前記第１情報が示している場合に、前記第２視点における第２符号化ブロックの動きパラメータと前記第１符号化ブロックの動きパラメータに関連する予測誤差データとを含む１つ以上の符号化パラメータを前記データストリームへ符号化するステップと、
    前記第１符号化ブロックの動きパラメータに少なくとも基づいて前記第１符号化ブロックの予測を生成するステップと、
    前記第１符号化ブロックと前記第１符号化ブロックの予測との差に基づいて、前記第１符号化ブロックに関連する残差データを決定するステップと、
    前記第１符号化ブロックに関連する残差データを前記データストリームへ符号化するステップであって、前記第１符号化ブロックは、前記多視点映像の第１視点における映像フレームの一部分を生成するために、前記第１符号化ブロックの予測と前記予測誤差データと前記残差データとを使用して再構成される、ステップと、
    を含む方法。
21. コンピュータ又はプロセッサ上で作動するときに、請求項１９又は２０に記載の方法を実行するためのコンピュータプログラム。

Images