JP7371090B2 - マルチビュービデオのデコードの方法及び装置、並びに画像処理の方法及び装置 - Google Patents

Description

本発明は、一般に、３Ｄ画像処理の分野に関し、より詳細には、マルチビュー画像のシーケンスのデコード、及び中間ビューの画像の合成に関する。

仮想現実の分野では、フリーナビゲーション（free navigation）により、視認者が、任意の視点からのシーンを、その視点がカメラによってキャプチャされた視点に対応するのか又はカメラによってキャプチャされていない視点に対応するのかを問わず、視認することが可能になる。カメラによってキャプチャされていないそのようなビューは、仮想ビュー又は中間ビューとも称され、これはなぜならば、このビューは、カメラによってキャプチャされたビューとビューとの間にあり、復元のために合成されなければならないためである。

シーン内のフリーナビゲーションは、マルチビュービデオを視認するユーザの全ての動きが正しく管理されるとともに、画像が最適にレンダリングされない場合に視認者が感じ得る不快感が回避されることを必要とする。

一般に、ユーザの動きは、復元装置、例えば、ＨＭＤ（ヘッドマウントデバイス）仮想現実ヘッドセットによって正しく考慮される。

しかしながら、ユーザの動き（回転又は平行移動）にかかわらず、表示のために正しいピクセルを提供することは、依然として問題である。実際には、表示すべき画像の計算は、仮想（すなわち、合成された）ビューの追加の画像を表示するためにいくつかのキャプチャされたビューの使用を必要とする。そのような仮想ビューは、カメラによってキャプチャされていない視点に対応する。そして、デコードされキャプチャされたビュー及び関連付けられた深度からそれらを計算することが必要とされる。

したがって、フリーナビゲーション機能を提供するコーデックは、いくつかのビュー及び関連付けられた深度をエンコードするのに有効であるとともに、仮想ビューの最適なレンダリングを可能にしなければならず、すなわち、合成アルゴリズムを表示に使用することを必要とする。

マルチビューシーケンスをエンコードするように設計されたマルチビュービデオエンコーダ、例えば、スタンダードＭＶ－ＨＥＶＣ又は３Ｄ－ＨＥＶＣ（Series H: Audiovisual and multimedia systems - Infrastructure of audio visual services - Coding of moving video, High Efficiency Video Coding, Recommendation ITU-T H.265, International Telecommunication Union, December 2016）が既知である。

ＭＶ－ＨＥＶＣエンコーダは、非常に基本的なビュー間予測を適用し、一方、３Ｄ－ＨＥＶＣエンコーダは、いくつかの追加のツールを含むことで、時間冗長性のみではなく、ビュー間冗長性も利用する。加えて、３Ｄ－ＨＥＶＣは、深度マップを効率的にエンコードするための特定のツールを有する。これらの２つのコーデック、及び特に３Ｄ－ＨＥＶＣは、関連する深度を有する複数のビューをエンコードする際に、ＨＥＶＣ規格等の２Ｄビデオシーケンスを扱う従来のビデオコーデックと比較して、ビットレートを有効に削減する。

仮想現実の状況では、カメラによってキャプチャされ、データストリームにエンコードされているビューをデコードした後、例えばユーザの動きに基づいて仮想ビューを合成することができる。

そのような仮想ビューを合成することについて、例えば、ＶＳＲＳツール（Wegner, Stankiewicz, Tanimoto, Domanski, Enhanced view synthesis reference software (VSRS) for free-viewpoint television, ISO/IEC JTC1/SC29/WG11 m31520, October 2013, Geneva, Switzerland）が既知である。

図１は、デコーダＤＥＣ（例えば、３Ｄ－ＨＥＶＣ）がデータストリームＳＴＲをデコードして、デコードされたビュー（ＶＤ１、ＶＤ２）を生成する、従来のフリーナビゲーションシステムを示している。その場合、そのようなビューが、ビュー合成装置ＳＹＮＴＨ（例えば、ＶＳＲＳ）によって用いられて、合成されたビューＶＳ（１＋２）が生成される。その後、デコードされたビュー及び合成されたビューが、ユーザの動きに従って復元装置ＤＩＳＰによって表示される。

従来のデコーダＤＥＣが図２に示されている。典型的には、そのようなデコーダは、データストリームＳＴＲの分析（Ｅ２０）を実行して、デコードすべき関連データを取得し、その後、デコード処理（Ｅ２１）を適用して、仮想ビューを生成するのに合成モジュールＳＹＮＴＨによって後に用いることができるデコードされたビュー（ＶＤ１、ＶＤ２）を再構成する。

したがって、データストリームからビューをデコードする処理と、仮想ビューを合成する処理とは相関しないように思われる。特に、合成処理は、デコーダが関与しない困難なタスクである。デコーダは、単に、データストリームから再構成されたデコードされたビューを、合成モジュールにとって利用可能にする。

仮想現実アプリケーションが直面する技術的問題は、エンコーダ及びデコーダが、特にフリーナビゲーションの場合において、ユーザによって要求される最終的な視点の事前知識を有しないということである。マルチビュービデオエンコーダ及びデコーダは、更には、仮想ビューを合成するのに最終的に用いられる合成処理の知識も有しない。実際には、仮想ビューを合成するのに用いられる合成方法は、マルチビュービデオデコーダとは異なり、現在標準化されておらず、それにより、仮想現実アプリケーションによって用いられる合成方法は、独自のツールであり続けている。

したがって、合成された仮想ビューの品質は、そのようなアプリケーションによって用いられる合成ツール及び合成アルゴリズムに依存する。一般に、そのような品質は、用いられる合成ツールの複雑度と、これらの合成ツールを実装する装置のリソースとに依存する。

仮想現実アプリケーション、及びより詳細にはフリーナビゲーションを用いる仮想現実アプリケーションは、リアルタイムでなければならない。仮想ビュー合成モジュールは、一般的に、特にキャプチャ及びデコードされるビューの数が不十分である場合、デコード及び再構成されるキャプチャされるビューが高ビジュアル品質であっても、中程度の品質の仮想ビューを提供する。

本発明は、現行技術水準を改善する。

本発明は、デコード装置によって実施される、マルチビュービデオを表すデータストリームをデコードする方法であって、データストリームの少なくとも１つの部分からシンタックス要素を取得することと、取得されたシンタックス要素からビデオのビューの少なくとも１つの画像を再構成することとを含む、デコード方法に関する。有利なことに、このデコード方法は、少なくとも１つのシンタックス要素から、所定の形式でメタデータの少なくとも１つの項目を取得することと、メタデータの少なくとも１つの項目を画像処理モジュールに提供することとを更に含む。

したがって、そのようなデコード方法は、画像処理モジュール、例えばデコーダの外部の合成モジュールに、ビデオストリームのデータを表し、画像処理モジュールによって用いることができるメタデータを提供することを可能にする。したがって、画像処理モジュール内で実施される処理は、複雑度が低くなる。例えば、仮想ビュー合成モジュールの場合では、合成アルゴリズムによって用いられるとともにデコーダから利用可能であるデータの一部を再計算することは必要ではない。その上、本発明は、画像処理モジュールが、単独で計算することが可能でないデータにアクセスし、そのデータを用いて自身の動作を改善することも可能にする。例えば、仮想ビュー合成モジュールの場合では、デコーダは、合成モジュールにオクルージョンマップを提供することができ、そのようなオクルージョンは、合成モジュールによって、ビデオのビューの再構成された画像のみから決定することが困難である。

したがって、画像処理モジュール内で実施される処理を改善することができる。これは、なぜならば、デコーダレベルにおいて利用可能であるデータを取得する演算複雑度が削減されるためであり、したがって、より複雑な、それゆえより強力な画像処理アルゴリズムを、画像処理モジュール内でより容易に実施することができる。

仮想ビュー合成モジュールの場合では、仮想ビューの品質はこのように改善される。これにより、ビュー間のよりスムーズな遷移を提供することによって、マルチビュービデオにおけるユーザのフリーナビゲーションも向上する。その上、仮想ビューの合成を改善することにより、シーンをキャプチャするのに必要なカメラの数も削減される。

所定のフォーマットでメタデータを提供することにより、デコーダと画像処理モジュールとの間の通信が容易になる。例えば、メタデータは、インデックス付けされるとともに標準化された表の形式で提供される。したがって、画像処理モジュールは、表内のインデックスごとに、いずれのメタデータがこのインデックスにおいて記憶されているのかを知る。

ビデオデータ通信にメタデータを用いることが既知である。例えば、Ｈ．２６４／ＡＶＣ規格で導入されたＳＥＩ（補助強化情報：Supplemental Enhancement Information）メッセージは、デコーダレベルにおいて実施される任意選択の処理動作に関するデータである。ＳＥＩメッセージは、ビデオデータビットストリームを介してデコーダに送信される。しかしながら、そのようなＳＥＩメッセージデータは、エンコーダレベルにおいて作成されるとともに、デコーダによってのみ用いられ、任意選択で、デコード及び再構成されたビューの品質が改善する。

本発明の特定の実施形態によれば、メタデータの少なくとも１つの項目を取得することは、シンタックス要素の少なくとも１つの部分から上記メタデータの少なくとも１つの項目を計算することを更に含む。

本発明のそのような特定の実施形態は、例えば、ビューを再構成するのにデコーダによって用いられない情報、例えば深度情報のために計算される信頼度値、又は、別の形式でデコーダによって用いられる情報、例えば画像を再構成するときに用いられる粒度よりも粗い粒度を有するモーション情報に対応する、新たなメタデータを計算することを可能にする。

本発明の別の特定の実施形態によれば、上記メタデータの少なくとも１つの項目は、少なくとも１つの画像を再構成するのに用いられない。

本発明の別の特定の実施形態によれば、上記メタデータの少なくとも１つの項目は、以下のもの、すなわち、
－カメラパラメータ、
－デコード及びスケーリングされたモーションベクトル、
－再構成された画像の分割、
－再構成されたビューの画像のブロックによって用いられる参照画像、
－再構成されたビューの画像のコード化モード、
－再構成されたビューの画像の量子化パラメータ値、
－再構成されたビューの画像の予測残差値、
－再構成されたビューの画像内の動きを表すマップ、
－再構成されたビューの画像内のオクルージョンの存在を表すマップ、
－深度マップに関連付けられた信頼度値を表すマップ、
を含むグループ内に含まれる情報の１つの項目に対応する。

本発明の別の特定の実施形態によれば、所定の形式は、メタデータの少なくとも１つの項目がインデックスに関連付けられて記憶される、インデックス付き表に対応する。

本発明の別の特定の実施形態によれば、上記メタデータの少なくとも１つの項目は、デコード装置において指定された粒度レベルに基づいて取得される。

本発明のこの特定の実施形態によれば、シンタックス要素から生成されるメタデータを、異なる粒度レベルにおいて取得することができる。例えば、モーション情報の場合、デコーダにおいて用いられる（すなわち、デコーダによって用いられるような）粒度、又は（例えば、サイズ６４×６４のブロックごとに１つのモーションベクトルを提供することによって）より粗い粒度を有するモーションベクトルを提供することができる。

本発明の別の特定の実施形態によれば、デコード方法は、デコード装置によって、画像処理モジュールによって必要とされるメタデータの少なくとも１つの項目を示す要求をこの画像処理モジュールから受信することを更に含む。本発明のこの特定の実施形態によれば、画像処理モジュールは、デコーダに、画像処理モジュールが必要とする情報を示す。したがって、デコーダは、必要なメタデータのみを画像処理モジュールにとって利用可能にすることができ、これにより、デコーダにおける複雑度及びメモリリソースの使用が限られたものとなる。

本発明の別の特定の実施形態によれば、要求は、利用可能なメタデータの所定のリストの中の必要なメタデータの項目を示す少なくとも１つのインデックスを含む。

本発明はまた、上記で定義された特定の実施形態のうちのいずれか１つによるデコード方法を実施するように構成されたデコード装置に関する。当然、このデコード装置は、本発明によるデコード装置に関する異なる特徴を含むことができる。したがって、このデコード装置の特徴及び利点は、デコード方法の特徴及び利点と同じであり、更には詳述されない。

本発明の特定の実施形態によれば、そのようなデコード装置は、端末、又はサーバ内に含まれる。

本発明は、デコード装置によってデコードされたビューの少なくとも１つの画像から、仮想ビューの少なくとも１つの画像を生成することを含む画像合成方法にも関する。本発明によれば、そのような画像処理方法は、所定の形式でメタデータの少なくとも１つの項目を読み出すことも含み、上記メタデータの少なくとも１つの項目は、デコード装置によって、マルチビュービデオを表すデータストリームから取得された少なくとも１つのシンタックス要素から取得され、上記少なくとも１つの画像は、上記メタデータの少なくとも１つの読み出された項目を用いて生成される。

したがって、画像合成方法は、デコーダが利用可能なメタデータを利用して、マルチビュービデオの仮想ビューの画像を生成する。そのようなメタデータは、画像処理装置がアクセスを有しないデータ、又は、再計算することが可能であるデータに対応することができるが、演算が非常に複雑になる。

ここでの仮想ビューとは、画像のシーケンスがシーン取得システムのカメラによってキャプチャされていないシーンの新たな視点からのビューを意味する。

本発明の特定の実施形態によれば、画像合成方法は、デコード装置に、画像を生成するのに必要なメタデータの少なくとも１つの項目を示す要求を送信することを更に含む。

本発明はまた、上記で定義された特定の実施形態のうちのいずれか１つによる画像処理方法を実施するように構成された画像処理装置に関する。当然、この画像処理装置は、本発明による画像処理方法に関する異なる特徴を含むことができる。したがって、この画像処理装置の特徴及び利点は、画像処理方法の特徴及び利点と同じであり、更には詳述されない。

本発明の特定の実施形態によれば、そのような画像処理装置は、端末、又はサーバ内に含まれる。

本発明はまた、マルチビュービデオを表すデータストリームからマルチビュービデオを表示する画像処理システムであって、上記の実施形態のうちのいずれか１つによるデコード装置と、上記の実施形態のうちのいずれか１つによる画像処理装置とを備える、画像処理システムに関する。

本発明による、デコード方法、それぞれの画像処理方法は、種々の方法、とりわけ、配線形式又はソフトウェア形式で実施することができる。本発明の特定の実施形態によれば、デコード方法、それぞれの画像処理方法は、コンピュータプログラムによって実施される。本発明はまた、プロセッサによって実行されると、前述した特定の実施形態のうちのいずれか１つによるデコード方法又は画像処理方法を実施する命令を含むコンピュータプログラムに関する。そのようなプログラムは、任意のプログラミング言語を用いることができる。プログラムは、通信ネットワークからダウンロードし、及び／又はコンピュータ可読媒体上に記録することができる。

このプログラムは、任意のプログラミング言語を用いることができ、ソースコード、オブジェクトコード、ソースコードとオブジェクトコードとの間の中間コード、例えば、部分的にコンパイルされた形式、又は他の任意の所望の形式のものとすることができる。

本発明は、上述されたコンピュータプログラムの命令を含むコンピュータ可読記憶媒体又はデータ媒体にも関する。上述された記録媒体は、プログラムを記憶することが可能である任意のエンティティ又は装置とすることができる。例えば、媒体は、記憶手段、例えばＲＯＭ、例えばＣＤ－ＲＯＭ若しくはマイクロ電子回路ＲＯＭ、ＵＳＢフラッシュドライブ、又は磁気記録手段、例えばハードドライブを含むことができる。他方、記録媒体は、無線又は他の手段によって電気ケーブル又は光ケーブルを介して伝送することができる、電気信号又は光学信号等の伝送可能媒体に対応することができる。本発明によるプログラムは、特にインターネット型のネットワーク上でダウンロードすることができる。

代替的に、記録媒体は、プログラムが埋め込まれる集積回路に対応することができ、この回路は、当該方法を実行するか又は当該方法の実行に用いられるように適応される。

本発明の他の特徴及び利点は、添付の図面を参照しながら、単なる例示であり非限定的な例として提供される以下の特定の実施形態の説明を読めばより明らかになるであろう。

従来技術による、マルチビュービデオ内のフリーナビゲーションのためのシステムを図式的に示す図である。 従来技術による、マルチビュービデオを表すデータストリームのデコーダを図式的に示す図である。 本発明の特定の実施形態による、マルチビュービデオ内のフリーナビゲーションのためのシステムを図式的に示す図である。 本発明の特定の実施形態による、マルチビュービデオを表すデータストリームをデコードする方法のステップを示す図である。 本発明の特定の実施形態による、マルチビュービデオを表すデータストリームのデコーダを図式的に示す図である。 本発明の特定の実施形態による画像処理方法のステップを示す図である。 本発明の別の特定の実施形態によるデコード方法及び画像処理方法のステップを示す図である。 本発明の特定の実施形態によるデコード方法を実施するように適応された装置を図式的に示す図である。 本発明の特定の実施形態による画像処理方法を実施するように適応された装置を図式的に示す図である。 マルチビューキャプチャシステムのビューの配置構成を示す図である。

本発明は、マルチビュービデオを表すデータストリームのデコード処理を変更することに基づいており、それにより、デコード処理によって再構成されたビューに基づく画像処理プロセスが容易になる。例えば、画像処理プロセスは、仮想ビューを合成する処理に対応する。このために、デコーダは、データストリームから再構成されたビューの画像のみではなく、そのような画像に関連付けられたメタデータも提供し、メタデータは、その後、仮想ビューの合成のために用いることができる。有利なことに、そのようなメタデータはフォーマットされており、すなわち、デコーダと合成装置との間の相互運用性を容易にする所定の形式にされている。したがって、仮想ビューを合成するのに、所定の形式におけるメタデータを読み出すように構成された任意の合成装置を用いることができる。

図３は、本発明の特定の実施形態による、マルチビュービデオ内のフリーナビゲーションのためのシステムを図式的に示している。図３におけるシステムは、図１に関連して説明されたシステムと同様に動作するが、デコーダＤＥＣが、出力において、再構成されたビューＶＤ１及びＶＤ２の画像に加えて、メタデータＭＤ１、ＭＤ２を提供するという差を有する。そのようなメタデータＭＤ１、ＭＤ２は、合成装置への入力において提供され、次に、合成装置は、例えば再構成されたビューＶＤ１、ＶＤ２から、仮想ビューＶＳ（１＋２）を生成する。そして、デコーダＤＥＣ及び合成装置ＳＹＮＴＨは、本発明による画像処理システムを形成する。デコーダＤＥＣ及び合成装置ＳＹＮＴＨは、同じ装置内に含めることもできるし、互いに通信することが可能な２つの別個の装置内に含めることもできる。

例えば、非限定的及び非網羅的に、そのようなメタデータは、以下のものに対応することができる。
－デコーダによって再構成されたビューのカメラパラメータ、
－デコーダによって再構成された画像のデコード及びスケーリングされたモーションベクトル、
－再構成された画像の分割、
－再構成された画像のブロックによって用いられる参照画像の表示、
－再構成された画像のコード化モード、
－再構成された画像の量子化パラメータ値、
－再構成された画像の予測残差値。

そのような情報は、デコーダによって用いられるものとして提供することができる。代替的に、そのような情報は、デコーダによって、例えば、デコーダによって使用される粒度よりも細かい粒度又は粗い粒度を提供するように処理することができる。

メタデータはデコーダによって計算及び共有することもでき、例えば、以下のものがある。
－再構成されたビューの一画像、又は画像のグループ内の全体モーションを表すマップ。例えば、そのようなマップは、画像、又は画像のグループのモーションベクトルを閾値処理することによって得られるバイナリマップとすることができる。
－再構成されたビューの画像内のオクルージョンの存在を表すマップ。例えば、そのようなマップは、ビュー間予測の場合において各ピクセルの予測残差に含まれる情報のレベルを考慮することによって得られるバイナリマップとすることができ、又は、オクルージョンの可能なロケーションの情報を、画像の視差ベクトル又はエッジマップから導出することができる。
－深度マップに関連付けられた信頼度値を表すマップ。例えば、そのようなマップは、テクスチャのコード化モードと対応する深度のコード化モードとを比較することによってデコーダによって計算することができる。

出力メタデータのうちの一部は、単一のビューに関するデータとすることができる。その場合、この出力メタデータは、そのビューに固有のものである。他のメタデータは、２つ以上のビューから得ることができる。この場合では、メタデータは、ビュー同士の間の差又は相関関係（カメラパラメータ、オクルージョンマップ、デコードモードにおける差等）を表す。

図４は、本発明の特定の実施形態による、マルチビュービデオを表すデータストリームをデコードする方法のステップを示している。

データストリームＳＴＲが、例えばビットストリームとして、デコーダＤＥＣの入力において供給される。データストリームＳＴＲは、例えば、フレーム同士の間の冗長性を用いるマルチビュービデオのエンコードに適応された従来技術によるビデオエンコーダによって、又は、マルチビュービデオの各ビューに個別に適用された単一ビュービデオエンコーダによって、エンコードされたマルチビュービデオのデータを含む。

ステップＥ２０において、デコーダＤＥＣは、デコードされたシンタックス要素が提供されるデータストリームの少なくとも１つの部分をデコードする。そのようなデコードＥ２０は、例えば、再構成されるビュー、例えばユーザによって視認されるビューの現在の画像を再構成するのに必要なシンタックス要素を抽出するために、データストリームのパス、及びビットストリームのエントロピーのデコードに対応する。そのようなシンタックス要素は、例えば、現在の画像のブロックのコード化モード、画像間予測又はビュー間予測の場合におけるモーションベクトル、予測残差の量子化係数等に対応する。

従来的に、ステップＥ２１の間に、再構成されるビュー（ＶＤ１、ＶＤ２）の現在の画像は、デコードされたシンタックス要素、及び場合によっては、そのビュー又は他の以前に再構成されたビューの画像から再構成される。現在の画像のそのような再構成は、現在の画像をエンコードするためにエンコーダレベルにおいて用いられるコード化モード及び予測技法に従って実施される。

再構成されたビューの画像は、画像処理モジュールＳＹＮＴＨの入力において提供される。

ステップＥ２３において、メタデータの少なくとも１つの項目は、少なくとも１つのデコードされたシンタックス要素から得られる。メタデータのそのような項目は、所定の形式でフォーマットされる。そのような所定の形式は、例えば、データが送信されるか又はメモリに記憶されるように構成される特定のシンタックスに対応する。マルチビュービデオデコーダが特定の規格に準拠したデコーダである場合、メタデータのシンタックスは、例えば、その特定の規格、又は特定のデコード規格に関連付けられた規格において記載されているものとすることができる。

本発明の特定の実施形態によれば、所定の形式は、メタデータの少なくとも１つの項目がインデックスに関連付けられて記憶されるインデックス付けされた表に対応する。この特定の実施形態によれば、各メタデータタイプは、インデックスに関連付けられる。そのような表の一例が、以下の表１において示されている。

メタデータの各項目は、そのインデックスに関連付けられ、メタデータタイプに従った適切なフォーマットで記憶される。

例えば、ビューのカメラパラメータは、それぞれ、例えばシーン内のカメラの位置に対応する３Ｄ座標系内の点の座標に対応する位置情報と、例えば３Ｄ座標系内の３つの角度の値によって定義される方位情報と、被写界深度とを含むデータの３つ組（triplet）として記憶される。

別の例によれば、モーションベクトルは、対応する再構成された画像のブロックごとに、対応するモーションベクトルの値を含む表の形式で記憶される。

以下で示されるメタデータ表は、非限定的な例にすぎない。メタデータは、他の所定の形式で記憶することができる。例えば、１つのメタデータタイプのみが可能である場合、インデックスをそのメタデータタイプに関連付けることは必要ではない。

本発明の特定の実施形態によれば、ステップＥ２２において、メタデータの少なくとも１つの項目は、取得ステップＥ２３の前に、デコードされたシンタックス要素の少なくとも１つの部分から計算される。

したがって、本発明のそのような特定の実施形態により、再構成されるビューの現在の画像を再構成するのには用いられないが、再構成された現在の画像から仮想ビューを合成するのに用いることができるメタデータ、例えばオクルージョンマップを取得することが可能になる。

本発明のそのような特定の実施形態により、現在の画像を再構成するのに用いられる粒度とは異なる粒度を有するメタデータを取得することも可能になる。例えば、モーションベクトルは、例えば画像全体上で６４×６４ピクセルのサイズのブロックの場合、６４×６４の当該ブロック内に含まれる現在の画像の全てのサブブロックの再構成されたモーションベクトルから、より粗く計算することができる。例えば、６４×６４のブロックごとに、モーションベクトルは、サブブロックのモーションベクトルの、最小値若しくは最大値、平均値若しくは中央値、又は他の任意の関数を選択することによって計算される。

ステップＥ２４において、ステップＥ２３において取得されたメタデータＭＤ１、ＭＤ２は、デコーダＤＥＣの外部の画像処理モジュールＳＹＮＴＨ、例えば仮想ビュー合成モジュールに提供される。デコーダの外部のモジュールとは、データストリームをデコードするためにも、デコーダによって再構成されたビューを表示するためにもその動作が必須ではないモジュールを意味する。

例えば、メタデータは、画像処理モジュールがアクセス可能なメモリに記憶される。別の例によれば、メタデータは、デコーダと画像処理モジュールとが同じ装置内に統合される場合にはデータ送信バス等のコネクションリンクを介して画像処理モジュールに送信され、又は、デコーダと画像処理モジュールとが別個の装置内で統合される場合にはケーブル若しくはワイヤレスコネクションを介して画像処理モジュールに送信される。

図５は、本発明の特定の実施形態による、マルチビュービデオを表すデータストリームのデコーダを図式的に示している。

従来的に、データストリームＳＴＲから再構成されるビューのデコードは、以下のように実施される。再構成されるビューのデコードは、画像単位で、及び各画像についてブロック単位で、行われる。再構成されるブロックごとに、そのブロックに対応する要素がエントロピーのデコードモジュールＤによってデータストリームＳＴＲからデコードされ、デコードされたシンタックス要素ＳＥ（テクスチャのエンコードモード、モーションベクトル、視差ベクトル、深度のエンコードモード、参照画像インデックス、．．．）及び量子化係数ｃｏｅｆｆのセットが提供される。

量子化係数ｃｏｅｆｆは、逆量子化モジュール（Ｑ^－１）に、そしてその後、逆変換モジュール（Ｔ^－１）に送信されて、ブロックの予測残差値ｒｅｓ_ｒｅｃが提供される。デコードされたシンタックス要素（ＳＥ）は、予測モジュール（Ｐ）に送信されて、以前に再構成された画像Ｉ_ｒｅｆ（現在の画像の１つの部分、又は以前に再構成されたビューの参照画像、又は別の以前に再構成されたビューの参照画像）も用いて予測ブロックｐｒｅｄが計算される。その後、現在のブロックは、予測ｐｒｅｄを、ブロックの予測残差ｒｅｓ_ｒｅｃに加算することによって再構成される（Ｂ_ｒｅｃ）。その後、再構成されたブロック（Ｂ_ｒｅｃ）は、現在の画像又は別の画像又は別のビューを再構成するのに後に用いられるように、メモリＭＥＭに記憶される。

本発明によれば、エントロピーのデコードモジュールの出力において、ブロックのデコードされたシンタックス要素ＳＥ及び任意選択の量子化係数は、デコードされたシンタックス要素ＳＥ及び任意選択の量子化係数の少なくとも１つの部分を選択し、それらを所定の形式で記憶するように構成されたモジュールＦＯＲＭに送信されて、再構成された画像、又は画像のグループに関するメタデータＭＤが提供される。

フォーマットされるデコードされたシンタックス要素ＳＥの選択は、例えば、デコーダの動作を記述している規格内で明記されているように、固定することができる。代替的に、異なるタイプの選択を固定的に、例えばデコーダプロファイルを介して定義することができ、デコーダのパラメータ化は、フォーマットモジュールＦＯＲＭが対応するシンタックス要素を選択するように、これを構成することができる。更に別の変形形態によれば、デコーダは、このデコーダがメタデータを提供する画像処理モジュールと交換を行うことが可能である。この場合、画像処理モジュールは、デコーダに、画像処理モジュールが受信することを望むメタデータのタイプを明示的に示し、デコーダのモジュールＦＯＲＭは、要求されたデコードされたシンタックス要素のみを選択する。

デコーダによって用いられる粒度レベルと異なる粒度レベルにおいてメタデータを提供することができる場合、そのような粒度レベルは、デコーダの動作を記述している規格において、又はデコーダプロファイルを介して固定的に定義することができる。画像処理モジュールがメタデータを取得するためにデコーダと通信する場合、画像処理モジュールは、この画像処理モジュールがメタデータの一部を受信する際に望む粒度レベルをデコーダに明示的に示すことができる。

本発明の特定の実施形態によれば、エントロピーのデコードモジュールの出力におけるデコードされたシンタックス要素ＳＥ及び任意選択の量子化係数は、シンタックス要素ＳＥ及び／又は量子化係数からメタデータを計算するように構成されたモジュールＣＡＬＣに送信される。前述したように、計算されるメタデータは、デコーダの動作を記述している規格において、もしくは異なるプロファイル又はそれ以外に従って明示的に定義することもできるし、対象とされる画像処理モジュールとの交換から決定することもできる。

本発明の特定の実施形態によれば、モジュールＦＯＲＭは、特に、再構成されるビューのカメラパラメータを選択する。

新たな視点を合成するために、合成モジュールは、元の（再構成された）ビューの各ピクセルが仮想ビューに投射される方法を記述しているモデルを作成しなければならない。大半の合成装置、例えば、ＤＩＢＲ（深度画像ベースレンダリング）技法に基づく合成装置は、再構成されたビューのピクセルを３Ｄ空間に投射するのに深度情報を用いる。その後、３Ｄ空間内の対応する点は、上記新たな視点からカメラ平面に投射される。

３Ｄ空間内の画像点のそのような投射は、次の式、すなわち、Ｍ＝Ｋ．ＲＴ．Ｍ’を用いてモデル化することができ、ここで、Ｍは、３Ｄ空間内の点の座標行列であり、Ｋは、仮想カメラの内部パラメータ（intrinsic parameters）の行列であり、ＲＴは、仮想カメラの外部パラメータ（extrinsic parameters）（３Ｄ空間内のカメラ位置及び方向）の行列であり、Ｍ’は、現在の画像のピクセル行列である。

カメラパラメータが合成モジュールに送信されない場合、合成モジュールは、高複雑度及び正確性を犠牲にして、それらのカメラパラメータを計算しなければならず、計算は、リアルタイムに行うことができないか、又は、外部センサによって取得しなければならない。それゆえ、デコーダによってこれらのパラメータを提供することにより、合成モジュールの複雑度を制限することが可能になる。

本発明の別の特定の実施形態によれば、モジュールＦＯＲＭは、特に、現在の画像を再構成するのに用いられる参照画像に関するシンタックス要素を選択する。

仮想ビューを生成するために、合成モジュールが、以前に再構成された利用可能な種々のビューの画像の中から参照画像を選択する可能性がある場合、合成モジュールは、合成のために用いられるビューをコード化するときにいずれの参照ビューが用いられたのかを知ることから利益を得ることができる。例えば、図１０は、１６個のカメラを含むマルチビューキャプチャシステムのビューの配置構成を示している。各フレームの間の矢印は、ビューのデコード順序を示している。合成モジュールがビューＶ６とビューＶ１０との間に置かれた視点（図１０において×印によって表されている）についての仮想ビューＶＶを生成しなければならない場合、従来的には、合成モジュールは、最良の仮想ビューを構成するために、各ビューの可用性をチェックしなければならない。

本明細書において説明される特定の実施形態によれば、或るビューについて、そのビューを再構成するのに用いられる参照ビューを示すメタデータを有する場合、合成モジュールは、仮想ビューを生成するのにいずれの画像を用いるべきかを決定するために、仮想視点に最も近い利用可能なビュー（図１０の場合ではビューＶ６）のみを選択することができる。例えば、ビューＶ６のブロックが参照画像としてビューＶ７の画像を用いる場合、合成モジュールは、ビューＶ６によって用いられるので利用可能である必要があるビューＶ７を用いることを決定することもできる。したがって、そのような実施形態は、合成中の各ビューの可用性をチェックする必要性を回避することによって、合成モジュールの複雑度を低減する。

本発明の別の特定の実施形態によれば、モジュールＣＡＬＣは、特に、モーションマップを生成するためにモーションベクトルに関するシンタックス要素を選択する。

動きがほとんどない領域では、仮想ビュー合成は、一般的に、深度マップの不正確性に起因して、時間的コヒーレンスの欠如を示す。これらのインコヒーレンスは、仮想視点からの視覚化にとって非常に妨げとなる。

この特定の実施形態では、デコーダのモジュールＣＡＬＣは、デコード及び再構成されたモーションベクトル、すなわち、モーションベクトルの逆予測及びモーションベクトルの拡縮の後のモーションベクトルを選択する。モジュールＣＡＬＣは、モーションマップ、典型的にはバイナリマップを生成するために各ブロックの再構成されたモーションベクトルの閾値処理を実行し、バイナリマップでは、各要素が値０又は１を取り、その領域が局所的にモーションを有するか否かを示す。バイナリマップは、例えば、数理形態学（例えば、収縮（erosion）、膨張（expansion）、オープニング（opening）、クロージング（closing））を用いることによって改善することができる。

その後、モーションバイナリマップは、所望の粒度（ピクセルレベルマップ、ブロックレベルマップ若しくはサブブロックレベルマップ、又は画像内の特定のブロックサイズについて定義されたマップ等）に応じてフォーマットされ、モーションがビュー内に存在するか否かを示すことができる。

その後、そのようなモーションマップを受信する合成モジュールは、例えば、或る領域がモーションを有するものとマーキングされるか否かに応じて異なる合成処理を適用することによって、自身の動作を適応することができる。例えば、時間的インコヒーレンスの問題を解決するために、従来の合成処理は、固定（モーションレス）領域内で無効化されるとともに、単に、以前の画像のピクセルの値を引き継ぐことができる。

当然ながら、合成モジュールは、他の手段を用いて、例えば、エンコーダとしてモーションを推定することによって、単独でモーションマップを生成することができる。しかしながら、そのような動作は、合成アルゴリズムの複雑度、及び、結果として得られるモーションの精度に著しい影響を与える。なぜならば、エンコーダは、デコーダの出力においてもはや利用可能でないコード化されていない画像からモーションを推定するためである。

図１０において示される例及び前述された実施形態では、最も近い利用可能なビューを用いることのみではなく、仮想視点の近傍の参照ビューを平均化することによっても、有効な参照ビューを計算することができる。例えば、参照ビューＶ６、Ｖ７、Ｖ１０及びＶ１１は、デコーダのモジュールＣＡＬＣによって平均化することができ、結果として得られる平均ビューは合成モジュールに送信することができる。

別の変形形態では、デコーダのモジュールＣＡＬＣは、オクルージョンマップを計算することができ、ここで、オクルージョンマップは、画像のピクセル又はブロックごとに、領域がオクルージョン領域に対応するか否かを示す。例えば、モジュールＣＡＬＣは、領域を再構成するのにデコーダによって用いられる参照画像（複数の場合もある）の情報を用いることによって、領域がオクルージョン領域に対応するか否かを決定することができる。例えば、図１０の場合では、ビューＶ６の画像内のブロックの大半が時間予測を用いるとともにビューＶ６の画像内のいくつかのブロックがビュー間予測、例えば、ビューＶ２に対するビュー間予測を用いる場合、これらのブロックは、オクルージョン領域に対応する可能性が高い。

その後、そのようなオクルージョンマップを受信する合成モジュールは、領域がオクルージョン領域とマークされるか否かに応じて異なる合成処理を適用することを決定することができる。

本発明の別の特定の実施形態によれば、モジュールＣＡＬＣは、特に、それぞれ再構成された画像のテクスチャ及び画像の深度マップに関連付けられたコード化モードを選択する。

従来技術によれば、合成アルゴリズムは、主に、深度マップを用いる。そのような深度マップは、通常、合成された仮想ビュー内でアーティファクトを生成するエラーを示す。テクスチャと深度マップとの間でエンコードモードを比較することによって、デコーダは、深度マップに関連付けられた信頼度尺度、例えば、深度及びテクスチャが相関する（値１）のか又は相関しない（値０）のかを示すバイナリマップを導出することができる。

例えば、信頼度値は、エンコードモードから導出することができる。テクスチャのエンコードモード及び深度のエンコードモードが異なり、例えば一方がイントラモード（intra mode）であり他方がインターモード（inter mode）である場合、これは、テクスチャと深度とが相関していないことを意味する。したがって、信頼度値は低く、例えば０となる。

信頼度値は、モーションベクトルに従って配置することもできる。テクスチャ及び深度が異なるモーションベクトルを有する場合、これは、テクスチャと深度とが相関していないことを意味する。したがって、信頼度値は低く、例えば０となる。

信頼度値は、テクスチャ及び深度によって用いられる参照画像に従って配置することもできる。参照画像が異なる場合、これは、テクスチャと深度とが相関していないことを意味する。したがって、信頼度値は低く、例えば０でとなる。

その後、そのような信頼度マップを受信する合成モジュールは、その領域が低信頼度値とマークされているか否かに応じて異なる合成処理を適用することを決定することができる。例えば、そのような領域について、その領域のより良い信頼度値を提供する別の参照ビューを用いて、対応する領域を合成することができる。

図６は、本発明の特定の実施形態による画像処理方法のステップを示している。そのような処理は、例えば図５に関連して説明されたデコード方法によってデコードされ、再構成されたビューから、例えば仮想ビュー合成モジュールによって実施される。

ステップＥ６０において、メタデータ（ＭＤ１、ＭＤ２）の少なくとも１つの項目が、合成モジュールによって読み出される。合成モジュールによって読み出されたメタデータは、マルチビュービデオを表すストリームからデコードされたシンタックス要素に対応し、１つ以上のビューに関連付けられる。これは、デコードされたシンタックス要素からストリームをデコードする方法の間に計算された情報にも対応することができる。メタデータは、所定の形式で合成モジュールに記憶されるか又は送信され、それにより、適した読み出しモジュールを有する任意の合成モジュールがこれを読み出すことができる。

ステップＥ６１において、合成モジュールは、入力において、例えば図５に関連して説明されたデコード方法に従ってマルチビュービデオデコーダによって再構成されたビュー（ＶＤ１、ＶＤ２）の少なくとも１つの画像を受信する。合成モジュールは、これらの受信されたビューＶＤ１、ＶＤ２及び読み出されたメタデータＭＤ１、ＭＤ２を用いて、仮想視点ＶＳ（１＋２）からの少なくとも１つの画像を生成する。特に、メタデータＭＤ１、ＭＤ２は、合成モジュールによって用いられて、画像の或る特定の領域について用いるべき合成アルゴリズムが決定されるか、又は、仮想ビューの画像を生成するのに用いるべきビューが決定される。

図７は、本発明の別の特定の実施形態によるデコード方法及び画像処理方法のステップを示している。

一般に、マルチビュービデオのデコーダは、仮想視点を生成するのに用いられる合成装置のタイプの知識を有しない。換言すれば、デコーダは、いずれの合成アルゴリズムが用いられるのかも、いずれのメタデータタイプがデコーダに有用であるのかも知らない。

本明細書において説明される特定の実施形態に応じて、デコーダ及び合成モジュールは、双方向に交換することが可能であるように適合されている。例えば、合成モジュールは、合成モジュールがより良い合成を達成するのに必要とするメタデータのリストをデコーダに示すことができる。合成モジュールからの要求の前又は後に、デコーダは、合成モジュールに、デコーダが合成モジュールに送信することが可能であるメタデータを通知することができる。有利なことに、デコーダが共有することが可能であるメタデータのリストは、標準化され、すなわち、デコード規格に準拠する全てのデコーダがリスト上のメタデータを共有することが可能でなければならない。したがって、所与のデコード規格について、合成モジュールは、いずれのメタデータが利用可能であるかを認識している。メタデータのリストは、デコーダ規格のプロファイルに従って適応することもできる。例えば、低演算複雑度を必要とするデコーダ向けのプロファイルの場合、メタデータのリストは、ストリームのデコードされたシンタックス要素のみを含み、一方、より高い演算複雑度を扱うことが可能であるデコーダ向けのプロファイルの場合、メタデータのリストは、モーションマップ、オクルージョンマップ、信頼度マップ等の、ストリームのデコードされたシンタックス要素からの計算によって得られるメタデータも含むことができる。

ステップＥ７０において、合成モジュールは、デコーダに、仮想視点から画像を生成するのに必要なメタデータの少なくとも１つの項目を示す要求を送信する。例えば、クエリは、必要なメタデータにそれぞれ対応するインデックス、又はインデックスのリストを含む。

そのような要求は、所定の形式に従って、すなわち、合成モジュール及びデコーダが互いに理解することができるように所定のシンタックスに従って送信される。例えば、そのようなシンタックスは、以下のものとすることができる。
ｎｂ
０～ｎｂ－１の範囲の整数ｉについて、ｌｉｓｔ［ｉ］
ここで、シンタックス要素ｎｂは、合成モジュールによって必要とされるメタデータの数、ひいては、デコーダによって読み出されるべきインデックスの数を示し、ｌｉｓｔ［ｉ］は、必要とされるメタデータのそれぞれのインデックスを示す。

一例によれば、上述した表１によって与えられるメタデータの例を取ると、合成モジュールは、要求内で、ｎｂ＝２、及びカメラパラメータ及びオクルージョンマップにそれぞれ対応するインデックス０及び９を示すことができる。

一変形形態によれば、合成モジュールは、必要なメタデータの項目のインデックスに関連付けて、例えばメタデータの項目に関連付けられた「ｇｒｌｅｖｅｌ」シンタックス要素の所定の値を指定することによって粒度レベルも示すことができる。例えば、オクルージョンマップの場合、合成モジュールは、ピクセルレベルにおいてオクルージョンマップを望む場合には、インデックス９に関連付けられた「レベル」要素の値１、又は、より粗いレベルにおいて、例えばサイズ８×８のブロックのためにオクルージョンマップを望む場合、インデックス９に関連付けられた「レベル」要素の値２を示すことができる。

ステップＥ７１において、デコーダは、対応するメタデータを取得する。この目的で、図４又は図５に関連して上記で説明された例に従って、デコーダは、メタデータを取得するのに必要なデコードされたシンタックス要素を索出し、オクルージョンマップ等の、再構成のためにデコーダによって用いられないメタデータを計算する。その後、メタデータは、合成モジュールがメタデータを読み出すことができるように、所定の形式に従ってフォーマットされる。

ステップＥ７２において、デコーダは、合成モジュールにメタデータを送信し、その後、合成モジュールは、自身の合成アルゴリズムにおいてメタデータを用いることができる。

図８は、本発明の上記で説明した特定の実施形態によるデコード方法を実施するように適合された装置ＤＥＣを図式的に示している。

そのようなデコード装置は、メモリＭＥＭと、例えばプロセッサＰＲＯＣを備え、メモリＭＥＭに記憶されたコンピュータプログラムＰＧによって制御される処理ユニットＵＴとを含んで構成される。コンピュータプログラムＰＧは、このプログラムがプロセッサＰＲＯＣによって実行されると、上記で説明したデコード方法のステップを実施する命令を含む。

本発明の特定の実施形態によれば、デコード装置ＤＥＣは、とりわけ、デコード装置が通信ネットワークを介してマルチビュービデオを表すデータストリームを受信することを可能にする通信インタフェースＣＯＭ０を備える。

本発明の別の特定の実施形態によれば、デコード装置ＤＥＣは、デコード装置が合成モジュール等の画像処理装置にメタデータを送信するとともに、データストリームから再構成されたビューの画像を送信することを可能にする通信インタフェースＣＯＭ１を備える。

初期化時に、コンピュータプログラムＰＧのコード命令は、例えば、プロセッサＰＲＯＣによって実行される前にメモリにロードされる。特に、処理ユニットＵＴのプロセッサＰＲＯＣは、コンピュータプログラムＰＧの命令に従って図４、図５及び図７に関連して説明されたデコード方法のステップを実施する。メモリＭＥＭは、とりわけ、所定の形式で、デコード方法中に取得されたメタデータを記憶するように適合されている。

本発明の特定の実施形態によれば、上記で説明したデコード装置は、テレビ受像機、移動電話（例えば、スマートフォン）、セットトップボックス、仮想現実ヘッドセット等の端末内に含まれる。

図９は、本発明の上記で説明した特定の実施形態による画像処理方法を実施するように適応された装置ＳＹＮＴＨを図式的に示している。

このような装置は、メモリＭＥＭ９と、例えばプロセッサＰＲＯＣ９を備え、メモリＭＥＭ９に記憶されたコンピュータプログラムＰＧ９によって制御される処理ユニットＵＴ９とを含んで構成される。コンピュータプログラムＰＧ９は、このプログラムがプロセッサＰＲＯＣ９によって実行されると、上記で説明したような画像処理方法のステップを実施する命令を含む。

本発明の特定の実施形態によれば、装置ＳＹＮＴＨは、装置が、上記で説明された装置ＤＥＣ等のデコード装置から発信されたメタデータを受信するとともに、装置ＤＥＣによってマルチビュービデオを表すデータストリームから再構成されたビューの画像を受信することを可能にする通信インタフェースＣＯＭ９を備える。

初期化時に、コンピュータプログラムＰＧ９のコード命令は、例えば、プロセッサＰＲＯＣ９によって実行される前にメモリにロードされる。特に、処理ユニットＵＴ９のプロセッサＰＲＯＣ９は、コンピュータプログラムＰＧ９の命令に従って図６及び図７に関連して説明された画像処理方法のステップを実施する。

本発明の特定の実施形態によれば、装置ＳＹＮＴＨは、装置ＳＹＮＴＨがディスプレイ装置、例えばスクリーンに画像を送信することを可能にする出力インタフェースＡＦＦ９を備える。例えば、そのような画像は、再構成されたビューの画像及び装置ＤＥＣから受信されたメタデータを用いて装置ＳＹＮＴＨによって生成される、仮想視点からの画像に対応することができる。

本発明の特定の実施形態によれば、装置ＳＹＮＴＨは、合成モジュールである。合成モジュールは、テレビ受像機、移動電話（例えば、スマートフォン）、セットトップボックス、仮想現実ヘッドセット等の端末内に含まれる。

本発明の原理は、マルチビュービデオデコードシステムの場合において説明され、この場合では、複数のビューが同じストリーム（ビットストリーム）からデコードされ、メタデータは、ビューごとに取得される。この原理は、マルチビュービデオが複数のストリーム（ビットストリーム）を用いてエンコードされ、ストリームごとに１つのビューがエンコードされる場合に同様に当てはまる。この場合では、各ビューデコーダは、自身がデコードするビューに関連付けられたメタデータを提供する。

Claims (12)

1. デコード装置によって実施される、マルチビュービデオを表すデータストリームのデコード方法であって、
   前記データストリームの少なくとも１つの部分からシンタックス要素を取得すること（Ｅ２０）と、
   取得された前記シンタックス要素から前記マルチビュービデオのビューの少なくとも１つの画像を再構成すること（Ｅ２１）と、
   を含み、該デコード方法は、
   画像合成モジュールによって必要とされるメタデータの少なくとも１つの項目を示す要求を該画像合成モジュールから受信することと、
   少なくとも１つのシンタックス要素から、所定の形式で前記メタデータの少なくとも１つの項目を取得すること（Ｅ２３）と、
   前記メタデータの少なくとも１つの項目を前記画像合成モジュールに提供すること（Ｅ２４）と、
   を更に含むことを特徴とする、デコード方法。
2. メタデータの少なくとも１つの項目を取得することは、前記シンタックス要素の少なくとも１つの部分から前記メタデータの少なくとも１つの項目を計算することを更に含む、請求項１に記載のデコード方法。
3. 前記メタデータの少なくとも１つの項目は、前記少なくとも１つの画像を再構成するのに用いられない、請求項１又は２に記載のデコード方法。
4. 前記メタデータの少なくとも１つの項目は、以下のもの、すなわち、
   カメラパラメータ、
   デコード及びスケーリングされたモーションベクトル、
   前記再構成された画像の分割、
   前記再構成されたビューの画像のブロックによって用いられる参照画像、
   前記再構成されたビューの画像のコード化モード、
   前記再構成されたビューの画像の量子化パラメータ値、
   前記再構成されたビューの画像の予測残差値、
   前記再構成されたビューの画像内の動きを表すマップ、
   前記再構成されたビューの画像内のオクルージョンの存在を表すマップ、
   深度マップに関連付けられた信頼度値を表すマップ、
   を含むグループ内に含まれる情報の項目に対応する、請求項１～３のいずれか１項に記載のデコード方法。
5. 前記所定の形式は、メタデータの少なくとも１つの項目がインデックスに関連付けられて記憶される、インデックス付き表に対応する、請求項１～４のいずれか１項に記載のデコード方法。
6. 前記メタデータの少なくとも１つの項目は、前記デコード装置において指定された粒度レベルに基づいて取得される、請求項１～５のいずれか１項に記載のデコード方法。
7. 前記要求は、利用可能なメタデータの所定のリストの中から前記必要とされるメタデータの項目を示す少なくとも１つのインデックスを含む、請求項６に記載のデコード方法。
8. マルチビュービデオを表すデータストリームのデコード装置であって、
   該装置は、
   前記データストリームの少なくとも１つの部分からシンタックス要素を取得し、
   取得された前記シンタックス要素から前記マルチビュービデオのビューの少なくとも１つの画像を再構成する、
   ように構成され（ＵＴ、ＭＥＭ、ＣＯＭ１）、
   該デコード装置は、
   画像合成モジュールによって必要とされるメタデータの少なくとも１つの項目を示す要求を該画像合成モジュールから受信し、
   少なくとも１つのシンタックス要素から、所定の形式で前記メタデータの少なくとも１つの項目を取得し、
   前記メタデータの少なくとも１つの項目を前記画像合成モジュールに提供する、
   ように更に構成されることを特徴とする、デコード装置。
9. デコード装置によってデコードされたビューの少なくとも１つの画像から、仮想ビューの少なくとも１つの画像を生成することを含む画像合成方法であって、該画像合成方法は、
   前記デコード装置に、前記画像を生成するのに必要とされるメタデータの少なくとも１つの項目を示す要求を送信することと、
   所定の形式で前記メタデータの少なくとも１つの項目を読み出すこと（Ｅ６０）であって、前記メタデータの少なくとも１つの項目は、前記デコード装置によって、マルチビュービデオを表すデータストリームから取得された少なくとも１つのシンタックス要素から取得されることと、
   前記メタデータの少なくとも１つの読み出された項目を用いることを含む前記少なくとも１つの画像を生成すること（Ｅ６１）と、
   を含むことを特徴とする、画像合成方法。
10. デコード装置によってデコードされたビューの少なくとも１つの画像から、仮想ビューの少なくとも１つの画像を生成するように構成された画像合成装置であって、該画像合成装置は、
    前記デコード装置に、前記画像を生成するのに必要とされるメタデータの少なくとも１つの項目を示す要求を送信すること、
    該画像合成装置が所定の形式で前記メタデータの少なくとも１つの項目を読み出し、前記メタデータの少なくとも１つの項目は、前記デコード装置によって、マルチビュービデオを表すデータストリームから取得された少なくとも１つのシンタックス要素から取得されること、及び、
    前記少なくとも１つの画像が生成されるときに、前記メタデータの少なくとも１つの読み出された項目が用いられること、
    を含むように構成される（ＵＴ９、ＭＥＭ９、ＣＯＭ９）ことを特徴とする、画像合成装置。
11. マルチビュービデオを表すデータストリームから該マルチビュービデオを表示する画像処理システムであって、
    請求項８に記載のデコード装置と、
    請求項１０に記載の画像合成装置と、
    を備える、画像処理システム。
12. プロセッサによって実行されると、請求項１～７のいずれか１項に記載のデコード方法を実施するか、又は、請求項９に記載の画像合成方法を実施する命令を含むコンピュータプログラム。