JP4786534B2 - マルチビュービデオを分解する方法及びシステム - Google Patents

Description

本発明は、包括的にはビデオの符号化に関し、特にマルチビュー（多視点）ビデオの符号化に関する。

マルチビュービデオの符号化は、３Ｄテレビ（３ＤＴＶ）、自由視点テレビ（ＦＴＶ）、及び複数のカメラによる監視等の用途に不可欠である。マルチビュービデオの符号化は動的なライトフィールド圧縮としても知られる。

図１は、マルチビュービデオを符号化するための従来技術の「サイマル放送」システム１００を示す。カメラ１〜４がシーンの「ビュー」１０１〜１０４を取得する。ここで、各カメラからの入力ビューは通常、時間的に同期される。これらのビューは、個別に符号化１１１〜１１４されて、対応する符号化ビュー１２１〜１２４となる。このシステムは、従来の２Ｄビデオ符号化技法を用いる。しかし、このシステムは異なるカメラビューを相関させない。個別の符号化は、圧縮効率を低下させ、よってネットワーク帯域幅及び記憶域（storage）が増大する。多数のカメラの場合、ビュー間の相関はマルチビューエンコーダの効率を大幅に高める。

図２は、ビュー間の相関を用いる、従来技術の視差補償予測システム２００を示す。ビュー２０１〜２０４は符号化２１１〜２１４されて、符号化ビュー２３１〜２３４となる。ビュー２０１及び２０４は、ＭＰＥＧ−２又はＨ．２６４等の標準的なビデオエンコーダを用いて個別に符号化される。これらの個別に符号化されたビューは「基準」ビューである。残りのビュー２０２及び２０３は、時間予測、並びにデコーダ２２１及び２２２から得られる再構成された基準ビュー２５１及び２５２に基づくビュー間予測を用いて符号化される。通常、この予測はブロック毎に適応的に決定される（S. C. Chan他著「The data compression of simplified dynamic light fields」（Proc. IEEE Int. Acoustics, Speech, and Signal Processing Conf., April, 2003））。

図３は、従来技術の「リフティングベースの」ウェーブレット分解を示す（W. Sweldens著「The data compression of simplified dynamic light fields」（J. Appl. Comp. Harm. Anal., vol. 3, no. 2, pp. 186-200, 1996）を参照のこと）。ウェーブレット分解は、静的なライトフィールド圧縮に効果的な技法である。入力サンプル３０１は、奇数サンプル３０２及び偶数サンプル３０３に分割３１０される。奇数サンプルは偶数サンプルから予測３２０される。予測誤差は高域サンプル３０４を形成する。この高域サンプルは、偶数サンプルを更新３３０して低域サンプル３０５を形成するために用いられる。この分解は可逆であるため、線形操作又は非線形操作を予測ステップ及び更新ステップに組み込むことができる。

リフティング方式は、ビデオの場合は実質的に時間的な動きの軌跡に沿ってフィルタリングを行う動き補償時間変換、すなわち、動き補償時間フィルタリング（ＭＣＴＦ）を可能にする。ビデオの符号化のためのＭＣＴＦのレビューがOhm他著「Interframe wavelet codingmotion picture representation for universal scalability」（Signal Processing: Image Communication, Vol. 19, No. 9, pp. 877-908, October 2004）に記載されている。リフティング方式は、完全な再構成に影響を与えることなく、ハール又は５／３ドベシィ等の任意のウェーブレット核、及びブロックベースの平行移動又はアフィングローバル動き等の任意の動きモデルに基づいて行うことができる。

符号化のために、ＭＣＴＦは、ビデオを高域フレームと低域フレームに分解し、次にこれらのフレームに空間変換を施して、残存する空間的相関を減らす。変換された低域フレーム及び高域フレームは、関連する動き情報と共にエントロピー符号化されて、符号化ビットストリームを形成する。ＭＣＴＦは、図３に示すリフティング方式を用いて、時間的に隣接するビデオを入力として実施することができる。また、ＭＣＴＦは、出力低域フレームに反復的に適用することができる。

ＭＣＴＦベースのビデオの圧縮効率は、Ｈ．２６４／ＡＶＣ等のビデオ圧縮規格のそれに匹敵する。また、ビデオは固有の時間スケーラビリティを有する。しかし、この方法は、複数のビュー間の相関を利用するマルチビュービデオの符号化には直接適用することができない。これは、時間的相関も考慮する効率的なビュー予測方法がないためである。

リフティング方式は、静的なライトフィールド、すなわち、単一のマルチビュー画像を符号化するためにも用いられてきた。動き補償時間フィルタリングを行う代わりに、エンコーダは、空間領域の静止ビュー間で視差補償ビュー間フィルタリング（ＤＣＶＦ）を行う（Chang他著「Inter-view wavelet compression of light fields with disparity compensated lifting」（SPIE Conf on Visual Communications and Image Processing, 2003）を参照のこと）。

符号化のために、ＤＣＶＦは、静的なライトフィールドを高域画像と低域画像に分解し、次にこれらの画像に空間変換を施して、残存する空間的相関を減らす。変換された画像は、関連する視差情報と共にエントロピー符号化されて、符号化ビットストリームを形成する。ＤＣＶＦは通常、図３に示すようなリフティングベースのウェーブレット変換方式を用いて、空間的に隣接するカメラビューからの画像を入力として実施される。また、ＤＣＶＦは、出力低域画像に反復的に適用することができる。ＤＣＶＦベースの静的なライトフィールド圧縮は、複数の画像を個別に符号化するよりも高い圧縮効率を提供する。しかし、この方法は、時間的相関とビュー間の相関の両方を利用するマルチビュービデオの符号化には直接適用することができない。これは、時間的相関も考慮する効率的なビュー予測方法がないためである。

したがって、ウェーブレット変換を用いるマルチビュービデオにおいて時間的相関とビュー間の相関の両方を利用する圧縮方法が必要とされている。

［発明の開示］
方法及びシステムは、複数のカメラによって或るシーンについて取得されたマルチビュービデオを分解する。

各マルチビュービデオはフレームシーケンスを含み、各カメラはシーンの異なるビューを提供する。

時間予測モード、空間予測モード、及びビュー補間予測モードの中から１つの予測モードが選択される。

次に、マルチビュービデオは、選択された予測モードに従って低域フレーム、高域フレーム、及びサイド情報に分解される。

マルチビュービデオはまた、補間されて、シーンの新たなビューを提供することができる。

本発明は、添付図面と共に解釈される以下の本発明の好適な実施の形態の詳細な説明からより容易に明らかとなるであろう。

［好適な実施の形態の詳細な説明］
本発明は、マルチビュービデオのフレームを符号化するための複合的時間／ビュー間分解方法を提供する。本方法は、各ビュー内のフレーム間の時間的相関、及び複数のカメラビューのフレーム間の空間的相関を利用する。時間的相関は動き補償時間フィルタリング（ＭＣＴＦ）を用いて利用され、空間的相関は視差補償ビュー間フィルタリング（ＤＣＶＦ）を用いて利用される。

本発明によるＭＣＴＦ／ＤＣＶＦ分解はブロック適応的である。この分解は、様々な形態の時間予測、様々な形態の空間予測、及びビュー補間予測を含むいくつかの予測モードを用いて行われる。ブロック毎に最良の予測モードを決定するために、本発明は、マルチビューモードを選択する方法を提供する。本方法は、任意数のビュー及びカメラ配置に使用することができる。

ＭＣＴＦ／ＤＣＶＦ分解
図４は、本発明によるＭＣＴＦ／ＤＣＶＦ分解４００を示す。入力ビデオのフレーム４０１〜４０４が、或るシーン５についてカメラ１〜４によって取得される。通常、これらのカメラは同期している。各入力ビデオは、シーンの異なる「ビュー」を提供する。入力フレーム４０１〜４０４はＭＣＴＦ／ＤＣＶＦ分解４００に送られる。この分解は、符号化された低域フレーム４１１、符号化された高域フレーム４１２、及び関連するサイド情報４１３を生成する。高域フレームは実質的に、低域フレームを基準フレームとして用いて予測誤差を符号化する。分解は、選択された予測モード４１０に従って行われる。予測モードは、空間モード、時間モード、及びビュー補間モードを含む。予測モードは、ブロック毎に適応的に選択することができる。

図５は、ビュー（空間）５０１の時間５０２にわたるフレームの、低域フレーム（Ｌ）４１１及び高域フレーム（Ｈ）４１２の好ましい交番「格子パターン」を示す。実質的に、このパターンは、空間次元において１つの瞬間毎に低域フレームと高域フレームが交互（alternate）し、さらに、時間において１つのビュー毎に低域フレームと高域フレームが交互する。

この格子パターンにはいくつかの利点がある。このパターンは、低域フレームを空間（ビュー）次元と時間次元の両方において均一に分散させることで、デコータが低域フレームのみを再構成する場合に、空間及び時間においてスケーラビリティを実現する。また、このパターンは、空間次元と時間次元の両方において高域フレームを近傍の低域フレームと整列させる。これは、図６に示すように、誤差の予測を行うための基準フレーム間の相関を最大化する上で望ましい。

リフティングベースのウェーブレット変換によれば、一方のサンプル組を他方のサンプル組から予測することによって高域フレームが生成される。この予測は、後述する本発明による様々な形態の時間予測、様々な形態の空間予測、及びビュー補間予測を含むいくつかのマルチビューモードを用いて達成することができる。

高域フレームを予測するための手段及びこの予測を行うために必要な情報はサイド情報４１３と呼ばれる。時間予測を行う場合、時間モードがサイド情報の一部として、対応する動き情報と共に信号伝達される。空間予測を行う場合、空間モードがサイド情報の一部として、対応する視差情報と共に信号伝達される。ビュー補間予測を行う場合、ビュー補間モードがサイド情報の一部として、対応する視差情報、動き情報及び奥行き情報と共に信号伝達される。

図５及び図６に示すように、各高域フレーム４１２の予測は、空間次元及び時間次元における「最近傍」低域フレームを用いる。

低域フレームは、様々な方法で生成することができる。第１の方法において、例えば図５の格子パターンに従って指定される低域フレームは、入力ビューの対応するフレームに等しい。第２の方法において、指定される低域フレームは、更新演算子に応じた高域フレームを対応する入力フレームに加算する更新ステップの結果である。

第１の実施の形態において、ＭＣＴＦ及びＤＣＶＦは、ブロック毎に入力ビューのフレームに適応的に適用されて、分解された低域フレームの組及び高域フレーム、並びに関連するサイド情報が得られる。こうして、各ブロックは、上述した利用可能なマルチビューモードの中から最良のマルチビュー予測モードを適応的に選択する。マルチビューモードを選択するための最適な方法を後述する。

第２の実施の形態では、ＭＣＴＦがまず各カメラビューのフレームに個別に適用される。結果として得られるフレームが次に、ＤＣＶＦによりさらに分解される。最終的な分解されたフレームに加えて、対応するサイド情報も生成される。ブロック毎に行う場合、ＭＣＴＦ及びＤＣＶＦの予測モードの選択は別個に検討される。利点として、このモード選択は本質的に時間スケーラビリティをサポートする。こうして、圧縮ビットストリームにおいてビデオのより低い時間レートに容易にアクセスすることができる。

第３の実施の形態において、ＤＣＶＦがまず入力ビューのフレームに適用される。結果として得られるフレームが次に、ＭＣＴＦにより時間的に分解される。最終的な分解されたフレームに加えて、サイド情報も生成される。ブロック毎に行う場合、ＭＣＴＦ及びＤＣＶＦの予測モードの選択は別個に検討される。利点として、この選択は本質的にビュースケーラビリティをサポートする。こうして、圧縮ビットストリームにおいて低減された数のビューに容易にアクセスすることができる。

上述した分解は、前の分解段階から結果として得られる低域フレームの組に反復的に適用することができる。利点として、本発明のＭＣＴＦ／ＤＣＶＦ分解４００は、時間的相関とビュー間の（空間的）相関の両方を効果的に除去し、非常に高い圧縮効率を達成することができる。本発明のマルチビュービデオエンコーダの圧縮効率は、各ビューを他のビューとは独立して符号化する従来のサイマル放送符号化に勝る。

ＭＣＴＦ／ＤＣＶＦ分解の符号化
図７に示すように、信号エンコーダ７１０は、変換、量子化及びエントロピー符号化を 行って、分解された低域フレーム４１１及び高域フレーム４１２に残存する相関を除去する。このような操作は当該技術分野において既知である（Netravali及びHaskell著「Digital Pictures: Representation, Compression and Standards」（Second Edition, Plenum Press, 1995））。

サイド情報エンコーダ７２０は、分解の結果として生成されたサイド情報の符号化を担う。サイド情報は、マルチビューモード自体に加えて、時間予測に対応する動き情報、空間予測及びビュー補間に対応する視差情報、並びにビュー補間に対応する奥行き情報を含む。

サイド情報の符号化は、ＭＰＥＧ−４ Ｖｉｓｕａｌ規格ＩＳＯ／ＩＥＣ１４４９６−２「Information technology -- Coding of audio-visual objects - Part 2: Visual」（第２版、２００１年）、又はより最近のＨ．２６４／ＡＶＣ規格、及びＩＴＵ−Ｔ勧告Ｈ．２６４「Advanced video coding for generic audiovisual services」（２００４年）において用いられている技法等の既知の確立された技法によって達成されてもよい。

例えば、動きベクトルは通常、近傍ベクトルから予測ベクトルを求める予測方法を用いて符号化される。次に、予測ベクトルと現ベクトルの差にエントロピー符号化プロセスを施す。このプロセスは通常、予測誤差の統計値を利用する。同様の手順を用いて視差ベクトルを符号化してもよい。

さらに、近傍ブロックからの予測値を得る予測符号化方法を用いて、又は単純に固定長符号を使用して奥行き値を直接表すことによって各ブロックの奥行き情報を圧縮してもよい。画素レベルの奥行き精度が抽出され圧縮される場合、この情報チャネルには、変換技法、量子化技法及びエントロピー符号化技法を適用する、より高度なテクスチャ符号化技法を適用すべきである。

信号エンコーダ７１０及びサイド情報エンコーダ７２０からの符号化された信号を多重化７３０して、符号化された出力ビットストリーム７３１を生成することができる。

ＭＣＴＦ／ＤＣＶＦ分解の復号化
ビットストリームを復号化７４０してマルチビュービデオ７４１を回復することができる。概して、デコーダは、エンコーダの逆の操作を行ってマルチビュービデオを再構成する。全ての低域画像及び高域画像が復号化されれば、ビュー次元と時間次元の両方において符号化品質の完全なフレーム組が再構成され、レンダリングに利用することができる。

エンコーダにおいていくつの反復レベルの分解を適用したか、及び、どのタイプの分解を適用したかに応じて、低減された数のビュー及び／又は低減された時間レートを、低減された数のビュー及び低減された時間レートに対応する低域画像の組と高域画像から復号化することができる。

ビュー補間
図８に示すように、ビュー補間は、既存のビューのフレーム８０３から補間されたビューのフレーム８０１を生成するプロセスである。言い換えれば、ビュー補間は、入力ビデオが取得された時点では存在しなかった新たな仮想カメラ８００による、シーン５の選択された新たなビュー８０２に対応するフレーム８０１を合成する手段を提供する。

２つ又はそれ以上の基準ビューのフレームの画素値及びシーン中の複数の点の奥行き値が与えられれば、標的ビュー８０２のフレーム８０１の画素を、基準ビューのフレームの対応する画素値から補間することができる。

本発明では、ビュー補間は、入力画像又は更新ステップを行った入力画像のいずれかであり得る低域画像に基づく。

ビュー補間は一般にコンピュータグラフィックスにおいて、複数のビューを有する画像をレンダリングするために使用される（Buehler他著「Unstructured Lumigraph Rendering」（Proc. ACM SIGGRAPH, 2001）を参照のこと）。この方法は、カメラの外部パラメータ及び内部パラメータを必要とする。

マルチビュービデオを圧縮するためのビュー補間技法は新規である。本発明では、予測に使用する、ビュー補間されたフレームを生成する。ビュー補間フレームは、指定された高域フレームの或る位置において生成され、現補間フレームを予測するための基準フレームとして働く。

この手法に伴う１つの問題は、シーンの奥行き値が分からないことである。したがって、本発明では、既知のグラフィックス技法を用いて、例えば、複数のビューにおける特徴の対応関係に基づいて奥行き値を推定する。代替的に、標的ビュー毎に、本発明では、候補奥行き値にそれぞれ対応する複数のビュー補間フレームを生成する。現フレームのブロック毎に、ビュー補間フレームの組の中から最も良く一致するブロックを求める。この最良一致が見付かったビュー補間フレームは、現フレームのそのブロックの奥行き値を示す。このプロセスをフレーム内の全ブロックについて繰り返す。

現ブロックとビュー補間ブロックの差は信号エンコーダ７１０により符号化及び圧縮される。このマルチビューモードのサイド情報は、サイド情報エンコーダ７２０によって符号化される。サイド情報は、ビュー補間モード、ブロックの奥行き値、及び補償されるべき現フレームのブロックとビュー補間フレームの最良一致ブロックとのミスアライメントを補償するオプションの変位ベクトルを示す信号を含む。

マルチビューモードの選択
ブロック適応的ＭＣＴＦ／ＤＣＶＦ分解において、各ブロックの予測モードｍは、費用関数をブロック毎に適応的に最小化することによって選択することができる。
ｍ^＊＝ａｒｇ_ｍｍｉｎＪ（ｍ）
ここで、Ｊ（ｍ）＝Ｄ（ｍ）＋λＲ（ｍ）であり、Ｄは歪みであり、λは重みパラメータであり、Ｒはレートであり、ｍは候補予測モードの組を示し、ｍ^＊は最小費用基準に基づいて選択された最適予測モードを示す。

候補モードｍは様々な時間予測モード、空間予測モード、ビュー補間予測モード及びイントラ予測モードを含む。費用関数Ｊ（ｍ）は、特定のモードｍを用いてブロックを符号化した結果として生じるレート及び歪みに依存する。

歪みは、再構成ブロックと元ブロックの差を測定する。再構成ブロックは、所与の予測モードｍを用いてブロックを符号化及び復号化することによって得られる。一般的な歪み測度は差の二乗和である。

レートは、予測誤差及び全てのサイド情報を含む、ブロックを符号化するために必要なビット数である。

パラメータλは、ブロック符号化のレート−歪みのトレードオフを制御するものであり、量子化ステップサイズから導出することができる。

本発明を好適な実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び変更を行ってもよいことが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形及び変更をすべて網羅することである。

マルチビュービデオを符号化するための従来技術のサイマル放送システムのブロック図である。 マルチビュービデオを符号化するための従来技術の視差補償予測システムのブロック図である。 従来技術のウェーブレット分解のフロー図である。 本発明によるＭＣＴＦ／ＤＣＶＦ分解のブロック図である。 本発明によるＭＣＴＦ／ＤＣＶＦ分解後の低域画像及び高域画像のブロック図である。 本発明による、近傍の低域画像からの高域画像の予測のブロック図である。 本発明によるブロック適応的ＭＣＴＦ／ＤＣＶＦ分解を用いるマルチビュー符号化システムのブロック図である。 本発明によるビュー補間の概略図である。

Claims (20)

1. マルチビュービデオを分解する方法であって、
   複数のカメラにより或るシーンについて複数のビデオを取得することであって、各ビデオは複数のフレームを含み、各カメラは前記シーンの異なるビューを提供する、取得すること、
   予測モードを選択することであって、該予測モードは、時間予測モード、空間予測モード、及びビュー補間予測モードの中から選択される、選択すること、及び
   前記選択された予測モードに従って、前記ビデオの前記複数のフレームを複数の低域フレーム、複数の高域フレーム、及びサイド情報に分解することであって、前記時間予測モードの場合、前記サイド情報は動き情報に対応し、前記空間予測モードの場合、前記サイド情報は視差情報に対応し、前記ビュー補間予測モードの場合、前記サイド情報は動き情報、視差情報及び奥行き情報に対応する、分解すること
   を含む、マルチビュービデオを分解する方法。
2. 前記高域フレームは、基準フレームとして前記低域フレームを用いて、前記選択された予測モードに従って、予測誤差を符号化する、請求項１に記載のマルチビュービデオを分解する方法。
3. 前記低域フレーム及び前記高域フレームは格子パターンを形成し、該格子パターンは、空間次元において１つの瞬間毎に前記低域フレームと前記高域フレームが交番し、また該格子パターンは、時間次元において特定の異なるビュー毎に前記低域フレームと前記高域フレームが交番する、請求項１に記載のマルチビュービデオを分解する方法。
4. リフティングベースのウェーブレット変換が前記低域フレームに対して行われて、前記予測誤差を符号化する前記高域フレームが求められる、請求項２に記載のマルチビュービデオを分解する方法。
5. 前記空間次元及び前記時間次元における４つの最近傍低域フレームからの予測に基づいて各高域フレームを生成すること
   をさらに含む、請求項３に記載のマルチビュービデオを分解する方法。
6. 前記動き情報は、低域フレームに対する動き推定検索によって得られ、前記視差情報は、低域フレームに対する視差推定検索によって得られる、請求項１に記載のマルチビュービデオを分解する方法。
7. 前記動き情報は、前記複数のフレームに対して動き補償時間フィルタリングを適用するために用いられ、前記視差情報は、前記複数のフレームに対して視差補償ビュー間フィルタリングを適用するために用いられる、請求項１に記載のマルチビュービデオを分解する方法。
8. 各フレームは複数の画素ブロックを含み、前記動き補償時間フィルタリング及び前記視差補償ビュー間フィルタリングは、前記選択された予測モードに従って各フレームの各ブロックに対して適応的に行われる、請求項７に記載のマルチビュービデオを分解する方法。
9. 費用関数ｍ^＊＝ａｒｇ_ｍｍｉｎＪ（ｍ）を最小化することであって、ここで、Ｊ（ｍ）＝Ｄ（ｍ）＋λＲ（ｍ）であり、Ｄは歪みであり、λは重みパラメータであり、Ｒはレートであり、ｍは前記候補モードの組を示し、ｍ^＊は前記費用関数に基づいて選択された最適な予測モードを示し、それによって、前記予測モードを適応的に選択する、最小化すること
   をさらに含む、請求項８に記載のマルチビュービデオを分解する方法。
10. 前記動き補償時間フィルタリングがまず各ビデオに個別に適用されて、動きフィルタリングされたフレームが得られ、前記視差補償ビュー間フィルタリングが次に前記フィルタリングされたフレームに適用されて、前記分解されたビデオに時間スケーラビリティが与えられる、請求項７に記載のマルチビュービデオを分解する方法。
11. 前記視差補償ビュー間フィルタリングがまず１つの瞬間毎に全てのフレームに適用されて、フィルタリングされたフレームが得られ、前記動き補償時間フィルタリングが次に前記フィルタリングされたフレームに適用されて、前記分解されたビデオにビュースケーラビリティが与えられる、請求項７に記載のマルチビュービデオを分解する方法。
12. 前記分解は、前の分解段階から結果として得られる低域フレームの組を用いて行われる、請求項１に記載のマルチビュービデオを分解する方法。
13. 前記低域フレーム及び前記高域フレームは変換、量子化及びエントロピー符号化されて符号化フレームが生成され、前記方法は、
    前記サイド情報を符号化することであって、それによって、符号化サイド情報を生成する、符号化すること、及び
    前記符号化フレーム及び前記符号化サイド情報を多重化することであって、それによって、ビットストリームを生成する、多重化すること
    をさらに含む、請求項１に記載のマルチビュービデオを分解する方法。
14. 新たなビュー及び１つの瞬間を選択すること、
    前記新たなビューに近接し且つ前記瞬間にある前記低域フレームを補間することであって、それによって、補間フレームを形成する、補間すること、及び
    前記高域フレームを現フレームと前記補間フレームの間の予測誤差として生成することをさらに含む、請求項１に記載のマルチビュービデオを分解する方法。
15. 前記補間は奥行き値に基づく、請求項１４に記載のマルチビュービデオを分解する方法。
16. 前記奥行き値は、前記現フレームのブロック毎に適応的に選択される、請求項１５に記載のマルチビュービデオを分解する方法。
17. 前記ビットストリームを復号化することであって、それによって、前記複数のビデオを再構成する、復号化すること
    をさらに含む、請求項１３に記載のマルチビュービデオを分解する方法。
18. ビューの数が前記複数のビデオについて低減される、請求項１７に記載のマルチビュービデオを分解する方法。
19. 前記再構成されたビデオは、低減された時間レートを有する、請求項１７に記載のマルチビュービデオを分解する方法。
20. マルチビュービデオを分解するシステムであって、
    或るシーンについて複数のビデオを取得するように構成される複数のカメラであって、各ビデオは複数のフレームを含み、各カメラは前記シーンの異なるビューを提供する、複数のカメラと、
    予測モードを選択する手段であって、該予測モードは、時間予測モード、空間予測モード、及びビュー補間予測モードの中から選択される、選択する手段と、
    前記選択された予測モードに従って、前記ビデオの前記複数のフレームを複数の低域フレーム、複数の高域フレーム、及びサイド情報に分解する手段であって、前記時間予測モードの場合、前記サイド情報は動き情報に対応し、前記空間予測モードの場合、前記サイド情報は視差情報に対応し、前記ビュー補間予測モードの場合、前記サイド情報は動き情報、視差情報及び奥行き情報に対応する、分解する手段と
    を備える、マルチビュービデオを分解するシステム。

Images