JP4195011B2 - 立体ビデオの符号化及び復号化方法、符号化及び復号化装置 - Google Patents

Description

本発明は、立体ビデオ（stereoscopic video）の符号化及び復号化方法、並びにその装置に係り、特に、従来のＭＰＥＧ−４のＭＡＣ（多様化補助要素：Multiple Auxiliary Component）を利用し、立体ビデオを単一符号化ストリームとして符号化及び復号化する方法、並びにその装置に関する。

従来の立体ビデオの符号化方式として、ＭＰＥＧ−２の２次原映像符号化技術を拡張したＭＶＰ（多視点画像：Multi−View Profile）がある。この方式によれば、動き補償のみを利用して符号化を行う基底層（Base layer）の符号化構造がＭＰＥＧ−２ ＭＰ（Main Profile）と同一であって、従来の２次元ビデオデコーダーで基底層のデータのみを復元すれば、左右のうちの一方の映像が復元される。したがって、従来の２次元ビデオデコーダーシステムと互換性を維持することができる。一方、上位層（Enhancement layer）の符号化器は、左右映像の間に存在する相関情報を利用して符号化を行う。この方式は、基本的に時間伸縮を利用して符号化する方式であるが、ＭＰＥＧ−４でも時間伸縮を利用した立体ビデオの符号化について定義している。

このような従来技術は、下記の特許文献１に開示されている。前記特許文献１は、時間伸縮を基盤にして、基底層では動き補償及びＤＣＴ（離散コサイン変換）基盤アルゴリズムを利用して左目に対する映像を符号化し、上位層では、右目の映像に対する動きの補償なしで、基底層と上位層との間の変異（変異：disparity）情報のみを利用して右目に対する映像を符号化する。

また、下記特許文献２に開示されている発明は前記特許文献１と同様に、時間伸縮を利用し、基底層では動き補償及びＤＣＴ基盤アルゴリズムを利用して左目に対する映像を符号化し、上位層では、右目に対する映像間の動き補償及び基底層と上位層との間の変異情報を利用して右目に対する映像を符号化する。前記方式は、動き及び変異情報を利用して符号化することによって効率的な圧縮効率を達成するが、符号化構造が複雑であってハードウェア実現が難しく、ＨＤＴＶ映像を処理する場合は相当量の計算が要求される。

したがって、時間伸縮を利用して立体ビデオを符号化する場合、左右映像間の同期化問題を簡単にするために、基底層と上位層から出力される各々の符号化ストリームを単一ストリームとして伝送するための別途の多重化作業が必要であるという短所がある。

従来の多視点ビデオ（Multi−view video）符号化方式の中で、画素単位の変異ベクトル値を有する変異マップを利用して符号化する方式がある。

このような従来技術は、下記特許文献３に開示された。

前記特許文献３に開示された発明は、最初の映像（左映像）に対し、映像データ全体に対して符号化する。そして、第２番目の映像（右映像）に対しては、最初及び第２番目の映像から画素単位の変異ベクトル値を有する変異マップを生成して、動き補償された変異ベクトルに対する符号化を行い、符号化の後で復元された最初の映像を利用して復元された変異マップを変異補償して生成された第２番目の映像と、入力された２番目の原映像との減算結果（残差と記す）映像データを符号化する。この方式は複数の符号化ストリームが出力され、単一ストリームとして伝送するためには別途の多重化が必要であるという短所がある。

立体ビデオにおいて、２次原映像に対する従来のＭＰＥＧコーデックをそのまま使用しながら左右映像間を簡便に同期化をする方式として、左右各々の映像を１/２に縮少して左右映像を一つの映像に転換して符号化することによって単一符号化ストリームとして出力する方式がある。左右映像を１/２に縮少して２次元の標準映像に転換する技術は、下記非特許文献１の論文に５種類の方式で提案された。

前記技術はまた、下記特許文献４に開示されている。

前記特許文献４に開示された発明は、左目に対する映像は奇数フィールドの映像のみを選択し、右目に対する映像は偶数フィールドの映像のみを選択して一つの映像に転換する方式を利用し、転換された一つの映像に対して従来の２次原映像に対するＭＰＥＧ符号化を行う。この方式は、立体ビデオの表示装置において左右映像を交互に表示する光路開閉方式を考慮した方式であって、左右映像を同時に表示する偏光方式の表示装置には適していない。
米国特許第５，６１２，７３５号 米国特許第５，６１９，２５６号 米国特許第６，０５５，２７４号 米国特許第５，６３３，６８２号 Andrew Woods, Tom Docherty and Rolf Koch, 3D Video Standards Conversion, Stereoscopic Displays and Applications VII, California, Feb. 1996, Proceedings of the SPIE vol. 2653A

本発明が目的とする技術的課題は、このような従来技術の問題点を解決するためのものであって、本発明は、従来のＭＰＥＧ−４符号化技術及びシステムをそのまま利用することができるように互換性を維持し、左右映像間の同期化の複雑度を最小化することにある。

また、本発明は、映像の重要度又は複雑度によって映像の画質を選択的に調節して符号化できるようにして、符号化効率を向上させるためのものである。

このような目的を達成するための本発明の一つの特徴による符号化方法は、第１映像及び第２映像を有する立体ビデオの符号化方法であって、
（ａ）前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力する段階；
（ｂ）前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める段階；及び
（ｃ）前記画素単位の水平変異マップ及び前記動きベクトルに基づいて、前記水平変異マップを符号化して、量子化された水平変異マップを出力する段階；を含む。

一方、本発明の他の特徴による符号化方法は、第１映像及び第２映像を有する立体ビデオの符号化方法であって、
（ａ）前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力する段階；
（ｂ）前記段階（ａ）で出力された前記量子化されたビデオ客体を復号化して、前記第１映像を復元する段階；
（ｃ）前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める段階；
（ｄ）前記画素単位の水平変異マップ及び前記動きベクトルに基づいて、前記水平変異マップを符号化して、量子化された水平変異マップを出力する段階；
（ｅ）前記段階（ｄ）で出力された前記量子化された水平変異マップを復元して、復元された水平変異マップを出力する段階；
（ｆ）前記段階（ｂ）で復元された第１映像の画素値と前記段階（ｅ）で復元された前記水平変異マップの水平変異ベクトル値とに基づいて変異補償を行い、変異補償された第２映像の画素値を出力する段階；及び
（ｇ）前記第２映像の画素値と前記段階（ｆ）で出力された変異補償された第２映像の画素値とを引き算して輝度残差テクスチャーを出力し、前記輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する段階；を含む。

一方、本発明の他の特徴による符号化方法は、第１映像及び第２映像を有する立体ビデオの符号化方法であって、
（ａ）前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力する段階；
（ｂ）前記段階（ａ）で出力された前記量子化されたビデオ客体を復号化して、前記第１映像を復元する段階；
（ｃ）前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップと画素単位の垂直変異マップを求める段階；
（ｄ）前記画素単位の水平変異マップ及び前記動きベクトルに基づいて、前記水平変異マップを符号化して、量子化された水平変異マップを出力する段階；
（ｅ）前記画素単位の垂直変異マップ及び前記動きベクトルに基づいて、前記垂直変異マップを符号化して、量子化された垂直変異マップを出力する段階；
（ｆ）前記段階（ｄ）で出力された前記量子化された水平変異マップを復元して、復元された水平変異マップを出力する段階；
（ｇ）前記段階（ｅ）で出力された前記量子化された垂直変異マップを復元して、復元された垂直変異マップを出力する段階；
（ｈ）前記段階（ｂ）で復元された第１映像の画素値、前記段階（ｆ）で復元された前記水平変異マップの水平変異ベクトル値、前記段階（ｈ）で復元された前記垂直変異マップの垂直変異ベクトル値に基づいて、変異補償を行い、変異補償された第２映像の画素値を出力する段階；及び
（ｉ）前記第２映像の画素値と前記段階（ｈ）で出力された変異補償された第２映像の画素値とを引き算して輝度残差テクスチャーを出力し、前記輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する段階；を含む。

一方、本発明の一つの特徴による復号化方法は、第１映像及び第２映像を有する立体ビデオの復号化方法であって、
（ａ）符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、及び水平変異マップの量子化されたデータを出力する段階；
（ｂ）前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元する段階；
（ｃ）前記水平変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記水平変異マップの量子化されたデータを復号化する段階；及び
（ｄ）前記復元された第１映像及び前記復号化された水平変異マップに基づいて変異補償を行い、前記第２映像を復元する段階；を含む。

一方、本発明の他の特徴による復号化方法は、第１映像及び第２映像を有する立体ビデオの復号化方法であって、
（ａ）符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する段階；
（ｂ）前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元する段階；
（ｃ）前記水平変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記水平変異マップの量子化されたデータを復号化する段階；
（ｄ）前記輝度残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記輝度残差テクスチャーの量子化されたデータを復号化する段階；
（ｅ）前記復元された第１映像及び前記復号化された水平変異マップに基づいて変異補償を行い、変異補償された輝度テクスチャーを出力する段階；
（ｆ）前記変異補償された輝度テクスチャーと前記段階（ｄ）で復元した前記輝度残差テクスチャーを加算して、前記第２映像を復元する段階；を含む。

一方、本発明のまた他の特徴による復号化方法は、第１映像及び第２映像を有する立体ビデオの復号化方法であって、
（ａ）符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、垂直変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する段階；
（ｂ）前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元する段階；
（ｃ）前記水平変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記水平変異マップの量子化されたデータを復号化する段階；
（ｄ）前記垂直変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記垂直変異マップの量子化されたデータを復号化する段階；
（ｅ）前記輝度残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記輝度残差テクスチャーの量子化されたデータを復号化する段階；
（ｆ）前記復元された第１映像、前記復号化された水平変異マップ、及び前記復号化された垂直変異マップに基づいて変異補償を行い、変異補償された輝度テクスチャーを出力する段階；
（ｇ）前記変異補償された輝度テクスチャーと前記段階（ｅ）で復元した前記輝度残差テクスチャーを加算して、前記第２映像を復元する段階；を含む。

一方、本発明の一つの特徴による符号化装置は、第１映像及び第２映像を有する立体ビデオの符号化装置であって、
前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力するビデオ客体符号化器；
前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める変異推定器；及び
前記変異推定器から出力される前記画素単位の水平変異マップ、及び前記ビデオ客体符号化器から出力される前記動きベクトルに基づいて前記水平変異マップを符号化して、量子化された水平変異マップを出力する補助要素符号化器；を含む。

一方、本発明の他の特徴による符号化装置は、第１映像及び第２映像を有する立体ビデオの符号化装置であって、
前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力し、前記量子化されたビデオ客体を復号化して、復元された第１映像を出力するビデオ客体符号化器；
前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める変異推定器；
前記変異推定器から出力される前記画素単位の水平変異マップ、及び前記ビデオ客体符号化器から出力される前記動きベクトルに基づいて、前記水平変異マップを符号化して、量子化された水平変異マップを出力し、出力された前記量子化された水平変異マップを復号化して、復元された水平変異マップを出力する第１補助要素符号化器；
前記ビデオ客体符号化器から出力された復元された第１映像の画素値と前記第１補助要素符号化器から出力された前記復元された水平変異マップの水平変異ベクトル値とに基づいて変異補償を行い、変異補償された第２映像の画素値を出力する変異補償器；及び
前記第２映像の画素値と前記変異補償器から出力された変異補償された第２映像の画素値とを引き算して輝度残差テクスチャーを出力し、前記輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する第２補助要素符号化器；を含む。

一方、本発明の一つの特徴による復号化装置は、第１映像及び第２映像を有する立体ビデオの復号化装置であって、
符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、及び水平変異マップの量子化されたデータを出力する可変長復号化器；
前記可変長復号化器から出力される前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化し、前記第１映像を復元するビデオ客体復号化器；
前記可変長復号化器から出力される前記水平変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記水平変異マップの量子化されたデータを復号化する補助要素復号化器；及び
前記ビデオ客体復号化器から出力される前記復元された第１映像及び前記補助要素復号化器から出力される前記復号化された水平変異マップに基づいて変異補償を行い、前記第２映像を復元する変異補償器；を含む。

一方、本発明の他の特徴による復号化装置は、第１映像及び第２映像を有する立体ビデオの復号化装置であって、
符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する可変長復号化器；
前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化し、前記第１映像を復元するビデオ客体復号化器；
前記水平変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記水平変異マップの量子化されたデータを復号化する第１補助要素復号化器；
前記輝度残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記輝度残差テクスチャーの量子化されたデータを復号化する第２補助要素復号化器；
前記ビデオ客体復号化器から出力される前記復元された第１映像及び前記第１補助要素復号化器から出力される復号化された水平変異マップに基づいて変異補償を行い、変異補償された輝度テクスチャー及び変異補償された色差テクスチャーを出力する変異補償器；並びに
前記変異補償器から出力される変異補償された輝度テクスチャーと前記第２補助要素復号化器から出力される復元された前記輝度残差テクスチャーを加算する第１加算器；を含む。

本発明によれば、従来のＭＰＥＧ−４符号化技術及びシステムをそのまま利用できるように互換性を維持し、左右映像間の同期化の複雑度を最小化することができる。

また、本発明によれば、映像の重要度又は複雑度によって映像の画質を選択的に調節して符号化することができるようにし、符号化効率を向上させることができる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

現在のＭＰＥＧ−４コーデックは、各ビデオ客体に係わるアルファ（alpha）、変異（disparity）、深さ（depth）などのような補助情報を、３個の補助要素（Auxiliary Component）で構成された多様化補助要素（Multiple Auxiliary Component；以下、‘ＭＡＣ’という）に割当てて符号化できるようにする。

本発明は、ＭＰＥＧ−４−ＭＡＣを利用して立体ビデオを符号化する方式に関するものであって、ＭＡＣに割当てられるべき補助情報を定義する。

現在、ＭＰＥＧ−４−ＭＡＣは、ビデオ客体(video object)の透明度を記述するためにＭＰＥＧ−４ビジュアルバージョン２に追加され、さらに、ビデオ客体に係わる変異(disparity)、深さ(depth)、追加テクスチャー(additional texture)などのような補助情報を記述することができるように定義している。

図１は、ＭＰＥＧ−４に定義されている項目：video_object_layer_shape_extensionの補助要素のタイプ及び補助タイプの数を示す図である。

図１に示したように、ＭＡＣで各補助要素の数とタイプは、video_object_layer_shape_extension値によって決定される。

また、図１に示したように、補助要素が変異(DISPARITY)タイプを含むvideo_object_layer_shape_extensionの値は、０００１、００１０、００１１、０１００の４個と定義されており、１１０１〜１１１１についてはまだ定義されていない。

本発明の実施例ではまだ定義されていないvideo_object_layer_shape_extension値の補助要素に、より効率的な立体ビデオの符号化のために必要な補助情報を含むように定義する。

図２は、本発明の第１実施例による立体ビデオの符号化装置を示す図である。本発明の第１実施例による符号化装置は、図１に示した従来のＭＰＥＧ−４のＭＡＣに定義された補助要素を利用して立体ビデオデータを符号化するためのものである。

図２に図示したように、本発明の第１実施例による符号化装置は、変異推定器１００、ビデオ客体符号化器２００、補助要素符号化器３２０、及び可変長符号化器６００を含む。

ビデオ客体符号化器２００は、立体ビデオ中の一側の映像（本発明の実施例では左映像）を受信して、量子化されたビデオ客体及び動きベクトルを出力する。変異推定器１００は、左映像と右映像を受信して、左映像を基準にした右映像に対する画素単位の水平変異マップ(Horizontal disparity map)を求める。つまり、変異推定器１００は、右映像の画素値が左映像のどの位置に存在しているか探索して推測するために、水平軸に移動した位置ベクトル値を水平変異マップとして出力する。

補助要素符号化器３２０は、変異推定器１００によって出力された補助要素である水平変異マップと、ビデオ客体符号化器２００から出力される動きベクトルとを受信して、量子化された水平変異マップを出力する。

可変長符号化器６００は、ビデオ客体符号化器２００から出力される量子化されたビデオ客体及び動きベクトルと、補助要素符号化器３２０から出力される量子化された水平変異マップとを受信して、可変長（変化し得る長さ）の符号化をして符号化ストリームを出力する。

図３は、本発明の第１実施例による復号化装置を示す図である。

図３に図示したように、本発明の第１実施例による復号化装置は、可変長復号化器７００、ビデオ客体復号化器８００、補助要素復号化器９２０、及び変異補償器１０００を含む。

可変長復号化器７００は、図２に示した符号化器から出力された符号化ストリームの可変長復号化をして、ビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータを出力する。

ビデオ客体復号化器８００は、ビデオ客体の量子化されたデータ及び動きベクトルを受信して、ビデオ客体を復号化して左映像を復号化する。

補助要素復号化器９２０は、水平変異マップの量子化されたデータ及び動きベクトルを受信して、水平変異マップを復号化する。

変異補償器１０００は、復元された左映像及び水平変異マップを受信し、水平変異マップの変異ベクトル値に基づいて変異補償(disparity compensation)を行って、最終的に右映像を復元する。

前述のように、変異推定(disparity estimation)は、右映像の画素値が左映像のどの位置に存在しているか探索して推測する過程であって、水平軸に移動した位置ベクトル値を水平変異マップとして出力し、垂直軸に移動した位置ベクトル値を垂直変異マップ(vertical disparity map)として出力する。一般的に、変異マップといえば水平変異マップのみを意味する。その理由は、理想的な立体映像の左右映像は水平変異値のみを有し、垂直変異値は全て‘０’を有するからである。

本発明の第１実施例による符号化装置及び復号化装置には水平変異値のみ存在し、垂直変異値が‘０’である理想的なシステムに使用するためのものであって、従来から定義されているＭＡＣを利用する。

つまり、本発明の実施例による符号化装置及び復号化装置は、図１に示した従来の補助要素が変異タイプを含むvideo_object_layer_shape_extension値を利用して、水平変異マップを変異タイプの補助要素に割当てて符号化する。

この時、変異マップは、映像を構成する輝度(Luminance)データと色差(Chrominance)データのうち、輝度データに対して求められる。

コンピュータグラフィックスによって生成される立体ビデオの場合は、コンピュータによって理想的に生成されるため、垂直変異値は全て‘０’に設定して生成することができる。したがって、本発明の第１実施例による符号化及び復号化装置によっても正確な変異マップを求めることが可能であり、この情報だけで右映像の画質をある程度までは保障することができる。

しかし、立体カメラによって獲得された実像の場合は、コンピュータグラフィックスの映像とは異なって、実際に製作された立体カメラの形態及び性能によって垂直変異値が存在する。また、計算によって求められる水平変異ベクトル値による変異マップの正確性がコンピュータグラフィックスス映像より低下するので、水平変異情報だけで復元された右映像の画質は非常に低下する。

また、本発明の第１実施例の変異マップは、左映像にはない領域が右映像に存在する領域である閉塞領域(Occlusions area)に対する情報を含んでいないため、右映像の精密な復元は難しい。

したがって、以下で説明する本発明の実施例では、ＭＰＥＧ−４のＭＡＣに、右映像の情報として水平変異情報だけでなく、垂直変異及び残差テクスチャー(Residual texture)情報を含ませて、図４及び図５のような補助要素を有するvideo_object_layer_shape_extensionを定義する。

図４に示したvideo_object_layer_shape_extensionは、従来のＭＰＥＧ−４のＭＡＣに定義されない値（１１０１−１１１１）を本発明の実施例で補助要素として新しく定義したものであり、図５は、ＭＰＥＧ−４のＭＡＣで支援しない４個の補助要素を支援するために、video_object_layer_shape_extensionを本発明の実施例で新しく定義したものである。

この時、本発明の実施例によれば、図４及び図５に示したように、変異情報を水平及び垂直の変異値によって水平変異マップと垂直変異マップ情報に区分し、残差テクスチャーを、輝度残差テクスチャーと色差残差テクスチャー情報と定義して、映像の重要度及び複雑度によって補助情報を選択して符号化できるようにする。ここで、輝度残差テクスチャー情報は、符号化の後で復元された左映像と、復元された変異マップによって変異補償された右映像と、入力された右映像との輝度成分に対する残差映像データを言う。また、色差残差テクスチャー情報は、符号化の後で復元された左映像と、復元された変異マップによって変異補償された右映像と、入力された右映像との色差成分に対する残差映像データを言う。

図６及び図７は、各々本発明の第２実施例による符号化装置及び復号化装置を示す図である。図６及び図７に示した本発明の第２実施例による符号化装置及び復号化装置は、図４で立体ビデオの符号化のために新しく定義した水平変異、輝度残差テクスチャータイプの二つの補助要素を有するvideo_object_layer_shape_extensionを設定して、立体ビデオの符号化及び復号を行う。

図６に図示したように、本発明の第２実施例による符号化装置は、変異推定器１００、ビデオ客体符号化器２００、補助要素符号化器３２０、３４０、変異補償器４００、加算器５００、及び可変長符号化器６００を含む。

ビデオ客体符号化器２００は、立体ビデオ中の一側の映像（本発明の実施例では左映像）を受信して、量子化されたビデオ客体及び動きベクトルを出力し、量子化されたビデオ客体を復元した左映像を出力する。

変異推定器１００は、左映像と右映像を受信して、左映像を基準にした右映像に対する画素単位の水平変異マップを求める。

補助要素符号化器３２０は、変異推定器１００によって出力された補助要素である水平変異マップと、ビデオ客体符号化器２００から出力される動きベクトルとを受信して、量子化された水平変異マップを生成して出力し、量子化された水平変異マップを復元した水平変異マップを出力する。

変異補償器４００は、ビデオ客体符号化器２００から出力される復元された左映像の画素値（輝度）と、補助要素符号化器３２０から出力される復元された水平マップの水平変異ベクトル値とに基づいて変異補償を行い、補償された右映像の画素値（輝度）を出力する。

加算器５００は、右映像の画素値（輝度）と変異補償器４００から出力された変異補償された右映像の画素値（輝度）とを引き算して輝度残差テクスチャーを出力し、補助要素符号化器３４０は、輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する。

可変長符号化器６００は、ビデオ客体符号化器２００から出力される量子化されたビデオ客体及び動きベクトル、補助要素符号化器３２０から出力される量子化された水平変異マップ、補助要素符号化器３４０から出力される量子化された輝度残差テクスチャーに対して可変長符号化をして、符号化ストリームを出力する。

この時、本発明の第２実施例の符号化装置によって出力される符号化ストリームは図８の通りである。図８に図示したように、本発明の第２実施例の符号化装置（可変長符号化器）によって出力される符号化ストリームは、符号化されたビデオ客体（左映像）のマクロブロック、符号化された水平変異マップのための補助要素（ＡＣ［０］）のマクロブロック、符号化された輝度残差テクスチャーのための補助要素（ＡＣ［１］）のマクロブロックを含む。

図７は、本発明の第２実施例による復号化装置を示す図である。

図７に図示したように、本発明の第２実施例による復号化装置は、可変長復号化器７００、ビデオ客体復号化器８００、補助要素復号化器９２０、９４０、変異補償器１０００、及び加算器１１００を含む。

可変長復号化器７００は、図８に示した符号化器から出力された符号化ストリームの可変長復号化をして、ビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する。

ビデオ客体復号化器８００は、ビデオ客体の量子化されたデータ及び動きベクトルを受信し、ビデオ客体を復号化して左映像を復号化する。

補助要素復号化器９２０は、水平変異マップの量子化されたデータ及び動きベクトルを受信して、水平変異マップを復号化する。

補助要素復号化器９４０は、輝度残差テクスチャーの量子化されたデータ及び動きベクトルを受信して、輝度残差テクスチャーを復号化する。

変異補償器１０００は、復元された左映像と復元された水平変異マップとを受信し、水平変異マップの変異ベクトル値に基づいて変異補償を行う。

加算器１１００は、変異補償器１０００から変異補償されたデータのうち、変異補償された輝度テクスチャーと補助要素復号化器９４０から出力された復元された輝度残差テクスチャーとを加算して、右映像を復元する。

図６及び図７に示した本発明の第２実施例によれば、左映像は一つのビデオ客体として符号化及び復号化し、右映像は、本発明の実施例で提案したＭＡＣ（図４に示す）を利用して符号化及び復号化する。つまり、左映像を基準に求めた画素単位の水平変異マップは、aux_comp_type［０］に割当て、輝度成分に対する残差映像データである輝度残差テクスチャーは、aux_comp_type［１］に割当てて符号化及び復号化する。

本発明の第２実施例は、垂直変異マップと色差成分に対する残差映像データである色差残差テクスチャーの情報なしで符号化しても画質の劣化に大きな影響を与えない単純な映像であるか、又は精密な復元を必要としない映像の場合に利用することができる。

図９及び図１０は、各々本発明の第３実施例による符号化装置及び復号化装置を示す図である。図９及び図１０に示した符号化装置及び復号化装置は、図４で追加的に定義された水平変異、輝度残差テクスチャー、色差残差テクスチャータイプの３個の補助要素を有するvideo_object_layer_shape_extensionを設定して、符号化及び復号を行う。

つまり、本発明の第３実施例によれば、左映像を基準にして求めた画素単位の水平変異マップはaux_comp_type［０］に割当て、輝度残差テクスチャーはaux_comp_type［１］に割当て、色差成分に対する残差映像データである色差残差テクスチャーはaux_comp_type［２］に割り当てる。

このような本発明の第３実施例による符号化装置及び復号化装置は、垂直変異マップの情報なしで符号化しても画質の劣化に大きな影響を与えない単純な映像であるか、又は精密な復元を必要としない映像の場合に利用することができる。

図９に図示したように、本発明の第３実施例による符号化装置は、変異推定器１００、ビデオ客体符号化器２００、補助要素符号化器３２０、３４０、３６０、変異補償器４００、加算器５００、及び可変長符号化器６００を含む。

図９に示した構成要素のうち、図６に示した符号化装置と同一又は類似な機能をする構成要素については同一図面符号を付け、図６に示した構成要素と同一な動作をする構成要素については重複説明を省略する。

図９で、変異補償器４００は、ビデオ客体符号化器２００から出力される復元された左映像の画素値（輝度、色差）と、補助要素符号化器３２０から出力される復元された水平マップの水平変異ベクトル値とに基づいて変異補償を行い、補償された右映像の画素値（輝度、色差）を出力する。

加算器５００は、右映像の画素値（輝度、色差）と、変異補償器４００から出力された補償された右映像の画素値（輝度、色差）とを引き算して、輝度残差テクスチャーと色差残差テクスチャーを出力し、補助要素符号化器３４０、３６０は、各々輝度残差テクスチャーと色差残差テクスチャーを符号化して、量子化された輝度残差テクスチャーと量子化された色差残差テクスチャーを出力する。

可変長符号化器６００は、ビデオ客体符号化器２００から出力される量子化されたビデオ客体及び動きベクトル、補助要素符号化器３２０から出力される量子化された水平変異マップ、補助要素符号化器３４０から出力される量子化された輝度残差テクスチャー、補助要素符号化器３６０から出力される量子化された色差残差テクスチャーに対して可変長符号化をして、符号化ストリームを出力する。

この時、本発明の第３実施例の符号化装置から出力される符号化ストリームは図１１の通りである。図１１に図示したように、本発明の第３実施例の符号化装置によって出力される符号化ストリームは、符号化されたビデオ客体のマクロブロック、符号化された水平変異マップのための補助要素（ＡＣ［０］）のマクロブロック、符号化された輝度残差テクスチャーのための補助要素（ＡＣ［１］）のマクロブロック、符号化された色差残差テクスチャーのための補助要素（ＡＣ［２］）を含む。

図１０は、本発明の第３実施例による復号化装置を示す図である。

図１０に図示したように、本発明の第３実施例による復号化装置は、可変長復号化器７００、ビデオ客体復号化器８００、補助要素復号化器９２０、９４０、９６０、変異補償器１０００、及び加算器１１００、１２００を含む。

図１０に示した構成要素のうち、図７に示した復号化装置と同一又は類似な機能をする構成要素については同一図面符号を付け、図７に示した構成要素と同一な動作をする構成要素については重複説明を省略する。

可変長復号化器７００は、図１１に示した符号化器から出力された符号化ストリームの可変長復号化をして、ビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、輝度残差テクスチャーの量子化されたデータ、及び色差残差テクスチャーの量子化されたデータを出力する。

補助要素復号化器９４０は、輝度残差テクスチャーの量子化されたデータ及び動きベクトルを受信して、輝度残差テクスチャーを復号化する。

補助要素復号化器９６０は、色差残差テクスチャーの量子化されたデータ及び動きベクトルを受信して、色差残差テクスチャーを復号化する。

変異補償器１０００は、復元された左映像と復元された水平変異マップとを受信し、水平変異マップの変異ベクトル値に基づいて変異補償を行う。

加算器１１００は、変異補償器１０００から変異補償されたデータのうち、変異補償された輝度テクスチャーと補助要素復号化器９４０から出力された復元された輝度残差テクスチャーとを加算して、右映像の輝度成分を復元する。

加算器１２００は、変異補償器１０００から変異補償されたデータのうち、変異補償された色差テクスチャーと補助要素復号化器９６０から出力された復元された色差残差テクスチャーとを加算して、右映像の色差成分を復元する。

図１２及び図１３は、本発明の第４実施例による符号化装置及び復号化装置を示す図である。本発明の第４実施例による符号化装置及び復号化装置は、図４に追加的に定義した水平変異、垂直変異、輝度残差テクスチャータイプの３個の補助要素を有するvideo_object_layer_shape_extensionを設定して、符号化及び復号化を行う。

つまり、本発明の第４実施例によれば、左映像を基準に求めた画素単位の水平変異マップはaux_comp_type［０］に割当て、左映像を基準に求めた画素単位の垂直変異マップはaux_comp_type［１］に割当て、輝度成分に対する残差映像データである輝度残差テクスチャーはaux_comp_type［２］に割り当てる。

このような本発明の第４実施例による符号化装置及び復号化装置は、色差成分に対する残差映像データである色差残差テクスチャーの情報なしで符号化しても画質の劣化に大きな影響を与えない単純な映像であるか、又は精密な復元を必要としない映像の場合に利用することができる。

図１２に図示したように、本発明の第４実施例による符号化装置は、変異推定器１００、ビデオ客体符号化器２００、補助要素符号化器３２０、３４０、３８０、変異補償器４２０、加算器５００、及び可変長符号化器６００を含む。

図１２に示した構成要素のうち、図６に示した符号化装置と同一又は類似な機能をする構成要素については同一図面符号を付け、図６に示した構成要素と同一な動作をする構成要素については重複説明を省略する。

図１２で、変異推定器１００は、左映像と右映像を受信して、左映像を基準にした右映像に対する画素単位の水平変異マップと垂直変異マップを求める。

補助要素符号化器３８０は、変異推定器１００によって出力された垂直変異マップと、ビデオ客体符号化器２００から出力される動きベクトルとを受信して、量子化された垂直変異マップを生成して出力し、また、量子化された垂直変異マップを復元した垂直変異マップを出力する。

変異補償器４２０は、ビデオ客体符号化器２００から出力される復元された左映像の画素値（輝度）、補助要素符号化器３２０から出力される復元された水平変異マップの水平変異ベクトル値、補助要素符号化器３８０から出力される復元された垂直変異マップの垂直変異ベクトル値に基づいて変異補償を行い、補償された右映像の画素値（輝度）を出力する。

加算器５００は、右映像の画素値（輝度）と変異補償器４２０から出力された変異補償された右映像の画素値（輝度）とを引き算して輝度残差テクスチャーを出力し、補助要素符号化器３４０は、輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する。

可変長符号化器６００は、ビデオ客体符号化器２００から出力される量子化されたビデオ客体及び動きベクトル、補助要素符号化器３２０から出力される量子化された水平変異マップ、補助要素符号化器３８０から出力される量子化された垂直変異マップ、補助要素符号化器３４０から出力される量子化された輝度残差テクスチャーに対して可変長符号化をし、符号化ストリームを出力する。

この時、本発明の第４実施例の符号化装置によって出力される符号化ストリームは、図１４の通りである。図１４に図示したように、本発明の第４実施例への符号化装置によって出力される符号化ストリームは、符号化されたビデオ客体のマクロブロック、符号化された水平変異マップのための補助要素（ＡＣ［０］）のマクロブロック、符号化された垂直変異マップのための補助要素（ＡＣ［１］）のマクロブロック、符号化された輝度残差テクスチャーのための補助要素（ＡＣ［２］）を含む。

図１３は、本発明の第４実施例による復号化装置を示す図である。

図１３に図示したように、本発明の第４実施例による復号化装置は、可変長復号化器７００、ビデオ客体復号化器８００、補助要素復号化器９２０、９４０、９８０、変異補償器２０００、及び加算器１１００を含む。

図１３に示した構成要素のうち、図７に示した復号化装置と同一又は類似な機能をする構成要素については同一図面符号を付け、図７に示した構成要素と同一な動作をする構成要素については重複説明を省略する。

可変長復号化器７００は、図１４に示した符号化器から出力された符号化ストリームの可変長復号化をして、ビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、垂直変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する。

補助要素復号化器９８０は、垂直変異マップの量子化されたデータ及び動きベクトルを受信して、垂直変異マップを復号化する。

変異補償器２０００は、復元された左映像、復元された水平変異マップ、及び復元された垂直変異マップを受信し、水平変異マップ及び垂直変異マップの変異ベクトル値に基づいて変異補償を行う。

加算器１１００は、変異補償器２０００から変異補償されたデータのうち、変異補償された輝度テクスチャーと補助要素復号化器９４０から出力された復元された輝度残差テクスチャーとを加算して、右映像の輝度成分を復元する。

図１５及び図１６は、本発明の第５実施例による符号化装置及び復号化装置を示した図である。本発明の第５実施例による符号化装置及び復号化装置は、図５に図示したように、ＭＡＣの補助要素の数を４個以上に拡張する場合に追加的に定義した水平変異、垂直変異、輝度残差テクスチャー、色差残差テクスチャータイプの４個の補助要素を有するvideo_object_layer_shape_extensionを設定して、符号化及び復号化を行う。

つまり、本発明の第５実施例による符号化装置及び復号化装置は、左映像を基準に求めた画素単位の水平変異マップはaux_comp_type［０］に割当て、左映像を基準に求めた画素単位の垂直変異マップはaux_comp_type［１］に割当て、輝度成分に対する残差映像データである輝度残差テクスチャーはaux_comp_type［２］に割当て、色差成分に対する残差映像データである色差残差テクスチャーはaux_comp_type［３］に割当てて、符号化及び復号化を行う。

このような本発明の第５実施例は、右映像に対する全ての補助情報を利用して優れた画質の映像を復元しようとする場合に利用することができる。

図１５に図示したように、本発明の第５実施例による符号化装置は、変異推定器１００、ビデオ客体符号化器２００、補助要素符号化器３２０、３４０、３６０、３８０、変異補償器４２０、加算器５００、及び可変長符号化器６００を含む。

図１５に示した構成要素のうち、図１２に示した符号化装置と同一又は類似な機能をする構成要素については同一図面符号を付け、図１２に示した構成要素と同一な動作をする構成要素については重複説明を省略する。

図１５で、変異推定器１００は、左映像と右映像を受信して、左映像を基準にした右映像に対する画素単位の水平変異マップと垂直変異マップを求める。

補助要素符号化器３８０は、変異推定器１００によって出力された垂直変異マップとビデオ客体符号化器２００から出力される動きベクトルとを受信して、量子化された垂直変異マップを生成して出力し、また、量子化された垂直変異マップを復元した垂直変異マップを出力する。

変異補償器４２０は、ビデオ客体符号化器２００から出力される復元された左映像の画素値（輝度、色差）、補助要素符号化器３２０から出力される復元された水平変異マップの水平変異ベクトル値、及び補助要素符号化器３８０から出力される復元された垂直変異マップの垂直変異ベクトル値に基づいて変異補償を行い、補償された右映像の画素値（輝度、色差）を出力する。

加算器５００は、右映像の画素値（輝度、色差）と変異補償器４２０から出力された変異補償された右映像の画素値（輝度、色差）とを引き算して輝度残差テクスチャーと色差残差テクスチャーを出力し、補助要素符号化器３４０及び補助要素符号化器３６０は、各々輝度残差テクスチャーと色差残差テクスチャーを符号化して、量子化された輝度残差テクスチャーと量子化された色差残差テクスチャーを出力する。

可変長符号化器６００は、ビデオ客体符号化器２００から出力される量子化されたビデオ客体及び動きベクトル、補助要素符号化器３２０から出力される量子化された水平変異マップ、補助要素符号化器３８０から出力される量子化された垂直変異マップ、補助要素符号化器３４０から出力される量子化された輝度残差テクスチャー、及び補助要素符号化器３６０から出力される色差残差テクスチャーに対して可変長符号化をして、符号化ストリームを出力する。

この時、本発明の第５実施例の符号化装置によって出力される符号化ストリームは、図１７の通りである。図１７に図示したように、本発明の第５実施例の符号化装置によって出力される符号化ストリームは、符号化されたビデオ客体のマクロブロック、符号化された水平変異マップのための補助要素（ＡＣ［０］）のマクロブロック、符号化された垂直変異マップのための補助要素（ＡＣ［１］）のマクロブロック、符号化された輝度残差テクスチャーのための補助要素（ＡＣ［２］）、及び符号化された色差残差テクスチャーのための補助要素（ＡＣ［３］）を含む。

図１６は、本発明の第５実施例による復号化装置を示す図である。

図１６に図示したように、本発明の第５実施例による復号化装置は、可変長復号化器７００、ビデオ客体復号化器８００、補助要素復号化器９２０、９４０、９６０、９８０、変異補償器２０００、及び加算器１１００、１２００を含む。

図１６に示した構成要素のうち、図１３に示した復号化装置と同一又は類似な機能をする構成要素については同一図面符号を付け、図１３に示した構成要素と同一な動作をする構成要素については重複説明を省略する。

可変長復号化器７００は、図１７に示した符号化器から出力された符号化ストリームの可変長復号化をして、ビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、垂直変異マップの量子化されたデータ、輝度残差テクスチャーの量子化されたデータ、及び色差残差テクスチャーの量子化されたデータを出力する。

変異補償器２０００は、復元された左映像、復元された水平変異マップ、及び復元された垂直変異マップを受信し、水平変異マップ及び垂直変異マップの変異ベクトル値に基づいて変異補償を行う。

加算器１１００は、変異補償器２０００から変異補償されたデータのうち、変異補償された輝度テクスチャーと補助要素復号化器９４０から出力された復元された輝度残差テクスチャーとを加算して、右映像の輝度成分を復元する。

加算器１２００は、変異補償器２０００から変異補償されたデータのうち、変異補償された色差テクスチャーと補助要素復号化器９６０から出力された復元された色差残差テクスチャーとを加算して、右映像の色差成分を復元する。

以下では、前述の本発明の実施例によるビデオ客体符号化器２００、補助要素符号化器３２０、３４０、３６０、３８０、ビデオ客体復号化器８００、及び補助要素復号化器９２０、９４０、９６０、９８０をより詳細に説明する。

図１８は、本発明の実施例によるビデオ客体符号化器２００をより詳細に示した図である。

図１８に図示したように、本発明の実施例によるビデオ客体符号化器２００は、符号化部２２０、復号化部２４０、動き推定器２６０、及び動き補償器２８０を含む。

符号化部２２０は、ビデオ客体データ（左映像）と動き補償されたデータを引き算したデータとを離散コサイン変換し、量子化して、量子化されたビデオ客体を出力する。符号化部２２０は、ビデオ客体データと動き補償されたデータとを引き算するための加算器２２１、加算器２２１から出力された残差データを離散コサイン変換するための離散コサイン変換器２２２、及び離散コサイン変換器２２２から出力されたデータを量子化するための量子化器２２３を含む。

復号化部２４０は、前記符号化部２２０から出力される量子化されたビデオ客体を逆量子化し、逆離散コサイン変換してビデオ客体データを復元する。復号化部２４０は、符号化部２２０から出力される量子化されたビデオ客体を逆量子化するための逆量子化器２４１、逆量子化器２４１から出力されたデータに対して逆離散コサイン変換を行う逆離散コサイン変換器２４２、逆離散コサイン変換器２４２から出力されるビデオ客体と動き補償されたデータとを加算してビデオ客体データを復元する加算器２４３、及び加算器２４３から出力される復元された左映像を貯蔵するメモリ２４４を含む。

動き推定器２６０は、ビデオ客体データ（左映像）とメモリ２４４に貯蔵された直前フレームの復元された左映像とを比較して、動きベクトル（ＭＶ）を出力する。

動き補償器２８０は、動き推定器２６０から出力される動きベクトルとメモリ２４４に貯蔵される直前フレームの左映像とを比較して、動き補償データを出力する。

図１９は、本発明の実施例による補助要素符号化器をより詳細に示した図である。

図１９に図示したように、本発明の実施例による補助要素符号化器３００は、符号化部３１０、復号化部３３０、及び動き補償器３５０を含む。

符号化部３１０は、補助要素データと動き補償されたデータを引き算されたデータとを離散コサイン変換し、量子化して、量子化された補助要素データを出力する。符号化部３１０は、補助要素データと動き補償されたデータとを引き算するための加算器３１１、加算器３１１から出力された残差データを離散コサイン変換するための離散コサイン変換器３１２、及び離散コサイン変換器３１２から出力されたデータを量子化するための量子化器３１３を含む。

復号化部３３０は、前記符号化部３１０から出力される量子化された補助要素データを逆量子化し、逆離散コサイン変換して補助要素データを復元する。復号化部３３０は、符号化部３１０から出力される量子化された補助要素データを逆量子化するための逆量子化器３３１、逆量子化器３３１から出力されたデータに対して逆離散コサイン変換を行う逆離散コサイン変換器３３２、逆離散コサイン変換器３３２から出力される補助要素データと動き補償されたデータとを加算して補助要素データを復元する加算器３３３、及び加算器３３３から出力される復元された補助要素データを貯蔵するメモリ３３４を含む。

動き補償器３５０は、ビデオ客体符号化器２００の動き推定器２６０から出力される動きベクトルとメモリ３３４に貯蔵される直前フレームの補助要素データとを比較して、補助要素に対する動き補償データを出力する。

図２０は、本発明の実施例によるビデオ客体復号化器８００を示す図である。

図２０に図示したように、本発明の実施例によるビデオ客体復号化器８００は、逆量子化器８１０、逆離散コサイン変換器８２０、加算器８３０、動き補償器８５０、及びメモリ８４０を含む。

逆量子化器８１０は、可変長復号化器から出力されるビデオ客体の量子化されたデータを逆量子化し、逆離散コサイン変換器８２０は、逆量子化器８１０から出力されたデータに対して逆離散コサイン変換を行う。動き補償器８５０は、メモリ８４０に貯蔵された直前フレームの復元されたビデオ客体データと動きベクトルとを比較して動き補償を行い、補償された動きベクトルデータを出力する。

加算器８３０は、逆離散コサイン変換器８２０から出力されるビデオ客体と動き補償器８５０から出力される動き補償されたベクトルデータとを加算して、復元されたビデオ客体データを出力する。

図２１は、本発明の実施例による補助要素復号化器９００を示す図である。

図２１に図示したように、本発明の実施例による補助要素復号化器９００は、逆量子化器９０１、逆離散コサイン変換器９０２、加算器９０３、動き補償器９０５、及びメモリ９０４を含む。

逆量子化器９０１は、可変長復号化器から出力される補助要素の量子化されたデータを逆量子化し、逆離散コサイン変換器９０２は、逆量子化器９０１から出力されたデータに対して逆離散コサイン変換を行う。動き補償器９０５は、メモリ９０４に貯蔵された直前フレームの復元された補助要素データと動きベクトルとを比較して動きを補償し、補償された動きベクトルデータを出力する。

加算器９０３は、逆離散コサイン変換器９０２から出力される補助要素データと動き補償器９０５から出力される動き補償されたベクトルデータとを加算して、復元されたビデオ客体データを出力する。

以上で説明したように、本発明の実施例によれば、現在のＭＰＥＧ−４のＭＡＣを利用して立体ビデオを符号化するので、ＭＰＥＧ−４の符号化技術及びシステムをそのまま利用できるように互換性を維持することができる。

また、本発明の実施例によれば、左右映像に対する符号化ストリームを単一の符号化ストリームとして出力するので、左右映像間の同期化を簡単に行うことができる。

また、本発明は、４個に分離された右映像の補助情報を多様な形態でＭＡＣに割当て、使用者又は製作者が要求する映像画質の水準に応じて選択して符号化することにより、符号化の効率を向上させることができる。

以上、本発明の実施例について説明したが、本発明は前記実施例にのみ限定されるものではなく、その他の多様な変更や変形が可能である。

例えば、本発明ではＭＰＥＧ−４で定義したＭＡＣを利用して補助情報を割当てたが、その外に他のプロトコルで定義した情報を利用することもできる。

ＭＰＥＧ−４に定義されているvideo_object_layer_shape_extensionの補助要素のタイプ及び数を示す図である。 本発明の第１実施例による立体ビデオの符号化装置を示す図である。 本発明の第１実施例による立体ビデオの復号化装置を示す図である。 本発明の実施例による立体ビデオの符号化のために、追加的な定義が要求されるvideo_object_layer_shape_extensionの補助要素のタイプ及び数を示す図である。 ＭＡＣの補助要素の数を４個以上に拡張する場合、追加的に定義が要求されるvideo_object_layer_shape_extensionの補助要素のタイプ及び数を示す図である。 本発明の第２実施例による立体ビデオの符号化装置を示す図である。 本発明の第２実施例による立体ビデオの復号化装置を示す図である。 本発明の第２実施例による符号化装置から出力される符号化ストリームを示す図である。 本発明の第３実施例による立体ビデオの符号化装置を示す図である。 本発明の第３実施例による立体ビデオの復号化装置を示す図である。 本発明の第３実施例による符号化装置から出力される符号化ストリームを示す図である。 本発明の第４実施例による立体ビデオの符号化装置を示す図である。 本発明の第４実施例による立体ビデオの復号化装置を示す図である。 本発明の第４実施例による符号化装置から出力される符号化ストリームを示す図である。 本発明の第５実施例による立体ビデオの符号化装置を示す図である。 本発明の第５実施例による立体ビデオの復号化装置を示す図である。 本発明の第５実施例による符号化装置から出力される符号化ストリームを示す図である。 本発明の実施例によるビデオ客体符号化器を詳細に示す図である。 本発明の実施例による補助要素符号化器を詳細に示す図である。 本発明の実施例によるビデオ客体復号化器を詳細に示す図である。 本発明の実施例による補助要素復号化器を詳細に示す図である。

Claims (46)

1. 第１映像及び第２映像を有する立体ビデオの符号化方法であって、
   （ａ）前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力する段階；
   （ｂ）前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める段階；及び
   （ｃ）直前フレームの前記水平変異マップと前記動きベクトルを利用して動き補償データを生成し、前記画素単位の水平変異マップと前記動き補償データを引き算したデータを符号化して、量子化された水平変異マップを出力する段階；
   を含む立体ビデオの符号化方法。
2. （ｄ）前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップに対し、可変長符号化をして単一ストリームとして出力する段階をさらに含む、請求項１に記載の立体ビデオの符号化方法。
3. 前記量子化された水平変異マップが、ＭＰＥＧ−４−ＭＡＣの変異タイプ補助要素に割当てられて符号化されることを特徴とする、請求項１に記載の立体ビデオの符号化方法。
4. 前記第１映像は左映像であり、前記第２映像は右映像であることを特徴とする、請求項１に記載の立体ビデオの符号化方法。
5. 第１映像及び第２映像を有する立体ビデオの復号化方法であって、
   （ａ）符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、及び水平変異マップの量子化されたデータを出力する段階；
   （ｂ）前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元する段階；
   （ｃ）直前フレームの復元された前記水平変異マップと前記動きベクトルを利用して動き補償データを生成し、前記水平変異マップの量子化されたデータ及び前記動き補償データに基づいて、前記水平変異マップの量子化されたデータを復号化する段階；及び
   （ｄ）前記復元された第１映像と前記復号化された水平変異マップに基づいて変異補償を行い、前記第２映像を復元する段階；
   を含む立体ビデオの復号化方法。
6. 前記第１映像は左映像であり、前記第２映像は右映像であることを特徴とする、請求項５に記載の立体ビデオの復号化方法。
7. 第１映像及び第２映像を有する立体ビデオの符号化方法であって、
   （ａ）前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力する段階；
   （ｂ）前記段階（ａ）で出力された前記量子化されたビデオ客体を復号化して、前記第１映像を復元する段階；
   （ｃ）前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める段階；
   （ｄ）直前フレームの前記水平変異マップと前記動きベクトルを利用して動き補償データを生成し、前記画素単位の水平変異マップと前記動き補償データを引き算したデータを符号化して、量子化された水平変異マップを出力する段階；
   （ｅ）前記段階（ｄ）で出力された前記量子化された水平変異マップを復元して、復元された水平変異マップを出力する段階；
   （ｆ）前記段階（ｂ）で復元された第１映像の画素値と、前記段階（ｅ）で復元された前記水平変異マップの水平変異ベクトル値に基づいて、変異補償を行い、変異補償された第２映像の画素値を出力する段階；及び
   （ｇ）前記第２映像の画素値と前記段階（ｆ）で出力された変異補償された第２映像の画素値とを引き算して輝度残差テクスチャーを出力し、前記輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する段階；
   を含む立体ビデオの符号化方法。
8. （ｈ）前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、及び前記量子化された輝度残差テクスチャーに対して可変長符号化をし、単一ストリームとして出力する段階をさらに含む、請求項７に記載の立体ビデオの符号化方法。
9. 前記量子化された水平変異マップ及び前記量子化された輝度残差テクスチャーが、ＭＰＥＧ−４−ＭＡＣに割当てられて符号化されることを特徴とする、請求項７に記載の立体ビデオの符号化方法。
10. 前記第１映像は左映像であり、前記第２映像は右映像であることを特徴とする、請求項７に記載の立体ビデオの符号化方法。
11. （ｈ）前記第２映像の画素値と前記段階（ｆ）で出力された変異補償された第２映像の画素値とを引き算して色差残差テクスチャーを出力し、前記色差残差テクスチャーを符号化して、量子化された色差残差テクスチャーを出力する段階をさらに含む、請求項７に記載の立体ビデオの符号化方法。
12. （ｉ）前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、前記量子化された輝度残差テクスチャー、前記量子化された色差残差テクスチャーに対し、可変長符号化をして単一ストリームとして出力する段階をさらに含む、請求項１１に記載の立体ビデオの符号化方法。
13. 前記量子化された水平変異マップ、前記量子化された輝度残差テクスチャー、及び前記量子化された色差残差テクスチャーが、ＭＰＥＧ−４−ＭＡＣに割当てられて符号化されることを特徴とする、請求項１１に記載の立体ビデオの符号化方法。
14. 第１映像及び第２映像を有する立体ビデオの復号化方法であって、
    （ａ）符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する段階；
    （ｂ）前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元する段階；
    （ｃ）直前フレームの復元された前記水平変異マップと前記動きベクトルを利用して動き補償データを生成し、前記水平変異マップの量子化されたデータ及び前記動き補償データに基づいて、前記水平変異マップの量子化されたデータを復号化する段階；
    （ｄ）前記輝度残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記輝度残差テクスチャーの量子化されたデータを復号化する段階；
    （ｅ）前記復元された第１映像及び前記復号化された水平変異マップに基づいて変異補償を行い、変異補償された輝度テクスチャーを出力する段階；
    （ｆ）前記変異補償された輝度テクスチャーと前記段階（ｄ）で復元した前記輝度残差テクスチャーを加算して、前記第２映像を復元する段階；
    を含む立体ビデオの復号化方法。
15. 前記第１映像は左映像であり、前記第２映像は右映像であることを特徴とする、請求項１４に記載の立体ビデオの復号化方法。
16. 前記段階（ａ）は、前記符号化ストリームを受信して、色差残差テクスチャーの量子化されたデータを追加的に出力し、
    前記段階（ｄ）は、前記色差残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記色差残差テクスチャーの量子化されたデータを追加的に復号化し、
    前記段階（ｆ）は、前記変異補償された色差テクスチャーと前記色差残差テクスチャーを追加的に加算して、前記第２映像を復元することを特徴とする、請求項１４に記載の立体ビデオの復号化方法。
17. 第１映像及び第２映像を有する立体ビデオの符号化方法であって、
    （ａ）前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力する段階；
    （ｂ）前記段階（ａ）で出力された前記量子化されたビデオ客体を復号化して、前記第１映像を復元する段階；
    （ｃ）前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップと画素単位の垂直変異マップを求める段階；
    （ｄ）直前フレームの前記水平変異マップと前記動きベクトルを利用して第１動き補償データを生成し、前記画素単位の水平変異マップと前記第１動き補償データを引き算したデータを符号化して、量子化された水平変異マップを出力する段階；
    （ｅ）直前フレームの前記垂直変異マップと前記動きベクトルを利用して第２動き補償データを生成し、前記画素単位の垂直変異マップと前記第２動き補償データを引き算したデータを符号化して、量子化された垂直変異マップを出力する段階；
    （ｆ）前記段階（ｄ）で出力された前記量子化された水平変異マップを復元して、復元された水平変異マップを出力する段階；
    （ｇ）前記段階（ｅ）で出力された前記量子化された垂直変異マップを復元して、復元された垂直変異マップを出力する段階；
    （ｈ）前記段階（ｂ）で復元された第１映像の画素値、前記段階（ｆ）で復元された前記水平変異マップの水平変異ベクトル値、前記段階（ｈ）で復元された前記垂直変異マップの垂直変異ベクトル値に基づいて、変異補償を行い、変異補償された第２映像の画素値を出力する段階；及び
    （ｉ）前記第２映像の画素値と前記段階（ｈ）で出力された変異補償された第２映像の画素値とを引き算して輝度残差テクスチャーを出力し、前記輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する段階；
    を含む立体ビデオの符号化方法。
18. （ｊ）前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、前記量子化された垂直変異マップ、及び前記量子化された輝度残差テクスチャーに対して可変長符号化をし、単一ストリームとして出力する段階をさらに含む、請求項１７に記載の立体ビデオの符号化方法。
19. 前記量子化された水平変異マップ、前記量子化された垂直変異マップ、及び前記量子化された輝度残差テクスチャーが、ＭＰＥＧ−４−ＭＡＣに割当てられて符号化されることを特徴とする、請求項１７に記載の立体ビデオの符号化方法。
20. 前記第１映像は左映像であり、前記第２映像は右映像であることを特徴とする、請求項１７に記載の立体ビデオの符号化方法。
21. （ｊ）前記第２映像の画素値と前記段階（ｈ）で出力された変異補償された第２映像の画素値とを引き算して色差残差テクスチャーを出力し、前記色差残差テクスチャーを符号化して、量子化された色差残差テクスチャーを出力する段階をさらに含む、請求項１７に記載の立体ビデオの符号化方法。
22. （ｋ）前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、前記量子化された垂直変異マップ、前記量子化された輝度残差テクスチャー、及び前記量子化された色差残差テクスチャーに対して可変長符号化をし、単一ストリームとして出力する段階をさらに含む、請求項２１に記載の立体ビデオの符号化方法。
23. 第１映像及び第２映像を有する立体ビデオの復号化方法であって、
    （ａ）符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、垂直変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する段階；
    （ｂ）前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元する段階；
    （ｃ）直前フレームの復元された前記水平変異マップと前記動きベクトルを利用して第１動き補償データを生成し、前記水平変異マップの量子化されたデータ及び前記第１動き補償データに基づいて、前記水平変異マップの量子化されたデータを復号化する段階；
    （ｄ）直前フレームの復元された前記垂直変異マップと前記動きベクトルを利用して第２動き補償データを生成し、前記垂直変異マップの量子化されたデータ及び前記第２動き補償データに基づいて、前記垂直変異マップの量子化されたデータを復号化する段階；
    （ｅ）前記輝度残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記輝度残差テクスチャーの量子化されたデータを復号化する段階；
    （ｆ）前記復元された第１映像、前記復号化された水平変異マップ、及び前記復号化された垂直変異マップに基づいて変異補償を行い、変異補償された輝度テクスチャーを出力する段階；
    （ｇ）前記変異補償された輝度テクスチャーと前記段階（ｅ）で復元した前記輝度残差テクスチャーを加算して、前記第２映像を復元する段階；
    を含む立体ビデオの復号化方法。
24. 前記段階（ａ）は、前記符号化ストリームを受信して、色差残差テクスチャーの量子化されたデータを追加的に出力し、
    前記段階（ｅ）は、前記色差残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記色差残差テクスチャーの量子化されたデータを追加的に復号化し、
    前記段階（ｇ）は、前記変異補償された色差テクスチャーと前記色差残差テクスチャーを追加的に加算して、前記第２映像を復元することを特徴とする、請求項２３に記載の立体ビデオの復号化方法。
25. 第１映像及び第２映像を有する立体ビデオの符号化装置であって、
    前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力するビデオ客体符号化器；
    前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める変異推定器；及び
    メモリに貯蔵された直前フレームの前記水平変異マップと前記ビデオ客体符号化器から出力される前記動きベクトルを利用して動き補償データを生成し、前記変異推定器から出力される前記画素単位の水平変異マップと前記動き補償データを引き算したデータを符号化して、量子化された水平変異マップを出力する補助要素符号化器；
    を含む立体ビデオの符号化装置。
26. 前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップに対して可変長符号化をし、単一ストリームとして出力する可変長符号化器をさらに含む、請求項２５に記載の立体ビデオの符号化装置。
27. 第１映像及び第２映像を有する立体ビデオの復号化装置であって、
    符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、及び水平変異マップの量子化されたデータを出力する可変長復号化器；
    前記可変長復号化器から出力される前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元するビデオ客体復号化器；
    メモリに貯蔵された直前フレームの復元された前記水平変異マップと前記可変長復号化器から出力される前記動きベクトルを利用して動き補償データを生成し、前記可変長復号化器から出力される前記水平変異マップの量子化されたデータ及び前記動き補償データに基づいて、前記水平変異マップの量子化されたデータを復号化する補助要素復号化器；及び
    前記ビデオ客体復号化器から出力される前記復元された第１映像及び前記補助要素復号化器から出力される前記復号化された水平変異マップに基づいて変異補償を行い、前記第２映像を復元する変異補償器；
    を含む立体ビデオの復号化装置。
28. 第１映像及び第２映像を有する立体ビデオの符号化装置であって、
    前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力し、前記量子化されたビデオ客体を復号化して、復元された第１映像を出力するビデオ客体符号化器；
    前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める変異推定器；
    メモリに貯蔵された直前フレームの前記水平変異マップと前記ビデオ客体符号化器から 出力される前記動きベクトルを利用して動き補償データを生成し、前記変異推定器から出力される前記画素単位の水平変異マップと前記動き補償データを引き算したデータを符号化して量子化された水平変異マップを出力し、出力された前記量子化された水平変異マップを復号化して、復元された水平変異マップを出力する第１補助要素符号化器；
    前記ビデオ客体符号化器から出力された復元された第１映像の画素値と前記第１補助要素符号化器から出力された前記復元された水平変異マップの水平変異ベクトル値とに基づいて、変異補償を行い、変異補償された第２映像の画素値を出力する変異補償器；及び
    前記第２映像の画素値と前記変異補償器から出力された変異補償された第２映像の画素値とを引き算して輝度残差テクスチャーを出力し、前記輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する第２補助要素符号化器；
    を含む立体ビデオの符号化装置。
29. 前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、及び前記量子化された輝度残差テクスチャーに対して可変長符号化をし、単一ストリームとして出力する可変長符号化器をさらに含む、請求項２８に記載の立体ビデオの符号化装置。
30. 前記量子化された水平変異マップ及び前記量子化された輝度残差テクスチャーが、ＭＰＥＧ−４−ＭＡＣに割当てられて符号化されることを特徴とする、請求項２８に記載の立体ビデオの符号化装置。
31. 前記第２映像の画素値と前記変異補償器から出力された変異補償された第２映像の画素値とを引き算して色差残差テクスチャーを出力し、前記色差残差テクスチャーを符号化して、量子化された色差残差テクスチャーを出力する第３補助要素符号化器をさらに含む、請求項２８に記載の立体ビデオの符号化装置。
32. 前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、前記量子化された輝度残差テクスチャー、及び前記量子化された色差残差テクスチャーに対して可変長符号化をし、単一ストリームとして出力する可変長符号化器をさらに含む、請求項３１に記載の立体ビデオの符号化装置。
33. 前記量子化された水平変異マップ、前記量子化された輝度残差テクスチャー、及び前記量子化された色差残差テクスチャーが、ＭＰＥＧ−４−ＭＡＣに割当てられて符号化されることを特徴とする、請求項３１に記載の立体ビデオの符号化装置。
34. 前記変異推定器は、前記第１映像を基準にした前記第２映像に対する画素単位の垂直変異マップを追加的に出力し、
    前記立体ビデオの符号化装置は、前記メモリに貯蔵された直前フレームの前記垂直変異マップと前記ビデオ客体符号化器から出力される前記動きベクトルを利用して第２動き補償データを生成し、前記変異推定器から出力される前記画素単位の垂直変異マップと前記第２動き補償データを引き算したデータを符号化して、量子化された垂直変異マップを出力する第３補助要素符号化器を追加的に含み、
    前記変異補償器は、前記復元された第１映像の画素値、前記復元された水平変異マップの水平変異ベクトル値、及び前記復元された垂直変異マップに基づいて、変異補償を行い、変異補償された第２映像の画素値を出力することを特徴とする、請求項２８に記載の立体ビデオの符号化装置。
35. 前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、前記量子化された垂直変異マップ、及び前記量子化された輝度残差テクスチャーに対して可変長符号化をし、単一ストリームとして出力する可変長符号化器をさらに含む、請求項３４に記載の立体ビデオの符号化装置。
36. 前記量子化された水平変異マップ、前記量子化された垂直変異マップ、及び前記量子化された輝度残差テクスチャーが、ＭＰＥＧ−４−ＭＡＣに割当てられて符号化されることを特徴とする、請求項３４に記載の立体ビデオの符号化装置。
37. 前記第２映像の画素値と前記変異補償器から出力される変異補償された第２映像の画素値とを引き算して色差残差テクスチャーを出力し、前記色差残差テクスチャーを符号化して、量子化された色差残差テクスチャーを出力する第４補助要素符号化器をさらに含む、請求項３４に記載の立体ビデオの符号化装置。
38. 前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、前記量子化された垂直変異マップ、前記量子化された輝度残差テクスチャー、及び前記量子化された色差残差テクスチャーに対して可変長符号化をし、単一ストリームとして出力する可変長符号化器をさらに含む、請求項３７に記載の立体ビデオの符号化装置。
39. 前記ビデオ客体符号化器は、
    前記第１映像と動き補償されたデータを引き算して、引き算されたデータに対して離散コサイン変換及び量子化を遂行し、量子化されたビデオ客体を出力する符号化部；
    前記符号化部から出力される量子化されたビデオ客体に対して逆量子化及び逆離散コサイン変換を遂行し、ビデオ客体データを復元してメモリに貯蔵する復号化部；
    前記第１映像と前記メモリに貯蔵された直前フレームの復元されたビデオ客体データとを比較して、動きベクトルを出力する動き推定器；及び
    前記動き推定器から出力される動きベクトルと前記メモリに貯蔵された直前フレームの復元されたビデオ客体データとを比較して、前記動き補償データを出力する動き補償器；
    を含む、請求項２８に記載の立体ビデオの符号化装置。
40. 前記第１補助要素符号化器は、
    前記水平変異マップと動き補償されたデータを引き算して、引き算されたデータに対して離散コサイン変換及び量子化を遂行し、量子化された水平変異マップを出力する符号化部；
    前記符号化部から出力される量子化された水平変異マップに対して逆量子化及び逆離散コサイン変換を遂行し、水平変異マップを復元してメモリに貯蔵する復号化部；
    前記ビデオ客体符号化器の前記動き推定器から出力される動きベクトルと前記メモリに貯蔵された直前フレームの復元された水平変異マップとを比較して、前記動き補償データを出力する動き補償器；
    を含む、請求項３９に記載の立体ビデオの符号化装置。
41. 第１映像及び第２映像を有する立体ビデオの復号化装置であって、
    符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する可変長復号化器；
    前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元するビデオ客体復号化器；
    メモリに貯蔵された直前フレームの復元された前記水平変異マップと前記動きベクトルを利用して動き補償データを生成し、前記水平変異マップの量子化されたデータ及び前記動き補償データに基づいて、前記水平変異マップの量子化されたデータを復号化する第１補助要素復号化器；
    前記輝度残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記輝度残差テクスチャーの量子化されたデータを復号化する第２補助要素復号化器；
    前記ビデオ客体復号化器から出力される前記復元された第１映像及び前記第１補助要素復号化器から出力される復号化された水平変異マップに基づいて変異補償を行い、変異補償された輝度テクスチャー及び変異補償された色差テクスチャーを出力する変異補償器；及び
    前記変異補償器から出力される変異補償された輝度テクスチャーと前記第２補助要素復号化器から出力される復元された前記輝度残差テクスチャーを加算する第１加算器；
    を含む立体ビデオの復号化装置。
42. 前記可変長復号化器は、色差残差テクスチャーの量子化されたデータを追加的に出力し、
    前記立体ビデオの復号化装置は、
    前記可変長復号化器から出力される色差残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記色差残差テクスチャーの量子化されたデータを復号化する第３補助要素復号化器；及び
    前記変異補償器から出力される変異補償された色差テクスチャーと前記第３補助要素復号化器から出力される復元された前記色差残差テクスチャーを加算する第２加算器；をさらに含む、請求項４１に記載の立体ビデオの復号化装置。
43. 前記可変長復号化器は、垂直変異マップの量子化されたデータを追加的に出力し、
    前記立体ビデオの復号化装置は、メモリに貯蔵された直前フレームの復元された前記垂直変異マップと前記動きベクトルを利用して第２動き補償データを生成し、前記可変長復号化器から出力される前記垂直変異マップの量子化されたデータ及び前記第２動き補償データに基づいて、前記垂直変異マップの量子化されたデータを復号化する第３補助要素復号化器を追加的に含み、
    前記変異補償器は、前記ビデオ客体復号化器から出力される前記復元された第１映像、前記第１補助要素復号化器から出力される復号化された水平変異マップ、及び前記第３補助要素復号化器から出力される復号化された垂直変異マップに基づいて変異補償を行い、変異補償された輝度テクスチャー及び変異補償された色差テクスチャーを出力することを特徴とする、請求項４１に記載の立体ビデオの復号化装置。
44. 前記可変長復号化器は、色差残差テクスチャーの量子化されたデータを追加的に出力し、
    前記立体ビデオの復号化装置は、前記可変長復号化器から出力される色差残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記色差残差テクスチャーの量子化されたデータを復号化する第４補助要素復号化器；及び
    前記変異補償器から出力される変異補償された色差テクスチャーと前記第３補助要素復号化器から出力される復元された前記色差残差テクスチャーを加算する第２加算器；をさらに含む、請求項４３に記載の立体ビデオの復号化装置。
45. 前記ビデオ客体復号化器は、
    前記可変長復号化器から出力されるビデオ客体の量子化されたデータを逆量子化する逆量子化器；
    逆量子化器から出力されるデータに対して逆離散コサイン変換を遂行する逆離散コサイン変換器；
    直前フレームの復元されたビデオ客体データと動きベクトルとを比較して動きを補償し、動きベクトルを出力する動き補償器；及び
    前記逆離散コサイン変換器から出力されるビデオ客体と前記動き補償器から出力される動き補償されたデータを加算する加算器；を含む、請求項４１に記載の立体ビデオの復号化装置。
46. 前記第１補助要素復号化器は、
    前記可変長復号化器から出力される水平変異マップの量子化されたデータを逆量子化する逆量子化器；
    逆量子化器から出力されるデータに対して逆離散コサイン変換を遂行する逆離散コサイン変換器；
    直前フレームの復元された水平変異マップと動きベクトルとを比較して動きを補償し、動きベクトルを出力する動き補償器；及び
    前記逆離散コサイン変換器から出力される水平変異マップと前記動き補償器から出力される動き補償されたデータを加算する加算器；を含む、請求項４１に記載の立体ビデオの復号化装置。

Images