JP5022443B2 - 立体映像コンテンツ再生に利用されるメタデータの復号化方法 - Google Patents

Description

本発明は、動画及び立体映像を含むコンテンツを円滑に再生するために必要なメタデータを定義し、メタデータ及びメタデータの復号を利用した保存フォーマット形成する方法と装置とに関するものである。

本発明は、韓国情報部及び情報通信研究振興院のＩＴ次世代核心技術開発事業の一環として行われたものである（プロジェクトナンバー：２００５−Ｓ−４０３−０２、プロジェクト名：知能型統合情報放送（ＳｍａＲ ＴＶ）技術開発）。

二次元（２Ｄ）映像及び動画を分配及び生成するために、ａｖｉファイル、ＭＰＥＧ−４ ＭＰ４ファイルなどの様々なフォーマットが開発された。しかしながら、立体映像ビデオについては、伝送方式についての研究が主に進められ、２００７年１月からＭＰＥＧで、立体映像コンテンツの再生のための保存フォーマットに対する標準化が始まった。

ステレオカメラ又はコンピュータグラフィック／アニメーション作成プログラムによって獲得される立体映像及び動画を含むコンテンツのリアルタイム又はリアルタイムでない伝送及び再生をするために、所定の伝送ストリームフォーマット又は保存フォーマットが必要である。コンテンツを再生するために要求されるコンテンツ及びメタデータのメディアデータは、フォーマットのために必要とされる。

本発明は、ステレオカメラ又はＣＧ／アニメーション作成プログラムによって獲得されて生成された立体映像及び動画を含むコンテンツを伝送し、又はそれらを保存した後にコンテンツを再生するために新たに要求されるメタデータを提供し、メタデータを定義して、メタデータがＭＰＥＧ−４初期客体記述子、客体記述子、及び基礎ストリーム（ＥＳ：Elementary Stream）記述子の構造内部に含まれるようにし、立体映像及び動画を含むコンテンツがＭＰＥＧ−４システムに基づいて伝送されること、又はコンテンツがＭＰ４ファイルの形式で保存されるとき、コンテンツを効率的に再生することを可能にする。

また、本発明は、メタデータを含む新たな記述子も提供し、その記述子は、例えばＭＰＥＧ−４初期客体記述子、客体記述子及びＥＳ記述子などの既存の記述子と互換性を維持するように定義し、その結果、既存のプレイヤを有するユーザは二次元映像を見ることができる。

また、本発明は、本発明によって提供されたメタデータを用いることによって、ユーザが選択することができる二次元、又は様々な立体ディスプレイモードを有するコンテンツを再生することができる機能を有する立体映像プレイヤ構造を提供し、それによってユーザに様々な視聴方法も提供する。

本発明のある態様によると、立体映像コンテンツ再生に利用されるメタデータを保存したコンピュータ可読記録媒体は、メタデータは、受信したコンテンツが立体映像コンテンツであるか、あるいは二次元（２Ｄ）コンテンツであるかを識別する識別コードを含む。受信したコンテンツが立体映像コンテンツである場合、メタデータは立体映像コンテンツが１つの基礎ストリームから構成されているか、あるいは２つの基礎ストリームから構成されているかを示す基礎ストリームコードをさらに含む。

メタデータは、立体映像コンテンツが１つの基礎ストリームを含むとき、基礎ストリームから復号化された左右映像のフォーマットがトップダウン（top-down）フォーマット、側面（side-by-side）フォーマット、フィールドシーケンシャルフォーマット又はフレームシーケンシャルフォーマットを含むかどうかを示す基礎ストリームフォーマットコードと、立体映像コンテンツが２つの基礎ストリームを構成する場合、立体映像コンテンツの付加メディアデータが第２視点映像、深さマップまたは双方向視差マップを表すかどうかを示すタイプコードと、立体映像コンテンツのメインメディアデータと付加メディアデータとの映像サイズ比を示すサイズコードと、基礎ストリーム記述子に記述される基礎ストリームが立体映像コンテンツの付加メディアデータであるかどうかを示す基礎ストリームフラグコードとのうち、少なくとも一つ以上を含むことができる。

本発明の他の態様によると、立体映像を復号化する装置を提供し、本装置は、立体映像コンテンツ再生に利用されるメタデータを保存したヘッダ、符号化されたメインメディアデータ、及び付加メディアデータを含むビットストリームを受信する受信部を備える。メタデータは、受信したコンテンツが立体映像コンテンツであるか、あるいは二次元（２Ｄ）コンテンツであるかを識別する識別コードを含む。受信したコンテンツが立体映像コンテンツである場合、メタデータは立体映像コンテンツが１つの基礎ストリームを含むか、あるいは２つの基礎ストリームを含むかを示す基礎ストリームコードをさらに含む。

本発明の他の態様によると、立体映像を復号化する装置を提供し、本装置は立体映像コンテンツ再生に利用されるメタデータを保存したヘッダ、符号化されたメインメディアデータ、及び付加メディアデータを含むビットストリームを受信する受信部と、ビットストリームに含まれるメタデータに基づいてユーザが二次元（２Ｄ）モード又は三次元（３Ｄ）モードのうちの一つを選択することを可能にする視聴モード選択部と、選択されたモードに従ってビットストリームを復号化することによって２Ｄ場面または３Ｄ場面のようなコンテンツを表示する表示部とを含む。

本発明の他の態様によると、立体映像を復号化する方法を提供し、本方法は、立体映像コンテンツ再生に利用されるメタデータを保存したヘッダ、符号化されたメインメディアデータ、及び付加メディアデータを含むビットストリームを受信するステップと、ビットストリームに含まれるメタデータに基づいてユーザが二次元（２Ｄ）モード又は三次元（３Ｄ）モードのうちの一つを選択することを可能にするステップと、選択されたモードに従ってビットストリームを復号化することによって２Ｄ場面または３Ｄ場面のようなコンテンツを表示するステップとを含む。

以下、添付された図面を参照しつつ本発明の好ましい実施形態を説明することによって、本発明が詳細に説明されるであろう。図面中の参照番号などは、構成要素などを示す。下記の説明において、関連した公知機能又は構成に係る詳細な説明は明瞭化の目的で省略される。

本発明によれば、立体映像及び動画を再生するために必要なメタデータを定義し、メタデータを含むＭＰＥＧ−４基盤の記述子及びその構造を提供し、それによって立体映像コンテンツの伝送及び保存を可能にする。

ＭＰＥＧ−４の客体記述子の構成図である。 ＭＰＥＧ−４の初期客体記述子の構成図である。 ＭＰＥＧ−４のＥＳ記述子の構成図である。 本発明のメタデータを記述した記述子の例を示す図である。 本発明のメタデータを記述した記述子の例を示す図である。 本発明の実施形態にかかる立体映像コンテンツ再生のための復号化装置の概略図である。 立体映像コンテンツ処理のために提案したメタデータリストである表１を示す図である。 ＭＰＥＧ−４システムに定義されたDescriptorsに対するClass Tagsリストである表２を示す図である。 立体映像コンテンツ処理のために新たに提案したDescriptorsに対するClass Tagsリストである表３を示す図である。 立体映像コンテンツ処理のために提案したメタデータStereoVisualFormatの分類である表４を示す図である。 立体映像コンテンツ処理のために提案したメタデータStereoAdditionalVisualSizeの分類である表５を示す図である。 立体映像コンテンツ処理のために提案したメタデータStereoAdditionalVisualTypeの分類である表６を示す図である。 立体映像コンテンツ処理のために提案したメタデータStereoAdditionalVisual_ＥＳの分類である表７を示す図である。

立体映像又は動画コンテンツは、左右２視点の映像がペアで構成されるか、又は１視点の映像及び深さマップ又は双方向視差マップで構成されることができる。後者の場合は、深さマップ又は双方向視差マップを利用し、１視点映像のペアになる残りの１視点の映像を仮想的に生成することによって、立体映像コンテンツを作ることになる。

本発明では、１視点の映像をメインメディアデータとして定義し、残りの１視点の映像、深さマップ及び双方向視差マップを付加メディアデータとして定義して説明する。

立体映像コンテンツを表示する方法には、さまざまなものがある。左右映像を重ねて表示する偏光方式、左右映像のフレームを交互に反復して再生するフレームシーケンシャル方式、左右映像のフィールド映像を交互に反復して再生するフィールドシーケンシャル方式、左映像の奇数ライン、右映像の偶数ラインのみをライン単位でインタリービングして再生する方式、左映像の奇数列，右映像の偶数列をピクセル単位でインタリービングして再生する方式が主に利用されている。

本発明で立体映像及び動画を含むコンテンツを伝送したり保存したりした後で再生するために新たに要求されるメタデータは、大きく見て次の通り整理できる。下記表１を参考にして説明すれば、次の通りである。

表１は、立体映像再生に必要なメタデータを整理したリストである。

メタデータは、識別コード、基礎ストリーム（ＥＳ）コード、ＥＳフォーマットコード、サイズコード、タイプコード、ＥＳフラグコードを含む。表１で、VisualContentsTypeは識別コード、NumberOFVisualES_mius1はＥＳコードを示す。加えて、StereoVisualFormatはＥＳフォーマットコード、StereoAdditionalVisualSizeはサイズコード、StereoAdditionalVisualTypeはタイプコード及びStereoAdditioanlVisual_ESflagはＥＳフラグコードをそれぞれ示す。

立体映像コンテンツを処理するためには、伝送されてくるか、又は保存されているコンテンツが立体映像コンテンツであるか、既存の二次元コンテンツであるかを識別する情報が必要である。このために、メタデータの識別コード（VisualContentsType）は、受信したコンテンツが立体映像コンテンツであるか、あるいは二次元コンテンツであるかを識別する。

識別コードが受信したコンテンツが立体映像コンテンツであることを示す場合、ＥＳコード（NumberOFVisualES_mius1）は、立体映像コンテンツが１つのＥＳから構成されているか、あるいは２つのＥＳから構成されているかを示す。すなわち、ＥＳコードは、符号化された立体映像ＥＳのメインメディアデータと付加メディアデータとが１つのＥＳから構成されているか、あるいはそれぞれのＥＳから構成されているかを示す。

ＥＳフォーマットコード（StereoVisualFormat）は、立体映像コンテンツが１つのＥＳから構成された場合、１つのＥＳから復号化された左右映像のフォーマットが１フレーム内の上下に区分されているトップダウンフォーマットであるか、１フレーム内の左右に区分されている側面フォーマットであるか、左映像フィールドと右映像フィールドとが交互になっているフィールドシーケンシャルフォーマットであるか、左映像フレームと右映像フレームとが交互になっているフレームシーケンシャルフォーマットであるかを示す。

タイプコード（StereoAdditionalVisualType）は、立体映像コンテンツが２つのＥＳから構成された場合、立体映像コンテンツの付加メディアデータが第２視点映像、深さマップ又は双方向視差マップのうち、いずれに該当するかを示す。

立体映像コンテンツが２つのＥＳから構成される場合は、メインメディアデータと付加メディアデータとの符号化ストリームにそれぞれのＥＳ＿ＩＤを割り当てることを意味し、付加メディアデータに対するメインメディアデータと一致するＥＳは、復号化後に、２つのメディアデータを利用して立体映像コンテンツを生成するために識別されることができる。

従って、この場合には、付加メディアデータが残りの１視点の映像であるか、深さマップであるか、双方向視差マップであるかを示すメタデータであるタイプコードが必要であり、上記と同様に、付加メディアデータに対する映像サイズを示すメタデータであるサイズコードが必要である。

サイズコード（StereoAdditionalVisualSize）は、立体映像コンテンツのメインメディアデータと付加メディアデータとの映像サイズ比を示す情報であり、立体映像コンテンツの付加メディアデータがメインメディアデータの映像サイズと同じ大きさであるか、水平方向の１／２の大きさであるか、垂直方向の１／２の大きさであるか、水平及び垂直方向の１／２の大きさであるかを示す。

一例を挙げれば、ＥＳフォーマットコード（StereoVisualFormat）がフレームシーケンシャルフォーマットである場合には、付加メディアデータとして分類された残りの１視点の映像（右映像）サイズ情報を示すサイズコードが必要である。なぜならば立体映像ディスプレイ方式において、偏光方式やフレームシーケンシャル方式の場合は、左右映像の本来の大きさの映像がいずれも表示されるが、残りの方式の場合、本来の大きさで水平又は垂直方向に１／２縮少されたサイズの映像のみで立体映像コンテンツを表示するためである。

従って、左映像は、二次元コンテンツ再生を考慮して本来の大きさを維持するものとし、右映像は、立体映像コンテンツ再生時にのみ利用されるので、本来の映像サイズで水平方向に１／２縮少された大きさ、垂直方向に１／２縮少された大きさ、又は水平及び垂直方向にそれぞれ１／２縮少された大きさを有することができる場合をいずれも考慮し、これを示す情報であるサイズコードが要求される。

ＥＳフラッグコード（StereoAdditioanlVisual_ESflag）は、ＥＳ記述子（ＥＳ＿descriptor）に記述されるＥＳが立体映像コンテンツの付加メディアデータであるか否かを示す。

図１Ａないし図１Ｃは、ＭＰＥＧ−４の客体記述子、初期客体記述子、及びＥＳ記述子（ＥＳ＿Descriptor）の構成図である。

図１Ａないし図１Ｃは、ＭＰＥＧ−４の客体記述子、初期客体記述子、及びＥＳ記述子（ＥＳ＿Descriptor）それぞれに含まれている「extDescr」フィールドは、以下に必要な記述子をさらに記述するために、ＭＰＥＧ−４で定義されたフィールドである。

本発明では、ＭＰＥＧ−４初期客体記述子、客体記述子、ＥＳ記述子（ＥＳ＿Descriptor）のextDescrフィールド内部にメタデータを記述した記述子を含まれるように定義し、立体映像及び動画を含むコンテンツがＭＰＥＧ−４システムに基づいて伝送されたり、又はＭＰ４ファイルに基づいて保存されたりするときに、効率的な再生を可能にする。

図２Ａ及び図２Ｂ、本発明で提示するメタデータを記述した記述子の例を図示している。

本発明のメタデータを記述した記述子である「ObjectStereoscopicDescriptor」及び「ＥＳ＿stereoscopicDescriptor」の２つの記述子は、ＭＰＥＧ−４ですでに定義された客体記述子、初期客体記述子及びＥＳ記述子の構造と互換性が維持されるように記述されることを特徴とする。

下記表２は、ＭＰＥＧ−４ パート１ システムに定義されている記述子リストを示し、本発明で提案する２個の記述子は、下記表３に示されているように、「private value」値で割り当てて記述子リストに追加する。

図２Ａに示された「ObjectStereoscopicDescriptor」は、初期客体記述子又は客体記述子内に含まれねばならない情報を示す記述子であり、既存の初期客体記述子又は客体記述子の構造と互換性を維持するために、ＭＰＥＧ−４初期客体記述子、客体記述子内の「extDescr」フィールドに含まれる構造を有する。

従って、ＭＰＥＧ−４初期客体記述子、客体記述子内に、「ObjectStereoscopicDescriptor」を含んでいれば、受信したビットストリーム内のコンテンツが立体映像コンテンツであることが分かる。

図２Ａは、「ObjectStereoscopicDescriptor」に含まれるメタデータ及び構造の一実施形態を示す。

「ObjectStereoscopicDescriptor」で、NumberOfVisualES_mius1=0である場合（２１０）は、立体映像メディアデータが１つのＥＳから構成されている場合を示し、ＥＳフォーマットコード（StereoVisualFormat）を介して１つのＥＳから復号化された左右映像のフォーマットがトップダウンフォーマットであるか、側面フォーマットであるか、フィールドシーケンシャルフォーマットであるか、フレームシーケンシャルフォーマットであるかを示す。この場合、使われるＥＳフォーマットコード（StereoVisualFormat）の分類及び値は、下記表４の通り定義する。

また、メタデータ記述子である「ObjectStereoscopicDescriptor」に対して付加メディアデータ量を減らすために、映像サイズを縮少して表現する場合を考慮したメタデータであるＥＳフォーマットコード（StereoVisualFormat）がフレームシーケンシャルフォーマットを示す場合、サイズコード（StereoAdditionalVisualSize）を条件付きで含むことができる。サイズコード（StereoAdditionalVisualSize）は、下記表５に示されているように四種で定義される。「ObjectStereoscopicDescriptor」でNumberOfVisualES_mius1=1である場合（２２０）は、立体映像メディアデータが１つのオブジェクト内にメインメディアデータと付加メディアデータとに対するＥＳがそれぞれ存在する場合を示し、サイズコード（StereoAdditionalVisualSize）とタイプコード（StereoAdditionalVisualType）とを利用して情報を叙述する。サイズコードは表５に、タイプコードは下記表６に示されているように分類して値を割り当てる。

図２Ｂは、‘ＥＳ_stereoscopicDescriptor’に含まれるメタデータ及び構造の一実施形態を示している。

「ＥＳ_stereoscopicDescriptor」は、ＥＳ_Descriptor内に含まれねばならない情報を示す記述子であり、既存のＥＳ_Descriptorの構造と互換性を維持するために、ＥＳ_Descriptor内の「extDescr」フィールドに１つの記述子として含まれる。

１つのオブジェクト内にメインメディアデータと付加メディアデータとに対するＥＳがそれぞれ存在する場合、付加メディアデータに対するＥＳを記述するＥＳ_Descriptorでは、‘streamDependenceFlag’を１に設定し、メインメディアデータを記述するＥＳ_ＩＤ値を含む。

「streamDependenceFlag」を１に設定しても、そのＥＳが立体映像コンテンツ生成のためのメインメディアデータの付加メディアデータに限定できるわけではない。コンテンツが立体映像コンテンツではなくとも、１つのオブジェクト内に複数のＥＳが存在し、「streamDependenceFlag」を１に設定することができるためである。従って、「ObjectStereoscopicDescriptorDescriptor」でNumberOfVisualES_mius1が１に設定され、１つのオブジェクト内の立体映像メディアデータにメインメディアデータと付加メディアデータとに対するＥＳがそれぞれ存在する場合、「ＥＳ_stereoscopicDescriptor」を「ＥＳ_Descriptor」に追加し、そのＥＳが立体映像コンテンツを生成するための付加メディアデータであることを示す。「ＥＳ_stereoscopicDescriptor」は、図２Ｂに図示されているように、ＥＳフラグコード（StereoAdditionalVisual_ESflag）値を有し、下記表７のように定義される。

ＥＳフラッグコード（StereoAdditionalVisual_ESflag）値が１に設定される場合、立体映像コンテンツは、「ＥＳ_Descriptor」内の「DependsOn_ES_ID」に記述されたＥＳがメインメディアデータであり、そのＥＳが付加メディアデータである立体映像コンテンツであると認識する。

図３は、本発明の立体映像コンテンツ再生のための復号化装置の構成を示している。

伝送又は保存される、メタデータを含む立体映像コンテンツのストリームを再生する立体映像プレイヤは、メディアデータを復号化した後、立体映像コンテンツを表示する方式に合うようにメディアデータフォーマットを変換して表示できねばならず、二次元ディスプレイモードと立体映像ディスプレイモードとをユーザが選択できる機能を有していなければならない。

このために、本発明の復号化装置は、受信部３１０、視聴モード選択部３２０、コンテンツ生成部３３０及び表示部３４０を備える。

受信部３１０は、立体映像コンテンツ再生に利用されるメタデータを保存したヘッダ、符号化されたメインメディアデータ、及び付加メディアデータを含むビットストリームを受信する。加えて、受信部３１０は、受信したビットストリームを復号化部で復号してコンテンツ再生部に復号化されたメタデータとメディアデータとを伝送する。

視聴モード選択部３２０は、メタデータに基づいて、ユーザが２Ｄモード又は３Ｄモードのうち、一つを選択することを可能にする。現在受信したビットストリームが立体映像コンテンツである場合、復号化部は復号化された３Ｄコンテンツを再生する。この場合、表示される画面に３Ｄコンテンツであることを示すマークやログを挿入する。

すなわちユーザは、３Ｄコンテンツである場合、視聴モード選択部３２０を介して２Ｄ又は３Ｄに選択することによって視聴することができる。

コンテンツ生成部３３０は、復号されたデータと、視聴モード選択部３２０から入力されたユーザ入力とを利用し、復号化装置の一例であるプレイヤの表示部パネルに合うフォーマットのコンテンツを生成する。一実施形態として、プレイヤに装着されたディスプレイパネルが左右映像を行ごとに（line-by-line）でインタリービングされたフレームを入力として受けて立体映像コンテンツを再生する場合、左右映像は、それぞれの左映像の本来の大きさに比べて、垂直方向に１／２縮少された大きさの左右映像を行ごとにインタリービングした立体映像コンテンツが生成される。

表示部３４０は、コンテンツ生成部３３０から出力される映像を受信して再生する。表示部３４０は、ユーザのモード選択に従ってコンテンツ生成部３３０から出力されるコンテンツ映像を２Ｄ場面又は３Ｄ場面で表示する。

この場合、ユーザが３Ｄディスプレイモードを選択すると、符号化されているメインメディアデータと付加メディアデータは、いずれも復号されて３Ｄ場面を生成して出力し、ユーザが２Ｄディスプレイモードを選択すると、メインメディアデータのみが復号されて２Ｄ場面を出力する。

コンテンツ生成部３３０から視聴モード選択部３２０を介して入力されたユーザのモード選択が２Ｄモードである場合、表示部３４０は、メディアデータからメインメディアデータを抽出して出力する。コンテンツ生成部３３０から視聴モード選択部３２０を介して入力されたユーザのモード選択がStereoModeである場合、表示部３４０は、ObjectStereosocpicDescriptorに含まれたStereoVisualFormat、StereoAdditionalVisualType、StereoAddtionalVisualSizeのメタデータ、及びＥＳ_StereoscopicDescriptorに含まれたStereoAdditionalVisual_ESflag情報を利用し、それぞれ左映像の本来の大きさに比べて、垂直方向に１／２縮少された大きさの左右映像に大きさを変換した後、行ごとにインタリービングする。

一例を挙げれば、ObjectStereosocpicDescriptorに含まれたStereoVisualFormat情報がトップダウンフォーマットである場合は、左右映像が１フレーム内で上下に構成されているフォーマットであるので、左右映像が分離されて行ごとにインタリービングして出力し、側面フォーマットである場合は、左右映像が分離して水平方向に２倍拡大し、垂直方向に１／２縮少して映像サイズを変換した後、行ごとにインタリービングして出力する。

また、フィールドシーケンシャルフォーマットである場合は、各左右フィールド映像を、一対に見て行ごとにインタリービングして出力し、フレームシーケンシャルフォーマットである場合は、左映像フレームは垂直方向に１／２縮少し、右映像フレームはStereoAddtionalVisualSize情報を使用して立体映像コンテンツに生成して表示部から出力する。

すなわち、StereoAddtionalVisualSizeが左映像と同一サイズの映像であるならば、左映像は垂直方向に１／２縮少し、左映像サイズの水平方向１／２であるならば、左映像は水平方向に２倍拡大し、垂直方向には１／２縮少する。

また、StereoAddtionalVisualSizeが左映像サイズの垂直方向１／２であるならば、大きさに何らの変化も与えず、StereoAddtionalVisualSizeが左映像サイズの水平及び垂直方向１／２である場合は、水平方向に２倍拡大した後、左右映像を行ごとにインタリービングして出力する、

また、ObjectStereosocpicDescriptorに含まれたStereoAddtionalVisualSize情報に基づいて右映像、深さマップ、及び双方向視差マップのサイズ変換後、StereoAddtionalVisualType情報によって、映像が右映像である場合は行ごとにインタリービングして出力し、深さマップ又は双方向視差マップである場合は、既存の深さ又は双方向視差に基づいて仮想視点映像生成アルゴリズムを利用して右側視点の仮想映像を生成した後、行ごとにインタリービングして再生部に出力する。

本発明はまた、コンピュータ可読記録媒体にコンピュータ可読コードとして具現することが可能である。コンピュータ可読記録媒体は、コンピュータシステムによって可読データが保存されるあらゆる種類の記録装置を含む。

コンピュータ可読記録媒体の例としては、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random-Access Memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを介した伝送）のフォーマットで具現されるものも含む。また、コンピュータ可読記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータ可読コードが保存されて実行されることができる。

以上、図面と明細書とで最適な実施形態が開示された。ここで、特定の用語が使われたが、それらは、本発明を説明するための目的で使われたものであって、意味限定及び特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。

従って、本技術分野の当業者ならば、それらから多様な変形及び均等な他の実施形態が可能であるという点を理解することができるであろう。よって、本発明の真の技術的保護範囲は、特許請求の範囲の技術的思想によって決まる。

Claims (14)

1. 立体映像を復号化する方法であって、
   立体映像コンテンツ再生に利用されるメタデータを保存したヘッダ、符号化されたメインメディアデータ、及び付加メディアデータを含むビットストリームを受信するステップを含み、
   前記メタデータは、
   受信したコンテンツが立体映像コンテンツであるか、あるいは二次元コンテンツであるかを識別する識別コードと、
   前記受信したコンテンツが前記立体映像コンテンツである場合、前記立体映像コンテンツが１つの基礎ストリームから構成されているか、あるいは２つの基礎ストリームから構成されているかを示す基礎ストリームコードと、
   前記立体映像コンテンツが１つの基礎ストリームから構成されていることを前記基礎ストリームコードが示す場合、前記１つの基礎ストリームから復号化された左右映像のフォーマットがトップダウン（top-down）フォーマット、側面（side-by-side）フォーマット、フィールドシーケンシャルフォーマット及びフレームシーケンシャルフォーマットのうち、いずれのフォーマットであるかを示す基礎ストリームフォーマットコードと、
   前記立体映像コンテンツが２つの基礎ストリームから構成されていることを前記基礎ストリームコードが示す場合、前記立体映像コンテンツの前記付加メディアデータが第２視点映像、深さマップ又は双方向視差マップのうち、いずれに該当するかを示すタイプコードと、
   基礎ストリーム記述子（ＥＳ＿descriptor）に記述される前記基礎ストリームが前記立体映像コンテンツの前記付加メディアデータであるか否かを示す基礎ストリームフラッグコードと
   を含むことを特徴とする復号化方法。
2. 前記メタデータは、前記立体映像コンテンツの前記メインメディアデータと前記付加メディアデータとの映像サイズ比を示すサイズコードをさらに含むことを特徴とする請求項１に記載の復号化方法。
3. 前記メインメディアデータは、前記立体映像コンテンツの第１視点映像を示し、前記付加メディアデータは、前記立体映像コンテンツの第２視点映像、深さマップ及び双方向視差マップのうち、いずれか一つを示すことを特徴とする請求項１に記載の復号化方法。
4. 前記メタデータは、前記基礎ストリームフォーマットコードがフレームシーケンシャルフォーマットに該当することを示す場合、前記サイズコードを含むことを特徴とする請求項２に記載の復号化方法。
5. 前記メタデータを記述した記述子は、ＭＰＥＧ−４に定義された初期客体記述子、客体記述子、及び基礎ストリーム記述子内のextDescrフィールドに含まれ、前記extDescrフィールドは、ＭＰＥＧ−４で今後必要な記述子を追加記述するために定義されたフィールドであることを特徴とする請求項１に記載の復号化方法。
6. 前記識別コードが、受信したコンテンツが前記立体映像コンテンツであることを示す場合、ユーザが受信したコンテンツを二次元に表示する二次元モードと三次元に表示する三次元モードとのうち、いずれのモードで視聴するかを選択するステップと、
   前記メタデータと前記ユーザが選択したモードとを利用し、受信した前記ビットストリームを復号化してコンテンツを生成するコンテンツ生成ステップとを含むことを特徴とする請求項１に記載の復号化方法。
7. 前記選択されたモードが前記三次元モードである場合、符号化された前記メインメディアデータ及び前記付加メディアデータをいずれも復号化し、前記コンテンツを三次元場面に表示するステップをさらに含むことを特徴とする請求項６に記載の復号化方法。
8. 前記選択されたモードが前記二次元モードである場合、符号化された前記メインメディアデータだけ復号化し、前記コンテンツを二次元場面に表示するステップをさらに含むことを特徴とする請求項６に記載の復号化方法。
9. 立体映像を復号化する方法であって、
   立体映像コンテンツ再生に利用されるメタデータを保存したヘッダ、符号化されたメインメディアデータ、及び付加メディアデータを含むビットストリームを受信するステップと、
   前記ビットストリームに含まれた前記メタデータに基づいて、ユーザに二次元モード又は三次元モードのうち選択できる機会を提供する視聴モード選択提供ステップと、
   前記メタデータと前記ユーザが選択したモードとを利用し、受信した前記ビットストリームを復号化してコンテンツを生成するコンテンツ生成ステップと、
   前記ユーザの選択によって、前記ビットストリームを復号化して二次元場面又は三次元場面に表示するステップと
   を含み、
   前記メタデータは、
   受信したコンテンツが立体映像コンテンツであるか、あるいは二次元コンテンツであるかを識別する識別コードと、
   前記受信したコンテンツが前記立体映像コンテンツであることを前記識別コードが示す場合、前記立体映像コンテンツが１つの基礎ストリームから構成されているか、あるいは２つの基礎ストリームから構成されているかを示す基礎ストリームコードと、
   前記立体映像コンテンツが１つの基礎ストリームから構成されていることを前記基礎ストリームコードが示す場合、前記１つの基礎ストリームから復号化された左右映像のフォーマットがトップダウン（top-down）フォーマット、側面（side-by-side）フォーマット、フィールドシーケンシャルフォーマット及びフレームシーケンシャルフォーマットのうち、いずれのフォーマットであるかを示す基礎ストリームフォーマットコードと、
   前記立体映像コンテンツが２つの基礎ストリームから構成されていることを前記基礎ストリームコードが示す場合、前記立体映像コンテンツの前記付加メディアデータが第２視点映像、深さマップ又は双方向視差マップのうち、いずれに該当するかを示すタイプコードと、
   基礎ストリーム記述子（ＥＳ＿descriptor）に記述される前記基礎ストリームが前記立体映像コンテンツの前記付加メディアデータであるか否かを示す基礎ストリームフラッグコードと
   を含むことを特徴とする復号化方法。
10. 前記メタデータは、前記立体映像コンテンツの前記メインメディアデータと前記付加メディアデータとの映像サイズ比を示すサイズコードをさらに含むことを特徴とする請求項９に記載の復号化方法。
11. 前記メインメディアデータは、前記立体映像コンテンツの第１視点映像を示し、前記付加メディアデータは、前記立体映像コンテンツの第２視点映像、深さマップ及び双方向視差マップのうち、いずれか一つを示すことを特徴とする請求項９に記載の復号化方法。
12. 前記メタデータを記述した記述子は、ＭＰＥＧ−４に定義された初期客体記述子、客体記述子、及びＥＳ記述子内のextDescrフィールドに含まれ、前記extDescrフィールドは、前記ＭＰＥＧ−４で今後必要な記述子を追加記述するために定義されたフィールドであることを特徴とする請求項９に記載の復号化方法。
13. 前記表示するステップが三次元モードである場合、符号化された前記メインメディアデータ及び前記付加メディアデータをいずれも復号化し、前記コンテンツを三次元場面に表示することを特徴とする請求項９に記載の復号化方法。
14. 前記表示するステップが二次元モードである場合、符号化された前記メインメディアデータだけ復号化し、前記コンテンツを二次元場面に表示することを特徴とする請求項９に記載の復号化方法。

Images