JP6320366B2

JP6320366B2 - ２ｄ映像メディア標準に基づいて３ｄ立体映像ファイルを生成及び再生するシステム及び方法

Info

Publication number: JP6320366B2
Application number: JP2015245156A
Authority: JP
Inventors: グン−イル・イ; クワン−チョル・チェ; ジェ−ヨン・ソン
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2007-06-11
Filing date: 2015-12-16
Publication date: 2018-05-09
Anticipated expiration: 2028-06-11
Also published as: WO2008153312A2; KR101388265B1; EP2153667A2; US8644597B2; JP2014027665A; US8457386B2; KR20080108654A; EP2153667A4; EP2153667B1; US20080304766A1; US20130286159A1; JP5500729B2; WO2008153312A3; JP2016103830A; JP2010529803A

Description

本発明は、２Ｄ映像メディア標準(two-Dimensional image media standards）に基づいて、３Ｄ(three-Dimensional)映像ファイルを生成及び再生するためのシステム及び方法に関するものである。

ｉＭＰＥＧ-２、ＭＰＥＧ-４、ＭＰＥＧ-７、及びＭＰＥＧ-２１の標準化は、マルチメディア関連の国際標準化機構であるＭＰＥＧ(Moving Picture Experts Group）によって進行されている。多様な標準が開発されることによって、相互に異なる標準技術を組み合わせて一つのプロファイルを作ることに対する必要性が高まっている。この必要性に対応する活動の一例が、ＭＰＥＧ-Ａ(MPEG-Application：ＩＳＯ/ＩＣＥ２３００００)マルチメディアアプリケーション標準化である。

多様なマルチメディアアプリケーションフォーマット(Multimedia Application Format：ＭＡＦ）は、通常のＭＰＥＧ標準と非ＭＰＥＧ標準とを組み合わせて標準の活用価値をより高めるために、ＭＰＥＧ-Ａの活動として開発された。このように、別途の標準を新たに作る努力なしに、既に検証された標準技術を相互に組み合わせることでマルチメディアアプリケーションフォーマットを作ることができ、その効用価値を極大化できる。現在、ＤＡＢ(Digital Audio Broadcasting)ＭＡＦ及びＤＭＢ(Digital Multimedia Broadcasting)ＭＡＦのような技術の標準化が進行されている。しかしながら、３Ｄ映像を格納するためのファイルフォーマットに関する標準化は進行されていない。

３Ｄ映像を実現するための最近の映像技術は、ＬＣＤ(Liquid Crystal Display)バリア(barrier)が装着された携帯端末のみで３Ｄ映像を再生する技術である。しかしながら、一般的な携帯端末では３Ｄ映像を生成する技術、又は３Ｄ映像を再生するための３Ｄ映像の格納フォーマットが知られていない。

したがって、上記した従来技術の問題点を解決するために、本発明の目的は、一般的な携帯端末における３Ｄ映像を再生するシステム及び方法を提供することにある。

本発明の他の目的は、３Ｄ映像を生成及び再生するための立体映像ファイルフォーマットを提供することにある。

また、本発明の目的は、ＩＳＯ(International Standardization Organization)１４４９６-１２に規定された２Ｄ映像ファイルフォーマットの一部がＭＰＥＧ-Ａのマルチメディアアプリケーションフォーマットに関する標準化によって変更される方式で形成される立体映像ファイルフォーマットを提供することにある。

さらに、本発明の目的は、この３Ｄ映像ファイルフォーマットによって２Ｄ映像ファイルと３Ｄ映像ファイルの生成及び再生を実現することにある。

本発明の目的は、このような３Ｄ映像ファイルの生成及び再生のためのシステム及び方法を提供することにある。

上記のような目的を達成するために、本発明の一態様によれば、２Ｄ映像メディア標準に基づいて、３Ｄ映像ファイルを生成及び再生するためのシステムであって、３Ｄ映像の生成に使用されるように第１の映像データ及び第１の映像データと同期化される第２の映像データを有するデータ領域と、第１の映像データの情報を含むヘッダー領域と、第２の映像データの情報を含むメタデータ領域とを含む３Ｄ映像ファイルを生成する３Ｄ映像ファイル生成装置と、第１の映像データと第２の映像データを３Ｄ映像ファイルに合成及び再生するために、３Ｄ映像ファイルが入力される場合、第１の映像データの情報及び第２の映像データの情報を分析する３Ｄ映像ファイル再生装置とを具備することを特徴とする。

本発明の他の態様によれば、２Ｄ映像メディア標準に基づいて３Ｄ映像ファイルを生成及び再生する方法であって、第１の映像データを出力するために被写体に対して左視点の映像を撮影し、第２の映像データを出力するために被写体に対して右視点の映像を撮影するステップと、第１の映像データ及び第２の映像データに対する前処理を遂行するステップと、前処理された第１の映像データ及び第２の映像データを格納するステップと、格納された第１の映像データ及び第２の映像データを符号化するステップと、符号化された第１の映像データ及び第２の映像データを有するデータ領域、第１の映像データの情報を含むヘッダー領域、及び第２の映像データの情報を含むメタデータ領域を有する３Ｄ映像ファイルを生成するステップとを具備することを特徴とする。

また、本発明の他の態様によれば、第１の映像データ及び第２の映像データを抽出するために、第１の映像データの情報及び第２の映像データの情報を分析するステップと、抽出された第１の映像データ及び第２の映像データを格納するステップと、格納された第１の映像データ及び第２の映像データを復号化するステップと、復号化された第１の映像データ及び第２の映像データを立体映像として合成及び再生するステップと、合成及び再生された立体映像を表示するステップとをさらに具備することを特徴とする。

本発明は、３Ｄ映像ファイルフォーマットの規定において、既に検証された標準技術によって新たな標準としての検証手順を簡素化することができる。また、本発明は、新たな３Ｄ映像ファイルフォーマットによって２Ｄ映像ファイル又は３Ｄ映像ファイルのうちいずれか一つを選択して生成及び再生することができる。

従来の２Ｄ映像ファイルの格納フォーマットを示す図である。本発明による第１の３Ｄ映像ファイル格納フォーマットを示す図である。本発明による第２の３Ｄ映像ファイル格納フォーマットを示す図である。本発明による第３の３Ｄ映像ファイル格納フォーマットを示す図である。本発明による３Ｄ映像ファイル生成装置を示す図である。本発明による３Ｄ映像ファイル再生装置を示す図である。本発明による３Ｄ映像ファイルを生成する方法を示す図である。本発明による３Ｄ映像ファイルを再生する方法を示す図である。

以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。

図面において、同一の構成要素に対してはできるだけ同一の参照符号及び参照番号を付して説明する。下記の説明で、本発明に関連した公知の機能又は構成に関する具体的な説明が本発明の要旨を不明にすると判断された場合に、その詳細な説明を省略する。

図１は、従来のＩＳＯ１４４９６-１２による２Ｄ映像ファイル格納フォーマットを示す。２Ｄ映像ファイル格納フォーマット１００は、Ｍｏｏｖ領域とＭｄａｔ領域を含む。ここで、Ｍｄａｔ領域は、ファイルフォーマットのデータ領域であって、各トラックに実際の映像データ及び音声データを含む。映像データと音声データは、フレームモジュールで各トラックに格納される。

Ｍｏｏｖ領域は、ファイルフォーマットのヘッダー領域に該当し、被写体ベースの構造を有する。このＭｏｏｖ領域は、フレームレート、ビットレート、映像のサイズを含むコンテンツ情報と、早送り(fast forward：FF)/巻き戻し(rewind：REW)のような再生命令をサポートするための同期化情報に関する再生ファイルに対するすべての情報を含む。特に、映像データ又は音声データの全体フレーム数、及び各フレームのサイズに関する情報は、再生中に、Ｍｏｏｖ領域を分析(parsing)して映像データ及び音声データを復元して再生できるように含まれる。

図２Ａは、本発明による第１の３Ｄ映像ファイルの格納フォーマットを示す。２Ｄ映像ファイル格納フォーマット２００は、メタデータ(metadata)領域のみが図１に示す２Ｄ映像ファイルフォーマットに加えられるように形成される。したがって、２Ｄ映像ファイルフォーマットの構成及び機能は、大きな変更なしに使用されることができる。Ｍｄａｔ領域は、音声トラック、第１の映像トラック、及び第２の映像トラックを含む。第１の映像トラックは第１の映像データを含み、第２の映像トラックは第２の映像データを含む。

ここで、第１の映像データ及び第２の映像データは、人間の視覚を用いて生成されたデータであって、所定の被写体に対して第１のカメラ及び第２のカメラを用いて左視点の映像と右視点の映像を撮影して形成された映像データである。このように、ユーザーが立体感を有するように、各々ユーザーの左眼と右眼に分離された映像が生成及び再生される。第１の映像データと第２の映像データのうちいずれか一つが再生されると、ユーザーは２Ｄ映像を鑑賞し、第１の映像データと第２の映像データが再生されるように相互に合成されると、ユーザーは、３Ｄ映像を鑑賞することができる。

ヘッダー領域としてＭｏｏｖ領域は第１の映像トラックの情報と音声トラックの情報を含み、メタデータ領域は第２の映像トラックの情報を含む。このようなトラック情報は、各データの全体フレーム数及びフレームのサイズに関する情報を含んでおり、それによって立体映像が再生される場合に、各データは、このような情報を分析して合成されることができる。

図２Ｂは、本発明による第２の３Ｄ映像ファイルの格納フォーマットを示す。３Ｄ映像ファイル格納フォーマット２１０は、データ領域としてＭｄａｔ領域、ヘッダー領域としてＭｏｏｖ領域、及びメタデータ領域を含む。しかしながら、第１の３Ｄ映像ファイルの格納フォーマット２００に比べると、これは、２つの映像トラックの代わりに一つの映像トラックであり、第１及び第２の映像データがこの一つの映像トラックに含まれる。

３Ｄ映像ファイルの格納フォーマット２１０の格納方法によると、第１及び第２の映像データのうちいずれか一つがまず格納され、残りの映像データは格納される。したがって、一つのトラックのみで映像データを構成することが可能である。

Ｍｏｏｖ領域は、第１の映像データの全体フレーム数、フレームのサイズ、第１の映像データが格納されている映像トラックの開始アドレスに関する情報を有する。メタデータ領域は、第２の映像データの全体フレーム数、フレームサイズ、及び映像トラックにおける第２の映像データが格納されている開始アドレスに関する情報を有する。このように、第１及び第２の映像データを３Ｄ映像に合成して再生することが可能である。

図２Ｃは、本発明による３Ｄ映像ファイルの格納フォーマットを示す。３Ｄ映像ファイルの格納フォーマット２２０も、データ領域としてＭｄａｔ領域、ヘッダー領域としてＭｏｏｖ領域、及びメタデータ領域を含む。しかしながら、３Ｄ映像ファイル格納フォーマット２２０は、３Ｄ映像ファイルの格納フォーマット２１０と同様に一つの映像トラックを含んでいるが、第１及び第２の映像データは、３Ｄ映像ファイルの格納フォーマット２１０に比べて一つの映像トラックに交互に格納される。したがって、ヘッダー領域としてＭｏｏｖ領域は、第１の映像データの全体フレーム数、フレームサイズ、及び第１の映像データが格納されている映像トラックの開始アドレスに関する情報だけでなく、第１の映像データ以後に次の第１の映像データが配置されるまでのオフセット(offset)情報を含む。

また、メタデータ領域は、第２の映像データの全体フレーム数、フレームのサイズ、及び第２の映像データが格納されている映像トラックの開始アドレスに関する情報だけでなく、第２の映像データ以後に次の第２の映像データが配置されるまでのオフセット情報を含む。

図３は、本発明による３Ｄ映像ファイル生成装置を示す。３Ｄ映像ファイル生成装置３００は、第１のカメラ３１０、第２のカメラ３１２、映像信号処理部３２０、格納部３３０、符号化部３４０、及びファイル生成部３５０を含む。

第１のカメラ３０１は、所定の被写体に対して左視点の映像又は右視点の映像を撮影して第１の映像データを出力する。第２のカメラ３２０は、第２の映像データを出力するために、被写体に対して第１のカメラ３０１と異なる他の時点の映像を撮影する。

第１のカメラ３０１及び第２のカメラ３２０から出力される第１及び第２の映像データは、映像信号処理部３２０を通じて前処理(pre-processing)される。前処理動作は、外部の映像値、すなわちＣＣＤ(Charge Coupled Device)タイプ又はＣＭＯＳ(Complementary Metal-Oxide Semiconductor)タイプのセンサーを通じて認識される、光と色成分のアナログ値をデジタル値に変換する。

格納部３３０は、映像信号処理部３２０を通じて前処理される第１及び第２の映像データを格納する。また、符号化部３４０は、格納された第１の映像データ及び第２の映像データを符号化する。符号化部３４０の符号化動作は、データの圧縮に関連しており、必要によって省略できる。

ファイル生成部３５０は、符号化部３４０で符号化された第１及び第２の映像データを用いて立体映像ファイルを生成する。このとき、第１及び第２の映像データは、データ領域に格納され、第１の映像データを分析するための情報はヘッダー領域に格納され、第２の映像データを分析するための情報はメタデータ領域に格納される。

図４は、本発明による３Ｄ映像ファイル再生装置を示す。図４において、３Ｄ映像ファイル再生装置４００は、ファイル分析部４１０と、格納部４２０と、復号化部４３０と、再生部４４０と、表示部４５０とを含む。

ファイル分析部４１０は、３Ｄ映像ファイルの分析に使用するために、３Ｄ映像ファイル生成装置３００のファイル生成部３５０で生成される立体映像ファイルを受信する。このとき、ヘッダー領域とメタデータ領域に格納された第１及び第２の映像データの情報は、それぞれ分析された後に、格納された第１及び第２の映像データが抽出される。すると、これらは、格納部４２０に格納される。

復号化部４３０は、格納部４２０に格納された第１及び第２の映像データを復号化する。この動作は、第１及び第２の映像データが符号化される場合に、３Ｄ映像ファイル生成装置３００の符号化部３４０によって遂行される。

再生部３２５は、復号化される第１の映像データ及び第２の映像データを立体映像に合成して再生する。このとき、３Ｄ映像ファイルのヘッダー領域とメタデータ領域に格納されたトラック情報は、合成に使用される。ここで、再生部４４０がメタデータ領域に格納された第２の映像データの情報を参照しない場合には、第１の映像データのみが再生されることによって、一般的な２Ｄ映像が再生される。

また、３Ｄ映像が再生できない既存の再生装置が３Ｄ映像ファイルを受信しても、メタデータ領域でなく従来の標準によるＭｏｏｖ領域のみを参照するのに十分なので、２Ｄ映像の再生が可能である。このように、本発明による３Ｄ映像ファイル格納フォーマットは、従来の２Ｄ映像と３Ｄ映像の再生に対して互換性を有する。表示部４５０は、再生部４４０で合成及び再生される立体映像を表示する。

図５は、本発明による３Ｄ映像ファイルを生成する方法を示す。図５において、３Ｄ映像ファイル生成方法は、撮影ステップＳ５１０、前処理ステップＳ５２０、格納ステップＳ５３０、符号化ステップＳ５４０、及びファイル生成ステップＳ５５０を具備する。

撮影ステップＳ５１０で、被写体に対して左視点の映像及び右視点の映像のうちいずれか一つは、第１の映像データを出力するために撮影される。残りの視点の映像は、第２の映像データを出力するために撮影される。

前処理ステップＳ５２０で、前処理は、第１の映像データと第２の映像データに対して遂行され、それによってＣＣＤセンサー又はＣＭＯＳセンサーを通じて認識される第１及び第２の映像データはアナログ値からデジタル値に変換される。

格納ステップＳ５３０で、ステップＳ５２０で前処理される第１及び第２の映像データは、格納部３３０に格納される。また、格納部３３０に格納される第１の映像データと第２の映像データは、符号化ステップＳ５４０で圧縮される。この符号化ステップＳ５４０は、必要に応じて省略できる。

ファイル生成ステップＳ５５０では、３Ｄ映像ファイルは、符号化部３４０で符号化された第１及び第２の映像データを用いて生成される。このとき、第１及び第２の映像データはデータ領域に格納され、第１の映像データを分析するための情報はヘッダー領域に格納され、第２の映像データを分析するための情報はメタデータ領域に格納される。

図６は、本発明よる３Ｄ映像ファイルを再生する方法を示す。図６において、３Ｄ映像ファイルを再生するための方法は、映像抽出ステップＳ６１０、格納ステップＳ６２０、復号化ステップＳ６３０、再生ステップＳ６４０、及び表示ステップＳ６５０を具備する。図６の方法は、図５で生成された３Ｄ映像ファイルを再生する方法である。

映像抽出ステップＳ６１０で、３Ｄ映像ファイルのヘッダー領域に格納される第１の映像データの情報、及びメタデータ領域に格納される第２の映像データの情報は、第１の映像データ及び第２の映像データを抽出するために分析される。

映像抽出ステップＳ６１０で抽出された第１の映像データ及び第２の映像データは、格納ステップＳ６２０で格納部４２０に格納すされる。その後、格納部４２０に格納された第１の映像データ及び第２の映像データは、復号化ステップＳ６３０で復号化される。符号化ステップＳ５４０が３Ｄ映像ファイルを生成するための方法で省略される場合に、復号化ステップＳ６３０も省略される。

再生ステップＳ６４０では、復号化ステップＳ６３０で復号化された第１及び第２の映像データは、再生されるように立体映像として合成される。第２の映像データが３Ｄ映像ファイルのデータ領域に含まれていない場合、あるいは再生部４４０が３Ｄ映像ファイルのメタデータ領域に格納された第２の映像データの情報を参照しない場合には、一般的な２Ｄ映像は３Ｄ映像の代わりに再生される。したがって、ユーザーの選択によって２Ｄ映像又は３Ｄ映像を選択して再生することができる。

また、３Ｄ映像の再生をサポートしない既存の再生装置が３Ｄ映像ファイルを受信しても、２Ｄ映像として再生することができる。表示ステップＳ６５０では、再生ステップＳ６４０で合成及び再生された３Ｄ映像ファイルは、表示部４５０に表示される。このような表示部として一般的なＬＣＤにも再生が可能である。

３００３Ｄ映像ファイル生成装置
３１０第１のカメラ
３１２第２のカメラ
３２０映像信号処理部
３３０格納部
３４０符号化部
３５０ファイル生成部

Claims

２Ｄ（２次元）映像メディア標準に基づいて３Ｄ（３次元）映像ファイルを生成するための携帯端末機であって、
第１の映像データ及び第２の映像データを撮影する一つ以上のカメラと、
前記第１の映像データ及び前記第２の映像データを前処理する映像信号処理部と、
前記前処理された第１の映像データ及び第２の映像データを格納する格納部と、
前記第１の映像データ及び第２の映像データを符号化する符号部と、
３Ｄ映像ファイルを生成するファイル生成部と、を含み、
前記３Ｄ映像ファイルは、
前記第１の映像データ及び前記第１の映像データと同期化され、３Ｄ映像を生成するために使用される前記第２の映像データを含むデータ領域と、
前記第１の映像データのフレームに対する情報を含むヘッダー領域と、
前記ヘッダー領域と分離され、前記第２の映像データのフレームに対する情報を含むメタデータ領域と、を含み、
前記メタデータ領域に格納された情報は、２Ｄ映像及び３Ｄ映像のうち３Ｄ映像を再生するために使用されることにより、
２Ｄ再生装置が前記メタデータ領域を参照せずに、前記ヘッダー領域を参照して前記第１の映像データを再生できるようにし、
前記３Ｄ映像を再生する場合に前記ヘッダー領域に格納された情報と前記メタデータ領域に格納された情報とを参照し、
前記データ領域内の一つの映像トラックに前記第１の映像データと前記第２の映像データとが交互に格納され、
前記メタデータ領域は、前記映像トラックで、前記第２の映像データ以降に、次の前記第２の映像データが配置されるまでのオフセット情報及び前記第２の映像データのサイズに対する情報を含む
ことを特徴とする携帯端末機。
前記一つ以上のカメラは、
所定の被写体に対して左視点の映像を撮影して前記第１の映像データを出力する第１のカメラと、
前記被写体に対して右視点の映像を撮影して前記第２の映像データを出力する第２のカメラと、を含む
ことを特徴とする請求項１に記載の携帯端末機。
２Ｄ（２次元）映像メディア標準に基づいて３Ｄ（３次元）映像ファイルを生成するための方法であって、
第１の映像データ及び第２の映像データを撮影するステップと、
前記第１の映像データ及び前記第２の映像データを前処理するステップと、
前記前処理された第１の映像データ及び第２の映像データを格納するステップと、
前記第１の映像データ及び第２の映像データを符号化するステップと、
３Ｄ映像ファイルを生成するステップと、を含み、
前記３Ｄ映像ファイルは、
前記第１の映像データ及び前記第１の映像データと同期化され、３Ｄ映像を生成するために使用される前記第２の映像データを含むデータ領域と、
前記第１の映像データのフレームに対する情報を含むヘッダー領域と、
前記ヘッダー領域と分離され、前記第２の映像データのフレームに対する情報を含むメタデータ領域と、を含み、
前記メタデータ領域に格納された情報は、２Ｄ映像及び３Ｄ映像のうち３Ｄ映像を再生するために使用されることにより、
２Ｄ再生装置が前記メタデータ領域を参照せずに、前記ヘッダー領域を参照して前記第１の映像データを再生できるようにし、
前記３Ｄ映像を再生する場合に前記ヘッダー領域に格納された情報と前記メタデータ領域に格納された情報とを参照し、
前記データ領域内の一つの映像トラックに前記第１の映像データと前記第２の映像データとが交互に格納され、
前記メタデータ領域は、前記映像トラックで、前記第２の映像データ以降に、次の前記第２の映像データが配置されるまでのオフセット情報及び前記第２の映像データのサイズに対する情報を含む
ことを特徴とする方法。