JP5483205B2 - メディアデータフィールドと前記メディアデータヘッダーとを分析してビデオを生成するための装置、方法及び記録媒体 - Google Patents

Description

本発明は、メディアデータフィールドと前記メディアデータヘッダーとを分析してビデオを生成するための装置、方法及び記録媒体に関するものである。

マルチメディア関連国際標準化機構であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）は、その第１の標準化であるＭＰＥＧ−１を始めとして現在はＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−７、ＭＰＥＧ−２１の標準化作業を進めている。このような様々な標準の開発は、異なる標準技術を組み合わせて一つのプロファイルを生成する必要性をもたらし、このような動きの一つとして、多様なマルチメディアアプリケーションフォーマット（ＭＡＦ）がＭＰＥＧ−Ａ（ＭＰＥＧ Ｍｕｌｔｉｍｅｄｉａ Ａｐｐｌｉｃａｔｉｏｎ Ｆｏｒｍａｔ：ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ／Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ Ｃｏｍｍｉｓｓｉｏｎ）２３０００）マルチメディアアプリケーション標準化活動で作られている。ＭＡＦは、既存のＭＰＥＧ標準だけでなく非ＭＰＥＧ標準も組み合わせて標準の利用価値を高めることを目指している。このように別途の標準を新たに作る努力なしに既に検証された標準技術を組み合わせてＭＡＦを作ることによって、その効用価値を最大限に活用することができる。

最近、より現実的なビデオ情報を表現するために、三次元（３Ｄ）ビデオを実現する方式に関連して集中的な研究が行われている。その方法の中で、人間の視覚特性を用いて、様々な面で効果的であると考えられる方法は、左側ビュー（ｖｉｅｗ）と右側ビューが各々ユーザーの左眼と右眼に結像されるようにその該当位置で既存のディスプレイ装置上に左側ビューイメージと右側ビューイメージをスキャンし、それによってユーザーが３Ｄ効果を感じるようにする。一例として、バリアＬＣＤ（ｂａｒｒｉｅｒ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を装着した携帯端末は、ステレオスコピックコンテンツを再生してユーザーに写実的なビデオを提供できる。

しかし、２個以上のビューシーケンスで構成されるステレオスコピックコンテンツの場合、構文（ｓｙｎｔａｘ）は、ファイルフォーマット上で定義されていない。この構文に基づき、ステレオスコピックコンテンツのビューシーケンスのトラックが相互に関連しているか否かを判定できる。ビューシーケンスは、一つ以上のビデオフレームで構成されたビデオビットストリームであり、基本（ｅｌｅｍｅｎｔａｒｙ）ストリームとして呼ぶこともできる。また、ステレオスコピックビデオとモノスコピックビデオを含み、ステレオスコピックビデオが空間的に二次元（２Ｄ）ビデオと結合するか、或いはステレオスコピックビデオとモノスコピックビデオが一つのシーンに共に現れるコンテンツの場合、例えばモノスコピックミュージックビデオの下部に映像字幕があり、その映像字幕が２Ｄイメージでディスプレイされるサービスの場合、ミュージックビデオと映像字幕が相互に関連しているか否かを判定できる構文は、ファイルフォーマット上に定義されていない。従って、ミュージックビデオと映像字幕が相互に関連しているか否かを示す情報を追加的に提供することが必要である。

本発明は、上記従来の問題点に鑑みてなされたものであって、その目的は、２個以上のビューシーケンスで構成されるステレオスコピックコンテンツ、又は一つのシーンに同時にディスプレイされるステレオスコピックビデオ及びモノスコピックビデオを有するコンテンツに対して、ビューシーケンスのトラックが相互に関連しているか否かを明確に判定するためにメディアデータフィールドと前記メディアデータヘッダーとを分析してビデオを生成するための装置、方法及び記録媒体を提供することにある。

上記目的を達成するためになされた本発明によるコンピュータ読み取り可能な記録媒体は、格納されたデータを有するコンピュータ読み取り可能な記録媒体であって、一つのシーンに同時にディスプレイされるステレオスコピックビューシーケンスである複数のビューシーケンスを含むメディアデータフィールドと、前記複数のビューシーケンスのそれぞれに対応するトラックフィールドを含むメディアヘッダーフィールドと、を含み、
前記トラックフィールドのうち少なくとも一つのトラックフィールドは、トラック基準フィールドを含み、前記トラック基準フィールドは前記少なくとも一つのトラックフィールドが他のトラックフィールドを参照することを示すトラック基準情報を含み、前記複数のビューシーケンスは、第１のビューシーケンスと第２のビューシーケンスとを含み、前記第１のビューシーケンスのディスプレイ及びカメラ情報に対するパラメータ値は基準値に設定され、前記第２のビューシーケンスのディスプレイ及びカメラ情報に対するパラメータ値は前記基準値に相対的な値に設定され、前記相対的な値に設定される前記第２のビューシーケンスの前記ディスプレイ及びカメラ情報は前記第２のビューシーケンスに対応するトラックフィールドに格納され、メディアファイルから前記メディアデータフィールドと前記メディアヘッダーフィールドとを分析してビデオを生成する手段として機能するためのディスプレイプログラムを記録したことを特徴とする。

上記目的を達成するためになされた本発明によるコンピュータ実行方法は、メディアフ
ァイルを受信するステップと、前記メディアファイルから一つのシーンに同時にディスプ
レイされるステレオスコピックビューシーケンスである複数のビューシーケンスを含むメ
ディアデータフィールドと、前記複数のビューシーケンスのそれぞれに対応するトラック
フィールドを含むメディアヘッダーフィールドを分析するステップと、前記トラッ
クフィールドのうち参照するビューシーケンスに該当するトラックフィールドに含まれる
トラック基準フィールドに含まれるトラック基準情報によって、前記参照するビューシー
ケンスと参照されるビューシーケンスに基づいてビデオを生成するステップと、を含み、
前記トラック基準情報は前記参照するビューシーケンスを生成するために参照されるトラ
ックフィールドで他のトラックフィールドを示し、前記複数のビューシーケンスは、第１
のビューシーケンスと第２のビューシーケンスと、を含み、前記第１のビューシーケンス
のディスプレイ及びカメラ情報に対するパラメータ値は基準値に設定され、前記第２のビ
ューシーケンスのディスプレイ及びカメラ情報に対するパラメータ値は前記基準値に相対
的な値に設定され、前記相対的な値に設定される前記第２のビューシーケンスの前記ディ
スプレイ及びカメラ情報は前記第２のビューシーケンスに対応するトラックフィールドに
格納されることを特徴とする。

上記目的を達成するためになされた本発明による端末装置は、メディアファイルを受信する受信機と、前記メディアファイルから一つのシーンに同時にディスプレイされるステレオスコピックビューシーケンスである複数のビューシーケンスを含むメディアデータフィールドと前記複数のビューシーケンスのそれぞれに対応するトラックフィールドを含むメディアヘッダーフィールドを分析し、前記トラックフィールドのうち参照するビューシーケンスに該当するトラックフィールドに含まれるトラック基準フィールドに含まれるトラック基準情報によって、前記参照するビューシーケンスと参照されるビューシーケンスとに基づいてビデオを抽出するファイル分析部と、前記抽出されたビデオを表示するディスプレイ部とを含み、前記トラック基準情報は前記参照するビューシーケンスを生成するために参照されるトラックフィールドで他のトラックフィールドを示し、前記複数のビューシーケンスは、第１のビューシーケンスと第２のビューシーケンスとを含み、前記第１のビューシーケンスのディスプレイ及びカメラ情報に対するパラメータ値は基準値に設定され、前記第２のビューシーケンスのディスプレイ及びカメラ情報に対するパラメータ値は前記基準値に相対的な値に設定され、前記相対的な値に設定される前記第２のビューシーケンスの前記ディスプレイ及びカメラ情報は前記第２のビューシーケンスに対応するトラックフィールドに格納されることを特徴とする。

本発明によれば、２個以上のビューシーケンスで構成されたステレオスコピックコンテンツ、又は一つのシーンに同時にディスプレイされるステレオスコピックビデオとモノスコピックビデオを有するコンテンツに含まれるトラックの中から、相互に関連しているトラックを明確に判定でき、また追加的なメタデータに対する冗長性を避けることができる効果を有する。

本発明の上記及び他の様相、特徴、及び利点は、以下のような添付図面と共に続く詳細な説明から、より明白になるだろう。

ＩＳＯベースのメディアファイルフォーマットを示す図である。 本発明の第１の実施形態によるファイル構造を示す図である。 本発明の第１の実施形態により、関連したトラックを相互に接続するように設計されたファイル構造を示す図である。 本発明の第１の実施形態により、関連したトラックを相互に接続するように設計されたファイル構造を示す図である。 本発明の第１の実施形態による端末の動作を示す図である。 本発明の第２の実施形態によるファイル構造を示す図である。 本発明の第２の実施形態による第１のビューシーケンスを表現する方法を示す図である。 本発明の第２の実施形態による端末の動作を示す図である。 本発明の第３の実施形態によるファイル構造を示す図である。 本発明の第３の実施形態による第１のビューシーケンスを表現する方法を示す図である。 本発明の第４の実施形態によるファイル構造を示す図である。 本発明の第５の実施形態によるステレオスコピックビデオのファイル構造を示す図である。 本発明の第５の実施形態によるステレオスコピックビデオのファイル構造を示す図である。 本発明の第５の実施形態によるマルチビューコンテンツのファイル構造を示す図である。 本発明の第５の実施形態によるマルチビューコンテンツのファイル構造を示す図である。 本発明の一実施形態によるメディアファイル生成装置を示す図である。 本発明の一実施形態によるメディアファイル再生装置を示す図である。

以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。

下記の説明では、本発明に関連した公知の機能又は構成に関する具体的な説明は、明瞭性及び簡潔さのために省略する。ここで使用される用語は、本発明の機能を考慮して定義されたものであって、ユーザー又は運用者の意図又は慣例によって変更することができる。従って、上記用語は、本明細書の全体内容に基づいて定義されなければならない。

本発明では、先ずＩＳＯベースのメディアファイルフォーマットについて説明する。また、本発明は、２個以上のビューシーケンスで構成されるステレオスコピックコンテンツで対をなすトラック間の関係を示す方法、及び一つのシーンで同時にディスプレイされるステレオスコピックビデオとモノスコピックビデオを有するコンテンツで、ステレオスコピックビデオトラックとモノスコピックビデオトラックとの間の関係を示す方法を提供する。

図１は、ＩＳＯベースのメディアファイルフォーマットを示す。

図１を参照すると、ＩＳＯベースのメディアファイル１００は、ファイルタイプボックス（‘ｆｔｙｐ’ボックス；図示せず）、映画データボックス（‘ｍｏｏｖ’ボックス）１１０、及びメディアデータボックス（‘ｍｄａｔ’ボックス）１２０を含む。このファイルタイプボックスは、ファイルタイプと互換タイプの詳細を含む。正常再生は、互換タイプに従って該当デコーダで可能である。’ｍｏｏｖ’ボックス１１０は、ファイルフォーマットのヘッダーボックスに該当し、各データは‘ａｔｏｍ’と呼ばれるオブジェクトに基づいた構造で形成される。’ｍｏｏｖ’ボックス１１０は、フレームレート（ｒａｔｅ）、ビットレート、イメージサイズのようなコンテンツ情報及びＦＦ（Ｆａｓｔ−Ｆｏｒｗａｒｄ）／ＲＥＷ（Ｒｅｗｉｎｄ）のような再生機能をサポートするのに使用される同期化情報を含む再生ファイルに必要な全ての情報を含む。データボックスであるメディアデータボックス１２０は、実際のメディアデータを含み、それぞれのトラックにビデオデータ及びオーディオデータがそのフレーム単位で格納される。

ステレオスコピックビデオは、ステレオスコピックビデオ関連情報を含む。ステレオスコピックビデオ関連情報は、ステレオスコピックビデオの構成タイプのような必要な情報であり、カメラパラメータとディスプレイ情報のような追加データであり得る。ステレオスコピックビデオが２個以上のビューシーケンスで構成されている場合、それぞれのビューシーケンスは、同一のステレオスコピックビデオ関連情報を有することができる。例えば、２個のビューシーケンスで構成されるステレオスコピックビデオに対して、ビデオの左側ビューと右側ビューの各々は、同一のカメラ及びディスプレイに関する追加情報を含むことができる。このように各ビューシーケンスが同一のステレオスコピックビデオの関連情報を有する場合、同一の情報がそれぞれのビューシーケンスに重複して格納されることを防止するために、該当情報は一つのビューシーケンスのみに包含され、残りのビューシーケンスは該当ビューシーケンスを参照して該当ビューシーケンスに包含された該当ステレオスコピックビデオ関連情報を使用することができる。しかし、そのために、どの基本ストリームがステレオスコピックビデオ関連情報を含んでいるかを他の基本ストリームに通知し、ステレオスコピックビデオ関連情報を含んでいるビューシーケンスを判別しなければならない。２個以上のビューシーケンスで構成されたステレオスコピックビデオの場合、２個のビューシーケンスは、第１の（ｐｒｉｍａｒｙ）ビューシーケンスと第２の（ｓｅｃｏｎｄａｒｙ）ビューシーケンスに分けられる。上述したように、ステレオスコピックビデオ関連情報は一つの基本ストリームにのみ包含される場合、第１のビューシーケンスを第２のビューシーケンスと区別して該当情報を確認することができる。本発明で説明した第１のビューシーケンス及び第２のビューシーケンスは、２個以上のビューシーケンスのうちの一つのみが選択されて画面に表示されなければならない場合に、優先順位の高いディスプレイを有するビューシーケンスを区別する。

第１のビューシーケンスを第２のビューシーケンスと区別する方法は、各ビューシーケンスのトラックＩＤ（ｔｒａｃｋ＿ＩＤ）を確認する一番目の方法を含む。各ビューシーケンスのトラックヘッダー‘ｔｋｈｄ’ボックスは、各トラックを識別することができる識別子であるトラックＩＤ（ｔｒａｃｋ＿ＩＤ）を有する。トラックＩＤが各ビューシーケンスのトラックに順次に割り当てられる整数（ｉｎｔｅｇｅｒ）値であるので、トラックＩＤの最小値を有するトラックのビューシーケンスは第１のビューシーケンスとして決定される。

２番目の方法は、ステレオスコピックビデオの構成タイプ情報の左側ビューシーケンスと右側ビューシーケンス（又は、２個以上のビューシーケンス）のうちのいずれか一つを、最初に符号化したかを示す‘ｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔ’パラメータを確認し、該当パラメータの値によって左側ビューシーケンス及び右側ビューシーケンス（或いは、２個以上のビューシーケンス）のうちのどちらが第１のビューシーケンス又は第２のビューシーケンスであるかを判定する。３番目の方法は、他のトラックを参照する（ｒｅｆｅｒｅｎｃｅ）トラックを第１のビューシーケンス或いは第２のビューシーケンスとして判定する。

トラック基準に関する情報に基づいて第１のビューシーケンスを決定することは、（参照が他のトラックによって遂行される）参照される（ｒｅｆｅｒｅｎｃｅｄ）トラックが第１のビューシーケンスとして決定される場合、（他のトラックを参照する）参照トラックは、第２のビューシーケンスとして決定される。他のトラックを参照するトラックはトラック基準（ｔｒａｃｋ ｒｅｆｅｒｅｎｃｅ）ボックス（‘ｔｒｅｆ’ボックス）を有するので、他の側面又は残りのビューのステレオスコピックビデオは、上記の例で第１のビューシーケンスとして決定される。この例において、トラック参照に関する情報を有する‘ｔｒｅｆ’ボックスの位置は、第１のビューシーケンスを第２のビューシーケンスと区別する方法となることができる。トラック参照を使用することに伴い、２個以上のビデオトラックで構成されたメディアファイル内に相互に関連したビューシーケンスを接続させることができ、それによってどのトラックが相互に関連しているかを決定することが可能になる。また、これは、マルチビュービデオから一つのビデオを作り出すために相互に接続させる方法として使用することができる。トラック参照方法を使用することに伴い、特定トラック、即ち第１のビューシーケンス及び第２のビューシーケンスのうちの一つのみに重複するステレオスコピックビデオ関連情報を挿入することによって、数個のトラックにステレオスコピックビデオ関連情報が重複して挿入されることを防止することができる。

第１のビューシーケンスを第２のビューシーケンスと区別するための他の方法によると、第１のビューシーケンスと第２のビューシーケンスは、上記方法のように一つの情報又は一つのパラメータだけでなく、トラックＩＤと‘ｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔ’パラメータを含むステレオスコピックビデオの構成を表現するのに要求されるステレオスコピックビデオ情報、‘ｔｒｅｆ’ボックス情報が識別されるパラメータ、及びハンドラタイプのように、２個以上のステレオスコピックビデオ関連情報、フィールド、パラメータ、及びボックスを組み合わせることによって決定される。次の方法は、２個以上のステレオスコピックビデオ関連情報、フィールド、パラメータ、ボックスを組み合わせて第１のビューシーケンスと第２のビューシーケンスを決定することが可能である。先ず、左側ビューと右側ビューの２つのビューシーケンスで構成されるステレオスコピックビデオの場合、‘ｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔ’フィールドの値と他のトラックのステレオスコピックビデオを参照する‘ｔｒｅｆ’ボックスの情報を用いて、第１のビューシーケンスを第２のビューシーケンスと区別する基準によって、第１のビューシーケンス又は第２のビューシーケンスとして該当トラックを決定できる。或いは、他のトラックのステレオスコピックビデオを参照する‘ｔｒｅｆ’ボックスの情報及びトラックＩＤを用いて、第１のビューシーケンスを第２のビューシーケンスと区別するための基準によって、第１のビューシーケンス又は第２のビューシーケンスとして該当トラックを決定することができる。

更に、２個以上のステレオスコピックビデオ関連情報、フィールド、パラメータ、及びボックスの組み合わせによって、２個以上のビューシーケンス（即ち、多重（ｍｕｌｔｉｐｌｅ）又はマルチビューシーケンス）で構成されるステレオスコピックビデオに対する第１のビューシーケンス及び第２のビューシーケンスを決定する他の方法がある。この他の方法によれば、‘ｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔ’フィールドの値、トラックのＩＤ、及びステレオスコピックビデオトラックを参照する‘ｔｒｅｆ’ボックスを用いて第１のビューシーケンス及び第２のビューシーケンスを決定することができる。

上記に言及した以外のパラメータ又は情報が、上記のように第１のビューシーケンス及び第２のビューシーケンスを決定するためのパラメータ又は情報として使用され、２個以上のステレオスコピックビデオ関連情報、フィールド、パラメータ、及びボックスは多様な方法で拡張又は追加することができる。

以下に、本発明による２個以上のビューシーケンスで構成されたステレオスコピックコンテンツで対をなすビューシーケンスのトラック間の関係を示す方法について説明する。また、次の説明は、本発明によるステレオスコピックビデオとモノスコピックビデオを有するコンテンツでステレオスコピックビューシーケンスとモノスコピックビューシーケンス間の関係を示す方法を更に含む。

＜第１の実施形態＞
２個以上のビューシーケンスで構成されたステレオスコピックコンテンツを復号化して画面にディスプレイするために、左側ビューシーケンスのトラックと右側ビューシーケンスのトラックが相互に関連することを示す必要がある。しかしながら、トラック間の関係を示すボックス及び情報が現在ステレオスコピックファイルフォーマットに存在しないので、本発明の第１の実施形態ではこの問題を解決するために、次のような方法を提供する。

‘ＩＳＯ／ＩＥＣ１４４９６−１２ ＩＳＯベースのメディアファイルフォーマット’文書に定義されたボックスの中に、ハンドラ基準ボックス（‘ｈｄｌｒ’ボックス）とトラック基準ボックス（‘ｔｒｅｆ’ボックス）がある。ハンドラ基準ボックス（‘ｈｄｌｒ’ボックス）は、ハンドラタイプ（‘ｈａｎｄｌｅｒ＿ｔｙｐｅ’）を用いて現在トラックにメディアデータのタイプを表し、＜表１＞のように定義される。

２個以上のビデオトラックで構成されるステレオスコピックコンテンツに対して２個の関連トラックを相互に接続させるために、本発明の第１の実施形態では、＜表２＞に示すように、ハンドラ基準ボックス（‘ｈｄｌｒ’ボックス）のハンドラタイプ（‘ｈａｎｄｌｅｒ＿ｔｙｐｅ’）に、該当トラックのメディアデータのタイプがステレオスコピックビデオであることを示す‘ｓｖｉｄ’値を追加する。

トラック基準ボックス（‘ｔｒｅｆ’ボックス）は、基準タイプ（‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’）とトラックＩＤ（ｔｒａｃｋ＿ＩＤ）を用いて現在のトラックが参照する他のトラックを更に接続するのに使用される。現在‘ＩＳＯ／ＩＥＣ１４４９６−１２ ＩＳＯベースのメディアファイルフォーマット’文書に定義されている‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’を、＜表３＞に示す。

本発明の第１の実施形態では、２個の関連トラックを接続させるために、＜表４＞に示すようにトラック基準ボックス（‘ｔｒｅｆ’ボックス）の‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’に‘ａｖｍｉ’を追加する。

図２は、本発明の第１の実施形態により、新たに定義された‘ｈａｎｄｌｅｒ＿ｔｙｐｅ’と‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’を用いて２個のビューシーケンスで構成されたステレオスコピックコンテンツに対して関連したビューシーケンスのトラックを相互に接続させるファイル構造を示す。

図２を参照すると、ステレオスコピック左側ビューシーケンスのトラックは‘ｔｒｅｆ’ボックスを含み、該当トラックが参照しようとするステレオスコピック右側ビューシーケンスのトラックをトラック基準ボックス（‘ｔｒｅｆ’ボックス）２１０を用いて接続する。ここで、トラック基準ボックス（‘ｔｒｅｆ’ボックス）のｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ＝‘ａｖｍｉ’に設定することで、該当参照トラックは、ステレオスコピックビデオ関連情報を含むトラックであり、参照しようとするトラック、即ち参照される（ｒｅｆｅｒｅｎｃｅｄ）トラックと関連していることに注意する。該当する参照トラックに含まれているステレオスコピックビデオ関連情報は、ステレオスコピックコンテンツを構成するビューシーケンスの各トラックが基本的に含まなければならないステレオスコピックビデオ情報であり、関連した２個のトラックのうちのいずれか一つのみに格納することができる。このトラックが参照されるトラックと関係を有する場合、２個のトラックが対をなすことを意味し、これは２個のトラックの間に従属関係があることを意味する。言い換えれば、参照されるトラックのビューシーケンスが第１のビューシーケンスである場合に、参照するトラックのビューシーケンスは、第２のビューシーケンスとなるので、参照するトラックは、参照されるトラックに従属関係を有する。また、参照されるトラックのハンドラ基準ボックス（‘ｈｄｌｒ’ボックス）２２０のｈａｎｄｌｅｒ＿ｔｙｐｅ＝‘ｓｖｉｄ’に設定することで、参照されるトラックがステレオスコピックビデオトラックであることがわかる。

トラック基準ボックス（‘ｔｒｅｆ’ボックス）の有無によって第１のビューシーケンス及び第２のビューシーケンスを決定できるため、トラック基準ボックス（‘ｔｒｅｆ’ボックス）を有するトラックが第２のビューシーケンスとして決定される場合、図２ではステレオスコピック左側シーケンスのトラックが第２のビューシーケンストラックとなる。第１のビューシーケンス決定方法によって左側ビューシーケンスは第１のビューシーケンスとなることができる。第１のビューシーケンス及び第２のビューシーケンスがトラック基準ボックス（‘ｔｒｅｆ’ボックス）２１０を用いて決定される場合、ステレオスコピック右側ビューシーケンスのトラックが第１のビューシーケンスとして決定される際に、ステレオスコピック右側ビューシーケンスのトラックがステレオスコピック左側ビューシーケンスのトラックから参照されるように設定される。この場合、トラック基準ボックス（‘ｔｒｅｆ’ボックス）を有する参照トラックは、第２のビューシーケンスとして設定されると考えられる。

図３は、本発明の第１の実施形態による多重ビューシーケンスを有するマルチビューコンテンツに対して関連したトラックを相互に接続させるファイル構造を示す。

図３を参照すると、第１の（又はメイン）ビューシーケンスのトラックがトラック基準ボックス（‘ｔｒｅｆ’ボックス）を有すると仮定し、トラック基準ボックス（‘ｔｒｅｆ’ボックス）３１０を用いて第１のビューシーケンスのトラックと、このトラックと関係のある複数のトラックを接続することができる。この場合、第１のビューシーケンスを含むトラックにおいて、トラック基準ボックス（‘ｔｒｅｆ’ボックス）３１０の基準タイプをｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ＝‘ａｖｍｉ’に設定し、このトラックによって参照されるトラックのハンドラ基準ボックス（‘ｈｄｌｒ’ボックス）３２０、３３０のハンドラタイプ（‘ｈａｎｄｌｅｒ＿ｔｙｐｅ’は、ｈａｎｄｌｅｒ＿ｔｙｐｅ＝‘ｓｖｉｄ’に設定される。

上述したように、トラック基準ボックス（‘ｔｒｅｆ’ボックス）の情報を用いて第１のビューシーケンスを第２のビューシーケンスと区別することができる。図４は、本発明の第１の実施形態によってトラック基準ボックス（‘ｔｒｅｆ’ボックス）を有していないトラック、即ち参照されるトラックのシーケンスが第１のビューシーケンスと仮定する場合に、関連したトラックを相互に接続するファイル構造を示す。

図５は、本発明の第１の実施形態によってステレオスコピックビデオが２個以上のビューシーケンスで構成されている場合に、関連したビデオトラックを識別して画面にディスプレイするための端末の動作を示す。

図５を参照すると、端末は、ステップ４０１で、メディアファイルのファイルタイプボックス（‘ｆｔｙｐ’ボックス）を分析する。ステップ４０２及び４０３で、端末は、メディアファイルの‘ｍｏｏｖ’ボックスとトラックボックス（‘ｔｒａｋ’ボックス）を分析する。ステップ４０４では、端末は、トラック基準ボックス（‘ｔｒｅｆ’ボックス）がトラックボックスに存在するか否かを判定する。トラックがトラック基準ボックス（‘ｔｒｅｆ’ボックス）を有する場合に、端末は、ステップ４０５で、トラック基準ボックス（‘ｔｒｅｆ’ボックス）の基準タイプ（‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’）を確認する。基準タイプ（‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’）が‘ａｖｍｉ’であると判定される場合に、端末は、トラック基準ボックス（‘ｔｒｅｆ’ボックス）の参照するトラックＩＤ（‘ｔｒａｃｋ＿ＩＤ’）を確認し、どのステレオスコピックビューシーケンスのトラックが該当トラックと対をなすかを判定する。端末は、ステップ４０６でメディア情報ボックス（‘ｍｄｉａ’ボックス）を確認し、ステップ４０７で、端末が該当トラックのメディアデータタイプを決定できるかに基づき、ハンドラボックス（‘ｈｄｌｒ’ボックス）のハンドラタイプ（‘ｈａｎｄｌｅｒ＿ｔｙｐｅ’）を確認する。ステップ４０８で、端末は、ステレオスコピック情報を包含する残りのボックスの情報を確認し、ステレオスコピックビューシーケンスのトラックのステレオスコピックビデオ関連情報を分析し、関連ビューシーケンスを画面にディスプレイする。トラックボックス（‘ｔｒａｋ’ボックス）を分析する一連のプロセスは、該当トラックがステレオスコピックビューシーケンスのトラックである場合に、メディアファイルの最初のトラックから最後のトラックまで同一に遂行される。

一方、ステップ４０４で、トラックがトラック基準ボックス（‘ｔｒｅｆ’ボックス）を有していないと判定される場合に、端末は、ステップ４０６に進行し、該当トラックのメディア情報ボックス（‘ｍｄｉａ’ボックス）を確認する。その後、端末は、ステップ４０７で、ハンドラタイプ（‘ｈａｎｄｌｅｒ＿ｔｙｐｅ’）を確認し、ステップ４０８で、ステレオスコピック情報を含んでいる残りのボックスを確認してステレオスコピックコンテンツを画面にディスプレイする。

端末は、図５のステップ４０８で、第１のビューシーケンス及び第２のビューシーケンスを識別するが、この第１のビューシーケンス及び第２のビューシーケンスを識別するステップの順序は、第１のビューシーケンスを第２のビューシーケンスと区別する上述した方法によって変更することができる。

例えば、トラック基準ボックス（‘ｔｒｅｆ’ボックス）を用いて第１のビューシーケンス及び第２のビューシーケンスを識別する場合に、端末は、図５のステップ４０５で、トラック基準ボックス（‘ｔｒｅｆ’ボックス）の基準タイプ（‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’）とトラックＩＤ（‘ｔｒａｃｋ＿ＩＤ’）を確認することによって第１のビューシーケンス及び第２のビューシーケンスを識別する。トラック基準ボックス（‘ｔｒｅｆ’ボックス）を有するビューシーケンスのトラックが第２のビューシーケンスであると判定される場合、トラック基準ボックス（‘ｔｒｅｆ’ボックス）の基準タイプ（‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’）が‘ａｖｍｉ’である際に、参照するトラックＩＤ（‘ｔｒａｃｋ＿ＩＤ’）は、第１のビューシーケンスのトラックＩＤ（‘ｔｒａｃｋ＿ＩＤ’）である。例えば、トラックＩＤ＝１（ｔｒａｃｋ＿ＩＤ＝１）であるトラックがトラック基準ボックス（‘ｔｒｅｆ’ボックス）を有し、該当トラック基準ボックスの基準タイプが‘ａｖｍｉ’（ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ＝‘ａｖｍｉ’）であり、参照するトラックＩＤが２（ｔｒａｃｋ＿ＩＤ＝２）である場合に、トラックＩＤ＝１（ｔｒａｃｋ＿ＩＤ＝１）であるトラックは、トラックＩＤ＝２（ｔｒａｃｋ＿ＩＤ＝２）であるトラックと対をなすステレオスコピックビューシーケンスのトラックであり、トラックＩＤ＝２（ｔｒａｃｋ＿ＩＤ＝２）であるトラックのビューシーケンスが第１のビューシーケンスである。

本発明の一実施形態による第１のビューシーケンスを第２のビューシーケンスと区別する他の方法としては、端末が、ステレオスコピックビデオの構成タイプ情報の左側ビューシーケンスと右側ビューシーケンス（又は、２個以上のビューシーケンス）のうちのいずれか一つを先ず符号化するかを示す‘ｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔ’フィールドを確認し、左側ビューシーケンスと右側ビューシーケンス（又は、２個以上のビューシーケンス）のうちのいずれか一つが該当フィールドの値によって第１のビューシーケンス又は第２のビューシーケンスであるかを判定する場合、端末は、図５の動作によって、ステップ４０８で、‘ｉｓ＿ｌｅｆｔ＿ｆｉｒｓｔ’パラメータを含むステレオスコピック関連情報ボックスを確認することによって第１のビューシーケンス及び第２のビューシーケンスを識別し、その関連ビューシーケンスをディスプレイする。

このように、第１のビューシーケンス及び第２のビューシーケンスを識別するプロセスの動作順序は、本発明による第１のビューシーケンスを第２のビューシーケンスと区別する各々の方法に従って変更することができる。

本発明の一実施形態において、参照されるトラック、即ち‘ｔｒｅｆ’ボックスを有していない残りのトラックのハンドラタイプがステレオスコピックビデオタイプ（‘ｓｖｉｄ’）として表示されるが、参照されるトラックはビデオタイプ（‘ｖｉｄｅ’）となり、参照するトラックはステレオスコピックビデオタイプ（‘ｓｖｉｄ’）となり得る。また、参照するトラック及び参照されるトラックのハンドラタイプ（‘ｈａｎｄｌｅｒ＿ｔｙｐｅ’）は、別途の区別なしにビデオタイプ（‘ｖｉｄｅ’）で表示することができる。

一方、図５で説明したメディアファイルのトラックを確認して画面にディスプレイするプロセスは、端末又はシステムによって順次に提供されないこともある。ここでは、具体的に説明されていないファイルフォーマットの分析プロセス及び該当端末の動作は、ＩＳＯ／ＩＥＣ１４４９６−１２及びＩＳＯ／ＩＥＣ２３０００−１１に従う。

＜第２の実施形態＞
本発明の第２の実施形態では、ステレオスコピックコンテンツでトラック基準ボックス（‘ｔｒｅｆ’ボックス）を用いて、追加情報であるカメラパラメータ及びディスプレイ安全情報（ｄｉｓｐｌａｙ ｓａｆｅｔｙ ｉｎｆｏｒｍａｔｉｏｎ）を含むトラックを参照するためのトラック参照方法について説明する。ステレオスコピックコンテンツに付加的な情報として含まれるカメラパラメータは、ベースライン、ｆｏｃａｌ＿ｌｅｎｇｔｈ、ｃｏｎｖｅｒｇｅｎｃｅ＿ｄｉｓｔａｎｃｅ、変換（ｔｒａｎｓｌａｔｉｏｎ）、回転などを含み、ディスプレイ安全情報は、ディスプレイサイズ関連情報、視聴距離、及び不一致（ｄｉｓｐａｒｉｔｙ）情報などを含む。ここで、カメラパラメータ及びディスプレイ安全情報は追加情報として示したが、これらパラメータ及び安全情報は選択的である。従って、該当情報を含むボックスは、選択的なボックスとして表現することができる。

本発明の第２の実施形態では、ステレオスコピックコンテンツを獲得するために使用されるカメラパラメータ及びディスプレイ安全情報を含むトラックのトラック参照のために、＜表５＞に示すように‘ｔｒｅｆ’ボックスのｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅに‘ｃｄｓｉ’を追加する。

図６は、本発明の第２の実施形態により、ステレオスコピックコンテンツに対する追加情報であるカメラパラメータとディスプレイ安全情報を含むトラックを参照する方法を示す。

図６を参照すると、ステレオスコピック左側ビューシーケンスのトラックとステレオスコピック右側ビューシーケンスのトラックは、トラック基準ボックス（‘ｔｒｅｆ’ボックス）５１０、５２０を用いて、追加情報が含まれたトラックを参照できる。このような場合に、トラック全てに追加情報を格納する必要がなく、他のトラックが追加情報を含むトラックを参照することによって、同一の情報が複数のトラックに重複して格納されることを防止することができる。

図７は、多重ビューシーケンスを有するマルチビューコンテンツに本発明の第２の実施形態を適用する方法を示す。

この場合でも、図６に示すように、各々のビューシーケンスを含むトラックは、‘ｔｒｅｆ’ボックス６１０、６２０、６３０を用いて追加情報を含むトラックを参照する。

図８は、本発明の第２の実施形態による端末の動作を示すフローチャートである。

図８を参照すると、端末は、ステップ７０１で、メディアファイルのファイルタイプボックス（‘ｆｔｙｐ’ボックス）を分析する。端末は、ステップ７０２及び７０３で、メディアファイルの‘ｍｏｏｖ’ボックスとトラックボックス（‘ｔｒａｋ’ボックス）を分析する。端末は、ステップ７０４で、トラック基準ボックス（‘ｔｒｅｆ’ボックス）がトラックボックスに存在するか否かを判定する。トラックがトラック基準ボックス（‘ｔｒｅｆ’ボックス）を有する場合に、端末は、ステップ７０５で、トラック基準ボックス（‘ｔｒｅｆ’ボックス）の基準タイプ（‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’）を確認する。基準タイプ（‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’）が‘ｃｄｓｉ’であると判定される場合に、端末は、トラック基準ボックス（‘ｔｒｅｆ’ボックス）の参照するトラックＩＤ（‘ｔｒａｃｋ＿ＩＤ’）を確認し、該当トラックが参照しようとするステレオスコピックビデオに関する追加情報であるカメラパラメータ及びディスプレイ安全情報を含む追加情報をどのトラックが包含するかを判定する。端末は、ステップ７０６でメディア情報ボックス（‘ｍｄｉａ’ボックス）を確認し、ステップ７０７で、端末が該当トラックのどのメディアデータタイプを決定できるかに基づき、ハンドラボックス（‘ｈｄｌｒ’ボックス）のハンドラタイプ（‘ｈａｎｄｌｅｒ＿ｔｙｐｅ’）を確認する。最後に、ステップ７０８で、端末は、ステレオスコピック情報を包含する残りのボックスの情報を確認し、ステレオスコピックビューシーケンスのトラックのステレオスコピックビデオ関連情報を分析し、その関連したトラックを画面にディスプレイする。トラックボックス（‘ｔｒａｋ’ボックス）を分析する一連のプロセスは、該当トラックがステレオスコピックビューシーケンスのトラックである場合に、メディアファイルの最初のトラックから最後のトラックまで同一に遂行される。

一方、ステップ７０４で、トラックがトラック基準ボックス（‘ｔｒｅｆ’ボックス）を有していないと判定される場合には、端末は、ステップ７０６に進行し、該当トラックのメディア情報ボックス（‘ｍｄｉａ’ボックス）を確認する。その後、端末は、ステップ７０７で、ハンドラタイプ（‘ｈａｎｄｌｅｒ＿ｔｙｐｅ’）を確認し、ステップ７０８で、ステレオスコピック情報を含んでいる残りのボックスを確認してステレオスコピックコンテンツを画面にディスプレイする。

端末は、図８のステップ７０８で、第１のビューシーケンス及び第２のビューシーケンスを識別するが、この第１のビューシーケンス及び第２のビューシーケンスを識別するプロセスのステップは、本発明の第１の実施形態による図５に説明したように、第１のビューシーケンスを第２のビューシーケンスと区別する上述した方法によって順序を変更することができる。

ステップ７０７で分析したトラックのハンドラタイプがステレオスコピックビデオタイプ（‘ｓｖｉｄ’）である場合、該当トラックは、ステレオスコピックビデオに対する追加情報であるカメラパラメータとディスプレイ安全情報を有する選択的情報を含むトラックである。

一方、図８で説明したメディアファイルのトラックを確認して画面にディスプレイするプロセスは、端末又はシステムによって順次に実行されないこともある。ここで、具体的に説明されていないファイルフォーマットの分析プロセス及び該当端末の動作は、ＩＳＯ／ＩＥＣ１４４９６−１２及びＩＳＯ／ＩＥＣ２３０００−１１に従う。

＜第３の実施形態＞
ステレオスコピックコンテンツとモノスコピックコンテンツが一つのシーンを構成する要素として一つのシーンで同時にディスプレイされるサービスの場合に、一つのシーン内で表現されなければならないステレオスコピックビューシーケンスとモノスコピックビューシーケンスを復号化してディスプレイするために、２個のビューシーケンスのトラックを接続して、ユーザーが相互に関連したトラックであることをわかるようにする必要がある。しかし、現在のステレオスコピックファイルフォーマットにはこのような関係を示す方法がないので、本発明の第３の実施形態ではこの問題を解決するための方法を提案する。

‘ＩＳＯ／ＩＥＣ１４４９６−１２ ＩＳＯベースのメディアファイルフォーマット’文書に定義されたボックスの中に、ハンドラ基準ボックス（‘ｈｄｌｒ’ボックス）とトラック基準ボックス（‘ｔｒｅｆ’ボックス）がある。上述したように、ハンドラ基準ボックス（‘ｈｄｌｒ’ボックス）は、ハンドラタイプ（‘ｈａｎｄｌｅｒ＿ｔｙｐｅ’）を用いて現在トラックのメディアデータのタイプを表す。本発明の第３の実施形態では、一つのシーンで表現されなければならないステレオスコピックビューシーケンスのトラックとモノスコピックビューシーケンスのトラックを相互に接続するために、＜表６＞に示すように、ハンドラ基準ボックス（‘ｈｄｌｒ’ボックス）のハンドラタイプ（‘ｈａｎｄｌｅｒ＿ｔｙｐｅ’）‘ｍｖｉｄ’を追加する。

トラック基準ボックス（‘ｔｒｅｆ’ボックス）は基準タイプ（‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’）とトラックＩＤ（‘ｔｒａｃｋ＿ＩＤ’）を用いて現在のトラックによって参照されるもう一つのトラックを接続するために使用されるボックスである。本発明の第３の実施形態では、関連した２個のトラックを接続させるために、＜表７＞に示すようにトラック基準ボックス（‘ｔｒｅｆ’ボックス）の基準タイプ（‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’）に‘ｓｃｍｉ’を追加する。

図９は、本発明の第３の実施形態により、新たに定義された‘ｈａｎｄｌｅｒ＿ｔｙｐｅ’と‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’を用いて一つのシーンに同時にディスプレイされるステレオスコピックビューシーケンスとモノスコピックビューシーケンスを有するコンテンツで、一つのシーンに形成されるステレオスコピックビューシーケンスのトラックとモノスコピックビューシーケンスのトラックを相互に接続するファイル構造を示す。

図９を参照すると、現在トラックは、ステレオスコピックビューシーケンスのトラックであり、ステレオスコピックビューシーケンスと共に一つのシーンでディスプレイされなければならないモノスコピックビューシーケンスのトラックは、トラック基準ボックス（‘ｔｒｅｆ’ボックス）８１０を用いて現在トラックに接続される。基準タイプをｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ＝‘ｓｃｍｉ’として設定する場合に、参照されるトラックは、参照するトラックであるステレオスコピックビデオトラックと共に一つのシーンでディスプレイされなければならないモノスコピックコンテンツを含むトラック（空間的に組み合わせたメディアトラック）である。更に、参照されるトラックのハンドラ基準ボックス（‘ｈｄｌｒ’ボックス）８２０のハンドラタイプをｈａｎｄｌｅｒ＿ｔｙｐｅ＝‘ｍｖｉｄ’として設定する場合に、参照されるトラックは、ステレオスコピックビューシーケンスと共に一つのシーンでディスプレイされなければならないモノスコピックビューシーケンスのトラック（空間的に組み合わせたメディアトラック）である。

図１０は、本発明の第３の実施形態によって一つのシーンで同時にディスプレイされるステレオスコピックビューシーケンスとモノスコピックビューシーケンスを有するコンテンツで、２個以上のビューシーケンスで構成されたステレオスコピックビューシーケンスとモノスコピックビューシーケンスを相互に接続するファイル構造を示す。

図１０を参照すると、ステレオスコピックビデオを構成するステレオスコピック左側ビューシーケンスのトラックとステレオスコピック右側ビューシーケンスのトラックは、各々トラック基準ボックス（‘ｔｒｅｆ’ボックス）９１０、９２０を用いて一つのシーンで共にディスプレイされなければならないモノスコピックビューシーケンスのトラックを参照するように接続することができる。この場合にも、ステレオスコピック左側ビューシーケンスのトラックとステレオスコピック右側ビューシーケンスのトラックの各々に対して、トラック基準ボックス（‘ｔｒｅｆ’ボックス）９１０、９２０の基準タイプがｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ＝‘ｓｃｍｉ’として設定され、この参照されるトラックのハンドラ基準ボックス（‘ｈｄｌｒ’ボックス）９３０のハンドラタイプがｈａｎｄｌｅｒ＿ｔｙｐｅ＝‘ｍｖｉｄ’として設定される場合に、参照されるビューシーケンスのトラックは、ステレオスコピックビューシーケンスと共に一つのシーンでディスプレイされなければならないモノスコピックビューシーケンスのトラック（空間的に組み合わせたメディアトラック）である。

＜第４の実施形態＞
図１１は、本発明の第４の実施形態により、新たに定義されたハンドラタイプ（ｈａｎｄｌｅｒ＿ｔｙｐｅ）‘ｓｖｉｄ’と基準タイプ（‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’）‘ａｖｍｉ’を用いて一つのシーンで同時にディスプレイされるステレオスコピックビューシーケンスとモノスコピックビューシーケンスを有するコンテンツで、ステレオスコピックビューシーケンスのトラックとモノスコピックビューシーケンスのトラックを相互に接続する他のファイル構造を更に示す。

本発明の第４の実施形態では、本発明の第１の実施形態で使用されたトラック基準方法と同一の方法でトラックを参照する。しかし、本発明の第４の実施形態では、トラック基準ボックス（‘ｔｒｅｆ’ボックス）１０１０は、そのビューシーケンスと対をなすステレオスコピックビューシーケンスとの接続だけでなく、一つのシーンで同時にディスプレイされるモノスコピックビューシーケンスとの接続にも使用される。トラック基準ボックス（‘ｔｒｅｆ’ボックス）１０１０のｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ＝‘ａｖｍｉ’、参照されるステレオスコピックビデオトラックのハンドラ基準ボックス（‘ｈｄｌｒ’ボックス）１０２０のｈａｎｄｌｅｒ＿ｔｙｐｅ＝‘ｓｖｉｄ’、参照されるモノスコピックビデオトラックのハンドラ基準ボックス（‘ｈｄｌｒ’ボックス）１０３０のｈａｎｄｌｅｒ＿ｔｙｐｅ＝‘ｖｉｄｅ’に設定することによって、第１のビューシーケンスと対をなすステレオスコピックの残りの一つのビューシーケンスを、ステレオスコピックコンテンツと共に一つのシーンで同時にディスプレイされなければならないモノスコピックビューシーケンスと区別することができる。

図１１の例において、上述した第１のビューシーケンスを決定する方法によってステレオスコピック右側ビューシーケンスのトラックが第１のビューシーケンストラックとして決定されるので、トラック基準ボックス（‘ｔｒｅｆ’ボックス）を有するトラックは、第２のビューシーケンスとして設定される。

更に、本実施形態において、２個以上のトラックで構成されるステレオスコピックコンテンツ間の接続関係がｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ＝‘ａｖｍｉ’を用いて示される場合に、第１のビューシーケンストラックのｈａｎｄｌｅｒ＿ｔｙｐｅは‘ｖｉｄｅ’であり、第２のビューシーケンストラックのｈａｎｄｌｅｒ＿ｔｙｐｅは‘ｓｖｉｄ’である。もちろん、このような区別において、参照されるビューシーケンスはビデオタイプ（‘ｖｉｄｅ’）となり得る。また、全てのビューシーケンスは、別途の区分なしにビデオタイプ（‘ｖｉｄｅ’）のみを用いて示すことができる。

＜第５の実施形態＞
本発明の第５の実施形態は、２個以上のビューシーケンスで構成されたステレオスコピック間の関係を本発明の第１の実施形態のようなトラック参照方法を用いて示し、参照するビューシーケンス以外の残りのビューシーケンスに対して参照するビューシーケンスから相対的なディスプレイ及びカメラ情報を格納して生成されたステレオスコピックメディアファイルの構造を提供する。

ステレオスコピックビデオ関連情報において、追加情報は、本発明の第１及び第２の実施形態で説明したようにステレオスコピックコンテンツに含まれる。ステレオスコピックコンテンツに含まれ得る追加情報として、ステレオスコピックビデオを獲得する過程で得られるステレオスコピックビデオ関連情報を含む、ステレオスコピックビデオに対するディスプレイ及びカメラ情報がある。このようなステレオスコピックビデオに対するディスプレイ及びカメラ情報は、ベースライン、ｆｏｃａｌ＿ｌｅｎｇｔｈ、ｃｏｎｖｅｒｇｅｎｃｅ＿ｄｉｓｔａｎｃｅ、変換、回転などを含み、ディスプレイ安全情報は、ディスプレイサイズ関連情報、視聴距離、及び不一致情報などを含むことができる。本発明では追加情報として称しているが、この情報は、選択的な情報である。従って、該当情報を含んでいるボックスは、選択的なボックスとして表現できる。

ステレオスコピックビデオのディスプレイ及びカメラ情報を格納する方法のうちの一つは、参照するビューシーケンスを基にして残りのビューシーケンスに、参照するビューシーケンスのディスプレイ及びカメラ情報に対する相対的な値を各フィールドのパラメータ値として格納する。例えば、参照するビューシーケンスが第１のビューシーケンスであると仮定する場合、第１のビューシーケンスのディスプレイ及びカメラ情報は、全て０として格納され、各フィールドに対して参照するビューシーケンスから相対的なディスプレイ及びカメラ情報のパラメータ値は、第１のビューシーケンスを除いた残りのビューシーケンス、即ち第２のビューシーケンスに格納される。参照するビューシーケンスのステレオスコピックビデオに対するディスプレイ及びカメラ情報は、全て０に設定されるため、該当情報は省略できる。従って、参照するビューシーケンスのディスプレイ及びカメラ情報に対する相対的なディスプレイ及びカメラ情報は、残りのビューシーケンスのみに格納することができる。例えば、ステレオスコピックビデオのディスプレイ及びカメラ情報のうちの一つである２個のビューシーケンスに対するカメラ間の距離が５であると仮定すると、参照するビューシーケンスの該当情報に対するフィールドの値が０であるので、‘０’値は省略され、参照するビューシーケンスのカメラからの距離である５は、残りのビューシーケンスの該当情報に対するフィールドの値として格納される。

図１２は、本発明の第５の実施形態によるファイル構造を示す。

図１２において、参照するビューシーケンスは、第１のビューシーケンスであると仮定し、２個のビューシーケンスで構成されるステレオスコピックメディアファイル構造において、第１のビューシーケンスから相対的なディスプレイ及びカメラ情報を格納する‘ｓｃｄｉ’ボックス１１４０は、第２のビューシーケンスのトラックに包含され、第１のビューシーケンスのトラックは、本発明の第１の実施形態で使用されたトラック参照方法と同一の方法でハンドラタイプ‘ｓｖｉｄ’１１１０及び基準タイプ‘ａｖｍｉ’１１２０を用いて‘ｓｃｄｉ’情報を有する第２のビューシーケンスのトラックに接続される。この場合でも、ビデオタイプ‘ｖｉｄｅ’は、ステレオスコピックビューシーケンスのハンドラタイプ１１１０として使用することができる。図１２において、第１のビューシーケンスは、トラック基準ボックス（‘ｔｒｅｆ’ボックス）のない左側ビューシーケンスのように示し、トラック基準ボックス（‘ｔｒｅｆ’ボックス）を有するステレオスコピックビューシーケンス、即ち基準タイプ（‘ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅ’）＝‘ａｖｍｉ’であるビューシーケンスのトラックは、参照するビューシーケンスからの相対的なディスプレイ及びカメラ情報を持っている‘ｓｃｄｉ’ボックスを含む。

図１３は、トラックを参照するトラック基準ボックス（‘ｔｒｅｆ’ボックス）１１５０を有するトラックが‘ｓｃｄｉ’ボックス１１６０を有するトラックとは関係なく提供される場合を示す。ここで、‘ｓｃｄｉ’情報の参照するビューシーケンスは左側ビューシーケンスであり、左側ビューシーケンスの相対的‘ｓｃｄｉ’情報は、右側ビューシーケンスのトラックに含まれる。

図１４は、２個以上のビューシーケンスを有するマルチビューコンテンツに対する本発明の第５の実施形態の方法を拡張して生成されるファイル構造を示す。

図１４を参照すると、本発明の第５の実施形態により、第１のビューシーケンスから相対的ディスプレイ及びカメラ情報が格納された‘ｓｃｄｉ’ボックス１２２４及び１２３４は、第１のビューシーケンス以外の残りの複数のビューシーケンスに包含され、第１のビューシーケンスのトラックは、本発明の第１の実施形態で使用されたトラック参照方法と同一の方法でハンドラタイプ‘ｓｖｉｄ’１２１０と基準タイプ‘ａｖｍｉ’１２２０、１２３０を用いて‘ｓｃｄｉ’情報を有する残りのビューシーケンスのトラックに接続される。この場合でも、ビデオタイプ‘ｖｉｄｅ’は、ステレオスコピックビデオのハンドラタイプ（１２２２及び１２３２）として使用することができる。

図１５は、トラックを参照する‘ｔｒｅｆ’ボックス１２５０を有するトラックが‘ｓｃｄｉ’ボックス１２６０及び１２７０を有するトラックと別個に提供される場合を示す。

第１〜第５の実施形態において、基準タイプ及びハンドラタイプのタイトル、名称、及び意味（ｓｅｍａｎｔｉｃ）は、同一のオブジェクト及び方法に対応する限り、異なるタイトル、名称、及び意味で表現することができる。

次に、本発明の一実施形態によるメディアファイルフォーマットを用いるメディアファイルを生成及び再生するシステムについて説明する。本発明の一実施形態によるシステムは、大きくメディアファイル生成装置とメディアファイル再生装置で構成することができる。

図１６は、本発明の一実施形態によるメディアファイル生成装置を示す。

図１６を参照すると、本実施形態によるメディアファイル生成装置は、２個以上のカメラ１３０１〜１３０４、入力部１３１０、ビデオ信号プロセッサ１３２０、格納部１３３０、エンコーダ１３４０、及びファイル生成部１３５０を含む。

カメラ１３０１〜１３０４は、各々特定の被写体を左側ビュー又は右側ビューで撮影して相互に異なるビューシーケンスを出力する。モノグラフィックビデオがサービスされる場合には、モノスコピックビデオデータは、ステレオスコピックビデオデータと一緒に入力部１３１０に入力される。このとき、カメラパラメータのような情報も、入力部１３１０に伝達することができる。

ビデオ信号プロセッサ１３２０は、入力部１３１０を通じて受信された全てのビデオデータを前処理する。ここで、前処理動作は、外部のビデオ値、即ち光とカラー成分をＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）タイプのセンサーによって認識されて生成されたアナログ値をデジタル値に変換する動作を意味する。

格納部１３３０は、ビデオ信号プロセッサ１３２０によって前処理されたビデオデータを格納してエンコーダ１３４０に提供する。図１６は、格納部１３３０を示しているが、この格納部１３３０は、図１６に示す構成要素間のバッファリングに対する格納構成を別途に示していない。エンコーダ１３４０は、格納部１３３０から提供された各ビデオデータを符号化する。エンコーダ１３４０によって遂行される符号化動作は、必要に応じて省略可能なデータの符号化である。

ファイル生成部１３５０は、エンコーダ１３４０によって符号化された各ビデオデータを用いてメディアファイル１３００を生成する。このビデオデータは、データ領域、特にメディアデータ領域に格納され、ビデオデータ間の関係を示すトラック基準情報、各ビデオデータのメディアタイプを表すハンドラ情報、ステレオスコピックビデオの構成タイプ、及びカメラとディスプレイ情報は、各ビデオデータのトラックの該当情報に対するボックスに格納される。この生成されたメディアファイル１３００は、ステレオスコピックメディアファイル再生装置に入力又は転送され、メディアファイル再生装置は、メディアファイル１３００からステレオスコピックサービスビデオを再生してディスプレイする。

次に、本発明の一実施形態によるステレオスコピックメディアファイル再生装置について説明する。

図１７は、本発明の一実施形態によるメディアファイル再生装置を示すブロック構成図である。図１７に示すように、メディアファイル再生装置は、ファイル分析器１４１０、デコーダ１４２０、格納部１４３０、再生部１４４０、及びディスプレイ部１４５０を含む。

ファイル分析器１４１０は、例えば、メディアファイル生成装置のファイル生成部１３５０によって生成されたメディアファイル１４００を受信して分析する。このとき、ファイル分析器１４１０は、ファイル、ｍｏｏｖ、トラック、及びメタデータ領域に各々格納された情報を分析した後に、メディアデータ領域に格納されているビデオデータ１４０１〜１４０４を抽出する。図５及び図８に示したファイル分析動作を通じて、ファイル分析器１４１０は、トラック間の基準情報を含む関連性を示す情報も抽出し、関連したトラックを識別することができる。

デコーダ１４２０は、抽出されたビデオデータを復号化する。本実施形態において、このデコーダ１４２０は、メディアファイル生成装置がエンコーダ１３４０を用いてデータを符号化する場合に使用される。復号化されたデータは、格納部１４３０に格納される。再生部１４４０は、識別情報に基づいて格納部１４３０に格納されたビデオデータを用いて関連したステレオスコピックビューシーケンスを合成して再生し、及び／又は関連したステレオスコピックビューシーケンス及びモノスコピックビューシーケンスを共に再生する。ディスプレイ部１４５０は、再生されたビューシーケンスをディスプレイする。このディスプレイ部１４５０には、バリアＬＣＤを採用できる。この場合、バリアＬＣＤは、メディアファイルのモノスコピックビデオに対してオフ状態とし、ステレオスコピックビデオに対してオン状態とすることで、各ビデオを画面にディスプレイすることができる。

以上、本発明を具体的な実施形態に関して図示及び説明したが、添付した特許請求の範囲により規定されるような本発明の精神及び範囲を外れることなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。

１００、１３００、１４００ メディアファイル
１１０ 映画データボックス（‘ｍｏｏｖ’ボックス）
１２０ メディアデータボックス（‘ｍｄａｔ’ボックス）
２１０、３１０、５１０、５２０、６１０、６２０、６３０、８１０、９１０、９２０、１０１０、１１５０、１２５０ トラック基準ボックス（‘ｔｒｅｆ’ボックス）
２２０、３２０、３３０、８２０、９３０、１０２０、１０３０ ハンドラ基準ボックス（‘ｈｄｌｒ’ボックス）
１１１０、１２１０ ハンドラタイプ‘ｓｖｉｄ’
１１２０、１２２０、１２３０ 基準タイプ‘ａｖｍｉ’
１１４０、１１６０、１２２４、１２３４ ‘ｓｃｄｉ’ボックス
１３０１ 各ビデオの関連情報
１３０２ カメラ（左）
１３０３ カメラ（右）
１３０４ マルチビュー又はモノビューカメラ
１３１０ 入力部
１３２０ ビデオ信号プロセッサ
１３３０、１４３０ 格納部
１３４０ エンコーダ
１３５０ ファイル生成部
１４１０ ファイル分析器
１４２０ デコーダ
１４４０ 再生部
１４５０ ディスプレイ部

Claims (15)

1. 格納されたデータを有するコンピュータ読み取り可能な記録媒体であって、
   一つのシーンに同時にディスプレイされるステレオスコピックビューシーケンスである複数のビューシーケンスを含むメディアデータフィールドと、
   前記複数のビューシーケンスのそれぞれに対応するトラックフィールドを含むメディアヘッダーフィールドと、を含み、
   前記トラックフィールドのうち少なくとも一つのトラックフィールドは、トラック基準フィールドを含み、前記トラック基準フィールドは前記少なくとも一つのトラックフィールドが他のトラックフィールドを参照することを示すトラック基準情報を含み、
   前記複数のビューシーケンスは、第１のビューシーケンスと第２のビューシーケンスとを含み、
   前記第１のビューシーケンスのディスプレイ及びカメラ情報に対するパラメータ値は基準値に設定され、前記第２のビューシーケンスのディスプレイ及びカメラ情報に対するパラメータ値は前記基準値に相対的な値に設定され、
   前記相対的な値に設定される前記第２のビューシーケンスの前記ディスプレイ及びカメラ情報は前記第２のビューシーケンスに対応するトラックフィールドに格納され、
   メディアファイルから前記メディアデータフィールドと前記メディアヘッダーフィールドとを分析してビデオを生成する手段として機能するためのディスプレイプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
2. 前記トラックフィールドはパラメータをさらに含み、前記パラメータは前記複数のビューシーケンスのうちどのビューシーケンスが前記第１のビューシーケンスであるかを示すことを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
3. 前記第１のビューシーケンスの前記ディスプレイ及びカメラ情報に対する前記基準値は０に設定されることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
4. 前記第１のビューシーケンスに対する前記メディアデータフィールド又はメディアヘッダーフィールドは前記第１のビューシーケンスに対する前記パラメータ値が０に設定され、前記第２のビューシーケンスに対する前記パラメータ値が前記第２のビューシーケンスに対する前記メディアデータフィールド又は前記メディアヘッダーフィールドに含まれることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
5. 前記第１のビューシーケンスは、ステレオスコピック左側ビューシーケンス、ステレオスコピック右側ビューシーケンス、主ビューシーケンス、付加ビューシーケンス、ステレオスコピックコンテンツ、モノスコピックコンテンツのうち一つであり、
   前記第２のビューシーケンスは、ステレオスコピック左側ビューシーケンス、ステレオスコピック右側ビューシーケンス、主ビューシーケンス、付加ビューシーケンス、ステレオスコピックコンテンツ、そしてモノスコピックコンテンツのうち一つであることを特徴とする請求項１に記載のコンピュータ読み取り可能な記録媒体。
6. メディアファイルを受信するステップと、
   前記メディアファイルから一つのシーンに同時にディスプレイされるステレオスコピックビューシーケンスである複数のビューシーケンスを含むメディアデータフィールドと、前記複数のビューシーケンスのそれぞれに対応するトラックフィールドを含むメディアヘッダーフィールドを分析するステップと、
   前記トラックフィールドのうち参照するビューシーケンスに該当するトラックフィールドに含まれるトラック基準フィールドに含まれるトラック基準情報によって、前記参照するビューシーケンスと参照されるビューシーケンスに基づいてビデオを生成するステップとを含み、
   前記トラック基準情報は前記参照するビューシーケンスを生成するために参照されるトラックフィールドで他のトラックフィールドを示し、
   前記複数のビューシーケンスは、第１のビューシーケンスと第２のビューシーケンスとを含み、
   前記第１のビューシーケンスのディスプレイ及びカメラ情報に対するパラメータ値は基準値に設定され、前記第２のビューシーケンスのディスプレイ及びカメラ情報に対するパラメータ値は前記基準値に相対的な値に設定され、
   前記相対的な値に設定される前記第２のビューシーケンスの前記ディスプレイ及びカメラ情報は前記第２のビューシーケンスに対応するトラックフィールドに格納されることを特徴とするコンピュータ実行方法。
7. 前記トラックフィールドはパラメータをさらに含み、前記パラメータは前記複数のビューシーケンスのうちどのビューシーケンスが前記第１のビューシーケンスであるかを示すことを特徴とする請求項６に記載のコンピュータ実行方法。
8. 前記第１のビューシーケンスの前記ディスプレイ及びカメラ情報に対する前記基準値は０に設定されることを特徴とする請求項６に記載のコンピュータ実行方法。
9. 前記第１のビューシーケンスに対する前記メディアデータフィールド又は前記メディアヘッダーフィールドは前記第１のビューシーケンスに対する前記パラメータ値が０に設定され、前記第２のビューシーケンスに対する前記パラメータ値が前記第２のビューシーケンスに対する前記メディアデータフィールド又は前記メディアヘッダーフィールドに含まれることを特徴とする請求項６に記載のコンピュータ実行方法。
10. 前記第１のビューシーケンスはステレオスコピック左側ビューシーケンス、ステレオスコピック右側ビューシーケンス、主ビューシーケンス、付加ビューシーケンス、ステレオスコピックコンテンツ、モノスコピックコンテンツのうち一つであり、
    前記第２のビューシーケンスはステレオスコピック左側ビューシーケンス、ステレオスコピック右側ビューシーケンス、主ビューシーケンス、付加ビューシーケンス、ステレオスコピックコンテンツ、そしてモノスコピックコンテンツのうち一つであることを特徴とする請求項６に記載のコンピュータ実行方法。
11. メディアファイルを受信する受信機と、
    前記メディアファイルから一つのシーンに同時にディスプレイされるステレオスコピックビューシーケンスである複数のビューシーケンスを含むメディアデータフィールドと前記複数のビューシーケンスのそれぞれに対応するトラックフィールドを含むメディアヘッダーフィールドを分析し、前記トラックフィールドのうち参照するビューシーケンスに該当するトラックフィールドに含まれるトラック基準フィールドに含まれるトラック基準情報によって、前記参照するビューシーケンスと参照されるビューシーケンスとに基づいてビデオを抽出するファイル分析部と、
    前記抽出されたビデオを表示するディスプレイ部と、を含み、
    前記トラック基準情報は前記参照するビューシーケンスを生成するために参照されるトラックフィールドで他のトラックフィールドを示し、
    前記複数のビューシーケンスは、第１のビューシーケンスと第２のビューシーケンスとを含み、
    前記第１のビューシーケンスのディスプレイ及びカメラ情報に対するパラメータ値は基準値に設定され、前記第２のビューシーケンスのディスプレイ及びカメラ情報に対するパラメータ値は前記基準値に相対的な値に設定され、
    前記相対的な値に設定される前記第２のビューシーケンスの前記ディスプレイ及びカメラ情報は前記第２のビューシーケンスに対応するトラックフィールドに格納されることを特徴とする端末装置。
12. 前記トラックフィールドはパラメータをさらに含み、前記パラメータは前記複数のビューシーケンスのうちどのビューシーケンスが前記第１のビューシーケンスであるかを示すことを特徴とする請求項１１に記載の端末装置。
13. 前記第１のビューシーケンスの前記ディスプレイ及びカメラ情報に対する前記基準値は０に設定されることを特徴とする請求項１１に記載の端末装置。
14. 前記第１のビューシーケンスに対する前記メディアデータフィールド又は前記メディアヘッダーフィールドは前記第１のビューシーケンスに対する前記パラメータ値が０に設定され、前記第２のビューシーケンスに対する前記パラメータ値が前記第２のビューシーケンスに対する前記メディアデータフィールド又はメディアヘッダーフィールドに含まれることを特徴とする請求項１１に記載の端末装置。
15. 前記第１のビューシーケンスはステレオスコピック左側ビューシーケンス、ステレオスコピック右側ビューシーケンス、主ビューシーケンス、付加ビューシーケンス、ステレオスコピックコンテンツ、モノスコピックコンテンツのうち一つであり、
    前記第２のビューシーケンスはステレオスコピック左側ビューシーケンス、ステレオスコピック右側ビューシーケンス、主ビューシーケンス、付加ビューシーケンス、ステレオスコピックコンテンツ、そしてモノスコピックコンテンツのうち一つであることを特徴とする請求項１１に記載の端末装置。

Images