JP5519647B2 - カメラ・パラメータを利用したステレオスコピック映像データ・ストリーム生成方法及びその装置、 - Google Patents

Description

本発明は、ステレオスコピック映像の符号化及び復号化に関する。

最近の映像技術において、さらに写実的であって臨在感あふれる映像情報を表現するために、三次元（３Ｄ）映像を具現する方式に係わる研究が活発に進められている。三次元映像の具現方式において、人間視覚特性を活用し、既存のディスプレイ装置に、左視点映像と右視点映像とを、それぞれ割り当てられる位置に走査した後、左視点と右視点とを視聴者の左目と右目とに分離して像を結ばせることにより、三次元立体感を感じさせる方法が、さまざまな面で可能性が認められている。かような三次元映像具現方式の一例であるバリアＬＤＣ（Barrier liquid crystal display）を装着した携帯端末機では、ステレオスコピック・コンテンツを再生し、ユーザにさらに実感溢れる映像を提供できるようになっている。

本発明は、ステレオスコピック映像の符号化及び復号化に関する。

本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成方法は、ステレオスコピック映像データを符号化する段階と、前記ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づいて、カメラ・パラメータを決定する段階と、前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入する段階と、を含むことができる。

本発明は、米国特許商標庁に２００８年５月２７に出願された米国仮出願第６１／０５６，１７４号と、韓国特許庁に２００８年７月２３日に出願された韓国特許出願第１０−２００８−００７１８９７号とに基づいて優先権を主張し、前記出願の発明の思想は、本明細書に含まれている。

本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成方法は、ステレオスコピック映像データを符号化する段階と、前記ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づいて、カメラ・パラメータを決定する段階と、前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入する段階と、を含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記少なくとも１つのカメラにおいて、第１視点カメラの焦点距離を示す第１焦点距離パラメータと、第２視点カメラの焦点距離を示す第２焦点距離パラメータとを別個に決定する段階を含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記少なくとも１つのカメラにおいて、第１視点カメラの焦点距離を示す第１焦点距離と、第２視点カメラの焦点距離を示す第２焦点距離とが異なるか否かを示す焦点距離不一致パラメータを決定する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが同一であるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータのうちいずれか一つを決定する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが異なるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータを決定する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離の水平成分値を示す水平焦点距離パラメータと、前記焦点距離の垂直成分値を示す垂直焦点距離パラメータとを決定する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを決定する段階と、前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータのうちいずれか一つを決定する段階と、をさらに含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離の水平成分値と垂直成分値との比率に基づいて、前記焦点距離についての情報を設定しているか否かを示す焦点距離縦横比利用パラメータを決定する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率を利用するならば、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを決定する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率を利用しないならば、前記焦点距離の水平成分値と垂直成分値との比率を「１」に決定する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記ステレオスコピック映像において、第１視点映像の主点（principal point）を示す第１主点パラメータ、及び前記ステレオスコピック映像において、第２視点映像の主点を示す第２主点パラメータを別個に決定する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記第１主点パラメータ及び前記第２主点パラメータは、主点のｘ座標成分及びｙ座標成分別に決定できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記ステレオスコピック映像の主点についての情報を設定しているか否かを示す主点情報設定パラメータを決定する段階を含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記主点情報設定パラメータに基づいて、前記主点についての情報を設定するならば、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像第２視点映像の主点を示す第２主点パラメータを別個に決定する段階をさらに含み、前記第１主点パラメータ及び前記第２主点パラメータは、ｘ座標成分及びｙ座標成分別に決定できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記主点情報設定パラメータに基づいて、前記主点についての情報を設定しないならば、前記少なくとも１つのカメラにおいて、所定視点のカメラによって撮影された領域の中点と、前記所定視点の映像の主点とが一致すると決定する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記少なくとも１つのカメラのうち所定視点カメラの回転角から、ｘ軸基準の回転角を示すｘ軸回転角パラメータ、ｙ軸基準の回転角を示すｙ軸回転角パラメータ、及びｚ軸基準の回転角を示すｚ軸回転角パラメータを決定する段階を含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記カメラ・パラメータ決定段階は、前記ｘ軸基準の回転角、ｙ軸基準の回転角及びｚ軸基準の回転角を、３ｘ３行列またはサイズ９の配列で表現できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成方法の前記データ・ストリーム挿入段階は、前記ステレオスコピック映像データ・ストリームがＩＳＯ（International Standards Organization）基盤のメディアファイル・フォーマットであるとき、前記ＩＳＯ基盤のメディアファイル・フォーマットは、ｍｏｏｖボックス、ｍｄａｔボックス及びｍｅｔａボックスを含み、前記ｍｅｔａボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベル・ボックス、及び前記ｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベル・ボックスのうち少なくともいずれか一つに、前記カメラ・パラメータを挿入する段階を含むことができる。

本発明の一実施形態によるステレオスコピック映像復元方法は、受信されたデータ・ストリームを、ステレオスコピック映像のデータと、前記ステレオスコピック映像についての情報とにパージングする段階と、前記ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づくカメラ・パラメータを抽出する段階と、前記ステレオスコピック映像のデータを復号化して復元する段階と、を含むことができる。

一実施形態によるステレオスコピック映像復元方法の前記復元段階は、前記ステレオスコピック映像のデータを、前記カメラ・パラメータを利用して再生する段階を含むことができる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記少なくとも１つのカメラにおいて、第１視点カメラの焦点距離を示す第１焦点距離パラメータと、第２視点カメラの焦点距離を示す第２焦点距離パラメータとを別個に抽出する段階を含むことができる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記少なくとも１つのカメラにおいて、第１視点カメラの焦点距離を示す第１焦点距離と、第２視点カメラの焦点距離を示す第２焦点距離とが異なるか否かを示す焦点距離不一致パラメータを抽出する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが同一であるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータのうちいずれか一つを抽出する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが異なるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータを抽出する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離の水平成分値を示す水平焦点距離パラメータと、前記焦点距離の垂直成分値を示す垂直焦点距離パラメータとを抽出する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを抽出する段階と、前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータのうちいずれか一つを抽出する段階と、をさらに含むことができる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離の水平成分値と垂直成分値との比率に基づいて、前記焦点距離についての情報が設定されているか否かを示す焦点距離縦横比利用パラメータを抽出する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率が利用されているとすれば、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを抽出する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率が利用されていないとすれば、前記焦点距離の水平成分値と垂直成分値との比率を「１」に決定する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像において、第２視点映像の主点を示す第２主点パラメータを別個に抽出する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記第１主点パラメータ及び前記第２主点パラメータを、主点のｘ座標成分及びｙ座標成分別に抽出できる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記ステレオスコピック映像の主点についての情報が設定されているか否かを示す主点情報設定パラメータを抽出する段階を含むことができる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記主点情報設定パラメータに基づいて、前記主点についての情報が設定されているとすれば、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像第２視点映像の主点を示す第２主点パラメータを別個に抽出する段階をさらに含み、前記第１主点パラメータ及び前記第２主点パラメータは、ｘ座標成分及びｙ座標成分別に抽出されうる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記主点情報設定パラメータに基づいて、前記主点についての情報が設定されていないとすれば、前記少なくとも１つのカメラにおいて、所定視点のカメラによって撮影された領域の中点と、前記所定視点の映像の主点とが一致すると決定する段階をさらに含むことができる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記少なくとも１つのカメラのうち所定視点カメラの回転角から、ｘ軸基準の回転角を示すｘ軸回転角パラメータ、ｙ軸基準の回転角を示すｙ軸回転角パラメータ、及びｚ軸基準の回転角を示すｚ軸回転角パラメータを抽出する段階を含むことができる。

一実施形態によるステレオスコピック映像復元方法の前記カメラ・パラメータ抽出段階は、前記ｘ軸基準の回転角、ｙ軸基準の回転角及びｚ軸基準の回転角を、３ｘ３行列またはサイズ９の配列で表現された回転角パラメータを抽出できる。

一実施形態によるステレオスコピック映像復元方法の前記パージング段階は、前記ステレオスコピック映像データ・ストリームがＩＳＯ基盤のメディアファイル・フォーマットであるとき、前記ＩＳＯ基盤のメディアファイル・フォーマットは、ｍｏｏｖボックス、ｍｄａｔボックス及びｍｅｔａボックスを含み、前記ｍｅｔａボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベル・ボックス、及び前記ｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベル・ボックスのうち少なくともいずれか一つから、前記カメラ・パラメータを抽出する段階と、前記ｍｄａｔボックスから前記ステレオスコピック映像のデータを抽出する段階と、を含むことができる。

本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体において、前記ステレオスコピック映像データ・ストリーム生成方法は、ステレオスコピック映像データを符号化する段階と、前記ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づいて、カメラ・パラメータを決定する段階と、前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入する段階と、を含む。

本発明の一実施形態によるステレオスコピック映像復元方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体において、前記ステレオスコピック映像復元方法は、受信されたデータ・ストリームを、ステレオスコピック映像のデータと、前記ステレオスコピック映像についての情報とにパージングする段階と、前記ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づくカメラ・パラメータを抽出する段階と、前記ステレオスコピック映像のデータを復号化して復元する段階と、を含む。

本発明の一実施形態で利用されるカメラ・パラメータは、焦点距離パラメータ、焦点距離縦横比パラメータ、主点パラメータ、回転角パラメータ、平行移動パラメータのうち少なくとも一つを含む。ここで、焦点距離パラメータ、焦点距離縦横比パラメータ、主点パラメータは、カメラ一つに係わるパラメータであり、カメラ内部パラメータと命名され、回転角パラメータ、平行移動パラメータは、多数のカメラとの関係に係わるパラメータであり、カメラ外部パラメータと命名される。カメラ・パラメータは、エピポーラ線制約技法（epipolar line constraint）、レクチフィケーション技法（rectification）などの多様なプロセスに適用され、三次元映像の画質が改善されうる。

本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成装置のブロック図である。 本発明の一実施形態によるステレオスコピック映像復元装置のブロック図である。 ワールド座標系とカメラ座標系との関係を図示する図である。 カメラ座標系上の座標と、これに対応する映像上の座標との関係を図示する図である。 撮影映像座標と再生映像上の座標との関係を図示する図である。 ステレオスコピックカメラの平行移動情報及び回転情報を図示する図である。 第１視点カメラ座標系と第２視点カメラ座標系との関係を図示する図である。 ＩＳＯ基盤のメディアファイル・フォーマットによるファイル・フォーマットの構造を図示する図である。 ＩＳＯ基盤のメディアファイル・フォーマットによるファイル構造を構成するボックス・リストを図示する図である。 ステレオスコピック映像に係わるさまざまなパラメータを具現するためのシンタックスを図示する図である。 本発明の一実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの一例を図示する図である。 本発明の一実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの他の例を図示する図である。 本発明の他の実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの一例を図示する図である。 本発明の他の実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの他の例を図示する図である。 本発明の他の実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスのさらに他の例を図示する図である。 本発明の一実施形態によるステレオスコピック映像に係わるカメラ主点パラメータを具現するためのシンタックスの一例を図示する図である。 本発明の一実施形態によるステレオスコピック映像に係わるカメラ主点パラメータを具現するためのシンタックスの他の例を図示する図である。 本発明の一実施形態によるステレオスコピック映像に係わるカメラ回転角パラメータを具現するためのシンタックスの一例を図示する図である。 本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成方法を利用するステレオスコピック映像ファイル生成システムのブロック図である。 本発明の一実施形態によるステレオスコピック映像復元方法を利用するステレオスコピック映像復元／再生システムのブロック図である。 本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成方法のフローチャートである。 本発明の一実施形態によるステレオスコピック映像復元方法のフローチャートを図示する図である。

本発明の一実施形態によるステレオスコピック映像（stereoscopic image）データ・ストリーム生成装置は、ステレオスコピック映像データを符号化する映像データ符号化部と、前記ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づいて、カメラ・パラメータを決定するカメラ・パラメータ決定部と、前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入するデータ・ストリーム挿入部と、を含む
一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離を決定する焦点距離パラメータ決定部を含み、前記焦点距離パラメータ決定部は、第１視点カメラの焦点距離を示す第１焦点距離パラメータと、第２視点カメラの焦点距離を示す第２焦点距離パラメータとを別個に決定できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記第１視点カメラの焦点距離を示す第１焦点距離と、前記第２視点カメラの焦点距離を示す第２焦点距離とが異なるか否かを示す焦点距離不一致パラメータを決定する焦点距離不一致パラメータ決定部をさらに含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記焦点距離パラメータ決定部は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが同一であるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータのうちいずれか一つを決定できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記焦点距離パラメータ決定部は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが異なるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータを決定できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離を決定する焦点距離パラメータ決定部を含み、前記焦点距離パラメータ決定部は、前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータを決定できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離を決定する焦点距離パラメータ決定部と、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを決定する焦点距離縦横比パラメータ決定部と、を含み、前記焦点距離パラメータ決定部は、前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータのうちいずれか一つを決定できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記焦点距離の水平成分値と垂直成分値との比率に基づいて、前記焦点距離についての情報を設定しているか否かを示す焦点距離縦横比利用パラメータを決定する焦点距離縦横比利用パラメータ決定部をさらに含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記焦点距離縦横比パラメータ決定部は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率を利用するならば、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを決定できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記焦点距離縦横比パラメータ決定部は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率を利用しないならば、前記焦点距離の水平成分値と垂直成分値との比率を「１」に決定できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記ステレオスコピック映像の主点（principal point）についての情報を決定する主点パラメータ決定部を含み、前記主点パラメータ決定部は、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像において、第２視点映像の主点を示す第２主点パラメータを別個に決定できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記主点パラメータ決定部は、前記第１主点パラメータ及び前記第２主点パラメータは、主点のｘ座標成分及びｙ座標成分別に決定できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記ステレオスコピック映像の主点についての情報を設定しているか否かを示す主点情報設定パラメータを決定する主点情報設定パラメータ決定部を含むことができる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記主点情報設定パラメータに基づいて、前記ステレオスコピック映像の主点についての情報を決定する主点パラメータ決定部を含み、前記主点パラメータ決定部は、前記主点情報設定パラメータに基づいて、前記主点についての情報を設定するならば、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像第２視点映像の主点を示す第２主点パラメータを別個に決定し、前記第１主点パラメータ及び前記第２主点パラメータは、ｘ座標成分及びｙ座標成分別に決定できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記カメラ・パラメータ決定部は、前記主点情報設定パラメータに基づいて、前記ステレオスコピック映像の主点についての情報を決定する主点パラメータ決定部を含み、前記主点パラメータ決定部は、前記主点情報設定パラメータに基づいて、前記主点についての情報を設定しないならば、前記少なくとも１つのカメラにおいて、所定視点のカメラによって撮影された領域の中点と、前記所定視点の映像の主点とが一致すると決定できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置において、前記カメラ・パラメータ決定部は、前記少なくとも１つのカメラのうち所定視点カメラの回転角についての情報を決定する回転角パラメータ決定部を含み、前記回転角パラメータ決定部は、ｘ軸基準の回転角を示すｘ軸回転角パラメータ、ｙ軸基準の回転角を示すｙ軸回転角パラメータ、及びｚ軸基準の回転角を示すｚ軸回転角パラメータを決定できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記回転角パラメータ決定部は、前記ｘ軸基準の回転角、ｙ軸基準の回転角及びｚ軸基準の回転角を、３ｘ３行列またはサイズ９の配列で表現できる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置の前記データ・ストリーム挿入部は、前記ステレオスコピック映像データ・ストリームがＩＳＯ（International Standards Organization）基盤のメディアファイル・フォーマットであるとき、前記ＩＳＯ基盤のメディアファイル・フォーマットは、ｍｏｏｖボックス、ｍｄａｔボックス及びｍｅｔａボックスを含み、前記ｍｅｔａボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベル・ボックス、及び前記ｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベル・ボックスのうち少なくともいずれか一つに、前記カメラ・パラメータを挿入できる。

本発明の一実施形態によるステレオスコピック映像復元装置は、受信されたデータ・ストリームを、ステレオスコピック映像のデータと、前記ステレオスコピック映像についての情報とにパージングするパージング部と、前記ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づくカメラ・パラメータを抽出するカメラ・パラメータ抽出部と、前記ステレオスコピック映像のデータを復号化して復元する映像データ復号化部と、を含むことができる。

一実施形態によるステレオスコピック映像復元装置の前記ステレオスコピック映像復元装置は、前記復元されたステレオスコピック映像を、前記カメラ・パラメータを利用して再生する再生部をさらに含むことができる。

一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離についての情報を抽出する焦点距離パラメータ抽出部を含み、前記焦点距離パラメータ抽出部は、第１視点カメラの焦点距離を示す第１焦点距離パラメータと、第２視点カメラの焦点距離を示す第２焦点距離パラメータとを別個に抽出できる。

一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記少なくとも１つのカメラにおいて、第１視点カメラの焦点距離を示す第１焦点距離と、第２視点カメラの焦点距離を示す第２焦点距離とが異なるか否かを示す焦点距離不一致パラメータを抽出する焦点距離不一致パラメータ抽出部をさらに含むことができる。

一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離についての情報を抽出する焦点距離パラメータ抽出部をさらに含み、前記焦点距離パラメータ抽出部は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが同一であるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータのうちいずれか一つを抽出できる。

一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離についての情報を抽出する焦点距離パラメータ抽出部をさらに含み、前記焦点距離パラメータ抽出部は、前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが異なるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータを抽出できる。

一実施形態によるステレオスコピック映像復元装置において、前記カメラ・パラメータ抽出部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離についての情報を抽出する焦点距離パラメータ抽出部を含み、前記焦点距離パラメータ抽出部は、前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータを抽出できる。

一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記少なくとも１つのカメラのうち所定視点カメラの焦点距離についての情報を抽出する焦点距離パラメータ抽出部と、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを抽出する焦点距離縦横比パラメータ抽出部と、を含み、前記焦点距離パラメータ抽出部は、前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータのうちいずれか一つを抽出できる。

一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記焦点距離の水平成分値と垂直成分値との比率に基づいて、前記焦点距離についての情報が設定されているか否かを示す焦点距離縦横比利用パラメータを抽出する焦点距離縦横比利用パラメータ抽出部をさらに含むことができる。

一実施形態によるステレオスコピック映像復元装置の前記焦点距離縦横比パラメータ抽出部は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率が利用されているとすれば、前記焦点距離縦横比パラメータを抽出できる。

一実施形態によるステレオスコピック映像復元装置の前記焦点距離縦横比パラメータ抽出部は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率が利用されていないとすれば、前記焦点距離縦横比を「１」に決定できる。

一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記ステレオスコピック映像における所定視点映像の主点についての情報を抽出する主点パラメータ抽出部を含み、前記主点パラメータ抽出部は、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像において、第２視点映像の主点を示す第２主点パラメータを別個に抽出できる。

一実施形態によるステレオスコピック映像復元装置の前記主点パラメータ抽出部は、前記第１主点パラメータ及び前記第２主点パラメータを、主点のｘ座標成分及びｙ座標成分別に抽出できる。

一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記ステレオスコピック映像の主点についての情報が設定されているか否かを示す主点情報設定パラメータを抽出する主点情報設定パラメータ抽出部を含むことができる。

一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記ステレオスコピック映像における所定視点映像の主点についての情報を抽出する主点パラメータ抽出部をさらに含み、前記主点パラメータ抽出部は、前記主点情報設定パラメータに基づいて、前記主点についての情報が設定されているとすれば、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像第２視点映像の主点を示す第２主点パラメータを別個に抽出し、前記第１主点パラメータ及び前記第２主点パラメータは、ｘ座標成分及びｙ座標成分別に抽出できる。

一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記ステレオスコピック映像における所定視点映像の主点についての情報を抽出する主点パラメータ抽出部をさらに含み、前記主点パラメータ抽出部は、前記主点情報設定パラメータに基づいて、前記主点についての情報が設定されていないとすれば、前記少なくとも１つのカメラにおいて、所定視点のカメラによって撮影された領域の中点と、前記所定視点の映像の主点とが一致すると決定できる。

一実施形態によるステレオスコピック映像復元装置の前記カメラ・パラメータ抽出部は、前記少なくとも１つのカメラのうち所定視点カメラの回転角についての情報を抽出する回転角パラメータ抽出部を含み、前記回転角パラメータ抽出部は、ｘ軸基準の回転角を示すｘ軸回転角パラメータ、ｙ軸基準の回転角を示すｙ軸回転角パラメータ、及びｚ軸基準の回転角を示すｚ軸回転角パラメータを抽出できる。

一実施形態によるステレオスコピック映像復元装置の前記回転角パラメータ抽出部は、前記ｘ軸基準の回転角、ｙ軸基準の回転角及びｚ軸基準の回転角を、３ｘ３行列またはサイズ９の配列で表現された回転角パラメータを抽出できる。

一実施形態によるステレオスコピック映像復元装置の前記パージング部は、前記ステレオスコピック映像データ・ストリームがＩＳＯ基盤のメディアファイル・フォーマットであるとき、前記ＩＳＯ基盤のメディアファイル・フォーマットは、ｍｏｏｖボックス、ｍｄａｔボックス及びｍｅｔａボックスを含み、前記ｍｅｔａボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベル・ボックス、及び前記ｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベル・ボックスのうち少なくともいずれか一つから、前記カメラ・パラメータを抽出し、前記ｍｄａｔボックスから前記ステレオスコピック映像のデータを抽出できる。

以下、添付された図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。

図１は、本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成装置のブロック図を図示している。

本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００は、映像データ符号化部１１０、カメラ・パラメータ決定部１２０及びデータ・ストリーム挿入部１３０を含む。

映像データ符号化部１１０は、符号化しようとするステレオスコピック映像の映像データを符号化し、符号化された映像データは、データ・ストリーム挿入部１３０に出力する。ステレオスコピック映像は、第１視点映像及び第２視点映像がそれぞれ符号化され、第１視点映像及び第２視点映像が混合された映像が符号化されうる。また、多視点映像（multiview image）または単一視点映像（monoview image）が符号化されるために、映像データ符号化部１１０に入力されうる。

カメラ・パラメータ決定部１２０は、符号化しようとするステレオスコピック映像に係わるカメラ・パラメータを決定し、データ・ストリーム挿入部１３０に出力する。ステレオスコピック映像を獲得するために多数のカメラが必要であり、それぞれのカメラ別に視点が異なる。それぞれの視点別にカメラ情報は変わうるので、それぞれが視点別カメラ・パラメータが別個に設定される必要がある。

一実施形態によるカメラ・パラメータ決定部１２０は、それぞれのカメラに係わる焦点距離、主点（principal point，main point）、回転角／平行移動などを示す情報をカメラ・パラメータとして決定できる。図１に図示されていないが、カメラ・パラメータ決定部１２０は、焦点距離パラメータ決定部、主点パラメータ決定部、回転角パラメータ決定部を含むことができる。

焦点距離パラメータ決定部は、少なくとも１つのカメラのうち所定視点カメラの焦点距離についての情報（以下、「焦点距離パラメータ」とする）を決定する。

カメラ・パラメータ決定部１２０は、第１視点カメラの焦点距離と、第２視点カメラの焦点距離とが異なるか否かを示す情報（以下、「焦点距離不一致パラメータ」とする）を決定するために、焦点距離不一致パラメータ決定部を含むことができる。

カメラ・パラメータ決定部１２０は、焦点距離の垂直、水平距離の比率（以下、「焦点距離縦横比」とする）を利用して焦点距離を決定するために、焦点距離縦横比パラメータ決定部を含むことができる。

また、カメラ・パラメータ決定部１２０は、焦点距離縦横比を利用しているか否かを示す情報（以下、「焦点距離縦横比利用パラメータ」とする）を決定するために、焦点距離縦横比利用パラメータ決定部を含むことができる。

主点パラメータ決定部は、ステレオスコピック映像の主点についての情報（以下、「主点パラメータ」とする）を決定する。カメラ・パラメータ決定部１２０は、主点情報を設定しているか否かを示す情報（以下、「主点情報設定パラメータ」とする）を決定するために、主点情報設定パラメータ決定部を含むことができる。

回転角パラメータ決定部は、少なくとも１つの視点カメラのうち所定視点カメラの回転角度についての情報（以下、「回転角パラメータ」とする）を決定する。

データ・ストリーム挿入部１３０は、映像データ符号化部１１０から入力された符号化された映像データと、カメラ・パラメータ決定部１２０から入力されたカメラ・パラメータとをデータ・ストリームに挿入することによって、ステレオスコピック映像データ・ストリームを生成する。

符号化された映像データとカメラ・パラメータは、それぞれステレオスコピック映像データ・ストリーム上の適した位置に挿入される。図８及び図９を参考にし、一実施形態によって、映像データ及びカメラ・パラメータが挿入されるステレオスコピック映像データ・ストリームの構造について述べる。

図２は、本発明の一実施形態によるステレオスコピック映像復元装置のブロック図を図示している。

本発明の一実施形態によるステレオスコピック映像復元装置２００は、パージング部２１０、カメラ・パラメータ抽出部２２０、映像データ復号化部２３０及び再生部２４０を含む。

パージング部２１０は、受信されたステレオスコピック映像データ・ストリームをパージングし、ステレオスコピック映像のデータ及びステレオスコピック映像についての情報を分離する。パージング部２１０は、ステレオスコピック映像データを映像データ復号化部２３０に出力し、カメラ・パラメータをカメラ・パラメータ抽出部２２０に出力する。

カメラ・パラメータ抽出部２２０は、パージング部２１０から入力された映像情報からカメラ・パラメータを抽出する。ステレオスコピック映像に係わるカメラ・パラメータは、ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づく。抽出されたカメラ・パラメータは、再生部２４０に出力されうる。

一実施形態によるカメラ・パラメータ抽出部２２０は、それぞれのカメラに係わる焦点距離、主点、回転角／平行移動などを示す情報をカメラ・パラメータとして抽出できる。図２に図示されていないが、カメラ・パラメータ抽出部２２０は、焦点距離パラメータ抽出部、主点パラメータ抽出部、回転角パラメータ抽出部を含むことができる。

焦点距離パラメータ抽出部は、焦点距離パラメータを抽出する。

カメラ・パラメータ抽出部２２０は、焦点距離不一致パラメータ抽出部を含むことができる。焦点距離不一致パラメータ抽出部によって抽出された焦点距離不一致パラメータに基づいて、カメラ・パラメータ抽出部２２０は、それぞれの視点カメラの焦点距離が一致するか否かを考慮し、それぞれの焦点距離をいずれも抽出するか否かを決定できる。

カメラ・パラメータ抽出部２２０は、焦点距離縦横比パラメータ抽出部を含むことができる。焦点距離縦横比パラメータ抽出部によって抽出された焦点距離縦横比パラメータに基づいて、カメラ・パラメータ抽出部２２０は、垂直または水平方向のうちいずれか１つの方向の焦点距離だけを抽出してもよいか否かを判断できる。

また、カメラ・パラメータ抽出部２２０は、焦点距離縦横比利用パラメータ抽出部を含むことができる。焦点距離縦横比利用パラメータに基づいて、焦点距離縦横比パラメータ抽出部は、焦点距離縦横比パラメータを抽出するか否かを決定できる。

主点パラメータ抽出部は、主点パラメータを抽出する。カメラ・パラメータ抽出部２２０は、主点設定パラメータ抽出部を含むことができる。主点設定パラメータに基づいて、カメラ・パラメータ主点パラメータ抽出部は、主点パラメータを抽出するか否かを決定できる。

回転角パラメータ抽出部は、少なくとも１つの視点カメラの回転角パラメータを抽出する。

映像データ復号化部２３０は、ステレオスコピック映像のデータを復号化して復元し、再生部２４０に出力する。ステレオスコピック映像は、符号化時に採用された圧縮技術を利用して復号化する。

再生部２４０は、復元されたステレオスコピック映像を、カメラ・パラメータを利用して再生する。再生部２４０は、カメラ・パラメータを利用し、カメラ視点間の関係を考慮しつつ、ステレオスコピック映像を再生するので、さらに正確に再生できる。

本発明の一実施形態で利用されるカメラ・パラメータは、焦点距離パラメータ、焦点距離縦横比パラメータ、主点パラメータ、回転角パラメータ、平行移動パラメータのうち少なくとも一つを含む。ここで、焦点距離パラメータ、焦点距離縦横比パラメータ、主点パラメータは、カメラ一つに係わるパラメータであり、カメラ内部パラメータと命名され、回転角パラメータ、平行移動パラメータは、多数のカメラとの関係に係わるパラメータであり、カメラ外部パラメータと命名される。

カメラ・パラメータは、エピポーラ線制約技法（epipolar line constraint）、レクチフィケーション技法（rectification）などの多様なプロセスに適用され、三次元映像の画質が改善しうる。

カメラ・パラメータの具体的な使用例は、以下、図１０ないし図１８を参考にして後述する。詳細には、焦点距離パラメータ（図１０ないし図１５）、焦点距離不一致パラメータ（図１１）、焦点距離縦横比パラメータ（図１４及び図１５）、焦点距離縦横比利用パラメータ（図１５）、主点パラメータ（図１６及び図１７）、主点情報設定パラメータ（図１７）、回転角パラメータ（図１８）の使用例について、それぞれの図面を参考にして詳述する。

図３は、ワールド座標系とカメラ座標系との関係を図示している。

ワールド座標系（world coordinate）３００とカメラ座標系（camera coordinate）３５０との関係において、ワールド座標系３００とカメラ座標系３５０との距離はｔ ３０５、ワールド座標系３００とカメラ座標系３５０との回転角Ｒ ３５５はｘ，ｙ，ｚ軸の回転角度によって定義されうる。

ｔ ３０５は、ワールド座標系３００の原点とカメラ座標系３５０の原点との間の距離とみなすことができる。

回転角Ｒ ３５５は、ワールド座標系３００のＸ軸、Ｘ_Ｗ ３１０を基準とするカメラ座標系３５０のＸ軸、Ｘ_Ｃ ３６０の回転角度、ワールド座標系３００のＹ軸、Ｙ_Ｗ ３２０を基準とするカメラ座標系３５０のＹ軸、Ｙ_Ｃ ３７０の回転角度、ワールド座標系３００のＺ軸、Ｚ_Ｗ ３３０を基準とするカメラ座標系３５０のＺ軸、Ｚ_Ｃ ３８０によって決定されうる。回転角Ｒ ３５５は、３ｘ３行列でありうる。

ワールド座標系３００上の座標Ｍ_Ｗと、カメラ座標系３５０上の座標Ｍ_Ｃとの対応関係は、式（１）によって定義される。

Ｍ_Ｃ＝Ｒ^−１Ｍ_Ｗ−Ｒ^−１ｔ （１）
任意の座標３０２は、ワールド座標系３００に対して、Ｐ_Ｗ３４０であるとき、式（１）によって、カメラ座標系３５０に対して、Ｐ_Ｃ３９０でマッチングされる。

図４は、カメラ座標系上の座標と、これに対応する映像上の座標とのの関係を図示している。

カメラ座標系４００と、カメラ座標系４００のＺ_Ｃ軸に対して垂直（Ｘ_Ｃ−Ｙ_Ｃ平面に平行）に配された映像４２０とを利用し、二者の関係について述べる。カメラ座標系４００上の任意の座標（Ｘ，Ｙ，Ｚ）４１０は，映像４２０上の点（ｘ，ｙ，ｆ）４３０に対応する。

２つの座標（Ｘ，Ｙ，Ｚ）４１０及び（ｘ，ｙ，ｆ）４３０の関係は、比例式４５０、とそれから誘導された関係式４６０とによって説明される。これを簡素化すれば、式（２）の通りである。

ｓ・ｍ＝Ａ・Ｍ_Ｃ （２）
ここで、ｓは、縦横比（aspect ratio）、ｍは、映像上の座標、Ａは、カメラ内部パラメータ、Ｍ_Ｃは、カメラ座標系上の座標を示す。縦横比ｓは、ｓ＝（ｓｘ，ｓｙ）であり、カメラ内部パラメータ・マトリックスＡは、Ａ＝［−ｆ／ｓｘ，０，０；０，−ｆ／ｓｙ，０；０，０，１］で表現されうる。

ｓ・ｍ＝Ａ・（Ｒ^−１Ｍ_Ｗ−Ｒ^−１ｔ） （３）
式（３）によって、ワールド座標系上の座標と映像上の座標との関係が表現される。

主点は、映像と光軸との交差点である。カメラによって撮影された領域が、映像に正確に対応し、カメラの撮影領域の中点と映像の中点とが、正確に一致することが望ましいが、一致しない場合がありうる。また、カメラによって撮影された領域の中点と映像の主点とが一致することが望ましいが、一致しない場合が生じうる。

図５は、撮影映像座標と再生映像上の座標との関係を図示している。

カメラで撮影された映像５１０と再生画面５００とを対応させるとき、撮影映像５１０の原点５３０は、再生画面５００の原点（ｏｘ，ｏｙ）５６０に、撮影映像５１０の任意の座標（ｘ，ｙ）５４０は、再生画面５００の座標（ｘ_ｉｍ，ｙ_ｉｍ）５７０に対応する。

カメラのハードウェア特性上、単位横サイズをｓ_ｘ
５２０、単位縦サイズをｓ_ｙ ５３０とすれば、座標（ｘ，ｙ）５４０と座標（ｘ_ｉｍ，ｙ_ｉｍ）５７０との関係は、数式５０５によって定義されうる。ｙ成分に対して、数式５０５に関係式４６０を代入すれば、関係式５５５が誘導される。関係式５５５は、再生画面とカメラ座標系との関係を表現する。

図６は、ステレオスコピック・カメラの平行移動情報及び回転角情報を図示している。

ステレオスコピック・カメラの第１視点カメラ座標系と第２視点カメラ座標系との関係は、２つの座標系間の平行移動及び回転角の関係で表現される。一実施形態による第１視点カメラ座標系及び第２視点カメラ座標系は、ｘ軸を同一線上に配し、第１視点カメラ座標系をワールド座標系と同一視するという仮定下に、以下、第１視点カメラ座標系と第２視点カメラ座標系との関係について説明する。

平行移動情報は、第１視点カメラ座標系を基準に、第２視点カメラ座標系の距離を表現するので、第１視点カメラの平行移動マトリックスは、（０，０，０）であり、第２視点カメラの平行移動マトリックスは、ｔ＝（ｔ_ｘ，ｔ_ｙ，ｔ_ｚ）で表現される。従って、平行移動情報は、第２視点カメラ座標系の平行移動マトリックスだけで表現されうる。

第１視点カメラ座標系をワールド座標系とみなし、第２視点カメラ座標系の回転角度を表現するので、第１視点カメラの回転角マトリックスは、Ｉ＝［１，０，０；０，１，０；０，０，１］であり、第２視点カメラの回転角マトリックスは、Ｒ＝ｆ（ａ，ｂ，ｃ）で表現される。従って、回転情報は、第２視点カメラ座標系の回転角マトリックスだけで表現されうる。

一般的に回転情報は、３ｘ３行列構造であるが、ｘ，ｙ，ｚ軸に対する角度で表現することもできる。すなわち、回転情報は、Ｒ＝Ｒ（φ_ｘ，φ_ｙ，φ_ｚ）＝Ｒ（φ_ｘ）・Ｒ（φ_ｙ）・Ｒ（φ_ｚ）で表現されうる。

図７は、第１視点カメラ座標系と第２視点カメラ座標系との関係を図示している。

第１視点カメラ座標系７００と第２視点カメラ座標系との関係７５０は、２つの座標系の平行移動情報及び回転情報で表現される。

すなわち、第１視点カメラ座標系７００の原点と第２視点カメラ座標系７５０の原点とが、ｔ ７１０ほど平行移動されて配されているので、平行移動情報は、ｔ＝（ｔｘ，ｔｙ，ｔｚ）で表現される。また、第１視点カメラ座標系７００に対する第２視点カメラ座標系７５０の回転角度がＲ
７６０であるから、回転情報は、Ｒ＝ｆ（ａ，ｂ，ｃ）で表現される。

従って、任意の座標７２０が第１視点カメラ座標系７００に対しては、Ｐ_１ ７３０に位置するが、第２視点カメラ座標系７５０に対しては、点Ｐ_２ ７４０に位置する。Ｐ_１ ７３０及びＰ_２ ７４０は、回転情報Ｒ及び平行移動情報ｔで定義されもする。

図８は、ＩＳＯ基盤のメディアファイル・フォーマットによるファイル・フォーマットの構造を図示している。

国際標準化機構（ＩＳＯ：International Standards Organization）基盤のメディアファイル・フォーマット８００は、ｍｏｏｖボックス８１０及びｍｄａｔボックス８５０を含む。

ｍｏｏｖボックス８１０には、映像情報及び音声情報に係わる基本的なヘッダ情報が挿入される。ｍｏｏｖボックス８１０は、ｔｒａｋボックス８２０，８２５などの多様なボックスを含む。ｔｒａｋボックス８２０，８２５は、ｍｄａｔボックス内の映像情報及び音声情報の保存位置などについての情報を含む。ｍｄａｔボックス８５０は、実際の映像データ及び音声データが基礎ストリーム（ＥＳ：elementary stream）形態で含まれている。ＩＳＯ基盤のメディアファイル・フォーマット８００は、ＭＰＥＫ−４（Moving Picture Experts Group−４）方式、ＡＶＣ／Ｈ．２６４（Advanced Video Coding／Ｈ．２６４）方式に広く使われる映像データ及び音声データのフォーマットである。

図９は、ＩＳＯ基盤のメディアファイル・フォーマットによるファイル構造を構成するボックス・リストを図示している。

ＩＳＯ基盤のメディアファイル・フォーマットによるファイル構造を構成するボックス・リスト９００は、階層的構造を有する。最上位にｆｔｙｐボックス９１０、ｍｏｏｖボックス９２０、ｍｄａｔボックス９３０、ｍｅｔａボックス９４０、その他ボックス９５０が位置する。

ｆｔｙｐボックス９１０は、ファイルタイプと互換性とについての情報を含む。ステレオスコピック映像データに係わるファイル・フォーマットであることを示すために、「ｍａｊｏｒ＿ｂｒａｎｄ」は、「ｓｓａｖ」に設定される。

ｍｏｏｖボックス９２０は、タイムド・リソース（timed resource）のあらゆるメタデータのための空間である。ｍｏｏｖボックス９２０以下のｔｒａｋボックス９６０は、メインＡＶ（audio and video）データまたは付加データを識別する個別的なトラックまたはストリームのための空間である。ｔｒａｋボックス９６０以下のｍｄｉａボックス９６２は、トラック内のあらゆるメディア情報のための空間である。

ｍｄａｔボックス９３０は、実際のメディア・データの空間である。

ｍｅｔａボックス９４０は、メタデータのための空間である。本発明の一実施形態は、ｍｅｔａボックス９４０の下位レベルに、ｓｃｄｉボックス９８０を挿入し、ｓｃｄｉボックス９８０に、ステレオスコピック・カメラ情報及びステレオスコピック視差情報を挿入する。

本発明の他の実施形態は、ステレオスコピック・カメラ情報を挿入するための空間として、最上位ボックス９５０、ｍｏｏｖボックス９２０以下のボックス９７０，ｔｒａｋボックス９６０以下のボックス９６６、ｍｄｉａボックス９６２以下のボックス９６４、及びｍｅｔａボックス９４０以下の任意のボックス９９０のうち少なくとも一つを選択できる。

図１０は、ステレオスコピック映像に係わるさまざまなパラメータを具現するためのシンタックスを図示する。

本発明の一実施形態は、ステレオスコピック・カメラ情報及びステレオスコピック視差情報を具現するためのシンタックス１０００に、ステレオスコピック映像のそれぞれの視点映像間の視差情報を示すパラメータ１０２０、及びステレオスコピック映像を撮影したカメラについての情報を示すパラメータ１０４０を追加する。本発明の一実施形態によるカメラ・パラメータを具現するために、ｓｃｄｉボックス９８０を定義するシンタックス１０００は、下記のパラメータを含むことができる。

「ｉｔｅｍ＿ｃｏｕｎｔ」パラメータは、ステレオスコピック・データの区間データを示すアイテムの番号を示す。多数の区間データが同じカメラ情報／視差情報を有するならば、「ｉｔｅｍ＿ｃｏｕｎｔ」パラメータは、「１」に設定されうる。

「ｉｔｅｍ＿ＩＤ」パラメータは、ステレオスコピック区間データのためのｉｌｏｃボックス内に記録されたアイテム識別情報を示す。ｉｌｏｃボックスには、アイテム位置情報が挿入される。

「ｉｓ＿ｉｔｅｍ＿ＩＤ＿ｒｅｆ」パラメータは、現在アイテムが他のアイテムのパラメータを使用しているか否かを示す。「ｒｅｆ＿ｉｔｅｍ＿ＩＤ」パラメータは、参照アイテムの「ｉｔｅｍ＿ＩＤ」パラメータを示す。アイテムのｓｄｃｉボックス内のカメラ情報／視点情報が使用可能なアイテムが参照されねばならない。

「ｉｓ＿ｄｉｓｐｌａｙ＿ｓａｆｅｔｙ＿ｉｎｆｏ」パラメータは、視差情報が挿入されているか否かを示す。「ｅｘｐｅｃｔｅｄ＿ｄｉｓｐｌａｙ＿ｗｉｄｔｈ」パラメータ及び「ｅｘｐｅｃｔｅｄ＿ｄｉｓｐｌａｙ＿ｈｅｉｇｈｔ」パラメータは、それぞれ予想されるディスプレイの幅及び高さを示す。「ｅｘｐｅｃｔｅｄ＿ｖｉｅｗｉｎｇ＿ｄｉｓｔａｎｃｅ」パラメータは、予想される視聴距離を示す。ディスプレイの幅／高さ、視聴距離は、ミリメートル単位で定義されうる。「ｍｉｎ＿ｏｆ＿ｄｉｓｐａｒｉｔｙ」パラメータ及び「ｍａｘ＿ｏｆ＿ｄｉｓｐａｒｉｔｙ」パラメータは、それぞれ第１視点映像と第２視点映像との最小視差及び最大視差を示す。

「ｉｓ＿ｃａｍ＿ｐａｒａｍｓ」パラメータは、カメラ情報が挿入されているか否かを示す。「ｂａｓｅｌｉｎｅ」パラメータは、２つのカメラ間の距離を示す。「ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータは、光学的中心（optical center）から映像平面までの距離を示す。「ｃｏｎｖｅｒｇｅｎｃｅ＿ｄｉｓｔａｎｃｅ」パラメータは、２つのカメラ間の中点から収斂点までの距離を示す。「ｉｓ＿ｃａｍｅｒａ＿ｃｒｏｓｓ」パラメータは、ステレオスコピック・カメラが平行状または交差状に配されているか否かを示す。

ステレオスコピック映像データと共に、ステレオスコピック映像に係わるカメラ情報及び視差情報が提供されるので、復元されたステレオスコピック映像を再生するとき、カメラ情報及び視差情報を利用すれば、ステレオスコピック映像の立体感が増大し、立体感による視聴者の疲労感が減少しうる。

以下、本発明の多様な実施形態によって、ステレオスコピック映像のカメラ情報／視差情報のための、シンタックス１０００内において、カメラ・パラメータのシンタックス１０４０部分を代替しうるシンタックスが、図１１ないし図１８を参考にして詳述する。

図１１は、本発明の一実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの一例を図示している。

ステレオスコピック・カメラ情報シンタックス１１００は、「ｉｓ＿ｄｉｆｆｅｒｅｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１１０を使用する。「ｉｓ＿ｄｉｆｆｅｒｅｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１１０は、前述の焦点距離不一致パラメータであり、第１視点カメラの焦点距離（以下、「第１焦点距離」とする）と、第２視点カメラの焦点距離（以下、「第２焦点距離」とする）とが異なるか否かを示す。「ｐｒｉｍａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１２０は、第１焦点距離を示す。すなわち、カメラ情報として第１焦点距離が使われる。

ｉｆ条件文１１３０で、「ｉｓ＿ｄｉｆｆｅｒｅｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１１０が「１」を満足するならば、「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１４０が使われる。すなわち、焦点距離不一致パラメータによって、第１焦点距離及び第２焦点距離が異なると判断されるならば、「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１４０が示す第２焦点距離も使われる。

ｉｆ条件文１１３０で、「ｉｓ＿ｄｉｆｆｅｒｅｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１１０が「０」を満足するならば、「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１４０は、使われない。焦点距離不一致パラメータによって、第１焦点距離及び第２焦点距離が同じであると判断されるので、第１焦点距離一つだけで、第１視点カメラ及び第２視点カメラの焦点距離を表現できる。図１１に図示されていないが、第２焦点距離一つだけでも、第１視点カメラ及び第２視点カメラの焦点距離が表現されうる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、焦点距離パラメータ決定部を含み、焦点距離パラメータ決定部は、「ｐｒｉｍａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１２０を決定する。また、焦点距離不一致パラメータ決定部によって決定された「ｉｓ＿ｄｉｆｆｅｒｅｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１１０に基づいて、焦点距離パラメータ決定部は、「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１４０を決定するか否かを決定する。

また、一実施形態によるステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、焦点距離パラメータ抽出部を含み、焦点距離パラメータ抽出部は、「ｐｒｉｍａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１２０を抽出する。焦点距離不一致パラメータ抽出部によって抽出された「ｉｓ＿ｄｉｆｆｅｒｅｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１１０に基づいて、焦点距離パラメータ抽出部は、「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１４０を抽出するか否かを決定する。

図１２は、本発明の一実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの他の例を図示している。

ステレオスコピック・カメラ情報シンタックス１２００は、「ｉｓ＿ｄｉｆｆｅｒｅｎ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１１１０を使用せずに、「ｐｒｉｍａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１２２０及び「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１２４０をいずれも使用する。すなわち、第１焦点距離及び第２焦点距離が別個に使われる。第１視点と第２視点は、左側視点及び右側視点でありうる。

もし第２視点の焦点距離情報が保存または伝送されない場合、第１視点焦点距離と第２視点焦点距離とが同じであると見なされる。

従って、一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、焦点距離パラメータ決定部を含み、焦点距離パラメータ決定部は、「ｐｒｉｍａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１２２０及び「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１２４０を決定する。

また、一実施形態によるステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、焦点距離パラメータ抽出部を含み、焦点距離パラメータ抽出部は、「ｐｒｉｍａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１２２０及び「ｓｅｃｏｎｄａｒｙ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１２４０を抽出する。

図１３は、本発明の他の実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの一例を図示している。

焦点距離は、水平成分と垂直成分との２つのパラメータで表現されうる。ステレオスコピック・カメラ情報シンタックス１３００は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３２０及び「ｖｅｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３４０を使用する。「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３２０は、焦点距離の水平成分を示し、「ｖｅｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３４０は、焦点距離の垂直成分を示す。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、焦点距離パラメータ決定部を含み、焦点距離パラメータ決定部は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３２０及び「ｖｅｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３４０を決定する。

また、一実施形態によるステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、焦点距離パラメータ抽出部を含み、焦点距離パラメータ抽出部は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３２０及び「ｖｅｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１３４０を抽出する。

図１４は、本発明の他の実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスの他の例を図示している。

焦点距離は、焦点距離の水平成分と垂直成分との比率である焦点距離縦横比を利用すれば、水平成分及び垂直成分のうちいずれか一つだけでも表現されうる。ステレオスコピック・カメラ情報シンタックス１４００は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１４２０及び「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１４４０を使用する。「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１４２０は、焦点距離の水平成分を示し、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１４４０は、焦点距離の縦横比を示す。他の実施形態では、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１４２０の代わりに、「ｖｅｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータが使われうる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、焦点距離パラメータ決定部及び焦点距離縦横比決定部を含むことができる。焦点距離パラメータ決定部は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１４２０を決定し、焦点距離縦横比決定部は、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１４４０を決定できる。

また、一実施形態によるステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、焦点距離パラメータ抽出部及び焦点距離縦横比抽出部を含むことができる。焦点距離パラメータ抽出部は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１４２０を抽出でき、焦点距離縦横比抽出部は、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１４４０を抽出できる。

図１５は、本発明の他の実施形態によるステレオスコピック映像に係わるカメラ焦点距離パラメータを具現するためのシンタックスのさらに他の例を図示している。

ステレオスコピック・カメラ情報シンタックス１５００は、「ｉｓ＿ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５１０を使用する。「ｉｓ＿ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５１０は、前述の焦点距離縦横比利用パラメータであり、焦点距離を表現するために、焦点距離縦横比を利用しているか否かを示す。「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１５２０は、第１焦点距離を示す。

ｉｆ条件文１５３０で、「ｉｓ＿ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５１０が「１」を満足するならば、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５４０が使われる。すなわち、焦点距離縦横比が利用されると判断されるならば、焦点距離パラメータが宣言されて使われる。

ｉｆ条件文１５３０で、「ｉｓ＿ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５１０が「０」を満足するならば、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５４０は、別途に定義されない。一実施形態では、ｉｆ条件文１５３０で、「ｉｓ＿ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５１０が「０」を満足するならば、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５４０は、別途に定義されず、「１」と見なされる。すなわち、焦点距離縦横比が利用されないと判断されるならば、焦点距離縦横比が１と見なされ、焦点距離の水平成分と垂直成分とが同一であると判断されうる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、焦点距離パラメータ決定部、焦点距離縦横比パラメータ決定部及び焦点距離縦横比利用パラメータ決定部を含む。焦点距離パラメータ決定部は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１５２０を決定する。また、焦点距離縦横比利用パラメータ決定部によって決定された「ｉｓ＿ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５１０に基づいて、焦点距離縦横比パラメータ決定部は、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５４０を決定するか否かを決定する。

また、一実施形態によるステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、焦点距離パラメータ抽出部、焦点距離縦横比パラメータ抽出部及び焦点距離縦横比利用パラメータ抽出部を含む。焦点距離パラメータ抽出部は、「ｈｏｒ＿ｆｏｃａｌ＿ｌｅｎｇｔｈ」パラメータ１５２０を抽出する。また、焦点距離縦横比利用パラメータ抽出部によって抽出された「ｉｓ＿ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５１０に基づいて、焦点距離縦横比パラメータ抽出部は、「ａｓｐｅｃｔ＿ｒａｔｉｏ」パラメータ１５４０を抽出するか否かを決定する。

図１６は、本発明の一実施形態によるステレオスコピック映像に係わるカメラ主点パラメータを具現するためのシンタックスの一例を図示している。

主点は、カメラによって撮影された映像の中点を意味する。主点は、それぞれの視点映像ごとに別個に表現され、ｘ，ｙ成分別に表現されうる。一実施形態は、第１視点映像が左視点映像、第２視点映像が右視点映像でありうる。

ステレオスコピック・カメラ情報シンタックス１４００は、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６４０、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６５０、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６６０及び「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６７０を使用する。「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６４０は、第１視点映像の主点のｘ成分、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６５０は、第１視点映像の主点のｙ成分、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６６０は、第２視点映像の主点のｘ成分、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６７０は、第２視点映像の主点のｙ成分を示す。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、主点パラメータ決定部を含むことができる。主点パラメータ決定部は、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６４０、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６５０、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６６０及び「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６７０を決定できる。

また、一実施形態によるステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、主点パラメータ抽出部を含むことができる。主点パラメータ抽出部は、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６４０、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６５０、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１６６０及び「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１６７０を抽出できる。

図１７は、本発明の一実施形態によるステレオスコピック映像に係わるカメラ主点パラメータを具現するためのシンタックスの他の例を図示している。

ステレオスコピック・カメラ情報シンタックス１７００は、「ｉｓ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ」パラメータ１７１０を使用する。「ｉｓ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ」パラメータ１７１０は、前述の主点情報設定パラメータであり、主点情報が設定されているか否かを示し、映像の主点がカメラの中点と異なる場合を別途に定義するためのパラメータである。

ｉｆ条件文１７３０で、「ｉｓ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ」パラメータ１７１０が「１」を満足するならば、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７４０、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７５０、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７６０及び「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７７０が使われる。すなわち、主点情報が利用されると判断されるならば、主点パラメータ１７４０，１７５０，１７６０，１７７０が宣言されて使われる。

ｉｆ条件文１７３０で、「ｉｓ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ」パラメータ１７１０が「０」を満足するならば、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７４０、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７５０、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７６０及び「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７７０は、宣言されないまま、別途に定義されない。一実施形態では、ｉｆ条件文１７３０で、「ｉｓ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ」パラメータ１７１０が「０」を満足するならば、主点パラメータ１７４０，１７５０，１７６０，１７７０は、別途に定義されずに、それぞれの視点カメラの中点と、それぞれの視点映像の主点とが一致すると見なされる。

一実施形態によるステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、主点パラメータ決定部及び主点情報設定パラメータ決定部を含む。主点情報設定パラメータ決定部によって決定された「ｉｓ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ」パラメータ１７１０に基づいて、主点パラメータ決定部は、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７４０、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７５０、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７６０及び「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７７０を決定する。

また、一実施形態によるステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、主点パラメータ抽出部及び主点情報設定パラメータ抽出部を含む。主点情報設定パラメータ抽出部によって抽出された「ｉｓ＿ｐｒｉｎｃｉｐａｌ＿ｐｏｉｎｔ」パラメータ１７１０に基づいて、主点パラメータ抽出部は、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７４０、「ｐｒｉｍａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７５０、「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｘ」パラメータ１７６０及び「ｓｅｃｏｎｄａｒｙ＿ｐｒｉｎｃｉｐａｌ＿ｙ」パラメータ１７７０を抽出する。

図１８は、本発明の一実施形態によるステレオスコピック映像に係わるカメラ回転角パラメータを具現するためのシンタックスの一例を図示している。

ステレオスコピック・カメラ情報シンタックス１８００は、「ｒｏｔａｔｉｏｎ」パラメータを含む。「ｒｏｔａｔｉｏｎ」パラメータは、回転角情報であり、ｘ，ｙ，ｚ軸方向の回転角がそれぞれ使われるので、３個の角度値で表現されうる。また、「ｒｏｔａｔｉｏｎ」パラメータ１８２０は、３ｘ３マトリックスとしても表現されうるので、「ｒｏｔａｔｉｏｎ［３］［３］」と表現され、サイズ９の配列である「ｒｏｔａｔｉｏｎ［９］」１８２０と表現されもする。

図１８に図示されていないが、ステレオスコピック・カメラ情報シンタックス１８００は、平行移動パラメータを使用することもできる。平行移動パラメータは、第１視点カメラ座標系と第２視点カメラ座標系との間の距離を、「ｔｒａｎｓｌａｔｉｏｎ［３］」の形態で表現できる。

従って、ステレオスコピック映像データ・ストリーム生成装置１００のカメラ・パラメータ決定部１２０は、回転角パラメータ決定部を含み、回転角パラメータ決定部は、「ｒｏｔａｔｉｏｎ［９］」パラメータ１８２０を決定する。

また、ステレオスコピック映像復元装置２００のカメラ・パラメータ抽出部２２０は、回転角パラメータ抽出部を含み、回転角パラメータ抽出部は、「ｒｏｔａｔｉｏｎ［９］」パラメータ１８２０を抽出する。

図１９は、本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成方法を利用するステレオスコピック映像ファイル生成システムのブロック図を図示している。

一実施形態によるステレオスコピック映像ファイル生成システム１９００は、第１視点カメラ１９０２、第２視点カメラ１９０４、多視点映像またはモノ映像カメラ１９０６、入力部１９１０、映像信号処理部１９２０、保存部１９３０、符号化部１９４０及びファイル生成部１９６０を含む。

第１視点カメラ１９０２、第２視点カメラ１９０４それぞれのカメラは、所定被写体を第１視点または第２視点で撮影し、互いに異なる視点の映像を出力する。単一視点映像も提供される場合であるならば、モノ映像カメラ１９０６からモノスコピック映像データが出力される。カメラから出力された映像は、入力部１９１０を介して入力される。

入力部１９１０に入力された映像は、映像信号処理部１９２０を介して前処理（pre-processing）される。前処理動作の一例は、アナログ値の外部映像値をデジタル値に変換する動作である。ここで、外部映像値とは、ＣＣＤ（charge-coupled device）タイプまたはＣＭＯＳ（complementary metal-oxide semiconductor）タイプのセンサを介して認識された光とカラーとの成分を意味する。

保存部１９３０は、映像信号処理部１９２０によって前処理されたそれぞれの映像データを保存し、符号化部１９４０に提供する。保存部１９３０が別途に図示されてはいるが、ステレオスコピック映像ファイル生成システム１９００が、保存部１９３０以外に、他の構成要素間でバッファリングする他の保存構成を含まないものではない。

符号化部１９４０は、保存部１９３０から提供されたそれぞれの映像データを符号化する。符号化部１９４０のデータの符号化動作は、必要によって省略されもする。

ファイル生成部１９６０は、符号化部１９４０から入力された（符号化された）映像データ及びそれぞれの映像の関連関係情報１９５０を、所定ファイル・フォーマットに挿入し、映像ファイル１９７０を生成する。映像関連関係情報１９５０は、それぞれの映像データの関連関係を表現するためのｔｒａｋボックスの参照情報と、それぞれの映像データのメディア・タイプを示すためのハンドラ（handler）情報などを含むことができる。

また、映像関連関係情報１９５０は、それぞれの映像の２Ｄ（two-dimendional）映像関連情報及び３Ｄ映像関連情報を含むことができる。３Ｄ映像関連情報は、第１視点映像及び第２視点映像間の関係を示し、２Ｄ／３Ｄデータ区間についての情報、第１視点映像及び第２視点映像の配置方式についての情報、映像ファイルタイプ情報、カメラ・パラメータ、ディスプレイ情報、視差情報などを含むことができる。

ファイル生成部１９６０の一実施形態は、それぞれの映像データを映像ファイル１９７０のメディア・データ領域に保存し、それぞれの映像関連関係情報１９５０を、ヘッダ領域に保存することができる。映像ファイル１９７０がＩＳＯ基盤のメディアファイル・フォーマットである場合、それぞれの映像データは、ｍｄａｔボックスにＥＳ形態で保存され、それぞれの映像関連関係情報１９５０は、ｔｒａｋボックス、及びそれ以下のボックスらに保存されうる。

映像ファイル１９７０は、立体映像ファイル再生装置に入力されたり伝送されたりする。

図２０は、本発明の一実施形態によるステレオスコピック映像復元方法を利用するステレオスコピック映像復元／再生システムのブロック図を図示する。

一実施形態と異なるステレオスコピック映像復元／再生システム２０００は、ファイル分析部２０２０、復号化部２０３０、保存部２０４０、再生部２０５０及び表示部２０６０を含む。

ファイル分析部２０２０は、受信された映像ファイル２０１０を分析する。分析の結果、ファイル領域（ｆｔｙｐボックス）、ムーブ領域（ｍｏｏｖボックス）、トラック領域（ｔｒａｋボックス）、メタデータ領域（ｍｅｔａボックス）にそれぞれ保存された情報が分析された後、メディア・データ領域（ｍｄａｔボックス）に保存されたそれぞれの映像データが抽出されうる。それぞれの映像データとして、第１視点映像データ２０２２、第２視点映像データ２０２４、その他の多視点映像／モノスコピック映像２０２６が抽出されうる。ファイル分析によって、映像データ関連情報２０２８が抽出されうる。映像データ関連情報２０２８は、相互関連したトラックについてのトラック参照情報などのそれぞれの視点映像関連関係情報を含むことができる。

復号化部２０３０は、映像ファイル２０１０から抽出されたそれぞれの映像データ２０２２，２０２４，２０２６などを入力されて復号化する。映像ファイル内の映像データが符号化されている場合にだけ、復号化動作が行われる。保存部２０４０は、復号化部２０３０から出力された（復号化された）映像データ２０３５を入力され、ファイル分析部２０２０から抽出された映像データ関連情報２０２８を入力されて保存する。

再生部２０５０は、保存部２０４０から、再生される映像データ２０４５及び映像再生関連情報２０４８を入力されて映像を再生する。映像再生関連情報２０４８は、映像データ関連情報２０４８のうち、映像を再生するために必要な情報であり、それぞれの視点映像の関連関係情報を含む。

再生部２０５０は、映像再生関連情報２０４８を利用し、映像データ２０４５を２Ｄまたは３Ｄの必要な再生方式で再生できる。例えば、再生部２０５０は、映像データの識別情報を参照し、相互関連したステレオスコピック映像を合成して再生できる。また、再生部２０５０は、映像データの識別情報及び２Ｄ／３Ｄデータ区間情報を参照し、相互関連したステレオスコピック映像とモノスコピック映像とを共に再生することもできる。

表示部２０６０は、再生部２０５０が再生する映像を画面上に表示できる。表示部２０６０は、バリアＬＣＤ（barrier liquid crystal display）で構成されうる。バリアＬＣＤがオフ（off）状態で駆動されれば、モノスコピック映像が表示され、バリアＬＣＤがオン（on）状態で駆動されれば、ステレオスコピック立体映像のそれぞれの視点映像が表示されうる。

図２１は、本発明の一実施形態によるステレオスコピック映像データ・ストリーム生成方法のフローチャートを図示している。

段階２１１０で、ステレオスコピック映像データが符号化される。

段階２１２０で、ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づいて、カメラ・パラメータが決定される。カメラ・パラメータは、焦点距離関連パラメータ、主点関連パラメータ、平行移動パラメータ、回転角パラメータ、縦横比パラメータなどを含むことができる。焦点距離関連パラメータは、焦点距離だけではなく、視点別焦点距離が不一致であるか否かを示す情報、縦横比を利用して焦点距離の表現いかんを示す情報などを含むことができる。主点関連パラメータは、主点だけではなく、カメラの中点以外に、映像の主点を別個に設定するか否かを示す情報を含むことができる。

段階２１３０で、符号化された映像データ及びカメラ・パラメータがデータ・ストリームに挿入される。一例として、ＩＳＯ基盤のメディアファイル・フォーマットのデータ・ストリームが生成される場合、映像データは、ｍｄａｔボックスに、カメラ・パラメータは、ｍｏｏｖボックスの下位ボックス，ｔｒａｋボックス，ｔｒａｋボックスの下位ボックス、ｍｅｔａボックス，ｍｅｔａボックスの下位ボックスに挿入されうる。

図２２は、本発明の一実施形態によるステレオスコピック映像復元方法のフローチャートを図示する。

段階２２１０で、受信されたデータ・ストリームから、ステレオスコピック映像のデータ及びステレオスコピック映像についての情報がパージングされる。一例として、ＩＳＯ基盤のメディアファイル・フォーマットによるデータ・ストリームが受信された場合、ステレオスクピック映像のデータは、ｍｄａｔボックスから、ステレオスコピック映像についての情報は、ｍｏｏｖボックスの下位ボックス、ｔｒａｋボックス、ｔｒａｋボックスの下位ボックス、ｍｅｔａボックス、ｍｅｔａボックスの下位ボックスからパージングされうる。

段階２２２０で、ステレオスコピック映像を撮影した少なくとも１つのカメラにおいて、そのカメラの固有特性に基づくカメラ・パラメータが抽出される。カメラ・パラメータは、焦点距離関連パラメータ、主点関連パラメータ、平行移動パラメータ、回転角パラメータ、縦横比パラメータなどを含むことができる。また、焦点距離縦横比利用パラメータ、焦点距離不一致パラメータ、主点情報設定パラメータなどが抽出されうる。

段階２２３０で、ステレオスコピック映像のデータが復号化されて復元される。

段階２２４０で、ステレオスコピック映像のデータがカメラ・パラメータを利用して再生される。カメラ・パラメータを利用し、それぞれの視点映像を適切な位置及び時間に再生して表示することによって、さらに正確な２Ｄ及び３Ｄ映像がユーザに提供されうる。

一方、前述の本発明の実施形態は、コンピュータで実行されうるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタル・コンピュータで具現されうる。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。

以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されうることを理解することができるであろう。よって、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。

Claims (13)

1. 受信されたデータ・ストリームからステレオスコピック映像のデータ及び前記ステレオスコピック映像についての情報をパージングする段階と、
   前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、それぞれのカメラの固有特性に基づくカメラ・パラメータを抽出する段階と、
   前記ステレオスコピック映像のデータを復号化して復元する段階と、
   前記ステレオスコピック映像のデータを、前記カメラ・パラメータを利用して再生する段階と、を含み、
   前記カメラ・パラメータは、第１視点カメラの焦点距離を示す第１焦点距離を示す第１焦点距離パラメータ、第２視点カメラの焦点距離を示す第２焦点距離を示す第２焦点距離パラメータ、及び前記第１視点距離及び前記第２焦点距離とが異なるか否かを示す焦点距離不一致パラメータを含み、
   前記カメラ・パラメータ抽出段階は、
   前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが同一であるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータのうちいずれか一つを抽出する段階を含み、
   前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが異なるならば、前記第１焦点距離を示す第１焦点距離パラメータ、及び前記第２焦点距離を示す第２焦点距離パラメータを抽出する段階を含むことを特徴とするステレオスコピック映像復元方法。
2. 前記第１焦点距離パラメータと、前記第２焦点距離パラメータとは、別個に抽出されることを特徴とする請求項１に記載のステレオスコピック映像復元方法。
3. 受信されたデータ・ストリームからステレオスコピック映像のデータ及び前記ステレオスコピック映像についての情報をパージングする段階と、
   前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、それぞれのカメラの固有の特性に基づくカメラ・パラメータを抽出する段階と、
   前記ステレオスコピック映像のデータを復号化して復元する段階と、
   前記ステレオスコピック映像のデータを、前記カメラ・パラメータを利用して再生する段階と、を含み、
   前記カメラ・パラメータは、前記少なくとも１つのカメラのうち、所定視点カメラの焦点距離の水平成分値及び垂直成分値を示す焦点距離縦横比パラメータを含み、
   前記カメラ・パラメータ抽出段階は、
   前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータのうちいずれか一つを抽出する段階、を含むことを特徴とするステレオスコピック映像復元方法。
4. 受信されたデータ・ストリームからステレオスコピック映像のデータ及び前記ステレオスコピック映像についての情報をパージングする段階と、
   前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、それぞれのカメラの固有の特性に基づくカメラ・パラメータを抽出する段階と、
   前記ステレオスコピック映像のデータを復号化して復元する段階と、
   前記ステレオスコピック映像のデータを、前記カメラ・パラメータを利用して再生する段階と、を含み、
   前記カメラ・パラメータは、前記少なくとも１つのカメラのうち、所定視点カメラの水平成分値と垂直成分値との比率を利用し、前記焦点距離についての情報が設定されているか否かを示す焦点距離縦横比利用パラメータを含み、
   前記カメラ・パラメータ抽出段階は、
   前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータが利用されていると決定されれば、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを抽出する段階を含み、
   前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離縦横比パラメータが利用されていないと決定されれば、前記焦点距離の水平成分値と垂直成分値との比率を「１」に決定する段階をさらに含むことを特徴とするステレオスコピック映像復元方法。
5. 受信されたデータ・ストリームからステレオスコピック映像のデータ及び前記ステレオスコピック映像についての情報をパージングする段階と、
   前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、それぞれのカメラの固有の特性に基づくカメラ・パラメータを抽出する段階と、
   前記ステレオスコピック映像のデータを復号化して復元する段階と、
   前記ステレオスコピック映像のデータを、前記カメラ・パラメータを利用して再生する段階と、を含み、
   前記カメラ・パラメータは、ステレオスコピック映像の主点についての情報が設定されているか否かを示す主点情報設定パラメータを含み、
   前記カメラ・パラメータ抽出段階は、
   前記主点情報設定パラメータに基づいて、前記主点についての情報が設定されているとすれば、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像第２視点映像の主点を示す第２主点パラメータを別個に抽出する段階をさらに含み、
   前記主点情報設定パラメータに基づいて、前記主点についての情報が設定されていないとすれば、前記少なくとも１つのカメラにおいて、所定視点のカメラによって撮影された領域の中点と、前記所定視点の映像の主点とが一致すると決定する段階を含み、
   前記第１主点パラメータ及び前記第２主点パラメータは、ｘ座標成分及びｙ座標成分別に抽出されることを特徴とするステレオスコピック映像復元方法。
6. 前記カメラ・パラメータ抽出段階は、
   前記少なくとも１つのカメラにおいて、所定視点カメラの回転角から、ｘ軸基準の回転角を示すｘ軸回転角パラメータ，ｙ軸基準の回転角を示すｙ軸回転角パラメータ、及びｚ軸基準の回転角を示すｚ軸回転角パラメータを抽出する段階を含むことを特徴とする請求項１ないし５のうちいずれか１項に記載のステレオスコピック映像復元方法。
7. 前記パージング段階は、
   前記ステレオスコピック映像データ・ストリームがＩＳＯ基盤のメディアファイル・フォーマットであるとき、前記ＩＳＯ基盤のメディアファイル・フォーマットは、ｍｏｏｖボックス、ｍｄａｔボックス及びｍｅｔａボックスを含み、
   前記ｍｅｔａボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベル・ボックス、前記ｍｏｏｖボックスの下位レベルであるｔｒａｋボックスの下位レベル・ボックス、及び前記ｔｒａｋボックスの下位レベルであるｍｅｔａボックスの下位レベル・ボックスのうち少なくともいずれか一つから、前記カメラ・パラメータを抽出する段階と、
   前記ｍｄａｔボックスから、前記ステレオスコピック映像のデータを抽出する段階と、を含むことを特徴とする請求項１ないし５のうちいずれか１項に記載のステレオスコピック映像復元方法。
8. ステレオスコピック映像データを符号化する段階と、
   前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、そのカメラの固有特性に基づいてカメラ・パラメータを決定する段階と、
   前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入する段階と、を含み、
   前記カメラ・パラメータ決定段階は、
   前記少なくとも１つのカメラから、第１視点カメラの焦点距離を示す第１焦点距離と、第２視点カメラの焦点距離を示す第２焦点距離とが異なるか否かを示す焦点距離不一致パラメータを決定する段階と、
   前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが同一であれば、前記第１焦点距離を示す第１焦点距離パラメータ及び第２焦点距離を示す第２焦点距離パラメータのうち少なくとも一つを決定する段階をさらに含み、
   前記焦点距離不一致パラメータに基づいて、前記第１焦点距離と前記第２焦点距離とが異なるとすれば、前記第１焦点距離を示す第１焦点距離パラメータ及び第２焦点距離を示す第２焦点距離パラメータを決定する段階をさらに含むことを特徴とするステレオスコピック映像データ・ストリーム生成方法。
9. ステレオスコピック映像データを符号化する段階と、
   前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、それぞれのカメラの固有の特性に基づきカメラ・パラメータを決定する段階と、
   前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入する段階とを含み、
   前記カメラ・パラメータ決定段階は、
   焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを決定する段階と、
   前記焦点距離の水平成分値を示す水平焦点距離パラメータ、及び前記焦点距離の垂直成分値を示す垂直焦点距離パラメータのうちいずれか一つを決定する段階と、をさらに含むことを特徴とするステレオスコピック映像データ・ストリーム生成方法。
10. ステレオスコピック映像データを符号化する段階と、
    前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、それぞれのカメラの固有の特性に基づきカメラ・パラメータを決定する段階と、
    前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入する段階とを含み、
    前記カメラ・パラメータ決定段階は、前記少なくとも１つのカメラにおいて、所定視点カメラの水平成分値と垂直成分値との比率を利用し、前記焦点距離についての情報を設定しているか否かを示す焦点距離縦横比利用パラメータを決定する段階をさらに含み、
    前記焦点距離縦横比パラメータ決定段階は、前記焦点距離縦横比利用パラメータに基づいて、前記焦点距離の水平成分値と垂直成分値との比率を利用するならば、前記焦点距離の水平成分値と垂直成分値との比率を示す焦点距離縦横比パラメータを決定する段階を含むことを特徴とするステレオスコピック映像データ・ストリーム生成方法。
11. ステレオスコピック映像データを符号化する段階と、
    前記ステレオスコピック映像を撮影した少なくとも１つのカメラのうち、それぞれのカメラの固有の特性に基づきカメラ・パラメータを決定する段階と、
    前記符号化された映像データ及びカメラ・パラメータをデータ・ストリームに挿入する段階を含み、
    前記カメラ・パラメータ決定段階は、
    前記ステレオスコピック映像の主点についての情報を設定しているか否かを示す主点情報設定パラメータを決定する段階と、
    前記主点情報設定パラメータに基づいて、前記主点についての情報を設定するならば、前記ステレオスコピック映像において、第１視点映像の主点を示す第１主点パラメータ、及び前記ステレオスコピック映像第２視点映像の主点を示す第２主点パラメータを別個に決定する段階と、をさらに含み、
    前記主点情報設定パラメータに基づいて、前記主点についての情報が設定されていないとするならば、前記少なくとも一つのカメラのうち、所定視点のカメラにより撮影された領域の中点と前記所定視点の映像の主点とが一致することと決定する段階をさらに含むことを特徴とするステレオスコピック映像データ・ストリーム生成方法。
12. 請求項１ないし７のうちいずれか１項に記載のステレオスコピック映像復元方法を具現するためのコンピュータプログラムが記録されたコンピュータで読み取り可能な記録媒体。
13. 請求項８ないし１１のうちいずれか１項に記載のステレオスコピック映像データ・ストリーム生成方法を具現するためのコンピュータプログラムが記録されたコンピュータで読み取り可能な記録媒体。
    

Images