JP7140517B2

JP7140517B2 - 生成装置、生成装置が行う生成方法、及びプログラム

Info

Publication number: JP7140517B2
Application number: JP2018043459A
Authority: JP
Inventors: 博康伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-03-09
Filing date: 2018-03-09
Publication date: 2022-09-21
Anticipated expiration: 2038-03-09
Also published as: US20220394230A1; JP2019159594A; JP7459195B2; WO2019171733A1; US11451759B2; JP2022171739A; US20200404240A1

Description

本発明は、仮想視点映像に関する。

昨今、複数のカメラを異なる位置に設置して複数視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、任意の仮想カメラ（仮想視点）からの映像（仮想視点映像）を生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが可能となり、通常の映像コンテンツと比較してユーザに高臨場感を与えることが可能となる。

特許文献１には、複数のカメラで同一の範囲を取り囲むように配置して、その同一の範囲を撮影した画像を用いて、仮想視点画像を生成、表示することが開示されている。

特開２０１４－２１５８２８号公報

しかしながら、仮想視点映像の取扱いには種々の課題がある。例えば、複数の仮想視点映像が生成された場合に特定の仮想視点映像を検索することが容易でない恐れがあった。この課題は、特に同一時刻、同一シーンにおいて複数の仮想視点映像が生成された場合に特に顕著である。また別の課題として、例えば、１つのフォルダ（ディレクトリ）内に複数の仮想視点映像ファイルが存在する場合に、ユーザの意図に沿った並び替えが困難となる恐れがあった。また別の課題として、例えば、仮想視点映像の表示中に当該仮想視点映像に関する視点情報を表示させたいというニーズに応えられない恐れがあった。さらに別の課題として、仮想視点映像を視聴するユーザが、その仮想視点を編集したいと考えたとしても、それを実現することが困難である恐れがあった。このように、仮想視点映像の取扱いには種々の課題があった。

本発明は、仮想視点映像の取扱いに関する種々の不都合のうち少なくとも１つを改善するためになされたものであり、その目的は、仮想視点映像に関するユーザビリティを向上させることである。

本発明による生成装置は、複数の撮影装置が撮影することにより取得される画像データに基づく仮想視点映像データの生成に使用される仮想視点パラメータであって、仮想視点の位置と前記仮想視点からの視線方向とを示す仮想視点パラメータを含む複数セットを取得する取得手段と、前記取得手段により取得された前記複数セットと、前記複数セットそれぞれに含まれる仮想視点パラメータに基づいて生成された仮想視点映像データと、を含むメディアファイルを生成する生成手段と、を有し、前記複数セットそれぞれに含まれる仮想視点パラメータは、前記メディアファイルの先頭のヘッダ領域に格納されており、
前記複数セットそれぞれに含まれる仮想視点パラメータは、前記仮想視点映像データに含まれる複数のフレームのうちの何れかのフレームに対応しており、前記複数セットのうちの１つのセットに含まれる仮想視点パラメータには、前記仮想視点映像データに含まれる複数のフレームのうちの１つのフレームを特定するパラメータと、当該１つのフレームに対応する仮想視点の位置を示すパラメータと、当該１つのフレームに対応する仮想視点からの視線方向を示すパラメータと、が含まれることを特徴とする。

本発明によれば、仮想視点映像に関するユーザビリティを向上できる。

第１実施形態における画像処理システムの構成の一例を示すブロック図である。仮想視点パラメータ付き仮想視点映像データのフォーマットを示す説明図である。静止画ファイルフォーマットの仮想視点映像データに仮想視点パラメータを付与する方法を説明するための図である。ＶＶＰＩＦＤのタグ情報の構成の一例を示す図である。第１実施形態における画像処理装置の処理の流れを示すフローチャートである。動画ファイルフォーマットの仮想視点映像データに仮想視点パラメータを付与する方法を説明するための図である。ＯｇｇＶｏｒｂｉｓのＶｏｒｂｉｓに仮想視点パラメータを付与する方法を説明するための図である。仮想視点パラメータが付与された仮想視点映像データの表示例を示す図である。

以下、本発明の実施の形態について詳細に説明する。なお、以下の実施の形態に記載されている構成要素は、本発明の例としての形態を示すものであり、本発明の範囲をそれらのみに限定するものではない。
［第１実施形態］

まず、第１実施形態の画像処理システムの構成を説明する。図１は、第１実施形態における画像処理システムの構成の一例を示すブロック図である。本実施形態における画像処理システムは、仮想視点映像データを生成する画像処理装置（生成装置ともいう）１００と、ユーザが仮想視点を操作するための仮想視点操作部１１０とを備える。画像処理装置１００は、複数視点画像データ１２０を入力する。また、画像処理装置１００は、仮想視点パラメータ付き仮想視点映像データ（以下、第二の仮想視点映像データと呼ぶ）１３０を出力する。複数視点画像データ１２０は、複数のカメラを異なる位置に設置して複数視点で同期撮影して得られる画像データである。複数視点画像データ１２０には、それぞれの視点で撮影された画像を表現するデータに加えて、撮影時刻やカメラに関する情報等が含まれていても良い。

画像処理装置１００は、図１に示すように、撮影時刻指定部１０１、仮想視点パラメータ指定部１０２、画像データ取得部１０３、仮想視点映像生成部１０４、及び仮想視点パラメータ付与部１０５を有する。画像処理装置１００は、例えば、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）、ＷＳ（ＷｏｒｋＳｔａｔｉｏｎ）、各種サーバなどのコンピュータである。なお、画像処理装置１００は、汎用コンピュータではなく、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発メモリ等を備えた専用コンピュータであっても構わない。また、上記各構成要素を別のコンピュータで機能させ、これらをネットワーク等で接続しても構わない。また、上記各構成要素のそれぞれが専用のハードウェアで構成されていても構わない。その場合、各ハードウェアのそれぞれはメモリ等に格納されたプログラムを起動することで処理を実行する。

撮影時刻指定部１０１は、撮影時刻を画像データ取得部１０３に指定する。撮影時刻は、絶対時刻でも良いし、撮影開始時刻を０とした相対時刻であっても良い。なお、相対時刻の表現形式として一般的な規格であるタイムコード、またはそれに類するものであってもよい。

仮想視点パラメータ指定部１０２は、仮想視点パラメータを仮想視点映像生成部１０４に指定する。本実施形態では、仮想視点パラメータに、仮想視点の姿勢、位置、画角情報のうち１つ以上のパラメータが含まれるものとする。

画像データ取得部１０３は、複数視点画像データ１２０の中から、撮影時刻指定部１０１によって指定された撮影時刻の画像データを取得する。ここで、複数視点画像データ１２０は、複数のカメラ（図示せず）が直接生成する画像データでも構わないし、コンピュータ（図示せず）に蓄えられた画像データでも構わない。

仮想視点映像生成部１０４は、画像データ取得部１０３が取得した画像データを用いて、仮想視点パラメータ指定部１０２から指定された仮想視点パラメータに従って、仮想視点映像データを生成する。仮想視点映像データの生成方法については特に限定されない。例えば、被写体（オブジェクト）の３次元モデルを構築して画像データをマッピングする方法を用いてもよい。

仮想視点パラメータ付与部１０５は、仮想視点映像生成部１０４が生成した仮想視点映像データに、仮想視点パラメータ指定部１０２から指定された仮想視点パラメータを付与して、第二の仮想視点映像データ１３０を生成して出力する。第二の仮想視点映像データ１３０は、１フレームからなる静止画であってもよいし、１フレーム以上の静止画の画像データであってもよいし、動画の画像データであってもよい。

また、本実施形態では、仮想視点映像データの生成時に使用する撮影時刻情報と仮想視点パラメータとを、画像処理装置１００の外部の仮想視点操作部１１０から取得している。しかし、仮想視点映像データの生成時に使用する撮影時刻情報と仮想視点パラメータとのどちらか一方または両方を、画像処理装置１００内に予め保持しておいてもよいし、それらの情報を自動生成するようにしても良い。なお、仮想視点操作部１１０の一例としては、各種の３Ｄシミュレータや３Ｄゲームで行われているように、対象となる仮想空間上にユーザが存在するものとして該ユーザが見ている方向をユーザインタフェース画面に表示する装置などが想定される。そのような形態によれば、ユーザは、ジョイスティックなどを操作して、仮想空間上を自由に移動したり、仮想空間上で見たい方向を向いたりすることで、所望の仮想視点を仮想視点操作部１１０に対して入力することができる。また、画像処理装置１００と仮想視点操作部１１０は、外部インタフェースを介して接続されている。なお、本実施形態では、画像処理装置１００と仮想視点操作部１１０とを接続するインタフェースとしてＥｔｈｅｒｎｅｔ（登録商標）を用いることとするが、ＵＳＢ等、その他のインタフェースを用いてもよい。また、画像処理装置１００と仮想視点操作部１１０は、同じ筐体内に格納されていてもよい。その場合、画像処理装置１００と仮想視点操作部１１０は、コンピュータ内の内部バスによって接続されるものとする。

次に、第二の仮想視点映像データ１３０のデータ構造の概略を説明する。図２は、第二の仮想視点映像データのフォーマットを示す説明図である。図２に示すように、仮想視点映像データ２０２には、メタデータ２０１が付与されていて、メタデータ２０１は、仮想視点パラメータ２１１と、映像付属情報２１２とを含む。映像付属情報２１２は、例えば、撮影時刻情報や映像の解像度や色空間といった、映像に一般的に付与されるメタデータである。なお、この撮影時刻情報は、対象となる仮想視点映像データの元となる複数視点画像データ１２０の撮影時刻であるとし、絶対時刻であっても良いし、撮影開始時刻を０とした相対時刻であっても良い。なお、相対時刻の表現形式は上述したとおり、一般的な規格であるタイムコード、またはそれに類するものであってもよい。また、本実施形態では、画像データ取得部１０３に入力される複数視点画像データ１２０に映像付属情報２１２が付与されているものとする。

仮想視点パラメータ２１１は、姿勢パラメータ２２１、位置パラメータ２２２、及び画角パラメータ２２３のうち１つ以上のパラメータを含む。ここで、仮想視点パラメータ２１１について説明する。仮想視点パラメータ２１１の姿勢パラメータ２２１は、仮想カメラの姿勢を示すパラメータである。本実施形態では、仮想カメラの姿勢をクォータニオンで表現するものとする。クォータニオンは、以下の式（１）で表現される。

式（１）において、セミコロンの左側は実数部を表現していて、ｘ,ｙ,ｚは虚数部を表現している。クォータニオン表現を用いることによって、任意の方向を軸とする任意の回転を容易に表現することが可能となる。具体的には、以下の手順となる。

まず、回転させたい点Ｐを以下の式（２）と置く。

次に、回転軸の方向を表すベクトルをｖ=（ｘｖ，ｙｖ，ｚｖ）と表し、回転させたい角度をθと表し、以下の式（３）（４）を用いてこのベクトルｖから２つのクォータニオンＱ，Ｒを求める。なお、ベクトルｖは正規化されていることとする。

最後に、以下の式（５）に示すような演算を実行する。

この結果、ベクトルｖを向いた軸まわりに点Ｐをθ回転させた点が、座標（ｘ，ｙ，ｚ）として得られる。なお、姿勢パラメータ２２１の表現方法はこれに限定されず、例えば回転行列表現でもよい。

位置パラメータ２２２は、仮想カメラの位置を示すパラメータである。世界座標上の原点を（０，０，０）とした３次元座標（ｘ，ｙ，ｚ）であるとする。このように、本実施形態では、位置パラメータ２２２を３次元ベクトルで表現する。

画角パラメータ２２３は、仮想視点の水平画角であるとする。なお、水平画角の表現方法については限定されない。例えば、０度～１８０度の範囲の角度表現でもよいし、３５ｍｍフィルムカメラで標準を５０ｍｍとした場合の焦点距離で表現してもよい。また、水平画角の値は、整数や浮動小数点で表すようにしてもよい。また、画面のアスペクト比を画角パラメータとしてもよい。その場合、アスペクト比を値として表現してもよいし、４：３や１６：９など決まったアスペクト比については符号を割り当てて該符号として表現してもよい。

図３は、「カメラ映像機器工業会規格ＤＣ－００８－２０１２デジタルスチルカメラ用画像ファイルフォーマット規格Ｅｘｉｆ２．３」（以下、Ｅｘｉｆ規格）に、仮想視点パラメータを付与した場合の例である。

図３（ａ）には、Ｅｘｉｆ規格で定義されるメタデータの領域に新たにＩＦＤ領域（ＶＶＰＩＦＤ３０２）を定義して、ＶＶＰＩＦＤ３０２に仮想視点パラメータを格納する例が示されている。なお、ＶＶＰＩＦＤは、ＶｉｒｔｕａｌＶｉｅｗｐｏｉｎｔＰａｒａｍｅｔｅｒＩｍａｇｅＦｉｌｅＤｉｒｅｃｔｏｒｙの略である。０ｔｈＩＦＤ内のＶＶＰＩＦＤＰｏｉｎｔｅｒ３０１は、ＶＶＰＩＦＤ３０２を指し示すポインタである。図４は、ＶＶＰＩＦＤのタグ情報の構成の一例を示す図である。図４（ａ）に示すように、ＶＶＰＩＦＤには、「バージョン」タグ、「姿勢パラメータ」タグ、「位置パラメータ」タグ、及び「画角パラメータ」タグが含まれる。図中における「ＦｉｌｅｄＮａｍｅ」は各タグの名称を示し、「タイプ」は各タグのデータ型を示し、「カウント」は各タグのデータ個数を示す。図４（ｂ）には、姿勢パラメータ、位置パラメータ、及び画角パラメータに設定される値の一例が示されている。姿勢パラメータの左端の値は、クォータニオンの実数部の値であり、右側３つの値は、クォータニオンの虚数部の値である。位置パラメータの各値は、３次元座標値である。画角パラメータの値は、水平画角である。

図３（ｂ）には、Ｅｘｉｆ規格では定義されていないが、ベンダーあるいは業界団体が任意に利用することができる未定義のＡＰＰｎマーカセグメントであるＡＰＰ３（図中の領域３１１）を利用して、該領域に仮想視点パラメータを格納する例が示されている。

以上のように、既存の静止画ファイルフォーマット（以下、単に静止画フォーマットと呼ぶ）であるＥｘｉｆ規格に、仮想視点パラメータ２１１を格納するための領域を追加定義することで、第二の仮想視点映像データを生成することが可能となる。なお、上記の例では、静止画フォーマットとしてＥｘｉｆ規格を例に説明したが、フォーマットはこれに限るものではなく、他の規格であってもよいし、独自のフォーマットであってもよい。また、それぞれのパラメータの値や、表現はこれに限定されない。

ここで、図５を用いて、画像処理装置１００の処理を説明する。図５は、第１実施形態における画像処理装置１００の処理の流れを示すフローチャートである。図５に示すフローチャートの一連の処理は、例えば、画像処理装置１００のＣＰＵ（不図示）がＲＯＭ（不図示）に記憶されているプログラムコードをＲＡＭ（不図示）に展開し実行することにより行われる。また例えば、図５におけるステップの一部または全部をＡＳＩＣや電子回路等のハードウェアで実現してもよい。図５に示すフローは、例えば、ユーザによる開始操作に応じて実行される。

Ｓ５０１において、撮影時刻指定部１０１は、撮影時刻を画像データ取得部１０３に指定する。より具体的には、撮影時刻指定部１０１は、仮想視点操作部１１０から入力された撮影時刻情報（以下、単に時刻情報と記す）を画像データ取得部１０３に渡す。Ｓ５０２において、仮想視点パラメータ指定部１０２は、仮想視点パラメータを仮想視点映像生成部１０４に指定する。より具体的には、仮想視点パラメータ指定部１０２は、仮想視点操作部１１０から入力された仮想視点パラメータを仮想視点映像生成部１０４に渡す。Ｓ５０３において、画像データ取得部１０３は、複数視点画像データ１２０の中から、撮影時刻指定部１０１によって指定された撮影時刻を示す撮影時刻情報を有する画像データを取得する。Ｓ５０４において、仮想視点映像生成部１０４は、画像データ取得部１０３が取得した画像データをもとにして、仮想視点パラメータ指定部１０２が指定した仮想視点パラメータに従って仮想視点映像データを生成する。Ｓ５０５において、仮想視点パラメータ付与部１０５は、仮想視点映像生成部１０４が生成した仮想視点映像データに、仮想視点パラメータ指定部１０２が指定した仮想視点パラメータを付与して、第二の仮想視点映像データを生成する。Ｓ５０６において、仮想視点パラメータ付与部１０５は、生成した第二の仮想視点映像データを出力する。

なお、上記の説明では、仮想視点パラメータを、静止画フォーマットの仮想視点映像データに付与する場合を例にした。しかし、例えばＳ５０１～Ｓ５０６の処理を、生成したい仮想視点映像データのフレーム数分繰り返すことで、仮想視点パラメータを動画ファイルフォーマット（以下、単に動画フォーマットと呼ぶ）の仮想視点映像データに付与することも可能である。以下では、仮想視点パラメータを動画フォーマットの仮想視点映像データに付与する場合について説明する。

図６は、仮想視点パラメータを付与した動画フォーマットの一例を示す図である。ここでは、ｎ＋１個のフレーム（フレームｍ～ｍ＋ｎ）からなる動画データを例にして説明する。

図６（ａ）には、各フレームの仮想視点映像データ６０６～６０９それぞれに対応する仮想視点パラメータ６０２～６０５を、ファイル先頭のヘッダ領域にまとめて格納するフォーマットが示されている。図６（ａ）に示すフォーマットは、例えば、ファイル化された動画に適している。図６（ｂ）には、仮想視点映像データ６０６～６０９それぞれのデータの直前に、対応する仮想視点パラメータ６０２～６０５を格納するフォーマットが示されている。図６（ｂ）に示すフォーマットは、例えば、ストリーム系の動画に適している。なお、図６（ｂ）に示す例では、各仮想視点映像データの直前に、対応する仮想視点パラメータを格納する例が示されていが、図６（ｂ）に示される格納方法に限定されない。例えば、各仮想視点映像データの直後に、対応する仮想視点パラメータを格納するようにしてもよい。また、図６（ｂ）に示す例では、各仮想視点映像データと、該各仮想視点映像データに対応する各仮想視点パラメータとをフレームの時系列順に格納する例が示されているが、必ずしもフレームの時系列順でなくてもよい。

図７は、ＯｇｇＶｏｒｂｉｓのＶｏｒｂｉｓに仮想視点パラメータを付与する方法を説明するための図である。ＯｇｇＶｏｒｂｉｓ（ｈｔｔｐ：／／ｗｗｗ．ｖｏｒｂｉｓ．ｃｏｍ／）は、動画フォーマットの一つである。図７には、ＶｏｒｂｉｓＣｏｍｍｅｎｔとして仮想視点パラメータ（仮想視点映像データのフレーム０～ｎに対応する仮想視点パラメータ）を付与する場合の例が示されている。図７において、＜ｄｉｖｃｌａｓｓ＝“ｒｏｔａｔｉｏｎ＿ｑｕａｔｅｒｎｉｏｎ”＞セクションの値ｔはクォータニオンの実数部を表し、ｘ，ｙ，ｚは虚数部を表している。また、＜ｄｉｖｃｌａｓｓ＝“ｔｒａｎｓｉａｔｉｏｎ＿ｖｅｃｔｏｒ”＞セクションの値ｘ，ｙ，ｚは３次元座標値を表し、＜ｄｉｖｃｌａｓｓ＝“ｈｏｒｉｚｏｎｔａｌ＿ａｎｇｌｅ”＞セクションの値ｘは水平画角を表している。なお、各フレームの仮想視点パラメータの表現方法については、図７に示す例に限定されない。すなわち、その他の表現が用いられてもよい。また、上記の例では、動画フォーマットとしてＶｏｒｂｉｓを例に説明したが、フォーマットはこれに限るものではなく、他のフォーマットであってもよいし、独自のフォーマットであってもよい。例えば、ＩＳＯ／ＩＥＣ１４４９６－１２（いわゆるＩＳＯＢＭＦＦ（ベースメディアファイルフォーマット））やＩＳＯ／ＩＥＣ１４４９６－１４（いわゆるＭＰ４ファイル）やＩＳＯ／ＩＥＣ１４４９６－１５等の動画フォーマットを採用してもよい。そのような場合には、例えば、ＵｓｅｒＤａｔａＢｏｘ（ｕｄｔａ）やＦｒｅｅＳｐａｃｅＢｏｘ（ｆｒｅｅ，ｓｋｉｐ）などのフリー記述用の領域（Ｂｏｘ）に仮想視点パラメータを記述するようにしてもよい。また例えば、ムービーボックス（ｍｏｏｖ）内に仮想視点パラメータを記述するようにしてもよい。また、将来的にファイルフォーマットにおいて、仮想視点映像のパラメータやそれを格納するための領域（Ｂｏｘ）が定義される可能性もある。そのような場合には、ムービーボックス内のｍｖｈｄ（ムービーヘッダーボックス）や、同じくムービーボックス内のｔｒａｋ（トラックボックス）などの中に仮想視点パラメータを記述するようにすればよい。

さらには、静止画フォーマット、動画フォーマットだけでなく、例えばＩＳＯ／ＩＥＣ２３００８－１２（いわゆるＨＥＩＦ）といったイメージシーケンスを格納することができるフォーマットにも適用可能である。

図８は、仮想視点パラメータが付与された仮想視点映像データの表示例を示す図である。
図８には、仮想視点の軌跡（図中の破線の矢印線８０１）を仮想視点映像に重ねて表示した場合の表示例が示されている。例えば、仮想視点パラメータ付与部１０５が、第二の仮想視点映像データ１３０、すなわち仮想視点パラメータが付与された仮想視点映像データを、不図示の表示装置に出力する。そして、不図示の表示装置が、仮想視点映像データによって示される仮想視点映像を表示する際に、該仮想視点映像データに付与された仮想視点パラメータに基づき、仮想視点の軌跡８０１を仮想視点映像に重ねて表示する。それにより、図８に示されるような仮想視点映像の表示を行うことが可能となる。

以上のように、本実施形態における画像処理装置１００は、生成した仮想視点映像データに仮想視点パラメータを付与して、第二の仮想視点映像データを生成する。これにより、仮想視点画像データから仮想視点に関する情報を簡便に取得することが可能となる。よって、本実施形態によれば、複数の仮想視点画像データから所望の仮想視点画像データを容易に特定することが可能となる。また、図８に示すように、仮想視点画像データから取得される仮想視点に関する情報を基に、該仮想視点映像データの生成時に使用された仮想視点パラメータを可視化することが可能となる。また、第二の仮想視点映像データに付与された仮想視点パラメータの一部を修正して、新たな第二の仮想視点映像データを生成することが可能となる。つまり、仮想視点映像における仮想視点を後から編集することが可能となる。さらに、仮想視点パラメータを付した状態で仮想視点映像データを記憶装置等に保存させておくことで、記憶装置等に記憶された仮想視点映像データ群の中から、所望の仮想視点映像データを抽出することが可能となる。例えば、各仮想視点映像データに付与された仮想視点パラメータを参照して、所望の仮想視点パラメータを有する仮想視点映像データを検索することが可能となる。また例えば、各仮想視点映像データに付与された仮想視点パラメータを参照して、同じような仮想視点の仮想視点映像をグループ化することが可能となる。

また、本実施形態では、仮想視点の位置、姿勢、画角を示す情報を仮想視点パラメータとして格納する場合を例にした。しかし、上述のパラメータに代えて、又は、上述のパラメータに加えて、その他の情報が仮想視点パラメータとして格納されるようにしてもよい。例えば、仮想視点を設定したユーザの識別情報（ユーザ名など）や、仮想視点を設定した日時や、仮想視点映像データの生成日時などを格納するようにしてもよい。また例えば、仮想視点映像データのコーデックに関する情報や、仮想視点の移動距離に関する情報や、仮想視点映像データの再生時間に関する情報を格納するようにしてもよい。また例えば、仮想視点映像データの再生の制限に関する情報（再生可能ユーザの識別情報、再生可能回数に関する情報等）を格納するようにしてもよい。

また、仮想視点パラメータの用途は、上述の方法に限られない。すなわち、仮想視点パラメータの可視化、仮想視点映像データの検索、及び、仮想視点映像データのグループ化に限られない。例えば、おすすめコンテンツの選定、コンテンツリストの並べ替え、個別ファイルの確認（例えば、いつ仮想視点を設定したかを思い出したいときにプロパティから参照する）することも想定される。

また、本実施形態では、１つのデータまたはファイル内に仮想視点パラメータを含めて記述したが、これに限定されない。例えば、それぞれの仮想視点映像データの仮想視点パラメータを、それぞれの仮想視点映像データに関連付けられた別々のファイルで管理を行っても構わない。

さらに、本実施形態では、仮想視点映像データを生成する際に仮想視点パラメータを付与する装置を例にした。しかし、仮想視点映像データを生成した後に別途仮想視点パラメータを付与するようにしても構わない。例えば、仮想視点映像データの生成時にユーザが操作した仮想カメラの位置や姿勢の記録から仮想視点パラメータを生成して、仮想視点映像データに付与するような制御を行うことも可能である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２仮想視点パラメータ指定部
１０４仮想視点映像生成部
１０５仮想視点パラメータ付与部

Claims

複数の撮影装置が撮影することにより取得される画像データに基づく仮想視点映像データの生成に使用される仮想視点パラメータであって、仮想視点の位置と前記仮想視点からの視線方向とを示す仮想視点パラメータを含む複数セットを取得する取得手段と、
前記取得手段により取得された前記複数セットと、前記複数セットそれぞれに含まれる仮想視点パラメータに基づいて生成された仮想視点映像データと、を含むメディアファイルを生成する生成手段と、を有し、
前記複数セットそれぞれに含まれる仮想視点パラメータは、前記メディアファイルの先頭のヘッダ領域に格納されており、
前記複数セットそれぞれに含まれる仮想視点パラメータは、前記仮想視点映像データに含まれる複数のフレームのうちの何れかのフレームに対応しており、
前記複数セットのうちの１つのセットに含まれる仮想視点パラメータには、前記仮想視点映像データに含まれる複数のフレームのうちの１つのフレームを特定するパラメータと、当該１つのフレームに対応する仮想視点の位置を示すパラメータと、当該１つのフレームに対応する仮想視点からの視線方向を示すパラメータと、が含まれる
ことを特徴とする生成装置。
前記メディアファイルは、静止画フォーマットのファイルであり、
前記生成手段は、
前記取得手段により取得された前記複数セットそれぞれに含まれる仮想視点パラメータを、前記メディアファイルのメタデータの領域に格納する
ことを特徴とする請求項１に記載の生成装置。
前記静止画フォーマットは、Ｅｘｉｆであり、
前記取得手段により取得された前記複数セットそれぞれに含まれる仮想視点パラメータは、前記メディアファイルのメタデータの領域のうち、Ｅｘｉｆ規格で定義されるＩＦＤ領域に格納される
ことを特徴とする請求項２に記載の生成装置。
前記静止画フォーマットは、Ｅｘｉｆであり、
前記取得手段により取得された前記複数セットそれぞれに含まれる仮想視点パラメータは、前記メディアファイルのメタデータの領域のうち、Ｅｘｉｆ規格で定義されていないＡＰＰｎマーカセグメントに格納される
ことを特徴とする請求項２に記載の生成装置。
前記メディアファイルは、動画フォーマットのファイルであり、
前記生成手段は、
前記仮想視点映像データ及び前記複数セットそれぞれに含まれる仮想視点パラメータを、フレームの時系列順に前記メディアファイルに格納する
ことを特徴とする請求項１から４のいずれか１項に記載の生成装置。
前記メディアファイルは、動画フォーマットのファイルであり、
前記動画フォーマットは、ＯｇｇＶｏｒｂｉｓである
ことを特徴とする請求項１から５のいずれか１項に記載の生成装置。
前記１つのセットに含まれる仮想視点パラメータには、前記仮想視点の画角を表すパラメータがさらに含まれる
ことを特徴とする請求項１から請求項６のうちのいずれか１項に記載の生成装置。
前記取得手段は、ユーザ操作に基づいて指定される複数セットそれぞれに含まれる仮想視点パラメータを取得する
ことを特徴とする請求項１から請求項７のうちのいずれか１項に記載の生成装置。
前記仮想視点の位置は、三次元座標により表される
ことを特徴とする請求項１から請求項８のうちのいずれか１項に記載の生成装置。
前記仮想視点からの視線方向は、三次元ベクトルにより表される
ことを特徴とする請求項１から請求項９のうちのいずれか１項に記載の生成装置。
前記生成手段により生成されるメディアファイルは、前記仮想視点を指定したユーザの識別情報、前記仮想視点が設定された日時に関する情報、及び、前記仮想視点映像データの生成日時に関する情報のうち少なくともいずれかをさらに含む
ことを特徴とする請求項１から請求項１０のうちのいずれか１項に記載の生成装置。
前記生成手段により生成されるメディアファイルは、前記仮想視点映像データを再生可能なユーザを特定するための情報、及び、前記仮想視点映像データを再生可能な回数に関する情報のうち少なくともいずれかをさらに含む
ことを特徴とする請求項１から請求項１１のうちのいずれか１項に記載の生成装置。
前記仮想視点映像データに含まれる複数のフレームのうちの前記１つのフレームを特定する前記パラメータは、当該１つのフレームのフレーム番号である
ことを特徴とする請求項１から請求項１２のうちのいずれか１項に記載の生成装置。
前記仮想視点映像データに含まれる複数のフレームのうちの前記１つのフレームを特定する前記パラメータは、当該１つのフレームのタイムコードである
ことを特徴とする請求項１から請求項１２のうちのいずれか１項に記載の生成装置。
複数の撮影装置が撮影することにより取得される画像データに基づく仮想視点映像データの生成に使用される仮想視点パラメータであって、仮想視点の位置と前記仮想視点からの視線方向とを示す仮想視点パラメータを含む複数セットを生成装置が取得する取得ステップと、
前記取得された前記複数セットと、前記複数セットそれぞれに含まれる仮想視点パラメータに基づいて生成された仮想視点映像データと、を含むメディアファイルを前記生成装置が生成する生成ステップと、を含み、
前記複数セットそれぞれに含まれる仮想視点パラメータは、前記メディアファイルの先頭のヘッダ領域に格納されており、
前記複数セットそれぞれに含まれる仮想視点パラメータは、前記仮想視点映像データに含まれる複数のフレームのうちの何れかのフレームに対応しており、
前記複数セットのうちの１つのセットに含まれる仮想視点パラメータには、前記仮想視点映像データに含まれる複数のフレームのうちの１つのフレームを特定するパラメータと、当該１つのフレームに対応する仮想視点の位置を示すパラメータと、当該１つのフレームに対応する仮想視点からの視線方向を示すパラメータと、が含まれる
ことを特徴とする生成装置が行う生成方法。
コンピュータを、請求項１から請求項１４のうちのいずれか１項に記載の生成装置として機能させるためのプログラム。