WO2019244731A1

WO2019244731A1 - ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム

Info

Publication number: WO2019244731A1
Application number: PCT/JP2019/023224
Authority: WO
Inventors: 裕尚伊藤
Original assignee: キヤノン株式会社
Priority date: 2018-06-20
Filing date: 2019-06-12
Publication date: 2019-12-26
Also published as: US11431957B2; JP2019220847A; JP7218105B2; US20210105450A1

Abstract

ファイル処理装置２０は、仮想視点映像データの生成のための素材データの要求のために用いられるアクセス情報を取得し（Ｓ１０４）、前記取得されたアクセス情報と仮想視点映像データとを含む仮想視点映像ファイルを生成し（Ｓ１０７）、前記生成された仮想視点映像ファイルを出力する（Ｓ１０８）。

Description

ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム

　本発明は、仮想視点映像ファイルの処理に関する。

　複数のカメラを用いて得られる複数の撮像画像に基づいて、仮想カメラの位置及び向きに応じた仮想視点画像を作る方法が知られている。

　特開２０１７－２１１８２８号公報は、複数のカメラを用いて得られる複数の撮影画像に基づいて、前景テクスチャ画像、背景テクスチャ画像、及び３Ｄモデルなどのデータ（以下では素材データと呼ぶ）を生成し、該素材データを用いて仮想視点映像を生成することを開示している。

特開２０１７－２１１８２８号公報

　仮想視点映像データを取得した装置が、新たな仮想視点に対応する新たな仮想視点映像データを生成することは容易ではなかった。

　例えば、他者が設定した仮想カメラワークに基づいて生成された仮想視点映像を閲覧したユーザが、別の仮想カメラワークに基づくオリジナルの仮想視点映像を生成したいと考える場合がある。その場合、仮想視点映像の生成のための素材データの所在を調べ、該素材データを取得し、新たな仮想視点映像データを生成することが考えられるが、それでは煩雑な作業が発生する。また、素材データを見つけることができなければ、新たな仮想視点映像データを生成できないこともあり得る。

　本発明は上記の課題を鑑みてなされたものであり、その目的は、仮想視点映像データを取得した装置が、新たな仮想視点に対応する新たな仮想視点映像データを容易に生成できるようにすることである。

　上記課題を解決するため、本発明のファイル生成装置は、例えば以下の構成を有する。すなわち、複数の撮像装置が所定の撮影領域を撮影することにより得られる撮影画像と、仮想視点と、に基づいて生成される仮想視点映像データに応じた仮想視点映像ファイルを生成するファイル生成装置であって、仮想視点映像データの生成のための素材データの要求のために用いられるアクセス情報を取得する取得手段と、前記取得手段により取得されたアクセス情報と前記仮想視点映像データとを含む仮想視点映像ファイルを生成するファイル生成手段と、前記ファイル生成手段により生成された仮想視点映像ファイルを出力する出力手段と、を有する。

　本発明によれば、仮想視点映像データを取得した装置が、新たな仮想視点に対応する新たな仮想視点映像データを容易に生成できるようになる。

第一実施形態の機能ブロック図である。撮影システムを説明するための図である。仮想視点映像ファイルの生成に関するシーケンス図である。仮想視点映像ファイルの再生に関するシーケンス図である。素材データへのアクセス情報を例示した図である。ＩＳＯＢＭＦＦに準拠するボックスの構造の一例である。ＩＳＯＢＭＦＦに準拠するボックスの構造の一例である。ＩＳＯＢＭＦＦに基づくファイル構造の一例である。ＩＳＯＢＭＦＦに準拠するムービーボックスにアクセス情報を記述する例を示す図である。ＩＳＯＢＭＦＦに準拠するムービーボックスにアクセス情報を記述する例を示す図である。ＩＳＯＢＭＦＦに準拠するムービーボックスにアクセス情報を記述する例を示す図である。静止画フォーマットにアクセス情報を記述する方法を例示した図である。静止画フォーマットにアクセス情報を記述する方法を例示した図である。素材データアクセス情報のタグ情報を例示した図である。動画ポータルサイトのトップ画面を例示した図である。動画ポータルサイトの動画再生画面を例示した図である。仮想視点映像の生成画面を例示した図である。第二実施形態の機能ブロック図である。その他の実施形態の機能ブロック図である。ファイル処理装置２０のハードウェア構成を示す図である。

　＜第一実施形態＞
　図１は、第一実施形態における素材サーバ１０、ファイル処理装置２０、及びファイルサーバ３０の機能を説明するためのブロック図である。なお、本実施形態における各装置の機能は、図１６にて示すハードウェア資源により実現される。図１６はファイル処理装置２０のハードウェア構成を説明するための図であるが、素材サーバ１０及びファイルサーバ３０のハードウェア構成もファイル処理装置２０のそれと同様である。図１６において、ＣＰＵ１６０１は、ＲＡＭ１６０２をワークメモリとして、ＲＯＭ１６０３及び／又はハードディスクドライブ（ＨＤＤ）１６０５に格納されたプログラムを実行する。これにより、後述する様々な処理が実行される。ＨＤＤインタフェース（Ｉ／Ｆ）１６０４は、ファイル処理装置２０と、ＨＤＤ１６０５や光ディスクドライブなどの二次記憶装置とを接続するためのインタフェースである。入力インタフェース（Ｉ／Ｆ）１０６は、１又は複数の座標を入力するためのタッチパネル、キーボード、マウス、デジタルカメラ、及びスキャナなどの入力デバイス１６０７とファイル処理装置２０とを接続するためのインタフェースである。入力インタフェース（Ｉ／Ｆ）１６０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェースである。出力インタフェース（Ｉ／Ｆ）１６０８は、ディスプレイなどの出力デバイス１６０９とファイル処理装置２０とを接続するためのインタフェースである。ネットワークインタフェース（Ｉ／Ｆ）１６１０は、ファイル処理装置２０と外部の装置（例えば、素材サーバ１０及びファイルサーバ３０）とを接続するためのインタフェースである。ＣＰＵ１６０１は、ネットワークＩ／Ｆ１６１０を介して外部の装置データのやり取りを行うことが可能である。

　なお、ファイル処理装置２０は複数のＣＰＵ１６０１を有してもよい。また、ＣＰＵ１６０１とは異なる専用の１又は複数のハードウェアを有し、ＣＰＵ１６０１による処理の少なくとも一部を専用のハードウェアが行うようにしてもよい。専用のハードウェアの例としては、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）やＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、及びＤＳＰ（デジタルシグナルプロセッサ）などがある。

　図３は、仮想視点映像ファイルを生成するときの素材サーバ１０、ファイル処理装置２０、及びファイルサーバ３０の処理の流れを説明するためのシーケンス図である。以下、図１及び図３を用いて各装置の機能及び動作について説明する。

　まず、ファイル処理装置２０は、素材サーバ１０に対して素材リストを要求する（Ｓ１０１）。具体的には、ファイル処理装置２０のデータ受信部２００は、ユーザ操作の入力に応じて、素材サーバ１０の外部インタフェース部１００に対して素材リストの要求を送信する。本実施形態において、素材リストとは、素材サーバ１０が提供可能な素材データをリスト化したデータである。

　また、本実施形態において素材データとは、仮想視点映像の生成のために用いられるデータである。素材データの一例としては、オブジェクト（例えばスポーツ選手やボールなど）の３次元形状を示す３次元形状データと、該オブジェクトのテクスチャデータと、背景画像のテクスチャデータである。これらの素材データを用いることで、仮想視点（仮想カメラ）の位置と向きに応じた仮想視点映像を生成することができる。また、素材データの別の例としては、複数のカメラによる撮影画像と、各カメラの位置、姿勢、及び画角に関するカメラ情報であっても良い。これらの素材データを用いることによっても、仮想視点（仮想カメラ）の位置と向きに応じた仮想視点映像を生成することができる。なお、このような素材データは、図２に示すような撮像システムを用いることによって得られる。図２に示すように、複数のカメラが所定の撮影領域を異なる方向から同期撮影を行うことで得られる撮影画像を用いることによって、該撮影領域内に存在するオブジェクトの形状やテクスチャデータが得られる。具体的なアルゴリズムとしては、ＶｉｓｕａｌＨｕｌｌなど公知の手法を用いることができる。また、図２に示す各カメラの位置、姿勢、及び画像角度に関するカメラ情報は、例えば、各カメラの撮影画像に基づいて得ることができる。

　なお、本実施形態の素材リストには、提供可能な素材データの種別、時間帯、撮影場所、及び、該素材データを要求するためのアクセス情報が含まれる。なお、本実施形態では素材リストという名称を用いているが、必ずしもリスト形式のデータでなければならないわけではない。また、上述した情報（種別、時間帯、撮影場所、アクセス情報）のすべてが必ずしも必須の情報であることは限らない。上述した情報のうち一部が素材リストに含まれていなくても良いし、別の情報が加えられていても良い。

　また、アクセス情報は、例えば、素材データを記録する記録装置（素材サーバ１０）のＩＰアドレス、又は、素材データの所在を示すＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）を含み得る。また、アクセス情報は、例えば、素材データを格納するファイルの名称（ファイル名）、及び、素材データを識別するための識別情報（例えばタイトル）のうち、少なくとも何れか一方を含んでいても良い。

　図２のＳ１０２において、ファイル処理装置２０は、素材サーバ１０から素材リストを受信する。具体的には、素材サーバ１０の外部インタフェース部１００は、素材リストの要求を受けると、データリスト取得部１０１を介してデータ蓄積部１０２から素材リストを取得し、その素材リストをファイル処理装置２０のデータ受信部２００に対して送信する。

　そして、ファイル処理装置２０は、素材サーバ１０に対して素材データを要求する（Ｓ１０３）。具体的には、ファイル処理装置２０のデータ受信部２００は、ユーザによる素材データの選択操作に応じて、素材サーバ１０の外部インタフェース部１００に対して素材データの要求を送信する。

　そして、ファイル処理装置２０は、素材サーバ１０から素材データを受信する（Ｓ１０４）。具体的には、素材サーバ１０の外部インタフェース部１００は、ファイル処理装置２０から素材データの要求を受けると、データ取得部１０３を介してデータ蓄積部１０２から素材データを取得する。そして、該素材データをファイル処理装置２０のデータ受信部２００に対して送信する。

　そして、ファイル処理装置２０は、仮想視点の情報を取得する（Ｓ１０５）。具体的には、仮想視点入力部２０２から仮想視点の位置、向き、及び画角などに関する仮想視点情報の入力を受付ける。本実施形態において、仮想視点情報はユーザ操作に基づいて決定される情報であるものとするが、これに限らず、自動的に仮想カメラが操縦されるようにしても良い。

　そして、ファイル処理装置２０の仮想視点映像生成部２０１は、Ｓ１０４において取得された素材データと、Ｓ１０５において入力された仮想視点情報とに基づいて、仮想視点映像データを生成する（Ｓ１０６）。

　そして、ファイル処理装置２０のファイル生成部２０４は、Ｓ１０６において生成された仮想視点映像データに基づいて仮想視点映像ファイルを生成する（Ｓ１０７）。本実施形態のファイル処理装置２０は、仮想視点映像データの生成のために用いられた素材データの要求のアクセス情報を含む仮想視点映像ファイルを生成する。なお、図１は、ファイル生成部２０４が仮想視点映像ファイルを生成したあとにアクセス情報付与部２０５がアクセス情報を付加する例を示しているが、これに限らない。例えば、アクセス情報が記述された仮想視点映像ファイルを生成したあとに、仮想視点映像データを付加するようにしても良い。

　そして、ファイル処理装置２０は、Ｓ１０７において生成された仮想視点映像ファイルをファイルサーバ３０へ出力する（Ｓ１０９）。具体的には、ファイル処理装置２０のファイル出力部２０６が、ファイルサーバ３０のファイル受信部３０５に対して仮想視点映像ファイルを送信する。

　そして、ファイルサーバ３０は、ファイル処理装置２０から受け取った仮想視点映像ファイルを記録する（Ｓ１０９）。記録された仮想視点映像ファイルは、一般公開された場合、他のファイル処理装置２０（例えばスマートフォンやタブレットＰＣなど）へ提供される。

　なお、仮想視点映像ファイルの出力先はファイルサーバ３０に限らない。例えば、ファイル処理装置２０に接続されるハードディスクに出力されても良いし、他の端末（例えばスマートフォンやタブレットＰＣなど）に出力されても良い。

　また、図１は、素材サーバ１０、ファイル処理装置２０、及びファイルサーバ３０がそれぞれ１台ずつ接続される例を示しているが、これに限らず、種々の変形例があり得る。例えば、素材サーバ１０とファイルサーバ３０が同一の（又は同一とみなせる）サーバであっても良いし、複数の素材サーバ１０と複数のファイルサーバ３０が存在するシステムもあり得る。例えば、素材サーバ１０が複数存在する場合、ファイル処理装置２０は該複数の素材サーバ１０に対して、素材リストの要求を送信しうる。また、複数のファイルサーバ３０が存在する場合、ファイル処理装置２０は該複数のファイルサーバ３０に対して、仮想視点映像ファイルを送信しうる。また、図１では、ファイル処理装置２０が仮想視点映像ファイルを生成する機能と、仮想視点映像ファイルを再生する機能の両方を有している例を示しているが、これに限らない。すなわち、仮想視点映像ファイルを生成するための機能と、仮想視点映像ファイルを再生するための機能とが別の装置として存在することもありうる。すなわち、本実施形態のファイル処理装置２０は、ファイル生成装置やファイル再生装置と呼ぶこともできる。

　また、本実施形態のファイル処理装置２０は、ユーザにより指定された素材データを一括ですべて受信してから仮想視点映像データを生成することを想定しているが、所定時間ごとの素材データを部分的に取得しながら、仮想視点映像データを生成しても良い。

　次に、本実施形態のファイル処理装置２０が仮想視点映像ファイルを再生するときの素材サーバ１０、ファイル処理装置２０、及びファイルサーバ３０の処理の流れについて、図１及び図４を用いて説明する。

　まず、ファイル処理装置２０は、ファイルサーバ３０に対してファイルリストを要求する（Ｓ２０１）。ファイルリストとは、ファイルサーバ３０がファイル処理装置２０に対して提供可能なコンテンツファイルの一覧を示す情報である。ただし、必ずしもリスト形式のデータである必要はない。また、ファイルリストが示すコンテンツファイルには、仮想視点映像ファイルが含まれる。本実施形態のファイル処理装置２０のファイルリスト受信部２０７は、ファイルリストの取得に関するユーザ操作を受け付けると、ファイルリストの要求をファイルサーバ３０の外部インタフェース部３００に対して送信する。

　そして、ファイル処理装置２０は、ファイルサーバ３０からファイルリストを取得する（Ｓ２０２）。具体的には、ファイルサーバ３０の外部インタフェース部３００は、ファイル処理装置２０からの要求を受信すると、ファイルリスト取得部３０１を介してファイル蓄積部３０２からファイルリストを取得する。そして、そのファイルリストをファイル処理装置２０に対して送信する。

　そして、ファイル処理装置２０は、ファイルリストにおいて示された複数のコンテンツファイルのうち、ユーザにより指定された仮想視点映像ファイルの要求をファイルサーバ３０に対して送信する（Ｓ２０３）。具体的には、ファイル処理装置２０のファイル要求部２０８が、ユーザにより指定された仮想視点映像ファイルの識別情報を含む要求をファイルサーバ３０の外部インタフェース部３００に対して送信する。

　そして、ファイル処理装置２０は、ファイルサーバ３０から仮想視点映像ファイルを受信する（Ｓ２０４）。具体的には、ファイルサーバ３０の外部インタフェース部３００は、ファイル処理装置２０から仮想視点映像ファイルの要求を受けると、該要求された仮想視点映像ファイルを、ファイル取得部３０３を介してファイル蓄積部３０２から取得する。そして、該取得された仮想視点映像ファイルをファイル処理装置２０のファイル受信部２１０に対して送信する。

　そして、ファイル処理装置２０は、Ｓ２０４において取得した仮想視点映像ファイルを再生する（Ｓ２０５）。具体的には、ファイル処理装置２０のファイル再生部２１１が、ファイル受信部２１０により受信された仮想視点映像ファイルに含まれる仮想視点映像データをデコードし、デコードの結果を映像出力部２０３に対して送信する。そして、映像出力部２０３は、仮想視点映像を表示させる。このとき、オーディオデータもあれば、映像と合わせて再生される。

　そして、ファイル処理装置２０は、素材データの取得指示が入力されたか判定する（Ｓ２０６）。素材データの取得指示は、典型的には、ユーザ操作により入力される。ユーザは、ファイルサーバ３０から取得した仮想視点映像ファイルに基づく仮想視点映像を再生中に、該映像とは異なる視点から映像を視聴したいと考えた場合に、素材データの取得指示を入力する。素材データの取得指示が入力されなかった場合、仮想視点映像の再生が継続される。

　一方、素材データの取得指示が入力された場合、ファイル処理装置２０は、素材データをファイルサーバ３０に対して要求する（Ｓ２０７）。具体的には、ファイル処理装置２０の素材データ要求部２０９が、素材データの取得に関するユーザ操作の入力に応じて、ファイルサーバ３０に対して素材データの要求を送信する。この素材データの要求は、素材データのアクセス情報に基づいて行われる。例えば、アクセス情報が素材サーバ１０のＩＰアドレスとファイル名の組み合わせである場合、該アクセス情報が素材データの要求に含まれる。また、例えば、アクセス情報がＵＲＬである場合、素材データ要求部２０９は、該ＵＲＬに対するＧＥＴリクエストを送信することにより、素材データを取得できる。この場合、ＧＥＴリクエストはファイルサーバ３０ではなく、素材サーバ１０に直接送信されることがある。

　ファイルサーバ３０のメタデータ解析部３０６は、ファイル処理装置２０から素材データの要求を受け付けた場合、該要求に含まれるアクセス情報を参照する。もし素材データの要求にアクセス情報が含まれていない場合（Ｓ２０８でＮｏ）、ファイル処理装置２０に対してエラーが通知される（Ｓ２０９）。一方、素材データの要求にアクセス情報が含まれる場合、ファイルサーバ３０は、素材サーバ１０に対して素材データの要求を送信する（Ｓ２１０）。具体的には、ファイルサーバ３０のデータ受信部３０７から素材サーバ１０のデータ送信部１０４に対して素材データの要求が送信される。その後、ファイルサーバ３０は素材サーバ１０から素材データ及びアクセス情報を取得し（Ｓ２１１）、その素材データとアクセス情報をファイル処理装置へ提供する（Ｓ２１２）。ただし、素材サーバ１０からファイル処理装置２０に対して直接的に素材データとアクセス情報が送信されるようにしても良い。図４のＳ２１３～Ｓ２１７は、図３のＳ１０５～Ｓ１０９と同様である。

　次に図５を用いて、素材データのアクセス情報について詳細に説明する。図５において、アクセス情報バージョン５０１Ａは、アクセス情報５００のバージョンを示し、バージョンごとに格納するパラメータが変わることに対応するための情報である。

　アクセス情報フラグ５０２Ａは、アクセス情報５００に含まれる情報のうち、有効な情報を示す。たとえば、二値の値で、１が有効を示すようなビットアサインのデータ等を使用できる。

　データベースＵＲＬ５０３Ａは、素材データを記録するサーバ（データベース）のＵＲＬを示す。データベースＩＰアドレス５０４Ａは、素材データを記録するサーバ（データベース）のＩＰアドレスを示す。

　データＩＤ５０５Ａは、素材データを記録するサーバ（データベース）において、素材データを一意に特定するためのＩＤ（識別情報）である。また、データ名５０６Ａは、素材データを記録するサーバ（データベース）において、素材データを一意に特定するためのデータ名（識別情報）である。識別情報の具体例としては、素材データのタイトルやファイル名などである。

　映像生成ポータルサイトＵＲＬ５０７Ａは、仮想視点映像の生成機能を含むポータルサイトのＵＲＬである。このＵＲＬによって特定されるサイトは、ユーザが指定した素材データから仮想視点映像を生成できるサービスを提供するものとする。

　映像生成に用いたデータの時間情報５０８は、仮想視点映像に対応する開始時間及び終了時間等を示す。この時間情報は、仮想視点映像に対応する実カメラの撮影時刻に基づく情報である。この時間情報を用いることで、ユーザは同じ時間の仮想視点映像を再度生成することができる。

　なお、図５で示す情報のすべてがアクセス情報として含まれていなければならないわけではないことに留意されたい。

　次に、アクセス情報をＩＳＯ／ＩＥＣ１４４９６－１２（ＭＰＥＧ－４　Ｐａｒｔ１２）　ＩＳＯ　ｂａｓｅ　ｍｅｄｉａ　ｆｏｒｍａｔ（以下、ＩＳＯＢＭＦＦ）規格に準拠した動画用ファイルフォーマットに格納する場合の例について詳細に説明する。

　ＩＳＯＢＭＦＦは、サイズとタイプを示す情報とデータとが格納されるボックスという単位でファイルを扱う。図６Ａはボックスの構造を例示した図である。図６Ｂのように、ボックスの中にデータとしてボックスを含む構造とすることも可能である。

　図７はＩＳＯＢＭＦＦに準拠したファイルのデータ構造を示している。図７に示すように、ＩＳＯＢＭＦＦに準拠したファイルは、ｆｔｙｐ７０１（Ｆｉｌｅ　Ｔｙｐｅ　Ｃｏｍｐａｔｉｂｉｌｉｔｙ　Ｂｏｘ）、ｍｏｏｖ７０２（Ｍｏｖｉｅ　Ｂｏｘ）、及びｍｄａｔ７０３（Ｍｅｄｉａ　Ｄａｔａ　Ｂｏｘ）のボックスを含む。ｆｔｙｐ７０１にはファイルフォーマットの情報、例えばファイルがＩＳＯＢＭＦＦに準拠していることや、ボックスのバージョン、ファイルを作成したメーカ名称等が格納される。ｍｏｏｖ７０２（ムービーボックス）には、メディアデータを管理するための時間軸、アドレスなどのメタデータが格納される。ｍｄａｔ７０３（メディアデータボックス）には、実際に動画として再生されるメディアデータが格納される。本実施形態において、ｍｏｏｖ７０２はメタデータを格納するためのメタデータ領域、ｍｄａｔ７０３はメディアデータを格納するためのメディアデータ領域と呼ぶことができる。

　図８は、ｍｏｏｖ７０２に、素材データへのアクセス情報５００を記述する例を示した図である。図８Ａのように、ファイル全体のメタ情報を示すｍｅｔａ８０１に情報を付与することができる。またトラックごとに異なる映像をつなぎ合わせて編集されたファイルの場合は、図８Ｂのように、各トラックのボックスｍｅｔａ８０２にアクセス情報５００を記述することも可能である。また、図８Ｃのように、アクセス情報５００を格納する新たなボックスを定義しても良い。こうすることで、異なる素材データから生成された仮想視点映像を混在させた編集動画を生成した場合でも、それぞれのトラックから素材データへアクセスすることが可能となる。

　アクセス情報５００を格納するための新たなボックスの例を以下に示す。
ａｌｉｇｎｅｄ（８）　ｃｌａｓｓ　ＭｅｔａＢｏｘ　（ｈａｎｄｌｅｒ＿ｔｙｐｅ）
ｅｘｔｅｎｄｓ　ＦｕｌｌＢｏｘ（‘ｍｅｔａ’，　ｖｅｒｓｉｏｎ　＝　０，　０）　｛
ＨａｎｄｌｅｒＢｏｘ（ｈａｎｄｌｅｒ＿ｔｙｐｅ）　ｔｈｅＨａｎｄｌｅｒ；
ＰｒｉｍａｒｙＩｔｅｍＢｏｘ　ｐｒｉｍａｒｙ＿ｒｅｓｏｕｒｃｅ；　／／　ｏｐｔｉｏｎａｌ
ＤａｔａＩｎｆｏｒｍａｔｉｏｎＢｏｘ　ｆｉｌｅ＿ｌｏｃａｔｉｏｎｓ；　／／　ｏｐｔｉｏｎａｌ
ＩｔｅｍＬｏｃａｔｉｏｎＢｏｘ　ｉｔｅｍ＿ｌｏｃａｔｉｏｎｓ；　／／　ｏｐｔｉｏｎａｌ
ＩｔｅｍＰｒｏｔｅｃｔｉｏｎＢｏｘ　ｐｒｏｔｅｃｔｉｏｎｓ；　／／　ｏｐｔｉｏｎａｌ
ＩｔｅｍＩｎｆｏＢｏｘ　ｉｔｅｍ＿ｉｎｆｏｓ；　／／　ｏｐｔｉｏｎａｌ
ＩＰＭＰＣｏｎｔｒｏｌＢｏｘ　ＩＰＭＰ＿ｃｏｎｔｒｏｌ；　／／　ｏｐｔｉｏｎａｌ
ＩｔｅｍＲｅｆｅｒｅｎｃｅＢｏｘ　ｉｔｅｍ＿ｒｅｆｓ；　／／　ｏｐｔｉｏｎａｌ
ＩｔｅｍＤａｔａＢｏｘ　ｉｔｅｍ＿ｄａｔａ；　／／　ｏｐｔｉｏｎａｌ
Ｏｒｉｇｉｎａｌ＿Ｄａｔａ＿Ａｃｃｅｓｓ＿ｉｎｆｏ　／／　ｏｐｔｉｏｎａｌ
Ｂｏｘ　ｏｔｈｅｒ＿ｂｏｘｅｓ［］；　／／　ｏｐｔｉｏｎａｌ
｝

　ここで、Ｏｒｉｇｉｎａｌ＿Ｄａｔａ＿Ａｃｃｅｓｓ＿ｉｎｆｏが素材データへのアクセス情報５００を表す。このボックスは
Ｂｏｘ　Ｔｙｐｅ：　‘ｏｄａｉ’
Ｃｏｎｔａｉｎｅｒ：　Ｍｅｔａ　ｂｏｘ　（‘ｍｅｔａ’）
Ｍａｎｄａｔｏｒｙ：　Ｎｏ
Ｑｕａｎｔｉｔｙ：　Ｚｅｒｏ　ｏｒ　ｏｎｅ
そのシンタックスは
ａｌｉｇｎｅｄ（８）　ｃｌａｓｓ　ＩｔｅｍＬｏｃａｔｉｏｎＢｏｘ　ｅｘｔｅｎｄｓ　ＦｕｌｌＢｏｘ（‘ｏｄａｉ’，ｖｅｒｓｉｏｎ，０）　｛
ｕｎｓｉｇｎｅｄ　ｉｎｔ（３２）　ｏｆｆｓｅｔ＿ｓｉｚｅ；
ｕｎｓｉｇｎｅｄ　ｉｎｔ（３２）　ｌｅｎｇｔｈ＿ｓｉｚｅ；
ｕｎｓｉｇｎｅｄ　ｉｎｔ（３２）　ｂａｓｅ＿ｏｆｆｓｅｔ＿ｓｉｚｅ；
ｉｆ　（ｖｅｒｓｉｏｎ　＝＝　１）　｛
ｕｎｓｉｇｎｅｄ　ｉｎｔ（３２）　ｉｎｄｅｘ＿ｓｉｚｅ；
｝　ｅｌｓｅ　｛
ｕｎｓｉｇｎｅｄ　ｉｎｔ（３２）　ｒｅｓｅｒｖｅｄ；
ｕｎｓｉｇｎｅｄ　ｉｎｔ（３２）　；　／／
｝
ｆｏｒ　（ｉ＝０，　ｉ＜４；　ｉ＋＋）　｛
ｕｎｓｉｇｎｅｄ　ｃｈａｒ（８）　Ｉｎｆｏｒｍａｔｉｏｎ　Ｖｅｒｓｉｏｎ［ｉ］；　／／アクセス情報バージョン｝
ｕｎｓｉｇｎｅｄ　ｉｎｔ（３２）　Ａｃｃｅｓｓ　Ｉｎｆｏ　Ｆｌａｇ；　／／アクセス情報フラグ
ｕｎｓｉｇｎｅｄ　ｉｎｔ（３２）　Ｄａｔａｂａｓｅ　ＵＲＬ　Ｃｈａｒａｃｔｅｒ　Ｎｕｍ；
／／データベースＵＲＬ文字数
ｆｏｒ　（ｉ＝０，　ｉ＜Ｄａｔａｂａｓｅ　ＵＲＬ　Ｃｈａｒａｃｔｅｒ　Ｎｕｍ；　ｉ＋＋）　｛
ｃｈａｒ（８）　Ｄａｔａｂａｓｅ　ＵＲＬ［ｉ］；　／データベースＵＲＬ
｝
ｆｏｒ　（ｉ＝０，　ｉ＜１５；　ｉ＋＋）　｛
ｃｈａｒ（８）　Ｄａｔａｂａｓｅ　ＩＰ　Ａｄｄｒｅｓｓ［ｉ］；　／／データベースＩＰアドレス
｝
ｕｎｓｉｇｎｅｄ　ｉｎｔ（３２）　Ｄａｔａ　Ｎａｍｅ　Ｃｈａｒａｃｔｅｒ　Ｎｕｍ；　／／データ名　文字数
ｆｏｒ　（ｉ＝０，　ｉ＜Ｄａｔａｂａｓｅ　Ｎａｍｅ　Ｃｈａｒａｃｔｅｒ　Ｎｕｍ；　ｉ＋＋）　｛
ｃｈａｒ（８）　Ｄａｔａｂａｓｅ　Ｎａｍｅ［ｉ］；　／／データ名
｝
ｕｎｓｉｇｎｅｄ　ｉｎｔ（３２）　Ｖｉｄｅｏ　Ｃｒｅａｔｅ　Ｐｏｒｔａｌ　Ｓｉｔｅ　ＵＲＬ　Ｃｈａｒａｃｔｅｒ　Ｎｕｍ；
／／映像生成ポータルサイトＵＲＬ　文字数
ｆｏｒ　（ｉ＝０，　ｉ＜　Ｖｉｄｅｏ　Ｃｒｅａｔｅ　Ｐｏｒｔａｌ　Ｓｉｔｅ　ＵＲＬ　Ｃｈａｒａｃｔｅｒ　Ｎｕｍ；　ｉ＋＋）　｛
ｃｈａｒ（８）　Ｖｉｄｅｏ　Ｃｒｅａｔｅ　Ｐｏｒｔａｌ　Ｓｉｔｅ　ＵＲＬ　［ｉ］；
／／映像生成ポータルサイトＵＲＬ
｝
ｕｎｓｉｇｎｅｄ　ｉｎｔ（３２）　Ｓｔａｒｔ　Ｔｉｍｅ　Ｏｆ　Ｕｓｉｎｇ　Ｄａｔａ；　／／データ使用開始時間
ｕｎｓｉｇｎｅｄ　ｉｎｔ（３２）　Ｅｎｄ　Ｔｉｍｅ　Ｏｆ　Ｕｓｉｎｇ　Ｄａｔａ；　／／データ使用終了時間
｝
となる。なお、アクセス情報５００はボックスで構成されるため、図８Ｃのように別途設定しても構わない。また、ＩＳＯＢＭＦＦは一例であり、アクセス情報５００が他のファイルフォーマットに準拠したファイルにメタデータとして格納されるようにしても良い。

　以下、カメラ映像機器工業会規格ＤＣ－００８－２０１２デジタルスチルカメラ用画像ファイルフォーマット規格Ｅｘｉｆ２．３に準拠したフォーマットでアクセス情報５００を記述する場合の例について説明する。図９Ａは、Ｅｘｉｆ規格に準拠したファイルフォーマットに、アクセス情報５００を記述する場合の例を示している。

　図９Ａは、使用カメラ情報を、Ｄａｔａ　Ａｃｃｅｓｓ　Ｉｎｆｏ　Ｉｍａｇｅ　Ｆｉｌｅ　Ｄｉｒｅｃｔｏｒｙ（以下、ＤＡＩ　ＩＦＤ）９０２として定義し、素材データへのアクセス情報５００を格納している。図１０に、ＤＡＩ　ＩＦＤのタグ情報の構成の一例を示す。また、ＤＡＩ　ＩＦＤ　Ｐｏｉｎｔｅｒ９０１は、ＤＡＩ　ＩＦＤ９０２を指し示すポインタである。

　図１０において、ＤＡＩタグのバージョンは１から始まる値であり、以下に続くデータのフォーマットのバージョンを表している。アクセス情報フラグはビットごとの１又は０の値で、以下に続く情報が有効か否かを示し、４バイト符号なし整数で表現される。データベースＵＲＬ文字数は、データベースＵＲＬの文字数を示し、４バイト符号なし整数で表現される。データベースＵＲＬは、データベースのＵＲＬを示し、ＡＳＣＩＩで表現される。ＡＳＣＩＩは、１つの７ピットＡＳＣＩＩコードを納めた８ビットバイトである。データベースＩＰアドレスは、データベースのＩＰアドレスを示し、ＡＳＣＩＩで表現される。データＩＤは、データを一意に特定するためのＩＤであり、４バイト符号なし整数で表現される。データ名文字数は、データ名の文字数を示し、４バイト符号なし整数で表現される。データ名は、データ名を示し、ＡＳＣＩＩで表現される。

　映像生成ポータルサイトＵＲＬ文字数は、映像生成ポータルサイトのＵＲＬの文字数を示し、４バイト符号なし整数で表現される。映像生成ポータルサイトＵＲＬは仮想視点映像生成のサービスを提供するポータルサイトのＵＲＬを示し、ＡＳＣＩＩで表現される。データ使用開始時間及びデータ使用終了時間は、どの時間からどの時間までの素材データで仮想視点映像が生成されたかを示す。データ使用開始時間及びデータ使用終了時間は、４バイト符号なし整数で表現され、たとえば１バイトずつ１０進数で時間、分、秒、及びフレームを示す方式を用いる。ただし、上記の情報の順序、データ長はこれに限定されない。また、図１０で示すすべての情報がアクセス情報５００として必須であるとは限らない。また、図１０で示す情報以外の情報がアクセス情報５００に含まれることもありうる。

　図９Ｂは、Ｅｘｉｆ規格では定義されていないが、ベンダーあるいは業界団体が任意に利用することができる未定義のＡＰＰｎマーカであるＡＰＰ３（８１１）に準拠する形式でアクセス情報５００を格納する例を示している。このように、既存の静止画用ファイルフォーマットであるＥｘｉｆ規格に、素材データへのアクセス情報５００を格納するための領域を追加定義し、仮想視点パラメータ付き仮想視点映像を生成することができる。

　上記実施形態では、動画フォーマットとしてＩＳＯＢＭＦＦ規格、静止画フォーマットとしてＥｘｉｆ規格を例に説明したが、フォーマットはこれに限るものではなく、他の規格であっても、独自のフォーマットであっても構わない。また、アクセス情報５００に含まれる各パラメータの値及び表現は上述の例に限定されない。

　また、今回はネットワークでつながった機器同士が連携する例について紹介したが、ひとつの装置内に素材データと、その素材データから生成された仮想視点映像がある場合は、ローカルフォルダパス等で素材データへのアクセス情報を表現することもできる。

　次に、ｗｅｂページを動画ポータルサイトとする動画配信サービスのクライアントとして、ファイル処理装置２０が動作する場合の例について説明する。ファイル処理装置２０は、ｗｅｂブラウザを有するものとする。ｗｅｂブラウザは、ファイルサーバ３０から送信されたｗｅｂページデータを解析し、画面を再構成することで、ユーザは動画ポータルサイトを閲覧する。

　図１１は動画ポータルサイトのトップ画面を例示した図である。トップ画面は、キーワードで動画を検索可能な検索バー１１００、ジャンル等から動画を検索できるメニュー画面１１０１、おすすめファイルリスト１１０２などから構成される。おすすめファイルリスト１１０２により示される各動画は、サムネイル画面、タイトル、投稿者、及び視聴回数などで構成される。例えばユーザが、マウスなどで動画をクリックすると、動画再生画面に遷移する。

　図１２は、動画再生画面を例示した図である。動画再生画面は、動画が表示される動画ウィンドウ１２００、再生ボタン、停止ボタン、及び時間的な再生位置を指定するシークバーなどを備えた再生操作バー１２０１を有する。また、動画再生画面は、素材データへのアクセスボタン１２０２を有する。

　例えば、本実施形態のファイルサーバ３０のメタデータ解析部３０６は、ファイル処理装置２０に対して提供する仮想視点映像ファイルにアクセス情報５００が含まれているかを判定する。そしてファイルサーバ３０は、アクセス情報５００が含まれていると判定された場合、ファイル処理装置２０により表示される動画再生画面上に、素材データへのアクセスボタン１２０２（所定領域）を加えることができる。

　ユーザが再生中の仮想視点映像と同じ素材データに基づいて異なる視点の仮想視点映像を生成したいと考えた場合、素材データへのアクセスボタン１２０２を押下（クリック）する。そのユーザ操作に応じて、素材データ要求部２０９がファイルサーバ３０に対し、素材データを要求し、前述の通り、ファイルサーバ３０（又は素材サーバ１０）から素材データを取得する。図１３は、ファイル処理装置２０がファイルサーバ３０（又は素材サーバ１０）から素材データを取得して、仮想視点映像を生成するための画面を例示する図である。図１３の画面は、仮想視点映像を再生するウィンドウ１３００、編集対象とする時間の指定のための時間指定バー１３０１、編集スタートボタン１３０２、編集ストップボタン１３０３、静止操作ボタン１３０４、及び、仮想視点映像再生バー１３０５を有する。

　ユーザは、時間指定バー１３０１で、編集を開始する時間を指定する。そして、編集スタートボタン１３０２を押下すると時間が進み始め、ユーザはマウスや専用コントローラなどを使って仮想視点を操作する。これにより、オリジナルの視点に基づく仮想視点映像が生成される。ユーザが編集ストップボタン１３０３を押下すると編集が終了する。仮想視点映像再生バー１３０５を操作すると、新たに生成された仮想視点映像を確認することができる。

　以上、第一実施形態では、仮想視点映像データと、該仮想視点映像データの生成に用いられた素材データにアクセスするためのアクセス情報５００とを含む仮想視点映像ファイルを生成する。これにより、該仮想視点映像ファイルを取得したファイル処理装置２０は、アクセス情報に基づいて素材データへアクセス可能となり、異なる視点の仮想視点映像を簡単に生成できるようになる。

　なお、本実施形態では素材データの取得をファイルサーバ３０経由で行う例を中心に説明したが、これに限定さない。例えば、素材データ要求部２０９がメタデータ解析部３０６の機能を持つことで、ファイル処理装置２０が直接的に素材サーバ１０に素材データを要求しても良い。

　なお、素材データへのアクセスボタン１２０２はこれに限らず、「再構成可能ボタン」または「編集ボタン」のように、素材データへのアクセスの可否を直接あらわさない表現にしても良い。

　＜第二実施形態＞
　第一実施形態では、ファイル処理装置２０が、素材サーバ１０に記録された素材データをファイルサーバ３０経由で取得する場合の例を中心に説明した。これに対し、第二実施形態では、ファイル処理装置２０が素材サーバ１０から直接的に素材データを取得する形態について説明する。

　図１４は、第二実施形態における素材サーバ４０、ファイル処理装置５０、及びファイルサーバ６０の詳細を説明するためのブロック図である。図１と同様のブロックについては、同じ番号を付与し、その説明を省略する。

　ファイル処理装置５０が、仮想視点映像データと素材データへのアクセス情報とを有する仮想視点映像ファイルをファイルサーバ６０に出力することについては第一実施形態と第二実施形態において共通である。

　本実施形態では、ファイル処理装置５０がファイルサーバ６０から仮想視点映像ファイルを取得し、該ファイルに含まれるアクセス情報に基づいて素材サーバ４０から素材データを取得し、新たな仮想視点に基づく仮想視点映像データを生成するケースを説明する。

　ファイル処理装置５０のファイル受信部５０１は、所定のユーザ操作（例えば素材データの取得指示）の入力に応じて、メタデータ解析部５０２に仮想視点映像ファイル中のメタデータを送信する。

　メタデータ解析部５０２は、ファイル受信部５０１から受け取ったメタデータを解析し、仮想視点映像ファイルの素材データへのアクセス情報を抽出する。メタデータ解析部５０２は、素材データへのアクセス情報がメタデータに含まれていない場合は、ファイル受信部５０１にその旨を通知する。この場合、映像出力部２０３は、素材データへのアクセスができない旨を示す画像を表示する。メタデータにアクセス情報が含まれている場合、メタデータ解析部５０２は、アクセス情報をデータ受信部５０３に送信する。アクセス情報の具体例は第一実施形態において説明した通りである。すなわち、素材データを記録する装置（素材サーバ１０）のＩＰアドレスと、素材データを特定するための識別情報（データＩＤ）の組み合わせなどがありうる。また、アクセス情報の別の例としては、特定の素材データに所在を表すＵＲＬなどもありうる。

　データ受信部５０３は、アクセス情報に基づいて素材データの取得を行う。例えば、アクセス情報が素材サーバ４０のＩＰアドレスとデータＩＤであった場合、データ受信部５０３は、素材サーバ４０の外部インタフェース部１００に該データＩＤを指定して素材データを要求する。

　素材サーバ４０の外部インタフェース部１００は、データ取得部１０３を介してデータ蓄積部１０２から素材データを取得し、データ送信部１０４を介してファイル処理装置５０へ送信する。なお、ファイル処理装置５０のデータ受信部５０３は、素材サーバ４０から受け取った素材データを仮想視点映像生成部２０１に提供すると共に、アクセス情報をアクセス情報付与部２０５に対して提供する。このようにすることで、新たに生成される仮想視点映像データに基づいて仮想視点映像ファイルを生成する場合においても、その生成に用いられた素材データのアクセス情報を含めることができるようになる。

　以上、第二実施形態によれば、ファイル処理装置５０が、仮想視点映像を生成するための素材データへのアクセス情報を解析し、素材データを取得する。このような方法によれば、ファイルサーバ６０を介さずに素材データを取得できるため、素材データの取得に要する時間の削減や、システム全体の負荷削減などの効果が期待できる。

　＜その他の実施形態＞
　第一及び第二実施形態では、オブジェクト（前景）の３次元形状データの構成要素（例えばボクセル）と撮影画像の構成要素（例えば画素）との位置の対応関係に基づいて、前景の３次元形状に色づけが行われるケースを想定して説明している。しかしながら、このような色づけ処理は三次元計算を伴うため、処理負荷が高い。したがって、ファイル処理装置５０としての機能をスマートフォンなどの端末によって実現することができない可能性も考えられる。そこで、例えば下記のような方式を用いることにより、スマートフォンなど処理性能が高くない端末においても仮想視点映像の生成ができるようになる。

　まず、素材サーバ４０において、あらかじめオブジェクトの３次元形状データの各構成要素の色を決定し、色つきの３次元形状データを生成する。そして、素材サーバ４０は、色つきの３次元形状データを素材データとしてファイル処理装置５０へ提供する。このようにすれば、ファイル処理装置５０の仮想視点映像生成部２０１は３次元形状データに対する色づけ処理を省略することができる。

　また、色づけ処理の省略に代えて、又は、色づけ処理の省略に加えて、画像サイズを小さくする、フレームレートを低くするなどの処理負荷の低減方法を採用しても良い。処理端末（ファイル処理装置５０）の性能や負荷状況に合わせて素材データやレンダリング方法が選択されるようにしても良い。

　また、仮想視点映像ファイルは、動画のファイルフォーマットに準拠したファイルであっても良いし、静止画のファイルフォーマットに準拠したファイルであっても良いし、イメージシーケンスのファイルフォーマットに準拠したファイルであっても良い。

　例えば、静止画データ（仮想視点静止画）とアクセス情報を含む静止画ファイルを生成し、それをファイル処理装置２０に提供されるようにしても良い。この場合、ファイル処理装置２０は、静止画データに基づく静止画を再生する。そして、所定のユーザ操作の入力に応じて、ファイル処理装置２０が素材サーバ１０から素材データを取得し、該静止画とは別のアングルに基づく静止画を生成するようにしても良い。このようにすれば、例えば、ユーザがあるアングルに基づく静止画を再生中に、別のアングルから見たいと考えたときに、アングルを変更した新たな静止画を容易に生成できるようになる。

　また、画像サイズの変更や、トリミング、及び、色調整などの画像処理を行うファイル処理装置２０に対して、画像処理の実施前の静止画へのアクセス情報を含む画像ファイルを提供しても良い。このようにすれば、オリジナルの静止画を再処理することが可能となる。また同様に、動画についても、画像サイズの変更や、フレームレートの変更、時間方向のトリミングなどの処理を行う動画処理装置に対して、画像処理の実施前の動画へのアクセス情報を含む画像ファイルを提供するようにしても良い。

　また、素材データへのアクセス情報を暗号化しても良い。図１５は、素材データへのアクセス情報を暗号化する暗号化部７００と、素材データへのアクセス情報の暗号化を解除する暗号化解除部８００を含むファイル処理装置７０の例を示している。ファイル処理装置７０は、暗号化部７００で暗号化された素材データへのアクセス情報を含む仮想視点映像ファイルを生成する。また、ファイル処理装置７０は、アクセス情報が暗号化されていることを示すために、アクセス情報フラグの特定のビットを立てる。ここでは、３１ビット目をアクセス情報フラグとして使用するものとする。一方、ファイルサーバ８０は、ファイル処理装置７０から素材データを要求された場合、素材データへのアクセス情報の解析において、アクセス情報フラグを確認し、素材データへのアクセス情報が暗号化されているか確認する。暗号化されていた場合、暗号化解除部８００に素材データへのアクセス情報の暗号化解除を要求し、暗号化が解除された素材データへのアクセス情報を取得し、素材データへアクセスする。これにより素材データへのアクセス情報の秘匿性を高め、不正なアクセスを防止することが可能となる。

　また、上述の実施形態では、ファイル処理装置２０が仮想視点映像ファイルを生成する機能と、仮想視点映像ファイルを再生する機能の両方を有している場合の例を中心に説明した。しかしながら、この例に限らない。例えば、仮想視点映像ファイルを生成する機能のみを有する第１ファイル処理装置（ファイル生成装置）と、図１のファイル処理装置２０に対応する第２ファイル処理装置が存在するようにしても良い。

　また、上述の実施形態では、ファイル処理装置２０が仮想視点映像生成部２０１とファイル生成部２０４の両方を有している場合の例を中心に説明した。しかしこれに限らない。例えば、ファイル処理装置２０は、仮想視点映像生成装置から仮想視点映像データとアクセス情報を取得し、該仮想視点映像データとアクセス情報とを含む仮想視点映像ファイルを生成するようにしても良い。また、仮想視点映像データとアクセス情報が異なる装置から取得されるようにしても良い。また、素材サーバ１０とファイルサーバ３０が一体であっても良い。このように、図１のシステム構成には種々の変形例が存在することに留意されたい。

　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

　本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

　本願は、２０１８年６月２０日提出の日本国特許出願特願２０１８－１１６８８８を基礎として優先権を主張するものであり、その記載内容の全てをここに援用する。

Claims

　複数の撮像装置が所定の撮影領域を撮影することにより得られる撮影画像と、仮想視点と、に基づいて生成される仮想視点映像データに応じた仮想視点映像ファイルを生成するファイル生成装置であって、
　仮想視点映像データの生成のための素材データの要求のために用いられるアクセス情報を取得する取得手段と、
　前記取得手段により取得されたアクセス情報と前記仮想視点映像データとを含む仮想視点映像ファイルを生成するファイル生成手段と、
　前記ファイル生成手段により生成された仮想視点映像ファイルを出力する出力手段と、を有することを特徴とするファイル生成装置。
　仮想視点の位置及び向きに関する仮想視点情報を入力する視点入力手段と、
　前記視点入力手段により入力された仮想視点情報に基づいて、前記仮想視点映像データを生成する映像生成手段と、を有することを特徴とする請求項１に記載のファイル生成装置。
　前記アクセス情報は、前記素材データを記録する記録装置のＩＰアドレス、及び、前記素材データの所在を示すＵＲＬのうち、少なくとも何れか一方を含むことを特徴とする請求項１に記載のファイル生成装置。
　前記アクセス情報は、前記素材データを格納するファイルのファイル名、及び、前記素材データを識別するための識別情報のうち、少なくとも何れか一方を含むことを特徴とする請求項１に記載のファイル生成装置。
　前記素材データは、オブジェクトの３次元形状データと、前記オブジェクトのテクスチャデータと、背景画像のテクスチャデータと、前記複数の撮像装置による撮影画像と、前記複数の撮像装置の位置及び姿勢に関する撮像装置情報と、のうち、少なくとも何れか１つを含むことを特徴とする請求項１に記載のファイル生成装置。
　前記仮想視点映像ファイルはメタデータ領域とメディアデータ領域とを含み、
　前記ファイル生成手段は、前記メタデータ領域に前記アクセス情報が記述され、前記メディアデータ領域に前記仮想視点映像データが記述された前記仮想視点映像ファイルを生成することを特徴とする請求項１に記載のファイル生成装置。
　前記取得手段は、前記素材データを記録する記録装置から前記アクセス情報を取得することを特徴とする請求項１に記載のファイル生成装置。
　前記アクセス情報は、ＩＳＯ／ＩＥＣ１４４９６－１２に基づく動画用ファイルフォーマットのムービーボックスに格納されることを特徴とする請求項１に記載のファイル生成装置。
　前記アクセス情報は、静止画用ファイルフォーマットに対応するＥｘｉｆに準拠した形式で格納されることを特徴とする請求項１に記載のファイル生成装置。
　前記アクセス情報を暗号化する暗号化手段を有し、
　前記生成手段は、前記暗号化手段により暗号化されたアクセス情報を含む仮想視点映像ファイルを生成することを特徴とする請求項１に記載のファイル生成装置。
　複数の撮像装置が所定の撮影領域を撮影することにより得られる撮影画像と、仮想視点と、に基づいて生成される仮想視点映像データに応じた仮想視点映像ファイルの処理を行う処理装置であって、
　前記仮想視点映像ファイルを取得する取得手段と、
　前記取得手段により取得された仮想視点映像ファイルに含まれる仮想視点映像データの生成のための素材データのアクセスに関するアクセス情報を、前記仮想視点映像ファイルから抽出する抽出手段と、
　前記抽出手段により抽出された前記アクセス情報を用いることによって、前記素材データの取得を要求する要求手段と、
　前記要求手段による要求に基づいて取得された素材データを用いることによって、前記仮想視点映像ファイルに格納された仮想視点映像データとは異なる仮想視点に基づく他の仮想視点映像データを生成する生成手段と、を有することを特徴とする処理装置。
　前記仮想視点映像ファイルを提供するファイルサーバと、前記素材データを提供する素材サーバとは異なることを特徴とする請求項１１に記載の処理装置。
　前記取得手段により取得された前記仮想視点映像ファイルに含まれる仮想視点映像データを再生する再生手段と、
　前記再生手段による前記仮想視点映像データの再生画面上に表示される所定領域に対するユーザ操作を受け付ける受付手段と、を有し、
　前記要求手段は、前記受付手段による前記ユーザ操作の受け付けに応じて、前記素材データの取得を要求することを特徴とする請求項１１に記載の処理装置。
　複数の撮像装置が所定の撮影領域を撮影することにより得られる撮影画像と、仮想視点と、に基づいて生成される仮想視点映像データに応じた仮想視点映像ファイルを生成するファイル生成方法であって、
　仮想視点映像データの生成のための素材データの要求のために用いられるアクセス情報を取得する取得工程と、
　前記取得工程により取得されたアクセス情報と前記仮想視点映像データとを含む仮想視点映像ファイルを生成するファイル生成工程と、
　前記ファイル生成工程により生成された仮想視点映像ファイルを出力する出力工程と、を有することを特徴とするファイル生成方法。
　複数の撮像装置が所定の撮影領域を撮影することにより得られる撮影画像と、仮想視点と、に基づいて生成される仮想視点映像データに応じた仮想視点映像ファイルを処理する処理方法であって、
　前記仮想視点映像ファイルを取得する取得工程と、
　前記取得工程により取得された仮想視点映像ファイルに含まれる仮想視点映像データの生成のための素材データのアクセスに関するアクセス情報を、前記仮想視点映像ファイルから抽出する抽出工程と、
　前記抽出工程により抽出された前記アクセス情報を用いることによって、前記素材データの取得を要求する要求工程と、
　前記要求工程による要求に基づいて取得された素材データを用いることによって、前記仮想視点映像ファイルに格納された仮想視点映像データとは異なる仮想視点に基づく他の仮想視点映像データを生成する生成工程と、を有することを特徴とする処理方法。
　複数の撮像装置が所定の撮影領域を撮影することにより得られる撮影画像と、仮想視点と、に基づいて生成される仮想視点映像データに応じた仮想視点映像ファイルを生成するファイル生成方法を実行するためのプログラムが記憶された、コンピュータが読み取り可能な記憶媒体であって、前記ファイル生成方法は、
　仮想視点映像データの生成のための素材データの要求のために用いられるアクセス情報を取得する取得工程と、
　前記取得工程により取得されたアクセス情報と前記仮想視点映像データとを含む仮想視点映像ファイルを生成するファイル生成工程と、
　前記ファイル生成工程により生成された仮想視点映像ファイルを出力する出力工程と、を有する。
　複数の撮像装置が所定の撮影領域を撮影することにより得られる撮影画像と、仮想視点と、に基づいて生成される仮想視点映像データに応じた仮想視点映像ファイルを処理する処理方法を実行するためのプログラムが記憶された、コンピュータが読み取り可能な記憶媒体であって、前記処理方法は、
　前記仮想視点映像ファイルを取得する取得工程と、
　前記取得工程により取得された仮想視点映像ファイルに含まれる仮想視点映像データの生成のための素材データのアクセスに関するアクセス情報を、前記仮想視点映像ファイルから抽出する抽出工程と、
　前記抽出工程により抽出された前記アクセス情報を用いることによって、前記素材データの取得を要求する要求工程と、
　前記要求工程による要求に基づいて取得された素材データを用いることによって、前記仮想視点映像ファイルに格納された仮想視点映像データとは異なる仮想視点に基づく他の仮想視点映像データを生成する生成工程と、を有する。