JP7297439B2 - ファイル生成装置及びファイル生成方法、画像生成装置及び画像生成方法、並びにプログラム - Google Patents

Description

本発明は、付加情報を付与した仮想視点画像を生成するための技術に関する。

昨今、複数のカメラを異なる位置に設置して、その複数のカメラ（以下、実カメラ）で撮影した映像を用いて、３次元の仮想空間内に設定したカメラ（以下、仮想カメラ）からの映像を再現する技術として、仮想視点映像生成技術がある（特許文献１）。

特開２０１５－４５９２０号公報

しかしながら、特許文献１の仮想視点映像生成装置では、視聴者に仮想視点映像を提供する際に、仮想視点映像に仮想的な付加情報（例えば、仮想的な広告、或いは仮想視点映像に写る選手に関する情報等）を表示することについて検討されていない。付加情報として仮想的な広告（以下、仮想広告という）を表示することを想定する場合、特許文献１の仮想視点映像生成装置では、仮想広告を表示することについて検討されていない。そのため、仮想視点映像を提供（表示）する際に、広告主は宣伝機会を失ってしまうこととなる。また、撮影した映像において選手等の特定のオブジェクトにピントが合わせられると、現実空間に設置される付加情報（例えば、広告看板、或いは応援旗等）が撮影された領域については、ピントが甘く、不明瞭な画像になる恐れがある。現実空間に設置される広告（以下、実広告ともいう）を使用する場合、仮想視点映像における実広告に対応する領域が不明瞭であると、仮想視点映像の視聴者が実広告の内容を認識できない恐れがある。この場合も、広告主は宣伝機会を失ってしまうこととなる。

本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、仮想視点画像を表示する際に、付加情報を付与した仮想視点画像を表示できるようにすることである。

本発明のファイル生成装置は、複数の撮影装置から得られる複数の撮影画像に基づく仮想視点画像の生成に使用される素材情報を取得する第１の取得手段と、前記素材情報に基づいて生成される仮想視点画像内に表示される表示情報を特定するための付加情報を取得する第２の取得手段と、前記表示情報を含む仮想視点画像を生成するためのファイルであって、取得した前記第１の取得手段により取得された前記素材情報と、前記第２の取得手段により取得された前記付加情報を含むファイルを生成するファイル生成手段とを有し、前記素材情報は、前記複数の撮影装置それぞれの位置および向きを特定するための情報を含み、前記複数の撮影装置の位置及び向きは互いに異なる、ことを特徴とする。

本発明によれば、仮想視点画像を表示する際に、付加情報を付与した仮想視点画像を表示することができる。

映像生成システムの構成を示す図である。 広告データベースの構成を示す図である。 仮想広告モデル情報を設定するＧＵＩを示す図である。 仮想視点映像上の広告貼り付け領域を示す図である。 動画ファイル生成装置の構成を示す図である。 ＩＳＯ ＢＭＦＦ規格におけるボックスの構成を示す図である。 映像生成装置の構成を示す図である。 各種情報を動画ファイルに付与する処理の手順を示すフローチャートである。 動画ファイルにおけるカメラパラメータのフォーマットを示す図である。 動画ファイルにおける複数の撮影画像に関する情報のフォーマットを示す図である。 動画ファイルにおける背景モデル情報のフォーマットを示す図である。 動画ファイルにおける仮想広告情報のフォーマットを示す図である。 仮想広告情報を付与した仮想視点映像を生成する処理の手順を示すフローチャートである。 動画ファイル生成装置の構成を示す図である。 実広告情報を動画ファイルに付与する処理の手順を示すフローチャートである。 動画ファイルにおける実広告情報のフォーマットを示す図である。 ハードウェア構成図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は、本発明を限定するものではなく、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。その他、本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれ、また、以下の実施形態の一部を適宜組み合わせることもできる。加えて、各実施形態において生成される仮想視点画像は、動画（映像）であっても、静止画であってもよい。そこで、以下では、仮想視点画像として、仮想視点映像を例に説明するものとする。

［実施形態１］
本実施形態では、仮想視点映像を生成するための素材情報と、付加情報として仮想広告情報を動画ファイルに付与する方法、及びそのファイルを用いて仮想広告を付与した仮想視点映像を生成し、表示する方法について説明する。なお、以下の実施形態においては、付加情報として広告に関する情報を動画ファイルに付与する例について説明するが、付与する付加情報は広告に関する情報に限らない。付加情報は、例えば、仮想視点映像に写る選手に関する情報、或いは試合に関する情報でもよい。

＜システム構成＞
図１は、本実施形態に係る画像生成システム（以下、映像生成システム）の構成を示す図である。本実施形態に係る映像生成システムは、図１に示されるように、撮影装置１、広告データベース２、動画ファイル生成装置３、映像生成装置４、表示装置５を備える。

撮影装置１は、複数の実カメラを含み、これらの実カメラは各々、異なる方向から被写体（オブジェクト）を撮影する。実カメラの各々は個体を識別するためのカメラ番号を有し、カメラパラメータや撮影した映像を動画ファイル生成装置３に送信する。

なお、カメラパラメータは外部パラメータと内部パラメータを含み、外部パラメータは実カメラの位置と姿勢の情報、内部パラメータは実カメラの焦点距離とイメージセンサの中心座標の情報とする。また、本実施形態では、レンズ歪について考慮しないが、必要に応じてレンズ歪を考慮したパラメータを用いてもよい。

広告データベース２は、不図示の広告主や広告制作者等によって作成された仮想広告情報を受信し、その仮想広告情報を保存する。また、広告データベース２は、動画ファイル生成装置３からの要求により、仮想広告情報を送信する。なお、仮想広告情報の詳細は、後述する。

動画ファイル生成装置３は、画像ファイル生成装置の一例であり、撮影装置１から撮影画像と全ての実カメラのカメラパラメータを受信し、それらを保存する。また、動画ファイル生成装置３は、広告データベース２から仮想広告情報を取得する。動画ファイル生成装置３は、さらに、仮想視点映像生成に用いる素材情報と仮想広告情報を付与した動画ファイルを生成し、映像生成装置４に配信する。

映像生成装置４は、動画ファイルに付与された素材情報と仮想広告情報に基づいて、仮想広告を付与した仮想視点映像を生成し、表示装置５に送信する。表示装置５は、映像生成装置４から送信された仮想視点映像を受信し、不図示のディスプレイ等に表示する。

次に、図２を用いて、広告データベース２の構成について説明する。図２に示されるように、広告データベース２は、広告情報受信部２００、広告情報蓄積部２１０、広告情報送信部２２０を備える。

広告情報受信部２００は、不図示の広告主、又は広告主から広告制作を依頼された広告制作者から仮想広告情報を受信し、広告情報蓄積部２１０に送信する。仮想広告情報は、広告ＩＤ、広告主、広告制作者、競技名、競技場名、試合日、表示時間、表示開始時刻、表示終了時刻、有効期限等の情報を含む。また、仮想広告情報は、広告モデルデータ、広告マテリアルデータ、表示効果、仮想視点依存性、仮想視点映像上の広告貼り付け領域、優先度等の情報を含む。

広告ＩＤは、仮想広告情報を識別するためのＩＤである。広告主は、仮想広告情報の所有者を識別する名前である。広告制作者は、広告主から広告制作の依頼を受け、仮想広告情報を制作する会社又は個人を識別する名前である。競技名は、例えば、サッカーや野球等の競技を識別する名称である。競技場名は、競技場を識別するための名称である。試合日は、サッカーや野球等の試合が開催される日である。

表示時間は、画面上に仮想広告が表示される時間である。表示開始時刻は仮想広告の表示を開始する時刻であり、表示終了時刻は仮想広告の表示を終了する時刻である。即ち、仮想広告は、表示開始時刻から表示終了時刻までの表示時間だけ表示される。有効期限は、仮想広告が表示される最終日に関する情報である。この最終日を徒過すると、仮想広告に関する情報は、動画ファイル生成装置３に送信されない。

広告モデルデータと広告マテリアルデータは、実際に、仮想視点映像上に表示される仮想広告の形状情報と色情報に関するデータである。以下、各々のデータについて、説明を補足する。

広告モデルデータは、仮想広告の３次元形状情報であり、一般的なＣＧモデリングツールで作成される。表現形式は、コンピュータグラフィックスで用いられる３次元モデルと同様であり、データ形式は、一般的に普及しているフォーマット、例えば、ｏｂｊ形式である。なお、広告モデルデータは、このフォーマットで記載されたデータであっても、また、このフォーマットで記載されたファイルのパス情報であってもよい。

広告マテリアルデータは、広告モデルの色データやテクスチャデータを示す情報であり、広告モデルデータと同様に、一般的なＣＧモデリングツールで作成される。データ形式は、例えば、ｍｔｌ形式である。なお、広告マテリアルデータは、このフォーマットで記載されたデータであっても、また、このフォーマットで記載されたファイルのパス情報であってもよい。

その他、ＣＧモデリングツールの代わりに、例えば、図３に示すようなＧＵＩを操作することで広告モデルデータと広告テクスチャデータを広告データベース２に登録することもできる。

図３において、符号３００は不図示のディスプレイに表示される表示画面、符号３１０はサッカーのグラウンドを模している。また、符号３２０はゴールラインに沿って設置される板状の仮想看板、符号３２１はサイドライン（タッチライン）に沿って設置される板状の仮想看板、符号３３０はコーナーポスト付近に設置される円柱形状の仮想看板を模している。

広告主又は広告制作者は、仮想看板３２０、３２１、３３０を不図示の入力デバイスで選択することで、幾何学的な形状の広告モデルデータを登録することができる。また、上述のＣＧモデリングツールで作成した任意の広告モデルを、グラウンド３１０の周囲の任意の３次元位置に表示されるように登録してもよい。その他、例えば、符号３４０に示すテキストボックスに画像ファイルの格納場所を示す情報を入力することで、広告テクスチャデータを登録してもよい。

表示効果は、仮想広告表示におけるアニメーションや点滅等の表示効果に関する情報である。仮想視点依存性は、仮想視点が変更されても仮想広告を仮想視点映像上に表示し続ける仮想視点非依存表示と、仮想視点が変更され、広告モデルが仮想カメラの画角外になると仮想広告を表示しないようにする仮想視点依存表示を識別する情報である。

仮想視点非依存表示が選択されている場合、広告主又は広告制作者は、例えば、図４に示すような模式図等を用いて、仮想視点映像上に仮想広告が表示される位置を選択する。図４において、符号４００は仮想視点映像が表示される画面、符号４１０は仮想視点映像が表示される領域、符号４２０及び符号４２１は仮想視点映像上の広告貼り付け領域である。

広告主又は広告制作者は、仮想視点映像上の広告貼り付け領域４２０又は４２１を選択することで、仮想視点映像の下部に仮想広告を表示するか、右上部に仮想広告を表示するかを選択することができる。なお、仮想視点映像上の広告貼り付け領域としては、符号４２０、符号４２１に示す領域以外の領域であってもよい。優先度は、異なる広告の表示が重なった場合にどちらの広告を優先して表示するかを判定するために用いられる。優先度は、例えば、広告料に応じて決定される。

図２に戻り、広告情報蓄積部２１０は、広告情報受信部２００から仮想広告情報を受信すると、その受信した仮想広告情報に広告ＩＤを付与してデータベースに保存（蓄積）する。なお、データベースに関して、ＳＱＬ等の既存の手法で構築すればよい。また、この場合、テーブルに上述の仮想広告情報を保存することになるが、検索等の処理（操作）が可能であれば、いかなる定義であってもよい。

広告情報送信部２２０は、動画ファイル生成装置３からの要求に応じて、広告情報蓄積部２１０から仮想広告情報を取得し、動画ファイル生成装置３に送信する。なお、この場合、広告情報蓄積部２１０は、上述の広告情報（例えば、広告ＩＤ等）をキーとしてデータベースから仮想広告情報を検索し、さらに、その検索した仮想広告情報を広告情報送信部２２０に送信する。

次に、動画ファイル生成装置３の構成について、図５を用いて説明する。図５に示されるように、動画ファイル生成装置３は、撮影情報取得部５１０、素材情報蓄積部５２０、仮想広告情報取得部５３０、動画ファイル生成部５４０、動画ファイル配信部５５０を備える。

撮影情報取得部５１０は、撮影装置１から、撮影情報として、複数の撮影画像（複数カメラ画像）と全ての実カメラのカメラパラメータを取得する。全ての実カメラは共通（同一）の時刻情報で同期され、また、撮影した画像には撮影時刻情報が付与される。なお、カメラパラメータは画像と併せて送信してもよいし、撮影前や必要に応じて画像とは別に送信してもよい。

素材情報蓄積部５２０は、素材情報取得手段を備え、撮影情報取得部５１０から複数の撮影画像と全ての実カメラのカメラパラメータを取得（受信）すると、それらを保存（蓄積）する。素材情報蓄積部５２０は、さらに、仮想視点映像の背景画像生成時に用いるスタジアム等の３次元モデルを背景モデル情報として保存する。なお、背景モデル情報に関しても、仮想広告情報の広告モデルや広告テクスチャと同様に、一般的に普及しているフォーマットであればよく、例えば、形状情報はｏｂｊ形式であり、また、色情報やテクスチャ情報はｍｔｌ形式である。

仮想広告情報取得部５３０は、付加情報取得手段の一例であり、広告データベース２から動画ファイルに付与する仮想広告情報を取得し、その取得した仮想広告情報を動画ファイル生成部５４０に送信する。動画ファイル生成部５４０は、仮想広告情報を付与した仮想視点映像を生成するための動画ファイルを生成し、その生成した動画ファイルを動画ファイル配信部５５０に送信する。なお、動画ファイルには、全ての実カメラのカメラパラメータ、ユーザが指定した時間の複数の撮影画像、背景モデル情報、仮想広告情報が付与される。動画ファイル配信部５５０は、動画ファイルを映像生成装置４に配信する。

ここで、動画ファイルの規格がＩＳＯ／ＩＥＣ １４４９６－１２（ＭＰＥＧ－４ Ｐａｒｔ１２） ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｏｒｍａｔ（以下、ＩＳＯ ＢＭＦＦ）規格である場合に、これらの情報を付与する方法について説明する。なお、記載している情報が同義であれば、フォーマットは他の記載方法であってもよい。

以下、先ず、ＩＳＯ ＢＭＦＦ規格について説明する。ＩＳＯ ＢＭＦＦ規格において、動画ファイルは、ボックスと呼ばれる基本単位から構成される。各ボックスには、図６（ａ）に示されるように、サイズ、タイプ、データに関する情報が格納される。

なお、ボックスに関して、図６（ｂ）に示されるように、入れ子構造で格納することもできる。また、代表的なボックスの種類としてｆｔｙｐ（Ｆｉｌｅ Ｔｙｐｅ Ｃｏｍｐａｔｉｂｉｌｉｔｙ Ｂｏｘ）、ｍｏｏｖ（Ｍｏｖｉｅ Ｂｏｘ）、ｍｅｔａ等がある。

ｆｔｙｐボックスはファイルの先頭に配置され、ｆｔｙｐボックスにはファイルの再生互換性を示すブランド情報が格納される。ｍｏｏｖボックスには、データのフレームサイズ、格納位置を示すアドレス情報、及び撮影時刻等のヘッダ情報が格納される。補足として、コンテンツの長さに比例してｍｏｏｖボックスのサイズが増加し、再生までの待ち時間が長くなることから、ＩＳＯ ＢＭＦＦ規格では、コンテンツを任意の区間に分割した単位毎にヘッダ情報を付加する形式ｍｏｏｆボックスも用意されている。ｍｅｔａボックスには、メタ情報が格納される。これらの情報が格納された動画ファイルが解析されると、ｍｏｏｖボックス又はｍｏｏｆボックスが参照され、そして、所望の時刻に相当するフレームの格納アドレスが特定され、さらに、その特定したアドレスに基づいて、フレームデータが取得される。

次に、映像生成装置４の構成について、図７を用いて説明する。映像生成装置４は、動画ファイル生成装置３で生成された動画ファイルを受信すると、仮想視点映像を生成し、さらに、その生成した仮想視点映像を表示装置５に送信する。図７に示されるように、映像生成装置４は、動画ファイル取得部７００、素材情報読込部７１０、広告情報読込部７２０、仮想視点映像生成部７３０を備える。

動画ファイル取得部７００は、画像ファイル取得手段の一例であり、動画ファイル生成装置３で生成した動画ファイルを取得し、素材情報読込部７１０と広告情報読込部７２０に送信する。素材情報読込部７１０は、動画ファイルを解析し、全ての実カメラのカメラパラメータ、複数の撮影画像、背景モデル情報を読み込む。広告情報読込部７２０は、付加情報読込手段の一例であり、受信した動画ファイルから仮想広告情報を読み込み、仮想視点映像生成部７３０に送信する。

仮想視点映像生成部７３０は、全ての実カメラのカメラパラメータ、複数の撮影画像、背景モデル情報、仮想広告情報を用いて、仮想広告情報を付与した仮想視点映像を生成し、表示装置５に送信する。表示装置５は、映像生成装置４で生成された、仮想広告情報を付与した仮想視点映像を受信し、不図示のディスプレイに出力する。

＜処理フロー＞
次に、図８のフローチャートを用いて、全ての実カメラのカメラパラメータ、複数の撮影画像、背景モデル情報、仮想広告情報を動画ファイルに付与する方法とその処理の手順について説明する。なお、フローチャートの説明における記号「Ｓ」は、ステップを表すものとする。この点、以降のフローチャートの説明においても同様とする。

（Ｓ８００）
Ｓ８００において、動画ファイル生成装置３の動画ファイル生成部５４０は、不図示のユーザから、動画ファイル生成の開始指示と仮想視点映像を生成する開始時刻及び終了時刻の情報を受信する。

具体的には、動画ファイル生成部５４０は、先ず、ユーザが仮想視点映像を生成したい時間を指定できるように、素材情報蓄積部５２０に保存されている任意の実カメラの映像を不図示の視聴環境に配信する。動画ファイル生成部５４０は、次に、ユーザにより入力された映像生成開始時刻及び終了時刻と動画ファイルを生成するフレーム数に関する情報を受信する。

そして、動画ファイル生成部５４０は、動画ファイルを生成する。この場合において、動画ファイルをフレーム毎に生成するとき、動画ファイル生成部５４０は、開始時刻に関する情報を受信すると、終了指示を受信するまで、毎フレーム、動画ファイルを生成し続ける。或いは、複数フレームを纏めて動画ファイルを生成するとき、動画ファイル生成部５４０は、開始時刻及び終了時刻に関する情報を受信すると、その間の動画ファイルを１つ生成する。

また、動画ファイル生成の開始指示を受信すると、動画ファイル生成部５４０は、ｆｔｙｐに、ブランド情報として、例えば、ｆｖｐｍという文字列を記載し、動画ファイルに仮想視点映像生成用の情報が保存されていることを明記する。

（Ｓ８１０）
Ｓ８１０において、動画ファイル生成部５４０は、素材情報蓄積部５２０から実カメラの各々に関してカメラパラメータを取得し、動画ファイルに付与する。ここで、図９を用いて、実カメラのカメラパラメータを記載するフォーマットについて説明を補足する。

カメラパラメータは、ＩＳＯ ＢＭＦＦ規格のｍｅｔａボックスに記載される。図９に示されるように、ｍｅｔａ情報には、データ種別とカメラ台数に関する情報を記載する。データ種別には、カメラパラメータであることを示す情報として、ｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒという文字列を記載する。カメラ台数には、実カメラのカメラ台数を記載する。

ｄａｔａ情報には、実カメラのカメラ台数分の外部パラメータと内部パラメータを記載する。例えば、実カメラがＮ台ある場合、１台目の実カメラの外部パラメータと内部パラメータを表現する行列の全要素の値を記載する。続けて、２台目の実カメラの外部パラメータと内部パラメータを表現する行列の全要素の値を記載する。以下、続けて、Ｎ台目までの外部パラメータと内部パラメータを同様に記載する。

（Ｓ８２０）
Ｓ８２０において、動画ファイル生成部５４０は、素材情報蓄積部５２０から、仮想視点映像を生成する上での開始時刻から終了時刻までの複数の撮影画像に関する情報を取得し、動画ファイルに付与する。ここで、図１０を用いて、複数の撮影画像に関する情報を記載するフォーマットについて説明を補足する。

複数フレームを纏めて動画ファイルを生成する場合、複数の撮影画像に関する情報を、ＩＳＯ ＢＭＦＦ規格のｍｏｏｖボックス又はｍｏｏｆボックスとして記載する。この場合、ｍｏｏｖ情報又はｍｏｏｆ情報には、カメラ画像の幅、カメラ画像の高さ、実カメラの台数、カメラ画像の総フレーム数、撮影開始時刻と撮影終了時刻の情報を記載する。

ｍｏｏｖボックスの場合、ｄａｔａ情報にはフレーム毎に全ての実カメラのカメラ画像の画素情報が記載される。また、ｍｏｏｆボックスの場合、ｄａｔａ情報には１フレーム分の全ての実カメラのカメラ画像の情報を１つのファイルに記載する。フレーム毎に動画ファイルを生成する場合、動画ファイル生成部５４０は、ｍｏｏｆボックスとして同様に記載する。

（Ｓ８３０）
Ｓ８３０において、動画ファイル生成部５４０は、素材情報蓄積部５２０から、仮想視点映像生成の背景画像生成時に用いる背景モデル情報を取得し、動画ファイルに付与する。ここで、図１１を用いて、背景モデル情報を記載するフォーマットについて説明を補足する。

背景モデル情報も、ＩＳＯ ＢＭＦＦ規格のｍｅｔａボックスに記載される。ｍｅｔａ情報には、データ種別に関する情報を記載する。データ種別には、背景モデル情報であることを示す情報として、ｂａｃｋｇｒｏｕｎｄ＿ｍｏｄｅｌという文字列を記載する。ｄａｔａ情報には、背景モデルのｏｂｊ形式のファイルの保存先を示す情報（ｏｂｊ ｆｉｌｅ ｐａｔｈ）とｍｔｌ形式のファイルの保存先を示す情報（ｍｔｌ ｆｉｌｅ ｐａｔｈ）を記載する。或いは、これらのファイルの中身をそのまま記載してもよい。

（Ｓ８４０）
Ｓ８４０において、仮想広告情報取得部５３０は、広告データベース２から仮想広告情報を取得し、動画ファイル生成部５４０に送信する。動画ファイル生成部５４０は、受信した仮想広告情報を動画ファイルに付与する。仮想広告情報取得部５３０は、競技名、競技場名、試合日、有効期限に基づいて、広告データベース２から仮想広告情報を取得する。

以下、具体的に説明する。ユーザが動画ファイル生成装置３を起動するとき、素材情報蓄積部５２０に、撮影する競技の名称、競技場の名称、競技が開催される試合日に関する情報を登録する。仮想広告情報取得部５３０は、素材情報蓄積部５２０に登録されている試合日に関する情報の試合日と同じ試合日であって、かつ、同じ競技の名称、同じ競技場の名称に関する仮想広告情報を広告データベース２から取得する。なお、この場合、有効期限を徒過している仮想広告情報は、取得しないようにする。

次に、図１２を用いて、動画ファイル生成部５４０が仮想広告情報を動画ファイルに付与するためのフォーマットについて説明を補足する。仮想広告情報も、ＩＳＯ ＢＭＦＦ規格のｍｅｔａボックスに記載される。ｍｅｔａ情報には、データ種別、広告数、各広告情報のデータサイズ、広告データベースのアドレスに関する情報を記載する。

データ種別には、仮想広告情報であることを示す情報として、ｖｉｒｔｕａｌ＿ａｄｖｅｒｔｉｓｉｎｇという文字列を記載する。広告数には、付与された広告の数を記載する。データサイズには、広告毎に（広告数分）、広告のデータサイズを記載する。広告データベースアドレスには、広告データベース２に接続するためのアドレス情報として、例えば、ＵＲＬ等を記載する。

なお、広告データベースアドレス情報がない場合、ｄａｔａ情報には、広告情報として、広告ＩＤ、広告主、広告制作者、競技名、競技場名、試合日、表示時間、表示開始時刻、表示終了時刻を記載する。さらに、ｄａｔａ情報には、広告情報として、有効期限、広告モデルデータ、広告マテリアルデータ、表示効果、仮想視点依存性、仮想視点映像上の広告貼り付け領域、優先度の情報を記載する。また、広告データベースアドレス情報がある場合（即ち、広告データベースアドレスにＵＲＬが記載される場合）、ｄａｔａ情報には、広告ＩＤのみを記載する。このように広告ＩＤのみを記載した場合、仮想広告情報を表示するとき、そのアドレス情報を用いて広告データベース２にアクセスし、その広告ＩＤの仮想広告情報を取得する。

（Ｓ８５０）
Ｓ８５０において、動画ファイル生成部５４０は、動画ファイル配信部５５０に、生成した動画ファイルを送信する。そして、動画ファイル配信部５５０は、映像生成装置４にその動画ファイルを配信する。

続いて、図１３のフローチャートを用いて、上述の動画ファイルを用いて、仮想広告情報を付与した仮想視点映像を生成する方法とその処理の手順について説明する。

（Ｓ１３００）
Ｓ１３００において、映像生成装置４の動画ファイル取得部７００は、動画ファイル生成装置３から動画ファイルを取得する。そして、動画ファイル取得部７００は、動画ファイルを解析し、その動画ファイルの種類、全ての実カメラのカメラパラメータ、複数の撮影画像、背景モデル情報、仮想広告情報を読み込む。最初に、不図示の視聴者は、複数フレームを纏めて動画ファイルを生成するのか、動画ファイルをフレーム毎に生成するのかを選択する。

複数フレームを纏めて動画ファイルを生成する場合、視聴者は、仮想視点映像を生成するシーンの開始時刻と終了時刻を設定する。開始時刻と終了時刻を設定するため、動画ファイル取得部７００は、視聴者が指定した時刻の任意の実カメラ画像を動画ファイル生成装置３から取得し、不図示のディスプレイ等に表示する。視聴者は、その表示された画像を視聴しながら、仮想視点映像を生成するシーンの開始時刻と終了時刻を設定する。

動画ファイル取得部７００は、視聴者による動画ファイル生成の開始指示、及び開始時刻と終了時刻に関する情報を動画ファイル生成装置３に送信し、動画ファイル生成装置３により生成された、仮想広告情報が付与された動画ファイルを受信する。そして、動画ファイル取得部７００は、受信した動画ファイルを素材情報読込部７１０と広告情報読込部７２０に送信する。

また、フレーム毎に動画ファイルを生成する場合、動画ファイル取得部７００は、視聴者による動画ファイル生成の開始指示及び開始時刻に関する情報を送信し、動画ファイル生成装置３により生成された、仮想広告情報が付与された動画ファイルを受信する。動画ファイル取得部７００は、終了指示を送信するまで、生成された動画ファイルを受信し続け、受信した動画ファイルを素材情報読込部７１０と広告情報読込部７２０に送信する。

（Ｓ１３１０）
Ｓ１３１０において、素材情報読込部７１０は、動画ファイルを走査し、ｆｔｙｐボックスに記載された文字列がｆｖｐｍであることを確認する。素材情報読込部７１０は、ｆｔｙｐボックスに記載された文字列がｆｖｐｍでなければ、ファイルの読み込みを中止し、ｆｔｙｐボックスに記載された文字列がｆｖｐｍであれば、ファイルの読み込みを継続する。

素材情報読込部７１０は、その動画ファイルを走査し、ボックスの種類がｍｅｔａボックスであり、ｍｅｔａ情報のデータ種別に記載されている文字列がｃａｍｅｒａ＿ｐａｒａｍｅｔｅｒであれば、実カメラのカメラパラメータを読み込む。この場合、実カメラのカメラ台数をｍｅｔａ情報から読み込み、実カメラのカメラ台数分の外部パラメータと内部パラメータをｄａｔａ情報から読み込む。

また、素材情報読込部７１０は、その動画ファイルを走査し、ボックスの種類がｍｏｏｖボックス又はｍｏｏｆボックスの場合、複数の撮影画像に関する情報を読み込む。なお、複数カメラ画像情報を読み込むために用いる、画像の幅と高さ、カメラ台数、フレーム数に関する情報は、ｍｏｏｖボックス又はｍｏｏｆボックスから取得される。素材情報読込部７１０は、これらの情報に基づいて、ｄａｔａ情報からフレーム毎にカメラ台数分の画像を画素数（即ち、画像幅×高さ）分切り出し、複数カメラ画像情報を読み込む。

素材情報読込部７１０は、複数カメラ画像情報の読み込みが完了すると、その複数カメラ画像情報に基づいて、仮想視点映像の生成に用いる被写体モデルを生成する。被写体モデルは、形状情報と色情報を含む。また、これらの情報を生成する処理は、主に、被写体モデルの３次元形状を推定する処理と、その３次元形状の色を推定する処理を含む。以下、各々の処理について説明する。

素材情報読込部７１０は、被写体モデルの３次元形状を推定するために、先ず、実カメラ画像の各々から被写体領域を推定する。この被写体領域は、例えば、被写体モデルを撮影した撮影画像から予め撮影した背景画像との差分を算出し、その差分が所定の閾値以上である領域を被写体領域として推定する背景差分法等の一般的な手法で推定される。

そして、素材情報読込部７１０は、全ての実カメラの被写体領域とカメラパラメータを用いて、被写体モデルの３次元形状を推定する。３次元形状の推定には、例えば、Ｖｉｓｕａｌ Ｈｕｌｌ手法等を用いる。本実施形態では、この被写体モデルの形状を３次元点群（３次元座標を有する点の集合）で表現する。

続いて、３次元点群を構成する各点の色を推定する。色を推定するために、先ず、実カメラから被写体表面までの距離を画素値とする距離画像を生成する。次に、各点に関して、各カメラ座標系に変換することで取得される距離値と距離画像上に投影した画素の画素値（距離）を比較し、所定の閾値以下であれば、その実カメラから見えるものとして判定する。そして、その見えるものと判定された全てのカメラにおいて投影先の画素の色を算出し、その算出した画素の平均を、その点の色として推定する。これらの処理により、各点に色が付いた被写体モデルを取得できる。

また、素材情報読込部７１０は、その動画ファイルを走査し、ボックスの種類がｍｅｔａボックスであり、ｍｅｔａ情報のデータ種別に記載された文字列がｂａｃｋｇｒｏｕｎｄ＿ｍｏｄｅｌであれば、背景モデル情報を読み込む。この場合、ｄａｔａ情報に記載されているｏｂｊ形式のファイルとｍｔｌ形式のファイルのパスを読み込み、背景モデル情報（背景モデルの形状情報及び背景モデルの色情報）を取得する。

背景モデルの形状情報は、ｏｂｊ形式のファイルを読み込むことで取得される。また、背景モデルの色情報は、ｍｔｌ形式のファイルを読み込むことで取得される。なお、背景モデルのｍｔｌ形式のファイルがない場合、背景画像から背景モデルにマッピングするテクスチャを生成し、色情報としてもよい。テクスチャを生成するために、先ず、背景モデルの形状情報に基づいて各面の法線を算出し、その算出した各面の法線と実カメラの向きを比較することで、最も正対する実カメラを選択する。そして、その実カメラの背景画像に面を構成する３頂点を投影し、その３頂点により形成される三角形内の画像を各面のテクスチャとする。

素材情報の読み込みが終了し、さらに、被写体モデルの形状情報と色情報の推定が終了すると、素材情報読込部７１０は、実カメラの外部パラメータと内部パラメータ、複数の撮影画像、被写体モデル、背景モデルの情報を仮想視点映像生成部７３０に送信する。

（Ｓ１３２０）
Ｓ１３２０において、広告情報読込部７２０は、動画ファイルを走査し、仮想広告情報を読み込み、広告モデルデータを仮想視点映像生成部７３０に送信する。広告情報読込部７２０は、最初に、ｆｔｙｐボックスに記載された文字列がｆｖｐｍであることを確認する。広告情報読込部７２０は、ｆｔｙｐボックスに記載された文字列がｆｖｐｍでなければ、ファイルの読み込みを中止し、ｆｔｙｐボックスに記載された文字列がｆｖｐｍであれば、ファイルの読み込みを継続する。

広告情報読込部７２０は、その動画ファイルを走査し、ボックスの種類がｍｅｔａボックスであり、ｍｅｔａ情報のデータ種別に記載されている文字列がｖｉｒｔｕａｌ＿ａｄｖｅｒｔｉｓｉｎｇであれば、仮想広告情報を読み込む。なお、ｍｅｔａ情報に広告データベースアドレス情報がない場合、ｄａｔａ情報に記載されている広告ＩＤ、広告主、広告制作者、競技名、競技場名、試合日、表示時間、表示開始時刻、表示終了時刻、有効期限の情報を仮想広告情報として読み込む。さらに、ｄａｔａ情報に記載されている広告モデルデータ、広告マテリアルデータ、表示効果、仮想視点依存性、仮想視点映像上の広告貼り付け領域、優先度の情報を仮想広告情報として読み込む。また、広告情報読込部７２０は、広告データベースアドレスに広告データベース２のＵＲＬが記載されている場合、そのＵＲＬで広告データベース２にアクセスし、ｄａｔａ情報に記載されている広告ＩＤの仮想広告情報を取得する。

広告情報読込部７２０は、このようにして仮想広告情報を読み込むと、広告モデルデータを生成する。なお、広告モデルも被写体モデルや背景モデルと同様に、形状情報と色情報を含む。広告モデルの形状は、広告モデルデータとして得られたｏｂｊ形式のファイルを読み込むことで取得される。また、広告モデルの色情報は、広告マテリアルデータとして得られたｍｔｌ形式のファイルを読み込むことで取得される。

（Ｓ１３３０）
Ｓ１３３０において、仮想視点映像生成部７３０は、全ての実カメラのカメラパラメータ、複数の撮影画像、被写体モデル、背景モデル、広告モデル、仮想カメラのパラメータに関する情報を用いて、広告情報を付与した仮想視点映像を生成する。なお、映像生成装置４により生成された仮想視点映像は、表示装置５に送信され、ディスプレイ等に表示される。また、仮想カメラのパラメータは任意の実カメラと同じでもよいし、任意の視点位置、視線ベクトル、画角を設定してもよい。

以下、上述の情報から仮想視点映像を生成する方法（仮想視点映像の生成方法）について説明を補足する。ここで、仮想視点映像の生成方法は、広告情報の仮想視点依存性に関する情報に応じて変更される。

仮想視点に依存する場合、背景モデル、被写体モデル、広告モデルを一般的なＣＧ手法でレンダリングすることで、仮想視点映像を生成することができる。その他、広告情報の表示効果として、例えば「点滅表示、表示間隔ｎフレーム」等が設定されている場合、仮想視点映像のｎフレーム毎に広告モデルのレンダリングを中止することで点滅効果を模した映像を生成することができる。なお、仮想視点に依存する表示方法の場合、仮想カメラの画角外の仮想広告モデルは仮想視点映像上に表示されない。

また、仮想視点に依存しない場合、仮想広告モデルのテクスチャを、背景モデルと被写体モデルをレンダリングすることで得られる仮想視点映像上の広告貼り付け領域に貼り付けることで生成することができる。仮想広告情報に関して、Ｓ１３００において視聴者が設定した仮想視点映像を生成するシーンの映像生成開始時刻から、広告情報として取得した表示開始時刻だけ相対的に経過した時刻から表示が開始され、映像生成終了時刻まで、表示時間分だけ表示される。

なお、表示開始時刻が設定されていない場合には、映像生成開始時刻から表示を開始し、表示終了時刻が設定されていない場合には、映像生成終了時刻まで表示を継続する。表示時間が設定されていない場合には、表示開始時刻から表示終了時刻まで表示を継続する。また、動画ファイルにおける仮想視点映像の生成日が仮想広告情報の有効期限を徒過している場合には、その仮想広告情報は表示されない。この場合、他に有効期限内の仮想広告情報があれば、その有効期限内の仮想広告情報のみが表示され、有効期限内の広告情報が全くなければ、仮想広告表示がない仮想視点映像が表示される。その他、１つの仮想視点映像上に異なる広告主の仮想広告が重複する場合、仮想広告情報として取得した優先度を用いて、優先度の高い仮想広告を優先的に表示する。

さらに、次の時刻の仮想視点映像を生成する場合、映像生成装置４は、処理をＳ１３１０に返し、新しい時刻の仮想視点映像を生成し、表示装置５に送信する。

以上、説明したように、本実施形態の動画ファイル生成装置３は、指定された時間の仮想視点映像を視聴するための動画ファイルを生成することができる。また、その動画ファイルには、仮想広告情報を付与することができる。さらに、映像生成装置４は、動画ファイル生成装置３から仮想広告情報が付与された動画ファイルを取得することで、仮想広告情報を付与した仮想視点映像を生成し、表示することができる。

なお、本実施形態において、処理の手順は必ずしもこれに限定されず、例えば、素材情報を取得する処理と仮想広告情報を取得する処理の順序を入れ替えて実行してもよい。また、動画ファイルの仮想広告情報は、既存の暗号化手法で暗号化されていてもよい。

［実施形態２］
上述の実施形態１では、背景モデルのテクスチャを生成するために、複数の撮影画像を使用した。但し、複数の撮影画像（実カメラ画像）は選手にピントが合わせられ、看板が配置されるような領域はピントが甘い画像になってしまう。

そこで、本実施形態では、付加情報として実広告情報を動画ファイルに付与し、背景モデル生成時に実広告情報も利用することで、仮想視点映像の実看板領域の画像を鮮明に表示する方法について説明する。本実施形態における実広告とは、現実空間の競技場やスタジアムに設置される実存の看板やディスプレイのことである。なお、以下の実施形態においては、背景モデル生成時に利用する付加情報として実広告情報を動画ファイルに付与する例について説明するが、付与する付加情報は実広告情報に限らない。付加情報は、例えば、現実空間に設置される応援旗に関する情報等でもよい。

＜システム構成＞
図１４は、本実施形態に係る映像生成システムの構成を示す図である。本実施形態に係る映像生成システムは、図１４に示されるように、撮影装置１、広告データベース２、動画ファイル生成装置３、映像生成装置４、表示装置５を備える。なお、本実施形態において、撮影装置１、表示装置５の構成は、上述の実施形態１と同様の構成である。

動画ファイル生成装置３は、上述の撮影情報取得部５１０、素材情報蓄積部５２０、仮想広告情報取得部５３０、動画ファイル生成部５４０、動画ファイル配信部５５０以外に、さらに実看板領域設定部１４００を備える。これに関連して、動画ファイル生成部５４０には、実広告情報を付与する処理が追加される。広告データベース２、映像生成装置４に関して、その構成は上述の実施形態１と同様の構成であるが、各部の動作は、実広告情報を制御するため、上述の実施形態１とは異なる。

本実施形態において、実広告情報は、広告ＩＤ、広告主、広告制作者、競技名、競技場名、試合日、実広告画像、実カメラＩＤ、実看板領域等の情報である。実広告画像は、企業ロゴ等の画像であって、実際に設置される看板のデザインと同じ画像である。実看板領域情報は、実カメラ画像の各々における看板領域を示すラベル画像である。画像サイズは実カメラ画像と同じとし、また、各画素のラベル値は広告ＩＤに対応する。例えば、ラベル値０は背景、ラベル値１を広告ＩＤ１、ラベル値２を広告ＩＤ２とする。即ち、ラベル値１の集合が、広告ＩＤ１の看板領域とする。また、広告ＩＤと広告主は、広告データベース２において対応付けられる。

なお、実看板領域の情報以外の情報は、動画ファイルを生成する前までに、不図示の広告主又は広告制作者によって広告データベース２に登録される。また、実看板領域情報は、実看板領域設定部１４００により設定される。

＜処理フロー＞
次に、ＩＳＯ ＢＭＦＦ規格に準じて、実広告情報を動画ファイルに付与する方法とその処理の手順について、図１５のフローチャートを用いて説明する。

（Ｓ１５１０）
Ｓ１５１０において、撮影情報取得部５１０は、競技場に実際に設置されている看板の複数の撮影画像を取得し、素材情報蓄積部５２０に保存（蓄積）する。

（Ｓ１５２０）
Ｓ１５２０において、実看板領域設定部１４００は、素材情報蓄積部５２０から複数の撮影画像を取得し、全ての実カメラのカメラ画像から実看板領域を抽出する。そして、実看板領域設定部１４００は、実看板領域情報を動画ファイル生成部５４０に送信する。

また、実看板領域に関して、例えば、テンプレートマッチング手法により抽出することができる。この場合、実看板領域設定部１４００は、先ず、競技場名、試合日に基づいて、広告データベース２からその競技場に実看板を設置している広告主の実広告情報を取得する。実看板領域設定部１４００は、次に、実広告情報に含まれる実広告画像をテンプレートとして、実カメラのカメラ画像から類似している画像領域を抽出し、その実カメラにおける実看板領域として抽出する。

なお、ここでは、実看板領域をテンプレートマッチングで抽出するように説明したが、マウス等の入力デバイスを用いて、画像の任意領域を手動で抽出し、実看板領域とすることもできる。実看板領域情報を含む実広告情報は、動画ファイル生成部５４０に送信される。

（Ｓ１５３０）
Ｓ１５３０において、動画ファイル生成部５４０は、実広告情報も付与した動画ファイルを生成し、動画ファイル配信部５５０に送信する。ここで、図１６を用いて、実広告情報を記載するフォーマットについて説明を補足する。

実広告情報も、ＩＳＯ ＢＭＦＦ規格のｍｅｔａボックスとして記載される。ｍｅｔａ情報には、データ種別と広告主テーブルに関する情報を記載する。データ種別には、実広告情報であることを示す情報として、ａｃｔｕａｌ_ａｄｖｅｒｔｉｓｉｎｇという文字列を記載する。広告主テーブルには、実看板領域のラベル値と広告ＩＤとの対応を記載する。ｄａｔａ情報には、実広告情報として、広告ＩＤ、広告主、広告制作者、競技名、競技場名、試合日、実広告画像、カメラ台数分のカメラＩＤ、実看板領域、優先度の情報を記載する。

続けて、上述の動画ファイルを用いて、実広告情報を利用した仮想視点映像を生成する方法とその処理の手順について説明する。先ず、実施形態１のＳ１３００と同様に、動画ファイル取得部７００は、動画ファイル生成装置３から動画ファイルを取得する。そして、動画ファイル取得部７００は、受信した動画ファイルを、素材情報読込部７１０と広告情報読込部７２０に送信する。

素材情報読込部７１０の処理は、Ｓ１３１０と同様であるが、実広告情報がある場合には、背景モデルの色情報を生成する処理が異なる。以下、この処理について説明を補足するが、先ず、実広告情報を読み込む処理について説明する。最初に、素材情報読込部７１０は、動画ファイルを走査し、ｆｔｙｐボックスに記載された文字列がｆｖｐｍであることを確認する。

素材情報読込部７１０は、ｆｔｙｐボックスに記載された文字列がｆｖｐｍでなければ、ファイルの読み込みを中止し、ｆｔｙｐボックスに記載された文字列がｆｖｐｍであれば、ファイルの読み込みを継続する。素材情報読込部７１０は、その動画ファイルを走査し、ボックスの種類がｍｅｔａボックスであり、ｍｅｔａ情報のデータ種別に記載されている文字列がａｃｔｕａｌ_ａｄｖｅｒｔｉｓｉｎｇであれば、実広告情報を読み込む。この場合、ｄａｔａ情報に記載されている広告ＩＤ、広告主、広告制作者、競技名、競技場名、試合日、実広告画像、全実カメラの実看板領域の情報を読み込む。

実広告情報がある場合の背景モデルの色情報は、実広告画像を用いて生成する。素材情報読込部７１０は、先ず、背景モデルの形状情報に基づいて各面の法線を算出し、その算出した各面の法線と実カメラの向きを比較することで、最も正対する実カメラを選択する。そして、その実カメラのカメラ画像に面を構成する３頂点を投影し、その３頂点が実看板領域内であれば、その３頂点を広告画像に射影し、その三角形内の画像をその面のテクスチャとする。この処理を背景モデルの全ての面で実行することで、広告画像を利用した背景モデルの色情報を生成することができる。

広告情報読込部７２０は、Ｓ１３２０と同様に、動画ファイルを走査し、仮想広告情報を読み込み、仮想広告情報を仮想視点映像生成部７３０に送信する。仮想視点映像生成部７３０は、Ｓ１３３０と同様に、実カメラのカメラパラメータ、被写体モデル、実広告情報から生成した背景モデル、仮想広告モデルの情報を用いて、広告情報を付与した仮想視点映像を生成する。なお、生成された仮想視点映像は、表示装置５に送信され、ディスプレイ等に表示される。

本実施形態により、不図示のユーザは、実広告情報も付与した動画ファイルを取得することができる。さらに、その動画ファイルに基づいて、実広告情報を取得し、実広告画像を用いて背景モデルを生成することで、仮想視点映像上の実看板画像を鮮明にすることができる。

［実施形態３］
上述の実施形態２では、実広告情報を用いて、仮想視点映像上の実看板画像を鮮明にする方法について説明した。但し、こちらの方法では、実看板領域上に仮想広告画像が表示されてしまうことがある。

そこで、本実施形態では、動画ファイルに付与される仮想視点仮想広告情報と実広告情報を用いて、実看板領域上に仮想広告画像を表示しないように制御する方法について説明する。これにより、広告主は、異なる広告主に宣伝機会を奪われることがなくなる。また、仮想広告と実広告が同じ広告主である場合には、宣伝機会を増やすことができる。

＜システム構成＞
本実施形態に係る映像生成システムの構成は、上述の実施形態２と同様である。但し、映像生成装置４における仮想視点映像生成部７３０の動作が、上述の実施形態２と異なる。以下、仮想視点映像生成部７３０の動作について説明する。

仮想視点映像生成部７３０は、仮想広告情報と実広告情報の両方を受信すると、以下のように動作する。仮想視点映像生成部７３０は、先ず、上述の実施形態２で説明したように、背景モデルの各面が実看板領域に含まれるか否かを判定する。仮想視点映像生成部７３０は、次に、背景モデルの実看板領域に含まれる面を仮想視点に投影することにより、仮想視点映像上の実看板領域を算出する。また、仮想視点映像生成部７３０は、仮想広告モデルを仮想視点に投影することにより、仮想視点映像上の仮想広告領域を算出する。

そして、実看板領域と仮想広告領域が重なる場合に、実看板領域を囲む矩形の外に、仮想広告領域をずらすことで、実看板と仮想看板の重複を回避する。或いは、広告情報に含まれる優先度の高い広告を優先して表示するようにしてもよい。さらに、被写体モデルを仮想視点映像上に投影することで、仮想視点映像上の被写体領域を算出し、この被写体領域と仮想広告領域や実看板領域との重なりを判定することで、仮想視点映像上で被写体領域と広告領域とが重ならないように制御することもできる。

本実施形態により、仮想広告情報と実広告情報が動画ファイルに付与された場合に、実看板領域上に仮想広告画像を表示しないようにすることができる。これにより、互いの宣伝機会を奪うことなく、広告を表示することができる。

なお、実施形態１、２、及び３において説明した動画ファイル生成装置、映像生成装置等の装置は、図１７に示されるように、一般的なコンピュータの構成と同様の構成により実現することができる。ＣＰＵ（Central Processing Unit）１７０１は、入力されたデータ、また後述のＲＯＭ１７０２やＲＡＭ１７０３に格納されているコンピュータプログラムを用いて、装置全体の動作を制御する。なお、ＣＰＵ１７０１とは異なる専用の１又は複数のハードウェア或いはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備え、ＣＰＵ１７０１による処理の少なくとも一部を専用のハードウェア又はＧＰＵが行うようにしてもよい。また、専用のハードウェアとしては、例えば、ＡＳＩＣ（特定用途向け集積回路）及びＤＳＰ（デジタルシグナルプロセッサ）等がある。

ＲＯＭ（Read-Only Memory）１７０２は、装置における各部の設定を行う設定パラメータやブートプログラム等を格納する。ＲＡＭ（Random Access Memory）１７０３は、外部記憶装置１７０４から読み取ったコンピュータプログラムやデータ、後述の汎用インタフェース１７０５を介して外部から受信したデータを一時的に記憶する記憶領域を有する。また、ＲＡＭ１７０３は、ＣＰＵ１７０１が各種、処理を実行するときに用いる記憶領域として使用される。

外部記憶装置１７０４は、ＣＰＵ１７０１が各種の処理を実行するために必要な各種データ等を記憶する記憶装置であり、例えば、ＨＤＤ（Hard Disk Drive）等である。汎用インタフェース１７０５は、外部装置１７０６と通信するためのインタフェースであり、例えば、ＵＳＢ（Universal Serial Bus）インタフェース等である。

また、上述の構成において、装置の各機能は、ＣＰＵ１７０１が図８、図１３、図１５等に示される処理の流れ（フローチャート）を実現可能なプログラムを読み出し実行することで、実現される。

また、実施形態１、２、及び３において、動画ファイルに付与される付加情報として広告情報（仮想広告情報、及び実広告情報）が付与される例について説明したが、この例に限らない。動画ファイルに付与される付加情報の別の例として、仮想視点情報に写る選手に関する情報（以下、選手情報という）を付与する場合について説明する。ＩＳＯ ＢＭＦＦ規格に準じて、選手情報が動画ファイルに付与される場合、ｍｅｔａボックスには、データ種別、データ数、各情報のデータサイズ、及び選手情報データベースのアドレスに関する情報が記載される。データ種別は、付加情報が選手に関する情報であることを示す情報である。データ数は、選手情報の数である。各情報のデータサイズは、選手情報のデータサイズを示す情報である。選手情報データベースのアドレスに関する情報は、選手情報が蓄積されるデータベースに接続するためのアドレス情報である。ｍｅｔａボックスにアドレス情報が記載されない場合、ｄａｔａボックスには、選手情報ＩＤ、選手情報の提供者、選手情報の製作者、競技名、競技場名、試合日、表示時間、表示開始時間、及び表示終了時間を記載する。さらに、ｍｅｔａボックスにアドレス情報が記載されない場合、ｄａｔａボックスには、有効期限、選手情報モデルデータ、選手情報マテリアルデータ、表示効果、仮想視点依存性、仮想視点映像上の選手情報貼り付け領域、及び優先度の情報が記載される。ｍｅｔａボックスにアドレス情報が記載される場合、ｄａｔａボックスには、選手情報ＩＤのみが記載される。以上のように、本発明は広告情報以外にも適用することができる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ 撮影装置
２ 広告データベース
３ 動画ファイル生成装置
４ 映像生成装置
５ 表示装置

Claims (20)

1. 複数の撮影装置から得られる複数の撮影画像に基づく仮想視点画像の生成に使用される素材情報を取得する第１の取得手段と、
   前記素材情報に基づいて生成される仮想視点画像内に表示される表示情報を特定するための付加情報を取得する第２の取得手段と、
   前記表示情報を含む仮想視点画像を生成するためのファイルであって、取得した前記第１の取得手段により取得された前記素材情報と、前記第２の取得手段により取得された前記付加情報を含むファイルを生成するファイル生成手段と
   を有し、
   前記素材情報は、前記複数の撮影装置それぞれの位置および向きを特定するための情報を含み、
   前記複数の撮影装置の位置及び向きは互いに異なる、
   ことを特徴とするファイル生成装置。
2. 前記表示情報は、現実空間に設置される実広告に関する情報と、仮想視点画像に仮想的に付加される仮想広告に関する情報との少なくともいずれかを含むことを特徴とする請求項１に記載のファイル生成装置。
3. 前記付加情報は、前記表示情報の３次元形状を表すデータと、前記３次元形状のテクスチャを表すデータとを含むことを特徴とする請求項１又は２に記載のファイル生成装置。
4. 前記付加情報は、前記表示情報の三次元形状を表すデータと、前記３次元形状のテクスチャを表すデータとが格納された場所を示すアドレスを含むことを特徴とする請求項１又は２に記載のファイル生成装置。
5. 前記付加情報は、前記仮想視点画像において前記表示情報が表示される領域を示す情報を含むことを特徴とする請求項１乃至４のいずれか１項に記載のファイル生成装置。
6. 前記付加情報は、前記仮想視点画像において前記表示情報が表示される期間を示す有効期限に関する情報を含むことを特徴とする請求項１乃至５のいずれか１項に記載のファイル生成装置。
7. 前記付加情報は、前記仮想視点画像に重畳して表示される広告の広告主を示す情報、広告を制作した制作者を示す情報、前記仮想視点画像に広告が表示される表示時刻を示す情報、及び、広告表示の優先度を示す情報の少なくともいずれかを含むことを特徴とする請求項１乃至６のいずれか１項に記載のファイル生成装置。
8. 前記素材情報は、前記複数の撮影装置がオブジェクトを撮影することにより得られる複数の撮影画像、前記複数の撮影装置に関するパラメータ、及び、仮想視点画像における背景画像を生成するための背景モデルの少なくともいずれかを含むことを特徴とする請求項１乃至７のいずれか１項に記載のファイル生成装置。
9. 前記ファイル生成手段は、ＩＳＯ ＢＭＦＦ（ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｏｒｍａｔ）規格に準拠したファイルを生成することを特徴とする請求項１乃至８のいずれか１項に記載のファイル生成装置。
10. 前記ファイル生成手段は、前記素材情報と前記付加情報とが同一のボックスに格納されたファイルを生成することを特徴とする請求項９に記載のファイル生成装置。
11. 複数の撮影装置から得られる複数の撮影画像に基づく仮想視点画像の生成に使用される素材情報と、前記素材情報に基づいて生成される仮想視点画像内に表示される表示情報を特定するための付加情報とを含むファイルを取得する取得手段と、
    前記取得手段により取得されたファイルに基づいて、前記表示情報が表示された仮想視点画像を生成する画像生成手段と、
    を有し、
    前記素材情報は、前記複数の撮影装置それぞれの位置および向きを特定するための情報を含み、
    前記複数の撮影装置の位置及び向きは互いに異なる、
    ことを特徴とする画像生成装置。
12. 前記表示情報は、現実空間に設置される実広告に関する情報と、仮想視点画像に仮想的に付加される仮想広告に関する情報との少なくともいずれかを含むことを特徴とする請求項１１に記載の画像生成装置。
13. 前記付加情報は、仮想視点画像における前記表示情報の表示が仮想視点に依存するかを示す依存情報を含むことを特徴とする請求項１１又は１２に記載の画像生成装置。
14. 前記画像生成手段は、前記依存情報が、前記表示情報の表示が仮想視点に依存することを示す場合、前記仮想視点の位置及び前記仮想視点からの視線方向に基づいて前記表示情報が表示される仮想視点画像を生成することを特徴とする請求項１３に記載の画像生成装置。
15. 前記画像生成手段は、前記依存情報が、前記表示情報の表示が仮想視点に依存することを示す場合、仮想視点が所定の位置及び所定の視線方向に設定された場合に前記表示情報が表示される仮想視点画像を生成することを特徴とする請求項１４に記載の画像生成装置。
16. 前記画像生成手段は、前記依存情報が、前記表示情報の表示が仮想視点に依存しないことを示す場合、仮想視点の視点位置及び視線方向に関わらず前記表示情報が表示される仮想視点画像を生成することを特徴とする請求項１３乃至１５のいずれか１項に記載の画像生成装置。
17. ファイル生成方法であって、
    複数の撮影装置から得られる複数の撮影画像に基づく仮想視点画像の生成に使用される素材情報を取得する第１の取得工程と、
    前記素材情報に基づいて生成される仮想視点画像内に表示される表示情報を特定するための付加情報を取得する第２の取得工程と、
    前記表示情報を含む仮想視点画像を生成するためのファイルであって、前記第１の取得工程にて取得された素材情報と、前記第２の取得工程にて取得された付加情報とを含むファイルを生成するファイル生成工程と
    を含み、
    前記素材情報は、前記複数の撮影装置それぞれの位置および向きを特定するための情報を含み、
    前記複数の撮影装置の位置及び向きは互いに異なる、
    ことを特徴とするファイル生成方法。
18. 複数の撮影装置から得られる複数の撮影画像に基づく仮想視点画像の生成に使用される素材情報と、前記素材情報に基づいて生成される仮想視点画像内に表示される表示情報を特定するための付加情報とを含むファイルを取得する取得工程と、
    前記取得工程にて取得されたファイルに基づいて、前記表示情報が表示された仮想視点画像を生成する画像生成工程と
    を含み、
    前記素材情報は、前記複数の撮影装置それぞれの位置および向きを特定するための情報を含み、
    前記複数の撮影装置の位置及び向きは互いに異なる、
    ことを特徴とする画像生成方法。
19. コンピュータを、請求項１乃至１０のいずれか１項に記載のファイル生成装置として機能させるためのプログラム。
20. コンピュータを、請求項１１乃至１６のいずれか１項に記載の画像生成装置として機能させるためのプログラム。

Images