JPWO2018186287A1 - 映像データ生成装置、映像再生装置、映像データ生成方法、制御プログラム、及び記録媒体 - Google Patents

Abstract

映像データ装置（３）は、互いに異なる複数の視点の各々からの映像を表す複数の入力映像データの少なくとも何れかを参照し、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを生成する中間視点映像データ生成部（１０）、を備えている。

Description

本発明は、主に、目標視点からの映像を再生可能な映像データを生成する映像データ生成装置に関する。

３６０度の視野を映像で表現できる技術の例として、３６０ビデオ（全天球映像）と拡張３６０ビデオとが挙げられる。図１９の（ａ）は、３６０ビデオを模式的に示した図であり、図１９の（ｂ）は、拡張３６０ビデオを模式的に示した図である。

３６０ビデオ（3DoF: Degree of Freedom）は、１視点から周囲を見回して視聴できる映像であり、より詳細には、仮想空間中の１点から全周（４πステラジアン）を観察可能な映像である。実写に基づく３６０ビデオは、全周撮影可能なカメラで撮影された映像であるか、又は、複数のカメラで撮影された各映像をスティッチして生成される。

拡張３６０ビデオは、視点位置を移動して視聴可能な３６０ビデオであり、より詳細には、仮想空間中の１点を基準とした所定の範囲内から全周を観察可能なビデオである。当該技術では、視聴者のわずかな視点移動をサポートすることにより、ヘッドマウントディスプレイ（ＨＭＤ）視聴時のリアリティを向上することができる。また、視聴者の広範囲の視点移動をサポートすることにより、記録されたシーンを様々な方向から観察することができる。拡張３６０ビデオは、視点移動の可能な範囲の広さに応じて3DoF+や6DoFとも呼ばれる。3DoF+では狭い範囲で視点移動可能であり、6DoFではより広い範囲で視点移動可能である。

拡張３６０ビデオのように、視点位置が移動した映像を視聴できる技術として、特許文献１には、複数のカメラ映像によって仮想視点映像を合成する技術が開示されている。当該文献では、複数のカメラ映像とカメラ位置の情報とに基づいて、所定の仮想視点位置の映像を生成する手段が開示されている。当該技術では、仮想視点位置とカメラ位置とに基づいてカメラ映像を透視変換することで映像を生成している。

日本国公開特許公報「特開２０１３−１０６３２４号公報（２０１３年５月３０日公開）」

上述の拡張３６０ビデオの生成では、複数のカメラ映像を用いて、目標視点を視点とする映像（目標視点映像）を合成する必要がある。そして、目標視点映像の再生時に、カメラ映像から直接、目標視点映像を作成する場合、再生処理が複雑化してしまうという問題がある。例えば、状況によっては、１つの目標視点映像の合成に、設置された全てのカメラからの映像を探索（位置確認）又は復号処理する必要がある。このような問題において、再生処理の簡略化は、目標視点映像の生成処理における実時間・低遅延の要件を満たすために重要である。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、目標視点からの映像の再生処理を簡略化することができる技術を提供することにある。

上記の課題を解決するために、本発明の一態様に係る映像データ生成装置は、映像データを生成する映像データ生成装置であって、互いに異なる複数の視点の各々からの映像を表す複数の入力映像データを取得する入力映像データ取得部と、上記複数の入力映像データの少なくとも何れかを参照し、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを生成する中間視点映像データ生成部と、を備えている。

上記の課題を解決するために、本発明の一態様に係る映像データ生成装置は、目標視点からの映像を示す映像データを生成する映像データ生成装置であって、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを取得する中間視点映像データ取得部と、上記中間視点映像データ取得部が取得した中間視点映像データを参照して上記目標視点からの映像を示す目標視点映像データを生成する目標視点映像データ生成部と、を備えている。

上記の課題を解決するために、本発明の一態様に係る映像データ生成方法は、映像データ生成方法映像データを生成する映像データ生成装置による映像データ生成方法であって、互いに異なる複数の視点の各々からの映像を表す複数の入力映像データを取得する入力映像データ取得工程と、上記複数の入力映像データの少なくとも何れかを参照し、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを生成する中間視点映像データ生成工程と、を含む。

上記の課題を解決するために、本発明の一態様に係る映像データ生成方法は、目標視点からの映像を示す映像データを生成する映像データ生成装置による映像データ生成方法であって、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを取得する中間視点映像データ取得工程と、上記中間視点映像データ取得工程で取得した中間視点映像データを参照して上記目標視点からの映像を示す目標視点映像データを生成する目標視点映像データ生成工程と、を含む。

本発明の一態様によれば、目標視点からの映像の再生処理を簡略化することができる。

本発明の実施形態１に係る拡張３６０ビデオデータ記録再生システムの構成を示すブロック図である。 本発明の実施形態１に係る拡張３６０ビデオデータ記録装置による中間ビデオセット生成方法の一例を説明するフローチャート図である。 本発明の実施形態１に係る拡張３６０ビデオデータ再生装置による目標視点映像生成方法の一例を説明するフローチャート図である。 本発明の一実施形態における中間３６０ビデオセット生成方法及び目標視点映像生成方法の概略を説明するための図である。 本発明の一実施形態における中間視点定義を説明するための図である。 （ａ）〜（ｃ）は、それぞれ、本発明の一実施形態における中間視点が配置される格子点の例を示す図である。 本発明の一実施形態における中間視点が配置される３次元座標における格子点の例を示す図である。 （ａ）〜（ｃ）は、それぞれ、本発明の一実施形態における中間視点が配置される格子点以外の例を示す図である。 本発明の一実施形態における撮影対象のデプスに応じた中間視点の配置を説明するための図である。 本発明の一実施形態に係る中間視点設定部が設定した中間視点の配置例を示す図である。 本発明の一実施形態における中間３６０ビデオセット生成処理を説明するための図である。 本発明の一実施形態における拡張３６０ビデオデータの形式を説明するための図である。 本発明の一実施形態における視点映像生成処理を説明するための図である。 本発明の実施形態２に係る拡張３６０ビデオデータ記録再生システムの構成を示すブロック図である。 本発明の実施形態２に係る拡張３６０ビデオデータ記録装置による中間ビデオセット生成方法の一例を説明するフローチャート図である。 本発明の実施形態２に係る拡張３６０ビデオデータ再生装置による目標視点映像生成方法の一例を説明するフローチャート図である。 （ａ）は、本発明の実施形態３に係る拡張３６０ビデオデータ記録再生システムの構成を示すブロック図である。（ｂ）は、本発明の実施形態３に係る拡張３６０ビデオデータ再生部の構成を示すブロック図である。 本発明の実施形態３に係る拡張３６０ビデオデータ再生装置による目標視点映像生成方法の一例を説明するフローチャート図である。 （ａ）は、従来技術における３６０ビデオを模式的に示した図であり、図１９の（ｂ）は、従来技術における拡張３６０ビデオを模式的に示した図である。

以下、本発明の実施形態について、詳細に説明する。ただし、本実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。

本発明の各実施形態では、特定の観測位置周辺の映像を再生するのに必要な情報を、いかにコンパクト且つ使いやすい表現で記述できるかが課題である。そのために、観測位置に仮想的な３６０カメラを複数配置し、当該カメラが撮影可能なデータ（中間視点映像データ）を作成し、そのデータを使用して観測位置近傍の任意位置からの視点の映像データ（目標視点映像データ）を生成する。

〔実施形態１〕
（拡張３６０ビデオデータ記録再生システム）
本実施形態に係る拡張３６０ビデオデータ記録再生システム１について、図１を参照して詳細に説明する。図１は、本実施形態に係る拡張３６０ビデオデータ記録再生システム１の構成を示すブロック図である。図１が示すように、拡張３６０ビデオデータ記録再生システム１は、撮影装置２と、拡張３６０ビデオデータ記録装置３（請求項における映像データ生成装置に相当）と、拡張３６０ビデオデータ再生装置４（請求項における映像再生装置に相当）と、を含む。なお、以下で、拡張３６０ビデオデータ記録再生システム１が備えている各部材について説明するが、詳細については部材毎の項目を設けて後述する。

撮影装置２は、撮影部５、及び送信部６を備えている。なお、図１では、撮影部５は、１つしか示されていないが、拡張３６０ビデオデータ記録再生システム１は、撮影装置２と同様の構成を有する撮影装置を複数含む（図示せず）。

撮影部５は、撮影対象を撮影することにより、映像データを取得する。また、上述の複数の撮影装置がそれぞれ備えている、撮影部５と同様の構成を有する複数の撮影部は、それぞれ、互いに異なる視点の映像データを取得する。

送信部６は、撮影部５が取得した映像データ等を拡張３６０ビデオデータ記録装置３に送信する。また、送信部６は、上述の複数の撮影部がそれぞれ取得した互いに異なる視点の映像データを、拡張３６０ビデオデータ記録装置３に送信する。

（拡張３６０ビデオデータ記録装置３）
図１が示すように、拡張３６０ビデオデータ記録装置３は、通信部７（請求項における入力映像データ取得部に相当）、及び処理部８を備えている。

通信部７は、撮影装置２の送信部６が送信した映像データ（請求項において入力映像データに相当）を受信する。

処理部８は、中間視点設定部９、中間３６０ビデオセット生成部１０（請求項における中間視点映像データ生成部に相当）、及び符号化・多重化部１１（請求項における多重化部に相当）を備えている。処理部８の機能の概略を説明すると、処理部８は、通信部７が受信した複数の映像データの少なくとも何れかを参照し、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを生成する。なお、ここにおける中間視点の詳細については後述する。

中間視点設定部９は、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点を設定する。

中間３６０ビデオセット生成部１０は、通信部７が受信した複数の映像データの少なくとも何れかを参照し、中間視点設定部９の設定に基づいて配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを生成する。

符号化・多重化部１１は、中間３６０ビデオセット生成部１０が生成した各々の中間視点映像データ（中間３６０ビデオセット）を符号化し、符号化した各データを多重化する。

また、通信部７は、符号化・多重化部１１が多重化した中間視点映像データ（拡張３６０ビデオデータ）を拡張３６０ビデオデータ再生装置４に送信する。

（拡張３６０ビデオデータ再生装置４）
図１が示すように、拡張３６０ビデオデータ再生装置４は、受信部１２（請求項における中間視点映像データ取得部に相当）、処理部１３、及び表示部１４を備えている。

受信部１２は、拡張３６０ビデオデータ記録装置３の通信部７が送信した中間視点映像データ（拡張３６０ビデオデータ）を受信する。

処理部１３は、復号・逆多重化部１５、中間視点設定部１６、目標視点設定部１７、及び視点映像生成部１８（請求項における目標視点映像データ生成部に相当）を備えている。処理部１３の機能の概略を説明すると、処理部１３は、受信部１２が受信した中間視点映像データを参照して目標視点からの映像を示す目標視点映像データを生成する。

復号・逆多重化部１５は、受信部１２が受信した中間視点映像データ（拡張３６０ビデオデータ）を復号し、復号したデータを逆多重化する。

中間視点設定部１６は、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点を設定する。なお、中間視点設定部１６で設定される中間視点は、拡張３６０ビデオデータ記録装置における中間視点設定部９で設定される中間視点と同一であるか、少なくとも部分集合となっている必要がある。本実施形態においては設定される中間視点の情報は事前に共有されていることを想定しているが、別の実施形態においては中間視点の情報を拡張３６０ビデオデータに含んで通知することもできる。

目標視点設定部１７は、目標視点を設定する。なお、ここにおいて目標視点設定部１７が設定する目標視点は、目標視点設定部１７が自動的に設定した目標視点であってもよいし、ユーザの入力に基づいた目標視点であってもよい。

視点映像生成部１８は、復号・逆多重化部１５が逆多重化した中間視点映像データ（中間３６０ビデオセット）と、中間視点設定部１６が設定した中間視点の配置と、を参照して、目標視点設定部１７が設定した目標視点からの映像を示す目標視点映像データを生成する。

表示部１４は、視点映像生成部１８が生成した目標視点映像データが示す映像を表示する。表示部１４の例として、ヘッドマウントディスプレイ等が挙げられる。

（中間３６０ビデオセット生成方法及び目標視点映像生成方法）
本実施形態に係る拡張３６０ビデオデータ記録装置３による中間３６０ビデオセット生成方法と、本実施形態に係る拡張３６０ビデオデータ再生装置４による目標視点映像生成方法とについて、図２〜４を参照して説明する。図２は、本実施形態に係る拡張３６０ビデオデータ記録装置３による中間ビデオセット生成方法の一例を説明するフローチャート図である。図３は、本実施形態に係る拡張３６０ビデオデータ再生装置４による目標視点映像生成方法の一例を説明するフローチャート図である。図４は、撮影範囲の３Ｄ形状を近似する情報であるシーンモデル情報に含まれる、撮影装置２と同様の構成を有するカメラＰ_ｃ１、カメラＰ_ｃ２及びカメラＰ_ｃ３と、中間視点Ｐ_ｖ１、中間視点Ｐ_ｖ２及び中間視点Ｐ_ｖ３と、目標視点Ｐ_ｔとを模式的に示した図である。

図４に基づいて、本実施形態における中間３６０ビデオセット生成方法及び目標視点映像生成方法の概略を説明すれば以下の通りである。例えば、拡張３６０ビデオデータ記録装置３は、図４が示すカメラＰ_ｃ１、カメラＰ_ｃ２及びカメラＰ_ｃ３がそれぞれ撮影した映像データから、中間視点Ｐ_ｖ１、中間視点Ｐ_ｖ２及び中間視点Ｐ_ｖ３をそれぞれ視点とする映像を示す中間視点映像データを生成する。そして、拡張３６０ビデオデータ再生装置４は、拡張３６０ビデオデータ記録装置３が生成した各中間視点映像データのうちの少なくとも１つを参照して、目標視点Ｐ_ｔを視点とする目標視点映像データを生成する。

以下で、中間３６０ビデオセット生成方法の各工程について図２を参照して説明する。なお、各工程の詳細については部材毎の項目において後述する。

まず、通信部７は、撮影装置２が送信した映像データを受信する（ステップＳ０）。

次に、中間視点設定部９は、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点を設定する（ステップＳ１）。

次に、中間３６０ビデオセット生成部１０は、通信部７が受信した複数の映像データの少なくとも何れかを参照し、中間視点設定部９の設定に基づいて配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを生成する（ステップＳ２）。

次に、符号化・多重化部１１は、中間３６０ビデオセット生成部１０が生成した各々の中間視点映像データ（中間３６０ビデオセット）を符号化し、符号化した各データを多重化する（ステップＳ３）。

次に、通信部７は、符号化・多重化部１１が多重化した中間視点映像データ（拡張３６０ビデオデータ）を拡張３６０ビデオデータ再生装置４に送信する（ステップＳ４）。

以下で、目標視点映像生成方法の各工程について図３を参照して説明する。なお、各工程の詳細については部材毎の項目において後述する。

まず、受信部１２は、拡張３６０ビデオデータ記録装置３の通信部７が送信した中間視点映像データ（拡張３６０ビデオデータ）を受信する（ステップＳ１０）。

復号・逆多重化部１５は、受信部１２が受信した中間視点映像データ（拡張３６０ビデオデータ）を復号し、復号したデータを逆多重化する（ステップＳ１１）。

中間視点設定部１６は、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点を設定する（ステップＳ１２）。

目標視点設定部１７は、目標視点を設定する（ステップＳ１３）。

視点映像生成部１８は、復号・逆多重化部１５が逆多重化した中間視点映像データ（中間３６０ビデオセット）と、中間視点設定部１６が設定した中間視点の配置と、を参照して、目標視点設定部１７が設定した目標視点からの映像を示す目標視点映像データを生成する（ステップＳ１４）。

表示部１４は、視点映像生成部１８が生成した目標視点映像データが示す映像を表示する（ステップＳ１５）。

（中間視点定義）
以下で、中間視点設定部９及び中間視点設定部１６がそれぞれステップＳ１及びＳ１２で設定する中間視点の定義について図５を参照して詳細に説明する。図５は、３次元座標におけるＸＺ面に沿って配置された複数の中間視点を示す図である。

例えば、中間視点設定部９及び中間視点設定部１６は、図５が示すように、中間視点をＸＺ面上の格子点（格子の各交点）に配置する。また、中間視点設定部９及び中間視点設定部１６は、以下に示す中間視点に関する定義情報を設定する。

例えば、中間視点設定部９及び中間視点設定部１６は、中間視点の定義情報として、仮想空間内での格子の位置及び向きを設定する。仮想空間内での格子の位置の定義情報の例として、図５が示す基準視点オフセットが挙げられる。また、仮想空間内での格子の向きの定義情報の例として、平面上の格子方向ベクトルである垂直ベクトル及び水平ベクトルが挙げられる。すなわち、仮想空間内での格子の位置と向きとの両方を決めるため、基準視点オフセット、垂直ベクトル、及び水平ベクトルの組み合わせを利用できる。仮想空間内での格子の位置と向きとを規定する別のパラメータの組み合わせでもよい。例えば、水平ベクトルの代わりに平面の法線ベクトルを用いることもできる。

また、例えば、中間視点設定部９及び中間視点設定部１６は、中間視点の定義情報として、中間視点の個数、各中間視点位置、及び各中間視点と関連データとのマップ情報等を設定する。各中間視点位置の例として、各中間視点の水平位置（基準視点からの平面上の水平距離）及び垂直位置（基準視点からの平面上の垂直距離）等が挙げられる。各中間視点と関連データとのマップ情報の例として、３６０ビデオ格納形式のマップ情報（例えば、Equirectangular）、及び３６０ビデオ基準方向（赤道上の基準点、天頂の点）等が挙げられる。このマップ情報を用いることで、中間視点からある方向を見たときに観察できる情報（光線）が、指定された３６０ビデオ格納形式で記録された映像データのどの領域に記録されているかを特定できる。

上述のように、中間視点設定部９及び中間視点設定部１６が中間視点を格子点に配置することによって、目標視点に対して近傍の中間視点が容易に特定できる。また、目標視点を近傍の格子点の中間視点から合成することで、目標視点合成時に必要な３６０ビデオ復号数の最大値を制限できる。例えば、３６０ビデオ復号数の最大値を、任意の目標点に対して近傍の格子点数の最大値（平面上の正方格子の場合は４）に制限できる。

また、中間視点設定部９及び中間視点設定部１６が中間視点を配置する格子点は、正方格子の格子点であることが好ましい（隣り合う中間視点の垂直方向の間隔と水平方向の間隔とが均一）。中間視点設定部９及び中間視点設定部１６が中間視点を正方格子の格子点に配置することにより、目標視点に対して近傍の中間視点をさらに容易に特定できる。例えば、目標視点の座標に対して格子間隔を単位とするラウンディングを適用することで近傍の中間視点が導出できる。

また、中間視点設定部９及び中間視点設定部１６が設定する全ての中間視点（３６０ビデオ）の基準方向は、一致していることが好ましい。中間視点設定部９及び中間視点設定部１６が中間視点の基準方向を一致させることにより、中間視点の画素の読み出しを簡略化することができる。より詳細には、仮想空間上のベクトルと、対応する中間視点の画像上の位置との相互変換に共通のアルゴリズムを適用することができる。

また、中間視点設定部９及び中間視点設定部１６が中間視点の基準方向を一致させることにより、ステレオマッチングを簡略化することができる。例えば、水平方向に整列した２つの中間視点の基準方向が一致しており、２つの中間視点の赤道を表す円が同一平面上に存在する場合に、２つの中間視点の各画像内における同一位置のライン間の比較によりデプスを推定することができる。

（平面格子）
以下で、平面格子における格子点の共通の性質について説明する。中間視点設定部９及び中間視点設定部１６が中間視点を配置する格子点は、平行直線群と平行直線群の交点に配置される（平行直線群は、全ての直線が互いに平行であり、且つ隣り合う直線の間隔が等間隔である複数の直線から構成される）。

また、中間視点設定部９及び中間視点設定部１６が中間視点を配置する各格子点は、直線に沿って隣接した格子点（隣接格子点）を有する。これにより、中間視点設定部９及び中間視点設定部１６は、隣接格子点を近傍格子点として利用できる。このような効果は、近傍視点の選択の簡略化と視点上限の制限とに有効である。

また、中間視点設定部９及び中間視点設定部１６が中間視点を配置する格子点の密度は、一定（ランダムに任意の範囲を選択した時の格子点密度の期待値は一定）である。これにより、格子内のどの位置を目標視点位置に選んでも、目標視点に対して近傍の中間視点までの距離の期待値が一定になる。このような効果は、合成された目標視点の品質保証に有効である。

中間視点設定部９及び中間視点設定部１６が中間視点を配置する格子点が、以上のような条件を満たす限り、当該格子点は、正方格子の格子点以外であってもよい。図６に、上記の各条件を満たす格子点を有する格子の例を示す。図６の（ａ）は、縦又は横において隣り合う格子点の間隔が等間隔である正方格子を示す（縦又は横の何れかにおいて隣り合う格子点の間隔が等間隔である矩形格子であってもよい）。図６の（ｂ）は、六角格子を示し、図６の（ｃ）は、平行体格子を示す。

以上のように、格子点を用いることにより、中間視点設定部９及び中間視点設定部１６が設定する複数の中間視点のうちで少なくとも１次元方向において隣り合う中間視点間の距離を、等しくすることができる。これにより、目標視点に対して近傍の中間視点を容易に特定できる。

又は、格子点を用いることにより、中間視点設定部９及び中間視点設定部１６が設定する複数の中間視点を、２次元以上の直線又は曲線座標系において２次元方向に対して規則的に配置することができる。これにより、目標視点に対して近傍の中間視点をさらに容易に特定できる。

（空間格子）
以下で、中間視点設定部９及び中間視点設定部１６がそれぞれステップＳ１及びＳ１２で中間視点を空間格子に配置する例について、図７を参照して詳細に説明する。図７は、３次元座標における各格子点に配置された複数の中間視点を示す図である。例えば、図７が示すように、中間視点設定部９及び中間視点設定部１６は、３次元以上の直線座標系（曲線座標系であってもよい）において３次元方向に対して規則的に配置されている格子点に、中間視点を配置する。また、中間視点設定部９及び中間視点設定部１６は、以下に示す中間視点に関する定義情報を設定する。

例えば、中間視点設定部９及び中間視点設定部１６は、中間視点の定義情報として、仮想空間内での格子の位置及び向きを設定する。仮想空間内での格子の位置の定義情報の例として、図７に示す基準視点オフセットが挙げられる。また、仮想空間内での格子の向きの定義情報の例として、格子軸ベクトルである水平ベクトル、垂直ベクトル及び奥行きベクトルが挙げられる。

また、例えば、中間視点設定部９及び中間視点設定部１６は、中間視点の定義情報として、中間視点の個数、各中間視点位置、及び各中間視点と関連データとのマップ情報等を設定する。各中間視点位置の例として、各中間視点の水平位置、垂直位置及び奥行き位置（基準視点からのオフセット）等が挙げられる。各中間視点と関連データとのマップ情報の例として、３６０ビデオ格納形式のマップ情報、及び３６０ビデオ基準方向（赤道上の基準点、天頂の点）等が挙げられる。

なお、空間格子と上述の平面格子とは、格子の軸（直線群）が増えるだけで本質的な違いが生じない。従って、中間視点設定部９及び中間視点設定部１６が、平面、空間に関わらず中間視点を格子点に配置することは有効である。

以上のように、中間視点設定部９及び中間視点設定部１６が設定する複数の中間視点は、３次元以上の直線又は曲線座標系において３次元方向に対して規則的に配置されている。これにより、目標視点に対して近傍の中間視点をさらに容易に特定できる。

（格子点以外の配置）
また、中間視点設定部９及び中間視点設定部１６が中間視点を配置する空間上の位置は、格子点以外の位置であってもよい。図８の（ａ）〜（ｃ）は、それぞれ、格子点以外の例を示す図である。図８の（ａ）は、隣り合う曲線の間隔が等間隔である複数の曲線と、隣り合う直線の間隔が等間隔である複数の直線との各交点に中間視点を配置した例を示す。図８の（ｂ）は、複数の同心円と、当該複数の同心円の中心を中心とする複数の放射線との各交点に中間視点を配置した例を示す。図８の（ｃ）は、球面上の複数の経線と、当該球面上の複数の緯線との各交点に中間視点を配置した例を示す（裏面の中間視点は省略）。

図８の（ａ）〜（ｃ）の各例が示すように、中間視点設定部９及び中間視点設定部１６は、中間視点を、規定の曲線上に等間隔で配置するか、又は、規定の円周上に等間隔で配置することにより（等角度間隔でもよい）、目標視点に対して近傍の中間視点の検索が容易になる。また、中間視点の位置のパラメータ化が容易になる。

（目標視点の設定可能範囲に応じた中間視点の配置）
中間視点設定部９及び中間視点設定部１６がそれぞれステップＳ１及びＳ１２で設定する中間視点の配置は、目標視点設定部１７が設定した目標視点の設定可能範囲（所定の範囲）に応じた配置であってもよい。ここにおける目標視点の設定可能範囲は、１次元以上の直線又は曲線座標系における所定の範囲であり得る。

例えば、中間視点設定部９及び中間視点設定部１６は、目標視点設定部１７が設定した目標視点設定可能範囲内（所定の範囲内）に中間視点を設定してもよい。これにより、目標視点合成時に利用しない画像情報を減らすことができる。また、目標視点設定部１７が設定した目標視点設定可能範囲が他の方向と比較して特定の方向に広い場合、中間視点設定部９及び中間視点設定部１６は、複数の中間視点を、当該特定の方向に沿った直線上又は平面上に配置することが好ましい。これにより、目標視点合成時に必要な中間視点が所定の範囲内で適切に配置される。

また、中間視点設定部９及び中間視点設定部１６は、目標視点設定部１７が設定した目標視点設定可能範囲の中心及び端に中間視点を配置してもよい。また、目標視点設定部１７は、平面の目標視点設定可能範囲を設定してもよく、中間視点設定部９及び中間視点設定部１６は、当該平面上の目標視点設定可能範囲内の格子点に中間視点を配置してもよい。

（撮影対象のデプスに応じた中間視点の配置）
中間視点設定部９及び中間視点設定部１６がそれぞれステップＳ１及びＳ１２で設定する中間視点の配置は、通信部７がステップＳ０で受信した映像データが示す撮影対象のデプスに応じた配置であってもよい。図９は、撮影対象を撮影するカメラｐと撮影対象の最大デプスｄ_ｍａｘ及び最小デプスｄ_ｍｉｎとを模式的に示した図である。例えば、中間視点設定部９及び中間視点設定部１６は、撮影対象のデプスの空間的な変化の大きさを示す指標を参照し、変化が大きい場合に隣り合う中間視点の間隔を狭く設定する。当該指標の例として撮影対象のデプス範囲等が挙げられる。例えば、中間視点から撮影対象までの最小デプスが同一の場合、撮影対象のデプスの範囲が広いほど、隣り合う中間視点の間隔を狭く設定する。

また、指標の別の例として、撮影対象のデプス範囲と撮影対象の最小デプスとの組み合わせが挙げられる。

例えば、中間視点設定部９及び中間視点設定部１６は、撮影対象のデプスの空間的な変化の大きさを表す下記の式（Ｉ）に基づいて、隣り合う中間視点の間隔を設定してもよい。

p = (d_max- d_min) / d_min …式（Ｉ）
中間視点設定部９及び中間視点設定部１６は、上記の式（１）において、パラメータｐが小さいほど、隣り合う中間視点の間隔を広く設定し、パラメータｐが大きいほど、隣り合う中間視点の間隔を狭く設定する。

（撮影装置２）
以下で、本実施形態に係る撮影装置２（カメラ）について詳細に説明する。本実施形態に係る拡張３６０ビデオデータ記録再生システム１は、上述の通り、撮影装置２と同様の構成を有する複数の撮影装置（図示せず）を含み、当該複数の撮影装置は、それぞれ、実世界のシーン（撮影対象）を撮影し、以下の（１）〜（３）の各情報を通信部７に出力する。

（１）ソースビデオ
ソースビデオは、各撮影装置が撮影した映像データに相当する。撮影装置が３６０カメラである場合、ソースビデオは、３６０カメラで撮影した３６０映像（全方位映像）である。撮影装置が一般的なカメラ（狭角カメラ）である場合、ソースビデオは、狭角カメラで撮影した映像である。

（２）カメラ位置情報
カメラ位置情報は、各撮影装置の実空間中の位置又は方向を示す。例えば、カメラ位置情報は、実空間中の既定位置を基準とする各撮影装置の空間位置を示す情報であり得る。また、カメラ位置情報は、既定方向を基準とする各撮影装置の撮影方向を示す情報であり得る。また、カメラ位置情報は、各撮影装置の撮影画角を示す情報であり得る。

（３）シーンモデル情報
シーンモデル情報は、撮影範囲の３Ｄ形状を近似する情報である。本実施形態では、シーンモデル情報として、所定の１点から周囲への距離を測定して得られるデプス情報を想定している。また、シーンモデル情報として、３Ｄモデル、複数のデプス情報、又は、それらの組合せを利用してもよい。

なお、本実施形態に係る拡張３６０ビデオデータ記録装置３は、複数の撮影装置が出力する上記のソースビデオの代わりに、３ＤＣＧ等で合成された仮想的なカメラにより撮影された仮想的な物体の映像をソースビデオ（映像データ）として処理してもよい。その場合、ソースビデオに付随して、仮想的なカメラ位置の情報が必要である。

（中間視点設定部９）
以下で、本実施形態に係る中間視点設定部９について、図１０を参照して詳細に説明する。図１０は、３次元座標におけるＸＺ面に沿って配置された複数の中間視点を示す図である。なお、中間視点設定部９が設定する中間視点の定義情報の例については、上記の項目（中間視点定義）に記載した例を参照すること。

中間視点設定部９が設定する、より詳細な中間視点の配置例を以下に示す。例えば、中間視点設定部９は、中間視点を平面上の格子点に配置する。また、中間視点設定部９は、中間視点を配置するために、仮想空間に３軸(x,y,z)の直交座標系を設定する。

中間視点設定部９が設定する中間視点の配置に関するデータ構成の例を以下に示す。例えば、中間視点設定部９は、仮想空間内での格子位置及び向きの定義情報を設定する。当該定義情報の例として、下記の（１）及び（２）等が挙げられる。

（１）基準視点オフセット:u_o= (0,0,0)
（２）平面上の格子方向ベクトル:
u_v = (0,0,d_v) .. 垂直: z軸の正方向
u_h = (d_v,0,0) .. 水平: x軸の正方向
又は、例えば、中間視点設定部９は、中間視点の個数を設定する（中間視点の個数 = 9 (3 x 3)）。又は、例えば、中間視点設定部９は、下記に示す各中間視点位置を設定する。

u_o, u_o ± u_v, u_o ± u_h, u_o ± u_v ± u_h (複号任意）
又は、例えば、中間視点設定部９は、各中間視点と関連データとのマップ情報を設定する。当該マップ情報の例として、３６０ビデオ格納形式のマップ情報（例えば、 Equirectangular等）、及び３６０ビデオ基準方向等が挙げられる。３６０ビデオ基準方向は、赤道上の基準点（赤道上の基準点 = (0,1,0) が画像の中心に対応）、又は天頂の点（天頂の点 = (0,0,1) が画像の最上部中央（または最上辺）に対応）等であり得る。

（中間３６０ビデオセット生成部１０）
以下で、本実施形態に係る中間３６０ビデオセット生成部１０について、詳細に説明する。例えば、中間３６０ビデオセット生成部１０は、上述のステップＳ２において、中間視点設定部９が設定した中間視点定義、並びに、通信部７が撮影装置２から受信したソースビデオ、カメラ位置情報及びシーンモデル情報に基づいて、中間３６０ビデオセット（複数の中間視点映像データを含む）を生成する。ここにおける中間３６０ビデオセットとは、中間視点定義で規定された各中間視点に仮想カメラを配置して撮影された映像に相当する映像データ群を示す。

概略的には、中間３６０ビデオセット生成部１０は、実際のカメラで撮影されたソースビデオから、中間視点に設置された仮想カメラで撮影した３６０ビデオ群を生成する。中間３６０ビデオセット生成部１０が中間３６０ビデオセットを生成処理することによる効果として、中間視点に対して既定の配置を決めておくことで、目標視点合成時に実際のカメラ配置に関する知識がなくても画像合成処理が実行できるようになることが挙げられる。

例えば、特定のカメラ配置の性質を想定することで視点合成処理を最適化することができるため、中間視点をそのカメラ配置と一致させることで、実際のカメラ位置の自由度を残した上で、最適化された目標視点合成処理を実行することができる利点が得られる。一般に、ユーザ指定の視点に追従して対応する画像を生成して表示するアプリーケーションにおいては、実時間且つ低遅延の目標視点合成処理が要求されるため、中間３６０ビデオセットの生成処理を設けることは効果的である。

また、中間３６０ビデオセット生成部１０が生成する中間３６０ビデオセットのデータ表現は、多視点映像の符号化及びファイル形式をベースとすることが好ましい。また、中間３６０ビデオセットに基づいて合成された目標視点映像を再生するＨＭＤは、３６０ビデオのレンダリングに最適化されるため、中間３６０ビデオセット生成部１０が生成する中間３６０ビデオセットは、ＨＭＤとの互換性（共通部分）の多い形式であることが好ましい。

また、実時間且つ低遅延での、目標視点映像の再生処理の要求から、中間３６０ビデオセット生成部１０が生成する中間視点映像データは、補間処理が簡単になる形式であることが好ましい。また、デコード処理の要求からも、中間３６０ビデオセット生成部１０が生成する中間３６０ビデオセットは、視点映像生成部１８が目標視点映像の再生処理時にまとめてアクセスし得る情報として、最小数の３６０ビデオフレームから構成されていることが好ましい。

また、中間３６０ビデオセット生成部１０が中間３６０ビデオセットを生成することにより、複数の中間視点をそれぞれ視点とする複数の映像を取得することができるため、実世界で視点を再現したい位置に多数のカメラを設置する必要がなく、機材及び設置のコストを削減できる。

（中間３６０ビデオセット生成処理）
以下で、中間３６０ビデオセット生成部１０による中間３６０ビデオセット生成処理（上述のステップＳ２）について、図１１を参照して詳細に説明する。図１１は、シーンモデル情報（デプス）に含まれる、撮影装置２と同様の構成を有するカメラＰ_ｃ１、カメラＰ_ｃ２及びカメラＰ_ｃ３と、中間視点Ｐ_ｖｋとを模式的に示した図である。

カメラＰ_ｃ１、カメラＰ_ｃ２及びカメラＰ_ｃ３を含む複数の撮影装置は、例えば、以下の（１）〜（３）のデータを拡張３６０ビデオデータ記録装置３の通信部７に送信する。

（１）ソースビデオ
- V_c1, V_c2, ..., V_cN
（２）カメラ位置情報
カメラ位置
- p_c1, p_c2, ..., p_cN
カメラ視野（方向＋視野角）
- φ_c1, φ_c2, ..., φ_cN
（３）シーンモデル情報（デプスデータ）
- D₀
また、中間３６０ビデオセット生成部１０は、上述のステップＳ２において、以下の（１）及び（２）のデータを生成する。

（１）中間360ビデオ
- V_v1, V_v2, ..., V_vK
（２）中間視点位置
例: 関数によるパラメータ表現
- p_vk= f (k) (k=1..K)
以下で、中間３６０ビデオセット生成部１０による中間３６０ビデオセット生成処理の手順を説明する。中間３６０ビデオセット生成部１０は、例えば、各中間視点k∈[1,K]に対して以下の（１）〜（４）の処理を実行し、中間視点ビデオ V_vkを導出する。なお、以下の（１）〜（４）では、中間視点ビデオV_vkを導出する方法について、特定時刻の中間視点映像データに相当する中間視点画像I_vk上の各位置の画素値を導出する手順として説明する。

（１）画像上の対象位置設定
中間３６０ビデオセット生成部１０は、中間視点画像I_vk上の対象位置をx_vk,mとして設定する。

（２）空間対応位置導出
次に、中間３６０ビデオセット生成部１０は、中間視点位置p_vk、対象位置x_vk,m、及びデプスデータD₀に基づき、x_vk,mに対応する空間上の点に相当する位置p_omを導出する。

（３）各カメラ映像の対応位置導出
次に、中間３６０ビデオセット生成部１０は、p_okとp_cnとに基づいてカメラnの画像上の空間位置p_okに相当する位置x_cn,mを導出する。

（４）対象画素値の導出
次に、中間３６０ビデオセット生成部１０は、カメラnの画像I_cn上の位置x_cn,mの画素値を画像I_vkの位置x_vk,mの画素値に設定する。なお、複数のカメラで利用可能な画素がある場合は、中間３６０ビデオセット生成部１０は、画像I_vkの位置x_vk,mの画素として、所定の基準で画素を選択する。

上記の（４）の具体例として、例えば、中間３６０ビデオセット生成部１０は、撮影対象（画像I_vkの位置x_vk,mの画素に相当）に対して解像度が最も高いカメラ（又は、撮影対象に対して最も近いカメラ）が撮影した映像を表す入力映像データ（画像I_cn上の位置x_cn,mの画素）を選択し、参照して、当該撮影対象の映像を示す中間視点映像データを生成する。又は、例えば、中間３６０ビデオセット生成部１０は、目的の中間視点（位置p_vk）から撮影対象（画像I_vkの位置x_vk,mの画素に相当）への方向に最も近い光軸を有するカメラが撮影した映像を表す入力映像データ（画像I_cn上の位置x_cn,mの画素）を優先的に参照して、当該目的の中間視点を視点とする当該撮影対象の映像を示す中間視点映像データ（中間３６０ビデオセット）を生成する。ここで、特定の入力映像データを優先的に参照するとは、特定の入力映像データのみを参照することに加え、特定の入力映像データと他の入力映像データとを共に参照する場合に、前者の比重（例えば画素値を荷重平均する場合の重み）を大きくすることも含まれる。以上の各構成を採用することにより、実際の撮影対象に最も近似した入力映像データに基づいて、中間視点映像データを生成することができる。

また、中間３６０ビデオセット生成部１０は、非オクルージョン且つランバート反射の仮定の元でレイトレーシングにより中間視点の各光線を探索することで、中間視点における360画像を生成する。より詳細には、中間３６０ビデオセット生成部１０は、通信部７が受信した複数の入力映像データの少なくとも何れかを参照して、入力映像データが示す映像を撮影したカメラの各位置と、当該カメラのパラメータと、中間視点設定部９が設定した複数の中間視点の各位置と、映像の各撮影対象のデプス（シーンモデル情報）と、に基づくレイトレーシングにより、中間視点映像データ（中間３６０ビデオセット）を生成する。これにより、実際の撮影対象に則した中間視点映像データを生成することができる。

なお、中間３６０ビデオセットが含む個々の３６０ビデオは、時刻毎に中間視点に入射する光線を既定のモデル（例えば球）にマッピングした画像を、各時刻のフレームとするビデオとして定義される。ここにおける代表的なマッピングの例として、Equirectangular、及びcube map等が挙げられる。本実施形態における中間３６０ビデオセット生成処理では、特定のマッピング方法に依存しないが、全ての中間３６０ビデオに対して共通のマッピング方法を適用することが好ましい。これにより、目標視点合成処理を簡略化することができる。

（符号化・多重化部１１）
以下で、本実施形態に係る符号化・多重化部１１について詳細に説明する。符号化・多重化部１１は、ステップＳ３において、中間３６０ビデオセット生成部１０が生成した中間３６０ビデオセットを符号化および多重化してパッケージ化した拡張３６０ビデオデータを生成して出力する。例えば、符号化・多重化部１１は、中間３６０ビデオセットが含む各３６０ビデオを既定の映像符号化方式（例えば、HEVC）で符号化する。なお、当該映像符号化方式は、隣接した中間視点の３６０ビデオとの相関を利用して、目的とする中間視点の３６０ビデオを符号化する方式であることが好ましい。

また、例えば、符号化・多重化部１１は、少なくとも、３６０ビデオセットデータとマップデータとを符号化し、多重化する。また、符号化・多重化部１１が適用する符号化方式は、所定の時刻における中間視点の中間３６０ビデオデータを選択的に読み出せる方式が好ましい。

また、例えば、符号化・多重化部１１は、３６０ビデオセットデータと共に、付加情報として、上述の目標視点設定可能範囲（所定の範囲）を示す情報も符号化し、多重化してもよい。これにより、中間視点の位置を解析することなく範囲が設定できる。

また、符号化・多重化部１１（請求項における多重化部に相当）は、中間３６０ビデオセット生成部１０（請求項における中間視点映像データ生成部に相当）が共通のマッピングを適用して生成した各々の３６０ビデオ（中間視点映像データ）を多重化することが好ましい。これにより、共通のマッピングが適用された映像のみを処理すればいいため、目標視点合成処理を簡略化することができる。

また、符号化・多重化部１１は、基準方向が同一である中間視点を視点とする映像を示す３６０ビデオ（中間視点映像データ）を多重化することが好ましい。これにより、基準方向が同一である中間視点を視点とする映像のみを処理すればいいため、目標視点合成処理を簡略化することができる。

また、符号化・多重化部１１は、各々の３６０ビデオ（中間視点映像データ）、及び当該各々の３６０ビデオと複数の中間視点とをそれぞれ対応付けたマップデータを、多重化することが好ましい。これにより、任意の中間視点に対応する映像が容易に判別できるため、目標視点合成処理を簡略化することができる。

（拡張３６０ビデオデータの形式）
以下で、符号化・多重化部１１が符号化し多重化した中間視点映像データである拡張３６０ビデオデータの形式について、図１２を参照して詳細に説明する。図１２は、拡張３６０ビデオデータと、対応する中間視点とを示す模式図である。

符号化・多重化部１１が生成する拡張３６０ビデオデータは、各中間３６０ビデオ（中間視点映像データ）に映像符号化を適用したデータである。また、符号化・多重化部１１が生成する拡張３６０ビデオデータは、マップデータを含むことが好ましい。当該マップデータは、各３６０ビデオデータと各中間視点位置との対応付けを示すデータである。マップデータが含む個々のマップの内容の例として、３６０ビデオ格納位置、及び中間視点位置等が挙げられる。例えば、３６０ビデオ格納位置は、データ先頭からのバイトオフセットによって示される。中間視点位置は、規定の基準点からの相対位置によって示される。また、別の例では、３６０ビデオ格納位置は、３６０ビデオが格納されているサイトのＵＲＬによって示される。中間視点位置は、中間視点インデックスによって示される。

（視点映像生成部１８）
以下で、本実施形態に係る視点映像生成部１８について詳細に説明する。視点映像生成部１８は、復号・逆多重化部１５が逆多重化した中間視点映像データ（中間３６０ビデオセット）を参照して、目標視点設定部１７が設定した目標視点からの映像を示す目標視点映像データを生成する。より具体的には、視点映像生成部１８は、目標視点の画像を合成するために必要な情報を中間３６０ビデオセットに含まれる３６０ビデオの画像情報から、目標視点映像データを生成する。ここで、視点映像生成部１８は、利用する３６０ビデオ又は画像領域を、目標視点（視点位置及び視線方向）と中間視点位置とから計算し、導出する。

また、視点映像生成部１８は、目標視点の位置に最も近い位置の１点又は２点の中間視点を視点とした映像を示す中間視点映像データ（３６０ビデオ）を参照して、当該目標視点からの映像を示す目標視点映像データ（３６０ビデオ）を生成することが好ましい。これにより、実際の視点に、より近似した目標視点を視点とする映像を生成することができる。

なお、以下では、目標視点に対して近傍の２つの中間視点を選択する方法を説明するが、目標視点映像生成方法はそれに限定されない。例えば、３つ以上の中間視点の３６０ビデオをマージすることにより目標視点映像を生成してもよいし、追加で含まれるデプス情報を併用して中間視点を選択する方法を採用してもよい。

（視点映像生成処理）
以下で、本実施形態に係る視点映像生成部１８による視点映像生成処理について、図１３を参照して詳細に説明する。図１３の（ａ）〜（ｃ）は、以下で説明する視点映像生成処理の各工程を模式的に示した図である。

視点映像生成部１８は、例えば、以下の（１）及び（２）のデータを参照する。

（１）中間360ビデオデータ
- V_v1, V_v2, ..., V_vK
（２）中間視点位置
例: 関数によるパラメータ表現
- p_vk= f (k) (k=1..K)
また、視点映像生成部１８は、例えば、目標視点設定部１７が設定した目標視点情報である目標視点: p_t、及び目標視野: φ_tを参照する。

そして、視点映像生成部１８は、これらの情報を参照することによって、目標視点映像（ビデオ)V_tを生成する。

以下で、視点映像生成部１８による視点映像生成処理の手順を説明する。視点映像生成部１８は、以下の（１）〜（３）の手順で、中間360ビデオセットの情報に基づいて目標視点映像を生成する。なお、以下では、目標視点映像V_tの特定時刻における画像I_tの導出処理を説明する。

（１）近傍視点設定
図１３の（ａ）が示すように、視点映像生成部１８は、目標視点p_tの近傍の代表視点p_v4及び代表視点p_v5を選択する。又は、視点映像生成部１８は、p_tが特定のp_vkと一致する場合は１点の代表視点を近傍視点として選択し、それ以外の場合は、目標視点に近い順に２点の代表視点を近傍視点として選択する。

（２）近傍サンプルの視点映像合成
図１３の（ｂ）が示すように、視点映像生成部１８は、目標視野φ_tと同方向であり、且つ同視野である、近傍視点からの視点の画像を、各近傍視点の３６０ビデオから生成する。

（３）最終視点映像合成
視点映像生成部１８は、近傍サンプル数が１点の場合は、（２）で導出した映像に視点補完処理を適用して最終視点画像を合成し、図１３の（ｃ）が示すように、近傍サンプル数が２点の場合は、２つの近傍視点から抽出した映像に視点補間処理を適用して最終視点画像を合成する。

以上のように、視点映像生成部１８は、目標視点に対応する近傍２点の３６０ビデオを選択し、それぞれ目標視野に相当する映像に変換する。そして、視点映像生成部１８は、それらに視点補間を適用することで目標視点映像を生成する。これにより、限られた数（２つ）以内の数の３６０ビデオを用いて目標視点映像を生成できる。加えて、上記手順によれば、最後の処理である（３）の工程が通常カメラ映像の視点補間の工程に相当するため、既存のアルゴリズムが再利用できるという追加の効果を奏する。なお、上記（１）の結果である近傍視点１と近傍視点２との２つの３６０ビデオから直接最終視点映像を合成する手順を用いることもできる。この構成の場合、既存のアルゴリズムの再利用は難しくなるが、中間のビデオメモリの要求量を低減できるという効果を奏する。

（実施形態１のまとめ）
以上のように、本実施形態に係る拡張３６０ビデオデータ記録装置３（映像データ生成装置）は、互いに異なる複数の視点の各々からの映像を表す複数の入力映像データの少なくとも何れかを参照し、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを生成する。

また、本実施形態に係る拡張３６０ビデオデータ再生装置４（映像データ生成装置）は、拡張３６０ビデオデータ記録装置３が生成した中間視点映像データを参照して目標視点からの映像を示す目標視点映像データを生成する。

これにより、規則的に配置された複数の中間視点に基づいて目標視点映像を生成することができるため、カメラ映像から直接視点映像を生成する場合に比べ、目標視点映像の生成及び再生を簡略化することができる。また、視点合成に必要な目標視点近傍の中間視点を、制限を利用して容易に特定可能になる。また、目標視点近傍の中間視点映像データのみから視点合成が可能であり、復号処理又はビデオメモリを削減できる。また、中間視点映像の形式を３６０ビデオの形式とすることもできるため、目標視点映像の再生アルゴリズムの一部を固定視点の３６０ビデオ再生と共有できる。

〔実施形態２〕
本発明の実施形態２について、図面に基づいて説明すれば、以下のとおりである。なお、実施形態１にて説明した拡張３６０ビデオデータ記録再生システム１が備えている部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

（拡張３６０ビデオデータ記録再生システム２０）
本実施形態に係る拡張３６０ビデオデータ記録再生システム２０について、図１４を参照して説明する。図１４は、拡張３６０ビデオデータ記録再生システム２０の構成を示すブロック図である。図１４が示すように、本実施形態に係る拡張３６０ビデオデータ記録再生システム２０は、拡張３６０ビデオデータ再生装置２１の処理部２２が中間視点設定部１６を備えていないこと以外は、実施形態１に係る拡張３６０ビデオデータ記録再生システム１と同様の構成を有している。

（中間３６０ビデオセット生成方法及び目標視点映像生成方法）
本実施形態に係る拡張３６０ビデオデータ記録装置３による中間３６０ビデオセット生成方法と、本実施形態に係る拡張３６０ビデオデータ再生装置２１による目標視点映像生成方法とについて、図１５及び図１６を参照して、詳細に説明する。図１５は、本実施形態に係る拡張３６０ビデオデータ記録装置３による中間ビデオセット生成方法の一例を説明するフローチャート図である。図１６は、本実施形態に係る拡張３６０ビデオデータ再生装置２１による目標視点映像生成方法の一例を説明するフローチャート図である。なお、実施形態１に係る中間３６０ビデオセット生成方法又は目標視点映像生成方法と同様の工程については、詳細な説明は省略する。

（中間３６０ビデオセット生成方法）
以下で、本実施形態における中間３６０ビデオセット生成方法の各工程について図１６を参照して説明する。

まず、通信部７は、撮影装置２が送信した映像データを受信する（ステップＳ２０）。

次に、中間視点設定部９は、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点を設定し、設定した中間視点の配置に関する情報（中間視点定義情報）を、中間３６０ビデオセット生成部１０、及び符号化・多重化部１１に送信する（ステップＳ２１）。

次に、中間３６０ビデオセット生成部１０は、通信部７が受信した複数の映像データの少なくとも何れかを参照し、中間視点設定部９の設定に基づいて配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを生成する（ステップＳ２２）。

次に、符号化・多重化部１１は、中間３６０ビデオセット生成部１０が生成した各々の中間視点映像データ（中間３６０ビデオセット）と、中間視点設定部９から送信された中間視点定義情報とを符号化し、符号化した各データを多重化することにより、拡張３６０ビデオデータを生成する（ステップＳ２３）。

次に、通信部７は、符号化・多重化部１１が生成した拡張３６０ビデオデータを拡張３６０ビデオデータ再生装置２１に送信する（ステップＳ２４）。

（目標視点映像生成方法）
以下で、本実施形態における目標視点映像生成方法の各工程について図１６を参照して説明する。

まず、受信部１２は、拡張３６０ビデオデータ記録装置３の通信部７が送信した拡張３６０ビデオデータを受信する（ステップＳ３０）。

復号・逆多重化部１５は、受信部１２が受信した拡張３６０ビデオデータを復号し、復号したデータを逆多重化することにより、中間３６０ビデオセット及び中間視点定義情報を生成し、生成した中間視点定義情報を読出して中間視点定義を設定する（ステップＳ３１）。

目標視点設定部１７は、目標視点を設定する（ステップＳ３２）。

視点映像生成部１８は、復号・逆多重化部１５が逆多重化した中間３６０ビデオセットと、復号・逆多重化部１５が設定した中間視点定義と、を参照して、目標視点設定部１７が設定した目標視点からの映像を示す目標視点映像データを生成する（ステップＳ３３）。

表示部１４は、視点映像生成部１８が生成した目標視点映像データが示す映像を表示する（ステップＳ３４）。

上記に示した本実施形態における中間３６０ビデオセット生成方法及び目標視点映像生成方法と、実施形態１における中間３６０ビデオセット生成方法及び目標視点映像生成方法との差異について説明する。まず、本実施形態における方法は、中間視点定義が明示的にシグナルされる点で実施形態１における方法と異なる。これにより、実際に撮影された映像データに基づいて中間視点映像データを生成した拡張３６０ビデオデータ記録装置３から、拡張３６０ビデオデータ再生装置２１に中間視点に関する定義情報が送信されるため、拡張３６０ビデオデータ再生装置２１は、当該定義情報を参照することにより、対象シーンの構造又は広さに応じて適した中間視点を設定することができる。例えば、対象シーンの構造が複雑である場合、中間視点設定部９は、ステップＳ２１において、高密度な中間視点を設定し、当該中間視点の定義情報を符号化・多重化部１１に送信する。又は、対象シーンの構造が平易である場合、中間視点設定部９は、ステップＳ２１において、低密度な中間視点を設定し、当該中間視点の定義情報を符号化・多重化部１１に送信する。

中間視点設定部９が生成する中間視点定義情報は、中間視点位置の決定に必要な全パラメータのうち少なくとも一部のパラメータを含む情報と定義できる。そのようなパラメータの例として、座標系又は格子の種類を表す視点配置タイプ、格子の位置、格子の方向、視点間隔、及び視点範囲等が挙げられる。例えば、中間視点設定部９は、視点配置タイプを、既定の配置（平面正方格子、又は単純立方格子等）から選択する。また、中間視点設定部９が生成する視点間隔は、視点間の間隔を示す情報（例: 正方格子の格子点間隔）であり得る。また、中間視点設定部９が生成する視点範囲は、視点が配置される空間の範囲を示す情報であり得る。

（実施形態２のまとめ）
以上のように、本実施形態に係る拡張３６０ビデオデータ記録装置３（請求項における映像データ生成装置に相当）は、各々の中間視点映像データ（中間３６０ビデオセット）と、複数の中間視点の定義に関する情報（中間視点定義情報）とを多重化する。これにより、中間視点映像データを参照して目標視点映像データを生成する際に、中間視点定義情報を参照することにより、対象シーンの構造又は広さに応じて適した中間視点を設定することができる。

〔実施形態３〕
本発明の実施形態３について、図面に基づいて説明すれば、以下のとおりである。なお、実施形態１及び実施形態２にて説明した拡張３６０ビデオデータ記録再生システム３０が備えている部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

（拡張３６０ビデオデータ記録再生システム３０）
本実施形態に係る拡張３６０ビデオデータ記録再生システム３０について、図１７を参照して説明する。図１７の（ａ）は、本発明の実施形態３に係る拡張３６０ビデオデータ記録再生システム３０の構成を示すブロック図である。図１７の（ｂ）は、本発明の実施形態３に係る拡張３６０ビデオデータ再生部３５又は拡張３６０ビデオデータ再生部３６の構成を示すブロック図である。図１７の（ａ）が示すように、本実施形態に係る拡張３６０ビデオデータ記録再生システム３０は、実施形態１及び実施形態２に係る拡張３６０ビデオデータ記録装置３と同様の構成を有する拡張３６０ビデオデータ記録装置３２及び拡張３６０ビデオデータ記録装置３３と、拡張３６０ビデオデータ再生装置３１と、を含む。

（拡張３６０ビデオデータ再生装置３１）
拡張３６０ビデオデータ再生装置３１は、処理部３４以外は、実施形態２に係る拡張３６０ビデオデータ再生装置２１と同様の構成を有している。処理部３４は、実施形態２に係る復号・逆多重化部１５及び視点映像生成部１８を備えている拡張３６０ビデオデータ再生部３５及び拡張３６０ビデオデータ再生部３６と、実施形態２に係る目標視点設定部１７と、視点映像選択部３７とを備えている。

視点映像選択部３７は、目標視点設定部１７が設定した目標視点位置に基づいて、各拡張３６０ビデオデータ再生部から入力される複数の視点映像の何れかを選択して、最終的な目標視点映像データを生成する。また、視点映像選択部３７は、中間視点定義と目標視点とを比較した上で最終的な目標視点映像データの生成に必要な中間３６０ビデオセットのみを復号するように復号・逆多重化部１５を制御してもよい。

（中間３６０ビデオセット生成方法及び目標視点映像生成方法）
本実施形態に係る拡張３６０ビデオデータ再生装置３１による目標視点映像生成方法について、図１８を参照して、詳細に説明する。図１８は、本実施形態に係る拡張３６０ビデオデータ再生装置３１による目標視点映像生成方法の一例を説明するフローチャート図である。なお、実施形態１に係る中間３６０ビデオセット生成方法又は目標視点映像生成方法と同様の工程については、詳細な説明は省略する。

（目標視点映像生成方法）
以下で、本実施形態における目標視点映像生成方法の各工程について図１６を参照して説明する。

まず、受信部１２は、拡張３６０ビデオデータ記録装置３２の通信部７が送信した拡張３６０ビデオデータと、拡張３６０ビデオデータ記録装置３３の通信部７が送信した拡張３６０ビデオデータと、を受信する（ステップＳ４０）。

拡張３６０ビデオデータ再生部３５の各復号・逆多重化部１５と、拡張３６０ビデオデータ再生部３６の各復号・逆多重化部１５とは、それぞれ、受信部１２が受信した拡張３６０ビデオデータを復号し、復号したデータを逆多重化することにより、中間３６０ビデオセット及び中間視点定義情報を生成し、生成した中間視点定義情報を読出して中間視点定義を設定する（ステップＳ４１）。

目標視点設定部１７は、目標視点を設定する（ステップＳ４２）。

拡張３６０ビデオデータ再生部３５の視点映像生成部１８と、拡張３６０ビデオデータ再生部３６の視点映像生成部１８とは、それぞれ、復号・逆多重化部１５が逆多重化した中間３６０ビデオセットと、復号・逆多重化部１５が設定した中間視点定義と、を参照して、目標視点設定部１７が設定した目標視点からの映像を示す目標視点映像データを生成する（ステップＳ４３）。

視点映像選択部３７は、目標視点設定部１７が設定した目標視点位置に基づいて、拡張３６０ビデオデータ再生部３５の視点映像生成部１８と拡張３６０ビデオデータ再生部３６の視点映像生成部１８とが生成した各目標視点映像データの何れか１つ以上を選択して、最終的な目標視点映像データを生成する（ステップＳ４４）。

表示部１４は、視点映像選択部３７が選択又は生成した目標視点映像データが示す映像を表示する（ステップＳ４４）。

なお、視点映像選択部３７における最終的な目標視点映像の選択にはいくつかの方法が考えられるため、以下で列挙する。

（目標視点映像選択の例１）
目標視点に近い中間視点から合成された目標視点映像データを選択するよう視点映像選択部３７を構成できる。すなわち、視点映像選択部３７は、各中間視点定義情報と目標視点とを比較して、より目標視点に近い中間視点を含むことを示す中間視点定義情報に対応する視点映像を選択する。

例えば、一方の中間３６０ビデオセット（中間３６０ビデオセットＡ）では、水平方向の成分と垂直方向の成分とが格子方向を表すベクトルであるような平面上の格子点を中間視点に相当するデータとして、他方の３６０ビデオセット（中間３６０ビデオセットＢ）では、水平方向の線分上の点であって、より広い水平方向の範囲に含まれる点を中間視点に相当するデータとする場合を考える。

視点映像選択部３７は、目標視点の水平方向位置が、中間３６０ビデオセットＡに含まれる中間視点の水平位置の範囲内にある場合、中間３６０ビデオセットＡを用いて合成された視点映像を選択する。それ以外の場合には、中間ビデオセットＢを用いて合成された視点映像を選択する。このような視点映像の選択方法により、全体の中間視点の数を少なく抑えつつ、特定の範囲内では、より目標視点の位置に近い中間視点を利用した目標視点映像を合成することができる。

（目標視点映像選択の例２）
特定の中間視点定義情報が、目標視点近傍において、間隔がより狭い格子点に配置された中間視点を含むことを示す場合、当該中間視点定義情報に対応する視点映像を選択する。

例えば、一方の中間３６０ビデオセット（中間３６０ビデオセットＣ）を、狭い間隔の格子点であって比較的狭い空間範囲に配置された中間視点に相当するデータとし、他方の中間３６０ビデオセット（中間３６０ビデオセットＤ）を、広い間隔の格子点であって比較的広い空間範囲に配置された中間視点に相当するデータとする場合を考える。

視点映像選択部３７は、中間３６０ビデオセットＣに対応する中間視点の範囲内に目標視点がある場合には、中間３６０ビデオセットＣを用いて合成された視点映像を選択し、それ以外の場合には、中間３６０ビデオセットＤを用いて合成された視点映像を選択する。これにより、撮影対象シーンの特定の範囲でデプスの変化が大きいような場合に、全ての目標視点位置に対して、間隔の狭い中間視点の中間３６０ビデオセットを利用する場合に比べて、特定の範囲でのみ間隔の狭い中間視点、それ以外の範囲ではより間隔の広い中間視点の中間３６０ビデオセットを選択的に利用できるため中間視点の総数を抑制して目標視点映像データを生成する処理を軽減することができる（データ伝送量軽減）。

上記に示した本実施形態における目標視点映像生成方法と、実施形態１における目標視点映像生成方法との差異について説明する。まず、本実施形態における方法は、同一シーンを２種類以上の異なる中間視点セットで表現したデータを組み合わせて最終の視点映像を合成する点で、実施形態１における方法と異なる。これにより、中間視点を適宜選択することで、所望の画質又はデータ量の目標視点映像データを生成することができる。

（実施形態３のまとめ）
以上のように、本実施形態に係る拡張３６０ビデオデータ再生装置３１（請求項における映像データ生成装置）は、中間視点の定義がそれぞれ異なる、中間視点映像データの複数のセットを取得し、当該複数のセットのうちから、中間視点映像データを１つ以上選択し、参照して、目標視点映像データを生成する。これにより、中間視点を適宜選択することで、所望の画質又はデータ量の目標視点映像データを生成することができる。

〔変形例１：複数視点映像の再生〕
上述の各実施形態においては単一の目標視点に対して、対応する一つ視点映像を出力する拡張３６０ビデオデータ再生装置について記載した。拡張３６０ビデオデータ再生装置を、複数の目標視点を設定し、各目標視点に対応する複数の視点映像を出力するような構成とすることも可能である。例えば、当該構成では、左目用と右目用との２つの目標視点位置を設定し、左目用と右目用との各視点映像をＨＭＤに出力して再生することで立体視が実現できる。

〔変形例２：ステレオ表示用の中間視点定義情報〕
ステレオ表示用に左目用の拡張３６０ビデオデータと右目用の拡張３６０ビデオデータとを用いるように、拡張３６０ビデオデータ記録再生システムを構成してもよい。その場合、一方の目（例えば左目）の中間視点定義情報を参照して、他方の目（例えば右目）の中間視点を決定する構成にすることが好ましい。具体的には、左目の中間視点として所定の平面上の格子点を設定し、右目の中間視点としては左目の中間視点から所定の距離（例えば一般的な左目と右目との間の距離）水平方向に変位した位置を設定する。これにより、右目の中間視点を指定するための中間視点定義情報のデータ量を削減できるとともに、特定の左目の中間視点が与えられた状況における右目の中間視点の導出が容易となる。

〔ソフトウェアによる実現例〕
ビデオデータ記録装置３、３２及び３３並びにビデオデータ再生装置４、２１及び３１の制御ブロック（特に処理部８、１３、２２及び３４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、ビデオデータ記録装置３、３２及び３３並びにビデオデータ再生装置４、２１及び３１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る映像データ生成装置（拡張３６０ビデオデータ記録装置３、３２、３３）は、映像データを生成する映像データ生成装置であって、互いに異なる複数の視点の各々からの映像を表す複数の入力映像データを取得する入力映像データ取得部（通信部７）と、上記複数の入力映像データの少なくとも何れかを参照し、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを生成する中間視点映像データ生成部（中間３６０ビデオセット生成部１０）と、を備えている。

上記の構成によれば、中間視点映像データを参照して目標視点映像データを生成する映像データ生成装置において、規則的に配置された複数の中間視点に基づいて目標視点映像を生成することができるため、カメラ映像から直接視点映像を生成する場合に比べ、目標視点映像の生成及び再生を簡略化することができる。

本発明の態様２に係る映像データ生成装置（拡張３６０ビデオデータ記録装置３、３２、３３）では、上記態様１において、上記複数の中間視点のうちで上記少なくとも１次元方向において隣り合う中間視点間の距離は、等しくてもよい。

上記の構成によれば、目標視点に対して近傍の中間視点を容易に特定できる。

本発明の態様３に係る映像データ生成装置（拡張３６０ビデオデータ記録装置３、３２、３３）では、上記態様１又は２において、上記複数の中間視点は、２次元以上の直線又は曲線座標系において２次元方向に対して規則的に配置されてもよい。

上記の構成によれば、目標視点に対して近傍の中間視点をさらに容易に特定できる。

本発明の態様４に係る映像データ生成装置（拡張３６０ビデオデータ記録装置３、３２、３３）では、上記態様１又は２において、上記複数の中間視点は、３次元以上の直線又は曲線座標系において３次元方向に対して規則的に配置されていてもよい。

上記の構成によれば、目標視点に対して近傍の中間視点をさらに容易に特定できる。

本発明の態様５に係る映像データ生成装置（拡張３６０ビデオデータ記録装置３、３２、３３）では、上記態様１〜４において、上記複数の中間視点の配置は、上記１次元以上の直線又は曲線座標系における所定の範囲内に限定されてもよい。

上記の構成によれば、目標視点合成時に利用しない画像情報を減らすことができる。

本発明の態様６に係る映像データ生成装置（拡張３６０ビデオデータ記録装置３、３２、３３）では、上記態様５において、上記所定の範囲が他の方向と比較して特定の方向に広い場合、上記複数の中間視点は、当該特定の方向に沿った直線上又は平面上に配置されてもよい。

上記の構成によれば、目標視点合成時に必要な中間視点が所定の範囲内で適切に配置される。

本発明の態様７に係る映像データ生成装置（拡張３６０ビデオデータ記録装置３、３２、３３）では、上記態様１〜５において、上記中間視点映像データ生成部は、上記複数の中間視点のうちで上記少なくとも１次元方向において隣り合う中間視点間の距離を、上記複数の入力映像データが示す各撮影対象のデプスの空間的な変化の大きさを示す指標を参照し、当該変化の大きさが大きいほど、狭く設定してもよい。

上記の構成によれば、撮影対象のデプスの空間的な変化の大きさが小さい場合に、必要な中間視点の数を少なく抑えることで、中間視点映像データのデータ量を削減できる。

本発明の態様８に係る映像データ生成装置（拡張３６０ビデオデータ記録装置３、３２、３３）では、上記態様１〜７において、上記中間視点映像データ生成部は、上記複数の入力映像データの少なくとも何れかを参照し、上記映像を撮影したカメラの各位置と、当該カメラのパラメータと、上記複数の中間視点の各位置と、上記映像の各撮影対象に関するシーンモデル情報と、に基づいて上記中間視点映像データを生成してもよい。

上記の構成によれば、実際の撮影対象に則した中間視点映像データを生成することができる。

本発明の態様９に係る映像データ生成装置（拡張３６０ビデオデータ記録装置３、３２、３３）では、上記態様１〜８において、上記中間視点映像データ生成部は、目的の中間視点から撮影対象への方向に最も近い光軸を有するカメラが撮影した映像を表す入力映像データを優先的に参照して、当該目的の中間視点を視点とする当該撮影対象の映像を示す上記中間視点映像データを生成してもよい。

上記の構成によれば、実際の撮影対象に最も近似した入力映像データに基づいて、中間視点映像データを生成することができる。

本発明の態様１０に係る映像データ生成装置（拡張３６０ビデオデータ記録装置３、３２、３３）では、上記態様１〜９において、上記中間視点映像データ生成部が生成した各々の中間視点映像データを多重化する多重化部を備えてもよい。

上記の構成によれば、複数の中間視点データを一括で送信できる。

本発明の態様１１に係る映像データ生成装置（拡張３６０ビデオデータ記録装置３、３２、３３）では、上記態様１０において、上記多重化部は、上記中間視点映像データ生成部が共通のマッピングを適用して生成した上記各々の中間視点映像データを多重化してもよい。

上記の構成によれば、共通のマッピングが適用された映像のみを処理すればいいため、目標視点合成処理を簡略化すること ができる。

本発明の態様１２に係る映像データ生成装置（拡張３６０ビデオデータ記録装置３、３２、３３）では、上記態様１０又は１１において、上記多重化部は、基準方向が同一である中間視点を視点とする映像を示す上記各々の中間視点映像データを多重化してもよい。

上記の構成によれば、基準方向が同一である中間視点を視点とする映像のみを処理すればいいため、目標視点合成処理を簡略化することができる。

本発明の態様１３に係る映像データ生成装置（拡張３６０ビデオデータ記録装置３、３２、３３）では、上記態様１０〜１２において、上記多重化部は、上記各々の中間視点映像データ、及び当該各々の中間視点映像データと上記複数の中間視点とをそれぞれ対応付けたマップデータを、多重化してもよい。

上記の構成によれば、任意の中間視点に対応する映像が容易に判別できるため、目標視点合成処理を簡略化することができる。

本発明の態様１４に係る映像データ生成装置（拡張３６０ビデオデータ記録装置３、３２、３３）では、上記態様１０〜１３において、上記多重化部は、上記各々の中間視点映像データと、上記複数の中間視点の配置が上記１次元以上の直線又は曲線座標系における所定の範囲内に限定されることを示す情報とを多重化してもよい。

上記の構成によれば、中間視点の位置を解析することなく範囲が設定できる。

本発明の態様１５に係る映像データ生成装置（拡張３６０ビデオデータ記録装置３、３２、３３）では、上記態様１０〜１４において、上記多重化部は、上記各々の中間視点映像データと、上記複数の中間視点の定義に関する情報とを多重化してもよい。

上記の構成によれば、中間視点映像データを参照して目標視点映像データを生成する際に、中間視点定義情報を参照することにより、対象シーンの構造又は広さに応じて適した中間視点を設定することができる。

本発明の態様１６に係る映像データ生成装置（拡張３６０ビデオデータ再生装置４、２１、３１）は、目標視点からの映像を示す映像データを生成する映像データ生成装置であって、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを取得する中間視点映像データ取得部（受信部１２）と、上記中間視点映像データ取得部が取得した中間視点映像データを参照して上記目標視点からの映像を示す目標視点映像データを生成する目標視点映像データ生成部（視点映像生成部１８）と、を備えている。

上記の構成によれば、規則的に配置された複数の中間視点に基づいて目標視点映像を生成することができるため、カメラ映像から直接視点映像を生成する場合に比べ、目標視点映像の生成及び再生を簡略化することができる。

本発明の態様１７に係る映像データ生成装置（拡張３６０ビデオデータ再生装置４、２１、３１）では、上記態様１６において、上記目標視点映像データ生成部は、上記目標視点の位置に最も近い位置の１点又は２点の中間視点を視点とした映像を示す中間視点映像データを参照して、当該目標視点からの映像を示す目標視点映像データを生成してもよい。

上記の構成によれば、実際の視点に、より近似した目標視点を視点とする映像を生成することができる 。

本発明の態様１８に係る映像データ生成装置（拡張３６０ビデオデータ再生装置３１）では、上記態様１６又は１７において、上記中間視点映像データ取得部は、中間視点の定義がそれぞれ異なる、上記中間視点映像データの複数のセットを取得し、
上記目標視点映像データ生成部は、上記中間視点映像データ取得部が取得した上記複数のセットから生成される複数の目標視点映像を１つ以上選択して、上記目標視点映像データを生成してもよい。

上記の構成によれば、中間視点を適宜選択することで、所望の画質又は処理負荷の目標視点映像データを生成することができる。

本発明の態様１９に係る映像再生装置（拡張３６０ビデオデータ再生装置３１）は、上記態様１６〜１８の何れか１つの映像データ生成装置と上記目標視点映像データ生成部が生成した上記目標視点映像データが示す映像を表示する表示部と、を備えている。

上記の構成によれば、目標視点映像データが示す映像データを表示することができる。

本発明の態様２０に係る映像データ生成方法は、映像データを生成する映像データ生成装置による映像データ生成方法であって、互いに異なる複数の視点の各々からの映像を表す複数の入力映像データを取得する入力映像データ取得工程と、上記複数の入力映像データの少なくとも何れかを参照し、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを生成する中間視点映像データ生成工程と、を含む。

上記の構成によれば、上記態様１と同様の効果を奏する。

本発明の態様２１に係る映像データ生成方法は、目標視点からの映像を示す映像データを生成する映像データ生成装置による映像データ生成方法であって、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを取得する中間視点映像データ取得工程と、上記中間視点映像データ取得工程で取得した中間視点映像データを参照して上記目標視点からの映像を示す目標視点映像データを生成する目標視点映像データ生成工程と、を含む。

上記の構成によれば、上記態様１６と同様の効果を奏する。

本発明の各態様に係る映像データ生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記映像データ生成装置が備える各部（ソフトウェア要素）として動作させることにより上記映像データ生成装置をコンピュータにて実現させる映像データ生成装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

（関連出願の相互参照）
本出願は、２０１７年４月５日に出願された日本国特許出願：特願２０１７−０７５３６１に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。

１、３０ 拡張３６０ビデオデータ記録再生システム
２ 撮影装置
３、３２、３３ 拡張３６０ビデオデータ記録装置
４、２１、３１ 拡張３６０ビデオデータ再生装置
５ 撮影部
６ 送信部
７ 通信部
８、１３、２２、３４ 処理部
９、１６ 中間視点設定部
１０ 中間３６０ビデオセット生成部
１１ 符号化・多重化部
１２ 受信部
１４ 表示部
１５ 復号・逆多重化部
１７ 目標視点設定部
１８ 視点映像生成部
３５、３６ 拡張３６０ビデオデータ再生部
３７ 視点映像選択部

Claims (25)

1. 映像データを生成する映像データ生成装置であって、
   互いに異なる複数の視点の各々からの映像を表す複数の入力映像データを取得する入力映像データ取得部と、
   上記複数の入力映像データの少なくとも何れかを参照し、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを生成する中間視点映像データ生成部と、を備えていることを特徴とする、映像データ生成装置。
2. 上記複数の中間視点のうちで上記少なくとも１次元方向において隣り合う中間視点間の距離は、等しいことを特徴とする、請求項１に記載の映像データ生成装置。
3. 上記複数の中間視点は、２次元以上の直線又は曲線座標系において２次元方向に対して規則的に配置されていることを特徴とする、請求項１又は２に記載の映像データ生成装置。
4. 上記複数の中間視点は、３次元以上の直線又は曲線座標系において３次元方向に対して規則的に配置されていることを特徴とする、請求項１又は２に記載の映像データ生成装置。
5. 上記複数の中間視点の配置は、上記１次元以上の直線又は曲線座標系における所定の範囲内に限定されることを特徴とする、請求項１〜４の何れか１項に記載の映像データ生成装置。
6. 上記所定の範囲が他の方向と比較して特定の方向に広い場合、上記複数の中間視点は、当該特定の方向に沿った直線上又は平面上に配置されることを特徴とする、請求項５に記載の映像データ生成装置。
7. 上記中間視点映像データ生成部は、上記複数の中間視点のうちで上記少なくとも１次元方向において隣り合う中間視点間の距離を、上記複数の入力映像データが示す各撮影対象のデプスの空間的な変化の大きさを示す指標を参照し、当該変化の大きさが大きいほど、狭く設定することを特徴とする、請求項１〜５の何れか１項に記載の映像データ生成装置。
8. 上記中間視点映像データ生成部は、上記複数の入力映像データの少なくとも何れかを参照し、上記映像を撮影したカメラの各位置と、当該カメラのパラメータと、上記複数の中間視点の各位置と、上記映像の各撮影対象に関するシーンモデル情報と、に基づいて上記中間視点映像データを生成することを特徴とする、請求項１〜７の何れか１項に記載の映像データ生成装置。
9. 上記中間視点映像データ生成部は、目的の中間視点から撮影対象への方向に最も近い光軸を有するカメラが撮影した映像を表す入力映像データを優先的に参照して、当該目的の中間視点を視点とする当該撮影対象の映像を示す上記中間視点映像データを生成することを特徴とする、請求項１〜８の何れか１項に記載の映像データ生成装置。
10. 上記中間視点映像データ生成部が生成した各々の中間視点映像データを多重化する多重化部を備えていることを特徴とする、請求項１〜９の何れか１項に記載の映像データ生成装置。
11. 上記多重化部は、上記中間視点映像データ生成部が共通のマッピングを適用して生成した上記各々の中間視点映像データを多重化することを特徴とする、請求項１０に記載の映像データ生成装置。
12. 上記多重化部は、基準方向が同一である中間視点を視点とする映像を示す上記各々の中間視点映像データを多重化することを特徴とする、請求項１０又は１１に記載の映像データ生成装置。
13. 上記多重化部は、上記各々の中間視点映像データ、及び当該各々の中間視点映像データと上記複数の中間視点とをそれぞれ対応付けたマップデータを、多重化することを特徴とする、請求項１０〜１２の何れか１項に記載の映像データ生成装置。
14. 上記多重化部は、上記各々の中間視点映像データと、上記複数の中間視点の配置が上記１次元以上の直線又は曲線座標系における所定の範囲内に限定されることを示す情報とを多重化することを特徴とする、請求項１０〜１３の何れか１項に記載の映像データ生成装置。
15. 上記多重化部は、上記各々の中間視点映像データと、上記複数の中間視点の定義に関する情報とを多重化することを特徴とする、請求項１０〜１４の何れか１項に記載の映像データ生成装置。
16. 目標視点からの映像を示す映像データを生成する映像データ生成装置であって、
    １次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを取得する中間視点映像データ取得部と、
    上記中間視点映像データ取得部が取得した中間視点映像データを参照して上記目標視点からの映像を示す目標視点映像データを生成する目標視点映像データ生成部と、を備えていることを特徴とする、映像データ生成装置。
17. 上記目標視点映像データ生成部は、上記目標視点の位置に最も近い位置の１点又は２点の中間視点を視点とした映像を示す中間視点映像データを参照して、当該目標視点からの映像を示す目標視点映像データを生成することを特徴とする、請求項１６に記載の映像データ生成装置。
18. 上記中間視点映像データ取得部は、中間視点の定義がそれぞれ異なる、上記中間視点映像データの複数のセットを取得し、
    上記目標視点映像データ生成部は、上記中間視点映像データ取得部が取得した上記複数のセットから生成される複数の目標視点映像を１つ以上選択して、上記目標視点映像データを生成することを特徴とする、請求項１６又は１７に記載の映像データ生成装置。
19. 上記請求項１６〜１８の何れか１項に記載の映像データ生成装置と、
    上記目標視点映像データ生成部が生成した上記目標視点映像データが示す映像を表示する表示部と、を備えている、映像再生装置。
20. 映像データを生成する映像データ生成装置による映像データ生成方法であって、
    互いに異なる複数の視点の各々からの映像を表す複数の入力映像データを取得する入力映像データ取得工程と、
    上記複数の入力映像データの少なくとも何れかを参照し、１次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを生成する中間視点映像データ生成工程と、を含むことを特徴とする、映像データ生成方法。
21. 目標視点からの映像を示す映像データを生成する映像データ生成装置による映像データ生成方法であって、
    １次元以上の直線又は曲線座標系において少なくとも１次元方向に対して規則的に配置された複数の中間視点のそれぞれを視点とする映像を示す中間視点映像データを取得する中間視点映像データ取得工程と、
    上記中間視点映像データ取得工程で取得した中間視点映像データを参照して上記目標視点からの映像を示す目標視点映像データを生成する目標視点映像データ生成工程と、を含むことを特徴とする、映像データ生成方法。
22. 請求項１に記載の映像データ生成装置としてコンピュータを機能させるための制御プログラムであって、上記入力映像データ取得部、及び上記中間視点映像データ生成部としてコンピュータを機能させるための制御プログラム。
23. 請求項１６に記載の映像データ生成装置としてコンピュータを機能させるための制御プログラムであって、上記中間視点映像データ取得部、及び上記目標視点映像データ生成部としてコンピュータを機能させるための制御プログラム。
24. 請求項２２に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
25. 請求項２３に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images