JP7497683B2 - 映像再生装置、再生方法、プログラム、３ｄ形状映像データの生成方法 - Google Patents

Description

本技術は、映像再生装置、再生方法、プログラム、３Ｄ形状映像データの生成方法に関し、特に３Ｄオブジェクトを含む映像の映像再生装置、再生方法、プログラム、３Ｄ形状映像データの生成方法に関する。

従来、現実の３Ｄ空間をセンシングした情報、例えば異なる視点から被写体を撮像した多視点映像を用いて、視聴空間内に３Ｄのオブジェクトを生成し、それが視聴空間内に存在しているかのように見える映像（Volumetric Videoとも言う）を生成する方法が考えられた（例えば、特許文献１）。

国際公開第２０１７／０８２０７６号

上述した方法により生成された映像が、被写体の実際の映像を用いて生成された３Ｄ形状映像であることから、視聴者は、被写体がより身近にいるような没入感を味わうことができる。

しかしながら、視聴者が、触る、近づくといったような動作を視聴空間内における被写体の３Ｄオブジェクトに対して行っても、被写体の３Ｄオブジェクトは、視聴者の動きとは無関係にあらかじめ定められた動きを示すのみであり、視聴者の動作に対応した反応、即ちインタラクティブな反応を示すことができない。そのため、視聴者の没入の度合いが損なわれるおそれがあった。

本開示は、このような状況に鑑みてなされたものであり、視聴者の没入の度合いの低下を抑制するものである。

本技術の一側面の映像再生装置は、異なる視点から被写体を撮像した複数の視点映像から生成される第１の３Ｄ形状映像と、前記第１の３Ｄ形状映像の被写体と同一の被写体の異なる動きを表す第２の３Ｄ形状映像とを取得する取得部と、前記第１の３Ｄ形状映像を視聴している視聴者の状態に基づいて、前記第１の３Ｄ形状映像のフレームから前記第２の３Ｄ形状映像のフレームへ、再生するフレームを切り替える切り替え処理部と、を備える映像再生装置である。

本技術の一側面の再生方法は、映像再生装置が、異なる視点から被写体を撮像した複数の視点映像から生成される第１の３Ｄ形状映像と、前記第１の３Ｄ形状映像の被写体と同一の被写体の異なる動きを表す第２の３Ｄ形状映像とを取得し、前記第１の３Ｄ形状映像を視聴している視聴者の状態に基づいて、前記第１の３Ｄ形状映像のフレームから前記第２の３Ｄ形状映像のフレームへ、再生するフレームを切り替える、再生方法である。

本開示に係る撮像から３Ｄ形状映像の視聴までの概要を説明する図である。 ３Ｄ形状映像の例を説明する図である。 本開示に係る第１実施の形態の切り替え動作例の概要を説明する図である。 図３の具体例を示す図である。 図３の切り替え動作の具体例を説明する図である。 本開示に係る第１実施の形態の構成例を示すブロック図である。 図６の映像生成装置１の生成処理を説明するフローチャートである。 図６の映像再生装置２の再生処理を説明するフローチャートである。 図８のトリガ取得処理を説明するフローチャートである。 図８のフレーム番号選択処理を説明するフローチャートである。 本開示に係る第２実施の形態の切り替え動作例の概要を説明する図である。 図１１の切り替え動作の応用例を説明する図である。 本開示に係る第２実施の形態の切り替えメタデータの構成例を示す図である。 本開示に係る第２実施の形態の構成例を示すブロック図である。 図１４の映像生成装置１０１の処理を説明するフローチャートである。 図１５の切り替えメタデータ生成処理を説明するフローチャートである。 図１４の映像再生装置１０２の処理を説明するフローチャートである。 図１７のトリガ取得処理を説明するフローチャートである。 図１７のフレーム番号選択処理を説明するフローチャートである。 本開示に係る第３実施の形態の切り替え動作例の概要を説明する図である。 ３Ｄオブジェクト、および視聴者の視線ベクトルについて説明する図である。 本開示に係る第３実施の形態の構成例を示すブロック図である。 図２２の映像生成装置２０１の処理を説明するフローチャートである。 図２３の視線情報生成処理を説明するフローチャートである。 図１７のフレーム番号選択処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．本開示の前提（図１、図２）
１．第１実施の形態（図３乃至図１０）
２．第２実施の形態（図１１乃至図１９）
３．第３実施の形態（図２０乃至図２５）

＜本開示の前提＞
（撮像から３Ｄ形状映像の視聴までの概要）
図１は、撮像から３Ｄ形状映像の視聴までの処理の概要を示す図である。

図１に示されるように、３Ｄ形状映像の生成には、複数の撮像装置１－１乃至１－３による撮像と、３Ｄモデリングにより３ＤオブジェクトＭ０１を生成する処理が含まれる。

具体的には、複数の撮像装置１－１乃至１－３は、図１に示されるように、被写体＃Ｏｂ１を取り囲むように、被写体＃Ｏｂ１の外側に配置される。図１は、撮像装置の台数が３台の例を示しており、撮像装置１－１乃至１－３が被写体＃Ｏｂ１の周りに配置されている。図１の例においては、所定の動作をとっている人物が被写体＃Ｏｂ１とされている。

同期して撮像された３台の撮像装置１－１乃至１－３の映像フレームを用いて３Ｄモデリングが行われ、３台の撮像装置１－１乃至１－３の映像フレーム単位ごとに被写体＃Ｏｂ１の３Ｄオブジェクトが生成される。

３Ｄオブジェクトの形式は、例えば、被写体＃Ｏｂ１のジオメトリ情報を、ポリゴンメッシュと呼ばれる、頂点（Vertex）と頂点間のつながりで表したメッシュデータと、各ポリゴンメッシュに対応して色情報とを保有する形式であってもよいし、形状情報および属性情報（特に色情報）を持った３Ｄ空間上の点の集合であるPoint Cloud形式などであってもよい。

そして、一連の動きを表す被写体の３Ｄオブジェクトを用いて３Ｄ形状映像が生成される。３Ｄ形状映像は、一連の動きをとっている被写体の３Ｄオブジェクトを含む複数のフレームの時系列によって構成される。３Ｄオブジェクトには、適宜、所定の空間を表す背景の映像が合成される。

生成された３Ｄ形状映像のデータを含むコンテンツデータは、再生側の装置に伝送され、再生される。３Ｄ形状映像のデータが再生され、被写体の３Ｄオブジェクトのレンダリングが行われることにより、視聴者の視聴デバイスに３Ｄ形状映像が表示される。図１の例においては、ディスプレイＤ１、HMD（Head Mount Display）Ｄ２が視聴デバイスとして用いられている。

（３Ｄ形状映像の例）
図２は、生成された複数の３Ｄ形状映像（以下、シーンともいう）の例を示す図である。

映像生成装置においては、同じ被写体の３Ｄオブジェクトを対象とした複数のシーンのデータが生成される。図２の例においては、それぞれ独立した異なる動きを表す３つのシーンである、シーンＡ、シーンＢ、シーンＣが生成されている。

図２の例では、シーンＡは、フレームＡ１乃至Ａ３の３フレームから構成され、シーンＢは、フレームＢ１乃至Ｂ５の５フレームから構成され、シーンＣは、フレームＣ１乃至Ｃ５の５フレームから構成される。

なお、黒塗りで示す１つの人物のイラストが、シーンを構成する１フレームに相当する。図２以降の他の図においても同様である。シーンＡを構成するフレームＡ１乃至Ａ３、シーンＢを構成するフレームＢ１乃至Ｂ５、シーンＣを構成するフレームＣ１乃至Ｃ５により、それぞれ、同じ被写体が異なる動きを取る様子が表される。

映像生成装置から映像再生装置に対しては、このようにして生成された、それぞれ異なる動きを表す被写体の３Ｄオブジェクトを用いたシーンのデータが伝送される。

映像再生装置においては、再生対象を所定のタイミングで切り替えるようにして、シーンのデータの再生が進められる。再生対象が切り替わることにより、視聴者が視聴するシーンが切り替わり、シーンに含まれる３Ｄオブジェクトの動きが視聴者の状態に応じて変化することになる。

＜第１実施の形態＞
（第１実施の形態の動作の概要）
図３は、本開示に係る第１実施の形態のシーンの切り替え動作例の概要を説明する図である。

図３のＡに示すように、例えばコンテンツは、メインのシーンとなるシーンＢと、サブのシーンとなるシーンＣの２つのシーンから構成される。

映像再生装置が再生しているシーンＢのあるフレームにおいて、映像の切り替えを要求するトリガ情報が取得されると、映像再生装置は、再生するシーンをシーンＣに切り替える。

映像再生装置は、再生するシーンをシーンＣに切り替えた後、シーンＣの再生を行う。映像再生装置は、シーンＣの再生が終了すると、再生対象を、あらかじめ定められたシーンＢのフレームに切り替える処理を行い、それ以降、シーンＢの再生を継続する。

シーンＢからシーンＣへの切り替え処理について具体的に説明する。

図３のＢの下向きの矢印で示すように、例えば、シーンＢのフレームＢ２において、シーンＣへの切り替えを要求するトリガ情報が取得されたものとする。この場合、トリガ情報が取得されたことに応じて、再生対象が、シーンＣのフレームＣ３に切り替わる。

例えば、切り替え先となるシーンとそのフレームについては、あらかじめ定められている。シーンＣのどのフレームが切り替え先として用いられるようにしてもよいし、図示しない別のシーンのフレームが切り替え先として用いられるようにしてもよい。

再生対象となるシーンの切り替えを規定する以上のようなトリガ情報は、例えば、視聴者の動きに応じて取得される。視聴者は、自分の動きに応じてシーンが切り替えられることにより、３Ｄオブジェクトの動きがインタラクティブに変化する様子を視聴することになる。

図４は、視聴者の見え方の具体例を示す図である。

図４の例では、映像再生装置においてメインのシーンが再生されている状態が表されている。具体的には、視聴空間内に存在する被写体の３ＤオブジェクトＭ０２が、図の下方向に向けて歩いて移動するシーンが、メインのシーンとして再生されているものとする。ここで、黒塗りの楕円は、メインのシーンによって表示される、各時刻における３ＤオブジェクトＭ０２の位置を表す。白抜きの数字は、時刻を表す。

図４に示す状態は、時刻０のフレームから時刻３のフレームまで再生が行われ、時刻３のフレームに対応する位置まで、３ＤオブジェクトＭ０２が歩いて移動している状態である。

図４の左下に示す位置Ｕ０１は、視聴空間内における視聴者の位置を表す。図４の例においては、視聴者は、３ＤオブジェクトＭ０２が存在する時刻３のフレームに対応する位置から離れた位置で視聴していることになる。

この場合、トリガ情報が取得されず、メインのシーンのみの再生が続けられる。即ち、時刻３のフレーム以降の再生が行われることにより、時刻７のフレームに対応する位置まで、順次、３ＤオブジェクトＭ０２が歩いて移動する。

図５は、図３を参照して説明したようにして、シーンの切り替えが生じた場合の見え方の具体例を示す図である。

図５に示すように、メインのシーンの時刻３のフレームまで再生が行われ、被写体の３ＤオブジェクトＭ０２が時刻３のフレームに対応する位置にいるタイミングで、視聴者が位置Ｕ０１から位置Ｕ０２に移動した場合、映像再生装置はトリガ情報を取得する。

映像再生装置は、トリガ情報を取得することに応じて、再生対象をメインのシーンの時刻３のフレームから、サブのシーンの時刻１０のフレームに切り替えるための処理を行う。

図５に示すサブのシーンは、時刻１０乃至１４のフレームにより構成される。サブのシーンは、被写体の３ＤオブジェクトＭ０３が時刻１０のフレームに対応する位置から時刻１４のフレームに対応する位置に向けて、位置Ｕ０２を避けるように移動するシーンである。なお、メインのシーンに含まれる被写体の３ＤオブジェクトＭ０２と、サブのシーンに含まれる被写体の３ＤオブジェクトＭ０３は、同じ人物を撮像して得られた３Ｄオブジェクトである。

この例においては、映像再生装置が再生するコンテンツは、図４に示すメインのシーンと、切り替え対象となるサブのシーンの２つのシーンから構成されている。

このような切り替え処理が行われることにより、位置Ｕ０２にいる視聴者からは、被写体の３ＤオブジェクトＭ０２が、視聴者を避けて動くように視聴される。

視聴者自身が位置を変えることに応じて被写体の３Ｄオブジェクトの動きがインタラクティブに変化することにより、視聴者は、没入感を得ることが可能となる。

（第１実施の形態の構成例）
図６は、本開示に係る第１実施の形態の構成の一例を示すブロック図である。

図６に示されるように、本開示に係る第１実施の形態としての情報処理システムは、映像生成装置１、映像再生装置２、表示装置３により構成される。本開示に係る第１実施の形態は、３Ｄ形状映像であるシーンを生成し、生成したシーンの再生処理を行い、表示するものである。

（映像生成装置の構成説明）
映像生成装置１は、多視点映像取得部１１、３Ｄモデル生成部１２、および再生情報生成部１３により構成される。

映像生成装置１の多視点映像取得部１１は、例えば、複数の撮像装置から被写体の情報（例えば、撮像された２Ｄの映像、距離情報、およびカメラパラメータ）を取得し、３Ｄモデル生成部１２に供給する。

３Ｄモデル生成部１２は、多視点映像取得部１１から供給される被写体の情報を用いてモデリングを行い、被写体の３Ｄオブジェクトを生成する。３Ｄモデル生成部１２は、被写体の３Ｄオブジェクトを表示するシーンを生成する。例えば、メインとなるシーンと、サブとなるシーンが生成される。３Ｄモデル生成部１２は、生成したシーンのデータであるシーンデータを再生情報生成部１３に供給する。

３Ｄモデル生成部１２は、再生情報生成部１３から供給される再生情報、および、３Ｄモデル生成部１２が生成するシーンデータからコンテンツデータを生成し、映像再生装置２に供給する。映像再生装置２に対するコンテンツデータの伝送は、例えば、インターネット、LAN(Local Area Network)などのネットワークを介して行われる。コンテンツデータの伝送が、HDD(Hard Disk Drive)、フラッシュメモリなどの記録媒体を介して行われるようにしてもよい。

コンテンツデータには、複数のシーンデータが含まれるようにしてもよいし、１つのシーンデータのみが含まれるようにしてもよい。また、再生情報は、コンテンツデータに含めず、別に供給されるようにしてもよい。

再生情報生成部１３は、３Ｄモデル生成部１２から供給されるシーンデータに基づいて、例えばメインのシーン、サブのシーンを選択し、設定する。また、再生情報生成部１３は、メインのシーン、およびサブのシーンのそれぞれの再生手順を定める再生情報を生成し、３Ｄモデル生成部１２に供給する。

（映像再生装置の構成説明）
映像再生装置２は、取得部２１、トリガ取得処理部２２、視点位置取得部２３、フレーム番号選択部２４、切り替え処理部２５、および再生部２６により構成される。

映像再生装置２の取得部２１は、映像生成装置１から伝送されるコンテンツデータを取得する。コンテンツデータに含まれるシーンデータは、トリガ取得処理部２２に出力される。また、取得部２１により取得されたコンテンツデータに含まれるシーンデータのうち、再生情報に基づいて選択されたシーンデータが、再生対象のフレームのデータとして切り替え処理部２５に供給される。

例えば、取得部２１は、コンテンツデータの再生が開始された場合、メインのシーンデータを切り替え処理部２５に供給する。また、取得部２１は、メインのシーンデータを切り替え処理部２５に出力し、メインのシーンの再生を行わせている場合において、再生対象を特定する情報が切り替え処理部２５から供給された場合、メインのシーンデータの出力を停止する。そして、取得部２１は、再生対象を特定する情報により特定されるサブのシーンの必要な範囲のフレームのデータを、特定シーンのデータとして、切り替え処理部２５に供給する。

取得部２１により取得されたコンテンツデータに含まれる再生情報は、フレーム番号選択部２４に出力される。取得部２１からフレーム番号選択部２４に対しては、現在の再生位置を表す情報も出力される。例えば、取得部２１から切り替え処理部２５に対してシーンデータが出力されているフレームが、現在の再生位置のフレームとなる。

トリガ取得処理部２２は、取得部２１から供給されるシーンデータ、および視点位置取得部２３から供給される、視聴空間内における視聴者の視聴位置の情報である視点位置情報を用いて、シーンの切り替えを要求するか否かを表すトリガ情報をフレーム番号選択部２４に供給する。

なお、トリガ取得処理部２２からフレーム番号選択部２４に対しては、シーンの切り替えを要求するか否かを表すトリガ情報が、各フレームの再生が行われるごとなどの所定の周期で繰り返し出力される。シーンデータと視点位置情報に基づいて、トリガ情報の内容（シーンの切り替えを要求する／要求しない）が切り替えられる。

視点位置取得部２３は、視点位置情報を取得し、トリガ取得処理部２２、および再生部２６に供給する。視聴者の視点位置は、例えば、表示装置３から送信されてきた、視聴者の動作に関する情報に基づいて特定される。表示装置３から映像再生装置２に対しては、上述したようにして視点位置を移動させたり、視線の方向を移動させたりするための視聴者の動作に関する情報が送信されてくる。

フレーム番号選択部２４は、取得部２１から供給される再生情報、およびトリガ取得処理部２２から供給されるトリガ情報を用いて、再生対象となるシーン、および、そのシーンの再生対象となるフレーム番号を決定し、再生対象を特定する情報を切り替え処理部２５に供給する。

切り替え処理部２５は、フレーム番号選択部２４から供給される、再生対象を特定する情報を取得部２１に供給する。再生対象を特定する情報を供給することに応じて、取得部２１からは、メインのシーンデータ、または、サブのシーンデータが供給される。切り替え処理部２５は、取得部２１から供給されるシーンデータを再生部２６に供給する。

再生部２６は、切り替え処理部２５から供給されるシーンデータに基づいて、被写体の３Ｄオブジェクトをレンダリングする。そして、再生部２６は、レンダリング結果を表示装置３に伝送し、３Ｄオブジェクトを表示させる。

以上のような構成を有する映像生成装置１と映像再生装置２は、それぞれ、PC(Personal Computer)、スマートフォン、タブレット端末、ゲーム機などの装置により構成される。一方、視聴デバイスである表示装置３は、上述したようにディスプレイ、HMDなどにより構成される。

映像生成装置１と映像再生装置２が１つの装置により構成され、映像再生装置２と表示装置３が１つの装置により構成されるといったように、図６に示す２以上の装置の構成が１つの装置に設けられるようにしてもよい。また、図６に示す１つの装置の構成が、複数の装置に分けて設けられるようにしてもよい。

次に、以上のような構成を有する各装置の動作について説明する。

（第１実施の形態における各装置の動作）
（映像生成装置の３Ｄモデルデータ生成処理）
図７は、映像生成装置１の生成処理を説明するフローチャートである。

図７の処理は、例えば、複数の撮像装置から取得された被写体の情報が映像生成装置１の多視点映像取得部１１から３Ｄモデル生成部１２に対して供給されたときに開始される。

図７のステップＳ１において、３Ｄモデル生成部１２は、被写体の情報を用いて、３Ｄモデルである被写体の３Ｄオブジェクトを生成する。

ステップＳ２において、３Ｄモデル生成部１２は、一連の動きを表す被写体の３Ｄオブジェクトを用いてシーンを生成する。一連の動きが複数ある場合、ここでは、それぞれの一連の動きに対応するシーンが、個別に生成される。

ステップＳ３において、再生情報生成部１３は、３Ｄモデル生成部１２から供給されるシーンデータに基づいて、例えば、メインのシーンと、サブのシーンを選択し、設定する。再生情報生成部１３は、メインのシーンとサブのシーンのそれぞれの再生手順を定める再生情報を生成し、３Ｄモデル生成部１２に供給する。

ステップＳ４において、３Ｄモデル生成部１２は、再生情報生成部１３から供給される再生情報をシーンデータに対して設定し、再生情報が設定されたシーンデータを含むコンテンツデータを生成する。

ステップＳ５において、３Ｄモデル生成部１２は、ステップＳ４において生成されるコンテンツデータを、映像再生装置２に伝送する。その後、映像生成装置１の生成処理は終了となる。

（映像再生装置の３Ｄモデルデータ再生処理）
図８は、映像再生装置２の再生処理を説明するフローチャートである。

図８のステップＳ２１において、映像再生装置２の取得部２１は、映像生成装置１の３Ｄモデル生成部１２から供給されるコンテンツデータを取得する。

ステップＳ２２において、取得部２１は、取得したコンテンツデータに含まれる再生情報を分析する。

ステップＳ２３において、トリガ取得処理部２２は、トリガ取得処理を行う。トリガ取得処理においては、取得部２１から供給されるコンテンツデータと、視聴者の状態とに基づいて、再生対象をサブのシーンに切り替えることを要求するか否かを表すトリガ情報が取得される。トリガ取得処理の詳細については、図９のフローチャートを参照して後述する。

ステップＳ２４において、フレーム番号選択部２４は、フレーム番号選択処理を行う。フレーム番号選択処理においては、トリガ取得処理部２２から供給されるトリガ情報と、取得部２１から供給されるコンテンツデータに含まれる再生情報に基づいて、再生対象となるシーン、およびそのシーンにおける再生対象となるフレーム番号が、再生対象を特定する情報として決定される。フレーム番号選択処理の詳細については、図１０のフローチャートを参照して後述する。

ステップＳ２５において、切り替え処理部２５は、フレーム番号選択部２４から供給される、再生対象を特定する情報を取得部２１に供給する。取得部２１は、切り替え処理部２５から供給された、再生対象を特定する情報に応じて、再生対象となるシーンのデータを切り替え処理部２５に供給する。

取得部２１から切り替え処理部２５に対しては、メインのシーンのフレーム、または、サブのシーンのフレームのデータが供給される。

ステップＳ２６において、切り替え処理部２５は、ステップＳ２５において取得部２１から供給されたシーンのデータを再生部２６に供給する。

ステップＳ２７において、再生部２６は、切り替え処理部２５から供給されるシーンのデータに基づいて、被写体の３Ｄオブジェクトをレンダリングする。レンダリング結果に基づいて、表示装置３においては３Ｄオブジェクトの表示が行われる。

ステップＳ２８において、切り替え処理部２５は、再生対象となっているシーンの全フレームを処理したか否かを判定する。未処理のフレームが存在すると判定された場合、ステップＳ２３に戻り、それ以降の処理が繰り返される。

一方、ステップＳ２８において、再生対象となっているシーンの全フレームを処理したと判断された場合、処理はステップＳ２９に進む。

ステップＳ２９において、再生処理を終了するか否かが判定される。再生処理を終了しないと判定された場合、ステップＳ２３に戻り、それ以降の処理が繰り返される。

一方、ステップＳ２９において、再生処理を終了すると判定された場合、映像再生装置２の再生処理は終了となる。

（トリガ取得処理）
次に図９のフローチャートを参照して、図８のステップＳ２３において実行されるトリガ取得処理の流れの例を説明する。

トリガ取得処理が開始されると、ステップＳ４１において、トリガ取得処理部２２は、視点位置情報を視点位置取得部２３から取得する。視点位置取得部２３においては、視聴者の視聴空間内における視聴位置が繰り返し取得されている。

ステップＳ４２において、トリガ取得処理部２２は、取得部２１が切り替え処理部２５に供給しているシーンのデータを取得する。トリガ取得処理部２２は、取得したデータに基づいて、視聴空間内における視聴者の視聴位置と対象となるオブジェクトとの距離を計算する。

ステップＳ４３において、トリガ取得処理部２２は、視聴者の視聴位置と、対象となるオブジェクトの距離が、あらかじめ定められた閾値以下か否かを判定する。

ステップＳ４３において、視聴者の視聴位置と、対象となるオブジェクトの距離が閾値以下であると判定される場合、処理はステップＳ４４に進む。

ステップＳ４４において、トリガ取得処理部２２は、ステップＳ４３の処理による判定に基づいて、サブのシーンへの切り替えを要求する「トリガ有り」のトリガ情報を生成し、フレーム番号選択部２４に供給する。

一方、ステップＳ４３において、視聴者の位置と、対象となるオブジェクトの距離が閾値より大きいと判定される場合、処理はステップＳ４５に進む。

ステップＳ４５において、トリガ取得処理部２２は、ステップＳ４３の処理による判定に基づいて、サブのシーンへの切り替えを要求しない「トリガ無し」のトリガ情報を生成し、フレーム番号選択部２４に供給する。

ステップＳ４４、またはステップＳ４５の処理により、トリガ情報が供給されると、トリガ取得処理が終了し、処理は図８のステップＳ２３に戻る。

（フレーム番号選択処理の流れ）
次に図１０のフローチャートを参照して、図８のステップＳ２４において実行されるフレーム番号選択処理の流れの例を説明する。

フレーム番号選択処理が開始されると、ステップＳ６１において、フレーム番号選択部２４は、トリガ取得処理部２２から供給されるトリガ情報、取得部２１から供給される再生情報、および、現在の再生位置を表す情報を取得する。

ステップＳ６２において、フレーム番号選択部２４は、ステップＳ６１の処理により取得されるトリガ情報が、サブのシーンへの切り替えを要求する「トリガ有り」の情報を含むか否かを判定する。

ステップＳ６２において、ステップＳ６１により取得されるトリガ情報に、「トリガ有り」の情報が含まれると判定される場合、処理はステップＳ６３に進む。

ステップＳ６３において、フレーム番号選択部２４は、ステップＳ６１で取得された再生情報から、あらかじめ定められた、切り替え対象となるサブのシーンのフレーム番号を決定する。フレーム番号選択部２４は、決定したサブのシーンおよびそのシーンのフレーム番号を、再生対象を特定する情報として、切り替え処理部２５に供給する。切り替え処理部２５に供給される情報には、例えば、再生対象とするシーンを表す情報と、そのシーンにおける、再生開始位置となるフレームのフレーム番号を表す情報が含まれる。

一方、ステップＳ６２において、ステップＳ６１により取得されるトリガ情報に、「トリガ有り」の情報が含まれないと判定される場合、処理はステップＳ６４に進む。

ステップＳ６４において、フレーム番号選択部２４は、ステップＳ６１で取得された、現在の再生位置の次に再生対象となるフレームのフレーム番号を取得する。「トリガ無し」の情報を含むトリガ情報が取得されているため、ここでは、メインのシーンを構成するフレームのフレーム番号が取得される。フレーム番号選択部２４は、取得したフレーム番号を、再生対象を特定する情報として、切り替え処理部２５に供給する。

ステップＳ６３、またはステップＳ６４の処理により、再生対象を特定する情報が切り替え処理部２５に供給されると、フレーム番号選択処理が終了し、処理は図８のステップＳ２４に戻る。

その後、切り替え対象となるサブのシーンのフレーム番号を含む情報がフレーム番号選択部２４から切り替え処理部２５に対して供給されている場合、再生対象とするシーンがメインのシーンからサブのシーンに切り替えられ、サブのシーンの再生が行われる（図８のステップＳ２５）。

以上の処理により、視聴者である視聴者の状態と視聴空間内の被写体の３Ｄオブジェクトとの位置関係に応じて、被写体の３Ｄオブジェクトの動きがインタラクティブに変化する。これにより、視聴者は、没入感を得ることが可能となる。

＜第２実施の形態＞
次に第２実施の形態について説明する。

上述したように、第１実施の形態においては、視聴者の視聴位置が３Ｄオブジェクトに近づくことに応じて、即座に、サブのシーンへの切り替えを要求するトリガ情報が出力され、サブのシーンの再生が開始されることによって、３Ｄオブジェクトの動きが変化する。

しかしながら、切り替え元となるメインのシーンと、切り替え先となるサブのシーンは、それぞれ異なる一連の動作を表す３Ｄオブジェクトを含むフレームが時系列に並べられることによって構成されるものである。

そのため、このようなシーンの切り替えが、トリガ情報のタイミングのみで行われるとすると、異なる動作のシーンのフレーム間で、被写体の３Ｄオブジェクトが瞬時に切り替わるため、視聴者である視聴者に違和感を与え、視聴者の没入感が損なわれるというおそれがある。

例えば、切り替え元のフレームにおける３Ｄオブジェクトの動きと、切り替え先のフレームにおける３Ｄオブジェクトの動きが全く異なる場合、視聴者は違和感を得ることになる。

そこで、第２実施の形態においては、シーンの切り替えのためのメタデータを映像生成装置側で生成し、映像再生装置側に対して提供するようになされている。映像生成装置においては、シーンを切り替えたとしても、３Ｄオブジェクトの動きに違和感がないと考えられるフレームが、切り替え元、切り替え先のフレームとして選択され、選択されたフレームを表すメタデータが生成される。

これにより、異なる動作のシーンのフレームを、シームレスに切り替え、視聴者の没入感が損なわれないようにすることができる。

（第２実施の形態の動作の概要）
図１１は、本開示に係る第２実施の形態のシーンの切り替え動作例の概要を説明する図である。

図１１のＡに示すように、例えばコンテンツは、メインのシーンとなるシーンＡと、サブのシーンとなるシーンＢの２つのシーンから構成される。

映像再生装置が再生しているシーンＡのあるフレームにおいて、映像の切り替えを要求するトリガ情報が取得されると、映像再生装置は、再生するシーンを、シーンＢに切り替えることができるか否かの判定を行う。切り替えることができないフレームであると判定される場合、映像再生装置は、シーンの切り替えが可能なフレームまでシーンＡの再生を継続した後、再生するシーンをシーンＢに切り替える。

再生するシーンを他のシーンに切り替えることができるか否かが、各フレームに対応付けられた（紐付けられた）メタデータにより表される。映像再生装置は、映像の切り替えを要求するトリガ情報が取得された場合、再生対象となっているシーンＡのフレームが、他のシーンのフレームに切り替えることができるフレームであるか否かをメタデータに基づいて判定することになる。

映像再生装置は、再生するシーンをシーンＢに切り替えた後、シーンＢの再生を行う。映像再生装置は、シーンＢの再生が終了すると、再生対象を、あらかじめ定められたシーンＡのフレームに切り替え、それ以降、シーンＡの再生を継続する。

シーンＡからシーンＢへの切り替え処理について具体的に説明する。

図１１のＢの下向きの矢印で示すように、例えば、シーンＡのフレームＡ２において、映像の切り替えを要求するトリガ情報が取得されたものとする。この場合、トリガ情報を取得したことに応じて、映像再生装置は、再生するシーンを、動きの異なる他のシーンに切り替えることができるか否かの判定をメタデータに基づいて行う。

例えば、フレームＡ２が、他のシーンに切り替えることができないフレームであると判定される場合、映像再生装置は、シーンの切り替えが可能なフレームＡ３までシーンＡの再生を継続した後、再生するシーンを、シーンＢのフレームＢ１に切り替える。

このように、シーンの切り替えの可否の判定が、切り替えのためのメタデータに基づいて行われる。切り替え先となるフレームＢ１の特定も、メタデータに基づいて行われる。

図１２は、図１１の切り替え動作の応用例を説明する図である。

図１２のＡでは、例えばコンテンツは、メインのシーンとなるシーンＡ、サブのシーンとなるシーンＢおよびシーンＣの３つのシーンから構成される。

映像再生装置が再生しているシーンＡのあるフレームにおいて、映像の切り替えを要求するトリガ情報が取得されると、映像再生装置は、再生するシーンを、動きの異なる他のシーンに切り替えることができるか否かの判定を行う。切り替えることができないフレームであると判定される場合、映像再生装置は、シーンの切り替えが可能なフレームまで、シーンＡの再生を継続する。

また、同時に、映像再生装置は、シーンの切り替えが行われた回数である視聴体験回数Ｎを取得する。

映像再生装置は、シーンの切り替えが可能なフレームであるフレームＡ３までシーンＡの再生を継続した後、視聴体験回数に応じ、再生するシーンを切り替える。図１２のＡの例では、視聴体験回数Ｎ＝１である場合、シーンＢに切り替えられ、視聴体験回数Ｎ＝２である場合、シーンＣに切り替えられる。

この例においては、切り替え先となるシーン（フレーム）が、視聴体験回数に応じて切り替えられる。他のシーンを経由するなどして、シーンＡの再生がシーンＡの最後のフレームまで行われた場合、シーンＡの先頭のフレームに戻り、シーンＡの再生が繰り返される。

切り替え先となるシーンが視聴体験回数に応じて切り替えられるのではなく、視聴時間、日にちなどの他の基準に応じて切り替えられるようにしてもよい。

図１２のＡの切り替え処理について具体例に説明する。

図１２のＢの下向きの矢印で示すように、例えば、シーンＡのフレームＡ２において、映像の切り替えを要求するトリガ情報が取得されたものとする。この場合、トリガ情報を取得したことに応じて、映像再生装置は、再生するシーンを、動きの異なる他のシーンに切り替えることができるか否かの判定を行う。

例えば、フレームＡ２が、他のシーンに切り替えることができないフレームであると判定される場合、映像再生装置は、シーンの切り替えが可能なフレームＡ３まで、シーンＡの再生を継続する。

同時に、映像再生装置は、視聴体験回数を取得する。

映像再生装置は、シーンの切り替えが可能なフレームＡ３まで再生した後、視聴体験回数Ｎ＝１である場合には、再生するシーンをシーンＢのフレームＢ１に切り替え、視聴体験回数Ｎ＝２である場合には、再生するシーンをシーンＣのフレームＣ１に切り替える。

図１３を参照して、切り替えのためのメタデータ（以下、切り替えメタデータともいう）の構成例を説明する。

図１３の例では、コンテンツは、図２を参照して説明したシーンＡ、シーンＢ、およびシーンＣの３つのシーンから構成される。各シーンのフレーム構成は、図２における説明と同一のため省略する。

図１３の切り替えメタデータ４１に含まれる各情報は、各シーンのフレームごとに対応する形で記述される。

図１３に示されるように、切り替えメタデータ４１は、シーンＩＤ、シーン内フレームＩＤ、グローバルフレームＩＤ、遷移可能フラグ、遷移可能フレームＩＤ（Ｎ回目）から構成される。ここで、遷移可能フレームＩＤ（Ｎ回目）の変数Ｎは、視聴体験回数を意味する。

切り替えメタデータ４１のシーンＩＤは、各フレームが属するシーンを示す識別情報である。ここでは、シーンＩＤ＝０はシーンＡに、シーンＩＤ＝１はシーンＢに、シーンＩＤ＝２はシーンＣに属することを示す。

シーン内フレームＩＤは、対象のフレームの各シーンにおける識別情報である。図１３の例においては、フレーム番号に対応する識別情報がシーン内フレームＩＤとして設定されている。例えば、シーンＩＤ＝０、およびシーン内フレームＩＤ＝０のフレームは、シーンＡに属し、シーンＡにおけるフレームＡ１に対応するフレームであることを示す。他のシーン内フレームＩＤについても同様である。

グローバルフレームＩＤは、対象のフレームの、コンテンツを構成する全てのシーンであるシーンＡ、シーンＢ、およびシーンＣにおける識別情報である。ここでは、シーンＡのフレームＡ１乃至Ａ３、シーンＢのフレームＢ１乃至Ｂ５、およびシーンＣのフレームＣ１乃至Ｃ５に、グローバルフレームＩＤとして、０乃至１２の値がそれぞれ割り当てられる。

例えば、グローバルフレームＩＤ＝０は、シーンＡのフレームＡ１であることを示し、グローバルフレームＩＤ＝３は、シーンＢのフレームＢ１であることを示し、グローバルフレームＩＤ＝８は、シーンＣのフレームＣ１であることを示す。他のグローバルフレームＩＤについても同様である。

遷移可能フラグは、対象のフレームが、他のシーンのフレームに対して遷移可能（切り替え可能）なフレームであるか否かを示すフラグ情報である。遷移可能フラグが、再生するシーンを他のシーンに切り替えることができるか否かについての上述した判定に用いられるメタデータに相当する。

例えば、グローバルフレームＩＤ＝１に対応する、シーンＡのフレームＡ２の遷移可能フラグはFalseに設定されている。この場合、シーンＡのフレームＡ２から他のシーンのフレームに対して遷移することは不可であるとして判定される。

また、グローバルフレームＩＤ＝２に対応する、シーンＡのフレームＡ３の遷移可能フラグはTrueに設定されている。この場合、シーンＡのフレームＡ３から他のシーンのフレームに対して遷移することは可能であるとして判定される。

遷移可能フラグの値（True/False）は、被写体の３Ｄオブジェクトの形状の類似度に基づいて決定される。形状の類似度は、コンテンツ内の各シーンの各フレームにおける被写体の３Ｄオブジェクトの形状を、相互に比較することにより算出される。

例えば、類似度が閾値以上である場合、比較元のフレームの被写体の３Ｄオブジェクトと、比較先のフレームの被写体の３Ｄオブジェクトは、形状が類似する３Ｄオブジェクトとなる。この場合、比較元のフレームにおける遷移可能フラグがTrueに設定される。

一方、類似度が閾値より小さい場合、比較元のフレームの被写体の３Ｄオブジェクトと、比較先のフレームの被写体の３Ｄオブジェクトは、形状が類似しない３Ｄオブジェクトとなる。この場合、比較元のフレームにおける遷移可能フラグには、他のシーンのフレームに対して遷移不可であることを表すFalseの値が設定される。

形状の類似度の計算方法には様々な方法がある。例えば、２つのメッシュ間の頂点座標のハウスドルフ距離を計算するといった方法がある。

切り替えメタデータ４１の遷移可能フレームＩＤは、遷移可能フラグがTrueであるフレームにおいて、遷移先となるフレームのグローバルフレームＩＤを示す情報である。例えば、遷移可能フラグがTrueである、グローバルフレームＩＤ＝２に対応するシーンＡのフレームＡ３の遷移可能フレームＩＤが遷移可能フレームＩＤ＝３である場合、そのことは、グローバルフレームＩＤ＝２に対応するシーンＡのフレームＡ３から、グローバルフレームＩＤ＝３に対応するシーンＢのフレームＢ１に遷移可能であることを示す。

なお、遷移先を示す遷移可能フレームＩＤは、視聴体験回数Ｎによって異なる遷移先を指定する形式にしても良い。

例えば、遷移可能フレームＩＤ（１回目）は、サブのシーンであるシーンＢを視聴者が初めて視聴する場合、即ち視聴体験回数Ｎ＝１の場合の遷移可能フレームのパターンを表している。同様に、遷移可能フレームＩＤ（２回目）は、サブのシーンを視聴するのが２回目である場合、即ち視聴体験回数Ｎ＝２の場合の遷移可能フレームのパターンを表している。

図１３では、グローバルフレームＩＤ＝２に対応するシーンＡのフレームＡ３の遷移可能フレームＩＤ（２回目）には、遷移可能フレームＩＤ（１回目）＝３と異なる、遷移可能フレームＩＤ（２回目）＝８が設定されている。これは、グローバルフレームＩＤ＝２に対応するシーンＡのフレームＡ３から他のフレームに対する切り替えが、サブのシーンを初めて視聴する場合には、シーンＢのフレームＢ１に切り替えるようにして行われ、サブのシーンを視聴するのが２回目である場合には、１回目の視聴とは異なるシーンのフレームであるシーンＣのフレームＣ１に切り替えるようにして行われることを表している。

（第２実施の形態の構成例）
図１４は、本開示に係る第２実施の形態の構成の一例を示すブロック図である。

図１４に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。後述する他のブロック図についても同様である。

（映像生成装置の構成説明）
図１４の映像生成装置１０１の構成は、３Ｄモデル生成部１２の代わりに、３Ｄモデル生成部１１２が設けられる点、切り替えメタデータ生成部１１１が新たに設けられる点が図６の映像生成装置１の構成と異なる。

図１４の映像生成装置１０１の切り替えメタデータ生成部１１１は、３Ｄモデル生成部１２から供給されるシーンデータ、および再生情報に基づいて、図１３に示す切り替えメタデータを生成し、３Ｄモデル生成部１１２に供給する。例えば、図１３に示す遷移可能フラグに設定する値を決定するために、３Ｄモデル生成部１１２から供給される再生情報が用いられる。

３Ｄモデル生成部１１２は、切り替えメタデータ生成部１１１から供給される切り替えメタデータ、再生情報生成部１３から供給される再生情報、および３Ｄモデル生成部１１２が生成するシーンデータからコンテンツデータを生成し、映像再生装置１０２に伝送する。

なお、切り替えメタデータは、コンテンツデータに含めず、別に供給されるようにしてもよい。

（映像再生装置の構成説明）
図１４の映像再生装置１０２の構成は、フレーム番号選択部２４の代わりに、フレーム番号選択部１２１が設けられる点が、図６の映像再生装置２の構成と異なる。

トリガ取得処理部２２は、取得部２１から供給されるシーンデータ、および視点位置取得部２３から供給される視点位置情報を用いて、シーンの切り替えを要求するか否かを表すトリガ情報をフレーム番号選択部１２１に供給する。

なお、トリガ取得処理部２２からフレーム番号選択部１２１に対しては、シーンの切り替えを要求するか否かを表すトリガ情報が、各フレームの再生が行われるごとなどの所定の周期で繰り返し出力される。シーンデータと視点位置情報に基づいて、トリガ情報の内容（シーンの切り替えを要求する／要求しない）が切り替えられる。

トリガ取得処理部２２は、シーンの切り替えを要求するトリガ情報をフレーム番号選択部１２１に供給した後、フレーム番号選択部１２１からの設定に応じ、トリガ情報を、シーンの切り替えを要求しない内容の情報に設定する。

フレーム番号選択部１２１は、取得部２１から供給される現在の再生位置を表す情報、切り替えメタデータ、および、トリガ取得処理部２２から供給されるトリガ情報を用いて、再生対象となるシーン、および、そのシーンにおける再生対象となるフレーム番号を決定し、再生対象を特定する情報を切り替え処理部２５に供給する。

フレーム番号選択部１２１は、再生対象を特定する情報を切り替え処理部２５に供給した後、トリガ取得処理部２２に対し、トリガ情報を、シーンの切り替えを要求しない内容の情報に設定することを指示するための情報を供給する。

次に、以上のような構成を有する各装置の動作について説明する。

（第２実施の形態における各装置の動作）
（映像生成装置の３Ｄモデルデータ生成処理）
図１５は、映像生成装置１０１の生成処理を説明するフローチャートである。

図１５に示す処理は、切り替えメタデータを生成する処理が追加されている点を除いて、基本的に、図７を参照して説明した処理と同様の処理である。重複する説明については適宜省略する。

図１５のステップＳ８１において、３Ｄモデル生成部１１２は、多視点映像取得部１１から供給された被写体の情報を用いて、３Ｄモデルである被写体の３Ｄオブジェクトを生成する。

ステップＳ８２において、３Ｄモデル生成部１１２は、一連の動きを表す被写体の３Ｄオブジェクトを用いてシーンを生成する。一連の動きが複数ある場合、ここでは、それぞれの一連の動きに対応するシーンが、個別に生成される。

ステップＳ８３において、再生情報生成部１３は、３Ｄモデル生成部１１２から供給されるシーンデータに基づいて、例えば、メインのシーンと、サブのシーンを選択し、設定する。再生情報生成部１３は、メインのシーンとサブのシーンのそれぞれの再生手順を定める再生情報を生成し、３Ｄモデル生成部１１２に供給する。

ステップＳ８４において、３Ｄモデル生成部１１２は、再生情報生成部１３から供給される再生情報をシーンデータに対して設定し、再生情報が設定されたシーンデータを含むコンテンツデータを生成する。

ステップＳ８５において、切り替えメタデータ生成部１１１は、切り替えメタデータ生成処理を行う。切り替えメタデータ生成処理が、ステップＳ８３，Ｓ８４の処理と適宜並行して行われる。

切り替えメタデータ生成処理においては、３Ｄモデル生成部１１２から供給されるシーンデータ、および再生情報に基づいて、切り替えメタデータが生成され、３Ｄモデル生成部１１２に供給される。切り替えメタデータ生成処理の詳細については、図１６フローチャートを参照して後述する。

ステップＳ８６において、３Ｄモデル生成部１１２は、ステップＳ８４において生成されたコンテンツデータにステップＳ８５において生成された切り替えメタデータを格納し、映像再生装置１０２に供給する。その後、映像生成装置１０１の生成処理は終了となる。

なお、切り替えメタデータは、コンテンツデータとは別に、映像再生装置１０２に供給されるようにしてもよい。

（切り替えメタデータ生成の処理）
次に図１６のフローチャートを参照して、図１５のステップＳ８５において実行される切り替えメタデータ生成処理の流れの例を説明する。

切り替えメタデータ生成処理が開始されると、ステップＳ１００において、切り替えメタデータ生成部１１１は、３Ｄモデル生成部１１２から供給される再生情報とシーンデータに基づいて、各シーンの各フレームに対し、識別情報となるシーンＩＤ、シーンフレーム内ＩＤ、グローバルフレームＩＤを、それぞれ割り当てる。

ステップＳ１０１において、切り替えメタデータ生成部１１１は、各シーンＩＤを示す変数ｓに０を設定する。

ステップＳ１０２において、切り替えメタデータ生成部１１１は、各シーンのフレーム番号を示す変数ｉに０を設定する。

ステップＳ１０３において、切り替えメタデータ生成部１１１は、３Ｄモデル生成部１１２から供給される再生情報とシーンデータに基づいて、ｓ番目のシーンのｉ番目のフレームの遷移可能フラグをFalseに設定する。

また、切り替えメタデータ生成部１１１は、ｓ番目のシーンのｉ番目のフレームを、類似度を算出するための比較元となる比較元対象フレームとして設定し、比較元対象フレームの被写体の３Ｄオブジェクト（以下、Ｏｓｉを付加して表す）のデータを取得する。

ステップＳ１０４において、切り替えメタデータ生成部１１１は、３Ｄモデル生成部１１２から供給される再生情報とシーンデータに基づいて、類似度を算出するための比較先となる対象のシーンを示す変数ｔを０に設定する。

また、切り替えメタデータ生成部１１１は、視聴者の視聴体験回数を示す変数Ｎを０に設定する。

ステップＳ１０５において、切り替えメタデータ生成部１１１は、３Ｄモデル生成部１１２から供給される再生情報とシーンデータに基づいて、類似度を算出するための比較先となる対象のフレームを示す変数ｊを０に設定する。

ステップＳ１０６において、切り替えメタデータ生成部１１１は、３Ｄモデル生成部１１２から供給される再生情報とシーンデータに基づいて、ｔ番目のシーンのｊ番目のフレームを、類似度を算出するための比較先となる比較先対象フレームとして設定し、比較先対象フレームの被写体の３Ｄオブジェクト（以下、Ｏｔｊを付加して表す）のデータを取得する。

ステップＳ１０７において、切り替えメタデータ生成部１１１は、ステップＳ１０３において取得した３ＤオブジェクトＯｓｉと、ステップＳ１０６において取得した３ＤオブジェクトＯｔｊとの形状の類似度が、閾値以上であるか否かを判定する。

３ＤオブジェクトＯｓｉと３ＤオブジェクトＯｔｊとの形状の類似度が閾値以上であるとステップＳ１０７において判定された場合、処理はステップＳ１０８に進む。

ステップＳ１０８において、切り替えメタデータ生成部１１１は、ｓ番目のシーンのｉ番目のフレームに対し、遷移可能フラグをTrueにして設定する。また、切り替えメタデータ生成部１１１は、遷移可能フレームＩＤ（Ｎ回目）として、ｔ番目のシーンのｊ番目のフレームであることを示すグローバルフレームＩＤを設定し、視聴者の視聴体験回数を表す変数ＮにＮ＋１を設定する。

即ち、類似度を算出するための比較元となるフレームの遷移可能フラグがTrueに設定されるとともに、遷移可能フレームＩＤ（Ｎ回目）として、比較先となるフレームのグローバルフレームＩＤが設定される。

なお、切り替え先となるサブのシーンを視聴体験回数に応じたものとはしない、即ちサブのシーンを固定とする場合には、視聴体験回数を表す変数Ｎには１が設定されたままとなる。

３ＤオブジェクトＯｓｉと３ＤオブジェクトＯｔｊとの形状の類似度が閾値よりも小さいとステップＳ１０７において判定された場合、ステップＳ１０８の処理はスキップされる。

ステップＳ１０９において、切り替えメタデータ生成部１１１は、ｔ番目のシーンの全フレームを処理したか否かを判定する。全フレームを処理していない、即ち、未処理のフレームが存在するとステップＳ１０９において判定された場合、処理はステップＳ１１０に進む。

ステップＳ１１０において、切り替えメタデータ生成部１１１は、変数ｊに対しｊ＋１を設定する。その後、ステップＳ１０６に戻り、比較先対象フレームを変えて、それ以降の処理が繰り返される。

一方、ｔ番目のシーンの全フレームを処理したとステップＳ１０９において判定された場合、処理はステップＳ１１１に進む。

ステップＳ１１１において、切り替えメタデータ生成部１１１は、ｓ番目のシーンを除く全てのシーンを処理したか否かを判定する。全てのシーンを処理していない、即ち、未処理のシーンが存在するとステップＳ１１１において判定された場合、処理はステップＳ１１２に進む。

ステップＳ１１２において、切り替えメタデータ生成部１１１は、変数ｔに対しｔ＋１を設定する。その後、ステップＳ１０５に戻り、対象となるシーンを変えて、それ以降の処理が繰り返される。

一方、ｓ番目のシーンを除く全てのシーンを処理したとステップＳ１１１において判定された場合、処理はステップＳ１１３に進む

ステップＳ１１３において、切り替えメタデータ生成部１１１は、ｓ番目のシーンの全フレームを処理したか否かを判定する。全フレームを処理していない、即ち、未処理のフレームが存在すると判定された場合、処理はステップＳ１１４に進む。

ステップＳ１１４において、切り替えメタデータ生成部１１１は、変数ｉに対しｉ＋１を設定する。その後、ステップＳ１０３に戻り、比較元対象フレームを変えて、それ以降の処理が繰り返される。

一方、ｓ番目のシーンの全フレームを処理したとステップＳ１１３において判定された場合、処理はステップＳ１１５に進む。

ステップＳ１１５において、切り替えメタデータ生成部１１１は、全てのシーンを処理したか否かを判定する。全てのシーンを処理していない、即ち、未処理のシーンが存在するとステップＳ１１５において判定された場合、処理は、ステップＳ１１６に進む。

ステップＳ１１６において、切り替えメタデータ生成部１１１は、変数ｓに対しｓ＋１を設定する。その後、ステップＳ１０２に戻り、対象とするシーンを変えて、それ以降の処理が繰り返される。

一方、全てのシーンを処理したとステップＳ１１５において判定された場合、処理はステップＳ１１７に進む。

ステップＳ１１７において、切り替えメタデータ生成部１１１は、３Ｄモデル生成部１１２に対し、以上のようにして生成した切り替えメタデータを供給する。切り替えメタデータが供給されると、切り替えメタデータ生成処理が終了し、処理は図１５のステップＳ８５に戻る。

（映像再生装置の３Ｄモデルデータ再生処理）
図１７は、映像再生装置１０２の再生処理を説明するフローチャートである。

図１７に示す処理は、基本的に、図８を参照して説明した処理と同様の処理である。

図１７のステップＳ１２１において、映像再生装置１０２の取得部２１は、映像生成装置１０１の３Ｄモデル生成部１１２から供給されるコンテンツデータを取得する。

ステップＳ１２２において、取得部２１は、取得したコンテンツデータに含まれる再生情報を分析する。

ステップＳ１２３において、トリガ取得処理部２２は、トリガ取得処理を行う。トリガ取得処理においては、取得部２１から供給されるコンテンツデータと、視聴者の状態とに基づいて、再生対象をサブのシーンに切り替えることを要求するか否かを表すトリガ情報が取得される。トリガ取得処理の詳細については、図１８のフローチャートを参照して後述する。

ステップＳ１２４において、フレーム番号選択部１２１は、フレーム番号選択処理を行う。フレーム番号選択処理においては、トリガ取得処理部２２から供給されるトリガ情報と、取得部２１から供給されるコンテンツデータに含まれる再生情報、および切り替えメタデータに基づいて、再生対象となるシーン、およびそのシーンにおける再生対象となるフレーム番号が決定される。フレーム番号選択処理の詳細については、図１９のフローチャートを参照して後述する。

ステップＳ１２５において、切り替え処理部２５は、フレーム番号選択部１２１から供給される、再生対象を特定する情報を取得部２１に供給する。取得部２１は、切り替え処理部２５から供給された、再生対象を特定する情報に応じて、再生対象となるシーンのデータを切り替え処理部２５に供給する。

ステップＳ１２６において、切り替え処理部２５は、ステップＳ１２５において取得部２１から供給されたシーンのデータを再生部２６に供給する。

ステップＳ１２７において、再生部２６は、切り替え処理部２５から供給されるシーンのデータに基づいて、被写体の３Ｄオブジェクトをレンダリングする。レンダリング結果に基づいて、表示装置３においては３Ｄオブジェクトの表示が行われる。

ステップＳ１２８において、切り替え処理部２５は、再生対象となっているシーンの全フレームを処理したか否かを判定する。未処理のフレームが存在すると判定された場合、ステップＳ１２３に戻り、それ以降の処理が繰り返される。

一方、ステップＳ１２８において、再生対象となっているシーンの全フレームを処理したと判断された場合、処理はステップＳ１２９に進む。

ステップＳ１２９において、再生処理を終了するか否かが判定される。再生処理を終了しないと判定された場合、ステップＳ１２３に戻り、それ以降の処理が繰り返される。

一方、ステップＳ１２９において、再生処理を終了すると判定された場合、映像再生装置１０２の再生処理は終了となる。

（トリガ取得処理）
次に図１８のフローチャートを参照して、図１７のステップＳ１２３において実行されるトリガ取得処理の流れの例を説明する。

上述したように、映像の切り替えを要求するトリガ情報が取得された後、他のフレームへの切り替えが可能であるとして設定されたフレーム（遷移可能フラグにTrueが設定されたフレーム）までは、同じシーンの再生が継続される。図１８に示す処理は、他のフレームへの切り替えが可能であるとして設定されたフレームが再生対象となるまでの間、映像の切り替えを要求するトリガ情報の出力を繰り返す処理が追加されている点を除いて、図９の処理と同様の処理である。

トリガ取得処理が開始されると、ステップＳ１４１において、トリガ取得処理部２２は、視聴位置情報を視点位置取得部２３から取得する。

ステップＳ１４２において、トリガ取得処理部２２は、直前に供給したトリガ情報が、既に、サブのシーンに切り替える要求を表すトリガ有りの状態になっているか否かを判定する。

ステップＳ１４２においてトリガ有りの状態になっていないと判定された場合、処理は、ステップＳ１４３に進む。

ステップＳ１４３において、トリガ取得処理部２２は、取得部２１が切り替え処理部２５に供給しているシーンのデータを取得する。トリガ取得処理部２２は、取得したデータに基づいて、視聴空間内における視聴者の位置と対象となるオブジェクトとの距離を計算する。

ステップＳ１４４において、トリガ取得処理部２２は、視聴者の位置と、対象となるオブジェクトの距離が、あらかじめ定められた閾値以下か否かを判定する。

ステップＳ１４４において、視聴者の視聴位置と、対象となるオブジェクトの距離が閾値以下であると判定される場合、処理はステップＳ１４５に進む。

ステップＳ１４５において、トリガ取得処理部２２は、ステップＳ１４４の処理による判定結果に基づいて、サブのシーンへの切り替えを要求する「トリガ有り」のトリガ情報を生成し、フレーム番号選択部１２１に供給する。

一方、ステップＳ１４４において、視聴者の位置と、対象となるオブジェクトの距離が閾値より大きいと判定される場合、処理はステップＳ１４６に進む。

ステップＳ１４６において、トリガ取得処理部２２は、ステップＳ１４４の処理による判定結果に基づいて、サブのシーンへの切り替えを要求しない「トリガ無し」のトリガ情報を生成し、フレーム番号選択部１２１に供給する。

ステップＳ１４５、またはステップＳ１４６の処理により、トリガ情報が供給されると、トリガ取得処理が終了し、処理は図１７のステップＳ１２３に戻る。ステップＳ１４２においてトリガ有りの状態になっていると判定された場合も同様に、トリガ取得処理は終了となる。

（フレーム番号選択処理）
次に図１９のフローチャートを参照して、図１７のステップＳ１２４において実行されるフレーム番号選択処理の流れの例を説明する。

図１９に示す処理は、シーンの切り替えが、再生情報に代えて、切り替えメタデータに基づいて行われる点で、図１０を参照して説明した処理と異なる。

フレーム番号選択処理が開始されると、ステップＳ１６１において、フレーム番号選択部１２１は、トリガ取得処理部２２から供給されるトリガ情報、取得部２１から供給される現在の再生位置を表す情報、切り替えメタデータ、および視聴体験回数を取得する。

フレーム番号選択部１２１は、現在の再生位置を表す情報、および切り替えメタデータを用いて、再生の対象になっているフレームのフレーム番号を取得する。

ステップＳ１６２において、フレーム番号選択部１２１は、ステップＳ１６０の処理により取得されるトリガ情報が、サブのシーンへの切り替えを要求する「トリガ有り」の情報を含むか否かを判定する。

ステップＳ１６２において、ステップＳ１６１により取得されるトリガ情報に、「トリガ有り」の情報が含まれると判定される場合、処理はステップＳ１６３に進む。

ステップＳ１６３において、フレーム番号選択部１２１は、切り替えメタデータに基づいて、ステップＳ１６０において取得したフレーム番号に対応する切り替えメタデータ内の遷移可能フラグがTrueであるか否かを判定する。

遷移可能フラグがTrueであるとステップＳ１６３において判定された場合、処理はステップＳ１６４に進む。

ステップＳ１６４において、フレーム番号選択部１２１は、ステップＳ１６１において取得した視聴体験回数に基づいて、対応する切り替えメタデータの遷移可能フレームＩＤを選択する。フレーム番号選択部１２１は、選択した遷移可能フレームＩＤから、再生対象を特定する情報となるグローバルフレームＩＤを取得し、切り替え処理部２５に供給する。

ステップＳ１６５において、フレーム番号選択部１２１は、「トリガ有り」となっているトリガ情報の設定を「トリガ無し」に変更することを指示する情報をトリガ取得処理部２２に供給する。トリガ取得処理部２２においては、ここで供給される情報に基づいて、フレーム番号選択部１２１に対して出力するトリガ情報の内容が切り替えられる。

一方、「トリガ有り」の情報が含まれないとステップＳ１６２において判定された場合、または、遷移可能フラグがTrueではなく、FalseであるとステップＳ１６３において判定された場合、処理はステップＳ１６６に進む。

ステップＳ１６６において、フレーム番号選択部１２１は、ステップＳ１６１において取得した再生対象となるフレーム番号を、再生対象を特定する情報として切り替え処理部２５に供給する。

ステップＳ１６５、またはステップＳ１６６の処理により、再生対象を特定する情報が切り替え処理部２５に供給されると、フレーム番号選択処理が終了し、処理は図１７のステップＳ１２４に戻る。

以上の処理により、似ている動作の３Ｄオブジェクトが含まれるフレームに再生対象が切り替わるため、異なる動作のシーンのフレームを、第１実施の形態よりも、シームレスに切り替えることができ、視聴者の没入感が損なわれないようにすることができる。

＜第３実施の形態＞
次に第３実施の形態について説明する。

第１実施の形態においては、トリガ情報、および再生情報に基づいて、被写体の３Ｄオブジェクトの反応を視聴者の状態に応じて変化させる事ができる。

しかしながら、異なる一連の動作を表す各シーンにおいては、３Ｄオブジェクトの反応が、視聴者の望まない反応となってしまうことがある。例えば、視聴者の方向とは異なる方向を向くような反応を３Ｄオブジェクトがとった場合、３Ｄオブジェクトが視聴者から視線をそらすことになり、そのような反応は、視聴者の望まない反応と言える。これにより、視聴者に違和感を与え、視聴者の没入感が損なわれるおそれがある。

そこで、第３実施の形態においては、３Ｄオブジェクトの視線方向を表す視線情報を映像再生装置側に提供するようになされている。映像再生装置においては、シーンの切り替えにあたり、映像生成装置から提供された視線情報を用いて、視聴者が望むと考えられる反応をとる３Ｄオブジェクトを含むシーンが、切り替え先のシーンとして選択され、シーンの切り替えが行われる。

これにより、異なる動作のシーンを視聴者の状態に応じてシームレスに切り替えつつ、視聴者に視線を向ける動作の３Ｄオブジェクトが提供され、視聴者の没入感が損なわれないようにすることができる。

（第３実施の形態の動作の概要）
図２０は、本開示に係る第３実施の形態のシーンの切り替え動作例の概要を説明する図である。

図２０のＡに示すように、例えばコンテンツは、メインのシーンとなるシーンＡと、サブのシーンとなるシーンＢおよびシーンＣの３つのシーンから構成される。

映像再生装置が再生しているシーンＡのあるフレームにおいて、映像の切り替えを要求するトリガ情報が取得されると、映像再生装置は、切り替え先のシーンとして、適切なシーンを他のシーンの中から決定する。

図２０のＡの例においては、映像再生装置は、切り替え先のシーンについて、シーンＢ、またはシーンＣのいずれのシーンが視聴者に対して適切かを、視線情報、および視点位置情報に基づいて決定する。

その後、映像再生装置は、シーンＢ、またはシーンＣのうち、視線情報、および視点位置情報に基づいて決定されるシーンに、再生するシーンを切り替える。

映像再生装置は、再生するシーンを切り替えた後、切り替え先のシーンの再生を行う。映像再生装置は、切り替え先のシーンの再生が終了すると、あらかじめ定められたシーンのフレームに切り替え、再生を継続する。

例えば、映像再生装置は、再生するシーンをシーンＢに切り替えた場合、シーンＢの再生を行う。映像再生装置は、シーンＢの再生が終了すると、あらかじめ定められたシーンであるシーンＡのフレームに切り替え、それ以降、シーンＡの再生を継続する。

シーンの切り替え処理について、具体的に説明する。

図２０のＢの下向きの矢印で示すように、例えば、シーンＡのフレームＡ３において、映像の切り替えを要求するトリガ情報が取得されたものとする。この場合、トリガ情報を取得したことに応じて、映像再生装置は、再生するシーンとして適切なシーンを、シーンＢ、およびシーンＣの中から決定する。

具体的には、映像再生装置は、各シーンのフレームごとに対応付けられた視線情報と、視聴者の視点位置情報とに基づいて、切り替え先のシーン、およびそのシーンのフレームとして、シーンＢ、またはシーンＣにおけるいずれのフレームが適切かを判断する。

例えば、シーンＢのフレームＢ１が適切であると判断した場合、映像再生装置は、再生するシーンを白抜き矢印の先に示すようにシーンＢのフレームＢ１に切り替える。また、シーンＣのフレームＣ１が適切であると判断した場合、映像再生装置は、再生するシーンを破線の白抜き矢印の先に示すようにシーンＣのフレームＣ１に切り替える。

図２１は、各シーンのフレームごとの視線方向の求め方の例を説明する図である。

図２１のＡに示すように、あるシーンのあるフレームにおける被写体の３Ｄオブジェクト＃Ｏｂ２１の視線方向を表すオブジェクトの視線ベクトルは、被写体の３Ｄオブジェクト＃Ｏｂ２１の空間内の位置（Ｏｘ,Ｏｙ,Ｏｚ）と、被写体の３Ｄオブジェクト＃Ｏｂ２１が注視していている注視物体の３Ｄオブジェクト＃Ｏｂ３１の空間内の位置（Ｇｘ，Ｇｙ，Ｇｚ）との差から算出される。

図２１のＡに示すように、視聴者が、視聴空間内において、仮想視聴位置Ｖ１（Ｖｘ，Ｖｙ，Ｖｚ）から被写体の３Ｄオブジェクト＃Ｏｂ２１を視聴する場合、視聴者の視線方向を表す視聴者の視線ベクトルは、仮想視聴位置Ｖ１と、被写体の３Ｄオブジェクト＃Ｏｂ２１の空間内の位置（Ｏｘ,Ｏｙ,Ｏｚ）との差から算出される。

オブジェクトの視線ベクトルと、視聴者の視線ベクトルの成す角度である視聴視線角度が大きい場合、そのシーンのそのフレームにおいて、被写体の３Ｄオブジェクトは、視聴者の方向に視線を向けていないと判断できる。このような判断に用いるための３Ｄオブジェクトの視線方向を表す視線情報が、映像再生装置に対して提供される。

以上のことから、図２１のＢに示すように、映像再生装置において、視聴視線角度が小さくなるシーンのフレームを特定することが可能となる。映像再生装置においては、視聴視線角度が小さくなるシーンのフレームが、切り替え先のフレームとして選択される。

（第３実施の形態の構成例）
図２２は、本開示に係る第３実施の形態の構成の一例を示すブロック図である。

図２２に示す構成のうち、図１４と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

（映像生成装置の構成説明）
図２２の映像生成装置２０１の構成は、多視点映像取得部１１、３Ｄモデル生成部１２の代わりに、多視点映像取得部２１１、３Ｄモデル生成部２１２が設けられる点、視線情報生成部２１３が新たに設けられる点が、図１４の映像生成装置１０１と異なる。

図２２の映像生成装置２０１の多視点映像取得部２１１は、例えば、複数の撮像装置から被写体の情報（例えば、撮像された２Ｄの映像、距離情報、およびカメラパラメータ）を取得し、３Ｄモデル生成部２１２、および視線情報生成部２１３に供給する。

３Ｄモデル生成部２１２は、多視点映像取得部２１１から供給される被写体の情報、および視線情報生成部２１３から供給される視線情報を用いてモデリングを行い、視線情報を有する被写体の３Ｄオブジェクトを生成する。

また、３Ｄモデル生成部２１２は、フレームごとに視線情報を有する被写体の３Ｄオブジェクトを含むシーンを生成する。例えば、メインとなるシーンと、サブとなるシーンが生成される。３Ｄモデル生成部２１２は、生成したシーンのデータを再生情報生成部１３に供給する。

３Ｄモデル生成部２１２は、再生情報生成部１３から供給される再生情報、および３Ｄモデル生成部２１２が生成する、視線情報生成部２１３から供給される視線情報を含むシーンのデータからコンテンツデータを生成し、映像再生装置２０２に供給する。

視線情報生成部２１３は、多視点映像取得部２１１から供給された被写体の情報を取得する。多視点映像取得部２１１からは、例えば、同一の被写体を同時に各撮像装置により撮像して得られた、複数の２Ｄの映像が供給される。

視線情報生成部２１３は、各２Ｄの映像の映像フレーム内に、被写体と注視物体が共に検出されるか否かを、フレームごとに分析する。視線情報生成部２１３は、被写体と注視物体が共に検出された各映像フレームを視線情報生成用フレームとして選択する。

例えば、撮像装置１－１により撮像された２Ｄの映像から選択された視線情報生成用フレーム、撮像装置１－２により撮像された２Ｄの映像から選択された視線情報生成用フレームといったように、それぞれの２Ｄの映像から選択された視線情報生成用フレームが、それぞれの２Ｄの映像におけるフレーム番号と対応付けて選択される。

視線情報生成部２１３は、同じフレーム番号が対応付けられた視線情報生成用フレームが２枚（２フレーム）以上ある場合、そのフレーム番号における視線情報生成用フレームを取得する。

視線情報生成部２１３は、多視点映像取得部２１１から供給されたカメラパラメータ、および取得した各視線情報生成用フレームから、被写体の顔の位置と、注視物体の位置を算出する。

視線情報生成部２１３は、算出した被写体の顔の位置、および注視物体の位置を用いて、３Ｄ空間内における被写体の顔の位置、および注視物体の位置を３Ｄ座標として算出する。

３Ｄ空間内の位置を算出する方法としては、例えば、各視線情報生成用フレームを３Ｄ空間に投影し、三角測量を行うことにより算出する方法がある。同じ時刻のフレームとして、被写体と注視物体が共に映っている映像フレームが２枚以上（複数）ある場合、それらの映像フレームを視線情報生成用フレームとして用いることによって、被写体の顔の位置と注視物体の位置を三角測量などの方法により算出することが可能となる。

視線情報生成部２１３は、算出した被写体の顔の位置、および注視物体の位置から、被写体の視線ベクトルを算出し、被写体の視線ベクトルの情報を有するフレームであることを示す視線有効フラグを生成する。

視線情報生成部２１３は、３Ｄ空間内の被写体の顔の位置、被写体の視線ベクトルの情報、および視線有効フラグを視線情報として、３Ｄモデル生成部２１２に供給する。

（映像再生装置の構成説明）
図２２の映像再生装置２０２の構成は、フレーム番号選択部１２１、および視点位置取得部２３の代わりに、フレーム番号選択部２２１、および視点位置取得部２２２が設けられる点が、図１４の映像再生装置１０２と異なる。

映像再生装置２０２のフレーム番号選択部２２１は、取得部２１から供給される、現在の再生位置を表す情報、切り替えメタデータ、視線情報を取得する。また、フレーム番号選択部２２１は、トリガ取得処理部２２から供給される、トリガ情報、および視点位置取得部２２２から供給される視点位置情報を取得する。

フレーム番号選択部２２１は、取得部２１から供給される現在の再生位置を表す情報、切り替えメタデータ、視線情報、および視点位置取得部２２２から供給される視点位置情報を用いて、再生対象となるシーンと、そのシーンにおける再生対象となるフレーム番号を決定し、再生対象を特定する情報を切り替え処理部２５に供給する。

フレーム番号選択部２２１は、再生対象を特定する情報を切り替え処理部２５に供給した後、トリガ取得処理部２２に対し、トリガ情報を、シーンの切り替えを要求しない内容の情報に設定することを指示するための情報を供給する。

視点位置取得部２２２は、視点位置情報を取得し、トリガ取得処理部２２、フレーム番号選択部２２１、および再生部２６に供給する。

次に、以上のような構成を有する各装置の動作について説明する。

（第３実施の形態における各装置の動作）
（映像生成装置の３Ｄモデルデータ生成処理）
図２３は、映像生成装置２０１の生成処理を説明するフローチャートである。

図２３のステップＳ１８１において、映像生成装置２０１の多視点映像取得部２１１は、複数の撮像装置から被写体の情報を取得し、３Ｄモデル生成部２１２、および視線情報生成部２１３に供給する。

ステップＳ１８２において、視線情報生成部２１３は、視線情報生成処理を行う。視線情報生成処理により、多視点映像取得部２１１から供給された被写体の情報に基づいて、映像フレームごとの視線情報が生成される。視線情報生成処理の詳細については、図２４のフローチャートを参照して後述する。

ステップＳ１８３において、３Ｄモデル生成部２１２は、被写体の情報、およびステップＳ１８２において生成された視線情報を用いて、３Ｄモデリングにより、視線情報を有する被写体の３Ｄオブジェクトを生成する。

ステップＳ１８４において、３Ｄモデル生成部２１２は、一連の動きを表す被写体の３Ｄオブジェクトを用いてシーンを生成する。一連の動きが複数ある場合、ここでは、それぞれの一連の動きに対応するシーンが、個別に生成される。

ステップＳ１８５において、再生情報生成部１３は、３Ｄモデル生成部２１２から供給されるシーンのデータに基づいて、例えば、メインのシーンと、サブのシーンを選択し、設定する。再生情報生成部１３は、メインのシーンとサブのシーンのそれぞれの再生手順を定める再生情報を生成し、３Ｄモデル生成部２１２に供給する。

ステップＳ１８６において、３Ｄモデル生成部２１２は、再生情報生成部１３から供給される再生情報をシーンのデータに対して設定し、再生情報が設定されたシーンのデータを含むコンテンツデータを生成する。

ステップＳ１８７において、切り替えメタデータ生成部１１１は、切り替えメタデータの生成処理を行う。切り替えメタデータ生成処理においては、３Ｄモデル生成部２１２から供給されるシーンのデータ、および再生情報に基づいて、切り替えメタデータが生成され、３Ｄモデル生成部２１２に供給される。図１６を参照して説明した処理と同様の処理であるため、切り替えメタデータ生成処理の詳細な説明については省略する。

ステップＳ１８８において、３Ｄモデル生成部２１２は、ステップＳ１８６において生成されたコンテンツデータに対し、ステップＳ１８７において生成された切り替えメタデータを格納し、映像再生装置２０２に供給する。その後、映像生成装置２０１の生成処理は終了となる。

（視線情報生成処理）
次に図２４のフローチャートを参照して、図２３のステップＳ１８２において実行される視線情報生成処理の流れの例を説明する。

視線情報生成処理が開始されると、ステップＳ２１０において、視線情報生成部２１３は、多視点映像取得部２１１から供給される被写体の情報（例えば、撮像された２Ｄの映像、距離情報、およびカメラパラメータ）を取得する。ここでは、同一の被写体を撮像する撮像装置ごとの、被写体の情報が取得される。

ステップＳ２１１において、視線情報生成部２１３は、ステップＳ２１０において取得した２Ｄの映像における各映像フレームのフレーム番号を指定するための変数ｉをｉ＝０に設定する。変数ｉは、同一の被写体を撮像する撮像装置ごとに取得された全ての２Ｄの映像に対し、共通して使用される変数である。

ステップＳ２１２において、視線情報生成部２１３は、ステップＳ２１０において取得された各撮像装置ごとの２Ｄの映像における、各ｉ番目の映像フレームの中から、被写体と注視物体が共に映像フレーム内にある映像フレームを、視線情報生成用フレームとして選択する。

ここで注目されるｉ番目の映像フレームは、被写体と注視物体が共に映る映像フレームであるか、被写体だけが映る映像フレームとなる。被写体と注視物体が共に映る前者の映像フレームが、視線情報生成用フレームとして選択される。

このような視線情報生成用フレームの選択が、複数の撮像装置により撮像されたそれぞれの２Ｄの映像のｉ番目の映像フレームを対象として行われる。

ステップＳ２１３において、視線情報生成部２１３は、選択した視線情報生成用フレームが２枚以上であるか否かを判定する。２枚以上であると判定された場合、処理は、ステップＳ２１４に進む。

ステップＳ２１４において、視線情報生成部２１３は、ステップＳ２１０において取得した被写体の情報から、各視線情報生成用フレームに対応する各撮像装置のカメラパラメータを取得する。

ステップＳ２１５において、視線情報生成部２１３は、ステップＳ２１２において取得した各視線情報生成用フレームに対し、その視線情報生成用フレーム内における被写体の顔の位置（Ｏｕ，Ｏｖ）、および注視物体（Ｇｕ，Ｇｖ）の位置を検出する。位置の検出は、適宜、カメラパラメータを用いて行われる。

ステップＳ２１６において、視線情報生成部２１３は、同一フレーム内に、被写体の顔の位置、および注視物体の位置を検出できた視線情報生成用フレームが２枚以上あるか否かを判定する。２枚以上あると判定された場合、処理はステップＳ２１７に進む。

ステップＳ２１７において、視線情報生成部２１３は、各視線情報生成用フレームの被写体の顔の位置（Ｏｕ，Ｏｖ）、および注視物体（Ｇｕ，Ｇｖ）の位置を用いて、被写体の顔の３Ｄ空間内の位置（Ｏｘ，Ｏｙ，Ｏｚ）、および注視物体の３Ｄ空間内の位置（Ｇｘ，Ｇｙ，Ｇｚ）を算出する。

ステップＳ２１８において、視線情報生成部２１３は、ステップＳ２１７において算出された被写体の顔の３Ｄ空間内の位置（Ｏｘ，Ｏｙ，Ｏｚ）、および注視物体の３Ｄ空間内の位置（Ｇｘ，Ｇｙ，Ｇｚ）の差から、被写体の視線方向を表す視線ベクトルを算出する。そして、視線情報生成部２１３は、視線ベクトルを有するフレームであることを示す視線有効フラグを生成し、視線有効フラグを１に設定する。

ステップＳ２１９において、視線情報生成部２１３は、ステップＳ２１８において生成した、被写体の顔の３Ｄ空間内の位置、視線ベクトル、および視線有効フラグを、関連する視線情報生成用フレームの情報とともに、視線情報として生成する。

ステップＳ２２０において、視線情報生成部２１３は、各２Ｄの映像の全ての映像フレームを処理したか否かを判定する。

一方、ステップＳ２１３において、または、ステップＳ２１６において、視線情報生成用フレームが２枚以上ではないと判定された場合、処理は、ステップＳ２２１に進む。

ステップＳ２２１において、視線情報生成部２１３は、視線有効フラグを０に設定する。

ステップＳ２２０において、未処理のフレームが存在すると判定された場合は、処理は、ステップＳ２２２に進む。

ステップＳ２２２において、視線情報生成部２１３は、２Ｄの映像のフレーム番号を表す変数ｉをｉ＝ｉ＋１に設定する。その後、ステップＳ２１２に戻り、それ以降の処理が繰り返される。

一方、ステップＳ２２０において、全ての映像フレームを処理したと判定された場合は、処理はステップＳ２２３に進む。

ステップＳ２２３において、視線情報生成部２１３は、全ての視線情報を３Ｄモデル生成部２１２に供給し、視線情報生成処理を終了させる。その後、図２３のステップＳ１８２に戻り、それ以降の処理が行われる。

（映像再生装置の３Ｄモデルデータ再生処理）
フレーム番号選択処理（ステップＳ１２４）を除いて、図２２の映像再生装置２０２が行う全体の処理の流れについては、第２実施の形態における、図１７を参照して説明した処理の流れと同じである。重複する説明については省略する。

（フレーム番号選択処理）
次に図２５のフローチャートを参照して、図１７のステップＳ１２４において実行されるフレーム番号選択処理の流れの例を説明する。図２５に示す処理は、図２２の映像再生装置２０２が行う処理である。

フレーム番号選択処理が開始されると、ステップＳ２４０において、フレーム番号選択部２２１は、取得部２１から供給される、切り替えメタデータ、現在の再生位置を表す情報、および視線情報を取得する。

また、フレーム番号選択部２２１は、トリガ取得処理部２２から供給されるトリガ情報、および視点位置取得部２２２から供給される視点位置情報を取得する。

ステップＳ２４１において、フレーム番号選択部２２１は、ステップＳ２４０の処理により取得されるトリガ情報が、サブのシーンへの切り替えを要求する「トリガ有り」の情報を含むか否かを判定する。

ステップＳ２４１において、「トリガ有り」の情報が含まれないと判定される場合、処理はステップＳ２４２に進む。

ステップＳ２４２において、フレーム番号選択部２２１は、ステップＳ２４０において取得した再生対象となるシーン、および、そのシーンの再生対象となるフレーム番号を、再生対象を特定する情報として、切り替え処理部２５に供給する。その後、図１７のステップＳ１２４に戻り、それ以降の処理が行われる。

一方、ステップＳ２４１において、「トリガ有り」の情報が含まれると判定される場合、処理はステップＳ２４３に進む。

ステップＳ２４３において、フレーム番号選択部２２１は、ステップＳ２４０において取得した切り替えメタデータに基づいて、コンテンツデータに含まれる全てのシーンのフレームを特定するためのグローバルフレームＩＤを示す変数ｉを、ｉ＝０に設定する。

ステップＳ２４４において、フレーム番号選択部２２１は、切り替えメタデータにおけるグローバルフレームＩＤがｉ番目のフレームの視線有効フラグが１か否かを、視線情報に基づいて判定する。視線有効フラグが１であると判定された場合、処理はステップＳ２４５に進む。

ステップＳ２４５において、フレーム番号選択部２２１は、ステップＳ２４０において取得した視線情報から、グローバルフレームＩＤのｉ番目のフレームにおける、視聴空間内の被写体の３Ｄオブジェクトの位置（Ｏｘ，Ｏｙ，Ｏｚ）、および視線ベクトルを取得する。

ステップＳ２４６において、フレーム番号選択部２２１は、ステップＳ２４０において取得した視点位置情報から、視聴者の視聴位置を取得する。フレーム番号選択部２２１は、視聴者の視聴位置と被写体の３Ｄオブジェクトとを結ぶベクトルを設定し、その設定したベクトルと視線ベクトルの成す角を、視聴視線角度として算出する。フレーム番号選択部２２１は、算出した視聴視線角度と、その視聴視線角度を有するフレームを特定する情報を記憶する。

ステップＳ２４７において、フレーム番号選択部２２１は、ステップＳ２４６において新たに算出された視聴視線角度が、それまでに算出して記憶している視聴視線角度の中で最小であるか否かを判定する。

新たな視聴視線角度が最小であると判定された場合、処理はステップＳ２４８に進む。

ステップＳ２４８において、フレーム番号選択部２２１は、既に記憶している視聴視線角度に関する情報を破棄し、視聴視線角度の値がより小さい新たな視聴視線角度と、その視聴視線角度を有するフレームを特定する情報を記憶する。

ステップＳ２４４において、視線有効フラグが１ではないと判定された場合、以上のステップＳ２４５乃至Ｓ２４８の処理はスキップされる。

ステップＳ２４９において、フレーム番号選択部２２１は、全フレームに対し処理を行ったか否かを判定する。全フレームの処理が行われていないとステップＳ２４９において判定された場合、処理はステップＳ２５０に進む。

ステップＳ２５０において、フレーム番号選択部２２１は、変数ｉをｉ＝ｉ＋１に設定する。その後、ステップＳ２４４に戻り、それ以降の処理が繰り返される。

一方、ステップＳ２４９において、全てのフレームの処理が行われたと判定された場合、処理はステップＳ２５１に進む。

ステップＳ２５１において、フレーム番号選択部２２１は、最小の視聴視線角度および、その視聴視線角度を有するフレーム番号を、再生対象を特定する情報として、切り替え処理部２５に供給する。

なお、ステップＳ２４０において取得した視聴体験回数に応じて、再生対象を特定する情報が切り替えられるようにしても良い。

フレーム番号選択部２２１が、再生対象を特定する情報を切り替え処理部２５に供給した後、フレーム番号選択処理は終了となる。その後、図１７のステップＳ１２４に戻り、それ以降の処理が行われる。

以上の処理により、視聴者の方向を向いている被写体の３Ｄオブジェクトを含むシーンが再生対象として選択され、シーンの切り替えが行われるため、視聴者に対して違和感を与えてしまうことを防ぐことが可能となる。また、視聴者は、没入感を得ることが可能となる。

＜付記＞
コンテンツデータの再生時、シーンの切り替えによって、被写体の３Ｄオブジェクトの動きが切り替えられるものとしたが、被写体の３Ｄオブジェクトの代わりに、視聴空間の背景映像が切り替えメタデータに応じて切り替えられるようにしてもよい。

＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

図２６に示されるコンピュータ３００において、CPU（Central Processing Unit）３０１、ROM（Read Only Memory）３０２、RAM（Random Access Memory）３０３は、バス３０４を介して相互に接続されている。

バス３０４にはまた、入出力インタフェース３０５も接続されている。入出力インタフェース３０５には、入力部３０６、出力部３０７、記憶部３０８、通信部３０９、およびドライブ３１０が接続されている。

入力部３０６は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部３０７は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部３０８は、例えば、ハードディスク、不揮発性のメモリなどよりなる。通信部３０９は、例えば、ネットワークインタフェースよりなる。ドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア３１１を駆動する。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記憶部３０８に記憶されているプログラムを、入出力インタフェース３０５およびバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３１１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インタフェース３０５を介して、記憶部３０８にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部３０９で受信し、記憶部３０８にインストールすることができる。

その他、このプログラムは、ROM３０２や記憶部３０８に、あらかじめインストールしておくこともできる。

＜本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。

また、以上においては、本技術を撮像装置に適用する場合について説明したが、本技術は、撮像装置に限らず任意の装置（電子機器）に適用することができる。例えば、他の装置において行われた高デジタルゲイン撮像により得られた撮像画像に対して画像処理を施す画像処理装置等にも本技術を適用することができる。

また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。

さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。

なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

＜その他＞
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

なお、本技術は以下のような構成も取ることができる。

（１）
異なる視点から被写体が撮像された複数の視点映像から生成される第１の３Ｄ形状映像と、第１の３Ｄ形状映像と異なる映像である第２の３Ｄ形状映像を取得する取得部と、
前記第１の３Ｄ形状映像を視聴している視聴者の状態に基づいて、前記第１の３Ｄ形状映像のフレームから、前記第２の３Ｄ形状映像のフレームへ、再生するフレームを切り替える切り替え処理部、
を備える映像再生装置。
（２）
前記切り替え処理部は、前記視聴者の状態としての視聴空間内の前記視聴者の視点位置と、前記第１の３Ｄ形状映像内の被写体の３Ｄ形状との位置関係に基づいて、フレームを切り替える
前記（１）に記載の映像再生装置。
（３）
前記位置関係に基づいて、再生するフレームの切り替えを要求するトリガ情報を取得するトリガ取得処理部、
をさらに備える前記（２）に記載の映像再生装置。
（４）
前記取得部は、さらに、前記第１の３Ｄ形状映像のフレームから前記第２の３Ｄ形状映像のフレームへの切り替えが可能か否かを表す遷移可能フラグを含む切り替えメタデータを取得する、
前記（３）に記載の映像再生装置。
（５）
前記切り替えメタデータは、前記第１の３Ｄ形状映像の各フレームにおける被写体の３Ｄオブジェクトと前記第２の３Ｄ形状映像の各フレームにおける被写体の３Ｄオブジェクトの類似度に基づいて生成される、
前記（４）に記載の映像再生装置。
（６）
前記切り替え処理部は、前記切り替えメタデータに基づいて、前記第１の３Ｄ形状映像のフレームから前記第２の３Ｄ形状映像のフレームへ、再生するフレームを切り替える、
前記（５）に記載の映像再生装置。
（７）
再生されている前記第１の３Ｄ形状映像のフレームが前記切り替えメタデータにより前記第２の３Ｄ形状映像のフレームへの切り替えが認められないフレームである場合、
前記切り替え処理部は、前記トリガ情報が取得されたときでも、前記切り替えメタデータにより切り替えが認められるフレームまで、前記第１の３Ｄ形状映像から前記第２の３Ｄ形状映像への切り替えを行わない、
前記（６）に記載の映像再生装置。
（８）
前記切り替えメタデータは、さらに、視聴体験回数に応じた遷移可能フレームIDを含む
前記（７）に記載の映像再生装置。
（９）
前記取得部は、さらに、前記第１の３Ｄ形状映像と前記第２の３Ｄ形状映像のフレームごとに、被写体の３Ｄオブジェクトの視線情報を取得する、
前記（８）に記載の映像再生装置。
（１０）
前記視線情報には、前記第１の３Ｄ形状映像と前記第２の３Ｄ形状映像のフレームごとの、３Ｄ形状映像内における被写体の３Ｄオブジェクトの位置、視線ベクトル、視線有効フラグが含まれる、
前記（９）に記載の映像再生装置。
（１１）
前記切り替え処理部は、さらに、前記視線情報と、前記視聴体験回数に応じて遷移可能フレームを切り替える
前記（１０）に記載の映像再生装置。
（１２）
前記第１の３Ｄ形状映像は、コンテンツのメインとなる映像であり、前記第２の３Ｄ形状映像は、コンテンツのサブの特定シーンの映像である
前記（１）乃至（１１）のいずれかに記載の映像再生装置。
（１３）
前記切り替え処理部は、前記切り替えメタデータに応じて、被写体の３Ｄ形状映像の代わりに視聴空間の背景映像を切り替える
前記（１）乃至（１２）のいずれかに記載の映像再生装置。
（１４）
映像再生装置が、
異なる視点から被写体が撮像された複数の視点映像から生成される第１の３Ｄ形状映像と、前記第１の３Ｄ形状映像と異なる映像である第２の３Ｄ形状映像とを取得し、
前記第１の３Ｄ形状映像を視聴している視聴者の状態に基づいて、前記第１の３Ｄ形状映像のフレームから前記第２の３Ｄ形状映像のフレームへ、再生するフレームを切り替える、
再生方法。
（１５）
コンピュータに、
異なる視点から被写体が撮像された複数の視点映像から生成される第１の３Ｄ形状映像と、前記第１の３Ｄ形状映像と異なる映像である第２の３Ｄ形状映像とを取得し、
前記第１の３Ｄ形状映像を視聴している視聴者の状態に基づいて、前記第１の３Ｄ形状映像のフレームから前記第２の３Ｄ形状映像のフレームへ、再生するフレームを切り替える、
処理を実行させるためのプログラム。

１ 映像生成装置， ２ 映像再生装置， ３ 表示装置， １１ 多視点映像取得部， １２ ３Ｄモデル生成部， １３ 再生情報生成部， ２１ 取得部， ２２ トリガ取得処理部， ２４ フレーム番号選択部， ２５ 切り替え処理部， ２６ 再生部， １０１ 映像生成装置， １０２ 映像再生装置， １１１ 切り替えメタデータ生成部， １１２ ３Ｄモデル生成部， １２１ フレーム番号選択部， ２０１ 映像生成装置， ２０２ 映像再生装置， ２１１ 多視点映像取得部， ２１２ ３Ｄモデル生成部， ２１３ 視線情報生成部， ２２１ フレーム番号選択部， ２２２ 視点位置取得部

Claims (16)

1. 異なる視点から被写体を撮像した複数の視点映像から生成される第１の３Ｄ形状映像と、前記第１の３Ｄ形状映像の被写体と同一の被写体の異なる動きを表す第２の３Ｄ形状映像とを取得する取得部と、
   前記第１の３Ｄ形状映像を視聴している視聴者の状態に基づいて、前記第１の３Ｄ形状映像のフレームから前記第２の３Ｄ形状映像のフレームへ、再生するフレームを切り替える切り替え処理部と、
   を備える映像再生装置。
2. 前記切り替え処理部は、前記視聴者の状態としての視聴空間内の前記視聴者の視点位置と、前記第１の３Ｄ形状映像内の被写体の３Ｄ形状との位置関係に基づいて、フレームを切り替える
   請求項１に記載の映像再生装置。
3. 前記位置関係に基づいて、再生するフレームの切り替えを要求するトリガ情報を取得するトリガ取得処理部、
   をさらに備える請求項２に記載の映像再生装置。
4. 前記取得部は、さらに、前記第１の３Ｄ形状映像のフレームから前記第２の３Ｄ形状映像のフレームへの切り替えが可能か否かを表す遷移可能フラグを含む切り替えメタデータを取得する、
   請求項３に記載の映像再生装置。
5. 前記切り替えメタデータは、前記第１の３Ｄ形状映像の各フレームにおける被写体の３Ｄオブジェクトと前記第２の３Ｄ形状映像の各フレームにおける被写体の３Ｄオブジェクトの類似度に基づいて生成される、
   請求項４に記載の映像再生装置。
6. 前記切り替え処理部は、前記切り替えメタデータに基づいて、前記第１の３Ｄ形状映像のフレームから前記第２の３Ｄ形状映像のフレームへ、再生するフレームを切り替える、
   請求項５に記載の映像再生装置。
7. 再生されている前記第１の３Ｄ形状映像のフレームが、前記切り替えメタデータにより前記第２の３Ｄ形状映像のフレームへの切り替えが認められないフレームである場合、
   前記切り替え処理部は、前記トリガ情報が取得されたときでも、前記切り替えメタデータにより切り替えが認められるフレームまで、前記第１の３Ｄ形状映像から前記第２の３Ｄ形状映像への切り替えを行わない、
   請求項６に記載の映像再生装置。
8. 前記切り替えメタデータは、さらに、視聴体験回数に応じた遷移可能フレームIDを含む
   請求項７に記載の映像再生装置。
9. 前記取得部は、さらに、前記第１の３Ｄ形状映像と前記第２の３Ｄ形状映像のフレームごとに、被写体の３Ｄオブジェクトの視線情報を取得する、
   請求項８に記載の映像再生装置。
10. 前記視線情報には、前記第１の３Ｄ形状映像と前記第２の３Ｄ形状映像のフレームごとの、３Ｄ形状映像内における被写体の３Ｄオブジェクトの位置、視線ベクトル、視線有効フラグが含まれる、
    請求項９に記載の映像再生装置。
11. 前記切り替え処理部は、さらに、前記視線情報と、前記視聴体験回数に応じて遷移可能フレームを切り替える
    請求項１０に記載の映像再生装置。
12. 前記第１の３Ｄ形状映像は、コンテンツのメインとなる映像であり、前記第２の３Ｄ形状映像は、コンテンツのサブの特定シーンの映像である
    請求項１１に記載の映像再生装置。
13. 前記切り替え処理部は、前記切り替えメタデータに応じて、被写体の３Ｄ形状映像の代わりに視聴空間の背景映像を切り替える
    請求項１２に記載の映像再生装置。
14. 映像再生装置が、
    異なる視点から被写体を撮像した複数の視点映像から生成される第１の３Ｄ形状映像と、前記第１の３Ｄ形状映像の被写体と同一の被写体の異なる動きを表す第２の３Ｄ形状映像とを取得し、
    前記第１の３Ｄ形状映像を視聴している視聴者の状態に基づいて、前記第１の３Ｄ形状映像のフレームから前記第２の３Ｄ形状映像のフレームへ、再生するフレームを切り替える、
    再生方法。
15. コンピュータに、
    異なる視点から被写体を撮像した複数の視点映像から生成される第１の３Ｄ形状映像と、前記第１の３Ｄ形状映像の被写体と同一の被写体の異なる動きを表す第２の３Ｄ形状映像とを取得し、
    前記第１の３Ｄ形状映像を視聴している視聴者の状態に基づいて、前記第１の３Ｄ形状映像のフレームから前記第２の３Ｄ形状映像のフレームへ、再生するフレームを切り替える、
    処理を実行させるためのプログラム。
16. 異なる視点から被写体を撮像した複数の視点映像から生成される第１の３Ｄ形状映像を生成する処理と、
    異なる視点から前記第１の３Ｄ形状映像と同一の被写体を撮像した複数の視点映像から生成される３Ｄ形状映像であって、再生するフレームを前記第１の３Ｄ形状映像を視聴している視聴者の状態に基づいて切り替えることに用いられる、前記第１の３Ｄ形状映像の被写体と異なる動きを表す第２の３Ｄ形状映像を生成する処理と、
    を含む、３Ｄ形状映像データの生成方法。

Images