JPWO2019031306A1 - 生成装置、再生装置、生成方法、再生方法、制御プログラム、記録媒体 - Google Patents

Abstract

ネットワークとクライアントに対する負荷を軽減させるような映像の高速再生を可能にする生成装置及び再生装置を実現する。上記の課題を解決するために、本発明の一態様に係る生成装置（１０）は、複数の視点又は視線方向の各々の部分映像を含む全体映像における、ある部分映像の再生に関するメタ情報を生成する情報生成部（１１１）と、一部のフレームが前記ある部分映像から間引かれた間引映像を示すデータを生成するデータ生成部（１１２）とを備える。また、本発明の一態様に係る再生装置（２０）は、複数の視点又は視線方向の各々の部分映像を含む全体映像における、ある部分映像の再生に関するメタ情報を参照して、該ある部分映像、又は、一部のフレームが該ある部分映像から間引かれた間引映像を再生する再生処理部（２１１）を備える。

Description

本発明の一態様は、複数の視点又は視線方向の映像に関するデータを生成する生成装置及び生成方法、該データを再生する再生装置及び再生方法、並びに該データの生成又は再生に関する制御プログラム及び記録媒体に関する。

従来、同じ位置に設置した複数のカメラで撮影した撮影映像を合成することによって上下左右360度の全方位又は全方位に準ずる範囲の映像（全天球映像）を生成する技術がある。類似の技術として、異なる位置に設置した複数のカメラ（視点）で同じ被写体を撮影した撮影映像を合成することによって多視点映像を生成する技術も存在する。

また、近年、映像を配信するための様々な技術が開発されている。映像を配信するための技術としては、MPEG（Moving Picture Experts Group）にて現在標準化作業が進められているDASH（Dynamic Adaptive Streaming over HTTP）が挙げられる（非特許文献１）。DASHでは、MPD（Media Presentation Description）データ等のメタデータのフォーマットが規定されている。

ISO/IEC 23009-1 Second edition 2014-05-15

従来、サーバ上に存在する映像であって、多視点映像における特定の視点からの映像をクライアント側の端末が高速再生するケースとして、一部のフレームを間引くことによって高速再生を行うケースがあった。このような高速再生には以下のような問題があった。

即ち、サーバ側からクライアント側へ該映像の高速再生に必要が無いフレーム部分のデータまで送信していた。そのため、サーバとクライアント間のネットワークに余分な負荷がかかっていた。

さらに、クライアント側でも、間引くべきフレーム（再生に必要がないフレーム）を特定する処理も必要であったため、クライアントのＣＰＵにも余分な負荷がかかっていた。

本発明の一様態は以上の課題に鑑みてなされたものであり、ネットワークとクライアントに対する負荷を軽減させるような映像の高速再生を可能にする生成装置及び再生装置を実現することを主たる目的とする。

上記の課題を解決するために、本発明の一態様に係る生成装置は、複数の視点又は視線方向の各々の部分映像を含む全体映像における、ある部分映像の再生に関するメタ情報を生成する情報生成部と、一部のフレームが前記ある部分映像から間引かれた間引映像を示すデータを生成するデータ生成部とを備える。また、本発明の一態様に係る再生装置は、複数の視点又は視線方向の各々の部分映像を含む全体映像における、ある部分映像の再生に関するメタ情報を参照して、該ある部分映像、又は、一部のフレームが該ある部分映像から間引かれた間引映像を再生する再生処理部を備える。

本発明の一態様によれば、ネットワークとクライアントに対する負荷を軽減させるような映像の高速再生を可能にする生成装置及び再生装置を実現できる。

本発明の実施形態１に係る生成装置と再生装置の機能ブロック図である。 実施形態１に係るMPDデータを生成する処理等を示す図である。 実施形態１に係る、視点Ｐの撮影映像を加工して間引映像を生成する処理の一部について、説明するための図である。 実施形態１に係る、視点Ｐの撮影映像を加工して、間引映像を生成する処理の一部について説明するための図である。 実施形態１に係る生成装置の一動作を示すフローチャートである。 実施形態１に係る再生装置の一動作を示すフローチャートである。 実施形態１の変形例に係る、視点Ｐの撮影映像を加工して間引映像を生成する処理の一部について、説明するための図である。 実施形態１の変形例に係る、視点Ｐの撮影映像を加工して、間引映像を生成する処理の一部について説明するための図である。 実施形態２に係るMPDデータを生成する処理等を示す図である。 実施形態２に係る、視点Ｐ及び視点Ｑの撮影映像を加工して、間引映像を生成する処理の一部について説明するための図である。 実施形態２に係る生成装置の一動作を示すフローチャートである。 実施形態２に係る再生装置の一動作を示すフローチャートである。 実施形態２の変形例に係る３次元モデルデータを付加した間引映像を生成する処理の一部について説明するための図である。 その他の実施形態における間引映像を生成する処理に関する図である。

以下、本発明の実施形態について図１〜図１４に基づいて説明すれば以下の通りである。

〔実施形態１〕
本発明の一実施形態に係る多視点映像システム（以下、単に「多視点映像システム」と称する）について、以下に説明する。

多視点映像システムは、被写体を円状に取り囲む複数の視点の各々の撮影映像が合成された全体映像（多視点映像）におけるある撮影映像（ある視点映像）を高速再生する。なお、本明細書において視点とはユーザの仮想的な立ち位置に相当する場所という意味と該ユーザが向ける視線方向という意味の両方を包含する。

本実施形態では、生成装置が、撮影映像を加工して、一部のフレームが予め間引かれた間引映像を生成し、撮影映像に対する高速再生の操作を受け付けた再生装置は、間引映像を再生するようになっている。以下では、加工前の撮影映像のことを元映像とも称する。

なお、生成装置は、多視点映像を構成する各視点映像（元映像）から間引映像を生成する機能に加え、多視点映像自体を生成する機能（複数台のカメラ）を備えたサーバであってもよい。ただし、該機能（複数台のカメラ）は本発明において必須ではない。該機能を備えていない生成装置（サーバ）には、撮影済の多視点映像を予め保存しておくものとする。

[１．生成装置１０と再生装置２０の構成]
図１は実施形態１に係る生成装置と再生装置の機能ブロック図である。

生成装置１０は制御部１１、記憶部１２、及び送信部１９を備えており、再生装置２０は制御部２１、記憶部２２、表示部２３及び受信部２９を備えている。制御部１１は、生成装置１０全体を統括する制御回路であり、情報生成部１１１とデータ生成部１１２として機能する。また、制御部２１は、再生装置２０全体を統括する制御回路であり、再生処理部２１１として機能する。

記憶部１２は、生成装置１０において撮影映像を加工する場合等に参照又は生成するデータを保持する記憶装置である。送信部１９は、例えば再生装置２０にデータを送信する送信回路である。

情報生成部１１１は多視点映像における、ある撮影映像の再生に関するメタ情報を生成する。

データ生成部１１２は元映像から間引映像を示すデータを生成する。

記憶部２２は再生装置２０において映像を再生する際に参照すべきデータを保持する記憶装置である。表示部２３はユーザの操作に基づき再生された映像が表示される表示パネルである。受信部２９は例えば生成装置１０から送られたデータを受信する受信回路である。

再生処理部２１１は、ユーザによる再生操作の種類（標準速再生、又は、高速再生）に応じて、元映像、又は、元映像を加工した間引映像を再生する。なお、必ずしも図１のように生成装置と再生装置の間にネットワークを介しているとは限らず、生成装置１０と再生装置２０が直接的に接続されていても構わない。また、記憶部１２は生成装置１０の外部に、記憶部２２及び表示部２３は再生装置２０の外部にそれぞれ存在していても構わない。

[２．MPDデータ及びメディアセグメントについて]
図２は、ある視点Ｐの撮影映像を高速再生するためのMPDデータを生成する処理、及び、MPDデータを参照して撮影映像を高速再生する処理について、説明するための図である。なお、視点Ｐの撮影映像は、多視点映像を合成するために使用した、異なる複数の視点からの複数の撮影映像のうちの１つである。

MPDデータは、撮影映像の再生に関する前述のメタ情報の一例である。また、メディアセグメントは、元映像及び間引映像を時分割したHTTP伝送の伝送単位（例えば、ISOBMFF（ISO Base Media File Format）をベースにしたデータ）である。各メディアセグメントは、I（Intra、イントラ）フレーム、P（Predictive、片方向予測）フレーム、及び、B（Bi-directional、双方向予測）フレームを含んでいる。

この図を参照して、MPDデータ及びメディアセグメントについてもう少し具体的に説明する。MPDデータは、図２のように、上位の階層要素から順に、MPD要素１００、Period要素１１０、AdaptationSet要素（１２０、１２１）、Representation要素（１３０、１３１）、SegmentList要素、及び、SegmentURL要素を含む木構造となっている。なお、図２におけるSegment 1（１４０−１）、Segment n（１４０−ｎ）、Segment（１４１）等はSegmentList要素に含まれるn個のSegmentURL要素に相当し、SegmentList要素は、図２においては省略されている。

本実施形態では、ある視点Ｐの撮影映像を再生するためのAdaptationSet要素として、少なくとも標準速再生用１２０と高速再生用１２１との２つが存在する。

なお、各階層要素が含む直下の階層要素のデータの数は１つとは限らず、扱う映像データサイズ等によって異なる。例えば、MPD要素は、図２のように１つのPeriod要素を含むことも、複数のPeriod要素を含むこともあり得る。AdaptationSet要素はRepresentation要素及びSegmentList要素を介して通常複数のSegmentURL要素を含んでいる。即ち、標準速再生用のAdaptationSet要素１２０に含まれる各SegmentURL要素（第２の情報）は、上位階層であるPeriod要素が示す期間の元映像が時分割されたn個のメディアセグメントのうちの、対応する１つの映像の取得先を示す情報（URL）を含んでいる。

また、高速再生用のAdaptationSet要素１２１においては、SegmentURL要素１４１（第１の情報）が、上位階層であるPeriod要素が示す期間の間引映像が時分割された１又は複数のメディアセグメントのうちの、対応する１つの映像の取得先を示す情報（URL）を含んでいる。

以下、各メディアセグメントが有するインデックス情報（例えばsidxボックスやssixボックスのインデックス情報）について説明する。

MPEG-DASHの各メディアセグメントはメタ情報として内部にstyp,sidx,ssix,moof等のボックスと呼ばれる情報を有している。このうちsidxボックスには対応するメディアセグメントに含まれるランダムアクセスポイント（例えば、Iフレーム）の位置を特定するインデックスが格納されている。ssixボックスのL0レイヤーには対応するメディアセグメントに含まれるIフレームの位置を特定するインデックスが格納されており、ssixボックスのL1レイヤーには対応するメディアセグメントに含まれるPフレームの位置を特定するインデックスが格納されている。即ち、メディアセグメントが含むIフレームの位置を特定する場合には、そのメディアセグメント自身のsidxボックスを参照してもいいし、そのメディアセグメント自身のssixボックスのL0レイヤーを参照しても構わない。

[３．生成装置１０における処理の流れ]
以下、生成装置１０が前述のMPDデータ及び間引映像を生成する動作について、図２〜図５を参照しながら説明する。図３及び図４は、視点Ｐの撮影映像を加工して、間引映像を生成する処理について説明するための図である。図５は、生成装置の上記動作を示すフローチャートである。

データ生成部１１２は、記憶部１２に記録されている、視点Ｐの元映像を構成するn個のメディアセグメントの各々について、前述の方法を用いてＩフレームの位置を特定する（Ｓ５１）。そして、図３に示すように、データ生成部１１２は、n個の各メディアセグメント（１５０−１、・・、１５０−ｎ）から、特定した位置のフレーム（Ｉフレーム、例えば、図３のI₁及びI₁₀）以外のフレーム（Ｂフレーム、Ｐフレーム）を間引く（Ｓ５２）。

そして、データ生成部１１２は、Ｂフレーム及びＰフレームが間引かれたn個のメディアセグメント（１５０−１’、・・、１５１−ｎ’）から、間引映像を構成するメディアセグメント１５１を生成する（Ｓ５３）。具体的には、図３及び図４からわかるように、n個のメディアセグメントにおいてより早く提示されるべき位置にあるＩフレームがより早い時期に提示されるように、間引映像を構成する１又は複数のメディアセグメントを生成する。

その結果、記憶部１２には、視点Ｐの元映像とは別に、元映像からＢフレーム及びＰフレームが間引かれた間引映像が記録されることとなる。

その後、生成装置１０は、公知のMPDデータの生成処理に加えて以下の処理を行うことによって、前述のMPDデータを生成する。

即ち、情報生成部１１１は、視点Ｐの元映像を構成するn個のメディアセグメント（１５０−１、・・、１５０−ｎ）の取得先を示すn個のSegmentURL要素（１４０−１、・・、１４０−ｎ）を含むAdaptationSet要素１２０をMPDデータに記述する（Ｓ５４）。更に、情報生成部１１１は、視点Ｐの間引映像を構成する１つ以上のメディアセグメント１５１の取得先を示す１つ以上のSegmentURL要素１４１を含むAdaptationSet要素１２１をMPDデータ内に記述する（Ｓ５５）。

その結果、視点Ｐの撮影映像を高速再生（及び標準速再生）するための前述のMPDデータ１００が記憶部１２に記録されることとなる。

[４．再生装置２０における処理の流れ]
以下、前述のMPDデータ１００を参照して、ある視点Ｐの撮影映像を再生する操作を受けつけた場合の再生装置２０の動作について、図２及び図６を参照しながら説明する。図６は、再生装置の上記動作を示すフローチャートである。

まず、再生処理部２１１は、受け付けた再生操作の種類を判定する（Ｓ６１）。再生処理部２１１は、標準再生の操作（第２の操作）を受け付けたと判定した場合、記憶部２２に記録されているMPDデータ１００におけるAdaptationSet要素１２０を参照する。

具体的には、再生処理部２１１は、n個のSegmentURL要素（１４０−１、・・、１４０−ｎ）を参照し、受信部２９を介して、n個のメディアセグメント（１５０−１、・・、１５０−ｎ）を取得する（Ｓ６２）。

再生処理部２１１は、取得したn個のメディアセグメント（１５０−１、・・、１５０−ｎ）を、メディアセグメント１５０−１、・・、メディアセグメント１５０−ｎの順に標準速再生する（Ｓ６３）。

一方、再生処理部２１１は、高速再生の操作（第１の操作）を受け付けたと判定した場合、記憶部２２に記録されているMPDデータ１００におけるAdaptationSet要素１２１（SegmentURL要素１４１）を参照し、メディアセグメント１５１を取得する（Ｓ６４）。

再生処理部２１１は、取得したメディアセグメント１５１（間引映像）を標準速再生する（Ｓ６５）。

なお、再生装置２０は、標準速再生、高速再生に加え、低速再生をサポートしていてもよい。低速再生をサポートする再生装置２０では、低速再生の操作を受け付けた場合にもＳ６２の工程を実行し、取得したn個のメディアセグメントを低速再生してもよい。

また、再生装置２０は、高速再生の操作を受け付けた場合に、Ｓ６４の工程を実行し、取得したメディアセグメント１５１（間引映像）を高速再生（間引再生）してもよい。

（変形例１）
図７及び図８を参照して、本実施形態の変形例について説明する。図７及び図８は、視点Ｐの撮影映像を加工して、間引映像を生成する処理の変形例について説明するための図である。

本変形例では、データ生成部１１２は、図７に示すように、メディアセグメント（１５０−１、・・、１５０−ｎ）のssixボックスのL0レイヤー及びL1レイヤーを参照して、Ｉフレーム及びＰフレームの位置を特定する。

そして、データ生成部１１２は、n個の各メディアセグメント（１５０−１、・・、１５０−ｎ）から、特定した位置のフレーム（Ｉフレーム及びＰフレーム、例えば、図７のI₁及びP₂）以外のフレーム（Ｂフレーム）を間引く。データ生成部１１２は、図８に示すように、Ｂフレームが間引かれたn個のメディアセグメント（１５０−１”、・・、１５０−ｎ”）から、間引映像を構成するメディアセグメント１５１aを生成する。

その結果、記憶部１２には、視点Ｐの元映像とは別に、元映像からＢフレームのみが間引かれた間引映像が記録されることとなる。

Ｐフレームもメディアセグメントの生成に使用した場合、生成したデータ量はIフレームのみを使用した場合と比較して大きくなるが、Iフレームのみを使用した場合と比較してより滑らかな高速再生を実現することができる。いずれにしても、少なくともＢフレームを間引くことによって、再生装置側では、部分映像の高速再生の際に、双方向の参照画像を復号するまで再生できないＢフレームを再生しないので、デコード能力の低い再生装置であっても部分映像を高速に再生できるという効果を奏する。

（変形例２）
AdaptationSet要素１２１には、AdaptationSet要素１２１が間引映像の取得先を示す情報であることを示す記述子を含んでいてもよい。

このような記述子としては、例えば、EssentialProperty要素若しくはSupplementalProperty要素、又は、mimeType属性が挙げられる。

（変形例３） 生成装置１０には、ユーザの操作に応じて、高速再生用の間引映像を生成する処理と、高速再生用のAdaptationSet要素１２１をMPDデータに記述する処理と、を行う場合と、これらの処理を行わない場合と、があってもよい。

前者の場合には、生成装置１０は、MPD要素のProfile属性に、高速再生用のAdaptationSet要素１２１がMPDデータ１００に含まれていることを示す属性値を記述してもよい。また、後者の場合には、生成装置１０は、MPD要素のProfile属性に、高速再生用のAdaptationSet要素１２１がMPDデータに含まれていないことを示す属性値を記述してもよい。

そして、再生装置２０は、ある多視点映像に含まれるある視点映像（元映像）を高速再生する操作を受け付けた場合に、その多視点映像に対応するMPDデータに記述されている上記Profile属性の値に基づき処理を切り替えてもよい。

すなわち、再生装置２０は、属性値が高速再生用のAdaptationSet要素１２１がMPDデータ１００に含まれていることを示す場合には、AdaptationSet要素１２１を参照して、前記元映像から生成された間引映像を取得及び再生してもよい。一方、再生装置２０は、属性値が高速再生用のAdaptationSet要素１２１がMPDデータ１００に含まれていないことを示す場合には、AdaptationSet要素１２０を参照して、元映像を取得及び高速再生（間引再生）してもよい。

なお、上述の変形例１〜変形例３は、後述の各実施形態にも適用可能である。

（本実施形態の利点）
以上のように、生成装置１０では、情報生成部１１１が、複数の視点の撮影映像を含む多視点映像における、ある撮影映像の再生に関するMPDデータ１００を生成する。

また、データ生成部１１２が、少なくともＢフレームがある撮影映像（元映像）から間引かれた間引映像を示すメディアセグメントを生成する。

MPDデータ１００は、前記ある撮影映像の高速再生操作に応じて参照される、間引映像の取得先を示すAdaptationSet要素１２１（SegmentURL要素１４１）と、前記ある撮影映像の標準速再生操作に応じて参照される、元映像の取得先を示すAdaptationSet要素１２０（SegmentURL要素１４０−１、・・、１４０−ｎ）と、を含んでいる。

また、再生装置２０では、再生処理部２１１が、MPDデータ１００を参照し、元映像又は間引映像を再生する。

具体的には、再生処理部２１１は、前記高速再生操作に応じて、AdaptationSet要素１２１（SegmentURL要素１４１）に基づいて間引映像を取得及び再生し、前記標準速再生操作に応じて参照される、AdaptationSet要素１２０（SegmentURL要素１４０−１、・・、１４０−ｎ）に基づいて元映像を取得及び再生する。

上記の構成によれば、高速再生を行う場合においてサーバである生成装置１０側からクライアントである再生装置２０側に送出するデータ量を少なくともＢフレームのデータ量だけ削減できるのでネットワークの負荷を軽減できる。更に再生装置２０側では、高速再生の際にＢフレームを間引く必要がないため、少ないＣＰＵのリソースで高速再生することができる。

〔実施形態２〕
本発明の他の実施形態について、図１及び図９〜図１３に基づいて説明すれば以下のとおりである。本実施形態においては、多視点映像システムにおいて、ある視点Ｐと視点Ｑとの中間の視点からの映像を高速再生する場合について説明する。

[１．生成装置１０と再生装置２０の構成]
本実施形態においても実施形態１の場合と同様に図１の構成を用いる。

[２．MPDデータ及びメディアセグメントについて]
図９は、ある視点Ｐと視点Ｑとの中間の視点からの映像を高速再生するためのMPDデータを生成する処理、及び、MPDデータを参照して撮影映像を高速再生する処理について、説明するための図である。なお、視点Ｐ及び視点Ｑ（第１の視点及び第２の視点）は、該中間の視点（特定の視点）に隣接する視点である。また、視点Ｐ及び視点Ｑの撮影映像の各々は、多視点映像を合成するために使用した、異なる複数の視点からの複数の撮影映像（即ち、元映像）のうちの１つである。

Segment 1（２４０−１）、Segment n（２４０−ｎ）、Segment 1（２４１−１）、Segment n（２４１−ｎ）及びSegment（２４２）等はSegmentList要素に含まれるn個のSegmentURL要素に相当し、SegmentList要素は、図２同様、図９においても省略されている。

本実施形態では、ある視点Ｐと視点Ｑとの撮影映像を再生するためのAdaptationSet要素として、標準速再生用AdaptationSet２２０と２２１とがそれぞれ存在し、視点Ｐと視点Ｑとの中間の視点からの映像を再生するための高速再生用AdaptationSet２２２が存在する。

なお、各階層要素が含む直下の階層要素のデータの数は１つとは限らず、扱う映像データサイズ等によって異なる。例えば、MPD要素は、図９のように１つのPeriod要素を含むことも、複数のPeriod要素を含むこともあり得る。AdaptationSet要素はRepresentation要素及びSegmentList要素を介して通常複数のSegmentURL要素を含んでいる。即ち、標準速再生用のAdaptationSet要素２２０及び２２１に含まれる各SegmentURL要素（第２の情報）は、上位階層であるPeriod要素が示す期間の元映像が時分割されたn個のメディアセグメントのうちの、対応する１つの映像の取得先を示す情報（URL）を含んでいる。

また、高速再生用のAdaptationSet要素２２２においては、SegmentURL要素２４２（第１の情報）が、上位階層であるPeriod要素が示す期間の視点Ｐ及び視点Ｑの間引映像が時分割された１又は複数のメディアセグメントのうちの、対応する１つの映像の取得先を示す情報（URL）を含んでいる。

[３．生成装置１０における処理の流れ]
以下、生成装置１０が前述のMPDデータ及び間引映像を生成する動作について、図９〜図１１を参照しながら説明する。図１０は、視点Ｐ及び視点Ｑの撮影映像を加工して、間引映像を生成する処理について説明するための図である。図１１は、生成装置の上記動作を示すフローチャートである。

データ生成部１１２は、記憶部１２に記録されている、2n個のメディアセグメントの各々について、前述の方法を用いてＩフレームの位置を特定する（Ｓ７１）。これら2n個のメディアセグメントは、図９に示した、AdaptationSet要素２２０及び２２１を参照して取得される2n個のメディアセグメント（２５０−１、・・、２５０−ｎ、２５１−１、・・、２５１−ｎ）である。そして、図１０に示すように、データ生成部１１２は、2n個の各メディアセグメント（２５０−１、・・、２５０−ｎ、２５１−１、・・、２５１−ｎ）から、特定した位置のフレーム（Ｉフレーム、例えば、図１０のI1及びI10）以外のフレーム（Ｂフレーム、Ｐフレーム）を間引く（Ｓ７２）。即ち、データ生成部１１２は、一部のフレーム（Ｂフレーム、Ｐフレーム）を、視点Ｐの元映像を構成するn個のメディアセグメント（２５０−１、・・、２５０−ｎ）から間引く。データ生成部１１２は、同様に、これら一部のフレームと同時刻に生成された一部のフレーム（Ｂフレーム、Ｐフレーム）を、視点Ｑの元映像を構成するn個の各メディアセグメント（２５１−１、・・、２５１−ｎ）から間引く。

そして、データ生成部１１２は、Ｂフレーム及びＰフレームが間引かれた2n個のメディアセグメント（２５０−１’、・・、２５０−ｎ’、２５１−１’、・・、２５１−ｎ’）から、間引映像を構成するメディアセグメント２５２を生成する。

具体的には、図１０からわかるように、n個のメディアセグメントにおいてより早く提示されるべき位置にあるＩフレームがより早い時期に提示されるように、間引映像を構成する１又は複数のメディアセグメントを生成する。上記生成において視点Ｐの映像のメディアセグメントに由来するＩフレーム（２５０−１’、・・、２５０−ｎ’）はメディアセグメント２５２のトラック１に、視点Ｑの映像のメディアセグメントに由来するＩフレーム（２５１−１’、・・、２５１−ｎ’）はメディアセグメント２５２のトラック２にそれぞれ格納する（Ｓ７３）。

その結果、記憶部１２には、視点Ｐ及び視点Ｑの元映像が格納されている2n個のメディアセグメントとは別に、視点Ｐの元映像からＢフレーム及びＰフレームが間引かれた間引き映像及び視点Ｑの元映像からＢフレーム及びＰフレームが間引かれた間引き映像がメディアセグメント２５２の別のトラックにそれぞれ記録されることとなる。なお、再生装置２０は、視点Ｐの間引映像と視点Ｑの間引映像とを公知の方法及び／又は本明細書において後述されている方法で合成することによって、視点Ｐと視点Ｑとの中間の視点からの間引映像を生成できる。従って、視点Ｐの間引映像と視点Ｑの間引映像とが格納されたメディアセグメント２５２は、視点Ｐと視点Ｑとの中間の視点からの間引映像（特定の視点の部分映像）が格納されたメディアセグメントであるとも言える。

その後、生成装置１０は、公知のMPDデータの生成処理に加えて以下の処理を行うことによって、前述のMPDデータを生成する。

即ち、情報生成部１１１は、視点Ｐの元映像を構成するn個のメディアセグメント（２５０−１、・・、２５０−ｎ）の取得先を示すn個のSegmentURL要素（２４０−１、・・、２４０−ｎ）を含むAdaptation Set要素２２０をMPDデータに記述する（Ｓ７４）
また、情報生成部１１１は、視点Ｑの元映像を構成するn個のメディアセグメント（２５１−１、・・、２５１−ｎ）の取得先を示すn個のSegmentURL要素（２４１−１、・・、２４１−ｎ）を含むAdaptation Set要素２２１をMPDデータに記述する（Ｓ７５）
更に、情報生成部１１１は、視点Ｐ及び視点Ｑの間引映像が格納された１つ以上のメディアセグメント２５２の取得先を示す１つ以上のSegmentURL要素２４２を含むAdaptationSet要素２２２をMPDデータ内に記述する（Ｓ７６）。

その結果、視点Ｐと視点Ｑとの中間の視点からの映像を高速再生し、視点Ｐ及び視点Ｑの撮影映像を標準速再生するための前述のMPDデータ２００が記憶部１２に記録されることとなる。

[４．再生装置２０における処理の流れ]
以下、前述のMPDデータ２００を参照して、ある視点Ｐの撮影映像を再生する操作を受けつけた場合の再生装置２０の動作について、図１２を参照しながら説明する。図１２は、再生装置の上記動作を示すフローチャートである。

まず、再生処理部２１１は、受け付けた再生操作の種類を判定する（Ｓ８１） 。

再生処理部２１１は、視点Ｐからの映像を標準再生させる操作（第２の操作）を受け付けたと判定した場合、記憶部２２に記録されているMPDデータ１００におけるAdaptationSet要素２２０を参照する。

具体的には、再生処理部２１１は、n個のSegmentURL要素（２４０−１、・・、２４０−ｎ）を参照し、受信部２９を介して、n個のメディアセグメント（２５０−１、・・、２５０−ｎ）を取得する（Ｓ８２）。

再生処理部２１１は、取得したn個のメディアセグメント（２５０−１、・・、２５０−ｎ）を、メディアセグメント２５０−１、・・、メディアセグメント２５０−ｎの順に標準速再生する（Ｓ８３）。

再生処理部２１１は、視点Ｑからの映像を標準再生させる操作（第２の操作）を受け付けたと判定した場合、記憶部２２に記録されているMPDデータ１００におけるAdaptationSet要素２２１を参照する。

具体的には、再生処理部２１１は、n個のSegmentURL要素（２４１−１、・・、２４１−ｎ）を参照し、受信部２９を介して、n個のメディアセグメント（２５１−１、・・、２５１−ｎ）を取得する（Ｓ８４）。

再生処理部２１１は、取得したn個のメディアセグメント（２５０−１、・・、２５０−ｎ）を、メディアセグメント２５０−１、・・、メディアセグメント２５０−ｎの順に標準速再生する（Ｓ８５）。

一方、再生処理部２１１は、視点Ｐと視点Ｑとの中間の視点からの映像を高速再生させる操作（第一の操作）を受け付けたと判定した場合、記憶部２２に記録されているMPDデータ２００におけるAdaptationSet要素２２２（SegmentURL要素２４２）を参照し、メディアセグメント２５２を取得する（Ｓ８６）。

次いで再生処理部２１１は、メディアセグメント２５２に含まれる視点Ｐの間引映像及び視点Ｑの間引映像を対象として視点合成を行う。再生処理部２１１は、これにより生成した前記中間の視点からの間引映像を標準速再生する。これらの処理（Ｓ８７）をより具体的に説明すると以下の通りである。

即ち、再生処理部２１１は、同時刻に生成（撮影）されたＩフレームのペア（視点Ｐの間引映像に含まれるＩフレーム、及び、視点Ｑの間引映像に含まれるＩフレーム）からステレオマッチング等の既存の方法で求めたデプスマップ（奥行き情報）を用いることによって、視点Ｐと視点Ｑの中間視点の映像を合成する。これにより、再生処理部２１１は、視点Ｐと視点Ｑの中間視点の間引映像を構成するフレーム群（画像群）を得る。再生処理部２１１は、より早い時期に生成（撮影された）Ｉフレームのペアから合成したフレーム（画像）がより早く再生されるように、合成したフレーム（間引映像を構成するフレーム）を順次再生する。

また、図１２のフローチャートでは省略しているが、再生処理部２１１は、視点Ｐと視点Ｑの中間の視点からの映像を標準速再生させる操作（第２の操作）を受け付けたと判定した場合、記憶部２２に記録されているMPDデータ２００におけるAdaptationSet要素２２０、及びAdaptationSet要素２２１を参照する。

具体的には、再生処理部２１１は、n個のSegmentURL要素（２４０−１、・・、２４０−ｎ）を参照し、受信部２９を介して、n個のメディアセグメント（２５０−１、・・、２５０−ｎ）を取得するとともに、n個のSegmentURL要素（２４１−１、・・、２４１−ｎ）を参照し、受信部２９を介して、n個のメディアセグメント（２５１−１、・・、２５１−ｎ）を取得する。

再生処理部２１１は、取得したn個のメディアセグメント（２５０−１、・・、２５０−ｎ）、及び取得したn個のメディアセグメント（２５１−１、・・、２５１−ｎ）に基づき視点合成を行い再生する。

本実施形態の構成であっても、実施形態１と同様な効果を奏すると共に、撮影時の視点（視点Ｐや視点Ｑ）ではない視点（視点Ｐ及び視点Ｑに隣接する視点）からの映像を、より少ないＣＰＵの負荷で高速再生することができる、というさらなる効果を奏する。

（変形例）
図１３を参照して、本実施形態の変形例について説明する。図１３は視点Ｐ及び視点Ｑの中間の視点からの映像の高速再生に係るメディアセグメントの一例を示す図である。本変形例では、より高い精度で視点合成を行うために、視点合成の処理に更に３次元モデルデータを利用する。即ち、多視点映像に含まれる被写体の像に関し、生成装置１０は、該像を示す３次元モデルデータを含むような高速再生用のメディアセグメントを生成し、再生装置２０に送信する。

３次元モデルデータの格納場所としては、例えば図１３で示すように、メディアセグメント２５２’のトラック３が挙げられる。他の例としては、イニシャライゼーションセグメントを、３次元モデルデータを格納するための領域として使用する態様でも良い。

上記の構成によると、再生操作の前に３次元モデルデータが再生装置２０内に用意されている必要が無い。また、３次元モデルデータを再生装置２０内に用意するための、再生操作とは別個の操作も不要になる。従って、本変形例に係る構成は、中間視点からの被写体の見え方をより忠実に再現した映像を再生しつつ、再生装置２０のリソースを節約し、且つ、再生装置２０の利用者の手間を低減することができる、と言える。

なお、本変形例は、後述の各実施形態にも適用可能である。

〔実施形態３〕
本発明の他の実施形態について、図１、図９、図１１及び図１２に基づいて説明すれば以下のとおりである。

本実施形態においては、多視点映像システムにおいて、ある視点Ｐと視点Ｑとの間を視点移動した映像を高速再生する場合について説明する。

[１．生成装置１０と再生装置２０の構成]
本実施形態においても実施形態１の場合と同様に図１の構成を用いる。

[２．MPDデータ及びメディアセグメントについて]
本実施形態においても実施形態２の場合と同様に、図９に示す構成を用いる。

[３．生成装置１０における処理の流れ]
本実施形態においても実施形態２の場合と同様に、図１１のフローチャートに示す処理を行う。

[４．再生装置２０における処理の流れ]
以下、前述のMPDデータ２００を参照して、ある視点Ｐと視点Ｑとの間を視点移動したときの任意の視点の映像を再生する操作を受けつけた場合の再生装置２０の動作について、図１２を参照しながら説明する。図１２は、再生装置の上記動作を示すフローチャートである。

ステップＳ８６までの処理は実施形態２と同様である。

続くステップＳ８７においては、実施形態２では視点Ｐと視点Ｑの中間視点（時間の経過とともに視点は変化しない）の映像を合成したが、本実施形態は、視点Ｐと視点Ｑの間の任意の視点（時間の経過とともに視点が変化）の映像を合成する点で実施形態２の場合と異なる。

再生処理部２１１は、同時刻に生成（撮影）されたＩフレームのペア（視点Ｐの間引映像に含まれるＩフレーム、及び視点Ｑの間引映像に含まれるＩフレーム）からステレオマッチング等の既存の方法で求めたデプスマップ（奥行き情報）を用いることによって、視点Ｐと視点Ｑの間の任意の視点の映像を合成する。

なお、視点Ｐから視点Ｑに視点移動する場合の、移動速度は必ずしも一律であることに限定されない。視点移動に要する時間は同じであっても、例えば視点Ｐに近い視点の映像が視点Ｑに近い視点の映像よりもより長い時間再生されるような構成でも構わない。

これにより、再生処理部２１１は、間引映像を構成するフレーム群（画像群）を得る。再生処理部２１１は、より早い時期に生成（撮影された）Ｉフレームのペアから合成したフレーム（画像）がより早く再生されるように、合成したフレーム（間引映像を構成するフレーム）を順次再生する。上記再生により、ユーザは、視点Ｐが位置する地点から視点Ｑが位置する地点へと実際に移動しながら被写体の様子を閲覧しているかのように、被写体の映像を鑑賞することができる。アニメーションのように視点Ｐから視点Ｑへスムースに視点が移動したように見える。

本実施形態の構成であっても、実施形態２と同様な効果を奏する。更に、本実施形態の構成は、視点Ｐが位置する地点から視点Ｑが位置する地点へと移動しながら確認できる被写体の様子を、再生装置のＣＰＵの負荷を低減させる本実施形態の高速再生の方法により、より短い期間でユーザに観察させることができる。
<実施形態１〜３に係る付記事項＞
生成装置１０は、高速再生に係る間引映像を生成する場合、間引映像を構成する各種データに、該データが高速再生用のデータであることを示す情報を含めてもよい。

上記各種データの一例としてはメディアセグメントが挙げられる。この例において、生成装置１０は、各メディアセグメントのstypボックスに上記情報を含めてもよい。

また、上記各種データの他の例としては、初期化セグメント（Initialization Segment）又は自己初期化（Self-initializing）メディアセグメントが挙げられる。これらの例において、生成装置１０は、各セグメントのftypボックス内のcompatible_brandsフィールドに上記情報を含めてもよい。
<実施形態２及び３に係る付記事項>
実施形態２及び３は、被写体を円状に取り囲む複数の視点の各々の撮影映像が合成された多視点映像を再生する多視点映像システムに係る実施形態である。

実施形態２及び３に開示されている技術的事項を、被写体を球状に取り囲む複数の視点の各々の撮影映像が合成された多視点映像システムに適用することができる。

この場合、生成装置は、例えば、隣接する４つの視点に取り囲まれたある視点からの映像を高速再生するためのMPDデータ及びメディアセグメント群を生成することになる。

なお、各メディアセグメント内のデータは、上記４つの視点に由来する高速再生に係るフレーム群を該メディアセグメントの１〜４トラックに格納したものであってもよい。

この場合、再生装置は、上記MPDデータ内に記述されている、上記高速再生に使用するAdaptationSetが含むSegmentURL群を参照して上記メディアセグメント群を取得することになる。再生装置は、取得した各メディアセグメントの４つのトラックに格納された４つの視点に由来するフレーム群を用いて、上記高速再生を行う。
<その他の付記事項>
本発明は、上述の実施形態１〜３、及び、各変形例には限定されない。

即ち、上述の実施形態１〜３は、多視点映像における、ある部分映像の再生に関する実施形態であるが、複数の視線方向の各々の部分映像を含む全体映像（例えば、全天球映像）における部分映像の再生に関する実施形態も本発明の範疇に含まれる。

即ち、実施形態１〜３で説明した方法を用いて、全天球映像におけるある部分映像を再生するためのMPDデータの生成、元映像から間引映像の生成、及び、部分映像（元映像、間引映像）の再生を行う実施形態も、本発明の範疇に含まれる。

〔ソフトウェアによる実現例〕
生成装置１０の制御ブロック（特に制御部１１及び記憶部１２）及び再生装置２０の制御ブロック（特に制御部２１及び記憶部２２）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、生成装置１０は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る生成装置１０は、複数の視点又は視線方向の各々の部分映像を含む全体映像における、ある部分映像の再生に関するメタ情報を生成する情報生成部１１１と、一部のフレームが前記ある部分映像から間引かれた間引映像を示すデータを生成するデータ生成部１１２と、を備え、前記メタ情報は、前記ある部分映像を高速再生させる第１の操作に応じて参照される、前記間引映像の取得先を示す第１の情報と、該ある部分映像を第１の操作よりも低速で再生させる第２の操作に応じて参照される、該ある部分映像の取得先を示す第２の情報と、を含んでいる、構成である。

上記の構成によれば、ネットワークとクライアントに対する負荷を軽減させるような映像の高速再生を可能にする生成装置１０を実現することができる。

本発明の態様２に係る生成装置１０は、上記の態様１において、前記全体映像は、前記複数の視点の各々の撮影映像が合成された多視点映像であり、前記ある部分映像は、前記複数の視点のうちのある視点から撮影された撮影映像である、構成としてもよい。

本発明の態様３に係る生成装置１０は、上記の態様１において、前記全体映像は、前記複数の視点の各々の撮影映像が合成された多視点映像であり、前記ある部分映像は、特定の視点に隣接する２つの視点から撮影された第１の撮影映像及び第２の撮影映像を合成することによって得られる前記特定の視点の部分映像であり、前記データ生成部１１２は、一部のフレームを第１の撮影映像から間引くとともに、該一部のフレームと同時刻に生成された一部のフレームを第２の撮影映像から間引くことによって得られる各映像データを含むように、前記間引映像を示すデータを生成する、構成としてもよい。

上記の構成によれば、態様１と同様な効果を奏すると共に、撮影時の視点ではない視点からの映像を、より少ないＣＰＵの負荷で高速再生することができる、というさらなる効果を奏する。

本発明の態様４に係る生成装置１０は、上記の態様３において、前記データ生成部１１２は、前記特定の視点の部分映像に含まれる被写体の像に関して、該被写体の３次元モデルデータを更に含むように、前記間引映像を示すデータを生成する、構成としてもよい。

上記の構成によれば、中間視点からの被写体の見え方をより忠実に再現した映像を再生しつつ、視点合成に関わる再生装置２０のリソースを節約することができる。

本発明の態様５に係る生成装置１０は、上記の態様１から４の何れか１態様において、前記一部のフレームには、少なくともＢ（Bi-Predictive）フレームが含まれている、構成としてもよい。

上記の構成によれば、少なくともＢフレームを間引くことによって、再生装置２０側では、部分映像の高速再生の際に、双方向の参照画像を復号するまで再生できないＢフレームを再生しないので、デコード能力の低い再生装置であっても部分映像を高速に再生できるという効果を奏する。

本発明の態様６に係る生成装置１０は、上記の態様１から５の何れか１態様において、前記メタデータは、DASH（Dynamic Adaptive Streaming over HTTP）規定のMPDデータであり、前記間引映像を示すデータは、１つ以上のDASH規定のメディアセグメントであり、第１の情報は、DASH規定のAdaptationSet要素に含まれる、DASH規定の１つ以上のSegmentURL要素であり、前記AdaptationSet要素には、該AdaptationSet要素が前記間引映像の取得先を示す情報であることを示す記述子が含まれている、構成としてもよい。

上記の構成によれば、態様１と同様な効果を奏すると共に、該AdaptationSetが前記間引映像の取得先を示す情報であることを簡便に確認できる効果を奏する。

本発明の態様７に係る再生装置２０は、複数の視点又は視線方向の各々の部分映像を含む全体映像における、ある部分映像の再生に関するメタ情報を参照して、該ある部分映像、又は、一部のフレームが該ある部分映像から間引かれた間引映像を再生する再生処理部２１１を備え、前記メタ情報は、前記間引映像の取得先を示す第１の情報と、前記ある部分映像の取得先を示す第２の情報と、を含み、前記再生処理部２１１は、前記ある部分映像を高速再生させる第１の操作に応じて、第１の情報に基づいて取得した前記間引映像を再生し、該ある部分映像を第１の操作よりも低速で再生させる第２の操作に応じて、第２の情報に基づいて取得した該ある部分映像を再生する、構成である。

ネットワークとクライアントに対する負荷を軽減させるような映像の高速再生を可能にする再生装置２０を実現することができる。

本発明の態様８に係る再生装置２０は、上記の態様７において、前記全体映像は、前記複数の視点の各々の撮影映像が合成された多視点映像であり、前記ある部分映像は、前記複数の視点のうちのある視点から撮影された撮影映像である、構成としてもよい。

上記の構成によれば、態様７と同様な効果を奏する。

本発明の態様９に係る再生装置２０は、上記の態様７において、前記全体映像は、前記複数の視点の各々の撮影映像が合成された多視点映像であり、前記ある部分映像は、特定の視点に隣接する２つの視点から撮影された第１の撮影映像及び第２の撮影映像を合成することによって得られる前記特定の視点の部分映像であり、前記再生処理部２１１は、一部のフレームを第１の撮影映像から間引くとともに、該一部のフレームと同時刻に生成された一部のフレームを第２の撮影映像から間引くことによって得られた各映像データを含んだ、前記間引映像を示すデータを、第１の情報を参照して取得し、前記再生処理部２１１は、前記各映像データの一方に含まれるフレームと、前記各映像データの他方に含まれる、該フレームと同時刻に生成されたフレームとを合成して得た前記特定の視点の画像を、順次再生する、構成としてもよい。

上記の構成によれば、態様７と同様な効果を奏すると共に、撮影時の視点ではない視点からの映像を、より少ないＣＰＵの負荷で高速再生することができる、というさらなる効果を奏する。

本発明の態様１０に係る再生装置２０は、上記の態様７から９の何れか１態様において、前記一部のフレームには、少なくともＢ（Bi-Predictive）フレームが含まれている、構成としてもよい。

上記の構成によれば、少なくともＢフレームを間引くことによって、再生装置２０側では、部分映像の高速再生の際に、双方向の参照画像を復号するまで再生できないＢフレームを再生しないので、デコード能力の低い再生装置であっても部分映像を高速に再生できるという効果を奏する。

本発明の態様１１に係る再生装置２０は、上記の態様７から１０の何れか１態様において、前記メタデータは、DASH（Dynamic Adaptive Streaming over HTTP）規定のMPDデータであり、前記間引映像を示すデータは、１つ以上のDASH規定のメディアセグメントであり、第１の情報は、DASH規定のAdaptationSet要素に含まれる、DASH規定の１つ以上のSegmentURL要素であり、前記AdaptationSet要素には、該AdaptationSet要素が前記間引映像の取得先を示す情報であることを示す記述子が含まれている、構成としてもよい。

上記の構成によれば、態様１１に係る再生装置２０は、第１の操作を受け付けた場合に取得及び再生すべき間引映像の取得先を示すAdaptationSetを即座に特定できる。従って、態様１１に係る再生装置２０には、第１の操作を受け付けてから間引映像の再生を開始するまでのタイムラグが短いという利点がある。

本発明の態様１２に係る制御プログラムは、上記の態様１に係る生成装置１０としてコンピュータを機能させるための制御プログラムであって、上記コンピュータを上記生成装置１０として機能させる構成としてもよい。

本発明の態様１３に係る制御プログラムは、上記の態様７に係る再生装置２０としてコンピュータを機能させるための制御プログラムであって、上記コンピュータを上記再生装置２０として機能させる構成としてもよい。

本発明の態様１４に係る生成方法は、装置により実行される生成方法であって、複数の視点又は視線方向の各々の部分映像を含む全体映像における、ある部分映像の再生に関するメタ情報を生成する情報生成ステップと、一部のフレームが前記ある部分映像から間引かれた間引映像を示すデータを生成するデータ生成ステップと、を含み、前記メタ情報は、前記ある部分映像を高速再生させる第１の操作に応じて参照される、前記間引映像の取得先を示す第１の情報と、該ある部分映像を第１の操作よりも低速で再生させる第２の操作に応じて参照される、該ある部分映像の取得先を示す第２の情報と、を含んでいる、方法である。

上記の方法によれば、態様１に係る生成装置と同様の作用効果を奏する。

本発明の態様１５に係る再生方法は、装置により実行される再生方法であって、複数の視点又は視線方向の各々の部分映像を含む全体映像における、ある部分映像の再生に関するメタ情報を参照して、該ある部分映像、又は、一部のフレームが該ある部分映像から間引かれた間引映像を再生する再生ステップを含み、前記メタ情報は、前記間引映像の取得先を示す第１の情報と、該ある部分映像の取得先を示す第２の情報と、を含み、該ある部分映像を高速再生させる第１の操作に応じて、第１の情報に基づいて前記間引映像を取得する第１の取得ステップと、該ある部分映像を第１の操作よりも低速で再生させる第２の操作に応じて、第２の情報に基づいて該ある部分映像を取得する第２の取得ステップと、を含んでいる、方法である。

上記の方法によれば、態様７に係る再生装置と同様の作用効果を奏する。

本発明の態様１６に係る記録媒体は、態様１２に係る制御プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。同様に、本発明の態様１７に係る記録媒体は、態様１３に係る制御プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

例えば、実施形態１の変形例１に開示された技術手段と、実施形態２に開示された技術的手段との組み合わせが考えられる。図１４は、そのような組み合わせに係る実施形態における間引映像を生成する処理に関する図である。

図１４に示すように、該実施形態に係るシステムは、視点Ｐの撮影映像からＢフレームのみを間引き、視点Ｑの撮影映像からＢフレームのみを間引くことによって、視点Ｐと視点Ｑとに隣り合う視点の間引映像を生成・再生することができる。なお、該システムは、間引映像の各フレームを間引かずに再生してもよいが、間引映像のうちのＩフレームのみを再生する（即ち、再生時にＰフレームを間引く）ようにしてもよい。
〔関連出願の相互参照〕
本出願は、２０１７年８月７日に出願された出願番号２０１７−１５２３２１号の出願に関するものであって上記出願を基礎として優先権を主張するものである。上記出願の内容は、参照により本明細書に含まれる。

１０ 生成装置
１１ 制御部（制御装置）
１２ 記憶部
２０ 再生装置
２１ 制御部
２２ 記憶部
２３ 表示部

Claims (17)

1. 複数の視点又は視線方向の各々の部分映像を含む全体映像における、ある部分映像の再生に関するメタ情報を生成する情報生成部と、
   一部のフレームが前記ある部分映像から間引かれた間引映像を示すデータを生成するデータ生成部と、を備え、
   前記メタ情報は、前記ある部分映像を高速再生させる第１の操作に応じて参照される、前記間引映像の取得先を示す第１の情報と、該ある部分映像を第１の操作よりも低速で再生させる第２の操作に応じて参照される、該ある部分映像の取得先を示す第２の情報と、を含んでいる、ことを特徴とする生成装置。
2. 前記全体映像は、前記複数の視点の各々の撮影映像が合成された多視点映像であり、
   前記ある部分映像は、前記複数の視点のうちのある視点から撮影された撮影映像である、ことを特徴とする請求項１に記載の生成装置。
3. 前記全体映像は、前記複数の視点の各々の撮影映像が合成された多視点映像であり、
   前記ある部分映像は、特定の視点に隣接する２つの視点から撮影された第１の撮影映像及び第２の撮影映像を合成することによって得られる前記特定の視点の部分映像であり、
   前記データ生成部は、一部のフレームを第１の撮影映像から間引くとともに、該一部のフレームと同時刻に生成された一部のフレームを第２の撮影映像から間引くことによって得られる各映像データを含むように、前記間引映像を示すデータを生成する、ことを特徴とする請求項１に記載の生成装置。
4. 前記データ生成部は、前記特定の視点の部分映像に含まれる被写体の像に関して、該被写体の３次元モデルデータを更に含むように、前記間引映像を示すデータを生成する、ことを特徴とする請求項３に記載の生成装置。
5. 前記一部のフレームには、少なくともＢ（Bi-Predictive）フレームが含まれている、ことを特徴とする請求項１から４の何れか１項に記載の生成装置。
6. 前記メタ情報は、DASH（Dynamic Adaptive Streaming over HTTP）規定のMPDデータであり、
   前記間引映像を示すデータは、１つ以上のDASH規定のメディアセグメントであり、
   第１の情報は、DASH規定のAdaptationSet要素に含まれる、DASH規定の１つ以上のSegmentURL要素であり、
   前記AdaptationSet要素には、該AdaptationSet要素が前記間引映像の取得先を示す情報であることを示す記述子が含まれている、ことを特徴とする請求項１から５の何れか１項に記載の生成装置。
7. 複数の視点又は視線方向の各々の部分映像を含む全体映像における、ある部分映像の再生に関するメタ情報を参照して、該ある部分映像、又は、一部のフレームが該ある部分映像から間引かれた間引映像を再生する再生処理部を備え、
   前記メタ情報は、前記間引映像の取得先を示す第１の情報と、前記ある部分映像の取得先を示す第２の情報と、を含み、
   前記再生処理部は、前記ある部分映像を高速再生させる第１の操作に応じて、第１の情報に基づいて取得した前記間引映像を再生し、該ある部分映像を第１の操作よりも低速で再生させる第２の操作に応じて、第２の情報に基づいて取得した該ある部分映像を再生する、ことを特徴とする再生装置。
8. 前記全体映像は、前記複数の視点の各々の撮影映像が合成された多視点映像であり、
   前記ある部分映像は、前記複数の視点のうちのある視点から撮影された撮影映像である、ことを特徴とする請求項７に記載の再生装置。
9. 前記全体映像は、前記複数の視点の各々の撮影映像が合成された多視点映像であり、
   前記ある部分映像は、特定の視点に隣接する２つの視点から撮影された第１の撮影映像及び第２の撮影映像を合成することによって得られる前記特定の視点の部分映像であり、
   前記再生処理部は、一部のフレームを第１の撮影映像から間引くとともに、該一部のフレームと同時刻に生成された一部のフレームを第２の撮影映像から間引くことによって得られた各映像データを含んだ、前記間引映像を示すデータを、第１の情報を参照して取得し、
   前記再生処理部は、前記各映像データの一方に含まれるフレームと、前記各映像データの他方に含まれる、該フレームと同時刻に生成されたフレームとを合成して得た前記特定の視点の画像を、順次再生する、ことを特徴とする請求項７に記載の再生装置。
10. 前記一部のフレームには、少なくともＢ（Bi-Predictive）フレームが含まれている、ことを特徴とする請求項７から９の何れか１項に記載の再生装置。
11. 前記メタ情報は、DASH（Dynamic Adaptive Streaming over HTTP）規定のMPDデータであり、
    前記間引映像を示すデータは、１つ以上のDASH規定のメディアセグメントであり、
    第１の情報は、DASH規定のAdaptationSet要素に含まれる、DASH規定の１つ以上のSegmentURL要素であり、
    前記AdaptationSet要素には、該AdaptationSet要素が前記間引映像の取得先を示す情報であることを示す記述子が含まれている、ことを特徴とする請求項７から１０の何れか１項に記載の再生装置。
12. 請求項１に記載の生成装置としてコンピュータを機能させるための制御プログラムであって、上記コンピュータを上記生成装置として機能させることを特徴とする制御プログラム。
13. 請求項７に記載の再生装置としてコンピュータを機能させるための制御プログラムであって、上記コンピュータを上記再生装置として機能させることを特徴とする制御プログラム。
14. 装置により実行される生成方法であって、
    複数の視点又は視線方向の各々の部分映像を含む全体映像における、ある部分映像の再生に関するメタ情報を生成する情報生成ステップと、
    一部のフレームが前記ある部分映像から間引かれた間引映像を示すデータを生成するデータ生成ステップと、を含み、
    前記メタ情報は、前記ある部分映像を高速再生させる第１の操作に応じて参照される、前記間引映像の取得先を示す第１の情報と、該ある部分映像を第１の操作よりも低速で再生させる第２の操作に応じて参照される、該ある部分映像の取得先を示す第２の情報と、を含んでいる、ことを特徴とする生成方法。
15. 装置により実行される再生方法であって、
    複数の視点又は視線方向の各々の部分映像を含む全体映像における、ある部分映像の再生に関するメタ情報を参照して、該ある部分映像、又は、一部のフレームが該ある部分映像から間引かれた間引映像を再生する再生ステップを含み、
    前記メタ情報は、前記間引映像の取得先を示す第１の情報と、該ある部分映像の取得先を示す第２の情報と、を含み、
    該ある部分映像を高速再生させる第１の操作に応じて、第１の情報に基づいて前記間引映像を取得する第１の取得ステップと、
    該ある部分映像を第１の操作よりも低速で再生させる第２の操作に応じて、第２の情報に基づいて該ある部分映像を取得する第２の取得ステップと、を含んでいる、ことを特徴とする再生方法。
16. 請求項１２に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
17. 請求項１３に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images