JPWO2019187442A1 - 情報処理装置、方法、及びプログラム - Google Patents

Abstract

【課題】情報処理装置、情報処理方法、及びプログラムを提供する。【解決手段】複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うための視点切り替え情報を含むメタデータファイルを生成するメタデータファイル生成部を備える、情報処理装置。【選択図】図１６

Description

本開示は、情報処理装置、方法、及びプログラムに関する。

より高臨場感なオーディオ再生を目的とし、オーディオオブジェクトごとに用意されたオーディオデータを複数伝送するための符号化技術として例えばMPEG-H 3D Audioが知られている（非特許文献１参照）。

符号化された複数のオーディオデータは、例えば下記非特許文献２に規格定義されるISO base media file format（ISOBMFF）ファイルのようなコンテンツファイルに画像データと共に含まれて、ユーザに提供される。

ISO/IEC 23008-3:2015 Information technology - High efficiency coding and media delivery in heterogeneous environments ISO/IEC 14496-12:2014 Information technology - Coding of audio-visual objects

一方、近年複数の視点を切り替えながら画像を表示することが可能な多視点コンテンツが普及しつつある。このような多視点コンテンツの音響再生において、視点切り替えの前後でオーディオオブジェクトの位置が整合せず、例えばユーザに違和感を与えてしまう場合があった。

そこで、本開示では、複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うことで、ユーザの違和感を低減させることが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。

本開示によれば、複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うための視点切り替え情報を含むメタデータファイルを生成するメタデータファイル生成部を備える、情報処理装置が提供される。

また、本開示によれば、複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うための視点切り替え情報を含むメタデータファイルを生成することを含み、情報処理装置により実行される情報処理方法が提供される。

また、本開示によれば、コンピュータに、複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うための視点切り替え情報を含むメタデータファイルを生成する機能を実現させるための、プログラムが提供される。

以上説明したように本開示によれば、複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うことで、ユーザの違和感を低減させることが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の背景を説明するための説明図である。 コンテンツの制作時と再生時で表示画角が異なる場合のオーディオオブジェクトの位置補正について説明するための説明図である。 再生時の映像のズームに追従したオーディオオブジェクトの位置補正について説明するための説明図である。 再生時の映像のズームに追従したオーディオオブジェクトの位置補正について説明するための説明図である。 視点切り替えがない場合のオーディオオブジェクトの位置補正について説明するための説明図である。 視点切り替えがある場合のオーディオオブジェクトの位置補正について説明する説明図である。 撮影画角とコンテンツ制作時の表示画角が一致しない場合のオーディオオブジェクトの位置補正について説明するための説明図である。 本技術の概要を説明するための説明図である。 多視点ズーム切り替え情報の一例を示す表である。また、図１０は、多視点ズーム切り替え情報を説明するための模式図である。 多視点ズーム切り替え情報を説明するための模式図である。 多視点ズーム切り替え情報の変形例について説明するための説明図である。 多視点ズーム切り替え情報の変形例について説明するための説明図である。 コンテンツ制作時の多視点ズーム切り替え情報の生成フローの一例を示すフローチャート図である。 再生時の多視点ズーム切り替え情報を利用した視点切り替えフローの一例を示すフローチャート図である。 本開示の第１の実施形態にかかる情報処理システムのシステム構成を示す図である。 同実施形態にかかる生成装置１００の機能構成例を示すブロック図である。 同実施形態にかかる配信サーバ２００の機能構成例を示すブロック図である。 同実施形態にかかるクライアント３００の機能構成例を示すブロック図である。 画像処理部３２０の機能構成例を示す図である。 オーディオ処理部３３０の機能構成例を示す図である。 ISO/IEC 23009-1で規格定義されるMPDファイルのレイヤ構造を説明するための図である。 同実施形態にかかるメタデータファイル生成部１１４が生成するMPDファイルの一例を示す図である。 同実施形態にかかるメタデータファイル生成部１１４が生成するMPDファイルの他の例を示す図である。 同実施形態の変形例にかかるメタデータファイル生成部１１４が生成するMPDファイルの一例を示す図である。 同実施形態にかかる生成装置１００の動作の一例を示すフローチャート図である。 本実施形態にかかるクライアント３００の動作の一例を示すフローチャート図である。 本開示の第２の実施形態にかかる生成装置６００の機能構成例を示すブロック図である。 同実施形態にかかる再生装置８００の機能構成例を示すブロック図である。 ISOBMFFファイルにおけるmoovボックスのボックス構造を示す図である。 多視点ズーム切り替え情報がudtaボックスに格納される場合のudtaボックスの例を示す図である。 metadata trackについて説明するための説明図である。 コンテンツファイル生成部６１３がmoovボックスに格納する多視点ズーム切り替え情報を説明するための図である。 同実施形態にかかる生成装置６００の動作の一例を示すフローチャート図である。 同実施形態にかかる再生装置８００の動作の一例を示すフローチャート図である。 ハードウェア構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

なお、説明は以下の順序で行うものとする。
＜＜１．背景＞＞
＜＜２．本技術の原理＞＞
＜＜３．第１の実施形態＞＞
＜＜４．第２の実施形態＞＞
＜＜５．ハードウェア構成例＞＞
＜＜６．むすび＞＞

＜＜１．背景＞＞
まず、本開示の背景について説明する。

近年、複数の視点を切り替えながら画像を表示することが可能な多視点コンテンツが普及しつつある。このような多視点コンテンツでは、各視点に対応する画像として、２次元の２Ｄ画像だけでなく、全天周カメラ等により撮影された３６０°全天周画像を含む場合がある。３６０°全天周画像を表示する場合、例えばユーザによる入力やセンシングに基づいて決定されるユーザの視聴位置と方向に基づいて、３６０°全天周画像から一部の範囲を切り出し、切り出した表示画像を表示することが行われている。もちろん２Ｄ画像を表示する場合であっても、２Ｄ画像から一部の範囲を切り出した表示画像を表示することは可能である。

このような３６０°全天周画像と２Ｄ画像の両方を含むような多視点コンテンツを、ユーザが表示画像の切り出し範囲を変えながら視聴するユースケースについて、図１を参照しながら説明を行う。図１は、本開示の背景を説明するための説明図である。

図１に示す例において、正距円筒図法で表現された３６０°全天周画像Ｇ１０と、２Ｄ画像Ｇ２０とが多視点コンテンツに含まれる。３６０°全天周画像Ｇ１０と、２Ｄ画像Ｇ２０とは、異なる視点で撮影された画像である。

また、図１には、３６０°全天周画像Ｇ１０から一部の範囲を切り出した表示画像Ｇ１２が示されている。表示画像Ｇ１２が示された状態において、例えばさらにズーム倍率（表示倍率）を大きくする等により、表示画像Ｇ１２の一部の範囲をさらに切り出した表示画像Ｇ１４を表示することも可能である。

ところで、表示画像の画素数が表示装置の表示画素数より小さい場合、拡大処理を行って表示することになる。ここで、表示画像の画素数は、切り出し元の画素数と切り出し範囲の大きさにより決定され、３６０°全天周画像Ｇ１０の画素数が小さい場合や、表示画像Ｇ１４の切り出しにかかる範囲が小さい場合には、表示画像Ｇ１４の画素数も小さくなる。かかる場合、図１に示すように表示画像Ｇ１４にはボケ等の画質劣化が発生し得る。また、表示画像Ｇ１４からさらにズーム倍率を大きくすると、さらなる画質劣化が発生し得る。

ここで、表示画像Ｇ１４に相当する範囲が２Ｄ画像Ｇ２０に映っており、かつ２Ｄ画像Ｇ２０の画素数が大きい場合、視点を切り替えることが考えられる。そして、視点を切り替えて２Ｄ画像Ｇ２０を表示した後、さらにズーム倍率を大きくする等により、２Ｄ画像Ｇ２０から、２Ｄ画像Ｇ２０において表示画像Ｇ１４に相当する範囲Ｒ１を切り出した表示画像Ｇ２２を表示することができる。表示画像Ｇ２２は、表示画像Ｇ１４に相当する範囲を映しつつ、表示画像Ｇ１４よりも画質劣化が小さいことが期待され、さらにズーム倍率を大きくした視聴にも耐え得ることが期待される。

なお、３６０°全天周画像を表示する場合、画質劣化は、ズーム倍率が大きい場合だけでなく、ズーム倍率が小さい場合にも発生し得る。例えば、ズーム倍率が小さい場合、３６０°全天周画像から切り出した表示画像に含まれる歪みが大きく目立つ場合がある。このような場合にも、２Ｄ画像への視点切り替えは有効である。

しかし、上記のように、表示画像Ｇ１４が表示された状態から、２Ｄ画像Ｇ２０へ表示を切り替えると、被写体の大きさが異なるため、ユーザに違和感を与える恐れがある。そのため、視点を切り替える際、表示画像Ｇ１４から、表示画像Ｇ２２へ直接的に表示を切り替えることが可能であることが望ましい。例えば、表示画像Ｇ１４から、表示画像Ｇ２２へ直接的に表示を切り替えるためには、２Ｄ画像Ｇ２０において表示画像Ｇ１４に相当する範囲Ｒ１の大きさと中心Ｃの位置を特定する必要がある。

ところで、３６０°全天周画像の間で視点の切り替えを行う場合には、各視点の画像において、被写体が実世界と同程度に見える表示画角（ズーム倍率１の画角）を算出できるため、視点切り替えの前後で被写体の大きさを同程度に合わせることが可能である。

しかし、２Ｄ画像の場合、撮影時にズームされた状態で収録されている可能性があるが、必ずしも撮影時の画角情報を取得できるとは限らない。その場合、撮影された画像をさらに再生側でズームイン・ズームアウトして表示することになるが、現在表示中の画像の、実世界に対する真のズーム倍率（表示画角）は、撮影時のズーム倍率と、再生時のズーム倍率を掛け合わせたものになる。撮影時のズーム倍率が不明であると、現在表示中の映像の、実世界に対する真のズーム倍率もわからない。そのため、視点切り替えを行うユースケースにおいて、切り替え前後で被写体の大きさを合わせることができなくなる。なお、かかる事象は、ズームや回転が可能な３６０°全天周画像と２Ｄ画像の間の視点切り替え、または複数の２Ｄ画像の間の視点切り替えにおいて発生し得る。

視点の切り替え前後で被写体の大きさが同程度に見えるようにするためには、切り替え前の画像の表示倍率の値を取得し、その値と同じになるように切り替え後の画像の表示倍率を適切に設定する必要がある。

ユーザが見る画像の表示倍率は、撮影時の画角、表示画像の元画像からの切り出し画角、及び再生時の表示装置の表示画角、の三つのパラメータで決定され得る。また、ユーザが最終的に見る画像の、実世界に対する真の表示倍率（表示画角）は、以下のように算出され得る。
真の表示画角＝（撮影時の画角）×（表示画像の元画像からの切り出し画角）×（表示装置の表示画角）

３６０°全天周画像の場合、撮影時の画角は３６０°である。また、切り出し画角は、切り出し範囲のピクセル数により、画角何度に対応するかが算出可能である。また、表示装置の表示画角の情報も再生環境で決まるため、最終的な表示倍率を算出することが可能である。

一方、２Ｄ映像では、一般に撮影時の画角の情報が得られないか、制作段階で失われてしまうことが多い。また、切り出し画角は元映像に対する相対位置として求めることは可能だが、実世界における絶対値として画角何度に相当するかわからない。そのため、最終的な表示倍率を求めることが困難である。

また、３６０°全天周画像と２Ｄ画像の間の視点切り替えにおいて、被写体の方向を合わせる必要がある。そのため２Ｄ映像が撮影されたときの方向情報も必要である。なお、OMAF（Omnidirectional Media Application Format）規格に準拠した３６０°全天周映像であれば方向情報がメタデータとして記録されているが、２Ｄ画像については方向情報が得られない場合が多い。

以上のように、ズームを伴う３６０°全天周画像と２Ｄ画像の間の視点切り替えにおいて、被写体の大きさを合わせることを実現するには、２Ｄ画像が撮影されたときの画角情報と方向情報が必要となる。

ところで、多視点コンテンツの再生においては、画像のズームや視点切り替えに応じて、音の音源（以下、オーディオオブジェクトと呼ぶ場合がある）の位置も適切に変化させることが望ましい。ここで、上記非特許文献１に記載されるMPEG-H 3D Audioでは、映像のズームに対応してオーディオオブジェクトの位置を補正する仕組みが規定されている。以下、かかる仕組みについて説明する。

MPEG-H 3D Audioでは、以下の２つのオーディオオブジェクトの位置補正機能が提供されている。
(第１の補正機能)：画音の位置合わせを行ったコンテンツ制作時の表示画角と、再生時の表示画角が異なる場合に、オーディオオブジェクトの位置を補正する。
(第２の補正機能)：再生時の映像のズームに追従して、オーディオオブジェクトの位置を補正する。

まず、上記の第１の補正機能について、図２を参照して説明する。図２は、コンテンツの制作時と再生時で表示画角が異なる場合のオーディオオブジェクトの位置補正について説明するための説明図である。なお、球面上の映像の画角と平面ディスプレイ上の画角は厳密には異なるが、以下では説明をわかりやすくするために近似して同一のものとして扱う。

図２に示す例では、コンテンツ制作時と再生時の表示画角が示されている。図２に示す例では、コンテンツ制作時の表示画角は６０°であり、再生時の表示画角は１２０°である。

図２に示すように、コンテンツ制作者は、例えば撮影画角６０°の画像を表示画角６０°で表示しながら、オーディオオブジェクトの位置を決定する。このとき、撮影画角と表示画角は同一であるため、ズーム倍率は１である。なお、対象となる画像が３６０°全天周画像であれば、表示画角に合わせて画像の切り出し画角（撮影画角）を決められるので、容易にズーム倍率１での表示が可能である。

このように制作されたコンテンツを、表示画角１２０°で再生する例が図２に示されている。表示画像の撮影画角が６０°である場合、ユーザが見る画像は実質的に拡大された画像になる。この拡大画像にオーディオオブジェクトの位置を合わせて補正するための情報とＡＰＩが、MPEG-H 3D Audioでは規定されている。

続いて、上記の第２の補正機能について、図３、図４を参照して説明する。図３、図４
は、再生時の映像のズームに追従したオーディオオブジェクトの位置補正について説明するための説明図である。図３、図４に示す３６０°全天周画像Ｇ１０の水平画素数は３８４０ピクセルであり、これが画角３６０°に相当する。また、３６０°全天周画像Ｇ１０の撮影時のズーム倍率は１とする。また、３６０°全天周画像Ｇ１０に対応してオーディオオブジェクトの位置が設定されているものとする。また、簡単のため、図３、図４に示す例において、コンテンツ制作時と再生時の表示画角は同一であり、かつ図２を参照して説明したような制作時のオーディオオブジェクトの位置補正は不要であり、再生時のズーム表示に起因する補正のみを行うものとする。

図３には、ズーム倍率１倍で再生を行う例が示されている。ここで、再生時の表示画角を６７．５°とすると、ズーム倍率１倍で表示を行うためには、図３に示すように３６０°全天周画像Ｇ１０のうち、撮影画角６７．５°に相当する７２０ピクセルの範囲を切り出して表示すればよい。このように、ズーム倍率１倍で再生を行う場合、オーディオオブジェクトの位置補正は不要である。

図４には、ズーム倍率２倍で再生を行う例が示されている。ここで、再生時の表示画角を６７．５°とすると、ズーム倍率２倍で表示を行うためには、図４に示すように３６０°全天周画像Ｇ１０のうち、撮影画角３３．７５°に相当する３６０ピクセルの範囲を切り出して表示すればよい。ここで、画像のズーム倍率に合わせてオーディオオブジェクトの位置補正を行うための情報とＡＰＩが、MPEG-H 3D Audioでは規定されている。

以上説明したような２つのオーディオオブジェクトの位置補正機能がMPEG-H 3D Audioでは提供されている。しかし、上述したMPEG-H 3D Audioで提供されるオーディオオブジェクトの位置補正機能では、ズームを伴う視点切り替え時のオーディオオブジェクトの位置補正を適切に行うことはできない場合がある。

ここで、ズームを伴う視点切り替えを想定したユースケースにおいて必要となるオーディオオブジェクトの位置補正について、図５〜図７を参照して説明を行う。

図５は、視点切り替えがない場合のオーディオオブジェクトの位置補正について説明するための説明図である。図５に示すように２Ｄ画像Ｇ２０の撮影時の画角は撮影画角θである。ただし、図５に示す例では、撮影画角θの情報はコンテンツ制作時、及び再生時には得られないものとする。

図５に示す例において、コンテンツ制作時には、表示画角９０°であり、２Ｄ画像Ｇ２０をそのままズーム倍率１倍で表示するものとする。ここで、コンテンツ制作時には撮影画角θが得られないため、実世界に対する真の表示倍率は不明である。

図５に示す例において、再生時には、表示画角６０°であり、例えば図５に示す範囲Ｒ２を切り出して、ズーム倍率２倍で表示画像Ｇ２４を表示するものとする。ここで、再生時においても撮影画角θが得られないため、実世界に対する真の表示倍率は不明である。しかし、同一の視点の画像を表示している場合には、真の表示倍率が不明であっても、上述したMPEG-H 3D Audioで提供されるオーディオオブジェクトの位置補正機能を用いてオーディオオブジェクトの位置を補正することが可能である。そのため、画像と音の相対的な位置関係を維持して再生を行うことができる。

図６は、視点切り替えがある場合のオーディオオブジェクトの位置補正について説明する説明図である。図６に示す例では、異なる視点で撮影された３６０°全天周画像と２Ｄ画像の間で視点切り替えが行われ得る。

図６に示す例では、２Ｄ画像の再生時には、図５に示した例と同様、表示画角６０°であり、ズーム倍率２倍で２Ｄ画像から切り出して得られる表示画像Ｇ２４が表示されるものとする。また、図５に示した例と同様に、上述したように、撮影画角θが得られないものとし、実世界に対する真の表示倍率は不明である。

また、図６に示す例において、３６０°全天周画像に視点切り替えを行うことを考える。表示画角は変化しないため、表示画角６０°である。３６０°全天周画像再生時に、ズーム倍率２倍を維持して表示しようとすると、例えば３６０°全天周画像Ｇ１０から切り出し画角３０°で範囲Ｒ３を切り出した表示画像Ｇ１４が表示され得る。ここで、３６０°全天周画像再生時のズーム倍率は実世界に対する真の表示倍率でもあり、実世界に対する真の表示倍率は２倍である。

しかし、上述したように、２Ｄ画像再生時の実世界に対する真の表示倍率は不明であり、上記のような視点切り替えでは、２Ｄ画像再生時の実世界に対する真の表示倍率と３６０°全天周画像再生時の実世界に対する真の表示倍率は一致するとは限らない。そのため、上記のような視点切り替えでは、被写体の大きさが合わない。

また、オーディオオブジェクトの位置についても視点切り替えの前後で不整合が生じ、ユーザに違和感を与え得る。したがって、視点切り替えの前後で、被写体の大きさを合わせると共に、オーディオオブジェクトの位置についても補正を行うことが望ましい。

図７は、撮影画角とコンテンツ制作時の表示画角が一致しない場合のオーディオオブジェクトの位置補正について説明するための説明図である。

図７に示す例において、コンテンツ制作時には、表示画角８０°であり、２Ｄ画像Ｇ２０をそのままズーム倍率１倍で表示するものとする。ここで、コンテンツ制作時には撮影画角が不明であるものとする。したがって、撮影画角とコンテンツ制作時の表示画角が一致するとは限らない。撮影画角が不明であるため、実世界に対する真の表示倍率は不明であるが、実世界に対する真の表示倍率が１倍ではないズーム倍率の画像を基準にオーディオオブジェクトの位置が決定された恐れがある。

また、図７に示す例において、再生時には、表示画角６０°であり、ズーム倍率２倍で表示するものとする。また再生時においても撮影画角が不明であるものとする。したがって、実世界に対する真の表示倍率は不明である。

また、図７には、再生時にズーム倍率２倍を維持したまま、切り出し範囲を移動させた例が示されている。図７には、２Ｄ画像Ｇ２０の範囲Ｒ２を切り出した表示画像Ｇ２４が表示される例と、２Ｄ画像Ｇ２０の範囲Ｒ４を切り出した表示画像Ｇ２６が表示される例が示されている。

ところで、上述したように、実世界に対する真の表示倍率が１倍ではないズーム倍率の画像を基準にオーディオオブジェクトの位置が決定された場合、再生時に表示される表示画像Ｇ２４、表示画像Ｇ２４の実世界に対する回転角は不明である。したがって、切り出し範囲の移動に対応して移動したオーディオオブジェクトの実世界に対する移動角も不明である。

しかし、表示画像Ｇ２４を表示した状態から、表示画像Ｇ２６を表示した状態へ移動する際、図５を参照して説明したように、MPEG-H 3D Audioで提供されるオーディオオブジェクトの位置補正機能を用いてオーディオオブジェクトの位置を補正することが可能である。このように、同一の視点の画像であれば、実世界に対する移動角が不明であっても、オーディオオブジェクトの位置補正が可能である。しかし、他の視点へ切り替えた場合には、実世界に対する回転角が不明ではオーディオオブジェクトの位置補正を行うことが困難である。その結果、視点の切り替え前後で音の位置が整合せず、ユーザに違和感を与える恐れがあった。

＜＜２．本技術の原理＞＞
そこで、上記事情を一着眼点にして、本開示にかかる各実施形態を創作するに至った。以下に説明する各実施形態によれば、複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うことで、ユーザの違和感を低減させることが可能である。以下では、本開示の各実施形態に共通する、本開示にかかる技術（以下、本技術とも呼ぶ）の基本的な原理について説明を行う。

＜＜２−１．本技術の概要＞＞
図８は、本技術の概要を説明するための説明図である。図８には、表示画像Ｇ１２、２Ｄ画像Ｇ２０、及び２Ｄ画像Ｇ３０が示されている。表示画像Ｇ１２は、図１を参照して説明したように、３６０°全天周画像から切り出された画像であってよい。ここで、表示画像Ｇ１２の切り出しにかかる３６０°全天周画像、２Ｄ画像Ｇ２０、及び２Ｄ画像Ｇ３０は、それぞれ異なる視点で撮影された画像である。

ここで、表示画像Ｇ１２が表示された状態から、表示画像Ｇ１２の範囲Ｒ５を切り出した表示画像Ｇ１６が表示されると、画質劣化が発生し得る。そこで、２Ｄ画像Ｇ２０の視点へ視点切り替えを行うことを考える。このとき、本技術では、視点切り替え後に、２Ｄ画像Ｇ２０の全体を表示することなく、２Ｄ画像Ｇ２０における表示画像Ｇ１６に相当する範囲Ｒ６を自動的に特定することで、被写体の大きさが維持された表示画像Ｇ２４を表示する。さらに、本技術では、２Ｄ画像Ｇ２０の視点から２Ｄ画像Ｇ３０の視点へ切り替えする際にも、被写体の大きさを維持する。図８に示される例では、表示画像Ｇ２４から２Ｄ画像Ｇ３０の視点へ切り替える際、２Ｄ画像Ｇ３０の全体を表示することなく、２Ｄ画像Ｇ３０における表示画像Ｇ２４に相当する範囲Ｒ７を特定することで、被写体の大きさが維持された表示画像Ｇ３２を表示する。かかる構成により、ユーザの視覚に与える違和感を低減することが可能である。

さらに、本技術では、上記の視点切り替えにおいて、オーディオオブジェクトの位置補正を行い、視点切り替えに応じた音源の位置で再生を行う。かかる構成により、ユーザの聴覚に与える違和感を低減することが可能である。

図８を参照して説明した効果を実現するため、本技術では、コンテンツ制作時に上述した視点切り替えを行うための情報を用意し、当該情報をコンテンツファイル生成時、及び再生時にも共有する。なお、以下では、かかる視点切り替えを行うための情報を、多視点ズーム切り替え情報、あるいは単に視点切り替え情報と呼ぶ。多視点ズーム切り替え情報は、複数の視点間での視点切り替えにおいて被写体の大きさを維持して表示するための情報である。また、多視点ズーム切り替え情報は、複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うための情報でもある。以下、多視点ズーム切り替え情報について説明する。

＜＜２−２．多視点ズーム切り替え情報＞＞
図９、図１０を参照して多視点ズーム切り替え情報の一例を説明する。図９は、多視点ズーム切り替え情報の一例を示す表である。また、図１０は、多視点ズーム切り替え情報を説明するための模式図である。

図９に示されるように、多視点ズーム切り替え情報は、画像タイプ情報、撮影関連情報、コンテンツ制作時の画角情報、切り替え先視点情報の数、及び切り替え先視点情報を含んでよい。図９に示した多視点ズーム切り替え情報は例えば多視点コンテンツの視点に含まれる各視点に対応付けられて用意されてよい。図９では、図１０に示した視点ＶＰに対応付けられた多視点ズーム切り替え情報が値の例として示されている。

画像タイプ情報は、多視点ズーム切り替え情報に対応付けられた視点にかかる画像のタイプを示す情報であり、例えば、２Ｄ画像か、３６０°全天周画像か、その他か、等であり得る。

撮影関連情報、多視点ズーム切り替え情報に対応付けられた視点にかかる画像の撮影時の情報である。例えば、撮影関連情報は、画像を撮影したカメラの位置に関する撮影位置情報を含む。また、撮影関連情報は、画像を撮影したカメラの方向に関する撮影方向情報を含む。また、撮影関連情報は、画像を撮影したカメラの画角（水平画角、垂直画角）に関する撮影画角情報を含む。

コンテンツ制作時の画角情報は、コンテンツ制作時の表示画角（水平画角、及び垂直画角）の情報である。なお、コンテンツ制作時の画角情報は、視点切り替え情報に対応付けられた視点にかかるオーディオオブジェクトの位置情報を決定する際に参照されたスクリーンの画角に関する参照画角情報でもある。また、コンテンツ制作時の画角情報は、MPEG-H 3D Audioにおけるmae_ProductionScreenSizeData()相当の情報であってもよい。

上述した撮影関連情報、及びコンテンツ制作時の画角情報を用いることで、視点切り替えにおいて被写体の大きさを維持した表示が可能であると共に、オーディオオブジェクトの位置補正を行うことが可能となる。

切り替え先視点情報は、多視点ズーム切り替え情報に対応付けられた視点から切り替え可能な切り替え先視点に関する情報である。図９に示すように、多視点ズーム切り替え情報は、以降に並ぶ切り替え先視点情報の数を含み、図１０に示す視点ＶＰ１は、視点ＶＰ２と視点ＶＰ３の２つの視点へ切り替え可能である。

切り替え先視点情報は、例えば、切り替え先視点へ切り替えるための情報であってよい。図９に示す例では、切り替え先視点情報は、視点切り替えの対象となるリージョンに関する情報(左上のｘ座標, 左上のy座標, 水平幅, 垂直幅)と、切り替えの閾値に関する閾値情報と、切り替え先の視点識別情報とを含む。

例えば、図１０に示す例で、視点ＶＰ１から視点ＶＰ２へ切り替えるためのリージョンはリージョンＲ１１である。なお、視点ＶＰ１のリージョンＲ１１は、ＶＰ２のリージョンＲ２１に対応する。また、図１０に示す例で、視点ＶＰ１から視点ＶＰ２へ切り替えるためのリージョンはリージョンＲ１２である。なお、視点ＶＰ１のリージョンＲ１２は、ＶＰ２のリージョンＲ３２に対応する。

閾値情報は、例えば最大の表示倍率の閾値の情報であってもよい。例えば、視点ＶＰ１のリージョンＲ１１において、表示倍率が３倍以上となると、視点ＶＰ２へ視点切り替えが行われる。また、視点ＶＰ１のリージョンＲ１２において、表示倍率が２倍以上となると、視点ＶＰ３へ視点切り替えが行われる。

以上、図９、図１０を参照して多視点ズーム切り替え情報の一例について説明した。ただし、多視点ズーム切り替え情報に含まれる情報は上述した例に限定されるものではない。以下に、多視点ズーム切り替え情報のいくつかの変形例を説明する。図１１、図１２はかかる変形例について説明するための説明図である。

例えば、切り替え先視点情報は、多段的に設定されてもよい。また、切り替え先視点情報は、視点間が相互に切り替え可能に設定されてもよい。例えば、視点ＶＰ１と視点ＶＰ２が相互に切り替え可能であり、視点ＶＰ１と視点ＶＰ３が相互に切り替え可能であるように設定されてもよい。

また、切り替え先視点情報は、視点間を異なる経路で行き来することが可能なように設定されてもよい。例えば、視点ＶＰ１から視点ＶＰ２へ切り替え可能であり、視点ＶＰ２から視点ＶＰ３へ切り替え可能であり、そして視点ＶＰ３から視点ＶＰ１へ切り替え可能であってもよい。

また、切り替え先視点情報は、視点間が相互に切り替え可能である場合に、切り替えの方向によって閾値情報を異ならせることにより、ヒステリシスを設けてもよい。例えば、視点ＶＰ１から視点ＶＰ２への閾値が３倍であり、視点ＶＰ２から視点ＶＰ１への閾値が２倍であるように閾値情報が設定されてもよい。かかる構成により、頻繁な視点切り替えが発生し難くなり、ユーザに与える違和感がより軽減される。

また、切り替え先視点情報におけるリージョンは重複していてもよい。図１１に示す例では、視点ＶＰ４から視点ＶＰ５、または視点ＶＰ６へ切り替え可能である。ここで、視点ＶＰ４から視点ＶＰ６のリージョンＲ６１へ切り替えるための視点ＶＰ４におけるリージョンＲ４１は、視点ＶＰ４から視点ＶＰ５のリージョンＲ５２へ切り替えるための視点ＶＰ４におけるリージョンＲ４２を含んでおり、リージョンが重複している。

また、切り替え先視点情報に含まれる閾値情報は、最大の表示倍率だけでなく、最小の表示倍率の情報であってもよい。例えば、図１１に示す例では、視点ＶＰ４よりも視点ＶＰ６の方が引きの視点であるため、視点ＶＰ４のリージョンＲ４１から視点ＶＰ６のリージョンＲ６１への切り替えにかかる閾値情報は最小の表示倍率の情報であってもよい。かかる構成により、その視点においてどのような表示倍率の範囲で表示させたいか、また、その表示倍率を超えた場合には視点切り替えを行わせたい、というコンテンツ制作者の意図を再生側へ伝えることが可能となる。

また、切り替え先視点がないリージョンにおいても、最大の表示倍率または最小の表示倍率が設定されてもよい。かかる場合には、最大の表示倍率または最小の表示倍率でズーム変化が止められてもよい。

また、切り替え先視点にかかる画像が２Ｄ画像の場合、切り替え先視点情報に、切り替え直後に表示するデフォルトの初期表示範囲の情報を含めてもよい。後述するように、切り替え先視点における表示倍率等を算出することは可能であるが、コンテンツ制作者が意図的にデフォルトの表示する範囲を切り替え先視点ごとに設定可能であってもよい。例えば、図１２に示す例では、視点ＶＰ７のリージョンＲ７１から視点ＶＰ８に切り替える場合、被写体が切り替え前と同程度の大きさとなる切り出し範囲はリージョンＲ８２であるが、初期表示範囲であるリージョンＲ８１が表示されてもよい。なお、切り替え先視点情報が初期表示範囲の情報を含む場合、切り替え先視点情報は、上述したリージョンの情報、閾値情報、視点識別情報に加え、初期表示範囲に対応する切り出し中心と表示倍率の情報を含んでもよい。

図１３は、コンテンツ制作時の多視点ズーム切り替え情報の生成フローの一例を示すフローチャート図である。まず、図１３に示す多視点ズーム切り替え情報の生成は、例えばコンテンツ制作時に、コンテンツ制作者が本開示の各実施形態におけるコンテンツ制作用の装置を操作することで、多視点コンテンツに含まれる視点ごとに実行され得る。

まず、画像タイプが設定されて画像タイプ情報が付与される（Ｓ１０２）。続いて、撮影時のカメラの位置、方向、画角が設定されて、撮影関連情報が付与される（Ｓ１０４）。なお、ステップＳ１０４において、撮影関連情報は、撮影時のカメラ位置、方向、ズーム値や、同時に撮影していた３６０°全天周画像など参照して設定されてよい。

続いて、コンテンツ制作時の画角が設定されて、コンテンツ制作時の画角情報が付与される（Ｓ１０６）。上述したように、コンテンツ制作時の画角情報は、オーディオオブジェクトの位置を決定する際に参照していたスクリーンサイズ（スクリーンの表示画角）である。例えば、ズームによる位置ずれの影響を無くすため、コンテンツ制作時は画像を切り出しせずにフルスクリーン表示されてもよい。

続いて、切り替え先視点情報が設定される（Ｓ１０８）。コンテンツ制作者は、各視点に対応する画像内にリージョンを設定し、視点切り替えが発生する表示倍率の閾値や、視点切り替え先の識別情報を設定する。

以上、コンテンツ制作時の多視点ズーム切り替え情報の生成フローについて説明した。生成された多視点ズーム切り替え情報は、後述するようにコンテンツファイル、あるいはメタデータファイルに含まれて、本開示の各実施形態において再生を行う装置へ提供される。以下では、図１４を参照して、再生時の多視点ズーム切り替え情報を利用した視点切り替えフローについて説明する。図１４は、再生時の多視点ズーム切り替え情報を利用した視点切り替えフローの一例を示すフローチャート図である。

まず、再生に用いられる視聴スクリーンの情報が取得される（Ｓ２０２）。なお、視聴スクリーンの情報は、視聴位置からの表示画角であってよく、再生環境によって一意に決定され得る。

続いて、現在表示中の画像の視点にかかる多視点ズーム切り替え情報が取得される（Ｓ２０４）。多視点ズーム切り替え情報は、後述するようにメタデータファイル、あるいはコンテンツファイルに格納される。本開示の各実施形態における多視点ズーム切り替え情報の取得方法については後述する。

続いて、表示画像の切り出し範囲、表示画像の方向、及び画角の情報が算出される（Ｓ２０８）。なお、表示画像の切り出し範囲の情報は、例えば切り出し範囲の中心位置とサイズの情報を含んでもよい。

続いて、ステップＳ２０８で算出された表示画像の切り出し範囲が、多視点ズーム切り替え情報に含まれる切り替え先視点情報のいずれかのリージョンに含まれるか否かが判定される（Ｓ２１０）。表示画像の切り出し範囲がいずれのリージョンにも含まれない場合（Ｓ２１０においてＮＯ）、視点切り替えは行われず、フローは終了する。

続いて、表示画像の表示倍率が算出される（Ｓ２１０）。例えば、切り出し前の画像のサイズと、表示画像の切り出し範囲の情報に基づいて表示画像の表示倍率が算出され得る。続いて、表示画像の表示倍率が切り替え先視点情報に含まれる表示倍率の閾値と比較される（Ｓ２１２）。図１４に示す例では、閾値情報は最大の表示倍率を示す。表示画像の表示倍率が閾値以下である場合（Ｓ２１２においてＮＯ）、視点切り替えは行われず、フローは終了する。

一方、表示画像の表示倍率が閾値より大きい場合（Ｓ２１２においてＹＥＳ）、切り替え先視点情報により示される切り替え先視点への視点切り替えが開始される（Ｓ２１４）。切り替え前の表示画像の方向と画角の情報、及び多視点ズーム切り替え情報に含まれる撮影関連情報、及びコンテンツ制作時の画角情報に基づいて、切り替え先視点における表示画像の切り出し位置と画角が算出される（Ｓ２１６）。

そして、ステップＳ２１６において算出された切り出し位置と画角の情報に基づいて、切り替え先視点における表示画像が切り出されて表示される（Ｓ２１８）。また、ステップＳ２１６において算出された切り出し位置と画角の情報に基づいて、オーディオオブジェクトの位置が補正されて、オーディオ出力される（Ｓ２２０）。

以上、本開示の各実施形態に共通する、本技術の基本的な原理について説明した。続いて、以下では本開示の各実施形態についてより具体的に説明を行う。

＜＜３．第１の実施形態＞＞
＜３−１．構成例＞
（システム構成）
図１５は、本開示の第１の実施形態にかかる情報処理システムのシステム構成を示す図である。図１５に示す本実施形態にかかる情報処理システムは、多視点コンテンツをストリーミング配信するシステムであり、例えばISO/IEC 23009-1に規格定義されたMPEG-DASHによりストリーミング配信を行ってもよい。図１５に示すように、本実施形態にかかる情報処理システムは、生成装置１００、配信サーバ２００、クライアント３００、出力装置４００を含む。配信サーバ２００とクライアント３００とは通信網５００によって互いに接続されている。

生成装置１００は、MPEG-DASHによるストリーミング配信に適合したコンテンツファイルとメタデータファイルを生成する情報処理装置である。なお、本実施形態にかかる生成装置１００はコンテンツ制作（オーディオオブジェクトの位置決定）に用いられてもよいし、あるいはコンテンツ制作用の他の装置から画像信号やオーディオ信号、オーディオオブジェクトの位置情報を受け取ってもよい。生成装置１００の構成については図１６を参照して後述する。

配信サーバ２００は、HTTPサーバとして機能し、MPEG-DASHによるストリーミング配信を行う情報処理装置である。例えば、配信サーバ２００は、MPEG-DASHに基づき、生成装置１００により生成されたコンテンツファイルとメタデータファイルのクライアント３００へのストリーミング配信を行う。配信サーバ２００の構成については図１７を参照して後述する。

クライアント３００は、生成装置１００により生成されたコンテンツファイルとメタデータファイルを配信サーバ２００から受信し、再生を行う情報処理装置である。図１５では、クライアント３００の例として、設置型の出力装置４００Ａに接続されたクライアント３００Ａ、ユーザに装着される出力装置４００Ｂに接続されたクライアント３００Ｂ、及び出力装置４００Ｃとしての機能も有する端末であるクライアント３００Ｃが示されている。クライアント３００の構成については図１８〜図２０を参照して後述する。

出力装置４００は、クライアント３００の再生制御により、表示画像を表示し、オーディオ出力を行う装置である。図１５では、出力装置４００の例として、設置型の出力装置４００Ａ、ユーザに装着される出力装置４００Ｂ、及びクライアント３００Ｃとしての機能も有する端末である出力装置４００Ｃが示されている。

出力装置４００Ａは、例えばテレビなどであってもよい。ユーザは、出力装置４００Ａに接続されるコントローラ等を介して、ズーム、回転等の操作を行うことが可能であってよく、かかる操作の情報が出力装置４００Ａからクライアント３００Ａへ送信され得る。

また、出力装置４００Ｂは、ユーザの頭部に装着されるＨＭＤ（Head Mounted Display）であってもよい。出力装置４００Ｂは、装着したユーザの頭部の位置や方向（姿勢）等の情報を取得するためのセンサを有し、かかる情報が出力装置４００Ｂからクライアント３００Ｂへ送信され得る。

また、出力装置４００Ｃは、スマートフォンやタブレットなどの可動の表示端末であってよく、例えばユーザが出力装置４００Ｃ手に持って動かしたときに位置や方向（姿勢）等の情報を取得するためのセンサを有する。

以上、本実施形態にかかる情報処理システムのシステム構成例について説明した。なお、図１５を参照して説明した上記の構成はあくまで一例であり、本実施形態にかかる情報処理システムの構成はかかる例に限定されない。例えば、生成装置１００の機能の一部は、配信サーバ２００またはその他の外部装置に備えられてもよい。本実施形態にかかる情報処理システムの構成は、仕様や運用に応じて柔軟に変形可能である。

（生成装置の機能構成）
図１６は、本実施形態にかかる生成装置１００の機能構成例を示すブロック図である。図１６に示すように、本実施形態にかかる生成装置１００は、生成部１１０、制御部１２０、通信部１３０、及び記憶部１４０を備える。

生成部１１０は、画像、及びオーディオに関する処理を行い、コンテンツファイルとメタデータファイルを生成する。図１６に示すように、生成部１１０は、画像ストリームエンコード部１１１、オーディオストリームエンコード部１１２、コンテンツファイル生成部１１３、及びメタデータファイル生成部１１４としての機能を有する。

画像ストリームエンコード部１１１は、通信部１３０を介して他の装置、あるいは生成装置１００内の記憶部１４０から複数の視点の画像信号（多視点画像信号）、及び撮影時のパラメータ（例えば撮影関連情報）を取得し、符号化処理を行う。画像ストリームエンコード部１１１は、画像ストリームと撮影時のパラメータをコンテンツファイル生成部１１３へ出力する。

オーディオストリームエンコード部１１２は、通信部１３０を介して他の装置、あるいは生成装置１００内の記憶部１４０からオブジェクトオーディオ信号、及び各オブジェクトオーディオの位置情報を取得し、符号化処理を行う。オーディオストリームエンコード部１１２は、オーディオストリームをコンテンツファイル生成部１１３へ出力する。

コンテンツファイル生成部１１３は、画像ストリームエンコード部１１１とオーディオストリームエンコード部１１２から提供された情報に基づき、コンテンツファイルを生成する。コンテンツファイル生成部１１３が生成するコンテンツファイルは、例えばMP4ファイルであってもよく、以下ではコンテンツファイル生成部１１３がMP4ファイルを生成する例について主に説明する。なお、本明細書において、MP4ファイルはISO/IEC 14496-12で規格定義されるISO Base Media File Format（ISOBMFF）ファイルであってよい。

なお、コンテンツファイル生成部１１３が生成するMP4ファイルはMPEG-DASHにより配信可能な単位のデータであるセグメントファイルであってもよい。

コンテンツファイル生成部１１３は、生成したMP4ファイルを通信部１３０、及びメタデータファイル生成部１１４へ出力する。

メタデータファイル生成部１１４は、コンテンツファイル生成部１１３により生成されたMP4ファイルに基づき、上述した多視点ズーム切り替え情報を含むメタデータファイルを生成する。また、メタデータファイル生成部１１４が生成するメタデータファイルは、ISO/IEC 23009-1で規格定義されるMPD（Media Presentation Description）ファイルであってもよい。

また、本実施形態にかかるメタデータファイル生成部１１４は、メタデータファイルに多視点ズーム切り替え情報を格納してもよい。本実施形態にかかるメタデータファイル生成部１１４は、多視点ズーム切り替え情報を切り替えられ得る複数の視点（多視点コンテンツの視点）に含まれる各視点に対応付けて、メタデータファイルに格納してもよい。なお、メタデータファイルへの多視点ズーム切り替え情報の格納例については後述する。

メタデータファイル生成部１１４は、生成したMPDファイルを通信部１３０へ出力する。

制御部１２０は、生成装置１００が行う処理全般を統括的に制御する機能構成である。例えば、なお、制御部１２０の制御内容は特に限定されない。例えば、制御部１２０は、汎用コンピュータ、ＰＣ、タブレットＰＣ等において一般的に行われる処理を制御してもよい。

また、生成装置１００がコンテンツ制作時に用いられる場合、制御部１２０は、不図示の操作部を介したユーザ操作に従い、オブジェクトオーディオデータの位置情報の生成や、図１３を参照して説明した多視点ズーム切り替え情報の生成にかかる処理を行ってもよい。

通信部１３０は、配信サーバ２００との各種通信を行う。例えば、通信部１３０は生成部１１０により生成されたMP4ファイルとMPDファイルを配信サーバ２００へ送信する。なお、通信部１３０の通信内容はこれらに限定されない。

記憶部１４０は、各種情報を記憶する機能構成である。例えば、記憶部１４０は、多視点ズーム切り替え情報、多視点画像信号、オーディオオブジェクト信号、MP4ファイル、MPDファイル等を記憶したり、生成装置１００の各機能構成によって使用されるプログラムまたはパラメータ等を記憶したりする。なお、記憶部１４０が記憶する情報はこれらに限定されない。

（配信サーバの機能構成）
図１７は、本実施形態にかかる配信サーバ２００の機能構成例を示すブロック図である。図１７に示すように、本実施形態にかかる配信サーバ２００は、制御部２２０、通信部２３０、及び記憶部２４０を備える。

制御部２２０は、配信サーバ２００が行う処理全般を統括的に制御する機能構成であり、MPEG-DASHによるストリーミング配信にかかる制御を行う。例えば、制御部２２０は、通信部２３０を介して受信されるクライアント３００からの要求情報等に基づいて、記憶部２４０に記憶された各種情報を通信部２３０を介してクライアント３００へ送信させる。なお、制御部２２０の制御内容は特に限定されない。例えば、制御部１２０は、汎用コンピュータ、ＰＣ、タブレットＰＣ等において一般的に行われる処理を制御してもよい。

通信部２３０は、配信サーバ２００、及びクライアント３００との各種通信を行う。例えば、通信部２３０は配信サーバ２００からMP4ファイルとMPDファイルを受信する。また、通信部２３０は、制御部２２０の制御に従い、クライアント３００から受信した要求情報に応じたMP4ファイルあるいはMPDファイルをクライアント３００へ送信する。なお、通信部２３０の通信内容はこれらに限定されない。

記憶部２４０は、各種情報を記憶する機能構成である。例えば、記憶部２４０は、生成装置１００から受信したMP4ファイル、MPDファイル等を記憶したり、配信サーバ２００の各機能構成によって使用されるプログラムまたはパラメータ等を記憶したりする。なお、記憶部２４０が記憶する情報はこれらに限定されない。

（クライアントの機能構成）
図１８は、本実施形態にかかるクライアント３００の機能構成例を示すブロック図である。図１８に示すように、本実施形態にかかるクライアント３００は、処理部３１０、制御部３４０、通信部３５０、及び記憶部３６０を備える。

処理部３１０は、コンテンツの再生に関する処理を行う機能構成である。処理部３１０は、例えば図１４を参照して説明した視点切り替えにかかる処理を行ってもよい。図１８に示すように、処理部３１０は、メタデータファイル取得部３１１と、メタデータファイル処理部３１２と、セグメントファイル選択制御部３１３と、画像処理部３２０、オーディオ処理部３３０としての機能を有する。

メタデータファイル取得部３１１は、コンテンツの再生に先立って配信サーバ２００からMPDファイル（メタデータファイル）を取得する機能構成である。より具体的には、メタデータファイル取得部３１１は、ユーザ操作等に基づいてMPDファイルの要求情報を生成し、通信部３５０を介して当該要求情報を配信サーバ２００へ送信することで、MPDファイルを配信サーバ２００から取得する。メタデータファイル取得部３１１は、取得したMPDファイルをメタデータファイル処理部３１２に提供する。

なお、上述したように、本実施形態にかかるメタデータファイル取得部３１１が取得するメタデータファイルは、多視点ズーム切り替え情報を含む。

メタデータファイル処理部３１２は、メタデータファイル取得部３１１から提供されるMPDファイルに関する処理を行う機能構成である。より具体的には、メタデータファイル処理部３１２は、MPDファイルの解析に基づき、MP4ファイル等の取得に必要な情報（例えば、URL等）を認識する。メタデータファイル処理部３１２は、これらの情報をセグメントファイル選択制御部３１３に提供する。

セグメントファイル選択制御部３１３は、取得対象となるセグメントファイル（MP4ファイル）を選択する機能構成である。より具体的には、セグメントファイル選択制御部３１３は、メタデータファイル処理部３１２から提供される上記の各種情報に基づいて取得対象となるセグメントファイルを選択する。例えば、本実施形態にかかるセグメントファイル選択制御部３１３は、図１４を参照して説明した視点切り替え処理により視点の切り替えが発生した場合、切り替え先視点のセグメントファイルを選択してもよい。

画像処理部３２０は、セグメントファイル選択制御部３１３により選択された情報に基づいて、セグメントファイルを取得し、画像処理を行う。図１９は、画像処理部３２０の機能構成例を示す図である。

図１９に示されるように、画像処理部３２０は、セグメントファイル取得部３２１、ファイルパース部３２３、画像復号部３２５、及びレンダリング部３２７としての機能を有する。セグメントファイル取得部３２１は、セグメントファイル選択制御部３１３により選択された情報に基づいて要求情報を生成し、配信サーバ２００へ送信することで、配信サーバ２００から適切なセグメントファイル（MP4ファイル）を取得してファイルパース部３２３へ提供する。ファイルパース部３２３は取得されたセグメントファイルを解析し、システム層メタデータと画像ストリームに分けて画像復号部３２５へ提供する。画像復号部３２５は、システム層メタデータと画像ストリームに対する復号処理を行い、画像位置メタデータと、復号画像信号とをレンダリング部３２７へ提供する。レンダリング部３２７は、出力装置４００から提供される情報に基づいて、切り出し範囲を決定し、画像の切り出しを行って表示画像を生成する。レンダリング部３２７により切り出された表示画像は、通信部３５０を介して出力装置４００へ送信され、出力装置４００に表示される。

オーディオ処理部３３０は、セグメントファイル選択制御部３１３により選択された情報に基づいて、セグメントファイルを取得し、オーディオ処理を行う。図２０は、オーディオ処理部３３０の機能構成例を示す図である。

図２０に示されるように、オーディオ処理部３３０は、セグメントファイル取得部３３１、ファイルパース部３３３、オーディオ復号部３３５、オブジェクト位置補正部３３７、及びオブジェクトレンダリング部３３９としての機能を有する。セグメントファイル取得部３３１は、セグメントファイル選択制御部３１３により選択された情報に基づいて要求情報を生成し、配信サーバ２００へ送信することで、配信サーバ２００から適切なセグメントファイル（MP4ファイル）を取得してファイルパース部３３３へ提供する。ファイルパース部３３３は取得されたセグメントファイルを解析し、システム層メタデータとオーディオストリームに分けてオーディオ復号部３３５へ提供する。オーディオ復号部３３５は、システム層メタデータとオーディオストリームに対する復号処理を行い、オーディオオブジェクトの位置を示すオーディオ位置メタデータと、復号オーディオ信号とをオブジェクト位置補正部３３７へ提供する。オブジェクト位置補正部３３７は、オブジェクト位置メタデータと、上述した多視点ズーム切り替え情報とに基づいて、オーディオオブジェクトの位置の補正を行い、補正後のオーディオオブジェクトの位置情報と復号オーディオ信号をオブジェクトレンダリング部３２９へ提供する。オブジェクトレンダリング部３３９は、補正後のオーディオオブジェクトの位置情報と復号オーディオ信号に基づき、複数のオーディオオブジェクトのレンダリング処理を行う。オブジェクトレンダリング部３３９により合成されたオーディオデータは通信部３５０を介して出力装置４００へ送信され、出力装置４００からオーディオ出力される。

制御部３４０は、クライアント３００が行う処理全般を統括的に制御する機能構成である。例えば、制御部３４０は、ユーザによってマウス、キーボード等の入力部（不図示）を用いて行われる入力に基づいて各種処理を制御してもよい。なお、制御部３４０の制御内容は特に限定されない。例えば、制御部３４０は、汎用コンピュータ、ＰＣ、タブレットＰＣ等において一般的に行われる処理を制御してもよい。

通信部３５０は、配信サーバ２００との各種通信を行う。例えば、通信部３５０は、処理部３１０から提供される要求情報を配信サーバ２００へ送信する。また、通信部３５０は、受信部としても機能し、当該要求情報への応答としてMPDファイル、MP4ファイル等を配信サーバ２００から受信する。なお、通信部３５０の通信内容はこれらに限定されない。

記憶部３６０は、各種情報を記憶する機能構成である。例えば、記憶部３６０は、配信サーバ２００から取得したMPDファイル、MP4ファイル等を記憶したり、クライアント３００の各機能構成によって使用されるプログラムまたはパラメータ等を記憶したりする。なお、記憶部３６０が記憶する情報はこれらに限定されない。

＜３−２．メタデータファイルへの多視点ズーム切り替え情報の格納例＞
以上、本実施形態の構成例について説明した。続いて、本実施形態において、メタデータファイル生成部１１４により生成されるメタデータファイルへの多視点ズーム切り替え情報の格納例について説明する。

まず、MPDファイルのレイヤ構造について説明する。図２１は、ISO/IEC 23009-1で規格定義されるMPDファイルのレイヤ構造を説明するための図である。図２１に示すように、MPDファイルは、１以上のPeriodにより構成される。Periodには、同期を取った画像やオーディオなどのデータのメタ情報が格納される。例えば、Periodは、ストリームの選択範囲(Representation群）をグルーピングするAdaptationSetを複数格納する。

Representationには、画像やオーディオの符号化速度、画像サイズなどの情報が格納される。Representationには複数のSegmentInfoが格納される。SegmentInfoはストリームを複数のファイルに分割したセグメント関連の情報を含む。SegmentInfoには、データ圧縮方式などの初期化情報を示すInitialization segmentntと、動画や音声のセグメントを示すMedia segmentが含まれる。

以上、MPDファイルのレイヤ構造について説明した。本実施形態にかかるメタデータファイル生成部１１４は、上述したMPDファイルに多視点ズーム切り替え情報を格納してもよい。

（AdaptationSetに格納する実施例）
上述したように、多視点ズーム切り替え情報は、視点ごとに存在するため、各視点に対応付けられてMPDファイルに格納されることが望ましい。多視点コンテンツにおいて、各視点はAdaptationSetと対応し得る。そこで、本実施形態にかかるメタデータファイル生成部１１４は、例えば上述したAdaptationSetに多視点ズーム切り替え情報を格納してもよい。かかる構成により、クライアント３００は、再生時に視点に対応する多視点ズーム切り替え情報を取得することが可能である。

図２２は、本実施形態にかかるメタデータファイル生成部１１４が生成するMPDファイルの一例を示す図である。なお、図２２には、３視点から構成される多視点コンテンツにおけるMPDファイルの例が示されている。また、図２２に示されるMPDファイルにおいて、本実施形態の特徴と関係のないelementやattributeは省略されている。

図２２の４行目、８行目、１２行目に示すように、AdaptationSetの拡張propertyとして定義されるEssentialPropertyが多視点ズーム切り替え情報としてAdaptationSetに格納される。なお、EssentialPropertyの代わりにSupplementalPropertyが用いられてもよく、かかる場合、EssentialPropertyをSupplementalPropertyに置き換えることで同様に記述可能である。

また、図２２の４行目、８行目、１２行目に示すように、多視点ズーム切り替え情報を示す名称としてEssentialPropertyのschemeIdUriが定められ、EssentialPropertyのvalueに上述した多視点ズーム切り替え情報の値が羅列される。図２２に示す例においてschemeIdUriは、urn:mpeg:dash:multi-view_zoom_switch_parameters:2018”である。また、valueは、上述した多視点ズーム切り替え情報を“(画像タイプ情報), (撮影関連情報), (コンテンツ制作時の画角情報), (切り替え先視点情報の数）, (切り替え先視点情報１), (切り替え先視点情報２),...”のように示している。なお、図２２のschemeIdUriで示す文字列は一例であってかかる例に限定されるものではない。

また、本実施形態にかかるメタデータファイル生成部１１４が生成するMPDファイルは、図２２に示した例に限定されない。例えば、本実施形態にかかるメタデータファイル生成部１１４は、上述したPeriodに多視点ズーム切り替え情報を格納してもよい。かかる場合、多視点ズーム切り替え情報を各視点と対応付けるため、多視点ズーム切り替え情報は、当該Periodに含まれる各AdaptationSetに関連付けられてPeriodに格納されてもよい。かかる構成により、クライアント３００は、再生時に視点に対応する多視点ズーム切り替え情報を取得することが可能である。

（AdaptationSetに関連付けてPeriodに格納に格納する実施例）
図２３は、本実施形態にかかるメタデータファイル生成部１１４が生成するMPDファイルの他の例を示す図である。なお、図２３には、図２２と同様に３視点から構成される多視点コンテンツにおけるMPDファイルの例が示されている。また、図２３に示されるMPDファイルにおいて、本実施形態の特徴と関係のないelementやattributeは省略されている。

図２３の３〜５行目に示すように、Periodの拡張propertyとして定義されるEssentialPropertyが多視点ズーム切り替え情報としてAdaptationSetの数だけまとめてPeriodに格納される。なお、EssentialPropertyの代わりにSupplementalPropertyが用いられてもよく、かかる場合、EssentialPropertyをSupplementalPropertyに置き換えることで同様に記述可能である。

図２３に示すEssentialPropertyのschemeIdUriについては、図２２を参照して説明したschemeIdUriと同様であるため、説明を省略する。図２３に示す例において、EssentialPropertyのvalueは、図２２を参照して説明したvalueと同様に上述した多視点ズーム切り替え情報を含む。ただし、図２３に示すvalueは、図２２を参照して説明したvalueに加え、先頭にAdaptationSet_idの値を含み、各AdaptationSetと関連付けられている。

例えば、図２３において、３行目の多視点ズーム切り替え情報は、６〜８行目のAdaptationSetと関連付けられ、４行目の多視点ズーム切り替え情報は、９〜１１行目のAdaptationSetと関連付けられ、５行目の多視点ズーム切り替え情報は、１２〜１４行目のAdaptationSetと関連付けられている。

（変形例）
以上、本実施形態にかかるメタデータファイル生成部１１４によるMPDファイルへの多視点ズーム切り替え情報の格納例について説明した。ただし、本実施形態はかかる例に限定されない。

例えば、変形例として、メタデータファイル生成部１１４は、MPDファイルに加え、MPDファイルとは異なる他のメタデータファイルを生成し、かかるメタデータファイルに多視点ズーム切り替え情報を格納してもよい。そして、メタデータファイル生成部１１４は、多視点ズーム切り替え情報を格納したメタデータファイルへアクセスするためのアクセス情報をMPDファイルに格納してもよい。かかる変形例においてメタデータファイル生成部１１４が生成するMPDファイルについて、図２４を参照して説明する。

図２４は、本変形例にかかるメタデータファイル生成部１１４が生成するMPDファイルの一例を示す図である。なお、図２４には、図２２と同様に３視点から構成される多視点コンテンツにおけるMPDファイルの例が示されている。また、図２４に示されるMPDファイルにおいて、本実施形態の特徴と関係のないelementやattributeは省略されている。

図２４の４行目、８行目、１２行目に示すように、AdaptationSetの拡張propertyとして定義されるEssentialPropertyがアクセス情報としてAdaptationSetに格納される。なお、EssentialPropertyの代わりにSupplementalPropertyが用いられてもよく、かかる場合、EssentialPropertyをSupplementalPropertyに置き換えることで同様に記述可能である。

図２４に示すEssentialPropertyのschemeIdUriについては、図２２を参照して説明したschemeIdUriと同様であるため、説明を省略する。図２４に示す例において、EssentialPropertyのvalueは、多視点ズーム切り替え情報を格納したメタデータファイルへアクセスするためのアクセス情報を含む。

例えば、図２４の４行目のvalueに示されたPOS-100.txtは、多視点ズーム切り替え情報を含み、以下のような内容のメタデータファイルであってもよい。
2D, 60, 40, (0,0,0), (10,20,30), 90, 60, 2, (0, 540 , 960, 540), 3, 2, (960, 0, 960, 540), 2, 3

また、図２４の８行目のvalueに示されたPOS-200.txtは、多視点ズーム切り替え情報を含み、以下のような内容のメタデータファイルであってもよい。
2D, 60, 40, (10, 10, 0), (10, 20, 30), 90, 60, 1, (0, 540, 960, 540), 4, 4

また、図２４の１２行目のvalueに示されたPOS-300.txtは、多視点ズーム切り替え情報を含み、以下のような内容のメタデータファイルであってもよい。
2D, 60, 40, (-10, 20, 0),(20, 30, 40), 45, 30, 1, (960, 0, 960, 540), 2, 5

なお、図２４では、アクセス情報がAdaptationSetに格納される例を説明したが、図２３を参照して説明した例と同様に、アクセス情報は各AdaptationSetに関連付けられてPeriodに格納されてもよい。

＜３−３．動作例＞
以上、本実施形態においてメタデータファイル生成部１１４により生成されるメタデータファイルについて説明した。続いて、本実施形態にかかる動作例を説明する。

図２５は、本実施形態にかかる生成装置１００の動作の一例を示すフローチャート図である。なお、図２５では、主に生成装置１００のメタデータファイル生成部１１４によるメタデータファイルの生成に関する動作について示しており、生成装置１００は当然、図２５に示されない動作を行ってもよい。

図２５に示すように、メタデータファイル生成部１１４は、まず画像ストリームとオーディオストリームのパラメータを取得する（Ｓ３０２）、続いて、メタデータファイル生成部１１４は、画像ストリームとオーディオストリームのパラメータに基づき、Pepresentationを構成する（Ｓ３０４）。続いて、メタデータファイル生成部１１４は、Periodを構成する（Ｓ３０８）。そして、メタデータファイル生成部１１４は、上述したように多視点ズーム切り替え情報を格納して、MPDファイルを生成する（Ｓ３１０）。

なお、図２５に示す処理の前、あるいは少なくともステップＳ３１０よりも前に、図１３を参照して説明した多視点ズーム切り替え情報の生成にかかる処理が行われて多視点ズーム切り替え情報が生成されていてよい。

図２６は、本実施形態にかかるクライアント３００の動作の一例を示すフローチャート図である。なお、クライアント３００は当然、図２６に示されない動作を行ってもよい。

図２６に示すように、まず、処理部３１０がMPDファイルを取得する（Ｓ４０２）。続いて、処理部３１０は指定された視点に対応するAdaptationSetの情報を取得する（Ｓ４０４）。ここで、指定された視点とは、例えば初期設定の視点であってもよいし、ユーザにより選択された視点であってもよいし、図１４を参照して説明した視点切り替え処理により特定された切り替え先視点であってもよい。

続いて、処理部３１０は、伝送帯域の情報を取得し（Ｓ４０６）、伝送路のビットレートの範囲で伝送可能なRepresentationを選択する（Ｓ４０８）。さらに、処理部３１０は、ステップＳ４０８で選択されたRepresentationを構成するMP4ファイルを配信サーバ２００から取得する（Ｓ４１０）。そして、処理部３１０はステップＳ４１０で取得したMP4ファイルに含まれるエレメンタリストリームのデコードを開始する（Ｓ４１２）。

＜＜４．第２の実施形態＞＞
以上、本開示の第１の実施形態について説明した。上述した第１の実施形態では、MPEG-DASHによりストリーミング配信を行う例を説明したが、以下では、第２の実施形態として、ストリーミング配信の代わりに、記憶装置を介してコンテンツファイルが提供される例を説明する。また、本実施形態では、コンテンツファイルに上述した多視点ズーム切り替え情報が格納される。

＜４−１．構成例＞
（生成装置の機能構成例）
図２７は、本開示の第２の実施形態にかかる生成装置６００の機能構成例を示すブロック図である。本実施形態にかかる生成装置６００は、コンテンツファイルを生成する情報処理装置である。また、生成装置６００は、記憶装置７００と接続され得る。記憶装置７００は、生成装置６００により生成されたコンテンツファイルを記憶する。なお、記憶装置７００は例えば持ち運び可能なストレージであってもよい。

図２７に示すように、本実施形態にかかる生成装置６００は、生成部６１０、制御部６２０、通信部６３０、及び記憶部６４０を備える。

生成部６１０は、画像、及びオーディオに関する処理を行い、コンテンツファイルを生成する。図２７に示すように、生成部６１０は、画像ストリームエンコード部６１１、オーディオストリームエンコード部６１２、及びコンテンツファイル生成部６１３としての機能を有する。なお、画像ストリームエンコード部６１１、オーディオストリームエンコード部６１２の機能は、図１６を参照して説明した画像ストリームエンコード部１１１、オーディオストリームエンコード部１１２の機能と同様であってよい。

コンテンツファイル生成部６１３は、画像ストリームエンコード部６１１とオーディオストリームエンコード部６１２から提供された情報に基づき、コンテンツファイルを生成する。本実施形態にかかるコンテンツファイル生成部６１３が生成するコンテンツファイルは、上述した第１の実施形態と同様にMP4ファイル（ISOBMFFファイル）であってよい。

ただし、本実施形態にかかるコンテンツファイル生成部６１３は、コンテンツファイルのヘッダに多視点ズーム切り替え情報を格納する。また、本実施形態にかかるコンテンツファイル生成部６１３は、多視点ズーム切り替え情報を切り替えられ得る複数の視点（多視点コンテンツの視点）に含まれる各視点に対応付けて、当該ヘッダに多視点ズーム切り替え情報を格納してもよい。なお、コンテンツファイルのヘッダへの多視点ズーム切り替え情報の格納例については後述する。

コンテンツファイル生成部６１３により生成されたMP4ファイルは、図２７に示す記憶装置７００に出力されて記憶される。

制御部６２０は、生成装置６００が行う処理全般を統括的に制御する機能構成である。例えば、なお、制御部６２０の制御内容は特に限定されない。例えば、制御部６２０は、汎用コンピュータ、ＰＣ、タブレットＰＣ等において一般的に行われる処理を制御してもよい。

通信部６３０は、各種通信を行う。例えば、通信部６３０は生成部１１０により生成されたMP4ファイルを記憶装置７００へ送信する。なお、通信部６３０の通信内容はこれらに限定されない。

記憶部６４０は、各種情報を記憶する機能構成である。例えば、記憶部６４０は、多視点ズーム切り替え情報、多視点画像信号、オーディオオブジェクト信号、MP4ファイル等を記憶したり、生成装置６００の各機能構成によって使用されるプログラムまたはパラメータ等を記憶したりする。なお、記憶部６４０が記憶する情報はこれらに限定されない。

（再生装置の機能構成例）
図２８は、本開示の第２の実施形態にかかる再生装置８００の機能構成例を示すブロック図である。本実施形態にかかる再生装置８００は、記憶装置７００と接続され、記憶装置７００に記憶されたMP4ファイルを取得して再生を行う情報処理装置である。再生装置８００は、出力装置４００と接続され、表示画像を出力装置４００に表示させると共に、オーディオを出力させる。なお、再生装置８００は、図１５に示したクライアント３００と同様に、設置型の出力装置４００や、ユーザに装着される出力装置４００に接続されてもよいし、出力装置４００と一体化されていてもよい。

また、図２８に示すように、本実施形態にかかる再生装置８００は、処理部８１０、制御部８４０、通信部８５０、及び記憶部８６０を備える。

処理部８１０は、コンテンツの再生に関する処理を行う機能構成である。処理部８１０は、例えば図１４を参照して説明した視点切り替えにかかる処理を行ってもよい。図２８に示すように、処理部８１０は、画像処理部８２０、及びオーディオ処理部８３０としての機能を有する。

画像処理部８２０は、記憶装置７００に記憶されたMP4ファイルを取得し、画像処理を行う。図２８に示されるように、画像処理部８２０は、ファイル取得部８２１、ファイルパース部８２３、画像復号部８２５、及びレンダリング部８２７としての機能を有する。ファイル取得部８２１は、コンテンツファイル取得部として機能し、記憶装置７００からMP4ファイルを取得してファイルパース部８２３へ提供する。なお、ファイル取得部８２１が取得するMP4ファイルは、上述したように多視点ズーム切り替え情報を含み、当該多視点ズーム切り替え情報はヘッダに格納される。ファイルパース部８２３は取得されたMP4ファイルを解析し、システム層メタデータ（ヘッダ）と画像ストリームに分けて画像復号部８２５へ提供する。画像復号部８２５、及びレンダリング部８２７の機能は、図１９を参照して説明した画像復号部３２５、及びレンダリング部３２７の機能と同様であるため、説明を省略する。

オーディオ処理部８３０は、記憶装置７００に記憶されたMP4ファイルを取得し、オーディオ処理を行う。図２８に示されるように、オーディオ処理部８３０は、ファイル取得部８３１、オーディオ復号部８３５、オブジェクト位置補正部８３７、及びオブジェクトレンダリング部８３９としての機能を有する。ファイル取得部８３１は、コンテンツファイル取得部として機能し、記憶装置７００からMP4ファイルを取得してファイルパース部８３３へ提供する。なお、ファイル取得部８３１が取得するMP4ファイルは、上述したように多視点ズーム切り替え情報を含み、当該多視点ズーム切り替え情報はヘッダに格納される。ファイルパース部８３３は取得されたMP4ファイルを解析し、システム層メタデータ（ヘッダ）とオーディオストリームに分けてオーディオ復号部８３５へ提供する。オーディオ復号部８３５、オブジェクト位置補正部８３７、及びオブジェクトレンダリング部８３９の機能は、図２０を参照して説明した、オーディオ復号部３３５、オブジェクト位置補正部３３７、及びオブジェクトレンダリング部３３９の機能と同様であるため、説明を省略する。

制御部８４０は、再生装置８００が行う処理全般を統括的に制御する機能構成である。例えば、制御部８４０は、ユーザによってマウス、キーボード等の入力部（不図示）を用いて行われる入力に基づいて各種処理を制御してもよい。なお、制御部８４０の制御内容は特に限定されない。例えば、制御部３４０は、汎用コンピュータ、ＰＣ、タブレットＰＣ等において一般的に行われる処理を制御してもよい。

通信部８５０は、各種通信を行う。また、通信部８５０は、受信部としても機能し、MP4ファイル等を記憶装置７００から受信する。なお、通信部８５０の通信内容はこれらに限定されない。

記憶部８６０は、各種情報を記憶する機能構成である。例えば、記憶部８６０は、記憶装置７００から取得したMP4ファイル等を記憶したり、再生装置８００の各機能構成によって使用されるプログラムまたはパラメータ等を記憶したりする。なお、記憶部８６０が記憶する情報はこれらに限定されない。

以上、本実施形態にかかる生成装置６００、及び再生装置８００について説明した。なお、上記では記憶装置７００を介してMP4ファイルが提供される例を説明したが、かかる例に限定されない。例えば、生成装置６００、及び再生装置８００は、通信網を介して、あるいは直接に接続されてもよく、MP4ファイルが生成装置６００から再生装置８００へ送信されて、再生装置８００の記憶部８６０に記憶されてもよい。

＜４−２．コンテンツファイルへの多視点ズーム切り替え情報の格納例＞
以上、本実施形態の構成例について説明した。続いて、本実施形態において、コンテンツファイル生成部６１３により生成されるコンテンツファイルのヘッダへの多視点ズーム切り替え情報の格納例について説明する。

上述したように、本実施形態において、コンテンツファイル生成部６１３により生成されるコンテンツファイルはMP4ファイルであってよい。MP4ファイルがISO/IEC 14496-12で規格定義されるISOBMFFファイルである場合、MP4ファイルのヘッダとして、moovボックス（システム層メタデータ）がMP4ファイルに含まれる。

（udtaボックスに格納する実施例）
図２９は、ISOBMFFファイルにおけるmoovボックスのボックス構造を示す図である。本実施形態にかかるコンテンツファイル生成部６１３は、例えば図２９に示すmoovボックスのうちudtaボックスに、多視点ズーム切り替え情報を格納してもよい。udtaボックスは、任意のユーザデータを格納可能であり、かつ図２９に示すようtrackボックスに含まれて、video trackに対して静的なメタデータとなる。なお、多視点ズーム切り替え情報が格納される領域は、図２９に示す階層位置のudtaボックスに限定されない。例えば既存のボックスのバージョンを変更して内部に拡張領域を設け（当該拡張領域についても例えば一つのボックスとして定義される）、当該拡張領域に多視点ズーム切り替え情報を格納することも可能である。

図３０は、多視点ズーム切り替え情報がudtaボックスに格納される場合のudtaボックスの例を示す図である。図３０の７行目のvideo_typeは図９に示した画像タイプ情報に対応する。また、図３０に示す８行目〜１５行目のパラメータは、図９に示した撮影関連情報に対応する。また、図３０に示す１６行目〜１７行目のパラメータは、図９に示したコンテンツ制作時の画角情報に対応する。また、図３０に示す１８行目のnumber_of_destination_viewsは、図９に示した切り替え先視点情報の数に対応する。また、図３０に示す２０行目〜２５行目のパラメータは、図９に示した切り替え先視点情報に対応し、視点ごとに視点に対応付けられて格納される。

（metadata trackとして格納する実施例）
上記では、多視点ズーム切り替え情報をvideo trackに対して静的なメタデータとしてudtaボックスに格納する例を説明したが本実施形態はかかる例に限定されない。例えば、多視点ズーム切り替え情報が再生時刻に応じて変化する場合、udtaボックスに格納することは困難である。

そこで、多視点ズーム切り替え情報が再生時刻に応じて変化する場合、時間軸を有する構造であるtrackを利用し、多視点ズーム切り替え情報を示す新たなmetadata trackを定義してもよい。ISOBMFFにおけるmetadata trackの定義方法は、ISO/IEC 14496-12に記載されており、本実施例にかかるmetadata trackは、ISO/IEC 14496-12に準拠した形で定義されてもよい。かかる実施例について、図３１〜図３２を参照して説明する。

本実施例において、コンテンツファイル生成部６１３は、多視点ズーム切り替え情報をtimed metadata trackとしてmdatボックスに格納する。なお、本実施例において、コンテンツファイル生成部６１３は、moovボックスにも多視点ズーム切り替え情報を格納し得る。

図３１は、metadata trackについて説明するための説明図である。図３１に示す例では、多視点ズーム切り替え情報が変化しない時間範囲を１つのsampleと定義し、１つのsampleを１つのmulti-view_zoom_switch_parameters（多視点ズーム切り替え情報）に対応させる。そして、１つのmulti-view_zoom_switch_parametersが有効な時間は、sample_durationで表され得る。なお、sampleのサイズ等、sampleに関する他の情報については、図２９に示したstblボックスの情報をそのまま用いてもよい。

例えば図３１に示す例では、範囲ＶＦ１のビデオフレームに適用される多視点ズーム切り替え情報として、multi-view_zoom_switch_parametersＭＤ１がmdatボックスに格納される。また、図３２に示す範囲ＶＦ２のビデオフレームに適用される多視点ズーム切り替え情報として、multi-view_zoom_switch_parametersＭＤ２がmdatボックスに格納される。

また、本実施例において、コンテンツファイル生成部６１３は、moovボックスにも多視点ズーム切り替え情報を格納し得る。図３２は、本実施例においてコンテンツファイル生成部６１３がmoovボックスに格納する多視点ズーム切り替え情報を説明するための図である。

本実施例において、コンテンツファイル生成部６１３は、図３２に示すようにsampleを定義して、moovボックスに格納してもよい。なお、図３２に示す各パラメータは、図３０を参照して説明した多視点ズーム切り替え情報を示すパラメータと同様である。

＜４−３．動作例＞
以上、本実施形態においてコンテンツファイル生成部６１３により生成されるコンテンツファイルについて説明した。続いて、本実施形態にかかる動作例を説明する。

図３３は、本実施形態にかかる生成装置６００の動作の一例を示すフローチャート図である。なお、図３３では、主に生成装置６００の生成部６１０によるMP4ファイルの生成に関する動作について示しており、生成装置６００は当然、図３３に示されない動作を行ってもよい。

図３３に示すように、生成部６１０は、まず画像ストリームとオーディオストリームのパラメータを取得する（Ｓ５０２）、続いて、生成部６１０は、画像ストリームとオーディオストリームの圧縮符号化を行う（Ｓ５０４）。続いて、コンテンツファイル生成部６１３は、mdatボックスに、ステップＳ５０４で得られた符号化ストリームを格納する（Ｓ５０６）。そして、コンテンツファイル生成部６１３は、mdatボックスに格納された符号化ストリームに関するmoovボックスを構成する（Ｓ５０８）。そして、コンテンツファイル生成部６１３は、上述したように多視点ズーム切り替え情報をmoovボックス、またはmdatボックスに格納してMP4ファイルを生成する（Ｓ５１０）。

なお、図３３に示す処理の前、あるいは少なくともステップＳ５１０よりも前に、図１３を参照して説明した多視点ズーム切り替え情報の生成にかかる処理が行われて多視点ズーム切り替え情報が生成されていてよい。

図３４は、本実施形態にかかる再生装置８００の動作の一例を示すフローチャート図である。なお、再生装置８００は当然、図３４に示されない動作を行ってもよい。

図３４に示すように、まず、処理部８１０は指定された視点に対応するMP4ファイルを取得する（Ｓ６０２）。ここで、指定された視点とは、例えば初期設定の視点であってもよいし、ユーザにより選択された視点であってもよいし、図１４を参照して説明した視点切り替え処理により特定された切り替え先視点であってもよい。

そして、処理部８１０はステップＳ６０２で取得したMP4ファイルに含まれるエレメンタリストリームのデコードを開始する。

＜＜５．ハードウェア構成例＞＞
以上、本開示の実施形態を説明した。最後に、図３５を参照して、本開示の実施形態にかかる情報処理装置のハードウェア構成について説明する。図３５は、本開示の実施形態にかかる情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図３５に示す情報処理装置９００は、例えば、図１５〜１８、図２６、図２７に示した生成装置１００、配信サーバ２００、クライアント３００、生成装置６００、再生装置８００を実現し得る。本開示の実施形態にかかる生成装置１００、配信サーバ２００、クライアント３００、生成装置６００、再生装置８００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図３５に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、またはこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、生成部１１０、制御部１２０、制御部２２０、処理部３１０、制御部３４０、生成部６１０、制御部６２０、処理部８１０、制御部８４０を形成し得る。

ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９０７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイスまたは光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部１４０、記憶部２４０、記憶部３６０、記憶部６４０、記憶部８６０、を形成し得る。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。

通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータまたは各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、通信部１３０、通信部２３０、通信部３５０、通信部６３０、通信部８５０、を形成し得る。

センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

以上、本開示の実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

なお、上述のような本開示の実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

＜＜６．むすび＞＞
以上説明したように、本開示の各実施形態によれば、複数の視点間での視点切り替えを行うための多視点ズーム視点切り替え情報（視点切り替え情報）をコンテンツの再生に用いることで、視覚的、聴覚的にユーザの違和感を低減させることが可能である。例えば、上述したように、多視点ズーム視点切り替え情報に基づいて、視点切り替えの前後で被写体の方向や大きさを合わせて表示画像を表示することが可能である。また、上述したように、多視点ズーム視点切り替え情報に基づいて、視点切り替えにおいてオーディオオブジェクトの位置補正を行うことで、ユーザの違和感を低減させることが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記第１の実施形態では、メタデータファイルに多視点ズーム切り替え情報を格納する例を説明したが、本技術はかかる例に限定されない。例えば、上記の第１の実施形態のように、MPEG-DASHによりストリーミング配信を行う場合であっても、MPDファイルに代えて、または加えて、第２の実施形態で説明したようにMP4ファイルのヘッダに多視点ズーム切り替え情報を格納してもよい。特に、多視点ズーム切り替え情報が再生時刻に応じて変化する場合、多視点ズーム切り替え情報をMPDファイルに格納することは困難である。そこで、MPEG-DASHによりストリーミング配信を行う場合であっても、図３１〜図３２を参照して説明した実施例のように多視点ズーム切り替え情報をtimed metadata trackとしてmdatボックスに格納してもよい。かかる構成により、MPEG-DASHによりストリーミング配信が行われ、かつ多視点ズーム切り替え情報が再生時刻に応じて変化する場合であっても、多視点ズーム切り替え情報を、コンテンツを再生する装置へ提供することが可能である。

なお、多視点ズーム切り替え情報が再生時刻に応じて変化するか否かは、例えばコンテンツ制作者により判断され得る。そこで、多視点ズーム切り替え情報をどこへ格納するかは、コンテンツ制作者の操作や、コンテンツ制作者により与えられた情報に基づいて決定されてもよい。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示にかかる技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うための視点切り替え情報を含むメタデータファイルを生成するメタデータファイル生成部を備える、情報処理装置。
（２）
前記メタデータファイルは、MPD(Media Presentation Description)ファイルである、前記（１）に記載の情報処理装置。
（３）
前記視点切り替え情報は、前記MPDファイルのAdaptationSetに格納される、前記（２）に記載の情報処理装置。
（４）
前記視点切り替え情報は、前記MPDファイルのAdaptationSetに関連付けられて前記MPDファイルのPeriodに格納される、前記（２）に記載の情報処理装置。
（５）
前記メタデータファイル生成部は、前記メタデータファイルへアクセスするためのアクセス情報を含むMPD(Media Presentation Description)ファイルをさらに生成する、前記（１）に記載の情報処理装置。
（６）
前記アクセス情報は、前記MPDファイルのAdaptationSetに格納される、前記（５）に記載の情報処理装置。
（７）
前記アクセス情報は、前記MPDファイルのAdaptationSetに関連付けられて前記MPDファイルのPeriodに格納される、前記（５）に記載の情報処理装置。
（８）
前記視点切り替え情報は、前記複数の視点に含まれる各視点に対応付けられて、前記メタデータファイルに格納される、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記視点切り替え情報は、前記視点切り替え情報に対応付けられた視点から切り替え可能な切り替え先視点に関する切り替え先視点情報を含む、前記（８）に記載の情報処理装置。
（１０）
前記切り替え先視点情報は、前記視点切り替え情報に対応付けられた視点から前記切り替え先視点への切り替えの閾値に関する閾値情報を含む、前記（９）に記載の情報処理装置。
（１１）
前記視点切り替え情報は、前記視点切り替え情報に対応付けられた視点にかかる画像の撮影関連情報を含む、前記（８）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記撮影関連情報は、前記画像を撮影したカメラの位置に関する撮影位置情報を含む、前記（１１）に記載の情報処理装置。
（１３）
前記撮影関連情報は、前記画像を撮影したカメラの方向に関する撮影方向情報を含む、前記（１１）または（１２）に記載の情報処理装置。
（１４）
前記撮影関連情報は、前記画像を撮影したカメラの画角に関する撮影画角情報を含む、前記（１１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記視点切り替え情報は、前記視点切り替え情報に対応付けられた視点にかかるオーディオオブジェクトの位置情報を決定する際に参照されたスクリーンの画角に関する参照画角情報を含む、前記（８）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うための視点切り替え情報を含むメタデータファイルを生成することを含み、情報処理装置により実行される情報処理方法。
（１７）
コンピュータに、
複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うための視点切り替え情報を含むメタデータファイルを生成する機能を実現させるための、プログラム。
（１８）
複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うための視点切り替え情報を含むメタデータファイルを取得するメタデータファイル取得部を備える、情報処理装置。
（１９）
前記メタデータファイルは、MPD(Media Presentation Description)ファイルである、前記（１８）に記載の情報処理装置。
（２０）
前記視点切り替え情報は、前記MPDファイルのAdaptationSetに格納される、前記（１９）に記載の情報処理装置。
（２１）
前記視点切り替え情報は、前記MPDファイルのAdaptationSetに関連付けられて前記MPDファイルのPeriodに格納される、前記（１９）に記載の情報処理装置。
（２２）
前記メタデータファイル取得部は、前記メタデータファイルへアクセスするためのアクセス情報を含むMPD(Media Presentation Description)ファイルをさらに取得する、前記（１８）に記載の情報処理装置。
（２３）
前記アクセス情報は、前記MPDファイルのAdaptationSetに格納される、前記（２２）に記載の情報処理装置。
（２４）
前記アクセス情報は、前記MPDファイルのAdaptationSetに関連付けられて前記MPDファイルのPeriodに格納される、前記（２２）に記載の情報処理装置。
（２５）
前記視点切り替え情報は、前記複数の視点に含まれる各視点に対応付けられて、前記メタデータファイルに格納される、前記（１８）〜（２４）のいずれか一項に記載の情報処理装置。
（２６）
前記視点切り替え情報は、前記視点切り替え情報に対応付けられた視点から切り替え可能な切り替え先視点に関する切り替え先視点情報を含む、前記（２５）に記載の情報処理装置。
（２７）
前記切り替え先視点情報は、前記視点切り替え情報に対応付けられた視点から前記切り替え先視点への切り替えの閾値に関する閾値情報を含む、前記（２６）に記載の情報処理装置。
（２８）
前記視点切り替え情報は、前記視点切り替え情報に対応付けられた視点にかかる画像の撮影関連情報を含む、前記（２５）〜（２７）のいずれか一項に記載の情報処理装置。
（２９）
前記撮影関連情報は、前記画像を撮影したカメラの位置に関する撮影位置情報を含む、前記（２８）に記載の情報処理装置。
（３０）
前記撮影関連情報は、前記画像を撮影したカメラの方向に関する撮影方向情報を含む、前記（２８）または（２９）に記載の情報処理装置。
（３１）
前記撮影関連情報は、前記画像を撮影したカメラの画角に関する撮影画角情報を含む、前記（２８）〜（３０）のいずれか一項に記載の情報処理装置。
（３２）
前記視点切り替え情報は、前記視点切り替え情報に対応付けられた視点にかかるオーディオオブジェクトの位置情報を決定する際に参照されたスクリーンの画角に関する参照画角情報を含む、前記（２５）〜（３１）のいずれか一項に記載の情報処理装置。
（３３）
複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うための視点切り替え情報を含むメタデータファイルを取得することを含み、情報処理装置により実行される情報処理方法。
（３４）
コンピュータに、
複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うための視点切り替え情報を含むメタデータファイルを取得する機能を実現させるための、プログラム。

１００ 生成装置
１１０ 生成部
１１１ 画像ストリームエンコード部
１１２ オーディオストリームエンコード部
１１３ コンテンツファイル生成部
１１４ メタデータファイル生成部
２００ 配信サーバ
３００ クライアント
３１０ 処理部
３１１ メタデータファイル取得部
３１２ メタデータファイル処理部
３１３ セグメントファイル選択制御部
３２１ セグメントファイル取得部
３２３ ファイルパース部
３２５ 画像復号部
３２７ レンダリング部
３２９ オブジェクトレンダリング部
３３０ オーディオ処理部
３３１ セグメントファイル取得部
３３３ ファイルパース部
３３５ オーディオ復号部
３３７ オブジェクト位置補正部
３３９ オブジェクトレンダリング部
３４０ 制御部
３５０ 通信部
３６０ 記憶部
４００ 出力装置
６００ 生成装置
６１０ 生成部
６１１ 画像ストリームエンコード部
６１２ オーディオストリームエンコード部
６１３ コンテンツファイル生成部
７００ 記憶装置
７１０ 生成部
７１３ コンテンツファイル生成部
８００ 再生装置
８１０ 処理部
８２０ 画像処理部
８２１ ファイル取得部
８２３ ファイルパース部
８２５ 画像復号部
８２７ レンダリング部
８３０ オーディオ処理部
８３１ ファイル取得部
８３３ ファイルパース部
８３５ オーディオ復号部
８３７ オブジェクト位置補正部
８３９ オブジェクトレンダリング部
８４０ 制御部
８５０ 通信部
８６０ 記憶部

Claims (17)

1. 複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うための視点切り替え情報を含むメタデータファイルを生成するメタデータファイル生成部を備える、情報処理装置。
2. 前記メタデータファイルは、MPD(Media Presentation Description)ファイルである、請求項１に記載の情報処理装置。
3. 前記視点切り替え情報は、前記MPDファイルのAdaptationSetに格納される、請求項２に記載の情報処理装置。
4. 前記視点切り替え情報は、前記MPDファイルのAdaptationSetに関連付けられて前記MPDファイルのPeriodに格納される、請求項２に記載の情報処理装置。
5. 前記メタデータファイル生成部は、前記メタデータファイルへアクセスするためのアクセス情報を含むMPD(Media Presentation Description)ファイルをさらに生成する、請求項１に記載の情報処理装置。
6. 前記アクセス情報は、前記MPDファイルのAdaptationSetに格納される、請求項５に記載の情報処理装置。
7. 前記アクセス情報は、前記MPDファイルのAdaptationSetに関連付けられて前記MPDファイルのPeriodに格納される、請求項５に記載の情報処理装置。
8. 前記視点切り替え情報は、前記複数の視点に含まれる各視点に対応付けられて、前記メタデータファイルに格納される、請求項１に記載の情報処理装置。
9. 前記視点切り替え情報は、前記視点切り替え情報に対応付けられた視点から切り替え可能な切り替え先視点に関する切り替え先視点情報を含む、請求項８に記載の情報処理装置。
10. 前記切り替え先視点情報は、前記視点切り替え情報に対応付けられた視点から前記切り替え先視点への切り替えの閾値に関する閾値情報を含む、請求項９に記載の情報処理装置。
11. 前記視点切り替え情報は、前記視点切り替え情報に対応付けられた視点にかかる画像の撮影関連情報を含む、請求項８に記載の情報処理装置。
12. 前記撮影関連情報は、前記画像を撮影したカメラの位置に関する撮影位置情報を含む、請求項１１に記載の情報処理装置。
13. 前記撮影関連情報は、前記画像を撮影したカメラの方向に関する撮影方向情報を含む、請求項１１に記載の情報処理装置。
14. 前記撮影関連情報は、前記画像を撮影したカメラの画角に関する撮影画角情報を含む、請求項１１に記載の情報処理装置。
15. 前記視点切り替え情報は、前記視点切り替え情報に対応付けられた視点にかかるオーディオオブジェクトの位置情報を決定する際に参照されたスクリーンの画角に関する参照画角情報を含む、請求項８に記載の情報処理装置。
16. 複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うための視点切り替え情報を含むメタデータファイルを生成することを含み、情報処理装置により実行される情報処理方法。
17. コンピュータに、
    複数の視点間での視点切り替えにおいてオーディオオブジェクトの位置補正を行うための視点切り替え情報を含むメタデータファイルを生成する機能を実現させるための、プログラム。

Images