WO2018221211A1

WO2018221211A1 - 画像処理装置および方法、ファイル生成装置および方法、並びにプログラム

Info

Publication number: WO2018221211A1
Application number: PCT/JP2018/018842
Authority: WO
Inventors: 充勝股; 平林　光浩; 高林　和彦; 俊也浜田; 遼平高橋
Original assignee: ソニー株式会社
Priority date: 2017-05-30
Filing date: 2018-05-16
Publication date: 2018-12-06
Also published as: US20200059635A1; BR112019024597A2; RU2019137581A; EP3633628A4; EP3633628B1; KR20200014281A; TW201911240A; EP3633628A1; JP7200935B2; US11394943B2; RU2019137581A3; CN110546688A; JPWO2018221211A1; CN110546688B

Abstract

本技術は、適切なオクルージョン画像を得ることができるようにする画像処理装置および方法、ファイル生成装置および方法、並びにプログラムに関する。画像処理装置は、MPDファイルに含まれているオクルージョン画像の視点位置に関する情報に基づいて、MPDファイルにより示される複数のオクルージョン画像のなかから、取得するオクルージョン画像を選択するMPDファイル処理部を備える。本技術はクライアント装置に適用することができる。

Description

画像処理装置および方法、ファイル生成装置および方法、並びにプログラム

　本技術は、画像処理装置および方法、ファイル生成装置および方法、並びにプログラムに関し、特に、適切なオクルージョン画像を得ることができるようにした画像処理装置および方法、ファイル生成装置および方法、並びにプログラムに関する。

　従来、３６０度の各方向、すなわち水平方向と垂直方向の全方位の画像（映像）である全天球画像が知られている。

　全天球画像の再生では、テクスチャ情報のみを利用すると全天球の中心から見回した画（映像）をみる体験ができる。さらに全天球画像の再生にテクスチャ情報に加えてデプス情報も用いると、映像の立体視や運動視差を実現することができる。これにより、被写体の動きがより現実の動きに近づき、臨場感を向上させて酔いにくくすることができるようになる。以下では、特に、全天球画像のテクスチャ情報とデプス情報とからなる画像情報を主画像とも称することとする。

　また、全天球画像の再生では、主画像に加えてオクルージョン画像を利用することで、全天球の中心（以下、原点Ｏとも称する）から周囲を見回す体験に加えて、原点Ｏから視聴者であるユーザの視点位置を移動した、覗き込みの表示も行うことができる。

　ここで、オクルージョン画像とは、原点Ｏを視点位置とする主画像のテクスチャ情報には存在しない被写体、すなわち原点Ｏからは見えない被写体の領域であるオクルージョン領域のテクスチャ情報と、そのオクルージョン領域に関する奥行き方向の位置（距離）を示すデプス情報とからなる画像情報である。

　例えばMPEG-DASH（Moving Picture Experts Group phase - Dynamic Adaptive Streaming over HTTP）では、以上のような主画像とオクルージョン画像をクライアント装置に伝送することが可能である（例えば、非特許文献１参照）。

　特に、MPEG-DASHでは複数のオクルージョン画像を伝送可能であり、クライアント装置では、取得した複数のオクルージョン画像のうちのユーザの視点位置に応じた適切なオクルージョン画像を用いることで、覗き込みの表示を実現することができる。

ISO/IEC 23009-1 Information technology -Dynamic adaptive streaming over HTTP(DASH)- Part1:Media presentation description and segment formats,Apr.2012

　しかしながら、上述した技術では、クライアント装置において適切なオクルージョン画像を得ることができない場合があった。

　例えばMPEG-DASHにおいては、伝送帯域が十分でないときにはクライアント装置では主画像を取得するか、または主画像のテクスチャ情報のみを取得するかの何れかが行われ、オクルージョン画像は取得されない。

　この場合、複数のオクルージョン画像のうちの全天球画像の表示に用いられる一部のオクルージョン画像のみを取得するだけの余裕が伝送帯域にあるときでもクライアント装置はオクルージョン画像を取得することができない。そのため、クライアント装置は、伝送帯域の状態によっては必要なオクルージョン画像を取得できず、覗き込みの表示を行うことができないことがあった。

　本技術は、このような状況に鑑みてなされたものであり、適切なオクルージョン画像を得ることができるようにするものである。

　本技術の第１の側面の画像処理装置は、MPDファイルに含まれているオクルージョン画像の視点位置に関する情報に基づいて、前記MPDファイルにより示される複数の前記オクルージョン画像のなかから、取得する前記オクルージョン画像を選択するMPDファイル処理部を備える。

　本技術の第１の側面の画像処理方法またはプログラムは、MPDファイルに含まれているオクルージョン画像の視点位置に関する情報に基づいて、前記MPDファイルにより示される複数の前記オクルージョン画像のなかから、取得する前記オクルージョン画像を選択するステップを含む。

　本技術の第１の側面においては、MPDファイルに含まれているオクルージョン画像の視点位置に関する情報に基づいて、前記MPDファイルにより示される複数の前記オクルージョン画像のなかから、取得する前記オクルージョン画像が選択される。

　本技術の第２の側面のファイル生成装置は、複数のオクルージョン画像について、前記オクルージョン画像の視点位置に関する情報を含むMPDファイルを生成するMPDファイル生成部と、前記MPDファイルを送信する通信部とを備える。

　本技術の第２の側面のファイル生成方法またはプログラムは、複数のオクルージョン画像について、前記オクルージョン画像の視点位置に関する情報を含むMPDファイルを生成し、前記MPDファイルを送信するステップを含む。

　本技術の第２の側面においては、複数のオクルージョン画像について、前記オクルージョン画像の視点位置に関する情報を含むMPDファイルが生成され、前記MPDファイルが送信される。

　本技術の第１の側面および第２の側面によれば、適切なオクルージョン画像を得ることができる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

オクルージョンについて説明する図である。オクルージョン画像について説明する図である。オクルージョン画像の位置について説明する図である。 MPDファイルの例を示す図である。 MPDファイルの例を示す図である。ファイル生成装置の構成例を示す図である。アップロード処理を説明するフローチャートである。クライアント装置の構成例を示す図である。選択順リスト生成処理を説明するフローチャートである。ファイル取得処理を説明するフローチャートである。再生処理を説明するフローチャートである。オクルージョン方向情報について説明する図である。選択情報flagと選択情報値の例を示す図である。 MPDファイルの例を示す図である。選択順リスト生成処理を説明するフローチャートである。オクルージョン方向情報の表記について説明する図である。選択情報flagと選択情報値の例を示す図である。選択順リスト生成処理を説明するフローチャートである。選択情報flagと選択情報値の例を示す図である。選択情報flagと選択情報値の例を示す図である。選択情報flagと選択情報値の例を示す図である。 Quality情報のシグナリングについて説明する図である。 Quality情報のシグナリングについて説明する図である。 Quality情報のシグナリングについて説明する図である。 MPDファイルの例を示す図である。選択順リスト生成処理を説明するフローチャートである。コンピュータの構成例を示す図である。

　以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈本技術について〉
　本技術は、MPEG-DASHを用いた全天球画像の配信において、主画像に加えて複数のオクルージョン画像を配信する際に、伝送帯域が十分でなく、全てのオクルージョン画像を伝送することができない場合でも、クライアント装置において一部の適切なオクルージョン画像を得ることができるようにするものである。

　特に、ここではオクルージョン画像の視点位置を示す座標情報と、オクルージョン領域のデプスレベルに関する情報とを同時にクライアント装置に対してシグナリングし、クライアント装置において適切なオクルージョン画像を選択できるようにした。

　なお、以下では、オクルージョン画像の視点位置を示す座標情報やオクルージョン領域のデプスレベルに関する情報など、オクルージョン画像を選択するための情報がMPD（Media Presentation Description）ファイルに含まれている例について説明する。

　しかし、オクルージョン画像を選択するための情報をMPDファイルによりシグナリングする方法に限らず、他のどのような方法によりオクルージョン画像を選択するための情報をクライアント装置にシグナリグンしてもよい。例えばサーバ等がMPDファイルとは別にオクルージョン画像を選択するための情報のみをクライアント装置に供給してもよい。

　それでは、以下、本技術について説明する。なお、ここでは全天球画像は動画像であるものとして説明を行うが、全天球画像は静止画像であってもよい。また、本技術で処理の対象となる画像は全方位の画像に限らず、半球の画像など、全方位の画像の一部の画像などであってもよい。

　まず、主画像は全天球画像としての動画像であるテクスチャ情報と、その全天球画像のデプス情報とからなる。

　主画像のテクスチャ情報により再生される全天球画像は、例えば予め定められた座標系（以下、全天球座標系とも称する）の原点Ｏから見た３６０度の各方向、すなわち水平方向と垂直方向の全方位の画像などとされる。

　ここで、原点Ｏの位置は全天球画像の仮想的なスクリーンである全天球の中心位置であり、全天球画像の再生開始時には、その全天球画像を見る（視聴する）ユーザの視点位置、つまりユーザの頭部の中心位置は原点Ｏにあるものとされる。

　また、主画像のデプス情報は原点Ｏから全天球画像上（テクスチャ情報）の各領域にある被写体の位置までの距離を示す情報、つまり全天球画像の各被写体の奥行き方向の位置を示す情報である。

　次に、覗き込み表示とオクルージョン画像について説明する。

　例えば図１の矢印Ａ１１に示すように、空間上に全天球画像の被写体として円柱Ｈ１１と立方体Ｈ１２とがあり、矢印Ｖ１１に示す方向から円柱Ｈ１１と立方体Ｈ１２を撮影して得られた画像を主画像のテクスチャ情報とするものとする。また、撮影により得られたテクスチャ情報と、そのテクスチャ情報に対して得られるデプス情報とが主画像としてエンコードされるとする。

　この場合、主画像のテクスチャ情報として、図中、左下に示すテクスチャ画像ＰＶ１１が主画像のテクスチャ情報として得られる。

　いま、原点Ｏから、つまり矢印Ｖ１１の方向から円柱Ｈ１１と立方体Ｈ１２を見ているユーザが、視点位置を原点Ｏから少しだけ図中、左側の位置に変化させて矢印Ｖ１２の方向から、つまり左側から覗き込むように円柱Ｈ１１と立方体Ｈ１２を見たとする。

　この場合に、主画像に基づいて、ユーザの移動後の視点から見た、つまり矢印Ｖ１２の方向から見た全天球画像を生成することを考える。

　例えば矢印Ｖ１２の方向から円柱Ｈ１１と立方体Ｈ１２を見たときの画像（テクスチャ情報）は、図中、右下に示すテクスチャ画像ＰＶ１２となる。つまり、ユーザが左側から覗き込んで円柱Ｈ１１と立方体Ｈ１２を見た場合、それらの被写体はテクスチャ画像ＰＶ１２に示すように見えるはずである。

　テクスチャ画像ＰＶ１２において、斜線が施されている領域Ｒ１１は主画像のテクスチャ情報であるテクスチャ画像ＰＶ１１からは得ることのできない被写体の情報を含む領域であり、この領域がオクルージョン領域である。

　すなわち、テクスチャ画像ＰＶ１２上の領域Ｒ１１は矢印Ｖ１１の方向からは他の被写体等に隠れて見ることのできない、テクスチャ画像ＰＶ１１上には存在しない領域である。

　このようにオクルージョン領域である領域Ｒ１１の情報は、主画像のテクスチャ情報であるテクスチャ画像ＰＶ１１と、主画像のデプス情報とには含まれていない。

　そのため、主画像のみを用いて矢印Ｖ１２に示す方向から見たテクスチャ画像ＰＶ１２を生成すると、オクルージョン領域である領域Ｒ１１の部分の情報が欠落してしまう。そのため、クライアント装置では、例えばオクルージョン領域を黒で表示したり、オクルージョン領域近傍の画素情報を用いてオクルージョン領域の画素の画素値を予測したりすることもできるが、そのようにして得られた画像は、実際の被写体が写っていない画像となるので違和感が生じてしまう。

　そこで、少なくともオクルージョン領域の部分の情報を含むテクスチャ情報とデプス情報の画像をオクルージョン画像として生成することで、主画像だけでなくオクルージョン画像も用いて、主画像だけでは欠落するオクルージョン領域を正しく表示することができるようになる。これにより、覗き込みの表示を行うとき、つまり原点Ｏとは異なる位置をユーザの視点位置として全天球画像の表示を行うときにも高い臨場感で画像を表示することができる。

　例えば図１に示す例では、矢印Ｖ１２に示す方向に対応する視点位置をオクルージョン画像の視点位置（以下、原点Ｏ’とも称する）としたときには、テクスチャ画像ＰＶ１２そのものをオクルージョン画像のテクスチャ情報とすることができる。

　そのような場合には、テクスチャ情報としてのテクスチャ画像ＰＶ１２と、そのテクスチャ画像ＰＶ１２上の各位置の被写体に対応する奥行き方向の距離を示すデプス情報とからなる画像情報がオクルージョン画像とされる。

　なお、オクルージョン画像のテクスチャ情報は、テクスチャ画像ＰＶ１２のような原点Ｏ’を視点位置としたときの全方位の全天球画像であってもよいし、オクルージョン領域である領域Ｒ１１の部分のみの画像であってもよい。つまり、オクルージョン画像のテクスチャ情報は、少なくともオクルージョン領域の画像情報（テクスチャ情報）が含まれているものであればよい。

　また、オクルージョン画像の視点位置である原点Ｏ’は、全天球座標系の原点Ｏと同じであることもある。

　例えば図２に示すように、空間上にオブジェクトＯＢ１、オブジェクトＯＢ２、およびオブジェクトＯＢ３があったとする。

　この例では、全天球座標系の原点Ｏから見ると、オブジェクトＯＢ２の一部の領域がオブジェクトＯＢ１により隠れて見えなくなっており、オブジェクトＯＢ３の一部の領域がオブジェクトＯＢ１およびオブジェクトＯＢ２により隠れて見えなくなっている。

　このような場合、例えば主画像のテクスチャ情報はオブジェクトＯＢ１乃至オブジェクトＯＢ３がある状態で、原点Ｏを視点位置として撮影された画像とされる。

　したがって、得られた主画像のテクスチャ情報では、オブジェクトＯＢ１乃至オブジェクトＯＢ３が被写体として写ってはいるが、オブジェクトＯＢ２の一部の領域と、オブジェクトＯＢ３の一部の領域は隠れて見えない状態となっている。

　また、原点Ｏを原点Ｏ’として、オブジェクトＯＢ１がない状態で撮影して得られる画像をオクルージョン画像１のテクスチャ情報とするものとする。

　この場合、オクルージョン画像１のテクスチャ情報では、オブジェクトＯＢ１は被写体として写っておらず、オブジェクトＯＢ２の全領域と、オブジェクトＯＢ３の一部の領域とが見えている状態となっている。すなわち、オブジェクトＯＢ３の一部の領域はオブジェクトＯＢ２に隠れて見えない状態となっている。

　このようなオクルージョン画像１のテクスチャ情報には、主画像のテクスチャ情報には含まれていない、オブジェクトＯＢ２の一部の領域の情報がオクルージョン領域の情報として含まれている。

　さらに、原点Ｏを原点Ｏ’として、オブジェクトＯＢ１およびオブジェクトＯＢ２がない状態で撮影して得られる画像をオクルージョン画像２のテクスチャ情報とするものとする。

　この場合、オクルージョン画像２のテクスチャ情報では、オブジェクトＯＢ１およびオブジェクトＯＢ２は被写体として写っておらず、オブジェクトＯＢ３の全領域が見えている状態となっている。

　このようなオクルージョン画像２のテクスチャ情報には、主画像やオクルージョン画像１のテクスチャ情報には含まれていない、オブジェクトＯＢ３の一部の領域の情報がオクルージョン領域の情報として含まれている。

　なお、より詳細には、これらのオクルージョン画像１やオクルージョン画像２のテクスチャ情報は、原点Ｏや、原点Ｏとは異なる他の位置など、互いに異なる複数の位置を視点としてオブジェクトＯＢ１乃至オブジェクトＯＢ３を撮影して得られた画像に基づいて生成される。つまり、互いに視点位置の異なる複数の画像に基づいてオクルージョン画像のテクスチャ情報が生成される。

　ところで、オクルージョン画像は、１つの主画像に対して複数ある場合もある。

　そのような例としては、例えば全天球座標系における主画像の原点Ｏとは異なる複数の位置のそれぞれを原点Ｏ’としたオクルージョン画像のそれぞれが存在する場合が考えられる。この場合、それらの複数のオクルージョン画像には、例えば主画像では被写体として見えていない領域の情報が含まれている。

　また、１つの主画像に対して複数のオクルージョン画像がある他の例としては、全天球座標系における同じ位置を原点Ｏ’とする複数のオクルージョン画像が存在する場合が考えられる。

　すなわち、例えば主画像の原点Ｏの位置を原点Ｏ’とするオクルージョン画像が複数あり、それらのオクルージョン画像には、主画像でオクルージョン領域となっている領域の情報が含まれている場合が考えられる。このとき、例えば図２を参照して説明したように、あるオクルージョン画像には、他のオクルージョン画像においてオクルージョン領域となっている領域の情報が含まれているものもある。

　主画像に対して複数のオクルージョン画像が存在する場合、例えば以下のようなユースケースで運用することが想定される。

　ユースケースＵ１
　主画像の原点Ｏの位置を原点Ｏ’とするオクルージョン画像のみが存在する場合
　ユースケースＵ２
　主画像の原点Ｏ以外の位置を原点Ｏ’とするオクルージョン画像が複数存在し、各オクルージョン画像の原点Ｏ’は互いに異なる位置となっている場合
　ユースケースＵ３
　主画像の原点Ｏの位置を原点Ｏ’とするオクルージョン画像と、原点Ｏ以外の位置を原点Ｏ’とするオクルージョン画像とが存在し、原点Ｏの位置にのみ複数のオクルージョン画像が存在する場合
　ユースケースＵ４
　主画像の原点Ｏの位置を原点Ｏ’とするオクルージョン画像と、原点Ｏ以外の位置を原点Ｏ’とするオクルージョン画像とが存在し、原点Ｏの位置および原点Ｏとは異なる位置に、それぞれ複数のオクルージョン画像が存在する場合

　例えばユースケースＵ１では、原点Ｏ以外の位置にはオクルージョン画像が存在せず、原点Ｏの位置には複数のオクルージョン画像があってもよい。また、ユースケースＵ２では、原点Ｏの位置にはオクルージョン画像は存在していない。

　さらに、例えばユースケースＵ３は、ユースケースＵ１とユースケースＵ２を組み合わせたユースケースとなっている。

　これらのユースケースＵ１乃至ユースケースＵ４の例として、例えば図３に示す例が考えられる。なお、図３においてｘ軸、ｙ軸、およびｚ軸は全天球座標系の軸を示している。また、ここでは図示されていないが全天球座標系の原点Ｏには主画像が存在している。

　さらに、図３における円「○」は、その円の位置を視点位置（原点Ｏ’）とする１つのオクルージョン画像が存在することを表しており、二重の円「◎」は、その二重の円の位置を原点Ｏ’とする２つのオクルージョン画像が存在することを表している。

　例えば矢印Ａ２１に示す例では、主画像が存在する原点Ｏの位置に２つのオクルージョン画像が存在しており、この例は上述したユースケースＵ１となっている。

　また、矢印Ａ２２に示す例では、原点Ｏとは異なる複数の各位置に１つのオクルージョン画像が存在しており、この例はユースケースＵ２となっている。特に、ここでは、ｘ軸、ｙ軸、およびｚ軸の各軸上の複数の位置にオクルージョン画像が存在している。

　矢印Ａ２３に示す例では、原点Ｏの位置に２つのオクルージョン画像が存在しており、原点Ｏとは異なるｘ軸、ｙ軸、およびｚ軸の各軸上の複数の各位置に１つのオクルージョン画像が存在している。つまり、矢印Ａ２３に示す例では矢印Ａ２１に示した例のオクルージョン画像と、矢印Ａ２２に示した例のオクルージョン画像との両方が存在しており、この例はユースケースＵ３となっている。

　矢印Ａ２４に示す例では、原点Ｏの位置に２つのオクルージョン画像が存在しており、原点Ｏとは異なるｘ軸、ｙ軸、およびｚ軸の各軸上の複数の位置のそれぞれにも２つのオクルージョン画像が存在している。矢印Ａ２４に示す例はユースケースＵ４となっている。

　いま、MPEG-DASHを用いて主画像とオクルージョン画像をクライアント装置に配信する場合について考える。

　具体例として、例えば上述したユースケースＵ１において、原点Ｏに２つのオクルージョン画像が存在している場合について考え、原点Ｏを視点位置である原点Ｏ’とするオクルージョン画像１およびオクルージョン画像２があるとする。

　ここで、オクルージョン画像１は、主画像でオクルージョン領域となっている領域の情報が含まれている画像情報である。また、オクルージョン画像２は、主画像でオクルージョン領域となっており、さらにオクルージョン画像１でもオクルージョン領域となっている領域の情報が含まれる画像情報である。

　上述したように主画像は、その主画像のテクスチャ情報とデプス情報からなり、同様にオクルージョン画像１およびオクルージョン画像２も、それらのオクルージョン画像のテクスチャ情報およびデプス情報からなる。

　このようなオクルージョン画像１およびオクルージョン画像２がある主画像を得るためのファイル、つまり主画像のメタデータを含むMPDファイルは、例えば図４に示すようになる。

　図４はユースケースＵ１における例を示しており、図４では矢印Ｑ１１に示す部分には主画像のテクスチャ情報（texture情報）に関する情報が記述されており、矢印Ｑ１２に示す部分には主画像のデプス情報（depth情報）に関する情報が記述されている。

　また、矢印Ｑ１３に示す部分にはオクルージョン画像１のテクスチャ情報に関する情報が記述されており、矢印Ｑ１４に示す部分にはオクルージョン画像１のデプス情報に関する情報が記述されている。

　さらに、矢印Ｑ１５に示す部分にはオクルージョン画像２のテクスチャ情報に関する情報が記述されており、矢印Ｑ１６に示す部分にはオクルージョン画像２のデプス情報に関する情報が記述されている。

　矢印Ｑ１１乃至矢印Ｑ１６のそれぞれにより示される部分は、１つのAdaptationSetとなっている。

　例えば矢印Ｑ１１に示す部分では、主画像のテクスチャ情報のRepresentationのidとして「vt1」が記述されている。

　同様に矢印Ｑ１３に示す部分ではオクルージョン画像１のテクスチャ情報のRepresentationのidとして「vot1」が記述されており、矢印Ｑ１５に示す部分ではオクルージョン画像２のテクスチャ情報のRepresentationのidとして「vot2」が記述されている。

　また、デプス情報に関する部分である矢印Ｑ１２に示す部分や、矢印Ｑ１４に示す部分、矢印Ｑ１６に示す部分ではMPEG-DASHのEssentialPropertyにおいてschemeIdUriの部分が「schemeIdUri＝“urn:mpeg:dash:depth:2015”」とされている。

　すなわち主画像、オクルージョン画像１、およびオクルージョン画像２のそれぞれのデプス情報のAdaptationSetにおいてschemeIdUriが「urn:mpeg:dash:depth:2015」に設定されている。これらのschemeIdUriの記述により、矢印Ｑ１２に示す部分や矢印Ｑ１４に示す部分、矢印Ｑ１６に示す部分がデプス情報に関する記述であることが特定できるようになっている。

　また、デプス情報のRepresentationには、associationIdが用いられてデプス情報に対応するテクスチャ情報のidが記述されており、これによりデプス情報がどのテクスチャ情報に対応するものであるかが特定できるようになされている。

　例えば矢印Ｑ１２に示す部分では「associationId＝“vt1”」が記述されており、矢印Ｑ１１に示した部分の主画像のテクスチャ情報と、矢印Ｑ１２に示した部分の主画像のデプス情報との関係（関連）が示されている。

　同様に、例えば矢印Ｑ１４に示す部分には、矢印Ｑ１３に示す部分に記述されたid「vot1」が用いられて「associationId＝“vot1”」が記述されており、矢印Ｑ１６に示す部分には、矢印Ｑ１５に示す部分に記述されたid「vot2」が用いられて「associationId＝“vot2”」が記述されている。

　これにより主画像、オクルージョン画像１、およびオクルージョン画像２について、テクスチャ情報とデプス情報を正しく特定することができる。

　さらに、オクルージョン画像に関するテクスチャ情報であるかは、例えば矢印Ｑ１３に示す部分や矢印Ｑ１５に示す部分に記述されているように、EssentialPropertyにおいてschemeIdUriの部分を「“urn:mpeg:dash:occlusion:2015”」とすることで判別可能とされている。

　すなわちオクルージョン画像１およびオクルージョン画像２のそれぞれのテクスチャ情報のAdaptationSetにおいてschemeIdUriが「urn:mpeg:dash:occlusion:2015」に設定されている。これらのschemeIdUriの記述により、矢印Ｑ１３に示す部分や矢印Ｑ１５に示す部分がオクルージョン画像のテクスチャ情報に関する記述であると特定することができる。

　以上のようなオクルージョン画像に関する情報を含むMPDファイルを用いれば、MPEG-DASHのクライアント装置では、以下のような実装が可能である。すなわち、以下の処理ＴＲ１乃至処理ＴＲ３の実行が可能である。

　処理ＴＲ１
　主画像、オクルージョン画像１、およびオクルージョン画像２を全て取得して全天球画像の再生を行う
　処理ＴＲ２
　主画像のテクスチャ情報とデプス情報のみを取得して全天球画像の再生を行う
　処理ＴＲ３
　主画像のテクスチャ情報のみを取得して全天球画像の再生を行う

　この場合、例えば処理ＴＲ２では、主画像のデプス情報が取得されるので立体視や運動視差を実現することはできるが、オクルージョン画像は取得されないため、覗き込みの表示を行ったときにオクルージョンの領域を正しく表示することができない。

　また、処理ＴＲ３では、主画像のデプス情報が取得されないため、立体視や運動視差を実現することができない。

　クライアント装置は、自身と主画像等を配信するサーバとの間の伝送帯域が十分ではなく、サーバから主画像、オクルージョン画像１、およびオクルージョン画像２を全て取得することができない場合、処理ＴＲ２または処理ＴＲ３の何れかを選択することになる。

　具体的には、クライアント装置は、まず伝送帯域を計測するとともにサーバから取得する情報として主画像のテクスチャ情報を選択する。

　次に、クライアント装置は、伝送帯域の計測結果に基づいて主画像のデプス情報を取得する伝送帯域があるときには、主画像のデプス情報も取得する情報として選択する。

　これに対して、クライアント装置は、伝送帯域が十分でないときには主画像のテクスチャ情報のみを取得することとする。

　また、クライアント装置は、取得する情報として主画像のテクスチャ情報とデプス情報を選択した場合、伝送帯域の計測結果に基づいて、オクルージョン画像１とオクルージョン画像２を取得するのに十分な伝送帯域があるか否かを判定する。

　そして、十分な伝送帯域があると判定された場合には、クライアント装置は取得する情報として主画像、オクルージョン画像１、およびオクルージョン画像２の各画像のテクスチャ情報とデプス情報をサーバから取得する情報として選択する。

　また、十分な伝送帯域がないと判定された場合には、クライアント装置は取得する情報として主画像のテクスチャ情報とデプス情報をサーバから取得する情報として選択する。

　このようにしてサーバから取得される情報が選択されると、クライアント装置は、選択した情報をサーバから取得して全天球画像の再生を行う。これにより、結果として上述した処理ＴＲ１乃至処理ＴＲ３の何れかが行われることになる。

　特に、オクルージョン画像１およびオクルージョン画像２を取得するのに十分な伝送帯域がない場合には、処理ＴＲ２または処理ＴＲ３の何れかが行われる。

　しかしながら、伝送帯域によっては、主画像に加えてオクルージョン画像１またはオクルージョン画像２の何れか一方を伝送することが可能な場合もある。

　また、全天球画像の再生時には、複数のオクルージョン画像のうちの一部のオクルージョン画像だけを利用することが可能である。

　例えば、複数のオクルージョン画像のうちの一部のオクルージョン画像に全天球画像の表示に必要なオクルージョン領域の情報が含まれていれば、その必要なオクルージョン領域の情報が含まれているオクルージョン画像のみを利用すればよい。

　したがって、複数のオクルージョン画像のうちの一部のオクルージョン画像のみを選択的に取得して利用することは有用である。

　この例では、オクルージョン画像２には、オクルージョン画像１にも含まれていないオクルージョン領域の情報が含まれているため、オクルージョン画像１とオクルージョン画像２とでは、オクルージョン画像１の方がより利用価値が高くなっている。

　すなわち、例えばここでいうオクルージョン画像１が図２を参照して説明したオクルージョン画像１であり、オクルージョン画像２が図２を参照して説明したオクルージョン画像２であるとする。

　この例では、オクルージョン画像１には、オクルージョン画像２における場合よりも、より手前側（原点Ｏ側）にある被写体（オブジェクトＯＢ２）のオクルージョン領域の情報が含まれている。そのため、全天球画像再生時にはオクルージョン画像２よりもオクルージョン画像１を先に利用するのが効果的であるといえる。換言すれば、２つのオクルージョン画像のうち、オクルージョン画像２よりもオクルージョン画像１が取得（利用）するのにより適切なオクルージョン画像であるといえる。

　しかし、クライアント装置では、オクルージョン画像１とオクルージョン画像２のうちの何れのオクルージョン画像がより適切なもの、つまりより優先度の高いものであるのかを選択（特定）することが困難である。これは、現状ではクライアント装置では、適切なオクルージョン画像を選択するための情報を得ることができないからである。

　以上において説明したユースケースＵ１だけでなく、ユースケースＵ２やユースケースＵ３、ユースケースＵ４においても同様に、オクルージョン画像が多数ある場合に、それらのオクルージョン画像のなかから適切な１または複数のオクルージョン画像を選択することは困難である。

　したがって、クライアント装置では、伝送帯域が十分でないときには、適切なオクルージョン画像を得ることができなかった。

　そこで、本技術では、複数のオクルージョン画像のなかから適切な一部のオクルージョン画像を選択して取得することができるようにし、これにより伝送帯域をより効率よく利用することができるようにした。

　具体的には、本技術では、オクルージョン画像を選択するための情報として、全天球座標系におけるオクルージョン画像の視点位置、つまり原点Ｏ’の位置を示すオクルージョン座標情報と、オクルージョン画像のデプスレベルを示すデプスレベル情報とを利用するようにした。

　ここで、デプスレベル情報（以下、depth levelとも記す）は、オクルージョン画像のデプス情報により示される原点Ｏ’からオクルージョン画像上の被写体までの距離（デプス）に基づく情報である。すなわち、デプスレベル情報は、オクルージョン画像の被写体の奥行き方向の距離（デプス）に関する情報である。

　このようにオクルージョン座標情報とデプスレベル情報を利用すれば、主画像に対して全天球座標系における複数の位置にオクルージョン画像がある場合でも、ユーザの視点位置に応じて、サーバから取得すべき適切なオクルージョン画像を選択することができる。

　具体的には、例えば上述したユースケースＵ２、つまり例えば図３の矢印Ａ２２に示した位置にオクルージョン画像がある場合において、ユーザの視点位置が全天球座標系のｘ軸上の正の方向の位置にあり、ユーザの視点位置から見た全天球画像を表示するとする。

　このとき、表示用の全天球画像を生成するのに必要なオクルージョン領域の情報は、全天球座標系のｘ軸上の正の方向の位置にあるオクルージョン画像に含まれている。

　一方で、全天球座標系のｘ軸上の負の方向の位置にあるオクルージョン画像には、ユーザの視点位置に応じた全天球画像の表示に必要なオクルージョン領域の情報は含まれていない。

　また、全天球座標系のｙ軸上やｚ軸上の位置にあるオクルージョン画像には、全天球画像の表示に必要なオクルージョン領域の情報が含まれている可能性はあるが、その情報量はｘ軸上の正の方向の位置にあるオクルージョン画像に比べると少ないはずである。

　このことから、ユーザの視点位置によって複数のオクルージョン画像のなかから選択すべきオクルージョン画像が異なることが分かる。

　全天球画像の生成に必要となる適切なオクルージョン画像を選択するためには、オクルージョン画像が主画像の位置、つまり原点Ｏの位置から見てどの位置にあるかが分かることが必要となる。

　各オクルージョン画像の位置（原点Ｏ’）が主画像の位置である原点Ｏから見てどの位置にあるか特定可能な情報としては、上述したオクルージョン座標情報を用いればよい。

　オクルージョン座標情報は、オクルージョン画像の視点位置に関する情報である。例えばオクルージョン座標情報は、全天球座標系における主画像の原点Ｏの位置の座標を（0,0,0）としたときの各オクルージョン画像の原点Ｏ’の位置の座標とされ、各軸方向の座標の単位はメートルなどとされる。

　したがって、例えば全天球座標系において原点Ｏからｘ軸の正の方向にＸメートルの距離にあり、原点Ｏからｙ軸の正の方向にＹメートルの距離にあり、原点Ｏからｚ軸の正の方向にＺメートルの距離にある位置の座標は（X,Y,Z）となる。

　このようなオクルージョン座標情報があれば、ユーザの視点位置とオクルージョン座標情報とから適切なオクルージョン画像を選択することができる。

　すなわち、オクルージョン座標情報に基づいて、複数のオクルージョン画像のなかから、オクルージョン座標情報により示されるオクルージョン画像の視点位置が、ユーザの視点位置に近いものから順番に、取得するオクルージョン画像として選択していけばよい。

　換言すれば、オクルージョン画像の視点位置とユーザの視点位置との間の距離が短い順に、取得するオクルージョン画像として選択していけばよい。

　なお、同じ位置に複数のオクルージョン画像が存在する場合には、オクルージョン画像に含まれるオクルージョン領域の全天球座標系における位置が、主画像の被写体の位置に近いものから順番に選択（利用）すればよい。これは、上述したようにオクルージョン領域の位置が主画像の被写体の位置に近いほど利用価値が高いからである。

　同じ位置を原点Ｏ’とする複数のオクルージョン画像のなかから、オクルージョン領域の位置が主画像の被写体の位置により近いオクルージョン画像を選択するためには、デプスレベル情報を利用すればよい。

　デプスレベル情報（depth level）は、オクルージョン画像のデプス情報に基づいて生成される、オクルージョン画像におけるオクルージョン領域のデプス（深さ）に関する情報である。

　ここで、オクルージョン画像におけるオクルージョン領域が原点Ｏ’から遠い位置にあるほど、オクルージョン領域の深さ（デプス）が深いということとする。

　この場合、オクルージョン画像のデプスレベル情報は、例えば同じ位置にある複数のオクルージョン画像のうち、そのオクルージョン画像のオクルージョン領域の深さが何番目に浅いかという深さの順番を示す情報などとされる。

　具体的には、例えば同位置にある複数のオクルージョン画像のうち、最もオクルージョン領域の深さが浅い（深くない）オクルージョン画像のdepth levelが１とされ、さらにオクルージョン領域の深さが浅い順にdepth levelが２，３，・・・とされていく。

　デプスレベル情報（depth level）により示される深さの順番の決定時には、オクルージョン画像のテクスチャ情報の所定のフレームにおける各位置のデプス値の合計、すなわち全天球座標系における原点Ｏ’からその位置にある被写体までの距離の合計が求められる。

　そして、同位置にある複数のオクルージョン画像のうち、デプス値の合計値が小さいオクルージョン画像ほど、depth levelが小さくなるようになされる。つまり、例えば最もデプス値の合計値が小さいオクルージョン画像のデプスレベル情報（depth level）が１とされる。

　なお、ここでは、各位置におけるデプス値の合計値に基づいてdepth levelを定める例について説明したが、これに限らず各位置におけるデプス値の平均値など、各オクルージョン画像のオクルージョン領域の深さ（デプス）を示す情報に基づいて定めるようにしてもよい。

　例えばオクルージョン画像の各位置におけるデプス値の平均値に基づいてdepth levelが定められる場合には、平均値が小さいオクルージョン画像ほどdepth levelの値が小さくなるように、つまり深さの順番が小さくなるようにすればよい。なお、以下、オクルージョン画像の各位置におけるデプス値の平均値を示す情報をデプス平均値情報とも称する。

　このようなデプスレベル情報（depth level）を用いれば、同じ位置に複数のオクルージョン画像がある場合でも、クライアント装置側において適切なオクルージョン画像を選択することができる。すなわち、同じ位置に複数のオクルージョン画像がある場合、デプスレベル情報の値が小さいものから順番にオクルージョン画像を選択していけばよい。

　以上のようなオクルージョン座標情報とデプスレベル情報があれば、各ユースケースＵ１乃至ユースケースＵ４において、適切なオクルージョン画像を選択することができる。

　ここで、MPEG-DASHにおいてオクルージョン座標情報とデプスレベル情報をクライアント装置にシグナリングする方法の例について説明する。

　具体的には、例えばMPDファイルにおいてオクルージョン画像についてオクルージョン座標情報とデプスレベル情報を設定可能とする新たなEssentialPropertyが定義される。

　すなわち、図４に示した例では、オクルージョン画像のテクスチャ情報についてのEssentialPropertyにおいてschemeIdUriの部分が「“urn:mpeg:dash:occlusion:2015”」とされていた。

　これに代えて、本技術ではschemeIdUriの部分が「“urn:mpeg:dash:occlusion:2017”」とされ、schemeIdUriのvalueにオクルージョン座標情報の値（x,y,z）と、デプスレベル情報depth levelの値とが記述される。具体的には、valueの値はコンマで区切られて「“x,y,z,depth level”」とされる。

　したがって、例えばオクルージョン座標情報が（0,0,0）であり、デプスレベル情報depth levelの値が１であるときには、EssentialPropertyの部分は<EssentialProperty schemeIdUri＝“urn:mpeg:dash:occlusion:2017” value＝“0,0,0,1”>とされる。

　このようにMPDファイルに各オクルージョン画像のオクルージョン座標情報とデプスレベル情報が含まれるようにする場合、例えば図４に示したMPDファイルに対応する、本技術を適用したMPDファイルは図５に示すようになる。なお、図５において図４における場合と対応する部分の説明については繰り返しになるので、適宜、省略する。

　図５に示すMPDファイルは、矢印Ｑ２１および矢印Ｑ２２に示す部分のみ図４に示したMPDファイルと異なっている。

　すなわち、図５においてオクルージョン画像１のテクスチャ情報のAdaptationSetでは、矢印Ｑ２１に示すようにschemeIdUriが「“urn:mpeg:dash:occlusion:2017”」とされており、そのvalueの値が「“0,0,0,1”」とされている。

　このことから、オクルージョン画像１のオクルージョン座標情報が（0,0,0）であり、デプスレベル情報depth levelの値が１であることが分かる。

　同様にオクルージョン画像２のテクスチャ情報のAdaptationSetでは、矢印Ｑ２２に示すようにschemeIdUriが「“urn:mpeg:dash:occlusion:2017”」とされており、そのvalueの値が「“0,0,0,2”」とされている。これにより、オクルージョン画像２のオクルージョン座標情報が（0,0,0）であり、デプスレベル情報depth levelの値が２であることが分かる。

　したがって、この例では、主画像に対して２つのオクルージョン画像１およびオクルージョン画像２が存在し、それらのオクルージョン画像の原点Ｏ’の位置はともに主画像の位置である原点Ｏであることが分かる。

　また、伝送帯域の計測の結果、これらのオクルージョン画像１とオクルージョン画像２とのうちの何れか一方しか取得する余裕がない場合には、これらのオクルージョン画像の位置は同じであるので、よりデプスレベル情報の値が小さいオクルージョン画像１を選択すればよい。

　以上のように本技術によれば、MPDファイルで各オクルージョン画像のオクルージョン座標情報とデプスレベル情報をシグナリングすることで、適切なオクルージョン画像を選択することができる。その結果、伝送帯域をより効率よく利用することができる。

〈ファイル生成装置の構成例〉
　続いて、本技術を適用した、より具体的な実施の形態について説明する。

　図６は、本技術を適用したファイル生成装置の一実施の形態の構成例を示す図である。

　図６に示すファイル生成装置１１は、制御部２１およびファイル生成部２２を有している。このファイル生成装置１１は、MPEG-DASH等により配信されるコンテンツの動画像のセグメントファイルとMPDファイルを生成してサーバにアップロードする。なお、ここでいうコンテンツの動画像とは、上述した主画像と、その主画像に関するオクルージョン画像とから生成される表示用の全天球画像である。

　制御部２１は、ファイル生成装置１１全体の動作を制御する。例えば制御部２１は、ファイル生成部２２を制御して、コンテンツの動画像である全天球画像等が格納されたセグメントファイルや、そのコンテンツのメタデータが含まれるMPDファイルを生成させたり、それらのセグメントファイルやMPDファイルをアップロードさせたりする。

　ファイル生成部２２は、制御部２１の制御に従ってセグメントファイルやMPDファイルを生成するとともに、それらのセグメントファイルやMPDファイルをネットワークを介してサーバにアップロード（送信）する。

　ファイル生成部２２は、データ入力部３１、データ符号化・生成部３２、MPDファイル生成部３３、記録部３４、およびアップロード部３５を有している。

　データ入力部３１は、主画像や、その主画像に関するオクルージョン画像の生成に必要な画像データ、およびオクルージョン座標情報やデプスレベル情報などのMPDファイルの生成に必要なメタデータを取得してデータ符号化・生成部３２およびMPDファイル生成部３３に供給する。

　データ符号化・生成部３２は、データ入力部３１から供給された画像データに基づいて、主画像やオクルージョン画像が格納されたセグメントファイルを生成し、記録部３４に供給する。

　データ符号化・生成部３２は、前処理部４１、符号化部４２、およびセグメントファイル生成部４３を有している。

　前処理部４１は、データ入力部３１から供給された画像データに基づいて、画像を繋ぎ合わせるステッチ処理を行うことで主画像およびオクルージョン画像を生成し、符号化部４２に供給する。符号化部４２は、前処理部４１から供給された主画像およびオクルージョン画像を符号化し、得られた符号化データをセグメントファイル生成部４３に供給する。

　セグメントファイル生成部４３は、データ入力部３１から供給されたメタデータ等に基づいて、符号化部４２から供給された符号化データをセグメント単位でファイル化し、その結果得られたセグメントファイルを記録部３４に供給する。これにより、主画像のテクスチャ情報の符号化データが格納されたセグメントファイルや、主画像のデプス情報の符号化データが格納されたセグメントファイル、オクルージョン画像の符号化データが格納されたセグメントファイルが得られる。

　MPDファイル生成部３３は、データ入力部３１から供給されたメタデータに基づいて、主画像やオクルージョン画像に関する情報が含まれるMPDファイルを生成し、記録部３４に供給する。なお、MPDファイル生成部３３は、MPDファイルの生成に必要なメタデータをセグメントファイル生成部４３から取得するようにしてもよい。

　記録部３４は、MPDファイル生成部３３から供給されたMPDファイル、およびセグメントファイル生成部４３から供給されたセグメントファイルを記録する。

　アップロード部３５は、記録部３４からコンテンツのMPDファイルおよびセグメントファイルを読み出してサーバにアップロードする。すなわち、アップロード部３５はMPDファイルおよびセグメントファイルをサーバに送信する通信部として機能する。

　なお、ここではファイル生成装置１１は、MPDファイルおよびセグメントファイルをサーバにアップロードする装置として機能する例について説明するが、ファイル生成装置１１がサーバとして機能してもよい。そのような場合、ファイル生成装置１１のアップロード部３５は、ネットワークを介してMPDファイルおよびセグメントファイルをクライアント装置に送信する。

〈アップロード処理の説明〉
　次に、ファイル生成装置１１の動作について説明する。すなわち、以下、図７のフローチャートを参照して、ファイル生成装置１１によるアップロード処理について説明する。

　ステップＳ１１において、データ入力部３１は、主画像やオクルージョン画像の生成に必要な画像データと、オクルージョン座標情報やデプスレベル情報などのメタデータとを取得して前処理部４１、セグメントファイル生成部４３、およびMPDファイル生成部３３に供給する。

　ステップＳ１２において、データ符号化・生成部３２はセグメントファイルを生成する。

　すなわち、前処理部４１は、データ入力部３１から供給された画像データに基づいてステッチ処理を行うことで主画像およびオクルージョン画像を生成し、符号化部４２に供給する。符号化部４２は、前処理部４１から供給された主画像およびオクルージョン画像を符号化し、得られた符号化データをセグメントファイル生成部４３に供給する。

　セグメントファイル生成部４３は、データ入力部３１から供給されたメタデータ等に基づいて、符号化部４２から供給された符号化データをファイル化し、その結果得られたセグメントファイルを記録部３４に供給する。

　ステップＳ１３において、MPDファイル生成部３３は、データ入力部３１から供給されたメタデータに基づいてMPDファイルを生成し、記録部３４に供給する。

　ここで、MPDファイルにはオクルージョン画像ごとにオクルージョン座標情報およびデプスレベル情報が含まれている。具体的には、例えば図５に示したMPDファイルが生成される。

　ステップＳ１４において、記録部３４は、MPDファイル生成部３３から供給されたMPDファイル、およびセグメントファイル生成部４３から供給されたセグメントファイルを記録する。

　ステップＳ１５において、アップロード部３５は、任意のタイミングで記録部３４からMPDファイルおよびセグメントファイルを読み出してサーバにアップロードし、アップロード処理は終了する。

　なお、MPDファイルおよびセグメントファイルのアップロードのタイミングは、それらのMPDファイルおよびセグメントファイルが記録部３４に記録された後であれば、どのようなタイミングであってもよい。

　以上のようにしてファイル生成装置１１は、MPDファイルおよびセグメントファイルを生成し、アップロードする。

　特に、ファイル生成装置１１では、オクルージョン画像ごとのオクルージョン座標情報およびデプスレベル情報が含まれるMPDファイルが生成される。このようにすることで、クライアント装置では、MPDファイルに含まれるオクルージョン座標情報およびデプスレベル情報を用いて、適切なオクルージョン画像を選択して取得することができる。

〈クライアント装置の構成例〉
　続いて、ファイル生成装置１１によりアップロードされたMPDファイルやセグメントファイルをサーバから取得してコンテンツの再生を行うクライアント装置について説明する。本技術を適用したクライアント装置は、例えば図８に示すように構成される。

　図８のクライアント装置７１は、制御部８１および再生処理部８２を有している。

　制御部８１は、クライアント装置７１全体の動作を制御する。例えば制御部８１は、再生処理部８２を制御して、サーバからMPDファイルやセグメントファイルを取得させるとともに、セグメントファイルに基づいてコンテンツの動画像である全天球画像を再生させる。

　再生処理部８２は制御部８１の制御に従って全天球画像を再生する。再生処理部８２は計測部９１、MPDファイル取得部９２、MPDファイル処理部９３、セグメントファイル取得部９４、表示制御部９５、データ解析・復号部９６、および表示部９７を有している。

　計測部９１は、クライアント装置７１とサーバとの間のネットワークの伝送帯域を計測し、その計測結果をMPDファイル処理部９３に供給する。MPDファイル取得部９２は、サーバからMPDファイルを取得してMPDファイル処理部９３に供給する。

　MPDファイル処理部９３は、計測部９１から供給された計測結果と、MPDファイル取得部９２から供給されたMPDファイルと、表示制御部９５から供給されたユーザの視点位置とに基づいて、主画像のテクスチャ情報、主画像のデプス情報、および１または複数のオクルージョン画像のうちの取得する情報を選択し、その選択結果をセグメントファイル取得部９４に供給する。

　より具体的には、MPDファイル処理部９３は、オクルージョン画像については、MPDファイルおよびユーザの視点位置から得られる選択順リストと、伝送帯域の計測結果とに基づいて、伝送帯域に応じた個数のオクルージョン画像を取得するオクルージョン画像として選択する。なお、選択順リストについては後述する。

　セグメントファイル取得部９４は、MPDファイル処理部９３から供給された選択結果に基づいて、コンテンツ再生に必要な主画像やオクルージョン画像などの情報が格納されたセグメントファイルをサーバから取得し、データ解析・復号部９６に供給する。

　表示制御部９５は、コンテンツの動画像である全天球画像の再生（表示）を制御する。例えば表示制御部９５は、全天球画像を視聴するユーザの視点位置や視線方向の検出結果を取得し、MPDファイル処理部９３およびデータ解析・復号部９６に供給する。

　データ解析・復号部９６は、セグメントファイル取得部９４から供給されたセグメントファイルに基づいて、コンテンツの動画像、つまり再生用（表示用）の全天球画像を生成し、表示部９７に供給する。

　データ解析・復号部９６はセグメントファイル処理部１１１、復号部１１２、および表示情報生成部１１３を有している。

　セグメントファイル処理部１１１は、セグメントファイル取得部９４から供給されたセグメントファイルから主画像やオクルージョン画像の符号化データを抽出し、復号部１１２に供給する。復号部１１２は、セグメントファイル処理部１１１から供給された符号化データを復号し、その結果得られた主画像やオクルージョン画像を表示情報生成部１１３に供給する。

　表示情報生成部１１３は、表示制御部９５から供給されたユーザの視点位置や視線方向の検出結果と、復号部１１２から供給された主画像やオクルージョン画像とに基づいて、ユーザの視点位置および視線方向に応じた表示用の全天球画像、より詳細には全天球画像の画像データを生成し、表示部９７に供給する。

　表示部９７は、例えば液晶表示パネルなどからなり、表示情報生成部１１３から供給された全天球画像を表示（再生）する。

〈選択順リスト生成処理の説明〉
　次に、クライアント装置７１の動作について説明する。

　まず、図９のフローチャートを参照して、クライアント装置７１により行われる、選択順リスト生成処理について説明する。

　ステップＳ４１において、MPDファイル取得部９２は、サーバからMPDファイルを取得してMPDファイル処理部９３に供給する。すなわち、サーバにより送信されたMPDファイルがMPDファイル取得部９２により受信される。

　ステップＳ４２においてMPDファイル処理部９３は、選択順リストを初期化する。

　クライアント装置７１では、主画像に対して複数のオクルージョン画像がある場合、各オクルージョン画像の優先順位、つまり取得すべきものとして選択する順番（以下、選択順とも称する）を示す選択順リストが生成され、その選択順リストに従って取得するオクルージョン画像が選択される。

　選択順リストでは、各オクルージョン画像を示す情報が優先順位の高い順に上から下まで並べられている。したがって、例えば選択順リストの１番目、つまり１番上にあるオクルージョン画像は最も優先順位が高く、取得されるものとして最初に選択されるべきオクルージョン画像となる。

　ステップＳ４２では、このような選択順リストに含まれているオクルージョン画像を示す情報を消去することで、選択順リストの初期化が行われる。

　ステップＳ４３において、MPDファイル処理部９３は、表示制御部９５からユーザの視点位置を取得する。

　例えば表示制御部９５は、図示せぬセンサ等から、ユーザの視点位置および視線方向の検出結果を取得して、MPDファイル処理部９３および表示情報生成部１１３に供給する。MPDファイル処理部９３は、このようにして表示制御部９５から出力された情報を取得することで、ユーザの視点位置を得る。例えばユーザの視点位置は、全天球座標系におけるユーザの視点位置の座標情報などとされる。

　ステップＳ４４において、MPDファイル処理部９３は、MPDファイル取得部９２から供給されたMPDファイルに基づいて、まだ処理していないオクルージョン画像があるか否かを判定する。

　例えばMPDファイルでは、AdaptationSetにおけるEssentialPropertyのschemeIdUriが「“urn:mpeg:dash:occlusion:2017”」とされているものがあれば、そのAdaptationSetはオクルージョン画像のテクスチャ情報に関するものであると特定できる。

　MPDファイル処理部９３は、MPDファイル内にまだ処理対象としていないオクルージョン画像のテクスチャ情報のAdaptationSetがある場合、ステップＳ４４において処理していないオクルージョン画像があると判定する。

　ステップＳ４４において処理していないオクルージョン画像があると判定された場合、MPDファイル処理部９３は、まだ処理していないオクルージョン画像を新たな処理対象のオクルージョン画像として、処理はステップＳ４５へと進む。

　ステップＳ４５において、MPDファイル処理部９３は、処理対象としたオクルージョン画像の位置（原点Ｏ’）と、ステップＳ４３で取得されたユーザの視点位置との間の距離を算出する。

　ここで、オクルージョン画像の位置、つまりオクルージョン座標情報はMPDファイル内におけるそのオクルージョン画像のテクスチャ情報のAdaptationSetにあるEssentialPropertyのschemeIdUriのvalueの値から得ることができる。

　MPDファイル処理部９３は、このようにして得られたオクルージョン座標情報と、ユーザの視点位置とに基づいて、全天球座標系上におけるユーザの視点位置からオクルージョン画像の位置までの距離を算出する。

　ステップＳ４６において、MPDファイル処理部９３はステップＳ４５の処理で得られた距離と、オクルージョン画像のデプスレベル情報とに基づいて選択順リストを更新する。

　すなわち、MPDファイル処理部９３は選択順リストにおいて、各オクルージョン画像を示す情報がステップＳ４５で算出された距離が小さい（短い）順に並ぶように、新たに処理対象としたオクルージョン画像を示す情報を選択順リストに追加する。これにより、ステップＳ４５で算出された距離が小さいオクルージョン画像ほど、選択順が小さく（優先順位が高く）なる。

　このとき、ステップＳ４５で算出された距離が同じであるオクルージョン画像が複数ある場合には、選択順リストにおいて、それらのオクルージョン画像がデプスレベル情報depth levelの値が小さい順に並ぶように選択順リストが更新される。つまり、デプスレベル情報depth levelの値が小さいオクルージョン画像ほど、選択順が小さく（優先順位が高く）なるようにされる。

　なお、オクルージョン画像のデプスレベル情報は、オクルージョン座標情報と同様に、オクルージョン画像のテクスチャ情報のAdaptationSetにあるEssentialPropertyのschemeIdUriのvalueの値から得ることができる。

　このようにして選択順リストが更新されると、その後、処理はステップＳ４４に戻り、上述した処理が繰り返し行われる。

　以上のステップＳ４４乃至ステップＳ４６では、オクルージョン画像の視点位置に関する情報であるオクルージョン座標情報と、オクルージョン画像のデプスに関する情報であるデプスレベル情報とに基づいて選択順リストが生成される。換言すれば、取得すべきオクルージョン画像が選択される。

　また、ステップＳ４４において、処理していないオクルージョン画像がない、つまり全てのオクルージョン画像を処理したと判定された場合、MPDファイルにより示される全てのオクルージョン画像の情報を含む選択順リストが得られた（生成された）ので、選択順リスト生成処理は終了する。

　以上のようにしてクライアント装置７１は、MPDファイルとユーザの視点位置とから、より優先度の高い、つまりより適切なオクルージョン画像を順番に選択するための選択順リストを生成する。このようにして選択順リストを生成することで、クライアント装置７１は、伝送帯域が十分でない場合でも適切なオクルージョン画像を選択して取得することができるようになる。

〈ファイル取得処理の説明〉
　また、選択順リストが生成されると、クライアント装置７１は、得られた選択順リストに基づいてオクルージョン画像を選択し、選択したオクルージョン画像や主画像を取得するファイル取得処理を行う。以下、図１０のフローチャートを参照して、クライアント装置７１によるファイル取得処理について説明する。

　ステップＳ７１において、計測部９１はクライアント装置７１とサーバとの間の伝送帯域を計測し、その計測結果をMPDファイル処理部９３に供給する。

　ステップＳ７２において、MPDファイル処理部９３は、図９のステップＳ４１の処理で取得されたMPDファイルにより示される主画像のテクスチャ情報を、取得する情報として選択する。

　ステップＳ７３において、MPDファイル処理部９３はステップＳ７１で得られ、計測部９１から供給された伝送帯域の計測結果に基づいて、主画像のデプス情報を取得する帯域があるか否かを判定する。

　ステップＳ７３において主画像のデプス情報を取得する帯域がない、つまり伝送帯域が十分でないと判定された場合、その後、処理はステップＳ７４へと進む。

　この場合、MPDファイル処理部９３は取得する情報の選択結果として、主画像のテクスチャ情報のみを示す選択結果をセグメントファイル取得部９４に供給し、セグメントファイルの取得を指示する。

　すると、ステップＳ７４において、セグメントファイル取得部９４は、MPDファイル処理部９３から供給された選択結果に基づいて、サーバから主画像のテクスチャ情報のみを取得する。

　すなわち、セグメントファイル取得部９４は、MPDファイル処理部９３から供給された選択結果に従って、主画像のテクスチャ情報が格納されたセグメントファイルの送信をサーバに要求する。そして、セグメントファイル取得部９４は、その要求に応じてサーバから送信されてきたセグメントファイルを受信してセグメントファイル処理部１１１に供給し、ファイル取得処理は終了する。

　これに対して、ステップＳ７３において主画像のデプス情報を取得する帯域があると判定された場合、その後、処理はステップＳ７５へと進む。

　ステップＳ７５において、MPDファイル処理部９３は、図９のステップＳ４１の処理で取得されたMPDファイルにより示される主画像のデプス情報を、取得する情報として選択する。

　ステップＳ７６において、MPDファイル処理部９３は処理対象のオクルージョン画像を示すカウンタｉ＝１とする。すなわち、カウンタｉの値が１とされる。

　ここで、カウンタｉにより示されるオクルージョン画像は、図９を参照して説明した選択順リストのｉ番目、つまり上からｉ番目のオクルージョン画像である。換言すれば、カウンタｉにより示されるオクルージョン画像は、選択順リストにおいて選択順（優先順位）がｉ番目であるオクルージョン画像である。

　ステップＳ７７において、MPDファイル処理部９３は、ステップＳ７１で得られた伝送帯域の計測結果に基づいて、ｉ番目のオクルージョン画像を取得するか否かを判定する。

　例えば伝送帯域の計測結果から、主画像のテクスチャ情報およびデプス情報を取得しても、まだｉ番目のオクルージョン画像を取得する帯域の余裕がある場合、ｉ番目のオクルージョン画像を取得すると判定される。

　また、例えばｉ番目のオクルージョン画像が選択順リストにない場合、つまり既に選択順リストに含まれる全てのオクルージョン画像について処理が行われた場合、ｉ番目のオクルージョン画像を取得しないと判定される。

　ステップＳ７７においてｉ番目のオクルージョン画像を取得すると判定された場合、ステップＳ７８において、MPDファイル処理部９３は、ｉ番目のオクルージョン画像を取得する情報として選択する。

　ステップＳ７９においてMPDファイル処理部９３は、カウンタｉの値を１だけインクリメントする。

　ステップＳ７９の処理が行われると、その後、処理はステップＳ７７に戻り、上述した処理が繰り返し行われる。

　以上のステップＳ７７乃至ステップＳ７９の処理により、伝送帯域に応じた個数のオクルージョン画像が、取得するオクルージョン画像として選択されることになる。つまり、伝送帯域により定まる取得可能な個数だけ、優先順位が高いものから順番にオクルージョン画像が選択されていく。

　また、ステップＳ７７において、ｉ番目のオクルージョン画像を取得しないと判定された場合、全てのオクルージョン画像が選択されたか、または伝送帯域にオクルージョン画像を取得するだけの余裕がなくなったので、その後、処理はステップＳ８０へと進む。

　この場合、MPDファイル処理部９３は取得する情報の選択結果として、主画像のテクスチャ情報およびデプス情報と、ステップＳ７８で選択されたオクルージョン画像とを示す選択結果をセグメントファイル取得部９４に供給し、セグメントファイルの取得を指示する。なお、ステップＳ７７で１番目のオクルージョン画像を取得しない、つまりオクルージョン画像は１つも取得しないとされた場合には、主画像のテクスチャ情報およびデプス情報を示す選択結果がセグメントファイル取得部９４に供給される。

　ステップＳ８０において、セグメントファイル取得部９４は、MPDファイル処理部９３から供給された選択結果に基づいて、サーバから主画像と選択したオクルージョン画像を取得する。

　すなわち、セグメントファイル取得部９４は、MPDファイル処理部９３から供給された選択結果に従って主画像のテクスチャ情報が格納されたセグメントファイル、および主画像のデプス情報が格納されたセグメントファイルの送信をサーバに要求する。また、セグメントファイル取得部９４は、ステップＳ７８でオクルージョン画像が選択された場合には、選択されたオクルージョン画像が格納されたセグメントファイルの送信もサーバに要求する。

　そして、セグメントファイル取得部９４は、その要求に応じてサーバから送信されてきたセグメントファイルを受信してセグメントファイル処理部１１１に供給し、ファイル取得処理は終了する。

　以上のようにしてクライアント装置７１は、伝送帯域の計測結果と選択順リストとに基づいて適切なオクルージョン画像を選択し、選択したオクルージョン画像をサーバから取得する。これにより、全てのオクルージョン画像を取得するには伝送帯域が十分でないときであっても、全天球画像の再生に必要となる適切なオクルージョン画像を取得することができ、伝送帯域を効率よく利用することができる。

　なお、以上においては選択順リストを用いて、取得するオクルージョン画像を選択する例について説明したが、特に選択順リストを生成しなくても取得対象とする適切なオクルージョン画像を選択することが可能である。

　そのような場合、MPDファイル処理部９３は、伝送帯域の計測結果、ユーザの視点位置、オクルージョン座標情報、およびデプスレベル情報に基づいて、取得するオクルージョン画像を伝送帯域に応じた個数だけ順番に選択していけばよい。

　その際、どのオクルージョン画像を選択するかについては、選択順リストを利用する場合と同様に、視点位置（原点Ｏ’）がユーザの視点位置に近いオクルージョン画像から順番に選択すればよい。また、同じ位置に複数のオクルージョン画像があるときには、デプスレベル情報の値が小さい順にオクルージョン画像を選択すればよい。

　以上において説明した選択順リストを生成する手法は、ユーザによる微小な視点位置の移動があった場合、つまり覗き込みの表示を行う場合にオクルージョン画像の選択順を決めるのに特に有用である。

　また、この手法は、覗き込みの表示を行わない場合、つまりユーザの視点位置が原点Ｏにある場合に、伝送帯域に余裕があるときに原点Ｏ近傍にあるオクルージョン画像を取得しておく先読みにも有用である。

　この場合、図９を参照して説明した選択順リスト生成処理が行われるが、ステップＳ４３ではユーザの視点位置として（0,0,0）が取得されることになる。このような先読みを行うことで、その後、ユーザによる覗き込み、つまり視点位置の移動が生じたときに、取得しておいたオクルージョン画像を用いて直ちに覗き込みの表示を行うことができる。

〈再生処理の説明〉
　以上のようにしてサーバからセグメントファイルが取得されると、クライアント装置７１は、取得されたセグメントファイルに基づいて全天球画像を再生する再生処理を行う。以下、図１１のフローチャートを参照して、クライアント装置７１により行われる再生処理について説明する。

　ステップＳ１１１において、セグメントファイル処理部１１１は、セグメントファイル取得部９４から供給されたセグメントファイルから主画像やオクルージョン画像の符号化データを抽出し、復号部１１２に供給する。

　ステップＳ１１２において、復号部１１２は、セグメントファイル処理部１１１から供給された符号化データを復号し、その結果得られた主画像やオクルージョン画像を表示情報生成部１１３に供給する。

　ステップＳ１１３において、表示情報生成部１１３は、表示制御部９５から供給されたユーザの視点位置や視線方向の検出結果と、復号部１１２から供給された主画像やオクルージョン画像に基づいて、ユーザの視点位置および視線方向に応じた表示用の全天球画像を生成し、表示部９７に供給する。

　例えば図１０に示したファイル取得処理においてステップＳ７４の処理が行われた場合には、ステップＳ１１１では主画像のテクスチャ情報のみが得られるので、ステップＳ１１３では主画像のテクスチャ情報のみが用いられて表示用の全天球画像が生成される。

　また、例えば図１０に示したファイル取得処理のステップＳ８０で、主画像のテクスチャ情報とデプス情報のセグメントファイルのみが取得された場合、ステップＳ１１１では主画像のテクスチャ情報とデプス情報のみが得られる。そのため、ステップＳ１１３では主画像のテクスチャ情報とデプス情報のみが用いられて表示用の全天球画像が生成される。

　さらに、例えば図１０に示したファイル取得処理のステップＳ８０で、主画像のテクスチャ情報、主画像のデプス情報、およびオクルージョン画像の各セグメントファイルが取得された場合、ステップＳ１１１では主画像のテクスチャ情報およびデプス情報と、オクルージョン画像とが得られる。そのため、ステップＳ１１３では主画像とオクルージョン画像とが用いられて表示用の全天球画像が生成される。

　ステップＳ１１４において、表示部９７は、表示情報生成部１１３から供給された表示用の全天球画像を表示（再生）して、再生処理は終了する。

　以上のようにしてクライアント装置７１は、取得したセグメントファイルに基づいて表示用の全天球画像を生成し、再生する。これにより、オクルージョン画像が得られたときには、ユーザの視点位置が移動しても主画像に対してオクルージョンとなる領域も表示される高品質な全天球画像を表示することができる。

　以上のように本技術は、オクルージョン画像が複数ある場合で、伝送帯域が限られているときに一部の適切なオクルージョン画像を選択的に取得するのに有用である。

　特に第１の実施の形態で説明した手法では、上述のユースケースＵ１乃至ユースケースＵ４の全ての場合に、適切なオクルージョン画像を選択できるようにサーバからクライアント装置７１に対してオクルージョン座標情報とデプスレベル情報がシグナリングされる。

　この手法では、どのユースケースでもユーザの視点位置が原点Ｏにある場合、つまり覗き込みをしていない場合には、主画像の原点Ｏから近い位置にあるオクルージョン画像を選択しておくことで、ユーザの視点位置の移動に直ちに表示を追従させることができる。

　また、ユーザの視点位置が原点Ｏ以外の位置である場合、つまり覗き込みをしている場合には、オクルージョン座標情報やデプスレベル情報を用いて、表示に必要なオクルージョン領域の情報を多く含むオクルージョン画像を選択することができる。

〈第２の実施の形態〉
〈オクルージョン画像の選択について〉
　ところで、オクルージョン座標情報とデプスレベル情報をシグナリングする手法では、クライアント装置７１において、それらのオクルージョン座標情報とデプスレベル情報を同時に利用する必要があるのは特定の場合だけとなっている。

　具体的には、オクルージョン座標情報とデプスレベル情報を同時に利用しないと適切なオクルージョン画像を選択できないのは、原点Ｏの位置および原点Ｏ以外の位置にオクルージョン画像が存在し、かつ同じ位置に複数のオクルージョン画像がある場合のみである。すなわち、図３に示したユースケースＵ４の場合のみである。

　上述したユースケースＵ１の場合、原点Ｏの位置のみにオクルージョン画像が存在しているので、オクルージョン画像の選択にはデプスレベル情報があればよく、オクルージョン座標情報は不要である。

　また、ユースケースＵ２の場合、同じ位置に複数のオクルージョン画像が存在していないので、オクルージョン画像の選択にはオクルージョン座標情報があればよく、デプスレベル情報は不要である。

　ユースケースＵ３の場合、原点Ｏの位置に複数のオクルージョン画像があり、他の位置には１つのオクルージョン画像しか存在していない。そのため、ユースケースＵ３では、ユーザの視点位置が原点Ｏの位置である場合にはデプスレベル情報があればよく、原点Ｏ以外の位置ではオクルージョン座標情報があればよいので、デプスレベル情報とオクルージョン座標情報を同時に利用しなくてもよい。

　このようにユースケースＵ１乃至ユースケースＵ３では、クライアント装置７１に対してオクルージョン座標情報とデプスレベル情報をシグナリングしても、それらの情報のうち必要となるのは何れか一方のみとなる。そのため、より効率的なシグナリングをすることができれば、MPDファイルのデータ量を削減することができる。

　また、オクルージョン座標情報とデプスレベル情報をシグナリングする手法では、クライアント装置７１において、オクルージョン画像の選択時にはユーザの視点位置からオクルージョン画像の位置までの距離を求める必要がある。

　このようなオクルージョン画像の位置までの距離は、ユースケースＵ２、ユースケースＵ３、およびユースケースＵ４で利用される。

　オクルージョン画像を選択する際には、ユーザの視点位置に近い位置にあるオクルージョン画像を選択するために、ユーザの視点位置が変化するたびに各オクルージョン画像の位置とユーザの視点位置との間の距離を全て計算する必要がある。

　したがって、オクルージョン画像が多数あり、ユーザの視点位置の変化が頻繁に起こる場合には、そのたびに距離を算出しなければならず計算量が多くなってしまう。

　そこで、オクルージョン画像の選択に用いる情報をより効率的にシグナリングするために、フラグ情報である選択情報flagによりシグナリングする情報を切り替えて、オクルージョン画像の選択に必要な情報のみをMPDファイルで伝送してもよい。

　また、ユーザの視点位置からの距離の計算量を削減するため、オクルージョン画像の視点位置に関する情報として、オクルージョン座標情報に代えて、オクルージョン方向情報または、オクルージョン方向情報とオクルージョン距離情報を用いるようにしてもよい。

　ここで、オクルージョン方向情報は、全天球座標系における原点Ｏを基準とした、つまり基準となる主画像の位置から見た、オクルージョン画像の原点Ｏ’の位置のある方向を示す指標である。

　一例として、オクルージョン方向情報は、例えば図１２に示すように全天球座標系におけるｘ方向、ｙ方向、ｚ方向、－ｘ方向、－ｙ方向、および－ｚ方向の合計６個の方向のうちの何れかを示す情報とされる。なお、図１２に示す原点Ｏを基準とする座標系は、図３に示した座標系と同じ全天球座標系である。

　この例では、例えばｘ方向は、全天球座標系のｘ軸の正の方向を示しており、オクルージョン方向情報がｘ方向であるときには、オクルージョン画像が原点Ｏから見てｘ軸の正の方向に位置していることを示している。また、例えば－ｘ方向は、全天球座標系のｘ軸の負の方向を示している。

　但し、ここでは各オクルージョン画像のオクルージョン方向情報は、６方向のうちの何れか１つの方向とされる。そのため、オクルージョン画像が全天球座標系の軸上に位置していないときには、オクルージョン方向情報は、原点Ｏから見たオクルージョン画像がある大まかな方向を示す情報となる。

　この場合、オクルージョン方向情報によりオクルージョン画像のある正確な方向を特定することはできないが、オクルージョン方向情報により示される方向を６方向に限定することで、より簡単にオクルージョン画像の選択を行うことができる。

　また、オクルージョン距離情報は、全天球座標系における主画像の位置である原点Ｏから、オクルージョン画像の原点Ｏ’の位置までの距離を示す情報である。

　上述した第１の実施の形態では、クライアント装置７１においてユーザの視点位置からオクルージョン画像の原点Ｏ’までの距離を求めていた。

　これに対して、オクルージョン方向情報とオクルージョン距離情報を利用してオクルージョン画像を選択する場合には、クライアント装置７１において、原点Ｏから見たユーザの視点位置の方向（以下、視点位置方向とも称する）と、原点Ｏからユーザの視点位置までの距離（以下、視点位置距離とも称する）を求めておけばよい。なお、視点位置方向も上述した６方向のうちの何れかの方向としてもよい。

　オクルージョン画像の選択時には、複数のオクルージョン画像のうち、オクルージョン方向情報により示される方向が視点位置方向と一致する、より詳細には視点位置方向と近い方向のオクルージョン画像を選択すればよい。

　また、オクルージョン方向情報により示される方向が視点位置方向と同じ方向であるオクルージョン画像が複数あるときには、それらのオクルージョン画像のなかからオクルージョン距離情報により示される距離が視点位置距離に近いものを順番に選択すればよい。このようにすることでも、原点Ｏ’がユーザの視点位置に近いものから順番にオクルージョン画像を選択することができる。

　オクルージョン距離情報を用いる場合、ユーザの視点位置からオクルージョン画像の原点Ｏ’までの距離を求めるのに比べると、オクルージョン距離情報と視点位置距離との比較処理だけで済むので、計算量を低減させることができる。

　この実施の形態では、以上のような選択情報flag、オクルージョン方向情報、およびオクルージョン距離情報が利用される。なお、この実施の形態では、オクルージョン画像の配置がユースケースＵ１、ユースケースＵ２、またはユースケースＵ３である場合が想定されている。

　具体的には、例えば図１３に示すように選択情報flagにより、デプスレベル情報（depth level）、デプス平均値情報（depth平均値）、オクルージョン方向情報、およびオクルージョン方向情報とオクルージョン距離情報を切り替えることで、シグナリングの効率を向上させ、クライアント装置７１における計算量を低減させることができる。

　図１３の例では、選択情報flagは、デプスレベル情報、デプス平均値情報、オクルージョン方向情報、およびオクルージョン方向情報とオクルージョン距離情報のうちの何れの情報が含まれているかを示す情報である。

　ここでは、選択情報flagの値が「00」である場合、シグナリングされる、選択情報flagにより選択された情報（以下、選択情報値とも称する）は、デプスレベル情報（depth level）とされる。すなわち、選択情報flagの値が「00」である場合、クライアント装置７１にはデプスレベル情報のみが伝送される。ここでは、選択情報値はオクルージョン画像を選択するための情報となっている。

　また、選択情報flagの値が「01」である場合、選択情報値は、デプス平均値情報（depth平均値）とされる。ここで、デプス平均値情報は、デプスレベル情報に対応するオクルージョン画像のデプスを示す情報であり、オクルージョン画像の各位置におけるデプス値の平均値を示す情報である。

　選択情報flagの値が「10」である場合、選択情報値はオクルージョン方向情報とされ、選択情報flagの値が「11」である場合、選択情報値はオクルージョン方向情報およびオクルージョン距離情報とされる。

　ここで、実際にMPEG-DASHにおいて選択情報flagを用いたシグナリングを行う場合について説明する。

　そのような場合、例えば図４に示したMPDファイルにおけるオクルージョン画像のテクスチャ情報のAdaptationSetでは、schemeIdUriが「“urn:mpeg:dash:occlusion:2017”」とされ、そのvalueの値に選択情報flagと選択情報値が記述される。

　具体的には、valueの値はコンマで区切られて「“選択情報flag,選択情報値”」とされる。

　また、選択情報flagの値が「11」であり、オクルージョン方向情報とオクルージョン距離情報が選択情報値とされるときには、空白で区切ってオクルージョン方向情報とオクルージョン距離情報の値が記述される。

　すなわち、例えばオクルージョン方向情報の値が「ｘ」であり、オクルージョン距離情報の値が「0.5」であるとする。この場合、EssentialPropertyの部分は<EssentialProperty schemeIdUri＝“urn:mpeg:dash:occlusion:2017” value＝“11,x 0.5”>とされる。

　このようなvalueの値から、選択情報flagの値「11」により、このAdaptationSetにはオクルージョン方向情報とオクルージョン距離情報が選択情報値として含まれていることが分かる。また、オクルージョン方向情報により示される方向はｘ方向であり、オクルージョン距離情報により示される距離は0.5ｍであることが分かる。

　また、例えばユースケースＵ１である場合、図４に示したMPDファイルに対応する、本技術を適用したMPDファイルは図１４に示すようになる。なお、図１４において図４における場合と対応する部分の説明については繰り返しになるので、適宜、省略する。

　図１４に示すMPDファイルは、矢印Ｑ３１および矢印Ｑ３２に示す部分のみ図４に示したMPDファイルと異なっている。

　すなわち、図１４においてオクルージョン画像１のテクスチャ情報のAdaptationSetでは、矢印Ｑ３１に示すようにschemeIdUriが「“urn:mpeg:dash:occlusion:2017”」とされており、そのvalueの値は「“00,1”」となっている。

　このことから、オクルージョン画像１については、選択情報flagの値が「00」であり、選択情報値としてデプスレベル情報が含まれていること、そのデプスレベル情報の値、つまりdepth levelが「１」であることが分かる。

　同様に、オクルージョン画像２のテクスチャ情報のAdaptationSetでは、矢印Ｑ３２に示すようにschemeIdUriが「“urn:mpeg:dash:occlusion:2017”」とされており、そのvalueの値は「“00,2”」となっている。

　このことから、オクルージョン画像２については、選択情報flagの値が「00」であり、選択情報値としてデプスレベル情報が含まれていること、そのデプスレベル情報の値が「２」であることが分かる。

　したがって、クライアント装置７１では、オクルージョン画像２よりもオクルージョン画像１を先に選択すればよいことが分かる。

〈選択順リスト生成処理の説明〉
　以上のようにMPDファイルに選択情報flagと選択情報値が含まれる場合、ファイル生成装置１１とクライアント装置７１では、以下のような処理が行われる。

　すなわち、ファイル生成装置１１では、図７のアップロード処理におけるステップＳ１３において、MPDファイル生成部３３が各オクルージョン画像のテクスチャ情報のAdaptationSetに、それらのオクルージョン画像の選択情報flagと選択情報値が含まれるMPDファイルを生成する。

　また、クライアント装置７１では、図１５に示す選択順リスト生成処理が行われて、選択順リストが生成される。以下、図１５のフローチャートを参照して、クライアント装置７１による選択順リスト生成処理について説明する。

　なお、ステップＳ１４１乃至ステップＳ１４３の処理は、図９のステップＳ４１乃至ステップＳ４３の処理と同様であるので、その説明は省略する。

　ステップＳ１４４において、MPDファイル処理部９３は、ステップＳ１４３の処理で取得されたユーザの視点位置に基づいて、ユーザの視点位置方向および視点位置距離を求める。

　ステップＳ１４５において、MPDファイル処理部９３は、MPDファイル取得部９２から供給されたMPDファイルに基づいて、まだ処理していないオクルージョン画像があるか否かを判定する。ステップＳ１４５では図９のステップＳ４４と同様の処理が行われる。

　ステップＳ１４５において処理していないオクルージョン画像があると判定された場合、MPDファイル処理部９３は、まだ処理していないオクルージョン画像を新たな処理対象のオクルージョン画像として、処理はステップＳ１４６へと進む。

　ステップＳ１４６において、MPDファイル処理部９３は、MPDファイルにおける処理対象のオクルージョン画像の選択情報flagの値が「00」または「01」であるか否かを判定する。

　ステップＳ１４６において選択情報flagの値が「00」または「01」であると判定された場合、すなわち選択情報値としてデプスレベル情報（depth level）またはデプス平均値情報（depth平均値）が含まれている場合、処理はステップＳ１４７へと進む。

　ステップＳ１４７において、MPDファイル処理部９３は、MPDファイルに選択情報値として含まれているデプスレベル情報またはデプス平均値情報に基づいて、選択情報値が小さい順にオクルージョン画像が並ぶように選択順リストを更新する。

　すなわち、MPDファイル処理部９３は、選択順リストにおいて各オクルージョン画像を示す情報がデプスレベル情報またはデプス平均値情報の値の小さい順に上から下へと並ぶように、新たに処理対象としたオクルージョン画像を示す情報を選択順リストに追加する。

　このようにして選択順リストが更新されると、その後、処理はステップＳ１４５に戻り、上述した処理が繰り返し行われる。

　また、ステップＳ１４６において、選択情報flagの値が「00」または「01」でない、すなわち選択情報flagの値が「10」または「11」であると判定された場合、処理はステップＳ１４８へと進む。

　この場合、MPDファイルにおける処理対象のオクルージョン画像の選択情報値としてオクルージョン方向情報のみ、またはオクルージョン方向情報とオクルージョン距離情報が含まれている。

　ステップＳ１４８において、MPDファイル処理部９３は、MPDファイルに選択情報値として含まれているオクルージョン方向情報に基づいて、オクルージョン方向情報により示される方向が視点位置方向と一致するものを選択して選択順リストを更新する。

　すなわち、MPDファイル処理部９３は、処理対象のオクルージョン画像のオクルージョン方向情報により示される方向が、ステップＳ１４４で求められたユーザの視点位置方向と一致する場合、その処理対象のオクルージョン画像を示す情報を選択順リストに追加することで、選択順リストを更新する。

　なお、視点位置方向が上述した６方向のうちの何れかの方向とされるのではなく、原点Ｏから見たユーザの視点位置の方向とされるときには、オクルージョン方向情報により示される方向と、視点位置方向とのなす角度が所定の閾値以下である場合に、オクルージョン方向情報により示される方向と、視点位置方向とが一致すると判定すればよい。

　また、オクルージョン方向情報により示される方向と、視点位置方向とが一致するオクルージョン画像が複数あることもある。そのような場合、選択情報flagの値が「11」であり、MPDファイルにオクルージョン距離情報が含まれているときには、オクルージョン距離情報と視点位置距離も用いて選択順リストを更新すればよい。

　すなわち、MPDファイル処理部９３は、オクルージョン方向情報により示される方向と、視点位置方向とが一致するオクルージョン画像が、オクルージョン距離情報により示される距離と視点位置距離との差分が小さい順に並ぶように選択順リストを更新する。

　さらにオクルージョン方向情報により示される方向と、視点位置方向とが一致しないオクルージョン画像については、選択順リストに含まれないようにしてもよいし、選択順が下位の順番とされて選択順リストに含まれるようにしてもよい。

　例えば上述したユースケースＵ１では、原点Ｏに２つのオクルージョン画像があることから各オクルージョン画像の選択情報flagの値が「00」または「01」とされ、ステップＳ１４７の処理が行われて選択順リストが生成されるようにすればよい。

　また、ユースケースＵ２では、同じ位置に複数のオクルージョン画像が存在しないので、各オクルージョン画像の選択情報flagの値が「10」または「11」とされ、ステップＳ１４８の処理が行われて選択順リストが生成されるようにすればよい。

　ユースケースＵ３では、原点Ｏに２つのオクルージョン画像があり、他の位置には１つのオクルージョン画像が存在している。

　そのため、ユースケースＵ３では、例えば原点Ｏにあるオクルージョン画像については選択情報flagの値を「00」または「01」とし、原点Ｏ以外の位置のオクルージョン画像については選択情報flagの値を「10」または「11」とすることができる。

　この場合、原点Ｏ以外の位置のオクルージョン画像についてはステップＳ１４８が行われて選択順リストが更新されるようにすればよい。また、原点Ｏにあるオクルージョン画像については、例えばそれらのオクルージョン画像は先読みにしか用いないものとして、ステップＳ１４７において選択順リストの最も下位の選択順の位置に追加されるようにすることができる。逆に、原点Ｏにあるオクルージョン画像が選択順リストの最上位の選択順の位置に追加されるようにしてもよい。

　以上のようにステップＳ１４６乃至ステップＳ１４８では、オクルージョン方向情報やオクルージョン距離情報といったオクルージョン画像の視点位置に関する情報と、デプスレベル情報やデプス平均値情報といったオクルージョン画像のデプスに関する情報の少なくとも何れか一方に基づいてオクルージョン画像が選択され、選択順リストが生成される。

　また、ステップＳ１４５において、処理していないオクルージョン画像がない、つまり全てのオクルージョン画像を処理したと判定された場合、選択順リストが得られた（生成された）ので選択順リスト生成処理は終了する。

　以上のようにしてクライアント装置７１は、選択情報値に基づいて適切なオクルージョン画像を順番に選択するための選択順リストを生成する。このようにして選択順リストを生成することで、クライアント装置７１は、伝送帯域が十分でない場合でも適切なオクルージョン画像を選択して取得することができるようになる。

　特に、MPDファイルに選択情報flagと選択情報値を含めるようにしたので、オクルージョン画像の選択に必要な情報のみを取得して効率よく選択順リストを生成することができる。また、オクルージョン距離情報と視点位置距離とに基づいて選択順リストを生成するときには、ユーザの視点位置と原点Ｏ’の距離を用いる場合と比べて、選択順リスト生成時における計算量を低減させることができる。

　このようにして選択順リストが生成されると、その後、クライアント装置７１では、図１０を参照して説明したファイル取得処理と、図１１を参照して説明した再生処理が行われる。

　なお、以上においてはオクルージョン方向情報により示される方向が予め定めた６方向のうちの何れかの方向である例について説明した。

　しかし、オクルージョン方向情報により示される方向は、これに限らず例えば－ｘｙｚ方向、－ｘｙ方向、－ｘｙ－ｚ方向、－ｘｚ方向、－ｘ方向、－ｘ－ｚ方向、－ｘ－ｙｚ方向、－ｘ－ｙ方向、－ｘ－ｙ－ｚ方向、ｙｚ方向、ｙ方向、ｙ－ｚ方向、ｚ方向、－ｚ方向、－ｙｚ方向、－ｙ方向、－ｙ－ｚ方向、ｘｙｚ方向、ｘｙ方向、ｘｙ－ｚ方向、ｘｚ方向、ｘ方向、ｘ－ｚ方向、ｘ－ｙｚ方向、ｘ－ｙ方向、およびｘ－ｙ－ｚ方向の合計２６方向などとしてもよい。ここで、例えば－ｘｙ－ｚ方向は、－ｘ方向の単位ベクトルと、ｙ方向の単位ベクトルと、－ｚ方向の単位ベクトルとを加算して得られるベクトルの方向である。

　また、６個の方向や２６個の方向など、オクルージョン方向情報の各方向を示すのにyaw角やpitch角を用いてもよい。

　ここで、yaw角とは、例えば図１２に示した全天球座標系のｙ軸を中心とした回転角度であり、ｙ軸の正の方向から原点Ｏを見たときに反時計回りの方向がyaw角の正の方向である。また、pitch角は図１２に示した全天球座標系のｘ軸を中心とした回転角度であり、ｘ軸の正の方向から原点Ｏを見たときに反時計回りの方向がpitch角の正の方向である。

　したがって、例えばｘ方向、ｙ方向、ｚ方向、－ｘ方向、－ｙ方向、および－ｚ方向をyaw角とpitch角を用いて表すと、図１６に示すようになる。すなわち、例えばｘ方向は、yaw角が９０度でありpitch角が０度となる方向である。

　さらに、オクルージョン距離情報として、具体的な距離そのものの値ではなく、距離の範囲を示す距離付範囲グループを利用してもよい。

　例えば距離付範囲グループとは、原点Ｏからオクルージョン画像の原点Ｏ’までの距離を0ｍから0.5ｍまでの範囲のグループ、0.5ｍから1.0ｍまでの範囲のグループなどに分けたときの距離の範囲のグループである。

　この場合、オクルージョン距離情報は、予め用意された複数の距離付範囲グループのうちの原点Ｏから原点Ｏ’までの距離が属す距離付範囲グループの最も大きい距離の値などとされる。したがって、例えば原点Ｏから原点Ｏ’までの距離が0.5ｍから1.0ｍまでの範囲のグループに属す場合、オクルージョン距離情報の値は「1.0」などとされる。

　その他、オクルージョン距離情報は、複数のオクルージョン画像の原点Ｏから原点Ｏ’までの距離のなかの何番目に小さい（短い）距離であるかを示す距離順位とされてもよい。また、オクルージョン距離情報は、原点Ｏから原点Ｏ’までの距離が、複数の距離付範囲グループのなかの、何番目に小さい（短い）範囲の距離付範囲グループに属すかを示す距離付範囲グループの順位であってもよい。

　さらに、以上において説明した第２の実施の形態では、オクルージョン座標情報は用いないようにしたが、選択情報値としてオクルージョン座標情報もクライアント装置７１に対してシグナリング可能としてもよい。そのような場合、他の情報ではオクルージョン画像の選択が困難である場合に、選択情報値としてのオクルージョン座標情報を用いてオクルージョン画像を選択すればよい。つまり、オクルージョン座標情報を用いて選択順リストを生成すればよい。

　以上の第２の実施の形態で説明した手法では、オクルージョン画像の選択に必要な情報のみをシグナリングすることで、第１の実施の形態で説明した手法と比較してシグナリングする情報の情報量を削減することができる。

　また、オクルージョン座標情報ではなく、オクルージョン方向情報やオクルージョン距離情報を用いることで、より少ない計算量でオクルージョン画像の選択を行うことができる。これは、ユーザの視点位置から視点位置方向を求め、オクルージョン方向情報により示される方向が視点位置方向と一致するオクルージョン画像を選択し、さらにそこからオクルージョン距離情報を用いて視点位置距離と近いオクルージョン画像を選択することができるからである。これらのオクルージョン画像の選択時の計算は、全てのオクルージョン画像の位置とユーザの視点位置との間の距離を求めるよりも簡単に行うことができる。

〈第３の実施の形態〉
〈オクルージョン画像の選択について〉
　なお、上述した第１の実施の形態や第２の実施の形態では、例えばユースケースＵ２において、ユーザの視点位置が全天球座標系の原点Ｏである場合、つまりユーザが覗き込みをしていない場合に、事前にオクルージョン画像を取得しておけば、ユーザの視点位置が動いたときに直ちに移動後の視点の全天球画像を表示することができる。

　この場合、例えばユーザの視点位置とオクルージョン画像の位置との間の距離が短い順や、原点Ｏから原点Ｏ’までの距離がユーザの視点位置距離と近い順にオクルージョン画像を選択していくと、同じ距離のオクルージョン画像が複数選択されることがある。また、第２の実施の形態では、同じ距離のオクルージョン画像が複数あると、それらのオクルージョン画像の選択順を決めることができない。

　このようなことから、例えばコンテンツである全天球画像に対して注目度の高い視点位置がある方向が存在するときには、その方向にあるオクルージョン画像を優先して取得しておけるとよい。

　そこで、例えばオクルージョン画像が優先的に選択すべきものであるか否かを示す優先flagを用いるようにしてもよい。

　例えば優先flagの値「１」は、優先的に選択すべきオクルージョン画像であることを示しており、優先flagの値「０」は、優先的に選択すべきオクルージョン画像でないことを示している。

　このような優先flagを用いることで、クライアント装置７１では、原点Ｏから同じ距離にあるオクルージョン画像が複数あるときに、優先flagの値が「１」であるオクルージョン画像を優先的に取得することで、適切にオクルージョン画像を選択できるようになる。

　また、優先flagではなく、オクルージョン画像の優先度順を設定するようにしてもよい。具体的には、例えば最も優先度の高いオクルージョン画像の優先度順を１とし、優先度の高いものほど優先度順の値が小さくなるように、各オクルージョン画像に対して優先度順を定めるようにすることができる。

　この場合、クライアント装置７１では、例えば原点Ｏから同じ距離にあるオクルージョン画像が複数あるときに、それらの複数のオクルージョン画像から、優先度順の値が小さいものから順に選択していけばよい。

　このような優先flagや優先度順は、オクルージョン画像の優先度に関する情報である。優先flagや優先度順をクライアント装置７１にシグナリングする方法としては、例えば第２の実施の形態と同様に選択情報flagを利用することが考えられる。

　すなわち、例えば図１７に示すように、選択情報flagの各値に対して選択情報値を予め定めておけばよい。

　図１７に示す例では、選択情報flagの値が「1000」であるとき、選択情報値は優先flagの値とされ、選択情報flagの値が「1001」であるとき、選択情報値は優先度順の値とされる。

　ここで、実際にMPEG-DASHにおいて選択情報flagを用いて優先flagと優先度順のシグナリングを行う場合について説明する。

　そのような場合、例えば図４に示したMPDファイルにおけるオクルージョン画像のテクスチャ情報のAdaptationSetでは、schemeIdUriが「“urn:mpeg:dash:occlusion:2017”」とされ、そのvalueの値に図１７に示した選択情報flagと選択情報値が記述される。具体的には、valueの値はコンマで区切られて「“選択情報flag,選択情報値”」とされる。例えば選択情報flagの値が「1001」であり、優先度順の値が「２」である場合、EssentialPropertyの部分は<EssentialProperty schemeIdUri＝“urn:mpeg:dash:occlusion:2017” value＝“1001,2”>とされる。

　優先flagや優先度順を、第２の実施の形態で説明したデプスレベル情報等と組み合わせて同時に用いることが可能である。

　そのような場合、例えば図１５のステップＳ１４７やステップＳ１４８の処理の後、さらに優先flagや優先度順を用いてオクルージョン画像のより正確な選択順を決定することができる。

　優先flagや優先度順のシグナリングと、デプスレベル情報等のシグナリングとを同時に行う場合、例えば各オクルージョン画像のテクスチャ情報のAdaptationSetには、少なくとも２つのEssentialPropertyが記述される。

　そして、一方のEssentialPropertyには、図１３に示した選択情報flagと選択情報値が記述され、他方のEssentialPropertyには、図１７に示した選択情報flagと選択情報値が記述される。

　このようにMPDファイルに図１３に示した選択情報flagおよび選択情報値と、図１７に示した選択情報flagおよび選択情報値とが含まれる場合、ファイル生成装置１１とクライアント装置７１では、以下のような処理が行われる。

　このとき、各オクルージョン画像のテクスチャ情報のAdaptationSetには、図１３に示した選択情報flagと選択情報値が記述されたEssentialPropertyと、図１７に示した選択情報flagと選択情報値が記述されたEssentialPropertyとが設けられる。

〈選択順リスト生成処理の説明〉
　また、クライアント装置７１では、図１８に示す選択順リスト生成処理が行われて、選択順リストが生成される。以下、図１８のフローチャートを参照して、クライアント装置７１による選択順リスト生成処理について説明する。

　なお、ステップＳ１７１乃至ステップＳ１７８の処理は、図１５のステップＳ１４１乃至ステップＳ１４８の処理と同様であるので、その説明は省略する。

　なお、ステップＳ１７６乃至ステップＳ１７８では、MPDファイルにおける図１３に示した選択情報flagおよび選択情報値が用いられて処理が行われる。

　ステップＳ１７７またはステップＳ１７８の処理が行われると、ステップＳ１７９において、MPDファイル処理部９３は、MPDファイルにおける処理対象のオクルージョン画像の選択情報flagの値が「1000」であるか否かを判定する。

　ここでは、処理対象のオクルージョン画像のテクスチャ情報のAdaptationSetに含まれている、ステップＳ１７６で用いられた選択情報flagが記述されたEssentialPropertyとは異なる他のEssentialPropertyに記述された選択情報flagの値に基づいて判定処理が行われる。この場合、選択情報flagの値は、「1000」または「1001」の何れかとなっている。

　ステップＳ１７９において、選択情報flagの値が「1000」であると判定された場合、すなわち、valueの値に選択情報値として優先flagが記述されている場合、処理はステップＳ１８０へと進む。

　ステップＳ１８０において、MPDファイル処理部９３は、MPDファイルに含まれている、処理対象のオクルージョン画像の優先flagに基づいてステップＳ１７７またはステップＳ１７８において得られた選択順リストをさらに更新する。

　例えばステップＳ１７７の処理が行われたときに、デプスレベル情報またはデプス平均値情報が同じであるオクルージョン画像が複数あったとする。この場合、MPDファイル処理部９３は、それらの複数のオクルージョン画像のうち、優先flagの値が「１」であるものの選択順が、優先flagの値が「０」であるものの選択順よりもより上位の選択順となるように選択順リストを更新する。

　同様に、ステップＳ１７８が行われて選択順リストが得られた場合においても、オクルージョン方向情報により示される方向と、視点位置方向とが一致するオクルージョン画像が複数あったり、オクルージョン距離情報により示される距離と視点位置距離との差分が同じであるものが複数あることがある。そのような場合、ステップＳ１８０では、それらの複数のオクルージョン画像のうち、優先flagの値が「１」であるものの選択順が、優先flagの値が「０」であるものの選択順よりもより上位の選択順となるように選択順リストが更新される。

　ステップＳ１８０の処理が行われて選択順リストが更新されると、その後、処理はステップＳ１７５に戻り、上述した処理が繰り返し行われる。

　また、ステップＳ１７９において、選択情報flagの値が「1000」でないと判定された場合、すなわち、選択情報flagの値が「1001」であり、valueの値に選択情報値として優先度順が記述されている場合、処理はステップＳ１８１へと進む。

　ステップＳ１８１において、MPDファイル処理部９３は、MPDファイルに含まれている、処理対象のオクルージョン画像の優先度順に基づいてステップＳ１７７またはステップＳ１７８において得られた選択順リストをさらに更新する。

　ステップＳ１８１では、ステップＳ１８０における場合と同様に、ステップＳ１７７やステップＳ１７８において選択情報値が同じであるなど、選択順を定めることができない、つまり選択順が同じとなってしまう複数のオクルージョン画像がある場合に、それらのオクルージョン画像が優先度順に並ぶように選択順リストが更新される。すなわち、優先度順がより小さいオクルージョン画像の選択順がより小さくなるようになされる。

　ステップＳ１８１の処理が行われて選択順リストが更新されると、その後、処理はステップＳ１７５に戻り、上述した処理が繰り返し行われる。

　以上のようにクライアント装置７１は、選択情報値としての優先flagや優先度順も用いて選択順リストを生成する。このようにして選択順リストを生成することで、クライアント装置７１は、伝送帯域が十分でない場合でも適切なオクルージョン画像を選択して取得することができる。

　なお、以上においては優先flagや優先度順と、デプスレベル情報等とを異なるEssentialPropertyでシグナリングする例について説明した。しかし、MPEG-DASHにおいて、それらの情報を同じ１つのEssentialPropertyでシグナリングするようにしてもよい。

　そのような場合、例えば図１９に示すように選択情報flagと選択情報値を定めればよい。

　図１９に示す例では、選択情報flagの値が「000」である場合、選択情報値は、デプスレベル情報（depth level）および優先flagとされる。すなわち、選択情報flagの値が「000」である場合、クライアント装置７１にはデプスレベル情報と優先flagが伝送される。この場合、EssentialPropertyのvalueでは、デプスレベル情報と優先flagとがスペースで区切られて記述される。

　また、選択情報flagの値が「001」である場合、選択情報値はデプスレベル情報および優先度順とされ、EssentialPropertyのvalueでは、デプスレベル情報と優先度順とがスペースで区切られて記述される。

　なお、以下の説明においてもvalueに２以上の選択情報値が記述されるときには、それらの選択情報値がスペースで区切られて記述される。

　選択情報flagの値が「010」である場合、選択情報値はデプス平均値情報（depth平均値）および優先flagとされ、選択情報flagの値が「011」である場合、選択情報値はデプス平均値情報および優先度順とされる。

　選択情報flagの値が「100」である場合、選択情報値はオクルージョン方向情報および優先flagとされ、選択情報flagの値が「101」である場合、選択情報値はオクルージョン方向情報および優先度順とされる。

　さらに、選択情報flagの値が「110」である場合、選択情報値はオクルージョン方向情報、オクルージョン距離情報、および優先flagとされ、選択情報flagの値が「111」である場合、選択情報値はオクルージョン方向情報、オクルージョン距離情報、および優先度順とされる。

　このようにデプスレベル情報等とともに優先flagや優先度順が１つのEssentialPropertyでシグナリングされる場合においても、図１８を参照して説明した選択順リスト生成処理と同様の処理が行われる。

　但し、この場合、ステップＳ１７６では、選択情報flagの値が「000」、「001」、「010」、または「011」であるか否かが判定され、「000」、「001」、「010」、または「011」であると判定された場合、ステップＳ１７７の処理が行われる。

　一方、選択情報flagの値が「000」、「001」、「010」、または「011」でない、つまり選択情報flagの値が「100」、「101」、「110」、または「111」であると判定された場合、ステップＳ１７８の処理が行われる。

　さらに、ステップＳ１７９では、選択情報flagの値が「000」、「010」、「100」、または「110」であるか否かが判定され、「000」、「010」、「100」、または「110」であると判定された場合、ステップＳ１８０の処理が行われる。

　これに対して、選択情報flagの値が「001」、「011」、「101」、または「111」であると判定された場合、ステップＳ１８１の処理が行われる。

　以上のように、選択順が同じとなってしまうオクルージョン画像が複数あるときでも、優先flagや優先度順を用いれば、それらのオクルージョン画像の選択順を定めることができる。

　また、優先flagや優先度順をシグナリングする仕組みを用いれば、コンテンツ作成者が意図的にオクルージョン画像の選択順を指定することもできる。例えば、コンテンツ作成者がユーザに見せたいと思うオクルージョン領域を含むオクルージョン画像を優先的に取得させておき、覗き込み表示時のお勧めとして利用することができる。

〈第４の実施の形態〉
〈表示範囲外通知について〉
　ところで、全天球画像を表示するにあたり、ユーザの視点位置と、オクルージョン画像の位置（原点Ｏ’）とが離れすぎていると、表示に必要なオクルージョン領域の情報を得ることができないことがある。このような得ることのできないオクルージョン領域の情報が増えると、表示用の全天球画像において表示できない部分の領域が増えてしまう。

　この場合、原点Ｏ以外の位置にあるオクルージョン画像については、ユーザの視点位置と、オクルージョン画像のある位置との間の距離が長くなるほど、つまりユーザの視点位置がオクルージョン画像の位置から離れるほど、表示できない部分の領域が増えていく。

　例えば全天球画像における表示することのできない領域、つまり情報を得ることができなかったオクルージョン領域については、黒い画像が表示されたり、近傍の領域の画像が複製されて表示されたりすることになる。

　このように表示用の全天球画像において表示できない領域が増える場合に、全天球画像の表示を継続して行うか、または何らかの表示を行い、これ以上の視点位置の移動ができない旨を通知するかは、クライアント装置７１の実装により変わってくる。

　しかし、コンテンツ作成者は、全天球画像の表示に違和感が生じることから、想定以上にユーザの視点位置が原点Ｏから離れてしまうことを望まない場合がある。

　そのため、コンテンツ作成者が想定している視点位置よりも離れた位置を視点位置として全天球画像の表示がされないように、それぞれのオクルージョン画像がどの視点位置まで有効なオクルージョン画像であるかを示すようにしてもよい。

　オクルージョン画像が有効な領域の範囲を示す情報、つまり原点Ｏからの有効な距離を示す情報をクライアント装置７１側にシグナリングする場合、例えば図２０に示すように選択情報flagを用いることができる。

　図２０に示す例では、選択情報flagの値が「10000」である場合、選択情報値は視点位置最大値情報とされる。

　ここで、視点位置最大値情報は、オクルージョン画像を用いた適切な表示が可能である原点Ｏからユーザの視点位置までの距離の最大値を示す情報である。換言すれば、視点位置最大値情報は、オクルージョン画像を有効に利用可能な、ユーザの視点位置の範囲を示す情報である。

　すなわち、オクルージョン画像を利用する場合に、原点Ｏからユーザの視点位置までの距離が、視点位置最大値情報により示される距離よりも長くなるような視点位置でのオクルージョン画像を利用した全天球画像の表示は望まれていない。

　ここで、実際にMPEG-DASHにおいて選択情報flagを用いて視点位置最大値情報のシグナリングを行う場合について説明する。

　そのような場合、例えば図４等に示したMPDファイルにおけるオクルージョン画像のテクスチャ情報のAdaptationSetでは、schemeIdUriが「“urn:mpeg:dash:occlusion:2017”」とされ、そのvalueの値に図２０に示した選択情報flagと選択情報値が記述される。

　具体的には、valueの値はコンマで区切られて「“選択情報flag,選択情報値”」とされる。例えば選択情報flagの値が「10000」であり、視点位置最大値情報により示される距離が1.0ｍである場合、EssentialPropertyの部分は<EssentialProperty schemeIdUri＝“urn:mpeg:dash:occlusion:2017” value＝“10000,1.0”>とされる。

　この場合、ユーザの視点位置が原点Ｏから1.0ｍ以内の距離であるときには、オクルージョン画像を用いた全天球画像の表示に不都合は生じないが、ユーザの視点位置が原点Ｏから1.0ｍよりも遠い位置となることは望まれていない。

　なお、視点位置最大値情報は、上述したデプスレベル情報やデプス平均値情報、オクルージョン方向情報、オクルージョン距離情報、優先flag、優先度順などと同時にシグナリングすることも勿論可能である。そのような場合、つまり他の情報と同時に視点位置最大値情報をシグナリングする場合、例えばオクルージョン画像のテクスチャ情報のAdaptationSetにシグナリングする情報ごとにEssentialPropertyを設ければよい。

　このようにMPDファイルにオクルージョン画像ごとの視点位置最大値情報が含まれている場合には、図７のステップＳ１３では、各オクルージョン画像の視点位置最大値情報が選択情報値としてvalueに記述されたMPDファイルがMPDファイル生成部３３により生成される。

　また、例えば図９や図１５、図１８を参照して説明した選択順リスト生成処理において、視点位置最大値情報も用いられて選択順リストが生成される。

　すなわち、MPDファイル処理部９３は、選択順リスト生成処理を行っている時点、つまり現時点におけるユーザの視点位置に基づいて、原点Ｏからユーザの視点位置までの距離を視点位置距離として求める。

　そして、MPDファイル処理部９３は、MPDファイルにより示される１または複数のオクルージョン画像のうち、視点位置最大値情報により示される距離が視点位置距離よりも短くなるものを除外して選択順リストを生成する。

　これにより、視点位置最大値情報により示される距離が視点位置距離以上であるという条件を満たすオクルージョン画像のみが用いられて選択順リストが生成される。

　換言すれば、全オクルージョン画像のうちの、ユーザの視点位置が、視点位置最大値情報により示される距離により定まる範囲内の位置となるオクルージョン画像のなかから、取得すべきオクルージョン画像が順番に選択される。

　したがって、例えば図９に示した選択順リスト生成処理が行われるときには、ステップＳ４３においてMPDファイル処理部９３により視点位置距離が求められる。

　そして、ステップＳ４４乃至ステップＳ４６では、視点位置最大値情報により示される距離が視点位置距離以上となるオクルージョン画像のみが対象とされて、選択順リストが生成される。つまり、視点位置最大値情報により示される距離が視点位置距離未満となるオクルージョン画像の情報は、選択順リストには含まれないようにされる。

　このようにすることで、利用可能なオクルージョン画像のみが取得されて表示用の全天球画像が生成される。

　また、例えば図１８に示した選択順リスト生成処理が行われるときには、ステップＳ１７４で算出された視点位置距離が用いられて選択順リストが生成される。すなわち、ステップＳ１７５乃至ステップＳ１８１では、視点位置最大値情報により示される距離が視点位置距離以上となるオクルージョン画像のみが対象とされて、選択順リストが生成される。

　さらに、利用可能なオクルージョン画像がない場合、つまり視点位置最大値情報により示される距離が視点位置距離以上となるオクルージョン画像がない場合には、ユーザに対して、ユーザの視点位置が表示範囲外であることを示す表示情報を提示してもよい。

　そのような場合、例えば図９や図１５、図１８を参照して説明した選択順リスト生成処理において、MPDファイル処理部９３は視点位置最大値情報により示される距離が視点位置距離以上となるオクルージョン画像がないとき、その旨を表示情報生成部１１３に通知する。

　すると表示情報生成部１１３は、MPDファイル処理部９３からの通知に応じて、例えば図１１の再生処理のステップＳ１１３において、ユーザの視点位置が適切な全天球画像（コンテンツ）を表示可能な範囲外である旨を表示する表示範囲外通知を生成する。そして表示情報生成部１１３は、表示範囲外通知を表示部９７に供給（出力）して表示させる。

　表示部９７は、ステップＳ１１４において、表示情報生成部１１３から供給された表示範囲外通知を表示する。このとき、表示範囲外通知は、全天球画像と同時に表示されてもよいし、全天球画像は表示されずに表示範囲外通知のみが表示されてもよい。

　このように表示範囲外通知を表示することで、ユーザは自身の視点位置が原点Ｏから離れすぎてしまったことを把握することができる。

　なお、ここでは視点位置最大値情報の選択情報flagを、デプスレベル情報等の選択情報flagや、優先flag等の選択情報flagとは異なるものとする例について説明した。しかし、例えば図１３に示した選択情報値や図１９に示した選択情報値とともに、視点位置最大値情報も選択情報値として同時にシグナリングすることも可能である。

　例えば図１３に示した選択情報値とともに、視点位置最大値情報も選択情報値として同時にシグナリングする場合、図２１に示すように選択情報flagと選択情報値を定めればよい。

　図２１に示す例では、選択情報flagの値が「10000」である場合、選択情報値はデプスレベル情報（depth level）および視点位置最大値情報とされる。すなわち、選択情報flagの値が「10000」である場合、クライアント装置７１にはデプスレベル情報と視点位置最大値情報が伝送される。この場合、EssentialPropertyのvalueでは、デプスレベル情報と視点位置最大値情報とがスペースで区切られて記述される。

　また、選択情報flagの値が「10001」である場合、選択情報値はデプス平均値情報（depth平均値）および視点位置最大値情報とされ、EssentialPropertyのvalueでは、デプス平均値情報と視点位置最大値情報とがスペースで区切られて記述される。

　選択情報flagの値が「10010」である場合、選択情報値はオクルージョン方向情報および視点位置最大値情報とされ、選択情報flagの値が「10011」である場合、選択情報値はオクルージョン方向情報、オクルージョン距離情報、および視点位置最大値情報とされる。

　このようにデプスレベル情報やデプス平均値情報、オクルージョン方向情報、オクルージョン距離情報とともに視点位置最大値情報がシグナリングされる場合においても、図１５を参照して説明した選択順リスト生成処理と同様の処理が行われる。

　但し、この場合、ステップＳ１４６では、選択情報flagの値が「10000」または「10001」であるか否かが判定され、「10000」または「10001」であると判定された場合、ステップＳ１４７の処理が行われる。

　一方、選択情報flagの値が「10000」または「10001」でない、つまり選択情報flagの値が「10010」または「10011」であると判定された場合、ステップＳ１４８の処理が行われる。

　なお、ステップＳ１４７やステップＳ１４８では、視点位置最大値情報により示される距離が視点位置距離以上となるオクルージョン画像のみが対象とされて、選択順リストが生成される。また、MPDファイル処理部９３は、視点位置最大値情報により示される距離が視点位置距離以上となるオクルージョン画像がないとき、その旨を表示情報生成部１１３に通知する。

　以上のように、オクルージョン画像ごとに視点位置最大値情報を定めておけば、クライアント装置７１において適切なオクルージョン画像を選択することができるようになる。すなわち、クライアント装置７１では、視点位置距離が視点位置最大値情報により示される距離を超えないオクルージョン画像を選択することができる。

　また、例えばコンテンツ作成者側では、クライアント装置７１に対して、オクルージョン画像を利用して全天球画像の表示を行うことのできるユーザの視点位置を示すことができる。すなわち、表示範囲外通知を表示することで、ユーザが適切な視点位置で全天球画像を見るように誘導することができる。

〈第５の実施の形態〉
〈優先flagや優先度順のシグナリングについて〉
　なお、第３の実施の形態で説明した、オクルージョン画像の優先度を示す優先flagや優先度順は、コンテンツの内容によっては時間方向に変化する可能性がある。

　例えば、注目度の高い物体（オブジェクト）のオクルージョン画像を優先するような優先flagを設定する場合、物体が移動すると、その物体に関連するオクルージョン画像も変化する。したがって、優先flagの値を「１」としたいオクルージョン画像も時間とともに変化することが想定される。

　このように各オクルージョン画像の優先flagや優先度順は時間とともに変化する可能性がある。しかし、第３の実施の形態で説明したように優先flagや優先度順を選択情報値としてMPDファイルに記述する場合、優先flagや優先度順の時間的な変化には対応することは困難である。

　そこで、例えばISO（International Organization for Standardization） base media file formatのQuality情報として優先flagや優先度順を伝送（シグナリング）することで、優先flagや優先度順の時間的な変化に対応できるようにしてもよい。

　例えば優先flagや優先度順は、表示用の全天球画像の生成に用いられ、再生対象となるコンテンツである全天球画像の品質に関わる情報であることからQuality情報であるということができる。

　複数の時刻において異なるQuality情報を伝送する手法としてISO/IEC（International Electrotechnical Commission） 23001-10により示される手法がある。

　ISO/IEC 23001-10ではISO base media file formatを用いてQuality情報をセグメントファイルに格納することができる。すなわち、ISO/IEC 23001-10では、例えば図２２に示すようにセグメントファイル（MP4ファイル）においてQualityMetricsSampleEntryが定義されている。

　そして、セグメントファイルの各Sample（サンプル）にはfield_size_bytesで示される大きさで、metric_count分の個数だけmetric_codeにより示される種類のQuality情報が含まれている。なお、Sampleは全天球画像のフレームに対応する。つまり、セグメントファイルには、全天球画像のフレームごとにオクルージョン画像のQuality情報が含まれている。

　ここで、現状ではfield_size_bytes、metric_count、およびmetric_codeは、図２３に示す通りである。

　すなわち、field_size_bytesはSampleに含まれるQuality情報の１つ（１Quality情報）あたりの大きさ（サイズ）を示しており、metric_countは格納されているQuality情報の数を示している。また、metric_codeは格納されているQuality情報の種類を示している。

　このようにQuality情報を伝送する手法に基づいて、オクルージョン画像の優先flagや優先度順を新たな種類のQuality情報としてmetric_codeでシグナリングできるようすることで、全天球画像としての動画像のフレーム（Sample）ごとに、すなわち時刻ごとに定められた優先flagや優先度順を利用することができるようになる。

　この場合、優先flagや優先度順を示すmetric_codeは、例えば図２４に示すように定めることができる。

　図２４に示す例では、metric_codeが「ocpf」である場合、Quality情報として８ビットで記述された優先flagが格納されている。この場合においても優先flagの値が「１」であるときは、優先的に選択すべきオクルージョン画像であることを示しており、優先flagの値が「０」であるときは、優先的に選択すべきオクルージョン画像でないことを示している。

　また、metric_codeが「ocpn」である場合、Quality情報として符号なしの８ビットのデータである優先度順が格納されている。

　これらの「ocpf」や「ocpn」を示すmetric_codeは、優先flagや優先度順などのオクルージョン画像の優先度に関する情報の種類を示す識別情報であるといえる。

　具体的な例として、例えば上述したユースケースＵ１である場合、図４に示したMPDファイルに対応する、本技術を適用したMPDファイルは図２５に示すようになる。なお、図２５において図４における場合と対応する部分の説明については繰り返しになるので、適宜、省略する。

　図２５に示すMPDファイルは、矢印Ｑ５１および矢印Ｑ５２に示す部分のみ図４に示したMPDファイルと異なっている。すなわち、このMPDファイルでは、Quality値（Quality情報）が含まれているISO base media file（セグメントファイル）がオクルージョン画像ごとにAdaptationSetで指定されている。

　図２５において矢印Ｑ５１に示す部分は、オクルージョン画像１の優先度、つまり優先flagや優先度順に関するQuality情報についてのAdaptationSetとなっている。

　このAdaptationSetでは、codecsの部分に図２４に示したmetric_codeとして「ocpn」が記述されており、この記述から、このAdaptationSetに対応する、オクルージョン画像１についてのQuality情報のセグメントファイルには優先度順が含まれていることが分かる。つまり、codecsの部分により優先flagまたは優先度順を示すmetric_codeをシグナリングすることができるようになされている。

　また、このAdaptationSetには、オクルージョン画像１のテクスチャ情報との関係（関連）を把握することができるように、RepresentationにassociationIdが設定されている。ここでは、RepresentationのassociationIdには、オクルージョン画像１のテクスチャ情報のid「vot1」が用いられて「associationId＝“vot1”」が記述されており、これにより、このAdaptationSetに対応するQuality情報が、オクルージョン画像１に関するものであることが分かる。

　矢印Ｑ５１に示す部分と同様に、矢印Ｑ５２に示す部分もオクルージョン画像の優先度に関するQuality情報についてのAdaptationSetとなっている。この部分では、codecsの部分における「ocpn」と、Representationにおける「associationId＝“vot2”」とから、このAdaptationSetはオクルージョン画像２に関するQuality情報についてのAdaptationSetであり、Quality情報のセグメントファイルには優先度順が含まれていることが分かる。

　なお、ここでは図４に示したMPDファイルにQuality情報についてのAdaptationSetが追加された例について説明したが、図１４に示したMPDファイル等にQuality情報についてのAdaptationSetが追加されるようにしても勿論よい。

　また、ここでは全天球画像のフレームごと、つまりオクルージョン画像のフレームごとに優先flagや優先度順が用意される例について説明する。すなわち、１フレームを時間単位として、各フレームに対して優先flagや優先度順が定められている例について説明する。しかし、これらの優先flagや優先度順は数フレームごと（例えばセグメントごと）など、任意の時間単位ごとに用意されるようにすることができる。

〈選択順リスト生成処理の説明〉
　このようにMPDファイルによりmetric_codeをシグナリングする場合、クライアント装置７１は、MPDファイルの取得後、各オクルージョン画像のQuality情報が格納されたセグメントファイルを取得する。

　これにより、クライアント装置７１は、フレームごとに各オクルージョン画像の優先度に関するQuality情報、すなわち優先flagまたは優先度順を得ることができ、そのようにして得られた優先flagまたは優先度順を用いて選択順リストを生成することができる。

　MPDファイルによりmetric_codeをシグナリングする場合、ファイル生成装置１１では、図７を参照して説明したアップロード処理のステップＳ１２において、セグメントファイル生成部４３は、各オクルージョン画像のQuality情報が格納されたセグメントファイルも生成する。このセグメントファイルには、Quality情報として優先flagまたは優先度順が含まれている。また、ステップＳ１３では、MPDファイル生成部３３は、各オクルージョン画像のQuality情報のmetric_codeが記述されたAdaptationSetを含むMPDファイルを生成する。

　さらに、クライアント装置７１では、図２６に示す選択順リスト生成処理が行われる。すなわち、以下、図２６のフローチャートを参照して、クライアント装置７１による選択順リスト生成処理について説明する。

　なお、ステップＳ２１１の処理は図１８のステップＳ１７１の処理と同様であるので、その説明は省略する。但し、ここで取得されるMPDファイルには、図１３に示した選択情報flagと選択情報値の他、各オクルージョン画像のQuality情報のmetric_codeも含まれている。

　MPDファイルが取得されると、MPDファイル処理部９３は取得されたMPDファイルに基づいて、セグメントファイル取得部９４に対して、各オクルージョン画像のQuality情報が格納されたセグメントファイルの取得を指示する。

　ステップＳ２１２において、セグメントファイル取得部９４はMPDファイル処理部９３の指示に従ってネットワークを介してサーバから各オクルージョン画像のQuality情報が格納されたセグメントファイルを取得し、セグメントファイル処理部１１１に供給する。

　これにより、コンテンツ、つまり全天球画像の品質に関する情報であるQuality情報として、優先flagまたは優先度順が格納されたセグメントファイルが取得されたことになる。

　セグメントファイル処理部１１１は、セグメントファイル取得部９４から供給されたセグメントファイルから、オクルージョン画像ごとに、各フレーム（各時刻）におけるQuality情報を抽出し、MPDファイル処理部９３に供給する。

　MPDファイル処理部９３は、MPDファイルに記述された各オクルージョン画像のmetric_codeによって、セグメントファイル処理部１１１から供給されたQuality情報が優先flagまたは優先度順の何れであるかを特定することができる。

　ステップＳ２１２の処理が行われると、その後、ステップＳ２１３乃至ステップＳ２１９の処理が行われるが、これらの処理は図１８のステップＳ１７２乃至ステップＳ１７８の処理と同様であるので、その説明は省略する。

　ステップＳ２１８またはステップＳ２１９の処理が行われると、ステップＳ２２０においてMPDファイル処理部９３は、セグメントファイルから得られたQuality情報が優先flagであるか否かを判定する。

　ステップＳ２２０において優先flagであると判定された場合、処理はステップＳ２２１へと進む。そして、ステップＳ２２１では、図１８のステップＳ１８０と同様の処理が行われ、その後、処理はステップＳ２１６へと戻り、上述した処理が繰り返し行われる。

　これに対して、ステップＳ２２０において優先flagでない、つまり優先度順であると判定された場合、処理はステップＳ２２２へと進む。そして、ステップＳ２２２では、図１８のステップＳ１８１と同様の処理が行われ、その後、処理はステップＳ２１６へと戻り、上述した処理が繰り返し行われる。

　なお、ステップＳ２１２では各オクルージョン画像について、フレームごとにQuality情報が得られるので、ステップＳ２１３乃至ステップＳ２２２の処理はオクルージョン画像のフレームごと、つまり全天球画像のフレームごとに行われる。この場合、フレームごとに選択順リストが生成され、その後において行われる図１０を参照して説明したファイル取得処理では、各フレームについて得られた選択順リストが用いられて処理が行われることになる。また、複数フレームからなるセグメントごとにステップＳ２１３乃至ステップＳ２２２の処理が行われるようにしてもよい。

　以上のようにしてクライアント装置７１は予めQuality情報を取得しておき、得られたQuality情報に基づいて選択順リストを生成する。このようにすることで優先flagや優先度順の時間的な変化に対応し、より適切なオクルージョン画像を選択することができる。

〈第５の実施の形態の変形例１〉
〈優先flagや優先度順のシグナリングについて〉
　なお、第５の実施の形態では、各フレームの優先flagや優先度順がQuality情報としてセグメントファイルに格納される例について説明した。しかし、各時刻の優先flagや優先度順がMPDファイルに記述されるようにしてもよい。

　上述した第５の実施の形態では、ISO base media file formatのセグメントファイルを取得して、そのセグメントファイルからQuality情報を得る必要があり、処理が複雑になってしまう。

　そこで、各時刻の優先flagや優先度順をMPDファイルに直接、記述することで、MPDファイルのサイズが大きくなってしまうもののMPDファイルのみから各時刻の優先flagや優先度順が得られるようにすることができる。

　例えばMPDファイルに各時刻の優先flagや優先度順を記述する場合、選択情報flagおよび選択情報値に加え、選択情報値が有効なセグメントまたはサブセグメントの個数が記述されるようにされる。

　具体的には、例えば優先flagや優先度順についてのAdaptationSetでは、EssentialPropertyのschemeIdUriが「“urn:mpeg:dash:occlusion-dynamic:2017”」とされ、そのvalueの値に選択情報flagと選択情報値とセグメント（またはサブセグメント）の個数とが記述される。

　このときvalueの値は、コンマで区切られて「“選択情報flag,選択情報値,セグメント（またはサブセグメント）の個数”」とされる。

　ここで、valueに記述される、つまりvalueに含まれるセグメント（またはサブセグメント）の個数は、１つの同じ優先flagや優先度順が用いられる期間を構成する、１または複数のフレームからなるセグメント（またはサブセグメント）の数を示す情報である。換言すれば、valueに含まれるセグメント（またはサブセグメント）の個数は、１つの同じ優先flagや優先度順が用いられる１または複数のセグメント（またはサブセグメント）からなる期間を示す情報である。

　AdaptationSetにおいて、そのようなEssentialPropertyを複数設定することで、例えば１または複数のセグメント（またはサブセグメント）からなる期間（時間）ごとに選択情報値として優先flagや優先度順を指定することができる。なお、ここでは、選択情報flagと選択情報値は、図１７に示したものとされる。

　例えば、あるオクルージョン画像のテクスチャ情報のAdaptationSetに対して、以下の３つのEssentialPropertyが設定されているとする。

　この場合、１つ目のEssentialPropertyは、先頭から100個のセグメント（またはサブセグメント）の優先度順が「２」であることを示しており、２つ目のEssentialPropertyは、次の50個、つまり101番目から150番目のセグメント（またはサブセグメント）の優先度順が「１」であることを示している。さらに、３つ目のEssentialPropertyは、さらにその次の70個、つまり151番目から220番目のセグメント（またはサブセグメント）の優先度順が「２」であることを示している。

　このようにMPDファイルに、いくつかのセグメント（フレーム）からなる期間ごとにEssentialPropertyを設け、各時刻（期間）の優先flagや優先度順を記述することでも優先flagや優先度順の時間的な変化に対応し、適切なオクルージョン画像を選択することができる。

　このような場合には、ファイル生成装置１１では、図７のステップＳ１３において、図１７に示した選択情報flagおよび選択情報値と、期間を示すセグメントの個数とがvalueに含まれるEssentialPropertyが記述されたMPDファイルがMPDファイル生成部３３により生成される。

　また、クライアント装置７１では、図２６を参照して説明した選択順リスト生成処理と同様の処理が行われる。但し、ステップＳ２１２の処理は行われずに、ステップＳ２１１で取得されたMPDファイルから、各セグメント（フレーム）における優先flagや優先度順が読み出されることになる。

　以上のような第５の実施の形態や第５の実施の形態の変形例１では、優先flagや優先度順をISO Base media fileのQuality情報として同時に配信したり、MPDファイルでセグメント（またはサブセグメント）ごとに優先flagや優先度順を配信したりすることで、時間ごとに優先flagや優先度順を変化させることができるようになる。これにより、クライアント装置７１では、時間ごとに適切なオクルージョン画像を選択することができる。

　また、例えばコンテンツの再生開始時におけるユーザの視点位置に応じたオクルージョン画像については、オクルージョン画像をMPDファイルに格納してクライアント装置７１に供給するようにしてもよい。

　そのような場合、例えばクライアント装置７１は、現時刻におけるユーザの視点位置を含み、MPDファイルの送信を要求する送信リクエストを生成し、サーバに送信する。

　すると、クライアント装置７１からの送信リクエストを受信したサーバは、保持している複数のオクルージョン画像のうち、その送信リクエストに含まれるユーザの視点位置に近い位置にあるいくつかのオクルージョン画像を選択する。

　そして、サーバは、選択したオクルージョン画像を含むMPDファイルを生成し、クライアント装置７１へと送信する。このようにすることで、クライアント装置７１は、コンテンツ再生開始直後においては、クライアント装置７１側でオクルージョン画像の選択を行うことなく、適切なオクルージョン画像を得ることができる。なお、その後においては、クライアント装置７１は、上述した各実施の形態で説明した手法によりオクルージョン画像を選択し、サーバから取得する。

　なお、オクルージョン画像を含むMPDファイルを生成する処理は、ファイル生成装置１１により行われてもよい。そのような場合、アップロード部３５が視点位置を含む送信リクエストを受信し、MPDファイル生成部３３が、オクルージョン画像が含まれるMPDファイルを生成し、そのMPDファイルをアップロード部３５がクライアント装置７１に送信する。

〈コンピュータの構成例〉
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

　入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

　以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、本技術は、以下の構成とすることも可能である。

（１）
　MPDファイルに含まれているオクルージョン画像の視点位置に関する情報に基づいて、前記MPDファイルにより示される複数の前記オクルージョン画像のなかから、取得する前記オクルージョン画像を選択するMPDファイル処理部を備える
　画像処理装置。
（２）
　前記MPDファイル処理部は、伝送帯域に応じた個数の前記オクルージョン画像を選択する
　（１）に記載の画像処理装置。
（３）
　前記MPDファイル処理部により選択された前記オクルージョン画像を取得する取得部をさらに備える
　（１）または（２）に記載の画像処理装置。
（４）
　前記MPDファイル処理部は、前記オクルージョン画像の視点位置がユーザの視点位置に近いものから順番に前記オクルージョン画像を選択する
　（１）乃至（３）の何れか一項に記載の画像処理装置。
（５）
　前記オクルージョン画像の視点位置に関する情報は、前記オクルージョン画像の視点位置を示す座標情報である
　（１）乃至（４）の何れか一項に記載の画像処理装置。
（６）
　前記オクルージョン画像の視点位置に関する情報は、基準位置からみた前記オクルージョン画像の視点位置の方向を示す方向情報である
　（１）乃至（４）の何れか一項に記載の画像処理装置。
（７）
　前記オクルージョン画像の視点位置に関する情報は、前記方向情報、および前記基準位置から前記オクルージョン画像の視点位置までの距離を示す距離情報である
　（６）に記載の画像処理装置。
（８）
　前記MPDファイル処理部は、前記オクルージョン画像の視点位置に関する情報、および前記MPDファイルに含まれている前記オクルージョン画像のデプスに関する情報の少なくとも何れか一方に基づいて前記オクルージョン画像を選択する
　（１）乃至（７）の何れか一項に記載の画像処理装置。
（９）
　前記MPDファイルには、前記オクルージョン画像ごとに、前記オクルージョン画像の視点位置に関する情報および前記オクルージョン画像のデプスに関する情報のうちの何れの情報が含まれているかを示す選択情報と、前記選択情報により示される情報とが含まれている
　（８）に記載の画像処理装置。
（１０）
　前記MPDファイル処理部は、前記オクルージョン画像の優先度に関する情報をさらに用いて前記オクルージョン画像を選択する
　（１）乃至（９）の何れか一項に記載の画像処理装置。
（１１）
　前記MPDファイル処理部は、時刻ごとに定められた前記オクルージョン画像の優先度に関する情報を用いて、各時刻の前記オクルージョン画像を選択する
　（１０）に記載の画像処理装置。
（１２）
　前記MPDファイルには、各前記オクルージョン画像について、複数の期間ごとに、前記期間を示す情報と、前記期間における前記オクルージョン画像の優先度に関する情報とが含まれている
　（１１）に記載の画像処理装置。
（１３）
　前記オクルージョン画像の優先度に関する情報は、前記オクルージョン画像が用いられて再生されるコンテンツの品質に関する情報が格納されるファイルに含まれている
　（１１）に記載の画像処理装置。
（１４）
　前記MPDファイルには、前記オクルージョン画像を利用可能な、ユーザの視点位置の範囲を示す視点位置情報が含まれており、
　前記MPDファイル処理部は、前記視点位置情報に基づいて、前記複数の前記オクルージョン画像のうちの前記ユーザの視点位置が前記範囲内となる前記オクルージョン画像のなかから、取得する前記オクルージョン画像を選択する
　（１）乃至（１３）の何れか一項に記載の画像処理装置。
（１５）
　前記ユーザの視点位置が前記範囲内となる前記オクルージョン画像がない場合、前記ユーザの視点位置が、前記オクルージョン画像が用いられて再生されるコンテンツの表示範囲外である旨の表示情報を生成して出力する表示情報生成部をさらに備える
　（１４）に記載の画像処理装置。
（１６）
　MPDファイルに含まれているオクルージョン画像の視点位置に関する情報に基づいて、前記MPDファイルにより示される複数の前記オクルージョン画像のなかから、取得する前記オクルージョン画像を選択する
　ステップを含む画像処理方法。
（１７）
　MPDファイルに含まれているオクルージョン画像の視点位置に関する情報に基づいて、前記MPDファイルにより示される複数の前記オクルージョン画像のなかから、取得する前記オクルージョン画像を選択する
　ステップを含む処理をコンピュータに実行させるプログラム。
（１８）
　複数のオクルージョン画像について、前記オクルージョン画像の視点位置に関する情報を含むMPDファイルを生成するMPDファイル生成部と、
　前記MPDファイルを送信する通信部と
　を備えるファイル生成装置。
（１９）
　前記オクルージョン画像の視点位置に関する情報は、前記オクルージョン画像の視点位置を示す座標情報である
　（１８）に記載のファイル生成装置。
（２０）
　前記オクルージョン画像の視点位置に関する情報は、基準位置からみた前記オクルージョン画像の視点位置の方向を示す方向情報である
　（１８）に記載のファイル生成装置。
（２１）
　前記オクルージョン画像の視点位置に関する情報は、前記方向情報、および前記基準位置から前記オクルージョン画像の視点位置までの距離を示す距離情報である
　（２０）に記載のファイル生成装置。
（２２）
　前記MPDファイルには、前記オクルージョンごとに、前記オクルージョン画像の視点位置に関する情報、および前記オクルージョン画像のデプスに関する情報の少なくとも何れか一方が含まれている
　（１８）乃至（２１）の何れか一項に記載のファイル生成装置。
（２３）
　前記MPDファイルには、前記オクルージョン画像ごとに、前記オクルージョン画像の視点位置に関する情報および前記オクルージョン画像のデプスに関する情報のうちの何れの情報が含まれているかを示す選択情報と、前記選択情報により示される情報とが含まれている
　（２２）に記載のファイル生成装置。
（２４）
　前記MPDファイルには、前記オクルージョン画像の優先度に関する情報が含まれている
　（１８）乃至（２３）の何れか一項に記載のファイル生成装置。
（２５）
　前記MPDファイルには、各前記オクルージョン画像について、複数の期間ごとに、前記期間を示す情報と、前記期間における前記オクルージョン画像の優先度に関する情報とが含まれている
　（２４）に記載のファイル生成装置。
（２６）
　前記MPDファイルには、前記オクルージョン画像を利用可能なユーザの視点位置の範囲を示す視点位置情報が含まれている
　（１８）乃至（２５）の何れか一項に記載のファイル生成装置。
（２７）
　複数のオクルージョン画像について、前記オクルージョン画像の視点位置に関する情報を含むMPDファイルを生成し、
　前記MPDファイルを送信する
　ステップを含むファイル生成方法。
（２８）
　複数のオクルージョン画像について、前記オクルージョン画像の視点位置に関する情報を含むMPDファイルを生成し、
　前記MPDファイルを送信する
　ステップを含む処理をコンピュータに実行させるプログラム。

　１１　ファイル生成装置，　３３　MPDファイル生成部，　３５　アップロード部，　７１　クライアント装置，　９３　MPDファイル処理部，　９４　セグメントファイル取得部，　１１３　表示情報生成部

Claims

　MPDファイルに含まれているオクルージョン画像の視点位置に関する情報に基づいて、前記MPDファイルにより示される複数の前記オクルージョン画像のなかから、取得する前記オクルージョン画像を選択するMPDファイル処理部を備える
　画像処理装置。
　前記MPDファイル処理部は、伝送帯域に応じた個数の前記オクルージョン画像を選択する
　請求項１に記載の画像処理装置。
　前記MPDファイル処理部により選択された前記オクルージョン画像を取得する取得部をさらに備える
　請求項１に記載の画像処理装置。
　前記MPDファイル処理部は、前記オクルージョン画像の視点位置がユーザの視点位置に近いものから順番に前記オクルージョン画像を選択する
　請求項１に記載の画像処理装置。
　前記オクルージョン画像の視点位置に関する情報は、前記オクルージョン画像の視点位置を示す座標情報である
　請求項１に記載の画像処理装置。
　前記オクルージョン画像の視点位置に関する情報は、基準位置からみた前記オクルージョン画像の視点位置の方向を示す方向情報である
　請求項１に記載の画像処理装置。
　前記オクルージョン画像の視点位置に関する情報は、前記方向情報、および前記基準位置から前記オクルージョン画像の視点位置までの距離を示す距離情報である
　請求項６に記載の画像処理装置。
　前記MPDファイル処理部は、前記オクルージョン画像の視点位置に関する情報、および前記MPDファイルに含まれている前記オクルージョン画像のデプスに関する情報の少なくとも何れか一方に基づいて前記オクルージョン画像を選択する
　請求項１に記載の画像処理装置。
　前記MPDファイルには、前記オクルージョン画像ごとに、前記オクルージョン画像の視点位置に関する情報および前記オクルージョン画像のデプスに関する情報のうちの何れの情報が含まれているかを示す選択情報と、前記選択情報により示される情報とが含まれている
　請求項８に記載の画像処理装置。
　前記MPDファイル処理部は、前記オクルージョン画像の優先度に関する情報をさらに用いて前記オクルージョン画像を選択する
　請求項１に記載の画像処理装置。
　前記MPDファイル処理部は、時刻ごとに定められた前記オクルージョン画像の優先度に関する情報を用いて、各時刻の前記オクルージョン画像を選択する
　請求項１０に記載の画像処理装置。
　前記MPDファイルには、各前記オクルージョン画像について、複数の期間ごとに、前記期間を示す情報と、前記期間における前記オクルージョン画像の優先度に関する情報とが含まれている
　請求項１１に記載の画像処理装置。
　前記オクルージョン画像の優先度に関する情報は、前記オクルージョン画像が用いられて再生されるコンテンツの品質に関する情報が格納されるファイルに含まれている
　請求項１１に記載の画像処理装置。
　前記MPDファイルには、前記オクルージョン画像を利用可能な、ユーザの視点位置の範囲を示す視点位置情報が含まれており、
　前記MPDファイル処理部は、前記視点位置情報に基づいて、前記複数の前記オクルージョン画像のうちの前記ユーザの視点位置が前記範囲内となる前記オクルージョン画像のなかから、取得する前記オクルージョン画像を選択する
　請求項１に記載の画像処理装置。
　前記ユーザの視点位置が前記範囲内となる前記オクルージョン画像がない場合、前記ユーザの視点位置が、前記オクルージョン画像が用いられて再生されるコンテンツの表示範囲外である旨の表示情報を生成して出力する表示情報生成部をさらに備える
　請求項１４に記載の画像処理装置。
　MPDファイルに含まれているオクルージョン画像の視点位置に関する情報に基づいて、前記MPDファイルにより示される複数の前記オクルージョン画像のなかから、取得する前記オクルージョン画像を選択する
　ステップを含む画像処理方法。
　MPDファイルに含まれているオクルージョン画像の視点位置に関する情報に基づいて、前記MPDファイルにより示される複数の前記オクルージョン画像のなかから、取得する前記オクルージョン画像を選択する
　ステップを含む処理をコンピュータに実行させるプログラム。
　複数のオクルージョン画像について、前記オクルージョン画像の視点位置に関する情報を含むMPDファイルを生成するMPDファイル生成部と、
　前記MPDファイルを送信する通信部と
　を備えるファイル生成装置。
　複数のオクルージョン画像について、前記オクルージョン画像の視点位置に関する情報を含むMPDファイルを生成し、
　前記MPDファイルを送信する
　ステップを含むファイル生成方法。
　複数のオクルージョン画像について、前記オクルージョン画像の視点位置に関する情報を含むMPDファイルを生成し、
　前記MPDファイルを送信する
　ステップを含む処理をコンピュータに実行させるプログラム。