WO2022065040A1

WO2022065040A1 - 情報処理装置、情報処理方法、および情報処理システム

Info

Publication number: WO2022065040A1
Application number: PCT/JP2021/033075
Authority: WO
Inventors: 翔小倉
Original assignee: ソニーグループ株式会社
Priority date: 2020-09-23
Filing date: 2021-09-09
Publication date: 2022-03-31
Also published as: US20230300309A1; EP4221234A1; JPWO2022065040A1; CN116137954A; EP4221234A4

Abstract

本開示は、より好適な広範囲画像の配信を実現することができるようにする情報処理装置、情報処理方法、および情報処理システムに関する。制御部は、画像のうち、表示装置に対するユーザの視点に対応する視点領域を第１の解像度で、画像において設定されたお薦め領域を第２の解像度で、その他の領域を第１の解像度と第２の解像度より低い第３の解像度で符号化するよう制御する。本開示は、例えば、画像配信システムに適用することができる。

Description

情報処理装置、情報処理方法、および情報処理システム

　本開示は、情報処理装置、情報処理方法、および情報処理システムに関し、特に、より好適な広範囲画像の配信を実現することができるようにした情報処理装置、情報処理方法、および情報処理システムに関する。

　通常、ＶＲ（Virtual Reality）画像のようなパノラマ画像を、ＨＭＤ（Head Mounted Display）やタブレット端末などの表示デバイスで視聴する場合、パノラマ画像の一部領域のみが表示される。

　このようなパノラマ画像の高効率な配信手法として、ヘッドトラッキングやアイトラッキングを用いて、ユーザの視聴領域を高解像度で、それ以外の領域を低解像度で配信する手法が知られており、帯域の節約と表示デバイスの負荷軽減が実現されている。

　例えば、特許文献１には、ユーザに提示する現在提示領域を含む部分映像については高解像度の映像データを配信し、その他の部分映像については低解像度の映像データを配信する映像配信方法が開示されている。

特開２０１６－１６７６９９号公報

　しかしながら、従来の技術では、視聴方向が変更された場合に、パノラマ画像を好適に配信できないことがあった。

　本開示は、このような状況に鑑みてなされたものであり、より好適な広範囲画像の配信を実現することができるようにするものである。

　本開示の第１の側面の情報処理装置は、画像のうち、表示装置に対するユーザの視点に対応する視点領域を第１の解像度で、前記画像において設定されたお薦め領域を第２の解像度で、その他の領域を前記第１の解像度と前記第２の解像度より低い第３の解像度で符号化するよう制御する制御部を備える情報処理装置である。

　本開示の第１の側面の情報処理方法は、情報処理装置が、画像のうち、表示装置に対するユーザの視点に対応する視点領域を第１の解像度で、前記画像において設定されたお薦め領域を第２の解像度で、その他の領域を前記第１の解像度と前記第２の解像度より低い第３の解像度で符号化するよう制御する情報処理方法である。

　本開示の第２の側面の情報処理装置は、配信サーバから伝送される画像のうち、ユーザの視点に対応する視点領域を第１の解像度で符号化された画像データと、前記画像において設定されたお薦め領域を第２の解像度で符号化された前記画像データを、異なる伝送路を介して取得するよう制御する取得制御部と、前記画像データに基づいて、前記視点領域を表示する表示制御部とを備え、前記表示制御部は、前記ユーザの視点が前記お薦め領域に移動した場合、前記視点領域に代えて、前記お薦め領域を表示する情報処理装置である。

　本開示の第２の側面の情報処理方法は、情報処理装置が、配信サーバから伝送される画像のうち、ユーザの視点に対応する視点領域を第１の解像度で符号化された画像データと、前記画像において設定されたお薦め領域を第２の解像度で符号化された前記画像データを、異なる伝送路を介して取得するよう制御し、前記画像データに基づいて、前記視点領域を表示し、前記ユーザの視点が前記お薦め領域に移動した場合、前記視点領域に代えて、前記お薦め領域を表示する情報処理方法である。

　本開示の第３の側面の情報処理システムは、配信サーバと、表示装置とを含み、前記配信サーバは、画像のうち、前記表示装置に対するユーザの視点に対応する視点領域を第１の解像度で、前記画像において設定されたお薦め領域を第２の解像度で、その他の領域を前記第１の解像度と前記第２の解像度より低い第３の解像度で符号化するよう制御する制御部を備える情報処理システムである。

　本開示の第１および第３の側面においては、画像のうち、前記表示装置に対するユーザの視点に対応する視点領域を第１の解像度で、前記画像において設定されたお薦め領域を第２の解像度で、その他の領域を前記第１の解像度と前記第２の解像度より低い第３の解像度で符号化するよう制御される。

　本開示の第２の側面においては、配信サーバから伝送される画像のうち、ユーザの視点に対応する視点領域を第１の解像度で符号化された画像データと、前記画像において設定されたお薦め領域を第２の解像度で符号化された前記画像データを、異なる伝送路を介して取得するよう制御され、前記画像データに基づいて、前記視点領域が表示され、前記ユーザの視点が前記お薦め領域に移動した場合、前記視点領域に代えて、前記お薦め領域が表示される。

本開示の実施の形態に係る画像配信システムの概要を示す図である。画像配信システムの機能構成例を示すブロック図である。広範囲画像の各領域の配信の例を示す図である。ＲＷＰデータの例を示す図である。お薦め領域を含む画像データの例を示す図である。表示装置の動作の流れについて説明するフローチャートである。配信サーバの動作の流れについて説明するフローチャートである。お薦め領域の例を示す図である。お薦め領域の例を示す図である。お薦め領域の例を示す図である。画像配信システムの他の機能構成例を示すブロック図である。広範囲画像の各領域の配信の例を示す図である。階層構造データについて説明する図である。表示装置の動作の流れについて説明するフローチャートである。複数のお薦め領域が存在する場合の処理の例を示す図である。複数のお薦め領域が存在する場合の処理の例を示す図である。複数のお薦め領域が存在する場合の処理の例を示す図である。視点領域とお薦め領域が重なる場合の処理の例を示す図である。視点領域とお薦め領域が重なる場合の処理の例を示す図である。視点領域とお薦め領域が重なる場合の処理の例を示す図である。視点領域とお薦め領域が重なる場合の処理の例を示す図である。コンピュータのハードウェアの構成例を示すブロック図である。

　以下、本開示を実施するための形態（以下、実施の形態とする）について説明する。なお、説明は以下の順序で行う。

　１．画像配信システムの概要
　２．第１の実施の形態（１のストリームによる配信）
　３．お薦め領域のバリエーション
　４．第２の実施の形態（複数のストリームによる配信）
　５．お薦め領域に応じた処理の例
　６．コンピュータの構成例

＜１．画像配信システムの概要＞
　図１は、本実施の形態に係る画像配信システムの概要を示す図である。

　図１に示されるように、画像配信システム１は、配信サーバ１０と、ネットワークＮＷを介して配信サーバ１０に接続される表示装置２０を含むように構成される。

　配信サーバ１０は、インターネットなどのネットワークＮＷ上に構築される、いわゆるクラウドコンピューティングを構成する。配信サーバ１０には、映像コンテンツとして、３６０度カメラにより実空間を撮影した全天球画像や、ＣＧ（Computer Graphics）により生成された３６０度ＣＧ画像などのＶＲ画像といった、表示装置２０の表示領域に表示可能な範囲よりも広い範囲が映る画像（以下、広範囲画像ともいう）がアップロードされる。広範囲画像には、３６０度全周が視聴可能な３６０度画像に限らず、例えば周囲１８０度が視聴可能な１８０度画像なども含まれるものとする。以下においては、広範囲画像は、動画像であるものとするが、静止画像であってもよい。

　配信サーバ１０は、アップロードされた映像コンテンツ（広範囲画像）を、ネットワークＮＷを介して表示装置２０に配信する。映像コンテンツの配信は、リアルタイム配信であってもよいし、ＶＯＤ（Video On Demand）配信であってもよい。

　表示装置２０は、ＨＭＤ（Head Mounted Display）やタブレット端末などとして構成される。表示装置２０が、ＨＭＤとして構成される場合、表示装置２０の表示領域（表示部）には、ユーザの視点（頭の向きや視線の方向）に応じて、映像コンテンツの一部領域のみが表示される。また、表示装置２０が、タブレット端末として構成される場合、ユーザの操作（表示部としてのタッチパネルに対するタッチ入力や、ジャイロセンサにより検知されるタブレット端末の傾きなど）に応じて、映像コンテンツの一部領域のみが表示される。

　具体的には、配信サーバ１０は、アップロードされた映像コンテンツに基づいて、映像コンテンツを領域毎（視点毎）に符号化した視点画像を生成する。表示装置２０は、ユーザの視点に応じて視点画像を配信サーバ１０に要求することで、ユーザの視点に対応する視点画像を取得する。

　このとき、配信サーバ１０は、ユーザの視点に対応する視点領域を高解像度で、映像コンテンツにおいて設定されたお薦め領域を中解像度で、その他の領域を低解像度で配信する。これにより、ユーザが注目する可能性の高いお薦め領域に、ユーザの視点が移動した場合であっても、ユーザは、一定程度の品質の画像を視聴することができる。

　ここで、高解像度とは、表示装置２０に対応する解像度のうちの最も高い解像度、映像コンテンツとして保証される最高の品質を実現する解像度、または、カメラにより撮影された画像のままの解像度などをいう。一方、低解像度とは、高解像度よりも低い解像であり、映像コンテンツとして破綻なく視聴可能な最低限の解像度などをいう。そして、中解像度は、高解像度よりも低く、低解像度よりも高い解像度をいう。中解像度は、配信帯域などにも影響を受ける中で、可能な限り高解像度に近い解像度としてもよいし、配信帯域に余裕がある環境においては、高解像度と同じ解像度としてもよい。

　これらの解像度（高解像度、中解像度、低解像度）は、画像配信システム１によらずにあらかじめ決められていてもよいし、画像配信システム１毎に設定可能とされてもよい。また、これらの解像度は、ユーザにより、適宜設定可能とされてもよい。

　以下においては、本実施の形態に係る画像配信システムの具体的な構成について説明する。

＜２．第１の実施の形態＞
（画像配信システムのブロック図）
　図２は、第１の実施の形態に係る画像配信システム１の機能構成例を示すブロック図である。

　図２の画像配信システム１は、配信サーバ１０と表示装置２０に加え、カメラ３１とセンサ３２を含むように構成される。

　カメラ３１とセンサ３２は、ドラマや映画などの演者を撮影する撮影現場や、アーティストのライブを収録するライブ会場、サッカーやラグビー、陸上などのスポーツイベントにおいて選手や監督を撮影する競技場などに設置され、演者やアーティスト、選手などを撮影・センシングする。

　カメラ３１は、広範囲画像を撮影可能に構成され、例えば３６０度カメラとして構成される。この場合、カメラ３１により撮影現場やライブ会場、競技場などが撮影された全天球画像は、広範囲画像として配信サーバ１０にアップロードされる。

　センサ３２は、カメラ３１により撮影される演者やアーティスト、選手などの被写体の位置（距離）を取得可能に構成され、例えばステレオカメラやデプスセンサなどとして構成される。センサ３２によりセンシングされた演者やアーティスト、選手のセンシング結果もまた、広範囲画像とともに配信サーバ１０にアップロードされる。広範囲画像とセンシング結果とは、互いに同期していることが好ましい。なお、センサ３２は、演者やアーティスト、選手などに直接装着されるように構成されてもよい。

　配信サーバ１０は、エンコーダ５１、伝送部５２、および制御部５３を含むように構成される。

　エンコーダ５１は、制御部５３の制御の下、カメラ３１により撮影された広範囲画像を領域毎に符号化することで、広範囲画像の各領域が符号化された画像データを生成する。

　伝送部５２は、制御部５３の制御の下、エンコーダ５１により生成された画像データのうち、表示装置２０からの取得要求に応じた画像データを、１のストリームとして表示装置２０に伝送する。

　制御部５３は、エンコーダ５１と伝送部５２を含む配信サーバ１０の各部を制御する。

　具体的には、制御部５３は、エンコーダ５１による領域毎の画像データの生成を制御したり、伝送部５２による画像データの伝送を制御したりする。

　例えば、制御部５３は、広範囲画像のうち、表示装置２０に対するユーザの視点に対応する視点領域を第１の解像度で、広範囲画像において設定されたお薦め領域を第２の解像度で、それ以外のその他の領域を第１の解像度と第２の解像度より低い第３の解像度で符号化するよう制御する。お薦め領域は、広範囲画像を視聴するユーザに特に注目してもらいたい領域とされる。第１の解像度は、第２の解像度より高いかまたは同じ解像度とされる。ここでは、エンコーダ５１により、視点領域が高解像度で、お薦め領域が中解像度で、その他の領域が低解像度で符号化された画像データが生成される。

　お薦め領域は、センサ３２からの広範囲画像における被写体のセンシング結果、撮影現場やライブ会場、競技場に立ち会った監督や撮影スタッフなどの操作を表す操作情報、配信された広範囲画像を視聴した他のユーザの視聴履歴を表す視聴履歴情報などに基づいて設定される。広範囲画像においては、時間的にも空間的にも複数のお薦め領域が設定可能とされる。

　また、制御部５３は、広範囲画像において設定されたお薦め領域を表すお薦め領域情報を生成する。お薦め領域情報は、広範囲画像におけるお薦め領域の時間的位置（再生時間）と空間的位置（方向）を含む。

　制御部５３は、伝送部５２から表示装置２０に伝送される画像データに同期して、お薦め領域情報を表示装置２０に供給する。お薦め領域情報は、画像データのメタデータとして画像データにパッキングされて、表示装置２０に伝送されてもよい。

　表示装置２０は、お薦め領域情報取得部７１、視点情報取得部７２、取得制御部７３、バッファ７４、デコーダ７５、表示制御部７６、および表示部７７を含むように構成される。

　お薦め領域情報取得部７１は、配信サーバ１０からお薦め領域情報を取得し、取得制御部７３に供給する。

　視点情報取得部７２は、広範囲画像を視聴するユーザの視点を表す視点情報を取得し、取得制御部７３とデコーダ７５に供給する。視点情報は、アイトラッキングにより得られた視線検出結果であってもよいし、ヘッドトラッキングにより得られた頭部の向きや姿勢を表す情報であってもよい。

　取得制御部７３は、視点情報取得部７２からの視点情報に基づいて、ユーザの視点に対応する視点領域の画像データの取得を、配信サーバ１０に要求する。

　この結果、バッファ７４は、ユーザの視点に対応する視点領域の画像データ（高解像度の画像データ）を取得する。また、バッファ７４は、視点領域の画像データとともに、中解像度のお薦め領域の画像データと、低解像度のその他の領域の画像データを取得する。取得された画像データは、一時的にバッファ７４に保持され、順次、デコーダ７５に供給される。

　デコーダ７５は、視点情報取得部７２からの視点情報に基づいて、バッファ７４から順次供給される、ユーザの視点に対応する画像データを復号し、表示制御部７６に供給する。

　表示制御部７６は、デコーダ７５により復号された画像データに基づいて、高解像度の視点領域を、ディスプレイとして構成される表示部７７に表示させる。

（広範囲画像の配信について）
　ここで、図２の画像配信システム１における広範囲画像の配信について説明する。

　図３は、広範囲画像の各領域の配信の例を示す図である。

　図３に示される広範囲画像Ｐ１０において、ユーザの視点に対応する視点領域Ｖ１１と、お薦め領域Ｒ１２が設定されているとする。この場合、図２の画像配信システム１においては、視点領域Ｖ１１が高解像度で符号化され、お薦め領域Ｒ１２が中解像度で符号化され、その他の領域が低解像度で符号化された画像データが、１のストリームとして伝送される。例えば、画像データは、広範囲画像の各フレームを領域毎に解像度を変更してパッキングしたＲＷＰ（Region Wise Packing）データとして伝送される。

　図４は、ＲＷＰデータの例を示す図である。

　ＲＷＰデータは、例えば１１Ｋサイズの広範囲画像（の各フレーム）が領域毎に位置とサイズを変更して、各領域が全体で矩形になるように２次元面上に配置されて４Ｋサイズにパッキングされた符号化データである。図４の例では、ＶＲ画像の１フレームにおける５つの領域が、それぞれViewport（表示領域）としてパッキングされた５つのＲＷＰデータが示されている。

　図４のＡ図には、ＶＲ画像において、Viewport１で示される領域が高解像度で、Ａ，Ｂで示される領域が中解像度で、Ｘ，Ｙで示される領域が低解像度でパッキングされたＲＷＰデータが示されている。ここでは、Viewport１は、ユーザの斜め左後方の視点領域に対応し、例えばユーザの視点が斜め左後方に移動した場合に、Ａ図のＲＷＰデータが表示装置２０に伝送される。

　図４のＢ図には、ＶＲ画像において、Viewport２で示される領域が高解像度で、Ａ，Ｂで示される領域が中解像度で、Ｘ，Ｙで示される領域が低解像度でパッキングされたＲＷＰデータが示されている。ここでは、Viewport２は、ユーザの左方の視点領域に対応し、例えばユーザの視点が左方に移動した場合に、Ｂ図のＲＷＰデータが表示装置２０に伝送される。

　図４のＣ図には、ＶＲ画像において、Viewport３で示される領域が高解像度で、Ａ，Ｂで示される領域が中解像度で、Ｘ，Ｙで示される領域が低解像度でパッキングされたＲＷＰデータが示されている。ここでは、Viewport３は、ユーザの正面の視点領域に対応し、ユーザの視点が正面にある場合には、Ｃ図のＲＷＰデータが表示装置２０に伝送される。

　図４のＤ図には、ＶＲ画像において、Viewport４で示される領域が高解像度で、Ａ，Ｂで示される領域が中解像度で、Ｘ，Ｙで示される領域が低解像度でパッキングされたＲＷＰデータが示されている。ここでは、Viewport４は、ユーザの右方の視点領域に対応し、例えばユーザの視点が右方に移動した場合に、Ｄ図のＲＷＰデータが表示装置２０に伝送される。

　図４のＥ図には、ＶＲ画像において、Viewport５で示される領域が高解像度で、Ａ，Ｂで示される領域が中解像度で、Ｘ，Ｙで示される領域が低解像度でパッキングされたＲＷＰデータが示されている。ここでは、Viewport５は、ユーザの斜め右後方の視点領域に対応し、例えばユーザの視点が斜め右後方に移動した場合に、Ｅ図のＲＷＰデータが表示装置２０に伝送される。

　このようにして、本実施の形態においては、画像データとしてＲＷＰデータが伝送される。例えば、図３の広範囲画像Ｐ１０が符号化された画像データが伝送される場合、図５に示されるような、視点領域Ｖ１１が高解像度で、お薦め領域Ｒ１２が中解像度で、その他の領域が低解像度でパッキングされたＲＷＰデータが伝送される。

（表示装置の動作の流れ）
　次に、図６のフローチャートを参照して、表示装置２０の動作の流れについて説明する。

　図６の処理は、基本的には、例えば表示部７７における画像の描画速度に合わせたタイミングで繰り返される。

　ステップＳ１１において、お薦め領域情報取得部７１は、配信サーバ１０からお薦め領域情報を取得する。

　ステップＳ１２において、視点情報取得部７２は、広範囲画像を視聴するユーザの視点を表す視点情報を取得する。

　ステップＳ１３において、取得制御部７３は、視点情報取得部７２により取得された視点情報に基づいて、ユーザの視点が大きく変化したか否かを判定する。

　ステップＳ１３において、ユーザの視点が大きく変化していないと判定された場合、処理はステップＳ１４に進む。

　ステップＳ１４において、取得制御部７３は、そのときのユーザの視点に対応する視点領域が高解像度で、ステップＳ１１において取得されたお薦め領域情報で表されるお薦め領域が中解像度の画像データの取得を、配信サーバ１０に要求する。バッファ７４は、取得制御部７３の要求に応じて配信サーバ１０から伝送されてくる画像データを取得する。

　ステップＳ１５において、デコーダ７５は、１つ前のタイミングでバッファ７４により取得された画像データを復号し、表示制御部７６は、デコーダ７５により復号された画像データに基づいて、高解像度の視点領域を表示部７７に表示させる。ステップＳ１５の後、処理はステップＳ１１に戻り、以降の処理が繰り返される。

　一方、ステップＳ１３において、ユーザの視点が大きく変化したと判定された場合、処理はステップＳ１６に進む。

　ステップＳ１６において、取得制御部７３は、視点情報取得部７２により取得された視点情報に基づいて、ユーザの視点がお薦め領域に移動したか否かを判定する。

　ステップＳ１６において、ユーザの視点がお薦め領域に移動したと判定された場合、処理はステップＳ１７に進む。

　ステップＳ１７において、取得制御部７３は、お薦め領域が高解像度の画像データの取得を、配信サーバ１０に要求する。バッファ７４は、取得制御部７３の要求に応じて配信サーバ１０から伝送されてくる画像データを取得する。

　ステップＳ１８において、デコーダ７５は、１つ前のタイミングでバッファ７４により取得された画像データを復号し、表示制御部７６は、デコーダ７５により復号された画像データに基づいて、中解像度のお薦め領域を表示部７７に表示させる。ステップＳ１８の後、処理はステップＳ１１に戻り、以降の処理が繰り返される。以降の処理においては、お薦め領域を視点領域とした高解像度の画像データが、配信サーバ１０から取得されることになる。

　さて、ステップＳ１６において、ユーザの視点がお薦め領域に移動していないと判定された場合、すなわち、ユーザの視点がお薦め領域以外のその他の領域に移動した場合、処理はステップＳ１９に進む。

　ステップＳ１９において、取得制御部７３は、視点情報取得部７２により取得された視点情報に基づいて、広範囲画像の各領域のうち、取得すべき領域を表す取得領域情報を更新する。

　ステップＳ２０において、取得制御部７３は、更新された取得領域情報で表される、ユーザの視点が変化した後の視点領域となる変化後視点領域が高解像度の画像データの取得を、配信サーバ１０に要求する。バッファ７４は、取得制御部７３の要求に応じて配信サーバ１０から伝送されてくる画像データを取得する。

　ステップＳ２１において、表示制御部７６は、高解像度の変化後視点領域を表示可能であるか否かを判定する。このとき、１つ前のタイミングでバッファ７４により取得された画像データに含まれる変化後視点領域は低解像度であることから、高解像度の変化後視点領域を表示可能ではないと判定され、処理はステップＳ２２に進む。

　ステップＳ２２において、デコーダ７５は、１つ前のタイミングでバッファ７４により取得された画像データを復号し、表示制御部７６は、デコーダ７５により復号された画像データに基づいて、これまでの（高解像度の）視点領域を表示部７７に表示させる。ステップＳ２２の後、処理はステップＳ２０に戻り、ステップＳ２０，Ｓ２１が繰り返される。ステップＳ２０，Ｓ２１もまた、表示部７７における画像の描画速度に合わせたタイミングで繰り返される。

　一方、ステップＳ２１において、高解像度の変化後視点領域を表示可能であると判定された場合、ステップＳ２３に進み、デコーダ７５は、１つ前のタイミングでバッファ７４により取得された画像データを復号し、表示制御部７６は、デコーダ７５により復号された画像データに基づいて、高解像度の変化後視点領域を表示部７７に表示させる。ステップＳ２３の後、処理はステップＳ１１に戻り、以降の処理が繰り返される。

　以上のように、バッファ７４においては、高解像度の視点領域とともに、中解像度のお薦め領域がバッファリングされる。これにより、ユーザの視点がお薦め領域以外のその他の領域に移動したときには、視聴領域が高解像度になるまでに遅延が発生するものの、ユーザの視点がお薦め領域に移動したときには、ユーザが注目する可能性の高いお薦め領域が中解像度で表示されるので、ユーザは、一定程度の品質の画像を視聴することが可能となる。

（配信サーバの動作の流れ）
　続いて、図７のフローチャートを参照して、配信サーバ１０の動作の流れについて説明する。

　図７の処理もまた、基本的には、例えば表示装置２０（表示部７７）における画像の描画速度に合わせたタイミングで繰り返される。

　ステップＳ３１において、制御部５３は、広範囲画像の各フレームについて、広範囲画像の各領域を異なる解像度で符号化するよう、エンコーダ５１を制御する。

　例えば、広範囲画像の各領域がそれぞれViewportとしてパッキングされた５つのＲＷＰデータが生成される。このとき、各ＲＷＰデータにおいて、お薦め領域に設定される領域がある場合には、その領域は中解像度でパッキングされるようにする。但し、お薦め領域に設定される領域がViewportとしてパッキングされるＲＷＰデータは、この限りではない。

　ステップＳ３２において、制御部５３は、表示装置２０からの画像データの要求に基づいて、エンコーダ５１により符号化された画像データから、表示装置２０の要求に応じた画像データを、表示装置２０への伝送対象として選択する。

　例えば、ユーザの視点を表す視点情報に基づいた表示装置２０からの要求に応じて、そのユーザの視点に対応する視点領域がViewportとしてパッキングされたＲＷＰデータが、表示装置２０への伝送対象として選択される。また、ユーザの視点がお薦め領域に移動した場合には、表示装置２０からの要求に応じて、お薦め領域がViewportとしてパッキングされたＲＷＰデータが、表示装置２０への伝送対象として選択される。

　ステップＳ３３において、制御部５３は、表示装置２０への伝送対象として選択された画像データを表示装置２０へ伝送するよう、伝送部５２を制御する。ステップＳ３３の後、処理はステップＳ３１に戻り、以降の処理が繰り返される。

　以上の処理によれば、広範囲画像の各領域が高解像度で符号化された画像データとして、中解像度のお薦め領域を含む画像データが表示装置２０へ配信される。これにより、ユーザが注目する可能性の高いお薦め領域に、ユーザの視点が移動した場合であっても、ユーザは、一定程度の品質の画像を遅延なく視聴することができ、より好適な広範囲画像の配信を実現することが可能となる。

　なお、以上においては、表示装置２０からの要求によらずに、広範囲画像の各領域が異なる解像度で符号化された複数の画像データが生成されるものとした。

　これに限らず、配信サーバ１０が、表示装置２０からのユーザの視点を表す視点情報や、お薦め領域を表すお薦め領域情報に基づいた要求を受ける度に、広範囲画像の各領域のうち、ユーザの視点に対応する領域を高解像度で、お薦め領域に対応する領域を中解像度で符号化した画像データを生成するようにしてもよい。

＜３．お薦め領域のバリエーション＞
　ここで、広範囲画像において設定されるお薦め領域のバリエーションについて説明する。

　広範囲画像においては、空間的に複数のお薦め領域が設定されてもよい。

　例えば、図８に示される広範囲画像Ｐ２０のように、ユーザの視点に対応する視点領域Ｖ２１に加え、２つのお薦め領域Ｒ２２，Ｒ２３が設定されるようにする。

　この場合、ユーザの操作、嗜好、および視線遷移の少なくともいずれかに基づいて、１つのお薦め領域が、最終的なお薦め領域として選択される。

　すなわち、最終的なお薦め領域は、ユーザにより選択されてもよいし、ユーザの嗜好に基づいて自動的に選択されてもよい。また、最終的なお薦め領域として、あらかじめ取得されたユーザの視線遷移に基づいて推定される視点に近いお薦め領域が選択されてもよい。

　広範囲画像において、お薦め領域の周辺領域が、そのお薦め領域に含まれてもよい。

　例えば、図９に示される広範囲画像Ｐ３０のように、ユーザの視点に対応する視点領域Ｖ３１と、お薦め領域Ｒ３２が設定されている場合、図中破線枠で示される、お薦め領域Ｒ３２周囲で所定幅の領域ＳＡもまた、お薦め領域Ｒ３２と同様に扱われるようにする。

　この場合、領域ＳＡを含むお薦め領域Ｒ３２が中解像度で符号化されてもよいし、ユーザの視点が領域ＳＡを含むお薦め領域Ｒ３２に移動した場合に、お薦め領域Ｒ３２が表示されるなどしてもよい。

　広範囲画像において、視点領域とお薦め領域の一部が重なるようにしてもよい。

　例えば、図１０に示される広範囲画像Ｐ４０のように、ユーザの視点に対応する視点領域Ｖ４１とお薦め領域Ｒ４２の一部が重なる場合を考える。このような場合、視点領域が、視点領域Ｖ４１からお薦め領域Ｒ４２に遷移するようにしてもよい。これにより、広範囲画像Ｐ４０を提供する側がユーザにお薦めしたい領域を、より確実にユーザに視聴してもらうことができる。

＜４．第２の実施の形態＞
（画像配信システムのブロック図）
　図１１は、第２の実施の形態に係る画像配信システム１の機能構成例を示すブロック図である。

　図１１の画像配信システム１もまた、図２の画像配信システムと同様、配信サーバ１０と表示装置２０に加え、カメラ３１とセンサ３２を含むように構成される。

　図１１の配信サーバ１０は、エンコーダ１５１、伝送部１５２、および制御部１５３を含むように構成される。

　エンコーダ１５１、伝送部１５２、および制御部１５３は、図２のエンコーダ５１、伝送部５２、および制御部５３と、それぞれ基本的に同様の機能を有する。

　但し、ここでは、エンコーダ１５１により、視点領域とお薦め領域が高解像度で、その他の領域が低解像度で符号化された画像データが生成される。

　また、伝送部１５２は、制御部１５３の制御の下、エンコーダ１５１により生成された画像データのうち、表示装置２０からの取得要求に応じた画像データを、複数（図１１の例では２）のストリームとして表示装置２０に伝送する。

　図１１の表示装置２０は、お薦め領域情報取得部１７１、視点情報取得部１７２、取得制御部１７３、デコーダ１７４－１，１７４－２、切替部１７５、表示制御部１７６、および表示部１７７を含むように構成される。

　お薦め領域情報取得部１７１、視点情報取得部１７２、表示制御部１７６、および表示部１７７は、基本的には、図２のお薦め領域情報取得部７１、視点情報取得部７２、表示制御部７６、および表示部７７と、それぞれ同様の機能を有する。

　取得制御部１７３は、複数のストリームとして伝送されてくる画像データの取得を、配信サーバ１０に要求する。具体的には、取得制御部１７３は、お薦め領域情報取得部１７１により取得されたお薦め領域情報と、視点情報取得部１７２により取得された視点情報に基づいて、ユーザの視点に対応する視点領域の画像データと、お薦め領域の画像データを、異なるストリームとして取得するよう制御する。

　デコーダ１７４－１，１７４－２は、それぞれ図２のバッファ７４とデコーダ７５を組み合わせた機能を有している。すなわち、デコーダ１７４－１，１７４－２は、それぞれ配信サーバ１０からの画像データを取得し、一時的に保持するとともに、順次、保持している画像データを復号する。デコーダ１７４－１，１７４－２は、互いに同期して画像データを復号する。

　切替部１７５は、視点情報取得部１７２からの視点情報に基づいて、表示制御部１７６に供給される画像データを、デコーダ１７４－１，１７４－２により復号された画像データのいずれか一方に切り替える。すなわち、デコーダ１７４－１，１７４－２により復号された画像データのうち、ユーザの視線に対応する領域の画像データが、表示制御部１７６に供給される。表示制御部１７６は、切替部１７５からの画像データに基づいて、視点領域をしたり、ユーザの視点がお薦め領域に移動した場合には、視点領域に代えてお薦め領域を表示したりする。

（広範囲画像の配信について）
　ここで、図１１の画像配信システム１における広範囲画像の配信について説明する。

　図１２は、広範囲画像の各領域の配信の例を示す図である。

　図１２に示される広範囲画像Ｐ１０において、ユーザの視点に対応する視点領域Ｖ１１と、お薦め領域Ｒ１２が設定されているとする。この場合、図１１の画像配信システム１においては、例えば、視点領域Ｖ１１が高解像度で符号化された画像データが１のストリームとして伝送され、お薦め領域Ｒ１２が高解像度で符号化された画像データと、その他の領域が低解像度で符号化された画像データが、別の１のストリームとして伝送される。例えば、画像データは、広範囲画像の各領域を解像度毎に階層化した階層構造データとして伝送される。

　図１３は、階層構造データの例を示す図である。

　階層構造データは、広範囲画像（の各フレーム）の各領域がそれぞれ異なる解像度で符号化された符号化データである。図１３の例では、広範囲画像のある１フレームにおける３つの領域Ａ，Ｂ，Ｃがそれぞれ３レベルの解像度（高解像度、中解像度、低解像度）で符号化された符号化データが示されている。

　図１３の例において、例えば、ユーザの視点が領域Ｂにあり、領域Ｃにお薦め領域が設定されている場合には、領域Ｂ（視点領域）が高解像度で符号化された符号化データが１のストリームとして表示装置２０に伝送され、領域Ｃが高解像度で符号化された符号化データが別の１のストリームとして表示装置２０に伝送される。このとき、領域Ａを含む他の領域については、それらの領域が低解像度で符号化された符号化データが、いずれかのストリーム、または、さらに別のストリームとして表示装置２０に伝送される。

　また、ユーザの視点に対応する領域（視点領域）が高解像度で符号化された符号化データとともに、その近隣の領域が中解像度で符号化された符号化データが表示装置２０に伝送されてもよい。さらに、帯域に余裕がない場合には、お薦め領域が設定されている領域については、その領域が中解像度で符号化された符号化データが表示装置２０に伝送されてもよい。

　以上においては、複数のストリームとして伝送される画像データが、階層構造データであるものとしたが、上述したＲＷＰデータであってもよい。

　すなわち、図１３の例において、ユーザの視点が領域Ｂにあり、領域Ｃにお薦め領域が設定されている場合には、領域Ｂ（視点領域）が高解像度でパッキングされたＲＷＰデータが１のストリームとして表示装置２０に伝送され、領域Ｃが高解像度でパッキングされたＲＷＰデータが別の１のストリームとして表示装置２０に伝送されればよい。

　このようにして、本実施の形態においては、画像データとして階層構造データまたはＲＷＰデータが伝送される。

（表示装置の動作の流れ）
　次に、図１４のフローチャートを参照して、図１３の表示装置２０の動作の流れについて説明する。

　図１４の処理は、基本的には、例えば表示部１７７における画像の描画速度に合わせたタイミングで繰り返される。なお、図１４のフローチャートにおけるステップＳ１１１乃至Ｓ１１３の処理は、図６のフローチャートにおけるステップＳ１１乃至Ｓ１３の処理と同様であるので、その説明は省略する。

　すなわち、ステップＳ１１３において、ユーザの視点が大きく変化していないと判定された場合、処理はステップＳ１１４に進む。

　ステップＳ１１４において、取得制御部１７３は、そのときのユーザの視点に対応する視点領域の高解像度の画像データと、お薦め領域情報で表されるお薦め領域の高解像度の画像データの取得を、配信サーバ１０に要求する。デコーダ１７４－１は、取得制御部１７３の要求に応じて配信サーバ１０から伝送されてくる視点領域の画像データを取得するとともに、１つ前のタイミングで取得された画像データを復号する。デコーダ１７４－２は、取得制御部１７３の要求に応じて配信サーバ１０から伝送されてくるお薦め領域の画像データを取得するとともに、１つ前のタイミングで取得された画像データを復号する。

　ステップＳ１１５において、切替部１７５は、デコーダ１７４－１により復号された、ユーザの視線に対応する視点領域の画像データを表示制御部１７６に供給し、表示制御部１７６は、高解像度の視点領域を本線画像として表示部１７７に表示させる。ステップＳ１１５の後、処理はステップＳ１１１に戻り、以降の処理が繰り返される。

　一方、ステップＳ１１３において、ユーザの視点が大きく変化したと判定された場合、処理はステップＳ１１６に進む。

　ステップＳ１１６において、取得制御部１７３は、視点情報取得部１７２により取得された視点情報に基づいて、ユーザの視点がお薦め領域に移動したか否かを判定する。

　ステップＳ１１６において、ユーザの視点がお薦め領域に移動したと判定された場合、処理はステップＳ１１７に進む。

　ステップＳ１１７において、切替部１７５は、表示制御部１７６に供給される画像データを、デコーダ１７４－２により復号されたお薦め領域の画像データに切り替えることで、本線画像をお薦め領域に切り替える。

　ステップＳ１１８において、表示制御部１７６は、デコーダ１７４－２により復号された画像データに基づいて、高解像度のお薦め領域を表示部１７７に表示させる。ステップＳ１１８の後、処理はステップＳ１１１に戻り、以降の処理が繰り返される。以降の処理においては、お薦め領域を視点領域とした高解像度の画像データが、配信サーバ１０から取得されることになる。

　さて、ステップＳ１１６において、ユーザの視点がお薦め領域に移動していないと判定された場合、すなわち、ユーザの視点がお薦め領域以外のその他の領域に移動した場合、処理はステップＳ１１９に進む。

　ステップＳ１１９において、取得制御部１７３は、視点情報取得部１７２により取得された視点情報に基づいて、広範囲画像の各領域のうち、取得すべき領域を表す取得領域情報を更新する。

　ステップＳ１２０において、取得制御部１７３は、これまでの視点領域の画像データとともに、更新された取得領域情報で表される、ユーザの視点が変化した後の視点領域となる高解像度の変化後視点領域の画像データの取得を、配信サーバ１０に要求する。デコーダ１７４－１は、取得制御部１７３の要求に応じて配信サーバ１０から伝送されてくる視点領域の画像データを取得するとともに、１つ前のタイミングで取得された画像データを復号する。デコーダ１７４－２は、取得制御部７３の要求に応じて配信サーバ１０から伝送されてくる変化後視点領域の画像データの取得を開始する。

　ステップＳ１２１において、表示制御部１７６は、高解像度の変化後視点領域を表示可能であるか否かを判定する。このとき、１つ前のタイミングでデコーダ１７４－２により取得された画像データはお薦め領域の画像データであることから、変化後視点領域を表示可能ではないと判定され、処理はステップＳ１２２に進む。

　ステップＳ１２２においは、表示制御部１７６は、デコーダ１７４－１により復号された画像データに基づいて、これまでの（高解像度の）視点領域を表示部１７７に表示させる。ステップＳ１２２の後、処理はステップＳ１２０に戻り、ステップＳ１２０，Ｓ１２１が繰り返される。ステップＳ１２０，Ｓ１２１もまた、表示部１７７における画像の描画速度に合わせたタイミングで繰り返される。

　一方、ステップＳ１２１において、高解像度の変化後視点領域を表示可能であると判定された場合、ステップＳ１２３に進み、切替部１７５は、表示制御部１７６に供給される画像データを、デコーダ１７４－２により復号された変化後視点領域の画像データに切り替えることで、本線画像を変化後視点領域に切り替える。

　ステップＳ１２４において、表示制御部１７６は、デコーダ１７４－２により復号された画像データに基づいて、高解像度の変化後視点領域を表示部１７７に表示させる。ステップＳ１２４の後、処理はステップＳ１１１に戻り、以降の処理が繰り返される。

　以上のように、デコーダ１７４－１により、高解像度の視点領域が取得されるとともに、デコーダ１７４－２により、高解像度のお薦め領域が取得される。これにより、ユーザの視点がお薦め領域以外のその他の領域に移動したときには、視聴領域が高解像度になるまでに遅延が発生するものの、ユーザの視点がお薦め領域に移動したときには、ユーザが注目する可能性の高いお薦め領域が高解像度で表示されるので、ユーザは、高品質の画像を視聴することが可能となる。

（配信サーバの動作の流れ）
　続いて、図１３の配信サーバ１０の動作の流れについて説明する。図１３の配信サーバ１０の動作の流れは、基本的には、図７のフローチャートを参照して説明した図２の配信サーバ１０の動作の流れと同様である。

　但し、図１３の配信サーバ１０の動作においては、ユーザの視点を表す視点情報と、お薦め領域を表すお薦め領域情報に基づいた表示装置２０からの要求に応じて、複数のストリームそれぞれについて、表示装置２０への伝送対象となる画像データが選択される点で、図１３の配信サーバ１０の動作とは異なる。具体的には、視点領域が高解像度で符号化された画像データに加え、お薦め領域が高解像度で符号化された画像データが、表示装置２０への伝送対象として選択される。

　このような動作によれば、視聴領域が高解像度で符号化された画像データととともに、お薦め領域が高解像度で符号化された画像データが表示装置２０へ配信される。これにより、ユーザが注目する可能性の高いお薦め領域に、ユーザの視点が移動した場合であっても、ユーザは、高品質の画像を遅延なく視聴することができ、より好適な広範囲画像の配信を実現することが可能となる。

＜５．お薦め領域に応じた処理の例＞
　以上においては、広範囲画像において設定されるお薦め領域のバリエーションとして、複数のお薦め領域が設定される例（図８）と、視点領域とお薦め領域が重なる例（図１０）について説明した。ここでは、それぞれの場合における処理の詳細について説明する。

（複数のお薦め領域が存在する場合の処理の例）
　図１５乃至図１７は、複数のお薦め領域が存在する場合の処理の例を示す図である。ここでは、異なる解像度の画像データがパッキングされて１のストリームとして伝送されるものとする。

　図１５に示される広範囲画像Ｐ１１０においては、ユーザの視点に対応する視点領域Ｖ１１１に加え、２つのお薦め領域Ｒ１１２，Ｒ１１３が設定されている。図１５の例では、視点領域Ｖ１１１の全部が、お薦め領域Ｒ１１２に重なっている。

　この場合、図中右側に示されるように、お薦め領域Ｒ１１２を含む視点領域Ｖ１１１が高解像度で、お薦め領域Ｒ１１３が中解像度で、その他の領域が低解像度でパッキングされたＲＷＰデータが伝送される。すなわち、お薦め領域Ｒ１１２は視点領域Ｖ１１１と同一とみなされ、最終的なお薦め領域としてお薦め領域Ｒ１１３が選択される。

　図１６に示される広範囲画像Ｐ１１０においても、ユーザの視点に対応する視点領域Ｖ１１１に加え、２つのお薦め領域Ｒ１１２，Ｒ１１３が設定されている。但し、図１６の例では、視点領域Ｖ１１１は、お薦め領域Ｒ１１２，Ｒ１１３のいずれにも重なっていない。

　この場合、図中右側に示されるように、視点領域Ｖ１１１が高解像度で、お薦め領域Ｒ１１２，Ｒ１１３がそれぞれ中解像度で、その他の領域が低解像度でパッキングされたＲＷＰデータが伝送される。すなわち、最終的なお薦め領域として、お薦め領域Ｒ１１２，Ｒ１１３が選択され同一の解像度でパッキングされる。なお、図１６の例におけるお薦め領域Ｒ１１２，Ｒ１１３の解像度（中解像度）は、図１５の例におけるお薦め領域Ｒ１１３の解像度（中解像度）より低い解像度とされる。

　図１６の例では、お薦め領域Ｒ１１２，Ｒ１１３が同一の解像度でパッキングされるものとしたが、お薦め領域に対する重み付けに応じて解像度が調整されてもよい。

　例えば、図１６と同様、図１７に示される広範囲画像Ｐ１１０において、ユーザの視点に対応する視点領域Ｖ１１１に加え、２つのお薦め領域Ｒ１１２，Ｒ１１３が設定されている場合、視点領域Ｖ１１１との距離に応じて、お薦め領域の重み付けが行われる。

　この場合、図中右側に示されるように、最終的なお薦め領域として、お薦め領域Ｒ１１２，Ｒ１１３が選択されるが、視点領域Ｖ１１１に近いお薦め領域Ｒ１１２が、視点領域Ｖ１１１から遠いお薦め領域Ｒ１１３より高い解像度でパッキングされるようにする。

　また、図示はしないが、視点領域Ｖ１１１との距離ではなく、ユーザの嗜好やユーザの視線遷移に基づいたお薦め度に応じて、お薦め領域の重み付けが行われてもよいし、ユーザによる選択結果に応じて、お薦め領域の重み付けが行われてもよい。

　なお、以上においては、異なる解像度の画像データがパッキングされて１のストリームとして伝送されるものとしたが、異なる解像度の画像データが複数のストリームとして伝送される場合には、対応する画像データのストリーム毎に、同様の処理が行われる。

（視点領域とお薦め領域が重なる場合の処理の例）
　図１８乃至図２１は、視点領域とお薦め領域が重なる場合の処理の例を示す図である。ここでは、異なる解像度の画像データがパッキングされて１のストリームとして伝送されるものとする。

　図１８に示される広範囲画像Ｐ１２０においては、ユーザの視点に対応する視点領域Ｖ１２１の一部が、お薦め領域Ｒ１２２に重なっている。このように、ユーザの視点が視点領域Ｖ１２１とお薦め領域Ｒ１２２のどちらに移動するかを推定し難い状況では、視点領域Ｖ１２１を中心とした周囲領域ＳＡ１２３が、中解像度で符号化される領域（中解像度領域）として設定されるようにする。

　図１８の例では、図中下段に示されるように、視点領域Ｖ１２１が高解像度で、お薦め領域Ｒ１２２と周囲領域ＳＡ１２３がそれぞれ中解像度で、その他の領域が低解像度でパッキングされたＲＷＰデータが伝送される。なお、図１８の例では、お薦め領域Ｒ１２２が、周囲領域ＳＡ１２３より高い解像度でパッキングされているが、その逆であってもよい。

　また、図１９に示されるように、中解像度領域として設定される周囲領域ＳＡ１２３に、視点領域Ｖ１２１の全ての領域が含まれる場合には、お薦め領域Ｒ１２２を中心とした周囲領域ＳＡ１２３が設定されてもよい。

　図２０に示される広範囲画像Ｐ１２０においては、ユーザの視点に対応する視点領域Ｖ１２１の全部が、お薦め領域Ｒ１２２に重なっている。このように、ユーザの視点がお薦め領域Ｒ１２２にある状況では、視点領域Ｖ１２１を中心とした周囲領域ＳＡ１２３が、中解像度領域として設定されるようにする。

　図２０の例では、図中下段に示されるように、お薦め領域Ｒ１２２を含む視点領域Ｖ１２１が高解像度で、周囲領域ＳＡ１２３が中解像度で、その他の領域が低解像度でパッキングされたＲＷＰデータが伝送される。

　図２１には、複数のお薦め領域が存在する場合において、視点領域とお薦め領域のいずれかが重なる場合の例が示される。

　図２１に示される広範囲画像Ｐ１３０においては、ユーザの視点に対応する視点領域Ｖ１３１に加え、２つのお薦め領域Ｒ１３２，Ｒ１３３が設定され、視点領域Ｖ１３１の全部が、お薦め領域Ｒ１３２に重なっている。このように、ユーザの視点が複数のお薦め領域の一方（お薦め領域Ｒ１３２）にある状況では、視点領域Ｖ１３１を含みつつ、複数のお薦め領域を基準にした周囲領域ＳＡ１３４が、中解像度領域として設定されるようにする。

　図２１の例では、視点領域Ｖ１３１を含むお薦め領域Ｒ１３２の全部と、お薦め領域Ｒ１３３の一部が含まれるように、周囲領域ＳＡ１３４が設定されている。

　以上のようにして、視点領域とお薦め領域が重なることで、ユーザの視点がどこに移動するかを推定し難い状況であっても、周囲領域が設定されることにより、ユーザは、一定程度の品質の画像を視聴することが可能となる。

＜６．コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

　図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　上述した配信サーバ１０や表示装置２０は、図２２に示す構成を有するコンピュータにより実現される。

　ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３は、バス３０４により相互に接続されている。

　バス３０４には、さらに、入出力インタフェース３０５が接続されている。入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続される。また、入出力インタフェース３０５には、ハードディスクや不揮発性のメモリなどよりなる記憶部３０８、ネットワークインタフェースなどよりなる通信部３０９、リムーバブルメディア３１１を駆動するドライブ３１０が接続される。

　以上のように構成されるコンピュータでは、ＣＰＵ３０１が、例えば、記憶部３０８に記憶されているプログラムを入出力インタフェース３０５およびバス３０４を介してＲＡＭ３０３にロードして実行することにより、上述した一連の処理が行われる。

　ＣＰＵ３０１が実行するプログラムは、例えばリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部３０８にインストールされる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたときなどの必要なタイミングで処理が行われるプログラムであっても良い。

　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

　さらに、本開示は以下のような構成をとることができる。
（１）
　画像のうち、表示装置に対するユーザの視点に対応する視点領域を第１の解像度で、前記画像において設定されたお薦め領域を第２の解像度で、その他の領域を前記第１の解像度と前記第２の解像度より低い第３の解像度で符号化するよう制御する制御部
　を備える情報処理装置。
（２）
　前記第１の解像度は、前記第２の解像度より高いかまたは同じ解像度とされる
　（１）に記載の情報処理装置。
（３）
　前記制御部は、前記ユーザの視点を表す視点情報と、前記お薦め領域を表すお薦め領域情報の少なくともいずれかに基づいて、前記画像の各領域が符号化された複数の画像データから、前記表示装置への伝送対象を選択する
　（１）に記載の情報処理装置。
（４）
　前記制御部は、前記伝送対象として選択された前記画像データを、１のストリームとして伝送するよう制御する
　（３）に記載の情報処理装置。
（５）
　前記制御部は、前記ユーザの視点が前記お薦め領域に移動した場合、前記お薦め領域が前記第１の解像度で符号化された前記画像データを、前記伝送対象として選択する
　（４）に記載の情報処理装置。
（６）
　前記画像データは、前記画像を領域毎に解像度を変更してパッキングしたＲＷＰ（Region Wise Packing）データである
　（４）または（５）に記載の情報処理装置。
（７）
　前記制御部は、前記伝送対象として選択された前記画像データを、複数のストリームとして伝送するよう制御する
　（３）に記載の情報処理装置。
（８）
　前記制御部は、前記視点領域が前記第１の解像度で符号化された前記画像データに加え、前記お薦め領域が前記第１の解像度で符号化された前記画像データを、前記伝送対象として選択する
　（７）に記載の情報処理装置。
（９）
　前記画像データは、前記画像の各領域を解像度毎に階層化した階層構造データである
　（７）または（８）に記載の情報処理装置。
（１０）
　前記画像データは、前記画像を領域毎に解像度を変更してパッキングしたＲＷＰ（Region Wise Packing）データである
　（７）または（８）に記載の情報処理装置。
（１１）
　前記制御部は、前記お薦め領域が複数存在する場合、前記ユーザの操作、嗜好、および視線遷移の少なくともいずれかに基づいて選択された前記お薦め領域を、最終的な前記お薦め領域として選択する
　（３）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記制御部は、前記視点領域と前記お薦め領域の一部または全部が重なる場合、前記視点領域と前記お薦め領域の少なくとも一部を含む周囲領域が前記第２の解像度で符号化された前記画像データを、前記伝送対象として選択する
　（３）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記お薦め領域は、前記お薦め領域の周辺領域を含む
　（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　情報処理装置が、
　画像のうち、表示装置に対するユーザの視点に対応する視点領域を第１の解像度で、前記画像において設定されたお薦め領域を第２の解像度で、その他の領域を前記第１の解像度と前記第２の解像度より低い第３の解像度で符号化するよう制御する
　情報処理方法。
（１５）
　配信サーバから伝送される画像のうち、ユーザの視点に対応する視点領域を第１の解像度で符号化された画像データと、前記画像において設定されたお薦め領域を第２の解像度で符号化された前記画像データを、異なる伝送路を介して取得するよう制御する取得制御部と、
　前記画像データに基づいて、前記視点領域を表示する表示制御部と
　を備え、
　前記表示制御部は、前記ユーザの視点が前記お薦め領域に移動した場合、前記視点領域に代えて、前記お薦め領域を表示する
　情報処理装置。
（１６）
　前記第１の解像度は、前記第２の解像度より高いかまたは同じ解像度とされる
　（１５）に記載の情報処理装置。
（１７）
　前記取得制御部は、前記ユーザの視点を表す視点情報と、前記お薦め領域を表すお薦め領域情報に基づいて、前記画像データの取得を制御する
　（１５）または（１６）に記載の情報処理装置。
（１８）
　前記取得制御部は、前記お薦め領域が複数存在する場合、前記ユーザの操作、嗜好、および視線遷移の少なくともいずれかに基づいて、最終的に取得する前記お薦め領域を選択する
　（１５）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
　情報処理装置が、
　配信サーバから伝送される画像のうち、ユーザの視点に対応する視点領域を第１の解像度で符号化された画像データと、前記画像において設定されたお薦め領域を第２の解像度で符号化された前記画像データを、異なる伝送路を介して取得し、
　前記画像データに基づいて、前記視点領域を表示し、
　前記ユーザの視点が前記お薦め領域に移動した場合、前記視点領域に代えて、前記お薦め領域を表示する
　情報処理方法。
（２０）
　配信サーバと、
　表示装置と
　を含み、
　前記配信サーバは、
　　画像のうち、前記表示装置に対するユーザの視点に対応する視点領域を第１の解像度で、前記画像において設定されたお薦め領域を第２の解像度で、その他の領域を前記第１の解像度と前記第２の解像度より低い第３の解像度で符号化するよう制御する制御部
　を備える
　情報処理システム。

　１　画像配信システム，　１０　配信サーバ，　２０　表示装置，　３１　カメラ，　３２　センサ，　５１　エンコーダ，　５２　伝送部，　５３　制御部，　７１　お薦め領域情報取得部，　７２　視点情報取得部，　７３　取得制御部，　７４　バッファ，　７５　デコーダ，　７６　表示制御部，　７７　表示部，　１５１　エンコーダ，　１５２　伝送部，　１５３　制御部，　１７１　お薦め領域情報取得部，　１７２　視点情報取得部，　１７３　取得制御部，　１７４－１，１７４－２　デコーダ，　１７５　切替部，　１７６　表示制御部，　１７７　表示部

Claims

　画像のうち、表示装置に対するユーザの視点に対応する視点領域を第１の解像度で、前記画像において設定されたお薦め領域を第２の解像度で、その他の領域を前記第１の解像度と前記第２の解像度より低い第３の解像度で符号化するよう制御する制御部
　を備える情報処理装置。
　前記第１の解像度は、前記第２の解像度より高いかまたは同じ解像度とされる
　請求項１に記載の情報処理装置。
　前記制御部は、前記ユーザの視点を表す視点情報と、前記お薦め領域を表すお薦め領域情報の少なくともいずれかに基づいて、前記画像の各領域が符号化された複数の画像データから、前記表示装置への伝送対象を選択する
　請求項１に記載の情報処理装置。
　前記制御部は、前記伝送対象として選択された前記画像データを、１のストリームとして伝送するよう制御する
　請求項３に記載の情報処理装置。
　前記制御部は、前記ユーザの視点が前記お薦め領域に移動した場合、前記お薦め領域が前記第１の解像度で符号化された前記画像データを、前記伝送対象として選択する
　請求項４に記載の情報処理装置。
　前記画像データは、前記画像を領域毎に解像度を変更してパッキングしたＲＷＰ（Region Wise Packing）データである
　請求項４に記載の情報処理装置。
　前記制御部は、前記伝送対象として選択された前記画像データを、複数のストリームとして伝送するよう制御する
　請求項３に記載の情報処理装置。
　前記制御部は、前記視点領域が前記第１の解像度で符号化された前記画像データに加え、前記お薦め領域が前記第１の解像度で符号化された前記画像データを、前記伝送対象として選択する
　請求項７に記載の情報処理装置。
　前記画像データは、前記画像の各領域を解像度毎に階層化した階層構造データである
　請求項７に記載の情報処理装置。
　前記画像データは、前記画像を領域毎に解像度を変更してパッキングしたＲＷＰ（Region Wise Packing）データである
　請求項７に記載の情報処理装置。
　前記制御部は、前記お薦め領域が複数存在する場合、前記ユーザの操作、嗜好、および視線遷移の少なくともいずれかに基づいて選択された前記お薦め領域を、最終的な前記お薦め領域として選択する
　請求項３に記載の情報処理装置。
　前記制御部は、前記視点領域と前記お薦め領域の一部または全部が重なる場合、前記視点領域と前記お薦め領域の少なくとも一部を含む周囲領域が前記第２の解像度で符号化された前記画像データを、前記伝送対象として選択する
　請求項３に記載の情報処理装置。
　前記お薦め領域は、前記お薦め領域の周辺領域を含む
　請求項１に記載の情報処理装置。
　情報処理装置が、
　画像のうち、表示装置に対するユーザの視点に対応する視点領域を第１の解像度で、前記画像において設定されたお薦め領域を第２の解像度で、その他の領域を前記第１の解像度と前記第２の解像度より低い第３の解像度で符号化するよう制御する
　情報処理方法。
　配信サーバから伝送される画像のうち、ユーザの視点に対応する視点領域を第１の解像度で符号化された画像データと、前記画像において設定されたお薦め領域を第２の解像度で符号化された前記画像データを、異なる伝送路を介して取得するよう制御する取得制御部と、
　前記画像データに基づいて、前記視点領域を表示する表示制御部と
　を備え、
　前記表示制御部は、前記ユーザの視点が前記お薦め領域に移動した場合、前記視点領域に代えて、前記お薦め領域を表示する
　情報処理装置。
　前記第１の解像度は、前記第２の解像度より高いかまたは同じ解像度とされる
　請求項１５に記載の情報処理装置。
　前記取得制御部は、前記ユーザの視点を表す視点情報と、前記お薦め領域を表すお薦め領域情報に基づいて、前記画像データの取得を制御する
　請求項１５に記載の情報処理装置。
　前記取得制御部は、前記お薦め領域が複数存在する場合、前記ユーザの操作、嗜好、および視線遷移の少なくともいずれかに基づいて、最終的に取得する前記お薦め領域を選択する
　請求項１５に記載の情報処理装置。
　情報処理装置が、
　配信サーバから伝送される画像のうち、ユーザの視点に対応する視点領域を第１の解像度で符号化された画像データと、前記画像において設定されたお薦め領域を第２の解像度で符号化された前記画像データを、異なる伝送路を介して取得するよう制御し、
　前記画像データに基づいて、前記視点領域を表示し、
　前記ユーザの視点が前記お薦め領域に移動した場合、前記視点領域に代えて、前記お薦め領域を表示する
　情報処理方法。
　配信サーバと、
　表示装置と
　を含み、
　前記配信サーバは、
　　画像のうち、前記表示装置に対するユーザの視点に対応する視点領域を第１の解像度で、前記画像において設定されたお薦め領域を第２の解像度で、その他の領域を前記第１の解像度と前記第２の解像度より低い第３の解像度で符号化するよう制御する制御部
　を備える
　情報処理システム。