JP6944138B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本開示は、画像処理装置および画像処理方法に関し、特に、全天球画像に必要な記憶容量を減らすことができるようにした画像処理装置および画像処理方法に関する。

マルチカメラにより撮影された水平方向の周囲360度および垂直方向の周囲180度の撮影画像を２Ｄ画像（平面画像）にマッピングした全天球画像を生成し、符号化して記憶する記憶装置がある（例えば、特許文献１参照）。

また、記憶装置により記憶された全天球画像の符号化ストリームを復号し、その結果得られる全天球画像を用いて視聴者（以下、適宜ユーザとも称する）の視野範囲のテクスチャ画像を表示させる再生装置がある。このような再生装置は、全天球画像を球や立方体などの３Ｄモデルの表面上に貼り付け、その３Ｄモデルの内部の１点である視点から、視聴者の視線方向の３Ｄモデルの表面を見たときの視聴者の視野範囲のテクスチャ画像を表示させる。これにより、所定の視点の視聴者の視野範囲の撮影画像が再現される。

特開２００６−１４１７４号公報

しかしながら、このような再生装置を実現するためには、記憶装置において、視聴者の視線方向となりうる全方向の画像、すなわち、全天球画像が記憶されていなければならず、多くの容量が必要であった。

本開示は、このような状況に鑑みてなされたものであり、全天球画像に必要な記憶容量を減らすことができるようにするものである。

本開示の第１の側面の画像処理装置は、３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像のうちユーザの視聴方向に応じた画像と、低解像度化された前記全天球画像とを受け取る受け取り部と、前記受け取り部により受け取られた前記画像および低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像を生成する描画部と、前記ユーザの視聴方向に関する視聴方向情報を取得する視聴方向取得部と、前記視聴方向取得部により取得された視聴方向情報に基づいて記録される視聴方向ログを送信する送信部と、前記視聴方向ログに応じ、前記複数の画像のうち、最もよく視聴される視聴方向の画像を用いて生成された２Ｄ画像を受信する２Ｄ画像受信部と、前記２Ｄ画像受信部により受信された２Ｄ画像の表示を制御する表示制御部とを備える画像処理装置である。

本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。

本開示の第１の側面においては、３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像のうちユーザの視聴方向に応じた画像と、低解像度化された前記全天球画像とが受け取られ、受け取られた前記画像および低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像が生成される。そして、前記ユーザの視聴方向に関する視聴方向情報が取得され、取得された視聴方向情報に基づいて記録される視聴方向ログが送信される。また、前記視聴方向ログに応じ、前記複数の画像のうち、最もよく視聴される視聴方向の画像を用いて生成された２Ｄ画像が受信され、受信された２Ｄ画像の表示が制御される。

本開示の第２の側面の画像処理装置は、３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像と、低解像度化された前記全天球画像とを記憶する記憶部と、前記全天球画像および前記複数の画像のうち、ユーザの視聴方向に応じた画像を端末に送信する送信部と、前記ユーザの視聴方向に関する視聴方向ログを前記端末から受け取る受け取り部と、前記受け取り部により受け取られた視聴方向ログに応じて、前記記憶部に記憶されている前記複数の画像を変更する画像変更部と、前記受け取り部により受け取られた視聴方向ログに応じ、前記記憶部に記憶されている前記複数の画像のうち、最もよく視聴される視聴方向の画像を用いて、２Ｄ画像を生成する画像生成部と、前記画像生成部により生成された２Ｄ画像を前記端末に提供する画像提供部とを備える画像処理装置である。

本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。

本開示の第２の側面においては、３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像と、低解像度化された前記全天球画像とが記憶されている記憶部から、前記全天球画像および前記複数の画像のうち、ユーザの視聴方向に応じた画像が端末に送信される。そして、前記ユーザの視聴方向に関する視聴方向ログが前記端末から受け取られる。受け取られた視聴方向ログに応じて、前記記憶部に記憶されている前記複数の画像が変更される。また、受け取られた視聴方向ログに応じ、前記記憶部に記憶されている前記複数の画像のうち、最もよく視聴される視聴方向の画像を用いて、２Ｄ画像が生成され、生成された２Ｄ画像が前記端末に提供される。

なお、本開示の第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、本開示の第１および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本開示の第１の側面によれば、画像を変更することができる。また、本開示の第１の側面によれば、全天球画像に必要な記憶容量を減らすことができる。

また、本開示の第２の側面によれば、画像を変更することができる。また、本開示の第２の側面によれば、全天球画像に必要な記憶容量を減らすことができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示を適用した配信システムの第１実施の形態の構成例を示すブロック図である。 生成装置の構成例を示すブロック図である。 ２次元平面の第１の例を示す図である。 ２次元平面テーブルの構成例を示す図である。 生成装置の生成処理を説明するフローチャートである。 配信サーバと再生装置の構成例を示すブロック図である。 配信サーバの配信処理を説明するフローチャートである。 本技術の概要を示す図である。 再生装置の再生処理を説明するフローチャートである。 ２Ｄ画像の再生処理を説明するフローチャートである。 図９のステップＳ５３の視聴方向取得処理を説明するフローチャートである。 図１１の視聴方向取得処理を説明する図である。 図９のステップＳ５３の視聴方向取得処理の他の例を説明するフローチャートである。 図１３の視聴方向取得処理を説明する図である。 ６面キューブの例を示す図である。 視聴方向ログの例を示す図である。 視聴方向ログの他の例を示す図である。 ２次元平面の第２の例を示す図である。 画像変更処理の第１の方法について説明する図である。 画像変更処理の第１の方法について説明する図である。 画像変更処理の第２の方法について説明する図である。 画像変更処理の第２の方法について説明する図である。 画像変更処理の第２の方法について説明する図である。 画像変更処理の第２の方法について説明する図である。 画像変更処理の第３の方法について説明する図である。 ２Ｄ画像生成処理を説明する図である。 本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。 コンテンツサーバの構成例を示すブロック図である。 高解像度画像処理部の構成例を示すブロック図である。 ホームサーバの構成例を示すブロック図である。 投影面の座標系を説明する図である。 tan軸投影を説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：配信システム（図１乃至図２６）
２．第２実施の形態：画像表示システム（図２７乃至図３０）
３．第３実施の形態：tan軸投影（図３１および図３２）
４．第４実施の形態：コンピュータ（図３３）
５．応用例（図３４および図３５）

＜１．第１実施の形態＞
（配信システムの構成例）
図１は、本開示を適用した配信システムの構成例を示すブロック図である。

図１の配信システム１０は、撮影装置１１、生成装置１２、配信サーバ１３、ネットワーク１４、再生装置１５、およびヘッドマウントディスプレイ１６により構成される。配信システム１０は、撮影装置１１により撮影された撮影画像から全天球画像を生成し、全天球画像を用いてユーザ（視聴者）の視野範囲の表示画像を表示する。

具体的には、配信システム１０の撮影装置１１は、６個のカメラ１１Ａ−１乃至１１Ａ−６により構成される。なお、以下では、カメラ１１Ａ−１乃至１１Ａ−６を特に区別する必要がない場合、それらをまとめてカメラ１１Ａという。

各カメラ１１Ａは、動画像を撮影する。撮影装置１１は、各カメラ１１Ａにより撮影された６方向の動画像を撮影画像として生成装置１２に供給する。なお、撮影装置１１が備えるカメラの数は、複数であれば、６個に限定されない。

生成装置１２は、正距円筒図法を用いた方法により、撮影装置１１から供給される撮影画像から全天球画像を生成して低解像度化する。生成装置１２は、低解像度化された全天球画像である低解像度画像（YUV画像）を符号化し、１本の低解像度ストリームを生成する。

また、生成装置１２は、全天球画像を３Ｄモデルとしての球にマッピングし、球にマッピングされた全天球画像を５個の視聴方向（視線方向）に対応する２次元平面に、球の中心を焦点として透視投影することにより、５個の画像を生成する。生成装置１２は、この５個の画像をそれぞれ高解像度画像（YUV画像）として符号化し、５本の高解像度ストリームを生成する。

さらに、生成装置１２は、各高解像度画像に対応する２次元平面の位置、傾き、およびサイズを示す２次元平面情報を生成する。生成装置１２は、１本の低解像度ストリーム、５本の高解像度ストリーム、および２次元平面情報を配信サーバ１３にアップロードする。

配信サーバ１３は、ネットワーク１４を介して再生装置１５と接続する。配信サーバ１３は、生成装置１２からアップロードされた１本の低解像度ストリーム、５本の高解像度ストリーム、および２次元平面情報を記憶する。配信サーバ１３は、再生装置１５からの要求に応じて、記憶している低解像度ストリーム、高解像度ストリーム、および２次元平面情報を、ネットワーク１４を介して再生装置１５に送信する。

また、配信サーバ１３は、再生装置１５から送られてくる視聴方向ログを受信し、視聴方向ログであるユーザの視聴タイムスタンプと視聴視野角を解析し、注目ポイントを抽出する。注目ポイントとは、最も視聴された視聴方向を示すポイントである。配信サーバ１３は、抽出された注目ポイントに基づいて、記憶している高解像度画像（圧縮率や解像度）を変更する。また、配信サーバ１３は、注目ポイントのタイムスタンプと視野角に基づいて２Ｄ動画を生成し、注目ポイントとは異なる視野角で視聴していたユーザの再生装置１５に対して配信する。

再生装置１５は、配信サーバ１３に１本の低解像度ストリームと２次元平面情報を、ネットワーク１４を介して要求し、その要求に応じて送信されてくる１本の低解像度ストリームと２次元平面情報を受け取る。

また、再生装置１５は、カメラ１５Ａを内蔵し、ヘッドマウントディスプレイ１６に付されたマーカ１６Ａを撮影する。そして、再生装置１５は、マーカ１６Ａの撮影画像に基づいて、３Ｄモデルの座標系におけるユーザの視聴位置を検出する。さらに、再生装置１５は、ヘッドマウントディスプレイ１６のジャイロセンサ１６Ｂの検出結果を、ヘッドマウントディスプレイ１６から受け取る。再生装置１５は、ジャイロセンサ１６Ｂの検出結果に基づいて、３Ｄモデルの座標系におけるユーザの視聴方向を決定する。再生装置１５は、視聴位置と視聴方向に基づいて、３Ｄモデルの内部に位置するユーザの視野範囲を決定する。

そして、再生装置１５は、２次元平面情報とユーザの視野範囲とに基づいて、５本高解像度ストリームのうちの１本の高解像度ストリームを、ネットワーク１４を介して要求し、その要求に応じて送信されてくる１本の高解像度ストリームを受け取る。

再生装置１５は、受け取られた１本の低解像度ストリームと１本の高解像度ストリームを復号する。再生装置１５は、復号の結果得られる低解像度画像を３Ｄモデルとしての球にマッピングし、高解像度画像を球の内部の３Ｄモデルとしての２次元平面にマッピングすることにより、３Ｄモデル画像を生成する。

そして、再生装置１５は、視聴位置を焦点として、３Ｄモデル画像をユーザの視野範囲に透視投影することにより、ユーザの視野範囲の画像を表示画像として生成する。再生装置１５は、表示画像をヘッドマウントディスプレイ１６に供給する。

また、再生装置１５は、視聴中に、視聴タイムスタンプと視聴視野角のログなどを含む視聴方向ログを記録しており、視聴終了後に、記録された視聴方向ログを配信サーバ１３に送信する。再生装置１５は、配信サーバ１３により注目ポイントの視聴示唆があった場合、ユーザの操作に応じて、配信サーバ１３により送信されてくる注目ポイントの２Ｄ画像に対応する表示画像を表示する。

ヘッドマウントディスプレイ１６は、ユーザの頭部に装着され、再生装置１５から供給される表示画像を表示する。ヘッドマウントディスプレイ１６には、カメラ１５Ａにより撮影されるマーカ１６Ａが付されている。従って、ユーザは、ヘッドマウントディスプレイ１６を頭部に装着した状態で、移動することにより視聴位置を指定することができる。また、ヘッドマウントディスプレイ１６には、ジャイロセンサ１６Ｂが内蔵され、そのジャイロセンサ１６Ｂによる角速度の検出結果が再生装置１５に伝送される。従って、ユーザは、ヘッドマウントディスプレイ１６を装着した頭部を回転させることにより、視聴方向を指定することができる。

配信システム１０において、配信サーバ１３から再生装置１５への配信方法は、どのような方法であってもよい。配信方法が、例えば、MPEG-DASH（Moving Picture Experts Group phase − Dynamic Adaptive Streaming over HTTP）を用いる方法である場合、配信サーバ１３は、HTTP(HyperText Transfer Protocol)サーバであり、再生装置１５はMPEG-DASHクライアントである。

なお、図１の例においては、生成装置１２と配信サーバ１３とを別々に構成する例を説明したが、生成装置１２と配信サーバ１３を１つの装置とすることもできる。

（生成装置の構成例）
図２は、図１の生成装置１２の構成例を示すブロック図である。

図２の生成装置１２は、スティッチング処理部２１、マッピング処理部２２、低解像度化部２３、エンコーダ２４、設定部２５、透視投影部２６−１乃至２６−５、エンコーダ２７−１乃至２７−５、テーブル生成部２８、および送信部２９により構成される。

スティッチング処理部２１は、フレームごとに、図１のカメラ１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続する。スティッチング処理部２１は、その結果得られるフレーム単位の撮影画像をマッピング処理部２２に供給する。

マッピング処理部２２は、正距円筒図法を用いた方法により、スティッチング処理部２１から供給される撮影画像から全天球画像を生成する。具体的には、マッピング処理部２２は、撮影画像をテクスチャとして球にマッピングし、その球の正距円筒図法による画像を全天球画像として生成する。従って、マッピング処理部２２により生成される全天球画像の形状は、符号化に適した矩形である。

マッピング処理部２２は、全天球画像を低解像度化部２３および透視投影部２６−１乃至２６−５に供給する。なお、スティッチング処理部２１とマッピング処理部２２は、一体化されていてもよい。

低解像度化部２３は、マッピング処理部２２から供給される全天球画像を低解像度化し、低解像度画像を生成する。低解像度化部２３は、生成された低解像度画像をエンコーダ２４に供給する。

エンコーダ２４（低解像度符号化部）は、低解像度化部２３から供給される低解像度画像をMPEG2(Moving Picture Experts Group phase 2)方式やAVC(Advanced Video Coding)方式などの符号化方式で符号化し、１本の低解像度トリームを生成する。エンコーダ２４は、１本の低解像度ストリームを送信部２９に供給する。

設定部２５は、５個の視聴方向（視線方向）に対応する２次元平面情報を設定する。設定部２５は、各２次元平面情報を透視投影部２６−１乃至２６−５に供給する。また、設定部２５は、５個の２次元平面情報をテーブル生成部２８に供給する。

透視投影部２６−１乃至２６−５は、それぞれ、マッピング処理部２２から供給される全天球画像を球にマッピングする。透視投影部２６−１乃至２６−５は、それぞれ、球の中心を焦点として、球にマッピングされた全天球画像を、設定部２５から供給される２次元平面情報が示す２次元平面に透視投影することにより、画像を生成する。これにより、生成された画像は、球にマッピングされた全天球画像を球の中心から所定の視線方向に向かって見た画像となる。透視投影部２６−１乃至２６−５は、それぞれ、生成された画像を高解像度画像としてエンコーダ２７−１乃至２７−５に供給する。

エンコーダ２７−１乃至エンコーダ２７−５（高解像度符号化部）は、それぞれ、透視投影部２６−１乃至２６−５から供給される高解像度画像を、MPEG2方式やAVC方式などの符号化方式で符号化し、１本の高解像度ストリームを生成する。

このとき、例えば、エンコーダ２７−１乃至２７−５により生成される５本の高解像度ストリームの間で、GOP(Group of Picture)の先頭ピクチャやIDRピクチャなどのシンクポイントは同一にされる。エンコーダ２７−１乃至２７−５は、それぞれ、生成された１本の高解像度ストリームを送信部２９に供給する。

なお、以下では、透視投影部２６−１乃至２６−５を特に区別する必要がない場合、それらをまとめて透視投影部２６という。同様に、エンコーダ２７−１乃至２７−５をまとめてエンコーダ２７という。

テーブル生成部２８は、設定部２５から供給される５個の２次元平面情報を含む２次元平面テーブルを生成して、送信部２９に供給する。

送信部２９は、エンコーダ２４から供給される１本の低解像度ストリーム、エンコーダ２７のそれぞれから供給される合計５本の高解像度ストリーム、およびテーブル生成部２８から供給される２次元平面テーブルを、図１の配信サーバ１３にアップロード（送信）する。

（２次元平面の第１の例）
図３は、図２の設定部２５により設定される５個の２次元平面の例を示す図である。

図３のＡと図３のＢは、それぞれ、２次元平面が内部に設定された３Ｄモデルとしての球の透視図、水平切断面の上面図である。

図３の例では、全天球画像が、例えば、コンサート会場を撮影した撮影画像から生成された全天球画像である。また、全天球画像が球４０にマッピングされた際、球４０の中心Ｏを通り、中心Ｏを通る水平面上の基準軸との水平方向の角度が、−９０度、−４５度、０度、４５度、９０度である方向に、コンサート会場に配置されたステージの全天球画像が存在する。即ち、中心Ｏを視聴位置とするユーザにとって重要であると想定される視線方向の基準軸との水平方向の角度が、−９０度、−４５度、０度、４５度、９０度である。

従って、図３のＡおよび図３のＢに示すように、設定部２５は、球４０の中心Ｏを通り、基準軸との水平方向の角度が、−９０度、−４５度、０度、４５度、９０度である線を、中心を通る法線とし、隣接するものどうしが交差するように、球４０の内部に２次元平面４１乃至４５を設定する。よって、２次元平面４１乃至４５のうちの隣接するどうしに透視投影される全天球画像の一部は重複する。

また、図３の例では、２次元平面４１乃至４５の中心を通る法線と基準軸との水平方向の角度の絶対値は90度以下である。従って、再生装置１５は、全ての２次元平面に対応する高解像度画像を用いても、水平方向の周囲360度および垂直方向の周囲180度の全ての視聴方向（視線方向）に対応する表示画像を生成することはできない。

なお、図３の例では、２次元平面４１乃至４５の中心を通る法線と基準軸との垂直方向の角度は全て０度であり、２次元平面４１乃至４５の傾きはない。

（２次元平面テーブルの構成例）
図４は、図１のテーブル生成部２８により生成される２次元平面テーブルの構成例を示す図である。

図４の例では、２次元平面情報が、図３の２次元平面４１乃至４５の位置を示す情報として方位角と仰角を含み、傾きを示す情報として回転角を含み、サイズを示す情報として横画角と縦画角を含む。

なお、方位角と仰角は、それぞれ、球４０の中心Ｏと２次元平面４１乃至４５の中心を結ぶ線と、中心Ｏを通る水平面上の基準軸とのなす水平方向の角度、垂直方向の角度である。回転角は、２次元平面４１乃至４５の中心と中心Ｏを結ぶ線を軸としたときの２次元平面４１乃至４５の回転方向の角度である。横画角は、２次元平面４１乃至４５の横方向の２つの端部それぞれと中心Ｏとを結んだ線のなす角度であり、縦画角は、２次元平面４１乃至４５の縦方向の２つの端部それぞれと中心Ｏとを結んだ線のなす角度である。

この場合、図４に示すように、２次元平面テーブルには、２次元平面４１乃至４５のそれぞれに固有のＩＤが登録される。図４の例では、２次元平面４１乃至４５に対して１から順にＩＤが付与されており、２次元平面テーブルには、ＩＤとして１乃至５が登録される。

また、２次元平面テーブルには、ＩＤに対応付けて、そのＩＤに対応する２次元平面の２次元平面情報と、各２次元平面の高解像度画像の横方向の画素数である横画素数および縦方向の画素数である縦画素数とが登録される。

具体的には、２次元平面４１乃至４５は、それぞれ、球４０の中心Ｏを通り、基準軸との水平方向の角度が−９０度、−４５度、０度、４５度、９０度であり、垂直方向の角度が全て０度である線を、中心を通る法線とし、傾きがないように設定される。従って、ＩＤ「１」乃至「５」のそれぞれに対応付けて、方位角「−９０度」、方位角「−４５度」、方位角「０度」、方位角「４５度」、方位角「９０度」が登録される。また、ＩＤ「１」乃至「５」に対応付けて、仰角「０度」および回転角「０度」が登録される。

また、図４の例では、２次元平面４１乃至４５の横画角および縦画角は９０度であり、横画素数および縦画素数は１０２４である。従って、ＩＤ「１」乃至「５」に対応付けて、横画角「９０度」、縦画角「９０度」、横画素数「１０２４」、および縦画素数「１０２４」が登録される。

（生成装置の処理の説明）
図５は、図１の生成装置１２の生成処理を説明するフローチャートである。

図５のステップＳ１１において、スティッチング処理部２１は、フレームごとに、図１のカメラ１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続する。スティッチング処理部２１は、その結果得られるフレーム単位の撮影画像をマッピング処理部２２に供給する。

ステップＳ１２において、マッピング処理部２２は、正距円筒図法を用いた方法により、スティッチング処理部２１から供給される撮影画像から全天球画像を生成する。マッピング処理部２２は、全天球画像を低解像度化部２３および透視投影部２６−１乃至２６−５に供給する。

ステップＳ１３において、低解像度化部２３は、マッピング処理部２２から供給される全天球画像を低解像度化し、低解像度画像を生成する。低解像度化部２３は、生成された低解像度画像をエンコーダ２４に供給する。

ステップＳ１４において、エンコーダ２４は、低解像度化部２３から供給される低解像度画像を符号化し、１本の低解像度ストリームを生成する。エンコーダ２４は、１本の低解像度ストリームを送信部２９に供給する。

ステップＳ１５において、設定部２５は、５個の視線方向に対応する２次元平面情報を設定する。設定部２５は、各２次元平面情報を各透視投影部２６に供給し、５個の２次元平面情報をテーブル生成部２８に供給する。

ステップＳ１６において、各透視投影部２６は、マッピング処理部２２から供給される全天球画像を球にマッピングし、球の中心を焦点として、球にマッピングされた全天球画像を、設定部２５から供給される２次元平面情報が示す２次元平面に透視投影することにより、画像を生成する。各透視投影部２６は、生成された画像を高解像度画像として各エンコーダ２７に供給する。

ステップＳ１７において、各エンコーダ２７は、透視投影部２６から供給される高解像度画像を符号化して、１本の高解像度ストリームを生成し、送信部２９に供給する。

ステップＳ１８において、テーブル生成部２８は、設定部２５から供給される５個の２次元平面情報を含む２次元平面テーブルを生成して、送信部２９に供給する。

ステップＳ１９において、送信部２９は、エンコーダ２４から供給される１本の低解像度ストリーム、各エンコーダ２７から供給される合計５本の高解像度ストリーム、およびテーブル生成部２８から供給される２次元平面テーブルを、配信サーバ１３にアップロードする。

（配信サーバと再生装置の構成例）
図６は、図１の配信サーバ１３と再生装置１５の構成例を示すブロック図である。

図６に示すように、配信サーバ１３は、受信部１０１、ストレージ１０２、送信部１０３、送信部１０４、受信部１０５、ログ解析部１０６、画像変更部１０７、２Ｄ画像作成部１０８、および２Ｄ画像配信部１０９により構成される。

受信部１０１は、図１の生成装置１２からアップロードされた１本の低解像度ストリーム、５本の高解像度ストリーム、および２次元平面テーブルを受信し、ストレージ１０２に供給する。

ストレージ１０２は、受信部１０１から供給される１本の低解像度ストリーム、５本の高解像度ストリーム、および２次元平面テーブルを記憶する。

送信部１０３は、再生装置１５からの要求に応じて、１本の低解像度ストリームと２次元平面テーブルをストレージ１０２から読み出し、ネットワーク１４を介して再生装置１５に送信する。

送信部１０４は、再生装置１５からの要求に応じて、１本の高解像度ストリームをストレージ１０２から読み出し、ネットワーク１４を介して再生装置１５に送信する。なお、送信する高解像度ストリームの変更は、シンクポイントで行われる。従って、送信する高解像度ストリームの変更は、数フレームから数十フレーム単位で行われる。

また、上述したように、５本の高解像度ストリームの間でシンクポイントは同一である。従って、送信部１０４は、送信する高解像度ストリームをシンクポイントで切り替えることにより、再生装置１５において、再生する高解像度画像の切り替えを容易に行うことができる。

受信部１０５は、再生装置１５から送られてくる視聴方向ログを受信し、ログ解析部１０６に供給する。ログ解析部１０６は、視聴方向ログであるユーザの視聴タイムスタンプと視聴視野角を解析し、最も視聴回数の多い注目ポイントを抽出し、抽出した注目ポイントに関する情報を、画像変更部１０７および２Ｄ画像生成部１０８に供給する。

画像変更部１０７は、ログ解析部１０６により抽出された注目ポイントから、高画質領域と低画質領域を抽出し、ストレージ１０２に記録されている高解像度ストリームの画像を変更する。例えば、画像の圧縮率や解像度が変更される。２Ｄ画像生成部１０８は、ログ解析部１０６により抽出された注目ポイントに対応する、ストレージ１０２に記録されている高解像度ストリームから、注目ポイントに対応する２Ｄ画像を生成し、生成した注目ポイントに対応する２Ｄ画像をストレージ１０２に登録する。２Ｄ画像配信部１０９は、登録された注目ポイントに対応する２Ｄ画像の視聴の示唆を、再生装置１５に送ったり、再生装置１５からの要求に応じて、注目ポイントに対応する２Ｄ画像のストリームを再生装置１５に配信する。

再生装置１５は、カメラ１５Ａ、受信部１２１、デコーダ１２２、受信部１２３、デコーダ１２４、マッピング処理部１２５、描画部１２６、受け取り部１２７、視聴方向取得部１２８、視聴方向ログ記録部１２９、送信部１３０、受信部１３１、デコーダ１３２、表示制御部１３３、および表示部１３４により構成される。

再生装置１５の受信部１２１は、配信サーバ１３に１本の低解像度ストリームと２次元平面情報を、ネットワーク１４を介して要求する。受信部１２１(受け取り部)は、その要求に応じて送信部１０３から送信されてくる１本の低解像度ストリームと２次元平面情報を受け取る。受信部１２１は、１本の低解像度ストリームをデコーダ１２２に供給し、２次元平面情報を視聴方向取得部１２８に供給する。

デコーダ（低解像度復号部）１２２は、受信部１２１から供給される低解像度ストリームを復号し、低解像度画像を生成する。デコーダ１２２は、低解像度画像をマッピング処理部１２５に供給する。

受信部１２３は、視聴方向取得部１２８から、５個の２次元平面のうちの１つである選択面のＩＤを示す選択面情報を取得する。受信部１２３は、選択面情報に基づいて、５本の高解像度ストリームのうちの、選択面情報により特定される選択面の１本の高解像度ストリームを、ネットワーク１４を介して要求する。受信部１２３は、その要求に応じて送信部１０４から送信されてくる１本の高解像度ストリームを受け取り、デコーダ１２４に供給する。

デコーダ（高解像度復号部）１２４は、受信部１２３から供給される１本の高解像度ストリームを復号し、高解像度画像を生成する。デコーダ１２４は、高解像度画像をマッピング処理部１２５に供給する。

マッピング処理部１２５は、視聴方向取得部１２８から供給される選択面の２次元平面情報に基づいて、予め３Ｄモデルとして設定されている球の内部に選択面を３Ｄモデルとして設定する。マッピング処理部１２５は、デコーダ１２２から供給される低解像度画像を、３Ｄモデルとしての球にテクスチャとしてマッピングする。また、マッピング処理部１２５は、３Ｄモデルとしての２次元平面に、デコーダ１２４から供給される高解像度画像をテクスチャとしてマッピングする。マッピング処理部１２５は、球と選択面にテクスチャがマッピングされた３Ｄモデル画像を描画部１２６に供給する。

描画部１２６は、マッピング処理部１２５から供給される３Ｄモデル画像を、視聴方向取得部１２８から供給される視聴位置を焦点として、ユーザの視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。即ち、描画部１２６は、視聴位置から視野範囲を通して見える球４０または２次元平面にマッピングされた画像を表示画像として生成する。描画部１２６は、表示画像をヘッドマウントディスプレイ１６に供給する。

受け取り部１２７は、図１のジャイロセンサ１６Ｂの検出結果をヘッドマウントディスプレイ１６から受け取り、視聴方向取得部１２８に供給する。

視聴方向取得部１２８は、例えば、受け取り部１２７から供給されるジャイロセンサ１６Ｂの検出結果に基づいて、３Ｄモデルの座標系におけるユーザの視線方向（視聴方向）を決定する。また、視聴方向取得部１２８は、カメラ１５Ａからマーカ１６Ａの撮影画像を取得し、その撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。

視聴方向取得部１２８(選択部)は、３Ｄモデルの座標系における視聴位置および視聴方向、並びに、受信部１２１から供給される２次元平面情報に基づいて、５個の２次元面のうちの、ユーザの視線に最も近い法線に対応する１個の２次元平面を選択面に決定する。

具体的には、視聴方向取得部１２８は、視聴位置から視聴方向に延びる視線と基準軸のなす水平方向および垂直方向の角度並びに視線の回転角に最も近い、方位角および仰角並びに回転角に対応する２次元平面のＩＤを選択面のＩＤとして取得する。

これにより、視聴方向取得部１２８は、ユーザの視野範囲に透視投影される高解像度画像の割合が最も高くなるように、その高解像度画像に対応する２次元平面を選択面として選択することができる。視聴方向取得部１２８は、選択面情報を受信部１２３に供給し、選択面の２次元平面情報をマッピング処理部１２５に供給する。

また、視聴方向取得部１２８は、視聴タイムスタンプと、そのときに視聴方向取得部１２８により取得された視聴視野角（方位角、仰角、回転角）のログである視聴方向の情報を、視聴方向ログ記録部１２９も供給する。視聴方向ログ記録部１２９は、視聴方向取得部１２８からの視聴方向ログを記録する。送信部１３０は、視聴終了後、視聴方向ログ記録部１２９により取得された視聴方向ログを、ネットワーク１４を介して、配信サーバ１３に送信する。

受信部１３１は、配信サーバ１３から送られてくる注目ポイントの視聴示唆や２Ｄ画像を、ネットワーク１４を介して受信し、受信した注目ポイントの視聴示唆を表示制御部１３３に供給し、注目ポイントの２Ｄ画像をデコーダ１３２に供給する。デコーダ１３２は、受信部１３１からの注目ポイントの２Ｄ画像をデコードし、表示制御部１３３に供給する。

表示制御部１３３は、受信部１３１からの注目ポイントの視聴示唆の表示を制御し、ユーザの操作に応じて、デコードされた注目ポイントの２Ｄ画像の表示を制御する。表示部１３４は、LCDなどにより構成される。表示部１３４は、注目ポイントの視聴示唆や注目ポイントの２Ｄ画像を表示する。

（配信サーバの動作例）
次に、図７のフローチャートを参照して、配信サーバ１３の処理について説明する。なお、図８の例においては、本技術の概要が示されており、適宜、図８を参照して説明する。図中Ａと数字の組み合わせは、各フローチャートでのステップ番号に対応している。また、視聴方向ログ２０１乃至２０３（図８）において、t,t+1,t+2,t+3は、タイムスタンプを表しており、タイムスタンプが記されている方向が、視聴視野角を表している。さらに、再生装置１５−１および１５−２が示されているが、適宜区別する必要がない場合、総称して再生装置１５で説明を行う。

図７のステップＳ３１乃至Ｓ３４において、配信サーバ１３は、動画配信を行う（図８のＡ３１乃至Ａ３４）。すなわち、送信部１０３は、ステップＳ３１において、再生装置１５からの要求に応じて、２次元平面テーブルをストレージ１０２から読み出し、ネットワーク１４を介して再生装置１５に送信する。

送信部１０４は、ステップＳ３２において、再生装置１５からの要求に応じて、１本の高解像度ストリーム２０４（図８）をストレージ１０２から読み出し、ネットワーク１４を介して再生装置１５に送信する。なお、送信する高解像度ストリームの変更は、シンクポイントで行われる。従って、送信する高解像度ストリームの変更は、数フレームから数十フレーム単位で行われる。

送信部１０３は、ステップＳ３３において、再生装置１５からの要求に応じて、１本の低解像度ストリームをストレージ１０２から読み出し、ネットワーク１４を介して再生装置１５に送信する。

ステップＳ３４において、送信部１０４は、動画配信を終了するか否かを判定する。ステップＳ３４において終了しないと判定された場合、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。再生装置１５からの要求に対応して、ステップＳ３４において、終了すると判定された場合、処理は、ステップＳ３５に進む。

ステップＳ３５において、受信部１３１は、再生装置１５からの視聴方向ログとして、視聴タイムスタンプおよび視聴視野角のログを受信し（図８のＡ３５）、ログ解析部１０６に供給する。

ステップＳ３６において、ログ解析部１０６は、視聴方向ログであるユーザの視聴タイムスタンプと視聴視野角を解析する（図８のＡ３６）。例えば、解析方法としては、ANDを取ってスコア化が行われる。

ステップＳ３７において、ログ解析部１０６は、特に視聴時間と視野角とから、注目ポイントを抽出し（図８のＡ３７）、抽出した注目ポイントに関する情報を、画像変更部１０７および２Ｄ画像生成部１０８に供給する。

ステップＳ３８において、画像変更部１０７は、ログ解析部１０６により抽出された注目ポイントから、高画質領域と低画質領域を抽出し（図８のＡ３８）、ストレージ１０２に記録されている高解像度ストリームの画像（の圧縮率または解像度など）を変更させる。

これにより、以降の高解像度ストリーム２０５（図８）は、領域別画質違いの動画配信となり、視聴方向ログに応じて画像の圧縮率（または解像度）が変更されたものが再生装置１５−２（１５−１）に対して配信される。

ステップＳ３９において、注目ポイントの視聴方向の２Ｄ画像（動画）２０６（図８）が生成され、配信される（図８のＡ３９）。すなわち、２Ｄ画像生成部１０８は、ログ解析部１０６により抽出された注目ポイントに対応する、ストレージ１０２に記録されている高解像度ストリームから、注目ポイントに対応する２Ｄ画像２０６を生成し、生成した注目ポイントに対応する２Ｄ画像２０６をストレージ１０２に登録する。２Ｄ画像配信部１０９は、登録された注目ポイントに対応する２Ｄ画像の視聴の示唆を、再生装置１５に送ったり、再生装置１５からの要求に応じて、注目ポイントに対応する２Ｄ画像２０６のストリームを再生装置１５に配信する。

これにより、再生装置１５−１のユーザは、自分が視聴していた以外の視聴方向（視野角）での視聴方法があることを知ることができる。また、自分が視聴していた視聴方向とは異なる他のユーザにより最も視聴されている視聴方向での２Ｄ画像を見ることができる。

（再生装置の動作例）
次に、図９のフローチャートを参照して、再生装置１５の再生処理について説明する。なお、図９においても、図７を参照して上述したように、本技術の概要が示されている図８を参照して説明する。図中Ａと数字の組み合わせは、各フローチャートでのステップ番号に対応している。また、再生装置１５−１および１５−２が示されているが、適宜区別する必要がない場合、総称して再生装置１５で説明を行う。この再生処理は、例えば、ユーザの要求に応じて開始される。

図９のステップＳ５１において、再生装置１５の受信部１２１は、配信サーバ１３に２次元平面情報を要求し、その要求に応じて送信部１０３から送信されてくる２次元平面情報を受け取る。受信部１２１は、２次元平面情報を視聴方向取得部１２８に供給する。

ステップＳ５２において、受け取り部１２７は、図１のジャイロセンサ１６Ｂの検出結果をヘッドマウントディスプレイ１６から受け取り、視聴方向取得部１２８に供給する。

ステップＳ５３において、視聴方向取得部１２８は、受け取り部１２７から供給されるジャイロセンサ１６Ｂの検出結果に基づいて、３Ｄモデルの座標系におけるユーザの視聴方向（視線方向）を決定する。

ステップＳ５４において、視聴方向取得部１２８は、カメラ１５Ａからマーカ１６Ａの撮影画像を取得し、その撮影画像に基づいて３Ｄモデルの座標系における視聴位置を検出する。

ステップＳ５５において、視聴方向取得部１２８は、３Ｄモデルの座標系における視聴位置および視聴方向、並びに、受信部１２１から供給される２次元平面情報に基づいて、５個の２次元面のうちのユーザの視線に最も近い１個の２次元平面を選択面に決定する。視聴方向取得部１２８は、選択面の選択面情報を受信部１２３に供給し、選択面の２次元平面情報をマッピング処理部１２５に供給する。

ステップＳ５６において、視聴方向取得部１２８は、３Ｄモデルの座標系における視聴位置と視聴方向に基づいて、３Ｄモデルの座標系におけるユーザの視野範囲を決定する。視聴方向取得部１２８は、ユーザの視野範囲と視聴位置を描画部１２６に供給する。

ステップＳ５７において、視聴方向ログ記録部１２９は、視聴タイムスタンプと、そのときに視聴方向取得部１２８により取得された視聴視野角（方位角、仰角、回転角）のログである視聴方向ログを図示せぬメモリなどに記録する。

ステップＳ５８において、受信部１２３は、視聴方向取得部１２８から供給される選択面情報により特定される選択面の１本の高解像度ストリームを配信サーバ１３に要求し、その要求に応じて送信部１０４から送信されてくる１本の高解像度ストリームを受け取る。受信部１２３は、受け取られた１本の高解像度ストリームをデコーダ１２４に供給する。

ステップＳ５９において、デコーダ１２４は、受信部１２３から供給される１本の高解像度ストリームを復号し、高解像度画像を生成する。デコーダ１２４は、高解像度画像をマッピング処理部１２５に供給する。

ステップＳ６０において、マッピング処理部１２５は、視聴方向取得部１２８から供給される選択面の２次元平面情報に基づいて、予め３Ｄモデルとして設定されている球の内部に選択面を３Ｄモデルとして設定する。

ステップＳ６１において、マッピング処理部１２５は、デコーダ１２４から供給される高解像度画像を、３Ｄモデルとして設定された選択面にテクスチャとしてマッピングする。

ステップＳ６２において、受信部１２１は、配信サーバ１３に１本の低解像度ストリームを要求し、その要求に応じて送信部１０３から送信されてくる１本の低解像度ストリームを受け取る。受信部１２１は、１本の低解像度ストリームをデコーダ１２２に供給する。

ステップＳ６３において、デコーダ１２２は、受信部１２１から供給される低解像度ストリームを復号し、低解像度画像を生成する。デコーダ１２２は、低解像度画像をマッピング処理部１２５に供給する。

ステップＳ６４において、マッピング処理部１２５は、デコーダ１２２から供給される低解像度画像を、３Ｄモデルとしての球にテクスチャとしてマッピングする。マッピング処理部１２５は、球と２次元平面にテクスチャがマッピングされた３Ｄモデル画像を描画部１２６に供給する。

ステップＳ６５において、描画部１２６は、マッピング処理部１２５から供給される３Ｄモデル画像を、視聴方向取得部１２８から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、ユーザの視野範囲の画像を表示画像として生成する。

ステップＳ６６において、描画部１２６は、表示画像をヘッドマウントディスプレイ１６に送信して表示させる。ステップＳ６７において、再生装置１５は、再生を終了するかどうか、例えばユーザにより再生の終了が要求されたかどうかを判定する。

ステップＳ６７で再生を終了しないと判定された場合、処理はステップＳ５１に戻り、再生を終了すると判定されるまで、ステップＳ５１乃至Ｓ６７の処理が繰り返される。一方、ステップＳ６７で再生を終了すると判定された場合、処理は終了される。

ステップＳ６８において、送信部１３０は、視聴方向ログ記録部１２９により取得された視聴方向ログを、ネットワーク１４を介して、配信サーバ１３に送信する（図８のＡ６８）。

以上のようにして、動画の視聴がなされ、視聴後、再生装置１５から配信サーバ１３に、視聴方向ログが送信される。

（再生装置の他の動作例）
次に、図１０のフローチャートを参照して、再生装置１５の２Ｄ動画再生処理について説明する。例えば、図７のステップＳ３９において、２Ｄ画像配信部１０９は、登録された注目ポイントの２Ｄ画像２０６の視聴の示唆を、再生装置１５に送ってくる。例えば、前回の視聴方向が、注目ポイントの視聴方向と異なる場合などに、注目ポイントの２Ｄ画像２０６の視聴の示唆が送られるようにしてもよい。

再生装置１５の受信部１２３は、注目ポイントの２Ｄ画像２０６の視聴の示唆を受信し、表示制御部１３３に供給する。これに対応して、表示制御部１３３は、ステップＳ８１において、注目ポイントの２Ｄ画像の視聴示唆を、表示部１３４に表示させる。

ユーザが、再生装置１５の図示せぬ操作部を操作し、視聴の指示を行うと、ステップＳ８２において、受信部１３１は、注目ポイントの動画を視聴するか否かを判定する。ステップＳ８２において、注目ポイントの動画を視聴しないと判定された場合、２Ｄ動画再生処理は終了される。

ステップＳ８２において、注目ポイントの動画を視聴すると判定された場合、処理は、ステップＳ８３に進む。受信部１３１は、視聴指示を、ネットワーク１４を介して、配線サーバ１３に送信する。これに対応して、２Ｄ画像配信部１０９は、注目ポイントに対応する２Ｄ画像のストリームを再生装置１５に送信してくる。

ステップＳ８３において、再生装置１５は、注目ポイントの２Ｄ動画を再生する。すなわち、受信部１３１は、２Ｄ画像を、ネットワーク１４を介して受信し、受信した注目ポイントの２Ｄ画像をデコーダ１３２に供給する。デコーダ１３２は、受信部１３１からの注目ポイントの２Ｄ画像をデコードし、表示制御部１３３に供給する。表示制御部１３３は、デコードされた注目ポイントの２Ｄ画像を表示部１３４に表示させる。

以上のように、注目ポイントの２Ｄ画像を配信することで、ユーザの視聴とは異なる最も視聴されているポイントでの視聴を提案することができる。

なお、上記説明においては、視線検出により視聴方向を取得する例を説明してきたが、その他の例について以下に説明する。

（視聴方向の取得処理）
次に、図１１のフローチャートを参照して、視聴方向取得部１２８における視聴方向の取得処理について説明する。図１１においては、各種センサを指令して取得する場合について説明される。この場合のセンサとしては、上述した視線検出センサの他に、ヘッドマウントディスプレイ１６に設けられるジャイロセンサ１６Ｂ、加速度センサ、地磁気センサや、スマートフォン（多機能型携帯電話機）、赤外線などによるアクティブセンサなどが用いられる。

ステップＳ１０１において、視聴方向取得部１２８は、ユーザの初期視聴方向を特定する。なお、初期視聴方向の特定には、例えば、地磁気を使って、絶対方向で初期化してもよいし、または、ジャイロセンサ１６Ｂを用いて、相対位置で初期化してもよい。

ステップＳ１０２において、視聴方向取得部１２８は、視聴方向トラッキングを開始する。ステップＳ１０３において、視聴方向ログ記録部１２９は、ジャイロセンサ１６Ｂの動きから視聴方向の変化を、図１２に示されるような軌跡として記録する。

図１２の例においては、図中上を初期視聴方向とみた、視聴方向としての方位角、仰角の時刻t乃至t+3の軌跡が示されている。なお、図１２の例においては示されていないが、視聴方向として、回転角も取得され、軌跡が記録される。

次に、図１３のフローチャートを参照して、視聴方向取得部１２８における視聴方向の取得処理の他の例について説明する。図１３においては、ユーザに装着されるデバイス（ヘッドマウントディスプレイ１６やゲームコントローラ、マウスなど）を、外部から観測して取得する場合について説明される。この場合の外部としては、Play station（登録商標） moveやPSVRのLED情報、ヘッドマウントディスプレイ１６用のトラッキングカメラ、屋内高精細GPS、マウス、ゲームコントローラなどが用いられる。

ステップＳ１２１において、視聴方向取得部１２８は、ユーザの初期視聴方向を特定する。

ステップＳ１２２において、視聴方向取得部１２８は、デバイスの位置の視聴方向トラッキングを開始する。ステップＳ１２３において、視聴方向ログ記録部１２９は、デバイス位置の動きから視聴方向の変化を軌跡として記録する。

なお、ヘッドマウントディスプレイ１６の場合については、図１４のＡには、ユーザが椅子などに座っていて、ヘッドマウントディスプレイ１６の位置が移動しない例が示されている。図１４のＡの例においては、視聴方向ログとして、方位角の軌跡２２１、仰角の軌跡２２２、回転角の軌跡２２３が取得される。

また、図１４のＢには、ユーザが自由に移動・姿勢変更でき、ヘッドマウントディスプレイ１６の位置が移動する例が示されている。図１４のＢの例においては、視聴方向ログとして、方位角の軌跡２２１、仰角の軌跡２２２、回転角の軌跡２２３、前後左右斜めの移動位置の軌跡２３１が取得される。

なお、上記説明においては、保持する各種センサを指令して取得する場合、外部から観測して取得する場合の視聴方向の取得処理を説明したが、その他に、視聴方向は、ユーザが見た画像から取得することができる。この場合、ユーザが見た方向の画像を、定期的にキャプチャリングを行い、その後、配信された元画像データとマッチングを取って視聴方向を推定することにより、視聴方向を取得することができる。また、例えば、Facebook(SNS)においては、360度「いいね」ボタンがあり、見た方向に「いいね」やメッセージを記録することができる。このように、ユーザが自身で見た方向を入力し、その情報を取得することも可能である。

（視聴方向の記録処理）
次に、上述したように取得された視聴方向（方位角・仰角・回転角）ログのテーブル記述例について説明する。なお、以下に説明する視聴方向ログは、図１５に示されるような、ｘ軸の正方向をposXとし、ｘ軸の負の方向をnegXとし、y軸の正方向をposYとし、y軸の負の方向をnegYとし、z軸の正方向をposXとし、Z軸の負の方向をnegXとした６面キューブで表現されるが、任意の透視投影面数でもよい。

図１６は、視聴方向ログ記録部１２９により記録される視聴方向ログの例を示す図である。視聴方向ログ記録部１２９は、図１２を用いて上述した、ジャイロセンサ１６Ｂの動きから視聴方向の変化の軌跡を記録し、視聴終了時に、図１６に示されるような視聴方向ログを記録（生成）する。

図１６のＡの例においては、ユーザが椅子などに座っていて、ヘッドマウントディスプレイ１６が移動しない場合の例が示されている。

例えば、時刻「ｔ」の視聴方向ログは、ファイル名が「posZ」であり、方位角が「0°」仰角が「+30°」、回転角が「0°」、視線ベクトル(x,y,z)が(0,0,+1)、視点座標(x,y,z)が(0,0,0)、横画角が「90°」、縦画角が「90°」、横画素数が「1024」、縦画素数が「1024」である。

時刻「t+1」の視聴方向ログは、ファイル名が「posX」であり、方位角が「+90°」、仰角が「+25°」、回転角が「0°」、視線ベクトル(x,y,z)が(+1,0,0)、視点座標(x,y,z)が(0,0,0)、横画角が「90°」、縦画角が「90°」、横画素数が「1024」、縦画素数が「1024」である。

時刻「t+2」の視聴方向ログは、ファイル名が「posX」であり、方位角が「+90°」、仰角が「+25°」、回転角が「0°」、視線ベクトル(x,y,z)が(+1,0,0)、視点座標(x,y,z)が(0,0,0)、横画角が「90°」、縦画角が「90°」、横画素数が「1024」、縦画素数が「1024」である。

時刻「t+3」の視聴方向ログは、ファイル名が「negZ」であり、方位角が「-180°」、仰角が「+20°」、回転角が「0°」、視線ベクトル(x,y,z)が(-1,0,-1)、視点座標(x,y,z)が(0,0,0)、横画角が「90°」、縦画角が「90°」、横画素数が「1024」、縦画素数が「1024」である。

図１６のＢの例においては、ユーザが自由に移動・姿勢変更でき、ヘッドマウントディスプレイ１６が移動する場合の例が示されている。なお、視聴方向ログのうち、時刻、ファイル名、方位角、仰角、回転角、視線ベクトル、横画角、縦画角、横画素数、および縦画素数は、図１６のＡの視線方向ログと同じである。図１６のＢの例においては、視聴方向ログのうち、位置情報を表す視点座標(x,y,z)が(0,0,0)ではない点のみが、図１６のＡの例と異なっている。

すなわち、時刻「t」の視聴方向ログの視点座標(x,y,z)は、(+1,0,0)である。時刻「ｔ+1」の視聴方向ログの視点座標(x,y,z)は、(+2,0,0)であり、時刻「t」よりも右に移動したことがわかる。時刻「ｔ+2」の視聴方向ログの視点座標(x,y,z)は、(0,+1,0)であり、時刻「t+1」よりも前に直進したことがわかる。時刻「ｔ+3」の視聴方向ログの視点座標(x,y,z)は、(0,0,-3)であり、時刻「t+2」からしゃがんだことがわかる。

なお、図１２を用いて上述した、ジャイロセンサ１６Ｂの動きから視聴方向の変化の軌跡は、視聴方向ログとして、図１７に示されるような正距円筒のヒートマップで表現されてもよい。

図１７の例においては、図中奥より、t,t+1,t+2,t+3の視聴ログが、正距円筒のヒートマップで表現されている。例えば、t+3の正距円筒のヒートマップにおいて、ユーザの視聴方向が他の方向とは異なる表示（ハッチング）で示されている。

なお、上述した説明では、２次元平面の数は５個であるものとしたが、２次元平面の数は、５個に限定されない。２次元平面の数が多いほど、再生装置１５は、ユーザの視線により近い法線に対応する高解像度画像を用いて表示画像を生成することができる。従って、表示画像における高解像度画像の割合が多くなり、その結果、表示画像の画質が向上する。しかしながら、高解像度ストリームの本数が増加するため、必要となるストレージ１０２の記憶容量と高解像度ストリームを生成するための生成装置１２の処理量が増加する。

また、２次元平面テーブルには、２次元平面情報、横画素数、および縦画素数のうちの固定値以外が登録されるようにしてもよい。さらに、２次元平面は、１以上のフレーム単位で設定されてもよいし、シーン単位で設定されてもよい。

（２次元平面の第２の例）
図１８は、２次元平面の数が５個以外である場合の２次元平面の例を示す図である。

なお、図１８において、矢印は各２次元平面の中心を通る法線を示している。

図１８のＡに示すように、設定部２５は、２次元平面として、球４０（図３）の中心Ｏを中心とする立方体３１０の６個の各面３１１乃至３１６を設定することもできる。この場合、６個の２次元平面の中心を通る法線は、中心Ｏを通り、互いに直交する３軸の両方向の合計６本の線である。また、全ての２次元平面の横画角と縦画角は９０度であり、各２次元平面は重なり合わない。

即ち、この場合、２次元平面の高解像度画像は、キューブマッピングにより生成された全天球画像を３Ｄモデルとしての立方体の面単位で分割した画像である。なお、キューブマッピングとは、３Ｄモデルとしての立方体に画像をマッピングし、画像がマッピングされた立方体の展開図を全天球画像とする全天球画像の生成方法である。

また、図１８のＢに示すように、設定部２５は、各２次元平面の中心を通る法線が、立方体３１０の１２本の各辺の中点と中心Ｏを通る線であるように、１２個の２次元平面を設定することもできる。この場合、図１８のＡの場合に比べて、隣接する２次元平面間の角度が小さくなるため、再生装置１５は、視線により近い法線に対応する２次元平面を選択面とすることができる。その結果、表示画像内の高解像度画像の割合が大きくなり、表示画像の画質が向上する。

さらに、図１８のＣに示すように、設定部２５は、各２次元平面の中心を通る法線が、立方体３１０の１２本の各辺の中点と中心Ｏを通る線、および、立方体３１０の６個の各面３１１乃至３１６の中心と中心Ｏを通る線であるように、１８個の２次元平面を設定することもできる。この場合、２次元平面は、面３１１乃至３１６と図１８のＢの場合の２次元平面である。

図１８のＡおよび図１８のＣの例では、面３１１乃至３１６に対応する高解像度画像を全て用いることにより、水平方向の周囲360度および垂直方向の周囲180度の全ての視線方向に対応する表示画像を生成することができる。

（画像変更の例）
次に、図１９を参照して、画像変更部１０７による画像変更処理の第１の方法として、画像の圧縮率変更について説明する。なお、以下、配信サーバ１３のストレージ１０２には、図１８のＣを参照して上述した１８個の２次元平面に対応する高解像度画像と、全天の低解像度画像とが登録されている例を用いて説明する。

図１９に示されるように、配信サーバ１３のストレージ１０２には、１８個の２次元平面に対応する高解像度画像２５１−１乃至２５１−１８と、全天の低解像度画像２５２とが登録されている。そして、再生装置１５には、これらのうち、１本の高解像度画像（例えば、高解像度画像２５１−１５）と全天の低解像度画像２５２とのストリームが配信される。

その後、配信サーバ１３からは、ユーザの視線範囲に応じて再生装置１５により選択された選択面の１本の高解像度画像２５１−１乃至２５１−１５のうちいずれかが配信されるとともに、再生装置１５においては、視聴方向ログが取得され、記録されている。再生終了後、再生装置１５からは、その記録された視聴方向ログが配信サーバ１３に送信される。

そこで、配信サーバ１３のログ解析部１０６は、複数の再生装置１５からの視聴方向ログを解析し、所定のしきい値を用いて、例えば、少なくとも、頻繁に見られた方向の画像、（全く）見られなかった方向の画像を判定する。

図２０に示されるように、画像変更部１０７は、ログ解析部１０６に頻繁に見られた方向と判定された高解像度画像２５１−１乃至２５１−４、２５１−１５、および２５１−１７の圧縮率を変更せず、高解像度のままとする。

一方、画像変更部１０７は、ログ解析部１０６に頻繁に見られた方向の高解像度画像に隣接する高解像度画像２５１−５、２５１−１３、２５１−１６、および２５１−１８の圧縮率を上げるよう再エンコードを行い、中解像度画像に変更し、変更された中解像度画像でストレージ１０２を上書きする。

さらに、画像変更部１０７は、ログ解析部１０６に見られなかった方向と判定された高解像度画像２５１−５、２５１−１３、２５１−１６、および２５１−１８の圧縮率を大きく上げるよう再エンコードを行い、低解像度画像に変更し、変更された低解像度画像でストレージ１０２を上書きする。

なお、見られなかった、全く見られることのなかった方向と判定された高解像度画像２５１−５、２５１−１３、２５１−１６、および２５１−１８については、図２１に示されるようにストレージ１０２から削除するようにしてもよい。この場合、これらの視聴方向については、要求時には、全天の低解像度画像で代用される。

このようにすることで、配信サーバ１３において記憶容量を減らすことができる。なお、画像変更においては、圧縮率の変更以外に、直接、解像度を変更することもできる。

次に、画像変更処理の第２の方法として、配信サーバ１３上の高解像度画像から、ユーザの視聴方向と視聴時間によって不要なフレームを削除する方法について説明する。

ログ解析部１０６は、図２２に示されるように、時刻t乃至t+3において、ユーザの視聴方向の記録を参照し、見られた領域（方向）であるか、見られていない領域であるかを判定する。時刻tにおいて、画像２６１および画像２６６は、見られた領域であると判定され、画像２６２乃至２６５は、見られていない領域であると判定される。時刻t+1において、画像２６１，画像２６３、および画像２６５は、見られた領域であると判定され、画像２６２、画像２６４、および画像２６５は、見られていない領域であると判定される。

時刻t+2において、画像２６３は、見られた領域であると判定され、画像２６１、画像２６２乃至画像２６６は、見られていない領域であると判定される。時刻t+3において、画像２６３、画像２６５、画像２６６は、見られた領域であると判定され、画像２６１、画像２６２、画像２６４は、見られていない領域であると判定される。

一方、同時に、ログ解析部１０６は、時刻t乃至t+3において、画像の変化量を参照し、画像に変化のある領域であるか、画像に変化のない領域であるかを判定する。なお、画像の変化量は、動きベクトルまたはフラット検出などから定義される。

時刻tにおいて、画像２６１は、画像に変化のある領域であると判定され、画像２６２乃至２６６は、画像に変化のない領域であると判定される。時刻t+1において、画像２６１，画像２６３は、画像に変化のある領域であると判定され、画像２６２、画像２６４乃至画像２６６は、画像に変化のない領域であると判定される。

時刻t+2において、画像２６３は、画像に変化のある領域であると判定され、画像２６１、画像２６２乃至画像２６６は、画像に変化のない領域であると判定される。時刻t+3において、画像２６３、画像２６５は、画像に変化のある領域であると判定され、画像２６１、画像２６２、画像２６４、画像２６６は、画像に変化のない領域であると判定される。

そして、画像変更部１０７は、図２３に示されるように、見られていない領域であると判定され、または、画像に変化のない領域であると判定された画像を、削除するフレームに決定する。例えば、ある程度のデータが蓄積された上で、一度も視聴されなかった領域は削除すると決定される。また、例えば、画像の複雑度（動きがまったくないフラットなシーケンスなど）から、削除するようにしてもよい。

図２３の例において、点線が、画像が削除するフレームに決定された画像であることを示している。すなわち、時刻tにおいて、画像２６２乃至画像２６５が削除するフレームとされ、時刻t+1において、画像２６２、画像２６４、画像２６５が削除するフレームとされ、時刻t+2において、画像２６１、画像２６２、画像２６４、画像２６５、画像２６６が削除するフレームとされ、時刻t+3においては、画像２６１、画像２６２、画像２６４が削除するフレームとされる。

なお、画像２６２については、時刻t乃至時刻t+3まで削除するフレームとされているが、図２４の画像２６２に示されるように、すべてのフレームで削除してしまわずに、時間方向で間引くようにしてもよい。

また、上記説明においては、配信サーバ１３上の高解像度画像から、ユーザの視聴方向と視聴時間によって不要なフレームを削除する方法について説明したが、ユーザの視聴方向と視聴時間によって、次に見られる可能性の高い分割画像を再生装置１５に向けて先に送る方法について、図２５を参照して説明する。

すなわち、上記説明においては、視聴範囲に応じた１枚の高解像度画像と、１枚（全天）の低解像度画像を再生装置１５に送信するようにしてきたが、視聴記録によって、次に見られる可能性の高い高解像度画像も先に送るようにすることも可能である。

例えば、時刻tにおいては、１枚の低解像度画像と、高解像度画像として、１枚の画像２６１が配信される。時刻t+1においては、１枚の低解像度画像と、高解像度画像として、２枚の画像２６１と画像２６３が配信される。時刻t+2においては、１枚の低解像度画像と、高解像度画像として、２枚の画像２６３と画像２６５が配信される。時刻t+3においては、１枚の低解像度画像と、高解像度画像として、２枚の画像２６３と画像２６５が配信される。

なお、この場合、再デコードが必要になってしまう。また、図２４の例においては、高解像度画像が１枚または２枚であったが、分割数と分割位置によっては、２枚以上になることもありえる。

以上のようにすることで、配信システム１１においては、配信サーバ１３の記憶容量を減らすことができる。

（２Ｄ画像生成処理の例）
次に、図２６を参照して、２Ｄ画像生成部１０８による視聴方向ログから２Ｄ画像を生成する方法について説明する。図２６においても、１８の高解像度画像が記憶されている場合について示されている。

例えば、時刻tにおいて、高解像度画像である画像３０１乃至画像３１８のうち、注目ポイントが画像３０８および画像３１１の方向に対応する場合、画像３０８および画像３１１からなる２Ｄ画像３２１が生成され、要求に応じて再生装置１５に配信される。

時刻t+1において、高解像度画像である画像３０１乃至画像３１８のうち、注目ポイントが、時刻tよりも左側にずれ、画像３０５および画像３０８の方向に対応する場合、画像３０５および画像３０８からなる２Ｄ画像３２２が生成され、要求に応じて再生装置１５に配信される。

以上のようにすることで、ユーザに別視点（ポイント）からの視聴をお勧めすることができる。

なお、本技術は、全天球画像における視点を中心とした立方体を構成する６つの面の第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像を記憶し、ユーザに送信する図２７の画像表示システムにも適用することができる。

＜２．第２実施の形態＞
（画像表示システムの構成例）
図２７は、本開示を適用した画像表示システムの構成例を示すブロック図である。

図２７の画像表示システム４１０は、マルチカメラ４１１、コンテンツサーバ４１２、ホームサーバ４１３、変換装置４１４、およびヘッドマウントディスプレイ４１５により構成される。画像表示システム４１０は、マルチカメラ４１１により撮影されたYCbCr画像（YUV画像）である撮影画像から全天球画像を生成し、全天球画像のうちのユーザの視野範囲の画像を表示する。

具体的には、画像表示システム４１０のマルチカメラ４１１は、水平方向の周囲360度および垂直方向の周囲180度を撮影範囲として、外向きに配置された複数（図２７の例では６個）のカメラにより構成される。各カメラは、撮影を行い、撮影画像をフレーム単位で生成する。マルチカメラ４１１は、各カメラの撮影画像をコンテンツサーバ４１２に供給する。

コンテンツサーバ４１２(画像処理装置)は、マルチカメラ４１１から供給される各カメラの撮影画像から、所定の視点の全天球画像のテクスチャ画像とデプス画像を生成する。第２実施の形態では、デプス画像は、所定の視点から各画素における被写体までの直線の距離ｒを示す8ビットの値としての、距離ｒの逆数1/rを画素値とする画像である。

コンテンツサーバ４１２は、全天球画像のテクスチャ画像とデプス画像を低解像度化し、低解像度テクスチャ画像と低解像度デプス画像とを生成する。コンテンツサーバ４１２は、低解像度テクスチャ画像と低解像度デプス画像を、AVC(Advanced Video Coding)やHEVC(High Efficiency Video Coding)/H.265等の符号化方式で圧縮符号化する。コンテンツサーバ４１２は、その結果得られる低解像度テクスチャ画像の符号化ストリーム（以下、低解像度テクスチャストリームという）と低解像度デプス画像の符号化ストリーム(以下、低解像度デプスストリームという)を記憶する。

また、コンテンツサーバ４１２は、各カメラの撮影画像を用いて、全天球画像における視点を中心とした立方体を構成する６つの面に対応するテクスチャ画像とデプス画像を階層化して生成する。具体的には、コンテンツサーバ４１２は、６つの面の第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像を生成する。なお、全天球画像における視点と立方体の中心は異なっていていてもよい。

コンテンツサーバ４１２は、各面の第１レイヤのテクスチャ画像とデプス画像からなる第１レイヤ画像と、各面の第２レイヤのテクスチャ画像とデプス画像からなる第２レイヤ画像を、面、画像の種類、およびレイヤごとに、AVCやHEVC等の符号化方式で圧縮符号化する。コンテンツサーバ４１２は、その結果得られる各面の第１レイヤのテクスチャ画像の符号化ストリーム（以下、第１レイヤテクスチャストリームという）、第１レイヤのデプス画像の符号化ストリーム（以下、第１レイヤデプスストリームという）、第２レイヤのテクスチャ画像の符号化ストリーム（以下、第２レイヤテクスチャストリームという）、および第２レイヤのデプス画像の符号化ストリーム(以下、第２レイヤデプスストリームという)を記憶する。なお、第１レイヤ画像と第２レイヤ画像の符号化方式は、MVC（Multiview Video Coding）方式や3D-HEVC方式等であってもよい。

また、コンテンツサーバ４１２は、第１レイヤおよび第２レイヤの各面に関する情報等をメタデータとして生成し、記憶する。コンテンツサーバ４１２は、記憶している低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを、図示せぬネットワークを介してホームサーバ４１３に伝送する。

なお、コンテンツサーバ４１２は、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを再構成することもできる。この場合、コンテンツサーバ４１２は、再構成後の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームと、それらに対応するメタデータをホームサーバ４１３に伝送することもできる。しかしながら、以下では、説明の便宜上、再構成が行われた場合であっても、再構成前の６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームが、コンテンツサーバ４１２に伝送されるものとする。

また、コンテンツサーバ４１２は、図１の配信サーバ１３と同様に、ホームサーバ４１３から送られてくる視聴方向ログを受信し、視聴方向ログであるユーザの視聴タイムスタンプと視聴視野角を解析し、注目ポイントを抽出する。コンテンツサーバ４１２は、抽出された注目ポイントに基づいて、記憶している第１レイヤのテクスチャ画像（例えば、の圧縮率や解像度）を変更する。なお、第２レイヤのテクスチャ画像も変更するようにしてもよい。また、コンテンツサーバ４１２は、注目ポイントのタイムスタンプと視野角に基づいて２Ｄ動画を生成し、注目ポイントとは異なる視野角で視聴していたユーザのホームサーバ４１３に対して配信する。

ホームサーバ４１３(画像処理装置)は、コンテンツサーバ４１２から伝送されてくる、低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを受け取る。

また、ホームサーバ４１３は、カメラ４１３Ａを内蔵し、ユーザの頭部に装着されるヘッドマウントディスプレイ４１５に付されたマーカ４１５Ａを撮影する。そして、ホームサーバ４１３は、マーカ４１５Ａの撮影画像に基づいて視聴位置を検出する。さらに、ホームサーバ４１３は、ヘッドマウントディスプレイ４１５のジャイロセンサ４１５Ｂの検出結果を、ヘッドマウントディスプレイ４１５から変換装置４１４を介して受け取る。ホームサーバ４１３は、ジャイロセンサ４１５Ｂの検出結果に基づいてユーザの視線方向を決定し、視聴位置と視線方向に基づいてユーザの視野範囲を決定する。

ホームサーバ４１３は、第１レイヤの６つの面のうちの、ユーザの視線方向に対応する３つの面を選択する。そして、ホームサーバ４１３は、選択された３つの面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを復号する。これにより、ホームサーバ４１３は、選択された３つの面に対応する第１レイヤおよび第２レイヤのテクスチャ画像およびデプス画像を生成する。

また、ホームサーバ４１３は、低解像度テクスチャストリームと低解像度デプスストリームを復号し、低解像度テクスチャ画像と低解像度デプス画像を生成する。ホームサーバ４１３は、選択された３つの面に対応する第１レイヤおよび第２レイヤのテクスチャ画像およびデプス画像、並びに、低解像度テクスチャ画像と低解像度デプス画像を用いて、視聴者の視野範囲の画像を表示画像として生成する。ホームサーバ４１３は、図示せぬHDMI（登録商標）（High-Definition Multimedia Interface）ケーブルを介して表示画像を変換装置４１４に伝送する。

また、ホームサーバ４１３は、図１の再生装置１５と同様に、視聴中に、視聴タイムスタンプと視聴視野角のログなどを含む視聴方向ログを記録しており、視聴終了後に、記録された視聴方向ログをコンテンツサーバ４１２に送信する。ホームサーバ４１３は、コンテンツサーバ４１２により注目ポイントの視聴示唆があった場合、ユーザの操作に応じて、コンテンツサーバ４１２により送信されてくる注目ポイントの２Ｄ画像に対応する表示画像を表示する。

変換装置４１４は、ホームサーバ４１３から伝送されてくる表示画像における座標を、ヘッドマウントディスプレイ４１５における座標に変換する。変換装置４１４は、座標変換後の表示画像をヘッドマウントディスプレイ４１５に供給する。

ヘッドマウントディスプレイ４１５は、マーカ４１５Ａとジャイロセンサ４１５Ｂを有し、ユーザの頭部に装着される。ヘッドマウントディスプレイ４１５は、変換装置４１４から供給される表示画像を表示する。また、ヘッドマウントディスプレイ４１５に内蔵されるジャイロセンサ４１５Ｂは、ヘッドマウントディスプレイ４１５の傾きを検出し、その検出結果を、変換装置４１４を介してホームサーバ４１３に伝送する。

（コンテンツサーバの構成例）
図２８は、図２７のコンテンツサーバ４１２の構成例を示すブロック図である。

図２８のコンテンツサーバ４１２は、デプス検出部４３１、低解像度画像処理部４３３、および高解像度画像処理部４３４により構成される。

コンテンツサーバ４１２のデプス検出部４３１は、図２７のマルチカメラ４１１から供給される各カメラの撮影画像の画素ごとに、その画素における被写体を含む奥行き方向に垂直なデプス平面とカメラの間の奥行き方向の距離zの逆数1/zを検出する。デプス検出部４３１は、その結果得られる各カメラの撮影画像の各画素の逆数1/zを画素値とするｚ画像を低解像度画像処理部４３３と高解像度画像処理部４３４に供給する。

低解像度画像処理部４３３は、マルチカメラ４１１の３次元座標系(以下、カメラ座標系という)における所定の３次元位置を視点として、マルチカメラ４１１から供給される各カメラの撮影画像を、視点を中心とした正八面体にマッピング(透視投影)することにより、全天球画像のテクスチャ画像を生成する。また、低解像度画像処理部４３３は、デプス検出部４３１から供給される各カメラのｚ画像を、撮影画像と同様に正八面体にマッピングすることにより、全天球画像のｚ画像を生成する。

低解像度画像処理部４３３は、全天球画像のｚ画像の各画素の逆数1/zを逆数1/rに変換する。そして、低解像度画像処理部４３３は、以下の式（１）により、逆数1/rに対して8ビット量子化を行う。

なお、Ｉ_d（ｒ）は、距離ｒの逆数1/rの8ビット量子化後の値である。ｒ_max，ｒ_minは、それぞれ、全天球画像における距離ｒの最大値、最小値である。

低解像度画像処理部４３３は、全天球画像の各画素の逆数1/rの8ビット量子化後の値を画素値とすることにより、全天球画像のデプス画像を生成する。

低解像度画像処理部４３３は、カメラ座標系における所定の３次元位置を視点として、マルチカメラ４１１から供給される各カメラの撮影画像を、視点を中心とした正八面体にマッピング(透視投影)することにより、全天球画像のテクスチャ画像を生成する。また、低解像度画像処理部４３３は、デプス検出部４３１から供給される各カメラのｚ画像を、撮影画像と同様に正八面体にマッピングすることにより、全天球画像のデプス画像を生成する。

低解像度画像処理部４３３は、全天球画像のテクスチャ画像とデプス画像を低解像度化し、低解像度テクスチャ画像と低解像度デプス画像を生成する。低解像度画像処理部４３３は、低解像度テクスチャ画像と低解像度デプス画像を圧縮符号化し、その結果得られる低解像度テクスチャストリームと低解像度デプスストリームを記憶する。低解像度画像処理部４３３は、記憶している低解像度テクスチャストリームと低解像度デプスストリームを、図２７のホームサーバ４１３に送信する。

高解像度画像処理部４３４は、マルチカメラ４１１から供給される各カメラの撮影画像を用いて、低解像度画像処理部４３３における正八面体と中心が同一である立方体を構成する６つの面に対応する第１レイヤおよび第２レイヤのテクスチャ画像を生成する。高解像度画像処理部４３４は、デプス検出部４３１から供給される各カメラのｚ画像を用いて、撮影画像と同様に６つの面に対応する第１レイヤおよび第２レイヤのｚ画像を生成する。

高解像度画像処理部４３４は、各面の第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像を、面、画像の種類、およびレイヤごとに圧縮符号化する。コンテンツサーバ４１２は、その結果得られる第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを記憶する。

また、高解像度画像処理部４３４は、メタデータを生成して記憶する。コンテンツサーバ４１２は、記憶している６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを、図示せぬネットワークを介してホームサーバ４１３に伝送する。

（高解像度画像処理部の構成例）
図２９は、図２８の高解像度画像処理部４３４の構成例を示すブロック図である。

図２９の高解像度画像処理部４３４は、第１レイヤ生成部４５０、量子化部４５１、エンコーダ４５２、第２レイヤ生成部４５３、量子化部４５４、エンコーダ４５５、設定部４５６、メタデータ生成部４５７、ストレージ４５８、再構成部４５９、および送信部４６０により構成される。さらに、高解像度画像処理部４３４は、受信部４６１、ログ解析部４６２、画像変更部４６３、２Ｄ画像生成部４６４、および２Ｄ画像配信部４６５を含むように構成される。

第１レイヤ生成部４５０には、設定部４５６から、カメラ座標系における全天球画像の視点を原点とした３次元座標系（以下、３Ｄモデル座標系という）における、第１レイヤの視点の３次元位置として原点を示す視点位置情報が供給される。また、第１レイヤ生成部４５０には、３Ｄモデル座標系における原点を中心とした立方体を構成する６つの面をそれぞれ含む６つの面それぞれの、３Ｄモデル座標系における３次元位置およびサイズを示す面情報が供給される。

第１レイヤ生成部（画像生成部）４５０は、視点位置情報が示す原点を第１レイヤの視点（第１の視点）に設定する。第１レイヤ生成部４５０は、カメラ座標系における全天球画像の視点を原点として、第１レイヤの視点から、図２７のマルチカメラ４１１から供給される撮影画像を、６つの各面情報が示す３次元位置およびサイズの面のそれぞれにマッピングする。これにより、第１レイヤ生成部４５０は、第１レイヤの６つの面のテクスチャ画像を生成する。

また、第１レイヤ生成部４５０は、カメラ座標系における全天球画像の視点を原点として、第１レイヤの視点から、図２８のデプス検出部４３１から供給されるｚ画像を、６つの各面情報が示す３次元位置およびサイズの面のそれぞれにマッピングする。これにより、第１レイヤ生成部４５０は、第１レイヤの６つの面のｚ画像を生成する。

第１レイヤの６つの面に対応する視点は同一であるため、第１レイヤの６つの面のテクスチャ画像は、第１レイヤの視点を中心とした３Ｄモデルにマッピングされた全天球画像を６つの面にマッピングすることにより得られた画像であるといえる。同様に、第１レイヤの６つの面のｚ画像は、第１レイヤの視点を中心とした３Ｄモデルにマッピングされた全天球画像のｚ画像を６つの面にマッピングすることにより得られた画像であるといえる。第１レイヤ生成部４５０は、第１レイヤの６つの面のテクスチャ画像をエンコーダ４５２に供給し、第１レイヤの６つの面のｚ画像を量子化部４５１に供給する。

量子化部４５１は、第１レイヤ生成部４５０から供給される第１レイヤの６つの各面のｚ画像の各画素の逆数1/zを逆数1/rに変換する。そして、量子化部４５１は、上述した式（１）により、逆数1/rに対して8ビット量子化を行う。但し、式（１）におけるｒ_max，ｒ_minは、６つの面全てにおける距離ｒの最大値、最小値である。ｒ_maxおよびｒ_minを６つの面全てにおける距離ｒの最大値および最小値とすることにより、各面の距離ｒの最大値および最小値とする場合に比べて、面ごとに量子化ステップが変化することを防止することができる。量子化部４５１は、第１レイヤの６つの面のｚ画像の各画素の逆数1/rの8ビット量子化後の値を画素値とすることにより、第１レイヤの６つの面のデプス画像を生成し、エンコーダ４５２に供給する。

エンコーダ４５２は、第１レイヤの６つの面のテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化し、第１レイヤテクスチャストリームと第１レイヤデプスストリームを生成する。エンコーダ４５２は、第１レイヤテクスチャストリームと第１レイヤデプスストリームをストレージ４５８に供給する。

第２レイヤ生成部４５３には、設定部４５６から、第１レイヤの各面に対応する第２レイヤの各面の、第１レイヤの視点とは異なる視点（第２の視点）の視点位置情報と、第１レイヤの各面に対応する第２レイヤの各面の面情報とが供給される。第２レイヤ生成部４５３は、第２レイヤの面ごとに、その面に対応する視点位置情報が示す３次元位置を第２レイヤの視点に設定する。

第２レイヤ生成部４５３（画像生成部）は、第２レイヤの面ごとに、その面に対応する第２レイヤの視点から、マルチカメラ４１１から供給される撮影画像のうちの第１レイヤの視点におけるオクルージョン領域を、第２レイヤの面にマッピングする。これにより、第２レイヤ生成部４５３は、第２レイヤの６つの面のテクスチャ画像を生成する。

また、第２レイヤ生成部４５３（画像生成部）は、第２レイヤの面ごとに、その面に対応する第２レイヤの視点から、デプス検出部３１から供給されるｚ画像のうちの第１レイヤの視点におけるオクルージョン領域を、第２レイヤの面にマッピングする。これにより、第２レイヤ生成部４５３は、第２レイヤの６つの面のｚ画像を生成する。

即ち、マルチカメラ４１１の各カメラの位置は異なっているため、カメラ座標系における１つの３次元位置を視点としたとき、撮影画像には、その視点におけるオクルージョン領域が含まれている。しかしながら、第１レイヤのテクスチャ画像は、１つの視点の全天球画像をマッピングすることにより生成されるため、第１レイヤのテクスチャ画像には、その視点におけるオクルージョン領域の撮影画像は含まれない。よって、第２レイヤ生成部４５３は、そのオクルージョン領域の撮影画像を第２レイヤのテクスチャ画像として含める。ｚ画像についても同様である。第２レイヤ生成部４５３は、第２レイヤの６つの面のテクスチャ画像をエンコーダ４５５に供給し、第２レイヤの６つの面のｚ画像を量子化部４５４に供給する。

量子化部４５４は、第２レイヤ生成部４５３から供給される第２レイヤの６つの各面のｚ画像の各画素の逆数1/zを逆数1/rに変換する。そして、量子化部４５４は、量子化部４５１と同様に、上述した式（１）により、逆数1/rに対して8ビット量子化を行う。量子化部４５４は、第２レイヤの６つの面のｚ画像の各画素の逆数1/rの8ビット量子化後の値を画素値とすることにより、第２レイヤの６つの面のｚ画像を生成し、エンコーダ４５５に供給する。

エンコーダ４５５は、第２レイヤの６つの面のテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化し、第２レイヤテクスチャストリームと第２レイヤデプスストリームを生成する。エンコーダ４５５は、第２レイヤテクスチャストリームと第２レイヤデプスストリームをストレージ４５８に供給する。

設定部４５６は、３Ｄモデル座標系における原点を第１レイヤの視点として設定する。設定部４５６は、第１レイヤの視点を中心とした立方体を構成する６つの矩形の面をそれぞれ含む６つの面を第１レイヤの面として設定する。また、設定部４５６は、第１レイヤの面ごとに第２レイヤの視点と矩形の面を設定する。

設定部４５６は、第１レイヤの１つの視点位置情報と６つの面情報を第１レイヤ生成部４５０とメタデータ生成部４５７に供給する。また、設定部４５６は、第１レイヤの６つの面に対応する第２レイヤの６つの視点位置情報と６つの面情報を、第２レイヤ生成部４５３とメタデータ生成部４５７に供給する。

メタデータ生成部４５７は、設定部４５６から供給される第１レイヤの視点位置情報および面情報、並びに、第２レイヤの視点位置情報および面情報を含むテーブルをメタデータとして生成し、ストレージ４５８に供給する。

ストレージ４５８は、エンコーダ４５２から供給される第１レイヤテクスチャストリームおよび第１レイヤデプスストリーム、並びに、エンコーダ４５５から供給される第２レイヤテクスチャストリームおよび第２レイヤデプスストリームを記憶する。また、ストレージ４５８は、メタデータ生成部４５７から供給されるメタデータを記憶する。

また、ストレージ４５８は、再構成部４５９から供給される再構成後の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びに、メタデータを記憶する。

再構成部４５９は、必要に応じて、ストレージ４５８に記憶されている６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを読み出し、再構成する。

具体的には、再構成部４５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面の数や画角を変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面の数や画角を変更する。例えば、再構成部４５９は、第１レイヤの面を、立方体を構成する６つの面をそれぞれ含む６つの面から、その６つの面に各面の中心を通る法線が立方体の１２本の各辺の中点と視点を通る線である１２個の面を加えた１８個の面に変更する。

または、再構成部４５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面どうしの間隔（密度）を変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面どうしの間隔を変更する。例えば、再構成部４５９は、第１レイヤの面を、中心を通る法線の間隔が９０度である、立方体を構成する６つの面をそれぞれ含む６つの面から、中心を通る法線の間隔が４５度である１８個の面に変更する。

第１レイヤの面どうしの間隔が狭くなると、面数が増加するため、総データ容量は増加するが、ホームサーバ４１３において、より視聴者の視野範囲に近い第１レイヤの面に対応するテクスチャ画像およびデプス画像を用いて表示画像を生成することができる。その結果、表示画像内の、第１レイヤまたは第２レイヤのテクスチャ画像およびデプス画像を用いて生成される高解像度領域が増加し、表示画像の画質が向上する。

なお、再構成部４５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面の位置を変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面の位置を変更することにより、再構成を行ってもよい。この場合、再構成部４５９は、例えば、主要な被写体が第１レイヤの面の境界に存在するとき、主要な被写体が第１レイヤの面の境界以外の位置（例えば中央）に存在するように、第１レイヤの６つの面に対応する立方体を回転することにより、再構成を行う。

また、再構成部４５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面の傾きを変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面の傾きを変更することにより、再構成を行ってもよい。この場合、再構成部４５９は、例えば、第１レイヤのテクスチャ画像内の主要な被写体が傾いているとき、傾きがなくなるように、第１レイヤの６つの面に対応する立方体を回転することにより、再構成を行う。

再構成部４５９は、以上のようにして変更された第１レイヤの各面に対して、再構成後の第２レイヤの視点と面を設定する。そして、再構成部４５９は、再構成前の第２レイヤテクスチャストリームを用いて、第２レイヤテクスチャストリームに対応する視点および面を、設定された再構成後の第２レイヤの視点および面に変更する。また、再構成部４５９は、再構成前の第２レイヤデプスストリームを用いて、第２レイヤデプスストリームに対応する視点および面を、設定された再構成後の第２レイヤの視点および面に変更する。

再構成部４５９は、再構成後の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームをストレージ４５８に供給する。また、再構成部４５９は、再構成後の第１レイヤの視点位置情報および面情報、並びに、第２レイヤの視点位置情報および面情報を含むテーブルをメタデータとして生成し、ストレージ４５８に供給する。

送信部４６０は、ストレージ４５８から６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを読み出し、図２７のホームサーバ４１３に送信する。

受信部４６１は、図６の受信部１０５と同様に、ホームサーバ４１３から送られてくる視聴方向ログを受信し、ログ解析部４６２に供給する。ログ解析部４６２は、図６のログ解析部１０６と同様に、視聴方向ログであるユーザの視聴タイムスタンプと視聴視野角を解析し、最も視聴回数の多い注目ポイントを抽出し、抽出した注目ポイントに関する情報を、画像変更部４６３および２Ｄ画像生成部４６４に供給する。

画像変更部４６３は、図６の画像変更部１０７と同様に、ログ解析部４６２により抽出された注目ポイントから、高画質領域と低画質領域を抽出し、ストレージ４５８に記録されている第１レイヤのテクスチャ画像を変更する。例えば、画像の圧縮率や解像度が変更される。２Ｄ画像生成部４６４は、図６の２Ｄ画像生成部１０８と同様に、ログ解析部４６２により抽出された注目ポイントに対応する、ストレージ４５８に記録されている第１レイヤテクスチャストリームから、注目ポイントに対応する２Ｄ画像を生成し、生成した注目ポイントに対応する２Ｄ画像をストレージ４５８に登録する。２Ｄ画像配信部４６５は、図６の２Ｄ画像配信部１０９と同様に、登録された注目ポイントに対応する２Ｄ画像の視聴の示唆を、ホームサーバ４１３に送ったり、ホームサーバ４１３からの要求に応じて、注目ポイントに対応する２Ｄ画像のストリームをホームサーバ４１３に配信する。

以上のように、図２９の高解像度画像処理部４３４は、第１レイヤ画像と第２レイヤ画像を透視投影により生成する。従って、ホームサーバ４１３は、第１レイヤ画像と第２レイヤ画像に対して通常の画像用の処理を行うことができる。また、高解像度画像処理部４３４は、第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、通常の画像の符号化ストリームの送信方法で送信することができる。

（ホームサーバの構成例）
図３０は、図２７のホームサーバ４１３の構成例を示すブロック図である。

図２７のホームサーバ４１３は、カメラ４１３Ａ、受け取り部４８１、ストレージ４８２、受け取り部４８３、視聴方向取得部４８４、ＭＬ３Ｄモデル生成部４８５、ＭＬ３Ｄモデル生成部４８６、ＭＬ３Ｄモデル生成部４８７、３Ｄモデル生成部４８８、および描画部４８９により構成される。さらに、ホームサーバ４１３は、送信部４９１、受信部４９２、デコーダ４９３、表示制御部４９４、および表示部４９５も含むように構成される。

ホームサーバ４１３の受け取り部４８１は、コンテンツサーバ４１２から伝送されてくる低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを受け取り、ストレージ４８２に供給する。

ストレージ４８２は、受け取り部４８１から供給される低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを記憶する。

受け取り部４８３は、図２７のジャイロセンサ４１５Ｂの検出結果をヘッドマウントディスプレイ４１５から受け取り、視聴方向取得部４８４に供給する。

視聴方向取得部４８４は、受け取り部４８３から供給されるジャイロセンサ４１５Ｂの検出結果に基づいて、３Ｄモデル座標系における視聴者の視聴方向（視線方向）を決定する。また、視聴方向取得部４８４は、カメラ４１３Ａからマーカ４１５Ａの撮影画像を取得し、その撮影画像に基づいて、３Ｄモデル座標系における視聴位置を検出する。

視聴方向取得部４８４は、ストレージ４８２からメタデータのうちの第１レイヤのテーブルを読み出す。視聴方向取得部４８４は、３Ｄモデル座標系における視聴位置および視線方向、並びに、第１レイヤのテーブルに基づいて、６つの面のうちの、視聴位置から視線方向に延びる視線に最も近い視線ベクトルに対応する３つの面を選択面に決定する。具体的には、視聴方向取得部４８４は、＋Ｘ面８１と−Ｘ面８２のいずれかを含む面、＋Ｙ面８３と−Ｙ面８４のいずれかを含む面、および、＋Ｚ面８５と−Ｚ面８６のいずれかを含む面を選択面に決定する。

以上のようにして選択面が決定されることにより、後述する描画部４８９により選択面に対応する第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像を用いて生成される表示画像内の高解像度領域の割合が最も高くなる。また、３つの選択面が決定されることにより、１つの選択面が選択される場合に比べて、視線が立方体の頂点付近に向かう場合に表示画像内の高解像度領域の割合を増加させることができる。

視聴方向取得部４８４は、３つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、ストレージ４８２から読み出す。視聴方向取得部４８４は、読み出された第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、面ごとにＭＬ３Ｄモデル生成部４８５乃至４８７に供給する。また、視聴方向取得部４８４は、低解像度テクスチャストリームと低解像度デプスストリームをストレージ４８２から読み出し、３Ｄモデル生成部４８８に供給する。

また、視聴方向取得部４８４は、３Ｄモデル座標系における視聴位置と視聴方向に基づいて、３Ｄモデル座標系における視聴者の視野範囲を決定する。視聴方向取得部４８４は、視聴者の視野範囲と視聴位置を描画部４８９に供給する。視聴方向取得部４８４は、３つの選択面と、その３つの選択面に対応する第２レイヤの３つの面の視点位置情報および面情報を描画部４８９に供給する。

ＭＬ３Ｄモデル生成部４８５乃至４８７は、それぞれ、第１レイヤテクスチャストリームと第１レイヤデプスストリームを用いて、第１レイヤのテクスチャ画像の各画素に対応するサンプリング点のテクスチャ画像座標系における３次元位置（u,v,z）および接続情報と、カラー情報としてのRGB値とからなる３次元データを生成する。なお、各サンプリング点の接続情報は、そのサンプリング点(vertex)と他のサンプリング点との接続を表す情報である。テクスチャ画像座標系は、テクスチャ画像の横方向をu軸、縦方向をv軸、奥行き方向をｚ軸とする座標系である。

また、ＭＬ３Ｄモデル生成部４８５乃至４８７は、それぞれ、視聴方向取得部４８４から供給される第２レイヤテクスチャストリームと第２レイヤデプスストリームを用いて、第２レイヤのテクスチャ画像の各画素に対応するサンプリング点の３次元データを生成する。ＭＬ３Ｄモデル生成部４８５乃至４８７は、第１レイヤおよび第２レイヤの３次元データを描画部４８９に供給する。

３Ｄモデル生成部４８８は、視聴方向取得部４８４から供給される低解像度テクスチャストリームと低解像度デプスストリームを復号し、低解像度テクスチャ画像と低解像度デプス画像を生成する。３Ｄモデル生成部４８８は、低解像度テクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。また、３Ｄモデル生成部４８８は、低解像度デプス画像の各画素の画素値に対して8ビット逆量子化を行い、逆数1/rを得る。そして、３Ｄモデル生成部４８８は、低解像度デプス画像の各画素の逆数1/rに基づいて、各画素の３次元位置(u,v,z)を各画素に対応するサンプリング点の３次元位置(u,v,z)として求める。

また、３Ｄモデル生成部４８８は、各サンプリング点の３次元位置(u,v,z)に基づいて、隣接する３つのサンプリング点どうしが接続するように各サンプリング点の接続情報を生成する。３Ｄモデル生成部４８８は、各サンプリング点の３次元位置(u,v,z)、接続情報、およびRGB値を、低解像度テクスチャ画像の３次元データとして、描画部４８９に供給する。

描画部４８９は、３Ｄモデル生成部４８８から供給される低解像度テクスチャ画像の３次元データに基づいて、３Ｄモデル座標系において、低解像度テクスチャ画像の三角形パッチ描画（点群描画）を行う。その後、描画部４８９は、ＭＬ３Ｄモデル生成部４８５乃至２３７のそれぞれから供給される第１レイヤおよび第２レイヤの３次元データと、視聴方向取得部４８４から供給される視点位置情報および面情報とに基づいて、３Ｄモデル座標系において、第１レイヤおよび第２レイヤのテクスチャ画像の三角形パッチ描画を行う。

即ち、低解像度テクスチャ画像の視点は３Ｄモデル座標系における原点であり、３Ｄモデルとしての正八面体の各面の位置およびサイズは予め決まっている。従って、描画部４８９は、正八面体の各面に対応する各カメラの内部パラメータと外部パラ―メータを求めることができる。よって、描画部４８９は、この内部パラメータと外部パラメータを用いて、低解像度テクスチャ画像の各サンプリング点の３次元位置(u,v,z)から、各サンプリング点の画面上の位置（u,v）と３Ｄモデル座標系における３次元位置(X,Y,Z)を認識することができる。その結果、低解像度テクスチャ画像の各サンプリング点の画面上の位置（u,v）および３次元位置(X,Y,Z)と接続情報およびRGB値とを用いて三角形パッチ描画を行うことができる。

また、描画部４８９は、第１レイヤおよび第２レイヤの視点位置情報および面情報に基づいて、第１レイヤおよび第２レイヤの各面に対応する各カメラの内部パラメータと外部パラメータを求めることができる。従って、描画部４８９は、この内部パラメータと外部パラメータを用いて、第１レイヤおよび第２レイヤの各サンプリング点の３次元位置(u,v,z)から、各サンプリング点の画面上の位置（u,v）と３次元位置(X,Y,Z)を認識できる。その結果、描画部４８９は、第１レイヤおよび第２レイヤの各サンプリング点の画面上の位置（u,v）および３次元位置(X,Y,Z)と接続情報およびRGB値とを用いて三角形パッチ描画を行うことができる。

描画部４８９は、３Ｄモデル座標系において描画された三角形パッチを、視聴方向取得部４８４から供給される視聴位置を視点として視野範囲に透視投影（マッピング）することにより、表示画像を生成する。描画部４８９は、表示画像を図２７の変換装置４１４に送信する。

また、視聴方向取得部４８４は、図６の視聴方向取得部１２８と同様に、視聴タイムスタンプと、そのときに視聴方向取得部１２８により取得された視聴視野角（方位角、仰角、回転角）のログである視聴方向ログを取得し、視聴方向ログ記録部４９０にも供給する。視聴方向ログ記録部４９０は、図６の視聴方向ログ記録部１２９と同様に、視聴方向取得部４８４からの視聴方向ログを記録する。送信部４９１は、図６の送信部１３０と同様に、視聴終了後、視聴方向ログ記録部４９０により取得された視聴方向ログを、コンテンツサーバ４１２に送信する。

受信部４９２は、図６の受信部１３１と同様に、コンテンツサーバ４１２から送られてくる注目ポイントの視聴示唆や２Ｄ画像を、受信し、受信した注目ポイントの視聴示唆を表示制御部４９４に供給し、注目ポイントの２Ｄ画像をデコーダ４９３に供給する。デコーダ４９３は、図６のデコーダ１３２と同様に、受信部４９２からの注目ポイントの２Ｄ画像をデコードし、表示制御部４９４に供給する。

表示制御部４９４は、図６の表示制御部１３３と同様に、受信部４９２からの注目ポイントの視聴示唆の表示を制御し、ユーザの操作に応じて、デコードされた注目ポイントの２Ｄ画像の表示を制御する。表示部４９５は、図６の表示部１３４と同様に、LCDなどにより構成される。表示部４９５は、注目ポイントの視聴示唆や注目ポイントの２Ｄ画像を表示する。

以上のようにすることで、画像表示システム４１０においても、コンテンツサーバ４１２の記憶容量を減らすことができる。

なお、第２実施の形態では、撮影画像が正八面体にマッピングされることにより全天球画像が生成されたが、撮影画像がマッピングされる３Ｄモデルは、正八面体のほか、球や立方体などにすることができる。撮影画像が球にマッピングされる場合、全天球画像は、例えば、撮影画像がマッピングされた球の正距円筒図法による画像である。

また、低解像度テクスチャストリームと低解像度デプスストリームは生成されなくてもよい。第１レイヤおよび第２レイヤのデプス画像は生成されなくてもよい。また、第２レイヤのテクスチャ画像とデプス画像は、重要な被写体の撮影画像がマッピングされる一部の面に対してのみ生成されるようにしてもよい。

さらに、低解像度テクスチャ画像および低解像度デプス画像も、高解像度のテクスチャ画像およびデプス画像と同様に、階層化して生成されてもよい。

＜３．第３実施の形態＞
本開示を適用した配信システムの第３の実施の形態の構成は、透視投影の代わりにtan軸投影（詳細は後述する）が行われる点を除いて、図１の配信システム１０の構成と同一である。従って、以下では、tan軸投影についてのみ説明する。

（投影面の座標系の説明）
図３１は、投影面の座標系を説明する図である。

なお、第３実施の形態では、投影面は、生成装置１２が、高解像度画像を生成する際、球にマッピングされた全天球画像をtan軸投影する２次元平面、または、再生装置１５が、表示画像を生成する際、３Dモデル画像をtan軸投影する視野範囲である。

図３１の例では、３Ｄモデルの３次元のxyz座標系において、ｚが-1.0である投影面５０１が設定されている。この場合、投影面５０１の中心Ｏ´を原点とし、投影面５０１の水平方向をｓ方向とし、垂直方向をｔ方向とする２次元のst座標系が、投影面５０１の座標系となる。

なお、以下では、xyz座標系の原点Ｏからst座標系の座標(s,t)に向かうベクトル５０２を、座標(s,t)と、原点Ｏから投影面５０１までの距離である-1.0とを用いて、ベクトル(s,t,-1.0)という。

＜３．第３実施の形態＞
（tan軸投影の説明）
図３２は、tan軸投影（正接軸投影）を説明する図である。

図３２は、投影面５０１をｚの負方向に見た図である。図３２の例では、st座標系において、投影面５０１のｓ値およびｔ値の最小値は-1.0であり、最大値は1.0である。

この場合、透視投影では、原点Ｏから投影面５０１上の投影点に向かう投影ベクトルがベクトル（s´,t´-1.0）となるように、投影面５０１上に投影点が設定される。なお、ｓ´は、-1.0から1.0までのｓ値の範囲に設けられた所定の間隔ごとの値であり、ｔ´は-1.0から1.0までのｔ値の範囲に設けられた所定の間隔ごとの値である。従って、透視投影における投影点は、投影面５０１上で均一である。

これに対して、投影面５０１の画角をθｗ（図３２の例ではπ／２）とすると、tan軸投影では、投影ベクトルがベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)となるように、投影面５０１上に投影点が設定される。

具体的には、ベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)は、s´*θｗ/2をθとし、t´*θｗ/2をφとすると、ベクトル(tanθ，tanφ，-1.0)になる。このとき、画角θｗがπに近付くと、tanθやtanφは無限大に発散する。従って、tanθやtanφが無限大に発散しないように、ベクトル(tanθ，tanφ，-1.0)が、ベクトル(sinθ*cosφ, cosθ*sinφ, -cosθ*cosφ)に補正され、投影ベクトルがベクトル(sinθ*cosφ, cosθ*sinφ, -cosθ*cosφ)となるように、投影面５０１上に投影点が設定される。従って、tan軸投影では、隣り合う投影点に対応する投影ベクトルどうしがなす角が同一になる。

なお、対数軸（ログスケール）と同様に、tan(s´*θｗ/2), tan(t´*θｗ/2)は、tan軸のs´,t´であると捉えられる。従って、本明細書では、投影ベクトルがベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)となる投影を、tan軸投影と称している。

以上のように、第３実施の形態では、球にマッピングされた全天球画像を２次元平面にtan軸投影することにより高解像度画像を生成するので、高解像度画像の画質を向上させることができる。また、３Ｄモデル画像を視野範囲にtan軸投影することにより表示画像を生成するので、表示画像の画質を向上させることができる。

なお、高解像度画像や表示画像を生成する際に行われる投影は、透視投影、tan軸投影以外であってもよい。また、２次元平面ごとに投影方式が異なるようにしてもよい。また、第３の実施の形態においては、図１の配信システム１０の他の例として、透視投影の代わりにtan軸投影が用いられる例を説明したが、図２７の画像表示システム４１０の場合も同様に、透視投影の代わりにtan軸投影が用いるようにしてもよい。

＜４．第４実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。

入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。

以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜５．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図３４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３４に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図３５は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図３５には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図３４に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３２の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図３２に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、図１乃至図３２を用いて説明した本実施形態に係る配信システム１０または画像表示システム４１０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００において、図１乃至図３２を用いて説明した本実施形態に係る配信システム１０または画像表示システム４１０は、図３４に示した応用例の車両制御システム７０００に適用することができる。例えば、配信システム１０の撮像装置１１および画像表示システム４１０のマルチカメラ４１１は、撮像部７４１０の少なくとも一部に相当する。また、生成装置１２、配信サーバ１３、および再生装置１５、は一体化され、コンテンツサーバ４１２、ホームサーバ４１３、および変換装置４１４は一体化され、統合制御ユニット７６００のマイクロコンピュータ７６１０と記憶部７６９０に相当する。ヘッドマウントディスプレイ１６と、ヘッドマウントディスプレイ４１５は、表示部７７２０に相当する。なお、配信システム１０または画像表示システム４１０を車両制御システム７０００に適用する場合、カメラ１５Ａ、マーカ１６Ａ、およびジャイロセンサ１６Ｂ、並びに、カメラ４１３Ａ、マーカ４１５Ａ、およびジャイロセンサ４１５Ｂは設けられず、ユーザである搭乗者の入力部７８００の操作によりユーザの視線方向および視聴位置が入力される。以上のようにして、配信システム１０または画像表示システム４１０を、図３４に示した応用例の車両制御システム７０００に適用することにより、全天球画像を用いて高画質の表示画像を生成することができる。

また、図１乃至図３２を用いて説明した配信システム１０または画像表示システム４１０の少なくとも一部の構成要素は、図３４に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１乃至図３２を用いて説明した配信システム１０または画像表示システム４１０が、図３４に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本開示は、以下のような構成もとることができる。

（１）
３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像のうちユーザの視聴方向に応じた画像と、低解像度化された前記全天球画像とを受け取る受け取り部と、
前記受け取り部により受け取られた前記画像および低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像を生成する描画部と、
前記ユーザの視聴方向に関する視聴方向情報を取得する視聴方向取得部と、
前記視聴方向取得部により取得された視聴方向情報に基づいて記録される視聴方向ログを送信する送信部と
を備える画像処理装置。
（２）
前記視聴方向取得部は、前記ユーザに装着されるセンサから取得される観測値に基づいて、前記視聴方向情報を取得する
前記（１）に記載の画像処理装置。
（３）
前記視聴方向取得部は、外部装置から取得される観測値に基づいて、前記視聴方向情報を取得する
前記（１）に記載の画像処理装置。
（４）
前記視聴方向取得部は、前記ユーザが観た方向の画像を定期的に得ることにより、前記視聴方向情報を取得する
前記（１）に記載の画像処理装置。
（５）
前記視聴方向取得部は、前記ユーザの操作に基づいて、前記視聴方向情報を取得する
前記（１）に記載の画像処理装置。
（６）
前記視聴方向ログは、前記ユーザの方位角、仰角、および回転角のログ、並びにタイムスタンプからなる
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記視聴方向ログは、前記ユーザの位置情報も含む
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記受け取り部は、前記複数の画像と、前記複数の画像から前記視聴方向ログに応じて変更された画像のうち、前記ユーザの視聴方向に応じた画像と、低解像度化された前記全天球画像とを受け取る
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記視聴方向ログに応じ、前記複数の画像のうち、最もよく視聴される視聴方向の画像を用いて生成された２Ｄ画像を受信する２Ｄ画像受信部と、
前記２Ｄ画像受信部により受信された２Ｄ画像の表示を制御する表示制御部と
をさらに備える前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
画像処理装置が、
３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像のうちユーザの視聴方向に応じた画像と、低解像度化された前記全天球画像とを受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた前記画像および低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像を生成する描画ステップと、
前記ユーザの視聴方向に関する視聴方向情報を取得する視聴方向取得ステップと、
前記視聴方向取得ステップの処理により取得された視聴方向情報に基づいて記録される視聴方向ログを送信する送信ステップと
を含む画像処理方法。
（１１）
３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像と、低解像度化された前記全天球画像とを記憶する記憶部と、
前記全天球画像および前記複数の画像のうち、ユーザの視聴方向に応じた画像を端末に送信する送信部と、
前記ユーザの視聴方向に関する視聴方向ログを前記端末から受け取る受け取り部と、
前記受け取り部により受け取られた視聴方向ログに応じて、前記記憶部に記憶されている前記複数の画像を変更する画像変更部と
を備える画像処理装置。
（１２）
前記視聴方向ログは、前記ユーザの方位角、仰角、および回転角のログおよびタイムスタンプからなる
前記（１１）に記載の画像処理装置。
（１３）
前記視聴方向ログは、前記ユーザの位置情報も含む
前記（１１）または（１２）に記載の画像処理装置。
（１４）
前記画像変更部は、
前記受け取り部により受け取られた視聴方向ログに応じて、前記複数の画像のうち、視聴がない視聴方向の画像の圧縮率を変更する
前記（１１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
前記画像変更部は、
前記受け取り部により受け取られた視聴方向ログに応じて、前記複数の画像のうち、視聴がない視聴方向の画像の解像度を変更する
前記（１１）乃至（１３）のいずれかに記載の画像処理装置。
（１６）
前記画像変更部は、
前記受け取り部により受け取られた視聴方向ログに応じて、前記複数の画像のうち、視聴がない視聴方向の画像を削除する
前記（１１）乃至（１３）のいずれかに記載の画像処理装置。
（１７）
前記画像変更部は、
前記受け取り部により受け取られた視聴方向ログおよび画像変化量に応じ、前記複数の画像のうち、視聴がない、または、画像変化量のない視聴方向の画像を削除する
前記（１１）乃至（１３）のいずれかに記載の画像処理装置。
（１８）
前記画像変更部は、
前記受け取り部により受け取られた視聴方向ログおよび画像変化量に応じ、前記複数の画像のうち、視聴がない、または、画像変化量のない視聴方向の画像が時間方向に続く場合、視聴がない、または、画像変化量のない視聴方向の画像を時間方向に間引く
前記（１７）に記載の画像処理装置。
（１９）
前記受け取り部により受け取られた視聴方向ログに応じ、前記記憶部に記憶されている前記複数の画像のうち、最もよく視聴される視聴方向の画像を用いて、２Ｄ画像を生成する画像生成部と、
前記画像生成部により生成された２Ｄ画像を前記端末に提供する画像提供部と
をさらに備える
前記（１１）乃至（１８）のいずれかに記載の画像処理装置。
（２０）
画像処理装置が、
３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像と、低解像度化された前記全天球画像とが記憶されている記憶部から、前記全天球画像および前記複数の画像のうち、ユーザの視聴方向に応じた画像を端末に送信する送信ステップと、
前記ユーザの視聴方向に関する視聴方向ログを前記端末から受け取る受け取りステップと、
前記受け取りステップの処理により受け取られた視聴方向ログに応じて、前記記憶部に記憶されている前記複数の画像を変更する画像変更ステップと
を含む画像処理方法。

１０ 配信システム， １１ 撮影装置， １２ 生成装置， １３ 配信サーバ， １４ ネットワーク， １５ 再生装置， １６ ヘッドマウントディスプレイ， １０２ ストレージ， １０３ 送信部， １０４ 送信部， １０５ 受信部， １０６ ログ解析部， １０７ 画像変更部， １０８ ２Ｄ画像生成部， １０９ ２Ｄ画像配信部， １２８ 視聴方向取得部， １２９ 視聴方向ログ記録部， １３０ 送信部， １３１ 受信部， １３２ デコーダ， １３３ 表示制御部， １３４ 表示部， ４１０ 画像表示システム， ４１１ マルチカメラ， ４１２ コンテンツサーバ， ４１３ ホームサーバ， ４１４ 変換装置， ４１５ ヘッドマウントディスプレイ

Claims (18)

1. ３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像のうちユーザの視聴方向に応じた画像と、低解像度化された前記全天球画像とを受け取る受け取り部と、
   前記受け取り部により受け取られた前記画像および低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像を生成する描画部と、
   前記ユーザの視聴方向に関する視聴方向情報を取得する視聴方向取得部と、
   前記視聴方向取得部により取得された視聴方向情報に基づいて記録される視聴方向ログを送信する送信部と、
   前記視聴方向ログに応じ、前記複数の画像のうち、最もよく視聴される視聴方向の画像を用いて生成された２Ｄ画像を受信する２Ｄ画像受信部と、
   前記２Ｄ画像受信部により受信された２Ｄ画像の表示を制御する表示制御部と
   を備える画像処理装置。
2. 前記視聴方向取得部は、前記ユーザに装着されるセンサから取得される観測値に基づいて、前記視聴方向情報を取得する
   請求項１に記載の画像処理装置。
3. 前記視聴方向取得部は、外部装置から取得される観測値に基づいて、前記視聴方向情報を取得する
   請求項１に記載の画像処理装置。
4. 前記視聴方向取得部は、前記ユーザが観た方向の画像を定期的に得ることにより、前記視聴方向情報を取得する
   請求項１に記載の画像処理装置。
5. 前記視聴方向取得部は、前記ユーザの操作に基づいて、前記視聴方向情報を取得する
   請求項１に記載の画像処理装置。
6. 前記視聴方向ログは、前記ユーザの方位角、仰角、および回転角のログ、並びにタイムスタンプからなる
   請求項１に記載の画像処理装置。
7. 前記視聴方向ログは、前記ユーザの位置情報も含む
   請求項６に記載の画像処理装置。
8. 前記受け取り部は、前記複数の画像と、前記複数の画像から前記視聴方向ログに応じて変更された画像のうち、前記ユーザの視聴方向に応じた画像と、低解像度化された前記全天球画像とを受け取る
   請求項１に記載の画像処理装置。
9. 画像処理装置が、
   ３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像のうちユーザの視聴方向に応じた画像と、低解像度化された前記全天球画像とを受け取る受け取りステップと、
   前記受け取りステップの処理により受け取られた前記画像および低解像度化された前記全天球画像の少なくとも一方に基づいて、表示画像を生成する描画ステップと、
   前記ユーザの視聴方向に関する視聴方向情報を取得する視聴方向取得ステップと、
   前記視聴方向取得ステップの処理により取得された視聴方向情報に基づいて記録される視聴方向ログを送信する送信ステップと、
   前記視聴方向ログに応じ、前記複数の画像のうち、最もよく視聴される視聴方向の画像を用いて生成された２Ｄ画像を受信する２Ｄ画像受信ステップと、
   前記２Ｄ画像受信ステップの処理により受信された２Ｄ画像の表示を制御する表示制御ステップと
   を含む画像処理方法。
10. ３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像と、低解像度化された前記全天球画像とを記憶する記憶部と、
    前記全天球画像および前記複数の画像のうち、ユーザの視聴方向に応じた画像を端末に送信する送信部と、
    前記ユーザの視聴方向に関する視聴方向ログを前記端末から受け取る受け取り部と、
    前記受け取り部により受け取られた視聴方向ログに応じて、前記記憶部に記憶されている前記複数の画像を変更する画像変更部と、
    前記受け取り部により受け取られた視聴方向ログに応じ、前記記憶部に記憶されている前記複数の画像のうち、最もよく視聴される視聴方向の画像を用いて、２Ｄ画像を生成する画像生成部と、
    前記画像生成部により生成された２Ｄ画像を前記端末に提供する画像提供部と
    を備える画像処理装置。
11. 前記視聴方向ログは、前記ユーザの方位角、仰角、および回転角のログおよびタイムスタンプからなる
    請求項１０に記載の画像処理装置。
12. 前記視聴方向ログは、前記ユーザの位置情報も含む
    請求項１１に記載の画像処理装置。
13. 前記画像変更部は、
    前記受け取り部により受け取られた視聴方向ログに応じて、前記複数の画像のうち、視聴がない視聴方向の画像の圧縮率を変更する
    請求項１０に記載の画像処理装置。
14. 前記画像変更部は、
    前記受け取り部により受け取られた視聴方向ログに応じて、前記複数の画像のうち、視聴がない視聴方向の画像の解像度を変更する
    請求項１０に記載の画像処理装置。
15. 前記画像変更部は、
    前記受け取り部により受け取られた視聴方向ログに応じて、前記複数の画像のうち、視聴がない視聴方向の画像を削除する
    請求項１０に記載の画像処理装置。
16. 前記画像変更部は、
    前記受け取り部により受け取られた視聴方向ログおよび画像変化量に応じ、前記複数の画像のうち、視聴がない、または、画像変化量のない視聴方向の画像を削除する
    請求項１０に記載の画像処理装置。
17. 前記画像変更部は、
    前記受け取り部により受け取られた視聴方向ログおよび画像変化量に応じ、前記複数の画像のうち、視聴がない、または、画像変化量のない視聴方向の画像が時間方向に続く場合、視聴がない、または、画像変化量のない視聴方向の画像を時間方向に間引く
    請求項１６に記載の画像処理装置。
18. 画像処理装置が、
    ３Ｄモデルにマッピングされた全天球画像を複数の２次元平面に投影することにより生成された複数の画像と、低解像度化された前記全天球画像とが記憶されている記憶部から、前記全天球画像および前記複数の画像のうち、ユーザの視聴方向に応じた画像を端末に送信する送信ステップと、
    前記ユーザの視聴方向に関する視聴方向ログを前記端末から受け取る受け取りステップと、
    前記受け取りステップの処理により受け取られた視聴方向ログに応じて、前記記憶部に記憶されている前記複数の画像を変更する画像変更ステップと、
    前記受け取りステップの処理により受け取られた視聴方向ログに応じ、前記記憶部に記憶されている前記複数の画像のうち、最もよく視聴される視聴方向の画像を用いて、２Ｄ画像を生成する画像生成ステップと、
    前記画像生成ステップの処理により生成された２Ｄ画像を前記端末に提供する画像提供ステップと
    を含む画像処理方法。

Images