JPWO2019003889A1 - 生成装置および生成方法、並びに、再生装置および再生方法 - Google Patents

Abstract

本開示は、任意のマッピング手法に適用可能で、視聴方向を高解像度に設定したマッピングを提供することができるようにする生成装置および生成方法、並びに、再生装置および再生方法に関する。生成装置は、360度画像を所定の３Dモデルにマッピングする第１のベクトルを、単位球の３Dモデルの第２のベクトルに変換する正規化部を備える。本開示は、例えば、６方向の撮影画像から360度画像を生成し、その360度画像の所定の方向が高解像度に設定された符号化ストリームを生成する生成装置等に適用できる。

Description

本開示は、生成装置および生成方法、並びに、再生装置および再生方法に関し、特に、任意のマッピング手法に適用可能で、視聴方向を高解像度に設定したマッピングを提供することができるようにした生成装置および生成方法、並びに、再生装置および再生方法に関する。

上下左右全方位の360度を見回すことが可能な全天球画像の再生方法には、一般のディスプレイ上にコントローラを使って表示方向を変更しながら視聴する方法や、手に持ったモバイル端末画面上に端末内蔵のジャイロセンサから得た姿勢情報に基づいて方向を変えて表示する方法、頭部に装着したヘッドマウントディスプレイで頭部の動きを反映させて画像を表示する方法などがある。

これらの再生方法で全天球画像を再生する一人用の再生装置の特徴は、入力画像データが全天球分用意されているにもかかわらず、視聴者が見ていない方向はデータの表示を行う必要は無いため、実際に表示されるのは全天球画像の一部に限られることである。表示を行なっていない部分の伝送やデコード処理を削減することができれば、回線帯域効率を上げることが可能である。

しかしながら、MPEG2（Moving Picture Experts Group phase 2）やAVC（Advanced Video Coding）などの標準的なコーデックを使って圧縮する一般的な手法では、空間方向も時間軸方向も冗長性を利用して圧縮されおり、任意の領域を切り出してデコードすることも、任意の時刻から再生を開始することも難しい。

さらに、データが配信などでサーバからネットワーク経由で送られる場合には、サーバ応答遅延の問題もある。そのため、動画コーデックを利用してのデータの瞬時切り替えは非常に困難で、全天球のデータを複数に分割する形式を取っても、視聴者が急に見る方向を変えた時に、実際に切り替えが発生するまでの間、表示するデータが存在しないデータ欠損の状態が起こってしまう。このデータ欠損状態になると、再生品質が極度に低下するため、実際の全天球配信システムの構築では、急激な振り向きに備えて全方向分の最低限のデータが存在する状態を維持することが必要である。

そのため、限られた回線帯域の中で、全天球分の最低限のデータは確保しながら視聴者の見ている方向を高解像度・高画質にする手法が、各種提案されている。

例えば、特許文献１では、正距円筒図法の低解像度の全天球画像と、高解像度の一部切り出し画像を組み合わせて視聴する、いわゆる分割階層化配信システムが提案されている。分割階層化配信システムでは、視聴方向の高解像度部分画像が、視聴者の向きに応じて切り替わりながら配信される。視野周辺の高解像度部分画像がカバーされない領域の描画や、急な振り向きでストリームの切り替えが間に合わない場合には、低解像度の全天球画像が利用され、表示する画像が存在しない状態が発生しないようにしている。

このような分割階層化手法の問題点は、高解像度と低解像度が重なった部分では画質の良い高解像度を使って描画されるため、重なった部分の低解像度側が無駄になってしまうことである。高解像度と低解像度を２重に送っている分だけ回線帯域のロスが生じてしまう。

この重なった部分を２重に送ってしまう無駄を省く工夫を施した手法も存在する。

例えば、１枚の画像に全天球分の方向が含まれるが、方向によって割り当てられる面積すなわち画素数が異なり、ある特定の方向が高解像度となるように設計されたマッピングを使う手法がある。

この手法は、例えば、MPEG会合の2016年6月のGeneva会合で発行された Working Draft ” WD on ISO/IEC 23000-20 Omnidirectional Media Application Format”の「A.3.2.5 Truncated pyramid」の章で記述されている（非特許文献１参照）。また、同様の手法は、非特許文献２にも記述されている。Facebook社も、同様の考え方に基づく別のマッピングを “Pyramid Coding”と称し、Web上で公開している（非特許文献３参照）。

この手法によれば、正面エリアの割り当て画素が多く、解像度が高くなる。正面方向が異なる複数のビットストリームが用意され、視聴者の見ている方向に応じて、それらを切り替えながら伝送が行われる。解像度の差はあっても全方向のデータが含まれるため、急な視聴方向の変更によるデータ欠落は発生しない。

このような、視聴方向正面を高解像度に設定し、それ以外の方向が低解像度になるマッピングは、MPEG会合では、”viewport dependent projection mapping”と呼ばれている。

特開２０１６−１５７０５号公報

http://mpeg.chiariglione.org/standards/mpeg-a/omnidirectional-media-application-format/wd-isoiec-23000-20-omnidirectional-media https://www.itu.int/en/ITU-T/studygroups/2017-2020/16/Documents/ws/201701ILE/S2P2-1701-01-19-MPEG_Immersive_Media_Thomas_Stockhammer.pdf https://code.facebook.com/posts/1126354007399553/next-generation-video-encoding-techniques-for-360-video-and-vr/

上記の視聴方向正面を高解像度に設定し、それ以外の方向が低解像度になるマッピングを用いる手法は、解像度差が生じるマッピングを新規に定義した専用マッピングを用いる手法である。専用マッピングを用いる手法は、通常のマッピング手法、即ち、全方向で画素密度（解像度）が均等な全天球画像を表示するマッピングと互換が無くなってしまう。そのため、一般の全天球用に設計されたマッピングをそのまま使うことができて、かつ、特定の方向が高解像度となるような画像を生成することができるマッピングが望まれる。

本開示は、このような状況に鑑みてなされたものであり、任意のマッピング手法に適用可能で、視聴方向を高解像度に設定したマッピングを提供することができるようにするものである。

本開示の第１の側面の生成装置は、360度画像を所定の３Dモデルにマッピングする第１のベクトルを、単位球の３Dモデルの第２のベクトルに変換する正規化部を備える。

本開示の第１の側面の生成方法は、360度画像をマッピングする所定の３Dモデルの第１のベクトルを、単位球の３Dモデルの第２のベクトルに変換するステップを含む。

本開示の第１の側面においては、360度画像をマッピングする所定の３Dモデルの第１のベクトルが、単位球の３Dモデルの第２のベクトルに変換される。

本開示の第２の側面の再生装置は、他の装置で生成された360度画像を受け取る受け取り部と、前記360度画像を所定の３Dモデルにマッピングする第１のベクトルを、単位球の３Dモデルの第２のベクトルに変換する正規化部とを備える。

本開示の第２の側面の再生方法は、他の装置で生成された360度画像を受け取り、前記360度画像を所定の３Dモデルにマッピングする第１のベクトルを、単位球の３Dモデルの第２のベクトルに変換するステップを含む。

本開示の第２の側面においては、他の装置で生成された360度画像が受け取られ、前記360度画像を所定の３Dモデルにマッピングする第１のベクトルが、単位球の３Dモデルの第２のベクトルに変換される。

なお、本開示の第１の側面の生成装置および第２の側面の再生装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、本開示の第１の側面の生成装置および第２の側面の再生装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

生成装置および再生装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本開示の第１および第２の側面によれば、任意のマッピング手法に適用可能で、視聴方向を高解像度に設定したマッピングを提供することができるようにする。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示を適用した配信システムの第１の実施の形態の構成例を示すブロック図である。 図１の生成装置の構成例を示すブロック図である。 高解像度方向の設定を説明する図である。 マッピング処理部の詳細構成を示すブロック図である。 マッピング処理部の写像を説明する図である。 正八面体マッピングにおけるテクスチャ画像と３Ｄモデルとの関係を示す図である。 第１の実施の形態に係るマッピング処理部の処理を説明する図である。 単位球の球面上の各画素をオフセット位置から見た場合を説明する図である。 写像ｆのマッピング処理による２次元テクスチャ画像と３Dモデルとの対応関係を示す図である。 写像ｆ’のマッピング処理による２次元テクスチャ画像と３Dモデルとの対応関係を示す図である。 写像ｆ”のマッピング処理による２次元テクスチャ画像と３Dモデルとの対応関係を示す図である。 テーブル生成部により生成される補助情報の構成例を示す図である。 方位角θ、仰角φ、及び、回転角ψを説明する図である。 高解像度方向が異なる６個の全天球画像の例を示す図である。 生成処理を説明するフローチャートである。 図１の配信サーバと再生装置の構成例を示すブロック図である。 描画部の処理について説明する図である。 再生処理を説明するフローチャートである。 第１の実施の形態の変形例を説明する図である。 第１の実施の形態の変形例を説明する図である。 第１の実施の形態の変形例を説明する図である。 生成装置と再生装置のマッピング処理部の写像の向きを説明する図である。 生成装置と再生装置のマッピング処理部の写像の向きを説明する図である。 第２の実施の形態に係るマッピング処理部の構成例を示すブロック図である。 第２の実施の形態に係るマッピング処理部の写像を説明する図である。 第２の実施の形態に係るマッピング処理部の処理を説明する図である。 写像ｇのマッピング処理による２次元テクスチャ画像と３Dモデルとの対応関係を示す図である。 第１の実施の形態における偏心率ｋと解像度向上率との関係を説明する図である。 第２の実施の形態における偏心率ｋと解像度向上率との関係を説明する図である。 第１の実施の形態における偏心率ｋを変えたときの２次元テクスチャ画像の例を示す図である。 第２の実施の形態における偏心率ｋを変えたときの２次元テクスチャ画像の例を示す図である。 第１の実施の形態におけるマッピング処理の概念図である。 第２の実施の形態におけるマッピング処理の概念図である。 第１の実施の形態と第２の実施の形態のマッピング処理の違いを説明する図である。 ３Ｄモデルとしてキューブモデルを採用した場合と比較説明する図である。 第３の実施の形態に係るマッピング処理部の処理を説明する図である。 第３の実施の形態におけるマッピング処理の概念図である。 補助情報としてのパラメータテーブルの他の例を示す図である。 符号化ストリームを３D画像用の全天球画像とする変形例を説明する図である。 本開示を適用したコンピュータの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本開示に係る技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．生成装置と再生装置のマッピング処理部の写像の向きについて
３．第２の実施の形態
４．偏心率ｋと解像度向上率との関係
５．第１の実施の形態と第２の実施の形態の違い
６．第１の実施の形態と第２の実施の形態の組み合わせ
７．まとめ
８．変形例
９．コンピュータ構成例
１０．応用例

＜１．第１の実施の形態＞
（配信システムの第１の実施の形態の構成例）
図１は、本開示を適用した配信システムの第１の実施の形態の構成例を示すブロック図である。

図１の配信システム１０は、撮影装置１１、生成装置１２、配信サーバ１３、ネットワーク１４、再生装置１５、およびヘッドマウントディスプレイ１６により構成される。配信システム１０は、撮影装置１１により撮影された撮影画像から全天球画像を生成し、全天球画像を用いて視聴者の視野範囲の表示画像を表示する。

具体的には、配信システム１０の撮影装置１１は、６個のカメラ１１Ａ−１乃至１１Ａ−６を有する。なお、以下では、カメラ１１Ａ−１乃至１１Ａ−６を特に区別する必要がない場合、それらをカメラ１１Ａという。

各カメラ１１Ａは、動画像を撮影する。撮影装置１１は、各カメラ１１Ａにより撮影された６方向の動画像を撮影画像として生成装置１２に供給する。なお、撮影装置１１が備えるカメラの数は、複数であれば、６個に限定されない。

生成装置１２は、正距円筒図法を用いた方法により、撮影装置１１から供給される撮影画像から、水平方向の周囲360度および垂直方向の周囲180度の全天球画像を生成する。生成装置１２は、正距円筒図法による、上下左右全方位の360度を見回すことが可能な全天球画像を、所定の３Ｄモデルにマッピングした画像データを、AVC(Advanced Video Coding)やHEVC(High Efficiency Video Coding)/H.265等の所定の符号化方式で圧縮符号化する。

生成装置１２は、全天球画像を所定の３Ｄモデルにマッピングする際、視聴者の視線方向に対応する複数の方向を設定し、各方向について、設定された方向の解像度が高解像度に設定されるとともに、設定された方向とは反対の方向が低解像度となるようにマッピングを変換する。そして、生成装置１２は、変換したマッピングを用いて生成した全天球画像の画像データを圧縮符号化した符号化ストリームを生成する。

例えば、立方体の中心を視聴位置として、中心から立方体の各面に垂直な方向となる６個の方向が、複数の方向として設定されるとすると、生成装置１２は、６個の方向に対応するように、全天球画像の画像データを圧縮符号化した６本の符号化ストリームを生成する。生成された６本の符号化ストリームは、高解像度に設定された方向（以下、高解像度方向とも称する。）がそれぞれ異なる全天球画像の画像データとなる。

生成装置１２は、高解像度方向がそれぞれ異なる複数本の符号化ストリームを配信サーバ１３にアップロードする。また、生成装置１２は、複数本の符号化ストリームを識別するための補助情報を生成し、配信サーバ１３にアップロードする。補助情報は、高解像度方向がどの方向であるか等を定義した情報である。

配信サーバ１３は、ネットワーク１４を介して再生装置１５と接続する。配信サーバ１３は、生成装置１２からアップロードされた複数本の符号化ストリームと補助情報を記憶する。配信サーバ１３は、再生装置１５からの要求に応じて、記憶している補助情報と、複数本の符号化ストリームの少なくとも１つを、ネットワーク１４を介して再生装置１５に送信する。

再生装置１５は、配信サーバ１３が記憶する複数本の符号化ストリームを識別するための補助情報を、ネットワーク１４を介して配信サーバ１３に要求し、その要求に応じて送信されてくる補助情報を受け取る。

また、再生装置１５は、カメラ１５Ａを内蔵し、ヘッドマウントディスプレイ１６に付されたマーカ１６Ａを撮影する。そして、再生装置１５は、マーカ１６Ａの撮影画像に基づいて、３Ｄモデルの座標系（以下、３Ｄモデル座標系という。）における視聴者の視聴位置を検出する。さらに、再生装置１５は、ヘッドマウントディスプレイ１６のジャイロセンサ１６Ｂの検出結果を、ヘッドマウントディスプレイ１６から受け取る。再生装置１５は、ジャイロセンサ１６Ｂの検出結果に基づいて、３Ｄモデル座標系における視聴者の視線方向を決定する。再生装置１５は、視聴位置と視線方向に基づいて、３Ｄモデルの内部に位置する視聴者の視野範囲を決定する。

そして、再生装置１５は、補助情報と視聴者の視野範囲とに基づいて、複数本の符号化ストリームのうちの１本の符号化ストリームをネットワーク１４を介して配信サーバ１３に要求し、その要求に応じて配信サーバ１３から送信されてくる１本の符号化ストリームを受け取る。

すなわち、再生装置１５は、配信サーバ１３が記憶する複数本の符号化ストリームのうち、視聴者の視線方向に最も近い高解像度方向の符号化ストリームを、取得する符号化ストリームとして決定し、配信サーバ１３に要求する。

再生装置１５は、受け取った１本の符号化ストリームを復号する。再生装置１５は、復号の結果得られる全天球画像を所定の３Ｄモデルにマッピングすることにより、３Ｄモデル画像を生成する。

そして、再生装置１５は、視聴位置を焦点として、３Ｄモデル画像を視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。再生装置１５は、表示画像をヘッドマウントディスプレイ１６に供給する。

ヘッドマウントディスプレイ１６は、視聴者の頭部に装着され、再生装置１５から供給される表示画像を表示する。ヘッドマウントディスプレイ１６には、カメラ１５Ａにより撮影されるマーカ１６Ａが付されている。従って、視聴者は、ヘッドマウントディスプレイ１６を頭部に装着した状態で、移動することにより視聴位置を指定することができる。また、ヘッドマウントディスプレイ１６には、ジャイロセンサ１６Ｂが内蔵され、そのジャイロセンサ１６Ｂによる角速度の検出結果は再生装置１５に伝送される。従って、視聴者は、ヘッドマウントディスプレイ１６を装着した頭部を回転させることにより、視線方向を指定することができる。

再生装置１５は、視聴者の見ている方向に応じて、配信サーバ１３が記憶する複数本の符号化ストリームを切り替えながら、視聴者の視野範囲の画像を生成し、ヘッドマウントディスプレイ１６に表示させる。すなわち、視聴者の見ている方向の解像度が上がるように、配信サーバ１３が記憶する複数本の符号化ストリームが動的に切り替えられる。

配信システム１０において、配信サーバ１３から再生装置１５への配信方法は、どのような方法であってもよい。配信方法が、例えば、MPEG-DASH（Moving Picture Experts Group phase − Dynamic Adaptive Streaming over HTTP）を用いる方法である場合、配信サーバ１３は、HTTP(HyperText Transfer Protocol)サーバであり、再生装置１５はMPEG-DASHクライアントである。

（生成装置の構成例）
図２は、図１の生成装置１２の構成例を示すブロック図である。

図２の生成装置１２は、スティッチング処理部２１、回転処理部２２−１乃至２２−６、マッピング処理部２３−１乃至２３−６、エンコーダ２４−１乃至２４−６、設定部２５、テーブル生成部２６、および、送信部２７により構成される。

生成装置１２では、回転処理部２２、マッピング処理部２３、および、エンコーダ２４は、高解像度方向の数だけ設けられる。本実施の形態では、生成装置１２は、高解像度方向として、図３の矢印dir1乃至dir6で示される、立方体の中心を視聴位置として、中心から立方体の各面に垂直な方向となる６個の方向が設定されるので、回転処理部２２、マッピング処理部２３、および、エンコーダ２４が、それぞれ、６個ずつ設けられている。仮に、高解像度方向として１２の方向を設定する場合には、生成装置１２には、マッピング処理部２３、および、エンコーダ２４が、それぞれ、１２個ずつ設けられている。

以下では、回転処理部２２−１乃至２２−６それぞれを特に区別する必要がない場合、単に回転処理部２２と称する。マッピング処理部２３−１乃至２３−６、および、エンコーダ２４−１乃至２４−６についても同様に、それらを特に区別する必要がない場合、マッピング処理部２３、および、エンコーダ２４と称する。

スティッチング処理部２１は、フレームごとに、図１のカメラ１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続し、十分な解像度を持った一枚の撮影画像に変換する。例えば、スティッチング処理部２１は、一枚の撮影画像として、正距円筒画像に変換する。スティッチング処理部２１は、フレーム単位の撮影画像である正距円筒画像を回転処理部２２に供給する。

回転処理部２２は、スティッチング処理部２１から供給されるフレーム単位の撮影画像（例えば、正距円筒画像）を、高解像度方向が画像の中心となるように画像中心を回転（移動）する。どの方向を高解像度方向とするかは、設定部２５から指示される。回転処理部２２−１乃至２２−６は、設定部２５から指示される方向が異なるだけである。

マッピング処理部２３は、画像中心付近が高解像度になるように変換された撮影画像を、所定の３Ｄモデルにマッピングすることにより、設定部２５から指示された方向が高解像度に設定された全天球画像を生成する。生成された全天球画像において、設定部２５から指示された方向と反対の（真後ろの）方向の解像度は、低解像度となっている。

エンコーダ２４（符号化部）は、マッピング処理部２３から供給される全天球画像をMPEG2方式やAVC方式などの所定の符号化方式で符号化し、符号化ストリームを生成する。エンコーダ２４は、生成した１本の符号化ストリームを送信部２７に供給する。

このとき、エンコーダ２４−１乃至２４−６によって生成された６本の符号化ストリームは、動的に切り替えて再生されるため、エンコーダ２４−１乃至２４−６により生成される６本の符号化ストリームの間で、例えば、GOP(Group of Picture)の先頭ピクチャやIDRピクチャなどのシンクポイントは同一にされる。エンコーダ２４−１乃至２４−６は、それぞれ、生成された１本の符号化ストリームを送信部２７に供給する。

マッピング処理部２３、および、エンコーダ２４は、設定部２５が設定した高解像度方向に対応する、回転処理部２２から供給される画像の画像中心の方向を、正面方向として、同一の処理を実行する。回転処理部２２から供給される高解像度方向が画像中心となっている画像を正面方向画像と称する。

設定部２５は、水平方向の周囲360度および垂直方向の周囲180度に対して、並列に設けられた６個の回転処理部２２、マッピング処理部２３、および、エンコーダ２４の組が、正面方向として扱う高解像度方向を決定する。設定部２５は、決定した６個の高解像度方向のうちの１つの高解像度方向を特定する情報を、回転処理部２２−１乃至２２−６に供給する。回転処理部２２−１乃至２２−６それぞれに供給される高解像度方向は、互いに異なる。

また、設定部２５は、水平方向の周囲360度および垂直方向の周囲180度の全方向を均一な解像度とする場合と比較して、高解像度方向をどれだけ高解像度とするかを示す、解像度向上率を決定し、マッピング処理部２３−１乃至２３−６に供給する。マッピング処理部２３−１乃至２３−６に供給される解像度向上率は、マッピング処理部２３−１乃至２３−６で異なる値でもよいが、本実施の形態では共通の値とする。

本実施の形態では、高解像度方向の設定数を予め６個に決定し、生成装置１２内に、回転処理部２２、マッピング処理部２３、および、エンコーダ２４のそれぞれを６個設けた構成を採用することとするが、設定部２５が決定する任意の個数の高解像度方向に対応して、回転処理部２２、マッピング処理部２３、および、エンコーダ２４それぞれの個数が可変する構成としてもよい。

さらに、設定部２５は、回転処理部２２−１乃至２２−６に供給した６個の高解像度方向を特定する情報と、マッピング処理部２３−１乃至２３−６に供給した解像度向上率を示す情報をテーブル生成部２６に供給する。

なお、図２では、設定部２５から、回転処理部２２−１乃至２２−６およびマッピング処理部２３−１乃至２３−６に所定のデータ（高解像度方向、解像度向上率）を供給する供給線の図示が省略されている。

テーブル生成部２６は、設定部２５から供給される６個の高解像度方向と、解像度向上率を、高解像度方向ごとにまとめたテーブルを生成し、生成したテーブルを補助情報として、送信部２７に供給する。

送信部２７は、エンコーダ２４−１乃至２４−６のそれぞれから供給される合計６本の符号化ストリーム、および、テーブル生成部２６から供給される補助情報を、図１の配信サーバ１３にアップロード（送信）する。

（マッピング変換部の構成例）
図４は、マッピング処理部２３の詳細構成を示すブロック図である。

マッピング処理部２３は、全天球マッピング座標生成部４１、ベクトル正規化部４２、および、マッピング補正部４３により構成される。

マッピング処理部２３には、回転処理部２２から、十分な解像度を持った一枚の画像（例えば、正距円筒画像）で、設定部２５によって設定された高解像度方向が画像中心となっている画像がフレーム毎に供給される。

水平方向の周囲360度および垂直方向の周囲180度の全方向を均一な解像度とした全天球画像を生成する場合には、マッピング処理部２３は、全天球マッピング座標生成部４１のみで構成される。本実施の形態のように、所定の方向を高解像度方向とする全天球画像を生成するために、マッピング処理部２３には、ベクトル正規化部４２、および、マッピング補正部４３が追加されている。

マッピング処理部２３は、回転処理部２２から供給される一枚の画像（例えば、正距円筒画像）を、所定の３Dモデルにマッピング（写像）する処理を行うが、実際には、全天球マッピング座標生成部４１、ベクトル正規化部４２、および、マッピング補正部４３の３つの処理が、１回のマッピング処理により一括で行われる。

そこで、図５に示されるように、全天球マッピング座標生成部４１単独で行われる写像を写像ｆ、全天球マッピング座標生成部４１とベクトル正規化部４２を合わせて行われる写像を写像ｆ’、全天球マッピング座標生成部４１、ベクトル正規化部４２、および、マッピング補正部４３を合わせて行われる写像を写像ｆ”と定義して、マッピング処理部２３によるマッピング処理を段階的に説明する。

全天球マッピング座標生成部４１は、回転処理部２２から供給される正面方向画像を所定の３Dモデルにマッピングすることにより、高解像度方向が高解像度に設定された全天球画像を生成する。

例えば、所定の３Dモデルとして正八面体にマッピングする正八面体マッピングを採用したとすると、全天球マッピング座標生成部４１は、回転処理部２２から供給される正面方向画像を正八面体にマッピングすることにより、高解像度方向が高解像度に設定された全天球画像を生成する。

正八面体マッピングをはじめとする多面体マッピングは、複数の三角形パッチからなる３Ｄ多面体立体モデルにテクスチャ画像を貼りつけ、その面を３Ｄモデルの中心から見回すように透視投影することによって、ＧＰＵで比較的容易に描画可能なマッピング手法である。

図６は、正八面体マッピングにおけるテクスチャ画像と３Ｄモデルとの関係を示す図である。

図６のAは、３Ｄモデルとしての正八面体を示し、３Ｄモデルとしての正八面体は、X軸、Y軸、及びZ軸の３Dモデル座標系で定義される。

図６のBは、３Ｄモデルとしての正八面体に貼り付けられるテクスチャ画像であり、テクスチャ画像は、U軸及びV軸の平面座標系で定義される。

平面座標(u,v)のテクスチャ画像（画素）と、正八面体上の３次元座標位置(x,y,z)との対応関係が、(x,y,z)=f(u,v)のように、写像ｆで定義される。

図７のAは、Z＝０の断面における正八面体モデルの模式図である。

図７のAに示されるように、正八面体の原点を視聴位置として、原点から正八面体上の所定の３次元座標位置(x,y,z)へのベクトルをベクトルｄとすると、全天球マッピング座標生成部４１による写像ｆは、ベクトルｄに対応し、全天球マッピング座標生成部４１は、式（１）のベクトルｄを生成する。

次に、ベクトルｄが次の式（２）により正規化されることにより、ベクトルｐが算出される。

ベクトルｐは、図７のBに示されるように、半径が１の球（以下、単位球という。）の球面上の３次元座標位置(x,y,z)へのベクトルを表す。

全天球マッピング座標生成部４１とベクトル正規化部４２を合わせて行われる写像ｆ’は、ベクトルｐを用いて、単位球（球面）の３Dモデルにマッピングする処理である。

したがって、ベクトル正規化部４２は、全天球マッピング座標生成部４１で採用した所定の３Dモデル（本実施の形態では、正八面体モデル）を、単位球（球面）の３Dモデルに変換する。

マッピング補正部４３は、ベクトル正規化部４２によって正規化されたベクトルｐに所定のオフセット位置ベクトルを加算する。ベクトルｐに加算されるオフセット位置ベクトルをベクトルｓ_１とし、マッピング補正部４３による補正後のベクトルをベクトルｑ_１とすると、マッピング補正部４３は、次の式（３）により、ベクトルｑ_１を算出する。

ベクトルｑ_１は、図７のCに示されるように、ベクトルｐに所定のオフセット位置ベクトルｓ_１（負のオフセット位置ベクトルｓ_１）を加算することで得られる。

全天球マッピング座標生成部４１、ベクトル正規化部４２、および、マッピング補正部４３を合わせて行われる写像ｆ”は、このベクトルｑ_１を用いて、単位球（球面）の３Dモデルにマッピングする処理である。

算出されたベクトルｑ_１は、３Dモデルとしての単位球の球面上に配置されたテクスチャ画像を、中心（原点）からオフセット位置ベクトルｓ_１だけずれた位置から見ることに等しい。

図８に示されるように、単位球の球面上の各画素を、中心（原点）からオフセット位置ベクトルｓ_１だけずれた位置から見た場合、画素密度が高解像度な方向と低解像度な方向が発生する。

図７のCのオフセット位置ベクトルｓ_１の長さ（大きさ）は、球中心からのオフセット距離に相当する。オフセット位置ベクトルｓ_１の長さが０のときは、単位球の中心のままとなるので、解像度を変更しない無変換を意味する。

このオフセット位置ベクトルｓ_１の長さを偏心率ｋと呼ぶことにすると、偏心率ｋは、原点から単位球面までの値を取り得るため、偏心率ｋの取り得る値は、０≦ｋ＜１となる。偏心率ｋ（オフセット位置ベクトルｓ_１の長さ）が大きいほど、図８に示した画素の疎密の差が大きくなり、偏心率ｋは、全方向を均一な解像度を基準としたときの正面方向の解像度の向上度を表す。

以上のように、マッピング処理部２３は、式（３）のベクトルｑ_１に対応する写像ｆ”のマッピング処理を実行することにより、回転処理部２２から供給される正面方向画像から、特定の方向が高解像度方向に設定された全天球画像を生成する。

上述した例では、全天球マッピング座標生成部４１による全天球画像処理の例として、正八面体の３Dモデルを採用した例について説明した。

しかし、全天球マッピング座標生成部４１で採用する３Dモデルがどのような３Dモデルでもよい。例えば、キューブマッピングでもよいし、正距円筒でもよい。ただし、正距円筒は、通常は球体モデルで定義されるため、後段のベクトル正規化部４２による正規化処理を施しても３Dモデル形状に変化はない。

換言すれば、全天球マッピング座標生成部４１の後段に、任意の３Dモデルを単位球モデルに変換するベクトル正規化部４２が設けられていることにより、全天球マッピング座標生成部４１では、任意の３Dモデルを採用することができる。

図９は、全天球マッピング座標生成部４１のみによる写像ｆのマッピング処理による、２次元テクスチャ画像と正八面体の３Dモデルとの対応関係を示す図である。

図１０は、全天球マッピング座標生成部４１による全天球画像処理とベクトル正規化部４２による正規化処理とが一体となった写像ｆ’のマッピング処理による、２次元テクスチャ画像と単位球の３Dモデルとの対応関係を示す図である。

図１１は、全天球マッピング座標生成部４１による全天球画像処理、ベクトル正規化部４２による正規化処理、および、マッピング補正部４３によるマッピング補正処理が一体となった写像ｆ”のマッピング処理による、２次元テクスチャ画像と単位球の３Dモデルとの対応関係を示す図である。

図９乃至図１１では、説明のため、水平面（XZ平面）上における所定の基準軸からの角度である方位角と、上下方向の角度である仰角に対して、等間隔に補助線が描画されている。

図面上では、図面の解像度の制限により十分に表現できないが、図１１の写像ｆ”のマッピング処理による２次元テクスチャ画像は、図１０の写像ｆ’のマッピング処理による２次元テクスチャ画像と異なる。図１０と図１１の３Dモデルは、同じように見えるが、実際には、図１０と図１１は、画素密度分布が異なる。

（補助情報の構成例）
図１２は、図２のテーブル生成部２６により生成される補助情報の構成例を示す図である。

テーブル生成部２６は、高解像度方向を特定する情報と解像度向上率を、高解像度方向ごとにまとめたパラメータテーブルを、補助情報として生成する。

図１２の例では、図３に示した矢印dir1乃至dir6に対応する６個の方向のそれぞれについて、高解像度方向を特定する情報と解像度向上率が定義されている。高解像度方向を特定する情報は、方位角θ、仰角φ、及び、回転角ψであり、解像度向上率は、上述した偏心率ｋである。矢印dir1乃至dir6は、例えば、図１２のID１乃至ID６にそれぞれ対応する。

図１３は、方位角θ、仰角φ、及び、回転角ψを説明する図である。

方位角θは、３Dモデル座標系の水平面であるXZ平面上における所定の基準軸からの角度であり、−１８０°から＋１８０°までの値を取り得る（−１８０°≦θ≦１８０°）。図１３の例では、右回りを正方向としている。

仰角φは、３Dモデル座標系のXZ平面を基準平面とする上下方向の角度であり、−９０°から＋９０°までの値を取り得る（−９０°≦φ≦９０°）。図１３の例では、上方向を正方向としている。

回転角ψは、視点である原点と球面上の点を結ぶ線を軸としたときの軸周りの角度であり、図１３の例では、反時計回りを正方向としている。

なお、直交座標系の右手系又は左手系のどちらを採用するか、方位角θ、仰角φ、および、回転角ψにおいて、どの方向または回転方向を正方向とするかで、正負の符号は変わり得るが、どのように定義しても問題はない。

図１４は、６個の回転処理部２２、マッピング処理部２３、および、エンコーダ２４によって生成された６個の全天球画像の例を示している。

図１４に示される６個の全天球画像６１_１乃至６１_６は、図１２のID１乃至ID６にそれぞれ対応する高解像度方向を有する全天球画像である。６個の全天球画像６１_１乃至６１_６を特に区別しない場合には、単に全天球画像６１と称する。

図１４に示される６個の全天球画像６１_１乃至６１_６には、単位球としての地球儀の緯度経度に相当する補助線が描かれている。

６個の全天球画像６１_１乃至６１_６は、図１２のパラメータテーブルで特定される解像度方向が画像中心となるように回転処理部２２によって回転されている。全天球画像６１は、画像中心に近いほど補助線の間隔が広くなっていることから、画像中心に近いほど画像が拡大されていることがわかる。

（生成装置の処理の説明）
図１５は、図２の生成装置１２による生成処理を説明するフローチャートである。この処理は、例えば、撮影装置１１の６個のカメラ１１Ａ−１乃至１１Ａ−６で撮影された６方向の動画像が供給されたとき開始される。

初めに、ステップＳ１１において、スティッチング処理部２１は、フレームごとに、各カメラ１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続し、一枚の撮影画像に変換する。スティッチング処理部２１は、一枚の撮影画像として、例えば正距円筒画像を生成し、フレーム単位の正距円筒画像を回転処理部２２に供給する。

ステップＳ１２において、設定部２５は、６個の高解像度方向と解像度向上率を決定する。設定部２５は、決定した６個の高解像度方向を回転処理部２２−１乃至２２−６に１つずつ供給し、決定した解像度向上率をマッピング処理部２３−１乃至２３−６に供給する。また、設定部２５は、決定した６個の高解像度方向と解像度向上率をテーブル生成部２６にも供給する。

ステップＳ１３において、回転処理部２２は、スティッチング処理部２１から供給されたフレーム単位の撮影画像（例えば、正距円筒画像）を、設定部２５で指示された高解像度方向が画像の中心となるように回転する。

ステップＳ１４において、マッピング処理部２３は、画像中心付近が高解像度になるように回転された撮影画像を、所定の３Ｄモデルにマッピングすることにより、設定部２５から指示された方向が高解像度に設定された全天球画像を生成する。

具体的には、マッピング処理部２３は、式（３）のベクトルｑ_１を計算し、その結果得られたベクトルｑ_１を用いて回転処理部２２から供給された正面方向画像を単位球にマッピングする処理を実行することにより、全天球マッピング座標生成部４１による３Ｄモデルマッピング処理、ベクトル正規化部４２による正規化処理、および、マッピング補正部４３によるマッピング補正処理が一体となった写像ｆ”のマッピング処理を実行する。

ステップＳ１５において、エンコーダ２４は、マッピング処理部２３から供給された全天球画像をMPEG2方式やAVC方式などの所定の符号化方式で符号化し、１本の符号化ストリームを生成する。エンコーダ２４は、生成した１本の符号化ストリームを送信部２７に供給する。

ステップＳ１３乃至Ｓ１５では、６個ずつ設けられた回転処理部２２、マッピング処理部２３、および、エンコーダ２４それぞれが、高解像度方向（正面方向）が異なる方向とされた撮影画像に対して、並列に処理を行う。

ステップＳ１６において、生成テーブル生成部２６は、６個の高解像度方向を特定する情報と、解像度向上率を示す情報を高解像度方向ごとにまとめたパラメータテーブルを補助情報として生成し、送信部２７に供給する。

ステップＳ１７において、送信部２７は、６個のエンコーダ２４から供給された合計６本の符号化ストリーム、および、テーブル生成部２６から供給された補助情報を、配信サーバ１３にアップロードする。

（配信サーバと再生装置の構成例）
図１６は、図１の配信サーバ１３と再生装置１５の構成例を示すブロック図である。

配信サーバ１３は、受信部１０１、ストレージ１０２、および、送受信部１０３により構成される。

受信部１０１は、図１の生成装置１２からアップロードされた６本の符号化ストリーム、および、補助情報を受信し、ストレージ１０２に供給する。

ストレージ１０２は、受信部１０１から供給される６本の符号化ストリーム、および、補助情報を記憶する。

送受信部１０３は、再生装置１５からの要求に応じて、ストレージ１０２に記憶されている補助情報を読み出し、ネットワーク１４を介して再生装置１５に送信する。

また、送受信部１０３は、再生装置１５からの要求に応じて、ストレージ１０２に記憶されている６本の符号化ストリームのうちの所定の１本の符号化ストリームを読み出し、ネットワーク１４を介して再生装置１５に送信する。送受信部１０３が再生装置１５に送信する１本の符号化ストリームは、再生装置１５からの要求に応じて適宜変更される。

なお、送信する符号化ストリームの変更は、シンクポイントで行われる。従って、送信する符号化ストリームの変更は、数フレームから数十フレーム単位で行われる。また、上述したように、６本の符号化ストリームの間でシンクポイントは同一である。従って、送受信部１０３は、送信する符号化ストリームをシンクポイントで切り替えることにより、再生装置１５において、再生する撮影画像の切り替えを容易に行うことができる。

再生装置１５は、カメラ１５Ａ、送受信部１２１、デコーダ１２２、マッピング処理部１２３、回転計算部１２４、受け取り部１２５、視線検出部１２６、ストリーム判定部１２７、および、描画部１２８により構成される。

再生装置１５の送受信部１２１(受け取り部)は、補助情報を、ネットワーク１４を介して配信サーバ１３に要求し、その要求に応じて配信サーバ１３の送受信部１０３から送信されてくる補助情報を受け取る。送受信部１２１は、取得した補助情報をストリーム判定部１２７に供給する。

また、送受信部１２１には、配信サーバ１３から取得可能な６本の符号化ストリームのうち、どの１本の符号化ストリームを取得するかを示すストリーム選択情報が、ストリーム判定部１２７から供給される。

送受信部１２１は、ストリーム選択情報に基づいて決定した１本の符号化ストリームを、ネットワーク１４を介して配信サーバ１３に要求し、その要求に応じて配信サーバ１３の送受信部１０３から送信されてくる１本の符号化ストリームを受け取る。送受信部１２１は、取得した１本の符号化ストリームをデコーダ１２２に供給する。

デコーダ１２２（復号部）は、送受信部１２１から供給される符号化ストリームを復号し、所定の方向が高解像度に設定された全天球画像を生成する。生成された全天球画像は、配信サーバ１３から取得可能な６本の符号化ストリームそれぞれの高解像度方向のうち、現時点の視聴者の視線方向に対して最も近い方向の高解像度方向を有する全天球画像となっている。デコーダ１２２は、生成した全天球画像をマッピング処理部１２３に供給する。

マッピング処理部１２３は、デコーダ１２２から供給される全天球画像を、３Ｄモデルとしての単位球の球面上にテクスチャとしてマッピングすることにより、３Ｄモデル画像を生成し、描画部１２８に供給する。

より具体的には、マッピング処理部１２３は、生成装置１２のマッピング処理部２３と同様に、デコーダ１２２から供給される全天球画像を、式（３）のベクトルｑ_１を用いた写像ｆ”でマッピングするマッピング処理を実行する。マッピングにより得られた３Ｄモデル画像は、現時点の視聴者の視線方向に近い所定の方向が高解像度方向に設定された画像となっている。

回転計算部１２４は、送受信部１２１が受信する１本の符号化ストリームの高解像度方向を特定する情報を、ストリーム判定部１２７から取得し、高解像度方向に対応した回転情報を生成して、描画部１２８に供給する。

すなわち、配信サーバ１３から取得する６本の符号化ストリームは、生成装置１２の回転処理部２２によって、３Dモデル座標系における同一（共通）の方向が高解像度方向となるように回転処理された後、マッピング処理が施されている。そのため、回転計算部１２４は、ストリーム判定部１２７から供給される高解像度方向を特定する情報に基づいて、３Dモデル座標系の本来の方向に戻すための回転情報を生成し、描画部１２８に供給する。

受け取り部１２５は、図１のジャイロセンサ１６Ｂの検出結果をヘッドマウントディスプレイ１６から受け取り、視線検出部１２６に供給する。

視線検出部１２６は、受け取り部１２５から供給されるジャイロセンサ１６Ｂの検出結果に基づいて、３Ｄモデル座標系における視聴者の視線方向を決定し、ストリーム判定部１２７に供給する。また、視線検出部１２６は、カメラ１５Ａからマーカ１６Ａの撮影画像を取得し、その撮影画像に基づいて、３Dモデルの座標系における視聴位置を検出する。

また、視線検出部１２６は、３Dモデル座標系における視聴位置と視線方向に基づいて、３Dモデル座標系における視聴者の視野範囲を決定する。視線検出部１２６は、視聴者の視野範囲と視聴位置を、描画部１２８に供給する。

ストリーム判定部１２７には、送受信部１２１から補助情報が供給されるとともに、視線検出部１２６から視聴者の視線方向が供給される。

ストリーム判定部１２７(選択部)は、視聴者の視線方向、および、補助情報に基づいて、配信サーバ１３から取得可能な６本の符号化ストリームのうちの、視聴者の視線方向に最も近い高解像度方向を有する符号化ストリームを決定（選択）する。すなわち、ストリーム判定部１２７は、視聴者の視野範囲に透視投影される画像の正面が高解像度となるような、１本の符号化ストリームを決定する。

ストリーム判定部１２７は、選択した符号化ストリームを示すストリーム選択情報を送受信部１２１に供給する。

また、ストリーム判定部１２７は、選択した符号化ストリームの高解像度方向を特定する情報を回転計算部１２４に供給する。具体的には、ストリーム判定部１２７は、選択した符号化ストリームに対応する補助情報の方位角θ、仰角φ、及び、回転角ψを、回転計算部１２４に供給する。回転計算部１２４は、ストリーム判定部１２７から供給される高解像度方向を特定する情報に基づいて、回転情報を生成する。

なお、ストリーム判定部１２７が、ストリーム選択情報を回転計算部１２４にも供給するようにして、回転計算部１２４が、取得したストリーム選択情報から、ストリーム判定部１２７が記憶する図１２のパラメータテーブルを参照して、回転情報を生成するようにしてもよい。

描画部１２８は、マッピング処理部１２３から供給される３Ｄモデル画像を、視線検出部１２６から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。

図１７を参照して、描画部１２８の処理について説明する。

図１７のAは、マッピング処理部１２３から供給される３Ｄモデル画像の概念図であり、図１７のBは、図１７のAの単位球の原点を通る水平断面図である。

図１７に示されるように、マッピング処理部１２３から供給される３Ｄモデル画像は、中心点１４１の単位球の球面１４２上に、写像ｆ”のマッピング処理用の２次元テクスチャ画像が貼り付けられたものとなっている。単位球の中心点１４１は、視聴者の視聴位置（視点）に対応する。

マッピング処理部１２３から供給される３Ｄモデル画像は、単位球の球面１４２の所定の方向、例えば、矢印１４３で示される方向が高解像度方向となっている。この矢印１４３の方向は、２次元テクスチャ画像の画像中心の方向であり、６本の符号化ストリームに対応する６つの３Dモデル画像で共通な方向であるが、視聴者の視線方向とは無関係な方向である。

描画部１２８は、この３Ｄモデル画像を、回転計算部１２４から供給される回転情報に従って、回転させる。図１７の例では、矢印１４３で示される方向の２次元テクスチャ画像が矢印１４４で示される方向に回転（移動）され、２次元テクスチャ画像の高解像度部分が、視聴者の視線方向１４５に近い方向となる。

すなわち、描画部１２８は、マッピング処理部１２３から供給される３Ｄモデル画像の高解像度部分が、図３の矢印dir1乃至dir6の本来の方向となるように、回転させる。ストリーム判定部１２７により選択された１本の符号化ストリームの高解像方向（矢印１４４で示される方向）は、６個の符号化ストリームの解像度方向に対応する矢印dir1乃至dir6のなかで、視聴者の視線方向１４５に対して一番近い方向となっている。

次に、描画部１２８は、視線検出部１２６から供給される視聴者の視野範囲と視聴位置に基づいて、回転後の３Ｄモデル画像を、視聴者の視野範囲１４６に透視投影する。これにより、視聴位置である中心点１４１から視聴者の視野範囲１４６を通して見える、単位球にマッピングされた画像が、表示画像として生成される。生成された表示画像は、ヘッドマウントディスプレイ１６に供給される。

（再生装置の処理の説明）
図１８は、図１６の再生装置１５による再生処理を説明するフローチャートである。この再生処理は、例えば、再生装置１５において電源オンや処理開始操作が検出されたとき開始される。

初めに、ステップＳ３１において、送受信部１２１は、配信サーバ１３に補助情報を要求し、その要求に応じて配信サーバ１３の送受信部１０３から送信されてくる補助情報を受け取る。送受信部１２１は、取得した補助情報をストリーム判定部１２７に供給する。

ステップＳ３２において、受け取り部１２５は、図１のジャイロセンサ１６Ｂの検出結果をヘッドマウントディスプレイ１６から受け取り、視線検出部１２６に供給する。

ステップＳ３３において、視線検出部１２６は、受け取り部１２５から供給されるジャイロセンサ１６Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定し、ストリーム判定部１２７に供給する。

ステップＳ３４において、視線検出部１２６は、３Ｄモデルの座標系における視聴者の視聴位置と視野範囲を決定し、描画部１２８に供給する。より具体的には、視線検出部１２６は、カメラ１５Ａからマーカ１６Ａの撮影画像を取得し、その撮影画像に基づいて３Ｄモデルの座標系における視聴位置を検出する。そして、視線検出部１２６は、検出した視聴位置と視線方向に基づいて、３Dモデル座標系における視聴者の視野範囲を決定する。

ステップＳ３５において、ストリーム判定部１２７は、視聴者の視線方向、および、補助情報に基づいて、配信サーバ１３から取得可能な６本の符号化ストリームのなかから、１本の符号化ストリームを決定（選択）する。換言すれば、ストリーム判定部１２７は、６本の符号化ストリームのなかから、視聴者の視線方向に最も近い高解像度方向を有する符号化ストリームを決定（選択）する。そして、ストリーム判定部１２７は、選択した符号化ストリームを示すストリーム選択情報を送受信部１２１に供給する。

ステップＳ３６において、ストリーム判定部１２７は、選択した符号化ストリームの高解像度方向を特定する情報を回転計算部１２４に供給する。

ステップＳ３７において、回転計算部１２４は、ストリーム判定部１２７から供給される高解像度方向を特定する情報に基づいて、回転情報を生成し、描画部１２８に供給する。

ステップＳ３８において、送受信部１２１は、ストリーム判定部１２７から供給されたストリーム選択情報に対応する１本の符号化ストリームを、ネットワーク１４を介して配信サーバ１３に要求し、その要求に応じて配信サーバ１３の送受信部１０３から送信されてくる１本の符号化ストリームを受け取る。送受信部１２１は、取得した１本の符号化ストリームをデコーダ１２２に供給する。

ステップＳ３９において、デコーダ１２２は、送受信部１２１から供給された符号化ストリームを復号し、所定の方向が高解像度に設定された全天球画像を生成し、マッピング処理部１２３に供給する。

ステップＳ３６およびＳ３７の処理と、ステップＳ３８および３９の処理の順番は逆でもよい。また、ステップＳ３６およびＳ３７の処理と、ステップＳ３８および３９の処理は、並行して実行することができる。

ステップＳ４０において、マッピング処理部１２３は、デコーダ１２２から供給される全天球画像を、３Ｄモデルとしての単位球にテクスチャとしてマッピングすることにより、単位球の球面上に２次元テクスチャ画像が貼り付けられた３Ｄモデル画像を生成し、描画部１２８に供給する。

具体的には、マッピング処理部１２３は、式（３）のベクトルｑ_１を用いた写像ｆ”のマッピング処理を実行し、デコーダ１２２から供給される全天球画像を単位球にマッピングする。

ステップＳ４１において、描画部１２８は、マッピング処理部１２３から供給された３Ｄモデル画像を、回転計算部１２４から供給された回転情報に従って回転させる。

ステップＳ４２において、描画部１２８は、視線検出部１２６から供給された視聴者の視野範囲と視聴位置に基づいて、回転後の３Ｄモデル画像を視聴者の視野範囲に透視投影することにより、表示画像を生成する。

ステップＳ４３において、描画部１２８は、表示画像をヘッドマウントディスプレイ１６に送信して表示させる。

ステップＳ４４において、再生装置１５は、再生を終了するかを判定する。例えば、再生装置１５は、視聴者により再生を終了する操作が行われたとき、再生を終了すると判定する。

ステップＳ４４で再生を終了しないと判定された場合、処理はステップＳ３２に戻り、上述したステップＳ３２乃至Ｓ４４の処理が繰り返される。一方、ステップＳ４４で再生を終了すると判定された場合、再生処理が終了される。

（第１の実施の形態の変形例）
図１９乃至図２１を参照して、上述した第１の実施の形態の変形例について説明する。

上述した第１の実施の形態では、再生装置１５が、写像ｆ”のマッピング処理を実行した全天球画像を配信サーバ１３から取得して、３Ｄモデルとしての単位球にテクスチャとしてマッピングし、単位球の中心位置を視聴位置として、視聴者が視線方向を見たときの表示画像を生成した。

この写像ｆ”のマッピング処理に対応する、式（３）のベクトルｑ_１を求める式は、ベクトルｐに対してベクトルｓ_１（負のベクトルｓ_１）を加算する単なるベクトル加算である。このベクトルｓ_１の加算は、再生側において、ベクトルｐの単位球の３Dモデルの視聴位置を移動する操作と同値となる。

すなわち、上述した再生処理は、再生装置１５が、図１９のAに示されるように、写像ｆ”のマッピング処理用の全天球画像（２次元テクスチャ画像）６１を、３Dモデルとしての単位球の球面１４２上に写像ｆ”のマッピング処理により貼り付け、視聴者が単位球の中心点１４１から見る画像を表示画像として生成する処理である。

これに対して、図１９のBに示されるように、再生装置１５が、写像ｆ”のマッピング処理用の全天球画像（２次元テクスチャ画像）６１を、３Dモデルとしての単位球の球面１４２上に写像ｆ’のマッピング処理により貼り付け、視聴者が、単位球の中心点１４１を所定量オフセットさせた位置１４１’（以下、オフセット視聴位置１４１’と称する。）から見る画像を表示画像として生成しても、同じ表示画像を生成することができる。

図２０は、図１９のBで示した再生処理（以下、視点移動による再生処理という。）における、図１７に対応する再生時の３Dモデルと視点の関係を示している。

単位球の中心点１４１からオフセット視聴位置１４１’までのオフセット量が、式（３）のベクトルｓ_１に相当し、また、図１２のパラメータテーブルの偏心率ｋに相当する。

再生装置１５が、図１９のBを参照して説明した視点移動による再生処理を実行する場合、回転計算部１２４は、ストリーム判定部１２７から取得した高解像度方向を特定する情報に基づく回転情報に加えて、パラメータテーブルの偏心率ｋに基づいてオフセット量を計算し、移動情報として、描画部１２８に供給する。

マッピング処理部１２３は、デコーダ１２２から供給される全天球画像を、式（２）のベクトルｐを用いた写像ｆ’のマッピング処理を実行し、その結果得られる３Dモデル画像を、描画部１２８に供給する。マッピングされた３Ｄモデル画像は、現時点の視聴者の視線方向に近い所定の方向が高解像度方向に設定された画像となっている。

描画部１２８は、マッピング処理部１２３から供給される３Ｄモデル画像を、回転計算部１２４から供給された回転情報に従って回転させ、かつ、視聴位置を、移動情報に従って単位球の中心からオフセットさせる。

そして、描画部１２８は、回転後の３Ｄモデル画像を、オフセット移動後の視聴位置から、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。

図２１のAは、上述した視点移動による再生処理で描画した場合の、単位球の中心点１４１、オフセット視聴位置１４１’、及び、３Dモデルとしての単位球の球面１４２の位置関係を、図１２のID１乃至ID６に対応する６本の符号化ストリームについて示した図である。

図２１のAでは、ID１乃至ID６の６本の符号化ストリームの単位球の中心点１４１、オフセット視聴位置１４１’、及び、単位球の球面１４２が、それぞれ、中心点１４１_１乃至１４１_６、オフセット視聴位置１４１_１’乃至１４１_６’、及び、単位球の球面１４２_１乃至１４２_６で示されている。

なお、オフセット視聴位置１４１_５’および１４１_６’は、紙面に垂直な方向にあり、図示が省略されている。

図２１のBは、視聴者の視聴位置であるオフセット視聴位置１４１_１’乃至１４１_６’を基準にして単位球の球面１４２_１乃至１４２_６を示した図である。

視聴者の視聴位置であるオフセット視聴位置１４１_１’乃至１４１_６’を基準にすると、平行移動処理が行われるため、単位球の球面１４２_１乃至１４２_６は全てずれた場所に位置する。

第１の実施の形態の基本形である図１９のAの再生処理と比較した、図１９のBで示した視点移動による再生処理のメリットは、２次元テクスチャ画像を３Dモデルとしての単位球へ貼り付ける処理を、６本の符号化ストリームごとに行わなくてもよい点である。

すなわち、単位球の中心点１４１からオフセット視聴位置１４１’までのオフセット量は、式（３）のベクトルｓ_１の長さ、および、図１２のパラメータテーブルの偏心率ｋに相当するが、写像ｆ’のマッピング処理は、式（２）のベクトルｐの計算式から明らかなように、ベクトルｓ_１および偏心率ｋに依存しない。

したがって、写像ｆ’のマッピング処理を実行して得られる３Dモデル画像を、偏心率ｋに相当するオフセット量だけ移動させる処理を行うだけで、６本の符号化ストリームの切替えが可能である。そのため、６本の符号化ストリームの切替えが必要となったとき、配信サーバ１３に新たな符号化ストリームを要求することなく、再生装置１５内だけで、符号化ストリームを切替えることができる。

＜２．生成装置と再生装置のマッピング処理部の写像の向きについて＞
ところで、生成装置１２のマッピング処理部２３に入力される画像は、図２２に示されるように、正距円筒画像などの撮影画像であり、撮影画像上の位置は、視聴位置を基準とする方位角θと仰角φからなる視線方向で決定される。

生成装置１２のマッピング処理部２３が出力する画像は、３Dモデルとしての単位球の球面上に、単位球の中心からオフセット位置ベクトルｓ_１だけずれた位置から見るようにマッピングした２次元テクスチャ画像（偏心球面マッピング画像）であり、２次元テクスチャ画像上の位置は、U軸及びV軸の平面座標系で定義される。

一方、再生装置１５のマッピング処理部１２３に入力される画像は、図２３に示されるように、３Dモデルとしての単位球の球面上に、単位球の中心からオフセット位置ベクトルｓ_１だけずれた位置から見るようにマッピングした２次元テクスチャ画像（偏心球面マッピング画像）であり、２次元テクスチャ画像上の位置は、U軸及びV軸の平面座標系で定義される。

そして、再生装置１５の描画部１２８が出力する画像は、３Ｄモデル画像を視聴者の視野範囲に透視投影した画像であり、視聴位置を基準とする方位角θと仰角φからなる視線方向で決定される。

従って、生成装置１２のマッピング処理部２３と、再生装置１５のマッピング処理部１２３とで、入出力の座標系は逆となっており、基本的には逆方向の処理であるにもかかわらず、生成装置１２のマッピング処理部２３と、再生装置１５のマッピング処理部１２３は、いずれも、写像ｆ”のマッピング処理を実行している。このように、生成装置１２のマッピング処理部２３と、再生装置１５のマッピング処理部１２３が、逆写像ｆ”^−１を使わずに処理できる理由について説明する。

生成装置１２のマッピング処理部２３は、出力する２次元テクスチャ画像の（ｕ，ｖ）座標をループさせ、２次元テクスチャ画像の１画素１画素について、入力された撮影画像のどの位置に相当するかを計算するバックワードマッピング（backward mapping）を行う。２次元の画像処理では、出力の画素値を１つずつ計算する処理が通常の処理である。

これに対して、再生装置１５のマッピング処理部１２３は、入力された２次元テクスチャ画像の（ｕ，ｖ）座標をループさせ、２次元テクスチャ画像の１画素１画素について、（ｕ，ｖ）座標と３Ｄモデルの３次元座標位置(x,y,z)の情報に従って、３Ｄモデルの頂点を配置するフォワードマッピング（forward mapping）を行う。３次元ＣＧ処理では、モデルの頂点を３次元空間上に配置していく処理がよく行われ、フォワード処理で計算することができる。

従って、生成装置１２側は、順方向処理をバックワードマッピングで処理し、再生装置１５側は、逆方向処理をフォワードマッピングで処理するため、使っている写像が一致する。これにより、写像ｆ”だけを使って実装することができる。

＜３．第２の実施の形態＞
（第２の実施の形態の構成例）
次に、本開示を適用した配信システムの第２の実施の形態について説明する。

なお、第２の実施の形態については、上述した第１の実施の形態と異なる部分についてのみ説明する。

第２の実施の形態に係る配信システム１０の生成装置１２は、マッピング処理部２３の一部が、上述した第１の実施の形態と異なる。そのため、生成装置１２については、マッピング処理部２３についてのみ説明する。

図２４は、第２の実施の形態に係るマッピング処理部２３の構成例を示すブロック図である。

図２４のマッピング処理部２３は、全天球マッピング座標生成部４１、ベクトル正規化部４２、および、マッピング補正部１６１により構成される。したがって、図４に示した第１の実施の形態に係るマッピング処理部２３と比較すると、マッピング補正部１６１のみが異なり、全天球マッピング座標生成部４１、および、ベクトル正規化部４２については、第１の実施の形態と同様である。

換言すれば、図２５に示されるように、全天球マッピング座標生成部４１、ベクトル正規化部４２、および、マッピング補正部１６１を合わせて行われる写像を写像ｇと定義すると、全天球マッピング座標生成部４１単独で行われる写像ｆ、及び、全天球マッピング座標生成部４１とベクトル正規化部４２を合わせて行われる写像ｆ’については、第１の実施の形態と同様であり、マッピング補正部１６１を含めた写像ｇが、第１の実施の形態における写像ｆ”と異なる。

図２６のAは、全天球マッピング座標生成部４１単独で行われる写像ｆに対応するベクトルｄを示している。

図２６のBは、全天球マッピング座標生成部４１とベクトル正規化部４２を合わせて行われる写像ｆ’に対応するベクトルｐを示している。

図２６のCは、全天球マッピング座標生成部４１、ベクトル正規化部４２、および、マッピング補正部１６１を合わせて行われる写像ｇに対応するベクトルｑ_２を示している。

第２の実施の形態におけるオフセット位置ベクトルをベクトルｓ_２とすると、写像ｇに対応するベクトルｑ_２は、以下の式（４）で表される。

ベクトルｑ_２は、オフセット位置ベクトルｓ_２からベクトルｐの方向に直線を伸ばした直線と単位球面との交点へ、単位球の中心から向かうベクトルである。

ここで、ベクトルｑ_２は、単位球の球面上の点であるため、式（５）の条件を満たす。

また、ベクトルｐの方向と同一方向に伸ばした直線と単位球面との交点であるため、パラメータｔは、以下を満たす。
ｔ＞０ ・・・・・・・・（６）

したがって、式（４）のベクトルｑ_２は、正の定数倍したベクトルｐに、オフセット位置ベクトルｓ_２を加算することにより得られる。

式（５）に式（４）を代入することにより、式（７）となり、

式（８）のｔに関する２次方程式が得られる。

式（８）のｔに関する２次方程式におけるｔ^２の係数、ｔの係数、及び、定数項を、

と置くと、２次方程式の解の公式から、以下のように、ｔが求まる。

ｔが求まれば、式（４）によりベクトルｑ_２が求まるので、ベクトルｑ_２を用いた写像ｇのマッピング処理を実行することができる。

図２７は、全天球マッピング座標生成部４１による全天球画像処理、ベクトル正規化部４２による正規化処理、および、マッピング補正部１６１によるマッピング補正処理が一体となった写像ｇのマッピング処理による２次元テクスチャ画像と、単位球の３Dモデルとの対応関係を示す図である。

図２７は、第１の実施の形態における図１１に対応する図であるが、式（３）のベクトルｑ_１と式（４）のベクトルｑ_２との違いにより、２次元テクスチャ画像の歪み具合が図１１とは少し異なる。

（生成装置の処理の説明）
第２の実施の形態における生成装置１２の生成処理は、第１の実施の形態において、図１５のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。

ただし、第２の実施の形態の生成処理では、ステップＳ１４において、式（３）のベクトルｑ_１を用いて写像ｆ”のマッピング処理を実行する代わりに、式（４）のベクトルｑ_２を用いて写像ｇのマッピング処理を実行する処理が行われる。

（再生装置の説明）
第２の実施の形態に係る配信システム１０の再生装置１５について説明する。

第２の実施の形態に係る配信システム１０の再生装置１５も、マッピング処理部１２３の一部が、上述した第１の実施の形態と異なる。

第１の実施の形態におけるマッピング処理部１２３が、第１の実施の形態における生成装置１２のマッピング処理部２３と同様の構成を有していたのと同様に、第２の実施の形態に係るマッピング処理部１２３は、第２の実施の形態における生成装置１２のマッピング処理部２３と同様の構成を有する。

すなわち、第２の実施の形態に係るマッピング処理部１２３は、図２４で示したマッピング処理部２３と同一の構成を有し、式（４）のベクトルｑ_２を用いた写像ｇのマッピング処理を実行する。

（再生装置の処理の説明）
第２の実施の形態における再生装置１５の再生処理は、第１の実施の形態において、図１８のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。

ただし、第２の実施の形態の再生処理では、ステップＳ４０において、式（３）のベクトルｑ_１を用いて写像ｆ”のマッピング処理を実行する代わりに、式（４）のベクトルｑ_２を用いて写像ｇのマッピング処理を実行する処理が行われる。

なお、第２の実施の形態で採用する式（４）のベクトルｑ_２は、単なる固定ベクトルの加算ではないため、第１の実施の形態において変形例として説明した視点移動による再生処理は適用できない。

＜４．偏心率ｋと解像度向上率との関係＞
第１及び第２の実施の形態それぞれにおける偏心率ｋと解像度向上率との関係について説明する。

図２８は、第１の実施の形態における偏心率ｋと解像度向上率との関係を説明する図である。

第１の実施の形態において、最も高解像度になる点は、ベクトルｓ_１と逆方向の球面から最も遠い点となり、距離は（１＋ｋ）となるため、三角形の相似関係から、解像度向上率をμとすると、解像度向上率μはμ＝（１＋ｋ）となる。偏心率ｋの取り得る値は、０≦ｋ＜１であるので、解像度向上率μの取り得る値は１≦ｋ＜２である。

図２９は、第２の実施の形態における偏心率ｋと解像度向上率との関係を説明する図である。

第２の実施の形態において、最も高解像度になる点は、ベクトルｓ_２と同方向の球面に最も近い点となり、距離は（１−ｋ）となるため、解像度向上率をμとすると、解像度向上率μは式（１０）で表される。偏心率ｋの取り得る値は、０≦ｋ＜１であるので、解像度向上率μは１から無限大まで取り得る。

図３０は、第１の実施の形態における偏心率ｋを、ｋ＝０．５、０．７５、および０．９としたときの２次元テクスチャ画像の例を示している。

偏心率ｋを、ｋ＝０．５から０．９に変化させるに従って、解像度は上がるが、２倍よりは高くならない。

図３１は、第２の実施の形態における偏心率ｋを、ｋ＝０．５、０．７５、および０．９としたときの２次元テクスチャ画像の例を示している。

偏心率ｋを、ｋ＝０．５から０．９に変化させるに従って、解像度は極端に大きくなっていく。

＜５．第１の実施の形態と第２の実施の形態の違い＞
図３２乃至図３４を参照して、第１の実施の形態と第２の実施の形態のマッピング処理の違いを説明する。

図３２は、第１の実施の形態におけるマッピング処理の概念図である。

マッピング処理部２３は、全天球マッピング座標生成部４１が発生させたベクトルを、単位球の球面上に配置されるように正規化した後、オフセット位置ベクトルｓ_１を加算するマッピング補正を行う。２次元テクスチャ画像が貼り付けられた単位球の３Ｄモデルを、オフセット位置ベクトルｓ_１だけずれた視点から見る操作で再生が可能となる。正面となる右方向で密度が最も高くなり、左方向で密度が最も低くなる。

図３３は、第２の実施の形態におけるマッピング処理の概念図である。

マッピング処理部２３は、単位球の中心からオフセット位置ベクトルｓ_２だけずれた位置から、全天球マッピング座標生成部４１が発生させたベクトルの延長直線と、球面が交わる位置を、新しいマッピング座標とする計算で、マッピング補正を行う。２次元テクスチャ画像が貼り付けられた単位球の３Ｄモデルを、単位球の中心から見る操作で再生が可能となる。正面となる右方向で密度が最も高くなり、左方向で密度が最も低くなる。

第１の実施の形態におけるマッピング処理は、図３４のＡに示されるように、マッピング補正の有無で、球面上の画素位置（マッピング位置）は変わらず、見る位置が変化する。球面上の画素位置は等間隔である。正面となる右方向で密度が最も高くなり、左方向で密度が最も低くなる。

これに対して、第２の実施の形態におけるマッピング処理は、図３４のＢに示されるように、マッピング補正の有無で、見る位置は変わらず、球面上の画素位置（マッピング位置）が変化する。球面上の画素位置は等間隔ではない。正面となる右方向で密度が最も高くなり、左方向で密度が最も低くなる。

図３５は、３Ｄモデルとして、単位球ではなく、キューブモデルを採用し、本技術と同様に、２次元テクスチャ画像が貼り付けられた立方体の３Ｄモデルを、オフセット位置ベクトルｓ_１だけずれた視点から見る操作で、方向によって解像度に変化を付けた例を示している。

３Ｄモデルとして、キューブモデルを採用した場合、図３５に示されるように、キューブモデル自体のもつ歪みにより、正面方向が、画素密度の最も高い方向とならない。これに対して、配信システム１０によれば、単位球の３Ｄモデルにマッピングすることにより、正面方向を常に画素密度の最も高い方向とすることができる。

＜６．第１の実施の形態と第２の実施の形態の組み合わせ＞
第１の実施の形態と第２の実施の形態のマッピング処理は、上述したようにそれぞれ独立して実行してもよいし、両方のマッピング処理を組み合わせて実行することも可能である。第１の実施の形態と第２の実施の形態の両方のマッピング処理を実行する構成を第３の実施の形態と呼ぶことにする。

図３６のAは、図７のCと同様の、第１の実施の形態における写像ｆ”に対応するベクトルｑ_１を示している。

図３６のBは、図２６のCと同様の、第２の実施の形態における写像ｇに対応するベクトルｑ_２を示している。

図３６のCは、第３の実施の形態における写像ｈに対応するベクトルｑ_３を示している。

ベクトルｑ_３は、第１の実施の形態における式（３）のベクトルｐを、第２の実施の形態における式（４）のベクトルｑ_２に置き換えた式（１１）で表される。

式（４）のベクトルｑ_２は、式（５）で示した通り正規化されているため、式（２）に相当する正規化処理を行う必要はない。

この式（１１）のベクトルｑ_２を、式（４）を使って展開すると、式（１２）となる。

式（１２）におけるｔは、式（４）のｔと同じ値で、式（９）の２次方程式から求められる。ｔが求まれば、式（１２）によりベクトルｑ_３が求まるので、ベクトルｑ_３を用いた写像ｈのマッピング処理を実行することができる。

図３７は、第３の実施の形態におけるマッピング処理の概念図である。

マッピング処理部２３は、第２の実施の形態と同じように、単位球の中心からオフセット位置ベクトルｓ_２だけずれた位置から、全天球マッピング座標生成部４１が発生させたベクトルの延長直線と、球面が交わる位置を、新しいマッピング座標とする計算で、マッピング補正を行う。そして、２次元テクスチャ画像が貼り付けられた単位球の３Ｄモデルを、第１の実施の形態と同じように、オフセット位置ベクトルｓ_１だけずれた視点から見る操作で再生が可能となる。

＜７．まとめ＞
本開示の配信システム１０によれば、生成装置１２で生成され、配信サーバ１３から伝送される１本の符号化ストリームの画像は、上下左右全方位の360度を見回しに対応した全方向の画像であり、かつ、視聴者の視線方向に対応する方向（正面方向）が高解像度に設定された画像である。これにより、視野周辺部や急な振り向き時に描画可能な画像を確保しつつ、正面方向の画質を向上させた画像を視聴者に提示することができる。全方向で解像度（画素密度）が均一な全天球画像を配信する配信システムと比べ、同じ帯域で視聴方向側が高画質な画像を視聴者に提示することができる。

正面方向に対応する所定の方向が高解像度に設定された全天球画像を生成する生成装置１２では、全方向で解像度が均一な全天球画像を配信する場合の全天球マッピング座標生成部４１に加えて、ベクトル正規化部４２、および、マッピング補正部４３が新たに設けられる。

ベクトル正規化部４２は、全天球マッピング座標生成部４１で採用した所定の３Dモデル（本実施の形態では、正八面体モデル）に対応するベクトルｄを、単位球の３Dモデルのベクトルｐに変換（正規化）する。

マッピング補正部４３は、ベクトル正規化部４２によって正規化されたベクトルｐに所定のオフセット位置ベクトルｓを加算する演算により、単位球の３Dモデルの補正を行う。

一般の全天球用マッピングには、キューブマッピングのように中心からの距離が一定でない３Ｄモデルで定義されるものもあり、３Ｄモデルの形状に依存せずに一定の解像度補正を行うことが難しかった。

生成装置１２では、全天球マッピング座標生成部４１で採用される所定の３Dモデルをベクトル正規化部４２で単位球の３Dモデルに一旦変換するので、全天球用マッピングとして任意の３Dモデルに対応することができる。すなわち、どのような全天球用マッピングに対しても、特定の方向が高解像度となるような全天球画像を生成することができる。また、常に同じ単位球上での処理となるので、マッピング補正部４３による補正の効果が一定となる。

したがって、配信システム１０によれば、任意のマッピング手法に適用可能で、視聴方向を高解像度に設定したマッピングを提供することができる。

マッピング補正部４３によって加算されるオフセット位置ベクトルｓの長さに相当する偏心率ｋによって、正面方向の解像度向上率を無段階に設定することができ、再生側装置や撮影条件等に応じて自由に設定が可能となる。

また、偏心率ｋを所定の値（０）に設定すると、補正処理が行われない状態、即ち、全方向で解像度が均一な全天球画像を配信するシステムと同じになり、全方向で解像度が均一な全天球画像を配信する配信システムとの互換性を有することができる。

再生装置１５においても、生成装置１２のマッピング処理部２３と同様の構成を有するマッピング処理部１２３を備えるので、上記と同様の作用効果を有する。

第１の実施の形態では、マッピング補正されたベクトルｑ_１を求める式が、ベクトルｐに対する単なるベクトル加算で表現される特性から、正面方向に対応する符号化ストリームの切替えが発生したとき、偏心率ｋに相当するオフセット量だけ移動させる処理を行う再生装置１５内の処理だけで対応することも可能である。

第２の実施の形態では、高解像度方向の解像度向上率μを無限大まで設定可能である。

＜８．変形例＞
上述した第１乃至第３の実施の形態に共通に適用できる変形例について説明する。

（符号化ストリームの他の第１の例）
上述した第１乃至第３の実施の形態では、配信サーバ１３に保存される符号化ストリームの本数が６本である場合について説明したが、符号化ストリームの本数は、６本に限定されない。例えば、１２本や２４本など、６本より多くの高解像度方向に対応する符号化ストリームを配信サーバ１３にアップロードし、視聴者の視線方向に対して、より細かく符号化ストリームを切り替えるようにしてもよい。

逆に、６本より少ない高解像度方向に対応する符号化ストリームを配信サーバ１３にアップロードする構成も取り得る。

例えば、全天球画像がコンサート会場を撮影した撮影画像から生成された全天球画像であるような場合、視聴者にとって重要であると想定されるステージ方向とその近傍のみに対して高解像度方向を有する３本の符号化ストリームを配信サーバ１３に用意し、その他の方向（例えば、ステージ方向と反対方向）が視聴者の視線方向となった場合には、全方向に均等な画素密度を有する１本の符号化ストリームを選択する構成とすることができる。

この場合、テーブル生成部２６は、図３８に示されるパラメータテーブルを、補助情報として生成する。

ID１乃至ID３に対応する３本の符号化ストリームは、所定の方向が高解像度方向に設定された符号化ストリームであり、ID４に対応する１本の符号化ストリームは、視聴者の視線方向がID１乃至ID３の符号化ストリームに対応する方向以外になったときに選択される、全方向に均等な画素密度を有する全天球画像の符号化ストリームである。

（符号化ストリームの他の第２の例）
上述した第１乃至第３の実施の形態では、配信サーバ１３に保存される符号化ストリームの偏心率ｋが０．５の１種類のみ保存される例について説明したが、複数種類の偏心率ｋごとに、複数本の符号化ストリームを保存してもよい。例えば、ｋ＝０．２，０．５，０．７の３種類の偏心率ｋについて、上述した６本の符号化ストリームを生成、保存してもよい。この場合、例えば、再生装置１５は、ヘッドマウントディスプレイ１６の視野角に応じて適切な偏心率ｋの符号化ストリームを選択し、配信サーバ１３に要求することができる。

（符号化ストリームの他の第３の例）
上述した実施の形態において、符号化ストリームとして伝送する全天球画像は、視聴者の右目と左目に同一の画像を表示する２D画像用の全天球画像であったが、左目用の全天球画像と右目用の全天球画像を合成（パッキング）した３D画像用の全天球画像であってもよい。

具体的には、図３９のAに示すように、全天球画像は、例えば、左目用の全天球画像４２１と右目用の全天球画像４２２が横方向（水平方向）にパッキングされたパッキング画像４２０であってもよい。

また、図３９のBに示すように、全天球画像は、例えば、左目用の全天球画像４２１と右目用の全天球画像４２２が縦方向（垂直方向）にパッキングされたパッキング画像４４０であってもよい。

左目用の全天球画像４２１は、球にマッピングされた左目用の視点の全天球画像を球の中心を焦点として、左目の視野範囲に透視投影することにより得られる画像である。また、右目用全天球画像４２２は、球にマッピングされた右目用の視点の全天球画像を球の中心を焦点として、右目の視野範囲に透視投影することにより得られる画像である。

全天球画像がパッキング画像である場合、図１６のマッピング処理部１２３は、デコーダ１２２による復号の結果得られるパッキング画像を左目用の全天球画像と右目用の全天球画像に分離する。そして、マッピング処理部１２３は、左目用の視点および右目用の視点のそれぞれについて３Ｄモデル画像を生成し、描画部１２８は、左目用の視点および右目用の視点のそれぞれについて、３Ｄモデル画像を用いて表示画像を生成する。

これにより、ヘッドマウントディスプレイ１６は、３Ｄ表示可能である場合、左目用の視点および右目用の視点の表示画像を、それぞれ、左目用の画像、右目用の画像として表示することにより、表示画像を３Ｄ表示することができる。

（ライブ配信の例）
上述した各実施の形態では、生成装置１２が生成した複数本の符号化ストリームおよび補助情報が、一度、配信サーバ１３のストレージ１０２に記憶され、再生装置１５からの要求に応じて、配信サーバ１３が、符号化ストリームおよび補助情報を再生装置１５に送信するようにした。

しかしながら、生成装置１２によって生成された１本以上の符号化ストリームおよび補助情報が、配信サーバ１３のストレージ１０２に記憶されることなく、リアルタイム配信(ライブ配信)されるようにしてもよい。この場合、配信サーバ１３の受信部１０１で受信されたデータが、即座に送受信部１０３から再生装置１５に送信される。

（その他）
さらに、上述した実施の形態では、撮影画像は動画像であるものとしたが、静止画像であってもよい。また、上述した実施の形態では、全天球画像を用いた例で説明したが、本開示に係る技術は、全天球画像の他、全天周画像、全方位画像、360度パノラマ画像などを含む、360度（全方位）を撮影した360度画像全般に適用することができる。

配信システム１０は、ヘッドマウントディスプレイ１６の代わりに、設置型ディスプレイを有するようにしてもよい。この場合、再生装置１５はカメラ１５Ａを有さず、視聴位置および視線方向は、視聴者が、再生装置１５または設置型ディスプレイと接続するコントローラを操作することにより入力される。

また、配信システム１０は、再生装置１５とヘッドマウントディスプレイ１６の代わりに、モバイル端末を有するようにしてもよい。この場合、モバイル端末は、カメラ１５Ａ以外の再生装置１５の処理を行い、モバイル端末が有するディスプレイに表示画像を表示させる。視聴者は、視聴位置および視線方向をモバイル端末の姿勢を変化させることにより入力し、モバイル端末は、内蔵するジャイロセンサにモバイル端末の姿勢を検出させることにより、入力された視聴位置および視線方向を取得する。

＜９．コンピュータ構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図４０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。

入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。

以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜１０．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図４１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図４１に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図４１では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図４２は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図４２には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図４１に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図４１の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図４１に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、上述した配信システム１０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００に、上述した配信システム１０を適用する場合、例えば、配信システム１０の撮影装置１１は、撮像部７４１０の少なくとも一部に相当する。また、生成装置１２、配信サーバ１３、再生装置１５は一体化され、マイクロコンピュータ７６１０と記憶部７６９０に相当する。ヘッドマウントディスプレイ１６は、表示部７７２０に相当する。なお、配信システム１０を統合制御ユニット７６００に適用する場合、ネットワーク１４、カメラ１５Ａ、マーカ１６Ａ，およびジャイロセンサ１６Ｂは設けられず、視聴者である搭乗者の入力部７８００の操作により視聴者の視線方向および視聴位置が入力される。以上のようにして、配信システム１０を、図４１に示した応用例の統合制御ユニット７６００に適用することにより、全天球画像を用いて生成される視線方向の表示画像の画質を高画質（高解像度）にすることができる。

また、配信システム１０の少なくとも一部の構成要素は、図４１に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、配信システム１０が、図４１に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本開示は以下のような構成も取ることができる。
（１）
360度画像を所定の３Dモデルにマッピングする第１のベクトルを、単位球の３Dモデルの第２のベクトルに変換する正規化部
を備える生成装置。
（２）
変換された前記単位球の３Dモデルの第２のベクトルに、所定のオフセット位置ベクトルを加算する補正部をさらに備える
前記（１）に記載の生成装置。
（３）
前記補正部は、前記第２のベクトルに、負の前記オフセット位置ベクトルを加算する
前記（２）に記載の生成装置。
（４）
前記補正部は、正の定数倍した前記第２のベクトルに、前記オフセット位置ベクトルを加算する
前記（２）に記載の生成装置。
（５）
前記第１のベクトルを生成する生成部をさらに備える
前記（１）乃至（４）のいずれかに記載の生成装置。
（６）
前記360度画像に変換される撮影画像を、所定の方向が画像中心となるように回転する回転処理部をさらに備える
前記（１）乃至（５）のいずれかに記載の生成装置。
（７）
前記360度画像に対して高解像度に設定される方向である高解像度方向が複数あり、
前記正規化部は、高解像度方向の個数に対応する数だけ設けられるように構成される
前記（１）乃至（６）のいずれかに記載の生成装置。
（８）
前記360度画像に対して高解像度に設定される方向である高解像度方向の高解像度向上率を決定する設定部をさらに備える
前記（１）乃至（７）のいずれかに記載の生成装置。
（９）
前記360度画像に対して高解像度に設定される方向である高解像度方向を特定する情報を生成する設定部をさらに備える
前記（１）乃至（８）のいずれかに記載の生成装置。
（１０）
360度画像をマッピングする所定の３Dモデルの第１のベクトルを、単位球の３Dモデルの第２のベクトルに変換する
ステップを含む生成方法。
（１１）
他の装置で生成された360度画像を受け取る受け取り部と、
前記360度画像を所定の３Dモデルにマッピングする第１のベクトルを、単位球の３Dモデルの第２のベクトルに変換する正規化部と
を備える再生装置。
（１２）
変換された前記単位球の３Dモデルの第２のベクトルに、所定のオフセット位置ベクトルを加算する補正部をさらに備える
前記（１１）に記載の再生装置。
（１３）
前記補正部は、前記第２のベクトルに、負の前記オフセット位置ベクトルを加算する
前記（１２）に記載の再生装置。
（１４）
前記補正部は、正数倍した前記第２のベクトルに、前記オフセット位置ベクトルを加算する
前記（１２）に記載の再生装置。
（１５）
前記第１のベクトルを生成する生成部をさらに備える
前記（１１）乃至（１４）のいずれかに記載の再生装置。
（１６）
視聴者の視線方向に応じて、高解像度方向が異なる複数の360度画像のなかから、１つの360度画像を選択する選択部をさらに備え、
前記受け取り部は、前記選択部によって選択された前記360度画像を、前記他の装置がから受け取る
前記（１１）乃至（１５）のいずれかに記載の再生装置。
（１７）
前記360度画像の高解像度方向を特定する情報に基づいて、前記360度画像の回転情報を生成する回転計算部をさらに備える
前記（１１）乃至（１６）のいずれかに記載の再生装置。
（１８）
前記単位球の３Dモデルの第２のベクトルに従って前記360度画像がマッピングされた３Ｄモデル画像を前記回転情報に基づいて回転させ、視聴者の視野範囲に透視投影することにより、表示画像を生成する描画部をさらに備える
前記（１７）に記載の再生装置。
（１９）
前記回転計算部は、前記単位球の中心からのオフセット量を移動情報として計算し、
前記描画部は、前記３Ｄモデル画像を前記回転情報に基づいて回転させ、かつ、視聴位置を前記移動情報に従ってオフセットさせ、オフセット移動後の視聴位置から、視聴者の視野範囲に透視投影することにより、表示画像を生成する
前記（１８）に記載の再生装置。
（２０）
他の装置で生成された360度画像を受け取り、
前記360度画像を所定の３Dモデルにマッピングする第１のベクトルを、単位球の３Dモデルの第２のベクトルに変換する
ステップを含む再生方法。

１０ 配信システム， １１ 撮影装置， １２ 生成装置， １３ 配信サーバ， １５ 再生装置， １６ ヘッドマウントディスプレイ， ２２−１乃至２２−６ 回転処理部， ２３−１乃至２３−６ マッピング処理部， ２４−１乃至２４−６ エンコーダ， ２５ 設定部， ２６ テーブル生成部， ４１ 全天球マッピング座標生成部， ４２ ベクトル正規化部， ４３ マッピング補正部， １２２ デコーダ， １２３ マッピング処理部， １２４ 回転計算部， １２５ 受け取り部， １２６ 視線検出部， １２７ ストリーム判定部， １２８ 描画部， ９００ コンピュータ， ９０１ CPU， ９０２ ROM， ９０３ RAM， ９０６ 入力部， ９０７ 出力部， ９０８ 記憶部， ９０９ 通信部， ９１０ ドライブ

Claims (20)

1. 360度画像を所定の３Dモデルにマッピングする第１のベクトルを、単位球の３Dモデルの第２のベクトルに変換する正規化部
   を備える生成装置。
2. 変換された前記単位球の３Dモデルの第２のベクトルに、所定のオフセット位置ベクトルを加算する補正部をさらに備える
   請求項１に記載の生成装置。
3. 前記補正部は、前記第２のベクトルに、負の前記オフセット位置ベクトルを加算する
   請求項２に記載の生成装置。
4. 前記補正部は、正の定数倍した前記第２のベクトルに、前記オフセット位置ベクトルを加算する
   請求項２に記載の生成装置。
5. 前記第１のベクトルを生成する生成部をさらに備える
   請求項１に記載の生成装置。
6. 前記360度画像に変換される撮影画像を、所定の方向が画像中心となるように回転する回転処理部をさらに備える
   請求項１に記載の生成装置。
7. 前記360度画像に対して高解像度に設定される方向である高解像度方向が複数あり、
   前記正規化部は、高解像度方向の個数に対応する数だけ設けられるように構成される
   請求項１に記載の生成装置。
8. 前記360度画像に対して高解像度に設定される方向である高解像度方向の高解像度向上率を決定する設定部をさらに備える
   請求項１に記載の生成装置。
9. 前記360度画像に対して高解像度に設定される方向である高解像度方向を特定する情報を生成する設定部をさらに備える
   請求項１に記載の生成装置。
10. 360度画像をマッピングする所定の３Dモデルの第１のベクトルを、単位球の３Dモデルの第２のベクトルに変換する
    ステップを含む生成方法。
11. 他の装置で生成された360度画像を受け取る受け取り部と、
    前記360度画像を所定の３Dモデルにマッピングする第１のベクトルを、単位球の３Dモデルの第２のベクトルに変換する正規化部と
    を備える再生装置。
12. 変換された前記単位球の３Dモデルの第２のベクトルに、所定のオフセット位置ベクトルを加算する補正部をさらに備える
    請求項１１に記載の再生装置。
13. 前記補正部は、前記第２のベクトルに、負の前記オフセット位置ベクトルを加算する
    請求項１２に記載の再生装置。
14. 前記補正部は、正数倍した前記第２のベクトルに、前記オフセット位置ベクトルを加算する
    請求項１２に記載の再生装置。
15. 前記第１のベクトルを生成する生成部をさらに備える
    請求項１１に記載の再生装置。
16. 視聴者の視線方向に応じて、高解像度方向が異なる複数の360度画像のなかから、１つの360度画像を選択する選択部をさらに備え、
    前記受け取り部は、前記選択部によって選択された前記360度画像を、前記他の装置がから受け取る
    請求項１１に記載の再生装置。
17. 前記360度画像の高解像度方向を特定する情報に基づいて、前記360度画像の回転情報を生成する回転計算部をさらに備える
    請求項１１に記載の再生装置。
18. 前記単位球の３Dモデルの第２のベクトルに従って前記360度画像がマッピングされた３Ｄモデル画像を前記回転情報に基づいて回転させ、視聴者の視野範囲に透視投影することにより、表示画像を生成する描画部をさらに備える
    請求項１７に記載の再生装置。
19. 前記回転計算部は、前記単位球の中心からのオフセット量を移動情報として計算し、
    前記描画部は、前記３Ｄモデル画像を前記回転情報に基づいて回転させ、かつ、視聴位置を前記移動情報に従ってオフセットさせ、オフセット移動後の視聴位置から、視聴者の視野範囲に透視投影することにより、表示画像を生成する
    請求項１８に記載の再生装置。
20. 他の装置で生成された360度画像を受け取り、
    前記360度画像を所定の３Dモデルにマッピングする第１のベクトルを、単位球の３Dモデルの第２のベクトルに変換する
    ステップを含む再生方法。

Images