JPWO2016140083A1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

本開示は、ユーザの視野範囲の画像を即座に表示させることができるようにする画像処理装置および画像処理方法に関する。エンコーダは、全方向の画像から生成された立方体の複数の面の画像からなる全天球画像を面ごとに高解像度で符号化し、各面に対応する高解像度符号化ストリームを生成する。エンコーダは、全天球画像を低解像度で符号化し、低解像度符号化ストリームを生成する。本開示は、例えば、全天球画像を生成し、ユーザの視野範囲の画像を表示する画像表示システム等に適用することができる。

Description

本開示は、画像処理装置および画像処理方法に関し、特に、ユーザの視野範囲の画像を即座に表示させることができるようにした画像処理装置および画像処理方法に関する。

マルチカメラにより撮影された全方向の撮影画像から、水平方向の周囲360度および垂直方向の周囲180度の画像を２Ｄ画像（平面画像）にマッピングした全天球画像を生成し、符号化して記録する記録装置がある（例えば、特許文献１参照）。

このような記録装置では、全天球画像の生成方法として、正距円筒図法やキューブマッピングなどの３Ｄ画像から２Ｄ画像にマッピングを行う方法が用いられる。全天球画像の生成方法として正距円筒図法が用いられる場合、全天球画像は、撮影画像を球の面にマッピングしたときの球の正距円筒図法による画像である。また、全天球画像の生成方法としてキューブマッピングが用いられる場合、全天球画像は、撮影画像を立方体（キューブ）の面にマッピングしたときの立方体の展開図の画像である。

一方、記録装置により記録された全天球画像の符号化ストリームを復号し、その結果得られる全天球画像を用いてユーザの視野範囲の画像を表示させる再生装置がある。このような再生装置は、全天球画像を球や立方体などの３Ｄモデルの表面上にテクスチャとして貼り付け、その３Ｄモデルの内部の１点から、ユーザの視線ベクトルの方向の３Ｄモデルの表面のテクスチャを見たときのユーザの視野範囲の画像を表示させる。これにより、ユーザの視野範囲の撮影画像を再現する。

この再現方法は、ＣＧ（Computer Graphics）の分野では、環境光モデルと呼ばれる。また、正距円筒図法で生成された画像を球の表面に貼る環境光モデルは、Sphere Modelと呼ばれ、キューブマッピングで生成された画像を立方体の表面に貼る環境光モデルは、Cube Modelと呼ばれる。

ユーザの視野範囲の撮影画像は、全天球画像のうちの、ユーザの視線ベクトルに対応する領域のみを用いて再現することができる。例えば、水平方向の視野角が90度である場合、水平方向については、水平方向の周囲360度の全方向の画像がマッピングされている全天球画像のうちの４分の１しか、ユーザの視野範囲の撮影画像の再現に用いられない。垂直方向についても同様である。

従って、全天球画像全体の符号化ストリームを復号することは無駄が多い。しかしながら、視線ベクトルはユーザによって決められるため、記録装置は、全天球画像のうちの視線ベクトルに対応する領域のみを符号化することはできない。

また、全天球画像が、MPEG2（Moving Picture Experts Group phase 2）やAVC（Advanced Video Coding）/H.264などの一般的な符号化方式で符号化される場合、画面全体の情報を用いて符号化が行われる。従って、全天球画像が１枚の画像として符号化された符号化ストリームから、ユーザの視線ベクトルに対応する領域の符号化ストリームのみを復号することは難しい。

そこで、記録装置が、全天球画像を分割して符号化し、再生装置が、ユーザの視線ベクトルに対応する分割領域の符号化ストリームのみを復号することにより、復号処理量を軽減することが考えられている（例えば、特許文献２および特許文献３）。

特開２００６−１４１７４号公報 特開２００１−２９８６５２号公報 特開２００２−３１２７７８号公報

しかしながら、MPEG2やAVCなどの一般的な符号化方式では、時間方向の相関性を利用して符号化が行われる。従って、GOP(Group of Picture)の先頭、IDRピクチャやRandom Access Pointなどのランダムアクセス可能位置以外で復号対象の符号化ストリームの切り替えを行うことはできない。また、ランダムアクセス可能位置の間隔が長いほど圧縮効率は向上するため、ランダムアクセス可能位置の間隔を十分に短くすることは困難である。

従って、ユーザの視線ベクトルが急激に変化した場合、変化後の視線ベクトルに対応する領域の全天球画像を用いて、ユーザの視野範囲の画像を即座に表示させることはできない。その結果、変化前の視野範囲の画像が表示されたり、変化後の視野範囲の画像のうちの一部が表示されなかったりする。

本開示は、このような状況に鑑みてなされたものであり、ユーザの視野範囲の画像を即座に表示させることができるようにするものである。

本開示の第１の側面の画像処理装置は、全方向の画像から生成されたモデルの複数の面の画像からなる第１の全天球画像を前記面ごとに第１の解像度で符号化し、各面に対応する第１の符号化ストリームを生成する第１の符号化部と、前記全方向の画像から生成された第２の全天球画像を第２の解像度で符号化し、第２の符号化ストリームを生成する第２の符号化部とを備える画像処理装置である。

本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。

本開示の第１の側面においては、全方向の画像から生成されたモデルの複数の面の画像からなる第１の全天球画像が前記面ごとに第１の解像度で符号化されて、各面に対応する第１の符号化ストリームが生成され、前記全方向の画像から生成された第２の全天球画像が第２の解像度で符号化され、第２の符号化ストリームが生成される。

本開示の第２の側面の画像処理装置は、全方向の画像から生成されたモデルの複数の面の画像からなる第１の全天球画像が前記面ごとに分割されて第１の解像度で符号化された第１の符号化ストリームと、前記全方向の画像から生成された第２の全天球画像が第２の解像度で符号化された第２の符号化ストリームとに対して、前記複数の面の対向する面どうしのペアのうちの一方の面に対応する前記第１の符号化ストリームを復号し、その面の前記第１の解像度の前記第１の全天球画像を生成する復号部を備える画像処理装置である。

本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。

本開示の第２の側面においては、全方向の画像から生成されたモデルの複数の面の画像からなる第１の全天球画像が前記面ごとに分割されて第１の解像度で符号化された第１の符号化ストリームと、前記全方向の画像から生成された第２の全天球画像が第２の解像度で符号化された第２の符号化ストリームとに対して、前記複数の面の対向する面どうしのペアのうちの一方の面に対応する前記第１の符号化ストリームが復号されて、その面の前記第１の解像度の前記第１の全天球画像が生成される。

なお、第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、第１および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

第１および第２の側面の画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本開示の第１の側面によれば、全天球画像を符号化することができる。また、本開示の第１の側面によれば、ユーザの視野範囲の画像を即座に表示可能にする符号化ストリームを生成することができる。

本開示の第２の側面によれば、全天球画像の符号化ストリームを復号することができる。また、本開示の第２の側面によれば、ユーザの視野範囲の画像を即座に表示させることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

３Ｄモデルとしての立方体を示す斜視図である。 キューブマッピングにより生成される全天球画像の例を示す図である。 図２の全天球画像を用いて生成されるユーザの視野範囲の画像の例を示す図である。 図２の全天球画像の画素分布を示す図である。 ３Ｄモデルとしての球を示す斜視図である。 正距円筒図法により生成される全天球画像の例を示す図である。 図６の全天球画像を用いて生成されるユーザの視野範囲の画像の例を示す図である。 図６の全天球画像の画素分布を示す図である。 本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。 図９のコンテンツサーバの構成例を示すブロック図である。 図１０のエンコーダの構成例を示すブロック図である。 図１０のコンテンツサーバの符号化処理を説明するフローチャートである。 図９のホームサーバの構成例を示すブロック図である。 図１３のデコーダの構成例を示すブロック図である。 図１３のデコーダの動作タイミングの例を示すタイミングチャートである。 図１３のマッピング処理部により生成される立方体画像を説明する図である。 ユーザの視野範囲の例を示す図である。 図１３のホームサーバの復号処理を説明するフローチャートである。 図１８の面選択処理の詳細を説明するフローチャートである。 新正距円筒図法において画像がマッピングされる３Ｄモデルとしての球を示す図である。 新正距円筒図法により生成される全天球画像を説明する図である。 図２１の全天球画像を用いて生成されるユーザの視野範囲の画像の例を示す図である。 図２１の全天球画像の画素分布を示す図である。 本開示を適用した画像表示システムの第２実施の形態のコンテンツサーバの構成例を示すブロック図である。 図２４のマッピング処理部の構成例を示すブロック図である。 新正距円筒図法において画像がマッピングされる３Ｄモデルとしての球の他の例を示す図である。 新正距円筒図法により生成される全天球画像の他の例を説明する図である。 全天球画像の連続性を説明する図である。 本開示を適用した画像表示システムの第３実施の形態の構成例を示すブロック図である。 本開示の高解像度画像と低解像度画像に対応する全天球画像の生成方法を説明する図である。 第１のパターンにおいてホームサーバによりマッピングされる球の画像を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。

以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
０．本開示の前提（図１乃至図８）
１．第１実施の形態：画像表示システム（図９乃至図１９）
２．第２実施の形態：画像表示システム（図２０乃至図２８）
３．第３実施の形態：画像表示システム（図２９）
４．高解像度画像と低解像度画像に対応する全天球画像の生成方法の説明（図３０および図３１）
５．第４実施の形態：コンピュータ（図３２）

＜本開示の前提＞
（キューブマッピングの説明）
図１は、全天球画像の生成方法としてキューブマッピングが用いられる場合に画像がマッピングされる３Ｄモデルとしての立方体を示す斜視図である。

図１に示すように、全天球画像の生成方法としてキューブマッピングが用いられる場合、画像は立方体１０の６つの面１１乃至１６にマッピングされる。

本明細書では、立方体１０の中心である原点Ｏを通り、面１１および面１２と直交する軸をｘ軸、面１３および面１４と直交する軸をｙ軸、面１５および面１６と直交する軸をｚ軸とする。そして、原点Ｏと面１１乃至１６のそれぞれとの距離をｒとしたときのｘ＝ｒである面１１を、適宜、＋ｘ面１１ともいい、ｘ＝−ｒである面１２を、適宜、−ｘ面１２ともいう。同様に、ｙ＝ｒである面１３、ｙ＝−ｒである面１４、ｚ＝ｒである面１５、ｚ＝−ｒである面１６を、適宜、＋ｙ面１３、−ｙ面１４、＋ｚ面１５、−ｚ面１６ともいう。

＋ｘ面１１と−ｘ面１２、＋ｙ面１３と−ｙ面１４、および＋ｚ面１５、−ｚ面１６は、それぞれ、対向する。

図２は、キューブマッピングにより生成される全天球画像の例を示す図である。

図２に示すように、キューブマッピングにより生成される全天球画像３０は、立方体１０の展開図の画像である。具体的には、全天球画像３０は、中央の左から順に−ｘ面１２の画像３２、＋ｚ面１５の画像３５、＋ｘ面１１の画像３１、−ｚ面１６の画像３６が配置され、画像３５の上に＋ｙ面１３の画像３３が配置され、画像３５の下に−ｙ面１４の画像３４が配置された画像である。

図３は、図２の全天球画像３０を用いて生成されるユーザの視野範囲の画像の例を示す図である。

図３の例では、ユーザの視線ベクトル５０が、原点Ｏから＋ｘ面１１と＋ｚ面１５の接する辺の下部に向かう方向（視線方向）のベクトルである。

この場合、ユーザの視野範囲５１の画像は、＋ｘ面１１の画像３１、−ｙ面１４の画像３４、および＋ｚ面１５の画像３５を用いて生成することができる。即ち、ユーザの視線ベクトル５０に対応する面は、視線ベクトル５０のｘ軸成分とｘ軸座標の正負が同一である＋ｘ面１１、ｙ軸成分とｙ軸座標の正負が同一である−ｙ面１４、およびｚ軸成分とｚ軸座標の正負が同一である＋ｚ面１５である。

なお、本明細書では、全天球画像の対向する面どうしのペアのうちの、ユーザの視野範囲の画像の生成に用いられる可能性がある方の面を、ユーザの視線ベクトルに対応する面という。

図４は、図２の全天球画像３０の画素分布を示す図である。

なお、図４において、点は、画素の中心を表す。

図４のＡに示すように、全天球画像３０の画素の中心は、等間隔で水平方向および垂直方向に並んでいる。また、図４のＢに示すように、全天球画像３０が球６０の表面にマッピングされると、マッピングされた全天球画像３０の各画素の中心の間の距離の差は小さい。即ち、球６０の表面にマッピングされた全天球画像３０の画素密度の差は小さい。従って、全天球画像３０の画質は良い。

（正距円筒図法の説明）
図５は、全天球画像の生成方法として正距円筒図法が用いられる場合に画像がマッピングされる３Ｄモデルとしての球を示す斜視図である。

図５に示すように、全天球画像の生成方法として正距円筒図法が用いられる場合、画像は、球７０の面にマッピングされる。球７０の面は、例えば、同一のサイズおよび形状の８つの面７１乃至７８に分割することができる。

本明細書では、球７０の中心である原点Ｏを通り、面７１および面７２の中心を通る軸をＡ軸、面７３および面７４の中心を通る軸をＢ軸、面７５および面７６の中心を通る軸をＣ軸、面７７および面７８の中心を通る軸をＤ軸とする。そして、原点Ｏと面７１乃至７８のそれぞれとの距離をｒとしたときのＡ＝ｒである面７１を、適宜、＋Ａ面７１ともいい、Ａ＝−ｒである面７２を、適宜、−Ａ面７２ともいう。同様に、Ｂ＝ｒである面７３、Ｂ＝−ｒである面７４、Ｃ＝ｒである面７５、Ｃ＝−ｒである面７６、Ｄ＝ｒである面７７、Ｄ＝−ｒである面７８を、適宜、＋Ｂ面７３、−Ｂ面７４、＋Ｃ面７５、−Ｃ面７６、＋Ｄ面７７、−Ｄ面７８ともいう。

＋Ａ面７１と−Ａ面７２、＋Ｂ面７３と−Ｂ面７４、＋Ｃ面７５と−Ｃ面７６、＋Ｄ面７７と−Ｄ面７８は、それぞれ、対向する。

図６は、正距円筒図法により生成される全天球画像の例を示す図である。

図６に示すように、正距円筒図法により生成される全天球画像９０は、球７０の正距円筒図法による画像である。即ち、全天球画像９０の横座標と縦座標は、球７０が地球儀である場合の経度と緯度に相当する。

具体的には、全天球画像９０は、上の左から順に＋Ａ面７１の画像９１、＋Ｂ面７３の画像９３、＋Ｃ面７５の画像９５、＋Ｄ面７７の画像９７が配置され、下の左から順に−Ｃ面７６の画像９６、−Ｄ面７８の画像９８、−Ａ面７２の画像９２、−Ｂ面７４の画像９４が配置された画像である。

図７は、図６の全天球画像９０を用いて生成されるユーザの視野範囲の画像の例を示す図である。

図７の例では、ユーザの視線ベクトル１１０が、原点Ｏから＋Ａ面７１、＋Ｂ面７３、−Ｃ面７６、および−Ｄ面７８の交点に向かうベクトルである。

この場合、ユーザの視野範囲１１１の画像は、＋Ａ面７１の画像９１、＋Ｂ面７３の画像９３、−Ｃ面７６の画像９６、および−Ｄ面７８の画像９８を用いて生成することができる。即ち、ユーザの視線ベクトル１１０に対応する面は、視線ベクトル１１０のＡ軸成分とＡ軸座標の正負が同一である＋Ａ面７１、Ｂ軸成分とＢ軸座標の正負が同一である＋Ｂ面７３、Ｃ軸成分とＣ軸座標の正負が同一である−Ｃ面７６、およびＤ軸成分とＤ軸座標の正負が同一である−Ｄ面７８である。

図８は、図６の全天球画像９０の画素分布を示す図である。

なお、図８において、点は、画素の中心を表す。

図８のＡに示すように、全天球画像９０の画素の中心は、等間隔で水平方向および垂直方向に並んでいる。また、図８のＢに示すように、全天球画像９０が球７０の表面にマッピングされると、マッピングされた全天球画像９０の画像９１乃至９８の形状は、三角形に近い形状になる。即ち、画像９１，９３，９５、および９７の上部は、球７０の上の極に収縮し、画像９２，９４，９６、および９８の下部は、球７０の下の極に収縮する。従って、極の近辺では、非常に画素密度が高くなる。

一般的に画素密度が高い場合、解像度が高くなり、高周波成分まで被写体を再現することができる。また、符号化時に多くのビットが割り当てられ、画質が向上する。しかしながら、人間は、通常、水平方向を向いているため、水平方向に注目物体が存在することが多い。従って、全天球画像９０において上下の極近辺の被写体は重要ではない場合が多い。

全天球画像の生成方法としては、特に動画像に対して正距円筒図法が広く用いられている。正距円筒図法が広く用いられている理由の１つは、球７０の緯度や経度が、全天球画像９０の長方形のｘｙ座標にそのまま対応するため座標変換が容易である点である。もう１つの理由は、全天球画像９０の形状が長方形であり、その長方形の内部に不連続点がないため、矩形画像を処理対象とする一般的な符号化方式に適している点である。

しかしながら、上述したように、正距円筒図法により生成される全天球画像９０では、球７０の上下の極近辺にマッピングされる重要ではない被写体の画像の解像度が高くなり、その画像の符号化時に多くのビットが割り当てられる。

これに対して、キューブマッピングにより生成される全天球画像３０は、球６０にマッピングされたとき、画素の密度が略均一である。また、ユーザの視線ベクトルに対応する面の数が、正距円筒図法の場合に比べて少ない。さらに、全天球画像３０が分割された画像３１乃至３６は正方形であり、矩形画像を処理対象とする一般的な符号化方式に適している。

しかしながら、全天球画像３０の形状は十字形状であり、視線ベクトルの計算が正距円筒図法に比べて複雑である。また、全天球画像９０を全天球画像３０に変換して符号化する場合、画素ずれによる変換歪みが発生し、全天球画像９０をそのまま符号化する場合に比べて画質が劣化する。

そこで、本技術は、正距円筒図法に準じて全天球画像を生成する場合に、球にマッピングされた全天球画像の画素の密度を略均一にする。

また、上述したように、ユーザの視野範囲の画像は、全天球画像３０（９０）のうちの、ユーザの視線ベクトルに対応する面の画像のみを用いて生成される。従って、全天球画像３０（９０）を面ごとに符号化することにより、ユーザの視線ベクトルに対応する面の画像の符号化ストリームのみを復号可能にし、その結果復号負荷を軽減することが考案されている。

しかしながら、MPEGやAVCなどの一般的な符号化方式では、時間方向の相関性を利用して符号化が行われるので、ランダムアクセス可能位置以外で復号対象の符号化ストリームの切り替えを行うことはできない。従って、ユーザの視線ベクトルが急激に変化した場合、変化後の視線ベクトルに対応する面の画像を用いてユーザの視野範囲の画像を即座に表示させることはできない。

そこで、本技術は、ユーザの視線ベクトルが急激に変化した場合であっても、変化後の視線ベクトルに対応する面の画像を用いてユーザの視野範囲の画像を即座に表示することを可能にする。

＜第１実施の形態＞
（画像表示システムの第１実施の形態の構成例）
図９は、本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。

図９の画像表示システム１３０は、マルチカメラ１３１、コンテンツサーバ１３２、ホームサーバ１３３、変換装置１３４、およびヘッドマウントディスプレイ１３５により構成される。画像表示システム１３０は、マルチカメラ１３１により撮影された撮影画像から全天球画像３０を生成し、全天球画像３０のうちのユーザの視野範囲の画像を表示する。

具体的には、画像表示システム１３０のマルチカメラ１３１は、複数のカメラにより構成される。各カメラは、撮影を行い、全方向の撮影画像をフレーム単位で生成する。マルチカメラ１３１は、全方向の撮影画像をコンテンツサーバ１３２に供給する。

コンテンツサーバ１３２は、キューブマッピングを用いて、マルチカメラ１３１から供給される撮影画像から、全天球画像３０を生成する。コンテンツサーバ１３２は、全天球画像３０を低解像度化する。また、コンテンツサーバ１３２は、全天球画像３０を６つの面１１乃至１６の画像に分割する。これにより、面１１乃至１６それぞれの低解像度化されていない高解像度画像と、全天球画像３０全体が低解像度化された低解像度画像とが生成される。

コンテンツサーバ１３２は、面１１乃至１６それぞれの高解像度画像を、それぞれ、AVCやHEVC(High Efficiency Video Coding)/H.265等に準じた符号化方式で圧縮符号化し、６本の高解像度符号化ストリーム（第１の符号化ストリーム）を生成する。また、コンテンツサーバ１３２は、低解像度画像をAVCやHEVC等に準じた符号化方式で圧縮符号化し、１本の低解像度符号化ストリーム（第２の符号化ストリーム）を生成する。

コンテンツサーバ１３２は、生成された６本の高解像度符号化ストリームと１本の低解像度符号化ストリームを記録する。また、コンテンツサーバ１３２は、記録している６本の高解像度符号化ストリームと１本の低解像度符号化ストリームを、図示せぬネットワークを介してホームサーバ１３３に伝送する。

ホームサーバ１３３は、コンテンツサーバ１３２から伝送されてくる６本の高解像度符号化ストリームと１本の低解像度符号化ストリームを受け取る。また、ホームサーバ１３３は、カメラ１３３Ａを内蔵し、ヘッドマウントディスプレイ１３５に付されたマーカ１３５Ａを撮影する。そして、ホームサーバ１３３は、マーカ１３５Ａの撮影画像に基づいて、ユーザの位置を検出する。さらに、ホームサーバ１３３は、ヘッドマウントディスプレイ１３５のジャイロセンサ１３５Ｂの検出結果を、ヘッドマウントディスプレイ１３５から変換装置１３４を介して受け取る。

ホームサーバ１３３は、ジャイロセンサ１３５Ｂの検出結果に基づいてユーザの視線ベクトルを決定し、ユーザの位置と視線ベクトルに基づいて、ユーザの視野範囲を決定する。

ホームサーバ１３３は、面１１乃至１６のうちの、ユーザの視線ベクトルに対応する３つの面を決定する。そして、ホームサーバ１３３（画像処理装置、端末）は、６本の高解像度符号化ストリームのうちの、ユーザの視線ベクトルに対応する３つの面の高解像度符号化ストリームを選択して復号し、３つの面の高解像度画像を生成する。

また、ホームサーバ１３３は、１本の低解像度符号化ストリームを復号し、低解像度画像を生成する。ホームサーバ１３３は、生成された３つの面の高解像度画像と低解像度画像から、ユーザの視野範囲の画像を表示画像として生成する。ホームサーバ１３３は、図示せぬHDMI（登録商標）（High-Definition Multimedia Interface）ケーブルを介して表示画像を変換装置１３４に伝送する。

変換装置１３４は、ホームサーバ１３３から伝送されてくる表示画像における座標を、ヘッドマウントディスプレイ１３５における座標に変換する。変換装置１３４は、座標変換後の表示画像をヘッドマウントディスプレイ１３５に供給する。

ヘッドマウントディスプレイ１３５は、ユーザの頭に装着される。ヘッドマウントディスプレイ１３５は、変換装置１３４から供給される表示画像を表示する。また、ヘッドマウントディスプレイ１３５に内蔵されるジャイロセンサ１３５Ｂは、ヘッドマウントディスプレイ１３５の傾きを検出し、その検出結果を、変換装置１３４を介してホームサーバ１３３に伝送する。

（コンテンツサーバの構成例）
図１０は、図９のコンテンツサーバ１３２の構成例を示すブロック図である。

図１０のコンテンツサーバ１３２は、スティッチング処理部１５１、マッピング処理部１５２、低解像度化部１５３、エンコーダ１５４、分割部１５５、エンコーダ１５６−１乃至１５６−６、ストレージ１５７、および伝送部１５８により構成される。

スティッチング処理部１５１は、図９のマルチカメラ１３１から供給される全方向の撮影画像の色や明るさを同一にし、重なりを除去して接続する。スティッチング処理部１５１は、その結果得られる撮影画像をマッピング処理部１５２に供給する。

マッピング処理部１５２は、キューブマッピングにより、スティッチング処理部１５１から供給される撮影画像から全天球画像３０を生成し、低解像度化部１５３と分割部１５５に供給する。なお、スティッチング処理部１５１とマッピング処理部１５２は、一体化されていてもよい。

低解像度化部１５３（変換部）は、マッピング処理部１５２から供給される全天球画像３０の水平方向と垂直方向の解像度を半分にすることにより低解像度化し、低解像度画像を生成する。低解像度化部１５３は、低解像度画像をエンコーダ１５４に供給する。

エンコーダ１５４（第２の符号化部）は、低解像度化部１５３から供給される低解像度画像を符号化し、低解像度符号化ストリームを生成する。エンコーダ１５４は、低解像度符号化ストリームをストレージ１５７に供給し、記録させる。

分割部１５５は、マッピング処理部１５２から供給される全天球画像３０を、６つの面１１乃至１６の画像３１乃至３６に分割する。分割部１５５は、画像３１を＋ｘ面１１の高解像度画像としてエンコーダ１５６−１に供給し、画像３２を−ｘ面１２の高解像度画像としてエンコーダ１５６−２に供給する。また、分割部１５５は、画像３３を＋ｙ面１３の高解像度画像としてエンコーダ１５６−３に供給し、画像３４を−ｙ面１４の高解像度画像としてエンコーダ１５６−４に供給する。また、分割部１５５は、画像３５を＋ｚ面１５の高解像度画像としてエンコーダ１５６−５に供給し、画像３６を−ｚ面１６の高解像度画像としてエンコーダ１５６−６に供給する。

エンコーダ１５６−１乃至１５６−６（第１の符号化部）は、それぞれ、面１１乃至面１６の対向する面どうしのペアのランダムアクセス可能位置が同期し、GOP構造がClosed GOP構造となるように、分割部１５５から供給される高解像度画像を符号化する。エンコーダ１５６−１乃至１５６−６は、その結果生成される面１１乃至１６の高解像度符号化ストリームをストレージ１５７に供給し、記録させる。

ストレージ１５７（記憶部）は、エンコーダ１５４から供給される１本の低解像度符号化ストリームと、エンコーダ１５６−１乃至１５６−６から供給される面１１乃至１６の６本の高解像度符号化ストリームとを記録する。

伝送部１５８（配信部）は、ストレージ１５７に記録されている１本の低解像度符号化ストリームと６本の高解像度符号化ストリームを読み出し、図示せぬネットワークを介して図９のホームサーバ１３３に伝送（配信）する。

（エンコーダの構成例）
図１１は、図１０のエンコーダ１５４の構成例を示すブロック図である。

図１１のエンコーダ１５４は、画面並べ替えバッファ１９１、演算部１９２、直交変換部１９３、量子化部１９４、可逆符号化部１９５、蓄積バッファ１９６、生成部１９７、逆量子化部１９８、逆直交変換部１９９、および加算部２００を有する。また、エンコーダ１５４は、フィルタ２０１、フレームメモリ２０２、スイッチ２０３、イントラ予測部２０４、動き予測・補償部２０５、予測画像選択部２０６、およびレート制御部２０７を有する。エンコーダ１５４は、HEVC方式にしたがって、低解像度画像をＣＵ（Coding Unit）単位で符号化する。

具体的には、エンコーダ１５４の画面並べ替えバッファ１９１は、図１０の低解像度化部１５３から供給される低解像度画像を記憶する。画面並べ替えバッファ１９１は、記憶した表示の順番のフレーム単位の低解像度画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１９１は、並べ替え後の低解像度画像を、演算部１９２、イントラ予測部２０４、および動き予測・補償部２０５に出力する。

演算部１９２は、画面並べ替えバッファ１９１から供給される低解像度画像から、予測画像選択部２０６から供給される予測画像を減算することにより符号化を行う。演算部１９２は、その結果得られる画像を、残差情報として直交変換部１９３に出力する。なお、予測画像選択部２０６から予測画像が供給されない場合、演算部１９２は、画面並べ替えバッファ１９１から読み出された低解像度画像をそのまま残差情報として直交変換部１９３に出力する。

直交変換部１９３は、演算部１９２からの残差情報をＴＵ（transform unit）単位で直交変換する。直交変換部１９３は、直交変換の結果得られる直交変換係数を量子化部１９４に供給する。

量子化部１９４は、直交変換部１９３から供給される直交変換係数に対して量子化を行う。量子化部１９４は、量子化された直交変換係数を可逆符号化部１９５に供給する。

可逆符号化部１９５は、最適イントラ予測モードを示すイントラ予測モード情報をイントラ予測部２０４から取得する。また、可逆符号化部１９５は、最適インター予測モードを示すインター予測モード情報、動きベクトル、参照画像を特定する情報などを動き予測・補償部２０５から取得する。また、可逆符号化部１９５は、フィルタ２０１からオフセットフィルタに関するオフセットフィルタ情報を取得する。

可逆符号化部１９５は、量子化部１９４から供給される量子化された直交変換係数に対して、可変長符号化（例えば、CAVLC（Context−Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context−Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。

また、可逆符号化部１９５は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像を特定する情報、並びにオフセットフィルタ情報を、符号化に関する符号化情報として可逆符号化する。可逆符号化部１９５は、可逆符号化された符号化情報と直交変換係数を、符号化データとして蓄積バッファ１９６に供給し、蓄積させる。なお、可逆符号化された符号化情報は、スライスヘッダ等のヘッダ部として符号化データに付加されるようにしてもよい。

蓄積バッファ１９６は、可逆符号化部１９５から供給される符号化データを、一時的に記憶する。また、蓄積バッファ１９６は、記憶している符号化データを生成部１９７に供給する。

生成部１９７は、SPS（Sequence Parameter Set）、PPS（Picture Parameter Set）などのパラメーターセットと蓄積バッファ１９６から供給される符号化データから低解像度符号化ストリームを生成し、図１０のストレージ１５７に供給する。

また、量子化部１９４より出力された、量子化された直交変換係数は、逆量子化部１９８にも入力される。逆量子化部１９８は、量子化部１９４により量子化された直交変換係数に対して、量子化部１９４における量子化方法に対応する方法で逆量子化を行う。逆量子化部１９８は、逆量子化の結果得られる直交変換係数を逆直交変換部１９９に供給する。

逆直交変換部１９９は、ＴＵ単位で、逆量子化部１９８から供給される直交変換係数に対して、直交変換部１９３における直交変換方法に対応する方法で逆直交変換を行う。逆直交変換部１９９は、その結果得られる残差情報を加算部２００に供給する。

加算部２００は、逆直交変換部１９９から供給される残差情報と、予測画像選択部２０６から供給される予測画像を加算することにより、低解像度画像を局部的に復号する。なお、予測画像選択部２０６から予測画像が供給されない場合、加算部２００は、逆直交変換部１９９から供給される残差情報を局部的に復号された低解像度画像とする。加算部２００は、まだ低解像度画像の画面全体が復号されていない場合、復号された低解像度画像をフレームメモリ２０２に供給し、画面全体が復号された場合、復号された低解像度画像をフィルタ２０１に供給する。

フィルタ２０１は、加算部２００から供給される低解像度画像に対して、ブロック歪を除去するデブロックフィルタ処理を行う。フィルタ２０１は、デブロックフィルタ処理後の低解像度画像に対して、主にリンギングを除去する適応オフセットフィルタ(SAO（Sample adaptive offset)）処理を行う。

具体的には、フィルタ２０１は、最大の符号化単位であるLCU（Largest Coding Unit）ごとに適応オフセットフィルタ処理の種類を決定し、その適応オフセットフィルタ処理で用いられるオフセットを求める。フィルタ２０１は、求められたオフセットを用いて、デブロックフィルタ処理後の低解像度画像に対して、決定された種類の適応オフセットフィルタ処理を行う。

フィルタ２０１は、適応オフセットフィルタ処理後の低解像度画像をフレームメモリ２０２に供給する。また、フィルタ２０１は、行われた適応オフセットフィルタ処理の種類とオフセットを示す情報を、オフセットフィルタ情報として可逆符号化部１９５に供給する。

フレームメモリ２０２は、フィルタ２０１から供給される低解像度画像と、加算部２００から供給される低解像度画像を蓄積する。フレームメモリ２０２に蓄積されたフィルタ処理が行われていない低解像度画像のうちのＰＵ（Prediction Unit）に隣接する画素は、周辺画素としてスイッチ２０３を介してイントラ予測部２０４に供給される。一方、フレームメモリ２０２に蓄積されたフィルタ処理が行われた低解像度画像は、参照画像としてスイッチ２０３を介して動き予測・補償部２０５に出力される。

イントラ予測部２０４は、ＰＵ単位で、フレームメモリ２０２からスイッチ２０３を介して読み出された周辺画素を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。

また、イントラ予測部２０４は、画面並べ替えバッファ１９１から読み出された低解像度画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部２０４は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。

イントラ予測部２０４は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部２０６に供給する。イントラ予測部２０４は、予測画像選択部２０６から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部１９５に供給する。

なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードまたはLow Complexity モードの手法に基づいて算出される。AVC方式における参照ソフトウエアは、http://iphome.hhi.de/suehring/tml/index.htmにおいて公開されている。

動き予測・補償部２０５は、ＰＵ単位で候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部２０５は、画面並べ替えバッファ１９１から供給される低解像度画像と参照画像とに基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。そして、動き予測・補償部２０５は、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。なお、インター予測モードとは、ＰＵのサイズ等を表すモードである。

また、動き予測・補償部２０５は、低解像度画像と予測画像とに基づいて、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部２０５は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部２０６に供給する。

動き予測・補償部２０５は、予測画像選択部２０６から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部１９５に出力する。

予測画像選択部２０６は、イントラ予測部２０４および動き予測・補償部２０５から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部２０６は、最適予測モードの予測画像を、演算部１９２および加算部２００に供給する。また、予測画像選択部２０６は、最適予測モードの予測画像の選択をイントラ予測部２０４または動き予測・補償部２０５に通知する。

レート制御部２０７は、蓄積バッファ１９６に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１９４の量子化動作のレートを制御する。

なお、図示は省略するが、エンコーダ１５６−１乃至１５６−６も、エンコーダ１５４と同様に構成される。

（コンテンツサーバの処理の説明）
図１２は、図１０のコンテンツサーバ１３２の符号化処理を説明するフローチャートである。この符号化処理は、例えば、フレーム単位で行われる。

図１２のステップＳ１１において、スティッチング処理部１５１は、図９のマルチカメラ１３１から供給される全方向の撮影画像の色や明るさを同一にし、重なりを除去して接続する。スティッチング処理部１５１は、その結果得られる撮影画像をマッピング処理部１５２に供給する。

ステップＳ１２において、マッピング処理部１５２は、キューブマッピングにより、スティッチング処理部１５１から供給される撮影画像から全天球画像３０を生成し、低解像度化部１５３と分割部１５５に供給する。

ステップＳ１３において、低解像度化部１５３は、マッピング処理部１５２から供給される全天球画像３０を低解像度化し、低解像度画像を生成する。低解像度化部１５３は、低解像度画像をエンコーダ１５４に供給する。

ステップＳ１４において、エンコーダ１５４は、低解像度化部１５３から供給される低解像度画像を符号化し、低解像度符号化ストリームを生成する。エンコーダ１５４は、低解像度符号化ストリームをストレージ１５７に供給する。

ステップＳ１５において、分割部１５５は、マッピング処理部１５２から供給される全天球画像３０を、６つの面１１乃至１６の画像３１乃至３６に分割する。分割部１５５は、画像３１乃至３６を、面１１乃至１６の高解像度画像として、それぞれエンコーダ１５６−１乃至１５６−６に供給する。

ステップＳ１６において、エンコーダ１５６−１乃至１５６−６は、面１１乃至１６の高解像度画像をそれぞれ符号化して符号化ストリームを生成し、ストレージ１５７に供給する。

ステップＳ１７において、ストレージ１５７は、エンコーダ１５４から供給される１本の低解像度符号化ストリームと、エンコーダ１５６−１乃至１５６−６から供給される６本の高解像度符号化ストリームを記録する。

ステップＳ１８において、伝送部１５８は、ストレージ１５７に記録されている１本の低解像度符号化ストリームと６本の高解像度符号化ストリームを読み出し、図示せぬネットワークを介してホームサーバ１３３に伝送する。そして、処理は終了する。

（ホームサーバの構成例）
図１３は、図９のホームサーバ１３３の構成例を示すブロック図である。

図１３のホームサーバ１３３は、カメラ１３３Ａ、受け取り部２２１、ストレージ２２２、デコーダ２２３、スイッチ２２４−１乃至２２４−３、デコーダ２２５−１乃至２２５−３、マッピング処理部２２６、描画部２２７、受け取り部２２８、および視線検出部２２９により構成される。

ホームサーバ１３３の受け取り部２２１は、図１０の伝送部１５８から図示せぬネットワークを介して伝送されてくる６本の高解像度符号化ストリームと１本の低解像度符号化ストリームを受け取る。受け取り部２２１は、受け取られた６本の高解像度符号化ストリームと１本の低解像度符号化ストリームをストレージ２２２に供給し、記録させる。

ストレージ２２２は、受け取り部２２１から供給される６本の高解像度符号化ストリームと１本の低解像度符号化ストリームを記録する。ストレージ２２２は、１本の低解像度符号化ストリームをデコーダ２２３に供給する。

また、ストレージ２２２は、６本の高解像度符号化ストリームのうちの、対向する＋ｘ面１１と−ｘ面１２のペアの２本の符号化ストリームを読み出し、スイッチ２２４−１に供給する。同様に、ストレージ２２２は、対向する＋ｙ面１３と−ｙ面１４のペアの２本の符号化ストリームをスイッチ２２４−２に供給し、対向する＋ｚ面１５と−ｚ面１６のペアの２本の符号化ストリームをスイッチ２２４−３に供給する。

デコーダ２２３（第２の復号部）は、ストレージ２２２から供給される１本の低解像度符号化ストリームを復号し、低解像度画像を生成する。デコーダ２２３は、低解像度画像をマッピング処理部２２６に供給する。

スイッチ２２４−１は、視線検出部２２９から供給される＋ｘ面１１と−ｘ面１２のうちのいずれか一方を選択する面選択情報に基づいて、その一方の面の高解像度符号化ストリームを選択し、デコーダ２２５−１に供給する。同様に、スイッチ２２４−２は、面選択情報に基づいて、＋ｙ面１３と−ｙ面１４のうちのいずれか一方の面の高解像度符号化ストリームをデコーダ２２５−２に供給する。また、スイッチ２２４−３は、面選択情報に基づいて、＋ｚ面１５と−ｚ面１６のうちのいずれか一方の面の高解像度符号化ストリームをデコーダ２２５−３に供給する。

デコーダ２２５−１（第１の復号部）は、スイッチ２２４−１から供給される高解像度符号化ストリームを復号して、＋ｘ面１１または−ｘ面１２の高解像度画像を生成し、マッピング処理部２２６に供給する。また、デコーダ２２５−２（第１の復号部）は、スイッチ２２４−２から供給される高解像度符号化ストリームを復号して、＋ｙ面１３または−ｙ面１４の高解像度画像を生成し、マッピング処理部２２６に供給する。さらに、デコーダ２２５−３（第１の復号部）は、スイッチ２２４−３から供給される高解像度符号化ストリームを復号して、＋ｚ面１５または−ｚ面１６の高解像度画像を生成し、マッピング処理部２２６に供給する。

マッピング処理部２２６は、デコーダ２２３から供給される低解像度画像を立方体１０の面１１乃至１６のそれぞれにテクスチャとしてマッピングする。その後、マッピング処理部２２６は、低解像度画像がマッピングされた立方体１０に、デコーダ２２５−１乃至２２５−３から供給される３つの面の画像を重畳する。マッピング処理部２２６は、その結果得られる立方体画像を描画部２２７に供給する。

描画部２２７は、マッピング処理部２２６から供給される立方体画像を、視線検出部２２９から供給されるユーザの視野範囲に投射投影することにより、ユーザの視野範囲の画像を生成する。描画部２２７は、生成された画像を表示画像として、HDMIケーブルを介して図９の変換装置１３４に伝送する。

受け取り部２２８は、図９のジャイロセンサ１３５Ｂの検出結果を、ヘッドマウントディスプレイ１３５から変換装置１３４を介して受け取り、視線検出部２２９に供給する。

視線検出部２２９は、受け取り部２２８から供給されるジャイロセンサ１３５Ｂの検出結果に基づいて、ユーザの視線ベクトルを決定する。視線検出部２２９（選択部）は、ユーザの視線ベクトルに基づいて、面１１乃至１６のうちのユーザの視線ベクトルに対応する３つの面を決定する。

具体的には、視線検出部２２９は、視線ベクトルのｘ成分とｘ軸座標の正負が同一である＋ｘ面１１または−ｘ面１２、ｙ成分とｙ軸座標の正負が同一である＋ｙ面１３または−ｙ面１４、およびｚ成分とｚ軸座標の正負が同一である＋ｚ面１５または−ｚ面１６を、ユーザの視線ベクトルに対応する３つの面に決定する。

また、視線検出部２２９は、カメラ１３３Ａからマーカ１３５Ａの撮影画像を取得し、その撮影画像に基づいてユーザの位置を検出する。視線検出部２２９は、ユーザの位置と視線ベクトルに基づいて、ユーザの視野範囲を決定する。

視線検出部２２９は、ユーザの視野範囲を描画部２２７に供給する。また、視線検出部２２９は、面１１乃至１６のうちの対向する面どうしのペアごとに、ユーザの視線ベクトルに対応する面を選択する面選択情報を生成する。視線検出部２２９は、＋ｘ面１１または−ｘ面１２を選択する面選択情報をスイッチ２２４−１に供給し、＋ｙ面１３または−ｙ面１４を選択する面選択情報をスイッチ２２４−２に供給し、＋ｚ面１５または−ｚ面１６を選択する面選択情報をスイッチ２２４−３に供給する。

（デコーダの構成例）
図１４は、図１３のデコーダ２２３の構成例を示すブロック図である。

図１４のデコーダ２２３は、蓄積バッファ２４１、可逆復号部２４２、逆量子化部２４３、逆直交変換部２４４、加算部２４５、フィルタ２４６、および画面並べ替えバッファ２４７を有する。また、デコーダ２２３は、フレームメモリ２４８、スイッチ２４９、イントラ予測部２５０、動き補償部２５１、およびスイッチ２５２を有する。

デコーダ２２３の蓄積バッファ２４１は、図１３のストレージ２２２から低解像度符号化ストリームを受け取り、符号化データを蓄積する。低解像度符号化ストリームに含まれるパラメーターセットは、必要に応じて、デコーダ２２３の各部に供給される。蓄積バッファ２４１は、蓄積されている符号化データを可逆復号部２４２に供給する。

可逆復号部２４２は、蓄積バッファ２４１からの符号化データに対して、図１０の可逆符号化部１９５の可逆符号化に対応する、可変長復号や、算術復号等の可逆復号を施すことで、量子化された直交変換係数と符号化情報を得る。可逆復号部２４２は、量子化された直交変換係数を逆量子化部２４３に供給する。また、可逆復号部２４２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部２５０に供給する。可逆復号部２４２は、動きベクトル、インター予測モード情報、参照画像を特定する情報などを動き補償部２５１に供給する。

さらに、可逆復号部２４２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ２５２に供給する。

逆量子化部２４３、逆直交変換部２４４、加算部２４５、フィルタ２４６、フレームメモリ２４８、スイッチ２４９、イントラ予測部２５０、および動き補償部２５１は、図１０の逆量子化部１９８、逆直交変換部１９９、加算部２００、フィルタ２０１、フレームメモリ２０２、スイッチ２０３、イントラ予測部２０４、および動き予測・補償部２０５とそれぞれ同様の処理を行い、これにより、低解像度画像が復号される。

具体的には、逆量子化部２４３は、可逆復号部２４２からの量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部２４４に供給する。

逆直交変換部２４４は、逆量子化部２４３からの直交変換係数に対してＴＵ単位で逆直交変換を行う。逆直交変換部２４４は、逆直交変換の結果得られる残差情報を加算部２４５に供給する。

加算部２４５は、逆直交変換部２４４から供給される残差情報と、スイッチ２５２から供給される予測画像を加算することにより、低解像度画像を局部的に復号する。なお、スイッチ２５２から予測画像が供給されない場合、加算部２４５は、逆直交変換部２４４から供給される残差情報を局部的に復号された低解像度画像とする。加算部２４５は、まだ低解像度画像の画面全体が復号されていない場合、復号された低解像度画像をフレームメモリ２４８に供給し、画面全体が復号された場合、復号された低解像度画像をフィルタ２４６に供給する。

フィルタ２４６は、加算部２４５から供給される低解像度画像に対してデブロックフィルタ処理を行う。フィルタ２４６は、LCUごとに、可逆復号部２４２からのオフセットフィルタ情報が表すオフセットを用いて、デブロックフィルタ処理後の低解像度画像に対して、オフセットフィルタ情報が表す種類の適応オフセットフィルタ処理を行う。フィルタ２４６は、適応オフセットフィルタ処理後の低解像度画像をフレームメモリ２４８および画面並べ替えバッファ２４７に供給する。

画面並べ替えバッファ２４７は、フィルタ２４６から供給される低解像度画像をフレーム単位で記憶する。画面並べ替えバッファ２４７は、記憶した符号化のための順番のフレーム単位の低解像度画像を、元の表示の順番に並び替え、図１３のマッピング処理部２２６に供給する。

フレームメモリ２４８は、フィルタ２４６から供給される低解像度画像と加算部２４５から供給される低解像度画像を蓄積する。フレームメモリ２４８に蓄積されたフィルタ処理が行われていない低解像度画像のうちのＰＵに隣接する画素は、周辺画素としてスイッチ２４９を介してイントラ予測部２５０に供給される。一方、フレームメモリ２４８に蓄積されたフィルタ処理が行われた低解像度画像は、参照画像として、スイッチ２４９を介して動き補償部２５１に供給される。

イントラ予測部２５０は、ＰＵ単位で、フレームメモリ２４８からスイッチ２４９を介して読み出された周辺画素を用いて、可逆復号部２４２から供給されるイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部２５０は、その結果生成される予測画像をスイッチ２５２に供給する。

動き補償部２５１は、フレームメモリ２４８からスイッチ２４９を介して、可逆復号部２４２から供給される参照画像を特定する情報により特定される参照画像を読み出す。動き補償部２５１は、参照画像と可逆復号部２４２から供給される動きベクトルとを用いて、ＰＵ単位で、可逆復号部２４２から供給されるインター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部２５１は、その結果生成される予測画像をスイッチ２５２に供給する。

スイッチ２５２は、可逆復号部２４２からイントラ予測モード情報が供給された場合、イントラ予測部２５０から供給される予測画像を加算部２４５に供給する。一方、可逆復号部２４２からインター予測モード情報が供給された場合、スイッチ２５２は、動き補償部２５１から供給される予測画像を加算部２４５に供給する。

（デコーダの動作タイミングの例）
図１５は、図１３のデコーダ２２３およびデコーダ２２５−１乃至２２５−３の動作タイミングの例を示すタイミングチャートである。

図１５において、横軸は時間を表す。また、図１５において、太い矢印は、デコーダ２２３およびデコーダ２２５−１乃至２２５−３の復号対象であることを表している。

スイッチ２２４−１乃至２２４−３は、視線検出部２２９から供給される面選択情報が変更された場合、入力される２本の高解像度符号化ストリームのランダムアクセス可能位置で、選択する高解像度符号化ストリームを変更する。従って、図１５に示すように、デコーダ２２５−１乃至２２５−３では、ランダムアクセス可能位置で、復号対象の高解像度符号化ストリームが切り替えられる。

また、デコーダ２２３には、常に低解像度符号化ストリームが入力され、デコーダ２２３は、常に低解像度符号化ストリームを復号対象とする。

以上のように、復号対象の高解像度符号化ストリームの切り替えは、ランダムアクセス可能位置でのみ行うことができる。従って、急激に視線ベクトルが変化した場合、次のランダムアクセス可能位置までの間、復号対象の高解像度符号化ストリームを切り換えることができず、変更後の視線ベクトルに対応する３つの面の高解像度画像を生成することができない。しかしながら、低解像度符号化ストリームは常に復号されているため、この間、変更後の視線ベクトルに対応する面の低解像度画像を用いて表示画像を生成することができる。

また、スイッチ２２４−１乃至２２４−３に入力される２本の高解像度符号化ストリームのランダムアクセス可能位置は同期し、GOP構造はClosed GOP構造である。従って、デコーダ２２５−１乃至２２５−３は、切り替え後の復号対象を切り替え時の位置から復号すればよい。

これに対して、２本の符号化ストリームのランダムアクセス可能位置が異なっているか、またはGOP構造がClosed GOP構造ではない場合、切り替え時より前の位置から切り替え後の復号対象を復号する必要がある。従って、その間、切り替え前の復号対象と切り替え後の復号対象の２本の符号化ストリームを同時に復号する必要があり、高解像度符号化ストリームを復号するデコーダは、高解像度符号化ストリームの本数分必要になる。

なお、エンコーダ１５６−１乃至１５６−６が、各ペアのランダムアクセス可能位置が異なるように符号化を行う場合、デコーダ２２５−１乃至２２５−３の間で、復号対象の切り替えタイミングをずらすことができる。これにより、復号処理の負荷を平滑化することができる。

（立方体画像の例）
図１６は、図１３のマッピング処理部２２６により生成される立方体画像を説明する図である。

なお、図１６において、正方形は、立方体画像のLCUを表す。また、図１６のＡおよび図１６のＢは、立方体画像を立方体１０の内部から見た図である。

図１６のＡの例では、ユーザの視線ベクトルに対応する面が、＋ｘ面１１、−ｙ面１４、および＋ｚ面１５である。従って、図１６のＡに示すように、マッピング処理部２２６は、低解像度画像２６０がマッピングされた立方体１０の＋ｘ面１１、−ｙ面１４、および＋ｚ面１５に、画像３１、画像３４、および画像３５を重畳してマッピングすることにより、立方体画像２６１を生成する。

なお、画像３１,３４,および３５並びに低解像度画像２６０は、同一のサイズの面にマッピングされる。従って、低解像度画像２６０のLCUのサイズは、画像３１,３４,および３５のLCUのサイズに比べて大きくなっている。

図１６のＢの例では、ユーザの視線ベクトルに対応する面が、＋ｘ面１１、−ｙ面１４、および−ｚ面１６である。従って、図１６のＢに示すように、マッピング処理部２２６は、低解像度画像２６０がマッピングされた立方体１０の＋ｘ面１１、−ｙ面１４、および−ｚ面１６に、画像３１、画像３４、および画像３６を重畳してマッピングすることにより、立方体画像２６２を生成する。

なお、画像３１,３４,および３６並びに低解像度画像２６０、同一のサイズの面にマッピングされる。従って、低解像度画像２６０のLCUのサイズは、画像３１,３４,および３６のLCUのサイズに比べて大きくなっている。

以上のように、立方体１０の対向する面どうしのペアのうちの一方の面には、高解像度画像がマッピングされ、他方の面には、低解像度画像がマッピングされる。

また、ユーザの視線ベクトルが変化し、ユーザの視線ベクトルに対応する面が変更されると、高解像度画像がマッピングされる少なくとも１つの面が、対向する面どうしのペアのうちの一方から他方に変更される。例えば、ユーザの視線ベクトルに対応する面が、＋ｘ面１１、−ｙ面１４、および＋ｚ面１５から、＋ｘ面１１、−ｙ面１４、および−ｚ面１６に変更される場合、立方体画像２６１は立方体画像２６２に変更される。

このとき、立方体画像２６１および２６２は、面１１乃至面１６の全てにマッピングが行われた画像であるので、変更後の視線ベクトルに対応する立方体画像２６２が生成されるまでの間、描画部２２７は、立方体画像２６２を用いてユーザの視野範囲の表示画像を即座に生成することができる。

（ユーザの視野範囲の例）
図１７は、ユーザの視野範囲の例を示す図である。

なお、図１７の例では、マッピング処理部２２６により立方体画像２６２が生成されている。

図１７に示すように、ユーザの位置に対応する立方体１０の内部の位置等によっては、ユーザの視野範囲２７１の画像の生成に、ユーザの視線ベクトルに対応する＋ｘ面１１，−ｙ面１４、および−ｚ面１６以外の＋ｚ面１５の画像を用いる必要がある場合がある。

このような場合であっても、立方体画像２６２は、面１１乃至面１６の全てにマッピングが行われた画像であるため、描画部２２７は、＋ｘ面１１の画像３１、−ｙ面１４の画像３４、および−ｚ面１６の画像３６と、＋ｚ面１５の低解像度画像２６０とを用いて、視野範囲２７１の画像を生成することができる。

これに対して、低解像度符号化ストリームが生成されない場合、立方体画像は、ユーザの視線ベクトルに対応する３つの面に対してのみマッピングが行われた画像である。従って、ユーザの視野範囲２７１の画像を生成することはできない。

（ホームサーバの処理の説明）
図１８は、図１３のホームサーバ１３３の復号処理を説明するフローチャートである。この復号処理は、例えば、フレーム単位で行われる。

図１８のステップＳ３１において、ホームサーバ１３３の受け取り部２２１は、図１０の伝送部１５８から図示せぬネットワークを介して伝送されてくる１本の低解像度符号化ストリームと６本の高解像度符号化ストリームを受け取る。受け取り部２２１は、受け取られた１本の低解像度符号化ストリームと６本の高解像度符号化ストリームをストレージ２２２に供給する。

ステップＳ３２において、ストレージ２２２は、受け取り部２２１から供給される１本の低解像度符号化ストリームと６本の高解像度符号化ストリームとを記録する。

ステップＳ３３において、ストレージ２２２は、６本の高解像度符号化ストリームのうちの、対向する＋ｘ面１１と−ｘ面１２のペアの２本の符号化ストリームを読み出し、スイッチ２２４−１に供給する。同様に、ストレージ２２２は、対向する＋ｙ面１３と−ｙ面１４のペアの２本の符号化ストリームをスイッチ２２４−２に供給し、対向する＋ｚ面１５と−ｚ面１６のペアの２本の符号化ストリームをスイッチ２２４−３に供給する。また、ストレージ２２２は、１本の低解像度符号化ストリームを読み出し、デコーダ２２３に供給する。

ステップＳ３４において、受け取り部２２８は、ヘッドマウントディスプレイ１３５から変換装置１３４を介して図９のジャイロセンサ１３５Ｂの検出結果を受け取り、視線検出部２２９に供給する。

ステップＳ３５において、視線検出部２２９は、受け取り部２２８から供給されるジャイロセンサ１３５Ｂの検出結果に基づいて、ユーザの視線ベクトルを決定する。

ステップＳ３６において、カメラ１３３Ａは、マーカ１３５Ａの画像を撮影し、視線検出部２２９に供給する。ステップＳ３７において、視線検出部２２９は、カメラ１３３Ａから供給されるマーカ１３５Ａの撮影画像に基づいてユーザの位置を検出する。

ステップＳ３８において、視線検出部２２９は、ユーザの位置と視線ベクトルに基づいて、面１１乃至１６のうちのユーザの視線ベクトルに対応する３つの面とユーザの視野範囲とを決定する。視線検出部２２９は、ユーザの視野範囲を描画部２２７に供給する。

ステップＳ３９において、視線検出部２２９は、面１１乃至１６のうちの対向する面どうしのペアごとに、ユーザの視線ベクトルに対応する面を選択する面選択情報を生成する。視線検出部２２９は、＋ｘ面１１または−ｘ面１２を選択する面選択情報をスイッチ２２４−１に供給し、＋ｙ面１３または−ｙ面１４を選択する面選択情報をスイッチ２２４−２に供給し、＋ｚ面１５または−ｚ面１６を選択する面選択情報をスイッチ２２４−３に供給する。

ステップＳ４０において、スイッチ２２４−１乃至２２４−３は、視線検出部２２９から供給される面選択情報に基づいて高解像度符号化ストリームを選択する面選択処理を行う。この面選択処理の詳細は、後述する図１９を参照して説明する。

ステップＳ４１において、デコーダ２２５−１は、スイッチ２２４−１から供給される高解像度符号化ストリームを復号して、＋ｘ面１１または−ｘ面１２の高解像度画像を生成し、マッピング処理部２２６に供給する。また、デコーダ２２５−２は、スイッチ２２４−２から供給される高解像度符号化ストリームを復号して、＋ｙ面１３または−ｙ面１４の高解像度画像を生成し、マッピング処理部２２６に供給する。さらに、デコーダ２２５−３は、スイッチ２２４−３から供給される高解像度符号化ストリームを復号して、＋ｚ面１５または−ｚ面１６の高解像度画像を生成し、マッピング処理部２２６に供給する。

ステップＳ４２において、デコーダ２２３は、ストレージ２２２から供給される１本の低解像度符号化ストリームを復号し、低解像度画像を生成する。デコーダ２２３は、低解像度画像をマッピング処理部２２６に供給する。

ステップＳ４３において、マッピング処理部２２６は、デコーダ２２３から供給される低解像度画像を立方体１０にマッピングし、デコーダ２２５−１乃至２２５−３から供給される３つの面の高解像度画像を、その立方体１０に重畳してマッピングする。マッピング処理部２２６は、その結果得られる立方体画像を描画部２２７に供給する。

ステップＳ４４において、描画部２２７は、マッピング処理部２２６からの立方体画像と、視線検出部２２９からのユーザの視野範囲に基づいて、立方体画像をユーザの視野範囲に投射投影することにより、ユーザの視野範囲の画像を表示画像として生成する。

ステップＳ４５において、描画部２２７は、表示画像を、HDMIケーブルを介して図９の変換装置１３４に伝送し、処理を終了する。

図１９は、図１８のステップＳ４０の面選択処理の詳細を説明するフローチャートである。

図１９のステップＳ６１において、スイッチ２２４−１は、処理対象のフレームが、＋ｘ面１１と−ｘ面１２の高解像度符号化ストリームのランダムアクセス可能位置のフレームであるかどうかを判定する。

ステップＳ６１で、処理対象のフレームが、＋ｘ面１１と−ｘ面１２の高解像度符号化ストリームのランダムアクセス可能位置のフレームであると判定された場合、処理はステップＳ６２に進む。ステップＳ６２において、スイッチ２２４−１は、視線検出部２２９から＋ｘ面１１を選択する面選択情報が供給されたかどうかを判定する。

ステップＳ６２で＋ｘ面１１を選択する面選択情報が供給されたと判定された場合、処理はステップＳ６３に進む。ステップＳ６３において、スイッチ２２４−１は、ストレージ２２２から供給される＋ｘ面１１および−ｘ面１２の高解像度符号化ストリームのうちの、＋ｘ面１１の高解像度符号化ストリームを復号対象として選択し、デコーダ２２５−１に供給する。

ステップＳ６２で＋ｘ面１１を選択する面選択情報が供給されていないと判定された場合、即ち視線検出部２２９から−ｘ面１２を選択する面選択情報が供給された場合、処理はステップＳ６４に進む。ステップＳ６４において、スイッチ２２４−１は、ストレージ２２２から供給される＋ｘ面１１および−ｘ面１２の高解像度符号化ストリームのうちの、−ｘ面１２の高解像度符号化ストリームを復号対象として選択し、デコーダ２２５−１に供給する。

一方、ステップＳ６１で、処理対象のフレームが、＋ｘ面１１と−ｘ面１２の高解像度符号化ストリームのランダムアクセス可能位置のフレームではないと判定された場合、処理はステップＳ６５に進む。

ステップＳ６５において、スイッチ２２４−１は、ストレージ２２２から供給される＋ｘ面１１および−ｘ面１２の高解像度符号化ストリームのうちの、１つ前のフレームに対して選択された高解像度符号化ストリームに対応する面と同一の面の高解像度符号化ストリームを復号対象として選択する。

即ち、処理対象のフレームが、＋ｘ面１１と−ｘ面１２の高解像度符号化ストリームのランダムアクセス可能位置のフレームではない場合、＋ｘ面１１と−ｘ面１２の高解像度符号化ストリームの間で、復号対象の切り替えは行われない。スイッチ２２４−１は、選択された高解像度符号化ストリームをデコーダ２２５−１に供給する。ステップＳ６３乃至Ｓ６５の処理後、処理はステップＳ６６に進む。

ステップＳ６６において、スイッチ２２４−２は、処理対象のフレームが、＋ｙ面１３と−ｙ面１４の高解像度符号化ストリームのランダムアクセス可能位置のフレームであるかどうかを判定する。

ステップＳ６６で、処理対象のフレームが、＋ｙ面１３と−ｙ面１４の高解像度符号化ストリームのランダムアクセス可能位置のフレームであると判定された場合、処理はステップＳ６７に進む。ステップＳ６７において、スイッチ２２４−２は、視線検出部２２９から＋ｙ面１３を選択する面選択情報が供給されたかどうかを判定する。

ステップＳ６７で＋ｙ面１３を選択する面選択情報が供給されたと判定された場合、処理はステップＳ６８に進む。ステップＳ６８において、スイッチ２２４−２は、ストレージ２２２から供給される＋ｙ面１３および−ｙ面１４の高解像度符号化ストリームのうちの、＋ｙ面１３の高解像度符号化ストリームを復号対象として選択し、デコーダ２２５−２に供給する。

ステップＳ６７で＋ｙ面１３を選択する面選択情報が供給されていないと判定された場合、即ち視線検出部２２９から−ｙ面１４を選択する面選択情報が供給された場合、処理はステップＳ６９に進む。ステップＳ６９において、スイッチ２２４−２は、ストレージ２２２から供給される＋ｙ面１３および−ｙ面１４の高解像度符号化ストリームのうちの、−ｙ面１４の高解像度符号化ストリームを復号対象として選択し、デコーダ２２５−２に供給する。

一方、ステップＳ６６で、処理対象のフレームが、＋ｙ面１３と−ｙ面１４の高解像度符号化ストリームのランダムアクセス可能位置のフレームではないと判定された場合、処理はステップＳ７０に進む。

ステップＳ７０において、スイッチ２２４−２は、ストレージ２２２から供給される＋ｙ面１３および−ｙ面１４の高解像度符号化ストリームのうちの、１つ前のフレームに対して選択された高解像度符号化ストリームに対応する面と同一の面の高解像度符号化ストリームを復号対象として選択する。

即ち、処理対象のフレームが、＋ｙ面１３と−ｙ面１４の高解像度符号化ストリームのランダムアクセス可能位置のフレームではない場合、＋ｙ面１３と−ｙ面１４の高解像度符号化ストリームの間で、復号対象の切り替えは行われない。スイッチ２２４−２は、選択された高解像度符号化ストリームをデコーダ２２５−２に供給する。ステップＳ６８乃至Ｓ７０の処理後、処理はステップＳ７１に進む。

ステップＳ７１において、スイッチ２２４−３は、処理対象のフレームが、＋ｚ面１５と−ｚ面１６の高解像度符号化ストリームのランダムアクセス可能位置のフレームであるかどうかを判定する。

ステップＳ７１で、処理対象のフレームが、＋ｚ面１５と−ｚ面１６の高解像度符号化ストリームのランダムアクセス可能位置のフレームであると判定された場合、処理はステップＳ７２に進む。ステップＳ７２において、スイッチ２２４−３は、視線検出部２２９から＋ｚ面１５を選択する面選択情報が供給されたかどうかを判定する。

ステップＳ７２で＋ｚ面１５を選択する面選択情報が供給されたと判定された場合、処理はステップＳ７３に進む。ステップＳ７３において、スイッチ２２４−３は、ストレージ２２２から供給される＋ｚ面１５および−ｚ面１６の高解像度符号化ストリームのうちの、＋ｚ面１５の高解像度符号化ストリームを復号対象として選択し、デコーダ２２５−３に供給する。

ステップＳ７２で＋ｚ面１５を選択する面選択情報が供給されていないと判定された場合、即ち視線検出部２２９から−ｚ面１６を選択する面選択情報が供給された場合、処理はステップＳ７４に進む。ステップＳ７４において、スイッチ２２４−３は、ストレージ２２２から供給される＋ｚ面１５および−ｚ面１６の高解像度符号化ストリームのうちの、−ｚ面１６の高解像度符号化ストリームを復号対象として選択し、デコーダ２２５−３に供給する。

一方、ステップＳ７１で、処理対象のフレームが、＋ｚ面１５と−ｚ面１６の高解像度符号化ストリームのランダムアクセス可能位置のフレームではないと判定された場合、処理はステップＳ７５に進む。

ステップＳ７５において、スイッチ２２４−３は、ストレージ２２２から供給される＋ｚ面１５および−ｚ面１６の高解像度符号化ストリームのうちの、１つ前のフレームに対して選択された高解像度符号化ストリームに対応する面と同一の面の高解像度符号化ストリームを選択する。

即ち、処理対象のフレームが、＋ｚ面１５と−ｚ面１６の高解像度符号化ストリームのランダムアクセス可能位置のフレームではない場合、＋ｚ面１５と−ｚ面１６の高解像度符号化ストリームの間で、復号対象の切り替えは行われない。スイッチ２２４−３は、選択された高解像度符号化ストリームをデコーダ２２５−３に供給する。ステップＳ７３乃至Ｓ７５の処理後、処理は図１８のステップＳステップＳ４１に進む。

図１９で示したように、復号対象は、面選択情報に基づいて、面１１乃至面１６の対向する面どうしのペアごとに１つずつ独立して選択される。

以上のように、画像表示システム１３０のコンテンツサーバ１３２は、面１１乃至１６ごとの全天球画像３０の高解像度符号化ストリームと全天球画像３０全体の低解像度符号化ストリームとを生成する。

従って、視線ベクトルが急激に変化する場合であっても、視線ベクトルに対応する面の高解像度符号化ストリームが復号されるまでの間、低解像度画像を用いて、ユーザの視野範囲の画像を即座に表示させることができる。また、ユーザの視野範囲の画像の生成に、視線ベクトルに対応する３つの面以外の面を用いる必要がある場合であっても、低解像度画像を用いて、ユーザの視野範囲の画像を表示させることができる。

また、ホームサーバ１３３は、全天球画像３０全体の１本の符号化ストリームを復号して表示画像を生成するホームサーバとの互換性を有する。

＜第２実施の形態＞
（第２実施の形態の全天球画像の生成方法の説明）
図２０は、第２実施の形態の全天球画像の生成方法（以下、新正距円筒図法という）において画像がマッピングされる３Ｄモデルとしての球を示す図である。

図２０に示すように、新正距円筒図法では、正距円筒図法と同様に、画像が、球２８０の面にマッピングされるが、球２８０の面が、垂直方向に３分割され、中央の面が水平方向に４分割された面積が略等しい６つの面２８１乃至２８６により構成されると考える。図２０の例では、球２８０にマッピングされた画像の正面２９１が、面２８４と面２８５の境界の中央に位置し、背面２９２が、面２８３と面２８６の境界の中央に位置するように、球２８０の中央の面が面２８３乃至２８６に分割される。なお、画像の正面２９１とは、例えば、標準の視線方向（例えば、ヘッドマウントディスプレイ１３５を装着したユーザが自然に前を向いたときの視線方向）で視野の中心に位置する画像である。

本明細書では、球２８０の中心である原点Ｏを通り、面２８１および面２８２の中心を通る軸をａ軸、面２８３および面２８４の中心を通る軸をｂ軸、面２８５および面２８６の中心を通る軸をｃ軸とする。そして、原点Ｏと面２８１乃至２８６のそれぞれとの距離をｒとしたときのａ＝ｒである面２８１を、適宜、＋ａ面２８１ともいい、ａ＝−ｒである面２８２を、適宜、−ａ面２８２ともいう。同様に、ｂ＝ｒである面２８３、ｂ＝−ｒである面２８４、c＝ｒである面２８５、c＝−ｒである面２８６を、適宜、＋ｂ面２８３、−ｂ面２８４、＋ｃ面２８５、−ｃ面２８６ともいう。

＋ａ面２８１と−ａ面２８２、＋ｂ面２８３と−ｂ面２８４、＋ｃ面２８５と−ｃ面２８６は、それぞれ、対向する。また、＋ｃ面２８５と−ｂ面２８４の境界の中央に正面２９１が位置し、−ｃ面２８６と＋ｂ面２８３の境界の中央に背面２９２が位置する。

図２１は、新正距円筒図法により生成される全天球画像を説明する図である。

図２１の左側に示すように、新正距円筒図法では、まず、全方向の撮影画像が球２８０にマッピングされたときの球２８０の正距円筒図法による画像３０１が、画像３０１の中心が正面２９１になるように生成される。従って、背面２９２は、画像３０１の左右の端の中央に位置する。図２１の例では、画像３０１は、1920(横)×960（縦）画素からなる。

図２１の中央に示すように、画像３０１を垂直方向に３分割したときの、最も上の画像が＋ａ面２８１の画像３１１（上画像）であり、最も下の画像が−ａ面２８２の画像３１２（下画像）である。また、中央の画像を４分割したときの、最も左側の画像が＋ｂ面２８３の画像３１３、左から２番目の画像が＋ｃ面２８５の画像３１５、左から３番目の画像が−ｂ面２８４の画像３１４、最も右側の画像が−ｃ面２８６の画像３１６である。また、正面２９１は、画像３１５と画像３１４の境界の中央に位置し、背面２９２は、画像３１３の左端および画像３１６の右端の中央に位置する。

図２１の例では、画像３１１と画像３１２は、1920×240画素からなり、画像３１３乃至３１６（分割中央画像）が、480×480画素からなる。

次に、図２１の右側に示すように、画像３０１のうちの画像３１１と画像３１２は、水平方向の解像度が1/2になるように低解像度化される。従って、図２１の例では、低解像度化された画像３１１である低解像度上画像３２１と低解像度化された画像３１２である低解像度下画像３２２は、960×240画素からなる。これにより、低解像度上画像３２１、低解像度下画像３２２、および画像３１３乃至３１６の画素数は、全て同一の230400（=480×480=960×240）となる。

以上により、低解像度上画像３２１、低解像度下画像３２２、および画像３１３乃至３１６が全天球画像３２０として生成される。

図２２は、図２１の全天球画像３２０を用いて生成されるユーザの視野範囲の画像の例を示す図である。

図２２の例では、ユーザの視線ベクトル３３０が、原点Ｏから＋ｂ面２８３、＋ｃ面２８５、−ａ面２８２の交点に向かうベクトルである。

この場合、ユーザの視野範囲３３１の画像は、＋ｂ面２８３の画像３１３、＋ｃ面２８５の画像３１５、−ａ面２８２の画像３１２を用いて生成することができる。即ち、ユーザの視線ベクトル３３０に対応する面は、視線ベクトル３３０のａ軸成分とａ軸座標の正負が同一である−ａ面２８２、ｂ軸成分とｂ軸座標の正負が同一である＋ｂ面２８３、およびｃ軸成分とｃ軸座標の正負が同一である＋ｃ面２８５である。

図２３は、図２１の全天球画像３２０の画素分布を示す図である。

なお、図２３において、点は、画素の中心を表す。

図２３のＡに示すように、全天球画像３２０の画素の中心は、等間隔で水平方向および垂直方向に並んでいる。但し、低解像度上画像３２１と低解像度下画像３２２の水平方向の画素の間隔は、画像３１３乃至３１６の水平方向の画素の間隔の２倍になっている。

また、図２３のＢに示すように、全天球画像３２０が球２８０の表面にマッピングされると、マッピングされた低解像度上画像３２１および低解像度下画像３２２並びに画像３１３乃至３１６の面積は、それぞれ、面２８１乃至２８６の面積であり、略等しい。また、低解像度上画像３２１および低解像度下画像３２２並びに画像３１３乃至３１６の球２８０上の配置は、キューブマッピングの画像３１乃至３６の球６０上の配置に近い。さらに、各面２８１乃至２８６の画素の密度は略同一である。

以上のように、新正距円筒図法では、正距円筒図法に比べて、球２８０にマッピングされた全天球画像３２０の画素の等方性が向上する。従って、球２８０の上下の極近辺の復号処理負荷の上昇を抑制することができる。また、全天球画像３２０の総画素数は、正距円筒図法に比べて少ない。さらに、視線ベクトルに対応する面の数は、キューブマッピングの場合と同一の３つになる。

（第２実施の形態のコンテンツサーバの構成例）
本開示を適用した画像表示システムの第２実施の形態の構成は、コンテンツサーバの構成、および、ホームサーバにおいて全天球画像がマッピングされる３Ｄモデルが球である点を除いて、図９の画像表示システム１３０の構成と同様である。従って、以下では、コンテンツサーバについてのみ説明する。

図２４は、本開示を適用した画像表示システムの第２実施の形態のコンテンツサーバの構成例を示すブロック図である。

図２４に示す構成のうち、図１０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２４のコンテンツサーバ３４０の構成は、マッピング処理部１５２、分割部１５５の代わりに、マッピング処理部３４１、分割部３４２が設けられる点が、図１０のコンテンツサーバ１３２の構成と異なる。コンテンツサーバ３４０（画像処理装置）は、全方向の撮影画像がマッピングされた球７０の正距円筒図法による画像のうちの、上下の画像を低解像度化して全天球画像を生成する。

具体的には、マッピング処理部３４１は、新正距円筒図法により、スティッチング処理部１５１から供給される撮影画像から全天球画像３２０を生成する。マッピング処理部３４１は、全天球画像３２０を低解像度化部１５３と分割部３４２に供給する。

分割部３４２は、マッピング処理部３４１から供給される全天球画像３２０を、６つの面２８１乃至２８６の低解像度上画像３２１、低解像度下画像３２２、および画像３１３乃至３１６に分割する。分割部３４２は、低解像度上画像３２１を＋ａ面２８１の高解像度画像としてエンコーダ１５６−１に供給し、低解像度下画像３２２を−ａ面２８２の高解像度画像としてエンコーダ１５６−２に供給する。

また、分割部３４２は、画像３１３を＋ｂ面２８３の高解像度画像としてエンコーダ１５６−３に供給し、画像３１４を−ｂ面２８４の高解像度画像としてエンコーダ１５６−４に供給する。また、分割部３４２は、画像３１５を＋ｃ面２８５の高解像度画像としてエンコーダ１５６−５に供給し、画像３１６を−ｃ面２８６の高解像度画像としてエンコーダ１５６−６に供給する。

これにより、球２８０の面２８１乃至２８６の対向する面どうしのペアのランダムアクセス可能位置が同期し、GOP構造がClosed GOP構造となるように、面２８１乃至２８６の高解像度符号化ストリームが生成される。

（マッピング処理部の構成例）
図２５は、図２４のマッピング処理部３４１の構成例を示すブロック図である。

図２５のマッピング処理部３４１は、正距円筒画像生成部３６１、画面分割部３６２、および低解像度化部３６３により構成される。

マッピング処理部３４１の正距円筒画像生成部３６１は、図２４のスティッチング処理部１５１から供給される撮影画像を球２８０にマッピングし、マッピング後の球２８０の正距円筒図法による画像３０１を生成する。正距円筒画像生成部３６１は、画像３０１を画面分割部３６２に供給する。

画面分割部３６２は、正距円筒画像生成部３６１から供給される画像３０１を垂直方向に３分割して、上から順に画像３１１、中央画像、および画像３１２を生成する。画面分割部３６２は、中央画像をさらに水平方向に４つに分割して画像３１３乃至３１６を生成する。画面分割部３６２は、画像３１１乃至３１６を低解像度化部３６３に供給する。

低解像度化部３６３（変換部）は、画面分割部３６２から供給される画像３１１と画像３１２をそれぞれ低解像度化し、低解像度上画像３２１および低解像度下画像３２２を生成する。低解像度化部３６３は、生成された低解像度上画像３２１および低解像度下画像３２２、並びに画面分割部３６２から供給される画像３１３乃至３１６を、全天球画像３２０として図２４の低解像度化部１５３と分割部３４２に供給する。

以上のように、新正距円筒図法では、撮影画像がマッピングされた球２８０の正距円筒図法による画像３０１を用いて全天球画像３２０が生成される。従って、正距円筒図法により生成された全天球画像９０と同様に、全天球画像３２０の座標変換は容易であり、全天球画像３２０は、矩形画像を処理対象とする一般的な符号化方式に適している。

また、新正距円筒図法では、画像３１１と画像３１２を低解像度化する。従って、全天球画像３２０の画素数は、全天球画像９０に比べて少なくなり、復号処理量が軽減する。また、全天球画像３２０がマッピングされた球２８０の上下の極の近辺の画素密度の上昇を抑制することができる。さらに、球２８０の上下の極の近辺にマッピングされる全天球画像３２０の符号化時に多くのビットが配分されることを防止し、全天球画像３２０全体を同一ビットレートで符号化することができる。その結果、全天球画像３２０の画質が向上する。

さらに、新正距円筒図法では、視線ベクトルに対応する面の数が、キューブマッピングにより全天球画像が生成される場合と同一の３つになる。従って、正距円筒図法により全天球画像が生成され、視線ベクトルに対応する面の数が４つになる場合に比べて、エンコーダおよびデコーダの数を削減することができる。

また、新正距円筒図法では、全天球画像３２０を構成する各面２８１乃至２８６の低解像度上画像３２１、画像３１３乃至３１６、および低解像度下画像３２２の画素数が全て同一である。従って、各面２８１乃至２８６の復号処理の負荷が略同一になり、視線ベクトルの変動による復号処理の負荷の変動が抑制される。

なお、上述した説明では、画像がマッピングされた球２８０の中央の面は、画像の正面２９１と背面２９２が、それぞれ、分割された面２８４と面２８５の境界、面２８３と面２８６の境界の中央に位置するように分割されたが、正面２９１と背面２９２が、分割された面の境界に位置しないように分割されてもよい。

（球の中央の面の分割方法の他の例）
図２６は、正面２９１と背面２９２が分割された面の中心に位置するように、中央の面が分割される場合の球２８０の例を示す図である。

なお、図２６において、図２０と同一のものには同一の符号を付してある。

図２６の例では、球２８０の面が、垂直方向に、面２８１、中央の面、および面２８２に３分割され、さらに、中央の面が、正面２９１が面３８５の中心に位置し、背面２９２が面３８６の中心に位置するように、４つの面３８３乃至３８６に分割される。

本明細書では、球２８０の中心である原点Ｏを通り、面３８３および面３８４の中心を通る軸をｂ´軸、面３８５および面３８６の中心を通る軸をｃ´軸とする。そして、原点Ｏと面２８１、面２８２、および面３８３乃至３８６のそれぞれとの距離をｒとしたときのｂ´＝ｒである面３８３、ｂ´＝−ｒである面３８４、c´＝ｒである面３８５、c´＝−ｒである面３８６を、適宜、＋ｂ´面３８３、−ｂ´面３８４、＋ｃ´面３８５、−ｃ´面３８６ともいう。

図２６の球２８０では、＋ａ面２８１と−ａ面２８２、＋ｂ´面３８３と−ｂ´面３８４、＋ｃ´面３８５と−ｃ´面３８６が、それぞれ、対向する。また、＋ｃ´面３８５の中心に正面２９１が位置し、−ｃ´面２８６の中心に背面２９２が位置する。

（新正距円筒図法により生成される全天球画像の他の例）
図２７は、図２６の球２８０に全方向の撮影画像がマッピングされる場合の全天球画像の例を示す図である。

なお、図２７において、図２１と同一のものには同一の符号を付してある。

図２７の左側に示すように、新正距円筒図法において、図２６の球２８０に全方向の撮影画像がマッピングされる場合、まず、図２１の場合と同様に画像３０１が生成される。図２７の中央に示すように、この画像３０１を垂直方向に３分割したときの、最も上の画像が＋ａ面２８１の画像３１１であり、最も下の画像が−ａ面２８２の画像３１２である。また、中央の画像を、左右の端から水平方向に全体の1/8の距離だけ離れた位置で分割し、その内側を水平方向に３等分したときの、最も左側の画像が−ｃ´面３８６の右半分の画像３９６−１（第１の分割中央画像）、左から２番目の画像が＋ｂ´面３８３の画像３９３（第３の分割中央画像）、左から３番目の画像が＋ｃ´面３８５の画像３９５（第４の分割中央画像）、左から４番目の画像が−ｂ´面３８４の画像３９４（第５の分割中央画像）、最も右側の画像が−ｃ´面３８６の左半分の画像３９６−２（第２の分割中央画像）である。

即ち、図２７の画像３０１の中央の画像は、図２１の画像３０１の中央の画像を、水平方向に全体の1/8の距離だけ右方向にずらしたものである。

以上のように、図２６の球２８０に全方向の撮影画像がマッピングされる場合、画像３０１の中央の画像において、−Ｃ´面３８６の画像３９６は、水平方向に分割され、画像３９６−１および画像３９６−２として配置される。また、正面２９１は、画像３９５の中心に位置し、背面２９２は、画像３９６−１の左端の中央と画像３９６−２の右端の中央に位置する。図２７の例では、画像３９３乃至３９５が、480×480画素からなり、画像３９６−１および３９６−２が、240×480画素からなる。

次に、図２７の右側に示すように、画像３０１のうちの画像３９１と画像３９２は、水平方向の解像度が1/2になるように低解像度化される。これにより、低解像度上画像３２１、低解像度下画像３２２、画像３９３乃至３９６の画素数は、全て同一の230400（=480×480=960×240）となる。

以上により、低解像度上画像３２１、低解像度下画像３２２、および画像３９３乃至３９６が全天球画像４００として生成される。従って、全天球画像４００において、正面２９１と背面２９２は、それぞれ、＋Ｃ面３９５、−Ｃ面３９６の中心に位置する。その結果、復号後の全天球画像４００において画像３９３乃至３９６の境界で画質劣化が発生することによる正面２９１の画質劣化を防止し、全天球画像４００の画質劣化を目立たなくすることができる。

即ち、画像３９３乃至３９６は、それぞれ、独立して符号化される。また、AVCやHEVC等の時間方向の動き補償により情報圧縮を行う圧縮符号化方式では、動画像の被写体が画面上を移動すると、圧縮歪みの出方が、ある程度の形状を保ったまま、フレーム間で伝搬される。画面が分割され、分割画像が独立して符号化される場合、動き補償が境界をまたいで行われないため、境界において、この圧縮歪みは大きくなる傾向がある。その結果、復号された分割画像の動画像では、分割画像の境界において圧縮歪みの出方が変化する筋が発生する。この現象は、AVCのスライス間やHEVCのタイル間において発生することが知られている。

従って、復号された画像３９３乃至３９６の境界では画質の劣化が発生しやすい。しかしながら、全天球画像４００では、ユーザが見る可能性が高い正面２９１が画像３９３乃至３９６の境界に位置しないため、正面２９１において画質劣化が発生せず、全天球画像４００の画質劣化が目立たない。

なお、図２１および図２８の画像３０１は、正距円筒図法による画像であるので、図２８のＡおよび図２８のＢに示すように、画像３０１の右端は、画像の左端と連続している。従って、視線ベクトルに対応する画像３０１上の位置が、画像３０１の右端より右に移動する場合、その位置は、画像３０１の左端に移動する。即ち、仮想的には、画像３０１は水平方向に連続している。

また、第２実施の形態において、高解像度画像のみを符号化してもよい。この場合、全ての面の高解像度画像の符号化ストリームを復号してもよいし、視線ベクトルに対応する面の高解像度画像の符号化ストリームのみを復号してもよい。

＜第３実施の形態＞
（画像表示システムの第３実施の形態の構成例）
図２９は、本開示を適用した画像表示システムの第３実施の形態の構成例を示すブロック図である。

図２９に示す構成のうち、図９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２９の画像表示システム３７０の構成は、ホームサーバ１３３、ヘッドマウントディスプレイ１３５の代わりにホームサーバ４７１、ディスプレイ３７２が設けられる点、変換装置１３４が設けられない点、および、コントローラ４７３が設けられる点が、図９の画像表示システム１３０の構成と異なる。

画像表示システム３７０では、ユーザがコントローラ４７３を操作することによりユーザの位置および視線ベクトルを入力し、それに応じた表示画像がディスプレイ３７２に表示される。

具体的には、画像表示システム３７０のホームサーバ４７１は、コンテンツサーバ１３２から伝送されてくる６本の高解像度符号化ストリームと１本の低解像度符号化ストリームを受け取る。ホームサーバ４７１は、コントローラ４７３からのユーザの位置と視線ベクトルの指示を受け付ける。

ホームサーバ４７１は、図９のホームサーバ１３３と同様に、ユーザの視線ベクトルに基づいて、面１１乃至１６のうちのユーザの視線ベクトルに対応する３つの面を決定する。そして、ホームサーバ４７１は、６本の高解像度符号化ストリームうちの、ユーザの視線ベクトルに対応する面の３本の高解像度符号化ストリームを選択し、復号する。また、ホームサーバ４７１は、１本の低解像度符号化ストリームを復号する。

また、ホームサーバ４７１は、ホームサーバ１３３と同様に、ユーザの位置と視線ベクトルに基づいて、ユーザの視野範囲を決定する。ホームサーバ４７１は、復号の結果得られる高解像度画像と低解像度画像から、ユーザの視野範囲の画像を表示画像として生成する。ホームサーバ４７１は、図示せぬHDMIケーブルを介して表示画像をディスプレイ３７２に伝送する。

ディスプレイ３７２は、ホームサーバ４７１から供給される表示画像を表示する。

コントローラ４７３は、操作ボタンなどを有する。ユーザが操作ボタンなどを操作することにより、ユーザの位置と視線ベクトルを入力したとき、コントローラ４７３は、その入力を受け付け、ユーザの位置と視線ベクトルをホームサーバ４７１に指示する。

なお、コントローラ４７３とディスプレイ３７２は一体化されていてもよい。この場合、コントローラ４７３とディスプレイ３７２は、例えば、携帯電話機やタブレット型端末などの携帯端末、パーソナルコンピュータの一部などにより構成される。また、コントローラ４７３は、ジャイロセンサ、加速度センサ、地磁気センサなどを有し、ユーザの視線ベクトルは、これらのセンサの検出結果に基づいて決定されるようにしてもよい。

＜高解像度画像と低解像度画像に対応する全天球画像の生成方法の説明＞
図３０は、本開示を適用した画像表示システムにおける高解像度画像と低解像度画像に対応する全天球画像の生成方法を説明する図である。

第１乃至第３実施の形態では、キューブマッピングにより生成された同一の全天球画像３０（３２０，４００）から高解像度画像と低解像度画像が生成されたが、異なる方法で生成された全天球画像から高解像度画像と低解像度画像が生成されるようにしてもよい。また、高解像度画像と低解像度画像の生成に用いられる全天球画像は、正距円筒図法により生成されるようにしてもよい。

即ち、図３０に示すように、本開示を適用した画像表示システムにおける高解像度画像と低解像度画像に対応する全天球画像の生成方法の組み合わせとしては、例えば、７つのパターンがある。

具体的には、第１のパターンは、高解像度画像に対応する全天球画像の生成方法がキューブマッピングであり、低解像度画像に対応する全天球画像の生成方法が正距円筒図法であるパターンである。この場合、低解像度画像に対応する全天球画像の生成方法が正距円筒図法であるので、本開示を適用した画像表示システムは、正距円筒図法を用いて生成された全天球画像を１本の符号化ストリームに符号化する既存の画像表示システムとの互換性を有する。また、高解像度画像に対応する全天球画像の生成方法が、キューブマッピングであるため、立方体画像における高解像度画像の画素密度は略均一になり、表示画像の画質が良い。

第２のパターンは、高解像度画像と低解像度画像に対応する全天球画像の生成方法が両方ともキューブマッピングである第１および第３実施の形態のパターンである。この場合、立方体画像における画素密度が略均一になり、表示画像の画質が良い。

また、第３のパターンは、高解像度画像と低解像度画像に対応する全天球画像の生成方法が両方とも正距円筒図法であるパターンである。この場合、画像表示システム１３０（３７０）は、本開示を適用した画像表示システムは、正距円筒図法を用いて生成された全天球画像を１本の符号化ストリームに符号化する既存の画像表示システムとの互換性を有する。

第４のパターンは、高解像度画像に対応する全天球画像の生成方法が正距円筒図法であり、低解像度画像に対応する全天球画像の生成方法がキューブマッピングであるパターンである。

第５のパターンは、高解像度画像に対応する全天球画像の生成方法がキューブマッピングであり、低解像度画像に対応する全天球画像の生成方法が新正距円筒図法であるパターンである。この場合、立方体画像における画素密度が略均一になり、表示画像の画質が良い。

また、第６のパターンは、高解像度画像と低解像度画像に対応する全天球画像の生成方法が両方とも新正距円筒図法である第２実施の形態のパターンである。この場合、立方体画像における画素密度が略均一になり、表示画像の画質が良い。

第７のパターンは、高解像度画像に対応する全天球画像の生成方法が新正距円筒図法であり、低解像度画像に対応する全天球画像の生成方法がキューブマッピングであるパターンである。この場合、立方体画像における画素密度が略均一になり、表示画像の画質が良い。

なお、第５および第７のパターンにおいて、キューブマッピングの代わりに正距円筒図法が採用されてもよい。

図３１は、高解像度画像と低解像度画像に対応する全天球画像の生成方法のパターンが第１のパターンである場合に、ホームサーバによりマッピングされる球の画像を示す図である。

第１のパターンでは、低解像度画像に対応する全天球画像が正距円筒図法により生成された全天球画像９０である。従って、図３１に示すように、まず、球７０に全天球画像９０が低解像度化された低解像度画像５０１がマッピングされる。そして、低解像度画像５０１がマッピングされた球７０に、ユーザの視野方向に対応する画像３１、画像３４、および画像３６が重畳されてマッピングされ、球画像５００が生成される。この球画像５００は、表示画像の生成に用いられる。

第１のパターンの画像表示システムは、高解像度画像用の全天球画像として全天球画像３０が生成され、低解像度画像用の全天球画像として全天球画像９０が生成される点を除いて、画像表示システム１３０と同様である。

また、第３のパターンの画像表示システムは、全天球画像３０が全天球画像９０に代わる点、および全天球画像９０が８つの面７１乃至７８の画像９１乃至９８に分割され、エンコーダの数が９つであり、デコーダの数が５つである点を除いて、画像表示システム１３０と同様である。

第４のパターンの画像表示システムは、高解像度画像用の全天球画像として全天球画像９０が生成され、低解像度画像用の全天球画像として全天球画像３０が生成される点、および、全天球画像９０が８つの面７１乃至７８の画像９１乃至９８に分割され、エンコーダの数が９つであり、デコーダの数が５つである点を除いて、画像表示システム１３０と同様である。

第５のパターンの画像表示システムは、高解像度画像用の全天球画像として全天球画像３０が生成され、低解像度画像用の全天球画像３２０（４００）が生成される点を除いて、画像表示システム１３０と同様である。

また、第７のパターンの画像表示システムは、高解像度画像用の全天球画像として全天球画像３２０（４００）が生成され、低解像度画像用の全天球画像として全天球画像３０が生成される点を除いて、第２実施の形態の画像表示システムと同様である。

＜第４実施の形態＞
（本開示を適用したコンピュータの説明）
上述したコンテンツサーバ１３２（３４０）やホームサーバ１３３（３７１）一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。

入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。

以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、高解像度画像の解像度に対する低解像度画像の解像度の割合は、1/4でなくてもよい。また、高解像度画像の解像度は、低解像度画像の解像度より高ければよく、高解像度画像は、全天球画像の解像度を変換することにより生成されるようにしてもよい。撮影画像は静止画像であっても動画像であってもよい。３Ｄモデルは、球や立方体のほか、正１２面体や正２０面体などの正多面体であってもよい。

また、コンテンツサーバ１３２（３４０）は、符号化ストリームを記録せずに、リアルタイムでホームサーバ１３３（３７１）に伝送するようにしてもよい。エンコーダ１５６−１乃至１５６−６は、コンテンツサーバ１３２（３４０）の外部に設けられるようにしてもよい。

さらに、上述した説明では、符号化ストリームに対応する解像度が２種類であったが、３種類以上であってもよい。

例えば、解像度が３種類ある場合には、３Ｄモデルの面が、面１１乃至１６（面７１乃至７８，面２８１乃至２８６,面２８１および２８２並びに面３８３乃至３８６）より細かく分割される。そして、面１１乃至１６（面７１乃至７８，面２８１乃至２８６,面２８１および２８２並びに面３８３乃至３８６）より細かく分割された面ごとに、全天球画像３０（９０,３２０，４００）が分割されて高解像度画像とされ、符号化される。また、画像３１乃至３６（画像９１乃至９８，低解像度上画像３２１、低解像度下画像３２２、および画像３１３乃至３１６（３９３乃至３９６））がそれぞれ低解像度化されて、中解像度画像とされ、符号化される。さらに、全天球画像３０（９０）は、中解像度画像の解像度より低い解像度に低解像度化されて、符号化される。そして、視線ベクトルに対応する面としては、高解像度画像に対応する面が選択される。

また、全天球画像の生成時にマッピングされる３Ｄモデルと、表示画像の生成時にマッピングされる３Ｄモデルのサイズは、異なっていてもよい。

さらに、表示画像の生成時に、低解像度画像と高解像度画像がマッピングされる３Ｄモデルは、低解像度画像がマッピングされる３Ｄモデルが、高解像度画像がマッピングされる３Ｄモデルを内包していれば、異なっていてもよい。

また、第３実施の形態において、ディスプレイ３７２の形状はドーム型であるようにしてもよい。この場合、ホームサーバ４７１は、例えば、全ての面１１乃至１６の画像を表示画像として生成する。

さらに、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本開示は、以下のような構成もとることができる。

（１）
全方向の画像から生成されたモデルの複数の面の画像からなる第１の全天球画像を前記面ごとに第１の解像度で符号化し、各面に対応する第１の符号化ストリームを生成する第１の符号化部と、
前記全方向の画像から生成された第２の全天球画像を第２の解像度で符号化し、第２の符号化ストリームを生成する第２の符号化部と
を備える画像処理装置。
（２）
前記第１の全天球画像と前記第２の全天球画像の生成方法は異なる
前記（１）に記載の画像処理装置。
（３）
前記第１の全天球画像の生成方法は、キューブマッピングであり、
前記第２の全天球画像の生成方法は、正距円筒図法である
前記（２）に記載の画像処理装置。
（４）
前記第１の符号化部は、前記複数の面の対向する面どうしのペアの前記第１の符号化ストリームのランダムアクセス可能位置が同期するように、前記第１の符号化ストリームを生成する
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記第１の符号化部は、GOP構造をClosed GOP構造として、前記第１の符号化ストリームを生成する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記第２の全天球画像の解像度を前記第２の解像度に変換する変換部
をさらに備える
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記第１の符号化ストリームと前記第２の符号化ストリームとを記憶する記憶部
をさらに備える
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記記憶部に記憶された前記第１の符号化ストリームと前記第２の符号化ストリームとを、前記第１の符号化ストリームと前記第２の符号化ストリームを復号する端末に配信する配信部
をさらに備える
前記（７）に記載の画像処理装置。
（９）
前記第１の符号化部は、AVC/H.264規格またはHEVC/H.265規格に準じた前記第１の符号化ストリームを生成し、
前記第２の符号化部は、AVC/H.264規格またはHEVC/H.265規格に準じた前記第２の符号化ストリームを生成する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
画像処理装置が、
全方向の画像から生成されたモデルの複数の面の画像からなる第１の全天球画像を前記面ごとに第１の解像度で符号化し、各面に対応する第１の符号化ストリームを生成する第１の符号化ステップと、
前記全方向の画像から生成された第２の全天球画像を第２の解像度で符号化し、第２の符号化ストリームを生成する第２の符号化ステップと
を含む画像処理方法。
（１１）
全方向の画像から生成されたモデルの複数の面の画像からなる第１の全天球画像が前記面ごとに分割されて第１の解像度で符号化された第１の符号化ストリームと、前記全方向の画像から生成された第２の全天球画像が第２の解像度で符号化された第２の符号化ストリームとに対して、前記複数の面の対向する面どうしのペアのうちの一方の面に対応する前記第１の符号化ストリームを復号し、その面の前記第１の解像度の前記第１の全天球画像を生成する復号部
を備える画像処理装置。
（１２）
前記復号部は、前記第２の符号化ストリームを復号し、前記第２の解像度の前記第２の全天球画像を生成する
前記（１１）に記載の画像処理装置。
（１３）
ユーザの視線方向に基づいて、前記ペアのうちの一方の面を選択する選択部
をさらに備え、
前記復号部は、前記選択部により選択された前記面に対応する前記第１の符号化ストリームを復号する
前記（１１）または（１２）に記載の画像処理装置。
（１４）
前記復号部により生成された前記ペアのうちの一方の面の前記第１の解像度の前記第１の全天球画像と前記第２の解像度の前記第２の全天球画像とを用いて、前記視線方向に基づく視野範囲の画像を生成する描画部
をさらに備える
前記（１３）に記載の画像処理装置。
（１５）
前記第１の全天球画像と前記第２の全天球画像の生成方法は異なる
前記（１１）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
前記第１の全天球画像の生成方法は、キューブマッピングであり、
前記第２の全天球画像の生成方法は、正距円筒図法である
前記（１５）に記載の画像処理装置。
（１７）
前記ペアの前記第１の符号化ストリームのランダムアクセス可能位置は同期する
前記（１１）乃至（１６）のいずれかに記載の画像処理装置。
（１８）
前記第１の符号化ストリームのGOP構造は、Closed GOP構造である
前記（１１）乃至（１７）のいずれかに記載の画像処理装置。
（１９）
前記復号部は、
前記第１の符号化ストリームを復号する第１の復号部と、
前記第２の符号化ストリームを復号する第２復号部と
を備える
前記（１１）乃至（１８）のいずれかに記載の画像処理装置。
（２０）
画像処理装置が、
全方向の画像から生成されたモデルの複数の面の画像からなる第１の全天球画像が前記面ごとに分割されて第１の解像度で符号化された第１の符号化ストリームと、前記全方向の画像から生成された第２の全天球画像が第２の解像度で符号化された第２の符号化ストリームとに対して、前記複数の面の対向する面どうしのペアのうちの一方の面に対応する前記第１の符号化ストリームを復号し、その面の前記第１の解像度の前記第１の全天球画像を生成する復号ステップ
を含む画像処理方法。

１０ 立方体, １１乃至１６ 面, ３０ 全天球画像, １３２ コンテンツサーバ, １３３ ホームサーバ, １５４,１５６−１乃至１５６−６ エンコーダ, ２２３,２２５−１乃至２２５−３ デコーダ, ２２７ 描画部, ２２９ 視線検出部， ３０１，３１１乃至３１６ 画像, ３２０ 全天球画像, ３２１ 低解像度上画像, ３４０ コンテンツサーバ, ３２２ 低解像度下画像, ３６２ 画面分割部, ３６３ 低解像度化部， ４７１ ホームサーバ

Claims (20)

1. 全方向の画像から生成されたモデルの複数の面の画像からなる第１の全天球画像を前記面ごとに第１の解像度で符号化し、各面に対応する第１の符号化ストリームを生成する第１の符号化部と、
   前記全方向の画像から生成された第２の全天球画像を第２の解像度で符号化し、第２の符号化ストリームを生成する第２の符号化部と
   を備える画像処理装置。
2. 前記第１の全天球画像と前記第２の全天球画像の生成方法は異なる
   請求項１に記載の画像処理装置。
3. 前記第１の全天球画像の生成方法は、キューブマッピングであり、
   前記第２の全天球画像の生成方法は、正距円筒図法である
   請求項２に記載の画像処理装置。
4. 前記第１の符号化部は、前記複数の面の対向する面どうしのペアの前記第１の符号化ストリームのランダムアクセス可能位置が同期するように、前記第１の符号化ストリームを生成する
   請求項１に記載の画像処理装置。
5. 前記第１の符号化部は、GOP構造をClosed GOP構造として、前記第１の符号化ストリームを生成する
   請求項４に記載の画像処理装置。
6. 前記第２の全天球画像の解像度を前記第２の解像度に変換する変換部
   をさらに備える
   請求項１に記載の画像処理装置。
7. 前記第１の符号化ストリームと前記第２の符号化ストリームとを記憶する記憶部
   をさらに備える
   請求項１に記載の画像処理装置。
8. 前記記憶部に記憶された前記第１の符号化ストリームと前記第２の符号化ストリームとを、前記第１の符号化ストリームと前記第２の符号化ストリームを復号する端末に配信する配信部
   をさらに備える
   請求項７に記載の画像処理装置。
9. 前記第１の符号化部は、AVC/H.264規格またはHEVC/H.265規格に準じた前記第１の符号化ストリームを生成し、
   前記第２の符号化部は、AVC/H.264規格またはHEVC/H.265規格に準じた前記第２の符号化ストリームを生成する
   請求項１に記載の画像処理装置。
10. 画像処理装置が、
    全方向の画像から生成されたモデルの複数の面の画像からなる第１の全天球画像を前記面ごとに第１の解像度で符号化し、各面に対応する第１の符号化ストリームを生成する第１の符号化ステップと、
    前記全方向の画像から生成された第２の全天球画像を第２の解像度で符号化し、第２の符号化ストリームを生成する第２の符号化ステップと
    を含む画像処理方法。
11. 全方向の画像から生成されたモデルの複数の面の画像からなる第１の全天球画像が前記面ごとに分割されて第１の解像度で符号化された第１の符号化ストリームと、前記全方向の画像から生成された第２の全天球画像が第２の解像度で符号化された第２の符号化ストリームとに対して、前記複数の面の対向する面どうしのペアのうちの一方の面に対応する前記第１の符号化ストリームを復号し、その面の前記第１の解像度の前記第１の全天球画像を生成する復号部
    を備える画像処理装置。
12. 前記復号部は、前記第２の符号化ストリームを復号し、前記第２の解像度の前記第２の全天球画像を生成する
    請求項１１に記載の画像処理装置。
13. ユーザの視線方向に基づいて、前記ペアのうちの一方の面を選択する選択部
    をさらに備え、
    前記復号部は、前記選択部により選択された前記面に対応する前記第１の符号化ストリームを復号する
    請求項１２に記載の画像処理装置。
14. 前記復号部により生成された前記ペアのうちの一方の面の前記第１の解像度の前記第１の全天球画像と前記第２の解像度の前記第２の全天球画像とを用いて、前記視線方向に基づく視野範囲の画像を生成する描画部
    をさらに備える
    請求項１３に記載の画像処理装置。
15. 前記第１の全天球画像と前記第２の全天球画像の生成方法は異なる
    請求項１１に記載の画像処理装置。
16. 前記第１の全天球画像の生成方法は、キューブマッピングであり、
    前記第２の全天球画像の生成方法は、正距円筒図法である
    請求項１５に記載の画像処理装置。
17. 前記ペアの前記第１の符号化ストリームのランダムアクセス可能位置は同期する
    請求項１１に記載の画像処理装置。
18. 前記第１の符号化ストリームのGOP構造は、Closed GOP構造である
    請求項１７に記載の画像処理装置。
19. 前記復号部は、
    前記第１の符号化ストリームを復号する第１の復号部と、
    前記第２の符号化ストリームを復号する第２復号部と
    を備える
    請求項１１に記載の画像処理装置。
20. 画像処理装置が、
    全方向の画像から生成されたモデルの複数の面の画像からなる第１の全天球画像が前記面ごとに分割されて第１の解像度で符号化された第１の符号化ストリームと、前記全方向の画像から生成された第２の全天球画像が第２の解像度で符号化された第２の符号化ストリームとに対して、前記複数の面の対向する面どうしのペアのうちの一方の面に対応する前記第１の符号化ストリームを復号し、その面の前記第１の解像度の前記第１の全天球画像を生成する復号ステップ
    を含む画像処理方法。

Images