JP6685995B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本開示は、画像処理装置および画像処理方法に関し、特に、ユーザの視野範囲の画像を即座に表示させることができるようにした画像処理装置および画像処理方法に関する。

マルチカメラにより撮影された全方向の撮影画像から、水平方向の周囲360度および垂直方向の周囲180度の画像を２Ｄ画像（平面画像）にマッピングした全天球画像を生成し、符号化して記録する記録装置がある（例えば、特許文献１参照）。

このような記録装置では、全天球画像の生成方法として、正距円筒図法やキューブマッピングなどの３Ｄ画像から２Ｄ画像にマッピングを行う方法が用いられる。全天球画像の生成方法として正距円筒図法が用いられる場合、全天球画像は、撮影画像を球の面にマッピングしたときの球の正距円筒図法による画像である。また、全天球画像の生成方法としてキューブマッピングが用いられる場合、全天球画像は、撮影画像を立方体（キューブ）の面にマッピングしたときの立方体の展開図の画像である。

一方、記録装置により記録された全天球画像の符号化ストリームを復号し、その結果得られる全天球画像を用いてユーザの視野範囲の画像を表示させる再生装置がある。このような再生装置は、全天球画像を球や立方体などの３Ｄモデルの表面上にテクスチャとして貼り付け、その３Ｄモデルの内部の１点から、ユーザの視線ベクトルの方向の３Ｄモデルの表面のテクスチャを見たときのユーザの視野範囲の画像を表示させる。これにより、ユーザの視野範囲の撮影画像を再現する。

この再現方法は、ＣＧ（Computer Graphics）の分野では、環境光モデルと呼ばれる。また、正距円筒図法で生成された画像を球の表面に貼る環境光モデルは、Sphere Modelと呼ばれ、キューブマッピングで生成された画像を立方体の表面に貼る環境光モデルは、Cube Modelと呼ばれる。

ユーザの視野範囲の撮影画像は、全天球画像のうちの、ユーザの視線ベクトルに対応する領域のみを用いて再現することができる。例えば、水平方向の視野角が90度である場合、水平方向については、水平方向の周囲360度の全方向の画像がマッピングされている全天球画像のうちの４分の１しか、ユーザの視野範囲の撮影画像の再現に用いられない。垂直方向についても同様である。

従って、全天球画像全体の符号化ストリームを復号することは無駄が多い。しかしながら、視線ベクトルはユーザによって決められるため、記録装置は、全天球画像のうちの視線ベクトルに対応する領域のみを符号化することはできない。

また、全天球画像が、MPEG2（Moving Picture Experts Group phase 2）やAVC（Advanced Video Coding）/H.264などの一般的な符号化方式で符号化される場合、画面全体の情報を用いて符号化が行われる。従って、全天球画像が１枚の画像として符号化された符号化ストリームから、ユーザの視線ベクトルに対応する領域の符号化ストリームのみを復号することは難しい。

そこで、記録装置が、全天球画像を分割して符号化し、再生装置が、ユーザの視線ベクトルに対応する分割領域の符号化ストリームのみを復号することにより、復号処理量を軽減することが考えられている（例えば、特許文献２および特許文献３）。

特開２００６−１４１７４号公報 特開２００１−２９８６５２号公報 特開２００２−３１２７７８号公報

しかしながら、MPEG2やAVCなどの一般的な符号化方式では、時間方向の相関性を利用して符号化が行われる。従って、GOP(Group of Picture)の先頭、IDRピクチャやRandom Access Pointなどのランダムアクセス可能位置以外で復号対象の符号化ストリームの切り替えを行うことはできない。また、ランダムアクセス可能位置の間隔が長いほど圧縮効率は向上するため、ランダムアクセス可能位置の間隔を十分に短くすることは困難である。

従って、ユーザの視線ベクトルが急激に変化した場合、変化後の視線ベクトルに対応する領域の全天球画像を用いて、ユーザの視野範囲の画像を即座に表示させることはできない。その結果、変化前の視野範囲の画像が表示されたり、変化後の視野範囲の画像のうちの一部が表示されなかったりする。

本開示は、このような状況に鑑みてなされたものであり、ユーザの視野範囲の画像を即座に表示させることができるようにするものである。

本開示の第１の側面の画像処理装置は、全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第１の解像度の第１の面の前記全天球画像と前記第１の解像度より低い第２の解像度の第２の面の前記全天球画像とを合成した第１の合成画像と、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像とを合成した第２の合成画像とを符号化する符号化部を備える画像処理装置である。

本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。

本開示の第１の側面においては、全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第１の解像度の第１の面の前記全天球画像と前記第１の解像度より低い第２の解像度の第２の面の前記全天球画像とを合成した第１の合成画像と、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像とを合成した第２の合成画像とが符号化される。

本開示の第２の側面の画像処理装置は、全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第１の解像度の第１の面の前記全天球画像と前記第１の解像度より低い第２の解像度の第２の面の前記全天球画像とを合成した第１の合成画像の符号化ストリームと、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像とを合成した第２の合成画像の符号化ストリームのうちの、ユーザの視線方向に対応する面の前記第１の解像度の前記全天球画像が合成された方の符号化ストリームを復号する復号部を備える画像処理装置である。

本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。

本開示の第２の側面においては、全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第１の解像度の第１の面の前記全天球画像と前記第１の解像度より低い第２の解像度の第２の面の前記全天球画像とを合成した第１の合成画像の符号化ストリームと、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像とを合成した第２の合成画像の符号化ストリームのうちの、ユーザの視線方向に対応する面の前記第１の解像度の前記全天球画像が合成された方の符号化ストリームが復号される。

なお、第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、第１および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

第１および第２の側面の画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本開示の第１の側面によれば、全天球画像を符号化することができる。また、本開示の第１の側面によれば、ユーザの視野範囲の画像を即座に表示可能にする符号化ストリームを生成することができる。

本開示の第２の側面によれば、全天球画像の符号化ストリームを復号することができる。また、本開示の第２の側面によれば、ユーザの視野範囲の画像を即座に表示させることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

３Ｄモデルとしての立方体を示す斜視図である。 キューブマッピングにより生成される全天球画像の例を示す図である。 図２の全天球画像を用いて生成されるユーザの視野範囲の画像の例を示す図である。 ３Ｄモデルとしての球を示す斜視図である。 正距円筒図法により生成される全天球画像の例を示す図である。 図５の全天球画像を用いて生成されるユーザの視野範囲の画像の例を示す図である。 本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。 図７のコンテンツサーバの構成例を示すブロック図である。 図８の合成部により生成される合成画像を説明する図である。 図８のエンコーダの構成例を示すブロック図である。 図８のコンテンツサーバの符号化処理を説明するフローチャートである。 図７のホームサーバの構成例を示すブロック図である。 図１２のデコーダの構成例を示すブロック図である。 図１２のマッピング処理部により生成される立方体画像を説明する図である。 図１２のデコーダの動作タイミングの例を示すタイミングチャートである。 高解像度画像と低解像度画像が別々に符号化される場合のデコーダの動作タイミングの一例を示すタイミングチャートである。 図１２のホームサーバの復号処理を説明するフローチャートである。 本開示を適用した画像表示システムの第２実施の形態の合成画像を説明する図である。 本開示を適用した画像表示システムの第３実施の形態のコンテンツサーバの構成例を示すブロック図である。 図１９の合成部により生成される合成画像を説明する図である。 図１９のコンテンツサーバの符号化処理を説明するフローチャートである。 本開示を適用した画像表示システムの第３実施の形態のコンテンツサーバの構成例を示すブロック図である。 図２２のホームサーバの復号処理を説明するフローチャートである。 本開示を適用した画像表示システムの第４実施の形態の構成例を示すブロック図である。 本開示の高解像度画像と低解像度画像に対応する全天球画像の生成方法を説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。

以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
０．本開示の前提（図１乃至図６）
１．第１実施の形態：画像表示システム（図７乃至図１７）
２．第２実施の形態：画像表示システム（図１８）
３．第３実施の形態：画像表示システム（図１９乃至図２３）
４．第４実施の形態：画像表示システム（図２４）
５．本開示の全天球画像の生成方法(図２５)
６．第５実施の形態：コンピュータ（図２６）

＜本開示の前提＞
（キューブマッピングの説明）
図１は、全天球画像の生成方法としてキューブマッピングが用いられる場合に画像がマッピングされる３Ｄモデルとしての立方体を示す斜視図である。

図１に示すように、全天球画像の生成方法としてキューブマッピングが用いられる場合、画像は立方体１０の６つの面１１乃至１６にマッピングされる。

本明細書では、立方体１０の中心である原点Ｏを通り、面１１および面１２と直交する軸をｘ軸、面１３および面１４と直交する軸をｙ軸、面１５および面１６と直交する軸をｚ軸とする。そして、原点Ｏと面１１乃至１６のそれぞれとの距離をｒとしたときのｘ＝ｒである面１１を、適宜、＋ｘ面１１ともいい、ｘ＝−ｒである面１２を、適宜、−ｘ面１２ともいう。同様に、ｙ＝ｒである面１３、ｙ＝−ｒである面１４、ｚ＝ｒである面１５、ｚ＝−ｒである面１６を、適宜、＋ｙ面１３、−ｙ面１４、＋ｚ面１５、−ｚ面１６ともいう。

＋ｘ面１１と−ｘ面１２、＋ｙ面１３と−ｙ面１４、および＋ｚ面１５、−ｚ面１６は、それぞれ、対向する。

図２は、キューブマッピングにより生成される全天球画像の例を示す図である。

図２に示すように、キューブマッピングにより生成される全天球画像３０は、立方体１０の展開図の画像である。具体的には、全天球画像３０は、中央の左から順に−ｘ面１２の画像３２、＋ｚ面１５の画像３５、＋ｘ面１１の画像３１、−ｚ面１６の画像３６が配置され、画像３５の上に＋ｙ面１３の画像３３が配置され、画像３５の下に−ｙ面１４の画像３４が配置された画像である。

図３は、図２の全天球画像３０を用いて生成されるユーザの視野範囲の画像の例を示す図である。

図３の例では、ユーザの視線ベクトル５０が、原点Ｏから＋ｘ面１１と＋ｚ面１５の接する辺の下部に向かう方向（視線方向）のベクトルである。

この場合、ユーザの視野範囲５１の画像は、＋ｘ面１１の画像３１、−ｙ面１４の画像３４、および＋ｚ面１５の画像３５を用いて生成することができる。即ち、ユーザの視線ベクトル５０に対応する面は、視線ベクトル５０のｘ軸成分とｘ軸座標の正負が同一である＋ｘ面１１、ｙ軸成分とｙ軸座標の正負が同一である−ｙ面１４、およびｚ軸成分とｚ軸座標の正負が同一である＋ｚ面１５である。

なお、本明細書では、全天球画像の対向する面どうしのペアのうちの、ユーザの視野範囲の画像の生成に用いられる可能性がある方の面を、ユーザの視線ベクトルに対応する面という。

（正距円筒図法の説明）
図４は、全天球画像の生成方法として正距円筒図法が用いられる場合に画像がマッピングされる３Ｄモデルとしての球を示す斜視図である。

図４に示すように、全天球画像の生成方法として正距円筒図法が用いられる場合、画像は、球７０の面にマッピングされる。球７０の面は、例えば、同一のサイズおよび形状の８つの面７１乃至７８に分割することができる。

本明細書では、球７０の中心である原点Ｏを通り、面７１および面７２の中心を通る軸をＡ軸、面７３および面７４の中心を通る軸をＢ軸、面７５および面７６の中心を通る軸をＣ軸、面７７および面７８の中心を通る軸をＤ軸とする。そして、原点Ｏと面７１乃至７８のそれぞれとの距離をｒとしたときのＡ＝ｒである面７１を、適宜、＋Ａ面７１ともいい、Ａ＝−ｒである面７２を、適宜、−Ａ面７２ともいう。同様に、Ｂ＝ｒである面７３、Ｂ＝−ｒである面７４、Ｃ＝ｒである面７５、Ｃ＝−ｒである面７６、Ｄ＝ｒである面７７、Ｄ＝−ｒである面７８を、適宜、＋Ｂ面７３、−Ｂ面７４、＋Ｃ面７５、−Ｃ面７６、＋Ｄ面７７、−Ｄ面７８ともいう。

＋Ａ面７１と−Ａ面７２、＋Ｂ面７３と−Ｂ面７４、＋Ｃ面７５と−Ｃ面７６、＋Ｄ面７７と−Ｄ面７８は、それぞれ、対向する。

図５は、正距円筒図法により生成される全天球画像の例を示す図である。

図５に示すように、正距円筒図法により生成される全天球画像９０は、球７０の正距円筒図法による画像である。即ち、全天球画像９０の横座標と縦座標は、球７０が地球儀である場合の経度と緯度に相当する。

具体的には、全天球画像９０は、上の左から順に＋Ａ面７１の画像９１、＋Ｂ面７３の画像９３、＋Ｃ面７５の画像９５、＋Ｄ面７７の画像９７が配置され、下の左から順に−Ｃ面７６の画像９６、−Ｄ面７８の画像９８、−Ａ面７２の画像９２、−Ｂ面７４の画像９４が配置された画像である。

図６は、図５の全天球画像９０を用いて生成されるユーザの視野範囲の画像の例を示す図である。

図６の例では、ユーザの視線ベクトル１１０が、原点Ｏから＋Ａ面７１、＋Ｂ面７３、−Ｃ面７６、および−Ｄ面７８の交点に向かうベクトルである。

この場合、ユーザの視野範囲１１１の画像は、＋Ａ面７１の画像９１、＋Ｂ面７３の画像９３、−Ｃ面７６の画像９６、および−Ｄ面７８の画像９８を用いて生成することができる。即ち、ユーザの視線ベクトル１１０に対応する面は、視線ベクトル１１０のＡ軸成分とＡ軸座標の正負が同一である＋Ａ面７１、Ｂ軸成分とＢ軸座標の正負が同一である＋Ｂ面７３、Ｃ軸成分とＣ軸座標の正負が同一である−Ｃ面７６、およびＤ軸成分とＤ軸座標の正負が同一である−Ｄ面７８である。

以上のように、ユーザの視野範囲の画像は、全天球画像３０（９０）のうちの、ユーザの視線ベクトルに対応する面の画像のみを用いて生成される。従って、全天球画像３０（９０）を面ごとに符号化することにより、ユーザの視線ベクトルに対応する面の画像の符号化ストリームのみを復号可能にし、その結果復号負荷を軽減することが考案されている。

しかしながら、MPEGやAVCなどの一般的な符号化方式では、時間方向の相関性を利用して符号化が行われるので、ランダムアクセス可能位置以外で復号対象の符号化ストリームの切り替えを行うことはできない。従って、ユーザの視線ベクトルが急激に変化した場合、変化後の視線ベクトルに対応する面の画像を用いてユーザの視野範囲の画像を即座に表示させることはできない。

そこで、全天球画像を低解像度化して面ごとに符号化し、視線ベクトルに対応しない面については、低解像度化された全天球画像の符号化ストリームを復号することにより、全ての面について、高解像度または低解像度の全天球画像を得ることが考えられる。

この場合、例えば、全天球画像の生成方法としてキューブマッピングが用いられるとき、６つの面１１乃至１６の低解像度化されていない高解像度画像と低解像度化された低解像度画像が符号化され、合計１２本の符号化ストリームが生成される。そして、１２本の符号化ストリームのうちの、視線ベクトルに対応する３つの面の高解像度画像と、視線ベクトルに対応しない３つの面の低解像度画像の合計６本の符号化ストリームが復号される。

その結果、視線ベクトルが急激に変化した場合であっても、変化後の視線ベクトルに対応する面の高解像度画像が復号されるまで、その面の低解像度画像に基づいて、ユーザの視野範囲の画像を表示させることができる。従って、ユーザの視野範囲の画像を即座に表示させることができる。

また、視線ベクトルに対応しない面については、低解像度画像の符号化ストリームが復号されるため、全ての面の高解像度画像の符号化ストリームが復号される場合に比べて、復号する画素の数が削減され、復号処理量を軽減することができる。

しかしながら、この場合、復号装置は、各面の符号化ストリームを復号する６つのデコーダを備える必要がある。また、対向する面のペアに対応するデコーダどうしの間で、復号対象の、高解像度の符号化ストリームと低解像度の符号化ストリームの一方から他方へ切り替えを同時に行う必要があるため、切り替えの制御が困難である。よって、本技術は、復号装置のデコーダの数を削減し、切り替えの制御を容易にする。

＜第１実施の形態＞
（画像表示システムの第１実施の形態の構成例）
図７は、本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。

図７の画像表示システム１３０は、マルチカメラ１３１、コンテンツサーバ１３２、ホームサーバ１３３、変換装置１３４、およびヘッドマウントディスプレイ１３５により構成される。画像表示システム１３０は、マルチカメラ１３１により撮影された撮影画像から全天球画像３０を生成し、全天球画像３０のうちのユーザの視野範囲の画像を表示する。

具体的には、画像表示システム１３０のマルチカメラ１３１は、複数のカメラにより構成される。各カメラは、撮影を行い、全方向の撮影画像をフレーム単位で生成する。マルチカメラ１３１は、全方向の撮影画像をコンテンツサーバ１３２に供給する。

コンテンツサーバ１３２は、キューブマッピングを用いて、マルチカメラ１３１から供給される撮影画像から、全天球画像３０を生成する。コンテンツサーバ１３２は、全天球画像３０を６つの面１１乃至１６の画像３１乃至３６に分割し、低解像度化する。これにより、面１１乃至１６の低解像度化されていない高解像度画像と低解像度化された低解像度画像とが生成される。

また、コンテンツサーバ１３２は、面１１乃至１６のうちの対向する面どうしのペアごとに、そのペアの一方の面の高解像度画像と他方の面の低解像度画像とを合成し、一方の面の低解像度画像と他方の面の高解像度画像とを合成する。

コンテンツサーバ１３２（画像処理装置）は、合成の結果得られる６つの合成画像を、それぞれ、AVCやHEVC(High Efficiency Video Coding)/H.265等の符号化方式で圧縮符号化し、６本の符号化ストリームを生成する。コンテンツサーバ１３２は、生成された６本の符号化ストリームを記録する。また、コンテンツサーバ１３２は、記録している６本の符号化ストリームを、図示せぬネットワークを介してホームサーバ１３３に伝送する。

ホームサーバ１３３は、コンテンツサーバ１３２から伝送されてくる６本の符号化ストリームを受け取る。また、ホームサーバ１３３は、カメラ１３３Ａを内蔵し、ヘッドマウントディスプレイ１３５に付されたマーカ１３５Ａを撮影する。そして、ホームサーバ１３３は、マーカ１３５Ａの撮影画像に基づいて、ユーザの位置を検出する。さらに、ホームサーバ１３３は、ヘッドマウントディスプレイ１３５のジャイロセンサ１３５Ｂの検出結果を、ヘッドマウントディスプレイ１３５から変換装置１３４を介して受け取る。

ホームサーバ１３３は、ジャイロセンサ１３５Ｂの検出結果に基づいてユーザの視線ベクトルを決定し、ユーザの位置と視線ベクトルに基づいて、ユーザの視野範囲を決定する。

ホームサーバ１３３は、面１１乃至１６のうちの、ユーザの視線ベクトルに対応する３
つの面を決定する。そして、ホームサーバ１３３（画像処理装置、端末）は、６本の符号化ストリームから、ユーザの視線ベクトルに対応する面の高解像度画像を含む合成画像の３本の符号化ストリームを選択し、復号する。

そして、ホームサーバ１３３は、復号の結果得られる合成画像から、ユーザの視野範囲の画像を表示画像として生成する。ホームサーバ１３３は、図示せぬHDMI（登録商標）（High-Definition Multimedia
Interface）ケーブルを介して表示画像を変換装置１３４に伝送する。

変換装置１３４は、ホームサーバ１３３から伝送されてくる表示画像における座標を、ヘッドマウントディスプレイ１３５における座標に変換する。変換装置１３４は、座標変換後の表示画像をヘッドマウントディスプレイ１３５に供給する。

ヘッドマウントディスプレイ１３５は、ユーザの頭に装着される。ヘッドマウントディスプレイ１３５は、変換装置１３４から供給される表示画像を表示する。また、ヘッドマウントディスプレイ１３５に内蔵されるジャイロセンサ１３５Ｂは、ヘッドマウントディスプレイ１３５の傾きを検出し、その検出結果を、変換装置１３４を介してホームサーバ１３３に伝送する。

（コンテンツサーバの構成例）
図８は、図７のコンテンツサーバ１３２の構成例を示すブロック図である。

図８のコンテンツサーバ１３２は、スティッチング処理部１５１、マッピング処理部１５２、分割部１５３、低解像度化部１５４−１乃至１５４−３、合成部１５５−１乃至１５５−３、エンコーダ１５６−１乃至１５６−６、ストレージ１５７、および伝送部１５８により構成される。

スティッチング処理部１５１は、図７のマルチカメラ１３１から供給される全方向の撮影画像の色や明るさを同一にし、重なりを除去して接続する。スティッチング処理部１５１は、その結果得られる撮影画像をマッピング処理部１５２に供給する。

マッピング処理部１５２は、キューブマッピングにより、スティッチング処理部１５１から供給される撮影画像から全天球画像３０を生成し、分割部１５３に供給する。なお、スティッチング処理部１５１とマッピング処理部１５２は、一体化されていてもよい。

分割部１５３は、マッピング処理部１５２から供給される全天球画像３０を、６つの面１１乃至１６の画像３１乃至３６に分割する。分割部１５３は、面１１乃至１６のうちの対向する＋ｘ面１１と−ｘ面１２のペアの画像３１および画像３２を低解像度化部１５４−１に供給し、対向する＋ｙ面１３と−ｙ面１４のペアの画像３３および画像３４を低解像度化部１５４−２に供給する。また、分割部１５３は、対向する＋ｚ面１５と−ｚ面１６のペアの画像３５および画像３６を低解像度化部１５４−３に供給する。

低解像度化部１５４−１は、分割部１５３から供給される画像３１と画像３２を、そのまま、＋ｘ面１１と−ｘ面１２の高解像度画像として合成部１５５−１に供給する。また、低解像度化部１５４−１（変換部）は、画像３１および画像３２それぞれの水平方向と垂直方向の解像度を1/2にすることにより、画像３１および画像３２を低解像度化し、＋ｘ面１１と−ｘ面１２の低解像度画像を生成する。低解像度化部１５４−１は、＋ｘ面１１と−ｘ面１２の低解像度画像を合成部１５５−１に供給する。

合成部１５５−１（生成部）は、低解像度化部１５４−１から供給される＋ｘ面１１の
高解像度画像と−ｘ面１２の低解像度画像とを合成して、＋ｘ面１１の合成画像（第１の合成画像）を生成し、エンコーダ１５６−１に供給する。合成部１５５−１は、低解像度化部１５４−１から供給される−ｘ面１２の高解像度画像と＋ｘ面１１の低解像度画像とを合成して、−ｘ面１２の合成画像（第２の合成画像）を生成し、エンコーダ１５６−２に供給する。

低解像度化部１５４−２は、低解像度化部１５４−１と同様に、分割部１５３から供給される画像３３および画像３４を、＋ｙ面１３および−ｙ面１４の高解像度画像として合成部１５５−２に供給する。また、低解像度化部１５４−２は、低解像度化部１５４−１と同様に、画像３３および画像３４から、＋ｙ面１３および−ｙ面１４の低解像度画像を生成し、合成部１５５−２に供給する。

合成部１５５−２は、低解像度化部１５４−２から供給される＋ｙ面１３の高解像度画像と−ｙ面１４の低解像度画像とを合成し、＋ｙ面１３の合成画像（第１の合成画像）を生成し、エンコーダ１５６−３に供給する。合成部１５５−２は、低解像度化部１５４−２から供給される−ｙ面１４の高解像度画像と＋ｙ面１３の低解像度画像とを合成し、−ｙ面１４の合成画像（第２の合成画像）を生成し、エンコーダ１５６−４に供給する。

低解像度化部１５４−３は、低解像度化部１５４−１と同様に、分割部１５３から供給される画像３５および画像３６を、そのまま、＋ｚ面１５および−ｚ面１６の高解像度画像として合成部１５５−３に供給する。また、低解像度化部１５４−３は、低解像度化部１５４−１と同様に、画像３５および画像３６から、＋ｚ面１５および−ｚ面１６の低解像度画像を生成し、合成部１５５−３に供給する。

合成部１５５−３は、低解像度化部１５４−３から供給される＋ｚ面１５の高解像度画像と−ｚ面１６の低解像度画像とを合成し、＋ｚ面１５の合成画像（第１の合成画像）を生成し、エンコーダ１５６−５に供給する。合成部１５５−３は、低解像度化部１５４−３から供給される−ｚ面１６の高解像度画像と＋ｚ面１５の低解像度画像とを合成し、−ｚ面１６の合成画像（第２の合成画像）を生成し、エンコーダ１５６−６に供給する。

エンコーダ１５６−１は、合成部１５５−１から供給される＋ｘ面１１の合成画像を、AVCやHEVC等の符号化方式で符号化して符号化ストリームを生成する。同様に、エンコーダ１５６−２乃至１５６−６は、面１２乃至１６の合成画像の符号化ストリームを生成する。

なお、エンコーダ１５６−１とエンコーダ１５６−２は、＋ｘ面１１と−ｘ面１２の合成画像の符号化ストリームのランダムアクセス可能位置が同期し、GOP構造がClosed GOP構造となるように符号化を行う。同様に、エンコーダ１５６−３とエンコーダ１５６−４は、＋ｙ面１３と−ｙ面１４の合成画像の符号化ストリームのランダムアクセス可能位置が同期し、GOP構造がClosed GOP構造となるように符号化を行う。また、エンコーダ１５６−５とエンコーダ１５６−６は、＋ｚ面１５と−ｚ面１６の合成画像の符号化ストリームのランダムアクセス可能位置が同期し、GOP構造がClosed GOP構造となるように符号化を行う。

エンコーダ１５６−１乃至１５６−６は、面１１乃至面１６の合成画像の符号化ストリームをストレージ１５７に供給し、記録させる。

ストレージ１５７（記憶部）は、エンコーダ１５６−１乃至１５６−６から供給される面１１乃至１６の合成画像の６本の符号化ストリームを記録する。

伝送部１５８（配信部）は、ストレージ１５７に記録されている６本の符号化ストリームを読み出し、図示せぬネットワークを介して図７のホームサーバ１３３に伝送（配信）する。

（合成画像の説明）
図９は、図８の合成部１５５−１乃至１５５−３により生成される面１１乃至１６の合成画像を説明する図である。

図９の左側に示すように、低解像度化部１５４−１乃至低解像度化部１５４−３では、面１１乃至１６の高解像度画像１６１Ａ乃至１６６Ａと面１１乃至１６の低解像度画像１６１Ｂ乃至１６６Ｂが生成される。

図９の右側に示すように、合成部１５５−１は、高解像度画像１６１Ａと低解像度画像１６２Ｂを合成して、＋ｘ面１１の合成画像１７１を生成し、高解像度画像１６２Ａと低解像度画像１６１Ｂを合成して、−ｘ面１２の合成画像１７２を生成する。

また、合成部１５５−２は、高解像度画像１６３Ａと低解像度画像１６４Ｂを合成して、＋ｙ面１３の合成画像１７３を生成し、高解像度画像１６４Ａと低解像度画像１６３Ｂを合成して、−ｙ面１４の合成画像１７４を生成する。

さらに、合成部１５５−３は、高解像度画像１６５Ａと低解像度画像１６６Ｂを合成して、＋ｚ面１５の合成画像１７５を生成し、高解像度画像１６６Ａと低解像度画像１６５Ｂを合成して、−ｚ面１６の合成画像１７６を生成する。

（エンコーダの構成例）
図１０は、図８のエンコーダ１５６−１の構成例を示すブロック図である。

図１０のエンコーダ１５６−１は、画面並べ替えバッファ１９１、演算部１９２、直交変換部１９３、量子化部１９４、可逆符号化部１９５、蓄積バッファ１９６、生成部１９７、逆量子化部１９８、逆直交変換部１９９、および加算部２００を有する。また、エンコーダ１５６−１は、フィルタ２０１、フレームメモリ２０２、スイッチ２０３、イントラ予測部２０４、動き予測・補償部２０５、予測画像選択部２０６、およびレート制御部２０７を有する。エンコーダ１５６−１は、HEVC方式にしたがって、＋ｘ面１１の合成画像をＣＵ（Coding Unit）単位で符号化する。

具体的には、エンコーダ１５６−１の画面並べ替えバッファ１９１は、図８の合成部１５５−１から供給される＋ｘ面１１の合成画像を記憶する。画面並べ替えバッファ１９１は、記憶した表示の順番のフレーム単位の合成画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１９１は、並べ替え後の合成画像を、演算部１９２、イントラ予測部２０４、および動き予測・補償部２０５に出力する。

演算部１９２は、画面並べ替えバッファ１９１から供給される合成画像から、予測画像選択部２０６から供給される予測画像を減算することにより符号化を行う。演算部１９２は、その結果得られる画像を、残差情報として直交変換部１９３に出力する。なお、予測画像選択部２０６から予測画像が供給されない場合、演算部１９２は、画面並べ替えバッファ１９１から読み出された合成画像をそのまま残差情報として直交変換部１９３に出力する。

直交変換部１９３は、演算部１９２からの残差情報をＴＵ（transform unit）単位で直交変換する。直交変換部１９３は、直交変換の結果得られる直交変換係数を量子化部１９ ４に供給する。

量子化部１９４は、直交変換部１９３から供給される直交変換係数に対して量子化を行う。量子化部１９４は、量子化された直交変換係数を可逆符号化部１９５に供給する。

可逆符号化部１９５は、最適イントラ予測モードを示すイントラ予測モード情報をイントラ予測部２０４から取得する。また、可逆符号化部１９５は、最適インター予測モードを示すインター予測モード情報、動きベクトル、参照画像を特定する情報などを動き予測・補償部２０５から取得する。また、可逆符号化部１９５は、フィルタ２０１からオフセットフィルタに関するオフセットフィルタ情報を取得する。

可逆符号化部１９５は、量子化部１９４から供給される量子化された直交変換係数に対して、可変長符号化（例えば、CAVLC（Context−Adaptive
Variable Length Coding）など）、算術符号化（例えば、CABAC（Context−Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行う。

また、可逆符号化部１９５は、イントラ予測モード情報、または、インター予測モード情報、動きベクトル、および参照画像を特定する情報、並びにオフセットフィルタ情報を、符号化に関する符号化情報として可逆符号化する。可逆符号化部１９５は、可逆符号化された符号化情報と直交変換係数を、符号化データとして蓄積バッファ１９６に供給し、蓄積させる。なお、可逆符号化された符号化情報は、スライスヘッダ等のヘッダ部として符号化データに付加されるようにしてもよい。

蓄積バッファ１９６は、可逆符号化部１９５から供給される符号化データを、一時的に記憶する。また、蓄積バッファ１９６は、記憶している符号化データを生成部１９７に供給する。

生成部１９７は、SPS（Sequence Parameter Set）、PPS（Picture Parameter Set）などのパラメーターセットと蓄積バッファ１９６から供給される符号化データから符号化ストリームを生成し、図８のストレージ１５７に供給する。

また、量子化部１９４より出力された、量子化された直交変換係数は、逆量子化部１９８にも入力される。逆量子化部１９８は、量子化部１９４により量子化された直交変換係数に対して、量子化部１９４における量子化方法に対応する方法で逆量子化を行う。逆量子化部１９８は、逆量子化の結果得られる直交変換係数を逆直交変換部１９９に供給する。

逆直交変換部１９９は、ＴＵ単位で、逆量子化部１９８から供給される直交変換係数に対して、直交変換部１９３における直交変換方法に対応する方法で逆直交変換を行う。逆直交変換部１９９は、その結果得られる残差情報を加算部２００に供給する。

加算部２００は、逆直交変換部１９９から供給される残差情報と、予測画像選択部２０６から供給される予測画像を加算することにより、合成画像を局部的に復号する。なお、予測画像選択部２０６から予測画像が供給されない場合、加算部２００は、逆直交変換部１９９から供給される残差情報を局部的に復号された合成画像とする。加算部２００は、まだ合成画像の画面全体が復号されていない場合、復号された合成画像をフレームメモリ２０２に供給し、画面全体が復号された場合、復号された合成画像をフィルタ２０１に供給する。

フィルタ２０１は、加算部２００から供給される合成画像に対して、ブロック歪を除去
するデブロックフィルタ処理を行う。フィルタ２０１は、デブロックフィルタ処理後の合成画像に対して、主にリンギングを除去する適応オフセットフィルタ(SAO（Sample adaptive offset)）処理を行う。

具体的には、フィルタ２０１は、最大の符号化単位であるLCU（Largest Coding Unit）ごとに適応オフセットフィルタ処理の種類を決定し、その適応オフセットフィルタ処理で用いられるオフセットを求める。フィルタ２０１は、求められたオフセットを用いて、デブロックフィルタ処理後の合成画像に対して、決定された種類の適応オフセットフィルタ処理を行う。

フィルタ２０１は、適応オフセットフィルタ処理後の合成画像をフレームメモリ２０２に供給する。また、フィルタ２０１は、行われた適応オフセットフィルタ処理の種類とオフセットを示す情報を、オフセットフィルタ情報として可逆符号化部１９５に供給する。

フレームメモリ２０２は、フィルタ２０１から供給される合成画像と、加算部２００から供給される合成画像を蓄積する。フレームメモリ２０２に蓄積されたフィルタ処理が行われていない合成画像のうちのＰＵ（Prediction Unit）に隣接する画素は、周辺画素としてスイッチ２０３を介してイントラ予測部２０４に供給される。一方、フレームメモリ２０２に蓄積されたフィルタ処理が行われた合成画像は、参照画像としてスイッチ２０３を介して動き予測・補償部２０５に出力される。

イントラ予測部２０４は、ＰＵ単位で、フレームメモリ２０２からスイッチ２０３を介して読み出された周辺画素を用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。

また、イントラ予測部２０４は、画面並べ替えバッファ１９１から読み出された合成画像と、イントラ予測処理の結果生成される予測画像とに基づいて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部２０４は、コスト関数値が最小となるイントラ予測モードを、最適イントラ予測モードに決定する。

イントラ予測部２０４は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部２０６に供給する。イントラ予測部２０４は、予測画像選択部２０６から最適イントラ予測モードで生成された予測画像の選択が通知された場合、イントラ予測モード情報を可逆符号化部１９５に供給する。

なお、コスト関数値は、RD(Rate Distortion)コストともいい、例えば、H．264/AVC方式における参照ソフトウエアであるJM(Joint Model)で定められているような、High Complexity モードまたはLow Complexity モードの手法に基づいて算出される。AVC方式における参照ソフトウエアは、http://iphome.hhi.de/suehring/tml/index.htmにおいて公開されている。

動き予測・補償部２０５は、ＰＵ単位で候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部２０５は、画面並べ替えバッファ１９１から供給される合成画像と参照画像とに基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。そして、動き予測・補償部２０５は、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。なお、インター予測モードとは、ＰＵのサイズ等を表すモードである。

また、動き予測・補償部２０５は、合成画像と予測画像とに基づいて、候補となる全て
のインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター予測モードに決定する。そして、動き予測・補償部２０５は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部２０６に供給する。

動き予測・補償部２０５は、予測画像選択部２０６から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部１９５に出力する。

予測画像選択部２０６は、イントラ予測部２０４および動き予測・補償部２０５から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。そして、予測画像選択部２０６は、最適予測モードの予測画像を、演算部１９２および加算部２００に供給する。また、予測画像選択部２０６は、最適予測モードの予測画像の選択をイントラ予測部２０４または動き予測・補償部２０５に通知する。

レート制御部２０７は、蓄積バッファ１９６に蓄積された符号化データに基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１９４の量子化動作のレートを制御する。

なお、図示は省略するが、エンコーダ１５６−２乃至１５６−６も、エンコーダ１５６−１と同様に構成される。

（コンテンツサーバの処理の説明）
図１１は、図８のコンテンツサーバ１３２の符号化処理を説明するフローチャートである。この符号化処理は、例えば、フレーム単位で行われる。

図１１のステップＳ１１において、スティッチング処理部１５１は、図７のマルチカメラ１３１から供給される全方向の撮影画像の色や明るさを同一にし、重なりを除去して接続する。スティッチング処理部１５１は、その結果得られる撮影画像をマッピング処理部１５２に供給する。

ステップＳ１２において、マッピング処理部１５２は、キューブマッピングにより、スティッチング処理部１５１から供給される撮影画像から全天球画像３０を生成し、分割部１５３に供給する。

ステップＳ１３において、分割部１５３は、マッピング処理部１５２から供給される全天球画像３０を、６つの面１１乃至１６の画像３１乃至３６に分割する。分割部１５３は、画像３１および３２を低解像度化部１５４−１に供給し、画像３３および３４を低解像度化部１５４−２に供給し、画像３５および３６を低解像度化部１５４−３に供給する。

低解像度化部１５４−１は、分割部１５３から供給される画像３１および３２を、そのまま、高解像度画像１６１Ａおよび高解像度画像１６２Ａとして合成部１５５−１に供給する。また、低解像度化部１５４−２は、画像３３および３４を、そのまま、高解像度画像１６３Ａおよび高解像度画像１６４Ａとして合成部１５５−２に供給する。さらに、低解像度化部１５４−３は、画像３５および３６を、そのまま、高解像度画像１６５Ａとおよび高解像度画像１６６Ａとして合成部１５５−３に供給する。

ステップＳ１４において、低解像度化部１５４−１は、画像３１と画像３２を低解像度化して低解像度画像１６１Ｂと低解像度画像１６２Ｂを生成し、合成部１５５−１に供給
する。また、低解像度化部１５４−２は、画像３３と画像３４を低解像度化して低解像度画像１６３Ｂと低解像度画像１６４Ｂを生成し、合成部１５５−２に供給する。さらに、低解像度化部１５４−３は、画像３５と画像３６を低解像度化して低解像度画像１６５Ｂと低解像度画像１６６Ｂを生成し、合成部１５５−３に供給する。

ステップＳ１５において、合成部１５５−１は、＋ｘ面１１と−ｘ面１２のペアの一方の＋ｘ面１１の高解像度画像１６１Ａと他方の−ｘ面１２の低解像度画像１６２Ｂとを合成して、＋ｘ面１１の合成画像を生成し、エンコーダ１５６−１に供給する。また、合成部１５５−１は、他方の−ｘ面１２の高解像度画像１６２Ａと一方の＋ｘ面１１の低解像度画像１６１Ｂとを合成して、−ｘ面１２の合成画像を生成し、エンコーダ１５６−２に供給する。

同様に、合成部１５５−２は、＋ｙ面１３の合成画像を生成してエンコーダ１５６−３に供給し、−ｙ面１４の合成画像を生成してエンコーダ１５６−４に供給する。また、合成部１５５−３は、＋ｚ面１５の合成画像を生成してエンコーダ１５６−５に供給し、−ｚ面１６の合成画像を生成してエンコーダ１５６−６に供給する。

ステップＳ１６において、エンコーダ１５６−１乃至１５６−６は、面１１乃至１６の合成画像をそれぞれ符号化して６本の符号化ストリームを生成し、ストレージ１５７に供給する。

ステップＳ１７において、ストレージ１５７は、エンコーダ１５６−１乃至１５６−６から供給される６本の符号化ストリームを記録する。

ステップＳ１８において、伝送部１５８は、ストレージ１５７に記録されている６本の符号化ストリームを読み出し、図示せぬネットワークを介してホームサーバ１３３に伝送する。そして、処理は終了する。

（ホームサーバの構成例）
図１２は、図７のホームサーバ１３３の構成例を示すブロック図である。

図１２のホームサーバ１３３は、カメラ１３３Ａ、受け取り部２２１、ストレージ２２２、スイッチ２２３−１乃至２２３−３、デコーダ２２４−１乃至２２４−３、マッピング処理部２２５、描画部２２６、受け取り部２２７、および視線検出部２２８により構成される。

ホームサーバ１３３の受け取り部２２１は、図８の伝送部１５８から図示せぬネットワークを介して伝送されてくる６本の符号化ストリームを受け取る。受け取り部２２１は、受け取られた６本の符号化ストリームをストレージ２２２に供給し、記録させる。

ストレージ２２２は、受け取り部２２１から供給される６本の符号化ストリームを記録する。ストレージ２２２は、６本の符号化ストリームのうちの、対向する＋ｘ面１１と−ｘ面１２のペアの合成画像の２本の符号化ストリームを読み出し、スイッチ２２３−１に供給する。同様に、ストレージ２２２は、対向する＋ｙ面１３と−ｙ面１４のペアの合成画像の２本の符号化ストリームをスイッチ２２３−２に供給し、対向する＋ｚ面１５と−ｚ面１６のペアの合成画像の２本の符号化ストリームをスイッチ２２３−３に供給する。

スイッチ２２３−１は、視線検出部２２８から供給される＋ｘ面１１と−ｘ面１２のうちのいずれか一方を選択する面選択情報に基づいて、その一方の面の合成画像の符号化ストリームを選択し、デコーダ２２４−１に供給する。同様に、スイッチ２２３−２は、面
選択情報に基づいて、＋ｙ面１３と−ｙ面１４のうちのいずれか一方の面の合成画像の符号化ストリームをデコーダ２２４−２に供給する。また、スイッチ２２３−３は、面選択情報に基づいて、＋ｚ面１５と−ｚ面１６のうちのいずれか一方の面の合成画像の符号化ストリームをデコーダ２２４−３に供給する。

デコーダ２２４−１は、スイッチ２２３−１から供給される符号化ストリームを復号して、＋ｘ面１１または−ｘ面１２の合成画像を生成し、マッピング処理部２２５に供給する。また、デコーダ２２４−２は、スイッチ２２３−２から供給される符号化ストリームを復号して、＋ｙ面１３または−ｙ面１４の合成画像を生成し、マッピング処理部２２５に供給する。さらに、デコーダ２２４−３は、スイッチ２２３−３から供給される符号化ストリームを復号して、＋ｚ面１５または−ｚ面１６の合成画像を生成し、マッピング処理部２２５に供給する。

マッピング処理部２２５（分離部）は、デコーダ２２４−１乃至２２４−３から供給される３つの面の合成画像を分離し、３つの面の高解像度画像と、その３つの面のそれぞれと対向する３つの面の低解像度画像を生成する。そして、マッピング処理部２２５は、３つの面の高解像度画像と３つの面の低解像度画像を、立方体１０の面１１乃至１６のそれぞれにテクスチャとしてマッピングし、その結果得られる立方体画像を描画部２２６に供給する。

描画部２２６は、マッピング処理部２２５から供給される立方体画像を、視線検出部２２８から供給されるユーザの視野範囲に投射投影することにより、ユーザの視野範囲の画像を生成する。描画部２２６は、生成された画像を表示画像として、HDMIケーブルを介して図７の変換装置１３４に伝送する。

受け取り部２２７は、図７のジャイロセンサ１３５Ｂの検出結果を、ヘッドマウントディスプレイ１３５から変換装置１３４を介して受け取り、視線検出部２２８に供給する。

視線検出部２２８は、受け取り部２２７から供給されるジャイロセンサ１３５Ｂの検出結果に基づいて、ユーザの視線ベクトルを決定する。視線検出部２２８は、ユーザの視線ベクトルに基づいて、面１１乃至１６のうちのユーザの視線ベクトルに対応する３つの面を決定する。

具体的には、視線検出部２２８は、視線ベクトルのｘ成分とｘ軸座標の正負が同一である＋ｘ面１１または−ｘ面１２、ｙ成分とｙ軸座標の正負が同一である＋ｙ面１３または−ｙ面１４、およびｚ成分とｚ軸座標の正負が同一である＋ｚ面１５または−ｚ面１６を、ユーザの視線ベクトルに対応する３つの面に決定する。

また、視線検出部２２８は、カメラ１３３Ａからマーカ１３５Ａの撮影画像を取得し、その撮影画像に基づいてユーザの位置を検出する。視線検出部２２８は、ユーザの位置と視線ベクトルに基づいて、ユーザの視野範囲を決定する。

視線検出部２２８は、ユーザの視野範囲を描画部２２６に供給する。また、視線検出部２２８は、面１１乃至１６の対向する面どうしのペアごとに、ユーザの視線ベクトルに対応する面を選択する面選択情報を生成する。視線検出部２２８は、＋ｘ面１１または−ｘ面１２を選択する面選択情報をスイッチ２２３−１に供給し、＋ｙ面１３または−ｙ面１４を選択する面選択情報をスイッチ２２３−２に供給し、＋ｚ面１５または−ｚ面１６を選択する面選択情報をスイッチ２２３−３に供給する。

（デコーダの構成例）
図１３は、図１２のデコーダ２２４−１の構成例を示すブロック図である。

図１３のデコーダ２２４−１は、蓄積バッファ２４１、可逆復号部２４２、逆量子化部２４３、逆直交変換部２４４、加算部２４５、フィルタ２４６、および画面並べ替えバッファ２４７を有する。また、デコーダ２２４−１は、フレームメモリ２４８、スイッチ２４９、イントラ予測部２５０、動き補償部２５１、およびスイッチ２５２を有する。

デコーダ２２４−１の蓄積バッファ２４１は、図１２のスイッチ２２３−１から符号化ストリームを受け取り、符号化データを蓄積する。符号化ストリームに含まれるパラメーターセットは、必要に応じて、デコーダ２２４−１の各部に供給される。蓄積バッファ２４１は、蓄積されている符号化データを可逆復号部２４２に供給する。

可逆復号部２４２は、蓄積バッファ２４１からの符号化データに対して、図１０の可逆符号化部１９５の可逆符号化に対応する、可変長復号や、算術復号等の可逆復号を施すことで、量子化された直交変換係数と符号化情報を得る。可逆復号部２４２は、量子化された直交変換係数を逆量子化部２４３に供給する。また、可逆復号部２４２は、符号化情報としてのイントラ予測モード情報などをイントラ予測部２５０に供給する。可逆復号部２４２は、動きベクトル、インター予測モード情報、参照画像を特定する情報などを動き補償部２５１に供給する。

さらに、可逆復号部２４２は、符号化情報としてのイントラ予測モード情報またはインター予測モード情報をスイッチ２５２に供給する。

逆量子化部２４３、逆直交変換部２４４、加算部２４５、フィルタ２４６、フレームメモリ２４８、スイッチ２４９、イントラ予測部２５０、および動き補償部２５１は、図１０の逆量子化部１９８、逆直交変換部１９９、加算部２００、フィルタ２０１、フレームメモリ２０２、スイッチ２０３、イントラ予測部２０４、および動き予測・補償部２０５とそれぞれ同様の処理を行い、これにより、合成画像が復号される。

具体的には、逆量子化部２４３は、可逆復号部２４２からの量子化された直交変換係数を逆量子化し、その結果得られる直交変換係数を逆直交変換部２４４に供給する。

逆直交変換部２４４は、逆量子化部２４３からの直交変換係数に対してＴＵ単位で逆直交変換を行う。逆直交変換部２４４は、逆直交変換の結果得られる残差情報を加算部２４５に供給する。

加算部２４５は、逆直交変換部２４４から供給される残差情報と、スイッチ２５２から供給される予測画像を加算することにより、合成画像を局部的に復号する。なお、スイッチ２５２から予測画像が供給されない場合、加算部２４５は、逆直交変換部２４４から供給される残差情報を局部的に復号された合成画像とする。加算部２４５は、まだ合成画像の画面全体が復号されていない場合、復号された合成画像をフレームメモリ２４８に供給し、画面全体が復号された場合、復号された合成画像をフィルタ２４６に供給する。

フィルタ２４６は、加算部２４５から供給される合成画像に対してデブロックフィルタ処理を行う。フィルタ２４６は、LCUごとに、可逆復号部２４２からのオフセットフィルタ情報が表すオフセットを用いて、デブロックフィルタ処理後の合成画像に対して、オフセットフィルタ情報が表す種類の適応オフセットフィルタ処理を行う。フィルタ２４６は、適応オフセットフィルタ処理後の合成画像をフレームメモリ２４８および画面並べ替えバッファ２４７に供給する。

画面並べ替えバッファ２４７は、フィルタ２４６から供給される合成画像をフレーム単位で記憶する。画面並べ替えバッファ２４７は、記憶した符号化のための順番のフレーム単位の合成画像を、元の表示の順番に並び替え、図１２のマッピング処理部２２５に供給する。

フレームメモリ２４８は、フィルタ２４６から供給される合成画像と加算部２４５から供給される合成画像を蓄積する。フレームメモリ２４８に蓄積されたフィルタ処理が行われていない合成画像のうちのＰＵに隣接する画素は、周辺画素としてスイッチ２４９を介してイントラ予測部２５０に供給される。一方、フレームメモリ２４８に蓄積されたフィルタ処理が行われた合成画像は、参照画像として、スイッチ２４９を介して動き補償部２５１に供給される。

イントラ予測部２５０は、ＰＵ単位で、フレームメモリ２４８からスイッチ２４９を介して読み出された周辺画素を用いて、可逆復号部２４２から供給されるイントラ予測モード情報が示す最適イントラ予測モードのイントラ予測処理を行う。イントラ予測部２５０は、その結果生成される予測画像をスイッチ２５２に供給する。

動き補償部２５１は、フレームメモリ２４８からスイッチ２４９を介して、可逆復号部２４２から供給される参照画像を特定する情報により特定される参照画像を読み出す。動き補償部２５１は、参照画像と可逆復号部２４２から供給される動きベクトルとを用いて、ＰＵ単位で、可逆復号部２４２から供給されるインター予測モード情報が示す最適インター予測モードの動き補償処理を行う。動き補償部２５１は、その結果生成される予測画像をスイッチ２５２に供給する。

スイッチ２５２は、可逆復号部２４２からイントラ予測モード情報が供給された場合、イントラ予測部２５０から供給される予測画像を加算部２４５に供給する。一方、可逆復号部２４２からインター予測モード情報が供給された場合、スイッチ２５２は、動き補償部２５１から供給される予測画像を加算部２４５に供給する。

（立方体画像の例）
図１４は、図１２のマッピング処理部２２５により生成される立方体画像を説明する図である。

なお、図１４において、正方形は、立方体画像のLCUを表す。また、図１４Ａおよび図１４Ｂは、立方体画像を立方体１０の内部から見た図である。

図１４Ａの例では、ユーザの視線ベクトルに対応する面が、＋ｘ面１１、−ｙ面１４、および＋ｚ面１５である。従って、図１４Ａに示すように、マッピング処理部２２５は、立方体１０の＋ｘ面１１、−ｙ面１４、および＋ｚ面１５に、それぞれ高解像度画像１６１Ａ、高解像度画像１６４Ａ、高解像度画像１６５Ａをマッピングする。また、マッピング処理部２２５は、立方体１０の−ｘ面１２、＋ｙ面１３、および−ｚ面１６に、それぞれ、低解像度画像１６２Ｂ、低解像度画像１６３Ｂ、低解像度画像１６６Ｂをマッピングする。以上により、立方体画像２６１が生成される。

なお、高解像度画像１６１Ａ,１６４Ａ,および１６５Ａと低解像度画像１６２Ｂ，１６３Ｂ、および１６６Ｂは、同一のサイズの面にマッピングされる。従って、低解像度画像１６２Ｂ，１６３Ｂ、および１６６ＢのLCUのサイズは、高解像度画像１６１Ａ,１６４Ａ,および１６５ＡのLCUのサイズに比べて大きくなっている。

図１４Ｂの例では、ユーザの視線ベクトルに対応する面が、＋ｘ面１１、−ｙ面１４、
および−ｚ面１６である。従って、図１４Ｂに示すように、マッピング処理部２２５は、立方体１０の＋ｘ面１１、−ｙ面１４、および−ｚ面１６に、それぞれ、高解像度画像１６１Ａ、高解像度画像１６４Ａ、高解像度画像１６６Ａをマッピングする。また、マッピング処理部２２５は、立方体１０の−ｘ面１２、＋ｙ面１３、および＋ｚ面１５に、それぞれ、低解像度画像１６２Ｂ、低解像度画像１６３Ｂ、低解像度画像１６５Ｂをマッピングする。以上により、立方体画像２６２が生成される。

なお、高解像度画像１６１Ａ,１６４Ａ,および１６６Ａと低解像度画像１６２Ｂ，１６３Ｂ、および１６５Ｂは、同一のサイズの面にマッピングされる。従って、低解像度画像１６２Ｂ，１６３Ｂ、および１６５ＢのLCUのサイズは、高解像度画像１６１Ａ,１６４Ａ,および１６６ＡのLCUのサイズに比べて大きくなっている。

以上のように、立方体１０の対向する面どうしのペアのうちの一方の面には、高解像度画像がマッピングされ、他方の面には、低解像度画像がマッピングされる。

また、ユーザの視線ベクトルが変化し、ユーザの視線ベクトルに対応する面が変更されると、高解像度画像がマッピングされる少なくとも１つの面が、対向する面どうしのペアのうちの一方から他方に変更される。例えば、ユーザの視線ベクトルに対応する面が、＋ｘ面１１、−ｙ面１４、および＋ｚ面１５から、＋ｘ面１１、−ｙ面１４、および−ｚ面１６に変更される場合、立方体画像２６１は立方体画像２６２に変更される。

このとき、立方体画像２６１および２６２は、面１１乃至面１６の全てにマッピングが行われた画像であるので、変更後の視線ベクトルに対応する立方体画像２６２が生成されるまでの間、描画部２２６は、立方体画像２６２を用いてユーザの視野範囲の表示画像を即座に生成することができる。

（デコーダの動作タイミングの例）
図１５は、図１２のデコーダ２２４−１乃至２２４−３の動作タイミングの例を示すタイミングチャートである。

図１５において、横軸は時間を表す。このことは、後述する図１６においても同様である。また、図１５において、太い矢印は、デコーダ２２４−１乃至２２４−３の復号対象であることを表している。

スイッチ２２３−１乃至２２３−３は、視線検出部２２８から供給される面選択情報が変更された場合、入力される２本の符号化ストリームのランダムアクセス可能位置で、選択する符号化ストリームを変更する。従って、図１５に示すように、デコーダ２２４−１乃至２２４−３では、ランダムアクセス可能位置で、復号対象の符号化ストリームが自由に切り替えられる。

即ち、画像表示システム１３０では、面１１乃至１６の対向する面どうしのペアのうちの一方の高解像度画像と他方の低解像度画像が合成されて符号化されている。従って、デコーダ２２４−１乃至２２４−３において、ペアのうちのユーザの視線ベクトルに対応する一方の面の高解像度画像と他方の面の低解像度画像を生成するために、復号対象の切り替えタイミングを同期させる必要はない。

これに対して、図１６に示すように、高解像度画像１６１Ａ乃至１６６Ａと低解像度画像１６１Ｂ乃至１６６Ｂが別々に符号化される場合、面１１乃至１６の対向する面どうしのペアごとに高解像度用のデコーダと低解像度用のデコーダを設ける必要がある。即ち、６つのデコーダが必要である。なお、図１６において、太い矢印は、６つのデコーダの復
号対象であることを表している。

また、ペアごとに、高解像度用のデコーダと低解像度用のデコーダとの間で、復号対象の切り替えタイミングを同期させる必要がある。例えば、＋ｘ面１１と−ｘ面１２のペアの高解像度用のデコーダの復号対象の切り替えと、＋ｘ面１１と−ｘ面１２のペアの低解像度用のデコーダの復号対象の切り替えを同時に行う必要がある。

従って、切り替えの制御が困難である。また、各ペアの高解像度画像と低解像度画像の合計４本の符号化ストリームのランダムアクセス可能位置を同期させ、GOP構造をClosedGOP構造にする必要がある。

さらに、スイッチ２２３−１乃至２２３−３に入力される２本の符号化ストリームのランダムアクセス可能位置は同期し、GOP構造はClosed GOP構造である。従って、デコーダ２２４−１乃至２２４−３は、切り替え後の復号対象を切り替え時の位置から復号すればよい。

これに対して、２本の符号化ストリームのランダムアクセス可能位置が異なっているか、またはGOP構造がClosed GOP構造ではない場合、切り替え時より前の位置から切り替え後の復号対象を復号する必要がある。従って、その間、切り替え前の復号対象と切り替え後の復号対象の２本の符号化ストリームを同時に復号する必要があり、デコーダは、符号化ストリームの本数分必要になる。

なお、エンコーダ１５６−１乃至１５６−６が、各ペアのランダムアクセス可能位置が異なるように符号化を行う場合、デコーダ２２４−１乃至２２４−３の間で、復号対象の切り替えタイミングをずらすことができる。これにより、復号処理の負荷を平滑化することができる。

（ホームサーバの処理の説明）
図１７は、図１２のホームサーバ１３３の復号処理を説明するフローチャートである。この復号処理は、例えば、フレーム単位で行われる。

図１７のステップＳ３１において、ホームサーバ１３３の受け取り部２２１は、図８の伝送部１５８から図示せぬネットワークを介して伝送されてくる６本の符号化ストリームを受け取る。受け取り部２２１は、受け取られた６本の符号化ストリームをストレージ２２２に供給する。

ステップＳ３２において、ストレージ２２２は、受け取り部２２１から供給される６本の符号化ストリームを記録する。

ステップＳ３３において、ストレージ２２２は、６本の符号化ストリームのうちの、対向する＋ｘ面１１と−ｘ面１２のペアの２本の符号化ストリームを読み出し、スイッチ２２３−１に供給する。同様に、ストレージ２２２は、対向する＋ｙ面１３と−ｙ面１４のペアの２本の符号化ストリームをスイッチ２２３−２に供給し、対向する＋ｚ面１５と−ｚ面１６のペアの２本の符号化ストリームをスイッチ２２３−３に供給する。

ステップＳ３４において、受け取り部２２７は、ヘッドマウントディスプレイ１３５から変換装置１３４を介して図７のジャイロセンサ１３５Ｂの検出結果を受け取り、視線検出部２２８に供給する。

ステップＳ３５において、視線検出部２２８は、受け取り部２２７から供給されるジャ
イロセンサ１３５Ｂの検出結果に基づいて、ユーザの視線ベクトルを決定する。

ステップＳ３６において、カメラ１３３Ａは、マーカ１３５Ａの画像を撮影し、視線検出部２２８に供給する。ステップＳ３７において、視線検出部２２８は、カメラ１３３Ａから供給されるマーカ１３５Ａの撮影画像に基づいてユーザの位置を検出する。

ステップＳ３８において、視線検出部２２８は、ユーザの位置と視線ベクトルに基づいて、面１１乃至１６のうちのユーザの視線ベクトルに対応する３つの面とユーザの視野範囲とを決定する。視線検出部２２８は、ユーザの視野範囲を描画部２２６に供給する。

ステップＳ３９において、視線検出部２２８は、面１１乃至１６の対向する面どうしのペアごとに、ユーザの視線ベクトルに対応する面を選択する面選択情報を生成する。視線検出部２２８は、＋ｘ面１１または−ｘ面１２を選択する面選択情報をスイッチ２２３−１に供給し、＋ｙ面１３または−ｙ面１４を選択する面選択情報をスイッチ２２３−２に供給し、＋ｚ面１５または−ｚ面１６を選択する面選択情報をスイッチ２２３−３に供給する。

ステップＳ４０において、スイッチ２２３−１は、視線検出部２２８から供給される＋ｘ面１１と−ｘ面１２のうちのいずれか一方を選択する面選択情報に基づいて、その一方の面の合成画像の符号化ストリームを選択し、デコーダ２２４−１に供給する。同様に、スイッチ２２３−２は、面選択情報に基づいて、＋ｙ面１３と−ｙ面１４のうちのいずれか一方の面の合成画像の符号化ストリームをデコーダ２２４−２に供給する。また、スイッチ２２３−３は、面選択情報に基づいて、＋ｚ面１５と−ｚ面１６のうちのいずれか一方の面の合成画像の符号化ストリームをデコーダ２２４−３に供給する。

ステップＳ４１において、デコーダ２２４−１は、スイッチ２２３−１から供給される符号化ストリームを復号して、＋ｘ面１１または−ｘ面１２の合成画像を生成し、マッピング処理部２２５に供給する。また、デコーダ２２４−２は、スイッチ２２３−２から供給される符号化ストリームを復号して、＋ｙ面１３または−ｙ面１４の合成画像を生成し、マッピング処理部２２５に供給する。さらに、デコーダ２２４−３は、スイッチ２２３−３から供給される符号化ストリームを復号して、＋ｚ面１５または−ｚ面１６の合成画像を生成し、マッピング処理部２２５に供給する。

ステップＳ４２において、マッピング処理部２２５は、デコーダ２２４−１乃至２２４−３から供給される３つの面の合成画像を分離し、その結果得られる３つの面の高解像度画像と３つの面の低解像度画像を立方体１０の面１１乃至１６のそれぞれにマッピングする。マッピング処理部２２５は、その結果得られる立方体画像を描画部２２６に供給する。

ステップＳ４３において、描画部２２６は、マッピング処理部２２５からの立方体画像と、視線検出部２２８からのユーザの視野範囲に基づいて、立方体画像をユーザの視野範囲に投射投影することにより、ユーザの視野範囲の画像を表示画像として生成する。

ステップＳ４４において、描画部２２６は、表示画像を、HDMIケーブルを介して図７の変換装置１３４に伝送し、処理を終了する。

以上のように、画像表示システム１３０のコンテンツサーバ１３２は、面１１乃至１６の対向する面どうしのペアごとに、一方の面の高解像度画像と他方の面の低解像度画像を合成して一方の面の合成画像を生成し、一方の面の低解像度画像と他方の面の高解像度画像を合成して他方の面の合成画像を生成する。そして、コンテンツサーバ１３２は、各面
の合成画像を符号化して６本の符号化ストリームを生成する。

従って、面１１乃至１６の高解像度画像と低解像度画像を別々に符号化し、視線ベクトルに対応する３つの面の高解像度画像と残りの３つの面の低解像度画像の符号化ストリームを復号する場合に比べて、符号化ストリームの本数を１２本から６本に削減することができる。また、エンコーダの数を１２個から６個に削減し、デコーダの数は６個から３個に削減することができる。さらに、デコーダ２２４−１乃至２２４−３の間で、復号対象の切り替えタイミングを同期させる必要がないため、切り替えの制御を容易に行うことができる。

また、ホームサーバ１３３は、視線ベクトルに対応する３つの面以外の３つの面については、低解像度画像の符号化ストリームを復号する。従って、全ての面の高解像度画像の符号化ストリームが復号される場合に比べて、復号する画素数が削減され、復号処理量を軽減することができる。また、視線ベクトルが急激に変化した場合であっても、変化後の視線ベクトルに対応する面の高解像度画像が復号されるまで、その面の低解像度画像に基づいてユーザの視野範囲の画像を生成することができる。従って、変化後のユーザの視野範囲の画像を即座に表示させることができる。

＜第２実施の形態＞
（画像表示システムの第２実施の形態における合成画像の説明）
本開示を適用した画像表示システムの第２実施の形態では、キューブマッピングではなく、正距円筒図法により全天球画像が生成される。この場合、図４で上述したように、面の数は８つであり、対向する面どうしのペアの数は４つである。画像表示システムの第２実施の形態の構成は、コンテンツサーバの低解像度化部と合成部の数が４個であり、エンコーダの数が８個である点、および、ホームサーバのスイッチとデコーダの数が４個である点を除いて、画像表示システム１３０の構成と同一であるので、説明は省略する。

図１８は、本開示を適用した画像表示システムの第２実施の形態の合成画像を説明する図である。

図１８の左側に示すように、第２実施の形態では、全天球画像９０が面７１乃至７８の画像９１乃至９８に分割され、高解像度画像２７１Ａ乃至２７８Ａとされる。また、画像９１乃至９８が低解像度化され、面７１乃至７８の低解像度画像２７１Ｂ乃至２７８Ｂが生成される。

そして、図１８の右側に示すように、対向する＋Ａ面７１と−Ａ面７２のペアの一方の＋Ａ面７１の高解像度画像２７１Ａと他方の−Ａ面７２の低解像度画像２７２Ｂが合成されて、＋Ａ面７１の合成画像２９１が生成される。また、−Ａ面７２の高解像度画像２７２Ａと＋Ａ面７１の低解像度画像２７１Ｂが合成されて、−Ａ面７２の合成画像２９２が生成される。

さらに、対向する＋Ｂ面７３と−Ｂ面７４のペアの一方の＋Ｂ面７３の高解像度画像２７３Ａと他方の−Ｂ面７４の低解像度画像２７４Ｂが合成されて、＋Ｂ面７３の合成画像２９３が生成される。また、−Ｂ面７４の高解像度画像２７４Ａと＋Ｂ面７３の低解像度画像２７３Ｂが合成されて、−Ｂ面７４の合成画像２９４が生成される。

さらに、対向する＋Ｃ面７５と−Ｃ面７６のペアの一方の＋Ｃ面７５の高解像度画像２７５Ａと他方の−Ｃ面７６の低解像度画像２７６Ｂが合成されて、＋Ｃ面７５の合成画像２９５が生成される。また、−Ｃ面７６の高解像度画像２７６Ａと＋Ｃ面７５の低解像度画像２７５Ｂが合成されて、−Ｃ面７６の合成画像２９６が生成される。

また、対向する＋Ｄ面７７と−Ｄ面７８のペアの一方の＋Ｄ面７７の高解像度画像２７７Ａと他方の−Ｄ面７８の低解像度画像２７８Ｂが合成されて、＋Ｄ面７７の合成画像２９７が生成される。また、−Ｄ面７８の高解像度画像２７８Ａと＋Ｄ面７７の低解像度画像２７７Ｂが合成されて、−Ｄ面７８の合成画像２９８が生成される。

以上のようにして生成された合成画像２９１乃至２９８は、符号化されて８本の符号化ストリームになる。この８本の符号化ストリームのうちの、ユーザの視線ベクトルに対応する４つの面の合成画像の４本の符号化ストリームのみが、ホームサーバにおいて復号される。

図１８に示したように、合成画像２９１乃至２９８には、対向する面どうしのペアの一方の低解像度画像と他方の高解像度画像が含まれている。従って、４本の符号化ストリームの復号により、面７１乃至７８のすべての低解像度画像または高解像度画像が生成される。

よって、視線ベクトルが急激に変化した場合であっても、変化後の視線ベクトルに対応する面の高解像度画像が復号されるまで、その面の低解像度画像に基づいて、変化後のユーザの視野範囲の画像を生成することができる。従って、変化後のユーザの視野範囲の画像を即座に表示させることができる。

＜第３実施の形態＞
（画像表示システムの第３実施の形態のコンテンツサーバの構成例）
本開示を適用した画像表示システムの第３実施の形態は、マルチカメラがYCbCr420の撮影画像と視差画像（詳細は後述する）を取得する点、および、コンテンツサーバとホームサーバの構成を除いて、図７の画像表示システム１３０と同様である。従って、以下では、コンテンツサーバとホームサーバについてのみ説明する。なお、視差画像は、各画素の被写体の奥行き方向の位置を表す視差値からなる画像である。

図１９は、本開示を適用した画像表示システムの第３実施の形態のコンテンツサーバの構成例を示すブロック図である。

図１９に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１９のコンテンツサーバ３１０の構成は、スティッチング処理部１５１、マッピング処理部１５２、分割部１５３、低解像度化部１５４−１乃至１５４−３、合成部１５５−１乃至合成部１５５−３の代わりに、スティッチング処理部３１１、マッピング処理部３１２、分割部３１３、低解像度化部３１４−１乃至３１４−３、合成部３１５−１乃至３１５−３が設けられる点が、図８のコンテンツサーバ１３２の構成と異なる。コンテンツサーバ３１０は、面１１乃至１６の合成画像内に視差画像を含める。

具体的には、スティッチング処理部３１１は、マルチカメラから供給される全方向の撮影画像の色や明るさを同一にし、重なりを除去して接続する。また、スティッチング処理部３１１は、マルチカメラから供給される全方向の撮影画像の視差画像の重なりを除去して接続する。スティッチング処理部３１１は、以上により得られた撮影画像および視差画像をマッピング処理部３１２に供給する。

マッピング処理部３１２は、キューブマッピングにより、スティッチング処理部３１１から供給される撮影画像から、撮影画像の全天球画像３０を生成し、分割部３１３に供給
する。マッピング処理部３１２は、キューブマッピングにより、スティッチング処理部３１１から供給される視差画像から、視差画像の全天球画像を生成し、分割部３１３に供給する。

分割部３１３は、マッピング処理部３１２から供給される撮影画像の全天球画像３０を、６つの面１１乃至１６の画像３１乃至３６に分割する。また、分割部３１３は、マッピング処理部３１２から供給される視差画像の全天球画像を、６つの面１１乃至１６の視差画像に分割する。

分割部３１３は、６つの面１１乃至１６のうちの対向する＋ｘ面１１と−ｘ面１２のペアの画像３１および画像３２並びに視差画像を低解像度化部３１４−１に供給する。また、分割部３１３は、対向する＋ｙ面１３と−ｙ面１４のペアの画像３３および画像３４並びに視差画像を低解像度化部３１４−２に供給し、対向する＋ｚ面１５と−ｚ面１６のペアの画像３５および画像３６並びに視差画像を低解像度化部３１４−３に供給する。

低解像度化部３１４−１は、分割部３１３から供給される画像３１および画像３２を、そのまま、高解像度画像１６１Ａおよび高解像度画像１６２Ａとして合成部３１５−１に供給する。また、低解像度化部３１４−１は、画像３１および画像３２それぞれの輝度成分および色差成分の水平方向と垂直方向の解像度を1/2にすることにより低解像度化し、低解像度画像１６１Ｂと低解像度画像１６２Ｂを生成する。

さらに、低解像度化部３１４−１は、分割部３１３から供給される＋ｘ面１１および−ｘ面１２の視差画像それぞれの水平方向と垂直方向の解像度を1/2にすることにより低解像度化し、高解像度画像１６１Ａおよび高解像度画像１６２Ａの視差画像とする。また、低解像度化部３１４−１は、＋ｘ面１１および−ｘ面１２の視差画像それぞれの水平方向と垂直方向の解像度を1/4にすることにより低解像度化し、低解像度画像１６１Ｂおよび低解像度画像１６２Ｂの視差画像とする。

低解像度化部３１４−１は、高解像度画像１６１Ａおよび高解像度画像１６２Ａの視差画像と、低解像度画像１６１Ｂおよび低解像度画像１６２Ｂの視差画像とを、合成部３１５−１に供給する。

合成部３１５−１は、低解像度化部３１４−１から供給される高解像度画像１６１Ａの輝度成分、低解像度画像１６２Ｂの輝度成分、および高解像度画像１６１Ａの視差画像を合成して、＋ｘ面１１の合成画像（第１の合成画像）の輝度成分を生成する。また、合成部３１５−１は、高解像度画像１６２Ａの色差成分のうちのＣｂ成分、低解像度画像１６２ＢのＣｂ成分、および低解像度画像１６２Ｂの視差画像を合成して、＋ｘ面１１の合成画像のＣｂ成分を生成する。さらに、合成部３１５−１は、高解像度画像１６１Ａの色差成分のうちのＣｒ成分と低解像度画像１６２ＢのＣｒ成分を合成して、＋ｘ面１１の合成画像のＣｒ成分を生成する。そして、合成部３１５−１は、＋ｘ面１１の合成画像の輝度成分と色差成分をエンコーダ１５６−１に供給する。

また、合成部３１５−１は、低解像度化部３１４−１から供給される高解像度画像１６２Ａの輝度成分、低解像度画像１６１Ｂの輝度成分、および高解像度画像１６２Ａの視差画像を合成して、−ｘ面１２の合成画像（第２の合成画像）の輝度成分を生成する。また、合成部３１５−１は、高解像度画像１６２ＡのＣｂ成分、低解像度画像１６１ＢのＣｂ成分、および低解像度画像１６１Ｂの視差画像を合成して、−ｘ面１２の合成画像のＣｂ成分を生成する。さらに、合成部３１５−１は、高解像度画像１６２ＡのＣｒ成分と低解像度画像１６１ＢのＣｒ成分を合成して、−ｘ面１２の合成画像のＣｒ成分を生成する。そして、合成部３１５−１は、−ｘ面１２の合成画像の輝度成分と色差成分をエンコーダ
１５６−２に供給する。

低解像度化部３１４−２は、低解像度化部３１４−１と同様に、分割部３１３から供給される画像３３および画像３４を高解像度画像１６３Ａおよび高解像度画像１６４Ａとして、合成部３１５−２に供給する。また、低解像度化部３１４−２は、低解像度化部３１４−１と同様に、画像３３および画像３４から低解像度画像１６３Ｂおよび低解像度画像１６４Ｂを生成し、合成部３１５−２に供給する。

さらに、低解像度化部３１４−２は、低解像度化部３１４−１と同様に、分割部３１３から供給される＋ｙ面１３および−ｙ面１４の視差画像から、高解像度画像１６３Ａおよび高解像度画像１６４Ａの視差画像並びに低解像度画像１６３Ｂおよび低解像度画像１６４Ｂの視差画像を生成し、合成部３１５−２に供給する。

合成部３１５−２は、合成部３１５−１と同様に、低解像度化部３１４−２から供給される高解像度画像１６３Ａ、低解像度画像１６４Ｂ、並びに高解像度画像１６３Ａおよび低解像度画像１６４Ｂの視差画像から、＋ｙ面１３の合成画像（第１の合成画像）の輝度成分と色差成分を生成する。そして、合成部３１５−２は、＋ｙ面１３の合成画像の輝度成分と色差成分をエンコーダ１５６−３に供給する。

また、合成部３１５−２は、合成部３１５−１と同様に、低解像度化部３１４−２から供給される高解像度画像１６４Ａ、低解像度画像１６３Ｂ、並びに高解像度画像１６４Ａおよび低解像度画像１６３Ｂの視差画像から、−ｙ面１４の合成画像（第２の合成画像）の輝度成分と色差成分を生成する。そして、合成部３１５−２は、−ｙ面１４の合成画像の輝度成分と色差成分をエンコーダ１５６−４に供給する。

低解像度化部３１４−３は、低解像度化部３１４−１と同様に、分割部３１３から供給される画像３５および画像３６を高解像度画像１６５Ａおよび高解像度画像１６６Ａとして、合成部３１５−３に供給する。また、低解像度化部３１４−３は、低解像度化部３１４−１と同様に、画像３５および画像３６から低解像度画像１６５Ｂおよび低解像度画像１６６Ｂを生成し、合成部３１５−３に供給する。

さらに、低解像度化部３１４−３は、低解像度化部３１４−１と同様に、分割部３１３から供給される＋ｚ面１５および−ｚ面１６の視差画像から、高解像度画像１６５Ａおよび高解像度画像１６６Ａの視差画像並びに低解像度画像１６５Ｂおよび低解像度画像１６６Ｂの視差画像を生成し、合成部３１５−３に供給する。

合成部３１５−３は、合成部３１５−１と同様に、合成部３１５−２から供給される高解像度画像１６５Ａ、低解像度画像１６６Ｂ、並びに高解像度画像１６５Ａおよび低解像度画像１６６Ｂの視差画像から、＋ｚ面１５の合成画像（第１の合成画像）の輝度成分と色差成分を生成する。そして、合成部３１５−３は、＋ｚ面１５の合成画像の輝度成分と色差成分をエンコーダ１５６−５に供給する。

また、合成部３１５−３は、合成部３１５−１と同様に、合成部３１５−２から供給される高解像度画像１６６Ａ、低解像度画像１６５Ｂ、並びに高解像度画像１６６Ａおよび低解像度画像１６５Ｂの視差画像から、−ｚ面１６の合成画像（第２の合成画像）の輝度成分と色差成分を生成する。そして、合成部３１５−３は、−ｚ面１６の合成画像の輝度成分と色差成分をエンコーダ１５６−６に供給する。

（合成画像の説明）
図２０は、図１９の合成部３１５−１により生成される面１１の合成画像を説明する図
である。

図２０の左側に示すように、画像表示システム１３０の合成部１５５−１（図８）は、高解像度画像１６１Ａの輝度成分３２１−１と低解像度画像１６１Ｂの輝度成分３２２−１を合成し、合成画像１７１の輝度成分を生成する。また、合成部１５５−１は、高解像度画像１６１ＡのＣｂ成分３２１−２と低解像度画像１６１ＢのＣｂ成分３２２−２を合成して、合成画像１７１のＣｂ成分を生成する。さらに、合成部１５５−１は、高解像度画像１６１ＡのＣｒ成分３２１−３と低解像度画像１６１ＢのＣｒ成分３２２−３を合成し、合成画像１７１のＣｒ成分を生成する。

ここで、低解像度画像１６１Ｂの水平方向および垂直方向の解像度は、高解像度画像１６１Ａの水平方向および垂直方向の解像度の1/2である。従って、合成画像１７１の輝度成分には、低解像度画像１６１Ｂの輝度成分３２２−１と同一のサイズの空き領域３２３−１が発生する。同様に、合成画像１７１のＣｂ成分およびＣｒ成分には、それぞれ、低解像度画像１６１ＢのＣｂ成分３２２−２，Ｃｒ成分３２２−３と同一のサイズの空き領域３２３−２，３２３−３が発生する。

よって、合成部３１５−１は、図２０の右側に示すように、空き領域３２３−１に、高解像度画像１６１Ａの視差画像３３４を配置し、空き領域３２３−２に低解像度画像１６１Ｂの視差画像３３５を配置する。

具体的には、合成部３１５−１は、高解像度画像１６１Ａの輝度成分３２１−１、低解像度画像１６１Ｂの輝度成分３２２−１、および高解像度画像１６１Ａの視差画像３３４を合成し、合成画像３３０の輝度成分を生成する。

また、合成部３１５−２は、高解像度画像１６１ＡのＣｂ成分３２１−２、低解像度画像１６１ＢのＣｂ成分３２２−２、および低解像度画像１６１Ｂの視差画像３３５を合成し、合成画像３３０のＣｂ成分を生成する。

さらに、合成部３１５−２は、高解像度画像１６１ＡのＣｒ成分３２１−３と低解像度画像１６１ＢのＣｒ成分３２２−３を合成し、合成画像３３０のＣｒ成分を生成する。

以上のように、合成部３１５−２は、輝度成分の空き領域３２３−１に高解像度画像１６１Ａの視差画像３３４を配置し、Ｃｂ成分の空き領域３２３−２に低解像度画像１６１Ｂの視差画像３３５を配置する。これにより、高解像度画像１６１Ａと高解像度画像１６１Ａの視差画像３３４の比を、低解像度画像１６１Ｂと低解像度画像１６１Ｂの視差画像３３５の比と同一にすることができる。

なお、図２０では、＋ｘ面１１の合成画像３３０についてのみ説明したが、面１２乃至１６の合成画像についても同様である。また、第３実施の形態では、合成画像のＣｂ成分に低解像度画像の視差画像が配置されるようにするが、合成画像のＣｒ成分に低解像度画像の視差画像が配置されるようにしてもよい。

（コンテンツサーバの処理の説明）
図２１は、図１９のコンテンツサーバ３１０の符号化処理を説明するフローチャートである。この符号化処理は、例えば、フレーム単位で行われる。

図２１のステップＳ６０において、スティッチング処理部３１１は、マルチカメラから供給される全方向の撮影画像の色や明るさを同一にし、重なりを除去して接続する。スティッチング処理部３１１は、その結果得られる撮影画像をマッピング処理部３１２に供給
する。

ステップＳ６１において、スティッチング処理部３１１は、マルチカメラから供給される全方向の撮影画像の視差画像の重なりを除去して接続し、マッピング処理部３１２に供給する。

ステップＳ６２において、マッピング処理部３１２は、キューブマッピングにより、スティッチング処理部３１１から供給される撮影画像から、撮影画像の全天球画像３０を生成し、分割部３１３に供給する。また、マッピング処理部３１２は、キューブマッピングにより、スティッチング処理部３１１から供給される視差画像から、視差画像の全天球画像を生成し、分割部３１３に供給する。

ステップＳ６３において、分割部３１３は、マッピング処理部３１２から供給される撮影画像の全天球画像３０を、面１１乃至１６ごとに分割し、画像３１乃至３６を得る。また、分割部３１３は、マッピング処理部３１２から供給される視差画像の全天球画像を、面１１乃至１６ごとに分割し、面１１乃至面１６の視差画像を得る。

分割部３１３は、画像３１および画像３２、並びに、＋ｘ面１１および−ｘ面１２の視差画像を低解像度化部３１４−１に供給し、画像３３および画像３４、並びに、＋ｙ面１３および−ｙ面１４の視差画像を低解像度化部３１４−２に供給する。分割部３１３は、画像３５および画像３６、並びに、＋ｚ面１５および−ｚ面１６の視差画像を低解像度化部３１４−３に供給する。

低解像度化部３１４−１は、分割部３１３から供給される＋ｘ面１１および−ｘ面１２の画像を、そのまま、高解像度画像１６１Ａおよび高解像度画像１６２Ａとして合成部３１５−１に供給する。同様に、低解像度化部３１４−２は、高解像度画像１６３Ａおよび高解像度画像１６４Ａを合成部３１５−２に供給し、低解像度化部３１４−３は、高解像度画像１６５Ａおよび高解像度画像１６６Ａを合成部３１５−３に供給する。

ステップＳ６４において、低解像度化部３１４−１は、画像３１および画像３２、並びに、画像３１および画像３２の視差画像を低解像度化する。そして、低解像度化部３１４−１は、その結果得られる低解像度画像１６１Ｂ、低解像度画像１６２Ｂ、高解像度画像１６１Ａおよび高解像度画像１６２Ａの視差画像、並びに、低解像度画像１６１Ｂおよび低解像度画像１６２Ｂの視差画像を、合成部３１５−１に供給する。

同様に、低解像度化部３１４−２は、低解像度画像１６３Ｂ、低解像度画像１６４Ｂ、高解像度画像１６３Ａおよび高解像度画像１６４Ａの視差画像、並びに、低解像度画像１６３Ｂおよび低解像度画像１６４Ｂの視差画像を生成し、合成部３１５−２に供給する。また、低解像度化部３１４−３は、低解像度画像１６５Ｂ、低解像度画像１６６Ｂ、高解像度画像１６５Ａおよび高解像度画像１６６Ａの視差画像、並びに、低解像度画像１６５Ｂおよび低解像度画像１６６Ｂの視差画像を生成し、合成部３１５−３に供給する。

ステップＳ６５において、合成部３１５−１は、＋ｘ面１１と−ｘ面１２のペアの一方の＋ｘ面１１の高解像度画像１６１Ａおよび高解像度画像１６１Ａの視差画像と、他方の−ｘ面１２の低解像度画像１６２Ｂおよび低解像度画像１６２Ｂの視差画像を合成して、＋ｘ面１１の合成画像を生成する。そして、合成部３１５−１は、＋ｘ面１１の合成画像をエンコーダ１５６−１に供給する。また、合成部３１５−１は、他方の−ｘ面１２の高解像度画像１６２Ａおよび高解像度画像１６２Ａの視差画像と、一方の＋ｘ面１１の低解像度画像１６１Ｂおよび低解像度画像１６１Ｂの視差画像を合成して、−ｘ面１２の合成画像を生成する。そして、合成部３１５−１は、−ｘ面１２の合成画像をエンコーダ１５６−２に供給する。

同様に、合成部３１５−２は、＋ｙ面１３の合成画像を生成してエンコーダ１５６−３に供給し、−ｙ面１４の合成画像を生成してエンコーダ１５６−３に供給する。また、合成部３１５−３は、＋ｚ面１５の合成画像を生成してエンコーダ１５６−５に供給し、−ｚ面１６の合成画像を生成してエンコーダ１５６−６に供給する。

ステップＳ６６乃至Ｓ６８の処理は、図１１のステップＳ１６乃至Ｓ１８の処理と同様であるので、説明は省略する。

（ホームサーバの構成例）
図２２は、本開示を適用した画像表示システムの第３実施の形態のコンテンツサーバの構成例を示すブロック図である。

図２２に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２２のホームサーバ３５０の構成は、マッピング処理部２２５および描画部２２６の代わりに、マッピング処理部３５１および描画部３５２が設けられる点が、図１２のホームサーバ１３３の構成と異なる。ホームサーバ３５０は、面１１乃至１６の視差画像に基づいて、左目用の表示画像と右目用の表示画像を生成する。

具体的には、マッピング処理部３５１は、デコーダ２２４−１乃至２２４−３から供給される３つの面の合成画像のそれぞれに含まれる、低解像度画像、高解像度画像、低解像度画像の視差画像、および高解像度の視差画像を分離する。これにより、３つの面の高解像度画像および高解像度の視差画像、並びに、その３つの面のそれぞれと対向する３つの面の低解像度画像および低解像度の視差画像が生成される。

そして、マッピング処理部３５１は、３つの面の高解像度画像と３つの面の低解像度画像を、立方体１０の面１１乃至１６のそれぞれにテクスチャとしてマッピングし、立方体画像を生成する。また、マッピング処理部３５１は、３つの面の高解像度画像の視差画像と３つの面の低解像度画像の視差画像を、立方体の面１１乃至１６のそれぞれにテクスチャとしてマッピングし、立方体視差画像を生成する。マッピング処理部３５１は、立方体画像と立方体視差画像を描画部３５２に供給する。

描画部３５２は、マッピング処理部３５１から供給される立方体画像を、視線検出部２２８から供給されるユーザの視野範囲に投射投影することにより、ユーザの視野範囲の画像を表示画像として生成する。また、描画部３５２は、マッピング処理部３５１から供給される立方体視差画像をユーザの視野範囲に投射投影することにより、表示画像の視差画像を生成する。描画部３５２は、表示画像の視差画像に基づいて、表示画像を左右方向にずらすことにより、３Ｄ画像を構成する左目用の表示画像と右目用の表示画像を生成する。

描画部３５２は、左目用の表示画像と右目用の表示画像を、HDMIケーブルと図７の変換装置１３４を介して、ヘッドマウントディスプレイ１３５に伝送する。その結果、ヘッドマウントディスプレイ１３５は、ユーザの左目に左目用の表示画像を見せ、右目に右目用の表示画像を見せるように、左目用の表示画像と右目用の表示画像を表示する。これにより、ユーザは、３Ｄ画像を見ることができる。

（ホームサーバの処理の説明）
図２３は、図２２のホームサーバ３５０の復号処理を説明するフローチャートである。

図２３のステップＳ８１乃至Ｓ９１の処理は、図１７のステップＳ３１乃至Ｓ４１の処理と同様であるので、説明は省略する。

ステップＳ９２において、マッピング処理部３５１は、デコーダ２２４−１乃至２２４−３から供給される３つの面の合成画像のそれぞれに含まれる、低解像度画像、高解像度画像、低解像度画像の視差画像、および高解像度の視差画像を分離する。これにより、３つの面の高解像度画像および高解像度の視差画像、並びに、その３つの面のそれぞれと対向する３つの面の低解像度画像および低解像度の視差画像が生成される。

そして、マッピング処理部３５１は、３つの面の高解像度画像と３つの面の低解像度画像を、立方体１０の面１１乃至１６のそれぞれにテクスチャとしてマッピングし、立方体画像を生成する。また、マッピング処理部３５１は、３つの面の高解像度画像の視差画像と３つの面の低解像度画像の視差画像を、立方体の面１１乃至１６のそれぞれにテクスチャとしてマッピングし、立方体視差画像を生成する。マッピング処理部３５１は、立方体画像と立方体視差画像を描画部３５２に供給する。

ステップＳ９３において、描画部３５２は、マッピング処理部３５１から供給される立方体画像と視線検出部２２８から供給されるユーザの視野範囲とに基づいて、ユーザの視野範囲の画像を表示画像として生成する。ステップＳ９４において、描画部３５２は、マッピング処理部３５１から供給される立方体視差画像とユーザの視野範囲とに基づいて、表示画像の視差画像を生成する。

ステップＳ９５において、描画部３５２は、表示画像の視差画像に基づいて、表示画像を左右方向にずらすことにより、３Ｄ画像を構成する左目用の表示画像と右目用の表示画像を生成する。

ステップＳ９６において、描画部３５２は、左目用の表示画像と右目用の表示画像を、HDMIケーブルを介して図７の変換装置１３４に伝送し、処理を終了する。

以上のように、画像表示システムの第３の実施の形態では、合成画像に視差画像が含められるので、第１実施の形態の場合と同一のエンコーダおよびデコーダの数で、視差画像を記録および再生することができる。

＜第４実施の形態＞
（画像表示システムの第４実施の形態の構成例）
図２４は、本開示を適用した画像表示システムの第４実施の形態の構成例を示すブロック図である。

図２４に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２４の画像表示システム３７０の構成は、ホームサーバ１３３、ヘッドマウントディスプレイ１３５の代わりにホームサーバ３７１、ディスプレイ３７２が設けられる点、変換装置１３４が設けられない点、および、コントローラ３７３が設けられる点が、図７の画像表示システム１３０の構成と異なる。

画像表示システム３７０では、ユーザがコントローラ３７３を操作することによりユーザの位置および視線ベクトルを入力し、それに応じた表示画像がディスプレイ３７２に表
示される。

具体的には、画像表示システム３７０のホームサーバ３７１は、コンテンツサーバ１３２から伝送されてくる６本の符号化ストリームを受け取る。ホームサーバ３７１は、コントローラ３７３からのユーザの位置と視線ベクトルの指示を受け付ける。

ホームサーバ３７１は、図７のホームサーバ１３３と同様に、ユーザの視線ベクトルに基づいて、面１１乃至１６のうちのユーザの視線ベクトルに対応する３つの面を決定する。そして、ホームサーバ３７１は、６本の符号化ストリームのうちの、ユーザの視線ベクトルに対応する面の高解像度画像を含む合成画像の３本の符号化ストリームを選択し、復号する。

また、ホームサーバ３７１は、ホームサーバ１３３と同様に、ユーザの位置と視線ベクトルに基づいて、ユーザの視野範囲を決定する。ホームサーバ３７１は、復号の結果得られる合成画像から、ユーザの視野範囲の画像を表示画像として生成する。ホームサーバ３７１は、図示せぬHDMIケーブルを介して表示画像をディスプレイ３７２に伝送する。

ディスプレイ３７２は、ホームサーバ３７１から供給される表示画像を表示する。

コントローラ３７３は、操作ボタンなどを有する。ユーザが操作ボタンなどを操作することにより、ユーザの位置と視線ベクトルを入力したとき、コントローラ３７３は、その入力を受け付け、ユーザの位置と視線ベクトルをホームサーバ３７１に指示する。

なお、コントローラ３７３とディスプレイ３７２は一体化されていてもよい。この場合、コントローラ３７３とディスプレイ３７２は、例えば、携帯電話機やタブレット型端末などの携帯端末、パーソナルコンピュータの一部などにより構成される。また、コントローラ３７３は、ジャイロセンサ、加速度センサ、地磁気センサなどを有し、ユーザの視線ベクトルは、こららのセンサの検出結果に基づいて決定されるようにしてもよい。

＜高解像度画像と低解像度画像に対応する全天球画像の生成方法の説明＞
図２５は、本開示の高解像度画像と低解像度画像に対応する全天球画像の生成方法を説明する図である。

図２５に示すように、全天球画像の生成方法として、キューブマッピングと正距円筒図法がある場合、高解像度画像と低解像度画像に対応する全天球画像の生成方法の組み合わせとしては、４つのパターンがある。

具体的には、第１のパターンは、高解像度画像に対応する全天球画像の生成方法がキューブマッピングであり、低解像度画像に対応する全天球画像の生成方法が正距円筒図法であるパターンである。第２のパターンは、高解像度画像と低解像度画像に対応する全天球画像の生成方法が両方ともキューブマッピングであるパターンである。

また、第３のパターンは、高解像度画像と低解像度画像に対応する全天球画像の生成方法が両方とも正距円筒図法であるパターンである。第４のパターンは、高解像度画像に対応する全天球画像の生成方法が正距円筒図法であり、低解像度画像に対応する全天球画像の生成方法がキューブマッピングであるパターンである。

本開示の高解像度画像と低解像度画像に対応する全天球画像の生成方法のパターンは、第１乃至第４のパターンのうちの、第２および第３のパターンである。第２のパターンである場合、立方体画像の画素密度が略均一になり、表示画像の画質が良い。第３のパター
ンである場合、正距円筒図法を用いて生成された全天球画像を１本の符号化ストリームに符号化する既存の画像表示システムとの互換性が良い。

＜第５実施の形態＞
（本開示を適用したコンピュータの説明）
上述したコンテンツサーバ１３２（３１０）やホームサーバ１３３（３５０，３７１）の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。

入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。

以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。

なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）
等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、高解像度画像の解像度に対する低解像度画像の解像度の割合は、1/4でなくてもよい。高解像度画像の解像度は、低解像度画像の解像度より高ければよく、高解像度画像は、全天球画像の解像度を変換することにより生成されるようにしてもよい。

また、第３および第４実施の形態において、第２実施の形態のように、全天球画像の生成方法が正距円筒図法であってもよい。第４実施の形態において、第３実施の形態のように、合成画像に視差画像が含まれるようにしてもよい。

さらに、３Ｄモデルは、球や立方体のほか、正１２面体や正２０面体などの正多面体であってもよい。また、撮影画像は静止画像であっても動画像であってもよい。

また、コンテンツサーバ１３２（３１０）は、符号化ストリームを記録せずに、そのままホームサーバ１３３（３５０，３７１）に伝送するようにしてもよい。エンコーダ１５６−１乃至１５６−６は、コンテンツサーバ１３２（３１０）の外部に設けられるようにしてもよい。

さらに、全天球画像の生成時にマッピングされる３Ｄモデルと、立方体画像や立方体視差画像の生成時にマッピングされる３Ｄモデルのサイズは、異なっていてもよい。

本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本開示は、以下のような構成もとることができる。

（１）
全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第１の解像度の第１の面の前記全天球画像と前記第１の解像度より低い第２の解像度の第２の面の前記全天球画像とを合成した第１の合成画像と、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像とを合成した第２の合成画像とを符号化する符号化部
を備える画像処理装置。
（２）
前記符号化部は、前記第１の解像度の前記第１の面の前記全天球画像と前記第２の解像度の前記第２の面の前記全天球画像と第３の解像度の前記第１の面の視差画像とを合成した前記第１の合成画像と、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像と前記第３の解像度の前記第２の面の視差画像とを合成した前記第２の合成画像とを符号化する
前記（１）に記載の画像処理装置。
（３）
前記符号化部は、前記第１の解像度の前記第１の面の前記全天球画像の輝度成分と前記第２の解像度の前記第２の面の前記全天球画像の輝度成分と前記第３の解像度の前記第１の面の視差画像とを合成した前記第１の合成画像の輝度成分と、前記第１の解像度の前記第２の面の前記全天球画像の輝度成分と前記第２の解像度の前記第１の面の前記全天球画像の輝度成分と前記第３の解像度の前記第２の面の視差画像とを合成した前記第２の合成画像の輝度成分とを符号化する
前記（２）に記載の画像処理装置。
（４）
前記第２および第３の解像度は、前記第１の解像度の1/4である
前記（２）または（３）に記載の画像処理装置。
（５）
前記符号化部は、前記第１の解像度の前記第１の面の前記全天球画像の色差成分と前記第２の解像度の前記第２の面の前記全天球画像の色差成分と第３の解像度の前記第２の面の視差画像とを合成した前記第１の合成画像の色差成分と、前記第１の解像度の前記第２の面の前記全天球画像の色差成分と前記第２の解像度の前記第１の面の前記全天球画像の色差成分と前記第３の解像度の前記第１の面の視差画像とを合成した前記第２の合成画像の色差成分とを符号化する
前記（１）に記載の画像処理装置。
（６）
前記第１の合成画像と前記第２の合成画像とを生成する生成部
をさらに備える
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記第１の面および前記第２の面の前記全天球画像の解像度を前記第２の解像度に変換する変換部
をさらに備える
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記符号化により生成された符号化ストリームを記憶する記憶部と、
前記記憶部に記憶された前記符号化ストリームを、前記符号化ストリームを復号する端末に配信する配信部と
をさらに備える
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記符号化部は、AVC/H.264規格またはHEVC/H.265規格にしたがって、前記第１の合成画像と前記第２の合成画像とを符号化する
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記全天球画像は、キューブマッピングにより生成された画像または正距円筒図法により生成された画像である
前記（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
画像処理装置が、
全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第１の解像度の第１の面の前記全天球画像と前記第１の解像度より低い第２の解像度の第２の面の前記全天球画像とを合成した第１の合成画像と、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像とを合成した第２の合成画像とを符号化する符号化ステップ
を含む画像処理方法。
（１２）
全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第１の解像度の第１の面の前記全天球画像と前記第１の解像度より低い第２の解像度の第２の面の前記全天球画像とを合成した第１の合成画像の符号化ストリームと、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像とを合成した第２の合成画像の符号化ストリームのうちの、ユーザの視線方向に対応する面の前記第１の解像度の前記全天球画像が合成された方の符号化ストリームを復号する復号部
を備える画像処理装置。
（１３）
前記第１の合成画像は、前記第１の解像度の前記第１の面の前記全天球画像と前記第２の解像度の前記第２の面の前記全天球画像と第３の解像度の前記第１の面の視差画像とを合成した画像であり、
前記第２の合成画像は、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像と前記第３の解像度の前記第２の面の視差画像とを合成した画像である
前記（１２）に記載の画像処理装置。
（１４）
前記復号部は、前記第１の解像度の前記第１の面の前記全天球画像の輝度成分と前記第２の解像度の前記第２の面の前記全天球画像の輝度成分と前記第３の解像度の前記第１の面の視差画像とを合成した前記第１の合成画像の輝度成分の符号化ストリームと、前記第１の解像度の前記第２の面の前記全天球画像の輝度成分と前記第２の解像度の前記第１の面の前記全天球画像の輝度成分と前記第３の解像度の前記第２の面の視差画像とを合成した前記第２の合成画像の輝度成分の符号化ストリームのうちの、前記視線方向に対応する面の前記第１の解像度の前記全天球画像の輝度成分が合成された方の符号化ストリームを復号する
前記（１３）に記載の画像処理装置。
（１５）
前記第２および第３の解像度は、前記第１の解像度の1/4である
前記（１３）または（１４）に記載の画像処理装置。
（１６）
前記復号部は、前記第１の解像度の前記第１の面の前記全天球画像の色差成分と前記第２の解像度の前記第２の面の前記全天球画像の色差成分と第３の解像度の前記第２の面の視差画像とを合成した前記第１の合成画像の色差成分の符号化ストリームと、前記第１の解像度の前記第２の面の前記全天球画像の色差成分と前記第２の解像度の前記第１の面の前記全天球画像の色差成分と前記第３の解像度の前記第１の面の視差画像とを合成した前記第２の合成画像の色差成分の符号化ストリームのうちの、前記視線方向に対応する面の前記第１の解像度の前記全天球画像の色差成分が合成された方の符号化ストリームを復号する
前記（１２）に記載の画像処理装置。
（１７）
前記復号の結果得られる前記第１の合成画像または前記第２の合成画像を分離する分離部
をさらに備える
前記（１２）乃至（１６）のいずれかに記載の画像処理装置。
（１８）
前記第１および第２の合成画像の符号化ストリームは、AVC/H.264規格またはHEVC/H.265規格にしたがって符号化された前記第１および第２の合成画像である
前記（１２）乃至（１７）のいずれかに記載の画像処理装置。
（１９）
前記全天球画像は、キューブマッピングにより生成された画像または正距円筒図法により生成された画像である
前記（１２）乃至（１８）のいずれかに記載の画像処理装置。
（２０）
画像処理装置が、
全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第１の解像度の第１の面の前記全天球画像と前記第１の解像度より低い第２の解像度の第２の面の前記全天球画像とを合成した第１の合成画像の符号化ストリームと、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像とを合成した第２の合成画像の符号化ストリームのうちの、ユーザの視線方向に対応する面の前記第１の解像度の前記全天球画像が合成された方の符号化ストリームを復号する復号ステップ
を含む画像処理方法。

１０ 立方体, １１乃至１６ 面, ３０ 全天球画像, ７０ 球, ７１乃至７８ 面, ９０ 全天球画像, １３２ コンテンツサーバ, １３３ ホームサーバ, １５４−１乃至１５４−３ 低解像度化部, １５５−１乃至１５５−３ 合成部, １５６−１乃至１５６−６ エンコーダ, １６１Ｂ乃至１６６Ｂ 低解像度画像, １７１乃至１７６ 合成画像， ２２４−１乃至２２４−３ デコーダ, ３１０ コンテンツサーバ, ３１４−１乃至３１４−３ 低解像度化部, ３１５−１乃至３１５−３ 合成部, ３２１−１，３２２−１ 輝度成分, ３３４,３３５ 視差画像, ３５０ ホームサーバ, ３７１ ホームサーバ

Claims (20)

1. 全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第１の解像度の第１の面の前記全天球画像と前記第１の解像度より低い第２の解像度の第２の面の前記全天球画像とを合成した第１の合成画像と、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像とを合成した第２の合成画像とを符号化する符号化部
   を備える画像処理装置。
2. 前記符号化部は、前記第１の解像度の前記第１の面の前記全天球画像と前記第２の解像度の前記第２の面の前記全天球画像と第３の解像度の前記第１の面の視差画像とを合成した前記第１の合成画像と、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像と前記第３の解像度の前記第２の面の視差画像とを合成した前記第２の合成画像とを符号化する
   請求項１に記載の画像処理装置。
3. 前記符号化部は、前記第１の解像度の前記第１の面の前記全天球画像の輝度成分と前記第２の解像度の前記第２の面の前記全天球画像の輝度成分と前記第３の解像度の前記第１の面の視差画像とを合成した前記第１の合成画像の輝度成分と、前記第１の解像度の前記第２の面の前記全天球画像の輝度成分と前記第２の解像度の前記第１の面の前記全天球画像の輝度成分と前記第３の解像度の前記第２の面の視差画像とを合成した前記第２の合成画像の輝度成分とを符号化する
   請求項２に記載の画像処理装置。
4. 前記第２および第３の解像度は、前記第１の解像度の1/4である
   請求項２に記載の画像処理装置。
5. 前記符号化部は、前記第１の解像度の前記第１の面の前記全天球画像の色差成分と前記第２の解像度の前記第２の面の前記全天球画像の色差成分と第３の解像度の前記第２の面の視差画像とを合成した前記第１の合成画像の色差成分と、前記第１の解像度の前記第２の面の前記全天球画像の色差成分と前記第２の解像度の前記第１の面の前記全天球画像の色差成分と前記第３の解像度の前記第１の面の視差画像とを合成した前記第２の合成画像の色差成分とを符号化する
   請求項１に記載の画像処理装置。
6. 前記第１の合成画像と前記第２の合成画像とを生成する生成部
   をさらに備える
   請求項１に記載の画像処理装置。
7. 前記第１の面および前記第２の面の前記全天球画像の解像度を前記第２の解像度に変換する変換部
   をさらに備える
   請求項１に記載の画像処理装置。
8. 前記符号化により生成された符号化ストリームを記憶する記憶部と、
   前記記憶部に記憶された前記符号化ストリームを、前記符号化ストリームを復号する端末に配信する配信部と
   をさらに備える
   請求項１に記載の画像処理装置。
9. 前記符号化部は、AVC/H.264規格またはHEVC/H.265規格にしたがって、前記第１の合成画像と前記第２の合成画像とを符号化する
   請求項１に記載の画像処理装置。
10. 前記全天球画像は、キューブマッピングにより生成された画像または正距円筒図法により生成された画像である
    請求項１に記載の画像処理装置。
11. 画像処理装置が、
    全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第１の解像度の第１の面の前記全天球画像と前記第１の解像度より低い第２の解像度の第２の面の前記全天球画像とを合成した第１の合成画像と、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像とを合成した第２の合成画像とを符号化する符号化ステップ
    を含む画像処理方法。
12. 全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第１の解像度の第１の面の前記全天球画像と前記第１の解像度より低い第２の解像度の第２の面の前記全天球画像とを合成した第１の合成画像の符号化ストリームと、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像とを合成した第２の合成画像の符号化ストリームのうちの、ユーザの視線方向に対応する面の前記第１の解像度の前記全天球画像が合成された方の符号化ストリームを復号する復号部
    を備える画像処理装置。
13. 前記第１の合成画像は、前記第１の解像度の前記第１の面の前記全天球画像と前記第２の解像度の前記第２の面の前記全天球画像と第３の解像度の前記第１の面の視差画像とを合成した画像であり、
    前記第２の合成画像は、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像と前記第３の解像度の前記第２の面の視差画像とを合成した画像である
    請求項１２に記載の画像処理装置。
14. 前記復号部は、前記第１の解像度の前記第１の面の前記全天球画像の輝度成分と前記第２の解像度の前記第２の面の前記全天球画像の輝度成分と前記第３の解像度の前記第１の面の視差画像とを合成した前記第１の合成画像の輝度成分の符号化ストリームと、前記第１の解像度の前記第２の面の前記全天球画像の輝度成分と前記第２の解像度の前記第１の面の前記全天球画像の輝度成分と前記第３の解像度の前記第２の面の視差画像とを合成した前記第２の合成画像の輝度成分の符号化ストリームのうちの、前記視線方向に対応する面の前記第１の解像度の前記全天球画像の輝度成分が合成された方の符号化ストリームを復号する
    請求項１３に記載の画像処理装置。
15. 前記第２および第３の解像度は、前記第１の解像度の1/4である
    請求項１３に記載の画像処理装置。
16. 前記復号部は、前記第１の解像度の前記第１の面の前記全天球画像の色差成分と前記第２の解像度の前記第２の面の前記全天球画像の色差成分と第３の解像度の前記第２の面の視差画像とを合成した前記第１の合成画像の色差成分の符号化ストリームと、前記第１の解像度の前記第２の面の前記全天球画像の色差成分と前記第２の解像度の前記第１の面の
    前記全天球画像の色差成分と前記第３の解像度の前記第１の面の視差画像とを合成した前記第２の合成画像の色差成分の符号化ストリームのうちの、前記視線方向に対応する面の前記第１の解像度の前記全天球画像の色差成分が合成された方の符号化ストリームを復号する
    請求項１２に記載の画像処理装置。
17. 前記復号の結果得られる前記第１の合成画像または前記第２の合成画像を分離する分離部
    をさらに備える
    請求項１２に記載の画像処理装置。
18. 前記第１および第２の合成画像の符号化ストリームは、AVC/H.264規格またはHEVC/H.265規格にしたがって符号化された前記第１および第２の合成画像である
    請求項１２に記載の画像処理装置。
19. 前記全天球画像は、キューブマッピングにより生成された画像または正距円筒図法により生成された画像である
    請求項１２に記載の画像処理装置。
20. 画像処理装置が、
    全天球画像に対するモデルの複数の面の対向する面どうしのペアを対象として、第１の解像度の第１の面の前記全天球画像と前記第１の解像度より低い第２の解像度の第２の面の前記全天球画像とを合成した第１の合成画像の符号化ストリームと、前記第１の解像度の前記第２の面の前記全天球画像と前記第２の解像度の前記第１の面の前記全天球画像とを合成した第２の合成画像の符号化ストリームのうちの、ユーザの視線方向に対応する面の前記第１の解像度の前記全天球画像が合成された方の符号化ストリームを復号する復号ステップ
    を含む画像処理方法。

Images