JP6977725B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6977725B2
JP6977725B2 JP2018531825A JP2018531825A JP6977725B2 JP 6977725 B2 JP6977725 B2 JP 6977725B2 JP 2018531825 A JP2018531825 A JP 2018531825A JP 2018531825 A JP2018531825 A JP 2018531825A JP 6977725 B2 JP6977725 B2 JP 6977725B2
Authority
JP
Japan
Prior art keywords
image
layer
range
texture
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018531825A
Other languages
English (en)
Other versions
JPWO2018025642A1 (ja
Inventor
雄一 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018025642A1 publication Critical patent/JPWO2018025642A1/ja
Application granted granted Critical
Publication of JP6977725B2 publication Critical patent/JP6977725B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/536—Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Description

本開示は、画像処理装置および画像処理方法に関し、特に、全天球画像を用いて所定の視点の高画質のテクスチャ画像を生成することができるようにした画像処理装置および画像処理方法に関する。
マルチカメラにより撮影された水平方向の周囲360度および垂直方向の周囲180度の撮影画像を２Ｄ画像（平面画像）にマッピングした全天球画像を生成し、符号化して記憶する記憶装置がある（例えば、特許文献１参照）。
また、記憶装置により記憶された全天球画像の符号化ストリームを復号し、その結果得られる全天球画像を用いて視聴者の視野範囲のテクスチャ画像を表示させる再生装置がある。このような再生装置は、全天球画像を球や立方体などの３Ｄモデルの表面上に貼り付け、その３Ｄモデルの内部の１点である視点から、視聴者の視線方向の３Ｄモデルの表面を見たときの視聴者の視野範囲のテクスチャ画像を表示させる。これにより、所定の視点の視聴者の視野範囲の撮影画像が再現される。
特開２００６−１４１７４号公報
しかしながら、例えば、被写体の明るさの範囲が広い場合に、テクスチャ画像で十分に表現できないことがあった。
本開示は、このような状況に鑑みてなされたものであり、全天球画像を用いて所定の視点の高画質のテクスチャ画像を生成することができるようにするものである。
本開示の第１の側面の画像処理装置は、全天球画像のテクスチャ画像及びデプス画像から構成される第１レイヤのテクスチャ画像及びデプス画像と第２レイヤのテクスチャ画像及びデプス画像とを用いて、所定の視点の表示画像を生成する画像生成部とを備え、前記第１レイヤのテクスチャ画像及びデプス画像の一方において所定のビット数で表現された画素値の範囲は第１の範囲に対応し、前記第２レイヤのテクスチャ画像及びデプス画像の前記一方において前記所定のビット数で表現された画素値の範囲は前記第１の範囲と異なる範囲を含む第２の範囲に対応し、前記画像生成部は、前記第１の範囲から前記第２の範囲までを前記所定のビット数の画素値で表現した前記所定の視点の表示画像を生成する。
本開示の第１の側面の画像処理方法は、画像処理装置が、全天球画像のテクスチャ画像及びデプス画像から構成される第１レイヤのテクスチャ画像及びデプス画像と第２レイヤのテクスチャ画像及びデプス画像とを用いて、所定の視点の表示画像を生成するステップを含み、前記第１レイヤのテクスチャ画像及びデプス画像の一方において所定のビット数で表現された画素値の範囲は第１の範囲に対応し、前記第２レイヤのテクスチャ画像及びデプス画像の前記一方において前記所定のビット数で表現された画素値の範囲は前記第１の範囲と異なる範囲を含む第２の範囲に対応し、前記第１の範囲から前記第２の範囲までを前記所定のビット数の画素値で表現した前記所定の視点の表示画像を生成する。
本開示の第１の側面においては、全天球画像のテクスチャ画像及びデプス画像から構成される第１レイヤのテクスチャ画像及びデプス画像と第２レイヤのテクスチャ画像及びデプス画像とを用いて、所定の視点の表示画像が生成される。前記第１レイヤのテクスチャ画像及びデプス画像の一方において所定のビット数で表現された画素値の範囲は第１の範囲に対応し、前記第２レイヤのテクスチャ画像及びデプス画像の前記一方において前記所定のビット数で表現された画素値の範囲は前記第１の範囲と異なる範囲を含む第２の範囲に対応し、前記第１の範囲から前記第２の範囲までを前記所定のビット数の画素値で表現した前記所定の視点の表示画像が生成される。
本開示の第２の側面の画像処理装置は、全天球画像のテクスチャ画像及びデプス画像から構成される第１レイヤのテクスチャ画像及びデプス画像と第２レイヤのテクスチャ画像及びデプス画像を生成する画像生成部を備え、前記第１レイヤのテクスチャ画像及びデプス画像の一方において所定のビット数で表現された画素値の範囲は第１の範囲に対応し、前記第２レイヤのテクスチャ画像及びデプス画像の前記一方において前記所定のビット数で表現された画素値の範囲は前記第１の範囲と異なる範囲を含む第２の範囲に対応する。
本開示の第２の側面の画像処理方法は、画像処理装置が、全天球画像のテクスチャ画像及びデプス画像から構成される第１レイヤのテクスチャ画像及びデプス画像と第２レイヤのテクスチャ画像及びデプス画像を生成するステップを含み、前記第１レイヤのテクスチャ画像及びデプス画像の一方において所定のビット数で表現された画素値の範囲は第１の範囲に対応し、前記第２レイヤのテクスチャ画像及びデプス画像の前記一方において前記所定のビット数で表現された画素値の範囲は前記第１の範囲と異なる範囲を含む第２の範囲に対応する。
本開示の第２の側面においては、全天球画像のテクスチャ画像及びデプス画像から構成される第１レイヤのテクスチャ画像及びデプス画像と第２レイヤのテクスチャ画像及びデプス画像が生成される。前記第１レイヤのテクスチャ画像及びデプス画像の一方において所定のビット数で表現された画素値の範囲は第１の範囲に対応し、前記第２レイヤのテクスチャ画像及びデプス画像の前記一方において前記所定のビット数で表現された画素値の範囲は前記第１の範囲と異なる範囲を含む第２の範囲に対応する。
なお、本開示の第１および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、本開示の第１および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本開示の第１の側面によれば、全天球画像を用いて所定の視点の高画質のテクスチャ画像を生成することができる。
本開示の第２の側面によれば、全天球画像を用いて所定の視点の高画質のテクスチャ画像を生成するための画像を生成することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。 コンテンツサーバの構成例を示すブロック図である。 高解像度画像処理部の構成例を示すブロック図である。 距離ｚと距離ｒを説明する図である。 ３Ｄモデル座標系のＸ軸の変化を示す図である。 ３Ｄモデル座標系のＸ軸の変化に伴う最小値zminと最小値rminの変化を説明する図である。 第１レイヤの６つの面のデプス画像を球にマッピングした際の各画素の球上の位置の例を示す図である。 第１レイヤの面の例を示す図である。 第１レイヤの視点位置情報および面情報のテーブルの構成例を示す図である。 第１の明るさ範囲及び第２の明るさ範囲と表示画像との関係を示す図である。 ストリーム生成処理を説明するフローチャートである。 ホームサーバの構成例を示すブロック図である。 ＭＬ３Ｄモデル生成部の構成例を示すブロック図である。 サンプリング点の例を説明する図である。 サンプリング点の他の例を説明する図である。 再生処理を説明するフローチャートである。 ３次元データ生成処理の詳細を説明するフローチャートである。 レイヤごとに奥行き距離を変える例を説明する図である。 本開示を適用した画像表示システムの第２実施の形態の構成例を示すブロック図である。 第１レイヤのテクスチャ画像の他の例を示す図である。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：画像表示システム（図１乃至図１８）
２．第２実施の形態：画像表示システム（図１９）
３．テクスチャ画像の他の例(図２０)
４．第３実施の形態：コンピュータ（図２１）
５．応用例（図２２および図２３）
＜１．第１実施の形態＞
（画像表示システムの第１実施の形態の構成例）
図１は、本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。
図１の画像表示システム１０は、マルチカメラ１１、コンテンツサーバ１２、ホームサーバ１３、変換装置１４、およびヘッドマウントディスプレイ１５により構成される。画像表示システム１０は、マルチカメラ１１により撮影されたYCbCr画像（YUV画像）である撮影画像から全天球画像を生成し、全天球画像のうちの視聴者の視野範囲の画像を表示する。
具体的には、画像表示システム１０のマルチカメラ１１は、水平方向の周囲360度および垂直方向の周囲180度を撮影範囲として、外向きに配置された複数（図１の例では６個）のカメラにより構成される。各カメラは、水平方向または垂直方向の少なくとも一方に所定の間隔を空けて配置された２つ以上の撮像センサ（CMOSイメージセンサやCCDイメージセンサ）を有するステレオカメラで構成される。各カメラは、撮影を行い、その結果得られる撮影画像をフレーム単位で生成する。マルチカメラ１１は、各カメラの撮影画像をコンテンツサーバ１２に供給する。なお、マルチカメラ１１の各カメラとして、ＴｏＦ（Time of Flight）センサに代表される画像情報と距離情報を１つでセンシングできるセンサを用いてもよい。
コンテンツサーバ１２(画像処理装置)は、マルチカメラ１１から供給される各カメラの撮影画像から、所定の視点の全天球画像のテクスチャ画像とデプス画像を生成する。第１実施の形態では、デプス画像は、所定の視点から各画素における被写体までの直線の距離ｒを示す8ビットの値としての、距離ｒの逆数1/rを画素値とする画像である。被写体までの直線の距離ｒは、ステレオカメラを構成する２つ以上の撮像センサで同一の被写体を撮像したときの視差から、三角測量の原理により算出することができる。なお、被写体までの直線の距離ｒは、例えば、ＴｏＦ（Time of Flight）方式など、視差から求める方法以外の方法を用いて算出しもよい。
また、コンテンツサーバ１２は、各カメラの撮影画像を用いて、全天球画像における視点を中心とした立方体を構成する６つの面に対応するテクスチャ画像とデプス画像を階層化して生成する。より具体的には、コンテンツサーバ１２は、６つの面の第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像を生成する。ここで、第１レイヤのテクスチャ画像と第２レイヤのテクスチャ画像とは、マルチカメラ１１により撮影されたYCbCr画像（YUV画像）の輝度情報（Y成分）が異なるように生成される。
即ち、マルチカメラ１１の各カメラは、例えば、絞りを変えたり、露光時間（シャッタ速度）を変えたりして、同一の視点及び視野範囲で、被写体の明るさが異なるように撮影して得られた２種類の撮影画像を生成し、コンテンツサーバ１２に供給する。コンテンツサーバ１２は、被写体の明るさの範囲が第１の範囲（以下、第１の明るさ範囲という。）となるように撮影された撮影画像に基づく全天球画像のテクスチャ画像とデプス画像から、６つの面の第１レイヤのテクスチャ画像とデプス画像を生成する。また、コンテンツサーバ１２は、被写体の明るさの範囲が第１の範囲よりも明るい第２の範囲（以下、第２の明るさ範囲という。）となるように撮影された撮影画像に基づく全天球画像のテクスチャ画像とデプス画像から、６つの面の第２レイヤのテクスチャ画像とデプス画像を生成する。なお、全天球画像における視点と立方体の中心は異なっていていてもよい。
コンテンツサーバ１２は、各面の第１レイヤのテクスチャ画像とデプス画像からなる第１レイヤ画像と、各面の第２レイヤのテクスチャ画像とデプス画像からなる第２レイヤ画像を、面、画像の種類、およびレイヤごとに、AVCやHEVC等の符号化方式で圧縮符号化する。コンテンツサーバ１２は、その結果得られる各面の第１レイヤのテクスチャ画像の符号化ストリーム（以下、第１レイヤテクスチャストリームという）、第１レイヤのデプス画像の符号化ストリーム（以下、第１レイヤデプスストリームという）、第２レイヤのテクスチャ画像の符号化ストリーム（以下、第２レイヤテクスチャストリームという）、および第２レイヤのデプス画像の符号化ストリーム(以下、第２レイヤデプスストリームという)を記憶する。なお、第１レイヤ画像と第２レイヤ画像の符号化方式は、MVC（Multiview Video Coding）方式や3D-HEVC方式等であってもよい。
コンテンツサーバ１２は、全天球画像のテクスチャ画像とデプス画像を低解像度化し、低解像度テクスチャ画像と低解像度デプス画像とを生成する。コンテンツサーバ１２は、低解像度テクスチャ画像と低解像度デプス画像を、AVC(Advanced Video Coding)やHEVC(High Efficiency Video Coding)/H.265等の符号化方式で圧縮符号化する。コンテンツサーバ１２は、その結果得られる低解像度テクスチャ画像の符号化ストリーム（以下、低解像度テクスチャストリームという）と低解像度デプス画像の符号化ストリーム(以下、低解像度デプスストリームという)を記憶する。なお、低解像度テクスチャ画像と低解像度デプス画像は、被写体の明るさの範囲が第１の範囲の撮影画像に基づく全天球画像のテクスチャ画像とデプス画像から生成してもよいし、第２の範囲の撮影画像に基づく全天球画像のテクスチャ画像とデプス画像から生成してもよい。あるいはまた、第１の範囲の撮影画像と第２の範囲の撮影画像を平均処理した撮影画像に基づく全天球画像のテクスチャ画像とデプス画像から生成してもよい。
さらに、コンテンツサーバ１２は、第１レイヤおよび第２レイヤの各面に関する情報等をメタデータとして生成し、記憶する。コンテンツサーバ１２は、記憶している低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを、図示せぬネットワークを介してホームサーバ１３に伝送する。
なお、コンテンツサーバ１２は、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを再構成（詳細は後述する）することもできる。この場合、コンテンツサーバ１２は、再構成後の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームと、それらに対応するメタデータをホームサーバ１３に伝送することもできる。しかしながら、以下では、説明の便宜上、再構成が行われた場合であっても、再構成前の６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームが、コンテンツサーバ１２に伝送されるものとする。
ホームサーバ１３(画像処理装置)は、コンテンツサーバ１２から伝送されてくる、低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを受け取る。
また、ホームサーバ１３は、カメラ１３Ａを内蔵し、視聴者の頭部に装着されるヘッドマウントディスプレイ１５に付されたマーカ１５Ａを撮影する。そして、ホームサーバ１３は、マーカ１５Ａの撮影画像に基づいて視聴位置を検出する。さらに、ホームサーバ１３は、ヘッドマウントディスプレイ１５のジャイロセンサ１５Ｂの検出結果を、ヘッドマウントディスプレイ１５から変換装置１４を介して受け取る。ホームサーバ１３は、ジャイロセンサ１５Ｂの検出結果に基づいて視聴者の視線方向を決定し、視聴位置と視線方向に基づいて視聴者の視野範囲を決定する。
ホームサーバ１３は、第１レイヤの６つの面のうちの、視聴者の視線方向に対応する３つの面を選択する。そして、ホームサーバ１３は、選択された３つの面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを復号する。これにより、ホームサーバ１３は、選択された３つの面に対応する第１レイヤおよび第２レイヤのテクスチャ画像およびデプス画像を生成する。
また、ホームサーバ１３は、低解像度テクスチャストリームと低解像度デプスストリームを復号し、低解像度テクスチャ画像と低解像度デプス画像を生成する。ホームサーバ１３は、選択された３つの面に対応する第１レイヤおよび第２レイヤのテクスチャ画像およびデプス画像、並びに、低解像度テクスチャ画像と低解像度デプス画像を用いて、視聴者の視野範囲の画像を表示画像として生成する。ホームサーバ１３は、図示せぬHDMI（登録商標）（High-Definition Multimedia Interface）ケーブルを介して表示画像を変換装置１４に伝送する。
変換装置１４は、ホームサーバ１３から伝送されてくる表示画像における座標を、ヘッドマウントディスプレイ１５における座標に変換する。変換装置１４は、座標変換後の表示画像をヘッドマウントディスプレイ１５に供給する。
ヘッドマウントディスプレイ１５は、マーカ１５Ａとジャイロセンサ１５Ｂを有し、視聴者の頭部に装着される。ヘッドマウントディスプレイ１５は、変換装置１４から供給される表示画像を表示する。また、ヘッドマウントディスプレイ１５に内蔵されるジャイロセンサ１５Ｂは、ヘッドマウントディスプレイ１５の傾きを検出し、その検出結果を、変換装置１４を介してホームサーバ１３に伝送する。
（コンテンツサーバの構成例）
図２は、図１のコンテンツサーバ１２の構成例を示すブロック図である。
図２のコンテンツサーバ１２は、デプス検出部３１、低解像度画像処理部３３、および高解像度画像処理部３４により構成される。
コンテンツサーバ１２のデプス検出部３１は、図１のマルチカメラ１１から供給される各カメラの撮影画像の画素ごとに、その画素における被写体を含む奥行き方向に垂直なデプス平面とカメラの間の奥行き方向の距離zの逆数1/zを検出する。デプス検出部３１は、その結果得られる各カメラの撮影画像の各画素の逆数1/zを画素値とするｚ画像を低解像度画像処理部３３と高解像度画像処理部３４に供給する。
低解像度画像処理部３３は、マルチカメラ１１の３次元座標系(以下、カメラ座標系という)における所定の３次元位置を視点として、マルチカメラ１１から供給される各カメラの撮影画像を、視点を中心とした正八面体にマッピング(透視投影)することにより、全天球画像のテクスチャ画像を生成する。また、低解像度画像処理部３３は、デプス検出部３１から供給される各カメラのｚ画像を、撮影画像と同様に正八面体にマッピングすることにより、全天球画像のｚ画像を生成する。
低解像度画像処理部３３は、全天球画像のｚ画像の各画素の逆数1/zを逆数1/rに変換する。そして、低解像度画像処理部３３は、以下の式（１）により、逆数1/rに対して8ビット量子化を行う。
Figure 0006977725
なお、Ｉd（ｒ）は、距離ｒの逆数1/rの8ビット量子化後の値である。ｒmax，ｒminは、それぞれ、全カメラの撮影画像における距離ｒの最大値、最小値である。
低解像度画像処理部３３は、全天球画像の各画素の逆数1/rの8ビット量子化後の値を画素値とすることにより、全天球画像のデプス画像を生成する。
低解像度画像処理部３３は、全天球画像のテクスチャ画像とデプス画像を低解像度化し、低解像度テクスチャ画像と低解像度デプス画像を生成する。低解像度画像処理部３３は、低解像度テクスチャ画像と低解像度デプス画像を圧縮符号化し、その結果得られる低解像度テクスチャストリームと低解像度デプスストリームを記憶する。低解像度画像処理部３３は、記憶している低解像度テクスチャストリームと低解像度デプスストリームを、図１のホームサーバ１３に送信する。
高解像度画像処理部３４は、マルチカメラ１１から供給される各カメラの撮影画像を用いて、低解像度画像処理部３３における正八面体と中心が同一である立方体を構成する６つの面に対応する第１レイヤおよび第２レイヤのテクスチャ画像を生成する。高解像度画像処理部３４は、デプス検出部３１から供給される各カメラのｚ画像を用いて、撮影画像と同様に６つの面に対応する第１レイヤおよび第２レイヤのデプス画像を生成する。
高解像度画像処理部３４は、各面の第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像を、面、画像の種類、およびレイヤごとに圧縮符号化する。コンテンツサーバ１２は、その結果得られる第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを記憶する。
また、高解像度画像処理部３４は、メタデータを生成して記憶する。コンテンツサーバ１２は、記憶している６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを、図示せぬネットワークを介してホームサーバ１３に伝送する。
（高解像度画像処理部の構成例）
図３は、図２の高解像度画像処理部３４の構成例を示すブロック図である。
図３の高解像度画像処理部３４は、第１レイヤ生成部５０、量子化部５１、エンコーダ５２、第２レイヤ生成部５３、量子化部５４、エンコーダ５５、設定部５６、メタデータ生成部５７、ストレージ５８、再構成部５９、および伝送部６０により構成される。
第１レイヤ生成部５０には、設定部５６から、カメラ座標系における全天球画像の視点を原点とした３次元座標系（以下、３Ｄモデル座標系という）における、第１レイヤの視点の３次元位置として原点を示す視点位置情報が供給される。また、第１レイヤ生成部５０には、３Ｄモデル座標系における原点を中心とした立方体を構成する６つの面をそれぞれ含む６つの面それぞれの、３Ｄモデル座標系における３次元位置およびサイズを示す面情報が供給される。
第１レイヤ生成部５０は、視点位置情報が示す原点を第１レイヤの視点（第１の視点）に設定する。第１レイヤ生成部５０（画像生成部）は、カメラ座標系における全天球画像の視点を原点として、第１レイヤの視点から、図１のマルチカメラ１１から供給される第１の明るさ範囲の撮影画像を、６つの各面情報が示す３次元位置およびサイズの面のそれぞれにマッピングする。これにより、第１レイヤ生成部５０は、第１レイヤの６つの面のテクスチャ画像を生成する。
また、第１レイヤ生成部５０（画像生成部）は、カメラ座標系における全天球画像の視点を原点として、第１レイヤの視点から、図２のデプス検出部３１から供給されるｚ画像を、６つの各面情報が示す３次元位置およびサイズの面のそれぞれにマッピングする。これにより、第１レイヤ生成部５０は、第１レイヤの６つの面のｚ画像を生成する。
第１レイヤの６つの面に対応する視点は同一であるため、第１レイヤの６つの面のテクスチャ画像は、第１レイヤの視点を中心とした３Ｄモデルにマッピングされた全天球画像を６つの面にマッピングすることにより得られた画像であるといえる。同様に、第１レイヤの６つの面のｚ画像は、第１レイヤの視点を中心とした３Ｄモデルにマッピングされた全天球画像のｚ画像を６つの面にマッピングすることにより得られた画像であるといえる。第１レイヤ生成部５０は、第１レイヤの６つの面のテクスチャ画像をエンコーダ５２に供給し、第１レイヤの６つの面のｚ画像を量子化部５１に供給する。
量子化部５１は、第１レイヤ生成部５０から供給される第１レイヤの６つの各面のｚ画像の各画素の逆数1/zを逆数1/rに変換する。そして、量子化部５１は、上述した式（１）により、逆数1/rに対して8ビット量子化を行う。但し、式（１）におけるｒmax，ｒminは、６つの面全てにおける距離ｒの最大値、最小値である。ｒmaxおよびｒminを６つの面全てにおける距離ｒの最大値および最小値とすることにより、各面の距離ｒの最大値および最小値とする場合に比べて、面ごとに量子化ステップが変化することを防止することができる。量子化部５１は、第１レイヤの６つの面のｚ画像の各画素の逆数1/rの8ビット量子化後の値を画素値とすることにより、第１レイヤの６つの面のデプス画像を生成し、エンコーダ５２に供給する。
エンコーダ５２は、第１レイヤ生成部５２から供給される第１レイヤの６つの面のテクスチャ画像と量子化部５１から供給される第１レイヤの６つの面のデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化し、第１レイヤテクスチャストリームと第１レイヤデプスストリームを生成する。エンコーダ５２は、第１レイヤテクスチャストリームと第１レイヤデプスストリームをストレージ５８に供給する。
第２レイヤ生成部５３には、設定部５６から、第１レイヤの各面に対応する第２レイヤの各面の、第１レイヤの視点と同じ視点（第２レイヤの視点）を示す視点位置情報と、第１レイヤの各面に対応する第２レイヤの各面の面情報とが供給される。
第２レイヤ生成部５３（画像生成部）は、第２レイヤの面ごとに、その面に対応する第２レイヤの視点から、マルチカメラ１１から供給される第２の明るさ範囲の撮影画像を、６つの各面情報が示す３次元位置およびサイズの面のそれぞれにマッピングする。これにより、第２レイヤ生成部５３は、第２レイヤの６つの面のテクスチャ画像を生成する。
また、第２レイヤ生成部５３（画像生成部）は、第２レイヤの面ごとに、第２レイヤの視点から、図２のデプス検出部３１から供給されるｚ画像を、６つの各面情報が示す３次元位置およびサイズの面のそれぞれにマッピングする。これにより、第２レイヤ生成部５４は、第２レイヤの６つの面のｚ画像を生成する。
従って、テクスチャ画像の画素値が表す被写体の明るさは、第１レイヤのテクスチャ画像と第２レイヤのテクスチャ画像とで異なるが、ｚ画像が表す被写体までの距離は、第1レイヤのｚ画像と第２レイヤのｚ画像で同一である。第２レイヤ生成部５３は、第２レイヤの６つの面のテクスチャ画像をエンコーダ５５に供給し、第２レイヤの６つの面のｚ画像を量子化部５４に供給する。
量子化部５４は、第２レイヤ生成部５３から供給される第２レイヤの６つの各面のｚ画像の各画素の逆数1/zを逆数1/rに変換する。そして、量子化部５４は、量子化部５１と同様に、上述した式（１）により、逆数1/rに対して8ビット量子化を行う。量子化部５４は、第２レイヤの６つの面のｚ画像の各画素の逆数1/rの8ビット量子化後の値を画素値とすることにより、第２レイヤの６つの面のデプス画像を生成し、エンコーダ５５に供給する。
エンコーダ５５は、第２レイヤ生成部５３から供給される第２レイヤの６つの面のテクスチャ画像と量子化部５４から供給される第２レイヤの６つの面のデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化し、第２レイヤテクスチャストリームと第２レイヤデプスストリームを生成する。エンコーダ５５は、第２レイヤテクスチャストリームと第２レイヤデプスストリームをストレージ５８に供給する。
設定部５６は、３Ｄモデル座標系における原点を第１レイヤの視点として設定する。設定部５６は、第１レイヤの視点を中心とした立方体を構成する６つの矩形の面をそれぞれ含む６つの面を第１レイヤの面として設定する。
設定部５６は、第１レイヤの１つの視点位置情報と６つの面情報を第１レイヤ生成部５０とメタデータ生成部５７に供給する。また、設定部５６は、第１レイヤと同じ視点の視点位置情報と６つの面情報を第２レイヤ生成部５３にも供給する。
メタデータ生成部５７は、設定部５６から供給される第１レイヤと第２レイヤに共通の視点位置情報および面情報を含むテーブルをメタデータとして生成し、ストレージ５８に供給する。
ストレージ５８は、エンコーダ５２から供給される第１レイヤテクスチャストリームおよび第１レイヤデプスストリーム、並びに、エンコーダ５５から供給される第２レイヤテクスチャストリームおよび第２レイヤデプスストリームを記憶する。また、ストレージ５８は、メタデータ生成部５７から供給されるメタデータを記憶する。
また、ストレージ５８は、再構成部５９から供給される再構成後の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びに、メタデータを記憶する。
再構成部５９は、必要に応じて、ストレージ５８に記憶されている６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを読み出し、再構成する。
具体的には、再構成部５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面の数や画角を変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面の数や画角を変更する。例えば、再構成部５９は、第１レイヤの面を、立方体を構成する６つの面をそれぞれ含む６つの面から、その６つの面に各面の中心を通る法線が立方体の１２本の各辺の中点と視点を通る線である１２個の面を加えた１８個の面に変更する。
または、再構成部５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面どうしの間隔（密度）を変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面どうしの間隔を変更する。例えば、再構成部５９は、第１レイヤの面を、中心を通る法線の間隔が９０度である、立方体を構成する６つの面をそれぞれ含む６つの面から、中心を通る法線の間隔が４５度である１８個の面に変更する。
第１レイヤの面どうしの間隔が狭くなると、面数が増加するため、総データ容量は増加するが、ホームサーバ１３において、より視聴者の視野範囲に近い第１レイヤの面に対応するテクスチャ画像およびデプス画像を用いて表示画像を生成することができる。その結果、表示画像内の、第１レイヤまたは第２レイヤのテクスチャ画像およびデプス画像を用いて生成される高解像度領域が増加し、表示画像の画質が向上する。
なお、再構成部５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面の位置を変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面の位置を変更することにより、再構成を行ってもよい。この場合、再構成部５９は、例えば、主要な被写体が第１レイヤの面の境界に存在するとき、主要な被写体が第１レイヤの面の境界以外の位置（例えば中央）に存在するように、第１レイヤの６つの面に対応する立方体を回転することにより、再構成を行う。
また、再構成部５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面の傾きを変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面の傾きを変更することにより、再構成を行ってもよい。この場合、再構成部５９は、例えば、第１レイヤのテクスチャ画像内の主要な被写体が傾いているとき、傾きがなくなるように、第１レイヤの６つの面に対応する立方体を回転することにより、再構成を行う。
再構成部５９は、以上のようにして変更された第１レイヤの各面に対して、再構成後の第２レイヤの視点と面を設定する。そして、再構成部５９は、再構成前の第２レイヤテクスチャストリームを用いて、第２レイヤテクスチャストリームに対応する視点および面を、設定された再構成後の第２レイヤの視点および面に変更する。また、再構成部５９は、再構成前の第２レイヤデプスストリームを用いて、第２レイヤデプスストリームに対応する視点および面を、設定された再構成後の第２レイヤの視点および面に変更する。
再構成部５９は、再構成後の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームをストレージ５８に供給する。また、再構成部５９は、再構成後の第１レイヤの視点位置情報および面情報、並びに、第２レイヤの視点位置情報および面情報を含むテーブルをメタデータとして生成し、ストレージ５８に供給する。
伝送部６０は、ストレージ５８から６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを読み出し、図１のホームサーバ１３に送信する。
以上のように、図３の高解像度画像処理部３４は、第１レイヤ画像と第２レイヤ画像を透視投影により生成する。従って、ホームサーバ１３は、第１レイヤ画像と第２レイヤ画像に対して通常の画像用の処理を行うことができる。また、高解像度画像処理部３４は、第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、通常の画像の符号化ストリームの送信方法で送信することができる。
（距離ｚと距離ｒの説明）
図４は、距離ｚと距離ｒを説明する図である。
なお、図４は、第１レイヤに対応する立方体の所定の面を上から見た図である。
距離ｚは、視点から各画素における被写体を含む奥行き方向に垂直なデプス平面までの奥行き方向の距離である。また、第１レイヤの各面の奥行き方向は、第１レイヤの各面に垂直な方向である。従って、第１レイヤの各面とデプス平面は平行になる。よって、第１レイヤの各面における距離ｚが同一であるデプス平面である等距離ｚ面の形状は、第１レイヤの視点Ｏを中心とした立方体状になる。従って、等距離ｚ面を第１レイヤに対応する立方体の所定の面の上から見た形状は、図４のＡの点線で示すように正方形となる。
これに対して、距離ｒは、視点から各画素における被写体までの直線の距離である。また、第１レイヤの各面の視点Ｏから被写体までの直線の方向は、面によらず、視点Ｏを中心とした円の半径方向である。従って、第１レイヤの各面における距離ｒが同一である等距離ｒ面の形状は、第１レイヤの視点Ｏを中心とした球状になる。よって、等距離ｒ面を第１レイヤに対応する立方体の所定の面の上から見た形状は、図４のＢの点線で示すように円状になる。
（デプス画像の効果の説明）
なお、以下では、第１レイヤの視点Ｏと、第１レイヤに対応する立方体８０を構成する６つの面の中心を通る６つの面の法線ベクトルのうちの、互いに直交する３つを、３Ｄモデル座標系のＸ軸、Ｙ軸、Ｚ軸の正方向とし、その３つと逆方向の３つを、３Ｄモデル座標系のＸ軸、Ｙ軸、Ｚ軸の負方向とする。
図５は、３Ｄモデル座標系のＸ軸の変化を示す図であり、図６は、３Ｄモデル座標系のＸ軸の変化に伴う最小値zminと最小値rminの変化を示す図である。
なお、図５および図６の例では、第１レイヤの各面の画角が９０度であるものとする。
また、図５に示すように、第１レイヤに対応する立方体８０がＹ軸を軸としてＸＺ平面上で４５度回転され、第１レイヤの各面の位置が変更される場合、Ｘ軸がＸＺ平面上で４５度回転される。これにより、Ｘ軸の正方向を法線ベクトルとする第１レイヤの面８１の奥行き方向はＸＺ平面上で４５度回転する。
従って、図６に示すように、Ｘ座標が正の値であり、Ｚ座標が０である位置を中心とした球７６が被写体として面８１の画角内に存在するとき、回転前の面８１における最小値zminは、図６のＡに示すように、視点Ｏと球７６の図６のＡのＸ軸の正方向の距離の最小値である。しかしながら、回転後の面８１における最小値zminは、図６のＢに示すように、視点Ｏと画角内の球７６（図６のＢ中球７６の上半分）の図６のＢのＸ軸の正方向の距離の最小値である。
また、図６の例の場合、回転前の面８１における最大値zmaxは無限大であるため、回転後の面８１における最大値zmaxも無限大であるが、無限大ではない場合、最小値ｚminと同様の理由により、回転の前後で面８１における最大値zmaxは変化する。第１レイヤの他の面についても同様に、最小値zminと最大値zmaxが変化する。
また、説明は省略するが、第１レイヤの面の画角、数、または間隔が変更される場合も、第１レイヤの全ての面における最小値zminと最大値zmaxは変化する。
従って、第１レイヤのデプス画像の各画素のy値（輝度値）として、距離ｚの逆数1/zが用いられると、再構成部５９による再構成時に、各面における最小値zminと最大値zmaxを計算し直し、全ての面における最小値zminと最大値zmaxを決定し直す必要がある。その結果、デプス画像の8ビット量子化をやり直す必要がある。
これに対して、視点Ｏから被写体までの直線の方向は、第１レイヤの面の位置によらず同一である。従って、図５に示したように立方体８０がＹ軸を軸としてＸＺ平面上で４５度回転される場合であっても、最小値rminと最大値rmaxは同一である。
即ち、図６のＢに示すように、図６のＡのＸ軸がＸＺ平面上で４５度回転されても、回転前と同様に、視点Ｏから被写体までの直線の方向は、視点Ｏから放射状に延びる方向である。従って、Ｘ軸の回転によらず、第１レイヤの全ての面における最小値rminは、視点Ｏから球７６までの直線の距離の最小値である。第１レイヤの全ての面における最大値rmaxについても、最小値rminの場合と同様の理由により、回転前後で変化しない。
また説明は省略するが、第１レイヤの面の画角、数、または間隔が変更される場合も、視点Ｏから被写体までの直線の方向は変化しないため、最小値rminと最大値rmaxは変化しない。
従って、第１レイヤのデプス画像の各画素のy値として、逆数1/zではなく、逆数1/rの量子化値が用いられることにより、再構成部５９による再構成時にデプス画像の8ビット量子化をやり直す処理を削減することができる。
なお、上述した説明では、低解像度テクスチャストリームと低解像度デプスストリームは再構成されないようにしたが、再構成されるようにしてもよい。この場合も、低解像度デプス画像の各画素のy値は逆数1/rの量子化値であるので、第１レイヤのデプス画像の再構成時と同様に、再構成時に低解像度デプス画像の8ビット量子化をやり直す処理を削減することができる。
また、低解像度テクスチャストリームと低解像度デプスストリームの再構成は、低解像度テクスチャストリームと低解像度デプスストリームのマッピング方式を変更することにより行われてもよい。この場合も、デプス画像の各画素のy値を逆数1/rの量子化値にすることにより、再構成時に低解像度デプス画像の8ビット量子化をやり直す処理を削減することができる。
（第１レイヤの６つの面のデプス画像の各画素の球上の位置の例）
図７は、第１レイヤの６つの面のデプス画像を球にマッピングした際の各画素の球上の位置の例を示す図である。
なお、図７では、第１レイヤの６つの面のデプス画像を球にマッピングした際の各画素の球上の位置が点で表されている。
第１レイヤの各面のデプス画像の各画素のデプス画像上の位置の間隔は等間隔である。しかしながら、図７に示すように、第１レイヤの６つの面のデプス画像を球にマッピングした際の各画素の球上の位置の間隔は等間隔ではない。即ち、第１レイヤの６つの面のデプス画像を球にマッピングした際の各画素の球上の位置の密度は、一定ではない。
（第１レイヤの面の例）
図８は、第１レイヤの面の例を示す図である。
なお、以下では、視点Ｏと６つの面のそれぞれとの距離をＲとしたときのＸ＝Ｒである面を、適宜、＋Ｘ面ともいい、Ｘ＝−Ｒである面を、適宜、−Ｘ面ともいう。同様に、Ｙ＝Ｒである面、Ｙ＝−ｒである面、Ｚ＝Ｒである面、Ｚ＝−Ｒである面を、適宜、＋Ｙ面、−Ｙ面、＋Ｚ面、−Ｚ面ともいう。
また、図８のＡは、第１レイヤの立方体８０の斜視図であり、図８のＢは、第１レイヤの立方体８０をＹ軸の負方向に見た図である。
図８のＡに示すように、第１レイヤの１つの面９１は、視点Ｏを中心とした立方体８０を構成する６つの面８１乃至８６のうちの＋Ｙ面８３を含む面である。より詳細には、面９１は、＋Ｙ面８３と同一の位置に設定され、横方向と縦方向の画角が、＋Ｙ面８３の画角である９０度より大きく、１８０度より小さい面である。
従って、図８のＢに示すように、面９１のテクスチャ画像は、＋Ｙ面８３にマッピングされたテクスチャ画像だけでなく、＋Ｙ面８３に隣接する＋Ｘ面８１、−Ｘ面８２、＋Ｚ面８５、および−Ｚ面８６にマッピングされるテクスチャ画像の一部を含む。面９１のデプス画像についても、テクスチャ画像と同様である。
図８では、第１レイヤの１つの面９１のみ図示したが、他の５つの面も、面９１と同様に、それぞれ、＋Ｘ面８１、−Ｘ面８２、−Ｙ面８４、＋Ｚ面８５、−Ｚ面８６と同一の位置に設定され、横方向と縦方向の画角が９０度より大きく１８０度より小さい面である。
以上のように、第１レイヤの６つの面のそれぞれは、立方体を構成する６つの面８１乃至８６のそれぞれを含むように構成されるので、第１レイヤの６つの面のいずれかに必ず、全天球画像がマッピングされる。従って、ホームサーバ１３は、第１レイヤの６つの面のうちの多くとも隣接する３つの面を用いれば、視点Ｏを視聴位置とした水平方向の周囲360度および垂直方向の周囲180度の任意の方向の表示画像を生成することができる。
（第１レイヤの視点位置情報および面情報のテーブルの構成例）
図９は、図３のメタデータ生成部５７により生成されるメタデータのうち、第１レイヤの視点位置情報および面情報のテーブルの構成例を示す図である。
図９の例では、面情報のうちの、面の３Ｄモデル座標系における３次元位置を示す情報が、方位角、仰角、回転角、および視線ベクトルであり、サイズを示す情報が横画角と縦画角である。
方位角は、視点と各面の中心を結ぶ線とＺ軸とのなすＸＺ平面方向の角度であり、仰角は、視点と各面の中心を結ぶ線とＸＺ平面とのなす角度である。ここでは、方位角は、右回りを正方向とし、仰角は、左回りを正方向とする。視点から延びるＺ軸方向の線を方位角だけＸＺ平面上を水平回転した後、仰角だけＹ軸方向に上下回転した線が、面の中心を通る法線である。
回転角は、視点と各面の中心を結ぶ線を軸としたときの各面の回転方向の角度である。ここでは、回転角は右回りが正方向とする。視線ベクトルは、視点を起点として各面の中心へ向かう長さが１であるベクトル、即ち各面の中心を通る法線ベクトルである。横画角は、各面の横方向の２つの端部それぞれと視点とを結んだ線のなす角度であり、縦画角は、各面の縦方向の２つの端部それぞれと視点とを結んだ線のなす角度である。
図９に示すように、第１レイヤの視点位置情報および面情報のテーブルには、図３のストレージ５８において各面の第１レイヤテクスチャストリームおよび第１レイヤデプスストリームが格納されるファイルのファイル名の共通部分が登録される。
具体的には、図９の例では、＋Ｚ面８５、−Ｚ面８６、＋Ｘ面８１、−Ｘ面８２、＋Ｙ面８３、−Ｙ面８４をそれぞれ含む各面の第１レイヤテクスチャストリームのファイル名が、posZ_texture,negZ_texture,posX_texture,negX_texture,posY_texture,negY_textureである。また、＋Ｚ面８５、−Ｚ面８６、＋Ｘ面８１、−Ｘ面８２、＋Ｙ面８３、−Ｙ面８４をそれぞれ含む各面の第１デプスストリームのファイル名が、それぞれ、posZ_depth,negZ_depth,posX_depth,negX_depth,posY_depth,negY_depthである。従って、図９のテーブルには、第１レイヤの各面のファイル名の共通部分として、posZ,negZ,posX,negX,posY,negYが登録される。
また、第１レイヤの視点位置情報および面情報のテーブルには、ファイル名の共通部分に対応付けて、そのファイル名の共通部分に対応する面の面情報、視点位置情報、テクスチャ画像およびデプス画像の横画素数および縦画素数が登録される。
具体的には、＋Ｚ面８５、−Ｚ面８６、＋Ｘ面８１、−Ｘ面８２、＋Ｙ面８３、−Ｙ面８４をそれぞれ含む第１レイヤの各面の中心と視点Ｏを結ぶ線と、Ｚ軸とのなすＸＺ平面方向の角度は、それぞれ、０度、−１８０度、９０度、−９０度、０度、０度であり、ＸＺ平面とのなす角度は、それぞれ、０度、０度、０度、０度、９０度、−９０度である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、方位角「０度」、「−１８０度」、「９０度」、「−９０度」、「０度」、「０度」が登録されるとともに、仰角「０度」、「０度」、「０度」、「０度」、「９０度」、「−９０度」が登録される。
また、図９の例では、第１レイヤの全ての面の回転角は０度である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、回転角「０度」が登録される。さらに、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、視点位置情報として原点の座標(0,0,0)が登録される。
また、視点Ｏから、＋Ｚ面８５、−Ｚ面８６、＋Ｘ面８１、−Ｘ面８２、＋Ｙ面８３、−Ｙ面８４をそれぞれ含む第１レイヤの各面の視線ベクトルは、(0,0,1),(0,0,-1),(1,0,0)(-1,0,0),(0,1,0),(0,-1,0)である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、視線ベクトル(0,0,1),(0,0,-1),(1,0,0)(-1,0,0),(0,1,0),(0,-1,0)が登録される。
さらに、図９の例では、第１レイヤの全ての面の横画角および縦画角は９０度より大きい１００度であり、テクスチャ画像およびデプス画像の横方向の画素数である横画素数および縦方向の画素数である縦画素数は１０２４である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、横画角「１００度」、縦画角「１００度」、横画素数「１０２４」、および縦画素数「１０２４」が登録される。
以上のように、第１レイヤの視点位置情報および面情報のテーブルが、メタデータとしてメタデータ生成部５７によって生成される。第２レイヤの視点位置および面情報は、第１レイヤと同一であるので、第２レイヤについても、この第１レイヤの視点位置情報および面情報のテーブルが参照される。
（第１の明るさ範囲及び第２の明るさ範囲と表示画像との関係）
図１０は、第１の明るさ範囲及び第２の明るさ範囲と表示画像との関係を示す図である。
第１レイヤのテクスチャ画像に対応する撮影画像をマルチカメラ１１の各カメラが撮影する場合、各カメラは、図１０に示すように、被写体の明るさがB1min[lx]からB1max[lx]の範囲（B1min[lx]＜B1max[lx]）を第１の明るさ範囲として、８ビットで撮影する。
第２レイヤのテクスチャ画像に対応する撮影画像をマルチカメラ１１の各カメラが撮影する場合、各カメラは、図１０に示すように、被写体の明るさがB2min[lx]からB2max[lx]の範囲（B1min[lx]＜B2min[lx]＜B2max[lx], B1max[lx]＜B2max[lx]）を第２の明るさ範囲として、８ビットで撮影する。なお、図１０の例では、B2min[lx]＜B1max[lx]であるが、B2min[lx]とB1max[lx]は同じでもよい。
メタデータ生成部５７は、第１の明るさ範囲及び第２の明るさ範囲を示す明るさ範囲情報、具体的には、B1min[lx],B1max[lx],B2min[lx],B2max[lx]の値を、メタデータの一部として生成する。B1min[lx],B1max[lx],B2min[lx],B2max[lx]の値は、マルチカメラ１１から取得してもよいし、コンテンツサーバ１２においてユーザによって入力された値を取得してもよい。
このようにして撮影された撮影画像から、第１レイヤのテクスチャ画像及び第２レイヤのテクスチャ画像が生成され、第１レイヤテクスチャストリーム及び第２レイヤテクスチャストリームとして、ホームサーバ１３に伝送される。
ホームサーバ１３は、第１レイヤおよび第２レイヤのテクスチャ画像を用いて表示画像を生成する場合、B1min[lx]からB2max[lx]までの範囲を８ビットで表現した表示画像を生成する。B2min[lx]からB1max[lx]までの重複する範囲については、例えば、２つのレイヤの平均値が採用される。
第１の明るさ範囲で撮影した第１レイヤのテクスチャ画像だけを用いて表示画像を生成した場合には、B1max[lx]以上の明るさは表現できず、いわゆる白とびした状態となってしまう。第２の明るさ範囲で撮影した第２レイヤのテクスチャ画像を有することで、表示画像において、B1max[lx]以上の明るさを表現することができる。
なお、図１０の例では、第１レイヤ及び第２レイヤのテクスチャ画像並びに表示画像の輝度値のビット数が８ビットである場合について説明したが、１０ビットや１６ビットなどのその他のビット数でもよい。また、第１レイヤ及び第２レイヤのテクスチャ画像の輝度値のビット数と表示画像の輝度値のビット数は異なっていてもよい。
（コンテンツサーバの処理の説明）
図１１は、図２のコンテンツサーバ１２のストリーム生成処理を説明するフローチャートである。このストリーム生成処理は、図１のマルチカメラ１１の各カメラから撮影画像がフレーム単位で供給されたとき、開始される。
図１０のステップＳ１１において、コンテンツサーバ１２のデプス検出部３１は、マルチカメラ１１から供給される第１の明るさ範囲の各カメラの撮影画像から、第１の明るさ範囲の各カメラの撮影画像の各画素の逆数1/zを検出し、低解像度画像処理部３３と高解像度画像処理部３４に供給する。
ステップＳ１２において、低解像度画像処理部３３は、カメラ座標系における所定の３次元位置を視点として、マルチカメラ１１から供給される第１の明るさ範囲の各カメラの撮影画像から全天球画像のテクスチャ画像を生成し、低解像度化する。
ステップＳ１３において、低解像度画像処理部３３は、デプス検出部３１から供給される第１の明るさ範囲の各カメラのｚ画像から全天球画像のデプス画像を生成し、低解像度化する。
ステップＳ１４において、低解像度画像処理部３３は、ステップＳ１２の処理により生成された低解像度テクスチャ画像とステップＳ１３の処理により生成された低解像度デプス画像とを圧縮符号化して記憶する。
ステップＳ１５において、低解像度画像処理部３３は、記憶している低解像度テクスチャストリームと低解像度デプスストリームを、図１のホームサーバ１３に送信する。
ステップＳ１６において、高解像度画像処理部３４の設定部５６（図３）は、３Ｄモデル座標系における原点を第１レイヤと第２レイヤに共通の１つの視点として設定し、その視点を中心とした立方体を構成する６つの面それぞれを第１レイヤの面として設定する。また、設定部５６は、第１レイヤの各面と同じ６つの面を、第２レイヤの面として設定する。設定部５６は、第１レイヤと第２レイヤに共通の１つの視点を示す視点位置情報と６つの面の面情報を、第１レイヤ生成部５０、第２レイヤ生成部５３、及びメタデータ生成部５７に供給する。
ステップＳ１７において、第１レイヤ生成部５０は、カメラ座標系における全天球画像の視点を原点とし、第１レイヤの視点位置情報が示す原点を視点として、第１の明るさ範囲の各カメラの撮影画像から、第１レイヤの各面情報に対応する各面のテクスチャ画像を生成する。
ステップＳ１８において、第１レイヤ生成部５０は、第１の明るさ範囲の各カメラのｚ画像から、第１レイヤの各面情報に対応する各面のｚ画像を生成して、量子化部５１に供給する。量子化部５１は、第１レイヤの各面のｚ画像から、第１レイヤの各面のデプス画像を生成して、エンコーダ５２に供給する。
ステップＳ１９において、第２レイヤ生成部５３は、第２レイヤの面情報に対応する面ごとに、カメラ座標系における全天球画像の視点を原点とし、第２レイヤの視点位置情報が示す３次元位置を視点として、第２の明るさ範囲の各カメラの撮影画像から、第２レイヤの各面のテクスチャ画像を生成する。
ステップＳ２０において、第２レイヤ生成部５３は、第２レイヤの面情報に対応する面ごとに、第２の明るさ範囲の各カメラのｚ画像から、第２レイヤの各面情報に対応する各面のｚ画像を生成して、量子化部５４に供給する。量子化部５４は、第２レイヤの各面のｚ画像から、第２レイヤの各面のデプス画像を生成する。
ステップＳ２１において、エンコーダ５２は、第１レイヤの各面のテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化してストレージ５８に供給し、記憶させる。
ステップＳ２２において、エンコーダ５５は、第２レイヤの各面のテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化してストレージ５８に供給し、記憶させる。
ステップＳ２３において、メタデータ生成部５７は、設定部５６から供給される第１レイヤ及び第２レイヤに共通の視点位置情報および面情報を含むテーブルと、第１の明るさ範囲及び第２の明るさ範囲を示す明るさ範囲情報をメタデータとして生成して、ストレージ５８に供給して記憶させる。
ステップＳ２４において、伝送部６０は、ストレージ５８から６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを読み出し、ホームサーバ１３に送信する。
以上のように、コンテンツサーバ１２は、明るさ範囲の異なる第１レイヤと第２レイヤのテクスチャ画像およびデプス画像を生成してホームサーバ１３に伝送する。これにより、ホームサーバ１３は、高画質の表示画像を生成することができる。
また、コンテンツサーバ１２は、デプス画像の各画素のy値を逆数1/rを8ビット量子化した値とする。従って、コンテンツサーバ１２は、再構成時にデプス画像の8ビット量子化をやり直す必要がない。
なお、上述したストリーム生成処理では、再構成しない第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームをホームサーバ１３に伝送したが、再構成後のものを伝送することもできる。
（ホームサーバの構成例）
図１２は、図１のホームサーバ１３の構成例を示すブロック図である。
図１２のホームサーバ１３は、カメラ１３Ａ、受け取り部２３１、ストレージ２３２、受け取り部２３３、視線検出部２３４、ＭＬ３Ｄモデル生成部２３５、ＭＬ３Ｄモデル生成部２３６、ＭＬ３Ｄモデル生成部２３７、３Ｄモデル生成部２３８、および描画部２３９により構成される。
ホームサーバ１３の受け取り部２３１は、コンテンツサーバ１２から伝送されてくる低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを受け取り、ストレージ２３２に供給する。
ストレージ２３２は、受け取り部２３１から供給される低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを記憶する。
受け取り部２３３は、図１のジャイロセンサ１５Ｂの検出結果をヘッドマウントディスプレイ１５から受け取り、視線検出部２３４に供給する。
視線検出部２３４は、受け取り部２３３から供給されるジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデル座標系における視聴者の視線方向を決定する。また、視線検出部２３４は、カメラ１３Ａからマーカ１５Ａの撮影画像を取得し、その撮影画像に基づいて、３Ｄモデル座標系における視聴位置を検出する。
視線検出部２３４は、ストレージ２３２からメタデータのうちの第１レイヤのテーブルを読み出す。視線検出部２３４は、３Ｄモデル座標系における視聴位置および視線方向、並びに、第１レイヤのテーブルに基づいて、６つの面のうちの、視聴位置から視線方向に延びる視線に最も近い視線ベクトルに対応する３つの面を選択面に決定する。具体的には、視線検出部２３４は、＋Ｘ面８１と−Ｘ面８２のいずれかを含む面、＋Ｙ面８３と−Ｙ面８４のいずれかを含む面、および、＋Ｚ面８５と−Ｚ面８６のいずれかを含む面を選択面に決定する。
以上のようにして選択面が決定されることにより、後述する描画部２３９により選択面に対応する第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像を用いて生成される表示画像内の高解像度領域の割合が最も高くなる。また、３つの選択面が決定されることにより、１つの選択面が選択される場合に比べて、視線が立方体８０の頂点付近に向かう場合に表示画像内の高解像度領域の割合を増加させることができる。
視線検出部２３４は、３つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、ストレージ２３２から読み出す。視線検出部２３４は、読み出された第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、面ごとにＭＬ３Ｄモデル生成部２３５乃至２３７に供給する。また、視線検出部２３４は、低解像度テクスチャストリームと低解像度デプスストリームをストレージ２３２から読み出し、３Ｄモデル生成部２３８に供給する。
また、視線検出部２３４は、３Ｄモデル座標系における視聴位置と視線方向に基づいて、３Ｄモデル座標系における視聴者の視野範囲を決定する。視線検出部２３４は、視聴者の視野範囲と視聴位置を描画部２３９に供給する。さらに、視線検出部２３４は、視点位置情報と、３つの選択面を示す面情報を描画部２３９に供給する。
ＭＬ３Ｄモデル生成部２３５乃至２３７は、それぞれ、第１レイヤテクスチャストリームと第１レイヤデプスストリームを用いて、第１レイヤのテクスチャ画像の各画素に対応するサンプリング点のテクスチャ画像座標系における３次元位置（u,v,z）および接続情報と、カラー情報としてのRGB値とからなる３次元データを生成する。なお、各サンプリング点の接続情報は、そのサンプリング点(vertex)と他のサンプリング点との接続を表す情報である。テクスチャ画像座標系は、テクスチャ画像の横方向をu軸、縦方向をv軸、奥行き方向をｚ軸とする座標系である。
また、ＭＬ３Ｄモデル生成部２３５乃至２３７は、それぞれ、第２レイヤテクスチャストリームと第２レイヤデプスストリームを用いて、第２レイヤのテクスチャ画像の各画素に対応するサンプリング点のテクスチャ画像座標系における３次元位置（u,v,z）および接続情報と、カラー情報としてのRGB値とからなる３次元データを生成する。ＭＬ３Ｄモデル生成部２３５乃至２３７は、第１レイヤおよび第２レイヤの３次元データを描画部２３９に供給する。
３Ｄモデル生成部２３８は、視線検出部２３４から供給される低解像度テクスチャストリームと低解像度デプスストリームを復号し、低解像度テクスチャ画像と低解像度デプス画像を生成する。３Ｄモデル生成部２３８は、低解像度テクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。また、３Ｄモデル生成部２３８は、低解像度デプス画像の各画素の画素値に対して8ビット逆量子化を行い、逆数1/rを得る。そして、３Ｄモデル生成部２３８は、低解像度デプス画像の各画素の逆数1/rに基づいて、各画素の３次元位置(u,v,z)を各画素に対応するサンプリング点の３次元位置(u,v,z)として求める。
また、３Ｄモデル生成部２３８は、各サンプリング点の３次元位置(u,v,z)に基づいて、隣接する３つのサンプリング点どうしが接続するように各サンプリング点の接続情報を生成する。３Ｄモデル生成部２３８は、各サンプリング点の３次元位置(u,v,z)、接続情報、およびRGB値を、低解像度テクスチャ画像の３次元データとして、描画部２３９に供給する。
描画部２３９は、３Ｄモデル生成部２３８から供給される低解像度テクスチャ画像の３次元データに基づいて、３Ｄモデル座標系において、低解像度テクスチャ画像の三角形パッチ描画（点群描画）を行う。その後、描画部２３９は、ＭＬ３Ｄモデル生成部２３５乃至２３７のそれぞれから供給される第１レイヤおよび第２レイヤの３次元データと、視線検出部２３４から供給される視点位置情報及び面情報とに基づいて、３Ｄモデル座標系において、第１レイヤおよび第２レイヤを統合した高解像テクスチャ画像の三角形パッチ描画を行う。第１レイヤおよび第２レイヤを統合した高解像テクスチャ画像は、図１０を参照して説明したように、第１レイヤのテクスチャ画像で表現される第１の明るさ範囲と、第２レイヤのテクスチャ画像で表現される第２の明るさ範囲とを含む全範囲（最小値B1minから最大値B2max）の輝度情報を有するテクスチャ画像である。
低解像度テクスチャ画像の視点は３Ｄモデル座標系における原点であり、３Ｄモデルとしての正八面体の各面の位置およびサイズは予め決まっている。従って、描画部２３９は、正八面体の各面に対応する各カメラの内部パラメータと外部パラメータを求めることができる。よって、描画部２３９は、この内部パラメータと外部パラメータを用いて、低解像度テクスチャ画像の各サンプリング点の３次元位置(u,v,z)から、各サンプリング点の画面上の位置（u,v）と３Ｄモデル座標系における３次元位置(X,Y,Z)を認識することができる。その結果、低解像度テクスチャ画像の各サンプリング点の画面上の位置（u,v）および３次元位置(X,Y,Z)と接続情報およびRGB値とを用いて三角形パッチ描画を行うことができる。
また、描画部２３９は、第１レイヤおよび第２レイヤの視点位置情報および面情報に基づいて、第１レイヤおよび第２レイヤの各面に対応する各カメラの内部パラメータと外部パラメータを求めることができる。従って、描画部２３９は、この内部パラメータと外部パラメータを用いて、第１レイヤおよび第２レイヤの各サンプリング点の３次元位置(u,v,z)から、各サンプリング点の画面上の位置（u,v）と３次元位置(X,Y,Z)を認識できる。その結果、描画部２３９は、第１レイヤおよび第２レイヤの各サンプリング点の画面上の位置（u,v）および３次元位置(X,Y,Z)と接続情報およびRGB値とを用いて三角形パッチ描画を行うことができる。
描画部２３９（画像生成部）は、３Ｄモデル座標系において描画された三角形パッチを、視線検出部２３４から供給される視聴位置を視点として視野範囲に透視投影（マッピング）することにより、視聴者の視点の表示画像を生成する。描画部２３９は、表示画像を図１の変換装置１４に送信する。
（ＭＬ３Ｄモデル生成部の構成例）
図１３は、図１２のＭＬ３Ｄモデル生成部２３５の構成例を示すブロック図である。
図１３のＭＬ３Ｄモデル生成部２３５は、デコーダ２５１、ＲＧＢ変換部２５２、デコーダ２５３、デプス変換部２５４、３Ｄモデル生成部２５５、デコーダ２５７、ＲＧＢ変換部２５８、デコーダ２５９、デプス変換部２６０、および３Ｄモデル生成部２６１により構成される。
ＭＬ３Ｄモデル生成部２３５のデコーダ２５１は、図１２の視線検出部２３４から供給される第１レイヤテクスチャストリームを復号し、第１レイヤのテクスチャ画像を生成する。デコーダ２５１は、第１レイヤのテクスチャ画像をＲＧＢ変換部２５２に供給する。
ＲＧＢ変換部２５２は、第１レイヤのテクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。そして、ＲＧＢ変換部２５２は、各サンプリング点のRGB値を３Ｄモデル生成部２５５に供給する。
デコーダ２５３は、視線検出部２３４から供給される第１レイヤデプスストリームを復号し、第１レイヤのデプス画像を生成する。デコーダ２５３は、第１レイヤのデプス画像をデプス変換部２５４に供給する。
デプス変換部２５４は、デコーダ２５３から供給される第１レイヤのデプス画像の各画素の画素値に対して8ビット逆量子化を行い、逆数1/rを得る。そして、デプス変換部２５４は、第１レイヤのデプス画像の各画素の逆数1/rに基づいて、各画素の３次元位置(u,v,z)を各画素に対応するサンプリング点の３次元位置(u,v,z)として求める。デプス変換部２５４は、各サンプリング点の３次元位置(u,v,z)を３Ｄモデル生成部２５５に供給する。
３Ｄモデル生成部２５５（接続情報生成部）は、デプス変換部２５４から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、各サンプリング点のうちの隣接する３つのサンプリング点どうしが接続するように、各サンプリング点の接続情報を生成する。即ち、３Ｄモデル生成部２５５は、サンプリング点ごとに、そのサンプリング点を頂点とする三角形パッチの３つの頂点どうしの接続を表す接続情報を生成する。
３Ｄモデル生成部２５５は、第１レイヤの各サンプリング点の３次元位置(u,v,z)、RGB値、および接続情報を、第１レイヤの３次元データとして生成し、図１２の描画部２３９に供給する。
デコーダ２５７、ＲＧＢ変換部２５８、デコーダ２５９、デプス変換部２６０、および３Ｄモデル生成部２６１の処理は、処理対象のレイヤが第１レイヤから第２レイヤに代わる点を除いて、デコーダ２５１、ＲＧＢ変換部２５２、デコーダ２５３、デプス変換部２５４、および３Ｄモデル生成部２５５と同様であるので、説明は省略する。
なお、図示は省略するが、ＭＬ３Ｄモデル生成部２３６およびＭＬ３Ｄモデル生成部２３７は、図１３のＭＬ３Ｄモデル生成部２３５と同様に構成される。
（第１レイヤの面の画角の効果の説明）
図１４および図１５は、それぞれ、第１レイヤの各面の画角が９０度、１００度である場合のサンプリング点を説明する図である。
図１４および図１５の例では、説明の便宜上、第１レイヤの各面の画角が９０度、１００度である場合の第１レイヤのテクスチャ画像およびデプス画像の解像度が、それぞれ、4x4画素、6x6画素であるものとする。
図１４のＢに示すように、第１レイヤの各面の画角が９０度である場合、第１レイヤの６つの面は、立方体８０を構成する６つの面８１乃至８６になる。
しかしながら、図１４のＡに示すように、第１レイヤの−Ｚ面８６のテクスチャ画像２８０上のサンプリング点２９１の位置(u,v)、即ち３Ｄモデル座標系における視点Ｏからサンプリング点２９１に向かう線が−Ｚ面８６と交差する位置は、各画素２８１の中心である。また、他の面８１乃至８５のサンプリング点の位置(u,v)も、−Ｚ面８６と同様に各画素の中心である。
従って、図１４のＢに示すように、図中黒丸で示すサンプリング点のうちの隣接する３つのサンプリング点どうしを接続することにより構成される全ての三角形パッチの、各面８１乃至８６上の領域２８３のu方向およびｖ方向サイズは、各面８１乃至８６に比べて画素の半分のサイズだけ小さい。よって、各面８１乃至８６の境界に対応する三角形パッチが生成されず、その結果、各面８１乃至８６の境界を通る視線の表示画像を高画質で生成することが困難になる。
これに対して、第１レイヤの各面の画角が１００度である場合、図１５のＡに示すように、−Ｚ面８６を含む第１レイヤの面のテクスチャ画像３１０のサイズは、図１４のテクスチャ画像２８０のサイズより大きい6×6画素になる。他の面８１乃至８５をそれぞれ含む第１レイヤの各面のテクスチャ画像のサイズも同様に6×6画素になる。
従って、図１５のＢに示すように、図中黒丸で示すサンプリング点のうちの隣接する３つのサンプリング点どうしを接続することにより構成される全ての三角形パッチの、−Ｚ面８６上の領域３１１のu方向およびｖ方向サイズは、−Ｚ面８６に比べて画素の半分のサイズだけ大きい。図示は省略するが、他の面８１乃至８５をそれぞれ含む第１レイヤの各面の三角形パッチの領域のu方向およびｖ方向サイズも、領域３１１と同様に、各面８１乃至８５に比べて画素の半分のサイズだけ大きい。従って、各面８１乃至８６の境界に対応する三角形パッチが生成され、その結果、各面８１乃至８６の境界を通る視線を含む任意の視線の表示画像を高画質で生成することができる。
図１４および図１５では、第１レイヤの各面の画角が１００度である場合の効果について説明したが、第１レイヤの各面の画角が９０度より大きければ、画角が１００度ではない場合であっても同様の効果が発生する。また、第２レイヤについても同様の効果が発生する。
なお、ＭＬ３Ｄモデル生成部２３５乃至２３７は、復号の結果得られるテクスチャ画像やデプス画像に対して、周辺の画素を用いたフィルタ処理等の画像処理を行うようにしてもよい。この場合、第１レイヤおよび第２レイヤの各面の画角が９０度より大きいことにより、各面の端部以外の領域の端部においても画像処理を行うことができるという効果を得ることができる。
（ホームサーバの処理の説明）
図１６は、図１２のホームサーバ１３の再生処理を説明するフローチャートである。この再生処理は、例えば、コンテンツサーバ１２から伝送されてくる低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータが伝送されてきたとき、開始される。
図１６のステップＳ４１において、ホームサーバ１３の受け取り部２３１は、コンテンツサーバ１２から、低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを受け取り、ストレージ２３２に供給する。
ステップＳ４２において、ストレージ２３２は、低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを記憶する。
ステップＳ４３において、受け取り部２３３は、図１のジャイロセンサ１５Ｂの検出結果をヘッドマウントディスプレイ１５から受け取り、視線検出部２３４に供給する。
ステップＳ４４において、視線検出部２３４は、受け取り部２３３から供給されるジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデル座標系における視聴者の視線方向を決定する。ステップＳ４５において、カメラ１３Ａは、ヘッドマウントディスプレイ１５に付されたマーカ１５Ａを撮影し、その結果得られる撮影画像を視線検出部２３４に供給する。
ステップＳ４６において、視線検出部２３４は、カメラ１３Ａから供給されるマーカ１５Ａの撮影画像に基づいて、３Ｄモデル座標系における視聴位置を検出し、描画部２３９に供給する。
ステップＳ４７において、視線検出部２３４は、ストレージ２３２に記憶されているメタデータのうちの第１レイヤのテーブルと、３Ｄモデル座標系における視聴位置および視線方向とに基づいて、６つの面のうちの視線に最も近い視線ベクトルに対応する３つの面を選択面に決定する。
ステップＳ４８において、視線検出部２３４は、３Ｄモデル座標系における視聴位置と視線方向に基づいて、３Ｄモデル座標系における視聴者の視野範囲を決定し、描画部２３９に供給する。
ステップＳ４９において、視線検出部２３４は、低解像度テクスチャストリームと低解像度デプスストリームをストレージ２３２から読み出し、３Ｄモデル生成部２３８に供給する。また、視線検出部２３４は、３つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、ストレージ２３２から読み出す。視線検出部２３４は、読み出された第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、面ごとにＭＬ３Ｄモデル生成部２３５乃至２３７に供給する。また、視線検出部２３４は、３つの選択面に対応する視点位置情報および面情報をストレージ２３２から読み出し、描画部２３９に供給する。
ステップＳ５０において、ＭＬ３Ｄモデル生成部２３５乃至２３７は、面ごとに、第１レイヤおよび第２レイヤの各サンプリング点の３次元データを生成する３次元データ生成処理を行う。この３次元データ生成処理の詳細は、図１７を参照して後述する。
ステップＳ５１において、３Ｄモデル生成部２３８は、視線検出部２３４から供給される低解像度テクスチャストリームと低解像度デプスストリームから、低解像度テクスチャ画像の各サンプリング点の３次元データを生成し、描画部２３９に供給する。
ステップＳ５２において、描画部２３９は、３Ｄモデル生成部２３８から供給される低解像度テクスチャ画像の３次元データに基づいて、３Ｄモデル座標系において、低解像度テクスチャ画像の三角形パッチ描画を行う。その後、描画部２３９は、ＭＬ３Ｄモデル生成部２３５乃至２３７のそれぞれから供給される第１レイヤおよび第２レイヤの３次元データと、視線検出部２３４から供給される視点位置情報および面情報とに基づいて、３Ｄモデル座標系において、第１レイヤおよび第２レイヤを統合した高解像度テクスチャ画像の三角形パッチ描画を行う。
ステップＳ５３において、描画部２３９は、３Ｄモデル座標系において描画された三角形パッチを、視線検出部２３４から供給される視聴位置を視点として視野範囲に透視投影することにより、視聴者の視点の表示画像を生成する。ステップＳ５４において、描画部２３９は、表示画像を図１の変換装置１４に伝送する。
図１７は、図１６のステップＳ５０においてＭＬ３Ｄモデル生成部２３５により行われる３次元データ生成処理の詳細を説明するフローチャートである。
図１７のステップＳ７１において、ＭＬ３Ｄモデル生成部２３５のデコーダ２５１（図１３）は、図１２の視線検出部２３４から供給される第１レイヤテクスチャストリームを復号し、第１レイヤのテクスチャ画像を生成する。デコーダ２５１は、第１レイヤのテクスチャ画像をＲＧＢ変換部２５２に供給する。
ステップＳ７２において、ＲＧＢ変換部２５２は、第１レイヤのテクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。そして、ＲＧＢ変換部２５２は、各サンプリング点のRGB値を３Ｄモデル生成部２５５に供給する。
ステップＳ７３において、デコーダ２５３は、視線検出部２３４から供給される第１レイヤデプスストリームを復号し、第１レイヤのデプス画像を生成する。デコーダ２５３は、第１レイヤのデプス画像をデプス変換部２５４に供給する。
ステップＳ７４において、デプス変換部２５４は、デコーダ２５３から供給される第１レイヤのデプス画像の各画素の画素値に対して8ビット逆量子化を行い、第１レイヤのデプス画像の各画素の逆数1/rを得る。
ステップＳ７５において、デプス変換部２５４は、第１レイヤのデプス画像の各画素の逆数1/rに基づいて、第１レイヤのデプス画像の各画素の３次元位置(u,v,z)を、各画素に対応するサンプリング点の３次元位置(u,v,z)として求める。デプス変換部２５４は、各サンプリング点の３次元位置(u,v,z)を３Ｄモデル生成部２５５に供給する。
ステップＳ７６において、３Ｄモデル生成部２５５は、デプス変換部２５４から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、各サンプリング点のうちの隣接する３つのサンプリング点どうしが接続するように、第１レイヤの各サンプリング点の接続情報を生成する。
ステップＳ７７において、３Ｄモデル生成部２５５は、第１レイヤの各サンプリング点の３次元位置(u,v,z)、RGB値、および、ステップＳ７６の処理による接続情報を、第１レイヤの３次元データとして生成する。３Ｄモデル生成部２５５は、第１レイヤの３次元データを図１２の描画部２３９に供給する。
ステップＳ７８において、デコーダ２５７は、視線検出部２３４から供給される第２レイヤテクスチャストリームを復号し、第２レイヤのテクスチャ画像を生成する。デコーダ２５７は、第２レイヤのテクスチャ画像をＲＧＢ変換部２５８に供給する。
ステップＳ７９において、ＲＧＢ変換部２５８は、第２レイヤのテクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。そして、ＲＧＢ変換部２５８は、各サンプリング点のRGB値を３Ｄモデル生成部２６１に供給する。
ステップＳ８０において、デコーダ２５９は、視線検出部２３４から供給される第２レイヤデプスストリームを復号し、第２レイヤのデプス画像を生成する。デコーダ２５９は、第２レイヤのデプス画像をデプス変換部２６０に供給する。
ステップＳ８１において、デプス変換部２６０は、デコーダ２５９から供給される第２レイヤのデプス画像の各画素の画素値に対して8ビット逆量子化を行い、第２レイヤのデプス画像の各画素の逆数1/rを得る。
ステップＳ８２において、デプス変換部２６０は、第２レイヤのデプス画像の各画素の逆数1/rに基づいて、第２レイヤのデプス画像の各画素の３次元位置(u,v,z)を、各画素に対応するサンプリング点の３次元位置(u,v,z)として求める。デプス変換部２６０は、各サンプリング点の３次元位置(u,v,z)を３Ｄモデル生成部２６１に供給する。
ステップＳ８３において、３Ｄモデル生成部２６１は、デプス変換部２６０から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、各サンプリング点のうちの隣接する３つのサンプリング点どうしが接続するように、第２レイヤの各サンプリング点の接続情報を生成する。
ステップＳ８４において、３Ｄモデル生成部２６１は、各サンプリング点の３次元位置(u,v,z)および接続情報、並びに、ＲＧＢ変換部２５８から供給されるRGB値を、第２レイヤの３次元データとして生成する。３Ｄモデル生成部２６１は、第２レイヤの３次元データを図１２の描画部２３９に供給する。
なお、ＭＬ３Ｄモデル生成部２３６およびＭＬ３Ｄモデル生成部２３７により行われる３次元データ生成処理は、図１７の３次元データ処理と同様に行われる。
以上のように、ホームサーバ１３は、第１レイヤのテクスチャ画像と第２レイヤのテクスチャ画像を用いて、視聴者の視点の表示画像を生成する。第１レイヤのテクスチャ画像の輝度情報が表す第１の明るさ範囲と、第２レイヤのテクスチャ画像の輝度情報が示す第２の明るさ範囲は、異なる範囲となっているので、第１及び第２のレイヤを用いて表示画像を生成することにより、高画質の表示画像を生成することができる。
また、ホームサーバ１３は、テクスチャ画像だけでなくデプス画像も用いて表示画像を生成する。従って、三角形パッチ描画により、被写体に応じた３次元形状の三角形パッチにテクスチャ画像をマッピングし、その三角形パッチを用いて表示画像を生成することができる。よって、テクスチャ画像のみを用いてテクスチャ画像を所定の面にマッピングすることにより表示画像を生成する場合に比べて、高画質の表示画像を生成することができる。
さらに、第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像は、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像である。従って、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像のみを再生する再生装置において、第１レイヤのテクスチャ画像とデプス画像を再生することができる。
即ち、コンテンツサーバ１２により生成される第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像のフォーマットは、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像のフォーマットと互換性を有する。また、ホームサーバ１３による再生方法は、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像のみを再生する再生装置の再生方法と互換性を有する。
なお、ホームサーバ１３は、第１レイヤのテクスチャ画像とデプス画像のみを用いて表示画像を生成するようにしてもよい。
（レイヤごとに奥行き距離を変える例）
図１８は、第１実施の形態の変形例を示している。
上述した第１の実施の形態では、第１レイヤ生成部５２と第２レイヤ生成部５４によって生成される第１レイヤのテクスチャ画像及びデプス画像と第２レイヤのテクスチャ画像及びデプス画像のうち、画像パラメータとしての画素値が表す輝度情報の範囲が第１レイヤのテクスチャ画像と第２レイヤのテクスチャ画像とで異なるように、第１レイヤ及び第２レイヤのテクスチャ画像が生成され、伝送された。
しかしながら、例えば、第１レイヤと第２レイヤのテクスチャ画像の画素値が表す輝度情報の範囲は同じにして、図１８に示すように、距離パラメータとしての画素値が表す距離情報の範囲が第１レイヤのデプス画像と第２レイヤのデプス画像とで異なるように、第１レイヤ及び第２レイヤのデプス画像を生成して、伝送してもよい。
具体的には、マルチカメラ１１の各カメラがD1min[m]からD2max[m]までの奥行き方向の距離の被写体を撮影する。コンテンツサーバ１２の第１レイヤ生成部５２は、D1min[m]からD1max[m]の範囲（D1min[m]＜D1max[m]）を第１のデプス範囲とするデプス画像を生成する。一方、第２レイヤ生成部５４は、D2min[m]からD2max[m]の範囲（D2min[m]＜D2max[m]）を第２のデプス範囲とするデプス画像を生成する。なお、図１８の例では、D2min[m]＜D1max[m]であるが、D2min[m]とD1max[m]は同じでもよい。
メタデータ生成部５７は、第１のデプス範囲及び第２のデプス範囲を示すデプス範囲情報、具体的には、D1min[m],D1max[m],D2min[m]D2max[m]の値を、メタデータの一部として生成する。D1min[m],D1max[m],D2min[m]D2max[m]の値は、マルチカメラ１１から取得してもよいし、コンテンツサーバ１２においてユーザによって入力された値を取得してもよい。
このようにして生成された第１レイヤのデプス画像及び第２レイヤのデプス画像から、第１レイヤデプスストリーム及び第２レイヤデプスストリームが生成され、ホームサーバ１３に伝送される。
ホームサーバ１３は、第１レイヤおよび第２レイヤのデプス画像を用いて表示画像を生成する場合、D1min[m]からD2max[m]までの奥行き方向の距離を表現した表示画像を生成する。B2min[lx]からD1max[m]までの重複する範囲については、例えば、２つのレイヤの平均値が採用される。
第１のデプス範囲の第１レイヤのデプス画像だけを用いて表示画像を生成した場合には、D1max[m]以上の距離は表現できない。第２のデプス範囲の第２レイヤのデプス画像を有することで、表示画像において、D1max[m]以上の奥行き方向の距離を表現することができる。
なお、第１レイヤと第２レイヤのテクスチャ画像の画素値が表す輝度情報の範囲と、第１レイヤと第２レイヤのデプス画像の画素値が表す距離情報の範囲の両方を、第１レイヤと第２レイヤとで異なるように、第１レイヤと第２レイヤのテクスチャ画像及びデプス画像を生成し、伝送してもよい。
＜２．第２実施の形態＞
（画像表示システムの第２実施の形態の構成例）
図１９は、本開示を適用した画像表示システムの第２実施の形態の構成例を示すブロック図である。
図１９に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１９の画像表示システム４００は、マルチカメラ１１、コンテンツサーバ１２、変換装置１４、ヘッドマウントディスプレイ１５、配信サーバ４０１、ネットワーク４０２、および再生装置４０３により構成される。画像表示システム４００では、６つの面のうちの、視線に対応する１つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームのみが再生装置４０３に配信され、再生される。
具体的には、画像表示システム４００の配信サーバ４０１は、コンテンツサーバ１２から送信されてくる低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを受け取り、記憶する。
また、配信サーバ４０１は、ネットワーク４０２を介して再生装置４０３と接続する。配信サーバ４０１は、再生装置４０３からの要求に応じて、記憶している低解像度テクスチャストリームおよび低解像度デプスストリーム、１つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを、ネットワーク４０２を介して再生装置４０３に伝送する。
再生装置４０３（画像処理装置）は、配信サーバ４０１に低解像度テクスチャストリーム、低解像度デプスストリーム、およびメタデータを、ネットワーク４０２を介して要求し、その要求に応じて伝送されてくる低解像度テクスチャストリーム、低解像度デプスストリーム、およびメタデータを受け取る。
また、再生装置４０３は、カメラ１３Ａを内蔵する。再生装置４０３は、ホームサーバ１３と同様に、３Ｄモデル座標系における視聴位置を検出し、３Ｄモデル座標系における視聴者の視線方向と視野範囲を決定する。
そして、再生装置４０３は、３Ｄモデル座標系における視聴位置および視線方向、並びに、メタデータに含まれる第１レイヤのテーブルに基づいて、第１レイヤの６つの面のうちの、視線に最も近い視線ベクトルに対応する１つの面を選択面に決定する。再生装置４０３は、１つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、ネットワーク４０２を介して要求する。再生装置４０３は、その要求に応じて伝送されてくる１つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを受け取る。
再生装置４０３は、低解像度テクスチャストリームおよび低解像度デプスストリーム、並びに、１つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを用いて表示画像を生成する。再生装置４０３の表示画像を生成する処理は、選択面の数が１つである点を除いて、ホームサーバ１３の処理と同様であるので、説明は省略する。再生装置４０３は、図示せぬHDMIケーブルを介して表示画像を変換装置１４に伝送する。
＜３．テクスチャ画像の他の例＞
図２０は、第１レイヤのテクスチャ画像の他の例を示す図である。
上述した説明では、第１レイヤの各面のテクスチャ画像は、１つの視点Ｏのテクスチャ画像であったが、視点Ｏに対応する左目用の視点と右目用の視点のテクスチャ画像が合成されたものであってもよい。
具体的には、図２０のＡに示すように、第１レイヤの各面のテクスチャ画像は、例えば、視点Ｏに対応する左目用の視点の第１レイヤの各面のテクスチャ画像４２１と、右目用の視点の第１レイヤの各面のテクスチャ画像４２２が、横方向（水平方向）にパッキングされたパッキング画像４２０であってもよい。
また、図２０のＢに示すように、第１レイヤの各面のテクスチャ画像は、例えば、テクスチャ画像４２１とテクスチャ画像４２２が、縦方向（垂直方向）にパッキングされたパッキング画像４４０であってもよい。
同様に、第２レイヤの各面のテクスチャ画像は、左目用の視点の第２レイヤのテクスチャ画像と右目用の視点の第２レイヤのテクスチャ画像が横方向または縦方向にパッキングされたパッキン画像であってもよい。
また、第１レイヤ及び第２レイヤの各面のテクスチャ画像を、左目用の視点のテクスチャ画像と右目用の視点のテクスチャ画像を横方向または縦方向にパッキングしたパッキング画像とする場合、コンテンツサーバ１２において視聴者の眼間距離を入力させるようにして、入力された眼間距離に応じて生成したパッキング画像とすることができる。あるいはまた、ホームサーバ１３において視聴者の眼間距離を入力させるようにして、入力された眼間距離に応じて生成したパッキング画像を生成してもよい。
以上のように、第１レイヤおよび第２レイヤの各面のテクスチャ画像が左目用の視点と右目用の視点の画像をパッキングしたテクスチャ画像である場合、復号の結果得られるテクスチャ画像が、左目用の視点のテクスチャ画像と右目用の視点のテクスチャ画像に分離される。そして、第１レイヤおよび第２レイヤについて、左目用の３次元データと右目用の３次元データが生成される。
そして、視聴者の視聴方向および視聴位置に対応する左目の視聴方向および視聴位置基づいて、左目用の３次元データから左目用の表示画像が生成される。また、視聴者の視聴方向および視聴位置に対応する右目の視聴方向および視聴位置に基づいて、右目用の３次元データから右目用の表示画像が生成される。そして、ヘッドマウントディスプレイ１５が３Ｄ表示可能である場合、ヘッドマウントディスプレイ１５は、左目用の表示画像を左目用の画像として表示し、右目用の表示画像を右目用の画像として表示することにより、表示画像を３Ｄ表示する。
なお、第１および第２実施の形態では、撮影画像が正八面体にマッピングされることにより全天球画像が生成されたが、撮影画像がマッピングされる３Ｄモデルは、正八面体のほか、球や立方体などにすることができる。撮影画像が球にマッピングされる場合、全天球画像は、例えば、撮影画像がマッピングされた球の正距円筒図法による画像である。また、全天球画像ではなく、半天球画像や、前方を広角で表現した画像を生成してもよい。
上述した実施の形態では、デプス画像の画素値として格納される距離情報として、被写体までの直線の距離ｒ（の逆数1/r）を量子化した値を採用したが、視差ｄを量子化した値を採用してもよい。奥行き方向の距離ｒと視差ｄは、ｒ＝（Ｌ／ｄ）＊ｆにより一意に変換可能である。ここで、Ｌはステレオカメラを構成する２つの撮像センサ間の水平距離、ｆは焦点距離を表す。
また、低解像度テクスチャストリームと低解像度デプスストリームは生成されなくてもよい。第１レイヤおよび第２レイヤのデプス画像は生成されなくてもよい。また、第２レイヤのテクスチャ画像とデプス画像は、重要な被写体の撮影画像がマッピングされる一部の面に対してのみ生成されるようにしてもよい。
さらに、低解像度テクスチャ画像および低解像度デプス画像も、高解像度のテクスチャ画像およびデプス画像と同様に、階層化して生成されてもよい。
＜４．第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
以上のように構成されるコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ５００では、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータ５００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
＜５．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２２に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２２では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図２３は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２３には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図２２に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２２の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図２２に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
なお、図１乃至図２０を用いて説明した本実施形態に係る画像表示システム１０（４００）の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム７０００において、図１乃至図２０を用いて説明した本実施形態に係る画像表示システム１０（４００）は、図２２に示した応用例の車両制御システム７０００に適用することができる。例えば、画像表示システム１０（４００）のマルチカメラ１１は、撮像部７４１０の少なくとも一部に相当する。また、コンテンツサーバ１２、ホームサーバ１３（配信サーバ４０１、ネットワーク４０２、再生装置４０３）、および変換装置１４は一体化され、統合制御ユニット７６００のマイクロコンピュータ７６１０と記憶部７６９０に相当する。ヘッドマウントディスプレイ１５は、表示部７７２０に相当する。なお、画像表示システム１０（４００）を車両制御システム７０００に適用する場合、カメラ１３Ａ、マーカ１５Ａ、およびジャイロセンサ１５Ｂは設けられず、視聴者である搭乗者の入力部７８００の操作により視聴者の視線方向および視聴位置が入力される。以上のようにして、画像表示システム１０（４００）を、図２２に示した応用例の車両制御システム７０００に適用することにより、全天球画像を用いて高画質の表示画像を生成することができる。
また、図１乃至図２０を用いて説明した画像表示システム１０（４００）の少なくとも一部の構成要素は、図２２に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１乃至図２０を用いて説明した画像表示システム１０（４００）が、図２２に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本開示は以下のような構成も取ることができる。
（１）
全天球画像のテクスチャ画像及びデプス画像から構成される第１レイヤのテクスチャ画像及びデプス画像と、前記第１レイヤのテクスチャ画像及びデプス画像の少なくとも一方と画素値が表す情報の範囲が異なる第２レイヤのテクスチャ画像及びデプス画像とを用いて、所定の視点の表示画像を生成する画像生成部と
を備える画像処理装置。
（２）
前記画像生成部は、前記第１レイヤのテクスチャ画像と画像パラメータの範囲が異なる前記第２レイヤのテクスチャ画像を用いて、前記表示画像を生成する
前記（１）に記載の画像処理装置。
（３）
前記画像パラメータは、画素値が表す輝度情報であり、
前記画像生成部は、前記第１レイヤのテクスチャ画像と画素値が表す輝度情報の範囲が異なる前記第２レイヤのテクスチャ画像を用いて、前記表示画像を生成する
前記（２）に記載の画像処理装置。
（４）
前記画像生成部は、前記第１レイヤのデプス画像と距離パラメータの範囲が異なる前記第２レイヤのデプス画像を用いて、前記表示画像を生成する
前記（１）乃至（３）に記載の画像処理装置。
（５）
前記距離パラメータは、画素値が表す距離情報であり、
前記画像生成部は、前記第１レイヤのデプス画像と画素値が表す距離情報の範囲が異なる前記第２レイヤのデプス画像を用いて、前記表示画像を生成する
前記（４）に記載の画像処理装置。
（６）
前記第１レイヤと第２レイヤのテクスチャ画像及びデプス画像は、前記全天球画像のテクスチャ画像及びデプス画像を所定の面に透視投影することにより得られたテクスチャ画像及びデプス画像から構成される
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
画像処理装置が、
全天球画像のテクスチャ画像及びデプス画像から構成される第１レイヤのテクスチャ画像及びデプス画像と、前記第１レイヤのテクスチャ画像及びデプス画像の少なくとも一方と画素値が表す情報の範囲が異なる第２レイヤのテクスチャ画像及びデプス画像とを用いて、所定の視点の表示画像を生成する
ステップを含む画像処理方法。
（８）
全天球画像のテクスチャ画像及びデプス画像から構成される第１レイヤのテクスチャ画像及びデプス画像と、前記第１レイヤのテクスチャ画像及びデプス画像の少なくとも一方と画素値が表す情報の範囲が異なる第２レイヤのテクスチャ画像及びデプス画像を生成する画像生成部
を備える画像処理装置。
（９）
前記画像生成部は、前記第１レイヤのテクスチャ画像と画像パラメータの範囲が異なる前記第２レイヤのテクスチャ画像を生成する
前記（８）に記載の画像処理装置。
（１０）
前記画像パラメータは、画素値が表す輝度情報であり、
前記画像生成部は、前記第１レイヤのテクスチャ画像と画素値が表す輝度情報の範囲が異なる前記第２レイヤのテクスチャ画像を生成する
前記（９）に記載の画像処理装置。
（１１）
前記画像生成部は、前記第１レイヤのデプス画像と距離パラメータの範囲が異なる前記第２レイヤのデプス画像を生成する
前記（８）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記距離パラメータは、画素値が表す距離情報であり、
前記画像生成部は、前記第１レイヤのデプス画像と画素値が表す距離情報の範囲が異なる前記第２レイヤのデプス画像を生成する
前記（１１）に記載の画像処理装置。
（１３）
前記１レイヤと第２レイヤのテクスチャ画像及びデプス画像は、前記全天球画像のテクスチャ画像及びデプス画像を所定の面に透視投影することにより得られたテクスチャ画像及びデプス画像から構成される
前記（８）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
画像処理装置が、
全天球画像のテクスチャ画像及びデプス画像から構成される第１レイヤのテクスチャ画像及びデプス画像と、前記第１レイヤのテクスチャ画像及びデプス画像の少なくとも一方と画素値が表す情報の範囲が異なる第２レイヤのテクスチャ画像及びデプス画像を生成する
ステップを含む画像処理方法。
１１ マルチカメラ， １２ コンテンツサーバ， １３ ホームサーバ， ３４ 高解像度画像処理部， ５０ 第１レイヤ生成部， ５１ 量子化部， ５３ 第２レイヤ生成部， ５４ 量子化部， ５６ 設定部， ５７ メタデータ生成部， ２３１ 受け取り部， ２３４ 視線検出部， ２３５乃至２３７ ＭＬ３Ｄモデル生成部， ２３９ 描画部， ２５５ ３Ｄモデル生成部， ２６１ ３Ｄモデル生成部， ５０１ CPU， ５０２ ROM， ５０３ RAM， ５０６ 入力部， ５０７ 出力部， ５０８ 記憶部， ５０９ 通信部， ５１０ ドライブ

Claims (14)

  1. 全天球画像のテクスチャ画像及びデプス画像から構成される第１レイヤのテクスチャ画像及びデプス画像と第２レイヤのテクスチャ画像及びデプス画像とを用いて、所定の視点の表示画像を生成する画像生成部と
    を備え、
    前記第１レイヤのテクスチャ画像及びデプス画像の一方において所定のビット数で表現された画素値の範囲は第１の範囲に対応し、前記第２レイヤのテクスチャ画像及びデプス画像の前記一方において前記所定のビット数で表現された画素値の範囲は前記第１の範囲と異なる範囲を含む第２の範囲に対応し、
    前記画像生成部は、前記第１の範囲から前記第２の範囲までを前記所定のビット数の画素値で表現した前記所定の視点の表示画像を生成する
    画像処理装置。
  2. 前記画像生成部は、前記第１の範囲および前記第２の範囲の情報を、メタデータとして取得する
    請求項１に記載の画像処理装置。
  3. 前記テクスチャ画像及びデプス画像の一方は、テクスチャ画像であり、
    前記第１の範囲は第１の明るさ範囲であり、前記第２の範囲は第２の明るさ範囲であり、
    前記画像生成部は、前記第１の明るさ範囲から前記第２の明るさ範囲までを前記所定のビット数の画素値で表現した前記所定の視点の表示画像を生成する
    請求項１に記載の画像処理装置。
  4. 前記テクスチャ画像及びデプス画像の一方は、デプス画像であり、
    前記第１の範囲は第１の距離範囲であり、前記第２の範囲は第２の距離範囲であり、
    前記画像生成部は、前記第１の距離範囲から前記第２の距離範囲までを表現した前記所定の視点の表示画像を生成する
    請求項１に記載の画像処理装置。
  5. 前記第１レイヤと前記第２レイヤのテクスチャ画像及びデプス画像は、同一視点および視野範囲のテクスチャ画像及びデプス画像である
    請求項１に記載の画像処理装置。
  6. 前記第１レイヤと前記第２レイヤのテクスチャ画像及びデプス画像は、前記全天球画像のテクスチャ画像及びデプス画像を所定の面に透視投影することにより得られたテクスチャ画像及びデプス画像から構成される
    請求項１に記載の画像処理装置。
  7. 画像処理装置が、
    全天球画像のテクスチャ画像及びデプス画像から構成される第１レイヤのテクスチャ画像及びデプス画像と第２レイヤのテクスチャ画像及びデプス画像とを用いて、所定の視点の表示画像を生成する
    ステップを含み、
    前記第１レイヤのテクスチャ画像及びデプス画像の一方において所定のビット数で表現された画素値の範囲は第１の範囲に対応し、前記第２レイヤのテクスチャ画像及びデプス画像の前記一方において前記所定のビット数で表現された画素値の範囲は前記第１の範囲と異なる範囲を含む第２の範囲に対応し、
    前記第１の範囲から前記第２の範囲までを前記所定のビット数の画素値で表現した前記所定の視点の表示画像を生成する
    画像処理方法。
  8. 全天球画像のテクスチャ画像及びデプス画像から構成される第１レイヤのテクスチャ画像及びデプス画像と第２レイヤのテクスチャ画像及びデプス画像を生成する画像生成部と
    を備え、
    前記第１レイヤのテクスチャ画像及びデプス画像の一方において所定のビット数で表現された画素値の範囲は第１の範囲に対応し、前記第２レイヤのテクスチャ画像及びデプス画像の前記一方において前記所定のビット数で表現された画素値の範囲は前記第１の範囲と異なる範囲を含む第２の範囲に対応する
    画像処理装置。
  9. 前記第１の範囲および前記第２の範囲の情報を、メタデータとして生成するメタデータ生成部をさらに備える
    請求項８に記載の画像処理装置。
  10. 前記テクスチャ画像及びデプス画像の一方は、テクスチャ画像であり、
    前記第１の範囲は第１の明るさ範囲であり、前記第２の範囲は第２の明るさ範囲である
    請求項８に記載の画像処理装置。
  11. 前記テクスチャ画像及びデプス画像の一方は、デプス画像であり、
    前記第１の範囲は第１の距離範囲であり、前記第２の範囲は第２の距離範囲である
    請求項８に記載の画像処理装置。
  12. 前記第１レイヤと前記第２レイヤのテクスチャ画像及びデプス画像は、同一視点および視野範囲のテクスチャ画像及びデプス画像である
    請求項８に記載の画像処理装置。
  13. 前記１レイヤと前記第２レイヤのテクスチャ画像及びデプス画像は、前記全天球画像のテクスチャ画像及びデプス画像を所定の面に透視投影することにより得られたテクスチャ画像及びデプス画像から構成される
    請求項８に記載の画像処理装置。
  14. 画像処理装置が、
    全天球画像のテクスチャ画像及びデプス画像から構成される第１レイヤのテクスチャ画像及びデプス画像と第２レイヤのテクスチャ画像及びデプス画像を生成生成する
    ステップを含み、
    前記第１レイヤのテクスチャ画像及びデプス画像の一方において所定のビット数で表現された画素値の範囲は第１の範囲に対応し、前記第２レイヤのテクスチャ画像及びデプス画像の前記一方において前記所定のビット数で表現された画素値の範囲は前記第１の範囲と異なる範囲を含む第２の範囲に対応する
    画像処理方法。
JP2018531825A 2016-08-03 2017-07-20 画像処理装置および画像処理方法 Active JP6977725B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016152526 2016-08-03
JP2016152526 2016-08-03
PCT/JP2017/026184 WO2018025642A1 (ja) 2016-08-03 2017-07-20 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2018025642A1 JPWO2018025642A1 (ja) 2019-05-30
JP6977725B2 true JP6977725B2 (ja) 2021-12-08

Family

ID=61073396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531825A Active JP6977725B2 (ja) 2016-08-03 2017-07-20 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US11087480B2 (ja)
JP (1) JP6977725B2 (ja)
WO (1) WO2018025642A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037778A1 (ja) * 2016-08-26 2018-03-01 オリンパス株式会社 計測処理装置
JP6946963B2 (ja) * 2017-11-17 2021-10-13 株式会社アイシン 重畳画像表示装置及びコンピュータプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008232A (ja) 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
JP4008686B2 (ja) * 2001-10-05 2007-11-14 三菱電機株式会社 テクスチャ編集装置、テクスチャ編集システムおよび方法
JP4475643B2 (ja) 2004-06-29 2010-06-09 キヤノン株式会社 画像符号化装置及び方法
US9020241B2 (en) * 2011-03-03 2015-04-28 Panasonic Intellectual Property Management Co., Ltd. Image providing device, image providing method, and image providing program for providing past-experience images
RU2692432C2 (ru) * 2014-06-19 2019-06-24 Конинклейке Филипс Н.В. Способ и устройство для формирования трехмерного изображения
JP7028168B2 (ja) * 2016-07-29 2022-03-02 ソニーグループ株式会社 画像処理装置および画像処理方法
CN109588055A (zh) * 2016-07-29 2019-04-05 索尼公司 图像处理设备和图像处理方法
WO2018021067A1 (ja) * 2016-07-29 2018-02-01 ソニー株式会社 画像処理装置および画像処理方法
WO2018021064A1 (ja) * 2016-07-29 2018-02-01 ソニー株式会社 画像処理装置および画像処理方法
US11184602B2 (en) * 2017-02-13 2021-11-23 Sony Corporation Image processing apparatus and image processing method
KR102278848B1 (ko) * 2018-07-31 2021-07-19 엘지전자 주식회사 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치

Also Published As

Publication number Publication date
WO2018025642A1 (ja) 2018-02-08
US20190279381A1 (en) 2019-09-12
US11087480B2 (en) 2021-08-10
JPWO2018025642A1 (ja) 2019-05-30

Similar Documents

Publication Publication Date Title
JP6944136B2 (ja) 画像処理装置および画像処理方法
JP6977720B2 (ja) 生成装置および生成方法、並びに、再生装置および再生方法
JP7127539B2 (ja) 画像処理装置および画像処理方法
JP7040466B2 (ja) 画像処理装置および画像処理方法
WO2018021067A1 (ja) 画像処理装置および画像処理方法
JP6944137B2 (ja) 画像処理装置および画像処理方法
JP6944135B2 (ja) 画像処理装置および画像処理方法
JP6944138B2 (ja) 画像処理装置および画像処理方法
JP7028168B2 (ja) 画像処理装置および画像処理方法
JP6944133B2 (ja) 画像処理装置および画像処理方法
JP6743893B2 (ja) 画像処理装置および画像処理方法
JP6944134B2 (ja) 画像処理装置および画像処理方法
JP6743894B2 (ja) 画像処理装置および画像処理方法
JP6930541B2 (ja) 画像処理装置および画像処理方法
JP6977725B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211025

R151 Written notification of patent or utility model registration

Ref document number: 6977725

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151