JP6944135B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6944135B2
JP6944135B2 JP2018529780A JP2018529780A JP6944135B2 JP 6944135 B2 JP6944135 B2 JP 6944135B2 JP 2018529780 A JP2018529780 A JP 2018529780A JP 2018529780 A JP2018529780 A JP 2018529780A JP 6944135 B2 JP6944135 B2 JP 6944135B2
Authority
JP
Japan
Prior art keywords
image
layer
unit
camera
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018529780A
Other languages
English (en)
Other versions
JPWO2018021068A1 (ja
Inventor
剛也 小林
剛也 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018021068A1 publication Critical patent/JPWO2018021068A1/ja
Application granted granted Critical
Publication of JP6944135B2 publication Critical patent/JP6944135B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は、画像処理装置および画像処理方法に関し、特に、全天球画像を用いて所定の視点の高画質のテクスチャ画像を生成することができるようにした画像処理装置および画像処理方法に関する。
マルチカメラにより撮影された水平方向の周囲360度および垂直方向の周囲180度の撮影画像を２Ｄ画像（平面画像）にマッピングした全天球画像を生成し、符号化して記憶する記憶装置がある（例えば、特許文献１参照）。
また、記憶装置により記憶された全天球画像の符号化ストリームを復号し、その結果得られる全天球画像を用いて視聴者の視野範囲のテクスチャ画像を表示させる再生装置がある。このような再生装置は、全天球画像を球や立方体などの３Ｄモデルの表面上に貼り付け、その３Ｄモデルの内部の１点である視点から、視聴者の視線方向の３Ｄモデルの表面を見たときの視聴者の視野範囲のテクスチャ画像を表示させる。これにより、所定の視点の視聴者の視野範囲の撮影画像が再現される。
特開２００６−１４１７４号公報
しかしながら、１個のマルチカメラにより撮影された画像を用いた全天球画像の表示には限界がある。
本開示は、このような状況に鑑みてなされたものであり、複数のマルチカメラにより撮影された、複数の全天球画像を用いることで、様々な視点の高画質のテクスチャ画像を生成することができるようにするものである。
本開示の一側面の画像処理装置は、被写体の３次元データの生成に必要なテクスチャ画像を取得する複数のカメラを複数のグループに分類するグルーピング部と、前記複数のグループ毎に、前記複数のカメラのプライオリティを設定するプライオリティ設定部と、前記複数のグループに分類された、前記被写体を含むテクスチャ画像を取得する複数のカメラのグループ毎に、前記被写体の３次元データの生成に用いられる前記テクスチャ画像を撮影するカメラの配置に基づいて、前記３次元データの生成に対する前記カメラの配置の評価値を算出する評価部とを備え、前記被写体の前記３次元データの生成に必要なテクスチャ画像は、全天球画像、および取り囲み画像を含み、前記プライオリティ設定部は、前記評価値に基づいて、前記グループ毎に、前記全天球画像における場合の前記複数のカメラのプライオリティである全天球プライオリティ、および前記取り囲み画像における場合の前記複数のカメラのプライオリティである取り囲みプライオリティを設定する画像処理装置である。
視聴者の視聴位置と視線方向に基づいた、前記視聴者の視野範囲に対応する、前記被写体の前記３次元データの生成に必要なテクスチャ画像の要求を受信し、前記複数のグループのうち、前記視聴者の視野範囲の、前記被写体を含むテクスチャ画像を取得するカメラのグループを選択するグループ選択部と、前記グループ選択部により選択されたグループにおける、前記カメラのプライオリティに応じて、前記視聴者の視野範囲に対応するテクスチャ画像を選択して、送信する画像選択部とをさらに含ませるようにすることができる。
前記グループ選択部により受信される要求は、前記全天球画像、および前記取り囲み画像のいずれかを指定する情報を含ませるようにすることができ、前記画像選択部には、前記要求に、前記全天球画像を指定する情報が含まれている場合、前記グループ選択部により選択されたグループにおける、前記カメラの全天球プライオリティに応じて、前記全天球画像の生成に必要な、前記視聴者の視野範囲に対応するテクスチャ画像を選択して、送信させ、前記要求に、前記取り囲み画像を指定する情報が含まれている場合、前記グループ選択部により選択されたグループにおける、前記カメラの取り囲みプライオリティに応じて、前記取り囲み画像の生成に必要な、前記視聴者の視野範囲に対応するテクスチャ画像を選択して、送信させるようにすることができる。
前記複数のカメラは、複数の方向を撮影する複数のマルチカメラを構成するものとすることができ、前記グルーピング部には、前記被写体の３次元データの生成に必要なテクスチャ画像を取得する複数のカメラと共に、前記マルチカメラをも併せて前記複数のグループに分類させるようにすることができる。
前記プライオリティ設定部には、前記評価値に基づいて、前記複数のグループ毎に、前記マルチカメラ単位で、前記複数のカメラの前記全天球プライオリティを設定させるようにすることができる。
前記グルーピング部には、前記複数のカメラの位置に基づいて、前記複数のカメラを前記複数のグループに分類させるようにすることができる。
前記複数のグループのそれぞれに関するグループ情報を生成するグループ情報生成部をさらに含ませるようにすることができ、前記グループ情報は、前記グループに分類された前記カメラを含む領域の重心位置を表す情報であるようにすることができる。
前記グルーピング部には、前記テクスチャ画像を用いて生成される３次元データに対応する３次元物体ごとに、前記テクスチャ画像に対応するカメラを前記グループに分類させるようにすることができる。
前記複数のグループのそれぞれに関するグループ情報を生成するグループ情報生成部をさらに含ませるようにすることができ、前記グループ情報は、前記グループに対応する３次元物体を表す情報とすることができる。
前記グルーピング部には、前記テクスチャ画像を用いて生成される３次元データに対応する３次元空間ごとに、前記テクスチャ画像に対応するカメラを前記グループに分類させるようにすることができる。
前記複数のグループのそれぞれに関するグループ情報を生成するグループ情報生成部をさらに含ませるようにすることができ、前記グループ情報は、前記グループに対応する前記３次元空間を表す情報とすることができる。
本開示の一側面の画像処理方法は、被写体の３次元データの生成に必要なテクスチャ画像を取得する複数のカメラを複数のグループに分類し、前記複数のグループ毎に、前記複数のカメラのプライオリティを設定し、前記複数のグループに分類された、前記被写体を含むテクスチャ画像を取得する複数のカメラのグループ毎に、前記被写体の３次元データの生成に用いられる前記テクスチャ画像を撮影するカメラの配置に基づいて、前記３次元データの生成に対する前記カメラの配置の評価値を算出するステップを含み、前記被写体の前記３次元データの生成に必要なテクスチャ画像は、全天球画像、および取り囲み画像を含み、前記評価値に基づいて、前記グループ毎に、前記全天球画像における場合の前記複数のカメラのプライオリティである全天球プライオリティ、および前記取り囲み画像における場合の前記複数のカメラのプライオリティである取り囲みプライオリティが設定される画像処理方法である。
本開示の一側面においては、被写体の３次元データの生成に必要なテクスチャ画像を取得する複数のカメラが複数のグループに分類され、前記複数のグループ毎に、前記複数のカメラのプライオリティが設定され、前記複数のグループに分類された、前記被写体を含むテクスチャ画像を取得する複数のカメラのグループ毎に、前記被写体の３次元データの生成に用いられる前記テクスチャ画像を撮影するカメラの配置に基づいて、前記３次元データの生成に対する前記カメラの配置の評価値が算出され、前記被写体の前記３次元データの生成に必要なテクスチャ画像には、全天球画像、および取り囲み画像が含まれ、前記評価値に基づいて、前記グループ毎に、前記全天球画像における場合の前記複数のカメラのプライオリティである全天球プライオリティ、および前記取り囲み画像における場合の前記複数のカメラのプライオリティである取り囲みプライオリティが設定される。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。 コンテンツサーバの構成例を示すブロック図である。 高解像度画像処理部の構成例を示すブロック図である。 距離ｚと距離ｒを説明する図である。 最小値zminと最小値rminを説明する図である。 奥行き方向の変化を説明する図である。 第１レイヤの６つの面のデプス画像を球にマッピングした際の各画素の球上の位置の例を示す図である。 第１レイヤの面の例を示す図である。 第１レイヤの視点位置情報および面情報のテーブルの構成例を示す図である。 第１レイヤの所定の面に対応する被写体の奥行き方向の位置を示す図である。 第１レイヤおよび第２レイヤのテクスチャ画像の構成例を示す図である。 第１レイヤと第２レイヤのテクスチャ画像の例を説明する図である。 第１レイヤと第２レイヤのテクスチャ画像の他の例を説明する図である。 第２レイヤの視点の第１の例を示す図である。 第２レイヤの視点位置情報および面情報のテーブルの第１の構成例を示す図である。 第２レイヤの視点の第２の例を示す図である。 第２レイヤの視点位置情報および面情報のテーブルの第２の構成例を示す図である。 ストリーム生成処理を説明するフローチャートである。 ホームサーバの構成例を示すブロック図である。 ＭＬ３Ｄモデル生成部の構成例を示すブロック図である。 接続情報の例を説明する図である。 接続情報の他の例を説明する図である。 サンプリング点の例を説明する図である。 サンプリング点の他の例を説明する図である。 オクルージョン処理を説明する図である。 再生処理を説明するフローチャートである。 ３次元データ生成処理の詳細を説明するフローチャートである。 三角形パッチ有効無効情報を説明する図である。 本開示を適用した画像表示システムの第２実施の形態の構成例を示すブロック図である。 第１レイヤのテクスチャ画像の他の例を示す図である。 本開示を適用した画像表示システムの第３実施の形態の構成例を示すブロック図である。 図３１の画像表示システムにおけるカメラレイヤを説明する図である。 図３１の画像表示システムにおけるカメラレイヤを説明する図である。 図３１の画像表示システムにおけるカメラレイヤを説明する図である。 図３１の画像表示システムにおけるカメラレイヤを説明する図である。 図３１の画像表示システムにおけるコンテンツサーバにおける高画質画像処理部の構成例を説明する図である。 図３６のグループ化処理部の構成例を説明する図である。 カメラの第１の分類方法の第１の例を説明する図である。 カメラの第１の分類方法の第２の例を説明する図である。 第１の分類方法におけるグローバルテーブルの構成例を示す図である。 カメラの第２の分類方法を説明する図である。 第２の分類方法におけるグローバルテーブルの構成例を示す図である。 カメラの第３の分類方法を説明する図である。 第３の分類方法におけるグローバルテーブルの構成例を示す図である。 グループテーブルの例を示す図である。 図３６のプライオリティ設定部の構成例を説明する図である。 候補とする取り囲み配置の例を示す図である。 図４６の評価部による処理を説明する図である。 図４６の評価部により算出される評価値を説明する図である。 図４６のプライオリティ判定部により判定されるプラオリティを説明する図である。 図４６のプライオリティ判定部により設定されるプラオリティテーブルを説明する図である。 図３６の選択部の構成例を説明する図である。 グローバルテーブルからグループを選択する手法を説明する図である。 図３１のホームサーバのストリーム生成処理を説明するフローチャートである。 図３１のグループ化処理を説明するフローチャートである。 図３１の選択部の構成例を説明する図である。 図３１のホームサーバの再生処理を説明するフローチャートである。 図３１のコンテンツサーバの再生処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：画像表示システム（図１乃至図２８）
２．第２実施の形態：画像表示システム（図２９）
３．テクスチャ画像の他の例(図３０)
４．第３実施の形態：画像表示システム（図３１乃至５８）
５．第４実施の形態：コンピュータ（図５９）
６．応用例（図６０および図６１）
＜第１実施の形態＞
（画像表示システムの第１実施の形態の構成例）
図１は、本開示を適用した画像表示システムの第１実施の形態の構成例を示すブロック図である。
図１の画像表示システム１０は、マルチカメラ１１、コンテンツサーバ１２、ホームサーバ１３、変換装置１４、およびヘッドマウントディスプレイ１５により構成される。画像表示システム１０は、マルチカメラ１１により撮影されたYCbCr画像（YUV画像）である撮影画像から全天球画像を生成し、全天球画像のうちの視聴者の視野範囲の画像を表示する。
具体的には、画像表示システム１０のマルチカメラ１１は、水平方向の周囲360度および垂直方向の周囲180度を撮影範囲として、外向きに配置された複数（図１の例では６個）のカメラにより構成される。各カメラは、撮影を行い、撮影画像をフレーム単位で生成する。マルチカメラ１１は、各カメラの撮影画像をコンテンツサーバ１２に供給する。
コンテンツサーバ１２(画像処理装置)は、マルチカメラ１１から供給される各カメラの撮影画像から、所定の視点の全天球画像のテクスチャ画像とデプス画像を生成する。第１実施の形態では、デプス画像は、所定の視点から各画素における被写体までの直線の距離ｒを示す8ビットの値としての、距離ｒの逆数1/rを画素値とする画像である。
コンテンツサーバ１２は、全天球画像のテクスチャ画像とデプス画像を低解像度化し、低解像度テクスチャ画像と低解像度デプス画像とを生成する。コンテンツサーバ１２は、低解像度テクスチャ画像と低解像度デプス画像を、AVC(Advanced Video Coding)やHEVC(High Efficiency Video Coding)/H.265等の符号化方式で圧縮符号化する。コンテンツサーバ１２は、その結果得られる低解像度テクスチャ画像の符号化ストリーム（以下、低解像度テクスチャストリームという）と低解像度デプス画像の符号化ストリーム(以下、低解像度デプスストリームという)を記憶する。
また、コンテンツサーバ１２は、各カメラの撮影画像を用いて、全天球画像における視点を中心とした立方体を構成する６つの面に対応するテクスチャ画像とデプス画像を階層化して生成する。具体的には、コンテンツサーバ１２は、６つの面の第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像を生成する。なお、全天球画像における視点と立方体の中心は異なっていてもよい。
コンテンツサーバ１２は、各面の第１レイヤのテクスチャ画像とデプス画像からなる第１レイヤ画像と、各面の第２レイヤのテクスチャ画像とデプス画像からなる第２レイヤ画像を、面、画像の種類、およびレイヤごとに、AVCやHEVC等の符号化方式で圧縮符号化する。コンテンツサーバ１２は、その結果得られる各面の第１レイヤのテクスチャ画像の符号化ストリーム（以下、第１レイヤテクスチャストリームという）、第１レイヤのデプス画像の符号化ストリーム（以下、第１レイヤデプスストリームという）、第２レイヤのテクスチャ画像の符号化ストリーム（以下、第２レイヤテクスチャストリームという）、および第２レイヤのデプス画像の符号化ストリーム(以下、第２レイヤデプスストリームという)を記憶する。なお、第１レイヤ画像と第２レイヤ画像の符号化方式は、MVC（Multiview Video Coding）方式や3D-HEVC方式等であってもよい。
また、コンテンツサーバ１２は、第１レイヤおよび第２レイヤの各面に関する情報等をメタデータとして生成し、記憶する。コンテンツサーバ１２は、記憶している低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを、図示せぬネットワークを介してホームサーバ１３に伝送する。
なお、コンテンツサーバ１２は、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを再構成（詳細は後述する）することもできる。この場合、コンテンツサーバ１２は、再構成後の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームと、それらに対応するメタデータをホームサーバ１３に伝送することもできる。しかしながら、以下では、説明の便宜上、再構成が行われた場合であっても、再構成前の６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームが、コンテンツサーバ１２に伝送されるものとする。
ホームサーバ１３(画像処理装置)は、コンテンツサーバ１２から伝送されてくる、低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを受け取る。
また、ホームサーバ１３は、カメラ１３Ａを内蔵し、視聴者の頭部に装着されるヘッドマウントディスプレイ１５に付されたマーカ１５Ａを撮影する。そして、ホームサーバ１３は、マーカ１５Ａの撮影画像に基づいて視聴位置を検出する。さらに、ホームサーバ１３は、ヘッドマウントディスプレイ１５のジャイロセンサ１５Ｂの検出結果を、ヘッドマウントディスプレイ１５から変換装置１４を介して受け取る。ホームサーバ１３は、ジャイロセンサ１５Ｂの検出結果に基づいて視聴者の視線方向を決定し、視聴位置と視線方向に基づいて視聴者の視野範囲を決定する。
ホームサーバ１３は、第１レイヤの６つの面のうちの、視聴者の視線方向に対応する３つの面を選択する。そして、ホームサーバ１３は、選択された３つの面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを復号する。これにより、ホームサーバ１３は、選択された３つの面に対応する第１レイヤおよび第２レイヤのテクスチャ画像およびデプス画像を生成する。
また、ホームサーバ１３は、低解像度テクスチャストリームと低解像度デプスストリームを復号し、低解像度テクスチャ画像と低解像度デプス画像を生成する。ホームサーバ１３は、選択された３つの面に対応する第１レイヤおよび第２レイヤのテクスチャ画像およびデプス画像、並びに、低解像度テクスチャ画像と低解像度デプス画像を用いて、視聴者の視野範囲の画像を表示画像として生成する。ホームサーバ１３は、図示せぬHDMI（登録商標）（High-Definition Multimedia Interface）ケーブルを介して表示画像を変換装置１４に伝送する。
変換装置１４は、ホームサーバ１３から伝送されてくる表示画像における座標を、ヘッドマウントディスプレイ１５における座標に変換する。変換装置１４は、座標変換後の表示画像をヘッドマウントディスプレイ１５に供給する。
ヘッドマウントディスプレイ１５は、マーカ１５Ａとジャイロセンサ１５Ｂを有し、視聴者の頭部に装着される。ヘッドマウントディスプレイ１５は、変換装置１４から供給される表示画像を表示する。また、ヘッドマウントディスプレイ１５に内蔵されるジャイロセンサ１５Ｂは、ヘッドマウントディスプレイ１５の傾きを検出し、その検出結果を、変換装置１４を介してホームサーバ１３に伝送する。
（コンテンツサーバの構成例）
図２は、図１のコンテンツサーバ１２の構成例を示すブロック図である。
図２のコンテンツサーバ１２は、デプス検出部３１、量子化部３２、低解像度画像処理部３３、および高解像度画像処理部３４により構成される。
コンテンツサーバ１２のデプス検出部３１は、図１のマルチカメラ１１から供給される各カメラの撮影画像の画素ごとに、その画素における被写体を含む奥行き方向に垂直なデプス平面とカメラの間の奥行き方向の距離zの逆数1/zを検出する。デプス検出部３１は、その結果得られる各カメラの撮影画像の各画素の逆数1/zを量子化部３２に供給する。
量子化部３２は、デプス検出部３１から供給される各カメラの撮影画像の各画素の逆数1/zを、全天球画像において視点とされるマルチカメラ１１の３次元座標系(以下、カメラ座標系という)における所定の３次元位置を視点としたときの逆数1/rに変換する。そして、量子化部３２は、以下の式（１）により、逆数1/rに対して8ビット量子化を行う。
Figure 0006944135
なお、Ｉd（ｒ）は、距離ｒの逆数1/rの8ビット量子化後の値である。ｒmax，ｒminは、それぞれ、全カメラの撮影画像における距離ｒの最大値、最小値である。
量子化部３２は、各カメラの撮影画像の各画素の逆数1/rの8ビット量子化後の値を画素値とすることにより、各カメラのデプス画像を生成し、低解像度画像処理部３３と高解像度画像処理部３４に供給する。
低解像度画像処理部３３は、カメラ座標系における所定の３次元位置を視点として、マルチカメラ１１から供給される各カメラの撮影画像を、視点を中心とした正八面体にマッピング(透視投影)することにより、全天球画像のテクスチャ画像を生成する。また、低解像度画像処理部３３は、量子化部３２から供給される各カメラのデプス画像を、撮影画像と同様に正八面体にマッピングすることにより、全天球画像のデプス画像を生成する。
低解像度画像処理部３３は、全天球画像のテクスチャ画像とデプス画像を低解像度化し、低解像度テクスチャ画像と低解像度デプス画像を生成する。低解像度画像処理部３３は、低解像度テクスチャ画像と低解像度デプス画像を圧縮符号化し、その結果得られる低解像度テクスチャストリームと低解像度デプスストリームを記憶する。低解像度画像処理部３３は、記憶している低解像度テクスチャストリームと低解像度デプスストリームを、図１のホームサーバ１３に送信する。
高解像度画像処理部３４は、マルチカメラ１１から供給される各カメラの撮影画像を用いて、低解像度画像処理部３３における正八面体と中心が同一である立方体を構成する６つの面に対応する第１レイヤおよび第２レイヤのテクスチャ画像を生成する。高解像度画像処理部３４は、量子化部３２から供給される各カメラのデプス画像を用いて、撮影画像と同様に６つの面に対応する第１レイヤおよび第２レイヤのデプス画像を生成する。
高解像度画像処理部３４は、各面の第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像を、面、画像の種類、およびレイヤごとに圧縮符号化する。コンテンツサーバ１２は、その結果得られる第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを記憶する。
また、高解像度画像処理部３４は、メタデータを生成して記憶する。コンテンツサーバ１２は、記憶している６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを、図示せぬネットワークを介してホームサーバ１３に伝送する。
（高解像度画像処理部の構成例）
図３は、図２の高解像度画像処理部３４の構成例を示すブロック図である。
図３の高解像度画像処理部３４は、第１レイヤ生成部５２、エンコーダ５３、第２レイヤ生成部５４、エンコーダ５５、設定部５６、メタデータ生成部５７、ストレージ５８、再構成部５９、および伝送部６０により構成される。
第１レイヤ生成部５２には、設定部５６から、カメラ座標系における全天球画像の視点を原点とした３次元座標系（以下、３Ｄモデル座標系という）における、第１レイヤの視点の３次元位置として原点を示す視点位置情報が供給される。また、第１レイヤ生成部５２には、３Ｄモデル座標系における原点を中心とした立方体を構成する６つの面をそれぞれ含む６つの面それぞれの、３Ｄモデル座標系における３次元位置およびサイズを示す面情報が供給される。
第１レイヤ生成部５２は、視点位置情報が示す原点を第１レイヤの視点（第１の視点）に設定する。第１レイヤ生成部５２（画像生成部）は、カメラ座標系における全天球画像の視点を原点として、第１レイヤの視点から、図１のマルチカメラ１１から供給される撮影画像を、６つの各面情報が示す３次元位置およびサイズの面のそれぞれにマッピングする。これにより、第１レイヤ生成部５２は、第１レイヤの６つの面のテクスチャ画像を生成する。
また、第１レイヤ生成部５２（画像生成部）は、カメラ座標系における全天球画像の視点を原点として、第１レイヤの視点から、図２の量子化部３２から供給されるデプス画像を、６つの各面情報が示す３次元位置およびサイズの面のそれぞれにマッピングする。これにより、第１レイヤ生成部５２は、第１レイヤの６つの面のデプス画像を生成する。
第１レイヤの６つの面に対応する視点は同一であるため、第１レイヤの６つの面のテクスチャ画像は、第１レイヤの視点を中心とした３Ｄモデルにマッピングされた全天球画像を６つの面にマッピングすることにより得られた画像であるといえる。同様に、第１レイヤの６つの面のデプス画像は、第１レイヤの視点を中心とした３Ｄモデルにマッピングされた全天球画像のデプス画像を６つの面にマッピングすることにより得られた画像であるといえる。第１レイヤ生成部５２は、第１レイヤの６つの面のテクスチャ画像とデプス画像をエンコーダ５３に供給する。
エンコーダ５３は、第１レイヤ生成部５２から供給される第１レイヤの６つの面のテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化し、第１レイヤテクスチャストリームと第１レイヤデプスストリームを生成する。エンコーダ５３は、第１レイヤテクスチャストリームと第１レイヤデプスストリームをストレージ５８に供給する。
第２レイヤ生成部５４には、設定部５６から、第１レイヤの各面に対応する第２レイヤの各面の、第１レイヤの視点とは異なる視点（第２の視点）の視点位置情報と、第１レイヤの各面に対応する第２レイヤの各面の面情報とが供給される。第２レイヤ生成部５４は、第２レイヤの面ごとに、その面に対応する視点位置情報が示す３次元位置を第２レイヤの視点に設定する。
第２レイヤ生成部５４（画像生成部）は、第２レイヤの面ごとに、その面に対応する第２レイヤの視点から、マルチカメラ１１から供給される撮影画像のうちの第１レイヤの視点におけるオクルージョン領域を、第２レイヤの面にマッピングする。これにより、第２レイヤ生成部５４は、第２レイヤの６つの面のテクスチャ画像を生成する。
また、第２レイヤ生成部５４（画像生成部）は、第２レイヤの面ごとに、その面に対応する第２レイヤの視点から、量子化部３２から供給されるデプス画像のうちの第１レイヤの視点におけるオクルージョン領域を、第２レイヤの面にマッピングする。これにより、第２レイヤ生成部５４は、第２レイヤの６つの面のデプス画像を生成する。
即ち、マルチカメラ１１の各カメラの位置は異なっているため、カメラ座標系における１つの３次元位置を視点としたとき、撮影画像には、その視点におけるオクルージョン領域が含まれている。しかしながら、第１レイヤのテクスチャ画像は、１つの視点の全天球画像をマッピングすることにより生成されるため、第１レイヤのテクスチャ画像には、その視点におけるオクルージョン領域の撮影画像は含まれない。よって、第２レイヤ生成部５４は、そのオクルージョン領域の撮影画像を第２レイヤのテクスチャ画像として含める。デプス画像についても同様である。
エンコーダ５５は、第２レイヤ生成部５４から供給される６つの面の第２レイヤのテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化し、第２レイヤテクスチャストリームと第２レイヤデプスストリームを生成する。エンコーダ５５は、第２レイヤテクスチャストリームと第２レイヤデプスストリームをストレージ５８に供給する。
設定部５６は、３Ｄモデル座標系における原点を第１レイヤの視点として設定する。設定部５６は、第１レイヤの視点を中心とした立方体を構成する６つの矩形の面をそれぞれ含む６つの面を第１レイヤの面として設定する。また、設定部５６は、第１レイヤの面ごとに第２レイヤの視点と矩形の面を設定する。
設定部５６は、第１レイヤの１つの視点位置情報と６つの面情報を第１レイヤ生成部５２とメタデータ生成部５７に供給する。また、設定部５６は、第１レイヤの６つの面に対応する第２レイヤの６つの視点位置情報と６つの面情報を、第２レイヤ生成部５４とメタデータ生成部５７に供給する。
メタデータ生成部５７は、設定部５６から供給される第１レイヤの視点位置情報および面情報、並びに、第２レイヤの視点位置情報および面情報を含むテーブルをメタデータとして生成し、ストレージ５８に供給する。
ストレージ５８は、エンコーダ５３から供給される第１レイヤテクスチャストリームおよび第１レイヤデプスストリーム、並びに、エンコーダ５５から供給される第２レイヤテクスチャストリームおよび第２レイヤデプスストリームを記憶する。また、ストレージ５８は、メタデータ生成部５７から供給されるメタデータを記憶する。
また、ストレージ５８は、再構成部５９から供給される再構成後の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びに、メタデータを記憶する。
再構成部５９は、必要に応じて、ストレージ５８に記憶されている６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを読み出し、再構成する。
具体的には、再構成部５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面の数や画角を変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面の数や画角を変更する。例えば、再構成部５９は、第１レイヤの面を、立方体を構成する６つの面をそれぞれ含む６つの面から、その６つの面に各面の中心を通る法線が立方体の１２本の各辺の中点と視点を通る線である１２個の面を加えた１８個の面に変更する。
または、再構成部５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面どうしの間隔（密度）を変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面どうしの間隔を変更する。例えば、再構成部５９は、第１レイヤの面を、中心を通る法線の間隔が９０度である、立方体を構成する６つの面をそれぞれ含む６つの面から、中心を通る法線の間隔が４５度である１８個の面に変更する。
第１レイヤの面どうしの間隔が狭くなると、面数が増加するため、総データ容量は増加するが、ホームサーバ１３において、より視聴者の視野範囲に近い第１レイヤの面に対応するテクスチャ画像およびデプス画像を用いて表示画像を生成することができる。その結果、表示画像内の、第１レイヤまたは第２レイヤのテクスチャ画像およびデプス画像を用いて生成される高解像度領域が増加し、表示画像の画質が向上する。
なお、再構成部５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面の位置を変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面の位置を変更することにより、再構成を行ってもよい。この場合、再構成部５９は、例えば、主要な被写体が第１レイヤの面の境界に存在するとき、主要な被写体が第１レイヤの面の境界以外の位置（例えば中央）に存在するように、第１レイヤの６つの面に対応する立方体を回転することにより、再構成を行う。
また、再構成部５９は、再構成前の第１レイヤテクスチャストリームを用いて第１レイヤテクスチャストリームに対応する面の傾きを変更し、再構成前の第１レイヤデプスストリームを用いて第１レイヤデプスストリームに対応する面の傾きを変更することにより、再構成を行ってもよい。この場合、再構成部５９は、例えば、第１レイヤのテクスチャ画像内の主要な被写体が傾いているとき、傾きがなくなるように、第１レイヤの６つの面に対応する立方体を回転することにより、再構成を行う。
再構成部５９は、以上のようにして変更された第１レイヤの各面に対して、再構成後の第２レイヤの視点と面を設定する。そして、再構成部５９は、再構成前の第２レイヤテクスチャストリームを用いて、第２レイヤテクスチャストリームに対応する視点および面を、設定された再構成後の第２レイヤの視点および面に変更する。また、再構成部５９は、再構成前の第２レイヤデプスストリームを用いて、第２レイヤデプスストリームに対応する視点および面を、設定された再構成後の第２レイヤの視点および面に変更する。
再構成部５９は、再構成後の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームをストレージ５８に供給する。また、再構成部５９は、再構成後の第１レイヤの視点位置情報および面情報、並びに、第２レイヤの視点位置情報および面情報を含むテーブルをメタデータとして生成し、ストレージ５８に供給する。
伝送部６０は、ストレージ５８から６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを読み出し、図１のホームサーバ１３に送信する。
以上のように、図３の高解像度画像処理部３４は、第１レイヤ画像と第２レイヤ画像を透視投影により生成する。従って、ホームサーバ１３は、第１レイヤ画像と第２レイヤ画像に対して通常の画像用の処理を行うことができる。また、高解像度画像処理部３４は、第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、通常の画像の符号化ストリームの送信方法で送信することができる。
（デプス画像の効果の説明）
図４は、距離ｚと距離ｒを説明する図であり、図５は、距離ｚの最小値zminと距離ｒの最小値rminを説明する図である。
なお、図４および図５は、第１レイヤに対応する立方体の所定の面を上から見た図である。
距離ｚは、視点から各画素における被写体を含む奥行き方向に垂直なデプス平面までの奥行き方向の距離である。また、第１レイヤの各面の奥行き方向は、第１レイヤの各面に垂直な方向である。従って、第１レイヤの各面とデプス平面は平行になる。よって、第１レイヤの各面における距離ｚが同一であるデプス平面である等距離ｚ面の形状は、第１レイヤの視点Ｏを中心とした立方体状になる。従って、等距離ｚ面を第１レイヤに対応する立方体の所定の面の上から見た形状は、図４のＡの点線で示すように正方形となる。
よって、第１レイヤの各面の画角が変更される場合、図５のＡに示すように、全ての面における距離ｚの最小値zminが変化する。例えば、図５のＡに示すように、第１レイヤの各面の横方向（図５中上下方向）の画角が９０度から１２０度に変更される場合、変更後の各面のテクスチャ画像には、変更前の各面と横方向に隣接する、その面とは奥行き方向が異なる２つの面のテクスチャ画像が含まれる。従って、第１レイヤの各面の横方向の画角が１２０度である場合の最小値zminは、画角に含まれる、横方向に隣接する２つの面に対応する、第１レイヤの各面の横方向の画角が９０度である場合の最小値zminの等距離ｚ面６１の位置を含むデプス平面と視点Ｏとの奥行き方向の距離ｚの最小値になる。距離ｚの最大値zmaxについても、最小値zminと同様である。
また、図６に示すように、第１レイヤに対応する立方体８０が視点Ｏを通る線を軸として回転され、第１レイヤの各面の位置が変更される場合、変更前の面の奥行き方向ｐと変更後の面の奥行き方向ｑは異なる。従って、距離ｚの最小値zminと最大値zmaxは変化する。なお、図６において、点線は、変更前の面の等距離ｚ面を示し、一点鎖線は、変更後の面の等距離ｚ面を示している。
また、図示は省略するが、第１レイヤの面の数や間隔が変更される場合も、第１レイヤの各面の位置が変更される場合と同様に奥行き方向が変化するため、最小値zminと最大値zmaxは変化する。
以上のように、第１レイヤの面の画角、位置、数、または間隔が変更される場合、距離ｚの最小値zminと最大値zmaxは変化する。従って、第１レイヤのデプス画像の各画素のy値（輝度値）として、距離ｚの逆数1/zが用いられると、再構成部５９による再構成時にデプス画像の8ビット量子化をやり直す必要がある。
これに対して、距離ｒは、視点から各画素における被写体までの直線の距離である。また、第１レイヤの各面の視点Ｏから被写体までの直線の方向は、面によらず、視点Ｏを中心とした円の半径方向である。従って、第１レイヤの各面における距離ｒが同一である等距離ｒ面の形状は、第１レイヤの視点Ｏを中心とした球状になる。よって、等距離ｒ面を第１レイヤに対応する立方体の所定の面の上から見た形状は、図４のＢの点線で示すように円状になる。
以上のように、第１レイヤの各面の視点Ｏから被写体までの直線の方向は、面によらず同一であるため、第１レイヤの各面の画角が変更される場合であっても、図５のＢに示すように、全ての面における距離ｒの最小値rminは変更されない。
例えば、変更前の各面と横方向（図５中上下方向）に隣接する２つの面における第１レイヤの各面の視点Ｏから被写体までの直線の方向は同一である。従って、図５のＢに示すように、第１レイヤの各面の横方向の画角が９０度から１２０度に変更され、変更後の各面のテクスチャ画像に、変更前の各面と横方向に隣接する２つの面のテクスチャ画像が含まれる場合であっても、最小値rminは変化しない。距離ｒの最大値rmaxについても、最小値rminと同様である。
また、図示は省略するが、第１レイヤの面の位置、数、または間隔が変更される場合も、第１レイヤの各面の画角が変更される場合と同様に第１レイヤの各面の視点Ｏから被写体までの直線の方向は変化しないため、最小値rminと最大値rmaxは変化しない。
従って、図２の量子化部３２は、第１レイヤのデプス画像の各画素のy値として、逆数1/zではなく、逆数1/rの量子化値を用いることにより、再構成部５９による再構成時にデプス画像の8ビット量子化をやり直す処理を削減することができる。
なお、上述した説明では、低解像度テクスチャストリームと低解像度デプスストリームは再構成されないようにしたが、再構成されるようにしてもよい。この場合も、低解像度デプス画像の各画素のy値は逆数1/rの量子化値であるので、第１レイヤのデプス画像の再構成時と同様に、再構成時に低解像度デプス画像の8ビット量子化をやり直す処理を削減することができる。
（第１レイヤの６つの面のデプス画像の各画素の球上の位置の例）
図７は、第１レイヤの６つの面のデプス画像を球にマッピングした際の各画素の球上の位置の例を示す図である。
なお、図７では、第１レイヤの６つの面のデプス画像を球にマッピングした際の各画素の球上の位置が点で表されている。
第１レイヤの各面のデプス画像の各画素のデプス画像上の位置の間隔は等間隔である。しかしながら、図７に示すように、第１レイヤの６つの面のデプス画像を球にマッピングした際の各画素の球上の位置の間隔は等間隔ではない。即ち、第１レイヤの６つの面のデプス画像を球にマッピングした際の各画素の球上の位置の密度は、一定ではない。
（第１レイヤの面の例）
図８は、第１レイヤの面の例を示す図である。
なお、以下では、第１レイヤの視点Ｏと、第１レイヤに対応する立方体８０を構成する６つの面８１乃至８６の中心を通る６つの軸のうちの、互いに直交する３つの軸を、X軸、Y軸、Z軸という。また、視点Ｏと６つの面８１乃至８６のそれぞれとの距離をＲとしたときのＸ＝Ｒである面８１を、適宜、＋Ｘ面８１ともいい、Ｘ＝−Ｒである面８２を、適宜、−Ｘ面８２ともいう。同様に、Ｙ＝Ｒである面８３、Ｙ＝−ｒである面８４、Ｚ＝Ｒである面８５、Ｚ＝−Ｒである面８６を、適宜、＋Ｙ面８３、−Ｙ面８４、＋Ｚ面８５、−Ｚ面８６ともいう。
また、図８のＡは、第１レイヤの立方体８０の斜視図であり、図８のＢは、第１レイヤの立方体８０をＹ軸の負方向に見た図である。
図８のＡに示すように、第１レイヤの１つの面９１は、視点Ｏを中心とした立方体８０を構成する６つの面８１乃至８６のうちの＋Ｙ面８３を含む面である。より詳細には、面９１は、＋Ｙ面８３と同一の位置に設定され、横方向と縦方向の画角が、＋Ｙ面８３の画角である９０度より大きく、１８０度より小さい面である。
従って、図８のＢに示すように、面９１のテクスチャ画像は、＋Ｙ面８３にマッピングされたテクスチャ画像だけでなく、＋Ｙ面８３に隣接する＋Ｘ面８１、−Ｘ面８２、＋Ｚ面８５、および−Ｚ面８６にマッピングされるテクスチャ画像の一部を含む。面９１のデプス画像についても、テクスチャ画像と同様である。
図８では、第１レイヤの１つの面９１のみ図示したが、他の５つの面も、面９１と同様に、それぞれ、＋Ｘ面８１、−Ｘ面８２、−Ｙ面８４、＋Ｚ面８５、−Ｚ面８６と同一の位置に設定され、横方向と縦方向の画角が９０度より大きく１８０度より小さい面である。
以上のように、第１レイヤの６つの面のそれぞれは、立方体を構成する６つの面８１乃至８６のそれぞれを含むように構成されるので、第１レイヤの６つの面のいずれかに必ず、全天球画像がマッピングされる。従って、ホームサーバ１３は、第１レイヤの６つの面のうちの多くとも隣接する３つの面を用いれば、視点Ｏを視聴位置とした水平方向の周囲360度および垂直方向の周囲180度の任意の方向の表示画像を生成することができる。
（第１レイヤの視点位置情報および面情報のテーブルの構成例）
図９は、図３のメタデータ生成部５７により生成されるメタデータのうちの、第１レイヤの視点位置情報および面情報のテーブルの構成例を示す図である。
図９の例では、面情報のうちの、面の３Ｄモデル座標系における３次元位置を示す情報が、方位角、仰角、回転角、および視線ベクトルであり、サイズを示す情報が横画角と縦画角である。
方位角は、視点と各面の中心を結ぶ線とＺ軸とのなすＸＺ平面方向の角度であり、仰角は、視点と各面の中心を結ぶ線とＸＺ平面とのなす角度である。ここでは、方位角は、右回りを正方向とし、仰角は、左回りを正方向とする。視点から延びるＺ軸方向の線を方位角だけＸＺ平面上を水平回転した後、仰角だけＹ軸方向に上下回転した線が、面の中心を通る法線である。
回転角は、視点と各面の中心を結ぶ線を軸としたときの各面の回転方向の角度である。ここでは、回転角は右回りが正方向とする。視線ベクトルは、視点を起点として各面の中心へ向かう長さが１であるベクトル、即ち各面の中心を通る法線ベクトルである。横画角は、各面の横方向の２つの端部それぞれと視点とを結んだ線のなす角度であり、縦画角は、各面の縦方向の２つの端部それぞれと視点とを結んだ線のなす角度である。
図９に示すように、第１レイヤの視点位置情報および面情報のテーブルには、図３のストレージ５８において各面の第１レイヤテクスチャストリームおよび第１レイヤデプスストリームが格納されるファイルのファイル名の共通部分が登録される。
具体的には、図９の例では、＋Ｚ面８５、−Ｚ面８６、＋Ｘ面８１、−Ｘ面８２、＋Ｙ面８３、−Ｙ面８４をそれぞれ含む各面の第１レイヤテクスチャストリームのファイル名が、posZ_texture,negZ_texture,posX_texture,negX_texture,posY_texture,negY_textureである。また、＋Ｚ面８５、−Ｚ面８６、＋Ｘ面８１、−Ｘ面８２、＋Ｙ面８３、−Ｙ面８４をそれぞれ含む各面の第１デプスストリームのファイル名が、それぞれ、posZ_depth,negZ_depth,posX_depth,negX_depth,posY_depth,negY_depthである。従って、図９のテーブルには、第１レイヤの各面のファイル名の共通部分として、posZ,negZ,posX,negX,posY,negYが登録される。
また、第１レイヤの視点位置情報および面情報のテーブルには、ファイル名の共通部分に対応付けて、そのファイル名の共通部分に対応する面の面情報、視点位置情報、テクスチャ画像およびデプス画像の横画素数および縦画素数が登録される。
具体的には、＋Ｚ面８５、−Ｚ面８６、＋Ｘ面８１、−Ｘ面８２、＋Ｙ面８３、−Ｙ面８４をそれぞれ含む第１レイヤの各面の中心と視点Ｏを結ぶ線と、Ｚ軸とのなすＸＺ平面方向の角度は、それぞれ、０度、−１８０度、９０度、−９０度、０度、０度であり、ＸＺ平面とのなす角度は、それぞれ、０度、０度、０度、０度、９０度、−９０度である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、方位角「０度」、「−１８０度」、「９０度」、「−９０度」、「０度」、「０度」が登録されるとともに、仰角「０度」、「０度」、「０度」、「０度」、「９０度」、「−９０度」が登録される。
また、図９の例では、第１レイヤの全ての面の回転角は０度である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、回転角「０度」が登録される。さらに、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、視点位置情報として原点の座標(0,0,0)が登録される。
また、視点Ｏから、＋Ｚ面８５、−Ｚ面８６、＋Ｘ面８１、−Ｘ面８２、＋Ｙ面８３、−Ｙ面８４をそれぞれ含む第１レイヤの各面の視線ベクトルは、(0,0,1),(0,0,-1),(1,0,0)(-1,0,0),(0,1,0),(0,-1,0)である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、視線ベクトル(0,0,1),(0,0,-1),(1,0,0)(-1,0,0),(0,1,0),(0,-1,0)が登録される。
さらに、図９の例では、第１レイヤの全ての面の横画角および縦画角は９０度より大きい１００度であり、テクスチャ画像およびデプス画像の横方向の画素数である横画素数および縦方向の画素数である縦画素数は１０２４である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、横画角「１００度」、縦画角「１００度」、横画素数「１０２４」、および縦画素数「１０２４」が登録される。
（階層化の説明）
図１０は、第１レイヤの所定の面に対応する被写体の奥行き方向の位置を示す図であり、図１１は、第１レイヤおよび第２レイヤの視点が同一である場合の図１０の被写体の第１レイヤおよび第２レイヤのテクスチャ画像の構成例を示す図である。
なお、図１０は、第１レイヤの視点Ｏと被写体を上から見た図であり、図１０の上下方向は、この被写体を画角に含む第１レイヤの所定の面の奥行き方向である。また、図１１において、左右方向および上下方向は、それぞれ、テクスチャ画像の横方向、奥行き方向を表す。図１０および図１１の下方向が手前側、上方向が奥側である。
図１０および図１１の例では、第１レイヤの所定の面の画角内に含まれる被写体が、中央の前景１１１と、前景の奥にある背景１１２である。この場合、図１１に示すように、第１レイヤの所定の面のテクスチャ画像は、前景１１１の撮影画像１２１と、背景１１２のうちの前景１１１によって隠されない領域１１２Ａの撮影画像１２２Ａとにより構成される。
一方、この第１レイヤの所定の面に対応する第２レイヤの面のテクスチャ画像は、図１１に示すように、背景１１２のうちの前景１１１によって遮蔽されたオクルージョン領域１１２Ｂのうちの、マルチカメラ１１により撮影された撮影済みオクルージョン領域１１２Ｃの撮影画像１２２Ｃを有効領域として含む。
第２レイヤの面のテクスチャ画像のうちの有効領域以外の領域には何を配置してもよいが、無効値などの特殊値が配置されると、圧縮符号化により特殊値の値が変化し、ホームサーバ１３において復号による特殊値の復元が困難になる。
従って、第２レイヤの面のテクスチャ画像の有効領域以外の領域は、領域１１２Ａに対応する不要領域（背景領域）と、オクルージョン領域１１２Ｂのうちの撮影済みオクルージョン領域１１２Ｃ以外の領域に対応する想像領域とに分割される。
そして、オクルージョン領域が存在しない領域１１２Ａに対応する不要領域には、第１レイヤと同様に撮影画像１２２Ａが配置されるか、または、エッジ部分が急峻ではない平坦な画像が配置される。不要領域に撮影画像１２２Ａが配置される場合、不要領域における第１レイヤと第２レイヤのテクスチャ画像が同一になるので、第１レイヤのテクスチャ画像を第２レイヤのテクスチャ画像を参照してMVC方式や3D-HEVC方式等で圧縮符号化する場合、圧縮率を向上させることができる。また、不要領域に平坦な画像が配置される場合、エッジ部分が急峻な画像が配置される場合に比べて、第２レイヤ画像の圧縮率を向上させることができる。なお、不要領域の一部に撮影画像１２２Ａが配置され、他部に平坦な画像が配置されるようにしてもよい。
また、想像領域は、オクルージョン領域が存在するが、マルチカメラ１１により撮影されていない、オクルージョン領域１１２Ｂのうちの撮影済みオクルージョン領域１１２Ｃ以外の領域に対応する領域である。従って、想像領域には、撮影済みオクルージョン領域１１２Ｃの撮影画像１２２Ｃを用いて推測（インペインティング）されたインペインティング画像が配置されるか、または、第１レイヤと同様に撮影画像１２１が配置される。
なお、インペインティングには、過去の撮影画像が用いられてもよい。コンテンツサーバ１２がインペインティングを行うことにより、ホームサーバ１３は、想像領域を有効領域と同等に扱うことができる。また、コンテンツサーバ１２がインペインティングを再生前に行うことにより、多くの時間を要する処理負荷の高いインペインティングも行うことができる。
また、想像領域に撮影画像１２１が配置される場合、想像領域が点在したり、インペインティングが困難であったりするときにも、想像領域を容易に生成することが可能である。想像領域の一部にインペインティング画像が配置され、他部に撮影画像１２１が配置されるようにしてもよい。
なお、第１レイヤおよび第２レイヤのデプス画像の構成は、撮影画像がデプス画像に代わる点を除いて、第１レイヤおよび第２レイヤのテクスチャ画像の構成と同様であるので、説明は省略する。また、以下では、第２レイヤの不要領域と想像領域に、第１レイヤと同様の撮影画像またはデプス画像が配置される場合について説明する。
（第１レイヤと第２レイヤの視点の説明）
図１２は、第１レイヤと第２レイヤの視点が同一である場合の第１レイヤの所定の面に対応する第１レイヤと第２レイヤのテクスチャ画像を説明する図である。図１３は、第１レイヤと第２レイヤの視点が異なる場合の第１レイヤの所定の面に対応する第１レイヤと第２レイヤのテクスチャ画像を説明する図である。
図１２のＡと図１３のＡは、第１レイヤの視点Ｏと被写体を上から見た図であり、図１２のＡと図１３のＡの上下方向は、この被写体を画角に含む第１レイヤの所定の面の奥行き方向である。
図１２のＡに示すように、第２レイヤの視点が第１レイヤの視点Ｏである場合、第１レイヤの所定の面１３１の画角内の視点Ｏに延びる棒状の被写体１４１は、第１レイヤのテクスチャ画像１５１および第２レイヤのテクスチャ画像１５２の両方において点になる。
即ち、第１レイヤと第２レイヤにおいて視点Ｏから面１３１に向かう方向が同一になるため、第１レイヤのテクスチャ画像１５１と第２レイヤのテクスチャ画像１５２の両方において、被写体１４１が１点に縮退してしまう。従って、テクスチャ画像１５１とテクスチャ画像１５２では、被写体１４１の視点Ｏに延びる方向の長さを表現することができない。
これに対して、第２レイヤの視点が第１レイヤの視点Ｏとは異なる視点Ｏ´である場合、第１レイヤの面１３１と第２レイヤの面１６１の画角に含まれる被写体１４１は、第２レイヤのテクスチャ画像１７２において直線になる。
即ち、第１レイヤの視点Ｏから面１３１に向かう方向と第２レイヤの視点Ｏ´から面１６１に向かう方向は異なる。従って、第１レイヤのテクスチャ画像１５１において被写体１４１が１点に縮退してしまっても、第２レイヤのテクスチャ画像１７２においては被写体１４１が１点に縮退しない。よって、テクスチャ画像１７２では、被写体１４１の視点Ｏに延びる方向の長さを表現することができる。
以上により、コンテンツサーバ１２では、第１レイヤと第２レイヤの視点が異なるように設定される。
（第２レイヤの視点の第１の例）
図１４は、第２レイヤの視点の第１の例を示す図である。
図１４のＡは、第１レイヤの立方体８０の斜視図であり、図１４のＢは、立方体８０をＹ軸の負方向に見た図である。このことは、図１６においても同様である。
図１４の例では、第１レイヤの+Ｘ面８１を含む面に対応する第２レイヤの面の視点１９１が、第１レイヤの視点ＯからＹ軸の正方向に、立方体８０の各辺の半分の長さａだけ移動した位置に設定される。図１４において視点１９１に付された矢印が示すように、第１レイヤの＋Ｘ面８１を含む面に対応する第２レイヤの面の視線ベクトルは、第１レイヤと同様に、（1,0,0）である。
第１レイヤの−Ｘ面８２を含む面に対応する第２レイヤの面の視点１９２は、視点ＯからＹ軸の負方向に長さａだけ移動した位置に設定される。図１４において視点１９２に付された矢印が示すように、第１レイヤの−Ｘ面８２を含む面に対応する第２レイヤの面の視線ベクトルは、第１レイヤと同様に、（-1,0,0）である。
また、第１レイヤの＋Ｙ面８３を含む面９１に対応する第２レイヤの面の視点１９３と−Ｙ面８４を含む面に対応する第２レイヤの面の視点１９４は、それぞれ、視点ＯからＺ軸の正方向、負方向に長さａだけ移動した位置に設定される。図１４において視点１９３および視点１９４に付された矢印が示すように、第１レイヤの面９１に対応する第２レイヤの面の視線ベクトルと−Ｙ面８４を含む面に対応する第２レイヤの面の視線ベクトルは、それぞれ、第１レイヤと同様に、（0,1,0）,（0,-1,0）である。
また、第１レイヤの＋Ｚ面８５を含む面に対応する第２レイヤの面の視点１９５と−Ｚ面８６を含む面に対応する第２レイヤの面の視点１９６は、それぞれ、第１レイヤの視点ＯからＸ軸の正方向、負方向に長さａだけ移動した位置に設定される。図１４において視点１９５および視点１９６に付された矢印が示すように、第１レイヤの＋Ｚ面８５を含む面に対応する第２レイヤの面の視線ベクトルと−Ｚ面８６を含む面に対応する第２レイヤの面の視線ベクトルは、それぞれ、第１レイヤと同様に、（0,0,1）,（0,0,-1）である。
以上のように、図１４の例では、第２レイヤの各面の視点１９１乃至１９６は、第１レイヤの視点Ｏから視線ベクトルに垂直な１方向に長さａだけ移動した位置に設定される。また、第２レイヤの各面の視線ベクトルは、対応する第１レイヤの面の視線ベクトルと同一である。さらに、第２レイヤの各面の視点１９１乃至１９６の視点Ｏに対するずれ方向は、面ごとに異なる。
なお、第２レイヤの各面の視点１９１乃至１９６と視点Ｏとの、Ｘ軸方向、Ｙ軸方向、またはＺ軸方向の距離は、立方体８０の各辺の半分の長さａに限定されない。
（第２レイヤの視点位置情報および面情報のテーブルの第１の構成例）
図１５は、第２レイヤの各面の視点として図１４の視点１９１乃至１９６が設定される場合に、図３のメタデータ生成部５７により生成されるメタデータのうちの、第２レイヤの視点位置情報および面情報のテーブルの構成例を示す図である。
図１５のテーブルは、ファイル名の共通部分と視点位置情報を除いて、図９のテーブルと同一である。
具体的には、図１５の例では、＋Ｚ面８５、−Ｚ面８６、＋Ｘ面８１、−Ｘ面８２、＋Ｙ面８３、−Ｙ面８４をそれぞれ含む第１レイヤの各面に対応する第２レイヤの各面のテクスチャ画像のファイル名が、それぞれ、posZ2_texture,negZ2_texture,posX2_texture,negX2_texture,posY2_texture,negY2_textureである。また、＋Ｚ面８５、−Ｚ面８６、＋Ｘ面８１、−Ｘ面８２、＋Ｙ面８３、−Ｙ面８４をそれぞれ含む第１レイヤの各面に対応する第２レイヤの各面のデプス画像のファイル名が、それぞれ、posZ2_depth,negZ2_depth,posX2_depth,negX2_depth,posY2_depth,negY2_depthである。従って、図１５のテーブルには、第２レイヤの各面のファイル名の共通部分として、posZ2,negZ2,posX2,negX2,posY2,negY2が登録される。
また、ファイル名の共通部分「posZ2」,「negZ2」,「posX2」,「negX2」,「posY2」,「negY2」のそれぞれに対応付けて、視点Ｏを原点としたときの視点１９１乃至１９６の座標(a,0,0),(-a,0,0),(0,a,0)(0,-a,0),(0,0,a),(0,0,-a)が登録される。
（第２レイヤの視点の第２の例）
図１６は、第２レイヤの視点の第２の例を示す図である。
図１６の例では、第１レイヤの＋Ｘ面８１を含む面に対応する第２レイヤの面の視点２１１と−Ｘ面８２を含む面に対応する第２レイヤの面の視点２１２は、それぞれ、第１レイヤの視点Ｏから、Ｙ軸の正方向とＺ軸の負方向、Ｙ軸の負方向とＺ軸の正方向に長さａだけ移動した位置に設定される。図１６において視点２１１および視点２１２に付された矢印が示すように、第１レイヤの＋Ｘ面８１を含む面に対応する第２レイヤの面の視線ベクトルと第１レイヤの−Ｘ面８２を含む面に対応する第２レイヤの面の視線ベクトルは、それぞれ、第１レイヤと同様に、（1,0,0）,（-1,0,0）である。
また、第１レイヤの＋Ｙ面８３を含む面９１に対応する第２レイヤの面の視点２１３と−Ｙ面８４を含む面に対応する第２レイヤの面の視点２１４は、それぞれ、視点Ｏから、Ｘ軸の負方向とＺ軸の正方向、Ｘ軸の正方向とＺ軸の負方向に長さａだけ移動した位置に設定される。図１６において視点２１３および視点２１４に付された矢印が示すように、第１レイヤの面９１に対応する第２レイヤの面の視線ベクトルと−Ｙ面８４を含む面に対応する第２レイヤの面の視線ベクトルは、それぞれ、第１レイヤと同様に、（0,1,0）,（0,-1,0）である。
また、第１レイヤの＋Ｚ面８５を含む面に対応する第２レイヤの面の視点２１５と−Ｚ面８６を含む面に対応する第２レイヤの面の視点２１６は、それぞれ、視点Ｏから、Ｘ軸の正方向とＹ軸の負方向、Ｘ軸の負方向とＹ軸の正方向に長さａだけ移動した位置に設定される。図１６において視点２１５および視点２１６に付された矢印が示すように、第１レイヤの＋Ｚ面８５を含む面に対応する第２レイヤの面の視線ベクトルと−Ｚ面８６を含む面に対応する第２レイヤの面の視線ベクトルは、それぞれ、第１レイヤと同様に、（0,0,1）,（0,0,-1）である。
以上のように、図１６の例では、第２レイヤの各面の視点２１１乃至２１６は、第１レイヤの視点Ｏから視線ベクトルに垂直な２方向に長さａだけ移動した位置に設定される。また、第２レイヤの各面の視線ベクトルは、対応する第１レイヤの面の視線ベクトルと同一である。さらに、第２レイヤの各面の視点２１１乃至２１６の視点Ｏに対するずれ方向は、面ごとに異なる。また、視点２１１乃至２１６は、視点Ｏに対して対称である。
なお、第２レイヤの各面の視点１９１乃至１９６と視点Ｏとの、Ｘ軸方向、Ｙ軸方向、およびＺ軸方向のうちの２方向の距離は、立方体８０の各辺の半分の長さａに限定されない。
（第２レイヤの視点位置情報および面情報のテーブルの第２の構成例）
図１７は、第２レイヤの各面の視点として図１６の視点２１１乃至２１６が設定される場合に、図３のメタデータ生成部５７により生成されるメタデータのうちの、第２レイヤの視点位置情報および面情報のテーブルの構成例を示す図である。
図１７のテーブルは、視点位置情報を除いて、図１５のテーブルと同一である。
具体的には、図１７のテーブルには、ファイル名の共通部分「posZ2」,「negZ2」,「posX2」,「negX2」,「posY2」,「negY2」のそれぞれに対応付けて、視点Ｏを原点としたときの視点２１１乃至２１６の座標(a,-a,0),(-a,a,0),(0,a,-a),(0,-a,a),(-a,0,a),(a,0,-a)が登録される。
（コンテンツサーバの処理の説明）
図１８は、図２のコンテンツサーバ１２のストリーム生成処理を説明するフローチャートである。このストリーム生成処理は、図１のマルチカメラ１１から各カメラの撮影画像がフレーム単位で供給されたとき、開始される。
図１８のステップＳ１０において、コンテンツサーバ１２のデプス検出部３１は、マルチカメラ１１から供給される各カメラの撮影画像から、各カメラの撮影画像の各画素の逆数1/zを検出し、量子化部３２に供給する。
ステップＳ１１において、量子化部３２は、各カメラの撮影画像の各画素の逆数1/zを、全天球画像において視点とされるカメラ座標系における所定の３次元位置を視点としたときの逆数1/rに変換し、その逆数1/rに対して8ビット量子化を行う。量子化部３２は、各カメラの撮影画像の各画素の逆数1/rの8ビット量子化後の値を画素値とすることにより、各カメラのデプス画像を生成し、低解像度画像処理部３３と高解像度画像処理部３４に供給する。
ステップＳ１２において、低解像度画像処理部３３は、カメラ座標系における所定の３次元位置を視点として、マルチカメラ１１から供給される各カメラの撮影画像から全天球画像のテクスチャ画像を生成し、低解像度化する。
ステップＳ１３において、低解像度画像処理部３３は、量子化部３２から供給される各カメラのデプス画像から、全天球画像のテクスチャ画像と同様に全天球画像のデプス画像を生成し、低解像度化する。
ステップＳ１４において、低解像度画像処理部３３は、ステップＳ１２の処理により生成された低解像度テクスチャ画像とステップＳ１３の処理により生成された低解像度デプス画像とを圧縮符号化して記憶する。
ステップＳ１５において、低解像度画像処理部３３は、記憶している低解像度テクスチャストリームと低解像度デプスストリームを、図１のホームサーバ１３に送信する。
ステップＳ１６において、高解像度画像処理部３４の設定部５６（図３）は、３Ｄモデル座標系における原点を第１レイヤに共通の１つの視点として設定し、第１レイヤの視点を中心とした立方体を構成する６つの面をそれぞれ含む６つの面を第１レイヤの面として設定する。また、設定部５６は、第１レイヤの各面に対応する第２レイヤの６つの視点と６つの面を設定する。設定部５６は、第１レイヤの１つの視点位置情報と６つの面の面情報を第１レイヤ生成部５２とメタデータ生成部５７に供給する。また、設定部５６は、第２レイヤの６つの視点位置情報と６つの面情報を第２レイヤ生成部５４とメタデータ生成部５７に供給する。
ステップＳ１７において、第１レイヤ生成部５２は、カメラ座標系における全天球画像の視点を原点とし、第１レイヤの視点位置情報が示す原点を視点として、各カメラの撮影画像から、第１レイヤの各面情報に対応する各面のテクスチャ画像を生成する。また、第１レイヤ生成部５２は、テクスチャ画像と同様に、各カメラのデプス画像から、第１レイヤの各面情報に対応する各面のデプス画像を生成する。
ステップＳ１８において、第２レイヤ生成部５４は、第２レイヤの面情報に対応する面ごとに、カメラ座標系における全天球画像の視点を原点とし、第２レイヤの視点位置情報が示す３次元位置を視点として、各カメラの撮影画像からテクスチャ画像を生成する。また、第２レイヤ生成部５４は、第２レイヤの面情報に対応する面ごとに、テクスチャ画像と同様に、各カメラのデプス画像から第２レイヤのデプス画像を生成する。
ステップＳ１９において、エンコーダ５３は、第１レイヤ生成部５２から供給される第１レイヤの各面のテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化してストレージ５８に供給し、記憶させる。
ステップＳ２０において、エンコーダ５５は、第２レイヤ生成部５４から供給される第２レイヤの各面のテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化してストレージ５８に供給し、記憶させる。
ステップＳ２１において、メタデータ生成部５７は、設定部５６から供給される第１レイヤの視点位置情報および面情報、並びに、第２レイヤの視点位置情報および面情報を含むテーブルをメタデータとして生成し、ストレージ５８に供給して記憶させる。
ステップＳ２２において、再構成部５９は、第１レイヤのテクスチャ画像とデプス画像の再構成が必要であるかどうかを判定する。例えば、再構成部５９は、ユーザから第１レイヤの面の数、画角、面どうしの間隔、位置、または傾きの変更が指示された場合、第１レイヤのテクスチャ画像とデプス画像の再構成が必要であると判定する。
ステップＳ２２で第１レイヤのテクスチャ画像とデプス画像の再構成が必要であると判定された場合、処理はステップＳ２３に進む。ステップＳ２３において、再構成部５９は、再構成後の第１レイヤの面、並びに、再構成後の第１レイヤの面に対応する第２レイヤの視点および面を設定する。
ステップＳ２４において、再構成部５９は、再構成後の第１レイヤの視点位置情報および面情報、並びに、第２レイヤの視点位置情報および面情報を含むテーブルをメタデータとして生成し、ストレージ５８に供給する。
ステップＳ２５において、再構成部５９は、ストレージ５８に記憶されている各面の第１レイヤテクスチャストリームを、ステップＳ２３で設定された再構成後の第１レイヤの面のテクスチャストリームに再構成し、ストレージ５８に供給して記憶させる。また、再構成部５９は、ストレージ５８に記憶されている第１レイヤデプスストリームを、ステップＳ２３で設定された再構成後の第１レイヤの面の第１レイヤデプスストリームに再構成し、ストレージ５８に供給して記憶させる。
また、再構成部５９は、ストレージ５８に記憶されている各面の第２レイヤテクスチャストリームを、ステップＳ２３で設定された再構成後の第２レイヤの視点および面の第２レイヤテクスチャストリームに再構成し、ストレージ５８に供給して記憶させる。再構成部５９は、ストレージ５８に記憶されている第２レイヤデプスストリームを、ステップＳ２３で設定された再構成後の第２レイヤの視点および面の第２レイヤデプスストリームに再構成し、ストレージ５８に供給して記憶させる。そして、処理はステップＳ２６に進む。
一方、ステップＳ２２で第１レイヤのテクスチャ画像とデプス画像の再構成が必要ではないと判定された場合、処理はステップＳ２６に進む。
ステップＳ２６において、伝送部６０は、ストレージ５８から再構成前の６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを読み出し、ホームサーバ１３に送信する。
以上のように、コンテンツサーバ１２は、第１レイヤの視点におけるオクルージョン領域のテクスチャ画像およびデプス画像を第２レイヤのテクスチャ画像およびデプス画像として生成する。従って、ホームサーバ１３は、視聴位置が視点Ｏとは異なる場合に、第２レイヤのテクスチャ画像とデプス画像を用いることにより、表示画像に含まれる視点Ｏのオクルージョン領域を生成することができる。よって、ホームサーバ１３は、高画質の表示画像を生成することができる。
また、コンテンツサーバ１２は、第２レイヤの視点を、第１レイヤの視点Ｏとは異なる３次元位置に設定する。従って、第２レイヤにおいて、視点Ｏに延びる被写体の視点Ｏに延びる方向の長さを表現することができる。
さらに、コンテンツサーバ１２は、デプス画像の各画素のy値を逆数1/rを8ビット量子化した値とする。従って、コンテンツサーバ１２は、再構成時にデプス画像の8ビット量子化をやり直す必要がない。
（ホームサーバの構成例）
図１９は、図１のホームサーバ１３の構成例を示すブロック図である。
図１９のホームサーバ１３は、カメラ１３Ａ、受け取り部２３１、ストレージ２３２、受け取り部２３３、視線検出部２３４、ＭＬ３Ｄモデル生成部２３５、ＭＬ３Ｄモデル生成部２３６、ＭＬ３Ｄモデル生成部２３７、３Ｄモデル生成部２３８、および描画部２３９により構成される。
ホームサーバ１３の受け取り部２３１は、コンテンツサーバ１２から伝送されてくる低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを受け取り、ストレージ２３２に供給する。
ストレージ２３２は、受け取り部２３１から供給される低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを記憶する。
受け取り部２３３は、図１のジャイロセンサ１５Ｂの検出結果をヘッドマウントディスプレイ１５から受け取り、視線検出部２３４に供給する。
視線検出部２３４は、受け取り部２３３から供給されるジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデル座標系における視聴者の視線方向を決定する。また、視線検出部２３４は、カメラ１３Ａからマーカ１５Ａの撮影画像を取得し、その撮影画像に基づいて、３Ｄモデル座標系における視聴位置を検出する。
視線検出部２３４は、ストレージ２３２からメタデータのうちの第１レイヤのテーブルを読み出す。視線検出部２３４は、３Ｄモデル座標系における視聴位置および視線方向、並びに、第１レイヤのテーブルに基づいて、６つの面のうちの、視聴位置から視線方向に延びる視線に最も近い視線ベクトルに対応する３つの面を選択面に決定する。具体的には、視線検出部２３４は、＋Ｘ面８１と−Ｘ面８２のいずれかを含む面、＋Ｙ面８３と−Ｙ面８４のいずれかを含む面、および、＋Ｚ面８５と−Ｚ面８６のいずれかを含む面を選択面に決定する。
以上のようにして選択面が決定されることにより、後述する描画部２３９により選択面に対応する第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像を用いて生成される表示画像内の高解像度領域の割合が最も高くなる。また、３つの選択面が決定されることにより、１つの選択面が選択される場合に比べて、視線が立方体８０の頂点付近に向かう場合に表示画像内の高解像度領域の割合を増加させることができる。
視線検出部２３４は、３つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、ストレージ２３２から読み出す。視線検出部２３４は、読み出された第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、面ごとにＭＬ３Ｄモデル生成部２３５乃至２３７に供給する。また、視線検出部２３４は、低解像度テクスチャストリームと低解像度デプスストリームをストレージ２３２から読み出し、３Ｄモデル生成部２３８に供給する。
また、視線検出部２３４は、３Ｄモデル座標系における視聴位置と視線方向に基づいて、３Ｄモデル座標系における視聴者の視野範囲を決定する。視線検出部２３４は、視聴者の視野範囲と視聴位置を描画部２３９に供給する。視線検出部２３４は、３つの選択面と、その３つの選択面に対応する第２レイヤの３つの面の視点位置情報および面情報を描画部２３９に供給する。
ＭＬ３Ｄモデル生成部２３５乃至２３７は、それぞれ、第１レイヤテクスチャストリームと第１レイヤデプスストリームを用いて、第１レイヤのテクスチャ画像の各画素に対応するサンプリング点のテクスチャ画像座標系における３次元位置（u,v,z）および接続情報と、カラー情報としてのRGB値とからなる３次元データを生成する。なお、各サンプリング点の接続情報は、そのサンプリング点(vertex)と他のサンプリング点との接続を表す情報である。テクスチャ画像座標系は、テクスチャ画像の横方向をu軸、縦方向をv軸、奥行き方向をｚ軸とする座標系である。
また、ＭＬ３Ｄモデル生成部２３５乃至２３７は、それぞれ、視線検出部２３４から供給される第２レイヤテクスチャストリームと第２レイヤデプスストリームを用いて、第２レイヤのテクスチャ画像の各画素に対応するサンプリング点の３次元データを生成する。ＭＬ３Ｄモデル生成部２３５乃至２３７は、第１レイヤおよび第２レイヤの３次元データを描画部２３９に供給する。
３Ｄモデル生成部２３８は、視線検出部２３４から供給される低解像度テクスチャストリームと低解像度デプスストリームを復号し、低解像度テクスチャ画像と低解像度デプス画像を生成する。３Ｄモデル生成部２３８は、低解像度テクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。また、３Ｄモデル生成部２３８は、低解像度デプス画像の各画素の画素値に対して8ビット逆量子化を行い、逆数1/rを得る。そして、３Ｄモデル生成部２３８は、低解像度デプス画像の各画素の逆数1/rに基づいて、各画素の３次元位置(u,v,z)を各画素に対応するサンプリング点の３次元位置(u,v,z)として求める。
また、３Ｄモデル生成部２３８は、各サンプリング点の３次元位置(u,v,z)に基づいて、隣接する３つのサンプリング点どうしが接続するように各サンプリング点の接続情報を生成する。３Ｄモデル生成部２３８は、各サンプリング点の３次元位置(u,v,z)、接続情報、およびRGB値を、低解像度テクスチャ画像の３次元データとして、描画部２３９に供給する。
描画部２３９は、３Ｄモデル生成部２３８から供給される低解像度テクスチャ画像の３次元データに基づいて、３Ｄモデル座標系において、低解像度テクスチャ画像の三角形パッチ描画（点群描画）を行う。その後、描画部２３９は、ＭＬ３Ｄモデル生成部２３５乃至２３７のそれぞれから供給される第１レイヤおよび第２レイヤの３次元データと、視線検出部２３４から供給される視点位置情報および面情報とに基づいて、３Ｄモデル座標系において、第１レイヤおよび第２レイヤのテクスチャ画像の三角形パッチ描画を行う。
即ち、低解像度テクスチャ画像の視点は３Ｄモデル座標系における原点であり、３Ｄモデルとしての正八面体の各面の位置およびサイズは予め決まっている。従って、描画部２３９は、正八面体の各面に対応する各カメラの内部パラメータと外部パラメータを求めることができる。よって、描画部２３９は、この内部パラメータと外部パラメータを用いて、低解像度テクスチャ画像の各サンプリング点の３次元位置(u,v,z)から、各サンプリング点の画面上の位置（u,v）と３Ｄモデル座標系における３次元位置(X,Y,Z)を認識することができる。その結果、低解像度テクスチャ画像の各サンプリング点の画面上の位置（u,v）および３次元位置(X,Y,Z)と接続情報およびRGB値とを用いて三角形パッチ描画を行うことができる。
また、描画部２３９は、第１レイヤおよび第２レイヤの視点位置情報および面情報に基づいて、第１レイヤおよび第２レイヤの各面に対応する各カメラの内部パラメータと外部パラメータを求めることができる。従って、描画部２３９は、この内部パラメータと外部パラメータを用いて、第１レイヤおよび第２レイヤの各サンプリング点の３次元位置(u,v,z)から、各サンプリング点の画面上の位置（u,v）と３次元位置(X,Y,Z)を認識できる。その結果、描画部２３９は、第１レイヤおよび第２レイヤの各サンプリング点の画面上の位置（u,v）および３次元位置(X,Y,Z)と接続情報およびRGB値とを用いて三角形パッチ描画を行うことができる。
描画部２３９（画像生成部）は、３Ｄモデル座標系において描画された三角形パッチを、視線検出部２３４から供給される視聴位置を視点として視野範囲に透視投影（マッピング）することにより、表示画像を生成する。描画部２３９は、表示画像を図１の変換装置１４に送信する。
（ＭＬ３Ｄモデル生成部の構成例）
図２０は、図１９のＭＬ３Ｄモデル生成部２３５の構成例を示すブロック図である。
図２０のＭＬ３Ｄモデル生成部２３５は、デコーダ２５１、ＲＧＢ変換部２５２、デコーダ２５３、デプス変換部２５４、不連続検出部２５５、３Ｄモデル生成部２５６、デコーダ２５７、ＲＧＢ変換部２５８、デコーダ２５９、デプス変換部２６０、オクルージョン処理部２６１、および３Ｄモデル生成部２６２により構成される。
ＭＬ３Ｄモデル生成部２３５のデコーダ２５１は、図１９の視線検出部２３４から供給される第１レイヤテクスチャストリームを復号し、第１レイヤのテクスチャ画像を生成する。デコーダ２５１は、第１レイヤのテクスチャ画像をＲＧＢ変換部２５２に供給する。
ＲＧＢ変換部２５２は、第１レイヤのテクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。そして、ＲＧＢ変換部２５２は、各サンプリング点のRGB値を３Ｄモデル生成部２５６に供給する。
デコーダ２５３は、視線検出部２３４から供給される第１レイヤデプスストリームを復号し、第１レイヤのデプス画像を生成する。デコーダ２５３は、第１レイヤのデプス画像をデプス変換部２５４に供給する。
デプス変換部２５４は、デコーダ２５３から供給される第１レイヤのデプス画像の各画素の画素値に対して8ビット逆量子化を行い、逆数1/rを得る。そして、デプス変換部２５４は、第１レイヤのデプス画像の各画素の逆数1/rに基づいて、各画素の３次元位置(u,v,z)を各画素に対応するサンプリング点の３次元位置(u,v,z)として求める。デプス変換部２５４は、各サンプリング点の３次元位置(u,v,z)を不連続検出部２５５と３Ｄモデル生成部２５６に供給する。
不連続検出部２５５は、デプス変換部２５４から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、第１レイヤのデプス画像の画素のうちの、隣接するサンプリング点とのｚ座標の差分が閾値以上であるサンプリング点に対応する画素である不連続画素を検出する。不連続検出部２５５は、不連続画素に対応するサンプリング点の３次元位置(u,v,z)を３Ｄモデル生成部２５６に供給する。
３Ｄモデル生成部２５６（接続情報生成部）は、デプス変換部２５４から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、各サンプリング点のうちの隣接する３つのサンプリング点どうしが接続するように、各サンプリング点の接続情報を生成する。即ち、３Ｄモデル生成部２５６は、サンプリング点ごとに、そのサンプリング点を頂点とする三角形パッチの３つの頂点どうしの接続を表す接続情報を生成する。そして、３Ｄモデル生成部２５６は、不連続検出部２５５から供給される不連続画素に対応するサンプリング点の３次元位置(u,v,z)に基づいて、生成された各サンプリング点の接続情報のうちの不連続画素に対応するサンプリング点との接続を表す接続情報を削除する。
３Ｄモデル生成部２５６は、第１レイヤの各サンプリング点の３次元位置(u,v,z)、RGB値、および削除後の接続情報を、第１レイヤの３次元データとして生成し、図１９の描画部２３９に供給する。
デコーダ２５７、ＲＧＢ変換部２５８、デコーダ２５９、およびデプス変換部２６０の処理は、処理対象のレイヤが第１レイヤから第２レイヤに代わる点を除いて、デコーダ２５１、ＲＧＢ変換部２５２、デコーダ２５３、およびデプス変換部２５４と同様であるので、説明は省略する。
オクルージョン処理部２６１は、デプス変換部２６０から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、第２レイヤのデプス画像の画素のうちの不連続画素を検出する。オクルージョン処理部２６１は、第２レイヤの各サンプリング点の３次元位置(u,v,z)に基づいて、不連続画素に対応するサンプリング点の３次元位置(u,v,z)を補正するオクルージョン処理を行う。
具体的には、オクルージョン処理部２６１は、例えば、不連続画素に対応するサンプリング点の２次元位置（u,v）を、そのサンプリング点の近傍かつ手前側のサンプリング点の２次元位置(u,v)に補正する。オクルージョン処理部２６１は、第２レイヤの各サンプリング点のオクルージョン処理後の３次元位置(u,v,z)を３Ｄモデル生成部２６２に供給する。
３Ｄモデル生成部２６２は、オクルージョン処理部２６１から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、サンプリング点ごとに、そのサンプリング点と隣接する２つのサンプリング点との接続を表す接続情報を生成する。３Ｄモデル生成部２６２は、各サンプリング点の３次元位置(u,v,z)および接続情報、並びに、ＲＧＢ変換部２５８から供給されるRGB値を、第２レイヤの３次元データとして生成する。３Ｄモデル生成部２５６は、第２レイヤの３次元データを図１９の描画部２３９に供給する。
なお、図示は省略するが、ＭＬ３Ｄモデル生成部２３６およびＭＬ３Ｄモデル生成部２３７は、図２０のＭＬ３Ｄモデル生成部２３５と同様に構成される。
（接続情報の削除およびオクルージョン処理の効果の説明）
図２１は、第１レイヤの接続情報のうちの不連続画素に対応するサンプリング点との接続を表す接続情報を削除しない場合の接続情報を説明する図であり、図２２は、削除した場合の接続情報を説明する図である。
図２１および図２２において、左右方向は、テクスチャ画像の横方向を表し、上下方向は、テクスチャ画像の奥行き方向を表す。図２１および図２２の上方向が手前側、下方向が奥側である。また、図２１および図２２において、実線は、第１レイヤの各サンプリング点の３次元位置(u,v,z)を表し、点線は、第２レイヤの各サンプリング点の３次元位置(u,v,z)を表す。また、図２１および図２２の例では、被写体が図１０の前景１１１と背景１１２である。
第１レイヤおよび第２レイヤの両方においてオクルージョン処理が行われない場合、図２１のＡに示すように、第１レイヤの前景１１１の撮影画像１２１と背景１１２の領域１１２Ａの撮影画像１２２Ａの境界の不連続画素に対応するサンプリング点の３次元位置は変更されない。
また、第１レイヤおよび第２レイヤの両方において不連続画素に対応するサンプリング点との接続を表す接続情報が削除されない場合、図２１のＡに示すように、第１レイヤおよび第２レイヤの不連続画素に対応するサンプリング点は、隣接する２つのサンプリング点と接続される。
従って、第１レイヤの不連続画素に対応するサンプリング点と、隣接する２つのサンプリング点とを頂点とする三角形パッチが生成され、その三角形パッチにより、有効領域の撮影画像１２２Ｃは塗り潰れされる。よって、図中右下から左上へ向かう視線Ｖに対応する、撮影済みオクルージョン領域１１２Ｃを含む表示画像を生成する場合に、撮影済みオクルージョン領域１１２Ｃの撮影画像１２２Ｃが配置される第２レイヤの有効領域を用いることはできない。
また、第１レイヤおよび第２レイヤの両方において、不連続画素に対応するサンプリング点との接続を表す接続情報が削除されないが、オクルージョン処理は行われる場合、図２１のＢに示すように、第１レイヤおよび第２レイヤの不連続画素に対応するサンプリング点の２次元位置が、そのサンプリング点の近傍かつ手前側のサンプリング点の２次元位置に補正される。
従って、視線Ｖに対応する表示画像を生成する場合、撮影済みオクルージョン領域１１２Ｃの表示画像として、第１レイヤの領域１１２Ａの撮影画像１２２Ａを用いることができる。その結果、表示画像の画質は向上する。
しかしながら、オクルージョン処理後の第１レイヤの不連続画素に対応するサンプリング点は、隣接する２つのサンプリング点と接続され、三角形パッチが生成される。従って、図２１のＡの場合と同様に、視線Ｖに対応する表示画像を生成する場合、撮影済みオクルージョン領域１１２Ｃの撮影画像１２２Ｃが配置される第２レイヤの有効領域を用いることはできない。
これに対して、３Ｄモデル生成部２５６は、図２２に示すように、第１レイヤの不連続画素との接続を表す接続情報を削除する。従って、第１レイヤの不連続画素に対応するサンプリング点を頂点とする三角形パッチが生成されない。よって、視線Ｖに対応する表示画像を生成する場合に、撮影済みオクルージョン領域１１２Ｃの撮影画像１２２Ｃが配置される第２レイヤの有効領域を用いることができる。第２レイヤにおいては接続情報の削除が行われないので、第１レイヤの三角形パッチが存在しない領域には、必ず第２レイヤの三角形パッチが存在する。
また、オクルージョン処理部２６１は、第２レイヤに対してオクルージョン処理を行う。従って、図２２に示すように、第２レイヤの有効領域と想像領域の境界の不連続画素に対応するサンプリング点のうちの奥側のサンプリング点の２次元位置が、そのサンプリング点の近傍かつ手前側のサンプリング点の２次元位置に補正される。従って、第２レイヤにおいてオクルージョン領域が削減される。よって、視線Ｖに対応する表示画像を生成する際に用いられる第２レイヤの画質が向上し、その結果、表示画像の画質が向上する。
（第１レイヤの面の画角の効果の説明）
図２３および図２４は、それぞれ、第１レイヤの各面の画角が９０度、１００度である場合のサンプリング点を説明する図である。
図２３および図２４の例では、説明の便宜上、第１レイヤの各面の画角が９０度、１００度である場合の第１レイヤのテクスチャ画像およびデプス画像の解像度が、それぞれ、4x4画素、6x6画素であるものとする。
図２３のＢに示すように、第１レイヤの各面の画角が９０度である場合、第１レイヤの６つの面は、立方体８０を構成する６つの面８１乃至８６になる。
しかしながら、図２３のＡに示すように、第１レイヤの−Ｚ面８６のテクスチャ画像２８０上のサンプリング点２９１の位置(u,v)、即ち３Ｄモデル座標系における視点Ｏからサンプリング点２９１に向かう線が−Ｚ面８６と交差する位置は、各画素２８１の中心である。また、他の面８１乃至８５のサンプリング点の位置(u,v)も、−Ｚ面８６と同様に各画素の中心である。
従って、図２３のＢに示すように、図中黒丸で示すサンプリング点のうちの隣接する３つのサンプリング点どうしを接続することにより構成される全ての三角形パッチの、各面８１乃至８６上の領域２８３のu方向およびｖ方向サイズは、各面８１乃至８６に比べて画素の半分のサイズだけ小さい。よって、各面８１乃至８６の境界に対応する三角形パッチが生成されず、その結果、各面８１乃至８６の境界を通る視線の表示画像を高画質で生成することが困難になる。
これに対して、第１レイヤの各面の画角が１００度である場合、図２４のＡに示すように、−Ｚ面８６を含む第１レイヤの面のテクスチャ画像３１０のサイズは、図２３のテクスチャ画像２８０のサイズより大きい6×6画素になる。他の面８１乃至８５をそれぞれ含む第１レイヤの各面のテクスチャ画像のサイズも同様に6×6画素になる。
従って、図２４のＢに示すように、図中黒丸で示すサンプリング点のうちの隣接する３つのサンプリング点どうしを接続することにより構成される全ての三角形パッチの、−Ｚ面８６上の領域３１１のu方向およびｖ方向サイズは、−Ｚ面８６に比べて画素の半分のサイズだけ大きい。図示は省略するが、他の面８１乃至８５をそれぞれ含む第１レイヤの各面の三角形パッチの領域のu方向およびｖ方向サイズも、領域３１１と同様に、各面８１乃至８５に比べて画素の半分のサイズだけ大きい。従って、各面８１乃至８６の境界に対応する三角形パッチが生成され、その結果、各面８１乃至８６の境界を通る視線を含む任意の視線の表示画像を高画質で生成することができる。
図２３および図２４では、第１レイヤの各面の画角が１００度である場合の効果について説明したが、第１レイヤの各面の画角が９０度より大きければ、画角が１００度ではない場合であっても同様の効果が発生する。
（第２レイヤの面の画角の効果の説明）
図２５は、第２レイヤの各面の画角が９０度および１００度である場合のオクルージョン処理を説明する図である。
図２５において、横軸はu軸を表し、縦軸はｚ軸を表す。また、丸はサンプリング点を表す。さらに、図２５の例では、奥行き方向の位置が奥側であるほどｚ座標は大きい。
第２レイヤの各面の画角が９０度である場合、サンプリング点が、第２レイヤのいずれか１つの面にのみマッピングされる。従って、図２５のＡに示すように、処理対象の面のu方向の端部にマッピングされるサンプリング点３３１に隣接するサンプリング点３３２は、処理対象の面にはマッピングされず、処理対象の面のオクルージョン処理時にサンプリング点３３２のｚ軸の位置はわからない。
よって、サンプリング点３３１とサンプリング点３３２のｚ座標の差分が閾値以上である場合であっても、サンプリング点３３１に対応する画素は不連続画素として検出されない。同様に、サンプリング点３３２がマッピングされる面が処理対象の面とされる場合にも、サンプリング点３３２に対応する画素は不連続画素として検出されない。従って、サンプリング点３３１およびサンプリング点３３２に対してオクルージョン処理を行うことはできない。即ち、サンプリング点３３１およびサンプリング点３３２に対してオクルージョン処理を行うために、処理対象の面のデプス画像以外に、処理対象の面と隣接する面のデプス画像も用いる必要がある。
これに対して、第２レイヤの各面の画角が１００度である場合、各面の端部に、その面と隣接する面の端部以外の領域にマッピングされるサンプリング点が、のりしろとして重複してマッピングされる。例えば、サンプリング点３３１がマッピングされる処理対象の面の端部に、処理対象の面に隣接する面の端部以外の領域にマッピングされるサンプリング点３３２がマッピングされる。
従って、サンプリング点３３１とサンプリング点３３２のｚ座標の差分が閾値以上である場合、サンプリング点３３１とサンプリング点３３２に対応する画素は不連続画素として検出される。よって、図２５のＢに示すように、サンプリング点３３１とサンプリング点３３２に対してオクルージョン処理を行うことができる。その結果、不連続画素に対応するサンプリング点３３２のu座標が、サンプリング点３３２近傍のサンプリング点３３２より手前側の（z座標が小さい）サンプリング点３３３のu座標に補正される。
なお、図２５の例では、処理対象の面の端部以外の領域にマッピングされるサンプリング点３３４とサンプリング点３３５のｚ座標の差分が閾値以上であるため、サンプリング点３３４とサンプリング点３３５に対応する画素も不連続画素として検出されている。その結果、図２５のＢに示すように、サンプリング点３３４のu座標が、サンプリング点３３４近傍のサンプリング点３３４より手前側のサンプリング点３３６のu座標に補正されている。
また、処理対象の面のu座標が最も大きい端部のサンプリング点３３７は、処理対象の面と隣接する面の端部以外の領域にマッピングされる。従って、この面が処理対象の面とされる場合に、サンプリング点３３７に対応する画素が不連続画素であるかどうかを判定し、不連続画素であると判定した場合に、サンプリング点３３７に対するオクルージョン処理を行うことができる。
以上のように、第２レイヤの各面の画角が１００度である場合、各面のサンプリング点のみを用いて、各面の端部以外の領域の端部にマッピングされるサンプリング点３３１に対してもオクルージョン処理を行うことができる。その結果、第２レイヤのオクルージョン領域が削減され、表示画像の画質を向上させることができる。
図２５では、第２レイヤの各面の画角が１００度である場合の効果について説明したが、第２レイヤの各面の画角が９０度より大きければ、画角が１００度ではない場合であっても同様の効果が発生する。
なお、ＭＬ３Ｄモデル生成部２３５乃至２３７は、復号の結果得られるテクスチャ画像やデプス画像に対して、周辺の画素を用いたフィルタ処理等の画像処理を行うようにしてもよい。この場合、第１レイヤおよび第２レイヤの各面の画角が９０度より大きいことにより、オクルージョン処理と同様に、各面の端部以外の領域の端部においても画像処理を行うことができるという効果を得ることができる。
（ホームサーバの処理の説明）
図２６は、図１９のホームサーバ１３の再生処理を説明するフローチャートである。この再生処理は、例えば、コンテンツサーバ１２から伝送されてくる低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータが伝送されてきたとき、開始される。
図２６のステップＳ４１において、ホームサーバ１３の受け取り部２３１は、コンテンツサーバ１２から、低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを受け取り、ストレージ２３２に供給する。
ステップＳ４２において、ストレージ２３２は、低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを記憶する。
ステップＳ４３において、受け取り部２３３は、図１のジャイロセンサ１５Ｂの検出結果をヘッドマウントディスプレイ１５から受け取り、視線検出部２３４に供給する。
ステップＳ４４において、視線検出部２３４は、受け取り部２３３から供給されるジャイロセンサ１５Ｂの検出結果に基づいて、３Ｄモデル座標系における視聴者の視線方向を決定する。ステップＳ４５において、カメラ１３Ａは、ヘッドマウントディスプレイ１５に付されたマーカ１５Ａを撮影し、その結果得られる撮影画像を視線検出部２３４に供給する。
ステップＳ４６において、視線検出部２３４は、カメラ１３Ａから供給されるマーカ１５Ａの撮影画像に基づいて、３Ｄモデル座標系における視聴位置を検出し、描画部２３９に供給する。
ステップＳ４７において、視線検出部２３４は、ストレージ２３２に記憶されているメタデータのうちの第１レイヤのテーブルと、３Ｄモデル座標系における視聴位置および視線方向とに基づいて、６つの面のうちの視線に最も近い視線ベクトルに対応する３つの面を選択面に決定する。
ステップＳ４８において、視線検出部２３４は、３Ｄモデル座標系における視聴位置と視線方向に基づいて、３Ｄモデル座標系における視聴者の視野範囲を決定し、描画部２３９に供給する。
ステップＳ４９において、視線検出部２３４は、低解像度テクスチャストリームと低解像度デプスストリームをストレージ２３２から読み出し、３Ｄモデル生成部２３８に供給する。また、視線検出部２３４は、３つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、ストレージ２３２から読み出す。視線検出部２３４は、読み出された第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、面ごとにＭＬ３Ｄモデル生成部２３５乃至２３７に供給する。また、視線検出部２３４は、３つの選択面に対応する視点位置情報および面情報をストレージ２３２から読み出し、描画部２３９に供給する。
ステップＳ５０において、ＭＬ３Ｄモデル生成部２３５乃至２３７は、面ごとに、第１レイヤおよび第２レイヤの各サンプリング点の３次元データを生成する３次元データ生成処理を行う。この３次元データ生成処理の詳細は、図２７を参照して後述する。
ステップＳ５１において、３Ｄモデル生成部２３８は、視線検出部２３４から供給される低解像度テクスチャストリームと低解像度デプスストリームから、低解像度テクスチャ画像の各サンプリング点の３次元データを生成し、描画部２３９に供給する。
ステップＳ５２において、描画部２３９は、３Ｄモデル生成部２３８から供給される低解像度テクスチャ画像の３次元データに基づいて、３Ｄモデル座標系において、低解像度テクスチャ画像の三角形パッチ描画を行う。その後、描画部２３９は、ＭＬ３Ｄモデル生成部２３５乃至２３７のそれぞれから供給される第１レイヤおよび第２レイヤの３次元データと、視線検出部２３４から供給される視点位置情報および面情報とに基づいて、３Ｄモデル座標系において、第１レイヤおよび第２レイヤのテクスチャ画像の三角形パッチ描画を行う。
ステップＳ５３において、描画部２３９は、３Ｄモデル座標系において描画された三角形パッチを、視線検出部２３４から供給される視聴位置を視点として視野範囲に透視投影することにより、表示画像を生成する。ステップＳ５４において、描画部２３９は、表示画像を図１の変換装置１４に伝送する。
図２７は、図２６のステップＳ５０においてＭＬ３Ｄモデル生成部２３５により行われる３次元データ生成処理の詳細を説明するフローチャートである。
図２７のステップＳ７１において、ＭＬ３Ｄモデル生成部２３５のデコーダ２５１（図２０）は、図１９の視線検出部２３４から供給される第１レイヤテクスチャストリームを復号し、第１レイヤのテクスチャ画像を生成する。デコーダ２５１は、第１レイヤのテクスチャ画像をＲＧＢ変換部２５２に供給する。
ステップＳ７２において、ＲＧＢ変換部２５２は、第１レイヤのテクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。そして、ＲＧＢ変換部２５２は、各サンプリング点のRGB値を３Ｄモデル生成部２５６に供給する。
ステップＳ７３において、デコーダ２５３は、視線検出部２３４から供給される第１レイヤデプスストリームを復号し、第１レイヤのデプス画像を生成する。デコーダ２５３は、第１レイヤのデプス画像をデプス変換部２５４に供給する。
ステップＳ７４において、デプス変換部２５４は、デコーダ２５３から供給される第１レイヤのデプス画像の各画素の画素値に対して8ビット逆量子化を行い、第１レイヤのデプス画像の各画素の逆数1/rを得る。
ステップＳ７５において、デプス変換部２５４は、第１レイヤのデプス画像の各画素の逆数1/rに基づいて、第１レイヤのデプス画像の各画素の３次元位置(u,v,z)を、各画素に対応するサンプリング点の３次元位置(u,v,z)として求める。デプス変換部２５４は、各サンプリング点の３次元位置(u,v,z)を不連続検出部２５５と３Ｄモデル生成部２５６に供給する。
ステップＳ７６において、不連続検出部２５５は、デプス変換部２５４から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、第１レイヤのデプス画像の各画素のうちの不連続画素を検出する。不連続検出部２５５は、不連続画素に対応するサンプリング点の３次元位置(u,v,z)を３Ｄモデル生成部２５６に供給する。
ステップＳ７７において、３Ｄモデル生成部２５６は、デプス変換部２５４から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、各サンプリング点のうちの隣接する３つのサンプリング点どうしが接続するように、第１レイヤの各サンプリング点の接続情報を生成する。
ステップＳ７８において、３Ｄモデル生成部２５６は、不連続検出部２５５から供給される不連続画素に対応するサンプリング点の３次元位置(u,v,z)に基づいて、ステップＳ７７で生成された各サンプリング点の接続情報のうちの不連続画素に対応するサンプリング点との接続を表す接続情報を削除する。
ステップＳ７９において、３Ｄモデル生成部２５６は、第１レイヤの各サンプリング点の３次元位置(u,v,z)、RGB値、および、ステップＳ７８の処理による削除後の接続情報を、第１レイヤの３次元データとして生成する。３Ｄモデル生成部２５６は、第１レイヤの３次元データを図１９の描画部２３９に供給する。
ステップＳ８０において、デコーダ２５７は、視線検出部２３４から供給される第２レイヤテクスチャストリームを復号し、第２レイヤのテクスチャ画像を生成する。デコーダ２５７は、第２レイヤのテクスチャ画像をＲＧＢ変換部２５８に供給する。
ステップＳ８１において、ＲＧＢ変換部２５８は、第２レイヤのテクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。そして、ＲＧＢ変換部２５８は、各サンプリング点のRGB値を３Ｄモデル生成部２６２に供給する。
ステップＳ８２において、デコーダ２５９は、視線検出部２３４から供給される第２レイヤデプスストリームを復号し、第２レイヤのデプス画像を生成する。デコーダ２５９は、第２レイヤのデプス画像をデプス変換部２６０に供給する。
ステップＳ８３において、デプス変換部２６０は、デコーダ２５９から供給される第２レイヤのデプス画像の各画素の画素値に対して8ビット逆量子化を行い、第２レイヤのデプス画像の各画素の逆数1/rを得る。
ステップＳ８４において、デプス変換部２６０は、第２レイヤのデプス画像の各画素の逆数1/rに基づいて、第２レイヤのデプス画像の各画素の３次元位置(u,v,z)を、各画素に対応するサンプリング点の３次元位置(u,v,z)として求める。デプス変換部２６０は、各サンプリング点の３次元位置(u,v,z)をオクルージョン処理部２６１と３Ｄモデル生成部２６２に供給する。
ステップＳ８５において、オクルージョン処理部２６１は、デプス変換部２６０から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、第２レイヤのデプス画像の各画素のうちの不連続画素を検出する。
ステップＳ８６において、オクルージョン処理部２６１は、第２レイヤの各サンプリング点の３次元位置(u,v,z)に基づいて、不連続画素に対応するサンプリング点の３次元位置(u,v,z)を補正するオクルージョン処理を行う。オクルージョン処理部２６１は、第２レイヤの各サンプリング点のオクルージョン処理後の３次元位置(u,v,z)を３Ｄモデル生成部２６２に供給する。
ステップＳ８７において、３Ｄモデル生成部２６２は、オクルージョン処理部２６１から供給される各サンプリング点の３次元位置(u,v,z)に基づいて、各サンプリング点のうちの隣接する３つのサンプリング点どうしが接続するように、第２レイヤの各サンプリング点の接続情報を生成する。
ステップＳ８８において、３Ｄモデル生成部２６２は、各サンプリング点の３次元位置(u,v,z)および接続情報、並びに、ＲＧＢ変換部２５８から供給されるRGB値を、第２レイヤの３次元データとして生成する。３Ｄモデル生成部２５６は、第２レイヤの３次元データを図１９の描画部２３９に供給する。
なお、ＭＬ３Ｄモデル生成部２３６およびＭＬ３Ｄモデル生成部２３７により行われる３次元データ生成処理は、図２７の３次元データ処理と同様に行われる。
以上のように、ホームサーバ１３は、第１レイヤと第２レイヤを用いて、表示画像を生成する。従って、視聴位置が視点Ｏとは異なる場合に、第２レイヤを用いることにより、表示画像に含まれる視点Ｏのオクルージョン領域を生成することができる。従って、高画質の表示画像を生成することができる。
また、ホームサーバ１３は、テクスチャ画像だけでなくデプス画像も用いて表示画像を生成する。従って、三角形パッチ描画により、被写体に応じた３次元形状の三角形パッチにテクスチャ画像をマッピングし、その三角形パッチを用いて表示画像を生成することができる。よって、テクスチャ画像のみを用いてテクスチャ画像を所定の面にマッピングすることにより表示画像を生成する場合に比べて、高画質の表示画像を生成することができる。
さらに、第１レイヤのテクスチャ画像とデプス画像は、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像である。従って、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像のみを再生する再生装置において、第１レイヤのテクスチャ画像とデプス画像を再生することができる。
即ち、コンテンツサーバ１２により生成される第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像のフォーマットは、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像のフォーマットと互換性を有する。また、ホームサーバ１３による再生方法は、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像のみを再生する再生装置の再生方法と互換性を有する。
なお、ホームサーバ１３は、第１レイヤのテクスチャ画像とデプス画像のみを用いて表示画像を生成するようにしてもよい。この場合、第１レイヤに対して接続情報の削除の代わりに、オクルージョン処理が行われる。
また、上述した説明では、３Ｄモデル生成部２５６は、不連続検出部２５５において検出された不連続画素に対応するサンプリング点との接続を表す接続情報を削除したが、コンテンツサーバ１２から伝送されてくる三角形パッチ有効無効情報（詳細は後述する）に基づいて接続情報を削除するようにしてもよい。この場合、不連続検出部２５５は設けられない。
（三角形パッチ有効無効情報の説明）
図２８は、このような場合にコンテンツサーバ１２から伝送されてくる三角形パッチ有効無効情報を説明する図である。
図２８の例では、第１レイヤのサンプリング点３５１の数が１２個である。従って、隣接する３つのサンプリング点３５１を頂点とする三角形パッチ３５２の数は、１２個である。
この場合、コンテンツサーバ１２は、不連続検出部２５５と同様に、不連続画素を検出する。そして、コンテンツサーバ１２は、その不連続画素に対応するサンプリング点を頂点とする三角形パッチ３５２を無効（ＯＦＦ）に設定し、不連続画素に対応するサンプリング点を含まない三角形パッチ３５２を有効（ＯＮ）に設定する。
コンテンツサーバ１２（生成部）は、各三角形パッチ３５２の有効または無効を示す三角形パッチ有効無効情報を生成し、メタデータに含める。
ホームサーバ１３の３Ｄモデル生成部２５６は、三角形パッチ有効無効情報に基づいて、無効の三角形パッチの頂点を構成するサンプリング点どうしの接続を表す接続情報を削除する。その結果、三角形パッチ有効無効情報が無効を示す三角形パッチは、描画されない。
なお、三角形パッチは、右端および下端のサンプリング点を除いて、各サンプリング点に対して２個ずつ生成される。また、三角形パッチ有効無効情報は、三角形パッチの有効または無効を示す１ビットの情報である。従って、全ての三角形パッチの三角形パッチ有効無効情報のビット数は、第１レイヤのテクスチャ画像の水平方向の画素数をwidthとし、垂直方向の画素数をheightとすると、（width-1)*(height-1)*2ビットである。
三角形パッチ有効無効情報は、ロスレス圧縮または非圧縮で、コンテンツサーバ１２からホームサーバ１３に伝送される。なお、三角形パッチ有効無効情報は、デプス画像のCb,Cr値として配置されてもよい。
＜第２実施の形態＞
（画像表示システムの第２実施の形態の構成例）
図２９は、本開示を適用した画像表示システムの第２実施の形態の構成例を示すブロック図である。
図２９に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２９の画像表示システム４００は、マルチカメラ１１、コンテンツサーバ１２、変換装置１４、ヘッドマウントディスプレイ１５、配信サーバ４０１、ネットワーク４０２、および再生装置４０３により構成される。画像表示システム４００では、６つの面のうちの、視線に対応する１つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームのみが再生装置４０３に配信され、再生される。
具体的には、画像表示システム４００の配信サーバ４０１は、コンテンツサーバ１２から送信されてくる低解像度テクスチャストリームおよび低解像度デプスストリーム、６つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを受け取り、記憶する。
また、配信サーバ４０１は、ネットワーク４０２を介して再生装置４０３と接続する。配信サーバ４０１は、再生装置４０３からの要求に応じて、記憶している低解像度テクスチャストリームおよび低解像度デプスストリーム、１つの面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリーム、並びにメタデータを、ネットワーク４０２を介して再生装置４０３に伝送する。
再生装置４０３（画像処理装置）は、配信サーバ４０１に低解像度テクスチャストリーム、低解像度デプスストリーム、およびメタデータを、ネットワーク４０２を介して要求し、その要求に応じて伝送されてくる低解像度テクスチャストリーム、低解像度デプスストリーム、およびメタデータを受け取る。
また、再生装置４０３は、カメラ１３Ａを内蔵する。再生装置４０３は、ホームサーバ１３と同様に、３Ｄモデル座標系における視聴位置を検出し、３Ｄモデル座標系における視聴者の視線方向と視野範囲を決定する。
そして、再生装置４０３は、３Ｄモデル座標系における視聴位置および視線方向、並びに、メタデータに含まれる第１レイヤのテーブルに基づいて、第１レイヤの６つの面のうちの、視線に最も近い視線ベクトルに対応する１つの面を選択面に決定する。再生装置４０３は、１つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、ネットワーク４０２を介して要求する。再生装置４０３は、その要求に応じて伝送されてくる１つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを受け取る。
再生装置４０３は、低解像度テクスチャストリームおよび低解像度デプスストリーム、並びに、１つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを用いて表示画像を生成する。再生装置４０３の表示画像を生成する処理は、選択面の数が１つである点を除いて、ホームサーバ１３の処理と同様であるので、説明は省略する。再生装置４０３は、図示せぬHDMIケーブルを介して表示画像を変換装置１４に伝送する。
＜テクスチャ画像の他の例＞
図３０は、第１レイヤのテクスチャ画像の他の例を示す図である。
上述した説明では、第１レイヤの各面のテクスチャ画像は、１つの視点Ｏのテクスチャ画像であったが、視点Ｏに対応する左目用の視点と右目用の視点のテクスチャ画像が合成されたものであってもよい。
具体的には、図３０のＡに示すように、第１レイヤの各面のテクスチャ画像は、例えば、視点Ｏに対応する左目用の視点の第１レイヤの各面のテクスチャ画像４２１と、右目用の視点の第１レイヤの各面のテクスチャ画像４２２が、横方向（水平方向）にパッキングされたパッキング画像４２０であってもよい。
また、図３０のＢに示すように、第１レイヤの各面のテクスチャ画像は、例えば、テクスチャ画像４２１とテクスチャ画像４２２が、縦方向（垂直方向）にパッキングされたパッキング画像４４０であってもよい。
同様に、第２レイヤの各面のテクスチャ画像は、その面の１つの第２レイヤの視点に対応する左目用の視点の第２レイヤのテクスチャ画像と、右目用の視点の第２レイヤのテクスチャ画像が横方向または縦方向にパッキングされたパッキン画像であってもよい。
以上のように、第１レイヤおよび第２レイヤの各面のテクスチャ画像が左目用の視点と右目用の視点の画像をパッキングしたテクスチャ画像である場合、復号の結果得られるテクスチャ画像が、左目用の視点のテクスチャ画像と右目用の視点のテクスチャ画像に分離される。そして、第１レイヤおよび第２レイヤについて、左目用の３次元データと右目用の３次元データが生成される。
そして、視聴者の視聴方向および視聴位置に対応する左目の視聴方向および視聴位置基づいて、左目用の３次元データから左目用の表示画像が生成される。また、視聴者の視聴方向および視聴位置に対応する右目の視聴方向および視聴位置に基づいて、右目用の３次元データから右目用の表示画像が生成される。そして、ヘッドマウントディスプレイ１５が３Ｄ表示可能である場合、ヘッドマウントディスプレイ１５は、左目用の表示画像を左目用の画像として表示し、右目用の表示画像を右目用の画像として表示することにより、表示画像を３Ｄ表示する。
なお、第１および第２実施の形態では、撮影画像が正八面体にマッピングされることにより全天球画像が生成されたが、撮影画像がマッピングされる３Ｄモデルは、正八面体のほか、球や立方体などにすることができる。撮影画像が球にマッピングされる場合、全天球画像は、例えば、撮影画像がマッピングされた球の正距円筒図法による画像である。
また、低解像度テクスチャストリームと低解像度デプスストリームは生成されなくてもよい。第１レイヤおよび第２レイヤのデプス画像は生成されなくてもよい。また、第２レイヤのテクスチャ画像とデプス画像は、重要な被写体の撮影画像がマッピングされる一部の面に対してのみ生成されるようにしてもよい。
さらに、低解像度テクスチャ画像および低解像度デプス画像も、高解像度のテクスチャ画像およびデプス画像と同様に、階層化して生成されてもよい。
＜第３実施の形態＞
（複数のマルチカメラにより撮影された画像を用いて再生する例）
以上においては、１台のマルチカメラ１１により撮影される画像を用いて全天球画像を再生する例について説明してきたが、上述したテクスチャ画像およびデプス画像、並びに、メタデータのフォーマットを利用して、複数のマルチカメラ１１により撮影されたテクスチャ画像およびデプス画像、または、複数のマルチカメラ１１により撮影されたテクスチャ画像およびデプス画像よりレンダリングされたテクスチャ画像およびデプス画像を用いるようにすることで、様々な視点位置で、全天球画像を表示する、または、同一の被写体を異なるカメラで取り囲むようにして様々な視点の画像を表示できるようにしてもよい。
図３１は、複数のマルチカメラ１１を用いて、様々な視点で全天球画像や取り囲み画像を表示する画像表示システムの第３の実施の形態の構成例を示すブロック図である。尚、図３１において、図１と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略するものとする。
すなわち、図３１の画像表示システム１０においては、マルチカメラ１１−１乃至１１−ｎで示されるように、マルチカメラ１１が複数に設けられ、コンテンツサーバ１２、およびホームサーバ１３に代えて、コンテンツサーバ５０１およびホームサーバ５０２が新たに設けられている。
コンテンツサーバ５０１は、基本的な機能において、コンテンツサーバ１２と同様であるが、複数のマルチカメラ１１−１乃至１１−ｎより供給される各カメラの撮影画像から、それぞれの所定の視点の全天球画像を構成する第１レイヤおよび第２レイヤのテクスチャ画像とデプス画像を生成する。さらに、コンテンツサーバ５０１は、ホームサーバ５０２からの視点位置、および視線方向からなる視点情報に対応付けられたテクスチャ画像、およびデプス画像の要求に応じて、各マルチカメラ１１のそれぞれ所定の視点の全天球画像のテクスチャ画像とデプス画像に基づいて、要求に基づいた画像を生成し、ホームサーバ５０２に供給する。尚、マルチカメラ１１−１乃至１１−ｎについて、特に区別する必要がない場合、単に、マルチカメラ１１と称するものとし、その他の構成についても同様に称する。
ホームサーバ５０２は、基本的な機能において、ホームサーバ１３と同様であるが、ヘッドマウントディスプレイ１５より供給されてくる、ヘッドマウントディスプレイ１５の視聴位置および視線方向に対応する、視聴位置と視線方向に基づいた視聴者の視野範囲から特定される、テクスチャ画像とデプス画像をコンテンツサーバ５０１に要求し、取得して、変換装置１４を介してヘッドマウントディスプレイ１５に表示させる。
（再生方法の概要）
次に、図３２を参照して、図３１のコンテンツサーバ５０１により複数のマルチカメラ１１−１乃至１１−ｎより供給されてくるテクスチャ画像およびデプス画像を用いた再生方法の概要について説明する。
各マルチカメラ１１から供給されてくるテクスチャ画像およびデプス画像は、第１レイヤのみを考えた場合、図８を参照して説明したように、＋Ｘ面８１、−Ｘ面８２、＋Ｙ面８３、−Ｙ面８４、＋Ｚ面８５、−Ｚ面８６からなる６面のテクスチャ画像として管理される。
コンテンツサーバ５０１は、複数のマルチカメラ１１により撮影された画像が送信されてくると、６面の面情報をマルチカメラ毎に記憶する。
そして、コンテンツサーバ５０１は、ホームサーバ５０２からの要求に応じて、複数のマルチカメラ１１により撮影された画像を用いて画像を再生させようとするとき、マルチカメラ毎に撮影された画像を、それぞれカメラレイヤとして複数のレイヤからなる画像データを用いて再生させる。
コンテンツサーバ５０１は、例えば、マルチカメラ１１−１，１１−２からそれぞれ６面のテクスチャ画像、およびデプス画像が送信されてくるとき、これらをマルチカメラ１１毎に記憶し、ホームサーバ５０２からの要求に応じて、この画像を用いて画像を再生する。
より具体的には、コンテンツサーバ５０１は、マルチカメラ１１−１，１１−２のそれぞれの６つの面の画像を用いる場合、マルチカメラ１１が１台であるときには、全天球画像を表示させる上では、１台のマルチカメラ１１により撮影された６つの画像を用いるだけであった。しかしながら、複数のマルチカメラ１１の画像を用いるときには、例えば、図３２で示されるように、６つの画像のそれぞれについて、マルチカメラ１１毎の複数の画像を複数のカメラレイヤ分だけホームサーバ５０２に供給し、複数のカメラレイヤの画像のいずれかを選択的に表示する、または、複数のレイヤの画像を混合するといった手法で表示させる。
ここで、図３２においては、マルチカメラ１１毎により撮影された６面の面情報を、図３２の右上部で示されるように、マルチカメラ１１毎に正六面体の展開図として表現しており、カメラレイヤと、それぞれにおいて各面を識別する符号が付されている。さらに、カメラレイヤ毎に、正六面体の展開図が積層された状態で描かれている。
すなわち、図３２のマルチカメラ１１−１の６つの面については、カメラレイヤＰ１とされ、それぞれの面の名称に対応付けて符号が付されて＋Ｘ面Ｐ１＋Ｘ、−Ｘ面Ｐ１−Ｘ、＋Ｙ面Ｐ１＋Ｙ、−Ｙ面Ｐ１−Ｙ、＋Ｚ面Ｐ１＋Ｚ、−Ｚ面Ｐ１−Ｚとされている。また、マルチカメラ１１−２の６つの面については、カメラレイヤＰ２とされ、それぞれの面の名称に対応付けて符号が付されて＋Ｘ面Ｐ２＋Ｘ、−Ｘ面Ｐ２−Ｘ、＋Ｙ面Ｐ２＋Ｙ、−Ｙ面Ｐ２−Ｙ、＋Ｚ面Ｐ２＋Ｚ、−Ｚ面Ｐ２−Ｚとされている。さらに、カメラレイヤＰ１は、図３２においては、カメラレイヤＰ２の展開図の上に積層されて表現されている。
ここで、図３２の左上部においては、マルチカメラ１１−１、１１−２の上面図となっており、マルチカメラ１１は、それぞれ方形状のものとして表現されている。また、各方形状のマルチカメラ１１の中心位置が視点位置となり、視点から各面への法線となる軸の名称が、各面の名称とされており，例えば、マルチカメラ１１−１の視点位置から＋Ｚ軸を法線とする面、すなわち、＋Ｚ方向を視線方向とする面が、カメラレイヤＰ１の＋Ｚ面であり、展開図中の＋Ｚ面Ｐ１＋Ｚとして表されている。
また、同様に、マルチカメラ１１−１の図中の視点位置から＋Ｚ軸に対して９０度を成す＋Ｘ軸を法線とする面、すなわち、＋Ｘ軸を視線方向とする面は、＋Ｘ面Ｐ１＋Ｘとなる。同様に、マルチカメラ１１−２については、視点位置から＋Ｚ軸を法線とする面、すなわち、＋Ｚ軸方向を視線方向とする面が、カメラレイヤＰ２の＋Ｚ面Ｐ２＋Ｚあり、視点位置から−Ｘ軸を法線とする面、すなわち、−Ｘ軸方向を視線方向とする面が、カメラレイヤＰ２の−Ｘ面Ｐ２−Ｘとなる。
さらに、マルチカメラ１１−１，１１−２の紙面に対して手前、または、奥が、それぞれ視点位置に対して＋Ｙ軸、および−Ｙ軸方向となるため、図示が省略されているが、それぞれ視点位置から＋Ｙ軸を法線とする面、すなわち、＋Ｙ軸方向を視線方向とする面が、＋Ｙ面Ｐ１＋Ｙであり、同様に、−Ｙ面Ｐ１−Ｙ、＋Ｙ面Ｐ２＋Ｙ、−Ｙ面Ｐ２−Ｙが存在する。
このように、各マルチカメラ１１−１，１１−２の６つの面が図３２の右上部で示される十字状に縦方向の３面、および横方向の４面に配列された展開図として表現されており、それぞれがカメラレイヤＰ１，Ｐ２を構成する各面として表されている。
そこで、以降においては、この６つの面の集合体であって展開図状に表記されたものを、例えば、マルチカメラ１１−１の６つの各面のデータについては、カメラレイヤＰ１の面データと称するものとし、マルチカメラ１１−２の６つの各面のデータについては、カメラレイヤＰ２の面データとも表現するものとする。従って、図３２の右上部においては、カメラレイヤＰ１，Ｐ２の各面データを構成する６面のデータが積層されて表現されている。
また、図３２においては、方形状に表現されるマルチカメラ１１−１，１１−２の対角線を延長した線分で表現される視点位置を中心に各９０度ずつの範囲が各面の画角となり、マルチカメラ１１−１，１１−２の空間的な位置関係も表されている。
このため、図３２においては、マルチカメラ１１−１，１１−２の間に被写体５１１が存在するような場合、＋Ｚ面Ｐ１＋Ｚと＋Ｚ面Ｐ２＋Ｚとの２枚の面で被写体５１１が撮影されている。
尚、ここでいうカメラレイヤは、上述した主に前景である第１レイヤと、主に背景である第２レイヤとは異なる階層を表現するものである。
このように複数のマルチカメラ１１の面データが使用される場合、マルチカメラ１１毎のカメラレイヤが設定され、６つの面の面データとして、カメラレイヤ毎に全天球画像を構成する６つの面が設定されている。
このため、例えば、全天球画像として再生することを前提とした場合、図３３で示されるような位置関係でマルチカメラ１１−１１乃至１１−１３が被写体５１１を取り囲むように配置されているようなとき、仮想視点５１２が設定されると、仮想視点５１２に最も近いマルチカメラ１１−１１であるカメラレイヤＰ１１となる６つの面のデータを使用することで、高精度に仮想視点５１２での画像を再生させることが可能となる。
尚、図３３においては、マルチカメラ１１−１１乃至１１−１３のそれぞれにカメラレイヤＰ１１，Ｐ１２，Ｐ１３の６つの面の面データが設定されており、図３３の左上部において、積層されてレイヤが構成されていることが示されている。
また、被写体５１１の周りに設けられた画像を、仮想視点に応じて切り替えて表示する取り囲み画像として再生することを前提とした場合、図３４の左部で示されるように、マルチカメラ１１−１１乃至１１−１３が被写体５１１の周りに配置されているような場合、マルチカメラ１１毎に構成されるカメラレイヤＰ１１，Ｐ１２，Ｐ１３のうち、被写体５１１が撮影されている面の画像だけを用いるようにする。
すなわち、図３４の左部の場合、被写体５１１が撮影されている画像は、マルチカメラ１１−１１の＋Ｚ面Ｐ１１＋Ｚ、マルチカメラ１１−１２の−Ｘ面Ｐ１２−Ｘ、および、マルチカメラ１１−１３の＋Ｚ面Ｐ１３＋Ｚとの３面となる。
これに対して、図３４の右部で示されるように、仮想視点５２１と被写体５１１が移動するような場合、マルチカメラ１１−１２の＋Ｚ面Ｐ１２＋Ｚ、および、マルチカメラ１１−１３の−Ｘ面Ｐ１３−Ｘの２面に変化する。
従って、各カメラレイヤで設定される６つの面のうち、必要とされる面は、３面となるので、ホームサーバ５０２に対して、複数のカメラレイヤの画像が必要となる際にも、必要となる面のみをホームサーバ５０２に対して送信するようにすることで、帯域に余裕を持たせるようにすることも可能となる。
すなわち、図３５の中央下部で示されるように、３つのカメラレイヤ毎に設定される６つの面データに対して、それぞれの面データを送信する否かを設定するプライオリティテーブルを設定する。図３５の中央下部においては、左項が各カメラレイヤＰ０乃至Ｐ１の、それぞれ設定される６つの面のデータを表現しており、右項が各カメラレイヤにおいて送信するか否かを設定するプライオリティテーブルであることを表している。図３５の右項においては、各面のプライオリティとして、送信する必要があるものには「１」が設定されており、「１」のプライオリティが設定された面に対応するデータを送信し、「１」のプライオリティが設定されていない面に対するデータが送信されないことを表している。
従って、図３５の左下部で示されるように、例えば、全天球画像として再生することを前提とした場合、仮想視点５２１に最も近いマルチカメラ１１−１１であるカメラレイヤＰ１１となる６つの面（図中の最上層の６つの面）のデータを使用することで、高精度に仮想視点５１２での画像を再生させることが可能となる。このため、プライリティテーブルは、カメラレイヤＰ１１を構成する６つの面に対応するものが「１」に設定されて送信され、カメラレイヤＰ１２，Ｐ１３のそれぞれの６つの面は送信されない。
また、図３５の右上部で示されるように、取り囲み画像として再生することを前提とした場合、被写体５１１が撮影されている画像は、マルチカメラ１１−１１の＋Ｚ面Ｐ１１＋Ｚ、マルチカメラ１１−１２の＋Ｘ面Ｐ１２＋Ｘ、および、マルチカメラ１１−１３の＋Ｚ面Ｐ１３＋Ｚとの３面となる。このため、プライオリティテーブルは、マルチカメラ１１−１１の＋Ｚ面Ｐ１１＋Ｚ、マルチカメラ１１−１２の＋Ｘ面Ｐ１２＋Ｘ、および、マルチカメラ１１−１３の＋Ｚ面Ｐ１３＋Ｚとの３面に対応するものが「１」に設定されて送信され、それ以外の面は送信されない。
このように複数のマルチカメラ１１−１乃至１１−ｎにより撮影された画像は、マルチカメラ１１毎に設定されるカメラレイヤ単位の６つの面のデータとして管理され、さらに、再生に際しては、被写体と仮想視点との位置関係に応じて、送信が必要な面を特定するプライオリティテーブルを生成して、全天球画像の場合には、特定のカメラレイヤの画像のみを送信し、取り囲み画像の送信に際しては、必要とされる面データのみが送信され、送信に係る伝送帯域の負荷を低減させることができる。
以降において、図３１乃至図３５を参照して説明したカメラレイヤの概念を利用した、本開示の画像表示システムについて説明する。
（図３１のコンテンツサーバの構成例）
次に、図３６のブロック図を参照して、高解像度画像処理部３４の構成例について説明する。尚、図３１のコンテンツサーバ５０１の構成において、図２のコンテンツサーバ１２の構成と異なる点は、高解像度画像処理部３４の構成のみであるので、ここでは、図３１のコンテンツサーバ５０１における高解像度画像処理部３４の構成例についてのみ説明する。
図３６の高解像度画像処理部３４と、図３の高解像度画像処理部３４との違いは、グループ化部５５１、プライオリティ設定部５５２、および選択部５５３を設けた点である。
グループ化部５５１は、各マルチカメラ１１の内部パラメータと外部パラメータの少なくとも一方に基づいて、複数のマルチカメラ１１を複数のグループに分類する。グループ化部５５１は、複数のグループのそれぞれに関するグループ情報が登録されるグローバルテーブルを生成する。
また、グループ化部５５１は、グループごとに、そのグループに分類されたマルチカメラ１１により撮影されるテクスチャ画像から３次元データを生成する際に用いられるカメラ情報を登録したグループテーブルを生成する。カメラ情報には、内部パラメータ、および外部パラメータなどがある。グループ化部５５１は、グローバルテーブルとグループテーブルをストレージ５８に格納する。
プライオリティ設定部５５２は、グループ単位で、被写体の存在する視聴領域を複数のグリッドに分割し、グリッド毎に、複数のマルチカメラ１１のそれぞれを構成する各面のカメラ（ここでは、６つの面からなるので、６個のカメラ）により構成されるカメラ配置毎に評価値を設定し、評価値に応じたプライオリティを設定する。
より詳細には、プライオリティ設定部５５２は、複数のマルチカメラ１１のグループ毎に、マルチカメラ１１を構成する６個のカメラのうちの、カメラの画像ごとの、各カメラの外部パラメータと内部パラメータに基づいて、各カメラの画角を求める。プライオリティ設定部５５２は、各カメラの画角に基づいて、３次元データの生成に対するカメラの配置の評価値を算出する。
プライオリティ設定部５５２は、例えば、所定のグループにおいて、マルチカメラ１１の配置と被写体の位置関係は固定されているので、被写体の存在する視聴領域をグリッドに分割し、グリッド単位で、かつ、視線方向単位で、所定のグループに属するマルチカメラ１１を構成するカメラの有無のパターンを変化させて、カメラ配置毎の評価値を算出し、それぞれの評価値に基づいて、そのカメラ配置に含まれるカメラ毎に、プライオリティを算出して、プライオリティテーブルを設定してストレージ５８に格納する。
選択部５５３は、ホームサーバ５０２から要求される仮想視点より、プライオリティ設定部５５２から供給されるプライオリティテーブルに基づいて、仮想視点に対応したカメラにより撮影された面のプライオリティに基づいて、最もプライオリティが画像（面）を選択して、伝送部６０よりホームサーバ５０２に伝送する。
（グループ化部の構成例）
次に、図３７のブロック図を参照して、図３６のグループ化部５５１の構成例について説明する。
図３７のグループ化部５５１は、グルーピング部５６１、グローバルテーブル生成部５６２、およびグループテーブル生成部５６３により構成される。
グループ化部５５１のグルーピング部５６１は、プライオリティ設定部５５２により設定される各カメラの内部パラメータと外部パラメータの少なくとも一方に基づいて、複数のカメラを複数のグループに分類する。グルーピング部５６１は、各グループのグループ情報を生成し、グローバルテーブル生成部５６２に供給する。
また、グルーピング部５６１は、グループごとに、そのグループに分類されたマルチカメラ１１と、各カメラの内部パラメータ、および外部パラメータを、グループテーブル生成部５６３に供給する。
グローバルテーブル生成部５６２（グループ情報生成部）は、グルーピング部５６１から供給される各グループのグループ情報に基づいて、グローバルテーブルを生成する。グローバルテーブル生成部５６２は、グローバルテーブルをストレージ５８に供給して記憶させる。
グループテーブル生成部５６３（カメラ情報生成部）は、グルーピング部５６１から供給される各グループに分類されたマルチカメラ１１の内部パラメータ、および外部パラメータに基づいて、グループごとにグループテーブルを生成する。グループテーブル生成部５６３は、グループテーブルをストレージ５８に供給して記憶させる。
（マルチカメラの第１の分類方法の説明）
図３８および図３９は、グルーピング部５６１によるマルチカメラ１１の第１の分類方法を説明する図である。
図３８および図３９の例では、１３個のマルチカメラ１１のうちの１個のカメラ５７１−０乃至５７１−１２により、３つの３次元物体５７２−０乃至５７２−２が主要な被写体として撮影されている。尚、このことは、後述する図４１においても同様である。また、以下では、カメラ５７１−０乃至５７１−１２を特に区別する必要がない場合、それらをまとめてカメラ７１という。さらに、以降においては、マルチカメラ１１をグルーピングする方法を説明する上で、マルチカメラ１１に属する６つのカメラ５７１のうちの１台のみをグルーピングする例について説明するが、各カメラ５７１が属するグループのそれぞれにマルチカメラ１１が属するものとする。
この場合、第１の分類方法では、グルーピング部５５１は、例えば、図３８に示すように、カメラ５７１の外部パラメータが示す位置に基づいて、ｋ平均法（k-means法）などにより、カメラ５７１の所属するマルチカメラ１１をグループに分類する。すなわち、マルチカメラ１１は、例えば、６つの面を６個のカメラで撮像するものであるので、１個のマルチカメラ１１は、６つの面のそれぞれでグループに属することになる。これにより、全てのマルチカメラ１１は、いずれか１つのグループに分類される。図３８の例では、グルーピング部５６１は、４つのカメラ５７１−０乃至５７１−３の属するマルチカメラ１１を第１のグループに分類し、５つのカメラ７１−４乃至７１−８の属するマルチカメラ１１を第２のグループに分類し、４つのカメラ７１−９乃至７１−１２の属するマルチカメラ１１を第３のグループに分類している。
このとき、グルーピング部５６１は、グループごとに、そのグループに分類される全てのカメラ５７１の属するマルチカメラ１１の位置を含む領域５７３−０乃至５７３−２を決定し、領域５７３−０乃至５７３−２の重心５７４−０乃至５７４−２を求める。領域５７３−０乃至５７３−２のうちの隣り合う領域どうしは、接してもよいし、接しなくてもよい。
図３８の第１の分類方法では、カメラ５７１を含むマルチカメラ１１がいずれか１つのグループに分類されたが、図３９に示すように、少なくとも１つのカメラ５７１が所属するマルチカメラ１１が２以上のグループに分類されることもある。この場合、グルーピング部５６１は、全てのカメラ５７１の外部パラメータが示す位置を含む領域に対して、その領域の一部を構成する部分領域を、少なくとも１つの部分領域が他の部分領域と重なるように設定する。そして、グルーピング部５６１は、部分領域ごとに、その部分領域内に位置するカメラ５７１の属するマルチカメラ１１を１つのグループに分類する。
図３９の例では、全てのカメラ５７１の属するマルチカメラ１１の位置を含む領域に対して、３つの円形の部分領域５８１−０乃至５８１−２が設定されている。そして、部分領域５８１−０内に位置する４つのカメラ５７１−０乃至５７１−３が属するマルチカメラ１１が第１のグループに分類され、部分領域５８１−１内に位置する５つのカメラ５７１−４乃至５７１−８が属するマルチカメラ１１が第２のグループに分類されている。また、部分領域５８１−２内に位置する６つのカメラ５７１−７乃至５７１−１２が属するマルチカメラが第３のグループに分類されている。従って、カメラ５７１−７およびカメラ５７１−８の属するマルチカメラ１１は、第２のグループと第３のグループの両方に分類されている。
このとき、グルーピング部５６１は、部分領域５８１−０乃至５８１−２の重心(中心)５８２−０乃至５８２−２を求める。
なお、図３８および図３９の例では、カメラ５７１により撮影される主な被写体が３次元物体であるようにしたが、３次元空間であってもよい。
（第１の分類方法におけるグローバルテーブルの構成例）
図４０は、第１の分類方法におけるグローバルテーブルの構成例を示す図である。
なお、図４０の例では、グループの数が３であり、各グループに０から順にグループＩＤが付与されている。
図４０のグローバルテーブルでは、各グループのグループＩＤに対応付けて、そのグループの重心位置、領域情報、およびグループテーブル取得情報からなるグループ情報が登録される。
重心位置は、グループに分類される全てのカメラの位置を含む領域の重心（図３８の例では重心５７４−０乃至５７４−２、図３９の例では重心５８２−０乃至５８２−２）の位置を示す３次元座標である。図４０では、グループＩＤがｉ（ｉ=0,1,2）であるグループの重心位置を、３次元座標（xi,yi,zi）と記載している。
また、領域情報は、グループに分類される全てのカメラの位置を含む領域（図３８の例では領域５７３−０乃至５７３−２、図３９の例では部分領域５８１−０乃至５８１−２）を示す情報である。領域５７３−０乃至５７３−２のように、領域の形状が円形ではない場合、領域情報は、例えば、領域の各頂点の３次元座標である。一方、部分領域５８１−０乃至５８１−２のように、領域の形状が円形である場合、領域情報は、例えば、領域の半径を示す情報である。図４０の例では、グループＩＤがｉであるグループの領域情報を、Region iと記載している。
グループテーブル取得情報は、例えば、ストレージ５８内のグローバルテーブルの位置を特定するURL（Uniform Resource Locator）などの情報である。図４０では、グループＩＤがｉであるグループのグループテーブル取得情報を、URL iと記載している。
（マルチカメラの第２の分類方法の説明）
図４１は、図３７のグルーピング部５６１によるマルチカメラ１１の第２の分類方法を説明する図である。
第２の分類方法では、マルチカメラ１１を構成する各カメラと各仮想視点に設置されるものと仮定されるカメラの内部パラメータおよび外部パラメータは同一である。
また、グルーピング部５６１は、図４１に示すように、３次元物体５７２−０乃至５７２−２のそれぞれについて、その３次元物体５７２−０乃至５７２−２を被写体とするテクスチャ画像に対応するマルチカメラ１１のいずれかに属するカメラをグループに分類する。具体的には、グルーピング部５６１は、カメラごとに、内部パラメータと外部パラメータに基づいて、テクスチャ画像（２次元画像）を用いて対応する３次元物体を認識する。そして、グルーピング部５６１は、３次元物体ごとに、その３次元物体に対応するカメラをグループに分類し、対応するマルチカメラ１１を対応付けてグループに分類する。
図４１の例では、グルーピング部５６１は、３次元物体７２−０に対応するグループに、６つのカメラ５７１−０乃至５７１−３、カメラ７１−１０、およびカメラ５７１−１１の属するマルチカメラ１１を分類している。このとき、グルーピング部５６１は、３次元物体５７２−０に対応するグループに分類された全てのカメラ５７１の属するマルチカメラ１１の位置を含む領域６０１を決定し、領域６０１の重心６０２を求める。
また、グルーピング部５６１は、３次元物体５７２−０に対応するグループと同様に、３次元物体５７２−１および５７２−２に対応するグループにカメラ５７１に属するマルチカメラ１１を分類する。そして、グルーピング部５６１は、グループごとに、そのグループに分類された全てのカメラ５７１の属するマルチカメラ１１の位置を含む領域を決定し、その領域の重心を求める。
（第２の分類方法におけるグローバルテーブルの構成例）
図４２は、第２の分類方法におけるグローバルテーブルの構成例を示す図である。
図４２のグローバルテーブルの構成は、グループ情報に３次元物体位置がさらに含まれる点が、図４０の構成と異なっている。
即ち、図４２のグローバルテーブルでは、各グループのグループＩＤに対応付けて、そのグループに対応する３次元物体（図４１の例では３次元物体５７２−０乃至５７２−２）を表す情報としての３次元物体の中心の３次元座標が、３次元物体位置として登録される。つまり、３次元物体位置は、各グループに分類されたカメラに対応するマルチカメラ１１に属するカメラにより撮影されたテクスチャ画像がどの３次元物体の３次元データの生成に用いられたかを示す情報である。図４２では、グループＩＤがｉ（ｉ=0,1,2）であるグループの３次元物体位置は、３次元座標（xsi,ysi,zsi）と記載している。
（カメラの第３の分類方法の説明）
図４３は、図３７のグルーピング部５６１によるカメラの第３の分類方法を説明する図である。
第３の分類方法では、マルチカメラ１１に属する各カメラの主要な被写体が３次元空間である。図４３の例では、マルチカメラ１１に属するカメラの数が１３個であり、１３個のカメラ５７１−０乃至５７１−１２には内部パラメータおよび外部パラメータが設定されている。
さらに、グルーピング部５６１は、図４３に示すように、３次元空間をグリッドやボロノイなどにより３次元空間分割領域に分割する。図４３の例では、いずれかのマルチカメラ１１に属する１３個のカメラ５７１は、３つの３次元空間分割領域６２１−０乃至６２１−２を主要な被写体として撮影している。なお、カメラ５７１により撮影される３次元空間分割領域６２１−０乃至６２１−２には、３次元物体が含まれていてもよい。
また、グルーピング部５６１は、図４３に示すように、３次元空間分割領域６２１−０乃至６２１−２のそれぞれについて、その３次元空間分割領域６２１−０乃至６２１−２を被写体とするテクスチャ画像に対応するカメラをグループに分類する。具体的には、グルーピング部５６１は、カメラごとに、内部パラメータと外部パラメータに基づいて、テクスチャ画像を用いて生成される３次元データに対応する３次元空間分割領域を認識する。そして、グルーピング部５６１は、３次元空間分割領域ごとに、その３次元空間分割領域に対応するカメラをグループに分類する。
図４３の例では、グルーピング部５６１は、３次元空間分割領域６２１−０に対応するグループに、６つのカメラ５７１−０乃至５７１−３、カメラ５７１−１０、およびカメラ５７１−１１に属するマルチカメラ１１を分類している。このとき、グルーピング部５６１は、３次元空間分割領域６２１−０に対応するグループに分類された全てのカメラ５７１の属するマルチカメラ１１の位置を含む領域６０１を決定し、領域６０１の重心６０２を求める。
また、グルーピング部５６１は、３次元空間分割領域６２１−０に対応するグループと同様に、３次元空間分割領域６２１−１および６２１−２に対応するグループにカメラ５７１の属するマルチカメラ１１を分類する。そして、グルーピング部５６１は、グループごとに、そのグループに分類された全てのカメラ５７１の属するマルチカメラ１１の位置を含む領域を決定し、その領域の重心を求める。
（第３の分類方法におけるグローバルテーブルの構成例）
図４４は、第３の分類方法におけるグローバルテーブルの構成例を示す図である。
図４４のグローバルテーブルの構成は、グループ情報に３次元空間分割領域位置がさらに含まれる点が、図４０の構成と異なっている。
即ち、図４４のグローバルテーブルでは、各グループのグループＩＤに対応付けて、そのグループに対応する３次元空間分割領域（図４３の例では３次元空間分割領域６２１−０乃至６２１−２）を表す情報としての３次元空間分割領域の中心の３次元座標が、３次元空間分割領域位置として登録される。つまり、３次元空間分割領域位置は、各グループに分類されたカメラにより撮影されたテクスチャ画像等がどの３次元空間分割領域の３次元データの生成に用いられたかを示す情報である。図４４では、グループＩＤがｉ（ｉ=0,1,2）であるグループの３次元空間分割領域位置は、３次元座標（xci,yci,zci）と記載している。
（グループテーブルの例）
図４５は、図３７のグループテーブル生成部５６３により生成されるグループテーブルの例を示す図である。
図４５に示すように、グループテーブルは、そのグループテーブルに対応するグループに分類されるマルチカメラ１１の属するマルチカメラＩＤと、各マルチカメラに属するカメラにより撮影される面に対応付けて、そのカメラの内部パラメータ、外部パラメータ、ストリーム取得情報が、カメラ情報として登録される。
図４５の例では、グループテーブルに対応するグループに分類されるマルチカメラ１１の数が３つであり、マルチカメラ１１のマルチカメラＩＤが１乃至３であり、各マルチカメラ１１の属するカメラにより撮影される面がposZi，negZi，posXi，negXi，posYi，negYi (i=1,2,3)である。尚、マルチカメラ１１における各カメラに対応する面は、図８を参照して説明した面８１乃至８６に対応するものである。
また、図４５では、posZi，negZi，posXi，negXi，posYi，negYi (i=1,2,3)であるカメラの内部パラメータを、Kij（j=0乃至5）と記載し、外部パラメータはRij|Tijと記載している。
ストリーム取得情報は、テクスチャ画像取得情報とデプス画像取得情報からなる。図４５では、カメラを識別する面がposZi，negZi，posXi，negXi，posYi，negYi (i=1,2,3)であるカメラのテクスチャ画像取得情報を、VIDEO URL ij（j=0乃至5）と記載している。
デプス画像取得情報は、カメラにより撮影されるデプス画像データの符号化ストリームの取得に用いられる情報であり、例えば、ストレージ５８内のデプス画像データの位置を特定するURLなどの情報である。図４５では、カメラを識別する面がposZi，negZi，posXi，negXi，posYi，negYi (i=1,2,3)であるカメラのデプス画像データ取得情報は、DEPTH URL ij（j=0乃至5）と記載している。
選択部５５３は、ホームサーバ５０２からの要求に応じて、以上のようにしてグループテーブルに登録される各カメラのカメラ情報に基づいて、登録されている全てのカメラのカメラ情報から、ホームサーバ５０２により再生される３次元データの生成に用いられるカメラ情報を選択する。
（プライオリティ設定部の構成例）
次に、図４６のブロック図を参照して、プライオリティ設定部５５２の構成例について説明する。プライオリティ設定部５５２は、評価部６５１、およびプライオリティ判定部６５２を備えている。
評価部６５１は、グループ毎に、取り囲み画像を生成するのに必要とされる、各カメラの外部パラメータと内部パラメータに基づいて、各カメラの画角を求める。評価部６５１は、グループを構成するカメラの配置ごとに、各カメラの画角に基づいて、３次元データの生成に対するカメラの配置毎の評価値を算出する。評価部６５１は、カメラの配置ごとの評価値をグループ単位でプライオリティ判定部６５２に供給する。プライオリティ判定部６５２は、評価部６５１より供給されてくる、グループ毎の、各カメラ配置の評価値をプライオリティ判定部６５２に供給する。
プライオリティ判定部６５２は、評価部６５１より供給されてくるグループ毎の各カメラ配置の評価値に基づいて、全天球画像を表示するときのマルチカメラ１１単位の全天球プライオリティと、取り囲み画像を表示する際の各カメラ単位の取り囲みプライオリティとを設定し、プライオリティテーブルを生成して、ストレージ５８に格納する。プライオリティ判定部６５２は、例えば、後述する取り囲み画像のプライオリティである取り囲みプライオリティを設定し、取り囲みプライオリティで設定されるマルチカメラ１１とは無関係に個々のカメラ単位で設定されるプライオリティを用いて、全天球画像のプライオリティである全天球プライオリティを設定するようにしてもよい。プライオリティ判定部６５２は、例えば、全天球プライオリティにより個々のカメラに設定されるプライオリティの総合計により、マルチカメラ１１毎の全天球プライオリティを設定するようにしてもよい。
（取り囲み画像の例）
ここで、図４７を参照して、取り囲み画像を生成するのに必要とされる画像を撮影するカメラによる取り囲み配置の例について説明する。
取り囲み画像は、例えば、図４７に示すように、各グループにおいて、マルチカメラ１１のそれぞれのカメラ５７１が設置される設置領域６９１が、被写体、または、被写体領域からなる視聴領域６９２を含む場合、カメラ５７１の配置が取り囲み配置される。図４７では、設置領域６９１が複数（図４７の例では、１２（横）×８(縦)）のグリッド６９３に分割されている。そして、全てのグリッド６９３の頂点のうちの３つの頂点の組み合わせごとに、その３つの頂点を各カメラ５７１の位置ｔとして含み、各カメラ５７１の光軸が視聴領域６９２の中心点６９４を通る姿勢Ｒを含む各カメラ５７１の外部パラメータが生成されるものとする。３つの頂点の組み合わせごとの各カメラ５７１の外部パラメータが、各カメラ５７１の配置の外部パラメータに決定されるものとする。
なお、設置領域６９１内のカメラ５７１の配置は、全てのカメラ５７１の画角が視聴領域６９２を含むグループ毎となる。
ここで、プライオリティ設定部５５２の構成例の説明に戻る。プライオリティ設定部５５２の評価部６５１は、分割部６７１、投影部６７２、判定部６７３、および計算部６７４により構成される。
評価部６５１の分割部６７１は、各グループで被写体に対応付けられる視聴領域情報の位置を示す視聴領域の表面を複数のグリッドに分割する。分割部６７１は、各グリッドの左上の位置を示す３次元座標などからなるグリッド情報を投影部６７２に供給する。
例えば、分割部６７１は、図４８のＡに示す視聴領域７４１の表面を複数のグリッド７４２に分割し、そのグリッド７４２の左上の位置７４３を示す３次元座標をグリッド情報として投影部６７２に供給する。なお、図４８のＡは、視聴領域７４１の斜視図である。
投影部６７２は、各グループについて、カメラ５７１の配置ごとに、分割部６７１から供給されるグリッド情報、並びに、各カメラ５７１の外部パラメータおよび内部パラメータに基づいて、各グリッドを各カメラ５７１に投影し、投影線を示す投影線情報を生成する。投影部６７２は、カメラ５７１のグループごとに、各グリッドの各カメラ５７１への投影線情報を判定部６７３に供給する。
例えば、投影部６７２は、図４８のＢに示すグリッド７４２の左上の位置７４３をカメラ５７１−１乃至５７１−３のそれぞれに投影し、投影線７４４を示す投影線情報を判定部６７３に供給する。なお、図４８のＢは、カメラ５７１と視聴領域７４１をカメラ５７１の上から見た図である。このことは、図４８のＣにおいても同様である。
判定部６７３は、各グループで、カメラ５７１ごとに、投影部６７２から供給される投影線情報に基づいて、各グリッドに対して、カメラ５７１への投影線が各カメラ５７１の画角内に存在するカメラ５７１の数Viewcountを検出する。
判定部６７３は、グリッドごとに、数Viewcountがカメラ５７１の数Ｎである場合、即ち各カメラ５７１への投影線が全てカメラ５７１の画角内に存在する場合、カメラ５７１の配置が妥当であるかどうか、すなわち、カメラ５７１により被写体が妥当に撮影されているか否かを示すValidFlagを、妥当であることを示す１に設定する。
一方、判定部６７３は、グリッドごとに、数Viewcountがカメラ５７１の数Ｎより小さい場合、即ち各カメラ５７１への投影線の少なくとも１つがカメラ５７１の画角内に存在しない場合、ValidFlagを、妥当ではないことを示す０に設定する。判定部６７３は、カメラ５７１の配置ごとに、各グリッドのValidFlagを算出部６７５に供給する。
例えば、図４８のＢに示す左上の位置７４３からカメラ５７１−１および５７１−２への投影線は、それぞれ、カメラ５７１−１の画角７４２−１、カメラ５７１−２の画角７４２−２内に存在する。しかしながら、左上の位置７４３からカメラ５７１−３への投影線は、カメラ５７１−３の画角７４２−３内に存在しない。従って、判定部６７３は、左上の位置７４３のグリッド７４２について、カメラ５７１の数Viewcountを２と判定する。そして、判定された数Viewcountである２は、カメラ５７１の数Ｎである３より小さいので、判定部６７３は、左上の位置７４３のグリッド７４２のValidFlagを０に設定し、算出部６７５に供給する。
一方、図４８のＢに示す中央下の位置７４３からカメラ５７１−１およびカメラ５７１−３への投影線は、それぞれ、カメラ５７１−１乃至５７１−３の画角７４２−１乃至７４２−３内に存在する。従って、判定部６７３は、中央下の位置７４３のグリッド７４２について、カメラ５７１の数Viewcountを３と判定する。そして、判定された数Viewcountである３は、カメラ５７１の数Ｎである３と同一であるので、判定部６７３は、中央下の位置７４３のグリッド７４２のValidFlagを１に設定し、算出部６７５に供給する。
計算部６７４は、カメラ５７１の配置ごとに、各カメラ５７１の外部パラメータおよび内部パラメータに基づいて、Convex Hullを生成する。Convex Hullは、各カメラ５７１の画角を３次元座標に投影する際に交差する領域であり、カメラ５７１の画角によって生成されるVisual Hullである。Convex Hullの詳細は、例えば、C. BRADFORD BARBER, DAVID P. DOBKIN, HANNU HUHDANPAA,The Quickhull Algorithm for Convex Hullsに記載されている。
図４８のＢの例では、計算部６７４は、Convex Hull７４５を生成する。Convex Hull７４５からはみ出した視聴領域７４１の３次元データを、カメラ５７１により撮影されたテクスチャ画像とデプス画像を用いて生成することはできない。
また、計算部６７４は、カメラ５７１の配置ごとに、Convex Hullのx,y,z座標の最小値と最大値に基づいて、Convex Hullに外接する四角柱であるBounding Boxの３次元座標を計算する。計算部６７４は、カメラ５７１の配置ごとに、Bounding Boxの３次元座標を算出部６７５に供給する。
例えば、計算部６７４は、図４８のＣのConvex Hull７４５のx,y,z座標の最小値と最大値に基づいて、Convex Hull７４５に外接する四角柱であるBounding Box７４６の３次元座標を計算し、算出部６７５に供給する。
算出部６７５は、カメラ５７１の配置ごとに、判定部６７３から供給される各グリッドのValidFlagに基づいて、全てのグリッドのValidFlagが１であるかどうかを判定する。算出部６７５は、全てのグリッドのValidFlagが１であると判定した場合、以下の式（２）に基づいて、評価値Ｅを算出する。
Figure 0006944135
なお、len（R）は、領域Rの辺のｘ方向、ｙ方向、およびｚ方向の長さの和である。また、本明細書では、視聴領域の形状が四角柱であるが、四角柱以外の形状の領域であってもよい。この場合、式（２）において、視聴領域の代わりに、視聴領域に外接する四角柱の領域が用いられる。
式（２）によれば、評価値Ｅは、Bounding Boxに占める視聴領域の割合が大きいほど１に近づく。即ち、評価値Ｅは、Convex Hullに占める視聴領域の割合が大きいほど１に近づく。
例えば、図４９のＢの上段に示すように、Convex Hull７５２に占める視聴領域７４１の割合が比較的大きい場合、図４９のＡの上段に示すように、Convex Hull７５１に占める視聴領域７４１の割合が比較的小さい場合に比べて、評価値Ｅは１に近い値となる。
また、カメラ５７１の配置が取り囲み配置である場合、カメラ５７１により撮影されたテクスチャ画像等からVisual Hullが用いられて３次元データが生成される。従って、図４９のＡの上段に示すように、画角によって生成されるVisual HullであるConvex Hull７５１に占める視聴領域７４１の割合が比較的小さい場合、図４９のＡの下段に示すように、３次元データから生成されるテクスチャ画像７６１内の視聴領域７４１のテクスチャ画像７６２の割合が比較的小さい。
これに対して、図４９のＢの上段に示すように、Convex Hull７５２に占める視聴領域７４１の割合が比較的大きい場合、図４９のＢの下段に示すように、３次元データから生成されるテクスチャ画像７６３内の視聴領域７４１のテクスチャ画像７６４の割合が比較的大きい。従って、視聴領域７４１のテクスチャ画像７６２の分解能は、視聴領域７４１のテクスチャ画像７６４の分解能に比べて高くなる。よって、式（２）により求められる評価値Ｅが１に近いほど、３次元データの精度が高くなる。
また、算出部６７５は、少なくとも１つのグリッドのValidFlagが１であると判定した場合、即ち視聴領域の少なくとも一部が少なくとも１つのカメラ５７１の画角に含まれない場合、評価値Ｅを０に決定する。算出部６７５は、カメラ５７１の配置ごとの評価値Ｅをプライオリティ判定部６５２に供給する。
以上のようにして評価値Ｅが決定されることにより、３次元データの精度が最も高いカメラ５７１の配置に対応する評価値Ｅが、１に最も近くなる。従って、プライオリティ判定部６５２は、評価値Ｅが最も１に近い配置を最適な配置の画像としてプライオリティを判定する。
なお、図４６の例では、投影部６７２が、グリッドをカメラ５７１に投影したが、カメラ５７１をグリッドに投影するようにしてもよい。
また、評価値Ｅは、カメラ５７１により撮影されたテクスチャ画像等を用いて生成されるVisual Hullの精度を示す値であれば、Bounding Boxに占める視聴領域の割合を示す値以外であってもよい。
例えば、評価値Ｅは、convex hullに占める視聴領域の割合、Convex Hullの体積や表面積、Bounding Boxのx,y,z方向の辺の長さの差などを示す値にすることができる。この場合、convex hullに占める視聴領域の割合が最も大きいこと、Convex Hullの体積や表積が最も小さいこと、Bounding Boxのx,y,z方向の辺の長さの差が最も小さい（Bounding Boxが最も立方体に近くなる）ことを示す評価値Ｅに対応する配置が、最適な配置として選択される。
プライオリティ判定部６５２は、カメラ配置に対応する評価値Ｅに基づいて、上述した視聴領域におけるグリッド単位で、対応するカメラ５７１毎に取り囲みプライオリティを判定する。より詳細には、視聴領域７７１に対してカメラ５７１−１乃至５７１−４が、図５０の左部で示されるように配置しているような場合、例えば、各カメラ５７１−１乃至５７１−３により構成されるカメラ構成においては、画角内に被写体であるグリッド７７１Ａが含まれており、評価値Ｅとして比較的高い値が設定される。これに対して、カメラ５７１−４は、被写体であるグリッド７７１Ａを含まないので、比較的低い値が設定されることになる。
結果として、図５０の左部の場合、視聴領域７７１におけるグリッド７７１Ａに対しては、画角内にグリッド７７１Ａが含まれるカメラ５７１−１乃至５７１−３の取り囲みプライオリティがPriority＝１に設定され、グリッド７７１Ａが画角に含まれないカメラ５７１−４は、Priority＝０に設定される。
また、図５０の右部の場合、視聴領域７７１におけるグリッド７７１Ｂに対しては、画角内にグリッド７７１Ｂが含まれるカメラ５７１−１乃至５７１−３の取り囲みプライオリティがPriority＝１に設定され、グリッド７７１Ｂが画角に含まれないカメラ５７１−４は、Priority＝０に設定される。尚、取り囲みプライオリティは、高い程、値が高くなり、低い程、値が０に近づくものであり、ここでは、プライオリティのレンジは０乃至１であるが、レンジは、０乃至１に限るものではなく、０乃至１とは異なるレンジとしてもよい。
さらに、プライオリティ判定部６５２は、これらの取り囲みプライオリティの値に基づいて、全天球画像におけるマルチカメラ１１単位の全天球プライオリティを設定する。例えば、プライオリティ判定部６５２は、グループ単位で、マルチカメラ１１毎に、それぞれに属するカメラの取り囲みプライオリティの合計をマルチカメラ１１の全天球プライオリティとし、属する全てのカメラに合計値を全天球プライオリティとして設定するようにしてもよい。また、プライオリティ判定部６５２は、取り囲みプライオリティとは、無関係に、被写体となるグリッド７７１より最も近いマルチカメラ１１に属するカメラに高いプライオリティを設定し、離れているマルチカメラ１１に属するカメラに低いプライオリティを設定するようにしてもよい。
尚、基本的に、カメラの配置は固定されているため、グループ内においては、グループに属するカメラの組み合わせによりカメラの配置を変化させて評価値を求め、同一グループ内において、最も評価値が大きなカメラ配置におけるプライオリティがグループにおけるプライオリティとして設定されるようにしてもよい。
（プライオリティテーブル）
プライオリティ判定部６５２は、図５０を参照して説明した手法により、カメラ５７１毎のプライオリティに基づいて、プライオリティに関するメタデータであるプライオリティテーブルを生成し、ストレージ５８に格納させる。
より具体的には、例えば、図５１で示されるような視聴領域におけるグリッド毎、かつ、グループ毎のプライオリティテーブルが生成されて、ストレージ５８に格納される。
図５１においては、図中の左からマルチカメラ１１の属するマルチカメラＩＤと、各マルチカメラに属するカメラにより撮影される面毎に対応付けて、全天球プライオリティ、および取り囲みプライオリティが登録される。
全天球プライオリティは、マルチカメラ１１単位でのプライオリティであり、グリッドに対して、カメラ５７１単位で設定されるプライオリティが最も高いものを含むマルチカメラ１１に属するカメラ単位で設定されるプライオリティである。
取り囲みプライオリティは、グリッド毎、かつ、グループ毎に個々のカメラに対して設定されるプライオリティである。
このため、例えば、図５１で示されるプライオリティテーブルにおいては、カメラを識別するマルチカメラ１１のカメラカメラＩＤ＝１の面がposZ1，negZ1，posX1，negX1，posY1，negY1であるカメラの全天球プライオリティが、いずれも2と記載されている。尚、ここでは、プライオリティが０乃至２のレンジで設定されている。
また、カメラを識別するマルチカメラ１１のマルチカメラＩＤ＝１の面がposZ1，negZ3であるカメラのプライオリティが、いずれも2と記載され、面がposX2であるカメラのプライオリティが、1と記載されている。
図５１のようなプライオリティテーブルにより、全天球画像での表示が設定されている場合、全天球プライオリティの設定により、例えば、図５１の右上部で示されるように、マルチカメラＩＤが１乃至３で設定されているうちの、マルチカメラＩＤ＝１に属する６つの面ＰＸ１，ＮＸ１，ＰＹ１，ＮＹ１，ＰＺ１，ＮＺ１の画像が選択される。
また、取り囲み画像での表示が設定されている場合、取り囲みプライオリティの設定により、例えば、図５１の右下部で示されるように、面ＰＸ１，ＮＸ２，ＰＸ３の画像が選択される。
（選択部の構成例）
次に、図５２のブロック図を参照して、選択部５５３の構成例について説明する。
図５２の選択部５５３は、グローバルテーブル取得部７８１、グループ選択部７８２、グループテーブル取得部７８３、および面選択部７８４により構成される。
選択部５５３のグローバルテーブル取得部７８１は、ストレージ５８から供給されるグローバルテーブルを取得し、グループ選択部７８２に供給する。
グループ選択部７８２は、視聴位置および視線方向、グローバルテーブル取得部７８１から供給されるグローバルテーブルに基づいて、全てのグループから、選択面を含むグループを選択する。グループ選択部７８２は、グローバルテーブルに登録されている、選択されたグループをプライオリティテーブル取得部７８３に供給する。
プライオリティテーブル取得部７８３（カメラ情報取得部）は、グループの情報に基づいて、対応するグループのプライオリティテーブルのうち、視聴位置および視線方向により指定されるグリッドのプライオリティテーブルを取得し、ユーザに指定されている画像が全天球画像であるか、または、取り囲み画像であるかに応じてプライオリティを選択し、選択した面の情報を面選択部７８４に供給する。
面選択部７８４は、グループテーブル取得部７８３から供給される選択された面の情報から、ストレージ５８に格納されている面に対応するテクスチャ画像、およびデプス画像を伝送部６０に供給する。
（グループテーブルの選択方法の説明）
図５３を参照して、グループ選択部７８２によるグループテーブルの選択方法について説明する。
図５３の左部で示されるように、仮想視点に仮想的に設置されたカメラ８００が、例えば、画角fov内であって、被写体の前面までの距離nearで、かつ、被写体の背面までの距離farにより、グリッド７７１Ｃが特定される。
図５３の左部で示されるように、図中の上部である視聴領域７７１のうち、グリッド７７１Ｃが、仮想視点に仮想的に設置されたカメラ８００から、視聴する領域であるものとした場合、図５３の右部で示されるように、グリッド７７１Ｃにより特定される、カメラ５７１−１１乃至５７１−１３が属するグループとして、例えば、グループＩＤ＝１のグループが選択される。
以上のように、グループ選択部７８２は、仮想視点に設置されるカメラ８００の被写体が、カメラ８００の画角fov内であって、被写体の前面までの距離nearで、かつ、被写体の背面までの距離farとなるグリッドを特定し、このグリッドを含む領域情報に基づいて、対応付けられているグループを選択する。これにより、面選択部７８４は、選択されたグループについて、プライオリティテーブルの設定を読み出し、プライオリティが上位のカメラの画像のうち、必要な面の情報を取得する。
（ストリーム生成処理の説明）
次に、図５４のフローチャートを参照して、図３１のコンテンツサーバ５０１のストリーム生成処理を説明する。尚、図５４のフローチャートにおけるステップＳ１０１乃至Ｓ１１６の処理は、図１８のステップＳ１０乃至Ｓ２５の処理と同様であるので、その説明は省略するものとする。また、このストリーム生成処理は、図３１のマルチカメラ１１−１乃至１１−ｎの各カメラの撮影画像がフレーム単位で順次供給されたとき、開始される。
ステップＳ１０１乃至Ｓ１１６の処理により、個々のマルチカメラ１１の各面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、およびメタデータが生成されて、ストレージ５８に格納されると処理は、ステップＳ１１７に進む。
ステップＳ１１７において、グループ化部５５１は、グループ化処理を実行し、マルチカメラ１１と、それぞれに属するカメラをグループ化し、グローバルテーブルおよびグループテーブルを生成して、ストレージ５８に記憶させる。尚、グループ化処理は、図５５のフローチャートを参照して、詳細を後述する。
ステップＳ１１８において、プライオリティ設定部５５２は、図４６乃至図５０を参照して説明した手法により、グループごとに、視聴領域と、そのグリッド単位で、各マルチカメラ１１、および各カメラのそれぞれについて、全天球プライオリティおよび取り囲みプライオリティを設定し、これらを含むプライオリティテーブルを生成し、ストレージ５８に記憶させる。
以上の処理により、個別のマルチカメラ１１の各面の第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、およびメタデータが生成されて、ストレージ５８に格納されるとともに、グローバルテーブル、グループテーブル、およびプライオリティテーブルが生成される。
（グループ化処理）
次に、図５５のフローチャートを参照して、グループ化処理を説明する。
ステップＳ１３１において、グループ化部５５１のグルーピング部５６１（図３７）は各マルチカメラ１１に属するカメラの内部パラメータと外部パラメータの少なくとも一方に基づいて、複数のマルチカメラ１１を複数のグループに分類する。グルーピング部５６１は、各グループのグループ情報を生成し、グローバルテーブル生成部５６２に供給する。
また、グルーピング部５６１は、グループごとに、そのグループに分類されたマルチカメラ１１のマルチカメラＩＤ、マルチカメラ１１のカメラを識別する面、内部パラメータ、外部パラメータ、テクスチャ画像取得情報、およびデプス画像取得情報をグループテーブル生成部５６３に供給する。
ステップＳ１３２において、グローバルテーブル生成部５６２は、グルーピング部５６１から供給される各グループのグループ情報に基づいて、グローバルテーブルを生成する。グローバルテーブル生成部５６２は、グローバルテーブルをストレージ５８に供給する。
ステップＳ１３３において、グループテーブル生成部５６３は、グルーピング部５６１から供給される各グループに分類されたマルチカメラ１１のマルチカメラＩＤ、マルチカメラ１１の各カメラを識別する面、内部パラメータ、外部パラメータ、テクスチャ画像取得情報、およびデプス画像取得情報に基づいて、グループごとにグループテーブルを生成する。グループテーブル生成部５６３は、グループテーブルをストレージ部５８に供給する。
以上の処理により、複数のマルチカメラ１１のそれぞれに加えて、さらに、各マルチカメラ１１に属するカメラを識別する面の情報がグループ化され、グローバルテーブル、およびグループテーブルが生成されて、ストレージ５８に格納される。
（図３１のホームサーバの構成例）
次に、図５６のブロック図を参照して、図３１のホームサーバ５０２の構成例について説明する。尚、図５６のホームサーバ５０２において、図１９のホームサーバ１３における構成と同一の機能を備えた構成については、同一の符号、および同一の名称を付しており、その説明は適宜省略する。
ホームサーバ５０２において、ホームサーバ１３と異なる点は、視線検出部２３４に代えて視線検出部８３１を設け、画像要求部８３２を新たに設けた点である。
視線検出部８３１は、基本的な機能は、視線検出部２３４と同一の機能を備えているが、さらに、３Ｄモデル座標系における視聴位置および視線方向、並びに、第１レイヤのテーブルに基づいて、６つの面のうちの、視聴位置から視線方向に延びる視線に最も近い視線ベクトルに対応する３つの面からなる選択面の情報を決定し、視聴位置および視線方向と共に画像要求部８３２に供給する。
画像要求部８３２は、視線検出部８３１より供給されてくる、視聴位置および視線方向、並びに、選択面の情報を取得すると、視聴位置および視線方向と共に、対応する３つの面からなる選択面をコンテンツサーバ５０１に要求する。
受け取り部２３１は、要求に応じた選択面の情報を受け取り、ストレージ２３２に格納する。視線検出部８３１は、３つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、ストレージ２３２から読み出す。
（図３１の再生処理）
図５７，図５８のフローチャートを参照して、図３１の画像表示システムによる再生処理について説明する。尚、図５７のフローチャートは、ホームサーバ５０２の処理であり、図５８のフローチャートは、コンテンツサーバ５０１の処理である。
尚、図５７のフローチャートにおけるステップＳ１８１乃至Ｓ１８６、およびステップＳ１８９乃至Ｓ１９３の処理については、図２６のフローチャートにおけるステップＳ４３乃至Ｓ４８、およびステップＳ５０乃至Ｓ５４の処理と同一であるので、その説明は省略するものとする。
すなわち、ステップＳ１８１乃至Ｓ１８６の処理により、視野範囲が決定すると、ステップＳ１８７において、画像要求部８３２は、仮想視点となる視聴者の視野範囲に基づいて、視聴位置および視線方向、および対応する選択面の画像を要求する。この際、画像要求部８３２は、全天球画像、または、取り囲み画像のいずれの種別を選択するかについても併せて要求する。
この要求に応じて、ステップＳ２１１（図５８）において、選択部５５３のグローバルテーブル取得部７８１は、ストレージ５８から供給されるグローバルテーブルを取得し、グループ選択部７８２に供給する。
ステップＳ２１２において、グループ選択部７８２は、要求に含まれている視聴位置および視線方向、対応する選択面、グローバルテーブル取得部７８１から供給されるグローバルテーブルに基づいて、全てのグループから、例えば、図５４を参照して説明した手法により選択面を含むグループを選択する。グループ選択部７８２は、グローバルテーブルに登録されている、選択されたグループの情報をプライオリティテーブル取得部７８３に供給する。
ステップＳ２１３において、プライオリティテーブル取得部７８３（カメラ情報取得部）は、グループテーブル取得情報に基づいて、対応するグループのプライオリティテーブルのうち、仮想視点により指定されるグリッドのプライオリティテーブルを取得し、ユーザに指定されている画像が全天球画像であるか、または、取り囲み画像であるかに応じたプライオリティに基づいて、要求にあった選択面の情報を面選択部７８４に供給する。
ステップＳ２１４において、面選択部７８４は、グループテーブル取得部７８３から供給される選択面の情報から、ストレージ５８に格納されている面の情報のうち、３つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、ストレージ２３２から読み出す。視線検出部２３４は、読み出された第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを伝送部６０に供給する。
この処理により、ステップＳ１８８において、受け取り部２３１は、３つの選択面に対応する第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームを、ストレージ２３２から読み出す。視線検出部２３４は、読み出された第１レイヤテクスチャストリーム、第１レイヤデプスストリーム、第２レイヤテクスチャストリーム、および第２レイヤデプスストリームをストレージ２３２に格納させる。
視線検出部８３１が、ストレージ２３２より読み出して以降の処理を実行する。
以上の処理により、視聴位置および視線方向に基づいて、グローバルテーブルよりグループが選択され、選択されたグループのプライオリティテーブルが、例えば、図５１の左部であり、全天球画像での表示が設定されている場合、全天球プライオリティの設定により、図５１の右上部で示される左部で示されるように、マルチカメラＩＤが１乃至３で設定されているうちの、マルチカメラＩＤに属する６つの面ＰＸ１，ＮＸ１，ＰＹ１，ＮＹ１，ＰＺ１，ＮＺ１の画像が選択され、このうち、選択面となる３面の情報が送信される。
また、取り囲み画像での表示が設定されている場合、取り囲みプライオリティの設定により、図５１の右下部で示されるように、面ＰＸ１，ＮＸ２，ＰＸ３の画像が選択される。
結果として、コンテンツサーバにおいては、複数のマルチカメラにより撮影された画像を蓄積することが可能となり、さらに、それらをマルチカメラ毎、および、マルチカメラに属するカメラ１つ１つについて、グループ毎に管理することが可能となる。
また、各グループについて、カメラ全天球画像に対応する全天球プライオリティ、および、取り囲み画像に対応する取り囲みプライオリティを設定することが可能となり、視聴位置および視線方向に対応付けてホームサーバに配信することが可能となる。
この際、コンテンツサーバは、ホームサーバからの視聴位置および視線方向に基づいた画像の要求に応じた面の画像データのみを送信するだけでホームサーバでの再生を実現することが可能となる。さらに、ホームサーバからの視聴位置および視線方向に基づいた画像の要求に応じた面の画像データのみを送信するだけでよくなるので、ホームサーバにおけるストレージ容量やハードウエアに要求される処理速度を低減させることが可能になるとともに、伝送帯域も低減させることが可能となる。さらに、画像データを送信する際、複数のマルチカメラ１１により撮影されている、同一の面の画像データについては、複数レイヤで送信することが可能となり、より高精度の３次元データを生成することが可能となる。
＜第４実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図５９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図５９のコンピュータにおいて、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
図５９のコンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、図５９のコンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
＜応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図６０は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図６０に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図６０では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図６１は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図６１には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図６０に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図６０の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図６０に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
なお、図１乃至図５９を用いて説明した本実施形態に係る画像表示システム１０（４００）の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム７０００において、図１乃至図５８を用いて説明した本実施形態に係る画像表示システム１０（４００）は、図６０に示した応用例の車両制御システム７０００に適用することができる。例えば、画像表示システム１０（４００）のマルチカメラ１１は、撮像部７４１０の少なくとも一部に相当する。また、コンテンツサーバ１２、ホームサーバ１３（配信サーバ４０１、ネットワーク４０２、再生装置４０３）、および変換装置１４は一体化され、統合制御ユニット７６００のマイクロコンピュータ７６１０と記憶部７６９０に相当する。ヘッドマウントディスプレイ１５は、表示部７７２０に相当する。なお、画像表示システム１０（４００）を車両制御システム７０００に適用する場合、カメラ１３Ａ、マーカ１５Ａ、およびジャイロセンサ１５Ｂは設けられず、視聴者である搭乗者の入力部７８００の操作により視聴者の視線方向および視聴位置が入力される。以上のようにして、画像表示システム１０（４００）を、図６０に示した応用例の車両制御システム７０００に適用することにより、全天球画像を用いて高画質の表示画像を生成することができる。
また、図１乃至図５８を用いて説明した画像表示システム１０（４００）の少なくとも一部の構成要素は、図６０に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１乃至図３０を用いて説明した画像表示システム１０（４００）が、図６０に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本開示は、以下のような構成もとることができる。
＜１＞ 被写体の３次元データの生成に必要なテクスチャ画像を取得する複数のカメラを複数のグループに分類するグルーピング部と、
前記複数のグループ毎に、前記複数のカメラのプライオリティを設定するプライオリティ設定部と
を含む画像処理装置。
＜２＞ 視聴者の視聴位置と視線方向に基づいた、前記視聴者の視野範囲に対応する、前記被写体の前記３次元データの生成に必要なテクスチャ画像の要求を受信し、前記複数のグループのうち、前記視聴者の視野範囲の、前記被写体を含むテクスチャ画像を取得するカメラのグループを選択するグループ選択部と、
前記グループ選択部により選択されたグループにおける、前記カメラのプライオリティに応じて、前記視聴者の視野範囲に対応するテクスチャ画像を選択して、送信する画像選択部とをさらに含む
＜１＞に記載の画像処理装置。
＜３＞ 前記複数のグループに分類された、前記被写体を含むテクスチャ画像を取得する複数のカメラのグループ毎に、前記被写体の３次元データの生成に用いられる前記テクスチャ画像を撮影するカメラの配置に基づいて、前記３次元データの生成に対する前記カメラの配置の評価値を算出する評価部をさらに含み、
プライオリティ設定部は、前記グループ毎に、前記評価値に基づいて、前記カメラのプライオリティを設定する
＜１＞または＜２＞に記載の画像処理装置。
＜４＞ 前記被写体の前記３次元データの生成に必要なテクスチャ画像は、全天球画像、および取り囲み画像を含み、
前記プライオリティ設定部は、前記評価値に基づいて、前記グループ毎に、前記全天球画像における場合の前記複数のカメラのプライオリティである全天球プライオリティ、および前記取り囲み画像における場合の前記複数のカメラのプライオリティである取り囲みプライオリティを設定する
＜３＞に記載の画像処理装置。
＜５＞ 前記受信部により受信される要求は、前記全天球画像、および前記取り囲み画像のいずれかを指定する情報を含み、
前記画像選択部は、
前記要求に、前記全天球画像を指定する情報が含まれている場合、前記グループ選択部により選択されたグループにおける、前記カメラの全天球プライオリティに応じて、前記全天球画像の生成に必要な、前記視聴者の視野範囲に対応するテクスチャ画像を選択して、送信し、
前記要求に、前記取り囲み画像を指定する情報が含まれている場合、前記グループ選択部により選択されたグループにおける、前記カメラの取り囲みプライオリティに応じて、前記取り囲み画像の生成に必要な、前記視聴者の視野範囲に対応するテクスチャ画像を選択して、送信する
＜４＞に記載の画像処理装置。
＜６＞ 前記複数のカメラは、複数の方向を撮影する複数のマルチカメラを構成するものであり、
前記グルーピング部は、前記被写体の３次元データの生成に必要なテクスチャ画像を取得する複数のカメラと共に、前記マルチカメラをも併せて前記複数のグループに分類する
＜４＞に記載の画像処理装置。
＜７＞ 前記プライオリティ設定部は、前記評価値に基づいて、前記複数のグループ毎に、前記マルチカメラ単位で、前記複数のカメラの前記全天球プライオリティを設定する
＜６＞に記載の画像処理装置。
＜８＞ 前記グルーピング部は、前記複数のカメラの位置に基づいて、前記複数のカメラを前記複数のグループに分類する
ように構成された
＜１＞乃至＜７＞のいずれかに記載の画像処理装置。
＜９＞ 前記複数のグループのそれぞれに関するグループ情報を生成するグループ情報生成部をさらに含み、
前記グループ情報は、前記グループに分類された前記カメラを含む領域の重心位置を表す情報である
ように構成された
＜８＞に記載の画像処理装置。
＜１０＞ 前記グルーピング部は、前記テクスチャ画像を用いて生成される３次元データに対応する３次元物体ごとに、前記テクスチャ画像に対応するカメラを前記グループに分類する
ように構成された
＜１＞乃至＜９＞のいずれかに記載の画像処理装置。
＜１１＞ 前記複数のグループのそれぞれに関するグループ情報を生成するグループ情報生成部をさらに含み、
前記グループ情報は、前記グループに対応する前記３次元物体を表す情報である
ように構成された
＜１０＞に記載の画像処理装置。
＜１２＞ 前記グルーピング部は、前記テクスチャ画像を用いて生成される３次元データに対応する３次元空間ごとに、前記テクスチャ画像に対応するカメラを前記グループに分類する
ように構成された
＜１＞乃至＜１１＞に記載の画像処理装置。
＜１３＞ 前記複数のグループのそれぞれに関するグループ情報を生成するグループ情報生成部をさらに含み、
前記グループ情報は、前記グループに対応する前記３次元空間を表す情報である
ように構成された
＜１２＞に記載の画像処理装置。
＜１４＞ 被写体の３次元データの生成に必要なテクスチャ画像を取得する複数のカメラを複数のグループに分類し、
前記複数のグループ毎に、前記複数のカメラのプライオリティを設定するステップと
を含む画像処理方法。
＜１５＞ 視聴者の視聴位置と視線方向に基づいた、前記視聴者の視野範囲に対応する、被写体の前記３次元データの生成に必要なテクスチャ画像の要求を送信する送信部と、
前記被写体の３次元データの生成に必要なテクスチャ画像を取得する複数のカメラが分類されている、複数のグループのうちの、前記要求に基づいて、前記視聴者の視野範囲に対応するグループとして選択された複数のカメラであって、前記グループに属する複数のカメラに対して設定されるプライオリティに応じて選択されて、送信されてきたテクスチャ画像を再生する再生部と
を含む画像処理装置。
＜１６＞ 前記要求は、前記全天球画像、および前記取り囲み画像のいずれかを指定する情報を含む
＜１５＞に記載の画像処理装置。
＜１７＞ 視聴者の視聴位置と視線方向に基づいた、前記視聴者の視野範囲に対応する、被写体の前記３次元データの生成に必要なテクスチャ画像の要求を送信し、
前記被写体の３次元データの生成に必要なテクスチャ画像を取得する複数のカメラが分類されている、複数のグループのうちの、前記要求に基づいて、前記視聴者の視野範囲に対応するグループとして選択された複数のカメラであって、前記グループに属する複数のカメラに対して設定されるプライオリティに応じて選択されて、送信されてきたテクスチャ画像を再生するステップと
を含む画像処理方法。
１２ コンテンツサーバ, １３ ホームサーバ, ５２ 第１レイヤ生成部, ５４ 第２レイヤ生成部, ５７ メタデータ生成部, ２３９ 描画部, ２５６ ３Ｄモデル生成部, ２６１ オクルージョン処理部, ４０３ 再生装置， ５０１ コンテンツサーバ， ５０２ ホームサーバ， ５５１ グループ化部， ５５２ プライオリティ設定部， ５２３ 選択部， ５６１ グルーピング部， ５６２ グローバルテーブル生成部， ５６３ グループテーブル生成部， ６５１ 評価部， ６５２プライオリティ判定部， ６７１ 分割部， ６７２ 投影部， ６７３ 判定部， ６７４ 計算部， ６７５ 算出部， ７８１ グローバルテーブル取得部， ７８２ グループ選択部， ７８３ プライオリティテーブル取得部， ７８４ 面選択部

Claims (12)

  1. 被写体の３次元データの生成に必要なテクスチャ画像を取得する複数のカメラを複数のグループに分類するグルーピング部と、
    前記複数のグループ毎に、前記複数のカメラのプライオリティを設定するプライオリティ設定部と、
    前記複数のグループに分類された、前記被写体を含むテクスチャ画像を取得する複数のカメラのグループ毎に、前記被写体の３次元データの生成に用いられる前記テクスチャ画像を撮影するカメラの配置に基づいて、前記３次元データの生成に対する前記カメラの配置の評価値を算出する評価部とを備え、
    前記被写体の前記３次元データの生成に必要なテクスチャ画像は、全天球画像、および取り囲み画像を含み、
    前記プライオリティ設定部は、前記評価値に基づいて、前記グループ毎に、前記全天球画像における場合の前記複数のカメラのプライオリティである全天球プライオリティ、および前記取り囲み画像における場合の前記複数のカメラのプライオリティである取り囲みプライオリティを設定する
    画像処理装置。
  2. 視聴者の視聴位置と視線方向に基づいた、前記視聴者の視野範囲に対応する、前記被写体の前記３次元データの生成に必要なテクスチャ画像の要求を受信し、前記複数のグループのうち、前記視聴者の視野範囲の、前記被写体を含むテクスチャ画像を取得するカメラのグループを選択するグループ選択部と、
    前記グループ選択部により選択されたグループにおける、前記カメラのプライオリティに応じて、前記視聴者の視野範囲に対応するテクスチャ画像を選択して、送信する画像選択部とをさらに含む
    請求項１に記載の画像処理装置。
  3. 前記グループ選択部により受信される要求は、前記全天球画像、および前記取り囲み画像のいずれかを指定する情報を含み、
    前記画像選択部は、
    前記要求に、前記全天球画像を指定する情報が含まれている場合、前記グループ選択部により選択されたグループにおける、前記カメラの全天球プライオリティに応じて、前記全天球画像の生成に必要な、前記視聴者の視野範囲に対応するテクスチャ画像を選択して、送信し、
    前記要求に、前記取り囲み画像を指定する情報が含まれている場合、前記グループ選択部により選択されたグループにおける、前記カメラの取り囲みプライオリティに応じて、前記取り囲み画像の生成に必要な、前記視聴者の視野範囲に対応するテクスチャ画像を選択して、送信する
    請求項２に記載の画像処理装置。
  4. 前記複数のカメラは、複数の方向を撮影する複数のマルチカメラを構成するものであり、
    前記グルーピング部は、前記被写体の３次元データの生成に必要なテクスチャ画像を取得する複数のカメラと共に、前記マルチカメラをも併せて前記複数のグループに分類する
    請求項１に記載の画像処理装置。
  5. 前記プライオリティ設定部は、前記評価値に基づいて、前記複数のグループ毎に、前記マルチカメラ単位で、前記複数のカメラの前記全天球プライオリティを設定する
    請求項４に記載の画像処理装置。
  6. 前記グルーピング部は、前記複数のカメラの位置に基づいて、前記複数のカメラを前記複数のグループに分類する
    ように構成された
    請求項１乃至５のいずれかに記載の画像処理装置。
  7. 前記複数のグループのそれぞれに関するグループ情報を生成するグループ情報生成部をさらに含み、
    前記グループ情報は、前記グループに分類された前記カメラを含む領域の重心位置を表す情報である
    ように構成された
    請求項６に記載の画像処理装置。
  8. 前記グルーピング部は、前記テクスチャ画像を用いて生成される３次元データに対応する３次元物体ごとに、前記テクスチャ画像に対応するカメラを前記グループに分類する
    ように構成された
    請求項１乃至７のいずれかに記載の画像処理装置。
  9. 前記複数のグループのそれぞれに関するグループ情報を生成するグループ情報生成部をさらに含み、
    前記グループ情報は、前記グループに対応する３次元物体を表す情報である
    ように構成された
    請求項８に記載の画像処理装置。
  10. 前記グルーピング部は、前記テクスチャ画像を用いて生成される３次元データに対応する３次元空間ごとに、前記テクスチャ画像に対応するカメラを前記グループに分類する
    ように構成された
    請求項１乃至９のいずれかに記載の画像処理装置。
  11. 前記複数のグループのそれぞれに関するグループ情報を生成するグループ情報生成部をさらに含み、
    前記グループ情報は、前記グループに対応する前記３次元空間を表す情報である
    ように構成された
    請求項１０に記載の画像処理装置。
  12. 被写体の３次元データの生成に必要なテクスチャ画像を取得する複数のカメラを複数のグループに分類し、
    前記複数のグループ毎に、前記複数のカメラのプライオリティを設定し、
    前記複数のグループに分類された、前記被写体を含むテクスチャ画像を取得する複数のカメラのグループ毎に、前記被写体の３次元データの生成に用いられる前記テクスチャ画像を撮影するカメラの配置に基づいて、前記３次元データの生成に対する前記カメラの配置の評価値を算出するステップを含み、
    前記被写体の前記３次元データの生成に必要なテクスチャ画像は、全天球画像、および取り囲み画像を含み、
    前記評価値に基づいて、前記グループ毎に、前記全天球画像における場合の前記複数のカメラのプライオリティである全天球プライオリティ、および前記取り囲み画像における場合の前記複数のカメラのプライオリティである取り囲みプライオリティが設定される
    画像処理方法。
JP2018529780A 2016-07-29 2017-07-14 画像処理装置および画像処理方法 Active JP6944135B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016149883 2016-07-29
JP2016149883 2016-07-29
PCT/JP2017/025724 WO2018021068A1 (ja) 2016-07-29 2017-07-14 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2018021068A1 JPWO2018021068A1 (ja) 2019-05-16
JP6944135B2 true JP6944135B2 (ja) 2021-10-06

Family

ID=61016038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018529780A Active JP6944135B2 (ja) 2016-07-29 2017-07-14 画像処理装置および画像処理方法

Country Status (5)

Country Link
US (1) US10872456B2 (ja)
JP (1) JP6944135B2 (ja)
CN (1) CN109643467B (ja)
DE (1) DE112017003815T5 (ja)
WO (1) WO2018021068A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664993B1 (en) 2017-03-13 2020-05-26 Occipital, Inc. System for determining a pose of an object
JP6946963B2 (ja) * 2017-11-17 2021-10-13 株式会社アイシン 重畳画像表示装置及びコンピュータプログラム
JP7182865B2 (ja) * 2017-11-28 2022-12-05 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
JP7331088B2 (ja) * 2018-09-24 2023-08-22 マジック リープ， インコーポレイテッド ３次元モデル共有のための方法およびシステム
US12010719B2 (en) * 2019-02-13 2024-06-11 Sony Group Corporation Moving body, communication method, and program
CN113055587A (zh) * 2019-12-27 2021-06-29 财团法人工业技术研究院 全景视频处理方法、全景视频处理装置与全景视频系统
US11877021B2 (en) * 2019-12-27 2024-01-16 Nippon Hoso Kyokai Transmitting device and receiving device
CN111885350A (zh) * 2020-06-10 2020-11-03 北京旷视科技有限公司 一种图像处理方法、系统、服务器及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4075039B2 (ja) * 2002-02-19 2008-04-16 株式会社セガ テクスチャマッピング方法、プログラム及び装置
DE10229706A1 (de) * 2002-07-02 2004-12-09 T-Mobile Deutschland Gmbh Verfahren zur Speicherplatzverwaltung in einem Speichrmedium eines digitalen Endgeräts bei einer Datenspeicherung nach dem Verfahren der priorisierten Pixelübertragung
JP4478510B2 (ja) * 2004-06-03 2010-06-09 キヤノン株式会社 カメラシステム、カメラ、及びカメラの制御方法
JP4475643B2 (ja) 2004-06-29 2010-06-09 キヤノン株式会社 画像符号化装置及び方法
JP2011128938A (ja) * 2009-12-18 2011-06-30 Nikon Corp 画像表示装置、および画像表示プログラム
JP6126821B2 (ja) 2012-11-09 2017-05-10 任天堂株式会社 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置
JP6198389B2 (ja) * 2012-12-19 2017-09-20 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
JP6878014B2 (ja) * 2017-01-13 2021-05-26 キヤノン株式会社 画像処理装置及びその方法、プログラム、画像処理システム
US10521020B2 (en) * 2017-07-12 2019-12-31 Unity IPR ApS Methods and systems for displaying UI elements in mixed reality environments

Also Published As

Publication number Publication date
CN109643467A (zh) 2019-04-16
WO2018021068A1 (ja) 2018-02-01
JPWO2018021068A1 (ja) 2019-05-16
DE112017003815T5 (de) 2019-04-18
US10872456B2 (en) 2020-12-22
CN109643467B (zh) 2023-06-02
US20190228558A1 (en) 2019-07-25

Similar Documents

Publication Publication Date Title
JP6944136B2 (ja) 画像処理装置および画像処理方法
EP3493164B1 (en) Image processing device and image processing method
JP6944135B2 (ja) 画像処理装置および画像処理方法
JP6944137B2 (ja) 画像処理装置および画像処理方法
JP7127539B2 (ja) 画像処理装置および画像処理方法
JP7040466B2 (ja) 画像処理装置および画像処理方法
JP6944133B2 (ja) 画像処理装置および画像処理方法
JP6944134B2 (ja) 画像処理装置および画像処理方法
JP7028168B2 (ja) 画像処理装置および画像処理方法
JP6743894B2 (ja) 画像処理装置および画像処理方法
JP6977725B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210811

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210824

R151 Written notification of patent or utility model registration

Ref document number: 6944135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151