以下、本開示を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態:画像表示システム(図1乃至図28)
2.第2実施の形態:画像表示システム(図29乃至図64)
3.第3実施の形態:画像表示システム(図65)
4.テクスチャ画像の他の例(図66)
5.第4実施の形態:コンピュータ(図67)
6.応用例(図68および図69)
<1.第1実施の形態>
(画像表示システムの第1実施の形態の構成例)
図1は、本開示を適用した画像表示システムの第1実施の形態の構成例を示すブロック図である。
図1の画像表示システム10は、マルチカメラ11、コンテンツサーバ12、ホームサーバ13、変換装置14、およびヘッドマウントディスプレイ15により構成される。画像表示システム10は、マルチカメラ11により撮影されたYCbCr画像(YUV画像)である撮影画像から全天球画像を生成し、全天球画像のうちの視聴者の視野範囲の画像を表示する。
具体的には、画像表示システム10のマルチカメラ11は、水平方向の周囲360度および垂直方向の周囲180度を撮影範囲として、外向きに配置された複数(図1の例では6個)のカメラにより構成される。各カメラは、撮影を行い、撮影画像をフレーム単位で生成する。マルチカメラ11は、各カメラの撮影画像をコンテンツサーバ12に供給する。
コンテンツサーバ12(画像処理装置)は、マルチカメラ11から供給される各カメラの撮影画像から、所定の視点の全天球画像のテクスチャ画像とデプス画像を生成する。第1実施の形態では、デプス画像は、所定の視点から各画素における被写体までの直線の距離rを示す8ビットの値としての、距離rの逆数1/rを画素値とする画像である。
コンテンツサーバ12は、全天球画像のテクスチャ画像とデプス画像を低解像度化し、低解像度テクスチャ画像と低解像度デプス画像とを生成する。コンテンツサーバ12は、低解像度テクスチャ画像と低解像度デプス画像を、AVC(Advanced Video Coding)やHEVC(High Efficiency Video Coding)/H.265等の符号化方式で圧縮符号化する。コンテンツサーバ12は、その結果得られる低解像度テクスチャ画像の符号化ストリーム(以下、低解像度テクスチャストリームという)と低解像度デプス画像の符号化ストリーム(以下、低解像度デプスストリームという)を記憶する。
また、コンテンツサーバ12は、各カメラの撮影画像を用いて、全天球画像における視点を中心とした立方体を構成する6つの面に対応するテクスチャ画像とデプス画像を階層化して生成する。具体的には、コンテンツサーバ12は、6つの面の第1レイヤおよび第2レイヤのテクスチャ画像とデプス画像を生成する。なお、全天球画像における視点と立方体の中心は異なっていてもよい。
コンテンツサーバ12は、各面の第1レイヤのテクスチャ画像とデプス画像からなる第1レイヤ画像と、各面の第2レイヤのテクスチャ画像とデプス画像からなる第2レイヤ画像を、面、画像の種類、およびレイヤごとに、AVCやHEVC等の符号化方式で圧縮符号化する。コンテンツサーバ12は、その結果得られる各面の第1レイヤのテクスチャ画像の符号化ストリーム(以下、第1レイヤテクスチャストリームという)、第1レイヤのデプス画像の符号化ストリーム(以下、第1レイヤデプスストリームという)、第2レイヤのテクスチャ画像の符号化ストリーム(以下、第2レイヤテクスチャストリームという)、および第2レイヤのデプス画像の符号化ストリーム(以下、第2レイヤデプスストリームという)を記憶する。なお、第1レイヤ画像と第2レイヤ画像の符号化方式は、MVC(Multiview Video Coding)方式や3D-HEVC方式等であってもよい。
また、コンテンツサーバ12は、第1レイヤおよび第2レイヤの各面に関する情報等をメタデータとして生成し、記憶する。コンテンツサーバ12は、記憶している低解像度テクスチャストリームおよび低解像度デプスストリーム、6つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリーム、並びにメタデータを、図示せぬネットワークを介してホームサーバ13に伝送する。
なお、コンテンツサーバ12は、6つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームを再構成(詳細は後述する)することもできる。この場合、コンテンツサーバ12は、再構成後の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームと、それらに対応するメタデータをホームサーバ13に伝送することもできる。しかしながら、以下では、説明の便宜上、再構成が行われた場合であっても、再構成前の6つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームが、ホームサーバ13に伝送されるものとする。
ホームサーバ13(画像処理装置)は、コンテンツサーバ12から伝送されてくる、低解像度テクスチャストリームおよび低解像度デプスストリーム、6つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリーム、並びにメタデータを受け取る。
また、ホームサーバ13は、カメラ13Aを内蔵し、視聴者の頭部に装着されるヘッドマウントディスプレイ15に付されたマーカ15Aを撮影する。そして、ホームサーバ13は、マーカ15Aの撮影画像に基づいて視聴位置を検出する。さらに、ホームサーバ13は、ヘッドマウントディスプレイ15のジャイロセンサ15Bの検出結果を、ヘッドマウントディスプレイ15から変換装置14を介して受け取る。ホームサーバ13は、ジャイロセンサ15Bの検出結果に基づいて視聴者の視線方向を決定し、視聴位置と視線方向に基づいて視聴者の視野範囲を決定する。
ホームサーバ13は、第1レイヤの6つの面のうちの、視聴者の視線方向に対応する3つの面を選択する。そして、ホームサーバ13は、選択された3つの面に対応する第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームを復号する。これにより、ホームサーバ13は、選択された3つの面に対応する第1レイヤおよび第2レイヤのテクスチャ画像およびデプス画像を生成する。
また、ホームサーバ13は、低解像度テクスチャストリームと低解像度デプスストリームを復号し、低解像度テクスチャ画像と低解像度デプス画像を生成する。ホームサーバ13は、選択された3つの面に対応する第1レイヤおよび第2レイヤのテクスチャ画像およびデプス画像、並びに、低解像度テクスチャ画像と低解像度デプス画像を用いて、視聴者の視野範囲の画像を表示画像として生成する。ホームサーバ13は、図示せぬHDMI(登録商標)(High-Definition Multimedia Interface)ケーブルを介して表示画像を変換装置14に伝送する。
変換装置14は、ホームサーバ13から伝送されてくる表示画像における座標を、ヘッドマウントディスプレイ15における座標に変換する。変換装置14は、座標変換後の表示画像をヘッドマウントディスプレイ15に供給する。
ヘッドマウントディスプレイ15は、マーカ15Aとジャイロセンサ15Bを有し、視聴者の頭部に装着される。ヘッドマウントディスプレイ15は、変換装置14から供給される表示画像を表示する。また、ヘッドマウントディスプレイ15に内蔵されるジャイロセンサ15Bは、ヘッドマウントディスプレイ15の傾きを検出し、その検出結果を、変換装置14を介してホームサーバ13に伝送する。
(コンテンツサーバの構成例)
図2は、図1のコンテンツサーバ12の構成例を示すブロック図である。
図2のコンテンツサーバ12は、デプス検出部31、量子化部32、低解像度画像処理部33、および高解像度画像処理部34により構成される。
コンテンツサーバ12のデプス検出部31は、図1のマルチカメラ11から供給される各カメラの撮影画像の画素ごとに、その画素における被写体を含む奥行き方向に垂直なデプス平面とカメラの間の奥行き方向の距離zの逆数1/zを検出する。デプス検出部31は、その結果得られる各カメラの撮影画像の各画素の逆数1/zを量子化部32に供給する。
量子化部32は、デプス検出部31から供給される各カメラの撮影画像の各画素の逆数1/zを、全天球画像において視点とされるマルチカメラ11の3次元座標系(以下、カメラ座標系という)における所定の3次元位置を視点としたときの逆数1/rに変換する。そして、量子化部32は、以下の式(1)により、逆数1/rに対して8ビット量子化を行う。
なお、Id(r)は、距離rの逆数1/rの8ビット量子化後の値である。rmax,rminは、それぞれ、全カメラの撮影画像における距離rの最大値、最小値である。
量子化部32は、各カメラの撮影画像の各画素の逆数1/rの8ビット量子化後の値を画素値とすることにより、各カメラのデプス画像を生成し、低解像度画像処理部33と高解像度画像処理部34に供給する。
低解像度画像処理部33は、カメラ座標系における所定の3次元位置を視点として、マルチカメラ11から供給される各カメラの撮影画像を、視点を中心とした正八面体にマッピング(透視投影)することにより、全天球画像のテクスチャ画像を生成する。また、低解像度画像処理部33は、量子化部32から供給される各カメラのデプス画像を、撮影画像と同様に正八面体にマッピングすることにより、全天球画像のデプス画像を生成する。
低解像度画像処理部33は、全天球画像のテクスチャ画像とデプス画像を低解像度化し、低解像度テクスチャ画像と低解像度デプス画像を生成する。低解像度画像処理部33は、低解像度テクスチャ画像と低解像度デプス画像を圧縮符号化し、その結果得られる低解像度テクスチャストリームと低解像度デプスストリームを記憶する。低解像度画像処理部33は、記憶している低解像度テクスチャストリームと低解像度デプスストリームを、図1のホームサーバ13に送信する。
高解像度画像処理部34は、マルチカメラ11から供給される各カメラの撮影画像を用いて、低解像度画像処理部33における正八面体と中心が同一である立方体を構成する6つの面に対応する第1レイヤおよび第2レイヤのテクスチャ画像を生成する。高解像度画像処理部34は、量子化部32から供給される各カメラのデプス画像を用いて、撮影画像と同様に6つの面に対応する第1レイヤおよび第2レイヤのデプス画像を生成する。
高解像度画像処理部34は、各面の第1レイヤおよび第2レイヤのテクスチャ画像とデプス画像を、面、画像の種類、およびレイヤごとに圧縮符号化する。コンテンツサーバ12は、その結果得られる第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームを記憶する。
また、高解像度画像処理部34は、メタデータを生成して記憶する。コンテンツサーバ12は、記憶している6つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリーム、並びにメタデータを、図示せぬネットワークを介してホームサーバ13に伝送する。
(高解像度画像処理部の構成例)
図3は、図2の高解像度画像処理部34の構成例を示すブロック図である。
図3の高解像度画像処理部34は、第1レイヤ生成部52、エンコーダ53、第2レイヤ生成部54、エンコーダ55、設定部56、メタデータ生成部57、ストレージ58、再構成部59、および伝送部60により構成される。
第1レイヤ生成部52には、設定部56から、カメラ座標系における全天球画像の視点を原点とした3次元座標系(以下、3Dモデル座標系という)における、第1レイヤの視点の3次元位置として原点を示す視点位置情報が供給される。また、第1レイヤ生成部52には、3Dモデル座標系における原点を中心とした立方体を構成する6つの面をそれぞれ含む6つの面それぞれの、3Dモデル座標系における3次元位置およびサイズを示す面情報が供給される。
第1レイヤ生成部52は、視点位置情報が示す原点を第1レイヤの視点(第1の視点)に設定する。第1レイヤ生成部52(画像生成部)は、カメラ座標系における全天球画像の視点を原点として、第1レイヤの視点から、図1のマルチカメラ11から供給される撮影画像を、6つの各面情報が示す3次元位置およびサイズの面のそれぞれにマッピングする。これにより、第1レイヤ生成部52は、第1レイヤの6つの面のテクスチャ画像を生成する。
また、第1レイヤ生成部52(画像生成部)は、カメラ座標系における全天球画像の視点を原点として、第1レイヤの視点から、図2の量子化部32から供給されるデプス画像を、6つの各面情報が示す3次元位置およびサイズの面のそれぞれにマッピングする。これにより、第1レイヤ生成部52は、第1レイヤの6つの面のデプス画像を生成する。
第1レイヤの6つの面に対応する視点は同一であるため、第1レイヤの6つの面のテクスチャ画像は、第1レイヤの視点を中心とした3Dモデルにマッピングされた全天球画像を6つの面にマッピングすることにより得られた画像であるといえる。同様に、第1レイヤの6つの面のデプス画像は、第1レイヤの視点を中心とした3Dモデルにマッピングされた全天球画像のデプス画像を6つの面にマッピングすることにより得られた画像であるといえる。第1レイヤ生成部52は、第1レイヤの6つの面のテクスチャ画像とデプス画像をエンコーダ53に供給する。
エンコーダ53は、第1レイヤ生成部52から供給される第1レイヤの6つの面のテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化し、第1レイヤテクスチャストリームと第1レイヤデプスストリームを生成する。エンコーダ53は、第1レイヤテクスチャストリームと第1レイヤデプスストリームをストレージ58に供給する。
第2レイヤ生成部54には、設定部56から、第1レイヤの各面に対応する第2レイヤの各面の、第1レイヤの視点とは異なる視点(第2の視点)の視点位置情報と、第1レイヤの各面に対応する第2レイヤの各面の面情報とが供給される。第2レイヤ生成部54は、第2レイヤの面ごとに、その面に対応する視点位置情報が示す3次元位置を第2レイヤの視点に設定する。
第2レイヤ生成部54(画像生成部)は、第2レイヤの面ごとに、その面に対応する第2レイヤの視点から、マルチカメラ11から供給される撮影画像のうちの第1レイヤの視点におけるオクルージョン領域を、第2レイヤの面にマッピングする。これにより、第2レイヤ生成部54は、第2レイヤの6つの面のテクスチャ画像を生成する。
また、第2レイヤ生成部54(画像生成部)は、第2レイヤの面ごとに、その面に対応する第2レイヤの視点から、量子化部32から供給されるデプス画像のうちの第1レイヤの視点におけるオクルージョン領域を、第2レイヤの面にマッピングする。これにより、第2レイヤ生成部54は、第2レイヤの6つの面のデプス画像を生成する。
即ち、マルチカメラ11の各カメラの位置は異なっているため、カメラ座標系における1つの3次元位置を視点としたとき、撮影画像には、その視点におけるオクルージョン領域が含まれている。しかしながら、第1レイヤのテクスチャ画像は、1つの視点の全天球画像をマッピングすることにより生成されるため、第1レイヤのテクスチャ画像には、その視点におけるオクルージョン領域の撮影画像は含まれない。よって、第2レイヤ生成部54は、そのオクルージョン領域の撮影画像を第2レイヤのテクスチャ画像として含める。デプス画像についても同様である。
エンコーダ55は、第2レイヤ生成部54から供給される6つの面の第2レイヤのテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化し、第2レイヤテクスチャストリームと第2レイヤデプスストリームを生成する。エンコーダ55は、第2レイヤテクスチャストリームと第2レイヤデプスストリームをストレージ58に供給する。
設定部56は、3Dモデル座標系における原点を第1レイヤの視点として設定する。設定部56は、第1レイヤの視点を中心とした立方体を構成する6つの矩形の面をそれぞれ含む6つの面を第1レイヤの面として設定する。また、設定部56は、第1レイヤの面ごとに第2レイヤの視点と矩形の面を設定する。
設定部56は、第1レイヤの1つの視点位置情報と6つの面情報を第1レイヤ生成部52とメタデータ生成部57に供給する。また、設定部56は、第1レイヤの6つの面に対応する第2レイヤの6つの視点位置情報と6つの面情報を、第2レイヤ生成部54とメタデータ生成部57に供給する。
メタデータ生成部57は、設定部56から供給される第1レイヤの視点位置情報および面情報、並びに、第2レイヤの視点位置情報および面情報を含むテーブルをメタデータとして生成し、ストレージ58に供給する。
ストレージ58は、エンコーダ53から供給される第1レイヤテクスチャストリームおよび第1レイヤデプスストリーム、並びに、エンコーダ55から供給される第2レイヤテクスチャストリームおよび第2レイヤデプスストリームを記憶する。また、ストレージ58は、メタデータ生成部57から供給されるメタデータを記憶する。
また、ストレージ58は、再構成部59から供給される再構成後の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリーム、並びに、メタデータを記憶する。
再構成部59は、必要に応じて、ストレージ58に記憶されている6つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームを読み出し、再構成する。
具体的には、再構成部59は、再構成前の第1レイヤテクスチャストリームを用いて第1レイヤテクスチャストリームに対応する面の数や画角を変更し、再構成前の第1レイヤデプスストリームを用いて第1レイヤデプスストリームに対応する面の数や画角を変更する。例えば、再構成部59は、第1レイヤの面を、立方体を構成する6つの面をそれぞれ含む6つの面から、その6つの面に各面の中心を通る法線が立方体の12本の各辺の中点と視点を通る線である12個の面を加えた18個の面に変更する。
または、再構成部59は、再構成前の第1レイヤテクスチャストリームを用いて第1レイヤテクスチャストリームに対応する面どうしの間隔(密度)を変更し、再構成前の第1レイヤデプスストリームを用いて第1レイヤデプスストリームに対応する面どうしの間隔を変更する。例えば、再構成部59は、第1レイヤの面を、中心を通る法線の間隔が90度である、立方体を構成する6つの面をそれぞれ含む6つの面から、中心を通る法線の間隔が45度である18個の面に変更する。
第1レイヤの面どうしの間隔が狭くなると、面数が増加するため、総データ容量は増加するが、ホームサーバ13において、より視聴者の視野範囲に近い第1レイヤの面に対応するテクスチャ画像およびデプス画像を用いて表示画像を生成することができる。その結果、表示画像内の、第1レイヤまたは第2レイヤのテクスチャ画像およびデプス画像を用いて生成される高解像度領域が増加し、表示画像の画質が向上する。
なお、再構成部59は、再構成前の第1レイヤテクスチャストリームを用いて第1レイヤテクスチャストリームに対応する面の位置を変更し、再構成前の第1レイヤデプスストリームを用いて第1レイヤデプスストリームに対応する面の位置を変更することにより、再構成を行ってもよい。この場合、再構成部59は、例えば、主要な被写体が第1レイヤの面の境界に存在するとき、主要な被写体が第1レイヤの面の境界以外の位置(例えば中央)に存在するように、第1レイヤの6つの面に対応する立方体を回転することにより、再構成を行う。
また、再構成部59は、再構成前の第1レイヤテクスチャストリームを用いて第1レイヤテクスチャストリームに対応する面の傾きを変更し、再構成前の第1レイヤデプスストリームを用いて第1レイヤデプスストリームに対応する面の傾きを変更することにより、再構成を行ってもよい。この場合、再構成部59は、例えば、第1レイヤのテクスチャ画像内の主要な被写体が傾いているとき、傾きがなくなるように、第1レイヤの6つの面に対応する立方体を回転することにより、再構成を行う。
再構成部59は、以上のようにして変更された第1レイヤの各面に対して、再構成後の第2レイヤの視点と面を設定する。そして、再構成部59は、再構成前の第2レイヤテクスチャストリームを用いて、第2レイヤテクスチャストリームに対応する視点および面を、設定された再構成後の第2レイヤの視点および面に変更する。また、再構成部59は、再構成前の第2レイヤデプスストリームを用いて、第2レイヤデプスストリームに対応する視点および面を、設定された再構成後の第2レイヤの視点および面に変更する。
再構成部59は、再構成後の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームをストレージ58に供給する。また、再構成部59は、再構成後の第1レイヤの視点位置情報および面情報、並びに、第2レイヤの視点位置情報および面情報を含むテーブルをメタデータとして生成し、ストレージ58に供給する。
伝送部60は、ストレージ58から6つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリーム、並びにメタデータを読み出し、図1のホームサーバ13に送信する。
以上のように、図3の高解像度画像処理部34は、第1レイヤ画像と第2レイヤ画像を透視投影により生成する。従って、ホームサーバ13は、第1レイヤ画像と第2レイヤ画像に対して通常の画像用の処理を行うことができる。また、高解像度画像処理部34は、第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームを、通常の画像の符号化ストリームの送信方法で送信することができる。
(デプス画像の効果の説明)
図4は、距離zと距離rを説明する図であり、図5は、距離zの最小値zminと距離rの最小値rminを説明する図である。
なお、図4および図5は、第1レイヤに対応する立方体の所定の面を上から見た図である。
距離zは、視点から各画素における被写体を含む奥行き方向に垂直なデプス平面までの奥行き方向の距離である。また、第1レイヤの各面の奥行き方向は、第1レイヤの各面に垂直な方向である。従って、第1レイヤの各面とデプス平面は平行になる。よって、第1レイヤの各面における距離zが同一であるデプス平面である等距離z面の形状は、第1レイヤの視点Oを中心とした立方体状になる。従って、等距離z面を第1レイヤに対応する立方体の所定の面の上から見た形状は、図4のAの点線で示すように正方形となる。
よって、第1レイヤの各面の画角が変更される場合、図5のAに示すように、全ての面における距離zの最小値zminが変化する。例えば、図5のAに示すように、第1レイヤの各面の横方向(図5中上下方向)の画角が90度から120度に変更される場合、変更後の各面のテクスチャ画像には、変更前の各面と横方向に隣接する、その面とは奥行き方向が異なる2つの面のテクスチャ画像が含まれる。従って、第1レイヤの各面の横方向の画角が120度である場合の最小値zminは、画角に含まれる、横方向に隣接する2つの面に対応する、第1レイヤの各面の横方向の画角が90度である場合の最小値zminの等距離z面61の位置を含むデプス平面と視点Oとの奥行き方向の距離zの最小値になる。距離zの最大値zmaxについても、最小値zminと同様である。
また、図6に示すように、第1レイヤに対応する立方体80が視点Oを通る線を軸として回転され、第1レイヤの各面の位置が変更される場合、変更前の面の奥行き方向pと変更後の面の奥行き方向qは異なる。従って、距離zの最小値zminと最大値zmaxは変化する。なお、図6において、点線は、変更前の面の等距離z面を示し、一点鎖線は、変更後の面の等距離z面を示している。
また、図示は省略するが、第1レイヤの面の数や間隔が変更される場合も、第1レイヤの各面の位置が変更される場合と同様に奥行き方向が変化するため、最小値zminと最大値zmaxは変化する。
以上のように、第1レイヤの面の画角、位置、数、または間隔が変更される場合、距離zの最小値zminと最大値zmaxは変化する。従って、第1レイヤのデプス画像の各画素のy値(輝度値)として、距離zの逆数1/zが用いられると、再構成部59による再構成時にデプス画像の8ビット量子化をやり直す必要がある。
これに対して、距離rは、視点から各画素における被写体までの直線の距離である。また、第1レイヤの各面の視点Oから被写体までの直線の方向は、面によらず、視点Oを中心とした円の半径方向である。従って、第1レイヤの各面における距離rが同一である等距離r面の形状は、第1レイヤの視点Oを中心とした球状になる。よって、等距離r面を第1レイヤに対応する立方体の所定の面の上から見た形状は、図4のBの点線で示すように円状になる。
以上のように、第1レイヤの各面の視点Oから被写体までの直線の方向は、面によらず同一であるため、第1レイヤの各面の画角が変更される場合であっても、図5のBに示すように、全ての面における距離rの最小値rminは変更されない。
例えば、変更前の各面と横方向(図5中上下方向)に隣接する2つの面における第1レイヤの各面の視点Oから被写体までの直線の方向は同一である。従って、図5のBに示すように、第1レイヤの各面の横方向の画角が90度から120度に変更され、変更後の各面のテクスチャ画像に、変更前の各面と横方向に隣接する2つの面のテクスチャ画像が含まれる場合であっても、最小値rminは変化しない。距離rの最大値rmaxについても、最小値rminと同様である。
また、図示は省略するが、第1レイヤの面の位置、数、または間隔が変更される場合も、第1レイヤの各面の画角が変更される場合と同様に第1レイヤの各面の視点Oから被写体までの直線の方向は変化しないため、最小値rminと最大値rmaxは変化しない。
従って、図2の量子化部32は、第1レイヤのデプス画像の各画素のy値として、逆数1/zではなく、逆数1/rの量子化値を用いることにより、再構成部59による再構成時にデプス画像の8ビット量子化をやり直す処理を削減することができる。
なお、上述した説明では、低解像度テクスチャストリームと低解像度デプスストリームは再構成されないようにしたが、再構成されるようにしてもよい。この場合も、低解像度デプス画像の各画素のy値は逆数1/rの量子化値であるので、第1レイヤのデプス画像の再構成時と同様に、再構成時に低解像度デプス画像の8ビット量子化をやり直す処理を削減することができる。
(第1レイヤの6つの面のデプス画像の各画素の球上の位置の例)
図7は、第1レイヤの6つの面のデプス画像を球にマッピングした際の各画素の球上の位置の例を示す図である。
なお、図7では、第1レイヤの6つの面のデプス画像を球にマッピングした際の各画素の球上の位置が点で表されている。
第1レイヤの各面のデプス画像の各画素のデプス画像上の位置の間隔は等間隔である。しかしながら、図7に示すように、第1レイヤの6つの面のデプス画像を球にマッピングした際の各画素の球上の位置の間隔は等間隔ではない。即ち、第1レイヤの6つの面のデプス画像を球にマッピングした際の各画素の球上の位置の密度は、一定ではない。
(第1レイヤの面の例)
図8は、第1レイヤの面の例を示す図である。
なお、以下では、第1レイヤの視点Oと、第1レイヤに対応する立方体80を構成する6つの面81乃至86の中心を通る6つの軸のうちの、互いに直交する3つの軸を、X軸、Y軸、Z軸という。また、視点Oと6つの面81乃至86のそれぞれとの距離をRとしたときのX=Rである面81を、適宜、+X面81ともいい、X=−Rである面82を、適宜、−X面82ともいう。同様に、Y=Rである面83、Y=−rである面84、Z=Rである面85、Z=−Rである面86を、適宜、+Y面83、−Y面84、+Z面85、−Z面86ともいう。
また、図8のAは、第1レイヤの立方体80の斜視図であり、図8のBは、第1レイヤの立方体80をY軸の負方向に見た図である。
図8のAに示すように、第1レイヤの1つの面91は、視点Oを中心とした立方体80を構成する6つの面81乃至86のうちの+Y面83を含む面である。より詳細には、面91は、+Y面83と同一の位置に設定され、横方向と縦方向の画角が、+Y面83の画角である90度より大きく、180度より小さい面である。
従って、図8のBに示すように、面91のテクスチャ画像は、+Y面83にマッピングされたテクスチャ画像だけでなく、+Y面83に隣接する+X面81、−X面82、+Z面85、および−Z面86にマッピングされるテクスチャ画像の一部を含む。面91のデプス画像についても、テクスチャ画像と同様である。
図8では、第1レイヤの1つの面91のみ図示したが、他の5つの面も、面91と同様に、それぞれ、+X面81、−X面82、−Y面84、+Z面85、−Z面86と同一の位置に設定され、横方向と縦方向の画角が90度より大きく180度より小さい面である。
以上のように、第1レイヤの6つの面のそれぞれは、立方体を構成する6つの面81乃至86のそれぞれを含むように構成されるので、第1レイヤの6つの面のいずれかに必ず、全天球画像がマッピングされる。従って、ホームサーバ13は、第1レイヤの6つの面のうちの多くとも隣接する3つの面を用いれば、視点Oを視聴位置とした水平方向の周囲360度および垂直方向の周囲180度の任意の方向の表示画像を生成することができる。
(第1レイヤの視点位置情報および面情報のテーブルの構成例)
図9は、図3のメタデータ生成部57により生成されるメタデータのうちの、第1レイヤの視点位置情報および面情報のテーブルの構成例を示す図である。
図9の例では、面情報のうちの、面の3Dモデル座標系における3次元位置を示す情報が、方位角、仰角、回転角、および視線ベクトルであり、サイズを示す情報が横画角と縦画角である。
方位角は、視点と各面の中心を結ぶ線とZ軸とのなすXZ平面方向の角度であり、仰角は、視点と各面の中心を結ぶ線とXZ平面とのなす角度である。ここでは、方位角は、右回りを正方向とし、仰角は、左回りを正方向とする。視点から延びるZ軸方向の線を方位角だけXZ平面上を水平回転した後、仰角だけY軸方向に上下回転した線が、面の中心を通る法線である。
回転角は、視点と各面の中心を結ぶ線を軸としたときの各面の回転方向の角度である。ここでは、回転角は右回りが正方向とする。視線ベクトルは、視点を起点として各面の中心へ向かう長さが1であるベクトル、即ち各面の中心を通る法線ベクトルである。横画角は、各面の横方向の2つの端部それぞれと視点とを結んだ線のなす角度であり、縦画角は、各面の縦方向の2つの端部それぞれと視点とを結んだ線のなす角度である。
図9に示すように、第1レイヤの視点位置情報および面情報のテーブルには、図3のストレージ58において各面の第1レイヤテクスチャストリームおよび第1レイヤデプスストリームが格納されるファイルのファイル名の共通部分が登録される。
具体的には、図9の例では、+Z面85、−Z面86、+X面81、−X面82、+Y面83、−Y面84をそれぞれ含む各面の第1レイヤテクスチャストリームのファイル名が、posZ_texture,negZ_texture,posX_texture,negX_texture,posY_texture,negY_textureである。また、+Z面85、−Z面86、+X面81、−X面82、+Y面83、−Y面84をそれぞれ含む各面の第1デプスストリームのファイル名が、それぞれ、posZ_depth,negZ_depth,posX_depth,negX_depth,posY_depth,negY_depthである。従って、図9のテーブルには、第1レイヤの各面のファイル名の共通部分として、posZ,negZ,posX,negX,posY,negYが登録される。
また、第1レイヤの視点位置情報および面情報のテーブルには、ファイル名の共通部分に対応付けて、そのファイル名の共通部分に対応する面の面情報、視点位置情報、テクスチャ画像およびデプス画像の横画素数および縦画素数が登録される。
具体的には、+Z面85、−Z面86、+X面81、−X面82、+Y面83、−Y面84をそれぞれ含む第1レイヤの各面の中心と視点Oを結ぶ線と、Z軸とのなすXZ平面方向の角度は、それぞれ、0度、−180度、90度、−90度、0度、0度であり、XZ平面とのなす角度は、それぞれ、0度、0度、0度、0度、90度、−90度である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、方位角「0度」、「−180度」、「90度」、「−90度」、「0度」、「0度」が登録されるとともに、仰角「0度」、「0度」、「0度」、「0度」、「90度」、「−90度」が登録される。
また、図9の例では、第1レイヤの全ての面の回転角は0度である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、回転角「0度」が登録される。さらに、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、視点位置情報として原点の座標(0,0,0)が登録される。
また、視点Oから、+Z面85、−Z面86、+X面81、−X面82、+Y面83、−Y面84をそれぞれ含む第1レイヤの各面の視線ベクトルは、(0,0,1),(0,0,-1),(1,0,0)(-1,0,0),(0,1,0),(0,-1,0)である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、視線ベクトル(0,0,1),(0,0,-1),(1,0,0)(-1,0,0),(0,1,0),(0,-1,0)が登録される。
さらに、図9の例では、第1レイヤの全ての面の横画角および縦画角は90度より大きい100度であり、テクスチャ画像およびデプス画像の横方向の画素数である横画素数および縦方向の画素数である縦画素数は1024である。従って、ファイル名の共通部分「posZ」,「negZ」,「posX」,「negX」,「posY」,「negY」のそれぞれに対応付けて、横画角「100度」、縦画角「100度」、横画素数「1024」、および縦画素数「1024」が登録される。
(階層化の説明)
図10は、第1レイヤの所定の面に対応する被写体の奥行き方向の位置を示す図であり、図11は、第1レイヤおよび第2レイヤの視点が同一である場合の図10の被写体の第1レイヤおよび第2レイヤのテクスチャ画像の構成例を示す図である。
なお、図10は、第1レイヤの視点Oと被写体を上から見た図であり、図10の上下方向は、この被写体を画角に含む第1レイヤの所定の面の奥行き方向である。また、図11において、左右方向および上下方向は、それぞれ、テクスチャ画像の横方向、奥行き方向を表す。図10および図11の上方向が手前側、下方向が奥側である。
図10および図11の例では、第1レイヤの所定の面の画角内に含まれる被写体が、中央の前景111と、前景の奥にある背景112である。この場合、図11に示すように、第1レイヤの所定の面のテクスチャ画像は、前景111の撮影画像121と、背景112のうちの前景111によって隠されない領域112Aの撮影画像122Aとにより構成される。
一方、この第1レイヤの所定の面に対応する第2レイヤの面のテクスチャ画像は、図11に示すように、背景112のうちの前景111によって遮蔽されたオクルージョン領域112Bのうちの、マルチカメラ11により撮影された撮影済みオクルージョン領域112Cの撮影画像122Cを有効領域として含む。
第2レイヤの面のテクスチャ画像のうちの有効領域以外の領域には何を配置してもよいが、無効値などの特殊値が配置されると、圧縮符号化により特殊値の値が変化し、ホームサーバ13において復号による特殊値の復元が困難になる。
従って、第2レイヤの面のテクスチャ画像の有効領域以外の領域は、領域112Aに対応する不要領域(背景領域)と、オクルージョン領域112Bのうちの撮影済みオクルージョン領域112C以外の領域に対応する想像領域とに分割される。
そして、オクルージョン領域が存在しない領域112Aに対応する不要領域には、第1レイヤと同様に撮影画像122Aが配置されるか、または、エッジ部分が急峻ではない平坦な画像が配置される。不要領域に撮影画像122Aが配置される場合、不要領域における第1レイヤと第2レイヤのテクスチャ画像が同一になるので、第1レイヤのテクスチャ画像を第2レイヤのテクスチャ画像を参照してMVC方式や3D-HEVC方式等で圧縮符号化する場合、圧縮率を向上させることができる。また、不要領域に平坦な画像が配置される場合、エッジ部分が急峻な画像が配置される場合に比べて、第2レイヤ画像の圧縮率を向上させることができる。なお、不要領域の一部に撮影画像122Aが配置され、他部に平坦な画像が配置されるようにしてもよい。
また、想像領域は、オクルージョン領域が存在するが、マルチカメラ11により撮影されていない、オクルージョン領域112Bのうちの撮影済みオクルージョン領域112C以外の領域に対応する領域である。従って、想像領域には、撮影済みオクルージョン領域112Cの撮影画像122Cを用いて推測(インペインティング)されたインペインティング画像が配置されるか、または、第1レイヤと同様に撮影画像121が配置される。
なお、インペインティングには、過去の撮影画像が用いられてもよい。コンテンツサーバ12がインペインティングを行うことにより、ホームサーバ13は、想像領域を有効領域と同等に扱うことができる。また、コンテンツサーバ12がインペインティングを再生前に行うことにより、多くの時間を要する処理負荷の高いインペインティングも行うことができる。
また、想像領域に撮影画像121が配置される場合、想像領域が点在したり、インペインティングが困難であったりするときにも、想像領域を容易に生成することが可能である。想像領域の一部にインペインティング画像が配置され、他部に撮影画像121が配置されるようにしてもよい。
なお、第1レイヤおよび第2レイヤのデプス画像の構成は、撮影画像がデプス画像に代わる点を除いて、第1レイヤおよび第2レイヤのテクスチャ画像の構成と同様であるので、説明は省略する。また、以下では、第2レイヤの不要領域と想像領域に、第1レイヤと同様の撮影画像またはデプス画像が配置される場合について説明する。
(第1レイヤと第2レイヤの視点の説明)
図12は、第1レイヤと第2レイヤの視点が同一である場合の第1レイヤの所定の面に対応する第1レイヤと第2レイヤのテクスチャ画像を説明する図である。図13は、第1レイヤと第2レイヤの視点が異なる場合の第1レイヤの所定の面に対応する第1レイヤと第2レイヤのテクスチャ画像を説明する図である。
図12のAと図13のAは、第1レイヤの視点Oと被写体を上から見た図であり、図12のAと図13のAの上下方向は、この被写体を画角に含む第1レイヤの所定の面の奥行き方向である。
図12のAに示すように、第2レイヤの視点が第1レイヤの視点Oである場合、第1レイヤの所定の面131の画角内の視点Oに延びる棒状の被写体141は、第1レイヤのテクスチャ画像151および第2レイヤのテクスチャ画像152の両方において点になる。
即ち、第1レイヤと第2レイヤにおいて視点Oから面131に向かう方向が同一になるため、第1レイヤのテクスチャ画像151と第2レイヤのテクスチャ画像152の両方において、被写体141が1点に縮退してしまう。従って、テクスチャ画像151とテクスチャ画像152では、被写体141の視点Oに延びる方向の長さを表現することができない。
これに対して、第2レイヤの視点が第1レイヤの視点Oとは異なる視点O´である場合、第1レイヤの面131と第2レイヤの面161の画角に含まれる被写体141は、第2レイヤのテクスチャ画像172において直線になる。
即ち、第1レイヤの視点Oから面131に向かう方向と第2レイヤの視点O´から面161に向かう方向は異なる。従って、第1レイヤのテクスチャ画像151において被写体141が1点に縮退してしまっても、第2レイヤのテクスチャ画像172においては被写体141が1点に縮退しない。よって、テクスチャ画像172では、被写体141の視点Oに延びる方向の長さを表現することができる。
以上により、コンテンツサーバ12では、第1レイヤと第2レイヤの視点が異なるように設定される。
(第2レイヤの視点の第1の例)
図14は、第2レイヤの視点の第1の例を示す図である。
図14のAは、第1レイヤの立方体80の斜視図であり、図14のBは、立方体80をY軸の負方向に見た図である。このことは、図16においても同様である。
図14の例では、第1レイヤの+X面81を含む面に対応する第2レイヤの面の視点191が、第1レイヤの視点OからY軸の正方向に、立方体80の各辺の半分の長さaだけ移動した位置に設定される。図14において視点191に付された矢印が示すように、第1レイヤの+X面81を含む面に対応する第2レイヤの面の視線ベクトルは、第1レイヤと同様に、(1,0,0)である。
第1レイヤの−X面82を含む面に対応する第2レイヤの面の視点192は、視点OからY軸の負方向に長さaだけ移動した位置に設定される。図14において視点192に付された矢印が示すように、第1レイヤの−X面82を含む面に対応する第2レイヤの面の視線ベクトルは、第1レイヤと同様に、(-1,0,0)である。
また、第1レイヤの+Y面83を含む面に対応する第2レイヤの面の視点193と−Y面84を含む面に対応する第2レイヤの面の視点194は、それぞれ、視点OからZ軸の正方向、負方向に長さaだけ移動した位置に設定される。図14において視点193および視点194に付された矢印が示すように、第1レイヤの面91に対応する第2レイヤの面の視線ベクトルと−Y面84を含む面に対応する第2レイヤの面の視線ベクトルは、それぞれ、第1レイヤと同様に、(0,1,0),(0,-1,0)である。
また、第1レイヤの+Z面85を含む面に対応する第2レイヤの面の視点195と−Z面86を含む面に対応する第2レイヤの面の視点196は、それぞれ、第1レイヤの視点OからX軸の正方向、負方向に長さaだけ移動した位置に設定される。図14において視点195および視点196に付された矢印が示すように、第1レイヤの+Z面85を含む面に対応する第2レイヤの面の視線ベクトルと−Z面86を含む面に対応する第2レイヤの面の視線ベクトルは、それぞれ、第1レイヤと同様に、(0,0,1),(0,0,-1)である。
以上のように、図14の例では、第2レイヤの各面の視点191乃至196は、第1レイヤの視点Oから視線ベクトルに垂直な1方向に長さaだけ移動した位置に設定される。また、第2レイヤの各面の視線ベクトルは、対応する第1レイヤの面の視線ベクトルと同一である。さらに、第2レイヤの各面の視点191乃至196の視点Oに対するずれ方向は、面ごとに異なる。
なお、第2レイヤの各面の視点191乃至196と視点Oとの、X軸方向、Y軸方向、またはZ軸方向の距離は、立方体80の各辺の半分の長さaに限定されない。
(第2レイヤの視点位置情報および面情報のテーブルの第1の構成例)
図15は、第2レイヤの各面の視点として図14の視点191乃至196が設定される場合に、図3のメタデータ生成部57により生成されるメタデータのうちの、第2レイヤの視点位置情報および面情報のテーブルの構成例を示す図である。
図15のテーブルは、ファイル名の共通部分と視点位置情報を除いて、図9のテーブルと同一である。
具体的には、図15の例では、+Z面85、−Z面86、+X面81、−X面82、+Y面83、−Y面84をそれぞれ含む第1レイヤの各面に対応する第2レイヤの各面のテクスチャ画像のファイル名が、それぞれ、posZ2_texture,negZ2_texture,posX2_texture,negX2_texture,posY2_texture,negY2_textureである。また、+Z面85、−Z面86、+X面81、−X面82、+Y面83、−Y面84をそれぞれ含む第1レイヤの各面に対応する第2レイヤの各面のデプス画像のファイル名が、それぞれ、posZ2_depth,negZ2_depth,posX2_depth,negX2_depth,posY2_depth,negY2_depthである。従って、図15のテーブルには、第2レイヤの各面のファイル名の共通部分として、posZ2,negZ2,posX2,negX2,posY2,negY2が登録される。
また、ファイル名の共通部分「posZ2」,「negZ2」,「posX2」,「negX2」,「posY2」,「negY2」のそれぞれに対応付けて、視点Oを原点としたときの視点191乃至196の座標(a,0,0),(-a,0,0),(0,a,0)(0,-a,0),(0,0,a),(0,0,-a)が登録される。
(第2レイヤの視点の第2の例)
図16は、第2レイヤの視点の第2の例を示す図である。
図16の例では、第1レイヤの+X面81を含む面に対応する第2レイヤの面の視点211と−X面82を含む面に対応する第2レイヤの面の視点212は、それぞれ、第1レイヤの視点Oから、Y軸の正方向とZ軸の負方向、Y軸の負方向とZ軸の正方向に長さaだけ移動した位置に設定される。図16において視点211および視点212に付された矢印が示すように、第1レイヤの+X面81を含む面に対応する第2レイヤの面の視線ベクトルと第1レイヤの−X面82を含む面に対応する第2レイヤの面の視線ベクトルは、それぞれ、第1レイヤと同様に、(1,0,0),(-1,0,0)である。
また、第1レイヤの+Y面83を含む面に対応する第2レイヤの面の視点213と−Y面84を含む面に対応する第2レイヤの面の視点214は、それぞれ、視点Oから、X軸の負方向とZ軸の正方向、X軸の正方向とZ軸の負方向に長さaだけ移動した位置に設定される。図16において視点213および視点214に付された矢印が示すように、第1レイヤの面91に対応する第2レイヤの面の視線ベクトルと−Y面84を含む面に対応する第2レイヤの面の視線ベクトルは、それぞれ、第1レイヤと同様に、(0,1,0),(0,-1,0)である。
また、第1レイヤの+Z面85を含む面に対応する第2レイヤの面の視点215と−Z面86を含む面に対応する第2レイヤの面の視点216は、それぞれ、視点Oから、X軸の正方向とY軸の負方向、X軸の負方向とY軸の正方向に長さaだけ移動した位置に設定される。図16において視点215および視点216に付された矢印が示すように、第1レイヤの+Z面85を含む面に対応する第2レイヤの面の視線ベクトルと−Z面86を含む面に対応する第2レイヤの面の視線ベクトルは、それぞれ、第1レイヤと同様に、(0,0,1),(0,0,-1)である。
以上のように、図16の例では、第2レイヤの各面の視点211乃至216は、第1レイヤの視点Oから視線ベクトルに垂直な2方向に長さaだけ移動した位置に設定される。また、第2レイヤの各面の視線ベクトルは、対応する第1レイヤの面の視線ベクトルと同一である。さらに、第2レイヤの各面の視点211乃至216の視点Oに対するずれ方向は、面ごとに異なる。また、視点211乃至216は、視点Oに対して対称である。
なお、第2レイヤの各面の視点191乃至196と視点Oとの、X軸方向、Y軸方向、およびZ軸方向のうちの2方向の距離は、立方体80の各辺の半分の長さaに限定されない。
(第2レイヤの視点位置情報および面情報のテーブルの第2の構成例)
図17は、第2レイヤの各面の視点として図16の視点211乃至216が設定される場合に、図3のメタデータ生成部57により生成されるメタデータのうちの、第2レイヤの視点位置情報および面情報のテーブルの構成例を示す図である。
図17のテーブルは、視点位置情報を除いて、図15のテーブルと同一である。
具体的には、図17のテーブルには、ファイル名の共通部分「posZ2」,「negZ2」,「posX2」,「negX2」,「posY2」,「negY2」のそれぞれに対応付けて、視点Oを原点としたときの視点211乃至216の座標(a,-a,0),(-a,a,0),(0,a,-a)(0,-a,a),(-a,0,a),(a,0,-a)が登録される。
(コンテンツサーバの処理の説明)
図18は、図2のコンテンツサーバ12のストリーム生成処理を説明するフローチャートである。このストリーム生成処理は、図1のマルチカメラ11から各カメラの撮影画像がフレーム単位で供給されたとき、開始される。
図18のステップS10において、コンテンツサーバ12のデプス検出部31は、マルチカメラ11から供給される各カメラの撮影画像から、各カメラの撮影画像の各画素の逆数1/zを検出し、量子化部32に供給する。
ステップS11において、量子化部32は、各カメラの撮影画像の各画素の逆数1/zを、全天球画像において視点とされるカメラ座標系における所定の3次元位置を視点としたときの逆数1/rに変換し、その逆数1/rに対して8ビット量子化を行う。量子化部32は、各カメラの撮影画像の各画素の逆数1/rの8ビット量子化後の値を画素値とすることにより、各カメラのデプス画像を生成し、低解像度画像処理部33と高解像度画像処理部34に供給する。
ステップS12において、低解像度画像処理部33は、カメラ座標系における所定の3次元位置を視点として、マルチカメラ11から供給される各カメラの撮影画像から全天球画像のテクスチャ画像を生成し、低解像度化する。
ステップS13において、低解像度画像処理部33は、量子化部32から供給される各カメラのデプス画像から、全天球画像のテクスチャ画像と同様に全天球画像のデプス画像を生成し、低解像度化する。
ステップS14において、低解像度画像処理部33は、ステップS12の処理により生成された低解像度テクスチャ画像とステップS13の処理により生成された低解像度デプス画像とを圧縮符号化して記憶する。
ステップS15において、低解像度画像処理部33は、記憶している低解像度テクスチャストリームと低解像度デプスストリームを、図1のホームサーバ13に送信する。
ステップS16において、高解像度画像処理部34の設定部56(図3)は、3Dモデル座標系における原点を第1レイヤに共通の1つの視点として設定し、第1レイヤの視点を中心とした立方体を構成する6つの面をそれぞれ含む6つの面を第1レイヤの面として設定する。また、設定部56は、第1レイヤの各面に対応する第2レイヤの6つの視点と6つの面を設定する。設定部56は、第1レイヤの1つの視点位置情報と6つの面の面情報を第1レイヤ生成部52とメタデータ生成部57に供給する。また、設定部56は、第2レイヤの6つの視点位置情報と6つの面情報を第2レイヤ生成部54とメタデータ生成部57に供給する。
ステップS17において、第1レイヤ生成部52は、カメラ座標系における全天球画像の視点を原点とし、第1レイヤの視点位置情報が示す原点を視点として、各カメラの撮影画像から、第1レイヤの各面情報に対応する各面のテクスチャ画像を生成する。また、第1レイヤ生成部52は、テクスチャ画像と同様に、各カメラのデプス画像から、第1レイヤの各面情報に対応する各面のデプス画像を生成する。
ステップS18において、第2レイヤ生成部54は、第2レイヤの面情報に対応する面ごとに、カメラ座標系における全天球画像の視点を原点とし、第2レイヤの視点位置情報が示す3次元位置を視点として、各カメラの撮影画像からテクスチャ画像を生成する。また、第2レイヤ生成部54は、第2レイヤの面情報に対応する面ごとに、テクスチャ画像と同様に、各カメラのデプス画像から第2レイヤのデプス画像を生成する。
ステップS19において、エンコーダ53は、第1レイヤ生成部52から供給される第1レイヤの各面のテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化してストレージ58に供給し、記憶させる。
ステップS20において、エンコーダ55は、第2レイヤ生成部54から供給される第2レイヤの各面のテクスチャ画像とデプス画像を、面ごと、かつ、画像の種類ごとに圧縮符号化してストレージ58に供給し、記憶させる。
ステップS21において、メタデータ生成部57は、設定部56から供給される第1レイヤの視点位置情報および面情報、並びに、第2レイヤの視点位置情報および面情報を含むテーブルをメタデータとして生成し、ストレージ58に供給して記憶させる。
ステップS22において、再構成部59は、第1レイヤのテクスチャ画像とデプス画像の再構成が必要であるかどうかを判定する。例えば、再構成部59は、ユーザから第1レイヤの面の数、画角、面どうしの間隔、位置、または傾きの変更が指示された場合、第1レイヤのテクスチャ画像とデプス画像の再構成が必要であると判定する。
ステップS22で第1レイヤのテクスチャ画像とデプス画像の再構成が必要であると判定された場合、処理はステップS23に進む。ステップS23において、再構成部59は、再構成後の第1レイヤの面、並びに、再構成後の第1レイヤの面に対応する第2レイヤの視点および面を設定する。
ステップS24において、再構成部59は、再構成後の第1レイヤの視点位置情報および面情報、並びに、第2レイヤの視点位置情報および面情報を含むテーブルをメタデータとして生成し、ストレージ58に供給する。
ステップS25において、再構成部59は、ストレージ58に記憶されている各面の第1レイヤテクスチャストリームを、ステップS23で設定された再構成後の第1レイヤの面のテクスチャストリームに再構成し、ストレージ58に供給して記憶させる。また、再構成部59は、ストレージ58に記憶されている第1レイヤデプスストリームを、ステップS23で設定された再構成後の第1レイヤの面の第1レイヤデプスストリームに再構成し、ストレージ58に供給して記憶させる。
また、再構成部59は、ストレージ58に記憶されている各面の第2レイヤテクスチャストリームを、ステップS23で設定された再構成後の第2レイヤの視点および面の第2レイヤテクスチャストリームに再構成し、ストレージ58に供給して記憶させる。再構成部59は、ストレージ58に記憶されている第2レイヤデプスストリームを、ステップS23で設定された再構成後の第2レイヤの視点および面の第2レイヤデプスストリームに再構成し、ストレージ58に供給して記憶させる。そして、処理はステップS26に進む。
一方、ステップS22で第1レイヤのテクスチャ画像とデプス画像の再構成が必要ではないと判定された場合、処理はステップS26に進む。
ステップS26において、伝送部60は、ストレージ58から再構成前の6つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリーム、並びにメタデータを読み出し、ホームサーバ13に送信する。
以上のように、コンテンツサーバ12は、第1レイヤの視点におけるオクルージョン領域のテクスチャ画像およびデプス画像を第2レイヤのテクスチャ画像およびデプス画像として生成する。従って、ホームサーバ13は、視聴位置が視点Oとは異なる場合に、第2レイヤのテクスチャ画像とデプス画像を用いることにより、表示画像に含まれる視点Oのオクルージョン領域を生成することができる。よって、ホームサーバ13は、高画質の表示画像を生成することができる。
また、コンテンツサーバ12は、第2レイヤの視点を、第1レイヤの視点Oとは異なる3次元位置に設定する。従って、第2レイヤにおいて、視点Oに延びる被写体の視点Oに延びる方向の長さを表現することができる。
さらに、コンテンツサーバ12は、デプス画像の各画素のy値を逆数1/rを8ビット量子化した値とする。従って、コンテンツサーバ12は、再構成時にデプス画像の8ビット量子化をやり直す必要がない。
(ホームサーバの構成例)
図19は、図1のホームサーバ13の構成例を示すブロック図である。
図19のホームサーバ13は、カメラ13A、受け取り部231、ストレージ232、受け取り部233、視線検出部234、ML3Dモデル生成部235、ML3Dモデル生成部236、ML3Dモデル生成部237、3Dモデル生成部238、および描画部239により構成される。
ホームサーバ13の受け取り部231は、コンテンツサーバ12から伝送されてくる低解像度テクスチャストリームおよび低解像度デプスストリーム、6つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリーム、並びにメタデータを受け取り、ストレージ232に供給する。
ストレージ232は、受け取り部231から供給される低解像度テクスチャストリームおよび低解像度デプスストリーム、6つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリーム、並びにメタデータを記憶する。
受け取り部233は、図1のジャイロセンサ15Bの検出結果をヘッドマウントディスプレイ15から受け取り、視線検出部234に供給する。
視線検出部234は、受け取り部233から供給されるジャイロセンサ15Bの検出結果に基づいて、3Dモデル座標系における視聴者の視線方向を決定する。また、視線検出部234は、カメラ13Aからマーカ15Aの撮影画像を取得し、その撮影画像に基づいて、3Dモデル座標系における視聴位置を検出する。
視線検出部234は、ストレージ232からメタデータのうちの第1レイヤのテーブルを読み出す。視線検出部234は、3Dモデル座標系における視聴位置および視線方向、並びに、第1レイヤのテーブルに基づいて、6つの面のうちの、視聴位置から視線方向に延びる視線に最も近い視線ベクトルに対応する3つの面を選択面に決定する。具体的には、視線検出部234は、+X面81と−X面82のいずれかを含む面、+Y面83と−Y面84のいずれかを含む面、および、+Z面85と−Z面86のいずれかを含む面を選択面に決定する。
以上のようにして選択面が決定されることにより、後述する描画部239により選択面に対応する第1レイヤおよび第2レイヤのテクスチャ画像とデプス画像を用いて生成される表示画像内の高解像度領域の割合が最も高くなる。また、3つの選択面が決定されることにより、1つの選択面が選択される場合に比べて、視線が立方体80の頂点付近に向かう場合に表示画像内の高解像度領域の割合を増加させることができる。
視線検出部234は、3つの選択面に対応する第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームを、ストレージ232から読み出す。視線検出部234は、読み出された第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームを、面ごとにML3Dモデル生成部235乃至237に供給する。また、視線検出部234は、低解像度テクスチャストリームと低解像度デプスストリームをストレージ232から読み出し、3Dモデル生成部238に供給する。
また、視線検出部234は、3Dモデル座標系における視聴位置と視線方向に基づいて、3Dモデル座標系における視聴者の視野範囲を決定する。視線検出部234は、視聴者の視野範囲と視聴位置を描画部239に供給する。視線検出部234は、3つの選択面と、その3つの選択面に対応する第2レイヤの3つの面の視点位置情報および面情報を描画部239に供給する。
ML3Dモデル生成部235乃至237は、それぞれ、第1レイヤテクスチャストリームと第1レイヤデプスストリームを用いて、第1レイヤのテクスチャ画像の各画素に対応するサンプリング点のテクスチャ画像座標系における3次元位置(u,v,z)および接続情報と、カラー情報としてのRGB値とからなる3次元データを生成する。なお、各サンプリング点の接続情報は、そのサンプリング点(vertex)と他のサンプリング点との接続を表す情報である。テクスチャ画像座標系は、テクスチャ画像の横方向をu軸、縦方向をv軸、奥行き方向をz軸とする座標系である。
また、ML3Dモデル生成部235乃至237は、それぞれ、視線検出部234から供給される第2レイヤテクスチャストリームと第2レイヤデプスストリームを用いて、第2レイヤのテクスチャ画像の各画素に対応するサンプリング点の3次元データを生成する。ML3Dモデル生成部235乃至237は、第1レイヤおよび第2レイヤの3次元データを描画部239に供給する。
3Dモデル生成部238は、視線検出部234から供給される低解像度テクスチャストリームと低解像度デプスストリームを復号し、低解像度テクスチャ画像と低解像度デプス画像を生成する。3Dモデル生成部238は、低解像度テクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。また、3Dモデル生成部238は、低解像度デプス画像の各画素の画素値に対して8ビット逆量子化を行い、逆数1/rを得る。そして、3Dモデル生成部238は、低解像度デプス画像の各画素の逆数1/rに基づいて、各画素の3次元位置(u,v,z)を各画素に対応するサンプリング点の3次元位置(u,v,z)として求める。
また、3Dモデル生成部238は、各サンプリング点の3次元位置(u,v,z)に基づいて、隣接する3つのサンプリング点どうしが接続するように各サンプリング点の接続情報を生成する。3Dモデル生成部238は、各サンプリング点の3次元位置(u,v,z)、接続情報、およびRGB値を、低解像度テクスチャ画像の3次元データとして、描画部239に供給する。
描画部239は、3Dモデル生成部238から供給される低解像度テクスチャ画像の3次元データに基づいて、3Dモデル座標系において、低解像度テクスチャ画像の三角形パッチ描画(点群描画)を行う。その後、描画部239は、ML3Dモデル生成部235乃至237のそれぞれから供給される第1レイヤおよび第2レイヤの3次元データと、視線検出部234から供給される視点位置情報および面情報とに基づいて、3Dモデル座標系において、第1レイヤおよび第2レイヤのテクスチャ画像の三角形パッチ描画を行う。
即ち、低解像度テクスチャ画像の視点は3Dモデル座標系における原点であり、3Dモデルとしての正八面体の各面の位置およびサイズは予め決まっている。従って、描画部239は、正八面体の各面に対応する各カメラの内部パラメータと外部パラメータを求めることができる。よって、描画部239は、この内部パラメータと外部パラメータを用いて、低解像度テクスチャ画像の各サンプリング点の3次元位置(u,v,z)から、各サンプリング点の画面上の位置(u,v)と3Dモデル座標系における3次元位置(X,Y,Z)を認識することができる。その結果、低解像度テクスチャ画像の各サンプリング点の画面上の位置(u,v)および3次元位置(X,Y,Z)と接続情報およびRGB値とを用いて三角形パッチ描画を行うことができる。
また、描画部239は、第1レイヤおよび第2レイヤの視点位置情報および面情報に基づいて、第1レイヤおよび第2レイヤの各面に対応する各カメラの内部パラメータと外部パラメータを求めることができる。従って、描画部239は、この内部パラメータと外部パラメータを用いて、第1レイヤおよび第2レイヤの各サンプリング点の3次元位置(u,v,z)から、各サンプリング点の画面上の位置(u,v)と3次元位置(X,Y,Z)を認識できる。その結果、描画部239は、第1レイヤおよび第2レイヤの各サンプリング点の画面上の位置(u,v)および3次元位置(X,Y,Z)と接続情報およびRGB値とを用いて三角形パッチ描画を行うことができる。
描画部239(画像生成部)は、3Dモデル座標系において描画された三角形パッチを、視線検出部234から供給される視聴位置を視点として視野範囲に透視投影(マッピング)することにより、表示画像を生成する。描画部239は、表示画像を図1の変換装置14に送信する。
(ML3Dモデル生成部の構成例)
図20は、図19のML3Dモデル生成部235の構成例を示すブロック図である。
図20のML3Dモデル生成部235は、デコーダ251、RGB変換部252、デコーダ253、デプス変換部254、不連続検出部255、3Dモデル生成部256、デコーダ257、RGB変換部258、デコーダ259、デプス変換部260、オクルージョン処理部261、および3Dモデル生成部262により構成される。
ML3Dモデル生成部235のデコーダ251は、図19の視線検出部234から供給される第1レイヤテクスチャストリームを復号し、第1レイヤのテクスチャ画像を生成する。デコーダ251は、第1レイヤのテクスチャ画像をRGB変換部252に供給する。
RGB変換部252は、第1レイヤのテクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。そして、RGB変換部252は、各サンプリング点のRGB値を3Dモデル生成部256に供給する。
デコーダ253は、視線検出部234から供給される第1レイヤデプスストリームを復号し、第1レイヤのデプス画像を生成する。デコーダ253は、第1レイヤのデプス画像をデプス変換部254に供給する。
デプス変換部254は、デコーダ253から供給される第1レイヤのデプス画像の各画素の画素値に対して8ビット逆量子化を行い、逆数1/rを得る。そして、デプス変換部254は、第1レイヤのデプス画像の各画素の逆数1/rに基づいて、各画素の3次元位置(u,v,z)を各画素に対応するサンプリング点の3次元位置(u,v,z)として求める。デプス変換部254は、各サンプリング点の3次元位置(u,v,z)を不連続検出部255と3Dモデル生成部256に供給する。
不連続検出部255は、デプス変換部254から供給される各サンプリング点の3次元位置(u,v,z)に基づいて、第1レイヤのデプス画像の画素のうちの、隣接するサンプリング点とのz座標の差分が閾値以上であるサンプリング点に対応する画素である不連続画素を検出する。不連続検出部255は、不連続画素に対応するサンプリング点の3次元位置(u,v,z)を3Dモデル生成部256に供給する。
3Dモデル生成部256(接続情報生成部)は、デプス変換部254から供給される各サンプリング点の3次元位置(u,v,z)に基づいて、各サンプリング点のうちの隣接する3つのサンプリング点どうしが接続するように、各サンプリング点の接続情報を生成する。即ち、3Dモデル生成部256は、サンプリング点ごとに、そのサンプリング点を頂点とする三角形パッチの3つの頂点どうしの接続を表す接続情報を生成する。そして、3Dモデル生成部256は、不連続検出部255から供給される不連続画素に対応するサンプリング点の3次元位置(u,v,z)に基づいて、生成された各サンプリング点の接続情報のうちの不連続画素に対応するサンプリング点との接続を表す接続情報を削除する。
3Dモデル生成部256は、第1レイヤの各サンプリング点の3次元位置(u,v,z)、RGB値、および削除後の接続情報を、第1レイヤの3次元データとして生成し、図19の描画部239に供給する。
デコーダ257、RGB変換部258、デコーダ259、およびデプス変換部260の処理は、処理対象のレイヤが第1レイヤから第2レイヤに代わる点を除いて、デコーダ251、RGB変換部252、デコーダ253、およびデプス変換部254と同様であるので、説明は省略する。
オクルージョン処理部261は、デプス変換部260から供給される各サンプリング点の3次元位置(u,v,z)に基づいて、第2レイヤのデプス画像の画素のうちの不連続画素を検出する。オクルージョン処理部261は、第2レイヤの各サンプリング点の3次元位置(u,v,z)に基づいて、不連続画素に対応するサンプリング点の3次元位置(u,v,z)を補正するオクルージョン処理を行う。
具体的には、オクルージョン処理部261は、例えば、不連続画素に対応するサンプリング点の2次元位置(u,v)を、そのサンプリング点の近傍かつ手前側のサンプリング点の2次元位置(u,v)に補正する。オクルージョン処理部261は、第2レイヤの各サンプリング点のオクルージョン処理後の3次元位置(u,v,z)を3Dモデル生成部262に供給する。
3Dモデル生成部262は、オクルージョン処理部261から供給される各サンプリング点の3次元位置(u,v,z)に基づいて、サンプリング点ごとに、そのサンプリング点と隣接する2つのサンプリング点との接続を表す接続情報を生成する。3Dモデル生成部262は、各サンプリング点の3次元位置(u,v,z)および接続情報、並びに、RGB変換部258から供給されるRGB値を、第2レイヤの3次元データとして生成する。3Dモデル生成部256は、第2レイヤの3次元データを図19の描画部239に供給する。
なお、図示は省略するが、ML3Dモデル生成部236およびML3Dモデル生成部237は、図20のML3Dモデル生成部235と同様に構成される。
(接続情報の削除およびオクルージョン処理の効果の説明)
図21は、第1レイヤの接続情報のうちの不連続画素に対応するサンプリング点との接続を表す接続情報を削除しない場合の接続情報を説明する図であり、図22は、削除した場合の接続情報を説明する図である。
図21および図22において、左右方向は、テクスチャ画像の横方向を表し、上下方向は、テクスチャ画像の奥行き方向を表す。図21および図22の上方向が手前側、下方向が奥側である。また、図21および図22において、実線は、第1レイヤの各サンプリング点の3次元位置(u,v,z)を表し、点線は、第2レイヤの各サンプリング点の3次元位置(u,v,z)を表す。また、図21および図22の例では、被写体が図10の前景111と背景112である。
第1レイヤおよび第2レイヤの両方においてオクルージョン処理が行われない場合、図21のAに示すように、第1レイヤの前景111の撮影画像121と背景112の領域112Aの撮影画像122Aの境界の不連続画素に対応するサンプリング点の3次元位置は変更されない。
また、第1レイヤおよび第2レイヤの両方において不連続画素に対応するサンプリング点との接続を表す接続情報が削除されない場合、図21のAに示すように、第1レイヤおよび第2レイヤの不連続画素に対応するサンプリング点は、隣接する2つのサンプリング点と接続される。
従って、第1レイヤの不連続画素に対応するサンプリング点と、隣接する2つのサンプリング点とを頂点とする三角形パッチが生成され、その三角形パッチにより、有効領域の撮影画像122Cは塗り潰れされる。よって、図中右下から左上へ向かう視線Vに対応する、撮影済みオクルージョン領域112Cを含む表示画像を生成する場合に、撮影済みオクルージョン領域112Cの撮影画像122Cが配置される第2レイヤの有効領域を用いることはできない。
また、第1レイヤおよび第2レイヤの両方において、不連続画素に対応するサンプリング点との接続を表す接続情報が削除されないが、オクルージョン処理は行われる場合、図21のBに示すように、第1レイヤおよび第2レイヤの不連続画素に対応するサンプリング点の2次元位置が、そのサンプリング点の近傍かつ手前側のサンプリング点の2次元位置に補正される。
従って、視線Vに対応する表示画像を生成する場合、撮影済みオクルージョン領域112Cの表示画像として、第1レイヤの領域112Aの撮影画像122Aを用いることができる。その結果、表示画像の画質は向上する。
しかしながら、オクルージョン処理後の第1レイヤの不連続画素に対応するサンプリング点は、隣接する2つのサンプリング点と接続され、三角形パッチが生成される。従って、図21のAの場合と同様に、視線Vに対応する表示画像を生成する場合、撮影済みオクルージョン領域112Cの撮影画像122Cが配置される第2レイヤの有効領域を用いることはできない。
これに対して、3Dモデル生成部256は、図22に示すように、第1レイヤの不連続画素との接続を表す接続情報を削除する。従って、第1レイヤの不連続画素に対応するサンプリング点を頂点とする三角形パッチが生成されない。よって、視線Vに対応する表示画像を生成する場合に、撮影済みオクルージョン領域112Cの撮影画像122Cが配置される第2レイヤの有効領域を用いることができる。第2レイヤにおいては接続情報の削除が行われないので、第1レイヤの三角形パッチが存在しない領域には、必ず第2レイヤの三角形パッチが存在する。
また、オクルージョン処理部261は、第2レイヤに対してオクルージョン処理を行う。従って、図22に示すように、第2レイヤの有効領域と想像領域の境界の不連続画素に対応するサンプリング点のうちの奥側のサンプリング点の2次元位置が、そのサンプリング点の近傍かつ手前側のサンプリング点の2次元位置に補正される。従って、第2レイヤにおいてオクルージョン領域が削減される。よって、視線Vに対応する表示画像を生成する際に用いられる第2レイヤの画質が向上し、その結果、表示画像の画質が向上する。
(第1レイヤの面の画角の効果の説明)
図23および図24は、それぞれ、第1レイヤの各面の画角が90度、100度である場合のサンプリング点を説明する図である。
図23および図24の例では、説明の便宜上、第1レイヤの各面の画角が90度、100度である場合の第1レイヤのテクスチャ画像およびデプス画像の解像度が、それぞれ、4x4画素、6x6画素であるものとする。
図23のBに示すように、第1レイヤの各面の画角が90度である場合、第1レイヤの6つの面は、立方体80を構成する6つの面81乃至86になる。
しかしながら、図23のAに示すように、第1レイヤの−Z面86のテクスチャ画像280上のサンプリング点291の位置(u,v)、即ち3Dモデル座標系における視点Oからサンプリング点291に向かう線が−Z面86と交差する位置は、各画素281の中心である。また、他の面81乃至85のサンプリング点の位置(u,v)も、−Z面86と同様に各画素の中心である。
従って、図23のBに示すように、図中黒丸で示すサンプリング点のうちの隣接する3つのサンプリング点どうしを接続することにより構成される全ての三角形パッチの、各面81乃至86上の領域283のu方向およびv方向サイズは、各面81乃至86に比べて画素の半分のサイズだけ小さい。よって、各面81乃至86の境界に対応する三角形パッチが生成されず、その結果、各面81乃至86の境界を通る視線の表示画像を高画質で生成することが困難になる。
これに対して、第1レイヤの各面の画角が100度である場合、図24のAに示すように、−Z面86を含む第1レイヤの面のテクスチャ画像310のサイズは、図23のテクスチャ画像280のサイズより大きい6×6画素になる。他の面81乃至85をそれぞれ含む第1レイヤの各面のテクスチャ画像のサイズも同様に6×6画素になる。
従って、図24のBに示すように、図中黒丸で示すサンプリング点のうちの隣接する3つのサンプリング点どうしを接続することにより構成される全ての三角形パッチの、−Z面86上の領域311のu方向およびv方向サイズは、−Z面86に比べて画素の半分のサイズだけ大きい。図示は省略するが、他の面81乃至85をそれぞれ含む第1レイヤの各面の三角形パッチの領域のu方向およびv方向サイズも、領域311と同様に、各面81乃至85に比べて画素の半分のサイズだけ大きい。従って、各面81乃至86の境界に対応する三角形パッチが生成され、その結果、各面81乃至86の境界を通る視線を含む任意の視線の表示画像を高画質で生成することができる。
図23および図24では、第1レイヤの各面の画角が100度である場合の効果について説明したが、第1レイヤの各面の画角が90度より大きければ、画角が100度ではない場合であっても同様の効果が発生する。
(第2レイヤの面の画角の効果の説明)
図25は、第2レイヤの各面の画角が90度および100度である場合のオクルージョン処理を説明する図である。
図25において、横軸はu軸を表し、縦軸はz軸を表す。また、丸はサンプリング点を表す。さらに、図25の例では、奥行き方向の位置が奥側であるほどz座標は大きい。
第2レイヤの各面の画角が90度である場合、サンプリング点が、第2レイヤのいずれか1つの面にのみマッピングされる。従って、図25のAに示すように、処理対象の面のu方向の端部にマッピングされるサンプリング点331に隣接するサンプリング点332は、処理対象の面にはマッピングされず、処理対象の面のオクルージョン処理時にサンプリング点332のz軸の位置はわからない。
よって、サンプリング点331とサンプリング点332のz座標の差分が閾値以上である場合であっても、サンプリング点331に対応する画素は不連続画素として検出されない。同様に、サンプリング点332がマッピングされる面が処理対象の面とされる場合にも、サンプリング点332に対応する画素は不連続画素として検出されない。従って、サンプリング点331およびサンプリング点332に対してオクルージョン処理を行うことはできない。即ち、サンプリング点331およびサンプリング点332に対してオクルージョン処理を行うために、処理対象の面のデプス画像以外に、処理対象の面と隣接する面のデプス画像も用いる必要がある。
これに対して、第2レイヤの各面の画角が100度である場合、各面の端部に、その面と隣接する面の端部以外の領域にマッピングされるサンプリング点が、のりしろとして重複してマッピングされる。例えば、サンプリング点331がマッピングされる処理対象の面の端部に、処理対象の面に隣接する面の端部以外の領域にマッピングされるサンプリング点332がマッピングされる。
従って、サンプリング点331とサンプリング点332のz座標の差分が閾値以上である場合、サンプリング点331とサンプリング点332に対応する画素は不連続画素として検出される。よって、図25のBに示すように、サンプリング点331とサンプリング点332に対してオクルージョン処理を行うことができる。その結果、不連続画素に対応するサンプリング点332のu座標が、サンプリング点332近傍のサンプリング点332より手前側の(z座標が小さい)サンプリング点333のu座標に補正される。
なお、図25の例では、処理対象の面の端部以外の領域にマッピングされるサンプリング点334とサンプリング点335のz座標の差分が閾値以上であるため、サンプリング点334とサンプリング点335に対応する画素も不連続画素として検出されている。その結果、図25のBに示すように、サンプリング点334のu座標が、サンプリング点334近傍のサンプリング点334より手前側のサンプリング点336のu座標に補正されている。
また、処理対象の面のu座標が最も大きい端部のサンプリング点337は、処理対象の面と隣接する面の端部以外の領域にマッピングされる。従って、この面が処理対象の面とされる場合に、サンプリング点337に対応する画素が不連続画素であるかどうかを判定し、不連続画素であると判定した場合に、サンプリング点337に対するオクルージョン処理を行うことができる。
以上のように、第2レイヤの各面の画角が100度である場合、各面のサンプリング点のみを用いて、各面の端部以外の領域の端部にマッピングされるサンプリング点331に対してもオクルージョン処理を行うことができる。その結果、第2レイヤのオクルージョン領域が削減され、表示画像の画質を向上させることができる。
図25では、第2レイヤの各面の画角が100度である場合の効果について説明したが、第2レイヤの各面の画角が90度より大きければ、画角が100度ではない場合であっても同様の効果が発生する。
なお、ML3Dモデル生成部235乃至237は、復号の結果得られるテクスチャ画像やデプス画像に対して、周辺の画素を用いたフィルタ処理等の画像処理を行うようにしてもよい。この場合、第1レイヤおよび第2レイヤの各面の画角が90度より大きいことにより、オクルージョン処理と同様に、各面の端部以外の領域の端部においても画像処理を行うことができるという効果を得ることができる。
(ホームサーバの処理の説明)
図26は、図19のホームサーバ13の再生処理を説明するフローチャートである。この再生処理は、例えば、コンテンツサーバ12から伝送されてくる低解像度テクスチャストリームおよび低解像度デプスストリーム、6つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリーム、並びにメタデータが伝送されてきたとき、開始される。
図26のステップS41において、ホームサーバ13の受け取り部231は、コンテンツサーバ12から、低解像度テクスチャストリームおよび低解像度デプスストリーム、6つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリーム、並びにメタデータを受け取り、ストレージ232に供給する。
ステップS42において、ストレージ232は、低解像度テクスチャストリームおよび低解像度デプスストリーム、6つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリーム、並びにメタデータを記憶する。
ステップS43において、受け取り部233は、図1のジャイロセンサ15Bの検出結果をヘッドマウントディスプレイ15から受け取り、視線検出部234に供給する。
ステップS44において、視線検出部234は、受け取り部233から供給されるジャイロセンサ15Bの検出結果に基づいて、3Dモデル座標系における視聴者の視線方向を決定する。ステップS45において、カメラ13Aは、ヘッドマウントディスプレイ15に付されたマーカ15Aを撮影し、その結果得られる撮影画像を視線検出部234に供給する。
ステップS46において、視線検出部234は、カメラ13Aから供給されるマーカ15Aの撮影画像に基づいて、3Dモデル座標系における視聴位置を検出し、描画部239に供給する。
ステップS47において、視線検出部234は、ストレージ232に記憶されているメタデータのうちの第1レイヤのテーブルと、3Dモデル座標系における視聴位置および視線方向とに基づいて、6つの面のうちの視線に最も近い視線ベクトルに対応する3つの面を選択面に決定する。
ステップS48において、視線検出部234は、3Dモデル座標系における視聴位置と視線方向に基づいて、3Dモデル座標系における視聴者の視野範囲を決定し、描画部239に供給する。
ステップS49において、視線検出部234は、低解像度テクスチャストリームと低解像度デプスストリームをストレージ232から読み出し、3Dモデル生成部238に供給する。また、視線検出部234は、3つの選択面に対応する第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームを、ストレージ232から読み出す。視線検出部234は、読み出された第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームを、面ごとにML3Dモデル生成部235乃至237に供給する。また、視線検出部234は、3つの選択面に対応する視点位置情報および面情報をストレージ232から読み出し、描画部239に供給する。
ステップS50において、ML3Dモデル生成部235乃至237は、面ごとに、第1レイヤおよび第2レイヤの各サンプリング点の3次元データを生成する3次元データ生成処理を行う。この3次元データ生成処理の詳細は、図27を参照して後述する。
ステップS51において、3Dモデル生成部238は、視線検出部234から供給される低解像度テクスチャストリームと低解像度デプスストリームから、低解像度テクスチャ画像の各サンプリング点の3次元データを生成し、描画部239に供給する。
ステップS52において、描画部239は、3Dモデル生成部238から供給される低解像度テクスチャ画像の3次元データに基づいて、3Dモデル座標系において、低解像度テクスチャ画像の三角形パッチ描画を行う。その後、描画部239は、ML3Dモデル生成部235乃至237のそれぞれから供給される第1レイヤおよび第2レイヤの3次元データと、視線検出部234から供給される視点位置情報および面情報とに基づいて、3Dモデル座標系において、第1レイヤおよび第2レイヤのテクスチャ画像の三角形パッチ描画を行う。
ステップS53において、描画部239は、3Dモデル座標系において描画された三角形パッチを、視線検出部234から供給される視聴位置を視点として視野範囲に透視投影することにより、表示画像を生成する。ステップS54において、描画部239は、表示画像を図1の変換装置14に伝送する。
図27は、図26のステップS50においてML3Dモデル生成部235により行われる3次元データ生成処理の詳細を説明するフローチャートである。
図27のステップS71において、ML3Dモデル生成部235のデコーダ251(図20)は、図19の視線検出部234から供給される第1レイヤテクスチャストリームを復号し、第1レイヤのテクスチャ画像を生成する。デコーダ251は、第1レイヤのテクスチャ画像をRGB変換部252に供給する。
ステップS72において、RGB変換部252は、第1レイヤのテクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。そして、RGB変換部252は、各サンプリング点のRGB値を3Dモデル生成部256に供給する。
ステップS73において、デコーダ253は、視線検出部234から供給される第1レイヤデプスストリームを復号し、第1レイヤのデプス画像を生成する。デコーダ253は、第1レイヤのデプス画像をデプス変換部254に供給する。
ステップS74において、デプス変換部254は、デコーダ253から供給される第1レイヤのデプス画像の各画素の画素値に対して8ビット逆量子化を行い、第1レイヤのデプス画像の各画素の逆数1/rを得る。
ステップS75において、デプス変換部254は、第1レイヤのデプス画像の各画素の逆数1/rに基づいて、第1レイヤのデプス画像の各画素の3次元位置(u,v,z)を、各画素に対応するサンプリング点の3次元位置(u,v,z)として求める。デプス変換部254は、各サンプリング点の3次元位置(u,v,z)を不連続検出部255と3Dモデル生成部256に供給する。
ステップS76において、不連続検出部255は、デプス変換部254から供給される各サンプリング点の3次元位置(u,v,z)に基づいて、第1レイヤのデプス画像の各画素のうちの不連続画素を検出する。不連続検出部255は、不連続画素に対応するサンプリング点の3次元位置(u,v,z)を3Dモデル生成部256に供給する。
ステップS77において、3Dモデル生成部256は、デプス変換部254から供給される各サンプリング点の3次元位置(u,v,z)に基づいて、各サンプリング点のうちの隣接する3つのサンプリング点どうしが接続するように、第1レイヤの各サンプリング点の接続情報を生成する。
ステップS78において、3Dモデル生成部256は、不連続検出部255から供給される不連続画素に対応するサンプリング点の3次元位置(u,v,z)に基づいて、ステップS77で生成された各サンプリング点の接続情報のうちの不連続画素に対応するサンプリング点との接続を表す接続情報を削除する。
ステップS79において、3Dモデル生成部256は、第1レイヤの各サンプリング点の3次元位置(u,v,z)、RGB値、および、ステップS78の処理による削除後の接続情報を、第1レイヤの3次元データとして生成する。3Dモデル生成部256は、第1レイヤの3次元データを図19の描画部239に供給する。
ステップS80において、デコーダ257は、視線検出部234から供給される第2レイヤテクスチャストリームを復号し、第2レイヤのテクスチャ画像を生成する。デコーダ257は、第2レイヤのテクスチャ画像をRGB変換部258に供給する。
ステップS81において、RGB変換部258は、第2レイヤのテクスチャ画像の各画素の画素値としてのYCbCr値をRGB値に変換し、各画素に対応するサンプリング点のRGB値とする。そして、RGB変換部258は、各サンプリング点のRGB値を3Dモデル生成部262に供給する。
ステップS82において、デコーダ259は、視線検出部234から供給される第2レイヤデプスストリームを復号し、第2レイヤのデプス画像を生成する。デコーダ259は、第2レイヤのデプス画像をデプス変換部260に供給する。
ステップS83において、デプス変換部260は、デコーダ259から供給される第2レイヤのデプス画像の各画素の画素値に対して8ビット逆量子化を行い、第2レイヤのデプス画像の各画素の逆数1/rを得る。
ステップS84において、デプス変換部260は、第2レイヤのデプス画像の各画素の逆数1/rに基づいて、第2レイヤのデプス画像の各画素の3次元位置(u,v,z)を、各画素に対応するサンプリング点の3次元位置(u,v,z)として求める。デプス変換部260は、各サンプリング点の3次元位置(u,v,z)をオクルージョン処理部261と3Dモデル生成部262に供給する。
ステップS85において、オクルージョン処理部261は、デプス変換部260から供給される各サンプリング点の3次元位置(u,v,z)に基づいて、第2レイヤのデプス画像の各画素のうちの不連続画素を検出する。
ステップS86において、オクルージョン処理部261は、第2レイヤの各サンプリング点の3次元位置(u,v,z)に基づいて、不連続画素に対応するサンプリング点の3次元位置(u,v,z)を補正するオクルージョン処理を行う。オクルージョン処理部261は、第2レイヤの各サンプリング点のオクルージョン処理後の3次元位置(u,v,z)を3Dモデル生成部262に供給する。
ステップS87において、3Dモデル生成部262は、オクルージョン処理部261から供給される各サンプリング点の3次元位置(u,v,z)に基づいて、各サンプリング点のうちの隣接する3つのサンプリング点どうしが接続するように、第2レイヤの各サンプリング点の接続情報を生成する。
ステップS88において、3Dモデル生成部262は、各サンプリング点の3次元位置(u,v,z)および接続情報、並びに、RGB変換部258から供給されるRGB値を、第2レイヤの3次元データとして生成する。3Dモデル生成部262は、第2レイヤの3次元データを図19の描画部239に供給する。
なお、ML3Dモデル生成部236およびML3Dモデル生成部237により行われる3次元データ生成処理は、図27の3次元データ処理と同様に行われる。
以上のように、ホームサーバ13は、第1レイヤと第2レイヤを用いて、表示画像を生成する。従って、視聴位置が視点Oとは異なる場合に、第2レイヤを用いることにより、表示画像に含まれる視点Oのオクルージョン領域を生成することができる。従って、高画質の表示画像を生成することができる。
また、ホームサーバ13は、テクスチャ画像だけでなくデプス画像も用いて表示画像を生成する。従って、三角形パッチ描画により、被写体に応じた3次元形状の三角形パッチにテクスチャ画像をマッピングし、その三角形パッチを用いて表示画像を生成することができる。よって、テクスチャ画像のみを用いてテクスチャ画像を所定の面にマッピングすることにより表示画像を生成する場合に比べて、高画質の表示画像を生成することができる。
さらに、第1レイヤのテクスチャ画像とデプス画像は、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像である。従って、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像のみを再生する再生装置において、第1レイヤのテクスチャ画像とデプス画像を再生することができる。
即ち、コンテンツサーバ12により生成される第1レイヤおよび第2レイヤのテクスチャ画像とデプス画像のフォーマットは、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像のフォーマットと互換性を有する。また、ホームサーバ13による再生方法は、全天球画像のテクスチャ画像とデプス画像を所定の面にマッピングすることにより得られるテクスチャ画像とデプス画像のみを再生する再生装置の再生方法と互換性を有する。
なお、ホームサーバ13は、第1レイヤのテクスチャ画像とデプス画像のみを用いて表示画像を生成するようにしてもよい。この場合、第1レイヤに対して接続情報の削除の代わりに、オクルージョン処理が行われる。
また、上述した説明では、3Dモデル生成部256は、不連続検出部255において検出された不連続画素に対応するサンプリング点との接続を表す接続情報を削除したが、コンテンツサーバ12から伝送されてくる三角形パッチ有効無効情報(詳細は後述する)に基づいて接続情報を削除するようにしてもよい。この場合、不連続検出部255は設けられない。
(三角形パッチ有効無効情報の説明)
図28は、このような場合にコンテンツサーバ12から伝送されてくる三角形パッチ有効無効情報を説明する図である。
図28の例では、第1レイヤのサンプリング点351の数が12個である。従って、隣接する3つのサンプリング点351を頂点とする三角形パッチ352の数は、12個である。
この場合、コンテンツサーバ12は、不連続検出部255と同様に、不連続画素を検出する。そして、コンテンツサーバ12は、その不連続画素に対応するサンプリング点を頂点とする三角形パッチ352を無効(OFF)に設定し、不連続画素に対応するサンプリング点を含まない三角形パッチ352を有効(ON)に設定する。
コンテンツサーバ12(生成部)は、各三角形パッチ352の有効または無効を示す三角形パッチ有効無効情報を生成し、メタデータに含める。
ホームサーバ13の3Dモデル生成部256は、三角形パッチ有効無効情報に基づいて、無効の三角形パッチの頂点を構成するサンプリング点どうしの接続を表す接続情報を削除する。その結果、三角形パッチ有効無効情報が無効を示す三角形パッチは、描画されない。
なお、三角形パッチは、右端および下端のサンプリング点を除いて、各サンプリング点に対して2個ずつ生成される。また、三角形パッチ有効無効情報は、三角形パッチの有効または無効を示す1ビットの情報である。従って、全ての三角形パッチの三角形パッチ有効無効情報のビット数は、第1レイヤのテクスチャ画像の水平方向の画素数をwidthとし、垂直方向の画素数をheightとすると、(width-1)*(height-1)*2ビットである。
三角形パッチ有効無効情報は、ロスレス圧縮または非圧縮で、コンテンツサーバ12からホームサーバ13に伝送される。なお、三角形パッチ有効無効情報は、デプス画像のCb,Cr値として配置されてもよい。
<2.第2実施の形態>
次に、画像表示システムの第2実施の形態について説明する。
なお、第2実施の形態の説明では、上述した第1の実施の形態と重複する部分についての説明は適宜省略し、異なる部分について説明する。
第1の実施の形態において、コンテンツサーバ12は、第1レイヤのテクスチャ情報であるテクスチャ画像を圧縮符号化した第1レイヤテクスチャストリームと、第1レイヤのデプス情報であるデプス画像を圧縮符号化した第1レイヤデプスストリームとを生成し、ホームサーバ13に伝送する。
また、コンテンツサーバ12は、第2レイヤのテクスチャ情報であるテクスチャ画像を圧縮符号化した第2レイヤテクスチャストリームと、第2レイヤのデプス情報であるデプス画像を圧縮符号化した第2レイヤデプスストリームとを生成し、ホームサーバ13に伝送する。
従って、コンテンツサーバ12はレイヤごとにテクスチャ情報とデプス情報を伝送するが、各レイヤのテクスチャ情報とデプス情報の他に、付加的な補助情報も伝送したい場合がある。そこで、第2実施の形態では、各レイヤのテクスチャ情報とデプス情報に対して、補助情報を付加して伝送することができるようにした構成について説明する。
補助情報の詳細については後述するが、補助情報とは、その情報がなくても表示画像を生成することはできるが、テクスチャ情報とデプス情報を用いて生成される表示画像を高画質にしたり、または、高機能にするための補助的な情報である。
例えば、コンテンツサーバ12は、第1レイヤのテクスチャ画像がYUVフォーマットを用いてY成分、Cb成分、及びCr成分それぞれ8ビットで表現されている場合、Cb成分及びCr成分それぞれに付加される2ビットの色の高域成分を、補助情報として生成する。これにより、ホームサーバ13側において、色情報を10ビットで表現したHDR(High Dynamic Range)画像を生成することができる。
また例えば、図11を参照して説明したように、第2レイヤのテクスチャ画像は、有効領域、不要領域、及び、想像領域に分けられるが、コンテンツサーバ12は、この領域を識別する情報を補助情報として生成し、伝送する。これにより、ホームサーバ13は、第2レイヤのテクスチャ画像については、描画には有効領域の画素のみを使うように制御することができる。
補助情報は、付加対象のテクスチャ情報と同じ視点での情報であることが前提である。また、補助情報は、各レイヤのテクスチャ情報とデプス情報に対して必ずあるとは限らず、補助情報が付加されないテクスチャ情報とデプス情報もある。
なお、上述した第1実施の形態では、第1レイヤと第2レイヤの2層の階層構造について説明したが、3層以上の階層構造も可能であるため、以下では、N層に一般化して説明する。第2実施の形態の説明及び図面では、レイヤを階層と記述し、第1レイヤ、第2レイヤ、・・・を第1層、第2層、・・・のように記述して説明する場合がある。
(補助情報の付加形態)
初めに、図29乃至図31を参照して、補助情報の付加形態について説明する。
図29は、補助情報の第1の付加形態を示している。
補助情報の第1の付加形態は、各階層のテクスチャ情報とデプス情報に対して、補助情報を、付加対象のテクスチャ情報及びデプス情報と同一階層に格納する形態である。
階層ごとに、格納する補助情報の個数は異なってよい。また、補助情報の解像度は、テクスチャ情報の解像度と異なってもよい。
図29の例では、第1レイヤに、異なる2つの補助情報(例えば、補助情報Aと補助情報B)が格納され、第2レイヤに、1つの補助情報が格納され、第3レイヤには、補助情報が格納されていない。第1レイヤに、格納されている2つの補助情報の一つは、テクスチャ情報と同一の解像度であり、他の一つは、テクスチャ情報の解像度よりも低解像度である。
図30は、補助情報の第2の付加形態を示している。
補助情報の第2の付加形態は、補助情報を、付加対象のテクスチャ情報及びデプス情報を格納した階層とは異なる階層に格納する形態である。補助情報のみが格納された階層では、参照レイヤ番号(参照レイヤ情報)によって、その補助情報が、どの階層のテクスチャ情報とデプス情報に対応するものであるかが規定される。
図30のAの例では、第3レイヤに格納された補助情報が、第1レイヤのテクスチャ情報とデプス情報に対応する補助情報であり、第4レイヤに格納された補助情報が、第2レイヤのテクスチャ情報とデプス情報に対応する補助情報であることが参照レイヤ番号によって規定されている。
図30のAの例では、第1レイヤと第2レイヤでは、その階層でパッケージされる情報の個数が、テクスチャ情報とデプス情報の2個であるのに対して、第3レイヤと第4レイヤでは、その階層でパッケージされる情報の個数が、補助情報のみの1個となっており、データの個数及びサイズが、レイヤによって異なる。
そこで、図30のBに示されるように、第3レイヤと第4レイヤにおいて、付加対象であるデプス情報をコピーすることにより、付加対象と同一のデプス情報を同一レイヤに格納して、各階層でパッケージされる情報の個数を補助情報とデプス情報の2個として、各階層のデータの個数及びサイズを統一してもよい。
図30のAの構成では、図30のBの構成と比較して、冗長なデプス情報を削減することができるというメリットがある。一方、図30のBの構成には、図30のAの構成と比較して、各階層のデータの個数及びサイズを統一して扱うことができるというメリットがある。
図31は、補助情報の第3の付加形態を示している。
補助情報の第3の付加形態は、デプス情報が、汎用的なデコーダがデコード可能な4:2:0フォーマットで伝送される場合に利用可能な付加形態である。
デプス情報が汎用的なデコーダがデコード可能な4:2:0のYUVフォーマットで伝送される場合、デプス情報はY成分だけを用いて伝送することができる。そのため、補助情報の第3の付加形態は、補助情報を、残りのCbCr成分に格納する形態である。したがって、この場合も、第1の付加形態と同様に、補助情報は、対応するテクスチャ情報とデプス情報と同一レイヤに格納される。この格納形態は、補助情報の解像度が低い場合に伝送帯域を削減できる点で有効である。
図31のAは、第1及び第2レイヤのそれぞれにおいて、Y成分にデプス情報を格納し、残りのCbCr成分に補助情報を格納し、第3レイヤには、補助情報が格納されていない例を示している。第1及び第2レイヤそれぞれの補助情報は、同じ種類でもよいし、異なる種類でもよい。
図31のBは、CbCr成分を、Cb成分とCr成分に分けて、それぞれに異なる補助情報を格納した例を示している。
第1レイヤでは、CbCr成分に、1種類の補助情報が格納されている。
第2レイヤでは、CbCr成分がCb成分とCr成分に分けられ、それらに異なる種類の補助情報が格納されている。
第3レイヤでは、CbCr成分がCb成分とCr成分に分けられ、Cb成分だけに補助情報が格納されている。
(ヘッダ情報の定義)
上述した補助情報の第1乃至第3の付加形態を任意に選択して、テクスチャ情報とデプス情報とともに補助情報を伝送できるようにするため、コンテンツサーバ12では、図32に示されるように、要素ヘッダ情報、階層ヘッダ情報、及び伝送ヘッダ情報の各種のヘッダ情報が定義される。
テクスチャ情報、デプス情報、及び、補助情報を総称して、要素情報ということにすると、最小単位である各要素情報に対するヘッダ情報として、要素ヘッダ情報が付加される。この要素ヘッダ情報と要素情報とを合わせて、要素伝送情報が構成される。
1以上の要素伝送情報が格納された1つの階層に対するヘッダ情報として、階層ヘッダ情報が付加される。1つの階層に格納された、階層ヘッダ情報と、1以上の要素伝送情報とを合わせて、階層伝送情報が構成される。
N個(N>1)の階層伝送情報に対するヘッダ情報として、伝送ヘッダ情報が付加される。この伝送ヘッダ情報とN個の階層伝送情報とを合わせて、伝送情報が構成される。
コンテンツサーバ12は、伝送情報を単位として、N個の階層のテクスチャ情報、デプス情報、及び、補助情報をホームサーバ13に伝送する。
(各ヘッダ情報の詳細)
次に、各ヘッダ情報に格納されるパラメータについて説明する。
図33は、伝送ヘッダ情報に格納されるパラメータを説明する図である。
図33のAに示されるように、伝送ヘッダ情報には、伝送情報に含まれる階層の数を表すパラメータであるMaxLayerNumが格納される。
例えば、伝送情報が図32に示した構造である場合、図33のBに示されるように、MaxLayerNum=4となる。
図34は、階層ヘッダ情報に格納されるパラメータを説明する図である。
図34のAに示されるように、階層ヘッダ情報には、ThisLayerID、MaxTexInfoNum、MaxDepInfoNum、及び、MaxAuxInfoNumの各パラメータが格納される。ThisLayerIDは、第何層の階層伝送情報であるかを示す階層インデックスである。ThisLayerIDにより、後述する要素ヘッダ情報内のパラメータ(LayerID)を確認しなくても、どの階層の情報であるのかを確認することができる。
MaxTexInfoNumは、その階層で伝送されるテクスチャ情報の数を表す。MaxDepInfoNumは、その階層で伝送されるデプス情報の数を表す。MaxAuxInfoNumは、その階層で伝送される補助情報の数を表す。
図34のBは、伝送情報が図32に示した構造である場合の、各階層の階層ヘッダ情報の各パラメータの値を示している。
図32の伝送情報では、第1レイヤには、テクスチャ情報とデプス情報の2つの要素情報が格納されているので、その階層ヘッダ情報の各パラメータの値は、ThisLayerID=0、MaxTexInfoNum=1、MaxDepInfoNum=1、及び、MaxAuxInfoNum=0となる。
図32の伝送情報では、第2レイヤには、テクスチャ情報とデプス情報の2つの要素情報が格納されているので、その階層ヘッダ情報の各パラメータの値は、ThisLayerID=1、MaxTexInfoNum=1、MaxDepInfoNum=1、及び、MaxAuxInfoNum=0となる。
図32の伝送情報では、第3レイヤには、補助情報とデプス情報の2つの要素情報が格納されているので、その階層ヘッダ情報の各パラメータの値は、ThisLayerID=2、MaxTexInfoNum=0、MaxDepInfoNum=1、及び、MaxAuxInfoNum=1となる。
図32の伝送情報では、第3レイヤには、テクスチャ情報とデプス情報の2つの要素情報が存在し、さらにデプス情報には補助情報が格納されているので、その階層ヘッダ情報の各パラメータの値は、ThisLayerID=3、MaxTexInfoNum=1、MaxDepInfoNum=1、及び、MaxAuxInfoNum=1となる。
図35は、要素ヘッダ情報に格納されるパラメータを説明するための所定の伝送情報の構造を示している。
なお、図35では、既に説明を行った伝送ヘッダ情報と階層ヘッダ情報については省略されている。
要素ヘッダ情報は、テクスチャ情報、デプス情報、及び、補助情報に共通なパラメータを有する共通要素ヘッダ情報と、要素情報が補助情報である場合にのみ付加される補助ヘッダ情報とに分けられる。補助ヘッダ情報には、同階層補助ヘッダ情報、異階層補助ヘッダ情報、及び、YUV補助ヘッダ情報がある。
要素情報がテクスチャ情報かまたはデプス情報のみである場合、その要素情報の要素ヘッダ情報には、共通要素ヘッダ情報のみが格納される。
要素情報が補助情報であり、かつ、その補助情報が、付加対象のテクスチャ情報及びデプス情報と同一階層に格納されている場合、その要素情報の要素ヘッダ情報には、共通要素ヘッダ情報と同階層補助ヘッダ情報が格納される。
要素情報が補助であり、かつ、その補助情報が、付加対象のテクスチャ情報及びデプス情報と異なる階層に格納されている場合、その要素情報の要素ヘッダ情報には、共通要素ヘッダ情報と異階層補助ヘッダ情報が格納される。
要素情報がデプス情報と補助情報である場合、その要素情報の要素ヘッダ情報には、共通要素ヘッダ情報とYUV補助ヘッダ情報が格納される。
図36は、要素ヘッダ情報に格納されるパラメータを説明する図である。
図36のAは、共通要素ヘッダ情報に格納されるパラメータを示している。
共通要素ヘッダ情報には、Width、Height、LayerID、InfoID、及び、InfoTypeの各パラメータが格納される。
Widthは、要素情報の水平方向の解像度を表す。Heightは要素情報の垂直方向の解像度を表す。LayerIDは、要素情報が第何層の情報であるかを示す階層インデックスである。InfoIDは、階層内の先頭(図35の左側)から、その階層で何番目の要素情報であるかを示すインデックスである。LayerIDとInfoIDは、図35においてカッコ内の数字で示されるように、値は“0”からスタートする。
InfoTypeは、要素情報が、”Tex”,”Dep”,”SameLayerAux”,”DiffLayerAux”,”DepAux”のどの情報であるかを示す識別子である。”Tex”は、テクスチャ情報を表し、”Dep”は、デプス情報を表し、”SameLayerAux”は、付加対象と同階層の補助情報を表し、”DiffLayerAux”は、付加対象と異階層の補助情報を表し、”DepAux”は、YUVフォーマットを用いてデプス情報と補助情報が混合されている情報を表す。
図36のBは、同階層補助ヘッダ情報に格納されるパラメータを示している。
同階層補助ヘッダ情報には、AuxInfoType及びAuxInfoIDの各パラメータが格納される。
AuxInfoTypeは、補助情報がどのような情報であるか、補助情報の情報種別を示す識別子である。AuxInfoIDは、補助情報がその階層で何番目の補助情報であるかを示すインデックスである。
図36のCは、異階層補助ヘッダ情報に格納されるパラメータを示している。
異階層補助ヘッダ情報には、AuxInfoType、AuxDepLayerID、及びAuxInfoIDの各パラメータが格納される。
AuxInfoTypeは、補助情報がどのような情報であるか、補助情報の情報種別を示す識別子である。AuxDepLayerIDは、補助情報に対応するデプス情報が格納されている階層を示す階層インデックスであり、上述した参照レイヤ情報である。AuxInfoIDは、補助情報がその階層で何番目の補助情報であるかを示すインデックスである。
図36のDは、YUV補助ヘッダ情報に格納されるパラメータを示している。
YUV補助ヘッダ情報には、AuxInfoNum、AuxInfoType、AuxInfoID、及びDepthAuxTypeの各パラメータが格納される。
AuxInfoNumは、要素情報に含まれている補助情報の数を表す。AuxInfoTypeは、補助情報がどのような情報であるか、補助情報の情報種別を示す識別子である。AuxInfoIDは、補助情報がその階層で何番目の補助情報であるかを示すインデックスである。DepthAuxTypeは、補助情報が格納されているYUVフォーマットの場所を示し、CbCr成分に格納されている場合には“CbCr”、Cb成分に格納されている場合には“Cb”、Cr成分に格納されている場合には“Cr”となる。
(ヘッダ情報の設定例)
次に、第1乃至第3の付加形態それぞれに対するヘッダ情報の具体的な設定例について説明する。
図37は、付加対象のテクスチャ情報及びデプス情報を格納した階層と異なる階層に補助情報を格納した場合の第1の設定例を示している。
例えば、図37のAに示されるように8個の要素情報I0乃至I7が4階層で伝送される場合、8個の要素情報I0乃至I7それぞれの要素ヘッダ情報は、図37のBに示されるように定義される。
要素情報I0はテクスチャ情報であるため、要素情報I0には、共通要素ヘッダ情報のみが定義されている。要素情報I0の水平方向の解像度が1920であり、垂直方向の解像度が1080である。要素情報I0は第1層の1番目の要素情報であるので、LayerID=0、InfoID=0が格納されている。InfoTypeには、テクスチャ情報を表す”Tex”が格納されている。
要素情報I1はデプス情報であるため、要素情報I1には、共通要素ヘッダ情報のみが定義されている。要素情報I1の水平方向の解像度が1920であり、垂直方向の解像度が1080である。要素情報I1は第1層の2番目の要素情報であるので、LayerID=0、InfoID=1が格納されている。InfoTypeには、デプス情報を表す”Dep”が格納されている。
要素情報I2はテクスチャ情報であるため、要素情報I2には、共通要素ヘッダ情報のみが定義されている。要素情報I2の水平方向の解像度が1920であり、垂直方向の解像度が1080である。要素情報I2は第2層の1番目の要素情報であるので、LayerID=1、InfoID=0が格納されている。InfoTypeには、テクスチャ情報を表す”Tex”が格納されている。
要素情報I3はデプス情報であるため、要素情報I3には、共通要素ヘッダ情報のみが定義されている。要素情報I3の水平方向の解像度が1920であり、垂直方向の解像度が1080である。要素情報I3は第2層の2番目の要素情報であるので、LayerID=1、InfoID=1が格納されている。InfoTypeには、デプス情報を表す”Dep”が格納されている。
要素情報I4は補助情報であるため、要素情報I4には、共通要素ヘッダ情報と異階層補助ヘッダ情報が定義されている。
共通要素ヘッダ情報としては、要素情報I4の水平方向の解像度が1920であり、垂直方向の解像度が1080であること、要素情報I4は第3層の1番目の要素情報であるので、LayerID=2、InfoID=0、InfoTypeには、付加対象と異階層の補助情報を表す” DiffLayerAux”が格納されている。
異階層補助ヘッダ情報としては、補助情報の情報種別を示すAuxInfoTypeには、“A”が格納され、補助情報に対応するデプス情報は要素情報I1であるので、AuxDepLayerID=0が格納され、要素情報I4は第3層で1番目の補助情報であるので、AuxInfoID=0が格納されている。
要素情報I5はデプス情報であるため、要素情報I5には、共通要素ヘッダ情報のみが定義されている。要素情報I5の水平方向の解像度が1920であり、垂直方向の解像度が1080である。要素情報I5は第3層の2番目の要素情報であるので、LayerID=2、InfoID=1が格納されている。InfoTypeには、デプス情報を表す”Dep”が格納されている。
要素情報I6は補助情報であるため、要素情報I6には、共通要素ヘッダ情報と異階層補助ヘッダ情報が定義されている。
共通要素ヘッダ情報としては、要素情報I6の水平方向の解像度が1920であり、垂直方向の解像度が1080であること、要素情報I6は第4層の1番目の要素情報であるので、LayerID=3、InfoID=0、InfoTypeには、付加対象と異階層の補助情報を表す” DiffLayerAux”が格納されている。
異階層補助ヘッダ情報としては、補助情報の情報種別を示すAuxInfoTypeには、“A”が格納され、補助情報に対応するデプス情報は要素情報I3であるので、AuxDepLayerID=1が格納され、要素情報I6は第4層で1番目の補助情報であるので、AuxInfoID=0が格納されている。
要素情報I7はデプス情報であるため、要素情報I7には、共通要素ヘッダ情報のみが定義されている。要素情報I7の水平方向の解像度が1920であり、垂直方向の解像度が1080である。要素情報I7は第4層の2番目の要素情報であるので、LayerID=3、InfoID=1が格納されている。InfoTypeには、デプス情報を表す”Dep”が格納されている。
図38は、付加対象のテクスチャ情報及びデプス情報を格納した階層と異なる階層に補助情報を格納した場合の第2の設定例を示している。
図37に示した第1の設定例と、図38の第2の設定例との違いは、第1の設定例が補助情報を格納した階層に、対応するデプス情報がコピーされていたのに対して、第2の設定例では、対応するデプス情報がコピーされていない点である。
例えば、図38のAに示されるように6個の要素情報I0乃至I5が4階層で伝送される場合、6個の要素情報I0乃至I5それぞれの要素ヘッダ情報は、図38のBに示されるように定義される。
図38のBに示される6個の要素情報I0乃至I5それぞれの要素ヘッダ情報は、図37のBに示した第1の設定例の要素ヘッダ情報における、デプス情報がコピーされて格納された要素情報I5及びI7を省略した形となっている。
図39は、付加対象のテクスチャ情報及びデプス情報を格納した階層と同一階層に補助情報を格納した場合の設定例を示している。
例えば、図39のAに示されるように8個の要素情報I0乃至I7が3階層で伝送される場合、8個の要素情報I0乃至I7それぞれの要素ヘッダ情報は、図39のBに示されるように定義される。
図39においては、要素情報Iがテクスチャ情報またはデプス情報である場合の要素ヘッダ情報は上述した例と同様であるので、その説明を省略し、要素情報Iが補助情報である場合についてのみ説明する。図40及び図41についても同様とする。
要素情報I2は補助情報であるため、要素情報I2には、共通要素ヘッダ情報と同階層補助ヘッダ情報が定義されている。
共通要素ヘッダ情報としては、要素情報I2の水平方向の解像度が1920であり、垂直方向の解像度が1080であること、要素情報I2は第1層の3番目の要素情報であるので、LayerID=0、InfoID=2、InfoTypeには、付加対象と同階層の補助情報を表す” SameLayerAux”が格納されている。
同階層補助ヘッダ情報としては、補助情報の情報種別を示すAuxInfoTypeには、“A”が格納され、要素情報I2は第1層で1番目の補助情報であるので、AuxInfoID=0が格納されている。
要素情報I3は補助情報であるため、要素情報I3には、共通要素ヘッダ情報と同階層補助ヘッダ情報が定義されている。
共通要素ヘッダ情報としては、要素情報I3の水平方向の解像度が960であり、垂直方向の解像度が540であること、要素情報I3は第1層の4番目の要素情報であるので、LayerID=0、InfoID=3、InfoTypeには、付加対象と同階層の補助情報を表す” SameLayerAux”が格納されている。
同階層補助ヘッダ情報としては、補助情報の情報種別を示すAuxInfoTypeには、“B”が格納され、要素情報I3は第1層で2番目の補助情報であるので、AuxInfoID=1が格納されている。
要素情報I6は補助情報であるため、要素情報I6には、共通要素ヘッダ情報と同階層補助ヘッダ情報が定義されている。
共通要素ヘッダ情報としては、要素情報I6の水平方向の解像度が1920であり、垂直方向の解像度が1080であること、要素情報I6は第2層の3番目の要素情報であるので、LayerID=1、InfoID=2、InfoTypeには、付加対象と同階層の補助情報を表す” SameLayerAux”が格納されている。
同階層補助ヘッダ情報としては、補助情報の情報種別を示すAuxInfoTypeには、“A”が格納され、要素情報I6は第1層で1番目の補助情報であるので、AuxInfoID=0が格納されている。
図40は、付加対象のデプス情報のCbCr成分に補助情報を格納した場合の第1の設定例を示している。
例えば、図40のAに示されるように6個の要素情報I0乃至I5が3階層で伝送される場合、6個の要素情報I0乃至I5それぞれの要素ヘッダ情報は、図40のBに示されるように定義される。
要素情報I1のCbCr成分には補助情報が格納されているため、要素情報I1には、共通要素ヘッダ情報とYUV補助ヘッダ情報が定義されている。
共通要素ヘッダ情報としては、要素情報I1の水平方向の解像度が1920であり、垂直方向の解像度が1080であること、要素情報I1は第1層の2番目の要素情報であるので、LayerID=0、InfoID=1、InfoTypeには、デプス情報と混合されている補助情報を表す” DepAux”が格納されている。
YUV補助ヘッダ情報としては、要素情報I1には1個の補助情報がCbCr成分を使って格納されているので、AuxInfoNum=1、DepthAuxType=“CbCr”が格納されている。また、補助情報の情報種別を示すAuxInfoTypeには、“A”が格納され、要素情報I1は第1層で1番目の補助情報であるので、AuxInfoID=0が格納されている。
要素情報I3のCbCr成分には補助情報が格納されているため、要素情報I3には、共通要素ヘッダ情報とYUV補助ヘッダ情報が定義されている。
共通要素ヘッダ情報としては、要素情報I3の水平方向の解像度が1920であり、垂直方向の解像度が1080であること、要素情報I3は第2層の2番目の要素情報であるので、LayerID=1、InfoID=1、InfoTypeには、デプス情報と混合されている補助情報を表す” DepAux”が格納されている。
YUV補助ヘッダ情報としては、要素情報I3には1個の補助情報がCbCr成分を使って格納されているので、AuxInfoNum=1、DepthAuxType=“CbCr”が格納されている。また、補助情報の情報種別を示すAuxInfoTypeには、“B”が格納され、要素情報I3は第2層で1番目の補助情報であるので、AuxInfoID=0が格納されている。
図41は、付加対象のデプス情報のCbCr成分に補助情報を格納した場合の第2の設定例を示している。
図40に示した第1の設定例と、図41の第2の設定例との違いは、第1の設定例がCbCr成分に1つの補助情報を格納した場合のみであるのに対して、第2の設定例では、Cb成分とCr成分に分けて2種類の補助情報を格納した場合が含まれる点である。
例えば、図41のAに示されるように6個の要素情報I0乃至I5が3階層で伝送される場合、6個の要素情報I0乃至I5それぞれの要素ヘッダ情報は、図41のBに示されるように定義される。
要素情報I1のCbCr成分には1種類の補助情報が格納されているため、要素情報I1には、共通要素ヘッダ情報とYUV補助ヘッダ情報が定義されている。
共通要素ヘッダ情報としては、要素情報I1の水平方向の解像度が1920であり、垂直方向の解像度が1080であること、要素情報I1は第1層の2番目の要素情報であるので、LayerID=0、InfoID=1、InfoTypeには、デプス情報と混合されている補助情報を表す” DepAux”が格納されている。
YUV補助ヘッダ情報としては、要素情報I1には1個の補助情報がCbCr成分を使って格納されているので、AuxInfoNum=1、DepthAuxType=“CbCr”が格納されている。また、補助情報の情報種別を示すAuxInfoTypeには、“A”が格納され、要素情報I1は第1層で1番目の補助情報であるので、AuxInfoID=0が格納されている。
要素情報I3のCbCr成分には、Cb成分とCr成分に分けて2種類の補助情報が格納されているため、要素情報I3には、共通要素ヘッダ情報とYUV補助ヘッダ情報が定義されている。
共通要素ヘッダ情報としては、要素情報I3の水平方向の解像度が1920であり、垂直方向の解像度が1080であること、要素情報I3は第2層の2番目の要素情報であるので、LayerID=1、InfoID=1、InfoTypeには、デプス情報と混合されている補助情報を表す” DepAux”が格納されている。
YUV補助ヘッダ情報では、Cb成分とCr成分に分けられた2種類の補助情報に対応して、AuxInfoNum、AuxInfoType、AuxInfoID、及びDepthAuxTypeの各パラメータが、それぞれ2個、即ち、AuxInfoNum[0]及び[1]、AuxInfoType[0]及び[1]、AuxInfoID[0]及び[1]、及びDepthAuxType[0]及び[1]が定義されている。
要素情報I1には2個の補助情報がCb成分とCr成分を使って格納されているので、AuxInfoNum=2が格納されている。また、Cb成分を使った1個目の補助情報Aに対して、AuxInfoType=“A”、AuxInfoID=0、DepthAuxType=“Cb”が格納されている。また、Cr成分を使った2個目の補助情報Bに対して、AuxInfoType=“B”、AuxInfoID=1、DepthAuxType=“Cr”が格納されている。
(高解像度画像処理部の構成例)
図42は、画像表示システムの第2実施の形態における高解像度画像処理部34の構成例を示すブロック図である。
図42において、図3で示した第1の実施の形態における高解像度画像処理部34の構成と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
図3で示した第1の実施の形態と比較すると、第2実施の形態における高解像度画像処理部34は、補助情報生成部601と伝送情報生成部602が新たに追加されるとともに、エンコーダ53及び55が省略された構成を有している。ただし、エンコーダ53及び55と同様の機能を有するエンコーダ602Aが、伝送情報生成部602に含まれている。
第1レイヤ生成部52は、第1レイヤの6つの面のテクスチャ画像とデプス画像を生成し、伝送情報生成部602に供給する。第2レイヤ生成部54は、第1レイヤの各面に対応する6つの面の第2レイヤのテクスチャ画像とデプス画像を生成し、伝送情報生成部602に供給する。したがって、第1レイヤ生成部52及び第2レイヤ生成部54は、第1レイヤのテクスチャ情報とデプス情報及び第2レイヤのテクスチャ情報とデプス情報を生成する画像生成部である。
補助情報生成部601は、設定部56による制御に基づいて、各階層のテクスチャ情報(テクスチャ画像)及びデプス情報(デプス画像)に付加される補助情報を生成する。どのような補助情報を生成するかは、設定部56から指示される。設定部56は、例えば、ユーザの操作に基づいて、作成する補助情報を識別する補助情報識別情報を、補助情報生成部601に供給する。
補助情報生成部601は、作成する補助情報によって、マルチカメラ11によって生成された各カメラの撮影画像や、第1レイヤ生成部52によって生成された各面の第1レイヤのテクスチャ画像及びデプス画像、第2レイヤ生成部54によって生成された各面の第2レイヤのテクスチャ画像及びデプス画像などを、必要に応じて利用する。補助情報生成部601によって生成された補助情報は、伝送情報生成部602に供給される。
伝送情報生成部602は、図29乃至図31を参照して説明した伝送情報を生成して、ストレージ58に供給して記憶させる。なお、伝送情報生成部602には、伝送情報を生成する際、図29乃至図31を参照して説明したいずれの構造でパッケージ化するかについての制御情報が設定部56から供給される。
(伝送情報生成部の構成例)
図43は、図42の伝送情報生成部602の構成例を示すブロック図である。
伝送情報生成部602は、伝送ヘッダ情報設定部621、階層ヘッダ情報設定部622、要素ヘッダ情報設定部623、要素情報設定部624、及び要素情報符号化部625により構成される。
伝送ヘッダ情報設定部621は、伝送情報単位のヘッダ情報である伝送ヘッダ情報を設定する。具体的には、伝送ヘッダ情報設定部621は、伝送情報に含まれる階層の数を表すMaxLayerNumを設定する。
階層ヘッダ情報設定部622は、階層伝送情報単位のヘッダ情報である階層ヘッダ情報を設定する。具体的には、階層ヘッダ情報設定部622は、第何層の階層伝送情報であるかを示すThisLayerID、その階層で伝送されるテクスチャ情報の数を表すMaxTexInfoNum、その階層で伝送されるデプス情報の数を表すMaxDepInfoNum、及び、その階層で伝送される補助情報の数を表すMaxAuxInfoNumを設定する。
要素ヘッダ情報設定部623は、要素情報単位のヘッダ情報である要素ヘッダ情報を設定する。具体的には、要素ヘッダ情報設定部623は、共通要素ヘッダ情報と、同階層補助ヘッダ情報、異階層補助ヘッダ情報、及び、YUV補助ヘッダ情報とを設定する。
共通要素ヘッダ情報には、要素情報の水平方向の解像度を表すWidth、要素情報の垂直方向の解像度を表すHeight、要素情報が第何層の情報であるかを示すLayerID、階層内の先頭から、その階層で何番目の要素情報であるかを示すInfoID、及び、”Tex”,”Dep”,”SameLayerAux”,”DiffLayerAux”,”DepAux”のどの情報であるかを示すInfoTypeが含まれる。
同階層補助ヘッダ情報には、補助情報の情報種別を示すAuxInfoType、及び、補助情報がその階層で何番目の補助情報であるかを示すAuxInfoIDが含まれる。
異階層補助ヘッダ情報には、補助情報の情報種別を示すAuxInfoType、補助情報に対応するデプス情報が格納されている階層を示すAuxDepLayerID、及び、補助情報がその階層で何番目の補助情報であるかを示すAuxInfoIDが含まれる。
YUV補助ヘッダ情報には、要素情報に含まれている補助情報の数を表すAuxInfoNum、補助情報の情報種別を示すAuxInfoType、補助情報がその階層で何番目の補助情報であるかを示すAuxInfoID、及び、補助情報が格納されているYUVフォーマットの場所を示すDepthAuxTypeが含まれる。
要素情報設定部624は、伝送情報に要素情報として格納される、テクスチャ情報、デプス情報、または、補助情報を、符号化バッファに設定(保存)する。
要素情報符号化部625は、図42のエンコーダ602Aに対応し、要素情報として符号化バッファに保存されたテクスチャ情報、デプス情報、または、補助情報を、圧縮符号化する。要素情報符号化部625は、伝送情報に含まれる複数の要素情報それぞれについて圧縮符号化し、図29乃至図31を参照して説明したいずれかの構造でパッケージ化した伝送情報をストレージ58に記憶させる。
(要素情報生成処理の説明)
図44は、高解像度画像処理部34において、伝送情報生成部602に供給するための要素情報を生成する要素情報生成処理を説明するフローチャートである。この処理は、図18に示したストリーム生成処理のステップS16の後に実行される。
初めに、ステップS101において、第1レイヤ生成部52は、マルチカメラ11の各カメラによって得られた撮影画像から、6つの各面情報に対応する各面の第1レイヤのテクスチャ画像とデプス画像を生成する。この処理は、図18のストリーム生成処理のステップS17の処理と同様である。生成された各面の第1レイヤのテクスチャ画像とデプス画像は、伝送情報生成部602に供給される。
ステップS102において、第2レイヤ生成部54は、第1レイヤの各面に対応する各面の第2レイヤのテクスチャ画像とデプス画像を生成する。この処理は、図18のストリーム生成処理のステップS18の処理と同様である。生成された各面の第2レイヤのテクスチャ画像とデプス画像は、伝送情報生成部602に供給される。
ステップS103において、補助情報生成部601は、各階層のテクスチャ画像及びデプス画像に付加される補助情報を生成する。補助情報は、全ての階層で作られる場合もあるし、所定の階層のみでつくられる場合もある。生成された補助情報は、伝送情報生成部602に供給される。
以上の処理により、伝送情報生成部602によって生成される伝送情報において要素情報として格納されるテクスチャ情報、デプス情報、または、補助情報が生成される。
以上の要素情報生成処理は、図18に示した第1の実施の形態におけるストリーム生成処理のステップS17乃至S20の処理と置き換えられる。
そして、図44の要素情報生成処理が終了した後、次の図45に示される伝送情報生成処理が実行される。
(伝送情報生成処理の説明)
図45は、図42の伝送情報生成部602による伝送情報生成処理を説明するフローチャートである。
初めに、ステップS121において、伝送情報生成部602は、設定部56からパッケージ化制御情報を取得する。即ち、伝送情報生成部602は、伝送情報を生成する際、図29乃至図31を参照して説明したいずれの構造でパッケージ化するかについての制御情報を設定部56から取得する。これにより、例えば、伝送情報の階層数をいくつにするかや、各階層の要素情報をいくつにするかなどが決定される。
ステップS122において、伝送情報生成部602は、階層数をカウントする変数nを0に設定する。
ステップS123において、伝送ヘッダ情報設定部621は、伝送ヘッダ情報を設定する。具体的には、伝送ヘッダ情報設定部621は、伝送情報に含まれる階層の数を表すMaxLayerNumを設定する。
ステップS124において、階層ヘッダ情報設定部622は、第n階層の階層ヘッダ情報を設定する。具体的には、階層ヘッダ情報設定部622は、第n階層について、第何層の階層伝送情報であるかを示すThisLayerID、その階層で伝送されるテクスチャ情報の数を表すMaxTexInfoNum、その階層で伝送されるデプス情報の数を表すMaxDepInfoNum、及び、その階層で伝送される補助情報の数を表すMaxAuxInfoNumを設定する。
ステップS125において、要素ヘッダ情報設定部623は、第n階層に含まれる要素情報をカウントする変数mを0に設定する。
ステップS126において、要素ヘッダ情報設定部623は、第n階層に含まれるm番目の要素情報の要素ヘッダ情報を設定する要素ヘッダ情報設定処理を実行する。この処理の詳細は、図46のフローチャートを参照して後述する。
ステップS127において、要素情報設定部624は、第n階層に含まれるm番目の要素情報を符号化バッファに保存する要素情報保存処理を実行する。この処理の詳細は、図49のフローチャートを参照して後述する。
ステップS128において、要素情報符号化部625は、ステップS127の処理によって符号化バッファに保存された第n階層に含まれるm番目の要素情報、即ち、テクスチャ情報、デプス情報、または、補助情報のいずれかを圧縮符号化する。
ステップS129において、伝送情報生成部602は、要素情報をカウントする変数mが、第n階層で伝送される予定の要素情報の個数、即ち、(MaxTexInfoNum+MaxDepInfoNum+MaxAuxInfoNum−1)の値と等しいかを判定する。
ステップS129で、変数mが第n階層で伝送される予定の要素情報の個数と等しくないと判定された場合、処理はステップS130に進み、要素情報をカウントする変数mが1だけインクリメントされた後、処理がステップS126に戻される。その後、ステップS126乃至S129が再度実行される。
一方、ステップS129で、変数mが第n階層で伝送される予定の要素情報の個数と等しいと判定された場合、処理はステップS131に進み、伝送情報生成部602は、階層数をカウントする変数nが、伝送情報に含まれる予定の階層数、即ち、(MaxLayerNum−1)と等しいかを判定する。
ステップS131で、変数nが伝送情報に含まれる予定の階層数と等しくないと判定された場合、処理はステップS132に進み、変数nが1だけインクリメントされた後、処理がステップS124に戻される。その後、ステップS124乃至S131が再度実行される。
一方、ステップS131で、変数nが伝送情報に含まれる予定の階層数と等しいと判定された場合、処理はステップS133に進み、要素情報符号化部625は、生成した伝送情報をストレージ58に記憶させる。
以上で、伝送情報生成部602による伝送情報生成処理が終了する。
(要素ヘッダ情報設定処理の説明)
図46は、図45のステップS126で実行される要素ヘッダ情報設定処理の詳細を説明するフローチャートである。
この処理では、初めに、ステップS151において、要素ヘッダ情報設定部623は、共通要素ヘッダ情報を設定する。即ち、要素ヘッダ情報設定部623は、要素情報の水平方向の解像度を表すWidth、要素情報の垂直方向の解像度を表すHeight、要素情報が第何層の情報であるかを示すLayerID、階層内の先頭(図35中の左側)から、その階層で何番目の要素情報であるかを示すInfoID、及び、”Tex”,”Dep”,”SameLayerAux”,”DiffLayerAux”,”DepAux”のどの情報であるかを示すInfoTypeを設定する。
ステップS152において、要素ヘッダ情報設定部623は、要素情報が補助情報を含むものであるか、即ち、InfoTypeが”SameLayerAux”,”DiffLayerAux”、または、”DepAux”であるかを判定する。
ステップS152で、要素情報が補助情報を含むものであると判定された場合、処理はステップS153に進み、要素ヘッダ情報設定部623は、補助ヘッダ情報を設定する補助ヘッダ情報設定処理を実行する。
一方、ステップS152で、要素情報が補助情報を含むものではない、即ち、要素情報がテクスチャ情報かまたはデプス情報であると判定された場合、処理はステップS154に進み、要素ヘッダ情報設定部623は、要素情報がテクスチャ情報であるか、即ち、InfoTypeが”Tex”であるかを判定する。
ステップS154で、要素情報がテクスチャ情報であると判定された場合、処理はステップS155に進み、要素ヘッダ情報設定部623は、デプス情報とテクスチャ情報の解像度違いに対応するため、テクスチャ情報の解像度を設定する。具体的には、要素ヘッダ情報設定部623は、テクスチャ情報の水平方向の解像度tex_div_x=(同じ階層のデプス情報のwidth/テクスチャ情報のwidth)と、垂直方向の解像度tex_div_y=(同じ階層のデプス情報のheight/テクスチャ情報のheight)とを算出する。
一方、ステップS154で、要素情報がテクスチャ情報ではない(デプス情報である)と判定された場合、要素ヘッダ情報設定処理は終了し、図45に戻る。
(補助ヘッダ情報設定処理の説明)
図47は、図46のステップS153で実行される補助ヘッダ情報設定処理の詳細を説明するフローチャートである。
この処理では、初めに、ステップS171において、要素ヘッダ情報設定部623は、InfoTypeが”DiffLayerAux”であるかを判定する。
ステップS171で、InfoTypeが”DiffLayerAux”であると判定された場合、処理はステップS172に進み、要素ヘッダ情報設定部623は、異階層補助ヘッダ情報を設定する。具体的には、要素ヘッダ情報設定部623は、補助情報の情報種別を示すAuxInfoType、補助情報に対応するデプス情報が格納されている階層を示すAuxDepLayerID、及び、補助情報がその階層で何番目の補助情報であるかを示すAuxInfoIDを設定する。
そして、ステップS173において、要素ヘッダ情報設定部623は、デプス情報と補助情報の解像度違いに対応するため、補助情報の解像度を設定する。具体的には、要素ヘッダ情報設定部623は、補助情報の水平方向の解像度aux_div_x=(デプス情報のwidth/補助情報のwidth)と、垂直方向の解像度aux_div_y=(デプス情報のheight/補助情報のheight)とを算出する。ステップS173の処理が終了すると、処理は図46に戻る。
一方、ステップS171で、InfoTypeが”DiffLayerAux”ではないと判定された場合、処理はステップS174に進み、要素ヘッダ情報設定部623は、InfoTypeが” SameLayerAux”であるかを判定する。
ステップS174で、InfoTypeが” SameLayerAux”であると判定された場合、処理はステップS175に進み、要素ヘッダ情報設定部623は、同階層補助ヘッダ情報を設定する。具体的には、要素ヘッダ情報設定部623は、補助情報の情報種別を示すAuxInfoType、及び、補助情報がその階層で何番目の補助情報であるかを示すAuxInfoIDを設定する。
そして、ステップS176において、要素ヘッダ情報設定部623は、デプス情報と補助情報の解像度違いに対応するため、補助情報の解像度を設定する。具体的には、要素ヘッダ情報設定部623は、補助情報の水平方向の解像度aux_div_x=(デプス情報のwidth/補助情報のwidth)と、垂直方向の解像度aux_div_y=(デプス情報のheight/補助情報のheight)とを算出する。ステップS176の処理が終了すると、処理は図46に戻る。
一方、ステップS174で、InfoTypeが” SameLayerAux”ではないと判定された場合、処理はステップS177に進み、要素ヘッダ情報設定部623は、InfoTypeが”DepAux”であるかを判定する。
ステップS177で、InfoTypeが”DepAux”ではないと判定された場合、処理は図46の要素ヘッダ情報設定処理に戻る。
一方、ステップS177で、InfoTypeが”DepAux”であると判定された場合、処理はステップS178に進み、要素ヘッダ情報設定部623は、YUV補助ヘッダ情報を設定するYUV補助ヘッダ情報設定処理を実行し、その後、図46に戻る。
(YUV補助ヘッダ情報設定処理の説明)
図48は、図47のステップS178で実行されるYUV補助ヘッダ情報設定処理の詳細を説明するフローチャートである。
この処理では、初めに、ステップS191において、要素ヘッダ情報設定部623は、第n階層のm番目の要素情報に含まれる補助情報の数を表すAuxInfoNumを設定する。
ステップS192において、要素ヘッダ情報設定部623は、補助情報の数をカウントする変数iを0に設定する。
ステップS193において、要素ヘッダ情報設定部623は、補助情報の情報種別を示すAuxInfoType、補助情報がその階層で何番目の補助情報であるかを示すAuxInfoID、及び、補助情報が格納されているYUVフォーマットの場所を示すDepthAuxTypeを設定する。
ステップS194において、要素ヘッダ情報設定部623は、DepthAuxTypeが“CbCr”であるかを判定する。
ステップS194で、DepthAuxTypeが“CbCr”であると判定された場合、処理はステップS195に進み、要素ヘッダ情報設定部623は、“CbCr”成分への格納に対応する補助情報の解像度を設定する。具体的には、要素ヘッダ情報設定部623は、水平方向の解像度aux_div_x=2、垂直方向の解像度aux_div_y=1を設定する。
一方、ステップS194で、DepthAuxTypeが“CbCr”ではない、即ち、DepthAuxTypeが“Cb”または“Cr”であると判定された場合、処理はステップS196に進み、要素ヘッダ情報設定部623は、“Cb”または“Cr”成分への格納に対応する補助情報の解像度を設定する。具体的には、要素ヘッダ情報設定部623は、水平方向の解像度aux_div_x=2、垂直方向の解像度aux_div_y=2を設定する。
そして、ステップS195またはS196の後、ステップS197において、要素ヘッダ情報設定部623は、補助情報の数をカウントする変数iが(AuxInfoNum−1)と等しいかを判定する。
ステップS197で、変数iが(AuxInfoNum−1)と等しくないと判定された場合、処理はステップS198に進み、変数iが1だけインクリメントされた後、処理がステップS193に戻される。その後、ステップS193乃至S197が再度実行される。
一方、ステップS197で、変数iが(AuxInfoNum−1)と等しいと判定された場合、処理は図47に戻る。
(要素情報保存処理の説明)
図49は、図45のステップS127で実行される要素情報保存処理の詳細を説明するフローチャートである。
この処理では、初めに、ステップS211において、要素情報設定部624は、InfoTypeが”Tex”であるかを判定する。
ステップS211で、InfoTypeが”Tex”であると判定された場合、処理はステップS212に進み、要素情報設定部624は、符号化バッファに要素情報としてのテクスチャ画像を保存する。
一方、ステップS211で、InfoTypeが”Tex”ではないと判定された場合、処理はステップS213に進み、要素情報設定部624は、InfoTypeが”Dep”であるかを判定する。
ステップS213で、InfoTypeが”Dep”であると判定された場合、処理はステップS214に進み、要素情報設定部624は、符号化バッファに要素情報としてのデプス画像を保存する。
一方、ステップS213で、InfoTypeが”Dep”ではないと判定された場合、処理はステップS215に進み、要素情報設定部624は、InfoTypeが”SameLayerAux”かまたは”DiffLayerAux”であるかを判定する。
ステップS215で、InfoTypeが”SameLayerAux”かまたは”DiffLayerAux”であると判定された場合、処理はステップS216に進み、要素情報設定部624は、符号化バッファに要素情報としての補助情報を保存する。
一方、ステップS215で、InfoTypeが”SameLayerAux”及び”DiffLayerAux”のいずれでもないと判定された場合、処理はステップS217に進み、要素情報設定部624は、InfoTypeが” DepAux”であるかを判定する。
ステップS217で、InfoTypeが”DepAux”ではないと判定された場合、処理は図45に戻る。
一方、ステップS217で、InfoTypeが”DepAux”であると判定された場合、処理はステップS218に進み、要素情報設定部624は、符号化バッファのY成分に、デプス画像を保存する。
ステップS219において、要素情報設定部624は、デプス画像に含まれる補助情報の個数をカウントする変数cを0に設定する。
ステップS220において、要素情報設定部624は、符号化バッファのDepthAuxType成分に、c番目の補助情報を保存する。
ステップS221において、要素情報設定部624は、補助情報の個数をカウントする変数cが、(AuxInfoNum-1)と等しいかを判定する。
ステップS221で、変数cが(AuxInfoNum-1)と等しくないと判定された場合、処理はステップS222に進み、変数cが1だけインクリメントされた後、処理がステップS220に戻される。その後、ステップS220及びS221が再度実行される。
一方、ステップS221で、変数cが(AuxInfoNum-1)と等しいと判定された場合、処理は図45に戻る。
以上のようにして、コンテンツサーバ12は、各階層のテクスチャ情報とデプス情報に対して、補助情報を付加した伝送情報を生成し、伝送することができる。これにより、伝送情報を受け取る側の装置では、補助情報を用いて、画質を向上させたり、機能を向上させた表示画像の生成が可能となる。
(ホームサーバ)
次に、画像表示システムの第2実施の形態におけるホームサーバ13側の構成について説明する。
第2実施の形態においては、図19のホームサーバ13の受け取り部231は、コンテンツサーバ12から伝送されてくる6つの面の伝送情報とメタデータを受け取り、ストレージ232に記憶させる。伝送情報には、少なくとも第1レイヤと第2レイヤの2層のテクスチャ情報及びデプス情報と、少なくとも1層のテクスチャ情報及びデプス情報に対する補助情報が含まれる。
図19のホームサーバ13の視線検出部234は、視聴位置および視線方向に応じて、6つの面のなかから選択面として3つの面を決定し、3つの面に対応する伝送情報をストレージ232から読み出し、ML3Dモデル生成部235乃至237に供給する。
(ML3Dモデル生成部の構成例)
図50は、画像表示システムの第2実施の形態におけるML3Dモデル生成部235の構成例を示すブロック図である。
図19で示した第1の実施の形態と比較すると、第2実施の形態におけるML3Dモデル生成部235は、伝送情報解析部651が新たに追加されるとともに、デコーダ251、253、257及び259が省略された構成を有している。ただし、デコーダ251、253、257及び259と同様の機能を有するデコーダ651Aが、伝送情報解析部651に含まれている。
伝送情報解析部651には、図19の視線検出部234から、6つの面のなかから選択面に決定された所定の面の伝送情報が供給される。
伝送情報解析部651は、供給された伝送情報に含まれる伝送ヘッダ情報、階層ヘッダ情報、及び要素ヘッダ情報を解析するとともに、要素情報を復号し、テクスチャ情報、デプス情報、または補助情報を取得する。
復号された要素情報が第1レイヤのテクスチャ画像である場合には、伝送情報解析部651は、その第1レイヤのテクスチャ画像をRGB変換部252に供給する。復号された要素情報が第1レイヤのデプス画像である場合には、伝送情報解析部651は、その第1レイヤのデプス画像をデプス変換部254に供給する。
復号された要素情報が第2レイヤのテクスチャ画像である場合には、伝送情報解析部651は、その第2レイヤのテクスチャ画像をRGB変換部258に供給する。復号された要素情報が第2レイヤのデプス画像である場合には、伝送情報解析部651は、その第2レイヤのデプス画像をデプス変換部260に供給する。
復号された要素情報が補助情報である場合には、伝送情報解析部651は、その補助情報をRGB変換部252、デプス変換部254、RGB変換部258、デプス変換部260、3Dモデル生成部256、3Dモデル生成部262、または、描画部239(図19)に供給する。
即ち、伝送情報解析部651は、補助情報が各レイヤの3次元データの生成に用いられる情報である場合には、その補助情報を、対応するレイヤの3Dモデル生成部256または3Dモデル生成部262に供給する。また、補助情報が表示画像の生成に用いられる情報である場合には、伝送情報解析部651は、その補助情報を描画部239(図19)に供給する。あるいはまた、補助情報がテクスチャ画像に関する情報である場合には、その補助情報がRGB変換部252若しくはRGB変換部258の一方または両方に供給され、補助情報がデプス画像に関する情報である場合には、その補助情報がデプス変換部254若しくはデプス変換部260の一方または両方に供給される。
ML3Dモデル生成部236及び237の構成も、ML3Dモデル生成部235の構成と同様である。
(伝送情報解析部の構成例)
図51は、図50の伝送情報解析部651の構成例を示すブロック図である。
伝送情報解析部651は、伝送ヘッダ情報解析部671、階層ヘッダ情報解析部672、要素ヘッダ情報解析部673、要素情報復号部674、及び要素情報分配部675により構成される。
伝送ヘッダ情報解析部671は、伝送情報単位のヘッダ情報である伝送ヘッダ情報を解析する。具体的には、伝送ヘッダ情報解析部671は、伝送情報に含まれる階層の数を表すMaxLayerNumを取り出す。
階層ヘッダ情報解析部672は、階層伝送情報単位のヘッダ情報である階層ヘッダ情報を解析する。具体的には、階層ヘッダ情報解析部672は、第何層の階層伝送情報であるかを示すThisLayerID、その階層で伝送されるテクスチャ情報の数を表すMaxTexInfoNum、その階層で伝送されるデプス情報の数を表すMaxDepInfoNum、及び、その階層で伝送される補助情報の数を表すMaxAuxInfoNumを取り出す。
要素ヘッダ情報解析部673は、要素情報単位のヘッダ情報である要素ヘッダ情報を解析する。具体的には、要素ヘッダ情報解析部673は、共通要素ヘッダ情報を取り出す。また、要素ヘッダ情報解析部673は、InfoTypeが”SameLayerAux”,”DiffLayerAux”、または、”DepAux”である場合には、そのInfoTypeに対応する同階層補助ヘッダ情報、異階層補助ヘッダ情報、または、YUV補助ヘッダ情報も取り出す。
要素情報復号部674は、図50のデコーダ651Aに対応し、伝送情報に符号化された状態で格納されている要素情報を復号し、その結果得られるテクスチャ情報、デプス情報、または、補助情報を要素情報分配部675に供給する。
要素情報分配部675は、要素情報復号部674から供給された要素情報としてのテクスチャ情報、デプス情報、または、補助情報を、RGB変換部252、デプス変換部254、RGB変換部258、デプス変換部260、3Dモデル生成部256、3Dモデル生成部262、描画部239など、所定の供給先に供給する。
(伝送情報解析処理の説明)
図52は、図50の伝送情報解析部651による伝送情報解析処理を説明するフローチャートである。
初めに、ステップS321において、伝送情報解析部651は、視線検出部234から供給される、6つの面のなかから選択面に決定された所定の面の伝送情報を取得する。取得された伝送情報は、図29乃至図31を参照して説明したいずれかの構造でパッケージ化されている。
ステップS322において、伝送情報解析部651は、階層数をカウントする変数nを0に設定する。
ステップS323において、伝送ヘッダ情報解析部671は、伝送ヘッダ情報を解析する。具体的には、伝送ヘッダ情報解析部671は、伝送情報に含まれる階層の数を表すMaxLayerNumを取り出す。
ステップS324において、階層ヘッダ情報解析部672は、第n階層の階層ヘッダ情報を解析する。具体的には、階層ヘッダ情報解析部672は、第n階層について、第何層の階層伝送情報であるかを示すThisLayerID、その階層で伝送されるテクスチャ情報の数を表すMaxTexInfoNum、その階層で伝送されるデプス情報の数を表すMaxDepInfoNum、及び、その階層で伝送される補助情報の数を表すMaxAuxInfoNumを取り出す。
ステップS325において、要素ヘッダ情報解析部673は、第n階層に含まれる要素情報をカウントする変数mを0に設定する。
ステップS326において、要素ヘッダ情報解析部673は、第n階層に含まれるm番目の要素情報の要素ヘッダ情報を解析する要素ヘッダ情報解析処理を実行する。この処理の詳細は、図53のフローチャートを参照して後述する。
ステップS327において、要素情報復号部674は、第n階層に含まれるm番目の要素情報として圧縮符号化された状態で格納されている要素情報を復号する。
ステップS328において、要素情報分配部675は、ステップS327の処理によって復号して得られたテクスチャ情報、デプス情報、または、補助情報を所定の供給先に供給する要素情報分配処理を実行する。この処理の詳細は、図56のフローチャートを参照して後述する。
ステップS329において、伝送情報解析部651は、要素情報をカウントする変数mが、第n階層で伝送されてきた要素情報の個数、即ち、(MaxTexInfoNum+MaxDepInfoNum+MaxAuxInfoNum−1)の値と等しいかを判定する。
ステップS329で、変数mが第n階層で伝送されてきた要素情報の個数と等しくないと判定された場合、処理はステップS330に進み、要素情報をカウントする変数mが1だけインクリメントされた後、処理がステップS326に戻される。その後、ステップS326乃至S329が再度実行される。
一方、ステップS329で、変数mが第n階層で伝送されてきた要素情報の個数と等しいと判定された場合、処理はステップS331に進み、伝送情報解析部651は、階層数をカウントする変数nが、伝送情報に含まれる階層数、即ち、(MaxLayerNum−1)と等しいかを判定する。
ステップS331で、変数nが伝送情報に含まれる階層数と等しくないと判定された場合、処理はステップS332に進み、変数nが1だけインクリメントされた後、処理がステップS324に戻される。その後、ステップS324乃至S331が再度実行される。
一方、ステップS331で、変数nが伝送情報に含まれる階層数と等しいと判定された場合、伝送情報生成部602による伝送情報生成処理が終了する。
(要素ヘッダ情報解析処理の説明)
図53は、図52のステップS326で実行される要素ヘッダ情報解析処理の詳細を説明するフローチャートである。
この処理では、初めに、ステップS351において、要素ヘッダ情報解析部673は、共通要素ヘッダ情報を取り出す。即ち、要素ヘッダ情報解析部673は、要素情報の水平方向の解像度を表すWidth、要素情報の垂直方向の解像度を表すHeight、要素情報が第何層の情報であるかを示すLayerID、階層内の先頭から、その階層で何番目の要素情報であるかを示すInfoID、及び、”Tex”,”Dep”,”SameLayerAux”,”DiffLayerAux”,”DepAux”のどの情報であるかを示すInfoTypeを取り出す。
ステップS352において、要素ヘッダ情報解析部673は、要素情報が補助情報を含むものであるか、即ち、InfoTypeが”SameLayerAux”,”DiffLayerAux”、または、”DepAux”であるかを判定する。
ステップS352で、要素情報が補助情報を含むものであると判定された場合、処理はステップS353に進み、要素ヘッダ情報解析部673は、補助ヘッダ情報を解析する補助ヘッダ情報解析処理を実行する。
一方、ステップS352で、要素情報が補助情報を含むものではない、即ち、要素情報がテクスチャ情報かまたはデプス情報であると判定された場合、処理はステップS354に進み、要素ヘッダ情報解析部673は、要素情報がテクスチャ情報であるか、即ち、InfoTypeが”Tex”であるかを判定する。
ステップS354で、要素情報がテクスチャ情報であると判定された場合、処理はステップS355に進み、要素ヘッダ情報解析部673は、デプス情報とテクスチャ情報の解像度違いに対応するため、テクスチャ情報の解像度を設定する。具体的には、要素ヘッダ情報解析部673は、テクスチャ情報の水平方向の解像度tex_div_x=(同じ階層のデプス情報のwidth/テクスチャ情報のwidth)と、垂直方向の解像度tex_div_y=(同じ階層のデプス情報のheight/テクスチャ情報のheight)とを算出する。
一方、ステップS354で、要素情報がテクスチャ情報ではない(デプス情報である)と判定された場合、要素ヘッダ情報解析処理は終了し、図52に戻る。
(補助ヘッダ情報解析処理の説明)
図54は、図53のステップS353で実行される補助ヘッダ情報解析処理の詳細を説明するフローチャートである。
この処理では、初めに、ステップS371において、要素ヘッダ情報解析部673は、InfoTypeが”DiffLayerAux”であるかを判定する。
ステップS371で、InfoTypeが”DiffLayerAux”であると判定された場合、処理はステップS372に進み、要素ヘッダ情報解析部673は、異階層補助ヘッダ情報を解析する。具体的には、要素ヘッダ情報解析部673は、補助情報の情報種別を示すAuxInfoType、補助情報に対応するデプス情報が格納されている階層を示すAuxDepLayerID、及び、補助情報がその階層で何番目の補助情報であるかを示すAuxInfoIDを取り出す。
そして、ステップS373において、要素ヘッダ情報解析部673は、デプス情報と補助情報の解像度違いに対応するため、補助情報の解像度を設定する。具体的には、要素ヘッダ情報解析部673は、補助情報の水平方向の解像度aux_div_x=(デプス情報のwidth/補助情報のwidth)と、垂直方向の解像度aux_div_y=(デプス情報のheight/補助情報のheight)とを算出する。ステップS373の処理が終了すると、処理は図53に戻る。
一方、ステップS371で、InfoTypeが”DiffLayerAux”ではないと判定された場合、処理はステップS374に進み、要素ヘッダ情報解析部673は、InfoTypeが” SameLayerAux”であるかを判定する。
ステップS374で、InfoTypeが” SameLayerAux”であると判定された場合、処理はステップS375に進み、要素ヘッダ情報解析部673は、同階層補助ヘッダ情報を解析する。具体的には、要素ヘッダ情報解析部673は、補助情報の情報種別を示すAuxInfoType、及び、補助情報がその階層で何番目の補助情報であるかを示すAuxInfoIDを取り出す。
そして、ステップS376において、要素ヘッダ情報解析部673は、デプス情報と補助情報の解像度違いに対応するため、補助情報の解像度を設定する。具体的には、要素ヘッダ情報解析部673は、補助情報の水平方向の解像度aux_div_x=(デプス情報のwidth/補助情報のwidth)と、垂直方向の解像度aux_div_y=(デプス情報のheight/補助情報のheight)とを算出する。ステップS376の処理が終了すると、処理は図53に戻る。
一方、ステップS374で、InfoTypeが” SameLayerAux”ではないと判定された場合、処理はステップS377に進み、要素ヘッダ情報解析部673は、InfoTypeが”DepAux”であるかを判定する。
ステップS377で、InfoTypeが”DepAux”ではないと判定された場合、処理は図53の要素ヘッダ情報解析処理に戻る。
一方、ステップS377で、InfoTypeが”DepAux”であると判定された場合、処理はステップS378に進み、要素ヘッダ情報解析部673は、YUV補助ヘッダ情報を解析するYUV補助ヘッダ情報解析処理を実行し、その後、図53に戻る。
(YUV補助ヘッダ情報解析処理の説明)
図55は、図54のステップS378で実行されるYUV補助ヘッダ情報解析処理の詳細を説明するフローチャートである。
この処理では、初めに、ステップS391において、要素ヘッダ情報解析部673は、第n階層のm番目の要素情報に含まれる補助情報の数を表すAuxInfoNumを取り出す。
ステップS392において、要素ヘッダ情報解析部673は、補助情報の数をカウントする変数iを0に設定する。
ステップS393において、要素ヘッダ情報解析部673は、補助情報の情報種別を示すAuxInfoType、補助情報がその階層で何番目の補助情報であるかを示すAuxInfoID、及び、補助情報が格納されているYUVフォーマットの場所を示すDepthAuxTypeを取り出す。
ステップS394において、要素ヘッダ情報解析部673は、DepthAuxTypeが“CbCr”であるかを判定する。
ステップS394で、DepthAuxTypeが“CbCr”であると判定された場合、処理はステップS395に進み、要素ヘッダ情報解析部673は、“CbCr”成分への格納に対応する補助情報の解像度を設定する。具体的には、要素ヘッダ情報解析部673は、水平方向の解像度aux_div_x=2、垂直方向の解像度aux_div_y=1を設定する。
一方、ステップS394で、DepthAuxTypeが“CbCr”ではない、即ち、DepthAuxTypeが“Cb”または“Cr”であると判定された場合、処理はステップS396に進み、要素ヘッダ情報解析部673は、“Cb”または“Cr”成分への格納に対応する補助情報の解像度を設定する。具体的には、要素ヘッダ情報解析部673は、水平方向の解像度aux_div_x=2、垂直方向の解像度aux_div_y=2を設定する。
そして、ステップS395またはS396の後、ステップS397において、要素ヘッダ情報解析部673は、補助情報の数をカウントする変数iが(AuxInfoNum−1)と等しいかを判定する。
ステップS397で、変数iが(AuxInfoNum−1)と等しくないと判定された場合、処理はステップS398に進み、変数iが1だけインクリメントされた後、処理がステップS393に戻される。その後、ステップS393乃至S397が再度実行される。
一方、ステップS397で、変数iが(AuxInfoNum−1)と等しいと判定された場合、処理は図54に戻る。
(要素情報分配処理の説明)
図56は、図52のステップS328で実行される要素情報分配処理の詳細を説明するフローチャートである。
この処理では、初めに、ステップS411において、要素情報分配部675は、InfoTypeが”Tex”であるかを判定する。
ステップS411で、InfoTypeが”Tex”であると判定された場合、処理はステップS412に進み、要素情報分配部675は、復号の結果得られたテクスチャ画像をRGB変換部252若しくは258の一方または両方に供給する。
一方、ステップS411で、InfoTypeが”Tex”ではないと判定された場合、処理はステップS413に進み、要素情報分配部675は、InfoTypeが”Dep”であるかを判定する。
ステップS413で、InfoTypeが”Dep”であると判定された場合、処理はステップS414に進み、要素情報分配部675は、復号の結果得られたデプス画像をデプス変換部254若しくは260の一方または両方に供給する。
一方、ステップS413で、InfoTypeが”Dep”ではないと判定された場合、処理はステップS415に進み、要素情報分配部675は、InfoTypeが”SameLayerAux”かまたは”DiffLayerAux”であるかを判定する。
ステップS415で、InfoTypeが”SameLayerAux”かまたは”DiffLayerAux”であると判定された場合、要素情報分配部675は、復号の結果得られた補助情報を所定の供給先に供給する。
一方、ステップS415で、InfoTypeが”SameLayerAux”及び”DiffLayerAux”のいずれでもないと判定された場合、処理はステップS417に進み、要素情報分配部675は、InfoTypeが”DepAux”であるかを判定する。
ステップS417で、InfoTypeが”DepAux”ではないと判定された場合、処理は図52に戻る。
一方、ステップS417で、InfoTypeが”DepAux”であると判定された場合、処理はステップS418に進み、要素情報分配部675は、YUVフォーマットのY成分を復号して得られたデプス画像をデプス変換部254若しくは260の一方または両方に供給する。
ステップS419において、要素情報分配部675は、デプス画像に含まれる補助情報の個数をカウントする変数cを0に設定する。
ステップS420において、要素情報分配部675は、YUVフォーマットのDepthAuxType成分を復号して得られた補助情報を、所定の供給先に供給する。
ステップS421において、要素情報分配部675は、補助情報の個数をカウントする変数cが、(AuxInfoNum-1)と等しいかを判定する。
ステップS421で、変数cが(AuxInfoNum-1)と等しくないと判定された場合、処理はステップS422に進み、変数cが1だけインクリメントされた後、処理がステップS420に戻される。その後、ステップS420及びS421が再度実行される。
一方、ステップS421で、変数cが(AuxInfoNum-1)と等しいと判定された場合、処理は図52に戻る。
以上のようにして、ホームサーバ13は、各階層のテクスチャ情報とデプス情報に対して補助情報が付加された伝送情報を受け取り、補助情報を必要とする所定の供給先へ供給することができる。これにより、ホームサーバ13は、補助情報を用いて、画質を向上させたり、機能を向上させた表示画像の生成が可能となる。
(補助情報の具体例)
次に、補助情報の具体例について説明する。
図57は、補助情報の利用に関する機能ブロック図である。
補助情報利用部701には、第1レイヤテクスチャストリームを復号して得られた第1レイヤのテクスチャ画像、第1レイヤデプスストリームを復号して得られた第1レイヤのデプス画像、第2レイヤテクスチャストリームを復号して得られた第2レイヤのテクスチャ画像、及び、第2レイヤデプスストリームを復号して得られた第2レイヤのデプス画像が供給される。また、補助情報利用部701には、圧縮符号化された補助情報を復号して得られた補助情報も供給される。なお、補助情報がYUVフォーマットのCbCr成分に格納されている場合には、デプスストリームを復号することによって、補助情報が得られる。
補助情報利用部701は、第1レイヤのテクスチャ画像(テクスチャ情報)とデプス画像(デプス情報)及び第2レイヤのテクスチャ画像(テクスチャ情報)とデプス画像(デプス情報)の少なくとも1つに対して、補助情報を用いた所定の画像処理を実行する。
この補助情報利用部701は、補助情報の種類に応じて、上述した伝送情報解析部651、RGB変換部252、デプス変換部254、RGB変換部258、デプス変換部260、3Dモデル生成部256、3Dモデル生成部262、または、描画部239のいずれかに相当する。
図58は、補助情報の具体的な例と、その補助情報を用いた画像処理の内容を示している。
例えば、補助情報は、テクスチャデータ(テクスチャ画像)が有する色情報よりも高域成分を表す色の高域情報とすることができる。この場合、補助情報利用部701は、テクスチャデータと補助情報の高域成分の色情報を用いて高画質なデータを生成して表示することができる。例えば、テクスチャデータが、YUVフォーマットでCb成分及びCr成分それぞれ8ビットで表現されており、補助情報が、Cb成分及びCr成分それぞれに対する高域成分を2ビットで表している場合、補助情報利用部701は、Cb成分及びCr成分それぞれを10ビットの色情報で表現することができる。
例えば、補助情報は、ポリゴンの表裏を表現するポリゴン表裏情報とすることができる。この場合、補助情報利用部701は、カリング処理を実行する際に、表裏を表す補助情報を用いて、見ている視点の表側のテクスチャだけを表示することができる。
例えば、補助情報は、「有効領域」、「不要領域」、及び「想像領域」を識別する領域識別情報とすることができる。この補助情報は、第2レイヤ以降のレイヤのテクスチャデータに対してのみ存在する。この場合、補助情報利用部701は、補助情報が示す「有効領域」、「不要領域」、「想像領域」のフラグに応じてテクスチャデータの処理の内容を変えることができる。
例えば、補助情報は、透過率を表す透過率情報とすることができる。この場合、補助情報利用部701は、テクスチャデータとデプスデータに対して透過率を表す補助情報を用いて、半透明な物体を表現する表示画像を生成することができる。
例えば、補助情報は、光沢や反射の状態を表す質感情報とすることができる。この場合、補助情報利用部701は、補助情報が示す質感情報を用いて、反射モデルから計算したデータによってテクスチャデータを補正したリライティング後のテクスチャデータを生成して表示することができる。
例えば、補助情報は、テクスチャデータのなかで優先度の高い領域を示す優先度情報とすることができる。この場合、補助情報利用部701は、補助情報を用いて、ユーザに注視して欲しい領域をユーザに提示して誘導することができる。
例えば、補助情報は、テクスチャデータの視野範囲内の温度を示す温度情報とすることができる。この場合、補助情報利用部701は、テクスチャ画像に、温度データを重ねて可視化表示することができる。
(補助情報が高域情報である場合の例)
図59は、補助情報が高域情報である場合の補助情報利用部701による補助情報利用処理を説明するフローチャートである。
初めに、ステップS441において、補助情報利用部701は、補助情報として付加されてきた高域情報があるかを判定する。
ステップS441で、補助情報として付加されてきた高域情報がないと判定された場合、ステップS442の処理はスキップされ、補助情報を用いた処理は行われない。
一方、ステップS441で、補助情報として付加されてきた高域情報があると判定された場合、補助情報利用部701は、補助情報を用いて、テクスチャデータとして伝送されてきた8ビットのCb成分及びCr成分の色情報を、10ビットのCb成分及びCr成分の色情報に変換して出力する。
これにより、8ビットの色情報表現ではつぶれて表現できない色の変化を表現することができるようになる。
図60は、全天球画像の第1の視点から第2の視点に視点を移動したときの画素値の変化を示す図である。
図60に示される全天球画像に対して、視野範囲T1を有する表示視点V11と視野範囲T2を有する表示視点V12とがある。
全天球画像の下段のグラフにおいて、横軸は表示視点を表し、縦軸は各表示視点の全天球画像の画素値を表す。
図60の例では、表示視点V11の全天球画像の画素値の最小値と最大値の範囲は、範囲D1である。また、表示視点V12の全天球画像の画素値の最小値と最大値の範囲は、範囲D2(D1<D2)である。
この場合、表示視点が表示視点V11から表示視点V12に変更されるとき、表示画像画素値の最小値と最大値の範囲は、範囲D1から範囲D2へ段階的に移行される。一方、表示視点が表示視点V12から表示視点V11に変更されるとき、表示画像画素値の最小値と最大値の範囲は、範囲D2から範囲D1へ段階的に移行される。
従って、時間の経過とともに最適な値域に変更するので、表示画像の画素値の最小値と最大値の範囲が、範囲D1から範囲D2に急激に変化する場合に比べて、視聴者は、眼を徐々に順応させることができる。
補助情報として高域情報があると、特に表示画像画素値の最小値と最大値の範囲が広い範囲D2であるような場合に、より微細な変化を表現することができ、高画質な表示が可能となる。
補助情報が高域情報である場合、復号後のテクスチャ画像の各画素の画素値としてのYCbCr値に対してビット拡張(高域拡張)処理を行うので、補助情報利用部701は、伝送情報解析部651に相当する。
(補助情報がポリゴン表裏情報である場合の例)
図61及び図62は、補助情報がポリゴン表裏情報である場合の画像処理例を説明する図である。
ポリゴンには表裏(法線)が存在するが、図61のAに示されるように、第1レイヤのテクスチャ画像及びデプス画像、第2レイヤのテクスチャ画像及びデプス画像に対して、表または裏が補助情報で表現される。この補助情報を用いてカリング処理を行うことで、図61のBに示されるように、矢印の方向から本来見えない第2レイヤの裏のオブジェクトを表示させないようにすることができ、表裏で繋がっていないポリゴンの表示が正しくなる。第2レイヤの表示を行う場合にもおかしいことが起きなくなる。
補助情報としてのポリゴン表裏情報は、例えば、YUVフォーマットのCb成分及びCr成分に格納して伝送することができるので、汎用的なデコーダでも伝送可能である。
ポリゴン表裏情報は、“0”が表を表し、“1”が裏を表す1ビットの信号で表現することができる。ポリゴン表裏情報は、図62に示されるように、テクスチャ画像のサンプリング点である各点721に対して、右下に位置する2つの三角形パッチ722の表裏を表現するものとする。オイラーの公式によれば、(頂点の数−辺の数+面の数)=2となるので、面(三角形パッチ722)の数は、頂点(点721)の数のおよそ2倍になる。従って、上述のように、1つの点721に対して、2つの三角形パッチ722の表裏を割り当てることで、補助情報の数は画素数と同じとなり、YUVフォーマットのCb成分及びCr成分に格納して伝送することができる。
補助情報がポリゴン表裏情報である場合、補助情報利用部701は、第1レイヤのテクスチャ画像及びデプス画像と第2レイヤのテクスチャ画像及びデプス画像とを用いて三角形パッチ描画を行う描画部239に相当する。
(補助情報が領域識別情報である場合の例)
図63及び図64は、補助情報が領域識別情報である場合の画像処理例を説明する図である。
図11を参照して説明したように、第2レイヤのテクスチャ画像は、有効領域、不要領域、想像領域の3つの領域に区分することができる。この3つの領域を識別する領域識別情報を、補助情報として設定し、付加することができる。
描画部239が、第1レイヤのテクスチャ画像及び第2レイヤのテクスチャ画像を用いて、第1レイヤの視点から少しずれた視点から、透視投影(マッピング)を行う場合、図63に示されるように、想像領域が見えてしまう。
従って、補助情報としての領域識別情報がない場合には、第2レイヤのテクスチャ画像において、有効領域と想像領域の識別ができないので、想像領域のデータが使用されてしまうことになる。
一方、補助情報としての領域識別情報がある場合、第2レイヤのテクスチャ画像において、図64に示されるように、その領域が想像領域であることが分かるので、隣接する有効領域の画素値を利用することで、より確かな表示を行うことができる。
また、不要領域はオクルージョンがそもそも発生しない領域であるので、第1レイヤのテクスチャ画像を優先的に使用すればよい。従って、領域識別情報によって、第2のレイヤの不要領域が識別できることで、第1レイヤと第2レイヤのどちらを優先して使用すればよいかが分かるようになる。
補助情報としての領域識別情報は、有効領域、不要領域、想像領域の3つを表現できればよいので、ビット数は2ビットあればよい。2ビットの補助情報は、YUVフォーマットのCb成分及びCr成分に格納して伝送してもよいし、同一階層または異階層の補助情報として付加して伝送してもよい。
補助情報が領域識別情報である場合、補助情報利用部701は、第1レイヤのテクスチャ画像及びデプス画像と第2レイヤのテクスチャ画像及びデプス画像とを用いて三角形パッチ描画を行う描画部239に相当する。
(ヘッダ情報の他の格納例)
第2実施の形態における上述した説明においては、ヘッダ情報が第1及び第2レイヤのテクスチャ画像及びデプス画像のビットストリームとは別に伝送される場合について説明した。
しかしながら、ヘッダ情報は、例えば、HEVC(High Efficiency Video Coding)方式で符号化したビットストリームのUser data unregistered SEI (Supplemental Enhancement Information)に格納するなど、ビットストリームに含めて伝送してもよい。
<3.第3実施の形態>
(画像表示システムの第3実施の形態の構成例)
図65は、本開示を適用した画像表示システムの第3実施の形態の構成例を示すブロック図である。
図65に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図65の画像表示システム400は、マルチカメラ11、コンテンツサーバ12、変換装置14、ヘッドマウントディスプレイ15、配信サーバ401、ネットワーク402、および再生装置403により構成される。画像表示システム400では、6つの面のうちの、視線に対応する1つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームのみが再生装置403に配信され、再生される。
具体的には、画像表示システム400の配信サーバ401は、コンテンツサーバ12から送信されてくる低解像度テクスチャストリームおよび低解像度デプスストリーム、6つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリーム、並びにメタデータを受け取り、記憶する。
また、配信サーバ401は、ネットワーク402を介して再生装置403と接続する。配信サーバ401は、再生装置403からの要求に応じて、記憶している低解像度テクスチャストリームおよび低解像度デプスストリーム、1つの面の第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリーム、並びにメタデータを、ネットワーク402を介して再生装置403に伝送する。
再生装置403(画像処理装置)は、配信サーバ401に低解像度テクスチャストリーム、低解像度デプスストリーム、およびメタデータを、ネットワーク402を介して要求し、その要求に応じて伝送されてくる低解像度テクスチャストリーム、低解像度デプスストリーム、およびメタデータを受け取る。
また、再生装置403は、カメラ13Aを内蔵する。再生装置403は、ホームサーバ13と同様に、3Dモデル座標系における視聴位置を検出し、3Dモデル座標系における視聴者の視線方向と視野範囲を決定する。
そして、再生装置403は、3Dモデル座標系における視聴位置および視線方向、並びに、メタデータに含まれる第1レイヤのテーブルに基づいて、第1レイヤの6つの面のうちの、視線に最も近い視線ベクトルに対応する1つの面を選択面に決定する。再生装置403は、1つの選択面に対応する第1レイヤテクスチャストリーム、第1レイヤデプストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームを、ネットワーク402を介して要求する。再生装置403は、その要求に応じて伝送されてくる1つの選択面に対応する第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームを受け取る。
再生装置403は、低解像度テクスチャストリームおよび低解像度デプスストリーム、並びに、1つの選択面に対応する第1レイヤテクスチャストリーム、第1レイヤデプスストリーム、第2レイヤテクスチャストリーム、および第2レイヤデプスストリームを用いて表示画像を生成する。再生装置403の表示画像を生成する処理は、選択面の数が1つである点を除いて、ホームサーバ13の処理と同様であるので、説明は省略する。再生装置403は、図示せぬHDMIケーブルを介して表示画像を変換装置14に伝送する。
<4.テクスチャ画像の他の例>
図66は、第1レイヤのテクスチャ画像の他の例を示す図である。
上述した説明では、第1レイヤの各面のテクスチャ画像は、1つの視点Oのテクスチャ画像であったが、視点Oに対応する左目用の視点と右目用の視点のテクスチャ画像が合成されたものであってもよい。
具体的には、図66のAに示すように、第1レイヤの各面のテクスチャ画像は、例えば、視点Oに対応する左目用の視点の第1レイヤの各面のテクスチャ画像421と、右目用の視点の第1レイヤの各面のテクスチャ画像422が、横方向(水平方向)にパッキングされたパッキング画像420であってもよい。
また、図66のBに示すように、第1レイヤの各面のテクスチャ画像は、例えば、テクスチャ画像421とテクスチャ画像422が、縦方向(垂直方向)にパッキングされたパッキング画像440であってもよい。
同様に、第2レイヤの各面のテクスチャ画像は、その面の1つの第2レイヤの視点に対応する左目用の視点の第2レイヤのテクスチャ画像と、右目用の視点の第2レイヤのテクスチャ画像が横方向または縦方向にパッキングされたパッキン画像であってもよい。
以上のように、第1レイヤおよび第2レイヤの各面のテクスチャ画像が左目用の視点と右目用の視点の画像をパッキングしたテクスチャ画像である場合、復号の結果得られるテクスチャ画像が、左目用の視点のテクスチャ画像と右目用の視点のテクスチャ画像に分離される。そして、第1レイヤおよび第2レイヤについて、左目用の3次元データと右目用の3次元データが生成される。
そして、視聴者の視聴方向および視聴位置に対応する左目の視聴方向および視聴位置基づいて、左目用の3次元データから左目用の表示画像が生成される。また、視聴者の視聴方向および視聴位置に対応する右目の視聴方向および視聴位置に基づいて、右目用の3次元データから右目用の表示画像が生成される。そして、ヘッドマウントディスプレイ15が3D表示可能である場合、ヘッドマウントディスプレイ15は、左目用の表示画像を左目用の画像として表示し、右目用の表示画像を右目用の画像として表示することにより、表示画像を3D表示する。
なお、第1乃至第3実施の形態では、撮影画像が正八面体にマッピングされることにより全天球画像が生成されたが、撮影画像がマッピングされる3Dモデルは、正八面体のほか、球や立方体などにすることができる。撮影画像が球にマッピングされる場合、全天球画像は、例えば、撮影画像がマッピングされた球の正距円筒図法による画像である。
また、低解像度テクスチャストリームと低解像度デプスストリームは生成されなくてもよい。第1レイヤおよび第2レイヤのデプス画像は生成されなくてもよい。また、第2レイヤのテクスチャ画像とデプス画像は、重要な被写体の撮影画像がマッピングされる一部の面に対してのみ生成されるようにしてもよい。
さらに、低解像度テクスチャ画像および低解像度デプス画像も、高解像度のテクスチャ画像およびデプス画像と同様に、階層化して生成されてもよい。
<5.第4実施の形態>
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図67は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ500において、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
バス504には、さらに、入出力インタフェース505が接続されている。入出力インタフェース505には、入力部506、出力部507、記憶部508、通信部509、及びドライブ510が接続されている。
入力部506は、キーボード、マウス、マイクロフォンなどよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記憶部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインタフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア511を駆動する。
以上のように構成されるコンピュータ500では、CPU501が、例えば、記憶部508に記憶されているプログラムを、入出力インタフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ500(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ500では、プログラムは、リムーバブルメディア511をドライブ510に装着することにより、入出力インタフェース505を介して、記憶部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記憶部508にインストールすることができる。その他、プログラムは、ROM502や記憶部508に、あらかじめインストールしておくことができる。
なお、コンピュータ500が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
<6.応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図68は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図68に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図68では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図69は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図69には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920〜7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図68に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE−A(LTE−Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi−Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図68の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図68に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
なお、図1乃至図66を用いて説明した本実施形態に係る画像表示システム10(400)の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム7000において、図1乃至図66を用いて説明した本実施形態に係る画像表示システム10(400)は、図68に示した応用例の車両制御システム7000に適用することができる。例えば、画像表示システム10(400)のマルチカメラ11は、撮像部7410の少なくとも一部に相当する。また、コンテンツサーバ12、ホームサーバ13(配信サーバ401、ネットワーク402、再生装置403)、および変換装置14は一体化され、統合制御ユニット7600のマイクロコンピュータ7610と記憶部7690に相当する。ヘッドマウントディスプレイ15は、表示部7720に相当する。なお、画像表示システム10(400)を車両制御システム7000に適用する場合、カメラ13A、マーカ15A、およびジャイロセンサ15Bは設けられず、視聴者である搭乗者の入力部7800の操作により視聴者の視線方向および視聴位置が入力される。以上のようにして、画像表示システム10(400)を、図68に示した応用例の車両制御システム7000に適用することにより、全天球画像を用いて高画質の表示画像を生成することができる。
また、図1乃至図66を用いて説明した画像表示システム10(400)の少なくとも一部の構成要素は、図68に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図1乃至図66を用いて説明した画像表示システム10(400)が、図68に示した車両制御システム7000の複数の制御ユニットによって実現されてもよい。
本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本開示は以下のような構成も取ることができる。
(1)
第1レイヤのテクスチャ情報とデプス情報及び第2レイヤのテクスチャ情報とデプス情報の少なくとも1つに対して補助情報が付加された伝送情報を受け取る受け取り部と、
前記第1レイヤのテクスチャ情報とデプス情報及び前記第2レイヤのテクスチャ情報とデプス情報の少なくとも1つに対して、前記補助情報を用いた所定の画像処理を実行する補助情報利用部と
を備える画像処理装置。
(2)
前記第1レイヤのテクスチャ情報とデプス情報は、全天球画像のテクスチャ画像とデプス画像から構成され、
前記第2レイヤのテクスチャ情報とデプス情報は、前記第1レイヤのテクスチャ画像の視点におけるオクルージョン領域のテクスチャ画像とデプス画像から構成される
前記(1)に記載の画像処理装置。
(3)
前記補助情報は、付加対象のテクスチャ情報及びデプス情報と同一の階層に格納されている
前記(1)または(2)に記載の画像処理装置。
(4)
前記補助情報は、付加対象のテクスチャ情報及びデプス情報を格納した階層とは異なる階層に格納されている
前記(1)または(2)に記載の画像処理装置。
(5)
前記補助情報の付加対象であるテクスチャ情報及びデプス情報を格納した階層は、参照レイヤ情報によって識別される
前記(4)に記載の画像処理装置。
(6)
前記補助情報が格納された階層には、付加対象であるデプス情報と同一のデプス情報も格納されている
前記(4)に記載の画像処理装置。
(7)
前記デプス情報は、4:2:0のYUVフォーマットのY成分に格納され、
前記補助情報は、4:2:0のYUVフォーマットのCb成分またはCr成分の少なくとも一方に格納される
前記(1)乃至(3)のいずれかに記載の画像処理装置。
(8)
前記補助情報は、テクスチャ情報の色情報よりも高域成分を表す色の高域情報である
前記(1)乃至(7)のいずれかに記載の画像処理装置。
(9)
前記補助情報は、ポリゴンの表裏を表現するポリゴン表裏情報である
前記(1)乃至(8)のいずれかに記載の画像処理装置。
(10)
前記補助情報は、テクスチャ情報の「有効領域」、「不要領域」、及び「想像領域」を識別する領域識別情報である
前記(1)乃至(9)のいずれかに記載の画像処理装置。
(11)
画像処理装置が、
第1レイヤのテクスチャ情報とデプス情報及び第2レイヤのテクスチャ情報とデプス情報の少なくとも1つに対して補助情報が付加された伝送情報を受け取り、
前記第1レイヤのテクスチャ情報とデプス情報及び前記第2レイヤのテクスチャ情報とデプス情報の少なくとも1つに対して、前記補助情報を用いた所定の画像処理を実行する
ステップを含む画像処理方法。
(12)
第1レイヤのテクスチャ情報とデプス情報及び第2レイヤのテクスチャ情報とデプス情報を生成する画像生成部と、
前記第1レイヤのテクスチャ情報とデプス情報及び前記第2レイヤのテクスチャ情報とデプス情報の少なくとも1つに付加される補助情報を生成する補助情報生成部と
を備える画像処理装置。
(13)
前記第1レイヤのテクスチャ情報とデプス情報は、全天球画像のテクスチャ画像とデプス画像から構成され、
前記第2レイヤのテクスチャ情報とデプス情報は、前記第1レイヤのテクスチャ画像の視点におけるオクルージョン領域のテクスチャ画像とデプス画像から構成される
前記(12)に記載の画像処理装置。
(14)
前記補助情報は、付加対象のテクスチャ情報及びデプス情報と同一の階層に格納されている
前記(12)または(13)に記載の画像処理装置。
(15)
前記補助情報は、付加対象のテクスチャ情報及びデプス情報を格納した階層とは異なる階層に格納されている
前記(12)または(13)に記載の画像処理装置。
(16)
前記補助情報の付加対象であるテクスチャ情報及びデプス情報を格納した階層は、参照レイヤ情報によって識別される
前記(15)に記載の画像処理装置。
(17)
前記補助情報が格納された階層には、付加対象であるデプス情報と同一のデプス情報も格納されている
前記(15)に記載の画像処理装置。
(18)
前記デプス情報は、4:2:0のYUVフォーマットのY成分に格納され、
前記補助情報は、4:2:0のYUVフォーマットのCb成分またはCr成分の少なくとも一方に格納される
前記(12)乃至(14)のいずれかに記載の画像処理装置。
(19)
画像処理装置が、
第1レイヤのテクスチャ情報とデプス情報及び第2レイヤのテクスチャ情報とデプス情報を生成し、
前記第1レイヤのテクスチャ情報とデプス情報及び前記第2レイヤのテクスチャ情報とデプス情報の少なくとも1つに付加される補助情報を生成する
ステップを含む画像処理方法。