JP6743893B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6743893B2
JP6743893B2 JP2018532930A JP2018532930A JP6743893B2 JP 6743893 B2 JP6743893 B2 JP 6743893B2 JP 2018532930 A JP2018532930 A JP 2018532930A JP 2018532930 A JP2018532930 A JP 2018532930A JP 6743893 B2 JP6743893 B2 JP 6743893B2
Authority
JP
Japan
Prior art keywords
image
viewpoint
polygon
depth
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018532930A
Other languages
English (en)
Other versions
JPWO2018030168A1 (ja
Inventor
宏 押領司
宏 押領司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018030168A1 publication Critical patent/JPWO2018030168A1/ja
Application granted granted Critical
Publication of JP6743893B2 publication Critical patent/JP6743893B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

本開示は、画像処理装置および画像処理方法に関し、特に、２視点のテクスチャ画像とデプス画像を用いて、より多くの領域の３次元構造を表現することができるようにした画像処理装置および画像処理方法に関する。
物体の３次元構造を表現する手法としては、主に、物体のポリゴン（３Ｄメッシュ）と、そのポリゴンに貼り付けるテクスチャとを用いて表現する手法と、複数の視点に対して物体を透視投影することにより得られるテクスチャ画像とデプス画像を用いて表現する手法が挙げられる。前者の手法は、一般的なＣＧ（Computer Graphics）技術で用いられる手法である。後者の手法（以下、２Ｄデプス手法という）は、被写体を透視投影することにより得られる画像である撮影画像との親和性が高い。
２Ｄデプス手法で物体の３次元構造が表現される場合、３次元構造を表現するデータは、MPEG MVD（Moving Picture Experts Group phase Multi-view+depth）等の符号化方式を用いて符号化される（例えば、非特許文献１参照）。
妹尾孝憲、山本健詞、大井隆太朗、栗田泰市郎「MPEG多視点映像符号化の標準化活動」情報通信研究機構季報Vol.56 Nos.1/2、２０１０年３月発行
以上のように、２Ｄデプス手法は、複数の視点に対して物体を透視投影することにより得られるテクスチャ画像（２次元画像）と、そのテクスチャ画像に対応するデプス画像とを用いて、物体の３次元構造を表現する手法である。従って、物体の透視投影されない領域の３次元構造については表現することができない。
よって、透視投影する視点の数を増加させ、透視投影される領域を増加させることにより、より多くの領域の３次元構造を表現することができる。しかしながら、透視投影する視点の数が多いほど、３次元構造を表現するために必要なデータ量は増加する。
本開示は、このような状況に鑑みてなされたものであり、２視点のテクスチャ画像とデプス画像を用いて、より多くの領域の３次元構造を表現することができるようにするものである。
本開示の第１の側面の画像処理装置は、ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する画像生成部と、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化部とを備える画像処理装置である。
本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。
本開示の第１の側面においては、ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像が生成される。なお、各視点の前記デプス画像の量子化方法は、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化方法とされる。
本開示の第２の側面の画像処理装置は、ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像を生成するテクスチャ画像生成部と、各視点の前記テクスチャ画像に対応するデプス画像を、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化方法で量子化された量子化値を画素値とすることにより生成するデプス画像生成部とを備える画像処理装置である。
本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。
本開示の第２の側面においては、ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像が生成され、各視点の前記テクスチャ画像に対応するデプス画像が、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化方法で量子化された量子化値を画素値とすることにより生成される。
なお、本開示の第１の側面および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、本開示の第１の側面および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本開示の第１の側面によれば、画像を生成することができる。本開示の第１の側面によれば、より多くの領域の３次元構造を表現する２視点のテクスチャ画像とデプス画像を用いて画像を生成することができる。
また、本開示の第２の側面によれば、画像を生成することができる。本開示の第２の側面によれば、２視点のテクスチャ画像とデプス画像を用いて、より多くの領域の３次元構造を表現することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した画像処理装置としての生成装置の第１実施の形態の構成例を示すブロック図である。 撮影装置の配置例を示す図である。 図１の描画部の構成例を示すブロック図である。 距離ｒを説明する図である。 各ポリゴンの表面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 各ポリゴンの表面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 各ポリゴンの表面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 球の裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 球の裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 各ポリゴンの裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 各ポリゴンの裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 各ポリゴンの裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 生成処理を説明するフローチャートである。 本開示を適用した画像処置装置としての表示装置の第１実施の形態の構成例を示すブロック図である。 量子化方法の選択を説明する図である。 量子化方法の選択を説明する図である。 量子化方法の選択を説明する図である。 量子化方法の選択を説明する図である。 第１の再構成方法を説明する図である。 第２の再構成方法を説明する図である。 表示処理を説明するフローチャートである。 量子化情報生成処理を説明するフローチャートである。 テクスチャ画像の他の例を示す図である。 投影面の座標系を説明する図である。 tan軸投影を説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：生成装置および表示装置（図１乃至図２２）
２．テクスチャ画像の他の例（図２３）
３．第２実施の形態：tan軸投影(図２４,２５)
４．第３実施の形態：コンピュータ（図２６）
５．応用例（図２７および図２８）
＜第１実施の形態＞
（生成装置の構成例）
図１は、本開示を適用した画像処理装置としての生成装置の第１実施の形態の構成例を示すブロック図である。
図１の生成装置１２は、撮影装置１１−１乃至１１−Ｎ（Ｎは２以上）により取得された撮影画像とデプス画像とを用いて、撮影画像内の主要な被写体のテクスチャ画像およびデプス画像、並びに、全天球画像のテクスチャ画像およびデプス画像を生成する。
具体的には、撮影装置１１−１乃至１１−Ｎは、主要な被写体の周囲に配置され、主要な被写体の少なくとも一部を撮影範囲に含む。撮影装置１１−１乃至１１−Ｎは、それぞれ、撮影画像カメラ２１とデプス画像カメラ２２により構成される。撮影画像カメラ２１は、被写体を撮影してフレーム単位で撮影画像を取得し、生成装置１２に供給する。デプス画像カメラ２２は、撮影画像の各画素における被写体の奥行き方向の位置をフレーム単位で取得して、その位置を表す情報を画素値とするデプス画像を生成し、生成装置１２に供給する。なお、以下では、撮影装置１１−１乃至１１−Ｎを特に区別する必要がない場合、それらをまとめて撮影装置１１という。
生成装置１２は、領域抽出部３１、位置情報生成部３２、カラー情報生成部３３、ポリゴン生成部３４、描画部３５、全天球画像生成部３６、低解像度化部３７、エンコーダ３８、記憶部３９、および送信部４０により構成される。
生成装置１２の領域抽出部３１は、Ｎ個の撮影装置１１から供給されるＮ個の撮影画像とデプス画像から、主要な被写体の領域を抽出し、位置情報生成部３２に供給する。また、領域抽出部３１は、Ｎ個の撮影画像とデプス画像から、主要な被写体の領域以外の領域を背景領域として抽出し、全天球画像生成部３６に供給する。
位置情報生成部３２は、領域抽出部３１から供給される主要な被写体の領域のＮ個のデプス画像を用いて、主要な被写体に対応する１以上のポリゴンの位置情報を生成する。ポリゴンの位置情報とは、主要な被写体の中心を原点とする３次元座標系である３Ｄモデル座標系のポリゴンの各頂点の３次元座標である。位置情報生成部３２は、各ポリゴンの位置情報をカラー情報生成部３３とポリゴン生成部３４に供給する。また、位置情報生成部３２は、主要な被写体の領域のＮ個の撮影画像をカラー情報生成部３３に供給する。
カラー情報生成部３３は、位置情報生成部３２から供給される各ポリゴンの位置情報と主要な被写体のＮ個の撮影画像を用いて、各ポリゴンの表面と裏面のRGB値などのカラー情報を生成する。具体的には、カラー情報生成部３３は、各ポリゴンに対応する撮影画像の画素値を用いて、そのポリゴンの表面のカラー情報を生成する。また、カラー情報生成部３３は、各ポリゴンの表面のカラー情報を、そのポリゴンの裏面のカラー情報としても生成する。カラー情報生成部３３は、各ポリゴンの表面と裏面のカラー情報をポリゴン生成部３４に供給する。
なお、ポリゴンの表面のカラー情報は、ポリゴンの各頂点の３Ｄモデル座標系における３次元座標を、表面の法線ベクトルを軸として時計周りで記述し、その３次元座標に対応してカラー情報を記述することにより表現される。ポリゴンの裏面のカラー情報も、表面のカラー情報と同様に表現される。
ポリゴン生成部３４は、位置情報生成部３２から供給される各ポリゴンの位置情報に基づいて各ポリゴンを生成し、カラー情報生成部３３から供給される各ポリゴンの表面と裏面のカラー情報に基づいて、各ポリゴンの表面および裏面に対してテクスチャを貼り付ける。ポリゴン生成部３４は、表面および裏面に対してテクスチャが貼り付けられた各ポリゴンを描画部３５に供給する。
描画部３５（画像生成部）は、主要な被写体の１以上のポリゴンの中心である３Ｄモデル座標系の原点に対して対向する予め決められた２視点のそれぞれについて、各ポリゴンの裏面を透視投影面に透視投影することにより、２視点のテクスチャ画像を生成する。具体的には、描画部３５は、２視点のそれぞれについて、各ポリゴンの裏面を、各視点から原点に向かう視線方向の直線が中心を通る法線である透視投影面に透視投影することにより、２視点のテクスチャ画像を生成する。本明細書において、「対向する位置」とは、対向する位置そのものだけでなく、本開示の技術的効果を奏する範囲で、対向する位置の付近も含むものである。同様に、「法線」とは、法線そのものだけでなく、面に対する角度が垂直付近である線も含むものである。
なお、テクスチャ画像のフォーマットは、特に限定されないが、例えばYCbCr420フォーマットを採用することができる。描画部３５は、ポリゴンに基づいて、第１乃至第３の量子化方法で、２視点のテクスチャ画像それぞれに対応するデプス画像を生成する。描画部３５は、２視点のテクスチャ画像と第１乃至第３の量子化方法で生成されたデプス画像をエンコーダ３８に供給する。
全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個の撮影画像を３Ｄモデル座標系の原点を中心とする正八面体に透視投影することにより、水平方向の周囲360度および垂直方向の周囲180度の全天球画像のテクスチャ画像を生成する。なお、全天球画像は、水平方向の周囲360度および垂直方向の周囲180度の球体の全空間の画像ではなく、本開示の技術的効果を奏すれば部分空間の画像であってもよい。全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個のデプス画像を、撮影画像と同様に正八面体に透視投影することにより、全天球画像のデプス画像を生成する。全天球画像生成部３６は、全天球画像のテクスチャ画像とデプス画像を低解像度化部３７に供給する。
低解像度化部３７は、全天球画像生成部３６から供給される全天球画像のテクスチャ画像とデプス画像を低解像度化し、エンコーダ３８に供給する。
エンコーダ３８は、描画部３５から供給される２視点のテクスチャ画像と第１乃至第３の量子化方法で生成されたデプス画像を符号化し、低解像度化部３７から供給される全天球画像のテクスチャ画像とデプス画像を符号化する。これらの符号化の符号化方式としては、AVC（Advanced Video Coding）方式、HEVC方式、MVD方式等を用いることができるが、ここでは、AVC方式を用いるものとする。
従って、エンコーダ３８は、符号化により、各視点のテクスチャ画像の符号化ストリーム（以下、視点テクスチャストリームという）と各量子化方法で生成されたデプス画像の符号化ストリーム（以下、視点デプスストリームという）を生成する。また、エンコーダ３８は、符号化により、低解像度化された全天球画像のテクスチャ画像の符号化ストリーム（以下、全天球テクスチャストリームという）とデプス画像の符号化ストリーム（以下、全天球デプスストリームという）を生成する。エンコーダ３８は、２視点の視点テクスチャストリームおよび第１乃至第３の量子化方法の視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶部３９に供給する。
記憶部３９は、エンコーダ３８から供給される２視点の視点テクスチャストリームおよび第１乃至第３の量子化方法の視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶する。
送信部４０は、視点ごとに、記憶部３９に記憶されている第１乃至第３の量子化方法の視点デプスストリームのうちの、受信部４１から供給される量子化方法情報が示す量子化方法の視点デプスストリームを読み出し、送信する。また、送信部４０は、記憶部３９に記憶されている２視点の視点テクスチャストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、送信する。
受信部４１は、後述する表示装置から送信されてくる、第１乃至第３の量子化方法のうちの表示画像に対応する量子化方法を示す量子化方法情報を視点ごとに受信し、送信部４０に供給する。
以上のように、生成装置１２は、主要な被写体の３次元構造を表現するポリゴンとカラー情報を、２視点のテクスチャ画像とデプス画像に変換する。従って、生成装置１２は、２視点のテクスチャ画像とデプス画像を、一般的な画像の符号化方式を用いて符号化し、データ量を削減することができる。その結果、主要な被写体の３次元構造を表現するデータの伝送帯域を削減することができる。
なお、図１の生成装置１２は、ポリゴンとカラー情報を生成したが、ＣＧ技術において用いられる３次元構造を表現する情報であれば、ポイントクラウドなどの他の情報を生成するようにしてもよい。
また、図１の例では、デプス画像カメラ２２が、撮影画像と同一の画素数のデプス画像を取得するが、撮影画像より少ない画素数のデプス画像を取得する場合には、領域抽出部３１と位置情報生成部３２の間に、デプス画像の画素値を補間するデプス画像補間部が設けられる。この場合、デプス画像補間部は、デプス画像の画素値を補間し、デプス画像の画素数を撮影画像の画素数と同一にする。
さらに、図１の例では、各撮影装置１１がデプス画像を取得するようにしたが、デプス画像は、そのデプス画像に対応する撮影装置１１と他の撮影装置１１により取得された撮影画像から生成されるようにしてもよい。
また、図１の例では、描画部３５が第１乃至第３の全ての量子化方法でデプス画像を生成したが、受信部４１により受信された量子化方法情報が示す量子化方法でのみデプス画像を生成するようにしてもよい。
（撮影装置の配置例）
図２は、図１の撮影装置１１の配置例を示す図である。
図２の例では、Ｎは９である。
図２に示すように、９個の撮影装置１１−１乃至１１−９は、主要な被写体６１の周囲に取り囲むように配置される。
（描画部の構成例）
図３は、図１の描画部３５の構成例を示すブロック図である。
図３の描画部３５は、テクスチャ画像生成部７１、ｒ値取得部７２、逆ｒ値取得部７３、１／ｒ量子化部７４、等間隔量子化部７５、および逆１／ｒ量子化部７６により構成される。
描画部３５のテクスチャ画像生成部７１は、２視点のそれぞれに対して、図１のポリゴン生成部３４から供給される各ポリゴンの裏面を透視投影面に透視投影することにより、２視点のテクスチャ画像を生成し、図１のエンコーダ３８に供給する。
ｒ値取得部７２は、２視点のそれぞれについて、ポリゴン生成部３４から供給される各ポリゴンに基づいて、その視点とテクスチャ画像の各画素におけるポリゴンとを結ぶ直線の距離ｒを求める。ｒ値取得部７２は、各視点の各画素の距離ｒを１／ｒ量子化部７４と等間隔量子化部７５に供給する。
逆ｒ値取得部７３は、２視点のそれぞれについて、ポリゴン生成部３４から供給される各ポリゴンに基づいて、その視点と２視点を構成する他の視点とテクスチャ画像の各画素におけるポリゴンとを結ぶ直線の距離ｒ´を求める。距離ｒ´と距離ｒの関係は、以下の式（１）で表される。
r´=ｒmax+ｒmin-r ・・・（１）
なお、ｒmax,ｒminは、それぞれ、テクスチャ画像の全画素における距離ｒの最大値、最小値である。逆ｒ値取得部７３は、各視点の各画素の距離ｒ´を逆１／ｒ量子化部７６に供給する。
１／ｒ量子化部７４（デプス画像生成部）は、視点ごとに、距離ｒの逆数を量子化する第１の量子化方法で、以下の式（２）により、ｒ値取得部７２から供給される各画素の距離ｒの逆数を量子化し、量子化後の値Ｉｄ１（ｒ）を求める。
Figure 0006743893
１／ｒ量子化部７４は、視点ごとに、各画素の量子化後の値Ｉｄ１（ｒ）を画素値とするデプス画像を生成し、図１のエンコーダ３８に供給する。
等間隔量子化部７５（デプス画像生成部）は、視点ごとに、距離ｒを量子化する第２の量子化方法で、以下の式（３）により、ｒ値取得部７２から供給される各画素の距離ｒを量子化し、量子化後の値Ｉｄ２（ｒ）を求める。
Figure 0006743893
等間隔量子化部７５は、視点ごとに、各画素の量子化後の値Ｉｄ２（ｒ）を画素値とするデプス画像を生成し、エンコーダ３８に供給する。
逆１／ｒ量子化部７６（デプス画像生成部）は、視点ごとに、距離ｒ´の逆数を量子化する第３の量子化方法で、以下の式（４）により、逆ｒ値取得部７３から供給される各画素の距離ｒ´の逆数を量子化し、量子化後の値Ｉｄ３（ｒ´）を求める。
Figure 0006743893
逆１／ｒ量子化部７６は、視点ごとに、各画素の量子化後の値Ｉｄ３（ｒ´）を画素値とするデプス画像を生成し、エンコーダ３８に供給する。
（距離ｒの説明）
図４は、距離ｒを説明する図である。
図４の例では、ポリゴン生成部３４により生成されるポリゴンが、視点Ｏ１のテクスチャ画像の奥行き方向ｚの視点Ｏ１との距離がｚａｂである位置に、奥行き方向ｚに垂直な面８０を形成している。
この場合、視点Ｏ１のテクスチャ画像におけるポリゴンが、奥行き方向ｚと交差する面８０上の点ａである画素の距離ｒである距離ｒａは、視点Ｏ１と点ａを結ぶ奥行き方向ｚの直線の距離であり、距離ｚａｂである。
また、視点Ｏ１のテクスチャ画像におけるポリゴンが、面８０上の点ａとは異なる点ｂである画素の距離ｒである距離ｒｂは、視点Ｏ１と点ｂを結ぶ奥行き方向ｚとは異なる方向の直線の距離であり、距離ｚａｂではない。
（本開示の効果の説明）
図５乃至図７は、３Ｄモデル座標系の原点に対して対向する２視点のそれぞれについて、各ポリゴンの表面を透視投影面に透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。
図５乃至図７の例では、主要な被写体のポリゴンが球８１を形成する。この場合、図５のＡに示すように、２視点のうちの一方の視点Ｏ１に対して、球８１の表面を視線方向Ｖ１の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８２と最初に交差する球８１上の表面の領域８１Ａに貼られたテクスチャが描画される。投影方向とは、視点から延びる、視線方向とのなす角の絶対値が画角の半分の角度（図３の例ではθ）の範囲内である方向である。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ１に対する領域８１Ａの奥行き方向（視線方向Ｖ１）の位置を表す画像である。
また、図５のＢに示すように、２視点のうちの他方の視点Ｏ２に対して、球８１の表面を視線方向Ｖ２の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８３と最初に交差する球８１上の表面の領域８１Ｂに貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ２に対する領域８１Ｂの奥行き方向（視線方向Ｖ２）の位置を表す画像である。
従って、図５のＣに示すように、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像により、球８１の中心に対して互いに対向する２つの領域８１Ａと領域８１Ｂの３次元構造を表現することができる。しかしながら、球の表面には、領域８１Ａと領域８１Ｂ以外の領域が存在する。即ち、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像では３次元構造を表現できない球８１の表面の領域が存在する。
例えば、球８１の表面および裏面に世界地図がテクスチャとして貼られており、アフリカ沖大西洋上空が視点Ｏ１である場合、図６のＡの左側に示すように、視点Ｏ１のテクスチャ画像１０１には、領域８１Ａの表面にテクスチャとして貼られたアフリカ大陸と南アメリカ大陸の一部が描画される。
また、この場合、視点Ｏ２は太平洋上空であり、図６のＢの左側に示すように、視点Ｏ２のテクスチャ画像１０２には、領域８１Ｂの表面にテクスチャとして貼られたオーストラリア大陸の一部が描画される。しかしながら、南極大陸等は、テクスチャ画像１０１とテクスチャ画像１０２のいずれにも描画されない。
また、図６のＡの右側および図６のＢの右側に示すように、テクスチャ画像１０１に対応するデプス画像１１１と、テクスチャ画像１０２に対応するデプス画像１１２は、同一である。なお、デプス画像は、各画素における被写体の奥行き方向の位置が遠いほど、画素値（輝度値）が小さい。従って、デプス画像１１１とデプス画像１１２は、中心の画素値が最も大きく、中心から離れるほど小さくなっている。
以上のように、テクスチャ画像１０１とテクスチャ画像１０２のいずれにも、南極大陸等は描画されない。従って、図７に示すように、テクスチャ画像１０１およびデプス画像１１１並びにテクスチャ画像１０２およびデプス画像１１２を用いて再構成された３次元構造１２１は、表面および裏面に世界地図がテクスチャとして貼られた球８１の一部分のみである。
図５乃至図７の例では、ポリゴンの形状が比較的単純な球８１であったが、ポリゴンの形状が複雑である場合、２視点のテクスチャ画像では３次元構造を表現できないポリゴンの領域が増加する。
図８および図９は、視点Ｏ１に対して球８１の裏面を視線方向Ｖ１の透視投影面に透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。
上述したように、視点Ｏ１に対して球８１の表面を視線方向Ｖ１の透視投影面に透視投影することによりテクスチャ画像を生成する場合、テクスチャ画像には、図８に示すように、各投影方向８２と最初に交差する球８１上の表面の各点ｃ１に貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ１に対する各点ｃ１の奥行き方向（視線方向Ｖ１）の位置を表す画像である。
一方、視点Ｏ１に対して球８１の裏面を視線方向Ｖ１の透視投影面に透視投影することによりテクスチャ画像を生成する場合、テクスチャ画像には、図８に示すように、各投影方向８２と最初に交差する球８１上の裏面の各点ｃ２に貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ２に対する各点ｃ２の奥行き方向（視線方向Ｖ１）の位置を表す画像である。
例えば、球８１の表面および裏面に世界地図がテクスチャとして貼られており、アフリカ沖大西洋上空が視点Ｏ１である場合、図９に示すように、視点Ｏ１のテクスチャ画像１３１には、各点ｃ２の裏面にテクスチャとして貼られた北アメリカ大陸、南アメリカ大陸の一部、南極大陸、ヨーロッパ大陸の一部、アジア大陸、およびオーストラリア大陸が描画される。また、テクスチャ画像１３１に対応するデプス画像１３２は、中心の画素値が最も小さく、中心から離れるほど小さくなる。
図１０乃至図１２は、３Ｄモデル座標系の原点に対して対向する２視点のそれぞれについて、各ポリゴンの裏面を透視投影面に透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。
図１０乃至図１２の例では、主要な被写体のポリゴンが球８１である。この場合、図１０のＡに示すように、視点Ｏ１に対して、球８１の裏面を視線方向Ｖ１の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８２と最初に交差する球８１上の裏面の領域１５３Ａに貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ１に対する領域８１Ａの奥行き方向（視線方向Ｖ１）の位置を表す画像である。
また、図１０のＢに示すように、２視点のうちの他方の視点Ｏ２に対して、球８１の裏面を視線方向Ｖ２の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８３と最初に交差する球８１上の裏面の領域１５３Ｂに貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ２に対する領域８１Ｂの奥行き方向（視線方向Ｖ２）の位置を表す画像である。
従って、図８Ｃに示すように、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像により、球８１の中心に対して互いに対向する２つの領域１５３Ａおよび領域１５３Ｂの３次元構造を表現することができる。
なお、図１０のＣに示すように、領域１５３Ａおよび領域１５３Ｂは重複する。従って、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像により、球８１の全ての３次元構造を表現することができることになる。
例えば、球８１の表面および面に世界地図がテクスチャとして貼られており、アフリカ沖大西洋上空が視点Ｏ１である場合、図１１のＡの左側に示すように、視点Ｏ１のテクスチャ画像１６１には、領域１５３Ａの裏面にテクスチャとして貼られた北アメリカ大陸、南アメリカ大陸の一部、南極大陸、ヨーロッパ大陸の一部、アジア大陸、オーストラリア大陸が描画される。
また、この場合、視点Ｏ２は太平洋上空であり、図１１のＢの左側に示すように、視点Ｏ２のテクスチャ画像１６２には、領域１５３Ｂの裏面にテクスチャとして貼られたアフリカ大陸、北アメリカ大陸、南アメリカ大陸、南極大陸、ヨーロッパ大陸の一部が描画される。従って、７大陸の全てが、テクスチャ画像１６１とテクスチャ画像１６２の少なくとも一方に描画される。
また、図１１のＡおよび図１１のＢの右側に示すように、テクスチャ画像１６１に対応するデプス画像１６３と、テクスチャ画像１６２に対応するデプス画像１６４は、同一である。デプス画像１６３とデプス画像１６４は、中心の画素値が最も小さく、中心から離れるほど大きくなっている。
以上のように、７大陸の全てが、テクスチャ画像１６１とテクスチャ画像１６２の少なくとも一方に描画される。従って、図１２のＡに示すように、テクスチャ画像１６１とデプス画像１６３を用いて再構成された３次元構造１７１は、球８１の視点Ｏ２側の半分（図中右半分）より大きい部分である。また、図１２のＢに示すように、テクスチャ画像１６２とデプス画像１６４を用いて再構成された３次元構造１７２は、球８１の視点Ｏ１側の半分（図中左半分）より大きい部分である。よって、テクスチャ画像１６１およびデプス画像１６３並びにテクスチャ画像１６２およびデプス画像１６４を用いて３次元構造を再構成することにより、球８１全体を生成することができる。
なお、領域１５３Ａと領域１５３Ｂの重複領域は、テクスチャ画像１６１およびデプス画像１６３と、テクスチャ画像１６２およびデプス画像１６４のいずれか一方を用いて生成される。
例えば、図１０のＡに示すように、領域１５３Ａと領域１５３Ｂの重複領域のうちの領域１５３Ａの端部の領域１５４は、視点Ｏ１に対して透視投影される場合、投影方向８２との角度が小さい。従って、テクスチャ画像１６１とデプス画像１６３では、領域１５４の３次元構造を高精度で表現することはできない。
しかしながら、図１０のＢに示すように、領域１５４は、視点Ｏ２に対して透視投影される場合、投影方向８３との角度が、視点Ｏ１に対して透視投影される場合に比べて大きくなる。従って、テクスチャ画像１６２とデプス画像１６４では、テクスチャ画像１６１とデプス画像１６３に比べて、領域１５４の３次元構造を高精度で表現することができる。よって、領域１５４は、テクスチャ画像１６２とデプス画像１６４を用いて生成される。
以上のように、領域１５３Ａと領域１５３Ｂの重複領域を、テクスチャ画像１６１およびデプス画像１６３と、テクスチャ画像１６２およびデプス画像１６４のうちの、重複領域との角度が大きい投影方向に対応する方を用いて生成することにより、球８１の再構成の精度を向上させることができる。
（生成装置の処理の説明）
図１３は、図１の生成装置１２の生成処理を説明するフローチャートである。この生成処理は、Ｎ個の撮影装置１１により取得されるＮ個の撮影画像とデプス画像のフレームごとに行われる。
図１３のステップＳ１１において、生成装置１２の領域抽出部３１は、撮影装置１１から供給されるＮ個の撮影画像とデプス画像から、主要な被写体の領域と背景領域を抽出する。領域抽出部３１は、主要な被写体の領域のＮ個の撮影画像とデプス画像を位置情報生成部３２に供給し、背景領域のＮ個の撮影画像とデプス画像を全天球画像生成部３６に供給する。
ステップＳ１２において、位置情報生成部３２は、領域抽出部３１から供給される主要な被写体の領域のＮ個のデプス画像を用いて、主要な被写体の各ポリゴンの位置情報を生成し、カラー情報生成部３３と描画部３５に供給する。また、位置情報生成部３２は、主要な被写体の領域のＮ個の撮影画像をカラー情報生成部３３に供給する。
ステップＳ１３において、カラー情報生成部３３は、位置情報生成部３２から供給される各ポリゴンの位置情報と主要な被写体の領域のＮ個の撮影画像を用いて、各ポリゴンの表面と裏面のカラー情報を生成する。カラー情報生成部３３は、各ポリゴンの表面と裏面のカラー情報を描画部３５に供給する。
ステップＳ１４において、描画部３５は、位置情報生成部３２から供給される各ポリゴンの位置情報に基づいて各ポリゴンを生成し、カラー情報生成部３３から供給される各ポリゴンの表面と裏面のカラー情報に基づいて、各ポリゴンの表面および裏面に対してテクスチャを貼り付ける。
ステップＳ１５において、描画部３５のテクスチャ画像生成部７１（図３）は、予め決められた２視点のそれぞれに対して、各ポリゴンの裏面を視線方向の透視投影面に透視投影することにより２視点のテクスチャ画像を生成する。描画部３５は、２視点のテクスチャ画像をエンコーダ３８に供給する。
ステップＳ１６において、ｒ値取得部７２は、ポリゴン生成部３４から供給されるポリゴンに基づいて、各視点の各画素の距離ｒを求め、１／ｒ量子化部７４と等間隔量子化部７５に供給する。
ステップＳ１７において、逆ｒ値取得部７３は、ポリゴン生成部３４から供給されるポリゴンに基づいて、各視点の各画素の距離ｒ´を求め、逆１／ｒ量子化部７６に供給する。
ステップＳ１８において、１／ｒ量子化部７４は、視点ごとに、第１の量子化方法で量子化後の値Ｉｄ１（ｒ）を求めることによりデプス画像を生成し、エンコーダ３８に供給する。また、等間隔量子化部７５は、視点ごとに、第２の量子化方法で量子化後の値Ｉｄ２（ｒ）を求めることによりデプス画像を生成し、エンコーダ３８に供給する。さらに、逆１／ｒ量子化部７６は、第３の量子化方法で量子化後の値Ｉｄ３（ｒ´）を求めることによりデプス画像を生成し、エンコーダ３８に供給する。
ステップＳ１９において、全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個の撮影画像を３Ｄモデル座標系の原点を中心とする正八面体に透視投影することにより、全天球画像のテクスチャ画像を生成し、低解像度化部３７に供給する。
ステップＳ２０において、全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個のデプス画像を、撮影画像と同様に正八面体に透視投影することにより、全天球画像のデプス画像を生成し、低解像度化部３７に供給する。
ステップＳ２１において、低解像度化部３７は、全天球画像生成部３６から供給される全天球画像のテクスチャ画像とデプス画像を低解像度化し、エンコーダ３８に供給する。
ステップＳ２２において、エンコーダ３８は、２視点のテクスチャ画像および第１乃至第３の量子化方法のデプス画像、並びに、全天球画像のテクスチャ画像およびデプス画像を符号化して記憶部３９に供給し、記憶させる。
ステップＳ２３において、受信部４１は、後述する表示装置から各視点の量子化情報が送信されてきたかどうかを判定する。ステップＳ２３で各視点の量子化情報が送信されてきたと判定された場合、受信部４１は、各視点の量子化情報を受信し、送信部４０に供給する。
そして、ステップＳ２４において、送信部４０は、視点ごとに、送信対象の視点デプスストリームの量子化方法を、受信部４１から供給される量子化情報が示す量子化方法に設定し、処理をステップＳ２５に進める。
一方、ステップＳ２３で量子化情報が送信されてきていないと判定された場合、送信部４０は、現在の処理対象のフレームより前のフレームを処理対象としたときに設定された量子化方法を、現在の処理対象のフレームの量子化方法とする。そして、処理はステップＳ２５に進む。
ステップＳ２５において、送信部４０は、記憶部３９に記憶されている２視点の視点テクスチャストリームおよび設定された量子化方法の視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、送信する。そして、処理は終了する。
以上のように、生成装置１２は、３Ｄモデル座標系の原点に対して対向する２視点のそれぞれについて各視点の視線方向の透視投影面にポリゴンの裏面を透視投影することにより、２視点のテクスチャ画像とデプス画像を生成する。従って、生成された２視点のテクスチャ画像とデプス画像は、ポリゴンの表面を透視投影することにより生成される場合に比べて、より多くの領域の主要な被写体のポリゴンの３次元構造を表現することができる。
また、生成装置１２は、第１乃至第３の量子化方法でデプス画像を生成する。従って、後述する表示装置は、第１乃至第３の量子化方法の視点デプスストリームから、表示画像に適した量子化方法の視点デプスストリームを選択的に用いて表示画像を生成することができる。
（表示装置の構成例）
図１４は、本開示を適用した画像処置装置としての表示装置の第１実施の形態の構成例を示すブロック図である。
図１４の表示装置２００は、図１の生成装置１２から送信されてくる２視点の視点テクスチャストリームおよび所定の量子化方法の視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを受信し、所定の視点のテクスチャ画像を表示画像として生成する。
具体的には、表示装置２００は、受信部２０１、記憶部２０２、デコーダ２０３、逆量子化部２０４、再構成部２０５、描画部２０６、表示部２０７、選択部２０８、および送信部２０９により構成される。
表示装置２００の受信部２０１は、生成装置１２から送信されてくる２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを受信し、記憶部２０２に供給する。
記憶部２０２は、受信部２０１から供給される２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶する。
デコーダ２０３は、記憶部２０２から２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、復号する。デコーダ２０３は、復号の結果得られる２視点のテクスチャ画像およびデプス画像、並びに、全天球画像のテクスチャ画像およびデプス画像を再構成部２０５に供給する。また、デコーダ２０３は、復号の結果得られる２視点のデプス画像を逆量子化部２０４に供給する。
逆量子化部２０４は、視点ごとに、選択部２０８から供給される量子化情報が示す量子化方法に対応する逆量子化方法で、デコーダ２０３から供給される２視点のデプス画像を逆量子化し、各画素の距離情報を生成する。距離情報は、量子化情報が第１の量子化方法を示す場合距離ｒの逆数１／ｒであり、量子化情報が第２の量子化方法を示す場合距離ｒであり、量子化情報が第３の量子化方法を示す場合距離ｒ´の逆数１／ｒ´である。逆量子化部２０４は、２視点のデプス画像の各画素の距離情報を再構成部２０５に供給する。
再構成部２０５は、２視点のテクスチャ画像およびデプス画像の各画素の距離情報を用いて、３Ｄモデル座標系に主要な被写体の３次元構造を再構成する。上述したように、生成装置１２で生成される２視点のテクスチャ画像およびデプス画像は、ポリゴンの表面を透視投影することにより生成される場合に比べて、より多くの領域の主要な被写体のポリゴンの３次元構造を表現することができる。従って、復号された２視点のテクスチャ画像およびデプス画像を用いて３次元構造が再構成される主要な被写体の領域は、２視点のテクスチャ画像とデプス画像がポリゴンの表面を透視投影することにより生成される場合に比べて多い。
また、再構成部２０５は、デコーダ２０３から供給される全天球画像のテクスチャ画像とデプス画像を用いて、３Ｄモデル座標系に背景領域の３次元構造を再構成する。再構成部２０５は、主要な被写体と背景領域の３次元構造の位置情報とカラー情報を描画部２０６に供給する。
描画部２０６（画像生成部）は、再構成部２０５から供給される主要な被写体と背景領域の３次元構造の位置情報とカラー情報に基づいて、視聴者等により指定された３Ｄモデル座標系における視点、視線方向、および画角のテクスチャ画像を表示画像として生成する。描画部２０６は、生成された表示画像を表示部２０７に供給する。
表示部２０７は、描画部２０６から供給される表示画像を表示する。これにより、視聴者は、例えば、主要な被写体の周囲の任意の位置から主要な被写体を見ることができる。
選択部２０８には、視聴者等により指定された３Ｄモデル座標系における視点および視線方向に基づいて、視点ごとに、テクスチャ画像の奥行き方向（視線方向）と表示画像の奥行き方向のなす角度を表示変更角度として求める。選択部２０８は、視点ごとに、表示変更角度に基づいて、デプス画像の量子化方法を第１乃至第３の量子化方法から選択する。選択部２０８は、選択された量子化方法の量子化情報を生成し、逆量子化部２０４と送信部２０９に供給する。
なお、ここでは、選択部２０８において、第１乃至第３の量子化方法から、デプス画像の量子化方法を選択し、量子化が行われるとして説明を続けるが、第１乃至第３の量子化方法のうちのいずれかの量子化方法が設定されており、その設定されている量子化方法で量子化を行う量子化部とした構成とすることも可能である。
また、ここでは、視点ごとに、表示変更角度に基づいて、第１乃至第３の量子化方法から量子化方法が選択されるとして説明を続けるが、表示変更角度以外の所定の条件に基づき、量子化方法が選択されるようにしても良い。
送信部２０９は、選択部２０８から供給される量子化情報を図１の生成装置１２に送信する。
（量子化方法の選択の説明）
図１５乃至図１８は、図１４の選択部２０８による量子化方法の選択を説明する図である。
視点Ｏ１のデプス画像が第１の量子化方法で生成される場合、図１５の点線で示すように、デプス画像の画素値としてとり得る値のうちの所定の間隔の値に対応する画角内の位置を示す等画素値線は、視点Ｏ１を中心とした円の円弧である。また、第１の量子化方法では、距離ｒの逆数1/rが量子化されるため、等画素値線の間隔は、視点Ｏ１に近いほど狭い。
従って、視点ＶＯ１の表示画像の奥行き方向Ｖｚと、視点Ｏ１のテクスチャ画像の奥行き方向ｚのなす表示変更角度が、図１５に示すように０度付近（図１５の例では０度）である場合、即ち奥行き方向Ｖｚと奥行き方向ｚが近い場合、視点ＶＯ１に近いほど等画素値線の間隔は狭くなる。即ち、表示画像において、視点ＶＯ１に近く目立つ被写体ほど、デプス画像の量子化ステップが細かくなる。その結果、表示画像の画質を向上させることができる。
表示変更角度が３６０度付近である場合も、０度付近である場合と同様に、奥行き方向Ｖｚと奥行き方向ｚが近いため、第１の量子化方法でデプス画像を生成することにより、表示画像の画質を向上させることができる。よって、選択部２０８は、図１８に示すように、表示変更角度が０度以上φ１（０＜φ１＜９０）（第１の閾値）度未満であるか、または、φ４（２７０＜φ４＜３６０）(第２の閾値)度以上３６０度未満である場合、第１の量子化方法を選択する。
これに対して、視点Ｏ１のデプス画像が第３の量子化方法で生成される場合、図１６の点線で示すように、等画素値線は、視点Ｏ１と原点Ｏに対して対向する視点Ｏ２を中心とした円の円弧である。また、第３の量子化方法では、距離ｒ´の逆数1/r´が量子化されるため、等画素値線の間隔は、視点Ｏ２に近いほど、即ち視点Ｏ１から遠いほど狭い。
従って、視点ＶＯ１の表示画像の奥行き方向Ｖｚと、視点Ｏ１のデプス画像の奥行き方向ｚのなす表示変更角度が、図１６に示すように１８０度付近（図１５の例では１８０度）である場合、即ち奥行き方向Ｖｚと奥行き方向ｚの逆方向が近い場合、視点ＶＯ１に近いほど等画素値線の間隔は狭くなる。即ち、表示画像において、視点ＶＯ１に近く目立つ被写体ほど、デプス画像の量子化ステップが細かくなる。その結果、表示画像の画質を向上させることができる。
従って、選択部２０８は、図１８に示すように、表示変更角度がφ２（９０＜φ２＜１８０）(第３の閾値)度以上φ３（１８０＜φ３＜２７０）(第４の閾値)度未満である場合、第３の量子化方法を選択する。
視点Ｏ１のデプス画像が第２の量子化方法で生成される場合、図１７の点線で示すように、等画素値線は、視点Ｏ１を中心とした円の円弧である。また、第２の量子化方法では、距離ｒが量子化されるため、等画素値線の間隔は等間隔である。
従って、視点ＶＯ１の表示画像の奥行き方向Ｖｚと、視点Ｏ１のデプス画像の奥行き方向ｚのなす表示変更角度が、図１７に示すように２７０度付近である場合、または、９０度付近である場合、即ち奥行き方向Ｖｚが奥行き方向ｚの順方向および逆方向のいずれにも近くない場合、選択部２０８は第２の量子化方法を選択する。即ち、第１または第３の量子化方法の優位性がない場合、選択部２０８は、第２の量子化方法を選択する。具体的には、図１８に示すように、選択部２０８は、表示変更角度がφ１度以上φ２度未満であるか、または、φ３度以上φ４度未満である場合、第２の量子化方法を選択する。
以上のようにして選択部２０８が第１乃至第３の量子化方法を選択することにより、表示画像において、視点ＶＯ１に近いほど量子化ステップが荒くなることを防止することができる。
（第１の再構成方法の説明）
図１９は、第１の再構成方法を説明する図である。
なお、図１９の例では、説明の便宜上、２視点のテクスチャ画像およびデプス画像の解像度が、４（横）×４(縦)画素であるものとする。また、図１９では、２視点のうちの１つの視点Ｏ１のテクスチャ画像とデプス画像を用いて主要な被写体の３次元構造を再構成する場合について説明する。
第１の再構成方法は、ポイントクラウドを用いて３次元構造を再構成する方法である。具体的には、図１９に示すように、第１の再構成方法では、再構成部２０５は、視点Ｏ１、視線方向Ｖ１、画角２θ、視点Ｏ１のテクスチャ画像２２０の各画素２２１に対応するサンプリング点２３１のテクスチャ画像２２０上の位置(u,v)、および、テクスチャ画像２２０に対応するデプス画像の各画素２２１の画素値に基づいて、サンプリング点２３１の３Ｄモデル座標系における３次元座標（X,Y,Z）を生成する。
また、再構成部２０５は、テクスチャ画像２２０の各画素２２１の画素値であるYCbCr値をRGB値に変換し、各画素２２１に対応するサンプリング点２３１のRGB値とする。再構成部２０５は、各サンプリング点２３１の３次元座標(X,Y,Z)に、そのサンプリング点２３１のRGB値の点を描画することにより、主要な被写体の３次元構造を再構成する。再構成部２０５は、各サンプリング点２３１の３次元座標(X,Y,Z)を主要な被写体の３次元構造の位置情報として描画部２０６に供給するとともに、各サンプリング点２３１のRGB値を主要な被写体の３次元構造のカラー情報として描画部２０６に供給する。
（第２の再構成方法の説明）
図２０は、第２の再構成方法を説明する図である。
なお、図２０の例では、説明の便宜上、２視点のテクスチャ画像およびデプス画像の解像度が、４（横）×３（縦）画素であるものとする。また、図２０では、２視点のうちの１つの視点Ｏ１のテクスチャ画像とデプス画像を用いて主要な被写体の３次元構造を再構成する場合について説明する。
第２の再構成方法は、三角形パッチを用いて３次元構造を再構成する方法である。具体的には、図２０の左側に示すように、第２の再構成方法では、再構成部２０５は、視点Ｏ１のテクスチャ画像２４０上に各画素２４１に対応するサンプリング点２５１を生成する。再構成部２０５は、テクスチャ画像２４０の全ての画素に対応するサンプリング点２５１のうちの、隣接する３つのサンプリング点２５１どうしを接続することにより、隣接する３つのサンプリング点２５１を頂点とする三角形パッチ２５２を生成する。
そして、再構成部２０５は、視点Ｏ１、視線方向Ｖ１、画角２θ、各サンプリング点２５１のテクスチャ画像２４０上の位置(u,v)、および、テクスチャ画像２４０に対応するデプス画像の各画素２４１の画素値に基づいて、各サンプリング点２５１に対応する３Ｄモデル座標系の３次元座標（X,Y,Z）を生成する。
そして、再構成部２０５は、図２０の右側に示すように、各サンプリング点２５１の３次元座標（X,Y,Z）に基づいて、各サンプリング点２５１に対応する各サンプリング点２６１を３Ｄモデル座標系に配置する。また、再構成部２０５は、三角形パッチ２５２の頂点を構成する３つのサンプリング点２５１に対応するサンプリング点２６１を接続することにより、三角形パッチ２６２を生成する。
また、再構成部２０５は、三角形パッチ２６２ごとに、三角形パッチ２６２に対応する三角形パッチ２５２を構成する画素２４１のYCbCr値をRGB値に変換し、そのRGB値を用いて三角形パッチ２６２のRGB値を生成する。再構成部２０５は、三角形パッチ２６２ごとに、三角形パッチ２６２のRGB値のテクスチャを三角形パッチ２６２に貼り付ける。これにより、再構成部２０５は、主要な被写体の３次元構造を再構成する。再構成部２０５は、各三角形パッチ２６２の頂点となるサンプリング点２６１の３次元座標(X,Y,Z)を主要な被写体の３次元構造の位置情報として描画部２０６に供給する。また、再構成部２０５は、各三角形パッチ２６２のRGB値を主要な被写体の３次元構造のカラー情報として描画部２０６に供給する。
図１９および図２０では、視点Ｏ１のテクスチャ画像とデプス画像から主要な被写体の３次元構造を再構成する方法について説明したが、視点Ｏ２のテクスチャ画像とデプス画像から主要な被写体の３次元構造を再構成する方法および全天球画像のテクスチャ画像とデプス画像から背景領域の３次元構造を再構成する方法についても同様である。
（表示装置の処理の説明）
図２１は、図１４の表示装置２００の表示処理を説明するフローチャートである。この表示処理は、例えば、視聴者により表示画像の表示が要求されたとき、開始される。
図２１のステップＳ３０において、表示装置２００の選択部２０８は、量子化情報を生成し、送信する量子化情報生成処理を行う。この量子化情報生成処理の詳細は、後述する図２２を参照して説明する。
ステップＳ３１において、受信部２０１は、量子化情報に応じて図１の生成装置１２から送信されてくる２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを受信し、記憶部２０２に供給して記憶させる。
ステップＳ３２において、デコーダ２０３は、記憶部２０２から２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、復号する。デコーダ２０３は、復号の結果得られる２視点のテクスチャ画像およびデプス画像、並びに、全天球画像のテクスチャ画像およびデプス画像を再構成部２０５に供給する。また、デコーダ２０３は、復号の結果得られる２視点のデプス画像を逆量子化部２０４に供給する。
ステップＳ３３において、逆量子化部２０４は、視点ごとに、選択部２０８から供給される量子化情報が示す量子化方法に対応する逆量子化方法で、デコーダ２０３から供給されるデプス画像を逆量子化し、各画素の距離情報を生成する。逆量子化部２０４は、各視点のデプス画像の各画素の距離情報を再構成部２０５に供給する。
ステップＳ３４において、再構成部２０５は、２視点のテクスチャ画像およびデプス画像の各画素の距離情報を用いて、３Ｄモデル座標系に主要な被写体の３次元構造を再構成する。再構成部２０５は、主要な被写体の３次元構造の位置情報とカラー情報を描画部２０６に供給する。
ステップＳ３５において、再構成部２０５は、デコーダ２０３から供給される全天球画像のテクスチャ画像とデプス画像を用いて、３Ｄモデル座標系に背景領域の３次元構造を再構成する。再構成部２０５は、背景領域の３次元構造の位置情報とカラー情報を描画部２０６に供給する。
ステップＳ３６において、描画部２０６は、再構成部２０５から供給される主要な被写体と背景領域の３次元構造の位置情報とカラー情報に基づいて、視聴者等により指定された３Ｄモデル座標系における視点、視線方向、および画角のテクスチャ画像を表示画像として生成する。描画部２０６は、生成された表示画像を表示部２０７に供給する。
ステップＳ３７において、表示部２０７は、描画部２０６から供給される表示画像を表示し、処理を終了する。
図２２は、図２１のステップＳ３０の量子化情報生成処理を説明するフローチャートである。この量子化情報生成処理は、視点ごとに行われる。
図２２のステップＳ５１において、選択部２０８には、視聴者等により指定された３Ｄモデル座標系における視点および視線方向に基づいて、表示変更角度を求める。
ステップＳ５２において、選択部２０８は、表示変更角度が、０度以上φ１度未満であるか、または、φ４度以上３６０度未満であるかどうかを判定する。ステップＳ５２で、表示変更角度が、０度以上φ１度未満であるか、または、φ４度以上３６０度未満であると判定された場合、処理はステップＳ５３に進む。
ステップＳ５３において、選択部２０８は、第１の量子化方法を選択し、第１の量子化方法の量子化情報を生成して、送信部２０９に供給する。そして、処理はステップＳ５７に進む。
一方、ステップＳ５２で、表示変更角度が、０度以上φ１度未満ではなく、かつ、φ４度以上３６０度未満ではないと判定された場合、処理は、ステップＳ５４に進む。
ステップＳ５４において、選択部２０８は、表示変更角度が、φ１度以上φ２度未満であるか、または、φ３度以上φ４度未満であるかどうかを判定する。ステップＳ５４で表示変更角度が、φ１度以上φ２度未満であるか、または、φ３度以上φ４度未満であると判定された場合、処理はステップＳ５５に進む。
ステップＳ５５において、選択部２０８は、第２の量子化方法を選択し、第２の量子化方法の量子化情報を生成して、送信部２０９に供給する。そして、処理はステップＳ５７に進む。
一方、ステップＳ５４で、表示変更角度が、φ１度以上φ２度未満ではなく、かつ、φ３度以上φ４度未満ではないと判定された場合、即ち、表示変更角度がφ２度以上φ３度未満である場合、処理はステップＳ５６に進む。
ステップＳ５６において、選択部２０８は、第３の量子化方法を選択し、第３の量子化方法の量子化情報を生成して、送信部２０９に供給する。そして、処理はステップＳ５７に進む。
ステップＳ５７において、送信部２０９は、選択部２０８から供給される量子化情報を図１の生成装置１２に送信する。そして、処理は図２１のステップＳ３０に戻り、ステップＳ３１に進む。
以上のように、表示装置２００は、生成装置１２により生成された２視点のテクスチャ画像とデプス画像を用いて表示画像を生成する。従って、２視点のそれぞれに対してポリゴンの表面を透視投影することにより生成された２視点のテクスチャ画像とデプス画像を用いる場合に比べて、より多くの領域の主要な被写体の３次元構造を再構成し、その３次元構造から表示画像を生成することができる。その結果、表示画像の画質が向上する。
また、表示装置２００は、第１乃至第３の量子化方法から、各視点のデプス画像の量子化方法を選択する。従って、表示装置２００は、例えば、第１乃至第３の量子化方法のうちの表示画像の生成に適した量子化方法で生成されたデプス画像を用いて表示画像を生成することができる。その結果、表示画像の画質が向上する。
＜テクスチャ画像の他の例＞
図２３は、テクスチャ画像の他の例を示す図である。
上述した説明では、テクスチャ画像は、１つの視点のテクスチャ画像であったが、その視点に対応する左目用の視点と右目用の視点のテクスチャ画像が合成されたものであってもよい。
具体的には、図２３のＡに示すように、テクスチャ画像は、例えば、１つの視点に対応する左目用の視点のテクスチャ画像４２１と右目用の視点のテクスチャ画像４２２が、横方向（水平方向）にパッキングされたパッキング画像４２０であってもよい。
また、図２３のＢに示すように、テクスチャ画像は、例えば、テクスチャ画像４２１とテクスチャ画像４２２が、縦方向（垂直方向）にパッキングされたパッキング画像４４０であってもよい。
以上のように、テクスチャ画像が左目用の視点と右目用の視点の画像をパッキングしたテクスチャ画像である場合、復号の結果得られるテクスチャ画像が、左目用の視点のテクスチャ画像と右目用の視点のテクスチャ画像に分離される。そして、目ごとに３次元構造が生成される。
そして、視聴者等により指定された視点に対応する左目の視点、視線方向、および画角に基づいて、左目用の３次元構造から左目用の表示画像が生成される。また、視聴者等により指定された視点に対応する右目の視点、視線方向、および画角に基づいて、右目用の３次元構造から右目用の表示画像が生成される。
表示部２０７が３Ｄ表示可能である場合、表示部２０７は、左目用の表示画像を左目用の画像として表示し、右目用の表示画像を右目用の画像として表示することにより、表示画像を３Ｄ表示する。一方、表示部２０７が３Ｄ表示可能ではない場合、表示部２０７は、左目用の表示画像または右目用の表示画像を２Ｄ表示する。
なお、第１実施の形態では、視点の数は２個であったが、視点の数は２個に限定されない。また、２視点は互いに対向していなくてもよい。視線方向は、視点から原点以外の位置に向かう方向であってもよい。
また、表示装置２００は、生成装置１２に量子化情報を送信せず、第１乃至第３の量子化方法の視点デプスストリームを生成装置１２から受信して記憶部２０２に記憶させるようにしてもよい。この場合、表示装置２００は、量子化情報に基づいて、記憶部２０２に記憶されている第１乃至第３の量子化方法の視点デプスストリームのうちの、量子化情報が示す量子化方法の視点デプスストリームのみを読み出し、復号する。
さらに、上述した説明では、表示装置２００は、表示変更角度に基づいて量子化方法を選択したが、表示装置２００の処理負荷を抑制する場合には、表示変更角度によらず、第２の量子化方法を選択するようにしてもよい。また、量子化方法の選択は、表示変更角度以外の情報に基づいて行われるようにしてもよい。例えば、主要な被写体の動きの有無に基づいて、量子化方法を選択するようにしてもよい。
また、第１および第２の量子化方法において、距離ｒの代わりに、視点と各画素におけるポリゴンの奥行き方向の距離を用い、第３の量子化方法において、距離ｒ´の代わりに、視点と２視点を構成する他の視点と各画素におけるポリゴンの奥行き方向の距離を用いるようにしてもよい。
＜第２実施の形態＞
本開示を適用した配信システムの第２実施の形態の構成は、透視投影の代わりにtan軸投影（詳細は後述する）が行われる点を除いて、上記した例えば、図１の生成装置１２の構成や、図１４に示した表示装置２００と同一である。従って、以下では、tan軸投影についてのみ説明する。
（投影面の座標系の説明）
図２４は、投影面の座標系を説明する図である。
なお、第３実施の形態では、投影面は、生成装置１２が、高解像度画像を生成する際、球にマッピングされた全天球画像をtan軸投影する２次元平面、または、表示装置２００が、表示画像を生成する際、３Dモデル画像をtan軸投影する視野範囲である。
図２４の例では、３Ｄモデルの３次元のxyz座標系において、ｚが-1.0である投影面４５１が設定されている。この場合、投影面４５１の中心Ｏ´を原点とし、投影面４５１の水平方向をｓ方向とし、垂直方向をｔ方向とする２次元のst座標系が、投影面４５１の座標系となる。
なお、以下では、xyz座標系の原点Ｏからst座標系の座標(s,t)に向かうベクトル４５２を、座標(s,t)と、原点Ｏから投影面４５１までの距離である-1.0とを用いて、ベクトル(s,t,-1.0)という。
（tan軸投影の説明）
図２５は、tan軸投影（正接軸投影）を説明する図である。
図２５は、投影面４５１をｚの負方向に見た図である。図２５の例では、st座標系において、投影面４５１のｓ値およびｔ値の最小値は-1.0であり、最大値は1.0である。
この場合、透視投影では、原点Ｏから投影面４５１上の投影点に向かう投影ベクトルがベクトル（s´,t´-1.0）となるように、投影面４５１上に投影点が設定される。なお、ｓ´は、-1.0から1.0までのｓ値の範囲に設けられた所定の間隔ごとの値であり、ｔ´は-1.0から1.0までのｔ値の範囲に設けられた所定の間隔ごとの値である。従って、透視投影における投影点は、投影面４５１上で均一である。
これに対して、投影面４５１の画角をθｗ（図２５の例ではπ／２）とすると、tan軸投影では、投影ベクトルがベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)となるように、投影面４５１上に投影点が設定される。
具体的には、ベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)は、s´*θｗ/2をθとし、t´*θｗ/2をφとすると、ベクトル(tanθ，tanφ，-1.0)になる。このとき、画角θｗがπに近付くと、tanθやtanφは無限大に発散する。従って、tanθやtanφが無限大に発散しないように、ベクトル(tanθ，tanφ，-1.0)が、ベクトル(sinθ*cosφ, cosθ*sinφ, -cosθ*cosφ)に補正され、投影ベクトルがベクトル(sinθ*cosφ, cosθ*sinφ, -cosθ*cosφ)となるように、投影面４５１上に投影点が設定される。従って、tan軸投影では、隣り合う投影点に対応する投影ベクトルどうしがなす角が同一になる。
なお、対数軸（ログスケール）と同様に、tan(s´*θｗ/2), tan(t´*θｗ/2)は、tan軸のs´,t´であると捉えられる。従って、本明細書では、投影ベクトルがベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)となる投影を、tan軸投影と称している。
＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
以上のように構成されるコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ５００では、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータ５００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
＜応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２７に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２７では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図２８は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２８には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図２７に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２７の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図２７に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
なお、図１乃至図２５を用いて説明した本実施形態に係る生成装置１２および表示装置２００の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム７０００において、図１乃至図２５を用いて説明した本実施形態に係る生成装置１２および表示装置２００を適用することができる。この場合、例えば、生成装置１２および表示装置２００は一体化され、マイクロコンピュータ７６１０、記憶部７６９０、および表示部７７２０に相当する。また、撮影装置１１は、撮像部７４１０に相当する。この場合、例えば、車両制御システム７０００は、２視点のテクスチャ画像とデプス画像を用いて、より多くの領域の３次元構造を表現することができる。
また、図１乃至図２５を用いて説明した生成装置１２および表示装置２００の少なくとも一部の構成要素は、図２７に示した車両制御システム７０００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１乃至図２５を用いて説明した生成装置１２および表示装置２００は、図２７に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本開示は、以下のような構成もとることができる。
（１）
ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する画像生成部と、
前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化部と
を備える画像処理装置。
（２）
前記量子化部は、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化方法以外の量子化方法も備えており、所定の条件に基づいて量子化方法を切り換える、
前記（１）に記載の画像処理装置。
（３）
前記量子化部は、各視点の前記デプス画像の量子化方法を、前記デプス画像に対応する視点と各画素における前記ポリゴンとの距離の逆数を量子化する第１の量子化方法、前記距離を量子化する第２の量子化方法、および、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する第３の量子化方法を備える
前記（１）に記載の画像処理装置。
（４）
前記第１および第２の量子化方法に対応する距離は、前記デプス画像に対応する視点と各画素における前記ポリゴンを結ぶ直線の距離であり、
前記第３の量子化方法に対応する距離は、前記他の視点と各画素における前記ポリゴンとを結ぶ直線の距離である
ように構成された
前記（３）に記載の画像処理装置。
（５）
前記量子化部は、前記視点ごとに、その視点のテクスチャ画像の奥行き方向と前記所定の視点のテクスチャ画像の奥行き方向のなす角度に基づいて、前記デプス画像の量子化方法を選択する
ように構成された
前記（３）または（４）に記載の画像処理装置。
（６）
前記量子化部は、前記角度が、０度以上第１の閾値未満であるか、または、第２の閾値以上３６０度未満である場合、前記デプス画像の量子化方法として前記第１の量子化方法を選択し、
前記第１の閾値は、９０度より小さく、
前記第２の閾値は、２７０度より大きい
ように構成された
前記（５）に記載の画像処理装置。
（７）
前記量子化部は、前記角度が、前記第１の閾値以上第３の閾値未満であるか、または、第４の閾値以上前記第２の閾値未満である場合、前記デプス画像の量子化方法として前記第２の量子化方法を選択し、
前記第３の閾値は、９０度より大きく１８０度より小さい
前記第４の閾値は、１８０度より大きく２７０度より小さい
ように構成された
前記（６）に記載の画像処理装置。
（８）
前記量子化部は、前記角度が前記第３の閾値以上前記第４の閾値未満である場合、前記デプス画像の量子化方法として前記第３の量子化方法を選択する
ように構成された
前記（７）に記載の画像処理装置。
（９）
前記ポリゴンは、前記ポリゴンに対応する被写体の周囲に配置され、前記被写体の少なくとも一部を撮影範囲に含む複数の撮影装置により取得された撮影画像と前記撮影画像に対応するデプス画像とを用いて生成される
ように構成された
前記（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
前記画像生成部は、前記複数の撮影装置により取得された前記撮影画像を用いて生成された全天球画像のテクスチャ画像と、前記複数の撮影装置により取得された前記撮影画像に対応するデプス画像を用いて生成された前記全天球画像のデプス画像とを用いて、前記所定の視点のテクスチャ画像を生成する
ように構成された
前記（９）に記載の画像処理装置。
（１１）
画像処理装置が、
ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する画像生成ステップと、
前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化ステップと
を含む画像処理方法。
（１２）
ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像を生成するテクスチャ画像生成部と、
各視点の前記テクスチャ画像に対応するデプス画像を、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化方法で量子化された量子化値を画素値とすることにより生成するデプス画像生成部と
を備える画像処理装置。
（１３）
前記デプス画像生成部は、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化方法以外の量子化方法も備えており、所定の条件に基づいて量子化方法を切り換える、
前記（１２）に記載の画像処理装置。
（１４）
前記デプス画像生成部は、各視点の前記デプス画像の量子化方法を、前記デプス画像に対応する視点と各画素における前記ポリゴンとの距離の逆数を量子化する第１の量子化方法、前記距離を量子化する第２の量子化方法、および、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する第３の量子化方法を備える
前記（１２）に記載の画像処理装置。
（１５）
前記第１および第２の量子化方法に対応する距離は、前記デプス画像に対応する視点と各画素における前記ポリゴンを結ぶ直線の距離であり、
前記第３の量子化方法に対応する距離は、前記他の視点と各画素における前記ポリゴンとを結ぶ直線の距離である
ように構成された
前記（１４）に記載の画像処理装置。
（１６）
前記テクスチャ画像生成部により生成された前記２視点のテクスチャ画像と、前記デプス画像生成部により生成された前記２視点のデプス画像とを送信する送信部
をさらに備える
前記（１４）または（１５）に記載の画像処理装置。
（１７）
前記デプス画像生成部は、前記第１乃至第３の量子化方法のそれぞれで前記２視点のデプス画像を生成し、
前記送信部は、前記デプス画像生成部により前記第１乃至第３の量子化方法のいずれかで生成された前記２視点のデプス画像を送信する
ように構成された
前記（１６）に記載の画像処理装置。
（１８）
前記ポリゴンに対応する被写体の周囲に配置され、前記被写体の少なくとも一部を撮影範囲に含む複数の撮影装置により取得された撮影画像と、前記撮影画像に対応するデプス画像とを用いて、前記ポリゴンを生成するポリゴン生成部
をさらに備える
前記（１２）乃至（１７）のいずれかに記載の画像処理装置。
（１９）
前記複数の撮影装置により取得された前記撮影画像を用いて、全天球画像のテクスチャ画像を生成し、前記複数の撮影装置により取得された前記撮影画像に対応するデプス画像を用いて、前記全天球画像のデプス画像を生成する全天球画像生成部
をさらに備える
前記（１８）に記載の画像処理装置。
（２０）
画像処理装置が、
ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像を生成するテクスチャ画像生成ステップと、
各視点の前記テクスチャ画像に対応するデプス画像を、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化方法で量子化された量子化値を画素値とすることにより生成するデプス画像生成ステップと
を含む画像処理方法。
１１−１乃至１１−Ｎ 撮影装置, １２ 生成装置, ３４ ポリゴン生成部, ３６ 全天球画像生成部, ４０ 送信部, ６１ 被写体, ７１ テクスチャ画像生成部, ７４ １／ｒ量子化部, ７５ 等間隔量子化部, ７６ 逆１／ｒ量子化部, ８１ 球, ２００ 表示装置, ２０６ 描画部, ２０８ 選択部

Claims (20)

  1. ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する画像生成部と、
    前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化部と
    を備える画像処理装置。
  2. 前記量子化部は、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化方法以外の量子化方法も備えており、所定の条件に基づいて量子化方法を切り換える、
    請求項１に記載の画像処理装置。
  3. 前記量子化部は、各視点の前記デプス画像の量子化方法を、前記デプス画像に対応する視点と各画素における前記ポリゴンとの距離の逆数を量子化する第１の量子化方法、前記距離を量子化する第２の量子化方法、および、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する第３の量子化方法を備える
    請求項１に記載の画像処理装置。
  4. 前記第１および第２の量子化方法に対応する距離は、前記デプス画像に対応する視点と各画素における前記ポリゴンを結ぶ直線の距離であり、
    前記第３の量子化方法に対応する距離は、前記他の視点と各画素における前記ポリゴンとを結ぶ直線の距離である
    ように構成された
    請求項３に記載の画像処理装置。
  5. 前記量子化部は、前記視点ごとに、その視点のテクスチャ画像の奥行き方向と前記所定の視点のテクスチャ画像の奥行き方向のなす角度に基づいて、前記デプス画像の量子化方法を選択する
    ように構成された
    請求項３に記載の画像処理装置。
  6. 前記量子化部は、前記角度が、０度以上第１の閾値未満であるか、または、第２の閾値以上３６０度未満である場合、前記デプス画像の量子化方法として前記第１の量子化方法を選択し、
    前記第１の閾値は、９０度より小さく、
    前記第２の閾値は、２７０度より大きい
    ように構成された
    請求項５に記載の画像処理装置。
  7. 前記量子化部は、前記角度が、前記第１の閾値以上第３の閾値未満であるか、または、第４の閾値以上前記第２の閾値未満である場合、前記デプス画像の量子化方法として前記第２の量子化方法を選択し、
    前記第３の閾値は、９０度より大きく１８０度より小さい
    前記第４の閾値は、１８０度より大きく２７０度より小さい
    ように構成された
    請求項６に記載の画像処理装置。
  8. 前記量子化部は、前記角度が前記第３の閾値以上前記第４の閾値未満である場合、前記デプス画像の量子化方法として前記第３の量子化方法を選択する
    ように構成された
    請求項７に記載の画像処理装置。
  9. 前記ポリゴンは、前記ポリゴンに対応する被写体の周囲に配置され、前記被写体の少なくとも一部を撮影範囲に含む複数の撮影装置により取得された撮影画像と前記撮影画像に対応するデプス画像とを用いて生成される
    ように構成された
    請求項１に記載の画像処理装置。
  10. 前記画像生成部は、前記複数の撮影装置により取得された前記撮影画像を用いて生成された全天球画像のテクスチャ画像と、前記複数の撮影装置により取得された前記撮影画像に対応するデプス画像を用いて生成された前記全天球画像のデプス画像とを用いて、前記所定の視点のテクスチャ画像を生成する
    ように構成された
    請求項９に記載の画像処理装置。
  11. 画像処理装置が、
    ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する画像生成ステップと、
    前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化ステップと
    を含む画像処理方法。
  12. ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像を生成するテクスチャ画像生成部と、
    各視点の前記テクスチャ画像に対応するデプス画像を、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化方法で量子化された量子化値を画素値とすることにより生成するデプス画像生成部と
    を備える画像処理装置。
  13. 前記デプス画像生成部は、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化方法以外の量子化方法も備えており、所定の条件に基づいて量子化方法を切り換える、
    請求項１２に記載の画像処理装置。
  14. 前記デプス画像生成部は、各視点の前記デプス画像の量子化方法を、前記デプス画像に対応する視点と各画素における前記ポリゴンとの距離の逆数を量子化する第１の量子化方法、前記距離を量子化する第２の量子化方法、および、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する第３の量子化方法を備える
    請求項１２に記載の画像処理装置。
  15. 前記第１および第２の量子化方法に対応する距離は、前記デプス画像に対応する視点と各画素における前記ポリゴンを結ぶ直線の距離であり、
    前記第３の量子化方法に対応する距離は、前記他の視点と各画素における前記ポリゴンとを結ぶ直線の距離である
    ように構成された
    請求項１４に記載の画像処理装置。
  16. 前記テクスチャ画像生成部により生成された前記２視点のテクスチャ画像と、前記デプス画像生成部により生成された前記２視点のデプス画像とを送信する送信部
    をさらに備える
    請求項１４に記載の画像処理装置。
  17. 前記デプス画像生成部は、前記第１乃至第３の量子化方法のそれぞれで前記２視点のデプス画像を生成し、
    前記送信部は、前記デプス画像生成部により前記第１乃至第３の量子化方法のいずれかで生成された前記２視点のデプス画像を送信する
    ように構成された
    請求項１６に記載の画像処理装置。
  18. 前記ポリゴンに対応する被写体の周囲に配置され、前記被写体の少なくとも一部を撮影範囲に含む複数の撮影装置により取得された撮影画像と、前記撮影画像に対応するデプス画像とを用いて、前記ポリゴンを生成するポリゴン生成部
    をさらに備える
    請求項１２に記載の画像処理装置。
  19. 前記複数の撮影装置により取得された前記撮影画像を用いて、全天球画像のテクスチャ画像を生成し、前記複数の撮影装置により取得された前記撮影画像に対応するデプス画像を用いて、前記全天球画像のデプス画像を生成する全天球画像生成部
    をさらに備える
    請求項１８に記載の画像処理装置。
  20. 画像処理装置が、
    ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像を生成するテクスチャ画像生成ステップと、
    各視点の前記テクスチャ画像に対応するデプス画像を、前記デプス画像に対応する視点と前記２視点を構成する他の視点と各画素における前記ポリゴンとの距離の逆数を量子化する量子化方法で量子化された量子化値を画素値とすることにより生成するデプス画像生成ステップと
    を含む画像処理方法。
JP2018532930A 2016-08-10 2017-07-27 画像処理装置および画像処理方法 Active JP6743893B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016157197 2016-08-10
JP2016157197 2016-08-10
PCT/JP2017/027263 WO2018030168A1 (ja) 2016-08-10 2017-07-27 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2018030168A1 JPWO2018030168A1 (ja) 2019-06-06
JP6743893B2 true JP6743893B2 (ja) 2020-08-19

Family

ID=61162983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018532930A Active JP6743893B2 (ja) 2016-08-10 2017-07-27 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US11069120B2 (ja)
JP (1) JP6743893B2 (ja)
CN (1) CN109564696B (ja)
WO (1) WO2018030168A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2019021302A1 (en) * 2017-07-24 2019-01-31 Karthikeyan THANGARAJ METHOD FOR REPRESENTING SHAPE DATA AND COLOR OF 3D OBJECTS
CN109697688B (zh) 2017-10-20 2023-08-04 虹软科技股份有限公司 一种用于图像处理的方法和装置
US11166080B2 (en) 2017-12-21 2021-11-02 Facebook, Inc. Systems and methods for presenting content
US10965928B2 (en) * 2018-07-31 2021-03-30 Lg Electronics Inc. Method for 360 video processing based on multiple viewpoints and apparatus therefor
US10818071B1 (en) * 2019-07-26 2020-10-27 Google Llc Image-based geometric fusion of multiple depth images using ray casting
CN113963094A (zh) * 2020-07-03 2022-01-21 阿里巴巴集团控股有限公司 深度图及视频处理、重建方法、装置、设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5798762A (en) * 1995-05-10 1998-08-25 Cagent Technologies, Inc. Controlling a real-time rendering engine using a list-based control mechanism
CN100573595C (zh) * 2003-06-20 2009-12-23 日本电信电话株式会社 虚拟视点图像生成方法和三维图像显示方法及装置
CN100520829C (zh) * 2007-06-22 2009-07-29 腾讯科技（深圳）有限公司 水刻蚀的实现方法及渲染装置
CN102055982B (zh) * 2011-01-13 2012-06-27 浙江大学 三维视频编解码方法及装置
JP2014140089A (ja) * 2011-05-10 2014-07-31 Sharp Corp 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
US9208571B2 (en) * 2011-06-06 2015-12-08 Microsoft Technology Licensing, Llc Object digitization
JP5807569B2 (ja) * 2012-01-31 2015-11-10 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
JP6016061B2 (ja) 2012-04-20 2016-10-26 Ｎｌｔテクノロジー株式会社 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
US20140085415A1 (en) * 2012-09-27 2014-03-27 Nokia Corporation Method and apparatus for video coding

Also Published As

Publication number Publication date
CN109564696B (zh) 2022-11-29
JPWO2018030168A1 (ja) 2019-06-06
CN109564696A (zh) 2019-04-02
WO2018030168A1 (ja) 2018-02-15
US20190236795A1 (en) 2019-08-01
US11069120B2 (en) 2021-07-20

Similar Documents

Publication Publication Date Title
JP6977720B2 (ja) 生成装置および生成方法、並びに、再生装置および再生方法
JP7127539B2 (ja) 画像処理装置および画像処理方法
JP6743893B2 (ja) 画像処理装置および画像処理方法
WO2018150933A1 (ja) 画像処理装置および画像処理方法
WO2018021067A1 (ja) 画像処理装置および画像処理方法
WO2018021069A1 (ja) 画像処理装置および画像処理方法
WO2018147123A1 (ja) 画像処理装置および画像処理方法
WO2018074252A1 (ja) 画像処理装置および画像処理方法
JP6944138B2 (ja) 画像処理装置および画像処理方法
WO2018021070A1 (ja) 画像処理装置および画像処理方法
WO2018079260A1 (ja) 画像処理装置および画像処理方法
JP7095697B2 (ja) 生成装置および生成方法、並びに、再生装置および再生方法
WO2018021064A1 (ja) 画像処理装置および画像処理方法
JP6930541B2 (ja) 画像処理装置および画像処理方法
JP6743894B2 (ja) 画像処理装置および画像処理方法
JP6977725B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200713

R151 Written notification of patent or utility model registration

Ref document number: 6743893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151