JP6743894B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本開示は、画像処理装置および画像処理方法に関し、特に、２視点のテクスチャ画像とデプス画像を用いて、より多くの領域の３次元構造を表現することができるようにした画像処理装置および画像処理方法に関する。

物体の３次元構造を表現する手法としては、主に、物体のポリゴン（３Ｄメッシュ）と、そのポリゴンに貼り付けるテクスチャとを用いて表現する手法と、複数の視点に対して物体を透視投影することにより得られるテクスチャ画像とデプス画像を用いて表現する手法が挙げられる。前者の手法は、一般的なＣＧ（Computer Graphics）技術で用いられる手法である。後者の手法（以下、２Ｄデプス手法という）は、被写体を透視投影することにより得られる画像である撮影画像との親和性が高い。

２Ｄデプス手法で物体の３次元構造が表現される場合、３次元構造を表現するデータは、MPEG MVD（Moving Picture Experts Group phase Multi-view+depth）等の符号化方式を用いて符号化される（例えば、非特許文献１参照）。

妹尾孝憲、山本健詞、大井隆太朗、栗田泰市郎「MPEG多視点映像符号化の標準化活動」情報通信研究機構季報Vol.56 Nos.1/2、２０１０年３月発行

以上のように、２Ｄデプス手法は、複数の視点に対して物体を透視投影することにより得られるテクスチャ画像（２次元画像）と、そのテクスチャ画像に対応するデプス画像とを用いて、物体の３次元構造を表現する手法である。従って、物体の透視投影されない領域の３次元構造については表現することができない。

よって、透視投影する視点の数を増加させ、透視投影される領域を増加させることにより、より多くの領域の３次元構造を表現することができる。しかしながら、透視投影する視点の数が多いほど、３次元構造を表現するために必要なデータ量は増加する。

本開示は、このような状況に鑑みてなされたものであり、２視点のテクスチャ画像とデプス画像を用いて、より多くの領域の３次元構造を表現することができるようにするものである。

本開示の第１の側面の画像処理装置は、ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する画像生成部を備える画像処理装置である。

本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。

本開示の第１の側面においては、ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像が生成される。

本開示の第２の側面の画像処理装置は、ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像を生成し、各視点の前記テクスチャ画像に対応するデプス画像を生成する画像生成部を備える画像処理装置である。

本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。

本開示の第２の側面においては、ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像が生成され、各視点の前記テクスチャ画像に対応するデプス画像が生成される。

なお、本開示の第１の側面および第２の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、本開示の第１の側面および第２の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本開示の第１の側面によれば、画像を生成することができる。本開示の第１の側面によれば、より多くの領域の３次元構造を表現する２視点のテクスチャ画像とデプス画像を用いて画像を生成することができる。

また、本開示の第２の側面によれば、画像を生成することができる。本開示の第２の側面によれば、２視点のテクスチャ画像とデプス画像を用いて、より多くの領域の３次元構造を表現することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示を適用した画像処理装置としての生成装置の第１実施の形態の構成例を示すブロック図である。 撮影装置の配置例を示す図である。 各ポリゴンの表面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 各ポリゴンの表面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 各ポリゴンの表面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 球の裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 球の裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 各ポリゴンの裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 各ポリゴンの裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 各ポリゴンの裏面を透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。 図１の生成装置の生成処理を説明するフローチャートである。 本開示を適用した画像処置装置としての表示装置の第１実施の形態の構成例を示すブロック図である。 第１の再構成方法を説明する図である。 第２の再構成方法を説明する図である。 図１２の表示装置の表示処理を説明するフローチャートである。 本開示を適用した画像処理装置としての生成装置の第２実施の形態の構成例を示すブロック図である。 ２視点と３次元構造を表現可能な領域の関係を説明する図である。 ２視点と３次元構造を表現可能な領域の関係を説明する図である。 ２視点のペアの候補の第１の決定方法を説明する図である。 ２視点のペアの候補の第２の決定方法を説明する図である。 テーブルの例を示す図である。 図１６の生成装置の生成処理を説明するフローチャートである。 図１６の生成装置の生成処理を説明するフローチャートである。 テクスチャ画像の他の生成方法を説明する図である。 テクスチャ画像の他の例を示す図である。 投影面の座標系を説明する図である。 tan軸投影を説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：生成装置および表示装置（図１乃至図１５）
２．第２実施の形態：生成装置および表示装置（図１６乃至図２３）
３．テクスチャ画像の他の生成方法（図２４）
４．テクスチャ画像の他の例（図２５）
５．第３実施の形態：tan軸投影(図２６，２７)
６．第４実施の形態：コンピュータ（図２８）
７．応用例（図２９および図３０）

＜第１実施の形態＞
（生成装置の構成例）
図１は、本開示を適用した画像処理装置としての生成装置の第１実施の形態の構成例を示すブロック図である。

図１の生成装置１２は、撮影装置１１−１乃至１１−Ｎ（Ｎは２以上）により取得された撮影画像とデプス画像とを用いて、撮影画像内の主要な被写体のテクスチャ画像およびデプス画像、並びに、全天球画像のテクスチャ画像およびデプス画像を生成する。

具体的には、撮影装置１１−１乃至１１−Ｎは、主要な被写体の周囲に配置され、主要な被写体の少なくとも一部を撮影範囲に含む。撮影装置１１−１乃至１１−Ｎは、それぞれ、撮影画像カメラ２１とデプス画像カメラ２２により構成される。撮影画像カメラ２１は、被写体を撮影してフレーム単位で撮影画像を取得し、生成装置１２に供給する。デプス画像カメラ２２は、撮影画像の各画素における被写体の奥行き方向の位置をフレーム単位で取得して、その位置を表す情報を画素値とするデプス画像を生成し、生成装置１２に供給する。なお、以下では、撮影装置１１−１乃至１１−Ｎを特に区別する必要がない場合、それらをまとめて撮影装置１１という。

生成装置１２は、領域抽出部３１、位置情報生成部３２、カラー情報生成部３３、ポリゴン生成部３４、描画部３５、全天球画像生成部３６、低解像度化部３７、エンコーダ３８、記憶部３９、および送信部４０により構成される。

生成装置１２の領域抽出部３１は、Ｎ個の撮影装置１１から供給されるＮ個の撮影画像とデプス画像から、主要な被写体の領域を抽出し、位置情報生成部３２に供給する。また、領域抽出部３１は、Ｎ個の撮影画像とデプス画像から、主要な被写体の領域以外の領域を背景領域として抽出し、全天球画像生成部３６に供給する。

位置情報生成部３２は、領域抽出部３１から供給される主要な被写体の領域のＮ個のデプス画像を用いて、主要な被写体に対応する１以上のポリゴンの位置情報を生成する。ポリゴンの位置情報とは、主要な被写体の中心を原点とする３次元座標系である３Ｄモデル座標系のポリゴンの各頂点の３次元座標である。位置情報生成部３２は、各ポリゴンの位置情報をカラー情報生成部３３とポリゴン生成部３４に供給する。また、位置情報生成部３２は、主要な被写体の領域のＮ個の撮影画像をカラー情報生成部３３に供給する。

カラー情報生成部３３は、位置情報生成部３２から供給される各ポリゴンの位置情報と主要な被写体の領域のＮ個の撮影画像を用いて、各ポリゴンの表面と裏面のRGB値などのカラー情報を生成する。具体的には、カラー情報生成部３３は、各ポリゴンに対応する撮影画像の画素値を用いて、そのポリゴンの表面のカラー情報を生成する。また、カラー情報生成部３３は、各ポリゴンの表面のカラー情報を、そのポリゴンの裏面のカラー情報としても生成する。カラー情報生成部３３は、各ポリゴンの表面と裏面のカラー情報をポリゴン生成部３４に供給する。

なお、ポリゴンの表面のカラー情報は、ポリゴンの各頂点の３Ｄモデル座標系における３次元座標を、表面の法線ベクトルを軸として時計周りで記述し、その３次元座標に対応してカラー情報を記述することにより表現される。ポリゴンの裏面のカラー情報も、表面のカラー情報と同様に表現される。

ポリゴン生成部３４は、位置情報生成部３２から供給される各ポリゴンの位置情報に基づいて各ポリゴンを生成し、カラー情報生成部３３から供給される各ポリゴンの表面と裏面のカラー情報に基づいて、各ポリゴンの表面および裏面に対してテクスチャを貼り付ける。ポリゴン生成部３４は、表面および裏面に対してテクスチャが貼り付けられた各ポリゴンを描画部３５に供給する。

描画部３５（画像生成部）は、主要な被写体の１以上のポリゴンの中心である３Ｄモデル座標系の原点に対して対向する予め決められた２視点のそれぞれについて、各ポリゴンの裏面を透視投影面に透視投影することにより、２視点のテクスチャ画像を生成する。具体的には、描画部３５は、２視点のそれぞれについて、各ポリゴンの裏面を、各視点から原点に向かう視線方向の直線が中心を通る法線である透視投影面に透視投影することにより、２視点のテクスチャ画像を生成する。本明細書において、「対向する位置」とは、対向する位置そのものだけでなく、本開示の技術的効果を奏する範囲で、対向する位置の付近も含むものである。同様に、「法線」とは、法線そのものだけでなく、面に対する角度が垂直付近である線も含むものである。

なお、テクスチャ画像のフォーマットは、特に限定されないが、例えばYCbCr420フォーマットを採用することができる。描画部３５は、ポリゴンに基づいて、２視点のテクスチャ画像それぞれに対応するデプス画像を生成する。描画部３５は、２視点のテクスチャ画像とデプス画像をエンコーダ３８に供給する。

全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個の撮影画像を３Ｄモデル座標系の原点を中心とする正八面体に透視投影することにより、水平方向の周囲360度および垂直方向の周囲180度の全天球画像のテクスチャ画像を生成する。なお、全天球画像は、水平方向の周囲360度および垂直方向の周囲180度の球体の全空間の画像ではなく、本開示の技術的効果を奏すれば部分空間の画像であってもよい。全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個のデプス画像を、撮影画像と同様に正八面体に透視投影することにより、全天球画像のデプス画像を生成する。全天球画像生成部３６は、全天球画像のテクスチャ画像とデプス画像を低解像度化部３７に供給する。

低解像度化部３７は、全天球画像生成部３６から供給される全天球画像のテクスチャ画像とデプス画像を低解像度化し、エンコーダ３８に供給する。

エンコーダ３８は、描画部３５から供給される２視点のテクスチャ画像とデプス画像を符号化し、低解像度化部３７から供給される全天球画像のテクスチャ画像とデプス画像を符号化する。これらの符号化の符号化方式としては、AVC（Advanced Video Coding）方式、HEVC方式、MVD方式等を用いることができるが、ここでは、AVC方式を用いるものとする。

従って、エンコーダ３８は、符号化により、各視点のテクスチャ画像の符号化ストリーム（以下、視点テクスチャストリームという）とデプス画像の符号化ストリーム（以下、視点デプスストリームという）を生成する。また、エンコーダ３８は、符号化により、低解像度化された全天球画像のテクスチャ画像の符号化ストリーム（以下、全天球テクスチャストリームという）とデプス画像の符号化ストリーム（以下、全天球デプスストリームという）を生成する。エンコーダ３８は、２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶部３９に供給する。

記憶部３９は、エンコーダ３８から供給される２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶する。

送信部４０は、記憶部３９に記憶されている２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、送信する。

以上のように、生成装置１２は、主要な被写体の３次元構造を表現するポリゴンとカラー情報を、２視点のテクスチャ画像とデプス画像に変換する。従って、生成装置１２は、２視点のテクスチャ画像とデプス画像を、一般的な画像の符号化方式を用いて符号化し、データ量を削減することができる。その結果、主要な被写体の３次元構造を表現するデータの伝送帯域を削減することができる。

なお、図１の生成装置１２は、ポリゴンとカラー情報を生成したが、ＣＧ技術において用いられる３次元構造を表現する情報であれば、ポイントクラウドなどの他の情報を生成するようにしてもよい。

また、図１の例では、デプス画像カメラ２２が、撮影画像と同一の画素数のデプス画像を取得するが、撮影画像より少ない画素数のデプス画像を取得する場合には、領域抽出部３１と位置情報生成部３２の間に、デプス画像の画素値を補間するデプス画像補間部が設けられる。この場合、デプス画像補間部は、デプス画像の画素値を補間し、デプス画像の画素数を撮影画像の画素数と同一にする。

さらに、図１の例では、各撮影装置１１がデプス画像を取得するようにしたが、デプス画像は、そのデプス画像に対応する撮影装置１１と他の撮影装置１１により取得された撮影画像から生成されるようにしてもよい。

（撮影装置の配置例）
図２は、図１の撮影装置１１の配置例を示す図である。

図２の例では、Ｎは９である。

図２に示すように、９個の撮影装置１１−１乃至１１−９は、主要な被写体６１の周囲に取り囲むように配置される。

（効果の説明）
図３乃至図５は、３Ｄモデル座標系の原点に対して対向する２視点のそれぞれについて、各ポリゴンの表面を透視投影面に透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。

図３乃至図５の例では、主要な被写体のポリゴンが球８１を形成する。この場合、図３のＡに示すように、２視点のうちの一方の視点Ｏ１に対して、球８１の表面を視線方向Ｖ１の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８２と最初に交差する球８１上の表面の領域８１Ａに貼られたテクスチャが描画される。投影方向とは、視点から延びる、視線方向とのなす角の絶対値が画角の半分の角度（図３の例ではθ）の範囲内である方向である。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ１に対する領域８１Ａの奥行き方向（視線方向Ｖ１）の位置を表す画像である。

また、図３のＢに示すように、２視点のうちの他方の視点Ｏ２に対して、球８１の表面を視線方向Ｖ２の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８３と最初に交差する球８１上の表面の領域８１Ｂに貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ２に対する領域８１Ｂの奥行き方向（視線方向Ｖ２）の位置を表す画像である。

従って、図３のＣに示すように、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像により、球８１の中心に対して互いに対向する２つの領域８１Ａと領域８１Ｂの３次元構造を表現することができる。しかしながら、球の表面には、領域８１Ａと領域８１Ｂ以外の領域が存在する。即ち、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像では３次元構造を表現できない球８１の表面の領域が存在する。

例えば、球８１の表面および裏面に世界地図がテクスチャとして貼られており、アフリカ沖大西洋上空が視点Ｏ１である場合、図４のＡの左側に示すように、視点Ｏ１のテクスチャ画像１０１には、領域８１Ａの表面にテクスチャとして貼られたアフリカ大陸と南アメリカ大陸の一部が描画される。

また、この場合、視点Ｏ２は太平洋上空であり、図４のＢの左側に示すように、視点Ｏ２のテクスチャ画像１０２には、領域８１Ｂの表面にテクスチャとして貼られたオーストラリア大陸の一部が描画される。しかしながら、南極大陸等は、テクスチャ画像１０１とテクスチャ画像１０２のいずれにも描画されない。

また、図４のＡの右側および図４のＢの右側に示すように、テクスチャ画像１０１に対応するデプス画像１１１と、テクスチャ画像１０２に対応するデプス画像１１２は、同一である。なお、デプス画像は、各画素における被写体の奥行き方向の位置が遠いほど、画素値（輝度値）が小さい。従って、デプス画像１１１とデプス画像１１２は、中心の画素値が最も大きく、中心から離れるほど小さくなっている。

以上のように、テクスチャ画像１０１とテクスチャ画像１０２のいずれにも、南極大陸等は描画されない。従って、図５に示すように、テクスチャ画像１０１およびデプス画像１１１並びにテクスチャ画像１０２およびデプス画像１１２を用いて再構成された３次元構造１２１は、表面および裏面に世界地図がテクスチャとして貼られた球８１の一部分のみである。

図３乃至図５の例では、ポリゴンの形状が比較的単純な球８１であったが、ポリゴンの形状が複雑である場合、２視点のテクスチャ画像では３次元構造を表現できないポリゴンの領域が増加する。

図６および図７は、視点Ｏ１に対して球８１の裏面を視線方向Ｖ１の透視投影面に透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。

上述したように、視点Ｏ１に対して球８１の表面を視線方向Ｖ１の透視投影面に透視投影することによりテクスチャ画像を生成する場合、テクスチャ画像には、図６に示すように、各投影方向８２と最初に交差する球８１上の表面の各点ｃ１に貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ１に対する各点ｃ１の奥行き方向（視線方向Ｖ１）の位置を表す画像である。

一方、視点Ｏ１に対して球８１の裏面を視線方向Ｖ１の透視投影面に透視投影することによりテクスチャ画像を生成する場合、テクスチャ画像には、図６に示すように、各投影方向８２と最初に交差する球８１上の裏面の各点ｃ２に貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ２に対する各点ｃ２の奥行き方向（視線方向Ｖ１）の位置を表す画像である。

例えば、球８１の表面および裏面に世界地図がテクスチャとして貼られており、アフリカ沖大西洋上空が視点Ｏ１である場合、図７に示すように、視点Ｏ１のテクスチャ画像１３１には、各点ｃ２の裏面にテクスチャとして貼られた北アメリカ大陸、南アメリカ大陸の一部、南極大陸、ヨーロッパ大陸の一部、アジア大陸、およびオーストラリア大陸が描画される。また、テクスチャ画像１３１に対応するデプス画像１３２は、中心の画素値が最も小さく、中心から離れるほど小さくなる。

図８乃至図１０は、３Ｄモデル座標系の原点に対して対向する２視点のそれぞれについて、各ポリゴンの裏面を透視投影面に透視投影することにより生成されるテクスチャ画像と、そのテクスチャ画像に対応するデプス画像とを説明する図である。

図８乃至図１０の例では、主要な被写体のポリゴンが球８１である。この場合、図８のＡに示すように、視点Ｏ１に対して、球８１の裏面を視線方向Ｖ１の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８２と最初に交差する球８１上の裏面の領域１５３Ａに貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ１に対する領域８１Ａの奥行き方向（視線方向Ｖ１）の位置を表す画像である。

また、図８のＢに示すように、２視点のうちの他方の視点Ｏ２に対して、球８１の裏面を視線方向Ｖ２の透視投影面に透視投影することにより生成されるテクスチャ画像には、各投影方向８３と最初に交差する球８１上の裏面の領域１５３Ｂに貼られたテクスチャが描画される。また、このテクスチャ画像に対応するデプス画像は、視点Ｏ２に対する領域８１Ｂの奥行き方向（視線方向Ｖ２）の位置を表す画像である。

従って、図８のＣに示すように、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像により、球８１の中心に対して互いに対向する２つの領域１５３Ａおよび領域１５３Ｂの３次元構造を表現することができる。

なお、図８のＣに示すように、領域１５３Ａおよび領域１５３Ｂは重複する。従って、視点Ｏ１のテクスチャ画像およびデプス画像、並びに、視点Ｏ２のテクスチャ画像およびデプス画像により、球８１の全ての３次元構造を表現することができることになる。

例えば、球８１の表面および面に世界地図がテクスチャとして貼られており、アフリカ沖大西洋上空が視点Ｏ１である場合、図９のＡの左側に示すように、視点Ｏ１のテクスチャ画像１６１には、領域１５３Ａの裏面にテクスチャとして貼られた北アメリカ大陸、南アメリカ大陸の一部、南極大陸、ヨーロッパ大陸の一部、アジア大陸、オーストラリア大陸が描画される。

また、この場合、視点Ｏ２は太平洋上空であり、図９のＢの左側に示すように、視点Ｏ２のテクスチャ画像１６２には、領域１５３Ｂの裏面にテクスチャとして貼られたアフリカ大陸、北アメリカ大陸、南アメリカ大陸、南極大陸、ヨーロッパ大陸の一部が描画される。従って、７大陸の全てが、テクスチャ画像１６１とテクスチャ画像１６２の少なくとも一方に描画される。

また、図９のＡおよび図９のＢの右側に示すように、テクスチャ画像１６１に対応するデプス画像１６３と、テクスチャ画像１６２に対応するデプス画像１６４は、同一である。デプス画像１６３とデプス画像１６４は、中心の画素値が最も小さく、中心から離れるほど大きくなっている。

以上のように、７大陸の全てが、テクスチャ画像１６１とテクスチャ画像１６２の少なくとも一方に描画される。従って、図１０のＡに示すように、テクスチャ画像１６１とデプス画像１６３を用いて再構成された３次元構造１７１は、球８１の視点Ｏ２側の半分（図中右半分）より大きい部分である。また、図１０のＢに示すように、テクスチャ画像１６２とデプス画像１６４を用いて再構成された３次元構造１７２は、球８１の視点Ｏ１側の半分（図中左半分）より大きい部分である。よって、テクスチャ画像１６１およびデプス画像１６３並びにテクスチャ画像１６２およびデプス画像１６４を用いて３次元構造を再構成することにより、球８１全体を生成することができる。

なお、領域１５３Ａと領域１５３Ｂの重複領域は、テクスチャ画像１６１およびデプス画像１６３と、テクスチャ画像１６２およびデプス画像１６４のいずれか一方を用いて生成される。

例えば、図８のＡに示すように、領域１５３Ａと領域１５３Ｂの重複領域のうちの領域１５３Ａの端部の領域１５４は、視点Ｏ１に対して透視投影される場合、投影方向８２との角度が小さい。従って、テクスチャ画像１６１とデプス画像１６３では、領域１５４の３次元構造を高精度で表現することはできない。

しかしながら、図８のＢに示すように、領域１５４は、視点Ｏ２に対して透視投影される場合、投影方向８３との角度が、視点Ｏ１に対して透視投影される場合に比べて大きくなる。従って、テクスチャ画像１６２とデプス画像１６４では、テクスチャ画像１６１とデプス画像１６３に比べて、領域１５４の３次元構造を高精度で表現することができる。よって、領域１５４は、テクスチャ画像１６２とデプス画像１６４を用いて生成される。

以上のように、領域１５３Ａと領域１５３Ｂの重複領域を、テクスチャ画像１６１およびデプス画像１６３と、テクスチャ画像１６２およびデプス画像１６４のうちの、重複領域との角度が大きい投影方向に対応する方を用いて生成することにより、球８１の再構成の精度を向上させることができる。

（生成装置の処理の説明）
図１１は、図１の生成装置１２の生成処理を説明するフローチャートである。この生成処理は、Ｎ個の撮影装置１１により取得されるＮ個の撮影画像とデプス画像のフレームごとに行われる。

図１１のステップＳ１１において、生成装置１２の領域抽出部３１は、撮影装置１１から供給されるＮ個の撮影画像とデプス画像から、主要な被写体の領域と背景領域を抽出する。領域抽出部３１は、主要な被写体の領域のＮ個の撮影画像とデプス画像を位置情報生成部３２に供給し、背景領域のＮ個の撮影画像とデプス画像を全天球画像生成部３６に供給する。

ステップＳ１２において、位置情報生成部３２は、領域抽出部３１から供給される主要な被写体の領域のＮ個のデプス画像を用いて、主要な被写体の各ポリゴンの位置情報を生成し、カラー情報生成部３３と描画部３５に供給する。また、位置情報生成部３２は、主要な被写体の領域のＮ個の撮影画像をカラー情報生成部３３に供給する。

ステップＳ１３において、カラー情報生成部３３は、位置情報生成部３２から供給される各ポリゴンの位置情報と主要な被写体の領域のＮ個の撮影画像を用いて、各ポリゴンの表面と裏面のカラー情報を生成する。カラー情報生成部３３は、各ポリゴンの表面と裏面のカラー情報を描画部３５に供給する。

ステップＳ１４において、描画部３５は、位置情報生成部３２から供給される各ポリゴンの位置情報に基づいて各ポリゴンを生成し、カラー情報生成部３３から供給される各ポリゴンの表面と裏面のカラー情報に基づいて、各ポリゴンの表面および裏面に対してテクスチャを貼り付ける。

ステップＳ１５において、描画部３５は、予め決められた２視点のそれぞれに対して、各ポリゴンの裏面を視線方向の透視投影面に透視投影することにより２視点のテクスチャ画像を生成する。描画部３５は、２視点のテクスチャ画像をエンコーダ３８に供給する。

ステップＳ１６において、描画部３５は、ポリゴンに基づいて、２視点のテクスチャ画像それぞれに対応するデプス画像を生成し、エンコーダ３８に供給する。

ステップＳ１７において、全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個の撮影画像を３Ｄモデル座標系の原点を中心とする正八面体に透視投影することにより、全天球画像のテクスチャ画像を生成し、低解像度化部３７に供給する。

ステップＳ１８において、全天球画像生成部３６は、領域抽出部３１から供給される背景領域のＮ個のデプス画像を、撮影画像と同様に正八面体に透視投影することにより、全天球画像のデプス画像を生成し、低解像度化部３７に供給する。

ステップＳ１９において、低解像度化部３７は、全天球画像生成部３６から供給される全天球画像のテクスチャ画像とデプス画像を低解像度化し、エンコーダ３８に供給する。

ステップＳ２０において、エンコーダ３８は、描画部３５から供給される２視点のテクスチャ画像およびデプス画像、並びに、低解像度化部３７から供給される全天球画像のテクスチャ画像およびデプス画像を符号化する。エンコーダ３８は、その結果生成される２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶部３９に供給して記憶させる。

ステップＳ２１において、送信部４０は、記憶部３９に記憶されている２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、送信する。そして、処理は終了する。

以上のように、生成装置１２は、３Ｄモデル座標系の原点に対して対向する２視点のそれぞれについて各視点の視線方向の透視投影面にポリゴンの裏面を透視投影することにより、２視点のテクスチャ画像とデプス画像を生成する。従って、生成された２視点のテクスチャ画像とデプス画像は、ポリゴンの表面を透視投影することにより生成される場合に比べて、より多くの領域の主要な被写体のポリゴンの３次元構造を表現することができる。

（表示装置の構成例）
図１２は、本開示を適用した画像処置装置としての表示装置の第１実施の形態の構成例を示すブロック図である。

図１２の表示装置２００は、図１の生成装置１２から送信されてくる２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを受信し、所定の視点のテクスチャ画像を生成する。

具体的には、表示装置２００は、受信部２０１、記憶部２０２、デコーダ２０３、再構成部２０４、描画部２０５、および表示部２０６により構成される。

表示装置２００の受信部２０１は、生成装置１２から送信されてくる２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを受信し、記憶部２０２に供給する。

記憶部２０２は、受信部２０１から供給される２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶する。

デコーダ２０３は、記憶部２０２から２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、復号する。デコーダ２０３は、復号の結果得られる２視点のテクスチャ画像およびデプス画像、並びに、全天球画像のテクスチャ画像およびデプス画像を再構成部２０４に供給する。

再構成部２０４は、デコーダ２０３から供給される２視点のテクスチャ画像およびデプス画像を用いて、３Ｄモデル座標系に主要な被写体の３次元構造を再構成する。上述したように、生成装置１２で生成される２視点のテクスチャ画像およびデプス画像は、ポリゴンの表面を透視投影することにより生成される場合に比べて、より多くの領域の主要な被写体のポリゴンの３次元構造を表現することができる。従って、復号された２視点のテクスチャ画像およびデプス画像を用いて３次元構造が再構成される主要な被写体の領域は、２視点のテクスチャ画像とデプス画像がポリゴンの表面を透視投影することにより生成される場合に比べて多い。

また、再構成部２０４は、デコーダ２０３から供給される全天球画像のテクスチャ画像とデプス画像を用いて、３Ｄモデル座標系に背景領域の３次元構造を再構成する。再構成部２０４は、主要な被写体と背景領域の３次元構造の位置情報とカラー情報を描画部２０５に供給する。

描画部２０５（画像生成部）は、再構成部２０４から供給される主要な被写体と背景領域の３次元構造の位置情報とカラー情報に基づいて、視聴者等により指定された３Ｄモデル座標系における視点、視線方向、および画角のテクスチャ画像を表示画像として生成する。描画部２０５は、生成された表示画像を表示部２０６に供給する。

表示部２０６は、描画部２０５から供給される表示画像を表示する。これにより、視聴者は、例えば、主要な被写体の周囲の任意の位置から主要な被写体を見ることができる。

（第１の再構成方法の説明）
図１３は、第１の再構成方法を説明する図である。

なお、図１３の例では、説明の便宜上、２視点のテクスチャ画像およびデプス画像の解像度が、４（横）×４(縦)画素であるものとする。また、図１３では、２視点のうちの１つの視点Ｏ１のテクスチャ画像とデプス画像を用いて主要な被写体の３次元構造を再構成する場合について説明する。

第１の再構成方法は、ポイントクラウドを用いて３次元構造を再構成する方法である。具体的には、図１３に示すように、第１の再構成方法では、再構成部２０４は、視点Ｏ１、視線方向Ｖ１、画角２θ、視点Ｏ１のテクスチャ画像２２０の各画素２２１に対応するサンプリング点２３１のテクスチャ画像２２０上の位置(u,v)、および、テクスチャ画像２２０に対応するデプス画像の各画素２２１の画素値に基づいて、サンプリング点２３１の３Ｄモデル座標系における３次元座標（X,Y,Z）を生成する。

また、再構成部２０４は、テクスチャ画像２２０の各画素２２１の画素値であるYCbCr値をRGB値に変換し、各画素２２１に対応するサンプリング点２３１のRGB値とする。再構成部２０４は、各サンプリング点２３１の３次元座標(X,Y,Z)に、そのサンプリング点２３１のRGB値の点を描画することにより、主要な被写体の３次元構造を再構成する。再構成部２０４は、各サンプリング点２３１の３次元座標(X,Y,Z)を主要な被写体の３次元構造の位置情報として描画部２０５に供給するとともに、各サンプリング点２３１のRGB値を主要な被写体の３次元構造のカラー情報として描画部２０５に供給する。

（第２の再構成方法の説明）
図１４は、第２の再構成方法を説明する図である。

なお、図１４の例では、説明の便宜上、２視点のテクスチャ画像およびデプス画像の解像度が、４（横）×３（縦）画素であるものとする。また、図１４では、２視点のうちの１つの視点Ｏ１のテクスチャ画像とデプス画像を用いて主要な被写体の３次元構造を再構成する場合について説明する。

第２の再構成方法は、三角形パッチを用いて３次元構造を再構成する方法である。具体的には、図１４の左側に示すように、第２の再構成方法では、再構成部２０４は、視点Ｏ１のテクスチャ画像２４０上に各画素２４１に対応するサンプリング点２５１を生成する。再構成部２０４は、テクスチャ画像２４０の全ての画素に対応するサンプリング点２５１のうちの、隣接する３つのサンプリング点２５１どうしを接続することにより、隣接する３つのサンプリング点２５１を頂点とする三角形パッチ２５２を生成する。

そして、再構成部２０４は、視点Ｏ１、視線方向Ｖ１、画角２θ、各サンプリング点２５１のテクスチャ画像２４０上の位置(u,v)、および、テクスチャ画像２４０に対応するデプス画像の各画素２４１の画素値に基づいて、各サンプリング点２５１に対応する３Ｄモデル座標系の３次元座標（X,Y,Z）を生成する。

そして、再構成部２０４は、図１４の右側に示すように、各サンプリング点２５１の３次元座標（X,Y,Z）に基づいて、各サンプリング点２５１に対応する各サンプリング点２６１を３Ｄモデル座標系に配置する。また、再構成部２０４は、三角形パッチ２５２の頂点を構成する３つのサンプリング点２５１に対応するサンプリング点２６１を接続することにより、三角形パッチ２６２を生成する。

また、再構成部２０４は、三角形パッチ２６２ごとに、三角形パッチ２６２に対応する三角形パッチ２５２を構成する画素２４１のYCbCr値をRGB値に変換し、そのRGB値を用いて三角形パッチ２６２のRGB値を生成する。再構成部２０４は、三角形パッチ２６２ごとに、三角形パッチ２６２のRGB値のテクスチャを三角形パッチ２６２に貼り付ける。これにより、再構成部２０４は、主要な被写体の３次元構造を再構成する。再構成部２０４は、各三角形パッチ２６２の頂点となるサンプリング点２６１の３次元座標(X,Y,Z)を主要な被写体の３次元構造の位置情報として描画部２０５に供給する。また、再構成部２０４は、各三角形パッチ２６２のRGB値を主要な被写体の３次元構造のカラー情報として描画部２０５に供給する。

図１３および図１４では、視点Ｏ１のテクスチャ画像とデプス画像から主要な被写体の３次元構造を再構成する方法について説明したが、視点Ｏ２のテクスチャ画像とデプス画像から主要な被写体の３次元構造を再構成する方法および全天球画像のテクスチャ画像とデプス画像から背景領域の３次元構造を再構成する方法についても同様である。

（表示装置の処理の説明）
図１５は、図１２の表示装置２００の表示処理を説明するフローチャートである。この表示処理は、例えば、２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームが記憶部２０２に記憶されている状態で、視聴者により表示画像の表示が要求されたとき、開始される。

図１５のステップＳ３２において、デコーダ２０３は、記憶部２０２から２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、復号する。デコーダ２０３は、復号の結果得られる２視点のテクスチャ画像およびデプス画像、並びに、全天球画像のテクスチャ画像およびデプス画像を再構成部２０４に供給する。

ステップＳ３３において、再構成部２０４は、デコーダ２０３から供給される２視点のテクスチャ画像およびデプス画像を用いて、３Ｄモデル座標系に主要な被写体の３次元構造を再構成する。再構成部２０４は、主要な被写体の３次元構造の位置情報とカラー情報を描画部２０５に供給する。

ステップＳ３４において、再構成部２０４は、デコーダ２０３から供給される全天球画像のテクスチャ画像とデプス画像を用いて、３Ｄモデル座標系に背景領域の３次元構造を再構成する。再構成部２０４は、背景領域の３次元構造の位置情報とカラー情報を描画部２０５に供給する。

ステップＳ３５において、描画部２０５は、再構成部２０４から供給される主要な被写体と背景領域の３次元構造の位置情報とカラー情報に基づいて、視聴者等により指定された３Ｄモデル座標系における視点、視線方向、および画角のテクスチャ画像を表示画像として生成する。描画部２０５は、生成された表示画像を表示部２０６に供給する。

ステップＳ３６において、表示部２０６は、描画部２０５から供給される表示画像を表示し、処理を終了する。

以上のように、表示装置２００は、生成装置１２により生成された２視点のテクスチャ画像とデプス画像を用いて表示画像を生成する。従って、２視点のそれぞれに対してポリゴンの表面を透視投影することにより生成された２視点のテクスチャ画像とデプス画像を用いる場合に比べて、より多くの領域の主要な被写体の３次元構造を再構成し、その３次元構造から表示画像を生成することができる。その結果、表示画像の画質が向上する。

＜第２実施の形態＞
（生成装置の構成例）
図１６は、本開示を適用した画像処理装置としての生成装置の第２実施の形態の構成例を示すブロック図である。

図１６に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１６の生成装置３００の構成は、視点制御部３０１が新たに設けられる点、および、描画部３５、記憶部３９、送信部４０の代わりに、描画部３０２、記憶部３０３、送信部３０４が設けられる点が、図１の生成装置１２の構成と異なる。生成装置３００では、２視点の位置が可変であり、２視点のテクスチャ画像とデプス画像が、主要な被写体のポリゴンの最も多くの領域の３次元構造を表現するように、２視点の位置が設定される。

具体的には、視点制御部３０１（視点情報生成部）は、３Ｄモデル座標系の原点に対して互いに対向する現在の２視点のペアを結ぶ原点を通る直線を、原点を軸として所定の方向に所定量ずつ所定の範囲内で回転させることにより、現在の２視点のペアを含む複数の２視点のペアの候補を決定する。２視点のペアの候補の生成頻度は、特に限定されず、フレームごと、シーケンスごと、GOP（Group of Picture）ごと等にすることができる。視点制御部３０１は、複数の２視点のペアの候補の３次元座標である視点情報を生成し、描画部３０２に給する。

また、視点制御部３０１は、描画部３０２から供給される視点情報に対応する２視点のペアの候補が現在の２視点のペアではない場合、その２視点のペアの候補に現在の２視点のペアを変更し、その視点情報を含むテーブルを生成する。視点制御部３０１は、テーブルを記憶部３０３に出力する。

描画部３０２（画像生成部）は、視点制御部３０１から複数の視点情報が供給される場合、視点情報ごとに、その視点情報が３次元座標を示す２視点のペアの候補の各視点に対して、ポリゴン生成部３４により生成された各ポリゴンの裏面を透視投影面に透視投影することにより、２視点のペアの候補のテクスチャ画像を生成する。

そして、描画部３０２は、２視点のペアの候補のうちの、テクスチャ画像を生成する際に透視投影されるポリゴンの裏面の領域が最も大きい２視点のペアの候補を、最適な２視点のペアとして選択する。具体的には、描画部３０２は、２視点のペアの候補のうちの、２視点のテクスチャ画像を生成する際に裏面が透視投影されるポリゴンの数が最も多い２視点のペアを、最適な２視点のペアとして選択する。

描画部３０２は、最適な２視点のペアの視点情報を現在の２視点のペアの視点情報として保持するとともに、視点制御部３０１に供給する。また、視点制御部３０１は、最適な２視点のペアのテクスチャ画像を、最終的な現在の２視点のペアのテクスチャ画像とする。

一方、描画部３０２は、視点制御部３０１から複数の視点情報が供給されない場合、保持されている視点情報が３次元座標を示す現在の２視点のペアの各視点に対して、各ポリゴンの裏面を透視投影面に透視投影することにより、現在の２視点のペアのテクスチャ画像を生成する。

描画部３０２は、各ポリゴンに基づいて、現在の２視点のペアのテクスチャ画像それぞれに対応するデプス画像を生成する。描画部３０２は、現在の２視点のペアのテクスチャ画像とデプス画像をエンコーダ３８に供給する。

記憶部３０３は、エンコーダ３８から供給される２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを記憶する。また、記憶部３０３は、視点制御部３０１から供給されるテーブルを記憶する。

送信部３０４は、記憶部３９に記憶されている２視点の視点テクスチャストリームおよび視点デプスストリーム、全天球テクスチャストリームおよび全天球デプスストリーム、並びにテーブルを読み出し、送信する。

（２視点と３次元構造を表現可能な領域の関係の説明）
図１７および図１８は、２視点と３次元構造を表現可能な領域の関係を説明する図である。

主要な被写体のポリゴンが図１７のロボット３２０を形成する場合、ロボット３２０の設置面に水平なａａ´断面の模式図は、図１８に示すようになる。即ち、ロボット３２０のａａ´断面には、ロボット３２０の左腕３２１、胴体３２２、および右腕３２３が含まれる。

この場合、図１８のＡに示すように、ａａ´断面上の左腕３２１の左側に２視点のうちの一方の視点Ｏ１が配置され、右腕３２３の右側に他方の視点Ｏ２が配置されると、視点Ｏ１のテクスチャ画像には、左腕３２１の右側の裏面が透視投影される。また、視点Ｏ２のテクスチャ画像には、右腕３２３の左側の裏面が透視投影される。

しかしながら、視点Ｏ１のテクスチャ画像においても、視点Ｏ２にテクスチャ画像においても、胴体３２２の裏面は、手前に存在する左腕３２１または右腕３２３に遮蔽され、透視投影されない。

これに対して、図１８のＢに示すように、ａａ´断面上の左腕３２１、胴体３２２、および右腕３２３の上側に２視点のうちの一方の視点Ｏ１´が配置され、下側に他方の視点Ｏ２´が配置されると、視点Ｏ１´のテクスチャ画像には、左腕３２１、胴体３２２、および右腕３２３の下側の裏面が透視投影される。また、視点Ｏ２´のテクスチャ画像には、左腕３２１、胴体３２２、および右腕３２３の上側の裏面が透視投影される。

以上のように、主要な被写体のポリゴンが複数の部位のポリゴンから形成される場合、２視点の奥行き方向に各部位のポリゴンが並ぶと、２視点のテクスチャ画像に透視投影される主要な被写体のポリゴンの領域が減少する。また、図示は省略するが、主要な被写体のポリゴンの形状が凹な形状である場合、２視点の奥行き方向に空洞を挟む両端部が存在すると、手前側の端部が奥側の端部を遮蔽するため、２視点のテクスチャ画像に透視投影される主要な被写体のポリゴンの領域が減少する。

従って、描画部３０２は、複数の２視点のペアの候補に対して２視点のテクスチャ画像を生成し、透視投影されるポリゴンの裏面の領域が最も大きい２視点のペアの候補を最適なペアとして選択する。

（２視点のペアの候補の第１の決定方法の説明）
図１９は、２視点のペアの候補の第１の決定方法を説明する図である。

図１９の例では、主要な被写体のポリゴンが図１７のロボット３２０を形成する。また、現在の２視点のペアのうちの一方の視点Ｏ１が図１７のａａ´断面上の左腕３２１の左側であり、他方の視点Ｏ２が図１７のａａ´断面上の右腕３２３の右側である。これらのことは、後述する図２０においても同様である。

図１９に示すように、第１の決定方法では、視点制御部３０１は、現在の視点Ｏ１と視点Ｏ２を結ぶ原点Ｏを通る直線３４１を、原点Ｏを軸として、一方向に所定量ずつ所定の範囲内で回転させることにより、現在の２視点のペアを含む２視点のペアの候補を決定する。即ち、第１の決定方法では、原点Ｏを中心とした直線３４１を直径とする円周上を２視点のペアの候補が移動する。

図１９の例では、視点制御部３０１は、直線３４１をａａ´断面に平行な方向に所定量ずつ時計周りまたは反時計周りに微小角度θ_ｒの範囲内で回転させることにより、現在の２視点のペアを含む２視点のペアの候補を決定している。

（２視点のペアの候補の第２の決定方法の説明）
図２０は、２視点のペアの候補の第２の決定方法を説明する図である。

図２０に示すように、第２の決定方法では、視点制御部３０１は、直線３４１を、原点Ｏを軸として、２以上の方向に所定量ずつ所定の範囲内で回転させることにより、現在の２視点のペアを含む２視点のペアの候補を決定する。即ち、第２の決定方法では、原点Ｏを中心とした直線３４１を直径とする球面上を２視点のペアの候補が移動する。

図２０の例では、視点制御部３０１は、直線３４１をａａ´断面に平行な方向に所定量ずつ時計周りまたは反時計周りに微小角度θ_ｒの範囲内で回転させることにより、２視点のペアの候補を決定している。また、視点制御部３０１は、直線３４１をａａ´断面に垂直な方向に所定量ずつ時計周りまたは反時計周りに微小角度φ_ｒの範囲内で回転させることにより、２視点のペアの候補を決定している。

以上のように、第１および第２の決定方法では、視点制御部３０１は、現在の視点Ｏ１と視点Ｏ２を結ぶ直線３４１を微小角度の範囲内で回転させることにより２視点のペアの候補を決定する。従って、２視点のペアは、透視投影されるポリゴンの裏面の領域が大きくなるように段階的に変化していく。よって、フレーム単位で２視点のペアを決定する場合であっても、フレーム間で２視点のペアが大きく変化することはない。その結果、フレーム間で２視点のペアが大きく変化することによるテクスチャ画像とデプス画像の符号化効率の低下を防止することができる。

（テーブルの例）
図２１は、図１６の視点制御部３０１により生成されるテーブルの例を示す図である。

図２１に示すように、テーブルには、視点ごとに、視点情報と視線方向を示す方位角および仰角とが登録される。

方位角は、視線方向とＺ軸とのなすＸＺ平面方向の角度であり、仰角は、視線方向とＸＺ平面とのなす角度である。視点から延びるＺ軸の正方向のベクトルを方位角だけＸＺ平面上を水平回転した後、仰角だけＹ軸方向に上下回転した線が、視線方向である。

図２１の例では、３Ｄモデル座標系のＺ軸方向が、２視点の一方から他方へ向かう方向である。従って、２視点のうちの一方の視点の方位角と仰角は０度であり、視点情報は３次元座標(0,0,-1.0)である。また、他方の視点の方位角は−１８０度であり、３次元座標は(0,0,1.0)である。

また、テーブルには、視点ごとに、視線方向を軸としたときの透視投影面の回転方向の角度である回転角が登録される。さらに、テーブルには、視点ごとに、その視点のテクスチャ画像の横方向の画角である横画角および縦方向の画角である縦画角、並びに、横方向の画素数である横画素数および縦方向の画素数である縦画素数が登録される。図２１の例では、２視点の回転角は両方とも０度であり、横画角と縦画角は両方とも９０度であり、横画素数と縦画素数は両方とも１０２４である。

（画像処理装置の処理の説明）
図２２および図２３は、図１６の生成装置３００の生成処理を説明するフローチャートである。この生成処理は、Ｎ個の撮影装置１１により取得されるＮ個の撮影画像とデプス画像のフレームごとに行われる。

図２２のステップＳ５１乃至Ｓ５４の処理は、図１１のステップＳ１１乃至Ｓ１４の処理と同様である。

ステップＳ５５において、視点制御部３０１は、処理対象のフレームが先頭のフレームであるかどうかを判定する。ステップＳ５５で処理対象のフレームが先頭のフレームではないと判定された場合、即ち既に現在の２視点のペアが設定されている場合、処理はステップＳ５６に進む。

ステップＳ５６において、視点制御部３０１は、２視点のペアの候補の生成頻度、即ち２視点のペアの更新頻度に基づいて、複数の２視点のペアの候補を決定するかどうかを判定する。例えば、２視点のペアの候補の生成頻度がフレーム単位である場合、視点制御部３０１は、常に、複数の２視点のペアの候補を決定すると判定する。また、２視点のペアの候補の生成頻度がシーケンス単位またはGOP単位である場合、処理対象のフレームがシーケンスまたはGOPの先頭のフレームであるとき、視点制御部３０１は、複数の２視点のペアの候補を決定すると判定する。

ステップＳ５６で複数の２視点のペアの候補を決定すると判定された場合、処理はステップＳ５７に進む。ステップＳ５７において、視点制御部３０１は、第１または第２の決定方法で複数の２視点のペアの候補を決定する。視点制御部３０１は、複数の２視点のペアの候補の視点情報を生成し、描画部３０２に供給する。

ステップＳ５８において、描画部３０２は、視点情報ごとに、その視点情報が３次元座標を示す２視点のペアの候補の各視点に対して、各ポリゴンの裏面を透視投影面に透視投影することにより、２視点のペアの候補のテクスチャ画像を生成する。

ステップＳ５９において、描画部３０２は、２視点のペアの候補のうちの、テクスチャ画像を生成する際に透視投影されるポリゴンの裏面の領域が最も大きい２視点のペアの候補を、最適な２視点のペアとして選択する。描画部３０２は、最適な２視点のペアの視点情報を現在の２視点のペアの視点情報として保持するとともに、視点制御部３０１に供給する。また、視点制御部３０１は、最適な２視点のペアのテクスチャ画像を、最終的な現在の２視点のペアのテクスチャ画像とする。

ステップＳ６０において、視点制御部３０１は、描画部３０２から供給される視点情報に対応する最適な２視点のペアが、現在の２視点のペアであるかどうかを判定する。ステップＳ６０で最適な２視点のペアが現在の２視点のペアではないと判定された場合、処理はステップＳ６１に進める。

ステップＳ６１において、視点制御部３０１は、描画部３０２から供給される視点情報を含むテーブルを生成し、記憶部３０３に供給して記憶させる。

ステップＳ６２において、視点制御部３０１は、最適な２視点のペアを現在の２視点のペアに設定し、処理を図２３のステップＳ６５に進む。

一方、ステップＳ５５で処理対象のフレームが先頭のフレームであると判定された場合、即ちまだ現在の２視点のペアが設定されていない場合、処理はステップＳ６３に進む。

ステップＳ６３において、視点制御部３０１は、現在の２視点のペアを初期値に設定し、処理をステップＳ６４に進める。

また、ステップＳ５６で複数の２視点のペアの候補を決定しないと判定された場合、描画部３０２は、保持されている視点情報が３次元座標を示す現在の２視点のペアの各視点に対して、各ポリゴンの裏面を透視投影面に透視投影することにより、現在の２視点のペアのテクスチャ画像を生成する。そして、処理は図２３のステップＳ６５に進む。

また、ステップＳ６０で最適な２視点のペアが現在の２視点のペアではないと判定された場合、現在の２視点のペアを変更する必要がないため、処理はステップＳ６１およびＳ６２をスキップし、図２３のステップＳ６５に進む。

図２３のステップＳ６５において、描画部３０２は、ポリゴンに基づいて、現在の２視点のペアのテクスチャ画像それぞれに対応するデプス画像を生成する。描画部３０２は、現在の２視点のペアのテクスチャ画像とデプス画像をエンコーダ３８に供給する。

ステップＳ６６乃至Ｓ６９の処理は、図１１のステップＳ１７乃至Ｓ２０の処理と同様であるので、説明は省略する。

ステップＳ７０において、送信部３０４は、記憶部３９に記憶されている２視点の視点テクスチャストリームおよび視点デプスストリーム、全天球テクスチャストリームおよび全天球デプスストリーム、並びにテーブルを読み出し、送信する。そして、処理は終了する。

以上のように、生成装置３００は、２視点のテクスチャ画像とデプス画像が、より多くの領域の３次元構造を表現可能になるように、２視点のペアを決定する。従って、２視点のテクスチャ画像とデプス画像を用いて、より多くの領域の３次元構造を表現することができる。

第２実施の形態における表示装置の構成は、再構成部２０４による再構成時にテーブルが用いられる点を除いて、図１２の表示装置２００の構成と同一である。即ち、第２実施の形態では、２視点のペアが予め決まった固定値ではないため、再構成部２０４は、再構成時に、テーブルに登録されている２視点のペアの各視点の視点情報および視線方向を用いて、各サンプリング点の３次元座標（X,Y,Z）を生成する。

なお、第１および第２実施の形態では、主要な被写体のポリゴンの裏面のみがテクスチャ画像に透視投影されたが、背景領域のポリゴンの表面もテクスチャ画像に透視投影されるようにしてもよい。

＜テクスチャ画像の他の生成方法＞
図２４は、この場合のテクスチャ画像の生成方法を説明する図である。

図２４の例では、主な被写体のポリゴンが球８１を形成している。

この場合、球８１を形成するポリゴンだけでなく、視点Ｏ１の奥行き方向の位置が球８１より奥側である位置に背景領域３６１のポリゴンが生成され、視点Ｏ２の奥行き方向の位置が球８１より奥側である位置に背景領域３６２のポリゴンが生成される。背景領域３６１と背景領域３６２のポリゴンの生成には、領域抽出部３１により抽出された背景領域のＮ個の撮影画像とデプス画像が用いられる。

そして、各視点に対して、球８１を形成するポリゴンの裏面、および、背景領域３６１と背景領域３６２のポリゴンの表面が透視投影され、テクスチャ画像が生成される。

その結果、図２４に示すように、視点Ｏ１のテクスチャ画像には、視点Ｏ１の画角２θに含まれる球８１の裏面の領域１５３Ａと背景領域３６１の表面のうちの領域１５３Ａにより遮蔽されない領域３６１Ａとが描画される。また、視点Ｏ２のテクスチャ画像には、視点Ｏ２の画角２θに含まれる球８１の裏面の領域１５３Ｂと背景領域３６２の表面のうちの領域１５３Ｂにより遮蔽されない領域３６２Ａが描画される。

以上のようにしてテクスチャ画像が生成される場合、表示装置２００は、主要な被写体のポリゴンの裏面のみがテクスチャ画像に透視投影される場合に比べて、表示画像の背景領域を高精度で生成することができる。また、表示装置２００は、視点Ｏ１と視点Ｏ２の両方の画角２θ内に存在する３次元構造のみを描画することにより、表示画像から背景領域を削除することもできる。なお、この場合、生成装置１２（３００）は、全天球テクスチャストリームと全天球デプスストリームを生成しなくてもよい。

＜テクスチャ画像の他の例＞
図２５は、テクスチャ画像の他の例を示す図である。

上述した説明では、テクスチャ画像は、１つの視点のテクスチャ画像であったが、その視点に対応する左目用の視点と右目用の視点のテクスチャ画像が合成されたものであってもよい。

具体的には、図２５のＡに示すように、テクスチャ画像は、例えば、１つの視点に対応する左目用の視点のテクスチャ画像４２１と右目用の視点のテクスチャ画像４２２が、横方向（水平方向）にパッキングされたパッキング画像４２０であってもよい。

また、図２５のＢに示すように、テクスチャ画像は、例えば、テクスチャ画像４２１とテクスチャ画像４２２が、縦方向（垂直方向）にパッキングされたパッキング画像４４０であってもよい。

以上のように、テクスチャ画像が左目用の視点と右目用の視点の画像をパッキングしたテクスチャ画像である場合、復号の結果得られるテクスチャ画像が、左目用の視点のテクスチャ画像と右目用の視点のテクスチャ画像に分離される。そして、目ごとに３次元構造が生成される。

そして、視聴者等により指定された視点に対応する左目の視点、視線方向、および画角に基づいて、左目用の３次元構造から左目用の表示画像が生成される。また、視聴者等により指定された視点に対応する右目の視点、視線方向、および画角に基づいて、右目用の３次元構造から右目用の表示画像が生成される。

表示部２０６が３Ｄ表示可能である場合、表示部２０６は、左目用の表示画像を左目用の画像として表示し、右目用の表示画像を右目用の画像として表示することにより、表示画像を３Ｄ表示する。一方、表示部２０６が３Ｄ表示可能ではない場合、表示部２０６は、左目用の表示画像または右目用の表示画像を２Ｄ表示する。

なお、第１および第２実施の形態では、視点の数は２個であったが、視点の数は２個に限定されない。また、２視点は互いに対向していなくてもよい。視線方向は、視点から原点以外の位置に向かう方向であってもよい。

また、生成装置１２（３００）は、表示装置２００から要求されたときのみ記憶部３９（３０３）に記憶されている２視点の視点テクスチャストリームおよび視点デプスストリーム、並びに、全天球テクスチャストリームおよび全天球デプスストリームを読み出し、表示装置２００に送信するようにしてもよい。テーブルの送信についても同様である。

さらに、第１実施の形態においても、第２実施の形態と同様に、生成装置１２が、予め決められた２視点の視点情報を含むテーブルを生成し、表示装置２００に送信するようにしてもよい。

＜第３実施の形態＞
本開示を適用した配信システムの第３実施の形態の構成は、透視投影の代わりにtan軸投影（詳細は後述する）が行われる点を除いて、上記した例えば、図１の生成装置１２の構成や、図１２に示した表示装置２００と同一である。従って、以下では、tan軸投影についてのみ説明する。

（投影面の座標系の説明）
図２６は、投影面の座標系を説明する図である。

なお、第３実施の形態では、投影面は、生成装置１２が、高解像度画像を生成する際、球にマッピングされた全天球画像をtan軸投影する２次元平面、または、表示装置２００が、表示画像を生成する際、３Dモデル画像をtan軸投影する視野範囲である。

図２６の例では、３Ｄモデルの３次元のxyz座標系において、ｚが-1.0である投影面４５１が設定されている。この場合、投影面４５１の中心Ｏ´を原点とし、投影面４５１の水平方向をｓ方向とし、垂直方向をｔ方向とする２次元のst座標系が、投影面４５１の座標系となる。

なお、以下では、xyz座標系の原点Ｏからst座標系の座標(s,t)に向かうベクトル４５２を、座標(s,t)と、原点Ｏから投影面４５１までの距離である-1.0とを用いて、ベクトル(s,t,-1.0)という。

（tan軸投影の説明）
図２７は、tan軸投影（正接軸投影）を説明する図である。

図２７は、投影面４５１をｚの負方向に見た図である。図２７の例では、st座標系において、投影面４５１のｓ値およびｔ値の最小値は-1.0であり、最大値は1.0である。

この場合、透視投影では、原点Ｏから投影面４５１上の投影点に向かう投影ベクトルがベクトル（s´,t´-1.0）となるように、投影面４５１上に投影点が設定される。なお、ｓ´は、-1.0から1.0までのｓ値の範囲に設けられた所定の間隔ごとの値であり、ｔ´は-1.0から1.0までのｔ値の範囲に設けられた所定の間隔ごとの値である。従って、透視投影における投影点は、投影面４５１上で均一である。

これに対して、投影面４５１の画角をθｗ（図２７の例ではπ／２）とすると、tan軸投影では、投影ベクトルがベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)となるように、投影面４５１上に投影点が設定される。

具体的には、ベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)は、s´*θｗ/2をθとし、t´*θｗ/2をφとすると、ベクトル(tanθ，tanφ，-1.0)になる。このとき、画角θｗがπに近付くと、tanθやtanφは無限大に発散する。従って、tanθやtanφが無限大に発散しないように、ベクトル(tanθ，tanφ，-1.0)が、ベクトル(sinθ*cosφ, cosθ*sinφ, -cosθ*cosφ)に補正され、投影ベクトルがベクトル(sinθ*cosφ, cosθ*sinφ, -cosθ*cosφ)となるように、投影面４５１上に投影点が設定される。従って、tan軸投影では、隣り合う投影点に対応する投影ベクトルどうしがなす角が同一になる。

なお、対数軸（ログスケール）と同様に、tan(s´*θｗ/2), tan(t´*θｗ/2)は、tan軸のs´,t´であると捉えられる。従って、本明細書では、投影ベクトルがベクトル(tan(s´*θｗ/2), tan(t´*θｗ/2), -1.0)となる投影を、tan軸投影と称している。

＜第４実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるコンピュータ５００では、CPU５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ５００では、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記憶部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータ５００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２９に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２９では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図３０は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図３０には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図２９に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２９の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図２９に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、図１乃至図２７を用いて説明した本実施形態に係る生成装置１２（３００）および表示装置２００の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００において、図１乃至図２７を用いて説明した本実施形態に係る生成装置１２（３００）および表示装置２００を適用することができる。この場合、例えば、生成装置１２（３００）および表示装置２００は一体化され、マイクロコンピュータ７６１０、記憶部７６９０、および表示部７７２０に相当する。また、撮影装置１１は、撮像部７４１０に相当する。この場合、例えば、車両制御システム７０００は、２視点のテクスチャ画像とデプス画像を用いて、より多くの領域の３次元構造を表現することができる。

また、図１乃至図２７を用いて説明した生成装置１２（３００）および表示装置２００の少なくとも一部の構成要素は、図２９に示した車両制御システム７０００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１乃至図２７を用いて説明した生成装置１２（３００）および表示装置２００は、図２９に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本開示は、以下のような構成もとることができる。

（１）
ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する画像生成部
を備える画像処理装置。
（２）
前記画像生成部は、前記２視点の位置を示す視点情報に基づいて、前記所定の視点のテクスチャ画像を生成する
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記ポリゴンは、前記ポリゴンに対応する被写体の周囲に配置され、前記被写体の少なくとも一部を撮影範囲に含む複数の撮影装置により取得された撮影画像と前記撮影画像に対応するデプス画像とを用いて生成される
ように構成された
前記（１）または（２）に記載の画像処理装置。
（４）
前記画像生成部は、前記複数の撮影装置により取得された前記撮影画像を用いて生成された全天球画像のテクスチャ画像と、前記複数の撮影装置により取得された前記撮影画像に対応するデプス画像を用いて生成された前記全天球画像のデプス画像とを用いて、前記所定の視点のテクスチャ画像を生成する
ように構成された
前記（３）に記載の画像処理装置。
（５）
画像処理装置が、
ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する画像生成ステップ
を含む画像処理方法。
（６）
ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像を生成し、各視点の前記テクスチャ画像に対応するデプス画像を生成する画像生成部
を備える画像処理装置。
（７）
前記２視点の位置を示す視点情報を生成する視点情報生成部
をさらに備える
前記（６）に記載の画像処理装置。
（８）
前記視点情報生成部は、複数の前記視点情報を生成し、
前記画像生成部は、前記視点情報生成部により生成された前記視点情報ごとに、前記２視点のテクスチャ画像を生成し、前記複数の視点情報のうちの、前記２視点のテクスチャ画像を生成する際に投影される前記ポリゴンの裏面の領域が最も大きい視点情報に対応する前記２視点のテクスチャ画像を最終的な前記２視点のテクスチャ画像とし、最終的な前記２視点のテクスチャ画像それぞれに対応するデプス画像を生成する
ように構成された
前記（７）に記載の画像処理装置。
（９）
前記２視点は、所定の２視点を結ぶ前記ポリゴンの中心を通る直線を、前記ポリゴンの中心を軸として少なくとも一方向に所定量ずつ回転させることにより決定される
ように構成された
前記（８）に記載の画像処理装置。
（１０）
前記視点情報生成部は、前記最終的な２視点のテクスチャ画像それぞれに対応する視点情報を出力する
ように構成された
前記（８）に記載の画像処理装置。
（１１）
前記ポリゴンに対応する被写体の周囲に配置され、前記被写体の少なくとも一部を撮影範囲に含む複数の撮影装置により取得された撮影画像と、前記撮影画像に対応するデプス画像とを用いて、前記ポリゴンを生成するポリゴン生成部
をさらに備える
前記（６）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記複数の撮影装置により取得された前記撮影画像を用いて、全天球画像のテクスチャ画像を生成し、前記複数の撮影装置により取得された前記撮影画像に対応するデプス画像を用いて、前記全天球画像のデプス画像を生成する全天球画像生成部
をさらに備える
前記（１１）に記載の画像処理装置。
（１３）
画像処理装置が、
ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像を生成し、各視点の前記テクスチャ画像に対応するデプス画像を生成する画像生成ステップ
を含む画像処理方法。

１１−１乃至１１−Ｎ 撮影装置, １２ 生成装置, ３４ ポリゴン生成部, ３５ 描画部, ６１ 被写体, ８１ 球, ２００ 表示装置, ２０５ 描画部, ３００ 生成装置, ３０１ 視点制御部, ３０２ 描画部, ３４１ 直線

Claims (13)

1. ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する画像生成部
   を備える画像処理装置。
2. 前記画像生成部は、前記２視点の位置を示す視点情報に基づいて、前記所定の視点のテクスチャ画像を生成する
   ように構成された
   請求項１に記載の画像処理装置。
3. 前記ポリゴンは、前記ポリゴンに対応する被写体の周囲に配置され、前記被写体の少なくとも一部を撮影範囲に含む複数の撮影装置により取得された撮影画像と前記撮影画像に対応するデプス画像とを用いて生成される
   ように構成された
   請求項１に記載の画像処理装置。
4. 前記画像生成部は、前記複数の撮影装置により取得された前記撮影画像を用いて生成された全天球画像のテクスチャ画像と、前記複数の撮影装置により取得された前記撮影画像に対応するデプス画像を用いて生成された前記全天球画像のデプス画像とを用いて、前記所定の視点のテクスチャ画像を生成する
   ように構成された
   請求項３に記載の画像処理装置。
5. 画像処理装置が、
   ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することにより得られるテクスチャ画像と、各視点の前記テクスチャ画像に対応するデプス画像とを用いて、所定の視点のテクスチャ画像を生成する画像生成ステップ
   を含む画像処理方法。
6. ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像を生成し、各視点の前記テクスチャ画像に対応するデプス画像を生成する画像生成部
   を備える画像処理装置。
7. 前記２視点の位置を示す視点情報を生成する視点情報生成部
   をさらに備える
   請求項６に記載の画像処理装置。
8. 前記視点情報生成部は、複数の前記視点情報を生成し、
   前記画像生成部は、前記視点情報生成部により生成された前記視点情報ごとに、前記２視点のテクスチャ画像を生成し、前記複数の視点情報のうちの、前記２視点のテクスチャ画像を生成する際に投影される前記ポリゴンの裏面の領域が最も大きい視点情報に対応する前記２視点のテクスチャ画像を最終的な前記２視点のテクスチャ画像とし、最終的な前記２視点のテクスチャ画像それぞれに対応するデプス画像を生成する
   ように構成された
   請求項７に記載の画像処理装置。
9. 前記２視点は、所定の２視点を結ぶ前記ポリゴンの中心を通る直線を、前記ポリゴンの中心を軸として少なくとも一方向に所定量ずつ回転させることにより決定される
   ように構成された
   請求項８に記載の画像処理装置。
10. 前記視点情報生成部は、前記最終的な２視点のテクスチャ画像それぞれに対応する視点情報を出力する
    ように構成された
    請求項８に記載の画像処理装置。
11. 前記ポリゴンに対応する被写体の周囲に配置され、前記被写体の少なくとも一部を撮影範囲に含む複数の撮影装置により取得された撮影画像と、前記撮影画像に対応するデプス画像とを用いて、前記ポリゴンを生成するポリゴン生成部
    をさらに備える
    請求項６に記載の画像処理装置。
12. 前記複数の撮影装置により取得された前記撮影画像を用いて、全天球画像のテクスチャ画像を生成し、前記複数の撮影装置により取得された前記撮影画像に対応するデプス画像を用いて、前記全天球画像のデプス画像を生成する全天球画像生成部
    をさらに備える
    請求項１１に記載の画像処理装置。
13. 画像処理装置が、
    ポリゴンの中心に対して対向する２視点のそれぞれについて各視点から前記ポリゴンの中心に向かう視線方向に垂直な投影面に前記ポリゴンの裏面を投影することによりテクスチャ画像を生成し、各視点の前記テクスチャ画像に対応するデプス画像を生成する画像生成ステップ
    を含む画像処理方法。

Images