以下、本開示を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態:画像処理システム(図1乃至図8)
2.第2実施の形態:コンピュータ(図9)
3.応用例(図10および図11)
<第1実施の形態>
(画像処理システムの第1実施の形態の構成例)
図1は、本開示を適用した画像処理システムの第1実施の形態の構成例を示すブロック図である。
図1の画像処理システム10は、撮像装置11、符号化装置12(画像処理装置)、復号装置13(画像処理装置)、および表示装置14により構成される。画像処理システム10は、撮像装置11により取得されたカラー画像とデプス画像を用いて、表示視点のカラー画像を生成し、表示する。
具体的には、画像処理システム10の撮像装置11は、例えば、マルチカメラ、測距測定器、および画像処理部により構成される。撮像装置11のマルチカメラは、複数のカメラにより構成され、各カメラで少なくとも一部が共通する被写体のカラー画像の動画像を撮像する。測距測定器は、例えば、各カメラに設けられ、そのカメラと同一の視点のデプス画像の動画像を生成する。
撮像装置11の画像処理部は、フレーム単位で、各カメラのカラー画像およびデプス画像の動画像、並びに、各カメラの外部パラメータおよび内部パラメータを用いて、Visual Hull等を算出することにより、被写体の3Dモデルを生成する。画像処理部は、3Dモデルを構成する各ポリゴンメッシュの頂点(Vertex)の3次元位置と頂点間のつながりとを示す形状情報(Geometry)と、各ポリゴンメッシュの色情報とを、被写体の3Dデータとして生成する。なお、3Dデータは、形状情報と各カメラのカラー画像とにより構成されてもよい。
画像処理部における3Dデータの生成方法としては、例えば、非特許文献1等に記載されている方法を採用することができる。画像処理部は、3Dデータを符号化装置12に供給する。
符号化装置12は、変換部21、符号化部22、記憶部23、および送信部24により構成される。
符号化装置12の変換部21は、生成する所定の視点数のカラー画像の視点とデプス画像の視点を決定する。生成するカラー画像の視点数とデプス画像の視点数は、異なっていても、同一であってもよい。生成するカラー画像の視点数とデプス画像の視点数は、ユーザ入力、符号化装置12と復号装置13の間の伝送路の状況等に応じて決定され、ここでは、撮像装置11のマルチカメラの視点数より少ない数であるものとする。
変換部21は、決定されたカラー画像の視点およびデプス画像の視点の仮想カメラの外部パラメータおよび内部パラメータを生成する。変換部21は、カラー画像の各仮想カメラの外部パラメータおよび内部パラメータに基づいて、撮像装置11から供給されるフレーム単位の3Dデータから、各仮想カメラにより撮影されるフレーム単位のカラー画像を生成する。また、変換部21は、デプス画像の各仮想カメラの外部パラメータおよび内部パラメータに基づいて、フレーム単位の3Dデータから、各仮想カメラにより撮影されるフレーム単位のカラー画像に対応するデプス画像を生成する。
3Dデータからカラー画像やデプス画像を生成する方法としては、例えば、谷本正幸、「究極の映像通信を目指して」電子情報通信学会技術研究報告. CS, 通信方式 110(323), 73-78, 2010-11-25等に記載されている方法を採用することができる。変換部21は、各仮想カメラのカラー画像とデプス画像を符号化部22に供給する。また、変換部21は、カラー画像とデプス画像のそれぞれに対応する各仮想カメラの外部カメラパラメータおよび内部パラメータを仮想視点情報として記憶部23に供給する。
符号化部22は、変換部21から供給される各仮想カメラのカラー画像とデプス画像を符号化する。符号化方式としては、AVC(Advanced Video Coding)方式、HEVC(High Efficiency Video Coding)方式等を採用することができる。符号化部22は、符号化の結果得られる符号化ストリームを記憶部23に供給する。
記憶部23は、変換部21から供給される仮想視点情報と、符号化部22から供給される符号化ストリームとを記憶する。
送信部24は、記憶部23に記憶されている仮想視点情報と符号化ストリームを読み出し、復号装置13に送信する。
復号装置13は、受信部31、復号部32、再構成部33、および描画部34により構成される。復号装置13には、表示装置14を視聴するユーザから表示視点の外部パラメータおよび内部パラメータが入力され、表示視点情報として再構成部33と描画部34に供給される。
復号装置13の受信部31は、符号化装置12の送信部24から伝送されてくる仮想視点情報と符号化ストリームを受信する。受信部31は、仮想視点情報を再構成部33に供給し、符号化ストリームを復号部32に供給する。
復号部32は、受信部31から供給される符号化ストリームを、符号化部22における符号化方式に対応する方式で復号する。復号部32は、その結果得られる各仮想カメラのカラー画像とデプス画像を再構成部33に供給する。
再構成部33は、仮想視点情報と表示視点情報とに基づいて、各仮想カメラの優先順位を決定する。再構成部33は、復号装置13のリソース情報に基づいて、3Dモデルの生成に用いるカラー画像とデプス画像の視点数を決定する。再構成部33は、カラー画像の各仮想カメラの優先順位に基づいて、決定されたカラー画像の視点数のカラー画像の仮想カメラを、カラー画像用選択カメラとして選択する。また、再構成部33は、デプス画像の各仮想カメラの優先順位に基づいて、決定されたデプス画像の視点数のデプス画像の仮想カメラを、デプス画像用選択カメラとして選択する。
再構成部33は、仮想視点情報のうちのカラー画像用選択カメラとデプス画像用選択カメラの内部パラメータおよび外部パラメータ、並びに、カラー画像用選択カメラのカラー画像およびデプス画像用選択カメラのデプス画像を用いて、撮像装置11の画像処理部と同様に、3Dデータを再構成する。再構成部33は、3Dデータを描画部34に供給する。
描画部34(生成部)は、表示視点情報に基づいて、変換部21と同様に、再構成部33から供給される3Dデータから、表示視点のカラー画像を表示画像として生成し、表示装置14に供給する。
表示装置14は、2次元ヘッドマウントディスプレイ(HMD)や2次元モニタなどにより構成される。表示装置14は、再構成部33から供給される表示画像に基づいて表示画像を2次元表示する。
なお、表示装置14は、3次元ヘッドマウントディスプレイや3次元モニタなどにより構成されてもよい。この場合、描画部34は、表示視点情報に基づいて、変換部21と同様に、3Dデータから表示視点のデプス画像を生成し、表示装置14に供給する。表示装置14は、描画部34から供給される表示画像とデプス画像に基づいて表示画像を3次元表示する。
また、図1の例では、3DモデルがVisual Hull等を算出することにより生成されたが、ポイントクラウドにより生成されるようにしてもよい。この場合、3Dデータは、各ポイントクラウドの3次元位置および色情報、または、各ポイントクラウドの3次元位置および各カメラのカラー画像により構成される。
(変換部の構成例)
図2は、図1の変換部21の構成例を示すブロック図である。
図2の変換部21は、視点決定部41と画像生成部42により構成される。
変換部21の視点決定部41は、候補となる視点の中から、等間隔で、生成する3Dモデルのカラー画像の視点数の視点を選択し、カラー画像の視点に決定する。
また、視点決定部41は、生成する3Dモデルのカラー画像の視点数とデプス画像の視点数の大小関係と図1の撮像装置11から供給される3Dデータとに基づいて、生成する3Dモデルのデプス画像の視点数のデプス画像の視点を決定する。
具体的には、視点決定部41は、生成する3Dモデルのカラー画像の視点数がデプス画像の視点数より少ない場合、3Dデータに基づいて、候補となる視点ごとに、その視点の画面へ3Dモデルを投影する。そして、視点決定部41は、3Dモデルを構成する各ポリゴンメッシュが投影された画面上の領域の面積の分布を計算する。視点決定部41は、分布の一様度が最も高い視点から順にデプス画像の視点数の視点を選択し、デプス画像の視点に決定する。
これにより、決定されたデプス画像の各視点の画面に投影されるポリゴンメッシュの画面上の領域の面積が均等になる。その結果、復号装置13において、ポイントクラウドにより3Dモデルを生成する場合、ポイントクラウドの粗密の発生を抑制し、3Dモデルの形状の精度を向上させることができる。従って、視点決定部41により決定されるデプス画像の視点は、3Dモデルの生成に適したデプス画像の視点である。
以上のように、カラー画像の視点数がデプス画像の視点数より少ない場合、カラー画像で表現される3Dモデルの領域が、デプス画像で表現される3Dモデルの領域に比べて少ないため、デプス画像の精度を向上させるように、デプス画像の視点が決定される。その結果、3Dモデルを高精度で再構成することができる。
また、視点決定部41は、生成する3Dモデルのカラー画像の視点数がデプス画像の視点数より多い場合、3Dデータに基づいて、候補となる視点ごとに、その視点の画面へ3Dモデルを投影する。そして、視点決定部41は、画面に投影された3Dモデルを構成する各ポリゴンメッシュに付与されているIDなどに基づいて、画面に投影されたポリゴンメッシュの数を求める。視点決定部41は、画面に投影されたポリゴンメッシュの数が最も多い視点から順に、デプス画像の視点数の視点を選択し、デプス画像の視点に決定する。
これにより、決定されたデプス画像の各視点のオクルージョン領域が少なくなる。その結果、3Dモデルの形状の精度を向上させることができる。従って、視点決定部41により決定されるデプス画像の視点は、3Dモデルの生成に適したデプス画像の視点である。
以上のように、カラー画像の視点数がデプス画像の視点数より多い場合、カラー画像で表現される3Dモデルの領域が、デプス画像で表現される3Dモデルの領域に比べて多いため、デプス画像で表現される3Dモデルの領域が大きくなるように、デプス画像の視点が決定される。その結果、3Dモデルを高精度で再構成することができる。
さらに、カラー画像の視点数とデプス画像の視点数が同一である場合、視点決定部41は、カラー画像の視点を、デプス画像の視点に決定する。これにより、デプス画像の視点は、等間隔の視点になる。従って、デプス画像の視点は、冗長な視点を含まず、3Dモデルの生成に適している。
視点決定部41は、決定されたカラー画像の視点とデプス画像の視点の外部パラメータおよび内部パラメータを仮想視点情報として生成し、画像生成部42と図1の記憶部23に供給する。また、視点決定部41は、3Dデータを画像生成部42に供給する。
画像生成部42は、視点決定部41から供給される仮想視点情報のうちのカラー画像の各視点の外部パラメータと内部パラメータに基づいて、3Dデータから各視点のカラー画像を生成し、図1の符号化部22に供給する。また、画像生成部42は、仮想視点情報のうちのデプス画像の各視点の外部パラメータと内部パラメータに基づいて、3Dデータから各視点のデプス画像を生成し、符号化部22に供給する。
なお、カラー画像の視点の候補とデプス画像の視点の候補は、撮像装置11のマルチカメラの各視点と同一であってもよいし、異なっていてもよい。カラー画像の視点の候補とデプス画像の視点の候補が、撮像装置11のマルチカメラの各視点と同一である場合、変換部21により、撮像装置11により取得されたカラー画像とデプス画像が間引かれたことになる。従って、この場合、撮像装置11により取得されたカラー画像とデプス画像の符号化ストリームを全て復号装置13に送信する場合に比べて、伝送量を削減することができる。その結果、符号化ストリームの送信速度が向上し、復号装置13において、高フレームレートの表示画像を生成することができる。
(デプス画像の視点の決定方法の説明)
図3は、カラー画像とデプス画像の視点数が同一である場合のデプス画像の視点の決定方法を説明する図である。
図3の例では、図3の左側に示すように、3Dモデル61のデプス画像の候補となる視点の仮想カメラは、等間隔で並ぶN+1個の仮想カメラ71−0乃至71−N(Nは3の倍数)である。
カラー画像とデプス画像の視点数が同一である場合、視点決定部41は、カラー画像の視点と同様に、図3の右上に示すように、各仮想カメラの視点間の間隔が等間隔になるように、仮想カメラ71−0乃至71−Nの視点からデプス画像の視点を決定する。図3の例では、視点決定部41は、仮想カメラ71−0乃至71−Nの視点を2つおきに選択し、選択された仮想カメラ71−0、仮想カメラ71−3、仮想カメラ71−6、...、仮想カメラ71−Nの視点をデプス画像の視点に決定している。この場合、間隔が狭い視点どうしは、デプス画像の視点に決定されないため、デプス画像の視点の冗長性を抑制することができる。
なお、視点決定部41は、図3の右下に示すように、デプス画像の隣接する視点のどうしの間隔を3Dモデル61に基づいて決定し、決定された間隔に基づいて、仮想カメラ71−0乃至71−Nの視点からデプス画像の視点を決定するようにしてもよい。
この場合、例えば、視点決定部41は、画面に投影される3Dモデル61の形状が複雑である視点と、その視点に隣接する視点との間隔が狭くなるように、デプス画像の各視点の間隔を決定する。図3の例では、仮想カメラ71−6の視点の画面に投影される3Dモデル61の形状が最も複雑になっている。従って、図3の例では、仮想カメラ71−4乃至71−6が連続して、デプス画像の視点に決定されている。
なお、デプス画像の隣接する視点どうしの間隔を決定する際に用いられる情報は、視聴者において重要な度合を表す情報であれば、3Dモデル61の形状の複雑度以外であってもよい。例えば、視点決定部41は、候補となる各視点の画面に投影される3Dモデル61の誘目度などに基づいて、誘目度が高い視点ほど、隣接する視点との間隔が狭くなるように、デプス画像の各視点の間隔を決定してもよい。
また、図3の右下に示すようにデプス画像の視点が決定される場合、カラー画像の視点は、デプス画像の視点と同一であってもよいし、等間隔の視点であってもよい。
(外部パラメータの構成例)
図4は、仮想視点情報のうちの外部パラメータの構成例を示す図である。
図4に示すように、仮想視点情報のうちの外部パラメータは、カラー画像とデプス画像の各仮想カメラに固有のIDであるカメラIDに、その仮想カメラの外部パラメータである回転行列Rと位置ベクトルTを対応付けることにより構成される。なお、図示は省略するが、仮想視点情報のうちの内部パラメータも、外部パラメータと同様に、カメラIDに対応付けることにより構成される。
(符号化装置の処理の説明)
図5は、図1の符号化装置12の符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮像装置11からフレーム単位で3Dデータが供給されたとき、開始される。
図5のステップS10において、変換部21の視点決定部41(図2)は、所定の方法で、候補となる視点の中から、生成するカラー画像の視点数のカラー画像の視点を決定する。
ステップS11において、視点決定部41は、生成するカラー画像の視点数とデプス画像の視点数の大小関係と撮像装置11から供給される3Dデータとに基づいて、生成するデプス画像の視点数のデプス画像の視点を決定する。
ステップS12において、視点決定部41は、ステップS10で決定されたカラー画像の視点とステップS11で決定されたデプス画像の視点の外部パラメータおよび内部パラメータを仮想視点情報として生成し、画像生成部42と記憶部23に供給する。また、視点決定部41は、3Dデータを画像生成部42に供給する。
ステップS13において、記憶部23は、視点決定部41から供給される仮想視点情報を記憶する。
ステップS14において、画像生成部42は、視点決定部41から供給される仮想視点情報に基づいて、3Dデータから、ステップS10で決定された各視点のカラー画像と、ステップS11で決定された各視点のデプス画像を生成する。画像生成部42は、各視点のカラー画像とデプス画像を符号化部22に供給する。
ステップS15において、符号化部22は、変換部21から供給される各視点のカラー画像とデプス画像を符号化する。符号化部22は、符号化の結果得られる符号化ストリームを記憶部23に供給する。
ステップS16において、記憶部23は、符号化部22から供給される符号化ストリームを記憶する。
ステップS17において、送信部24は、記憶部23に記憶されている仮想視点情報と符号化ストリームを読み出し、復号装置13に送信する。そして、処理は終了する。
なお、図5の例では、フレームごとにカラー画像とデプス画像の視点が変化するようにしたが、カラー画像とデプス画像の視点の更新間隔は、フレームごとに限定されない。
以上のように、符号化装置12は、候補となる視点の画面に投影された3Dモデルに基づいて、候補となる視点を3Dモデルのデプス画像の視点に決定する。従って、符号化装置12は、候補となる視点から、3Dモデルの生成に適したデプス画像の視点を選択することができる。その結果、符号化装置12は、3Dモデルの生成に適した視点のデプス画像のみを復号装置13に送信することができる。従って、復号装置13は、そのデプス画像を用いて3Dモデルを生成することにより、3Dモデルの生成に適していないデプス画像も用いて3Dモデルを生成する場合に比べて、3Dモデルの生成処理の負荷を軽減し、3Dモデルの生成速度を向上させることができる。
なお、生成するカラー画像とデプス画像の視点数の大小関係は、常に同一であってもよい。即ち、生成するカラー画像の視点数は、生成するデプス画像の視点数より常に多くてもよいし、生成するカラー画像の視点数は、生成するデプス画像の視点数より常に少なくてもよい。
(再構成部の構成例)
図6は、図1の再構成部33の構成例を示すブロック図である。
図6の再構成部33は、リソース情報取得部81、優先順位決定部82、選択部83、および形状復元部84により構成される。
再構成部33のリソース情報取得部81は、復号装置13の再構成部33や描画部34等を実現するCPU(Central Processing Unit)やGPU(Graphics Processing Unit)等のリソースの負荷状況を示すリソース情報を取得し、優先順位決定部82に供給する。
優先順位決定部82は、図1の受信部31から供給される仮想視点情報と、復号装置13に入力される表示視点情報とに基づいて、各仮想カメラの優先順位を決定する。優先順位決定部82は、リソース情報取得部81から供給されるリソース情報に基づいて、3Dデータのリアルタイム生成に用いることが可能なカラー画像とデプス画像のデータ量を算出する。優先順位決定部82は、そのデータ量に対応するカラー画像とデプス画像の視点数を、3Dデータの生成に用いるカラー画像とデプス画像の視点数として決定する。
優先順位決定部82は、カラー画像の各仮想カメラの優先順位に基づいて、優先順位の高い方から順に、決定されたカラー画像の視点数のカラー画像の仮想カメラをカラー画像用選択カメラとして選択する。同様に、優先順位決定部82は、デプス画像の仮想カメラをデプス画像用選択カメラとして選択する。優先順位決定部82は、カラー画像用選択カメラとデプス画像用選択カメラのカメラIDを選択部83に供給し、内部パラメータおよび外部パラメータを形状復元部84に供給する。
なお、カラー画像用選択カメラの数は、カラー画像の仮想カメラの総数以下であり、デプス画像用選択カメラの数は、デプス画像の仮想カメラの総数以下である。カラー画像用選択カメラ(デプス画像用選択カメラ)の数がカラー画像(デプス画像)の仮想カメラの総数より小さい場合、後述する選択部83は、カラー画像(デプス画像)を間引くことになる。カラー画像用選択カメラとデプス画像用選択カメラの数は、同一であっても、異なっていてもよい。
選択部83は、優先順位決定部82から供給されるカラー画像用選択カメラのカメラIDに基づいて、図1の復号部32から供給されるカラー画像から、カラー画像用選択カメラの視点のカラー画像を選択し、形状復元部84に供給する。選択部83は、優先順位決定部82から供給されるデプス画像用選択カメラのカメラIDに基づいて、復号部32から供給されるデプス画像から、デプス画像用選択カメラの視点のデプス画像を選択し、形状復元部84に供給する。
形状復元部84は、優先順位決定部82から供給される内部パラメータおよび外部パラメータ、並びに、選択部83から供給されるカラー画像およびデプス画像を用いて、撮像装置11の画像処理部と同様に、3Dデータを再構成する。形状復元部84は、3Dデータを図1の描画部34に供給する。
(優先順位の決定方法)
図7は、図6の優先順位決定部82によるデプス画像の仮想カメラの優先順位の決定方法を説明する図である。
図7の例では、デプス画像の仮想カメラが、M個の仮想カメラ91−0乃至91−Mであり、表示視点情報に対応する仮想カメラが、仮想カメラ100である。
この場合、優先順位決定部82は、例えば、図7の左側に示すように、仮想カメラ100と撮影角度が近い仮想カメラの優先順位が高くなるように、仮想カメラ91−0乃至91−Mのそれぞれに対して優先順位を決定する。これにより、仮想カメラ91−0乃至91−Mのうちの、仮想カメラ100とのなす角が最も小さいθ5である仮想カメラ91−5の優先順位が1番に決定され、次に小さいθ4である仮想カメラ91−4の仮想順位が2番に決定される。以降も同様に行われ、仮想カメラ100とのなす角が最も大きいθMである仮想カメラ91−Mの優先順位がM番に決定される。なお、図7において、三角形は仮想カメラを示し、仮想カメラを示す三角形の中の番号は、その仮想カメラの優先順位である。
ここで、優先順位決定部82が、リソース情報に基づいて、3Dデータの生成に用いるデプス画像の視点数を4に決定すると、図7の右側に示すように、優先順位が1乃至4である仮想カメラ91−3乃至91−6をデプス画像用選択カメラとして選択する。その結果、仮想カメラ91−3乃至91−6のみを用いて3Dモデル101の3Dデータが再構成される。この場合、3Dモデル101の側面や裏面は高精度で再構成することができないが、表示画像には投影されないため問題はない。
なお、優先順位の決定に用いられる情報は、仮想カメラ100との近さを示す情報であれば、撮影角度に限定されない。例えば、優先順位決定部82は、仮想カメラ100と位置が近い仮想カメラ、即ち仮想カメラ100とのユークリッド距離が小さい仮想カメラの優先順位が高くなるように、仮想カメラ91−0乃至91−Mのそれぞれに対して優先順位を決定するようにしてもよい。また、優先順位決定部82は、仮想カメラ91−0乃至91−Mの撮影角度および位置の両方に基づいて、仮想カメラ91−0乃至91−Mの優先順位を決定するようにしてもよい。
以上のように、優先順位決定部82は、仮想カメラ100とのなす角やユークリッド距離が近い仮想カメラの優先順位が高くなるように、仮想カメラ91−0乃至91−Mの優先順位を決定する。従って、優先順位決定部82は、表示画像に投影される3Dモデル101の領域を画面に投影する仮想カメラを優先的に用いて、3Dモデル101を再構成することができる。その結果、符号化ストリームに対応する全てのデプス画像を用いて3Dモデル101をリアルタイムで再構成することができない場合であっても、部分的に再構成された3Dモデル101を用いて、高画質の表示画像をリアルタイムで生成することができる。
カラー画像の仮想カメラの優先順位の決定方法およびカラー画像用選択カメラの選択方法は、デプス画像の仮想カメラの優先順位の決定方法およびデプス画像用選択カメラの選択方法と同一であるので、説明は省略する。
(復号装置の処理の説明)
図8は、図1の復号装置13の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置12の送信部24からフレーム単位で符号化ストリームと仮想視点情報が伝送されてきたとき、開始される。
図8のステップS31において、復号装置13の受信部31は、送信部24から伝送されてくる仮想視点情報と符号化ストリームを受信する。受信部31は、仮想視点情報を再構成部33に供給し、符号化ストリームを復号部32に供給する。
ステップS32において、復号部32は、受信部31から供給される符号化ストリームを、符号化部22における符号化方式に対応する方式で復号する。復号部32は、その結果得られる各仮想カメラのカラー画像とデプス画像を再構成部33に供給する。
ステップS33において、再構成部33のリソース情報取得部81(図6)は、リソース情報を取得し、優先順位決定部82に供給する。
ステップS34において、優先順位決定部82は、受信部31から供給される仮想視点情報と復号装置13に入力される表示視点情報とに基づいて、各仮想カメラの優先順位を決定する。
ステップS35において、優先順位決定部82は、リソース情報に基づいて、3Dデータのリアルタイム生成に用いることが可能なカラー画像とデプス画像のデータ量に対応する視点数を、3Dデータの生成に用いるカラー画像とデプス画像の視点数として決定する。
ステップS36において、優先順位決定部82は、カラー画像の各仮想カメラの優先順位に基づいて、優先順位の高い方から順に、ステップS35で決定されたカラー画像の視点数のカラー画像の仮想カメラをカラー画像用選択カメラとして選択する。同様に、優先順位決定部82は、デプス画像の仮想カメラをデプス画像用選択カメラとして選択する。優先順位決定部82は、カラー画像用選択カメラとデプス画像用選択カメラのカメラIDを選択部83に供給し、内部パラメータおよび外部パラメータを形状復元部84に供給する。
ステップS37において、選択部83は、優先順位決定部82から供給されるカラー画像用選択カメラのカメラIDに基づいて、復号部32から供給されるカラー画像から、カラー画像用選択カメラのカラー画像を選択し、形状復元部84に供給する。選択部83は、優先順位決定部82から供給されるデプス画像用選択カメラのカメラIDに基づいて、復号部32から供給されるデプス画像から、デプス画像用選択カメラのデプス画像を選択し、形状復元部84に供給する。
ステップS38において、形状復元部84は、優先順位決定部82から供給される内部パラメータおよび外部パラメータ、並びに、ステップS37で選択されたカラー画像およびデプス画像を用いて、撮像装置11の画像処理部と同様に、3Dデータを再構成する。形状復元部84は、3Dデータを描画部34に供給する。
ステップS39において、描画部34は、表示視点情報に基づいて、変換部21と同様に、再構成部33から供給される3Dデータから、表示視点のカラー画像を表示画像として生成し、表示装置14に供給する。そして、処理は終了する。
以上のように、復号装置13は、表示視点情報に基づいて、符号化装置12から伝送されてくる符号化ストリームに対応する複数の視点のデプス画像から所定の視点のデプス画像を選択する。従って、復号装置13は、表示画像の生成に用いられる3Dモデルの生成に適した視点のデプス画像を選択することができる。
また、復号装置13は、選択された所定の視点のデプス画像を用いて3Dモデルを再構成するので、例えば、3Dモデルの再構成に用いるデプス画像を、符号化ストリームに対応するデプス画像から間引くことができる。これにより、3Dモデルの生成処理速度を向上させることができる。その結果、高フレームレートの表示画像を生成することができる。
さらに、復号装置13は、選択されたデプス画像を用いて再構成された3Dモデルを用いて表示画像を生成するので、高画質の表示画像を生成することができる。
<第2実施の形態>
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図9は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ200において、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、及びドライブ210が接続されている。
入力部206は、キーボード、マウス、マイクロフォンなどよりなる。出力部207は、ディスプレイ、スピーカなどよりなる。記憶部208は、ハードディスクや不揮発性のメモリなどよりなる。通信部209は、ネットワークインタフェースなどよりなる。ドライブ210は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア211を駆動する。
以上のように構成されるコンピュータ200では、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ200(CPU201)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア211に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ200では、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
なお、コンピュータ200が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
<応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図10は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図10に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図10では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図11は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図11には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920〜7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図10に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE−A(LTE−Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi−Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図10の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図10に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
なお、図1乃至8を用いて説明した本実施形態に係る画像処理システム10の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム7000において、図1乃至8を用いて説明した本実施形態に係る画像処理システム10は、図10に示した応用例の車両制御システム7000に適用することができる。例えば、撮像装置11は、撮像部7410に相当し、符号化装置12および復号装置13は、一体化されて統合制御ユニット7600に相当し、表示装置14は表示部7720に相当する。
また、図1乃至8を用いて説明した符号化装置12および復号装置13の少なくとも一部の構成要素は、図10に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図1乃至8を用いて説明した画像処理システム10が、図10に示した車両制御システム7000の複数の制御ユニットによって実現されてもよい。
さらに、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本開示は、以下のような構成もとることができる。
(1)
候補となる視点の画面に投影された3Dモデルに基づいて、前記候補となる視点を前記3Dモデルのデプス画像の視点に決定する視点決定部
を備える画像処理装置。
(2)
前記視点決定部は、前記3Dモデルのカラー画像の視点数が前記デプス画像の視点数より少ない場合、前記3Dモデルを構成する各ポリゴンが投影された前記画面上の領域の面積の一様度が高い前記候補となる視点を、前記デプス画像の視点に決定する
ように構成された
前記(1)に記載の画像処理装置。
(3)
前記視点決定部は、前記3Dモデルのカラー画像の視点数が前記デプス画像の視点数より多い場合、前記画面に投影された前記3Dモデルを構成するポリゴンの数が多い前記候補となる視点を、前記デプス画像の視点に決定する
ように構成された
前記(1)または(2)に記載の画像処理装置。
(4)
表示画像の視点に基づいて、3Dモデルの複数の視点のデプス画像から所定の視点のデプス画像を選択する選択部と、
前記選択部により選択された前記所定の視点のデプス画像と前記3Dモデルのカラー画像とを用いて、前記表示画像を生成する生成部と
を備える画像処理装置。
(5)
前記表示画像の視点に基づいて、前記複数の視点のそれぞれに対して優先順位を決定する優先順位決定部
をさらに備え、
前記選択部は、前記優先順位決定部により決定された前記優先順位と前記画像処理装置のリソース情報とに基づいて、前記所定の視点のデプス画像を選択する
ように構成された
前記(4)に記載の画像処理装置。
(6)
前記優先順位決定部は、前記表示画像の視点と位置または角度が近い視点の前記優先順位が高くなるように、前記優先順位を決定する
ように構成された
前記(5)に記載の画像処理装置。
(7)
前記選択部は、複数の視点の前記カラー画像から所定の視点のカラー画像を選択し、
前記生成部は、前記選択部により選択された前記所定の視点のデプス画像と前記所定の視点のカラー画像とを用いて、前記表示画像を生成する
ように構成された
前記(4)乃至(6)のいずれかに記載の画像処理装置。
(8)
画像処理装置が、
表示画像の視点に基づいて、3Dモデルの複数の視点のデプス画像から所定の視点のデプス画像を選択する選択ステップと、
前記選択ステップの処理により選択された前記所定の視点のデプス画像と前記3Dモデルのカラー画像とを用いて、前記表示画像を生成する生成ステップと
を含む画像処理方法。