以下、本開示を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.第1実施の形態:画像処理システム(図1乃至図10)
2.第2実施の形態:画像処理システム(図11)
3.第3実施の形態:画像処理システム(図12および図13)
4.第4実施の形態:画像処理システム(図14乃至図19)
5.第5実施の形態:画像処理システム(図20)
6.第6実施の形態:画像処理システム(図21)
7.第7実施の形態:コンピュータ(図22)
8.応用例(図23および図24)
<第1実施の形態>
(画像処理システムの構成例)
図1は、本開示を適用した画像処理システムの第1実施の形態の構成例を示すブロック図である。
図1の画像処理システム10は、撮像装置11、符号化装置12(画像処理装置)、復号装置13(画像処理装置)、および表示装置14により構成される。画像処理システム10は、撮像装置11により取得されたカラー画像とデプス画像を用いて、表示視点のカラー画像を生成し、表示する。
具体的には、画像処理システム10の撮像装置11は、例えば、マルチカメラ、測距測定器、および画像処理部により構成される。撮像装置11のマルチカメラは、複数のカメラにより構成され、各カメラで少なくとも一部が共通する被写体のカラー画像の動画像を撮像する。測距測定器は、例えば、各カメラに設けられ、そのカメラと同一の視点のデプス画像の動画像を生成する。
撮像装置11の画像処理部は、フレーム単位で、各カメラの視点のカラー画像およびデプス画像の動画像、並びに、各カメラの外部パラメータおよび内部パラメータを用いて、Visual Hull等を算出することにより、被写体の3Dモデルを生成する。画像処理部は、3Dモデルを構成する各ポリゴンメッシュの頂点(Vertex)の3次元位置および頂点間のつながりを示す形状情報(Connectivity)と、そのポリゴンメッシュの色情報とを被写体の3Dデータとして生成する。
画像処理部における3Dデータの生成方法としては、例えば、非特許文献1等に記載されている方法を採用することができる。なお、3Dデータは、形状情報と各カメラの視点のカラー画像とにより構成されてもよい。画像処理部は、3Dデータを符号化装置12に供給する。
符号化装置12は、変換部21、生成部22、符号化部23、記憶部24、および送信部25により構成される。
符号化装置12の変換部21は、生成する3Dモデルのカラー画像とデプス画像の複数の視点を決定する。ここでは、生成するカラー画像とデプス画像の視点は同一であるものとするが、カラー画像とデプス画像の視点および視点数は異なっていてもよい。
変換部21は、決定された複数の視点の仮想カメラの外部パラメータおよび内部パラメータを生成する。変換部21は、各仮想カメラの外部パラメータおよび内部パラメータに基づいて、撮像装置11から供給されるフレーム単位の3Dデータから、各仮想カメラにより取得されるフレーム単位のカラー画像と、そのカラー画像に対応するデプス画像とを生成する。
3Dデータからカラー画像やデプス画像を生成する方法としては、例えば、谷本正幸、「究極の映像通信を目指して」電子情報通信学会技術研究報告. CS, 通信方式 110(323), 73-78, 2010-11-25等に記載されている方法を採用することができる。
デプス画像は、例えば、視点と各画素における被写体との奥行き方向の距離Zを量子化した値を画素値とする画像にすることができる。この場合、デプス画像の各画素の画素値pは、例えば、以下の式(1)で表される。
なお、Zmin,Zmaxは、それぞれ、距離Zの最小値、最大値である。また、bitdepthは、画素値pのビット幅である。式(1)によれば、画素値pは、最小値Zminから最大値Zmaxまでの範囲の距離Zをビット幅bitdepthのビットに量子化した値である。画素値pが大きいほど、距離Zは大きく(被写体が視点から遠く)、画素値pが小さいほど、距離Zは小さい(被写体が視点から近い)。最小値Zminと最大値Zmaxは、視点ごとに異なっていてもよいし、全ての視点で同一であってもよい。
また、デプス画像は、各画素の距離Zの逆数1/Zを量子化した値を画素値とする画像にすることもできる。この場合、デプス画像の各画素の画素値pは、以下の式(2)で表される。
式(2)によれば、画素値pは、最小値1/Zmaxから最大値1/Zminまでの範囲の逆数1/Zをビット幅bitdepthのビットに量子化した値である。画素値pが小さいほど、距離Zは大きく(被写体が視点から遠く)、画素値pが大きいほど、距離Zは小さい(被写体が視点から近い)。
なお、画素値pを求める計算式は、式(1)や式(2)以外であってもよい。画素値pを求める計算式は、視点ごとに異なってもよいし、全ての視点で同一であってもよい。
変換部21は、各仮想カメラのカラー画像を生成部22と符号化部23に供給し、デプス画像を符号化部23に供給する。また、変換部21は、各仮想カメラの外部パラメータおよび内部パラメータを仮想視点情報として記憶部24に供給する。
生成部22は、仮想カメラごとに、変換部21から供給されるカラー画像から、その仮想カメラの視点の前景に関する前景情報として、前景のシルエットを示すシルエット画像を生成する。具体的には、生成部22は、仮想カメラごとに、変換部21から供給される3Dモデル全体のカラー画像から背景のカラー画像を抽出する。そして、生成部22は、仮想カメラごとに、3Dモデル全体のカラー画像と背景のカラー画像との差分をシルエット画像として生成する。これにより、シルエット画像は、各仮想カメラの3Dモデル全体のカラー画像内の前景の3Dモデルが投影される前景領域だけ白く(画素値が255であり)、その他の背景領域は黒い(画素値が0である)画像になる。
なお、シルエット画像の前景領域の画素値は、その前景領域に対応する前景の3Dモデルに付与されたIDであってもよい。生成部22は、変換部21から供給されるデプス画像を輝度成分とし、シルエット画像を色成分とするYUV420のデプス関連画像を生成し、符号化部23に供給する。
符号化部23は、変換部21から供給される各仮想カメラのカラー画像と、生成部22から供給される各仮想カメラのデプス関連画像を符号化する。符号化方式としては、AVC(Advanced Video Coding)方式、HEVC(High Efficiency Video Coding)方式等を採用することができる。符号化部23は、符号化の結果得られる符号化ストリームを記憶部24に供給する。
記憶部24は、変換部21から供給される仮想視点情報と、符号化部23から供給される符号化ストリームとを記憶する。
送信部25は、記憶部24に記憶されている仮想視点情報をメタデータとして読み出し、復号装置13に伝送するとともに、符号化ストリームを読み出し、復号装置13に伝送する。
以上のように、符号化装置12は、デプス画像とシルエット画像を1つのデプス関連画像として符号化して復号装置13に伝送する。従って、デプス画像とシルエット画像を別々の画像として符号化して復号装置13に伝送する場合に比べて、符号化装置12と復号装置13間のネットワーク帯域を削減することができる。
復号装置13は、受信部31、復号部32、再構成部33、および描画部34により構成される。復号装置13には、表示装置14を視聴するユーザから表示視点の仮想カメラの外部パラメータおよび内部パラメータが入力され、表示視点情報として描画部34に供給される。
復号装置13の受信部31は、符号化装置12の送信部25から伝送されてくる仮想視点情報と符号化ストリームを受信する。受信部31は、仮想視点情報を再構成部33に供給し、符号化ストリームを復号部32に供給する。
復号部32は、受信部31から供給される符号化ストリームを、符号化部23における符号化方式に対応する方式で復号する。復号部32は、その結果得られる各仮想カメラのカラー画像とデプス関連画像を再構成部33に供給する。
再構成部33(3Dモデル生成部)は、受信部31から供給される仮想視点情報、並びに、復号部32から供給されるカラー画像およびデプス関連画像に基づいて、前景の3Dモデルの3Dデータのみを再構成(生成)する。
なお、前景の3Dデータの再構成に用いられるデプス関連画像の視点数は、符号化装置12から伝送されるデプス関連画像の視点数以下であれば、どのような数であってもよい。前景の3Dモデルの再構成に用いられるデプス関連画像に対応する視点数が多いほど、前景の3Dモデルの精度が向上する。前景の3Dデータの再構成に用いられるデプス関連画像は、復号装置13の能力や符号化装置12と復号装置13の間のネットワーク帯域の状況に応じて決定されるようにしてもよい。再構成部33は、前景の3Dデータを描画部34に供給する。
描画部34は、表示視点情報に基づいて、変換部21と同様に、再構成部33から供給される3Dデータから、表示視点の前景のカラー画像を表示画像として生成し、表示装置14に供給する。
表示装置14は、2次元ヘッドマウントディスプレイ(HMD)や2次元モニタなどにより構成される。表示装置14は、再構成部33から供給される表示画像に基づいて表示画像を2次元表示する。
なお、表示装置14は、3次元ヘッドマウントディスプレイや3次元モニタなどにより構成されてもよい。この場合、描画部34は、表示視点情報に基づいて、変換部21と同様に、3Dデータから表示視点の前景のデプス画像を生成し、表示装置14に供給する。表示装置14は、描画部34から供給される表示画像とデプス画像に基づいて表示画像を3次元表示する。
また、図1の例では、3DモデルがVisual Hull等を算出することにより生成されたが、ポイントクラウドにより生成されるようにしてもよい。この場合、3Dデータは、各ポイントクラウドの位置および色情報、または、各ポイントクラウドの位置および各カメラの視点のカラー画像により構成される。
以上のように、画像処理システム10では、符号化装置12が、3Dデータを複数の視点の仮想カメラのカラー画像とデプス画像に変換し、符号化を行う。従って、符号化方式として、AVCやHEVCなどの高圧縮な2次元動画像の符号化方式を採用することができる。その結果、3Dデータをそのまま伝送する場合に比べて、低ビットレートで、3Dモデルを示す情報を伝送することができる。
(距離Zと画素値pの関係)
図2は、距離Zと、式(1)および式(2)により求められる画素値pの関係を示す図である。
図2のグラフにおいて、横軸は画素値pを表し、縦軸は、距離Zを表している。また、図2の例では、最小値Zminが1000mmであり、最大値Zmaxが10000mmであり、ビット幅bitdepthが5ビットである。
この場合、式(1)では、図2の点線で示すように、距離Zの1000mmから10000mmの範囲が32等分され、分割された範囲の距離Zごとに異なる画素値pが割り当てられる。従って、画素値pの各値に対応する距離Zの範囲の大きさは等しい。即ち、量子化ステップは一定である。
これに対して、式(2)では、図2の実線で示すように、距離Zの逆数1/Zの1/10000mmから1/1000mmの範囲が32等分され、分割された範囲の逆数1/Zごとに異なる画素値pが割り当てられる。従って、画素値pの値が小さいほど、その値に対応する距離Zの範囲は大きく、画素値pの値が大きいほど、その値に対応する距離Zの範囲は小さい。即ち、視点から被写体が遠いほど、画素値pの量子化ステップは大きく、視点から被写体が近いほど、画素値pの量子化ステップは小さい。視点から近い被写体ほど距離Zの誤差が3Dモデルの精度に影響を与えるため、式(2)により画素値を求めることにより、3Dモデルの精度を向上させることができる。
なお、以下では、特に断りのない限り、デプス画像の画素値は、式(1)により求められるものとする。
(符号化装置の符号化処理の説明)
図3は、図1の符号化装置12の符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮像装置11からフレーム単位で3Dデータが供給されたとき、開始される。
図3のステップS11において、符号化装置12の変換部21は、生成する3Dモデルのカラー画像とデプス画像の複数の視点を決定する。
ステップS12において、変換部21は、決定された複数の視点の仮想カメラの外部パラメータおよび内部パラメータを仮想視点情報として生成し、記憶部24に供給する。
ステップS13において、変換部21は、仮想視点情報に基づいて、撮像装置11から供給されるフレーム単位の3Dデータから、各仮想カメラの視点のカラー画像とデプス画像とを生成する。変換部21は、各仮想カメラの視点のカラー画像を生成部22と符号化部23に供給し、デプス画像を生成部22に供給する。
ステップS14において、生成部22は、仮想カメラごとに、変換部21から供給されるカラー画像からシルエット画像を生成する。
ステップS15において、生成部22は、仮想カメラごとに、変換部21から供給されるデプス画像を輝度成分とし、シルエット画像を色成分とするデプス関連画像を生成し、符号化部23に供給する。
ステップS16において、符号化部23は、変換部21から供給される各仮想カメラのカラー画像と、生成部22から供給される各仮想カメラのデプス関連画像とを符号化する。符号化部23は、符号化の結果得られる符号化ストリームを記憶部24に供給する。
ステップS17において、記憶部24は、変換部21から供給される仮想視点情報と、符号化部23から供給される符号化ストリームとを記憶する。
ステップS18において、送信部25は、記憶部24に記憶されている仮想視点情報と符号化ストリームを読み出し、復号装置13に伝送する。
(再構成部の構成例)
図4は、図1の再構成部33の構成例を示すブロック図である。
図4の再構成部33は、Visual Hull生成部101、修正部102、メッシュ生成部103、および3Dデータ生成部104により構成される。
再構成部33のVisual Hull生成部101は、図1の受信部31から供給される仮想視点情報と、復号部32から供給される各視点のデプス関連画像の色成分であるシルエット画像とに基づいて、Visual Hullを生成する。Visual Hullとは、複数のカメラの光学中心と、そのカメラにより撮影された被写体のシルエットによってカメラごとに形成される錐体の積集合空間である。Visual Hull生成部101は、生成されたVisual Hullを修正部102に供給する。
修正部102は、復号部32から供給される各視点のデプス関連画像の輝度成分であるデプス画像に基づいて、Visual Hull生成部101から供給されるVisual Hullを修正することにより、前景の3Dモデルを生成する。修正部102は、前景の3Dモデルをメッシュ生成部103に供給する。
メッシュ生成部103は、前景の3Dモデル(Voxel)を1以上のポリゴンメッシュに変換する。メッシュ生成部103は、前景の3Dモデルの各ポリゴンメッシュの形状情報を3Dデータ生成部104に供給する。
3Dデータ生成部104は、受信部31から供給される仮想視点情報と、復号部32から供給される各視点のカラー画像とに基づいて、メッシュ生成部103から供給される各形状情報に対応するポリゴンメッシュの色情報を生成する。3Dデータ生成部104は、各ポリゴンメッシュの形状情報と色情報を前景の3Dモデルの3Dデータとして図1の描画部34に供給する。
(前景の3Dモデルの生成方法の説明)
図5乃至図9は、図4の再構成部33による前景の3Dモデルの生成方法を説明する図である。
図5乃至図9の例では、前景の被写体121の形状が三角柱である。また、図5乃至図9は、被写体121を仮想カメラの上から見た図である。
また、図5乃至図9の例では、図5に示すように、仮想カメラの視点は、被写体121を取り囲むように配置された視点A乃至Dの合計4つの視点である。また、視点Aの画面(投影面)131は、視点Aを中心とした画角141の範囲内に存在する。視点B乃至Dの画面132乃至134についても、視点Aの画面131と同様に、それぞれ、画角142、画角143、画角144の範囲内に存在する。
この場合、図5の視点A乃至Dのシルエット画像は、図6のシルエット画像151乃至154である。従って、Visual Hull生成部101は、視点A乃至Dの仮想視点情報とシルエット画像151乃至154に基づいて、図7のVisual Hull170を生成する。
また、図5の視点A乃至Dのデプス画像は、図8のデプス画像191乃至194である。従って、修正部102は、まず、図9のAに示すように、デプス画像191に基づいて、Visual Hull生成部101により生成されたVisual Hull170を修正し、Visual Hull201を生成する。具体的には、修正部102は、デプス画像191から、生成する前景の3Dモデルの視点A側の面全体と視点Aとの奥行き方向の距離Zは一定であることを認識する。しかしながら、Visual Hull170の視点A側の面全体と視点Aとの奥行き方向の距離Zは一定ではない。従って、修正部102は、その距離Zが一定になるように、Visual Hull170の視点A側の面の凸部170Aを削除し、Visual Hull201を生成する。
次に、修正部102は、図9のBに示すように、デプス画像192に基づいてVisual Hull201を修正し、Visual Hull202を生成する。具体的には、修正部102は、デプス画像192から、生成する前景の3Dモデルの視点B側の面と視点Bとの奥行き方向の距離Zは、視点Bから見て右側ほど遠くなるように大きく変化していることを認識する。しかしながら、Visual Hull202の視点B側の面と視点Bとの奥行き方向の距離Zは、視点Bから見て右側ほど遠くなっているが、大きく変化していない。従って、修正部102は、その距離Zが視点Bから見て右側ほど遠くなるように大きく変化するように、Visual Hull201の視点B側の面の凸部201Aを削除し、Visual Hull202を生成する。
次に、修正部102は、図9のCに示すように、デプス画像193に基づいてVisual Hull202を修正し、Visual Hull203を生成する。具体的には、修正部102は、デプス画像193から、生成する前景の3Dモデルの視点C側の面と視点Cとの奥行き方向の距離Zは、視点Cから見て所定の位置より左側または右側ほど遠くなるように大きく変化していることを認識する。
Visual Hull202の視点C側の面の視点Cから見て所定の位置より左側は、左側ほど視点Cとの奥行き方向の距離Zが遠くなっているため、修正部102は、この左側に対して修正は行わない。しかしながら、Visual Hull202の視点C側の面の視点Cから見て所定の位置より右側は、右側ほど視点Cとの奥行き方向の距離が遠くなっているが、大きく変化していない。従って、修正部102は、その距離Zが視点Cから見て所定の位置より右側ほど遠くなるように大きく変化するように、Visual Hull202の視点Cから見て所定の位置より右側の凸部202Aを削除し、Visual Hull203を生成する。
最後に、修正部102は、図9のDに示すように、デプス画像194に基づいて、Visual Hull203を、そのまま修正後のVisual Hull203として生成する。具体的には、修正部102は、デプス画像194から、生成する前景の3Dモデルの視点D側の面と視点Dとの奥行き方向の距離Zは、視点Dから見て左側ほど遠くなるように大きく変化していることを認識する。Visual Hull203の視点D側の面と視点Dとの奥行き方向の距離Zは、視点Dから見て左側ほど遠くなるように大きく変化しているため、修正部102は、Visual Hull203に対して修正を行わない。
以上のようにして、修正部102は、デプス画像191乃至194に基づいてVisual Hull170を修正することにより、前景の被写体121と同一の形状のVisual Hull203を生成する。そして、修正部102は、Visual Hull203を前景の3Dモデルとしてメッシュ生成部103に供給する。
(復号装置の処理の説明)
図10は、図1の復号装置13の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置12の送信部25からフレーム単位で符号化ストリームと仮想視点情報が伝送されてきたとき、開始される。
図10のステップS31において、復号装置13の受信部31は、符号化装置12の送信部25から伝送されてくる仮想視点情報と符号化ストリームを受信する。受信部31は、仮想視点情報を再構成部33に供給し、符号化ストリームを復号部32に供給する。
ステップS32において、復号部32は、受信部31から供給される符号化ストリームを、符号化部23における符号化方式に対応する方式で復号する。復号部32は、その結果得られる各仮想カメラのカラー画像とデプス関連画像を再構成部33に供給する。
ステップS33において、再構成部33のVisual Hull生成部101(図4)は、受信部31から供給される仮想視点情報と、復号部32から供給される各仮想カメラのデプス関連画像の色成分であるシルエット画像とに基づいて、Visual Hullを生成する。Visual Hull生成部101は、生成されたVisual Hullを修正部102に供給する。
ステップS34において、修正部102は、復号部32から供給される各仮想カメラのデプス関連画像の輝度成分であるデプス画像に基づいて、Visual Hull生成部101から供給されるVisual Hullを修正することにより、前景の3Dモデルを生成する。修正部102は、前景の3Dモデルをメッシュ生成部103に供給する。
ステップS35において、メッシュ生成部103は、前景の3Dモデルを1以上のポリゴンメッシュに変換する。メッシュ生成部103は、前景の3Dモデルの各ポリゴンメッシュの形状情報を3Dデータ生成部104に供給する。
ステップS36において、3Dデータ生成部104は、仮想視点情報、各仮想カメラのカラー画像、および各ポリゴンメッシュの形状情報に基づいて、前景の3Dモデルの3Dデータを再構成する。3Dデータ生成部104は、前景の3Dモデルの3Dデータを描画部34に供給する。
ステップS37において、描画部34は、表示視点情報に基づいて、変換部21と同様に、再構成部33から供給される前景の3Dモデルの3Dデータから、表示視点の前景のカラー画像を表示画像として生成し、表示装置14に供給する。
以上のように、符号化装置12は、複数の視点のデプス画像とともに、前景情報として複数の視点のシルエット画像を復号装置13に伝送する。従って、復号装置13は、複数の視点のデプス画像とシルエット画像に基づいて、前景の3Dモデルのみを生成することができる。
<第2実施の形態>
(再構成部の構成例)
本開示を適用した画像処理システムの第2実施の形態では、前景情報が、各仮想カメラのシルエット画像ではなく、各仮想カメラのデプス画像における前景の画素値の閾値(以下、前景デプス閾値という)である点が、第1実施の形態と異なる。
具体的には、本開示を適用した画像処理システムの第2実施の形態の構成は、生成部22がシルエット画像の代わりに前景デプス閾値を生成する点、デプス関連画像がデプス画像に代わり、メタデータが仮想視点情報と前景デプス閾値になる点、および再構成部33の構成を除いて、図1の構成と同様である。従って、再構成部33以外の説明については、適宜省略する。
図11は、本開示を適用した画像処理システムの第2実施の形態における再構成部33の構成を示すブロック図である。
図11に示す構成のうち、図4の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図11の再構成部33の構成は、シルエット画像生成部221が新たに設けられる点が、図4の構成と異なる。
第2実施の形態では、復号装置13の受信部31は、複数の仮想カメラのカラー画像およびデプス画像の符号化ストリームを受信して復号部32に供給し、前景デプス閾値と仮想視点情報を受信して再構成部33に供給する。復号部32は、符号化ストリームを復号し、その結果得られる複数の仮想カメラのカラー画像およびデプス画像を再構成部33に供給する。
再構成部33のシルエット画像生成部221(画像生成部)は、仮想カメラごとに、入力される前景デプス閾値とデプス画像とに基づいて、シルエット画像を生成する。
具体的には、シルエット画像生成部221は、デプス画像の画素ごとに、その画素の画素値が前景デプス閾値以下であるかどうかを判定する。シルエット画像生成部221は、画素値が前景デプス閾値以下であると判定された画素のシルエット画像の画素値を、前景領域を表す255とし、画素値が前景デプス閾値より大きいと判定された画素のシルエット画像の画素値を、背景領域を表す0とする。
なお、デプス画像の画素値が上述した式(2)により求められる場合、画素値が前景デプス閾値以下であると判定された画素のシルエット画像の画素値は0とされ、画素値が前景デプス閾値より大きいと判定された画素のシルエット画像の画素値は255とされる。
シルエット画像生成部221は、以上のようにしてシルエット画像を生成することができる。シルエット画像生成部221は、シルエット画像をVisual Hull生成部101に供給する。
なお、第2実施の形態における復号処理は、ステップS33の処理の前に、シルエット画像生成部221がシルエット画像を生成する処理が行われる点を除いて、図10の復号処理と同様である。
以上のように、第2実施の形態では、符号化装置12が、複数の視点のデプス画像とともに、前景情報として複数の視点の前景デプス閾値を復号装置13に伝送する。従って、復号装置13は、複数の視点のデプス画像と前景デプス閾値に基づいて、前景の3Dモデルのみを生成することができる。
<第3実施の形態>
(再構成部の構成例)
本開示を適用した画像処理システムの第3実施の形態では、前景情報が伝送されない点、および、デプス関連画像が、前景のデプス画像を輝度成分とし、背景のデプス画像を色成分とする画像である点が、第1実施の形態と異なる。
具体的には、本開示を適用した画像処理システムの第3実施の形態の構成は、変換部21が前景のデプス画像と背景のデプス画像を別々に生成し、デプス関連画像を生成する点、生成部22が設けられない点、および再構成部33の構成を除いて、図1の構成と同様である。従って、再構成部33以外の説明については、適宜省略する。
図12は、本開示を適用した画像処理システムの第3実施の形態における再構成部33の構成を示すブロック図である。
図12に示す構成のうち、図4の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図12の再構成部33の構成は、Visual Hull生成部101と修正部102の代わりに、Convex Hull生成部241と修正部242が設けられる点が、図4の構成と異なる。
第3実施の形態では、復号装置13の受信部31は、複数の仮想カメラのカラー画像およびデプス関連画像の符号化ストリームを受信して復号部32に供給し、仮想視点情報を受信して再構成部33に供給する。復号部32は、符号化ストリームを復号し、その結果得られる複数の仮想カメラのカラー画像およびデプス画像を再構成部33に供給する。
再構成部33のConvex Hull生成部241は、入力される仮想視点情報に基づいて、全ての仮想カメラの画角に含まれるConvex Hull(凸多角形)を生成し、修正部242に供給する。
修正部242は、入力される複数の仮想カメラのデプス関連画像の輝度成分である前景のデプス画像に基づいて、図4の修正部102と同様に、Convex Hull生成部241から供給されるConvex Hullを修正することにより、前景の3Dモデルを再構成する。修正部242は、前景の3Dモデルをメッシュ生成部103に供給する。
第3実施の形態における再構成部33は、以上のようにして前景情報を用いずに前景の3Dモデルを生成する。
(Convex Hullの例)
図13は、図12のConvex Hull生成部241により生成されるConvex Hullの例を示す図である。
図13において、図5の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図13の例では、図5乃至図9の例と同様に、視点A乃至Dが前景の被写体121を取り囲むように配置されている。この場合、Convex Hull生成部241は、視点A乃至Dの画角141乃至144の全てに含まれる3D領域をConvex Hull260として生成する。
具体的には、Convex Hull生成部241は、まず、視点Aの画角141に含まれる3D領域をConvex Hullとして生成する。次に、Convex Hull生成部241は、生成されたConvex Hull内の視点Bの画角142に含まれる3D領域を新たなConvex Hullとして生成する。以降も同様に、視点Cの画角143および視点Dの画角144を順に用いてConvex Hullを更新し、最終的にConvex Hull260を生成する。このConvex Hull260は、被写体121を含んでいる。
修正部242は、図4の修正部102と同様に、前景のデプス画像に基づいてConvex Hull260を修正することにより、被写体121と同一の形状のConvex Hullを前景の3Dモデルとして生成する。
なお、第3実施の形態における復号処理は、ステップS33の処理が、Convex Hull生成部241がConvex Hullを生成する処理に、ステップS34の処理が、修正部242がConvex Hullを修正することにより前景の3Dモデルを生成する処理に代わる点を除いて、図10の復号処理と同様である。
<第4実施の形態>
(再構成部の構成例)
本開示を適用した画像処理システムの第4実施の形態では、3Dモデルの再構成方法が第1実施の形態と異なる。具体的には、本開示を適用した画像処理システムの第4実施の形態の構成は、再構成部33の構成を除いて図1の構成と同様である。従って、再構成部33以外の説明については、適宜省略する。
図14は、本開示を適用した画像処理システムの第4実施の形態における再構成部33の構成例を示すブロック図である。
図14に示す構成のうち、図4の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図14の再構成部33は、前景デプス画像生成部261、メッシュ生成部262、メッシュ重畳部263、および3Dデータ生成部104により構成される。
前景デプス画像生成部261は、仮想カメラごとに、復号部32から供給されるデプス関連画像の輝度成分であるデプス画像と、色成分であるシルエット画像とに基づいて、前景のデプス画像を生成し、メッシュ生成部262に供給する。
メッシュ生成部262は、仮想カメラごとに、前景デプス画像生成部261から供給される前景のデプス画像と、受信部31から供給される仮想視点情報に基づいて、前景の3Dモデルを構成する1以上のポリゴンメッシュを生成する。メッシュ生成部262は、仮想カメラごとに、生成された各ポリゴンメッシュの形状情報をメッシュ重畳部263に供給する。
メッシュ重畳部263(生成部)は、メッシュ生成部262から供給される各仮想カメラの各形状情報に対応するポリゴンメッシュを重畳し、前景の3Dモデルを構成するポリゴンメッシュを生成する。メッシュ重畳部263は、前景の3Dモデルの各ポリゴンメッシュの形状情報を3Dデータ生成部104に供給する。
(前景のデプス画像の例)
図15は、図14の前景デプス画像生成部261により生成される前景のデプス画像の例を示す図である。
図15において、図6や図8の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図15の例では、仮想カメラの視点が、図5の視点A乃至Dと、図5において被写体121を見ている方向(図5の図面の手前)から撮影する視点Eの合計5つの視点である。この場合、視点Eのシルエット画像はシルエット画像281になり、視点Eのデプス画像は、デプス画像282になる。
前景デプス画像生成部261は、視点Aのシルエット画像151の画素値が前景領域を示す画素に対応する、視点Aのデプス画像191の画素の画素値を抽出し、その画素に対応する前景のデプス画像301の画素の画素値にする。また、前景デプス画像生成部261は、視点Aのシルエット画像151の画素値が背景領域を示す画素に対応する、前景のデプス画像301の画素の画素値を、背景を示す特殊値にする。以上のようにして、前景デプス画像生成部261は、前景のデプス画像301を生成する。
同様に、前景デプス画像生成部261は、視点Bのシルエット画像152とデプス画像192から前景のデプス画像302を生成し、視点Cのシルエット画像153とデプス画像193から前景のデプス画像303を生成する。また、前景デプス画像生成部261は、視点Dのシルエット画像154とデプス画像194から前景のデプス画像304を生成し、視点Eのシルエット画像281とデプス画像282から前景のデプス画像305を生成する。なお、図15では、画素値が特殊値である領域を斜線で示している。
(ポリゴンメッシュの生成方法の説明)
図16は、図14のメッシュ生成部262によるポリゴンメッシュの生成方法を説明する図である。
図16の例では、前景デプス画像生成部261が、所定の視点のデプス画像として、図16の左側に示す前景のデプス画像310を生成する。この場合、図16の右側に示すように、メッシュ生成部262は、前景のデプス画像310の各画素の所定の位置(中心)に点311を配置し、画素値が背景領域を示す特殊値ではない画素に対応する点312を抽出する。そして、メッシュ生成部262は、抽出された点312を順に処理対象の点とする。
メッシュ生成部262は、例えば、処理対象の点の右、下、および右下の3つの点311が全て抽出されている場合、処理対象の点と、その点の右および下の点312を頂点とする三角形313を生成する。また、メッシュ生成部262は、処理対象の点の右、下、および右下の3つの点312を頂点とする三角形314を生成する。
メッシュ生成部262は、三角形313の各頂点を構成する点312の前景のデプス画像310上の位置、各点312に対応する前景のデプス画像310の画素値、および仮想視点情報に基づいて、三角形313に対応する3次元領域をポリゴンメッシュとして生成する。また、メッシュ生成部262は、三角形314に対応するポリゴンメッシュも、三角形313に対応するポリゴンメッシュと同様に生成する。
以上のような方法で、図15の前景のデプス画像301乃至305を用いて視点A乃至Eのポリゴンメッシュが生成されると、図17のポリゴンメッシュ321乃至325が生成される。
図17のAに示すように、視点Aのポリゴンメッシュ321を視点Eから見た形状は直線であり、視点Aから見た形状は長方形である。図17のBに示すように、視点Bのポリゴンメッシュ322を視点Eから見た形状は右下がりの直線であり、視点Bから見た形状は長方形である。
また、図17のCに示すように、視点Cのポリゴンメッシュ323を視点Eから見た形状は、左側の右下がりの斜線と右側の右上がりの斜線が接続した線であり、視点Cから見た形状は、2つの長方形が横方向に合成された長方形である。図17のDに示すように、視点Dのポリゴンメッシュ324を視点Eから見た形状は右上がりの斜線であり、視点Dから見た形状は長方形である。
さらに、図17のEに示すように、視点Eのポリゴンメッシュ325を視点Eから見た形状は三角形状であり、視点Aから見た形状は直線である。
(ポリゴンメッシュの重畳方法の説明)
図18は、図14のメッシュ重畳部263による各仮想カメラの視点のポリゴンメッシュの重畳方法を説明する図である。
図18の例では、メッシュ生成部262が、視点A乃至Eのポリゴンメッシュ321乃至325を生成する。図18では、視点Eから見たポリゴンメッシュ321乃至325を図示している。
メッシュ重畳部263は、まず、図18のAに示すように、視点Aのポリゴンメッシュ321と視点Bのポリゴンメッシュ322を同一の3次元空間に配置することにより重畳し、ポリゴンメッシュ341を生成する。次に、図18のBに示すように、メッシュ重畳部263は、ポリゴンメッシュ341と視点Cのポリゴンメッシュ323を同一の3次元空間に配置することにより重畳し、ポリゴンメッシュ342を生成する。
次に、図18のCに示すように、メッシュ重畳部263は、ポリゴンメッシュ342と視点Dのポリゴンメッシュ324を同一の3次元空間に配置することにより重畳し、ポリゴンメッシュ343を生成する。最後に、図18のDに示すように、メッシュ重畳部263は、ポリゴンメッシュ343と視点Eのポリゴンメッシュ325を同一の3次元空間に配置することにより重畳し、ポリゴンメッシュ344を生成する。そして、メッシュ重畳部263は、このポリゴンメッシュ344を、前景の3Dモデルのポリゴンメッシュとする。
以上のように、メッシュ重畳部263は、視点A乃至Eのポリゴンメッシュ321乃至325を重畳することにより、前景の3Dモデルのポリゴンメッシュを生成することができる。
(復号装置の処理の説明)
図19は、第4実施の形態における復号装置13の復号処理を説明するフローチャートである。この復号処理は、例えば、第4実施の形態における符号化装置12の送信部25からフレーム単位で符号化ストリームと仮想視点情報が伝送されてきたとき、開始される。
図19のステップS51およびS52の処理は、図10のステップS31およびS32の処理と同様であるので、説明は省略する。
ステップS53において、再構成部33の前景デプス画像生成部261(図14)は、仮想カメラごとに、復号部32から供給されるデプス関連画像の輝度成分であるデプス画像と、色成分であるシルエット画像とに基づいて、前景のデプス画像を生成する。前景デプス画像生成部261は、前景のデプス画像をメッシュ生成部262に供給する。
ステップS54において、メッシュ生成部262は、仮想カメラごとに、前景デプス画像生成部261から供給される前景のデプス画像と、受信部31から供給される仮想視点情報に基づいて、前景の3Dモデルを構成する1以上のポリゴンメッシュを生成する。メッシュ生成部262は、仮想カメラごとに、生成された各ポリゴンメッシュの形状情報をメッシュ重畳部263に供給する。
ステップS55において、メッシュ重畳部263は、メッシュ生成部262から供給される各仮想カメラの各形状情報に対応するポリゴンメッシュを重畳し、前景の3Dモデルを構成するポリゴンメッシュを生成する。メッシュ重畳部263は、前景の3Dモデルの各ポリゴンメッシュの形状情報を3Dデータ生成部104に供給する。
ステップS56およびS57の処理は、図10のS36おおよびS37の処理と同様であるので、説明は省略する。
なお、第1実施の形態および第4実施の形態における復号装置13は、シルエット画像、カラー画像、およびデプス画像を用いて、各視点の背景のカラー画像と背景のデプス画像を生成するようにしてもよい。この場合、復号装置13は、例えば、仮想カメラごとに、背景のデプス画像に基づいて、距離Zが遠いほどボケが強くなるように背景のカラー画像に対してボケ処理を行う。そして、復号装置13は、各仮想カメラのボケ処理後の背景のカラー画像に基づいて表示視点の背景のカラー画像を生成し、表示視点の前景のカラー画像と合成して表示画像を生成する。
<第5実施の形態>
(再構成部の構成例)
本開示を適用した画像処理システムの第5実施の形態では、前景情報が、各仮想カメラのシルエット画像ではなく、各仮想カメラの前景デプス閾値である点が、第4実施の形態と異なる。
即ち、第5実施の形態は、第2実施の形態と第4実施の形態を組み合わせたものである。従って、第5実施の形態における再構成部33は、図20に示すように、図14の再構成部33の前景デプス画像生成部261の前段に、図11のシルエット画像生成部221が設けられることにより構成される。
なお、第2実施の形態および第5実施の形態における復号装置13は、前景デプス閾値、カラー画像、およびデプス画像を用いて、各視点の背景のカラー画像と背景のデプス画像を生成するようにしてもよい。この場合、復号装置13は、例えば、仮想カメラごとに、背景のデプス画像に基づいて、距離Zが遠いほどボケが強くなるように背景のカラー画像に対してボケ処理を行う。そして、復号装置13は、各仮想カメラのボケ処理後の背景のカラー画像に基づいて表示視点の背景のカラー画像を生成し、表示視点の前景のカラー画像と合成して表示画像を生成する。
<第6実施の形態>
(再構成部の構成例)
本開示を適用した画像処理システムの第6実施の形態では、前景情報が伝送されない点、および、デプス関連画像が、前景のデプス画像を輝度成分とし、背景のデプス画像を色成分とする画像である点が、第4実施の形態と異なる。
即ち、第6実施の形態は、第3実施の形態と第4実施の形態を組み合わせたものである。具体的には、本開示を適用した画像処理システムの第6実施の形態の構成は、再構成部33の構成を除いて、第3実施の形態の構成と同様である。従って、再構成部33以外の説明については、適宜省略する。
図21は、本開示を適用した画像処理システムの第6実施の形態における再構成部33の構成を示すブロック図である。
図21に示す構成のうち、図14の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図21の再構成部33は、前景デプス画像生成部261が設けられない点が、図14の構成と異なる。即ち、第6実施の形態では、デプス関連画像の輝度成分が前景のデプス画像であるため、前景のデプス画像を生成する必要はない。従って、図21の再構成部33には前景デプス画像生成部261が設けられず、メッシュ生成部262は、仮想カメラごとに、デプス関連画像の輝度成分である前景のデプス画像と仮想視点情報とに基づいて、前景の3Dモデルのポリゴンメッシュを生成する。
なお、第3実施の形態および第6実施の形態では、符号化装置12が、前景のデプス画像を輝度成分として含み、背景のデプス画像を色成分として含むデプス関連画像の符号化ストリームを伝送したが、前景のデプス画像の符号化ストリームのみを伝送するようにしてもよい。
また、第3実施の形態および第6実施の形態において、被写体全体のカラー画像が、前景のカラー画像と背景のカラー画像に分割されて、符号化装置12から復号装置13に伝送されるようにしてもよい。この場合、復号装置13は、例えば、仮想カメラごとに、背景のデプス画像に基づいて、距離Zが遠いほどボケが強くなるように背景のカラー画像に対してボケ処理を行う。そして、復号装置13は、各仮想カメラのボケ処理後の背景のカラー画像に基づいて表示視点の背景のカラー画像を生成し、表示視点の前景のカラー画像と合成して表示画像を生成する。
<第7実施の形態>
(本開示を適用したコンピュータの説明)
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図22は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ900において、CPU(Central Processing Unit)901,ROM(Read Only Memory)902,RAM(Random Access Memory)903は、バス904により相互に接続されている。
バス904には、さらに、入出力インタフェース905が接続されている。入出力インタフェース905には、入力部906、出力部907、記憶部908、通信部909、及びドライブ910が接続されている。
入力部906は、キーボード、マウス、マイクロフォンなどよりなる。出力部907は、ディスプレイ、スピーカなどよりなる。記憶部908は、ハードディスクや不揮発性のメモリなどよりなる。通信部909は、ネットワークインタフェースなどよりなる。ドライブ910は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア911を駆動する。
以上のように構成されるコンピュータ900では、CPU901が、例えば、記憶部908に記憶されているプログラムを、入出力インタフェース905及びバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ900(CPU901)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア911に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ900では、プログラムは、リムーバブルメディア911をドライブ910に装着することにより、入出力インタフェース905を介して、記憶部908にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部909で受信し、記憶部908にインストールすることができる。その他、プログラムは、ROM902や記憶部908に、あらかじめインストールしておくことができる。
なお、コンピュータ900が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
<応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図23は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図23に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図23では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図24は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図24には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920〜7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図23に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE−A(LTE−Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi−Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図23の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図23に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
また、図1乃至図21を用いて説明した本実施形態に係る画像処理システム10の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム7000において、図1乃至図21を用いて説明した本実施形態に係る画像処理システム10は、図23に示した応用例の車両制御システム7000に適用することができる。例えば、画像処理システム10の撮像装置11は、撮像部7410に相当し、符号化装置12と復号装置13は一体化されて統合制御ユニット7600に相当し、表示装置14は、表示部7720に相当する。これにより、統合制御ユニット7600は、前景の3Dモデルのみを生成することができる。
また、図1乃至図21を用いて説明した画像処理システム10の少なくとも一部の構成要素は、図23に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図1乃至図21を用いて説明した画像処理システム10が、図23に示した車両制御システム7000の複数の制御ユニットによって実現されてもよい。
本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本開示は、以下のような構成もとることができる。
(1)
複数の視点のデプス画像と前記複数の視点の前景の画像とに基づいて、前記前景の3Dモデルを生成する3Dモデル生成部
を備える画像処理装置。
(2)
前記前景の画像は、前記前景のシルエットを示すシルエット画像である
ように構成された
前記(1)に記載の画像処理装置。
(3)
前記複数の視点のデプス関連画像を受信する受信部
をさらに備え、
前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景の画像を色成分とした画像であり、
前記3Dモデル生成部は、前記受信部により受信された前記複数の視点の前記デプス関連画像に基づいて、前記前景の3Dモデルを生成する
ように構成された
前記(1)または(2)に記載の画像処理装置。
(4)
前記視点ごとに、前記デプス画像における前記前景の画素値の閾値と前記デプス画像とに基づいて、前記前景の画像を生成する画像生成部
をさらに備える
前記(1)または(2)に記載の画像処理装置。
(5)
前記複数の視点の前記デプス画像と前記閾値とを受信する受信部
をさらに備える
前記(4)に記載の画像処理装置。
(6)
前記3Dモデル生成部は、
前記複数の視点の前記前景の画像に基づいてVisual Hullを生成するVisual Hull生成部と、
前記複数の視点の前記デプス画像に基づいて、前記Visual Hull生成部により生成された前記Visual Hullを修正することにより、前記前景の3Dモデルを生成する修正部と
を備える
前記(1)乃至(5)のいずれかに記載の画像処理装置。
(7)
前記3Dモデル生成部は、
前記視点ごとに、前記デプス画像と前記前景の画像とに基づいて前記前景のデプス画像を生成する前景デプス画像生成部と、
前記前景デプス画像生成部により生成された前記前景のデプス画像に基づいて、前記前景の3Dモデルを生成する生成部と
を備える
前記(1)乃至(5)のいずれかに記載の画像処理装置。
(8)
画像処理装置が、
複数の視点のデプス画像と前記複数の視点の前景の画像とに基づいて、前記前景の3Dモデルを生成する3Dモデル生成ステップ
を含む画像処理方法。
(9)
複数の視点のデプス画像と前記複数の視点の前景に関する前景情報とを送信する送信部
を備える画像処理装置。
(10)
前記前景情報は、前記前景のシルエットを示すシルエット画像である
ように構成された
前記(9)に記載の画像処理装置。
(11)
前記送信部は、前記複数の視点のデプス関連画像を送信し、
前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景情報を色成分とする画像である
ように構成された
前記(10)に記載の画像処理装置。
(12)
前記前景情報は、前記デプス画像における前記前景の画素値の閾値である
ように構成された
前記(9)に記載の画像処理装置。
(13)
画像処理装置が、
複数の視点のデプス画像と前記複数の視点の前景に関する前景情報とを送信する送信ステップ
を含む画像処理方法。
(14)
複数の視点の前景のデプス画像に基づいて、前記前景の3Dモデルを生成する3Dモデル生成部
を備える画像処理装置。
(15)
前記複数の視点のデプス関連画像を受信する受信部
をさらに備え、
前記デプス関連画像は、前記前景のデプス画像を輝度成分とし、背景のデプス画像を色成分とした画像であり、
前記3Dモデル生成部は、前記複数の視点の前記デプス関連画像の輝度成分に基づいて、前記前景の3Dモデルを生成する
ように構成された
前記(14)に記載の画像処理装置。
(16)
前記3Dモデル生成部は、
前記複数の視点のカメラパラメータに基づいてConvex Hullを生成するConvex Hull生成部と、
前記複数の視点の前記前景のデプス画像に基づいて、前記Convex Hull生成部により生成された前記Convex Hullを修正することにより、前記前景の3Dモデルを生成する修正部と
を備える
前記(14)または(15)に記載の画像処理装置。
(17)
画像処理装置が、
複数の視点の前景のデプス画像に基づいて、前記前景の3Dモデルを生成する3Dモデル生成ステップ
を含む画像処理方法。