JP6988815B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6988815B2
JP6988815B2 JP2018546245A JP2018546245A JP6988815B2 JP 6988815 B2 JP6988815 B2 JP 6988815B2 JP 2018546245 A JP2018546245 A JP 2018546245A JP 2018546245 A JP2018546245 A JP 2018546245A JP 6988815 B2 JP6988815 B2 JP 6988815B2
Authority
JP
Japan
Prior art keywords
image
foreground
depth
viewpoints
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018546245A
Other languages
English (en)
Other versions
JPWO2018074252A1 (ja
Inventor
祐一 荒木
潤一 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018074252A1 publication Critical patent/JPWO2018074252A1/ja
Application granted granted Critical
Publication of JP6988815B2 publication Critical patent/JP6988815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、画像処理装置および画像処理方法に関し、特に、前景の３Ｄモデルのみを生成することができるようにした画像処理装置および画像処理方法に関する。
複数のカメラにより撮影されたカラー画像とデプス画像から被写体の３Ｄモデルを生成する技術がある(例えば、非特許文献１参照)。
Saied Moezzi, Li-Cheng Tai, Philippe Gerard, "Virtual View Generation for 3D Digital Video", University of California, San Diego
しかしながら、前景の３Ｄモデルのみを生成することについては考案されていなかった。
本開示は、このような状況に鑑みてなされたものであり、前景の３Ｄモデルのみを生成することができるようにするものである。
本開示の第１の側面の画像処理装置は、複数の視点のデプス画像と前記複数の視点の前景の画像とに基づいて、前記前景の３Ｄモデルを生成する３Ｄモデル生成部と、前記複数の視点のデプス関連画像を受信する受信部とを備え、前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景の画像を色成分とした画像であり、前記３Ｄモデル生成部は、前記受信部により受信された前記複数の視点の前記デプス関連画像に基づいて、前記前景の３Ｄモデルを生成するように構成された画像処理装置である。
本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。
本開示の第１の側面においては、複数の視点のデプス画像と前記複数の視点の前景の画像とに基づいて、前記前景の３Ｄモデルが生成され、前記複数の視点のデプス関連画像が受信される。具体的には、前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景の画像を色成分とした画像であり、前記前景の３Ｄモデルの生成は、受信された前記複数の視点の前記デプス関連画像に基づいて行われる。
本開示の第２の側面の画像処理装置は、複数の視点のデプス画像と前記複数の視点の前景に関する前景情報とを、前記複数の視点のデプス画像と前記複数の視点の前景情報とに基づいて前記前景の３Ｄモデルを生成する他の画像処理装置に送信する送信部を備え、前記前景情報は、前記前景のシルエットを示すシルエット画像であり、前記送信部は、前記複数の視点のデプス関連画像を送信し、前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景情報を色成分とする画像であるように構成された画像処理装置である。
本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。
本開示の第２の側面においては、複数の視点のデプス画像と前記複数の視点の前景に関する前景情報とが、前記複数の視点のデプス画像と前記複数の視点の前景情報とに基づいて前記前景の３Ｄモデルを生成する他の画像処理装置に送信される。具体的には、前記前景情報は、前記前景のシルエットを示すシルエット画像であり、前記他の画像処理装置には前記複数の視点のデプス関連画像が送信され、前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景情報を色成分とする画像である。
本開示の第３の側面の画像処理装置は、複数の視点のデプス画像と前記複数の視点の前景に関する前景情報とを、前記複数の視点のデプス画像と前記複数の視点の前景情報とに基づいて前記前景の３Ｄモデルを生成する他の画像処理装置に送信する送信部を備え、前記前景情報は、前記デプス画像における前記前景の画素値の閾値であり、前記送信部は、前記複数の視点のデプス関連画像を送信し、前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景情報を色成分とする画像であるように構成された画像処理装置である。
本開示の第３の側面の画像処理方法は、本開示の第３の側面の画像処理装置に対応する。
本開示の第３の側面においては、複数の視点のデプス画像と前記複数の視点の前景に関する前景情報とが、前記複数の視点のデプス画像と前記複数の視点の前景情報とに基づいて前記前景の３Ｄモデルを生成する他の画像処理装置に送信される。具体的には、前記前景情報は、前記デプス画像における前記前景の画素値の閾値であり、前記他の画像処理装置には前記複数の視点のデプス関連画像が送信され、前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景情報を色成分とする画像である。
本開示の第４の側面の画像処理装置は、複数の視点の前景のデプス画像に基づいて、前記前景の３Ｄモデルを生成する３Ｄモデル生成部と、前記複数の視点のデプス関連画像を受信する受信部とを備え、前記デプス関連画像は、前記前景のデプス画像を輝度成分とし、背景のデプス画像を色成分とした画像であり、前記３Ｄモデル生成部は、前記複数の視点の前記デプス関連画像の輝度成分に基づいて、前記前景の３Ｄモデルを生成するように構成された画像処理装置である。
本開示の第３の側面の画像処理方法は、本開示の第３の側面の画像処理装置に対応する。
本開示の第４の側面においては、複数の視点の前景のデプス画像に基づいて、前記前景の３Ｄモデルが生成され、前記複数の視点のデプス関連画像が受信される。具体的には、前記デプス関連画像は、前記前景のデプス画像を輝度成分とし、背景のデプス画像を色成分とした画像であり、前記前景の３Ｄモデルの生成は、前記複数の視点の前記デプス関連画像の輝度成分に基づいて行われる。
本開示の第５の側面の画像処理装置は、複数の視点の前景のデプス画像に基づいて、前記前景の３Ｄモデルを生成する３Ｄモデル生成部を備え、前記３Ｄモデル生成部は、前記複数の視点のカメラパラメータに基づいてConvex Hullを生成するConvex Hull生成部と、前記複数の視点の前記前景のデプス画像に基づいて、前記Convex Hull生成部により生成された前記Convex Hullを修正することにより、前記前景の３Ｄモデルを生成する修正部とを備える画像処理装置である。
本開示の第５の側面の画像処理方法は、本開示の第５の側面の画像処理装置に対応する。
本開示の第５の側面においては、複数の視点の前景のデプス画像に基づいて、前記前景の３Ｄモデルが生成される。具体的には、前記複数の視点のカメラパラメータに基づいてConvex Hullが生成され、前記複数の視点の前記前景のデプス画像に基づいて、前記Convex Hullが修正されることにより、前記前景の３Ｄモデルが生成される。
なお、第１乃至第５の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
また、第１乃至第５の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本開示の第１の側面、第４の側面、および第５の側面によれば、前景の３Ｄモデルのみを生成することができる。
また、本開示の第２および第３の側面によれば、前景の３Ｄモデルのみを生成可能にする情報を送信することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。 距離Ｚと画素値ｐの関係を示す図である。 図１の符号化装置の符号化処理を説明するフローチャートである。 図１の再構成部の構成例を示すブロック図である。 図４の再構成部による前景の３Ｄモデルの生成方法を説明する図である。 図４の再構成部による前景の３Ｄモデルの生成方法を説明する図である。 図４の再構成部による前景の３Ｄモデルの生成方法を説明する図である。 図４の再構成部による前景の３Ｄモデルの生成方法を説明する図である。 図４の再構成部による前景の３Ｄモデルの生成方法を説明する図である。 図１の復号装置の復号処理を説明するフローチャートである。 本開示を適用した画像処理システムの第２実施の形態における再構成部の構成を示すブロック図である。 本開示を適用した画像処理システムの第３実施の形態における再構成部の構成を示すブロック図である。 Convex Hullの例を示す図である。 本開示を適用した画像処理システムの第４実施の形態における再構成部の構成例を示すブロック図である。 前景のデプス画像の例を示す図である。 ポリゴンメッシュの生成方法を説明する図である。 ポリゴンメッシュの例を示す図である。 各仮想カメラの視点のポリゴンメッシュの重畳方法を説明する図である。 第４実施の形態における復号装置の復号処理を説明するフローチャートである。 本開示を適用した画像処理システムの第５実施の形態における再構成部の構成を示すブロック図である。 本開示を適用した画像処理システムの第６実施の形態における再構成部の構成を示すブロック図である。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：画像処理システム（図１乃至図１０）
２．第２実施の形態：画像処理システム（図１１）
３．第３実施の形態：画像処理システム（図１２および図１３）
４．第４実施の形態：画像処理システム（図１４乃至図１９）
５．第５実施の形態：画像処理システム（図２０）
６．第６実施の形態：画像処理システム（図２１）
７．第７実施の形態：コンピュータ（図２２）
８．応用例（図２３および図２４）
＜第１実施の形態＞
（画像処理システムの構成例）
図１は、本開示を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。
図１の画像処理システム１０は、撮像装置１１、符号化装置１２（画像処理装置）、復号装置１３（画像処理装置）、および表示装置１４により構成される。画像処理システム１０は、撮像装置１１により取得されたカラー画像とデプス画像を用いて、表示視点のカラー画像を生成し、表示する。
具体的には、画像処理システム１０の撮像装置１１は、例えば、マルチカメラ、測距測定器、および画像処理部により構成される。撮像装置１１のマルチカメラは、複数のカメラにより構成され、各カメラで少なくとも一部が共通する被写体のカラー画像の動画像を撮像する。測距測定器は、例えば、各カメラに設けられ、そのカメラと同一の視点のデプス画像の動画像を生成する。
撮像装置１１の画像処理部は、フレーム単位で、各カメラの視点のカラー画像およびデプス画像の動画像、並びに、各カメラの外部パラメータおよび内部パラメータを用いて、Visual Hull等を算出することにより、被写体の３Ｄモデルを生成する。画像処理部は、３Ｄモデルを構成する各ポリゴンメッシュの頂点（Vertex）の３次元位置および頂点間のつながりを示す形状情報（Connectivity）と、そのポリゴンメッシュの色情報とを被写体の３Ｄデータとして生成する。
画像処理部における３Ｄデータの生成方法としては、例えば、非特許文献１等に記載されている方法を採用することができる。なお、３Ｄデータは、形状情報と各カメラの視点のカラー画像とにより構成されてもよい。画像処理部は、３Ｄデータを符号化装置１２に供給する。
符号化装置１２は、変換部２１、生成部２２、符号化部２３、記憶部２４、および送信部２５により構成される。
符号化装置１２の変換部２１は、生成する３Ｄモデルのカラー画像とデプス画像の複数の視点を決定する。ここでは、生成するカラー画像とデプス画像の視点は同一であるものとするが、カラー画像とデプス画像の視点および視点数は異なっていてもよい。
変換部２１は、決定された複数の視点の仮想カメラの外部パラメータおよび内部パラメータを生成する。変換部２１は、各仮想カメラの外部パラメータおよび内部パラメータに基づいて、撮像装置１１から供給されるフレーム単位の３Ｄデータから、各仮想カメラにより取得されるフレーム単位のカラー画像と、そのカラー画像に対応するデプス画像とを生成する。
３Ｄデータからカラー画像やデプス画像を生成する方法としては、例えば、谷本正幸、「究極の映像通信を目指して」電子情報通信学会技術研究報告. CS, 通信方式 110(323), 73-78, 2010-11-25等に記載されている方法を採用することができる。
デプス画像は、例えば、視点と各画素における被写体との奥行き方向の距離Ｚを量子化した値を画素値とする画像にすることができる。この場合、デプス画像の各画素の画素値ｐは、例えば、以下の式（１）で表される。
Figure 0006988815
なお、Ｚｍｉｎ，Ｚｍａｘは、それぞれ、距離Ｚの最小値、最大値である。また、bitdepthは、画素値ｐのビット幅である。式（１）によれば、画素値ｐは、最小値Ｚｍｉｎから最大値Ｚｍａｘまでの範囲の距離Ｚをビット幅bitdepthのビットに量子化した値である。画素値ｐが大きいほど、距離Ｚは大きく（被写体が視点から遠く）、画素値ｐが小さいほど、距離Ｚは小さい（被写体が視点から近い）。最小値Ｚｍｉｎと最大値Ｚｍａｘは、視点ごとに異なっていてもよいし、全ての視点で同一であってもよい。
また、デプス画像は、各画素の距離Ｚの逆数１／Ｚを量子化した値を画素値とする画像にすることもできる。この場合、デプス画像の各画素の画素値ｐは、以下の式（２）で表される。
Figure 0006988815
式（２）によれば、画素値ｐは、最小値１／Ｚｍａｘから最大値１／Ｚｍｉｎまでの範囲の逆数１／Ｚをビット幅bitdepthのビットに量子化した値である。画素値ｐが小さいほど、距離Ｚは大きく（被写体が視点から遠く）、画素値ｐが大きいほど、距離Ｚは小さい（被写体が視点から近い）。
なお、画素値ｐを求める計算式は、式（１）や式（２）以外であってもよい。画素値ｐを求める計算式は、視点ごとに異なってもよいし、全ての視点で同一であってもよい。
変換部２１は、各仮想カメラのカラー画像を生成部２２と符号化部２３に供給し、デプス画像を符号化部２３に供給する。また、変換部２１は、各仮想カメラの外部パラメータおよび内部パラメータを仮想視点情報として記憶部２４に供給する。
生成部２２は、仮想カメラごとに、変換部２１から供給されるカラー画像から、その仮想カメラの視点の前景に関する前景情報として、前景のシルエットを示すシルエット画像を生成する。具体的には、生成部２２は、仮想カメラごとに、変換部２１から供給される３Ｄモデル全体のカラー画像から背景のカラー画像を抽出する。そして、生成部２２は、仮想カメラごとに、３Ｄモデル全体のカラー画像と背景のカラー画像との差分をシルエット画像として生成する。これにより、シルエット画像は、各仮想カメラの３Ｄモデル全体のカラー画像内の前景の３Ｄモデルが投影される前景領域だけ白く（画素値が255であり）、その他の背景領域は黒い（画素値が0である）画像になる。
なお、シルエット画像の前景領域の画素値は、その前景領域に対応する前景の３Ｄモデルに付与されたＩＤであってもよい。生成部２２は、変換部２１から供給されるデプス画像を輝度成分とし、シルエット画像を色成分とするYUV420のデプス関連画像を生成し、符号化部２３に供給する。
符号化部２３は、変換部２１から供給される各仮想カメラのカラー画像と、生成部２２から供給される各仮想カメラのデプス関連画像を符号化する。符号化方式としては、AVC（Advanced Video Coding）方式、HEVC（High Efficiency Video Coding）方式等を採用することができる。符号化部２３は、符号化の結果得られる符号化ストリームを記憶部２４に供給する。
記憶部２４は、変換部２１から供給される仮想視点情報と、符号化部２３から供給される符号化ストリームとを記憶する。
送信部２５は、記憶部２４に記憶されている仮想視点情報をメタデータとして読み出し、復号装置１３に伝送するとともに、符号化ストリームを読み出し、復号装置１３に伝送する。
以上のように、符号化装置１２は、デプス画像とシルエット画像を１つのデプス関連画像として符号化して復号装置１３に伝送する。従って、デプス画像とシルエット画像を別々の画像として符号化して復号装置１３に伝送する場合に比べて、符号化装置１２と復号装置１３間のネットワーク帯域を削減することができる。
復号装置１３は、受信部３１、復号部３２、再構成部３３、および描画部３４により構成される。復号装置１３には、表示装置１４を視聴するユーザから表示視点の仮想カメラの外部パラメータおよび内部パラメータが入力され、表示視点情報として描画部３４に供給される。
復号装置１３の受信部３１は、符号化装置１２の送信部２５から伝送されてくる仮想視点情報と符号化ストリームを受信する。受信部３１は、仮想視点情報を再構成部３３に供給し、符号化ストリームを復号部３２に供給する。
復号部３２は、受信部３１から供給される符号化ストリームを、符号化部２３における符号化方式に対応する方式で復号する。復号部３２は、その結果得られる各仮想カメラのカラー画像とデプス関連画像を再構成部３３に供給する。
再構成部３３（３Ｄモデル生成部）は、受信部３１から供給される仮想視点情報、並びに、復号部３２から供給されるカラー画像およびデプス関連画像に基づいて、前景の３Ｄモデルの３Ｄデータのみを再構成（生成）する。
なお、前景の３Ｄデータの再構成に用いられるデプス関連画像の視点数は、符号化装置１２から伝送されるデプス関連画像の視点数以下であれば、どのような数であってもよい。前景の３Ｄモデルの再構成に用いられるデプス関連画像に対応する視点数が多いほど、前景の３Ｄモデルの精度が向上する。前景の３Ｄデータの再構成に用いられるデプス関連画像は、復号装置１３の能力や符号化装置１２と復号装置１３の間のネットワーク帯域の状況に応じて決定されるようにしてもよい。再構成部３３は、前景の３Ｄデータを描画部３４に供給する。
描画部３４は、表示視点情報に基づいて、変換部２１と同様に、再構成部３３から供給される３Ｄデータから、表示視点の前景のカラー画像を表示画像として生成し、表示装置１４に供給する。
表示装置１４は、２次元ヘッドマウントディスプレイ（ＨＭＤ）や２次元モニタなどにより構成される。表示装置１４は、再構成部３３から供給される表示画像に基づいて表示画像を２次元表示する。
なお、表示装置１４は、３次元ヘッドマウントディスプレイや３次元モニタなどにより構成されてもよい。この場合、描画部３４は、表示視点情報に基づいて、変換部２１と同様に、３Ｄデータから表示視点の前景のデプス画像を生成し、表示装置１４に供給する。表示装置１４は、描画部３４から供給される表示画像とデプス画像に基づいて表示画像を３次元表示する。
また、図１の例では、３ＤモデルがVisual Hull等を算出することにより生成されたが、ポイントクラウドにより生成されるようにしてもよい。この場合、３Ｄデータは、各ポイントクラウドの位置および色情報、または、各ポイントクラウドの位置および各カメラの視点のカラー画像により構成される。
以上のように、画像処理システム１０では、符号化装置１２が、３Ｄデータを複数の視点の仮想カメラのカラー画像とデプス画像に変換し、符号化を行う。従って、符号化方式として、AVCやHEVCなどの高圧縮な２次元動画像の符号化方式を採用することができる。その結果、３Ｄデータをそのまま伝送する場合に比べて、低ビットレートで、３Ｄモデルを示す情報を伝送することができる。
（距離Ｚと画素値ｐの関係）
図２は、距離Ｚと、式（１）および式（２）により求められる画素値ｐの関係を示す図である。
図２のグラフにおいて、横軸は画素値ｐを表し、縦軸は、距離Ｚを表している。また、図２の例では、最小値Ｚｍｉｎが1000mmであり、最大値Ｚｍａｘが10000mmであり、ビット幅bitdepthが５ビットである。
この場合、式（１）では、図２の点線で示すように、距離Ｚの1000mmから10000mmの範囲が３２等分され、分割された範囲の距離Ｚごとに異なる画素値ｐが割り当てられる。従って、画素値ｐの各値に対応する距離Ｚの範囲の大きさは等しい。即ち、量子化ステップは一定である。
これに対して、式（２）では、図２の実線で示すように、距離Ｚの逆数１／Ｚの1/10000mmから1/1000mmの範囲が３２等分され、分割された範囲の逆数１／Ｚごとに異なる画素値ｐが割り当てられる。従って、画素値ｐの値が小さいほど、その値に対応する距離Ｚの範囲は大きく、画素値ｐの値が大きいほど、その値に対応する距離Ｚの範囲は小さい。即ち、視点から被写体が遠いほど、画素値ｐの量子化ステップは大きく、視点から被写体が近いほど、画素値ｐの量子化ステップは小さい。視点から近い被写体ほど距離Ｚの誤差が３Ｄモデルの精度に影響を与えるため、式（２）により画素値を求めることにより、３Ｄモデルの精度を向上させることができる。
なお、以下では、特に断りのない限り、デプス画像の画素値は、式（１）により求められるものとする。
（符号化装置の符号化処理の説明）
図３は、図１の符号化装置１２の符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮像装置１１からフレーム単位で３Ｄデータが供給されたとき、開始される。
図３のステップＳ１１において、符号化装置１２の変換部２１は、生成する３Ｄモデルのカラー画像とデプス画像の複数の視点を決定する。
ステップＳ１２において、変換部２１は、決定された複数の視点の仮想カメラの外部パラメータおよび内部パラメータを仮想視点情報として生成し、記憶部２４に供給する。
ステップＳ１３において、変換部２１は、仮想視点情報に基づいて、撮像装置１１から供給されるフレーム単位の３Ｄデータから、各仮想カメラの視点のカラー画像とデプス画像とを生成する。変換部２１は、各仮想カメラの視点のカラー画像を生成部２２と符号化部２３に供給し、デプス画像を生成部２２に供給する。
ステップＳ１４において、生成部２２は、仮想カメラごとに、変換部２１から供給されるカラー画像からシルエット画像を生成する。
ステップＳ１５において、生成部２２は、仮想カメラごとに、変換部２１から供給されるデプス画像を輝度成分とし、シルエット画像を色成分とするデプス関連画像を生成し、符号化部２３に供給する。
ステップＳ１６において、符号化部２３は、変換部２１から供給される各仮想カメラのカラー画像と、生成部２２から供給される各仮想カメラのデプス関連画像とを符号化する。符号化部２３は、符号化の結果得られる符号化ストリームを記憶部２４に供給する。
ステップＳ１７において、記憶部２４は、変換部２１から供給される仮想視点情報と、符号化部２３から供給される符号化ストリームとを記憶する。
ステップＳ１８において、送信部２５は、記憶部２４に記憶されている仮想視点情報と符号化ストリームを読み出し、復号装置１３に伝送する。
（再構成部の構成例）
図４は、図１の再構成部３３の構成例を示すブロック図である。
図４の再構成部３３は、Visual Hull生成部１０１、修正部１０２、メッシュ生成部１０３、および３Ｄデータ生成部１０４により構成される。
再構成部３３のVisual Hull生成部１０１は、図１の受信部３１から供給される仮想視点情報と、復号部３２から供給される各視点のデプス関連画像の色成分であるシルエット画像とに基づいて、Visual Hullを生成する。Visual Hullとは、複数のカメラの光学中心と、そのカメラにより撮影された被写体のシルエットによってカメラごとに形成される錐体の積集合空間である。Visual Hull生成部１０１は、生成されたVisual Hullを修正部１０２に供給する。
修正部１０２は、復号部３２から供給される各視点のデプス関連画像の輝度成分であるデプス画像に基づいて、Visual Hull生成部１０１から供給されるVisual Hullを修正することにより、前景の３Ｄモデルを生成する。修正部１０２は、前景の３Ｄモデルをメッシュ生成部１０３に供給する。
メッシュ生成部１０３は、前景の３Ｄモデル（Voxel）を１以上のポリゴンメッシュに変換する。メッシュ生成部１０３は、前景の３Ｄモデルの各ポリゴンメッシュの形状情報を３Ｄデータ生成部１０４に供給する。
３Ｄデータ生成部１０４は、受信部３１から供給される仮想視点情報と、復号部３２から供給される各視点のカラー画像とに基づいて、メッシュ生成部１０３から供給される各形状情報に対応するポリゴンメッシュの色情報を生成する。３Ｄデータ生成部１０４は、各ポリゴンメッシュの形状情報と色情報を前景の３Ｄモデルの３Ｄデータとして図１の描画部３４に供給する。
（前景の３Ｄモデルの生成方法の説明）
図５乃至図９は、図４の再構成部３３による前景の３Ｄモデルの生成方法を説明する図である。
図５乃至図９の例では、前景の被写体１２１の形状が三角柱である。また、図５乃至図９は、被写体１２１を仮想カメラの上から見た図である。
また、図５乃至図９の例では、図５に示すように、仮想カメラの視点は、被写体１２１を取り囲むように配置された視点Ａ乃至Ｄの合計４つの視点である。また、視点Ａの画面（投影面）１３１は、視点Ａを中心とした画角１４１の範囲内に存在する。視点Ｂ乃至Ｄの画面１３２乃至１３４についても、視点Ａの画面１３１と同様に、それぞれ、画角１４２、画角１４３、画角１４４の範囲内に存在する。
この場合、図５の視点Ａ乃至Ｄのシルエット画像は、図６のシルエット画像１５１乃至１５４である。従って、Visual Hull生成部１０１は、視点Ａ乃至Ｄの仮想視点情報とシルエット画像１５１乃至１５４に基づいて、図７のVisual Hull１７０を生成する。
また、図５の視点Ａ乃至Ｄのデプス画像は、図８のデプス画像１９１乃至１９４である。従って、修正部１０２は、まず、図９のＡに示すように、デプス画像１９１に基づいて、Visual Hull生成部１０１により生成されたVisual Hull１７０を修正し、Visual Hull２０１を生成する。具体的には、修正部１０２は、デプス画像１９１から、生成する前景の３Ｄモデルの視点Ａ側の面全体と視点Ａとの奥行き方向の距離Ｚは一定であることを認識する。しかしながら、Visual Hull１７０の視点Ａ側の面全体と視点Ａとの奥行き方向の距離Ｚは一定ではない。従って、修正部１０２は、その距離Ｚが一定になるように、Visual Hull１７０の視点Ａ側の面の凸部１７０Ａを削除し、Visual Hull２０１を生成する。
次に、修正部１０２は、図９のＢに示すように、デプス画像１９２に基づいてVisual Hull２０１を修正し、Visual Hull２０２を生成する。具体的には、修正部１０２は、デプス画像１９２から、生成する前景の３Ｄモデルの視点Ｂ側の面と視点Ｂとの奥行き方向の距離Ｚは、視点Ｂから見て右側ほど遠くなるように大きく変化していることを認識する。しかしながら、Visual Hull２０２の視点Ｂ側の面と視点Ｂとの奥行き方向の距離Ｚは、視点Ｂから見て右側ほど遠くなっているが、大きく変化していない。従って、修正部１０２は、その距離Ｚが視点Ｂから見て右側ほど遠くなるように大きく変化するように、Visual Hull２０１の視点Ｂ側の面の凸部２０１Ａを削除し、Visual Hull２０２を生成する。
次に、修正部１０２は、図９のＣに示すように、デプス画像１９３に基づいてVisual Hull２０２を修正し、Visual Hull２０３を生成する。具体的には、修正部１０２は、デプス画像１９３から、生成する前景の３Ｄモデルの視点Ｃ側の面と視点Ｃとの奥行き方向の距離Ｚは、視点Ｃから見て所定の位置より左側または右側ほど遠くなるように大きく変化していることを認識する。
Visual Hull２０２の視点Ｃ側の面の視点Ｃから見て所定の位置より左側は、左側ほど視点Ｃとの奥行き方向の距離Ｚが遠くなっているため、修正部１０２は、この左側に対して修正は行わない。しかしながら、Visual Hull２０２の視点Ｃ側の面の視点Ｃから見て所定の位置より右側は、右側ほど視点Ｃとの奥行き方向の距離が遠くなっているが、大きく変化していない。従って、修正部１０２は、その距離Ｚが視点Ｃから見て所定の位置より右側ほど遠くなるように大きく変化するように、Visual Hull２０２の視点Ｃから見て所定の位置より右側の凸部２０２Ａを削除し、Visual Hull２０３を生成する。
最後に、修正部１０２は、図９のＤに示すように、デプス画像１９４に基づいて、Visual Hull２０３を、そのまま修正後のVisual Hull２０３として生成する。具体的には、修正部１０２は、デプス画像１９４から、生成する前景の３Ｄモデルの視点Ｄ側の面と視点Ｄとの奥行き方向の距離Ｚは、視点Ｄから見て左側ほど遠くなるように大きく変化していることを認識する。Visual Hull２０３の視点Ｄ側の面と視点Ｄとの奥行き方向の距離Ｚは、視点Ｄから見て左側ほど遠くなるように大きく変化しているため、修正部１０２は、Visual Hull２０３に対して修正を行わない。
以上のようにして、修正部１０２は、デプス画像１９１乃至１９４に基づいてVisual Hull１７０を修正することにより、前景の被写体１２１と同一の形状のVisual Hull２０３を生成する。そして、修正部１０２は、Visual Hull２０３を前景の３Ｄモデルとしてメッシュ生成部１０３に供給する。
（復号装置の処理の説明）
図１０は、図１の復号装置１３の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置１２の送信部２５からフレーム単位で符号化ストリームと仮想視点情報が伝送されてきたとき、開始される。
図１０のステップＳ３１において、復号装置１３の受信部３１は、符号化装置１２の送信部２５から伝送されてくる仮想視点情報と符号化ストリームを受信する。受信部３１は、仮想視点情報を再構成部３３に供給し、符号化ストリームを復号部３２に供給する。
ステップＳ３２において、復号部３２は、受信部３１から供給される符号化ストリームを、符号化部２３における符号化方式に対応する方式で復号する。復号部３２は、その結果得られる各仮想カメラのカラー画像とデプス関連画像を再構成部３３に供給する。
ステップＳ３３において、再構成部３３のVisual Hull生成部１０１（図４）は、受信部３１から供給される仮想視点情報と、復号部３２から供給される各仮想カメラのデプス関連画像の色成分であるシルエット画像とに基づいて、Visual Hullを生成する。Visual Hull生成部１０１は、生成されたVisual Hullを修正部１０２に供給する。
ステップＳ３４において、修正部１０２は、復号部３２から供給される各仮想カメラのデプス関連画像の輝度成分であるデプス画像に基づいて、Visual Hull生成部１０１から供給されるVisual Hullを修正することにより、前景の３Ｄモデルを生成する。修正部１０２は、前景の３Ｄモデルをメッシュ生成部１０３に供給する。
ステップＳ３５において、メッシュ生成部１０３は、前景の３Ｄモデルを１以上のポリゴンメッシュに変換する。メッシュ生成部１０３は、前景の３Ｄモデルの各ポリゴンメッシュの形状情報を３Ｄデータ生成部１０４に供給する。
ステップＳ３６において、３Ｄデータ生成部１０４は、仮想視点情報、各仮想カメラのカラー画像、および各ポリゴンメッシュの形状情報に基づいて、前景の３Ｄモデルの３Ｄデータを再構成する。３Ｄデータ生成部１０４は、前景の３Ｄモデルの３Ｄデータを描画部３４に供給する。
ステップＳ３７において、描画部３４は、表示視点情報に基づいて、変換部２１と同様に、再構成部３３から供給される前景の３Ｄモデルの３Ｄデータから、表示視点の前景のカラー画像を表示画像として生成し、表示装置１４に供給する。
以上のように、符号化装置１２は、複数の視点のデプス画像とともに、前景情報として複数の視点のシルエット画像を復号装置１３に伝送する。従って、復号装置１３は、複数の視点のデプス画像とシルエット画像に基づいて、前景の３Ｄモデルのみを生成することができる。
＜第２実施の形態＞
（再構成部の構成例）
本開示を適用した画像処理システムの第２実施の形態では、前景情報が、各仮想カメラのシルエット画像ではなく、各仮想カメラのデプス画像における前景の画素値の閾値（以下、前景デプス閾値という）である点が、第１実施の形態と異なる。
具体的には、本開示を適用した画像処理システムの第２実施の形態の構成は、生成部２２がシルエット画像の代わりに前景デプス閾値を生成する点、デプス関連画像がデプス画像に代わり、メタデータが仮想視点情報と前景デプス閾値になる点、および再構成部３３の構成を除いて、図１の構成と同様である。従って、再構成部３３以外の説明については、適宜省略する。
図１１は、本開示を適用した画像処理システムの第２実施の形態における再構成部３３の構成を示すブロック図である。
図１１に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１１の再構成部３３の構成は、シルエット画像生成部２２１が新たに設けられる点が、図４の構成と異なる。
第２実施の形態では、復号装置１３の受信部３１は、複数の仮想カメラのカラー画像およびデプス画像の符号化ストリームを受信して復号部３２に供給し、前景デプス閾値と仮想視点情報を受信して再構成部３３に供給する。復号部３２は、符号化ストリームを復号し、その結果得られる複数の仮想カメラのカラー画像およびデプス画像を再構成部３３に供給する。
再構成部３３のシルエット画像生成部２２１（画像生成部）は、仮想カメラごとに、入力される前景デプス閾値とデプス画像とに基づいて、シルエット画像を生成する。
具体的には、シルエット画像生成部２２１は、デプス画像の画素ごとに、その画素の画素値が前景デプス閾値以下であるかどうかを判定する。シルエット画像生成部２２１は、画素値が前景デプス閾値以下であると判定された画素のシルエット画像の画素値を、前景領域を表す255とし、画素値が前景デプス閾値より大きいと判定された画素のシルエット画像の画素値を、背景領域を表す0とする。
なお、デプス画像の画素値が上述した式（２）により求められる場合、画素値が前景デプス閾値以下であると判定された画素のシルエット画像の画素値は0とされ、画素値が前景デプス閾値より大きいと判定された画素のシルエット画像の画素値は255とされる。
シルエット画像生成部２２１は、以上のようにしてシルエット画像を生成することができる。シルエット画像生成部２２１は、シルエット画像をVisual Hull生成部１０１に供給する。
なお、第２実施の形態における復号処理は、ステップＳ３３の処理の前に、シルエット画像生成部２２１がシルエット画像を生成する処理が行われる点を除いて、図１０の復号処理と同様である。
以上のように、第２実施の形態では、符号化装置１２が、複数の視点のデプス画像とともに、前景情報として複数の視点の前景デプス閾値を復号装置１３に伝送する。従って、復号装置１３は、複数の視点のデプス画像と前景デプス閾値に基づいて、前景の３Ｄモデルのみを生成することができる。
＜第３実施の形態＞
（再構成部の構成例）
本開示を適用した画像処理システムの第３実施の形態では、前景情報が伝送されない点、および、デプス関連画像が、前景のデプス画像を輝度成分とし、背景のデプス画像を色成分とする画像である点が、第１実施の形態と異なる。
具体的には、本開示を適用した画像処理システムの第３実施の形態の構成は、変換部２１が前景のデプス画像と背景のデプス画像を別々に生成し、デプス関連画像を生成する点、生成部２２が設けられない点、および再構成部３３の構成を除いて、図１の構成と同様である。従って、再構成部３３以外の説明については、適宜省略する。
図１２は、本開示を適用した画像処理システムの第３実施の形態における再構成部３３の構成を示すブロック図である。
図１２に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１２の再構成部３３の構成は、Visual Hull生成部１０１と修正部１０２の代わりに、Convex Hull生成部２４１と修正部２４２が設けられる点が、図４の構成と異なる。
第３実施の形態では、復号装置１３の受信部３１は、複数の仮想カメラのカラー画像およびデプス関連画像の符号化ストリームを受信して復号部３２に供給し、仮想視点情報を受信して再構成部３３に供給する。復号部３２は、符号化ストリームを復号し、その結果得られる複数の仮想カメラのカラー画像およびデプス画像を再構成部３３に供給する。
再構成部３３のConvex Hull生成部２４１は、入力される仮想視点情報に基づいて、全ての仮想カメラの画角に含まれるConvex Hull(凸多角形)を生成し、修正部２４２に供給する。
修正部２４２は、入力される複数の仮想カメラのデプス関連画像の輝度成分である前景のデプス画像に基づいて、図４の修正部１０２と同様に、Convex Hull生成部２４１から供給されるConvex Hullを修正することにより、前景の３Ｄモデルを再構成する。修正部２４２は、前景の３Ｄモデルをメッシュ生成部１０３に供給する。
第３実施の形態における再構成部３３は、以上のようにして前景情報を用いずに前景の３Ｄモデルを生成する。
（Convex Hullの例）
図１３は、図１２のConvex Hull生成部２４１により生成されるConvex Hullの例を示す図である。
図１３において、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１３の例では、図５乃至図９の例と同様に、視点Ａ乃至Ｄが前景の被写体１２１を取り囲むように配置されている。この場合、Convex Hull生成部２４１は、視点Ａ乃至Ｄの画角１４１乃至１４４の全てに含まれる３Ｄ領域をConvex Hull２６０として生成する。
具体的には、Convex Hull生成部２４１は、まず、視点Ａの画角１４１に含まれる３Ｄ領域をConvex Hullとして生成する。次に、Convex Hull生成部２４１は、生成されたConvex Hull内の視点Ｂの画角１４２に含まれる３Ｄ領域を新たなConvex Hullとして生成する。以降も同様に、視点Ｃの画角１４３および視点Ｄの画角１４４を順に用いてConvex Hullを更新し、最終的にConvex Hull２６０を生成する。このConvex Hull２６０は、被写体１２１を含んでいる。
修正部２４２は、図４の修正部１０２と同様に、前景のデプス画像に基づいてConvex Hull２６０を修正することにより、被写体１２１と同一の形状のConvex Hullを前景の３Ｄモデルとして生成する。
なお、第３実施の形態における復号処理は、ステップＳ３３の処理が、Convex Hull生成部２４１がConvex Hullを生成する処理に、ステップＳ３４の処理が、修正部２４２がConvex Hullを修正することにより前景の３Ｄモデルを生成する処理に代わる点を除いて、図１０の復号処理と同様である。
＜第４実施の形態＞
（再構成部の構成例）
本開示を適用した画像処理システムの第４実施の形態では、３Ｄモデルの再構成方法が第１実施の形態と異なる。具体的には、本開示を適用した画像処理システムの第４実施の形態の構成は、再構成部３３の構成を除いて図１の構成と同様である。従って、再構成部３３以外の説明については、適宜省略する。
図１４は、本開示を適用した画像処理システムの第４実施の形態における再構成部３３の構成例を示すブロック図である。
図１４に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１４の再構成部３３は、前景デプス画像生成部２６１、メッシュ生成部２６２、メッシュ重畳部２６３、および３Ｄデータ生成部１０４により構成される。
前景デプス画像生成部２６１は、仮想カメラごとに、復号部３２から供給されるデプス関連画像の輝度成分であるデプス画像と、色成分であるシルエット画像とに基づいて、前景のデプス画像を生成し、メッシュ生成部２６２に供給する。
メッシュ生成部２６２は、仮想カメラごとに、前景デプス画像生成部２６１から供給される前景のデプス画像と、受信部３１から供給される仮想視点情報に基づいて、前景の３Ｄモデルを構成する１以上のポリゴンメッシュを生成する。メッシュ生成部２６２は、仮想カメラごとに、生成された各ポリゴンメッシュの形状情報をメッシュ重畳部２６３に供給する。
メッシュ重畳部２６３（生成部）は、メッシュ生成部２６２から供給される各仮想カメラの各形状情報に対応するポリゴンメッシュを重畳し、前景の３Ｄモデルを構成するポリゴンメッシュを生成する。メッシュ重畳部２６３は、前景の３Ｄモデルの各ポリゴンメッシュの形状情報を３Ｄデータ生成部１０４に供給する。
（前景のデプス画像の例）
図１５は、図１４の前景デプス画像生成部２６１により生成される前景のデプス画像の例を示す図である。
図１５において、図６や図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１５の例では、仮想カメラの視点が、図５の視点Ａ乃至Ｄと、図５において被写体１２１を見ている方向（図５の図面の手前）から撮影する視点Ｅの合計５つの視点である。この場合、視点Ｅのシルエット画像はシルエット画像２８１になり、視点Ｅのデプス画像は、デプス画像２８２になる。
前景デプス画像生成部２６１は、視点Ａのシルエット画像１５１の画素値が前景領域を示す画素に対応する、視点Ａのデプス画像１９１の画素の画素値を抽出し、その画素に対応する前景のデプス画像３０１の画素の画素値にする。また、前景デプス画像生成部２６１は、視点Ａのシルエット画像１５１の画素値が背景領域を示す画素に対応する、前景のデプス画像３０１の画素の画素値を、背景を示す特殊値にする。以上のようにして、前景デプス画像生成部２６１は、前景のデプス画像３０１を生成する。
同様に、前景デプス画像生成部２６１は、視点Ｂのシルエット画像１５２とデプス画像１９２から前景のデプス画像３０２を生成し、視点Ｃのシルエット画像１５３とデプス画像１９３から前景のデプス画像３０３を生成する。また、前景デプス画像生成部２６１は、視点Ｄのシルエット画像１５４とデプス画像１９４から前景のデプス画像３０４を生成し、視点Ｅのシルエット画像２８１とデプス画像２８２から前景のデプス画像３０５を生成する。なお、図１５では、画素値が特殊値である領域を斜線で示している。
（ポリゴンメッシュの生成方法の説明）
図１６は、図１４のメッシュ生成部２６２によるポリゴンメッシュの生成方法を説明する図である。
図１６の例では、前景デプス画像生成部２６１が、所定の視点のデプス画像として、図１６の左側に示す前景のデプス画像３１０を生成する。この場合、図１６の右側に示すように、メッシュ生成部２６２は、前景のデプス画像３１０の各画素の所定の位置（中心）に点３１１を配置し、画素値が背景領域を示す特殊値ではない画素に対応する点３１２を抽出する。そして、メッシュ生成部２６２は、抽出された点３１２を順に処理対象の点とする。
メッシュ生成部２６２は、例えば、処理対象の点の右、下、および右下の３つの点３１１が全て抽出されている場合、処理対象の点と、その点の右および下の点３１２を頂点とする三角形３１３を生成する。また、メッシュ生成部２６２は、処理対象の点の右、下、および右下の３つの点３１２を頂点とする三角形３１４を生成する。
メッシュ生成部２６２は、三角形３１３の各頂点を構成する点３１２の前景のデプス画像３１０上の位置、各点３１２に対応する前景のデプス画像３１０の画素値、および仮想視点情報に基づいて、三角形３１３に対応する３次元領域をポリゴンメッシュとして生成する。また、メッシュ生成部２６２は、三角形３１４に対応するポリゴンメッシュも、三角形３１３に対応するポリゴンメッシュと同様に生成する。
以上のような方法で、図１５の前景のデプス画像３０１乃至３０５を用いて視点Ａ乃至Ｅのポリゴンメッシュが生成されると、図１７のポリゴンメッシュ３２１乃至３２５が生成される。
図１７のＡに示すように、視点Ａのポリゴンメッシュ３２１を視点Ｅから見た形状は直線であり、視点Ａから見た形状は長方形である。図１７のＢに示すように、視点Ｂのポリゴンメッシュ３２２を視点Ｅから見た形状は右下がりの直線であり、視点Ｂから見た形状は長方形である。
また、図１７のＣに示すように、視点Ｃのポリゴンメッシュ３２３を視点Ｅから見た形状は、左側の右下がりの斜線と右側の右上がりの斜線が接続した線であり、視点Ｃから見た形状は、２つの長方形が横方向に合成された長方形である。図１７のＤに示すように、視点Ｄのポリゴンメッシュ３２４を視点Ｅから見た形状は右上がりの斜線であり、視点Ｄから見た形状は長方形である。
さらに、図１７のＥに示すように、視点Ｅのポリゴンメッシュ３２５を視点Ｅから見た形状は三角形状であり、視点Ａから見た形状は直線である。
（ポリゴンメッシュの重畳方法の説明）
図１８は、図１４のメッシュ重畳部２６３による各仮想カメラの視点のポリゴンメッシュの重畳方法を説明する図である。
図１８の例では、メッシュ生成部２６２が、視点Ａ乃至Ｅのポリゴンメッシュ３２１乃至３２５を生成する。図１８では、視点Ｅから見たポリゴンメッシュ３２１乃至３２５を図示している。
メッシュ重畳部２６３は、まず、図１８のＡに示すように、視点Ａのポリゴンメッシュ３２１と視点Ｂのポリゴンメッシュ３２２を同一の３次元空間に配置することにより重畳し、ポリゴンメッシュ３４１を生成する。次に、図１８のＢに示すように、メッシュ重畳部２６３は、ポリゴンメッシュ３４１と視点Ｃのポリゴンメッシュ３２３を同一の３次元空間に配置することにより重畳し、ポリゴンメッシュ３４２を生成する。
次に、図１８のＣに示すように、メッシュ重畳部２６３は、ポリゴンメッシュ３４２と視点Ｄのポリゴンメッシュ３２４を同一の３次元空間に配置することにより重畳し、ポリゴンメッシュ３４３を生成する。最後に、図１８のＤに示すように、メッシュ重畳部２６３は、ポリゴンメッシュ３４３と視点Ｅのポリゴンメッシュ３２５を同一の３次元空間に配置することにより重畳し、ポリゴンメッシュ３４４を生成する。そして、メッシュ重畳部２６３は、このポリゴンメッシュ３４４を、前景の３Ｄモデルのポリゴンメッシュとする。
以上のように、メッシュ重畳部２６３は、視点Ａ乃至Ｅのポリゴンメッシュ３２１乃至３２５を重畳することにより、前景の３Ｄモデルのポリゴンメッシュを生成することができる。
（復号装置の処理の説明）
図１９は、第４実施の形態における復号装置１３の復号処理を説明するフローチャートである。この復号処理は、例えば、第４実施の形態における符号化装置１２の送信部２５からフレーム単位で符号化ストリームと仮想視点情報が伝送されてきたとき、開始される。
図１９のステップＳ５１およびＳ５２の処理は、図１０のステップＳ３１およびＳ３２の処理と同様であるので、説明は省略する。
ステップＳ５３において、再構成部３３の前景デプス画像生成部２６１（図１４）は、仮想カメラごとに、復号部３２から供給されるデプス関連画像の輝度成分であるデプス画像と、色成分であるシルエット画像とに基づいて、前景のデプス画像を生成する。前景デプス画像生成部２６１は、前景のデプス画像をメッシュ生成部２６２に供給する。
ステップＳ５４において、メッシュ生成部２６２は、仮想カメラごとに、前景デプス画像生成部２６１から供給される前景のデプス画像と、受信部３１から供給される仮想視点情報に基づいて、前景の３Ｄモデルを構成する１以上のポリゴンメッシュを生成する。メッシュ生成部２６２は、仮想カメラごとに、生成された各ポリゴンメッシュの形状情報をメッシュ重畳部２６３に供給する。
ステップＳ５５において、メッシュ重畳部２６３は、メッシュ生成部２６２から供給される各仮想カメラの各形状情報に対応するポリゴンメッシュを重畳し、前景の３Ｄモデルを構成するポリゴンメッシュを生成する。メッシュ重畳部２６３は、前景の３Ｄモデルの各ポリゴンメッシュの形状情報を３Ｄデータ生成部１０４に供給する。
ステップＳ５６およびＳ５７の処理は、図１０のＳ３６おおよびＳ３７の処理と同様であるので、説明は省略する。
なお、第１実施の形態および第４実施の形態における復号装置１３は、シルエット画像、カラー画像、およびデプス画像を用いて、各視点の背景のカラー画像と背景のデプス画像を生成するようにしてもよい。この場合、復号装置１３は、例えば、仮想カメラごとに、背景のデプス画像に基づいて、距離Ｚが遠いほどボケが強くなるように背景のカラー画像に対してボケ処理を行う。そして、復号装置１３は、各仮想カメラのボケ処理後の背景のカラー画像に基づいて表示視点の背景のカラー画像を生成し、表示視点の前景のカラー画像と合成して表示画像を生成する。
＜第５実施の形態＞
（再構成部の構成例）
本開示を適用した画像処理システムの第５実施の形態では、前景情報が、各仮想カメラのシルエット画像ではなく、各仮想カメラの前景デプス閾値である点が、第４実施の形態と異なる。
即ち、第５実施の形態は、第２実施の形態と第４実施の形態を組み合わせたものである。従って、第５実施の形態における再構成部３３は、図２０に示すように、図１４の再構成部３３の前景デプス画像生成部２６１の前段に、図１１のシルエット画像生成部２２１が設けられることにより構成される。
なお、第２実施の形態および第５実施の形態における復号装置１３は、前景デプス閾値、カラー画像、およびデプス画像を用いて、各視点の背景のカラー画像と背景のデプス画像を生成するようにしてもよい。この場合、復号装置１３は、例えば、仮想カメラごとに、背景のデプス画像に基づいて、距離Ｚが遠いほどボケが強くなるように背景のカラー画像に対してボケ処理を行う。そして、復号装置１３は、各仮想カメラのボケ処理後の背景のカラー画像に基づいて表示視点の背景のカラー画像を生成し、表示視点の前景のカラー画像と合成して表示画像を生成する。
＜第６実施の形態＞
（再構成部の構成例）
本開示を適用した画像処理システムの第６実施の形態では、前景情報が伝送されない点、および、デプス関連画像が、前景のデプス画像を輝度成分とし、背景のデプス画像を色成分とする画像である点が、第４実施の形態と異なる。
即ち、第６実施の形態は、第３実施の形態と第４実施の形態を組み合わせたものである。具体的には、本開示を適用した画像処理システムの第６実施の形態の構成は、再構成部３３の構成を除いて、第３実施の形態の構成と同様である。従って、再構成部３３以外の説明については、適宜省略する。
図２１は、本開示を適用した画像処理システムの第６実施の形態における再構成部３３の構成を示すブロック図である。
図２１に示す構成のうち、図１４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２１の再構成部３３は、前景デプス画像生成部２６１が設けられない点が、図１４の構成と異なる。即ち、第６実施の形態では、デプス関連画像の輝度成分が前景のデプス画像であるため、前景のデプス画像を生成する必要はない。従って、図２１の再構成部３３には前景デプス画像生成部２６１が設けられず、メッシュ生成部２６２は、仮想カメラごとに、デプス関連画像の輝度成分である前景のデプス画像と仮想視点情報とに基づいて、前景の３Ｄモデルのポリゴンメッシュを生成する。
なお、第３実施の形態および第６実施の形態では、符号化装置１２が、前景のデプス画像を輝度成分として含み、背景のデプス画像を色成分として含むデプス関連画像の符号化ストリームを伝送したが、前景のデプス画像の符号化ストリームのみを伝送するようにしてもよい。
また、第３実施の形態および第６実施の形態において、被写体全体のカラー画像が、前景のカラー画像と背景のカラー画像に分割されて、符号化装置１２から復号装置１３に伝送されるようにしてもよい。この場合、復号装置１３は、例えば、仮想カメラごとに、背景のデプス画像に基づいて、距離Ｚが遠いほどボケが強くなるように背景のカラー画像に対してボケ処理を行う。そして、復号装置１３は、各仮想カメラのボケ処理後の背景のカラー画像に基づいて表示視点の背景のカラー画像を生成し、表示視点の前景のカラー画像と合成して表示画像を生成する。
＜第７実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。
入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。
以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
＜応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図２３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２３に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２３では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図２４は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２４には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図２３に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２３の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図２３に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
また、図１乃至図２１を用いて説明した本実施形態に係る画像処理システム１０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム７０００において、図１乃至図２１を用いて説明した本実施形態に係る画像処理システム１０は、図２３に示した応用例の車両制御システム７０００に適用することができる。例えば、画像処理システム１０の撮像装置１１は、撮像部７４１０に相当し、符号化装置１２と復号装置１３は一体化されて統合制御ユニット７６００に相当し、表示装置１４は、表示部７７２０に相当する。これにより、統合制御ユニット７６００は、前景の３Ｄモデルのみを生成することができる。
また、図１乃至図２１を用いて説明した画像処理システム１０の少なくとも一部の構成要素は、図２３に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１乃至図２１を用いて説明した画像処理システム１０が、図２３に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本開示は、以下のような構成もとることができる。
（１）
複数の視点のデプス画像と前記複数の視点の前景の画像とに基づいて、前記前景の３Ｄモデルを生成する３Ｄモデル生成部
を備える画像処理装置。
（２）
前記前景の画像は、前記前景のシルエットを示すシルエット画像である
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記複数の視点のデプス関連画像を受信する受信部
をさらに備え、
前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景の画像を色成分とした画像であり、
前記３Ｄモデル生成部は、前記受信部により受信された前記複数の視点の前記デプス関連画像に基づいて、前記前景の３Ｄモデルを生成する
ように構成された
前記（１）または（２）に記載の画像処理装置。
（４）
前記視点ごとに、前記デプス画像における前記前景の画素値の閾値と前記デプス画像とに基づいて、前記前景の画像を生成する画像生成部
をさらに備える
前記（１）または（２）に記載の画像処理装置。
（５）
前記複数の視点の前記デプス画像と前記閾値とを受信する受信部
をさらに備える
前記（４）に記載の画像処理装置。
（６）
前記３Ｄモデル生成部は、
前記複数の視点の前記前景の画像に基づいてVisual Hullを生成するVisual Hull生成部と、
前記複数の視点の前記デプス画像に基づいて、前記Visual Hull生成部により生成された前記Visual Hullを修正することにより、前記前景の３Ｄモデルを生成する修正部と
を備える
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記３Ｄモデル生成部は、
前記視点ごとに、前記デプス画像と前記前景の画像とに基づいて前記前景のデプス画像を生成する前景デプス画像生成部と、
前記前景デプス画像生成部により生成された前記前景のデプス画像に基づいて、前記前景の３Ｄモデルを生成する生成部と
を備える
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（８）
画像処理装置が、
複数の視点のデプス画像と前記複数の視点の前景の画像とに基づいて、前記前景の３Ｄモデルを生成する３Ｄモデル生成ステップ
を含む画像処理方法。
（９）
複数の視点のデプス画像と前記複数の視点の前景に関する前景情報とを送信する送信部
を備える画像処理装置。
（１０）
前記前景情報は、前記前景のシルエットを示すシルエット画像である
ように構成された
前記（９）に記載の画像処理装置。
（１１）
前記送信部は、前記複数の視点のデプス関連画像を送信し、
前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景情報を色成分とする画像である
ように構成された
前記（１０）に記載の画像処理装置。
（１２）
前記前景情報は、前記デプス画像における前記前景の画素値の閾値である
ように構成された
前記（９）に記載の画像処理装置。
（１３）
画像処理装置が、
複数の視点のデプス画像と前記複数の視点の前景に関する前景情報とを送信する送信ステップ
を含む画像処理方法。
（１４）
複数の視点の前景のデプス画像に基づいて、前記前景の３Ｄモデルを生成する３Ｄモデル生成部
を備える画像処理装置。
（１５）
前記複数の視点のデプス関連画像を受信する受信部
をさらに備え、
前記デプス関連画像は、前記前景のデプス画像を輝度成分とし、背景のデプス画像を色成分とした画像であり、
前記３Ｄモデル生成部は、前記複数の視点の前記デプス関連画像の輝度成分に基づいて、前記前景の３Ｄモデルを生成する
ように構成された
前記（１４）に記載の画像処理装置。
（１６）
前記３Ｄモデル生成部は、
前記複数の視点のカメラパラメータに基づいてConvex Hullを生成するConvex Hull生成部と、
前記複数の視点の前記前景のデプス画像に基づいて、前記Convex Hull生成部により生成された前記Convex Hullを修正することにより、前記前景の３Ｄモデルを生成する修正部と
を備える
前記（１４）または（１５）に記載の画像処理装置。
（１７）
画像処理装置が、
複数の視点の前景のデプス画像に基づいて、前記前景の３Ｄモデルを生成する３Ｄモデル生成ステップ
を含む画像処理方法。
１３ 復号装置, ３１ 受信部, ３３ 再構成部, １０１ Visual Hull生成部, １０２ 修正部, １５１乃至１５４ シルエット画像, １９１乃至１９４ デプス画像, ２０３ Visual Hull， ２２１ シルエット画像生成部， ２４１ Convex Hull生成部, ２６０ Convex Hull, ２６１ 前景デプス画像生成部, ２６３ メッシュ重畳部, ２８１ シルエット画像, ２８２ デプス画像, ３０１乃至３０５ 前景のデプス画像, ３４４ ポリゴンメッシュ

Claims (13)

  1. 複数の視点のデプス画像と前記複数の視点の前景の画像とに基づいて、前記前景の３Ｄモデルを生成する３Ｄモデル生成部と、
    前記複数の視点のデプス関連画像を受信する受信部と
    を備え、
    前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景の画像を色成分とした画像であり、
    前記３Ｄモデル生成部は、前記受信部により受信された前記複数の視点の前記デプス関連画像に基づいて、前記前景の３Ｄモデルを生成する
    ように構成された
    画像処理装置。
  2. 前記前景の画像は、前記前景のシルエットを示すシルエット画像である
    ように構成された
    請求項１に記載の画像処理装置。
  3. 前記３Ｄモデル生成部は、
    前記複数の視点の前記前景の画像に基づいてVisual Hullを生成するVisual Hull生成部と、
    前記複数の視点の前記デプス画像に基づいて、前記Visual Hull生成部により生成された前記Visual Hullを修正することにより、前記前景の３Ｄモデルを生成する修正部と
    を備える
    請求項１に記載の画像処理装置。
  4. 前記３Ｄモデル生成部は、
    前記視点ごとに、前記デプス画像と前記前景の画像とに基づいて前記前景のデプス画像を生成する前景デプス画像生成部と、
    前記前景デプス画像生成部により生成された前記前景のデプス画像に基づいて、前記前景の３Ｄモデルを生成する生成部と
    を備える
    請求項１に記載の画像処理装置。
  5. 画像処理装置が、
    複数の視点のデプス画像と前記複数の視点の前景の画像とに基づいて、前記前景の３Ｄモデルを生成する３Ｄモデル生成ステップと
    前記複数の視点のデプス関連画像を受信する受信ステップと
    を含み、
    前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景の画像を色成分とした画像であり、
    前記３Ｄモデル生成ステップの処理では、前記受信ステップの処理により受信された前記複数の視点の前記デプス関連画像に基づいて、前記前景の３Ｄモデルを生成する
    画像処理方法。
  6. 複数の視点のデプス画像と前記複数の視点の前景に関する前景情報とを、前記複数の視点のデプス画像と前記複数の視点の前景情報とに基づいて前記前景の３Ｄモデルを生成する他の画像処理装置に送信する送信部
    を備え、
    前記前景情報は、前記前景のシルエットを示すシルエット画像であり、
    前記送信部は、前記複数の視点のデプス関連画像を送信し、
    前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景情報を色成分とする画像である
    ように構成された
    画像処理装置。
  7. 画像処理装置が、
    複数の視点のデプス画像と前記複数の視点の前景に関する前景情報とを、前記複数の視点のデプス画像と前記複数の視点の前景情報とに基づいて前記前景の３Ｄモデルを生成する他の画像処理装置に送信する送信ステップ
    を含み、
    前記前景情報は、前記前景のシルエットを示すシルエット画像であり、
    前記送信ステップの処理では、前記複数の視点のデプス関連画像を送信し、
    前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景情報を色成分とする画像である
    画像処理方法。
  8. 複数の視点のデプス画像と前記複数の視点の前景に関する前景情報とを、前記複数の視点のデプス画像と前記複数の視点の前景情報とに基づいて前記前景の３Ｄモデルを生成する他の画像処理装置に送信する送信部
    を備え、
    前記前景情報は、前記デプス画像における前記前景の画素値の閾値であり、
    前記送信部は、前記複数の視点のデプス関連画像を送信し、
    前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景情報を色成分とする画像である
    ように構成された
    画像処理装置。
  9. 画像処理装置が、
    複数の視点のデプス画像と前記複数の視点の前景に関する前景情報とを、前記複数の視点のデプス画像と前記複数の視点の前景情報とに基づいて前記前景の３Ｄモデルを生成する他の画像処理装置に送信する送信ステップ
    を含み、
    前記前景情報は、前記デプス画像における前記前景の画素値の閾値であり、
    前記送信ステップの処理では、前記複数の視点のデプス関連画像を送信し、
    前記デプス関連画像は、前記デプス画像を輝度成分とし、前記前景情報を色成分とする画像である
    画像処理方法。
  10. 複数の視点の前景のデプス画像に基づいて、前記前景の３Ｄモデルを生成する３Ｄモデル生成部と、
    前記複数の視点のデプス関連画像を受信する受信部と
    を備え、
    前記デプス関連画像は、前記前景のデプス画像を輝度成分とし、背景のデプス画像を色成分とした画像であり、
    前記３Ｄモデル生成部は、前記複数の視点の前記デプス関連画像の輝度成分に基づいて、前記前景の３Ｄモデルを生成する
    ように構成された
    画像処理装置。
  11. 画像処理装置が、
    複数の視点の前景のデプス画像に基づいて、前記前景の３Ｄモデルを生成する３Ｄモデル生成ステップと、
    前記複数の視点のデプス関連画像を受信する受信ステップと
    を含み、
    前記デプス関連画像は、前記前景のデプス画像を輝度成分とし、背景のデプス画像を色成分とした画像であり、
    前記３Ｄモデル生成ステップの処理では、前記複数の視点の前記デプス関連画像の輝度成分に基づいて、前記前景の３Ｄモデルを生成する
    画像処理方法。
  12. 複数の視点の前景のデプス画像に基づいて、前記前景の３Ｄモデルを生成する３Ｄモデル生成部
    を備え、
    前記３Ｄモデル生成部は、
    前記複数の視点のカメラパラメータに基づいてConvex Hullを生成するConvex Hull生成部と、
    前記複数の視点の前記前景のデプス画像に基づいて、前記Convex Hull生成部により生成された前記Convex Hullを修正することにより、前記前景の３Ｄモデルを生成する修正部と
    を備える
    画像処理装置。
  13. 画像処理装置が、
    複数の視点の前景のデプス画像に基づいて、前記前景の３Ｄモデルを生成する３Ｄモデル生成ステップ
    を含み、
    前記３Ｄモデル生成ステップは、
    前記複数の視点のカメラパラメータに基づいてConvex Hullを生成するConvex Hull生成ステップと、
    前記複数の視点の前記前景のデプス画像に基づいて、前記Convex Hull生成ステップの処理により生成された前記Convex Hullを修正することにより、前記前景の３Ｄモデルを生成する修正ステップと
    を含む画像処理方法。
JP2018546245A 2016-10-19 2017-10-05 画像処理装置および画像処理方法 Active JP6988815B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016204908 2016-10-19
JP2016204908 2016-10-19
PCT/JP2017/036344 WO2018074252A1 (ja) 2016-10-19 2017-10-05 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JPWO2018074252A1 JPWO2018074252A1 (ja) 2019-08-08
JP6988815B2 true JP6988815B2 (ja) 2022-01-05

Family

ID=62018553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018546245A Active JP6988815B2 (ja) 2016-10-19 2017-10-05 画像処理装置および画像処理方法

Country Status (5)

Country Link
US (1) US10970916B2 (ja)
JP (1) JP6988815B2 (ja)
CN (1) CN109844813B (ja)
DE (1) DE112017005318T5 (ja)
WO (1) WO2018074252A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018100928A1 (ja) * 2016-11-30 2018-06-07 キヤノン株式会社 画像処理装置および方法
JP7187182B2 (ja) 2018-06-11 2022-12-12 キヤノン株式会社 データ生成装置、方法およびプログラム
US20210304494A1 (en) * 2018-08-10 2021-09-30 Sharp Kabushiki Kaisha Image processing apparatus, 3d data generation apparatus, control program, and recording medium
US11222427B2 (en) * 2018-10-31 2022-01-11 Wind River Systems, Inc. Image compression
US10841356B2 (en) * 2018-11-28 2020-11-17 Netflix, Inc. Techniques for encoding a media title while constraining bitrate variations
US10880354B2 (en) 2018-11-28 2020-12-29 Netflix, Inc. Techniques for encoding a media title while constraining quality variations
JP7250493B2 (ja) * 2018-12-03 2023-04-03 キヤノン株式会社 画像処理装置、三次元形状データの生成方法およびプログラム
US10979861B2 (en) * 2018-12-27 2021-04-13 Micware Co., Ltd. Information transmission system
US10817050B2 (en) * 2019-01-25 2020-10-27 Dell Products, L.P. Backchannel resilience for virtual, augmented, or mixed reality (xR) applications in connectivity-constrained environments
CN110321808B (zh) * 2019-06-13 2021-09-14 浙江大华技术股份有限公司 遗留物与盗移物检测方法、设备和存储介质
CN112150603B (zh) * 2019-06-28 2023-03-28 上海交通大学 基于三维点云的初始视角控制和呈现方法及系统
US20230084376A1 (en) * 2020-03-26 2023-03-16 Sony Group Corporation Information processing device, 3d model generation method, and program
CN112541426B (zh) * 2020-12-10 2022-09-30 天津(滨海)人工智能军民融合创新中心 基于无人机集群协同感知的通信带宽自适应数据处理方法
EP4336459A1 (en) 2021-05-27 2024-03-13 Sony Group Corporation Information processing device, information processing method, and program
WO2024034449A1 (ja) * 2022-08-06 2024-02-15 モルゲンロット株式会社 情報処理装置、及び情報処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000146546A (ja) 1998-11-09 2000-05-26 Hitachi Ltd ３次元モデル生成方法及び装置
GB2377576B (en) * 2001-07-12 2005-06-01 Vision Works Ltd D Modelling of three dimensional shapes
US7652794B2 (en) * 2004-06-28 2010-01-26 International Paper Co. Prepress workflow methods for generating images with improved misregistration tolerance utilizing global and/or local processing techniques
US20120050478A1 (en) * 2010-08-27 2012-03-01 Jeyhan Karaoguz Method and System for Utilizing Multiple 3D Source Views for Generating 3D Image
KR101798408B1 (ko) * 2011-01-03 2017-11-20 삼성전자주식회사 3ｄ 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치
US9235749B2 (en) * 2011-02-24 2016-01-12 Sony Corporation Image processing device and image processing method
JP5891388B2 (ja) * 2011-03-31 2016-03-23 パナソニックＩｐマネジメント株式会社 立体視画像の描画を行う画像描画装置、画像描画方法、画像描画プログラム
FR2986395A1 (fr) * 2012-01-30 2013-08-02 France Telecom Codage et decodage par heritage progressif
JP2014235634A (ja) 2013-06-04 2014-12-15 国立大学法人 筑波大学 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム
RU2014110361A (ru) * 2014-03-18 2015-09-27 ЭлЭсАй Корпорейшн Процессор изображений, сконфигурированный для эффективной оценки и устранения информации переднего плана на изображениях

Also Published As

Publication number Publication date
JPWO2018074252A1 (ja) 2019-08-08
WO2018074252A1 (ja) 2018-04-26
US10970916B2 (en) 2021-04-06
US20200051323A1 (en) 2020-02-13
DE112017005318T5 (de) 2019-08-01
CN109844813A (zh) 2019-06-04
CN109844813B (zh) 2023-11-07

Similar Documents

Publication Publication Date Title
JP6988815B2 (ja) 画像処理装置および画像処理方法
JP7200678B2 (ja) 画像処理装置および画像処理方法
JP6944136B2 (ja) 画像処理装置および画像処理方法
JP7192772B2 (ja) 画像処理装置および画像処理方法
JP7040466B2 (ja) 画像処理装置および画像処理方法
JP6939807B2 (ja) 画像処理装置および画像処理方法
JPWO2017195650A1 (ja) 生成装置および生成方法、並びに、再生装置および再生方法
JP6944137B2 (ja) 画像処理装置および画像処理方法
JP6813027B2 (ja) 画像処理装置および画像処理方法
JP6743893B2 (ja) 画像処理装置および画像処理方法
JP6930541B2 (ja) 画像処理装置および画像処理方法
JP6743894B2 (ja) 画像処理装置および画像処理方法
JP6977725B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211115

R151 Written notification of patent or utility model registration

Ref document number: 6988815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151