JP6939807B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本開示は、画像処理装置および画像処理方法に関し、特に、３Ｄモデルのデプス画像の精度を向上させることができるようにした画像処理装置および画像処理方法に関する。

複数のカメラにより撮影されたカラー画像とデプス画像から被写体の３Ｄモデルを生成する技術がある(例えば、非特許文献１参照)。

Saied Moezzi, Li-Cheng Tai, Philippe Gerard, "Virtual View Generation for 3D Digital Video", University of California, San Diego

しかしながら、３Ｄモデルのデプス画像の精度を向上させることは考案されていなかった。

本開示は、このような状況に鑑みてなされたものであり、３Ｄモデルのデプス画像の精度を向上させることができるようにするものである。

本開示の第１の側面の画像処理装置は、３Ｄモデルに含まれる各オブジェクトに対して複数の視点のデプス画像を生成するデプス画像生成部と、前記デプス画像上の前記オブジェクトの範囲と、前記デプス画像に対応する視点と前記オブジェクトとの奥行き方向の距離の範囲とを示すオブジェクト範囲情報を生成するオブジェクト範囲情報生成部とを備える画像処理装置である。

本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。

本開示の第１の側面においては、３Ｄモデルに含まれる各オブジェクトに対して複数の視点のデプス画像が生成され、前記デプス画像上の前記オブジェクトの範囲と、前記デプス画像に対応する視点と前記オブジェクトとの奥行き方向の距離の範囲とを示すオブジェクト範囲情報が生成される。
本開示の第２の側面の画像処理装置は、３Ｄモデルに含まれる各オブジェクトに対して複数の視点のデプス画像を生成するデプス画像生成部と、時系列の前記３Ｄモデルに基づいて、各視点の前記デプス画像上の所定のオブジェクトの位置の時間変化が小さくなるように、前記複数の視点を決定する視点決定部とを備える画像処理装置である。
本開示の第２の側面の画像処理方法は、本開示の第２の側面の画像処理装置に対応する。
本開示の第２の側面においては、３Ｄモデルに含まれる各オブジェクトに対して複数の視点のデプス画像が生成され、時系列の前記３Ｄモデルに基づいて、各視点の前記デプス画像上の所定のオブジェクトの位置の時間変化が小さくなるように、前記複数の視点が決定される。
本開示の第３の側面の画像処理装置は、３Ｄモデルに含まれる各オブジェクトに対して複数の視点のデプス画像を生成するデプス画像生成部と、前記オブジェクトごとに、時系列の前記オブジェクトに基づいて、各視点の前記デプス画像上の前記オブジェクトの位置の時間変化が小さくなるように、前記複数の視点を決定する視点決定部とを備える画像処理装置である。
本開示の第３の側面の画像処理方法は、本開示の第３の側面の画像処理装置に対応する。
本開示の第３の側面においては、３Ｄモデルに含まれる各オブジェクトに対して複数の視点のデプス画像が生成され、前記オブジェクトごとに、時系列の前記オブジェクトに基づいて、各視点の前記デプス画像上の前記オブジェクトの位置の時間変化が小さくなるように、前記複数の視点が決定される。

本開示の第４の側面の画像処理装置は、３Ｄモデルに含まれるオブジェクトに対する複数の視点のデプス画像に基づいて、前記オブジェクトを生成するオブジェクト生成部を備え、前記オブジェクト生成部は、前記デプス画像上の前記オブジェクトの範囲と、前記デプス画像に対応する視点と前記オブジェクトとの奥行き方向の距離の範囲とを示すオブジェクト範囲情報に基づいて、前記オブジェクトを生成するように構成された画像処理装置である。

本開示の第４の側面の画像処理方法は、本開示の第４の側面の画像処理装置に対応する。

本開示の第４の側面においては、３Ｄモデルに含まれるオブジェクトに対する複数の視点のデプス画像に基づいて、前記オブジェクトが生成される。前記オブジェクトの生成には、前記デプス画像上の前記オブジェクトの範囲と、前記デプス画像に対応する視点と前記オブジェクトとの奥行き方向の距離の範囲とを示すオブジェクト範囲情報も用いられる。
本開示の第５の側面の画像処理装置は、３Ｄモデルに含まれるオブジェクトに対する複数の視点のデプス画像に基づいて、前記オブジェクトを生成するオブジェクト生成部を備え、前記複数の視点は、時系列の前記３Ｄモデルに基づいて、各視点の前記デプス画像上の前記３Ｄモデルに含まれる所定のオブジェクトの位置の時間変化が小さくなるように決定されるように構成された画像処理装置である。
本開示の第５の側面の画像処理方法は、本開示の第５の側面の画像処理装置に対応する。
本開示の第５の側面においては、３Ｄモデルに含まれるオブジェクトに対する複数の視点のデプス画像に基づいて、前記オブジェクトが生成される。前記複数の視点は、時系列の前記３Ｄモデルに基づいて、各視点の前記デプス画像上の前記３Ｄモデルに含まれる所定のオブジェクトの位置の時間変化が小さくなるように決定される。
本開示の第６の側面の画像処理装置は、３Ｄモデルに含まれるオブジェクトに対する複数の視点のデプス画像に基づいて、前記オブジェクトを生成するオブジェクト生成部を備え、前記複数の視点は、時系列の前記オブジェクトに基づいて、各視点の前記デプス画像上の前記オブジェクトの位置の時間変化が小さくなるように決定されるように構成された画像処理装置である。
本開示の第６の側面の画像処理方法は、本開示の第６の側面の画像処理装置に対応する。
本開示の第６の側面においては、３Ｄモデルに含まれるオブジェクトに対する複数の視点のデプス画像に基づいて、前記オブジェクトが生成される。前記複数の視点は、時系列の前記オブジェクトに基づいて、各視点の前記デプス画像上の前記オブジェクトの位置の時間変化が小さくなるように決定される。

なお、第１乃至第６の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、第１乃至第６の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本開示の第１乃至第３の側面によれば、３Ｄモデルのデプス画像の精度を向上させることができる。

また、本開示の第４乃至第６の側面によれば、精度が向上された３Ｄモデルのデプス画像に基づいて３Ｄモデルを生成することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。 変換部の構成例を示すブロック図である。 仮想カメラの視点の決定方法を説明する図である。 デプス画像生成部の構成例を示すブロック図である。 所定の仮想カメラの各オブジェクトのデプス画像を説明する図である。 ２次元位置情報を説明する図である。 最小値ｚminと最大値zmaxを説明する図である。 第１実施の形態におけるオブジェクトテーブルの例を示す図である。 第１実施の形態における符号化処理を説明するフローチャートである。 主要オブジェクト選択処理の詳細を説明するフローチャートである。 視点決定処理の詳細を説明するフローチャートである。 復号処理を説明するフローチャートである。 本開示を適用した画像処理システムの第２実施の形態における変換部の構成例を示すブロック図である。 オブジェクトのバウンディングボックスの例を示す図である。 第２実施の形態におけるオブジェクトテーブルの例を示す図である。 第２実施の形態における符号化処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：画像処理システム（図１乃至図１２）
２．第２実施の形態：画像処理システム（図１３乃至図１６）
３．第３実施の形態：コンピュータ（図１７）
４．応用例：車両制御システム（図１８および図１９）

＜第１実施の形態＞
（画像処理システムの構成例）
図１は、本開示を適用した画像処理システムの第１実施の形態の構成例を示すブロック図である。

図１の画像処理システム１０は、撮像装置１１、符号化装置１２（画像処理装置）、復号装置１３（画像処理装置）、および表示装置１４により構成される。画像処理システム１０は、撮像装置１１により取得されたカラー画像とデプス画像を用いて、表示視点のカラー画像を生成し、表示する。

具体的には、画像処理システム１０の撮像装置１１は、例えば、マルチカメラ、測距測定器、および画像処理部により構成される。撮像装置１１のマルチカメラは、複数のカメラにより構成され、各カメラで少なくとも一部が共通する被写体のカラー画像の動画像を撮像する。測距測定器は、例えば、各カメラに設けられ、そのカメラと同一の視点のデプス画像の動画像を生成する。

撮像装置１１の画像処理部は、フレーム単位で、各カメラの視点のカラー画像およびデプス画像の動画像、並びに、各カメラのワールド座標系（３Ｄ座標系）における外部パラメータおよび内部パラメータを用いて、Visual Hull等を算出することにより、被写体の３Ｄモデルを生成する。画像処理部は、３Ｄモデルを構成する各ポリゴンメッシュの頂点（Vertex）の３次元位置および頂点間ｍのつながりを示す形状情報（Geometry）と、そのポリゴンメッシュの色情報とを被写体の３Ｄデータとして生成する。

画像処理部における３Ｄデータの生成方法としては、例えば、非特許文献１等に記載されている方法を採用することができる。なお、３Ｄデータは、形状情報と各カメラの視点のカラー画像とにより構成されてもよい。画像処理部は、３Ｄデータを符号化装置１２に供給する。

符号化装置１２は、変換部２１、符号化部２２、記憶部２３、および送信部２４により構成される。

符号化装置１２の変換部２１は、フレームごとに、撮像装置１１から供給される３Ｄデータに基づいて、被写体の３Ｄモデルを１以上のオブジェクトに分割する。また、変換部２１は、フレームごとに、そのフレームとそのフレームより１つ前のフレームの３Ｄデータに基づいて、生成する各仮想カメラのデプス画像上の主要なオブジェクトの位置の時間変化が小さくなるように、生成するデプス画像に対応する各仮想カメラの視点を決定する。ここでは、生成するデプス画像とカラー画像に対応する仮想カメラの視点は同一であるものとするが、デプス画像とカラー画像に対応する仮想カメラおよび仮想カメラ数は異なっていてもよい。

変換部２１は、決定された各視点の仮想カメラのワールド座標系における外部パラメータおよび内部パラメータを生成する。また、変換部２１は、各仮想カメラに対して、仮想カメラに固有のＩＤであるカメラＩＤを付与する。変換部２１は、各仮想カメラの外部パラメータおよび内部パラメータと各オブジェクトのフレーム単位の３Ｄデータとに基づいて、各仮想カメラにより撮影される各オブジェクトのフレーム単位のカラー画像と、そのカラー画像に対応するデプス画像とを生成する。

３Ｄデータからカラー画像やデプス画像を生成する方法としては、例えば、谷本正幸、「究極の映像通信を目指して」電子情報通信学会技術研究報告. CS, 通信方式 110(323), 73-78, 2010-11-25等に記載されている方法を採用することができる。

変換部２１は、各仮想カメラの各オブジェクトのカラー画像とデプス画像を符号化部２２に供給する。また、変換部２１は、各仮想カメラの外部パラメータ、内部パラメータ、およびカメラＩＤを仮想視点情報として記憶部２３に供給する。

さらに、変換部２１は、オブジェクトごとに、そのオブジェクトの範囲を示すオブジェクト範囲情報、そのオブジェクトに対応するカラー画像ＩＤとデプス画像ＩＤなどをオブジェクト情報として生成する。カラー画像ＩＤとは、カラー画像に固有のＩＤであり、デプス画像ＩＤとはデプス画像に固有のＩＤである。変換部２１は、各オブジェクトのオブジェクト情報を登録したオブジェクトテーブルを生成する。変換部２１は、オブジェクトテーブルを記憶部２３に供給する。

符号化部２２は、変換部２１から供給される各仮想カメラの各オブジェクトのカラー画像とデプス画像を符号化する。符号化方式としては、AVC（Advanced Video Coding）方式、HEVC（High Efficiency Video Coding）方式等を採用することができる。符号化部２２は、符号化の結果得られる符号化ストリームを記憶部２３に供給する。

記憶部２３は、変換部２１から供給される仮想視点情報およびオブジェクトテーブルと、符号化部２２から供給される符号化ストリームとを記憶する。

送信部２４は、記憶部２３に記憶されている仮想視点情報およびオブジェクトテーブルをメタデータとして読み出し、復号装置１３に伝送するとともに、符号化ストリームを読み出し、復号装置１３に伝送する。

復号装置１３は、受信部３１、復号部３２、再構成部３３、および描画部３４により構成される。復号装置１３には、表示装置１４を視聴するユーザから表示視点のワールド座標系における外部パラメータおよび内部パラメータが入力され、表示視点情報として描画部３４に供給される。

復号装置１３の受信部３１は、符号化装置１２の送信部２４から伝送されてくる仮想視点情報およびオブジェクトテーブルと符号化ストリームを受信する。受信部３１は、仮想視点情報およびオブジェクトテーブルを再構成部３３に供給し、符号化ストリームを復号部３２に供給する。

復号部３２は、受信部３１から供給される符号化ストリームを、符号化部２２における符号化方式に対応する方式で復号する。復号部３２は、その結果得られる各仮想カメラの各オブジェクトのカラー画像とデプス画像を再構成部３３に供給する。

再構成部３３（オブジェクト生成部）は、オブジェクトテーブル、各仮想カメラの各オブジェクトのカラー画像およびデプス画像、並びに仮想視点情報に基づいて、撮像装置１１の画像処理部と同様に、各オブジェクトの３Ｄデータを再構成（生成）する。再構成部３３は、各オブジェクトの３Ｄデータを描画部３４に供給する。

描画部３４は、表示視点情報と、再構成部３３から供給される各オブジェクトの３Ｄデータとに基づいて、変換部２１と同様に、表示視点において全てのオブジェクトを撮影したときに得られるカラー画像を表示画像として生成する。描画部３４は、表示画像を表示装置１４に供給する。

表示装置１４は、２次元ヘッドマウントディスプレイ（ＨＭＤ）や２次元モニタなどにより構成される。表示装置１４は、再構成部３３から供給される表示画像に基づいて表示画像を２次元表示する。

なお、表示装置１４は、３次元ヘッドマウントディスプレイや３次元モニタなどにより構成されてもよい。この場合、描画部３４は、表示視点情報と各オブジェクトの３Ｄデータとに基づいて、変換部２１と同様に、表示視点のデプス画像を生成し、表示装置１４に供給する。表示装置１４は、描画部３４から供給される表示画像とデプス画像に基づいて表示画像を３次元表示する。

また、図１の例では、再構成部３３は、３Ｄモデルに含まれる全てのオブジェクトの３Ｄデータを生成したが、３Ｄモデルに含まれる全てのオブジェクトのうちの、視聴者等により指定された所定のオブジェクトの３Ｄデータのみを生成するようにしてもよい。

（変換部の構成例）
図２は、図１の変換部２１の構成例を示すブロック図である。

図２の変換部２１は、オブジェクト決定部５１、視点決定部５２、カラー画像生成部５３、デプス画像生成部５４、オブジェクト範囲情報生成部５５、およびオブジェクトテーブル生成部５６により構成される。

変換部２１のオブジェクト決定部５１は、図１の撮像装置１１から供給される３Ｄデータに基づいて、フレームごとに、被写体の３Ｄモデルを１以上のオブジェクトに分割する。また、オブジェクト決定部５１は、オブジェクトごとに、そのオブジェクトに固有のＩＤであるオブジェクトＩＤを付与する。オブジェクト決定部５１は、フレームごとに、各オブジェクトの３ＤデータとオブジェクトＩＤを対応付けて、視点決定部５２、カラー画像生成部５３、およびデプス画像生成部５４に供給する。

視点決定部５２は、現在のフレームの１つ前のフレームの各オブジェクトの３ＤデータとオブジェクトＩＤを対応付けて保持している。また、視点決定部５２は、現在のフレームの１つ前のフレームの仮想視点情報を保持している。視点決定部５２は、フレームごとに、オブジェクト決定部５１から供給される各オブジェクトの３Ｄデータに基づいて、全てのオブジェクトの中から１つの主要なオブジェクトを選択する。そして、視点決定部５２は、オブジェクト決定部５１から供給される各オブジェクトの３ＤデータとオブジェクトＩＤの対応関係に基づいて、選択された主要なオブジェクトのオブジェクトＩＤを認識する。

視点決定部５２は、認識された主要なオブジェクトのオブジェクトＩＤと、保持している１つ前のフレームの各オブジェクトの３ＤデータとオブジェクトＩＤの対応関係とに基づいて、１つ前のフレームの主要なオブジェクトの３Ｄデータを読み出す。視点決定部５２は、読み出された１つ前のフレームの主要なオブジェクトの３Ｄデータおよび仮想視点情報と、現在のフレームの主要なオブジェクトの３Ｄデータとに基づいて、デプス画像生成部５４が生成する現在のフレームのデプス画像に対応する複数の仮想カメラの視点を決定する。

具体的には、視点決定部５２は、仮想カメラごとに、デプス画像生成部５４が生成する現在のフレームのデプス画像上の主要なオブジェクトの位置の時間変化が小さくなるように、１つ前のフレームの仮想カメラの視点を変更し、現在のフレームの仮想カメラの視点に決定する。

視点決定部５２は、決定された各視点の仮想カメラの仮想視点情報を生成し、カラー画像生成部５３、デプス画像生成部５４、および図１の記憶部２３に供給する。また、視点決定部５２は、現在のフレームの仮想視点情報を保持する。さらに、視点決定部５２は、各オブジェクトの３ＤデータとオブジェクトＩＤを対応付けて保持する。

カラー画像生成部５３は、オブジェクト決定部５１から供給される各オブジェクトの３Ｄデータと、視点決定部５２から供給される仮想視点情報とに基づいて、各オブジェクトに対して各仮想カメラのカラー画像を生成する。カラー画像生成部５３は、各仮想カメラの各オブジェクトのカラー画像を図１の符号化部２２に供給する。また、カラー画像生成部５３は、各カラー画像にカラー画像ＩＤを付与する。カラー画像生成部５３は、各仮想カメラの各オブジェクトのカラー画像のカラー画像ＩＤと、その仮想カメラのカメラＩＤ、および、そのオブジェクトのオブジェクトＩＤとを対応付けて、オブジェクトテーブル生成部５６に供給する。

デプス画像生成部５４は、オブジェクト決定部５１から供給される各オブジェクトの３Ｄデータと、視点決定部５２から供給される仮想視点情報とに基づいて、各オブジェクトに対して複数の各仮想カメラのデプス画像を生成する。

このデプス画像は、例えば、各画素に対応するオブジェクトと仮想カメラとの奥行き方向の距離ｚを量子化した値を、その画素の画素値とする画像である。また、距離ｚの量子化ステップは、デプス画像における距離ｚの範囲を、デプス画像の画素値のとり得る範囲で除算した値である。

デプス画像生成部５４は、オブジェクトごとにデプス画像を生成するため、デプス画像における距離ｚの範囲の大きさは、オブジェクト全体のデプス画像における距離ｚの範囲の大きさ以下になる。即ち、オブジェクトごとのデプス画像における距離ｚの範囲は、そのオブジェクトに適した範囲になる。従って、各オブジェクトのデプス画像の量子化ステップは、オブジェクト全体のデプス画像の量子化ステップに比べて小さくなる。よって、各オブジェクトのデプス画像の精度は、オブジェクト全体のデプス画像内の各オブジェクトの精度に比べて向上する。

デプス画像生成部５４は、各仮想カメラの各オブジェクトのデプス画像を図１の符号化部２２に供給する。また、デプス画像生成部５４は、各デプス画像にデプス画像ＩＤを付与する。デプス画像生成部５４は、各仮想カメラの各オブジェクトのデプス画像のデプス画像ＩＤと、その仮想カメラのカメラＩＤ、および、そのオブジェクトのオブジェクトＩＤとを対応付けて、オブジェクトテーブル生成部５６に供給する。

また、デプス画像生成部５４は、各デプス画像上のオブジェクトの２次元位置の範囲を示す２次元位置情報を生成する。さらに、デプス画像生成部５４は、各デプス画像の生成に用いられる距離ｚの範囲を示す距離ｚの最小値ｚminと最大値zmaxを生成する。デプス画像生成部５４は、各デプス画像の２次元位置情報、最小値ｚmin、および最大値zmaxを、そのデプス画像に対応するオブジェクトＩＤおよびカメラＩＤに対応付けて、オブジェクト範囲情報生成部５５に供給する。

オブジェクト範囲情報生成部５５は、オブジェクトＩＤおよびカメラＩＤごとに、デプス画像生成部５４から供給される２次元位置情報、最小値ｚmin、および最大値zmaxをオブジェクト範囲情報として生成し、オブジェクトテーブル生成部５６に供給する。

オブジェクトテーブル生成部５６は、オブジェクトＩＤおよびカメラＩＤに対応付けて、そのオブジェクトＩＤおよびカメラＩＤに対応するカラー画像ＩＤ、デプス画像ＩＤ、およびオブジェクト範囲情報を登録したテーブルを生成する。オブジェクトテーブル生成部５６は、生成されたテーブルを、オブジェクトに関するテーブルであるオブジェクトテーブルとして、図１の記憶部２３に供給する。

以上のように、変換部２１は、フレーム間のデプス画像上の主要なオブジェクトの位置の変動が小さくなるように、デプス画像の視点を変更する。従って、変換部２１は、主要なオブジェクトが動いている場合であっても、常に略同一の位置に主要なオブジェクトに対応する画素値が存在するデプス画像を生成することができる。その結果、符号化部２２によりデプス画像を符号化した際に符号化ストリームに含められる動きベクトルが小さくなり、デプス画像の圧縮率が向上する可能性がある。

（仮想カメラの視点の決定方法の説明）
図３は、図２の視点決定部５２による仮想カメラの視点の決定方法を説明する図である。

視点決定部５２は、オブジェクト決定部５１から供給される複数のオブジェクトの３Ｄデータに基づいて、複数のオブジェクトのうちの１つを主要なオブジェクトに決定する。具体的には、視点決定部５２は、複数のオブジェクトのうち、オブジェクトのバウンディングボックス（Bounding Box）が最も大きいものを、主要なオブジェクトに決定する。図３の例では、主要なオブジェクトはオブジェクト７１である。

次に、視点決定部５２は、オブジェクト決定部５１から供給されるオブジェクト７１の３Ｄデータに基づいて、ワールド座標系上に主要なオブジェクト７１を生成する。図３の例では、現在のフレームと１つ前のフレームの仮想カメラのＸ方向の画角は、角度θである。また、現在のフレームにおいて、１つ前のフレームの所定の仮想カメラのカメラ座標系のｘ方向（図中右方向）にオブジェクト７１が移動し、オブジェクト７１の重心７１Ａのワールド座標系における３次元位置ｓが３次元位置ｓ´に移動している。カメラ座標系とは、仮想カメラのワールド座標系における３次元位置を原点oとし、その仮想カメラに対する奥行き方向をz方向とするxyz座標である。

この場合、図３のＡに示すように、１つ前のフレームの原点oに存在する仮想カメラを、そのまま現在のフレームの仮想カメラとして用いると、その仮想カメラのデプス画像７２上のオブジェクト７１の位置ｐ１は、x方向に移動して位置ｐ１´になる。

そこで、視点決定部５２は、現在のフレームのオブジェクト７１の３Ｄデータに基づいて、オブジェクト７１の重心７１Ａをデプス画像７２上に投影する。また、視点決定部５２は、現在のフレームより１つ前のフレームのオブジェクト７１の３Ｄデータに基づいて、重心７１Ａをデプス画像７２上に投影する。そして、視点決定部５２は、デプス画像７２上の１つ前のフレームの重心７１Ａの位置ｐ１から、現在のフレームの重心７１Ａの位置ｐ１´へのｘ方向の並進移動量ｄを求める。そして、視点決定部５２は、現在のフレームのデプス画像の仮想カメラの視点を、原点oからｘ方向の逆方向に並進移動量ｄだけ移動した視点ａに決定することにより、オブジェクト７１のｘ方向への移動を打ち消す。

その結果、図３のＢに示すように、原点oを視点とするデプス画像７２上の重心７１Ａの位置ｐ２と、視点ａのデプス画像７３上の重心７１Ａの位置ｐ２´との差分は略０になる。視点決定部５２は、他の仮想カメラの視点についても同様に移動させる。

以上のように、視点決定部５２は、オブジェクト７１の動きに基づいて、その動きを打ち消すように仮想カメラの視点を移動させることにより、デプス画像上の重心７１Ａの位置の時間変化を小さくする。

（デプス画像生成部の構成例）
図４は、図２のデプス画像生成部５４の構成例を示すブロック図である。

図４のデプス画像生成部５４は、ｚ範囲算出部８１、２次元位置情報算出部８２、および画像生成部８３により構成される。図２のオブジェクト決定部５１から供給される各オブジェクトの３ＤデータおよびオブジェクトＩＤ、並びに視点決定部５２から供給される仮想視点情報は、ｚ範囲算出部８１、２次元位置情報算出部８２、および画像生成部８３に供給される。

デプス画像生成部５４のｚ範囲算出部８１は、各オブジェクトの３Ｄデータと仮想視点情報とに基づいて、各仮想カメラの各オブジェクトのデプス画像における最小値ｚminと最大値zmaxを算出する。ｚ範囲算出部８１は、各デプス画像における最小値ｚminと最大値zmaxを、そのデプス画像に対応するオブジェクトＩＤおよびカメラＩＤに対応付けて、図２のオブジェクト範囲情報生成部５５に供給する。また、ｚ範囲算出部８１は、オブジェクトおよび仮想カメラごとの最小値ｚminと最大値zmaxを画像生成部８３に供給する。

２次元位置情報算出部８２は、各オブジェクトの３Ｄデータと仮想視点情報とに基づいて、各仮想カメラの各オブジェクトのデプス画像上のオブジェクトの２次元位置情報を算出する。２次元位置情報算出部８２は、各デプス画像の２次元位置情報を、そのデプス画像に対応するオブジェクトＩＤおよびカメラＩＤに対応付けて、図２のオブジェクト範囲情報生成部５５に供給する。また、２次元位置情報算出部８２は、オブジェクトおよび仮想カメラごとの２次元位置情報を画像生成部８３に供給する。

画像生成部８３は、各オブジェクトの３Ｄデータと仮想視点情報とに基づいて、オブジェクトおよび仮想カメラごとに、２次元位置情報算出部８２から供給される２次元位置情報が示す範囲の各画素に投影されるオブジェクトの距離ｚを算出する。画像生成部８３は、オブジェクトおよび仮想カメラごとに、ｚ範囲算出部８１から供給される最小値ｚminと最大値zmaxに基づいて各画素の距離ｚを量子化し、画素値を生成する。画像生成部８３は、オブジェクトおよび仮想カメラごとに、デプス画像の２次元位置情報が示す範囲の各画素の画素値を、生成された画素値とし、他の画素の画素値を任意の固定値としたデプス画像を生成し、図１の符号化部２２に供給する。

また、画像生成部８３は、各デプス画像にデプス画像ＩＤを付与する。そして、画像生成部８３は、各仮想カメラの各オブジェクトのデプス画像のデプス画像ＩＤと、その仮想カメラのカメラＩＤ、および、そのオブジェクトのオブジェクトＩＤとを対応付けて、図２のオブジェクトテーブル生成部５６に供給する。

（所定の仮想カメラの各オブジェクトのデプス画像の説明）
図５は、図２のデプス画像生成部５４により生成される所定の仮想カメラの各オブジェクトのデプス画像を説明する図である。

図５の例では、被写体の３Ｄモデル９０が３つのオブジェクト９１乃至９３に分割されている。また、所定の仮想カメラの３Ｄモデル９０全体のカラー画像は、カラー画像１００である。

この場合、デプス画像生成部５４は、オブジェクト９１の３Ｄデータと仮想視点情報に基づいて、カラー画像１００上のオブジェクト９１の領域に対応する領域の画素値が、オブジェクト９１の距離ｚを表す所定のサイズ（解像度）のデプス画像１０１を生成する。デプス画像１０１のオブジェクト９１の距離ｚを画素値が表す画素以外の画素の画素値は、任意の固定値（図５の例では０）である。

同様に、デプス画像生成部５４は、オブジェクト９２の３Ｄデータと仮想視点情報に基づいて所定のサイズのデプス画像１０２を生成し、オブジェクト９３の３Ｄデータと仮想視点情報に基づいて所定のサイズのデプス画像１０３を生成する。

なお、デプス画像のサイズは、オブジェクトごとに異なるようにしてもよい。この場合、例えば、デプス画像生成部５４は、カラー画像１００上のオブジェクト９１の領域に対応する領域の画素値が、オブジェクト９１の距離ｚを表す、その領域を含む矩形の最小サイズのデプス画像１１１を生成する。同様に、デプス画像生成部５４は、カラー画像１００上のオブジェクト９１の領域に対応する領域を含む矩形の最小サイズのデプス画像１１２、および、カラー画像１００上のオブジェクト９１の領域に対応する領域を含む矩形の最小サイズのデプス画像１１３を生成する。

この場合、３Ｄモデル全体のデプス画像を生成する場合に比べて、デプス画像のデータ量を削減することができる。従って、符号化装置１２は、デプス画像の伝送量を削減することができる。

（２次元位置情報の説明）
図６は、図２のデプス画像生成部５４により生成される２次元位置情報を説明する図である。

図６に示すように、デプス画像１３０の２次元位置情報は、デプス画像１３０上のオブジェクト１３１のuv座標系のu座標の最小値uminおよび最大値umax、並びに、ｖ座標系の最小値vminおよび最大値vmaxである。uv座標系とは、デプス画像の右上を原点ｏとし、左方向をｖ方向、下方向をｕ方向とした２次元座標系である。

（最小値ｚminと最大値zmaxの説明）
図７は、最小値ｚminと最大値zmaxを説明する図である。

図７に示すように、オブジェクト１５１の所定の仮想カメラのデプス画像の画素値の量子化に用いられる最小値ｚminと最大値zmaxは、その仮想カメラのカメラ座標系におけるオブジェクト１５１のｚ座標の最小値と最大値である。

（オブジェクトテーブルの第１の例）
図８は、図２のオブジェクトテーブル生成部５６により生成されるオブジェクトテーブルの例を示す図である。

図８に示すように、オブジェクトテーブルでは、カメラＩＤおよびオブジェクトＩＤに対応付けて、デプス画像ＩＤ、カラー画像ＩＤ、およびオブジェクト範囲情報が登録される。

図８の例では、カラー画像およびデプス画像の仮想カメラの数は２つであり、２つの仮想カメラのカメラＩＤは、それぞれ、０，１である。また、オブジェクトの数は３つであり、３つのオブジェクトのオブジェクトＩＤは、それぞれ、０，１，２である。従って、カラー画像およびデプス画像の数は、それぞれ、６（＝２×３）である。

また、カメラＩＤが０である仮想カメラの、オブジェクトＩＤが０，１，２であるオブジェクトのデプス画像のデプス画像ＩＤとカラー画像のカラー画像ＩＤは、０，１，２である。さらに、カメラＩＤが１である仮想カメラの、オブジェクトＩＤが０，１，２であるオブジェクトのデプス画像のデプス画像ＩＤとカラー画像のカラー画像ＩＤは、３，４，５である。

復号装置１３は、オブジェクトテーブルに登録された各オブジェクト範囲情報と仮想視点情報とに基づいて、各仮想カメラのカメラ座標系における各オブジェクトを含む３次元領域を認識することができる。従って、復号装置１３は、仮想視点情報と各仮想カメラのカメラ座標系における各オブジェクトを含む３次元領域とに基づいて、ワールド座標系における各オブジェクトを含む３次元領域を認識することができる。

よって、復号装置１３は、オブジェクトごとに、そのオブジェクトの各仮想カメラのデプス画像とカラー画像を用いて、認識されたワールド座標系における３次元領域を処理領域としてオブジェクトを再構成することができる。従って、ワールド座標系における仮想カメラの撮影領域全体を処理領域としてオブジェクトを再構成する場合に比べて、オブジェクトを容易に再構成することができる。

また、復号装置１３は、オブジェクトテーブルに各デプス画像ＩＤに対応付けて登録された最小値zminと最大値zmaxに基づいて、そのデプス画像ＩＤのデプス画像の画素値を距離ｚに逆量子化することができる。

（画像処理システムの処理の説明）
図９は、図１の符号化装置１２の符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮像装置１１からフレーム単位で３Ｄデータが供給されたとき、開始される。

図９のステップＳ１１において、符号化装置１２の変換部２１のオブジェクト決定部５１（図２）は、撮像装置１１から供給される３Ｄデータに基づいて、被写体の３Ｄモデルを１以上のオブジェクトに分割する。また、オブジェクト決定部５１は、各オブジェクトにオブジェクトＩＤを付与する。オブジェクト決定部５１は、各オブジェクトの３ＤデータとオブジェクトＩＤを、視点決定部５２、カラー画像生成部５３、およびデプス画像生成部５４に供給する。

ステップＳ１２において、視点決定部５２は、オブジェクト決定部５１から供給される各オブジェクトの３Ｄデータに基づいて、全てのオブジェクトの中から１つの主要なオブジェクトを選択する主要オブジェクト選択処理を行う。この主要オブジェクト選択処理の詳細は、後述する図１０を参照して説明する。

ステップＳ１３において、視点決定部５２は、生成するカラー画像およびデプス画像に対応する各仮想カメラの視点を決定する視点決定処理を行う。この視点決定処理の詳細は、後述する図１１を参照して説明する。

ステップＳ１４において、カラー画像生成部５３は、オブジェクト決定部５１から供給される各オブジェクトの３Ｄデータと、視点決定部５２から供給される仮想視点情報とに基づいて、各オブジェクトに対して各仮想カメラのカラー画像を生成する。カラー画像生成部５３は、各仮想カメラの各オブジェクトのカラー画像を図１の符号化部２２に供給する。また、カラー画像生成部５３は、各カラー画像にカラー画像ＩＤを付与する。カラー画像生成部５３は、各仮想カメラの各オブジェクトのカラー画像のカラー画像ＩＤと、その仮想カメラのカメラＩＤ、および、そのオブジェクトのオブジェクトＩＤとを対応付けて、オブジェクトテーブル生成部５６に供給する。

ステップＳ１５において、デプス画像生成部５４のｚ範囲算出部８１（図４）は、各オブジェクトの３Ｄデータと仮想視点情報とに基づいて、各仮想カメラの各オブジェクトのデプス画像における最小値ｚminと最大値zmaxを算出する。ｚ範囲算出部８１は、各デプス画像における最小値ｚminと最大値zmaxを、そのデプス画像に対応するオブジェクトＩＤおよびカメラＩＤに対応付けて、オブジェクト範囲情報生成部５５に供給する。また、ｚ範囲算出部８１は、オブジェクトおよび仮想カメラごとの最小値ｚminと最大値zmaxを画像生成部８３に供給する。

ステップＳ１６において、２次元位置情報算出部８２は、各オブジェクトの３Ｄデータと仮想視点情報とに基づいて、各仮想カメラの各オブジェクトのデプス画像上のオブジェクトの２次元位置情報を算出する。２次元位置情報算出部８２は、各デプス画像の２次元位置情報を、そのデプス画像に対応するオブジェクトＩＤおよびカメラＩＤに対応付けて、オブジェクト範囲情報生成部５５に供給する。また、２次元位置情報算出部８２は、オブジェクトおよび仮想カメラごとの２次元位置情報を画像生成部８３に供給する。

ステップＳ１７において、画像生成部８３は、各オブジェクトの３Ｄデータ、仮想視点情報、並びに、オブジェクトおよび仮想カメラごとの最小値ｚmin、最大値zmax、および２次元位置情報に基づいて、各仮想カメラの各オブジェクトのデプス画像を生成する。画像生成部８３は、各仮想カメラの各オブジェクトのデプス画像を符号化部２２に供給する。また、画像生成部８３は、各デプス画像にデプス画像ＩＤを付与する。そして、画像生成部８３は、各仮想カメラの各オブジェクトのデプス画像のデプス画像ＩＤと、その仮想カメラのカメラＩＤ、および、そのオブジェクトのオブジェクトＩＤとを対応付けて、オブジェクトテーブル生成部５６に供給する。

ステップＳ１８において、オブジェクト範囲情報生成部５５は、オブジェクトＩＤおよびカメラＩＤごとに、２次元位置情報、最小値ｚmin、および最大値zmaxをオブジェクト範囲情報として生成し、オブジェクトテーブル生成部５６に供給する。

ステップＳ１９において、オブジェクトテーブル生成部５６は、オブジェクトＩＤおよびカメラＩＤに対応付けて、そのオブジェクトＩＤとカメラＩＤに対応するカラー画像ＩＤ、デプス画像ＩＤ、およびオブジェクト範囲情報を登録したオブジェクトテーブルを生成する。オブジェクトテーブル生成部５６は、オブジェクトテーブルを記憶部２３に供給する。

ステップＳ２０において、符号化部２２は、各仮想カメラの各オブジェクトのカラー画像とデプス画像を符号化する。符号化部２２は、符号化の結果得られる符号化ストリームを記憶部２３に供給する。

ステップＳ２１において、記憶部２３は、仮想視点情報、オブジェクトテーブル、および符号化ストリームを記憶する。

ステップＳ２２において、送信部２４は、記憶部２３に記憶されている仮想視点情報、オブジェクトテーブル、および符号化ストリームを読み出し、復号装置１３に伝送する。そして、処理は終了する。

図１０は、図９のステップＳ１２の主要オブジェクト選択処理の詳細を説明するフローチャートである。

図１０のステップＳ３０において、視点決定部５２は、オブジェクト決定部５１から各オブジェクトの３ＤデータおよびオブジェクトＩＤを取得する。ステップＳ３１において、視点決定部５２は、カウント値Ｐを０に設定する。

ステップＳ３２において、視点決定部５２は、オブジェクト決定部５１から取得されたオブジェクトＩＤがカウント値Ｐであるオブジェクトの３Ｄデータに基づいて、そのオブジェクトのバウンディングボックスをワールド座標系上に作成する。

ステップＳ３３において、視点決定部５２は、ステップＳ３２で作成されたバウンディングボックスのサイズが、最大値MaxSizeより大きいかどうかを判定する。なお、最大値MaxSizeの初期値は０である。従って、まだステップＳ３４の処理が行われていない場合、ステップＳ３３の処理では、ステップＳ３２で作成されたバウンディングボックスのサイズが最大値MaxSizeより大きいと判定される。

ステップＳ３３で、ステップＳ３２で作成されたバウンディングボックスのサイズが、最大値MaxSizeより大きいと判定された場合、処理はステップＳ３４に進む。

ステップＳ３４において、視点決定部５２は、ステップＳ３２で作成されたオブジェクトＩＤがカウント値Ｐであるオブジェクトのバウンディングボックスのサイズを最大値MaxSizeに設定する。

ステップＳ３５において、視点決定部５２は、主要なオブジェクトをオブジェクトＩＤがカウント値Ｐであるオブジェクトに設定し、処理をステップＳ３６に進める。

一方、ステップＳ３３で、ステップＳ３２で作成されたバウンディングボックスのサイズが、最大値MaxSizeより大きくはないと判定された場合、処理はステップＳ３６に進む。

ステップＳ３６において、視点決定部５２は、カウント値ＰがオブジェクトＩＤの最大値であるかどうかを判定する。ステップＳ３６でカウント値ＰがオブジェクトＩＤの最大値ではないと判定された場合、即ちまだ全てのオブジェクトに対してステップＳ３２乃至Ｓ３５の処理が行われていない場合、処理はステップＳ３７に進む。

ステップＳ３７において、視点決定部５２は、カウント値Ｐを１だけインクリメントし、処理をステップＳ３２に戻す。これにより、カウント値ＰがオブジェクトＩＤの最大値になるまで、ステップＳ３２乃至Ｓ３７の処理が繰り返される。

一方、ステップＳ３６でカウント値ＰがオブジェクトＩＤの最大値であると判定された場合、即ち全てのオブジェクトに対してステップＳ３２乃至Ｓ３５の処理が行われた場合、視点決定部５２は、現在主要なオブジェクトに設定されているオブジェクトを、最終的な主要なオブジェクトとして選択する。そして、処理は図９のステップＳ１２に戻り、ステップＳ１３に進む。

図１１は、図９のステップＳ１３の視点決定処理の詳細を説明するフローチャートである。この視点決定処理は、例えば、仮想カメラごとに行われる。

図１１のステップＳ５１において、視点決定部５２は、保持している１つ前のフレームの主要なオブジェクトの３Ｄデータに基づいて、１つ前のフレームの主要なオブジェクトの重心のワールド座標系における３次元位置を算出する。また、視点決定部５２は、オブジェクト決定部５１から供給された現在のフレーム（処理対象のフレーム）の主要なオブジェクトの３Ｄデータに基づいて、現在のフレームの主要なオブジェクトの重心のワールド座標系における３次元位置を算出する。

ステップＳ５２において、視点決定部５２は、ステップＳ５１で算出された３次元位置と、保持している１つ前のフレームの仮想視点情報とに基づいて、１つ前のフレームと現在のフレームの主要なオブジェクトの重心が投影される、処理対象の仮想カメラのデプス画像上の位置を算出する。

ステップＳ５３において、視点決定部５２は、ステップＳ５２で算出された１つ前のフレームの重心の位置から現在のフレームの重心の位置までの移動量だけ、１つ前のフレームの処理対象の仮想カメラの視点を移動させることにより、現在のフレームの処理対象の仮想カメラの視点を決定する。

ステップＳ５４において、視点決定部５２は、ステップＳ５３で決定された視点の仮想カメラの外部パラメータ、内部パラメータ、およびカメラＩＤを生成し、カラー画像生成部５３、デプス画像生成部５４、および記憶部２３に供給する。

ステップＳ５５において、視点決定部５２は、ステップＳ５４で生成された外部パラメータ、内部パラメータ、およびカメラＩＤを保持する。そして、処理は図９のステップＳ１３に戻り、ステップＳ１４に進む。

図１２は、図１の復号装置１３の復号処理を説明するフローチャートである。この復号処理は、例えば、符号化装置１２の送信部２４から、フレーム単位で、符号化ストリーム、仮想視点情報、およびオブジェクトテーブルが伝送されてきたとき、開始される。

図１２のステップＳ７１において、復号装置１３の受信部３１は、符号化装置１２の送信部２４から伝送されてくる仮想視点情報、オブジェクトテーブル、および符号化ストリームを受信する。受信部３１は、仮想視点情報およびオブジェクトテーブルを再構成部３３に供給し、符号化ストリームを復号部３２に供給する。

ステップＳ７２において、復号部３２は、受信部３１から供給される符号化ストリームを、符号化部２２における符号化方式に対応する方式で復号する。復号部３２は、その結果得られる各仮想カメラの各オブジェクトのカラー画像とデプス画像を再構成部３３に供給する。

ステップＳ７３において、再構成部３３は、受信部３１から供給されるオブジェクトテーブルの最小値zminと最大値zmaxに基づいて、復号部３２から供給される各デプス画像の画素値を逆量子化し、距離ｚを得る。

ステップＳ７４において、再構成部３３は、オブジェクトごとに、オブジェクトテーブルと仮想視点情報に基づいて、そのオブジェクトを含むワールド座標系における３次元領域を認識する。

ステップＳ７５において、再構成部３３は、オブジェクトごとに、そのオブジェクトのデプス画像の各画素に対応する距離ｚおよびカラー画像、並びに仮想視点情報に基づいて、ステップＳ７４で認識された３次元領域にオブジェクトを再構成する。再構成部３３は、再構成された各オブジェクトの３Ｄデータを描画部３４に供給する。

ステップＳ７６において、描画部３４は、表示視点情報と、再構成部３３から供給される各オブジェクトの３Ｄデータとに基づいて、変換部２１と同様に、表示視点において全てのオブジェクトを撮影したときに得られるカラー画像を表示画像として生成する。描画部３４は、表示画像を表示装置１４に供給する。

以上のように、符号化装置１２は、オブジェクトごとにデプス画像を生成する。従って、各デプス画像における距離ｚの範囲が、３Ｄモデル全体のデプス画像における距離ｚの範囲以下になる。よって、３Ｄモデルのデプス画像の精度が、３Ｄモデル全体のデプス画像を生成する場合に比べて向上する。

また、符号化装置１２は、各オブジェクトのオブジェクト範囲情報を生成する。従って、復号装置１３は、オブジェクトごとに、そのオブジェクトのオブジェクト範囲情報と仮想視点情報に基づいて、ワールド座標系におけるオブジェクトを含む３次元領域を認識することができる。よって、復号装置１３は、オブジェクトごとに、そのオブジェクトを含む３次元領域を処理領域として、そのオブジェクトを再構成することができる。これにより、処理領域がワールド座標系の仮想カメラの撮影領域全体である場合に比べて、オブジェクトを再構成する処理の負荷が軽減される。

＜第２実施の形態＞
（変換部の構成例）
本開示を適用した画像処理システムの第２実施の形態の構成は、変換部２１の構成、および、オブジェクトテーブルの構成を除いて、図１の画像処理システム１０の構成と同一である。従って、以下では、変換部２１以外の説明については適宜省略する。

図１３は、本開示を適用した画像処理システムの第２実施の形態における変換部２１の構成例を示すブロック図である。

図１３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１３の変換部２１の構成は、視点決定部５２、デプス画像生成部５４、オブジェクト範囲情報生成部５５、オブジェクトテーブル生成部５６の代わりに、視点決定部１７０、デプス画像生成部１７１、オブジェクト範囲情報生成部１７２、オブジェクトテーブル生成部１７３が設けられる点が、図２の構成と異なる。図１３の変換部２１は、各オブジェクトのバウンディングボックスのワールド座標系における範囲を示す情報をオブジェクト範囲情報として生成する。

具体的には、図１３の変換部２１の視点決定部１７０は、図２の視点決定部５２と同様に、図１０の主要オブジェクト選択処理と図１１の視点決定処理を行う。視点決定部１７０は、図１０のステップＳ３２の処理によりワールド座標系上に作成された各オブジェクトのバウンディングボックスのＸ座標、Ｙ座標、およびＺ座標それぞれの最小値と最大値と、そのオブジェクトのオブジェクトＩＤを対応付けて、オブジェクト範囲情報生成部１７２に供給する。

デプス画像生成部１７１は、オブジェクト決定部５１から供給される各オブジェクトの３Ｄデータと、視点決定部５２から供給される仮想視点情報とに基づいて、各オブジェクトに対して各仮想カメラのデプス画像を生成する。デプス画像生成部１７１は、各仮想カメラの各オブジェクトのデプス画像を図１の符号化部２２に供給する。また、デプス画像生成部１７１は、各デプス画像にデプス画像ＩＤを付与する。デプス画像生成部１７１は、各仮想カメラの各オブジェクトのデプス画像のデプス画像ＩＤと、その仮想カメラのカメラＩＤ、および、そのオブジェクトのオブジェクトＩＤとを対応付けて、オブジェクトテーブル生成部１７３に供給する。

オブジェクト範囲情報生成部１７２は、視点決定部１７０から供給される各オブジェクトのＸ座標の最小値Xminと最大値Xmax、Ｙ座標の最小値Yminと最大値Ymax、およびＺ座標の最小値Zminと最大値Zmaxを、各オブジェクトのオブジェクト範囲情報として生成する。オブジェクト範囲情報生成部１７２は、各オブジェクトのオブジェクト範囲情報と、そのオブジェクトのオブジェクトＩＤを対応付けて、オブジェクトテーブル生成部１７３に供給する。

オブジェクトテーブル生成部１７３は、オブジェクトＩＤおよびカメラＩＤに対応付けて、そのオブジェクトＩＤおよびカメラＩＤに対応するカラー画像ＩＤとデプス画像ＩＤを登録したＩＤテーブルを生成する。また、オブジェクトテーブル生成部１７３は、オブジェクト範囲情報生成部１７２から供給されるオブジェクトＩＤとオブジェクト範囲情報を対応付けて登録した範囲テーブルを生成する。オブジェクトテーブル生成部１７３は、ＩＤテーブルと範囲テーブルをオブジェクトテーブルとして、図１の記憶部２３に供給する。

（オブジェクトのバウンディングボックスの例）
図１４は、図１３の視点決定部１７０により生成されるオブジェクトのバウンディングボックスの例を示す図である。

図１４に示すように、オブジェクト１９１のバウンディングボックス１９２は、オブジェクトに接するように生成された、例えば、Ｘ方向、Ｙ方向、およびＺ方向のそれぞれに平行な２辺を有する直方体（立方体を含む）である。バウンディングボックス１９２のＸ座標の最小値Xminと最大値Xmax、Ｙ座標の最小値Yminと最大値Ymax、およびＺ座標の最小値Zminと最大値Zmaxは、オブジェクト１９１のオブジェクト範囲情報とされる。

（オブジェクトテーブルの例）
図１５は、図１３のオブジェクトテーブル生成部１７３により生成されるオブジェクトテーブルの例を示す図である。

なお、図１５の例のカメラＩＤ、オブジェクトＩＤ、デプス画像ＩＤ、およびカラー画像ＩＤは、図８の例と同一である。

図１５に示すように、オブジェクトテーブル生成部１７３により生成されるオブジェクトテーブルは、図１５のＡのＩＤテーブルと、図１５のＢの範囲テーブルとから構成される。

図１５のＡのＩＤテーブルは、オブジェクト範囲情報が登録されない点を除いて、図８のオブジェクトテーブルと同様である。即ち、図１５のＡのＩＤテーブルには、カメラＩＤおよびオブジェクトＩＤに対応付けて、デプス画像ＩＤとカラー画像ＩＤが登録される。

図１５のＢの範囲テーブルには、オブジェクトＩＤに対応付けて、そのオブジェクトＩＤのオブジェクトのバウンディングボックスの最小値Xminと最大値Xmax、最小値Yminと最大値Ymax、および最小値Zminと最大値Zmaxが、オブジェクト範囲情報として登録される。

復号装置１３は、範囲テーブルに登録された各オブジェクト範囲情報に基づいて、ワールド座標系における各オブジェクトのバウンディングボックスの３次元領域を認識することができる。また、復号装置１３は、ＩＤテーブルに各オブジェクトＩＤに対応付けて登録されたカラー画像ＩＤとデプス画像ＩＤに基づいて、各オブジェクトのカラー画像とデプス画像を認識することができる。

従って、復号装置１３は、オブジェクトごとに、そのオブジェクトのデプス画像とカラー画像を用いて、認識されたワールド座標系における３次元領域を処理領域としてオブジェクトを再構成することができる。よって、ワールド座標系における仮想カメラの撮影領域全体を処理領域としてオブジェクトを再構成する場合に比べて、オブジェクトを容易に再構成することができる。

また、復号装置１３は、範囲テーブルに登録された各オブジェクト範囲情報と仮想視点情報とに基づいて、各デプス画像における距離ｚの最小値zminと最大値zmaxを算出することができる。従って、復号装置１３は、デプス画像ごとに、算出された最小値zminと最大値zmaxに基づいて、デプス画像の画素値を距離ｚに逆量子化することができる。

（画像処理システムの処理の説明）
図１６は、本開示を適用した画像処理システムの第２実施の形態における符号化装置１２の符号化処理を説明するフローチャートである。この符号化処理は、例えば、撮像装置１１からフレーム単位で３Ｄデータが供給されたとき、開始される。

図１６のステップＳ９１乃至Ｓ９４の処理は、図９のステップＳ１１乃至Ｓ１４の処理と同様であるので、説明は省略する。

ステップＳ９５において、デプス画像生成部１７１は、オブジェクト決定部５１から供給される各オブジェクトの３Ｄデータと、視点決定部５２から供給される仮想視点情報とに基づいて、各オブジェクトに対して各仮想カメラのデプス画像を生成する。デプス画像生成部１７１は、各仮想カメラの各オブジェクトのデプス画像を符号化部２２に供給する。また、デプス画像生成部１７１は、各デプス画像にデプス画像ＩＤを付与する。デプス画像生成部１７１は、各仮想カメラの各オブジェクトのデプス画像のデプス画像ＩＤと、その仮想カメラのカメラＩＤ、および、そのオブジェクトのオブジェクトＩＤとを対応付けて、オブジェクトテーブル生成部１７３に供給する。

ステップＳ９６において、オブジェクト範囲情報生成部１７２は、ステップＳ９２に処理により作成された各オブジェクトのバウンディングボックスの最小値Xminと最大値Xmax、最小値Yminと最大値Ymax、および最小値Zminと最大値Zmaxを、各オブジェクトのオブジェクト範囲情報として生成する。オブジェクト範囲情報生成部１７２は、各オブジェクトのオブジェクト範囲情報と、そのオブジェクトのオブジェクトＩＤを対応付けて、オブジェクトテーブル生成部１７３に供給する。

ステップＳ９７において、オブジェクトテーブル生成部１７３は、ＩＤテーブルと範囲テーブルをオブジェクトテーブルとして生成し、記憶部２３に供給する。

ステップＳ９８乃至Ｓ１００の処理は、図９のステップＳ２０乃至Ｓ２２の処理と同様であるので、説明は省略する。

なお、第１および第２実施の形態では、全てのオブジェクトに対して同一の仮想視点情報が決定されたが、オブジェクトごとに仮想視点情報が決定されるようにしてもよい。この場合、視点決定部５２は、オブジェクトごとに、そのオブジェクトの現在のフレームの３Ｄデータと、１つ前のフレームの３Ｄデータおよび仮想視点情報とに基づいて、各視点のデプス画像上のオブジェクトの位置の時間変化が小さくなるように、現在のフレームのデプス画像の視点を決定する。

また、視点決定部５２は、複数のオブジェクトのうち、オブジェクトを構成するポリゴンの面（face）数が最も多いものを主要なオブジェクトに決定するようにしてもよい。

＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。

入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。

以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

＜応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１８に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１８では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図１９は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１９には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１８に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１８の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１８に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、図１乃至図１６を用いて説明した本実施形態に係る画像処理システム１０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００において、図１乃至図１６を用いて説明した本実施形態に係る画像処理システム１０は、図１８に示した応用例の車両制御システム７０００に適用することができる。例えば、画像処理システム１０の撮像装置１１は、撮像部７４１０に相当し、符号化装置１２と復号装置１３は一体化されて、統合制御ユニット７６００のマイクロコンピュータ７６１０と記憶部７６９０に相当し、表示装置１４は、表示部７７２０に相当する。

また、図１乃至図１６を用いて説明した画像処理システム１０の少なくとも一部の構成要素は、図１８に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１乃至図１６を用いて説明した画像処理システム１０が、図１８に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本開示は、以下のような構成もとることができる。

（１）
３Ｄモデルに含まれる各オブジェクトに対して複数の視点のデプス画像を生成するデプス画像生成部
を備える画像処理装置。
（２）
前記デプス画像上の前記オブジェクトの範囲と、前記デプス画像に対応する視点と前記オブジェクトとの奥行き方向の距離の範囲とを示すオブジェクト範囲情報を生成するオブジェクト範囲情報生成部
をさらに備える
前記（１）に記載の画像処理装置。
（３）
３Ｄ座標系における前記オブジェクトの範囲を示すオブジェクト範囲情報を生成するオブジェクト範囲情報生成部
をさらに備える
前記（１）に記載の画像処理装置。
（４）
時系列の前記３Ｄモデルに基づいて、各視点の前記デプス画像上の所定のオブジェクトの位置の時間変化が小さくなるように、前記複数の視点を決定する視点決定部
をさらに備える
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記オブジェクトごとに、時系列の前記オブジェクトに基づいて、各視点の前記デプス画像上の前記オブジェクトの位置の時間変化が小さくなるように、前記複数の視点を決定する視点決定部
をさらに備える
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（６）
画像処理装置が、
３Ｄモデルに含まれる各オブジェクトに対して複数の視点のデプス画像を生成するデプス画像生成ステップ
を含む画像処理方法。
（７）
３Ｄモデルに含まれるオブジェクトに対する複数の視点のデプス画像に基づいて、前記オブジェクトを生成するオブジェクト生成部
を備える画像処理装置。
（８）
前記オブジェクト生成部は、前記デプス画像上の前記オブジェクトの範囲と、前記デプス画像に対応する視点と前記オブジェクトとの奥行き方向の距離の範囲とを示すオブジェクト範囲情報に基づいて、前記オブジェクトを生成する
ように構成された
前記（７）に記載の画像処理装置。
（９）
前記オブジェクト生成部は、３Ｄ座標系における前記オブジェクトの範囲を示すオブジェクト範囲情報に基づいて、前記オブジェクトを生成する
前記（７）に記載の画像処理装置。
（１０）
前記複数の視点は、時系列の前記３Ｄモデルに基づいて、各視点の前記デプス画像上の前記３Ｄモデルに含まれる所定のオブジェクトの位置の時間変化が小さくなるように決定される
ように構成された
前記（７）乃至（９）のいずれかに記載の画像処理装置。
（１１）
前記複数の視点は、時系列の前記オブジェクトに基づいて、各視点の前記デプス画像上の前記オブジェクトの位置の時間変化が小さくなるように決定される
ように構成された
前記（７）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記オブジェクトは、前記３Ｄモデルに含まれる全てのオブジェクトのうちの所定のオブジェクトである
ように構成された
前記（７）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
画像処理装置が、
３Ｄモデルに含まれるオブジェクトに対する複数の視点のデプス画像に基づいて、前記オブジェクトを生成するオブジェクト生成ステップ
を含む画像処理方法。

１２ 符号化装置, １３ 復号装置, ３３ 再構成部, ５２ 視点決定部, ５４ デプス画像生成部, ５５ オブジェクト範囲情報生成部, ９０ ３Ｄモデル, ９１乃至９３ オブジェクト, １０１乃至１０３ デプス画像， １７０ 視点決定部, １７２ オブジェクト範囲情報生成部

Claims (13)

1. ３Ｄモデルに含まれる各オブジェクトに対して複数の視点のデプス画像を生成するデプス画像生成部と、
   前記デプス画像上の前記オブジェクトの範囲と、前記デプス画像に対応する視点と前記オブジェクトとの奥行き方向の距離の範囲とを示すオブジェクト範囲情報を生成するオブジェクト範囲情報生成部と
   を備える画像処理装置。
2. 画像処理装置が、
   ３Ｄモデルに含まれる各オブジェクトに対して複数の視点のデプス画像を生成するデプス画像生成ステップと、
   前記デプス画像上の前記オブジェクトの範囲と、前記デプス画像に対応する視点と前記オブジェクトとの奥行き方向の距離の範囲とを示すオブジェクト範囲情報を生成するオブジェクト範囲情報生成ステップと
   を含む画像処理方法。
3. ３Ｄモデルに含まれる各オブジェクトに対して複数の視点のデプス画像を生成するデプス画像生成部と、
   時系列の前記３Ｄモデルに基づいて、各視点の前記デプス画像上の所定のオブジェクトの位置の時間変化が小さくなるように、前記複数の視点を決定する視点決定部と
   を備える画像処理装置。
4. 画像処理装置が、
   ３Ｄモデルに含まれる各オブジェクトに対して複数の視点のデプス画像を生成するデプス画像生成ステップと、
   時系列の前記３Ｄモデルに基づいて、各視点の前記デプス画像上の所定のオブジェクトの位置の時間変化が小さくなるように、前記複数の視点を決定する視点決定ステップと
   を含む画像処理方法。
5. ３Ｄモデルに含まれる各オブジェクトに対して複数の視点のデプス画像を生成するデプス画像生成部と、
   前記オブジェクトごとに、時系列の前記オブジェクトに基づいて、各視点の前記デプス画像上の前記オブジェクトの位置の時間変化が小さくなるように、前記複数の視点を決定する視点決定部と
   を備える画像処理装置。
6. 画像処理装置が、
   ３Ｄモデルに含まれる各オブジェクトに対して複数の視点のデプス画像を生成するデプス画像生成ステップと、
   前記オブジェクトごとに、時系列の前記オブジェクトに基づいて、各視点の前記デプス画像上の前記オブジェクトの位置の時間変化が小さくなるように、前記複数の視点を決定する視点決定ステップと
   を含む画像処理方法。
7. ３Ｄモデルに含まれるオブジェクトに対する複数の視点のデプス画像に基づいて、前記オブジェクトを生成するオブジェクト生成部
   を備え、
   前記オブジェクト生成部は、前記デプス画像上の前記オブジェクトの範囲と、前記デプス画像に対応する視点と前記オブジェクトとの奥行き方向の距離の範囲とを示すオブジェクト範囲情報に基づいて、前記オブジェクトを生成する
   ように構成された
   画像処理装置。
8. ３Ｄモデルに含まれるオブジェクトに対する複数の視点のデプス画像に基づいて、前記オブジェクトを生成するオブジェクト生成部
   を備え、
   前記複数の視点は、時系列の前記３Ｄモデルに基づいて、各視点の前記デプス画像上の前記３Ｄモデルに含まれる所定のオブジェクトの位置の時間変化が小さくなるように決定される
   ように構成された
   画像処理装置。
9. ３Ｄモデルに含まれるオブジェクトに対する複数の視点のデプス画像に基づいて、前記オブジェクトを生成するオブジェクト生成部
   を備え、
   前記複数の視点は、時系列の前記オブジェクトに基づいて、各視点の前記デプス画像上の前記オブジェクトの位置の時間変化が小さくなるように決定される
   ように構成された
   画像処理装置。
10. 前記オブジェクトは、前記３Ｄモデルに含まれる全てのオブジェクトのうちの所定のオブジェクトである
    ように構成された
    請求項７乃至９のいずれかに記載の画像処理装置。
11. 画像処理装置が、
    ３Ｄモデルに含まれるオブジェクトに対する複数の視点のデプス画像に基づいて、前記オブジェクトを生成するオブジェクト生成ステップ
    を含み、
    前記オブジェクト生成ステップの処理では、前記デプス画像上の前記オブジェクトの範囲と、前記デプス画像に対応する視点と前記オブジェクトとの奥行き方向の距離の範囲とを示すオブジェクト範囲情報に基づいて、前記オブジェクトを生成する
    画像処理方法。
12. 画像処理装置が、
    ３Ｄモデルに含まれるオブジェクトに対する複数の視点のデプス画像に基づいて、前記オブジェクトを生成するオブジェクト生成ステップ
    を含み、
    前記複数の視点は、時系列の前記３Ｄモデルに基づいて、各視点の前記デプス画像上の前記３Ｄモデルに含まれる所定のオブジェクトの位置の時間変化が小さくなるように決定される
    画像処理方法。
13. 画像処理装置が、
    ３Ｄモデルに含まれるオブジェクトに対する複数の視点のデプス画像に基づいて、前記オブジェクトを生成するオブジェクト生成ステップ
    を含み、
    前記複数の視点は、時系列の前記オブジェクトに基づいて、各視点の前記デプス画像上の前記オブジェクトの位置の時間変化が小さくなるように決定される
    画像処理方法。

Images