JPWO2019244944A5 - - Google Patents

Claims (9)

1. 互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数のカメラ画像を用いて三次元モデルを生成する三次元再構成方法であって、
   前記複数の撮像装置のカメラパラメータおよび前記三次元モデルを取得し、
   前記カメラパラメータおよび前記三次元モデルに基づいて、一の撮像装置から前記三次元モデルまでの距離を示すデプス画像を生成し、
   前記複数のカメラ画像のうちの前記一の撮像装置により撮像された一のカメラ画像中においてオブジェクトが映り込んでいる領域が示される前景画像を生成し、
   前記デプス画像と前記前景画像とを比較することにより前記三次元モデルに三次元点の欠落があるか否かを判定し、
   前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルに三次元点の欠落があることを示す欠落情報を出力する
   三次元再構成方法。
2. 前記前景画像の生成では、予め撮影されたオブジェクトが映っていない背景画像を、前記一のカメラ画像から減算することで前記前景画像を生成する
   請求項１に記載の三次元再構成方法。
3. 前記前景画像の生成では、画素単位での意味づけを行う手法であるＳｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎを用いて、前記一のカメラ画像からオブジェクトを抽出することで前記前景画像を生成する
   請求項１に記載の三次元再構成方法。
4. 前記判定では、前記デプス画像および前記前景画像を二値化し、二値化された前記デプス画像と、二値化された前記前景画像とを比較することにより、前記三次元モデルに三次元点の欠落があるか否かを判定する
   請求項１から３のいずれか１項に記載の三次元再構成方法。
5. 前記出力では、前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルの欠落部を、前記複数のカメラ画像を用いて推定することにより生成した三次元点により補填し、補填された前記三次元点を含む三次元モデルを出力する
   請求項１から４のいずれか１項に記載の三次元再構成方法。
6. 前記出力では、補填された前記三次元点に、当該三次元点が補填された三次元点であることを示す属性情報を付与し、
   前記欠落情報は、前記属性情報により示される情報である
   請求項５に記載の三次元再構成方法。
7. さらに、
   出力された前記三次元モデルへの視点の位置および方向の少なくとも一方を示す視点情報を取得し、
   前記三次元モデル、前記視点情報、前記カメラパラメータおよび前記複数のカメラ画像を用いて、前記視点情報で示される前記視点から前記三次元モデルを見たときの自由視点映像を生成し、
   前記三次元モデルに対応する前記欠落情報を取得した場合、生成された前記自由視点映像と、前記欠落情報で示される欠落を有する三次元モデルを用いて前記自由視点映像が生成されたことを示す識別情報と、を表示するための合成映像を出力する
   請求項１から６のいずれか１項に記載の三次元再構成方法。
8. 前記識別情報は、前記合成映像の前記自由視点映像上において、前記三次元モデルの欠落部に対応し、特定の表示態様で表示される領域で示される
   請求項７に記載の三次元再構成方法。
9. 互いに異なる位置に配置されており、共通する三次元空間を撮像する複数の撮像装置から得られた複数のカメラ画像を用いて三次元モデルを生成する三次元再構成装置であって、
   プロセッサと、
   メモリとを備え、
   前記プロセッサは、前記メモリを用いて、
   前記複数の撮像装置のカメラパラメータおよび前記三次元モデルを取得し、
   前記カメラパラメータおよび前記三次元モデルに基づいて、一の撮像装置から前記三次元モデルまでの距離を示すデプス画像を生成し、
   前記複数のカメラ画像のうちの前記一の撮像装置により撮像された一のカメラ画像中においてオブジェクトが映り込んでいる領域が示される前景画像を生成し、
   前記デプス画像と前記前景画像とを比較することにより前記三次元モデルに三次元点の欠落があるか否かを判定し、
   前記三次元モデルに三次元点の欠落がある場合、前記三次元モデルに三次元点の欠落があることを示す欠落情報を出力する
   三次元再構成装置。