JP7247573B2 - 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム - Google Patents
三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム Download PDFInfo
- Publication number
- JP7247573B2 JP7247573B2 JP2018235762A JP2018235762A JP7247573B2 JP 7247573 B2 JP7247573 B2 JP 7247573B2 JP 2018235762 A JP2018235762 A JP 2018235762A JP 2018235762 A JP2018235762 A JP 2018235762A JP 7247573 B2 JP7247573 B2 JP 7247573B2
- Authority
- JP
- Japan
- Prior art keywords
- ungenerated
- mesh model
- area
- dimensional
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Description
例えば、非特許文献1には多視点画像からステレオマッチングの技術を用いて三次元形状を復元する手法が開示されている。
未生成領域が発生する要因としては、例えば、対象物が他の物体に隠れてしまうオクルージョンにより特定の部分が撮像されている画像が少なくなってしまったことにより特定の部分における深度情報が正しく算出されないことが考えられる。また、他の要因としては、表面の質感が少ないテクスチャレスである場合や、多視点画像を撮像する際の対象物と撮像位置(視点)との距離が近すぎる又は遠すぎる場合にも、深度情報が正しく算出されなくなる可能性がある。しかし、三次元形状モデルを生成するアルゴリズムを詳しく知らないユーザが、未生成領域が発生した場合に、これらの要因を特定することは困難であった。
図2に示すように、多視点画像は、対象物(この例では、複数の家屋の模型を連結させた街並みの模型)を互いに異なる視点から撮像した画像である。この例では、パラソルが設けられたテラスを備える家屋を、当該テラスを有する側から見た方向を対象物の正面方向として、視点が正面からみてやや左側の上に位置する多視点画像G1、視点が正面からみてやや右側にある多視点画像G2、視点が正面からみて左側にある多視点画像G3、視点が正面からみて右側にある多視点画像G4、の各々を示している。また、多視点画像G1は、上方向に視点があるため、テラスや玄関部の床面が撮像されているが、左右の壁面は撮像されていない。多視点画像G2は、右側に視点があるため、右側の壁面が撮像されているが、左側の壁面は撮像されていない。多視点画像G3は、左側に視点があるが、一階の部分が切れた状態で撮像されており、左側の壁面の一部のみが撮像されている。多視点画像G4は、右側に視点があるが、一階の部分が切れた状態で撮像されており、右側の壁面の一部のみが撮像されている。多視点画像G3では、視点からみてテラスを備える家屋の奥に配置された家屋が撮像されている。
このように、対象物を異なる視点から撮像した多視点画像を多数用いることにより、対象物における様々な箇所の深度情報を算出することが可能となり、算出した深度情報から対象物の三次元形状モデルを生成することが可能となる。
三次元点群生成部103は、まず、多視点画像の情報、及びカメラパラメータを用いて、デプスマップを生成する。デプスマップとは、多視点画像の各々におけるピクセル毎の奥行き(デプス)を示す情報(マップ)である。三次元点群生成部103は、例えば、パッチマッチステレオ(PatchMatch Stereo)法を用いてデプスマップを生成する。この場合、三次元点群生成部103は、多視点画像におけるデプスマップ及び法線ベクトルマップのピクセル毎の初期値を乱数により生成する。
図3に示すように、三次元点群T1は、対象物の様々な箇所に対応する三次元点の集合である。この例では、多視点画像G3と同方向の視点からみた三次元点群を示しており、正面左側からみた、テラスを備える家屋の、当該家屋の両隣の家屋が点群により復元されている。一方、三次元点群T10の左上の部分においては、点群が存在しない部分があり対象物が上手く復元されていない。
図4に示すように、メッシュモデルM1は、対象物の様々な箇所に対応するポリゴンの集合である。この例では、三次元点群T1と同方向の視点からみたメッシュモデルを示しており、三次元点群T1において復元されていた部分が細かいポリゴンで表現されている。一方、三次元点群T1において上手く復元されていなかった部分については目の粗いポリゴンで表現されており、対象物が上手く復元されていない。また、三次元点群T1において三次元点が存在しない部分についても、メッシュモデルM1においてポリゴンが生成され、補間されることもある。
また、所定の条件に、ポリゴンの一辺の長さが所定の閾値以上であること、ポリゴンが予め設定された所定の境界領域(バウンディングボックス)の外に存在していること等が含まれていてもよい。ここでのバウンディングボックスは、例えば、対象物の三次元点を中心とした所定の大きさの円、或いは矩形で示される領域である。また、所定の条件に、ポリゴンに含まれる三次元点の点密度が所定の閾値未満であることが含まれていてもよい。
図5に示すように、メッシュモデルM2は、メッシュモデルM1において対象物が上手く復元されていたポリゴンを残し、上手く復元されていなかった不正確ポリゴンが除去されたメッシュモデルである。
三次元点群情報記憶部107は、三次元点群生成部103により生成された三次元点群の情報を記憶する。
メッシュモデル情報記憶部108は、第1メッシュモデル生成部104により生成された第1メッシュモデル、及び第2メッシュモデル生成部105により生成された第2メッシュモデルの情報を記憶する。
学習済みモデルは、例えば、入力された多視点画像における未生成領域と、学習済みの学習用多視点画像の各々における未生成領域との類似度合いを算出する。ここでの類似度合いは、例えば、入力された多視点画像における未生成領域の特徴量を高次元のベクトル表現により数値化した値と、学習済みの学習用多視点画像における未生成領域の特徴量を高次元のベクトル表現により数値化した値との、高次元のベクトル空間における距離として算出される。このベクトル空間における距離は、互いのベクトル表現により数値化した値の相関量に比例し、例えば、ベクトルの内積等により算出される。
例えば、特定部109は、メッシュモデルにおける未生成領域に対応する箇所が撮像された多視点画像の各々について、当該対応する箇所の未生成要因を特定する。特定部109は、未生成要因として特定されたもののうち最も数が多い要因を、メッシュモデルにおける当該未生成領域の未生成要因とする。
或いは、特定部109は、未生成要因として特定されたすべての要因に対し、所定の閾値以上の割合を示す要因を、メッシュモデルにおける当該未生成領域の未生成要因とするようにしてもよい。
図6に示すように、表示部110は、メッシュモデルM2における未生成領域を、例えば矢印の表示H12、H22、H32、H42により表示する。表示部110は、メッシュモデルM2における未生成領域の各々の未生成要因及びその対策をメッセージの表示H1~H4により表示する。
この例では、表示H12に対応する未生成領域における未生成要因がオクルージョンであることがメッセージの表示H10により示され、その対策として当該領域を撮像した多視点画像を増やすことが表示H11により示されている。
また、表示H22に対応する未生成領域における未生成要因がテクスチャレスであることがメッセージの表示H20により示され、その対策として当該領域に模様を付けることが表示H21により示されている。
また、表示H32に対応する未生成領域における未生成要因が撮影距離であることがメッセージの表示H30により示され、その対策として当該領域に撮影距離を近づけた多視点画像を撮像することが表示H31により示されている。
また、表示H42に対応する未生成領域における未生成要因がオクルージョンであることがメッセージの表示H40により示され、その対策として当該領域を撮像した多視点画像を増やすことが表示H41により示されている。
図7に示すように、表示部110は、多視点画像G3における未生成領域を、例えば矢印の表示H52、H62により表示する。表示部110は、多視点画像G3における未生成領域の各々の未生成要因及びその対策をメッセージの表示H5、H6により表示する。
この例では、表示H52が、図6の表示H22に対応している。この場合、図6同様に、未生成領域における未生成要因がテクスチャレスであることがメッセージの表示H50により示され、その対策として当該領域に模様を付けることが表示H51により示されている。
また、表示H62が、図6の表示H32に対応している。この場合、図6同様に、未生成領域における未生成要因が撮影距離であることがメッセージの表示H60により示され、その対策として当該領域に撮影距離を近づけた多視点画像を撮像することが表示H61により示されている。
ステップS10:
三次元形状モデル生成装置1は、多視点画像情報取得部101により多視点画像の情報(例えば、輝度値やRGB値)を取得する。また、三次元形状モデル生成装置1は、カメラパラメータ取得部102により多視点画像のカメラパラメータを取得する。
ステップS11:
三次元形状モデル生成装置1は、三次元点群生成部103により対象物の三次元点群を生成する。三次元点群生成部103は、多視点画像の情報とカメラパラメータを用いて、多視点画像のピクセル毎にステレオマッチングを行うことにより、その多視点画像におけるデプスマップを生成する。三次元点群生成部103は、多視点画像毎のデプスマップを統合することにより対象物の三次元点群を生成する。
三次元形状モデル生成装置1は、第1メッシュモデル生成部104によりメッシュモデル(第1メッシュモデル)を生成する。第1メッシュモデル生成部104は、対象物の三次元点群から第1メッシュモデルを生成する。また、三次元形状モデル生成装置1は、第2メッシュモデル生成部105により、第1名詞から不正確ポリゴンを除去した第2メッシュモデルを生成するようにしてもよい。
ステップS13:
三次元形状モデル生成装置1は、特定部109により、メッシュモデルにおける未生成領域を特定する。特定部109は、第1メッシュモデルを様々な視点から見た三次元形状を二次元平面に投影した場合において、ポリゴンが存在しない領域を未生成領域とする。或いは、特定部109は、第2メッシュモデル生成部105により除去された不正確ポリゴンが存在していた領域を未生成領域としてもよい。
三次元形状モデル生成装置1は、特定部109により、多視点画像における、メッシュモデルの未生成領域に対応する箇所を特定する。特定部109は、メッシュモデルを多視点画像の視点からみた三次元形状を二次元平面に投影させた画像における未生成領域に対応する領域を、多視点画像における未生成領域として特定する。
ステップS15:
三次元形状モデル生成装置1は、特定部109により、メッシュモデルの未生成領域に対応する箇所が撮像された多視点画像の数が所定の閾値未満であるか否かを判定する。
ステップS16:
三次元形状モデル生成装置1は、特定部109により、メッシュモデルの未生成領域に対応する箇所が撮像された多視点画像の数が所定の閾値未満であると判定した場合、その未生成領域における未生成要因はオクルージョンであると判定する。
三次元形状モデル生成装置1は、特定部109により、多視点画像における未生成領域の輝度勾配が所定の閾値未満であるか否かを判定する。
ステップS18:
三次元形状モデル生成装置1は、特定部109により、多視点画像における未生成領域の輝度勾配が所定の閾値未満であると判定した場合、その未生成領域における未生成要因はテクスチャレスであると判定する。
三次元形状モデル生成装置1は、特定部109により、未生成領域を有する多視点画像を学習済みモデルに入力して得られる出力が撮影距離であるか否かを判定する。ここでの学習済みモデルは、未生成領域を有する学習用の多視点画像に、その未生成領域における未生成要因を対応付けた学習データを用いて機械学習を実行することにより作成されたモデルである。
ステップS20:
三次元形状モデル生成装置1は、特定部109により、学習済みモデルから得られた出力が撮影距離であると判定した場合、その未生成領域における未生成要因は撮影距離であると判定する。
101…多視点画像情報取得部
102…カメラパラメータ取得部
103…三次元点群生成部
104…第1メッシュモデル生成部
105…第2メッシュモデル生成部
106…多視点画像情報記憶部
107…三次元点群情報記憶部
108…メッシュモデル情報記憶部
109…特定部
110…表示部
Claims (12)
- 対象物を異なる視点から撮像した二枚以上の画像である多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置であり、
前記多視点画像から前記対象物の三次元形状に対応する三次元点群を生成する三次元点群生成部と、
前記三次元点群を用いて前記対象物の三次元形状をポリゴンで表すメッシュモデルを生成するメッシュモデル生成部と、
前記メッシュモデルのうち、三次元形状が生成されなかった未生成領域を特定し、前記メッシュモデルと前記多視点画像とを用いて、当該未生成領域において三次元形状が生成されなかった未生成要因を特定する特定部と、
を備え、
前記メッシュモデル生成部は、
前記三次元点群を用いて前記対象物の三次元形状をポリゴンで表す第1メッシュモデルを生成する第1メッシュモデル生成部と、
前記第1メッシュモデルから所定の条件に基づく不正確ポリゴンを除去した第2メッシュモデルを生成する第2メッシュモデル生成部と、
を有し、
前記特定部は、前記不正確ポリゴンに対応する領域を前記未生成領域とし、前記未生成要因を前記不正確ポリゴンごとに特定する、
ことを特徴とする三次元形状モデル生成装置。 - 前記不正確ポリゴンは、前記第1メッシュモデルに含まれるポリゴンのうち、所定の閾値以上の面積を有するポリゴン、所定の閾値以上の面積比を有するポリゴン、所定の閾値以上の長さの辺を有するポリゴン、所定の境界領域の外に存在するポリゴン、及びポリゴンに含まれる前記三次元点群の点密度が所定の閾値未満のポリゴンの各々の少なくとも何れかに該当するポリゴンである、
請求項1に記載の三次元形状モデル生成装置。 - 前記特定部は、前記未生成領域に対応する箇所が撮像された前記多視点画像の数に基づいて、前記未生成領域における前記未生成要因がオクルージョンに起因するものか否かを判定する、
ことを特徴とする請求項1又は請求項2に記載の三次元形状モデル生成装置。 - 前記特定部は、前記多視点画像における前記未生成領域に対応する箇所の輝度勾配に基づいて、前記多視点画像ごとに、前記多視点画像における前記未生成領域に対応する箇所の前記未生成要因がテクスチャレスに起因するものか否かを判定する、
ことを特徴とする請求項1から請求項3の何れか一項に記載の三次元形状モデル生成装置。 - 前記特定部は、前記多視点画像における前記未生成領域に対応する箇所の前記未生成要因が前記対象物から視点までの撮影距離に起因するものか否かを判定する、
ことを特徴とする請求項1から請求項4の何れか一項に記載の三次元形状モデル生成装置。 - 前記特定部は、前記多視点画像における前記未生成領域に対応する箇所を学習済みモデルに入力して得られる出力に基づいて、前記未生成要因を判定し、
前記学習済みモデルは、学習用対象物を異なる視点から撮像した二枚以上の画像である学習用多視点画像から生成した学習用三次元形状モデルにおける前記未生成領域について、前記学習用多視点画像の各々における前記学習用三次元形状モデルの前記未生成領域に対応する箇所と、前記未生成領域における前記未生成要因とを対応づけた学習データを用いて機械学習を実行することにより作成されたモデルである、
ことを特徴とする請求項1から請求項5の何れか一項に記載の三次元形状モデル生成装置。 - 前記特定部は、前記多視点画像ごとに前記多視点画像における前記未生成領域に対応する箇所の前記未生成要因を判定した結果を投票することにより前記未生成領域における前記未生成要因を決定する、
ことを特徴とする請求項4から請求項6の何れか一項に記載の三次元形状モデル生成装置。 - 前記多視点画像に前記未生成領域及び前記未生成要因を表示する表示部、更に備える
ことを特徴とする請求項1から請求項7の何れか一項に記載の三次元形状モデル生成装置。 - 前記メッシュモデルに前記未生成領域及び前記未生成要因を表示する表示部、更に備える
ことを特徴とする請求項1から請求項8の何れか一項に記載の三次元形状モデル生成装置。 - 前記表示部は、前記未生成要因に対する対策を表示する、
請求項8又は請求項9に記載の三次元形状モデル生成装置。 - 対象物を異なる視点から撮像した二枚以上の画像である多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置の三次元形状モデル生成方法であり、
三次元点群生成部が、前記多視点画像から前記対象物の三次元形状に対応する三次元点群を生成する三次元点群生成過程と、
メッシュモデル生成部が、前記三次元点群を用いて前記対象物の三次元形状をポリゴンで表すメッシュモデルを生成するメッシュモデル生成過程と、
特定部が、前記メッシュモデルのうち、三次元形状が生成されなかった未生成領域を特定し、前記メッシュモデルと前記多視点画像とを用いて、当該未生成領域において三次元形状が生成されなかった未生成要因を特定する特定過程と、
を含み、
前記メッシュモデル生成過程において、
前記三次元点群を用いて前記対象物の三次元形状をポリゴンで表す第1メッシュモデルを生成する第1メッシュモデル生成過程と、
前記第1メッシュモデルから所定の条件に基づく不正確ポリゴンを除去した第2メッシュモデルを生成する第2メッシュモデル生成過程と、
を含み、
前記特定過程において、前記不正確ポリゴンに対応する領域を前記未生成領域とし、前記未生成要因を前記不正確ポリゴンごとに特定する、
ことを特徴とする三次元形状モデル生成方法。 - 対象物を異なる視点から撮像した二枚以上の画像である多視点画像から、前記対象物の三次元形状モデルを生成する三次元形状モデル生成装置に用いられるコンピュータを、 前記多視点画像から前記対象物の三次元形状に対応する三次元点群を生成する三次元点群生成手段、
前記三次元点群を用いて前記対象物の三次元形状をポリゴンで表すメッシュモデルを生成するメッシュモデル生成手段、
前記メッシュモデルのうち、三次元形状が生成されなかった未生成領域を特定し、前記メッシュモデルと前記多視点画像とを用いて、当該未生成領域において三次元形状が生成されなかった未生成要因を特定する特定手段、
として動作させるためのプログラムであって、
前記メッシュモデル生成手段において、
前記三次元点群を用いて前記対象物の三次元形状をポリゴンで表す第1メッシュモデルを生成する第1メッシュモデル生成手段、
前記第1メッシュモデルから所定の条件に基づく不正確ポリゴンを除去した第2メッシュモデルを生成する第2メッシュモデル生成手段、
として動作し、
前記特定手段において、前記不正確ポリゴンに対応する領域を前記未生成領域とし、前記未生成要因を前記不正確ポリゴンごとに特定する、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018235762A JP7247573B2 (ja) | 2018-12-17 | 2018-12-17 | 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018235762A JP7247573B2 (ja) | 2018-12-17 | 2018-12-17 | 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020098421A JP2020098421A (ja) | 2020-06-25 |
JP7247573B2 true JP7247573B2 (ja) | 2023-03-29 |
Family
ID=71106544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018235762A Active JP7247573B2 (ja) | 2018-12-17 | 2018-12-17 | 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7247573B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021005977A1 (ja) * | 2019-07-09 | 2021-01-14 | パナソニックIpマネジメント株式会社 | 三次元モデル生成方法及び三次元モデル生成装置 |
KR102615255B1 (ko) * | 2020-11-30 | 2023-12-19 | 동의대학교 산학협력단 | 의료용 이미지의 3차원 메쉬 생성을 위한 장치 및 방법 |
JP7197211B2 (ja) * | 2021-03-11 | 2022-12-27 | 株式会社ギャラクシーズ | 三次元グラフィックスデータ作成方法、プログラム及び三次元グラフィックスデータ作成システム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020121406A1 (ja) | 2018-12-11 | 2020-06-18 | 三菱電機株式会社 | 3次元計測装置、移動ロボット、手押し車型移動装置および3次元計測処理方法 |
-
2018
- 2018-12-17 JP JP2018235762A patent/JP7247573B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020121406A1 (ja) | 2018-12-11 | 2020-06-18 | 三菱電機株式会社 | 3次元計測装置、移動ロボット、手押し車型移動装置および3次元計測処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2020098421A (ja) | 2020-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8447099B2 (en) | Forming 3D models using two images | |
US8452081B2 (en) | Forming 3D models using multiple images | |
EP1303839B1 (en) | System and method for median fusion of depth maps | |
US9875547B2 (en) | Method and apparatus for adjusting stereoscopic image parallax | |
KR101560508B1 (ko) | 3차원 이미지 모델 조정을 위한 방법 및 장치 | |
US20210241495A1 (en) | Method and system for reconstructing colour and depth information of a scene | |
JP7247573B2 (ja) | 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム | |
EP3311361B1 (en) | Method and apparatus for determining a depth map for an image | |
CN107798704B (zh) | 一种用于增强现实的实时图像叠加方法及装置 | |
KR20110116671A (ko) | 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법 | |
JP2016091553A (ja) | 画像から自動化されたテクスチャリングマッピングおよびアニメーション | |
US20160005221A1 (en) | Photometric optimization with t-splines | |
US9147279B1 (en) | Systems and methods for merging textures | |
EP1063614A2 (en) | Apparatus for using a plurality of facial images from different viewpoints to generate a facial image from a new viewpoint, method thereof, application apparatus and storage medium | |
WO2020187339A1 (zh) | 一种裸眼3d的虚拟视点图像生成方法及便携式终端 | |
CN110782507A (zh) | 一种基于人脸网格模型的纹理贴图生成方法、系统及电子设备 | |
WO2021105871A1 (en) | An automatic 3d image reconstruction process from real-world 2d images | |
US20150145861A1 (en) | Method and arrangement for model generation | |
CN107798703B (zh) | 一种用于增强现实的实时图像叠加方法以及装置 | |
KR102126561B1 (ko) | 적응적 삼차원 공간 생성방법 및 그 시스템 | |
Casas et al. | Image-based multi-view scene analysis using'conexels' | |
JP6526605B2 (ja) | 仮想カメラ画像生成装置 | |
JP7487266B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US11100721B1 (en) | Integrating 2D images into a display of a 3D reality mesh to recover lost context | |
US20240054747A1 (en) | Image processing apparatus, image processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230214 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7247573 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |