JP7047281B2

JP7047281B2 - テクスチャマッピング装置、及びテクスチャマッピング方法

Info

Publication number: JP7047281B2
Application number: JP2017157365A
Authority: JP
Inventors: 一将鈴木; 一貴池田
Original assignee: IHI Corp
Current assignee: IHI Corp
Priority date: 2017-08-17
Filing date: 2017-08-17
Publication date: 2022-04-05
Anticipated expiration: 2037-08-17
Also published as: JP2019036154A

Description

本発明は、３次元モデルのテクスチャリングを行うテクスチャマッピング装置、及びテクスチャマッピング方法に関する。

近年、複数枚の画像から３次元モデルを復元する画像計測技術であるＳｆＭ（Structure from Motion）法が普及し始めている。ＳｆＭ法による３次元モデル復元では、ディジタルカメラで撮影した複数の画像からカメラの撮影位置を推定する。そして、推定した撮影位置情報から対象物の３次元点群を生成し、更にメッシュモデルを生成する。

撮影画像の色情報を、メッシュモデルに投影するテクチャマッピングを用いることで、リアリティに富んだ３次元モデルを生成する。ＳｆＭ法は、リアリティのある３次元モデルが生成可能であることから、例えばインフラメンテナンスなどの現場保存が重要な案件に対して適用されている。

３次元モデルのテクスチャ画像データを生成する方法としては種々、提案されている。（例えば、特許文献１，２）

国際公開２０１４/１９９８６０Ａ１号特開２０１６－１１９０８６号公報

しかし、従来技術は、単に、対応するピクセルの色情報を統計処理して処理対象のピクセルの色を決定する方法である。したがって、対象物を均一に照らすことが困難な環境で撮影された画像から復元した３次元モデルは、不自然な色変化及びムラが生じ、リアリティのある３次元モデルの生成が困難であるという課題がある。特に、例えばトンネル内や配管内のような暗所で撮影した画像から、リアリティのある画像を復元することはできないという不具合がある。

本発明は上記課題に鑑み、暗所で撮影した画像からリアリティのある３次元画像を復元することができるテクスチャマッピング装置、及びテクスチャマッピング方法を提供することを目的としている。

上記目的を達成するために、本発明の一態様に係るテクスチャマッピング装置は、対象物に光を照射する光源と、前記対象物の複数の画像データを取得する画像取得部と、前記画像データから前記対象物の３次元モデルを生成する３次元モデル生成部と、前記３次元モデル上の着目点の法線方向と、前記光源と前記画像取得部の位置関係とから、着目点における前記画像取得部の方向の反射強度を推定する反射強度推定部と、前記反射強度推定部で推定された反射強度を用いて着目点の画素情報を補正するテクスチャ補正部とを備え、前記反射強度推定部は、前記３次元モデル上の着目点からの反射光が拡散反射成分のみであると仮定した場合の前記反射強度を、着目点上の光強度に、着目点の法線方向と、着目点と前記画像取得部を結ぶ直線とが成す角度の余弦成分を乗じて推定し、前記テクスチャ補正部は、着目点の法線方向に反射する光強度を、前記反射強度推定部で推定した前記反射強度に前記余弦成分の逆数を乗じて算出し、前記反射強度推定部は、前記３次元モデル上の着目点からの反射光が拡散反射成分と鏡面反射成分の和であると仮定した場合の前記反射強度を、前記光源から着目点に照射される光強度に、着目点の法線方向と、着目点と前記画像取得部を結ぶ直線とが成す角度から着目点の正反射方向の角度を減じた角度の余弦成分を乗じて推定し、前記テクスチャ補正部は、着目点の法線方向に反射する光強度を、前記反射強度推定部で推定した前記反射強度に下記の逆数を乗じて算出する。また、本発明の一態様に係るテクスチャマッピング方法は、上記のテクスチャマッピング装置が行うテクスチャマッピング方法であって、対象物に光源から光を照射し、撮像する位置を変えて前記対象物の複数の画像データを取得し、前記画像データから前記対象物の３次元モデルを生成し、前記３次元モデル上の着目点の法線方向と、前記光源と前記撮像する位置との位置関係から、着目点から前記撮像する位置に向けての反射強度を推定し、推定された反射強度を用いて着目点の画素情報を補正し、前記３次元モデル上の着目点からの反射光が拡散反射成分のみであると仮定した場合の前記反射強度を、着目点上の光強度に、着目点の法線方向と、着目点と前記画像取得部を結ぶ直線とが成す角度の余弦成分を乗じて推定し、着目点の法線方向に反射する光強度を、推定した前記反射強度に前記余弦成分の逆数を乗じて算出し、前記反射強度を推定する反射強度推定部は、前記３次元モデル上の着目点からの反射光が拡散反射成分と鏡面反射成分の和であると仮定した場合の前記反射強度を、前記光源から着目点に照射される光強度に、着目点の法線方向と、着目点と前記画像データを取得する画像取得部を結ぶ直線とが成す角度から着目点の正反射方向の角度を減じた角度の余弦成分を乗じて推定し、前記画素情報を補正するテクスチャ補正部は、着目点の法線方向に反射する光強度を、前記反射強度推定部で推定した前記反射強度に下記の逆数を乗じて算出する。

本発明によれば、暗所で撮影した画像からリアリティのある３次元画像を復元することができる。

本発明の実施形態に係るテクスチャマッピング装置の機能構成例を示すブロック図である。対象物の複数の画像データを取得する様子を模式的に示す平面図である。対象物の着目点上の反射強度を推定する方法を説明するための模式図である。図１に示すテクスチャマッピング装置の画像取得部に対する光源の位置を固定する例を模式的に示す図であり、（ａ）は平面図、（ｂ）は正面図である。図１に示すテクスチャマッピング装置の画像取得部に対する光源の位置を固定する他の例を模式的に示す図であり、（ａ）は正面図、（ｂ）は側面図である。図１に示すテクスチャマッピング装置の光源の位置を推定する為の校正器の画像例を模式的に示す図である。図１に示すテクスチャマッピング装置が行うテクスチャマッピング方法の手順を示すフローチャートである。

以下に、本発明の実施形態に係るテクスチャマッピング装置の動作について説明する。

＜テクスチャマッピング装置＞
図１は、実施形態に係るテクスチャマッピング装置の機能構成例を示すブロック図である。

図１に示すように、実施形態に係るテクスチャマッピング装置１は、光源１０、画像取得部２０、画像保存部３０、３次元モデル生成部４０、３次元モデル保存部５０、反射強度推定部６０、及びテクスチャ補正部７０を備える。テクスチャマッピング装置１は、例えば暗所で撮影した対象物αの画像からリアリティのある３次元画像を復元する装置である。

光源１０は、暗所内の対象物αに光を照射する。暗所内の対象物αとは、例えばトンネル内の構造物等のことである。

画像取得部２０は、対象物αの複数の画像データを取得する。画像取得部２０は、例えばディジタルカメラ（カメラ）で構成され、対象物αの画像データを取得する。

図２は、対象物αの複数の画像データを取得する様子を、模式的に示す平面図である。図２は、対象物αを例えばトンネル内の壁とし、複数の画像データを取得する様子を示す。

光源１０の位置は、例えば固定であり、画像取得部２０の位置を変えて複数の画像データを取得（撮影）する。図２中の座標（ｘ，ｙ，ｚ）は３次元座標である。これらの座標値は、地球座標系で定義されたものではなく、画像を復元するために設定された架空の３次元空間における座標値である。

光源１０の位置は、例えば座標（ｘ_Ｌ，ｙ_Ｌ，ｚ_Ｌ）で固定である。一方、画像取得部２０の位置は変化させられる。例えばその位置は、座標（ｘ_１，ｙ_１，ｚ_１）、座標（ｘ_２，ｙ_２，ｚ_２）、及び座標（ｘ_３，ｙ_３，ｚ_３）に示すように変えられる。なお、光源１０の位置は、既知であれば固定でも良いし、動いても良い。

画像保存部３０は、画像取得部２０で取得した複数の画像データを保存（記憶）する。なお、画像データは、テクスチャマッピング装置１を構成する汎用のＲＡＭ等の記憶部に保存するようにしても良い。又は、テクスチャマッピング装置１の画像データの処理速度が高速であれば、画像保存部３０は無くても良い。

３次元モデル生成部４０は、画像取得部２０で取得した複数の画像データから、対象物αの３次元モデルを生成する。３次元モデルは、例えばＳｆＭ（Structure from Motion）法を用いて生成する。

ＳｆＭ法は、対象物αに対する視点を変えながら撮影した複数の画像データから、対象物αの３次元形状と、撮影したカメラの撮影位置とを同時に復元する手法である。

３次元モデル生成部４０は、復元した撮影位置情報から対象物αの３次元点群を生成し、更に３次元モデルを生成する。また、３次元モデル生成部４０は、複数の撮影位置で撮影された画像データを対応付けた特徴点が存在すると推定される推定面の法線方向の法線ベクトルも算出する。

上記の３次元点群は、複数の撮影位置から撮影した対象物αの表面の点の集合である。撮影した対象物αの表面の点とは、複数の撮影位置で撮影された画像データを対応付けた特徴点のことである。つまり、特徴点は、対象物の表面の着目点である。

また、上記の３次元モデルは、３Ｄメッシュとも称され、メッシュのそれぞれに画素情報及び上記の法線ベクトルを対応付けたものである。ここで画素情報とは、例えば画素毎のＲＧＢのそれぞれに対応する輝度情報である。

３次元モデル保存部５０は、３次元モデル生成部４０で生成された３次元モデルを保存する。３次元モデルは、一時的にテクスチャマッピング装置１を構成する汎用のＲＡＭ等の記憶部に記憶するようにしても良い。また、３次元モデルは、外部に出力するようにしても良い。その場合、テクスチャマッピング装置１は、３次元モデル保存部５０を備えなくて良い。

反射強度推定部６０は、３次元モデル上の着目点の法線方向と、光源１０と画像取得部２０の位置関係とから、着目点の画像取得部２０の方向の反射強度を推定する。なお、光源１０の位置は、３次元モデル生成部４０では得られない。よって、光源１０の位置情報は与える必要がある。その与え方と反射強度の推定方法について、詳しくは後述する。

テクスチャ補正部７０は、反射強度推定部６０で推定された反射強度を用いて、３次元モデル上の着目点の画素情報を補正する。

以上説明した実施形態に係るテクスチャマッピング装置１によれば、対象物αに照射した光の対象物α上における反射強度を推定し、当該反射強度を用いて対象物αの画素情報を補正するので、暗所で撮影した画像からリアリティのある３次元画像を復元することができる。

次に、反射強度の推定方法について、図３を参照して詳しく説明する。反射強度の推定方法は、対象物の着目点における反射が拡散反射のみとして推定する方法と、拡散反射と鏡面反射の和として推定する方法の二通りがある。

図３は、対象物αの着目点α_１上の反射強度を推定する方法を説明するための模式図である。光源１０から対象物αに照射された光が、着目点α_１で反射し、画像取得部２０に入射する。

〔拡散反射〕
先ず、着目点α_１の反射が拡散反射のみであると仮定した場合の反射強度を推定する方法について説明する。拡散反射は、平坦では無いざらざらした表面で、入射光が半球状に一様に反射することである。

反射強度Ｉは次式で表せる。

ここで、Ｉ_０は光源１０の光源強度、Ｌ（ｒ_Ｌ，ｇ）は光源特性、及びＲ（ｇ，ｎ）は反射特性である。また、ｇは光源方向、ｎは着目点が存在すると推定される推定面の法線方向、及びｒ_Ｌは光源１０と着目点α_１の距離である。

光源１０が点光源で、且つ着目点α_１の表面が理想的な拡散反射であった場合、画像取得部２０に入射する光の強度（反射強度Ｉ）は、次式で表せる。

ここでθ_ｃは、着目点α_１の法線方向と反射光とが成す角度である。したがって、画像取得部２０で撮影した光強度を、次式の補正項Ｃで補正することで、着目点α_１の法線方向の光強度を求めることができる。

ここでｋは、正規化のための係数であり、補正後の平均的な輝度値を指定する値である。

このように、画像取得部２０で取得した着目点α_１の画像情報を、反射強度推定部６０で推定された反射強度を用いて補正する。具体的には、画像情報のＲＧＢのそれぞれの輝度情報を、推定した反射強度に対応させて補正する。この処理を３Ｄメッシュの全てについて行うことで、暗所で撮影した画像からリアリティのある３次元画像を復元することができる。

つまり、反射強度推定部６０は、３次元モデル上の着目点からの反射光が拡散反射成分のみであると仮定した場合の反射強度Ｉを、着目点上の光強度に、着目点の法線方向と、着目点と画像取得部２０を結ぶ直線とが成す角度の余弦成分を乗じて推定する。そして、テクスチャ補正部７０は、着目点の法線方向に反射する光の強度を、反射強度推定部６０で推定した反射強度Ｉに上記の余弦成分の逆数を乗じて補正する。

〔拡散反射＋鏡面反射〕
次に、着目点α_１の反射が拡散反射と鏡面反射の２つから成ると仮定した場合について説明する。その場合の反射強度Ｉは、それらの和として表現できる。

鏡面反射モデルは、いくつか提案されているが、Phongのモデルでは鏡面反射Ｉ_ｓを次式に示すように定式化している。

ここで、θ_ｃは着目点α_１の法線方向と画像取得部２０の成す角度、θ_ｓは法線方向と光源１０の正反射方向の成す角度である。次数ｎは鏡面反射の角度依存性を決定する定数で、実験的に求める値である。つまり、画像取得部２０が正反射方向に近づくと反射強度が増加する関係である。

この場合の反射強度Ｉは、次式で表せる。

ここでＡ，Ｂのそれぞれは、拡散反射率と鏡面反射率を表す係数であり、対象物の表面の粗さと光源１０のスペクトルによって決まる。この場合の補正項Ｃは、次式で表せる。ｋは正規化のための係数であり、上記の拡散反射のみの場合と同じである。

このように、拡散反射と鏡面反射の和であると仮定して対象物αの反射強度を推定しても良い。この場合、拡散反射率Ａ及び鏡面反射率Ｂを、予め対象物αの素材に対応させて実験等で求めておけば、よりリアリティのある３次元画像を復元することができる。

また、拡散反射率Ａと鏡面反射率Ｂは定数である。よって、復元した３次元画像を見てよりリアリティのある画像に成るように事後的に修正するようにしても良い。事後的に拡散反射率Ａと鏡面反射率Ｂを修正する作業を繰り返すことで、更にリアリティのある３次元画像を復元することができるようになる。

以上述べたように、反射強度推定部６０は、３次元モデル上の着目点からの反射光が拡散反射成分と鏡面反射成分の和であると仮定した場合の反射強度を、前記光源から着目点に照射される光強度に、着目点の法線方向と、着目点と前記画像取得部を結ぶ直線とが成す角度から着目点の正反射方向の角度を減じた角度の余弦成分を乗じて推定する。そして、テクスチャ補正部７０は、着目点の法線方向に反射する光強度を、反射強度推定部６０で推定した反射強度に余弦成分の逆数を乗じて補正する。

〔光源の位置〕
光源１０の位置は、ＳｆＭ法（３次元モデル生成部４０）で得ることができない。したがって、光源１０の位置情報は、本実施形態に係るテクスチャマッピング装置１に与える必要がある。

テクスチャマッピング装置１に、光源１０の位置情報を入力する方法には幾つかの方法が考えられる。例えば、光源１０をスタンド（三脚）等で、対象物αを撮影する撮影環境の中に配置し、光源１０の座標値を入力するようにしても良い。

また、ＳｆＭ法では、画像取得部２０の位置（撮影位置）を復元できるので、画像取得部２０に対する光源１０の相対的な位置を固定する方法が考えられる。また、撮影した画像から光源１０の位置を推定する方法も考えられる。

図４は、画像取得部２０に対する光源１０の位置を固定する例を示す図である。図４（ａ）はそのテクスチャマッピング装置１を上から見た平面図、図４（ｂ）は正面図である。

光源１０の位置は、光源１０が、画像取得部２０と支持部材８０を介して支持されることで固定されている。筐体９０は、テクスチャマッピング装置１の画像取得部２０、画像保存部３０、３次元モデル生成部４０、３次元モデル保存部５０、反射強度推定部６０、及びテクスチャ補正部７０を含む。図４においてそれらの表記は省略している。

画像取得部２０の座標（ｘ_１，ｙ_１，ｚ_１）は、３次元モデル生成部４０において復元される。よって、画像取得部２０と光源１０を支持部材８０で固定し、画像取得部２０に対する光源１０の相対位置（ｘＬ，ｙＬ，ｚＬ）を決めておけば、光源１０の座標情報（ｘ_{ｘＬ＋ｘ１}，ｙ_{ｙＬ＋ｙ１}，ｚ_{ｚＬ＋ｚ１}）を得ることができる。

図５は、画像取得部２０に対する光源１０の位置を固定する他の例を示す図である。図５（ａ）はそのテクスチャマッピング装置１を正面から見た正面図、図５（ｂ）は側面図である。

図５に示すように、光源１０は、画像取得部２０に対して１２時の方向に配置しても良い。なお、光源１０は、画像取得部２０に対する相対位置が固定であれば、何れの方向に配置しても良い。

また、光源１０の位置情報は、撮影した画像から推定しても良い。その場合は、校正器の画像を画像取得部２０で取得（撮影）する。

図６は、画像取得部２０で撮影した校正器１００の画像を示す図である。校正器１００は、例えば球体である。なお、その形状は球体でなくても良い。直方体でも良いし、剣山のようなものであっても良い。また、その個数は複数でも良い。

光源１０から光が照射される撮影環境の中に校正器１００を配置すると、校正器１００の陰影を撮影することができる。映し出されたその陰影の位置から光源１０の位置を推定することが可能である。

光源１０の位置は、例えば参考文献（佐藤いまり、他２名、「物体の陰影に基づく光源環境の推定」、情報処理学会論文誌、Vol. 41 No. SIG 10(CVIM 1), Dec. 2000）に記載された方法で推定できる。

以上述べたように光源１０の位置は、画像取得部２０に対する相対的な座標を予め決めることで求めても良いし、参考文献に記載された計算方法で求めても良い。その計算は、画像取得部２０で取得した画像データを用いて例えば光源位置推定部（図示せず）で行っても良い。

＜テクスチャマッピング方法＞
図７は、テクスチャマッピング装置１が行うテクスチャマッピング方法の手順を示すフローチャートである。

実施形態に係るテクスチャマッピング装置１が行うテクスチャマッピング方法は、対象物に光を照射し（ステップＳ１）、撮像する位置を変えて対象物の複数の画像データを取得し（ステップＳ２）、画像データから対象物の３次元モデルを生成し（ステップＳ３）、３次元モデル上の着目点の法線方向と、光源１０と画像取得部２０の位置関係とから、着目点の画像取得部２０の方向の反射強度を推定し（ステップＳ４）、推定された反射強度を用いて着目点の画素情報を補正する（ステップＳ５）。

これにより、暗所で撮影した画像からリアリティのある３次元画像を復元することができる。

以上、各実施形態を用いて本発明を詳細に説明したが、本発明は本明細書中に説明した実施形態に限定されるものではない。例えば、光源は複数でも良い。光源が複数の場合は、個々の光源について上記の計算を行い、その結果を足し合わせて３次元画像を復元すれば良い。

また、３次元モデルを生成する方法としてＳｆＭ法を例に説明したが、他の画像特徴量関連技術（ＳＩＦＴ等）を用いて３次元モデルを生成しても良い。このように、本発明は上記の実施形態に限定されない。本発明の範囲は、特許請求の範囲の記載及び特許請求の範囲の記載と均等の範囲により決定されるものである。

１…テクスチャマッピング装置、１０…光源、２０…画像取得部、３０…画像保存部、４０…３次元モデル生成部、５０…３次元モデル保存部、６０…反射強度推定部、７０…テクスチャ補正部、８０…支持部材、９０…筐体、１００…校正器。

Claims

対象物に光を照射する光源と、
前記対象物の複数の画像データを取得する画像取得部と、
前記画像データから前記対象物の３次元モデルを生成する３次元モデル生成部と、
前記３次元モデル上の着目点の法線方向と、前記光源と前記画像取得部の位置関係とから、着目点における前記画像取得部の方向の反射強度を推定する反射強度推定部と、
前記反射強度推定部で推定された反射強度を用いて着目点の画素情報を補正するテクスチャ補正部と
を備え、
前記反射強度推定部は、
前記３次元モデル上の着目点からの反射光が拡散反射成分のみであると仮定した場合の前記反射強度を、着目点上の光強度に、着目点の法線方向と、着目点と前記画像取得部を結ぶ直線とが成す角度の余弦成分を乗じて推定し、
前記テクスチャ補正部は、
着目点の法線方向に反射する光強度を、前記反射強度推定部で推定した前記反射強度に前記余弦成分の逆数を乗じて算出し、
前記反射強度推定部は、
前記３次元モデル上の着目点からの反射光が拡散反射成分と鏡面反射成分の和であると仮定した場合の前記反射強度を、前記光源から着目点に照射される光強度に、着目点の法線方向と、着目点と前記画像取得部を結ぶ直線とが成す角度から着目点の正反射方向の角度を減じた角度の余弦成分を乗じて推定し、
前記テクスチャ補正部は、
着目点の法線方向に反射する光強度を、前記反射強度推定部で推定した前記反射強度に下記の逆数を乗じて算出する

ここでＡは前記拡散反射成分の反射率、Ｂは前記鏡面反射成分の反射率、θｃは着目点の法線方向と着目点と前記画像取得部を結ぶ直線とが成す角度、θｓは着目点の法線方向と着目点の正反射方向の成す角度である
ことを特徴とするテクスチャマッピング装置。
前記光源の位置は、
該光源が、前記画像取得部と支持部材を介して支持されることで固定されている
ことを特徴とする請求項１に記載のテクスチャマッピング装置。
前記光源の位置は、
前記画像取得部で取得した前記光源からの光で映し出される校正器の画像から推定する
ことを特徴とする請求項１又は２に記載のテクスチャマッピング装置。
テクスチャマッピング装置が行うテクスチャマッピング方法であって、
対象物に光源から光を照射し、
撮像する位置を変えて前記対象物の複数の画像データを取得し、
前記画像データから前記対象物の３次元モデルを生成し、
前記３次元モデル上の着目点の法線方向と、前記光源と前記撮像する位置との位置関係から、着目点から前記撮像する位置に向けての反射強度を推定し、
推定された反射強度を用いて着目点の画素情報を補正し、
前記３次元モデル上の着目点からの反射光が拡散反射成分のみであると仮定した場合の前記反射強度を、着目点上の光強度に、着目点の法線方向と、着目点と前記画像データを取得した位置を結ぶ直線とが成す角度の余弦成分を乗じて推定し、
着目点の法線方向に反射する光強度を、推定した前記反射強度に前記余弦成分の逆数を乗じて算出し、
前記反射強度を推定する反射強度推定部は、
前記３次元モデル上の着目点からの反射光が拡散反射成分と鏡面反射成分の和であると仮定した場合の前記反射強度を、前記光源から着目点に照射される光強度に、着目点の法線方向と、着目点と前記画像データを取得する画像取得部を結ぶ直線とが成す角度から着目点の正反射方向の角度を減じた角度の余弦成分を乗じて推定し、
前記画素情報を補正するテクスチャ補正部は、
着目点の法線方向に反射する光強度を、前記反射強度推定部で推定した前記反射強度に下記の逆数を乗じて算出する

ここでＡは前記拡散反射成分の反射率、Ｂは前記鏡面反射成分の反射率、θｃは着目点の法線方向と着目点と前記画像取得部を結ぶ直線とが成す角度、θｓは着目点の法線方向と着目点の正反射方向の成す角度である
ことを特徴とするテクスチャマッピング方法。