JP6883062B2 - ３ｄテクスチャ処理されたメッシュのロバストなマージ - Google Patents

Description

（関連出願の相互参照）
本願は、２０１７年３月２３日に出願された米国仮特許出願第１５／４６７，８５１の利益および優先権を主張するものであり、該米国仮特許出願は、２０１６年４月１３日に出願された米国仮特許出願第６２／３２２，０８１号の利益および優先権を主張するものである。上記特許出願の全体の内容は、あらゆる目的のために参照により本明細書中に援用される。

本発明は、概して、コンピュータ化された３次元（３Ｄ）メッシュ再構成に関し、より具体的には、２つまたはそれを上回る３Ｄテクスチャ処理されたメッシュを１つのテクスチャ処理されたメッシュにマージするための自動アプローチに関する。

テクスチャ処理されたメッシュは、３Ｄ幾何学形状の一般的表現である。これは、仮想現実、科学的可視化、３Ｄ撮影、３Ｄゲーム、および同等物を含む、多くのグラフィック用途において広く使用されている。様々な技法が、メッシュを３Ｄ走査から再構築するために導入されている。しかしながら、正確な大きく複雑なメッシュを３Ｄ走査から作成することは、労力を要し、かつ労働集約的であり得る。これは、多くの場合、複数の３Ｄ走査からのより小さいメッシュを整合させ、編集し、組み合わせることによって、手動で行われる。したがって、当技術分野において、大きくて複雑な３Ｄテクスチャ処理されたモデルへの複数のメッシュのロバストなマージを可能にする、改良された方法およびシステムの必要がある。

一実施形態によると、３Ｄメッシュをマージする方法は、第１のメッシュおよび第２のメッシュを受信するステップと、空間整合を実施し、第１のメッシュおよび第２のメッシュを共通世界座標系内で位置合わせするステップと、メッシュクリッピングを第１のメッシュおよび第２のメッシュ上で実施し、冗長メッシュ頂点を除去するステップと、幾何学形状精緻化をクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップと、テクスチャブレンディングをクリッピングシームに隣接する領域内で実施し、マージされたメッシュを取得するステップとを含む。

別の実施形態によると、３Ｄテクスチャ処理されたメッシュをマージする方法は、第１のメッシュおよび第２のメッシュを受信するステップと、第１のメッシュおよび第２のメッシュが重複する、重複領域を識別するステップと、重複領域を含有する、重複領域の境界ボックスを識別するステップと、境界ボックス内の第１のメッシュの個別の頂点毎に、第２のメッシュの対応する最近傍頂点を検索し、それによって、複数のマッチングペアを確立するステップとを含む。各マッチングペアは、第１のメッシュの個別の頂点と、第２のメッシュの対応する最近傍頂点とを含む。本方法はさらに、複数のマッチングペアのマッチングペア毎に、第１のメッシュの個別の頂点の第１の法線一致接続群（ＮＣＮＧ）および第２のメッシュの対応する最近傍頂点の第２のＮＣＮＧを推定するステップと、第１のＮＣＮＧの面積と第２のＮＣＮＧの面積との間の比率が第１の所定の閾値を上回ることの判定に応じて、第１のメッシュの個別の頂点および第２のメッシュの対応する最近傍頂点を誤マッチングペアとして分類するステップと、誤マッチングペアを複数のマッチングペアから除去するステップとを含む。本方法はさらに、複数のマッチングペアの各マッチングペア内の第１のメッシュの個別の頂点と第２のメッシュの対応する最近傍頂点との間の距離を最小にするように、第１のメッシュに適用されるべき剛体変換を判定するステップと、剛体変換を第１のメッシュに適用し、変換された第１のメッシュを取得するステップとを含む。本方法はさらに、変換された第１のメッシュ上の第１のクリッピングシームに沿って、および第２のメッシュ上の第２のクリッピングシームに沿って、メッシュクリッピングを実施し、重複領域内の冗長メッシュ頂点を除去するステップと、幾何学形状精緻化を第１のクリッピングシームおよび第２のクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップとを含んでもよい。
本発明は、例えば、以下を提供する。
（項目１）
３次元（３Ｄ）メッシュをマージする方法であって、上記方法は、
第１のメッシュおよび第２のメッシュを受信するステップと、
空間整合を実施し、上記第１のメッシュを上記第２のメッシュに対して位置合わせするステップであって、上記空間整合を実施するステップは、
上記第１のメッシュおよび上記第２のメッシュが重複する重複領域を識別するステップと、
上記重複領域を含有する上記重複領域の境界ボックスを識別するステップと、
上記境界ボックス内の上記第１のメッシュの個別の頂点毎に、上記第２のメッシュの対応する最近傍頂点を検索し、それによって、複数のマッチングペアを確立するステップであって、各マッチングペアは、上記第１のメッシュの個別の頂点および上記第２のメッシュの対応する最近傍頂点を備える、ステップと、
上記複数のマッチングペアのマッチングペア毎に、
上記第１のメッシュの個別の頂点の第１の法線一致接続群（ＮＣＮＧ）および上記第２のメッシュの対応する最近傍頂点の第２のＮＣＮＧを推定するステップと、
上記第１のＮＣＮＧの面積と上記第２のＮＣＮＧの面積との間の比率が第１の所定の閾値を上回ることの判定に応じて、上記第１のメッシュの個別の頂点および上記第２のメッシュの対応する最近傍頂点を誤マッチングペアとして分類するステップと、
上記誤マッチングペアを上記複数のマッチングペアから除去するステップと
によって、１つまたはそれを上回る誤マッチングペアを除去するステップと、
上記複数のマッチングペアの各マッチングペア内の第１のメッシュの個別の頂点と上記第２のメッシュの対応する最近傍頂点との間の距離を最小にするように、上記第１のメッシュに適用されるべき剛体変換を判定するステップと、
上記剛体変換を上記第１のメッシュに適用し、変換された第１のメッシュを取得するステップと
によって行われる、ステップと、
上記変換された第１のメッシュ上の第１のクリッピングシームに沿って、および上記第２のメッシュ上の第２のクリッピングシームに沿って、メッシュクリッピングを実施し、上記重複領域内の冗長メッシュ頂点を除去するステップと、
幾何学形状精緻化を上記第１のクリッピングシームおよび上記第２のクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップと
を含む、方法。
（項目２）
テクスチャブレンディングを上記クリッピングシームに隣接する領域内で実施するステップをさらに含む、項目１に記載の方法。
（項目３）
空間整合を実施するステップはさらに、上記剛体変換を判定する前に、上記複数のマッチングペアのマッチングペア毎に、
上記第１のメッシュの個別の頂点の第１の法線ベクトルおよび上記第２のメッシュの対応する最近傍頂点の第２の法線ベクトルを推定するステップと、
上記第１の法線ベクトルと上記第２の法線ベクトルとの間の差異が第２の所定の閾値を上回ることの判定に応じて、上記第１のメッシュの個別の頂点および上記第２のメッシュの対応する最近傍頂点を誤マッチングペアとして分類するステップと、
上記誤マッチングペアを上記複数のマッチングペアから除去するステップと
を含む、項目１に記載の方法。
（項目４）
メッシュクリッピングを実施するステップは、
上記重複領域の境界ボックスをボクセルのグリッドとしてラスタライズするステップと、
データ項、境界項、交差項、およびテクスチャ項を含むエネルギー関数を使用して、エネルギー最小化プロシージャを適用することによって、上記ボクセルのグリッド内の各ボクセルを第１のメッシュボクセルおよび第２のメッシュボクセルのうちの１つとしてラベル付けするステップと、
上記第１のメッシュの個別の頂点が第２のメッシュボクセルとしてラベル付けされたボクセル内にあるときの上記第１のメッシュの各個別の頂点と、上記第２のメッシュの個別の頂点が第１のメッシュボクセルとしてラベル付けされたボクセル内にあるときの上記第２のメッシュの各個別の頂点とをクリッピングオフするステップと
を含む、項目１に記載の方法。
（項目５）
上記重複領域の境界ボックスをテクセルのグリッドとしてラスタライズするステップと、
上記第１のメッシュの個別のテクセル毎に、上記第２のメッシュの対応するテクセルを識別するステップと、
上記個別のテクセルから上記クリッピングシームまでの距離の減少に伴って増加するブレンディング加重を使用して、上記第１のメッシュの各個別のテクセルのテクスチャと、上記第２のメッシュの対応するテクセルのテクスチャとをブレンディングするステップと
によって、上記第１のメッシュおよび上記第２のメッシュのテクスチャブレンディングを実施するステップをさらに含む、項目１に記載の方法。
（項目６）
１つまたはそれを上回る誤マッチングペアを除去するステップは、法線ベクトルサンプリングアルゴリズムを適用することによって実施される、項目１に記載の方法。
（項目７）
３次元（３Ｄ）テクスチャ処理されたメッシュをマージする方法であって、上記方法は、
第１のメッシュおよび第２のメッシュを受信するステップと、
空間整合を実施し、上記第１のメッシュを上記第２のメッシュに対して整合させるステップと、
メッシュクリッピングを上記第１のメッシュおよび上記第２のメッシュ上で実施し、冗長メッシュ頂点を除去するステップと、
幾何学形状精緻化をクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップと、
テクスチャブレンディングを上記クリッピングシームに隣接する領域内で実施し、マージされたメッシュを取得するステップと
を含む、方法。
（項目８）
空間整合を実施するステップは、
上記第１のメッシュおよび上記第２のメッシュが重複する重複領域を識別するステップと、
上記重複領域を含有する上記重複領域の境界ボックスを識別するステップと、
上記境界ボックス内の上記第１のメッシュの個別の頂点毎に、上記第２のメッシュ内の対応する最近傍頂点を検索し、それによって、複数のマッチングペアを確立するステップであって、各マッチングペアは、上記第１のメッシュの個別の頂点および上記第２のメッシュの対応する最近傍頂点を備える、ステップと、
上記複数のマッチングペアから１つまたはそれを上回る誤マッチングペアを除去するステップと、
上記複数のマッチングペアの各マッチングペア内の第１のメッシュの個別の頂点と上記第２のメッシュの対応する最近傍頂点との間の距離を最小にするように、上記第１のメッシュに適用されるべき剛体変換を判定するステップと、
上記剛体変換を使用して、上記第１のメッシュを回転および平行移動させるステップと
を含む、項目７に記載の方法。
（項目９）
収束に到達するまで、数回にわたって、上記境界ボックス内の上記第１のメッシュの個別の頂点毎に、上記第２のメッシュの対応する最近傍頂点を検索するステップと、上記複数のマッチングペアのマッチングペア毎に、１つまたはそれを上回る誤マッチングペアを除去するステップと、剛体変換を判定するステップと、上記剛体変換を使用して、上記第１のメッシュを回転および平行移動させるステップとを反復するステップをさらに含む、項目８に記載の方法。
（項目１０）
上記境界ボックスを識別するステップは、
上記重複領域を含有する初期境界ボックスを識別するステップと、
上記初期境界ボックスをスケーリング係数でスケーリングし、上記境界ボックスを取得するステップと を含む、項目８に記載の方法。
（項目１１）
上記第２のメッシュの対応する最近傍頂点を検索する前に、エッジ分割を通して、上記境界ボックスの内側のメッシュ三角形を密化させ、上記境界ボックスの内側の上記第１のメッシュおよび上記第２のメッシュの密化された頂点を取得するステップをさらに含む、項目８に記載の方法。
（項目１２）
上記１つまたはそれを上回る誤マッチングペアを除去するステップは、
上記第１のメッシュの個別の頂点の第１の法線ベクトルおよび上記第２のメッシュの対応する最近傍頂点の第２の法線ベクトルを推定するステップと、
上記第１の法線ベクトルと上記第２の法線ベクトルとの間の差異が所定の閾値を上回ることの判定に応じて、上記第１のメッシュの個別の頂点および上記第２のメッシュの対応する最近傍頂点を誤マッチングペアとして分類するステップと、
上記第１のメッシュ内の個別の頂点および上記第２のメッシュ内の対応する最近傍頂点を上記複数のマッチングペアから除去するステップと
を含む、項目８に記載の方法。
（項目１３）
上記１つまたはそれを上回る誤マッチングペアを除去するステップは、
上記第１のメッシュの個別の頂点の第１の法線一致接続群（ＮＣＮＧ）および上記第２のメッシュの対応する最近傍頂点の第２のＮＣＮＧを推定するステップと、
上記第１のＮＣＮＧの面積と上記第２のＮＣＮＧの面積との間の比率が所定の閾値を上回ることの判定に応じて、上記第１のメッシュ内の個別の頂点および上記第２のメッシュ内の対応する最近傍頂点を上記１つまたはそれを上回る誤マッチングペアのうちの１つとして分類するステップと、
上記第１のメッシュ内の個別の頂点および上記第２のメッシュ内の対応する最近傍頂点を上記複数のマッチングペアから除去するステップと
を含む、項目８に記載の方法。
（項目１４）
上記１つまたはそれを上回る誤マッチングペアを除去するステップは、法線ベクトルサンプリングアルゴリズムを適用することによって実施される、項目１３に記載の方法。
（項目１５）
メッシュクリッピングを実施するステップは、
上記第１のメッシュおよび上記第２のメッシュが重複する重複領域を識別するステップと、
上記重複領域を含有する上記重複領域の境界ボックスを識別するステップと、
上記重複領域の境界ボックスをボクセルのグリッドとしてラスタライズするステップと、
エネルギー関数を使用して、エネルギー最小化プロシージャを適用することによって、上記ボクセルのグリッド内の各ボクセルを第１のメッシュボクセルおよび第２のメッシュボクセルのうちの１つとしてラベル付けするステップと、
上記第１のメッシュの個別の頂点が第２のメッシュボクセルとしてラベル付けされたボクセル内にあるとき、上記第１のメッシュの各個別の頂点をクリッピングオフするステップと、
上記第２のメッシュの個別の頂点が第１のメッシュボクセルとしてラベル付けされたボクセル内にあるとき、上記第２のメッシュの各個別の頂点をクリッピングオフするステップと
を含む、項目７に記載の方法。
（項目１６）
上記エネルギー関数は、上記ボクセルが上記第２のメッシュとのみ交差するとき、ボクセルを第１のメッシュボクセルとしてラベル付けし、上記ボクセルが上記第１のメッシュとのみ交差するとき、ボクセルを第２のメッシュボクセルとしてラベル付けするための正コスト値を割り当て、そうでなければ、ゼロ値を割り当てる、データ項を含む、項目１５に記載の方法。
（項目１７）
上記エネルギー関数は、上記ボクセルと上記第１のメッシュの境界との間の距離を減少させるために、ボクセルを第１のメッシュボクセルとしてラベル付けし、上記ボクセルと上記第２のメッシュの境界との間の距離を減少させるために、ボクセルを第２のメッシュボクセルとしてラベル付けするための増加正コスト値を割り当てる境界項を含む、項目１５に記載の方法。
（項目１８）
上記エネルギー関数は、交差項およびテクスチャ項を含み、
上記交差項は、上記第１のメッシュのみまたは上記第２のメッシュのみと交差するボクセルより低いコスト値を上記第１のメッシュおよび上記第２のメッシュの両方と交差するボクセルに割り当て、
上記テクスチャ項は、より低い色変動を有するボクセルより高い色変動を有するボクセルにより高いコスト値を割り当てる、
項目１５に記載の方法。
（項目１９）
テクスチャブレンディングを実施するステップは、
上記第１のメッシュおよび上記第２のメッシュが重複する重複領域を識別するステップと、
上記重複領域を含有する上記重複領域の境界ボックスを識別するステップと、
上記重複領域の境界ボックスをテクセルのグリッドとしてラスタライズするステップと、
上記第１のメッシュの個別のテクセル毎に、上記第２のメッシュの対応するテクセルを識別するステップと、
上記個別のテクセルから上記クリッピングシームまでの距離の減少に伴って増加するブレンディング加重を使用して、上記第１のメッシュの各個別のテクセルのテクスチャと、上記第２のメッシュの対応するテクセルのテクスチャとをブレンディングするステップと
を含む、項目８に記載の方法。
（項目２０）
コンピュータ可読記憶媒体上で有形に具現化される複数のコンピュータ可読命令を備える非一過性コンピュータ可読記憶媒体であって、上記複数の命令は、コンピュータプロセッサによって実行されると、３次元（３Ｄ）テクスチャ処理されたメッシュをマージするステップを実施し、上記複数の命令は、
上記コンピュータプロセッサに、第１のメッシュおよび第２のメッシュを受信させる命令と、
上記コンピュータプロセッサに、空間整合を実施し、上記第１のメッシュおよび上記第２のメッシュを共通世界座標系内で位置合わせさせる命令と、
上記コンピュータプロセッサに、メッシュクリッピングを上記第１のメッシュおよび上記第２のメッシュ上で実施し、冗長メッシュ頂点を除去させる命令と、
上記コンピュータプロセッサに、幾何学形状精緻化をクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖させる命令と、
上記コンピュータプロセッサに、テクスチャブレンディングを上記クリッピングシームに隣接する領域内で実施し、マージされたメッシュを取得させる命令と
を備える、非一過性コンピュータ可読記憶媒体。

１つまたはそれを上回る種々の実施形態による、本開示が、以下の図を参照して詳細に説明される。図面は、例証目的のためだけに提供され、単に、本開示の例示的実施形態を描写する。これらの図面は、読者の本開示の理解を促進するために提供され、本開示の範疇、範囲、または可用性を限定するものと見なされるべきではない。明確にするために、かつ例証を容易にするために、これらの図面は、必ずしも、正確な縮尺で描かれていないことに留意されたい。

図１は、いくつかの実施形態による、２つまたはそれを上回る３Ｄメッシュをマージする方法を図示する、簡略化されたフローチャートである。

図２は、一実施形態による、２つのメッシュの画像を図示する。

図３は、一実施形態による、２つのメッシュ間の空間整合を実施する方法を図示する、フローチャートである。

図４Ａ−４Ｃは、一実施形態による、空間整合プロシージャを図示する、概略図である。

図５は、本発明のある実施形態による、空間整合プロシージャ後の図２に図示される２つのメッシュの画像を図示する。

図６は、一実施形態による、２つのメッシュ間の誤マッチングが検出され得る実施例を図示する、概略図である。

図７Ａは、いくつかの実施形態による、メッシュクリッピングプロシージャが２つのメッシュに適用され得る、ボクセルの例示的グリッドの２次元図を図示する、概略図である。

図７Ｂは、一実施形態による、メッシュクリッピングプロシージャが実施された後の図７Ａに図示されるような２つのメッシュを図示する、概略図である。

図８Ａおよび８Ｂは、それぞれ、一実施形態による、メッシュクリッピングプロシージャ前後の図５に図示される２つのメッシュの重複領域の画像である。

図９Ａおよび９Ｂは、一実施形態による、幾何学形状精緻化プロシージャを図示する。

図１０Ａおよび１０Ｂは、それぞれ、一実施形態による、テクスチャブレンディングプロセス前後のマージ面積の近傍のマージされたメッシュの例示的画像を図示する。

図１１は、一実施形態による、メッシュマージアルゴリズムを使用した図２に図示される２つのメッシュのマージから生じる、マージされたメッシュの画像を図示する。

図１２は、一実施形態による、３Ｄメッシュをマージする方法を図示する、フローチャートである。

図１３は、一実施形態による、３Ｄメッシュをマージする方法を図示する、フローチャートである。

具体的デバイス、技法、および用途の説明が、実施例としてのみ提供される。本明細書に説明される実施例の種々の修正は、容易に当業者に明白となり、本明細書に定義される一般原理は、本開示の精神および範囲から逸脱することなく、他の実施例および用途に適用されてもよい。したがって、本開示の実施形態は、本明細書に説明および図示される実施例に限定されることを意図するものではなく、請求項と一致する範囲内にあると見なされる。

単語「例示的」は、「実施例または例証としての役割を果たす」ことを意味するために本明細書で使用される。「例示的」として本明細書に説明される任意の側面または設計は、必ずしも、他の側面または設計より好ましいもしくは有利なものとして解釈されるべきではない。

ここで、本主題の技術の側面が詳細に参照され、その実施例は、付随の図面に図示され、同様の参照番号は、全体を通して同様の要素を指す。

本明細書に開示されるプロセスにおけるステップの具体的順序または階層は、例示的アプローチの実施例であることを理解されたい。設計選好に基づいて、本開示の範囲内に留まりながら、プロセスにおけるステップの具体的順序または階層が再配列されてもよいことを理解されたい。付随の請求項は、サンプル順序における種々のステップの要素を提示し、提示される具体的順序または階層に限定されることを意味するものではない。

本開示は、概して、３次元（３Ｄ）メッシュをマージする方法に関する。より具体的には、本開示のいくつかの実施形態は、２つまたはそれを上回る３Ｄテクスチャ処理されたメッシュを１つの大きな３Ｄテクスチャ処理されたメッシュにロバストにマージするための自動アプローチに関する。いくつかの実施形態によると、３Ｄメッシュは、ポリゴンメッシュを含んでもよい。ポリゴンメッシュは、３Ｄコンピュータグラフィックおよびソリッドモデリングにおいて多面体オブジェクトの形状を定義する、頂点、エッジ、および面の集合である。ポリゴンメッシュの面は、三角形（三角形メッシュ）、四辺形、または他の凸面ポリゴンを含んでもよい。面はまた、凹面ポリゴン、穴を伴うポリゴン、および螺旋形状を含んでもよい。

大面積の３Ｄ走査を実施するとき、面積のセクションが、個々に走査され、複数のメッシュを作成してもよく、各メッシュは、走査されている面積の個別の部分を表すことができる。例えば、建物を走査するとき、建物内の各個々の部屋ならびに廊下のセクションが、個々に走査され、複数のメッシュを作成してもよい。個々の走査によって網羅されるセクションは、ある領域内で相互に重複し得る。例えば、部屋の走査は、部屋の入口に隣接する面積内の廊下の走査と重複し得る。本開示の実施形態は、複数のメッシュの１つの大メッシュへのコンピュータ化されたマージの方法を提供し得る。

いくつかの実施形態では、大メッシュにマージされるべきいくつかの入力メッシュが存在するとき、入力メッシュは、そのサイズの順序で連続してマージされてもよい。例えば、メッシュのサイズは、その境界ボックスの体積の観点から測定されてもよい。境界ボックスは、メッシュを含有する、最小長方形３Ｄ空間として定義されてもよい。いくつかの実施形態では、入力メッシュは、メッシュサイズの降順、すなわち、｛Ｍ_０，Ｍ_１，…，Ｍ_ｋ，…，Ｍ_ｎ｝におけるシーケンスを取得するようにソートされることができ、Ｍ_ｋは、ｋ番目の最大体積を伴うメッシュである。マージプロセスは、最大サイズ：Ｍ＝Ｍ_０のメッシュから開始してもよい。最大メッシュＭ_０は、シーケンス内の他のメッシュと連続してマージされ、最新のマージされたメッシュ、すなわち、Ｍ＝ｍｅｒｇｅ（Ｍ，Ｍ_ｋ）｛ｋ＝０，１，２．．．ｎ｝を取得してもよい。例えば、最大メッシュＭ_０は、第２の最大メッシュＭ_１とマージされ、マージされたメッシュＭ＝ｍｅｒｇｅ（Ｍ_０，Ｍ_１）を取得することができ、次いで、Ｍは、第３の最大メッシュＭ_２とマージされ、新しいマージされたメッシュＭ＝ｍｅｒｇｅ（Ｍ，Ｍ_２）を取得する等と続く。例証目的のためだけに、以下は、２つのメッシュをマージするプロセスを実施例として説明し、マージするプロセスを説明するであろう。本開示の実施形態は、２つのみのメッシュをマージすることに限定されず、任意の数のメッシュをマージすることに適用されることができることを理解されたい。

図１は、一実施形態による、２つまたはそれを上回る３Ｄメッシュをマージする方法１００を図示する、フローチャートである。方法１００は、以下のステップ、すなわち、２つまたはそれを上回る入力メッシュの受信（１１０）と、空間整合（１２０）と、メッシュクリッピング（１３０）と、幾何学形状精緻化（１４０）と、テクスチャブレンディング（１５０）と、マージされたメッシュの出力（１６０）とを含んでもよい。これらのステップのうちのいくつかは、随意であってもよい。前述のように、受信されたメッシュは、３次元（３Ｄ）であってもよく、三角形（三角形メッシュ）、四辺形、または他の凸面ポリゴンに基づくコンポーネントを含んでもよい。三角形メッシュが、本明細書で議論されるが、本開示の実施形態は、三角形メッシュに限定されない。方法１００は、プロセッサと、命令を記憶する非一過性コンピュータ可読記憶媒体とを含む、コンピュータシステムによって実装されてもよい。

空間整合（１２０）のステップでは、２つの（またはそれを上回る）入力メッシュが、剛体変換（例えば、回転および平行移動変換）によって、相互に対して正確に整合され得る。２つの入力メッシュは、最初に、システムによって実施される後続空間整合のために、ユーザによって近似開始点として整合されてもよい。システムは、２つのメッシュ間の重複領域を識別し、重複領域を密化してもよい。次いで、剛体変換は、システムによって、２つのメッシュを３Ｄ空間内で正確に整合させるように最適化されることができる。

高品質マージを達成するために、メッシュクリッピングが、適用され、自動的に、重複領域内の幾何学的に冗長な三角形をクリッピングオフしてもよい。メッシュクリッピング（１３０）のステップでは、両メッシュを含有するボクセル化された体積内（すなわち、重複領域内）のクリッピングが、適用されてもよい。メッシュクリッピングは、以下の制約、すなわち、（１）交差制約（例えば、メッシュクリッピングは、メッシュが交差する場所に適用されてもよい）、（２）境界制約（例えば、メッシュクリッピングは、メッシュ境界からより離れて適用されてもよい）、および（３）テクスチャ品質制約（例えば、メッシュクリッピングは、そのテクスチャが殆ど色特徴を含まない三角形上で実施されてもよい）を受けてもよい。

幾何学形状精緻化（１４０）のステップでは、クリッピングされたメッシュは、本明細書では、「クリッピングシーム」と称され得る、クリッピング境界に沿って、１つのメッシュから別のメッシュへとシームレスかつ平滑な遷移を作成するように、より良好な幾何学形状のために局所的に精緻化されてもよい。メッシュクリッピング（１３０）のステップ後、小穴が、クリッピングシームの周囲に生成され得る。幾何学形状精緻化アルゴリズムは、クリッピングシームに沿ってクリッピングされたメッシュを「成長」または拡張させ、小マージ帯を作成することができる。クリッピングされたメッシュをクリッピングシームに沿って「成長」させることによって、マージ帯内のメッシュコンポーネントは、局所的に調節され、クリッピング穴を閉鎖し得る。幾何学形状精緻化は、クリッピングシームに沿って連続（例えば、完璧な）幾何学的遷移を生成し得る。

色不一致が、メッシュ連結面積内に存在し得、これは、視覚的アーチファクトとして結果として生じるメッシュ内に現れ得る。テクスチャブレンディング（１５０）のステップでは、メッシュ連結面積内の色テクスチャが、ブレンディングされ、視覚的に平滑な遷移を生成することができる。テクスチャブレンディング（１５０）の本ステップは、異なるメッシュテクスチャからの色を混合し、遷移面積内のブレンディング加重を徐々に変化させることを目的とする。１２０、１３０、１４０、および１５０のステップ後の最終のマージされたメッシュが、次いで、出力され得る（１６０）。

図１に図示される３Ｄメッシュをマージするための方法１００のステップ１２０、１３０、１４０、および１５０は、以下にさらに詳細に説明される。

Ａ．空間整合
２つのメッシュを正確にマージするために、２つのメッシュは、３Ｄ空間内の連結領域内で正しく位置合わせされる必要があり得る。２つの入力メッシュは、異なる走査から生じ得、したがって、非関連配向および平行移動を有してもよい。図２は、一実施形態による、２つのメッシュの画像を図示する。２つのメッシュは、家の内部の画像を含む。２つのメッシュは、家内に階段を含む、領域２１０内で重複する。図示されるように、２つのメッシュは、重複領域２１０内で相互に対して不整合である。

空間整合アルゴリズムは、その対応する領域が正しく重複し得るように、剛体変換を見出し、第１のメッシュ（ソースメッシュと称され得る）を第２のメッシュ（標的メッシュと称され得る）に対して位置合わせしてもよい。したがって、基本問題は、２つのメッシュが重複すべき局所対応を確立するための方法と、第２のメッシュに対して位置合わせされるように、剛体変換マトリクスを取得し、第１のメッシュを平行移動および回転させる方法としてまとめられ得る。

いくつかの実施形態によると、空間整合アルゴリズムは、反復最近傍点（ＩＣＰ）およびスプリアス三角形検出に基づいてもよい。ＩＣＰアルゴリズムは、剛体変換の初期推測を前提として３次元モデルを整合させる際に使用されるアルゴリズムである。ＩＣＰアルゴリズムでは、第１のメッシュ、すなわち、標的メッシュは、固定されて保たれる一方、第２のメッシュ、すなわち、ソースメッシュは、変換され（平行移動および回転の組み合わせ）、標的メッシュに最良マッチングする。ＩＣＰアルゴリズムは、エラーメトリック、通常、ソースメッシュから標的メッシュまでの距離を最小にするために必要とされる変換を反復的に改訂する。

図３は、一実施形態による、２つのメッシュ間の空間整合の方法３００を図示する、フローチャートである。２つのメッシュのうちの第１のメッシュは、本明細書では、メッシュＡと称され得、２つのメッシュのうちの第２のメッシュは、本明細書では、メッシュＢと称され得る。メッシュＡおよびメッシュＢはそれぞれ、その共通のエッジまたは角によって接続される、メッシュ三角形のセットを含んでもよい。各三角形は、三角形の角における３つの頂点によって定義され得る。

方法３００は、メッシュＡとメッシュＢとの間の重複領域を識別するステップ（３０２）と、重複領域の境界ボックスを識別するステップ（３０４）とを含むことができる。境界ボックスは、重複領域を含有する、３Ｄ長方形空間として定義され得る。いくつかの実施形態では、境界ボックスを識別するステップは、重複領域を含有する最小３Ｄ長方形空間であり得る、初期境界ボックスを識別するステップと、次いで、初期境界ボックスをより緩和された境界ボックスを取得するためのサイズ係数でスケーリングするステップとを含んでもよい。緩和された境界ボックスは、初期境界ボックスより大きい体積を有してもよい。例えば、初期境界ボックスは、サイズ係数２．０によってスケーリングされ、緩和された境界ボックスを取得してもよい。

方法３００はさらに、エッジ分割によって、境界ボックスの内側のメッシュＡおよびメッシュＢ内のメッシュ三角形を密化させ、メッシュＡ｛Ｖ_Ａ｝に関する密化されたメッシュ頂点のセットと、メッシュＢ｛Ｖ_Ｂ｝に関する密化されたメッシュ頂点のセットとを含む、２つの高密度点群を取得するステップ（３０６）を含むことができる。境界ボックスの内側のメッシュ三角形を密化させるステップ（３０６）は、いくつかの実施形態では、随意であってもよい。

方法３００はさらに、境界ボックス内のメッシュＡ｛Ｖ_Ａ｝の個別の頂点毎に、メッシュＢ｛Ｖ_Ｂ｝内の対応する最近傍頂点を検索し、それによって、１つまたはそれを上回るマッチングペアを確立するステップ（３０８）を含むことができる。各マッチングペアは、図４Ａに図式的に図示されるように、メッシュＡの個別の頂点と、メッシュＢの対応する最近傍頂点とを含んでもよい。

いくつかの実施形態では、方法３００はさらに、誤マッチングペアを１つまたはそれを上回るマッチングペアから除去するステップ（３１０）を含むことができる。誤マッチングは、法線不一致およびスプリアス三角形に起因して生じ得る。純粋な点群と異なり、メッシュ頂点は、頂点に隣接する三角形の配向を示すための法線ベクトルを有し得る。例えば、メッシュ頂点は、いくつかの接続される三角形によって共有され得、各三角形は、個別の法線ベクトルを有し得る。メッシュ頂点の法線ベクトルは、頂点を共有する三角形の法線ベクトルの平均として定義されることができる。マッチングペアは、メッシュＡ｛Ｖ_Ａ｝の頂点の法線ベクトルが、メッシュＢ｛Ｖ_Ｂ｝内の対応する頂点の法線ベクトルと有意に異なる場合、誤マッチングである可能性が高くなり得る。したがって、いくつかの実施形態によると、方法３００は、マッチングされた頂点間のその法線ベクトルの差異が所定の閾値を超える、マッチングペアを除外してもよい。誤マッチングはまた、スプリアス三角形に起因して生じ得る。スプリアス三角形は、種々の理由から実際の幾何学形状を良好に表さない場合がある、低品質三角形である。スプリアス三角形の検出は、以下により詳細に説明されるであろう。

方法３００はさらに、各マッチングペア内のメッシュＡの各個別の頂点とメッシュＢの対応する最近傍頂点との間の距離を最小にするように、メッシュＡに適用されるべき剛体変換を判定するステップ（３１２）と、剛体変換を使用して、メッシュＡを回転および平行移動させるステップ（３１４）とを含むことができる。図４Ｂは、剛体変換が適用された後のメッシュＡおよびメッシュＢを図式的に図示する。

ステップ３０８、３１０、および３１２は、収束に到達するまで、数回にわたって反復されてもよい。エラーが所定の閾値を下回るとき、収束に到達したと判定されることができ、エラーは、メッシュＡの各個別の頂点とメッシュＢの対応する最近傍頂点との間の距離の和として定義されることができる。図４Ｃは、収束に到達した後のメッシュＡおよびメッシュＢを図式的に図示する。

図５は、一実施形態による、空間整合プロシージャ後の図２に図示される２つのメッシュの画像を図示する。図示されるように、２つのメッシュは、ここで、重複領域５１０内で相互に対して適切に整合される。

Ｂ．スプリアス三角形検出
３Ｄ走査から生成されたメッシュは、不十分な捕捉、不適切な照明、極端な視野角、および同等物等、種々の理由から実際の幾何学形状を良好に表さない、いくつかの低品質三角形を含有し得る。スプリアス三角形と称され得る、これらの低品質三角形は、潜在的に、ＩＣＰアルゴリズムを正しくない変換に収束させることにつながり得る。したがって、ＩＣＰアルゴリズムを適用する前に、スプリアス三角形から生じた誤マッチングペアを除去することが、有利であり得る。スプリアス三角形の検出は、いくつかの理由から困難であり得る。例えば、メッシュは、多くの場合、恣意的形状、複雑なトポロジ、ならびに変動する場所および配向を有する、面積を含み得る。加えて、スプリアス三角形を実際の幾何学形状詳細をエンコードする良好な品質の三角形から区別することも困難であり得る。

いくつかの実施形態によると、スプリアス三角形を検出する方法は、２つのメッシュの近傍領域を比較し、比較的に小さい法線一致パッチを含む、スプリアス領域を識別するステップを伴い得る。メッシュ内の所与の頂点に関して、その「法線一致接続群」（ＮＣＮＧ）は、その法線ベクトルが所与の頂点の法線ベクトルに類似する、エッジ接続三角形の群として定義されてもよい。言い換えると、所与の頂点のＮＣＮＧは、所与の頂点を含有し、メッシュパッチ内の三角形の法線ベクトル間に小変動を有する、メッシュパッチであり得る。したがって、用語「法線一致」は、それに沿って１つの頂点の法線ベクトルおよび別の頂点の法線ベクトルが指向される、一致方向を指す。一般に、比較的に小さいＮＣＮＧを有する三角形は、スプリアスである可能性がより高くなり得る。しかしながら、単に、小さいＮＣＮＧを有する全ての三角形をスプリアスと見なすことは、非常に詳細なオブジェクトもまた多くの小さいＮＣＮＧを含有し得るため、誤検知をもたらし得る。例えば、シャンデリアは、スプリアスとして誤って分類され得る、多くの細かいＮＣＮＧを有し得る。したがって、ある実施形態によると、メッシュＡ内の頂点のＮＣＮＧが、スプリアス三角形を検出するために、メッシュＢ内の対応する頂点のＮＣＮＧと比較される。メッシュＢ内の頂点のＮＣＮＧが、メッシュＡ内の対応する頂点のＮＣＮＧより有意に小さい面積を有する場合、メッシュＢ内の頂点がスプリアス三角形に属する可能性が非常に高くなり得る。同様に、メッシュＡ内の頂点のＮＣＮＧが、メッシュＢ内の対応する頂点のＮＣＮＧより有意に小さい面積を有する場合、メッシュＡ内の頂点がスプリアス三角形に属する可能性が非常に高くなり得る。いくつかの実施形態によると、メッシュＡ内の頂点のＮＣＮＧの面積とメッシュＢ内の対応する頂点のＮＣＮＧの面積との間の比率が、所定の閾値を上回る場合、頂点ペアは、誤マッチングとして分類され得る。本所定の閾値は、特定の用途に応じて、例えば、２〜１０で変動し得る。当業者は、多くの変形例、修正、および代替を認識するであろう。

図６は、一実施形態による、誤マッチングが検出され得る実施例を図示する、概略図である。本実施例では、環境の実際の幾何学形状は、平面であって、これは、メッシュＡと一致する。メッシュＡ内の所与の頂点６０４に関して、その頂点ＮＣＮＧ（Ａ）のＮＣＮＧは、平面全体であり得る。対照的に、メッシュＢは、頂点６０２の周囲の小隆起を含む。したがって、頂点６０２ ＮＣＮＧ（Ｂ）のＮＣＮＧは、はるかに小さい面積を有し得る。したがって、頂点６０２は、スプリアス三角形に属し、頂点ペア６０４および６０２は、誤マッチングであることが判定され得る。

スプリアス三角形を検出する１つのアプローチは、ＩＣＰアルゴリズムによってマッチングされた頂点毎に、ＮＣＮＧを検索するステップを含んでもよい。しかしながら、密化されたメッシュ領域が、多数の頂点を有し得るため、そのようなアプローチの算出コストは、非常に高くなり得る。いくつかの実施形態によると、アルゴリズムは、法線サンプリングに基づいて、全ての頂点のＮＣＮＧを推定するように構成されてもよい。全ての頂点の法線を使用してＮＣＮＧを検索するのではなく、本アルゴリズムは、ｘ度毎に法線方向を近似としてサンプリングし得、ｘは、５度、１０度、および同等物であり得る。いくつかの実施形態では、法線サンプリングは、極性角度および方位角角度を含む、球状座標内で行われ、それによって、（３６０／ｘ^＊１８０／ｘ）の数のサンプリングされる法線を生成し得、これは、全ての頂点に関する法線の総数を有意に下回り得る。

法線サンプリングアルゴリズムは、Ｏ（ｓ^＊ｎ）の線形時間複雑度を有し得、ｓは、サンプリングされる方向の数であって、ｎは、全ての頂点の数である。対照的に、頂点毎アルゴリズムは、Ｏ（ｎ^２）の線形時間複雑度を有し得る。したがって、法線サンプリングアルゴリズムは、ｓがｎを有意に下回り得るため、頂点毎アルゴリズムより有意に効率的であり得る。さらに、種々の方向におけるサンプリングは、相互から独立するため、法線サンプリングアルゴリズムは、サンプルを並行して起動させ得る。いくつかの実施形態では、平行アルゴリズムは、マルチコア中央処理ユニット（ＣＰＵ）またはグラフィック処理ユニット（ＧＰＵ）上で実装されてもよく、これはさらに、スプリアス三角形検出の効率を改良し得る。

Ｃ．メッシュクリッピング
２つのメッシュが、３Ｄ空間内で相互に対して整合された後、重複領域内のいくつかのメッシュ頂点は、両メッシュによって捕捉され得るため、冗長であり得る。いくつかの実施形態によると、冗長頂点は、クリッピングオフ（すなわち、除去）されてもよい。いくつかの理由から、冗長頂点をクリッピングオフすることが、有利であり得る。例えば、冗長メッシュ三角形は、相互に対して異なる幾何学形状およびテクスチャを有し得、したがって、クリッピングされない場合、潜在的に、明らかなアーチファクトとして示され得る。加えて、許容走査範囲に隣接する領域は、不正確な幾何学形状およびテクスチャを有し得る。したがって、それらの領域内の頂点をクリッピングオフすることが、有利であり得る。

いくつかの実施形態によると、メッシュクリッピングは、自動エネルギー最小化プロシージャによって実施されてもよい。本プロシージャでは、メッシュ重複領域の境界ボックスは、クリッピング体積と見なされ得る。クリッピング体積は、次いで、ボクセルのグリッドＶとしてラスタライズされてもよい。図７Ａは、いくつかの実施形態による、メッシュクリッピングプロシージャが、２つのメッシュ、すなわち、メッシュＡおよびメッシュＢに適用され得る、例示的ボクセルのグリッドの２次元図を図示する、概略図である。グリッド内の各正方形は、ボクセルを表す。図示されるように、２つのメッシュは、領域７１０内で重複する。

自動エネルギー最小化プロシージャでは、メッシュクリッピングは、ボクセルラベル付け問題としてまとめられ得る。バイナリラベルｆ_ｖが、以下のように、各ボクセルｖに割り当てられ、それをメッシュＡボクセルまたはメッシュＢボクセルのいずれかとして分類してもよい。

メッシュ頂点は、他のメッシュとしてラベル付けされたボクセル内にあるとき、クリッピングオフされてもよい。

いくつかの実施形態では、目標は、以下のエネルギー関数を最小にするｖ毎にラベル付けｆ_ｖを見出すことであってもよい。

式中、Ｎ⊂Ｖ×Ｖは、ボクセルのＮ_６近傍系である。各ボクセルは、ボクセルがどのようにメッシュと交差するかに応じて、ボクセルの４つのセットのうちの１つに事前に分類されてもよい。すなわち、Ｖ_ａは、メッシュＡのみと交差する、ボクセルのセットであって、Ｖ_ｂは、メッシュＢのみと交差する、ボクセルのセットであって、Ｖ_ｓは、メッシュＡおよびメッシュＢの両方と交差する、ボクセルのセットであって、Ｖ_ｅは、メッシュＡまたはメッシュＢのいずれとも交差しない、ボクセルのセットである。例えば、図７Ａに図示される実施例では、左斜線平行線で充填されたボクセルは、Ｖ_ａボクセルとして事前に分類され、右斜線平行線で充填されたボクセルは、Ｖ_ｂボクセルとして事前に分類され、交差線で充填されるボクセルは、Ｖ_ｓボクセルとして事前に分類され、白色ボクセルは、Ｖ_ｅボクセルとして事前に分類される。

前述の方程式では、項Ｄ（ｆ_ｖ）は、データ項と称され得る。データ項Ｄ（ｆ_ｖ）は、ボクセルの事前知識に既知のラベルを付すように設計され得る。クリッピングプロセスにおいて非交差領域を保存することが好ましくあり得るため、データ項Ｄ（ｆ_ｖ）は、ｖが、非交差領域内にあって、ラベルｆ_ｖが、ボクセルに関する既知のラベルと矛盾する場合、ラベルｆ_ｖにペナルティを課すように構築されることができる。実施例として、データ項Ｄ（ｆ_ｖ）は、以下のように定義されてもよい。

式中、ｃ_ｄは、正コスト値である。言い換えると、ラベルをボクセルに関する既知のラベルと矛盾する非交差領域内のボクセルに割り当てることは、正「コスト」ｃ_ｄを被り得る。

項Ｂ（ｆ_ｖ）は、境界項と称され得る。メッシュの境界の近傍のメッシュ三角形は、スキャナの走査範囲限界に近接し得、捕捉ビューを欠き得るため、低品質を有し得る。したがって、各メッシュの境界面積内の頂点をクリッピングオフすることが、有利であり得る。境界項Ｂ（ｆ_ｖ）は、徐々に増加するエネルギーをメッシュ境界に接近するボクセルに割り当てるように構築され得る。実施例として、境界項は、以下のように定義されてもよい。

中、ｄ_ｖは、ボクセルｖからメッシュ境界までのメッシュ表面に沿った測地線距離であって、ｃ_ｍｉｎおよびｃ_ｍａｘは、それぞれ、最小境界「コスト」および最大境界「コスト」を表す、正定数であって、ｄ_ｍａｘは、メッシュ境界面積内で考慮されるボクセルに関する最大測地線距離である。

項Ｈ（ｆ_ｖｉ,ｆ_ｖｊ）は、交差項と称され得る。ボクセルが両メッシュと交差する領
域内にカッティングシームを設置することが、有利であり得る。したがって、交差項Ｈ（ｆ_ｖｉ,ｆ_ｖｊ）は、その累積エネルギーが、依然として、Ｖ_ａまたはＶ_ｂ内の１つのボ
クセルより低くなるように、はるかに低いエネルギーをボクセルＶ_Ｓに割り当てるように構築されてもよい。加えて、Ｖ_ｅ内の空ボクセルは、さらにより低いエネルギーを割り当てられ、その累積エネルギーが、依然として、Ｖ_Ｓ内のボクセルより低いことを確実にしてもよい。実施例として、交差項Ｈ（ｆ_ｖｉ,ｆ_ｖｊ）は、以下のように定義されてもよ
い。

式中、ｎは、ボクセルの総数であって、ｋは、Ｖ_Ｓ内のボクセルの数である。

項Ｔ（ｆ_ｖｉ,ｆ_ｖｊ）は、テクスチャ項と称され得る。メッシュクリッピングプロセ
スにおいてメッシュの色特徴の破綻または干渉を回避することが、有利であり得る。したがって、カッティングされるべき面積は、殆ど色特徴が存在しないメッシュ面積であってもよい。例えば、屋内の部屋を表すメッシュに関して、白色壁を表すメッシュ面積上のカッティングは、多彩壁面を表すメッシュ面積上のカッティングよりはるかに平滑な色遷移を生成し得る。いくつかの実施形態によると、テクスチャ項Ｔ（ｆ_ｖｉ,ｆ_ｖｊ）は、判
別可能色特徴を伴う面積上のクリッピングにペナルティを課すように構築されてもよい。実施例として、テクスチャ項（ｆ_ｖｉ,ｆ_ｖｊ）は、以下のように定義されてもよい。

式中、ｃ_ｉは、ボクセルｖ_ｉに心合されるテクスチャパッチ色の標準偏差であって、ｋは、Ｖ_Ｓ内のボクセルの数である。

いくつかの実施形態によると、エネルギー最小化問題は、グラフカットおよび同等物等の離散最適化アルゴリズムを使用して解法されてもよい。

図７Ｂは、一実施形態による、メッシュクリッピングプロシージャが実施された後の図７Ａに図示されるような２つのメッシュ、すなわち、メッシュＡおよびメッシュＢを図示する、概略図である。

図８Ａおよび８Ｂは、それぞれ、一実施形態による、メッシュクリッピングプロシージャ前後の図５に図示される２つのメッシュの重複領域５１０（すなわち、家の階段を表す２つのメッシュの領域）の画像である。

Ｄ．幾何学形状精緻化
メッシュクリッピングプロシージャ後、２つのメッシュは、マージされ、単一のマージされたメッシュを形成してもよい。可能な限りシームレスに現れるマージされたメッシュを作成するために、クリッピング境界の周囲のマージされたメッシュを調節し、クリッピングシームの周囲の幾何学形状およびテクスチャの両方を改良することが、有利であり得る。

いくつかの実施形態によると、幾何学形状精緻化プロセスは、局所幾何学形状変化を最小にしながら、メッシュ連結穴を閉鎖することを目的とし得る。図９Ａは、メッシュクリッピングプロシージャ後の２つのメッシュ、すなわち、メッシュＡおよびメッシュＢの例示的画像を図示する。図示されるように、クリッピングシームに沿って、クリッピング穴９１０が存在する。シームレスな遷移を取得するために、幾何学形状精緻化プロセスは、小拡張によって、クリッピングシームに沿って２つのメッシュを復元してもよい。本成長プロセスは、図９Ｂに図示されるように、メッシュＡとメッシュＢとの間の小マージ帯９２０を生成し得る。メッシュクリッピングプロシージャが、冗長メッシュ三角形の大面積をすでにトリミングしていることに留意されたい。成長プロセスは、クリッピングシームの周囲に小マージ帯が存在するように、クリッピングされた面積の小部分を戻し得る。

幾何学形状精緻化プロセス後、マージされたメッシュは、連続となり得る（すなわち、完璧に現れる）。したがって、対応する重複領域は、相互に向かって屈曲され、それらの間の空間を低減させ得る。いくつかの実施形態では、メッシュＡ内の各頂点は、メッシュＢ内のマッチング頂点に向かって平行移動されてもよく、これは、空間整合ステップにおいて見出され得る。幾何学形状精緻化プロセスは、最小の幾何学形状変化のみを導入し得るため、より大きい平行移動は、メッシュ境界の近傍の頂点に適用され、穴を閉鎖し得る一方、より小さい平行移動は、メッシュ境界からより離れた頂点に適用されることができる。いくつかの実施形態では、各頂点ｖ_０からマッチング頂点ｖ_１までの平行移動は、以下のように適用されてもよい。

式中、Ｐ_Ｖ０およびＰ_Ｖ１は、それぞれ、マッチングされた頂点ｖ_０およびｖ_１の位置であって、ｄ_ｂｍａｘは、マージ面積内のメッシュ境界までの最大測地線距離であって、ｄ_０は、ｖ_０からメッシュ境界までの測地線距離である。ｗは、メッシュ境界からの頂点の測地線距離に依存する、加重係数と見なされ得る。

Ｅ．テクスチャブレンディング
メッシュクリッピングプロシージャ後のマージ面積内の２つのメッシュは、例えば、異なる角度から見られるにつれた異なる照明のため、同一テクスチャを有し得ない。図１０Ａは、マージ面積の近傍のマージされたメッシュの例示的画像を図示する。マージ面積内の第１の面積１０１０および第２の面積１０２０における色は、異なる。より平滑な色遷移を生成するために、マージ面積内のテクスチャをブレンディングすることが有用であり得る。

いくつかの実施形態では、メッシュＡとメッシュＢとの間のテクセル（すなわち、テクスチャ要素またはテクスチャピクセル）対応が、最近傍点を見出すことによって確立されてもよい。テクセルの数は、非常に大きくなり得るため、ｋ−ｄツリーデータ構造が、最近傍近隣検索を加速するために使用されてもよい。ブレンディング加重は、上記に説明されるような幾何学形状精緻化プロセスにおいて使用される加重ｗに類似してもよい。そのようなテクスチャブレンディングプロシージャは、境界に接近しながら、１つのメッシュから他のメッシュへと漸次的色変化をもたらし得る。いくつかの実施形態では、遷移面積内のテクスチャは、テクセルとしてラスタライズされ、テクセル色にブレンディングされてもよい。一実施形態によると、テクセルブレンディング加重は、幾何学形状精緻化プロセスからの三角形加重ｗの重心補間を使用して算出されてもよい。図１０Ｂは、一実施形態による、テクスチャブレンディングプロセス後の図１０Ａに図示されるマージされたメッシュの例示的画像を図示する。

図１１は、一実施形態による、メッシュマージアルゴリズムを使用した図２に図示される２つのメッシュのマージから生じたマージされたメッシュの画像を図示する。

図１２は、一実施形態による、３Ｄメッシュをマージする方法１２００を図示する、フローチャートである。方法１２００は、第１のメッシュおよび第２のメッシュを受信するステップ（１２０２）と、空間整合を実施し、第１のメッシュを第２のメッシュに対して整合させるステップ（１２０４）と、メッシュクリッピングを第１のメッシュおよび第２のメッシュ上で実施し、冗長メッシュ頂点を除去するステップ（１２０６）と、幾何学形状精緻化をクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップ（１２０８）と、テクスチャブレンディングをクリッピングシームに隣接する領域内で実施し、マージされたメッシュを取得するステップ（１２１０）とを含んでもよい。

図１３は、一実施形態による、３Ｄテクスチャ処理されたメッシュをマージする方法１３００を図示する、フローチャートである。方法１３００は、第１のメッシュおよび第２のメッシュを受信するステップ（１３０２）を含む。方法１３００はさらに、第１のメッシュおよび第２のメッシュが重複する、重複領域を識別するステップ（１３０４）と、重複領域を含有する、重複領域の境界ボックスを識別するステップ（１３０６）と、境界ボックス内の第１のメッシュの個別の頂点毎に、第２のメッシュの対応する最近傍頂点を検索し、それによって、複数のマッチングペアを確立するステップ（１３０８）とを含んでもよい。各マッチングペアは、第１のメッシュの個別の頂点と、第２のメッシュの対応する最近傍頂点とを含む。

方法１３００はさらに、複数のマッチングペアのマッチングペア毎に、第１のメッシュの個別の頂点の第１の法線一致接続群（ＮＣＮＧ）および第２のメッシュの対応する最近傍頂点の第２のＮＣＮＧを推定するステップ（１３１０）と、第１のＮＣＮＧの面積と第２のＮＣＮＧの面積との間の比率が第１の所定の閾値を上回ることの判定に応じて、第１のメッシュの個別の頂点および第２のメッシュの対応する最近傍頂点を誤マッチングペアとして分類するステップ（１３１２）と、誤マッチングペアを複数のマッチングペアから除去するステップ（１３１４）とによって、１つまたはそれを上回る誤マッチングペアを除去するステップを含んでもよい。

方法１３００はさらに、複数のマッチングペアの各マッチングペア内の第１のメッシュの個別の頂点と第２のメッシュの対応する最近傍頂点との間の距離を最小にするように、第１のメッシュに適用されるべき剛体変換を判定するステップ（１３１６）と、剛体変換を第１のメッシュに適用し、変換された第１のメッシュを取得するステップ（１３１８）とを含んでもよい。方法１３００はさらに、変換された第１のメッシュ上の第１のクリッピングシームに沿って、および第２のメッシュ上の第２のクリッピングシームに沿って、メッシュクリッピングを実施し、重複領域内の冗長メッシュ頂点を除去するステップ（１３２０）と、幾何学形状精緻化を第１のクリッピングシームおよび第２のクリッピングシームの周囲で実施し、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖するステップ（１３２２）とを含んでもよい。

図１２および１３のそれぞれに図示される具体的ステップは、本開示のいくつかの実施形態に従って特定の方法を提供することを理解されたい。ステップの他のシーケンスもまた、代替実施形態に従って実施されてもよい。例えば、本開示の代替実施形態は、上記で概略されたステップを異なる順序で実施してもよい。さらに、図１２および１３のそれぞれに図示される個々のステップは、個々のステップの必要に応じて種々のシーケンスにおいて実施され得る、複数のサブステップを含んでもよい。さらに、ステップは、特定の用途に応じて追加または除去されてもよい。当業者は、多くの変形例、修正、および代替を認識するであろう。

本発明の種々の実施形態を上記で説明したが、それらは、限定ではなく一例のみとして提示されていることを理解されたい。同様に、種々の図面は、本開示のための構造上または他の構成例を表してもよく、これは、本開示に含まれ得る特徴および機能性を理解するのに役立つように行われる。本開示は、図示された基本設計概念または構成例に制限されず、種々の代替基本設計概念および構成を使用して実装されてもよい。加えて、本開示は、種々の例示的実施形態および実装の観点から上記で説明されるが、個別の実施形態のうちの１つまたはそれを上回るものに説明される種々の特徴および機能性は、それらの適用性において、それらが説明される特定の実施形態に限定されないことを理解されたい。代わりに、単独またはいくつかの組み合わせにおいて、本開示の他の実施形態のうちの１またはそれを上回るものに適用可能であり得、そのような実施形態が説明されるかどうかにかかわらず、かつそのような特徴が説明されるかどうかにかかわらず、実施形態の一部であるとして提示される。このように、本開示の範疇および範囲は、前述の例示的実施形態のいずれによっても限定されるべきではない。

本開示を参照して説明される種々の例示的論理ブロック、モジュール、回路、およびアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、または電子ハードウェアおよびコンピュータソフトウェアの組み合わせとして実装されてもよいことを理解し得る。例えば、モジュール／ユニットが、コンピュータ可読記憶媒体内に記憶されるソフトウェア命令を実行するプロセッサによって実装されてもよい。

付随の図面におけるフローチャートおよびブロック図は、本開示の複数の実施形態による、システムおよび方法の可能性として考えられる実装のシステムアーキテクチャ、機能、および動作を示す。この点において、フローチャートまたはブロック図内の各ブロックは、１つのモジュール、１つのプログラムセグメント、またはコードの一部を表し得、モジュール、プログラムセグメント、またはコードの一部は、規定された論理機能を実装するために使用される、１つまたはそれを上回る実行可能命令を含む。また、いくつかの代替実装では、ブロック内にマークされる機能はまた、図面にマークされるシーケンスと異なるシーケンスにおいて生じてもよいことに留意されたい。例えば、２つの連続ブロックは、実際には、実質的に並列に実行されてもよく、時として、それらはまた、逆の順序で実行されてもよく、これは、関与する機能に依存する。ブロック図および／またはフローチャート内の各ブロックならびにブロック図および／またはフローチャート内のブロックの組み合わせは、対応する機能または動作を実行するために、専用ハードウェアベースのシステムによって実装されてもよい、または専用ハードウェアおよびコンピュータ命令の組み合わせによって実装されてもよい。

本開示の実施形態は、方法、システム、またはコンピュータプログラム製品として具現化されてもよい。故に、本開示の実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはソフトウェアおよびハードウェアを組み合わせる実施形態の形態をとってもよい。さらに、本開示の実施形態は、コンピュータ可読プログラムコードを含有する１つまたはそれを上回るコンピュータ可読記憶媒体（限定ではないが、磁気ディスクメモリ、ＣＤ−ＲＯＭ、光学メモリ等を含む）内に具現化される、コンピュータプログラム製品の形態をとってもよい。

本開示の実施形態は、方法、デバイス（システム）、およびコンピュータプログラム製品のフロー図および／またはブロック図を参照して説明される。フロー図および／またはブロック図の各フローおよび／またはブロックならびにフロー図および／またはブロック図内のフローおよび／またはブロックの組み合わせは、コンピュータプログラム命令によって実装されてもよいことを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊目的コンピュータ、内蔵プロセッサ、または他のプログラマブルデータ処理デバイスのプロセッサに提供され、コンピュータまたは他のプログラマブルデータ処理デバイスのプロセッサを介して実行される、命令が、フロー図内の１つもしくはそれを上回るフローおよび／またはブロック図内の１つもしくはそれを上回るブロック内に規定された機能を実装するための手段を作成するように、機械を生成してもよい。

これらのコンピュータプログラム命令はまた、コンピュータまたは他のプログラマブルデータ処理デバイスに、コンピュータ可読メモリ内に記憶される命令が、フロー図内の１つもしくはそれを上回るフローおよび／またはブロック図内の１つもしくはそれを上回るブロック内に規定された機能を実装する、命令手段を含む、製造製品を生成するような特定の様式において機能するように指示し得る、コンピュータ可読メモリ内に記憶されてもよい。

これらのコンピュータプログラム命令はまた、コンピュータまたは他のプログラマブルデータ処理デバイスにロードされ、一連の動作ステップをコンピュータまたは他のプログラマブルデバイス上で行わせ、コンピュータまたは他のプログラマブルデバイス上で実行される命令が、フロー図内の１つもしくはそれを上回るフローおよび／またはブロック図内の１つもしくはそれを上回るブロック内に規定された機能を実装するためのステップを提供するように、コンピュータによって実装される処理を生成してもよい。典型的構成では、コンピュータデバイスは、１つまたはそれを上回る中央処理ユニット（ＣＰＵ）と、入力／出力インターフェースと、ネットワークインターフェースと、メモリとを含む。メモリは、揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、および／または不揮発性メモリ、ならびにコンピュータ可読記憶媒体内の読取専用メモリ（ＲＯＭ）またはフラッシュＲＡＭ等の同等物の形態を含んでもよい。メモリは、コンピュータ可読記憶媒体の実施例である。

コンピュータ可読記憶媒体は、プロセッサによって読取可能な情報またはデータが記憶され得る、任意のタイプの物理的メモリを指す。したがって、コンピュータ可読記憶媒体は、プロセッサに本明細書に説明される実施形態に準拠するステップまたは段階を行わせるための命令を含む、１つまたはそれを上回るプロセッサによる実行のための命令を記憶してもよい。コンピュータ可読記憶媒体は、不揮発性および揮発性媒体ならびに可撤性および非可撤性媒体を含み、情報記憶装置は、任意の方法または技術で実装されることができる。情報は、コンピュータ可読命令、データ構造およびプログラム、または他のデータのモジュールであってもよい。コンピュータ記憶媒体の実施例は、限定ではないが、相変化ランダムアクセスメモリ（ＰＲＡＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、動的ランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、電気的に消去可能なプログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたは他のメモリ技術、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）または他の光学記憶装置、カセットテープ、テープもしくはディスク記憶装置または他の磁気記憶デバイス、もしくはコンピュータデバイスによってアクセス可能な情報を記憶するために使用され得る、任意の他の非伝送媒体を含む。コンピュータ可読記憶媒体は、非一過性であって、変調されたデータ信号および搬送波等の一過性媒体を含まない。

本書で使用される用語および語句ならびにそれらの変化例は、特に明記されない限り、限定とは対照的に非限定的として解釈されるべきである。前述の例として、「含む」という用語は、「限定ではないが、〜を含む」または同等物等を意味するものとして解釈されるべきであり、「実施例」という用語は、その包括的または限定的リストではなく、検討されている項目の例示的事例を提供するために使用され、「従来の」、「伝統的な」、「通常の」、「標準の」、「公知の」等の形容詞、および同様の意味の用語は、説明される項目を、所与の期間に、または所与の時点で利用可能な項目に限定するものとして解釈されるべきではない。しかし、代わりに、これらの用語は、現在または将来の任意の時点で、利用可能であり、公知であり得る、従来、伝統的、通常、または標準の技術を包含すると解釈されるべきである。同様に、「および」という接続詞で連結される項目群は、これらの項目のうちのそれぞれおよびあらゆるものが群に存在することを要求するものとして読まれるべきではなく、特に明記されない限り、むしろ「および／または」として解釈されるべきである。同様に、「または」という接続詞で連結される項目群は、その群の中で相互排他性を要求するものとして解釈されるべきではなく、特に明記されない限り、むしろ「および／または」として解釈されるべきである。さらに、本開示の項目、要素、またはコンポーネントは、単数形で説明もしくは請求される場合があるが、単数形への限定が明示的に記述されない限り、複数形がその範囲内であると考えられる。いくつかの場合における「１つまたはそれを上回る」、「少なくとも」、「しかし〜に制限されない」、または他の類似語句等の拡大する単語および語句の存在は、そのような拡大語句が存在しない場合の事例において、より狭義の事例が意図される、または要求されることを意味すると解釈されるべきではない。

Claims (8)

1. ３次元（３Ｄ）テクスチャ処理されたメッシュをマージする方法であって、前記方法は、
   第１のメッシュおよび第２のメッシュを受信することと、
   空間整合を実施することにより、前記第１のメッシュを前記第２のメッシュに対して整合させることと、
   前記第１のメッシュおよび前記第２のメッシュに対してメッシュクリッピングを実施することにより、冗長メッシュ面を除去することと、
   幾何学形状精緻化をクリッピングシームの周囲で実施することにより、メッシュクリッピングによって作成されたメッシュ連結穴を閉鎖することと
   を含み、
   前記幾何学形状精緻化を実施することは、
   前記クリッピングシームに沿って前記第１のメッシュおよび前記第２のメッシュを復元することと、
   前記第１のメッシュの１つ以上の頂点を前記第２のメッシュの１つ以上のマッチング頂点に向かって平行移動させることであって、前記１つ以上の頂点のそれぞれの頂点についての平行移動の距離は、前記それぞれの頂点と前記クリッピングシームとの間の距離に逆比例する加重に比例する、ことと
   を含む、方法。
2. 前記第１のメッシュおよび前記第２のメッシュを復元することは、前記除去された冗長メッシュ面のうちの１つ以上を復元することを含む、請求項１に記載の方法。
3. 前記第１のメッシュおよび前記第２のメッシュを復元することは、前記クリッピングシームの周囲にマージ帯を作成する、請求項１に記載の方法。
4. 幾何学形状精緻化を実施することは、前記第１のメッシュおよび前記第２のメッシュの対応する重複領域を屈曲させることにより、前記第１のメッシュと前記第２のメッシュとの間の空間を低減することをさらに含む、請求項１に記載の方法。
5. 前記第１のメッシュの前記１つ以上の頂点を前記第２のメッシュの前記１つ以上のマッチング頂点に向かって平行移動させることは、前記第１のメッシュの前記１つ以上の頂点のうちの第１の頂点の位置を平行移動させることを含む、請求項１に記載の方法。
6. 前記平行移動は、式
   

   

   
   
   に従って実施され、ここで、
   

   

   
   
   は、前記第１のメッシュの前記１つ以上の頂点のうちの前記第１の頂点
   

   

   
   
   の位置であり、
   

   

   
   
   は、前記第２のメッシュの前記１つ以上のマッチング頂点のうちの第２の頂点
   

   

   
   
   の位置であり、
   

   

   
   
   は、加重である、請求項５に記載の方法。
7. 前記加重
   

   

   
   
   は、式
   

   

   
   
   に従って決定され、ここで、
   

   

   
   
   は、マージ面積内のメッシュ境界までの最大測地線距離であり、
   

   

   
   
   は、前記第１のメッシュの前記１つ以上の頂点のうちの前記第１の頂点
   

   

   
   
   の位置から前記メッシュ境界までの測地線距離である、請求項６に記載の方法。
8. 前記クリッピングシームに隣接する領域内でテクスチャブレンディングを実施することにより、マージされたメッシュを取得することをさらに含む、請求項１に記載の方法。
   

Images