JP7395617B2 - 三次元メッシュモデルの再構築方法およびその装置、機器、並びに記憶媒体 - Google Patents

Description

（関連出願の相互参照）
本願は、２０２０年７月２０日に中国特許局に提出された、出願番号が２０２０１０６９９８８０．１である、中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。

本発明は、人工知能技術分野に関し、特に、三次元メッシュモデルの再構築方法およびその装置、機器、並びに記憶媒体に関する。

コンピュータ技術の発展に伴い、物体に対する三次元再構築は、各分野に適用される。三次元再構築は、通常、三次元空間の物体またはシナリオを復元し再構成する技術を指し、再構築されたモデルは、コンピュータで便利に表示、処理、ディスプレイできる。関連技術において、物体のマルチ視点画像を使用して復元された三次元物体の三次元モデルで具現された物体の詳細は、比較的に明らかではない。

本発明は、少なくとも、三次元メッシュモデルの再構築方法およびその装置、機器、並びに記憶媒体を提供する。

本発明の第１態様は、三次元メッシュモデルの再構築方法を提供し、ターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を取得することであって、ここで、前記ターゲット画像は、再構築される対象を含む、ことと、前記ターゲット特徴情報に基づいて、前記再構築される対象の顕著性領域を決定することと、前記顕著性領域に基づいて、前記再構築される対象の最終的な三次元メッシュモデルを構築することと、を含む。

したがって、ターゲット画像のターゲット特徴情報を使用して、再構築される対象の顕著性領域を決定した後、再構築される対象のより多くの詳細を反映する顕著性領域を使用して、再構築される対象の最終的な三次元メッシュモデルを構築して、明らかな詳細の三次元メッシュモデルを柔軟に再構築することができる。

ここで、前記ターゲット特徴情報に基づいて、前記再構築される対象の顕著性領域を決定することは、前記ターゲット特徴情報を使用して、基礎点群モデルを前記再構築される対象に対応するターゲット点群モデルに変形することと、前記ターゲット点群モデルの顕著性領域を決定することと、を含む。

したがって、ターゲット特徴情報を使用して、再構築される対象詳細領域に対応する顕著性領域を取得して、点群モデルを変形して顕著性領域を取得することができる。

ここで、前記特徴情報を使用して、基礎点群モデルを前記再構築される対象に対応するターゲット点群モデルに変形することは、前記基礎点群モデルを前記ターゲット画像が位置する平面に投影して、前記基礎点群モデル内の各点に対応する前記ターゲット特徴情報を決定することと、第１ニューラルネットワークを使用して、前記基礎点群モデル内の各点に対応するターゲット特徴情報を処理し、前記基礎点群モデルを前記ターゲット点群モデルに変形した後の各点の位置情報を取得することと、を含み、前記ターゲット点群モデルの顕著性領域を決定することは、前記ターゲット点群モデルの点分布状況を取得することと、前記ターゲット点群モデル内の、前記点分布状況が顕著性分布要求を満たす点群領域を検索して、前記顕著性領域として使用することと、を含む。

したがって、第１ニューラルネットワークにより群モデルの変形を実現し、ターゲット点群モデルの点分布状況を使用して、顕著性領域を決定する。

ここで、前記基礎点群モデルを前記ターゲット画像が位置する平面に投影する前に、前記方法は、単位球内で点を均一にサンプリングして、前記基礎点群モデルを取得することをさらに含み、前記基礎点群モデルを前記ターゲット点群モデルに変形した後の各点の位置情報は、前記基礎点群モデルを前記ターゲット点群モデルに変形した後の各点の位置オフセットであり、前記顕著性分布要求は、点分布密度が、プリセットの密度値より大きいことを含む。

したがって、単位球に対して点を均一にサンプリングして基礎点群モデルを取得することができ、第１ニューラルネットワークによって出力される点位置情報はオフセットであり、均一にサンプリングされた点および位置オフセットを使用して、ターゲット点群モデルの各点の位置情報を取得することができ、点分布密度がプリセットの密度値より大きいことを介して顕著性領域を決定して、顕著性領域内の点分布が密集されることができるがこれに限定されなく、再構築される対象の詳細を具現できる。

ここで、前記方法は、トレーニングして前記第１ニューラルネットワークを取得するために、サンプル画像およびサンプル対象の実の三次元メッシュモデルを取得することであって、ここで、前記サンプル画像は、前記サンプル対象を含む、ことと、前記サンプル画像に対して特徴抽出を実行し、サンプル特徴情報を取得することと、前記基礎点群モデルを前記サンプル画像が位置する平面に投影して、前記基礎点群モデル内の各点に対応する前記サンプル特徴情報を決定することと、第１ニューラルネットワークを使用して、前記基礎点群モデル内の各点に対応するサンプル特徴情報を処理し、前記基礎点群モデルが予測点群モデルに変形された後の各点の位置情報を取得することと、前記実の三次元メッシュモデルに対してメッシュ簡略化を実行し、簡略化三次元メッシュモデルを取得することと、前記予測点群モデル内の、前記簡略化三次元メッシュモデルの各頂点にマッチングする点を検索して、いくつかのグループのマッチング点ペアを取得することと、各グループのマッチング点ペアの位置差異を使用して、前記第１ニューラルネットワークのパラメータを調整することと、をさらに含む。

したがって、実の三次元メッシュモデルを監視して、平坦な領域のパッチが少ないように保証し、簡略化された実の三次元メッシュモデルの頂点を監督信号としてトレーニングし、トレーニングして得られた第１ニューラルネットワークは、ターゲット点群モデルの各点の位置情報を出力することができる。

ここで、前記顕著性領域に基づいて、前記再構築される対象の最終的な三次元メッシュモデルを構築することは、前記ターゲット特徴情報を使用して、前記再構築される対象の初期三次元メッシュモデルを構築することと、前記初期三次元メッシュモデルに対してメッシュ細分化を実行し、前記再構築される対象の前記最終的な三次元メッシュモデルを取得することと、を含み、ここで、前記メッシュ細分化は、対応する前記顕著性領域に対してローカルメッシュ細分化を実行することを含む。

したがって、三次元メッシュモデルを再構築するとき、顕著性領域に対してメッシュ細分化を実行し、メッシュモデルの頂点数を減らし、顕著性領域におけるメッシュモデルの詳細が、一定の豊富さを有するようにする。即ち、対応する顕著性領域でローカルメッシュ細分化を実行するとき、顕著性領域は、再構築される対象のより多くの詳細を反映する領域であるため、顕著性領域に対してメッシュ細分化を実行することは、メッシュモデルの頂点数を減らすだけでなく、さらに、三次元メッシュモデルのデータに必要な記憶空間を減らし、再構築して得られた三次元メッシュモデルが、顕著性領域に対応して過度に平滑しないようにすることができ、詳細をよりよく具現することができ、それにより、より多くの詳細の三次元メッシュモデルを再構築し、三次元メッシュモデルのデータに必要な記憶空間を減らすことができる。

ここで、前記初期三次元メッシュモデルに対してメッシュ細分化を実行し、前記再構築される対象の最終的な三次元メッシュモデルを取得することは、本回のメッシュ細分化を実行する前の三次元メッシュモデルを第１三次元メッシュモデルとすることと、前記第１三次元メッシュモデルを前記ターゲット画像が位置する平面に投影して、前記第１三次元メッシュモデル内の各頂点に対応する前記ターゲット特徴情報を決定することと、前記第１三次元メッシュモデルのターゲット領域に少なくとも１つの新しい頂点を追加することであって、ここで、前記ターゲット領域は、前記顕著性領域を少なくとも含む、ことと、前記第１三次元メッシュモデルの元頂点のターゲット特徴情報を使用して、前記細分化エッジに対応する新しい頂点のターゲット特徴情報を取得することと、前記第１三次元メッシュモデルの元頂点および新しい頂点のターゲット特徴情報に基づいて、本回のメッシュ細分化された第２三次元メッシュモデルを取得することと、を含む。

したがって、まず、第１三次元メッシュモデルを投影してターゲット特徴情報を取得し、その後、新しい頂点を追加し、第１三次元メッシュモデルの元頂点および新しい頂点を使用して細分化された第２三次元メッシュモデルを取得して、メッシュ細分化を実現し、再構築される対象の詳細を具現することができる。

ここで、本回のメッシュ細分化が、前記ローカルメッシュ細分化である場合、前記第１三次元メッシュモデルのターゲット領域に少なくとも１つの新しい頂点を追加することは、前記第１三次元メッシュモデルで、前記顕著性領域に位置する少なくとも１つのエッジを細分化エッジとして使用することと、前記細分化エッジで少なくとも１つの新しい頂点を決定することと、を含む。

したがって、顕著性領域の少なくとも１つのエッジを細分化エッジとして使用して、細分化エッジで新しい頂点を取得し、それにより、ローカルメッシュ細分化するとき、新しい頂点を決定する。

ここで、前記顕著性領域は、いくつかの顕著点を含み、前記第１三次元メッシュモデルで、前記顕著性領域に位置する少なくとも１つのエッジを細分化エッジとして使用することは、前記第１三次元メッシュモデルで、各前記顕著点に、プリセットの位置条件を満たすエッジを検索して細分化されるエッジとして使用することと、前記第１三次元メッシュモデルで、各エッジが前記細分化されるエッジとして決定される回数を統計することと、前記細分化されるエッジの回数がプリセットの細分化条件を満たすエッジを前記細分化エッジとして使用することと、を含む。

したがって、顕著性領域内の各顕著点に細分化されるエッジを検索し、顕著点が一定の位置関係を満たすエッジに投票し、票数が一定の細分化条件を満たすエッジを細分化エッジとして使用して、新しい頂点の数をさらに減らし、メッシュモデルの変形に必要なストレージを減らす。

ここで、前記プリセットの位置条件は、前記顕著点の位置と最も近いことであり、前記プリセットの細分化条件は、前記細分化されるエッジの回数が、プリセットの回数より大きいもの、または、前記第１三次元メッシュモデルのすべてのエッジの回数が、大きいものから小さいものの順のソートにおいて、前記細分化されるエッジの回数が前のプリセットの数または前のプリセットの比率内にあるものである。

したがって、顕著点と最も近いエッジに投票し、票数の前の一定の比率または前の一定の数のエッジを細分化エッジとして使用し、それにより、最終的な細分化エッジは顕著点と近く、新しい頂点は、再構築される対象の詳細位置により近接する。

ここで、前記メッシュ細分化は、さらに、対応する三次元メッシュモデルの全体に対してグローバルメッシュ細分化を実行することを含み、本回のメッシュ細分化が、前記グローバルメッシュ細分化である場合、前記第１三次元メッシュモデルのターゲット領域に少なくとも１つの新しい頂点を追加することは、前記第１三次元メッシュモデル内の各エッジをそれぞれ細分化エッジとして使用することと、前記細分化エッジで少なくとも１つの新しい頂点を決定することと、を含む。

したがって、メッシュ細分化は、さらに、三次元メッシュモデルの全体に対応してグローバルメッシュ細分化を実行することを含み、グローバルメッシュ細分化して得られたメッシュモデルは、全体として詳細化される。

ここで、前記細分化エッジで少なくとも１つの新しい頂点を決定することは、前記細分化エッジの中点を前記新しい頂点として使用することを含み、前記第１三次元メッシュモデルの元頂点のターゲット特徴情報を使用して、前記細分化エッジに対応する新しい頂点のターゲット特徴情報を取得することは、前記細分化エッジに対応する２つの前記元頂点のターゲット特徴情報を使用して、前記細分化エッジに対応する新しい頂点のターゲット特徴情報を取得することを含む。

したがって、細分化エッジの中点を新しい頂点として使用して、細分化エッジに対応する２つの元頂点のターゲット特徴情報を使用して、新しい頂点のターゲット特徴情報を取得することを容易にする。

ここで、前記第１三次元メッシュモデルの元頂点および新しい頂点のターゲット特徴情報に基づいて、本回のメッシュ細分化された第２三次元メッシュモデルを取得することは、第２ニューラルネットワークを使用して、前記第１三次元メッシュモデルの元頂点および新しい頂点のターゲット特徴情報を処理し、前記第１三次元メッシュモデルを前記第１三次元メッシュモデルに変形した後の各頂点の位置情報を取得することを含む。

したがって、第２ニューラルネットワークを使用して、第１三次元メッシュモデルを第２三次元メッシュモデルに変形する。

ここで、前記ターゲット特徴情報を使用して、前記再構築される対象の初期三次元メッシュモデルを構築することは、基礎三次元メッシュモデルを前記ターゲット画像が位置する平面に投影して、前記基礎三次元メッシュモデル内の各頂点に対応する前記ターゲット特徴情報を決定することと、第２ニューラルネットワークを使用して、前記基礎三次元メッシュモデル内の各頂点に対応するターゲット特徴情報を処理し、前記基礎三次元メッシュモデルを前記初期三次元メッシュモデルに変形した後の各頂点の位置情報を取得することと、を含み、ここで、前記各頂点の位置情報は、位置オフセットである。

したがって、第２ニューラルネットワークを使用して、基礎三次元メッシュモデルを初期三次元メッシュモデルに変形して、再構築される対象を初期化し、再構築される対象の初期形状を具現することができる。

ここで、前記ターゲット画像は、二次元画像であり、および／または、前記ターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を取得することは、第３ニューラルネットワークを使用して、ターゲット画像に対して特徴抽出を実行し、いくつかの次元の特徴情報を取得することと、前記いくつかの次元の特徴情報を融合してターゲット特徴情報を取得することと、を含み、ここで、前記ターゲット特徴情報は、特徴テンソルである。

したがって、第３ニューラルネットワークを使用して二次元のターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を指示する特徴テンソルを取得する。

本発明の第２態様は、三次元メッシュモデルの再構築装置を提供し、ターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を取得するように構成される、特徴抽出モジュールであって、ここで、前記ターゲット画像は、再構築される対象を含む、特徴抽出モジュールと、前記ターゲット特徴情報に基づいて、前記再構築される対象の顕著性領域を決定するように構成される、顕著性領域決定モジュールと、前記顕著性領域に基づいて、前記再構築される対象の最終的な三次元メッシュモデルを構築するように構成される、モデル構築モジュールと、を備える。

本発明の第３態様は、互いに結合されるメモリとプロセッサとを備える、電子機器を提供し、プロセッサは、メモリに記憶されるプログラム命令を実行し、上記の第１態様における三次元メッシュモデルの再構築方法を実現するように構成される。

本発明の第４態様は、プログラム命令を記憶する、コンピュータ可読記憶媒体を提供し、プログラム命令は、プロセッサによって実行されるとき、上記の第１態様における三次元メッシュモデルの再構築方法を実現する。

上記の技術案は、ターゲット画像のターゲット特徴情報を使用して、再構築される対象の顕著性領域を決定し、三次元メッシュモデルを再構築するとき、顕著性領域に対してメッシュ細分化を実行し、メッシュモデルの頂点数を減らし、顕著性領域におけるメッシュモデルの詳細が、一定の豊富さを有するようにする。即ち、対応する顕著性領域でローカルメッシュ細分化を実行するとき、顕著性領域は、再構築される対象のより多くの詳細を反映する領域であるため、顕著性領域に対してメッシュ細分化を実行することは、メッシュモデルの頂点数を減らすだけでなく、さらに、三次元メッシュモデルのデータに必要な記憶空間を減らし、再構築して得られた三次元メッシュモデルが、顕著性領域に対応して過度に平滑しないようにすることができ、詳細をよりよく具現することができ、それにより、より多くの詳細の三次元メッシュモデルを再構築し、三次元メッシュモデルのデータに必要な記憶空間を減らすことができる。

上記した一般的な説明及び後述する詳細な説明は、単なる例示及び説明に過ぎず、本発明を限定するものではないことを理解されたい。

ここでの図面は、本明細書に組み込まれてその一部を構成し、これらの図面は、本発明と一致する実施例を示すものであり、明細書とともに本発明の実施例の技術的解決策を説明するために使用される。
本発明の三次元メッシュモデルの再構築方法の一実施例の例示的なフローチャートである。 本願実施例の三次元メッシュモデルの再構築方法のネットワークのアーキテクチャの概略図である。 本発明の三次元メッシュモデルの再構築方法の一実施例のステップＳ１２の例示的なフローチャートである。 本発明の三次元メッシュモデルの再構築方法の別の一実施例の例示的なフローチャートである。 本発明の三次元メッシュモデルの再構築方法の別の一実施例のステップＳ２４の例示的なフローチャートである。 本発明の三次元メッシュモデルの再構築方法の別の一実施例のステップＳ２４の別の例示的なフローチャートである。 本発明の三次元メッシュモデルの再構築装置の実施例のフレームワークの概略図である。 本発明の三次元メッシュモデルの再構築装置の別の実施例のフレームワークの概略図である。 本発明の電子機器の実施例のフレームワークの概略図である。 本発明のコンピュータ可読記憶媒体の実施例のフレームワークの概略図である。

以下は、図面を参照して、本発明の実施例の技術案を詳細に説明する。

以下の説明において、限定するためにではなく説明するためであり、本発明を完全に理解するために、特定のシステム構造、インターフェース、技術などの具体的な詳細を提案する。

本明細書における「及び／または」という用語は、関連付けられた対象を説明する単なる関連付けであり、３種類の関係が存在し得ることを表示し、例えば、Ａ及び／またはＢは、Ａが独立で存在する場合、ＡとＢが同時に存在する場合、Ｂが独立で存在する場合などの３つの場合を表示する。さらに、本明細書における記号「／」は、一般的に、前後の関連付けられるオブジェクトが、「または」という関係であることを示す。なお、本明細書における「複数」は、２つまたは２つ以上を表す。さらに、本明細書における「少なくとも１つ」という用語は、複数のうちの１つまたは複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣで構成されるセットから選択された任意の１つまたは複数の要素を含むことを示す。

図１Ａを参照すると、図１Ａは、本発明の三次元メッシュモデルの再構築方法の一実施例の例示的なフローチャートである。具体的には、以下のステップを含み得る。

ステップＳ１１において、前記ターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を取得する。

本発明の実施例において、ターゲット画像は、再構築される対象を含む。三次元メッシュモデルの再構築方法の実行主体は、三次元メッシュモデルの再構築装置であり得、例えば、三次元メッシュモデルの再構築方法は、端末機器またはサーバまたは他の処理機器によって実行されることができ、ここで、端末機器は、ユーザ機器（ＵＥ：Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ）、モバイル機器、ユーザ端末、端末、携帯電話、コードレス電話、パーソナルデジタル処理（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ハンドヘルド機器、コンピューティング機器、車載機器、ウェアラブル機器などであり得る。いくつかの可能な実施形態において、当該三次元メッシュモデルの再構築方法は、プロセッサによって、メモリに記憶されるコンピュータ可読命令を呼び出す方式を介して実現することができる。

再構築される対象は、飛行機、建築、人、動物などであり得、本発明の実施例では、特に限定されない。ターゲット画像は、二次元画像であり得、例えば、単一の視点から撮影された単一な単視図などであり、再構築される対象の特徴情報を含むことができれば、ターゲット画像の具体的な形に対して特に限定しない。ターゲット画像が、再構築される対象を含むため、ターゲット画像に対して特徴抽出を実行し、再構築される対象に対応するターゲット特徴情報を取得する。ターゲット特徴情報は、再構築される対象の特徴を指示し、即ち、ターゲット特徴情報は、再構築される対象の全体的な特徴情報およびローカル特徴情報を含み得、一実際の適用シナリオでは、特徴情報の一部をカスタマイズで選択してターゲット特徴情報として使用することができ、再構築される対象の特徴情報を含めば、ターゲット特徴情報の表現の形に対して特に限定しない。

一開示された実施例において、ターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を取得するとき、第３ニューラルネットワークを使用して、ターゲット画像に対して特徴抽出を実行し、いくつかの次元の特徴情報を取得し、いくつかの次元の特徴情報を融合してターゲット特徴情報を取得する。第３ニューラルネットワークは、画像特徴抽出を実行することができる任意のニューラルネットワークであり得、畳み込みニューラルネットワークを含むがこれに限定されない。したがって、第３ニューラルネットワークを使用して、ターゲット画像に対して特徴抽出を実行し、特徴情報を具現するターゲット特徴情報を取得する。

一開示された実施例において、第３ニューラルネットワークは、畳み込みニューラルネットワークであり、畳み込みニューラルネットワークは、いくつかの畳み込み層およびプーリング層を含み、各プリセットの数の畳み込み層の後プーリング層を使用して、特徴抽出のとき特徴次元削減を実現する。ターゲット画像を畳み込みニューラルネットワークに入力し、畳み込みニューラルネットワークの最初の畳み込み層は、ターゲット画像と同じサイズの特徴情報を取得し、第２層の畳み込み層は、ターゲット画像の半分サイズの特徴情報を取得し、これによって類推し、次の層の畳み込み層によってえられる特徴情報のサイズは、前の層の畳み込み層によって得られた特徴情報のサイズの半分に近く、それにより、いくつかの次元の特徴情報を取得する。ターゲット特徴情報は、すべての次元の特徴情報を融合して得られることができ、次元の一部の特徴情報を融合して得られることもでき、特徴融合の実施形態は特に限定されない。いくつかの次元の特徴情報は、異なるサイズに対応する場合、特徴情報の融合を容易にするために、いくつかの次元の特徴情報をターゲット画像と同じサイズの特徴情報に正規化し、正規化された特徴情報を融合してターゲット特徴情報を取得する。

ターゲット特徴情報が特徴テンソルであり、ターゲット画像が二次元画像である場合、後続で特徴テンソルを使用して特徴情報の融合を容易にするために、特徴テンソルは、二次元画像のサイズと同じである。同様に、いくつかの次元の特徴情報を、ターゲット画像と同じサイズの特徴情報に正規化し、正規化された特徴情報を融合して特徴テンソルを取得して、異なるサイズの特徴情報を、二次元画像と同じサイズの特徴テンソルに融合する。

ステップＳ１２において、ターゲット特徴情報に基づいて、再構築される対象の顕著性領域を決定する。

顕著性領域は、再構築される対象の曲率の変化が大きく、詳細が比較的に多いい領域を指示し、例えば、再構築される対象が飛行機である場合、顕著性領域は、プロペラに対応する領域、翼と機体との接続領域、曲げ曲率の変化が大きい領域などであり得、機体などの平滑な領域は、非顕著性領域であり、再構築される対象が車両である場合、顕著性領域は、タイヤ、車のライト、バックミラーなどの対応する領域である。ターゲット特徴情報は、再構築される対象の特徴情報を含み、後続で特徴情報の融合を実現するために使用される。顕著性領域は、二次元座標情報、三次元座標情報および色識別子情報などを介して具現できる。例えば、顕著性領域が座標情報である場合、座標密集領域を顕著性領域として使用することができ、顕著性領域が色識別子情報である場合、色の深さを介して詳細の数を指示し、深い色識別子情報が位置する領域を顕著性領域として使用することができる。

ターゲット特徴情報を使用して、再構築される対象詳細領域に対応する顕著性領域を取得して、点群モデルを変形して顕著性領域を取得することができるようにするために、一開示された実施例において、顕著性領域は点群を介して表現され、点群を使用して、再構築される対象の詳細特徴分布を予測し、点群モデルの点を、顕著性領域に集合させる。図２は、本発明の三次元メッシュモデルの再構築方法の一実施例のステップＳ１２の例示的なフローチャートである。具体的には、ステップＳ１２は以下のステップを含み得る。

ステップＳ１２１において、ターゲット特徴情報を使用して、基礎点群モデルを、再構築される対象に対応するターゲット点群モデルに変形する。

基礎点群モデルは、事前に取得または設定されたモデルであり、且つ、基礎点群モデル上の点は均一に分布され、すべてのターゲット画像に対応する基礎点群モデルは一致する。基礎点群モデルは、単位球、楕円三次元メッシュなどの均一にサンプリングされた点によって得られ、接続関係のない１つの点によって構成される。基礎点群モデルの均一に分布される点は、ターゲット特徴情報を使用して特徴情報を融合した後、点の位置はオフセットされ、基礎点群モデルをターゲット点群モデルに変形させる。ターゲット点群モデルにおける点の分布状況は、再構築される対象に対応し、再構築される対象の特徴を反映し、それにより、ターゲット点群モデルは、再構築される対象の整体形状と詳細を指示することができる。いくつかの可能な実施形態において、基礎点群モデルをターゲット画像が位置する平面に投影して、基礎点群モデル内の各点に対応するターゲット特徴情報を決定し、第１ニューラルネットワークを使用して、基礎点群モデル内の各点に対応するターゲット特徴情報を処理し、基礎点群モデルをターゲット点群モデルに変形した後の各点の位置情報を取得し、それにより、第１ニューラルネットワークを介して点群モデルの変形を実現する。ここで、第１ニューラルネットワークは、点群モデルの変形を実現できれば、深層学習を介してターゲット点群モデルの各点の位置情報を取得する任意のニューラルネットワークであり、本発明の実施例において、第１ニューラルネットワークは、畳み込みニューラルネットワークを含むがこれに限定されない。

基礎点群モデルをターゲット点群モデルに変形した後の各点の位置情報は、各点の位置オフセット、位置オフセット経路などの点位置を更新するためのデータであり得るがこれに限定されない。一開示された実施例において、基礎点群モデルをターゲット点群モデルに変形した後の各点の位置情報は、各点の位置オフセットであり得、基礎点群モデルの点の位置情報および位置オフセットを使用して、計算してターゲット点群モデル上の点の位置情報を取得し、別の開示された実施例において、基礎点群モデルをターゲット点群モデルに変形した後の各点の位置情報は、各点の位置オフセット経路であり得、例えば、位置オフセット経路は、方向と長さを有するベクトル値であるがこれに限定されなく、基礎点群モデルの点は、位置オフセット経路からターゲット点群モデル上の各点の位置情報に沿う。

ここで、第１ニューラルネットワークは、サンプル画像およびサンプル対象の実の三次元メッシュモデルなどのデータセットを使用してトレーニングして得られるものである。いくつかの可能な実施形態において、サンプル画像およびサンプル対象の実の三次元メッシュモデルを取得し、ここで、サンプル画像は、サンプル対象を含み、サンプル画像に対して特徴抽出を実行し、サンプル特徴情報を取得し、基礎点群モデルをサンプル画像が位置する平面に投影して、基礎点群モデル内の各点に対応するサンプル特徴情報を決定し、第１ニューラルネットワークを使用して、基礎点群モデル内の各点に対応するサンプル特徴情報を処理し、基礎点群モデルを予測点群モデルに変形した後の各点の位置情報を取得し、上記のステップの関連する説明は、ステップＳ１１およびステップＳ１２と類似し、ここでは繰り返して説明しない。予測点群モデルの各点の位置情報を取得した後、実の三次元メッシュモデルに対してメッシュ簡略化を実行し、簡略化三次元メッシュモデルを取得し、予測点群モデルのうち、簡略化三次元メッシュモデルの各頂点にマッチングする点を検索して、いくつかのグループのマッチング点ペアを取得し、各グループのマッチング点ペアの位置差異を使用して、第１ニューラルネットワークのパラメータを調整する。

実の三次元メッシュモデルは、サンプル対象の三次元メッシュモデルを指示し、実際のサンプル画像は、ターゲット画像として使用され、本発明の三次元メッシュモデルの再構築方法によって取得される再構築される対象の最終的な三次元メッシュモデルが、実の三次元メッシュモデルに近接するほど、三次元メッシュモデルの再構築方法の復元度が高いことを表す。上記の第１ニューラルネットワークのトレーニングプロセスにおいて、実の三次元メッシュモデルを監視して、平坦な領域のパッチが少ないように保証し、簡略化された実の三次元メッシュモデルの頂点を監督信号としてトレーニングし、トレーニングして得られた第１ニューラルネットワークは、ターゲット点群モデルの各点の位置情報を出力することができる。

ステップＳ１２２において、ターゲット点群モデルの顕著性領域を決定する。

ターゲット点群モデルには、異なる密度の点が分布され、点の分布状況に従って、顕著性領域を決定することができる。いくつかの可能な実施形態において、ターゲット点群モデルの点分布状況を取得し、ターゲット点群モデル内の、点分布状況が顕著性分布要求を満たす点群領域を検索して、顕著性領域として使用し、それにより、点群によって表現される点分布状況を介して、点群を使用して、再構築される対象の詳細特徴分布を予測し、顕著性分布要求を満たす点群領域を顕著性領域として使用するとよい。顕著性分布要求は、必要に応じで設定することができ、点分布密度が、プリセットの密度値より大きい領域を顕著性領域として使用することを含むがこれに限定されなく、ここで、プリセットの密度値は、カスタマイズに設定することができる。

一適用実施例において、単位球で点を均一にサンプリングして、基礎点群モデルを取得した後、基礎点群モデルをターゲット画像が位置する平面に投影して、基礎点群モデル内の各点に対応するターゲット特徴情報を決定し、畳み込みニューラルネットワークを使用して、基礎点群モデル内の各点に対応するターゲット特徴情報を処理し、基礎点群モデルをターゲット点群モデルに変形した後の各点の位置オフセットを取得し、基礎点群モデルの点の位置情報および位置オフセットを使用して、ターゲット点群モデル上の点の位置情報を計算して、ターゲット点群モデルの点分布状況を取得し、ターゲット点群モデル内の、点分布密度がプリセットの密度値より大きい領域を検索して顕著性領域として使用し、それにより、顕著性領域内の点分布が密集され、再構築される対象の詳細を具現することができる。

したがって、ターゲット特徴情報を使用して、基礎点群モデルを再構築される対象に対応するターゲット点群モデルに変形し、その後、ターゲット点群モデルの顕著性領域を決定して、ターゲット特徴情報を使用して、再構築される対象詳細領域に対応する顕著性領域を取得して、点群モデルを変形して顕著性領域を取得することができる。

ステップＳ１３において、顕著性領域に従って、再構築される対象の最終的な三次元メッシュモデルを構築する。

最終的な三次元メッシュモデルは、メッシュ細分化、顕著点群などの単一または組み合わせた三次元メッシュモデルを構築する方法で実現でき、ここでは限定しない。顕著性領域は、再構築される対象のより多い詳細を反映する領域であるため、顕著性領域に従って最終的な三次元メッシュモデルを柔軟に構築することができ、顕著性領域のみに対してメッシュ細分化を実行し、または、まず、ターゲット特徴情報を使用して、再構築される対象の初期三次元メッシュモデルを構築し、その後、初期三次元メッシュモデルに対してメッシュ細分化を実行することができるがこれに限定されない。

上記の方式を介して、再構築される対象を含むターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を取得し、それにより、ターゲット特徴情報を使用して、再構築される対象の顕著性領域を決定し、さらに、顕著性領域を取得した後、顕著性領域を使用して、再構築される対象の最終的な三次元メッシュモデルを構築することができ、顕著性領域を柔軟に使用して、明らかな詳細の三次元メッシュモデルを再構築することができる。

本発明の実施例において、図１Ｂに示されたネットワークアーキテクチャを介して、再構築される対象に対する三次元再構築を実現することができ、図１Ｂは、本願実施例の三次元メッシュモデルの再構築方法のネットワークのアーキテクチャの概略図であり、当該ネットワークアーキテクチャは、ユーザ端末２０１、ネットワーク２０２および三次元メッシュモデルの再構築端末２０３を備える。１つの例示的な適用を支持するために、ユーザ端末２０１と三次元メッシュモデルの再構築端末２０３は、ネットワーク２０２を介して通信接続が確立され、ユーザ端末２０１は、再構築される対象を含むターゲット画像に対して三次元再構築を実行するとき、まず、ターゲット画像を、ネットワーク２０２を介して三次元メッシュモデルの再構築端末２０３に送信する必要があり、その後、三次元メッシュモデルの再構築端末２０３が、当該ターゲット画像に対して特徴抽出を実行することにより、ターゲット特徴情報を取得し、当該ターゲット特徴情報に基づいて、再構築される対象の顕著性領域を決定し、最後に、三次元メッシュモデルの再構築端末２０３が、当該顕著性領域を介して、再構築される対象に対する三次元再構築を実現して、再構築される対象の最終的な三次元メッシュモデルを取得する。このようにして、ターゲット画像で再構築される対象の顕著性領域を決定した後、より多くに詳細の顕著性領域に基づいて、再構築される対象の最終的な三次元メッシュモデルを構築して、比較的に明らかな詳細の最終的な三次元メッシュモデルを取得することができる。

顕著性領域に対してメッシュ細分化を実行するとき、メッシュモデルの頂点数を減らし、顕著性領域におけるメッシュモデルの詳細が、一定の豊富さを有するようにする。顕著性領域に従って、再構築される対象の最終的な三次元メッシュモデルを構築するとき、ターゲット特徴情報を使用して、再構築される対象の初期三次元メッシュモデルを構築し、初期三次元メッシュモデルに対してメッシュ細分化を実行し、再構築される対象の最終的な三次元メッシュモデルを取得し、ここで、メッシュ細分化は、対応する顕著性領域に対してローカルメッシュ細分化を実行することを含む。図３を参照すると、図３は、本発明の三次元メッシュモデルの再構築方法の別の一実施例の例示的なフローチャートである。具体的には、以下のステップを含み得る。

ステップＳ２１において、ターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を取得する。

上記のステップＳ２１において、ターゲット画像は、再構築される対象を含む。

ステップＳ２２において、ターゲット特徴情報に基づいて、再構築される対象の顕著性領域を決定する。

上記のステップＳ２１とステップＳ２２の説明は、図１Ａに示されたステップＳ１１およびステップＳ１２の具体的な説明を参照でき、ここでは繰り返して説明しない。

ステップＳ２３において、ターゲット特徴情報を使用して、再構築される対象の初期三次元メッシュモデルを構築する。

初期三次元メッシュモデルは、メッシュ変形を実行する前の単純な三次元メッシュモデルであり、再構築される対象の初期整体形状と詳細を具現する。初期三次元メッシュモデルは、すべて、頂点、エッジおよび面によって構成される。理解され得るように、ステップＳ２２におけるターゲット特徴情報に基づいて顕著性領域を決定する場合、いくつかの接続関係のない点分布によって、再構築される対象の初期整体形状と詳細を反映し、ステップＳ２３におけるターゲット特徴情報を使用して再構築される対象の初期三次元メッシュモデルを構築する場合、頂点、エッジおよび面によって、再構築される対象の初期整体形状と詳細を共同に反映する。

深層学習を使用してメッシュモデルの変形を実現するために、一開示された実施例において、基礎三次元メッシュモデルをターゲット画像が位置する平面に投影して、基礎三次元メッシュモデル内の各頂点に対応するターゲット特徴情報を決定し、第２ニューラルネットワークを使用して、基礎三次元メッシュモデル内の各頂点に対応するターゲット特徴情報を処理し、基礎三次元メッシュモデルを初期三次元メッシュモデルに変形した後の各頂点の位置情報を取得する。ここで、各頂点の位置情報は、位置オフセットであり得、それにより、第２ニューラルネットワークを使用して、基礎三次元メッシュモデルを初期三次元メッシュモデルに変形して、再構築される対象を初期化し、再構築される対象の初期形状を具現することができる。

基礎三次元メッシュモデルおよび初期三次元メッシュモデルは、すべて、頂点、エッジおよび面によって構成され、且つ、基礎三次元メッシュモデルにおける頂点の位置は、オフセットの後、初期三次元メッシュモデルにおける頂点の位置を形成し、元均一に分布された頂点が、再構築される対象の全体的な形状と詳細に近接する位置にオフセットされるようにする。第２ニューラルネットワークは、メッシュモデルの変形を実現できれば、深層学習を介して三次元メッシュモデルの各頂点の位置情報を取得する任意のニューラルネットワークであり、具体的には、第２ニューラルネットワークは、グラフ畳み込みニューラルネットワークを含むがこれに限定されない。グラフ畳み込みニューラルネットワークに含まれる入力層、暗黙層、出力層の次元数は、カスタマイズに設定することができ、ここでは特に限定しない。第２ニューラルネットワークは、各頂点位置情報を取得することができるニューラルネットワークであり、本ステップでは、ターゲット特徴情報に従って、基礎三次元メッシュモデルに対して複数回の変形を実行し、初期三次元メッシュモデルの頂点位置を、再構築される対象実の頂点の位置に近いようにすることができる。

一実施シナリオにおいて、上記のステップＳ２２およびステップＳ２３は、優先順位に従って実行することができ、例えば、まず、ステップＳ２２を実行した後、ステップＳ２３を実行するか、まず、ステップＳ２３を実行し他後、ステップＳ２２を実行することができる。別の一実施シナリオにおいて、上記のステップＳ２２およびステップＳ２３は、同時に実行することができ、具体的には、実際の適用に応じて設定することができ、ここでは限定しない。

ステップＳ２４において、初期三次元メッシュモデルに対してメッシュ細分化を実行し、再構築される対象の最終的な三次元メッシュモデルを取得する。

上記のステップＳ２４において、メッシュ細分化は、対応する顕著性領域に対してローカルメッシュ細分化を実行することを含む。

ステップＳ２２およびステップＳ２３の後、初期三次元メッシュモデルおよび顕著性領域を取得し、それにより、顕著性領域を使用して、初期三次元メッシュモデルのメッシュ細分化をガイドし、顕著性領域が、再構築される対象の領域の一部に対応するために、顕著性領域に対応する領域のみをメッシュ細分化の対象として使用することができ、顕著性領域に対応する詳細情報を好ましく反映することができ、比較的に平坦な領域は、より大きいメッシュで表示して、ストレージの消費を減らすことができ、ローカルメッシュ細分化を実行するとき、多い詳細を指示する顕著性領域のみでメッシュ細分化を導入し、再構築される対象固有の特徴をより効果的に反映し、過度の平滑を引き起こさない。モデルに、よりリアルな幾何学的詳細を表示させるために、一開示された実施例において、顕著性領域は、ターゲット特徴情報を使用して得られた点群分布であり、初期三次元メッシュモデルは、ターゲット特徴情報を使用して得られたメッシュ分布であり、顕著性領域を総合的に使用して、初期三次元メッシュモデルに対するメッシュ細分化をガイドすることは、点群表現およびメッシュテーブルの２つのモデル表現方式を組み合わせる。

理解され得るように、一開示された実施例において、初期三次元メッシュモデルに対してメッシュ細分化を実行するとき、グローバルメッシュ細分化およびローカルメッシュ細分化を実行することができ、ここで、グローバルメッシュ細分化は、三次元メッシュモデルの全体に対応し、ローカルメッシュ細分化は、顕著性領域に対応し、グローバルメッシュ細分化およびローカルメッシュ細分化の順序と、各メッシュ細分化の回数は、すべて特に限定されない。

上記の技術案は、ターゲット画像のターゲット特徴情報を使用して、再構築される対象の顕著性領域を決定し、三次元メッシュモデルを再構築するとき、顕著性領域に対してメッシュ細分化を実行し、メッシュモデルの頂点数を減らし、顕著性領域におけるメッシュモデルの詳細が、一定の豊富さを有するようにする。即ち、対応する顕著性領域でローカルメッシュ細分化を実行するとき、顕著性領域は、再構築される対象のより多くの詳細を反映する領域であるため、顕著性領域に対してメッシュ細分化を実行することは、メッシュモデルの頂点数を減らすだけでなく、さらに、三次元メッシュモデルのデータに必要な記憶空間を減らし、再構築して得られた三次元メッシュモデルが、顕著性領域に対応して過度に平滑しないようにすることができ、詳細をよりよく具現することができ、それにより、より多くの詳細の三次元メッシュモデルを再構築し、三次元メッシュモデルのデータに必要な記憶空間を減らすことができる。

一開示された実施例において、メッシュ細分化は、グローバルメッシュ細分化および／またはローカルメッシュ細分化であり得、本発明の最終的な三次元メッシュモデルのメッシュ細分化プロセスをより詳細に説明するために、図４は、本発明の三次元メッシュモデルの再構築方法の別の一実施例のステップＳ２４の例示的なフローチャートであり、図５は、本発明の三次元メッシュモデルの再構築方法の別の一実施例のステップＳ２４の別の例示的なフローチャートであり、且つ、図４は、ローカルメッシュ細分化に対応し、図５は、グローバルメッシュ細分化に対応する。

図４に示されたように、本発明は、ターゲット画像の特徴情報を使用して、再構築される対象の顕著性領域を決定した後、三次元メッシュモデルを再構築するとき、顕著性領域に対してローカルメッシュ細分化を実行することにおいて、ステップＳ２４は、以下のステップを含む。

ステップＳ２４１ａにおいて、本回のメッシュ細分化を実行する前の三次元メッシュモデルを第１三次元メッシュモデルとする。

最初にメッシュ細分化するとき、第１三次元メッシュモデルは、初期三次元メッシュモデルであり、後続で毎回メッシュ細分化するとき、本回のメッシュ細分化する前の三次元メッシュモデルを、第１三次元メッシュモデルとして使用するとよい。理解され得るように、本回のメッシュ細分化する前の三次元メッシュモデルは、ローカルメッシュ細分化の結果であってもよいし、グローバルメッシュ細分化の結果であってもよい。

ステップＳ２４２ａにおいて、第１三次元メッシュモデルをターゲット画像が位置する平面に投影して、第１三次元メッシュモデル内の各頂点に対応するターゲット特徴情報を決定する。

ターゲット画像が位置する平面は、投影された各頂点与に対応するターゲット特徴情報に対してマッチング融合を実行し、各頂点に対応するターゲット特徴情報を取得するように構成される。

ステップＳ２４３ａにおいて、第１三次元メッシュモデルのターゲット領域に少なくとも１つの新しい頂点を追加する。

第１三次元メッシュモデルは、頂点、エッジおよび面によって構成される。本回のメッシュ細分化が、ローカルメッシュ細分化である場合、ターゲット領域は、再構築される対象の詳細領域を反映する顕著性領域に対応する。第１三次元メッシュモデルのターゲット領域を決定した後、第１三次元メッシュモデルのターゲット領域に少なくとも１つの新しい頂点を追加する。新しい頂点の数および新しい頂点の具体的な位置に対して特に限定しなく、且つ、新しい頂点は、接続した後新しいエッジと面を形成するように構成される。そのため、本発明のローカルメッシュ細分化は、再構築される対象の詳細領域に対して選択的にメッシュ細分化を実行し、メッシュモデルが変形するときの新しい頂点数を減らすことができる。

一開示された実施例において、第１三次元メッシュモデルのターゲット領域に少なくとも１つの新しい頂点を追加するとき、第１三次元メッシュモデルで、顕著性領域に位置する少なくとも１つのエッジを細分化エッジとして使用し、細分化エッジで少なくとも１つの新しい頂点を決定して、ローカルメッシュ細分化された新しい頂点を取得する。顕著性領域内のいくつかのエッジから、少なくとも１つのエッジを選択して細分化エッジとして使用し、各細分化エッジで少なくとも１つの新しい頂点を決定し、最終的に、新しい頂点を接続した後新しいエッジおよび面を形成して、メッシュ細分化に使用されることができれば、異なる細分化エッジで決定される新しい頂点数は、同じであってもよいし異なってもよい。一適用シナリオにおいて、細分化エッジは、顕著性領域のすべての細分化エッジであり得、顕著性領域内の細分化エッジの一部であり得る。

本回のメッシュ細分化によって形成された新しい頂点を、再構築される対象の実際の頂点位置により近接させ、最終的な三次元メッシュモデルの詳細を改善させるために、一開示された実施例において、第１三次元メッシュモデルでは、顕著性領域に位置する少なくとも１つのエッジを細分化エッジとして使用するとき、第１三次元メッシュモデルで、各顕著点に位置がプリセットの位置条件を満たすエッジを検索して細分化されるエッジとして使用し、顕著性領域は、いくつかの顕著点を含み、それにより、いくつかの細分化されるエッジを取得する。第１三次元メッシュモデルのうち、各エッジが細分化されるエッジとして決定された回数を統計し、細分化されるエッジの回数が、プリセットの細分化条件を満たすエッジを細分化エッジとして使用して、顕著性領域内の各顕著点に細分化されるエッジを検索し、顕著点が特定の位置関係を満たすエッジに投票して、票数が特定の細分化条件を満たすエッジを細分化エッジとして使用し、それにより、新しい頂点の数をさらに減らし、メッシュモデルの変形に必要なストレージ使用量を削減する。

プリセットの位置条件は、顕著点の位置と最も近いこと、即ち、顕著点の位置と最も近いエッジを細分化されるエッジとして使用することと、顕著点に対応する位置と重複すること、即ち、顕著点に対応する位置のエッジを細分化されるエッジとして使用することとを含むがこれに限定されない。したがって、顕著点と最も近いエッジに投票し、票数の前の一定の比率または前の一定の数のエッジを細分化エッジとして使用し、それにより、最終的な細分化エッジは顕著点と近く、新しい頂点は、再構築される対象の詳細位置により近接する。

顕著性領域は、いくつかの顕著点を含むため、各顕著点は、プリセットの位置条件に従って、細分化されるエッジを取得した後、異なる顕著点によって決定される細分化されるエッジは、同じであってもよいし異なってもよい。すべての細分化されるエッジを決定した後、すべての細分化されるエッジを細分化エッジとして使用することができ、細分化されるエッジの一部を選択して細分化エッジとして使用することもでき、ここでは限定しない。一開示された実施例において、プリセットの細分化条件は、細分化されるエッジの回数が、プリセットの回数より大きいもの、または、第１三次元メッシュモデルのすべてのエッジの回数が、大きいものから小さいものの順のソートにおいて、細分化されるエッジの回数が前のプリセットの数または前のプリセットの比率内にあるものである。

ステップＳ２４４ａにおいて、第１三次元メッシュモデルの元頂点のターゲット特徴情報を使用して、細分化エッジに対応する新しい頂点のターゲット特徴情報を取得する。

細分化エッジを決定した後、プリセットのルールに応じて新しい頂点を決定することができ、プリセットのルールは、細分化エッジの中点を新しい頂点として使用すること、左側の頂点から３分の１の位置を新しい頂点として使用することなどを含むがこれに限定されなく、それにより、第１三次元メッシュモデルの元頂点のターゲット特徴情報を使用して、細分化エッジに対応する新しい頂点のターゲット特徴情報を取得するとき、具体的には、細分化エッジに対応する２つの元頂点のターゲット特徴情報を使用して、細分化エッジに対応する新しい頂点のターゲット特徴情報を取得する。

一開示された実施例において、細分化エッジの中点を新しい頂点として使用するとき、２つの元頂点のターゲット特徴情報の平均値を新しい頂点のターゲット特徴情報として使用する。したがって、細分化エッジの中点を新しい頂点として使用して、細分化エッジに対応する２つの元頂点のターゲット特徴情報を使用して、新しい頂点のターゲット特徴情報を取得することを容易にする。

ステップＳ２４５ａにおいて、第１三次元メッシュモデルの元頂点および新しい頂点のターゲット特徴情報に基づいて、本回のメッシュ細分化された第２三次元メッシュモデルを取得する。

メッシュ細分化のとき、第１三次元メッシュモデルを第２三次元メッシュモデルに変形し、いくつかの可能な実施形態において、第２三次元メッシュモデルの頂点数は、第１三次元メッシュモデルより大きく、即ち、第２三次元メッシュモデルは、新しい頂点および第１三次元メッシュモデルの元頂点を含み、より多い頂点を介して、再構築される対象の特徴を反映して、粗いものから細かいものへの変形を実現する。理解され得るように、メッシュモデルの変形は、本回のメッシュ細分化前の三次元メッシュモデルを第１三次元メッシュモデルとして使用し続けて、第１三次元メッシュモデルを第２三次元メッシュモデルに変形し、反復にメッシュ細分化を実行して詳細を具現することができる。

第１三次元メッシュモデルの元頂点および新しい頂点のターゲット特徴情報に基づいて、本回のメッシュ細分化された第２三次元メッシュモデルを取得することができる。いくつかの可能な実施形態において、第２ニューラルネットワークを使用して、第１三次元メッシュモデルの元頂点および新しい頂点のターゲット特徴情報を処理し、第１三次元メッシュモデルを第１三次元メッシュモデルに変形した後の各頂点の位置情報を取得し、それにより、第２ニューラルネットワークを使用して、第１三次元メッシュモデルを第２三次元メッシュモデルに変形することができる。ここで、位置情報は、位置オフセットを含むがこれに限定されない。第２ニューラルネットワークは、メッシュモデルの変形を実現できれば、深層学習を介して三次元メッシュモデルの各頂点の位置情報を取得する任意のニューラルネットワークであり、具体的には、第２ニューラルネットワークは、グラフ畳み込みニューラルネットワークを含むがこれに限定されない。グラフ畳み込みニューラルネットワークに含まれる入力層、暗黙層、出力層の次元数は、カスタマイズに設定することができ、ここでは特に限定しない。第２ニューラルネットワークは、各頂点位置情報を取得することができるニューラルネットワークであり、本ステップでは、ターゲット特徴情報に従って、第１三次元メッシュモデルに対して複数回の変形を実行し、第２三次元メッシュモデルの頂点位置を、再構築される対象実の頂点の位置に近いようにすることができる。

したがって、まず、第１三次元メッシュモデルを投影してターゲット特徴情報を取得し、その後、新しい頂点を追加し、第１三次元メッシュモデルの元頂点および新しい頂点を使用して細分化された第２三次元メッシュモデルを取得して、メッシュ細分化を実現し、再構築される対象の詳細を具現することができる。

一開示された実施例において、ローカルメッシュ細分化以外に、メッシュ細分化は、さらに、三次元メッシュモデルの全体に対応してグローバルメッシュ細分化を実行することを含む。図５に示されたように、本発明は、ターゲット画像の特徴情報を使用して、再構築される対象の顕著性領域を決定した後、三次元メッシュモデルを再構築するとき、顕著性領域に対してグローバルメッシュ細分化を実行することにおいて、ステップＳ２４は、以下のステップを含む。

ステップＳ２４１ｂにおいて、本回のメッシュ細分化を実行する前の三次元メッシュモデルを第１三次元メッシュモデルとする。

ステップＳ２４２ｂにおいて、第１三次元メッシュモデルをターゲット画像が位置する平面に投影して、第１三次元メッシュモデル内の各頂点に対応するターゲット特徴情報を決定する。

ステップＳ２４３ｂにおいて、第１三次元メッシュモデル内の各エッジをそれぞれ細分化エッジとして使用し、細分化エッジで少なくとも１つの新しい頂点を決定する。

第１三次元メッシュモデルに対してローカルメッシュ細分化を実行するとき、ターゲット領域が、少なくとも顕著性領域を含むことと異なり、本回のメッシュ細分化は、グローバルメッシュ細分化であり、ターゲット領域は、すべての第１三次元メッシュモデルに対応する。したがって、第１三次元メッシュモデル内の各エッジをそれぞれ細分化エッジとして使用し、細分化エッジで少なくとも１つの新しい頂点を決定するとよい。

ステップＳ２４４ｂにおいて、第１三次元メッシュモデルの元頂点のターゲット特徴情報を使用して、細分化エッジに対応する新しい頂点のターゲット特徴情報を取得する。

ステップＳ２４５ｂにおいて、第１三次元メッシュモデルの元頂点および新しい頂点のターゲット特徴情報に基づいて、本回のメッシュ細分化された第２三次元メッシュモデルを取得する。

理解され得るように、グローバルメッシュ細分化は、ローカルメッシュ細分化のターゲット領域と異なり、ターゲット領域は、メッシュ細分化を実行する領域を指示する。本回のメッシュ細分化が、グローバルメッシュ細分化である場合、ターゲット領域は、すべての第１三次元メッシュモデルに対応し、本回のメッシュ細分化が、ローカルメッシュ細分化である場合、ターゲット領域は、少なくとも顕著性領域を含む。ステップＳ２４３ｂにおける第１三次元メッシュモデル内の各エッジをそれぞれ細分化エッジとして使用して、細分化エッジで少なくとも１つの新しい頂点を決定する以外に、グローバルメッシュ細分化の残りのステップＳ２４１ｂ、ステップＳ２４２ｂ、ステップＳ２４４ｂおよびステップＳ２４５ｂは、ローカルメッシュ細分化の関連する説明を参照でき、ここでは繰り返して説明しない。

グローバルメッシュ細分化に基づいて、粗いものから細かいものへの三次元メッシュ変形をするとき、三次元メッシュモデルの全体を均一に細分化して、三次元メッシュモデルの詳細精度を全体的に向上させることができる。ローカルメッシュ細分化に基づいて、三次元メッシュ変形をするとき、顕著性領域のみに対して、粗いものから細かいものへのメッシュ細分化を実行し、メッシュモデル変形に必要なストレージ消費を削減し、均一に細分化による最終的な三次元メッシュモデル過度平滑の問題をよりよく解决して、顕著性領域の詳細が、一定の豊富さを有するようにすることができる。

初期三次元メッシュモデルに対してメッシュ細分化を実行するとき、グローバルメッシュ細分化および／またはローカルメッシュ細分化を実行することができ、ここで、グローバルメッシュ細分化は、三次元メッシュモデルの全体に対応し、ローカルメッシュ細分化は、顕著性領域に対応し、グローバルメッシュ細分化およびローカルメッシュ細分化を実行する場合、グローバルメッシュ細分化およびローカルメッシュ細分化の順序と、各メッシュ細分化の回数は、すべて特に限定されない。

当業者は、具体的な実施形態の上記方法において、ステップの書き込み順序は、厳密な実行順序で、実装過程の制限となることではなく、各ステップの特定の実行順序は、その機能と可能性に基づくべきであることを理解することができる。

図６を参照すると、図６は、本発明の三次元メッシュモデルの再構築装置６０の実施例のフレームワークの概略図である。三次元メッシュモデルの再構築装置６０は、特徴抽出モジュール６１、顕著性領域決定モジュール６２、モデル構築モジュール６３を備える。特徴抽出モジュール６１は、ターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を取得するように構成され、ここで、ターゲット画像は、再構築される対象を含み、顕著性領域決定モジュール６２は、ターゲット特徴情報に基づいて、再構築される対象の顕著性領域を決定するように構成され、モデル構築モジュール６３は、顕著性領域に従って、再構築される対象の最終的な三次元メッシュモデルを構築するように構成される。

上記の技術案において、特徴抽出モジュール６１は、再構築される対象を含むターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を取得し、それにより、顕著性領域決定モジュール６２は、ターゲット特徴情報を使用して、再構築される対象の顕著性領域を決定し、さらに、モデル構築モジュール６３は、顕著性領域を取得した後、顕著性領域を使用して、再構築される対象の最終的な三次元メッシュモデルを構築することができる。

いくつかの実施例において、当該モデル構築モジュール６３は、さらに、顕著性領域を使用して、再構築される対象の最終的な三次元メッシュモデルを構築するために、初期三次元メッシュモデル構築モジュールおよびモデル取得モジュールを備えることができる。例えば、図７を参照すると、図７は、本発明の三次元メッシュモデルの再構築装置７０の別の実施例のフレームワークの概略図である。三次元メッシュモデルの再構築装置７０は、特徴抽出モジュール７１、顕著性領域決定モジュール７２、初期三次元メッシュモデル構築モジュール７３およびモデル取得モジュール７４を備え、特徴抽出モジュール７１は、ターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を取得するように構成され、顕著性領域決定モジュール７２は、ターゲット特徴情報に基づいて、再構築される対象の顕著性領域を決定するように構成され、初期三次元メッシュモデル構築モジュール７３は、ターゲット特徴情報を使用して、再構築される対象の初期三次元メッシュモデルを構築するように構成され、モデル取得モジュール７４は、初期三次元メッシュモデルに対してメッシュ細分化を実行し、再構築される対象の最終的な三次元メッシュモデルを取得するように構成され、ここで、メッシュ細分化は、対応する顕著性領域に対してローカルメッシュ細分化を実行することを含む。

上記の技術案において、顕著性領域決定モジュール７２は、ターゲット画像のターゲット特徴情報を使用して、再構築される対象の顕著性領域を決定し、モデル取得モジュール７４は、三次元メッシュモデルを再構築するとき、顕著性領域に対してメッシュ細分化を実行し、メッシュモデルの頂点数を減らし、顕著性領域におけるメッシュモデルの詳細が、一定の豊富さを有するようにする。即ち、対応する顕著性領域でローカルメッシュ細分化を実行するとき、顕著性領域は、再構築される対象のより多くの詳細を反映する領域であるため、顕著性領域に対してメッシュ細分化を実行することは、メッシュモデルの頂点数を減らすだけでなく、さらに、三次元メッシュモデルのデータに必要な記憶空間を減らし、再構築して得られた三次元メッシュモデルが、顕著性領域に対応して過度に平滑しないようにすることができ、詳細をよりよく具現することができ、それにより、より多くの詳細の三次元メッシュモデルを再構築することができる。

続けて図６を参照すると、一開示された実施例において、顕著性領域決定モジュール６２は、変形ユニットおよび決定ユニットを備え、変形ユニットは、ターゲット特徴情報を使用して、基礎点群モデルを再構築される対象に対応するターゲット点群モデルに変形するように構成され、決定ユニットは、ターゲット点群モデルの顕著性領域を決定するように構成される。したがって、ターゲット特徴情報を使用して、再構築される対象詳細領域に対応する顕著性領域を取得して、点群モデルを変形して顕著性領域を取得することができる。

一開示された実施例において、変形ユニットは、ターゲット特徴情報を使用して、基礎点群モデルを再構築される対象に対応するターゲット点群モデルに変形するように構成されるとき、変形ユニットは、さらに、基礎点群モデルをターゲット画像が位置する平面に投影して、基礎点群モデル内の各点に対応するターゲット特徴情報を決定し、第１ニューラルネットワークを使用して、基礎点群モデル内の各点に対応するターゲット特徴情報を処理し、基礎点群モデルをターゲット点群モデルに変形した後の各点の位置情報を取得するように構成される。決定ユニットは、ターゲット点群モデルの顕著性領域を決定するように構成されるとき、さらに、ターゲット点群モデルの点分布状況を取得し、ターゲット点群モデルのうち、点分布状況が顕著性分布要求を満たす点群領域を検索して、顕著性領域として使用するように構成される。したがって、第１ニューラルネットワークにより群モデルの変形を実現し、ターゲット点群モデルの点分布状況を使用して、顕著性領域を決定する。

一開示された実施例において、変形ユニットは、さらに、基礎点群モデルをターゲット画像が位置する平面に投影するように構成される前に、さらに、単位球内で点を均一にサンプリングして、基礎点群モデルを取得するように構成され、基礎点群モデルをターゲット点群モデルに変形した後の各点の位置情報は、基礎点群モデルをターゲット点群モデルに変形した後の各点の位置オフセットであり、顕著性分布要求は、点分布密度がプリセットの密度値より大きいことを含み、顕著性領域内の点分布を密集させ、再構築される対象の詳細を具現できるようにする。

一開示された実施例において、顕著性領域決定モジュール６２は、さらに、トレーニングして第１ニューラルネットワークを取得するように構成される、トレーニングユニットを備える。いくつかの可能な実施形態において、トレーニングユニットは、サンプル画像およびサンプル対象の実の三次元メッシュモデルを取得し、ここで、サンプル画像は、サンプル対象を含み、サンプル画像に対して特徴抽出を実行し、サンプル特徴情報を取得し、基礎点群モデルをサンプル画像が位置する平面に投影して、基礎点群モデル内の各点に対応するサンプル特徴情報を決定し、第１ニューラルネットワークを使用して、基礎点群モデル内の各点に対応するサンプル特徴情報を処理し、基礎点群モデルが予測点群モデルに変形された後の各点の位置情報を取得し、実の三次元メッシュモデルに対してメッシュ簡略化を実行し、簡略化三次元メッシュモデルを取得し、予測点群モデル内の、簡略化三次元メッシュモデルの各頂点にマッチングする点を検索して、いくつかのグループのマッチング点ペアを取得し、各グループのマッチング点ペアの位置差異を使用して、第１ニューラルネットワークのパラメータを調整するように構成される。したがって、実の三次元メッシュモデルを監視して、平坦な領域のパッチが少ないように保証し、簡略化された実の三次元メッシュモデルの頂点を監督信号としてトレーニングし、トレーニングして得られた第１ニューラルネットワークは、ターゲット点群モデルの各点の位置情報を出力することができる。

一開示された実施例において、モデル取得モジュール６４は、決定ユニット、追加ユニット、取得ユニットを備える。モデル取得モジュール６４は、初期三次元メッシュモデルに対してメッシュ細分化を実行し、再構築される対象の最終的な三次元メッシュモデルを取得するように構成されるとき、決定ユニットは、本回のメッシュ細分化の前の三次元メッシュモデルを第１三次元メッシュモデルとして使用するように構成され、さらに、第１三次元メッシュモデルをターゲット画像が位置する平面に投影して、第１三次元メッシュモデル内の各頂点に対応するターゲット特徴情報を決定するように構成され、追加ユニットは、第１三次元メッシュモデルのターゲット領域に少なくとも１つの新しい頂点を追加するように構成され、ここで、本回のメッシュ細分化が、ローカルメッシュ細分化である場合、ターゲット領域は、少なくとも、顕著性領域を含み、取得ユニットは、第１三次元メッシュモデルの元頂点のターゲット特徴情報を使用して、細分化エッジに対応する新しい頂点のターゲット特徴情報を取得するように構成され、取得ユニットは、さらに、第１三次元メッシュモデルの元頂点および新しい頂点のターゲット特徴情報に基づいて、本回のメッシュ細分化された第２三次元メッシュモデルを取得するように構成される。したがって、まず、第１三次元メッシュモデルを投影してターゲット特徴情報を取得し、次に新しい頂点を追加し、第１三次元メッシュモデルの元頂点及び新しい頂点を使用して、細分化された後の第２三次元メッシュモデルを取得し、これによって、メッシュ細分化を実現し、再構築される対象の詳細を具現する。

一開示された実施例において、本回のメッシュ細分化が、ローカルメッシュ細分化である場合、追加ユニットは、第１三次元メッシュモデルのターゲット領域に少なくとも１つの新しい頂点を追加するように構成されるとき、さらに、第１三次元メッシュモデルで、顕著性領域に位置する少なくとも１つのエッジを細分化エッジとして使用し、細分化エッジで少なくとも１つの新しい頂点を決定するように構成される。したがって、顕著性領域の少なくとも１つのエッジを細分化エッジとして使用して、細分化エッジで新しい頂点を取得し、それにより、ローカルメッシュ細分化するとき、新しい頂点を決定する。

一開示された実施例において、顕著性領域は、いくつかの顕著点を含み、追加ユニットは、第１三次元メッシュモデルで、顕著性領域に位置する少なくとも１つのエッジを細分化エッジとして使用するように構成されるとき、さらに、第１三次元メッシュモデルで、各顕著点に位置がプリセットの位置条件を満たすエッジを検索して、細分化されるエッジとして使用し、第１三次元メッシュモデルのうち、各エッジが細分化されるエッジとして決定される回数を統計し、細分化されるエッジの回数がプリセットの細分化条件を満たすエッジを細分化エッジとして使用するように構成される。プリセットの位置条件は、顕著点の位置と最も近いことであり、プリセットの細分化条件は、細分化されるエッジの回数が、プリセットの回数より大きいもの、または、第１三次元メッシュモデルのすべてのエッジの回数が、大きいものから小さいものの順のソートにおいて、細分化されるエッジの回数が前のプリセットの数または前のプリセットの比率内にあるものである。したがって、顕著性領域内の各顕著点に細分化されるエッジを検索し、顕著点が一定の位置関係を満たすエッジに投票し、票数が一定の細分化条件を満たすエッジを細分化エッジとして使用して、新しい頂点の数をさらに減らし、ストレージを減らし、さらに、顕著点と最も近いエッジに投票し、票数の前の一定の比率または前の一定の数のエッジを細分化エッジとして使用し、それにより、最終的な細分化エッジは顕著点と近くすることができ、新しい頂点は、再構築される対象の詳細位置により近接する。

一開示された実施例において、メッシュ細分化は、さらに、三次元メッシュモデルの全体に対応してグローバルメッシュ細分化を実行することを含み、本回のメッシュ細分化が、グローバルメッシュ細分化である場合、追加ユニットは、第１三次元メッシュモデルのターゲット領域に少なくとも１つの新しい頂点を追加するように構成されるとき、さらに、第１三次元メッシュモデル内の各エッジをそれぞれ細分化エッジとして使用し、細分化エッジで少なくとも１つの新しい頂点を決定するように構成される。したがって、メッシュ細分化は、さらに、三次元メッシュモデルの全体に対応してグローバルメッシュ細分化を実行することを含み、グローバルメッシュ細分化して得られたメッシュモデルは、全体として詳細化される。

一開示された実施例において、追加ユニットは、さらに、細分化エッジの中点を新しい頂点として使用するように構成され、取得ユニットは、第１三次元メッシュモデルの元頂点のターゲット特徴情報を使用して、細分化エッジに対応する新しい頂点のターゲット特徴情報を取得するように構成されるとき、さらに、細分化エッジに対応する２つの元頂点のターゲット特徴情報を使用して、細分化エッジに対応する新しい頂点のターゲット特徴情報を取得するように構成される。したがって、細分化エッジの中点を新しい頂点として使用して、細分化エッジに対応する２つの元頂点のターゲット特徴情報を使用して、新しい頂点のターゲット特徴情報を取得することを容易にする。

一開示された実施例において、取得ユニットは、第１三次元メッシュモデルの元頂点および新しい頂点のターゲット特徴情報に基づいて、本回のメッシュ細分化された第２三次元メッシュモデルを取得するように構成されるとき、取得ユニットは、さらに、第２ニューラルネットワークを使用して、第１三次元メッシュモデルの元頂点および新しい頂点のターゲット特徴情報を処理し、第１三次元メッシュモデルを第１三次元メッシュモデルに変形した後の各頂点の位置情報を取得するように構成される。したがって、第２ニューラルネットワークを使用して、第１三次元メッシュモデルを第２三次元メッシュモデルに変形する。

一開示された実施例において、初期三次元メッシュモデル構築モジュール６３は、ターゲット特徴情報を使用して、再構築される対象の初期三次元メッシュモデルを構築するように構成されるとき、さらに、基礎三次元メッシュモデルをターゲット画像が位置する平面に投影して、基礎三次元メッシュモデル内の各頂点に対応するターゲット特徴情報を決定し、第２ニューラルネットワークを使用して、基礎三次元メッシュモデル内の各頂点に対応するターゲット特徴情報を処理し、基礎三次元メッシュモデルを初期三次元メッシュモデルに変形した後の各頂点の位置情報を取得するように構成され、ここで、各頂点の位置情報は、位置オフセットである。したがって、第２ニューラルネットワークを使用して、基礎三次元メッシュモデルを初期三次元メッシュモデルに変形して、再構築される対象を初期化し、再構築される対象の初期形状を具現することができる。

一開示された実施例において、ターゲット画像は、二次元画像であり、特徴抽出モジュール６１は、第３ニューラルネットワークを使用して、ターゲット画像に対して特徴抽出を実行し、いくつかの次元の特徴情報を取得し、いくつかの次元の特徴情報を融合してターゲット特徴情報を取得するように構成され、ここで、ターゲット特徴情報は、特徴テンソルである。したがって、第３ニューラルネットワークを使用して二次元のターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を指示する特徴テンソルを取得する。

図８を参照すると、図８は、本発明の電子機器８０の実施例のフレームワークの概略図である。電子機器８０は、互いに結合されるメモリ８１とプロセッサ８２を備え、プロセッサ８２は、メモリ８１に記憶されるプログラム命令を実行し、上記の任意の１つの三次元メッシュモデルの再構築方法実施例のステップを実現するように構成される。一具体的な実施シナリオにおいて、電子機器８０は、マイクロコンピュータ、サーバを含むがこれに限定されなく、なお、電子機器８０は、さらに、ラップトップ、タブレットなどのモバイル機器を含み得、ここでは限定しない。

具体的には、プロセッサ８２は、その自体およびメモリ８１を制御して、上記の任意の１つの三次元メッシュモデルの再構築方法実施例のステップを実現し、または、上記の任意の１つの画像検出方法実施例におけるステップを実現するように構成される。プロセッサ８２は、中央処理ユニット（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とも称し得る。プロセッサ８２は、信号の処理能力を有する集積回路チップであり得る。プロセッサ８２は、さらに、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または他のプログラマブルロジックデバイス、ディスクリートゲート、またはトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。汎用プロセッサは、マイクロプロセッサであり得、または当該プロセッサは、任意の従来のプロセッサなどであり得る。さらに、プロセッサ８２は、集積回路チップによって一緒に実現されることができる。

上記の技術案は、ターゲット画像のターゲット特徴情報を使用して、再構築される対象の顕著性領域を決定し、三次元メッシュモデルを再構築するとき、顕著性領域に対してメッシュ細分化を実行し、メッシュモデルの頂点数を減らし、顕著性領域におけるメッシュモデルの詳細が、一定の豊富さを有するようにする。

図９を参照すると、図９は、本発明のコンピュータ可読記憶媒体９０の実施例のフレームワークの概略図である。コンピュータ可読記憶媒体９０は、プロセッサによって実行されることができるプログラム命令９０１を記憶し、プログラム命令９０１は、上記の任意の１つの三次元メッシュモデルの再構築方法実施例のステップを実現するために使用される。

上記の技術案は、ターゲット画像のターゲット特徴情報を使用して、再構築される対象の顕著性領域を決定し、三次元メッシュモデルを再構築するとき、顕著性領域に対してメッシュ細分化を実行し、メッシュモデルの頂点数を減らし、顕著性領域におけるメッシュモデルの詳細が、一定の豊富さを有するようにする。

本発明の実施例による装置および機器が備える機能またはモジュールは、上記の方法の実施例で説明される方法を実行するために使用され得、特定の実現は、上記の方法の実施例における説明を参照することができ、簡潔にするために、ここで再び説明しないことを理解されたい。

上記の各実施例に対する説明は、各実施例の違いを強調する傾向があり、同じまたは類似性を互いに参照することができ、簡潔にするために、本明細書で再び説明しない。

本発明によるいくつかの実施例では、開示された方法および装置は、他の方法で実現されることができることを理解されたい。例えば、上記で説明された装置の実施形態は、例示的なものに過ぎず、例えば、モジュールまたはユニットの分割は、論理機能の分割に過ぎず、実際に実現することには、別の分割方式があり、例えば、ユニットまたはコンポーネントを別のシステムに統合または集積してもよいし、特徴の一部を無視するか実行しなくてもよい。さらに、表示または議論される相互結合、または直接結合、または通信接続は、いくつかのインターフェースを使用して実現することができ、装置またはユニット間の間接結合または通信接続は、電気的または機械的な形であってもよく、他の形であってもよい。

さらに、本発明の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、または各ユニットが、物理的に別々に存在してもよく、または２つまたは２つ以上のユニットが１つのユニットに統合されてもよい。前記統合されたユニットは、ハードウェアの形で実装されてもよく、ソフトウェア機能ユニットの形で実装されてもよい。

統合されたユニットが、ソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用される場合、コンピュータ可読記憶媒体に記憶されることができる。このような理解に基づいて、本発明の技術的解決策は、本質的にまたは先行技術に対して寄与する部分または前記技術的解決策のすべてまたは一部は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶され、１台のコンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器等であり得る）またはプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本発明の各実施形態の方法の全部または一部のステップを実行させるためのいくつかの命令を含む。上記した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。

本発明は、三次元メッシュモデルの再構築方法およびその装置、機器、並びに記憶媒体を提供し、ここで、前記方法は、ターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を取得することであって、ここで、前記ターゲット画像は、再構築される対象を含む、ことと、前記ターゲット特徴情報に基づいて、前記再構築される対象の顕著性領域を決定することと、前記顕著性領域に基づいて、前記再構築される対象の最終的な三次元メッシュモデルを構築することと、を含む。

Claims (12)

1. 三次元メッシュモデルの再構築方法であって、
   ターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を取得することであって、前記ターゲット画像は、再構築される対象を含む、ことと、
   前記ターゲット特徴情報を使用して、基礎点群モデルを前記ターゲット画像が位置する平面に投影して、前記基礎点群モデル内の各点に対応するターゲット特徴情報を決定することと、
   第１ニューラルネットワークを使用して、前記基礎点群モデル内の各点に対応するターゲット特徴情報を処理し、前記基礎点群モデルがターゲット点群モデルに変形された後の各点の位置情報を取得することと、
   前記ターゲット点群モデルの点分布状況を取得することと、
   前記ターゲット点群モデル内の、前記点分布状況が顕著性分布要求を満たす点群領域を検索して、前記ターゲット点群モデルの顕著性領域として使用することと、
   前記顕著性領域に基づいて、前記再構築される対象の最終的な三次元メッシュモデルを構築することと、を含み、
   前記顕著性領域に基づいて、前記再構築される対象の最終的な三次元メッシュモデルを構築することは、
   前記ターゲット特徴情報を使用して、前記再構築される対象の初期三次元メッシュモデルを構築することと、
   前記初期三次元メッシュモデルに対してメッシュ細分化を実行し、前記再構築される対象の前記最終的な三次元メッシュモデルを取得することであって、前記メッシュ細分化はローカルメッシュ細分化を含み、前記ローカルメッシュ細分化は、対応する前記顕著性領域に対して実行するものである、ことと、を含む、三次元メッシュモデルの再構築方法。
2. 前記基礎点群モデルを前記ターゲット画像が位置する平面に投影する前に、前記三次元メッシュモデルの再構築方法は、
   単位球内で点を均一にサンプリングして、前記基礎点群モデルを取得することをさらに含み、
   前記基礎点群モデルを前記ターゲット点群モデルに変形した後の各点の位置情報は、前記基礎点群モデルを前記ターゲット点群モデルに変形した後の各点の位置オフセットであり、
   前記顕著性分布要求は、点分布密度がプリセットの密度値より大きいことを含む、
   請求項１に記載の三次元メッシュモデルの再構築方法。
3. 前記三次元メッシュモデルの再構築方法は、トレーニングして前記第１ニューラルネットワークを取得するために、
   サンプル画像およびサンプル対象の実の三次元メッシュモデルを取得することであって、前記サンプル画像は、前記サンプル対象を含む、ことと、
   前記サンプル画像に対して特徴抽出を実行し、サンプル特徴情報を取得することと、
   前記基礎点群モデルを前記サンプル画像が位置する平面に投影して、前記基礎点群モデル内の各点に対応する前記サンプル特徴情報を決定することと、
   第１ニューラルネットワークを使用して、前記基礎点群モデル内の各点に対応するサンプル特徴情報を処理し、前記基礎点群モデルが予測点群モデルに変形された後の各点の位置情報を取得することと、
   前記実の三次元メッシュモデルに対してメッシュ簡略化を実行し、簡略化三次元メッシュモデルを取得することと、
   前記予測点群モデル内の、前記簡略化三次元メッシュモデルの各頂点にマッチングする点を検索して、いくつかのグループのマッチング点ペアを取得することと、
   各グループのマッチング点ペアの位置差異を使用して、前記第１ニューラルネットワークのパラメータを調整することと、をさらに含む、
   請求項１または２に記載の三次元メッシュモデルの再構築方法。
4. 前記初期三次元メッシュモデルに対してメッシュ細分化を実行し、前記再構築される対象の前記最終的な三次元メッシュモデルを取得することは、
   本回のメッシュ細分化を実行する前の三次元メッシュモデルを第１三次元メッシュモデルとすることと、
   前記第１三次元メッシュモデルを前記ターゲット画像が位置する平面に投影して、前記第１三次元メッシュモデル内の各頂点に対応する前記ターゲット特徴情報を決定することと、
   前記第１三次元メッシュモデルのターゲット領域に少なくとも１つの新しい頂点を追加することであって、前記ターゲット領域は、前記顕著性領域を少なくとも含む、ことと、
   前記第１三次元メッシュモデルの元頂点のターゲット特徴情報を使用して、細分化エッジに対応する新しい頂点のターゲット特徴情報を取得することと、
   前記第１三次元メッシュモデルの元頂点および新しい頂点のターゲット特徴情報に基づいて、本回のメッシュ細分化された第２三次元メッシュモデルを取得することと、を含む、
   請求項１に記載の三次元メッシュモデルの再構築方法。
5. 本回のメッシュ細分化が、前記ローカルメッシュ細分化である場合、前記第１三次元メッシュモデルのターゲット領域に少なくとも１つの新しい頂点を追加することは、
   前記第１三次元メッシュモデルで、前記顕著性領域に位置する少なくとも１つのエッジを細分化エッジとして使用することと、
   前記細分化エッジで少なくとも１つの新しい頂点を決定することと、を含む、
   請求項４に記載の三次元メッシュモデルの再構築方法。
6. 前記顕著性領域は、いくつかの顕著点を含み、前記第１三次元メッシュモデルで、前記顕著性領域に位置する少なくとも１つのエッジを細分化エッジとして使用することは、
   前記第１三次元メッシュモデルで、各前記顕著点に、プリセットの位置条件を満たすエッジを検索して細分化されるエッジとして使用することと、
   前記第１三次元メッシュモデルで、各エッジが前記細分化されるエッジとして決定される回数を統計することと、
   前記細分化されるエッジの回数がプリセットの細分化条件を満たすエッジを前記細分化エッジとして使用することと、を含み、
   前記プリセットの位置条件は、前記顕著点の位置と最も近いことであり、
   前記プリセットの細分化条件は、前記細分化されるエッジの回数が、プリセットの回数より大きいもの、または、前記第１三次元メッシュモデルのすべてのエッジの回数が、大きいものから小さいものの順のソートにおいて、前記細分化されるエッジの回数が前のプリセットの数または前のプリセットの比率内にあるものである、
   請求項５に記載の三次元メッシュモデルの再構築方法。
7. 前記メッシュ細分化は、さらに、グローバルメッシュ細分化を含み、前記グローバルメッシュ細分化は、対応する三次元メッシュモデルの全体に対して実行するものであり、本回のメッシュ細分化が、前記グローバルメッシュ細分化である場合、前記第１三次元メッシュモデルのターゲット領域に少なくとも１つの新しい頂点を追加することは、
   前記第１三次元メッシュモデル内の各エッジをそれぞれ細分化エッジとして使用することと、
   前記細分化エッジで少なくとも１つの新しい頂点を決定することであって、前記細分化エッジの中点を前記新しい頂点として使用することを含む、ことと、を含み、
   前記第１三次元メッシュモデルの元頂点のターゲット特徴情報を使用して、前記細分化エッジに対応する新しい頂点のターゲット特徴情報を取得することは、
   前記細分化エッジに対応する２つの前記元頂点のターゲット特徴情報を使用して、前記細分化エッジに対応する新しい頂点のターゲット特徴情報を取得することを含む、
   請求項４ないし６のいずれか一項に記載の三次元メッシュモデルの再構築方法。
8. 前記第１三次元メッシュモデルの元頂点および新しい頂点のターゲット特徴情報に基づいて、本回のメッシュ細分化された第２三次元メッシュモデルを取得することは、
   第２ニューラルネットワークを使用して、前記第１三次元メッシュモデルの元頂点および新しい頂点のターゲット特徴情報を処理し、前記第１三次元メッシュモデルを前記第１三次元メッシュモデルに変形した後の各頂点の位置情報を取得することを含み、
   前記ターゲット特徴情報を使用して、前記再構築される対象の初期三次元メッシュモデルを構築することは、
   基礎三次元メッシュモデルを前記ターゲット画像が位置する平面に投影して、前記基礎三次元メッシュモデル内の各頂点に対応する前記ターゲット特徴情報を決定することと、
   第２ニューラルネットワークを使用して、前記基礎三次元メッシュモデル内の各頂点に対応するターゲット特徴情報を処理し、前記基礎三次元メッシュモデルを前記初期三次元メッシュモデルに変形した後の各頂点の位置情報を取得することと、を含み、
   前記各頂点の位置情報は、位置オフセットである、
   請求項４ないし７のいずれか一項に記載の三次元メッシュモデルの再構築方法。
9. 前記ターゲット画像は、二次元画像である、および／または、
   前記ターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を取得することは、
   第３ニューラルネットワークを使用して、ターゲット画像に対して特徴抽出を実行し、いくつか次元の特徴情報を取得することであって、前記第３ニューラルネットワークは畳み込みニューラルネットワークである、ことと、
   前記いくつか次元の特徴情報を融合してターゲット特徴情報を取得することと、を含み、前記ターゲット特徴情報は、特徴テンソルである、
   請求項１ないし８のいずれか一項に記載の三次元メッシュモデルの再構築方法。
10. 三次元メッシュモデルの再構築装置であって、前記再構築装置は、特徴抽出モジュール、顕著性領域決定モジュール及びモデル構築モジュールを備え、
    前記特徴抽出モジュールは、ターゲット画像に対して特徴抽出を実行し、ターゲット特徴情報を取得するように構成され、前記ターゲット画像は再構築される対象を含み、
    前記顕著性領域決定モジュールは、前記ターゲット特徴情報を使用して、基礎点群モデルを前記ターゲット画像が位置する平面に投影して、前記基礎点群モデル内の各点に対応するターゲット特徴情報を決定し、第１ニューラルネットワークを使用して、前記基礎点群モデル内の各点に対応するターゲット特徴情報を処理し、前記基礎点群モデルがターゲット点群モデルに変形された後の各点の位置情報を取得し、前記ターゲット点群モデルの点分布状況を取得し、前記ターゲット点群モデル内の、前記点分布状況が顕著性分布要求を満たす点群領域を検索して、前記ターゲット点群モデルの顕著性領域として使用するように構成され、
    前記モデル構築モジュールは、前記顕著性領域に基づいて、前記再構築される対象の最終的な三次元メッシュモデルを構築するように構成され、
    前記モデル構築モジュールはさらに、前記ターゲット特徴情報を使用して、前記再構築される対象の初期三次元メッシュモデルを構築し、前記初期三次元メッシュモデルに対してメッシュ細分化を実行し、前記再構築される対象の前記最終的な三次元メッシュモデルを取得するように構成され、前記メッシュ細分化はローカルメッシュ細分化を含み、前記ローカルメッシュ細分化は、対応する前記顕著性領域に対して実行するものである、三次元メッシュモデルの再構築装置。
11. 互いに結合されるメモリとプロセッサとを備える電子機器であって、前記プロセッサは、前記メモリに記憶されるプログラム命令を実行し、請求項１ないし９のいずれか一項に記載の三次元メッシュモデルの再構築方法を実施する、電子機器。
12. コンピュータに請求項１ないし９のいずれか一項に記載の三次元メッシュモデルの再構築方法を実行させるためのプログラムを記憶した、コンピュータ可読記憶媒体。