TW202205215A - 三維網格模型的重建方法、電子設備、電腦可讀儲存介質 - Google Patents

Abstract

本發明公開了一種三維網格模型的重建方法、電子設備、電腦可讀儲存介質，該方法包括：對目標圖像進行特徵提取，得到目標特徵資訊；其中，所述目標圖像包含待重建對象；基於所述目標特徵資訊，確定所述待重建對象的顯著性區域；基於所述顯著性區域，構建所述待重建對象的最終三維網格模型。如此，利用反映待重建對象較多細節的顯著性區域，構建待重建對象的最終三維網格模型，可靈活重建到細節明顯的三維網格模型。

Description

三維網格模型的重建方法、電子設備、電腦可讀儲存介質

本發明關於人工智慧技術領域，特別是關於一種三維網格模型的重建方法、電子設備、電腦可讀儲存介質。

隨著電腦技術發展，對於物體的三維重建已應用於各領域中。三維重建通常是指將三維空間的物體或場景進行恢復和重構的技術，重建的模型可方便電腦表示、處理和顯示。在相關技術中，利用物體的多視角圖像恢復出三維物體的三維模型中，所體現的物體細節較為模糊。

本發明至少提供一種三維網格模型的重建方法、電子設備、電腦可讀儲存介質。

本發明第一方面提供了一種三維網格模型的重建方法，包括：對目標圖像進行特徵提取，得到目標特徵資訊；其中，所述目標圖像包含待重建對象；基於所述目標特徵資訊，確定所述待重建對象的顯著性區域；基於所述顯著性區域，構建所述待重建對象的最終三維網格模型。

因此，利用目標圖像的目標特徵資訊確定待重建對象的顯著性區域後，利用反映待重建對象較多細節的顯著性區域，構建待重建對象的最終三維網格模型，可靈活重建到細節明顯的三維網格模型。

其中，所述基於所述目標特徵資訊，確定所述待重建對象的顯著性區域，包括：利用所述目標特徵資訊，將基礎點雲模型變形為所述待重建對象對應的目標點雲模型；確定所述目標點雲模型的顯著性區域。

因此，能夠利用目標特徵資訊獲取對應待重建對象細節區域的顯著性區域，實現利用點雲模型變形得到顯著性區域。

其中，所述利用所述特徵資訊，將基礎點雲模型變形為所述待重建對象對應的目標點雲模型，包括：將所述基礎點雲模型投影至所述目標圖像所在平面，以確定所述基礎點雲模型中各點對應的所述目標特徵資訊；利用第一神經網路對所述基礎點雲模型中各點對應的目標特徵資訊進行處理，得到所述基礎點雲模型變形為所述目標點雲模型後的各點的位置資訊；所述確定所述目標點雲模型的顯著性區域，包括：獲取所述目標點雲模型的點分佈情況；查找出所述目標點雲模型中所述點分佈情況滿足顯著性分佈要求的點雲區域，以作為所述顯著性區域。

因此，通過第一神經網路實現點雲模型變形，並且利用目標點雲模型的點分佈情況確定顯著性區域。

其中，在所述將所述基礎點雲模型投影至所述目標圖像所在平面之前，所述方法還包括：在單位球內均勻採樣點，以得到所述基礎點雲模型；所述基礎點雲模型變形為所述目標點雲模型後的各點的位置資訊為：所述基礎點雲模型變形為所述目標點雲模型後的各點的位置偏移量；所述顯著性分佈要求包括點分佈密度大於預設密度值。

因此，對單位球進行均勻採樣點即可得到基礎點雲模型；第一神經網路輸出的點位置資訊為偏移量，可利用均勻採樣點和位置偏移量得到目標點雲模型的各點的位置資訊；且可以但不限於通過點分佈密度大於預設密度值確定顯著性區域，使得顯著性區域內的點分佈密集，更能夠體現待重建對象的細節。

其中，所述方法還包括以下步驟，以訓練得到所述第一神經網路：獲取樣本圖像和樣本對象的真實三維網格模型，其中，所述樣本圖像包含所述樣本對象；對所述樣本圖像進行特徵提取，得到樣本特徵資訊；將所述基礎點雲模型投影至所述樣本圖像所在平面，以確定所述基礎點雲模型中各點對應的所述樣本特徵資訊；利用第一神經網路對所述基礎點雲模型中各點對應的樣本特徵資訊進行處理，得到所述基礎點雲模型變形為所述預測點雲模型後的各點的位置資訊；對所述真實三維網格模型進行網格簡化，得到簡化三維網格模型；查找出所述預測點雲模型中與所述簡化三維網格模型的各頂點匹配的點，得到若干組匹配點對；利用每組匹配點對的位置差異，調整所述第一神經網路的參數。

因此，將真實三維網格模型進行監護，以保證平坦地方的面片比較少，再利用簡化後的真實三維網格模型的頂點作為監督信號進行訓練，訓練得到的第一神經網路可輸出目標點雲模型的各點的位置資訊。

其中，所述基於所述顯著性區域，構建所述待重建對象的最終三維網格模型，包括：利用所述目標特徵資訊構建得到所述待重建對象的初始三維網格模型；對所述初始三維網格模型進行網格細分，得到所述待重建對象的所述最終三維網格模型，其中，所述網格細分包括對應所述顯著性區域進行局部網格細分。

因此，在三維網格模型重建時，對顯著性區域進行網格細分，以減少網格模型的頂點數量，且使得網格模型在顯著性區域的細節具有一定豐富性。也即，在對應顯著性區域進行局部網格細分時，由於顯著性區域是反映待重建對象較多細節的區域，針對顯著性區域進行網格細分，不僅減少了網格模型的頂點數量，進而可減少三維網格模型的資料所需的儲存空間，而且使得重建得到的三維網格模型對應顯著性區域不會造成過度平滑，能夠較好體現細節，從而能夠重建較多細節的三維網格模型，且減少三維網格模型的資料所需的儲存空間。

其中，所述對所述初始三維網格模型進行網格細分，得到所述待重建對象的最終三維網格模型，包括：以進行本次網格細分之前的三維網格模型為第一三維網格模型；將所述第一三維網格模型投影至所述目標圖像所在平面，以確定所述第一三維網格模型中各頂點對應的所述目標特徵資訊；在所述第一三維網格模型的目標區域中增加至少一個新頂點；其中，所述目標區域至少包括所述顯著性區域；利用所述第一三維網格模型的原頂點的目標特徵資訊，得到所述細分邊對應的新頂點的目標特徵資訊；基於所述第一三維網格模型的原頂點和新頂點的目標特徵資訊，得到經本次網格細分後的第二三維網格模型。

因此，可先將第一三維網格模型投影得到目標特徵資訊，然後增加新頂點，利用第一三維網格模型的原頂點和新頂點得到細分後的第二三維網格模型，實現網格細分，體現待重建對象的細節。

其中，若本次網格細分為所述局部網格細分，則所述在所述第一三維網格模型的目標區域中增加至少一個新頂點，包括：在所述第一三維網格模型中，將位於所述顯著性區域的至少一條邊作為細分邊；在所述細分邊上確定至少一個新頂點。

因此，將顯著性區域的至少一條邊作為細分邊，在細分邊上得到新頂點，從而在局部網格細分時確定新頂點。

其中，所述顯著性區域包括若干顯著點；所述在所述第一三維網格模型中，將位於所述顯著性區域的至少一條邊作為細分邊，包括：在所述第一三維網格模型中，為每個所述顯著點查找出位置滿足預設位置條件的邊以作為待細分邊；統計所述第一三維網格模型中每條邊被確定為所述待細分邊的次數；將所述待細分邊的次數滿足預設細分條件的邊作為所述細分邊。

因此，為顯著性區域內每個顯著點查找出待細分邊，為與顯著點滿足一定位置關係的邊投票，將票數滿足一定細分條件的邊作為細分邊，從而進一步減少新頂點的數目，減少網格模型形變所需的記憶體。

其中，所述預設位置條件為與所述顯著點的位置最近；所述預設細分條件為所述待細分邊的次數大於預設次數，或者，在所述第一三維網格模型的所有邊從多到少的次數排序中，所述待細分邊的次數位於前預設數量或前預設比例內。

因此，為與顯著點最近的邊投票，將票數前一定比例或前一定數量的邊作為細分邊，從而最終的細分邊貼近顯著點，則新頂點更接近待重建對象的細節位置。

其中，所述網格細分還包括對應所述整個三維網格模型進行全域網格細分；若本次網格細分為所述全域網格細分，則所述在所述第一三維網格模型的目標區域中增加至少一個新頂點，包括：將所述第一三維網格模型中的每條邊分別作為細分邊；在所述細分邊上確定至少一個新頂點。

因此，網格細分還包括對應整個三維網格模型進行全域網格細分，全域網格細分得到的網格模型在整體上更加細節化。

其中，所述在所述細分邊上確定至少一個新頂點，包括：將所述細分邊的中點作為所述新頂點；所述利用所述第一三維網格模型的原頂點的目標特徵資訊，得到所述細分邊對應的新頂點的目標特徵資訊，包括：利用所述細分邊對應的兩個所述原頂點的目標特徵資訊，得到所述細分邊對應的新頂點的目標特徵資訊。

因此，將細分邊的中點為新頂點，方便利用對應細分邊的兩個原頂點的目標特徵資訊得到新頂點的目標特徵資訊。

其中，所述基於所述第一三維網格模型的原頂點和新頂點的目標特徵資訊，得到經本次網格細分後的第二三維網格模型，包括：利用第二神經網路對所述第一三維網格模型的原頂點和新頂點的目標特徵資訊進行處理，得到所述第一三維網格模型變形為所述第一三維網格模型後的各頂點的位置資訊。

因此，利用第二神經網路將第一三維網格模型變形為第二三維網格模型。

其中，所述利用所述目標特徵資訊構建得到所述待重建對象的初始三維網格模型，包括：將基礎三維網格模型投影至所述目標圖像所在平面，以確定所述基礎三維網格模型中各頂點對應的所述目標特徵資訊；利用第二神經網路對所述基礎三維網格模型中各頂點對應的目標特徵資訊進行處理，得到所述基礎三維網格模型變形為所述初始三維網格模型後的各頂點的位置資訊；其中，所述各頂點的位置資訊為位置偏移量。

因此，可利用第二神經網路將基礎三維網格模型變形為初始三維網格模型，完成對待重建對象初始化，體現待重建對象的初始形狀。

其中，所述目標圖像為二維圖像；和/或，所述對目標圖像進行特徵提取，得到目標特徵資訊，包括：利用第三神經網路對目標圖像進行特徵提取，得到若干維度的特徵資訊；將所述若干維度的特徵資訊融合得到目標特徵資訊，其中，所述目標特徵資訊為特徵張量。

因此，利用第三神經網路對二維的目標圖像進行特徵提取，獲取到指示於目標特徵資訊的特徵張量。

本發明第二方面提供了一種三維網格模型的重建裝置，包括：特徵提取模組，配置為對目標圖像進行特徵提取，得到目標特徵資訊；其中，所述目標圖像包含待重建對象；顯著性區域確定模組，配置為基於所述目標特徵資訊，確定所述待重建對象的顯著性區域；模型構建模組，配置為基於所述顯著性區域，構建所述待重建對象的最終三維網格模型。

本發明第三方面提供了一種電子設備，包括相互耦接的記憶體和處理器，處理器用於執行記憶體中儲存的程式指令，以實現上述第一方面中的三維網格模型的重建方法。

本發明第四方面提供了一種電腦可讀儲存介質，其上儲存有程式指令，程式指令被處理器執行時實現上述第一方面中的三維網格模型的重建方法。

上述方案，利用目標圖像的目標特徵資訊確定待重建對象的顯著性區域，在三維網格模型重建時，對顯著性區域進行網格細分，以減少網格模型的頂點數量，且使得網格模型在顯著性區域的細節具有一定豐富性。也即，在對應顯著性區域進行局部網格細分時，由於顯著性區域是反映待重建對象較多細節的區域，針對顯著性區域進行網格細分，不僅減少了網格模型的頂點數量，進而可減少三維網格模型的資料所需的儲存空間，而且使得重建得到的三維網格模型對應顯著性區域不會造成過度平滑，能夠較好體現細節，從而能夠重建較多細節的三維網格模型，且減少三維網格模型的資料所需的儲存空間。

應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。

下面結合說明書附圖，對本發明實施例的方案進行詳細說明。

以下描述中，為了說明而不是為了限定，提出了諸如特定系統結構、介面、技術之類的具體細節，以便透徹理解本發明。

本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中字元“/”，一般表示前後關聯對象是一種“或”的關係。此外，本文中的“多”表示兩個或者多於兩個。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。

請參閱圖1A，圖1A是本發明三維網格模型的重建方法一實施例的流程示意圖。具體而言，可以包括如下步驟。

步驟S11：對目標圖像進行特徵提取，得到目標特徵資訊。

本發明實施例中，目標圖像包含待重建對象。三維網格模型的重建方法的執行主體可以是三維網格模型的重建裝置，例如，三維網格模型的重建方法可以由終端設備或伺服器或其它處理設備執行，其中，終端設備可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該三維網格模型的重建方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。

待重建對象可以是飛機、建築、人、動物等，本發明實施例對此不作具體限定。目標圖像可以為二維圖像，例如為單視角拍攝的單視圖等，對目標圖像的具體形式不作具體限定，能夠包含待重建對象的特徵資訊即可。由於目標圖像包含待重建對象，因此對目標圖像進行特徵提取，得到對應於待重建對象的目標特徵資訊。目標特徵資訊指示於待重建對象的特徵，也即，目標特徵資訊可包括待重建對象的整體特徵資訊和局部特徵資訊，在一實際應用場景中，可自訂選取部分特徵資訊作為目標特徵資訊，且目標特徵資訊的表現形式不作具體限定，包含待重建對象的特徵資訊即可。

在一公開實施例中，對目標圖像進行特徵提取，得到目標特徵資訊時，利用第三神經網路對目標圖像進行特徵提取，得到若干維度的特徵資訊；將若干維度的特徵資訊融合得到目標特徵資訊。第三神經網路可以為能夠進行圖像特徵提取的任意神經網路，包括但不限於卷積神經網路。因此，利用第三神經網路對目標圖像進行特徵提取，獲取到體現特徵資訊的目標特徵資訊。

在一公開實施例中，第三神經網路為卷積神經網路，卷積神經網路包括若干卷積層和池化層，每預設數量卷積層後使用池化層，以在特徵提取時實現特徵降維。將目標圖像輸入卷積神經網路，卷積神經網路的第一層卷積層獲取到與目標圖像尺寸大小相同的特徵資訊，第二層卷積層獲取到目標圖像二分之一尺寸大小的特徵資訊；以此類推，後一層卷積層所得到的特徵資訊的尺寸大小是鄰近前一層卷積層所得到的特徵資訊的尺寸大小的一半，從而獲取到若干維度的特徵資訊。目標特徵資訊可以由所有維度的特徵資訊融合得到，也可以由部分維度的特徵資訊融合得到，且特徵融合的實現方式不作具體限定。若干維度的特徵資訊對應於不同尺寸大小的情況下，為方便特徵資訊的融合，將若干維度的特徵資訊歸一化為與目標圖像相同尺寸大小的特徵資訊，將歸一化後的特徵資訊融合得到目標特徵資訊。

目標特徵資訊為特徵張量，目標圖像為二維圖像的情況下，為方便後續利用特徵張量實現特徵資訊進行融合，特徵張量與二維圖像的尺寸大小相同。同樣將若干維度的特徵資訊歸一化為與目標圖像相同尺寸大小的特徵資訊，將歸一化後的特徵資訊融合得到特徵張量，從而將不同尺寸的特徵資訊融合為與二維圖像的尺寸大小相同的特徵張量。

步驟S12：基於目標特徵資訊，確定待重建對象的顯著性區域。

顯著性區域指示於待重建對象的曲率變化大、細節較多的區域，例如，待重建對象為飛機，則顯著性區域可以為螺旋槳對應區域、機翼與機身連接區域、彎折曲率變化大的區域等，而機身等平滑區域則為非顯著性區域；待重建對象為汽車，則顯著性區域可以為輪胎、車燈、後視鏡等對應區域。目標特徵資訊包含待重建對象的特徵資訊，用於後續實現特徵資訊的融合。顯著性區域可通過二維座標資訊、三維座標資訊和顏色標識資訊等體現。例如，顯著性區域為座標資訊時，可將座標密集區域作為顯著性區域；顯著性區域為顏色標識資訊時，可通過顏色深淺指示細節多少，將深色的顏色標識資訊所在區域作為顯著性區域。

為了能夠利用目標特徵資訊獲取對應待重建對象細節區域的顯著性區域，實現利用點雲模型變形得到顯著性區域，在一公開實施例中，顯著性區域通過點雲表達，利用點雲預測待重建對象的細節特徵分佈，使得點雲模型的點聚集在顯著性區域。圖2是本發明三維網格模型的重建方法一實施例步驟S12的流程示意圖。具體而言，步驟S12可以包括如下步驟。

步驟S121：利用目標特徵資訊，將基礎點雲模型變形為待重建對象對應的目標點雲模型。

基礎點雲模型為預先獲取或設定的模型，且基礎點雲模型上的點均勻分佈，任何目標圖像所對應的基礎點雲模型是一致的。基礎點雲模型由單位球、橢球三維網格等均勻採樣點所得，由不存在連接關係的一個個點構成。基礎點雲模型均勻分佈的點利用目標特徵資訊融合特徵資訊後，點的位置發生偏移，使得基礎點雲模型變形為目標點雲模型。目標點雲模型上點的分佈情況對應於待重建對象，能夠反映待重建對象的特徵，從而目標點雲模型指示於待重建對象的整體形狀和細節。在一些可能的實現方式中，將基礎點雲模型投影至目標圖像所在平面，以確定基礎點雲模型中各點對應的目標特徵資訊；利用第一神經網路對基礎點雲模型中各點對應的目標特徵資訊進行處理，得到基礎點雲模型變形為目標點雲模型後的各點的位置資訊，從而通過第一神經網路實現點雲模型變形。其中，第一神經網路為通過深度學習得到目標點雲模型的各點的位置資訊的任意神經網路，能夠實現點雲模型變形即可，在本發明實施例中，第一神經網路包括但不限於卷積神經網路。

基礎點雲模型變形為目標點雲模型後的各點的位置資訊可以為但不限於各點的位置偏移量、位置偏移路徑等用於實現點位置更新的資料。在一公開實施例中，基礎點雲模型變形為目標點雲模型後的各點的位置資訊可以為各點的位置偏移量，利用基礎點雲模型的點的位置資訊和位置偏移量，計算得到目標點雲模型上點的位置資訊；在另一公開實施例中，基礎點雲模型變形為目標點雲模型後的各點的位置資訊可以為各點的位置偏移路徑，例如，位置偏移路徑為但不限於擁有方向和長度的向量值，基礎點雲模型的點沿著位置偏移路徑至目標點雲模型上各點的位置資訊。

其中，第一神經網路是利用樣本圖像和樣本對象的真實三維網格模型等資料集訓練得到的。在一些可能的實現方式中，獲取樣本圖像和樣本對象的真實三維網格模型，其中，樣本圖像包含樣本對象；對樣本圖像進行特徵提取，得到樣本特徵資訊；將基礎點雲模型投影至樣本圖像所在平面，以確定基礎點雲模型中各點對應的樣本特徵資訊；利用第一神經網路對基礎點雲模型中各點對應的樣本特徵資訊進行處理，得到基礎點雲模型變形為預測點雲模型後的各點的位置資訊，上述步驟的相關描述與步驟S11和步驟S12類似，在此不再贅述。獲取到預測點雲模型的各點的位置資訊後，對真實三維網格模型進行網格簡化，得到簡化三維網格模型；查找出預測點雲模型中與簡化三維網格模型的各頂點匹配的點，得到若干組匹配點對；利用每組匹配點對的位置差異，調整第一神經網路的參數。

真實三維網格模型指示於樣本對象的三維網格模型，實際樣本圖像作為目標圖像，利用本發明三維網格模型的重建方法所獲得的待重建對象的最終三維網格模型越接近真實三維網格模型，表明三維網格模型的重建方法的還原度越高。上述第一神經網路的訓練過程中，將真實三維網格模型進行監護，以保證平坦地方的面片比較少，再利用簡化後的真實三維網格模型的頂點作為監督信號進行訓練，訓練得到的第一神經網路可輸出目標點雲模型的各點的位置資訊。

步驟S122：確定目標點雲模型的顯著性區域。

目標點雲模型上分佈著疏密程度不一的點，根據點的分佈情況可以確定顯著性區域。在一些可能的實現方式中，獲取目標點雲模型的點分佈情況；查找出目標點雲模型中點分佈情況滿足顯著性分佈要求的點雲區域，以作為顯著性區域，從而通過點雲表達中的點分佈情況，利用點雲預測待重建對象的細節特徵分佈，將滿足顯著性分佈要求的點雲區域作為顯著性區域即可。顯著性分佈要求可根據需要予以設定，包括但不限於將點分佈密度大於預設密度值的區域作為顯著性區域，其中，預設密度值可自訂設置。

在一應用實施例中，在單位球內均勻採樣點，以得到基礎點雲模型後，將基礎點雲模型投影至目標圖像所在平面，以確定基礎點雲模型中各點對應的目標特徵資訊；利用卷積神經網路對基礎點雲模型中各點對應的目標特徵資訊進行處理，得到基礎點雲模型變形為目標點雲模型後的各點的位置偏移量；利用基礎點雲模型的點的位置資訊和位置偏移量，計算得到目標點雲模型上點的位置資訊；獲取目標點雲模型的點分佈情況；查找出目標點雲模型中點分佈密度大於預設密度值的區域作為顯著性區域，從而使得顯著性區域內的點分佈密集，更能夠體現待重建對象的細節。

因此，利用目標特徵資訊，將基礎點雲模型變形為待重建對象對應的目標點雲模型，然後確定目標點雲模型的顯著性區域，從而能夠利用目標特徵資訊獲取對應待重建對象細節區域的顯著性區域，實現利用點雲模型變形得到顯著性區域。

步驟S13：根據顯著性區域，構建待重建對象的最終三維網格模型。

最終三維網格模型可通過網格細分、顯著點雲等單一或組合的三維網格模型構建方法實現得到，在此不作限定。由於顯著性區域是反映待重建對象較多細節的區域，可靈活根據顯著性區域進行最終三維網格模型的構建，例如但不限於，僅針對顯著性區域進行網格細分；或者，先利用目標特徵資訊構建得到待重建對象的初始三維網格模型，再對初始三維網格模型進行網格細分。

通過上述方式，對包含待重建對象的目標圖像進行特徵提取，得到目標特徵資訊，從而利用目標特徵資訊，確定待重建對象的顯著性區域，進而在獲取顯著性區域後，即可利用顯著性區域構建待重建對象的最終三維網格模型，能夠靈活利用顯著性區域重建到細節明顯的三維網格模型。

在本發明實施例中，可以通過如圖1B所示的網路架構，實現對待重建對象的三維重建，圖1B是本申請實施例三維網格模型的重建方法的一種網路架構示意圖，該網路架構中包括：使用者終端201、網路202和三維網格模型的重建終端203。為實現支撐一個示例性應用使用者終端201和三維網格模型的重建終端203通過網路202建立有通信連接，使用者終端201需要對包括待重建對象的目標圖像進行三維重建時，首先，將目標圖像通過網路202發送至三維網格模型的重建終端203；然後，三維網格模型的重建終端203通過對該目標圖像進行特徵提取，得到目標特徵資訊，並基於該目標特徵資訊，確定待重建對象的顯著性區域；最後，三維網格模型的重建終端203通過該顯著性區域，實現對待重建對象的三維重建，得到待重建對象的最終三維網格模型。如此，在目標圖像上確定待重建對象的顯著性區域後，基於細節較多的顯著性區域，構建待重建對象的最終三維網格模型，能夠得到細節較為明顯的最終三維網格模型。

為了在對顯著性區域進行網格細分時，減少網格模型的頂點數量，且使得網格模型在顯著性區域的細節具有一定豐富性。根據顯著性區域，構建待重建對象的最終三維網格模型時，利用目標特徵資訊構建得到待重建對象的初始三維網格模型；對初始三維網格模型進行網格細分，得到待重建對象的最終三維網格模型，其中，網格細分包括對應顯著性區域進行局部網格細分。請參閱圖3，圖3是本發明三維網格模型的重建方法另一實施例的流程示意圖。具體而言，可以包括如下步驟。

步驟S21：對目標圖像進行特徵提取，得到目標特徵資訊。

上述步驟S21中，目標圖像包含待重建對象。

步驟S22：基於目標特徵資訊，確定待重建對象的顯著性區域。

上述步驟S21和步驟S22的說明可參閱上圖1A所示的步驟S11和步驟S12的具體描述，在此不做贅述。

步驟S23：利用目標特徵資訊構建得到待重建對象的初始三維網格模型。

初始三維網格模型為進行網格形變之前的簡單的三維網格模型，體現待重建對象的初始整體形狀和細節。初始三維網格模型均由頂點、邊和麵構成。可以理解的，步驟S22中基於目標特徵資訊所確定的顯著性區域時，是由若干個無連接關係的點分佈反映待重建對象的初始整體形狀和細節，而步驟S23中利用目標特徵資訊構建得到的待重建對象的初始三維網格模型時，是由頂點、邊和麵共同反映待重建對象的初始整體形狀和細節。

為利用深度學習實現網格模型形變，在一公開實施例中，將基礎三維網格模型投影至目標圖像所在平面，以確定基礎三維網格模型中各頂點對應的目標特徵資訊；利用第二神經網路對基礎三維網格模型中各頂點對應的目標特徵資訊進行處理，得到基礎三維網格模型變形為初始三維網格模型後的各頂點的位置資訊；其中，各頂點的位置資訊可以為位置偏移量，從而可利用第二神經網路將基礎三維網格模型變形為初始三維網格模型，完成對待重建對象初始化，體現待重建對象的初始形狀。

基礎三維網格模型和初始三維網格模型均由頂點、邊和麵構成，且基礎三維網格模型上頂點的位置經偏移後形成初始三維網格模型上頂點的位置，使得原本均勻分佈的頂點偏移到與待重建對象整體形狀和細節接近的位置上。第二神經網路為通過深度學習得到三維網格模型的各頂點的位置資訊的任意神經網路，能夠實現網格模型形變即可，具體的，第二神經網路包括但不限於圖卷積神經網路。圖卷積神經網路包含的輸入層、隱含層、輸出層的維度數量可自訂設置，在此不作具體限定。第二神經網路為能夠獲取各頂點位置資訊的神經網路，本步驟中，能夠根據目標特徵資訊對基礎三維網格模型進行多次形變，使得初始三維網格模型的頂點位置不斷逼近待重建對象真實頂點的位置。

在一個實施場景中，上述步驟S22和步驟S23可以按照先後循序執行，例如，先執行步驟S22，後執行步驟S23；或者，先執行步驟S23，後執行步驟S22。在另一個實施場景中，上述步驟S22和步驟S23還可以同時執行，具體可以根據實際應用進行設置，在此不做限定。

步驟S24：對初始三維網格模型進行網格細分，得到待重建對象的最終三維網格模型。

上述步驟S24中，網格細分包括對應顯著性區域進行局部網格細分。

經過步驟S22和步驟S23後，獲取到初始三維網格模型和顯著性區域，從而利用顯著性區域引導初始三維網格模型的網格細分，由於顯著性區域對應於待重建對象的部分區域，因此可以僅將對應顯著性區域的區域作為網格細分的對象，可以較好的反應出對應顯著性區域的細節資訊，而較為平整的區域用較大的網格表示，減少記憶體消耗；進行局部網格細分時，僅在指示於多細節的顯著性區域引入網格細分，更為有效的反應待重建對象固有的特徵，不會造成過度平滑。為使得模型展現出較真實的幾何細節，在一公開實施例中，顯著性區域為利用目標特徵資訊得到的點雲分佈，初始三維網格模型為利用目標特徵資訊得到的網格分佈，綜合利用顯著性區域引導對初始三維網格模型的網格細分結合了點雲表達和網格表格兩種模型表達方式。

可以理解的，在一公開實施例中，對初始三維網格模型進行網格細分時，可進行全域網格細分和局部網格細分，其中，全域網格細分對應整個三維網格模型，而局部網格細分對應顯著性區域，且全域網格細分和局部網格細分的順序和每種網格細分的次數均不作具體限定。

上述方案，利用目標圖像的目標特徵資訊確定待重建對象的顯著性區域，在三維網格模型重建時，對顯著性區域進行網格細分，以減少網格模型的頂點數量，且使得網格模型在顯著性區域的細節具有一定豐富性。也即，在對應顯著性區域進行局部網格細分時，由於顯著性區域是反映待重建對象較多細節的區域，針對顯著性區域進行網格細分，不僅減少了網格模型的頂點數量，進而可減少三維網格模型的資料所需的儲存空間，而且使得重建得到的三維網格模型對應顯著性區域不會造成過度平滑，能夠較好體現細節，從而能夠重建較多細節的三維網格模型，且減少三維網格模型的資料所需的儲存空間。

在一公開實施例中，網格細分可全域網格細分和/或局部網格細分，為清楚描述本發明最終三維網格模型的網格細分過程，圖4是本發明三維網格模型的重建方法另一實施例步驟S24的一流程示意圖，圖5是本發明三維網格模型的重建方法另一實施例步驟S24的另一流程示意圖，且圖4對應局部網格細分，圖5對應全域網格細分。

如圖4所示，本發明利用目標圖像的特徵資訊確定待重建對象的顯著性區域後，在三維網格模型重建時，對顯著性區域進行局部網格細分中步驟S24包括以下步驟。

步驟S241a：以進行本次網格細分之前的三維網格模型為第一三維網格模型。

在第一次進行網格細分時，第一三維網格模型為初始三維網格模型，後續每次網格細分時，則以本次網格細分之前的三維網格模型作為第一三維網格模型即可。可以理解的，本次網格細分之前的三維網格模型可以是局部網格細分的結果，也可以是全域網格細分的結果。

步驟S242a：將第一三維網格模型投影至目標圖像所在平面，以確定第一三維網格模型中各頂點對應的目標特徵資訊。

目標圖像所在平面配置為將投影的各頂點與對應的目標特徵資訊進行匹配融合，從而得到各頂點對應的目標特徵資訊。

步驟S243a：在第一三維網格模型的目標區域中增加至少一個新頂點。

第一三維網格模型由頂點、邊和麵組成。若本次網格細分為局部網格細分，則目標區域對應於反映待重建對象的細節區域的顯著性區域。確定第一三維網格模型的目標區域後，在第一三維網格模型的目標區域中增加至少一個新頂點。新頂點的個數以及新頂點的具體位置不作具體限定，且新頂點配置為連接後形成新的邊和麵。因此本發明局部網格細分選擇性地對待重建對象的細節區域進行網格細分，可減少網格模型形變時的新頂點數量。

在一公開實施例中，在第一三維網格模型的目標區域中增加至少一個新頂點時，在第一三維網格模型中，將位於顯著性區域的至少一條邊作為細分邊；在細分邊上確定至少一個新頂點，得到局部網格細分的新頂點。從顯著性區域內的若干邊中，選中至少一條邊作為細分邊，每條細分邊上確定至少一個新頂點，不同細分邊上確定的新頂點數量可相同或不同，最終使得新頂點連接後形成新的邊和麵並可用於網格細分即可。在一應用場景中，細分邊可以為顯著性區域的所有細分邊，可以為顯著性區域內的部分細分邊。

為使本次網格細分形成的新頂點更接近待重建對象的實際頂點位置，進而使得最終的三維網格模型細節更好。在一公開實施例中，在第一三維網格模型中，將位於顯著性區域的至少一條邊作為細分邊時，在第一三維網格模型中，為每個顯著點查找出位置滿足預設位置條件的邊以作為待細分邊，顯著性區域包括若干顯著點，從而獲取若干待細分邊；統計第一三維網格模型中每條邊被確定為待細分邊的次數；將待細分邊的次數滿足預設細分條件的邊作為細分邊，從而為顯著性區域內每個顯著點查找出待細分邊，為與顯著點滿足一定位置關係的邊投票，將票數滿足一定細分條件的邊作為細分邊，從而進一步減少新頂點的數目，減少網格模型形變所需的記憶體佔用。

預設位置條件包括但不限於為與顯著點的位置最近，也即將與顯著點的位置最近的邊作為待細分邊；與顯著點對應位置重合，也即，顯著點對應位置所在的邊作為待細分邊。因此，為與顯著點最近的邊投票，將票數前一定比例或前一定數量的邊作為細分邊，從而最終的細分邊貼近顯著點，則新頂點更接近待重建對象的細節位置。

由於顯著性區域包括若干顯著點。每個顯著點根據預設位置條件獲取待細分邊後，不同顯著點所確定的待細分邊可能相同或不同。確定所有待細分邊後，可將所有待細分邊作為細分邊，也可以選擇部分待細分邊作為細分邊，在此不作限定。在一公開實施例中，預設細分條件為待細分邊的次數大於預設次數，或者，在第一三維網格模型的所有邊從多到少的次數排序中，待細分邊的次數位於前預設數量或前預設比例內。

步驟S244a：利用第一三維網格模型的原頂點的目標特徵資訊，得到細分邊對應的新頂點的目標特徵資訊。

在確定細分邊後可依據預設規則確定新頂點，預設規則包括但不限於可將細分邊的中點作為新頂點，距離左側頂點三分之一位置作為新頂點等，從而利用第一三維網格模型的原頂點的目標特徵資訊，得到細分邊對應的新頂點的目標特徵資訊時，具體為利用細分邊對應的兩個原頂點的目標特徵資訊，得到細分邊對應的新頂點的目標特徵資訊。

在一公開實施例中，將細分邊的中點作為新頂點時，將兩個原頂點的目標特徵資訊的平均值作為新頂點的目標特徵資訊。因此，將細分邊的中點為新頂點，方便利用對應細分邊的兩個原頂點的目標特徵資訊得到新頂點的目標特徵資訊。

步驟S245a：基於第一三維網格模型的原頂點和新頂點的目標特徵資訊，得到經本次網格細分後的第二三維網格模型。

網格細分時，將第一三維網格模型變形為第二三維網格模型，在一些可能的實現方式中，第二三維網格模型的頂點數量大於第一三維網格模型，也即第二三維網格模型包括新頂點以及第一三維網格模型的原頂點，通過更多頂點反映待重建對象的特徵，實現由粗到細的形變。可以理解的，網格模型形變可以不斷以進行本次網格細分之前的三維網格模型為第一三維網格模型，將第一三維網格模型變形為第二三維網格模型，不斷反覆運算進行網格細分以實現細節體現。

基於第一三維網格模型的原頂點和新頂點的目標特徵資訊，即可得到經本次網格細分後的第二三維網格模型。在一些可能的實現方式中，可利用第二神經網路對第一三維網格模型的原頂點和新頂點的目標特徵資訊進行處理，得到第一三維網格模型變形為第一三維網格模型後的各頂點的位置資訊，從而利用第二神經網路將第一三維網格模型變形為第二三維網格模型。其中，位置資訊包括但不限於位置偏移量。第二神經網路為通過深度學習得到三維網格模型的各頂點的位置資訊的任意神經網路，能夠實現網格模型形變即可，具體的，第二神經網路包括但不限於圖卷積神經網路。圖卷積神經網路包含的輸入層、隱含層、輸出層的維度數量可自訂設置，在此不作具體限定。第二神經網路為能夠獲取各頂點位置資訊的神經網路，在本步驟中，能夠根據目標特徵資訊對第一三維網格模型進行多次形變，使得第二三維網格模型的頂點位置不斷逼近待重建對象真實頂點的位置。

因此，可先將第一三維網格模型投影得到目標特徵資訊，然後增加新頂點，利用第一三維網格模型的原頂點和新頂點得到細分後的第二三維網格模型，實現網格細分，體現待重建對象的細節。

在一公開實施例中，除了局部網格細分，網格細分還包括對應整個三維網格模型進行全域網格細分。如圖5所示，本發明利用目標圖像的特徵資訊確定待重建對象的顯著性區域後，在三維網格模型重建時，對顯著性區域進行全域網格細分中步驟S24包括以下步驟。

步驟S241b：以進行本次網格細分之前的三維網格模型為第一三維網格模型。

步驟S242b：將第一三維網格模型投影至目標圖像所在平面，以確定第一三維網格模型中各頂點對應的目標特徵資訊。

步驟S243b：將第一三維網格模型中的每條邊分別作為細分邊；在細分邊上確定至少一個新頂點。

與對第一三維網格模型進行局部網格細分時目標區域至少包括顯著性區域不同，本次網格細分為全域網格細分，目標區域對應於整個第一三維網格模型。因此，將第一三維網格模型中的每條邊分別作為細分邊；在細分邊上確定至少一個新頂點即可。

步驟S244b：利用第一三維網格模型的原頂點的目標特徵資訊，得到細分邊對應的新頂點的目標特徵資訊。

步驟S245b：基於第一三維網格模型的原頂點和新頂點的目標特徵資訊，得到經本次網格細分後的第二三維網格模型。

可以理解的，全域網格細分和局部網格細分的目標區域不同，目標區域指示於要進行網格細分的區域。若本次網格細分為全域網格細分，目標區域對應於整個第一三維網格模型；若本次網格細分為局部網格細分，目標區域至少包括顯著性區域。除步驟S243b中將第一三維網格模型中的每條邊分別作為細分邊；在細分邊上確定至少一個新頂點外，全域網格細分其餘步驟S241b、步驟S242b、步驟S244b和步驟S245b可參考局部網格細分的相關描述，在此不做贅述。

基於全域網格細分做由粗到細的三維網格形變時，可均勻細分整個三維網格模型，整體上提到三維網格模型的細節精度。基於局部網格細分做三維網格形變時，僅對顯著性區域做由粗到細的網格細分，能夠減少網格模型形變時所需的記憶體消耗，較好解決均勻細分導致最終的三維網格模型過度平滑的問題，使得在顯著性區域的細節具有一定豐富性。

對初始三維網格模型進行網格細分時，可進行全域網格細分和/或局部網格細分，其中，全域網格細分對應整個三維網格模型，而局部網格細分對應顯著性區域，若進行全域網格細分和局部網格細分，則全域網格細分和局部網格細分的順序和每種網格細分的次數均不作具體限定。

本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。

請參閱圖6，圖6是本發明三維網格模型的重建裝置60一實施例的框架示意圖。三維網格模型的重建裝置60包括特徵提取模組61、顯著性區域確定模組62、模型構建模組63。特徵提取模組61配置為對目標圖像進行特徵提取，得到目標特徵資訊，其中，目標圖像包含待重建對象；顯著性區域確定模組62配置為基於目標特徵資訊，確定待重建對象的顯著性區域；模型構建模組63配置為根據顯著性區域，構建待重建對象的最終三維網格模型。

上述方案，特徵提取模組61對包含待重建對象的目標圖像進行特徵提取，得到目標特徵資訊，從而顯著性區域確定模組62利用目標特徵資訊，確定待重建對象的顯著性區域，進而模型構建模組63在獲取顯著性區域後，即可利用顯著性區域構建待重建對象的最終三維網格模型。

在一些實施例中，該模型構建模組63可進一步包括初始三維網格模型構建模組和模型獲取模組，以實現利用顯著性區域構建待重建對象的最終三維網格模型。例如，請參閱圖7，圖7是本發明三維網格模型的重建裝置70另一實施例的框架示意圖。三維網格模型的重建裝置70包括特徵提取模組71、顯著性區域確定模組72、初始三維網格模型構建模組73和模型獲取模組74，特徵提取模組71配置為對目標圖像進行特徵提取，得到目標特徵資訊；顯著性區域確定模組72，配置為基於目標特徵資訊，確定待重建對象的顯著性區域；初始三維網格模型構建模組73，配置為利用目標特徵資訊構建得到待重建對象的初始三維網格模型；模型獲取模組74，配置為對初始三維網格模型進行網格細分，得到待重建對象的最終三維網格模型，其中，網格細分包括對應顯著性區域進行局部網格細分。

上述方案，顯著性區域確定模組72利用目標圖像的目標特徵資訊確定待重建對象的顯著性區域，模型獲取模組74在三維網格模型重建時，對顯著性區域進行網格細分，以減少網格模型的頂點數量，且使得網格模型在顯著性區域的細節具有一定豐富性。也即，在對應顯著性區域進行局部網格細分時，由於顯著性區域是反映待重建對象較多細節的區域，針對顯著性區域進行網格細分，不僅減少了網格模型的頂點數量，進而可減少三維網格模型的資料所需的儲存空間，而且使得重建得到的三維網格模型對應顯著性區域不會造成過度平滑，能夠較好體現細節，從而能夠重建較多細節的三維網格模型。

請繼續參閱圖6，在一公開實施例中，顯著性區域確定模組62包括變形單元和確定單元，變形單元配置為利用目標特徵資訊，將基礎點雲模型變形為待重建對象對應的目標點雲模型；確定單元配置為確定目標點雲模型的顯著性區域。因此，能夠利用目標特徵資訊獲取對應待重建對象細節區域的顯著性區域，實現利用點雲模型變形得到顯著性區域。

在一公開實施例中，變形單元配置為利用目標特徵資訊，將基礎點雲模型變形為待重建對象對應的目標點雲模型時，變形單元還配置為將基礎點雲模型投影至目標圖像所在平面，以確定基礎點雲模型中各點對應的目標特徵資訊；利用第一神經網路對基礎點雲模型中各點對應的目標特徵資訊進行處理，得到基礎點雲模型變形為目標點雲模型後的各點的位置資訊。確定單元配置為確定目標點雲模型的顯著性區域時，還配置為獲取目標點雲模型的點分佈情況；查找出目標點雲模型中點分佈情況滿足顯著性分佈要求的點雲區域，以作為顯著性區域。因此，通過第一神經網路實現點雲模型變形，並且利用目標點雲模型的點分佈情況確定顯著性區域。

在一公開實施例中，變形單元還配置為將基礎點雲模型投影至目標圖像所在平面之前，還配置為在單位球內均勻採樣點，以得到基礎點雲模型；基礎點雲模型變形為目標點雲模型後的各點的位置資訊為：基礎點雲模型變形為目標點雲模型後的各點的位置偏移量；顯著性分佈要求包括點分佈密度大於預設密度值，使得顯著性區域內的點分佈密集，更能夠體現待重建對象的細節。

在一公開實施例中，顯著性區域確定模組62還包括訓練單元，配置為訓練得到第一神經網路。在一些可能的實現方式中，訓練單元配置為獲取樣本圖像和樣本對象的真實三維網格模型，其中，樣本圖像包含樣本對象；對樣本圖像進行特徵提取，得到樣本特徵資訊；將基礎點雲模型投影至樣本圖像所在平面，以確定基礎點雲模型中各點對應的樣本特徵資訊；利用第一神經網路對基礎點雲模型中各點對應的樣本特徵資訊進行處理，得到基礎點雲模型變形為預測點雲模型後的各點的位置資訊；對真實三維網格模型進行網格簡化，得到簡化三維網格模型；查找出預測點雲模型中與簡化三維網格模型的各頂點匹配的點，得到若干組匹配點對；利用每組匹配點對的位置差異，調整第一神經網路的參數。因此，將真實三維網格模型進行監護，以保證平坦地方的面片比較少，再利用簡化後的真實三維網格模型的頂點作為監督信號進行訓練，訓練得到的第一神經網路可輸出目標點雲模型的各點的位置資訊。

在一公開實施例中，模型獲取模組74包括確定單元、增加單元、獲取單元。模型獲取模組74配置為對初始三維網格模型進行網格細分，得到待重建對象的最終三維網格模型時，確定單元配置為以進行本次網格細分之前的三維網格模型為第一三維網格模型，還配置為將第一三維網格模型投影至目標圖像所在平面，以確定第一三維網格模型中各頂點對應的目標特徵資訊；增加單元配置為在第一三維網格模型的目標區域中增加至少一個新頂點；其中，若本次網格細分為局部網格細分，則目標區域至少包括顯著性區域；獲取單元配置為利用第一三維網格模型的原頂點的目標特徵資訊，得到細分邊對應的新頂點的目標特徵資訊；獲取單元還配置為基於第一三維網格模型的原頂點和新頂點的目標特徵資訊，得到經本次網格細分後的第二三維網格模型。因此，可先將第一三維網格模型投影得到目標特徵資訊，然後增加新頂點，利用第一三維網格模型的原頂點和新頂點得到細分後的第二三維網格模型，實現網格細分，體現待重建對象的細節。

在一公開實施例中，若本次網格細分為局部網格細分，增加單元配置為在第一三維網格模型的目標區域中增加至少一個新頂點時，還配置為在第一三維網格模型中，將位於顯著性區域的至少一條邊作為細分邊；在細分邊上確定至少一個新頂點。因此，將顯著性區域的至少一條邊作為細分邊，在細分邊上得到新頂點，從而在局部網格細分時確定新頂點。

在一公開實施例中，顯著性區域包括若干顯著點；增加單元配置為在第一三維網格模型中，將位於顯著性區域的至少一條邊作為細分邊時，還配置為在第一三維網格模型中，為每個顯著點查找出位置滿足預設位置條件的邊以作為待細分邊；統計第一三維網格模型中每條邊被確定為待細分邊的次數；將待細分邊的次數滿足預設細分條件的邊作為細分邊。預設位置條件為與顯著點的位置最近；預設細分條件為待細分邊的次數大於預設次數，或者，在第一三維網格模型的所有邊從多到少的次數排序中，待細分邊的次數位於前預設數量或前預設比例內。因此，為顯著性區域內每個顯著點查找出待細分邊，為與顯著點滿足一定位置關係的邊投票，將票數滿足一定細分條件的邊作為細分邊，從而進一步減少新頂點的數目，減少記憶體；還可為與顯著點最近的邊投票，將票數前一定比例或前一定數量的邊作為細分邊，從而最終的細分邊貼近顯著點，則新頂點更接近待重建對象的細節位置。

在一公開實施例中，網格細分還包括對應整個三維網格模型進行全域網格細分；若本次網格細分為全域網格細分，增加單元還配置為在第一三維網格模型的目標區域中增加至少一個新頂點時，還配置為將第一三維網格模型中的每條邊分別作為細分邊；在細分邊上確定至少一個新頂點。因此，網格細分還包括對應整個三維網格模型進行全域網格細分，全域網格細分得到的網格模型在整體上更加細節化。

在一公開實施例中，增加單元還配置為將細分邊的中點作為新頂點；獲取單元配置為利用第一三維網格模型的原頂點的目標特徵資訊，得到細分邊對應的新頂點的目標特徵資訊時，還配置為利用細分邊對應的兩個原頂點的目標特徵資訊，得到細分邊對應的新頂點的目標特徵資訊。因此，將細分邊的中點為新頂點，方便利用對應細分邊的兩個原頂點的目標特徵資訊得到新頂點的目標特徵資訊。

在一公開實施例中，獲取單元配置為基於第一三維網格模型的原頂點和新頂點的目標特徵資訊，得到經本次網格細分後的第二三維網格模型時，獲取單元還配置為利用第二神經網路對第一三維網格模型的原頂點和新頂點的目標特徵資訊進行處理，得到第一三維網格模型變形為第一三維網格模型後的各頂點的位置資訊。因此，利用第二神經網路將第一三維網格模型變形為第二三維網格模型。

在一公開實施例中，初始三維網格模型構建模組63配置為利用目標特徵資訊構建得到待重建對象的初始三維網格模型時，還配置為將基礎三維網格模型投影至目標圖像所在平面，以確定基礎三維網格模型中各頂點對應的目標特徵資訊；利用第二神經網路對基礎三維網格模型中各頂點對應的目標特徵資訊進行處理，得到基礎三維網格模型變形為初始三維網格模型後的各頂點的位置資訊；其中，各頂點的位置資訊為位置偏移量。因此，可利用第二神經網路將基礎三維網格模型變形為初始三維網格模型，完成對待重建對象初始化，體現待重建對象的初始形狀。

在一公開實施例中，目標圖像為二維圖像，特徵提取模組61配置為對目標圖像進行特徵提取，得到目標特徵資訊時，還配置為利用第三神經網路對目標圖像進行特徵提取，得到若干維度的特徵資訊；將若干維度的特徵資訊融合得到目標特徵資訊，其中，目標特徵資訊為特徵張量。因此，利用第三神經網路對二維的目標圖像進行特徵提取，獲取到指示於目標特徵資訊的特徵張量。

請參閱圖8，圖8是本發明電子設備80一實施例的框架示意圖。電子設備80包括相互耦接的記憶體81和處理器82，處理器82用於執行記憶體81中儲存的程式指令，以實現上述任一三維網格模型的重建方法實施例的步驟。在一個具體的實施場景中，電子設備80可以包括但不限於：微型電腦、伺服器，此外，電子設備80還可以包括筆記型電腦、平板電腦等移動設備，在此不做限定。

具體而言，處理器82用於控制其自身以及記憶體81以實現上述任一三維網格模型的重建方法實施例的步驟，或實現上述任一圖像檢測方法實施例中的步驟。處理器82還可以稱為CPU（Central Processing Unit，中央處理單元）。處理器82可能是一種積體電路晶片，具有信號的處理能力。處理器82還可以是通用處理器、數位訊號處理器（Digital Signal Processor, DSP）、專用積體電路（Application Specific Integrated Circuit, ASIC）、現場可程式設計閘陣列（Field-Programmable Gate Array, FPGA）或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件。通用處理器可以是微處理器或者該處理器也可以是任何常規的處理器等。另外，處理器82可以由積體電路晶片共同實現。

上述方案，利用目標圖像的目標特徵資訊確定待重建對象的顯著性區域，在三維網格模型重建時，對顯著性區域進行網格細分，以減少網格模型的頂點數量，且使得網格模型在顯著性區域的細節具有一定豐富性。

請參閱圖9，圖9是本發明電腦可讀儲存介質90的一實施例的框架示意圖。電腦可讀儲存介質90儲存有能夠被處理器運行的程式指令901，程式指令901用於實現上述任一三維網格模型的重建方法實施例的步驟。

上述方案，利用目標圖像的目標特徵資訊確定待重建對象的顯著性區域，在三維網格模型重建時，對顯著性區域進行網格細分，以減少網格模型的頂點數量，且使得網格模型在顯著性區域的細節具有一定豐富性。

可以理解的是，本發明實施例提供的裝置和設備所具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。

上文對各個實施例的描述傾向於強調各個實施例之間的不同之處，其相同或相似之處可以互相參考，為了簡潔，本文不再贅述。

在本發明所提供的幾個實施例中，應該理解到，所揭露的方法和裝置，可以通過其它的方式實現。例如，以上所描述的裝置實施方式僅僅是示意性的，例如，模組或單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性、機械或其它的形式。

另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以採用硬體的形式實現，也可以採用軟體功能單元的形式實現。

集成的單元如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的全部或部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）或處理器（processor）執行本發明各個實施方式方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體（ROM，Read-Only Memory）、隨機存取記憶體（RAM，Random Access Memory）、磁碟或者光碟等各種可以儲存程式碼的介質。

工業實用性 本發明提供了一種三維網格模型的重建方法、電子設備、電腦可讀儲存介質，其中，所述方法包括：對目標圖像進行特徵提取，得到目標特徵資訊；其中，所述目標圖像包含待重建對象；基於所述目標特徵資訊，確定所述待重建對象的顯著性區域；基於所述顯著性區域，構建所述待重建對象的最終三維網格模型。

201:使用者終端 202:網路 203:三維網格模型的重建終端 60:三維網格模型的重建裝置60包括61、62、63 61:特徵提取模組 62:顯著性區域確定模組 63:模型構建模組 70:三維網格模型的重建裝置 71:特徵提取模組 72:顯著性區域確定模組 73:初始三維網格模型構建模組 74:模型獲取模組 80:電子設備 81:記憶體 82:處理器 90:電腦可讀儲存介質 901:程式指令 S11~S13,S121~S122,S21~S24,S241a~S245a, S241b~S245b:步驟

此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。 圖1A是本發明三維網格模型的重建方法一實施例的流程示意圖； 圖1B是本申請實施例三維網格模型的重建方法的一種網路架構示意圖； 圖2是本發明三維網格模型的重建方法一實施例步驟S12的流程示意圖； 圖3是本發明三維網格模型的重建方法另一實施例的流程示意圖； 圖4是本發明三維網格模型的重建方法另一實施例步驟S24的一流程示意圖； 圖5是本發明三維網格模型的重建方法另一實施例步驟S24的另一流程示意圖； 圖6是本發明三維網格模型的重建裝置一實施例的框架示意圖； 圖7是本發明三維網格模型的重建裝置另一實施例的框架示意圖； 圖8是本發明電子設備一實施例的框架示意圖； 圖9是本發明電腦可讀儲存介質一實施例的框架示意圖。

S11~S13:步驟

Claims (17)

1. 一種三維網格模型的重建方法，包括： 對目標圖像進行特徵提取，得到目標特徵資訊；其中，所述目標圖像包含待重建對象； 基於所述目標特徵資訊，確定所述待重建對象的顯著性區域； 基於所述顯著性區域，構建所述待重建對象的最終三維網格模型。
2. 根據請求項1所述的方法，其中，所述基於所述目標特徵資訊，確定所述待重建對象的顯著性區域，包括： 利用所述目標特徵資訊，將基礎點雲模型變形為所述待重建對象對應的目標點雲模型； 確定所述目標點雲模型的顯著性區域。
3. 根據請求項2所述的方法，其中，所述利用所述特徵資訊，將基礎點雲模型變形為所述待重建對象對應的目標點雲模型，包括： 將所述基礎點雲模型投影至所述目標圖像所在平面，以確定所述基礎點雲模型中各點對應的目標特徵資訊； 利用第一神經網路對所述基礎點雲模型中各點對應的目標特徵資訊進行處理，得到所述基礎點雲模型變形為所述目標點雲模型後的各點的位置資訊； 所述確定所述目標點雲模型的顯著性區域，包括： 獲取所述目標點雲模型的點分佈情況； 查找出所述目標點雲模型中所述點分佈情況滿足顯著性分佈要求的點雲區域，以作為所述顯著性區域。
4. 根據請求項3所述的方法，其中，在所述將所述基礎點雲模型投影至所述目標圖像所在平面之前，所述方法還包括： 在單位球內均勻採樣點，以得到所述基礎點雲模型； 所述基礎點雲模型變形為所述目標點雲模型後的各點的位置資訊為：所述基礎點雲模型變形為所述目標點雲模型後的各點的位置偏移量； 所述顯著性分佈要求包括點分佈密度大於預設密度值。
5. 根據請求項3或4所述的方法，還包括以下步驟，以訓練得到所述第一神經網路： 獲取樣本圖像和樣本對象的真實三維網格模型，其中，所述樣本圖像包含所述樣本對象； 對所述樣本圖像進行特徵提取，得到樣本特徵資訊； 將所述基礎點雲模型投影至所述樣本圖像所在平面，以確定所述基礎點雲模型中各點對應的所述樣本特徵資訊； 利用第一神經網路對所述基礎點雲模型中各點對應的樣本特徵資訊進行處理，得到所述基礎點雲模型變形為所述預測點雲模型後的各點的位置資訊； 對所述真實三維網格模型進行網格簡化，得到簡化三維網格模型； 查找出所述預測點雲模型中與所述簡化三維網格模型的各頂點匹配的點，得到若干組匹配點對； 利用每組匹配點對的位置差異，調整所述第一神經網路的參數。
6. 根據請求項1至4任一項所述的方法，其中，所述基於所述顯著性區域，構建所述待重建對象的最終三維網格模型，包括： 利用所述目標特徵資訊，構建得到所述待重建對象的初始三維網格模型； 對所述初始三維網格模型進行網格細分，得到所述待重建對象的所述最終三維網格模型，其中，所述網格細分包括對應所述顯著性區域進行局部網格細分。
7. 根據請求項6所述的方法，其中，所述對所述初始三維網格模型進行網格細分，得到所述待重建對象的所述最終三維網格模型，包括： 以進行本次網格細分之前的三維網格模型為第一三維網格模型； 將所述第一三維網格模型投影至所述目標圖像所在平面，以確定所述第一三維網格模型中各頂點對應的所述目標特徵資訊； 在所述第一三維網格模型的目標區域中增加至少一個新頂點；其中，所述目標區域至少包括所述顯著性區域； 利用所述第一三維網格模型的原頂點的目標特徵資訊，得到所述細分邊對應的新頂點的目標特徵資訊； 基於所述第一三維網格模型的原頂點和新頂點的目標特徵資訊，得到經本次網格細分後的第二三維網格模型。
8. 根據請求項7所述的方法，其中，若本次網格細分為所述局部網格細分，則所述在所述第一三維網格模型的目標區域中增加至少一個新頂點，包括： 在所述第一三維網格模型中，將位於所述顯著性區域的至少一條邊作為細分邊； 在所述細分邊上確定至少一個新頂點。
9. 根據請求項8所述的方法，其中，所述顯著性區域包括若干顯著點；所述在所述第一三維網格模型中，將位於所述顯著性區域的至少一條邊作為細分邊，包括： 在所述第一三維網格模型中，為每個所述顯著點查找出位置滿足預設位置條件的邊以作為待細分邊； 統計所述第一三維網格模型中每條邊被確定為所述待細分邊的次數； 將所述待細分邊的次數滿足預設細分條件的邊作為所述細分邊。
10. 根據請求項9所述的方法，其中，所述預設位置條件為與所述顯著點的位置最近； 所述預設細分條件為所述待細分邊的次數大於預設次數，或者，在所述第一三維網格模型的所有邊從多到少的次數排序中，所述待細分邊的次數位於前預設數量或前預設比例內。
11. 根據請求項6所述的方法，其中，所述網格細分還包括對應所述整個三維網格模型進行全域網格細分；若本次網格細分為所述全域網格細分，則所述在所述第一三維網格模型的目標區域中增加至少一個新頂點，包括： 將所述第一三維網格模型中的每條邊分別作為細分邊； 在所述細分邊上確定至少一個新頂點。
12. 根據請求項11所述的方法，其中，所述在所述細分邊上確定至少一個新頂點，包括： 將所述細分邊的中點作為所述新頂點； 所述利用所述第一三維網格模型的原頂點的目標特徵資訊，得到所述細分邊對應的新頂點的目標特徵資訊，包括： 利用所述細分邊對應的兩個所述原頂點的目標特徵資訊，得到所述細分邊對應的新頂點的目標特徵資訊。
13. 根據請求項7至12任一項所述的方法，其中，所述基於所述第一三維網格模型的原頂點和新頂點的目標特徵資訊，得到經本次網格細分後的第二三維網格模型，包括： 利用第二神經網路對所述第一三維網格模型的原頂點和新頂點的目標特徵資訊進行處理，得到所述第一三維網格模型變形為所述第一三維網格模型後的各頂點的位置資訊。
14. 根據請求項6所述的方法，其中，所述利用所述目標特徵資訊構建得到所述待重建對象的初始三維網格模型，包括： 將基礎三維網格模型投影至所述目標圖像所在平面，以確定所述基礎三維網格模型中各頂點對應的所述目標特徵資訊； 利用第二神經網路對所述基礎三維網格模型中各頂點對應的目標特徵資訊進行處理，得到所述基礎三維網格模型變形為所述初始三維網格模型後的各頂點的位置資訊； 其中，所述各頂點的位置資訊為位置偏移量。
15. 根據請求項1至4任一項所述的方法，其中，所述目標圖像為二維圖像；和/或， 所述對目標圖像進行特徵提取，得到目標特徵資訊，包括： 利用第三神經網路對目標圖像進行特徵提取，得到若干維度的特徵資訊； 將所述若干維度的特徵資訊融合得到目標特徵資訊，其中，所述目標特徵資訊為特徵張量。
16. 一種電子設備，包括相互耦接的記憶體和處理器，所述處理器用於執行所述記憶體中儲存的程式指令，以實現請求項1至15任一項所述的三維網格模型的重建方法。
17. 一種電腦可讀儲存介質，其上儲存有程式指令，所述程式指令被處理器執行時實現請求項1至15任一項所述的三維網格模型的重建方法。

Images