TWI685818B

TWI685818B - 三維建模方法及系統

Info

Publication number: TWI685818B
Application number: TW107113117A
Authority: TW
Inventors: 林立義
Original assignee: 坤眾科技股份有限公司
Priority date: 2018-04-18
Filing date: 2018-04-18
Publication date: 2020-02-21
Also published as: TW201944358A

Abstract

一種三維建模方法，適用於地下管線的建模，三維建模方法包含取得欲建模區域的多個影像資料，其中影像資料包含管線、水準尺及多個控制點的影像，解析前述取得的影像資料以建立欲建模區域的三維點雲資料，依據三維點雲資料及影像資料取得欲建模區域的三角網格資料，依據三角網格資料、水準尺的長度資訊及控制點的地理坐標資訊，取得欲建模區域的三維模型，其中三維模型包含管線的地理坐標資訊，以及儲存三維模型於記憶體中。

Description

三維建模方法及系統

本發明係關於一種三維建模方法，特別係地下管線的三維建模方法。

為了確保道路工程之安全，在執行開挖作業之前，應當先確認開挖區域所埋設的地下管線分布資訊。以往多係參考地下管線初始的竣工圖，再搭配歷次施工的照片來推測地下管線分布的資訊，然而此方法僅能獲得片面的資訊，尤其對於管線的埋深更是難以推估。

現今發展出藉由雷射掃描儀對地下管線進行三維測量，以取得地下管線分布資訊的方法，然而其缺點在於使用工具昂貴，且資料量龐大，無法透過目前的無線通訊技術（如4G）即時地上傳其所建立的三維模型。

鑒於上述，本發明提供一種三維建模方法及系統。

依據本發明一實施例的三維建模方法，適用於地下管線的建模，三維建模方法包含取得欲建模區域的多個影像資料，其中影像資料包含管線、水準尺及多個控制點的影像，解析前述取得的影像資料以建立欲建模區域的三維點雲資料，依據三維點雲資料及影像資料取得欲建模區域的三角網格資料，依據三角網格資料、水準尺的長度資訊及控制點的地理坐標資訊，取得欲建模區域的三維模型，其中三維模型包含管線的地理坐標資訊，以及儲存三維模型於記憶體中。

依據本發明一實施例的三維建模系統，適用於地下管線的建模。三維建模系統包含影像輸入裝置及處理器，兩者彼此電性連接。影像輸入裝置取得欲建模區域的多個影像資料，其中影像資料包含管線、水準尺及多個控制點的影像。處理器電性連接於影像輸入裝置，解析前述多個影像資料以建立欲建模區域的三維點雲資料，依據三維點雲資料及影像資料取得欲建模區域的三角網格資料，且依據三角網格資料、水準尺的長度資訊及控制點的地理坐標資訊取得欲建模區域的三維模型，其中，三維模型包含管線的地理坐標資訊。

藉由上述結構，本案所揭示的三維建模方法及系統，可以低成本且操作容易的工具獲取地下管線施工工區的現況影像資料，據以建立高品質的工區的三維模型。此外，本案所揭示的三維建模方法及系統透過以檔案小且適用性高的可攜式文件格式來儲存三維模型，可以即時地更新管線資料庫的資訊，具有高便利性及高效率的特點。

以上之關於本揭露內容之說明及以下之實施方式之說明係用以示範與解釋本發明之精神與原理，並且提供本發明之專利申請範圍更進一步之解釋。

以下在實施方式中詳細敘述本發明之詳細特徵以及優點，其內容足以使任何熟習相關技藝者了解本發明之技術內容並據以實施，且根據本說明書所揭露之內容、申請專利範圍及圖式，任何熟習相關技藝者可輕易地理解本發明相關之目的及優點。以下之實施例係進一步詳細說明本發明之觀點，但非以任何觀點限制本發明之範疇。

請參考圖1A，圖1A為依據本發明一實施例所繪示的三維建模系統1的功能方塊圖。如圖1A所示，三維建模系統1適用於地下管線的建模，其中所述地下管線的建模指示對一個設置有一或多個管線及管溝的區域執行建模。三維建模系統1包含有影像輸入裝置11以及處理器12，其中影像輸入裝置11以及處理器12彼此電性連接。舉例來說，影像輸入裝置11可以係有線傳輸連接埠如USB、micro USB等，亦可以是無線傳輸連接埠如藍芽收發器、WIFI收發器等。影像輸入裝置11會透過有線或無線傳輸方式（即電性或資訊連接於影像資料來源），取得欲執行三維建模的區域（以下稱為欲建模區域）的多個影像資料，再傳送至處理器12。處理器12則例如係中央處理器（Central processing unit，CPU）、微控制器（Microcontroller unit，MCU）、現場可程式化閘陣列（Field programmable gate array，FPGA）、特殊應用積體電路（Application specific integrated circuit，ASIC）或其他處理器。處理器12對來自影像輸入裝置11的影像資料進行解析與運算，以取得欲建模區域的三維模型。

進一步來說，影像輸入裝置11所取得的多個影像資料中包含了位於欲建模區域中的管線、水準尺及多個控制點的影像。處理器12解析所述多個影像資料以建立欲建模區域的三維點雲資料；再依據三維點雲資料及影像資料取得欲建模區域的三角網格資料；並依據三角網格資料、水準尺的長度資訊以及控制點的地理坐標資訊，取得欲建模區域的三維模型。其中，上述處理器12取得欲建模區域的三維點雲資料與三角網格資料，以及欲建模區域的三維模型的詳細流程將於後描述。

除了影像輸入裝置11及處理器12，三維建模系統更可以包含其他元件。請參考圖1B，圖1B係依據本發明另一實施例所繪示的三維建模系統1’的功能方塊圖。如圖1B所示，三維建模系統1’包含影像輸入裝置11及處理器12，其中此二元件之間的連接關係以及各自的運作皆類似於上述實施例，故於此不再贅述。除此之外，三維建模系統1’更可以包含記憶體13、相機14、提示裝置15及操作裝置16中的一或多個。特別要說明的是，圖1B僅示例性地繪示上述各元件之間的連接關係，並非用於限制本發明的三維建模系統包含所有上述元件，以下將進一步說明各元件的運作。

記憶體13可以係快閃記憶體（Flash memory）、唯讀記憶體（Read-only memory，ROM）、磁性記憶體（Magnetoresistive random access memory，MRAM）或其他非揮發性儲存媒介，電性連接於處理器12；記憶體13亦可以係雲端資料庫，資訊連接於處理器12。記憶體13透過有線或無線的方式，接收並儲存處理器12所取得的欲建模區域的三維模型。詳細來說，處理器12可以將欲建模區域的三維模型以三維可攜式文件格式（Portable document format，PDF）儲存於記憶體13中。

相機14可以係一般數位相機或無人機（Unmanned aerial vehicle，UAV），電性或資訊連接於影像輸入裝置11，拍攝欲建模區域以產生上述包含欲建模區域中的管線、水準尺以及控制點的影像的影像資料。提示裝置15則可以係警報器或手機、平板電腦等個人裝置，電性或資訊連接於處理器12，當處理器12依據管線的地理坐標資訊計算得到管線的規格資訊（例如長寬、埋深）且又判斷其不符合標準規格資訊時，將控制提示裝置15輸出提示訊號，例如警報聲、訊息通知等，其中標準規格資訊可以預先儲存於記憶體13或是處理器12內建的記憶體。

操作裝置16例如係設置於三維建模系統中的另一處理器及螢幕，或是手機、平板電腦等個人裝置，電性或資訊連接於處理器12。操作裝置16可以提供平台以顯示處理器12所取得的欲建模區域的三維模型。舉例來說，操作裝置16可以包含適用於PDF的軟體工具如PDF 閱讀器（PDF Reader）、Adobe Acrobat Reader等，呈現儲存為PDF文件的三維模型。藉由操作裝置16，作業人員亦可以量測及標註管線長寬、管線埋深、管溝長寬、管溝深度等規格資訊，進一步將取得的規格資訊與標準規格資訊比較，完成竣工監審之工作。於又一實施例中，處理器12可以用於資訊連接至私人或官方的管線資料庫2，上傳取得的三維模型或其他自三維模型分析得到的資訊，以更新管線資料庫2。

以下將說明本發明所提出的三維建模方法，請一併參考圖1A、1B、2～4，其中圖2係依據本發明一實施例所繪示的三維建模方法的流程圖，而圖3及圖4分別係圖2所繪示的三維建模方法的細部流程圖。本發明所提出的三維建模方法適用於圖1A或1B所示的三維建模系統1或1’，用於執行地下管線的建模。

於圖2所示的步驟S21中，影像輸入裝置11取得欲建模區域的多個影像資料，再傳送至處理器12以進行三維模型的建立。其中，影像資料包含了管線、水準尺以及多個控制點的影像。進一步來說，取得欲建模區域的所述多個影像資料的步驟包含拍攝欲建模區域以產生所述多個影像資料。詳細來說，可藉由一般相機或UAV作為相機14，透過定焦模式，環繞欲建模區域，並以不同角度進行拍攝，進而產生包含多個影像資料的影片。舉例來說，影片的長度為20分鐘以內。在拍攝過程中，欲建模區域中的管線的溝側至少擺置一支水準尺，舉例來說，可以將兩支水準尺以非平行（甚至相互垂直）的方式擺置於管線的溝側，以在後續處理器12進行影像處理時，作為x軸及y軸的參考。此外，欲建模區域中亦設置有多個控制點，舉例來說，控制點可以係孔蓋或是人工佈設所定義的臨時控制點，其中控制點的數量至少為三個，以供處理器12在後續建立三維模型時使用。於另一實施例中，上述的水準尺亦可以兩個控制點的連線來實施。舉例來說，控制點可以設定為孔蓋的兩端點，而兩端點的連線（即孔蓋的邊緣）可以定義為水準尺。因此，拍攝而得的影像資料中會包含位於欲建模區域中的管線、管溝、水準尺及控制點的影像。

舉一個實用上的例子來說，在道路挖掘作業流程之施工階段中的地下管線埋設工程完工後，且在回復路面前，依照作業規定需將施工照片上傳以進行查核作業。此時，作業人員便可如上述以一般相機或攝影機等簡易低價之工具，在短時間內取得欲建模區域的多個影像資料，達到低工具及時間成本且低技術需求的資料獲取流程。

於步驟S22中，處理器12解析自影像輸入裝置11所接收的多個影像資料，以建立欲建模區域的三維點雲資料。進一步來說，圖3示例性地表示圖2中的步驟S22的細部步驟S221～S223。於步驟S221中，處理器12依據所述多個影像資料求取多個基礎矩陣（Fundamental matrix）。詳細來說，每一基礎矩陣指示所述多個影像資料的其中之二者之間的投影幾何關係。接著，於步驟S222中，處理器12依據所述多個影像資料以及所述多個基礎矩陣執行稀疏性匹配（Sparse matching），以取得原始資料。詳細來說，處理器12會重複對所述多個影像資料的其中之二者，利用其所對應的基礎矩陣進行特徵匹配，透過光束法及地面式雷射掃描法（Terrestrial laser scanning，TLS）或其他演算法，取得欲建模區域的稀疏三維點雲，以作為上述的原始資料。

再來於步驟S223中，處理器12對原始資料執行稠密性匹配（Dense matching）以建立欲建模區域的三維點雲資料。詳細來說，處理器12可以利用以區塊為基礎之多視立體（Patch-based multi-view stereo，PMVS）演算法、群集觀點多視立體（Clustering views for multi-view stereo，CVMS）演算法，或上述演算法之結合，計算出欲建模區域的密集三維點雲，然而上述各演算法僅為舉例，本發明不以此為限。處理器12將密集三維點雲建立為三維點雲資料，其中三維點雲資料包含多個點的預設坐標資訊。更詳細來說，前述之稀疏及密集三維點雲立基於一預設坐標系，三維點雲包含多個點，每一點於所述的預設坐標系中皆具有對應的預設坐標資訊，包含x軸坐標資訊、y軸坐標資訊及z軸坐標資訊。

經上述步驟，處理器12建立了欲建模區域的三維點雲資料。接著於圖2的步驟S23中，處理器12依據三維點雲資料及影像資料取得欲建模區域的三角網格資料。進一步來說，圖4示例性地表示圖2中的步驟S23的細部步驟S231～S233。於步驟S231中，處理器12依據三維點雲資料中的多個點的z軸坐標資訊，將所述多個點分類為多個集合。詳細來說，處理器12將具有相同z軸坐標資訊的點分為同一集合。於步驟S232中，處理器12依序對所述多個集合中的其中二者執行多個三角網格的建立舉例來說，處理器12可以依據z軸坐標資訊的大小，由小至大或由大至小地對所述多個集合中的其中二者執行三角網格的建立。接著於步驟S233中，處理器12依據自影像輸入裝置11所取得的影像資料對步驟S232所建立的三角網格執行紋理貼附（Texture attachment），以取得三角網格資料，其中，三角網格資料仍包含前述三維點雲資料的多個點的預設坐標資訊，且更包含以這些點為頂點所建立的三角網格。

在取得欲建模區域的三角網格資料後，處理器12於圖2所示的步驟S24中，依據所述三角網格資料、水準尺的長度資訊以及控制點的地理坐標資訊，取得欲建模區域的三維模型。詳細來說，水準尺的長度資訊可以預先量測並儲存於記憶體13或處理器12內建的記憶體中，亦可以由處理器12對影像資料中的水準尺的影像進行影像辨識，解析出水準尺上的刻度以取得；而控制點的地理坐標資訊則可以透過即時動態定位系統（e-GPS）取得，再儲存於記憶體13或處理器12內建的記憶體中，也就是說，控制點的地理坐標資訊指示控制點於地理資訊系統（Geography information system，GIS）坐標系中的坐標，其中GIS坐標系可以係TWD97、TWD67、WGS84等坐標系。處理器12依據上述水準尺的長度資訊以及控制點的地理坐標資訊，將三角網格資料中的點的預設坐標資訊轉換為地理坐標資訊，即將三角網格資料自預設坐標系轉換為地理坐標系，以作為三維模型。也就是說，三維模型可以立基於GIS坐標系。

於步驟S25中，處理器12將前述三維模型儲存至記憶體13中。進一步來說，處理器12可以將立基於GIS坐標系的三維模型儲存為Shapefile（shp）、地理標記語言（Geography Markup Language，GML）、 Keyhole標記語言（Keyhole Markup Language，KML）、KML的壓縮檔（KMZ）等格式的圖資，再轉換為PDF文件儲存於記憶體13中。藉由將前述三維模型儲存為PDF文件，三維模型的檔案大小可以控制在40MB以下，相較於傳統的三維建模方法，能夠大幅降低產出檔案所佔據的記憶體容量，且亦可提升後續調閱及分析資料的速度。

於一實施例中，處理器12在取得欲建模區域的三維模型後，可以透過解析三維模型以取得管線或/及管溝的地理坐標資訊。舉例來說，處理器12可以透過影像分析，自三維模型判別出管線或/及管溝的區域，並擷取管線或/及管溝的輪廓上的多個點的地理坐標資訊，以下簡述為管線或/及管溝的地理坐標資訊。處理器12可以透過資訊連結將管線或/及管溝的地理坐標資訊上傳至官方或私人的管線資料庫2，以進行資訊的更新。進一步地，處理器12可以依據管線或/及管溝的地理坐標資訊計算出管線或/及管溝的規格資訊，例如管線長寬、管線埋深、管溝長寬、管溝深度等，再將管線或/及管溝的規格資訊標記於三維模型中，以整合為一份PDF文件，再透過資訊連結上傳至官方或私人的管線資料庫2。此外，記憶體13或處理器12內建的記憶體中可預存管線或/及管溝的標準規格資訊，當處理器12判斷計算得到的規格資訊不符合預存的標準規格資訊時，將控制提示裝置15輸出提示訊號，例如警報聲或訊息通知。

於另一實施例中，儲存為PDF文件的三維模型可藉由操作裝置16顯示。如前列實施例所述，操作裝置16中可以安裝有適用於PDF的軟體工具（例如PDF Reader）。作業人員可以藉由操作裝置16以三維模式瀏覽三維模型，量測並標註管線長寬、管線埋深、管溝長寬、管溝深度等規格資訊，進一步將取得的規格資訊與標準規格資訊比較，完成竣工監審之工作。此外，如前一實施例所述，標註有規格資訊的三維模型的PDF文件可以透過資訊連結上傳至官方或私人的管線資料庫2，進而更新管線資料庫。

請參考圖2～4、5A～5E、6A、6B、7A、7B、8A、8B、9A、9B及10，其中圖5A～5E、6A、6B、7A、7B、8A、8B、9A、9B及10係依據本發明一實施例所繪示的三維建模方法的示意圖，示例性地提供前述的三維建模方法的各步驟所取得的資料圖。圖5A～5E對應於圖2的步驟S21所取得的欲建模區域的多個影像資料，這些影像資料中包含了管線A～D、控制點P1～P4及水準尺LS的影像，其中控制點P1及P2為自定義的臨時控制點，控制點P3及P4以孔蓋的兩端點來定義，水準尺LS則以孔蓋的長邊來定義，也就是說，以控制點P3與P4之間的距離作為水準尺LS的長度資訊。特別要說明的是，圖5A～5E示例性地呈現藉由相機所拍攝的影像資料，並非用於限制影像資料的數量及拍攝範圍。

圖6A及6B則對應於圖2的步驟S22，詳細來說，圖6A呈現圖3的步驟S221～S222中依據圖5A～5E的影像資料及其基礎矩陣來進行稀疏性匹配所取得的原始資料；圖6B則呈現步驟S223中將圖6A的原始資料執行稠密性匹配後所取得的三維點雲資料。圖7A及圖7B對應於圖2的步驟S23，詳細來說，圖7A呈現圖4的步驟S231～S232中依據圖6B的三維點雲資料所建立出的多個三角網格；圖7B則呈現步驟S233中對圖7A的三角網格執行紋理貼附所取得的三角網格資料，如圖7B所示，於三角網格資料中得以清楚辨認出管線A～D。圖8A及8B分別呈現包含控制點P1、P2的部分三角網格資料以及包含控制點P3、P4與水準尺LS的部分三角網格資料。如前所述，控制點P1～P4的地理坐標資訊可以透過e-GPS取得並預先儲存，水準尺LS的長度資訊亦可在拍攝現場時先量測並預存。

對應於圖2的步驟S24，依據控制點P1～P4的地理坐標資訊、水準尺LS的長度資訊以及圖7B的三角網格資料，可以取得圖9A及9B所呈現的立基於地理坐標系的三維模型。如圖9A所示，於三維模型中，可以取得管線C的端點Pr1的地理坐標資訊，例如GIS坐標。進一步來說，如圖9B所示，依據管線上多個點Pr1～Pr6的地理坐標資訊，則可計算出管線的規格資訊，例如管線C的長度。如前列實施例所述，管線或及管溝的規格資訊可以標記於三維模型中，以整合為一份PDF文件。如圖10所示，於儲存為PDF格式的三維模型中，可以儲存有管線B及管溝的規格資訊。特別要說明的是，圖9A中所呈現的端點Pr1的地理坐標資訊、圖9B中所呈現的管線C的長度資訊，以及圖10所呈現的規格資訊標記皆為示例性地繪示，並非用於限制本案的三維建模系統及方法的資訊呈現或標記方式。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明。在不脫離本發明之精神和範圍內，所為之更動與潤飾，均屬本發明之專利保護範圍。關於本發明所界定之保護範圍請參考所附之申請專利範圍。

1、1’ 三維建模系統 11 影像輸入裝置 12 處理器 13 記憶體 14 相機 15 提示裝置 16 操作裝置 2 管線資料庫 A～D 管線 P1～P4 控制點 LS 水準尺 Pr1～Pr6 點

圖1A係依據本發明一實施例所繪示的三維建模系統的功能方塊圖。圖1B係依據本發明另一實施例所繪示的三維建模系統的功能方塊圖。圖2係依據本發明一實施例所繪示的三維建模方法的流程圖。圖3係依據本發明一實施例所繪示的三維建模方法的細部流程圖。圖4係依據本發明一實施例所繪示的三維建模方法的細部流程圖。圖5A～5E係依據本發明一實施例所繪示的三維建模方法的示意圖。圖6A及6B係依據本發明一實施例所繪示的三維建模方法的示意圖。圖7A及7B係依據本發明一實施例所繪示的三維建模方法的示意圖。圖8A及8B係依據本發明一實施例所繪示的三維建模方法的示意圖。圖9A及9B係依據本發明一實施例所繪示的三維建模方法的示意圖。圖10係依據本發明一實施例所繪示的三維建模方法的示意圖。

Claims

一種三維建模方法，適用於地下管線的建模，該三維建模方法包含：取得一欲建模區域的多個影像資料，其中該些影像資料包含一管線、一水準尺及多個控制點的影像；解析該些影像資料以建立該欲建模區域的一三維點雲資料；依據該三維點雲資料及該些影像資料，取得該欲建模區域的一三角網格資料；依據該三角網格資料、該水準尺的長度資訊及該些控制點的地理坐標資訊，取得該欲建模區域的一三維模型，其中該三維模型包含該管線的地理坐標資訊；以及儲存該三維模型於一記憶體中。
如請求項1所述的三維建模方法，其中取得該欲建模區域的該些影像資料的步驟包含拍攝該欲建模區域以產生該些影像資料。
如請求項1所述的三維建模方法，其中解析該些影像資料以建立該欲建模區域的該三維點雲資料的步驟包含：依據該些影像資料求取多個基礎矩陣；依據該些影像資料及該些基礎矩陣執行稀疏性匹配以取得一原始資料；以及對該原始資料執行稠密性匹配以建立該三維點雲資料。
如請求項1所述的三維建模方法，其中依據該三維點雲資料，取得該欲建模區域的該三角網格資料的步驟包含：依據該三維點雲資料中的多個點的z軸坐標資訊，將該些點分類為多個集合；依序對該些集合中的其中二者執行多個三角網格的建立；以及依據該些影像資料對該些三角網格執行紋理貼附，以取得該三角網格資料。
如請求項1所述的三維建模方法，其中依據該三角網格資料、該水準尺的該長度資訊及該些控制點的該地理坐標資訊，取得該欲建模區域的該三維模型的步驟包含：依據該水準尺的該長度資訊及該些控制點的該地理坐標資訊將該三角網格資料自一預設坐標系轉換為一地理坐標系。
如請求項1所述的三維建模方法，其中儲存該三維模型的步驟包含儲存該三維模型為一可攜式文件格式（Portable document format，PDF），以提供具有量測及標註功能的一PDF閱讀器呈現該三維模型。
如請求項1所述的三維建模方法，更包含：依據該管線的該地理坐標資訊計算該管線的規格資訊；以及當該管線的該規格資訊不符合一標準規格資訊，輸出一提示訊號。
一種三維建模系統，適用於地下管線的建模，該三維建模系統包含：一影像輸入裝置，取得一欲建模區域的多個影像資料，其中該些影像資料包含一管線、一水準尺及多個控制點的影像；以及一處理器，電性連接於該影像輸入裝置，該處理器解析該些影像資料以建立該欲建模區域的一三維點雲資料，依據該三維點雲資料及該些影像資料取得該欲建模區域的一三角網格資料，且依據該三角網格資料、該水準尺的長度資訊及該些控制點的地理坐標資訊取得該欲建模區域的一三維模型，其中該三維模型包含該管線的地理坐標資訊。
如請求項8所述的三維建模系統，更包含一記憶體，連接於該處理器，且用於儲存該三維模型。
如請求項9所述的三維建模系統，其中該處理器將該三維模型以一可攜式文件格式（Portable document format，PDF）文件儲存於該記憶體中。
如請求項10所述的三維建模系統，更包含一操作裝置，連接於該處理器，且包含具有量測及標註功能的一PDF閱讀器以呈現該三維模型。
如請求項8所述的三維建模系統，更包含一相機，連接於該影像輸入裝置，且拍攝該欲建模區域以產生該些影像資料。
如請求項8所述的三維建模系統，更包含一提示裝置，連接於該處理器，其中該處理器更依據該管線的該地理坐標資訊計算該管線的規格資訊，且當該處理器判斷該管線的該規格資訊不符合一標準規格資訊時，控制該提示裝置輸出一提示訊號。