TWI634515B

TWI634515B - 三維影像處理之裝置及方法

Info

Publication number: TWI634515B
Application number: TW107102788A
Authority: TW
Inventors: 簡佑丞; 鄭楷儒; 吳仲昇
Original assignee: 廣達電腦股份有限公司
Priority date: 2018-01-25
Filing date: 2018-01-25
Publication date: 2018-09-01
Also published as: TW201933283A; JP6814179B2; CN110084880A; JP2019126705A; US20190228569A1

Abstract

本揭露係關於一種三維掃描裝置及三維建模之方法。該三維掃描裝置包含一影像擷取元件及一處理器。該影像擷取元件經組態以擷取一物體之多組影像。該處理器經組態以獲得所擷取之該物體之一第一組影像及一第N組影像之影像資訊、比對該第一組影像之影像資訊及該第N組影像之影像資訊之相對應資訊及判定該第一組影像及該第N組影像之相對應資訊是否大於一臨界值。若該第一組影像及該第N組影像之該相對應資訊大於該臨界值，則該處理器經組態以將該第一組影像與該第N組影像進行疊合。N為大於或等於2之整數。

Description

三維影像處理之裝置及方法

本揭露係有關用於處理三維影像之裝置及方法，特別是有關用於三維建模之裝置及方法。

三維掃描裝置或立體掃描裝置主要用於對一被掃描物體進行掃描，以獲得該物體表面空間座標及資訊（如物體或環境的幾何構造、顏色、表面反照率等性質)，其獲得的資料通常被用來進行三維建模，以建立該被掃描物體的三維模型。所建立之三維模型可用於如醫學資訊、工業設計、機器人導引、地貌測量、生物資訊、刑事鑑定、立體列印等領域。在部分應用領域上（例如齒模重建），由於手持式之三維建模裝置之視角相對較小，故需擷取多組不同視角之三維資料，再將所擷取之三維資料疊合以進行三維建模。然而，由於使用者(例如牙醫或技術人員)手持三維建模裝置進行掃描時，移動該裝置的速度並不一致，故可能因移動速度太慢導致連續兩組擷取的資料的視角幾乎一致(兩組擷取的資料重疊部分過多)，而大幅降低三維建模速度；或因移動速度過快導致連續兩組擷取的資料並未包含被掃描物體的重複位置(兩組擷取的資料並無重疊部分)，而在疊合時產生較大的誤差。因此，極需能夠進行快速掃描且精準度高之三維掃描裝置。

本揭露之一實施例係關於一種三維掃描裝置。該三維掃描裝置包含一影像擷取元件及一處理器。該影像擷取元件經組態以擷取一物體之多組影像。該處理器經組態以獲得所擷取之該物體之一第一組影像及一第N組影像之影像資訊、比對該第一組影像之影像資訊及該第N組影像之影像資訊之相對應資訊及判定該第一組影像及該第N組影像之相對應資訊是否大於一臨界值。若該第一組影像及該第N組影像之該相對應資訊大於該臨界值，則該處理器經組態以將該第一組影像與該第N組影像進行疊合。N為大於或等於2之整數。本揭露之另一實施例係關於一種三維建模之方法。該方法包含(a)擷取一物體之多組影像；(b)獲得所擷取之該物體之一第一組影像及一第N組影像之影像資訊；(c)比對該第一組影像之影像資訊及該第N組影像之影像資訊之相對應資訊；(d)判定該第一組影像及該第N組影像之相對應資訊是否大於一臨界值；及(e)若該第一組影像及該第N組影像之該相對應資訊大於該臨界值，則將該第一組影像與該第N組影像進行疊合。N為大於等於2之整數。

圖1是根據本揭露之部分實施例的一種三維掃描裝置100的方塊示意圖。根據本揭露之部分實施例，該三維掃描裝置100可對立體物體進行三維掃描及/或三維建模，以建立關聯於該立體物體的數位立體模型。根據本揭露之部分實施例，該三維掃描裝置100可進一步耦接至一三維列印裝置（未顯示於圖中），以藉由該三維列印裝置列印所建立之三維模型。如圖1所示，該三維掃描裝置100包括一影像擷取元件110、一控制器120及一處理器130。該影像擷取元件110經組態以擷取待掃描物體之三維影像資訊或特徵點。根據本揭露之部分實施例，所擷取之三維影像資訊或特徵點可包含但不限於待掃描物體之幾何構造、顏色、表面反照率、表面粗糙度、表面曲率、表面法向量、相對位置等。該影像擷取元件110可包含一個或多個鏡頭或光源模組。該影像擷取元件110之鏡頭可為定焦鏡頭、變焦鏡頭或其組合。該影像擷取元件110之光源模組可經配置以發出均勻的光束，以在光源不足的環境下進行照明補償。根據本揭露之部分實施例，該光源模組可為發光二極體光源或其他任何合適之光源。該控制器120與該影像擷取單元110連接，並經組態以控制該影像擷取元件110擷取待掃描物體之三維影像資訊或特徵點。在部分實施例中，該控制器120可具有其一種或多種類型之感測器，其經組態以在一預定之條件下控制該影像擷取元件110進行影像擷取。例如，該控制器120可具有加速度感測器，其經組態以在偵測到該三維掃描裝置100移動時，控制該影像擷取元件110進行影像擷取。例如，該控制器120可具有位置感測器，其經組態以在該三維掃描裝置100移動一預定距離時，控制該影像擷取元件110進行影像擷取。例如，該控制器120可具有定時器，其經組態以在一預定時間控制該影像擷取元件110進行影像擷取。在部分實施例中，該控制器120可整合於該影像擷取單元110。該處理器130連接至該影像擷取元件110，並經組態以接收及處理該影像擷取元件110所擷取之待掃描物體之三維影像資訊或特徵點。根據本揭露之部分實施例，該影像擷取元件110所擷取之三維影像資訊或特徵點可透過有線傳輸或無線傳輸（如藍芽、Wi-Fi、近場通訊（NFC）等）方式傳送至該處理器130。該處理器130可具有一記憶體單元（如隨機存取記憶體（RAM）、快閃記憶體（Flash）等），其用以儲存該影像擷取元件110所擷取之待掃描物體之一組或多組三維影像資訊或特徵點。在部分實施例中，該記憶體單元可為獨立於該處理器130外之元件。該處理器130經組態以在接收一預定數量之待掃描物體之三維影像資訊或特徵點後，對該等三維影像資訊或特徵點進行疊合，以建立該待掃描物體之三維模型。在部分實施例中，該控制器120可整合於該處理器130中。在部分實施例中，該控制器120可省略，由該處理器130執行或取代該控制器120之功能。圖2及圖3A-3K為根據本揭露之部分實施例的一種三維建模之方法之流程圖。根據本揭露之部分實施例，圖2及圖3A-3K之三維建模之方法可由圖1之三維掃描裝置100執行。根據本揭露之其他實施例，圖2及圖3A-3K之三維建模之方法可由其他三維掃描裝置執行。請參考圖2，首先，於步驟S201中，判定三維掃描裝置每次擷取待掃描物體（如圖3A所示之圖形）之三維影像之距離△X。換言之，判定三維掃描裝置每移動一固定距離△X即對該待掃描物體之三維影像進行擷取。根據本揭露之部分實施例，該距離△X可由如圖1之控制器120設定。根據本揭露之其他實施例，步驟S201亦可控制三維掃描裝置每隔一固定時間或其他預定條件即對該待掃描物體之三維影像進行擷取。於一具體實施例中，三維影像之距離△X係介於1mm-2mm。於一具體實施例中，固定時間例如介於1/30-1/360秒。參考圖2步驟S202，該三維掃描裝置每隔一固定距離△X即對該待掃描物體之三維影像進行擷取。如圖3B及圖3C所示，圖3B之虛線框為該三維掃描裝置每次擷取待掃描物體之三維影像之範圍，而圖3C揭示該三維掃描裝置每隔△X即對該待掃描物體之三維影像進行擷取。根據本揭露之部分實施例，該三維掃描裝置可藉由如圖1之影像擷取元件110進行影像擷取。根據本揭露之部分實施例，所擷取之影像可儲存於該三維掃描裝置100之記憶體中。參考圖2步驟S203，判定該三維掃描裝置是否移動該距離△X之一預定倍數N，其中N為大於1之正整數(為方便說明，假設N=5)。換言之，判定該三維掃描裝置是否移動N*（△X）的距離。換言之，判定該三維掃描裝置是否擷取N組該待掃描物體之三維影像。若判定該三維掃描裝置尚未移動該距離△X之預定倍數時，則繼續執行步驟S202。若判定該三維掃描裝置已移動該距離△X之預定倍數N時，則執行步驟S204。根據本揭露之部分實施例，步驟203可藉由如圖1之控制器120或處理器130進行判斷。於一具體實施例中，預定倍數N例如介於3-5之間。參考圖2步驟S204，獲得已擷取之待掃描物體之兩組三維影像之資訊或特徵點。於一較佳實施例中，上述兩組三維影像之資訊或特徵點包括獲得已擷取之第一組三維影像之資訊或特徵點及第N組三維影像之資訊或特徵點。以圖3D為例，待掃描物體之第一組三維影像為3D1且第N組三維影像為3D2。而據本揭露之部分實施例，該待掃描物體兩組三維影像之資訊或特徵點可由如圖1所示之影像擷取元件110或處理器130所獲得。參考圖2步驟S205，比對該待掃描物體之兩組三維影像資訊或特徵點，並計算兩組資訊或特徵點所重疊或相關之部分。例如，比對兩組所獲得之待掃描物體之幾何構造、顏色、表面反照率、表面粗糙度、表面曲率、表面法向量、相對位置等，並計算其共同或相關之部分。以圖3D為例，將待掃描物體之兩組三維影像3D1及3D2之資訊或特徵點進行比對，而其共同或相關之特徵點為中間重疊部分（斜線處）。據本揭露之部分實施例，可藉由如圖1所示之處理器130比對該待掃描物體之兩組三維影像之資訊或特徵點及計算兩組資訊或特徵點所重疊或相關之部分。參考圖2步驟S206，判定待掃描物體之三維影像之兩組資訊或特徵點之重疊或相關的部分是否大於一預定值。據本揭露之部分實施例，該預定值係為判定兩組資訊是否有足夠的共同或相關特徵點可進行影像疊合之臨界值。例如，該臨界值可為兩組影像能成功疊合應具有之相對應資訊數量或特徵點之最小值。據本揭露之部分實施例，可藉由如圖1所示之處理器130判定兩組資訊或特徵點之重疊或相關的部分是否大於該預定值。於一具體實施例中，該臨界值之最小值為10。亦即，兩組影像能成功疊合應具有之相對應資訊數量或特徵點之最小值為10。參考圖2步驟S207，若待掃描物體之兩組三維影像之資訊或特徵點之重疊或相關的部分大於一預定值，則將待掃描物體之兩組三維影像進行疊合。例如：若圖3D之待掃描物體之兩組三維影像3D1及3D2之中間重疊部分大於該預定值，則如圖3E將待掃描物體之兩組三維影像3D1及3D2進行疊合，以完成待掃描物體之第一部分之三維建模3E1。據本揭露之部分實施例，可藉由如圖1所示之處理器130將待掃描物體之兩組三維影像進行疊合。待完成待掃描物體之第一部分之三維建模後，回到步驟S203，判定該三維掃描裝置是否再次移動N*（△X）的距離（即離原點之距離為2N*（△X））。接著繼續步驟S204，再次獲得已擷取之待掃描物體之兩組三維影像之資訊或特徵點。例如，獲得先前已擷取之待掃描物體第N組三維影像之資訊或特徵點及第2N組三維影像之資訊或特徵點。以圖3F為例，待掃描物體三維影像之第N組影像為3D2（其已與第1組影像3D1疊合成3E1）且第2N組影像為3F1。接著參考步驟S205，比對該待掃描物體之兩組三維影像資訊或特徵點，並計算兩組資訊或特徵點所重疊或相關之部分。於步驟S206中，判定待掃描物體之三維影像之兩組資訊或特徵點之重疊或相關的部分是否大於一預定值。若待掃描物體之兩組三維影像之資訊或特徵點之重疊或相關的部分大於一預定值，則將待掃描物體之兩組三維影像進行疊合。接著不斷重複步驟S203至S207直至待掃描物體之三維建模完成。參考圖2步驟S209，若待掃描物體之兩組三維影像之資訊或特徵點之重疊或相關的部分小於該預定值，則判定待掃描物體之兩組三維影像無足夠的共同或相關特徵點可進行影像疊合，即令N=N-1(此時N=4)，再次執行步驟S204至S206。以圖3F及3G為例，當先前待掃描物體之三維影像之第N組影像3D2（其已與第1組影像3D1疊合成3E1）與第2N組影像3F1之共同或相關特徵點（斜線部分）小於該預定值時，令N=N-1，則將原先判斷第N組影像3D2與第2N組影像3F1之共同或相關特徵點改為判斷第N組影像3D2與第2N-1組影像3G1之共同或相關特徵點。接著，請參考圖3H，若待掃描物體之三維影像之第N組影像3D2與第2N-1組影像3G1之共同或相關特徵點大於該預定值時，則將先前影像3D1及3D2所疊合之影像3E1與第2N-1組影像3G1進行疊合，以完成待掃描物體之第二部分之三維建模3H1（如步驟S207），並恢復N之原先值(此時N=5)。待完成待掃描物體之第二部分之三維建模後，再次回到步驟S203，判定該三維掃描裝置是否再次移動N*（△X）的距離。接著繼續步驟S204，再次獲得已擷取之待掃描物體之兩組三維影像之資訊或特徵點。以圖3I為例，待掃描物體三維影像之第2N-1組影像為3G1（其已與影像3E1疊合成3H1）且第3N-1(即(2N-1)+N)組影像為3I1。接著參考步驟S205，比對該待掃描物體之兩組三維影像資訊或特徵點，並計算兩組資訊或特徵點所重疊或相關之部分。於步驟S206中，判定待掃描物體之三維影像之兩組資訊或特徵點之重疊或相關的部分是否大於一預定值。若待掃描物體之兩組三維影像之資訊或特徵點之重疊或相關的部分大於一預定值，則將待掃描物體之兩組三維影像進行疊合。接著不斷重複步驟S203至S207直至待掃描物體之三維建模完成。若待掃描物體之兩組三維影像之資訊或特徵點之重疊或相關的部分小於該預定值，則判定待掃描物體之兩組三維影像無足夠的共同或相關特徵點可進行影像疊合，即令N=N-1（此時N=4），再次執行步驟S204至S206。以圖3I及3J為例，當待掃描物體之三維影像之第2N-1組影像3G1（其已疊合成3H1）與第3N-1組影像3I1之共同或相關特徵點（斜線部分）小於該預定值時，令N= N-1，則將原先判斷第2N-1組影像3G1與第3N-1組影像3I1之共同或相關特徵點改為判斷第2N-1組影像3G1與第3N-2組影像3J1之共同或相關特徵點。如圖3K所示，若待掃描物體之三維影像之第2N-1組影像3G1與第3N-2組影像3J1之共同或相關特徵點大於該預定值時，則將影像3H1與與第3N-2組影像3J1進行疊合，以完成待掃描物體之第三部分之三維建模3K。參考圖2步驟S209，當待掃描物體之所有部分之三維建模結束後，則完成該待掃描物體之三維建模，以重建該待掃描物體。在部分實施例中，將三維掃描裝置所擷取之待掃描物體之所有影像進行疊合（如N=1之實施例）。例如，第一組影像與第二組影像疊合、第二組影像與第三組影像疊合，依此類推。如此雖可確保每次疊合皆可成功，然影像疊合時需要處理器大量的運算，其大大降低三維掃描裝置之操作效率及三維建模速度。根據本揭露之圖2及3A-3K之實施例，以N大於1（即2或2以上之整數）之設定來操作三維掃描裝置，若兩組影像資料之相關或共同之特徵點小於臨界值，則再以(N-1)之設定來操作三維掃描裝置，如此可確保影像疊合之正確性，並可在最小重疊區域下（即兩組影像資料之相關或共同之特徵點最接近臨界值）進行疊合，以降低疊合次數，進而提升三維掃描裝置之操作效率及三維建模速度。雖然本發明之技術內容與特徵係如上所述，然於本發明之技術領域具有通常知識者仍可在不悖離本發明之教導與揭露下進行許多變化與修改。因此，本發明之範疇並非限定於已揭露之實施例而係包含不悖離本發明之其他變化與修改，其係如下列申請專利範圍所涵蓋之範疇。

100‧‧‧三維掃描裝置

110‧‧‧影像擷取元件

120‧‧‧控制器

130‧‧‧處理器

圖1是根據本揭露之部分實施例的一種三維掃描裝置的方塊示意圖。圖2為根據本揭露之部分實施例的一種三維建模之方法之流程圖。圖3A-3K為根據本揭露之部分實施例的一種三維建模之方法之流程圖。

Claims

一種三維掃描裝置，其包含一影像擷取元件，其經組態以擷取一物體之多組影像；及一處理器，其經組態以獲得所擷取之該物體之一第一組影像及一第N組影像之影像資訊、比對該第一組影像之影像資訊及該第N組影像之影像資訊之相對應資訊及判定該第一組影像及該第N組影像之相對應資訊是否大於一臨界值，其中若該第一組影像及該第N組影像之該相對應資訊大於該臨界值，則該處理器經組態以將該第一組影像與該第N組影像進行疊合，且其中N為大於或等於2之整數，且其中若該第一組影像及該第N組影像之相對應資訊小於該臨界值，則該處理器經組態以比對所擷取之該物體之該第一組影像及一第(N-1)組影像之相對應資訊。
如請求項1之三維掃描裝置，其中若該第一組影像及該第(N-1)組影像之相對應資訊大於該臨界值，則該處理器經組態以判定將該第一組影像與該第(N-1)組影像進行疊合。
如請求項1之三維掃描裝置，其中N為大於等於3之整數。
如請求項1之三維掃描裝置，其中該第一組影像之影像資訊或該第N組影像之影像資訊包含該物體之下列至少一者或其組合：幾何構造、顏色、表面反照率、表面粗糙度、表面曲率、表面法向量及相對位置。
如請求項1之三維掃描裝置，其中該臨界值為該第一組影像與該第N組影像能成功疊合所需之相對應資訊數量之最小值。
如請求項1之三維掃描裝置，該處理器經組態以控制該影像擷取元件每移動一預定距離即對該物體擷取影像。
如請求項1之三維掃描裝置，該處理器經組態以控制該影像擷取元件每間隔一預定時間即對該物體擷取影像。
一種三維建模之方法，該方法包含(a)擷取一物體之多組影像；(b)獲得所擷取之該物體之一第一組影像及一第N組影像之影像資訊；(c)比對該第一組影像之影像資訊及該第N組影像之影像資訊之相對應資訊；(d)判定該第一組影像及該第N組影像之相對應資訊是否大於一臨界值；(e1)若該第一組影像及該第N組影像之該相對應資訊大於該臨界值，則將該第一組影像與該第N組影像進行疊合，其中N為大於等於2之整數；及(e2)若該第一組影像及該第N組影像之相對應資訊小於該臨界值，則比對所擷取之該物體之該第一組影像及一第(N-1)組影像之相對應資訊及判定該第一組影像及該第(N-1)組影像之相對應資訊是否大於該臨界值。
如請求項8之方法，其進一步包含若該第一組影像及該第(N-1)組影像之相對應資訊大於該臨界值，則將該第一組影像與該第(N-1)組影像進行疊合。
如請求項9之方法，其中N為大於等於3之整數。
如請求項8之方法，其中該第一組影像之影像資訊或該第N組影像之影像資訊包含該物體之下列至少一者或其組合：幾何構造、顏色、表面反照率、表面粗糙度、表面曲率、表面法向量及相對位置。
如請求項8之方法，其中該臨界值為該第一組影像與該第N組影像能成功疊合所需之相對應資訊數量之最小值。
如請求項8之方法，其中步驟(a)進一步包含：每間隔一預定距離即擷取該物體之影像。
如請求項8之方法，其中於步驟(b)前進一步包含：判定已擷取之該物體之影像之數量是否大於等於N。
如請求項14之方法，其進一步包含：若已擷取之該物體之影像之數量小於N，則繼續擷取之該物體之影像直至所擷取之該物體之影像之數量大於等於N。