TWI583919B

TWI583919B - 非接觸式三維掃描系統及其方法

Info

Publication number: TWI583919B
Application number: TW104140465A
Authority: TW
Inventors: 林長慶; 林英傑
Original assignee: 財團法人金屬工業研究發展中心
Priority date: 2015-12-03
Filing date: 2015-12-03
Publication date: 2017-05-21
Also published as: TW201721090A

Description

非接觸式三維掃描系統及其方法

本發明涉及一種非接觸式三維掃描系統及其方法，特別是應用不同波長的投射光源提升影像辨識度之非接觸式三維掃描系統及其方法。

近年來，隨著3D（Three-dimensions）列印的普及與蓬勃發展，各種3D印表機便如雨後春筍般出現。然而，並非所有使用者皆具有3D建模的能力，導致使用3D列印仍存在相當程度的門檻。因此，能夠快速3D建模的3D掃描（三維掃描）技術便成為各家廠商首選的解決方案。

一般而言，傳統的三維掃描需以探針接觸待測物以進行3D建模。然而，此一方式容易損壞待測物，不適用於具有高價值性的待測物，如：古董、歷史文物等等。因此，便有廠商提出以投射光源的方式取代探針，藉由共焦顯微光路重建待測物的三維形貌，其中，又可區分為「單光點光路」與「針孔轉盤式（Nipkow disk）多點光路」二種。

首先，針對單光點光路而言，此一方式僅適用於單點量測，倘若用於多點量測時，必需搭配機械式掃描平台，故影響三維形貌重建的準確性及效率。接著，對於針孔轉盤式而言，雖然適用於多點量測，然而光強度受轉盤針孔大小影響，需依量測條件選用不同孔徑之轉盤，因此仍然無法有效解決三維形貌重建的準確性及效率皆不佳的問題。

綜上所述，可知先前技術中長期以來一直存在三維形貌重建的準確性及效率皆不佳之問題，因此實有必要提出改進的技術手段，來解決此一問題。

本發明揭露一種非接觸式三維掃描系統及其方法。

首先，本發明揭露一種非接觸式三維掃描系統，應用於掃描待測物，此系統包含：打光模組、掃描模組、影像處理模組及形貌重建模組。其中，打光模組用以驅動具有不同波長的發光二極體以產生投射光源；掃描模組用以逐次投射所述投射光源其中之一於待測物，並且持續根據不同焦深擷取對應投射光源的多個不同焦深影像；影像處理模組用以濾除所述不同焦深影像的雜訊，並基於影像清晰度解析每一不同焦深影像的最佳局部位置，以及組合每一不同焦深影像的最佳局部位置以形成對應所述投射光源的全景深影像，且計算此全景深影像的融合影像品質分數，當每一投射光源形成對應的全景深影像後，根據融合影像品質分數自所有全景深影像中選擇其中之一作為最適化影像；以及形貌重建模組用以根據最適化影像建構待測物的三維形貌。

另外，本發明揭露一種非接觸式三維掃描方法，應用於掃描待測物，其步驟包括：驅動具有不同波長的發光二極體以產生投射光源；逐次投射所述投射光源其中之一於待測物，並且持續根據不同焦深擷取對應投射光源的多個不同焦深影像；濾除所述不同焦深影像的雜訊，並基於影像清晰度解析每一不同焦深影像的最佳局部位置，以及組合每一不同焦深影像的最佳局部位置以形成對應所述投射光源的全景深影像，且計算此全景深影像的融合影像品質分數；當每一投射光源形成對應的全景深影像後，根據此融合影像品質分數自所有全景深影像中選擇其中之一作為最適化影像；根據此最適化影像建構待測物的三維形貌。

本發明所揭露之系統與方法如上，與先前技術的差異在於本發明是透過逐次投射不同波長的投射光源至待測物，並且每次皆持續根據不同焦深擷取對應投射光源的不同焦深影像，以及組合不同焦深影像的最佳局部位置形成全景深影像及計算全景深影像的融合影像品質分數，以便根據融合影像品質分數在所有全景深影像中選擇其中之一作為最適化影像來建構待測物的三維形貌。

透過上述的技術手段，本發明可以達成提高三維形貌重建的準確性及效率之技術功效。

以下將配合圖式及實施例來詳細說明本發明之實施方式，藉此對本發明如何應用技術手段來解決技術問題並達成技術功效的實現過程能充分理解並據以實施。

在說明本發明所揭露之非接觸式三維掃描系統及其方法之前，先對本發明所自行定義的名詞作說明，本發明所述的融合影像品質分數是指在多張不同焦深影像中，最清晰的各區域之影像品質分數最高的總和。其中，最清晰的各區域是透過先計算影像輪廓清晰度變化（包含特徵之銳利度、變異性、曲率辨識度、對比度、頻域度等）來獲得對應的影像品質分數，接著比對不同層影像之同一區域的影像品質分數，以便選擇最高分數（即代表最佳對焦資訊）的區域作為最佳局部位置，最後加總這些最佳局部位置的影像品質分數計算出融合影像品質分數。藉由融合影像品質分數可得知哪張影像品質最佳及其對應的投射光源即為最適合此待測物的投射光源。

以下配合圖式對本發明非接觸式三維掃描系統及其方法做進一步說明，請先參閱「第1圖」，「第1圖」為本發明非接觸式三維掃描系統之系統方塊圖，此系統包含：打光模組110、掃描模組120、影像處理模組130及形貌重建模組140。其中，打光模組110用以驅動具有不同波長的發光二極體以產生投射光源。在實際實施上，所述投射光源可包含單一波長的光源以及透過光耦合器用以耦合不同波長的光源以形成相應的所述投射光源，如：紅光、綠光、藍光、紅外光及紫外光等其中之一或其任意組合。

掃描模組120用以逐次投射所述投射光源其中之一於待測物，並且持續根據不同焦深（Depth of Focus）擷取對應投射光源的多個不同焦深影像。換句話說，每次選擇一種投射光源投射至待測物上，並且在投射此種投射光源時，持續以不同焦點深度擷取影像產生，進而產生多個不同焦深影像，直到所有投射光源均投射完畢為止。在實際實施上，可透過微透鏡結構對待測物作面形掃描。

影像處理模組130用以濾除所述不同焦深影像的雜訊，並基於影像清晰度解析每一不同焦深影像的最佳局部位置，以及組合每一不同焦深影像的最佳局部位置以形成對應所述投射光源的全景深影像，且計算此全景深影像的融合影像品質分數，當每一投射光源形成對應的全景深影像後，根據融合影像品質分數自所有全景深影像中選擇其中之一作為最適化影像。在實際實施上，每一張不同焦深影像皆可分割成多個可調尺寸大小之區域，這些區域可根據待測物的幾何外形關係，如：幾何尺寸大小、結構、解析度、材質等等來調整範圍。並且使用Sobel、Laplacian……等演算法來計算各區域的影像輪廓清晰度變化以產生相應的影像品質分數，以及根據所計算出來的影像品質分數自各區域選擇至少其中之一（即分數最高者）作為最佳局部位置，以便當全景深影像形成後，加總選出的最佳局部位置之影像品質分數以作為對應此全景深影像的融合影像品質分數，由於融合影像品質分數及其計算方式已於前述自行定義名詞中作說明，故在此不再多作贅述。接下來，由於不同的投射光源皆可產生相應的全景深影像，各全景深影像具有對應的融合影像品質分數。因此，可選出融合影像品質分數最高的全景深影像作為最適化影像，此選出的全景深影像所使用的投射光源亦為此待測物最適合的投射光源。

形貌重建模組140用以根據該最適化影像建構該待測物的三維形貌。在實際實施上，將最適化影像建構成三維形貌係根據深度資訊（即Z座標值）及搭配標準校正塊進行影像校正以計算每一像素對應於實際空間的二維資料（即X、Y座標值）來建構出待測物的三維形貌。由於根據具有X、Y及Z座標值的圖像建構三維形貌為習知技術，故在此不再多作贅述。

接著，請參閱「第2圖」，「第2圖」為本發明非接觸式三維掃描方法之方法流程圖，應用於掃描待測物，其步驟包括：驅動具有不同波長的發光二極體以產生投射光源（步驟210）；逐次投射所述投射光源其中之一於待測物，並且持續根據不同焦深擷取對應投射光源的多個不同焦深影像（步驟220）；濾除所述不同焦深影像的雜訊，並基於影像清晰度解析每一不同焦深影像的最佳局部位置，以及組合每一不同焦深影像的最佳局部位置以形成對應所述投射光源的全景深影像，且計算此全景深影像的融合影像品質分數（步驟230）；當每一投射光源形成對應的全景深影像後，根據此融合影像品質分數自所有全景深影像中選擇其中之一作為最適化影像（步驟240）；根據此最適化影像建構待測物的三維形貌（步驟250）。透過上述步驟，即可透過逐次投射不同波長的投射光源至待測物，並且每次皆持續根據不同焦深擷取對應投射光源的不同焦深影像，以及組合不同焦深影像的最佳局部位置形成全景深影像及計算全景深影像的融合影像品質分數，以便根據融合影像品質分數在所有全景深影像中選擇其中之一作為最適化影像來建構待測物的三維形貌。

以下配合「第3圖」及「第4圖」以實施例的方式進行如下說明，請先參閱「第3圖」，「第3圖」為應用本發明將投射光源投射至待測物之示意圖。在實際實施上，所述待測物300可為單一物體或多個物體（如：物體301及物體302）所組成，其可固定或放置在平台310，當固定在平台310時，還可透過水平旋轉軸及搖擺軸（圖中未示）調整待測物300。當打光模組110驅動具有不同波長的發光二極體時，將產生投射光源320投射待測物300，其中，驅動不同波長的發光二極體的方式包含每次僅驅動單一波長的發光二極體來產生相應的投射光源，以及同時驅動二個或二個以上的相異波長之發光二極體，並透過光纖管將光導引至光耦合器以耦合不同波長的光源形成相應的投射光源。如此一來，可以有效避免傳統以探針接觸待測物300導致損傷待測物300的情況。

如「第4圖」所示意，「第4圖」為應用本發明產生最適化影像之示意圖。由於無法預先確定哪一種波長的投射光源投射待測物300可獲得最清晰的影像，因此，掃描模組120將逐次投射不同波長的投射光源於待測物300，並且在每次投射期間持續根據不同焦深擷取多個不同焦深影像410。接著，影像處理模組130濾除這些不同焦深影像410的雜訊，並且基於清晰度解析每一張不同焦深影像410的最佳局部位置，其解析方式可先將每一張不同焦深影像410依照待測物300幾何外形關係（包含：幾何尺寸大小、結構、解析度、材質等等）分割成多個可調尺寸大小之區域，然後透過Sobel、Laplacian……等演算法計算各區域的影像輪廓清晰度變化（包含：特徵之銳利度、變異性、曲率辨識度、對比度、頻域度等等）以獲得相應的影像品質分數，接著比對每一張不同焦深影像410之同一區域的影像品質分數，以便將此一區域的分數最高者作為最佳局部位置，並且將所有區域的最佳局部位置（411~414）組合成一張全景深影像420。特別要說明的是，由於全景深影像420是由所有區域的最佳局部位置（411~414）組合而成，每一個區域的最佳局部位置（411~414）都有相應的影像品質分數（同一區域中分數最高者），因此，加總所有影像品質分數即可獲得對應全景深影像420的融合影像品質分數。

接下來，在投射其它波長的投射光源320期間，也以相同的方式產生相應的全景深影像420及其融合影像品質分數，也就是說，每一種波長的投射光源320皆會產生一張對應的全景深影像420及其對應的融合影像品質分數。當投射完所有投射光源320後，影像處理模組130會選擇融合影像品質分數最高者所對應的全景深影像420作為最適化影像，理由是此全景深影像420最為清晰，並且由形貌重建模組140根據最適化影像（即影像處理模組130選出的全景深影像420）建構所述待測物300的三維形貌，其建構方式係根據最適化影像中每一像素對應於實際空間的X、Y及Z座標進行建構。特別要說明的是，還可將最適化影像所使用的投射光源之波長視為最適合此待測物300的波長，並且以資料庫方式建立紀錄，提供之後對同一待測物300建構三維形貌時，直接以此波長的投射光源進行投射及建構三維形貌，提升建構三維形貌的效率。

綜上所述，可知本發明與先前技術之間的差異在於透過逐次投射不同波長的投射光源至待測物，並且每次皆持續根據不同焦深擷取對應投射光源的不同焦深影像，以及組合不同焦深影像的最佳局部位置形成全景深影像及計算全景深影像的融合影像品質分數，以便根據融合影像品質分數在所有全景深影像中選擇其中之一作為最適化影像來建構待測物的三維形貌，藉由此一技術手段可以解決先前技術所存在的問題，進而達成提高三維形貌重建的準確性及效率之技術功效。

雖然本發明以前述之實施例揭露如上，然其並非用以限定本發明，任何熟習相像技藝者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之專利保護範圍須視本說明書所附之申請專利範圍所界定者為準。

110‧‧‧打光模組
120‧‧‧掃描模組
130‧‧‧影像處理模組
140‧‧‧形貌重建模組
300‧‧‧待測物
301、302‧‧‧物體
310‧‧‧平台
320‧‧‧投射光源
410 ‧‧‧不同焦深影像
411~414‧‧‧最佳局部位置
420‧‧‧全景深影像
步驟210‧‧‧驅動具有不同波長的至少一發光二極體以產生至少一投射光源
步驟220‧‧‧逐次投射所述投射光源其中之一於待測物，並且持續根據不同焦深擷取對應該投射光源的多個不同焦深影像
步驟230‧‧‧濾除所述不同焦深影像的雜訊，並基於影像清晰度解析每一不同焦深影像的一最佳局部位置，以及組合每一不同焦深影像的該最佳局部位置以形成對應所述投射光源的一全景深影像，且計算該全景深影像的一融合影像品質分數
步驟240‧‧‧當每一投射光源形成對應的該全景深影像後，根據該融合影像品質分數自所有全景深影像中選擇其中之一作為一最適化影像
步驟250‧‧‧根據該最適化影像建構該待測物的三維形貌

第1圖為本發明非接觸式三維掃描系統之系統方塊圖。第2圖為本發明非接觸式三維掃描方法之方法流程圖。第3圖為應用本發明將投射光源投射至待測物之示意圖。第4圖為應用本發明產生最適化影像之示意圖。

110‧‧‧打光模組

120‧‧‧掃描模組

130‧‧‧影像處理模組

140‧‧‧形貌重建模組

Claims

一種非接觸式三維掃描系統，應用於掃描一待測物，該系統包含：一打光模組，用以驅動具有不同波長的至少一發光二極體以產生至少一投射光源；一掃描模組，用以逐次投射所述投射光源其中之一於該待測物，並且持續根據不同焦深擷取對應該投射光源的多個不同焦深影像；一影像處理模組，用以濾除所述不同焦深影像的雜訊，並基於影像清晰度解析每一不同焦深影像的一最佳局部位置，以及組合每一不同焦深影像的該最佳局部位置以形成對應所述投射光源的一全景深影像，且計算該全景深影像的一融合影像品質分數，當每一投射光源形成對應的該全景深影像後，根據該融合影像品質分數自所有全景深影像中選擇其中之一作為一最適化影像；以及一形貌重建模組，用以根據該最適化影像建構該待測物的三維形貌。
根據申請專利範圍第1項之非接觸式三維掃描系統，其中該打光模組包含一光耦合器用以耦合不同波長的光源以形成相應的所述投射光源。
根據申請專利範圍第1項之非接觸式三維掃描系統，其中所述投射光源包含紅光、綠光、藍光、紅外光及紫外光至少其中之一。
根據申請專利範圍第1項之非接觸式三維掃描系統，其中該影像處理模組包含將每一不同焦深分割成多個可調尺寸大小之區域，所述區域根據該待測物的幾何外形調整範圍，並且計算各區域的影像輪廓清晰度變化以產生相應的一影像品質分數，以及根據該影像品質分數自各區域選擇至少其中之一作為該最佳局部位置，當該全景深影像形成後，加總選出的該最佳局部位置的該影像品質分數以作為對應該全景深影像的該融合影像品質分數。
根據申請專利範圍第1項之非接觸式三維掃描系統，其中每一不同焦深影像、所述全景深影像及該最適化影像的像素皆包含對應於實際空間的一深度座標及二維座標，用以作為該形貌重建模組進行三維形貌重建的依據。
一種非接觸式三維掃描方法，應用於掃描一待測物，其步驟包括：驅動具有不同波長的至少一發光二極體以產生至少一投射光源；逐次投射所述投射光源其中之一於該待測物，並且持續根據不同焦深擷取對應該投射光源的多個不同焦深影像；濾除所述不同焦深影像的雜訊，並基於影像清晰度解析每一不同焦深影像的一最佳局部位置，以及組合每一不同焦深影像的該最佳局部位置以形成對應所述投射光源的一全景深影像，且計算該全景深影像的一融合影像品質分數；當每一投射光源形成對應的該全景深影像後，根據該融合影像品質分數自所有全景深影像中選擇其中之一作為一最適化影像；以及根據該最適化影像建構該待測物的三維形貌。
根據申請專利範圍第6項之非接觸式三維掃描方法，其中所述投射光源包含單一波長的光源以及透過一光耦合器耦合不同波長的光源。
根據申請專利範圍第6項之非接觸式三維掃描方法，其中所述投射光源包含紅光、綠光、藍光、紅外光及紫外光至少其中之一。
根據申請專利範圍第6項之非接觸式三維掃描方法，其中該基於影像清晰度解析每一不同焦深影像的該最佳局部位置的步驟係將每一不同焦深影像分割成多個可調尺寸大小之區域，所述區域根據該待測物的幾何外形調整範圍，並且計算各區域的影像輪廓清晰度變化以產生相應的一影像品質分數，以及根據該影像品質分數自各區域選擇至少其中之一作為該最佳局部位置，當該全景深影像形成後，加總選出的該最佳局部位置的該影像品質分數以作為對應該全景深影像的該融合影像品質分數。
根據申請專利範圍第6項之非接觸式三維掃描方法，其中每一不同焦深影像、所述全景深影像及該最適化影像的像素皆包含對應於實際空間的一深度座標及二維座標，用以作為三維形貌重建的依據。