TWI637145B - 基於結構光的三維掃描方法及其裝置與系統 - Google Patents

Abstract

一種基於結構光的三維掃描方法及其裝置與系統，此方法包括下列步驟。利用投影機依序投射具有多個掃描圖樣的結構光於受測物體，以掃描受測物體。當各掃描圖樣的結構光分別投射於受測物體時，利用至少一影像擷取裝置擷取受測物體的多個影像，以產生包括上述多個影像的影像組合，並且利用角度偵測器量測三維掃描系統的傾斜角度，以產生對應於各影像的多個角度量測值。根據上述多個角度量測值，判斷上述影像組合的角度變化是否過大。若是，將旗標標示於上述影像組合。當上述影像組合不具有旗標時，根據上述影像組合，產生受測物體的立體資訊。

Description

基於結構光的三維掃描方法及其裝置與系統

本發明是有關於一種三維掃描方法及其裝置與系統，且特別是有關於一種基於結構光的三維掃描方法及其裝置與系統。

在電腦圖學的領域中，針對物體外觀輪廓的幾何量測技術在現今的應用上，舉凡工業設計、逆向工程、製造零件檢測、數位文物典藏、文物遺跡考古等均有三維取像與資料分析的需求。

以現有基於時間編碼的結構光（time-coded structured light）而言，其可提供相當精細的立體掃描結果。此種掃描方式是利用不同相位移以及空間頻率的結構光投射到物體表面，再利用影像擷取裝置擷取因物體表面輪廓而造成變形的結構光的多張影像，以藉由影像分析得到物體的完整表面資訊。然而，使用者在利用影像擷取裝置擷取影像時，無可避免地會有手震的情況發生，而造成後續影像分析上的錯誤以及破碎且不連續的立體資訊。

有鑑於此，本發明提供一種基於結構光的三維掃描方法及其裝置與系統，其可以低成本的方式有效地提升立體掃描的精確度。

在本發明的一實施例中，前述基於結構光的三維掃描方法適用於具有投影機、至少一個影像擷取裝置以及角度偵測器的三維掃描系統，其中投影機、影像擷取裝置以及角度偵測器設置於同一乘載台，而此方法包括下列步驟。利用投影機分別依序投射具有多個掃描圖樣的結構光於受測物體，以針對受測物體進行掃描。當各個掃描圖樣的結構光分別投射於受測物體時，利用影像擷取裝置擷取受測物體的對應於各所述多個掃描圖樣的多個影像，以產生包括所有所述多個影像的影像組合，並且利用角度偵測器量測三維掃描系統的傾斜角度，以產生對應於各張影像的多個角度量測值。根據上述影像組合之中的多個影像的多個角度量測值，判斷上述影像組合的角度變化是否過大。若是，將旗標標示於上述影像組合。之後，當上述影像組合不具有旗標時，根據上述影像組合，產生受測物體的立體資訊。

在本發明的一實施例中，前述基於結構光的三維掃描裝置包括投影機、至少一個影像擷取裝置、角度偵測器以及處理器，其中處理器耦接投影機、影像擷取裝置以及角度偵測器，並且投影機、影像擷取裝置以及角度偵測器設置於同一乘載台。投影機用以分別依序投射具有多個掃描圖樣的結構光於受測物體，以對受測物體進行掃描。當各個掃描圖樣的結構光分別投射於受測物體，影像擷取裝置用以擷取受測物體的對應於各所述多個掃描圖樣的多個影像，以產生包括所有所述多個影像的影像組合。角度偵測器用以量測三維掃描系統的傾斜角度，以產生對應於各個影像的多個角度量測值。處理器用以根據上述影像組合之中的多個影像的多個角度量測值，判斷上述影像組合的角度變化是否過大。若是，則將旗標標示於上述影像組合。

在本發明的一實施例中，前述基於結構光的三維掃描系統包括掃描裝置以及處理裝置，其中掃描裝置包括設置於同一乘載台的投影機、至少一個影像擷取裝置以及角度偵測器，並且處理裝置連接於掃描裝置。投影機用以分別依序投射具有多個掃描圖樣的結構光於受測物體，以對受測物體進行掃描。當各個掃描圖樣的結構光分別投射於受測物體時，影像擷取裝置用以擷取受測物體的對應於各所述多個掃描圖樣的多個影像，以產生包括所有所述多個影像的影像組合。角度偵測器用以量測三維掃描系統的傾斜角度，以產生對應於各個影像的多個角度量測值。處理裝置用以根據各個影像組合之中的多個影像的多個角度量測值，判斷上述影像組合的角度變化是否過大。若是，則將旗標標示於上述影像組合，當上述影像組合不具有旗標時，再根據上述影像組合，產生受測物體的立體資訊。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法、裝置以及系統的範例。

圖1是根據本發明一實施例所繪示的三維掃描裝置的方塊圖，但此僅是為了方便說明，並不用以限制本發明。首先圖1先介紹系統中的所有構件以及配置關係，詳細功能將配合圖2一併揭露。

請參照圖1，三維掃描裝置100包括投影機110、影像擷取裝置120、角度偵測器130以及處理器140，其中投影機110、影像擷取裝置120以及角度偵測器130設置於同一乘載台PT，並且處理器140耦接至投影機110、影像擷取裝置120以及角度偵測器130。三維掃描系統100可針對受測物體T進行掃描，以獲得受測物體T的三維資料。

在本實施例中，投影機110用以投射結構光於受測物體T，以對受測物體T進行掃描。投影機110例如是可投射紅外線等非可見光的發光裝置。投影機110可依設定投射具有特定掃描圖樣的結構光（例如正弦條紋結構光，但本發明不在此設限掃描圖樣），並可調整所投射結構光的頻率、相位移、區域大小等等。

在本實施例中，影像擷取裝置120用以擷取受測物體T的影像，其包括鏡頭以及感光元件。鏡頭由透鏡所構成，而感光元件用以分別感測進入鏡頭的光線強度，進而分別產生影像。感光元件可以例如是電荷耦合元件（charge coupled device，CCD）、互補性氧化金屬半導體（complementary metal-oxide semiconductor，CMOS）元件或其他元件，本發明不在此設限。

在本實施例中，角度偵測器130用以偵測乘載台PT的傾斜角度，其可以例如是重力感測器、陀螺儀感測器、傾斜感測器等用以量測角度的感測器或是積體電路，本發明不在此設限。在以下的說明當中，乘載台PT的傾斜角度將視為三維掃描裝置100的傾斜角度。

在本實施例中，處理器140耦接至投影機110、影像擷取裝置120、角度偵測器130，其可以例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（programmable logic device，PLD）或其他類似裝置或這些裝置的組合。

本領域具通常知識者應明瞭，三維掃描裝置100更包括可耦接至投影機110、影像擷取裝置120、角度偵測器130以及處理器140的資料儲存裝置（未繪示），用以儲存影像以及資料。資料儲存裝置可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置或這些裝置的組合。

以下即搭配圖1的三維掃描裝置100的各元件列舉實施例，以說明三維掃描裝置100針對受測物體T進行三維掃描方法的詳細步驟。

圖2為根據本發明之一實施例所繪示的三維掃描方法的流程圖。

請同時參照圖1以及圖2，投影機110將分別依序投射具有多個掃描圖樣的結構光於受測物體T，以掃描受測物體T（步驟S202）。當各個掃描圖樣的結構光分別投射於受測物體T的同時，影像擷取裝置120將擷取受測物體T的影像，以產生包括所有對應於各個掃描圖樣的多個影像的影像組合（步驟S204），並且角度偵測器130將量測三維掃描裝置100的傾斜角度，以產生對應於各張影像的多個角度量測值（步驟S206）。詳細來說，當投影機110分別依序投射不同掃描圖樣的結構光於受測物體T時，影像擷取裝置120將一面地擷取受測物體T的對應影像，並且角度偵測器130將一面地量測乘載台PT的對應傾斜角度。換句話說，角度偵測器130將量測影像擷取裝置120擷取每張影像時，乘載台PT當下的傾斜角度。

在本實施例中，各個掃描圖樣具有特定空間頻率以及相位移。影像擷取裝置120將針對投射於受測物體T的各個掃描圖樣進行影像擷取，而所擷取到的多個影像將構成一個影像組合。

具體來說，投影機110所投射的掃描圖樣可以為皆具有第一頻率且分別具有三種相位移（例如-θ、0以及θ）的三種掃描圖樣以及皆具有第二頻率且分別具有三種相位移（例如-ψ、0以及ψ）的另外三種掃描圖樣，其中第一頻率與第二頻率不相同，而θ與ψ可以為相同數值。以圖3根據本發明之一實施例所繪示的掃描圖樣以其強度分布曲線圖為例，掃描圖樣Img1、掃描圖樣Img2以及掃描圖樣Img3具有第一頻率且分別具有相位移-θ、0以及θ，其中θ為120°。W1、W2以及W3則是分別為掃描圖樣Img1、掃描圖樣Img2以及掃描圖樣Img3於水平畫素x上的強度值I的強度分布曲線。

當投影機110以具有第一頻率以及相位移-θ的結構光（即掃描圖樣Img1）於受測物體T時，影像擷取裝置120將擷取到第一影像，並且角度偵測器130所量測到的傾斜角度具有第一角度量測值。當投影機110以具有第一頻率以及相位移0的結構光（即掃描圖樣Img2）於受測物體T時，影像擷取裝置120將擷取到第二影像，並且角度偵測器130所量測到的傾斜角度具有第二角度量測值。當投影機110以具有第一頻率以及相位移θ的結構光（即掃描圖樣Img3）投射於受測物體T時，影像擷取裝置120將擷取到第三影像，並且角度偵測器130所量測到的傾斜角度具有第三角度量測值。

類似地，當投影機110以具有第二頻率以及相位移分別為-ψ、0以及ψ的各掃描圖樣的結構光投射於受測物體T時，影像擷取裝置120將分別擷取到第四影像、第五影像以及第六影像，並且角度偵測器130所量測到的傾斜角度將分別具有第四角度量測值、第五角度量測值以及第六角度量測值。在此，第一影像、第二影像、第三影像、第四影像、第五影像以及第六影像將構成一個影像組合。

在另一實施例中，三維掃描裝置100亦可包括兩個以上的影像擷取裝置120來擷取受測物體的影像。

請再回到圖2，處理器140將根據上述影像組合中的多個影像的多個角度量測值，判斷上述影像組合的角度變化是否過大（步驟S208）。若是，則處理器140會將旗標標示於上述影像組合（步驟S210）。詳言之，處理器140判斷影像組合之中所有影像的角度量測值之間的彼此差異是否大於角度差異上限值，以判定上述影像組合的角度變化是否過大。若是，處理器140會以旗標的方式標示此影像組合。

在一實施例中，處理器140可以例如是比對影像組合之中兩兩影像間的角度差異值是否大於角度差異上限值。若存在任兩影像間的角度差異值大於角度差異上限值時，處理器140則會判定上述影像組合的角度變化過大。以前述影像組合為例，假設第一影像與第二影像的角度差異值過大，則處理器140會將旗標標示於此影像組合。

在另一實施例中，處理器140可以是將上述影像組合的其中一張影像所對應的角度量測值做為角度基準值，並且判斷其它影像的角度量測值與角度基準值的差異是否大於角度差異上限值。若是有任一影像的角度量測值與角度基準值的差異大於角度差異上限值時，處理器140則會判定上述影像組合的角度變化過大。同樣地以前述影像組合為例，處理器140可以是先設定其角度基準值為第一影像所對應的第一角度量測值，再判斷其它影像所對應的角度量測值分別與第一角度量測值的差異是否大於角度差異上限值。若有其中一者是，則處理器140會將旗標標示於此影像組合。

在一實施例中，由於具有旗標的影像組合為不可靠，因此處理器140將對該影像組合進行刪除。在另一實施例中，三維掃描裝置100可以額外地設置指示裝置，而當處理器140判定影像組合具有旗標時，亦代表乘載台PT可能因使用者手震而造成不穩定的情況，因此會利用指示裝置發出警示訊號，以提示使用者應保持乘載台PT（即三維掃描裝置100）的穩定。使用者可重新針對受測物體進行掃描、影像擷取以及角度量測（即，回到步驟S202），以重新產生新的影像組合。此警示訊號可以是文字、聲響、燈光等，本發明不在設限。

最後，處理器140將根據上述影像組合，產生受測物體T的立體資訊（步驟S212）。詳言之，處理器140在完成旗標的標示後，可利用不具有旗標的影像組合中的多個影像，計算出受測物體T的深度資訊。除此之外，三維掃描系統100可針對受測物體T的其它不同區域執行步驟S202～S210，並且根據受測物體T的所有不同區域的深度資訊，產生多個三角網格（triangular mesh），從而拼接成受測物體T的完整三維模型。由於現今電腦圖學的領域中已存在多種深度資訊以及三角網格化（triangulation）的演算方法，於此不再贅述。

必須說明的是，在一實施例中，基於步驟S212的運算量過大，當處理器140完成旗標的標示時，可將影像組合傳送至具有運算功能且效能較高的電子裝置。此外，在另一實施例中，更可由例如是圖4根據本發明一實施例所繪示的具有掃描裝置以及處理裝置的三維掃描系統來完成類似於步驟S202~S212的方法流程。

請參照圖4，三維掃描系統400包括掃描裝置405以及處理裝置440，其中掃描裝置405與處理裝置440可以是以有線或無線的方式相互連接，以傳送資料。

掃描裝置405包括設置於同一乘載台PT4的投影機410、影像擷取裝置420、角度偵測器430，其功能分別類似於圖1的投影機110、影像擷取裝置120、角度偵測器130，相關描述請參照前述段落的相關說明，於此不再贅述。本領域具通常知識者應明瞭，掃描裝置405可包括控制器或控制電路以控制各元件的作動以及資料儲存裝置以儲存掃描圖案、影像擷取裝置420所擷取的影像以及角度偵測器430所量測的角度。此外，在一實施例中，影像擷取裝置420的數量更可以是兩個以上。

處理裝置440可以是電腦、平板電腦、智慧型手機等具有運算功能的電子裝置，其用以接收影像擷取裝置420所擷取的影像以及角度偵測器430所量測的角度，以執行步驟S208～S212的判斷與運算，從而降低掃描裝置405的運算量以及功耗。

綜上所述，本發明所提出基於結構光的三維掃描方法及其裝置與系統，其利用額外增設的角度偵測器所量測的角度來做為建構受測物體的三維模型或是警示使用者手持狀態的依據，以低成本且有效的方式提升立體掃描的精確度。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100‧‧‧三維掃描裝置

110、410‧‧‧投影機

120、420‧‧‧影像擷取裝置

130、430‧‧‧角度偵測器

140‧‧‧處理器

PT、PT4‧‧‧乘載台

T‧‧‧受測物體

Img1、Img2、Img3‧‧‧掃描圖案

W1、W2、W3‧‧‧強度分布曲線

400‧‧‧三維掃描系統

405‧‧‧掃描裝置

440‧‧‧處理裝置

S202～S212‧‧‧三維掃描方法的流程

圖1是根據本發明一實施例所繪示的三維掃描裝置的方塊圖。 圖2為根據本發明之一實施例所繪示的三維掃描方法的流程圖。 圖3為根據本發明之一實施例所繪示的掃描圖樣及其強度分布曲線圖。 圖4是根據本發明一實施例所繪示的三維掃描系統的方塊圖。

Claims (13)

1. 一種基於結構光的三維掃描方法，適用於具有投影機、至少一影像擷取裝置以及角度偵測器的三維掃描系統，其中該投影機、該至少一影像擷取裝置以及該角度偵測器設置於同一乘載台，該方法包括下列步驟：利用該投影機分別依序投射具有多個掃描圖樣的結構光於該受測物體，以掃描該受測物體；當各所述多個掃描圖樣的該結構光分別投射於該受測物體時，利用該至少一影像擷取裝置擷取該受測物體的對應於各所述多個掃描圖樣的多個影像，以產生包括所述多個影像的影像組合，並且利用該角度偵測器量測該乘載台的傾斜角度，以產生對應於各所述多個影像的多個角度量測值；以及根據該影像組合之中的所述多個影像的所述多個角度量測值，判斷該影像組合的角度變化是否過大，若是，則標示旗標於該影像組合；其中，當該影像組合不具有該旗標時，根據該影像組合，產生該受測物體的立體資訊。
2. 如申請專利範圍第1項所述的三維掃描方法，其中根據該影像組合之中的所述多個影像的所述多個角度量測值，判斷該影像組合的該角度變化是否過大的步驟包括：判斷該影像組合之中的所述多個影像的所述多個角度量測值之間的彼此差異是否大於角度差異上限值；以及 若是，判定該影像組合的該角度變化過大。
3. 如申請專利範圍第1項所述的三維掃描方法，其中根據該影像組合之中的所述多個影像的所述多個角度量測值，判斷該影像組合的該角度變化是否過大的步驟包括：設定該影像組合之中的任一影像所對應的該角度量測值為角度基準值；判斷該影像組合中的任一其它影像的該角度量測值與該角度基準值的差異是否大於角度差異上限值；以及若是，判定該影像組合的該角度變化過大。
4. 如申請專利範圍第1項所述的三維掃描方法，其中該三維掃描系統更包括指示裝置，當該影像組合具有該旗標時，該方法更包括：利用該指示裝置發出警示訊號，以提示保持該乘載台的穩定。
5. 如申請專利範圍第1項所述的三維掃描方法，當該影像組合具有該旗標時，該方法更包括：刪除該影像組合。
6. 如申請專利範圍第1項所述的三維掃描方法，其中當該至少一影像擷取裝置為一時，所述多個掃描圖樣至少具有第一頻率以及第二頻率，且各所述掃描圖樣分別具有三種不同相位移其中之一。
7. 一種基於結構光的三維掃描裝置，包括： 投影機，分別依序投射具有多個掃描圖樣的結構光於該受測物體，以掃描該受測物體；至少一影像擷取裝置，當各所述掃描圖樣的該結構光分別投射於該受測物體時，擷取該受測物體的對應於各所述掃描圖樣的多個影像，以產生包括所述多個影像的影像組合；角度偵測器，與該投影機以及該至少一影像擷取裝置設置於同一乘載台，並且量測該乘載台的傾斜角度，以產生對應於各所述多個影像的多個角度量測值；以及處理器，耦接該投影機、該至少一影像擷取裝置以及該角度偵測器，根據該影像組合之中的所述多個影像的所述多個角度量測值，判斷該影像組合的角度變化是否過大，若是，則標示旗標於該影像組合。
8. 如申請專利範圍第7項所述的三維掃描裝置，其中當該影像組合不具有該旗標時，該處理器更根據該影像組合，產生該受測物體的立體資訊。
9. 如申請專利範圍第7項所述的三維掃描裝置，更包括：指示裝置，其中當該影像組合具有該旗標時，該指示裝置發出警示訊號，以提示保持該三維掃描裝置的穩定。
10. 如申請專利範圍第8項所述的三維掃描裝置，其中當該影像組合具有該旗標時，該處理器更刪除該影像組合。
11. 一種基於結構光的三維掃描系統，包括：掃描裝置，包括： 投影機，分別依序投射具有多個掃描圖樣的結構光於該受測物體，以掃描該受測物體；至少一影像擷取裝置，當各所述掃描圖樣的該結構光分別投射於該受測物體時，擷取該受測物體的對應於各所述掃描圖樣的多個影像，以產生包括所述多個影像的影像組合；以及角度偵測器，與該投影機以及該至少一影像擷取裝置設置於同一乘載台，並且量測該乘載台的傾斜角度，以產生對應於各所述多個影像的多個角度量測值；以及處理裝置，連接於該掃描裝置，根據該影像組合之中的所述多個影像的所述多個角度量測值，判斷該影像組合的角度變化是否過大，若是，則標示旗標於該影像組合，其中，當該影像組合不具有該旗標時，根據該影像組合，產生該受測物體的立體資訊。
12. 如申請專利範圍第11項所述的三維掃描系統，更包括：指示裝置，連接於該處理裝置，當該影像組合具有該旗標時，該指示裝置發出警示訊號，以提示保持該掃描裝置的穩定。
13. 如申請專利範圍第11項所述的三維掃描系統，其中當該影像組合具有該旗標時，該處理裝置更刪除該影像組合。