TWI622755B

TWI622755B - 表面形貌的量測方法

Info

Publication number: TWI622755B
Application number: TW105143024A
Authority: TW
Inventors: 張巍耀; 楊蘭昇; 翁義龍
Original assignee: 致茂電子股份有限公司
Priority date: 2016-12-23
Filing date: 2016-12-23
Publication date: 2018-05-01
Also published as: TW201823669A

Abstract

一種表面形貌的量測方法包含(a)決定複數個投影畫素與複數個影像感測畫素之間於待測面上的對應關係。(b)利用投影畫素提供校正光至待測面。(c)決定至少一投影畫素於第一曝光時間的亮度調整幅度。投影畫素利用亮度調整幅度能夠讓影像感測畫素於待測面上感測到亮度實質均勻的校正光。(d)提供具亮度調整幅度的第一結構光至待測面以測量表面形貌。第一結構光係由投影畫素所產生，且投影畫素產生至少二幅不同的投影圖案以疊加成第一結構光。

Description

表面形貌的量測方法

本揭露是有關於一種表面形貌的量測方法。

三維掃描技術係分析物體之外觀(或幾何形狀)，其掃描到的訊號會進行三維重建計算，以得出實際物體的數位資訊。在一些量測方法中，可利用光源提供結構光以照射一物體，再藉由影像擷取裝置得到物體上之光束資訊。由結構光的相位資訊、間距或寬度變化，以分析出表面形貌。然而，因物體表面的反射率可能會不同，其量測到的結構光強度可能會不均勻，使得感測元件部分呈飽和狀態，同時另一部分的感測強度十分弱，因此大幅降低表面形貌量測的解析度與準確性。

本揭露提供一種表面形貌的量測方法，包含(a)決定複數個投影畫素與複數個影像感測畫素之間於待測面上的對應關係。(b)利用投影畫素提供校正光至待測面。(c)決定至少一投影畫素於第一曝光時間的亮度調整幅度。投影畫素利用亮度調整幅度能夠讓影像感測畫素於待測面上感測到亮度實質均勻的校正光。(d)提供具亮度調整幅度的第一結構光至待測面以測量表面形貌。第一結構光係由投影畫素所產生，且投影畫素產生至少二幅不同的投影圖案以疊加成第一結構光。

藉由上述實施方式所提供的表面形貌的量測方法，可防止影像感測畫素處於飽和狀態，同時提供足夠解析度的第一結構光，以提高形貌量測的解析度與準確度。

110‧‧‧投影裝置

112‧‧‧光源

114‧‧‧調制元件

120‧‧‧影像擷取裝置

122‧‧‧感測元件

124‧‧‧透鏡

200‧‧‧待測面

200’‧‧‧待測物

D1、D2、D3、D4、D5、D6、D7、D8‧‧‧投影圖案

G‧‧‧預定灰階值

GB、GB’、GC‧‧‧灰階值

Gs‧‧‧灰階飽和值

L1、L2、OC、OB、OB’‧‧‧線段

P、P1、P2、P3、Pn‧‧‧投影畫素

C、C1、C2、Cn‧‧‧影像感測畫素

S‧‧‧散射點

Sa、Sb、Sc、Sd、Sd1、Sd2、Sd3、Sd4、Sd5、Se1、Se2、Se3、Se4、Se5、Se6、Se7‧‧‧步驟

第1圖為本揭露一實施方式之表面形貌的量測方法的流程圖。

第2圖為本揭露一實施方式的量測系統的示意圖。

第3圖為第2圖的調制元件、感測元件與待測面的示意圖。

第4圖與第5圖為第1圖的步驟Sa的方法示意圖。

第6圖至第8圖分別為校正時各階段的影像感測畫素感測待測面的灰階值分佈圖。

第9圖為曝光時間與灰階值的關係圖。

第10圖為第1圖的步驟Sd的流程圖。

第11A圖與第11B圖為本揭露二實施方式的複數個投影圖案之灰階值的示意圖。

第12圖為本揭露一實施方式之調整第一曝光時間的流程圖。

以下將以圖式揭露本揭露的複數個實施方式，為明確說明起見，許多實務上的細節將在以下敘述中一併說明。然而，應瞭解到，這些實務上的細節不應用以限制本揭露。也就是說，在本揭露部分實施方式中，這些實務上的細節是非必要的。此外，為簡化圖式起見，一些習知慣用的結構與元件在圖式中將以簡單示意的方式繪示之。

在一些實施方式中，可使用結構光以量測待測物表面的起伏，藉此得知待測物的三維形貌。結構光可以是條紋光，藉由感測到被表面所反射的條紋之間的間距、寬度或隨時間的相位變化，可分析出表面的起伏狀態。然而有些待測物各處的反射率不同，使得感測到的影像有些位置可能有過曝的情況產生。若將結構光的整體亮度調暗，則原本沒有過曝的位置的反射光亮度反而會過低，難以被分析，因此可把對應過曝位置的結構光亮度調低，同時維持未過曝位置的結構光亮度，以感測出亮度均勻的結構光。不過如此一來，調低亮度的部分結構光就會犧牲條紋的可調制解析度，亦會影響後續影像分析的解析度與準確度。

因此，本揭露提供一種改善的量測方法，在感測到亮度均勻的結構光同時，亦能夠維持條紋的可調制解析度，以增加形貌量測的解析度與準確度。第1圖為本揭露一實施方式之表面形貌的量測方法的流程圖。在第1圖中，先如步驟Sa所示，決定複數個投影畫素與複數個影像感測畫素之間於待測面上的對應關係。之後，如步驟Sb所示，利用投影畫素提供校正光至待測面。接著，如步驟Sc所示，決定至少一投影畫素於第一曝光時間的亮度調整幅度。其中投影畫素利用亮度調整幅度能夠讓影像感測畫素於待測面上感測到亮度實質均勻的校正光。而後，如步驟Sd所示，提供具亮度調整幅度的第一結構光至待測面以測量表面形貌。其中第一結構光係由投影畫素所產生，且投影畫素產生至少二幅不同的投影圖案以疊加成第一結構光。經由上述的方法，影像感測畫素即可得到亮度均勻且調制解析度與準確度高的第一結構光，以提高形貌量測的解析度與準確度。

詳細而言，請參照第2圖，其為本揭露一實施方式的量測系統的示意圖。在第2圖中，量測系統包含投影裝置110與影像擷取裝置120。投影裝置110用以將第一結構光投射至待測面200，而影像擷取裝置120用以感測自待測面200反射的第一結構光。待測面200可為一待測物200’的表面，因此藉由上述方法，即可測得待測物200’的表面形貌。

在本實施方式中，投影裝置110可為投影機或其他能夠提供結構光的光源，例如，投影裝置110可包含光源112與調制元件114，光源112用以提供光束至調制元件114，而調制元件114用以將光束調制為第一結構光。調制元件114包含複數個投影畫素，投影畫素可呈矩陣排列。藉由控制各個投影畫素的開關，可將光束調制為第一結構光。在一些實施方式中，調制元件114可為數位微型反射鏡元件(Digital Micromirror Device，DMD)、液晶光閥或其他合適的元件。

另外，影像擷取裝置120可為相機，然而本揭露不以此為限。影像擷取裝置120可包含感測元件122與至少一透鏡(或鏡頭)124。透鏡124用以將自待測面200散射的光成像至感測元件122，而感測元件122用以感測自待測面200成像的光。感測元件122包含複數個影像感測畫素。影像感測畫素可呈矩陣排列，藉此分別感測光束的亮度。在一些實施方式中，感測元件122可為感光耦合元件(Charge-coupled Device，CCD)或其他合適的元件。

請一併參照第1圖與第2圖。在步驟Sa中，決定投影畫素與影像感測畫素之間於待測面200上的對應關係。此處的「對應」指的是在固定的待測面200上，通過某一投影畫素的光束投射至待測面上200，並藉由透鏡124成像至某一影像感測畫素，則此投影畫素便對應至此影像感測畫素。

舉例而言，請參照第3圖，其為第2圖的調制元件114、感測元件122與待測面200的示意圖。在第3圖中，調制元件114包含複數個投影畫素P1、P2至Pn，而影像擷取裝置120包含複數個影像感測畫素C1、C2至Cn。通過投影畫素P1的光投射到待測面200後成像到影像感測畫素C1，而被影像感測畫素C1所感測，因此投影畫素P1對應於影像感測畫素C1。同樣的，通過投影畫素P2的光投射到待測面200後，光束成像到影像感測畫素C2，而被影像感測畫素C2所感測，因此投影畫素P2對應於影像感測畫素C2。另外，投影畫素Pn對應於影像感測畫素Cn，依此類推。不過，在其他的實施方式中，單一投影畫素可對應至複數個影像感測畫素、複數個投影畫素可對應至單一影像感測畫素、或者複數個投影畫素可對應至複數個影像感測畫素，本揭露不以此為限。

第4圖與第5圖為第1圖的步驟Sa的方法示意圖。在第4圖中，待測面200上有一散射點S。投影裝置110可先提供一第二結構光至待測面200上，此第二結構光例如為垂直的正弦條紋光。自散射點S反射的第二結構光會到達感測元件122中的一影像感測畫素C，若散射點S的反射率非常強，則影像感測畫素C可能會飽和，此時可降低投影裝置110的亮度，以讓影像感測畫素C測得的亮度降低。如此一來，影像感測畫素C可得到對應到散射點S的相位資訊。不過因投影裝置110為提供垂直的條紋光，因此影像感測畫素C此時為對應到調制元件114的線段L1。

接著請參照第5圖。投影裝置110提供旋轉後的第二結構光至待測面200上，此旋轉後的第二結構光與第4圖的第二結構光相交，例如為水平的正弦條紋光。接著重覆第4圖的步驟，影像感測畫素C可得到對應到散射點S的相位資訊。因投影裝置110為提供水平的條紋光，因此影像感測書素C此時為對應到調制元件114的線段L2。由線段L1與 L2，即可得知影像感測畫素C對應至調制元件114的投影畫素P，亦即通過投影畫素P的光會到達散射點S，之後被成像至影像感測畫素C。之後再重覆第4圖與第5圖的步驟，即可得到感測元件122的各影像感測畫素C與調制元件114的各投影畫素P的對應關係。在其他的實施方式中，可使用其他合適的方式(如格雷碼(Gray Code)法)以得到影像感測畫素C與投影畫素P的對應關係，本揭露不以此為限。

接著請回到第1圖。如步驟Sb所示，利用投影畫素提供校正光至待測面，在此處的校正光例如為亮度均勻的光束。在第2圖中，投影裝置110的光源112係提供光束至調制元件114的投影畫素。接著，投影畫素再調制光束以形成校正光。在此的調制元件114以數位微型反射鏡元件(DMD)為例，投影畫素即為微型反射鏡。每一微型反射鏡具有調制深度(Modulation Depth)，調制深度越深，微型反射鏡所反射的亮度對比度就越高。在一些實施方式中，微型反射鏡具有8位元字元(8-bit)的灰階度，調制深度範圍為0-255，然而本揭露不以此為限。當灰階值為0時，微型反射鏡所反射的亮度最低；當灰階值為255時，微型反射鏡所反射的亮度最亮。

請參照第6圖至第8圖，其分別為校正時各階段的影像感測畫素感測待測面的灰階值分佈圖。橫軸為待測面位置，縱軸為灰階值。影像感測畫素感測到的光強度越強，灰階值越高，反之則越低。在此為了清楚起見，以一維空間的灰階值分佈示意之。請先參照第6圖。在一些實施方式中，因待測面的反射率不同，當亮度均勻的光束投射至待測面上時，各區域的反射率不盡相同。待測面上反射率較低(在本實施方式為最低)的區域定義為暗區，而反射率較高(在本實施方式為最高)的區域定義為亮區，感測元件122所感測到的灰階值分佈可如第6圖所示。其中影像感測畫素具有灰階飽和值Gs，當影像感測畫素感測到的灰階值高於灰階飽和值Gs時，影像感測畫素便處於飽和狀態。

接著請參照第1圖與第7圖。如步驟Sc所示，決定至少一投影畫素於第一曝光時間的亮度調整幅度，因此投影畫素利用亮度調整幅度能夠在待測面上形成亮度實質均勻的校正光。詳細而言，先提高感測元件122的收光量，以將待測面上的校正光的暗區的亮度調整至預定灰階值G，此時感測元件122的曝光時間為第一曝光時間。預定灰階值G為影像感測畫素所感測到的灰階值，且預定灰階值G小於灰階飽和值Gs，以防止對應暗區的影像感測畫素呈飽和狀態。在一些實施方式中，灰階飽和值Gs可為255，而預定灰階值G的值可為240，然而本揭露不以此為限。在此情況下，除了感測待測區之暗區的影像感測畫素之外，其他的影像感測畫素(例如感測待測區之亮區的影像感測畫素)皆呈現飽和狀態，如第7圖所示。

請先參照第9圖，其為曝光時間與灰階值的關係圖。接下來為決定(對應至亮區的)投影畫素於第一曝光時間的亮度調整幅度，以將(對應至亮區的)影像感測畫素所感測到的灰階值降為約預定灰階值G。在第9圖中，線段OC表示對應至暗區的影像感測畫素隨曝光時間而改變的灰階值。曝光時間越長，灰階值越高，而當曝光時間為第一曝光時間時，對應至暗區的影像感測畫素的灰階值為預定灰階值G，因此線段OC即為第一曝光時間與預定灰階值G的關係式。

另外，線段OB、OB’表示對應至亮區兩處的影像感測畫素隨曝光時間而改變的灰階值。當在第一曝光時間時，對應至亮區的影像感測畫素皆呈飽和狀態。此時，將感測元件122的曝光時間縮短為第二曝光時間，使得對應至亮區的影像感測畫素皆呈未飽和狀態，但對應至亮區的影像感測畫素的灰階值GB、GB’仍高於對應至暗區的影像感測畫素的灰階值GC。接下來，利用對應至亮區的投影畫素作為衰減器，例如調整投影畫素的調制深度，以衰減對應至亮區的影像感測畫素的灰階值GB、GB’，使得對應至亮區的影像感測畫素的灰階值GB、GB’衰減至灰階值GC，而由灰階值GB(GB’)至灰階值GC的衰減幅度即為亮度調整幅度。如此一來，當曝光時間再拉長至第一曝光時間時，對應至亮區與暗區的影像感測畫素皆感測到預定灰階值G。

接著，如第8圖所示，當投影畫素皆經過亮度調整幅度的調整後，在第一曝光時間下，感測元件122的各影像感測畫素的灰階值皆為約預定灰階值G。換言之，投影畫素利用亮度調整幅度能夠讓影像感測畫素於待測面上感測到亮度實質均勻的校正光。如此一來，光束的校正步驟即完成。

在此情況下，不同的投影畫素具有不同的調制深度。舉例而言，對應至暗區的投影畫素的調制深度例如為255，亦即此部分的校正光未經過衰減。對應至亮區的投影畫素因經過衰減，因此調制深度小於255。不同的投影畫素衰減的程度可不同，因此調制深度亦不同。

接著請回到第1圖。如步驟Sd所示，提供具亮度調整幅度的第一結構光至待測面以測量表面形貌，其中第一結構光係由投影畫素所產生，且投影畫素產生至少二幅不同的投影圖案以疊加成第一結構光。詳細的步驟如第10圖所示，其為第1圖的步驟Sd的流程圖。首先，如步驟Sd1所示，根據亮度調整幅度以決定投影畫素的可調制灰階深度。如上所示，對應至亮區的投影畫素的調制深度為小於255，例如為199，表示此投影畫素的可調制的最大灰階值為199，其餘的調制深度(即56)已作為衰減光束亮度之用，以防止對應的影像感測畫素飽和。因此，此投影畫素的可調制灰階深度的範圍為0-199。

之後，如步驟Sd2所示，決定第一結構光的灰階調制深度，例如為255，亦即最亮點(255)與最暗點(0)之間具有256個階級可調制。因此，當第一結構光為條紋光時，最亮點的灰階值為255，最暗點的灰階值為0，如此一來即可得到解析度較佳的結構光。

接著，如步驟Sd3所示，根據可調制灰階深度與灰階調制深度以決定投影圖案的張數與灰階值。如上所述，對應至亮區的投影畫素的可調制灰階深度小於255(亦即小於第一結構光的灰階調制深度)，因此可利用兩幅以上不同的投影圖案來疊加成第一結構光。舉例而言，若對應至亮區的投影畫素的可調制灰階深度範圍為0-199(共200個階級)，則兩幅(灰階值)不同的投影圖案的可調制灰階深度即可增加到400個階級，因此便足夠形成灰階調制深度為255的第一結構光。在其他的實施方式中，若投影畫素的可調制灰階深度更少，則可再增加不同投影圖案的張數。

接著，如步驟Sd4所示，疊加投影圖案以形成第一結構光。之後，如步驟Sd5所示，提供第一結構光至待測面。如此一來，不但感測元件122的各影像感測畫素皆處於未飽和狀態，且第一結構光的解析度並不會因此而降低。之後，在下一時期，可提供具亮度調整幅度的另一結構光至待測面，因此每一影像感測畫素即可藉由該影像感測畫素隨時間的變化所感測到的灰階值相位變化而分析出待測面的形貌。

接著請參照第11A圖與第11B圖，其為本揭露二實施方式的複數個投影圖案D1-D8之灰階值的示意圖。舉例而言，在此二實施方式中，以8個投影圖案D1-D8形成第一結構光。另外，為了方便起見，在此僅繪示三個投影畫素P1-P3於各投影圖案D1-D8的灰階值。其中，在每一投影圖案D1-D8的每一投影畫素P1-P3(即圖中的一格)中，灰階值以網點部分與空白部分之間的比例表示。若網點部分佔滿一格，則灰階值最高，若空白部分佔滿一格，則灰階值最低。

在一些實施方式中，可利用調整投影圖案D1-D8的調制方式以減少投影圖案的數量。在第11A圖中，僅投影圖案D5與D6為相同的投影圖案，因此調制元件114需產生七種(D1-D5與D7-D8)不同的投影圖案才能形成第一結構光，其所需的記憶容量較大。然而，在第11B圖中，投影畫素P3的灰階值調制方式被重新調整，而調整過後的投影圖案D5-D8為相同的投影圖案，因此調制元件114可僅產生五種(D1-D5)不同的投影圖案即能形成第一結構光。如此一來，即可減少調制元件114的儲存容量。

接著請參照第12圖，其為本揭露一實施方式之調整第一曝光時間的流程圖。在一些實施方式中，若第一曝光時間過長，則第一結構光所需形成的時間會增加，亦即增加表面形貌的量測時間；反之，若過短則不足以形成解析度夠高的第一結構光，因此可利用第12圖的方法以決定合適的第一曝光時間的長度。

首先，如步驟Se1所示，先決定一起始曝光時間T1。接著，如步驟Se2所示，每一幅投影圖案皆具有一光束調制時間t_D，判斷起始曝光時間T1與光束調制時間t_D的大小。其中光束調制時間t_D為產生每一投影圖案所需的時間。若起始曝光時間T1≦光束調制時間t_D，表示起始曝光時間T1內不足以產生一幅以上的投影圖案，因此需增加曝光時間。在一些實施方式中，可以步驟Se3所示，降低光源112(如第2圖所示)的亮度，以讓曝光時間得以拉長成第一曝光時間T0，如步驟Se4所示，亦即第一曝光時間T0大於光束調制時間t_D。另一方面，在步驟Se2中，若起始曝光時間T1>光束調制時間t_D，則可直接到步驟Se4。在一些實施方式中，第一曝光時間T0為光束調制時間t_D的整數倍。舉例而言，若第一結構光由兩張投影圖案所疊加而成，則第一曝光時間T0為光束調制時間t_D的兩倍。

之後，再度檢查第一曝光時間T0是否過長。如步驟Se5所示，可判斷是否需減少量測時間或者減少投影圖案的張數，若是，則如步驟Se6所示，提高光源112(如第2圖所示)的亮度，以讓第一曝光時間T0減少，之後再回到步驟Se1重新檢視調整後的第一曝光時間T0的長度是否小於光束調制時間t_D。另一方面，於步驟Se5中若為否，則可確定第一曝光時間T0的長度，如步驟Se7所示。之後便可回到第1圖的步驟Sb以開始決定每一投影畫素的亮度調整幅度。

綜合上述，藉由本揭露各實施方式所提供的表面形貌的量測方法，可在防止影像感測畫素處於飽和狀態下，同時提供足夠解析度的第一結構光，以提高形貌量測的解析度與準確度。

雖然本揭露已以實施方式揭露如上，然其並非用以限定本揭露，任何熟習此技藝者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾，因此本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

Claims

一種表面形貌的量測方法，包含：(a)決定複數個投影畫素與複數個影像感測畫素之間於一待測面上的對應關係；(b)利用該些投影畫素提供一校正光至該待測面；(c)決定至少一之該些投影畫素於一第一曝光時間的亮度調整幅度，其中該些投影畫素利用該亮度調整幅度能夠讓該些影像感測畫素於該待測面上感測到亮度實質均勻的校正光；以及(d)提供具該亮度調整幅度的一第一結構光至該待測面以測量表面形貌，其中該第一結構光係由該些投影畫素所產生，且該些投影畫素產生至少二幅不同的投影圖案以疊加成該第一結構光。
如請求項1所述之量測方法，其中每一幅該些投影圖案具有一光束調制時間，該第一曝光時間大於該光束調制時間。
如請求項1所述之量測方法，其中步驟(c)包含：(c1)將該待測面上之該校正光的一暗區的亮度調整至一預定灰階值，並得出該第一曝光時間與該預定灰階值的線性關係。
如請求項1所述之量測方法，其中步驟(b)包含：(b1)提供一光束至該些投影畫素；以及(b2)該些投影畫素調制該光束以形成該校正光。
如請求項4所述之量測方法，更包含：(e)提高該光束的亮度以縮短該第一曝光時間。
如請求項1所述之量測方法，其中步驟(a)包含：(a1)提供一第二結構光至該待測面，其中該第二結構光係由該些投影畫素所產生；以及(a2)根據該待測面之該第二結構光以定義該些投影畫素與該些影像感測畫素之間的對應關係。
如請求項1所述之量測方法，其中步驟(d)包含：(d1)根據該亮度調整幅度以決定至少一之該些投影畫素的一可調制灰階深度；(d2)決定該第一結構光的一灰階調制深度；(d3)根據該可調制灰階深度與該灰階調制深度以決定該些投影圖案的張數與灰階值；(d4)疊加該些投影圖案以形成該第一結構光；以及(d5)提供該第一結構光至該待測面。
如請求項7所述之量測方法，其中步驟(d3)包含：(d31)調整該些投影圖案的調制方式以減少該些投影圖案的數量。