TWI726559B

TWI726559B - 輪廓測量系統和輪廓測量方法

Info

Publication number: TWI726559B
Application number: TW108148307A
Authority: TW
Inventors: 律多安國; 賴岳益
Original assignee: 財團法人工業技術研究院
Priority date: 2019-12-30
Filing date: 2019-12-30
Publication date: 2021-05-01
Also published as: TW202124909A

Abstract

一種用於輪廓測量的系統和方法。輪廓測量系統包含光投影機、成像裝置、控制系統以及處理單元。光投影機包含光源、遮罩以及光學系統。遮罩的孔徑允許來自光源的光的一部分穿過並且產生圖案。光學系統包含配置成以不同投影距離投影圖案的可變焦距透鏡元件。成像裝置配置成擷取以不同投影距離投影的圖案的影像。控制系統配置成控制光投影機的投影距離和成像裝置的焦距。處理單元配置成獲得擷取到的影像中的對焦畫素，產生遮罩影像，基於擷取到的影像重建大景深的圖案影像並且重建物體輪廓。

Description

輪廓測量系統和輪廓測量方法

本揭露是有關於一種輪廓測量系統和輪廓測量方法。

涉及光圖案投影的非接觸式檢查方法已廣泛地用於從鐵軌輪廓的測量和檢查，到高精度加工零件的範圍內的應用中。這些方法主要透過將雷射用作光源以將光線投影到物體上。所投影之光線的形狀，與物體在投影所述光線的方向上的形狀直接相關，且透過用成像系統擷取所投影之光線的影像，可根據已知的三角測量原理來還原物體的輪廓。雖然雷射可提供光源中最高功率密度以及投影線的大景深，但雷射通常對眼腈並不安全，雷射的使用必須遵循嚴格的規定，且擷取到的影像遭受斑點雜訊的影響。基於LED的光源不存在上述任何一個缺點，但光強度低得多且景深窄很多，且景深會因基於LED的三角測量系統的應用，而被限制在較小的三維物體。

本揭露的實施例提供一種能夠測量具有比系統的景深大的深度或高度的物體之輪廓測量系統和輪廓測量方法。

本揭露的實施例的輪廓測量系統包含光投影機、成像裝置、控制系統以及處理單元。光投影機配置成將圖案(光圖案)投影在物體上。圖案包含至少一個幾何形狀。光投影機包含光源、遮罩以及光學系統。光源配置成提供光遮罩具有孔徑以允許光的一部分穿過。光學系統設置於光的傳輸路徑上且包含可變焦距透鏡元件，所述光學系統配置成以不同投影距離投影圖案。成像裝置配置成擷取以不同距離投影的圖案之影像，其中成像裝置包含透鏡系統和影像感測器。控制系統配置成控制光投影機的投影距離和成像裝置的焦距。處理單元配置成檢測和尋找擷取到的影像中的對焦畫素，基於對焦畫素產生各自含有遮罩區和對焦區的遮罩影像，基於擷取到的影像重建大景深的圖案影像以及重建物體輪廓。

本揭露的實施例的輪廓測量方法包含如下步驟。以不同投影距離將圖案投影在物體上。擷取以不同投影距離投影的圖案之影像。獲得擷取到的影像中的對焦畫素。重建大景深的圖案影像。獲得物體輪廓。

為讓本揭露的上述特徵能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

30、30A、30B、30C、30D:光投影機

31:成像裝置

32:控制系統

33:處理單元

300:光源

301:遮罩

302A、302B、302C、302D:光學系統

510、520、530、540、550、610、620、630、640、650、660、810、820、830、910、920、930、940:步驟

3000:發光二極體

3001:電路板

3002:發光二極體晶片

3020:可變焦距透鏡元件

3021、3021C、3021D:調節透鏡

3022:投影透鏡

A:區域

AL:消色差透鏡

AP:孔徑

F、PT:點

FD:焦距

DOF:景深

L、L’:光

L1:聚光透鏡

L2、L3:透鏡元件

L4:正凹凸透鏡

LL:下限

LW、LW1、LW2、LW3:線寬

MI:遮罩影像

OA1、OA2:光軸

OBJ:物體

OEI、OEP:輸出端

P、P1、P2:圖案

P’:重建的大景深投影圖案

PD:投影距離

PF:焦點平面

R1:對焦區

R2:遮罩區

S1、S2、S3:表面

UL:上限

W1、W2、W3:最小寬度

X、Y、Z:方向

θ:角度

圖1A是投影線狀光的光投影機的示意圖。

圖1B是圖1A中的區域A的放大視圖。

圖2A和圖2B分別是繪示由具有窄和寬線寬的光測量的物體的示意圖。

圖2C和圖2D分別是繪示由對應於圖2A和圖2B的影像感測器擷取的影像的示意圖。

圖3是根據本揭露的實施例的輪廓測量系統的示意圖。

圖4A到圖4D是用於本揭露的實施例中的光投影機的示意圖。

圖4E到圖4G是用於本揭露的實施例中的遮罩的示意圖。

圖4H到圖4J是用於本揭露的實施例中的光源的示意圖。

圖5是繪示本揭露的實施例的以同步模式運行的輪廓測量方法的流程圖。

圖6是繪示本揭露的實施例的以非同步模式運行的輪廓測量方法的流程圖。

圖7A是繪示施加到光投影機的訊號與投影距離之間的關係的曲線圖。

圖7B是繪示施加到成像裝置的訊號與焦距之間的關係的曲線圖。

圖8是繪示本揭露的實施例的用於物體輪廓重建的影像處理步驟的流程圖。

圖9是繪示本揭露的實施例的對應於圖8中的步驟810的詳細步驟的流程圖。

圖10A到圖10C分別是對應於圖9中的步驟920、步驟930以及步驟940的示意圖。

圖11A到圖11C是繪示以不同投影距離將線圖案投影在相同物體上的示意圖。

圖12是繪示與圖11上相同的物體和重建的大景深投影圖案的示意圖。

圖13和圖14是可用於本揭露的實施例中的圖案的示意圖。

本揭露的實施例中的任何一個中的輪廓測量系統和輪廓測量方法適用於測量物體的表面形貌。具體來說，本揭露的實施例中的任何一個輪廓測量系統，即使在物體的輪廓的高度大於系統的景深(Depth Of Field，DOF)時也適用於測量物體的輪廓。為了方便描述以下實施例和各圖，將以含有不同距離的兩個平行平面以及連接兩個平行平面的傾斜平面的階梯狀物體作為實施例，但待測量物體的結構不限於此。

圖1A是如在現有技術中的投影線狀光的投影機的示意圖。圖1B是圖1A中的區域A的放大視圖。投影機是線光源，線光源投影在方向X上延伸且在方向Y上具有線寬LW的光線。投影機的景深由深度範圍限定，在所述深度範圍內，在物體上投影的線的線寬不會產生所測量的物體輪廓的任何解析度損耗。這可以透過參看圖1B以及圖2A到圖2D來更好地理解。如圖1B中所示，在點F處所繪示的焦距處，線寬LW1最小。線寬隨著到點F的垂直距離(沿著方向Z測量的距離)改變而增加。因此，上限UL處的線寬LW2和下限LL處的線寬LW3都大於點F處的線寬LW1。

圖2A和圖2B分別是繪示由具有窄和寬線寬的光測量的物體OBJ的示意圖。在兩個圖中，將線狀光投影在物體OBJ上的不同位置處。圖2C和圖2D分別是繪示由對應於圖2A和圖2B的感測器(未繪示)擷取的影像的示意圖。與圖2D中的所投影的線狀光的影像相比，圖2C繪示所投影的線狀光的影像有更多細節。如圖2B和圖2D中所繪示，與線狀光線寬大於物體的結構的情況相比，對應於圖2A的細線狀光之投影的額外細節產生更準確的還原輪廓。因此，對於沿著方向Z具有較大尺寸的物體，所投影的線的不同線寬中，將產生其中線寬比物體的結構大的還原物體輪廓的解析度之損耗。本揭露的實施例可改善現有技術的有限景深，且因此使得能夠相對於投影線的景深而言，對具有較大深度的物體的輪廓進行測量。

圖3是根據本揭露的實施例的輪廓測量系統的示意圖。輪廓測量系統包含光投影機30、成像裝置31、控制系統32以及處理單元33。

光投影機30配置成將圖案P投影在物體OBJ上。圖案P 包含至少一個幾何形狀(例如直線、曲線、交叉傾斜線或任何給定幾何圖案)。在一實施例中，光投影機30是將單個線投影在物體OBJ上的線投影機。圖13和圖14分別是可用於本揭露的實施例中的圖案P1和圖案P2的示意圖。如圖13和圖14中所繪示，由光投影機投影的圖案可以是一組平行線(例如圖13中的圖案P1)或一組平行及垂直的線(例如圖14中的圖案P2)。

圖4A到圖4D分別是用於本揭露的實施例中的光投影機30A到光投影機30D的示意圖。光投影機(光投影機30A到光投影機30D中的任何一個)包含光源300、遮罩301以及光學系統(光學系統302A到光學系統302D中的任何一個)。

光源300配置成提供(圖4C和圖4D中所繪示的)光L。在實施例中，光源300可包含發光二極體(light emitting diode，LED)3000和電路板3001，其中發光二極體3000設置於電路板3001上且電連接到所述電路板3001。

遮罩301設置於光L的傳輸路徑上。遮罩301具有孔徑AP以允許光L的一部分穿過並且產生圖案(例如圖3中的圖案P)。在實施例中，孔徑AP的形狀是沿著方向X延伸的線，但不限於此。在其它實施例中，孔徑AP的形狀可以是一組平行線或一組平行及垂直的線。

光學系統(光學系統302A到光學系統302D中的任何一個)設置於光L的傳輸路徑上且包含可變焦距透鏡元件3020，所述可變焦距透鏡元件(例如可調透鏡、液體透鏡)配置成以不同投影距離(圖3示意性地繪示投影距離PD)投影圖案P(繪示於圖3中)。投影距離PD是沿著光投影機30的光軸OA1從光投影機30的最前部元件(例如輸出端OEP)到物體OBJ的表面上的焦點平面PF上的點PT以使點PT成為焦點。

透過控制可變焦距透鏡元件3020的焦距以不同投影距離PD投影圖案P，且透過改變施加到可變焦距透鏡元件3020的電參數(例如電壓或電流)的值來控制可變焦距透鏡元件3020的焦距。可變焦距透鏡元件3020可為來自長富科技(Optotune)公司、維瑞光學(Varioptics)公司或三豐(Mitutoyo)公司的透鏡元件，但不限於此。

在圖4A中，光學系統302A更包含調節透鏡3021和投影透鏡3022。調節透鏡3021位於光源300與遮罩301之間，且遮罩301位於調節透鏡3021與投影透鏡3022之間。在一實施例中，調節透鏡3021配置成將來自光源300的光以接近於或等於90度的角度投影在遮罩301上，也就是說，調節透鏡3021配置成準直或近準直光投影在遮罩301上。

在一實施例中，可變焦距透鏡元件3020位於投影透鏡3022與遮罩301之間。如圖4B的光學系統302B中所繪示，投影透鏡3022可位於可變焦距透鏡元件3020與遮罩301之間。可變焦距透鏡元件3020可以是調節透鏡3021的一部分。

在圖4C中，光學系統302C是遠心的。具體來說，光學系統302C包含可變焦距透鏡元件3020和調節透鏡3021C。調節透鏡3021C包含聚光透鏡L1和由透鏡元件L2和透鏡元件L3構成的消色差透鏡AL。將聚光透鏡L1、透鏡元件L2以及透鏡元件L3依序從光源側排列到遮罩側。遮罩301位於調節透鏡3021C的焦平面中。

在圖4D中，光學系統302D也是遠心的。具體來說，光學系統302D不僅包含聚光透鏡L1、透鏡元件L2以及透鏡元件L3，而且還包含設置在聚光透鏡L1與透鏡元件L2之間的正凹凸透鏡L4。正凹凸透鏡L4的作用是增大調節透鏡3021D的數值孔徑(numerical aperture，NA)。遮罩301位於調節透鏡3021D的焦平面中。

圖4E到圖4G是用於本揭露的實施例中的遮罩的示意圖。圖4H到圖4J是用於本揭露的實施例中的光源的示意圖。如圖4E到圖4J中所繪示，光源(圖4H到圖4J中所繪示的)可具有對應於遮罩(圖4E到圖4G中所繪示的)的形狀且包含根據遮罩的孔徑AP的形狀排列的多個發光二極體晶片3002。

參看圖3，成像裝置31配置成擷取以不同投影距離投影的圖案P的影像。藉由透過控制成像裝置31的焦距FD，來擷取以不同投影距離投影的圖案P的影像。成像裝置31的焦距FD，是沿著成像裝置31的光軸OA2，從成像裝置31的最前部元件(例如輸出端OEI)到物體OBJ的表面上的焦點平面PF上的點PT，以使點PT成為焦點。在實施例中，光投影機30的光軸OA1與成像裝置31的光軸OA2之間的角度θ大於0度且小於180度。

成像裝置31包含透鏡系統(未繪示)和影像感測器(未繪示)。成像裝置31的透鏡系統配置成將從物體OBJ反射的光L’傳輸到影像感測器。成像裝置31的透鏡系統可以是近心的、物側遠心的或雙遠心的，但不限於此。影像感測器可包含電荷耦合裝置(charge-coupled device，CCD)或互補金屬氧化物半導體(complementary metal-oxide semiconductor，CMOS)，但不限於此。

在實施例中，成像裝置31可更包含可變焦距透鏡元件(未繪示)，且可透過改變施加到成像裝置31的可變焦距透鏡元件的電參數(例如電壓或電流)的值來控制成像裝置31的焦距FD。

控制系統32配置成控制光投影機30的投影距離PD和成像裝置31的焦距FD。具體來說，控制系統32耦接到光投影機30和成像裝置31，且控制系統32可透過改變發送到光投影機30和成像裝置31的電參數(或控制訊號)來獨立地控制光投影機30和成像裝置31。

控制系統32可包含一個或多個控制器以獨立地控制光投影機30和成像裝置31。在一個實施例中，控制系統32可內置在光投影機30和成像裝置31中的至少一個中。

處理單元33配置成獲得投影圖案P的感興趣區內的物體OBJ的輪廓。具體來說，處理單元33連接到光投影機30和成像裝置31，且處理單元33配置成存取擷取到的影像中的對焦畫素，基於對焦畫素產生各自含有遮罩區R2(參見圖10C)和對焦區R1 (參見圖10C)的遮罩影像MI(參見圖10C)，基於(稍後描述的)擷取到的影像重建大景深的圖案影像並且重建物體輪廓。大景深意指大於或等於物體高度差的景深。在一個實施例中，處理單元33可包含至少一個處理器且可內建在光投影機30和成像裝置31中的至少一個中，或內建在行動裝置、閘道或雲端系統等中。

本揭露的輪廓測量方法可在同步或非同步模式運行，如將在以下部分以及圖5到圖7中描述。圖5是繪示本揭露的實施例的以同步模式運行的輪廓測量方法的流程圖。以同步模式運行的輪廓測量方法包含以下步驟：將控制訊號發送到投影系統(例如光投影機的光學系統)以沿著物體高度的距離投影光圖案(步驟510)；將控制訊號發送到成像系統(例如成像裝置的透鏡系統)以擷取在將光圖案投影在物體上的每個位置處的一組影像(步驟520)；獲得在步驟520中擷取到的所述組影像中的每個影像中的對焦畫素(步驟530)；根據在步驟530中獲得的對焦畫素重建大景深的圖案影像(步驟540)；並且根據在步驟540中獲得的重建的圖案計算物體輪廓(步驟550)。

在步驟510中，可透過控制系統(在下文中稱作控制器)將控制訊號發送到光投影機來以給定投影距離投影圖案。在步驟520中，可透過控制器將控制訊號發送到成像裝置以擷取給定距離處的影像。在同步模式下，以給定距離投影圖案所需的控制訊號參數以及擷取給定距離處的聚焦影像所需的控制訊號參數是已知的。施加到光投影機的控制訊號參數與光圖案的投影距離之間的關係的實例繪示於圖7A中。訊號可以是呈電流或電壓形式的電訊號，但不限於此。同理，施加到成像裝置的控制訊號參數與用以擷取對焦影像的距離之間的關係的實例繪示於圖7B中。在圖7A中，施加到光投影機的訊號是指施加到光投影機的可變焦距透鏡元件的訊號，且在圖7B中，施加到成像裝置的訊號是指施加到成像裝置的可變焦距透鏡元件的訊號。可透過校準步驟來獲得在圖7A和圖7B上所繪示的訊號與投影或成像距離之間的關係，並且將其以查閱資料表形式存儲在記憶體中。可在同步模式下使用查閱資料表來以使得可避免圖6的步驟620中所繪示的掃描操作的方式同步控制光投影機和成像裝置。

圖6是繪示本揭露的另一實施例的以非同步模式運行的輪廓測量方法的流程圖。以非同步模式運行的輪廓測量方法包含以下步驟：將控制訊號發送到投影系統(例如光投影機的光學系統)以沿著物體高度的距離投影光圖案(步驟610)；對於在步驟610中的每個投影距離，將控制訊號發送到成像系統(例如成像裝置的透鏡系統)以在高於和低於物體上的所投影的光圖案的位置的範圍內擷取多組影像(步驟620)；獲得在步驟620中擷取到的多組影像內的一組最清晰影像(步驟630)；獲得在步驟630中獲得的所述組最清晰影像中的每個影像中的對焦畫素(步驟640)；重建大景深的圖案影像(步驟650)；根據在步驟650中獲得的重建的圖案計算物體輪廓(步驟660)。

為了更好地理解本揭露的功能原理，請參照圖11A到圖 11C以及圖12。圖11A到圖11C是繪示以不同投影距離將在此表示成線的圖案P投影在相同物體OBJ上的示意圖。在圖11A中，由控制器控制光投影機以第一投影距離投影圖案P，且由控制器控制成像裝置來擷取第一焦距處的影像。光投影機和成像裝置的焦點平面都在物體OBJ的表面S1上，位於物體的頂部，其中所投影的線的線寬具有標注為W1的最小寬度。物體OBJ的表面S2和表面S3位於與表面S1相比，與投影系統相距更大距離的位置處，因此，線狀光的線寬隨著到焦點平面的垂直距離增加而增加。

在圖11B中，光投影機由控制器控制來以第二投影距離投影圖案P，出於說明起見，位於表面S1與表面S3之間的距離的中間，其中所投影的線之線寬具有標注為W2的最小寬度。由控制器控制成像裝置來擷取第二焦距處的影像，所述第二焦距對應於投影圖案的表面S2上的位置。透過將適當的控制訊號發送到光投影機的可變焦距透鏡元件來獲得光投影機的投影距離；同理，透過將適當的訊號發送到影像擷取系統的可變焦距透鏡元件來獲得影像擷取焦距。圖案P的寬度W2在第二投影距離處最小，且隨著到焦點平面的垂直距離改變而增加。

在圖11C中，由控制器控制光投影機在表面S3上，以位於物體的底部的第三投影距離投影圖案P，其中所投影的線之線寬具有標注為W3的最小寬度。由控制器控制成像裝置來擷取第三焦距處的影像，所述第三焦距對應於投影圖案的表面S3上的位置。透過將適當的控制訊號發送到光投影機的可變焦距透鏡元件來獲得光投影機的投影距離；同理，透過將適當的訊號發送到影像擷取系統的可變焦距透鏡元件來獲得影像擷取焦距。圖案P的寬度W3目前在第三投影距離處最小，且隨著到焦點平面的垂直距離減小而增加。圖12是繪示可獲得物體OBJ的輪廓的重建的大景深的投影圖案P’的示意圖。

在實施例中，輪廓測量方法可更包含由以下步驟組成的校準步驟：將線狀光投影在平坦表面上，擷取所投影的線狀光的影像，且應用適當的影像處理以去除所投影的線狀光的任何失真(distortion)。還在所投影的光由任何幾何形狀或幾何形狀的組合的圖案組成時應用校準步驟，在此情況下，校準步驟在於獲得變換數學實體(transformation mathematical entity)，例如平坦表面上的所投影的圖案的擷取到的影像與未失真圖案之間的矩陣。

在擷取不同投影距離處的圖案的影像之後，可透過後續資料處理步驟來獲得物體的輪廓。這些步驟在圖8到圖10C中說明。圖8是繪示本揭露的實施例的用於物體輪廓重建的影像處理步驟的流程圖。步驟在於獲得含有對焦畫素的感興趣區(步驟810)，重建大景深的投影圖案(步驟820)並且根據在步驟820中獲得的重建圖案計算物體輪廓(步驟830)。圖9是繪示本揭露的實施例的對應於圖8的步驟810的詳細步驟的流程圖。圖10A到圖10C分別是對應於圖9中的步驟920、步驟930以及步驟940的示意圖。圖10A對應於將圖案投影在物體的表面S1上的圖11A上所說明的情況。在圖9的步驟910中，處理單元可計算影像梯度。在步驟920中，處理單元可獲得最細邊緣，圖10A用箭頭繪示最細邊緣。在步驟930中，處理單元可產生僅含有對焦畫素的遮罩，所述對焦畫素是對應於小於厚度閾值的邊緣的畫素。可透過校準步驟來獲得厚度閾值，在所述校準步驟中，以線最細的某一距離投影線狀光，且在影像擷取系統的最佳焦距處擷取所述線狀光。透過應用細線狀光和對焦線狀光的擷取到的影像上的梯度，可獲得表達成畫素和子畫素的線厚度，並且所述線厚度表示厚度閾值。在步驟940中，處理單元可將遮罩(所述遮罩的說明在圖10B中)應用於當前影像(繪示於圖10A中)。遮罩可以是二進位的且由零和一構成，且可透過乘法運算將所述遮罩應用於影像。步驟940的輸出是僅含有對焦畫素的影像，在圖10C上說明步驟940中的將遮罩應用於當前影像的結果。

返回參看圖8，在步驟820中，處理單元可基於遮罩影像重建大景深投影圖案。圖12是繪示重建的大景深投影圖案P’的示意圖。重建的大景深投影圖案P’的形狀是寬度在物體OBJ的高度輪廓內明顯恒定的細線。接著可使用三角測量方法(例如基於雷射的三角測量系統)來重建物體輪廓，這在步驟830中執行。

綜上所述，在本揭露的實施例中，透過控制光投影機中的可變焦距透鏡元件的焦距以沿著投影系統的光軸的不同高度將圖案投影到物體的表面上，且由成像裝置擷取以沿著投影系統的光軸的不同高度投影的每個圖案。可基於擷取到的影像重建具有大於或等於物體高度差的景深的大景深圖案影像。因此，本揭露的實施例中的輪廓測量系統和輪廓測量方法能夠測量具有大於現有技術系統中的系統的景深的深度或高度的物體，且其使得能夠將LED用作光源。在一個實施例中，成像裝置還可以包含可變焦距透鏡元件，且光投影機和成像裝置中的可變焦距透鏡元件可在同步或非同步模式下操作。

雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何所屬技術領域中具有通常知識者，在不脫離本揭露的精神和範圍內，當可作些許的更動與潤飾，故本揭露的保護範圍當視後附的申請專利範圍所界定者為準。

30:光投影機