TW202043759A - 三維相位移瑕疵檢測方法及系統 - Google Patents

Abstract

本發明揭露一種三維相位移瑕疵檢測方法及系統，其係將影像擷取裝置及投影機設於多軸向傳動機構，再將一測件放置在移動平台上。以多軸向傳動機構帶動影像擷取裝置及投影機位移至可以檢測待測件表面的檢測位置，當抵達檢測位置時，影像演算處理模組則執行三維形貌檢測步驟，係以各投影機分別對待測件表面投影格雷氏編碼，並以各影像擷取裝置分別擷取包含有各相角之格雷氏編碼的投影影像；當所有的檢測位置皆已完成投影與影像擷取時，影像演算處理模組則合併複數投影影像，並利用五步相位移法計算得到絕對相位，再配合三角量測技術計算出待測件的三維形貌輪廓資訊，俾能對同背景顏色之三維曲待測曲面進行表面凸起與凹陷瑕疵的檢測與標示；或全透明之三維曲面進行殘膠沾粘瑕疵檢測與標示。

Description

三維相位移瑕疵檢測方法及系統

本發明係有關一種三維相位移瑕疵檢測方法及系統，尤指一種可以針對同背景顏色或全透明之三維待測曲面進行表面瑕疵檢測與標示的三維相位移瑕疵檢測技術。

近年來，可撓式面板蔚為風潮，隨著穿戴式設備的流行，帶動曲面與可撓式面板的市場需求。可撓式面板在生產製程中會因為清洗、切割、移載、搬運等製程過程中，大量運用機械化設備處理面板表面，因而造成油污、雜質、刮痕及摺痕等三維的瑕疵產生。然而，可撓式面板的三維立體特性，以往用於平面面板瑕疵檢測的檢測設備，對於瑕疵檢測之問題解析能力及取像速度已經不敷需求。在三維曲面輪廓量測中，大致可分為非接觸式與接觸式兩種。非接觸式幾何光學量測法，不僅可避免破壞到元件，其量測精度、解析度亦不低於探針接觸量具，並且當運用結構光投射方式作為量測方法時，由於此方法屬於全域性量測，具有即時化的高效率優點，同時其量測系統成本比探針式量測系統低。

一般而言，線性掃描模組為針對大尺寸產品(如：PCB、LCD面板、晶圓)，在提高產能及精度的要求下所開發的影像檢測設備，目前設備處理能力已達到三維曲面掃描。然而，其曲面掃描攝影機僅能將待測單體的三維局部影像轉變為二維局部影像。當待測單體的三維立體曲面發生 同背景顏色之表面凸起、凹陷瑕疵或有全透明殘膠沾粘於待測區域的三維瑕疵時，以現有的檢測設備技術確實是無法有效處理。

再者，隨著穿戴式設備的流行，帶動曲面與可撓式面板的市場需求，不論液晶面板或是導光板在製作過程中皆有抽真空、注入液晶、以固定膠封閉液晶注入口的過程，該製程中於固定膠封閉液晶注入口的程序較容易產生漏液晶液與遺留固定膠於成品表面，一般製程皆仰賴後方超音波製程進行清除，但對於可撓式面板並不適用。以致可撓式面板在生產製程中因為清洗、切割、注晶、移載、搬運等製程過程中，大量運用機械化設備處理面板表面，因而造成油污、雜質、刮痕、摺痕、殘膠等三維瑕疵。由於可撓式面板的三維立體特性，以往用於三維曲面掃描面板瑕疵檢測之檢測設備皆需要以二維平面為基準點進行三維掃瞄，對於待測區域的三維瑕疵檢測之問題解析能力及取像速度已經不敷需求。過去大面積如可撓性面板產品之三維瑕疵檢測係採用高單價之檢測主機與多組固定鏡頭取像設備處理，對於檢測環境背光與補光要求甚高，而且檢測設備成本也高。

為改善上述諸多缺失，本發明人於是開發出一種如發明申請第107111609號『三維線性檢測方法及系統』所示的專利。其係以多鏡頭自動定位掃描，鏡頭自動追蹤待測單體曲率，待各檢測鏡頭垂直定位於待測單體再進行取像，待取像完成再進行特徵濾波與拼接待拼接完成後再進行瑕疵判別，將待測之大面積可撓性面板之三維空間表面積進行二維化處理，各鏡頭所取像之目標表面積影像經由系統拼接再進行特徵化凸顯瑕疵位置，進而達到降低檢測設備成本與提高檢測速度的目標。然而，該專利之 檢測技術只能檢測斷差大，顏色差異大的待測目標，對於同底色與全透明的瑕疵無法檢測標示。

此外，過去於小面積自動化光學檢測系統(Automatic Optical Inspection)皆依賴高單價之檢測主機依照待檢測單體大小進行檢測，過程與步驟繁瑣耗費大量處理時間。以台灣德律公司所生產之TR-7700Q為例，開啟3D全檢在待測物大小為144×96mm範圍內進行三維影像瑕疵判別，運用兩台四核心工業電腦，歷經五鏡頭取像、影像拼接建立3D立體影像、特徵演算法瑕疵判別、標示瑕疵座標，判讀時間需5~8分鐘，若對65吋大型可撓性面板進行檢測，檢測時間將非常驚人。而台灣致茂電子股份有限公司所生產之7505-05多功能光學檢測系統，整合2D及3D量測功能於同一系統，最大可量測面積：約160mmx145mmx16mm，高解析度工業相機、雷射掃描器、套裝應用軟體光學大師軟體，也僅可測2D平面上的3D工件且受限於套裝應用軟體，可測範圍狹窄。歐姆龍股份有限公司所生產之VT-S730，基板外觀檢查裝置，使用該公司特許第3994925號專利進行主機板工件檢查，其主要功能為當在印刷電路板上的元件安裝過程中發生製造缺陷時，可以通過考慮人的目視觀察和重新檢查的結果，在每個過程中收集測量數據並將其轉換為DB來識別缺陷的原因。還考慮通過使用所做的事情來識別系統中的缺陷因素。但是，通過查看測量數據，必須具備熟練的知識和經驗，以確定失敗的原因。運用直視鏡頭與斜視鏡頭組成實現直視相機無法檢查的遮擋物以下焊錫的檢查並應用PMP(相位調製輪廓測量技術)進行3D影像建立，也僅可測2D平面上的3D工件。

有鑒於此，如何開發出一套可以解決習知三維線性掃描設備缺失的三維相位移瑕疵檢測系技術實已成為相關產學業者所亟需挑戰與克服的技術課題。

本發明第一目的在於提供一種三維相位移瑕疵檢測方法及系統，主要是可以針對同背景顏色或全透明之三維待測曲面進行表面瑕疵的檢測與標示，藉以提升三維曲面產品的瑕疵檢出率與加工效能。達成本發第一明目的之技術手段，係將影像擷取裝置及投影機設於多軸向傳動機構，再將一測件放置在移動平台上。以多軸向傳動機構帶動影像擷取裝置及投影機位移至可以檢測待測件表面的檢測位置，當抵達檢測位置時，影像演算處理模組則執行三維形貌檢測步驟，係以各投影機分別對待測件表面投影格雷氏編碼，並以各影像擷取裝置分別擷取包含有各相角之格雷氏編碼的投影影像；當所有的檢測位置皆已完成投影與影像擷取時，影像演算處理模組則合併複數投影影像，並利用五步相位移法計算得到絕對相位，再配合三角量測技術計算出待測件的三維形貌輪廓資訊。

本發明第二目的在於提供一種三維相位移瑕疵檢測方法及系統，主要是藉由自主追尋法線角度之設置，而可因應檢測表面不同曲率變化以做出調整各組鏡頭對檢測表面之垂直法線角度，因而可針對三維立體曲面之檢測表面做表面瑕疵檢查或標靶位置定位。達成本發第二明目的之技術手段，係將影像擷取裝置及投影機設於多軸向傳動機構，再將一測件放置在移動平台上。以多軸向傳動機構帶動影像擷取裝置及投影機位移至可以檢測待測件表面的檢測位置，當抵達檢測位置時，影像演算處理模 組則執行三維形貌檢測步驟，係以各投影機分別對待測件表面投影格雷氏編碼，並以各影像擷取裝置分別擷取包含有各相角之格雷氏編碼的投影影像；當所有的檢測位置皆已完成投影與影像擷取時，影像演算處理模組則合併複數投影影像，並利用五步相位移法計算得到絕對相位，再配合三角量測技術計算出待測件的三維形貌輪廓資訊。其中，當該複數影像擷取裝置及該複數投影機抵達其中一該檢測位置時，則先執行一影像瑕疵檢測步驟，以該影像演算處理模組依序判斷每一該影像擷取裝置之鏡頭軸線是否與所正對之該表面的法線重合或接近重合；當判斷結果為否，則驅動設於該多軸向傳動機構上的一角度調整機構使每一該影像擷取裝置之鏡頭軸線與各自正對之表面中心的法線重合或接近重合；當判斷結果為是，則以該複數影像擷取裝置分別擷取該待測件複數相鄰該表面的複數檢測影像，且使該複數檢測影像之間的邊緣部分影像為重疊，以將該複數檢測影像拼接成一組二維展開平面影像，並對該二維展開平面影像做特徵化的影像辨識處理，以將影像辨識結果輸出為表面瑕疵資訊或標靶位置定位資訊。

1‧‧‧待測件

10‧‧‧移動平台

11‧‧‧多軸向傳動機構

110‧‧‧第一驅動機構

111‧‧‧第二驅動機構

112‧‧‧第三驅動機構

12‧‧‧角度調整機構

120‧‧‧水平旋轉機構

121‧‧‧縱向旋轉機構

20‧‧‧影像擷取裝置

30‧‧‧投影機

40‧‧‧系統檢測單元

41‧‧‧影像演算處理模組

42‧‧‧光源模組

43‧‧‧運算控制主機

44‧‧‧無線訊號傳輸模組

45‧‧‧顯示幕

Pn‧‧‧檢測位置

圖1係本發明具體架構實施的前視示意圖。

圖2係本發明將鏡頭軸線調整為與待測件表面法線重合的實施示意圖。

圖3係本發明具體架構實施的功能方塊示意圖。

圖4係本發明待測件的法線分佈示意圖。

圖5係本發影像拼接處理的流程實施示意圖。

圖6係本發明影像瑕疵檢測步驟的流程控制實施示意圖。

圖7係本發明以單一鏡頭及投影機的檢測實施示意圖。

圖8係本發明以四組鏡頭及投影機的檢測實施示意圖。

圖9係本發明葛雷碼條紋瑕疵位置座標計算示意圖。

圖10係本發明受到待測件表面缺陷調製變形條紋圖的實施示意圖。

圖11係本發明葛雷碼條紋的實施示意圖。

圖12係本發明相位移的實施示意圖。

圖13係本發明葛雷碼編碼與相位移的實施示意圖。

圖14係本發明計算絕對相位的示意圖。

圖15係本發明絕對相位誤差補償示的示意圖。

圖16(a)係本發明階梯式金字塔形校準物體要測量的對象示意圖；(b)係階梯金字塔形的展開階段的細節用於非線性校準的物體和選定點用紅色標記。

為讓 貴審查委員能進一步瞭解本發明整體的技術特徵與達成本發明目的之技術手段，玆以具體實施例並配合圖式加以詳細說明如下：請配合參看圖1~4及圖7、8所示為達成本發明第一目的之具體實施例，係包括一移動平台10、複數影像擷取裝置20、複數投影機30及一系統檢測單元40等技術特徵。移動平台10包含一多軸向傳動機構11。系統檢測單元40包含一影像演算處理模組41。複數影像擷取裝置20及複數投影機30設於多軸向傳動機構11。主要是將待測件1(如具三維曲面之面板、觸控面板或是可撓性面板等)放置在移動平台10上，以多軸向傳動機構11帶動複數影像擷取裝置20及複數投影機30位移至可以檢測待測件1表面的至少一檢測位置。當複數影像擷取裝置20及複數投影機30抵達第一個檢測位置時，影像演算處理模組41則執行一三維形貌檢測步驟，係以複數投影機30分別對待測件1表面投影一格雷氏編碼，並以複數影像擷取 裝置20分別擷取包含有各相角之格雷氏編碼的投影影像；當所有的檢測位置皆已完成格雷氏編碼投影與投影影像的影像擷取時，影像演算處理模組41則合併包含有各格雷氏編碼圖案的複數投影影像，並利用五步相位移法計算而得到一絕對相位，再配合三角量測技術以計算出待測件1的三維形貌輪廓資訊。

具體的，於上述三維形貌檢測步驟中，複數投影機30於影像擷取時間分別投影出格雷氏編碼以作為量測依據，並由複數影像擷取裝置20分別於各相角度投影時擷取影像一次，待複數影像擷取裝置20完成所有的影像擷取時，再由影像演算處理模組41計算出各相角之格雷氏編碼遇到瑕疵所形成的形變資訊，並依據格雷氏編碼的形變資訊變化來重組一張可供顯示的3D影像。

請配合參看圖1~5所示為達成本發明第二目的之具體實施例，本實施例係為於第一實施例執行之前所執行的一種影像瑕疵檢測步驟。本步驟係以影像演算處理模組41依序判斷每一影像擷取裝置20之鏡頭軸線是否與所正對之待測件1表面的法線重合或接近重合，當判斷結果為否，則驅動設於多軸向傳動機構11上的一角度調整機構12，以使每一影像擷取裝置20之鏡頭軸線與各自正對之表面中心的法線重合或接近重合；當判斷結果為是，則以複數影像擷取裝置20分別擷取待測件1複數相鄰表面的複數檢測影像，且使複數檢測影像之間的邊緣部分影像為重疊，以將複數檢測影像拼接成一組二維展開平面影像，並對二維展開平面影像做特徵化的影像辨識處理，以將影像辨識結果輸出為表面瑕疵資訊或標靶位置定位資訊。具體的，上述表面瑕疵資訊或標靶位置資訊係為透過一顯示幕45或一照片將待測件1之表面瑕疵或標靶位置定位的部分區域予以圈選或標示，於此即可供現場監測管理人員檢視，以做出排除瑕疵產品的動作。

請配合參看圖2~3所示的實施例，系統檢測單元40更包含複數光源模組42，複數光源模組42分別設於角度調整機構12靠近各鏡頭的位置上，用以分別朝向待測件1之各表面投射光源，再以各影像擷取裝置20擷取各表面上之投射光源的光點影像，影像演算處理模組41預設有至少一預設行程路徑，並依據預設行程路徑控制多軸向傳動機構11上的角度調整機構12及影像擷取裝置20移動至預定的檢測位置，影像演算處理模組41再對光點影像做影像處理及真正圓運算法(已於發明申請第107111609號專利說明書中揭露，故其具體的技術內容不再贅述)的運算，並依據運算結果控制角度調整機構12做出對應的單軸向或是二個軸向的旋轉，用以使每一鏡頭軸線與各自正對之表面的法線為重合或是接近重合。

具體的，上述影像演算處理模組41執行影像瑕疵檢測步驟時更包含執行下列步驟：

步驟一，係將取得之光點影像進行二值化處理，並透過軟體濾波器濾除不必要背景，以加強光點特徵。

步驟二，運用Canny演算法取得影像邊緣，使得光點影像中的光點更為凸出。

步驟三，運用克拉瑪公式理論來決定候選圓，並解出圓心與半徑，再經過圓的直軸與交軸比較確定為圓。

步驟四，經由真正圓檢測，以確定鏡頭軸線與待測件1表面的法線重合或接近重合。

步驟五，待各鏡頭調整角度至待測件1正上方即進行影像擷取。

步驟六，待各鏡頭影像擷取完成即進行影像拼接。

步驟七，待影像拼接完成即進行待測件1的瑕疵檢測與標示。

繼而，請配合參看圖6所示，上述影像瑕疵檢測步驟更包 含一玻璃瑕疵檢測子步驟，係將拼接完成之二維展開平面影像依序進行下列步驟：

(A)破損檢測步驟，係利用樣本背景影像相減與多次侵蝕膨脹演算法找出瑕疵特徵輪廓；及孔動檢測步驟，依據操作者測試調定閥值進行判斷，判斷是否有破損或孔洞，判斷結果為是，則進行瑕疵位置標示；判斷結果為否，則進行一切割異常檢測步驟。承上所述，執行該切割異常檢測步驟時，係利用該二維展開平面影像左右平行邊以操作者定義參考線判斷是否平行，判斷是否有可見瑕疵，判斷結果為是，則進行下一個指紋與粉塵檢測步驟。

(B)指紋與粉塵檢測步驟，係利用輪廓與面積大小進行判別，並將瑕疵位置標示；當判斷結果為否，則判斷是否有不可見瑕疵；判斷結果為是，則進行上述三維形貌檢測步驟，以得到相位移檢測範圍、體積大小等資訊，並將瑕疵位置標示。

請配合參看圖1~3所示的實施例，多軸向傳動機構11包含可分別往三個不同軸向位移的一第一驅動機構110(即往X軸向位移)、一第二驅動機構111(即往Y軸向位移)及至少一第三驅動機構112(即往Z軸向位移)。上述角度調整機構12係設於移動平台10之第三驅動機構112上，且角度調整機構12包含一設於第三驅動機構112末端可往水平向旋轉的水平旋轉機構120及一設於水平旋轉機構120下方可往縱向旋轉的縱向旋轉機構121，用以使影像擷取裝置20之鏡頭做出水平向與縱向旋轉的角度調整。

較具體的，請配合參看圖1~3及圖8所示的實施例，影像擷取裝置20、投影機30、第三驅動機構112及角度調整機構12的數量皆為四組，而圖7所示為影像擷取裝置20與投影機30為各一組，圖7以一組來呈現，主要是藉由忽略其他影像擷取裝置20、投影機30顯示，而能夠突顯 出較為正確性的瑕疵檢測動作實施態樣。

請配合參看圖1~3及圖8所示的系統檢測單元40係包含一運算控制主機43(如電腦或微控制器MCU)，運算控制主機43可藉由行程控制軟體的建置而驅動多軸向傳動機構11，使本發明具備三維空間自主追尋曲面垂直距離控制的功能。其中在X，Y，Z三軸的移動平台10上，將Z軸交由電腦或微控制器來掌控，第三驅動機構112(即Z軸)軸架上加裝二組活動A軸與B軸(即水平旋轉機構120與縱向旋轉機構121)，於活動A軸上架設鏡頭，鏡頭上方與Z軸同軸線處架設雷射或是光源模組42(如LED)於鏡頭前成相，由鏡頭擷取到的影相調整測頭角度使測試面垂直法線與測頭同一軸線，並控制測試銅頭接觸圓面積與待測接觸面完全密合，待測件1經由wifi或Bluetooth介面報點，由系統檢測單元40之電腦或微控制器進行路徑描繪，完成之三維空間控制之自動轉向系統即可針對三維空間曲面觸控面板檢測問題提供完整支援，降低添購機械手臂處理3D曲面觸控面板成本，待測件1經由wifi或Bluetooth介面報點增加測驗彈性，於是得以降低工程師學習曲線而降低傳換線工時。

藉由光源模組42(LED)照射於待測件1表面於鏡頭前成相，形成一圓型光點，藉由圓型光點的直軸與交軸距離判斷光點成相反射面曲面變化，並轉動Z軸與B、C兩軸將鏡頭軸線調整至與反射面法線重疊，使鏡頭旁的測試銅頭永遠與待測面板成法線垂直。

為解決三維線性檢測系統無法檢測三維立體曲面同背景顏色之表面凸起、凹陷瑕疵檢查或有全透明殘膠沾粘於待測件1所致的問題，當鏡頭進行取像與成像時因垂直於待測區域無法辨別同背景顏色的瑕疵造成誤判，本發明係運用多組可調整鏡頭角度之檢測鏡頭，順應待測件1表面不同曲率變化，調整各組鏡頭對其表面之垂直法線角度，使三維立體曲 面之表面，經由多組可調整鏡頭，取像為二維展開平面影像，並於取像前以DLP投影機30依照取像的時間分別投影出格雷氏編碼做為量測依據，將空間分割為八個等分其特性為每次編碼變動時，僅一處編碼位置變動，此特性可使其誤差縮小至空間編碼的八分之一，本發明取五張格雷碼則相當於將空間分割為32等分，相位移採用的五步相移技術。五步相移其結構光亮度分布為餘弦函數形式，由鏡頭於各相角度投影時取像一次，待完成所有五組影像取樣完成，再由影像演算處理計算出各相角之直線條紋圖經過檢測表面之瑕疵位置所形成的線條扭曲變化來重組3D影像，再將多組可調整鏡頭取像，拼接成一組二維展開平面影像，再經由影像演算處理，將拼接取樣影像進行特徵化處理，並判斷瑕疵的外型與大小，將檢測表面之不良位置或標靶位置標示出來，以提高產品良率或標靶位置定位。當一組曲面處理完畢，再經由XYZ軸向之移動平台10移動至下一組曲面取像座標位置，進行同樣之三維立體曲面之表面取像與影像拼接和表面瑕疵或標靶位置處理。待待測件1檢測完畢，再將處理完畢之各座標位置影像進行整體影像拼接並顯示於一顯示幕45。

本發明可強化大面積三維影像處理透明材質立體瑕疵的搜尋方式，加速生產速度。預期具有降低檢測設備成本與提高檢測速度的潛力，而且經檢索現有技術，尚未發現相關的研究與專利。經由XYZ三軸移動平台10的移動，將鏡頭移動至指定檢測位置，並於每次取像時，將多組可調整鏡頭所取影像進行二維處理、相角影像取重組3D影像與影像拼接。但是拼接條件為，各組可調整鏡頭所取影像範圍必須與鄰近之可調整鏡頭形成重疊，以方便影像演算法對鄰近影像進行拼接。本發明三維相位移瑕疵檢測系統可對現有三維線性檢測系統裝置加以改良，補強三維線性檢測系統對同背景顏色之表面凸起、凹陷瑕疵檢查或有全透明殘膠沾粘於待測 區域的檢測能力。

為了實現靜態影像拼接技術，必須要尋找出穩定度高且較不受外在影響的方法來製作，目的在於證明使用SIFT演算法(Scale Invariant Feature Transform)足以應付取像時待測表面移動的各種變化，進而對影像與影像間的特徵點進行匹配加以縫合。本發明援引SIFT(Scale Invariant Feature Transformation,SIFT)演算法作為本發明之基礎理論，藉由此演算法針對影像尺度、旋轉及光照之不變性，以獲得更快速且可靠之特徵點。而影像縫合最主要的功能為所拍攝之連續影像進行縫合成寬影像的動作。在縫合過程中，最早使用特徵點的方式進行匹配，利用特徵點進行匹配，透過除錯演算法保留正確的匹配點，再進行影像扭曲(Warping)、縫合(Stitching)，最後再執行影像融合成一張圖片，如圖5所示。

本發明係採用SIFT演算法作為影像辨識的特徵描述理論基礎分析，SIFT演算法最大的目的就是為了改進由Chris Harris及Stephens提出的角點偵測方法中的缺點，其主要的缺點就是不能解決尺度不變性(Scale-invariant)的問題，理論上要在所有可能的尺度中尋找穩定的特徵，但實際上只要在一個合理的範圍內即可達到尺度不變的特徵偵測。而在這個方法中所有相關性質的運算，皆建立在尺度空間(Scale space)內。其作法主要可以分為在尺度空間內偵測極值、特徵點位置確定、特徵點方向確定以及特徵點描述等四個步驟。

另一方面，本發明所謂的「影像」即係指一個二維的光線強度函數，若以f(x,y)表示，其中x與y代表某一平面區域映射至平面影像的座標位置，而f(x,y)函數值就是在對照該座標點之亮度值；因此數位元 影像可視為影像在帄面座標和亮度經數位化後的訊號。若將數位元影像化作為一個二維矩陣，則對應的矩陣內的數值就是該點的灰階值，而此數位元影像陣列裡的元素即稱為圖元(Pixel)。長久以來檢測系統在影像清晰度與運算效率間一直存在著比重取捨的問題，必須同時兼顧檢測系統的時效性與精確度，所以進行影像處理及辨識相關工作為其著重之重點。數位元影像處理主要是利用電腦能高速處理資料的功能，將影像先行數位元化，再對數位化後的資料作計算，依照原先設定的需求，將經過處理後的影像資料作為提供所需的資訊，讓程式得以利用這些資訊來處理問題。每一張影像中含有許多的資訊，想從影像中獲得有用的資訊，例如定位座標、瑕疵。為此針對拼接完成圖像進行二值化、直方圖等化、濾波、Sobel運算、膨脹與侵蝕運算等處理，找出瑕疵特徵。

再者，本發明以非接觸式幾何光學法量測同背景顏色之瑕疵檢查或有全透明殘膠沾粘於待測區域之區域輪廓，運用DLP投影機30產生量測所需之圖案結構投影影像，投射至待測件1表面，再以影像擷取裝置20(即CCD攝影機)作取像動作，最後合併格雷氏編碼(Gray Code Projection Method)與相位移法(Phase Shift Method)計算得到絕對相位，再配合三角量測原理便可得到待測件1的三維形貌輪廓。至於校正部分如鏡頭所產生的影像畸變現象，光源是否理想與影像處理的誤差等等，在本發明中採用自動非線性校準法校正，便可補正上述之誤差；另外投射光源與CCD攝影機取得的影像之間線性的校正，可使最後量測結果得到更為精確的數值。

如圖9所示，經過DLP投影機30將一組方向與y軸平行的餘弦數字條紋斜向投射到待檢測曲面平面R上，檢測相機光軸沿z軸方向垂直 曲面表面拍攝，當待測曲面表面R無深度缺陷時，拍攝圖像中的條紋是平直的，具有相同y值的光線強度為標準餘弦分佈。如待測曲面存在與標準無缺陷待測曲面平面R有一定高度差的凹洞或者凸起時，雖然沿著投影機30投射方向觀察，數字條紋仍是平直的。但沿z軸方向採集圖像時，條紋將產生形變，其形變程度與凹陷(或凸起)相對於曲面無缺陷平面R的高度差h(x)有關。此時，具有相同y值的光強不再呈週期相同的餘弦分佈，有的區域頻率高，有的區域頻率低，因此採集圖像的各點相位值與正常平面顯然是不同的。通過條紋的形變資訊可求出三維缺陷的深度資訊h(x)，原本投射到無缺陷曲面表面R上C點的光線，由於被測表面存在三維缺陷(以凹坑為例)而投射到了B點，所以相機拍攝到的B點實際相位與參考條紋圖像中D點相位一致，即曲面表面缺陷對條紋相位的調製是將C點移相到D點，如圖10所示。在這裡以給定y座標的待檢測曲面橫截面構建數學模型，s(x)表示投射到無三維缺陷的曲面表面(參考平面)R的亮度信號，d(x)表示投射到曲面凹坑深度亮度信號，h(x)表達凹坑深度分布函數。s(x)表示C點的條紋強度投射到B點，與D點強度d(x)相同，u為C點到D點距離，u(x)=x _D -x _C ，得d(x _D )=s(x _C )=s(x _D -u)，將u表示x _D 的函數，即u=u(x)，得：d(x)=s[x-u(x)] (1)

即曲面表面出現凹陷缺陷導致變形的信號d(x)是由原始無變形信號s(x)進行位移之後產生的。根據三角形E _p BE _c 與CBD為相似三角形，得到：

由於u(x)=x _D -x _C ，得出：

求出條紋位移函數u=u(x)，由式(3)得出缺陷高度函數h(x)。d ₀為投射系統光源中心與檢測鏡頭影像中心距離，l ₀為檢測鏡頭影像中心到參考平面距離，均通過系統標定得到。通過DLP投影機30投射頻率f ₀的餘弦條紋圖像，即：s(x)=A cos(2π f ₀ x) (4)

代入式(1)後，得：d(x)=s[x-u(x)]=Acos[2πf ₀ x-2πf ₀ u(x)] (5)

設

，即d(x)的相位變化，帶入式(3)得：

由式(6)得出，只需求出經三維缺陷調製的變形條紋圖像的相位變化值

(x)，即可得到缺陷底端距曲面平面的三維缺陷深度。本發明所採用的五步相移與一般常用之四步相移類似，其第五張投影影像與第一張投影影像相同，用於檢測與第一張投影影像比較是否有不同之變化。五步相移其結構光亮度分佈為餘弦函數形式，亮度分佈方程式表示如(2.1)式：

其中(i,j)為影像座標，B為背景亮度值(平均亮度值)，A為 餘弦亮度分佈振幅值，F為相位值，k為相移控制參數(k=1~5)。由(2.1)式可推得此五張相位移圖案之亮度分佈，求其反正切函數便可計算得相對相位。(2.2)式為反正切函數，將CCD攝影機擷取之五張相位移投影影像亮度值代入，便可求得影像每點的相對相位，而背景亮度值與餘弦振幅亮度值則分別由(2.3)與(2.4)式求得。

本發明計算絕對相位為合併格雷碼與相位移，此法不僅可輕易計算出絕對相位，亦可避免待測件1有高度段差的影響，得到無誤的絕對相位。合併格雷碼與相位移計算絕對相位有兩個重點：

1.整數2 _p 的計算，為判斷格雷氏編碼n即條紋階數。

2.小數F的計算，即是相對相位F介於±π之間。

經由判斷上述兩者，便可知道何處為相位跳動處，並可得知需補償多少2 _p ，如此即可將跳動的相位接合為連續的相位，圖14、15為絕對相位計算說明圖。圖14可計算為圖15的形式，格雷碼部分轉換為數值n，相位移部分則計算為介於+p與-p的相對相位。下列式子為其判斷式，判斷n與相對相位F後再決定是否應補償相位值。另外，圖11係葛雷碼條紋的示意圖，圖12係相位移的實施示意圖，圖13係葛雷碼編碼與相位移的對照實施示意圖。

以(2.5)式即可計算出每個圖元位置的絕對相位。同時(2.5)式亦具有錯誤補正的作用，圖15(a)為格雷碼無判別錯誤之狀況，而(b)表示格雷碼誤判之狀況。如圖15(b)點線所指位置，原本應為階數n=3的位置卻因二值化錯誤而造成階數降低為n=2，原來的判斷應為階數n=3與相對相位F介於-p與-p/2之間，其絕對相位計算得為4 _p +F，而因錯誤造成的結果為階數n=2與相對相位F介於-p與-p/2之間，其絕對相位計算亦得為4 _p +F。此例顯示本系統計算絕對相位的方程式可避免因格雷碼編碼錯誤的影響，使每個影像座標點皆能計算出正確之相位。

相位參數校正部份是以自動非線性校準法進行，相位值與高度之間的對應關係參考平面用經驗方法計算得出不需要知道外在的(即位置和方向)和微型投影儀的光學參數。自動非線性校準方簡化了相位到高度的映射過程。非線性和線性經驗非自動校準也已測試。計算非線性相位到高度的映射如：

其中h(x,y)是(x,y)中參考平面上的高度點，是展開的相位差對象和參考平面，(m,n)是參數用最小二乘最小化演算法獲得。此校準程式，從現在開始表示為校準#1簡稱，至少需要獲得兩個不同高度的平板。線性

相位到高度的映射，從現在開始表示為校準#2，計算如下：

理論上，這種方法只需要一次校準獲取以猜測參數k(x，y)。但是在實踐中進行多次測量以提高準確度。新穎的自動相位到高度映射呈現在這項工作基於校準#1並假設(3)中的參數m和n具有平滑和準線性(x，y)的變化。這個假設可以估算它們來自極端情況下的四個測量值的值的視野。該方法表示為校準#3。選擇階梯式金字塔形物體校準對象。物體的形狀保證了它將在附近的位置具有不同的高度並且將是可見的(對於每個微型投影儀方向，沒有陰影)。本發明使用2毫米寬，5,10和15毫米高的台階如圖16a所示，設置四個階梯金字塔。該金字塔形物體的分割是全自動的包括簡單但強大的基於直方圖的過程分割和形態學操作。細節未包裹的階梯狀金字塔形物體並被選中校準中使用的點如圖16b所示。校準參數的插值超過其餘部分使用Delaunay三角剖分執行圖像，然後執行平滑的五次多項式插值。透視校正需要相機校準(即校正參考平面上的x-y位置)身高估計)。攝像機校準演算法獲得針孔相機的內在和外在參數模型採用張法。該程式使用了棋盤圖案放置在不同的和未知的取向。僅需要計算相機校準固定在設置頂部的相機移動或移動時放大。

本發明系統檢測單元40係包含使用具四核芯64Bit、1.2GHz及記憶體容量1G之運算控制主機43，如圖3、8所示，可透過無線訊號傳輸模組44接收各影像擷取裝置20所成像的影像資料，系統運作於LINUX作業系統之中，具高度自動化與平行演算功能，可並行處理影像、追蹤特定目標、週邊介面與感知器處理、不需特定3D掃瞄設備支援即可進行曲面 觸控面板檢測，觸控面板檢測對像為成品或半成品皆可，半成品觸控面板係以運算控制主機43經由I2C、SPI、CAN BUS等傳輸介面對檢測系統報點，成品觸控面板則可藉由待測主機(及智慧型手機或平板)安裝的APK經由Bluetooth或Wifi等介面對檢測系統報點，系統Z軸自動對待測件1表面曲度調整鏡頭角度待個鏡頭取像完成後再進行影像拼接，拼接完成後再進行面板瑕疵檢測與標示。

以上所述，僅為本發明之可行實施例，並非用以限定本發明之專利範圍，凡舉依據下列請求項所述之內容、特徵以及其精神而為之其他變化的等效實施，皆應包含於本發明之專利範圍內。本發明所具體界定於請求項之結構特徵，未見於同類物品，且具實用性與進步性，已符合發明專利要件，爰依法具文提出申請，謹請 鈞局依法核予專利，以維護本申請人合法之權益。

1‧‧‧待測件

10‧‧‧移動平台

11‧‧‧多軸向傳動機構

110‧‧‧第一驅動機構

111‧‧‧第二驅動機構

112‧‧‧第三驅動機構

12‧‧‧角度調整機構

120‧‧‧水平旋轉機構

121‧‧‧旋轉機構

20‧‧‧影像擷取裝置

30‧‧‧投影機

42‧‧‧光源模組

Claims (9)

1. 一種三維相位移瑕疵檢測方法，其包括：提供一移動平台、複數影像擷取裝置、複數投影機及一系統檢測單元；該移動平台包含一多軸向傳動機構，該系統檢測單元包含一影像演算處理模組；將該複數影像擷取裝置及該複數投影機設於該多軸向傳動機構；將一待測件放置在該移動平台上；及以該多軸向傳動機構帶動該複數影像擷取裝置及該複數投影機位移至可以檢測該待測件表面的至少一檢測位置；其中，當該複數影像擷取裝置及該複數投影機抵達該檢測位置時，該影像演算處理模組則執行一三維形貌檢測步驟，係以該複數投影機分別對該待測件表面投影一格雷氏編碼，並以該複數影像擷取裝置分別擷取包含有各相角之該格雷氏編碼的投影影像；當所有的該檢測位置皆已完成該格雷氏編碼投影與該投影影像的影像擷取時，該影像演算處理模組則合併包含有各該格雷氏編碼圖案的該複數投影影像，並利用五步相位移法計算得到一絕對相位，再配合三角量測技術計算出該待測件的三維形貌輪廓資訊。
2. 如請求項1所述之三維相位移瑕疵檢測方法，其中，於該三維形貌檢測步驟中，該複數投影機於影像擷取時間分別投影出該格雷氏編碼以作為量測依據，並由該複數影像擷取裝置分別於各相角度投影時擷取影像一次，待該複數影像擷取裝置完成所有的影像擷取時，再由該影像演算處理模組計算出各相角之該格雷氏編碼遇到瑕疵所形成的形變資訊，並依據該格雷氏編碼的形變資訊變化來重組一張可供顯示的3D影像。
3. 如請求項1所述之三維相位移瑕疵檢測方法，其中，當該複數影像擷取裝置及該複數投影機抵達第一個該檢測位置時，則於該三維形貌檢測步 驟之前先執行一影像瑕疵檢測步驟，係以該影像演算處理模組依序判斷每一該影像擷取裝置之鏡頭軸線是否與所正對之該表面的法線重合或接近重合；當判斷結果為否，則驅動設於該多軸向傳動機構上的一角度調整機構使每一該影像擷取裝置之鏡頭軸線與各自正對之表面中心的法線重合或接近重合；當判斷結果為是，則以該複數影像擷取裝置分別擷取該待測件複數相鄰該表面的複數檢測影像，且使該複數檢測影像之間的邊緣部分影像為重疊，以將該複數檢測影像拼接成一組二維展開平面影像，並對該二維展開平面影像做特徵化的影像辨識處理，以將影像辨識結果輸出為表面瑕疵資訊或標靶位置定位資訊。
4. 如請求項3所述之三維相位移瑕疵檢測方法，其中，該表面瑕疵資訊或該標靶位置資訊係為透過一顯示幕或一照片將該待測件之表面瑕疵或標靶位置定位的部分區域予以圈選或標示。
5. 如請求項3所述之三維相位移瑕疵檢測方法，其中，該系統檢測單元更包含複數光源模組，該複數光源模組分別設於該角度調整機構靠近各該鏡頭的位置上，用以分別朝向該待測件之各該表面投射光源；再以各該影像擷取裝置擷取各該表面上之投射光源的光點影像；該影像演算處理模組預設有至少一預設行程路徑，並依據該預設行程路徑控制該多軸向傳動機構上的該複數角度調整機構及複數影像擷取裝置移動至預定的至少一該檢測位置，該影像演算處理模組再對該光點影像做影像處理及真正圓運算法的運算，並依據運算結果控制該角度調整機構做出對應的單軸向或是二個軸向的旋轉，用以使每一該鏡頭軸線與各自正對之該表面的法線為重合或是接近重合。
6. 如請求項5所述之三維相位移瑕疵檢測方法，其中，該影像演算處理模組執行該影像瑕疵檢測步驟時更包含執行下列步驟： 步驟一，係將取得之該光點影像進行二值化處理，並透過軟體濾波器濾除不必要背景，以加強光點特徵；步驟二，運用Canny演算法取得影像邊緣，使得該光點影像中的光點更為凸出；步驟三，運用克拉瑪公式理論來決定候選圓，並解出圓心與半徑，再經過圓的直軸與交軸比較確定為圓；步驟四，經由真正圓檢測，以確定鏡頭軸線與該待測件表面的法線重合或接近重合；步驟五，待各該鏡頭調整角度至待測件正上方即進行影像擷取；步驟六，待各該鏡頭影像擷取完成即進行影像拼接；及步驟七，待影像拼接完成即進行該待測件的瑕疵檢測與標示。
7. 如請求項1所述之三維相位移瑕疵檢測方法，其中，該影像瑕疵檢測步驟更包含一玻璃瑕疵檢測子步驟，係將拼接完成之該二維展開平面影像依序進行下列步驟：破損檢測步驟，係利用樣本背景影像相減與多次侵蝕膨脹演算法找出瑕疵特徵輪廓；及孔動檢測步驟，依據操作者測試調定閥值進行判斷，判斷是否有破損或孔洞，判斷結果為是，則進行瑕疵位置標示；判斷結果為否，則進行一切割異常檢測步驟。
8. 如請求項7所述之三維相位移瑕疵檢測方法，其中，執行該切割異常檢測步驟時，係利用該二維展開平面影像左右平行邊以操作者定義參考線判斷是否平行，判斷是否有可見瑕疵，判斷結果為是，則進行一指紋與粉塵檢測步驟，係利用輪廓與面積大小進行判別，並將瑕疵位置標示；判斷結果為否，則判斷是否有不可見瑕疵，判斷結果為是，則進行該三維形貌 檢測步驟，以得到相位移檢測範圍、體積大小等資訊，並將瑕疵位置標示。
9. 一種三維相位移瑕疵檢測系統，其包括：一移動平台，其可供一待測件放置置放，該移動平台包含一多軸向傳動機構；複數影像擷取裝置，其設於該多軸向傳動機構；複數投影機，其設於該多軸向傳動機構；及一系統檢測單元，其包含一影像演算處理模組，該系統檢測單元佣以驅使該多軸向傳動機構依序帶動該複數影像擷取裝置及該複數投影機位移至可以檢測該待測件表面的至少一檢測位置；其中，當該複數影像擷取裝置及該複數投影機抵達其中一該檢測位置時，該影像演算處理模組則執行一三維形貌檢測步驟：係以該複數投影機分別對該待測件表面投射一格雷氏編碼圖案，並以該複數影像擷取裝置於不同相角分別擷取包含有該格雷氏編碼圖案的投影影像，該影像演算處理模組合併包含有各該格雷氏編碼的該複數投影影像，並利用五步相位移法計算得到一絕對相位，再配合三角量測技術來得到該待測件的三維形貌輪廓資訊。

Images