TWI664586B - 透過瑕疵複數光場之透明基板瑕疵檢測方法 - Google Patents
透過瑕疵複數光場之透明基板瑕疵檢測方法 Download PDFInfo
- Publication number
- TWI664586B TWI664586B TW107109876A TW107109876A TWI664586B TW I664586 B TWI664586 B TW I664586B TW 107109876 A TW107109876 A TW 107109876A TW 107109876 A TW107109876 A TW 107109876A TW I664586 B TWI664586 B TW I664586B
- Authority
- TW
- Taiwan
- Prior art keywords
- flaw
- transparent substrate
- defect
- diffraction
- light field
- Prior art date
Links
- 230000007547 defect Effects 0.000 title claims abstract description 154
- 239000000758 substrate Substances 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims description 64
- 238000007689 inspection Methods 0.000 title description 13
- 238000001514 detection method Methods 0.000 claims abstract description 93
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 50
- 238000010801 machine learning Methods 0.000 claims abstract description 23
- 238000013135 deep learning Methods 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 239000011521 glass Substances 0.000 claims description 43
- 230000003287 optical effect Effects 0.000 claims description 29
- 230000002950 deficient Effects 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000010998 test method Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 239000000919 ceramic Substances 0.000 claims description 2
- 238000013434 data augmentation Methods 0.000 claims description 2
- 229920000642 polymer Polymers 0.000 claims description 2
- 229910052594 sapphire Inorganic materials 0.000 claims description 2
- 239000010980 sapphire Substances 0.000 claims description 2
- 238000002834 transmittance Methods 0.000 claims description 2
- 238000004804 winding Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 238000012360 testing method Methods 0.000 description 11
- 239000000428 dust Substances 0.000 description 9
- 238000004519 manufacturing process Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000009647 digital holographic microscopy Methods 0.000 description 6
- 230000005693 optoelectronics Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000001093 holography Methods 0.000 description 4
- -1 bubbles Substances 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 206010047513 Vision blurred Diseases 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000010297 mechanical methods and process Methods 0.000 description 2
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 2
- 239000004926 polymethyl methacrylate Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 229920002799 BoPET Polymers 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000012956 testing procedure Methods 0.000 description 1
- 235000012431 wafers Nutrition 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/958—Inspecting transparent materials or objects, e.g. windscreens
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0465—Particular recording light; Beam shape or geometry
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
- G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
- G01N21/896—Optical defects in or on transparent materials, e.g. distortion, surface flaws in conveyed flat sheet or rod
- G01N2021/8967—Discriminating defects on opposite sides or at different depths of sheet or rod
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/0005—Adaptation of holography to specific applications
- G03H2001/005—Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
- G03H2001/0445—Off-axis recording arrangement
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
- G03H2001/0452—Digital holography, i.e. recording holograms with digital recording means arranged to record an image of the object
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
- G03H2001/0883—Reconstruction aspect, e.g. numerical focusing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
一種透明基板之瑕疵檢測方法,包括:利用一波前重建單元,取得一透明基板之瑕疵複數光場;利用一瑕疵繞射模組,確認該瑕疵複數光場之有效的繞射範圍;利用一瑕疵偵測模組,偵測該透明基板之瑕疵所在的位置;利用一瑕疵分類模組,執行繞射特徵之擷取、分析與分類,並利用機器學習或深度學習演算法進行自動化瑕疵辨識。
Description
本發明係關於透明基板之瑕疵檢測,特別係一種透明基板瑕疵複數光場繞射模型及其檢測方法。
玻璃基板是目前各式光電顯示器、智慧型手機面板、微型化鏡片等光電產品中最為廣泛而普遍使用的元件。國內外光電產業對於玻璃基板皆有著大量的需求與各種領域應用。尤其,在各種光電顯示器(例如:液晶顯示器、電漿顯示板、有機發光二極體)、數位相機、智慧型手機面板等光電產品之製作與組裝過程中,玻璃基板扮演者非常重要且關鍵的角色。另外,在與矽晶片之黏接(bonding)、微機電系統(micro electro mechanical systems,MEMS)、生物製藥(Bio-medical)領域、微鏡(micro mirror)、微型玻璃塊(micro glass-block)、偏振分光器(polarized beam splitter)、雙色性濾光器(dichroic filter)亦會使用到各種規格之玻璃基板。
再者,不論是在上述各種半導體製程裝置、精密機械、顯示器裝置的高科技產業中,皆朝向微小化、精密化、與奈米等級的方向前進。因此在精密機械領域之量測設備、製造技術、整合技術的發展中,玻璃基板的瑕疵檢測相關技術是非常重要的。
中國專利公開第CNI01241086號之發明專利申請,揭露“一種基於對玻璃材料的氣泡、雜質量測的檢測儀”;另,中國專利公開第CNI01750422號之發明專制申請案,揭露“一種玻璃缺陷在線自動檢測裝置”;又,中國專利公開第CNI02305798號之發明專利申請案,揭露“基於機器視覺的玻璃缺陷的檢測
與分類方法”。然而,前述公開發明專利申請案之中,玻璃缺陷的檢測與分類方法僅以對圖像進行缺陷邊緣檢測,以獲得缺陷的邊緣信息;其無法適用於檢測玻璃微小氣泡瑕疵,並且其玻璃氣泡檢測系統或裝置仍必然存在進一步改良其玻璃缺陷的檢測方法之需求。
此外,中華民國專利公開第I512284之玻璃氣泡瑕疵檢測系統,其利用一擴散光照射至一待測玻璃片上,以獲得一玻璃片光照影像,並利用二值化閥值於感興趣區塊搜尋一氣泡影像,以達成提升檢驗準確性之目的。然而,上述公開專利方法皆係透過擷取強度影像資訊,配合影像處理方式及資料庫檢索比對,最後判斷出玻璃基板的瑕疵位置以及種類。
在實務上,目前大多數透明玻璃基板檢測仍採用人工/半機械作業方式進行各種玻璃基板的反射或穿透圖案以判別其中可能的瑕疵,僅些許採用機器視覺的方式運用攝影機直接拍攝玻璃基板的反射或穿透圖案,以進行各式的瑕疵影像演算法來嘗試進行檢測工作。惟,透過機器視覺攝影機僅能取得其中的強度影像而無法完整的獲得玻璃基板的複數影像資訊。再者,由於該攝影機對於透明基板無法有效對焦而容易產生失焦或無法對焦現象。因此,往往需要複雜而耗時的演算法進行多重前置訊號處理與分類辨識,之後才能進行後續瑕疵檢測工作。這一連串動作導致了現有機器視覺無法快速而有效地進行透明基板的檢測,並無法提高其檢測良率。意即,透過機器視覺的方式,二維成像不容易,且影像強度的計算複雜;三維成像耗時,且影像強度僅處理單一平面。
基於奈微米製程技術的快速演進,眾多產業紛紛趨向微型化的生產製造與應用。積體電路、半導體組件以及微光學元件等皆係構成各項科技產品的重要元件。近幾年受到社群媒體與網路資訊的快速傳播影響,在智慧型手機及其顯示面板產品的需求量與廣泛使用最為顯著。因而,面對快速生產的需求下,如何有效提升製程與產品的良率成為企業營運成本考量的重要指標。
現今對於微光學元件的瑕疵檢測,包含:表面瑕疵檢測、表面粗
糙度、表面輪廓、薄膜厚度與平整度、曲率半徑、波前量測、像差分析、折射率分佈等...等。在目前可行的瑕疵檢測技術中,包括:金相顯微鏡、共軛焦顯微鏡、原子力顯微鏡、白光干涉儀...等技術。上述的檢測技術皆需要使用機械掃描與影像縫合相關的技術來完成大面積且具高解析度的重建影像,但這些技術與產品的瑕疵檢測的過程十分耗時,以致於僅能透過抽取部分樣本來縮短檢測時間。因此,如何提升量測的視野範圍及具高解析度的成像機制以縮短檢測時間及增加檢測數量,已成為現有瑕疵檢測所面臨的重要議題。
再者,傳統工業產品瑕疵檢測技術往往無法適用於透明玻璃基板的穿透式檢測方式。因此,如何有效進行透明基板檢測,提升量測的解析度與視野範圍,並縮短檢測時間及提高現場檢測量,已成為現有國內外產業與檢測領域所面臨的重要課題。因此,如何提升量測的視野範圍及具高解析度的成像機制以縮短檢測時間及增加檢測數量,已成為現有瑕疵檢測所面臨的重要議題。
近幾年,由於數位全像術具有波前量測與定量化分析的優勢,使得其在定量化相位成像(quantitative phase imaging,QPI)中扮演重要特色。同軸式無鏡數位全像顯微術的概念,主要在2001年時由日本的Professor Ichirou Yamaguchi在Applied Optics提出使用無鏡式的參考球面光波數位全像架構,但需透過耗時的遞迴運算法則來濾除直流項與共軛項的資訊。因此,在2015年時美國UCLA的Professor Aydogan Ozcan在Light:Science & Applications提出使用像素超解析度(pixel super-resolution)的方法與合成孔徑(synthetic aperture,SA)結合來達成空間超解析度,並透過遞迴演算法來提升影像感測器取樣點不足的限制。然而,這樣的高解析度的成像機制需要拍攝數百張的全像片影像,同時要放置樣本於影像感測器上來記錄全像片資訊才能達到高解析度,接著再進行遞迴運算等耗時方法以獲得畫素超解析的重建影像,這樣的成像限制與耗時的演算方法並不適用於生產線上的瑕疵檢測。
在實務上,目前大多數透明玻璃基板檢測仍採用人工/半機械作業方式進行各種玻璃基板的反射或穿透圖案以判別其中可能的瑕疵,僅些許採用機器視覺的方式運用攝影機直接拍攝玻璃基板的反射或穿透圖案進行各式的
瑕疵影像演算法來嘗試嘗試進行檢測工作。惟透過機器視覺攝影機僅能取得其中的強度影像而無法完整的玻璃基板複數影像資訊。再者,由於該攝影機對於透明基板無法有效對焦而容易產生失焦或無法對焦現象。因此,這一連串動作導致了現有機器視覺無法快速而有效地進行透明玻璃基板的檢測,而無法提高其檢測良率。
再者,有鑑於奈米、微米製程技術的快速演進,眾多產業紛紛趨向微型化的生產製造與應用,其中的積體電路與半導體組件,以及微光學元件等皆係構成各項科技產品的重要元件。近幾年受到社群媒體與網路資訊的快速傳播影響,在智慧型手機及其顯示面板產品的需求量與廣泛使用最為顯著。因而,面對快速生產的需求下,如何有效提升製程與產品的良率成為企業營運成本考量的重要指標。
透明基板的瑕疵將可能帶來整個產品製程與組裝上嚴重的良率下降,而大大地增加製作的成本與資源材料的浪費。因此,透明基板的瑕疵檢測在整個光電產品的製作與組裝過程就變得十分重要。
有鑑於上述習知技術的缺點,並且目前市面上尚無有效而可靠的透明基板檢測技術與方法可供產業檢測應用。實在有必要發展一種新穎的透明基板瑕疵檢測方法來解決與克服上述的問題。
本發明提出使用廣視野數位全像術系統來進行波前重建,其中可以使用升採樣技術與球面參考光波來解決廣視野成像系統中,影像感測器之像素解析度不足以及直流項與干涉項之間的頻寬重疊以致無法獲得高頻資訊的問題,並應用於透明玻璃基板的瑕疵檢測,包含:氣泡、灰塵、水漬、刮痕等類別,同時建構資料庫進行快速比對分析。
本發明利用廣視野數位全像顯微造影技術,以有效地對於透明玻璃基板的氣泡、灰塵、水漬、刮痕等瑕疵與沾污進行繞射特性的記錄,並透過
機器學習瑕疵檢測演算法對繞射特性量化與分析,進行瑕疵的偵測與分類以達成透明玻璃基板之檢測工作。
本發明提出適用於透明玻璃基板的瑕疵檢測系統,並解決在傳統廣視野量測系統中像素解析度不足的問題,以及使用定量的波前量測分析方法,以判斷瑕疵種類同時定位其在三維空間的分佈。
為了有效地分析廣視野數位全像顯微造影技術所記錄之複數影像上的瑕疵繞射特性,本發明提出複數瑕疵繞射模組是透過遠場繞射距離決定有效的繞射特性分析範圍,同時,透過繞射場之縱向焦深而決定兩個重建距離間繞射場之差異,以定義玻璃瑕疵繞射特性在縱向位置上的最小有效重建間隔和最遠繞射距離。
上述透明基板之瑕疵檢測方法,包括:利用一波前重建單元,取得一透明基板之瑕疵複數光場;利用一瑕疵繞射模組,確認該瑕疵複數光場之有效的繞射範圍;利用一瑕疵偵測模組,偵測該透明基板之瑕疵所在的位置;利用一瑕疵分類模組,執行該瑕疵複數光場之繞射特徵之擷取、分析與分類,並分辨瑕疵之種類。
上述透明基板之瑕疵檢測方法更包含利用該瑕疵繞射模組,取得該瑕疵複數光場之繞射傳播的最小(短)繞射間距與最遠繞射距離。
上述透明基板之瑕疵檢測方法更包含利用瑕疵繞射模組,取得瑕疵於繞射傳播的最小繞射間距與最遠繞射距離之複數影像,以資料擴增(data augmentation)機器學習或深度學習演算法所需之瑕疵複數影像資料庫。
根據本發明之一觀點,上述方法更包含利用自動對焦演算法,以確定該透明基板之該瑕疵所在的位置。
其中該瑕疵分類模組包含機器學習或深度學習演算法,實現自動
化瑕疵辨識。其中機器學習演算法包含區域分割演算法與型態學操作來執行該透明基板之該瑕疵之橫向位置偵測。其中該機器學習演算法包含該特徵擷取與分類步驟,以利於該自動化瑕疵辨識。
根據本發明之另一觀點,上述方法更包含提供至少一瑕疵複數影像資料庫中之影像至該機器學習或深度學習演算法。其中該深度學習演算法更包含一物件偵測以及一訓練與測試程序,以進行該瑕疵複數影像之辨識。其中該深度學習演算法更包含利用至少一摺積神經網路與至少一分類器,以分析所偵測之該透明基板瑕疵區域。
此些優點及其他優點從以下較佳實施例之敘述及申請專利範圍將使讀者得以清楚了解本發明。
100‧‧‧發射光源
102‧‧‧入射光
104‧‧‧參考光
110‧‧‧光擴束器
120、130‧‧‧分光鏡
140‧‧‧光偵測器陣列
L1~L5‧‧‧透鏡
M1~M3‧‧‧面鏡
TL1‧‧‧光學影像縮小系統
150‧‧‧透明基板
152、154‧‧‧瑕疵
155‧‧‧物鏡
200、210、220、230、240‧‧‧步驟
300‧‧‧數位全像片
310‧‧‧瑕疵複數影像資料庫
312‧‧‧訓練資料
314‧‧‧測試資料
316‧‧‧基於區域分析之瑕疵檢測
318‧‧‧特徵擷取(feature extraction)
320‧‧‧訓練
322‧‧‧分類器
324‧‧‧結果
400‧‧‧瑕疵複數影像資料庫
402‧‧‧物件偵測
404‧‧‧訓練程序(training procedure)
406‧‧‧測試程序
408‧‧‧誤差估計(error estimation)
410‧‧‧背景
412‧‧‧水漬(watermark)
414‧‧‧灰塵
416‧‧‧刮痕(crack)
420‧‧‧摺積程序之後產生特徵圖
430‧‧‧擬合程序(pooling)之後形成多幅特徵圖
440‧‧‧另一摺積程序之後形成特徵圖
如下所述之對本發明的詳細描述與實施例之示意圖,應使本發明更被充分地理解;然而,應可理解此僅限於作為理解本發明應用之參考,而非限制本發明於一特定實施例之中。
第一圖顯示根據本發明之一實施例之一透明基板瑕疵檢測裝置之光學系統之一示意圖;第二圖顯示根據本發明之一實施例之一透明基板瑕疵檢測裝置之廣視野數位全像顯微造影術之一架構圖;第三圖顯示根據本發明之一實施例之一透明基板瑕疵檢測之方法流程圖之一示意圖;第四圖顯示根據本發明之一全相片於全像平面、不同的重建面中的振幅影像與相位影像之瑕疵繞射影像變化之示意圖;
第五圖顯示菲涅耳繞射通過寬度為S的瑕疵及其在不同菲涅耳數值下所模擬的複數影像重建之示意圖;第六圖顯示瑕疵繞射模型之示意圖;第七圖顯示瑕疵所在的位置之示意圖;第八圖顯示根據本發明之一實施例之基於繞射特性之機器學習演算法之瑕疵辨識流程之示意圖;第九圖顯示根據本發明之機器學習演算法之瑕疵辨識流程之示意圖;第十圖A至第十圖C係分別顯示特徵擷取之數量有關的特徵示意圖;第十一圖係顯示具有一水漬與數個灰塵的測試例子之瑕疵檢測之定性評估;第十二圖係顯示具有一刮痕與數個灰塵的測試例子之瑕疵檢測之定性評估;第十三圖係顯示機器學習演算法之接收者操作特徵(ROC)曲線;第十四圖係顯示根據本發明之一實施例之基於繞射特性之深度學習演算法之瑕疵辨識流程之示意圖;第十五圖係顯示根據本發明之深度學習演算法之瑕疵複數影像與測試波形圖;
第十六圖係顯示物件偵測之相關的像素值變化之區域;第十七圖係顯示物件偵測之像素值變化之示意圖;第十八圖係顯示利用一摺積神經網路方法,以分析由物件偵測所偵測之瑕疵區域之示意圖;第十九圖係顯示深度學習演算法之接收者操作特徵(ROC)曲線。
此處本發明將針對發明具體實施例及其觀點加以詳細描述,此類描述為解釋本發明之結構或步驟流程,其係供以說明之用而非用以限制本發明之申請專利範圍。因此,除說明書中之具體實施例與較佳實施例外,本發明亦可廣泛施行於其他不同的實施例中。
本發明應用數位全像造影記錄方式,取得、記錄透明基板上瑕疵之波前資訊。基於此波前資訊,透過所提之瑕疵繞射模型,針對瑕疵於不同的平面之繞射場進行辨認與分類。辨認與分類之方式係透過電腦學習方式自動化進行分析瑕疵之波前與繞射特性,以期達到自動化辨識與分類透明基板上瑕疵之種類。實施例中指出,可透過所揭露本發明之方法分辨透明基板上之氣泡、灰塵、刮痕與水漬等瑕疵。
為了滿足上述技術問題及需求,本發明提供一透明基板瑕疵檢測裝置。該裝置至少包含底下之元件:
(1)數位全像記錄與重建單元:透過數位全像技術記錄待檢測基板之光場資訊,利用重建之振幅與相位分析、辨識基板之瑕疵資訊。
(2)瑕疵繞射模組:用以分析瑕疵於空間中繞射時具有的各種不同結果,定義有效的繞射距離分析範圍,及範圍內有效的觀察次數;透過瑕疵
之尺寸大小,可透過其遠場繞射距離決定有效的繞射距離分析範圍,並透過繞射場之縱向焦深而決定兩距離間繞射場之差異,以定義範圍內有效的觀察次數。
(3)機器學習或深度學習瑕疵檢測演算法:用以量化玻璃基板之瑕疵複數影像所記錄之繞射特性。應用所提之複數瑕疵繞射模組,在有效的縱向間隔與距離上,重建出三維空間中不同位置的繞射特性,透過所提演算法擷取與量化同一重建面中以及不同重建面之間,振幅和相位數值的交互關係,以分析正常玻璃基板以及各種瑕疵所呈現之繞射特性,並進一步以機器學習或深度學習進行瑕疵的偵測以及不同瑕疵的辨識。
本發明提供一種透明基板瑕疵檢測之方法,包括:一波前重建演算法;利用一瑕疵繞射模組以定義待辨認之瑕疵、於辨認步驟中所需之有效繞射範圍、以及該範圍內可觀察探討之有效繞射次數;利用一基於繞射特性之瑕疵偵測演算法,該演算法在上述瑕疵繞射模組中,自動偵測玻璃基板瑕疵所在的位置;利用一基於繞射特性之瑕疵辨識演算法,該演算法在上述瑕疵繞射模組中,針對所偵測到的瑕疵區域,進行繞射特徵之擷取與分析,並分辨瑕疵種類。
第一圖顯示根據本發明之一透明基板瑕疵檢測裝置之數位全像顯微術之示意圖。數位全像顯微術之過程:入射光102入射至一透明基板150,在透過一物鏡155,之後一參考光104於分光鏡(Beam Splitter)130與入射光進行干涉,最後於一光偵測器陣列140,產生透明基板瑕疵複數光場。接著,透過一波前重建單元160以進行瑕疵複數光場之重建。入射光102之形式包括線光源、平面光源或球面光源。
第二圖顯示根據本發明之一實施例之一透明基板瑕疵檢測裝置之光學系統。本實施例適用於處理至少一個相關於一解析度標準樣本與一透明基板之全像影像。此等全像影像可以由一些實施例之光學系統所產生。在第二圖之實施例之中,其為離軸式(Off-axis)廣視野平面波照射之光學系統;此光學系統包括一發射光源100、一光擴束器(Beam expander;BE)110、二個分光鏡
(Beam Splitter)120與130、一光偵測器陣列140(例如:感光耦合元件(Charge-coupled Device;CCD)、互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor;CMOS)等影像感測器、光感測器(Photodetector))、及五個透鏡(Lens)L1~L5及三個面鏡(Mirror)M1~M3。發射光源100作為一入射光束,例如為垂直共振腔面射型雷射(Vertical-Cavity Surface-Emitting Laser;VCSEL)、半導體雷射(Semiconductor laser)、固態雷射(Solid-state laser)、氣態雷射(Gas laser)、液體雷射(Dye laser)、光纖雷射(Fiber laser)或發光二極體(LED)。發射光源100之光源形式包括線光源、平面光源或球面光源。發射光源100之光源特性包括同調光源、低同調光源或非同調光源。此光學系統包括一光學影像縮小系統(Telescopic Imaging System)TL1,例如包括一個放大率為0.5倍(M TL =0.5×)且具有焦距為100毫米(millimeter:mm)的透鏡L4及一個具有焦距為50mm的透鏡L5。透鏡L4的前後焦距可以相等,也可以實質上相等(有極些微差異),而透鏡L5的前後焦距可以相等,也可以實質上相等(有極些微差異)。在參考光端的球面參考光波也具有一個焦距為50mm的透鏡L3,透鏡L3的前後焦距可以相等,也可以實質上相等(有極些微差異)。透明基板瑕疵檢測裝置之光學系統之光路經包含:二極體雷射100光源產生一個具有中心波長,例如為405奈米(nanometer:nm),的雷射光,該雷射光經過面鏡M1反射之後先通過光擴束器110以產生一個擴束光,再入射至分光鏡120而分別輸出兩道光束,接著分別通過直徑2吋的透鏡L1與1吋的透鏡L2而成為光束直徑2吋與1吋的準直平面波。其中一道光束經過面鏡M3反射之後先穿過待測透明基板150上之物體以形成物光(Object Wave),該物光再經由光學影像縮小系統(透鏡L4及透鏡L5)TL1以縮像作為具廣視野的物光,再經過分光鏡130之後,投射(可包含成像或非成像方式)於光偵測器陣列140。另一道光束經過面鏡M2反射之後作為參考光(Reference Wave)先經過透鏡L3以形成球面參考光,而提供數值放大率(M S =2),再經過分光鏡130之後,入射至光偵測器陣列140,並與正向入射的物光維持離軸角度,以進行離軸式(Off-Axis)的數位全像記錄,並確保該參考光在可消除直流項與共軛項的離軸記錄架構。上述三個面鏡M1~M3僅用於改變雷射光的光路徑。上述透鏡L2可以為其他可產生擴束波前之元件(平面與球面波)。上述透鏡L3可以為其他可產生平面、球面與具任意的曲面波前之元件。
在一實施例之中,面鏡M3所裝載的壓電式轉換器(Piezoelectric Transducers;PZT)係用於調整參考光的相位移之相位移元件(例如:壓電式轉換器PZT、空間光調制器(Spatial light modulator;SLM)以及旋轉平行板導致相位移元件)。
在一實施例之中,此光學系統增加一個濾波器遮罩(filter mask),配置於光學影像縮小系統TL1之二透鏡之間。此濾波器遮罩包含二個過濾區,其中一過濾區可以讓物體光通過,而另一過濾區可以讓參考光通過。
在一實施例之中,此光學系統新增加一組光學中繼系統TL2以及一光柵(Grating),其中光柵配置於TL1與TL2之間,而濾波器遮罩配置於光學中繼系統TL2之二透鏡之間。光學中繼系統TL2例如為另一光學影像縮小系統。
在上述第二圖之實施例中,藉由光學系統採用一種改良式的馬赫-曾德爾(Mach-Zehnder)干涉儀來實現一種離軸式的數位全像,以產生廣視野的全像影像。在其它實施例中,該等全像影像也能透過,例如:機械式地移動光偵測器陣列、待測物體與入射光束等其它拓展視野範圍的技術來產生同軸(On-axis)、離軸(Off-axis)、共軸(In-line)、共光程(Common-Path)、同軸式共光程(On-axis common-path)、離軸式共光程(Off-axis common-path)等架構的數位全像。
第三圖顯示根據本發明之一實施例之一透明基板瑕疵複數光場繞射模型之檢測方法流程圖。本發明之透明基板檢測方法可以藉由一透明基板瑕疵檢測裝置來處理該透明基板之瑕疵複數影像。透明基板瑕疵檢測之方法包含步驟200~240。首先,進行步驟200,透過一波前重建單元或波前感測裝置,以取得一透明基板之瑕疵複數光場。在此步驟200之中,利用數位全像顯微術(Digital Holographic Microscopy),於波前重建單元或波前感測裝置之中執行,以取得透明基板之瑕疵複數影像。波前重建單元至少包含一計算機。在本實施例中,透過一套廣視野數位全像顯微造影技術,如第一圖所示,藉由光學影像縮小系統或縮束透鏡組取得超過一寸之視野範圍,並透過數位全像進行升取樣程
序,以獲得數微米之橫向解析度。換言之,由此系統針對透明玻璃基板進行拍攝記錄,可以獲得玻璃基板內包含瑕疵的振幅與相位之複數影像。舉例而言,取得透明基板之瑕疵複數光場之步驟如下,先藉由一透明基板瑕疵檢測裝置之光學系統,將一待測物體光波進行繞射,再藉由待測透明基板之物體繞射光波與參考光波進行干涉,作為廣視野的全像影像的波前記錄與重建,以獲得待測透明基板之瑕疵複數影像。全像影像的波前可以透過一數位全像存取單元來記錄。全像影像的波前可以透過一數位全像重建方法來重建。光波繞射例如為菲涅耳繞射(Fresnel diffraction)或夫朗和斐繞射(Fraunhofer diffraction)。如此,可以解決光偵測器陣列的實際像素尺寸受限而無法有效解析待測物體之高頻資訊的限制。在一實施例中,當考慮使用平面波入射至待測物體的光場分佈時,其繞射資訊將由光學影像縮小系統縮像以達到廣視野影像輸出;再接著成像至物體的中間影像平面,並繞射一段距離至菲涅耳區域以產生低頻繞射條紋資訊,以解決光偵測器陣列的實際像素尺寸受限問題。
舉一實施例而言,透明基板例如為玻璃基板、藍寶石基板、透明陶瓷基板、高分子透明基板,例如聚碳酸酯(polycarbonate:PC)基板、聚酸甲酯(Polymethylmethacrylate:PMMA)基板或具高穿透率光學基板。另外,PET薄膜或其他透明薄膜也可以作為瑕疵影像的測試標的物。
上述參考光波包含:平面光波、球面光波或者任意曲面光波。在一實施例中,透過球面參考光所編碼球面因子而形成放大倍率,將可用於縮小待測物體在傅立葉平面上的頻譜寬度,以避免物體頻譜和直流項與共軛項之間產生頻譜重疊,並使其有效像素數目內能擷取與記錄待測物體的高頻資訊。透過最佳化物距與球面參考光可以獲得廣視野數位全像的最佳化橫向解析度與視野範圍。上述的廣視野數位全像可用於完成波前記錄與重建,以獲得待測物體之瑕疵複數影像。瑕疵複數重建影像包含振幅影像與相位影像,如第四圖所示。
上述數位全像影像進行升取樣技術,可以提升光學系統中光偵測器陣列的等效解析度,以達成廣視野高解析成像效果。數位全像重建方法包括使用傅立葉轉換法(Fourier transform approach)、摺積法、角頻譜法或菲涅耳繞射
近似法之數值傳播方法,以用來重建該透明基板上之物體的繞射光波。在傅立葉轉換的重建方法中,畫素的多寡會隨著重建距離遠近而變化。這樣的特性將使得重建影像的像素尺寸縮小,以避免實際光偵測器陣列的像素尺寸受限制的問題發生,並可同時達到重建影像的升取樣目的。
如前所述,瑕疵之穿透/反射光場繞射至影像感測器並與參考光干涉記錄為數位全像片,透過數位重建方法(於電腦之中執行)以重建數位全像片300,而取得被記錄數位全像片300之瑕疵光場。如第四圖與第五圖所示,其顯示一全相片300於全像平面、不同的重建面(重建面1、重建面2、重建面3)中的振幅影像與相位影像之瑕疵繞射影像變化。接下來,在步驟210之中,透過一複數瑕疵繞射模組(Complex Defect Diffraction Module),以確認複數瑕疵光場之有效的繞射範圍。瑕疵繞射模組可以進行瑕疵複數光場之繞射傳播,其中包含最短繞射間距(dmin)與最遠繞射距離(dmax),如第六圖所示。其中最短繞射間距(dmin)與最遠繞射距離(dmax)表示為底下之公式:dmin=2λz I 2 /L x 2 、dmax=S 2 /4λN F ,其中λ為入射光光波長,zI為成像面重建距離,Lx為於X軸的複數瑕疵繞射(CCD)大小,S為瑕疵大小,NF為菲涅耳數。透明基板的厚度介於最短繞射間距(dmin)與最遠繞射距離(dmax)之間。
透過瑕疵繞射模組可以計算瑕疵複數光場繞射之成像平面。在本實施例之中,利用瑕疵繞射模組以定義待辨認之瑕疵、於辨認步驟中所需之有效繞射範圍、以及該有效繞射範圍內可觀察探討之有效繞射次數。第五圖顯示菲涅耳繞射通過寬度為S的瑕疵152之示意圖,及其在不同菲涅耳數值(N F =10,1,0.5,0.1)下,所模擬的複數影像重建。如第五圖所示,依據本發明之複數瑕疵繞射模組,定義縱向上有效的繞射特性分析範圍,包括有效的重建間隔以及最遠距離;透過仿體繞射的模擬,可看出不同的重建距離所記錄之繞射特性。在實際全像造影拍攝,複數瑕疵繞射模組可以對不同瑕疵(水漬、刮痕、灰塵..等)記錄不同縱向位置上的繞射特性。
第六圖顯示重建之瑕疵152複數光場數值繞射至不同的距離位置,可以取得該瑕疵不同的繞射場分布(包含成像面)。在於此繞射模型中可以決
定相鄰兩繞射面最短距離與最長繞射距離。在最小繞射間距的情況下,兩繞射面間光場差異不甚明顯。而在最遠繞射距離的情況下,由於遠場繞射,光場將無顯著變化。在最小繞射間距和最遠繞射距離的定義下,更可以利用數值重建取得該瑕疵透過繞射傳播,於不同縱向位置上所產生的複數影像,以資料擴增機器學習或深度學習演算法所需之瑕疵複數影像資料庫。
接下來,在步驟220之中,透過一瑕疵偵測模組,偵測玻璃基板瑕疵所在的位置。在此步驟之中,利用一基於繞射特性之瑕疵偵測演算法,該演算法在上述瑕疵繞射模組中,自動偵測玻璃基板瑕疵所在的位置。在一實施例之中,透過一自動對焦演算法以判斷瑕疵成像與否,再透過瑕疵成像位置可知瑕疵位於基板之位置。如第七圖所示,玻璃基板150之穿透/反射光場繞射至影像感測器並與參考光干涉記錄為數位全像片300;電腦重建之數位全像片取得被記錄之穿透/反射光場,重建之穿透/反射數值光場繞射至成像平面,透過自動對焦演算法以確定是否有瑕疵於基板位置成像,由此成像特性可偵測基板樣品上瑕疵之位置。第七圖顯示在像平面1與像平面2具有較高的光場繞射計算的對照值,以判知瑕疵152、154於基板150上之位置。
之後,在步驟230之中,透過一瑕疵分類模組,執行瑕疵複數光場之繞射特徵之擷取、分析與分類。透過上述瑕疵繞射模組,可以計算已知瑕疵位置之透明基板瑕疵之繞射光場。在此步驟之中,利用一基於繞射特性之瑕疵辨識演算法,該演算法在上述瑕疵繞射模組之中,針對所偵測到的瑕疵區域,進行繞射特徵之擷取與分析。
最後,在步驟240之中,透過一機器學習演算法(machine learning algorithm),以分析與判斷已知位置之瑕疵之繞射光場特徵,而達到自動化分類瑕疵種類。例如,透過一分類器以實現自動化瑕疵類型之辨識。
如第八圖所示,其係顯示基於繞射特性之機器學習演算法之瑕疵辨識之流程。瑕疵複數影像資料庫310提供訓練資料(training data)312以及測試資料(testing data)314所需之影像資料。然後,訓練資料312與測試資料314進
行瑕疵辨識的程序。其先進行基於區域分析之瑕疵檢測(region-based analysis defect detection)316的步驟,例如利用一基於區域的影像切割演算法(region-based segmentation algorithm)與型態學操作(morphology operations)來執行,以進行後續的影像處理;其中種子選取(seed selection)的部分係有關於相位影像中於Z軸上的相位變化之像素,而區域分割的部分係考慮:振幅影像中於Z軸上具有較高振幅數值變化之像素、相位影像中於Z軸上具有較高相位數值變化之像素。如第九圖所示,種子選取包括水漬(watermark)與刮痕(crack),其中具有較大的振幅與相位數值變化之像素結合,透過一型態學操作方法以取得偵測之瑕疵區域。如第九圖所示,其顯示區域成長之影像切割方法(Region growing segmentation)以偵測具有高像素值變化之區域,並進行自動對焦(Autofocusing)以移除沒有成像於中間像平面之區域。
之後,進行特徵擷取(feature extraction)318的步驟。在此步驟中,包含一組數量有關的特徵,用以分析瑕疵複數影像中於該偵測瑕疵區域之繞射特徵。在一實施例之中,複數影像之數量有關特徵包含1個型態的特徵與7個光學的繞射特徵,其為圓形指標(circle index)、邊緣繞射(margin diffraction)、邊緣清晰度(margin sharpness)、極大值平均(maximal value mean)、極小值平均(minimal value mean)、極大值變異(maximal value variation)、極小值變異(minimal value variation)、區域比率(area ratio)。圓指標如第十圖A所示,於所偵測瑕疵區域D取一適當的圓C,於區域周圍上的點P(x,y)與圓心有一距離。邊緣繞射如第十圖B所示,其顯示於偵測瑕疵區域D外圍的一繞射區域。邊緣清晰度如第十圖C所示,其包含外區域與內區域。
接下來,測試資料314經由瑕疵檢測316與特徵擷取318的程序之後,利用一分類器322以進行一多類別瑕疵分類(Multi-class defect classification)的步驟。而訓練資料312經由瑕疵檢測316與特徵擷取318的程序之後,需進行進一步的訓練320步驟,然後再利用分類器322以進行多類別瑕疵分類的步驟。舉例而言,利用一邏輯迴歸模型(logistic regression model)與k-次交叉驗證(k-fold cross validation),以執行多類別瑕疵分類。最後,產生分類的結果324。
藉由機器學習演算法之複數瑕疵檢測,一些實施例的實驗之中,52個全相片(holograms)上具有268個玻璃瑕疵(glass defects),包含81個水漬(watermarks)、119個灰塵(dusts)與68個刮痕(cracks),如底下表一所示,其為268個瑕疵之瑕疵檢測之混淆表(Confusion table)。其中瑕疵檢測之成效評估包含定性評估與定量評估。如第十一圖所示,其顯示具有一水漬與數個灰塵的測試例子之瑕疵檢測之定性評估。如第十二圖所示,其顯示具有一刮痕與數個灰塵的測試例子之瑕疵檢測之定性評估。另外,定量評估上述268個玻璃瑕疵,藉由所提的複數瑕疵檢測系統以進行檢測,結果258個瑕疵區域,意即258個真陽性(True Positive:TP)、29個偽陽性(False Positive:FP)、10個偽陰性(False Negative:FN)。由上述可知因此,本發明所提之機器學習瑕疵偵測演算法,量化與分析在繞射模組定義的範圍內之瑕疵繞射特性,可以得到對應之效能分析,其中偵測正確率約為96%。
另外,根據定量特徵,執行多類別瑕疵分類之整體的成效評估的比較,如表二所述;其中PPV為陽性預測值(Positive Predictive Value)、NPV為陰性預測值(Negative Predictive Value)。其接收者操作特徵(receiver operating characteristic:ROC)曲線如第十三圖所述。前述的分類模型(分類器)係將一個實例映射到一個特定類的過程。而ROC分析的是二元分類模型,意即,輸出結果只有兩種類別的模型。
表二
在另一實施例之中,透過一深度學習演算法(deep learning algorithm),以分析與判斷已知位置之瑕疵之繞射光場特徵,而達到自動化分類瑕疵種類。
如第十四圖所示,其係顯示基於繞射特性之深度學習演算法之瑕疵辨識之流程。首先,提供一瑕疵複數影像資料庫400,其包括第三圖之步驟200所取得之瑕疵複數影像的資料集合,包含振幅影像與相位影像。藉由透明基板瑕疵檢測裝置將該等各類瑕疵複數影像的特性建立瑕疵複數影像資料庫,用以進行特徵分類與篩選,以儲存於一影像資料庫之中。而瑕疵複數影像之判別與分類可以藉由一瑕疵複數影像分類單元來執行。
在一實施例之中,透明基板之瑕疵檢測方法更包含利用瑕疵繞射模組,取得瑕疵於繞射傳播的最小繞射間距與最遠繞射距離之複數影像,以資料擴增(data augmentation)機器學習或深度學習演算法所需之瑕疵複數影像資料庫。
資料庫400之中的資料透過一訓練程序(training procedure)404,期間經過一誤差估計(error estimation)408的程序,誤差估計的結果回傳給訓練程序404參考,然後執行一測試程序(testing procedure)406,以進行瑕疵辨識的程序。結果包含背景410、水漬(watermark)412、灰塵414與刮痕(crack)416之振幅影像與相位影像,如第十五圖所示。另外,資料庫400之中的資料透過一物件
偵測(object detection)402,然後執行測試程序406,以進行瑕疵辨識的程序,自動找尋影像中的物件。物件偵測402係用於偵測相關的像素值變化之區域,該些區域例如第十六圖之中的方框所示,而像素值變化參考第十七圖。由物件偵測所偵測之區域係利用至少一摺積神經網路(convolution neural network)方法來分析,如第十八圖之示意圖;輸入一瑕疵複數影像,經過特徵擷取程序,分為三步驟:一摺積程序之後產生特徵圖420,再進行一擬合程序(pooling)之後降低維度430,之後再進行另一摺積程序之後形成特徵圖440;之後,再進行一分類程序,結果為2%背景、95%水漬、2%灰塵、1%刮痕。
深度學習之瑕疵複數影像偵測之實驗結果如表三所述,其包括預測結果分類;其中TP為真陽性(True Positive)、FP為偽陽性(False Positive)、FN為偽陰性(False Negative)、TN為真陰性(True Negative)。由表三可知,真陽與真陰占了絕大的比例,結果顯示瑕疵偵測和分類之正確率約為99%,請參考表四。其接收者操作特徵(ROC)曲線如第十九圖所述。
上述第三圖之200~240以及步驟、機器學習、深度學習..等演算法,可以透過電腦的運算來執行。經實驗結果驗證,本發明配合上述數位全像裝置與方法所取得的瑕疵檢測,可以成功檢測透明基板上之多種瑕疵,諸如刮痕、水漬與灰塵等,並達到多種瑕疵的偵測和分類之準確率各為96%和97%,甚至更高。
除描述於此之外,可藉由敘述於本發明中之實施例及實施方式所達成之不同改良方式,皆應涵蓋於本發明之範疇中。因此,揭露於此之圖式及範例皆用以說明而非用以限制本發明,本發明之保護範疇僅應以列於其後之申請專利範圍為主。
Claims (10)
- 一種透過瑕疵複數光場之透明基板瑕疵檢測方法,包括:利用一波前重建單元,取得一透明基板之瑕疵複數光場;利用一瑕疵繞射模組,確認該瑕疵複數光場之有效的繞射範圍;利用一瑕疵偵測模組,偵測該透明基板之瑕疵所在的位置;以及利用一瑕疵分類模組,執行該瑕疵複數光場之繞射特徵之擷取、分析與分類,並分辨瑕疵之種類;其中該瑕疵繞射模組、該瑕疵偵測模組以及該瑕疵分頻模組係透過電腦的運算來執行。
- 如請求項1所述之透過瑕疵複數光場之透明基板瑕疵檢測方法,更包含利用該瑕疵繞射模組,取得該瑕疵複數光場之繞射傳播的最小繞射間距與最遠繞射距離,以重建不同縱向位置的瑕疵複數影像,實現資料擴增機器學習或深度學習演算法所需之瑕疵複數影像資料庫。
- 如請求項1所述之透過瑕疵複數光場之透明基板瑕疵檢測方法,其中該瑕疵偵測模組包含自動對焦演算法,以確定該透明基板之該瑕疵所在的位置。
- 如請求項1所述之透過瑕疵複數光場之透明基板瑕疵檢測方法,其中該瑕疵分類模組包含機器學習或深度學習演算法,實現自動化瑕疵辨識。
- 如請求項4所述之透過瑕疵複數光場之透明基板瑕疵檢測方法,其中該機器學習演算法包含區域分割演算法與型態學操作來執行該透明基板之該瑕疵之橫向位置偵測。
- 如請求項4所述之透過瑕疵複數光場之透明基板瑕疵檢測方法,其中該機器學習演算法包含該特徵擷取與分類步驟,以利於該自動化瑕疵辨識。
- 如請求項4所述之透過瑕疵複數光場之透明基板瑕疵檢測方法,更包含提供至少一瑕疵複數影像資料庫中之影像至該機器學習或深度學習演算法。
- 如請求項4所述之透過瑕疵複數光場之透明基板瑕疵檢測方法,其中該深度學習演算法更包含一物件偵測以及一訓練與測試程序,以進行該透明基板瑕疵之辨識。
- 如請求項8所述之透過瑕疵複數光場之透明基板瑕疵檢測方法,其中該深度學習演算法更包含至少一摺積神經網路與至少一分類器,以分析所偵測之該透明基板瑕疵區域。
- 如請求項1所述之透過瑕疵複數光場之透明基板瑕疵檢測方法,其中該透明基板包含玻璃基板、藍寶石基板、透明陶瓷基板、高分子透明基板、具高穿透率光學基板或透明薄膜。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107109876A TWI664586B (zh) | 2018-03-22 | 2018-03-22 | 透過瑕疵複數光場之透明基板瑕疵檢測方法 |
US16/360,788 US10983478B2 (en) | 2018-03-22 | 2019-03-21 | Complex defect diffraction model and method for defect inspection of transparent substrate |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107109876A TWI664586B (zh) | 2018-03-22 | 2018-03-22 | 透過瑕疵複數光場之透明基板瑕疵檢測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI664586B true TWI664586B (zh) | 2019-07-01 |
TW201941114A TW201941114A (zh) | 2019-10-16 |
Family
ID=67984170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107109876A TWI664586B (zh) | 2018-03-22 | 2018-03-22 | 透過瑕疵複數光場之透明基板瑕疵檢測方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10983478B2 (zh) |
TW (1) | TWI664586B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210027444A1 (en) * | 2019-07-23 | 2021-01-28 | Wistron Corp. | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof |
TWI749524B (zh) * | 2019-07-23 | 2021-12-11 | 緯創資通股份有限公司 | 影像辨識裝置、影像辨識方法及其電腦程式產品 |
TWI765442B (zh) * | 2019-12-31 | 2022-05-21 | 大陸商鄭州富聯智能工坊有限公司 | 瑕疵等級判定的方法及存儲介質 |
US11455490B2 (en) | 2019-07-23 | 2022-09-27 | Wistron Corp. | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof |
US11521015B2 (en) | 2019-07-23 | 2022-12-06 | Wistron Corp. | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10607064B2 (en) * | 2018-05-21 | 2020-03-31 | Himax Technologies Limited | Optical projection system and optical projection method |
DE102018213056A1 (de) * | 2018-08-03 | 2020-02-06 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ermitteln einer Erklärungskarte |
GB2583509B (en) * | 2019-05-01 | 2023-02-22 | Advanced Risc Mach Ltd | System and method for fault detection and correction |
CN110907473B (zh) * | 2019-11-29 | 2023-04-07 | 上海科世达-华阳汽车电器有限公司 | 光伏组件的检修方法、装置、设备以及存储介质 |
WO2021136631A1 (en) * | 2019-12-31 | 2021-07-08 | Asml Holding N.V. | Contaminant detection metrology system, lithographic apparatus, and methods thereof |
CN111311493A (zh) * | 2020-02-13 | 2020-06-19 | 河北工程大学 | 一种基于深度学习的数字全息图像重建方法 |
TWI732618B (zh) * | 2020-07-02 | 2021-07-01 | 撼訊科技股份有限公司 | 影像辨識方法及其系統 |
TWI770561B (zh) * | 2020-07-22 | 2022-07-11 | 鴻海精密工業股份有限公司 | 產品瑕疵檢測方法、電腦裝置及儲存介質 |
CN113237895B (zh) * | 2021-06-02 | 2024-06-14 | 宝鸡高新智能制造技术有限公司 | 一种基于机器视觉的金属表面缺陷检测系统 |
CN113466338B (zh) * | 2021-07-19 | 2024-02-20 | 中国工程物理研究院计量测试中心 | 一种基于神经网络的塑封电子元器件缺陷识别系统及方法 |
CN115291490B (zh) * | 2022-01-24 | 2023-11-03 | 四川大学 | 基于光学计算的拓展距离全息显示方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI388817B (zh) * | 2008-11-14 | 2013-03-11 | Univ Nat Formosa | Method and device for measuring the defect of the CCD object by the critical angle method |
TWI394946B (zh) * | 2008-09-02 | 2013-05-01 | Univ Nat Formosa | Method and device for measuring object defect |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101241086A (zh) | 2008-03-03 | 2008-08-13 | 中国科学院光电技术研究所 | 一种基于对玻璃材料的气泡、杂质测量的检测仪 |
CN101750422A (zh) | 2010-01-07 | 2010-06-23 | 秦皇岛凯维科技有限公司 | 一种玻璃缺陷的在线自动检测装置 |
CN102305798B (zh) | 2011-08-02 | 2013-05-22 | 上海交通大学 | 基于机器视觉的玻璃缺陷的检测与分类方法 |
TWI512284B (zh) | 2013-10-29 | 2015-12-11 | Univ Nat Kaohsiung Applied Sci | 玻璃氣泡瑕疵檢測系統 |
US9613294B2 (en) * | 2015-03-19 | 2017-04-04 | Intel Corporation | Control of computer vision pre-processing based on image matching using structural similarity |
US10288408B2 (en) * | 2016-12-01 | 2019-05-14 | Nanometrics Incorporated | Scanning white-light interferometry system for characterization of patterned semiconductor features |
-
2018
- 2018-03-22 TW TW107109876A patent/TWI664586B/zh active
-
2019
- 2019-03-21 US US16/360,788 patent/US10983478B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI394946B (zh) * | 2008-09-02 | 2013-05-01 | Univ Nat Formosa | Method and device for measuring object defect |
TWI388817B (zh) * | 2008-11-14 | 2013-03-11 | Univ Nat Formosa | Method and device for measuring the defect of the CCD object by the critical angle method |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210027444A1 (en) * | 2019-07-23 | 2021-01-28 | Wistron Corp. | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof |
TWI749524B (zh) * | 2019-07-23 | 2021-12-11 | 緯創資通股份有限公司 | 影像辨識裝置、影像辨識方法及其電腦程式產品 |
US11423531B2 (en) | 2019-07-23 | 2022-08-23 | Wistron Corp. | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof |
US11455490B2 (en) | 2019-07-23 | 2022-09-27 | Wistron Corp. | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof |
US11521015B2 (en) | 2019-07-23 | 2022-12-06 | Wistron Corp. | Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof |
TWI765442B (zh) * | 2019-12-31 | 2022-05-21 | 大陸商鄭州富聯智能工坊有限公司 | 瑕疵等級判定的方法及存儲介質 |
Also Published As
Publication number | Publication date |
---|---|
TW201941114A (zh) | 2019-10-16 |
US20190294106A1 (en) | 2019-09-26 |
US10983478B2 (en) | 2021-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI664586B (zh) | 透過瑕疵複數光場之透明基板瑕疵檢測方法 | |
TWI644098B (zh) | 透明基板之瑕疵檢測方法與裝置 | |
US11790510B2 (en) | Material testing of optical test pieces | |
US20140268105A1 (en) | Optical defect inspection system | |
US20190318469A1 (en) | Defect detection using coherent light illumination and artificial neural network analysis of speckle patterns | |
US20060273263A1 (en) | Apparatus and method for enhanced critical dimension scatterometry | |
CN108254295B (zh) | 一种定位与表征球形微粒的方法及其装置 | |
Li et al. | Automated discrimination between digs and dust particles on optical surfaces with dark-field scattering microscopy | |
CN107561007B (zh) | 一种薄膜测量装置和方法 | |
US7872741B2 (en) | Method and apparatus for scatterfield microscopical measurement | |
KR20200010461A (ko) | 반사 표면의 곡률을 측정하기 위한 방법 및 관련 광학 디바이스 | |
US20160088213A1 (en) | Inspection apparatus, coordinate detection apparatus, coordinate detection method, and wavefront aberration correction method | |
TW201531798A (zh) | 極紫外光(euv)檢測系統 | |
US20090161117A1 (en) | Inclined exposure lithography system | |
JP6847663B2 (ja) | ウェハ検査のためのロジックの中のパターン抑制 | |
Jung et al. | Multi spectral holographic ellipsometry for a complex 3D nanostructure | |
US10598604B1 (en) | Normal incidence phase-shifted deflectometry sensor, system, and method for inspecting a surface of a specimen | |
Goldfarb et al. | Through-pellicle defect inspection of EUV masks using an ArF-based inspection tool | |
US7738090B1 (en) | Fourier filters, systems for fabricating fourier filters, and systems and methods for inspecting a specimen using fourier filters | |
US12007296B2 (en) | Systems and methods for testing gratings | |
US20230104022A1 (en) | Optical metrology with incoherent holography | |
Bischoff et al. | Scanning wavefront detection coherent Fourier scatterometry (SCFS) | |
Pawlowski et al. | Frequency modulation as a tool to distinguish between particles and stray light during inspection of EUV/DUV reticles | |
US20220390732A1 (en) | Microscope for transmitted light contrasting | |
US20230205095A1 (en) | Method and system for determining one or more dimensions of one or more structures on a sample surface |