TWI843540B - 粗糙表面影像處理方法及包含其的自動光學檢測系統 - Google Patents

粗糙表面影像處理方法及包含其的自動光學檢測系統 Download PDF

Info

Publication number
TWI843540B
TWI843540B TW112115473A TW112115473A TWI843540B TW I843540 B TWI843540 B TW I843540B TW 112115473 A TW112115473 A TW 112115473A TW 112115473 A TW112115473 A TW 112115473A TW I843540 B TWI843540 B TW I843540B
Authority
TW
Taiwan
Prior art keywords
point cloud
rough surface
image
tested
image processing
Prior art date
Application number
TW112115473A
Other languages
English (en)
Inventor
張育誠
曹凱翔
Original Assignee
由田新技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 由田新技股份有限公司 filed Critical 由田新技股份有限公司
Priority to TW112115473A priority Critical patent/TWI843540B/zh
Application granted granted Critical
Publication of TWI843540B publication Critical patent/TWI843540B/zh

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本發明揭示一種粗糙表面影像處理方法,包括以下步驟:建立一待測影像的一梯度資訊;依據梯度資訊對待測影像疊代均值濾波器;於待測影像隨機建構複數個點雲;重複疊代點雲並濾除擴散點雲;以及選取一瑕疵候選位置,當瑕疵候選位置上的點雲集合的聚集密度超過一預設值,將瑕疵候選位置判定為一瑕疵。

Description

粗糙表面影像處理方法及包含其的自動光學檢測系統
本發明係有關於一種影像處理方法及包含其的自動光學檢測系統,特別是指一種適於檢測粗糙表面的影像處理方法及包含其的自動光學檢測系統。
在傳統影像檢測演算法中,為了在待測樣品的影像中檢出瑕疵,一般會通過控制環境光源的類型將影像中的瑕疵顯示出來、或是將影像轉換為灰階後,將原始影像與母片影像(或設計圖檔)進行相減後,通過二值化法獲得影像瑕疵,或者上述的兩種方式一併執行,通過環境光源加強瑕疵特徵後,再與母片影像進行比對以檢出瑕疵。
然而,在待測物有粗糙表面的情況下(例如表面顆粒大、或晶片表面),檢測結果容易受到周圍粗糙表面的影響而造成過檢,使得誤檢率大幅地提升。針對這類問題,過去主流的影像處理方法係通過影像比例的縮放以除去粗糙表面對於瑕疵檢測的影響,但這類解析度的作法,有可能一併將細微的瑕疵除去,反而提升了漏檢率。
本發明的主要目的在於提供一種粗糙表面影像處理方法,包括以下步驟:建立一待測影像的一梯度資訊;依據梯度資訊對待測影像疊代均值濾波器;於待測影像隨機建構複數個點雲;重複疊代點雲並濾除擴散點雲;以及選取一瑕疵候選位置,當瑕疵候選位置上的點雲集合的聚集密度超過一預設值,將瑕疵候選位置判定為一瑕疵。
本發明的另一目的,在於提供一種自動光學檢測系統,包括一檢測平台、至少一影像擷取裝置、以及一檢測裝置。檢測平台用於設置一待測樣品。至少一影像擷取裝置設置於檢測平台一側,用於拍攝檢測平台上的待測樣品。檢測裝置連接至至少一影像擷取裝置,由至少一影像擷取裝置獲得待測樣品的待測影像後,係執行如上所述的方法,以完成瑕疵檢測。
是以,本發明可以有效的解決當待測樣品具有粗糙表面紋理的情況下可能造成過檢的情況,降低瑕疵的誤檢率。本發明可以獲得深而小、淺而大的瑕疵,使得這類的瑕疵在粗糙表面下,可以有效地被找出。
有關本發明之詳細說明及技術內容,現就配合圖式說明如下。於本發明中所述的「一側」,具體可以是在所對應物件的上側、下側、左側、右側、前側、後側、或是設置於所述物件任意相鄰位置上、或是直接或間接連接於所述物件等,於本發明中不予以限制。
以下針對本發明的其中一實施例進行說明,關於本發明的硬體設備,請一併參閱「圖1」,係為本發明自動光學檢測系統的方塊示意圖,如圖所示:本實施例揭示一種自動光學檢測系統100,包括檢測平台10、對應於檢測平台10設置的影像擷取裝置20、對應於檢測平台10設置的輔助光源裝置30,用以對待測樣品WP提供輔助照明、電性連接或耦接至影像擷取裝置20的檢測裝置40。
所述的檢測平台10用於設置待測樣品WP。於一實施例中,檢測平台10可以單純為一設置平台,用於擺設待測樣品WP以供影像擷取裝置20進行拍攝;於另一實施例中,檢測平台10可以是真空吸附平台,用於吸附待測樣品WP並使待測樣品WP整平,以供影像擷取裝置20拍攝整平後的待測樣品WP;於另一實施例中,檢測平台10例如可以是但不限定於線性載台、輸送履帶、或是移載裝置,通過將待測樣品WP移動至影像擷取裝置20的拍攝範圍內並對待測樣品WP進行拍攝,該等實施例的變化,非屬本發明所欲限制的範圍。
所述的影像擷取裝置20設置於檢測平台10一側,用於拍攝檢測平台10上的待測樣品WP,以取得待測影像。於一實施例中,影像擷取裝置10例如可以是但不限定於面掃描攝影機(Area Scan Camera)或線掃描攝影機(Line Scan Camera),於本發明中不予以限制。所述的待測樣品WP可以是任意的物件,例如面板、電路板、或任意工件,於本發明中不予以限制。於一較佳實施例中,所述的待測樣品具有高度重複性的粗糙表面,所述的粗糙表面例如木質紋理、石質紋理、水波紋理、皮革紋理、布質紋理、麻料紋理、鱗片紋理、樹皮紋理、或其他類此具備類似紋理的工件,於本發明中不予以限制。
所述的輔助光源裝置30設置於檢測平台10任意一側,用以對待測樣品WP提供輔助照明。於一實施例中,輔助光源裝置30例如可以是但不限定於提供背光源、環境光源、環形光源、側向光源、同軸光源、或是平行光源等,於本發明中不予以限制。基於光的頻譜差異,輔助光源裝置30例如可以是但不限定於白光光源、紅光光源、綠光光源、藍光光源、激發光源、或其他的照明光源,於本發明中不予以限制。
所述的檢測裝置40連接或耦接至影像擷取裝置20獲得待測樣品WP的待測影像後,對待測影像進行瑕疵檢測。於一實施例中,檢測裝置40係直接連接至影像擷取裝置20,於影像擷取裝置20拍攝待測樣品WP並進行預處理後,將待測影像通過實體線或無線直接傳送至檢測裝置40;於另一實施例中,影像擷取裝置20可以連接至集中影像儲存設備(例如儲存影像用的伺服器),檢測裝置40再連接至集中影像儲存設備存取待測影像後進行瑕疵分析,該等實施例的變化於本發明中不予以限制。
於一實施例中,檢測裝置40包含有處理器41、以及連接於處理器41的儲存單元42。處理器41可以用以載入儲存單元42,以執行儲存單元42內所儲存的程式。於另一實施例中,處理器41以及儲存單元42可共同構成一電腦或處理器,例如是個人電腦、工作站、主機電腦或其他型式之電腦或處理器,在此並不限制其種類。於一實施例中,處理器41可耦接於儲存單元42。處理器41例如是中央處理器(Central Processing Unit, CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor, DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits, ASIC)、可程式化邏輯裝置(Programmable Logic Device, PLD)或其他類似裝置或這些裝置的組合。
關於瑕疵檢測的詳細流程,以下請參閱「圖2」,係為本發明中粗糙表面影像處理方法的流程示意圖,關於影像處理的步驟,為明確表示,將輔以「圖3」至「圖5」進行說明,分別為待測影像示意圖、梯度遮罩的示意圖以及待測影像的影像處理示意圖(一),如圖所示:本實施例中所揭示的粗糙表面影像處理方法主要包括以下步驟。
步驟S01:建立待測影像的梯度資訊。待測影像GF如圖3所示,其中,所述的梯度資訊係指待測影像GF的灰階梯度(Gray-scale gradient),灰度梯度是指在一幅灰度圖像中,像素值的變化程度。於一實施例中,檢測裝置40可以利用不同梯度遮罩來建立待測影像GF的梯度資訊。於一實施例中,是利用水平x方向及垂直y方向的兩遮罩去建立梯度資訊。所述的遮罩如「圖4」所示,圖4(a)中的Gx為水平方向梯度遮罩、圖4(b)中的Gy為垂直方向梯度遮罩。
接續,步驟S02:檢測裝置依據梯度資訊對待測影像疊代均值濾波器。通過疊代均值濾波器修正梯度資訊,藉以使待測影像GF中的高強度梯度擴散。所述的「均值濾波器」(Mean filter)係用於將每個像素周圍的像素取平均值來代替原本像素的值,從而使得梯度擴散,進一步讓影像中的梯度平滑化。所述均值濾波器的疊代次數係依據個別影像的狀態而定(例如像素精度、細節複雜度等),於本發明中不予以限制。
接續,步驟S03:於待測影像隨機建構複數個點雲。點雲DC的起始位置可以是等距配置於待測影像GF上(如圖5所示)、可以是依據待測影像GF的特徵(例如優先設置於待測影像GF中的高梯度區)進行配置、亦可以是依據工程師或電腦依據工件的特徵統一化的進行配置、或其他任意的方式,於本發明中不予以限制。點雲DC的建構密度主要是取決於系統的運算能力,依據運算效能決定點雲DC的分布密度;在運算能力足夠的情況下,於一實施例中,點雲DC建構在待測影像GF所有的像素座標上,即每一待測影像GF的像素點分別對應至一個點雲DC,藉此提升檢測的細緻度。
接續,步驟S04:重複疊代點雲。具體而言,重複疊代每一點雲DC後,多數點雲DC依據梯度資訊的速度及加速度,將會慣性的移動至待測影像GF中的梯度相對低勢區,使得多數點雲DC在可能為瑕疵的區域聚集(即瑕疵候選區)。
請一併參閱「圖6」,係為本發明中重複疊代點雲方法的流程示意圖。如圖所示:於步驟S04中,「重複疊代點雲」的方法主要包括以下步驟:利用每一點雲DC對應的梯度資訊計算速度、加速度、及切線速度(步驟S41);使用速度、加速度和切線速度來更新每一點雲DC的位置(步驟S42);以及重複執行上述方法直到達成預設條件為止(步驟S43)。
具體而言,假定每一點雲DC往梯度低勢區流動,除了速度及加速度外,尚必須考慮梯度向量的切線方向上產生的渦旋力。以下輔以「圖7」至「圖8」進行說明,分別為待測影像的影像處理示意圖(一)及影像處理示意圖(二),首先,如圖7所示,每一點雲DC依據下面的算式更新移動到瑕疵候選位置: ; 其中, 是每一點雲DC在時間 t 的位置, 是每一點雲DC在時間 t+1 的位置, 是位置 的速度值, 是切線速度值, 為控制參數。
其中,速度值 的算式為: V(X(t))=V 0(X(t))+A(X(t))T;其中,V 0(X(t))是每一點雲DC移動至X(t)的初速度,A(X(t))是每一點雲DC移動至x(t)的加速度。
其中,切線速度值W為速度向量的法向量,亦即切線速度向量與速度向量的內積為0,速度向量以
Figure 112115473-A0305-02-0008-2
表示,切線速度向量以
Figure 112115473-A0305-02-0008-3
表示,則切線速度向量與速度向量可以以下列算式表示:
Figure 112115473-A0305-02-0008-4
基於上述的算式,可以由速度向量
Figure 112115473-A0305-02-0008-5
獲得切線速度向量
Figure 112115473-A0305-02-0008-6
,並由切線速度向量
Figure 112115473-A0305-02-0008-7
獲得切線速度值W。
通過上述的方式,重複疊代點雲DC後,多數點雲DC將逐漸移動到瑕疵候選位置DF(如圖8所示)。於步驟S43中,決定疊代次數的「預設條件」主要取決於點雲DC於瑕疵候選位置DF上能否收斂。於其中一實施例中,使用者可以依據測試結果或經驗預先設定疊代次數,使得當疊代點雲DC的次數達到預設定的疊代次數後,停止進行疊代。具體而言,使用者可以先預設定一個較高的疊代次數(例如一萬次),並觀察點雲DC一般在疊代幾次後完成收斂,在多次測試(例如多個類似工件的待測影像GF)後可以獲得一個合理的疊代次數,並將合理的疊代次數設定為預設條件;於另一實施例中,預設條件例如可以設定為偵測到點雲DC經疊代後不再移動,或是持續圍繞在特定的區域範圍內,即停止疊代程序。
接續,步驟S05:濾除擴散點雲。所述的「擴散點雲DD」係指在梯度強度高位置未進行聚集的點雲DC,例如可以在選定的點雲DC上設定一個搜索半徑,當搜索半徑內沒有來自四方的點雲,判定為擴散點雲DD。來自四方的點雲定義為,初始位置以及最終疊代位置方向, 分割成四個方向,可以為上下左右,但不以此為限。如果點雲DC聚集都來自一個方向,就會被辨別為擴散點雲DD、或者在其周圍的其他點雲DC數量低於閾值時,判定其為擴散點雲DD。
最後,步驟S06:選取瑕疵候選位置上點雲集合的聚集密度超過預設值,將其判定為瑕疵。具體而言,可以將點雲DC密集度進行量化,以通過將量化數值與閾值進行比對,以確認點雲DC的聚集密度。於一實施例中,可以通過點雲DC集合的面積及其涵蓋的數量比值作為聚集密度,以評估點雲DC的聚集密度。於另一實施例中,可以在選定的點雲DC定義一個搜索半徑,並於搜索半徑中找到是否有另一個點雲DC,並於另一個點雲DC再通過搜索半徑再找尋其他點雲DC,最終計算所能找到的點雲DC進而由所獲得的點雲DC數量評估聚集密度,偵測到的聚集密度大於預設值,判定鄰近點雲DC集合覆蓋的區域為瑕疵區域。
綜上所述,本發明可以有效的解決當待測樣品具有粗糙表面紋理的情況下可能造成過檢的情況,降低瑕疵的誤檢率。本發明可以獲得深而小、淺而大的瑕疵,使得這類的瑕疵在粗糙表面下,可以有效地被找出。
以上已將本發明做一詳細說明,惟以上所述者,僅為本發明其中一較佳實施例,當不能以此限定本發明實施之範圍,即凡依本發明申請專利範圍所作之均等變化與修飾,皆應仍屬本發明之專利涵蓋範圍內。
100:自動光學檢測系統
10:檢測平台
20:影像擷取裝置
30:輔助光源裝置
40:檢測裝置
41:處理器
42:儲存單元
WP:待測樣品
GF:待測影像
DC:點雲
DD:擴散點雲
DF:瑕疵候選位置
步驟S01~步驟S06
步驟S41~步驟S43
圖1,為本發明自動光學檢測系統的方塊示意圖。
圖2,本發明中粗糙表面影像處理方法的流程示意圖。
圖3,為本發明中待測影像的示意圖。
圖4,為本發明中梯度遮罩的示意圖。
圖5,為本發明中待測影像的影像處理示意圖(一)。
圖6,為本發明中重複疊代點雲方法的流程示意圖。
圖7,為本發明中待測影像的影像處理示意圖(二)。
圖8,為本發明中待測影像的影像處理示意圖(三)。
步驟S01~步驟S06

Claims (10)

  1. 一種粗糙表面影像處理方法,包含以下步驟: 建立一待測影像的一梯度資訊; 依據該梯度資訊對該待測影像疊代均值濾波器; 於該待測影像隨機建構複數個點雲; 重複疊代該些點雲並濾除擴散點雲;以及 選取一瑕疵候選位置,當該瑕疵候選位置上的該些點雲集合的聚集密度超過一預設值,將該瑕疵候選位置判定為一瑕疵。
  2. 如請求項1所述的粗糙表面影像處理方法,其中,係利用梯度遮罩建立該待測影像的該梯度資訊。
  3. 如請求項1所述的粗糙表面影像處理方法,其中,該些點雲係分別建構在該待測影像所有的像素座標。
  4. 如請求項1所述的粗糙表面影像處理方法,其中,重複疊代該些點雲的方法包括: 利用每一該點雲中對應的該梯度資訊計算一速度、一加速度、及一切線速度; 使用該速度、該加速度和該切線速度來更新該點雲的位置;以及 重複執行上述步驟直到達成一預設條件為止。
  5. 如請求項4所述的粗糙表面影像處理方法,其中,該預設條件包括達到預設定的一疊代次數或該點雲於該瑕疵候選位置上收斂。
  6. 如請求項1所述的粗糙表面影像處理方法,其中,每一該點雲依據下面的算式更新移動到該瑕疵候選位置: ; 其中, 是該點雲在時間t的位置, 是該點雲在時間t+1的位置, 是位置 的速度值, 是切線速度值, 為控制參數。
  7. 如請求項6所述的粗糙表面影像處理方法,其中,該速度值 的算式為: ; 其中, 是該點雲移動至 的初速度, 是該點雲移動至 的加速度。
  8. 如請求項6所述的粗糙表面影像處理方法,其中,該切線速度值 由速度向量的法向量所獲得。
  9. 一種自動光學檢測系統,包含; 一檢測平台,用於設置一待測樣品; 至少一影像擷取裝置,設置於該檢測平台一側,用於拍攝該檢測平台上的該待測樣品;以及 一檢測裝置,連接至該至少一影像擷取裝置,由該至少一影像擷取裝置獲得該待測樣品的一待測影像後,係執行如請求項1~8中任一項所述的方法,以完成瑕疵檢測。
  10. 如請求項9所述的自動光學檢測系統,更進一步包括一設置於該檢測平台任意一側的輔助光源裝置,用以對該待測樣品提供輔助照明。
TW112115473A 2023-04-26 2023-04-26 粗糙表面影像處理方法及包含其的自動光學檢測系統 TWI843540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW112115473A TWI843540B (zh) 2023-04-26 2023-04-26 粗糙表面影像處理方法及包含其的自動光學檢測系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW112115473A TWI843540B (zh) 2023-04-26 2023-04-26 粗糙表面影像處理方法及包含其的自動光學檢測系統

Publications (1)

Publication Number Publication Date
TWI843540B true TWI843540B (zh) 2024-05-21

Family

ID=92077215

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112115473A TWI843540B (zh) 2023-04-26 2023-04-26 粗糙表面影像處理方法及包含其的自動光學檢測系統

Country Status (1)

Country Link
TW (1) TWI843540B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW202016504A (zh) * 2018-10-17 2020-05-01 所羅門股份有限公司 檢測與標記瑕疵的方法
CN211205211U (zh) * 2020-01-13 2020-08-07 黑龙江省科学院智能制造研究所 一种基于激光三角法的猎弹轮廓缺陷检测装置
JP2022509732A (ja) * 2018-10-12 2022-01-24 エレクトリック パワー リサーチ インスチテュート インコーポレイテッド 光学歪曲媒体内の表面特性を測定する方法
CN114279361A (zh) * 2021-12-27 2022-04-05 哈尔滨工业大学芜湖机器人产业技术研究院 一种筒形零件内壁缺陷尺寸三维测量系统及其测量方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022509732A (ja) * 2018-10-12 2022-01-24 エレクトリック パワー リサーチ インスチテュート インコーポレイテッド 光学歪曲媒体内の表面特性を測定する方法
TW202016504A (zh) * 2018-10-17 2020-05-01 所羅門股份有限公司 檢測與標記瑕疵的方法
CN211205211U (zh) * 2020-01-13 2020-08-07 黑龙江省科学院智能制造研究所 一种基于激光三角法的猎弹轮廓缺陷检测装置
CN114279361A (zh) * 2021-12-27 2022-04-05 哈尔滨工业大学芜湖机器人产业技术研究院 一种筒形零件内壁缺陷尺寸三维测量系统及其测量方法

Similar Documents

Publication Publication Date Title
KR102536011B1 (ko) 심층적으로 적층된 층들을 갖는 웨이퍼들에서 결함 분류기를 트레이닝하고 적용하기 위한 시스템, 방법
CN110658198B (zh) 光学检测方法、光学检测装置及光学检测系统
CN109781733A (zh) 缺陷检查装置、缺陷检查方法及计算机可读存储介质
KR102110634B1 (ko) 자유형의 주의 영역들을 사용한 웨이퍼 검사
CN115020267B (zh) 一种半导体表面缺陷检测方法
US8699784B2 (en) Inspection recipe generation and inspection based on an inspection recipe
TWI778078B (zh) 用於自動缺陷分類之方法及系統以及相關非暫時性電腦程式產品
JP2017049974A (ja) 識別器生成装置、良否判定方法、およびプログラム
CN112858318B (zh) 屏幕异物缺陷与灰尘的区分方法、电子设备及存储介质
TW201435330A (zh) 偵測晶圓上之缺陷
JP2010520622A (ja) ウェーハ上に形成されたアレイ領域のための検査領域のエッジを正確に識別する方法、及び、ウェーハ上に形成されたアレイ領域に検知された欠陥をビニングする方法
WO2020105319A1 (ja) 欠陥検査装置、欠陥検査方法
WO2021135045A1 (zh) 一种晶圆检测装置、数据处理方法及存储介质
WO2017071406A1 (zh) 金针类元件的引脚检测方法和系统
JP2006284471A (ja) パターン検査方法及びパターン検査装置並びにパターン検査用プログラム
CN117392112A (zh) 一种晶圆表面缺陷的检测方法、装置及系统
TW201516397A (zh) 玻璃氣泡瑕疵檢測系統
TWI843540B (zh) 粗糙表面影像處理方法及包含其的自動光學檢測系統
JP2001209798A (ja) 外観検査方法及び検査装置
JP2020112483A (ja) 外観検査システム、計算モデル構築方法及び計算モデル構築プログラム
JP2009139133A (ja) 欠陥検出方法および欠陥検出装置
KR20150068884A (ko) 반도체 검사 방법, 반도체 검사 장치 및 반도체 제조 방법
TW202038192A (zh) 藉由將光學信號擬合至一點擴散函數之缺陷分類
TWI747257B (zh) 一種檢查鏤空晶圓的方法
JP2003329428A (ja) 表面検査装置及び表面検査方法