TW202225672A

TW202225672A - 影像辨識系統及方法

Info

Publication number: TW202225672A
Application number: TW109145185A
Authority: TW
Inventors: 張佑榕; 蕭士勛; 劉依帆
Original assignee: 日月光半導體製造股份有限公司
Priority date: 2020-12-18
Filing date: 2020-12-18
Publication date: 2022-07-01
Also published as: TWI773035B

Abstract

本揭露之一實施例係關於一種影像辨識系統，包括特徵模組及擬合模組。該特徵模組經配置以提取產品之第一影像之參數。該擬合模組經配置以將該參數套用至第二影像並產生標準影像。本揭露之另一實施例係關於一種影像辨識方法。

Description

影像辨識系統及方法

本發明係關於一種影像辨識系統及方法，詳言之係關於產生標準影像以判定瑕疵的系統及方法。

在半導體工業中，為確保所製成的半導體結構的品質，通常會利用光學影像檢測的方式檢查其瑕疵。例如，自動光學檢測(Automated Optical Inspection，AOI)技術以機器視覺進行取像以建立標準樣板。當待測物影像與標準樣板之間的差異超出所設定的閥值時，可判定待測物影像具有瑕疵。

在目前的檢測流程中，由於硬體設備、檢測環境、及產品本身的差異均會影響標準樣板的取像結果，因此針對不同的硬體設備、不同的檢測環境、或不同批次的產品，通常需要花費大量的時間建立不同的標準樣板並設定閥值，而導致檢測效率不佳。此外，不同的標準樣板及閥值造成檢測的標準不一致，可能會導致誤判。

本揭露之一實施例係關於一種影像辨識系統，包括特徵模組及擬合模組。該特徵模組經配置以提取產品之第一影像之參數。該擬合模組經配置以將該參數套用至第二影像並產生標準影像。

本揭露之一實施例係關於一種影像辨識方法，包括提取產品之第一影像之參數及將該參數套用至第二影像並產生標準影像。

參照圖1，圖1所示為根據本揭露之部分實施例之影像辨識系統1之示意圖。影像辨識系統1包含記憶體模組10、樣本模組11、特徵模組12、擬合模組13、辨識模組14。

在一些實施例中，記憶體模組10、樣本模組11、特徵模組12、擬合模組13、及辨識模組14可經整合而由單一個電子裝置實現其所有的功能。在一些實施例中，記憶體模組10、樣本模組11、特徵模組12、擬合模組13、及辨識模組14可分散在若干裝置中，由複數個裝置實現其所有的功能。

在本揭露中使用的用語，例如「系統」、「模組」、及「裝置」，係指涉與電腦或伺服器相關的硬體、軟體、韌體、或該者之任意組合。例如，影像辨識系統1可包括執行在電腦上的軟體、執行該軟體的電腦、或軟體及電腦兩者。例如，記憶體模組10、樣本模組11、特徵模組12、擬合模組13、及辨識模組14可包括執行在電腦上的軟體、執行該軟體的電腦、或軟體及電腦兩者。在一些實施例中，電腦及伺服器可具有一或更多的處理器且經配置以執行儲存於記憶體(可為記憶體模組10以外的記憶體)中的電腦可執行指令，而處理器可包括應用電子訊號執行邏輯操作的電子積體電路。

根據本揭露之部分實施例，影像辨識系統1可應用於檢測待測物(在本揭露中亦可稱為產品)之瑕疵。根據本揭露之部分實施例，前述待測物可包括例如(但不限於)晶圓、基板、印刷電路板(Printed circuit board，PCB)、主機板(Motherboard)、封裝結構、電子元件、及前述構造之內層。前述內層可包括例如(但不限於)線路層、阻焊層、字元層、及鑽孔層。根據本揭露之部分實施例，影像辨識系統1可與各式光學檢測機台一起使用，例如(但不限於)自動光學檢測(Automated Optical Inspection，AOI)機台。根據本揭露之部分實施例，影像辨識系統1可與各式工業相機一起使用，例如(但不限於)彩色相機、灰階相機、面陣(area scan)相機、線陣(line scan)相機、或其他可行的工業相機。根據本揭露之部分實施例，影像辨識系統1可與各式光源一起使用，例如(但不限於)紅光、藍光、紫外光、X-Ray、或其他可行的光源。

影像辨識系統1可產生標準影像以作為判定待測物影像是否具有瑕疵之標準。例如，根據本揭露之部分實施例，樣本模組11可經配置以產生待測物之擬真樣板。擬真樣板可儲存於記憶體模組10中。特徵模組12可經配置以從待測物影像提取影像參數。影像參數及擬真樣板可進一步用於透過擬合模組13產生標準影像。標準影像可進一步用於透過辨識模組14作為判定待測物影像是否具有瑕疵之標準。

參照圖3，圖3所示為根據本揭露之部分實施例之設計檔6a與擬真樣板6b。

樣本模組11可經配置以將待測物之設計檔6a轉換為擬真樣板6b。例如，樣本模組11可經配置以根據待測物之設計檔6a而產生擬真樣板6b。

在一些實施例中，設計檔6a可包括例如(但不限於)Gerber、ODB++、IPC-2581、GDSII、或其他資料轉換格式。在一些實施例中，設計檔6a可具有設計資訊，例如(但不限於)元件座標、元件間距、元件表面材質、元件表面材質紋理、元件尺寸、元件種類、設計線條寬度等。在一些實施例中，設計檔6a之格式可包括向量圖檔格式。在一些實施例中，設計檔6a之解析度可不受其尺寸影響。在一些實施例中，設計檔6a可具有任意的尺寸。在一些實施例中，設計檔6a之尺寸可經調整成與待測物影像之尺寸相等。舉例來說，當設計檔6a之尺寸經調整成與待測物影像之尺寸相等時，從設計檔6a可得到待測物的實際元件座標、實際元件尺寸、及其他設計資訊。

在一些實施例中，擬真樣板6b可具有設計檔6a之設計資訊。在一些實施例中，擬真樣板6b之格式可包括向量圖檔格式。在一些實施例中，擬真樣板6b之解析度可不受其尺寸影響。在一些實施例中，擬真樣板6b之解析度與設計檔之解析度可相等。在一些實施例中，擬真樣板6b可具有任意的尺寸。在一些實施例中，擬真樣板6b之尺寸可經調整成與待測物影像之尺寸相等。舉例來說，當擬真樣板6b之尺寸經調整成與待測物影像之尺寸相等時，從擬真樣板6b可得到待測物的實際元件座標、實際元件尺寸、及其他設計資訊。

在一些實施例中，擬真樣板6b與待測物影像並不相同。例如，擬真樣板6b可由樣本模組11基於待測物之設計檔6a所產生，而待測物影像可由光學檢測機台所拍攝。換句話說，擬真樣板6b可包括經模擬而生成之向量圖，而待測物影像可包括待測物之實際照片(例如(但不限於)上視圖、立體圖、透視圖等)。因此，待測物影像可具有實際拍攝待測物時的影像參數。擬真樣板6b則不具有實際拍攝待測物時的影像參數。

在一些實施例中，針對具有相同設計檔的待測物(例如(但不限於)根據相同設計檔產生的同一批待測物)，可使用相同的擬真樣板。例如，樣本模組11所產生的擬真樣板可經儲存於記憶體模組10中，有相同的擬真樣板可使用時，無須再產生一次擬真樣板，有助於提高檢測之效率。

參照圖4，圖4所示為根據本揭露之部分實施例之標準影像6c與待測物影像6d。

擬合模組13可經配置以將特徵模組12從待測物影像6d所提取之影像參數套用(或擬合)至擬真樣板6b(可得自樣本模組11或記憶體模組10)，以產生標準影像6c。

如前述，擬真樣板6b可為經模擬而生成之向量圖，而待測物影像6d可為待測物之實際照片(例如(但不限於)上視圖、立體圖、透視圖等)，其具有實際拍攝待測物時的影像參數。透過擬合模組13將影像參數套用至擬真樣板6b，則所產生的標準影像6c亦具有實際拍攝待測物時的影像參數。例如，待測物影像6d具有從右側打光之光源，透過將影像參數套用至擬真樣板6b，使所產生的標準影像6c亦具有從右側打光之光源。

在一些實施例中，影像參數可包括例如(但不限於)亮度、對比度、飽和度、銳度、灰度、解析度、色溫、色階、色階分布、色彩增益、視野範圍、鏡頭畸變量、其他環境資訊、其他硬體設備資訊、及其他與待測物影像相關之參數。

在一些實施例中，標準影像6c可具有設計檔之設計資訊。在一些實施例中，標準影像6c之格式可包括向量圖檔格式。在一些實施例中，標準影像6c之解析度可不受其尺寸影響。在一些實施例中，標準影像6c之解析度與設計檔之解析度可相等。在一些實施例中，標準影像6c可具有任意的尺寸。在一些實施例中，標準影像6c之尺寸可經調整成與待測物影像6d之尺寸相等。舉例來說，當標準影像6c之尺寸經調整成與待測物影像6d之尺寸相等時，從標準影像6c可得到待測物的實際元件座標、實際元件尺寸、及其他設計資訊。

因此，當使用影像辨識系統1所產生的標準影像6c作為判定待測物影像6d是否具有瑕疵之標準時，無須使用量測工具(例如卡尺、雷射測距)輔助定位，且判定標準(例如(但不包括)瑕疵解析度)不受鏡頭倍率與相機解析度等硬體設備的影響，有助於提高檢測之效率、並降低人為檢測之誤差。

此外，由於影像辨識系統1所產生的標準影像6c與待測物影像6d具有相同的影像參數，因此當使用影像辨識系統1所產生的標準影像6c作為判定待測物影像是否具有瑕疵之標準時，判定標準不受影像參數的影響。

例如，影像辨識系統1所產生的標準影像6c無須針對不同的硬體設備、不同的檢測環境、或不同批次的產品設定閥值。此外，由於標準影像之解析度可不受其尺寸影響，故瑕疵之標準可設定為像素數目。因此，影像辨識系統1有助於提高檢測之效率、並降低人為檢測之誤差。

在一些實施例中，擬合模組13可透過直方圖匹配的方式將影像參數套用或映射至擬真樣板以產生標準影像。例如圖5所示，擬合模組13可提取擬真樣板在一通道(例如紅色通道、綠色通道、及藍色通道中之任一者)下之灰度(灰階)累積分布函數(Cumulative Distribution Function，CDF)(左側的CDF)與待測物影像在一通道下之灰度CDF(右側的CDF)。CDF的X軸代表影像在一通道下的灰度值，Y軸代表灰度之累積分布值。擬合模組13可基於待測物影像之灰度CDF，調整擬真樣板之灰度，使得擬真樣板之灰度CDF與待測物影像之灰度CDF相等，以達到近似的成像效果。例如，待測物影像之累積分布值80%對應到灰度值25，擬真樣板之累積分布值80%對應到灰度值125，則擬合模組13可將擬真樣板之灰度值125擬合至灰度值25。

參照圖6，圖6所示為根據本揭露之部分實施例之影像辨識方法中之一或更多步驟之示意圖7a、7b、7c。

例如，在一些實施例中，辨識模組14可經配置以比較標準影像之像素灰度(例如圖6之示意圖7a的數字代表像素灰度)與待測物影像之像素灰度(例如圖6之示意圖7b的數字代表像素灰度)。圖6之示意圖7c描繪標準影像之各個像素與待測物影像之相對應像素的灰度差值之絕對值。例如圖6之示意圖7a右下角的像素灰度為154，示意圖7b右下角的相對應的像素灰度為224，示意圖7c右下角的兩者灰度差值之絕對值為70。

在一些實施例中，辨識模組14可經配置以標示出灰度差值之絕對值超出閥值的像素。例如，若灰度差值之絕對值的閥值設定為30，則辨識模組14可標示出灰度差值之絕對值超出30的像素，例如在圖6之示意圖7c中經框起的七個連續像素與三個連續像素。

在一些實施例中，若經標示的連續像素數量大於預定值，則辨識模組14可經配置以判定待測物具有瑕疵。例如，若連續像素數量預定值為6個像素，則經標示的七個連續像素的位置為瑕疵位置，而經標示的三個連續像素的位置非為瑕疵位置。

在其他瑕疵(例如(但不限於)銅缺口、銅破損、銅刮傷、及銅汙染)而產生的差異中，辨識模組14亦可經配置以連續像素數量作為瑕疵判斷的標準。

參照圖7，圖7所示為根據本揭露之部分實施例之影像辨識方法中之一或更多步驟之示意圖7d、7e。

辨識模組14可經配置以比較標準影像之像素與待測物影像之相對應像素。示意圖7d描繪標準影像之各個像素，示意圖7e描繪待測物影像之各個像素。辨識模組14可標示出待測物影像中具有差異的像素，例如在示意圖7e中經框起的三個連續像素。若經標示的連續像素數量大於預定值，則辨識模組14可經配置以判定待測物具有瑕疵。例如，若預定值為連續6個像素，則經標示的三個連續像素的位置非為瑕疵位置。

圖2所示為根據本揭露之部分實施例之影像辨識方法2之流程圖2。在一些實施例中，影像辨識方法2可經由影像辨識系統1而實現。

在步驟20，影像辨識方法2可接收待測物之設計檔。在步驟21，影像辨識方法2可產生待測物之擬真樣板。例如前揭段落中參照圖1及圖3所述，樣本模組11可經配置以將待測物之設計檔6a轉換為擬真樣板6b。

在步驟22，影像辨識方法2可提取待測物影像之影像參數。在步驟23，影像辨識方法2可產生標準影像。例如前揭段落中參照圖1、圖4、及圖5所述，擬合模組13可經配置以將特徵模組12所提取之影像參數套用(或擬合)至擬真樣板6b(可得自樣本模組11或記憶體模組10)，以產生標準影像6c。

在步驟24，影像辨識方法2可比較待測物影像與標準影像。例如前揭段落中參照圖1、圖6、及圖7所述，辨識模組14可經配置以比較標準影像之像素與待測物影像之相對應像素。辨識模組14可標示出待測物影像中具有差異的像素。

在步驟25，影像辨識方法2可判定待測物影像是否具有瑕疵。例如，前揭段落中參照圖1、圖6、及圖7所述，若經標示的連續像素數量大於預定值，則辨識模組14可經配置以判定待測物具有瑕疵。

將瞭解，本文討論之系統及方法之實施例不限於文中所述或圖中所繪之構造及/或配置之細節，而係可以各種方式實踐或執行。本文中的特定實施例僅屬例示性且不意在限制本發明。

此外，在本文中使用之措辭及術語僅屬例示性且不意在限制本發明。單數形式或複數形式僅屬例示性且不意在限制本發明之系統或方法、其等元件、組件、或步驟。本文中「包含」、「包括」、「具有」、「含有」、「涉及」及其他類似的用語涵蓋在其後列出之項目、等效物、及額外項目。「或」及其他類似的用語可視為指示所描述之項目之之任一者。

1:影像辨識系統 2:影像辨識方法 10:記憶體模組 11:樣本模組 12:特徵模組 13:擬合模組 14:辨識模組 20:步驟 21:步驟 22:步驟 23:步驟 24:步驟 25:步驟 6a:設計檔 6b:擬真樣板 6c:標準影像 7a:待測物影像 7b:示意圖 7c:示意圖 7d:示意圖 7e:示意圖

在下文中參考圖式討論實施例之各種態樣，該等圖式並非按比例繪製，且該等圖式僅為例示，並未限制本發明之範疇。在圖式及說明書中使用的元件符號僅為例示，並未限制本發明之範疇。相同或相似的元件以相同的元件符號表示，其中：

圖1所示為根據本揭露之部分實施例之影像辨識系統之示意圖；

圖2所示為根據本揭露之部分實施例之影像辨識方法之流程圖；

圖3所示為根據本揭露之部分實施例之設計檔與擬真樣板；

圖4所示為根據本揭露之部分實施例之標準影像與待測物影像；

圖5所示為根據本揭露之部分實施例之影像辨識方法中之一或更多步驟之示意圖；

圖6所示為根據本揭露之部分實施例之影像辨識方法中之一或更多步驟之示意圖；及

圖7所示為根據本揭露之部分實施例之影像辨識方法中之一或更多步驟之示意圖。

(無)

1:影像辨識系統

10:記憶體模組

11:樣本模組

12:特徵模組

13:擬合模組

14:辨識模組

Claims

一種影像辨識系統，包含：一特徵模組，經配置以提取一產品之一第一影像之一參數；及一擬合模組，經配置以將該參數套用至一第二影像並產生一標準影像。
如請求項1所述之影像辨識系統，其進一步包含一樣本模組，經配置以將該產品之一設計檔轉換為該第二影像。
如請求項2所述之影像辨識系統，其中該設計檔包括一向量圖形。
如請求項1所述之影像辨識系統，其中該參數包括該第一影像之一亮度、一對比度、一飽和度、一銳度、一灰度、一解析度、一色溫、一色階、一色階分布、一色彩增益、一視野範圍、一鏡頭畸變量中之至少一者。
如請求項1所述之影像辨識系統，其中該第二影像包括一向量圖形。
如請求項1所述之影像辨識系統，其中該擬合模組進一步經配置以比較該第一影像之灰度累積分佈函數與該第二影像之灰度累積分佈函數。
如請求項6所述之影像辨識系統，其中該擬合模組經配置以調整該第二影像之灰度。
如請求項1所述之影像辨識系統，更包含：一辨識模組，經配置以比較該第一影像之至少一像素之灰度與該標準影像之相對應像素之灰度。
如請求項8所述之影像辨識系統，其中該辨識模組進一步經配置以判定該第一影像之各像素之灰度相較於該標準影像之相對應像素之灰度之差值之絕對值是否超出一閥值。
如請求項9所述之影像辨識系統，其中若該第一影像中超出該閥值之該差值之絕對值的連續像素之數量大於一預定值，則該辨識模組進一步經配置以判定該產品具有瑕疵。
一種影像辨識方法，包含：提取一產品之一第一影像之一參數；及將該參數套用至一第二影像並產生一標準影像。
如請求項11所述之影像辨識方法，更包含：將該產品之一設計檔轉換為該第二影像。
如請求項12所述之影像辨識方法，其中該設計檔包括一向量圖形。
如請求項11所述之影像辨識方法，其中該參數包括該第一影像之一亮度、一對比度、一飽和度、一銳度、一灰度、一解析度、一色溫、一色階、一色階分布、一色彩增益、一視野範圍、一鏡頭畸變量中之至少一者。
如請求項11所述之影像辨識方法，其中該第二影像包括一向量圖形。
如請求項11所述之影像辨識方法，更包含：比較該第一影像之灰度累積分佈函數與該第二影像之灰度累積分佈函數並調整該第二影像之灰度。
如請求項16所述之影像辨識方法，更包含：於一相同累積分布值的條件下，將該第二影像之灰度累積分佈函數對應之灰度值，調整至該第一影像之灰度累積分佈函數之對應之灰度值。
如請求項11所述之影像辨識方法，更包含：比較該第一影像之至少一像素之灰度與該標準影像之相對應像素之灰度。
如請求項18所述之影像辨識方法，更包含：判定該第一影像之各像素之灰度相較於該標準影像之相對應像素之灰度之差值之絕對值是否超出一閥值。
如請求項19所述之影像辨識方法，更包含：若該第一影像中超出該閥值之該差值之絕對值的連續像素之數量大於一預定值，則判定該產品具有瑕疵。