TW202326124A

TW202326124A - 瑕疵檢查方法及系統

Info

Publication number: TW202326124A
Application number: TW110148694A
Authority: TW
Inventors: 林宗賢; 簡福明
Original assignee: 友達光電股份有限公司
Priority date: 2021-12-24
Filing date: 2021-12-24
Publication date: 2023-07-01
Also published as: CN114742817A

Abstract

一種瑕疵檢查方法及系統。中控端裝置自資料庫中取得基板種類以及瑕疵種類，之後再連線至作業端裝置，以擷取對應於基板種類的待處理影像並接收對應於待處理影像的實際座標系統。在中控端裝置中，將待處理影像輸入至與瑕疵種類對應的瑕疵檢測模型，藉此辨識待處理影像的瑕疵位置。透過中控端裝置獲得瑕疵位置於實際座標系統中對應的實際位置，並且傳送實際位置至資料庫。

Description

瑕疵檢查方法及系統

本發明是有關於一種瑕疵檢查機制，且特別是有關於一種用於基板影像的瑕疵檢查方法及系統。

目前基板電壓影像需透過特定軟體（例如高級電壓圖（Advance Voltage Map，AVMap）軟體）進行檢視，而無法直接從自動光學檢測（Automated Optical Inspection，AOI）系統來獲得影像。此外，AVMap軟體也無法直接將基板影像輸出，因此必需以人員手動操作AVMap軟體的方式來尋找線狀電信異常反應（Line Defect）上的瑕疵，再將缺陷座標紀錄至資料庫伺服器。一般而言，人員操作每日平均需花費3小時。隨著產品別越來越多，則人工檢驗的時間會越來越長。在此狀況下，恐導致人員久盯螢幕而損傷眼睛。此外，由於人工判定的標準不一，因此可能導致漏檢的問題。

本發明提供一種瑕疵檢查方法及系統，可經由電腦視覺來自動檢測瑕疵。

本發明的瑕疵檢查方法，包括：透過中控端裝置自資料庫中取得基板種類以及瑕疵種類；由中控端裝置連線至作業端裝置，以擷取對應於基板種類的待處理影像並接收對應於待處理影像的實際座標系統；在中控端裝置中，將待處理影像輸入至與瑕疵種類對應的瑕疵檢測模型，藉此辨識待處理影像的瑕疵位置；透過中控端裝置獲得瑕疵位置於實際座標系統中對應的實際位置；以及透過中控端裝置傳送實際位置至資料庫。

在本發明的一實施例中，在由中控端裝置連線至作業端裝置之後，更包括：由中控端裝置遠端控制作業端裝置顯示對應於基板種類的基板影像，並透過螢幕共享將基板影像顯示於中控端裝置；以及透過中控端裝置對基板影像進行截圖而獲得待處理影像。

在本發明的一實施例中，上述瑕疵檢查方法更包括透過中控端裝置預先訓練瑕疵檢測模型，包括：由中控端裝置收集無瑕疵樣本集以及對應於瑕疵種類的有瑕疵樣本集，無瑕疵樣本集包括無瑕疵的多個第一訓練影像，有瑕疵樣本集包括多個第二訓練影像，每一第二訓練影像中標記有一瑕疵區域；對所述多個第一訓練影像與所述多個第二訓練影像執行影像強化，藉此獲得多個強化影像；以及基於所述多個強化影像來訓練瑕疵檢測模型。

在本發明的一實施例中，基於所述多個強化影像來訓練該瑕疵檢測模型之後，更包括：判斷瑕疵檢測模型的輸出影像的瑕疵位置是否位於走線痕跡上；倘若瑕疵位置不在走線痕跡上，劃分走線區域以包圍走線痕跡並過濾瑕疵位置；以及將走線區域儲存至無瑕疵訓練集，以重新訓練瑕疵檢測模型。

在本發明的一實施例中，基於所述多個強化影像來訓練該瑕疵檢測模型之後，更包括：判斷瑕疵檢測模型的輸出影像的瑕疵位置是否位於走線痕跡上；倘若瑕疵位置位於走線痕跡上，且瑕疵位置位於走線痕跡的兩端至少其中一個，劃分走線區域以包圍走線痕跡並過濾瑕疵位置；以及將走線區域儲存至無瑕疵訓練集，以重新訓練瑕疵檢測模型。

在本發明的一實施例中，基於所述多個強化影像來訓練該瑕疵檢測模型之後，更包括：在判定瑕疵檢測模型的輸出影像的瑕疵位置位於多個走線痕跡的交叉處時，將輸出影像儲存至無瑕疵訓練集，以重新訓練瑕疵檢測模型。

本發明的瑕疵檢查系統，包括：資料庫，儲存多個基板種類以及各基板種類對應的瑕疵種類；作業端裝置；中控端裝置，耦接至資料庫與作業端裝置。中控端裝置經配置以：自資料庫中取得其中一個基板種類以及對應的其中一個瑕疵種類；連線至作業端裝置，以擷取對應於所取得的基板種類的待處理影像並接收對應於待處理影像的實際座標系統；將待處理影像輸入至與所取得的瑕疵種類對應的瑕疵檢測模型，藉此辨識待處理影像的瑕疵位置；獲得瑕疵位置於實際座標系統中對應的實際位置；以及傳送實際位置至資料庫。

基於上述，本揭露利用中控端裝置來擷取作業端裝置的影像，並執行自動化瑕疵偵測，據此，可節省人工尋找瑕疵的時間，並降低人為誤判的機率。

圖1是依照本發明一實施例的瑕疵檢查系統的方塊圖。請參照圖1，瑕疵檢查系統包括中控端裝置110、作業端裝置120以及資料庫130。中控端裝置110耦接至作業端裝置120以及資料庫130。中控端裝置110採用了輸入輸出控制技術、機器學習技術以及電腦視覺（computer vision）技術。中控端裝置110會連動資料庫130，並利用輸入輸出控制技術來進行跨平台的資料傳輸以及遠端控制作業端裝置120，利用機器學習技術來訓練瑕疵檢測模型，並且搭配電腦視覺技術來定位瑕疵位置。

在一實施例中，資料庫130例如是不同於中控端裝置110的獨立電子裝置，可透過有線或無線傳輸方式耦接至中控端裝置110。在另一實施例中，資料庫130也可以是內建於中控端裝置110中，在此並不限定。資料庫130用以儲存產品資料，包括多個基板種類以及各基板種類對應的瑕疵種類等。

作業端裝置120用以執行專門查看基板影像的軟體，例如為AVMap軟體。作業端裝置120可透過有線或無線傳輸方式與中控端裝置110連線。

圖2是依照本發明一實施例的中控端裝置的方塊圖。請參照圖2，中控端裝置110包括處理器210、儲存裝置220、顯示器230以及通訊元件240。處理器210耦接至儲存裝置220、顯示器230以及通訊元件240。

處理器210例如是中央處理單元（Central Processing Unit，CPU）、圖形處理單元（Graphics Processing Unit，GPU），或是其他可程式化之微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置。

儲存裝置220例如是任意型式的固定式或可移動式隨機存取記憶體（Random Access Memory，RAM）、唯讀記憶體（Read-Only Memory，ROM）、快閃記憶體（Flash memory）、硬碟或其他類似裝置或這些裝置的組合。儲存裝置220包括一或多個程式碼片段，上述程式碼片段在被安裝後，會由處理器210來執行。

顯示器230例如為液晶顯示器（Liquid Crystal Display，LCD）、電漿顯示器（Plasma Display）等。

通訊元件240可採用實體傳輸埠或連線晶片來實現。通訊元件240可採用區域網路（Local Area Network，LAN）技術、無線區域網路（Wireless LAN，WLAN）技術或行動通訊技術。區域網路例為乙太網路（Ethernet）。無線區域網路例如為Wi-Fi。行動通訊技術例如為全球行動通訊系統（Global System for Mobile Communications，GSM）、第三代行動通訊技術（third-Generation，3G）、第四代行動通訊技術（fourth-Generation，4G）、第五代行動通訊技術（fifth-Generation，5G）等。

圖3是依照本發明一實施例的瑕疵檢查方法的流程圖。請同時參照圖1～圖3，在步驟S305中，透過中控端裝置110自資料庫130中取得基板種類以及瑕疵種類。中控端裝置110在取得瑕疵種類之後，進一步部署對應於瑕疵種類的瑕疵檢測模型。瑕疵檢測模型可以儲存在資料庫130，也可以儲存在中控端裝置110的儲存裝置220。

由中控端裝置110連線至作業端裝置120，以擷取對應於基板種類的待處理影像並接收對應於待處理影像的實際座標系統。具體而言，中控端裝置110會先透過通訊元件240連線至作業裝置120。並在連線之後，中控端裝置110對作業端裝置120進行遠端控制，使得作業端裝置120顯示對應於所選擇的基板種類的基板影像。接著，透過螢幕共享將基板影像顯示於中控端裝置110的顯示器230中，再透過中控端裝置110的處理器210進行截圖而獲得待處理影像。

接著，在步驟S315中，在中控端裝置110中，將待處理影像輸入至與瑕疵種類對應的瑕疵檢測模型，藉此辨識待處理影像的瑕疵位置。舉例來說，圖4是依照本發明一實施例的已經過辨識的待處理影像的示意圖。請參照圖4，中控端裝置110將待處理影像400輸入至瑕疵檢測模型，便可偵測到位於走線痕跡L上的瑕疵位置D。所述走線痕跡L為線狀電信異常反應。

之後，在步驟S320中，透過中控端裝置110獲得瑕疵位置於實際座標系統中對應的實際位置。由於瑕疵位置是對應於待處理影像而不是原始的基板影像，故，中控端裝置110需要再將瑕疵位置轉換至實際座標系統的實際位置。然後，在步驟S325中，透過中控端裝置110傳送實際位置至資料庫130。據此，後續進行雷射修補時，可參照資料庫130來獲得待修補的位置（瑕疵處的實際位置）以進行修補動作。

在此，中控端裝置110設定為在控制作業端裝置120擷取待處理影像的時候，可一併自作業端裝置120來接收到待處理影像的實際座標系統。然，在另一實施例中，中控端裝置110也可設定為在偵測到瑕疵位置之後，再去向作業端裝置120請求實際座標系統。

而由於不同產品有不同瑕疵，有不同的檢測流程，因此，可由中控端裝置110針對不同的瑕疵種類來預先訓練其對應的瑕疵檢測模型。

具體而言，由中控端裝置110收集無瑕疵樣本集以及對應於瑕疵種類的有瑕疵樣本集。例如，中控端裝置110遠端控制作業端裝置120進行截圖來獲得基板影像的大圖，之後，將大圖切割為多張小圖，並取出具有走線痕跡的小圖來作為訓練影像。而後，手動對這些訓練影像進行標記。即，將無瑕疵的小圖設定為第一訓練影像而儲存至無瑕疵樣本集，將有瑕疵的小圖設定為第二訓練影像並手動在第二訓練影像中標記出瑕疵區域之後，儲存至有瑕疵樣本集。

在獲得無瑕疵樣本集以及有瑕疵樣本集之後，對這些第一訓練影像與第二訓練影像執行影像強化，藉此獲得多個強化影像。接著，基於所述多個強化影像來訓練瑕疵檢測模型。例如，瑕疵檢測模型採用YOLOv4-tiny演算法。YOLOv4-tiny演算法為一種YOLO（You Only Look Once）演算法，其為物件偵測（Object Detection）的重要技術。在訓練完瑕疵檢測模型之後，為了降低過篩率（將無瑕疵判定為有瑕疵的機率），可進一步利用瑕疵位置與走線痕跡來判斷輸出影像是否誤判。

例如，中控端裝置110會進一步判斷瑕疵檢測模型的輸出影像的瑕疵位置是否位於走線痕跡上。倘若瑕疵位置不在走線痕跡上，劃分第一走線區域以包圍走線痕跡並過濾瑕疵位置，並將第一走線區域儲存至無瑕疵訓練集，以重新訓練瑕疵檢測模型。另外，倘若瑕疵位置位於走線痕跡上，且瑕疵位置位於走線痕跡的兩端至少其中一個，中控端裝置110劃分第二走線區域以包圍走線痕跡並過濾瑕疵位置，並將第二走線區域儲存至無瑕疵訓練集，以重新訓練瑕疵檢測模型。再者，在判定瑕疵檢測模型的輸出影像的瑕疵位置位於多個走線痕跡（例如兩條走線痕跡）的交叉處時，中控端裝置110將輸出影像儲存至無瑕疵訓練集，以重新訓練瑕疵檢測模型。

當誤判的影像累積至一定筆數之後，將自動啟動瑕疵檢測模型的重新訓練功能，待新的瑕疵檢測模型產生後將自動替換舊有的瑕疵檢測模型，藉此達到模型更新的目的。

舉例來說，圖5A～圖5C是依照本發明一實施例的誤判的輸出影像的示意圖。在圖5A～圖5C中，輸出影像500A～500C為被誤判為具有瑕疵的三種示例。

在圖5A中，在輸出影像500A中偵測到的瑕疵位置D1並不在走線痕跡L1上，故，在輸出影像500A中劃分走線區域B1以包圍走線痕跡L1並過濾瑕疵位置D1。之後，將輸出影像500A儲存至無瑕疵訓練集，以重新訓練瑕疵檢測模型。

在圖5B中，在輸出影像500B中偵測到瑕疵位置D2。在此，雖瑕疵位置D2於走線痕跡L2上，然，由於瑕疵位置D2位於走線痕跡L2的其中一端，故，在輸出影像500B中劃分走線區域B2以包圍走線痕跡L2並過濾瑕疵位置D2。之後，將輸出影像500B儲存至無瑕疵訓練集，以重新訓練瑕疵檢測模型。

在圖5C中，在輸出影像500C中偵測到瑕疵位置D3。在此，瑕疵位置D3位於走線痕跡L3與走線痕跡L4的交叉處，故，將此輸出影像500C直接儲存至無瑕疵訓練集，以重新訓練瑕疵檢測模型。

綜上所述，本揭露利用中控端裝置從資料庫來取得產品資料，再利用輸入輸出控制技術將產品資料傳送至作業端裝置內，如此完成跨區的資料傳輸。之後，中控端裝置利用輸入輸出控制技術來控制作業端裝置中對應的軟體來檢視一張張的影像，並將影像回傳到中控端裝置，再由電腦視覺來進行瑕疵的辨識和定位，並且把不是目標瑕疵的種類過濾掉。據此，解決了原本作業端系統中的特定軟體無法輸出影像的問題，同時節省人工尋找瑕疵的時間，並降低人為誤判的機率。

110:中控端裝置 120:作業端裝置 130:資料庫 210:處理器 220:儲存裝置 230:顯示器 240:通訊元件 400:待處理影像 500A～500C:輸出影像 B1、B2:走線區域 D、D1～D3:瑕疵位置 L、L1～L4:走線痕跡 S305～S325:瑕疵檢查方法的步驟

圖1是依照本發明一實施例的瑕疵檢查系統的方塊圖。圖2是依照本發明一實施例的中控端裝置的方塊圖。圖3是依照本發明一實施例的瑕疵檢查方法的流程圖。圖4是依照本發明一實施例的已經過辨識的待處理影像的示意圖。圖5A～圖5C是依照本發明一實施例的誤判的輸出影像的示意圖。

S305~S325:瑕疵檢查方法的步驟

Claims

一種瑕疵檢查方法，包括：透過一中控端裝置自一資料庫中取得一基板種類以及一瑕疵種類；由該中控端裝置連線至一作業端裝置，以擷取對應於該基板種類的一待處理影像並接收對應於該待處理影像的一實際座標系統；在該中控端裝置中，將該待處理影像輸入至與該瑕疵種類對應的一瑕疵檢測模型，藉此辨識該待處理影像的一瑕疵位置；透過該中控端裝置獲得該瑕疵位置於該實際座標系統中對應的一實際位置；以及透過該中控端裝置傳送該實際位置至該資料庫。
如請求項1所述的瑕疵檢查方法，其中在由該中控端裝置連線至該作業端裝置之後，更包括：由該中控端裝置遠端控制該作業端裝置顯示對應於該基板種類的一基板影像，並透過一螢幕共享將該基板影像顯示於該中控端裝置；以及透過該中控端裝置對該基板影像進行截圖而獲得該待處理影像。
如請求項1所述的瑕疵檢查方法，更包括：透過該中控端裝置預先訓練該瑕疵檢測模型，包括：由該中控端裝置收集一無瑕疵樣本集以及對應於該瑕疵種類的一有瑕疵樣本集，該無瑕疵樣本集包括無瑕疵的多個第一訓練影像，該有瑕疵樣本集包括多個第二訓練影像，每一該些第二訓練影像中標記有一瑕疵區域；對該些第一訓練影像與該些第二訓練影像執行影像強化，藉此獲得多個強化影像；以及基於該些強化影像來訓練該瑕疵檢測模型。
如請求項3所述的瑕疵檢查方法，其中基於該些強化影像來訓練該瑕疵檢測模型之後，更包括：判斷該瑕疵檢測模型的輸出影像的該瑕疵位置是否位於一走線痕跡上；倘若該瑕疵位置不在該走線痕跡上，在該輸出影像中劃分一走線區域以包圍該走線痕跡並過濾該瑕疵位置；以及將該輸出影像儲存至該無瑕疵訓練集，以重新訓練該瑕疵檢測模型。
如請求項3所述的瑕疵檢查方法，其中基於該些強化影像來訓練該瑕疵檢測模型之後，更包括：判斷該瑕疵檢測模型的輸出影像的該瑕疵位置是否位於一走線痕跡上；倘若該瑕疵位置位於該走線痕跡上，且該瑕疵位置位於該走線痕跡的兩端至少其中一個，在該輸出影像中劃分一走線區域以包圍該走線痕跡並過濾該瑕疵位置；以及將該輸出影像儲存至該無瑕疵訓練集，以重新訓練該瑕疵檢測模型。
如請求項3所述的瑕疵檢查方法，其中基於該些強化影像來訓練該瑕疵檢測模型之後，更包括：在判定該瑕疵檢測模型的輸出影像的該瑕疵位置位於多個走線痕跡的交叉處時，將該輸出影像儲存至該無瑕疵訓練集，以重新訓練該瑕疵檢測模型。
一種瑕疵檢查系統，包括：一資料庫，儲存多個基板種類以及每一該些基板種類對應的一瑕疵種類；一作業端裝置；一中控端裝置，耦接至該資料庫與該作業端裝置，其中該中控端裝置經配置以：自該資料庫中取得該些基板種類其中一個以及對應的該些瑕疵種類其中一個；連線至該作業端裝置，以擷取對應於所取得的基板種類的一待處理影像並接收對應於該待處理影像的一實際座標系統；將該待處理影像輸入至與所取得的瑕疵種類對應的一瑕疵檢測模型，藉此辨識該待處理影像的一瑕疵位置；獲得該瑕疵位置於該實際座標系統中對應的一實際位置；以及傳送該實際位置至該資料庫。
如請求項7所述的瑕疵檢查系統，其中該中控端裝置連線至該作業端裝置之後，該中控端裝置經配置以：遠端控制該作業端裝置顯示對應於該基板種類的一基板影像，並透過一螢幕共享將該基板影像顯示於該中控端裝置；以及對該基板影像進行截圖而獲得該待處理影像。
如請求項7所述的瑕疵檢查系統，其中該中控端裝置經配置以預先訓練該瑕疵檢測模型，包括：收集一無瑕疵樣本集以及對應於該瑕疵種類的一有瑕疵樣本集，該無瑕疵樣本集包括無瑕疵的多個第一訓練影像，該有瑕疵樣本集包括多個第二訓練影像，每一該些第二訓練影像中標記有一瑕疵區域；對該些第一訓練影像與該些第二訓練影像執行影像強化，藉此獲得多個強化影像；以及基於該些強化影像來訓練該瑕疵檢測模型。
如請求項9所述的瑕疵檢查系統，其中在該中控端裝置經配置以：判斷該瑕疵檢測模型的輸出影像的該瑕疵位置是否位於一走線痕跡上；倘若該瑕疵位置不在該走線痕跡上，在該輸出影像中劃分一第一走線區域以包圍該走線痕跡並過濾該瑕疵位置，並將該輸出影像儲存至該無瑕疵訓練集；倘若該瑕疵位置位於該走線痕跡上，且該瑕疵位置位於該走線痕跡的兩端至少其中一個，在該輸出影像中劃分一第二走線區域以包圍該走線痕跡並過濾該瑕疵位置，將該輸出影像儲存至該無瑕疵訓練集；以及倘若該瑕疵位置位於該走線痕跡與另一走線痕跡的交叉處時，將該輸出影像儲存至該無瑕疵訓練集。