TWI759733B - 人工智慧自動光學檢測方法及系統 - Google Patents

Abstract

本發明揭露一種人工智慧自動光學檢測方法及系統，檢測方法包含下列步驟：通過光學取像裝置拍攝複數個顯示面板，產生複數個訓練影像；進行複數個訓練影像之自動編碼運算，取得基準面標準影像；通過光學取像裝置拍攝待測面板，產生待測影像；對待測影像進行自動編碼運算，產生基準面比對影像；比較基準面比對影像與基準面標準影像之差異值，若差異值超過預設標準值，判斷待測影像為異常影像，若差異值未達預設標準值，判斷待測影像為正常影像。

Description

人工智慧自動光學檢測方法及系統

本發明是關於一種人工智慧自動光學檢測方法及系統，特別是關於一種利用基準面影像比對及缺陷分類比對的演算法來執行的人工智慧自動光學檢測方法及系統。

在針對各種面板、電路、工件等製造程序當中或產品製作完成時，可通過自動化光學檢測(Automated Optical Inspection,AOI)的技術對其進行檢測，通過攝影機取得待測物的數位影像，再透過軟體自動化計算出缺陷，藉此達到品質檢驗、製程驗證等效果。通過裝置自動化檢測的方式，能取代傳統利用人工進行視覺檢測的方式，提高檢測效率也同時節省人力成本。

然而，自動化光學檢測的技術通常是利用拍攝影像與標準影像比較，在實際操作上，容易受到各種檢測環境、檢測裝置、產品類別、產品規格標準等因素來影響，舉例來說，檢測時的光源、材料面積層數設計、人為操作誤差等，都會影響拍攝的影像結果。因此，後續比較的判斷也會因此有所偏差，無法正確辨識異常狀況。

有鑑於此，雖然目前通過自動化光學檢測的方式能對待測物進行自動的檢測與辨識，但在實際操作上仍有誤判的可能，無法正確辨別異常。因此，本發明之發明人思索並設計一種人工智慧自動光學檢測方法及系統，針對現有技術之缺失加以改善，進而增進產業上之實施利用。

有鑑於上述習知技術之問題，本發明之目的在於提供一種人工智慧自動光學檢測方法及系統，其具有提高檢測正確率及檢測效率，避免檢測結果產生誤判的問題。

根據上述目的，本發明之實施例提出一種人工智慧自動光學檢測方法，其包含以下步驟：通過光學取像裝置拍攝複數個顯示面板，產生複數個訓練影像，將複數個訓練影像儲存於儲存裝置；藉由處理器存取儲存裝置，並進行複數個訓練影像之自動編碼運算，取得複數個訓練影像之基準面標準影像；通過光學取像裝置拍攝待測面板，產生待測影像，將待測影像儲存於儲存裝置；藉由處理器存取儲存裝置，對待測影像進行自動編碼運算，產生待測影像之基準面比對影像；藉由處理器比較基準面比對影像與基準面標準影像之差異值，若差異值超過預設標準值，判斷待測影像為異常影像，若差異值未達預設標準值，判斷待測影像為正常影像。

在本發明的實施例中，自動編碼運算可包含將複數個訓練影像進行複數層卷積網路運算，產生隱藏層影像，再將隱藏層影像經由複數層反卷積網路運算，取得基準面標準影像。

在本發明的實施例中，複數層反卷積網路運算之層數可小於或等於複數層卷積網路運算之層數。

在本發明的實施例中，人工智慧自動光學檢測方法可進一步包含以下步驟：藉由處理器將正常影像分割成複數個影像檢測區域，形成複數個檢測影像；藉由處理器將複數個檢測影像分別進行影像特徵運算，取得複數個檢測影像之影像特徵值；藉由處理器將該複數個影像之影像特徵值進行分類，形成影像分類模型。影像分類模型可包含複數個表面缺陷分類。

本發明之另一實施例提出一種人工智慧自動光學檢測系統，其包含光學取像裝置、儲存裝置以及處理器。其中光學取像裝置拍攝複數個顯示面板以產生複數個訓練影像，並拍攝待測面板以產生待測影像。儲存裝置連接光學取像裝置，儲存複數個訓練影像及待測影像。處理器連接於儲存裝置，執行複數個指令以施行下列處理程序：進行複數個訓練影像之自動編碼運算，取得複數個訓練影像之基準面標準影像；對待測影像進行自動編碼運算，產生待測影像之基準面比對影像；進行判斷程序，比較基準面比對影像與基準面標準影像之差異值，若差異值超過預設標準值，判斷待測影像為異常影像，若差異值未達預設標準值，判斷待測影像為正常影像。

在本發明的實施例中，處理器可進一步施行下列處理程序：進行切割程序，將正常影像分割成複數個影像檢測區域，形成複數個檢測影像；將複數個檢測影像分別進行影像特徵運算，取得複數個檢測影像之影像特徵值；將複數個影像之影像特徵值進行分類，形成影像分類模型。影像分類模型可包含複數個表面缺陷分類。

承上所述，依本發明實施例所揭露的人工智慧自動光學檢測方法及系統，可對面板的整體影像進行自動光學檢測，利用自動編碼演算取得基準面標準影像，再依據與基準面標準影像的比較篩選出異常影像，避免異常影像繼續進行缺陷分析而耗費檢測成本。對於正常影像則可進一步經由分割檢測區域，進行特徵值運算，自動判斷檢測影像是否存在缺陷以及缺陷的種類，有效率的達到產品檢驗的成效。

1:人工智慧自動光學檢測系統

20:儲存裝置

21:訓練影像

22:隱藏層影像

23:原圖影像

24:特徵層影像

25:基準面標準影像

25’:基準面比對影像

31:檢測影像

32:特徵影像

40:待測面板

41:光學取像裝置

42:儲存裝置

43:處理器

44:人工智慧自動光學檢測程序

45:人工智慧自動分類程序

A,B:缺陷

G:正常影像

NG:異常影像

S1~S5,S6~S8:步驟

W1~W4:卷積網路運算

WT1~WT4:反卷積網路運算

為使本發明之技術特徵、內容與優點及其所能達成之功效更為顯而易見，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下：第1圖為本發明實施例之人工智慧自動光學檢測方法之流程圖。

第2圖為本發明實施例之自動編碼運算之示意圖。

第3圖為本發明另一實施例之人工智慧自動光學檢測方法之流程圖。

第4圖為本發明實施例之影像分類運算之示意圖。

第5圖為本發明實施例之人工智慧自動光學檢測系統之示意圖。

為利瞭解本發明之技術特徵、內容與優點及其所能達成之功效，茲將本發明配合附圖，並以實施例之表達形式詳細說明如下，而其中所使用之圖式，其主旨僅為示意及輔助說明書之用，未必為本發明實施後之真實比例與精準配置，故不應就所附之圖式的比例與配置關係解讀、侷限本發明於實際實施上的權利範圍，合先敘明。

在附圖中，為了淸楚起見，放大了層、膜、面板、區域、導光件等的厚度或寬度。在整個說明書中，相同的附圖標記表示相同的元件。應當理解，當諸如層、膜、區域或基板的元件被稱為在另一元件「上」或「連接到」另一元件時，其可以直接在另一元件上或與另一元件連接，或者中間元件可以也存在。相反地，當元件被稱為「直接在另一元件上」或「直接連接到」另一元件時，不存在中間元件。如本文所使用的「連接」，其可以指物理及/或電性的連接。再者，「電性連接」或「耦合」係可為二元件間存在其它元件。此外，應當理解，儘管術語「第一」、「第二」、「第三」在本文中可以用於描述各種元件、部件、區域、層及/或部分，其係用於將一個元件、部件、區域、層及/或部分與另一個元件、部件、區域、層及/或部分區分開。因此，僅用於描述目的，而不能將其理解為指示或暗示相對重要性或者其順序關係。

除非另有定義，本文所使用的所有術語(包括技術和科學術語)具有與本發明所屬技術領域的通常知識者通常理解的含義。將進一步理解的是，諸如在通常使用的字典中定義的那些術語應當被解釋為具有與它們在相關技術和本發明的上下文中的含義一致的含義，並且將不被解釋為理想化的或過度正式的意義，除非本文中明確地如此定義。

請參閱第1圖，其係為本發明實施例之人工智慧自動光學檢測方法之流程圖。如圖所示，人工智慧自動光學檢測方法包含以下步驟(S1~S5)：

步驟S1：通過光學取像裝置拍攝複數個顯示面板，產生複數個訓練影像，將複數個訓練影像儲存於儲存裝置。首先，對於需要進行檢測的顯示面板，不論是製程當中的顯示單元、基板及電路板等半成品，或是已完成製程步驟的顯示裝置等，都可事先利用光學取像裝置拍攝複數個顯示面板，取得對 應的訓練影像。這裡所述的光學取像裝置包含各種照相機、攝影機等拍攝裝置，設置在產線的製程動線上或是檢驗位置上，對於顯示面板拍攝後取得顯示面板的影像，以此作為人工智慧異常判斷的訓練影像，並且將這些訓練影像儲存在儲存裝置當中。儲存裝置可為光學取像裝置的記憶體或者執行演算步驟的電腦中的記憶體。

步驟S2：藉由處理器存取儲存裝置，並進行複數個訓練影像之自動編碼運算，取得複數個訓練影像之基準面標準影像。當取得多個訓練影像後，電腦裝置中的處理器可執行使用者的指令，存取這些訓練影像，對這些影像進行自動編碼運算，來取得這些訓練影像的基準面標準影像，亦即對應於顯示面板的基準面標準影像。這裡所執行的自動編碼演算是包含對訓練影像進行複數層的卷積網路運算，產生顯示面板的隱藏層影像，再對隱藏層影像進行複數層的反卷積網路運算，產生基準面標準影像。

以下將進一步說明自動編碼運算，請參閱第2圖，其為本發明實施例之自動編碼運算之示意圖。如圖所示，訓練影像21為光學取像裝置擷取的顯示面板的表面影像，包含顯示區域、非顯示區域等整體表面影像。在另一實施例當中，訓練影像21也可為顯示面板半成品的基板表面影像，包含發光元件、電路線路等表面影像。自動編碼運算首先將訓練影像21通過設定的卷積核進行卷積網路運算，取得訓練影像的特徵資料影像，在本實施例中，訓練影像21通過四層卷積網路運算(W1~W4)，得到隱藏層影像22。圖中所示的數量為影像的畫素大小，但本揭露不侷限於此，訓練影像也可以其他的層數，例如5層卷積網路運算或更多層數的卷積網路運算，來取得隱藏層影像22，也可依據訓練影像21的畫素大小，決定卷積核的設定，以取得對應的隱藏層影像22。

接著，自動編碼運算包含對於隱藏層影像22進行反卷積網路運算，在本實施例當中，隱藏層影像22通過四層反卷積網路運算(WT4~WT1)，得到原圖影像23，以此作為基準面標準影像25。由於訓練影像21是事先挑選出來的正常影像，當經過同樣層數的卷積網路運算(W1~W4)及反卷積網路運算(WT1~WT4)後，應能得到原圖影像23。另外，當進行層數較少小於卷積網路運算(W1~W4)的三層反卷積網路運算(WT4~WT2)後，可得到特徵層影像24，特徵層影像也可作為基準面標準影像25。在本實施例中，基準面標準影像25可同時包含原圖影像23及特徵層影像24，在另一實施例當中，可由原圖影像23及特徵層影像24當中擇一作為基準面標準影像25。這些基準面標準影像25以及自動編碼運算的相關參數可儲存於儲存裝置20當中。

步驟S3：通過光學取像裝置拍攝待測面板，產生待測影像，將待測影像儲存於儲存裝置。依據前述步驟，各種型號、尺寸對應的基準面標準影像25儲存於儲存裝置20當中，當有同樣型號、尺寸的待測面板欲進行檢驗時，則通過光學取向裝置拍攝待測面板的表面影像，產生待測影像，這些待測影像可儲存在儲存裝置當中。

步驟S4：藉由處理器存取儲存裝置，對待測影像進行自動編碼運算，產生待測影像之基準面比對影像。針對待測影像，電腦裝置中的處理器可執行使用者的指令，存取這些訓練影像，對這些影像進行自動編碼運算。這裡的自動編碼運算，其使用的卷積核大小、卷積層層數等網路運算的參數與儲存裝置當中儲存的參數相同。待測影像經由自動編碼演算後，可同樣產生原圖或特徵圖來作為基準面比對影像25’，這些基準面比對影像25’儲存於儲存裝置20當中。

步驟S5：藉由處理器比較基準面比對影像與基準面標準影像之差異值，判斷差異值是否超過預設標準值。若差異值超過預設標準值，判斷待測影像為異常影像NG，若差異值未達預設標準值，判斷待測影像為正常影像G。當儲存裝置20當中儲存基準面標準影像25及基準面比對影像25’時，處理器能執行比對程序，比較基準面標準影像25及基準面比對影像25’之間的差異值，判斷待測影像是否為正常影像G。在本實施例當中，差異值的計算可以依據基準面標準影像25類型有所不同，當基準面標準影像25為原圖影像23時，可依據基準面標準影像25及基準面比對影像25’當中各個畫素的灰階值相減來取得差異值。在另一實施例當中，當基準面標準影像25為特徵層影像24時，可依據基準面標準影像25及基準面比對影像25’的各個畫素的向量內積來計算差異值。進一步比較差異值是否超過預設標準值，若是，則判斷待測影像為異常影像NG，需重新檢視製造或檢驗過程是否有缺失；若否，則判斷待測影像為正常影像G，其可通過檢驗或者進一步進行細部的缺陷分類檢驗。

上述的人工智慧自動光學檢測方法主要是針對顯示面板的整體影像進行檢測，也就是在進行各個元件位置的細部檢測前，先對整體影像進行自動檢測，避免以異常影像進行後續檢測而耗費部必要的檢測成本。舉例來說，當檢測機台設置偏差或是照明設備有所改變時，對於光學取像裝置擷取的影像可能並非所要檢測的對象，或者影像亮度有明顯的差異而無法正確識別異常。因此，通過人工智慧自動光學檢測方法，可自動將異常影像挑出，將待測物重新進行檢測或者檢視檢測流程或裝置是否產生異常。

請參閱第3圖，其係為本發明另一實施例之人工智慧自動光學檢測方法之流程圖。如圖所示，人工智慧自動光學檢測方法包含以下步驟(S1~S8)：

步驟S1~步驟S5：這裡的步驟S1至步驟S5與前述實施例所述的流程相同，因此，相同技術特徵不再重複描述。待測面板可通過步驟S1至步驟S5，判斷光學取像裝置所擷取的影像是否為正常影像G，若是，則繼續後續的檢測流程。

步驟S6：藉由處理器將正常影像分割成複數個影像檢測區域，形成複數個檢測影像。針對正常影像G，可以依據影像的畫素大小，切割成複數個影像檢測區域，即將完整的面板影像，切割成多個較小的檢測影像，藉由每一個檢測影像的判斷，來檢測完整面板影像是否具有缺陷。

步驟S7：藉由處理器將複數個檢測影像分別進行影像特徵運算，取得複數個檢測影像之影像特徵值。針對每個檢測影像，處理器執行影像特徵運算的程式，分別對每個檢測影像進行影像特徵運算，通過影像特徵運算來取得檢測影像的影像特徵值。

步驟S8：藉由處理器將該複數個影像之影像特徵值進行分類，形成影像分類模型。影像分類模型可包含正常影像分類及缺陷影像分類，正常影像分類表示面板線路、元件等製作符合規範，缺陷影像分類則包含複數個表面缺陷分類，例如波紋、缺角、裂痕等問題，當特徵值歸屬至特定的缺陷影像分類時，則判斷檢測影像有所缺陷，產生異常通知。

在本實施例中，將正常影像區分為複數個影像檢測區域除了細分各個區域來分別進行缺陷檢測外，也可避免整體影像上缺陷所佔比例過低，無法於特徵值中顯現出來的狀況。除此之外，對於不同檢測區域，也可依據產品類別設計區域的檢測特徵運算方式，依照元件類型或表面圖案類型進行檢測，進一步提升檢測的正確率。

在上述的影像特徵運算方式當中，影像特徵運算可包含複數個卷積層運算、池化層運算及激活層運算，請參閱第4圖，其為本發明實施例之影像分類運算之示意圖。如圖所示，每個檢測影像31可通過多層的卷積層運算，將檢測影像31轉換成不同階層的特徵影像，再配合池化層運算及激活層運算將影像隱藏的特徵輸出，取得特徵影像32，特徵影像32可計算對應的影像特徵值，再藉由分類器將各個特徵影像32依據不同級距進行分類。舉例來說，當影像特徵值小於預設標準值則為檢測正常無缺陷，超過預設標準值則為缺陷A，若達到更高標準值則為缺陷B。針對不同缺陷，操作者可依據流程對待測面板進行重工，若超過檢驗標準且無法重工，則可能須進行報廢處理。

在整個流程當中，由於已針對整體影像進行自動檢測，能初步篩選異常狀態的影像，避免在進行缺陷分類判別時，對於無效影像進行相關運算程序而浪費運算資源。對於符合標準的影像，則進一步依各個檢測區域來辨識是否具備缺陷特徵，對待測物進行有效率的檢測以排除各種不良品，提高製程生產效率及品質。

請參閱第5圖，其為本發明實施例之人工智慧自動光學檢測系統之示意圖。如圖所示，人工智慧自動光學檢測系統1包含光學取像裝置41、儲存裝置42以及處理器43。在本實施例中，光學取像裝置41可為照相機、攝影機，在訓練階段可拍攝面板影像來產生訓練影像，在檢驗階段可拍攝待測面板40來取得待測影像。上述影像資料可透過無線網路傳輸、無線通訊傳輸或一般有線網際網路上傳到儲存裝置42當中的記憶體儲存，記憶體可包含唯讀記憶體、快閃記憶體、磁碟或是雲端資料庫等。

接著，人工智慧自動光學檢測系統1的處理器43可連接於儲存裝置42，存取儲存裝置42當中的資料，在本實施例中，處理器43可包含電腦或伺服器當中的中央處理器、圖像處理器、微處理器等，其可包含多核心的處理單元或者是多個處理單元的組合。處理器43執行複數個指令以施行人工智慧自動光學檢測程序44，詳細來說，人工智慧自動光學檢測程序44包含進行訓練影像之自動編碼運算，取得訓練影像之基準面標準影像；進行待測影像進行自動編碼運算，產生待測影像之基準面比對影像；進行判斷程序，比較基準面比對影像與基準面標準影像之差異值，若差異值超過預設標準值，判斷待測影像為異常影像，若差異值未達預設標準值，判斷待測影像為正常影像。上述檢測程序請參閱前述實施例說明，相同技術特徵不再重複描述。

在自動編碼運算的程序當中，處理器43可進行複數個卷積網路運算來產生隱藏層影像，再經由複數個反卷積網路運算來取得基準面標準影像。當卷積網路運算的層數與反卷積網路運算的層數相同時，基準面標準影像可為訓練影像的原圖影像，當卷積網路運算的層數大於反卷積網路運算的層數時，基準面標準影像可為特徵層影像。

在另一實施例當中，上述的之人工智慧自動光學檢測程序44在判斷待測影像為正常影像或異常影像後，處理器43可進一步將異常影像排除，而將正常影像進行人工智慧自動分類程序45。詳細來說，人工智慧自動分類程序45包含切割程序，將正常影像分割成複數個影像檢測區域，形成複數個檢測影像；對各個檢測影像分別進行影像特徵運算，取得複數個檢測影像之影像特徵值；將各個影像特徵值進行分類，形成影像分類模型。影像分類包含正常表面 影像及缺陷表面影像，通過人工智慧自動光學檢測程序44的待測影像，可經由自動分類方式檢驗是否具有缺陷，並藉由不同分類模型判斷缺陷種類。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

S1~S5:步驟

Claims (10)

1. 一種人工智慧自動光學檢測方法，其包含以下步驟：通過一光學取像裝置拍攝複數個顯示面板，產生複數個訓練影像，將該複數個訓練影像儲存於一儲存裝置；藉由一處理器存取該儲存裝置，並進行該複數個訓練影像之一自動編碼運算，取得該複數個訓練影像之一基準面標準影像；通過該光學取像裝置拍攝一待測面板，產生一待測影像，將該待測影像儲存於該儲存裝置；藉由該處理器存取該儲存裝置，對該待測影像進行該自動編碼運算，產生該待測影像之一基準面比對影像；藉由該處理器比較該基準面比對影像與該基準面標準影像之一差異值，若該差異值超過一預設標準值，判斷該待測影像為一異常影像，若該差異值未達該預設標準值，判斷該待測影像為一正常影像。
2. 如申請專利範圍第1項所述之人工智慧自動光學檢測方法，其中該自動編碼運算包含將該複數個訓練影像進行複數層卷積網路運算，產生一隱藏層影像，再將該隱藏層影像經由複數層反卷積網路運算，取得該基準面標準影像。
3. 如申請專利範圍第2項所述之人工智慧自動光學檢測方法，其中該複數層反卷積網路運算之層數小於或等於該複數層卷積網路運算之層數。
4. 如申請專利範圍第1項所述之人工智慧自動光學檢測方法， 進一步包含以下步驟：藉由該處理器將該正常影像分割成複數個影像檢測區域，形成複數個檢測影像；藉由該處理器將該複數個檢測影像分別進行一影像特徵運算，取得該複數個檢測影像之一影像特徵值；藉由該處理器將該複數個影像之該影像特徵值進行分類，形成一影像分類模型。
5. 如申請專利範圍第4項所述之人工智慧自動光學檢測方法，其中該影像分類模型包含複數個表面缺陷分類。
6. 一種人工智慧自動光學檢測系統，其包含：一光學取像裝置，拍攝複數個顯示面板以產生複數個訓練影像，並拍攝一待測面板以產生一待測影像；一儲存裝置，連接該光學取像裝置，儲存該複數個訓練影像及該待測影像；以及一處理器，連接於該儲存裝置，執行複數個指令以施行下列處理程序：進行該複數個訓練影像之一自動編碼運算，取得該複數個訓練影像之一基準面標準影像；對該待測影像進行該自動編碼運算，產生該待測影像之一基準面比對影像；進行一判斷程序，比較該基準面比對影像與該基準面標準影像之一差異值，若該差異值超過一預設標準值，判斷該待測影像為一異常影像，若該差異值未達該預設標準 值，判斷該待測影像為一正常影像。
7. 如申請專利範圍第1項所述之人工智慧自動光學檢測系統，其中該自動編碼運算包含將該複數個訓練影像進行複數層卷積網路運算，產生一隱藏層影像，再將該影藏層影像經由複數層反卷積網路運算，取得該基準面標準影像。
8. 如申請專利範圍第7項所述之人工智慧自動光學檢測系統，其中該複數層反卷積網路運算之層數小於或等於該複數層卷積網路運算之層數。
9. 如申請專利範圍第1項所述之人工智慧自動光學檢測系統，該處理器進一步施行下列處理程序：進行一切割程序，將該正常影像分割成複數個影像檢測區域，形成複數個檢測影像；將該複數個檢測影像分別進行一影像特徵運算，取得該複數個檢測影像之一影像特徵值；將該複數個影像之該影像特徵值進行分類，形成一影像分類模型。
10. 如申請專利範圍第9項所述之人工智慧自動光學檢測系統，其中該影像分類模型包含複數個表面缺陷分類。

Images