TW202034421A - 濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法 - Google Patents

Abstract

濾色器檢查裝置具備：缺陷檢查部，根據濾色器之拍攝圖像，檢測出缺陷候選；及缺陷輸出部，將相關於檢測出之缺陷候選的至少1個物理量和物理量之閾值進行比較，以判定缺陷候選是否並非缺陷，並且將判定為非缺陷之缺陷候選以外的缺陷候選輸出到類神經網路以進行缺陷分類。

Description

濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法

發明領域

本發明是有關於濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法。

發明背景

以往，在濾色器生產線中會使用濾色器的不均勻檢查裝置，其用於檢測作為因製造條件的改變而在濾色器基板上產生的缺陷之一的開口面積、著色層的膜厚等之不均一性區域(不均勻)。濾色器的不均勻檢查裝置是藉由對濾色器基板之拍攝圖像進行圖像處理來檢測不均勻的裝置。不均勻的種類(由形狀、面積、濃淡等來決定的屬性項目)和原因步驟相關，當裝置檢測出不均勻的情形，作業員可從不均勻的圖像中判別不均勻的種類，並調整原因步驟的製造條件來抑制不均勻產生。

但，為了從不均勻之圖像中判別不均勻的種類，作業員必需熟練，又，即使更換作業員也能適當地進行判別，其難度非常高，故期望自動化。 又，在JP2017-54239A中揭示了可用於半導體基板等之外觀檢查的圖像分類裝置。該技術是從拍攝圖像擷取特徵量以進行缺陷分類的技術，並且使用教師資料來藉由類神經網路、決策樹、判別分析等進行缺陷分類。

然而，在JP2017-54239A揭示的技術中，基於拍攝圖像和參考圖像之間的差分圖像來檢測缺陷。在許多情況下，濾色器的不均勻在濃淡上呈現非常微妙的差異，故使用差分圖像的手法誤檢測的可能性高，不適合於檢測濾色器的不均勻。又，在JP2017-54239A揭示的技術中，雖將缺陷的特徵量輸入到分類器來判別缺陷的種類，但在構建分類器時，必須決定要利用哪種特徵量，故用於利用的難度高。

發明概要

本發明的課題在於提供一種能夠簡單且正確地檢測出因濾色器的不均勻所引起的缺陷及進行缺陷分類的濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法。

用以解決課題之手段 本發明藉由以下的解決手段來解決前述課題。再者，為了易於理解，附上對應於本發明的實施形態之符號進行說明，但並不受限於此。

本發明為一種濾色器檢查裝置，具備：缺陷檢測部，根據濾色器之拍攝圖像，檢測出缺陷候選；及缺陷輸出部，將相關於前述檢測出之缺陷候選的至少1個物理量和前述物理量之閾值進行比較，以判定前述缺陷候選是否並非缺陷，並且將判定為非缺陷之缺陷候選以外的缺陷候選輸出到類神經網路以進行缺陷分類。

本發明為一種濾色器檢查裝置，具備：缺陷檢測部，根據濾色器之拍攝圖像，檢測出缺陷候選；缺陷輸出部，將前述檢測出之缺陷候選輸出到類神經網路以進行缺陷分類；及分類確定部，根據濾色器之拍攝圖像的第1分析結果，來確定從前述類神經網路輸出之前述缺陷分類的結果。

前述第1分析結果亦可包括顯示每種分類的缺陷的產生位置之產生位置資訊。

前述濾色器檢查裝置亦可更具備缺陷判定部，前述缺陷判定部根據濾色器之拍攝圖像之第2分析結果，判定前述缺陷分類之結果已確定的缺陷候選是否為缺陷。

前述第2分析結果亦可包括顯示每種分類的缺陷的產生歷程之產生歷程資訊。

前述類神經網路亦可具備：卷積層，藉由卷積處理而從前述拍攝圖像生成第1特徵圖；池化層，進行池化處理以減少前述第1特徵圖之尺寸或變化而生成第2特徵圖；及輸出層，輸出前述缺陷分類的結果。

前述濾色器檢查裝置亦可更具備圖像裁剪部，前述圖像裁剪部從前述拍攝圖像裁剪出包含藉前述缺陷檢測部檢測出的前述缺陷候選之範圍。

前述缺陷檢測部亦可由以下資料求出包含缺陷候選的範圍：將前述拍攝圖像從複數個方向進行一次微分後之資料。

本發明為一種檢查裝置，具備：缺陷檢測部，根據對象物的拍攝圖像，檢測出缺陷候選；及缺陷輸出部，將相關於前述檢測出之缺陷候選的至少1個物理量和前述物理量之閾值進行比較，以判定前述缺陷候選是否並非缺陷，並且將判定為非缺陷之缺陷候選以外的缺陷候選輸出到類神經網路以進行缺陷分類。

本發明為一種檢查裝置，具備：缺陷檢測部，根據對象物之拍攝圖像，檢測出缺陷候選；缺陷輸出部，將前述檢測出之缺陷候選輸出到類神經網路以進行缺陷分類；及分類確定部，根據對象物之拍攝圖像的第1分析結果，來確定從前述類神經網路輸出之前述缺陷分類的結果。

本發明為一種濾色器檢查方法，具備以下步驟：缺陷檢測部根據濾色器之拍攝圖像來檢測出缺陷候選；及缺陷輸出部將相關於前述檢測出之缺陷候選的至少1個物理量和前述物理量之閾值進行比較，以判定前述缺陷候選是否並非缺陷，並且將判定為非缺陷之缺陷候選以外的缺陷候選輸出到類神經網路以進行缺陷分類。

本發明為一種濾色器檢查方法，具備以下步驟：缺陷檢測部根據濾色器之拍攝圖像來檢測出缺陷候選；缺陷輸出部將前述檢測出之缺陷候選輸出到類神經網路以進行缺陷分類；及分類確定部根據濾色器之拍攝圖像的第1分析結果，來確定從前述類神經網路輸出之前述缺陷分類的結果。

本發明亦可更具備以下步驟：拍攝部拍攝前述濾色器的步驟；前述類神經網路藉由卷積處理而從前述拍攝圖像生成第1特徵圖的卷積步驟；及進行池化處理以減少前述第1特徵圖之尺寸或變化而生成第2特徵圖的池化步驟。

本發明為一種檢查方法，具備以下步驟：缺陷檢測部根據對象物之拍攝圖像來檢測出缺陷候選；及缺陷輸出部將相關於前述檢測出之缺陷候選的至少1個物理量和前述物理量之閾值進行比較，以判定前述缺陷候選是否並非缺陷，並且將判定為非缺陷之缺陷候選以外的缺陷候選輸出到類神經網路以進行缺陷分類。

本發明為一種檢查方法，具備以下步驟：缺陷檢測部根據對象物之拍攝圖像來檢測出缺陷候選；缺陷輸出部將前述檢測出之缺陷候選輸出到類神經網路以進行缺陷分類；及分類確定部根據對象物之拍攝圖像的第1分析結果，來確定從前述類神經網路輸出之前述缺陷分類的結果。

根據本發明，可提供一種能夠簡單且正確地檢測出濾色器的缺陷及進行缺陷分類的濾色器檢查裝置、檢查裝置、濾色器檢查方法及檢查方法。

用以實施發明之形態 以下，參考附圖等並說明用於實施本發明的最佳形態。在各實施形態中參考的附圖中，對同一部分或具有相同功能的部分附加同一符號或相似的符號，並且省略其重複的說明。

(第1實施形態) 圖1是顯示本發明之濾色器檢查裝置1之實施形態的圖。 濾色器檢查裝置1是在濾色器的製造過程中用於檢查製造上的缺陷之裝置，在此例示的雖然是檢討對象物之一例即濾色器的不均勻之情況，亦可用在檢查不均勻以外的缺陷。 本實施形態的濾色器檢查裝置1具備：拍攝部11、缺陷檢測部12、圖像裁剪部13、輸入部14、缺陷分類部15及學習模型構建部17。再者，缺陷檢測部12、圖像裁剪部13、輸入部14、缺陷分類部15及學習模型構建部17是在電腦中組入專用的程式而構成，且程式會實現各構成的功能。

拍攝部11具備未圖示之照明、照相機、搬送裝置等，對檢查對象之濾色器進行拍攝，並取得拍攝圖像。拍攝部11拍攝的拍攝圖像發送到缺陷檢測部12及圖像裁剪部13。再者，拍攝部的照相機可以是線感測器照相機(line sensor camera)亦或是區域感測器照相機(area sensor camera)。 拍攝部11可以是接收來自濾色器的反射光的形態，也可以是接收透射光的形態。

缺陷檢測部12利用圖像處理來從圖像中檢測出有可能是不均勻的缺陷候選。由本實施形態的缺陷檢測部12所進行的檢測方法，使用了日本特許第4363953號公報所揭示的手法。即，缺陷檢測部12使用空間濾波器對拍攝圖像進行一次微分處理，定出能預想到存在不均勻的區域，並將該區域的灰階值在空間上的變化比率作為表示不均勻程度的評價值，來檢測有可能存在不平均的區域。

圖像裁剪部13從拍攝圖像裁剪出包含由缺陷檢測部12所檢測到的缺陷候選之預定的範圍，而取得不均勻周邊圖像。圖像裁剪部13會將已裁剪之不均勻周邊圖像及拍攝圖像發送到輸入部14。

輸入部14會將不均勻周邊圖像及拍攝圖像輸入到缺陷分類部15的輸入層151。 藉由利用缺陷檢測部12檢測出缺陷候選，及利用圖像裁剪部13裁剪出圖像，可以減輕由後述缺陷分類部15所進行的處理。

缺陷分類部15由類神經網路構成，藉由人工智慧解析不均勻周邊圖像，對不均勻之種類進行分類，輸出為缺陷分類。缺陷分類部15具有學習模型16，並且藉由將不均勻周邊圖像與學習模型16進行對比，來對不均勻進行分類(缺陷分類)。在此，濾色器之不均勻其具體形態，例如形狀、大小、面積等會根據不均勻的產生原因而有所不同。因此，藉由進行不均勻的分類，可以特定出不均勻(缺陷)的產生原因。又，由於缺陷檢測部12的檢測亦可能包含誤檢測的情形，因此亦可以對該誤檢測進行分類。

又，缺陷分類部15具備學習模型16。 學習模型16為藉由學習模型構建部17預先學習學習資料18(每種種類的不均勻之圖像群)所構建而成。

學習模型構建部17從學習資料18中構建學習模型。如上述，學習模型構建部17在執行濾色器檢查之前，預先學習學習資料18(每種種類的不均勻之圖像群)來構建學習模型19，並轉移到缺陷分類部15的學習模型16。學習模型19是由要在類神經網路中利用的參數集等所構成。

其次，更詳細地說明濾色器檢查裝置1的動作及缺陷分類部15的構成及動作。 圖2是顯示濾色器檢查裝置1之動作之流程的流程圖。 在步驟(以下稱為S)11中，拍攝部11拍攝濾色器來取得圖像。 在S12中，缺陷檢測部檢測缺陷候選。在本實施形態中，缺陷檢測部12使用空間濾波器對在步驟11中取得的圖像進行一次微分處理，並且擷取出能預想到存在不均勻的區域。 在S13中，圖像裁剪部13從拍攝圖像裁剪出包含缺陷候選之預定的範圍，而取得不均勻周邊圖像。 在S14中，輸入部14將不均勻周邊圖像(裁剪圖像)輸入到缺陷分類部15的輸入層。

S15中，缺陷分類部15從不均勻周邊圖像(裁剪圖像)來分類缺陷。

說明關於S12之缺陷候選的檢測方法。藉由決定拍攝圖像上的微分方向，並針對構成圖像的各畫素之灰階值求得關於微分方向的一次微分，來做成微分圖像。 圖5是顯示將微分圖像做成二元圖像之例的圖。 設定預定的閾值，並針對微分圖像，對具有大於等於閾值的畫素值之畫素賦予第1畫素值，對具有小於閾值的畫素值之畫素賦予第2畫素值，藉此將微分圖像做成如圖5所示的二元圖像。 圖6是顯示針對圖5的二元圖像擷取出由具有第1畫素值的相鄰畫素之集合所構成的區域之例的圖。 關於此二元圖像，如圖6所示，是將由具有第1畫素值的相鄰畫素的集合所構成的區域擷取出來。以構成該區域的畫素群作為沿著微分方向的複數個一維畫素陣列的集合，並且以將位於一維畫素陣列兩端之畫素的灰階值間的差除以該一維畫素陣列的長度之值，作為表示關於一維畫素陣列之不均一性的評價值，來將對複數個一維畫素陣列求得的複數個評價值中的代表值，當作針對評價對象區域之表示不均一性的評價值。若是評價值的值越高的話，則從周圍越會看到明顯的不均勻。求出每個微分方向的評價值，若滿足一定的預定條件，則評價為在評價對象區域中存在不均勻。

S12的處理即使在不能夠預測不均勻區域的大小或形狀的情況下，也能夠正確地評價不均勻的存在之有無，因此可以精度良好地將有缺陷候選的區域交給缺陷分類部15的類神經網路。

針對缺陷分類部15的S15的動作，一併說明缺陷分類部15的更具體之構成。 圖3是顯示缺陷分類部15的類神經網路的構成及關於學習處理的圖。 本實施形態之缺陷分類部15的類神經網路具備：輸入層151、卷積層152、池化層153、全連結層154及輸出層155。

輸入層151是從輸入部14接收不均勻周邊圖像的輸入的層。在圖3的例子中，雖顯示可接收64×64像素的圖像的輸入，但這可以適當地改變。

卷積層152為使用任意大小的係數矩陣來進行卷積處理。這裡使用3×3矩陣係數進行卷積處理，並根據偏差(bias)值來進行補正。 在卷積處理中，從64×64像素的輸入圖像中擷取3×3像素的第1小圖像，使用該小圖像和3×3係數矩陣進行卷積計算，再加上偏差值與偏差係數相乘後的值，並套用ReLU(Rectified Linear Unit，線性整流函數)，來生成第1特徵圖。圖3是例示使用64種種類的矩陣係數而作成的64張卷積圖像的例子，但這可以適當地改變。

在池化層153，對第1特徵圖進行池化處理以得到第2特徵圖。池化處理為減少在卷積層152中產生的第1特徵圖的尺寸或變化以產生第2特徵圖。例如，從第1特徵圖擷取2×2像素的圖像，並計算出該圖像的最大亮度或平均亮度。具體來說，即是執行平均池化、最大池化、Lp池化等。 圖4是說明平均池化的圖。 在圖4顯示的平均池化例子中，藉由分割成2×2像素的池化區域並取亮度值之平均來減小尺寸。

圖3的全連結層154為將64個第2特徵圖結合以作成全連結資料。

輸出層155將參數集(權重參數、偏差參數)套用於全連結資料，並使用激活函數輸出9種類的缺陷的分類結果。參數集(權重參數、偏差參數)可套用於64個第2特徵圖全部。

參數集(權重參數、偏差參數)的設定是藉由學習資料18使用反向傳播(backpropagation)法來進行。從學習資料18計算出輸出誤差，對誤差函數利用最小平方法並藉由梯度下降法等來進行參數集(權重參數、偏差參數)之更新，藉由複數次重複學習以決定參數集(權重參數、偏差參數)的值。

在圖3中是將卷積層及池化層各設成一層來構成網路，但亦可構成由複數層卷積層及池化層所形成的網路，並以預先決定好的次數重複進行卷積處理及池化處理。又，卷積層所使用的係數矩陣雖然是預先學習後決定其值並固定，但是亦可同時學習卷積層和全連結資料的參數集(權重參數、偏差參數)。

在本實施形態中，可以使用被稱為Convolution Neural Network (CNN，卷積類神經網路)的深度學習(Deep Learning)技術，亦可形成S型函數、ReLu函數等的激活函數以複數層的形式組合而成的網路。 再者，上述類神經網路的構成例僅表示一個例子，可適當地改變。

如上所述，本實施形態的濾色器檢查裝置1可以藉由使用利用了類神經網路的缺陷分類部15，精度良好地來進行缺陷分類。因此，可以在早期發現製造步驟中的缺陷，有效率地進行製造步驟之改善。

例如，將感光材料塗布在基板上的步驟中，由於異物的原因而產生的特定的不均勻，熟練的作業員看到的話，可辨識出特定的不均勻，但就算是特定的不均勻，形狀、面積、濃淡等的差異也很大。因此，雖難以根據形狀、面積、濃淡來決定判別不均勻的規則，但是，藉由使用利用了類神經網路的缺陷分類器15，可以精度良好地判別特定的不均勻。因已知在將感光材料塗布在基板上的步驟中的異物與特定的不均勻有相關，因此知道特定的不均勻的產生之作業員可以藉由進行將感光材料塗布在基板上的步驟中的異物之確認或去除，而期待早期的改善。

(第2實施形態) 圖7是顯示本發明之濾色器檢查裝置1之第2實施形態的圖。 第2實施形態的濾色器檢查裝置1除了第1實施形態的構成，更具備作為缺陷輸出部的一例之缺陷分辨部21、分類確定部22及缺陷判定部23。這些缺陷分辨部21、分類確定部22及缺陷判定部23，是在電腦中組入專用的程式而構成，且程式會實現各構成的功能。

缺陷檢測部12根據拍攝部11拍攝的濾色器的拍攝圖像來檢測出有可能是不均勻的缺陷候選。雖然缺陷檢測部12也可以從拍攝圖像中直接檢測缺陷候選，但是較理想的是從已經進行前處理的圖像中檢測缺陷候選，前述前處理是用以提高對於拍攝圖像之缺陷的判定精度的處理。

缺陷分辨部21針對由缺陷檢測部12所檢測出的缺陷候選計算出至少1個物理量，並將所計算出的物理量與物理量的閾值進行比較，以判定缺陷候選是否並非缺陷。缺陷分辨部21將被判定為非缺陷之缺陷候選以外的缺陷候選輸出到類神經網路即缺陷分類器15以進行缺陷分類。另一方面，缺陷分辨部21不會將判定為非缺陷的缺陷候選輸出到缺陷分類器15。

分類確定部22根據預先取得的濾色器的拍攝圖像的第1分析結果，來確定由缺陷分類器15輸出的缺陷分類的結果。具體地說，分類確定部22將缺陷分類和第1分析結果的一例即顯示每種分類的缺陷的產生位置之產生位置資訊進行比較，藉此來確定缺陷分類。

缺陷判定部23根據預先取得的濾色器的拍攝圖像之第2分析結果，來判定缺陷分類已確定的缺陷候選是否為缺陷。具體來說，缺陷判定部23將缺陷分類已確定的缺陷候選和第2分析結果的一例即顯示每種分類的缺陷的產生歷程之產生歷程資訊進行比較，藉此判定缺陷分類已確定的缺陷候選是否為缺陷。

其次，針對第2實施形態的濾色器檢查裝置1的動作更詳細地說明。 圖8是顯示第2實施形態之濾色器檢查裝置1之動作流程的流程圖。

首先，在S21中，拍攝部11取得拍攝濾色器的拍攝圖像。

取得拍攝圖像之後，在S22中，缺陷檢測部12對拍攝圖像進行用以提高缺陷之判定精度的前處理。前處理是由例如陰影(shading)處理、平滑化處理、放射處理和黑白反轉處理的一系列處理所構成。 陰影處理是從有濃度不均勻的圖像去除濃度不均勻的處理。 平滑化處理是讓拍攝圖像模糊，藉以將拍攝圖像所包含的缺陷候選以外的雜訊去除的處理。平滑化處理可使用例如高斯濾波器。 放射處理是作為在後述缺陷候選檢測時進行卷積運算所必需的處理，而將位於拍攝圖像的端部之畫素的亮度值複製到其外側的處理。由於在使用將位於拍攝圖像之端部之畫素當作目標畫素即中心畫素的例如3×3畫素來進行卷積時，目標畫素的周邊的畫素不足，因此為了彌補該不足而進行放射處理。 黑白反轉處理是當判定對象為黑色缺陷時，則將拍攝圖像進行黑白反轉，而當判定對象為白色缺陷時，則不對拍攝圖像進行黑白反轉的處理。關於判定對象是黑色缺陷還是白色缺陷，取決於應判定之缺陷的種類而有所不同。根據黑白反轉處理，可與缺陷種類無關地檢測出白色圖像來作為缺陷候選並判定，從而可以簡化缺陷判定。 再者，構成前處理的上述之陰影處理、平滑化處理、放射處理及黑白反轉處理，亦可適當地替換這些處理的前後順序。

進行前處理之後，在S23中，缺陷檢測部12依據前處理之後的拍攝圖像來進行用以檢測出缺陷候選的缺陷候選檢測處理。缺陷候選檢測處理是藉由例如卷積運算之差分濾波處理、二元化處理、水平方向閉處理、垂直方向閉處理、水平方向開處理、垂直方向開處理和標記(labeling)處理之一系列處理所構成。 卷積運算之差分濾波處理，是求出在前處理後的拍攝圖像之各點即各畫素中的亮度值的變化的大小之處理。在有不均勻或異物等缺陷候選的地方，由於亮度值與周圍相比變化較大，因此，可藉由利用差分濾波處理來求出亮度值的變化的大小，而檢測出缺陷候選。具體來說，在差分濾波處理中，將前處理後的拍攝圖像的各畫素各自依序設定為目標畫素，並且使用以目標畫素為中心之例如3×3畫素的各畫素的亮度值、和作為濾波器的例如3×3的係數矩陣來進行卷積運算。藉由卷積運算，計算出每個目標畫素與其相鄰畫素之間的亮度值的差分值。亮度值的變化越大的地方差分值也會變大，可以將差分值大的的地方檢測為缺陷候選。

二元化處理是根據卷積運算之差分濾波處理後的拍攝圖像，來生成該圖像的差分值大於等於閾值的畫素為白色，小於閾值的畫素則為黑色之二元圖像的處理。藉由二元化處理，亮度值變化大的區域會被檢測為白色圖像即缺陷候選，亮度值變化小的區域即缺陷候選以外則成為黑色圖像。

水平方向閉處理是讓二元圖像之白色區域在水平方向即橫向上膨脹後收縮的處理。

垂直方向閉處理是讓二元圖像之白色區域在垂直方向即縱向上膨脹後收縮的處理。

根據水平方向閉處理和垂直方向閉處理，可填補白色區域中存在的孔、或使其與存在於附近的白色區域相連，因此可去除雜訊以提高缺陷候選的精度。

水平開處理是讓二元圖像之白色區域在水平方向上收縮後膨脹的處理。

垂直開處理是讓二元圖像之白色區域在垂直方向上收縮後膨脹的處理。

根據水平方向開處理和垂直方向開處理，可去除小的白色色塊、或使存在於附近的兩個白色區域相連，因此可去除雜訊以提高缺陷候選的精度。

標記處理是對二元圖像之白色區域裡的每個畫素附加編號的處理。在標記處理中，例如，針對屬於連續的一塊白色區域的複數個畫素，互相賦予相同的編號，在相異的塊之白色區域彼此之間，對畫素賦予的編號則互不相同。藉由進行標記處理，可在後述的缺陷分辨處理中，藉由斑點(blob)解析對缺陷進行分類。 再者，構成缺陷候選檢測處理的上述之差分濾波處理、二元化處理、水平方向閉處理、垂直方向閉處理、水平方向開處理、垂直方向開處理和標記處理，亦可適當地替換這些處理的前後順序。

進行缺陷候選檢測處理後，在S24中，缺陷分辨部21針對經過標記處理後之不同編號的缺陷候選，即針對每個白色區域，個別地進行缺陷分辨處理。缺陷分辨處理為：針對檢測出的缺陷候選算出至少1個物理量，並將算出的物理量與物理量之閾值進行比較，以判定缺陷候選是否並非缺陷，並且將判定為非缺陷的缺陷候選以外的缺陷候選輸出到缺陷分類器15的處理。例如，缺陷分辨處理是藉由橫寬計算處理、縱寬計算處理、面積計算處理、亮度差峰值計算處理、亮度差平均值計算處理、斜率計算處理、面積比計算處理、條痕率計算處理、圓度計算處理、閾值判定處理及輸出處理之一連串的處理所構成。

橫寬計算處理是算出缺陷候選的橫寬以作為缺陷候選的物理量之一的處理。例如，在已經定義出通過缺陷候選的重心點的X方向直線與缺陷候選的X方向兩端各自相交的2個點時，可求出該2點之間的X方向的距離來作為橫寬。

縱寬計算處理是算出缺陷候選的縱寬以作為缺陷候選的物理量之一的處理。例如，在已經定義出通過缺陷候選的重心點的Y方向直線與缺陷候選的Y方向兩端各自相交的2個點時，可求出該2點之間的Y方向的距離來作為縱寬。

面積計算處理是算出缺陷候選的面積以作為缺陷候選的物理量之一的處理。

亮度差峰值計算處理是藉由差分濾波處理計算出缺陷候選之中的差分值的最大值，以作為缺陷候選的物理量之一的處理。

亮度差平均值計算處理是算出缺陷候選的亮度差的平均值以作為缺陷候選的物理量之一的處理。

斜率計算處理是算出缺陷候選的亮度差的變化量以作為缺陷候選的物理量之一的處理。

面積比計算處理是算出矩形區域內之缺陷候選亦即白色區域和黑色區域的面積比以作為缺陷候選的物理量之一的處理，前述矩形區域是定義成：包含有1個缺陷候選的整體且外接在該缺陷候選的X方向和Y方向的最外端部。

條痕率計算處理是將缺陷候選視為1個矩形條痕，算出條痕的長邊與短邊之比以作為缺陷候選的物理量之一的處理。更詳細地說，條痕率計算處理是算出矩形區域的長邊與短邊之比的處理，前述矩形區域是定義成：包含有1個缺陷候選的整體且外接在該缺陷候選的X方向和Y方向的最外端部。

圓度計算處理是算出缺陷候選的圓度以作為缺陷候選的物理量之一的處理。在S為缺陷候選的面積，L為缺陷候選的周長的情況下，圓度可以由4πS/L² 算出。 再者，上述之橫寬計算處理、縱寬計算處理、面積計算處理、亮度差峰值計算處理、亮度差平均值計算處理、斜率計算處理、面積比計算處理、條痕率計算處理及圓度計算處理，亦可適當地替換這些處理的前後順序。

閾值判定處理為以下處理：對相異的塊之每個缺陷候選，個別地將透過上述各種計算處理所算出的缺陷候選的各物理量，分別與針對各物理量預先設定好的每個物理量的判定閾值相比較，以判定缺陷候選是否並非缺陷。根據閾值判定處理，相異的塊之缺陷候選可被分成：被判定為非缺陷的缺陷候選、及被判定為非缺陷的缺陷候選以外的缺陷候選。被判定為非缺陷的缺陷候選以外的缺陷候選在這個時間點還沒有確定是否為缺陷。因此，在被判定為非缺陷的缺陷候選以外的缺陷候選中，不只有最終確定為缺陷的缺陷候選，還可能包括被懷疑是否並非缺陷的缺陷候選。

輸出處理是以下處理：將藉由閾值判定處理判定為非缺陷的缺陷候選以外的缺陷候選輸出到缺陷分類器15，且不將藉由閾值判定處理判定為非缺陷的缺陷候選輸出到缺陷分類器15。藉此，只有被判定為非缺陷的缺陷候選以外的缺陷候選，會成為使用類神經網路的缺陷分類的對象，被判定為非缺陷的缺陷候選，則會從使用類神經網路的缺陷分類的對象中被排除。

在進行缺陷分辨處理之後，在S25中，缺陷分類器15會進行缺陷分類處理。缺陷分類處理是以下處理：針對藉由閾值判定處理而判定為非缺陷的缺陷候選以外的缺陷候選，和第1實施形態同樣地使用類神經網路來分類為任一種類的缺陷。

在進行缺陷分類處理之後，在S26中，分類確定部22進行分類確定處理，前述分類確定處理會確定從缺陷分類器15輸出的缺陷候選的缺陷分類。分類確定部22將缺陷分類與顯示每種分類的缺陷的產生位置之產生位置資訊進行比較，在分類後之缺陷候選的位置與相對應之分類的產生位置資訊所示的產生位置一致的情況下，則確定缺陷分類。另一方面，分類確定部22在分類後之缺陷候選的位置與相對應之分類的產生位置資訊所示的產生位置不一致的情況下，則不確定缺陷分類。

再者，分類確定部22除了產生位置資訊之外，亦可更使用預先對每種分類個別地設定的缺陷分類的信賴度的閾值，來進行分類確定處理。

進行分類確定處理之後，在S27中，缺陷判定部23進行缺陷判定處理，前述缺陷判定處理會判定缺陷分類已確定的缺陷候選是否為缺陷。缺陷判定部23藉由將缺陷分類已確定的缺陷候選與顯示每種分類的缺陷的產生歷程之產生歷程資訊進行比較，來判定缺陷候選是否為缺陷。缺陷判定部23在缺陷分類已確定的缺陷候選與相對應之分類的產生歷程資訊所示的產生歷程相符合時，則判定缺陷候選為缺陷。產生歷程例如亦可為缺陷候選的連續產生次數。另一方面，缺陷判定部23在缺陷分類已確定的缺陷候選與相對應之分類的產生歷程資訊所示的產生歷程不符合時，則判定缺陷候選並非缺陷。再者，缺陷判定部23針對缺陷分類未確定的缺陷候選，判定其為不屬於任何分類的缺陷。

另外，缺陷判定部23除了產生歷程資訊之外，亦可更使用顯示缺陷之濃度即亮度差的缺陷強度，來進行缺陷判定處理。

根據第2實施形態，藉由組合使用類神經網路的缺陷分類和使用類神經網路以外的判定基準的缺陷判定手法，與僅使用類神經網路的情況比較，可以進行精度高的缺陷判定。

(變形形態) 不限於以上說明的實施形態，各種變形或變更是可能的，那些亦在本發明的範圍內。

(1)在第1實施形態中，舉例說明了藉由利用缺陷檢測部12檢測出缺陷候選且利用圖像裁剪部13裁剪出圖像，來減輕後述的缺陷分類部15之處理的情況。不限於此，亦可構成為藉由缺陷分類部15直接處理濾色器的拍攝圖像。在這種情況下，在缺陷分類部15的類神經網路中，是從圖像整體輸出缺陷分類。

(2)在第1實施形態中，舉例說明了缺陷檢測部12使用日本特許第4363953號公報所揭示的手法來進行缺陷候選之檢測的情況。不限於此，亦可構成為使用以往公知的缺陷檢測之手法來進行缺陷候選之檢測。

本發明亦可以套用於除濾色器之外的對象物的缺陷檢查。例如，為了檢查出因塗裝或自體發光而在膜、玻璃、矽、金屬等形成了檢查對象外觀的對象物的缺陷，亦可套用本發明。檢查對象外觀不限於在可見光下可以檢測到的外觀，亦可為在紅外光下或紫外光下可以檢測到的外觀。又，本發明亦可套用於醫療用的X射線圖像的缺陷檢查。

再者，亦可以適當組合實施形態和變形形態來使用，但省略詳細的說明。又，本發明不限於以上說明的實施形態。

1:濾色器檢查裝置 11:拍攝部 12:缺陷檢測部 13:圖像裁剪部 14:輸入部 15:缺陷分類部(類神經網路) 16:學習模型 17:學習模型構建部 18:學習資料 19:學習模型 21:缺陷分辨部 22:分類確定部 23:缺陷判定部 151:輸入層 152:卷積層 153:池化層 154:全連結層 155:輸出層 158:學習資料 S11~S15:步驟 S21~S27:步驟

圖1是顯示本發明之濾色器檢查裝置1之第1實施形態的圖。 圖2是顯示濾色器檢查裝置1之動作之流程的流程圖。 圖3是顯示缺陷分類部15的類神經網路之構成及相關於學習處理的圖。 圖4是說明平均池化的圖。 圖5是顯示將微分圖像做成二元圖像之例的圖。 圖6是顯示針對圖5之二元圖像擷取出由具有第1畫素值之相鄰畫素的集合所構成的區域之例子的圖。 圖7是顯示本發明之濾色器檢查裝置1之第2實施形態的圖。 圖8是顯示第2實施形態之濾色器檢查裝置1之動作之流程的流程圖。

1:檢查裝置

11:攝影部

12:缺陷檢測部

13:畫面裁剪部

14:輸入部

15:缺陷分類部(類神經網路)

16:學習模型

17:學習模型構建部

18:學習資料

19:學習模型

Claims (15)

1. 一種濾色器檢查裝置，具備： 缺陷檢測部，根據濾色器之拍攝圖像，檢測出缺陷候選；及 缺陷輸出部，將相關於前述檢測出之缺陷候選的至少1個物理量和前述物理量的閾值進行比較，以判定前述缺陷候選是否並非缺陷，並且將判定為非缺陷的缺陷候選以外的缺陷候選輸出到類神經網路以進行缺陷分類。
2. 一種濾色器檢查裝置，具備： 缺陷檢測部，根據濾色器之拍攝圖像，檢測出缺陷候選； 缺陷輸出部，將前述檢測出之缺陷候選輸出到類神經網路以進行缺陷分類；及 分類確定部，根據濾色器之拍攝圖像的第1分析結果，來確定從前述類神經網路輸出之前述缺陷分類的結果。
3. 如請求項2之濾色器檢查裝置，其中前述第1分析結果包括顯示每種分類的缺陷的產生位置之產生位置資訊。
4. 如請求項2或3之濾色器檢查裝置，其更具備缺陷判定部，前述缺陷判定部根據濾色器之拍攝圖像之第2分析結果，判定前述缺陷分類之結果已確定的缺陷候選是否為缺陷。
5. 如請求項4之濾色器檢查裝置，其中前述第2分析結果包括顯示每種分類的缺陷的產生歷程之產生歷程資訊。
6. 如請求項1至5中任一項之濾色器檢查裝置，其中前述類神經網路具備：卷積層，藉由卷積處理而從前述拍攝圖像生成第1特徵圖；池化層，進行池化處理以減少前述第1特徵圖之尺寸或變化而生成第2特徵圖；及輸出層，輸出缺陷分類的結果。
7. 如請求項1至6中任一項之濾色器檢查裝置，其更具備圖像裁剪部，前述圖像裁剪部從前述拍攝圖像裁剪出包含藉前述缺陷檢測部檢測出的前述缺陷候選之範圍。
8. 如請求項7之濾色器檢查裝置，其中前述缺陷檢測部由以下資料求出包含缺陷候選的範圍：將前述拍攝圖像從複數個方向進行一次微分後之資料。
9. 一種檢查裝置，具備： 缺陷檢測部，根據對象物的拍攝圖像，檢測出缺陷候選；及 缺陷輸出部，將相關於前述檢測出之缺陷候選的至少1個物理量和物理量之閾值進行比較，以判定前述缺陷候選是否並非缺陷，並且將判定為非缺陷之缺陷候選以外的缺陷候選輸出到類神經網路以進行缺陷分類。
10. 一種檢查裝置，具備： 缺陷檢測部，根據對象物之拍攝圖像，檢測出缺陷候選； 缺陷輸出部，將前述檢測出之缺陷候選輸出到類神經網路以進行缺陷分類；及 分類確定部，根據對象物之拍攝圖像的第1分析結果，來確定從前述類神經網路輸出之前述缺陷分類的結果。
11. 一種濾色器檢查方法，具備以下步驟： 缺陷檢測部根據濾色器之拍攝圖像來檢測出缺陷候選；及 缺陷輸出部將相關於前述檢測出之缺陷候選的至少1個物理量和前述物理量之閾值進行比較，以判定前述缺陷候選是否並非缺陷，並且將判定為非缺陷之缺陷候選以外的缺陷候選輸出到類神經網路以進行缺陷分類。
12. 一種濾色器檢查方法，具備以下步驟： 缺陷檢測部根據濾色器之拍攝圖像來檢測出缺陷候選； 缺陷輸出部將前述檢測出之缺陷候選輸出到類神經網路以進行缺陷分類；及 分類確定部根據濾色器之拍攝圖像的第1分析結果，來確定從前述類神經網路輸出之前述缺陷分類的結果。
13. 如請求項11或12之濾色器檢查方法，其更具備以下步驟： 拍攝部拍攝前述濾色器的步驟； 前述類神經網路藉由卷積處理而從前述拍攝圖像生成第1特徵圖的卷積步驟；及 進行池化處理以減少前述第1特徵圖之尺寸或變化而生成第2特徵圖的池化步驟。
14. 一種檢查方法，具備以下步驟： 缺陷檢測部根據對象物之拍攝圖像來檢測出缺陷候選；及 缺陷輸出部將相關於前述檢測出之缺陷候選的至少1個物理量和前述物理量之閾值進行比較，以判定前述缺陷候選是否並非缺陷，並且將判定為非缺陷之缺陷候選以外的缺陷候選輸出到類神經網路以進行缺陷分類。
15. 一種檢查方法，具備以下步驟： 缺陷檢測部根據對象物之拍攝圖像來檢測出缺陷候選； 缺陷輸出部將前述檢測出之缺陷候選輸出到類神經網路以進行缺陷分類；及 分類確定部根據對象物之拍攝圖像的第1分析結果，來確定從前述類神經網路輸出之前述缺陷分類的結果。

Images