TW201944059A

TW201944059A - 檢查管理系統、檢查管理裝置以及檢查管理方法

Info

Publication number: TW201944059A
Application number: TW108111533A
Authority: TW
Inventors: 植田清隆
Original assignee: 日商歐姆龍股份有限公司
Priority date: 2018-04-20
Filing date: 2019-04-01
Publication date: 2019-11-16
Also published as: JP6981352B2; TWI693397B; JP2019190891A; CN110390661A; KR20190122550A

Abstract

本發明提供一種檢查管理系統、檢查管理裝置以及檢查管理方法，在藉由多種不同方式而拍攝被檢查物，並按各拍攝方式分別檢測缺陷的片材狀物品的外觀檢查中，減少因各別地管理表示同一缺陷的多個缺陷圖像資料而導致的弊端。檢查管理系統用以檢查片材狀的被檢查物，所述檢查管理系統包括：外觀檢查部，包括藉由不同方式而拍攝所述被檢查物T的外觀的多個拍攝元件、以及基於藉由所述多個拍攝元件所拍攝的各個圖像來檢測所述被檢查物的缺陷的檢測元件；儲存部，針對所述多種不同方式的拍攝元件，分別記錄拍攝了藉由所述檢測元件所檢測出的缺陷的缺陷圖像資料；以及檢查管理部，包括同一缺陷圖像合併元件，所述同一缺陷圖像合併元件是將所述儲存部中所記錄的拍攝了所述被檢查物中的同一缺陷的多個缺陷圖像資料作為一個同一缺陷圖像組來處理。

Description

檢查管理系統、檢查管理裝置以及檢查管理方法

本發明是有關於一種檢測片材狀的被檢查物的異常部位的技術，特別是有關於一種用以對檢測出的異常進行分析的技術。

在用以製造或加工片材狀物品的生產線中，是使用利用圖像，來檢測片材中的異常（異物混入、污垢、褶皺等。以下亦稱為缺陷）的檢測裝置，所述圖像是藉由將可見光或紫外光照射至片材，利用相機拍攝其透過光或反射光而獲得（例如，專利文獻1、專利文獻2等）。

在此種裝置中，有的裝置是如表面反射像、背面反射像、透過圖像、可見光圖像、紅外光圖像等，利用不同的多種拍攝方法對被檢查物進行拍攝，利用各圖像來進行缺陷檢測（好壞判定），藉此，可使檢查的精度提高（減少缺陷的漏網）。

並且，不但利用如上所述的裝置，檢測產品的缺陷而去除次品，而且亦期待藉由按每個產生因素（以下亦稱為類別）對所述檢測出的缺陷進行分類，將各缺陷的產生頻率製作成資料，並進行分析，來用於掌握製造商品的質量狀況、提前發現製造製程的異常部位、預先維護等。

如上所述，在有效利用按缺陷類別而分類的資料時，重要的是其產生數量、分類等準確，但當如上所述使用不同的多種拍攝方法（以下亦稱為檢查方式）時，亦有時會產生破壞所獲得的資料的準確性的弊端。

例如，即使欲求出每個缺陷類別的準確的缺陷數量，當使用多種檢查方式時，亦存在針對一個缺陷在多種檢查方式中分別檢測出缺陷的情況，因此當將各檢查方式中所獲得的缺陷數量加以簡單合計時，會產生其數量與產品上的本來的缺陷數量不一致之類的問題。

與此相對，在專利文獻2中，已提出具備如下功能的檢查系統：對關於不同相機裝置所拍攝的同一缺陷的缺陷資訊進行比較，將基於按決定規則而決定的不同相機裝置之中的一個相機裝置所拍攝的圖像資料而提取的缺陷資訊決定為代表缺陷資訊，而加以顯示。但是，在此種方法中，好不容易由多個相機獲取到的代表缺陷資訊以外的缺陷圖像資料被丟棄，而無法有效利用。

又，對缺陷的類別進行分類時，亦可利用將缺陷圖像作為教師資料而深入學習的人工智慧（artificial intelligence，AI），但當註冊教師資料時，亦有可能產生針對難以識別缺陷類別的缺陷圖像，與和實際的缺陷類別不同的缺陷的類別相關聯而進行註冊的人為錯誤。此外，此時，亦有可能產生針對本來應顯示同一缺陷的多個缺陷圖像資料，按每種檢查方式註冊不同的缺陷類別的情況。而且，藉由利用以如上所述的方式經註冊的錯誤的教師資料而學習的AI所分類的資料會在準確性上產生疑義。

又，按多種檢查方式分別獲取缺陷圖像，並將該些缺陷圖像各別地與缺陷類別相關聯而進行註冊的方法中，檢查方式的種類越多，教師資料註冊的工夫就越容易隨之增加，亦無效率。
[現有技術文獻]
[專利文獻]

[專利文獻1]日本專利特開2015-172519號公報
[專利文獻2]日本專利第5305002號公報

[發明所欲解決之課題]
本發明是鑒於如上所述的實際情況而完成的，其目的在於提供一種方法，在藉由多種不同方式而拍攝被檢查物，並按各拍攝方式分別檢測缺陷的片材狀物品的外觀檢查中，可減少因各別地管理表示同一缺陷的多個缺陷圖像資料而導致的弊端。
[解決課題之手段]

為了解決所述問題，本發明的檢查管理系統是一種用以檢查片材狀的被檢查物的檢查管理系統，其包括：外觀檢查部，包括藉由不同方式而拍攝所述被檢查物的外觀的兩個以上的拍攝元件、以及基於藉由所述多個拍攝元件而拍攝的各個圖像來檢測所述被檢查物的缺陷的檢測元件；儲存部，針對所述多種不同方式的拍攝元件，分別記錄拍攝了藉由所述檢測元件所檢測出的缺陷的缺陷圖像資料；以及檢查管理部，包括同一缺陷圖像合併元件，所述同一缺陷圖像合併元件是將所述儲存部中所記錄的所述缺陷圖像資料的集合之中、拍攝了所述被檢查物中的同一缺陷的多個缺陷圖像資料作為一個同一缺陷圖像組（set）來進行處理。

此處，所謂「藉由不同方式而拍攝」，例如，既可為所拍攝的被檢查物的面不同的方式，亦可為所檢測的光的波長不同的方式，亦可為拍攝反射光的方式與拍攝透過光的方式不同。又，關於「拍攝了所述被檢查物中的同一缺陷」，如後所述，只要是在被檢查物中的缺陷的位置相同的情況下如此認定即可。再者，構成系統的各元件不必為分體，既可全部收納於一體化的框體中，亦可一部分形成為一體。

根據如上所述的結構，即使在藉由多種方式而拍攝被檢查物，針對被檢查物中的一個缺陷，記錄有拍攝方式不同的多個缺陷圖像資料的情況下，亦可將表示同一缺陷的多個資料作為一組而進行管理。藉此，可減少因各別地管理表示同一缺陷的多個缺陷圖像資料而導致的弊端。

又，所述檢查管理部亦可進而包括對所述同一缺陷圖像組的數量進行計數，並按每個規定的檢查單位，計算缺陷數量的缺陷計數元件。此處，「規定的檢查單位」亦可由使用者以任意的時機而設定及變更。若為如上所述的結構，則並非對針對同一缺陷而拍攝的多個缺陷圖像各別地進行計數，而是按被檢查物中的每個缺陷對缺陷數量進行計數，因此可算出準確的缺陷數量。

此外，亦可為所述檢查管理系統進而包括輸出部，所述檢查管理部進而包括在所述算出的缺陷數量超過規定值時，經由所述輸出部通知所述情況的缺陷數量警告元件。藉由採用如上所述的結構，在缺陷數量超過規定值時，使用者可容易地獲知所述情況，因此可有效率地進行檢查管理。

再者，輸出部只要是以使用者可覺察的方法進行通知的構件即可，例如，既可為液晶顯示器等顯示裝置，亦可為揚聲器（speaker）等語音輸出裝置，亦可為印刷裝置。又，亦可為併用該些裝置而進行通知的構件。

又，所述檢查管理部亦可進而包括針對每個所述同一缺陷圖像組，對所述缺陷的類別進行分類的缺陷類別分類元件。若為此種結構，則可防止針對本來應該表示同一缺陷的多個缺陷圖像資料，按多個不同的拍攝元件分類成不同的缺陷類別的情況。

又，所述檢查管理部亦可進而包括針對藉由所述缺陷類別分類元件而分類的每個缺陷類別對所述同一缺陷圖像組的數量進行計數，並按每個規定的檢查單位，計算每個缺陷類別的缺陷數量的缺陷類別計數元件。若為此種結構，可針對每個缺陷類別，求出準確的缺陷數量。

又，亦可為所述檢查管理系統包括輸出部，所述檢查管理部進而包括當所述算出的每個缺陷類別的缺陷數量超過針對每個所述缺陷類別而確定的規定值時，經由所述輸出部通知所述情況的缺陷類別缺陷數量警告元件。再者，缺陷類別缺陷數量警告元件亦可為亦一併通知已超過規定值的缺陷的類別的元件。若為此種結構，則使用者可針對每個缺陷類別，在缺陷數量超過規定值時獲知所述情況，從而可進行更詳細的檢查管理。

再者，當檢查系統是亦包括所述缺陷數量警告元件的結構時，輸出部亦可為與所述缺陷數量警告元件共同的結構。

又，所述缺陷類別分類元件亦可包括藉由深層學習的方法而學習完畢的推論元件。近年來，藉由使用深層學習的方法的人工智慧而進行的圖像辨識技術已取得顯著成果，藉由使用此種技術，可高效率地自動進行缺陷類別的分類。

又，亦可為所述檢查管理系統進而包括顯示部，所述檢查管理部進而包括使所述顯示部針對每個所述同一缺陷圖像組同時顯示構成所述組的缺陷圖像資料，對使用者請求註冊與所述經顯示的缺陷圖像資料的組相對應的缺陷類別的深層學習用教師資料註冊元件。

此處，所謂顯示部，通常是指液晶顯示器等顯示器裝置，但亦可為利用投影機（projector）進行顯示等使用其他顯示元件的裝置。若為此種結構，則可針對表示同一缺陷的缺陷圖像資料統一進行註冊，從而可有效率地進行教師資料的註冊。又，使用者可對同一缺陷圖像組中所含的藉由多種檢查方式而獲得的缺陷圖像進行觀察對比而決定並註冊缺陷類別，故與只將個別的缺陷圖像資料作為對象而進行缺陷類別的註冊的情況相比，可減少錯誤選擇缺陷類別、或需要時間進行判斷的情況。

又，所述缺陷類別分類元件亦可在無法以規定的精度以上的準確度進行所述同一缺陷圖像組的缺陷類別的分類的情況下，將關於所述同一缺陷圖像組的缺陷類別分類為不詳。若為此種結構，可防止藉由勉強進行精度不高的缺陷類別的分類，而使得最終獲得的資料的可靠性下降的情況。

又，所述缺陷類別分類元件亦可為針對將缺陷類別分類為不詳的所述同一缺陷圖像組，對使用者請求進行缺陷類別的分類的元件。若為此種結構，可防止將缺陷類別分類為不詳的同一缺陷圖像組直接作為分類不詳的資料而留下的情況。

又，藉由不同方式而拍攝所述被檢查物的外觀的多個拍攝元件亦可為包含拍攝由經所述被檢查物的第一面反射的反射光所形成的圖像的表面拍攝元件、拍攝由經所述被檢查物的與第一面為相反側的第二面反射的反射光所形成的圖像的背面拍攝元件、以及拍攝由透過所述被檢查物的透過光所形成的圖像的透過光拍攝元件之中任兩者以上的元件。若為此種結構，則可對應於多種缺陷的種類，進行缺陷的檢測及/或分類。

又，藉由不同方式而拍攝所述被檢查物的外觀的多個拍攝元件亦可為包括藉由第一波長的光而拍攝所述被檢查物的第一波長拍攝元件、以及藉由與所述第一波長不同的波長的光而拍攝所述被檢查物的第二波長拍攝元件的元件。若為此種結構，則可對應於多種缺陷的種類，進行缺陷的檢測及/或分類。

又，所述同一缺陷圖像合併元件亦可將所述被檢查物中的所述缺陷的位置為相同的範圍內的多個不同的缺陷圖像資料合併為一個同一缺陷圖像組。

此處，所謂「位置相同的範圍內」的涵義，並不限於位置完全一致的範圍，亦包含位於規定的容許範圍內的情況。作為在多個缺陷圖像資料中，識別經拍攝的缺陷是否為同一缺陷的方法，可採用將產品中的缺陷的位置相同的資料認定為拍攝了同一缺陷的圖像資料的方法。確定被檢查物中的缺陷的位置時，例如，只要基於預先規定的各拍攝元件的配置地點、拍攝範圍、被檢查物的運送速度等，算出缺陷的位置即可。

又，為了解決所述問題，本發明的檢查管理裝置是藉由不同的多種拍攝方式對片材狀的被檢查物的外觀進行拍攝並對所獲取的缺陷圖像資料進行處理的檢查管理裝置，其包括自所述缺陷圖像資料的集合中，將拍攝了所述被檢查物中的同一缺陷的多個缺陷圖像資料作為一個同一缺陷圖像組而處理的同一缺陷圖像合併元件。

又，為了解決所述問題，本發明的檢查管理方法是管理片材狀的被檢查物的外觀檢查的方法，其包括：第一步驟，藉由兩種以上的不同方式而拍攝所述被檢查物；第二步驟，基於利用所述第一步驟中所拍攝的多種不同的拍攝方式而形成的被檢查物的圖像，檢測所述被檢查物的缺陷；第三步驟，記錄拍攝了在所述第二步驟中所檢測出的缺陷的缺陷圖像資料；第四步驟，將所述第三步驟中所記錄的缺陷圖像資料的集合之中、拍攝了所述被檢查物中的同一缺陷的多個缺陷圖像資料合併為一個同一缺陷圖像組；以及第五步驟，按每個規定的檢查單位，對在所述第四步驟中經合併的同一缺陷圖像組的數量進行計數，而算出缺陷數量。

又，所述檢查管理方法亦可包括第六步驟，即，當所述第五步驟中所算出的缺陷數量超過規定值時，通知所述情況。

再者，所述處理或元件只要不產生技術上的矛盾，即可自由組合而實施。
[發明的效果]

根據本發明，在藉由多種不同方式而拍攝被檢查物，並按各拍攝方式分別檢測缺陷的片材狀物品的外觀檢查中，可減少因各別地管理表示同一缺陷的多個缺陷圖像資料而導致的弊端。

以下，參照圖式，對本發明的實施形態的一例進行說明。

＜應用例＞
本發明例如可作為如圖1所示的檢查管理系統9而應用。圖1是示意性地表示本應用例的檢查管理系統9的結構例的圖。檢查管理系統9是進行片材狀的物品的缺陷的檢測以及檢查的資訊的管理的系統，作為主要的結構元件，包括照明系統的表面反射光源911、背面反射光源912、透過光源913、作為測定系統的表面拍攝相機921、背面拍攝相機922、控制終端93及運送機構（未圖示）。

如圖1所示，被檢查物T藉由未圖示的運送機構，而沿水平方向（箭頭方向）運送，在所述運送過程中藉由測定系統而連續地獲取被檢查物T的外觀圖像，並基於此而實施檢查。被檢查物T形成為片材狀，例如，可例示紙、布、薄膜、樹脂、纖維素（cellulose）等。又，並不限於單一原材料，亦可為如使薄膜與不織布黏合而成的包裝紙等，具有多層的片材體。此外，亦可為乾燥海苔等食品。

照明系統的表面反射光源911是以將可見光（例如白色光）照射至被檢查物T的表面（第一面）的方式而配置，背面反射光源912是以同樣地將可見光照射至被檢查物T的背面（第二面）的方式而配置。又，透過光源913是以將紅外線照射至被檢查物T的背面（第二面）的方式而配置。

測定系統的表面拍攝相機921中，雖未圖示，但包括訊號輸出部、可見光受光感測器、紅外線受光感測器、分光稜鏡及透鏡，以拍攝被檢查物T的表面的方式而配置。具體而言，藉由自表面反射光源911照射且經被檢查物T的表面反射的光（以下稱為表面反射光）、自透過光源913照射且透過被檢查物T的紅外線（以下稱為透過光）而拍攝被檢查物T。分光稜鏡將入射至相機的光至少分成可見光區域的波長的光及紅外線，並相對應的各感測器接收光。在感測器中，可使用例如電荷耦合器件（Charge Coupled Device，CCD）或互補金屬氧化物半導體（complementary metal oxide semiconductor，CMOS）感測器。

又，背面拍攝相機922中，雖未圖示，但包括訊號輸出部、可探測可見光區域的光的受光感測器、透鏡，以拍攝被檢查物T的背面的方式而配置。具體而言，藉由自背面反射光源912照射且經被檢查物T的背面反射的光（以下稱為背面反射光）而拍攝被檢查物T。在受光感測器中，例如可使用CCD感測器或CMOS感測器。

控制終端93進行照明系統、測定系統、運送機構的控制，並且進行檢查的各種資訊的處理。作為硬體結構，包括各種輸入輸出裝置、處理器、儲存裝置等，作為功能模組，包括缺陷檢測部931、缺陷位置確定部932、缺陷圖像儲存部933、同一缺陷圖像合併部934、缺陷計數部935、缺陷數量警告部936及缺陷類別分類部937。

缺陷檢測部931基於自測定系統的各相機輸入的圖像訊號，進行被檢查物T中所含的缺陷的檢測。缺陷的檢測是藉由例如判定自拍攝到的圖像獲得的特徵量是否已超出規定的臨限值而進行。在特徵量中，例如可使用亮度等，亦可使用明度、彩度、色相等。

在本應用例中，針對表面拍攝相機921所拍攝的由表面反射光形成的圖像（以下稱為表面反射圖像）及由透過光形成的圖像（以下稱為透過圖像）、以及背面拍攝相機922所拍攝的由背面反射光形成的圖像（以下稱為背面反射圖像），分別進行特徵量的判定。

缺陷位置確定部932在檢測出缺陷時，確定所述缺陷位於被檢查物T的哪個部位。位置的確定可基於例如預先規定的被檢查物T的運送速度、相機的設置位置、被檢查物T的大小以及自檢查開始的經過時間而進行。

缺陷圖像儲存部933在檢測出缺陷時，將藉由各相機而拍攝的所述缺陷的圖像（以下稱為缺陷圖像），與缺陷位置確定部932所確定的所述缺陷的位置的資訊相關聯而記錄於儲存裝置中。又，不僅將檢測出缺陷的拍攝方式的圖像，而且將其他拍攝方式的相對應的部位的圖像亦記錄於儲存裝置。

同一缺陷圖像合併部934在缺陷位置確定部932所確定的缺陷的位置相同的多個不同的缺陷圖像已記錄於儲存裝置中時，將所述缺陷的位置相同的多個圖像作為一組同一缺陷圖像組而加以關聯。以如上所述的方式形成為組的多個缺陷圖像在以後，進行向顯示裝置的顯示、各種資料分析等時，被一體地處理。又，亦可將所述同一缺陷圖像組作為組而重新記錄於儲存裝置。

缺陷計數部935按每個規定的檢查單位，對同一缺陷圖像組的數量進行計數，而算出每個所述檢查單位的缺陷數量。此處，所謂規定的檢查單位，既可為規定數（例如，一卷、一批次、數批次），亦可為規定時間（例如，一天、一週、一個月）。由於以如上所述的方式計算缺陷數量，故可獲得每個規定的檢查單位的準確的缺陷數量，而不會對表示被檢查物T中的同一缺陷的多個缺陷圖像資料進行重複計數。

缺陷數量警告部936判定缺陷計數部935所算出的缺陷數量是否超過規定值，當判定為缺陷數量超過所述規定值時，將此情況自未圖示的輸出裝置（例如，液晶顯示器、揚聲器等）輸出而通知給使用者。

缺陷類別分類部937按缺陷的種類對合併為同一缺陷圖像組的缺陷圖像資料進行分類，將所述分類後的類別與缺陷圖像資料加以關聯而記錄。所分類的缺陷的類別可在使用者中任意設定，例如，既可設置異物混入、污垢、褶皺、孔之類的類別，亦可分類成更細的類別（例如，蟲、木片、金屬異物、油垢、水垢、大孔、小孔等）。

作為對缺陷類別進行分類的方法，既可基於針對表面反射圖像、背面反射圖像、透過圖像中的任一圖像的特徵量來進行，亦可藉由各圖像的缺陷部位的特徵量的對比來進行，又，亦可藉由在各個檢查方式中是否檢測出缺陷、及其組合等來進行。又，亦可綜合使用該些方法而進行分類。藉由以如上所述的方式，將表示同一缺陷的多個缺陷圖像資料設為組而進行缺陷類別的分類，可與基於檢測出缺陷的單個圖像而進行缺陷類別的分類的情況相比，更準確地進行缺陷類別的分類。

圖2是表示在本應用例的檢查管理系統9中進行的處理的流程的流程圖。檢查管理系統9首先，藉由測定系統而獲取表面反射圖像、背面反射圖像、透過圖像（步驟S101），且基於所述圖像，藉由缺陷檢測部931而進行缺陷的檢測（步驟S102）。其次，缺陷圖像儲存部933將缺陷圖像記錄於儲存裝置（步驟S103）。繼而，同一缺陷圖像合併部934自經記錄的缺陷圖像，將被檢查物中的缺陷的位置相同的多個圖像合併為一組同一缺陷圖像組（步驟S104）。其次，缺陷計數部935按每個規定的檢查單位，對同一缺陷圖像組的組數進行計數，算出每個所述檢查單位的缺陷數量（步驟S105）。此處，缺陷數量警告部936判定在步驟S105中算出的缺陷數量是否超過規定值（臨限值）（步驟S106），當判定為超過時，通知此情況（步驟S107），而進入至步驟S108。另一方面，當判定為缺陷數量不超過規定值時，直接進入至步驟S108。然後，在步驟S108中，缺陷類別分類部937對合併為同一缺陷圖像組的缺陷圖像資料的缺陷類別進行分類，並且記錄而結束一系列的處理。再者，自缺陷數量的測量至缺陷數量超過規定值時的通知（步驟S105至步驟S107）為止的處理與步驟S108的處理亦可調換順序。

藉由如上所述的本應用例的檢查管理系統9的結構，可將表示同一缺陷的多個缺陷圖像資料設為組，而進行計數、缺陷類別分類，故可減少因各別地管理表示同一缺陷的多個缺陷圖像資料而導致的弊端（例如，進行對同一缺陷進行重複計數的精度低的缺陷類別的分類等）。

＜實施例＞
以下，對用以實施本發明的形態的一例作進一步詳細說明。但是，所述實施例中所述的構成零件的尺寸、材質、形狀、其相對配置等只要未作特別揭示，其主旨並非將本發明的範圍僅限定於該些。

（系統結構）
圖3是示意性地表示本實施例的檢查管理系統1的結構例的圖。如圖3所示，本實施例的檢查管理系統1包括外觀檢查裝置2及檢查管理裝置3，作為主要結構。

（外觀檢查裝置）
外觀檢查裝置2是獲取片材狀的物品的外觀圖像，並基於所述圖像，進行缺陷的檢測的裝置，包括照明系統、測定系統、運送機構（未圖示）及控制終端23，作為主要結構。

被檢查物T是藉由未圖示的運送機構，而沿水平方向（箭頭方向）運送，在其運送過程中藉由測定系統而連續地獲取被檢查物T的外觀圖像，並基於此而實施檢查。被檢查物T形成為片材狀，例如可例示紙、布、薄膜等。又，並不限於單一原材料，亦可為如使薄膜與不織布黏合而成的包裝紙等，具有多層的片材體。又，亦可為乾燥海苔等食品。

照明系統包括對被檢查物T的表面照射可見光（例如白色光）的表面反射光源211、對被檢查物T的表面照射可見光的背面反射光源212、以及對被檢查物T的背面照射可見光的透過光源213。在該些各光源中，例如亦可使用發光二極體（light-emitting diode，LED）照明等。

測定系統包括：表面反射光相機221，拍攝自表面反射光源211照射並經被檢查物T的表面反射的光（以下稱為表面反射光）；背面反射光相機222，拍攝自背面反射光源212照射並經被檢查物T的背面反射的光（以下稱為背面反射光）；以及透過光相機223，拍攝自透過光源213照射並透過被檢查物T的光。再者，構成測定系統的各相機相當於本發明中的拍攝元件。

各相機可使用可探測各自所拍攝的光的受光感測器、透鏡、以及作為訊號輸出部感測器的例如CCD感測器或CMOS感測器。

控制終端23對照明系統、測定系統、運送機構進行控制，並且進行各種資訊的處理。作為硬體結構，包括輸入輸出裝置、處理器、儲存裝置等，作為功能模組，包括缺陷檢測部231、缺陷位置確定部232、缺陷圖像儲存部233。

缺陷檢測部231基於自測定系統的各相機輸入的圖像訊號，進行被檢查物T中所含的缺陷的檢測。缺陷的檢測是藉由判定例如自拍攝到的圖像獲得的特徵量是否超出規定的臨限值而進行。在特徵量中，例如可使用亮度等，亦可使用明度、彩度、色相等。

在本實施例中，針對表面反射光相機221所拍攝的圖像（以下稱為表面反射圖像）、背面反射光相機222所拍攝的圖像（以下稱為背面反射圖像）及透過光相機223所拍攝的圖像（以下稱為透過圖像），分別進行特徵量的判定。

缺陷位置確定部232在自被檢查物T檢測出缺陷時，確定所述缺陷位於被檢查物T的哪個部位。位置的確定例如可基於預先規定的被檢查物T的運送速度、相機的設置位置、被檢查物T的大小以及自檢查開始的經過時間而進行。

缺陷圖像儲存部233在檢測出缺陷時，將藉由各相機而拍攝到的所述缺陷的圖像（以下稱為缺陷圖像）與缺陷位置確定部232所確定的所述缺陷的位置的資訊相關聯而記錄於儲存裝置（以下將經記錄的資料稱為缺陷圖像資料）。又，亦可設為不僅將檢測出缺陷的拍攝方式的圖像，而且將其他拍攝方式的相對應的部位的圖像亦記錄於儲存裝置。

（檢查管理裝置）
所述外觀檢查裝置2經由網路（區域網路（local area network，LAN））與檢查管理裝置3連接。檢查管理裝置3是自外觀檢查裝置2獲取檢查的資訊，並進行所述資訊的處理的裝置，包括包含中央處理單元（central processing unit，CPU）（處理器）、主儲存裝置（記憶體）、輔助儲存裝置（硬碟等）、輸入裝置（鍵盤、滑鼠、控制器、觸控面板（touch panel）等）、輸出裝置（液晶顯示器、揚聲器、印表機（printer）等）等的通用的電腦系統。

再者，檢查管理裝置3既可包括一台電腦，亦可包括多台電腦。或者，亦可在外觀檢查裝置2的控制終端23上，安裝檢查管理裝置3的全部或一部分功能。或者，亦可藉由網路上的伺服器（雲伺服器（cloud server）等）來實現檢查管理裝置3的一部分功能。

本實施例的檢查管理裝置3的CPU包括同一缺陷圖像合併部31、缺陷類別分類部32、教師資料註冊部33、缺陷類別計數部34及缺陷類別缺陷數量警告部35，作為功能模組。

同一缺陷圖像合併部31自外觀檢查裝置2獲取缺陷圖像資料，將被檢查物T中的缺陷的位置相同的多個缺陷圖像合併為一組同一缺陷圖像組。以如上所述的方式形成為組的多個缺陷圖像是作為一組而記錄於儲存裝置，在向顯示裝置的顯示、各種資料分析等時，被一體地處理。

缺陷類別分類部32按缺陷類別對合併為同一缺陷圖像組的缺陷圖像資料進行分類。所分類的缺陷的類別可由使用者任意設定，例如，既可設置異物混入、污垢、褶皺、孔之類的類別，亦可分類成更細的類別（例如，蟲、木片、金屬異物、油垢、水垢、大孔、小孔等）。

作為對缺陷類別進行分類的方法，既可基於針對表面反射圖像、背面反射圖像、透過圖像中的任一圖像的特徵量進行，亦可藉由各圖像的缺陷部位的特徵量的對比而進行，又，亦可藉由在各個檢查方式中是否檢測出缺陷、檢測的方式的組合等而進行。又，亦可使該些方法組合起來而進行分類。

在本實施例中，缺陷類別分類部32是結合利用學習完畢模型的推論處理而進行缺陷類別的分類，所述學習完畢模型是藉由深層學習的方法而生成。再者，關於缺陷類別分類處理的流程，將在後文描述。

教師資料註冊部33具有受理用以使缺陷類別分類部32的人工智慧進行深層學習的教師資料的註冊的功能，在顯示裝置中顯示構成同一缺陷圖像組的多個缺陷圖像之後，對使用者請求輸入與所述同一缺陷圖像組相對應的缺陷類別。

缺陷類別計數部34按每個類別對缺陷類別分類後的同一缺陷圖像組的數量進行計數，算出每個規定的檢查單位的各個缺陷類別的缺陷數量。此處，所謂規定的檢查單位，既可為規定數（例如，一卷、一批次、數批次），亦可為規定時間（例如，一天、一週、一個月）。

缺陷類別缺陷數量警告部35判定缺陷類別計數部所算出的每個缺陷類別的缺陷數量是否超過針對每個所述缺陷類別而規定的規定值，當判定為存在超過所述規定值而算出缺陷數量的缺陷類別時，將此情況自輸出裝置輸出而通知給使用者。此處，所謂藉由輸出裝置而進行的輸出，例如，既可為藉由顯示裝置而顯示，亦可為自揚聲器發出警報聲，亦可為藉由印表機而印刷。又，亦可併用該些裝置而進行通知。此外，缺陷類別缺陷數量警告部35亦可設為亦一併通知超過規定值的缺陷的類別。

（缺陷類別分類的處理的流程）
其次，基於圖4，說明缺陷類別分類部32對缺陷類別進行分類時的處理的流程。圖4是表示本實施例中的缺陷類別分類的處理的流程的流程圖。

缺陷類別分類部32首先，藉由成為對象的同一缺陷圖像組中的表面反射圖像、背面反射圖像、透過圖像的缺陷檢測有無的組合而對缺陷類別進行分類（步驟S201）。根據缺陷類別，存在必須藉由特定的檢查方式而檢測、或者藉由特定的檢測方式無法檢測的情況，因此可在組中所含的各檢查方式的圖像的有無（即在檢查時是否檢測出缺陷）的組合條件下，進行缺陷類別的判別。再者，當記錄缺陷圖像資料時，在不僅將檢測出缺陷的拍攝方式的圖像，而且將其他拍攝方式的相對應的部位的圖像亦記錄於儲存裝置的情況下，只要對各圖像賦予缺陷檢測有無的識別資訊，即可利用所述識別資訊的組合進行同樣的處理。當在步驟S201中已完成缺陷類別的分類時結束處理，當未完成分類時，進入至步驟S203（步驟S202）。

在步驟S203中，缺陷類別分類部32進行利用規定的特徵量的缺陷類別分類。具體而言，當同一缺陷圖像組中所含的缺陷圖像之中，即便存在一個符合所述特徵量判定的條件的圖像時，同一缺陷圖像組即分類為屬於所述缺陷類別。例如，當關於透過圖像，亮度的峰值位準（peak level）為100以上（最高值為255），且表示所述缺陷的面積為1 mm² 以上時，同一缺陷圖像組的缺陷類別分類為孔。當步驟S203中已完成缺陷類別的分類時結束處理，當未完成分類時，進入至步驟S205（步驟S204）。

在步驟S205中，缺陷類別分類部32針對同一缺陷圖像組，預先按每個檢查方式利用藉由深層學習的方法而生成的學習完畢推論模型進行缺陷類別分類。具體而言，利用與表面反射圖像、背面反射圖像、透過圖像的各圖像相對應的檢查方式的學習完畢模型而進行推論，算出各缺陷類別的判定準確率（即，作為規定的缺陷類別的準確率）。然後，將組中所含的所有圖像的各缺陷類別的判定準確率之中、值最大的缺陷類別，分類為所述同一缺陷圖像組的缺陷類別。再者，當組中所含的圖像中，無超過規定的判定準確率（例如50%）的缺陷類別時，將缺陷類別分類為「不詳」。當在步驟S205中將缺陷類別分類為「不詳」時，進入至步驟S207，當分類為除此以外的缺陷類別時，結束處理（步驟S206）。

在步驟S207中，將缺陷類別被分類為不詳的同一缺陷圖像組的圖像顯示於顯示裝置之後，對使用者進行促使確認的警告，並結束分類處理。藉由如上所述的結構，使用者可自大量存在的圖像之中判斷應優先確認的圖像。

又，所述分類的結果亦可進而用作推論模型的教師資料。即使是最終類別被分類為「不詳」的同一缺陷圖像組，亦可用作教師資料。具體而言，當所述步驟S207的警告之後，使用者對所述組進行確認，若判定準確率最高的缺陷類別與實際的缺陷相一致，便追加同一缺陷圖像組中所含的圖像作為所述缺陷的教師資料。另一方面，當與判定準確率最高的缺陷類別不同的缺陷類別是實際的缺陷時，將同一缺陷圖像組中所含的圖像註冊為所述其他缺陷的教師資料。藉由如上所述的方式，可保存更正確的教師資料。

又，藉由教師資料註冊部33的功能，當註冊教師資料時，一次並列地顯示表示同一缺陷的藉由多種檢查方式而獲得的圖像，統一受理缺陷類別的輸入，因此可準確而高效率地將缺陷圖像資料註冊為教師資料。藉由基於以如上所述的方式而註冊的正確的教師資料而學習，可製作判定精度更高的學習完畢模型。

＜變形例＞
再者，在所述實施例的缺陷類別分類的處理中，是進行藉由特徵量的缺陷類別分類之後（步驟S203），進行藉由學習完畢推論模型的缺陷類別分類（步驟S205），但亦可調換該些處理的順序。

又，在所述實施例中，是使用藉由深層學習的方法而生成的推論模型，但亦可使用藉由其他機械學習的方法而生成的模型。此外，亦可結合藉由多個機械學習的方法而生成的模型來進行分類處理。

又，在所述實施例中，檢查管理裝置3是包含對缺陷類別分類後的同一缺陷圖像組的數量進行計數的缺陷類別計數部34的結構，但亦可取代此結構，而包括對缺陷類別分類前的同一缺陷圖像組進行計數的缺陷數量測量部。又，此時，亦可進而包括缺陷數量警告部，所述缺陷數量警告部判定所述缺陷數量測量部所算出的缺陷數量是否超過規定值，當超過時，經由輸出裝置將此情況通知給使用者。

又，在所述實施例中，照明系統的光源是全部照射可見光的構件，測定系統包含與光源的數量相同的數量的相機，但照明系統、測定系統的結構不一定限於此。例如，既可將光源的一部分或全部設為紅外線，亦可設為在測定系統的相機中設置分光稜鏡，可利用一台相機檢測多個不同波長的光的結構。又，亦可設為不獲取表面反射圖像、背面反射圖像、透過圖像中的任一者的結構。

＜其他＞
所述實施例的說明僅為例示性地說明本發明，本發明並不限定於所述具體的形態。本發明在其技術思想的範圍內可進行各種變形。例如在所述各例中，是對照明系統及測定系統進行固定，而使被檢查物T移動，但亦可取代此結構，而使被檢查物T固定，使照明系統及測定系統移動。

本發明的一個形態是一種用以檢查片材狀的被檢查物的檢查管理系統（1），其包括：外觀檢查部（2），包括藉由不同方式而拍攝所述被檢查物（T）的外觀的多個拍攝元件（221、222、223）、以及基於藉由所述多個拍攝元件所拍攝的各個圖像而檢測所述被檢查物的缺陷的檢測元件（231）；儲存部，針對所述多種不同方式的拍攝元件，分別記錄拍攝了藉由所述檢測元件所檢測出的缺陷的缺陷圖像資料；以及檢查管理部（3），包括同一缺陷圖像合併元件（31），所述同一缺陷圖像合併元件（31）是將所述儲存部中所記錄的所述缺陷圖像資料的集合之中、拍攝了所述被檢查物中的同一缺陷的多個缺陷圖像資料，作為一個同一缺陷圖像組而處理。

又，本發明的另一形態是一種管理片材狀的被檢查物的外觀檢查的方法，其包括：第一步驟（S101），藉由兩種以上的不同方式而拍攝所述被檢查物；第二步驟（S102），基於所述第一步驟中所拍攝的藉由多種不同的拍攝方式而獲得的被檢查物的圖像，檢測所述被檢查物的缺陷；第三步驟（S103），記錄拍攝了所述第二步驟中所檢測出的缺陷的缺陷圖像資料；第四步驟（S104），將所述第三步驟中所記錄的缺陷圖像資料的集合之中、拍攝了所述被檢查物中的同一缺陷的多個缺陷圖像資料，合併為一個同一缺陷圖像組；以及第五步驟（S105），按每個規定的檢查單位，對所述第四步驟中所合併的同一缺陷圖像組的數量進行計數，而算出缺陷數量。

1、9‧‧‧檢查管理系統

2‧‧‧外觀檢查裝置（外觀檢查部）

3‧‧‧檢查管理裝置（檢查管理部）

23、93‧‧‧控制終端

31‧‧‧同一缺陷圖像合併部（同一缺陷圖像合併元件）

934‧‧‧同一缺陷圖像合併部

32、937‧‧‧缺陷類別分類部

33‧‧‧教師資料註冊部

34‧‧‧缺陷類別計數部

35‧‧‧缺陷類別缺陷數量警告部

211、911‧‧‧表面反射光源

212、912‧‧‧背面反射光源

213、913‧‧‧透過光源

221‧‧‧表面反射光相機（拍攝元件）

222‧‧‧背面反射光相機（拍攝元件）

223‧‧‧透過光相機（拍攝元件）

231‧‧‧缺陷檢測部（檢測元件）

931‧‧‧缺陷檢測部

232、932‧‧‧缺陷位置確定部

233、933‧‧‧缺陷圖像儲存部

922‧‧‧背面拍攝相機

935‧‧‧缺陷計數部

936‧‧‧缺陷數量警告部

921‧‧‧表面拍攝相機

S101～S108、S201～S207‧‧‧步驟

T‧‧‧被檢查物

圖1是示意性地表示應用例的檢查管理系統的結構例的圖。

圖2是表示應用例的檢查管理系統中所進行的處理的流程的流程圖。

圖3是示意性地表示實施例的檢查管理系統的結構例的圖。

圖4是表示實施例中的缺陷類別的分類的處理的流程的流程圖。

Claims

一種檢查管理系統，用以管理片材狀的被檢查物的檢查，所述檢查管理系統包括：外觀檢查部，包括藉由不同方式而拍攝所述被檢查物的外觀的多個拍攝元件、以及基於藉由所述多個拍攝元件所拍攝的各個圖像來檢測所述被檢查物的缺陷的檢測元件；儲存部，針對所述不同方式的所述多個拍攝元件，分別記錄拍攝了藉由所述檢測元件所檢測出的所述缺陷的缺陷圖像資料；以及檢查管理部，包括同一缺陷圖像合併元件，所述同一缺陷圖像合併元件是將所述儲存部中所記錄的所述缺陷圖像資料的集合之中、拍攝了所述被檢查物中的同一缺陷的多個所述缺陷圖像資料作為一個同一缺陷圖像組來處理。
如申請專利範圍第1項所述的檢查管理系統，其中所述檢查管理部進而包括：缺陷計數元件，對所述同一缺陷圖像組的數量進行計數，並按每個規定的檢查單位，計算缺陷數量。
如申請專利範圍第2項所述的檢查管理系統，其中進而包括：輸出部；且所述檢查管理部進而包括：缺陷數量警告元件，當算出的所述缺陷數量超過規定值時，經由所述輸出部通知此情況。
如申請專利範圍第1項所述的檢查管理系統，其中所述檢查管理部進而包括：缺陷類別分類元件，針對每個所述同一缺陷圖像組，對所述缺陷的類別進行分類。
如申請專利範圍第4項所述的檢查管理系統，其中所述檢查管理部進而包括：缺陷類別計數元件，針對藉由所述缺陷類別分類元件而分類的每個缺陷類別對所述同一缺陷圖像組的數量進行計數，並按每個規定的檢查單位，計算每個缺陷類別的缺陷數量。
如申請專利範圍第5項所述的檢查管理系統，其中包括：輸出部；且所述檢查管理部進而包括缺陷類別缺陷數量警告元件，所述缺陷類別缺陷數量警告元件是在算出的每個缺陷類別的缺陷數量超過針對每個缺陷類別而規定的規定值時，經由所述輸出部通知此情況。
如申請專利範圍第4項至第6項中任一項所述的檢查管理系統，其中所述缺陷類別分類元件包括藉由深層學習的方法而學習完畢的推論元件。
如申請專利範圍第7項所述的檢查管理系統，其中進而包括：顯示部；且所述檢查管理部進而包括：深層學習用教師資料註冊元件，使所述顯示部，針對每個所述同一缺陷圖像組同時顯示構成所述同一缺陷圖像組的所述缺陷圖像資料，對使用者請求註冊與經顯示的所述缺陷圖像資料的組相對應的缺陷類別。
如申請專利範圍第4項所述的檢查管理系統，其中當無法以規定的精度以上的準確度進行所述同一缺陷圖像組的缺陷類別的分類時，所述缺陷類別分類元件將關於所述同一缺陷圖像組的缺陷類別分類為不詳。
如申請專利範圍第9項所述的檢查管理系統，其中所述缺陷類別分類元件針對將缺陷類別分類為不詳的所述同一缺陷圖像組，對使用者請求進行缺陷類別的分類。
如申請專利範圍第1項所述的檢查管理系統，其中藉由所述不同方式而拍攝所述被檢查物的外觀的所述多個拍攝元件包括：拍攝由經所述被檢查物的第一面反射的反射光所形成的圖像的表面拍攝元件、拍攝由經所述被檢查物的與所述第一面為相反側的第二面反射的反射光所形成的圖像的背面拍攝元件、以及拍攝由透過所述被檢查物的透過光所形成的圖像的透過光拍攝元件之中的任兩個以上。
如申請專利範圍第1項所述的檢查管理系統，其中藉由所述不同方式而拍攝所述被檢查物的外觀的所述多個拍攝元件包括：第一波長拍攝元件，藉由第一波長的光而拍攝所述被檢查物；以及第二波長拍攝元件，藉由與所述第一波長不同的波長的光而拍攝所述被檢查物。
如申請專利範圍第1項所述的檢查管理系統，其中所述同一缺陷圖像合併元件是將所述被檢查物中的所述缺陷的位置相同的多個不同的所述缺陷圖像資料合併為一個同一缺陷圖像組。
一種檢查管理裝置，藉由不同的多種拍攝方式對片材狀的被檢查物的外觀進行拍攝並對所獲取的缺陷圖像資料進行處理，所述檢查管理裝置包括：同一缺陷圖像合併元件，自所述缺陷圖像資料的集合，將拍攝了所述被檢查物中的同一缺陷的多個所述缺陷圖像資料作為一個同一缺陷圖像組來處理。
一種檢查管理方法，管理片材狀的被檢查物的外觀檢查，所述檢查管理方法包括：第一步驟，藉由兩種以上的不同方式而拍攝所述被檢查物；第二步驟，基於在所述第一步驟中所拍攝的藉由多種不同的拍攝方式而獲得的被檢查物的圖像，檢測所述被檢查物的缺陷；第三步驟，記錄拍攝了在所述第二步驟中所檢測出的所述缺陷的缺陷圖像資料；第四步驟，將在所述第三步驟中所記錄的所述缺陷圖像資料的集合之中、拍攝了所述被檢查物中的同一缺陷的多個所述缺陷圖像資料，合併為一個同一缺陷圖像組；以及第五步驟，按每個規定的檢查單位，對在所述第四步驟中所合併的所述同一缺陷圖像組的數量進行計數，算出缺陷數量。
如申請專利範圍第15項所述的檢查管理方法，其中進而包括：第六步驟，當在所述第五步驟中算出的所述缺陷數量超過規定值時，通知此情況。