TWI823261B - 支援裝置以及支援方法 - Google Patents

支援裝置以及支援方法 Download PDF

Info

Publication number
TWI823261B
TWI823261B TW111106115A TW111106115A TWI823261B TW I823261 B TWI823261 B TW I823261B TW 111106115 A TW111106115 A TW 111106115A TW 111106115 A TW111106115 A TW 111106115A TW I823261 B TWI823261 B TW I823261B
Authority
TW
Taiwan
Prior art keywords
type
abnormality
learning
defect
types
Prior art date
Application number
TW111106115A
Other languages
English (en)
Other versions
TW202300898A (zh
Inventor
枦山幸
Original Assignee
日商歐姆龍股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商歐姆龍股份有限公司 filed Critical 日商歐姆龍股份有限公司
Publication of TW202300898A publication Critical patent/TW202300898A/zh
Application granted granted Critical
Publication of TWI823261B publication Critical patent/TWI823261B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Textile Engineering (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Load-Engaging Elements For Cranes (AREA)

Abstract

支援裝置對判定異常的種類的判定檢查進行支援，其包括：分類處理部，根據拍攝圖像算出被檢查物所產生的異常的特徵量，且將所算出的特徵量分類為多個類型；及學習判別部，針對異常的各種類包括學習判別器，學習判別器藉由將誘發異常的要素圖像、與以要素圖像為正解的異常的種類加以組合而成的組資料，學習判別基準，所述判別基準對判別對象的異常為正解的種類、或為正解的種類以外進行判別，學習判別部基於針對異常的各種類學習了判別基準的學習判別器的各個判別結果，對與藉由分類處理部所選定的處理對象的類型相關的異常的種類進行判別。

Description

支援裝置以及支援方法
本發明是有關於一種對片狀的被檢查物的異常部位進行檢測的技術。
於用以製造或加工片狀物品(以下亦稱為「片材製品」，亦簡稱為「片材」)的生產線中，利用如下檢查裝置：對片材照射可見光或紫外光，利用相機拍攝其透過光或反射光，使用藉此獲得的圖像，對片材上的異常部位(雜質混入、污垢、皺褶等)進行檢測(例如參照專利文獻1)。
於現有的檢查裝置中，雖然能夠檢測片材上的異常部位，但無法詳細判別所檢測出者為何種異常。因此，是將檢測出異常部位的片材廢棄還是設為降級品，先前不得不採取轉為藉由目視的詳細檢查的處理。然而，實際上，片材可能產生的異常(以下亦將片材上產生的異常稱為「缺陷」)中存在各種各樣者，根據製品的種類、用途、材質等，亦存在可不設為不良者。
伴隨近年的資訊處理技術的發展，業界正嘗試使用人工智慧(Artificial Intelligence，AI)(例如機械學習、深層學習等)對所檢測到的片材上的缺陷為何種缺陷進行分類(多類分類)，而置換先前與藉由人工進行的片材製品的出貨判斷相關的目視檢查。 於進行多類分類的AI(以下亦稱為「多類分類AI」)中，例如基於預先學習的缺陷圖像及正解的缺陷種類，對針對缺陷部位的圖像的氣泡、孔、蟲、雜質、皺褶、纖維等多種類的缺陷種類進行識別。然而，多類分類AI的缺陷種類的識別中，由於AI的學習用對於全部缺陷種類的每一種需要「缺陷圖像+正解的缺陷種類」的組資料，故而存在無法識別檢測頻度低的缺陷種類的情形。因此，例如亦存在於具有不同於所學習的蟲的圖像的特徵的蟲等的圖像中識別為雜質或孔的情形。進而，於進行多類分類的過程中，存在需要用以將演算法內的網路結構或參數進行最佳化的調整之類的技術性課題。又，關於多類分類AI的缺陷種類的識別，若使用新的學習資料進行重新學習，則結果存在輸出不穩定等方面，現狀是於最終的出貨判斷中進行目視檢查。
[現有技術文獻]
[專利文獻]
[專利文獻1]日本專利特開2010-8174號公報(日本專利第4950951號公報)
本發明是鑒於如上所述的情況而完成，其目的在於提供一種能夠使用AI處理穩定地判別片材製品所產生的缺陷的多種類的缺陷種類的技術。
用以解決所述課題的揭示的技術的一形態是一種支援裝置，對判定檢查進行支援，所述判定檢查是根據被檢查物的拍攝圖像檢測所述被檢查物所產生的異常，並對檢測到的所述異常的種類進行判定，其中所述支援裝置包括：分類處理部，根據所述拍攝圖像算出所述被檢查物所產生的異常的特徵量，並且將所算出的所述特徵量分類為多個類型，自所述多個類型中，將使用學習判別部判別異常的種類的處理對象的類型選定為一個以上；以及所述學習判別部，針對所述異常的各種類包括學習判別器，所述學習判別器藉由將誘發所述異常的要素圖像、與以所述要素圖像為正解的異常的種類加以組合而成的組資料，學習判別基準，所述判別基準對判別對象的異常為所述正解的種類、或為所述正解的種類以外進行判別，所述學習判別部基於針對所述異常的各種類學習了判別基準的學習判別器的各個判別結果，對與藉由所述分類處理部所選定的處理對象的類型相關的異常的種類進行判別。
藉此，作為支援裝置的檢查支援裝置10可篩選應用單類型AI處理的一種以上特徵模式作為利用單類型AI處理的缺陷種類的判別前的預處理。由於可事先減少與片材製品中所檢測到的異常部位的缺陷種類的判別相關的特徵量，故而能夠相對減輕與使用單類型AI處理的判別相關的處理負擔。並且，作為學習判 別部的單類型AI處理部30可包括作為學習判別器的多個單類型AI處理器(30a至30n)。於單類型AI處理器中，準備用以判別單一的缺陷種類的資料組(「缺陷圖像+正解的缺陷種類」)作為學習資料即可，無需如進行多類分類的AI處理器般將針對全部缺陷種類的「缺陷圖像+正解的缺陷種類」的組資料大量累積於資料庫。又，於單類型AI處理中，例如只要能夠將單一的缺陷種類與其以外加以判別即可，因此無需如多類AI處理般構建複雜的網路結構，亦無須參數的精細的調整。因此，對作業者亦不要求高度的技能。進而，由於所判別的缺陷種類單一，故而即便學習新的組資料，亦不會影響到其他缺陷種類的判別，於重新學習後亦可獲得穩定的判別結果。根據檢查支援裝置10，可提供一種能夠使用AI處理穩定地判別片材製品所產生的缺陷的多種類的缺陷種類的技術。
又，於揭示的技術的一形態中，可為所述學習判別部包括：第一學習判別器，學習了判別第一異常的判別基準；以及第二學習判別器，學習了判別第二異常的判別基準，以所述多個類型中的一個類型作為處理對象，於所述第一學習判別器的判別結果判別到第一異常、且所述第二學習判別器的判別結果判別到第二異常以外的種類時，將所述類型的異常的種類判別為所述第一異常。可將單類型AI處理器的判別結果加以組合，而提高對使各單類型AI學習的缺陷種類的判別精度。
又，於揭示的技術的一形態中，可為以所述多個類型中 的一個類型作為處理對象，於所述第一學習判別器的判別結果判別到第一異常以外的種類、且所述第二學習判別器的判別結果判別到第二異常時，將所述類型的異常的種類判別為所述第二異常。即便為此種形態，亦可將單類型AI處理器的判別結果加以組合，而提高對使各單類型AI學習的缺陷種類的判別精度。
又，於揭示的技術的一形態中，可為以所述多個類型中的一個類型作為處理對象，於所述第一學習判別器的判別結果判別到第一異常、且所述第二學習判別器的判別結果判別到第二異常時，或於所述第一學習判別器的判別結果判別到第一異常以外的種類、且所述第二學習判別器的判別結果判別到第二異常以外的種類時，將所述類型的異常的種類的判別交付於所指定的處理。藉此，可將單類型AI處理器的判別結果加以組合，而自缺陷種類的判別對象排除該缺陷部位的特徵量。由於能夠將利用單類型AI處理獲得的判別結果加以組合並調停，故而可減輕與缺陷種類的判別相關的處理負擔，而能夠縮短線上時的處理時間。可將單類型AI處理器的判別結果加以組合，而提高對使各單類型AI學習的缺陷種類的判別精度。
又，於揭示的技術的一形態中，可為所述分類處理部將判別所述異常的種類的類型的特徵量進而分類為多個子類型。藉此，由於可使用單類型AI處理將所判別的缺陷種類的特徵量進而分類為子類型，故而可實現對藉由單類型AI處理判別缺陷種類的片材製品的製品種類進行識別的分級。
又，揭示的技術的其他一形態是一種支援裝置的電腦所執行的支援方法，所述支援裝置對判定檢查進行支援，所述判定檢查是根據被檢查物的拍攝圖像檢測所述被檢查物所產生的異常，並對所述檢測到的異常的種類進行判定，其中所述支援方法包括：根據所述拍攝圖像算出所述被檢查物所產生的異常的特徵量，並且將所算出的所述特徵量分類為多個類型，自所述多個類型中選定規定的類型；針對所述異常的各種類，藉由將誘發所述異常的要素圖像與以所述要素圖像為正解的異常的種類加以組合而成的組資料，學習判別基準，所述判別基準對判別對象的異常為所述正解的種類、或為所述正解的種類以外進行判別；以及基於藉由所學習的所述異常的各種類的判別基準所判別的各個判別結果，對與所述規定的類型相關的異常的種類進行判別。
即便為此種形態，作為支援裝置的檢查支援裝置10亦可使作為學習判別部的單類型AI處理部30包括作為學習判別器的多個單類型AI處理器(30a至30n)。於單類型AI處理器中，準備用以判別單一的缺陷種類的資料組(「缺陷圖像+正解的缺陷種類」)作為學習資料即可，無需如進行多類分類的AI處理器般將針對全部缺陷種類的「缺陷圖像+正解的缺陷種類」的組資料大量累積於資料庫。又，於單類型AI處理中，例如只要能夠將單 一的缺陷種類與其以外加以判別即可，因此無需如多類AI處理般構建複雜的網路結構，亦無須參數的精細的調整。因此，對作業者亦不要求高度的技能。進而，由於所判別的缺陷種類單一，故而即便學習新的組資料，亦不會影響到其他缺陷種類的判別，於重新學習後亦可獲得穩定的判別結果。根據檢查支援裝置10，可提供一種能夠使用AI處理穩定地判別片材製品所產生的缺陷的多種類的缺陷種類的技術。
根據本發明，可提供一種能夠使用AI處理穩定地判別片材製品所產生的缺陷的多種類的缺陷種類的技術。
1:檢查支援系統
2:被檢查物(片材、片材製品)
3a:可見光源
3b:透過光用可見光源
4:拍攝裝置
5:處理裝置
10:檢查支援裝置
11:控制部
12:檢測資料DB
13:特徵量分類DB
14:學習資料DB
20:特徵量分類處理部
30:單類型AI處理部
30a-30n:單類型AI處理器
51:訊號處理部
52:檢測臨限值記憶部
53:異常檢測部
54:判定臨限值記憶部
55:判定部
56:輸出部
90:矩形框
101:處理器
102:主記憶裝置
103:輔助記憶裝置
104:通訊IF
105:輸入輸出IF
106:連接匯流排
N:通訊網路
S101~S114:步驟
圖1是表示實施例1的檢查支援系統的概略結構的方塊圖。
圖2是表示實施例1的檢查支援裝置的硬體結構的一例的圖。
圖3是對比較例的使用進行多類分類的AI的缺陷種類的判別處理進行說明的圖。
圖4是對實施例1的單類型AI處理器的判別處理進行說明的圖。
圖5是表示實施例1的檢查支援裝置的缺陷種類的判定處理的一例的流程圖。
圖6的(a)及圖6的(b)是對實施例1中的判別結果的調 停進行說明的圖。
圖7是表示變形例1的檢查支援裝置的缺陷種類的判定處理的一例的流程圖。
圖8是表示變形例2的檢查支援裝置的缺陷種類的判定處理的一例的流程圖。
〔應用例〕
以下，參照圖式對本揭示的技術的應用例進行說明。
圖1是表示應用例的檢查支援系統1的概略結構的方塊圖。本應用例中的檢查支援系統1是對判別根據片狀物品(以下亦稱為「片材製品」，亦簡稱為「片材」)的拍攝圖像而檢測到的異常部位為何種異常進行支援的系統。藉由檢查支援系統1，使用單類型AI處理器(30a至30n)分別判別引起片材製品可能產生的異常(以下亦稱為「缺陷」)的要因(例如雜質混入、污垢、皺褶等)的種類。
本應用例的檢查支援系統1包括經由通訊網路N與處理裝置5連接的檢查支援裝置10。檢查支援裝置10是對連接於通訊網路N的處理裝置5的判別異常(以下亦將自片材檢測到的異常稱為「缺陷」)的種類的功能進行支援的電腦。檢查支援裝置10於控制部11中包括特徵量分類處理部20、及單類型AI處理部30。又，檢查支援裝置10包括檢測資料資料庫(data base，DB)12、特徵量分類DB13、及學習資料DB14。於檢測資料DB12中儲存 經由通訊網路N自處理裝置5發送的判定為存在異常檢測的拍攝圖像，用於離線處理。於特徵量分類DB中儲存與特徵量的分類相關的分類基準。於學習資料DB14中儲存用於各單類型AI處理器的學習的「缺陷圖像+正解的缺陷種類」成組的組資料。
於本應用例的檢查支援裝置10中，特徵量分類處理部20基於儲存於特徵量分類DB13中的分類基準，將所檢測到的缺陷部位的特徵量分類為多個類型。並且，單類型AI處理部30包括多個對藉由特徵量分類處理部20所分類的特徵量所屬的各類型的單一的缺陷種類進行判別的單類型AI處理器(30a至30n)。單類型AI處理部30對於藉由特徵量分類處理部20所分類的特徵量所屬的一部分類型，使用單類型AI處理部(30a至30n)對分類為該類型的缺陷種類進行識別。
如圖4所示，於本應用例的單類型AI處理器的判別中，將分類對象的圖像所包括的缺陷種類判別為藉由組資料所學習的缺陷種類與判別為該缺陷種類以外的情形時的分類外。此處，於多類分類AI中，如圖3所示，將分類對象的圖像所包括的缺陷種類按照藉由組資料所學習的多個缺陷種類的每一種進行分類。因此，如圖3的帶圈1所示，由於AI的學習用對於全部缺陷種類的每一種需要準備「缺陷圖像+正解的缺陷種類」的組資料，故而將用以分類6種缺陷種類的大量的學習資料累積於資料庫中。又，如帶圈2所示，需要自切下的缺陷部位的圖像提取用於分類6種缺陷種類的特徵量，並且根據所述圖像構建完成種類判別的模型 化的複雜的網路結構，而需要連接網路的節點間的加權等參數的精細的調整。於無法確保具有此種技能的技術人員的情形時，存在難以應用多類分類AI的情形。進而，每次學習，為完成缺陷種類的所述特徵量的提取或模型化等的基準會發生變化。例如，於學習缺陷種類「皺褶」的新的「缺陷圖像+正解的缺陷種類」時，會對用以判定其他種類的缺陷種類的基準造成影響，因此亦存在學習前被穩定地判別為「皺褶」的缺陷圖像被判定為「纖維」或「雜質」的頻度增加，而變得不穩定的情形。
於本應用例的單類型AI處理器中，準備用以判別單一的缺陷種類的資料組(「缺陷圖像+正解的缺陷種類」)作為學習資料即可，無需如進行多類分類的AI處理器般將針對全部缺陷種類的「缺陷圖像+正解的缺陷種類」的組資料大量累積於資料庫。又，於單類型AI處理中，例如只要能夠將單一的缺陷種類與其以外加以判別即可，因此無需如多類AI處理般構建複雜的網路結構，亦無須參數的精細的調整。因此，對作業者亦不要求高度的技能。進而，由於所判別的缺陷種類單一，故而即便學習新的組資料，亦不會影響到其他缺陷種類的判別，於重新學習後亦可獲得穩定的判別結果。根據本應用例的檢查支援裝置10，可提供一種能夠使用AI處理穩定地判別片材製品所產生的缺陷的多種類的缺陷種類的技術。
〔實施例1〕
以下，使用圖式進一步詳細地說明本揭示的技術的具體的實 施形態。
<系統結構>
圖1是表示實施例1的檢查支援系統1的概略結構的方塊圖。本實施例中的檢查支援系統1是對判別根據片狀物品(以下亦稱為「片材製品」，亦簡稱為「片材」)的拍攝圖像而檢測到的異常部位為何種異常進行支援的系統。藉由檢查支援系統1，使用單類型AI處理器(30a至30n)分別判別引起片材製品可能產生的異常(以下亦稱為「缺陷」)的要因(例如雜質混入、污垢、皺褶等)的種類。本實施例的檢查支援系統1包括經由通訊網路N與構成片材檢查裝置的處理裝置5相互連接的檢查支援裝置10。通訊網路N為有線、無線網路。通訊網路N可根據與所連接的機器的連接方式採用適當的結構。可於通訊網路N連接多個片材檢查裝置、多個檢查支援裝置10。
如圖1所示，片材檢查裝置包括對被檢查物2的上表面(第一面)照射可見光的可見光源3a、及對被檢查物2的下表面(第二面)照射可見光的透過光用可見光源3b作為照明系統。又，片材檢查裝置包括拍攝裝置4作為測定系統。可見光源3a與透過用可見光源3b以對被檢查物2的相同位置(但光照射到的面不同)照射光的方式配置，且拍攝裝置4以藉由自可見光源3a照射且於被檢查物2的上表面反射的光與自透過用可見光源3b照射且直進透過被檢查物2的光可拍攝被檢查物2的方式配置。照明系統及測定系統可設為如下結構：以能夠藉由拍攝裝置4拍攝被檢查物2 的寬度整體的方式，根據被檢查物2的寬度而沿著被檢查物2的寬度方向包括多個拍攝裝置4。片材檢查裝置包括處理裝置5，所述處理裝置5基於拍攝裝置4的輸出訊號，進行被檢查物2所包括的異常部位的檢測與異常的種類判別。片材檢查裝置具有如下功能：基於藉由拍攝裝置4所獲得的圖像對被檢查物2所包括的異常部位進行檢測，對所檢測到的異常的種類進行判別，並輸出其結果。
被檢查物2例如形成為片狀，沿著圖1的箭頭方向搬送。作為被檢查物2，可例示紙、膜、樹脂、纖維素等。又，被檢查物2亦可為二次電池所使用的隔板、液晶所使用的光學片材等。再者，於圖1所示的形態中，是將照明系統及測定系統固定，而使被檢查物2移動，亦可取而代之，將被檢查物2固定，而使照明系統及測定系統移動。照明系統可使用發光二極體(Light Emitting Diode，LED)等波長範圍受到限制者，或可使用利用波長濾波器限制波長範圍者。又，測定系統可使用例如包括串聯配置有光接收元件的電荷耦合(charge-coupled-device，CCD)影像感測器的拍攝裝置(相機)。於各光接收元件中，根據光接收量，光轉換為電荷。自各光接收元件輸出的電荷作為輸出訊號(拍攝資料)被輸入處理裝置5。
處理裝置5包括訊號處理部51、檢測臨限值記憶部52、異常檢測部53、判定臨限值記憶部54、判定部55、及輸出部56作為功能要素。於訊號處理部51中，對自拍攝裝置4輸出的拍攝 資料的訊號實施白色陰影處理，對構成拍攝裝置4的各光接收元件的輸出水準的偏差等進行修正。例如進行如下處理等：將根據4096畫素等一條線的量的畫素的各位置所確定的修正係數乘以符合的畫素，而消除因光學透鏡等的像差所產生的輸出水準的偏差。又，訊號處理部51亦可使用施加白色陰影後的輸出亮度值除以被檢查物2無異常的狀態下的輸出亮度值(通常值)所得的值即亮度比而求出拍攝圖像的亮度值。
異常檢測部53使用由檢測臨限值記憶部52所保持的用以檢測異常部位的臨限值，對被檢查物2所包括的異常部位進行檢測。例如，於檢測臨限值記憶部52中保持表示應判定為異常的畫素值的變化的程度的臨限值，異常檢測部53於自拍攝裝置4輸出的圖像的畫素值的變化的程度超過臨限值的情形時判定為異常。再者，由檢測臨限值記憶部所保持的臨限值可依照對應於被檢查物2的種類、用途、材質等的檢查基準等，由用戶等進行設定。判定部55基於由判定臨限值記憶部54所保持的用於判別異常的種類的處理的多個臨限值，於檢測到異常部位時，對該異常的種類進行判別。輸出部58具有輸出與異常部位相關的資訊的功能。典型而言，資訊的輸出目的地為液晶顯示器(liquid-crystal display，LCD)等顯示裝置，亦可向印表機輸出資訊，或自擴音器報告訊息或警報，或向外部的資訊處理裝置輸出資訊。於本實施例中，輸出部58經由連接於處理裝置5的通訊網路N將與異常部位相關的資訊發送至檢查支援裝置10。
本實施例的檢查支援裝置10是對連接於通訊網路N的處理裝置5的判別異常(以下亦將自片材檢測到的異常稱為「缺陷」)的種類的功能進行支援的電腦。檢查支援裝置10於控制部11包括特徵量分類處理部20、及單類型AI處理部30。又，檢查支援裝置10包括檢測資料DB(資料庫)12、特徵量分類DB13、及學習資料DB14。於檢測資料DB12中儲存經由通訊網路N自處理裝置5發送的判定為存在異常檢測的拍攝圖像，用於離線處理。於特徵量分類DB中儲存與特徵量的分類相關的分類基準。於學習資料DB14中儲存用於各單類型AI處理器的學習的「缺陷圖像+正解的缺陷種類」成組的組資料。再者，如細虛線的矩形框90所示，處理裝置5亦可為結構中包括該檢查支援裝置的功能的形態。
如下文所詳細說明，特徵量分類處理部20基於儲存於特徵量分類DB13中的分類基準，將所檢測到的缺陷部位的特徵量分類為多個類型。並且，單類型AI處理部30包括多個對藉由特徵量分類處理部20所分類的特徵量所屬的各類型的單一的缺陷種類進行判別的單類型AI處理器(30a至30n)。單類型AI處理部30對於藉由特徵量分類處理部20所分類的特徵量所屬的一部分類型，使用單類型AI處理部(30a至30n)對分類為該類型的缺陷種類進行識別。本實施例的檢查支援裝置10基於自輸出部58發送的與異常部位相關的資訊，藉由離線或線上將所述判別功能提供至處理裝置5。
<裝置結構>
圖2是表示本實施例的檢查支援裝置10的硬體結構的一例的圖。如圖2所示，檢查支援裝置10是包括藉由連接匯流排106相互連接的處理器101、主記憶裝置102、輔助記憶裝置103、通訊介面(interface，IF)104、輸入輸出IF105作為構成元件的電腦。主記憶裝置102及輔助記憶裝置103是檢查支援裝置10能夠讀取的記錄媒體。主記憶裝置102及輔助記憶裝置103構成檢查支援裝置10的記憶體。所述構成元件可分別設置多個，亦可不設置一部分構成元件。
處理器101是進行檢查支援裝置10整體的控制的中央處理運算裝置。處理器101例如為中央處理單元(Central Processing Unit，CPU)或數位訊號處理器(Digital Signal Processor，DSP)等。處理器101例如將記憶於輔助記憶裝置103中的程式以能夠執行的方式展開至主記憶裝置102的作業區域，藉由該程式的執行進行周邊機器的控制，藉此提供符合規定的目的的功能。於本實施例中，藉由程式的執行提供特徵量分類處理部20、單類型AI處理部30(30a至30n)、檢測資料DB12、特徵量分類DB13、學習資料DB14的各功能。各DB例如為藉由由檢查支援裝置10的處理器101所執行的資料庫管理系統(database management system，DBMS)的程式對記憶於輔助記憶裝置103等中的資料進行管理所構建的關聯式資料庫。再者，一部分或全部功能亦可藉由特殊應用積體電路(Application Specific Integrated Circuit，ASIC)、圖像處理單元(Graphics Processing Unit，GPU)等提供。 同樣地，一部分或全部功能亦可藉由現場可程式閘陣列(Field-Programmable Gate Array，FPGA)、數值運算處理器、向量處理器、圖像處理處理器等專用大型積體電路(large scale integration，LSI)、其他硬體電路實現。又，檢查支援裝置10可藉由單一的物理結構實現，亦可藉由互相聯合的多台電腦的結構實現。
主記憶裝置102記憶處理器101所執行的程式、該處理器所處理的資料等。主記憶裝置102包括快閃記憶體、隨機存取記憶體(Random Access Memory，RAM)或唯讀記憶體(Read Only Memory，ROM)。輔助記憶裝置103將各種程式及各種資料以自由讀寫的方式儲存於記錄媒體。輔助記憶裝置103亦稱為外部記憶裝置。於輔助記憶裝置103中儲存例如操作系統(Operating System，OS)、各種程式、各種表等。OS例如包括與經由通訊IF104所連接的外部裝置等進行資料的傳送的通訊介面程式。外部裝置等例如為連接於通訊網路N的處理裝置5、資訊處理終端等電腦、外部記憶裝置等。
輔助記憶裝置103作為輔助主記憶裝置102的記憶區域而使用，記憶處理器101所執行的程式、處理器101所處理的資料等。輔助記憶裝置103為包括不揮發性半導體記憶體(快閃記憶體、可抹除可程式ROM(Erasable Programmable ROM，EPROM))的矽碟、固態硬碟裝置、硬磁碟驅動機(Hard Disk Drive，HDD)裝置等。又，作為輔助記憶裝置103，可例示光碟(compact disc， CD)驅動裝置、數位多功能光碟(digital versatile disc，DVD)驅動裝置、藍光光碟(Blu-ray Disc，BD)驅動裝置之類的可拆裝的記錄媒體的驅動裝置。作為可拆裝的記錄媒體，可例示CD、DVD、BD、通用序列匯流排(Universal Serial Bus，USB)記憶體、安全數位(Secure Digital，SD)記憶卡等。
通訊IF104是用以將檢查支援裝置10連接於通訊網路N的介面。通訊IF104可根據與通訊網路N的連接方式採用適當的結構。輸入輸出IF105是於與連接於檢查支援裝置10的機器之間進行資料的輸入輸出的介面。於輸入輸出IF105例如連接鍵盤、觸控面板或滑鼠等指向設備、麥克風等輸入設備。檢查支援裝置10經由輸入輸出IF105接收來自操作輸入設備的操作者的操作指示等。又，於輸入輸出IF105例如連接LCD、電致發光(electroluminescent，EL)面板、有機EL面板等顯示設備、印表機、擴音器等輸出設備。檢查支援裝置10經由輸入輸出IF105輸出由處理器101處理的資料或資訊、記憶於主記憶裝置102、輔助記憶裝置103的資料或資訊。
<處理結構>
首先，使用圖3對作為比較例的使用進行多類分類的AI的缺陷種類的判別處理進行說明。如圖3所示，於採用對片材製品檢測異常部位並對該異常因何種引起進行判別的多類分類AI的情形時，自作為相機的拍攝裝置獲取圖像(A1)，確定出圖像內的異常部位(缺陷部位)的位置(A2)。圖像內的缺陷部位的位置例如可 以將圖像的左上角部設為原點而至右下角部的二維座標(X、Y)的形式表示。例如，使用與已說明的異常檢測部53同樣的方法確定出圖像的畫素值的變化程度超過臨限值的部位，並切下內包該部位(該部位內接的矩形區域等)的部分區域的圖像(A3)。然後，對所切下的缺陷部位的圖像應用進行多類分類的AI處理(A4)。
多類分類AI是對於全部缺陷種類預先學習累積於資料庫中的「缺陷圖像+正解的缺陷種類」的組資料(A5)。於多類分類AI中，藉由預先學習的缺陷圖像與正解的缺陷種類，自動進行針對各種類的特徵量的提取過程及用以根據該提取的特徵量判別種類的模型化(A6)，並輸出該模型化所得的分類結果(A7)。於圖3的例中，輸出表示缺陷為何種異常的6種(氣泡、孔、蟲、雜質、皺褶、纖維)判別結果。藉由使用多類分類AI，能夠實現表示片材製品所產生的缺陷為何種異常的6種判別(多類判別)。
然而，於多類分類AI中，如帶圈1所示，由於AI的學習用對於全部缺陷種類的每一種需要準備「缺陷圖像+正解的缺陷種類」的組資料，故而將用於分類6種缺陷種類的大量的學習資料累積於資料庫。再者，於出現頻度低的缺陷種類中，無法充分準備所述資料組，而存在不得不於分類判定的學習不完整的狀態下進行的情形。又，如帶圈2所示，需要自切下的缺陷部位的圖像提取用於分類6種缺陷種類的特徵量，並且根據所述圖像構建完成種類判別的模型化的複雜的網路結構，而需要連接網路的節點間的加權等參數的精細的調整。於無法確保具有此種技能的 技術人員的情形時，存在難以應用多類分類AI的情形。進而，每次學習，為完成缺陷種類的所述特徵量的提取或模型化等的基準會發生變化。例如，於學習缺陷種類「皺褶」的新的「缺陷圖像+正解的缺陷種類」時，會對用以判定其他種類的缺陷種類的基準造成影響，因此亦存在學習前被穩定地判別為「皺褶」的缺陷圖像被判定為「纖維」或「雜質」的頻度增加，而變得不穩定的情形。
本實施例的檢查支援裝置10包括單類型AI處理部30作為處理功能。構成單類型AI處理部30的各單類型AI處理器為用以判別各缺陷種類的AI。各單類型AI處理器使用用以判別單一的缺陷種類的組資料作為學習資料，而學習由組資料所指定的正解的缺陷種類。
圖4是對單類型AI處理器的判別處理進行說明的圖。圖4中例示使用單類型AI處理器的判別例。若將藉由單類型AI處理器A9所判別的單一的缺陷種類設為“A”，則該單類型AI處理器學習限定於「缺陷圖像(A)+正解的缺陷種類(A)」的組資料作為學習資料(A10)。對單一的缺陷種類判別“A”的單類型AI處理器學習自限定於「缺陷圖像(A)+正解的缺陷種類(A)」的組資料提取特徵量的過程及用以根據該提取的特徵量確定種類的模型化。然後，判別單一的缺陷種類“A”的單類型AI處理器自動進行所學習的提取特徵量的過程及用以根據該提取的特徵量確定種類的模型化，而對缺陷部位的圖像(A8)進行為「A」 抑或「非A」的判別。例如，於“A”為“皺褶”的情形時，單類型AI處理器的判別結果分為判別為「皺褶」與判別為皺褶以外的「分類外」的兩個值。如上所述，於本實施例的單類型AI處理器的判別中，將分類對象的圖像所包括的缺陷種類判別為藉由組資料所學習的缺陷種類與判別為該缺陷種類以外的情形時的分類外。
於本實施例中，使用多個單類型AI處理器進行針對缺陷部位的圖像的缺陷種類的判別。於單類型AI處理器中，如圖4所說明般，準備用以判別單一的缺陷種類的資料組(「缺陷圖像+正解的缺陷種類」)作為學習資料即可，無需如進行多類分類的AI處理器般將針對全部缺陷種類的「缺陷圖像+正解的缺陷種類」的組資料大量累積於資料庫。又，於單類型AI處理中，例如只要能夠將單一的缺陷種類與其以外加以判別即可，因此無需如多類AI處理般構建複雜的網路結構，亦無須參數的精細的調整。因此，對作業者亦不要求高度的技能。進而，由於所判別的缺陷種類單一，故而即便學習新的組資料，亦不會影響到其他缺陷種類的判別，於重新學習後亦可獲得穩定的判別結果。
圖5是表示由本實施例的檢查支援裝置10所提供的缺陷種類的判定處理的一例的流程圖。於本實施例的流程中，作為利用單類型AI處理進行的缺陷種類的判別前的預處理，而根據片材製品所產生的異常部位的亮度值的變化程度、及大小進行該異常部位的特徵量分析。特徵量分析的結果為，將異常部位的特徵 量分類為多個模式，自經分類的多個模式中篩選用以使用單類型AI處理判別缺陷種類的模式。並且，於本流程中，進行針對所篩選的特徵模式的單類型AI判別處理，而對與各單類型AI判別建立關聯的各缺陷種類進行判別。圖5所示的本流程的處理是藉由特徵量分類處理部20與包括多個單類型AI處理器(30a至30n)的單類型AI處理部30的協動所提供。
於開始處理後，自作為相機的拍攝裝置4獲取圖像(步驟S101)，算出與圖像內的異常部位(缺陷部位)相關的特徵量(步驟S102)。於特徵量的算出中，例如根據片材製品所產生的異常部位的圖像求出亮度值的變化程度、及大小。例如，使用與異常檢測部53同樣的方法確定出圖像的畫素值的變化程度超過臨限值的部位，藉由內包該部位的內接矩形區域的面積的算出求出大小。又，根據該內接矩形的平均亮度值的算出求出缺陷部位的亮度值的變化程度。於步驟S103中，進行與所算出的特徵量相關的區分(特徵量分類)。例如，根據所算出的平均亮度值區分預先設定的臨限值以上的「明」、及未滿該臨限值的「暗」。同樣地，根據所算出的內接矩形區域的面積，將相對大小區分為「大」、「中」、「小」。區分的結果為，將缺陷部位的特徵量分為平均亮度值與大小組合而成的「明小」、「明中」、「明大」、「暗小」、「暗中」、「暗大」的6種模式(步驟S104)。再者，缺陷部位的特徵量的分類亦可使用平均亮度值與大小以外的指標進行分類，亦可將平均亮度值及大小與其他指標組合而進行分類。例如，亦可使用缺陷部位的顏色、 偏光等光學特徵進行分類。只要能夠分類為可應用利用單類型AI進行的缺陷種類的單一判別的模式即可。
於步驟S105中，自所分類的模式中篩選用以使用單類型AI處理判別缺陷種類的一種以上模式。例如，如圖5所示，選定「暗小」、「暗中」的模式作為應用利用單類型AI處理的缺陷種類的模式。此種選定的基準可預先由進行片材製品的檢查的用戶進行設定。於圖5的例中，根據經驗性的見解，作為缺陷部位的特徵量，將分類為「明小」、「明中」的模式的缺陷種類判別為「氣泡」，將分類為「明大」的模式的缺陷種類判別為「孔」，將分類為「暗大」的模式的缺陷種類判別為「纖維」。因此，於步驟S105中，為了進行利用單類型AI處理的缺陷種類的判別而篩選分類為「暗小」、「暗中」的模式。於所篩選的模式中，進行缺陷部位的切下後，處理進入步驟S106。再者，步驟S106至步驟S108的處理是由單類型AI處理部30所提供。
於步驟S106中，進行使用多個單類型AI處理的缺陷種類的判別。例如，於所判別的缺陷種類為「蟲」、「雜質」、「皺褶」的情形時，使用判別各缺陷種類的單類型AI處理器30a、單類型AI處理器30b、單類型AI處理器30c進行針對所切下的缺陷部位的圖像的判別處理。於單類型AI處理器30a中，進行使用「缺陷圖像+正解的缺陷種類(蟲)」的組資料的學習，進行與針對缺陷部位的圖像的缺陷種類「蟲」、「蟲」以外的缺陷種類的判別。於單類型AI處理器30b中，進行使用「缺陷圖像+正解的缺陷種類 (雜質)」的組資料的學習，進行與針對缺陷部位的圖像的缺陷種類「雜質」、「雜質」以外的缺陷種類的判別。於單類型AI處理器30c中，進行使用「缺陷圖像+正解的缺陷種類(皺褶)」的組資料的學習，進行與針對缺陷部位的圖像的缺陷種類「皺褶」、「皺褶」以外的缺陷種類的判別。再者，以下，自特徵量的分類模式「暗小」切下的缺陷部位的圖像應用判別缺陷種類「蟲」的單類型AI處理器30a與判別缺陷種類「雜質」的單類型AI處理器30b，若為「暗中」，則應用判別缺陷種類「皺褶」的單類型AI處理器30c，而進行說明。
於步驟S107中，對於相同的缺陷圖像，進行應用利用多個單類型AI處理器的判別的情形時的判別結果的調停。圖6是對步驟S107中的判別結果的調停進行說明的圖。於本流程中，自特徵量的分類模式「暗小」切下的缺陷部位的圖像應用判別缺陷種類「蟲」的單類型AI處理器30a與判別缺陷種類「雜質」的單類型AI處理器30b。針對相同的缺陷圖像的各處理器的判別結果如圖6的(a)所示，成為四種組合。即，可獲得「蟲」與「雜質」、「蟲」與「雜質以外」、「雜質」與「蟲以外」、「雜質以外」與「蟲以外」的組合。
此處，於判別缺陷種類「蟲」的單類型AI處理器30a判別「蟲」、且判別缺陷種類「雜質」的單類型AI處理器30b判定為「雜質以外」的情形時，缺陷圖像的缺陷種類可確定為「蟲」。同樣地，於判別缺陷種類「蟲」的單類型AI處理器30a判別「蟲 以外」、且判別缺陷種類「雜質」的單類型AI處理器30b判定為「雜質」的情形時，缺陷圖像的缺陷種類可確定為「雜質」。其原因在於：缺陷圖像的缺陷種類為各單類型AI處理器藉由自身所學習的組資料所學習的缺陷種類。
然而，於判別缺陷種類「蟲」的單類型AI處理器30a判別「蟲」、且判別缺陷種類「雜質」的單類型AI處理器30b判定為「雜質」的情形時，無法確定出缺陷圖像的缺陷種類為「蟲」抑或「雜質」。例如於學習資料未準備充分的情形時可能發生此種情況。於步驟S107中，預先設定用於調停此種判別結果的基準。於本流程中，於判別「A」與「A以外」的單類型AI處理器、及判別「B」與「B以外」的單類型AI處理器判別各自所學習的缺陷種類的情形時，如圖6的(a)所示，判定為需要目視進行確認。此種基準可預先由進行片材製品的檢查的用戶進行設定。再者，於判別缺陷種類「蟲」的單類型AI處理器30a判別「蟲以外」、且判別缺陷種類「雜質」的單類型AI處理器30b判定為「雜質以外」的情形時，判定為自缺陷種類的判別對象排除該缺陷部位的特徵量的分類以外。
又，如圖6的(b)所示，自特徵量的分類模式「暗中」切下的缺陷部位的圖像應用判別缺陷種類「皺褶」的單類型AI處理器30c，藉由根據皺褶的學習資料所學習的AI處理內的判別基準判別「皺褶」及「皺褶以外」。於步驟S107中，於利用單類型AI處理器30c進行的缺陷種類的判別為「皺褶以外」的情形時， 依照預先由用戶設定的基準，判別為自缺陷種類的判別對象排除該缺陷部位的特徵量的「分類外」。如上所述，藉由使其具有針對判別結果的調停功能，可減輕與缺陷種類的判別相關的處理負擔，而能夠縮短線上時的處理時間。
於步驟S108中，輸出使用單類型AI處理器30a、單類型AI處理器30b、單類型AI處理器30c所判別的缺陷種類。即，輸出根據自特徵量的分類模式「暗小」切下的缺陷部位的圖像所判別的「蟲」、「雜質」、及根據自特徵量的分類模式「暗小」切下的缺陷部位的圖像所判別的「皺褶」。判別結果例如可輸出至線上連接的處理裝置5，離線時亦可顯示於檢查支援裝置10所包括的顯示面板等。步驟S108的處理後暫時結束本常式。
以上，如所說明般，於本實施例的檢查支援裝置10中，作為利用單類型AI處理進行的缺陷種類的判別前的預處理，而根據片材製品所產生的異常部位的亮度值的變化程度、及大小進行該異常部位的特徵量分析，從而可篩選應用單類型AI處理的特徵模式。因此，由於可事先減少與片材製品中所檢測到的異常部位的缺陷種類的判別相關的特徵量，故而能夠相對減輕與使用單類型AI處理的判別相關的處理負擔。
於本實施例的檢查支援裝置10中，缺陷種類的判別可使用單類型AI處理。於單類型AI處理器中，如圖4所說明般，準備用以判別單一的缺陷種類的資料組(「缺陷圖像+正解的缺陷種類」)作為學習資料即可，無需如進行多類分類的AI處理器般 將針對全部缺陷種類的「缺陷圖像+正解的缺陷種類」的組資料大量累積於資料庫。又，於單類型AI處理中，例如只要能夠將單一的缺陷種類與其以外加以判別即可，因此無需如多類AI處理般構建複雜的網路結構，亦無須參數的精細的調整。因此，對作業者亦不要求高度的技能。進而，由於所判別的缺陷種類單一，故而即便學習新的組資料，亦不會影響到其他缺陷種類的判別，於重新學習後亦可獲得穩定的判別結果。
又，於本實施例的檢查支援裝置10中，對於相同的缺陷圖像，可應用利用多個單類型AI處理進行的判別。因此，可將單類型AI處理器的判別結果加以組合，而提高對使各單類型AI學習的缺陷種類的判別精度。又，亦可將單類型AI處理器的判別結果加以組合，而自缺陷種類的判別對象排除該缺陷部位的特徵量。如上所述，藉由將利用單類型AI處理獲得的判別結果加以組合進行調停，可減輕與缺陷種類的判別相關的處理負擔，而能夠縮短線上時的處理時間。根據本實施例，可提供一種能夠使用AI處理穩定地判別片材製品所產生的缺陷的多種類的缺陷種類的技術。
〔變形例1〕
圖7是表示由變形例1的檢查支援裝置10所提供的缺陷種類的判定處理的一例的流程圖。於圖7所示的流程中，例示對使用單類型AI處理所判別的缺陷種類進一步應用特徵量分類的形態。藉由本流程的處理，可實現對藉由單類型AI處理判別缺陷種類的 片材製品的製品種類進行識別的分級。再者，於圖7所示的流程中，步驟S101至步驟S108的處理與實施例1相同，因此省略說明。
於步驟S109中，為了對包括判別為缺陷種類「雜質」的異常部位的片材製品進行分級，而進行特徵量分類，並輸出該分類的結果(步驟S110)。於步驟S109中，對於判別為缺陷種類「雜質」的異常部位，進行較步驟S103的特徵量分類更細緻的分類。具體而言，算出自缺陷部位切下的圖像中的缺陷面積。然後，基於該缺陷面積，將包括判別為缺陷種類「雜質」的異常部位的製品的分級的指標進行分類(步驟S110)。
例如，於超過第一臨限值(例如10000)時分類為「雜質大」，於為第一臨限值以下且為第二臨限值(例如100)以上時分類為「雜質中」。同樣地，於未滿第二臨限值時分類為「雜質小」。此種臨限值可預先由進行片材製品的檢查的用戶進行設定。再者，於步驟S110中，例示三個階段的分類例，但只要為有助於包括異常部位的片材製品的分級的分類，則可為兩個階段，亦可為五個階段。進而，步驟S109是以規則庫的分類的形式進行特徵量分類，但當然該處理亦可使用AI處理。步驟S110的處理後暫時結束本常式。
〔變形例2〕
於實施例1、變形例1中，對根據異常部位(缺陷部位)所算出的特徵量進行模式分類(步驟S103)，但亦可使用所算出的特 徵量，進行利用AI處理進行的缺陷種類的判別的可否、應用於缺陷種類的判別的單類型AI處理器的選定。藉由變形例2的處理，可實現針對缺陷種類的判別處理的最佳化。
圖8是表示由變形例2的檢查支援裝置10所提供的缺陷種類的判定處理的一例的流程圖。於圖8的流程中，步驟S101至步驟S102的處理與實施例1相同，因此省略說明。於步驟S111中，根據所算出的特徵量，進行缺陷種類的判別是否應用AI處理、於缺陷種類的判別應用AI處理的情形時使用何種單類型AI處理器的選定。具體而言，藉由作為所算出的特徵量的異常部位的濃度平均值即缺陷面積進行所述可否判定、單類型AI處理器的選定。
於步驟S111中，例如於缺陷面積超過第一臨限值的情形時，判定為缺陷種類的判別不應用AI處理，而進入步驟S112的處理。又，於缺陷面積為第一臨限值以下且為第二臨限值以上的情形時，判定缺陷種類的判別應用AI處理，並選定判別缺陷種類「蟲」的單類型AI處理器30a、判別缺陷種類「雜質」的單類型AI處理器30b，進入步驟S113的處理。同樣地，於缺陷面積未滿第二臨限值的情形時，判定為缺陷種類的判別應用AI處理，並選定判別缺陷種類「皺褶」的單類型AI處理器30c，進入步驟S114的處理。此處，第一臨限值及第二臨限值為與變形例1相同的臨限值。
藉由步驟S111的處理，可減輕與缺陷種類的判別相關 的處理負擔，並且可實現針對缺陷種類的判別處理的最佳化。
再者，於步驟S112中，進行與實施例1的步驟S103至步驟S104相同的特徵量分類處理，並對缺陷種類「氣泡」、「孔」、「纖維」分別進行識別。又，於步驟S113中，進行利用判別缺陷種類「蟲」的單類型AI處理器30a、判別缺陷種類「雜質」的單類型AI處理器30b進行的實施例1的步驟S105至步驟S108的處理，對缺陷種類「蟲」、「雜質」進行判別。同樣地，於步驟S114中，進行利用判別缺陷種類「皺褶」的單類型AI處理器30c進行的實施例1的步驟S105至步驟S108的處理，對缺陷種類「皺褶」進行判別。步驟S114的處理後暫時結束本常式。
以上，如所說明般，於變形例2的形態中，可使用根據片材製品所產生的異常部位所算出的特徵量，而相對減輕與使用單類型AI處理的判別相關的處理負擔。
(其他)
所述實施形態終究為一例，本實施形態的揭示可於不脫離其要旨的範圍內適當變更而實施。本揭示中所說明的處理或方法只要不產生技術性的矛盾，則可自由組合實施。
又，以由一個裝置進行的形式所說明的處理亦可由多個裝置分擔執行。或以由不同的裝置進行的形式所說明的處理亦可由一個裝置執行。於電腦系統中，藉由何種硬體結構實現各功能可靈活變更。例如，亦可如細虛線的矩形框90所示，設為實施例1的處理裝置5包括檢查支援裝置10的結構。又，亦可為處理裝 置5包括特徵量分類處理部20、單類型AI處理部30、特徵量分類DB13、及學習資料DB14，而進行本實施形態中的檢查支援裝置10的功能。
《電腦可讀取的記錄媒體》
可將使資訊處理裝置以及其他機械、裝置(以下為電腦等)實現所述任一功能的程式記錄於電腦等可讀取的記錄媒體。並且，可藉由使電腦等讀取該記錄媒體的程式並執行，而提供所述功能。
此處，電腦等可讀取的記錄媒體是指可藉由電性作用、磁性作用、光學作用、機械作用、或化學作用累積資料或程式等資訊並自電腦等讀取的記錄媒體。作為此種記錄媒體中可自電腦等拆卸者，例如有軟碟、磁光碟、唯讀光碟(compact disc-read only memory，CD-ROM)、可重寫光碟(Compact Disc-Rewritable，CD-R/W)、DVD、藍光光碟、數位錄音帶(digital audio tape，DAT)、8mm磁帶、快閃記憶體等記憶卡等。又，作為固定於電腦等的記錄媒體，有硬碟或ROM等。
再者，以下為了能夠將本揭示的技術的結構要件與實施例的結構進行對比，而將本揭示的技術的結構要件附帶圖式的符號記載如下。
<附註1>
一種支援裝置(10)，對判定檢查進行支援，所述判定檢查是根據被檢查物(2)的拍攝圖像檢測所述被檢查物(2)所產生的 異常，並對所檢測到的所述異常的種類進行判定，其中所述支援裝置(10)包括：分類處理部(20)，根據所述拍攝圖像算出所述被檢查物(2)所產生的異常的特徵量，並且將所算出的所述特徵量分類為多個類型，自所述多個類型中，將使用學習判別部(30)判別異常的種類的處理對象的類型選定為一個以上；以及所述學習判別部(30)，針對所述異常的各種類包括學習判別器(30a至30n)，所述學習判別器(30a至30n)藉由將誘發所述異常的要素圖像、與以所述要素圖像為正解的異常的種類加以組合而成的組資料，學習判別基準，所述判別基準對判別對象的異常為所述正解的種類、或為所述正解的種類以外進行判別，所述學習判別部(30)基於針對所述異常的各種類學習了判別基準的學習判別器(30a至30n)的各個判別結果，對與藉由所述分類處理部(20)所選定的處理對象的類型相關的異常的種類進行判別。
<附註2>
一種支援方法，為支援裝置(10)的電腦所執行的支援方法，所述支援裝置(10)對判定檢查進行支援，所述判定檢查根據被檢查物(2)的拍攝圖像檢測所述被檢查物(2)所產生的異常，並對所述所檢測到的異常的種類進行判定，其中所述支援方法包括：根據所述拍攝圖像算出所述被檢查物(2)所產生的異常的特 徵量，並且將所算出的所述特徵量分類為多個類型，自所述多個類型中選定規定的類型；針對所述異常的各種類，藉由將誘發所述異常的要素圖像、與以所述要素圖像為正解的異常的種類加以組合而成的組資料，學習判別基準，所述判別基準對判別對象的異常為所述正解的種類、或為所述正解的種類以外進行判別；以及基於藉由所學習的所述異常的各種類的判別基準所判別的各個判別結果，對針對所述規定的類型的異常的種類進行判別。
20:特徵量分類處理部
30:單類型AI處理部
30a、30b:單類型AI處理器
S101~S108:步驟

Claims (5)

  1. 一種支援裝置，對判定檢查進行支援，所述判定檢查是根據被檢查物的拍攝圖像檢測所述被檢查物所產生的異常，並對檢測到的所述異常的種類進行判定，其中所述支援裝置包括：分類處理部，根據所述拍攝圖像算出所述被檢查物所產生的異常的特徵量，並且將所算出的所述特徵量分類為多個類型，自所述多個類型中，將使用學習判別部判別異常的種類的處理對象的類型選定為一個以上；以及所述學習判別部，針對所述異常的各種類包括學習判別器，所述學習判別器藉由將誘發所述異常的要素圖像、與以所述要素圖像為正解的異常的種類加以組合而成的組資料，學習判別基準，所述判別基準對判別對象的異常為所述正解的種類、或為所述正解的種類以外進行判別，所述學習判別部基於針對所述異常的各種類學習了判別基準的學習判別器的各個判別結果，對與藉由所述分類處理部所選定的處理對象的類型相關的異常的種類進行判別，所述學習判別部包括：第一學習判別器，學習了判別第一異常的判別基準；以及第二學習判別器，學習了判別第二異常的判別基準，以所述多個類型中的一個類型作為處理對象，於所述第一學習判別器的判別結果判別到第一異常、且所述第二學習判別器的 判別結果判別到第二異常以外的種類時，將所述類型的異常的種類判別為所述第一異常。
  2. 如請求項1所述的支援裝置，其中以所述多個類型中的一個類型作為處理對象，於所述第一學習判別器的判別結果判別到第一異常以外的種類、且所述第二學習判別器的判別結果判別到第二異常時，將所述類型的異常的種類判別為所述第二異常。
  3. 如請求項1或2所述的支援裝置，其中以所述多個類型中的一個類型作為處理對象，於所述第一學習判別器的判別結果判別到第一異常、且所述第二學習判別器的判別結果判別到第二異常時，或於所述第一學習判別器的判別結果判別到第一異常以外的種類、且所述第二學習判別器的判別結果判別到第二異常以外的種類時，將所述類型的異常的種類的判別交付於所指定的處理。
  4. 如請求項1或2所述的支援裝置，其中所述分類處理部將判別所述異常的種類的類型的特徵量進而分類為多個子類型。
  5. 一種支援方法，為支援裝置的電腦所執行的支援方法，所述支援裝置對判定檢查進行支援，所述判定檢查是根據被檢查物的拍攝圖像檢測所述被檢查物所產生的異常，並對所述檢測到的異常的種類進行判定，其中所述支援方法包括： 選定工序，根據所述拍攝圖像算出所述被檢查物所產生的異常的特徵量，並且將所算出的所述特徵量分類為多個類型，自所述多個類型中選定規定的類型；學習工序，針對所述異常的各種類，藉由將誘發所述異常的要素圖像、與以所述要素圖像為正解的異常的種類加以組合而成的組資料，學習判別基準，所述判別基準對判別對象的異常為所述正解的種類、或為所述正解的種類以外進行判別；以及基於藉由在所述學習工序中所學習的所述異常的各種類的判別基準所判別的各個判別結果，對針對在所述選定工序中所選定的所述規定的類型的異常的種類進行判別，以所述多個類型中的一個類型作為處理對象，於第一學習判別器的判別結果判別到第一異常、且第二學習判別器的判別結果判別到第二異常以外的種類時，將所述類型的異常的種類判別為所述第一異常，其中所述第一學習判別器學習了判別所述第一異常的判別基準，所述第二學習判別器學習了判別所述第二異常的判別基準。
TW111106115A 2021-03-12 2022-02-21 支援裝置以及支援方法 TWI823261B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-040335 2021-03-12
JP2021040335A JP2022139796A (ja) 2021-03-12 2021-03-12 支援装置および方法

Publications (2)

Publication Number Publication Date
TW202300898A TW202300898A (zh) 2023-01-01
TWI823261B true TWI823261B (zh) 2023-11-21

Family

ID=83226603

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111106115A TWI823261B (zh) 2021-03-12 2022-02-21 支援裝置以及支援方法

Country Status (7)

Country Link
US (1) US20240144661A1 (zh)
EP (1) EP4287115A1 (zh)
JP (1) JP2022139796A (zh)
KR (1) KR20230129522A (zh)
CN (1) CN116848551A (zh)
TW (1) TWI823261B (zh)
WO (1) WO2022190636A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM567355U (zh) * 2018-06-16 2018-09-21 台灣海博特股份有限公司 Multispectral image analysis system architecture
TWI663960B (zh) * 2019-01-17 2019-07-01 China Medical University Hospital 足畸形檢測模型、足畸形檢測系統及足畸形檢測方法
JP2021033564A (ja) * 2019-08-22 2021-03-01 株式会社Ｙｅ Ｄｉｇｉｔａｌ 画像分類方法、画像分類装置および画像分類プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4950951B2 (ja) 2008-06-25 2012-06-13 パナソニック株式会社 光透過性フィルムの欠陥検出装置及び光透過性フィルムの切断装置
JP2012026982A (ja) * 2010-07-27 2012-02-09 Panasonic Electric Works Sunx Co Ltd 検査装置
JP6844564B2 (ja) * 2018-03-14 2021-03-17 オムロン株式会社 検査システム、識別システム、及び学習データ生成装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM567355U (zh) * 2018-06-16 2018-09-21 台灣海博特股份有限公司 Multispectral image analysis system architecture
TWI663960B (zh) * 2019-01-17 2019-07-01 China Medical University Hospital 足畸形檢測模型、足畸形檢測系統及足畸形檢測方法
JP2021033564A (ja) * 2019-08-22 2021-03-01 株式会社Ｙｅ Ｄｉｇｉｔａｌ 画像分類方法、画像分類装置および画像分類プログラム

Also Published As

Publication number Publication date
WO2022190636A1 (ja) 2022-09-15
JP2022139796A (ja) 2022-09-26
EP4287115A1 (en) 2023-12-06
US20240144661A1 (en) 2024-05-02
CN116848551A (zh) 2023-10-03
KR20230129522A (ko) 2023-09-08
TW202300898A (zh) 2023-01-01

Similar Documents

Publication Publication Date Title
TWI603074B (zh) 光學薄膜缺陷辨識方法及其系統
JP4616864B2 (ja) 外観検査方法及びその装置および画像処理評価システム
JP5228490B2 (ja) 画像解析によって欠陥検査を行う欠陥検査装置
JP7005930B2 (ja) シート検査装置及び検査システム
US20110274362A1 (en) Image classification standard update method, program, and image classification device
CN109946303A (zh) 检查装置和方法
TWI497032B (zh) 缺陷檢查裝置
KR102182000B1 (ko) 자동 레시피 안정성 모니터링 및 리포팅
KR20190122550A (ko) 검사 관리 시스템, 검사 관리 장치 및 검사 관리 방법
KR101477665B1 (ko) 불균일한 텍스쳐 표면의 불량 검출방법
JP2018059772A (ja) シート検査装置
JP2018179698A (ja) シート検査装置
JPH08189904A (ja) 表面欠陥検出装置
TWI823261B (zh) 支援裝置以及支援方法
TW202125405A (zh) 分類裝置及圖像分類系統
WO2020175666A1 (ja) カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法
KR101330098B1 (ko) 광학 필름의 결함 판별 방법
TWI753424B (zh) 外觀檢查管理系統、外觀檢查管理裝置、外觀檢查管理方法以及程式
KR101349662B1 (ko) 광학 필름의 결함 판별 방법
CN112129768B (zh) 外观检查管理系统、装置、方法以及存储介质
JP2002048722A (ja) 欠陥検査装置
JP2013077139A (ja) 画像処理方法及び画像処理装置
JP2009019997A (ja) 欠点検査装置および欠点検査方法
CN112129768A (zh) 外观检查管理系统、装置、方法以及存储介质
CN117597579A (zh) 检查方法、分类方法、管理方法、钢材的制造方法、学习模型的生成方法、学习模型、检查装置以及钢材的制造设备