TWI806220B - 異常評估系統與異常評估方法 - Google Patents

異常評估系統與異常評估方法 Download PDF

Info

Publication number
TWI806220B
TWI806220B TW110141070A TW110141070A TWI806220B TW I806220 B TWI806220 B TW I806220B TW 110141070 A TW110141070 A TW 110141070A TW 110141070 A TW110141070 A TW 110141070A TW I806220 B TWI806220 B TW I806220B
Authority
TW
Taiwan
Prior art keywords
image
abnormal
tested
classification models
information
Prior art date
Application number
TW110141070A
Other languages
English (en)
Other versions
TW202319968A (zh
Inventor
盧嘉昱
任上鳴
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW110141070A priority Critical patent/TWI806220B/zh
Priority to CN202111346382.XA priority patent/CN116091388A/zh
Priority to US17/534,430 priority patent/US20230133295A1/en
Publication of TW202319968A publication Critical patent/TW202319968A/zh
Application granted granted Critical
Publication of TWI806220B publication Critical patent/TWI806220B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Control Of Electric Motors In General (AREA)
  • Alarm Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

一種異常評估系統與異常評估方法，該系統連接一影像擷取裝置，包含複數分類模型與一處理模組，各該分類模型係由監督式學習與非監督式學習交替訓練而產生，該些分類模型的參數彼此不同，該處理模組連接該些分類模型，從該影像擷取裝置接收一待測影像，將該待測影像輸出至該些分類模型而分別得到複數待測特徵向量，以產生一異常評估資訊。

Description

異常評估系統與異常評估方法
本發明涉及一種評估系統與評估方法，特別是指異常評估系統與異常評估方法。
隨著科技進展，人工智慧(AI)的應用也越來越多元，例如透過一影像辨識模型進行影像檢測，而該影像辨識模型的前置訓練過程與其影像辨識能力息息相關。人工智慧技術領域已有多種模型訓練手段，主流的訓練手段是採用監督式學習(Supervised learning)，監督式學習的基本原理在於：先收集大量影像樣本，並於各影像樣本中透過人工標註一特徵標籤(Label)，該特徵標籤即為要讓該影像辨識模型辨識的標的，該影像辨識模型根據該大量的影像樣本與其特徵標籤進行學習。
由此可見，該影像辨識模型的辨識能力受限於特徵標籤的態樣，也就是說，透過監督式學習而成的影像辨識模型無法辨識出該特徵標籤以外的標的物。舉例來說，在進行監督式學習的訓練時，係將影像樣本中的已知異常標註為特徵標籤，故該影像辨識模型只能學習已知異常；當該影像辨識模型實際上線應用時，該影像辨識模型接收來自生產線相機所拍攝的一產品影像，其雖可辨識該產品影像的已知異常，但恐無法辨識未知異常。
另一種模型訓練手段為非監督式學習(Unsupervised learning)，其特色在於訓練時的影像樣本不需標註如上所述的特徵標籤，而是學習辨識影像樣本中的複數特徵，故實際上線應用時，經由非監督式學習而成影像辨識模型雖可辨識產品影像的複數特徵，但無法分辨該些特徵是否為異常。
綜上所述，經由監督式學習或非監督式學習而成的影像辨識模型各有缺點，造成實際上線應用時的限制，故有待進一步改良。
有鑒於此，本發明的主要目的是提供一種異常評估系統與異常評估方法，以期同時克服僅監督式學習而成的影像辨識模型無法辨識未知異常的缺點，以及克服僅非監督式學習而成的影像辨識模型無法分辨異常特徵的缺點。
本發明異常評估系統連接一影像擷取裝置，包含：複數分類模型，各該分類模型係由監督式學習與非監督式學習交替訓練而產生，該些分類模型的參數彼此不完全相同；以及一處理模組，連接該些分類模型，從該影像擷取裝置接收一待測影像，將該待測影像輸出至該些分類模型而分別得到複數待測特徵向量，以產生一異常評估資訊。
本發明異常評估方法係於一處理模組執行，包含：從一影像擷取裝置接收一待測影像，並將該待測影像輸出至複數分類模型而分別得到複數待測特徵向量，其中，各該分類模型係由監督式學習與非監督式學習交替訓練而產生，該些分類模型的參數彼此不完全相同；以及根據該些待測特徵向量產生一異常評估資訊。
根據本發明的異常評估系統與異常評估方法，各該分類模型係由監督式學習與非監督式學習交替訓練而產生，故各該分類模型兼具監督式學習與非監督式學習的特色，本發明所產生的該異常評估資訊既可針對已知異常，亦可針對未知異常，藉此克服僅監督式學習而成的影像辨識模型無法辨識未知異常的缺點，以及克服僅非監督式學習而成的影像辨識模型無法分辨異常特徵的缺點。
10:異常評估系統
11:分類模型
12:處理模組
13:資料模組
121:異常評估資訊
122:風險標示資訊
123:可視化標註
20:影像擷取裝置
21:待測影像
30:輸送帶
31:磁磚產品
32:支架
40:群聚塊
50:特徵群組
60:顯示裝置
70:碎片
71:L型板手
V:待測特徵向量
Vt:訓練階段特徵向量
M:判定機制
Q1:第一象限
Q2:第二象限
Q3:第三象限
Q4:第四象限
圖1：本發明異常評估系統之一實施例的方塊示意圖。
圖2：本發明可應用之一磁磚生產線的俯視示意圖。
圖3：本發明異常評估系統於訓練階段的方塊示意圖。
圖4：本發明中，複數訓練階段特徵向量形成低維度空間分布的示意圖。
圖5：本發明異常評估系統之另一實施例的方塊示意圖。
圖6：本發明在待測影像辨識出異常風險的示意圖。
圖7：本發明在待測影像未辨識出異常風險的示意圖。
圖8：本發明異常評估方法之一實施例的流程示意圖。
請參考圖1，本發明異常評估系統10的實施例包含複數分類模型11與一處理模組12，舉例來說，該異常評估系統10可建立在個人電腦、工業電腦或伺服器。該異常評估系統10連接一影像擷取裝置20，該影像擷取裝置20可為數位相機。
本發明以應用在一磁磚生產線作為範例，但不以此為限。請參考圖2，該磁磚生產線包含一輸送帶30，該輸送帶30用以輸送複數磁磚產品31，該影像擷取裝置20可透過支架32設置在該輸送帶30上方，當任一磁磚產品31進入該影像擷取裝置20的取像範圍時，該影像擷取裝置20可被觸發拍照而產生一待測影像21，請參考圖3，該待測影像21中即包含有該磁磚產品31。
本發明中，該些分類模型11為人工智慧模型，例如可為卷積神經網路模型(Convolutional Neural Networks,CNN)，該些分類模型11的程式資料可儲存在一電腦可讀取紀錄媒體，該電腦可讀取紀錄媒體可為傳統硬碟(HDD)、固態硬碟(SSD)或雲端硬碟。該處理模組12具有資料處理功能，例如可 由中央處理器(CPU)或圖形處理器(GPU)實現。該些分類模型11的參數彼此不完全相同(即：可能部分相同部分不同、或是全部不同)，該些參數例如可包含學習率、權重、損失函數、激勵函數、優化器…等，且該些分類模型11的訓練樣本也彼此不完全相同(即：可能部分相同部分不同、或是全部不同)，故該些分類模型11的分類特色各有不同。該處理模組12連接該些分類模型11，以與該些分類模型11協同運作，也就是說可構成多模型的綜整(Ensemble)異常決策判定結構。
藉此，該處理模組12從該影像擷取裝置20接收一待測影像21，並將該待測影像21輸出至該些分類模型11而分別得到複數待測特徵向量V，以根據該些待測特徵向量V產生一異常評估資訊121，該異常評估資訊121可反映的態樣例如可為高風險、低風險或無風險(正常)。在一實施例中，該異常評估資訊121可為風險的量化數值，其以數字來區分成不同的風險等級，如風險等級由低至高依序為第1~5級。
以下說明各該分類模型11的訓練原理，各該分類模型11係由監督式學習(Supervised learning)與非監督式學習(Unsupervised learning)反覆交替訓練而產生的模型，該電腦可讀取紀錄媒體儲存複數訓練樣本，該些訓練樣本包含複數正常影像樣本以作為非監督式學習的資料來源，此外，該些訓練樣本還包含複數異常影像樣本與其特徵標籤，該些異常影像樣本與其特徵標籤對應於不同異常風險等級，其作為監督式學習的資料來源，該些分類模型11中，任兩分類模型11進行訓練時採用的訓練樣本彼此不完全相同。
該些異常影像樣本可以包含現場異常影像資料、開源影像資料以及合成影像資料當中的至少一者，但本發明並不以此為限。其中，該現場異常影像資料是指該影像擷取裝置20所拍攝到的原始影像檔案，且影像中的樣本具有異常部分；該開源(open source)影像是指用來輔助機器學習影像特徵用之公 開資料庫的影像檔案，該些公開資料庫係例如food-101或birdsnap等；該合成影像資料是指經由影像編輯軟體處理過的影像檔案，例如使用者可在一影像樣本透過影像編輯軟體產生欲辨識的異常部分，或是疊加一異物物件，使異常影像樣本的態樣可客製化並更多元。
在訓練階段，該處理模組12透過程式指令分別設定該些分類模型11的資料讀取路徑，例如各該分類模型11是讀取該電腦可讀取紀錄媒體中的部分訓練樣本以進行訓練，其可以採隨機(random)方式來選擇訓練樣本，也可以在訓練其中一分類模型時挑選具有特定樣態的訓練樣本來進行訓練。也就是說，該部分訓練樣本相當於一子集合(subset)。基於隨機讀取之原因，各該分類模型11在訓練過程中即可反覆交替讀取正常影像樣本和異常影像樣本(包含其特徵標籤)，且使任兩分類模型11進行訓練時採用的訓練樣本彼此不完全相同，達成各該分類模型11進行監督式學習與非監督式學習反覆交替訓練之目的。
另外，本發明可透過分類(classification)之萃取資料特徵的技術，當在各該分類模型11輸入一筆正常影像樣本，各該分類模型的輸出資料為一筆訓練階段特徵向量，該筆訓練階段特徵向量反映的是由各該分類模型11從該筆正常影像樣本辨識出的特徵；同理，當在各該分類模型11輸入一筆異常影像樣本與其特徵標籤，各該分類模型11的輸出資料為另一筆訓練階段特徵向量，該另一筆訓練階段特徵向量反映的是由各該分類模型11從該筆異常影像樣本辨識出的特徵，即異常特徵。由此可見，當該些分類模型11完成訓練後，可產生複數訓練階段特徵向量。請參考圖3，本發明可進一步包含一資料模組13，該資料模組13可建立在該電腦可讀取紀錄媒體，該資料模組13連接該處理模組12，使該資料模組13、該些分類模型11與該處理模組12協同運作，且由該資料模組13儲存該些訓練階段特徵向量Vt。
本發明之所以採用監督式學習與非監督式學習反覆交替訓練，例如，採用監督式學習、非監督式學習、監督式學習、非監督式學習......等輪流交替訓練，為便於理解，該些分類模型11完成訓練後所產生之該些訓練階段特徵向量Vt可參照如圖4所示的低維度空間分布，在圖4中，每一筆訓練階段特徵向量Vt對應於一個點，故可見複數個點構成複數個群聚塊40，每個群聚塊40中的訓練階段特徵向量Vt具有近似風險屬性的特徵，例如對應於正常特徵、低風險特徵和高風險特徵的訓練階段特徵向量Vt分別集中在不同群聚塊40。換言之，每個群聚塊40中包含根據正常影像樣本和異常影像樣本產生的訓練階段特徵向量Vt，故根據正常影像樣本產生的訓練階段特徵向量Vt所在群聚塊40即對應其風險屬性。舉例來說，包含小型異物(例如碎片)的異常影像樣本的風險屬性可為低風險，包含中大型異物(例如L型板手)的異常影像樣本的風險屬性可為高風險。
為了定義出該些訓練階段特徵向量Vt的規律性，需先將該些訓練階段特徵向量Vt分別進行向量量化(vector quantization)形成數值後再判斷其規律性，本發明的實施例中，如圖4所示，該處理模組12將該些訓練階段特徵向量Vt進行空間分群(clustering)以構成複數特徵群組50，該些特徵群組50分別對應於如前所述的該些群聚塊40，進而將該些訓練階段特徵向量Vt分別量化成複數評分值，例如k-平均分群(k-means clustering)即為一種向量分群與量化手段。該處理模組12根據該些評分值透過線性回歸手段產生一判定機制M，該判定機制M即能反映該些訓練階段特徵向量Vt的規律性。是以，該處理模組12儲存該判定機制M的程式資料，請參考圖1，當該處理模組12從該些分類模型11得到該些待測特徵向量V，能將該些待測特徵向量V透過該判定機制M產生該異常評估資訊121，詳述如後。
如前所述，該些分類模型11的分類特色各有不同，該處理模組12分別定義該些分類模型11的權重值，換言之，該些分類模型11各自有對應的權重值，該權重值為可調整預設值，代表各該分類模型11的重要性程度。當該處理模組12從該影像擷取裝置20接收該待測影像21，將該待測影像21輸出至該些分類模型11，每個分類模型11根據該待測影像21輸出一筆待測特徵向量V，故該處理模組12可從該些分類模型11分別得到複數待測特徵向量V。該處理模組12將該些待測特徵向量V分別透過該判定機制M而產生複數異常等級，也就是一筆待測特徵向量V透過該判定機制M可產生一筆異常等級的資訊。基於該些分類模型11的分類特色各有不同，可想而知，透過部分分類模型11產生的待測特徵向量V的異常等級可為高風險，另外有部分分類模型11產生的待測特徵向量V的異常等級可為低風險，是以，該處理模組12根據該些分類模型11的權重值與其對應的異常等級產生該異常評估資訊121。
如前所述，該異常評估資訊121為風險的量化數值，如風險等級由低至高依序為第1~5級，舉例來說，該處理模組12定義風險等級「1」為低風險，另定義風險等級「5」為高風險。若該處理模組12產生的該異常評估資訊121為「1」，代表大部分或權重值較大的分類模型11的判斷結果為低風險；依此類推，若該處理模組12產生的該異常評估資訊121為「5」，代表大部分或權重值較大的分類模型11的判斷結果為高風險。
請參考圖5，本發明異常評估系統10可進一步連接一顯示裝置60，該顯示裝置60可為但不限於液晶顯示器或觸控顯示器，該顯示裝置60可設置在工作現場。該處理模組12依據該異常評估資訊121設定一風險標示資訊122，其中，該風險標示資訊122的格式可為預設的文字、圖案或代碼，該處理模組12將該風險標示資訊122疊加至該待測影像21而傳送到該顯示裝置60進行顯示。舉例而言，該風險標示資訊122可包含「高風險」或「低風險」的預設 文字。另一方面，為了加強異常可視效果，以利現場工作人員即時察覺哪個產品異常，該風險標示資訊122疊加至該待測影像21並傳送到該顯示裝置60進行顯示時，係於該待測影像21中將異常部分進行一可視化標註，並於該可視化標註之處顯示其對應的該風險標示資訊122。圖6為本發明辨識出異常的範例，在該待測影像21中為一磁磚產品31，其表面上被辨識出一碎片70與一L型板手71的異常，其中，圖6可與圖7所示之未辨識出異常的待測影像21相比。如圖6所示，該可視化標註123為顯示在異常處的一圖形區塊，該圖形區塊可為但不限於漸層填色區塊，該碎片70與該L型板手71於其可視化標註123處分別顯示「高風險」及「低風險」的風險標示資訊122。
前述中，該處理模組12可將該待測影像21輸出至一卷積神經網路模型進行卷積運算，並透過一類別激活映射手段(Class Activation Mapping,CAM)取出該卷積神經網路模型中的一特徵圖作為該風險標示資訊122或該可視化標註123；其中，該類別激活映射手段可為GradCAM、GradCAM++或Score-CAM其中之一，此為所屬技術領域中的通常知識，在此容不詳述。
歸納以上所述，圖8揭示本發明異常評估方法的一實施例，包含：步驟S01：由該處理模組12從該影像擷取裝置20接收一待測影像21，並將該待測影像21輸出至複數分類模型11而分別得到複數待測特徵向量V，其中，各該分類模型11係由監督式學習與非監督式學習交替訓練而產生，該些分類模型11的參數彼此不完全相同。步驟S02：由該處理模組12根據該些待測特徵向量V產生一異常評估資訊121。
在某些實施例中，該處理模組12從該資料模組13讀取複數訓練階段特徵向量Vt，該些訓練階段特徵向量Vt是由該些分類模型11進行訓練時所產生的資料；該處理模組12將該些訓練階段特徵向量Vt進行空間分群(clustering)以構成複數特徵群組50，進而將該些訓練階段特徵向量Vt量化成複 數評分值，並根據該些評分值透過線性回歸手段產生一判定機制M，以產生該異常評估資訊121。
在某些實施例中，該處理模組12分別定義該些分類模型11的權重值；該處理模組12根據該些分類模型11的權重值及該判定機制M，將該些待測特徵向量V分別透過該判定機制M而產生複數異常等級；該處理模組12根據該些分類模型11的權重值與其對應的該些異常等級產生該異常評估資訊121。
在某些實施例中，該處理模組12依據該異常評估資訊121設定一風險標示資訊122，再將該風險標示資訊122疊加至該待測影像21而傳送到一顯示裝置60進行顯示。
在某些實施例中，在設定該風險標示資訊122的步驟中，該處理模組12將該待測影像21輸出至一卷積神經網路模型，並透過一類別激活映射手段(Class Activation Mapping,CAM)取出該卷積神經網路模型中的一特徵圖作為該風險標示資訊122。
在某些實施例中，在將該風險標示資訊122疊加至該待測影像21傳送到該顯示裝置60進行顯示的步驟中，該處理模組12係於該待測影像21中將異常部分進行一可視化標註123，並於該可視化標註123之處顯示其對應的該風險標示資訊122。
在某些實施例中，各該分類模型11係由該監督式學習與該非監督式學習反覆交替訓練而產生，係於訓練階段將複數正常影像樣本採用該非監督式學習來訓練各該分類模型11，以及將複數異常影像樣本採用該監督式學習來訓練各該分類模型11；該些分類模型11分別根據不完全相同的該些正常影像樣本和不完全相同的該些異常影像樣本進行訓練。
在某些實施例中，各該分類模型11係為人工智慧模型，該些異常影像樣本包含現場異常影像資料、開源影像資料以及合成影像資料當中的至少一者。
綜上所述，各該分類模型11係由監督式學習與非監督式學習交替訓練而產生，故各該分類模型11兼具監督式學習與非監督式學習的特色，且該些分類模型11的分類特色各有不同，本發明所產生的該異常評估資訊121可針對已知異常以及未知異常，尤其針對異常部分還可在視覺化上做了更好的呈現並標示出對應的風險，實用性大幅提升。
以上所述僅是本發明的較佳實施例而已，並非對本發明做任何形式上的限制，雖然本發明已以較佳實施例揭露如上，然而並非用以限定本發明，任何熟悉本專業的技術人員，在不脫離本發明技術方案的範圍內，當可利用上述揭示的技術內容做出些許更動或修飾為等同變化的等效實施例，但凡是未脫離本發明技術方案的內容，依據本發明的技術實質對以上實施例所作的任何簡單修改、等同變化與修飾，均仍屬於本發明技術方案的範圍內。
10:異常評估系統 11:分類模型 12:處理模組 121:異常評估資訊 20:影像擷取裝置 21:待測影像 V:待測特徵向量

Claims (14)

  1. 一種異常評估系統，連接一影像擷取裝置，該異常評估系統包含：複數分類模型，各該分類模型係由監督式學習與非監督式學習交替訓練而產生，該些分類模型的參數彼此不完全相同；以及一處理模組，連接該些分類模型，從該影像擷取裝置接收一待測影像，將該待測影像輸出至該些分類模型而分別得到複數待測特徵向量，以產生一異常評估資訊；其中，該異常評估系統連接一顯示裝置，該處理模組依據該異常評估資訊設定一風險標示資訊，再將該風險標示資訊疊加至該待測影像而傳送到該顯示裝置進行顯示。
  2. 如請求項1所述之異常評估系統，更包含：一資料模組，連接該些分類模型與該處理模組，且儲存複數訓練階段特徵向量，該些訓練階段特徵向量是由該些分類模型進行訓練時所產生的資料；該處理模組將該些訓練階段特徵向量進行空間分群以構成複數特徵群組，進而將該些訓練階段特徵向量量化成複數評分值，並根據該些評分值透過線性回歸手段產生一判定機制，以產生該異常評估資訊。
  3. 如請求項2所述之異常評估系統，其中，該處理模組分別定義該些分類模型的權重值，且根據該些分類模型的權重值及該判定機制，將該些待測特徵向量分別透過該判定機制而產生複數異常等級，並根據該些分類模型的權重值與其對應的該些異常等級產生該異常評估資訊。
  4. 如請求項1所述之異常評估系統，其中，該處理模組將該待測影像輸出至一卷積神經網路模型，並透過一類別激活映射手段(Class Activation Mapping,CAM)取出該卷積神經網路模型中的一特徵圖作為該風險標示資訊。
  5. 如請求項1所述之異常評估系統，其中，該風險標示資訊疊加至該待測影像傳送到該顯示裝置進行顯示時，係於該待測影像中將異常部分進行一可視化標註，並於該可視化標註之處顯示其對應的該風險標示資訊。
  6. 如請求項1所述之異常評估系統，其中，各該分類模型係由該監督式學習與該非監督式學習反覆交替訓練而產生，係於訓練階段將複數正常影像樣本採用該非監督式學習來訓練各該分類模型，以及將複數異常影像樣本採用該監督式學習來訓練各該分類模型；該些分類模型分別根據不完全相同的該些正常影像樣本和不完全相同的該些異常影像樣本進行訓練。
  7. 如請求項6所述之異常評估系統，其中，各該分類模型係為人工智慧模型，該些異常影像樣本包含現場異常影像資料、開源影像資料以及合成影像資料當中的至少一者。
  8. 一種異常評估方法，於一處理模組執行，包含：從一影像擷取裝置接收一待測影像，並將該待測影像輸出至複數分類模型而分別得到複數待測特徵向量，其中，各該分類模型係由監督式學習與非監督式學習交替訓練而產生，該些分類模型的參數彼此不完全相同；根據該些待測特徵向量產生一異常評估資訊；以及依據該異常評估資訊設定一風險標示資訊，再將該風險標示資訊疊加至該待測影像而傳送到一顯示裝置進行顯示。
  9. 如請求項8所述之異常評估方法，更包含：從一資料模組讀取複數訓練階段特徵向量，該些訓練階段特徵向量是由該些分類模型進行訓練時所產生的資料； 將該些訓練階段特徵向量進行空間分群以構成複數特徵群組，進而將該些訓練階段特徵向量量化成複數評分值，並根據該些評分值透過線性回歸手段產生一判定機制，以產生該異常評估資訊。
  10. 如請求項9所述之異常評估方法，更包含：分別定義該些分類模型的權重值；根據該些分類模型的權重值及該判定機制，將該些待測特徵向量分別透過該判定機制而產生複數異常等級；以及根據該些分類模型的權重值與其對應的該些異常等級產生該異常評估資訊。
  11. 如請求項8所述之異常評估方法，其中，在設定該風險標示資訊的步驟中，將該待測影像輸出至一卷積神經網路模型，並透過一類別激活映射手段(Class Activation Mapping,CAM)取出該卷積神經網路模型中的一特徵圖作為該風險標示資訊。
  12. 如請求項8所述之異常評估方法，其中，在將該風險標示資訊疊加至該待測影像傳送到該顯示裝置進行顯示的步驟中，係於該待測影像中將異常部分進行一可視化標註，並於該可視化標註之處顯示其對應的該風險標示資訊。
  13. 如請求項8所述之異常評估方法，其中，各該分類模型係由該監督式學習與該非監督式學習反覆交替訓練而產生，係於訓練階段將複數正常影像樣本採用該非監督式學習來訓練各該分類模型，以及將複數異常影像樣本採用該監督式學習來訓練各該分類模型；該些分類模型分別根據不完全相同的該些正常影像樣本和不完全相同的該些異常影像樣本進行訓練。
  14. 如請求項13所述之異常評估方法，其中，各該分類模型係為人工智慧模型，該些異常影像樣本包含現場異常影像資料、開源影像資料以及合成影像資料當中的至少一者。
TW110141070A 2021-11-04 2021-11-04 異常評估系統與異常評估方法 TWI806220B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW110141070A TWI806220B (zh) 2021-11-04 2021-11-04 異常評估系統與異常評估方法
CN202111346382.XA CN116091388A (zh) 2021-11-04 2021-11-15 异常评估系统与异常评估方法
US17/534,430 US20230133295A1 (en) 2021-11-04 2021-11-23 System and method to assess abnormality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110141070A TWI806220B (zh) 2021-11-04 2021-11-04 異常評估系統與異常評估方法

Publications (2)

Publication Number Publication Date
TW202319968A TW202319968A (zh) 2023-05-16
TWI806220B true TWI806220B (zh) 2023-06-21

Family

ID=86146122

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110141070A TWI806220B (zh) 2021-11-04 2021-11-04 異常評估系統與異常評估方法

Country Status (3)

Country Link
US (1) US20230133295A1 (zh)
CN (1) CN116091388A (zh)
TW (1) TWI806220B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032917A (zh) * 2018-01-12 2019-07-19 杭州海康威视数字技术股份有限公司 一种异常事件检测方法、装置及电子设备
CN110659173A (zh) * 2018-06-28 2020-01-07 中兴通讯股份有限公司 一种运维系统及方法
CN111310835A (zh) * 2018-05-24 2020-06-19 北京嘀嘀无限科技发展有限公司 目标对象的检测方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080292194A1 (en) * 2005-04-27 2008-11-27 Mark Schmidt Method and System for Automatic Detection and Segmentation of Tumors and Associated Edema (Swelling) in Magnetic Resonance (Mri) Images
US7738683B2 (en) * 2005-07-22 2010-06-15 Carestream Health, Inc. Abnormality detection in medical images
WO2014134550A1 (en) * 2013-02-28 2014-09-04 Auxogyn, Inc. Apparatus, method, and system for image-based human embryo cell classification
US20190280942A1 (en) * 2018-03-09 2019-09-12 Ciena Corporation Machine learning systems and methods to predict abnormal behavior in networks and network data labeling
US11730387B2 (en) * 2018-11-02 2023-08-22 University Of Central Florida Research Foundation, Inc. Method for detection and diagnosis of lung and pancreatic cancers from imaging scans
WO2021186592A1 (ja) * 2020-03-17 2021-09-23 株式会社村田製作所 診断支援装置及びモデル生成装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110032917A (zh) * 2018-01-12 2019-07-19 杭州海康威视数字技术股份有限公司 一种异常事件检测方法、装置及电子设备
CN111310835A (zh) * 2018-05-24 2020-06-19 北京嘀嘀无限科技发展有限公司 目标对象的检测方法及装置
CN110659173A (zh) * 2018-06-28 2020-01-07 中兴通讯股份有限公司 一种运维系统及方法

Also Published As

Publication number Publication date
TW202319968A (zh) 2023-05-16
US20230133295A1 (en) 2023-05-04
CN116091388A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
Zieliński et al. Deep learning approach to bacterial colony classification
AU2020100705A4 (en) A helmet detection method with lightweight backbone based on yolov3 network
CN109408389A (zh) 一种基于深度学习的代码缺陷检测方法及装置
WO2020008919A1 (ja) 機械学習装置及び方法
JP6418211B2 (ja) 識別情報付与システム、識別情報付与装置、識別情報付与方法及びプログラム
CN110892349A (zh) 自动化检查系统
WO2018092747A1 (ja) 学習済モデル生成方法、学習済モデル生成装置、信号データ判別方法、信号データ判別装置及び信号データ判別プログラム
CN103793694B (zh) 一种基于多特征空间稀疏分类器的人脸识别方法
Song et al. Multiscale adversarial and weighted gradient domain adaptive network for data scarcity surface defect detection
JPWO2021225097A5 (zh)
CN116029617B (zh) 质量验收表单的生成方法、装置、设备及可读存储介质
Shoohi et al. DCGAN for Handling Imbalanced Malaria Dataset based on Over-Sampling Technique and using CNN.
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
TWI806220B (zh) 異常評估系統與異常評估方法
Zhang et al. Colour‐patterned fabric‐defect detection using unsupervised and memorial defect‐free features
Ye et al. Dep-vit: Uncertainty suppression model based on facial expression recognition in depression patients
WO2023279944A1 (zh) 评估矿物价格的方法和计算机系统
CN117011577A (zh) 图像分类方法、装置、计算机设备和存储介质
WO2022079919A1 (ja) 検知プログラム、検知方法および検知装置
CN106874836A (zh) 一种基于红外热像图的电缆接头运行状态识别方法
Wibowo et al. Mask Use Detection in Public Places Using the Convolutional Neural Network Algorithm
Shou et al. A Method for Analyzing Learning Sentiment Based on Classroom Time‐Series Images
Malathi et al. A Survey on Plant Disease Prediction Using Deep Learning
CN109684499A (zh) 一种自由视角的立体对象检索方法与系统
Tenneti et al. Advanced Object Detection for Capsules and Tablets Identification Through Deep Learning