TWI729861B - 處理異常檢測的裝置及方法 - Google Patents

處理異常檢測的裝置及方法 Download PDF

Info

Publication number
TWI729861B
TWI729861B TW109121005A TW109121005A TWI729861B TW I729861 B TWI729861 B TW I729861B TW 109121005 A TW109121005 A TW 109121005A TW 109121005 A TW109121005 A TW 109121005A TW I729861 B TWI729861 B TW I729861B
Authority
TW
Taiwan
Prior art keywords
latent vector
input image
input
computing device
parameter
Prior art date
Application number
TW109121005A
Other languages
English (en)
Other versions
TW202130183A (zh
Inventor
李威諭
王鈺強
Original Assignee
四零四科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 四零四科技股份有限公司 filed Critical 四零四科技股份有限公司
Application granted granted Critical
Publication of TWI729861B publication Critical patent/TWI729861B/zh
Publication of TW202130183A publication Critical patent/TW202130183A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2433Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一種計算裝置,用來處理異常檢測,包含有:一編碼器,用來接收一輸入影像,以根據該輸入影像及該編碼器的至少一第一參數,產生包含有一語意潛在向量及一視覺外觀潛在向量的一第一潛在向量;以及一訓練模組,耦接於該編碼器,用來接收該輸入影像及該第一潛在向量,以根據該輸入影像、該第一潛在向量及一損失函數,更新該至少一第一參數。

Description

處理異常檢測的裝置及方法
本發明相關於一種用於多媒體系統的裝置及方法,尤指一種處理異常檢測的裝置及方法。
異常檢測旨在區分正常資料及異常資料(例如不正常樣本),以解決分布不匹配問題(distribution mismatch problem)。異常檢測已被應用來解決幾個應用領域的問題,例如生物醫學影像、影片監控及自動光學檢測(automated optical inspection,AOI)等。用於異常檢測的各種方法被提出以分離正常資料及異常資料。然而,正常資料及異常資料的複雜背景或內容變種(content variants)減少這些方法的效能。因此,用來處理異常檢測且改善效能的方法仍是亟待解決的問題。
本發明提供了一種方法及其裝置,用來處理異常檢測,以解決上述問題。
一種計算裝置(computing device),用來處理異常檢測(anomaly detection),包含有:一編碼器(encoder),用來接收一輸入影像,以根據該輸入影像及該編碼器的至少一第一參數,產生包含有一語意潛在向量(semantic latent vector)及一視覺外觀潛在向量(visual appearance latent vector)的一第一潛在向量;以及一訓練模組(training module),耦接於該編碼器,用來接收該輸入影像及該第一潛在向量,以根據該輸入影像、該第一潛在向量及一損失函數,更新該至少一第一參數。
第1圖為本發明實施例一計算裝置10的示意圖。計算裝置10包含有編碼器(encoder)100及訓練模組(training module)110。詳細來說,編碼器100接收輸入影像,以及根據輸入影像及編碼器100的至少一參數,產生第一潛在向量(latent vector)(例如潛在碼(latent code)或潛在表示(latent representation)),其中第一潛在向量包含有語意潛在向量(semantic latent vector)(例如語意潛在碼)及視覺外觀潛在向量(visual appearance latent vector)(例如視覺外觀潛在碼)。訓練模組110耦接於編碼器100,以及接收輸入影像及第一潛在向量。根據輸入影像、第一潛在向量及損失函數,訓練模組110更新編碼器100的至少一第一參數。
根據用來區分(例如識別)正常資料及異常資料(例如不正常樣本或不正常資料)的方式,用於異常檢測的方法可被劃分為兩種類型。藉由L1範數(L1-norm)函數或L2範數(L2-norm)函數,自我表示方法(self-representation methods)被設計用來測量(例如評估或計算)輸入(例如輸入影像)及輸出(例如重建影像)間的重建誤差,以區分輸入是否為一異常(anomaly)(例如異常值(outlier)、異常(out of distribution)或新穎(novelty))。舉例來說,高重建誤差代表輸入更有可能為一異常。然而,自我表示方法的模組可具有重建正常資料及異常資料的視覺外觀資訊(例如視覺屬性(visual attributes))的能力,以及可根據輸入的視覺外觀資訊而非輸入的語意資訊(例如類別特徵(categorical features)或類別資訊)產生輸出,以減少重建誤差。因此,重建誤差無法為用於異常檢測的一合適指示符。
另一方面,信心估計方法被設計用來找出信心分數及臨界值。舉例來說,若信心分數低於臨界值,輸入被決定為一異常。然而,當輸入為一異常時,信心估計方法的模組可產生高信心分數(即高信心分數高於臨界值)。也就是說,信心估計方法的模組難以根據輸入的語意資訊產生信心分數。因此,信心估計方法難以識別異常資料。此外,兩種方法的效能可被正常資料及異常資料的複雜背景或內容變種所影響。
本發明提供用於異常檢測且具有特徵分離(feature disentanglement)的裝置及方法,旨在分離(例如區分、識別)正常資料及異常資料的視覺外觀資訊及語意資訊。因此,正常資料及異常資料的複雜背景或內容變種減少方法的效能的問題被解決。
此外,本發明不僅對單類(one-class)異常檢測有效(即在一資料集中的所有類別被視為正常資料,以及其他資料集的類別被視為異常資料),也對多類(multi-class)異常檢測有效(即在一資料集中的一類別被視為異常資料,以及該資料集的其餘類別被視為正常資料)。
在一實施例中,語意潛在向量包含有輸入影像的語意資訊,以及不包含有輸入影像的視覺外觀資訊。在一實施例中,視覺外觀潛在向量包含有輸入影像的視覺外觀資訊,以及不包含有輸入影像的語意資訊。也就是說,編碼器100分別將輸入影像的語意資訊及視覺外觀資訊編碼到第一潛在向量的語意潛在向量及視覺外觀潛在向量。因此,計算裝置10聚焦語意資訊以估計信心分數。
在一實施例中,訓練模組110更新編碼器100的至少一參數,使編碼器100具有更好的能力來分離(例如分開)輸入影像的語意資訊及視覺外觀資訊。
在一實施例中,在訓練流程(例如分離流程)中,編碼器100及訓練模組110被合併以找出(例如學習)正常資料的分布。在一實施例中,在訓練流程中,語意潛在向量及視覺外觀潛在向量被訓練,以分別找出(例如學習)正常資料的語意資訊及視覺外觀資訊。透過訓練流程,編碼器100可更準確分離輸入影像的語意資訊及視覺外觀資訊。因此,藉由消除輸入影像的不相關的特徵,計算裝置10可更準確的估計信心分數。
在一實施例中,當執行訓練流程時,輸入影像為訓練資料集的影像(即真實影像)。在一實施例中,在完成訓練流程後,輸入影像為檢測的目標。
在一實施例中,編碼器100獨立運作而不需訓練模組110,例如當終止條件(例如迭代的數量等於一預設值)成立時。在此情況下,編碼器100可開始產生一潛在向量,以區分正常資料及異常資料(即決定輸入影像是否為一異常)。
在一實施例中,語意潛在向量是單熱向量(one-hot vector),以及語意潛在向量的每個數值滿足(例如遵循)預測的分布。在一實施例中,若語意潛在向量的一最大信心分數等於或低於一臨界數值,該輸入影像被決定為一異常。在一實施例中,若語意潛在向量的一最大信心分數高於一臨界數值,該輸入影像被決定為一正常。也就是說,計算裝置10為了信心估計使用語意潛在向量而不需視覺外觀潛在向量。計算裝置10選擇語意潛在向量的最大信心分數,以及比較最大信心分數及臨界數值,以決定輸入影像是否為一異常。因此,藉由消除輸入影像的不相關的特徵(即視覺外觀潛在向量),計算裝置10決定輸入影像是否為一異常。正常資料及異常資料的複雜背景或內容變種影響效能的問題被解決。
在一實施例中,編碼器100及訓練模組110的組合可被稱為變分自編碼器生成對抗網路(variational autoencoder-generative adversarial network,VAE-GAN)。換言之,訓練模組110可包含有解碼器(decoder)及鑑別器(discriminator)(例如鑑別器模組)。
第2圖為本發明實施例一訓練模組20的示意圖。訓練模組20可用來實現第1圖中的訓練模組110。訓練模組20包含有解碼器200、處理模組210(processing module)、鑑別器模組220及反饋模組230(feedback module)。解碼器200接收至少一潛在向量,以及根據至少一潛在向量及解碼器200的至少一第二參數,產生至少一重建影像。處理模組210耦接於解碼器200,以及接收及處理輸入影像、至少一潛在向量及至少一重建影像。接著,處理模組210產生複數個輸入對(input pairs)。鑑別器模組220耦接於處理模組210,以及接收複數個輸入對。根據複數個輸入對及鑑別器模組220的至少一第三參數,鑑別器模組220產生複數個分數。反饋模組230耦接於鑑別器模組220,以及接收複數個分數(scores)。根據複數個分數及損失函數,反饋模組230更新至少一第一參數、至少一第二參數及至少一第三參數。
在一實施例中,至少一潛在向量是第一潛在向量或隨機取樣潛在向量(random sampled latent vector)。舉例來說,解碼器200接收第一潛在向量,以及產生第一重建影像。解碼器200接收隨機取樣潛在向量,以及產生第二重建影像。
在一實施例中,隨機取樣潛在向量包含有語意潛在向量及視覺外觀潛在向量。在一實施例中,隨機取樣潛在向量的視覺外觀潛在向量可滿足(例如遵循)多變量常態分布(multivariate normal distribution)(例如多變量高斯分布)
Figure 02_image001
。在一實施例中,藉由強加(impose)分布
Figure 02_image003
,編碼器100被正規化(regularize),其中
Figure 02_image005
在一實施例中,編碼器100及解碼器200的組合可被稱為自編碼器(autoencoder)。在一實施例中,編碼器100及解碼器200的組合可被稱為變分自編碼器(variational autoencoder,VAE)。
在一實施例中,解碼器200的目標是產生具有與輸入影像(即真實影像)相同品質的重建影像。
在一實施例中,處理模組210接收一影像(例如輸入影像或至少一重建影像),以及降低影像的維度(dimensions)以產生一向量。接著,處理模組210連接(concatenate)向量及潛在向量(例如至少一潛在向量),以及產生一輸入對。
在一實施例中,複數個輸入對的一輸入對包含有輸入影像(即真實影像)及具有輸入影像的至少一標籤(label)的視覺外觀潛在向量,其中至少一標籤是語意潛在向量的基準真相(ground truth)(即至少一標籤包含有輸入影像的理想語意資訊)。
在一實施例中,複數個輸入對的一輸入對包含有至少一重建影像及至少一潛在向量。舉例來說,當接收第一潛在向量時,若解碼器200產生第一重建影像,輸入對包含有第一潛在向量及第一重建影像。當接收隨機取樣潛在向量時,若解碼器200產生第二重建影像,輸入對包含有隨機取樣潛在向量及第二重建影像。
在一實施例中,鑑別器模組220約束(constrain)解碼器200,使解碼器200不忽略至少一潛在向量的語意潛在向量,以產生至少一重建影像。
在一實施例中,在接收輸入對後,鑑別器模組220產生用來區分(例如決定或辨別)輸入對真實(或仿冒)程度的一分數(即用來區別在輸入對中的影像和潛在向量是否更有可能是原始資料或由編碼器100或解碼器200所產生的重建資料)。複數個分數間的較大差距代表鑑別器模組220更成功地區分複數個輸入對。
第3圖為本發明實施例一鑑別器模組300的示意圖。鑑別器模組300可用來實現第2圖中的鑑別器模組220。鑑別器模組300接收輸入對,以及產生對應的分數。根據輸入對的不同內容,3種情況(a)~(c)被用於說明本發明的可能場景,但不限於此。
在情況(a)中,鑑別器模組300接收一輸入對,其中輸入對包含有輸入影像(即真實影像)及具有輸入影像的至少一標籤的視覺外觀潛在向量。根據至少一第三參數、輸入影像、第一潛在向量的視覺外觀潛在向量及至少一標籤,鑑別器模組300產生第一分數。
在情況(b)中,鑑別器模組300接收一輸入對,其中輸入對包含有第一重建影像及第一潛在向量。根據至少一第三參數、第一重建影像及第一潛在向量,鑑別器模組300產生第二分數。
在情況(c)中,鑑別器模組300接收一輸入對,其中輸入對包含有第二重建影像及隨機取樣潛在向量。根據至少一第三參數、第二重建影像及隨機取樣潛在向量,鑑別器模組300產生第三分數。
需注意的是,情況(a)~(c)可發生在相同疊代(iteration)中。也就是說,根據第3圖,在一疊代中,鑑別器模組300產生第一分數、第二分數及第三分數,以及傳送上述分數到反饋模組230。接著,根據損失函數及這些分數,反饋模組230更新至少一第一參數、至少一第二參數及至少一第三參數。
在一實施例中,根據第一分數、第二分數及損失函數,反饋模組230產生第一數值。在一實施例中,根據第一分數、第三分數及損失函數,反饋模組230產生第二數值。在一實施例中,在一疊代中,根據第一數值及第二數值,反饋模組230更新編碼器100的至少一第一參數及解碼器200的至少一第二參數。在一實施例中,在一疊代中,根據第一數值及第二數值,反饋模組230更新鑑別器模組220的至少一第三參數。在一實施例中,第一數值在每一次疊代中可為相同或不同。第二數值在每一次疊代中可為相同或不同。
在一實施例中,當更新至少一第一參數及至少一第二參數被請求(例如設定),以及至少一第三參數可被固定時,反饋模組230可產生第一數值及第二數值。在一實施例中,當更新至少一第三參數被請求(例如設定),以及至少一第一參數及至少一第二參數可被固定時,反饋模組230可產生第一數值及第二數值。也就是說,在一疊代中,反饋模組230更新編碼器100及解碼器200的參數(或鑑別器模組220的參數),以及鑑別器模組220的參數(或編碼器100及解碼器200的參數)被固定。
在一實施例中,在一疊代中,根據第一數值及第二數值,反饋模組230使用適應矩估計最佳化器(Adaptive Moment Estimation optimizer,ADAM optimizer)來更新編碼器100的至少一第一參數及解碼器200的至少一第二參數。在用來更新至少一第一參數及至少一第二參數的疊代後,鑑別器模組220接收新複數個輸入對,以及產生新複數個分數。新複數個分數間的新差距可小於當前複數個分數間的當前差距。
在一實施例中,在一疊代中,根據第一數值及第二數值,反饋模組230使用適應矩估計最佳化器以更新至少一第三參數。在用來更新至少一第三參數的疊代後,當接收相同複數個輸入對時,根據鑑別器模組220的至少一新第三參數,鑑別器模組220產生新複數個分數。新複數個分數間的新差距可大於當前複數個分數間的當前差距。
在一實施例中,在至少一第三參數被更新N次後,至少一第一參數及至少一第二參數被更新,其中N是一正整數。在一實施例中,在至少一第一參數及至少一第二參數被更新M次後,至少一第三參數被更新,其中M是一正整數。
在一實施例中,訓練流程(例如上述實施例)不僅鼓勵解碼器200產生具有與真實影像相同品質的至少一重建影像,也讓編碼器100分別分離輸入影像的語意資訊及視覺外觀資訊到語意潛在向量及視覺外觀潛在向量。在一實施例中,編碼器100獨立運作而不需訓練模組110(例如訓練模組20),例如當鑑別器模組220無法根據複數個分數區分複數個輸入對(例如複數個分數間的差距接近為零)時。在此情況下,編碼器100可開始產生一潛在向量,以區分正常資料及異常資料(即決定輸入影像是否為一異常)。
在一實施例中,若解碼器220所接收的至少一潛在向量為第一潛在向量,編碼器100接收至少一重建影像(即第一重建影像),以產生第二潛在向量。在一實施例中,根據第一潛在向量及第二潛在向量間的差異,反饋模組230計算損失函數。
在一實施例中,損失函數
Figure 02_image007
包含有至少一正則化器(regularizer)(例如至少一正則化函數(regularization function))、類別型(categorical)損失函數(例如監督(supervised)損失函數)、KL散度(Kullback-Leibler divergence,KL divergence)函數及瓦瑟斯坦生成對抗網路(Wasserstein Generative Adversarial Network,WGAN)損失函數。至少一正則化器可為重建損失函數
Figure 02_image009
及特徵一致性(feature consistency)損失函數
Figure 02_image011
。在一實施例中,若至少一潛在向量為第一潛在向量,重建損失函數
Figure 02_image009
是用來計算輸入影像及至少一重建影像(即第一重建影像)間的差異的L1範數函數。在一實施例中,特徵一致性損失函數
Figure 02_image011
是用來計算第一潛在向量及第二潛在向量間的差異的L1範數函數。重建損失函數
Figure 02_image009
、類別型損失函數
Figure 02_image013
及特徵一致性損失函數
Figure 02_image011
可根據下列方程式被執行:
Figure 02_image015
;  (式1)
Figure 02_image017
;                 (式2)
Figure 02_image019
;       (式3)
其中
Figure 02_image021
是輸入影像,
Figure 02_image023
是期望值公式(expected value formula),
Figure 02_image025
是編碼器100所產生的潛在向量(例如第一潛在向量或第二潛在向量),
Figure 02_image027
是解碼器200所產生的重建影像(例如至少一重建影像),以及
Figure 02_image029
Figure 02_image031
分別是潛在向量的語意潛在向量及視覺外觀潛在向量。
Figure 02_image033
代表輸入影像的標籤(即至少一標籤)。
損失函數
Figure 02_image007
被最佳化以解決一對抗極小極大問題(adversarial min-max problem),以根據損失函數,更新至少一第一參數、至少一第二參數及至少一第三參數。損失函數
Figure 02_image007
可根據下列方程式被執行:
Figure 02_image035
Figure 02_image037
;                (式4)
其中
Figure 02_image039
是瓦瑟斯坦生成對抗網路損失函數,
Figure 02_image041
是KL散度函數,以及在方程式(即式4)中的係數
Figure 02_image043
Figure 02_image045
Figure 02_image047
為固定值。
在一實施例中,重建損失函數
Figure 02_image009
是用來維持(maintain)輸入影像的結構。在一實施例中,類別型損失函數
Figure 02_image013
是用於編碼器100,使編碼器100識別輸入影像的語意資訊為第一潛在向量的語意潛在向量。在一實施例中,特徵一致性損失函數
Figure 02_image011
是用來維持在視覺外觀潛在向量中的潛在向量一致性。
第4圖為本發明實施例一實驗結果的比較表40。在第4圖中,七種方法以美國國家標準暨技術研究院所修改的資料集(Modified National Institute of Standards and Technology dataset,MNIST dataset)產生實驗結果:標準變分自編碼器(standard VAE)、AnoGAN、基於生成對抗網路的有效異常檢測(Efficient GAN Based Anomaly Detection,EGBAD)、GANomaly、耦接於生成對抗網路的無限高斯混和模型(Infinite Gaussian Mixture Model coupled with Generative Adversarial Networks,IGMM-GAN)、在神經網路中的異常檢測(Outlier Detection In Neural Networks,ODIN)及本發明實施例。接著,藉由採用接收者操作特徵曲線下方的面積指標(Area Under the Receiver Operating Characteristic curve metric,AUROC curve metric),比較表40顯示定性及定量的實驗結果。為了聚焦更具有挑戰性的多類異常檢測,在該資料集中的一類別被視為異常,以及在該資料集中的其餘類別被視為正常資料。觀察比較表40可知,相較於其他方法,本發明具有較好的效能。
在上述實施例中,計算裝置10的運作可被歸納為第5圖中的一流程圖50。流程圖50可被實現在計算裝置10中,以及包含有以下步驟:
步驟500:開始。
步驟502:接收輸入影像。
步驟504:根據輸入影像及編碼器的至少一第一參數,產生包含有語意潛在向量及視覺外觀潛在向量的第一潛在向量。
步驟506:根據輸入影像、第一潛在向量及損失函數,更新至少一第一參數。
步驟508:結束。
流程圖50可被用來舉例說明計算裝置10的運作。流程圖10的詳細內容及變化可參考前述,在此不贅述。
本領域具通常知識者當可依本發明的精神加以結合、修飾及/或變化以上所述的實施例,而不限於此。前述的編碼器、解碼器、陳述、函數、模組及/或流程(包含建議步驟)可透過裝置實現,裝置可為硬體、軟體、韌體(為硬體裝置與電腦指令與資料的結合,且電腦指令與資料屬於硬體裝置上的唯讀軟體)、電子系統、或上述裝置的組合。
硬體的實施例可包含有類比電路、數位電路及/或混合電路。舉例來說,硬體可包含有特定應用積體電路(application-specific integrated circuit(s),ASIC(s))、場域可程式化閘陣列(field programmable gate array(s),FPGA(s))、可程式化邏輯裝置(programmable logic device(s))、耦合硬體元件(coupled hardware components)、或上述裝置的組合。在一實施例中,硬體包含有通用處理器(general-purpose processor(s))、微處理器(microprocessor(s))、控制器(controller(s))、數位訊號處理器(digital signal processor(s),DSP(s))、或上述裝置的組合。
軟體的實施例可包含有程式代碼的集合、指令的集合及/或函數的集合,其可被保留(例如存儲)在存儲單元,例如電腦可讀取介質(computer-readable medium)中。電腦可讀取介質可包含有用戶識別模組(Subscriber Identity Module,SIM)、唯讀式記憶體(Read-Only Memory,ROM)、快閃記憶體(flash memory)、隨機存取記憶體(Random-Access Memory,RAM)、CD-ROM/DVD-ROM/BD-ROM、磁帶(magnetic tape)、硬碟(hard disk)、光學資料儲存裝置(optical data storage device)、非揮發性儲存裝置(non-volatile storage device)、或上述裝置的組合。電腦可讀取介質(例如存儲單元)可在內部(例如集成(integrate))或外部(例如分離(separate))耦合到至少一處理器。包含有一個或多個模組的至少一個處理器可(例如被配置為)執行電腦可讀取介質中的軟體。程式代碼的集合、指令的集合及/或函數的集合可使至少一處理器、模組、硬體及/或電子系統執行相關步驟。
綜上所述,本發明提供了一種處理異常檢測(例如單類異常檢測及多類異常檢測)的計算裝置。本發明分離輸入影像的語意資訊及視覺外觀資訊,以減少由輸入影像的複雜背景或內容變種所造成的影響。 以上所述僅為本發明之較佳實施例,凡依本發明申請專利範圍所做之均等變化與修飾,皆應屬本發明之涵蓋範圍。
10:計算裝置 100:編碼器 110:訓練模組 20:訓練模組 200:解碼器 210:處理模組 220:鑑別器模組 230:反饋模組 300:鑑別器模組 40:比較表 50:流程圖 500~508:步驟
第1圖為本發明實施例一計算裝置的示意圖。 第2圖為本發明實施例一訓練模組的示意圖。 第3圖為本發明實施例一鑑別器模組的示意圖。 第4圖為本發明實施例一實驗結果的比較表。 第5圖為本發明實施例一流程的流程圖。
10:計算裝置
100:編碼器
110:訓練模組

Claims (12)

  1. 一種計算裝置(computing device),用來處理異常檢測(anomaly detection),包含有: 一編碼器(encoder),用來接收一輸入影像,以根據該輸入影像及該編碼器的至少一第一參數,產生包含有一語意潛在向量(semantic latent vector)及一視覺外觀潛在向量(visual appearance latent vector)的一第一潛在向量;以及 一訓練模組(training module),耦接於該編碼器,用來接收該輸入影像及該第一潛在向量,以根據該輸入影像、該第一潛在向量及一損失函數,更新該至少一第一參數。
  2. 如請求項1所述的計算裝置,其中若該語意潛在向量的一最大信心分數低於一臨界數值,該輸入影像被決定為一異常。
  3. 如請求項1所述的計算裝置,其中該語意潛在向量包含有該輸入影像的一語意資訊,以及不包含有該輸入影像的一視覺外觀資訊。
  4. 如請求項1所述的計算裝置,其中該視覺外觀潛在向量包含有該輸入影像的一視覺外觀資訊,以及不包含有該輸入影像的一語意資訊。
  5. 如請求項1所述的計算裝置,其中該訓練模組包含有: 一解碼器(decoder),用來接收至少一潛在向量,以根據該至少一潛在向量及該解碼器的至少一第二參數,產生至少一重建影像; 一處理模組(processing module),耦接於該解碼器,用來處理該輸入影像、該至少一重建影像及該至少一潛在向量,以產生複數個輸入對(input pairs); 一鑑別器模組(discriminator module),耦接於該處理模組,用來接收該複數個輸入對,以根據該複數個輸入對及該鑑別器模組的至少一第三參數,產生複數個分數;以及 一反饋模組(feedback module),耦接於該鑑別器模組,用來接收該複數個分數,以根據該複數個分數及該損失函數,更新該至少一第一參數、該至少一第二參數及該至少一第三參數。
  6. 如請求項5所述的計算裝置,其中該至少一潛在向量是該第一潛在向量或一隨機取樣潛在向量(random sampled latent vector)。
  7. 如請求項5所述的計算裝置,其中該複數個輸入對的一輸入對包含有該輸入影像及具有該輸入影像的至少一標籤(label)的該視覺外觀潛在向量。
  8. 如請求項5所述的計算裝置,其中該複數個輸入對的一輸入對包含有該至少一重建影像及該至少一潛在向量。
  9. 如請求項5所述的計算裝置,其中若該至少一潛在向量是該第一潛在向量,該編碼器接收該至少一重建影像,以產生一第二潛在向量。
  10. 如請求項9所述的計算裝置,其中根據該第一潛在向量及該第二潛在向量間的差異,該反饋模組計算該損失函數。
  11. 如請求項1所述的計算裝置,其中該損失函數包含有至少一正則化器(regularizer)、一類別型(categorical)損失函數、一KL散度(Kullback-Leibler divergence,KL divergence)函數及一瓦瑟斯坦生成對抗網路(Wasserstein Generative Adversarial Network,WGAN)損失函數。
  12. 如請求項11所述的計算裝置,其中若該至少一潛在向量是該第一潛在向量,該至少一正則化器是用來計算該輸入影像及該至少一重建影像間的差異的一L1範數(L1-norm)函數。
TW109121005A 2020-01-21 2020-06-20 處理異常檢測的裝置及方法 TWI729861B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062964096P 2020-01-21 2020-01-21
US62/964,096 2020-01-21
US16/867,576 US11748629B2 (en) 2020-01-21 2020-05-06 Device and method of handling anomaly detection
US16/867,576 2020-05-06

Publications (2)

Publication Number Publication Date
TWI729861B true TWI729861B (zh) 2021-06-01
TW202130183A TW202130183A (zh) 2021-08-01

Family

ID=70918271

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109121005A TWI729861B (zh) 2020-01-21 2020-06-20 處理異常檢測的裝置及方法

Country Status (5)

Country Link
US (1) US11748629B2 (zh)
EP (1) EP3855361A1 (zh)
JP (1) JP6955612B2 (zh)
CN (1) CN113222883B (zh)
TW (1) TWI729861B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201718756D0 (en) * 2017-11-13 2017-12-27 Cambridge Bio-Augmentation Systems Ltd Neural interface
WO2021178108A1 (en) * 2020-03-04 2021-09-10 Google Llc Consistency prediction on streaming sequence models
US11537902B1 (en) * 2020-06-25 2022-12-27 Amazon Technologies, Inc. Detecting anomalous events from categorical data using autoencoders
US20220108434A1 (en) * 2020-10-07 2022-04-07 National Technology & Engineering Solutions Of Sandia, Llc Deep learning for defect detection in high-reliability components
US20220138554A1 (en) * 2020-10-30 2022-05-05 Capital One Services, Llc Systems and methods utilizing machine learning techniques for training neural networks to generate distributions
KR102595182B1 (ko) * 2023-04-03 2023-10-30 주식회사 크로커스 이미지 이상 탐지 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170199803A1 (en) * 2016-01-11 2017-07-13 Oracle International Corporation Duplicate bug report detection using machine learning algorithms and automated feedback incorporation
US20180225355A1 (en) * 2017-02-07 2018-08-09 International Business Machines Corporation Self-improving classification
WO2018182829A1 (en) * 2017-03-27 2018-10-04 Nec Laboratories America, Inc. Automated meta-parameter search for invariant-based anomaly detectors in log analytics
US10333958B2 (en) * 2016-07-19 2019-06-25 Cisco Technology, Inc. Multi-dimensional system anomaly detection
TW201931187A (zh) * 2017-12-28 2019-08-01 香港商阿里巴巴集團服務有限公司 統一資源定位符(url)攻擊檢測方法、裝置及電子設備

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274432B (zh) * 2017-06-10 2019-07-26 北京航空航天大学 一种智能视频监控方法
CN109685087B9 (zh) 2017-10-18 2023-02-03 富士通株式会社 信息处理方法和装置以及信息检测方法
US10825219B2 (en) 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks
US10810754B2 (en) * 2018-04-24 2020-10-20 Ford Global Technologies, Llc Simultaneous localization and mapping constraints in generative adversarial networks for monocular depth estimation
US20210256353A1 (en) 2018-05-17 2021-08-19 Tobii Ab Autoencoding generative adversarial network for augmenting training data usable to train predictive models
CN108805802B (zh) * 2018-06-05 2020-07-31 东北大学 一种基于约束条件的堆叠步进自编码器的正面人脸重建系统及方法
US10558913B1 (en) * 2018-10-24 2020-02-11 Equifax Inc. Machine-learning techniques for monotonic neural networks
KR102613210B1 (ko) * 2018-11-08 2023-12-14 현대자동차주식회사 차량 및 그 제어방법
CN109784359A (zh) * 2018-11-27 2019-05-21 北京邮电大学 图像生成方法、装置、设备及可读存储介质
US10311334B1 (en) * 2018-12-07 2019-06-04 Capital One Services, Llc Learning to process images depicting faces without leveraging sensitive attributes in deep learning models
US20200356592A1 (en) * 2019-05-09 2020-11-12 Microsoft Technology Licensing, Llc Plural-Mode Image-Based Search
US11604822B2 (en) * 2019-05-30 2023-03-14 Adobe Inc. Multi-modal differential search with real-time focus adaptation
CN110580501B (zh) * 2019-08-20 2023-04-25 天津大学 一种基于变分自编码对抗网络的零样本图像分类方法
US11189007B2 (en) * 2019-12-03 2021-11-30 Imagry (Israel) Ltd Real-time generation of functional road maps

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170199803A1 (en) * 2016-01-11 2017-07-13 Oracle International Corporation Duplicate bug report detection using machine learning algorithms and automated feedback incorporation
US10333958B2 (en) * 2016-07-19 2019-06-25 Cisco Technology, Inc. Multi-dimensional system anomaly detection
US20180225355A1 (en) * 2017-02-07 2018-08-09 International Business Machines Corporation Self-improving classification
WO2018182829A1 (en) * 2017-03-27 2018-10-04 Nec Laboratories America, Inc. Automated meta-parameter search for invariant-based anomaly detectors in log analytics
TW201931187A (zh) * 2017-12-28 2019-08-01 香港商阿里巴巴集團服務有限公司 統一資源定位符(url)攻擊檢測方法、裝置及電子設備

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Xiaobin Chang, Timothy M. Hospedales, Tao Xiang, "Multi-Level Factorisation Net for Person Re-Identification", The Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 18-22 2018, Salt Lake City, pp. 2109-2118 *
Xiaobin Chang, Timothy M. Hospedales, Tao Xiang, "Multi-Level Factorisation Net for Person Re-Identification", The Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 18-22 2018, Salt Lake City, pp. 2109-2118。

Also Published As

Publication number Publication date
CN113222883A (zh) 2021-08-06
US20210224606A1 (en) 2021-07-22
TW202130183A (zh) 2021-08-01
EP3855361A1 (en) 2021-07-28
US11748629B2 (en) 2023-09-05
CN113222883B (zh) 2024-02-23
JP6955612B2 (ja) 2021-10-27
JP2021117968A (ja) 2021-08-10

Similar Documents

Publication Publication Date Title
TWI729861B (zh) 處理異常檢測的裝置及方法
WO2021204272A1 (zh) 基于隐私保护确定目标业务模型
US20190294975A1 (en) Predicting using digital twins
CN107392312B (zh) 一种基于dcgan性能的动态调整方法
CN112966763B (zh) 一种分类模型的训练方法、装置、电子设备及存储介质
CN108052862B (zh) 年龄预估方法和装置
WO2023184918A1 (zh) 一种图像异常检测方法、装置、系统及可读存储介质
US10726332B2 (en) Generating a training model based on feedback
TWI722325B (zh) 對待評估樣本進行分類的方法、裝置、電腦可讀儲存介質及計算設備
US11132618B2 (en) Generating a training model based on feedback
CN112508243A (zh) 电力信息系统多故障预测网络模型的训练方法及装置
KR102079359B1 (ko) 개선된 sax 기법 및 rtc 기법을 이용한 공정 모니터링 장치 및 방법
TWI765264B (zh) 處理影像超解析度的裝置及方法
CN108009122B (zh) 一种改进的hht方法
CN109740621B (zh) 一种视频分类方法、装置及设备
CN113436650B (zh) 婴儿哭声识别方法、装置、电子设备及存储介质
KR20230093622A (ko) 트윈 모델을 이용한 이상치 검출 방법 및 시스템과 그 학습방법
EP3789930A1 (en) Method and system for data validation
JP5118707B2 (ja) 検索ログ悪用防止方法及び装置
JPWO2021038840A5 (zh)
JP7420278B2 (ja) 情報処理装置、情報処理方法、及び、記録媒体
CN116416456B (zh) 基于自蒸馏的图像分类方法、系统、存储介质和电子设备
Priya et al. A statistical evaluation of sparsity-based distance measure (sdm) as an image quality assessment algorithm
CN114648646A (zh) 一种图像分类方法及装置
CN114676820A (zh) 网络模型的调优方法、装置、电子设备及存储介质