TW202038145A - 用於雜訊標籤的對抗訓練系統及方法 - Google Patents

用於雜訊標籤的對抗訓練系統及方法 Download PDF

Info

Publication number
TW202038145A
TW202038145A TW108141171A TW108141171A TW202038145A TW 202038145 A TW202038145 A TW 202038145A TW 108141171 A TW108141171 A TW 108141171A TW 108141171 A TW108141171 A TW 108141171A TW 202038145 A TW202038145 A TW 202038145A
Authority
TW
Taiwan
Prior art keywords
data set
updated
machine learning
learning model
label
Prior art date
Application number
TW108141171A
Other languages
English (en)
Other versions
TWI826586B (zh
Inventor
章煥 李
Original Assignee
南韓商三星顯示器有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星顯示器有限公司 filed Critical 南韓商三星顯示器有限公司
Publication of TW202038145A publication Critical patent/TW202038145A/zh
Application granted granted Critical
Publication of TWI826586B publication Critical patent/TWI826586B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本發明係提供一種系統包含記憶體。處理器，用於根據該第一資料集標籤，訓練第一機器學習模型；將第二資料集提供給訓練後的第一機器學習模型，以產生包含更新後第二資料集標籤的更新後第二資料集，確定更新後第二資料集標籤與第二資料集標籤之間的第一差異；如果該第一差異大於第一閾值，則根據更新後第二資料集標籤來訓練第二機器學習模型；將第一資料集提供給訓練後的第二機器學習模型以產生包含更新後第一資料集標籤的更新後第一資料集，確定更新後第一資料集標籤與第一資料集標籤之間的第二差異；如果第二差異大於第二閾值，則根據更新後第一資料集標籤來訓練第一機器學習模型。

Description

用於雜訊標籤的對抗訓練系統及方法
相關申請的交叉引用
本申請主張於2018年12月20日提交的名稱為「用於雜訊標籤的對抗訓練方法」的美國臨時專利申請號62/783,150的優先權及權益，其全部內容透過引用明確地結合於此。
根據本發明的實施例的一個或多個態樣涉及用於雜訊標籤的對抗訓練方法。
近年來，隨著新的顯示技術被引入市場，顯示器產業發展迅速。行動裝置、電視、虛擬現實(VR)頭戴式裝置及其他顯示器是驅動顯示器以使其具有更高的解析度及更準確的色彩的推力。隨著新型顯示面板模組及生產方法的發展，使用常規方法難以檢查出表面缺陷。
背景技術部分中的以上資訊僅用於增強對技術背景的理解，因此不應將其解釋為承認現有技術的存在或相關性。
本段發明內容是為了介紹本發明的實施例的特徵及概念的選擇，其在下面的實施方式中進一步描述。本段發明內容不旨在標識所要求保護的標的之關鍵或必要特徵，也不旨在用於限制所要求保護的標的之範圍。所描述的特徵中的一個或多個可以與一個或多個其他所描述的特徵組合以提供可行的裝置。
本發明的例示性實施例的態樣涉及用於雜訊標籤的對抗訓練方法。
在一些實施例中，對抗訓練系統包含記憶體；以及處理器，處理器配置為執行儲存在記憶體中的指令，該指令在由處理器執行時使處理器執行以下操作：接收包含第一資料集標籤的第一資料集；接收包含第二資料集標籤的第二資料集；根據第一資料集標籤來訓練第一機器學習模型；將第二資料集提供給訓練後的第一機器學習模型以產生包含更新後第二資料集標籤的更新後第二資料集，該更新後第二資料集是透過使用訓練後的第一機器學習模型對第二資料集進行分類而產生；確定更新後第二資料集標籤及第二資料集標籤之間的第一差異；如果第一差異大於第一閾值，則根據更新後第二資料集標籤來訓練第二機器學習模型；將第一資料集提供給訓練後的第二機器學習模型以產生包含更新後第一資料集標籤的更新後第一資料集，該更新後第一資料集是透過使用訓練後的第二機器學習模型對第一資料集進行分類而產生；確定更新後第一資料集標籤及第一資料集標籤之間的第二差異；如果第二差異大於第二閾值，則根據更新後第一資料集標籤來訓練第一機器學習模型。
在一些實施例中，指令還使處理器繼續執行：訓練第一機器學習模型及第二機器學習模型，直到第一差異低於第一閾值並且第二差異低於第二閾值。在一些實施例中，第一閾值及第二閾值約等於零，其中第一閾值不同於第二閾值。在一些實施例中，指令還使處理器繼續訓練第一機器學習模型及第二機器學習模型，當施加至更新後第一資料集及更新後第二資料集時，第一機器學習模型及第二機器學習模型產生相同的資料集標籤結果。在一些實施例中，透過在將訓練後的第二機器學習模型施加於第一資料集之後，透過更新已經翻轉(flipped)到新類別的來自第一資料集的資料的資料樣本標籤來產生更新後第一資料集。
在一些實施例中，更新後第一資料集標籤不同於第一資料集標籤。在一些實施例中，檢查員根據更新後第二資料集標籤對第一資料集重新標記以產生更新後第一資料集。在一些實施例中，第一機器學習模型及第二機器學習模型是分類演算法。在一些實施例中，透過在將訓練後的第一機器學習模型施加於第二資料集之後，透過更新已經翻轉到新類別的來自第二資料集的資料的資料樣本標籤以產生更新後第二資料集。在一些實施例中，第一資料集由檢查員分類或標記。
在一些實施例中，對抗訓練系統包含記憶體；以及處理器，處理器其被配置為執行儲存在記憶體中的指令，該指令在由處理器執行時使處理器執行：根據第一資料集的第一資料集標籤來訓練第一機器學習模型；以及將包含第二資料集標籤的第二資料集提供給訓練後的第一機器學習模型，以產生包含更新後第二資料集標籤的更新後第二資料集；根據更新後第二資料集標籤來訓練第二機器學習模型；將第一資料集提供給訓練後的第二機器學習模型以產生包含更新後第一資料集標籤的更新後第一資料集；並根據更新後第一資料集標籤來訓練第一機器學習模型。
在一些實施例中，指令進一步使處理器繼續執行：確定更新後第二資料集標籤及第二資料集標籤之間的第一差異，其中如果第一差異大於第一閾值，則根據更新後第二資料集標籤來訓練第二機器學習模型；確定更新後第一資料集標籤與第一資料集標籤之間的第二差異，其中如果第二差異大於第二閾值，則根據更新後第一資料集標籤來訓練第一機器學習模型；訓練第一機器學習模型及第二機器學習模型，直到第一差異小於第一閾值且第二差異小於第二閾值。在一些實施例中，第一閾值及第二閾值約等於零，其中第一閾值不同於第二閾值。
在一些實施例中，透過使用訓練後的第二機器學習模型對第一資料集進行分類來產生更新後第一資料集，並且透過使用訓練後的第一機器學習模型對第二資料集進行分類來產生更新後第二資料集。在一些實施例中，指令還使處理器繼續訓練第一機器學習模型及第二機器學習模型，直到當施加至更新後第一資料集及更新後第二資料集時，第一機器學習模型及第二機器學習模型產生相同的資料集標籤結果。
在一些實施例中，透過在將訓練後的第二機器學習模型施加於第一資料集之後，透過更新已經翻轉到新類別的來自第一資料集的資料的一資料樣本標籤來產生更新後第一資料集，更新後第一資料集標籤與第一資料集標籤不同，並且由檢查員根據更新後第二資料集標籤對第一資料集進行重新標記，以產生更新後第一資料集。在一些實施例中，第一機器學習模型及第二機器學習模型是分類演算法，其中第一資料集由檢查員分類或標記，並且其中在將訓練後的第一機器學習模型施加於第二資料集之後，透過更新已經翻轉到新類別的來自第二資料集的資料的資料樣本標籤以產生更新後第二資料集。
在一些實施例中，一種對抗訓練方法包含：藉由處理器根據第一資料集的第一資料集標籤來訓練第一機器學習模型；藉由處理器將包含第二資料集標籤的第二資料集提供給訓練後的第一機器學習模型，以產生包含更新後第二資料集標籤的更新後第二資料集；藉由處理器根據更新後第二資料集標籤來訓練第二機器學習模型；藉由處理器將第一資料集提供給訓練後的第二機器學習模型，以產生包含更新後第一資料集標籤的更新後第一資料集；以及藉由處理器根據更新後第一資料集標籤來訓練第一機器學習模型。
在一些實施例中，該方法還包含藉由處理器確定更新後第二資料集標籤及第二資料集標籤之間的第一差異，其中如果第一差異大於第一閾值，則根據更新後第二資料集標籤來訓練第二機器學習模型；藉由處理器確定更新後第一資料集標籤與第一資料集標籤之間的第二差異，其中如果第二差異大於第二閾值，則根據更新後第一資料集標籤來訓練第一機器學習模型；並藉由處理器訓練第一機器學習模型及第二機器學習模型，直到第一差異低於第一閾值且第二差異低於第二閾值。
在一些實施例中，第一閾值及第二閾值約等於零，其中第一閾值不同於第二閾值，並且其中透過使用訓練後的第二機器學習模型對第一資料集進行分類來產生更新後第一資料集，並透過使用訓練後的第一機器學習模型對第二資料集進行分類來產生更新後第二資料集。
下面結合圖式闡述的詳細描述旨在描述根據本發明提供的用於雜訊標籤的對抗訓練方法的一些例示性實施例，並且無意代表本發明可以構造或利用的唯一形式。以下描述結合所示出的實施例闡述了本發明的特徵。然而，應當理解，相同或等同的功能及結構可以透過不同的實施例來實現，這些不同的實施例也意圖被包含在本發明的範圍內。如本文其他地方所指示的，相似的元件符號旨在指示相似的元件或特徵。
近年來，行動顯示器行業發展迅速。隨著新型顯示面板模組及生產方法的發展，顯示解析度及像素密度已經增加，並且表面缺陷(例如，顯示面板中的有機發光二極體(OLED)中的缺陷)已經變得難以使用常規方法進行檢查。對於現代製造工廠而言，手動缺陷檢測非常耗時，而自動檢查技術通常無效。例如，在自動表面檢查中，當局部異常與其常規周圍環境具有明顯對比時，可以輕鬆地識別出均勻(例如，無紋理)表面中的缺陷。但是，當缺陷的周圍沒有清晰的邊緣並且背景照明不均勻的時候，很難檢測到低對比度影像中的缺陷。
一種常見的顯示缺陷是「雲紋(Mura)」。雲紋是OLED製造中發現的一大類缺陷。雲紋是一種局部亮度不均勻性，會導致人類視覺產生不適感。根據大小及形狀，雲紋的類型可大致分為線雲紋、點雲紋及區域雲紋。各種種類型的雲紋可能不具有明顯的邊緣，並且可能在影像中不容易顯現。因此，需要一種識別雲紋缺陷的新方法。而且，應當考慮用於識別雲紋的新方法或演算法的處理時間，因為這種演算法或方法的處理時間可能直接影響OLED的生產效率。此外，為了實現全自動的表面檢查過程，顯示面板(例如OLED顯示面板)中的缺陷類型(例如雲紋)的分類是必要的，並且將導致生產效率的提高並減少人工目視檢查的需求。
第1A圖示出了根據本發明的一些實施例的系統概述。第1B圖示出了根據本發明的一些實施例的用於訓練分類器的系統概述。
參照第1A圖及第1B圖，在一些實施例中，雲紋檢測系統101在預處理器100處接收輸入影像。輸入影像可以例如包含顯示測試影像的顯示器的影像。可以使用照相機來透過拍攝顯示測試影像的OLED顯示器的照片而產生測試影像。在一些實施例中，測試影像可以包含可能導致顯示器表現出雲紋實例(例如，白斑雲紋)的影像。例如，測試影像可以是表現出低對比度的均勻影像。輸入影像也可能具有足夠高的解析度，以顯示要檢查的顯示器的各個像素是否存在缺陷(例如，白斑雲紋)。在一些實施例中，預處理器100可以被配置為接收輸入影像並執行平滑以減少影像中的雜訊。在減少輸入影像中的雜訊之後，預處理器100可以被配置為將影像劃分為多個影像塊。然後可以將每個影像塊提供給特徵提取器110。
在一些實施例中，特徵提取器110被配置為計算所提供的影像塊的各種統計特徵。例如，統計特徵可以包含一個或多個影像矩(image moment)(例如，像素強度的加權平均值)及一個或多個紋理測量(例如，使用灰度共生矩陣(GLCM)的紋理分析)。例如，在各種實施例中，特徵提取器110提取包含各種影像矩及GLCM紋理特徵的37個統計特徵。在一些實施例中，特徵提取器110可配置以對每一個影像塊計算mu 30矩(三階質心矩)、對比(GLCM)、Hu 5矩(Hu矩)、Hu 1矩(一階Hu不變矩)以及相關性/不相似性(GLCM)。
在一些實施例中，所提取的每個影像塊的統計特徵被作為輸入提供給分類器120。在一些實施例中，分類器120是機器學習分類器，其使用提取的特徵(例如，特徵向量)及標籤類資訊來識別缺陷的實例(例如，雲紋)。在一些實施例中，在分類器120中使用的機器學習演算法定位缺陷的位置並分類缺陷類型。在一些實施例中，透過訓練分類器120來提供分類資訊。
在機器學習中，分類可以定義為預測資料集中給定資料點的類別的過程。機器學習中的分類概念可以包含建立將資料分為不同類別的模型。在一些實施例中，分類可以被稱為目標或標籤或類別。分類預測模組可以近似於使資料集中輸入變量到離散輸出變量的映射函數。可以透過輸入一組訓練資料來建立分類模型，為其預先標記類別，以便從中學習演算法。然後可以透過輸入針對其保留分類的不同資料集(例如，測試資料集)來使用該模型，從而允許該模型根據從訓練資料集中學到的知識來預測其分類成員。由於分類演算法(例如決策樹(decision trees)、樸素貝葉斯(naïve Bayes)、人工神經網絡(ANN)，k最近鄰(k-Nearest Neighbor，KNN))需要顯式分類標記(explicit class labeling)，因此分類是一種監督式學習的形式。
可以使用許多分類演算法(例如決策樹、樸素貝葉斯、ANN、KNN)，但是可能很難得出哪種分類演算法優於其他分類演算法。可以根據施加及可用資料集的性質來選擇分類演算法。例如，如果分類或標籤是線性可分離的，則線性分類器(如Logistic回歸，Fisher線性判別式)可能會優於複雜模型，反之亦然。
當分類器120利用監督式學習模型時，分類器120在起作用之前被訓練。在一些實施例中，在分類器120中使用的監督式學習模型是支持向量機。可以透過在訓練階段向分類器120提供人工檢查130來訓練監督式學習模型(例如，支持向量機)。例如，對於每個影像塊，人可以在視覺上檢查影像塊及標記白點雲紋的任何實例。影像塊也被提供給特徵提取器110。為影像塊提取的特徵向量及相應的人為檢查及標記的影像塊(例如，訓練資料集)都被提供給分類器120。分類器120利用這些提供的影像塊(例如，訓練資料集)來產生類別資訊(即，建立模型)，以供以後在分類中使用。
在一些實施例中，監督式學習模型(例如，支持向量機)的性能取決於(例如，嚴格地取決於)訓練資料集中標籤例子的數量，並且假設標記是明確且準確的。但是此假設在實際資料集中常常不成立，例如，在訓練及/或測試資料集中有遺漏標籤、主觀標籤或訓練資料集中帶有註釋不全(inexhaustively-annotated)的影像的情況。例如，在用於監督式學習模型的訓練資料集中，類別標籤可能會丟失，影像中的對象可能不會全部定位，或者檢查員(例如人工檢查130)甚至可能不會均等的同意類別標籤。隨著在監督式學習模型中使用的用於分類演算法的訓練資料集變大，測試資料集中的標籤丟失及雜訊的問題變得更加嚴重。無論其來源如何，雜訊標籤產生的雜訊都可能會嚴重降低機器學習模型的學習性能。
在一些實施例中，為了使用機器學習模型對具有真實資料的資料集進行分類，可能需要解決資料集中的雜訊標籤問題。例如，主觀標籤及註釋不全的測試資料集使得難以評估機器學習模型的性能，因為這樣的雜訊標籤可能被檢測為錯誤檢測或錯誤分類。
在一些例示性實施例中，經過多個檢查員標記的資料集可能遭受主觀標籤問題，因為這種標記取決於各個檢查員的檢查結果。在一些實施例中，至少，資料集可能具有針對現實生活問題的主觀標籤問題，例如，對現實生活問題做出清晰的判斷(例如，包含雲紋檢測的缺陷檢測)可能是挑戰性的。在一些實施例中，如果訓練資料集及測試資料集之間存在衝突，那麼開發機器學習模型(例如，分類演算法)可能是具有挑戰性的，這在真實資料集的情況下可能是常見的。
在一些例示性實施例中，可能未針對所有分類缺陷詳盡地標記資料集的全部內容。可以使用檢查員來標記或分類資料集中僅有的幾個極少的缺陷。但是，這種不盡如人意地標記的資料集可能會導致訓練資料集出現問題，因為這種不盡人意地標記(例如，擬合不足(underfitted))的訓練資料集可能遺漏標籤且標記不一致。在一些實施例中，未詳盡標記的資料集可能使機器學習模型難以使用測試資料集進行評估，因為雜訊的標籤可能被檢測為錯誤檢測或錯誤分類。例如，所有資料都需要詳盡標記，以在所有缺陷位置上保持相同的檢測標準。它可能不會引起主觀標籤問題。但是，對於註釋過度(exhaustively-annotated)及註釋不全的資料集的混合資料集，可能很難將主題標籤問題與註釋不全的問題區分開。
如上所述，由於分類演算法需要顯式的類別標記，因此分類是監督式學習的一種形式。偏差方差折衷(bias-variance tradeoff)是監督式學習中的核心問題。偏差方差折衷可以是一組預測模型的屬性，其中參數估計中偏差較低的模型在樣本之間可能具有較高的參數估計方差，反之亦然。偏差可能是學習式演算法中錯誤假設(erroneous assumptions)的錯誤。在一些實施例中，高偏差可能導致演算法錯過特徵與目標輸出之間的相關關係(例如，擬合不足)。方差可以是表現訓練集中的小波動的靈敏度的誤差。在一些實施例中，高方差可以導致演算法對訓練資料中的隨機雜訊而不是預期輸出進行建模(例如，過擬合(overfitting))。在一些實施例中，偏差-方差分解(bias-variance decomposition)是一種分析學習算法針對特定問題的預期泛化誤差的方法，該誤差是由問題本身的雜訊引起的三個變數（偏差、方差和不可約誤差）之和。在一些實施例中，偏差-方差問題可以試圖同時最小化這兩個誤差源(例如，偏差及方差)的衝突，這可能會避免監督式學習演算法推測超出其訓練集。偏差方差折衷可以施加於監督式學習的所有形式，例如分類、回歸、結構化輸出學習等。
在一些實施例中，理想的情況是選擇一種模型，該模型既可以準確地捕獲其訓練資料中的規律性，又可以很好地概括為看不見的資料。但是，可能很難同時達成。高方差學習方法可能能夠很好地表示其訓練集，但存在過度擬合雜訊或存在代表性不足的訓練資料的風險。相反的，具有高偏差的演算法可能會產生更簡單的模型，這些模型可能不會過度擬合，但可能無法擬合其訓練資料，從而無法捕獲重要的規律性。儘管存在幾種分類演算法，但是由於在OLED顯示器中顯示的影像的不均勻特性，可能難以以高可靠性對表示OLED中的缺陷的資料集進行分類。同樣，如果訓練資料集及測試資料集之間存在衝突，那麼開發機器學習模型(例如，分類演算法)可能是具有挑戰性的，這在實際資料集的情況下可能是常見的。
大多數相關技術的監督式學習式演算法期望識別出樣本的真實標籤以開發模型並檢查性能，以避免資料集遭受主觀標籤問題。在像雲紋檢測這樣的缺陷檢測中，很容易在訓練及測試資料集上看到主觀標籤及標記不全。但是，可能難以透過再次檢查正確重新標記資料集(例如測試資料集)。因此，可能需要一種方法(或演算法)來用令人滿意的性能指標(例如準確性(accuracy)、精確性(precision)或召回率(recall))重新標記資料集，以形成有效的機器學習模型。
本發明的不同例示性實施例可以提供用於機器學習模型的訓練方法，以克服與訓練及/或測試資料集中的雜訊標籤相關聯的問題(例如，訓練資料過度擬合或擬合不足)，並且可以創建平衡模型以用於達到現實生活中資料集的高精度(例如，訓練或測試資料集中的缺陷檢測)。本發明的不同例示性實施例還可以提供一種訓練方法，以逐漸減少關於訓練資料集及測試資料集之間的分類的分歧，並且創建用於訓練及測試的可數資料集以有意義地評估機器學習模型。本發明的一些例示性實施例可以減少解決來自不同的檢查員主觀標籤問題所需的審查數量，減少解決來自標記不足資料集的未解決缺陷所需的審查數量，並提供工具或體系結構(例如，機器學習模型或分類演算法)以幫助重新標記資料樣本(例如，訓練及/或測試資料集)，以便多個檢查員可以對每個資料樣本有清晰的意見。
本發明的一些例示性實施例可以提供一種在帶有雜訊標籤(例如，主觀標籤及標記不全問題)的資料集上訓練機器學習模型的方法。本發明的一些例示性實施例可以包含使用兩個不同的資料集(例如，黃金資料集或訓練資料集以及新的資料集或測試資料集)訓練兩個不同的機器學習模型(例如，分類演算法)，並且在其他資料集(例如，將當前週期的更新後黃金資料集中的資料集標籤與上一周期的黃金資料集中的資料集標籤進行比較，例如，將資料集的更新後資料集標籤與同一資料集的先前資料集標籤進行比較)之間進行比較，然後進行收斂反覆迭代結果，直到達到目標性能指標，例如準確性、精確性或召回率。本發明的一些例示性實施例可以提供一種僅顯示來自每一側的分歧(訓練或測試)並且減小兩個不同資料集之間的差距的方式，並且還可以包含一種透過比較兩種機器學習模型的分類或檢測結果來完成迭代的方式。在一些實施例中，此方法還提供了當資料集之一(例如訓練資料集)沒有足夠的資料大小以對另一資料集(例如測試資料集)進行正確分類時的解決方案。
第2圖示出了對抗訓練方法200的例示性方塊圖。第3圖示出了說明第2圖的對抗訓練方法200的流程圖。第2圖的對抗訓練方法提供了一種更新具有不同資料分布的兩個資料集(例如，資料集標籤)並在中間立場(middle ground)達成一致的方法。對抗訓練方法第2圖迭代兩個機器學習模型(第一M/L模型及第二M/L模型)210及218(或兩個分類演算法)，直到兩個機器學習模型210及218在更新後黃金資料集216及更新後新資料集206上顯示相同的結果(例如，相同的資料集標籤結果)。透過迭代地減少兩個資料集上的分歧，對抗訓練方法200將達到兩個機器學習模型210及218為兩個資料集產生相同結果的程度。
第2圖的對抗訓練方法300在下面的段落中將參考第3圖的方塊圖進行討論。第3圖的對抗訓練方法300的操作可以由包含記憶體的系統中的處理器執行，並且該處理器被配置為執行儲存在記憶體中的指令。
對抗訓練方法300始於步驟302。
在步驟304處，接收新的資料集202及黃金資料集212。
在一些實施例中，黃金資料集212是指已經由專業人員標記的資料集。因此，黃金資料集212是將被用作用於OLED缺陷檢測(例如，雲紋檢測)的機器學習式演算法的訓練資料集的可信資料源。黃金資料集212具有與新資料集202不同的資料集標籤。例如，黃金資料集212可以包含第一資料集標籤，而新資料集202可以包含第二資料集標籤。
可選地，在步驟306處，可以根據黃金資料集212的資料集標籤(例如，第一資料集標籤)來訓練第一機器學習模型(第一M/L模型)218。
在步驟308，將新資料集202提供給訓練後的第一機器學習模型218以重新標記新資料集202。在一些實施例中，第一分布調整模組204可以將訓練後的第一機器學習模型218施加於新資料集202。
在步驟310，根據訓練後的第一機器學習模型218產生更新後新資料集206。例如，透過使用訓練後的第一機器學習模型218對新資料集202進行分類來產生更新後新資料集206。更新後新資料集206可以具有與新資料集202的資料集標籤(例如，第二資料集標籤)不同的新標準208或更新的資料集標籤(例如，更新後第二資料集標籤)。例如，更新後新資料集206可以包含更新後第二資料集標籤。在一些實施例中，新資料集202及更新後新資料集206可以包含相同的資料但是不同的標籤，例如，新資料集202包含第二資料集標籤，而更新後新資料集206包含更新後第二資料集標籤。在將第一機器學習模型218施加於新資料集202之後，更新後新資料集206更新已經翻轉到新類別的(新資料集202的)資料的資料樣本標籤。
在步驟312，第一差異Δ1 由更新後新資料集206的資料集標籤(例如，更新後第二資料集標籤)與新資料集202的資料集標籤(例如，第二資料集標籤)之間的差異確定，其中 Δ1 =(更新後第二資料集標籤-第二資料集標籤)。
在步驟314處，第一差異Δ1 與第一閾值進行比較。在步驟314，如果第一差異Δ1 被確定為小於或等於第一閾值(約等於零)，在步驟315時，第二機器學習模型(第二M/L模型)210是根據新資料集202的資料集標籤(例如，第二資料集標籤)訓練。演算法從步驟315進入步驟318。
然而，在步驟314處，如果第一差異Δ1 被確定大於第一閾值，在步驟316處的第二機器學習模型210是根據新的標準208或更新後新資料集206的資料集標籤(例如，更新後第二資料集標籤)訓練。
在步驟317，將新資料集202的資料集標籤(例如，第二資料集標籤)更新為更新後新資料集206的資料集標籤(例如，更新後第二資料集標籤)。
在步驟318，黃金資料集212被提供給訓練後的第二機器學習模型210。在一些實施例中，第二分布調整模組214可以將訓練後的第二機器學習模型210施加於黃金資料集212。
在步驟320處，根據訓練後的第二機器學習模型210來產生更新後黃金資料集216。例如，透過使用訓練後的第二機器學習模型210對黃金資料集212進行分類來產生更新後黃金資料集216。更新後黃金資料集216可以具有與黃金資料集212的資料集標籤(例如，第一資料集標籤)不同的更新後資料集標籤或更新後第一資料集標籤。在一些實施例中，黃金資料集212及更新後黃金資料集216可以包含相同的資料但是不同的標籤，例如，黃金資料集212包含第一資料集標籤，而更新後黃金資料集216包含更新後第一資料集標籤。在將第二機器學習模型210施加於黃金資料集212之後，更新後黃金資料集216更新已經翻轉到新類別的(黃金資料集212的)資料的資料樣本標籤。
在步驟322，第二差異Δ2 由更新後黃金資料集216的資料集標籤(例如，更新後第一資料集標籤)與黃金資料集212的資料集標籤(例如，第一資料集標籤)之間的差異確定，其中， Δ2 =(更新第一資料集標籤-第一資料集標籤)。
在一些實施例中，在步驟322，在當前週期中的更新後黃金資料集216的資料集標籤與相同資料集的在先前週期中資料集標籤進行比較以確定該第二差異Δ2 。在一些實施例中，第二分布調整模組214可以將更新後黃金資料集216的資料集標籤(例如，更新後第一資料集標籤)與黃金資料集212的資料集標籤(例如，第一資料集標籤)進行比較以確定第二差異Δ2 。
在步驟324，第二差異Δ2 與第二閾值進行比較。
在步驟324，如果第二差異Δ2 被確定為小於或等於該第二閾值(約等於零)，在步驟325，處理器確定第一差異Δ1 是否小於或等於第一閾值。
如果在步驟325確定第一差異Δ1 小於或等於第一閾值，且在步驟324確定第二差異Δ2 小於或等於第二閾值時，在步驟326，該對抗訓練方法300結束。
然而，如果在步驟325，確定第一差異Δ1 為不小於或等於第一閾值，且在步驟324還確定第二差異Δ2 小於或等於第一閾值時，在步驟327，根據新資料集202的資料集標籤(例如，第二資料集標籤)訓練第一機器學習模型218。演算法從步驟327返回步驟308。
在步驟324，如果第二差異Δ2 被確定為大於該第二閾值時，在步驟328處，第一機器學習模型218根據更新後黃金資料集216(例如，更新後第一資料集標籤)的資料集標籤來訓練(或更新)。
在步驟329，黃金資料集212的資料集標籤(例如，第一資料集標籤)被更新為更新後黃金資料集216的資料集標籤(例如，更新後第一資料集標籤)。
演算法從步驟329返回步驟308，然後繼續進行處理。
透過迭代運行的機器學習模型210及218的訓練過程，每次迭代可以提供更小的差異或更小的第一差異Δ1 及第二差異Δ2 ，其可以為邊界更加清晰的視圖，因為檢查員只檢查決策邊界的資料。當兩個機器學習模型210及218為兩個資料集(例如，更新後黃金資料集216及更新後新資料集206)產生相同的結果時，對抗訓練方法300可以被結束。
在一些實施例中，當產生更新後新資料集206或更新後黃金資料集216時，第一分布調整模組204及第二分布調整模組214選擇資料樣本以翻轉決策(例如，如果不無法做出決策，則將該樣本留至下一輪)。
在一些實施例中，可以由檢查員識別黃金資料集212或新資料集202中的雜訊標籤或錯誤標籤，並產生更新後黃金資料集216及更新後新資料集206。建議使用相同的檢查員檢查黃金資料集212及新資料集202，以減少主觀標籤問題。透過減少資料集中的分歧，檢查員可能會對實際的決策邊界有所預感。它可以是(對抗訓練方法300的)用於更新後新標準208及訓練機器學習模型210及218的多次迭代，直到所有檢查員都同意來自更新後黃金資料集216及更新後新資料集206的結果(例如，資料集標籤)。
在一些實施例中，檢查員可以檢查整個黃金資料集212以根據新標準208重新標記以用於更新後新資料集206的資料集標籤(例如，更新後第二資料集標籤)並產生更新後黃金資料集216。然而，透過由檢查員根據新標準208重新標記黃金資料集212而產生的更新後黃金資料集216(例如，更新後第二資料集標籤)可能遭受主觀標記問題。因此，期望有使用新標準208(例如，更新後第二資料集標籤)重新標記黃金資料集212的機器或機器學習模型(例如機器學習模型210)。
對抗訓練方法300可以透過混合兩個測試資料集(例如新資料集202)作為新的黃金資料集而擴展到出新的評估資料集。可以接收新的評估資料集，其可以用作新的資料集，並且可以對其施加對抗訓練方法300。
在一些例示性實施例中，出於標記資料集的目的，與其他樣本相差不大的特殊樣本可以被包含到兩個資料集(例如，新資料集202及黃金資料集212)中。對於太小而無法訓練所有細節的資料集，可能會發生這種情況。在這種情況下，可以產生合成資料集以覆蓋該樣本或在一個較大的資料集中找到相似的東西，然後添加到另一個資料集中。
在一些例示性實施例中，訓練機器學習模型210及218可以暗示訓練定位器、特徵提取器(例如特徵提取器110)及/或分類器(例如分類器120)中的一個或多個。在一些實施例中，分類器(例如分類器120)可以將分類過程施加於資料集，並且找到要在分布調整過程(例如對抗訓練方法300)中使用的差異。在一些實施例中，分類器(例如分類器120)及特徵提取器(例如特徵提取器110)也可以更新特徵集，這可以類似於發現差異。在一些實施例中，定位器、特徵提取器(例如，特徵提取器110)、以及分類器(例如，分類器120)可以產生檢測的新位置。因此，分類候選位置也可以被更新。
第4圖示出了另一種對抗訓練方法400的例示性方塊圖。第4圖的對抗訓練方法400的處理可以由包含記憶體的系統中的處理器執行，並且該處理器被配置為執行儲存在記憶體中的指令。
在對抗訓練方法400中，接收訓練資料集401及測試資料集402。訓練資料集401可以包含第一資料集標籤，並且測試資料集402可以包含第二資料集標籤。在一些實施例中，可以使用訓練資料集401的資料集標籤(例如，第一資料集標籤)來訓練機器學習模型410。
測試資料集402被提供給訓練後的機器學習模型410以重新標記測試資料集402。根據訓練後的機器學習模型410，產生更新後測試資料集415。例如，透過使用訓練後的機器學習模型410對測試資料集402進行分類來產生更新後測試資料集415。更新後測試資料集415可以具有用於資料集標籤的更新標準或與測試資料集402的資料集標籤(例如，第二資料集標籤)不同的更新後第二資料集標籤。更新後測試資料集415被保留(例如，儲存在記憶體中)。
接著，將更新後測試資料集415(例如，更新後第二資料集標籤)的資料集標籤與測試資料集402的資料集標籤(例如，第二資料集標籤)進行比較，以確定更新後第二資料集標籤與第二資料集標籤之間的第一差異Δ1 ，其中， Δ1 =(更新後第二資料集標籤-第二資料集標籤)。
當第一差異Δ1 確定小於或等於第一閾值(約等於零)時，機器學習模型420是根據測試資料集402的資料集標籤(例如，第二資料集標籤)訓練。
然而，如果第一差異Δ1 確定大於第一閾值時，機器學習模型420根據更新後測試資料集415(例如，更新後第二資料集標籤)的資料集標籤來訓練。測試資料集402的資料集標籤(例如，第二資料集標籤)被更新為更新後測試資料集415的資料集標籤(例如，更新後第二資料集標籤)。
接下來，將訓練資料集401提供給訓練後的機器學習模型420以重新標記訓練資料集401。根據訓練後的機器學習模型420來產生更新後訓練資料集425。例如，透過使用訓練過的機器學習模型420對訓練資料集401進行分類來產生更新後訓練資料集425。更新後訓練資料集425可以具有更新後第一資料集標籤，其不同於原始資料集標籤或訓練資料集401的第一資料集標籤。更新後訓練資料集425被保留。
接著，比較更新後訓練資料集425(例如，更新後第一資料集標籤)的資料集標籤與訓練資料集401的資料集標籤(例如，第一資料集標籤)，以確定更新後第一資料集標籤與第一資料集標籤之間的第二差異Δ2 ，其中， Δ2 =(更新後第一資料集標籤-第一資料集標籤)。
在一些實施例中，將當前週期中的更新後訓練資料集425的資料集標籤(例如，更新後第一資料集標籤)與先前周期中相同資料集的資料集標籤(例如，第一資料集標籤)進行比較，以確定第二差異Δ2 。
如果第二差異Δ2 為小於或等於第二閾值(約等於零)，則處理器確定該第一差異Δ1 是否小於或等於第一閾值。
如果確定第一差異Δ1 小於或等於該第一閾值，並且如果第二差異Δ2 是小於或等於第二閾值時，對抗訓練方法400結束。
然而，如果確定第一差異Δ1 為不小於或等於該第一閾值且第二差異Δ2 為小於或等於第二閾值時，機器學習模型410根據該測試資料集402的資料集標籤(例如，第二資料集標籤)訓練。
如果第二差異Δ2 確定大於第二閾值，機器學習模型410是根據更新後訓練資料集425的資料集標籤(例如，更新後第一資料集標籤)更新或訓練(或調整)。
訓練資料集401的資料集標籤(例如，第一資料集標籤)被更新為更新後訓練資料集425的資料集標籤(例如，更新後第一資料集標籤)，並且對抗訓練方法400繼續。當兩個機器學習模型410及420針對兩個資料集(例如，更新後訓練資料集425及更新後測試資料集415)產生相同的結果時，對抗訓練方法400可以結束。
透過迭代運行的機器學習模型410及420的訓練過程，每次迭代可以提供更小的差異或更小的第一差異Δ1 及第二差異Δ2 ，其可以為邊界更加清晰的視圖，因為檢查員只檢查決策邊界的資料。
第5圖示出了又一對抗訓練方法500的例示性方塊圖。第5圖的對抗訓練方法500的操作可以由包含記憶體的系統中的處理器執行，並且處理器被配置為執行儲存在記憶體上的指令。
在對抗訓練方法500中，接收黃金資料集502。黃金資料集502可以包含第一資料集標籤。還可以接收結果資料集514。結果資料集514可以包含第二資料集標籤。
可選地，可以根據黃金資料集502的資料集標籤(例如，第一資料集標籤)來訓練機器學習模型(M/L模型)512。
將結果資料集514提供給訓練後的機器學習模型512以重新標記結果資料集514。根據訓練後的機器學習模型512來產生新資料集504。例如，透過使用訓練後的機器學習模型512對結果資料集514進行分類來產生新資料集504。新資料集504可以具有與結果資料集514的資料集標籤(例如，第二資料集標籤)不同的更新後資料集標籤(例如，更新後第二資料集標籤)。例如，新資料集504可以包含更新後第二資料集標籤。在一些實施例中，結果資料集514及新資料集504可以包含相同資料但是不同的標籤，例如，結果資料集514包含第二資料集標籤，而新資料集504包含更新後第二資料集標籤。在將機器學習模型512施加於結果資料集514之後，新資料集504更新已經翻轉到新類別的(結果資料集514的)資料的資料樣本標籤。
第一差異Δ1 由更新後第二資料集標籤與第二資料集標籤之間的差異決定，其中， Δ1 =(更新後第二資料集標籤-第二資料集標籤)。
第一差異Δ1 與第一閾值進行比較。如果第一差異Δ1 被確定為小於或等於第一閾值(約等於零)，將黃金資料集502提供給分布調整模組506，並且根據新標準508或新資料集504的資料集標籤(例如，第二資料集標籤)來產生更新後黃金資料集510。更新後黃金資料集510可以具有與黃金資料集502的原始資料集標籤或第一資料集標籤不同的更新後資料集標籤。
接著，比較更新後黃金資料集510(例如，更新後第一資料集標籤)的資料集標籤與黃金資料集502的資料集標籤(例如，第一資料集標籤)，以確定更新後第一資料集標籤與第一資料集標籤之間的第二差異Δ2 ，其中， Δ2 =(更新後第一資料集標籤-第一資料集標籤)。
在一些實施例中，將當前週期中的更新後黃金資料集510的資料集標籤(例如，更新後第一資料集標籤)與先前周期中相同資料集的資料集標籤(例如，第一資料集標籤)進行比較以確定第二差異Δ2 。
如果第二差異Δ2 為小於或等於閾值(約等於零)時，對抗訓練方法500結束。否則，根據更新後黃金資料集510的資料集標籤(例如，更新後第一資料集標籤)訓練機器學習模型512，並且對抗訓練方法500繼續。當機器學習模型512對兩個資料集(例如，更新後黃金資料集510及新資料集504)產生相同的結果時，對抗訓練方法500可以結束。
透過迭代運行的機器學習模型512的訓練過程，每次迭代可以提供更小的差異或更小的第二差異Δ2 ，其可以提供為邊界提供更加清晰的視圖，因為檢查員只檢查決策邊界的資料。
應當理解，儘管這裡可以使用術語第一、第二等來描述各種元件、構件、區域、層及/或部分，但是這些元件、構件、區域、層及/或部分不應受限於這些描述。這些術語僅用於將一個元件、組件、區域、層或部分與另一個元件、組件、區域、層或部分區分開。因此，在不脫離本發明的精神及範圍的情況下，下面討論的第一元件、組件、區域、層或部分可以被稱為第二元件、組件、區域、層或部分。
這裡可以使用空間相對術語，例如「下方(beneath)」、「下方(below)」、「下方(lower)」、「上方(above)」、「上方(upper)」等，以便於描述以描述圖中所示的一個元件或特徵與另一個元件或特徵的關係。應當理解，除了圖中所示的取向之外，空間相對術語旨在包含使用或操作中的裝置的不同取向。例如，如果圖中的裝置被翻轉，則被描述為在其他元件或特徵的「下方(beneath)」或「下方(below)」或「下方(lower)」的元件將被定向在其他元件或特徵的「上方(above)」。因此，例示性術語「下方(below)」及「下方(beneath)」可以包含上方(above)及下方(below)兩個方位。可以以其他方式定向裝置(例如，旋轉90度或以其他取向)，並且應相應地解釋本文中使用的空間相對描述語。另外，還將理解的是，當層被稱為在兩層「之間(between)」時，它可以是兩層之間的唯一層，或者也可以存在一個或多個中間層。
本文所使用的術語僅出於描述特定實施例的目的，並且不旨在限制本發明構思。如本文中所使用的，術語「基本上(substaintially)」、「大約(about)」及類似術語被用作近似術語而不是程度術語，並且意在解釋本領域具有通常知識者所能認可的測量或計算值中固有的偏差。
如本文所使用的，單數形式「一(a)」及「一(an)」也意圖包含複數形式，除非上下文另外明確指出。將進一步理解的是，當在本說明書中使用術語「包含(comprises)」以及/或「包含(comprising)」時，其指定了該特徵、整體、步驟、操作、元件以及/或組件的存在，但並不排除存在或一個或複數個其他特徵、整數、步驟、操作、元件、組件以及/或其組合的添加。如這裡所使用的，術語「及/或(and/or)」包含一個或多個相關所列項目的任何及所有組合。當諸如「至少一個(at least one)」之類的敘述在元件列表之前時，修飾整個元件列表並且不修飾列表的各別元件。此外，當描述發明構思的實施例時，「可以(may)」的使用是指「本發明的一個或多個實施例」。同樣，術語「例示性(exemplary)」旨在表示例示性或說明。如本文所使用的，術語「使用(use)」、「使用(using)」及「使用(used)」可以分別被認為與術語「利用(utilize)」、「利用(utilizing)」及「利用(utilized)」同義。
將理解的是，當元件或層被稱為在另一元件或層「上(on)」、「連接至(connected to)」、「耦合至(coupled to)」或「鄰近(adjacent to)」另一元件或層時，其可以直接在其上、直接連接、直接耦合，或直接與另一元件或層相鄰，或者可以存在一個或多個中間元件或層。相反，當元件或層被稱為「直接在(directly)」另一元件或層「上(on)」、「直接連接至(directly connected to)」、「直接耦合至(directly coupled to)」或「緊鄰(immediately adjacent to)」另一元件或層時，則不存在中間元件或層。
而且，本文列舉的任何數值範圍旨在包含被列舉在該範圍內的具有相同數值精度的所有子範圍。例如，範圍「1.0至10.0」旨在包含在所列舉的最小值1.0與所列舉的最大值10.0之間(並且包含)之間的所有子範圍，即，具有等於或大於1.0的最小值或等於或小於10.0的最大值，例如2.4至7.6。本說明書中列舉的任何最大數值限制旨在包含其中的所有較低數值限制，並且本說明書中列舉的任何最小數值限制旨在包含其中的所有較高數值限制。
在一些實施例中，本發明的方法及系統的不同實施例的一個或多個輸出可以被發送到其耦合的電子裝置，或具有用於顯示本發明的不同實施例的方法及系統的一個或多個輸出或關於一個或多個輸出的資訊的顯示裝置。
可以利用任何適當的硬體、韌體(例如，專用集成電路)、軟體或軟體的組合來實現根據本文描述的本發明的實施例的電子或電氣裝置及/或任何其他相關裝置或組件、韌體及硬體。例如，這些裝置的各種組件可以形成在一個集成電路(IC)芯片上或在分別的IC芯片上。此外，這些裝置的各種組件可以在可撓性印刷電路膜、帶載封裝(TCP)、印刷電路板(PCB)上實現，或形成在一個基板上。此外，這些裝置的各種組件可以是在一個或多個計算裝置中的一個或多個處理器上運行的程序或執行續，其執行計算機程序指令並與其他系統組件進行交互以執行本文所述的各種功能。計算機程序指令被儲存在記憶體中，該記憶體可以使用諸如隨機存取記憶體(RAM)之類的標準儲存裝置在計算裝置中實現。計算機程序指令還可以儲存在其他非暫太計算機可讀介質中，例如CD-ROM、閃存驅動器等。而且，本領域具有通常知識者應該認識到，可以將各種計算裝置的功能組合或集成到單個計算裝置中，或者可以將特定計算裝置的功能分布在一個或多個其他計算裝置上而不背離本發明的例示性實施例的精神及範圍。
儘管本文已具體描述及示出了用於雜訊標籤的對抗訓練系統及對抗訓練方法的例示性實施例，但是許多修改及變化對於本領域具有通常知識者將是顯而易見的。因此，應理解，除了本文具體描述的以外，可以體現根據本發明的原理構造的用於雜訊標籤的對抗訓練系統及對抗訓練方法。在下面的申請專利範圍及其等同物中也定義了本發明構思。
100:處理器 101:雲紋檢測系統 110:特徵提取器 120:分類器 130:人工檢查 200,300,400,500:對抗訓練方法 202,504:新資料集 204:第一分布調整模組 206:更新後新資料集 208,508:新標準 210,218,410,420,512:機器學習模型 212,502:黃金資料集 214:第二分布調整模組 216,510:更新後黃金資料集 300,302,304,306,308,310,312,314,315,316,317,318,320,322,324,325,326,327,328,329:步驟 401:訓練資料集 402:測試資料集 415:更新後測試資料集 425:更新後訓練資料集 506:分布調整模組 514:結果資料集 Δ1,Δ2:差異
參考說明書、申請專利範圍及圖式，將理解及理解本發明的一些例示性實施例的這些及其他特徵，其中： 第1A圖示出了根據本發明的一些實施例的系統概述； 第1B圖示出了根據本發明的一些實施例的用於訓練分類器的系統概述； 第2圖示出了根據本發明的一些實施例的對抗訓練方法的例示性方塊圖； 第3圖示出了流程圖，流程圖示出了根據本發明的一些實施例的第2圖的對抗訓練方法； 第4圖示出了根據本發明的一些實施例的另一種對抗訓練方法的例示性方塊圖；以及 第5圖示出了根據本發明的一些實施例的又一種對抗訓練方法的例示性方塊圖。
200:對抗訓練方法
202:新資料集
204:第一分布調整模組
206:更新後新資料集
208:新標準
210,218:機器學習模型
212:黃金資料集
214:第二分布調整模組
216:更新後黃金資料集

Claims (20)

  1. 一種對抗訓練系統，包含： 一記憶體，以及 一處理器，配置為執行儲存在該記憶體中的一指令，該指令在由該處理器執行時使該處理器執行以下操作： 接收包含一第一資料集標籤的一第一資料集； 接收包含一第二資料集標籤的一第二資料集； 根據該第一資料集標籤來訓練一第一機器學習模型； 將該第二資料集提供給訓練後的該第一機器學習模型以產生包含一更新後第二資料集標籤的一更新後第二資料集，該更新後第二資料集是透過使用訓練後的該第一機器學習模型對該第二資料集進行分類而產生； 確定該更新後第二資料集標籤與該第二資料集標籤之間的一第一差異； 如果該第一差異大於一第一閾值，則根據該更新後第二資料集標籤來訓練一第二機器學習模型； 將該第一資料集提供給訓練後的該第二機器學習模型以產生包含一更新後第一資料集標籤的一更新後第一資料集，該更新後第一資料集是透過使用訓練後的該第二機器學習模型對該第一資料集進行分類而產生； 確定該更新後第一資料集標籤與該第一資料集標籤之間的一第二差異；以及 如果該第二差異大於一第二閾值，則根據該更新後第一資料集標籤來訓練該第一機器學習模型。
  2. 如申請專利範圍第1項所述的系統，其中該指令進一步使該處理器繼續執行： 訓練該第一機器學習模型及該第二機器學習模型，直到該第一差異低於該第一閾值並且該第二差異低於該第二閾值。
  3. 如申請專利範圍第2項所述的系統，其中該第一閾值及該第二閾值中的一個等於零，其中該第一閾值不同於該第二閾值。
  4. 如申請專利範圍第1項所述的系統，其中該指令進一步使該處理器繼續訓練該第一機器學習模型及該第二機器學習模型，直到當施加至該更新後第一資料集及該更新後第二資料集時，該第一機器學習模型及該第二機器學習模型產生相同的資料集標籤結果。
  5. 如申請專利範圍第1項所述的系統，其中在將訓練後的該第二機器學習模型施加於該第一資料集之後，透過更新已經翻轉(flipped)到一新類別的來自該第一資料集的資料的一資料樣本標籤以產生該更新後第一資料集。
  6. 如申請專利範圍第1項所述的系統，其中該更新後第一資料集標籤與該第一資料集標籤不同。
  7. 如申請專利範圍第6項所述的系統，其中該第一資料集由檢查員根據該更新後第二資料集標籤來重新標記以產生該更新後第一資料集。
  8. 如申請專利範圍第1項所述的系統，其中該第一機器學習模型及該第二機器學習模型是分類演算法(classification algorithms)。
  9. 如申請專利範圍第1項所述的系統，其中在將訓練後的該第一機器學習模型施加於該第二資料集之後，透過更新已經翻轉到一新類別的來自該第二資料集的資料的一資料樣本標籤以產生該更新後第二資料集。
  10. 如申請專利範圍第1項所述的系統，其中該第一資料集由檢查員分類或標記。
  11. 一種對抗訓練系統，包含： 一記憶體，以及 一處理器，配置為執行儲存在該記憶體中的一指令，該指令在由該處理器執行時使該處理器執行以下操作： 根據一第一資料集的一第一資料集標籤來訓練一第一機器學習模型； 將包含一第二資料集標籤的一第二資料集提供給訓練後的該第一機器學習模型，以產生包含一更新後第二資料集標籤的一更新後第二資料集； 根據該更新後第二資料集標籤來訓練一第二機器學習模型； 將該第一資料集提供給訓練後的該第二機器學習模型以產生包含一更新後第一資料集標籤的一更新後第一資料集；以及 根據該更新後第一資料集標籤來訓練該第一機器學習模型。
  12. 如申請專利範圍第11項所述的系統，其中該指令進一步使該處理器繼續執行： 確定一更新後第二資料集標籤及一第二資料集標籤之間的一第一差異，其中如果該第一差異大於一第一閾值，則根據該更新後第二資料集標籤來訓練該第二機器學習模型； 確定該更新後第一資料集標籤與該第一資料集標籤之間的一第二差異，其中如果該第二差異大於一第二閾值，則根據該更新後第一資料集標籤來訓練該第一機器學習模型；以及 訓練該第一機器學習模型及該第二機器學習模型，直到該第一差異低於該第一閾值並且該第二差異低於該第二閾值。
  13. 如申請專利範圍第12項所述的系統，其中該第一閾值及該第二閾值中的一個等於零，其中該第一閾值不同於該第二閾值。
  14. 如申請專利範圍第11項所述的系統，其中透過使用訓練後的該第二機器學習模型對該第一資料集進行分類以產生該更新後第一資料集，並且透過使用訓練後的該第一機器學習模型對該第二資料集進行分類以產生該更新後第二資料集。
  15. 如申請專利範圍第11項所述的系統，其中該指令進一步使該處理器繼續訓練該第一機器學習模型及該第二機器學習模型，直到當施加至該更新後第一資料集及該更新後第二資料集時，該第一機器學習模型及該第二機器學習模型產生相同的資料集標籤結果。
  16. 如申請專利範圍第11項所述的系統，其中： 在將訓練後的該第二機器學習模型施加於該第一資料集之後，透過更新已經翻轉(flipped)到一新類別的來自該第一資料集的資料的一資料樣本標籤以產生該更新後第一資料集； 該更新後第一資料集標籤與該第一資料集標籤不同，並且 該第一資料集由檢查員根據該更新後第二資料集標籤來重新標記，以產生該更新後第一資料集。
  17. 如申請專利範圍第11項所述的系統，其中該第一機器學習模型及該第二機器學習模型是分類演算法，其中該第一資料集由檢查員進行分類或標記，並且其中在將訓練後的該第一機器學習模型施加於該第二資料集之後，透過更新已經翻轉到一新類別的來自該第二資料集的資料的資料樣本標籤以產生該更新後第二資料集。
  18. 一種對抗訓練方法，包含： 藉由一處理器根據一第一資料集的一第一資料集標籤來訓練一第一機器學習模型； 藉由該處理器將包含一第二資料集標籤的一第二資料集提供給訓練後的該第一機器學習模型，以產生包含一更新後第二資料集標籤的一更新後第二資料集； 藉由該處理器根據該更新後第二資料集標籤來訓練一第二機器學習模型； 藉由該處理器將該第一資料集提供給訓練後的該第二機器學習模型以產生包含一更新後第一資料集標籤的一更新後第一資料集；以及 藉由該處理器根據該更新後第一資料集標籤來訓練該第一機器學習模型。
  19. 如申請專利範圍第18項所述的方法，進一步包含： 藉由該處理器確定該更新後第二資料集標籤與該第二資料集標籤之間的一第一差異，其中如果該第一差異大於一第一閾值，則根據該更新後第二資料集標籤來訓練該第二機器學習模型； 藉由該處理器確定該更新後第一資料集標籤與該第一資料集標籤之間的一第二差異，其中如果該第二差異大於一第二閾值，則根據該更新後第一資料集標籤來訓練該第一機器學習模型；以及 藉由該處理器訓練該第一機器學習模型及該第二機器學習模型，直到該第一差異低於該第一閾值並且該第二差異低於該第二閾值。
  20. 如申請專利範圍第19項所述的方法，其中該第一閾值及該第二閾值約等於零，其中該第一閾值與該第二閾值不同，並且其中藉由使用訓練後的該第二機器學習模型來對該第一資料集進行分類以產生該更新後第一資料集，並且透過使用訓練後的該第一機器學習模型來對該第二資料集進行分類以產生該更新後第二資料集。
TW108141171A 2018-12-20 2019-11-13 用於雜訊標籤的對抗訓練系統及方法 TWI826586B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862783150P 2018-12-20 2018-12-20
US62/783,150 2018-12-20
US16/365,485 US11568324B2 (en) 2018-12-20 2019-03-26 Adversarial training method for noisy labels
US16/365,485 2019-03-26

Publications (2)

Publication Number Publication Date
TW202038145A true TW202038145A (zh) 2020-10-16
TWI826586B TWI826586B (zh) 2023-12-21

Family

ID=68426159

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108141171A TWI826586B (zh) 2018-12-20 2019-11-13 用於雜訊標籤的對抗訓練系統及方法

Country Status (6)

Country Link
US (2) US11568324B2 (zh)
EP (1) EP3671559A1 (zh)
JP (1) JP7443033B2 (zh)
KR (1) KR20200078304A (zh)
CN (1) CN111353521A (zh)
TW (1) TWI826586B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884135A (zh) * 2021-04-29 2021-06-01 聚时科技(江苏)有限公司 一种基于边框回归的数据标注校正方法
TWI823174B (zh) * 2020-11-13 2023-11-21 荷蘭商Ａｓｍｌ荷蘭公司 非暫時性電腦可讀媒體及使用機器學習模型識別位置之設備

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11416743B2 (en) * 2019-04-25 2022-08-16 International Business Machines Corporation Swarm fair deep reinforcement learning
US11645456B2 (en) * 2020-01-28 2023-05-09 Microsoft Technology Licensing, Llc Siamese neural networks for flagging training data in text-based machine learning
CN111625635B (zh) * 2020-05-27 2023-09-29 北京百度网讯科技有限公司 问答处理方法、装置、设备及存储介质
JP7513090B2 (ja) 2020-06-12 2024-07-09 日本電気株式会社 仮想化リソース配備装置、仮想化リソース配備方法及びプログラム
KR20220000542A (ko) 2020-06-26 2022-01-04 엘지전자 주식회사 냉장고
US11847217B2 (en) * 2020-06-30 2023-12-19 Mcafee, Llc Methods and apparatus to provide and monitor efficacy of artificial intelligence models
US11522767B2 (en) * 2020-10-22 2022-12-06 Bank Of America Corporation System for real-time imitation network generation using artificial intelligence
CN112037222B (zh) * 2020-11-04 2021-02-09 武汉精测电子集团股份有限公司 一种神经网络模型的自动更新方法及系统
CN113554280B (zh) * 2021-06-30 2023-06-16 北京百度网讯科技有限公司 电网系统调度模型的训练方法、装置、设备和存储介质
US12013922B2 (en) * 2021-07-30 2024-06-18 Nxp B.V. Method for watermarking a machine learning model
CN114139631B (zh) * 2021-12-03 2023-07-28 华北电力大学 一种面向多目标训练对象可选择的灰盒的对抗样本生成方法
CN116484905B (zh) * 2023-06-20 2023-08-29 合肥高维数据技术有限公司 针对非对齐样本的深度神经网络模型训练方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101587176B1 (ko) 2007-04-18 2016-01-20 마이크로닉 마이데이타 에이비 무라 검출 및 계측을 위한 방법 및 장치
CN103324632B (zh) 2012-03-22 2016-08-03 日电（中国）有限公司 一种基于协同学习的概念识别方法及装置
WO2013190085A1 (en) 2012-06-21 2013-12-27 Philip Morris Products S.A. Systems and methods for generating biomarker signatures with integrated dual ensemble and generalized simulated annealing techniques
US11449775B2 (en) * 2018-12-27 2022-09-20 Hubspot, Inc. Multi-client service system platform
CN104392432A (zh) 2014-11-03 2015-03-04 深圳市华星光电技术有限公司 基于方向梯度直方图的显示面板缺陷检测方法
KR102415503B1 (ko) * 2015-08-21 2022-07-01 삼성전자주식회사 분류기 학습 방법 및 객체 검출 방법
CA2941729A1 (en) 2015-09-14 2017-03-14 Sightline Innovation Inc. System and method for specular surface inspection
US10275690B2 (en) * 2016-04-21 2019-04-30 Sas Institute Inc. Machine learning predictive labeling system
US10127477B2 (en) * 2016-04-21 2018-11-13 Sas Institute Inc. Distributed event prediction and machine learning object recognition system
US10223615B2 (en) * 2016-08-23 2019-03-05 Dongfang Jingyuan Electron Limited Learning based defect classification
US11580398B2 (en) 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
CN106875373B (zh) 2016-12-14 2019-12-20 惠州旭鑫智能技术有限公司 基于卷积神经网络剪枝算法的手机屏幕mura缺陷检测方法
US10417524B2 (en) 2017-02-16 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Deep active learning method for civil infrastructure defect detection
CA3054667A1 (en) 2017-02-26 2018-08-30 Yougetitback Limited System and method for detection of mobile device fault conditions
JP6787831B2 (ja) 2017-03-30 2020-11-18 Kddi株式会社 検索結果による学習が可能な対象検出装置、検出モデル生成装置、プログラム及び方法
IL252657A0 (en) 2017-06-04 2017-08-31 De Identification Ltd System and method for preventing image recognition
US10831519B2 (en) * 2017-11-22 2020-11-10 Amazon Technologies, Inc. Packaging and deploying algorithms for flexible machine learning

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI823174B (zh) * 2020-11-13 2023-11-21 荷蘭商Ａｓｍｌ荷蘭公司 非暫時性電腦可讀媒體及使用機器學習模型識別位置之設備
CN112884135A (zh) * 2021-04-29 2021-06-01 聚时科技(江苏)有限公司 一种基于边框回归的数据标注校正方法

Also Published As

Publication number Publication date
US11830240B2 (en) 2023-11-28
TWI826586B (zh) 2023-12-21
US20200202257A1 (en) 2020-06-25
JP7443033B2 (ja) 2024-03-05
US11568324B2 (en) 2023-01-31
JP2020102204A (ja) 2020-07-02
US20230127852A1 (en) 2023-04-27
KR20200078304A (ko) 2020-07-01
CN111353521A (zh) 2020-06-30
EP3671559A1 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
TW202038145A (zh) 用於雜訊標籤的對抗訓練系統及方法
KR102611223B1 (ko) 표시 장치의 결함 감지 시스템 및 방법
KR102611224B1 (ko) 전처리를 포함하는 선 결함 감지 시스템 및 방법
TW201839384A (zh) 用於白斑雲紋偵測之系統及方法
KR20200100806A (ko) 테스트 결과를 결정하기 위한 캡처된 이미지의 분석
US11727553B2 (en) Vision analysis and validation system for improved inspection in robotic assembly
KR102703545B1 (ko) 향상된 전처리를 갖는 화이트 스팟 무라 검출 시스템 및 방법
JP6401648B2 (ja) 欠陥分類装置および欠陥分類方法
CN111709421B (zh) 鸟类识别方法、装置、计算机设备及存储介质
JP2017054239A (ja) 画像分類装置および画像分類方法
CN108229673A (zh) 卷积神经网络的处理方法、装置和电子设备
CN115136209A (zh) 缺陷检测系统
US20230129202A1 (en) System and method for assessing quality of electronic components
Liao et al. A flexible PCB inspection system based on statistical learning
KR20240001241A (ko) 객체의 머신 학습 분석에 기반한 이미지 기반 이상 검출
TWI694250B (zh) 表面缺陷偵測系統及其方法
CN113128565B (zh) 面向预训练标注数据不可知的图像自动标注系统和装置
Noroozi et al. Towards Optimal Defect Detection in Assembled Printed Circuit Boards Under Adverse Conditions
Shaloo et al. Real-Time Color Detection for Automated Production Lines Using CNN-Based Machine Learning
WO2012092132A2 (en) Determining the uniqueness of a model for machine vision
Zhang et al. Improved YOLOv5s combining enhanced backbone network and optimized self-attention for PCB defect detection
US20240037768A1 (en) Optical Inspection Based on Repetitive Feature Comparison
US20240289957A1 (en) Systems And Methods For Pixel Detection
Lim Machine learning approach for automated optical inspection of electronic components
CN117523164A (zh) MiniLED异物检测定位的方法及其相关装置