TWI732370B - 神經網路模型的訓練裝置和訓練方法 - Google Patents

神經網路模型的訓練裝置和訓練方法 Download PDF

Info

Publication number
TWI732370B
TWI732370B TW108144234A TW108144234A TWI732370B TW I732370 B TWI732370 B TW I732370B TW 108144234 A TW108144234 A TW 108144234A TW 108144234 A TW108144234 A TW 108144234A TW I732370 B TWI732370 B TW I732370B
Authority
TW
Taiwan
Prior art keywords
neural network
model
restriction condition
training
network model
Prior art date
Application number
TW108144234A
Other languages
English (en)
Other versions
TW202123100A (zh
Inventor
黃茂裕
謝博硯
劉治能
湯燦泰
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW108144234A priority Critical patent/TWI732370B/zh
Priority to CN201911389318.2A priority patent/CN112907502B/zh
Priority to US16/729,453 priority patent/US11636336B2/en
Publication of TW202123100A publication Critical patent/TW202123100A/zh
Application granted granted Critical
Publication of TWI732370B publication Critical patent/TWI732370B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95646—Soldering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

提出一種神經網路模型的訓練裝置和訓練方法，其中訓練方法包括：取得資料集合；根據資料集合完成多次人工智慧模型訓練以產生分別對應於多次人工智慧模型訓練的多個模型；根據第一限制條件從多個模型中選出第一模型集合；以及根據第二限制條件從第一模型集合中選出神經網路模型。

Description

神經網路模型的訓練裝置和訓練方法
本揭露是有關於一種神經網路模型的訓練裝置和訓練方法。
在產業應用人工智慧進行自動光學檢測（automated optical inspection，AOI）時，往往會因為訓練資料中的瑕疵影像數量遠小於正常影像數量而導致所訓練出的神經網路的效能不佳。另一方面，當存在多個類別之瑕疵時，每種瑕疵影像的數量分布極不均衡也會導致所訓練出的神經網路無法準確地辨識出各個類別的瑕疵。
現行神經網路的訓練方法往往只依照單一限制條件來篩選適當的模型，例如，根據對應於驗證資料集合（validation set）的最小錯誤率（error rate）來決定最佳的神經網路模型。這種訓練方法並無法有效地解決上述之議題。據此，提出一種能從眾多神經網路模型中篩選出最適當之神經網路模型的方法，是本領域人員致力的目標之一。
本揭露提出一種神經網路的訓練裝置和訓練方法，可在訓練資料集合中各類瑕疵影像的數量分佈極不均衡時，透過多重限制條件篩選出最適合（例如：對各類別瑕疵之辨識的平均效能為最佳的）之模型以作為最終被使用的神經網路模型。
本揭露的神經網路模型的訓練裝置，包括處理器、儲存媒體以及收發器。儲存媒體儲存多個模組。處理器耦接儲存媒體和收發器，並且存取和執行多個模組，其中多個模組包括資料收集模組以及訓練模組。資料收集模組通過收發器取得資料集合。訓練模組根據資料集合完成多次人工智慧模型訓練以產生分別對應於多次人工智慧模型訓練的多個模型，根據第一限制條件從多個模型中選出第一模型集合，並且根據第二限制條件從第一模型集合中選出神經網路模型。
本揭露的神經網路模型的訓練方法，包括：取得資料集合；根據資料集合完成多次人工智慧模型訓練以產生分別對應於多次人工智慧模型訓練的多個模型；根據第一限制條件從多個模型中選出第一模型集合；以及根據第二限制條件從第一模型集合中選出神經網路模型。
基於上述，當資料集各類影像的數量分佈極不均衡時，透過本揭露提出的多重限制條件篩選方法所篩選出的模型的辨識效能將比僅依照單一限制條件篩選而得到模型的辨識效能為佳。
現將詳細參考本揭露之實施例，並在圖式中說明所述實施例之實例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件代表相同或類似部分。
本揭露提出一種神經網路的訓練裝置和訓練方法，可在訓練資料集合中各類瑕疵影像的數量分佈極不均衡時，透過多重限制條件篩選出最適合（例如：對各類別瑕疵之辨識的平均效能為最佳的）之模型以作為最終被使用的神經網路模型。
圖1根據本揭露的一實施例繪示神經網路模型的訓練裝置100的示意圖。訓練裝置100可包括處理器110、儲存媒體120以及收發器130。
處理器110耦接儲存媒體120和收發器130，並可用於存取和執行儲存於儲存媒體120中的多個模組。處理器110例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微控制單元（micro control unit，MCU）、微處理器（microprocessor）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、圖形處理器（graphics processing unit，GPU）、算數邏輯單元（arithmetic logic unit，ALU）、複雜可程式邏輯裝置（complex programmable logic device，CPLD）、現場可程式化邏輯閘陣列（field programmable gate array，FPGA）或其他類似元件或上述元件的組合。
儲存媒體120例如是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、暫存器（register）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合，而用於儲存可由處理器110執行的多個模組或各種應用程式。在本實施例中，儲存媒體120可儲存包括資料收集模組121以及訓練模組122等多個模組，其功能將於後續說明。
收發器130以無線或有線的方式傳送及接收訊號。收發器130還可以執行例如低噪聲放大、阻抗匹配、混頻、向上或向下頻率轉換、濾波、放大以及類似的操作。
在本實施例中，資料收集模組121可通過收發器130取得用以訓練神經網路模型的資料集合。在取得資料集合後，訓練模組122可根據資料集合完成多次人工智慧模型訓練，其中一次人工智慧模型訓練例如是代表訓練人工智慧模型的過程中的一次迭代（iteration）。具體來說，訓練模組122可將資料集合作為訓練資料，以根據神經網路演算法（或機器學習演算法）和訓練資料完成一次又一次的迭代，從而使得每一次迭代的輸出往一目標函數逐漸收斂。當每完成一次迭代時，訓練模組122將可產生對應於該次迭代的模型。舉例來說，若訓練模組122將由資料收集模組121取得的資料集合作為訓練資料並根據訓練資料以及神經網路演算法完成了10^6次的迭代，則訓練模組122將會產生分別對應於每一次迭代的10^6個模型。訓練模組122可從這些模型（即：10^6個模型）之中選出效能最佳（例如：具有最小的錯誤率）的模型以作為神經網路模型。在一實施例中，訓練模組122可通過收發器130將該神經網路模型輸出以供使用者利用該神經網路模型進行物件辨識。
舉例來說，訓練模組122所輸出的神經網路模型可用以辨識印刷電路板（printed wire board，PCB）或半導體製造晶圓（例如：動態隨機存取記憶體（dynamic random access memory，DRAM））的外觀瑕疵。據此，作為訓練資料的資料集合可例如是由自動光學檢測（automated optical inspection，AOI）設備取得的待檢測之DRAM或晶圓之外觀的影像資料，或是由自動外觀檢測（automated visual inspection，AVI）設備取得的印刷電路板之外觀的影像資料，本揭露不限於此。另一方面，上述的神經網路模型包括例如是自編碼（autoencoder）神經網路、深度學習（deep learning）神經網路、深度殘差學習（deep residual learning）神經網路、受限玻爾茲曼機（Boltzmann machine，RBM）神經網路、遞歸神經網路（recursive neural network）或多層感知機（multilayer perceptron，MLP）神經網路等，本揭露不限於此。
訓練模組122可通過多個限制條件來從分別對應於每一次迭代的多個模型之中選出特定模型以作為神經網路模型。在一實施例中，訓練模組122可根據兩種限制條件（以下稱之為「限制條件A」和「限制條件B」）來選擇作為神經網路模型的模型。具體來說，訓練模組122可根據限制條件A（或稱之為「第一限制條件」）從分別對應於每一次迭代的多個模型之中選出第一模型集合，其中第一模型集合包括一或多個符合限制條件A的第一模型。接著，訓練模組122可根據限制條件B從第一模型集合中選出符合限制條件A和限制條件B（或稱之為「第二限制條件」）的特定模型以作為最終被使用的神經網路模型，其中上述的限制條件A和限制條件B例如關聯於下列的至少其中之一：真陰性率（true negative rate，TNR）、真陽性率（true positive rate，TPR）、偽陰性率（false negative rate，FNR）、偽陽性率（false positive rate，FPR）、最小錯誤率（minimum error rate）、平均錯誤率（average error rate）、召回率（recall rate）或準確性（accuracy），但本揭露不限於此。舉例來說，限制條件A和限制條件B可關聯於與混淆矩陣（confusion matrix）相關的任一種指標。
由於符合限制條件A的模型可能有多個，因此，由訓練模組122根據限制條件A選出的第一模型集合包括多個符合限制條件A的第一模型。為了找出最佳的模型以作為最終被使用的神經網路模型，在一實施例中，訓練模組122可根據限制條件B而從第一模型集合（即：符合限制條件A的模型的集合）中選出對應於目標條件的特定模型以作為最終被使用的神經網路模型。舉例來說，假設目標函數為TNR，則訓練模組122可從第一模型集合中選出具有最大的TNR的特定模型以作為最終被使用的神經網路模型。
在另一實施例中，訓練模組122可根據限制條件B而從第一模型集合（即：符合限制條件A的模型的集合）中選出與符合限制條件B的最後一次的迭代相對應的模型以作為最終被使用的神經網路模型。舉例來說，假設第一模型集合包括對應於第10^4次迭代的模型X、對應於第10^5次迭代的模型Y以及對應於第10^6次迭代的模型Z，則訓練模組122可響應於模型Z對應於最後一次的迭代而選擇模型Z以作為最終使用的神經網路模型。
訓練裝置100還可以根據超過兩種限制條件來訓練神經網路模型。在一實施例中，訓練模組122可根據三種限制條件（以下稱之為「限制條件X」、「限制條件Y」和「限制條件Z」）來選擇作為神經網路模型的模型。具體來說，訓練模組122可根據限制條件X（或稱之為「第一限制條件」）從分別對應於每一次迭代的多個模型之中選出第一模型集合，其中第一模型集合包括一或多個符合限制條件X的第一模型。接著，訓練模組122可根據限制條件Y（或稱之為「第三限制條件」）從第一模型集合中選出第二模型集合，其中第二模型集合包括一或多個符合限制條件X和限制條件Y的第二模型。最後，訓練模組122可根據限制條件Z（或稱之為「第二限制條件」）從第二模型集合中選出符合限制條件X、限制條件Y和限制條件Z的特定模型以作為最終被使用的神經網路模型。
訓練模組122用來篩選模型所使用的限制條件類別和限制條件數量可根據使用者的需求而調整，本揭露不限於此。
在一實施例中，資料收集模組121通過收發器130取得關聯於PCB之外觀的影像資料集合，並且訓練模組122根據影像資料集合來訓練出可用於辨識PCB之焊接瑕疵的神經網路模型。表1顯示上述的關聯於PCB之外觀的影像資料集合中的焊接瑕疵樣本和正常樣本的數量。
影像資料集合
  訓練資料 驗證資料 測試資料 總合
瑕疵 20 5 24 49
正常 2438 605 3022 6065
總合 2458 610 3046 6114
正常：瑕疵 121.90 121.00 125.92 123.78
表1
由表1可知，PCB外觀之影像資料集合中對應於焊接瑕疵的樣本遠少於正常的樣本。如此，若根據傳統的神經網路訓練方法，即以單一限制條件來訓練神經網路模型，所訓練出的神經網路模型的效能可能不均衡。舉例來說，表2和表3顯示基於單一種限制條件「最小錯誤率」而根據表1的訓練資料所訓練出的神經網路模型的效能。當使用者使用如表1所示的驗證資料來驗證該神經網路模型時，該神經網路模型的效能如表2所示。當使用者使用如表1所示的測試資料來測試該神經網路模型時，則該神經網路模型的效能如表3所示。
總體準確性(%) 總體錯誤率(%) 如表1所示的驗證資料
神經網路模型的預測
99.67 0.33 瑕疵 正常 總合 FNR(%): 40.00
真值(ground truth) 瑕疵 3 2 5
正常 0 605 605 TNR(%): 100.00
總合 3 607 610
表2
總體準確性(%) 總體錯誤率(%) 如表1所示的測試資料
神經網路模型的預測
99.77 0.23 瑕疵 正常 總合 FNR(%): 29.17
真值 瑕疵 17 7 24
正常 0 3021 3021 TNR(%): 100.00
總合 17 3028 3045
表3
一般來說，TNR的值越高代表神經網路模型的效能越高，並且FNR的值越低代表神經網路模型的效能越高。如表2和表3所示，基於單一限制條件「最小錯誤率」以及表1的訓練資料所訓練的神經網路模型的TNR可能達到100%，但相對地，該神經網路模型的FNR可能達到40%。換句話說，該神經網路模型的TNR表現極佳，但該神經網路模型的FNR表現極差。因此，該神經網路模型對TNR和FNR的表現並不均衡。
在一實施例中，若瑕疵樣本（例如：焊接瑕疵樣本）和正常樣本的數量分布差異過大，即，瑕疵樣本的數量遠少於正常樣本的數量，則資料收集模組121可對由資料收集模組121所收集的資料集合（包括瑕疵樣本和正常樣本）中的瑕疵樣本進行前處理，例如：過採樣（over-sampling）、數據合成、SMOTE（synthetic minority oversampling technique）、隨機抽樣或資料擴增等方式增加訓練資料量，以根據過採樣後的瑕疵樣本和正常樣本產生更新的資料集合。具體來說，資料收集模組121可響應於瑕疵樣本和正常樣本的比率小於閾值而對瑕疵樣本的訓練資料進行過採樣，從而產生更新的資料集合。訓練模組122可根據更新的資料集合訓練神經網路模型。表4和表5顯示對表1的焊接瑕疵樣本進行過採樣後，基於單一種限制條件「最小錯誤率」而根據如表1所示的訓練資料所訓練出的神經網路模型的效能。
總體準確性(%) 總體錯誤率(%) 如表1所示的驗證資料
神經網路模型的預測
98.31 1.69 瑕疵 正常 總合 FNR(%): 0.00
真值 瑕疵 5 0 5
正常 12 593 605 TNR(%): 98.02
總合 17 593 610
表4
總體準確性(%) 總體錯誤率(%) 如表1所示的測試資料
神經網路模型的預測
98.39 1.61 焊接瑕疵 正常 總合 FNR(%): 0.00
真值 焊接瑕疵 24 0 24
正常 49 2972 3021 TNR(%): 98.38
總合 73 2972 3045
表5
如表4和表5所示，過採樣的技術雖然有效地降低了FNR，但卻使得總體準確率（overall accuracy）下降並使得總體錯誤率（overall error rate）升高。
為了改善神經網路模型的整體效能（例如包括：總體準確率、總體錯誤率、FNR和TNR），本揭露提出的訓練裝置100可選擇性地對資料集合中的瑕疵樣本進行前處理，所述前處理例如包括：過採樣、數據合成、SMOTE、隨機抽樣或資料擴增。而後，訓練裝置100可根據多個限制條件選擇出能改善整體效能的神經網路模型。在本實施例中，所述多個限制條件可包括限制條件α（或稱之為「第一限制條件」）和限制條件β（或稱之為「第三限制條件」）。在一實施例中，所述多個限制條件還可包括限制條件γ（或稱之為「第二限制條件」）。
限制條件α為「TNR大於95%」，並且限制條件β為「FNR的值為最小」。舉例來說，訓練模組122可根據限制條件α從分別對應於每一次迭代的多個模型中選出第一模型集合，其中第一模型集合是由TNR大於95%的多個模型所組成。接著，訓練模組122可根據限制條件β從第一模型集合（即：該些符合限制條件A的多個模型）中選出具有最小的FNR的模型以作為最終被使用的神經網路模型。
由於符合限制條件α和限制條件β的模型可能有多個，因此，由訓練模組122根據限制條件β從第一模型集合選出的第二模型集合可包括多個符合限制條件α（即：TNR大於95%）以及限制條件β（即：具有最小的FNR）的第二模型。為了找出最佳的模型以作為最終被使用的神經網路模型，訓練模組122可進一步地根據另一個限制條件來對第二模型集合中的模型進行篩選以找出最終被使用的神經網路模型。在一實施例中，訓練模組122可根據限制條件γ或一目標條件而從第二模型集合（即：符合限制條件α和限制條件β的模型的集合）中選出對應於限制條件γ或目標條件的特定模型以作為最終被使用的神經網路模型。舉例來說，假設目標條件為TNR，則訓練模組122可從第二模型集合中選出具有最大的TNR的特定模型以作為最終被使用的神經網路模型，且該神經網路模型的效能可如表6和表7所示。
總體準確性(%) 總體錯誤率(%) 如表1所示的驗證資料
神經網路模型的預測
99.51 0.49 瑕疵 正常 總合 FNR(%): 0.00
真值 瑕疵 5 0 5
正常 3 602 605 TNR(%): 99.5
總合 8 602 610
表6
總體準確性(%) 總體錯誤率(%) 如表1所示的測試資料
神經網路模型的預測
99.93 0.07 瑕疵 正常 總合 FNR(%): 0.00
真值 瑕疵 24 0 24
正常 2 3019 3021 TNR(%): 99.93
總合 26 3019 3045
表7
如表6和表7所示，基於多個限制條件（即：限制條件α「TNR大於95%」、限制條件β「具有最小的FNR」以及限制條件γ「具有最大的TNR」）所取得的神經網路模型的TNR雖然稍微減少了（相較於表2和表3而言），但該神經網路模型的FNR卻顯著地下降，且總體準確率和總體錯誤率的表現也十分的優異。換言之，本揭露的訓練裝置100所訓練出的神經網路模型可通過犧牲極少的TNR來達到最佳的FNR、總體準確率和總體錯誤率。
在另一實施例中，訓練模組122可根據限制條件γ而從第二模型集合（即：符合限制條件α和限制條件β的模型的集合）中選出與符合限制條件γ的迭代中的的最後一次迭代相對應的模型以作為最終被使用的神經網路模型。舉例來說，假設第二模型集合包括對應於第10^4次迭代的模型I、對應於第10^5次迭代的模型J以及對應於第10^6次迭代的模型K，則訓練模組可響應於模型K對應於最後一次的迭代而選擇模型K以作為最終使用的神經網路模型。
在一實施例中，資料收集模組121通過收發器130取得關聯於PCB之外觀的影像資料集合，並且訓練模組122根據影像資料集合來訓練出可用於辨識PCB之外觀瑕疵類別的神經網路模型。表8顯示上述的關聯於PCB之外觀的影像資料集合中的各類型瑕疵之樣本的數量，其中所述各類型瑕疵可關聯於例如防焊（solder mask，S/M）雜質（inclusion of S/M）、防焊刮傷（scratch of S/M）、防焊汙染（pollution of S/M）、防焊露銅（copper exposure of S/M）、防焊油墨不均（uneven printing of S/M）、防焊跳印（skip printing of S/M）、顯影不良（poor developing）、防焊板損（board damage of S/M）、防焊沾錫（wetting of S/M）、焊墊有機保焊膜（organic solderability preservative，OSP）雜質（inclusion of S/M OSP）、焊墊有機保焊膜氧化（oxidation of S/M OSP）、焊墊鍍金層汙染（pollution of PAD gold plating）、焊墊鍍金層氧化（oxidation of PAD gold plating）、焊墊鍍金層露銅（cooper exposure of PAD gold plating）、文字模糊（blur text）或焊墊沾錫（wetting of PAD），但本揭露不限於此。
PCB的16種瑕疵的資料集合(k折交叉驗證的第一折(1st fold))
瑕疵類別 訓練資料 驗證資料 測試資料 總合
#00雜質（防焊） 2123 312 644 3079
#01刮傷（防焊） 13182 1865 3719 18766
#02汙染（防焊） 395 65 120 580
#03露銅（防焊） 689 91 222 1002
#04油墨不均 377 51 109 537
#05 SM跳印 299 35 70 404
#06顯影不良 817 120 229 1166
#07板損（防焊） 1453 216 412 2081
#08沾錫（防焊） 370 54 113 537
#09 PAD異物（OSP） 2254 335 631 3220
#10 PAD氧化（OSP） 2557 351 729 3637
#11 PAD汙染（金） 3444 480 1002 4926
#12 PAD氧化（金） 215 26 55 296
#13 PAD露銅（金） 973 143 269 1385
#14 文字模糊 302 47 86 435
#15 PAD汙染（錫） 1577 241 454 2272
總合 31027 4432 8864 44323
表8
表9顯示對表8中樣本數量較少的瑕疵類別進行過採樣後，基於單一種限制條件「最小錯誤率」而根據表8的訓練資料所訓練出的神經網路模型的效能。如表9所示，對應表9的神經網路模型的平均誤差偏高（超過5%），且錯誤率超過10%的瑕疵類別的數量偏多（超過4種瑕疵類別）。
折數(k折交叉驗證) 資料集合 如表8所示的資料集合
總體錯誤率(%) 平均誤差(%) 錯誤率超過10%的瑕疵類別的數量 錯誤率超過40%的瑕疵類別的數量
第一折 驗證資料 2.82 6.2 5 0
測試資料 2.54 6.23 6 0
第二折 驗證資料 2.64 5.57 4 0
測試資料 2.82 5.95 5 0
第三折 驗證資料 2.82 5.81 5 0
測試資料 2.81 6.66 4 0
表9
為了改善神經網路模型的整體效能（例如：降低平均誤差和錯誤率超過10%的瑕疵類別的數量），本揭露提出的訓練裝置100可選擇性地對資料集合中的瑕疵樣本進行過採樣。而後，訓練裝置100可根據多個限制條件選擇出能改善整體效能的神經網路模型。在本實施例中，所述多個限制條件包括限制條件α和限制條件β，其中限制條件α為「總體準確率大於95%」，並且限制條件β為「平均誤差為最小」。舉例來說，訓練模組122可根據限制條件α從分別對應於每一次迭代的多個模型中選出第一模型集合，其中第一模型集合是由總體準確率大於95%的多個模型所組成。接著，訓練模組122可根據限制條件β從第一模型集合（即：該些符合限制條件α的多個模型）中選出具有最小的平均誤差的模型以作為最終被使用的神經網路模型。由於符合限制條件β的模型可能有多個，因此，由訓練模組122根據限制條件β從第一模型集合選出第二模型集合可包括多個符合限制條件α（即：總體準確率大於95%）以及限制條件β（即：具有最小的平均誤差）的模型。
為了找出最佳的特定模型，訓練模組122可進一步地根據限制條件γ來對第二模型集合中的模型進行篩選。在一實施例中，訓練模組122可根據限制條件γ而從第二模型集合中選出對應於目標條件的特定模型以作為最終被使用的神經網路模型。舉例來說，假設目標條件為總體準確率，則訓練模組122可從第二模型集合中選出具有最大的總體準確率的特定模型以作為最終被使用的神經網路模型，且該神經網路模型的效能如表10所示。由表10可知，「平均誤差」和「錯誤率超過10%的瑕疵類別的數量」等指標都被改善了。
折數(k折交叉驗證) 資料集合 如表8所示的資料集合
總體錯誤率(%) 平均誤差(%) 錯誤率超過10%的瑕疵類別的數量 錯誤率超過40%的瑕疵類別的數量
第一折 驗證資料 3.54 4.56 1 0
測試資料 3.83 5.16 2 0
第二折 驗證資料 3.72 4.54 3 0
測試資料 4.51 5.49 3 0
第三折 驗證資料 4.17 4.81 2 0
測試資料 4.23 4.68 2 0
表10
在一實施例中，資料收集模組121通過收發器130取得關聯於DRAM之外觀的影像資料集合，並且訓練模組122根據影像資料集合來訓練出可用於辨識DRAM之外觀瑕疵類別的神經網路模型。表11、表12和表13顯示上述的關聯於DRAM之外觀的影像資料集合中的各類型瑕疵之樣本的數量，其中所述各類型瑕疵可關聯於例如刮傷（scratch）、箭影（arrow）、微粒（particle）或變色（discolor），但本揭露不限於此。
DRAM的5種瑕疵的資料集合(k折交叉驗證的第一折(1st fold))
瑕疵類別 訓練資料 驗證資料 測試資料 總合
刮傷 1266 181 362 1809
箭影 3250 465 929 4644
微粒 22491 3212 6428 32131
變色 13234 1891 3782 18907
正常 48668 6951 13907 69526
總合 88909 12700 25408 127017
表11
DRAM的5種瑕疵的資料集合(k折交叉驗證的第二折(2nd fold))
瑕疵類別 訓練資料 驗證資料 測試資料 總合
刮傷 1271 176 362 1809
箭影 3262 453 929 4644
微粒 22561 3143 6427 32131
變色 13188 1937 3782 18907
正常 48627 6991 13908 69526
總合 88909 12700 25408 127017
表12
DRAM的5種瑕疵的資料集合(k折交叉驗證的第三折(3rd fold))
瑕疵類別 訓練資料 驗證資料 測試資料 總合
刮傷 1270 177 362 1809
箭影) 3278 436 930 4644
微粒 22508 3197 6426 32131
變色 13237 1888 3782 18907
正常 48616 7002 13908 69526
總合 88909 12700 25408 127017
表13
表14顯示基於單一種限制條件「最小錯誤率」而根據表13的訓練資料所訓練出的神經網路模型的效能。如表14所示，對應表13的神經網路模型在辨識刮傷或箭影時的錯誤率都偏高。
折數(k折交叉驗證) 資料集合 如表11、表12和表13所示的資料集合
總體錯誤率(%) 「刮傷」錯誤率(%) 「箭影」錯誤率(%)
第一折 驗證資料 1.63 8.84 2.37
測試資料 1.52 8.84 1.83
第二折 驗證資料 1.51 6.82 1.32
測試資料 1.50 9.12 1.83
第三折 驗證資料 1.18 3.95 1.38
測試資料 1.58 8.84 1.61
表14
為了改善神經網路模型的整體效能（例如：辨識刮傷或箭影的錯誤率），本揭露提出的訓練裝置100可選擇性地對資料集合中的瑕疵樣本進行過採樣。而後，訓練裝置100可根據多個限制條件選擇出能改善整體效能的神經網路模型。由於對DRAM的5種瑕疵而言，刮傷和箭影是最影響DRAM品質的瑕疵類別，因此在設定神經網路模型的篩選限制條件時，訓練模組121可將限制條件（或目標條件）設為與特定類別的瑕疵（例如：刮傷或箭影）有關，且單一個限制條件可關聯於多個瑕疵類別。
在本實施例中，限制條件α為「總體準確率大於95%」，並且限制條件β為「刮傷和箭影的錯誤率為最小」。舉例來說，訓練模組122可根據限制條件α從分別對應於每一次迭代的多個模型中選出第一模型集合，其中第一模型集合是由總體準確率大於95%的多個模型所組成。接著，訓練模組122可根據限制條件β從第一模型集合（即：該些符合限制條件β的多個模型）中選出具有最小的刮傷錯誤率和箭影錯誤率的模型以作為最終被使用的神經網路模型。由於符合限制條件β的模型可能有多個，因此，由訓練模組122根據限制條件β從第一模型集合選出第二模型集合可包括符合限制條件α（即：總體準確率大於95%）以及限制條件β（即：具有最小的刮傷錯誤率和箭影錯誤率）的多個模型。為了找出最佳的特定模型，訓練模組122可進一步地根據限制條件γ來對第二模型集合中的模型進行篩選。
在一實施例中，訓練模組122可根據限制條件γ而從第二模型集合中選出對應於目標條件的特定模型以作為最終被使用的神經網路模型。舉例來說，假設目標函數為總體準確率，則訓練模組122可從第二模型集合中選出具有最大的總體準確率的特定模型以作為最終被使用的神經網路模型，且該神經網路模型的效能如表15所示。
折數(k折交叉驗證) 資料集合 如表11、表12和表13所示的資料集合
總體錯誤率(%) 「刮傷」錯誤率(%) 「箭影」錯誤率(%)
第一折 驗證資料 3.04 3.87 0.65
測試資料 2.97 1.38 1.51
第二折 驗證資料 1.51 3.41 0.66
測試資料 1.59 6.35 1.18
第三折 驗證資料 3.13 1.13 0.69
測試資料 3.44 4.14 0.86
表15
如表14和表15所示，相較於根據單一種限制條件所訓練出的神經網路模型，根據多種限制條件所訓練出的神經網路模型顯著地改善了總體錯誤率、對刮傷類別的錯誤率以及對箭影類別的錯誤率。
圖2根據本揭露的一實施例繪示神經網路模型的訓練方法的流程圖，其中該訓練方法可由如圖1所示的訓練裝置100實施。在步驟S201，取得資料集合。在步驟S202，根據資料集合完成多次人工智慧模型訓練以產生分別對應於多次人工智慧模型訓練的多個模型。在步驟S203，根據第一限制條件從多個模型中選出第一模型集合。在步驟S204，根據第二限制條件從第一模型集合中選出神經網路模型。
綜上所述，本揭露的訓練裝置可利用多種限制條件來從分別對應於多個迭代的多個模型之中，選出能滿足應用需求及改善辨識效能的各種指標（例如：與混淆矩陣相關的任一種指標）的模型以作為最終被使用的神經網路模型。
100：訓練裝置 110：處理器 120：儲存媒體 121：資料收集模組 122：訓練模組 130：收發器 S201、S202、S203、S204：步驟
圖1根據本揭露的一實施例繪示神經網路模型的訓練裝置的示意圖。 圖2根據本揭露的一實施例繪示神經網路模型的訓練方法的流程圖。
S201、S202、S203、S204：步驟

Claims (20)

  1. 一種神經網路模型的訓練裝置，包括：收發器；儲存媒體，儲存多個模組；以及處理器，耦接所述儲存媒體和所述收發器，並且存取和執行所述多個模組，其中所述多個模組包括：資料收集模組，通過所述收發器取得資料集合；以及訓練模組，根據所述資料集合完成多次人工智慧模型訓練以產生分別對應於所述多次人工智慧模型訓練的多個模型，根據第一限制條件從所述多個模型中選出第一模型集合，並且根據第二限制條件從所述第一模型集合中選出所述神經網路模型，其中所述第一限制條件和所述第二限制條件分別關聯於與混淆矩陣相對應的多種指標的至少其中之一。
  2. 如申請專利範圍第1項所述的訓練裝置，其中所述訓練模組根據第三限制條件從所述第一模型集合中選出第二模型集合，並且根據所述第二限制條件從所述第二模型集合中選出所述神經網路模型。
  3. 如申請專利範圍第1項所述的訓練裝置，其中所述訓練模組根據所述第二限制條件從所述第一模型集合中選出對應於目標條件的所述神經網路模型。
  4. 如申請專利範圍第1項所述的訓練裝置，其中所述訓練模組根據所述第二限制條件從所述第一模型集合中選出與符合所 述第二限制條件的最後一次迭代的人工智慧模型訓練相對應的所述神經網路模型。
  5. 如申請專利範圍第1項所述的訓練裝置，其中所述第一限制條件和所述第二限制條件分別關聯於下列的至少其中之一：真陰性率、真陽性率、偽陰性率、偽陽性率、最小錯誤率、平均錯誤率、召回率或準確率。
  6. 如申請專利範圍第1項所述的訓練裝置，其中所述神經網路模型包括自編碼神經網路、深度學習神經網路、深度殘差學習神經網路、受限玻爾茲曼機神經網路、遞歸神經網路或多層感知機神經網路。
  7. 如申請專利範圍第1項所述的訓練裝置，其中所述資料收集模組通過所述收發器接收瑕疵樣本和正常樣本，並且對所述瑕疵樣本進行過採樣以根據過採樣後的所述瑕疵樣本和所述正常樣本產生所述資料集合。
  8. 如申請專利範圍第7項所述的訓練裝置，其中所述資料集合關聯於印刷電路板的外觀，並且瑕疵樣本關聯於下列的至少其中之一：防焊雜質、防焊刮傷、防焊汙染、防焊露銅、防焊油墨不均、防焊跳印、顯影不良、防焊板損、防焊沾錫、焊墊有機保焊膜雜質、焊墊有機保焊膜氧化、焊墊鍍金層汙染、焊墊鍍金層氧化、焊墊鍍金層露銅、文字模糊、焊墊沾錫或正常。
  9. 如申請專利範圍第7項所述的訓練裝置，其中所述資料集合關聯於半導體製造晶圓的外觀，並且瑕疵樣本關聯於下列的至少其中之一：刮傷、箭影、微粒、變色或正常。
  10. 如申請專利範圍第7項所述的訓練裝置，其中所述資料收集模組響應於所述瑕疵樣本和所述正常樣本的比率小於閾值而對所述瑕疵樣本進行過採樣。
  11. 一種神經網路模型的訓練方法，包括：取得資料集合；根據所述資料集合完成多次人工智慧模型訓練以產生分別對應於所述多次人工智慧模型訓練的多個模型；根據第一限制條件從所述多個模型中選出第一模型集合；以及根據第二限制條件從所述第一模型集合中選出所述神經網路模型，其中所述第一限制條件和所述第二限制條件分別關聯於與混淆矩陣相對應的多種指標的至少其中之一。
  12. 如申請專利範圍第11項所述的訓練方法，其中根據所述第二限制條件從所述第一模型集合中選出所述第一模型以作為所述神經網路模型的步驟包括：根據第三限制條件從所述第一模型集合中選出第二模型集合，並且根據所述第二限制條件從所述第二模型集合中選出所述神經網路模型。
  13. 如申請專利範圍第11項所述的訓練方法，其中根據所述第二限制條件從所述第一模型集合中選出所述神經網路模型的步驟包括：根據所述第二限制條件從所述第一模型集合中選出對應於目標條件的所述神經網路模型。
  14. 如申請專利範圍第11項所述的訓練方法，其中根據所述第二限制條件從所述第一模型集合中選出所述神經網路模型的步驟包括：根據所述第二限制條件從所述第一模型集合中選出與符合所述第二限制條件的最後一次迭代的人工智慧模型訓練相對應的所述神經網路模型。
  15. 如申請專利範圍第11項所述的訓練方法，其中所述第一限制條件和所述第二限制條件分別關聯於下列的至少其中之一：真陰性率、真陽性率、偽陰性率、偽陽性率、最小錯誤率、平均錯誤率、召回率或準確率。
  16. 如申請專利範圍第11項所述的訓練方法，其中所述神經網路模型包括自編碼神經網路、深度學習神經網路、深度殘差學習神經網路、受限玻爾茲曼機神經網路、遞歸神經網路或多層感知機神經網路。
  17. 如申請專利範圍第11項所述的訓練方法，其中取得所述資料集合的步驟包括：接收瑕疵樣本和正常樣本，並且對所述瑕疵樣本進行過採樣 以根據所述瑕疵樣本和所述正常樣本產生所述資料集合。
  18. 如申請專利範圍第17項所述的訓練方法，其中所述資料集合關聯於印刷電路板的外觀，並且瑕疵樣本關聯於下列的至少其中之一：防焊雜質、防焊刮傷、防焊汙染、防焊露銅、防焊油墨不均、防焊跳印、顯影不良、防焊板損、防焊沾錫、焊墊有機保焊膜雜質、焊墊有機保焊膜氧化、焊墊鍍金層汙染、焊墊鍍金層氧化、焊墊鍍金層露銅、文字模糊、焊墊沾錫或正常。
  19. 如申請專利範圍第17項所述的訓練方法，其中所述資料集合關聯於半導體製造晶圓的外觀，並且瑕疵樣本關聯於下列的至少其中之一：刮傷、箭影、微粒、變色或正常。
  20. 如申請專利範圍第17項所述的訓練方法，其中所述資料收集模組響應於所述瑕疵樣本和所述正常樣本的比率小於閾值而對所述瑕疵樣本進行過採樣。
TW108144234A 2019-12-04 2019-12-04 神經網路模型的訓練裝置和訓練方法 TWI732370B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108144234A TWI732370B (zh) 2019-12-04 2019-12-04 神經網路模型的訓練裝置和訓練方法
CN201911389318.2A CN112907502B (zh) 2019-12-04 2019-12-27 神经网络模型的训练装置和训练方法
US16/729,453 US11636336B2 (en) 2019-12-04 2019-12-29 Training device and training method for neural network model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108144234A TWI732370B (zh) 2019-12-04 2019-12-04 神經網路模型的訓練裝置和訓練方法

Publications (2)

Publication Number Publication Date
TW202123100A TW202123100A (zh) 2021-06-16
TWI732370B true TWI732370B (zh) 2021-07-01

Family

ID=76110884

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108144234A TWI732370B (zh) 2019-12-04 2019-12-04 神經網路模型的訓練裝置和訓練方法

Country Status (2)

Country Link
US (1) US11636336B2 (zh)
TW (1) TWI732370B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580450B2 (en) * 2020-01-16 2023-02-14 Palo Alto Research Center Incorporated System and method for efficiently managing large datasets for training an AI model
US11687808B2 (en) * 2020-09-03 2023-06-27 International Business Machines Corporation Artificial intelligence explaining for natural language processing
CN113284141A (zh) * 2021-07-09 2021-08-20 武汉精创电子技术有限公司 用于缺陷检测的模型确定方法、装置和设备
US20230195071A1 (en) * 2021-12-17 2023-06-22 Applied Materials, Inc. Methods and mechanisms for generating a data collection plan for a semiconductor manufacturing system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7613663B1 (en) * 2002-09-30 2009-11-03 Michael Lamport Commons Intelligent control with hierarchal stacked neural networks
US20170286830A1 (en) * 2016-04-04 2017-10-05 Technion Research & Development Foundation Limited Quantized neural network training and inference
CN108712809A (zh) * 2018-05-18 2018-10-26 浙江工业大学 一种基于神经网络的光环境智能控制方法
TWI667575B (zh) * 2018-06-29 2019-08-01 由田新技股份有限公司 利用人工智慧的瑕疵檢測系統及其方法
TW201945861A (zh) * 2018-03-28 2019-12-01 美商克萊譚克公司 訓練用於低解析度影像中之缺陷偵測之神經網路

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007147166A2 (en) 2006-06-16 2007-12-21 Quantum Leap Research, Inc. Consilence of data-mining
US8065244B2 (en) 2007-03-14 2011-11-22 Halliburton Energy Services, Inc. Neural-network based surrogate model construction methods and applications thereof
US9370316B2 (en) 2007-05-18 2016-06-21 Henry Ford Health System MRI estimation of contrast agent concentration using a neural network approach
US8214308B2 (en) 2007-10-23 2012-07-03 Sas Institute Inc. Computer-implemented systems and methods for updating predictive models
US20110231256A1 (en) 2009-07-25 2011-09-22 Kindsight, Inc. Automated building of a model for behavioral targeting
US10169715B2 (en) 2014-06-30 2019-01-01 Amazon Technologies, Inc. Feature processing tradeoff management
CN105205504B (zh) 2015-10-04 2018-09-18 北京航空航天大学 一种基于数据驱动的图像关注区域质量评价指标学习方法
US11783947B2 (en) 2016-09-26 2023-10-10 University Of Queensland Method and apparatus for automatic disease state diagnosis
JP2020501240A (ja) 2016-11-18 2020-01-16 ナントミクス，エルエルシー 汎がんゲノムにおけるｄｎａアクセシビリティを予測するための方法及びシステム
CA3063738A1 (en) 2017-05-14 2018-11-22 Digital Reasoning Systems, Inc. Systems and methods for rapidly building, managing, and sharing machine learning models
US11720813B2 (en) * 2017-09-29 2023-08-08 Oracle International Corporation Machine learning platform for dynamic model selection
US11270187B2 (en) 2017-11-07 2022-03-08 Samsung Electronics Co., Ltd Method and apparatus for learning low-precision neural network that combines weight quantization and activation quantization
TWI649699B (zh) 2017-11-28 2019-02-01 長庚醫療財團法人林口長庚紀念醫院 A method for predicting the function of daily life of disabled person
US10915631B2 (en) 2017-12-28 2021-02-09 Intel Corporation Deep learning on execution trace data for exploit detection
US10417528B2 (en) 2018-02-18 2019-09-17 Sas Institute Inc. Analytic system for machine learning prediction model selection
CN108595558B (zh) 2018-04-12 2022-03-15 福建工程学院 一种数据均衡策略和多特征融合的图像标注方法
US20200034665A1 (en) * 2018-07-30 2020-01-30 DataRobot, Inc. Determining validity of machine learning algorithms for datasets
CN109376615B (zh) 2018-09-29 2020-12-18 苏州科达科技股份有限公司 用于提升深度学习网络预测性能的方法、装置及存储介质
CN110162799B (zh) * 2018-11-28 2023-08-04 腾讯科技（深圳）有限公司 模型训练方法、机器翻译方法以及相关装置和设备
US20210374403A1 (en) * 2018-12-21 2021-12-02 Hitachi High-Tech Corporation Image recognition device and method
US10963753B2 (en) * 2019-01-28 2021-03-30 Applied Materials, Inc. Automated image measurement for process development and optimization
US10963990B2 (en) * 2019-01-28 2021-03-30 Applied Materials, Inc. Automated image measurement for process development and optimization
EP3948706A1 (en) * 2019-04-03 2022-02-09 Telefonaktiebolaget Lm Ericsson (Publ) Technique for facilitating use of machine learning models
CN110134947B (zh) 2019-04-17 2021-03-26 中国科学院计算技术研究所 一种基于不平衡多源数据的情感分类方法及系统
US20210019662A1 (en) * 2019-07-16 2021-01-21 AIble Inc. Analyzing Performance of Models Trained with Varying Constraints
US11610076B2 (en) * 2019-08-07 2023-03-21 Applied Materials, Inc. Automatic and adaptive fault detection and classification limits
US11200659B2 (en) * 2019-11-18 2021-12-14 Stmicroelectronics (Rousset) Sas Neural network training device, system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7613663B1 (en) * 2002-09-30 2009-11-03 Michael Lamport Commons Intelligent control with hierarchal stacked neural networks
US20170286830A1 (en) * 2016-04-04 2017-10-05 Technion Research & Development Foundation Limited Quantized neural network training and inference
TW201945861A (zh) * 2018-03-28 2019-12-01 美商克萊譚克公司 訓練用於低解析度影像中之缺陷偵測之神經網路
CN108712809A (zh) * 2018-05-18 2018-10-26 浙江工业大学 一种基于神经网络的光环境智能控制方法
TWI667575B (zh) * 2018-06-29 2019-08-01 由田新技股份有限公司 利用人工智慧的瑕疵檢測系統及其方法

Also Published As

Publication number Publication date
US20210174200A1 (en) 2021-06-10
US11636336B2 (en) 2023-04-25
TW202123100A (zh) 2021-06-16
CN112907502A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
TWI732370B (zh) 神經網路模型的訓練裝置和訓練方法
CN110930347B (zh) 卷积神经网络的训练方法、焊点缺陷的检测方法及装置
CN110992317B (zh) 一种基于语义分割的pcb板缺陷检测方法
US11017259B2 (en) Defect inspection method, defect inspection device and defect inspection system
CN107123117B (zh) 一种基于深度学习的ic引脚焊点质量检测方法及装置
US20200090028A1 (en) Neural network-based classification method and classification device thereof
CN109919908B (zh) 发光二极管芯片缺陷检测的方法和装置
CN111798419A (zh) 一种金属喷漆表面缺陷检测方法
Acciani et al. A fuzzy method for global quality index evaluation of solder joints in surface mount technology
CN113628179B (zh) 一种pcb表面缺陷实时检测方法、装置及可读介质
CN113240673B (zh) 缺陷检测方法、装置、电子设备及存储介质
CN114372949A (zh) 基于改进YOLOv5算法的PCB表面缺陷检测方法
TWI707299B (zh) 光學檢測二次圖像分類方法
CN115375635A (zh) 一种晶圆缺陷的识别方法
CN113763364B (zh) 一种基于卷积神经网络的图像缺陷检测方法
CN111612759A (zh) 一种基于深度卷积生成式对抗网络的印刷品缺陷识别方法
CN114418980A (zh) 印刷线路板缺陷识别的深度学习方法、系统、设备及介质
TW202016943A (zh) 基於神經網路的分類裝置及分類方法
CN114596244A (zh) 基于视觉处理和多特征融合的红外图像识别方法及系统
CN112907502B (zh) 神经网络模型的训练装置和训练方法
Giaquinto et al. A neurofuzzy method for the evaluation of soldering global quality index
CN116485766A (zh) 一种基于改进yolox的粮食不完善粒检测和计数方法
Hu et al. Printed Circuit Board (PCB) Surface Micro Defect Detection Model Based on Residual Network with Novel Attention Mechanism.
WO2021237682A1 (zh) 显示面板的检测装置、检测方法、电子装置、可读介质
CN113267506A (zh) 木板ai视觉缺陷检测装置、方法、设备及介质