TWI688904B - 神經網路的訓練方法、基於神經網路的分類方法及其裝置 - Google Patents

神經網路的訓練方法、基於神經網路的分類方法及其裝置 Download PDF

Info

Publication number
TWI688904B
TWI688904B TW108109436A TW108109436A TWI688904B TW I688904 B TWI688904 B TW I688904B TW 108109436 A TW108109436 A TW 108109436A TW 108109436 A TW108109436 A TW 108109436A TW I688904 B TWI688904 B TW I688904B
Authority
TW
Taiwan
Prior art keywords
image
neural network
corresponds
training
item
Prior art date
Application number
TW108109436A
Other languages
English (en)
Other versions
TW202029070A (zh
Inventor
李政昕
吳懷恩
Original Assignee
中強光電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中強光電股份有限公司 filed Critical 中強光電股份有限公司
Application granted granted Critical
Publication of TWI688904B publication Critical patent/TWI688904B/zh
Publication of TW202029070A publication Critical patent/TW202029070A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

提供一種用於訓練神經網路的訓練裝置和訓練方法，及基於神經網路的分類方法和分類裝置。訓練裝置包括儲存單元和處理器。處理器存取及執行儲存單元中的抽樣模組、貼標模組以及訓練模組。抽樣模組自第一資料集中抽樣出第一圖像和第二圖像。貼標模組響應於第一控制指令而對第一圖像進行註記以產生第一註記圖像，且根據第一註記圖像以及第二圖像產生標籤資料。訓練模組根據標籤資料訓練神經網路。本發明的訓練方法所訓練的神經網路可根據所接收的參考圖像進行分類，且神經網路不需經重新訓練即可適用於各種類的物件。

Description

神經網路的訓練方法、基於神經網路的分類方法及其裝置
本發明是有關於一種神經網路的技術，且特別是有關於一種神經網路的訓練方法及其訓練裝置以及基於神經網路的分類方法及其分類裝置。
現行的神經網路可使用監督式學習（supervised learning）或非監督式學習（unsupervised learning）的方式產生。一般來說，使用由監督式學習所產生的神經網路進行物件分類可以達到較高的準確度（accuracy）或精密度（precision）。然而，基於監督式學習的神經網路具有兩項缺點。首先，對那些不熟悉本領域的人來說，調整神經網路的參數以使神經網路適用於不同的情況是非常困難的。其次，當待分類的物件之種類或型號改變時，神經網路也需要跟著重新訓練。因此，基於監督式學習的神經網路的使用者經常需要花費大量的時間在調整參數以及針對不同的物件重新訓練神經網路。
本發明提供一種神經網路的訓練方法及其訓練裝置以及基於神經網路的分類方法及其分類裝置。由本發明所訓練出的神經網路可適用於不同種類或型號的物件而不需重新訓練。
本發明的其他目的和優點可以從本發明所揭露的技術特徵中得到進一步的瞭解。
為達上述之一或部分或全部目的或是其他目的，本發明提出一種訓練裝置，適用於訓練神經網路。訓練裝置包括：儲存單元以及處理器。儲存單元儲存多個模組。處理器耦接儲存單元，並且存取及執行儲存單元中的些模組，其中些模組包括抽樣模組、貼標模組以及訓練模組。抽樣模組自第一資料集中抽樣出第一圖像和一第二圖像。貼標模組響應於第一控制指令而對第一圖像進行註記以產生第一註記圖像，並且根據第一註記圖像以及第二圖像產生標籤資料，其中第一控制指令相關於使用者對第一圖像與第二圖像的選擇。訓練模組根據標籤資料訓練神經網路。
在本發明一實施例中，上述的第一資料集對應於第一物件及相異於第一物件的第二物件、第一圖像對應於第一物件和第二物件的其中之一，並且第二圖像對應於第一物件和第二物件的其中之一。
在本發明一實施例中，上述的神經網路接收參考圖像以及受測圖像，並且根據參考圖像對受測圖像進行分類以產生受測圖像的分類結果。
在本發明一實施例中，上述的參考圖像對應於第一物件和第二物件的其中之一，並且受測圖像對應於第一物件和第二物件的其中之一。
在本發明一實施例中，上述的受測圖像的分類結果相關於參考圖像及受測圖像的瑕疵程度差異。
在本發明一實施例中，上述的參考圖像調整神經網路的漏檢率和誤判率的至少其中之一。
為達上述之一或部分或全部目的或是其他目的，本發明提出一種訓練方法，適用於訓練神經網路。訓練方法包括：自第一資料集抽樣出第一圖像和第二圖像；響應於第一控制指令而對第一圖像進行註記以產生第一註記圖像，其中第一控制指令相關於使用者對第一圖像與第二圖像的選擇；根據第一註記圖像以及第二圖像產生標籤資料；以及根據標籤資料訓練神經網路。
在本發明一實施例中，上述的第一資料集對應於第一物件及相異於第一物件的第二物件、第一圖像對應於第一物件和第二物件的其中之一，並且第二圖像對應於第一物件和第二物件的其中之一。
在本發明一實施例中，上述的種訓練方法更包含自第一資料集抽樣出第三圖像，其中第三圖像對應於第一物件和第二物件的其中之一；自第二資料集抽樣出第四圖像，其中第四圖像對應於一第三物件；響應於第二控制指令而對第三圖像及第四圖像的其中之一進行註記以產生第二註記圖像，且未被註記的另一圖像則作為未註記圖像；根據第二註記圖像及未註記圖像產生第二標籤資料；根據第二標籤資料訓練神經網路。
在本發明一實施例中，上述的第二資料集對應於相異於第一物件及第二物件的第三物件、第三圖像對應於第一物件和第二物件的其中之一，並且第四圖像對應於三物件。
為達上述之一或部分或全部目的或是其他目的，本發明提出一種基於神經網路的分類裝置，包括儲存單元以及處理器。儲存單元儲存神經網路模組。處理器耦接儲存單元，並且存取及執行神經網路模組。神經網路模組接收參考圖像以及受測圖像，並且根據神經網路以及參考圖像來對受測圖像進行分類，藉以產生受測圖像的分類結果。
在本發明一實施例中，上述的神經網路的訓練步驟包括：自第一資料集抽樣出第一圖像和第二圖像；響應於第一控制指令而對第一圖像進行註記以產生第一註記圖像，其中第一控制指令相關於使用者對第一圖像與第二圖像的選擇；根據第一註記圖像以及第二圖像產生標籤資料；以及根據標籤資料訓練神經網路。
在本發明一實施例中，上述的第一資料集對應於第一物件及相異於第一物件的第二物件、參考圖像對應於第一物件和第二物件的其中之一並且受測圖像對應於第一物件和第二物件的其中之一。
在本發明一實施例中，上述的神經網路的訓練步驟包括：自第一資料集抽樣出第三圖像，其中第三圖像對應於第一物件和第二物件的其中之一；自第二資料集抽樣出第四圖像，其中第四圖像對應於第三物件；響應於第二控制指令而對第三圖像及第四圖像的其中之一進行註記以產生第二註記圖像，且未被註記的另一圖像則作為未註記圖像；根據第二註記圖像及未註記圖像產生第二標籤資料；根據第二標籤資料訓練神經網路。
在本發明一實施例中，上述的第二資料集對應於相異於第一物件及第二物件的第三物件、第三圖像對應於第一物件和第二物件的其中之一，並且第四圖像對應於三物件。
在本發明一實施例中，上述的受測圖像的分類結果相關於參考圖像及受測圖像的瑕疵程度差異。
在本發明一實施例中，上述的參考圖像調整神經網路的漏檢率和誤判率的至少其中之一。
為達上述之一或部分或全部目的或是其他目的，本發明提出一種基於神經網路的分類方法，包括：接收參考圖像以及受測圖像；以及根據神經網路以及參考圖像來對受測圖像進行分類，藉以產生受測圖像的分類結果。
在本發明一實施例中，上述的神經網路的訓練步驟包括：自第一資料集抽樣出第一圖像和第二圖像；響應於第一控制指令而對第一圖像進行註記以產生第一註記圖像，其中第一控制指令相關於使用者對第一圖像與第二圖像的選擇；根據第一註記圖像以及第二圖像產生標籤資料；以及根據標籤資料訓練神經網路。
如在本發明一實施例中，上述的第一資料集對應於第一物件及相異於第一物件的第二物件、參考圖像對應於第一物件和第二物件的其中之一並且受測圖像對應於第一物件和第二物件的其中之一。
如在本發明一實施例中，上述的神經網路的訓練步驟包括：自第一資料集抽樣出第三圖像，其中第三圖像對應於第一物件和第二物件的其中之一；自第二資料集抽樣出第四圖像，其中第四圖像對應於第三物件；響應於第二控制指令而對第三圖像及第四圖像的其中之一進行註記以產生第二註記圖像，且未被註記的另一圖像則作為未註記圖像；根據第二註記圖像及未註記圖像產生第二標籤資料；根據第二標籤資料訓練神經網路。
在本發明一實施例中，上述的第二資料集對應於相異於第一物件及第二物件的第三物件，第三圖像對應於第一物件和第二物件的其中之一，並且第四圖像對應於三物件。
在本發明一實施例中，上述的受測圖像的分類結果相關於參考圖像及受測圖像的瑕疵程度差異。
在本發明一實施例中，上述的參考圖像調整神經網路的漏檢率和誤判率的至少其中之一。
基於上述，由本發明所訓練出的神經網路可適用於不同種類或型號的物件而不需重新訓練。另一方面，使用者可以透過參考圖像來直觀地設定神經網路的分類標準（criteria）。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
為了改善基於監督式學習的神經網路的使用者經常需要花費大量的時間在調整神經網路之參數以及針對不同的物件重新訓練神經網路的問題，本發明提出一種神經網路的訓練方法及其訓練裝置，以及基於神經網路的分類方法及其分類裝置。
圖1根據本發明的實施例繪示一種神經網路的訓練裝置10的示意圖，所述神經網路例如是任意種基於監督式學習的神經網路，本發明不限於此。訓練裝置10可包括處理器100以及儲存單元200。
處理器100例如是中央處理單元（central processing unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位信號處理器（digital signal processor，DSP）、可程式化控制器、特殊應用積體電路（application specific integrated circuit，ASIC）、圖型處理器（graphics processing unit，GPU）或其他類似元件或上述元件的組合。處理器100耦接儲存單元200，而可存取並執行儲存於儲存單元200中的模組或各種應用程式。
儲存單元300例如是任何型態的固定式或可移動式的隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟（hard disk drive，HDD）、固態硬碟（solid state drive，SSD）或類似元件或上述元件的組合，而用於記錄可由處理器100執行的多個模組或各種應用程式。在本實施例中，儲存單元200可儲存包括抽樣模組210、貼標模組220以及訓練模組230等多個模組，其功能將於後續說明。其中抽樣模組210、貼標模組220以及訓練模組230例如是為程式(Program)或軟體(Software)的一種程式碼(code)，當執行處理器100執行的上述模組(執行該程式碼)後，可達成個模組欲達成的程序(procedure)及目的。
圖2A根據本發明的實施例繪示一種神經網路的訓練方法的流程圖，所述訓練方法可由訓練裝置10實施。在本實施例中，待檢物件可為顯示面板(Display Panel)，但本發明不以此為限。
在步驟S21，抽樣模組210可自第一資料集中抽樣出第一圖像和第二圖像，其中第一資料集包括分別對應於第一物件和相異於第一物件的第二物件的其中之一的多個圖像，亦即，第一圖像和第二圖像分別對應於第一物件和第二物件的其中之一。在本實施例中，第一圖像和第二圖像皆對應於第一物件，代表第一圖像中的物件與第二圖像中的物件屬於相同的種類或型號。另一方面，第一圖像可對應於第一物件且第二圖像對可應於相異於第一物件的第二物件，代表第一圖像中的物件與第二圖像中的物件屬於不同的種類或型號。
以圖3A及3B為例，圖3A及3B根據本發明的實施例繪示第一物件及第二物件的示意圖。若第一物件代表型號為A型號的顯示面板，則第一資料集可包括分別對應於多個不同的A型號的顯示面板之外觀的多個圖像，其中該些圖像可例如是透過攝影機對該些A型號的顯示面板A進行拍攝而產生，例如是，在面板生產過程中，攝影機對每一個A型號的顯示面板的成品所拍攝的照片。另一方面，若第二物件代表B型號的顯示面板，則第一資料集可包括分別對應於多個不同的型號B的顯示面板之外觀的多個圖像，其中該些圖像可例如是透過攝影機對該些型號B的顯示面板進行拍攝而產生，例如是，在面板生產過程中，攝影機對每一個型號B的顯示面板的成品所拍攝的照片。
此外，第一資料集也可以包括分別對應於不同種類的顯示面板。在一實施例中，第一資料集也可以同時包括分別對應於不同種類以及不型號的顯示面板。本發明不限制顯示面板的種類以及型號，舉例而言，顯示面板可以是液晶顯示面板或有機發光二極體顯示面板（OLED Panel），並且顯示面板可進一步為扭轉向列型液晶顯示面板（Twisted Nematic - LCD Panel）或薄膜電晶體型液晶顯示面板（Thin Film Transistor - LCD Panel）。
在步驟S21，抽樣模組210可隨機地從第一資料集的多個圖像中抽樣出第一圖像和第二圖像。在本實施例中， A型號的顯示面板的圖像為第一圖像與B型號的顯示面板的圖像為第二圖像，兩者的主要差異在於，A型號的顯示面板具有較大的網格G1，如圖3A所示。另一方面，B型號的顯示面板則具有較小的網格G2，如圖3B所示，而每一個網格可以表示為一個像素（Pixel），但本發明不限於此。
在步驟S22，貼標模組220可響應於第一控制指令而對第一圖像進行註記以產生第一註記圖像，第一控制指令相關於使用者對第一圖像與第二圖像的選擇。具體而言，第一控制指令可以對應於使用者的選擇，使用者可針對抽樣模組210隨機地從第一資料集抽樣出的第一圖像和第二圖像進行選擇。在一實施例中，使用者會從抽樣出來的第一圖像和第二圖像中選擇出一個瑕疵程度較高圖像，而處理器100則針對使用者的選擇產生第一控制指令，以使貼標模組220可響應於第一控制指令而對被使用者選擇的圖像進行註記以產生第一註記圖像。
在步驟S23，貼標模組220可根據第一註記圖像以及第二圖像產生第一標籤資料。具體來說，貼標模組220可例如透過一顯示裝置來顯示分別對應於第一物件（例如：A型號的顯示面板）和第二物件的其中之一的第一圖像和第二圖像供給訓練裝置10讓使用者選擇。使用者可以比較第一圖像和第二圖像兩者之外觀的瑕疵程度，並且根據瑕疵程度選擇對第一圖像或第二圖像中進行註記。在本實施例中，假設使用者判斷第一圖像之外觀的瑕疵程度較第二圖像之外觀的瑕疵程度嚴重，因此，使用者可選擇對第一圖像進行註記以產生第一註記圖像。在產生第一註記圖像之後，貼標模組220可以使用第一註記圖像例如是第一圖像和未被選擇的圖像例如是第二圖像來組成一第一標籤資料。在步驟S24，訓練模組230可根據第一標籤資料訓練神經網路。經此訓練過程後，神經網路可學習分辨相同A型號或B型號的顯示面板的瑕疵程度，甚至是不同型號之間的瑕疵程度。具體來說，在產生完對應於第一物件和第二物件的的第一標籤資料後，訓練模組230可以根據標籤資料進行神經網路的訓練，從而產生神經網路。由於所述神經網路是根據對應於不同的物件（例如：第一物件和第二物件）之標籤資料而產生，因此，所述神經網路將可適用於不同的物件（例如：第一物件和第二物件）。
再回到參考圖2B，圖2B根據本發明的實施例繪示另一種神經網路的訓練方法的流程圖。圖2A與圖2B具有相同的步驟，主要的差異在於可分別由第一資料集與第二資料集隨機第抽樣出的第三圖像以及第四圖像，可訓練神經網路以進一步辨識第三物件的瑕疵程度。在一實施例中，標籤資料還可對應於第三物件，其中第三物件相異於第一物件及第二物件，並且第三物件可為C型號的顯示面板。
舉例來說，假設用以訓練神經網路的第一資料集僅包括對應於第一物件及第二物件的其中之一的多個圖像。當使用者欲進一步訓練也可用以識別第三物件外觀瑕疵程度的神經網路時，執行如圖2B所示的訓練方法。在步驟S21a，抽樣模組210可自第一資料集抽樣出對應於第一物件和第二物件的其中之一的一圖像以作為第三圖像，並且自第二資料集抽樣出對應於第三物件的一圖像以作為第四圖像，其中第一資料集包括對應於第一物件以及第二物件的多個圖像，第二資料集包括對應於第三物件的多個圖像。接著，再步驟S22a，貼標模組220可響應於第二控制指令而對第三圖像及第四圖像的其中之一進行註記以產生註記圖像，未被註記的另一圖像則作為未註記圖像。在步驟S23a，貼標模組220可根據註記圖像及未註記圖像產生第二標籤資料。
最後，在步驟S24a，訓練模組230可根據第二標籤資料訓練神經網路。經此訓練過程後，第二標籤資料可包含A型號、B型號與C型號相關的瑕疵程度資料，即神經網路可額外學習到的C型號相關的瑕疵程度。具體來說，在產生完對應於第一物件、第二物件和第三物件的的第二標籤資料後，訓練模組230可以根據第二標籤資料進行神經網路的訓練，從而產生所要的神經網路。由於所述神經網路是根據對應於不同的物件（例如：第一物件、第二物件和第三物件）之標籤資料而產生，因此，所述神經網路將可適用於不同的物件（例如：第一物件、第二物件和第三物件）。
依照上述的訓練流程，本發明的標籤資料包含至少兩種以上的型號或種類的待測物，並且可方便地對原有的標籤資料新增相關的型號或種類。
圖4根據本發明的實施例繪示一種基於神經網路的分類裝置30的示意圖，其中所述神經網路是由訓練裝置10所訓練出的神經網路。分類裝置30可包括處理器300、儲存單元400以及圖像擷取裝置700。
處理器300例如是中央處理單元，或是其他可程式化之一般用途或特殊用途的微處理器、數位信號處理器、可程式化控制器、特殊應用積體電路、圖型處理器或其他類似元件或上述元件的組合。處理器300耦接儲存單元400，而可存取並執行儲存於儲存單元400中的模組或各種應用程式。
儲存單元400例如是任何型態的固定式或可移動式的隨機存取記憶體、唯讀記憶體、快閃記憶體、硬碟、固態硬碟或類似元件或上述元件的組合，而用於記錄可由處理器300執行的多個模組或各種應用程式。在本實施例中，儲存單元400可儲存神經網路模組410，且神經網路模組410對應於由訓練裝置10所訓練出的神經網路。
圖像擷取單元700可以是任何型態的照相裝置或攝影裝置，亦不限於可見光的攝像功能，例如在特殊製程中，可能使用特定波長的光進行攝像。在本實施例中，圖像擷取單元700可執行圖像拍攝，以提供受測圖像給處理器300。
圖5根據本發明的實施例繪示一種基於神經網路的分類方法的流程圖，其中所述分類方法可由分類裝置30實施。
同時參考圖4與圖5，在步驟S51，透過處理器300，神經網路模組410可接收一參考圖像以及一受測圖像。在步驟S52，神經網路模組410可根據神經網路以及參考圖像來對受測圖像進行分類，藉以產生受測圖像的分類結果，其中參考圖像可對應於第一物件以及受測圖像可對應相異於第一物件的第二物件，並且受測圖像的分類結果用以指示受測圖像中的物件是否具有外觀瑕疵，且該分類結果相關於參考圖像及受測圖像的瑕疵程度差異。
舉例來說，若分類裝置30的使用者欲檢驗關聯於第一物件（例如：A型號的顯示面板）的產品是否具有外觀瑕疵，則使用者可透過例如攝影機等裝置取得該產品的外觀圖像以作為受測圖像，並且自包括分別關聯於第一物件及第二物件的多個圖像中選出其中之一以作為參考圖像。參考圖像可用以作為判斷受測圖像是否具有外觀瑕疵的標準。當受測圖像之外觀的瑕疵程度較參考圖像之外觀的瑕疵程度嚴重時，分類裝置30即可將對應於受測圖像的產品分類為瑕疵品。換言之，使用者可藉由更換參考圖像來調整用以判斷受測圖像是否具有外觀瑕疵的標準。例如，使用者可藉由更換參考圖像來調整神經網路模組410所使用之神經網路的漏檢率（miss rate，或假陰性率（false negative rate，FNR））或誤判率（false positive rate，FPR）。參考圖像的範例可參考圖6A以及圖6B，如下所述。
圖6A、6B根據本發明的實施例繪示具有不同瑕疵程度的參考圖像500、參考圖像600的示意圖。在本實施例中，假設參考圖像500以及參考圖像600對應於第一物件（例如：A型號的顯示面板）。請參考圖6A和圖6B。參考圖像500具有較嚴重的外觀瑕疵510，而參考圖像600則具有較輕微的外觀瑕疵610。
當分類裝置30對應於第一物件（例如：A型號的顯示面板）的受測圖像進行分類時，若參考圖像500被選為神經網路模組410所使用的參考圖像，則神經網路模組410會在受測圖像之外觀瑕疵較外觀瑕疵510嚴重時，將受測圖像中的物件分類為瑕疵品。由於外觀瑕疵510屬於非常重大的瑕疵，因此將會有許多具有微小外觀瑕疵的受測圖像被分類為正常品，從而導致分類裝置30的漏檢率上升。反之，使用者可改為使用參考圖像600以作為神經網路模組410所使用的參考圖像。由於外觀瑕疵610屬於非常微小的瑕疵，因此將會有具有微小外觀瑕疵的受測圖像被分類為具有外觀瑕疵，從而導致分類裝置30的漏檢率下降。相對地，也可能導致分類裝置30的誤判率會隨之上升。
簡言之，使用者可以透過調整不同瑕疵程度的參考圖像來調整神經網路模組410的分類結果的漏檢率與誤判率。
需注意的是，在一些實施例中，上述的受測圖像、參考圖像500以及參考圖像600可分別對應於相同或相異的型號或種類，本發明不限於此。
綜上所述，本發明提出了一種神經網路的訓練方法，使用者可以對兩個圖像的其中之一進行註記，並且根據所述兩個圖像產生標籤資料。在訓練神經網路時，輸入參數可包括分別對應於不同物件的標籤資料。據此，所訓練出的神經網路將可適用於不同種類或型號的物件。當使用神經網路進行分類時，使用者可以透過改變參考圖像的方式直觀地調整神經網路所適用的物件或神經網路的分類標準。
舉例來說，當待檢物件為A型號的顯示面板時，分類裝置的使用者可以將對應於A型號的顯示面板的參考圖像輸入神經網路之中，以作為神經網路的分類標準。當待分類的物件更換為型號B的顯示面板時，使用者僅需將參考圖像更換為對應於B型號的顯示面板的參考圖像，即可繼續使用神經網路。
再舉另一例來說，當使用者認為神經網路的漏檢率過高時（即：神經網路對外觀瑕疵的判定標準過於嚴格（stringent）而導致許多瑕疵品未被篩選出），使用者可將作為外觀瑕疵之參考的參考圖像更換為具有較小之外觀瑕疵者，使得神經網路對外觀瑕疵的判定標準轉變成較為鬆散（loose）。
本發明提出的神經網路不需重新訓練即可適用於不同的情況，同時亦保持了基於監督式學習之神經網路的高準確度及高精密度的優點。
惟以上所述者，僅為本發明之較佳實施例而已，當不能以此限定本發明實施之範圍，即大凡依本發明申請專利範圍及發明說明內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。另外本發明的任一實施例或申請專利範圍不須達成本發明所揭露之全部目的或優點或特點。此外，摘要部分和標題僅是用來輔助專利文件搜尋之用，並非用來限制本發明之權利範圍。此外，本說明書或申請專利範圍中提及的“第一”、“第二”等用語僅用以命名元件(element)的名稱或區別不同實施例或範圍，而並非用來限制元件數量上的上限或下限。
10:訓練裝置 100:處理器 200:儲存單元 210:抽樣模組 220:貼標模組 230:訓練模組 30:分類裝置 300:處理器 400:儲存單元 410:神經網路模組 500、600:參考圖像 510、610:外觀瑕疵 700:圖像擷取裝置 A: 第一物件/A型號的顯示面板 B: 第二物件/B型號的顯示面板 G1、G2:網格 S21、S22、S23、S24、S21a、S22a、S23a、S24a、S51、S52:步驟
圖1根據本發明的實施例繪示一種神經網路的訓練裝置的示意圖。 圖2A根據本發明的實施例繪示一種神經網路的訓練方法的流程圖。 圖2B根據本發明的實施例繪示另一種神經網路的訓練方法的流程圖。 圖3A及圖3B根據本發明的實施例繪示第一物件及第二物件的示意圖。 圖4根據本發明的實施例繪示一種基於神經網路的分類裝置的示意圖。 圖5根據本發明的實施例繪示一種基於神經網路的分類方法的流程圖。 圖6A及圖6B根據本發明的實施例繪示具有不同瑕疵程度的參考圖像的示意圖。
S21、S22、S23、S24:步驟

Claims (24)

  1. 一種監督式的訓練裝置，適用於訓練一神經網路，該訓練裝置包括： 一儲存單元，儲存多個模組；以及 一處理器，耦接該儲存單元，並且存取及執行該儲存單元中的該些模組，其中該些模組包括一抽樣模組、一貼標模組以及一訓練模組，其中 該抽樣模組自一第一資料集中抽樣出一第一圖像和一第二圖像； 該貼標模組響應於一第一控制指令而對該第一圖像進行註記以產生一第一註記圖像，並且根據該第一註記圖像以及該第二圖像產生一標籤資料，其中該第一控制指令相關於一使用者對該第一圖像與該第二圖像的選擇；以及 該訓練模組根據該標籤資料訓練該神經網路。
  2. 如申請專利範圍第1項所述的訓練裝置，其中 該第一資料集對應於一第一物件及相異於該第一物件的一第二物件、該第一圖像對應於該第一物件和該第二物件的其中之一，並且該第二圖像對應於該第一物件和該第二物件的其中之一。
  3. 如申請專利範圍第1項所述的訓練裝置，其中該神經網路接收一參考圖像以及一受測圖像，並且根據該參考圖像對該受測圖像進行分類以產生該受測圖像的一分類結果。
  4. 如申請專利範圍第3項所述的訓練裝置，其中該參考圖像對應於該第一物件和該第二物件的其中之一，並且該受測圖像對應於該第一物件和該第二物件的其中之一。
  5. 如申請專利範圍第3項所述的訓練裝置，其中該受測圖像的該分類結果相關於該參考圖像及該受測圖像的一瑕疵程度差異。
  6. 如申請專利範圍第5項所述的訓練裝置，其中該參考圖像調整該神經網路的一漏檢率和一誤判率的至少其中之一。
  7. 一種監督式的訓練方法，適用於訓練一神經網路，該訓練方法包括： 自一第一資料集抽樣出一第一圖像和一第二圖像； 響應於一第一控制指令而對該第一圖像進行註記以產生一第一註記圖像，其中該第一控制指令相關於一使用者對該第一圖像與該第二圖像的選擇； 根據該第一註記圖像以及該第二圖像產生一標籤資料；以及 根據該標籤資料訓練該神經網路。
  8. 如申請專利範圍第7項所述的訓練方法，其中 該第一資料集對應於一第一物件及相異於該第一物件的一第二物件、該第一圖像對應於該第一物件和該第二物件的其中之一，並且該第二圖像對應於該第一物件和該第二物件的其中之一。
  9. 如申請專利範圍第8項所述的訓練方法，更包含： 自該第一資料集抽樣出一第三圖像，其中該第三圖像對應於該第一物件和該第二物件的其中之一； 自一第二資料集抽樣出一第四圖像，其中該第四圖像對應於一第三物件； 響應於一第二控制指令而對該第三圖像及該第四圖像的其中之一進行註記以產生一第二註記圖像，且未被註記的另一圖像則作為一未註記圖像； 根據該第二註記圖像及該未註記圖像產生一第二標籤資料； 根據該第二標籤資料訓練該神經網路。
  10. 如申請專利範圍第9項所述的訓練方法，其中 該第二資料集對應於相異於該第一物件及該第二物件的一第三物件、該第三圖像對應於該第一物件和該第二物件的其中之一，並且該第四圖像對應於該三物件。
  11. 一種基於神經網路的分類裝置，包括： 一儲存單元，儲存一神經網路模組； 一圖像擷取單元，用於產生一受測圖像；以及 一處理器，耦接該儲存單元，並且存取及執行該神經網路模組，其中 該神經網路模組接收一參考圖像以及該受測圖像，並且根據該神經網路以及該參考圖像來對該受測圖像進行分類，藉以產生該受測圖像的一分類結果。
  12. 如申請專利範圍第11項所述的基於神經網路的分類裝置，其中該神經網路的訓練步驟包括： 自一第一資料集抽樣出一第一圖像和一第二圖像； 響應於一第一控制指令而對該第一圖像進行註記以產生一第一註記圖像，其中該第一控制指令相關於一使用者對該第一圖像與該第二圖像的選擇； 根據該第一註記圖像以及該第二圖像產生一標籤資料；以及 根據該標籤資料訓練該神經網路。
  13. 如申請專利範圍第12項所述的基於神經網路的分類裝置，其中該第一資料集對應於一第一物件及相異於該第一物件的一第二物件、該參考圖像對應於該第一物件和該第二物件的其中之一並且該受測圖像對應於該第一物件和該第二物件的其中之一。
  14. 如申請專利範圍第13項所述的基於神經網路的分類裝置，其中該神經網路的訓練步驟包括： 自該第一資料集抽樣出一第三圖像，其中該第三圖像對應於該第一物件和該第二物件的其中之一； 自一第二資料集抽樣出一第四圖像，其中該第四圖像對應於一第三物件； 響應於一第二控制指令而對該第三圖像及該第四圖像的其中之一進行註記以產生一第二註記圖像，且未被註記的另一圖像則作為一未註記圖像； 根據該第二註記圖像及該未註記圖像產生一第二標籤資料； 根據該第二標籤資料訓練該神經網路。
  15. 如申請專利範圍第14項所述的基於神經網路的分類裝置，其中 該第二資料集對應於相異於該第一物件及該第二物件的一第三物件、該第三圖像對應於該第一物件和該第二物件的其中之一，並且該第四圖像對應於該三物件。
  16. 如申請專利範圍第11項所述的基於神經網路的分類裝置，其中該受測圖像的該分類結果相關於該參考圖像及該受測圖像的一瑕疵程度差異。
  17. 如申請專利範圍第11項所述的基於神經網路的分類裝置，其中該參考圖像調整該神經網路的一漏檢率和一誤判率的至少其中之一。
  18. 一種基於一神經網路的分類方法，包括： 接收一參考圖像以及一受測圖像；以及 根據該神經網路以及該參考圖像來對該受測圖像進行分類，藉以產生該受測圖像的一分類結果。
  19. 如申請專利範圍第18項所述的基於神經網路的分類方法，其中該神經網路的訓練步驟包括： 自一第一資料集抽樣出一第一圖像和一第二圖像； 響應於一第一控制指令而對該第一圖像進行註記以產生一第一註記圖像，其中該第一控制指令相關於一使用者對該第一圖像與該第二圖像的選擇； 根據該第一註記圖像以及該第二圖像產生一標籤資料；以及 根據該標籤資料訓練該神經網路。
  20. 如申請專利範圍第18項所述的基於神經網路的分類方法，其中該第一資料集對應於一第一物件及相異於該第一物件的一第二物件、該參考圖像對應於該第一物件和該第二物件的其中之一並且該受測圖像對應於該第一物件和該第二物件的其中之一。
  21. 如申請專利範圍第20項所述的基於神經網路的分類方法，其中該神經網路的訓練步驟包括： 自該第一資料集抽樣出一第三圖像，其中該第三圖像對應於該第一物件和該第二物件的其中之一； 自一第二資料集抽樣出一第四圖像，其中該第四圖像對應於一第三物件； 響應於一第二控制指令而對該第三圖像及該第四圖像的其中之一進行註記以產生一第二註記圖像，且未被註記的另一圖像則作為一未註記圖像； 根據該第二註記圖像及該未註記圖像產生一第二標籤資料； 根據該第二標籤資料訓練該神經網路。
  22. 如申請專利範圍第21項所述的基於神經網路的分類方法，其中 該第二資料集對應於相異於該第一物件及該第二物件的一第三物件，該第三圖像對應於該第一物件和該第二物件的其中之一，並且該第四圖像對應於該三物件。
  23. 如申請專利範圍第18項所述的基於神經網路的分類方法，其中該受測圖像的該分類結果相關於該參考圖像及該受測圖像的一瑕疵程度差異。
  24. 如申請專利範圍第23項所述的基於神經網路的分類方法，其中該參考圖像調整該神經網路的一漏檢率和一誤判率的至少其中之一。
TW108109436A 2019-01-30 2019-03-20 神經網路的訓練方法、基於神經網路的分類方法及其裝置 TWI688904B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910091607.8 2019-01-30
CN201910091607.8A CN111507362B (zh) 2019-01-30 2019-01-30 神经网络的训练方法、基于神经网络的分类方法及其装置

Publications (2)

Publication Number Publication Date
TWI688904B true TWI688904B (zh) 2020-03-21
TW202029070A TW202029070A (zh) 2020-08-01

Family

ID=70766935

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108109436A TWI688904B (zh) 2019-01-30 2019-03-20 神經網路的訓練方法、基於神經網路的分類方法及其裝置

Country Status (3)

Country Link
US (1) US11669734B2 (zh)
CN (1) CN111507362B (zh)
TW (1) TWI688904B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814913A (zh) * 2020-08-20 2020-10-23 深圳市欢太科技有限公司 图像分类模型的训练方法、装置、电子设备及存储介质
US11893792B2 (en) * 2021-03-25 2024-02-06 Adobe Inc. Integrating video content into online product listings to demonstrate product features
CN113537389B (zh) * 2021-08-05 2023-11-07 京东科技信息技术有限公司 基于模型嵌入的鲁棒图像分类方法和装置
US11640705B1 (en) * 2021-12-17 2023-05-02 Lodestar Software Inc. Active learning with human feedback loop to optimize future sampling priority

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101253493A (zh) * 2005-08-31 2008-08-27 微软公司 在图形处理单元上训练卷积神经网络
CN105849747A (zh) * 2013-11-30 2016-08-10 北京市商汤科技开发有限公司 用于人脸图像识别的方法和系统
TW201706918A (zh) * 2015-04-28 2017-02-16 高通公司 作爲供神經網路的訓練準則的濾波器特異性
CN106471526A (zh) * 2014-08-29 2017-03-01 谷歌公司 使用深度神经网络来处理图像
TW201824098A (zh) * 2016-12-22 2018-07-01 三星電子股份有限公司 訓練深層學習分類網路之系統和方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306819B2 (en) * 2009-03-09 2012-11-06 Microsoft Corporation Enhanced automatic speech recognition using mapping between unsupervised and supervised speech model parameters trained on same acoustic training data
WO2014068567A1 (en) * 2012-11-02 2014-05-08 Itzhak Wilf Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
WO2015180101A1 (en) * 2014-05-29 2015-12-03 Beijing Kuangshi Technology Co., Ltd. Compact face representation
US10650508B2 (en) 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
CN104537387A (zh) * 2014-12-16 2015-04-22 广州中国科学院先进技术研究所 利用神经网络实现车型分类的方法和系统
CN105845127B (zh) * 2015-01-13 2019-10-01 阿里巴巴集团控股有限公司 语音识别方法及其系统
CN104794489B (zh) * 2015-04-23 2019-03-08 苏州大学 一种基于深度标签预测的诱导式图像分类方法及系统
CN108475415B (zh) * 2015-12-21 2022-05-27 商汤集团有限公司 用于图像处理的方法和系统
TWI581213B (zh) 2015-12-28 2017-05-01 力晶科技股份有限公司 物品缺陷檢測方法、影像處理系統與電腦可讀取記錄媒體
US9734207B2 (en) * 2015-12-28 2017-08-15 Entelo, Inc. Entity resolution techniques and systems
CN107622274B (zh) * 2016-07-15 2020-06-02 北京市商汤科技开发有限公司 用于图像处理的神经网络训练方法、装置以及计算机设备
CN108229526B (zh) * 2017-06-16 2020-09-29 北京市商汤科技开发有限公司 网络训练、图像处理方法、装置、存储介质和电子设备
JP7132701B2 (ja) * 2017-08-10 2022-09-07 株式会社ブリヂストン タイヤ画像の認識方法及びタイヤ画像の認識装置
US10282589B2 (en) * 2017-08-29 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
CN108416370B (zh) * 2018-02-07 2022-03-22 深圳大学 基于半监督深度学习的图像分类方法、装置和存储介质
CN108229591B (zh) * 2018-03-15 2020-09-22 北京市商汤科技开发有限公司 神经网络自适应训练方法和装置、设备、程序和存储介质
CN108875934A (zh) * 2018-05-28 2018-11-23 北京旷视科技有限公司 一种神经网络的训练方法、装置、系统及存储介质
US10467503B1 (en) * 2018-09-05 2019-11-05 StradVision, Inc. Method and device for generating image data set to be used for learning CNN capable of detecting obstruction in autonomous driving circumstance
US10970599B2 (en) * 2018-11-15 2021-04-06 Adobe Inc. Learning copy space using regression and segmentation neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101253493A (zh) * 2005-08-31 2008-08-27 微软公司 在图形处理单元上训练卷积神经网络
CN105849747A (zh) * 2013-11-30 2016-08-10 北京市商汤科技开发有限公司 用于人脸图像识别的方法和系统
CN106471526A (zh) * 2014-08-29 2017-03-01 谷歌公司 使用深度神经网络来处理图像
TW201706918A (zh) * 2015-04-28 2017-02-16 高通公司 作爲供神經網路的訓練準則的濾波器特異性
TW201824098A (zh) * 2016-12-22 2018-07-01 三星電子股份有限公司 訓練深層學習分類網路之系統和方法

Also Published As

Publication number Publication date
CN111507362B (zh) 2023-12-19
CN111507362A (zh) 2020-08-07
US20200242415A1 (en) 2020-07-30
TW202029070A (zh) 2020-08-01
US11669734B2 (en) 2023-06-06

Similar Documents

Publication Publication Date Title
TWI688904B (zh) 神經網路的訓練方法、基於神經網路的分類方法及其裝置
US11604822B2 (en) Multi-modal differential search with real-time focus adaptation
US10769766B1 (en) Regularized multi-label classification from partially labeled training data
US10803398B2 (en) Apparatus and method for information processing
US20190340759A1 (en) User terminal apparatus and control method thereof
TW202038145A (zh) 用於雜訊標籤的對抗訓練系統及方法
US20230169554A1 (en) System and method for automated electronic catalogue management and electronic image quality assessment
US9652675B2 (en) Identifying presentation styles of educational videos
US20190179848A1 (en) Method and system for identifying pictures
Li et al. Small target deep convolution recognition algorithm based on improved YOLOv4
CN111144493A (zh) 一种自动识别算法指标测试的方法、存储介质及电子终端
TW202143083A (zh) 缺陷偵測系統
KR102440198B1 (ko) 시각 검색 방법, 장치, 컴퓨터 기기 및 저장 매체 (video search method and apparatus, computer device, and storage medium)
TWI692776B (zh) 基於神經網路的分類裝置及分類方法
US11157743B1 (en) Method for comparing videos of surgical techniques
JPWO2021079436A5 (zh)
US20230196831A1 (en) Image Group Classifier in a User Device
JP2021189554A (ja) 携帯端末、情報処理方法及び情報処理プログラム
CN112052724A (zh) 基于深度卷积神经网络的手指指尖定位方法及装置
TW202018600A (zh) 基於神經網路的分類裝置及分類方法
Zhang et al. Review of the application of deep learning in image memorability prediction
JP7412391B2 (ja) 情報処理システム、情報処理方法および情報処理プログラム
US20220215651A1 (en) Fiber Placement Tow End Detection Using Machine Learning
TWI727595B (zh) 基於神經網路的分類裝置及分類方法
US11086707B2 (en) Image-based detection of errors in application state