TWI815545B - 模型訓練方法與模型訓練系統 - Google Patents

模型訓練方法與模型訓練系統 Download PDF

Info

Publication number
TWI815545B
TWI815545B TW111125804A TW111125804A TWI815545B TW I815545 B TWI815545 B TW I815545B TW 111125804 A TW111125804 A TW 111125804A TW 111125804 A TW111125804 A TW 111125804A TW I815545 B TWI815545 B TW I815545B
Authority
TW
Taiwan
Prior art keywords
subtask
training
model
image recognition
image
Prior art date
Application number
TW111125804A
Other languages
English (en)
Other versions
TW202403609A (zh
Inventor
朱仕任
Original Assignee
和碩聯合科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 和碩聯合科技股份有限公司 filed Critical 和碩聯合科技股份有限公司
Priority to TW111125804A priority Critical patent/TWI815545B/zh
Priority to US18/313,303 priority patent/US20240013523A1/en
Application granted granted Critical
Publication of TWI815545B publication Critical patent/TWI815545B/zh
Publication of TW202403609A publication Critical patent/TW202403609A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)
  • Image Processing (AREA)

Abstract

一種模型訓練方法與模型訓練系統。所述方法包括：在第一迭代訓練中，將第一子任務所對應的第一訓練資料及第二子任務所對應的第二訓練資料輸入至目標模型；分別根據目標模型對應於第一子任務的第一輸出及對應於第二子任務的第二輸出，評估目標模型針對第一子任務的第一影像辨識率及針對第二子任務的第二影像辨識率；以及根據第一影像辨識率及第二影像辨識率，調整第一訓練資料及第二訓練資料在第二迭代訓練中分別對應的第一被取樣率及第二被取樣率，其中第一被取樣率負相關於第一影像辨識率，且第二被取樣率負相關於第二影像辨識率。

Description

模型訓練方法與模型訓練系統
本揭示是有關於一種模型訓練方法與模型訓練系統。
採用人工智慧技術來進行影像辨識已經在人們的日常生活中逐漸普及，例如進行異常偵測等等。一般來說，人工智慧模型或深度學習模型在使用之前需要經過訓練，例如，透過輸入大量訓練影像至人工智慧模型或深度學習模型，以供其自主學習與待辨識物件有關的影像特徵，從而以提高對不同類型的待辨識物件的辨識準確率。但是，實務上發現，人工智慧模型或深度學習模型對於辨識準確度較低的訓練影像並不會加強學習，導致模型對較為困難的任務的學習能力低落。
有鑑於此，本揭示提供一種模型訓練方法與模型訓練系統，可改善上述問題。
本揭示的實施例提供一種模型訓練方法，其用於模型訓練系統中的任務篩選器，所述模型訓練方法包括：在第一迭代訓練中，將第一子任務所對應的第一訓練資料及第二子任務所對應的第二訓練資料輸入至目標模型；分別根據所述目標模型對應於第一子任務的第一輸出及對應於第二子任務的第二輸出，評估所述目標模型針對第一子任務的第一影像辨識率及針對第二子任務的第二影像辨識率；以及根據所述第一影像辨識率及所述第二影像辨識率，調整所述第一訓練資料及所述第二訓練資料在第二迭代訓練中分別對應的第一被取樣率及第二被取樣率，所述第一被取樣率負相關於所述第一影像辨識率，且所述第二被取樣率負相關於所述第二影像辨識率。
本揭示的實施例另提供一種模型訓練系統，其包括儲存電路與處理器。所述儲存電路用以儲存目標模型與任務篩選器。所述處理器耦接至所述儲存電路。所述處理器用以運行所述任務篩選器以：在第一迭代訓練中，將第一子任務所對應的第一訓練資料及第二子任務所對應的第二訓練資料輸入至目標模型；分別根據所述目標模型對應於第一子任務的第一輸出及對應於第二子任務的第二輸出，評估所述目標模型針對第一子任務的第一影像辨識率及針對第二子任務的第二影像辨識率；以及根據所述第一影像辨識率及所述第二影像辨識率，調整所述第一訓練資料及所述第二訓練資料在第二迭代訓練中分別對應的第一被取樣率及第二被取樣率，所述第一被取樣率負相關於所述第一影像辨識率，且所述第二被取樣率負相關於所述第二影像辨識率。
基於上述，在第一迭代訓練中，第一子任務和第二子任務所對應的訓練資料可被分別輸入至目標模型。根據所述目標模型的第一輸出和第二輸出，可以評估目標模型針對兩個子任務分別的影像辨識率，並據此調整兩個子任務在下一次迭代訓練中分別的訓練資料的被取樣率。特別是，藉由被取樣率負相關於影像辨識率，可強迫目標模型針對較為困難的任務進行反覆學習，從而有效提高對目標模型的訓練效率。
圖1是根據本揭示的實施例所繪示的模型訓練系統的示意圖。請參照圖1，模型訓練系統10可安裝或實施於智慧型手機、平板電腦、筆記型電腦、桌上型電腦或伺服器等各式電腦系統中，且所述電腦系統的類型不限於此。
模型訓練系統10包括處理器11與儲存電路12。處理器11耦接至儲存電路12並用以負責模型訓練系統10的整體或部分運作。例如，處理器11可包括中央處理單元(Central Processing Unit, CPU)或是其他可程式化之一般用途或特殊用途的微處理器、數位訊號處理器(Digital Signal Processor, DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits, ASIC)、可程式化邏輯裝置(Programmable Logic Device, PLD)或其他類似裝置或這些裝置的組合。
儲存電路12用以儲存資料。例如，儲存電路12可包括揮發性儲存電路與非揮發性儲存電路。揮發性儲存電路用以揮發性地儲存資料。例如，揮發性儲存電路可包括隨機存取記憶體(Random Access Memory, RAM)或類似的揮發性儲存媒體。非揮發性儲存電路用以非揮發性地儲存資料。例如，非揮發性儲存電路可包括唯讀記憶體(Read Only Memory, ROM)、固態硬碟(solid state disk, SSD)、傳統硬碟(Hard disk drive, HDD)或類似的非揮發性儲存媒體。
模型訓練系統10還可包括用以輸入或輸出訊號的輸入/輸出介面。例如，所述輸入/輸出介面可包括滑鼠、鍵盤、螢幕、網路介面卡、揚聲器或麥克風等各式輸入/輸出裝置，且輸入/輸出介面的類型不限於此。
儲存電路12中可儲存模型(亦稱為目標模型)13、訓練任務集14及任務篩選器15。模型13可包括機器學習(Machine Learning, ML)模型或深度學習(Deep Learning, DL)模型。模型13可用以執行影像辨識。例如，所述影像辨識可用以辨識(或偵測)影像中的特定物件。或者，在一實施例中，所述影像辨識可包括影像重建。關於影像重建的相關操作細節容後詳述。
模型13可具有神經網路(Neural Network, NN)，亦稱為人工神經網路或類神經網路架構。例如，模型13可採用卷積神經網路(Convolutional neural network, CNN)或其他類型的神經網路架構來實施。須注意的是，如何設計或實現人工智慧模型以執行影像辨識屬於相關技術領域的現有技術，故在此不多加贅述。
模型13可被訓練以提高影像辨識的準確率(亦稱為影像辨識率)。例如，在訓練階段，訓練資料可被用以訓練模型13。例如，根據訓練資料，模型13可自動地學習並找出訓練資料中重要的特徵資訊。模型13可根據此特徵資訊來對訓練資料進行影像辨識。根據模型13對訓練資料的影像辨識結果，模型13內部的迭代單元所使用的部分系統參數或決策參數可被對應調整，以嘗試提高模型13所執行的影像辨識的準確率(即影像辨識率)。
訓練任務集14中可儲存多個子任務。每一個子任務可包括多筆訓練資料。訓練資料例如為所述子任務對應的多個影像，亦稱為訓練影像。處理器11可對模型13執行多次的迭代訓練。在每一個迭代訓練中，處理器11可運行任務篩選器15，以從訓練任務集14中選擇至少部分的子任務來訓練模型13。任務篩選器15可透過程式碼或韌體碼來實施。須注意的是，在以下的實施例中，任務篩選器15所執行的操作可等同於處理器11所執行的操作。此外，以下將搭配圖2的流程圖來對圖1的模型訓練系統10進行說明。
圖2是根據本揭示的實施例所繪示的模型訓練方法的流程圖。請參照圖1與圖2，在步驟S201中，在至少一迭代訓練(亦稱為第一迭代訓練)中，任務篩選器15可將訓練任務集14中的至少部分子任務所對應的訓練資料輸入至模型13中，以對模型13進行訓練。例如，所述至少部分子任務可包括第一子任務與第二子任務，且所述至少部分子任務所對應的訓練資料可包括對應第一子任務的訓練資料(亦稱為第一訓練資料)及對應第二子任務的訓練資料(亦稱為第二訓練資料)。第一訓練資料中的訓練影像亦稱為第一訓練影像。第二訓練資料中的訓練影像亦稱為第二訓練影像。亦即，在第一迭代訓練中，任務篩選器15可至少根據第一訓練資料及第二訓練資料來訓練模型13。為了說明方便，以下將以第一子任務與第二子任務作為對模型13進行訓練的子任務之範例進行說明。然而，本揭示不限制在第一迭代訓練中用以訓練模型31的子任務的總數。
在第一迭代訓練中，模型13可分析第一訓練資料與第二訓練資料並產生相對應的輸出。例如，模型13可分析第一訓練資料中的第一訓練影像並根據分析結果產生對應於第一子任務的輸出(亦稱為第一輸出)。第一輸出可反映模型13對第一訓練影像的影像辨識結果。此外，模型13可分析第二訓練資料中的第二訓練影像並根據分析結果產生對應於第二子任務的輸出(亦稱為第二輸出)。第二輸出可反映模型13對第二訓練影像的影像辨識結果。
在一實施例中，第一訓練資料可包括第一訓練影像及對應於第一子任務的識別資訊。例如，第一訓練資料可被註記為(x1, c1)，其中x1對應於第一訓練影像，且c1為對應於第一子任務的識別資訊。在將第一訓練資料輸入至模型13後，模型13可根據第一子任務的識別種類，對第一訓練影像進行影像辨識並產生第一輸出。類似的，第二訓練資料可包括第二訓練影像及對應於第二子任務的識別資訊。例如，第二訓練資料可被註記為(x2, c2)，其中x2對應於第一訓練影像，且c2為對應於第二子任務的識別資訊。在將第二訓練資料輸入至模型13後，模型13可根據第二子任務的識別種類，對第二訓練影像進行影像辨識並產生第二輸出。依此類推，對應於第i個子任務的第i個訓練資料可包括第i個訓練影像及對應於第i個子任務的識別資訊。例如，第i個訓練資料可被註記為(xi, ci)。第i個子任務包括所述第一子任務與所述第二子任務。
在步驟S202中，任務篩選器15可分別根據模型13對應於第一子任務的第一輸出及對應於第二子任務的第二輸出，評估模型13針對第一子任務的第一影像辨識率及針對第二子任務的第二影像辨識率。例如，第一影像辨識率可反映模型13針對第一子任務執行影像辨識的準確率，且第二影像辨識率可反映模型13針對第二子任務執行影像辨識的準確率。依此類推，任務篩選器15可根據模型13對應於第i個子任務的輸出，評估模型13針對第i個子任務的影像辨識率(亦稱為第i個影像辨識率)。
在一實施例中，任務篩選器15可將模型13的第一輸出與對應於第一子任務的驗證資料進行比對，並根據比對結果獲得第一影像辨識率。例如，任務篩選器15可根據第一輸出與對應於第一子任務的驗證資料之間的差異(亦稱為第一誤差)，獲得模型13針對第一子任務的第一影像辨識率。第一影像辨識率可負相關於(negatively correlated to)第一誤差。亦即，若第一誤差越大，則表示第一影像辨識率越低。類似地，任務篩選器15可將模型13的第二輸出與對應於第二子任務的驗證資料進行比對，並根據比對結果(例如第二誤差)獲得第二影像辨識率。依此類推，任務篩選器15可將模型13的第i個輸出與對應於第i個子任務的驗證資料進行比對，並根據比對結果獲得模型13針對第i個子任務的第i個影像辨識率。
在步驟S203中，任務篩選器15可根據第一影像辨識率及第二影像辨識率，調整第一訓練資料及第二訓練資料在另一迭代訓練(亦稱為第二迭代訓練)中分別對應的被取樣率(sampling rate)。其中，第一訓練資料在第二迭代訓練中對應的被取樣率亦稱為第一被取樣率，且第二訓練資料在第二迭代訓練中對應的被取樣率亦稱為二被取樣率。特別是，第一被取樣率可負相關於第一影像辨識率，且第二被取樣率可負相關於第二影像辨識率。依此類推，任務篩選器15可根據第i個影像辨識率來調整第i個訓練資料在第二迭代訓練中對應的被取樣率(亦稱為第i個被取樣率)。
具體而言，第一被取樣率可影響第一訓練資料在之後(例如下一次)的迭代訓練(例如第二迭代訓練)中被輸入至模型13的機率，且第二被取樣率可影響第二訓練資料在之後的迭代訓練中被輸入至模型13的機率。依此類推，第i個被取樣率可影響第i訓練資料在之後的迭代訓練中被輸入至模型13的機率。舉例來說，第一訓練資料被輸入至模型13的機率可以包含第一訓練影像被輸入至模型13的數量。
在一實施例中，假設在第一次執行的針對模型13的迭代訓練中，訓練任務集14中所有子任務的被取樣率都相同，例如皆為預設值「0.5」或其他數值。此時，任務篩選器15可隨機從這些具有相同的被取樣率的子任務中選擇至少部分子任務來訓練模型13。例如，任務篩選器15可將所選擇的各個子任務所對應的訓練資料依序輸入至模型13，以訓練模型13。
在一實施例中，假設任務篩選器15所挑選的用於在前次(或前幾次)針對模型13進行迭代訓練(即第一迭代訓練)的至少部分子任務包括訓練任務集14中的第i個子任務。根據第一迭代訓練的訓練結果，任務篩選器15可調整所述第i個子任務的被取樣率。例如，若在第一迭代訓練中，模型13針對所述第i個子任務的影像辨識率較低，則任務篩選器15可提高所述第i個子任務所對應的被取樣率。或者，若在第一迭代訓練中，模型13針對所述第i個子任務的影像辨識率較高，則任務篩選器15可降低所述第i個子任務所對應的被取樣率。
在一實施例中，透過提高影像辨識率較低的子任務的被取樣率，任務篩選器15可提高較難處理的子任務被選擇在後續的迭代訓練(即第二迭代訓練)中對模型13進行訓練的機率，從而強迫模型13在後續的迭代訓練中反覆學習此些較難處理的子任務所對應的訓練影像的影像特徵。另一方面，透過降低影像辨識率較高的子任務的被取樣率，任務篩選器15可降低較容易處理的子任務被選擇在後續的迭代訓練(即第二迭代訓練)中對模型13進行訓練的機率，從而強迫模型13在後續的迭代訓練中略過較容易處理的子任務。須注意的是，無論是強迫模型13在後續的迭代訓練中增加使用較難處理的子任務來進行訓練的機率及/或減少使用較容易處理的子任務來進行訓練的機率，都可有效提高針對模型13的訓練效率。
在一實施例中，任務篩選器15可判斷在前次(或前幾次)針對模型13的迭代訓練(即第一迭代訓練)中，模型13針對第i個子任務的影像辨識率是否低於一臨界值。例如，第i個子任務的影像重建效率可藉由一個評估值來表示。此評估值可反映模型13針對第i個子任務的影像辨識率。例如，此評估值可為0~1之間的數值。在一實施例中，此評估值可正相關於(positively correlated to)模型13針對第i個子任務的影像辨識率。亦即，當模型13針對第i個子任務的影像辨識率越高，則此評估值越大。任務篩選器15可將所述評估值與所述臨界值進行比較，以評估模型13針對第i個子任務的影像辨識率是否低於所述臨界值。
在一實施例中，響應於模型13針對第i個子任務的影像辨識率低於所述臨界值，任務篩選器15可提高第i個子任務的被取樣率。藉此，可提高任務篩選器15在後續的迭代訓練(即第二迭代訓練)中，選擇第i個子任務來訓練模型13的機率。另一方面，響應於模型13針對第i個子任務的影像辨識率不低於所述臨界值，則任務篩選器15可維持(即不改變)或降低第i個子任務的被取樣率。
在一實施例中，任務篩選器15可判斷在前次(或前幾次)針對模型13的迭代訓練(即第一迭代訓練)中，模型13針對第i個子任務的影像辨識率是否相對低於模型13針對其餘子任務的影像辨識率。響應於模型13針對第i個子任務的影像辨識率相對低於模型13針對其餘子任務的影像辨識率，任務篩選器15可提高第i個子任務的被取樣率。另一方面，響應於模型13針對第i個子任務的影像辨識率不相對低於模型13針對其餘子任務的影像辨識率，則任務篩選器15可維持(即不改變)或降低第i個子任務的被取樣率。
以第一影像辨識率與第二影像辨識率為例，在一實施例中，響應於第一影像辨識率小於第二影像辨識率，任務篩選器15可提高對應於第一子任務的第一被取樣率。或者，在另一實施例中，響應於第一影像辨識率大於第二影像辨識率，任務篩選器15可提高對應於第二子任務的第二被取樣率。
在一實施例中，假設在第一迭代訓練中，多個子任務被用來訓練模型13。任務篩選器15可根據以下方程式(1.1)來調整第i個子任務的被取樣率：
(1.1)
在方程式(1.1)中，PS(i)對應所述第i個子任務的被取樣率，P(i)對應模型13針對所述第i個子任務的影像辨識率，且K為所述多個子任務的總數。例如，P(i)可根據所述評估值而決定，以反映模型13針對所述第i個子任務的影像辨識率。例如，P(i)可相同或正相關於所述評估值。透過提高影像辨識率較低的子任務的被取樣率及/或降低影像辨識率較高的子任務的被取樣率，可達到強迫模型13在後續的迭代訓練中增加使用較難處理的子任務來進行訓練的機率及/或減少使用較容易處理的子任務來進行訓練的機率，進而有效提高針對模型13的訓練效率。
在一實施例中，所述影像辨識用以偵測訓練影像中的特定物件，例如訓練影像中呈現的人臉、貓或狗等等。模型13針對第i個訓練影像的影像辨識結果可反映模型13是否成功辨識出第i個訓練影像中呈現的特定物件、及/或模型13針對第i個訓練影像中的特定物件的辨識準確率。
在一實施例中，所述影像辨識還包括影像重建(image reconstruction)。在一實施例中，模型13針對第i個訓練影像的影像辨識結果可包括模型13針對第i個訓練影像的影像重建結果、及/或模型13針對第i個訓練影像中的特定物件的進行影像重建的準確率(亦稱為影像重建率)。以下將以採用影像重建技術的模型13作為範例進行說明，但在其他實施例中，模型13仍可採用其他類型的影像辨識技術，本揭示不加以限制。
圖3是根據本揭示的實施例所繪示的目標模型執行影像重建的示意圖。請參照圖3，模型13可對輸入影像301執行影像重建並產生輸出影像303。例如，模型13可包括自動編碼器(AutoEncoder)或類似可用以執行影像重建等影像分析技術的神經網路架構。
模型13可包括編碼器31與解碼器32。編碼器31耦接至模型13的輸入端並用以接收輸入影像301。編碼器31可對輸入影像301進行編碼或壓縮以產生壓縮資料302。壓縮資料302可帶有與輸入影像301有關的特徵資訊(例如特徵向量)。解碼器32耦接至模型13的輸出端。解碼器32可用以接收壓縮資料302並對壓縮資料302進行解碼或解壓縮以產生輸出影像303。或者，從另一角度而言，編碼器31可用以將輸入影像301中的各個像素映射至多個特徵向量之集合(或稱為壓縮表現(compressed representation)，而解碼器32則可用以將此些特徵向量之集合還原回包含多個像素的輸出影像303。
在一實施例中，編碼器31與解碼器32皆可採用卷積神經網路架構來實施。然而，在另一範例實施例中，編碼器31與解碼器32亦可採用其他類型的網路架構來實施，本揭示不加以限制。須注意的是，自動編碼器的設計與運作方式屬習知技術，故在此不多加贅述。
在一實施例中，任務篩選器15可根據模型13的輸出，評估模型13針對第i個子任務的影像重建率。以圖3為例，任務篩選器15可根據輸出影像303，來評估模型13針對輸入影像301的影像重建效率。
在一實施例中，任務篩選器15可根據模型13的輸出，獲得模型13針對第i個子任務的重建誤差。然後，任務篩選器15可根據此重建誤差，決定一個影像重建效率。特別是，此影像重建效率可反映模型13針對所述第i個子任務的影像辨識率。例如，所述影像重建效率可正相關於模型13針對所述第i個子任務的影像辨識率。亦即，若所述影像重建效率越高，表示模型13針對所述第i個子任務的影像辨識率也越高。此外，模型13針對第i個子任務的重建誤差可負相關於所述影像重建效率。亦即，若模型13針對第i個子任務的重建誤差越大，表示所述影像重建效率模型13針對第i個訓練影像的影像重建效率對低。
在一實施例中，任務篩選器15可將模型13的輸出與對應於第i個子任務的驗證資料進行比對。然後，任務篩選器15可根據比對結果獲得模型13針對第i個子任務的重建誤差。接著，任務篩選器15可根據此重建誤差決定模型13針對第i個子任務的影像重建效率。
圖4與圖5是根據本揭示的實施例所繪示的目標模型執行影像重建的示意圖。請參照圖4，在一實施例中，假設第i個子任務(例如第一子任務或第二子任務的其中之一)包括訓練影像41(即輸入影像)，且訓練影像41中呈現一隻狗。在將訓練影像41輸入至模型13後，模型13可根據訓練影像41產生輸出影像42。須注意的是，在此範例中，輸出影像42中也呈現出一隻狗，其幾乎完全相同於訓練影像41中的狗。因此，根據模型13的輸出(即輸出影像42)，任務篩選器15可獲得一個評估值。例如，此評估值可為0.9，以反映模型13針對第i個子任務的重建誤差很低、模型13針對第i個子任務的影像重建效率很高、及/或模型13針對第i個子任務的影像辨識率很高。爾後，任務篩選器15可根據模型13針對第i個子任務的影像辨識率來適度地降低第i個子任務的被取樣率，以嘗試降低第i個子任務在往後的訓練階段中被選擇用來訓練模型13的機率。
請參照圖5，在一實施例中，假設第j個子任務(例如第一子任務或第二子任務的其中之另一)包括訓練影像51(即輸入影像)，且訓練影像51中呈現一隻貓。在將訓練影像51輸入至模型13後，模型13可根據訓練影像51產生輸出影像52。須注意的是，在此範例中，輸出影像52中呈現出一隻狗，而非訓練影像51中的貓。因此，根據模型13的輸出(即輸出影像52)，任務篩選器15可獲得另一個評估值。例如，此評估值可為0.1，以反映模型13針對第j個子任務的重建誤差很高、模型13針對第j個子任務的影像重建效率很低、及/或模型13針對第j個子任務的影像辨識率很低。爾後，任務篩選器15可根據模型13針對第j個子任務的影像辨識率來適度地提高第j個子任務的被取樣率，以嘗試提高第j個子任務在往後的訓練階段中被選擇用來訓練模型13的機率。
須注意的是，在圖4與圖5的實施例中，透過調整第i個子任務及第j個子任務的被取樣率，可在後續的迭代訓練中，強迫模型13反覆學習較為困難的子任務並略過較為簡單的子任務。藉此，可有效提高對於模型13的訓練效率。
圖6是根據本揭示的實施例所繪示的模型訓練方法的流程圖。
請參照圖6，在步驟S601中，獲得目標模型針對各個子任務的影像辨識率。在步驟S602中，根據所述影像辨識率調整至少一子任務的被取樣率。在步驟S603中，根據各個子任務的被取樣率，從多個子任務中挑選至少部分子任務並基於所挑選的子任務執行模型訓練。在步驟S604中，判斷訓練是否中止(即對於目標模型的迭代訓練是否已完成)。舉例來說，任務篩選器15可判斷模型13針對所有子任務的影像辨識率是否都已足夠高，例如大於0.9。若是，則結束所述模型訓練方法。若否，則回到步驟S601，根據先前執行的迭代訓練的訓練結果獲得目標模型針對各個子任務的影像辨識率。然後，步驟S602至S604可重複執行。
須注意的是，在步驟S602與S603中，任務篩選器15不僅可以依據每個子任務的影像辨識率來調整在下一個迭代訓練中對應訓練資料被輸入至模型13進行訓練的機率，亦可以依據每個子任務的影像辨識率來挑選在下一個迭代訓練中是否要再次針對部分子任務對模型13進行訓練。
然而，圖6中各步驟已詳細說明如上，在此便不再贅述。值得注意的是，圖6中各步驟可以實作為多個程式碼或是電路，本案不加以限制。此外，圖6的方法可以搭配以上範例實施例使用，也可以單獨使用，本案不加以限制。
綜上所述，本揭示實施例提供的模型訓練方法與模型訓練系統，可在執行模型訓練的過程中，根據各個子任務對於目標模型來說的重建難易度或辨識難易度，來調整各個子任務的被取樣率。特別是，透過調整特定子任務的被取樣率，可盡可能地在後續的迭代訓練中，強迫目標模型反覆學習較為困難的子任務並略過較為簡單的子任務。藉此，可有效提高對於目標模型的訓練效率。
雖然本案已以實施例揭露如上，然其並非用以限定本案，任何所屬技術領域中具有通常知識者，在不脫離本案的精神和範圍內，當可作些許的更動與潤飾，故本案的保護範圍當視後附的申請專利範圍所界定者為準。
10:模型訓練系統 11:處理器 12:儲存電路 13:模型(人工智慧模型) 14:訓練任務集 15:任務篩選器 S201~S203, S601~S604:步驟 31:編碼器 32:解碼器 301, 41, 51:輸入影像 302:壓縮資料 303, 42, 52:輸出影像
圖1是根據本揭示的實施例所繪示的模型訓練系統的示意圖。 圖2是根據本揭示的實施例所繪示的模型訓練方法的流程圖。 圖3是根據本揭示的實施例所繪示的目標模型執行影像重建的示意圖。 圖4與圖5是根據本揭示的實施例所繪示的目標模型執行影像重建的示意圖。 圖6是根據本揭示的實施例所繪示的模型訓練方法的流程圖。
S201~S203:步驟

Claims (14)

  1. 一種模型訓練方法，用於一模型訓練系統中的一任務篩選器，該模型訓練方法包括： 在一第一迭代訓練中，將一第一子任務所對應的一第一訓練資料及一第二子任務所對應的一第二訓練資料輸入至一目標模型； 分別根據該目標模型對應於該第一子任務的一第一輸出及對應於該第二子任務的一第二輸出，評估該目標模型針對該第一子任務的一第一影像辨識率及針對該第二子任務的一第二影像辨識率；以及 根據該第一影像辨識率及該第二影像辨識率，調整該第一訓練資料及該第二訓練資料在一第二迭代訓練中分別對應的一第一被取樣率及一第二被取樣率，該第一被取樣率負相關於該第一影像辨識率，且該第二被取樣率負相關於該第二影像辨識率。
  2. 如請求項1所述的模型訓練方法，其中該第一訓練資料包括對應於該第一子任務的訓練影像與對應於該第一子任務的識別資訊，該第二訓練資料包括對應於該第二子任務的訓練影像與對應於該第二子任務的識別資訊。
  3. 如請求項1所述的模型訓練方法，其中根據該目標模型的該第一輸出，評估該目標模型針對該第一子任務的該第一影像辨識率的步驟包括： 根據該目標模型的該第一輸出，計算該目標模型針對該第一子任務的一重建誤差；以及 根據該重建誤差決定一影像重建效率，其中該影像重建效率反映該目標模型針對該第一子任務的該第一影像辨識率。
  4. 如請求項3所述的模型訓練方法，其中根據該目標模型的該第一輸出，計算該目標模型針對該第一子任務的該重建誤差的步驟包括： 將該目標模型的該第一輸出與對應於該第一子任務的一驗證資料進行比對；以及 根據一比對結果獲得該目標模型針對該第一子任務的該重建誤差。
  5. 如請求項1所述的模型訓練方法，其中根據該第一影像辨識率，調整該第一訓練資料在該第二迭代訓練中對應的該第一被取樣率的步驟包括： 響應於該第一影像辨識率低於一臨界值，提高該第一被取樣率。
  6. 如請求項1所述的模型訓練方法，其中根據該第一影像辨識及該第二影像辨識率，調整該第一訓練資料及該第二訓練資料在該第二迭代訓練中分別對應的該第一被取樣率及該第二被取樣率的步驟包括： 響應於該第一影像辨識率小於該第二影像辨識率，提高該第一被取樣率；以及 響應於該第一影像辨識率大於該第二影像辨識率，提高該第二被取樣率。
  7. 如請求項1所述的模型訓練方法，其中調整該第一被取樣率及該第二被取樣率的步驟包括： 根據以下方程式調整第i個子任務的一被取樣率，該第i個子任務為該第一子任務與該第二子任務的其中之一： 其中，PS(i)對應該第i個子任務的該被取樣率，P(i)對應該第i個子任務所對應的一影像辨識率，且K對應多個子任務的一總數。
  8. 一種模型訓練系統，包括： 一儲存電路，用以儲存一目標模型與一任務篩選器；以及 一處理器，耦接至該儲存電路，並用以運行該任務篩選器以： 在一第一迭代訓練中，將一第一子任務所對應的一第一訓練資料及一第二子任務所對應的一第二訓練資料輸入至該目標模型； 分別根據該目標模型對應於該第一子任務的一第一輸出及對應於該第二子任務的一第二輸出，評估該目標模型針對該第一子任務的一第一影像辨識率及針對該第二子任務的一第二影像辨識率；以及 根據該第一影像辨識率及該第二影像辨識率，調整該第一訓練資料及該第二訓練資料在一第二迭代訓練中分別對應的一第一被取樣率及一第二被取樣率，該第一被取樣率負相關於該第一影像辨識率，且該第二被取樣率負相關於該第二影像辨識率。
  9. 如請求項8所述的模型訓練系統，其中該第一訓練資料包括對應於該第一子任務的訓練影像與對應於該第一子任務的識別資訊，該第二訓練資料包括對應於該第二子任務的訓練影像與對應於該第二子任務的識別資訊。
  10. 如請求項8所述的模型訓練系統，其中根據該目標模型的該第一輸出，評估該目標模型針對該第一子任務的該第一影像辨識率的操作包括： 根據該目標模型的該第一輸出，計算該目標模型針對該第一子任務的一重建誤差；以及 根據該重建誤差決定一影像重建效率，其中該影像重建效率反映該目標模型針對該第一子任務的該第一影像辨識率。
  11. 如請求項10所述的模型訓練系統，其中根據該目標模型的該第一輸出，計算該目標模型針對該第一子任務的該重建誤差的操作包括： 將該目標模型的該第一輸出與對應於該第一子任務的一驗證資料進行比對；以及 根據一比對結果獲得該目標模型針對該第一子任務的該重建誤差。
  12. 如請求項8所述的模型訓練系統，其中根據該第一影像辨識率，調整第一訓練資料在該第二迭代訓練中對應的該第一被取樣率的操作包括： 響應於該第一影像辨識率低於一臨界值，提高該第一被取樣率。
  13. 如請求項8所述的模型訓練系統，其中根據該第一影像辨識率及該第二影像辨識率，調整該第一訓練資料及該第二訓練資料在該第二迭代訓練中分別對應的該第一被取樣率及該第二被取樣率的操作包括： 響應於該第一影像辨識率小於該第二影像辨識率，提高該第一被取樣率；以及 響應於該第一影像辨識率大於該第二影像辨識率，提高該第二被取樣率。
  14. 如請求項8所述的模型訓練系統，其中調整該第一被取樣率及該第二被取樣率的操作包括： 根據以下方程式調整第i個子任務的一被取樣率，該第i個子任務為該第一子任務與該第二子任務的其中之一： 其中，PS(i)對應該第i個子任務的該被取樣率，P(i)對應該第i個子任務所對應的一影像辨識率，且K對應多個子任務的一總數。
TW111125804A 2022-07-08 2022-07-08 模型訓練方法與模型訓練系統 TWI815545B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111125804A TWI815545B (zh) 2022-07-08 2022-07-08 模型訓練方法與模型訓練系統
US18/313,303 US20240013523A1 (en) 2022-07-08 2023-05-05 Model training method and model training system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111125804A TWI815545B (zh) 2022-07-08 2022-07-08 模型訓練方法與模型訓練系統

Publications (2)

Publication Number Publication Date
TWI815545B true TWI815545B (zh) 2023-09-11
TW202403609A TW202403609A (zh) 2024-01-16

Family

ID=88966087

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111125804A TWI815545B (zh) 2022-07-08 2022-07-08 模型訓練方法與模型訓練系統

Country Status (2)

Country Link
US (1) US20240013523A1 (zh)
TW (1) TWI815545B (zh)

Also Published As

Publication number Publication date
US20240013523A1 (en) 2024-01-11
TW202403609A (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
Zhang et al. CNN-FL: An effective approach for localizing faults using convolutional neural networks
KR102419136B1 (ko) 다채널 특징맵을 이용하는 영상 처리 장치 및 방법
US20220207707A1 (en) Image defect detection method, electronic device using the same
JP6182242B1 (ja) データのラベリングモデルに係る機械学習方法、コンピュータおよびプログラム
US11410016B2 (en) Selective performance of deterministic computations for neural networks
CN109272497A (zh) 产品表面缺陷检测方法、装置和计算机设备
US12020136B2 (en) Operating method and training method of neural network and neural network thereof
CN111639517A (zh) 人脸图像筛选方法及装置
CN114428860A (zh) 院前急救病例文本的识别方法、装置、终端及存储介质
KR102345267B1 (ko) 목표 지향적 강화학습 방법 및 이를 수행하기 위한 장치
WO2024093578A1 (zh) 语音识别方法、装置、电子设备、存储介质及计算机程序产品
Abou Tabl et al. Deep learning method based on big data for defects detection in manufacturing systems industry 4.0
JP7427011B2 (ja) センサ入力信号からのコグニティブ・クエリへの応答
TWI815545B (zh) 模型訓練方法與模型訓練系統
CN113033912A (zh) 问题解决人推荐方法及装置
WO2023185209A1 (zh) 模型剪枝
CN112465847A (zh) 一种基于预测清晰边界的边缘检测方法、装置及设备
KR102184655B1 (ko) 비대칭 tanh 활성 함수를 이용한 예측 성능의 개선
JP6622369B1 (ja) 訓練データを生成する方法、コンピュータおよびプログラム
WO2020262316A1 (ja) データ分析システム、データ分析方法及びプログラム
WO2022188493A1 (zh) 物体可供性的检测方法和装置
US20230419653A1 (en) Method for detecting defect of images and electronic device
US20240112079A1 (en) Machine-learning techniques for carbon footprint optimization from improved organization of media
US11934950B2 (en) Apparatus and method for embedding sentence feature vector
TWI792134B (zh) 圖像瑕疵檢測方法、裝置、電子設備及存儲介質