TW202401304A - 連續學習的機器學習方法及電子裝置 - Google Patents

連續學習的機器學習方法及電子裝置 Download PDF

Info

Publication number
TW202401304A
TW202401304A TW111122622A TW111122622A TW202401304A TW 202401304 A TW202401304 A TW 202401304A TW 111122622 A TW111122622 A TW 111122622A TW 111122622 A TW111122622 A TW 111122622A TW 202401304 A TW202401304 A TW 202401304A
Authority
TW
Taiwan
Prior art keywords
training
task
sub
neural network
tasks
Prior art date
Application number
TW111122622A
Other languages
English (en)
Other versions
TWI812291B (zh
Inventor
郭峻因
劉城甫
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW111122622A priority Critical patent/TWI812291B/zh
Priority to CN202210802440.3A priority patent/CN117315276A/zh
Priority to US17/951,043 priority patent/US20230410481A1/en
Priority to EP22210435.8A priority patent/EP4293579A1/en
Priority to JP2022201681A priority patent/JP2023184403A/ja
Application granted granted Critical
Publication of TWI812291B publication Critical patent/TWI812291B/zh
Publication of TW202401304A publication Critical patent/TW202401304A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)
  • Feedback Control In General (AREA)

Abstract

一種連續學習的機器學習方法，包括：擷取一輸入影像；通過多個子模型對所述輸入影像進行特徵擷取而得到多個特徵圖，其中所述多個子模型對應於多個任務，且所述多個子模型由一神經網路模型以及多個閘道開關所決定；將所述多個特徵圖轉換為多個能量分數；根據所述多個能量分數從所述多個子模型中選出對應於所述多個任務的一目標任務的目標子模型；以及通過所述目標子模型輸出對應於所述目標任務的預測結果。

Description

連續學習的機器學習方法及電子裝置
本發明是有關於一種機器學習技術，且特別是有關於一種用於任務感知連續學習的機器學習方法及電子裝置。
近年來人工智慧(Artificial Intelligence, AI)的爆炸性成長已顯著地改變了人類的生活。隨著AI技術不斷地演進，許多應用領域(例如：自動無人機、機械手術、醫學診斷及治療)，這些應用領域需要支援連續(continuous or continual)或終身(life-long)學習，而且是永不停止(never-ending)學習。終身學習系統關注於有效的傳輸及使用已經學習到的知識於新工作上而能依序解決多項工作。在習知技術中，用來滿足這類需求的方法為聯合學習(Joint learning)，亦即把所有任務的訓練資料同時取出並進行聯合優化。然而，聯合學習的技術隨著任務數量的增加，新任務的資料會被舊任務的資料稀釋，訓練時間也隨資料量增加而拉長。除此之外，在如人臉識別的應用情境下，先前任務的人臉資料容易因隱私問題而不被輕易允許存取並進行再訓練。
為了讓人工智慧可以如人腦一般累積知識，連續學習(Continual learning)被開發來關注於有效的傳遞和使用已經學習到的知識於新工作上而能依序解決多項工作，同時又需避免因無法存取舊資料所造成的「災難性遺忘(Catastrophic forgetting)」的問題。連續學習方法可以被分成三大類，分別為記憶回放、基於正則化和動態網路隔離。過往基於正則化的連續學習技術中，在不給予舊任務資料的情境下，學習新任務後仍會對舊任務的知識造成難以忽略的災難性遺忘。反之，記憶回放這類方法給予舊任務資料輔助新任務的學習，災難性遺忘的現象相對輕微，但若舊資料有因隱私問題而難以取得或儲存，則不利於模型的後續更新。而動態網路隔離方法則會隨著任務的增加導致模型參數量等比例擴增，十分耗費運算資源，未必能減輕使用者負擔。
先前的連續學習技術為給定當前資料屬於哪一個任務的設定下，在實際應用上，要求這種設定是不現實的，故無任務連續學習(Task-free continual learning)開始被研發來解決這一困難。過往無任務連續學習的技術皆需使用記憶回放的方法，並且其學習過程都仰賴於歸一化指數函數(Softmax function)的置信度方法進行比較評分，但因為神經網路在樣本空間的過擬合，經常會對未學過類別的樣本給予一個很高的可信度，致使後續計算跨任務準確度的性能不佳。
有鑒於此，本發明提供一種連續學習的機器學習方法及電子裝置，可有效避免災難性遺忘，並同時可達到自適應地從多個任務識別目標任務的效果。
本發明實施例提供一種用於任務感知連續學習的機器學習方法，包括：擷取一輸入影像；通過多個子模型對所述輸入影像進行特徵擷取而得到多個特徵圖，其中所述多個子模型對應於多個任務，且所述多個子模型由一神經網路模型以及多個閘道開關所決定；將所述多個特徵圖轉換為多個能量分數；根據所述多個能量分數從所述多個子模型中選出對應於所述多個任務的一目標任務的目標子模型；以及通過所述目標子模型輸出對應於所述目標任務的預測結果。
在本發明的一實施例中，機器學習方法更包括：接收關聯於多個任務的一訓練資料，其中所述訓練資料包括一訓練影像以及對應於所述訓練影像的一類別標籤；根據所述神經網路模型以及所述多個閘道開關對所述訓練影像進行特徵擷取而得到一訓練特徵圖；將所述訓練特徵圖轉換為一特徵能量分數；根據所述類別標籤、所述多個閘道開關以及所述特徵能量分數決定一損失函數；根據所述損失函數決定反向傳播梯度；以及根據所述反向傳播梯度更新所述神經網路模型以及所述多個閘道開關，其中所述多個閘道開關對應於所述多個任務，且所述多個任務的至少一訓練任務所對應的一閘道開關被更新。
另一方面，本發明實施例提供一種用於任務感知連續學習的電子裝置，包括：影像擷取裝置；儲存媒體，儲存多個模組；以及處理器，耦接所述儲存媒體，所述處理器經配置以執行所述多個模組，其中所述多個模組包括：影像擷取模組，擷取一輸入影像；推論模組，通過多個子模型對所述輸入影像進行特徵擷取而得到多個特徵圖，其中所述多個子模型對應於多個任務，且所述多個子模型由一神經網路模型以及多個閘道開關所決定，將所述多個特徵圖轉換為多個能量分數，根據所述多個能量分數從所述多個子模型中選出對應於所述多個任務的一目標任務的目標子模型，且通過所述目標子模型輸出對應於所述目標任務的預測結果。
在本發明的一實施例中，多個模組更包括：訓練模組，接收關聯於多個任務的一訓練資料，其中所述訓練資料包括一訓練影像以及對應於所述訓練影像的一類別標籤，根據所述神經網路模型以及所述多個閘道開關對所述訓練影像進行特徵擷取而得到一訓練特徵圖，將所述訓練特徵圖轉換為一特徵能量分數，根據所述類別標籤、所述多個閘道開關以及所述特徵能量分數決定一損失函數，根據所述損失函數決定反向傳播梯度，且根據所述反向傳播梯度更新所述神經網路模型以及所述多個閘道開關，其中所述多個閘道開關對應於所述多個任務，且所述多個任務的至少一訓練任務所對應的一閘道開關被更新。
基於上述，本發明提出基於能量評分的任務感知連續學習技術架構，透過多個閘道開關將一個神經網路模型對應多個任務的特徵圖分門別類而決定多個子模型，並允許從一個神經網路模型結合已學習任務的閘道開關根據損失函數自動決定是否再利用對其它舊任務重要的神經網路參數，並利用此參數來幫助新任務的優化，使神經網路模型達到更佳的可重複利用率。藉此，讓神經網路模型能保留更多神經元去學習下一個任務，並且保存多個子模型中重要的參數，進而有效地避免災難性遺忘。
本發明的部份實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份，並未揭示所有本發明的可實施方式。更確切的說，這些實施例只是本發明的專利申請範圍中的方法與裝置的範例。凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟代表相同或類似部分。不同實施例中使用相同標號或使用相同用語的元件/構件/步驟可以相互參照相關說明。
圖1是依照本發明的實施例的一種電子裝置的示意圖。電子裝置10包括處理器110、儲存媒體120。
電子裝置10可以是由嵌入式平台上實現的邊緣運算裝置。電子裝置10可以是應用於人臉辨識、門禁管理、身分驗證、數位監控、金融產業、零售產業、無人商店、智慧工廠、無人機、機械手術或醫學診斷等等各種應用場景的影像辨識裝置。電子裝置10也可以是桌上型電腦、筆記型電腦、伺服器、智慧型手機或平板電腦，電子裝置10不限於型號、廠牌、作業系統。
處理器110例如是中央處理單元(central processing unit，CPU)，或是其他可程式化之一般用途或特殊用途的微控制單元(micro control unit，MCU)、微處理器(microprocessor)、數位信號處理器(digital signal processor，DSP)、可程式化控制器、特殊應用積體電路(application specific integrated circuit，ASIC)、圖形處理器(graphics processing unit，GPU)、張量處理器(tensor processing unit，TPU)、影像訊號處理器(image signal processor，ISP)、影像處理單元(image processing unit，IPU)、算數邏輯單元(arithmetic logic unit，ALU)、複雜可程式邏輯裝置(complex programmable logic device，CPLD)、現場可程式化邏輯閘陣列(field programmable gate array，FPGA)或其他類似元件或上述元件的組合。處理器110可耦接至儲存媒體120，並且存取和執行儲存於儲存媒體120中的多個模組或各種應用程式。
儲存媒體120例如是任何型態的固定式或可移動式的隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、硬碟(hard disk drive，HDD)、固態硬碟(solid state drive，SSD)或類似元件或上述元件的組合，而用於儲存可由處理器110執行的多個模組、電腦程式或各種應用程式。在本實施例中，儲存媒體120儲存的多個模組包括影像擷取模組1201、推論模組1203以及訓練模組1205，其功能將於後續說明。
在一實施例中，電子裝置10更可包括影像擷取裝置130。處理器110可耦接至影像擷取裝置130。影像擷取裝置130例如是數位相機、攝影機或是具有透鏡以及感光元件的攝像鏡頭。感光元件用以感測進入透鏡的光線強度，進而產生影像。
圖2是依照本發明的實施例的一種機器學習方法的推論階段的流程圖。圖2所示的機器學習方法適用於圖1的電子裝置10。請共同參照圖1及圖2。
在步驟S210中，影像擷取模組1201擷取一輸入影像。例如，影像擷取模組1201可通過影像擷取裝置130擷取一輸入影像。影像擷取模組1201也可從一資料庫擷取一輸入影像。或者，影像擷取模組1201可透過網路接收一輸入影像。
在步驟S220中，推論模組1203通過多個子模型對此輸入影像進行特徵擷取而得到多個特徵圖。須注意的是，多個子模型可對應於多個任務，且多個子模型由一神經網路模型以及該神經網路模型中的多個閘道開關所決定。在步驟S230中，推論模組1203將多個特徵圖轉換為多個能量分數。在步驟S240中，推論模組1203根據多個能量分數從多個子模型中選出一目標子模型。此目標子模型對應於多個任務中的一目標任務。在步驟S250中，推論模組1203通過目標子模型輸出對應於目標任務的預測結果。
圖3是依照本發明的實施例的一種機器學習方法的訓練階段的流程圖。圖3所示的機器學習方法適用於圖1的電子裝置10。請共同參照圖1及圖3。在步驟S310中，訓練模組1205接收關聯於多個任務的一訓練資料。訓練資料包括一訓練影像以及對應於此訓練影像的一類別標籤。類別標籤可對應多個任務中一訓練任務。在步驟S320中，訓練模組1205根據一神經網路模型以及多個閘道開關對訓練影像進行特徵擷取而得到一訓練特徵圖。在步驟S330中，訓練模組1205將訓練特徵圖轉換為一特徵能量分數。在步驟S340中，訓練模組1205根據類別標籤、多個閘道開關以及特徵能量分數計算得出一損失函數。在步驟S350中，訓練模組1205根據此損失函數決定反向傳播梯度。在步驟S360中，訓練模組1205根據反向傳播梯度更新神經網路模型以及多個閘道開關，其中所述多個閘道開關對應於所述多個任務，且所述多個任務的至少一訓練任務所對應的一閘道開關被更新。
舉例來說，電子裝置10可使用相同的一個神經網路模型分別針對多個任務1, 2, …, t進行連續學習。多個閘道開關可分別對應多個任務1, 2, …, t。在一實施例中，當一訓練任務為任務t時，訓練模組1205接收關聯於任務t的一訓練資料，訓練資料包括關聯於任務t的訓練影像以及對應於此訓練影像的一類別標籤。類別標籤可對應任務t的類別(步驟S310)。訓練模組1205根據所述神經網路模型以及所述多個閘道開關之中對應任務t的閘道開關對訓練影像進行特徵擷取而得到一訓練特徵圖(步驟S320)。訓練模組1205將訓練特徵圖轉換為一特徵能量分數(步驟S330)。訓練模組1205根據類別標籤、所述多個閘道開關之中對應任務t的閘道開關以及特徵能量分數計算得出一損失函數(步驟S340)。訓練模組1205根據此損失函數決定所述多個閘道開關之中對應任務t的閘道開關的反向傳播梯度(步驟S350)。訓練模組1205根據反向傳播梯度更新神經網路模型以及所述多個閘道開關之中對應任務t的閘道開關(步驟S360)。因此，當電子裝置10學習了多個任務1, 2, …, t之後，多個閘道開關可將相同的一個神經網路模型區別出對應多個任務1, 2, …, t的多個子模型。
值得一提的是，圖2所描述的推論階段及圖3所描述的訓練階段並不限制其執行的先後次序。在一實施例中，多個任務中包含一新任務的訓練資料。電子裝置10可先執行圖3所示的訓練階段來學習新任務。當電子裝置10完成對新任務的訓練階段，再根據已對新任務完成訓練的神經網路模型以及多個閘道開關執行圖2所示的推論階段對一輸入影像進行預測。在一實施例中，電子裝置10可根據預先儲存已對多個任務完成預訓練的神經網路模型以及該神經網路模型對應的多個閘道開關執行圖3的推論階段。當多個任務中有新任務時，電子裝置10再根據新任務的訓練資料進行訓練並更新神經網路模型以及多個閘道開關中對應於新任務的閘道開關。因此，本發明的實施例的電子裝置10可用一個神經網路連續地學習多個任務，達到擷取多任務特徵的功能，針對特定任務的訓練資料的進行順序學習(task-based sequential learning)，對多個任務可達到學新且完全不忘舊的效果，克服習知的連續學習方法需先人為指定任務的限制。
在一實施例中，神經網路模型包括至少一卷積層(convolutional layer)以及至少一批次標準化層(batch normalization layer)。在一實施例中，神經網路模型可以是卷積神經網路架構，例如是ResNet、VGG、MobileNet-v2的神經網路架構。電子裝置10例如是邊緣運算裝置。一般而言，邊緣運算裝置記憶空間和運算能力的限制很多，往往不允許使用習知的聯合學習來進行訓練。藉由本發明實施例的機器學習方法，在不改變神經網路架構的情況下，對多個任務的輸入資料自動判別目標任務，而達到逐次對小部分資料進行訓練的連續學習。對於硬體規格不高的邊緣運算裝置，本發明實施例能進行更節能且快速的深度網路學習。
圖4是在本發明的一實施例中的訓練模組進行新任務的學習的示意圖。請參考圖4，在步驟S410，電子裝置10接收一新任務的訓練資料。在步驟S420，訓練模組1205執行圖3的流程來根據新任務的訓練資料對神經網路模型NN以及多個閘道開關GS的參數進行更新而完成訓練。在步驟S430，在當前的任務完成訓練之後，當有下一個任務需要進行訓練，再學習下一個任務。
具體地，對任意新任務的訓練資料，多個閘道開關GS會限制神經網路模型NN的一部分進行運算。藉此，神經網路模型NN搭配多個閘道開關GS可決定多個子模型，多個子模型以重要的神經元對訓練資料進行特徵擷取而得到訓練特徵圖。訓練模組1205再根據訓練特徵圖計算特徵能量分數。接著，訓練模組1205根據訓練資料的類別標籤、多個閘道開關以及特徵能量分數決定一損失函數。此損失函數決定反向傳播梯度。訓練模組1205根據反向傳播梯度更新神經網路模型NN以及多個閘道開關GS。在一實施例中，在進行反向傳播梯度更新參數的過程中，多個閘道開關GS對應於多個任務1, 2, …, t，且多個任務1, 2, …, t的至少一訓練任務所對應的一閘道開關被更新。反向傳播梯度會依在訓練過程自動決定參數重要性，若重要性高則激活對應的閘道開關，同時已激活的閘道開關自適應地更新神經網路模型NN的一部分的參數。換言之，當電子裝置10學習了多個任務1, 2, …, t之後，多個閘道開關GS可將相同的一個神經網路模型NN區別出對應多個任務1, 2, …, t的多個子模型。
在本發明的一實施例中，訓練模組1205根據多個閘道開關GS決定多個激活參數。訓練模組1205根據多個激活參數計算損失後，根據損失調整反向傳播梯度。訓練模組1205根據已調整的反向傳播梯度更新神經網路模型NN以及多個閘道開關GS。在一實施例中，在進行反向傳播梯度更新參數的過程中，多個閘道開關GS對應於多個任務1, 2, …, t，且多個任務1, 2, …, t的至少一訓練任務所對應的一閘道開關被更新。
在本發明的一實施例中，損失函數包括一交叉熵損失(cross entropy loss)、一閘道開關正則項(polarization regularization term)以及一能量損失(energy loss)。
在本發明的一實施例中，神經網路模型NN包括至少一卷積層以及至少一批次標準化層，多個閘道開關GS的每一者包括至少一批次標準化層的縮放因子(scaling factors)。在一實施例中，縮放因子的維度與卷積層維度相同，且每個批次標準化層的縮放因子關聯於對應的卷積層的卷積核。在本發明的一實施例中，閘道開關正則項關聯於多個縮放因子。
在本發明的一實施例中，訓練模組1205將訓練影像通過至少一卷積層而得到一輸入特徵圖。訓練模組1205通過至少一批次標準化層將輸入特徵圖與對應的縮放因子進行標準化運算而得到訓練特徵圖。
圖5是在本發明的一實施例中的推論模組1203的運作的示意圖。請參考圖5，在步驟S510中，推論模組1203擷取輸入影像IMG。具體地，對於已學習N個(N為正整數)任務的神經網路模型NN對應有N組閘道開關GS_1, GS_2, …, GS_N，多個閘道開關GS_1, GS_2, …, GS_N分別記錄對應對多個任務可以使用一部分神經網路模型NN進行運算。多個閘道開關GS_1, GS_2, …, GS_N搭配神經網路模型NN而決定多個子模型SUB_1, SUB_2, …, SUB_N對輸入影像IMG可擷取多個特徵圖。
值得一提的是，在本發明的實施例中，多個子模型SUB_1, SUB_2, …, SUB_N使用同一個神經網路模型NN。也就是說，多個閘道開關GS_1, GS_2, …, GS_N從同一個神經網路模型NN區別出對應多個任務的多個子模型。
在步驟S520中，推論模組1203通過多個子模型SUB_1, SUB_2, …, SUB_N對輸入影像IMG進行特徵擷取而得到多個特徵圖。在步驟S530中，推論模組1203將多個子模型SUB_1, SUB_2, …, SUB_N對應的多個特徵圖分別轉換為多個能量分數E_1, E_2, …, E_N。能量分數E_1, E_2, …, E_N為一表示子模型SUB_1, SUB_2, …, SUB_N穩定性的純量，以能量的概念而言，得出的純量越低代表子模型越穩定。能量分數E_1, E_2, …, E_N衡量輸入影像IMG與子模型的關聯性程度，藉此達到任務感知的效果。多個子模型SUB_1, SUB_2, …, SUB_N對應多個任務。
在步驟S540中，推論模組1203根據多個能量分數E_1, E_2, …, E_N從多個子模型SUB_1, SUB_2, …, SUB_N中選出對應一目標任務的目標子模型。目標任務為已訓練完成的多個任務之一，目標任務為對應處理輸入影像IMG的任務。此目標子模型為根據多個能量分數E_1, E_2, …, E_N而決定與目標任務最相關的子模型。
在本發明的一實施例中，推論模組1203選擇對應於所述多個能量分數E_1, E_2, …, E_N的最小值的子模型作為目標子模型。在一些實施例中，多個任務可包括第一任務以及第二任務，目標子模型可以是對應於第一任務的子模型或是對應於第二任務的子模型。在一些實施例中，目標子模型也可以是對應多個任務的多個子模型的其中之一。
在步驟S550中，推論模組1203通過目標子模型輸出對應於目標任務的預測結果。在一實施例中，推論模組1203將對應目標子模型的特徵圖經過歸一化指數函數轉換為對應於目標任務的預測類別的信心分數，並獲得對應的預測結果。
圖6A是在本發明的一實施例中訓練神經網路模型的示意圖。請共同參照圖4及圖6A。在一實施例中，神經網路模型包括至少一卷積層以及至少一批次標準化層。如圖6A所示，神經網路模型NN包括批次標準化層610、630、650以及卷積層620、640。舉例而言，神經網路模型NN模型已訓練t個任務，對於給定的輸入資料 (H為高度,W為寬度,C為通道數)，經過卷積層620進行特徵擷取得到特徵圖 ，再經過批次標準化層630進行標準化(normalization)運算得到特徵圖 。以批次標準化層630為例，此標準化運算可由以下公式(1)計算： (1) 其中 為經過標準化的特徵圖， 為經過卷積層的特徵圖， 為縮放因子， 為一平均值， 為一標準差， 為一平移因子(shifting factor)。
在公式(1)中，變數 =1,… -1表示卷積層， 為正整數，變數t表示當前任務， 為同一批次不同通道的輸入特徵圖的平均值， 為同一批次不同通道的輸入特徵圖的標準差，縮放因子 和平移因子 為可被訓練的參數。在一實施例中， 初始值設為0.5， 初始值設為0。縮放因子 擁有縮放由卷積層傳來的特徵圖的功用。
在本發明的一實施例中，多個閘道開關GS的每一者包括至少一批次標準化層的多個縮放因子 ，且多個縮放因子 關聯於至少一卷積層的多個卷積核。具體地，批次標準化層中的縮放因子 可用來衡量卷積層中對應的卷積核的重要性。在本發明的實施例中，對學習的每一個任務設有特定的批次標準化層，每個任務利用其對應的批次標準化層記住特定任務的資料散布性( 和 )，且利用對應任務的縮放因子 紀錄對應於目標任務重要的多個卷積核位置。
詳細而言，每個卷積層的卷積核在通道數C的維度上都有相對應的縮放因子 來代表卷積層中的卷積核的重要性。在一實施例中，縮放因子 的個數對應特徵圖 的通道數。由於縮放因子 可對特徵圖 進行比例放大或縮小的特性，因此作為閘道開關GS對神經網路模型NN的一部分運算進行限制。在一實施例中，當縮放因子 不為0表示在此通道對應的特徵圖須參與運算，因此使特徵圖經批次標準化層後通往下一層。反之，當縮放因子 等於0，則表示在此通道對應的特徵圖不重要，不需將此通道對應的特徵圖往下一層傳遞。
也就是說，縮放因子 可決定是否針對一目標任務激活(activate)神經網路模型NN中的神經元。以圖6A為例，對當前任務t而言，批次標準化層610、630、650之中對應縮放因子 、 以及 的神經元被激活而將此通道對應的特徵圖往下一層傳遞。
須注意的是，經過步驟S60之後，對於新任務t+1給定的特徵圖 ，訓練模組1205更換新的批次標準化層610’、630’、650’。但是卷積層620’、640’則保留原本相同的卷積層620、640來執行訓練階段。如圖6A所示，對於新任務t+1而言，新的批次標準化層610’、630’、650’之中對應縮放因子 、 、 、 以及 的神經元被激活而將此通道對應的特徵圖往下一層傳遞。
當新任務t+1的訓練資料 經過訓練模組1205根據神經網路模型NN以及多個閘道開關GS對進行特徵擷取之後可得到訓練特徵圖 ，其中 為輸出的類別數量。訓練模組1205將訓練特徵圖 轉換為能量分數E。
能量分數E由以下公式(2)計算： (2) 其中 為能量分數， 為特徵圖在類別 c的值， 為類別數量。
接著，訓練模組1205根據訓練資料的類別標籤、多個閘道開關GS以及能量分數E決定一損失函數 。訓練模組1205以損失函數 進行反向傳播梯度更新神經網路模型NN以及本訓練任務對應的閘道開關GS。
損失函數 由以下公式(3)表示： (3) 其中 為交叉熵損失、 為閘道開關正則項、 為能量損失、 及 為參數。
交叉熵損失 由訓練資料的類別標籤決定。
能量損失由以下公式(4)計算： (4) 其中 為相同任務的樣本的能量分數， 為不同任務的樣本的能量分數， 及 為參數。
閘道開關正則項 由以下公式(5)計算： , (5) 其中 為多個縮放因子， 為層數， 為通道數， 為參數。
在公式(5)的閘道開關正則項 可用來降低已激活的神經元的數量，其中 代表對每一批次標準化層裡每一通道的縮放因子 取絕對值，此 可使每個縮放因子 經過訓練後往0逼近。 為整個神經網路模型的縮放因子 的平均值， 此項驅動所有的縮放因子 加大 的差距，亦即縮放因子 會有極化的效果，致使重要與不重要的差異性顯著。公式(2)、(5)的參數 、 及 可根據不同的訓練資料集調整。
在學習新任務t+1的反向傳播梯度過程中，縮放因子 會收到由活化層傳來的梯度 ，訓練模組1205根據縮放因子 決定多個其對應的卷積參數是否重要並激活，若已訓練的t個任務之一以上的縮放因子( )顯示對同一位置的卷積參數有高重要性，則以 代表此卷積參數是被至少一個任務以上的縮放因子激活。訓練模組1205根據激活參數 調整反向傳播梯度 。訓練模組1205由已調整的反向傳播梯度 更新神經網路模型NN以及新任務t+1對應的閘道開關GS(縮放因子 )。
已調整的所述反向傳播梯度由以下公式(6)計算： (6) 其中 為已調整的所述反向傳播梯度， 為所述反向傳播梯度，其中 為對同位置卷積參數的不同任務的縮放因子的累計最大值。
圖6B是在本發明的一實施例中反向傳播梯度更新神經網路模型NN以及一對應任務的閘道開關GS的示意圖。請參考圖6B，以批次標準化層630’為例，在步驟S61中，批次標準化層630’得到由神經元z1傳回的反向傳播梯度 。在步驟S62中，訓練模組1205根據批次標準化層630’的多個縮放因子 決定多個激活參數 而調整反向傳播梯度 並根據已調整的反向傳播梯度 對批次標準化層610’的多個縮放因子 以及神經元y1、y3的參數進行更新。
須注意的是，在訓練新任務t+1執行反向梯度時，訓練模組1205記錄對已訓練的t個任務的已激活的縮放因子 的位置。由於對應的卷積層參數對某個舊任務的重要性很高，則不希望會被新任務的梯度所修改，對新任務的反向梯度過程，會保護重要的卷積神經元不被新任務修改，但並不限制新任務的閘道開關GS是否激活對舊任務重要的神經元。因此，本身參數重要性高的卷積核是可以被多個任務重複有效利用。例如，在圖6B之中所示的神經元y2, z2是被保留的卷積神經元，因此在步驟S63的反向傳播梯度過程中，神經元y2, z2的參數不會被修改。
須說明的是，上述圖6A、圖6B所述的實施例為本發明較佳的實施例，藉由批次標準化層的多個縮放因子來實現對應於多個任務的多個閘道開關GS達到自適應地從多個任務識別目標任務的效果。然而，在不脫離本發明的精神和範圍內，多個閘道開關GS並不限於以批次標準化層來實現。在一些實施例中，多個閘道開關GS也可以藉由多個重要性因子(importance factor)針對特徵圖進行逐元素乘積來實現。
圖7是在本發明的另一實施例中神經網路模型以及對應任務的閘道開關的運作的示意圖。在本發明的一實施例中，多個閘道開關GS的每一者包括多個重要性因子(importance factor)。推論模組1203將輸入影像通過神經網路模型NN而得到一輸出特徵圖。在步驟S70中，推論模組1203將輸出特徵圖與多個重要性因子進行逐元素乘積(element-wise multiplication)而得到多個特徵圖。在步驟S71中，推論模組1203將多個特徵圖經過激勵函數而得到預測結果。
多個重要性因子由以下公式(7)計算： (8) 其中 為重要性因子， 為所述輸出特徵圖， 為參數。
在本發明的一實施例中，損失函數包括一重要性因子正則項(importance factor regularization term)，其中重要性因子正則項關聯於多個重要性因子。
在本發明的另一實施例中，已調整的反向傳播梯度由以下公式(8)計算： (8)
其中 為已調整的所述反向傳播梯度， 為所述反向傳播梯度，其中 為所述多個重要性因子的最大值。
圖8是在本發明的另一實施例中神經網路模型NN的示意圖。神經網路模型NN包括卷積層810以及批次標準化層820。共同參照圖7，多個重要性因子關聯於卷積層810的多個卷積核。在一實施例中，神經網路模型NN可以是卷積神經網路架構，例如是ResNet、VGG、MobileNet-v2的神經網路架構。須注意的是，在圖7、圖8的實施例中，多個閘道開關GS可以是藉由多個重要性因子進行逐元素乘積來實現針對卷積層810的神經元重要參數篩選，而並不限制於神經網路模型NN的批次標準化層820。
圖9是在本發明的一實施例中關聯於多個任務的訓練資料的示意圖。在一實施例中，本發明實施例的機器學習方法可應用於門禁管理增強戴口罩人臉的辨識能力。舉例來說，可將有戴口罩的人臉影像910及對應的類別標籤作為第一個任務進行訓練。接著，在步驟S90中，改以有帶口罩的人臉影像920作為新任務進行訓練。在此範例中，本發明實施例的機器學習方法可不需取用或保存舊任務的資料，將新的有戴口罩的人臉影像920數據集當作新任務，由於在新任務更新的多個閘道開關經由訓練可選擇對新任務重要的卷積神經元，而且因為新任務允許使用舊任務的參數，因此學習有戴口罩的人臉影像辨識的任務就可以直接利用在舊任務中學習到的眼睛、眉毛和額頭等沒被口罩遮掩的特徵，至於嘴巴和鼻子等在新任務中不重要的參數，新任務就不激活任務一中相關的卷積神經元，並使用對舊任務模型不重要的卷積神經元來學習有戴口罩後的人臉的細部特徵，例如戴口罩後鼻子隆起的陰影面積或口罩遮擋後人臉投影面的邊角弧度等等。
在一實施例中，本發明實施例的機器學習方法可應用於商品相似性搜索。舉例來說，學習第一個任務為辨識春裝服飾的商品。接著，當秋冬換季時，學習新任務以辨識的冬天服飾，將新任務的以冬裝服飾的圖資進行訓練，由於舊任務的模型已訓練有服裝的大致特徵。由於在新任務更新的多個閘道開關經由訓練可選擇對新任務重要的卷積神經元，而且因為新任務允許使用舊任務的參數，因此學習冬裝服飾的圖資辨識的任務就可以直接利用在舊任務中學習到的已訓練有服裝的細部特徵(如:衣領、袖子和鈕扣等等)，達到更佳的可重複利用率，增進電子裝置的運算效能。
在一實施例中，本發明實施例的機器學習方法可應用於智慧工廠製造印刷電路板表面安裝元件的瑕疵檢測。舉例來說，學習第一個任務為分辨第一型號電阻的瑕疵，其中包含有正常和異常兩個類別的圖像。當印刷電路板需新增第二型號的電阻，由於第一個任務的神經網路模型已學習有電阻中包含外型和瑕疵等特徵，因此對第二個任務的第二型號的電阻圖資更新的多個閘道開關來選擇第一個任務之中對第二個任務的重要的卷積神經元，如元件外型和部分較常發生的偏移瑕疵，意即新任務可重複使用對舊任務重要的卷積核，並用對舊任務不重要的卷積核來學習第一個任務中較缺乏的特徵，如此一來可以有效利用舊有參數，又可學習對當新任務需偏重的瑕疵特徵。藉此，本發明的實施例在單一神經網路模型中區隔出不同的子模型來解決不同的任務。
綜上所述，本發明提出基於能量評分的任務感知連續學習技術架構，透過多個閘道開關將一個神經網路模型對應多個任務的特徵圖分門別類而決定多個子模型，並允許從一個神經網路模型結合對應任務的閘道開關自動跨任務選取對其它舊任務重要的卷積參數，再以未被先前任務使用的卷積參數學習新任務知識，最後以損失函數決定反向傳播梯度來幫助新任務的優化，使神經網路模型達到更佳的可重複利用率。藉此，讓神經網路模型能保留更多神經元去學習下一個任務，並且保存多個子模型中重要的參數，進而有效地避免災難性遺忘。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10:電子裝置 110:處理器 120:儲存媒體 1201:影像擷取模組 1203:推論模組 1205:訓練模組 130:影像擷取裝置 IMG:影像 NN:神經網路模型 GS, GS_1, GS_2, GS_N:閘道開關 SUB_1, SUB_2, SUB_N:子模型 E, E_1, E_2, E_N, , :能量分數 S210, S220, S230, S240, S250, S310, S320, S330, S340, S350, S360, S410, S420, S430, S510, S520, S530, S540, S550, S60, S61, S62, S63, S70, S71, S90:步驟 610, 630, 650, 610’, 630’, 650’, 820:批次標準化層 620, 640, 620’, 640’, 810:卷積層 910, 920:影像 H:高度 W:寬度 C, :通道數 :類別數量 c:類別 N, :正整數 t, :變數 , , , , :特徵圖 , , , , , , , , , , , , , , , , ,:縮放因子 :縮放因子的累計最大值 :平均值 :標準差 :平移因子 :損失函數 :交叉熵損失 :閘道開關正則項 :能量損失 , , , , :參數 :縮放因子的平均值 , , , :梯度 :激活參數 y1, y2, y3, z1, z2:神經元 :重要性因子 :重要性因子的累計最大值
圖1是依照本發明的實施例的一種電子裝置的示意圖。 圖2是依照本發明的實施例的一種機器學習方法的推論階段的流程圖。 圖3是依照本發明的實施例的一種機器學習方法的訓練階段的流程圖。 圖4是在本發明的一實施例中的訓練模組進行新任務的學習的示意圖。 圖5是在本發明的一實施例中的推論模組的運作的示意圖。 圖6A是在本發明的一實施例中訓練神經網路模型的示意圖。 圖6B是在本發明的一實施例中反向傳播梯度更新神經網路模型以及對應任務的閘道開關的示意圖。 圖7是在本發明的另一實施例中神經網路模型以及對應任務的閘道開關的運作的示意圖。 圖8是在本發明的另一實施例中神經網路模型的示意圖。 圖9是在本發明的一實施例中關聯於多個任務的訓練資料的示意圖。
10:電子裝置
110:處理器
120:儲存媒體
1201:影像擷取模組
1203:推論模組
1205:訓練模組
130:影像擷取裝置

Claims (20)

  1. 一種連續學習的機器學習方法，包括： 擷取一輸入影像； 通過多個子模型對所述輸入影像進行特徵擷取而得到多個特徵圖，其中所述多個子模型對應於多個任務，且所述多個子模型由一神經網路模型以及多個閘道開關所決定； 將所述多個特徵圖轉換為多個能量分數； 根據所述多個能量分數從所述多個子模型中選出對應於所述多個任務中的一目標任務的目標子模型；以及 通過所述目標子模型輸出對應於所述目標任務的預測結果。
  2. 如請求項1所述的機器學習方法，其中所述神經網路模型包括至少一卷積層(convolutional layer)以及至少一批次標準化層(batch normalization layer)。
  3. 如請求項2所述的機器學習方法，其中所述多個閘道開關的每一者包括所述至少一批次標準化層的多個縮放因子(scaling factor)，且所述多個縮放因子關聯於所述至少一卷積層的多個卷積核(convolutional kernel)，其中通過所述多個子模型對所述輸入影像進行特徵擷取而得到所述多個特徵圖的步驟包括： 將所述輸入影像通過所述至少一卷積層而得到一輸入特徵圖； 通過所述至少一批次標準化層將所述輸入特徵圖與所述多個閘道開關的每一者的所述多個縮放因子進行標準化運算而得到所述多個特徵圖。
  4. 如請求項3所述的機器學習方法，其中所述標準化運算由以下公式計算： 其中 為所述多個特徵圖， 為所述輸入特徵圖， 為所述多個縮放因子， 為一平均值， 為一標準差， 為一平移因子(shifting factor)。
  5. 如請求項1所述的機器學習方法，其中將所述多個特徵圖轉換為所述多個能量分數由以下公式計算： 其中 為能量分數， 為特徵圖在類別 c的值， 為類別數量。
  6. 如請求項1所述的機器學習方法，其中根據所述多個能量分數從所述多個子模型中選出對應於所述多個任務的所述目標任務的所述目標子模型的步驟包括： 選擇對應於所述多個能量分數的最小值的子模型作為所述目標子模型。
  7. 如請求項1所述的機器學習方法，其中所述多個閘道開關的每一者包括多個重要性因子(importance factor)，其中通過所述多個子模型對所述輸入影像進行特徵擷取而得到所述多個特徵圖的步驟包括： 將所述輸入影像通過所述神經網路模型而得到一輸出特徵圖； 將所述輸出特徵圖與所述多個閘道開關的每一者的所述多個重要性因子進行逐元素乘積(element-wise multiplication)而得到所述多個特徵圖。
  8. 如請求項7所述的機器學習方法，其中所述多個重要性因子由以下公式計算： 其中 為重要性因子， 為所述輸出特徵圖， 為參數。
  9. 如請求項1所述的機器學習方法，更包括： 接收關聯於所述多個任務的一訓練資料，其中所述訓練資料包括一訓練影像以及對應於所述訓練影像的一類別標籤； 根據所述神經網路模型以及所述多個閘道開關對所述訓練影像進行特徵擷取而得到一訓練特徵圖； 將所述訓練特徵圖轉換為一特徵能量分數； 根據所述類別標籤、所述多個閘道開關以及所述特徵能量分數決定一損失函數； 根據所述損失函數決定反向傳播梯度；以及 根據所述反向傳播梯度更新所述神經網路模型以及所述多個閘道開關，其中所述多個閘道開關對應於所述多個任務，且所述多個任務的至少一訓練任務所對應的一閘道開關被更新。
  10. 如請求項9所述的機器學習方法，其中所述神經網路模型包括至少一卷積層以及至少一批次標準化層，所述多個閘道開關的每一者包括所述至少一批次標準化層的多個縮放因子，且所述多個縮放因子關聯於所述至少一卷積層的多個卷積核，其中根據所述神經網路模型以及所述多個閘道開關對所述訓練影像進行特徵擷取而得到所述訓練特徵圖的步驟包括： 將所述訓練影像通過所述至少一卷積層而得到一輸入特徵圖； 通過所述至少一批次標準化層將所述輸入特徵圖與所述多個縮放因子進行標準化運算而得到所述訓練特徵圖。
  11. 如請求項10所述的機器學習方法，其中所述損失函數包括： 一交叉熵損失(cross entropy loss)； 一閘道開關正則項；以及 一能量損失。
  12. 如請求項11所述的機器學習方法，其中所述閘道開關正則項關聯於所述多個縮放因子。
  13. 如請求項12所述的機器學習方法，其中所述閘道開關正則項由以下公式計算： , 其中 為所述閘道開關正則項， 為所述多個縮放因子， 為層數， 為通道數， 為參數。
  14. 如請求項11所述的機器學習方法，其中所述能量損失由以下公式計算： 其中 為所述能量損失， 為相同任務的樣本的能量分數， 為不同任務的樣本的能量分數， 及 為參數。
  15. 如請求項10所述的機器學習方法，其中根據所述反向傳播梯度更新所述神經網路模型以及所述多個閘道開關的步驟包括： 根據所述多個閘道開關決定多個激活參數； 根據所述多個激活參數調整所述反向傳播梯度； 根據已調整的所述反向傳播梯度更新所述神經網路模型以及所述多個閘道開關。
  16. 如請求項15所述的機器學習方法，其中已調整的所述反向傳播梯度由以下公式計算： 其中 為已調整的所述反向傳播梯度， 為所述反向傳播梯度，其中 為對應同一位置卷積參數的任務1到任務t的縮放因子的累計最大值。
  17. 如請求項9所述的機器學習方法，其中所述多個閘道開關的每一者包括多個重要性因子，其中所述損失函數包括一重要性因子正則項，其中所述重要性因子正則項關聯於所述多個重要性因子。
  18. 如請求項17所述的機器學習方法，其中根據所述反向傳播梯度更新所述神經網路模型以及所述多個閘道開關的步驟包括： 根據所述多個閘道開關決定多個激活參數； 根據所述多個激活參數調整所述反向傳播梯度； 根據已調整的所述反向傳播梯度更新所述神經網路模型以及所述多個閘道開關，其中已調整的所述反向傳播梯度由以下公式計算： 其中 為已調整的所述反向傳播梯度， 為所述反向傳播梯度，其中 為對應同一位置卷積參數的任務1到任務t的重要性因子的累計最大值。
  19. 一種用於任務感知連續學習的電子裝置，包括： 儲存媒體，儲存多個模組；以及 處理器，耦接所述儲存媒體，所述處理器經配置以執行所述多個模組，其中所述多個模組包括： 影像擷取模組，擷取一輸入影像； 推論模組，通過多個子模型對所述輸入影像進行特徵擷取而得到多個特徵圖，其中所述多個子模型對應於多個任務，且所述多個子模型由一神經網路模型以及多個閘道開關所決定，將所述多個特徵圖轉換為多個能量分數，根據所述多個能量分數從所述多個子模型中選出對應於所述多個任務的一目標任務的目標子模型，且通過所述目標子模型輸出對應於所述目標任務的預測結果。
  20. 如請求項19所述的電子裝置，其中所述多個模組更包括： 訓練模組，接收關聯於所述多個任務的一訓練資料，其中所述訓練資料包括一訓練影像以及對應於所述訓練影像的一類別標籤，根據所述神經網路模型以及所述多個閘道開關對所述訓練影像進行特徵擷取而得到一訓練特徵圖，將所述訓練特徵圖轉換為一特徵能量分數，根據所述類別標籤、所述多個閘道開關以及所述特徵能量分數決定一損失函數，根據所述損失函數決定反向傳播梯度，且根據所述反向傳播梯度更新所述神經網路模型以及所述多個閘道開關，其中所述多個閘道開關對應於所述多個任務，且所述多個任務的至少一訓練任務所對應的一閘道開關被更新。
TW111122622A 2022-06-17 2022-06-17 連續學習的機器學習方法及電子裝置 TWI812291B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
TW111122622A TWI812291B (zh) 2022-06-17 2022-06-17 連續學習的機器學習方法及電子裝置
CN202210802440.3A CN117315276A (zh) 2022-06-17 2022-07-07 连续学习的机器学习方法及电子装置
US17/951,043 US20230410481A1 (en) 2022-06-17 2022-09-22 Machine learning method for continual learning and electronic device
EP22210435.8A EP4293579A1 (en) 2022-06-17 2022-11-30 Machine learning method for continual learning and electronic device
JP2022201681A JP2023184403A (ja) 2022-06-17 2022-12-19 継続学習のための機械学習方法および電子機器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111122622A TWI812291B (zh) 2022-06-17 2022-06-17 連續學習的機器學習方法及電子裝置

Publications (2)

Publication Number Publication Date
TWI812291B TWI812291B (zh) 2023-08-11
TW202401304A true TW202401304A (zh) 2024-01-01

Family

ID=84367329

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111122622A TWI812291B (zh) 2022-06-17 2022-06-17 連續學習的機器學習方法及電子裝置

Country Status (5)

Country Link
US (1) US20230410481A1 (zh)
EP (1) EP4293579A1 (zh)
JP (1) JP2023184403A (zh)
CN (1) CN117315276A (zh)
TW (1) TWI812291B (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9826149B2 (en) * 2015-03-27 2017-11-21 Intel Corporation Machine learning of real-time image capture parameters
EP3622521A1 (en) * 2017-10-16 2020-03-18 Illumina, Inc. Deep convolutional neural networks for variant classification
KR102630320B1 (ko) * 2018-11-15 2024-01-30 모빌아이 비젼 테크놀로지스 엘티디. 다중 프레임 시맨틱 신호의 고속 cnn 분류
US11343474B2 (en) * 2019-10-02 2022-05-24 Qualcomm Incorporated Image capture based on action recognition
CN113271450B (zh) * 2020-02-14 2022-12-09 宏碁股份有限公司 白平衡调整方法、影像处理装置与影像处理系统
US11651588B1 (en) * 2020-06-05 2023-05-16 Aetherai Ip Holding Llc Object detection method and convolution neural network for the same

Also Published As

Publication number Publication date
US20230410481A1 (en) 2023-12-21
TWI812291B (zh) 2023-08-11
EP4293579A1 (en) 2023-12-20
JP2023184403A (ja) 2023-12-28
CN117315276A (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
WO2021227726A1 (zh) 面部检测、图像检测神经网络训练方法、装置和设备
Kao et al. Deep aesthetic quality assessment with semantic information
Dalvi et al. A survey of ai-based facial emotion recognition: Features, ml & dl techniques, age-wise datasets and future directions
Han et al. Two-stage learning to predict human eye fixations via SDAEs
CN109766840A (zh) 人脸表情识别方法、装置、终端及存储介质
Singh et al. Deep learning and machine learning based facial emotion detection using CNN
WO2021063056A1 (zh) 人脸属性识别方法、装置、电子设备和存储介质
WO2021073311A1 (zh) 图像识别方法、装置、计算机可读存储介质及芯片
Zhang et al. Facial smile detection based on deep learning features
CN110321805B (zh) 一种基于时序关系推理的动态表情识别方法
CN111814620A (zh) 人脸图像质量评价模型建立方法、优选方法、介质及装置
Wang et al. Face mask extraction in video sequence
CN113673244B (zh) 医疗文本处理方法、装置、计算机设备和存储介质
CN117133035A (zh) 一种面部表情识别方法、系统及电子设备
CN111382410B (zh) 刷脸验证方法及系统
Liao et al. FERGCN: facial expression recognition based on graph convolution network
Sheeba et al. Hybrid features-enabled dragon deep belief neural network for activity recognition
Allaert et al. A comparative study on optical flow for facial expression analysis
CN110163049B (zh) 一种人脸属性预测方法、装置及存储介质
TWI812291B (zh) 連續學習的機器學習方法及電子裝置
CN111611852A (zh) 一种表情识别模型的训练方法、装置及设备
Singla et al. Age and gender detection using Deep Learning
Yang et al. Recognizing image semantic information through multi-feature fusion and SSAE-based deep network
Liu et al. ABSNet: Aesthetics-based saliency network using multi-task convolutional network
TWI722383B (zh) 應用於深度學習之預特徵萃取方法