TWI731542B - 分類模型生成裝置及其分類模型生成方法 - Google Patents

分類模型生成裝置及其分類模型生成方法 Download PDF

Info

Publication number
TWI731542B
TWI731542B TW109100469A TW109100469A TWI731542B TW I731542 B TWI731542 B TW I731542B TW 109100469 A TW109100469 A TW 109100469A TW 109100469 A TW109100469 A TW 109100469A TW I731542 B TWI731542 B TW I731542B
Authority
TW
Taiwan
Prior art keywords
classification
loss function
deep learning
learning model
model
Prior art date
Application number
TW109100469A
Other languages
English (en)
Other versions
TW202121224A (zh
Inventor
江振國
李皓庭
林志成
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Publication of TW202121224A publication Critical patent/TW202121224A/zh
Application granted granted Critical
Publication of TWI731542B publication Critical patent/TWI731542B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一種分類模型生成裝置及其分類模型生成方法。分類模型生成裝置引入一聚類演算法，以輔助訓練用於分類的一深度學習模型，並將一聚類損失函數、一向中心集中損失函數及一分類損失函數分別乘上不同權重後之一總和作為訓練深度學習模型之整體損失函數。基於整體損失函數，分類模型生成裝置以一反向傳播演算法，調整深度學習模型之複數參數，以生成一分類模型。

Description

分類模型生成裝置及其分類模型生成方法
本發明係關於分類模型生成裝置及其分類模型生成方法。具體而言，本發明之分類模型生成裝置結合聚類(clustering)演算法，以端對端(end-to-end)的方式來輔助訓練用於分類的深度學習模型，以生成一分類模型。
隨著科技的快速發展，機器學習及深度學習已成為目前科技研究的主流，且被廣泛的應用在各種領域，例如：電腦視覺、影像分析、偵測辨識等。舉例而言，目前穿戴式裝置大多裝載著移動感測器(motion sensor)(例如：重力感測器)，因此穿戴式裝置可針對使用者的動作進行辨識，以進行相應的操作。
然而，分類一直是深度學習領域中基礎且重要的問題，即使分類模型逐漸多元化，提升分類的準確度始終是一大目標。有鑑於此，如何訓練用於分類的深度學習模型，以提升分類的準確度，乃是業界亟待解決的問題。
本發明之目的在於提供一種訓練深度學習模型之機制，藉由 結合聚類(clustering)演算法，以端對端(end-to-end)的方式來輔助訓練用於分類的深度學習模型，藉以提升分類的準確度。
為達上述目的，本發明揭露一種分類模型生成裝置。該分類模型生成裝置包含一儲存器以及一處理器。該儲存器用以儲存複數訓練資料及一深度學習模型。該處理器電性連接至該儲存器，並用以執行以下操作：(a)將該等訓練資料輸入至該深度學習模型中；(b)自該深度學習模型，擷取對應至該等訓練資料之複數特徵向量，以及對應至該等訓練資料之複數分類結果；(c)基於一聚類演算法，將該等特徵向量劃分為複數群組；(d)基於該等群組，建立該等特徵向量之一聚類損失函數；(e)基於該等分類結果，建立該等特徵向量之一向中心集中損失函數；(f)建立該等分類結果之一分類損失函數；(g)將該聚類損失函數乘上一第一權重、該向中心集中損失函數乘上一第二權重及該分類損失函數乘上一第三權重後之一總和作為一整體損失函數；(h)基於一反向傳播演算法，針對該深度學習模型之複數參數，計算該整體損失函數之一梯度；(i)基於該梯度，調整該深度學習模型之該等參數；(j)重複執行操作(a)至操作(i)，以最小化該整體損失函數之一函數值；(k)當該整體損失函數之該函數值已最小化時，基於該等參數被調整後之該深度學習模型，生成一分類模型。
此外，本發明更揭露一種用於一分類模型生成裝置之分類模型生成方法。該分類模型生成裝置包含一儲存器及一處理器。該儲存器儲存複數訓練資料及一深度學習模型。該分類模型生成方法由該處理器執行且包含下列步驟：(a)將該等訓練資料輸入至該深度學習模型中；(b)自該深度學習模型，擷取對應至該等訓練資料之複數特徵向量，以及對應至該等訓練 資料之複數分類結果；(c)基於一聚類演算法，將該等特徵向量劃分為複數群組；(d)基於該等群組，建立該等特徵向量之一聚類損失函數；(e)基於該等分類結果，建立該等特徵向量之一向中心集中損失函數；(f)建立該等分類結果之一分類損失函數；(g)將該聚類損失函數乘上一第一權重、該向中心集中損失函數乘上一第二權重及該分類損失函數乘上一第三權重後之一總和作為一整體損失函數；(h)基於一反向傳播演算法，針對該深度學習模型之複數參數，計算該整體損失函數之一梯度；(i)基於該梯度，調整該深度學習模型之該等參數；(j)重複執行操作(a)至操作(i)，以最小化該整體損失函數之一函數值；以及(k)當該整體損失函數之該函數值已最小化時，基於該等參數被調整後之該深度學習模型，生成一分類模型。
在參閱圖式及隨後描述之實施方式後，此技術領域具有通常知識者便可瞭解本發明之其他目的，以及本發明之技術手段及實施態樣。
1:分類模型生成裝置
11:儲存器
13:處理器
TD:訓練資料
DLM:深度學習模型
FEN:特徵擷取網路
CFN:分類網路
FV:特徵向量
CFS:分類結果
G1-G5:群組
S301-S321:步驟
第1圖係描繪本發明分類模型生成裝置1之示意圖；第2圖係描繪本發明分類模型生成裝置1進行深度學習模型訓練之示意圖；以及第3A-3B圖係本發明分類模型生成方法之流程圖。
以下將透過實施例來解釋本發明內容，本發明的實施例並非用以限制本發明須在如實施例所述之任何特定的環境、應用或特殊方式方能實施。因此，關於實施例之說明僅為闡釋本發明之目的，而非用以限制本 發明。需說明者，以下實施例及圖式中，與本發明非直接相關之元件已省略而未繪示，且圖式中各元件間之尺寸關係僅為求容易瞭解，並非用以限制實際比例。
本發明第一實施例請參考第1圖及第2圖。第1圖係描繪本發明分類模型生成裝置1之示意圖。第2圖係描繪本發明分類模型生成裝置1進行深度學習模型訓練之示意圖。分類模型生成裝置1包含一儲存器11及一處理器13。分類模型生成裝置1可為一雲端伺服器、一個人電腦或任一具有運算處理能力之裝置。基於說明簡化之原則，分類模型生成裝置1之其它元件，例如：網路介面、殼體、電源模組等與本發明較不相關的元件，皆於圖中省略而未繪示。
處理器13電性連結至儲存器11。處理器13可為各種處理器、中央處理單元、微處理器、數位訊號處理器或本發明所屬技術領域中具有通常知識者所知之其他可進行機器學習或深度學習之計算裝置。儲存器11儲存複數訓練資料TD及一深度學習模型DLM。該等訓練資料TD可經由傳輸介面(例如：有線傳輸介面或無線傳輸介面)自一裝置(例如：穿戴式裝置)所獲得。深度學習模型DLM可為一卷積神經網絡(Convolutional Neural Network；CNN)模型、一循環神經網路(RNN：Recurrent Neural Network)及其組合其中之一(但不限於此)。
深度學習模型DLM之神經網路可區分為二部分，即特徵擷取網路FEN及分類網路CFN。特徵擷取網路FEN主要用以擷取特徵向量，以及分類網路CFN主要用以對特徵向量進行分類。以CNN模型作為舉例說明，特徵擷取網路FEN可包含至少一卷積(convolution)層及至少一採樣 (subsampling)層(亦稱作池化(pooling)層)，以及分類網路CFN可包含全連接(fully connected)層。由於所屬技術領域中具有通常知識者可瞭解各種用於分類的深度學習模型皆可套用至本發明，並瞭解該等深度學習模型如何擷取特徵向量及對特徵向量進行分類，故在此不針對其細節加以贅述。
處理器13將該等訓練資料TD輸入至深度學習模型DLM中。接著，處理器13可自深度學習模型DLM，擷取對應至該等訓練資料TD之複數特徵向量FV，以及對應至該等訓練資料TD之複數分類結果CFS。各分類結果CFS係以一分類向量所表示，以及分類向量中具有最大數值的元素係用以判斷分類向量可被標示為哪個類別(即，分類結果CFS所對應之訓練資料TD及特徵向量FV屬於哪個類別)。所屬技術領域中具有通常知識者可瞭解類別的數量可依實際應用所需而設定。不同於先前技術，本發明為提升分類的準確度引入一聚類演算法，以對該等特徵向量FV進行聚類，來輔助訓練用於分類的深度學習模型DLM。聚類演算法可為一K-均值(K-means)演算法，但不限於此。因此，於擷取該等特徵向量FV後，處理器13基於聚類演算法，將該等特徵向量FV劃分為複數群組(例如：第2圖所示之群組G1-G5)。
隨後，基於該等群組，處理器13建立該等特徵向量FV之一聚類損失函數L Clustering 。舉例而言，聚類損失函數L Clustering 可基於一均方誤差(mean squared error)函數所建立，如下表示：
Figure 109100469-A0305-02-0007-2
 其中，x i 為第i個特徵向量FV，λ i 為x i 所屬的群組，以及
Figure 109100469-A0305-02-0007-3
為x i 對應之群組λ i 中所有的特徵向量FV的中心位置。
接著，基於該等分類結果CFS，處理器13更建立該等特徵向量FV之一向中心集中損失函數L Center 。舉例而言，向中心集中損失函數L Center 亦可基於均方誤差函數所建立，如下表示：
Figure 109100469-A0305-02-0008-4
 其中，x i 為第i個特徵向量FV，y i 為x i 的分類結果CFS且可對應至一類別，以及C yi 為x i 對應之類別(即，y i 對應之類別)中所有的特徵向量FV的中心位置。
此外，根據分類結果，處理器13更建立該等分類結果CES之一分類損失函數L CE 。舉例而言，分類損失函數L CE 可基於一交叉熵誤差(cross entropy error)函數所建立，如下表示：
Figure 109100469-A0305-02-0008-5
 其中，m為樣本總數(即，該等訓練資料TD的總數或該等特徵向量FV的總數)，y i 為x i 的分類結果CFS，以及
Figure 109100469-A0305-02-0008-6
為y i 對應至各類別的機率向量。
上述聚類損失函數L Clustering 、向中心集中損失函數L Center 及分類損失函數L CE 之範例僅用以說明該等損失函數可基於何種函數所建立並非用以限制本發明。於建立該等損失函數後，處理器13將聚類損失函數L Clustering 乘上一第一權重w1、向中心集中損失函數L Center 乘上一第二權重w2及分類損失函數L CE 乘上一第三權重w3後之一總和作為一整體損失函數L Total ，如下表示：L Total =w1．L Clustering +w2．L Center +w3．L CE 。
之後，處理器13基於一反向傳播演算法，針對深度學習模型DLM之複數參數(亦有稱作超參數)，計算整體損失函數L Total 之一梯度，並基於該梯度，調整深度學習模型DLM之該等參數。由於特徵向量FV及分類結果CFS(即，分類向量)的各元素可以深度學習模型DLM之該等參數作為變數來表示，故基於反向傳播演算法計算整體損失函數L Total 之梯度可決定深度學習模型DLM之該等參數的調整方向。由於所屬技術領域中具有通常知識者可基於前述說明瞭解本發明如何基於反向傳播演算法調整深度學習模型DLM之該等參數，故在此不再加以贅述。
於調整深度學習模型DLM之該等參數後，處理器13重新將訓練資料TD輸入至已調整過參數之深度學習模型DLM，並重複執行前述操作，以最小化整體損失函數L Total 之函數值。最後，當整體損失函數L Total 之函數值已最小化時，處理器13基於該等參數被調整後之深度學習模型DLM，生成一分類模型。如此一來，本發明所生成之分類模型即可用以辨識實際輸入的資料。舉例而言，分類模型係用於穿戴式裝置，且輸入的資料係為穿戴式裝置之移動感測器(motion sensor)(例如：重力感測器)所產生之數據，則分類模型可針對使用者的動作進行辨識。
須說明者，所屬技術領域中具有通常知識者可瞭解前述判斷整體損失函數L Total 之函數值是否已最小化可基於實際實作方式而有各種判斷依據。舉例而言，當經過多次調整深度學習模型DLM之該等參數，整體損失函數L Total 之函數值之變動已呈現收斂情況的時候，處理器13可判斷整體損失函數L Total 之函數值已最小化。
本發明第二實施例請參考第3A-3B圖，其係為本發明動作評 量模型生成方法之流程圖。分類模型生成方法適用於一分類模型生成裝置(例如：第一實施例之分類模型裝置1)，其包含一儲存器以及一處理器。儲存器用以儲存複數訓練資料及一深度學習模型。分類模型生成方法由處理器執行，其所包含之步驟說明如下。
首先，於步驟S301中，將前述複數訓練資料輸入至深度學習模型中。於步驟S303中，自深度學習模型，擷取對應至該等訓練資料之複數特徵向量，以及對應至該等訓練資料之複數分類結果。接著，於步驟S305中，基於一聚類演算法，將該等特徵向量劃分為複數群組。於步驟S307中，基於該等群組，建立該等特徵向量之一聚類損失函數。於步驟S309中，基於該等分類結果，建立該等特徵向量之一向中心集中損失函數。於步驟S311中，建立該等分類結果之一分類損失函數。須說明者，步驟S307至步驟S309的執行順序並非被第3A圖所局限，即步驟S307至步驟S309的執行順序係可依實際程式設計而變動，其執行順序並非用以限制本發明。
隨後，於步驟S313中，將該聚類損失函數乘上一第一權重、該向中心集中損失函數乘上一第二權重及該分類損失函數乘上一第三權重後之一總和作為一整體損失函數。於步驟S315中，基於一反向傳播演算法，針對該深度學習模型之複數參數，計算該整體損失函數之一梯度。於步驟S317中，基於梯度，調整該深度學習模型之該等參數。接著，於步驟S319中，判斷整體損失函數之函數值是否最小化。
當整體損失函數之函數值已最小化時，於步驟S321中，基於該等參數被調整後之深度學習模型，生成一分類模型。反之，若整體損失函數之函數值尚未最小化，則返回至步驟S301，重複執行步驟S301至步驟S317 調整深度學習模型之該等參數，直到整體損失函數之函數值已最小化。
於一實施例中，聚類演算法為一K-均值(K-means)演算法。於一實施例中，深度學習模型為一卷積神經網絡(Convolutional Neural Network；CNN)模型、一循環神經網路(RNN：Recurrent Neural Network)及其組合其中之一。
於一實施例中，聚類損失函數及向中心集中損失函數每一者係基於一均方誤差(mean squared error)函數所建立。於一實施例中，分類損失函數係基於一交叉熵誤差(cross entropy error)函數所建立。
除了上述步驟，本發明之分類模型生成方法亦能執行在所有前述實施例中所闡述之所有操作並具有所有對應之功能，所屬技術領域具有通常知識者可直接瞭解此實施例如何基於所有前述實施例執行此等操作及具有該等功能，故不贅述。
綜上所述，本發明之分類模型生成裝置藉由結合聚類演算法，基於端對端的方式來輔助訓練用於分類的深度學習模型，以提升分類的準確度。因此，透過本發明訓練深度學習模型之機制，可生成具有高分類準確度之分類模型。
上述之實施例僅用來例舉本發明之實施態樣，以及闡釋本發明之技術特徵，並非用來限制本發明之保護範疇。任何熟悉此技術者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，本發明之權利保護範圍應以申請專利範圍為準。
TD‧‧‧訓練資料
DLM‧‧‧深度學習模型
FEN‧‧‧特徵擷取網路
CFN‧‧‧分類網路
FV‧‧‧特徵向量
CFS‧‧‧分類結果
G1-G5‧‧‧群組

Claims (10)

  1. 一種分類模型生成裝置，包含：一儲存器，用以儲存複數訓練資料及一深度學習模型；以及一處理器，電性連接至該儲存器，用以執行以下操作：(a)將該等訓練資料輸入至該深度學習模型中；(b)自該深度學習模型，擷取對應至該等訓練資料之複數特徵向量，以及對應至該等訓練資料之複數分類結果；(c)基於一聚類演算法，將該等特徵向量劃分為複數群組；(d)基於該等群組，建立該等特徵向量之一聚類損失函數；(e)基於該等分類結果，建立該等特徵向量之一向中心集中損失函數；(f)建立該等分類結果之一分類損失函數；(g)將該聚類損失函數乘上一第一權重、該向中心集中損失函數乘上一第二權重及該分類損失函數乘上一第三權重後之一總和作為一整體損失函數；(h)基於一反向傳播演算法，針對該深度學習模型之複數參數，計算該整體損失函數之一梯度；(i)基於該梯度，調整該深度學習模型之該等參數；(j)重複執行操作(a)至操作(i)，以最小化該整體損失函數之一函數值；以及(k)當該整體損失函數之該函數值已最小化時，基於該等參數被調整後之該深度學習模型，生成一分類模型。
  2. 如請求項1所述之分類模型生成裝置，其中該聚類演算法為一K-均值(K-means)演算法。
  3. 如請求項1所述之分類模型生成裝置，其中該深度學習模型為一卷積神經網絡(Convolutional Neural Network；CNN)模型、一循環神經網路(RNN：Recurrent Neural Network)及其組合其中之一。
  4. 如請求項1所述之分類模型生成裝置，其中該聚類損失函數及該向中心集中損失函數每一者係基於一均方誤差(mean squared error)函數所建立。
  5. 如請求項1所述之分類模型生成裝置，其中該分類損失函數係基於一交叉熵誤差(cross entropy error)函數所建立。
  6. 一種用於一分類模型生成裝置之分類模型生成方法，該分類模型生成裝置包含一儲存器及一處理器，該儲存器儲存複數訓練資料及一深度學習模型，該分類模型生成方法由該處理器執行且包含下列步驟：(a)將該等訓練資料輸入至該深度學習模型中；(b)自該深度學習模型，擷取對應至該等訓練資料之複數特徵向量，以及對應至該等訓練資料之複數分類結果；(c)基於一聚類演算法，將該等特徵向量劃分為複數群組；(d)基於該等群組，建立該等特徵向量之一聚類損失函數；(e)基於該等分類結果，建立該等特徵向量之一向中心集中損失函數；(f)建立該等分類結果之一分類損失函數；(g)將該聚類損失函數乘上一第一權重、該向中心集中損失函數乘上一第二權重及該分類損失函數乘上一第三權重後之一總和作為一整體損 失函數；(h)基於一反向傳播演算法，針對該深度學習模型之複數參數，計算該整體損失函數之一梯度；(i)基於該梯度，調整該深度學習模型之該等參數；(j)重複執行操作(a)至操作(i)，以最小化該整體損失函數之一函數值；以及(k)當該整體損失函數之該函數值最小化時，基於該等參數被調整後之該深度學習模型，生成一分類模型。
  7. 如請求項6所述之分類模型生成方法，其中該聚類演算法為一K-均值(K-means)演算法。
  8. 如請求項6所述之分類模型生成方法，其中該深度學習模型為一卷積神經網絡(Convolutional Neural Network；CNN)模型、一循環神經網路(RNN：Recurrent Neural Network)及其組合其中之一。
  9. 如請求項6所述之分類模型生成方法，其中該聚類損失函數及該向中心集中損失函數每一者係基於一均方誤差(mean squared error)函數所建立。
  10. 如請求項6所述之分類模型生成方法，其中該分類損失函數係基於一交叉熵誤差(cross entropy error)函數所建立。
TW109100469A 2019-11-15 2020-01-07 分類模型生成裝置及其分類模型生成方法 TWI731542B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911117515.9 2019-11-15
CN201911117515.9A CN112819019B (zh) 2019-11-15 2019-11-15 分类模型生成装置及其分类模型生成方法

Publications (2)

Publication Number Publication Date
TW202121224A TW202121224A (zh) 2021-06-01
TWI731542B true TWI731542B (zh) 2021-06-21

Family

ID=75851669

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109100469A TWI731542B (zh) 2019-11-15 2020-01-07 分類模型生成裝置及其分類模型生成方法

Country Status (3)

Country Link
US (1) US11416717B2 (zh)
CN (1) CN112819019B (zh)
TW (1) TWI731542B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI806500B (zh) * 2022-03-18 2023-06-21 廣達電腦股份有限公司 影像分類裝置和方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112015749B (zh) * 2020-10-27 2021-02-19 支付宝(杭州)信息技术有限公司 基于隐私保护更新业务模型的方法、装置及系统
CN113434698B (zh) * 2021-06-30 2022-08-02 华中科技大学 基于全层级注意力的关系抽取模型建立方法及其应用
CN113792760B (zh) * 2021-08-19 2024-07-19 北京爱笔科技有限公司 聚类分析方法、装置、计算机设备和存储介质
CN113657522B (zh) * 2021-08-23 2023-11-24 天津大学 一种多视图三维模型聚类方法
US12061675B1 (en) * 2021-10-07 2024-08-13 Cognistic, LLC Document clustering based upon document structure

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201800987A (zh) * 2016-01-29 2018-01-01 阿里巴巴集團服務有限公司 問題推薦方法及設備
WO2018137358A1 (zh) * 2017-01-24 2018-08-02 北京大学 基于深度度量学习的目标精确检索方法
CN109308486A (zh) * 2018-08-03 2019-02-05 天津大学 基于深度学习的多源图像融合和特征提取算法
TW201942769A (zh) * 2018-02-23 2019-11-01 荷蘭商Ａｓｍｌ荷蘭公司 用於圖案語意分割之深度學習
CN110443372A (zh) * 2019-07-11 2019-11-12 南京邮电大学 一种基于熵最小化的迁移学习方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107358264A (zh) 2017-07-14 2017-11-17 深圳市唯特视科技有限公司 一种基于机器学习算法进行图像分析的方法
US10025950B1 (en) * 2017-09-17 2018-07-17 Everalbum, Inc Systems and methods for image recognition
US10452958B2 (en) * 2017-10-06 2019-10-22 Mitsubishi Electric Research Laboratories, Inc. System and method for image comparison based on hyperplanes similarity
US10373056B1 (en) * 2018-01-25 2019-08-06 SparkCognition, Inc. Unsupervised model building for clustering and anomaly detection
US11636328B2 (en) * 2018-03-28 2023-04-25 University Of Maryland, College Park L2 constrained softmax loss for discriminative face verification
CN110309696B (zh) * 2018-12-19 2024-06-07 北京同方软件有限公司 基于深度学习及多聚类中心损失函数的摊贩物品分类方法
CN110134947B (zh) * 2019-04-17 2021-03-26 中国科学院计算技术研究所 一种基于不平衡多源数据的情感分类方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201800987A (zh) * 2016-01-29 2018-01-01 阿里巴巴集團服務有限公司 問題推薦方法及設備
WO2018137358A1 (zh) * 2017-01-24 2018-08-02 北京大学 基于深度度量学习的目标精确检索方法
TW201942769A (zh) * 2018-02-23 2019-11-01 荷蘭商Ａｓｍｌ荷蘭公司 用於圖案語意分割之深度學習
CN109308486A (zh) * 2018-08-03 2019-02-05 天津大学 基于深度学习的多源图像融合和特征提取算法
CN110443372A (zh) * 2019-07-11 2019-11-12 南京邮电大学 一种基于熵最小化的迁移学习方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI806500B (zh) * 2022-03-18 2023-06-21 廣達電腦股份有限公司 影像分類裝置和方法

Also Published As

Publication number Publication date
US20210150284A1 (en) 2021-05-20
CN112819019B (zh) 2023-06-20
US11416717B2 (en) 2022-08-16
TW202121224A (zh) 2021-06-01
CN112819019A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
TWI731542B (zh) 分類模型生成裝置及其分類模型生成方法
US11455807B2 (en) Training neural networks for vehicle re-identification
Sahoo et al. HAR-depth: a novel framework for human action recognition using sequential learning and depth estimated history images
CN110533041B (zh) 基于回归的多尺度场景文本检测方法
CN106339753A (zh) 一种有效提升卷积神经网络稳健性的方法
WO2023280113A1 (zh) 数据处理方法、神经网络模型的训练方法及装置
CN111538841B (zh) 基于知识互蒸馏的评论情感分析方法、装置及系统
CN109815814A (zh) 一种基于卷积神经网络的人脸检测方法
CN111598183A (zh) 一种多特征融合图像描述方法
Lin et al. PS-mixer: A polar-vector and strength-vector mixer model for multimodal sentiment analysis
CN113139499A (zh) 一种基于轻量注意力卷积神经网络的步态识别方法和系统
Kohl et al. Learning similarity metrics for numerical simulations
US10163000B2 (en) Method and apparatus for determining type of movement of object in video
Khoi et al. Object detection for drones on Raspberry Pi potentials and challenges
Ke et al. Mango varieties classification-based optimization with transfer learning and deep learning approaches
Ching et al. Learning image aesthetics by learning inpainting
Mohana et al. Emotion recognition from facial expression using hybrid CNN–LSTM network
Huang et al. A Multi-Stage Vision Transformer for Fine-grained Image Classification
US20230368031A1 (en) Training Machine-Trained Models by Directly Specifying Gradient Elements
CN115795025A (zh) 一种摘要生成方法及其相关设备
Tripathi TRANSFER LEARNING ON DEEP NEURAL NETWORK: A CASE STUDY ON FOOD-101 FOOD CLASSIFIER
Ma et al. Dynamic sign language recognition based on improved residual-lstm network
Zhu et al. Real-time precision detection algorithm for jellyfish stings in neural computing, featuring adaptive deep learning enhanced by an advanced YOLOv4 framework
Bose et al. Precise Hand Gesture Recognition under Hard Visual Environments using Deep Architecture
Bisoi et al. Human Activity Recognition Using CTAL Model