TWI752455B - 圖像分類模型訓練方法、影像處理方法、資料分類模型訓練方法、資料處理方法、電腦設備、儲存媒介 - Google Patents

圖像分類模型訓練方法、影像處理方法、資料分類模型訓練方法、資料處理方法、電腦設備、儲存媒介 Download PDF

Info

Publication number
TWI752455B
TWI752455B TW109111415A TW109111415A TWI752455B TW I752455 B TWI752455 B TW I752455B TW 109111415 A TW109111415 A TW 109111415A TW 109111415 A TW109111415 A TW 109111415A TW I752455 B TWI752455 B TW I752455B
Authority
TW
Taiwan
Prior art keywords
category
image
sample image
sample
classification
Prior art date
Application number
TW109111415A
Other languages
English (en)
Other versions
TW202119288A (zh
Inventor
譚靖儒
王昌寶
李全全
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202119288A publication Critical patent/TW202119288A/zh
Application granted granted Critical
Publication of TWI752455B publication Critical patent/TWI752455B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

一種圖像分類模型訓練方法、影像處理方法、資料分類模型訓練方法、資料處理方法、電腦設備、儲存媒介，該方法包括：獲取標注樣本圖像集；標注樣本圖像集中包括多個標注樣本圖像，以及與每個標注樣本圖像分別對應的分類標籤；基於標注樣本圖像，以及與每個標注樣本圖像分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊；基於多個標注樣本圖像分別對應的分類標籤、以及每個類別分別對應的頻率資訊，確定圖像分類模型的損失資訊；基於損失資訊，對圖像分類模型進行訓練；圖像分類模型用於確定待識別圖像的類別。

Description

圖像分類模型訓練方法、影像處理方法、資料分類模型訓練方法、資料處理方法、電腦設備、儲存媒介
本公開涉及資料處理技術領域，具體而言，涉及一種圖像分類模型訓練方法、影像處理方法及裝置。
在基於神經網路模型執行分類任務之前，需要先對神經網路模型進行訓練。而在對神經網路模型進行訓練的時候，為了提升神經網路模型的分類精度，通常需要依賴大量的標注樣本。
在對樣本進行標注過程中，可能會出現不同類別所對應的正樣本數量不均衡的情況。
本公開實施例至少提供一種圖像分類模型訓練方法、影像處理方法及裝置。
第一方面，本公開實施例提供了一種圖像分類模型訓練方法，包括：獲取標注樣本圖像集；所述標注樣本圖像集中包括多個標注樣本圖像，以及與每個標注樣本圖像分別對應的分類標籤；基於所述標注樣本圖像，以及與每個所述標注樣本圖像分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊；基於所述多個標注樣本圖像分別對應的分類標籤、以及每個類別分別對應的所述頻率資訊，確定圖像分類模型的損失資訊；基於所述損失資訊，對所述圖像分類模型進行訓練；所述圖像分類模型用於確定待識別圖像的類別。
這裡，在對分類模型進行訓練的時候，會基於標注樣本圖像以及與每個標注樣本圖像分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊，然後基於多個標注樣本圖像分別對應的分類標籤、以及每個類別分別對應的頻率資訊來確定分類模型的損失資訊，以基於該損失資訊對分類模型進行訓練，該過程中，由於是基於每個類別分別對應的頻率資訊和各個樣本圖像分別對應的分類標籤來確定損失資訊，能夠根據各個類別的頻率資訊，來調節某個類別的正負樣本在圖像分類模型訓練過程中，對圖像分類模型的影響程度的方式，來平衡正負樣本對各個類別產生的影響，進而提升分類模型對正樣本較少的類別的識別精度。
一種可選的實施方式中，所述基於所述標注樣本圖像，以及與每個所述標注樣本圖像分別對應的分類標籤，確定預設的多個類別中每個類別對應的頻率資訊，包括：針對每個類別，基於屬於該類別的標注樣本圖像，以及與各標注樣本圖像對應的原始樣本圖像，確定該類別對應的原始樣本圖像的數量；其中，每個原始樣本圖像對應有一個或多個標注樣本圖像；基於所述原始樣本圖像的數量，確定該類別對應的頻率資訊。這裡，採用該種方式來確定頻率資訊，避免將正樣本較少的類別被判斷為背景類。
一種可選的實施方式中，所述基於所述標注樣本圖像，以及與每個所述標注樣本圖像分別對應的分類標籤，確定預設的多個類別中每個類別對應的頻率資訊，包括：針對每個類別，基於所述標注樣本圖像集中的標注樣本圖像的總數量，以及屬於該類別的標注樣本圖像的數量，確定該類別對應的頻率資訊；或者，將屬於該類別的標注樣本圖像的數量作為該類別對應的頻率資訊。這裡，根據標注樣本圖像的數量來確定類別對應的頻率資訊，過程更簡單快捷。
一種可選的實施方式中，所述基於所述多個標注樣本圖像分別對應的分類標籤、以及每個類別分別對應的所述頻率資訊，確定分類模型的損失資訊，包括：針對每個標注樣本圖像，根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，得到在使用分類模型對該標注樣本圖像進行分類時的損失資訊。這裡，針對每個標注樣本圖像來確定損失資訊，實現基於每個標注樣本圖像對圖像分類模型的參數進行調整，最終實現圖像分類模型的訓練。
一種可選的實施方式中，所述根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，得到在使用分類模型對該標注樣本圖像進行分類時的損失資訊，包括：根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重；基於預設的多個類別中的每個類別對應的損失權重，得到在使用所述分類模型對該標注樣本圖像進行分類時的損失資訊。這裡，基於分類標籤，以及頻率資訊，確定損失資訊，提升圖像分類模型對於正樣本數量較少的類別的識別精度。
一種可選的實施方式中，所述根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重，包括：針對任一類別，在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為非背景的標注樣本圖像，且該任一類別對應的頻率資訊小於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第一預設損失權重值。這裡，在圖像分類模型訓練過程中，透過調節某個類別的正負樣本對圖像分類模型的影響程度的方式，來提升分類模型對正樣本較為稀少的類別的檢測精度。
一種可選的實施方式中，所述根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重，包括：針對任一類別，在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為背景的標注樣本圖像，和/或，該任一類別對應的頻率資訊大於或者等於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第二預設損失權重值。這裡，在圖像分類模型訓練過程中，透過調節某個類別的正負樣本對圖像分類模型的影響程度的方式，來提升分類模型對正樣本較為稀少的類別的檢測精度。
一種可選的實施方式中，所述根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重，包括：根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，以及該標注樣本圖像對應的原始樣本圖像的正樣本類別集、以及負樣本類別集，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重。
其中，所述正樣本類別集中，包括該原始樣本圖像中包含的至少一種目標物件的類別；所述負樣本類別集中，包括該原始樣本圖像中並未包含的至少一種目標物件的類別。這裡，確定任一類別是否屬於該標注樣本圖像對應的正樣本類別集以及負樣本類別集。若屬於，則不會降低甚至忽略標注樣本圖像對該類別的影響，進而讓圖像分類模型能夠學習到該任一類別的更多特徵，和差異性特徵，提升圖像分類模型的精度。
一種可選的實施方式中，採用下述方式獲取該標注樣本圖像對應的原始樣本圖像的正樣本類別集：從所述標注樣本圖像集中，確定與該標注樣本圖像對應同一原始樣本圖像的目標標注樣本圖像；基於該標注樣本圖像以及所述目標標注樣本圖像分別對應的分類標籤，確定該標注樣本圖像對應的原始樣本圖像的正樣本類別集；或者，根據該標注樣本圖像對應的原始樣本圖像的第一輔助分類標籤，確定該標注樣本圖像對應的原始樣本圖像的正樣本類別集；所述第一輔助分類標籤用於指示所述原始樣本圖像中包含的目標物件的類別。這裡，方便快速的確定每個標注樣本圖像對應的正樣本類別集。
一種可選的實施方式中，採用下述方式獲取該標注樣本圖像對應的原始樣本圖像的負樣本類別集：根據該標注樣本圖像對應的原始樣本圖像的第二輔助分類標籤，確定該標注樣本圖像對應的原始樣本圖像的負樣本類別集；所述第二輔助分類標籤用於指示所述原始樣本圖像中未包含的目標物件的類別。這裡，方便快速的確定每個標注樣本圖像對應的負樣本類別集。
一種可選的實施方式中，所述根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，以及該標注樣本圖像對應的原始樣本圖像的正樣本類別集、以及負樣本類別集，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重，包括：針對任一類別，在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為非背景的標注樣本圖像，該任一類別不屬於所述正樣本類別集以及所述負樣本類別集，該任一類別對應的頻率資訊小於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第一預設損失權重值。
一種可選的實施方式中，所述根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，以及該標注樣本圖像對應的原始樣本圖像的正樣本類別集、以及負樣本類別集，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重，包括：針對任一類別，在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為背景的標注樣本圖像，和/或，該任一類別屬於所述正樣本類別集或所述負樣本類別集，和/或，該任一類別對應的頻率資訊大於或者等於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第二預設損失權重值。這裡，確定任一類別是否屬於該標注樣本圖像對應的正樣本類別集以及負樣本類別集。若屬於，則不會降低甚至忽略標注樣本圖像對該類別的影響，進而讓圖像分類模型能夠學習到該任一類別的更多特徵，和差異性特徵，提升圖像分類模型的精度。
第二方面，本公開實施例提供一種影像處理方法，該方法包括：基於預先訓練的圖像分類模型執行影像處理任務；所述圖像分類模型透過上述第一方面任一項所述的圖像分類模型訓練方法訓練得到；所述影像處理任務包括：圖像分類、物件檢測、關鍵點檢測、圖像分割、實例分割中一種或者多種。
協力廠商面，本公開實施例提供一種資料分類模型訓練方法，包括：獲取標注樣本資料集；所述標注樣本資料集中包括多個標注樣本資料，以及與每個標注樣本資料分別對應的分類標籤；基於所述標注樣本資料，以及與每個所述標注樣本資料分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊；基於所述多個標注樣本資料分別對應的分類標籤、以及每個類別分別對應的所述頻率資訊，確定資料分類模型的損失資訊；基於所述損失資訊，對所述資料分類模型進行訓練；所述資料分類模型用於確定待識別資料的類別。
一種可選的實施方式中，所述基於所述標注樣本資料，以及與每個所述標注樣本資料分別對應的分類標籤，確定預設的多個類別中每個類別對應的頻率資訊，包括：針對每個類別，基於屬於該類別的標注樣本資料，以及與各標注樣本資料對應的原始樣本資料，確定該類別對應的原始樣本資料的數量；其中，每個原始樣本資料對應有一個或多個標注樣本資料；基於所述原始樣本資料的數量，確定該類別對應的頻率資訊。
一種可選的實施方式中，所述基於所述標注樣本資料，以及與每個所述標注樣本資料分別對應的分類標籤，確定預設的多個類別中每個類別對應的頻率資訊，包括：針對每個類別，基於所述標注樣本資料集中的標注樣本資料的總數量，以及屬於該類別的標注樣本資料的數量，確定該類別對應的頻率資訊；或者，將屬於該類別的標注樣本資料的數量作為該類別對應的頻率資訊。
一種可選的實施方式中，所述基於所述多個標注樣本資料分別對應的分類標籤、以及每個類別分別對應的所述頻率資訊，確定分類模型的損失資訊，包括：針對每個標注樣本資料，根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，得到在使用分類模型對該標注樣本資料進行分類時的損失資訊。
一種可選的實施方式中，所述根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，得到在使用分類模型對該標注樣本資料進行分類時的損失資訊，包括：根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本資料，預設的多個類別中的每個類別對應的損失權重；基於預設的多個類別中的每個類別對應的損失權重，得到在使用所述分類模型對該標注樣本資料進行分類時的損失資訊。
一種可選的實施方式中，所述根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本資料，預設的多個類別中的每個類別對應的損失權重，包括：針對任一類別，在確定該標注樣本資料的分類標籤指示該標注樣本資料為非背景的標注樣本資料，且該任一類別對應的頻率資訊小於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第一預設損失權重值。
一種可選的實施方式中，所述根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本資料，預設的多個類別中的每個類別對應的損失權重，包括：針對任一類別，在確定該標注樣本資料的分類標籤指示該標注樣本資料為背景的標注樣本資料，和/或，該任一類別對應的頻率資訊大於或者等於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第二預設損失權重值。
一種可選的實施方式中，所述根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本資料，預設的多個類別中的每個類別對應的損失權重，包括：根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，以及該標注樣本資料對應的原始樣本資料的正樣本類別集、以及負樣本類別集，確定針對該標注樣本資料，預設的多個類別中的每個類別對應的損失權重。
其中，所述正樣本類別集中，包括該原始樣本資料中包含的至少一種目標物件的類別；所述負樣本類別集中，包括該原始樣本資料中並未包含的至少一種目標物件的類別。
一種可選的實施方式中，採用下述方式獲取該標注樣本資料對應的原始樣本資料的正樣本類別集：從所述標注樣本資料集中，確定與該標注樣本資料對應同一原始樣本資料的目標標注樣本資料；基於該標注樣本資料以及所述目標標注樣本資料分別對應的分類標籤，確定該標注樣本資料對應的原始樣本資料的正樣本類別集；或者，根據該標注樣本資料對應的原始樣本資料的第一輔助分類標籤，確定該標注樣本資料對應的原始樣本資料的正樣本類別集；所述第一輔助分類標籤用於指示所述原始樣本資料中包含的目標物件的類別。
一種可選的實施方式中，採用下述方式獲取該標注樣本資料對應的原始樣本資料的負樣本類別集：根據該標注樣本資料對應的原始樣本資料的第二輔助分類標籤，確定該標注樣本資料對應的原始樣本資料的負樣本類別集；所述第二輔助分類標籤用於指示所述原始樣本資料中未包含的目標物件的類別。
一種可選的實施方式中，所述根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，以及該標注樣本資料對應的原始樣本資料的正樣本類別集、以及負樣本類別集，確定針對該標注樣本資料，預設的多個類別中的每個類別對應的損失權重，包括：針對任一類別，在確定該標注樣本資料的分類標籤指示該標注樣本資料為非背景的標注樣本資料，該任一類別不屬於所述正樣本類別集以及所述負樣本類別集，該任一類別對應的頻率資訊小於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第一預設損失權重值。
一種可選的實施方式中，所述根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，以及該標注樣本資料對應的原始樣本資料的正樣本類別集、以及負樣本類別集，確定針對該標注樣本資料，預設的多個類別中的每個類別對應的損失權重，包括：針對任一類別，在確定該標注樣本資料的分類標籤指示該標注樣本資料為背景的標注樣本資料，和/或，該任一類別屬於所述正樣本類別集或所述負樣本類別集，和/或，該任一類別對應的頻率資訊大於或者等於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第二預設損失權重值。
第四方面，本公開實施例提供一種資料處理方法，該方法包括：基於預先訓練的資料分類模型執行資料處理任務；所述資料分類模型透過上述第二方面任一項所述的資料分類模型訓練方法訓練得到；述資料處理任務包括：資料分類、資料分割、實例分割中一種或者多種；所述資料包括：圖像資料、以及文本資料中任一種。
第五方面，本公開實施例提供一種圖像分類模型訓練裝置，包括：第一獲取模組，用於獲取標注樣本圖像集；所述標注樣本圖像集中包括多個標注樣本圖像，以及與每個標注樣本圖像分別對應的分類標籤；第一頻率資訊確定模組，用於基於所述標注樣本圖像，以及與每個所述標注樣本圖像分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊；第一損失資訊確定模組，用於基於所述多個標注樣本圖像分別對應的分類標籤、以及每個類別分別對應的所述頻率資訊，確定圖像分類模型的損失資訊；第一訓練模組，用於基於所述損失資訊，對所述圖像分類模型進行訓練；所述圖像分類模型用於確定待識別圖像的類別。
一種可選的實施方式中，所述第一頻率資訊確定模組，在所述基於所述標注樣本圖像，以及與每個所述標注樣本圖像分別對應的分類標籤，確定預設的多個類別中每個類別對應的頻率資訊時，用於：針對每個類別，基於屬於該類別的標注樣本圖像，以及與各標注樣本圖像對應的原始樣本圖像，確定該類別對應的原始樣本圖像的數量；其中，每個原始樣本圖像對應有一個或多個標注樣本圖像；基於所述原始樣本圖像的數量，確定該類別對應的頻率資訊。
一種可選的實施方式中，所述第一頻率資訊確定模組，在基於所述標注樣本圖像，以及與每個所述標注樣本圖像分別對應的分類標籤，確定預設的多個類別中每個類別對應的頻率資訊時，用於：針對每個類別，基於所述標注樣本圖像集中的標注樣本圖像的總數量，以及屬於該類別的標注樣本圖像的數量，確定該類別對應的頻率資訊；或者，將屬於該類別的標注樣本圖像的數量作為該類別對應的頻率資訊。
一種可選的實施方式中，所述第一損失資訊確定模組，在基於所述多個標注樣本圖像分別對應的分類標籤、以及每個類別分別對應的所述頻率資訊，確定分類模型的損失資訊時，用於：針對每個標注樣本圖像，根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，得到在使用分類模型對該標注樣本圖像進行分類時的損失資訊。
一種可選的實施方式中，所述第一損失資訊確定模組，在根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，得到在使用分類模型對該標注樣本圖像進行分類時的損失資訊時，用於：根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重；基於預設的多個類別中的每個類別對應的損失權重，得到在使用所述分類模型對該標注樣本圖像進行分類時的損失資訊。
一種可選的實施方式中，所述第一損失資訊確定模組，在根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重時，用於：針對任一類別，在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為非背景的標注樣本圖像，且該任一類別對應的頻率資訊小於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第一預設損失權重值。
一種可選的實施方式中，所述第一損失資訊確定模組，在根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重時，用於：在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為背景的標注樣本圖像，和/或，該任一類別對應的頻率資訊大於或者等於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第二預設損失權重值。
一種可選的實施方式中，所述第一損失資訊確定模組，在根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重時，用於：根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，以及該標注樣本圖像對應的原始樣本圖像的正樣本類別集、以及負樣本類別集，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重。
其中，所述正樣本類別集中，包括該原始樣本圖像中包含的至少一種目標物件的類別；所述負樣本類別集中，包括該原始樣本圖像中並未包含的至少一種目標物件的類別。
一種可選的實施方式中，所述第一損失資訊確定模組，用於採用下述方式獲取該標注樣本圖像對應的原始樣本圖像的正樣本類別集：從所述標注樣本圖像集中，確定與該標注樣本圖像對應同一原始樣本圖像的目標標注樣本圖像；基於該標注樣本圖像以及所述目標標注樣本圖像分別對應的分類標籤，確定該標注樣本圖像對應的原始樣本圖像的正樣本類別集；或者，根據該標注樣本圖像對應的原始樣本圖像的第一輔助分類標籤，確定該標注樣本圖像對應的原始樣本圖像的正樣本類別集；所述第一輔助分類標籤用於指示所述原始樣本圖像中包含的目標物件的類別。
一種可選的實施方式中，所述第一損失資訊確定模組，用於採用下述方式獲取該標注樣本圖像對應的原始樣本圖像的負樣本類別集：根據該標注樣本圖像對應的原始樣本圖像的第二輔助分類標籤，確定該標注樣本圖像對應的原始樣本圖像的負樣本類別集；所述第二輔助分類標籤用於指示所述原始樣本圖像中未包含的目標物件的類別。
一種可選的實施方式中，所述第一損失資訊確定模組，在根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，以及該標注樣本圖像對應的原始樣本圖像的正樣本類別集、以及負樣本類別集，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重時，用於：
針對任一類別，在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為非背景的標注樣本圖像，該任一類別不屬於所述正樣本類別集以及所述負樣本類別集，該任一類別對應的頻率資訊小於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第一預設損失權重值。
一種可選的實施方式中，所述第一損失資訊確定模組，在根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，以及該標注樣本圖像對應的原始樣本圖像的正樣本類別集、以及負樣本類別集，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重時，用於：針對任一類別，在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為背景的標注樣本圖像，和/或，該任一類別屬於所述正樣本類別集或所述負樣本類別集，和/或，該任一類別對應的頻率資訊大於或者等於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第二預設損失權重值。
第六方面，本公開提供一種影像處理裝置，該裝置包括：第一處理模組，用於基於預先訓練的圖像分類模型執行影像處理任務；所述圖像分類模型透過上述第一方面任一項所述的圖像分類模型訓練方法訓練得到；所述影像處理任務包括：圖像分類、物件檢測、關鍵點檢測、圖像分割、實例分割中一種或者多種。
第七方面，本公開實施例提供一種資料分類模型訓練裝置，包括：第二獲取模組，用於獲取標注樣本資料集；所述標注樣本資料集中包括多個標注樣本資料，以及與每個標注樣本資料分別對應的分類標籤；第二頻率資訊確定模組，用於基於所述標注樣本資料，以及與每個所述標注樣本資料分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊；第二損失資訊確定模組，用於基於所述多個標注樣本資料分別對應的分類標籤、以及每個類別分別對應的所述頻率資訊，確定資料分類模型的損失資訊；第二訓練模組，用於基於所述損失資訊，對所述資料分類模型進行訓練；所述資料分類模型用於確定待識別資料的類別。
一種可選的實施方式中，所述第二頻率資訊確定模組，在基於所述標注樣本資料，以及與每個所述標注樣本資料分別對應的分類標籤，確定預設的多個類別中每個類別對應的頻率資訊時，用於：針對每個類別，基於屬於該類別的標注樣本資料，以及與各標注樣本資料對應的原始樣本資料，確定該類別對應的原始樣本資料的數量；其中，每個原始樣本資料對應有一個或多個標注樣本資料；基於所述原始樣本資料的數量，確定該類別對應的頻率資訊。
一種可選的實施方式中，所述第二頻率資訊確定模組，在基於所述標注樣本資料，以及與每個所述標注樣本資料分別對應的分類標籤，確定預設的多個類別中每個類別對應的頻率資訊時，用於：針對每個類別，基於所述標注樣本資料集中的標注樣本資料的總數量，以及屬於該類別的標注樣本資料的數量，確定該類別對應的頻率資訊；或者，將屬於該類別的標注樣本資料的數量作為該類別對應的頻率資訊。
一種可選的實施方式中，所述第二損失資訊確定模組，在基於所述多個標注樣本資料分別對應的分類標籤、以及每個類別分別對應的所述頻率資訊，確定分類模型的損失資訊時，用於：針對每個標注樣本資料，根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，得到在使用分類模型對該標注樣本資料進行分類時的損失資訊。
一種可選的實施方式中，所述第二損失資訊確定模組，在根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，得到在使用分類模型對該標注樣本資料進行分類時的損失資訊時，用於：根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本資料，預設的多個類別中的每個類別對應的損失權重；基於預設的多個類別中的每個類別對應的損失權重，得到在使用所述分類模型對該標注樣本資料進行分類時的損失資訊。
一種可選的實施方式中，所述第二損失資訊確定模組，在根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本資料，預設的多個類別中的每個類別對應的損失權重時，用於：針對任一類別，在確定該標注樣本資料的分類標籤指示該標注樣本資料為非背景的標注樣本資料，且該任一類別對應的頻率資訊小於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第一預設損失權重值。
一種可選的實施方式中，所述第二損失資訊確定模組，在根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本資料，預設的多個類別中的每個類別對應的損失權重時，用於：針對任一類別，在確定該標注樣本資料的分類標籤指示該標注樣本資料為背景的標注樣本資料，和/或，該任一類別對應的頻率資訊大於或者等於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第二預設損失權重值。
一種可選的實施方式中，所述第二損失資訊確定模組，在根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本資料，預設的多個類別中的每個類別對應的損失權重時，用於：根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，以及該標注樣本資料對應的原始樣本資料的正樣本類別集、以及負樣本類別集，確定針對該標注樣本資料，預設的多個類別中的每個類別對應的損失權重。
其中，所述正樣本類別集中，包括該原始樣本資料中包含的至少一種目標物件的類別；所述負樣本類別集中，包括該原始樣本資料中並未包含的至少一種目標物件的類別。
一種可選的實施方式中，所述第二損失資訊確定模組，用於採用下述方式獲取該標注樣本資料對應的原始樣本資料的正樣本類別集：從所述標注樣本資料集中，確定與該標注樣本資料對應同一原始樣本資料的目標標注樣本資料；基於該標注樣本資料以及所述目標標注樣本資料分別對應的分類標籤，確定該標注樣本資料對應的原始樣本資料的正樣本類別集；或者，根據該標注樣本資料對應的原始樣本資料的第一輔助分類標籤，確定該標注樣本資料對應的原始樣本資料的正樣本類別集；所述第一輔助分類標籤用於指示所述原始樣本資料中包含的目標物件的類別。
一種可選的實施方式中，所述第二損失資訊確定模組，用於採用下述方式獲取該標注樣本資料對應的原始樣本資料的負樣本類別集：根據該標注樣本資料對應的原始樣本資料的第二輔助分類標籤，確定該標注樣本資料對應的原始樣本資料的負樣本類別集；所述第二輔助分類標籤用於指示所述原始樣本資料中未包含的目標物件的類別。
一種可選的實施方式中，所述第二損失資訊確定模組，在根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，以及該標注樣本資料對應的原始樣本資料的正樣本類別集、以及負樣本類別集，確定針對該標注樣本資料，預設的多個類別中的每個類別對應的損失權重時，用於：針對任一類別，在確定該標注樣本資料的分類標籤指示該標注樣本資料為非背景的標注樣本資料，該任一類別不屬於所述正樣本類別集以及所述負樣本類別集，該任一類別對應的頻率資訊小於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第一預設損失權重值。
一種可選的實施方式中，所述第二損失資訊確定模組，在根據該標注樣本資料的分類標籤、以及每個類別分別對應的頻率資訊，以及該標注樣本資料對應的原始樣本資料的正樣本類別集、以及負樣本類別集，確定針對該標注樣本資料，預設的多個類別中的每個類別對應的損失權重時，用於：針對任一類別，在確定該標注樣本資料的分類標籤指示該標注樣本資料為背景的標注樣本資料，和/或，該任一類別屬於所述正樣本類別集或所述負樣本類別集，和/或，該任一類別對應的頻率資訊大於或者等於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第二預設損失權重值。
第八方面，本公開實施例提供一種資料處理裝置，該裝置包括：第二處理模組，用於基於預先訓練的資料分類模型執行資料處理任務；所述資料分類模型透過上述協力廠商面任一項所述的資料分類模型訓練方法訓練得到；所述資料處理任務包括：資料分類、資料分割、實例分割中一種或者多種；所述資料包括：圖像資料、以及文本資料中任一種。
第九方面，本公開實施例還提供一種電腦設備，包括：處理器、儲存器和匯流排，所述儲存器儲存有所述處理器可執行的機器可讀指令，當電腦設備運行時，所述處理器與所述儲存器之間透過匯流排通訊，所述機器可讀指令被所述處理器執行時執行上述第一方面，或第一方面中任一種可能的實施方式中的步驟；或執行上述第二方面，或第二方面中任一種可能的實施方式中的步驟；或執行上述協力廠商面，或協力廠商面中任一種可能的實施方式中的步驟；或執行上述第四方面，或第四方面中任一種可能的實施方式中的步驟。
第十方面，本公開實施例還提供一種電腦可讀儲存媒介，該電腦可讀儲存媒介上儲存有電腦程式，該電腦程式被處理器運行時執行上述第一方面，或第一方面中任一種可能的實施方式中的步驟；或執行上述第二方面，或第二方面中任一種可能的實施方式中的步驟；或執行上述協力廠商面，或協力廠商面中任一種可能的實施方式中的步驟；或執行上述第四方面，或第四方面中任一種可能的實施方式中的步驟。
第十一方面，本公開實施例還提供一種電腦程式，該電腦程式被處理器執行時實現上述第一方面，或第一方面中任一種可能的實施方式中的步驟；或執行上述第二方面，或第二方面中任一種可能的實施方式中的步驟；或執行上述協力廠商面，或協力廠商面中任一種可能的實施方式中的步驟；或執行上述第四方面，或第四方面中任一種可能的實施方式中的步驟。
為使本公開的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下。
為使本公開實施例的目的、技術方案和優點更加清楚，下面將結合本公開實施例中圖式，對本公開實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本公開一部分實施例，而不是全部的實施例。通常在此處圖式中描述和示出的本公開實施例的元件可以以各種不同的配置來佈置和設計。因此，以下對在圖式中提供的本公開的實施例的詳細描述並非旨在限制要求保護的本公開的範圍，而是僅僅表示本公開的選定實施例。基於本公開的實施例，所屬技術領域中具有通常知識者在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本公開保護的範圍。
經研究發現，在對多分類的神經網路模型進行訓練過程中，針對任一種類別而言，其他類別的正樣本都會構成該任一種類別的負樣本；若該任一類別的正樣本數量較為稀少，對於該任一類別而言，正負樣本的比例失衡，負樣本會對該任一類別產生顯著影響，造成多類別的神經網路模型在對該任一類別的目標物件進行識別時的識別精度較低。
基於上述研究，本公開提供了一種圖像分類模型訓練方法，在對分類模型進行訓練的時候，會基於標注樣本圖像以及與每個標注樣本圖像分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊，然後基於多個標注樣本圖像分別對應的分類標籤、以及每個類別分別對應的頻率資訊來確定分類模型的損失資訊，以基於該損失資訊對分類模型進行訓練，該過程中，由於是基於每個類別分別對應的頻率資訊和各個樣本圖像分別對應的分類標籤來確定損失資訊，能夠根據各個類別的頻率資訊，來調節某個類別的正負樣本在圖像分類模型訓練過程中，對圖像分類模型的影響程度的方式，來平衡正負樣本對各個類別產生的影響，進而提升分類模型對正樣本較少的類別的識別精度。
針對以上方案所存在的缺陷，均是發明人在經過實踐並仔細研究後得出的結果，因此，上述問題的發現過程以及下文中本公開針對上述問題所提出的解決方案，都應該是發明人在本公開過程中對本公開做出的貢獻。
下面將結合本公開中圖式，對本公開中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本公開一部分實施例，而不是全部的實施例。通常在此處圖式中描述和示出的本公開的元件可以以各種不同的配置來佈置和設計。因此，以下對在圖式中提供的本公開的實施例的詳細描述並非旨在限制要求保護的本公開的範圍，而是僅僅表示本公開的選定實施例。基於本公開的實施例，所屬技術領域中具有通常知識者在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本公開保護的範圍。
應注意到：相似的標號和字母在下面的圖式中表示類似項，因此，一旦某一項在一個圖式中被定義，則在隨後的圖式中不需要對其進行進一步定義和解釋。
為便於對本實施例進行理解，首先對本公開實施例所公開的一種圖像的分類模型訓練方法進行詳細介紹，本公開實施例所提供的分類模型訓練方法的執行主體一般為具有一定計算能力的電腦設備，該電腦設備例如包括：終端設備或伺服器或其它處理設備，終端設備可以為使用者設備（User Equipment，UE）、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理（Personal Digital Assistant，PDA）、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該分類模型訓練方法可以透過處理器調用儲存器中儲存的電腦可讀指令的方式來實現。
實施例一
參見圖1所示，為本公開實施例提供的一種圖像分類模型訓練的流程圖，方法包括步驟S101~S104，其中：
步驟S101：獲取標注樣本圖像集；標注樣本圖像集中包括多個標注樣本圖像，以及與每個標注樣本圖像分別對應的分類標籤；
步驟S102：基於標注樣本圖像，以及與每個標注樣本圖像分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊；
步驟S103：基於多個標注樣本圖像分別對應的分類標籤、以及每個類別分別對應的頻率資訊，確定圖像分類模型的損失資訊；
步驟S104：基於損失資訊，對圖像分類模型進行訓練；圖像分類模型用於確定待識別圖像的類別。
下面分別對上述步驟S101~S104分別加以詳細描述。
I：在上述步驟S101中，標注樣本圖像集中包括多個標注樣本圖像，不同的標注樣本圖像可以對不同的原始樣本圖像進行標注生成，也可以對應相同的原始樣本圖像進行標注生成。每一個標注樣本圖像中，包括了至少一個被標注出來的目標物件，以及與該目標物件對應的標籤，此處，目標物件是指圖像分類模型能夠識別的多種物件任一種，而目標物件對應的標籤，則是指該目標物件所屬的類別。
例如在某原始樣本圖像中，既包含有目標物件A，又包含有目標物件B，則在對該張原始樣本圖像進行標注的時候，可以將目標物件A在該原始樣本圖像中的位置標注出來，並添加“目標物件A”的分類標籤，形成一個標注樣本圖像，也可以將目標物件B在該原始樣本圖像中的位置標注出來，並添加“目標物件B”的分類標籤，形成另外一個標注樣本圖像。
另外，若在某張原始樣本圖像中包括了多個相同的目標物件，可以針對每個目標物件均形成一個標注樣本圖像，例如在某原始樣本圖像中包含了三個目標物件A，則在對該張原始樣本圖像進行標注的時候，針對第一個目標物件A，將第一個目標物件A在該原始樣本圖像中的位置標注出來，並添加“目標物件A”的分類標籤；針對第二個目標物件A，將第二個目標物件A在該原始樣本圖像中的位置標注出來，並添加“目標物件A”的分類標籤；針對第三個目標物件A，將第三個目標物件A在該原始樣本圖像中的位置標注出來，並添加“目標物件A”的分類標籤。
另外，在某張原始樣本圖像中包括了多個相同的目標物件時，也可以針對所有相同的目標物件形成多個標注樣本圖像。
例如在某原始樣本圖像中包含了三個目標物件A，則在對該張原始樣本圖像進行標注的時候，針對三個目標物件A，將三個目標物件A均在該原始樣本圖像中的位置標注出來，並添加“目標物件A”的標籤。
具體的標注方式可以根據分類目的來進行。例如若分類目的是實例分割，就要針對不同目標物件形成不同的標注樣本圖像。例如若分類目的是識別哪張圖像中具有某種物件，則可以針對所有相同的目標物件形成一個標注樣本圖像。
在訓練圖像分類模型之前，首先要確定圖像分類模型能夠識別的物件的類別，然後根據確定的圖像分類模型能夠識別的物件的類別來確定標注樣本圖像集。
在標注樣本圖像集中，包括與每個類別分別對應的標注樣本圖像，也即針對任一類別，在該類別下的正樣本。
而針對任一類別，其他類別對應的標注樣本圖像均構成該任一類別的負樣本。
另外，在標注樣本圖像集中，還可以包括多個對於所有類別而言均屬於負樣本的標注樣本圖像。
例如，在對某原始圖像進行標注時，將其中不屬於任何一種類別的物件在原始樣本圖像中的位置標注出來，並添加“無類別”或“背景”的分類標籤。
在另一實施例中，分類標籤還可以用數位的形式來表達；例如圖像分類模型能夠識別的物件的類別有30種，則使用1~30分別表示30種類別，使用0作為對於所有類別均屬於負樣本的標注樣本圖像的分類標籤。
II：在上述步驟S102中，任一類別對應的頻率資訊，例如可以為下述中任一種：
該任一類別對應的標注樣本圖像的數量、該任一類別對應的標注樣本圖像在標注樣本圖像集中的占比、該任一類別對應的標注樣本圖像的原始樣本圖像的數量、該任一類別對應的標注樣本圖像的原始樣本圖像，在所有標注樣本圖像的原始樣本圖像中的數量占比。
進而，例如可以採用但不限於下述方式（1）、（2）、（3）中任一種確定多個類別中每個類別對應的頻率資訊：
（1）針對每個類別，基於屬於該類別的標注樣本圖像，以及與各標注樣本圖像對應的原始樣本圖像，確定該類別對應的原始樣本圖像的數量；其中，每個原始樣本圖像對應有一個或多個標注樣本圖像；
基於原始樣本圖像的數量，確定該類別對應的頻率資訊。
這裡，可以將原始樣本圖像的數量，直接確定為該類別對應的頻率資訊，也可以將原始樣本圖像的在所有原始樣本圖像中的數量占比確定為該類別對應的頻率資訊。
具體地，由於不同的標注樣本圖像可能是來源於相同的原始樣本圖像，因此，將這些來源於相同原始樣本圖像的不同標注樣本圖像輸入至圖像分類模型中後，在圖像分類模型參數不變的情況下，為不同標注樣本圖像提取的特徵資料是較為類似，甚至是相同的，而使用這些標注樣本圖像對圖像分類模型進行訓練，圖像分類模型所學習到的特徵，少於使用來源於不同的原始樣本圖像的不同標注樣本圖對圖像分類模型進行訓練時，圖像分類模型能夠學習到的特徵。
例如，標注樣本圖像a1、標注樣本圖像a2，來源於相同的原始樣本圖像A，標注樣本圖像b1來源於原始樣本圖像B，圖像分類模型對a1和a2進行特徵學習能夠學習到的特徵，要少於其對a1和b1進行學習所能學習到的特徵。
進而，若直接基於標注樣本圖像的數量來確定各個類別對應的頻率資訊，若某個類別對應的正樣本有多個來源於相同的原始樣本圖像，即使正樣本的數量較多，也會造成圖像分類模型能夠學習到的該類別下特徵較少，造成對該類別的識別精度較低，也即造成某些正樣本較少的類別被判斷為正樣本較多的類別。為了避免這種誤判，在該實施例中，是基於各個標注樣本圖像對應的原始樣本圖像的數量，來確定頻率資訊。
（2）針對每個類別，基於標注樣本圖像集中的標注樣本圖像的總數量，以及屬於該類別的標注樣本圖像的數量，確定該類別對應的頻率資訊。可以將屬於該類別的標注樣本圖像的數量在標注樣本圖像的總數量的占比作為該類別對應的頻率資訊。
（3）將屬於該類別的標注樣本圖像的數量作為該類別對應的頻率資訊。
其中，針對某個類別而言，該類別的頻率資訊越高，則認為該類別對應的正樣本的數量越多，該類別的正樣本和負樣本之間的均衡度越高；頻率資訊越低，則認為該類別對應的正樣本的數量越少，該類別的正樣本與負樣本之間的均衡度越低。
III：在上述步驟S103和步驟S104中，在基於多個標注樣本圖像分別對應的分類標籤、以及每個類別分別對應的頻率資訊，確定圖像分類模型的損失資訊時，例如可以採用下述方式：
針對每個標注樣本圖像，根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，得到在使用圖像分類模型對該標注樣本圖像進行分類時的損失資訊。
在具體實現過程中，在基於標注樣本圖像對圖像分類模型進行訓練的過程中，每次將一個標注樣本圖像輸入至圖像分類模型，都能夠確定一個分類結果。該分類結果例如為一個向量，向量中元素的數量，與圖像分類模型能夠識別的物件的類別數量一致，且一一對應。該向量中任一元素的值，表徵該標注樣本圖像屬於與該元素對應的類別的概率或置信度。
例如，若圖像分類模型能夠識別的物件的類別數量為30，則將任一標注樣本圖像輸入至圖像分類模型後，所得到的分類結果為一30維的向量，表示為：（p1，p2，……，p30），其中，該向量中的第i個元素pi的值，表示該標注樣本圖像屬於與pi對應的類別的置信度，且pi的值越高，則該標注樣本圖像屬於與pi對應的類別的可能性就越高。
然後，根據該向量，以及與標注樣本圖像對應的分類標籤，以及各個類別分別對應的頻率資訊，可以得到該標注樣本圖像對應的損失資訊。
基於該損失資訊，使得圖像分類模型的參數向著降低該損失資訊的趨勢調整調，完成對該圖像分類模型的一次參數調整過程。
然後，將下一個標注樣本圖像輸入至圖像分類模型，再次執行上述損失資訊的確定，以及參數調整過程。
當使用所有標注樣本圖像對圖像分類模型進行過一次參數調整過程後，稱完成對該圖像分類模型的一輪訓練。
經過對圖像分類模型的多輪訓練，或者當圖像分類模型的損失資訊收斂，則可以得到最終訓練完成的圖像分類模型。
示例性的，參見圖2所示，本公開實施例還提供一種據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，得到在使用分類模型對該標注樣本圖像進行分類時的損失資訊的具體方法，包括：
步驟S201：根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重。
步驟S202：基於預設的多個類別中的每個類別對應的損失權重，得到在使用分類模型對該標注樣本圖像進行分類時的損失資訊。
這裡，針對每個標注樣本圖像，其損失資訊例如滿足下述公式（1）：
Figure 02_image001
（1）
其中，
Figure 02_image003
滿足下述公式（2）：
Figure 02_image005
（2）
其中，C表示分類模型能夠識別的物件的類別數量；
Figure 02_image007
表示該標注樣本圖像屬於類別j的置信度，c表示該標注樣本圖像對應的標注標籤，
Figure 02_image009
表示針對該標注樣本圖像，類別j對應的損失權重。
在一種實施例中，在確定損失權重時，例如針對任一類別，根據該標注樣本圖像的分類標籤，確定該標注樣本圖像的分類標籤指示該標注樣本圖像是否為背景的標注樣本圖像；並確定該任一類別對應的頻率資訊是否小於預設的頻率閾值。
在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為非背景的標注樣本圖像，且該任一類別對應的頻率資訊小於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第一預設損失權重值。
在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為背景的標注樣本圖像，和/或，該任一類別對應的頻率資訊大於或者等於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第二預設損失權重值。
其中，該預設的頻率閾值的具體取值可以根據頻率資訊的形式（如數量或占比），以及分類精度需求進行具體設定。
這裡，第一預設損失權重值和第二預設損失權重值的具體取值可以根據實際需要進行具體設定。
在上述實施例中，在圖像分類模型訓練過程中，透過調節某個類別的正負樣本對圖像分類模型的影響程度的方式，來提升分類模型對正樣本較為稀少的類別的檢測精度，因而，第一預設損失權重值一般小於第二預設損失權重值。
在使用某個標注樣本圖像a對圖像分類模型進行訓練的過程中，針對某個分類m，若該分類m的正樣本和負樣本處於失衡狀態，也即該分類m對應的頻率資訊小於預設的頻率閾值，且同時，該標注樣本圖像a的標注標籤指示該標注樣本圖像a屬於某個類別，但是這個類別並非類別m，也並非是背景類，若該種情況下類別m為頻率資訊小於頻率閾值的類別，則就降低甚至忽略該標注樣本圖像a對該類別m的影響，也即降低標注樣本圖像a對該類別m的損失的影響。
若在使用該標注樣本圖像a對圖像分類模型進行訓練過程中，針對某個分類m，若該分類m的正樣本和負樣本並未處於失衡狀態，則不會降低甚至忽略該標注樣本圖像a對該類別m的影響。
若在使用該標注樣本圖像a對圖像分類模型進行訓練過程中，針對某個分類m，若該分類m的正樣本和負樣本並未處於失衡狀態，但該標注樣本圖像a對於所有類別而言，均屬於背景類的標注樣本圖像時，也不會降低甚至忽略該標注樣本圖像a對該類別m的影響。
例如，在忽略樣本標注圖像對類別的影響的情況下，第一預設損失權重值為0，第二預設損失權重值為1；可將分類模型可識別的物件類別的類別標籤設定為1~C，背景類別的類別標籤設定為0，則針對某一標注樣本圖像，類別j對應的損失權重
Figure 02_image011
滿足下述公式（3）：
Figure 02_image013
（3）
其中，其中，
Figure 02_image015
表示預設的頻率閾值；c表示標注樣本圖像所屬的類別，
Figure 02_image017
表示標注樣本圖像屬於非背景的樣本標注圖像。
Figure 02_image019
表示類別j對應的頻率資訊。
又例如，在降低樣本標注圖像對類別的影響的情況下，第一預設損失權重值為0.3，第二預設損失權重值為1；針對某一標注樣本圖像，類別j對應的損失權重
Figure 02_image021
滿足下述公式（4）：
Figure 02_image022
（4）
這裡，需要注意的是，在降低樣本標注圖像對類別的影響的情況下，第一預設損失權重值和第二預設損失權重值的具體數值可以根據實際需要進行設定，例如設定為0.1、0.2、0.4、0.5等；第二預設損失權重值還例如為0.9、1.1、1.2等。這裡不做限定。
另外，本公開另一實施例還提供另外一種確定損失權重的具體方式，在該實施例中，例如可以根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，以及該標注樣本圖像對應的原始樣本圖像的正樣本類別集、以及負樣本類別集，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重。
此處，正樣本類別集中，包括該原始樣本圖像中包含的至少一種目標物件的類別。
具體地，可以採用下述方式①或②中任一種確定該標注樣本圖像對應的原始樣本圖像的正樣本類別集：
①：從標注樣本圖像集中，確定與該標注樣本圖像對應同一原始樣本圖像的目標標注樣本圖像；
基於該標注樣本圖像以及目標標注樣本圖像分別對應的分類標籤，確定該標注樣本圖像對應的原始樣本圖像的正樣本類別集；
這裡，在形成標注樣本圖像時，可能會存在多個不同的標注樣本圖像基於同一原始樣本圖像標注而成的情況。
例如，所針對任一標注樣本圖像a，與其對應同一原始樣本圖像的目標標注樣本圖像分別為：標注樣本圖像b、標注樣本圖像c、以及標注樣本圖像d，其中，標注樣本圖像a的分類標籤為：m2，標注樣本圖像b的分類標籤為m5，標注樣本圖像c的分類標籤為m9，標注樣本圖像d的分類標籤為m5，則該標注樣本圖像a的正樣本類別集為：{m2，m5，m9}。
②：根據該標注樣本圖像對應的原始樣本圖像的第一輔助分類標籤，確定該標注樣本圖像對應的原始樣本圖像的正樣本類別集。
這裡，在對原始樣本圖像進行標注，生成標注樣本圖像的過程中，在很多情況下，由於需要生成的標注樣本圖像數量過於巨大，在很多情況下，是無法對原始樣本圖像中存在的不同物件進行一一標注生成不同標注樣本圖像的，在該種情況下，可以為原始樣本圖像添加第一輔助分類標籤，該第一輔助分類標籤用於指示原始樣本圖像中包含的目標物件的類別。
這裡，需要注意的是，該第一輔助分類標籤在標注的時候，可以指示出原始樣本圖像中包含的目標物件的所有類別，也可以僅指示出原始樣本圖像中包含的目標物件的部分類別。
例如，若某原始樣本圖像中包含的目標物件的所有類別包括：m1、m3、m7、m8、m11，而在對原始樣本圖像標注第一輔助分類標籤的時候，第一輔助分類標籤例如為：m1、m3、m7；在該種情況下，所形成的該原始樣本圖像的正樣本類別集為：{ m1，m3，m7}。
第一輔助分類標籤例如為：m7、m8、m11；在該種情況下，所形成的該原始樣本圖像的正樣本類別集為：{ m7，m8，m11}。
第一輔助分類標籤例如為：m1、m3、m7、m8、m11。在該種情況下，所形成的該原始樣本圖像的正樣本類別集為：{ m1，m3，m7，m8，m11}。
負樣本類別集中，包括該原始樣本圖像中並未包含的至少一種目標物件的類別。
此處，可以採用下述方式③對應的原始樣本圖像的負樣本類別集：
③：根據該標注樣本圖像對應的原始樣本圖像的第二輔助分類標籤，確定該標注樣本圖像對應的原始樣本圖像的負樣本類別集。
這裡，與上述②類似，在對原始樣本圖像進行標注，也可以為原始樣本圖像添加第二輔助分類標籤，該第二輔助分類標籤用於指示原始樣本圖像中未包含的目標物件的類別。
例如，若在對某原始樣本圖像進行標注時，確定在該原始樣本圖像中未包含的目標物件的類別包括：m3、m9、m15，則在對原始樣本圖像標注第二輔助分類標籤的時候，第二輔助分類標籤例如為：m3、m9、m15；在該種情況下，所形成的該原始樣本圖像的負樣本類別集為：{ m3，m9，m15}。
這裡需要注意的是，第一輔助分類標籤或者第二輔助分類標籤所指示的內容也可以為空。在該種情況下，正樣本類別集和負樣本類別集對應也為空。
在該實施例中，在確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重時，例如針對任一類別，根據該標注樣本圖像的分類標籤，確定該標注樣本圖像的分類標籤指示該標注樣本圖像是否為背景的標注樣本圖像；並確定該任一類別對應的頻率資訊是否小於預設的頻率閾值；並確定該任一類別是否屬於該標注樣本圖像對應的正樣本類別集以及負樣本類別集。
在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為非背景的標注樣本圖像，該任一類別不屬於正樣本類別集以及負樣本類別集，並且該任一類別對應的頻率資訊小於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第一預設損失權重值。
在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為背景的標注樣本圖像，和/或，該任一類別屬於正樣本類別集或負樣本類別集，和/或，該任一類別對應的頻率資訊大於或者等於預設的頻率閾值的情況下，該任一類別對應的損失權重確定為第二預設損失權重值。
在該實施例中，在調節某個類別的正負樣本對圖像分類模型的影響程度的時候，在降低或者忽略標注樣本圖像a對某個類別m影響的過程中，若該標注樣本圖像a對應的原始樣本圖像一定存在該類別m的目標物件，則不忽略這部分標注樣本圖像對該類別m的影響，可使得圖像分類模型能夠學習到該類別下的更多特徵，進而能夠進一步提升圖像分類模型的精度。
另外，若某原始樣本圖像中一定不存在某個類別的目標物件，該原始樣本圖像實際上可以視作該類別m的背景圖像，則不忽略基於該原始樣本圖像得到的標注樣本圖像對該分類m的影響，能夠使得圖像分類模型能夠學習到與類別m的目標物件的差異性特徵，也能夠進一步提升圖像分類模型的精度。
進而，在本公開實施例中，還會確定該任一類別是否屬於該標注樣本圖像對應的正樣本類別集或負樣本類別集。若屬於，則不會降低甚至忽略該標注樣本圖像a對該類別m的影響。
例如，在忽略樣本標注圖像對類別的影響的情況下，第一預設損失權重值為0，第二預設損失權重值為1；則針對某一標注樣本圖像，類別j對應的損失權重
Figure 02_image024
滿足下述公式（5）：
Figure 02_image025
（5）
其中，
Figure 02_image027
表示預設的頻率閾值；
Figure 02_image029
表示標注樣本圖像屬於非背景的樣本標注圖像。
Figure 02_image030
表示類別j對應的頻率資訊。
Figure 02_image031
表示正樣本類別集；
Figure 02_image033
表示負樣本類別集。
又例如，在降低樣本標注圖像對類別的影響的情況下，第一預設損失權重值為0.15，第二預設損失權重值為1.1；針對某一標注樣本圖像，類別j對應的損失權重
Figure 02_image035
滿足下述公式（6）：
Figure 02_image036
（6）
這裡，在降低樣本標注圖像對類別的影響的情況下，第一預設損失權重值和第二預設損失權重值的具體數值也可以根據實際需要進行設定。
本公開實施例在對分類模型進行訓練的時候，會基於標注樣本圖像以及與每個標注樣本圖像分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊，然後基於多個標注樣本圖像分別對應的分類標籤、以及每個類別分別對應的頻率資訊來確定分類模型的損失資訊，以基於該損失資訊對分類模型進行訓練，該過程中，由於是基於每個類別分別對應的頻率資訊和各個樣本圖像分別對應的分類標籤來確定損失資訊，能夠根據各個類別的頻率資訊，來調節某個類別的正負樣本在圖像分類模型訓練過程中，對圖像分類模型的影響程度的方式，來平衡正負樣本對各個類別產生的影響，進而提升分類模型對正樣本較少的分類的識別精度。
本公開實施例還提供另外一種影像處理方法，該方法包括：基於預先訓練的圖像分類模型執行影像處理任務；
圖像分類模型可透過上述實施例的圖像分類模型訓練方法訓練得到；
影像處理任務包括：圖像分類、物件檢測、關鍵點檢測、圖像分割、實例分割中一種或者多種。
本公開實施例中，圖像分類模型具體可以根據實際影像處理任務選擇。例如，當影像處理任務是物件檢測時，該圖像分類模型可以採用更快速區域卷積神經網路（Faster Region-Convolutional Neural Networks，Faster R-CNN）；又例如，當影像處理任務是實例分割時，該圖像分類模型可以採用實例分割模型Mask R-CNN。
本公開實施例中，對圖像分類模型進行訓練的標注樣本集可以是微軟上下文通用物件資料集（Microsoft Common Objects in Context，MS COCO）、大型詞彙實例細分的資料集（A Dataset for Large Vocabulary Instance Segmentation，LVIS）、模式分析，統計建模和計算學習視覺物件類資料集（pattern analysis，statistical modelling and computational learning visual object classes，Pascal VOC）、以及Open Image資料集中至少一個，也可以是對上述樣本集中的至少一個進行處理（如重標注）後得到的樣本集。
本公開實施例在執行影像處理任務時，是採用基於上述實施例所公開的圖像分類模型訓練方法訓練得到的圖像分類模型來實現的，能夠以更高的精度得到影像處理結果。
參見圖3所示，本公開實施例還提供一種資料分類模型訓練方法，包括：
步驟S301：獲取標注樣本資料集；標注樣本資料集中包括多個標注樣本資料，以及與每個標注樣本資料分別對應的分類標籤；
步驟S302：基於標注樣本資料，以及與每個標注樣本資料分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊；
步驟S303：基於多個標注樣本資料分別對應的分類標籤、以及每個類別分別對應的頻率資訊，確定資料分類模型的損失資訊；
步驟S304：基於損失資訊，對資料分類模型進行訓練；資料分類模型用於確定待識別資料的類別。
在該實施例中，樣本資料集可以為：樣本圖像集、樣本文本集中任一種。另外，根據待處理資料的不同，標注樣本資料也有所區別，具體根據實際的應用場景來確定，在此不再贅述。
上述步驟S301~S304的具體實現方式可參見上述實施例步驟S101~S104，在此不再贅述。
本公開實施例還提供一種資料處理方法，該方法包括：
基於預先訓練的資料分類模型執行資料處理任務；
資料分類模型透過上述實施例中的資料分類模型訓練方法訓練得到；
資料處理任務包括：資料分類、資料分割、實例分割中一種或者多種；
資料包括：圖像資料、以及文本資料中任一種。
所屬技術領域中具有通常知識者可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
基於同一發明構思，本公開實施例中還提供了與圖像分類模型訓練方法對應的圖像分類模型訓練裝置，由於本公開實施例中的裝置解決問題的原理與本公開實施例上述圖像分類模型訓練方法相似，因此裝置的實施可以參見方法的實施，重複之處不再贅述。
參照圖4所示，為本公開實施例提供的一種圖像分類模型訓練裝置的示意圖，所述裝置包括：第一獲取模組41、第一頻率資訊確定模組42、第一損失資訊確定模組43，以及第一訓練模組44；其中，
第一獲取模組41，用於獲取標注樣本圖像集；所述標注樣本圖像集中包括多個標注樣本圖像，以及與每個標注樣本圖像分別對應的分類標籤；
第一頻率資訊確定模組42，用於基於所述標注樣本圖像，以及與每個所述標注樣本圖像分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊；
第一損失資訊確定模組43，用於基於所述多個標注樣本圖像分別對應的分類標籤、以及每個類別分別對應的所述頻率資訊，確定圖像分類模型的損失資訊；
第一訓練模組44，用於基於所述損失資訊，對所述圖像分類模型進行訓練；所述圖像分類模型用於確定待識別圖像的類別。
關於裝置中的各模組的處理流程、以及各模組之間的交互流程的描述可以參照上述方法實施例中的相關說明，這裡不再詳述。
本公開另一實施例還提供一種影像處理裝置，該裝置包括：
第一處理模組，用於基於預先訓練的圖像分類模型執行影像處理任務；
所述圖像分類模型透過上述實施例所述的圖像分類模型訓練方法訓練得到；
所述影像處理任務包括：圖像分類、物件檢測、關鍵點檢測、圖像分割、實例分割中一種或者多種。
參照圖5所示，為本公開實施例提供的一種資料分類模型訓練裝置的示意圖，所述裝置包括：第二獲取模組51、第二頻率資訊確定模組52、第二損失資訊確定模組53，以及第二訓練模組54；其中：
第二獲取模組51，用於獲取標注樣本資料集；所述標注樣本資料集中包括多個標注樣本資料，以及與每個標注樣本資料分別對應的分類標籤；
第二頻率資訊確定模組52，用於基於所述標注樣本資料，以及與每個所述標注樣本資料分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊；
第二損失資訊確定模組53，用於基於所述多個標注樣本資料分別對應的分類標籤、以及每個類別分別對應的所述頻率資訊，確定資料分類模型的損失資訊；
第二訓練模組54，用於基於所述損失資訊，對所述資料分類模型進行訓練；所述資料分類模型用於確定待識別資料的類別。
關於裝置中的各模組的處理流程、以及各模組之間的交互流程的描述可以參照上述方法實施例中的相關說明，這裡不再詳述。
本公開實施例還提供一種資料處理裝置，該裝置包括：
第二處理模組，用於基於預先訓練的資料分類模型執行資料處理任務；
所述資料分類模型透過上述實施例所述的資料分類模型訓練方法訓練得到；所述資料處理任務包括：資料分類、資料分割、實例分割中一種或者多種；所述資料包括：圖像資料、以及文本資料中任一種。
本公開實施例還提供了一種電腦設備60，如圖6所示，為本公開實施例提供的電腦設備60結構示意圖，包括：處理器61、儲存器62、和匯流排63。所述儲存器62儲存有所述處理器61可執行的機器可讀指令（比如，圖4中的裝置中第一獲取模組41、第一頻率資訊確定模組42、第一損失資訊確定模組43，以及第一訓練模組44對應的執行指令等），當電腦設備60運行時，所述處理器61與所述儲存器62之間透過匯流排63通訊，所述機器可讀指令被所述處理器61執行時執行如下處理：
獲取標注樣本圖像集；所述標注樣本圖像集中包括多個標注樣本圖像，以及與每個標注樣本圖像分別對應的分類標籤；
基於所述標注樣本圖像，以及與每個所述標注樣本圖像分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊；
基於所述多個標注樣本圖像分別對應的分類標籤、以及每個類別分別對應的所述頻率資訊，確定圖像分類模型的損失資訊；
基於所述損失資訊，對所述圖像分類模型進行訓練；所述圖像分類模型用於確定待識別圖像的類別。
處理器61在執行各處理時的詳細過程具體參見上述實施例所示，在此不再贅述。
本公開實施例還提供了一種電腦設備70，如圖7所示，為本公開實施例提供的電腦設備70結構示意圖，包括：處理器71、儲存器72、和匯流排73。所述儲存器72儲存有所述處理器71可執行的機器可讀指令（比如，圖5中的裝置中第二獲取模組51、第二頻率資訊確定模組52、第二損失資訊確定模組53，以及第二訓練模組54對應的執行指令等），當電腦設備70運行時，所述處理器71與所述儲存器72之間透過匯流排73通訊，所述機器可讀指令被所述處理器71執行時執行如下處理：
獲取標注樣本圖像集；所述標注樣本圖像集中包括多個標注樣本圖像，以及與每個標注樣本圖像分別對應的分類標籤；
獲取標注樣本資料集；所述標注樣本資料集中包括多個標注樣本資料，以及與每個標注樣本資料分別對應的分類標籤；
基於所述標注樣本資料，以及與每個所述標注樣本資料分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊；
基於所述多個標注樣本資料分別對應的分類標籤、以及每個類別分別對應的所述頻率資訊，確定資料分類模型的損失資訊；
基於所述損失資訊，對所述資料分類模型進行訓練；所述資料分類模型用於確定待識別資料的類別。
處理器71在執行各處理時的詳細過程具體參見上述實施例所示，在此不再贅述。
本公開實施例還提供一種電腦可讀儲存媒介，該電腦可讀儲存媒介上儲存有電腦程式，該電腦程式被處理器運行時執行上述方法實施例中所述的圖像分類模型訓練方法、影像處理方法、資料分類模型訓練方法、或資料處理方法的步驟。其中，該儲存媒介可以是易失性或非易失的電腦可讀取儲存媒介。
本公開實施例所提供的圖像分類模型訓練方法、影像處理方法、資料分類模型訓練方法、或資料處理方法的電腦程式產品，包括儲存了程式代碼的電腦可讀儲存媒介，所述程式代碼包括的指令可用於執行上述方法實施例中所述的圖像分類模型訓練方法、影像處理方法、資料分類模型訓練方法、或資料處理方法的步驟，具體可參見上述方法實施例，在此不再贅述。
本公開實施例還提供一種電腦程式，該電腦程式被處理器執行時實現前述實施例的任意一種方法。該電腦程式產品可以具體透過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式產品具體體現為電腦儲存媒介，在另一個可選實施例中，電腦程式產品具體體現為軟體產品，例如軟體開發包（Software Development Kit，SDK）等等。
所屬領域中具有通常知識者可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統和裝置的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。在本公開所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以透過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，又例如，多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是透過一些通訊介面，裝置或單元的間接耦合或通訊連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本公開各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個處理器可執行的易失性或非易失的電腦可讀取儲存媒介中。基於這樣的理解，本公開的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存媒介中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）執行本公開各個實施例所述方法的全部或部分步驟。而前述的儲存媒介包括：USB硬碟、移動硬碟、唯讀儲存器（Read-Only Memory，ROM）、隨機存取儲存器（Random Access Memory，RAM）、磁碟或者光碟等各種可以儲存程式代碼的媒介。
最後應說明的是：以上所述實施例，僅為本公開的具體實施方式，用以說明本公開的技術方案，而非對其限制，本公開的保護範圍並不局限於此，儘管參照前述實施例對本公開進行了詳細的說明，所屬技術領域中具有通常知識者應當理解：任何熟悉所屬技術領域之具有通常知識者在本公開揭露的技術範圍內，其依然可以對前述實施例所記載的技術方案進行修改或可輕易想到變化，或者對其中部分技術特徵進行等同替換；而這些修改、變化或者替換，並不使相應技術方案的本質脫離本公開實施例技術方案的精神和範圍，都應涵蓋在本公開的保護範圍之內。因此，本公開的保護範圍應以所述申請專利範圍的保護範圍為準。
S101、S102、S103、S104、S201、S202、S301、S302、S303、S304:步驟 41:第一獲取模組 42:第一頻率資訊確定模組 43:第一損失資訊確定模組 44:第一訓練模組 51:第二獲取模組 52:第二頻率資訊確定模組 53:第二損失資訊確定模組 54:第二訓練模組 60、70:電腦設備 61、71:處理器 62、72:儲存器 63、73:匯流排
為了更清楚地說明本公開實施例的技術方案，下面將對實施例中所需要使用的圖式作簡單地介紹，此處的圖式被併入說明書中並構成本說明書中的一部分，這些圖式示出了符合本公開的實施例，並與說明書一起用於說明本公開的技術方案。應當理解，以下圖式僅示出了本公開的某些實施例，因此不應被看作是對範圍的限定，對於所屬技術領域中具有通常知識者來講，在不付出創造性勞動的前提下，還可以根據這些圖式獲得其他相關的圖式。
圖1示出了本公開實施例所提供的一種圖像分類模型訓練方法的流程圖；
圖2示出了本公開實施例所提供的得到損失資訊具體方法的流程圖；
圖3示出了本公開實施例所提供的一種資料分類模型訓練方法的流程圖；
圖4示出了本公開實施例所提供的一種圖像分類模型訓練裝置的示意圖；
圖5示出了本公開實施例所提供的一種資料分類模型訓練裝置的示意圖；
圖6示出了本公開實施例所提供的一種電腦設備的示意圖；
圖7示出了本公開實施例所提供的另一種電腦設備的示意圖。
S101、S102、S103、S104:步驟

Claims (15)

  1. 一種圖像分類模型訓練方法，其中，包括：獲取標注樣本圖像集；所述標注樣本圖像集中包括多個標注樣本圖像，以及與每個標注樣本圖像分別對應的分類標籤，所述分類標籤用於描述標注樣本圖像中包括的目標物件所屬的類別，所述分類標籤包括所述目標物件的標識；基於所述標注樣本圖像，以及與每個所述標注樣本圖像分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊；基於所述多個標注樣本圖像分別對應的分類標籤、以及每個類別分別對應的所述頻率資訊，確定圖像分類模型的損失資訊；基於所述損失資訊，對所述圖像分類模型進行訓練；所述圖像分類模型用於確定待識別圖像的類別。
  2. 如申請專利範圍第1項所述之分類模型訓練方法，其中，所述基於所述標注樣本圖像，以及與每個所述標注樣本圖像分別對應的分類標籤，確定預設的多個類別中每個類別對應的頻率資訊，包括：針對每個類別，基於屬於該類別的標注樣本圖像，以及與各標注樣本圖像對應的原始樣本圖像，確定該類別對應的原始樣本圖像的數量；其中，每個原始樣本圖像對應有一個或多個標注樣本圖像；基於所述原始樣本圖像的數量，確定該類別對應的頻率資訊；或者， 針對每個類別，基於所述標注樣本圖像集中的標注樣本圖像的總數量，以及屬於該類別的標注樣本圖像的數量，確定該類別對應的頻率資訊；或者，將屬於該類別的標注樣本圖像的數量作為該類別對應的頻率資訊。
  3. 如申請專利範圍第1項或第2項所述之圖像分類模型訓練方法，其中，所述基於所述多個標注樣本圖像分別對應的分類標籤、以及每個類別分別對應的所述頻率資訊，確定分類模型的損失資訊，包括：針對每個標注樣本圖像，根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，得到在使用分類模型對該標注樣本圖像進行分類時的損失資訊。
  4. 如申請專利範圍第3項所述之圖像分類模型訓練方法，其中，所述根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，得到在使用分類模型對該標注樣本圖像進行分類時的損失資訊，包括：根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重；基於預設的多個類別中的每個類別對應的損失權重，得到在使用所述分類模型對該標注樣本圖像進行分類時的損失資訊。
  5. 如申請專利範圍第4項所述之圖像分類模型訓練方法，其中，所述根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重，包括：針對任一類別， 在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為非背景的標注樣本圖像，且該任一類別對應的頻率資訊小於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第一預設損失權重值。
  6. 如申請專利範圍第4項所述之圖像分類模型的訓練方法，其中，所述根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重，包括：針對任一類別，在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為背景的標注樣本圖像，和/或，該任一類別對應的頻率資訊大於或者等於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第二預設損失權重值；或者，根據該標注樣本圖像的分類標籤、每個類別分別對應的頻率資訊，以及該標注樣本圖像對應的原始樣本圖像的正樣本類別集、以及負樣本類別集，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重；其中，所述正樣本類別集中，包括該原始樣本圖像中包含的至少一種目標物件的類別；所述負樣本類別集中，包括該原始樣本圖像中並未包含的至少一種目標物件的類別。
  7. 如申請專利範圍第6項所述之圖像分類模型訓練方法，其中，所述方法還包括，採用下述方式獲取該標注樣本圖像對應的原始樣本圖像的正樣本類別集：從所述標注樣本圖像集中，確定與該標注樣本圖像對應同一原始樣本圖像的目標標注樣本圖像； 基於該標注樣本圖像以及所述目標標注樣本圖像分別對應的分類標籤，確定該標注樣本圖像對應的原始樣本圖像的正樣本類別集；或者，根據該標注樣本圖像對應的原始樣本圖像的第一輔助分類標籤，確定該標注樣本圖像對應的原始樣本圖像的正樣本類別集；所述第一輔助分類標籤用於指示所述原始樣本圖像中包含的目標物件的類別。
  8. 如申請專利範圍第6項所述之圖像分類模型訓練方法，其中，所述方法還包括，採用下述方式獲取該標注樣本圖像對應的原始樣本圖像的負樣本類別集：根據該標注樣本圖像對應的原始樣本圖像的第二輔助分類標籤，確定該標注樣本圖像對應的原始樣本圖像的負樣本類別集；所述第二輔助分類標籤用於指示所述原始樣本圖像中未包含的目標物件的類別。
  9. 如申請專利範圍第6項所述之圖像分類模型訓練方法，其中，所述根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，以及該標注樣本圖像對應的原始樣本圖像的正樣本類別集、以及負樣本類別集，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重，包括：針對任一類別，在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為非背景的標注樣本圖像，該任一類別不屬於所述正樣本類別集以及所述負樣本類別集，該任一 類別對應的頻率資訊小於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第一預設損失權重值。
  10. 如申請專利範圍第6項所述之圖像分類模型訓練方法，其中，所述根據該標注樣本圖像的分類標籤、以及每個類別分別對應的頻率資訊，以及該標注樣本圖像對應的原始樣本圖像的正樣本類別集、以及負樣本類別集，確定針對該標注樣本圖像，預設的多個類別中的每個類別對應的損失權重，包括：針對任一類別，在確定該標注樣本圖像的分類標籤指示該標注樣本圖像為背景的標注樣本圖像，和/或，該任一類別屬於所述正樣本類別集或所述負樣本類別集，和/或，該任一類別對應的頻率資訊大於或者等於預設的頻率閾值的情況下，將該任一類別對應的損失權重確定為第二預設損失權重值。
  11. 一種影像處理方法，其中，該方法包括：基於預先訓練的圖像分類模型執行影像處理任務；所述圖像分類模型透過如申請專利範圍第1項-第10項任一項所述之圖像分類模型訓練方法訓練得到；所述影像處理任務包括：圖像分類、物件檢測、關鍵點檢測、圖像分割、實例分割中一種或者多種。
  12. 一種資料分類模型訓練方法，其中，包括：獲取標注樣本資料集；所述標注樣本資料集中包括多個標注樣本資料，以及與每個標注樣本資料分別對應的分類標籤，所述分類標籤用於描述標注樣本資料中包括的目標物件所屬的類別，所述分類標籤包括所述目標物件的標識； 基於所述標注樣本資料，以及與每個所述標注樣本資料分別對應的分類標籤，確定預設的多個類別中每個類別分別對應的頻率資訊；基於所述多個標注樣本資料分別對應的分類標籤、以及每個類別分別對應的所述頻率資訊，確定資料分類模型的損失資訊；基於所述損失資訊，對所述資料分類模型進行訓練；所述資料分類模型用於確定待識別資料的類別。
  13. 一種資料處理方法，其中，該方法包括：基於預先訓練的資料分類模型執行資料處理任務；所述資料分類模型透過如申請專利範圍第12項所述之資料分類模型訓練方法訓練得到；所述資料處理任務包括：資料分類、資料分割、實例分割中一種或者多種；所述資料包括：圖像資料、以及文本資料中任一種。
  14. 一種電腦設備，其中，包括：處理器、儲存器和匯流排，所述儲存器儲存有所述處理器可執行的機器可讀指令，當電腦設備運行時，所述處理器與所述儲存器之間透過匯流排通訊，所述機器可讀指令被所述處理器執行時執行如申請專利範圍第1項-第10項任一項所述之圖像分類模型訓練方法的步驟，或執行如申請專利範圍第11項所述之影像處理方法的步驟，或執行如申請專利範圍第12項所述之資料分類模型訓練方法的步驟，或執行如申請專利範圍第13項所述之資料處理方法的步驟。
  15. 一種電腦可讀儲存媒介，其中，該電腦可讀儲存媒介上儲存有電腦程式，該電腦程式被處理器運行時執行如申請專利範圍第1項-第10項任一項所述之圖像分類模型訓練方法的步驟，或執行如申請專利範圍第11項所述之影 像處理方法的步驟，或執行如申請專利範圍第12項所述之資料分類模型訓練方法的步驟，或執行如申請專利範圍第13項所述之資料處理方法的步驟。
TW109111415A 2019-11-11 2020-04-06 圖像分類模型訓練方法、影像處理方法、資料分類模型訓練方法、資料處理方法、電腦設備、儲存媒介 TWI752455B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911097069.XA CN110837869A (zh) 2019-11-11 2019-11-11 图像分类模型训练方法、图像处理方法及装置
CN201911097069.X 2019-11-11

Publications (2)

Publication Number Publication Date
TW202119288A TW202119288A (zh) 2021-05-16
TWI752455B true TWI752455B (zh) 2022-01-11

Family

ID=69574764

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109111415A TWI752455B (zh) 2019-11-11 2020-04-06 圖像分類模型訓練方法、影像處理方法、資料分類模型訓練方法、資料處理方法、電腦設備、儲存媒介

Country Status (5)

Country Link
JP (1) JP7266674B2 (zh)
KR (1) KR20210062687A (zh)
CN (1) CN110837869A (zh)
TW (1) TWI752455B (zh)
WO (1) WO2021093096A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI806500B (zh) * 2022-03-18 2023-06-21 廣達電腦股份有限公司 影像分類裝置和方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429448B (zh) * 2020-04-09 2023-07-18 常州奥创医疗科技有限公司 一种基于弱分割信息的生物荧光目标计数方法
CN111783635A (zh) * 2020-06-30 2020-10-16 北京百度网讯科技有限公司 图像标注方法、装置、设备以及存储介质
TWI812888B (zh) * 2020-10-14 2023-08-21 財團法人工業技術研究院 影像辨識方法及影像辨識系統
CN112418327A (zh) * 2020-11-25 2021-02-26 Oppo广东移动通信有限公司 图像分类模型的训练方法、装置、电子设备以及存储介质
CN112651938B (zh) * 2020-12-24 2023-12-19 平安科技（深圳）有限公司 视盘图像分类模型的训练方法、装置、设备及存储介质
TWI771010B (zh) * 2021-05-20 2022-07-11 鴻海精密工業股份有限公司 缺陷檢測方法、電腦裝置及儲存介質
CN113222043B (zh) * 2021-05-25 2024-02-02 北京有竹居网络技术有限公司 一种图像分类方法、装置、设备及存储介质
CN114331379B (zh) * 2021-12-31 2023-08-15 北京百度网讯科技有限公司 用于输出待办任务的方法、模型训练方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096538A (zh) * 2016-06-08 2016-11-09 中国科学院自动化研究所 基于定序神经网络模型的人脸识别方法及装置
US20170330054A1 (en) * 2016-05-10 2017-11-16 Baidu Online Network Technology (Beijing) Co., Ltd. Method And Apparatus Of Establishing Image Search Relevance Prediction Model, And Image Search Method And Apparatus
CN108229555A (zh) * 2017-12-29 2018-06-29 深圳云天励飞技术有限公司 样本权重分配方法、模型训练方法、电子设备及存储介质
TW201909005A (zh) * 2017-07-19 2019-03-01 香港商阿里巴巴集團服務有限公司 模型的訓練方法、資料相似度的確定方法、裝置及設備

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655805B2 (en) * 2010-08-30 2014-02-18 International Business Machines Corporation Method for classification of objects in a graph data stream
CN103366013B (zh) * 2013-07-29 2016-03-02 腾讯科技（深圳）有限公司 一种数据处理的方法及服务器
US9916522B2 (en) * 2016-03-11 2018-03-13 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation
CN108229541B (zh) * 2017-12-11 2021-09-28 上海海事大学 一种基于k最近邻算法的岸桥中拉杆应力数据分类方法
JP6976360B2 (ja) * 2018-01-30 2021-12-08 富士フイルム株式会社 データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム
CN109829399B (zh) * 2019-01-18 2022-07-05 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170330054A1 (en) * 2016-05-10 2017-11-16 Baidu Online Network Technology (Beijing) Co., Ltd. Method And Apparatus Of Establishing Image Search Relevance Prediction Model, And Image Search Method And Apparatus
CN106096538A (zh) * 2016-06-08 2016-11-09 中国科学院自动化研究所 基于定序神经网络模型的人脸识别方法及装置
TW201909005A (zh) * 2017-07-19 2019-03-01 香港商阿里巴巴集團服務有限公司 模型的訓練方法、資料相似度的確定方法、裝置及設備
CN108229555A (zh) * 2017-12-29 2018-06-29 深圳云天励飞技术有限公司 样本权重分配方法、模型训练方法、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI806500B (zh) * 2022-03-18 2023-06-21 廣達電腦股份有限公司 影像分類裝置和方法

Also Published As

Publication number Publication date
JP2022512065A (ja) 2022-02-02
TW202119288A (zh) 2021-05-16
WO2021093096A1 (zh) 2021-05-20
JP7266674B2 (ja) 2023-04-28
KR20210062687A (ko) 2021-05-31
CN110837869A (zh) 2020-02-25

Similar Documents

Publication Publication Date Title
TWI752455B (zh) 圖像分類模型訓練方法、影像處理方法、資料分類模型訓練方法、資料處理方法、電腦設備、儲存媒介
CN109446517B (zh) 指代消解方法、电子装置及计算机可读存储介质
US20160283583A1 (en) Method, apparatus, and storage medium for text information processing
WO2021051517A1 (zh) 基于卷积神经网络的信息检索方法、及其相关设备
CN112528025A (zh) 基于密度的文本聚类方法、装置、设备及存储介质
CN103559504A (zh) 图像目标类别识别方法及装置
CN108038208B (zh) 上下文信息识别模型的训练方法、装置和存储介质
CN111198948A (zh) 文本分类校正方法、装置、设备及计算机可读存储介质
CN112163424A (zh) 数据的标注方法、装置、设备和介质
CN112529114B (zh) 基于gan的目标信息识别方法、电子设备和介质
CN110287311B (zh) 文本分类方法及装置、存储介质、计算机设备
WO2020143301A1 (zh) 一种训练样本有效性检测方法、计算机设备及计算机非易失性存储介质
CN104142912A (zh) 一种精确的语料类别标注方法及装置
CN111210402A (zh) 人脸图像质量评分方法、装置、计算机设备及存储介质
CN111382248A (zh) 一种问题回复方法、装置、存储介质及终端设备
JP6962123B2 (ja) ラベル推定装置及びラベル推定プログラム
CN112632956A (zh) 文本匹配方法、装置、终端和存储介质
CN110245669B (zh) 手掌关键点的识别方法、装置、终端及可读存储介质
CN111241269B (zh) 一种短信文本分类方法、装置、电子设备及存储介质
WO2023273570A1 (zh) 一种目标检测模型训练方法、目标检测方法及其相关设备
CN111460811A (zh) 众包任务的答案验证方法、装置、计算机设备及存储介质
CN107622048B (zh) 一种文本模式识别方法及系统
CN112434547B (zh) 一种用户身份稽核方法和设备
CN112463964A (zh) 文本分类及模型训练方法、装置、设备及存储介质
CN113704479B (zh) 无监督的文本分类方法、装置、电子设备及存储介质