TW202113692A - 圖像處理方法及其裝置、處理器、電子設備及電腦可讀儲存媒體 - Google Patents
圖像處理方法及其裝置、處理器、電子設備及電腦可讀儲存媒體 Download PDFInfo
- Publication number
- TW202113692A TW202113692A TW108147607A TW108147607A TW202113692A TW 202113692 A TW202113692 A TW 202113692A TW 108147607 A TW108147607 A TW 108147607A TW 108147607 A TW108147607 A TW 108147607A TW 202113692 A TW202113692 A TW 202113692A
- Authority
- TW
- Taiwan
- Prior art keywords
- neural network
- feature data
- similarity
- image
- iteration
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本發明涉及了一種圖像處理方法及其裝置、處理器、電子設備和電腦可讀儲存媒體。該方法包括:獲取待處理圖像;使用目標神經網路對所述待處理圖像進行特徵提取處理,獲得所述待處理圖像的目標特徵數據,所述目標神經網路的參數爲第一神經網路的參數的時序平均值,所述第一神經網路在訓練圖像集和平均網路的監測下訓練獲得,所述平均網路的參數爲第二神經網路的參數的時序平均值,所述第二神經網路在所述訓練圖像集和所述目標神經網路的監測下訓練獲得。還涉及了相應的裝置。以通過對待處理圖像進行特徵提取處理獲得的待處理圖像目標特徵數據。
Description
本發明涉及圖像處理技術領域,尤其涉及一種圖像處理方法及其裝置、處理器、電子設備和電腦可讀儲存媒體。
得益於强大的性能,近幾年神經網路被廣泛應用於各種圖像辨識任務(如行人重辨識、圖像分類)。而訓練神經網路需要大量標注數據,人們通過無監測學習的方式使用未標注的數據完成對神經網路的訓練。傳統的無監測學習方法通過在源域上訓練好的神經網路對目標域上的未標注圖像進行辨識,並給目標域上的未標注圖像添加標籤,再以該標籤監測在源域上訓練好的神經網路,並調整在源域上訓練好的神經網路的參數,獲得應用於目標域上的神經網路。
本發明提供一種圖像處理技術方案。
第一方面,提供了一種圖像處理方法,所述方法包括:獲取待處理圖像;使用目標神經網路對所述待處理圖像進行特徵提取處理,獲得所述待處理圖像的目標特徵數據,所述目標神經網路的參數爲第一神經網路的參數的時序平均值,所述第一神經網路在訓練圖像集和平均網路的監測下訓練獲得,所述平均網路的參數爲第二神經網路的參數的時序平均值,所述第二神經網路在所述訓練圖像集和所述目標神經網路的監測下訓練獲得。
在該方面中,通過確定第一神經網路的參數的時序平均值和第二神經網路的時序平均值,分別獲得目標神經網路的參數和平均網路的參數,再使用目標神經網路的輸出監測第二神經網路,使用平均網路的輸出監測第一神經網路對目標神經網路進行訓練,可提升訓練效果。進而使用目標神經網路在目標域上執行相關的辨識任務時,可提取出訊息更豐富的目標特徵數據。
在一種可能實現的方式中,所述第一神經網路在訓練圖像集和平均網路的監測下訓練獲得,包括:獲取所述訓練圖像集、第一待訓練神經網路和第二待訓練神經網路;對所述第一待訓練神經網路和所述第二待訓練神經網路執行x次第一疊代,獲得所述第一神經網路和第二神經網路,所述x爲正整數;所述x次第一疊代中的第i次第一疊代包括:以所述訓練圖像集和第i次第一疊代的所述平均網路的輸出監測第i次第一疊代的所述第一待訓練神經網路獲得第i+1次第一疊代的所述第一待訓練神經網路,以所述訓練圖像集和第i次第一疊代的所述目標神經網路的輸出監測第i次第一疊代的所述第二待訓練神經網路,獲得第i+1次第一疊代的所述第二待訓練神經網路;所述目標神經網路的參數爲第一神經網路的參數的時序平均值,包括:依據第i-1次第一疊代的所述目標神經網路的參數和所述第i次第一疊代的所述第一待訓練神經網路的參數確定所述第i次第一疊代的所述目標神經網路的參數,所述i爲小於或等於所述x的正整數;在所述i=1的情況下,所述第i-1次第一疊代的所述目標神經網路的參數與所述第一待訓練神經網路的參數相同。
在該種可能實現的方式中,在第i次第一疊代中,通過第i次第一疊代的平均網路監測第i次第一疊代的第一待訓練神經網路,並通過第i次第一疊代的目標神經網路監測第i次第一疊代的第二待訓練神經網路,可減小第i次第一疊代的第二待訓練神經網路的輸出與第i次第一疊代的第一待訓練神經網路的輸出之間存在的相關性對訓練效果的影響,進而提升訓練效果。
在另一種可能實現的方式中,所述以所述訓練圖像集和第i次平均網路的輸出監測第i次第一疊代的所述第一待訓練神經網路,獲得第i+1次第一疊代的所述第一待訓練神經網路,包括:經所述第i次第一疊代的所述第一待訓練神經網路對所述訓練圖像集進行處理獲得第一特徵數據集,經所述第i次第一疊代的所述平均網路對所述訓練圖像集進行處理獲得第二特徵數據集;依據所述第一特徵數據集和所述第二特徵數據集獲得第一軟三元損失;以所述訓練圖像集和所述第一軟三元損失監測所述第i次第一疊代的所述第一待訓練神經網路,獲得所述第i+1次第一疊代的所述第一待訓練神經網路。
在該種可能實現的方式中,基於通過第一特徵數據集和第二特徵數據集確定第一軟三元損失調整第i次第一疊代的第一待訓練神經網路的參數可提升第i次第一疊代的第一待訓練神經網路對目標域上的圖像的特徵提取效果,進而可提升目標神經網路對目標域上的圖像的特徵提取效果。
在又一種可能實現的方式中,所述依據所述第一特徵數據集和所述第二特徵數據集獲得第一軟三元損失,包括:確定所述訓練圖像集中的第一圖像在所述第一特徵數據集中的第一特徵數據與所述第一特徵數據集中的正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第一相似度;確定所述第一圖像在所述第二特徵數據集中的第二特徵數據與所述第二特徵數據集中的所述正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第二相似度,所述正樣本特徵數據子集包括具有與所述第一圖像的第一標籤相同的標籤的圖像的特徵數據;確定所述第一特徵數據與所述第一特徵數據集中的負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第三相似度;確定所述第二特徵數據與所述第二特徵數據集中的所述負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第四相似度,所述負樣本特徵數據子集包括具有與所述第一標籤不同的標籤的圖像的特徵數據;分別對所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度進行歸一化處理,獲得第五相似度、第六相似度、第七相似度和第八相似度;依據所述第五相似度,所述第六相似度,所述第七相似度和所述第八相似度,獲得所述第一軟三元損失。
在該種可能實現的方式中,通過對第一相似度、第二相似度、第三相似度和第四相似度進行歸一化處理,將第一相似度、第二相似度、第三相似度和第四相似度轉化爲0至1之間的數值,獲得更符合數據的真實分布的第五相似度、第六相似度、第七相似度和第八相似度,進而提升對目標神經網路的訓練效果。
在又一種可能實現的方式中,所述分別對所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度進行歸一化處理,獲得第五相似度、第六相似度、第七相似度和第八相似度,包括:確定所述第二相似度和所述第四相似度的和獲得第一總相似度,確定所述第一相似度和所述第三相似度的和獲得第二總相似度;確定所述第二相似度與所述第一總相似度的商獲得所述第五相似度,確定所述第四相似度與所述第一總相似度的商獲得所述第六相似度;確定所述第一相似度與所述第二總相似度的商獲得所述第七相似度,確定所述第三相似度與所述第二總相似度的商獲得所述第八相似度。
在又一種可能實現的方式中,所述以所述訓練圖像集和所述第一軟三元損失監測所述第i次第一疊代的所述第一待訓練神經網路,獲得所述第i+1次第一疊代的所述第一待訓練神經網路,包括:經所述第i次第一疊代的所述第一待訓練神經網路對所述第一圖像進行處理獲得第一分類結果;依據所述第一分類結果、所述第一標籤和所述第一軟三元損失確定所述第i次第一疊代的所述第一待訓練神經網路的第一損失;基於所述第一損失調整所述第i次第一疊代的所述第一待訓練神經網路的參數獲得所述第i+1次第一疊代的所述第一待訓練神經網路。
在又一種可能實現的方式中,所述依據所述第一分類結果、所述第一標籤和所述第一軟三元損失確定所述第i次第一疊代的所述第一待訓練神經網路的第一損失,包括:依據所述第一分類結果和所述第一標籤之間的差異確定第一硬分類損失;依據所述第一硬分類損失和所述第一軟三元損失確定所述第一損失。
在又一種可能實現的方式中,在所述依據所述第一硬分類損失和所述第一軟三元損失確定所述第一損失之前,所述方法還包括:經所述第i次第一疊代的所述平均網路對所述第一圖像進行處理獲得第二分類結果;依據所述第一分類結果和所述第二分類結果之間的差異確定第一軟分類損失;所述依據所述第一硬分類損失和所述第一軟三元損失確定所述第一損失,包括:依據所述第一硬分類損失、所述第一軟分類損失和所述第一軟三元損失確定所述第一損失。
在又一種可能實現的方式中,在所述依據所述第一硬分類損失、所述第一軟分類損失和所述第一軟三元損失確定所述第一損失之前,所述方法還包括:依據所述第一相似度和所述第三相似度確定第一硬三元損失;所述依據所述第一硬分類損失、所述第一軟分類損失和所述第一軟三元損失確定所述第一損失,包括:依據所述第一硬分類損失、所述第一軟分類損失、所述第一軟三元損失和所述第一硬三元損失確定所述第一損失。
在又一種可能實現的方式中,所述經所述第i次第一疊代的所述第一待訓練神經網路對所述訓練圖像集中的第一圖像進行處理獲得第一分類結果,包括:對所述訓練圖像集進行第一預處理,獲得第一圖像集,所述第一預處理包括擦除處理、剪裁處理、翻轉處理中的任意一種;經所述第i次第一疊代的所述第一待訓練神經網路對所述第一圖像集中的第二圖像進行處理獲得所述第一分類結果,所述第二圖像通過對所述第一圖像進行所述第一預處理獲得,所述第二圖像在所述第一特徵數據集中的特徵數據與所述第一圖像在所述第一特徵數據集中的數據相同。
在該種可能實現的方式中,通過對訓練圖像集中的圖像進行第一預處理獲得第一圖像集,再將第一圖像集輸入至第i次第一疊代的第一待訓練神經網路和第i次第一疊代的目標神經網路,以減小訓練過程中出現過擬合的機率。
在又一種可能實現的方式中,所述經第i次第一疊代的所述第一待訓練神經網路對所述訓練圖像集進行處理獲得第一特徵數據集,包括:經所述第i次第一疊代的所述第一待訓練神經網路對所述第一圖像集進行處理獲得所述第一特徵數據集。
在又一種可能實現的方式中,所述獲取所述訓練圖像集,包括:獲取待處理圖像集和第三神經網路;對所述第三神經網路執行y次第二疊代,獲得所述訓練圖像集,所述y爲正整數;所述y次第二疊代中的第t次第二疊代包括:從所述待處理圖像集中採樣獲得第二圖像集,經第t次第二疊代的第三神經網路對所述第二圖像集中的圖像進行處理,獲得包含所述第二圖像集中的圖像的特徵數據的第三特徵數據集以及包含所述第二圖像集中的圖像的分類結果的分類結果集;對所述第三特徵數據集中的特徵數據進行聚類處理確定所述第三特徵數據集中的特徵數據的標籤,將所述第三特徵數據集中的特徵數據的標籤添加至所述第二圖像集中對應的圖像中,獲得第三圖像集;依據所述分類結果集中的分類結果與所述第三圖像集中的圖像的標籤之間的差異,確定第三損失;基於所述第三損失調整所述第t次第二疊代的第三神經網路的參數,獲得第t+1次第二疊代的第三神經網路的參數,所述t爲小於所述y的正整數。
在又一種可能實現的方式中,所述方法還包括:使用所述目標特徵數據檢索數據庫,獲得具有與所述目標特徵數據匹配的特徵數據的圖像,作爲目標圖像。
在又一種可能實現的方式中,所述待處理圖像包含人物對象。
在又一種可能實現的方式中,所述以所述訓練圖像集和第i次第一疊代的所述目標神經網路的輸出監測第i次第一疊代的所述第二待訓練神經網路,獲得第i+1次第一疊代的所述第二待訓練神經網路,包括:經所述第i次第一疊代的所述第二待訓練神經網路對所述訓練圖像集進行處理獲得第四特徵數據集,經所述第i次第一疊代的所述目標神經網路對所述訓練圖像集進行處理獲得第五特徵數據集;依據所述第四特徵數據集和所述第五特徵數據集獲得第二軟三元損失;以所述訓練圖像集和所述第二軟三元損失監測所述第i次第一疊代的所述第二待訓練神經網路,獲得所述第i+1次第一疊代的所述第二待訓練神經網路。
在又一種可能實現的方式中,所述依據所述第四特徵數據集和所述第五特徵數據集獲得第二軟三元損失,包括:確定所述第一圖像在所述第四特徵數據集中的第三特徵數據與所述第四特徵數據集中的正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第九相似度;確定所述第一圖像在所述第五特徵數據集中的第四特徵數據與所述第五特徵數據集中的所述正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第十一相似度,所述正樣本特徵數據子集包括具有與所述第一標籤相同的標籤的圖像的特徵數據;確定所述第三特徵數據與所述第四特徵數據集中的負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第十相似度;確定所述第三特徵數據與所述第四特徵數據集中的所述負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第十二相似度,所述負樣本特徵數據子集包括具有與所述第一標籤不同的標籤的圖像的特徵數據;分別對所述第九相似度、所述第十相似度、所述第十一相似度和所述第十二相似度進行歸一化處理,獲得第十三相似度、第十四相似度、第十五相似度和第十六相似度;依據所述第十三相似度、所述第十四相似度、所述第十五相似度和所述第十六相似度,獲得所述第二軟三元損失。
在又一種可能實現的方式中,所述分別對所述第九相似度、所述第十相似度、所述第十一相似度和所述第十二相似度進行歸一化處理,獲得第十三相似度、第十四相似度、第十五相似度和第十六相似度,包括:確定所述第九相似度和所述第十相似度的和獲得第三總相似度,確定所述第十一相似度和所述第十二相似度的和獲得第四總相似度;確定所述第九相似度與所述第三總相似度的商獲得所述第十三相似度,確定所述第十相似度與所述第三總相似度的商獲得所述第十四相似度;確定所述第十一相似度與所述第四總相似度的商獲得所述第十五相似度,確定所述第十二相似度與所述第四總相似度的商獲得所述第十六相似度。
在又一種可能實現的方式中,所述以所述訓練圖像集和所述第二軟三元損失監測所述第i次第一疊代的所述第二待訓練神經網路,獲得所述第i+1次第一疊代的所述第二待訓練神經網路,包括:經所述第i次第一疊代的所述第二待訓練神經網路對所述第一圖像進行處理獲得第三分類結果;依據所述第三分類結果、所述第一標籤和所述第二軟三元損失確定所述第i次第一疊代的所述第二待訓練神經網路的第二損失;基於所述第二損失調整所述第i次第一疊代的所述第二待訓練神經網路的參數獲得所述第i+1次第一疊代的所述第二待訓練神經網路。
在又一種可能實現的方式中,所述依據所述第三分類結果、所述第一標籤和所述第二軟三元損失確定所述第i次第一疊代的所述第二待訓練神經網路的第二損失,包括:依據所述第三分類結果和所述第一標籤之間的差異確定第二硬分類損失;依據所述第二硬分類損失和所述第二軟三元損失確定所述第二損失。
在又一種可能實現的方式中,在所述依據所述第二硬分類損失和所述第二軟三元損失確定所述第二損失之前,所述方法還包括:經所述第i次第一疊代的所述目標神經網路對所述第一圖像進行處理獲得第四分類結果;依據所述第三分類結果和所述第四分類結果之間的差異確定第二軟分類損失;所述依據所述第二硬分類損失和所述第二軟三元損失確定所述第二損失,包括:依據所述第二硬分類損失、所述第二軟分類損失和所述第二軟三元損失確定所述第二損失。
在又一種可能實現的方式中,在所述依據所述第二硬分類損失、所述第二軟分類損失和所述第二軟三元損失確定所述第二損失之前,所述方法還包括:依據所述第九相似度和所述第十相似度確定第二硬三元損失;所述依據所述第二硬分類損失、所述第二軟分類損失和所述第二軟三元損失確定所述第二損失,包括:依據所述第二硬分類損失、所述第二軟分類損失、所述第二軟三元損失和所述第二硬三元損失確定所述第二損失。
在又一種可能實現的方式中,所述經所述第i次第一疊代的所述第二待訓練神經網路對所述訓練圖像集中的第一圖像進行處理獲得第三分類結果,包括:對所述訓練圖像集進行第二預處理,獲得第四圖像集,所述第二預處理包括擦除處理、剪裁處理、翻轉處理中的任意一種;經所述第i次第一疊代的所述第二待訓練神經網路對所述第四圖像集中的第三圖像進行處理獲得所述第三分類結果,所述第三圖像通過對所述第一圖像進行所述第二預處理獲得,所述第三圖像在所述第四特徵數據集中的特徵數據與所述第一圖像在所述第四特徵數據集中的數據相同,所述第一預處理與所述第二預處理不同。
在又一種可能實現的方式中,所述經第i次第一疊代的所述第二待訓練神經網路對所述訓練圖像集進行處理獲得第四特徵數據集,包括:經所述第i次第一疊代的所述第二待訓練神經網路對所述第四圖像集進行處理獲得所述第四特徵數據集。
第二方面,提供了一種圖像處理裝置,所述裝置包括:獲取單元,用於獲取待處理圖像;特徵提取處理單元,用於使用目標神經網路對所述待處理圖像進行特徵提取處理,獲得所述待處理圖像的目標特徵數據,所述目標神經網路的參數爲第一神經網路的參數的時序平均值,所述第一神經網路在訓練圖像集和平均網路的監測下訓練獲得,所述平均網路的參數爲第二神經網路的參數的時序平均值,所述第二神經網路在所述訓練圖像集和所述目標神經網路的監測下訓練獲得。
在一種可能實現的方式中,所述第一神經網路在訓練圖像集和平均網路的監測下訓練獲得,包括:獲取所述訓練圖像集、第一待訓練神經網路和第二待訓練神經網路;對所述第一待訓練神經網路和所述第二待訓練神經網路執行x次第一疊代,獲得所述第一神經網路和第二神經網路,所述x爲正整數;所述x次第一疊代中的第i次第一疊代包括:以所述訓練圖像集和第i次第一疊代的所述平均網路的輸出監測第i次第一疊代的所述第一待訓練神經網路獲得第i+1次第一疊代的所述第一待訓練神經網路,以所述訓練圖像集和第i次第一疊代的所述目標神經網路的輸出監測第i次第一疊代的所述第二待訓練神經網路,獲得第i+1次第一疊代的所述第二待訓練神經網路;所述目標神經網路的參數爲第一神經網路的參數的時序平均值,包括:依據第i-1次第一疊代的所述目標神經網路的參數和所述第i次第一疊代的所述第一待訓練神經網路的參數確定所述第i次第一疊代的所述目標神經網路的參數,所述i爲小於或等於所述x的正整數;在所述i=1的情況下,所述第i-1次第一疊代的所述目標神經網路的參數與所述第一待訓練神經網路的參數相同。
在另一種可能實現的方式中,所述以所述訓練圖像集和第i次平均網路的輸出監測第i次第一疊代的所述第一待訓練神經網路,獲得第i+1次第一疊代的所述第一待訓練神經網路,包括:經所述第i次第一疊代的所述第一待訓練神經網路對所述訓練圖像集進行處理獲得第一特徵數據集,經所述第i次第一疊代的所述平均網路對所述訓練圖像集進行處理獲得第二特徵數據集;依據所述第一特徵數據集和所述第二特徵數據集獲得第一軟三元損失;以所述訓練圖像集和所述第一軟三元損失監測所述第i次第一疊代的所述第一待訓練神經網路,獲得所述第i+1次第一疊代的所述第一待訓練神經網路。
在又一種可能實現的方式中,所述依據所述第一特徵數據集和所述第二特徵數據集獲得第一軟三元損失,包括:確定所述訓練圖像集中的第一圖像在所述第一特徵數據集中的第一特徵數據與所述第一特徵數據集中的正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第一相似度;確定所述第一圖像在所述第二特徵數據集中的第二特徵數據與所述第二特徵數據集中的所述正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第二相似度,所述正樣本特徵數據子集包括具有與所述第一圖像的第一標籤相同的標籤的圖像的特徵數據;確定所述第一特徵數據與所述第一特徵數據集中的負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第三相似度;確定所述第二特徵數據與所述第二特徵數據集中的所述負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第四相似度,所述負樣本特徵數據子集包括具有與所述第一標籤不同的標籤的圖像的特徵數據;分別對所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度進行歸一化處理,獲得第五相似度、第六相似度、第七相似度和第八相似度;依據所述第五相似度,所述第六相似度,所述第七相似度和所述第八相似度,獲得所述第一軟三元損失。
在又一種可能實現的方式中,所述分別對所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度進行歸一化處理,獲得第五相似度、第六相似度、第七相似度和第八相似度,包括:確定所述第二相似度和所述第四相似度的和獲得第一總相似度,確定所述第一相似度和所述第三相似度的和獲得第二總相似度;確定所述第二相似度與所述第一總相似度的商獲得所述第五相似度,確定所述第四相似度與所述第一總相似度的商獲得所述第六相似度;確定所述第一相似度與所述第二總相似度的商獲得所述第七相似度,確定所述第三相似度與所述第二總相似度的商獲得所述第八相似度。
在又一種可能實現的方式中,所述以所述訓練圖像集和所述第一軟三元損失監測所述第i次第一疊代的所述第一待訓練神經網路,獲得所述第i+1次第一疊代的所述第一待訓練神經網路,包括:經所述第i次第一疊代的所述第一待訓練神經網路對所述第一圖像進行處理獲得第一分類結果;依據所述第一分類結果、所述第一標籤和所述第一軟三元損失確定所述第i次第一疊代的所述第一待訓練神經網路的第一損失;基於所述第一損失調整所述第i次第一疊代的所述第一待訓練神經網路的參數獲得所述第i+1次第一疊代的所述第一待訓練神經網路。
在又一種可能實現的方式中,所述依據所述第一分類結果、所述第一標籤和所述第一軟三元損失確定所述第i次第一疊代的所述第一待訓練神經網路的第一損失,包括:依據所述第一分類結果和所述第一標籤之間的差異確定第一硬分類損失;依據所述第一硬分類損失和所述第一軟三元損失確定所述第一損失。
在又一種可能實現的方式中,在所述依據所述第一硬分類損失和所述第一軟三元損失確定所述第一損失之前,經所述第i次第一疊代的所述平均網路對所述第一圖像進行處理獲得第二分類結果;依據所述第一分類結果和所述第二分類結果之間的差異確定第一軟分類損失;所述依據所述第一硬分類損失和所述第一軟三元損失確定所述第一損失,包括:依據所述第一硬分類損失、所述第一軟分類損失和所述第一軟三元損失確定所述第一損失。
在又一種可能實現的方式中,在所述依據所述第一硬分類損失、所述第一軟分類損失和所述第一軟三元損失確定所述第一損失之前,依據所述第一相似度和所述第三相似度確定第一硬三元損失;所述依據所述第一硬分類損失、所述第一軟分類損失和所述第一軟三元損失確定所述第一損失,包括:依據所述第一硬分類損失、所述第一軟分類損失、所述第一軟三元損失和所述第一硬三元損失確定所述第一損失。
在又一種可能實現的方式中,所述經所述第i次第一疊代的所述第一待訓練神經網路對所述訓練圖像集中的第一圖像進行處理獲得第一分類結果第一待訓練神經網路,包括:對所述訓練圖像集進行第一預處理,獲得第一圖像集,所述第一預處理包括擦除處理、剪裁處理、翻轉處理中的任意一種;經所述第i次第一疊代的所述第一待訓練神經網路對所述第一圖像集中的第二圖像進行處理獲得所述第一分類結果,所述第二圖像通過對所述第一圖像進行所述第一預處理獲得,所述第二圖像在所述第一特徵數據集中的特徵數據與所述第一圖像在所述第一特徵數據集中的數據相同。
在又一種可能實現的方式中,所述經第i次第一疊代的所述第一待訓練神經網路對所述訓練圖像集進行處理獲得第一特徵數據集,包括:經所述第i次第一疊代的所述第一待訓練神經網路對所述第一圖像集進行處理獲得所述第一特徵數據集。
在又一種可能實現的方式中,所述獲取單元具體用於:獲取待處理圖像集和第三神經網路;對所述第三神經網路執行y次第二疊代,獲得所述訓練圖像集,所述y爲正整數;所述y次第二疊代中的第t次第二疊代包括:從所述待處理圖像集中採樣獲得第二圖像集,經第t次第二疊代的第三神經網路對所述第二圖像集中的圖像進行處理,獲得包含所述第二圖像集中的圖像的特徵數據的第三特徵數據集以及包含所述第二圖像集中的圖像的分類結果的分類結果集;對所述第三特徵數據集中的特徵數據進行聚類處理確定所述第三特徵數據集中的特徵數據的標籤,將所述第三特徵數據集中的特徵數據的標籤添加至所述第二圖像集中對應的圖像中,獲得第三圖像集;依據所述分類結果集中的分類結果與所述第三圖像集中的圖像的標籤之間的差異,確定第三損失;基於所述第三損失調整所述第t次第二疊代的第三神經網路的參數,獲得第t+1次第二疊代的第三神經網路的參數,所述t爲小於所述y的正整數。
在又一種可能實現的方式中,所述裝置還包括:檢索單元,用於使用所述目標特徵數據檢索數據庫,獲得具有與所述目標特徵數據匹配的特徵數據的圖像,作爲目標圖像。
在又一種可能實現的方式中,所述以所述訓練圖像集和第i次第一疊代的所述目標神經網路的輸出監測第i次第一疊代的所述第二待訓練神經網路,獲得第i+1次第一疊代的所述第二待訓練神經網路,包括:經所述第i次第一疊代的所述第二待訓練神經網路對所述訓練圖像集進行處理獲得第四特徵數據集,經所述第i次第一疊代的所述目標神經網路對所述訓練圖像集進行處理獲得第五特徵數據集;依據所述第四特徵數據集和所述第五特徵數據集獲得第二軟三元損失;以所述訓練圖像集和所述第二軟三元損失監測所述第i次第一疊代的所述第二待訓練神經網路,獲得所述第i+1次第一疊代的所述第二待訓練神經網路。
在又一種可能實現的方式中,所述依據所述第四特徵數據集和所述第五特徵數據集獲得第二軟三元損失,包括:確定所述第一圖像在所述第四特徵數據集中的第三特徵數據與所述第四特徵數據集中的正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第九相似度;確定所述第一圖像在所述第五特徵數據集中的第四特徵數據與所述第五特徵數據集中的所述正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第十一相似度,所述正樣本特徵數據子集包括具有與所述第一標籤相同的標籤的圖像的特徵數據;確定所述第三特徵數據與所述第四特徵數據集中的負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第十相似度;確定所述第三特徵數據與所述第四特徵數據集中的所述負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第十二相似度,所述負樣本特徵數據子集包括具有與所述第一標籤不同的標籤的圖像的特徵數據;分別對所述第九相似度、所述第十相似度、所述第十一相似度和所述第十二相似度進行歸一化處理,獲得第十三相似度、第十四相似度、第十五相似度和第十六相似度;依據所述第十三相似度、所述第十四相似度、所述第十五相似度和所述第十六相似度,獲得所述第二軟三元損失。
在又一種可能實現的方式中,所述分別對所述第九相似度、所述第十相似度、所述第十一相似度和所述第十二相似度進行歸一化處理,獲得第十三相似度、第十四相似度、第十五相似度和第十六相似度,包括:確定所述第九相似度和所述第十相似度的和獲得第三總相似度,確定所述第十一相似度和所述第十二相似度的和獲得第四總相似度;確定所述第九相似度與所述第三總相似度的商獲得所述第十三相似度,確定所述第十相似度與所述第三總相似度的商獲得所述第十四相似度;確定所述第十一相似度與所述第四總相似度的商獲得所述第十五相似度,確定所述第十二相似度與所述第四總相似度的商獲得所述第十六相似度。
在又一種可能實現的方式中,所述以所述訓練圖像集和所述第二軟三元損失監測所述第i次第一疊代的所述第二待訓練神經網路,獲得所述第i+1次第一疊代的所述第二待訓練神經網路,包括:經所述第i次第一疊代的所述第二待訓練神經網路對所述第一圖像進行處理獲得第三分類結果;依據所述第三分類結果、所述第一標籤和所述第二軟三元損失確定所述第i次第一疊代的所述第二待訓練神經網路的第二損失;基於所述第二損失調整所述第i次第一疊代的所述第二待訓練神經網路的參數獲得所述第i+1次第一疊代的所述第二待訓練神經網路。
在又一種可能實現的方式中,所述依據所述第三分類結果、所述第一標籤和所述第二軟三元損失確定所述第i次第一疊代的所述第二待訓練神經網路的第二損失,包括:依據所述第三分類結果和所述第一標籤之間的差異確定第二硬分類損失;依據所述第二硬分類損失和所述第二軟三元損失確定所述第二損失。
在又一種可能實現的方式中,在所述依據所述第二硬分類損失和所述第二軟三元損失確定所述第二損失之前,經所述第i次第一疊代的所述目標神經網路對所述第一圖像進行處理獲得第四分類結果;依據所述第三分類結果和所述第四分類結果之間的差異確定第二軟分類損失;所述依據所述第二硬分類損失和所述第二軟三元損失確定所述第二損失,包括:依據所述第二硬分類損失、所述第二軟分類損失和所述第二軟三元損失確定所述第二損失。
在又一種可能實現的方式中,在所述依據所述第二硬分類損失、所述第二軟分類損失和所述第二軟三元損失確定所述第二損失之前,依據所述第九相似度和所述第十相似度確定第二硬三元損失;所述依據所述第二硬分類損失、所述第二軟分類損失和所述第二軟三元損失確定所述第二損失,包括:依據所述第二硬分類損失、所述第二軟分類損失、所述第二軟三元損失和所述第二硬三元損失確定所述第二損失。
在又一種可能實現的方式中,所述經所述第i次第一疊代的所述第二待訓練神經網路對所述訓練圖像集中的第一圖像進行處理獲得第三分類結果,包括:對所述訓練圖像集進行第二預處理,獲得第四圖像集,所述第二預處理包括擦除處理、剪裁處理、翻轉處理中的任意一種;經所述第i次第一疊代的所述第二待訓練神經網路對所述第四圖像集中的第三圖像進行處理獲得所述第三分類結果,所述第三圖像通過對所述第一圖像進行所述第二預處理獲得,所述第三圖像在所述第四特徵數據集中的特徵數據與所述第一圖像在所述第四特徵數據集中的數據相同,所述第一預處理與所述第二預處理不同。
在又一種可能實現的方式中,所述經第i次第一疊代的所述第二待訓練神經網路對所述訓練圖像集進行處理獲得第四特徵數據集,包括:經所述第i次第一疊代的所述第二待訓練神經網路對所述第四圖像集進行處理獲得所述第四特徵數據集。
第三方面,提供了一種處理器,所述處理器用於執行如上述第一方面及其任意一種可能實現的方式的方法。
第四方面,提供了一種電子設備,包括:處理器、發送裝置、輸入裝置、輸出裝置和記憶體,所述記憶體用於儲存電腦程式代碼,所述電腦程式代碼包括電腦指令,當所述處理器執行所述電腦指令時,所述電子設備執行如上述第一方面及其任意一種可能實現的方式的方法。
第五方面,提供了一種電腦可讀儲存媒體,所述電腦可讀儲存媒體中儲存有電腦程式,所述電腦程式包括程式指令,所述程式指令當被電子設備的處理器執行時,使所述處理器執行如上述第一方面及其任意一種可能實現的方式的方法。
第六方面,提供了一種包含指令的電腦程式産品,當其在電腦上運行時,使得電腦執行上述第一方面及其任一種可能的實現方式的方法。
應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,而非限制本發明。
爲了使本技術領域的人員更好地理解本發明方案,下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發明一部分實施例,而不是全部的實施例。基於本發明中的實施例,本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例,都屬本發明保護的範圍。
本發明的說明書和請求項及上述附圖中的術語“第一”、“第二”等是用於區別不同對象,而不是用於描述特定順序。此外,術語“包括”和“具有”以及它們任何變形,意圖在於覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統、産品或設備沒有限定於已列出的步驟或單元,而是可選地還包括沒有列出的步驟或單元,或可選地還包括對於這些過程、方法、産品或設備固有的其他步驟或單元。本文中術語“和/或”,僅僅是一種描述關聯對象的關聯關係,表示可以存在三種關係,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合,例如,包括A、B、C中的至少一種,可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。在本文中提及“實施例”意味著,結合實施例描述的特定特徵、結構或特性可以包含在本發明的至少一個實施例中。在說明書中的各個位置出現該短語並不一定均是指相同的實施例,也不是與其它實施例互斥的獨立的或預備的實施例。本領域技術人員顯性地和隱性地理解的是,本文所描述的實施例可以與其它實施例相結合。
得益於强大的性能,近幾年神經網路被廣泛應用於各種圖像辨識任務(如行人重辨識、圖像分類)。神經網路在這些任務中的表現效果很大程度取決於對神經網路的訓練效果,而神經網路的訓練效果又主要取決於訓練神經網路的訓練圖像的數量,即訓練圖像的數量越多,神經網路的訓練效果越好,進而應用訓練後的神經網路執行相應圖像辨識的任務的效果也就越好。
訓練圖像指有標注訊息(下文將稱爲標籤)圖像,例如,需要執行的任務爲對圖像中包含的內容進行分類,判斷圖像中包含的內容是蘋果、香蕉、梨子、桃子、橙子、西瓜中的哪一種,那麽上述標注訊息包括蘋果、香蕉、梨子、桃子、橙子、西瓜。又例如,需要執行的任務爲行人重辨識,即辨識圖像中包含的人物的身份,那麽上述標注訊息包括人物的身份(如張三、李四、王五、周六等)。
訓練圖像的標注訊息越準確,神經網路的訓練效果越好,因此,訓練圖像的標注圖像與訓練圖像的真實內容的匹配度越高,訓練效果就越好。例如,如果將包含梨子的圖像標注爲蘋果就不正確。又例如,將包含張三的圖像標注爲李四也不正確。而標注訊息不正確的訓練圖像會使訓練效果變差,因此傳統方法大多通過人工標注的方式完成對訓練圖像的標注。但是在訓練圖像的數量很大時,人工標注的方式效率低,人工成本高。因此,越來越多的人們通過無監測遷移學習的方式訓練神經網路,即將通過已有的標注圖像訓練好的神經網路應用於未標注的圖像上,以降低人工成本。
神經網路在上述標注圖像上執行的任務和在上述未標注圖像上執行的任務具有相關性,上述標注圖像和上述未標注圖像之間也存在相關性。舉例來說(例1),通過A城市的監控拍攝鏡頭採集大量陰天下包含行人的圖像(下文將稱爲A地的圖像),並通過對A地的圖像中的行人的身份進行標注獲得已標注數據,並使用已標注數據訓練神經網路a,使訓練後的神經網路a可以用於辨識陰天在A地採集的圖像中的行人的身份。現需要辨識在B地採集的圖像中的行人的身份,由於若通過使用對從B地採集的圖像進行標注獲得的圖像訓練一個新的神經網路(如神經網路b),需要耗費大量的人工成本,因此,可通過無監測遷移學習的方式調整訓練後的神經網路a的參數,使訓練後的神經網路a可用於辨識從B地採集的圖像中的行人的身份。神經網路a在已標注圖像上執行的任務和在未標注圖像(從B地採集的圖像)上執行的任務均爲行人身份的辨識,而已標注圖像和未標注圖像均爲包含行人的圖像。
雖然已標注圖像和未標注圖像相關,但兩者之間存在差異,這就導致無法將通過已標注圖像訓練獲得的神經網路直接應用於未標注圖像上。接著例1繼續舉例,已標注數據均爲陰天採集的圖像,從B地採集的圖像包括陰天採集圖像、晴天採集的圖像、雨天採集的圖像,而不同的天氣採集的圖像中的環境亮度不一樣,不同的環境亮度對神經網路的辨識準確率的影響較大,如通過在陰天採集的圖像訓練獲得的神經網路對晴天採集的圖像中的行人的身份的辨識準確率低。此外,A地的監控拍攝鏡頭的參數和B地的監控拍攝鏡頭的參數也不一樣(如拍攝的角度),這也將導致神經網路對不同拍攝鏡頭採集到的圖像中的行人的身份的辨識的準確率不同,如,A地的監控拍攝鏡頭的參數和B地的監控拍攝鏡頭的參數也不一樣,導致使用已標注數據訓練獲得的神經網路對從B地的採集的圖像中的行人的身份的辨識準確率低。
將包含上述標注圖像的集合稱爲源域,將包含上述未標注圖像的集合稱爲目標域,那麽無監測遷移學習就是一種將在源域上訓練好的神經網路應用於目標域上的神經網路的訓練方式。
傳統的無監測學習方法通過在源域上訓練好的神經網路對目標域上的未標注圖像進行辨識,並給目標域上的未標注圖像添加標籤(下文將稱爲僞硬標籤),再以僞硬標籤監測在源域上訓練好的神經網路,並調整在源域上訓練好的神經網路的參數,獲得應用於目標域上的神經網路(下文將稱爲應用神經網路)。由於僞硬標籤存在誤差,導致通過僞硬標籤監測在源域上訓練好的神經網路的效果不佳,進而導致應用神經網路在目標域上的特徵提取效果不好,進一步導致在目標域上的應用效果差(如對行人的身份的辨識準確率低)。應用本發明實施例提供的技術方案,可實現在上述傳統方法的基礎上,獲得在目標域上的特徵提取效果比應用神經網路在目標域上的特徵提取效果更佳的神經網路,進而提升在目標域上的應用效果。
在對本發明實施例提供的技術方案進行詳細闡述之前,首先定義幾個概念。1.類內最難特徵數據:標籤相同的圖像的特徵數據中相似度最小的兩個特徵數據。2.類外最難特徵數據:標籤不同的圖像的特徵數據中相似度最大的兩個特徵數據。3.圖像在特徵數據集中的類內最難特徵數據:該圖像在該特徵數據集中的特徵數據的類內最難特徵數據。4.圖像在特徵數據集中的類外最難特徵數據:該圖像在該特徵數據集中的特徵數據的類內最難特徵數據。
舉例來說,假定圖像1的特徵數據爲特徵數據1,圖像2的特徵數據爲特徵數據2,圖像3的特徵數據爲特徵數據3,圖像4的特徵數據爲特徵數據4,圖像5的特徵數據爲特徵數據5。圖像1的標籤與圖像2的標籤、圖像3的標籤相同,圖像1的標籤與圖像4的標籤、圖像5的標籤均不同。若特徵數據1與特徵數據2之間的相似度比特徵數據1與特徵數據3之間的相似度小,則特徵數據3爲特徵數據1的類內最難特徵數據。若特徵數據1與特徵數據4之間的相似度比特徵數據1與特徵數據5之間的相似度小,則特徵數據5爲特徵數據1的類外最難特徵數據。假定特徵數據集1包含特徵數據1、特徵數據2、特徵數據3、特徵數據4、特徵數據5,則圖像1在特徵數據集1中的類內最難特徵數據爲特徵數據3,圖像1在特徵數據集1中的類外最難特徵數據爲特徵數據5。
下面結合本發明實施例中的附圖對本發明實施例進行描述。請參閱圖1,圖1是本發明實施例提供的一種圖像處理方法的流程示意圖。
101、獲取待處理圖像。
本實施例的執行主體可以是伺服器、手機、電腦、平板電腦等終端。上述待處理圖像可以是任意數字圖像。例如,待處理圖像可以包含人物對象,其中,待處理圖像可以只包括人臉,並無軀幹、四肢(下文將軀幹和四肢稱爲人體),也可以只包括人體,不包括人體,還可以只包括下肢或上肢。本發明對待處理圖像具體包含的人體區域不做限定。又例如,待處理圖像可以包含動物。再例如,待處理圖像可以包含植物。本發明對待處理圖像中包含的內容不做限定。
獲取待處理圖像的方式可以是接收用戶通過輸入組件輸入的待處理圖像,其中,輸入組件包括:鍵盤、滑鼠、觸控螢幕、觸控板和音訊輸入器等。也可以是接收終端發送的待處理圖像,其中,終端包括手機、電腦、平板電腦、伺服器等。本發明對獲取待處理圖像的方式不做限定。
102、使用目標神經網路對上述待處理圖像進行特徵提取處理,獲得上述待處理圖像的目標特徵數據。
上述目標神經網路爲具備從圖像中提取特徵數據的功能的神經網路。例如,目標神經網路可以由卷積層、池化層、歸一化層、全連接層、下採樣層、上採樣層、分類器等神經網路層按照一定方式堆疊或組成。本發明對目標神經網路的結構不做限定。
在一種可能實現的方式中,通過目標神經網路包括多層卷積層、歸一化層,依次通過目標神經網路中的多層卷積層和歸一化層對待處理圖像進行卷積處理和歸一化處理,可提取出待處理圖像的特徵數據,獲得目標特徵數據。
如上所述,由於傳統方法中的僞硬標籤是通過在源域上訓練好的神經網路獲得的,因此,通過僞硬標籤監測在源域上訓練好的神經網路,會使在源域上訓練好的神經網路在訓練過程中在學的不好的方向變得越來越差,進而導致應用神經網路在目標域上的應用效果差。
舉例來說,在源域上訓練好的神經網路對李四的辨識準確率低,即將包含李四的圖像辨識爲其他人的機率高。將包含李四的圖像a輸入至在源域上訓練好的神經網路,獲得的僞硬標籤爲王五,再以王五爲監測數據監測在源域上訓練好的神經網路的輸出,並調整在源域上訓練好的神經網路的參數。將使在源域上訓練好的神經網路通過調整參數使從圖像a中提取出的特徵數據與王五的特徵數據接近。這樣,將導致使用最終獲得的應用神經網路辨識包含李四的圖像時,提取出的特徵數據均與王五的特徵數據接近,進而導致將李四辨識爲王五。
鑒於傳統方法中存在的上述缺陷,本發明考慮通過另一個在源域上訓練好的神經網路(下文將稱爲監測神經網路)的輸出監測應用神經網路的輸出以提升應用神經網路在目標域上的應用效果。應用神經網路和監測神經網路雖然均爲在源域上訓練好的神經網路,但應用神經網路和監測神經網路的參數不同,也就是說,應用神經網路和監測神經網路對不同人的身份的辨識的準確率不同。舉例來說(例2),應用神經網路對張三的辨識準確率高,但對周六的辨識準確率低。而監測神經網路對張三的辨識準確率低,但對周六的辨識準確率高。
因此,如果使用應用神經網路的輸出和監測神經網路的輸出進行相互監測,即使用應用神經網路的輸出監測神經網路,使用監測神經網路的輸出監測應用神經網路,可代替僞硬標籤對應用神經網路的監測。但由於在相互監測的訓練過程中,應用神經網路和監測神經網路的參數是同時更新的,這將導致應用神經網路的輸出與監測神經網路的輸出的相似度越來越高(下文將相互監測中存在的這個缺陷稱爲相關性缺陷)。進而在相互監測的訓練過程中使監測神經網路學習到應用神經網路的“劣勢”(如例2中應用神經網路對周六的身份的辨識),並使應用神經網路學習到監測神經網路的“劣勢”(如例2中監測神經網路對張三的身份的辨識),即使應用神經網路的參數和第二神經網路的參數的相似度越來越高。這樣將無法優化應用神經網路的參數,進而無法提升應用神經網路在目標域上的應用效果。
鑒於相互監測的訓練過程中存在的相關性缺陷,本發明實施例提出了另一種訓練方法,通過“隔離”應用神經網路和監測神經網路減小應用神經網路和監測神經網路之間的相關性,以減小相關性缺陷帶來的影響,進而獲得在目標域上效果比通過該種相互監測的方式訓練獲得的應用神經網路的效果好的目標神經網路。該種訓練方法包括:通過第一神經網路的參數的時序平均值確定上述目標神經網路的參數,再通過目標神經網路的輸出監測第二神經網路,同時通過第二神經網路的參數的時序平均值確定平均網路的參數,並以平均網路的輸出監測第一神經網路,完成對上述目標神經網路的訓練。其中,第一神經網路和第二神經網路均爲在源域上訓練好的神經網路,第一神經網路和第二神經網路均爲具備從圖像中提取特徵數據的功能和依據特徵數據進行分類的功能的神經網路,第一神經網路的結構和第二神經網路的結構可以相同,也可以不同,本發明對此不做限定。
如圖2所示,目標神經網路的參數爲第一神經網路的參數的時序平均值,該第一神經網路在訓練圖像集和平均網路的監測下訓練獲得,即以訓練圖像集中的圖像的標籤和平均網路的輸出爲監測數據監測第一神經網路的輸出,並調整第一神經網路的參數。上述平均網路的參數爲第二神經網路的參數的時序平均值,該第二神經網路在上述訓練圖像集和上述目標神經網路的監測下訓練獲得,即以訓練圖像集中的圖像的標籤和目標神經網路的輸出爲監測數據監測第二神經網路的輸出,並調整第二神經網路的參數。
將訓練圖像集分別輸入至第一神經網路、第二神經網路、目標神經網路和平均網路,依據圖2所示的監測關係監測第一神經網路和第二神經網路完成多個周期的訓練,可更新目標神經網路的參數,直到圖2中的四個網路(包括第一神經網路、第二神經網路、目標神經網路和平均網路)均收斂停止訓練。
在上述對圖2中的四個網路進行訓練的過程中,每完成一個訓練周期,上述四個網路的參數均會更新。其中,目標神經網路的參數爲第一神經網路的參數的時序平均值指目標神經網路的參數爲不同訓練周期的第一神經網路的參數的平均值,平均網路的參數爲第二神經網路的參數的時序平均值指平均網路的參數爲不同訓練周期的第二神經網路的參數的平均值。
需要理解的是,不同訓練周期的第一神經網路的參數的平均值用於反應第一神經網路在已完成的訓練周期下獲得的平均性能,具體確定目標神經網路的參數時,可以不局限於通過計算不同訓練周期的第一神經網路的參數的平均值來確定。同理,具體確定平均網路的參數時,可以不局限於通過計算不同訓練周期的第二神經網路的參數的平均值來確定。
在一種可能實現的方式中,通過下式可以確定目標神經網路的參數:
在另一種可能實現的方式中,通過計算不同訓練周期的第一神經網路的參數的平均值可確定目標神經網路的參數。舉例來說,假設進行第k個周期的訓練前第一神網路的參數爲,進行第k個周期的訓練前第一神網路的參數爲,則目標神經網路在第k+1個周期的訓練前的參數爲:。
同理,可通過上述兩種可能實現的方式確定平均網路的參數。
在本發明實施例提供的訓練方法的訓練過程中,第一神經網路的參數通過監測訓練獲得,即通過監測數據的監測分別確定第一神經網路的損失和第二神經網路的損失,並基於第一神經網路的損失確定第一神經網路反向傳播的梯度,再通過反向傳播的方式傳播該梯度,更新第一神經網路的參數。同理,第二神經網路的參數也是通過反向梯度傳播的方式實現更新。而目標神經網路和平均網路的參數均不是通過反向梯度傳播的方式更新,而是通過不同訓練周期的第一神經網路的參數的平均值和不同訓練周期的第二神經網路的參數的平均值分別確定目標神經網路的參數和平均網路的參數。因此,目標神經網路的參數和平均網路的參數的更新速度比第一神經網路的參數和第二神經網路的參數的更新速度慢,也就是說,目標神經網路的輸出和第二神經網路的輸出之間的相似度低,平均網路的輸出和第一神經網路的輸出之間的相似度低。這樣,再通過目標神經網路的輸出和平均網路的輸出監測分別監測第二神經網路和第一神經網路,可使第二神經網路學習到目標神經網路的“優勢”(即第一神經網路的“優勢”),使第一神經網路學習到平均網路的“優勢”。而由於目標神經網路的參數可反應第一神經網路在已完成的訓練周期下獲得的平均性能,平均網路的參數可反應第二神經網路在已完成的訓練周期下獲得的平均性能,使第二神經網路學習到目標神經網路的“優勢”就相當於使第二神經網路學習到第一神經網路的“優勢”,使第一神經網路學習到平均網路的“優勢”就相當於使第一神經網路學習到第二神經網路的“優勢”。進而依據第一神經網路的參數的時序平均值確定目標神經網路的參數,可使訓練獲得的目標神經網路在目標域上的效果比應用神經網路在目標域上的效果好。上述“優勢”指神經網路對某個類別或個體的辨識準確率高。例如例2中應用神經網路對周六的身份的辨識,以及監測神經網路對張三的身份的辨識。
本實施通過確定第一神經網路的參數的時序平均值和第二神經網路的時序平均值,分別獲得目標神經網路的參數和平均網路的參數,再使用目標神經網路的輸出監測第二神經網路,使用平均網路的輸出監測第一神經網路對目標神經網路進行訓練,可提升訓練效果。進而使用目標神經網路在目標域上執行相關的辨識任務時,可提取出訊息更豐富的目標特徵數據,該訊息可提高在目標域上的辨識準確率。
下面將詳細闡述實施例中的訓練方法的實現過程,請參閱圖3,圖3是本發明實施例提供的102的一種可能實現的方法的流程示意圖。
301、獲取上述訓練圖像集、第一待訓練神經網路和第二待訓練神經網路。
本實施例的執行主體可以是伺服器,電腦。本實施例的訓練方法執行主體可以與上述執行主體不同,也可以相同。本實施例中,訓練圖像集可通過圖4所示的傳統方法獲得。如圖4所示,向在源域上訓練好的第三神經網路輸入多張未標注的目標域上的圖像(下文將稱爲待處理圖像集),通過第三神經網路對待處理圖像集中的圖像進行特徵提取處理,獲得包含待處理圖像集中的圖像的特徵數據的第三特徵數據集,再通過聚類算法將待處理圖像集中的圖像的特徵數據進行區分,獲得預定數量個集合,並給每個集合中的特徵數據對應的圖像添加僞硬標籤。
在一種可能實現的方式中,對第三神經網路執行y次第二疊代,可獲得上述訓練圖像集,其中,y爲正整數。上述y次第二疊代中的第t次第二疊代包括:
從待處理圖像集中採樣獲得第二圖像集,經第t次第二疊代的第三神經網路對第二圖像集中的圖像進行處理,獲得包含第二圖像集中的圖像的特徵數據的第三特徵數據集以及包含第二圖像集中的圖像的分類結果的分類結果集。對第三特徵數據集中的特徵數據進行聚類處理確定第三特徵數據集中的特徵數據的標籤,將第三特徵數據集中的特徵數據的標籤添加至所述第二圖像集中對應的圖像中,獲得第三圖像集。依據分類結果集中的分類結果與第三圖像集中的圖像的標籤之間的差異,確定第三損失。基於第三損失調整第t次第二疊代的第三神經網路的參數,獲得第t+1次第二疊代的第三神經網路的參數。
在第t+1次第二疊代中,再從待處理圖像集中採樣獲得第三圖像集,其中,第三圖像集中的圖像與第二圖像集中的圖像不同。再以第t次第二疊代的第三神經網路對第二圖像集的處理獲得第二圖像集中的圖像的標籤以及第t+1次第二疊代的第三神經網路的參數的方法,使用第t+1次第二疊代的第三神經網路對第三圖像集進行處理,獲得第三圖像集中的圖像的標籤,以及第t+2次第二疊代的第三神經網路。直到給待處理圖像集中至少一個圖像的添加上標籤,獲得訓練圖像集。其中,第1次第二疊代的第三神經網路即爲第三神經網路。
以第1次第二疊代爲例(例3),從待處理圖像集中採樣獲得5張包含人物對象的圖像,分別爲圖像a、圖像b、圖像c、圖像d、圖像e。將這5張圖像輸入至第三神經網路獲得這5張圖像的特徵數據,並通過聚類算法按這5張圖像的特徵數據特徵的人物對象的身份將這5張圖像分爲3類,獲得3個集合。分別是由圖像a和圖像e組成的第一集合,由圖像b組成的第二集合,由圖像c和圖像d組成的第三集合。確定第一集合中的圖像包含的人物對象的身份爲張三,給圖像a和圖像e分別添加的僞硬標籤爲[1,0,0],特徵圖像a中的人物對象的身份和圖像e中的人物對象的身份均屬第一類(張三)。確定第二集合中的圖像包含的人物對象的身份爲李四,給圖像b添加的僞硬標籤爲[0,1,0],特徵圖像b中的人物對象的身份均屬第二類(李四)。確定第三集合中的圖像包含的人物對象的身份爲王五,給圖像c和圖像d分別添加的僞硬標籤爲[0,0,1],特徵圖像c中的人物對象的身份和圖像d中的人物對象的身份均屬第三類(王五)。
同時,第三神經網路中的分類器依據這些圖像的特徵數據,預測圖像所屬的類別(下文將稱爲預測結果),並將依據預測結果和僞硬標籤之間的差異,確定總的預備硬分類損失。
在一種可能實現的方式中,通過分別計算待處理圖像集中每張圖像的預測結果與標籤之間差異獲得預備硬分類損失,並求待處理圖像集中至少一個圖像的預備硬分類損失的平均值可確定總的預備硬損失。接著例3繼續舉例(例4),第三神經網路的分類器輸出的圖像a的預測類別爲[0.7,0.2,0.1],特徵圖像a中的人物對象的身份是張三的機率爲0.7,圖像a中的人物對象的身份是李四的機率爲0.2,圖像a中的人物對象的身份是王五的機率爲0.1。通過計算預測類別([0.7,0.2,0.1])和僞硬標籤([1,0,0])之間的交叉熵損失即可確定圖像a的預備硬分類損失。再以同樣的方式可確定圖像b、圖像c、圖像d和圖像e的硬分類損失,再計算圖像a的預備硬分類損失、圖像b的硬分類損失、圖像c的預備硬分類損失、圖像d的硬分類損失和圖像e的預備硬分類損失的平均值獲得總的預備硬分類損失。
同時還將依據待處理圖像集中的圖像的特徵數據確定待處理圖像集中每張圖像的預備硬三元損失,並計算待處理圖像集中每張圖像的預備硬三元損失的平均值確定總的預備硬三元損失。接著例4繼續舉例,在計算圖像a的預備硬三元損失時,首先分別計算與圖像a屬同一類的圖像的特徵數據中與圖像a的特徵數據之間的相似度(下文將稱爲正相似度),分別計算與圖像a屬不同類的圖像的特徵數據中與圖像a的特徵數據之間的相似度(下文將稱爲負相似度),並依據正相似度的最小值和負相似度的最大值確定預備硬三元損失。再以同樣的方式可確定圖像b、圖像c、圖像d和圖像e的預備硬三元損失,再計算圖像a的預備硬三元損失、圖像b的硬三元損失、圖像c的預備硬三元損失、圖像d的硬三元損失和圖像e的預備硬三元損失的平均值獲得總的預備硬三元損失。
再對總的預備硬分類損失和總的預備硬三元損失進行加權求和,獲得第三損失。基於第三損失調整第三神經網路的參數,獲得第2次第二疊代的第三神經網路。直到給待處理圖像集中的至少一個圖像添加標籤(即僞硬標籤),獲得訓練圖像集。
上述第一待訓練神經網路和上述第二待訓練神經網路均爲在源域上訓練好的神經網路,第一待訓練神經網路和第二待訓練神經網路均爲具備從圖像中提取特徵數據的功能和依據特徵數據進行分類的功能的神經網路,第一待訓練神經網路的結構和第二待訓練神經網路的結構可以相同,也可以不同,本發明對此不做限定。
302、對上述第一待訓練神經網路和上述第二待訓練神經網路執行x次第一疊代,獲得目標神經網路。
請參與圖5,圖5爲本實施例提供的上述x次第一疊代中的第i次第一疊代的訓練示意圖,第i次第一疊代包括:以上述訓練圖像集和第i次第一疊代的平均網路的輸出監測第i次第一疊代的所述第一待訓練神經網路獲得第i+1次第一疊代的第一待訓練神經網路,以上述訓練圖像集和第i次第一疊代的目標神經網路的輸出監測第i次第一疊代的第二待訓練神經網路,獲得第i+1次第一疊代的第二待訓練神經網路。
在一種可能實現的方式中,以訓練圖像集監測第i次第一疊代的第一待訓練神經網路獲得第i+1次第一疊代的第一待訓練神經網路,以及以訓練圖像集監測第i次第一疊代的第二待訓練神經網路獲得第i+1次第一疊代的第二待訓練神經網路可包括以下步驟:經第i次第一疊代的第一待訓練神經網路對上述第一圖像進行處理獲得第一分類結果,經第i次第一疊代的平均網路對上述第一圖像進行處理獲得第二分類結果,經第i次第一疊代的第二待訓練神經網路對上述第一圖像進行處理獲得第三分類結果,經第i次第一疊代的訓練前的目標神經網路對上述第一圖像進行處理獲得第四分類結果。再依據第一分類結果和第一圖像的第一標籤(即步驟301中獲得的僞硬標籤)之間的差異,確定第i次第一疊代的第一待訓練神經網路的第一硬分類損失,依據第三分類結果和第一標籤之間的差異確定第i次第一疊代的第二待訓練神經網路的第二硬分類損失。以第一硬分類損失監測第i次第一疊代的第一待訓練神經網路和以第二硬分類損失監測第i次第一疊代的第二待訓練神經網路,實現通過訓練圖像集監測第i次第一疊代的第一待訓練神經網路和第i次第一疊代的第二待訓練神經網路。依據第一分類結果和第二分類結果之間的差異,確定第i次第一疊代的第一待訓練神經網路的第一軟分類損失,依據第三分類結果和第四分類結果之間的差異,確定第i次第一疊代的訓練前的第二神經網路的第二軟分類損失。以第一軟分類損失監測第i次第一疊代的第一待訓練神經網路和以第二軟分類損失監測第i次第一疊代的第二待訓練神經網路,實現以第i次第一疊代的平均網路監測第i次第一疊代的第一待訓練神經網路和以第i次第一疊代的目標神經網路監測第i次第一疊代的第二待訓練神經網路。再對第一硬分類損失和第一軟分類損失進行加權求和,獲得第i次第一疊代的第一待訓練神經網路的第一損失,對第二硬分類損失和第二軟分類損失進行加權求和,獲得第i次第一疊代的第二待訓練神經網路的第二損失。再基於第一損失調整第i次第一疊代的第一待訓練神經網路的參數,獲得第i+1次第一疊代的第一待訓練神經網路。基於第二損失調整第i次第一疊代的第二待訓練神經網路的參數,獲得第i+1次第一疊代的第二待訓練神經網路。在執行第i次第一疊代之前,可依據第i-1次第一疊代的目標神經網路的參數和上述第i次第一疊代的第一待訓練神經網路的參數確定上述第i次第一疊代的目標神經網路的參數,以及依據第i-1次第一疊代的平均網路的參數和上述第i次第一疊代的第二待訓練神經網路的參數確定上述第i次第一疊代的平均網路的參數。在一種可能實現的方式中,在第i+1次第一疊代中,即可依據下面兩個公式分別確定第i+1次第一疊代的目標神經網路的參數,以及第i+1次第一疊代的平均網路的參數:
其中,爲第i+1次第一疊代的目標神經網路的參數,爲第i次第一疊代的目標神經網路的參數,爲第i+1次第一疊代的平均網路的參數,爲第i次第一疊代的平均網路的參數。爲第i+1次第一疊代的第一待訓練神經網路的參數,爲第i+1次第一疊代的第二待訓練神經網路的參數。爲大於或等於0且小於1的自然數,==,==。上述x爲正整數,上述i爲小於或等於x的正整數。
在確定第i+1次第一疊代的第一待訓練神經網路的參數,第i+1次第一疊代的第二待訓練神經網路的參數,第i+1次第一疊代的目標神經網路的參數和第i+1次第一疊代的平均網路的參數後,執行第i+1次第一疊代。在執行完第x次第一疊代後,調整第x次第一疊代的目標神經網路的參數獲得目標神經網路。
以第1次第一疊代爲例,假設訓練圖像集包含圖像1,圖像2和圖像3,其中,圖像1的僞硬標籤爲[1,0],經第1次第一疊代的第一待訓練神經網路(即第一待訓練神經網路)對上述訓練圖像集中的圖像1(即第一圖像)進行處理獲得的分類結果爲[0.7,0.3],經第1次第一疊代的第二待訓練神經網路(即第二待訓練神經網路)對上述圖像1進行處理獲得的分類結果爲[0.8,0.2],經第1次第一疊代的目標神經網路(即第一待訓練神經網路)對圖像1進行處理獲得的分類結果爲[0.7,0.3],經第1次第一疊代的平均網路(即第二待訓練神經網路)對圖像1進行處理獲得的分類結果爲[0.8,0.2]。計算[1,0]和[0.7,0.3]之間的交叉熵損失獲得第一硬分類損失,計算[1,0]和[0.8,0.2]之間的交叉熵損失獲得第二硬分類損失,計算[0.7,0.3]和[0.7,0.3]之間的差異獲得第一軟分類損失,計算[0.8,0.2]和[0.8,0.2]之間的差異獲得第二軟分類損失。再對第一硬分類損失和第一軟分類損失加權求和,獲得第一損失,對第二硬分類損失和第二軟分類損失加權求和,獲得第二損失。基於第一損失調整第一待訓練神經網路的參數,獲得第2次第一疊代的第一待訓練神經網路,基於第二損失調整第二待訓練神經網路的參數,獲得第2次第一疊代的第二待訓練神經網路。
可選的,在第i次第一疊代中,在對第一硬分類損失和第一軟分類損失進行加權求和獲得第一損失以及對第二硬分類損失和第二軟分類損失進行加權求和獲得第二損失之前,還可確定i次第一疊代的第一待訓練神經網路的第一硬三元損失,以及i次第一疊代的第二待訓練神經網路的第二硬三元損失。再對第一硬分類損失、第一軟分類損失和第一硬三元損失進行加權求和獲得第一損失,對第二硬分類損失、第二軟分類損失和第二硬三元損失進行加權求和獲得第二損失。
在一種可能實現的方式中,經第i次第一疊代的第一待訓練神經網路對上述訓練圖像集進行處理獲得第一特徵數據集,經第i次第一疊代的第二待訓練神經網路對上述訓練圖像集進行處理獲得第四特徵數據集。確定上述第一圖像在上述第一特徵數據集中的第一特徵數據與上述第一特徵數據集中的正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第一相似度,確定上述第一圖像在上述第四特徵數據集中的第三特徵數據與上述第四特徵數據集中的正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第九相似度。確定第一特徵數據與第一特徵數據集中的負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第三相似度,確定第三特徵數據與第四特徵數據集中的負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第十相似度。再依據第一相似度和第三相似度可確定第一硬三元損失,依據第九相似度和第十相似度可確定第二硬三元損失。其中,負樣本特徵數據子集包括具有與上述第一標籤不同的標籤的圖像的特徵數據,正樣本特徵數據子集包括具有與上述第一標籤相同的標籤的圖像的特徵數據。
舉例來說(例5),訓練圖像集包含圖像1,圖像2,圖像3,圖像4,圖像5。其中,圖像1,圖像3和圖像5中的標籤均爲張三,圖像2和圖像4中的標籤均爲李四。第一特徵數據集包括圖像1的特徵數據(第一特徵數據),圖像2的特徵數據(下文將稱爲特徵數據2),圖像3的特徵數據(下文將稱爲特徵數據3),圖像4的特徵數據(下文將稱爲特徵數據4),圖像5的特徵數據(下文將稱爲特徵數據5)。第四特徵數據集包括圖像1的特徵數據(第三特徵數據),圖像2的特徵數據(下文將稱爲特徵數據6),圖像3的特徵數據(下文將稱爲特徵數據7),圖像4的特徵數據(下文將稱爲特徵數據8),圖像5的特徵數據(下文將稱爲特徵數據9)。第一特徵數據集中的正樣本特徵數據子集包括特徵數據3和特徵數據5,第一特徵數據集中的負樣本特徵數據子集包括特徵數據2和特徵數據4。第四特徵數據集中的正樣本特徵數據子集包括特徵數據7和特徵數據9,第四特徵數據集中的負樣本特徵數據子集包括特徵數據6和特徵數據8。分別計算第一特徵數據與特徵數據2、特徵數據3、特徵數據4和特徵數據5之間的相似度,假設第一特徵數據與特徵數據3之間的相似度小於第一特徵數據與特徵數據5之間的相似度,則第一特徵數據與特徵數據3之間的相似度爲第一相似度。假設第一特徵數據與特徵數據2之間的相似度小於第一特徵數據與特徵數據4之間的相似度,則第一特徵數據與特徵數據4之間的相似度爲第三相似度。分別計算第三特徵數據與特徵數據6、特徵數據7、特徵數據8和特徵數據9之間的相似度,假設第三特徵數據與特徵數據7之間的相似度小於第二特徵數據與特徵數據9之間的相似度,則第三特徵數據與特徵數據7之間的相似度爲第九相似度。假設第三特徵數據與特徵數據6之間的相似度小於第三特徵數據與特徵數據8之間的相似度,則第三特徵數據與特徵數據8之間的相似度爲第十相似度。再依據公式(4)可確定第一特徵數據、特徵數據3和特徵數據4之間的第一硬三元損失,根據公式(5)確定第二特徵數據、特徵數據7和特徵數據8之間的第二硬三元損失:
將正樣本特徵數據子集中與第一特徵數據之間的相似度最小的特徵數據稱爲第一特徵數據的類內最難特徵數據,將負樣本特徵數據子集中與第一特徵數據之間的相似度最大的特徵數據稱爲第一特徵數據的類外最難特徵數據。同理,可確定訓練圖像集中的其他圖像(包括圖像2,圖像3,圖像4,圖像5)在第一特徵數據集中的特徵數據在第一特徵數據子集中的正樣本特徵數據子集中的類內最難特徵數據和類外最難特徵數據,進而可根據每張圖像在第一特徵數據集中的特徵數據,類內最難特徵數據和類外最難特徵數據確定每張圖像的第一待訓練神經網路的硬三元損失。同理,可根據訓練圖像集中每張圖像在第四特徵數據集中的特徵數據,類內最難特徵數據和類外最難特徵數據確定每張圖像的第二待訓練神經網路的硬三元損失。
可選的,在確定訓練圖像集中的每張圖像的第一待訓練神經網路的硬三元損失和第二待訓練神經網路的硬三元損失後,將訓練圖像集中第一待訓練神經網路的硬三元損失的平均值作爲第一硬三元損失,將訓練圖像集中至少一個圖像的第二待訓練神經網路的硬三元損失的平均值作爲第二硬三元損失。
通過第一硬三元損失監測第i次第一疊代的第一待訓練神經網路,可使第i次第一疊代的第一待訓練神經網路將提高屬同一類的圖像的特徵數據之間的相似度,並降低屬不同類的圖像的特徵數據之間的相似度。以更好的區分不同類別的圖像,提高對圖像類別的辨識準確率。同理,通過第二硬三元損失監測第i次第一疊代的第二待訓練神經網路,可提高第i次第一疊代的第二待訓練神經網路從圖像中提取特徵的效果,獲得包含更豐富的圖像訊息的特徵數據。
本實施例依據第一硬分類損失、第一軟分類損失和第一硬三元確定第一損失,依據第二硬分類損失、第二軟分類損失和第二硬三元確定第二損失。再基於第一損失調整第i次第一疊代的第一待訓練神經網路,基於第二損失調整第i次第一疊代的第二待訓練神經網路,實現通過訓練圖像和第i次第一疊代的平均網路監測第i次第一疊代的第一待訓練神經網路,以及通過訓練圖像和第i次第一疊代的訓練前的目標網路監測第i次第一疊代的第二待訓練神經網路。
實施例中的第i次第一疊代通過訓練圖像集中的圖像的標籤確定正樣本特徵數據子集和負樣本特徵數據子集,而該標籤爲通過步驟301中的傳統方法獲得的僞硬標籤。由於僞硬標籤爲一位有效編碼(one-hot)處理後的數據,即僞硬標籤中的數值非0即1,因此僞硬標籤存在較大誤差,因此通過僞硬標籤確定的正樣本子集和負樣本子集也存在較大誤差,進而導致第i次第一疊代後獲得的第i+1次第一疊代的第一待訓練神經網路在目標域上的特徵提取效果不佳,進而導致在目標域上的辨識準確率低。
舉例來說(例6),訓練圖像集中圖像的標籤包含兩個類別(張三和李四),由於僞硬標籤中的數值非0即1,因此訓練圖像集中的圖像中的人物對象要麽是張三,要麽是李四。假設訓練圖像集中的圖像1中的人物對象爲張三,圖像1的僞硬標籤特徵的類別爲張三,圖像2中的人物對象爲李四,但圖像2的僞硬標籤特徵的類別爲張三,圖像3中的人物對象爲張三,但圖像3的僞硬標籤特徵的類別爲李四。圖像1在第一特徵數據集中的特徵數據爲特徵數據a,圖像2在第一特徵數據集中的特徵數據爲特徵數據b,圖像3在第一特徵數據集中的特徵數據爲特徵數據c。特徵數據a的類內最難特徵數據爲特徵數據b,特徵數據a的類外最難特徵數據爲特徵數據c。通過特徵數據a、特徵數據b和特徵數據c確定的第一硬三元損失監測第i次第一疊代的第一待訓練神經網路調整第i次第一疊代的第一待訓練神經網路,使第i次第一疊代的第一待訓練神經網路提高從圖像1中提取出的特徵數據和從圖像2中提取出的特徵數據之間的相似度,並降低從圖像1中提取出的特徵數據和從圖像2中提取出的特徵數據之間的相似度,獲得第i+1次第一疊代的第一待訓練神經網路。而圖像1中的人物對象(張三)和圖像2中的人物對象(李四)不是同一個人,若提高圖像1的特徵數據與圖像2的特徵數據之間的相似度顯然會導致第i+1次第一疊代的第一待訓練神經網路對張三或李四的辨識準確率低。同理,圖像1中的人物對象(張三)和圖像3中的人物對象(張三)是同一個人,若降低圖像1的特徵數據與圖像3的特徵數據之間的相似度顯然會導致第i+1次第一疊代的第一待訓練神經網路對張三或李四的辨識準確率低。
爲減小如例6中僞硬標籤帶來的影響,本發明實施例提供了一種通過軟標籤監測第i次第一疊代的第一待訓練神經網路,獲得第一軟三元損失的方法。通過第一軟三元損失監測第i次第一疊代的第一待訓練神經網路以提高第i+1次第一疊代的第一待訓練神經網路的辨識準確率,進而提高目標神經網路的辨識準確率。
請參閱圖6,圖6爲本發明實施例提供另一種圖像處理方法的流程圖。
601、經第i次第一疊代的平均網路對上述訓練圖像集進行處理獲得第二特徵數據集,經第i次第一疊代的訓練前的目標網路對上述訓練圖像集進行處理獲得第五特徵數據集。
602、依據上述第一特徵數據集、上述第二特徵數據集、上述第四特徵數據集和上述第五特徵數據集獲得第一軟三元損失和第二軟三元損失。
確定上述第一圖像在第二特徵數據集中的第二特徵數據與第二特徵數據集中的正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第二相似度,確定第二特徵數據與第二特徵數據集中的負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第四相似度。確定上述第一圖像在第五特徵數據集中的第四特徵數據與第五特徵數據集中的正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第十一相似度,確定第四特徵數據與第五特徵數據集中的負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第十二相似度。
需要理解的是,本發明實施例中不同特徵數據集中的正樣本特徵數據子集包含的特徵數據不同,不同特徵數據集中的負樣本特徵數據子集包含的特徵數據也不同。
由於僞硬標籤中的數值非0即1導致對訓練圖像集中的圖像的類別的劃分“太絕對”,進而導致第i+1次第一疊代的第一待訓練神經網路在目標域上的特徵提取效果不佳。本實施例通過分別對第一相似度、第二相似度、第三相似度、第四相似度、第九相似度、第十相似度、第十一相似度和第十二相似度進行歸一化處理,將第一相似度、第二相似度、第三相似度、第四相似度、第九相似度、第十相似度、第十一相似度和第十二相似度轉化爲0至1之間的數值,並通過歸一化處理後獲得的相似度之間的差異確定第i次第一疊代的第一待訓練神經網路的第一軟三元損失和第i次第一疊代的第二待訓練神經網路的第二軟三元損失,以提高第i+1次第一疊代的第一待訓練神經網路在目標域上的特徵提取效果。
在一種可能實現的方式中,通過確定第二相似度和第四相似度的和獲得第一總相似度,確定第一相似度和第三相似度的和獲得第二總相似度,確定第九相似度和第十相似度的和獲得第三總相似度,確定第十一相似度和第十二相似度的和獲得第四總相似度。計算第二相似度與第一總相似度的商獲得第五相似度,計算第四相似度與第一總相似度的商獲得第六相似度,計算第一相似度與第二總相似度的商獲得第七相似度,計算第三相似度與第二總相似度的商獲得第八相似度,計算第九相似度與第三總相似度的商獲得第十三相似度,計算第十相似度與第二總相似度的商獲得第十四相似度,計算第十一相似度與第四總相似度的商獲得第十五相似度,計算第十二相似度與第四總相似度的商獲得第十六相似度。完成對第一相似度、第二相似度、第三相似度、第四相似度、第九相似度、第十相似度、第十一相似度和第十二相似度的歸一化處理。再將第五相似度和第六相似度作爲第i次第一疊代的第一待訓練神經網路的監測數據(即軟標籤)調整第i次第一疊代的第一待訓練神經網路的參數,將第十五相似度和第十六相似度作爲第i次第一疊代的第二待訓練神經網路的監測數據(即軟標籤)調整第i次第一疊代的第二待訓練神經網路的參數。即依據第五相似度與第七相似度之間的差異以及第六相似度與第八相似度之間的差異確定第一軟三元損失,依據第十三相似度與第十五相似度之間的差異以及第十四相似度與第十六相似度之間的差異確定第二軟三元損失。
可選的,依據訓練圖像集中的每張圖像在第二特徵數據集中的類內最難特徵數據與每張圖像在第二特徵數據集中的特徵數據之間的相似度,以及在第二特徵數據集中的類外最難特徵數據與每張圖像在第二特徵數據集中的特徵數據之間的相似度,確定每張圖像的第i次第一疊代的平均網路的軟三元損失。依據訓練圖像集中的每張圖像在第五特徵數據集中的類內最難特徵數據與每張圖像在第五特徵數據集中的特徵數據之間的相似度,以及在第五特徵數據集中的類外最難特徵數據與每張圖像在第五特徵數據集中的特徵數據之間的相似度,確定每張圖像的第i次第一疊代的目標神經網路的軟三元損失。再計算訓練圖像集中的至少一個圖像的第i次第一疊代的平均網路的軟三元損失的平均值獲得第一軟三元損失,計算訓練圖像集中的至少一個圖像的第i次第一疊代的目標神經網路的軟三元損失的平均值獲得第二軟三元損失。
通過對第一相似度、第二相似度、第三相似度、第四相似度、第九相似度、第十相似度、第十一相似度和第十二相似度進行歸一化處理獲得的大小在0至1之間的相似度比僞硬標籤更接近於真實的數據分布,因此將歸一化處理後的相似度作爲監測數據可提高目標神經網路的辨識準確率。
例如,待處理圖像集中包含10張圖像,經步驟401的處理,按待處理圖像集中的圖像中的人物對象的身份將待處理圖像集中的圖像分爲張三和李四,其中,包含的人物對象的身份的僞硬標籤爲張三的圖像(下文將稱爲第一類圖像)和包含的人物對象的身份的僞硬標籤爲李四的圖像(下文將稱爲第二類圖像)各有5張圖像。但第一類圖像中的圖像1的人物對象的真實身份爲李四,第二類圖像中的圖像2的人物對象的真實身份爲張三。也就是說第一類圖像中包含4張人物對象的身份爲張三的圖像,1張人物對象的身份爲李四的圖像,對於第一類圖像而言真實標籤的分布應該是[0.8,0.2]。其中,[0.8,0.2]特徵第一類圖像中包含的人物對象的身份爲張三的圖像的數量在第一類圖像的總數量的占比爲0.8,第一類圖像中包含的人物對象的身份爲李四的圖像的數量在第一類圖像的總數量的占比爲0.2。同理,對第二類圖像而言真實標籤的分布應該是[0.2,0.8]。其中,[0.2,0.8]特徵第二類圖像中包含的人物對象的身份爲張三的圖像的數量在第二類圖像的總數量的占比爲0.2,第二類圖像中包含的人物對象的身份爲李四的圖像的數量在第二類圖像的總數量的占比爲0.8。但第一類圖像的僞硬標籤爲[1,0],第二類圖像的僞硬標籤爲[0,1],這顯然不符合第一類圖像的真實標籤的分布和第二類圖像的真實標籤的分布。而通過本實施例提供的方法獲得的軟標籤是0至1之間的數值,更符合第一類圖像的真實標籤的分布和第二類圖像的真實標籤的分布,因此以軟標籤爲監測數據監測第i次第一疊代的第一待訓練神經網路和第i次第一疊代的第二待訓練神經網路,可提高最終獲得的目標神經網路的在目標域上的特徵提取效果。可選的,本發明實施例中的相似度可以是歐幾里得距離,也可以是餘弦相似度,本發明對此不做限定。
可選的,在將訓練圖像集輸入至第i次第一疊代的第一待訓練神經網路,第i次第一疊代的第二待訓練神經網路,第i次第一疊代的目標神經網路和第i次第一疊代的平均神經網路之前,可對訓練圖像集中的圖像進行第一預處理獲得第一圖像集,再將第一圖像集輸入至第i次第一疊代的第一待訓練神經網路獲得第一特徵數據集,將第一圖像集輸入至第i次第一疊代的目標神經網路獲得第五特徵數據集。其中,第一預處理包括擦除處理、剪裁處理、翻轉處理中的任意一種。
通過對訓練圖像集進行第一預處理可減小在訓練過程中,第i次第一疊代的第一待訓練神經網路,第i次第一疊代的第二待訓練神經網路,第i次第一疊代的目標神經網路和第i次第一疊代的平均網路出現過擬合的機率。
可選的,在對訓練圖像集進行第一預處理的同時,還可對訓練圖像集進行第二預處理獲得第四圖像集。其中,第二預處理包括擦除處理、剪裁處理、翻轉處理中的任意一種,且第一預處理和第二預處理不同。將第四圖像集輸入至第i次第一疊代的第二待訓練神經網路獲得第四特徵數據集,將第四圖像集輸入至第i次第一疊代的平均網路獲得第二特徵數據集。
通過對訓練圖像集同時進行第一預處理和第二預處理可進一步減小在訓練過程中,第i次第一疊代的第一待訓練神經網路,第i次第一疊代的第二待訓練神經網路,第i次第一疊代的目標神經網路和第i次第一疊代的平均網路出現過擬合的機率。
舉例來說(例7),訓練圖像集包含圖像1和圖像2,對圖像1進行剪裁處理獲得圖像3,對圖像2進行擦除處理(擦除圖像2中的任意一塊區域)獲得圖像4,並將圖像3和圖像4作爲第一圖像集。對圖像1進行翻轉處理獲得圖像5,對圖像2進行剪裁處理獲得圖像6,並將圖像5和圖像6作爲第四圖像集。將圖像3和圖像4輸入至第i次第一疊代的第一待訓練神經網路獲得包含圖像3的特徵數據和圖像4的特徵數據的第一特徵數據集,將圖像3和圖像4輸入至第i次第一疊代的目標神經網路分別獲得包含圖像3的特徵數據和圖像4的特徵數據的第五特徵數據集,將圖像5和圖像6輸入至第i次第一疊代的第二待訓練神經網路分別包含圖像5的特徵數據和圖像6的特徵數據的第四特徵數據集,將圖像5和圖像6輸入至第i次第一疊代的平均網路獲得包含圖像5的特徵數據和圖像6的特徵數據的第二特徵數據集。
對訓練圖像集中的第一圖像進行第一預處理獲得第二圖像,對第一圖像進行第二預處理獲得第四圖像,第二圖像和第四圖像的圖像內容不同,但第二圖像和第四圖像的標籤相同。接著例7繼續舉例,圖像1的標籤,圖像3的標籤和圖像5的標籤均相同,圖像2的標籤,圖像4的標籤和圖像6的標籤均相同。
再經第i次第一疊代的第一待訓練神經網路對第二圖像進行處理可獲得第一分類結果,經第i次第一疊代的目標神經網路對第二圖像進行處理可獲得第四分類結果,經第i次第一疊代的第二待訓練神經網路對第四圖像進行處理可獲得第三分類結果,經第i次第一疊代的平均網路對第二圖像進行處理可獲得第二分類結果。
經第i次第一疊代的第一待訓練神經網路對第一圖像集的處理獲得的第一特徵數據集中的特徵數據與經第i次第一疊代的第一待訓練神經網路對訓練圖像集的處理獲得的第一特徵數據集中的特徵數據不同。此時,前文所提到的訓練圖像集中的圖像在第一特徵數據集(或第二特徵數據集或第四特徵數據集或第五特徵數據集)中的類內最難特徵數據指經過第一預處理或第二預處理後的圖像在第一特徵數據集(或第二特徵數據集或第四特徵數據集或第五特徵數據集)中的類內最難特徵數據,訓練圖像集中的圖像在第一特徵數據集(或第二特徵數據集或第四特徵數據集或第五特徵數據集)中的類外最難特徵數據指經過第一預處理或第二預處理後的圖像在第一特徵數據集(或第二特徵數據集或第四特徵數據集或第五特徵數據集)中的類外最難特徵數據。
需要理解的是,本發明實施例中的第一待訓練神經網路、第一神經網路和第i次第一疊代的第一待訓練神經網路的結構相同,但參數不同。第二待訓練神經網路、第二神經網路和第i次第一疊代的第二待訓練神經網路的結構相同,但參數不同。目標網路和第i次第一疊代的目標神經網路的結構相同,但參數不同。平均網路和第i次第一疊代的訓練前的平均神經網路的結構相同,但參數不同。圖4中所示的第i次第一疊代的第一待訓練神經網路的輸出包括第一分類結果和第一特徵數據集,第i次第一疊代的目標神經網路的輸出包括第四分類結果和第五特徵數據集,第i次第一疊代的第二待訓練神經網路的輸出包括第三分類結果和第四特徵數據集,第i次第一疊代的平均網路的輸出包括第二分類結果和第二特徵數據集。
可選的,若由於執行本發明所提供的技術方案的設備的硬體資源不足,無法在一次第一疊代或第二疊代中處理完訓練圖像集中至少一個的圖像,可從訓練圖像集中採樣獲得樣本圖像集,並將樣本圖像集作爲一次第一疊代或一次第二疊代的訓練數據。
603、依據上述第一硬分類損失、上述第一軟分類損失、上述第一軟三元損失和上述第一硬三元損失確定第一損失,依據上述第二硬分類損失、上述第二軟分類損失、上述第二軟三元損失和上述第二硬三元損失確定第二損失。
對第一硬三元損失、第一硬分類損失、第一軟三元損失和第一軟分類損失進行加權求和獲得第一損失,對第二硬三元損失、第二硬分類損失、第二軟三元損失和第二軟分類損失進行加權求和獲得第二損失。其中,加權求和的權重可根據實際使用情況進行調整,本發明對此不做限定。
應用本實施例提供的技術方案可依據第一特徵數據集、第二特徵數據集、第四特徵數據集和第五特徵數據集獲得軟標籤,以軟標籤監測第i次疊代的第一待訓練神經網路和第i次疊代的第二待訓練神經網路可獲得第一軟三元損失和第二軟三元損失。基於第一軟三元損失調整第i次疊代的第一待訓練神經網路的參數獲得第i+1次疊代的第一待訓練神經網路,基於第二軟三元損失調整第i次疊代的第二待訓練神經網路,可提高第i+1次疊代的第一待訓練神經網路在目標域上的辨識準確率和第i+1次疊代的第二待訓練神經網路在目標域上的特徵提取的效果,進而可提高目標神經網路在目標域上的辨識準確率。
本發明實施例還提供了基於實施例獲得的待處理圖像的目標特徵數據進行圖像檢索的應用場景。即使用上述目標特徵數據檢索數據庫,獲得具有與上述目標特徵數據匹配的特徵數據的圖像,作爲目標圖像。
上述數據庫可以在獲取待處理圖像之前建立,數據庫包括圖像和圖像的特徵數據,其中,圖像的特徵數據與目標神經網路在目標域上執行的任務有關。例如,使用目標神經網路辨識目標域內的圖像中的人物對象的身份,圖像的特徵數據包括圖像中的人物對象的特徵包括人物對象的服飾屬性、外貌特徵和其他可用於辨識人物對象的身份的特徵。服飾屬性包括裝飾人體的物品的特徵中的至少一種(如上衣顔色、褲子顔色、褲子長度、帽子款式、鞋子顔色、打不打傘、箱包類別、有無口罩、口罩顔色)。外貌特徵包括體型、性別、髮型、髮色、年齡層、是否戴眼鏡、胸前是否抱東西。其他可用於辨識人物對象的身份的特徵包括:姿態、視角、步幅、環境亮度。又例如,使用目標神經網路辨識目標域內的圖像中包含蘋果、梨子、桃子中的哪一種水果,圖像的特徵數據包括蘋果的特徵訊息或梨子的特徵訊息或桃子的特徵訊息。
由於數據庫中的每張圖像均具有特徵數據,因此,使用目標特徵數據檢索數據庫,從數據庫中確定與目標特徵數據匹配的特徵數據,即確定目標特徵數據與數據庫中的圖像的特徵數據的相似度,並將相似度達到閾值的圖像的特徵數據作爲與目標特徵數據匹配的特徵數據,進而確定目標圖像。需要理解的是,目標圖像的數量可以是一張,也可以是多張。
本領域技術人員可以理解,在具體實施方式的上述方法中,各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定,各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
上述詳細闡述了本發明實施例的方法,下面提供了本發明實施例的裝置。
請參閱圖7,圖7爲本發明實施例提供的一種圖像處理裝置的結構示意圖,該裝置1包括:獲取單元11、處理單元12以及檢索單元13,其中:
獲取單元11,用於獲取待處理圖像;
特徵提取處理單元12,用於使用目標神經網路對所述待處理圖像進行特徵提取處理,獲得所述待處理圖像的目標特徵數據,所述目標神經網路的參數爲第一神經網路的參數的時序平均值,所述第一神經網路在訓練圖像集和平均網路的監測下訓練獲得,所述平均網路的參數爲第二神經網路的參數的時序平均值,所述第二神經網路在所述訓練圖像集和所述目標神經網路的監測下訓練獲得。
在一種可能實現的方式中,所述第一神經網路在訓練圖像集和平均網路的監測下訓練獲得,包括:獲取所述訓練圖像集、第一待訓練神經網路和第二待訓練神經網路;對所述第一待訓練神經網路和所述第二待訓練神經網路執行x次第一疊代,獲得所述第一神經網路和第二神經網路,所述x爲正整數;所述x次第一疊代中的第i次第一疊代包括:以所述訓練圖像集和第i次第一疊代的所述平均網路的輸出監測第i次第一疊代的所述第一待訓練神經網路獲得第i+1次第一疊代的所述第一待訓練神經網路,以所述訓練圖像集和第i次第一疊代的所述目標神經網路的輸出監測第i次第一疊代的所述第二待訓練神經網路,獲得第i+1次第一疊代的所述第二待訓練神經網路;所述目標神經網路的參數爲第一神經網路的參數的時序平均值,包括:依據第i-1次第一疊代的所述目標神經網路的參數和所述第i次第一疊代的所述第一待訓練神經網路的參數確定所述第i次第一疊代的所述目標神經網路的參數,所述i爲小於或等於所述x的正整數;在所述i=1的情況下,所述第i-1次第一疊代的所述目標神經網路的參數與所述第一待訓練神經網路的參數相同。
在另一種可能實現的方式中,所述以所述訓練圖像集和第i次平均網路的輸出監測第i次第一疊代的所述第一待訓練神經網路,獲得第i+1次第一疊代的所述第一待訓練神經網路,包括:經所述第i次第一疊代的所述第一待訓練神經網路對所述訓練圖像集進行處理獲得第一特徵數據集,經所述第i次第一疊代的所述平均網路對所述訓練圖像集進行處理獲得第二特徵數據集;依據所述第一特徵數據集和所述第二特徵數據集獲得第一軟三元損失;以所述訓練圖像集和所述第一軟三元損失監測所述第i次第一疊代的所述第一待訓練神經網路,獲得所述第i+1次第一疊代的所述第一待訓練神經網路。
在又一種可能實現的方式中,所述依據所述第一特徵數據集和所述第二特徵數據集獲得第一軟三元損失,包括:確定所述訓練圖像集中的第一圖像在所述第一特徵數據集中的第一特徵數據與所述第一特徵數據集中的正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第一相似度;確定所述第一圖像在所述第二特徵數據集中的第二特徵數據與所述第二特徵數據集中的所述正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第二相似度,所述正樣本特徵數據子集包括具有與所述第一圖像的第一標籤相同的標籤的圖像的特徵數據;確定所述第一特徵數據與所述第一特徵數據集中的負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第三相似度;確定所述第二特徵數據與所述第二特徵數據集中的所述負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第四相似度,所述負樣本特徵數據子集包括具有與所述第一標籤不同的標籤的圖像的特徵數據;分別對所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度進行歸一化處理,獲得第五相似度、第六相似度、第七相似度和第八相似度;依據所述第五相似度,所述第六相似度,所述第七相似度和所述第八相似度,獲得所述第一軟三元損失。
在又一種可能實現的方式中,所述分別對所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度進行歸一化處理,獲得第五相似度、第六相似度、第七相似度和第八相似度,包括:確定所述第二相似度和所述第四相似度的和獲得第一總相似度,確定所述第一相似度和所述第三相似度的和獲得第二總相似度;確定所述第二相似度與所述第一總相似度的商獲得所述第五相似度,確定所述第四相似度與所述第一總相似度的商獲得所述第六相似度;確定所述第一相似度與所述第二總相似度的商獲得所述第七相似度,確定所述第三相似度與所述第二總相似度的商獲得所述第八相似度。
在又一種可能實現的方式中,所述以所述訓練圖像集和所述第一軟三元損失監測所述第i次第一疊代的所述第一待訓練神經網路,獲得所述第i+1次第一疊代的所述第一待訓練神經網路,包括:經所述第i次第一疊代的所述第一待訓練神經網路對所述第一圖像進行處理獲得第一分類結果;依據所述第一分類結果、所述第一標籤和所述第一軟三元損失確定所述第i次第一疊代的所述第一待訓練神經網路的第一損失;基於所述第一損失調整所述第i次第一疊代的所述第一待訓練神經網路的參數獲得所述第i+1次第一疊代的所述第一待訓練神經網路。
在又一種可能實現的方式中,所述依據所述第一分類結果、所述第一標籤和所述第一軟三元損失確定所述第i次第一疊代的所述第一待訓練神經網路的第一損失,包括:依據所述第一分類結果和所述第一標籤之間的差異確定第一硬分類損失;依據所述第一硬分類損失和所述第一軟三元損失確定所述第一損失。
在又一種可能實現的方式中,在所述依據所述第一硬分類損失和所述第一軟三元損失確定所述第一損失之前,經所述第i次第一疊代的所述平均網路對所述第一圖像進行處理獲得第二分類結果;依據所述第一分類結果和所述第二分類結果之間的差異確定第一軟分類損失;所述依據所述第一硬分類損失和所述第一軟三元損失確定所述第一損失,包括:依據所述第一硬分類損失、所述第一軟分類損失和所述第一軟三元損失確定所述第一損失。
在又一種可能實現的方式中,在所述依據所述第一硬分類損失、所述第一軟分類損失和所述第一軟三元損失確定所述第一損失之前,依據所述第一相似度和所述第三相似度確定第一硬三元損失;所述依據所述第一硬分類損失、所述第一軟分類損失和所述第一軟三元損失確定所述第一損失,包括:依據所述第一硬分類損失、所述第一軟分類損失、所述第一軟三元損失和所述第一硬三元損失確定所述第一損失。
在又一種可能實現的方式中,所述經所述第i次第一疊代的所述第一待訓練神經網路對所述訓練圖像集中的第一圖像進行處理獲得第一分類結果第一待訓練神經網路,包括:對所述訓練圖像集進行第一預處理,獲得第一圖像集,所述第一預處理包括擦除處理、剪裁處理、翻轉處理中的任意一種;經所述第i次第一疊代的所述第一待訓練神經網路對所述第一圖像集中的第二圖像進行處理獲得所述第一分類結果,所述第二圖像通過對所述第一圖像進行所述第一預處理獲得,所述第二圖像在所述第一特徵數據集中的特徵數據與所述第一圖像在所述第一特徵數據集中的數據相同。
在又一種可能實現的方式中,所述經第i次第一疊代的所述第一待訓練神經網路對所述訓練圖像集進行處理獲得第一特徵數據集,包括:經所述第i次第一疊代的所述第一待訓練神經網路對所述第一圖像集進行處理獲得所述第一特徵數據集。
在又一種可能實現的方式中,所述獲取單元11具體用於:獲取待處理圖像集和第三神經網路;對所述第三神經網路執行y次第二疊代,獲得所述訓練圖像集,所述y爲正整數;所述y次第二疊代中的第t次第二疊代包括:從所述待處理圖像集中採樣獲得第二圖像集,經第t次第二疊代的第三神經網路對所述第二圖像集中的圖像進行處理,獲得包含所述第二圖像集中的圖像的特徵數據的第三特徵數據集以及包含所述第二圖像集中的圖像的分類結果的分類結果集;對所述第三特徵數據集中的特徵數據進行聚類處理確定所述第三特徵數據集中的特徵數據的標籤,將所述第三特徵數據集中的特徵數據的標籤添加至所述第二圖像集中對應的圖像中,獲得第三圖像集;依據所述分類結果集中的分類結果與所述第三圖像集中的圖像的標籤之間的差異,確定第三損失;基於所述第三損失調整所述第t次第二疊代的第三神經網路的參數,獲得第t+1次第二疊代的第三神經網路的參數,所述t爲小於所述y的正整數。
在又一種可能實現的方式中,所述裝置還包括:檢索單元13,用於使用所述目標特徵數據檢索數據庫,獲得具有與所述目標特徵數據匹配的特徵數據的圖像,作爲目標圖像。
本實施通過確定第一神經網路的參數的時序平均值和第二神經網路的時序平均值,分別獲得目標神經網路的參數和平均網路的參數,再使用目標神經網路的輸出監測第二神經網路,使用平均網路的輸出監測第一神經網路對目標神經網路進行訓練,可提升訓練效果。進而使用目標神經網路在目標域上執行相關的辨識任務時,可提取出訊息更豐富的目標特徵數據,該訊息可提高在目標域上的辨識準確率。
在一些實施例中,本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法,其具體實現可以參照上文方法實施例的描述,爲了簡潔,這裏不再贅述。
圖8爲本發明實施例提供的一種圖像處理裝置的硬體結構示意圖。該圖像處理裝置2包括處理器21,記憶體22,輸入裝置23,輸出裝置24。該處理器21、記憶體22、輸入裝置23和輸出裝置24通過連接器相耦合,該連接器包括各類介面、傳輸線或總線等等,本發明實施例對此不作限定。應當理解,本發明的各個實施例中,耦合是指通過特定方式的相互聯繫,包括直接相連或者通過其他設備間接相連,例如可以通過各類介面、傳輸線、總線等相連。
處理器21可以是一個或多個圖形處理器(graphics processing unit, GPU),在處理器21是一個GPU的情況下,該GPU可以是單核GPU,也可以是多核GPU。可選的,處理器21可以是多個GPU構成的處理器組,多個處理器之間通過一個或多個總線彼此耦合。可選的,該處理器還可以爲其他類型的處理器等等,本發明實施例不作限定。
記憶體22可用於儲存電腦程式指令,以及用於執行本發明方案的程式代碼在內的各類電腦程式代碼。可選地,記憶體包括但不限於是隨機存取記憶體(random access memory,RAM)、唯獨記憶體(read-only memory,ROM)、可抹除可程式化唯讀記憶體(erasable programmable read only memory,EPROM)、或可攜式壓縮磁碟唯讀記憶體(compact disc read-only memory,CD-ROM),該記憶體22用於儲存相關指令及數據。
輸入裝置23用於輸入數據和/或訊號,以及輸出裝置24用於輸出數據和/或訊號。輸出裝置23和輸入裝置24可以是獨立的器件,也可以是一個整體的器件。
可理解,本發明實施例中,記憶體22不僅可用於儲存相關指令,還可用於儲存相關圖像,如該記憶體22可用於儲存通過輸入裝置23獲取的待搜索神經網路,又或者該記憶體22還可用於儲存通過處理器21搜索獲得的目標神經網路等等,本發明實施例對於該記憶體22中具體所儲存的數據不作限定。
可以理解的是,圖8僅僅示出了一種圖像處理裝置的簡化設計。在實際應用中,圖像處理裝置還可以分別包含必要的其他元件,包含但不限於任意數量的輸入/輸出裝置、處理器、記憶體等,而所有可以實現本發明實施例的圖像處理裝置都在本發明的保護範圍之內。
本領域普通技術人員可以意識到,結合本文中所公開的實施例描述的各示例的單元及算法步驟,能夠以電子硬體、或者電腦軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體方式來執行,取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能,但是這種實現不應認爲超出本發明的範圍。
所屬領域的技術人員可以清楚地瞭解到,爲描述的方便和簡潔,上述描述的系統、裝置和單元的具體工作過程,可以參考前述方法實施例中的對應過程,在此不再贅述。所屬領域的技術人員還可以清楚地瞭解到,本發明各個實施例描述各有側重,爲描述的方便和簡潔,相同或類似的部分在不同實施例中可能沒有贅述,因此,在某一實施例未描述或未詳細描述的部分可以參見其他實施例的記載。
在本發明所提供的幾個實施例中,應該理解到,所揭露的系統、裝置和方法,可以通過其它的方式實現。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述單元的劃分,僅僅爲一種邏輯功能劃分,實際實現時可以有另外的劃分方式,例如多個單元或組件可以結合或者可以集成到另一個系統,或一些特徵可以忽略,或不執行。另一點,所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是通過一些介面,裝置或單元的間接耦合或通訊連接,可以是電性,機械或其它的形式。
所述作爲分離部件說明的單元可以是或者也可以不是物理上分開的,作爲單元顯示的部件可以是或者也可以不是物理單元,即可以位於一個地方,或者也可以分布到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外,在本發明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以兩個或兩個以上單元集成在一個單元中。
在上述實施例中,可以全部或部分地通過軟體、硬體、固件或者其任意組合來實現。當使用軟體實現時,可以全部或部分地以電腦程式産品的形式實現。所述電腦程式産品包括一個或多個電腦指令。在電腦上加載和執行所述電腦程式指令時,全部或部分地産生按照本發明實施例所述的流程或功能。所述電腦可以是通用電腦、專用電腦、電腦網路、或者其他可程式化裝置。所述電腦指令可以儲存在電腦可讀儲存媒體中,或者通過所述電腦可讀儲存媒體進行傳輸。所述電腦指令可以從一個網站站點、電腦、伺服器或數據中心通過有線(例如同軸電纜、光纖、數位用戶迴路(digital subscriber line,DSL))或無線(例如紅外、無線、微波等)方式向另一個網站站點、電腦、伺服器或數據中心進行傳輸。所述電腦可讀儲存媒體可以是電腦能夠存取的任何可用媒體或者是包含一個或多個可用媒體集成的伺服器、數據中心等數據儲存設備。所述可用媒體可以是磁性媒體,(例如,軟碟、硬碟、磁帶)、光媒體(例如,數位多功能影音光碟(digital versatile disc,DVD))、或者半導體媒體(例如固態硬碟(solid state disk ,SSD))等。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程,該流程可以由電腦程式來指令相關的硬體完成,該程式可儲存於電腦可讀取儲存媒體中,該程式在執行時,可包括如上述各方法實施例的流程。而前述的儲存媒體包括:唯讀記憶體(read-only memory,ROM)或隨機存取記憶體(random access memory,RAM)、磁碟或者光碟等各種可儲存程式代碼的媒體。
1:圖像處理裝置
2:總線
11:獲取單元
12:處理單元
13:檢索單元
21:處理器
22:輸入裝置
23:輸出裝置
24:記憶體
爲了更清楚地說明本發明實施例或背景技術中的技術方案,下面將對本發明實施例或背景技術中所需要使用的附圖進行說明:
圖1爲本發明實施例提供的一種圖像處理方法的流程示意圖;
圖2爲本發明實施例提供的一種訓練方法的示意圖;
圖3爲本發明實施例提供的另一種圖像處理方法的流程示意圖;
圖4爲本發明實施例提供的另一種訓練方法的示意圖;
圖5爲本發明實施例提供的又一種訓練方法的示意圖;
圖6爲本發明實施例提供的另一種圖像處理方法的流程示意圖;
圖7爲本發明實施例提供的一種圖像處理裝置的結構示意圖;
圖8爲本發明實施例提供的一種圖像處理裝置的硬體結構示意圖。
Claims (18)
- 一種圖像處理方法,其中,所述方法包括: 獲取待處理圖像; 使用目標神經網路對所述待處理圖像進行特徵提取處理,獲得所述待處理圖像的目標特徵數據,所述目標神經網路的參數爲第一神經網路的參數的時序平均值,所述第一神經網路在訓練圖像集和平均網路的監測下訓練獲得,所述平均網路的參數爲第二神經網路的參數的時序平均值,所述第二神經網路在所述訓練圖像集和所述目標神經網路的監測下訓練獲得。
- 如請求項1所述的方法,其中,所述第一神經網路在訓練圖像集和平均網路的監測下訓練獲得,包括: 獲取所述訓練圖像集、第一待訓練神經網路和第二待訓練神經網路; 對所述第一待訓練神經網路和所述第二待訓練神經網路執行x次第一疊代,獲得所述第一神經網路和第二神經網路,所述x爲正整數; 所述x次第一疊代中的第i次第一疊代包括: 以所述訓練圖像集和第i次第一疊代的所述平均網路的輸出監測第i次第一疊代的所述第一待訓練神經網路獲得第i+1次第一疊代的所述第一待訓練神經網路,以所述訓練圖像集和第i次第一疊代的所述目標神經網路的輸出監測第i次第一疊代的所述第二待訓練神經網路,獲得第i+1次第一疊代的所述第二待訓練神經網路; 所述目標神經網路的參數爲第一神經網路的參數的時序平均值,包括: 依據第i-1次第一疊代的所述目標神經網路的參數和所述第i次第一疊代的所述第一待訓練神經網路的參數確定所述第i次第一疊代的所述目標神經網路的參數,所述i爲小於或等於所述x的正整數; 在所述i=1的情況下,所述第i-1次第一疊代的所述目標神經網路的參數與所述第一待訓練神經網路的參數相同。
- 如請求項2所述的方法,其中,所述以所述訓練圖像集和第i次平均網路的輸出監測第i次第一疊代的所述第一待訓練神經網路,獲得第i+1次第一疊代的所述第一待訓練神經網路,包括: 經所述第i次第一疊代的所述第一待訓練神經網路對所述訓練圖像集進行處理獲得第一特徵數據集,經所述第i次第一疊代的所述平均網路對所述訓練圖像集進行處理獲得第二特徵數據集; 依據所述第一特徵數據集和所述第二特徵數據集獲得第一軟三元損失; 以所述訓練圖像集和所述第一軟三元損失監測所述第i次第一疊代的所述第一待訓練神經網路,獲得所述第i+1次第一疊代的所述第一待訓練神經網路。
- 如請求項3所述的方法,其中,所述依據所述第一特徵數據集和所述第二特徵數據集獲得第一軟三元損失,包括: 確定所述訓練圖像集中的第一圖像在所述第一特徵數據集中的第一特徵數據與所述第一特徵數據集中的正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第一相似度;確定所述第一圖像在所述第二特徵數據集中的第二特徵數據與所述第二特徵數據集中的所述正樣本特徵數據子集中的特徵數據之間的最小相似度,獲得第二相似度,所述正樣本特徵數據子集包括具有與所述第一圖像的第一標籤相同的標籤的圖像的特徵數據; 確定所述第一特徵數據與所述第一特徵數據集中的負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第三相似度;確定所述第二特徵數據與所述第二特徵數據集中的所述負樣本特徵數據子集中的特徵數據之間的最大相似度,獲得第四相似度,所述負樣本特徵數據子集包括具有與所述第一標籤不同的標籤的圖像的特徵數據; 分別對所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度進行歸一化處理,獲得第五相似度、第六相似度、第七相似度和第八相似度; 依據所述第五相似度,所述第六相似度,所述第七相似度和所述第八相似度,獲得所述第一軟三元損失。
- 如請求項4所述的方法,其中,所述分別對所述第一相似度、所述第二相似度、所述第三相似度和所述第四相似度進行歸一化處理,獲得第五相似度、第六相似度、第七相似度和第八相似度,包括: 確定所述第二相似度和所述第四相似度的和獲得第一總相似度,確定所述第一相似度和所述第三相似度的和獲得第二總相似度; 確定所述第二相似度與所述第一總相似度的商獲得所述第五相似度,確定所述第四相似度與所述第一總相似度的商獲得所述第六相似度; 確定所述第一相似度與所述第二總相似度的商獲得所述第七相似度,確定所述第三相似度與所述第二總相似度的商獲得所述第八相似度。
- 如請求項5所述的方法,其中,所述以所述訓練圖像集和所述第一軟三元損失監測所述第i次第一疊代的所述第一待訓練神經網路,獲得所述第i+1次第一疊代的所述第一待訓練神經網路,包括: 經所述第i次第一疊代的所述第一待訓練神經網路對所述第一圖像進行處理獲得第一分類結果; 依據所述第一分類結果、所述第一標籤和所述第一軟三元損失確定所述第i次第一疊代的所述第一待訓練神經網路的第一損失; 基於所述第一損失調整所述第i次第一疊代的所述第一待訓練神經網路的參數獲得所述第i+1次第一疊代的所述第一待訓練神經網路。
- 如請求項6所述的方法,其中,所述依據所述第一分類結果、所述第一標籤和所述第一軟三元損失確定所述第i次第一疊代的所述第一待訓練神經網路的第一損失,包括: 依據所述第一分類結果和所述第一標籤之間的差異確定第一硬分類損失; 依據所述第一硬分類損失和所述第一軟三元損失確定所述第一損失。
- 如請求項7所述的方法,其中,在所述依據所述第一硬分類損失和所述第一軟三元損失確定所述第一損失之前,所述方法還包括: 經所述第i次第一疊代的所述平均網路對所述第一圖像進行處理獲得第二分類結果; 依據所述第一分類結果和所述第二分類結果之間的差異確定第一軟分類損失; 所述依據所述第一硬分類損失和所述第一軟三元損失確定所述第一損失,包括: 依據所述第一硬分類損失、所述第一軟分類損失和所述第一軟三元損失確定所述第一損失。
- 如請求項8所述的方法,其中,在所述依據所述第一硬分類損失、所述第一軟分類損失和所述第一軟三元損失確定所述第一損失之前,所述方法還包括: 依據所述第一相似度和所述第三相似度確定第一硬三元損失; 所述依據所述第一硬分類損失、所述第一軟分類損失和所述第一軟三元損失確定所述第一損失,包括: 依據所述第一硬分類損失、所述第一軟分類損失、所述第一軟三元損失和所述第一硬三元損失確定所述第一損失。
- 如請求項6至9其中任意一項所述的方法,其中,所述經所述第i次第一疊代的所述第一待訓練神經網路對所述第一圖像進行處理獲得第一分類結果,包括: 對所述訓練圖像集進行第一預處理,獲得第一圖像集,所述第一預處理包括擦除處理、剪裁處理、翻轉處理中的任意一種; 經所述第i次第一疊代的所述第一待訓練神經網路對所述第一圖像集中的第二圖像進行處理獲得所述第一分類結果,所述第二圖像通過對所述第一圖像進行所述第一預處理獲得,所述第二圖像在所述第一特徵數據集中的特徵數據與所述第一圖像在所述第一特徵數據集中的數據相同。
- 如請求項10所述的方法,其中,所述經第i次第一疊代的所述第一待訓練神經網路對所述訓練圖像集進行處理獲得第一特徵數據集,包括: 經所述第i次第一疊代的所述第一待訓練神經網路對所述第一圖像集進行處理獲得所述第一特徵數據集。
- 如請求項2至9其中任意一項所述的方法,其中,所述獲取所述訓練圖像集,包括: 獲取待處理圖像集和第三神經網路; 對所述第三神經網路執行y次第二疊代,獲得所述訓練圖像集,所述y爲正整數; 所述y次第二疊代中的第t次第二疊代包括: 從所述待處理圖像集中採樣獲得第二圖像集,經第t次第二疊代的第三神經網路對所述第二圖像集中的圖像進行處理,獲得包含所述第二圖像集中的圖像的特徵數據的第三特徵數據集以及包含所述第二圖像集中的圖像的分類結果的分類結果集; 對所述第三特徵數據集中的特徵數據進行聚類處理確定所述第三特徵數據集中的特徵數據的標籤,將所述第三特徵數據集中的特徵數據的標籤添加至所述第二圖像集中對應的圖像中,獲得第三圖像集; 依據所述分類結果集中的分類結果與所述第三圖像集中的圖像的標籤之間的差異,確定第三損失; 基於所述第三損失調整所述第t次第二疊代的第三神經網路的參數,獲得第t+1次第二疊代的第三神經網路的參數,所述t爲小於所述y的正整數。
- 如請求項1至9其中任意一項所述的方法,其中,所述方法還包括: 使用所述目標特徵數據檢索數據庫,獲得具有與所述目標特徵數據匹配的特徵數據的圖像,作爲目標圖像。
- 如請求項1至9其中任意一項所述的方法,其中,所述待處理圖像包含人物對象。
- 一種圖像處理裝置,其中,所述裝置包括: 獲取單元,用於獲取待處理圖像; 特徵提取處理單元,用於使用目標神經網路對所述待處理圖像進行特徵提取處理,獲得所述待處理圖像的目標特徵數據,所述目標神經網路的參數爲第一神經網路的參數的時序平均值,所述第一神經網路在訓練圖像集和平均網路的監測下訓練獲得,所述平均網路的參數爲第二神經網路的參數的時序平均值,所述第二神經網路在所述訓練圖像集和所述目標神經網路的監測下訓練獲得。
- 一種處理器,其中,所述處理器用於執行如請求項1至14其中任意一項所述的方法。
- 一種電子設備,其中,包括:處理器、發送裝置、輸入裝置、輸出裝置和記憶體,所述記憶體用於儲存電腦程式代碼,所述電腦程式代碼包括電腦指令,當所述處理器執行所述電腦指令時,所述電子設備執行如請求項1至14其中任一項所述的方法。
- 一種電腦可讀儲存媒體,其中,所述電腦可讀儲存媒體中儲存有電腦程式,所述電腦程式包括程式指令,所述程式指令當被電子設備的處理器執行時,使所述處理器執行如請求項1至14其中任意一項所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910905445.7 | 2019-09-24 | ||
CN201910905445.7A CN110647938B (zh) | 2019-09-24 | 2019-09-24 | 图像处理方法及相关装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202113692A true TW202113692A (zh) | 2021-04-01 |
Family
ID=68992555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108147607A TW202113692A (zh) | 2019-09-24 | 2019-12-25 | 圖像處理方法及其裝置、處理器、電子設備及電腦可讀儲存媒體 |
Country Status (6)
Country | Link |
---|---|
JP (1) | JP7108123B2 (zh) |
KR (1) | KR20210095671A (zh) |
CN (1) | CN110647938B (zh) |
SG (1) | SG11202010487PA (zh) |
TW (1) | TW202113692A (zh) |
WO (1) | WO2021056765A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11429809B2 (en) | 2019-09-24 | 2022-08-30 | Beijing Sensetime Technology Development Co., Ltd | Image processing method, image processing device, and storage medium |
CN110647938B (zh) * | 2019-09-24 | 2022-07-15 | 北京市商汤科技开发有限公司 | 图像处理方法及相关装置 |
CN111598124B (zh) * | 2020-04-07 | 2022-11-11 | 深圳市商汤科技有限公司 | 图像处理及装置、处理器、电子设备、存储介质 |
CN113222139B (zh) * | 2021-04-27 | 2024-06-14 | 商汤集团有限公司 | 神经网络训练方法和装置、设备,及计算机存储介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6128609A (en) * | 1997-10-14 | 2000-10-03 | Ralph E. Rose | Training a neural network using differential input |
JP4599509B2 (ja) * | 2004-09-08 | 2010-12-15 | 独立行政法人理化学研究所 | 自己進化型パターン認識システム |
CN105894046B (zh) * | 2016-06-16 | 2019-07-02 | 北京市商汤科技开发有限公司 | 卷积神经网络训练及图像处理的方法和系统、计算机设备 |
CN108229468B (zh) * | 2017-06-28 | 2020-02-21 | 北京市商汤科技开发有限公司 | 车辆外观特征识别及车辆检索方法、装置、存储介质、电子设备 |
CN108230359B (zh) * | 2017-11-12 | 2021-01-26 | 北京市商汤科技开发有限公司 | 目标检测方法和装置、训练方法、电子设备、程序和介质 |
US11216719B2 (en) * | 2017-12-12 | 2022-01-04 | Intel Corporation | Methods and arrangements to quantize a neural network with machine learning |
CN108009528B (zh) * | 2017-12-26 | 2020-04-07 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
CN108197670B (zh) * | 2018-01-31 | 2021-06-15 | 国信优易数据股份有限公司 | 伪标签生成模型训练方法、装置及伪标签生成方法及装置 |
CN113743535B (zh) * | 2019-05-21 | 2024-05-24 | 北京市商汤科技开发有限公司 | 神经网络训练方法及装置以及图像处理方法及装置 |
CN110188829B (zh) * | 2019-05-31 | 2022-01-28 | 北京市商汤科技开发有限公司 | 神经网络的训练方法、目标识别的方法及相关产品 |
CN110647938B (zh) * | 2019-09-24 | 2022-07-15 | 北京市商汤科技开发有限公司 | 图像处理方法及相关装置 |
-
2019
- 2019-09-24 CN CN201910905445.7A patent/CN110647938B/zh active Active
- 2019-11-18 SG SG11202010487PA patent/SG11202010487PA/en unknown
- 2019-11-18 WO PCT/CN2019/119180 patent/WO2021056765A1/zh active Application Filing
- 2019-11-18 KR KR1020217019630A patent/KR20210095671A/ko not_active Application Discontinuation
- 2019-11-18 JP JP2021500683A patent/JP7108123B2/ja active Active
- 2019-12-25 TW TW108147607A patent/TW202113692A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2021056765A1 (zh) | 2021-04-01 |
SG11202010487PA (en) | 2021-04-29 |
CN110647938B (zh) | 2022-07-15 |
JP7108123B2 (ja) | 2022-07-27 |
JP2022511221A (ja) | 2022-01-31 |
KR20210095671A (ko) | 2021-08-02 |
CN110647938A (zh) | 2020-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11429809B2 (en) | Image processing method, image processing device, and storage medium | |
Wu et al. | Progressive learning for person re-identification with one example | |
CN107480261B (zh) | 一种基于深度学习细粒度人脸图像快速检索方法 | |
CN110458107B (zh) | 用于图像识别的方法和装置 | |
TW202113692A (zh) | 圖像處理方法及其裝置、處理器、電子設備及電腦可讀儲存媒體 | |
Quoc Bao et al. | Plant species identification from leaf patterns using histogram of oriented gradients feature space and convolution neural networks | |
CN110503076B (zh) | 基于人工智能的视频分类方法、装置、设备和介质 | |
Sapkota et al. | Deep convolutional hashing for low-dimensional binary embedding of histopathological images | |
Mandal et al. | Deep convolutional generative adversarial network-based food recognition using partially labeled data | |
US20210117687A1 (en) | Image processing method, image processing device, and storage medium | |
Hosny et al. | Multi-class classification of plant leaf diseases using feature fusion of deep convolutional neural network and local binary pattern | |
Xu et al. | Weakly supervised facial expression recognition via transferred DAL-CNN and active incremental learning | |
Zhang et al. | Classification of canker on small datasets using improved deep convolutional generative adversarial networks | |
Prakash et al. | An intelligent fruits classification in precision agriculture using bilinear pooling convolutional neural networks | |
Lee et al. | Fine-Grained Plant Identification using wide and deep learning model | |
CN115457332A (zh) | 基于图卷积神经网络和类激活映射的图像多标签分类方法 | |
CN115169386A (zh) | 一种基于元注意力机制的弱监督增类活动识别方法 | |
Zhao et al. | Deeply supervised active learning for finger bones segmentation | |
CN114708637A (zh) | 一种基于元学习的人脸动作单元检测方法 | |
He | Facial expression recognition using multi-branch attention convolutional neural network | |
CN111858999B (zh) | 一种基于分段困难样本生成的检索方法及装置 | |
Chen et al. | YOLOv8-CML: A lightweight target detection method for Color-changing melon ripening in intelligent agriculture | |
Mao et al. | A Transfer Learning Method with Multi-feature Calibration for Building Identification | |
CN111401519A (zh) | 一种基于物体内和物体间相似性距离的深层神经网络无监督学习方法 | |
Jia et al. | Learning disentangled label representations for multi-label classification |