TW202139062A - 圖像處理方法、處理器、電子設備和電腦可讀儲存介質 - Google Patents

圖像處理方法、處理器、電子設備和電腦可讀儲存介質 Download PDF

Info

Publication number
TW202139062A
TW202139062A TW110110670A TW110110670A TW202139062A TW 202139062 A TW202139062 A TW 202139062A TW 110110670 A TW110110670 A TW 110110670A TW 110110670 A TW110110670 A TW 110110670A TW 202139062 A TW202139062 A TW 202139062A
Authority
TW
Taiwan
Prior art keywords
image
image set
neural network
trained
unlabeled
Prior art date
Application number
TW110110670A
Other languages
English (en)
Inventor
趙揚波
張展鵬
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202139062A publication Critical patent/TW202139062A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本發明公開了一種圖像處理方法、處理器、電子設備和電腦可讀儲存介質。該方法包括：獲取待處理圖像；使用圖像處理神經網路對所述待處理圖像進行處理，得到所述待處理圖像的處理結果；所述圖像處理神經網路以未標注圖像集和已標注圖像集為訓練資料訓練得到；所述未標注圖像集的採集條件與所述待處理圖像的採集條件相同；所述已標注圖像集的採集條件與所述未標注圖像集的採集條件不同。

Description

圖像處理方法、處理器、電子設備和電腦可讀儲存介質
本發明關於電腦技術領域，尤其關於一種圖像處理方法、處理器、電子設備和電腦可讀儲存介質。
得益於強大的性能，近幾年神經網路被廣泛應用於圖像處理領域。在使用神經網路之前，需要對神經網路進行訓練。傳統方法中，使用訓練資料對神經網路進行訓練得到訓練好的神經網路，並將已訓練好的神經網路應用於不同的應用場景。然而，基於一個應用場景的訓練資料訓練好的神經網路應用到其他應用場景中時，得到的處理結果準確度較低。
本發明提供一種圖像處理方法、處理器、電子設備和電腦可讀儲存介質。
第一方面，提供了一種圖像處理方法，所述方法包括： 獲取待處理圖像； 使用圖像處理神經網路對所述待處理圖像進行處理，得到所述待處理圖像的處理結果；所述圖像處理神經網路以未標注圖像集和已標注圖像集為訓練資料訓練得到；所述未標注圖像集的採集條件與所述待處理圖像的採集條件相同；所述已標注圖像集的採集條件與所述未標注圖像集的採集條件不同。
在該方面中，以未標注圖像集和已標注圖像集為訓練資料對神經網路進行訓練，可基於已標注圖像集確定未標注圖像集的標籤，從而可降低對未標注圖像集進行標注的人力成本，並提高標注效率。在使用已標注圖像集、未標注圖像集、未標注圖像集的標籤對神經網路進行訓練，可使神經網路在訓練過程中學習到第二採集條件的資訊，從而可在使用訓練得到的圖像處理神經網路對待處理圖像進行處理的過程中，提高得到的處理結果的準確度。
結合本發明任一實施方式，所述方法還包括： 獲取所述未標注圖像集、所述已標注圖像集以及第一待訓練神經網路； 基於所述已標注圖像集，得到所述未標注圖像集的標籤； 將所述已標注圖像集和所述未標注圖像集作為訓練資料、所述未標注圖像集的標籤作為所述未標注圖像集的監督資訊，對所述第一待訓練神經網路進行訓練，得到所述圖像處理神經網路。
在該實施方式中，基於已標注圖像集對未標注圖像集進行標注，從而可節省人力成本，並提高標注效率。使用已標注圖像集和未標注圖像集對第一待訓練神經網路進行訓練，可使第一待訓練神經網路在訓練過程學習到未標注圖像集的採集條件的資訊，得到圖像處理神經網路。這樣，使用圖像處理神經網路對待處理圖像進行處理，可提高處理結果的準確度。
結合本發明任一實施方式，所述基於所述已標注圖像集，得到所述未標注圖像集的標籤，包括： 將所述已標注圖像集作為訓練資料，對所述第一待訓練神經網路進行訓練，得到第二待訓練神經網路； 使用所述第二待訓練神經網路對所述未標注圖像集進行處理，得到所述未標注圖像集的標籤。
在該實施方式中，使用第一待訓練神經網路對未標注圖像集進行處理，得到未標注圖像集的標籤後，將已標注圖像集和未標注圖像集作為訓練資料、未標注圖像集的標籤作為未標注圖像集的監督資訊，對第二待訓練神經網路進行訓練，以增大訓練週期數，提升訓練效果，從而提高訓練得到的圖像處理神經網路對待處理圖像進行處理得到的處理結果的準確度。
結合本發明任一實施方式，所述將所述已標注圖像集和所述未標注圖像集作為訓練資料、所述未標注圖像集的標籤作為所述未標注圖像集的監督資訊，對所述第一待訓練神經網路進行訓練，得到所述圖像處理神經網路，包括： 使用所述第二待訓練神經網路對所述已標注圖像集進行處理得到第一結果，使用所述第二待訓練神經網路對所述未標注圖像集進行處理得到第二結果； 依據所述第一結果與所述已標注圖像集的標籤之間的差異得到第一差異，依據所述第二結果與所述未標注圖像集的標籤之間的差異得到第二差異； 依據所述第一差異和所述第二差異，得到所述第二待訓練神經網路的損失； 基於所述第二待訓練神經網路的損失，調整所述第二待訓練神經網路的參數，得到所述圖像處理神經網路。
在該實施方式中，依據第一差異和第二差異，得到第二待訓練神經網路的損失，並基於第二待訓練神經網路的損失調整第二待訓練神經網路的參數，可完成對第二待訓練神經網路的訓練，得到圖像處理神經網路。
結合本發明任一實施方式，所述已標注圖像集的標籤和所述未標注圖像的標籤均攜帶類別資訊； 在所述依據所述第一差異和所述第二差異，得到所述第二待訓練神經網路的損失之前，所述方法還包括： 確定訓練圖像集中的第一圖像與所述訓練圖像集中的第二圖像之間的相似度得到第一相似度，確定所述訓練圖像集中的第一圖像與所述訓練圖像集中的第三圖像之間的相似度得到第二相似度；所述訓練圖像集包括所述已標注圖像集和所述未標注圖像集；所述第一圖像的類別與所述第二圖像的類別相同，且所述第一圖像的類別與所述第三圖像的類別不同； 依據所述第一相似度和所述第二相似度之間的差異，得到三元組損失； 所述依據所述第一差異和所述第二差異，得到所述第二待訓練神經網路的損失，包括： 依據所述第一差異和所述第二差異，得到類別損失； 依據所述類別損失和所述三元組損失，得到所述第二待訓練神經網路的損失。
在該實施方式中，依據第一相似度和第二相似度得到三元組損失，並在對第二待訓練神經網路的訓練過程中，依據類別損失和三元組損失確定第二待訓練神經網路的損失，可使第二待訓練神經網路在訓練過程中，提高對圖像的類別的區分能力。
結合本發明任一實施方式，在所述確定訓練圖像集中的第一圖像與所述訓練圖像集中的第二圖像之間的相似度得到第一相似度，以及所述確定所述訓練圖像集中的第一圖像與所述訓練圖像集中的第三圖像之間的相似度得到第二相似度之前，所述方法還包括： 確定第一圖像的類內最難圖像作為第二圖像，確定第一圖像的類外最難圖像作為第三圖像；所述類內最難圖像為類內圖像集中與所述第一圖像之間的相似度最小的圖像；所述類外最難圖像為類外圖像集中與所述第一圖像之間的相似度最大的圖像；所述類內圖像集包括標籤與所述第一圖像的標籤相同的圖像；所述類外圖像集包括標籤與所述第一圖像的標籤不同的圖像。
通過上述方式，同類的圖像之間的相似度最小值比不同類的圖像之間的相似度最大值都大，從而使得任意兩張屬於同一類的圖像之間的相似度都要比任意兩張屬於不同類的圖像之間的相似度大。
結合本發明任一實施方式，在所述使用所述第二待訓練神經網路對所述未標注圖像集進行處理得到第二結果之前，所述方法還包括： 對所述未標注圖像集進行資料增強處理，得到增強後的圖像集； 所述使用所述第二待訓練神經網路對所述未標注圖像集進行處理得到第二結果，包括： 使用所述第二待訓練神經網路對所述增強後的圖像集和所述未標注圖像集進行處理，得到所述第二結果。
在該實施方式中，通過對未標注圖像集進行資料增強處理，增加採集條件與未標注圖像集的採集條件相同的圖像的數量，進而提升第二待訓練神經網路的訓練效果。這樣，在使用訓練得到的圖像處理神經網路對待處理圖像進行處理的過程中，可提高得到的處理結果的準確度。
結合本發明任一實施方式，所述資料集增強處理包括以下至少一種：旋轉處理、擦除處理、剪裁處理、模糊處理。
結合本發明任一實施方式，圖像的所述採集條件包括：採集所述圖像的成像設備的參數。
第二方面，提供了一種圖像處理裝置，所述裝置包括： 獲取部分，被配置為獲取待處理圖像； 處理部分，被配置為使用圖像處理神經網路對所述待處理圖像進行處理，得到所述待處理圖像的處理結果；所述圖像處理神經網路以未標注圖像集和已標注圖像集為訓練資料訓練得到；所述未標注圖像集的採集條件與所述待處理圖像的採集條件相同；所述已標注圖像集的採集條件與所述未標注圖像集的採集條件不同。
結合本發明任一實施方式，所述獲取部分，還被配置為獲取所述未標注圖像集、所述已標注圖像集以及第一待訓練神經網路； 所述處理部分，還被配置為基於所述已標注圖像集，得到所述未標注圖像集的標籤； 所述裝置還包括： 訓練部分，被配置為將所述已標注圖像集和所述未標注圖像集作為訓練資料、所述未標注圖像集的標籤作為所述未標注圖像集的監督資訊，對所述第一待訓練神經網路進行訓練，得到所述圖像處理神經網路。
結合本發明任一實施方式，所述處理部分，還被配置為： 將所述已標注圖像集作為訓練資料，對所述第一待訓練神經網路進行訓練，得到第二待訓練神經網路； 使用所述第二待訓練神經網路對所述未標注圖像集進行處理，得到所述未標注圖像集的標籤。
結合本發明任一實施方式，所述處理部分，還被配置為： 使用所述第二待訓練神經網路對所述已標注圖像集進行處理得到第一結果，使用所述第二待訓練神經網路對所述未標注圖像集進行處理得到第二結果； 依據所述第一結果與所述已標注圖像集的標籤之間的差異得到第一差異，依據所述第二結果與所述未標注圖像集的標籤之間的差異得到第二差異； 依據所述第一差異和所述第二差異，得到所述第二待訓練神經網路的損失； 基於所述第二待訓練神經網路的損失，調整所述第二待訓練神經網路的參數，得到所述圖像處理神經網路。
結合本發明任一實施方式，所述已標注圖像集的標籤和所述未標注圖像的標籤均攜帶類別資訊； 所述裝置還包括：第一確定部分，被配置為在所述依據所述第一差異和所述第二差異，得到所述第二待訓練神經網路的損失之前，確定訓練圖像集中的第一圖像與所述訓練圖像集中的第二圖像之間的相似度得到第一相似度，確定所述訓練圖像集中的第一圖像與所述訓練圖像集中的第三圖像之間的相似度得到第二相似度；所述訓練圖像集包括所述已標注圖像集和所述未標注圖像集；所述第一圖像的類別與所述第二圖像的類別相同，且所述第一圖像的類別與所述第三圖像的類別不同； 第二確定部分，被配置為依據所述第一相似度和所述第二相似度之間的差異，得到三元組損失； 所述處理部分，還用於依據所述第一差異和所述第二差異，得到類別損失； 依據所述類別損失和所述三元組損失，得到所述第二待訓練神經網路的損失。
結合本發明任一實施方式，所述裝置還包括： 第三確定部分，被配置為在所述確定訓練圖像集中的第一圖像與所述訓練圖像集中的第二圖像之間的相似度得到第一相似度，以及所述確定所述訓練圖像集中的第一圖像與所述訓練圖像集中的第三圖像之間的相似度得到第二相似度之前，確定第一圖像的類內最難圖像作為第二圖像，確定第一圖像的類外最難圖像作為第三圖像；所述類內最難圖像為類內圖像集中與所述第一圖像之間的相似度最小的圖像；所述類外最難圖像為類外圖像集中與所述第一圖像之間的相似度最大的圖像；所述類內圖像集包括標籤與所述第一圖像的標籤相同的圖像；所述類外圖像集包括標籤與所述第一圖像的標籤不同的圖像。
結合本發明任一實施方式，所述裝置還包括： 資料增強處理部分，被配置為在所述使用所述第二待訓練神經網路對所述未標注圖像集進行處理得到第二結果之前，對所述未標注圖像集進行資料增強處理，得到增強後的圖像集； 所述處理部分被配置為： 使用所述第二待訓練神經網路對所述增強後的圖像集和所述未標注圖像集進行處理，得到所述第二結果。
結合本發明任一實施方式，所述資料集增強處理包括以下至少一種：旋轉處理、擦除處理、剪裁處理、模糊處理。 結合本發明任一實施方式，圖像的所述採集條件包括：採集所述圖像的成像設備的參數。
第三方面，提供了一種處理器，所述處理器用於執行如上述第一方面及其任意一種可能實現的方式的方法。
第四方面，提供了一種電子設備，包括：處理器、發送裝置、輸入裝置、輸出裝置和記憶體，所述記憶體用於儲存電腦程式代碼，所述電腦程式代碼包括電腦指令，在所述處理器執行所述電腦指令的情況下，所述電子設備執行如上述第一方面及其任意一種可能實現的方式的方法。
第五方面，提供了一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有電腦程式，所述電腦程式包括程式指令，在所述程式指令被處理器執行的情況下，使所述處理器執行如上述第一方面及其任意一種可能實現的方式的方法。
第六方面，提供了一種電腦程式產品，所述電腦程式產品包括電腦程式或指令，在所述電腦程式或指令在電腦上運行的情況下，使得所述電腦執行上述第一方面及其任一種可能的實現方式的方法。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。
為了使本技術領域的人員更好地理解本發明方案，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。
本發明的說明書和申請專利範圍及上述附圖中的術語“第一”、“第二”等是用於區別不同物件，而不是用於描述特定順序。此外，術語“包括”和“具有”以及它們任何變形，意圖在於覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統、產品或設備沒有限定於已列出的步驟或單元，而是可選地還包括沒有列出的步驟或單元，或可選地還包括對於這些過程、方法、產品或設備固有的其他步驟或單元。
在本文中提及“實施例”意味著，結合實施例描述的特定特徵、結構或特性可以包含在本發明的至少一個實施例中。在說明書中的各個位置出現該短語並不一定均是指相同的實施例，也不是與其它實施例互斥的獨立的或備選的實施例。本領域技術人員顯式地和隱式地理解的是，本文所描述的實施例可以與其它實施例相結合。
得益於強大的性能，近幾年神經網路被廣泛應用於圖像處理領域，用以執行各種任務。例如，使用神經網路對執行圖像分類任務，又例如，使用神經網路執行圖像分割任務。為表述方便，下文將執行任務稱為應用，將神經網路執行任務所處理的圖像稱為應用圖像。
神經網路在應用過程中的表現效果很大程度取決於對神經網路的訓練效果，影響神經網路的訓練效果的因素眾多，訓練圖像的圖像品質與應用圖像的圖像品質之間的差異即為眾多因素中的一個。圖像品質包括：圖像的解析度、圖像的信噪比、圖像的清晰度。訓練圖像的圖像品質與應用圖像的圖像品質之間的差異包括以下至少一種：訓練圖像的解析度與應用圖像的解析度之間的差異、訓練圖像的信噪比與應用圖像的解析度之間的差異、訓練圖像的清晰度與應用圖像的清晰度之間的差異。而導致訓練圖像的圖像品質與應用圖像的圖像品質之間存在差異的原因之一為：訓練圖像的採集條件與應用圖像的採集條件之間的差異。
本發明實施例中，訓練圖像的採集條件與應用圖像的採集條件（下文將稱為第一採集條件）之間的差異包括以下至少一種：採集訓練圖像的成像設備（下文將稱為訓練成像設備）的參數與採集應用圖像的成像設備（下文將稱為應用成像設備）的參數之間的差異、採集訓練圖像的環境與採集應用圖像的環境之間的差異。
採集訓練圖像的成像設備的參數與採集應用圖像的成像設備的參數之間的差異包括：訓練成像設備的硬體設定與應用成像設備的硬體設定之間的差異。例如，訓練設備採集的圖像的解析度為1920×1080，應用設備採集的圖像的解析度為1280×1024。又例如，訓練設備的焦距範圍為：10毫米-22毫米，應用成像設備的焦距範圍為：18毫米-135毫米。
採集圖像的環境包括以下至少一種：採集圖像的天氣、採集圖像的場景。例如，採集圖像的天氣可以是陰天，採集圖像的天氣也可以是雨天，採集圖像的天氣還可以是晴天。雨天採集的圖像的環境和晴天採集的圖像的環境不同，陰天採集的圖像的環境和晴天採集的圖像的環境不同。又例如，場景可以是汽車內部，場景也可以是候機廳，場景還可以是高速公路，採集汽車內部的圖像的場景與採集候機廳的圖像的場景不同，採集高速公路的圖像的場景與採集候機廳的圖像的場景不同。
使用訓練圖像對神經網路進行訓練，得到訓練後的神經網路。使用訓練後的神經網路執行任務，即使用訓練後的神經網路對應用圖像進行處理，得到處理結果。例如，在執行圖像分類任務的過程中，使用訓練後的神經網路對應用圖像進行處理，得到分類結果。又例如，在執行圖像分割任務的過程中，使用訓練後的神經網路對應用圖像進行處理，得到分割結果。但在訓練圖像與應用圖像之間存在差異的情況下，上述處理結果（包括分類結果和分割結果）的準確度低。
舉例來說，通過A城市的監控攝影頭在陰天採集包含行人的圖像（下文將稱為A地採集的圖像），並通過對A地採集的圖像中的行人的身份進行標注得到訓練圖像。使用訓練圖像訓練神經網路a，使訓練後的神經網路a可以用於識別在A地採集的圖像中的行人的身份。現需要使用訓練後的神經網路a識別在B地採集的圖像中的行人的身份，由於訓練圖像均為陰天採集的圖像，而從B地採集的圖像包括：陰天採集的圖像、晴天採集的圖像、雨天採集的圖像，不同的天氣採集的圖像中的環境亮度、清晰度不一樣，環境亮度和清晰度的不同影響神經網路的識別準確度，使用訓練後的神經網路a對晴天或雨天採集的圖像中的行人的身份進行識別，得到的識別結果的準確度低。此外，A地的監控攝影頭的參數和B地的監控攝影頭的參數也不一樣（如拍攝視角，又如解析度），這也將導致訓練後的神經網路a對B地採集到的圖像中的行人的身份的識別準確度低。
為提高處理結果的準確度，傳統方法通過將應用場景下的第一採集條件下採集的圖像作為訓練圖像，對神經網路進行訓練。但這種方法需要對第一採集條件下採集的圖像進行標注，而神經網路的訓練圖像的數量大，傳統方法需要耗費大量的人力成本，且標注效率低。
基於此，本發明實施例提供了一種技術方案，以在降低人力成本、提高標注效率的前提下，提高基於神經網路得到的處理結果的準確度。
本發明實施例的執行主體可以為圖像處理裝置，其中，圖像處理裝置可以是以下中的一種：手機、電腦、伺服器、平板電腦。本發明實施例還可以通過處理器執行電腦代碼實現本發明的圖像處理方法。
下面結合本發明實施例中的附圖對本發明實施例進行描述。
請參閱圖1，圖1是本發明實施例提供的一種圖像處理方法的流程示意圖。
101、獲取待處理圖像。
本發明實施例中，待處理圖像可以包含任意內容。例如，待處理圖像可以包括道路。又例如，待處理圖像可以包括道路和車輛。再例如，待處理圖像可以包括人。本發明對待處理圖像中的內容不做限定。
在一種獲取待處理圖像的實現方式中，圖像處理裝置接收使用者通過輸入元件輸入的待處理圖像。上述輸入元件包括：鍵盤、滑鼠、觸控螢幕、觸控板和音頻輸入器等。
在另一種獲取待處理圖像的實現方式中，圖像處理裝置接收第一終端發送的待處理圖像。這裡，第一終端可以是以下任意一種：手機、電腦、平板電腦、伺服器、可穿戴設備。
在又一種獲取待處理圖像的實現方式中，圖像處理裝置可以通過自身的圖像採集元件，例如攝影頭，直接採集得到待處理圖像。
102、使用圖像處理神經網路對上述待處理圖像進行處理，得到上述待處理圖像的處理結果。
本發明實施例中，圖像處理神經網路以未標注圖像集和已標注圖像集為訓練資料訓練得到，其中，未標注圖像集的採集條件與待處理圖像的採集條件（下文將稱為第二採集條件）相同，已標注圖像集的採集條件（下文將稱為第三採集條件）與未標注圖像集的採集條件不同。
舉例來說，待處理圖像為在候機室採集的圖像，未標注圖像集中的圖像也為在候機室採集的圖像，已標注圖像集中的圖像非在候機室採集的圖像。又例如，待處理圖像為攝影頭A採集的圖像，未標注圖像集中的圖像也為攝影頭A採集的圖像，已標注圖像集中的圖像為攝影頭B採集的圖像。
本發明實施例中，已標注圖像集中的圖像均攜帶有標籤。例如，使用圖像處理網路執行的圖像分類任務為：判斷圖像中包含的內容是蘋果、香蕉、梨子、桃子、柳丁、西瓜中的哪一種，那麼已標注圖像集中的圖像的標籤包括蘋果、香蕉、梨子、桃子、柳丁、西瓜中的一種。又例如，使用圖像處理網路執行的任務為行人重識別，即識別圖像中包含的人物的身份，那麼已標注圖像集中的圖像的標籤包括人物的身份（如張三、李四、王五、週六等）。再例如，使用圖像處理網路執行的任務為將人物所覆蓋的圖元區域從圖像中分割出來，那麼已標注圖像集中的圖像標籤包括人物輪廓，該人物輪廓所包圍的圖元區域即為人物所覆蓋的圖元區域。
在將未標注圖像集和已標注圖像集作為訓練資料對神經網路進行訓練的過程中，可基於已標注圖像集確定未標注圖像集的標籤，進而可使用已標注圖像集、未標注圖像集、未標注圖像集的標籤對神經網路進行訓練，這樣，在使用訓練後的神經網路對第二採集條件下採集的圖像進行處理的過程中，可提高得到的處理結果的準確度。
舉例來說，已標注圖像集中的圖像均為在候機室採集的圖像，待處理圖像和未標注圖像集中的圖像均為在汽車內部採集的圖像。由於未標注圖像集中的圖像均未攜帶標籤，無法使用未標注圖像集對神經網路進行訓練，而候機室內的環境與汽車內部的環境不同（如：候機室內的光線與汽車內部的光線不同，又如：候機室內的物體與汽車內部的物體不同），僅使用已標注圖像集對神經網路進行訓練，無法使神經網路通過訓練學習到汽車內部的環境的資訊，從而在使用訓練後的神經網路對待處理圖像進行處理的過程中，使得到的處理結果的準確度低。在本發明實施例中，將已標注圖像集和未標注圖像集作為訓練資料，可基於已標注圖像集確定未標注圖像集的標籤，從而可使用未標注圖像集和未標注圖像集的標籤作為訓練資料對神經網路進行訓練，這樣，神經網路在訓練過程中可學習到汽車內部的環境的資訊，進而提高處理結果的準確度。
在一種基於已標注圖像集確定未標注圖像集的標籤的實現方式中（下文將稱為第一種實現方式），使用已標注圖像集作為訓練資料，對神經網路進行訓練，得到訓練後的神經網路。使用訓練後的神經網路對未標注圖像集進行處理，得到未標注圖像集的標籤。使用已標注圖像集、未標注圖像集、未標注圖像集的標籤對訓練後的神經網路進行訓練，得到圖像處理神經網路。舉例來說，已標注圖像集包括圖像a，未標注圖像集包括圖像b，其中，圖像a的標籤為A。使用神經網路對圖像a進行處理，得到第一處理結果。依據第一處理結果與A之間的差異，得到第一中間損失。基於第一中間損失調整神經網路的參數，得到訓練後的神經網路。使用訓練後的神經網路對圖像b進行處理，得到第二處理結果，作為圖像b的標籤。
在另一種基於已標注圖像集確定未標注圖像集的標籤的實現方式中（下文將稱為第二種實現方式），對已標注圖像集進行特徵提取處理，得到第一中間特徵資料集。將第一中間特徵資料集作為訓練資料、已標注圖像集的標籤作為第一中間特徵資料集的監督資訊，對支援向量機（support vetor machine，SVM）進行訓練，得到訓練後的SVM。對未標注圖像集進行特徵提取處理，得到第二中間特徵資料集。使用訓練後的SVM對第二中間特徵資料集進行處理，得到第二中間特徵資料集的標籤，作為未標注圖像集的標籤。舉例來說，已標注圖像集包括圖像a和圖像b，未標注圖像集包括圖像c，其中，圖像a的標籤為A，圖像b的標籤為B。對圖像a進行特徵提取處理，得到圖像a的特徵資料，對圖像b進行特徵提取處理，得到圖像b的特徵資料。使用圖像a的特徵資料和圖像b的特徵資料對SVM進行訓練，得到訓練後的SVM。對圖像c進行特徵提取處理，得到圖像c的特徵資料。使用訓練後的SVM對圖像c進行處理，得到目標處理結果，作為圖像c的標籤。
在又一種基於已標注圖像集確定未標注圖像集的標籤的實現方式中（下文將稱為第三種實現方式），對未標注圖像集進行聚類處理，得到至少一個簇，其中，每個簇包含至少一張圖像。以標籤為依據對已標注圖像集進行劃分，得到至少一個圖像集，其中，每個圖像集包含至少一張圖像，且每個圖像集中的圖像的標籤相同。分別確定與每個簇之間的相似度最大的圖像集，作為最大相似度圖像集。將最大相似度圖像集的標籤作為簇的標籤，即簇中資料的標籤。舉例來說，已標注圖像集包括圖像a、圖像b、圖像c，未標注圖像集包括圖像d、圖像e、圖像f，其中，圖像a的標籤和圖像b的標籤均為A，圖像c的標籤為B。對未標注圖像集進行聚類處理，得到第一簇和第二簇，其中，第一簇包括圖像d和圖像e，第二簇包括圖像f。以標籤為依據對已標注圖像集進行劃分，得到第一圖像集和第二圖像集，其中，第一圖像集包括圖像a和圖像b，第二圖像集包括圖像c，第一圖像集的標籤為A，第二圖像集的標籤為B。確定第一簇與第一圖像集之間的相似度為s1 ，確定第一簇與第二圖像集之間的相似度為s2 ，確定第二簇與第一圖像集之間的相似度為s3 ，確定第二簇與第二圖像集之間的相似度為s4 。在s1 大於s2 的情況下，第一簇的最大相似度集為第一圖像集，第一簇的標籤為A，即可確定圖像d的標籤和圖像e的標籤均為A。在s1 小於s2 的情況下，第一簇的最大相似度集為第二圖像集，第一簇的標籤為B，即可確定圖像d的標籤和圖像e的標籤均為B。在s3 大於s4 的情況下，第二簇的最大相似度集為第一圖像集，第二簇的標籤為A，即可確定圖像f的標籤為A。在s3 小於s4 的情況下，第二簇的最大相似度集為第二圖像集，第二簇的標籤為B，即可確定圖像f的標籤為B。
在一種確定第一簇和第一圖像集之間的相似度的實現方式中，假設第一簇的質心為圖像A，第一圖像集的質心為圖像B。確定圖像A和圖像B之間的相似度，作為第一簇和第一圖像集之間的相似度。
在另一種確定第一簇和第一圖像集之間的相似度的實現方式中，分別確定第一簇中的每張圖像與第一圖像集簇中的每張圖像之間的相似度，得到相似度集。將相似度集中的最大值作為第一簇和第一圖像集之間的相似度。
在又一種確定第一簇和第一圖像集之間的相似度的實現方式中，分別確定第一簇中的每張圖像與第一圖像集簇中的每張圖像之間的相似度，得到相似度集。將相似度集中的最小值或平均值作為第一簇和第一圖像集之間的相似度。
同理，可通過確定第一簇和第一圖像集之間的相似度的實現方式確定第一簇和第二圖像集之間的相似度、第二簇和第一圖像集之間的相似度、第二簇和第二圖像集之間的相似度。
本發明實施例中，以未標注圖像集和已標注圖像集為訓練資料對神經網路進行訓練，可基於已標注圖像集確定未標注圖像集的標籤，從而可降低對未標注圖像集進行標注的人力成本，並提高標注效率。在使用已標注圖像集、未標注圖像集、未標注圖像集的標籤對神經網路進行訓練，可使神經網路在訓練過程中學習到第二採集條件的資訊，從而可在使用訓練得到的圖像處理神經網路對待處理圖像進行處理的過程中，提高得到的處理結果的準確度。
請參閱圖2，圖2是本發明實施例提供的一種圖像處理神經網路的訓練方法的流程示意圖。本實施例的執行主體可以是圖像處理裝置，也可以不是圖像裝置，即圖像處理神經網路的訓練方法的執行主體與使用圖像處理網路對待處理圖像進行處理的執行主體可以相同，也可以不同，本發明實施例對本實施例的執行主體不做限定。為表述方便，下文將本實施例的執行主體稱為訓練裝置，其中，訓練裝置可以是以下任意一種：手機、電腦、平板電腦、伺服器、處理器。
201、獲取未標注圖像集、已標注圖像集以及第一待訓練神經網路。
訓練裝置獲取未標注圖像集的實現方式，可參見步驟101中圖像處理裝置獲取未標注圖像集的實現方式，訓練裝置獲取已標注圖像集的實現方式，可參見步驟101中圖像處理裝置獲取已標注圖像集的實現方式，此處將不再贅述。
本發明實施例中，第一待訓練神經網路為任意神經網路。例如，第一待訓練神經網路可以由卷積層、池化層、歸一化層、全連接層、下採樣層、上採樣層、分類器中的至少一種網路層堆疊組成。本發明實施例對第一待訓練神經網路的結構不做限定。
在一種獲取第一待訓練神經網路的實現方式中，訓練裝置接收使用者通過輸入元件輸入的第一待訓練神經網路。上述輸入元件包括：鍵盤、滑鼠、觸控螢幕、觸控板和音頻輸入器等。
在另一種獲取第一待訓練神經網路的實現方式中，訓練裝置接收第二終端發送的第一待訓練神經網路。其中，上述第二終端可以是以下任意一種：手機、電腦、平板電腦、伺服器、可穿戴設備。
在又一種獲取第一待訓練神經網路的實現方式中，訓練裝置可以從自身的儲存部件中獲取預存的第一待訓練神經網路。
202、基於上述已標注圖像集，得到上述未標注圖像集的標籤。
如步驟102所述，基於已標注圖像集，可得到未標注圖像集的標籤。本步驟採用的是步驟102中的第一種實現方式，將已標注圖像集作為訓練資料，對第一待訓練神經網路進行訓練，得到第二待訓練神經網路。使用第二待訓練神經網路對未標注圖像集進行處理，得到未標注圖像集的標籤。
203、將上述已標注圖像集和上述未標注圖像集作為訓練資料、上述未標注圖像集的標籤作為上述未標注圖像集的監督資訊，對上述第一待訓練神經網路進行訓練，得到上述圖像處理神經網路。
在得到未標注圖像集的標籤後，可將未標注圖像集作為訓練資料對第一待訓練神經網路進行訓練。
由於影響神經網路的訓練效果的因素還包括訓練資料的數量，這裡，訓練資料的數量越多，神經網路的訓練效果越好。因此在本發明實施例中，在對第一待訓練神經網路進行訓練的過程中，將已標注圖像集和未標注圖像集作為訓練資料、未標注圖像集的標籤作為未標注圖像集的監督資訊，對第一待訓練神經網路進行訓練，以提升訓練效果。這樣，在使用訓練得到的圖像處理神經網路對待處理圖像進行處理的過程中，可提高得到的處理結果的準確度。
舉例來說，已標注圖像集包括圖像a，未標注圖像集包括圖像b，其中，圖像a的標籤為A，經步驟202的處理確定圖像b的標籤為B。使用第一待訓練神經網路對圖像a進行處理，得到第一中間結果。確定第一中間結果與A之間的差異，得到第一中間差異。基於第一中間差異，確定第一待訓練神經網路的損失，並基於第一待訓練神經網路的損失調整第一待訓練神經網路的參數，得到第三待訓練神經網路。使用第三待訓練神經網路對圖像b進行處理，得到第二中間結果。確定第一中間結果與B之間的差異，得到第二中間差異。基於第二中間差異，確定第三待訓練神經網路的損失，並基於第三待訓練神經網路的損失調整第三待訓練神經網路的參數，得到圖像處理神經網路。
由於影響神經網路的訓練效果的因素還包括訓練週期數，其中，訓練週期數越多，神經網路的訓練效果越好。這裡，使用第一待訓練神經網路對未標注圖像集進行處理，得到未標注圖像集的標籤後，將已標注圖像集和未標注圖像集作為訓練資料、未標注圖像集的標籤作為未標注圖像集的監督資訊，對第二待訓練神經網路進行訓練，以增大訓練週期數，提升訓練效果，從而提高訓練得到的圖像處理神經網路對待處理圖像進行處理得到的處理結果的準確度。
在神經網路的訓練過程中，神經網路將所有訓練資料處理完，即完成一個訓練週期。舉例來說，訓練資料包括圖像a、圖像b。在訓練過程中的第一次反覆運算中，神經網路對圖像a進行處理，得到圖像a的結果。基於圖像a的結果和圖像a的標籤，得到神經網路的損失，並基於神經網路的損失，調整神經網路的參數，得到第一次反覆運算後的神經網路。在第二次反覆運算中，第一次反覆運算後的神經網路對圖像b進行處理，得到圖像b的結果。基於圖像b的結果和圖像b的標籤，得到第一次反覆運算後的神經網路的損失，並基於第一次反覆運算後的神經網路的損失，調整第一次反覆運算後的神經網路的參數，得到第二次反覆運算後的神經網路。在第三次反覆運算中，第二次反覆運算後的神經網路對圖像a進行處理，得到圖像a的結果。基於圖像a的結果和圖像a的標籤，得到第二次反覆運算後的神經網路的損失，並基於第二次反覆運算後的神經網路的損失，調整第二次反覆運算後的神經網路的參數，得到第三次反覆運算後的神經網路。其中，第一個訓練週期包括第一次反覆運算和第二次反覆運算，第三次反覆運算屬於第二個訓練週期。
在一種可能實現的方式中，使用第二待訓練神經網路對已標注圖像集進行處理得到第一結果，使用第二待訓練神經網路對未標注圖像集進行處理得到第二結果。依據第一結果與已標注圖像集的標籤之間的差異得到第一差異，依據第二結果與未標注圖像集的標籤之間的差異得到第二差異。依據第一差異和第二差異，得到第二待訓練神經網路的損失。由於第二待訓練神經網路為通過使用已標注圖像集對第一待訓練神經網路進行訓練得到，也就是說，第二待訓練神經網路的已訓練週期數比第一待訓練神經網路的已訓練週期數大。因此，在得到未標注圖像集的標籤後，使用已標注圖像集和未標注圖像集作為訓練資料、未標注圖像集的監督資訊對第二待訓練神經網路進行訓練的效果，比使用已標注圖像集和未標注圖像集作為訓練資料、未標注圖像集的監督資訊對第一待訓練神經網路進行訓練的效果好。
在一種依據第一差異和第二差異得到第二待訓練神經網路的損失的實現方式中，依據第一差異，確定第二待訓練神經網路的第一次反覆運算損失，並基於第一次反覆運算損失調整第二待訓練神經網路的參數，得到第一次反覆運算後的第二待訓練神經網路。依據第二差異，確定第二待訓練神經網路的第二次反覆運算損失，並基於第二次反覆運算損失調整第一次反覆運算後的第二待訓練神經網路的參數，得到圖像處理神經網路。
在另一種依據第一差異和第二差異得到第二待訓練神經網路的損失的實現方式中，可對第一差異和第二差異進行加權求和，或者加權求和後再加一個常數等方式，得到第二待訓練神經網路的損失。例如，未標注圖像集的採集條件與待處理圖像的採集條件相同，可使第二差異的權重比第一差異的權重大，以使圖像處理神經網路通過訓練學習到更多第二採集條件的資訊，從而在使用訓練後的神經網路對待處理圖像進行處理的過程中，可提高得到的處理結果的準確度。
由於類別相同的圖像之間的相似度應該大於類別不同的圖像之間的相似度，若在對圖像進行分類處理的過程中，將相似度小的兩張圖像的標籤確定為相同，而將相似度大的兩張圖像的標籤確定為不同，將降低處理結果的準確度。例如，圖像a與圖像b之間的相似度為
Figure 02_image001
，圖像a與圖像c之間的相似度為
Figure 02_image003
，
Figure 02_image001
小於
Figure 02_image003
。若神經網路在對圖像a、圖像b、圖像c進行處理的過程中，將圖像a的標籤與圖像b的標籤確定為相同，而將圖像a的標籤與圖像c的標籤確定為不同，得到的處理結果是錯誤的。
為進一步提高處理結果的準確度，作為一種可選的實施方式，在執行步驟“依據第一差異和所述第二差異，得到第二待訓練神經網路的損失”之前，可執行以下步驟。
21、確定訓練圖像集中的第一圖像與上述訓練圖像集中的第二圖像之間的相似度得到第一相似度，確定上述訓練圖像集中的第一圖像與上述訓練圖像集中的第三圖像之間的相似度得到第二相似度。
本步驟中，訓練圖像集包括已標注圖像集和未標注圖像集。第一圖像的標籤與第二圖像的標籤相同，即第一圖像的類別與第二圖像的類別相同。第一圖像的標籤與第三圖像的標籤不同，即第一圖像的類別與第三圖像的類別不同。確定第一圖像和第二圖像之間的相似度，作為第一相似度。確定第一圖像與第二圖像之間的相似度，作為第二相似度。
本發明實施例中，兩張圖像之間的相似度可以是以下中的一種：兩張圖像之間的歐式距離（euclidean distance）、兩張圖像之間的餘弦相似度、兩張圖像之間的馬氏距離(mahalanobis distance)、兩張圖像之間的皮爾遜相關係數(pearson correlation coefficient)、兩張圖像之間的漢明距離(hamming distance)。
22、依據第一相似度和第二相似度之間的差異，得到三元組損失。
由於第一相似度為同一類圖像之間的相似度，第二相似度為不同類圖像之間的相似度，第一相似度應該比第二相似度大。因此可依據第一相似度與第二相似度之間的差異，得到三元組損失。
在一種可能實現的方式中，假設第一相似度為
Figure 02_image001
，第二相似度為
Figure 02_image003
，三元組損失為
Figure 02_image005
，
Figure 02_image001
，
Figure 02_image007
，
Figure 02_image009
滿足下式：
Figure 02_image011
…公式（1） 其中，
Figure 02_image013
為正數。
在另一種可能實現的方式中，假設第一相似度為
Figure 02_image001
，第二相似度為
Figure 02_image003
，三元組損失為
Figure 02_image005
，
Figure 02_image001
，
Figure 02_image007
，
Figure 02_image009
滿足下式：
Figure 02_image015
…公式（2） 其中，
Figure 02_image017
和
Figure 02_image019
均為正數。
在又一種可能實現的方式中，假設第一相似度為
Figure 02_image001
，第二相似度為
Figure 02_image003
，三元組損失為
Figure 02_image005
，
Figure 02_image001
，
Figure 02_image007
，
Figure 02_image009
滿足下式：
Figure 02_image021
…公式（3） 其中，
Figure 02_image017
和
Figure 02_image019
均為正數。
23、步驟“依據第一差異和所述第二差異，得到第二待訓練神經網路的損失”包括以下步驟。
1、依據第一差異和第二差異，得到類別損失。
本步驟的實現過程可參見步驟203中“依據第一差異和第二差異，得到第二待訓練神經網路的損失”的實現過程。需要理解的是，在本步驟中，依據第一差異和第二差異，得到的損失不是第二待訓練神經網路的損失，而是類別損失。
2、依據類別損失和三元組損失，得到第二待訓練神經網路的損失。
在一種可能實現的方式中，假設第二待訓練神經網路的損失為
Figure 02_image023
，類別損失為
Figure 02_image025
，三元組損失為
Figure 02_image005
。
Figure 02_image023
、
Figure 02_image025
、
Figure 02_image005
滿足下式：
Figure 02_image027
…公式（4） 其中，
Figure 02_image029
和
Figure 02_image031
均為小於或等於1的正數。
在另一種可能實現的方式中，假設第二待訓練神經網路的損失為
Figure 02_image023
，類別損失為
Figure 02_image025
，三元組損失為
Figure 02_image005
。
Figure 02_image023
、
Figure 02_image025
、
Figure 02_image005
滿足下式：
Figure 02_image033
…公式（5） 其中，
Figure 02_image029
和
Figure 02_image031
均為小於或等於1的正數。
在又一種可能實現的方式中，假設第二待訓練神經網路的損失為
Figure 02_image023
，類別損失為
Figure 02_image025
，三元組損失為
Figure 02_image005
。
Figure 02_image023
、
Figure 02_image025
、
Figure 02_image005
滿足下式：
Figure 02_image035
…公式（6） 其中，
Figure 02_image029
和
Figure 02_image031
均為小於或等於1的正數。
由於屬於同一類別的圖像中，不同的圖像之間的相似度也不同，通過第一圖像和第二圖像確定第一相似度，以及通過第一圖像和第三圖像確定第二相似度，並使第一相似度大於第二相似度，可能存在誤差。例如，訓練圖像集包括圖像a、圖像b、圖像c、圖像d、圖像e，其中，圖像a的類別、圖像b的類別、圖像e的類別均為A，圖像c的類別和圖像d的類別均為B。圖像a與圖像b之間的相似度為
Figure 02_image001
，圖像a與圖像c之間的相似度為
Figure 02_image003
，圖像a與圖像d之間的相似度為
Figure 02_image037
，圖像a與圖像e之間的相似度為
Figure 02_image039
。在圖像a為第一圖像、圖像b為第二圖像、圖像c為第三圖像的情況下，
Figure 02_image001
為第一相似度，
Figure 02_image003
為第二相似度。通過對神經網路進行訓練，可使
Figure 02_image001
大於
Figure 02_image003
，但無法保證
Figure 02_image001
大於
Figure 02_image037
、
Figure 02_image039
大於
Figure 02_image003
、
Figure 02_image039
大於
Figure 02_image037
。顯然，
Figure 02_image001
小於
Figure 02_image041
小於
Figure 02_image003
、
Figure 02_image039
小於
Figure 02_image037
均是錯誤的。
上述錯誤的存在，將導致神經網路的訓練變差，進而降低處理結果的準確度。本發明實施例提供了一種確定第一圖像、第二圖像、第三圖像的實現方式，以減小上述錯誤發生的概率，進而提高處理結果的準確度。
作為一種可選的實施方式，在執行步驟21之前，可執行以下步驟。
確定第一圖像的類內最難圖像作為第二圖像，確定第一圖像的類外最難圖像作為第三圖像。
本發明實施例中，類內最難圖像對為標籤相同的圖像的中相似度最小的兩張圖像，類外最難圖像對為標籤不同的圖像的中相似度最大的兩張圖像。假設類內最難圖像對包含圖像a和圖像b，則稱圖像b為圖像a的類內最難圖像，稱圖像a為圖像b的類內最難圖像。假設類外最難圖像對包含圖像c和圖像d，則稱圖像c為圖像d的類外最難圖像，稱圖像c為圖像d的類外最難圖像。
舉例來說，假定圖像1的類別、圖像2的類別、圖像3的類別均相同，圖像1的類別與圖像4的類別、圖像5的類別均不同，圖像1與圖像2之間的相似度比圖像1與圖像3之間的相似度小，圖像1與圖像4之間的相似度比圖像1與圖像5之間的相似度小。在第一圖像為圖像1的情況下，類內最難圖像對包括圖像1和圖像2，類外最難圖像對包括圖像1和圖像5，圖像2為圖像1的類內最難圖像，圖像5為圖像1的類外最難圖像，即圖像2為第二圖像、圖像5為第三圖像。
通過將第一圖像的類內最難圖像作為第二圖像、將第一圖像的類外最難圖像作為第三圖像，依據第一圖像和第二圖像確定第一相似度、依據第一圖像和第三圖像確定第二相似度，並基於第一相似度與第二相似度之間的差異確定第二待訓練神經網路的損失，可使第二待訓練神經網路在訓練過程中，提高對圖像的類別的區分能力。
為進一步增加訓練圖像集中採集條件為第二採集條件的圖像的數量，以提升第二待訓練神經網路的訓練效果。在一些實施例中，在將未標注圖像集輸入至第二待訓練神經網路之前，可對未標注圖像集進行資料增強處理，得到增強後的圖像集，並將得到增強後的圖像集和未標注圖像集作為訓練資料對第二待訓練神經網路進行訓練。這樣，可達到擴充第二待訓練神經網路的訓練資料的效果。
由於增強後的圖像集與未標注圖像集的標籤相同，將使用第二待訓練神經網路對未標注圖像集和增強後的圖像集進行處理得到的結果，作為第二結果，並可依據第二結果與未標注圖像集的標籤之間的差異得到第二差異。
舉例來說（例2），未標注圖像集包括圖像a和圖像b，圖像a的標籤為A，圖像b的標籤為B。對圖像a進行資料增強處理得到圖像c，對圖像b進行資料增強處理得到圖像d，則圖像c的標籤為A，圖像d的標籤為B。使用第二待訓練神經網路對未標注圖像集和增強後的圖像集進行處理，得到的第二結果包括結果a、結果b、結果c、結果d，其中，結果a通過使用第二待訓練神經網路對圖像a進行處理得到，結果b通過使用第二待訓練神經網路對圖像b進行處理得到，結果c通過使用第二待訓練神經網路對圖像c進行處理得到，結果d通過使用第二待訓練神經網路對圖像d進行處理得到。
在本發明的一些實施例中，上述資料集增強處理包括以下至少一種：旋轉處理、擦除處理、剪裁處理、模糊處理。
對圖像進行旋轉處理為以圖像的幾何中心點為旋轉中心，參考角度為旋轉角度，對圖像進行旋轉，其中，參考角度可依據用戶的需求進行調整。對圖像進行擦除處理可將圖像中的任意一塊圖元區域中圖像內容去除。如將該圖元區域中的圖元值調整為0。對圖像進行剪裁處理為從圖像中截取預定尺寸的圖像，其中，預定尺寸可依據用戶的需求進行調整。通過對圖像進行模糊處理，可使圖像中的至少部分內容模糊。
在本發明實施例提供的圖像處理神經網路的訓練方法中，基於第一採集條件下採集的圖像集對第二採集條件下採集的圖像集進行標注，從而可節省人力成本，並提高標注效率。使用第一採集條件下採集的圖像集和第二採集條件下採集的圖像集對第一待訓練神經網路進行訓練，可得到圖像處理神經網路，且圖像處理神經網路對第二採集條件下採集的圖像進行處理，得到的處理結果的準確度高。對於任意採集條件，基於本發明實施例提供的技術方案均可得到的適配的圖像處理神經網路，其中，與採集條件適配的圖像處理神經網路指圖像處理神經網路對該採集條件下採集的圖像進行處理，得到處理結果的準確度高。
基於本發明實施例提供的技術方案，本發明實施例還提供了幾種可能的應用場景。
場景1：隨著政府、企業、個人的安全管理意識加強和智慧硬體設備的普及，越來越多的具有人臉識別功能的門禁設備投入到實際應用當中。在一些實施例中，門禁設備通過攝影頭採集來訪者的人臉圖像，作為待識別圖像，並使用神經網路對待識別圖像進行處理，以確定來訪者的身份。然而對應與不同的應用場景，門禁設備採集待識別圖像時的採集條件不同。因此如何有效的提高不同應用場景下門禁設備的識別準確度具有非常重要的意義。
例如，A公司的大門裝載有門禁設備a，且已使用了一段時間。A公司在辦公樓內新安裝了門禁設備b。也就是說，門禁設備a安裝於室外，門禁設備b安裝於室內。顯然，門禁設備a採集待識別圖像時的採集條件及閘禁設備b採集待識別圖像時的採集條件不同。採集條件的不同將導致圖像處理神經網路的識別準確度低。假設門禁設備a使用的是第一神經網路，其中，第一神經網路通過門禁設備a採集的包含A公司的員工的人臉圖像（下文將稱為圖像集c）訓練得到，需要注意的是，圖像集c中的圖像均攜帶有標籤，標籤包括圖像中人物的身份（如張三、李四、王五）。將第一神經網路應用於門禁設備b得到的識別準確度低。
為提高門禁設備b的識別準確度，A公司的管理人員可通過門禁設備b採集包含A公司的員工的人臉圖像（下文將稱為圖像集d），並使用第一神經網路對圖像集d進行處理，得到圖像集d的標籤。將用圖像集c和圖像集d作為訓練資料、圖像集d的標籤作為圖像集d的監督資訊，對第一神經網路進行訓練，得到第二神經網路。將第二神經網路部署於門禁設備b上，可提高門禁設備b的識別準確度。
場景2：隨著公共場所內攝影頭數量的快速增長，如何有效的通過海量視頻流確定視頻流中的人物的屬性，並依據人物的屬性，確定人物的行蹤具有重要意義。
在B地方，伺服器與候機室內的監控攝影頭（下文將稱為監控攝影頭e）之間具有通信連接，伺服器通過該通信連接可獲取監控攝影頭e採集到的視頻流（下文將稱為第一視頻流），並使用第三神經網路對第一視頻流中的圖像進行處理，以得到第一視頻流中的人物的屬性，其中，第三神經網路通過監控攝影頭e採集的包含人物的圖像（下文將稱為圖像集f）訓練得到，需要注意的是，圖像集f中的圖像均攜帶有標籤，標籤包括人物的屬性，該屬性包括以下至少一種：上衣顏色、褲子顏色、褲子長度、帽子款式、鞋子顏色、打不打傘、箱包類別、有無口罩、髮型、性別。例如，第一視頻流包括圖像g和圖像h。使用第三神經網路對第一視頻流進行處理，確定圖像g中的人物的屬性包括：白色上衣、黑色褲子、不戴眼鏡、短髮、女人，確定圖像h中的人物的屬性包括：白色上衣、黑色褲子、白色鞋子、戴眼鏡、戴口罩、手拿雨傘、短髮、男人。
B地方的相關執法人員在路口處新安裝了監控攝影頭i，以獲取路口處的行人的屬性。由於候機室內的環境與路口處的環境不同，若使用第三神經網路對監控攝影頭i進行處理，得到的行人的屬性的準確度低。
基於本發明實施例提供的技術方案，B地方的相關執法人員可通過監控攝影頭i採集包含行人的圖像（下文將稱為圖像集j），並使用第三神經網路對圖像集j進行處理，得到圖像集j的標籤。將用圖像集f和圖像集j作為訓練資料、圖像集j的標籤作為圖像集j的監督資訊，對第三神經網路進行訓練，得到第四神經網路。使用第四神經網路對監控攝影頭i採集的第二視頻流進行處理，可提高獲得的第二視頻流中的行人的屬性的準確度。
場景3：隨著道路上的車輛越來越多，如何預防道路交通事故也越來越受關注，其中，人為因素在道路交通事故成因方面占很大的比例，包括由駕駛員注意力不集中、注意力下降等原因引起的分心駕駛。因此，如何有效監測駕駛員是否分心駕駛具有非常重要的意義。
車載終端通過在安裝在車輛上的攝影頭採集包含駕駛員的臉部的圖像，並使用神經網路對包含駕駛員的臉部的圖像進行處理，可確定駕駛員是否分心駕駛。
C公司為駕駛員注意力監測方案的提供廠商，C公司使用D公司的車型k上的攝影頭採集到的包含駕駛員的臉部的圖像（下文將稱為圖像集m）對第五神經網路進行訓練，得到第六神經網路。需要注意的是，圖像集m中的圖像均攜帶有標籤，標籤包括駕駛員分心駕駛或駕駛員未分心駕駛。將第六神經網路部署於車型k，車型k的車載終端可使用第六神經網路確定駕駛員是否分心駕駛。
現D公司生產出了新車型（下文將稱為車型n），並希望C公司為車型n提供駕駛員注意力監測方案。由於車型k上安裝的攝影頭（下文將稱為攝影頭p）與車型n上安裝的攝影頭不同，且車型k的內部環境與車型n的內部環境不同，若將第六神經網路部署於車型n，通過第六神經網路得到的監測結果（包括駕駛員分心駕駛或駕駛員未分心駕駛）的準確度低。
基於本發明實施例提供的技術方案，C公司的工作人員可通過攝影頭p採集包含駕駛員的臉部的圖像（下文將稱為圖像集q），並使用第六神經網路對圖像集q進行處理，得到圖像集q的標籤。將用圖像集m和圖像集q作為訓練資料、圖像集q的標籤作為圖像集q的監督資訊，對第六神經網路進行訓練，得到第七神經網路。將第七神經網路部署於車型n，車型n的車載終使用過第七神經網路確定駕駛員是否分心駕駛，得到的監測結果準確度高。
本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
上述詳細闡述了本發明實施例的方法，下面提供了本發明實施例的裝置。
請參閱圖3，圖3為本發明實施例提供的一種圖像處理裝置的結構示意圖，該裝置1包括：獲取部分11以及處理部分12，其中： 獲取部分11，被配置為獲取待處理圖像； 處理部分12，被配置為使用圖像處理神經網路對所述待處理圖像進行處理，得到所述待處理圖像的處理結果；所述圖像處理神經網路以未標注圖像集和已標注圖像集為訓練資料訓練得到；所述未標注圖像集的採集條件與所述待處理圖像的採集條件相同；所述已標注圖像集的採集條件與所述未標注圖像集的採集條件不同。
結合本發明任一實施方式， 所述獲取部分11，還被配置為獲取所述未標注圖像集、所述已標注圖像集以及第一待訓練神經網路； 所述處理部分12，還被配置為基於所述已標注圖像集，得到所述未標注圖像集的標籤； 所述裝置1還包括： 訓練部分13，被配置為將所述已標注圖像集和所述未標注圖像集作為訓練資料、所述未標注圖像集的標籤作為所述未標注圖像集的監督資訊，對所述第一待訓練神經網路進行訓練，得到所述圖像處理神經網路。
結合本發明任一實施方式，所述處理部分12，還被配置為： 將所述已標注圖像集作為訓練資料，對所述第一待訓練神經網路進行訓練，得到第二待訓練神經網路； 使用所述第二待訓練神經網路對所述未標注圖像集進行處理，得到所述未標注圖像集的標籤。
結合本發明任一實施方式，所述處理部分12，還被配置為： 使用所述第二待訓練神經網路對所述已標注圖像集進行處理得到第一結果，使用所述第二待訓練神經網路對所述未標注圖像集進行處理得到第二結果； 依據所述第一結果與所述已標注圖像集的標籤之間的差異得到第一差異，依據所述第二結果與所述未標注圖像集的標籤之間的差異得到第二差異； 依據所述第一差異和所述第二差異，得到所述第二待訓練神經網路的損失； 基於所述第二待訓練神經網路的損失，調整所述第二待訓練神經網路的參數，得到所述圖像處理神經網路。
結合本發明任一實施方式，所述已標注圖像集的標籤和所述未標注圖像的標籤均攜帶類別資訊； 所述裝置1還包括：第一確定部分14，被配置為在所述依據所述第一差異和所述第二差異，得到所述第二待訓練神經網路的損失之前，確定訓練圖像集中的第一圖像與所述訓練圖像集中的第二圖像之間的相似度得到第一相似度，確定所述訓練圖像集中的第一圖像與所述訓練圖像集中的第三圖像之間的相似度得到第二相似度；所述訓練圖像集包括所述已標注圖像集和所述未標注圖像集；所述第一圖像的類別與所述第二圖像的類別相同，且所述第一圖像的類別與所述第三圖像的類別不同； 第二確定部分15，被配置為依據所述第一相似度和所述第二相似度之間的差異，得到三元組損失； 所述處理部分12，還被配置為依據所述第一差異和所述第二差異，得到類別損失； 依據所述類別損失和所述三元組損失，得到所述第二待訓練神經網路的損失。
結合本發明任一實施方式，所述裝置1還包括： 第三確定部分16，被配置為在所述確定訓練圖像集中的第一圖像與所述訓練圖像集中的第二圖像之間的相似度得到第一相似度，以及所述確定所述訓練圖像集中的第一圖像與所述訓練圖像集中的第三圖像之間的相似度得到第二相似度之前，確定第一圖像的類內最難圖像作為第二圖像，確定第一圖像的類外最難圖像作為第三圖像；所述類內最難圖像為類內圖像集中與所述第一圖像之間的相似度最小的圖像；所述類外最難圖像為類外圖像集中與所述第一圖像之間的相似度最大的圖像；所述類內圖像集包括標籤與所述第一圖像的標籤相同的圖像；所述類外圖像集包括標籤與所述第一圖像的標籤不同的圖像。
結合本發明任一實施方式，所述裝置1還包括： 資料增強處理部分17，被配置為在所述使用所述第二待訓練神經網路對所述未標注圖像集進行處理得到第二結果之前，對所述未標注圖像集進行資料增強處理，得到增強後的圖像集； 所述處理部分12被配置為： 使用所述第二待訓練神經網路對所述增強後的圖像集和所述未標注圖像集進行處理，得到所述第二結果。
結合本發明任一實施方式，所述資料集增強處理包括以下至少一種：旋轉處理、擦除處理、剪裁處理、模糊處理。
結合本發明任一實施方式，圖像的所述採集條件包括：採集所述圖像的成像設備的參數。
在本發明實施例以及其他的實施例中，“部分”可以是部分電路、部分處理器、部分程式或軟體等等，當然也可以是單元，還可以是模組也可以是非模組化的。
本發明實施例中，以未標注圖像集和已標注圖像集為訓練資料對神經網路進行訓練，可基於已標注圖像集確定未標注圖像集的標籤，從而可降低對為標注圖像集進行標注的人力成本，並提高標注效率。在使用已標注圖像集、未標注圖像集、未標注圖像集的標籤對神經網路進行訓練，可使神經網路在訓練過程中學習到第二採集條件的資訊，從而可在使用訓練得到的圖像處理神經網路對待處理圖像進行處理的過程中，提高得到的處理結果的準確度。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
圖4為本發明實施例提供的一種圖像處理裝置的硬體結構示意圖。該圖像處理裝置2包括處理器21，記憶體22，輸入裝置23，輸出裝置24。該處理器21、記憶體22、輸入裝置23和輸出裝置24通過連接器相耦合，該連接器包括各類介面、傳輸線或匯流排等等，本發明實施例對此不作限定。應當理解，本發明的各個實施例中，耦合是指通過特定方式的相互聯繫，包括直接相連或者通過其他設備間接相連，例如可以通過各類介面、傳輸線、匯流排等相連。
處理器21可以是一個或多個圖形處理器（graphics processing unit， GPU），在處理器21是一個GPU的情況下，該GPU可以是單核GPU，也可以是多核GPU。在一些實施例中，處理器21可以是多個GPU構成的處理器組，多個處理器之間通過一個或多個匯流排彼此耦合。在一些實施例中，該處理器還可以為其他類型的處理器等等，本發明實施例不作限定。
記憶體22可用於儲存電腦程式指令，以及用於執行本發明方案的程式碼在內的各類電腦程式代碼。可選地，記憶體包括但不限於是隨機儲存記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、可擦除可程式設計唯讀記憶體（erasable programmable read only memory，EPROM）、或可擕式唯讀記憶體（compact disc read-only memory，CD-ROM），該記憶體用於相關指令及資料。
輸入裝置23用於輸入資料和/或信號，以及輸出裝置24用於輸出資料和/或信號。輸入裝置23和輸出裝置24可以是獨立的器件，也可以是一個整體的器件。
可理解，本發明實施例中，記憶體22不僅可用於儲存相關指令，還可用於儲存相關資料，如該記憶體22可用於儲存通過輸入裝置23獲取的待處理圖像，又或者該記憶體22還可用於儲存通過處理器21得到的處理結果等等，本發明實施例對於該記憶體中所儲存的資料不作限定。
可以理解的是，圖4示出了一種圖像處理裝置的簡化設計。在實際應用中，圖像處理裝置還可以分別包含必要的其他元件，包含但不限於任意數量的輸入/輸出裝置、處理器、記憶體等，而所有可以實現本發明實施例的圖像處理裝置都在本發明的保護範圍之內。
本領域普通技術人員可以意識到，結合本文中所公開的實施例描述的各示例的單元及演算法步驟，能夠以電子硬體、或者電腦軟體和電子硬體的結合來實現。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本發明的範圍。
所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統、裝置和單元的具體工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。所屬領域的技術人員還可以清楚地瞭解到，本發明各個實施例描述各有側重，為描述的方便和簡潔，相同或類似的部分在不同實施例中可能沒有贅述，因此，在某一實施例未描述或未詳細描述的部分可以參見其他實施例的記載。
在本發明所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，例如多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些介面，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。
另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。
在上述實施例中，可以全部或部分地通過軟體、硬體、固件或者其任意組合來實現。當使用軟體實現時，可以全部或部分地以電腦程式產品的形式實現。所述電腦程式產品包括一個或多個電腦指令。在電腦上載入和執行所述電腦程式指令時，全部或部分地產生按照本發明實施例所述的流程或功能。所述電腦可以是通用電腦、專用電腦、電腦網路、或者其他可程式設計裝置。所述電腦指令可以儲存在電腦可讀儲存介質中，或者通過所述電腦可讀儲存介質進行傳輸。所述電腦指令可以從一個網站網站、電腦、伺服器或資料中心通過有線（例如同軸電纜、光纖、數位用戶線路（digital subscriber line，DSL））或無線（例如紅外、無線、微波等）方式向另一個網站網站、電腦、伺服器或資料中心進行傳輸。所述電腦可讀儲存介質可以是電腦能夠存取的任何可用介質或者是包含一個或多個可用介質集成的伺服器、資料中心等資料存放裝置。所述可用介質可以是磁性介質，(例如，軟碟、硬碟、磁帶)、光介質(例如，數位通用光碟（digital versatile disc，DVD）)、或者半導體介質（例如固態硬碟（solid state disk ，SSD））等。
本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，該流程可以由電腦程式來指令相關的硬體完成，該程式可儲存於電腦可讀取儲存介質中，該程式在執行時，可包括如上述各方法實施例的流程。而前述的儲存介質包括：唯讀記憶體（read-only memory，ROM）或隨機儲存記憶體（random access memory，RAM）、磁碟或者光碟等各種可儲存程式碼的介質。
工業實用性 本發明實施例中，以未標注圖像集和已標注圖像集為訓練資料對神經網路進行訓練，可基於已標注圖像集確定未標注圖像集的標籤，從而可降低對未標注圖像集進行標注的人力成本，並提高標注效率。在使用已標注圖像集、未標注圖像集、未標注圖像集的標籤對神經網路進行訓練，可使神經網路在訓練過程中學習到第二採集條件的資訊，從而可在使用訓練得到的圖像處理神經網路對待處理圖像進行處理的過程中，提高得到的處理結果的準確度。
1:圖像處理裝置 11:獲取部分 12:處理部分 13:訓練部分 14:第一確定部分 15:第二確定部分 16:第三確定部分 2:圖像處理裝置 21:處理器 22:記憶體 23:輸入裝置 24:輸出裝置 101~102,201~203:步驟
為了更清楚地說明本發明實施例或背景技術中的技術方案，下面將對本發明實施例或背景技術中所需要使用的附圖進行說明。 此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。 圖1為本發明實施例提供的一種圖像處理方法的流程示意圖； 圖2為本發明實施例提供的另一種圖像處理方法的流程示意圖； 圖3為本發明實施例提供的一種圖像處理裝置的結構示意圖； 圖4為本發明實施例提供的一種圖像處理裝置的硬體結構示意圖。
101~102:步驟

Claims (10)

  1. 一種圖像處理方法，所述方法包括： 獲取待處理圖像； 使用圖像處理神經網路對所述待處理圖像進行處理，得到所述待處理圖像的處理結果；所述圖像處理神經網路以未標注圖像集和已標注圖像集為訓練資料訓練得到；所述未標注圖像集的採集條件與所述待處理圖像的採集條件相同；所述已標注圖像集的採集條件與所述未標注圖像集的採集條件不同。
  2. 根據請求項1所述的方法，其中，所述方法還包括： 獲取所述未標注圖像集、所述已標注圖像集以及第一待訓練神經網路； 基於所述已標注圖像集，得到所述未標注圖像集的標籤； 將所述已標注圖像集和所述未標注圖像集作為訓練資料、所述未標注圖像集的標籤作為所述未標注圖像集的監督資訊，對所述第一待訓練神經網路進行訓練，得到所述圖像處理神經網路。
  3. 根據請求項2所述的方法，其中，所述基於所述已標注圖像集，得到所述未標注圖像集的標籤，包括： 將所述已標注圖像集作為訓練資料，對所述第一待訓練神經網路進行訓練，得到第二待訓練神經網路； 使用所述第二待訓練神經網路對所述未標注圖像集進行處理，得到所述未標注圖像集的標籤。
  4. 根據請求項3所述的方法，其中，所述將所述已標注圖像集和所述未標注圖像集作為訓練資料、所述未標注圖像集的標籤作為所述未標注圖像集的監督資訊，對所述第一待訓練神經網路進行訓練，得到所述圖像處理神經網路，包括： 使用所述第二待訓練神經網路對所述已標注圖像集進行處理得到第一結果，使用所述第二待訓練神經網路對所述未標注圖像集進行處理得到第二結果； 依據所述第一結果與所述已標注圖像集的標籤之間的差異得到第一差異，依據所述第二結果與所述未標注圖像集的標籤之間的差異得到第二差異； 依據所述第一差異和所述第二差異，得到所述第二待訓練神經網路的損失； 基於所述第二待訓練神經網路的損失，調整所述第二待訓練神經網路的參數，得到所述圖像處理神經網路。
  5. 根據請求項4所述的方法，其中，所述已標注圖像集的標籤和所述未標注圖像的標籤均攜帶類別資訊； 在所述依據所述第一差異和所述第二差異，得到所述第二待訓練神經網路的損失之前，所述方法還包括： 確定訓練圖像集中的第一圖像與所述訓練圖像集中的第二圖像之間的相似度得到第一相似度，確定所述訓練圖像集中的第一圖像與所述訓練圖像集中的第三圖像之間的相似度得到第二相似度；所述訓練圖像集包括所述已標注圖像集和所述未標注圖像集；所述第一圖像的類別與所述第二圖像的類別相同，且所述第一圖像的類別與所述第三圖像的類別不同； 依據所述第一相似度和所述第二相似度之間的差異，得到三元組損失； 所述依據所述第一差異和所述第二差異，得到所述第二待訓練神經網路的損失，包括： 依據所述第一差異和所述第二差異，得到類別損失； 依據所述類別損失和所述三元組損失，得到所述第二待訓練神經網路的損失。
  6. 根據請求項5所述的方法，其中，在所述確定訓練圖像集中的第一圖像與所述訓練圖像集中的第二圖像之間的相似度得到第一相似度，以及所述確定所述訓練圖像集中的第一圖像與所述訓練圖像集中的第三圖像之間的相似度得到第二相似度之前，所述方法還包括： 確定第一圖像的類內最難圖像作為第二圖像，確定第一圖像的類外最難圖像作為第三圖像；所述類內最難圖像為類內圖像集中與所述第一圖像之間的相似度最小的圖像；所述類外最難圖像為類外圖像集中與所述第一圖像之間的相似度最大的圖像；所述類內圖像集包括標籤與所述第一圖像的標籤相同的圖像；所述類外圖像集包括標籤與所述第一圖像的標籤不同的圖像。
  7. 根據請求項4至6中任一項所述的方法，其中，在所述使用所述第二待訓練神經網路對所述未標注圖像集進行處理得到第二結果之前，所述方法還包括： 對所述未標注圖像集進行資料增強處理，得到增強後的圖像集； 所述使用所述第二待訓練神經網路對所述未標注圖像集進行處理得到第二結果，包括： 使用所述第二待訓練神經網路對所述增強後的圖像集和所述未標注圖像集進行處理，得到所述第二結果。
  8. 一種處理器，所述處理器用於執行如請求項1至7中任一項所述的方法。
  9. 一種電子設備，包括：處理器、發送裝置、輸入裝置、輸出裝置和記憶體，所述記憶體用於儲存電腦程式代碼，所述電腦程式代碼包括電腦指令，在所述處理器執行所述電腦指令的情況下，所述電子設備執行如請求項1至7中任一項所述的方法。
  10. 一種電腦可讀儲存介質，所述電腦可讀儲存介質中儲存有電腦程式，所述電腦程式包括程式指令，在所述程式指令被處理器執行的情況下，使所述處理器執行請求項1至7中任一項所述的方法。
TW110110670A 2020-04-07 2021-03-24 圖像處理方法、處理器、電子設備和電腦可讀儲存介質 TW202139062A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010264926.7A CN111598124B (zh) 2020-04-07 2020-04-07 图像处理及装置、处理器、电子设备、存储介质
CN202010264926.7 2020-04-07

Publications (1)

Publication Number Publication Date
TW202139062A true TW202139062A (zh) 2021-10-16

Family

ID=72185159

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110110670A TW202139062A (zh) 2020-04-07 2021-03-24 圖像處理方法、處理器、電子設備和電腦可讀儲存介質

Country Status (5)

Country Link
JP (1) JP2022531763A (zh)
KR (1) KR20210137213A (zh)
CN (1) CN111598124B (zh)
TW (1) TW202139062A (zh)
WO (1) WO2021203882A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI825980B (zh) * 2022-09-07 2023-12-11 英業達股份有限公司 記憶體內計算的模擬器的設定方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598124B (zh) * 2020-04-07 2022-11-11 深圳市商汤科技有限公司 图像处理及装置、处理器、电子设备、存储介质
US20220147761A1 (en) * 2020-11-10 2022-05-12 Nec Laboratories America, Inc. Video domain adaptation via contrastive learning
CN112749652B (zh) * 2020-12-31 2024-02-20 浙江大华技术股份有限公司 身份信息确定的方法和装置、存储介质及电子设备
KR102403174B1 (ko) * 2021-12-21 2022-05-30 주식회사 인피닉 중요도에 따른 데이터 정제 방법 및 이를 실행시키기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN114742828B (zh) * 2022-06-09 2022-10-14 武汉东方骏驰精密制造有限公司 基于机器视觉的工件定损智能分析方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9836641B2 (en) * 2014-12-17 2017-12-05 Google Inc. Generating numeric embeddings of images
CN105046196B (zh) * 2015-06-11 2018-04-17 西安电子科技大学 基于级联卷积神经网络的前车车辆信息结构化输出方法
CN106096538B (zh) * 2016-06-08 2019-08-23 中国科学院自动化研究所 基于定序神经网络模型的人脸识别方法及装置
CN106971556B (zh) * 2017-05-16 2019-08-02 中山大学 基于双网络结构的卡口车辆重识别方法
US10318889B2 (en) * 2017-06-26 2019-06-11 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer
US10515295B2 (en) * 2017-10-27 2019-12-24 Adobe Inc. Font recognition using triplet loss neural network training
CN109902798A (zh) * 2018-05-31 2019-06-18 华为技术有限公司 深度神经网络的训练方法和装置
CN110188829B (zh) * 2019-05-31 2022-01-28 北京市商汤科技开发有限公司 神经网络的训练方法、目标识别的方法及相关产品
CN110532345A (zh) * 2019-07-15 2019-12-03 北京小米智能科技有限公司 一种未标注数据的处理方法、装置及存储介质
CN110472737B (zh) * 2019-08-15 2023-11-17 腾讯医疗健康(深圳)有限公司 神经网络模型的训练方法、装置和医学图像处理系统
CN110647938B (zh) * 2019-09-24 2022-07-15 北京市商汤科技开发有限公司 图像处理方法及相关装置
CN110889463A (zh) * 2019-12-10 2020-03-17 北京奇艺世纪科技有限公司 一种样本标注方法、装置、服务器及机器可读存储介质
CN111598124B (zh) * 2020-04-07 2022-11-11 深圳市商汤科技有限公司 图像处理及装置、处理器、电子设备、存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI825980B (zh) * 2022-09-07 2023-12-11 英業達股份有限公司 記憶體內計算的模擬器的設定方法

Also Published As

Publication number Publication date
CN111598124B (zh) 2022-11-11
WO2021203882A1 (zh) 2021-10-14
CN111598124A (zh) 2020-08-28
KR20210137213A (ko) 2021-11-17
JP2022531763A (ja) 2022-07-11

Similar Documents

Publication Publication Date Title
WO2021203882A1 (zh) 姿态检测及视频处理方法、装置、电子设备和存储介质
WO2021238281A1 (zh) 一种神经网络的训练方法、图像分类系统及相关设备
Kaur et al. Tools, techniques, datasets and application areas for object detection in an image: a review
WO2021155792A1 (zh) 一种处理装置、方法及存储介质
Katakis et al. An ensemble of classifiers for coping with recurring contexts in data streams
WO2020224221A1 (zh) 跟踪方法、装置、电子设备及存储介质
TW202121233A (zh) 影像處理方法、處理器、電子設備、儲存媒介
WO2022052375A1 (zh) 车辆识别方法及装置、电子设备及存储介质
CN112487886A (zh) 一种有遮挡的人脸识别方法、装置、存储介质及终端
US11100368B2 (en) Accelerated training of an image classifier
CN111767831B (zh) 用于处理图像的方法、装置、设备及存储介质
CN110647938B (zh) 图像处理方法及相关装置
WO2024001123A1 (zh) 基于神经网络模型的图像识别方法、装置及终端设备
Gawande et al. SIRA: Scale illumination rotation affine invariant mask R-CNN for pedestrian detection
Iwamura et al. Downtown osaka scene text dataset
Karthika et al. A novel convolutional neural network based architecture for object detection and recognition with an application to traffic sign recognition from road scenes
Hou et al. A cognitively motivated method for classification of occluded traffic signs
Qu et al. Improved YOLOv5-based for small traffic sign detection under complex weather
CN112396060B (zh) 基于身份证分割模型的身份证识别方法及其相关设备
JP5759124B2 (ja) カメラ・システムから得られた画像の中のオブジェクトを分析するためのコンピュータ化方法及びシステム
Emam Intelligent drowsy eye detection using image mining
CN111199050B (zh) 一种用于对病历进行自动脱敏的系统及应用
Vural et al. Multi-view fast object detection by using extended haar filters in uncontrolled environments
TWI764489B (zh) 人行通道環境評估方法、裝置及電子設備
CN114283087A (zh) 一种图像去噪方法及相关设备