TWI785638B - 目標檢測方法、電子設備和電腦可讀儲存介質 - Google Patents

目標檢測方法、電子設備和電腦可讀儲存介質 Download PDF

Info

Publication number
TWI785638B
TWI785638B TW110120819A TW110120819A TWI785638B TW I785638 B TWI785638 B TW I785638B TW 110120819 A TW110120819 A TW 110120819A TW 110120819 A TW110120819 A TW 110120819A TW I785638 B TWI785638 B TW I785638B
Authority
TW
Taiwan
Prior art keywords
network
detection network
detection
target
parameters
Prior art date
Application number
TW110120819A
Other languages
English (en)
Other versions
TW202205127A (zh
Inventor
劉李洋
王波超
曠章輝
陳益民
張偉
Original Assignee
大陸商深圳市商湯科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商深圳市商湯科技有限公司 filed Critical 大陸商深圳市商湯科技有限公司
Publication of TW202205127A publication Critical patent/TW202205127A/zh
Application granted granted Critical
Publication of TWI785638B publication Critical patent/TWI785638B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本發明關於一種目標檢測方法、電子設備和電腦可讀儲存介質，所述方法包括：構建目標類別的檢測網路；採用所述目標類別的檢測網路對待檢測圖像進行檢測，得到所述待檢測圖像的目標檢測結果；其中，所述目標類別的檢測網路的參數是將目標類別的訓練圖像輸入參數生成網路中而得到的。本發明實施例有利於動態增加新類別。

Description

目標檢測方法、電子設備和電腦可讀儲存介質
本發明關於電腦技術領域，尤其關於一種目標檢測方法、電子設備和電腦可讀儲存介質。
在相關技術中，目標檢測依賴於大規模的訓練資料，需要大量的人力物力對訓練資料進行搜集和標注，且對象的類別越多，標注成本也就越高。在一些特定的場景下，資料的搜集也很困難，從而造成樣本圖像的數量較少。且實際應用場景中，需求往往是動態變化的，可能需要動態地增加檢測類別，而增加的類別的樣本圖像的數量可能較少。
本發明提出了一種目標檢測方法、電子設備和電腦可讀儲存介質。
根據本發明的一方面，提供了一種目標檢測方法，包括： 構建目標類別的檢測網路；採用所述目標類別的檢測網路對待檢測圖像進行檢測，得到所述待檢測圖像的目標檢測結果；其中，所述目標類別的檢測網路的參數是將目標類別的訓練圖像輸入參數生成網路中而得到的。
在一種可能的實現方式中，所述方法還包括：從圖像集中獲取一個或多個目標訓練集，其中，每個目標訓練集包括K個類別的訓練圖像，每個類別包括M個訓練圖像，K為大於0的整數；基於各目標訓練集，訓練所述參數生成網路。
通過較少的樣本訓練參數生成網路，可以方便的獲取到檢測網路的參數，進而方便的構建出樣本數量較少的類別的檢測網路。
在一種可能的實現方式中，所述M個訓練圖像包括N個支援圖像和O個查詢圖像，N和O為大於0的整數；所述基於各目標訓練集，訓練所述參數生成網路，包括：針對每個目標訓練集：將該目標訓練集的各支援圖像輸入待訓練的參數生成網路，得到該目標訓練集的通用檢測網路的參數，並根據該通用檢測網路的參數，構建該目標訓練集的通用檢測網路；將該目標訓練集的各查詢圖像輸入待訓練的特徵提取網路，得到該目標訓練集的各查詢圖像的特徵圖； 將所述各查詢圖像的特徵圖分別輸入所述通用檢測網路，得到所述各查詢圖像的預測標籤分佈結果；根據所述各查詢圖像的預測標籤分佈結果和真值標籤，確定所述通用檢測網路的檢測損失；根據所述通用檢測網路的檢測損失，訓練所述待訓練的參數生成網路。
通過通用檢測網路的檢測損失，可以快速實現收斂，從而快速完成參數生成網路的訓練。
在一種可能的實現方式中，所述將該目標訓練集的各支援圖像輸入待訓練的參數生成網路，得到該目標訓練集的通用檢測網路的參數，包括：將該目標訓練集的各支援圖像分別輸入待訓練的參數生成網路，得到每個支援圖像對應的檢測網路的參數；根據各支援圖像對應的檢測網路的參數和各支援圖像的真實類別，確定該目標訓練集的每個類別的檢測網路的參數；根據該目標訓練集的各類別的檢測網路的參數，確定該目標訓練集的通用檢測網路的參數。
通過基於多個支援圖像獲取目標訓練集的通用檢測網路的參數，可以提高通用檢測網路的參數的準確性。
在一種可能的實現方式中，所述方法還包括：根據所述通用檢測網路的檢測損失，訓練所述待訓練的特徵提取網路。
通過通用檢測網路的檢測損失訓練特徵提取網路， 可以提高特徵提取網路的特徵區分能力。
在一種可能的實現方式中，所述根據所述通用檢測網路的檢測損失，訓練所述待訓練的特徵提取網路，包括：獲取目標訓練集的參考檢測網路；將所述各查詢圖像的特徵圖分別輸入所述參考檢測網路，得到所述各查詢圖像的參考標籤分佈結果；根據所述各查詢圖像的參考標籤分佈結果和真值標籤，確定所述參考檢測網路的檢測損失；根據所述通用檢測網路的檢測損失和所述參考檢測網路的檢測損失，訓練所述待訓練的特徵提取網路。
通過通用檢測網路的檢測損失和所述參考檢測網路的檢測損失訓練特徵提取網路，可以實現多樣本對少樣本的指導，進一步提升特徵提取網路提取特徵的特徵區分能力。
在一種可能的實現方式中，獲取該目標訓練集的參考檢測網路的參數，包括：獲取隨機初始化的檢測網路；基於該目標訓練集的所有查詢圖像對所述隨機初始化的檢測網路進行訓練；將訓練完成的檢測網路的參數，確定為該目標訓練集的參考檢測網路。
通過獲取參考檢測網路，可以對通用檢測網路進行指導，使得少樣本訓練得到的通用檢測網路更加接近多樣 本訓練得到的參考檢測網路，縮小少樣本帶來的損失。
在一種可能的實現方式中，所述根據所述通用檢測網路的檢測損失，訓練所述待訓練的參數生成網路，包括：根據該目標訓練集的通用檢測網路的參數和該目標訓練集的參考檢測網路的參數，確定所述通用檢測網路的差距損失；根據所述通用檢測網路的檢測損失和差距損失，訓練所述待訓練的參數生成網路的參數。
這樣，根據所述通用檢測網路的檢測損失和差距損失，共同訓練所述待訓練的參數生成網路的參數，可以使基於參數生成網路得到的檢測網路的準確度更高。
在一種可能的實現方式中，所述方法還包括：確定所述通用檢測網路的正交化損失；根據所述通用檢測網路的正交化損失，訓練所述待訓練的參數生成網路。
通過使不同類別的檢測網路之間彼此正交，可以提升模型的區分能力。
在一種可能的實現方式中，所述構建目標類別的檢測網路，包括：獲取所述目標類別的訓練圖像；將所述目標類別的各訓練圖像分別輸入所述參數生成網路中，得到所述目標類別的每個訓練樣本對應的檢測網路的參數； 根據所述目標類別的每個訓練樣本對應的檢測網路的參數，確定所述目標類別的檢測網路的參數；根據所述目標類別的檢測網路的參數，構建所述目標類別的檢測網路。
根據本發明的一方面，提供了一種目標檢測裝置，包括：構建模組，配置為構建目標類別的檢測網路；檢測模組，配置為採用所述目標類別的檢測網路對待檢測圖像進行檢測，得到所述待檢測圖像的目標檢測結果；其中，所述目標類別的檢測網路的參數是基於目標類別的訓練圖像輸入參數生成網路中而得到的。
在一種可能的實現方式中，所述裝置還包括：獲取模組，配置為從圖像集中獲取一個或多個目標訓練集，其中，每個目標訓練集包括K個類別的訓練圖像，每個類別包括M個訓練圖像，K為大於0的整數；第一訓練模組，配置為基於各目標訓練集，訓練所述參數生成網路。
在一種可能的實現方式中，所述M個訓練圖像包括N個支援圖像和O個查詢圖像，N和O為大於0的整數；所述第一訓練模組還配置為：針對每個目標訓練集：將該目標訓練集的各支援圖像輸入待訓練的參數生成網路，得到該目標訓練集的通用檢測網路的參數，並根據該通用檢測網路的參數，構建該目標訓練集的通用檢測網 路；將該目標訓練集的各查詢圖像輸入待訓練的特徵提取網路，得到該目標訓練集的各查詢圖像的特徵圖；將所述各查詢圖像的特徵圖分別輸入所述通用檢測網路，得到所述各查詢圖像的預測標籤分佈結果；根據所述各查詢圖像的預測標籤分佈結果和真值標籤，確定所述通用檢測網路的檢測損失；根據所述通用檢測網路的檢測損失，訓練所述待訓練的參數生成網路。
在一種可能的實現方式中，所述第一訓練模組還配置為：將該目標訓練集的各支援圖像分別輸入待訓練的參數生成網路，得到每個支援圖像對應的檢測網路的參數；根據各支援圖像對應的檢測網路的參數和各支援圖像的真實類別，確定該目標訓練集的每個類別的檢測網路的參數；根據該目標訓練集的各類別的檢測網路的參數，確定該目標訓練集的通用檢測網路的參數。
在一種可能的實現方式中，所述裝置還包括：第二訓練模組，配置為根據所述通用檢測網路的檢測損失，訓練所述待訓練的特徵提取網路。
在一種可能的實現方式中，所述第二訓練模組還配置為：獲取目標訓練集的參考檢測網路； 將所述各查詢圖像的特徵圖分別輸入所述參考檢測網路，得到所述各查詢圖像的參考標籤分佈結果；根據所述各查詢圖像的參考標籤分佈結果和真值標籤，確定所述參考檢測網路的檢測損失；根據所述通用檢測網路的檢測損失和所述參考檢測網路的檢測損失，訓練所述待訓練的特徵提取網路。
在一種可能的實現方式中，獲取該目標訓練集的參考檢測網路的參數，包括：獲取隨機初始化的檢測網路；基於該目標訓練集的所有查詢圖像對所述隨機初始化的檢測網路進行訓練；將訓練完成的檢測網路的參數，確定為該目標訓練集的參考檢測網路。
在一種可能的實現方式中，所述第一訓練模組還配置為：根據該目標訓練集的通用檢測網路的參數和該目標訓練集的參考檢測網路的參數，確定所述通用檢測網路的差距損失；根據所述通用檢測網路的檢測損失和差距損失，訓練所述待訓練的參數生成網路的參數。
在一種可能的實現方式中，所述裝置還包括：確定模組，配置為確定所述通用檢測網路的正交化損失；第三訓練模組，配置為根據所述通用檢測網路的正交化 損失，訓練所述待訓練的參數生成網路。
在一種可能的實現方式中，所述構建模組還配置為：獲取所述目標類別的訓練圖像；將所述目標類別的各訓練圖像分別輸入所述參數生成網路中，得到所述目標類別的每個訓練樣本對應的檢測網路的參數；根據所述目標類別的每個訓練樣本對應的檢測網路的參數，確定所述目標類別的檢測網路的參數；根據所述目標類別的檢測網路的參數，構建所述目標類別的檢測網路。
根據本發明的一方面，提供了一種電子設備，包括：處理器；配置為儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述方法。
根據本發明的一方面，提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。
在本發明實施例中，對於訓練圖像數量較少的目標類別，可以先通過參數生成網路得到目標類別的檢測網路的參數，然後根據該參數構建目標類別的檢測網路，從而實現目標類別的目標檢測。這樣，既降低了訓練圖像的標注成本，又降低了採用少量訓練圖像直接訓練檢測網路而帶來的過擬合的風險。進一步的，本發明實施例有利於動 態增加新的類別。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本發明。根據下面參考附圖對示例性實施例的詳細說明，本發明的其它特徵及方面將變得清楚。
201:參數生成網路f ψ
202:特徵提取網路
Figure 110120819-A0305-02-0042-67
40:目標檢測裝置
41:構建模組
42:檢測模組
800:電子設備
802:處理組件
804:記憶體
806:電源組件
808:多媒體組件
810:音頻組件
812:輸入/輸出介面
814:感測器組件
816:通信組件
820:處理器
1900:電子設備
1922:處理組件
1926:電源組件
1932:記憶體
1950:網路介面
1958:輸入輸出介面
S11~S12:步驟
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。
圖1示出根據本發明實施例的目標檢測方法的流程圖；圖2示出根據本發明實施例的網路架構示意圖；圖3示出根據本發明實施例的網路架構示意圖；圖4示出根據本發明實施例的目標檢測裝置的方塊圖；圖5示出根據本發明實施例的一種電子設備800的方塊圖；圖6示出根據本發明實施例的一種電子設備1900的方塊圖。
以下將參考附圖詳細說明本發明的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面， 但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本發明，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本發明同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本發明的主旨。
目標檢測是電腦視覺裡面的經典問題，主要判斷圖像中是否包含某一類對象，如果包含還需要給出每個對象的位置。目標檢測是圖像內容理解的基石，是很多更加複雜視覺理解任務的基礎，如跟蹤識別、實例分割、場景分類和事件檢測等。隨著技術的發展，目標檢測在實際生活中有著廣泛的引用，如人臉識別、自動駕駛、安防布控和娛樂互動等。通常來說，讓檢測網路學習新的類別，需要大量該類別的圖像。然而在實際應用中，可能並不能獲取 到大量新類別的圖像。例如，攝影師拍攝到一種珍惜的小鳥(或者罕見的場景、深海動物等)後，科研人員在研究的過程中可能需要從大量鳥類的圖像中，檢測是否出現過該類小鳥。此時，如果以人工的方式去確認大量鳥類的圖像中是否出現過該類小鳥，非常費時費力。因此，需要通過一個檢測網路進行該類小鳥的目標檢測。由於這類小鳥的數量較少，已確認包含該類小鳥的圖像也較少，因此無法直接通過已確認包含該類小鳥的圖片，訓練出能夠準確對該類小鳥進行目標檢測的檢測網路。而本發明實施例提供的目標檢測方法，可以基於少量的包含該類小鳥的圖像，構建出較為準確的對該類小鳥進行目標檢測的檢測網路。這樣，就可以對大量鳥類的圖像進行目標檢測，確定是否出現過該類小鳥。
圖1示出根據本發明實施例的目標檢測方法的流程圖。如圖1所示，所述目標檢測方法可以包括：
步驟S11，構建目標類別的檢測網路。
步驟S12，採用所述目標類別的檢測網路對待檢測圖像進行檢測，得到所述待檢測圖像的目標檢測結果。
其中，所述目標類別的檢測網路的參數是將目標類別的訓練圖像輸入參數生成網路中而得到的。
在本發明實施例中，對於訓練圖像數量較少的目標類別，可以先通過參數生成網路得到目標類別的檢測網路的參數，然後根據該參數構建目標類別的檢測網路，從而實現目標類別的目標檢測。這樣，既降低了訓練圖像的標 注成本，又降低了採用少量訓練圖像直接訓練檢測網路而帶來的過擬合的風險。進一步的，本發明實施例有利於動態增加新的類別。
可以理解的是，目標類別也可以為具有訓練圖像數量較多的類別，本發明實施例提供的目標檢測方法同樣可以適用於具有訓練圖像數量較多的類別。
在一種可能的實現方式中，所述目標檢測方法可以由終端設備或伺服器等電子設備執行，終端設備可以為使用者設備(User Equipment，UE)、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理(Personal Digital Assistant，PDA)、手持設備、計算設備、車載設備、可穿戴設備等，所述方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。或者，可通過伺服器執行所述方法。
在步驟S11中，目標類別可以表示待進行目標檢測的類別。在一個示例中，目標類別可以為具有訓練圖像數量較少的類別，例如，目標類別可以為具有一個或幾個訓練圖像的類別。在實際應用場景中，目標類別可以為動態增加的新類別。
檢測網路可以表示用於進行目標檢測的網路。在一個示例中，檢測網路的結構可以為能夠進行無候選框(Anchor-Free)的目標檢測的網路，例如FCOS(Full Convolutional One Stage Object Detection，全卷積一級目標檢測)網路。本發明實施例對檢測網路不做 限制。
目標類別的檢測網路可以表示用於對目標類別進行目標檢測的網路。也就是說，通過目標類別的檢測網路可以檢測出待檢測圖像中是否存在目標類別的對象。在本發明實施例中，可以首先獲取目標類別的檢測網路的參數，然後基於該目標類別的檢測網路的參數，構建目標類別的檢測網路。其中，目標類別的檢測網路的參數是基於目標類別的訓練圖像輸入參數生成網路中而得到的。
參數生成網路可以用於生成檢測網路的參數。參數生成網路以訓練圖像作為輸入，以檢測網路的參數作為輸出，將目標類別的訓練圖像輸入參數生成網路中，可以得到目標類別的檢測網路的參數。本發明實施例對參數生成網路的結構不做限制。
在一種可能的實現方式中，構建檢測網路的過程為：首先，獲取所述目標類別的訓練圖像，將所述目標類別的各訓練圖像分別輸入所述參數生成網路中，得到所述目標類別的每個訓練樣本對應的檢測網路的參數；然後，根據所述目標類別的每個訓練樣本對應的檢測網路的參數，確定所述目標類別的檢測網路的參數；最後，根據所述目標類別的檢測網路的參數，構建所述目標類別的檢測網路。
在本發明實施例中，可以將目標類別的各訓練圖像分別輸入參數生成網路中，得到目標類別的每個訓練圖像對應的檢測網路的參數。由於這些訓練圖像均屬於目標類別，因此，可以根據這些訓練圖像對應的檢測網路的參數， 確定目標類別的檢測網路的參數。在一個示例中，可以將目標類別的訓練圖像對應的檢測網路的參數進行平均，將平均後的檢測網路的參數確定為目標類別的檢測網路的參數。在又一示例中，可以首先，根據訓練圖像中目的地區域(目標類別的對象所在區域)的位置或者大小等資訊，確定目標類別的各訓練圖像的權重資訊；然後，基於權重資訊，對目標類別的各訓練圖像對應的檢測網路的參數進行加權平均，將加權平均後的檢測網路的參數確定為目標類別的檢測網路的參數。
在獲取到檢測網路的參數之後，可以基於檢測網路的結構，構建出相應的檢測網路。也就是說，在獲取了目標類別的檢測網路的參數之後，可以基於檢測網路的結構，構建出目標類別的檢測網路。
在一種可能的實現方式中，可以將參數設置為目標類別的檢測網路的參數的檢測網路，直接確定為目標類別的檢測網路。這樣，在將目標類別的訓練圖像輸入參數生成網路後，即可方便、快捷的得到目標類別的檢測網路。
在一種可能的實現方式中，可以先將參數設置為目標類別的檢測網路的參數的檢測網路，確定為目標類別的初始化檢測網路；然後，對該初始化檢測網路進行微調，得到為目標類別的檢測網路。在一個示例中，可以通過損失最小化對初始化檢測網路進行微調。這裡的損失可以包括初始化檢測網路的檢測損失和正交損失。其中，初始化檢測網路的檢測損失可以根據目標類別的訓練圖像輸入 初始化檢測網路後輸出的預測標籤分佈結果和對應的真值標籤確定。
這樣，可以在較短的時間內得到優化的檢測網路，從而提升了目標類別的檢測網路的準確性。
在步驟S12中，可以將待檢測圖像輸入目標類別的檢測網路得到待檢測圖像的目標檢測結果。一個示例中，目標檢測結果可以包括待檢測圖像為目標類別的概率以及待檢測圖像中目標類別的對象的位置資訊。
在本發明實施例中，首先基於參數生成網路，得到目標類別的檢測網路的參數，然後根據目標類別的檢測網路的參數，構建出目標類別的檢測網路，從而實現了目標類別上的目標檢測。參數生成網路是本發明實施例的目標檢測方法的重要工具。下面對參數生成網路的訓練過程進行說明。
在一種可能的實現方式中，參數生成網路的訓練過程可以包括：從圖像集中獲取一個或多個目標訓練集；並基於各目標訓練集，訓練所述參數生成網路。
以圖像集包括C個類別(稱為C個基類)的訓練圖像，每個類別包括A個訓練圖像為例進行說明。從圖像集中獲取一個目標訓練集的過程可以包括：從C個類別中隨機選取K個類別，並從每個類別的A個訓練圖像中，隨機選取M個訓練圖像。此時，目標訓練集包括K個類別的訓練圖像，每個類別包括M個訓練圖像。重複該過程，則可以從圖像集中獲取到多個目標訓練集。
其中，C、A、K、M為大於0的整數，且C>K，A>M。
K和M的數量可以根據需要進行設置。由於本發明實施例的目標檢測方法要解決的是訓練圖像數量較少的類別的檢測問題，因此，本發明實施例在訓練參數生成網路時，採用的類別數量較少，每個類別的訓練圖像的數量也較少。在一個示例中，K可以取5；M可以取11、15或者20等。而相應的C可以為1000或者2000等，A可以取5000或者10000等。可以理解的是，本發明實施例提供的訓練參數生成網路的過程對數量較多的類別同樣適用，因此，每個類別的訓練圖像的數量可以較多，M還可以取500或者1000等。
需要說明的是，針對目標訓練集的每個類別，該類別包括的M個訓練圖像可以包括N個支援圖像和O個查詢圖像，N和O為大於0的整數，且M
Figure 110120819-A0305-02-0019-22
N+O。在M=N+O的情況下，針對目標訓練集的每個類別，可以隨機從該類別的M個訓練圖像中，選取N個訓練圖像作為支援圖像，並將該類別剩下的訓練圖像作為查詢圖像。在M>N+O的情況下，針對目標訓練集的每個類別，可以隨機從類別的M個訓練圖像中，選取N個訓練圖像作為支援圖像，並從該類別剩下的訓練圖像中隨機選取O個訓練圖像作為查詢圖像。
下面以一個目標訓練集為例，對參數生成網路的訓練過程進行說明。採用多個目標訓練集訓練參數生成網路 的過程，實際上是多次重複採用一個目標訓練集訓練參數生成網路的過程，這裡不再贅述。
在一種可能的實現方式中，基於一個目標訓練集，訓練參數生成網路，可以包括：首先，將該目標訓練集的各支援圖像輸入待訓練的參數生成網路，得到該目標訓練集的通用檢測網路的參數，並根據該通用檢測網路的參數，構建該目標訓練集的通用檢測網路；其次，將該目標訓練集的各查詢圖像輸入待訓練的特徵提取網路，得到該目標訓練集的各查詢圖像的特徵圖；再次，將所述各查詢圖像的特徵圖分別輸入所述通用檢測網路，得到所述各查詢圖像的預測標籤分佈結果；最後，根據所述各查詢圖像的預測標籤分佈結果和真值標籤，確定所述通用檢測網路的檢測損失，並根據所述通用檢測網路的檢測損失，訓練所述待訓練的參數生成網路。
其中，將該目標訓練集的各支援圖像輸入待訓練的參數生成網路，得到該目標訓練集的通用檢測網路的參數，可以包括：將該目標訓練集的各支援圖像分別輸入待訓練的參數生成網路，得到每個支援圖像對應的檢測網路的參數；根據各支援圖像對應的檢測網路的參數和各支援圖像的真實類別，確定該目標訓練集的每個類別的檢測網路的參數；並根據該目標訓練集的各類別的檢測網路的參數，確定該目標訓練集的通用檢測網路的參數。
在一個示例中，可以按照各支援圖像的真實類別，將同一類別的支援圖像對應的檢測網路的參數進行平均 或者加權平均(權值可以根據支援圖像中目的地區域的位置或者大小等資訊確定)，得到對應類別的檢測網路的參數。然後，將各類別的檢測網路的參數拼接為目標訓練集的通用檢測網路的參數。
圖2示出根據本發明實施例的網路架構示意圖。如圖2所示，該網路架構200包括參數生成網路f ψ201和特徵提取網路202
Figure 110120819-A0305-02-0021-18
。其中，參數生成網路f ψ的參數為ψ，特徵提取網路
Figure 110120819-A0305-02-0021-19
的參數為
Figure 110120819-A0305-02-0021-20
。
如圖2所示，從圖像集中獲取了目標訓練集
Figure 110120819-A0305-02-0021-1
，該目標訓練集包括支援集D s ={(x s ,y s ) i }和查詢集D q ={(x q ,y q ) j }。
其中，支援集D s 包括K個類別的支援圖像，每個類別包括N個支援圖像。x s 表示支援圖像中的目的地區域，y s 表示x s 的真值標籤，(x s ,y s ) i 表示支援集D s 中第i個支援圖像的目的地區域和真值標籤，1
Figure 110120819-A0305-02-0021-25
i
Figure 110120819-A0305-02-0021-24
K*N，
Figure 110120819-A0305-02-0021-2
，其中，
Figure 110120819-A0305-02-0021-29
表示x s 的類別，
Figure 110120819-A0305-02-0021-30
表示x s 的位置資訊。
查詢集D q 包括K個類別的查詢圖像，每個類別包括O個查詢圖像。x q 表示查詢圖像中的目的地區域，y q 表示x q 的真值標籤，(x q ,y q ) j 表示查詢集D q 中第j個查詢圖像的目的地區域和真值標籤，1
Figure 110120819-A0305-02-0021-31
j
Figure 110120819-A0305-02-0021-32
K*O。
Figure 110120819-A0305-02-0021-3
，其中，
Figure 110120819-A0305-02-0021-33
表示x q 的類別，
Figure 110120819-A0305-02-0021-34
表示x q 的位置資訊。
結合圖2，採用目標訓練集D，訓練參數生成網路的過程可以包括如下。
(1)構建目標訓練集的通用檢測網路，具體地： 將支援集D s 中的各支援圖像進行裁剪得到各支援圖像的目的地區域x s (在一個示例中，目的地區域的尺寸可以為224圖元*224圖元)，將各支援圖像的目的地區域x s 輸入待訓練的參數生成網路f ψ中，可以得到每個支援圖像對應的檢測網路的參數，將同一類別的支援圖像x s 對應的檢測網路的參數進行平均(或者加權平均)，可以得到該類別的檢測網路的參數。公式(1)示出了類別k的檢測網路的參數：
Figure 110120819-A0305-02-0022-16
 其中，D表示檢測網路的參數的維度，
Figure 110120819-A0305-02-0022-5
表示類別k的檢測網路的參數；
Figure 110120819-A0305-02-0022-6
，也就是說檢測網路的類別與支援圖像的類別一致。
將K個類別的檢測網路的參數進行拼接，可以得到通用檢測網路的參數W
Figure 110120819-A0305-02-0022-21
，然後根據該通用檢測網路的參數
Figure 110120819-A0305-02-0022-7
，可以構建出目標訓練集的通用檢測網路。
(2)獲取查詢圖像的特徵圖，具體地：將查詢集D q 中的各查詢圖像進行裁剪後得到各查詢圖像的目的地區域x q (在一個示例中，目的地區域的短邊為600圖元，長邊不超過1000圖元)輸入特徵提取網路
Figure 110120819-A0305-02-0022-36
中，得到各查詢圖像的特徵圖
Figure 110120819-A0305-02-0022-37
(x q )。
(3)確定通用檢測網路的檢測損失，具體地：將各查詢圖像的特徵圖
Figure 110120819-A0305-02-0022-68
(x q )輸入參數為
Figure 110120819-A0305-02-0022-8
的通用檢測網路中，可以得到各查詢圖像的預測標籤分佈結果。根據各 查詢圖像的預測標籤分佈結果和真值標籤y q ，可以得到通用檢測網路的檢測損失。在一個示例中，可以通過公式(2)得到通用檢測網路的檢測損失。
Figure 110120819-A0305-02-0023-9
 其中，L d 表示通用檢測網路的檢測損失，loss(...)表示損失函數。loss(y q ；
Figure 110120819-A0305-02-0023-39
(x q ),
Figure 110120819-A0305-02-0023-40
)表示以查詢圖像的真值標籤y q 和查詢圖像的特徵圖
Figure 110120819-A0305-02-0023-41
(x q )輸入參數為
Figure 110120819-A0305-02-0023-10
的通用檢測網路中得到的預測標籤分佈結果為參數的損失函數。本發明實施例中對損失函數的結構不做限制，例如可以為均方誤差函數、交叉熵函數等。
(4)根據通用檢測網路的檢測損失L d ，訓練待訓練的參數生成網路f ψ。
以通用檢測網路的檢測損失最小化為目標，調整參數生成網路f ψ的參數ψ，以實現對參數生成網路f ψ的訓練。
這樣，通過少量的樣本訓練出來的參數生成網路f ψ，可以用來生成新類別的檢測網路的參數，具有將其檢測網路生成能力轉移到新類上的潛力。
在一種可能的實現方式中，所述方法還包括：根據所述通用檢測網路的檢測損失，訓練所述待訓練的特徵提取網路。
由圖2所示的網路架構可知，在訓練參數生成網路f ψ的過程中，可以同時對特徵提取網路
Figure 110120819-A0305-02-0023-42
進行訓練。也就是說，還可以以通用檢測網路的檢測損失最小化為目標，更新特徵提取網路
Figure 110120819-A0305-02-0023-43
的參數
Figure 110120819-A0305-02-0023-44
。
在一種可能的實現方式中，根據所述通用檢測網路的檢測損失，訓練所述待訓練的特徵提取網路，包括：獲取該目標訓練集的參考檢測網路的參數；根據所述目標訓練集的參考檢測網路的參數，構建所述目標訓練集的參考檢測網路；將所述各查詢圖像的特徵圖分別輸入所述參考檢測網路，得到所述各查詢圖像的參考標籤分佈結果；根據所述各查詢圖像的參考標籤分佈結果和真值標籤，確定所述參考檢測網路的檢測損失；根據所述通用檢測網路的檢測損失和所述參考檢測網路的檢測損失，訓練所述待訓練的特徵提取網路。
其中，參考檢測網路可以用於表示基於所述圖像集的所有類別的訓練圖像，訓練得到的檢測網路。
採用目標訓練集訓練參考檢測網路和特徵提取網路時，一次訓練過程僅涉及K個類別，多次訓練仍然被限制在有限數量的類別中。這樣，會導致訓練出來的特徵提取網路gΦ的區分能力被限制在各目標訓練集涉及到的類別中，使其提取特徵的能力減弱。同時，採用目標訓練集訓練參考檢測網路和特徵提取網路時，訓練過程涉及的訓練圖像的數量較少。而採用少量訓練圖像訓練得到的通用檢測網路相較於採用大量訓練圖像得到的檢測網路的目標檢測能力較弱。因此，在本發明實施例中，引入通過多種類別的大量訓練圖像訓練得到的參考檢測網路，對參數生成網路f ψ和特徵提取網路
Figure 110120819-A0305-02-0024-45
的訓練進行優化。
圖3示出根據本發明實施例的網路架構示意圖。 圖3所示的網路架構在圖2的基礎上增加了參數為θ的參考檢測網路301。將各查詢圖像的特徵圖
Figure 110120819-A0305-02-0025-47
(x q )輸入參數為θ的參考檢測網路中，可以得到各查詢圖像的參考標籤分佈結果。根據各查詢圖像的參考標籤分佈結果和真值標籤y q ，可以得到參考檢測網路的檢測損失。在一個示例中，可以通過公式(3)示得到參考檢測網路的檢測損失。
Figure 110120819-A0305-02-0025-11
 其中，L r 表示參考檢測網路的檢測損失，loss(...)表示損失函數。loss(
Figure 110120819-A0305-02-0025-48
；
Figure 110120819-A0305-02-0025-49
(x q ),θ)表示以查詢圖像的真值標籤
Figure 110120819-A0305-02-0025-51
和查詢圖像的特徵圖
Figure 110120819-A0305-02-0025-52
(x q )輸入參數為θ的參考檢測網路中得到的參考標籤分佈結果為參數的損失函數。本發明實施例中對損失函數的結構不做限制，例如可以為均方誤差函數、交叉熵函數等。
需要說明的是公式(2)中的y q 和公式(3)中的
Figure 110120819-A0305-02-0025-53
均可以查詢圖像的真值標籤，區別是y q 是K個類別中的一個，
Figure 110120819-A0305-02-0025-56
是所有類別中的一個。
這樣，由於參考檢測網路是基於所有類別的訓練圖像訓練出來的，因此根據所述通用檢測網路的檢測損失和所述參考檢測網路的檢測損失，共同訓練所述待訓練的特徵提取網路，可以提升特徵提取網路的特徵區分能力。
在一種可能的實現方式中，獲取該目標訓練集的參考檢測網路的參數可以包括：獲取隨機初始化的檢測網路；基於該目標訓練集的所有查詢圖像對所述隨機初始化的檢測網路進行訓練；將訓練完成的檢測網路的參數，確定 為該目標訓練集的參考檢測網路。
首先隨機初始化一個檢測網路作為待訓練的檢測網路，然後基於該目標訓練集的所有查詢圖像，對待訓練的檢測網路，得到目標訓練集的參考檢測網路。該目標訓練集的參考檢測網路與參數生成網路f ψ和特徵提取網路
Figure 110120819-A0305-02-0026-57
可以同時進行訓練。基於該目標訓練集的所有查詢圖像對所述隨機初始化的檢測網路進行訓練的過程可以參照相關技術中訓練檢測網路的訓練方法，例如YOLO、SSD等，對此本發明不做限制。
目標訓練集的參考檢測網路的參數同樣由K個類別的檢測網路的參數拼接得到。基於目標訓練集的參考檢測網路的參數可以構建出目標訓練集的參考檢測網路。舉例來說，假設目標訓練集的K個類別中的類別k的參考檢測網路的參數為θ k
Figure 110120819-A0305-02-0026-58
，其中，D為參考檢測網路的參數的維度。將K個類別的參考檢測網路的參數進行拼接，可以得到目標訓練集的參考檢測網路的參數θ
Figure 110120819-A0305-02-0026-59
。
需要說明的是，在本發明實施例中還可以重新構建一個包括K個類別的資料集進行參考檢測網路的訓練。訓練過程可以參照上述採用查詢圖像進行訓練的過程，這裡不再贅述。
在一種可能的實現方式中，根據所述通用檢測網路的檢測損失，訓練所述待訓練的參數生成網路，包括：根據該目標訓練集的通用檢測網路的參數和該目標訓練集的參考檢測網路的參數，確定所述通用檢測網路的差距損 失；根據所述通用檢測網路的檢測損失和差距損失，訓練所述待訓練的參數生成網路的參數。
在一個示例中，可以通過公式(4)或者公式(5)得到通用檢測網路的差距損失。
Figure 110120819-A0305-02-0027-12
Figure 110120819-A0305-02-0027-13
 其中，
Figure 110120819-A0305-02-0027-60
和
Figure 110120819-A0305-02-0027-61
為通用檢測網路的差距損失L g 的兩個表現形式。Π是一個條件函數，括弧中條件為真時，取值為1，括弧中條件為假時，取值為0。∥…∥1表示一階範數，∥…∥2表示二階範數。f ψ(x s )和θ c 分別表示類別c對應的通用檢測網路和參考檢測網路的參數。
這樣，由於參考檢測網路是基於所有類別的訓練圖像訓練出來的，因此，根據所述通用檢測網路的檢測損失和差距損失，共同訓練所述待訓練的參數生成網路的參數，可以使基於參數生成網路得到的檢測網路的準確度更高。
在一種可能的實現方式中，所述方法還可以包括：確定所述通用檢測網路的正交化損失；根據所述通用檢測網路的正交化損失，訓練所述待訓練的參數生成網路。
在一個示例中，可以通過公式(6)，確定通用檢測網路的正交化損失。
Figure 110120819-A0305-02-0027-14
 其中，
Figure 110120819-A0305-02-0027-62
是
Figure 110120819-A0305-02-0027-15
的行標準化版本，∥…∥1表示1階範數，I是單位矩陣。
在本發明實施例中，通過使不同類別的檢測網路之間彼此正交，可以提升模型的區分能力。
考慮到本發明實施例中，圖3所示的參數生成網路f ψ、特徵提取網路
Figure 110120819-A0305-02-0028-64
和參考檢測網路可以同時進行訓練。因此，本發明實施例中可以通過公式(7)，確定一個總的訓練損失。
L=L d +L r +αL g +βL o (7)；其中，L表示總的訓練損失，L d 表示通用檢測網路的檢測損失(參見公式(2))，L r 表示參考檢測網路的檢測損失(參見公式(3))，L g 表示通用檢測網路的差距損失(參見公式(4)和公式(5))，L o 表示通用檢測網路的正交損失(參見公式(6))。α和β為超參數。α和β可以根據需要進行設置。在一個示例中，α可以取0.01，β可以取1。
在本發明實施例中，可以基於L同時對參數生成網路f ψ、特徵提取網路
Figure 110120819-A0305-02-0028-65
和參考檢測網路進行訓練，調整參數ψ、
Figure 110120819-A0305-02-0028-66
和θ。
可以理解，本發明提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本發明不再贅述。本領域技術人員可以理解，在具體實施方式的上述方法中，各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
此外，本發明還提供了目標檢測裝置、電子設備、電腦可讀儲存介質、程式，上述均可用來實現本發明提供 的任一種目標檢測方法，相應技術方案和描述和參見方法部分的相應記載，不再贅述。
圖4示出根據本發明實施例的目標檢測裝置的方塊圖。如圖4所示，所述裝置40包括：構建模組41，配置為構建目標類別的檢測網路；檢測模組42，配置為採用所述目標類別的檢測網路對待檢測圖像進行檢測，得到所述待檢測圖像的目標檢測結果；其中，所述目標類別的檢測網路的參數是基於目標類別的訓練圖像輸入參數生成網路中而得到的。
在一種可能的實現方式中，所述裝置還包括：獲取模組，配置為從圖像集中獲取一個或多個目標訓練集，其中，每個目標訓練集包括K個類別的訓練圖像，每個類別包括M個訓練圖像，K為大於0的整數；第一訓練模組，配置為基於各目標訓練集，訓練所述參數生成網路。
在一種可能的實現方式中，所述M個訓練圖像包括N個支援圖像和O個查詢圖像，N和O為大於0的整數；所述第一訓練模組還配置為：針對每個目標訓練集：將該目標訓練集的各支援圖像輸入待訓練的參數生成網路，得到該目標訓練集的通用檢測網路的參數，並根據該通用檢測網路的參數，構建該目標訓練集的通用檢測網路； 將該目標訓練集的各查詢圖像輸入待訓練的特徵提取網路，得到該目標訓練集的各查詢圖像的特徵圖；將所述各查詢圖像的特徵圖分別輸入所述通用檢測網路，得到所述各查詢圖像的預測標籤分佈結果；根據所述各查詢圖像的預測標籤分佈結果和真值標籤，確定所述通用檢測網路的檢測損失；根據所述通用檢測網路的檢測損失，訓練所述待訓練的參數生成網路。
在一種可能的實現方式中，將該目標訓練集的各支援圖像輸入待訓練的參數生成網路，得到該目標訓練集的通用檢測網路的參數，包括：將該目標訓練集的各支援圖像分別輸入待訓練的參數生成網路，得到每個支援圖像對應的檢測網路的參數；根據各支援圖像對應的檢測網路的參數和各支援圖像的真實類別，確定該目標訓練集的每個類別的檢測網路的參數；根據該目標訓練集的各類別的檢測網路的參數，確定該目標訓練集的通用檢測網路的參數。
在一種可能的實現方式中，所述裝置還包括：第二訓練模組，配置為根據所述通用檢測網路的檢測損失，訓練所述待訓練的特徵提取網路。
在一種可能的實現方式中，所述第二訓練模組還配置為：獲取目標訓練集的參考檢測網路； 將所述各查詢圖像的特徵圖分別輸入所述參考檢測網路，得到所述各查詢圖像的參考標籤分佈結果；根據所述各查詢圖像的參考標籤分佈結果和真值標籤，確定所述參考檢測網路的檢測損失；根據所述通用檢測網路的檢測損失和所述參考檢測網路的檢測損失，訓練所述待訓練的特徵提取網路。
在一種可能的實現方式中，獲取該目標訓練集的參考檢測網路的參數，包括：獲取隨機初始化的檢測網路；基於該目標訓練集的所有查詢圖像對所述隨機初始化的檢測網路進行訓練；將訓練完成的檢測網路的參數，確定為該目標訓練集的參考檢測網路。
在一種可能的實現方式中，根據所述通用檢測網路的檢測損失，訓練所述待訓練的參數生成網路，包括：根據該目標訓練集的通用檢測網路的參數和該目標訓練集的參考檢測網路的參數，確定所述通用檢測網路的差距損失；根據所述通用檢測網路的檢測損失和差距損失，訓練所述待訓練的參數生成網路的參數。
在一種可能的實現方式中，所述裝置還包括：確定模組，配置為確定所述通用檢測網路的正交化損失；第三訓練模組，配置為根據所述通用檢測網路的正交化 損失，訓練所述待訓練的參數生成網路。
在一種可能的實現方式中，所述構建模組還配置為：獲取所述目標類別的訓練圖像；將所述目標類別的各訓練圖像分別輸入所述參數生成網路中，得到所述目標類別的每個訓練樣本對應的檢測網路的參數；根據所述目標類別的每個訓練樣本對應的檢測網路的參數，確定所述目標類別的檢測網路的參數；根據所述目標類別的檢測網路的參數，構建所述目標類別的檢測網路。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本發明實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本發明實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行上述方法。
本發明實施例還提供了一種電腦程式產品，包括電腦可讀代碼，當電腦可讀代碼在設備上運行時，設備中的 處理器執行用於實現如上任一實施例提供的目標檢測方法的指令。
本發明實施例還提供了另一種電腦程式產品，用於儲存電腦可讀指令，指令被執行時使得電腦執行上述任一實施例提供的目標檢測方法的操作。
電子設備可以被提供為終端、伺服器或其它形態的設備。
圖5示出根據本發明實施例的一種電子設備800的方塊圖。例如，電子設備800可以是行動電話，電腦，數位廣播終端，消息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖5，電子設備800可以包括以下一個或多個組件：處理組件802，記憶體804，電源組件806，多媒體組件808，音頻組件810，輸入/輸出(I/O)的介面812，感測器組件814，以及通信組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，資料通信，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援 在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，消息，圖片，視頻等。記憶體804可以由任何類型的易失性或非易失性存放裝置或者它們的組合實現，如靜態隨機存取記憶體(SRAM)，電可擦除可程式設計唯讀記憶體(EEPROM)，可擦除可程式設計唯讀記憶體(EPROM)，可程式設計唯讀記憶體(PROM)，唯讀記憶體(ROM)，磁記憶體，快閃記憶體，磁片或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器(LCD)和觸摸面板(TP)。如果螢幕包括觸摸面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影頭和/或後置攝影頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影頭和/或後置攝影頭可以接收外部的 多媒體資料。每個前置攝影頭和後置攝影頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風(MIC)，當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻信號。
I/O介面812為處理組件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如互補金屬氧化物半導體(CMOS)或電荷耦合裝置(CCD) 圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如無線網路(WiFi)，第二代移動通信技術(2G)或第三代移動通信技術(3G)，或它們的組合。在一個示例性實施例中，通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通信組件816還包括近場通信(NFC)模組，以促進短程通信。例如，在NFC模組可基於射頻識別(RFID)技術，紅外資料協會(IrDA)技術，超寬頻(UWB)技術，藍牙(BT)技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路(ASIC)、數位訊號處理器(DSP)、數位信號處理設備(DSPD)、可程式設計邏輯器件(PLD)、現場可程式設計閘陣列(FPGA)、控制器、微控制器、微處理器或其他電子組件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖6示出根據本發明實施例的一種電子設備1900 的方塊圖。例如，電子設備1900可以被提供為一伺服器。參照圖6，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置為執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置為將電子設備1900連接到網路，和一個輸入輸出(I/O)介面1958。電子設備1900可以操作基於儲存在記憶體1932的作業系統，例如微軟伺服器作業系統(Windows ServerTM)，蘋果公司推出的基於圖形化使用者介面作業系統(Mac OS XTM)，多使用者多進程的電腦作業系統(UnixTM)，自由和開放原代碼的類Unix作業系統(LinuxTM)，開放原代碼的類Unix作業系統(FreeBSDTM)或類似。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是(但不限於)電存放裝置、磁存放裝置、光存放裝置、電磁存放裝置、半導體存放裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子(非窮舉的列表)包括：可擕式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦式可程式設計唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體(SRAM)、可擕式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能盤(DVD)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括對象導向的程式設計語言-諸如Smalltalk、C++等，以及常規的過程式程式設計語言-諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路-包括局域網(LAN)或廣域網路(WAN)-連接到使用者電腦，或者，可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列(FPGA)或可程式設計邏輯陣列(PLA)，該電子電路可以執行電腦可讀程式指令，從而實現本發明的各個方面。
這裡參照根據本發明實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序 發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
該電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中，所述電腦程式產品具體體現為電腦儲存介質，在另一個可選實施例中，電腦程式產品具體體現為軟體產品，例如軟體發展包(Software Development Kit，SDK)等等。
以上已經描述了本發明的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
工業實用性
本發明提供了一種目標檢測方法、電子設備和電腦可讀儲存介質，其中，構建目標類別的檢測網路；採用所述目標類別的檢測網路對待檢測圖像進行檢測，得到所述待檢測圖像的目標檢測結果；其中，所述目標類別的檢測網路 的參數是基於目標類別的訓練圖像輸入參數生成網路中而得到的。
S11~S12:步驟

Claims (10)

  1. 一種目標檢測方法，包括：從圖像集中獲取一個或多個目標訓練集，其中，每個目標訓練集包括K個類別的訓練圖像，每個類別包括M個訓練圖像，K為大於0的整數；所述M個訓練圖像包括N個支援圖像和O個查詢圖像，N和O為大於0的整數；針對每個目標訓練集：將該目標訓練集的各支援圖像輸入待訓練的參數生成網路，得到該目標訓練集的通用檢測網路的參數，並基於該通用檢測網路的參數，構建該目標訓練集的通用檢測網路；將該目標訓練集的各查詢圖像輸入待訓練的特徵提取網路，得到該目標訓練集的各查詢圖像的特徵圖；將所述各查詢圖像的特徵圖分別輸入所述通用檢測網路，得到所述各查詢圖像的預測標籤分佈結果；根據所述各查詢圖像的預測標籤分佈結果和真值標籤，確定所述通用檢測網路的檢測損失；根據所述通用檢測網路的檢測損失，訓練所述待訓練的參數生成網路；構建目標類別的檢測網路；採用所述目標類別的檢測網路對待檢測圖像進行檢測，得到所述待檢測圖像的目標檢測結果；其中，所述目標類別的檢測網路的參數是將目標類別的訓練圖像輸入訓練後的參數生成網路中而得到的。
  2. 根據請求項1所述的方法，其中，所述將該目標訓練集的各支援圖像輸入待訓練的參數生成網路，得到該目標訓練集的通用檢測網路的參數，包括：將該目標訓練集的各支援圖像分別輸入待訓練的參數生成網路，得到每個支援圖像對應的檢測網路的參數；根據各支援圖像對應的檢測網路的參數和各支援圖像的真實類別，確定該目標訓練集的每個類別的檢測網路的參數；根據該目標訓練集的各類別的檢測網路的參數，確定該目標訓練集的通用檢測網路的參數。
  3. 根據請求項1或2所述的方法，還包括：根據所述通用檢測網路的檢測損失，訓練所述待訓練的特徵提取網路。
  4. 根據請求項3所述的方法，其中，所述根據所述通用檢測網路的檢測損失，訓練所述待訓練的特徵提取網路，包括：獲取目標訓練集的參考檢測網路；將所述各查詢圖像的特徵圖分別輸入所述參考檢測網路，得到所述各查詢圖像的參考標籤分佈結果；根據所述各查詢圖像的參考標籤分佈結果和真值標籤，確定所述參考檢測網路的檢測損失；根據所述通用檢測網路的檢測損失和所述參考檢測網路的檢測損失，訓練所述待訓練的特徵提取網路。
  5. 根據請求項4所述的方法，其中，所述獲取 該目標訓練集的參考檢測網路的參數，包括：獲取隨機初始化的檢測網路；基於該目標訓練集的所有查詢圖像對所述隨機初始化的檢測網路進行訓練；將訓練完成的檢測網路的參數，確定為該目標訓練集的參考檢測網路。
  6. 根據請求項5所述的方法，其中，所述根據所述通用檢測網路的檢測損失，訓練所述待訓練的參數生成網路，包括：根據該目標訓練集的通用檢測網路的參數和該目標訓練集的參考檢測網路的參數，確定所述通用檢測網路的差距損失；根據所述通用檢測網路的檢測損失和差距損失，訓練所述待訓練的參數生成網路的參數。
  7. 根據請求項1或2所述的方法，還包括：確定所述通用檢測網路的正交化損失；根據所述通用檢測網路的正交化損失，訓練所述待訓練的參數生成網路。
  8. 根據請求項1所述的方法，其中，所述構建目標類別的檢測網路，包括：獲取所述目標類別的訓練圖像；將所述目標類別的各訓練圖像分別輸入所述參數生成網路中，得到所述目標類別的每個訓練樣本對應的檢測網路的參數； 根據所述目標類別的每個訓練樣本對應的檢測網路的參數，確定所述目標類別的檢測網路的參數；根據所述目標類別的檢測網路的參數，構建所述目標類別的檢測網路。
  9. 一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為調用所述記憶體儲存的指令，以執行請求項1至8中任一項所述的方法。
  10. 一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至8中任一項所述的方法。
TW110120819A 2020-07-30 2021-06-08 目標檢測方法、電子設備和電腦可讀儲存介質 TWI785638B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010751150.1 2020-07-30
CN202010751150.1A CN111898676B (zh) 2020-07-30 2020-07-30 目标检测方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
TW202205127A TW202205127A (zh) 2022-02-01
TWI785638B true TWI785638B (zh) 2022-12-01

Family

ID=73183433

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110120819A TWI785638B (zh) 2020-07-30 2021-06-08 目標檢測方法、電子設備和電腦可讀儲存介質

Country Status (3)

Country Link
CN (1) CN111898676B (zh)
TW (1) TWI785638B (zh)
WO (1) WO2022021901A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111898676B (zh) * 2020-07-30 2022-09-20 深圳市商汤科技有限公司 目标检测方法及装置、电子设备和存储介质
CN113128429A (zh) * 2021-04-24 2021-07-16 新疆爱华盈通信息技术有限公司 基于立体视觉的活体检测方法和相关设备
TWI803205B (zh) * 2022-02-23 2023-05-21 神通資訊科技股份有限公司 支援多感測態樣的計數系統及其方法
CN115100419B (zh) * 2022-07-20 2023-02-21 中国科学院自动化研究所 目标检测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210535A (zh) * 2019-05-21 2019-09-06 北京市商汤科技开发有限公司 神经网络训练方法及装置以及图像处理方法及装置
US20190332944A1 (en) * 2016-11-29 2019-10-31 Huawei Technologies Co., Ltd. Training Method, Apparatus, and Chip for Neural Network Model
US20190347828A1 (en) * 2018-05-09 2019-11-14 Beijing Kuangshi Technology Co., Ltd. Target detection method, system, and non-volatile storage medium
CN111325343A (zh) * 2020-02-20 2020-06-23 北京市商汤科技开发有限公司 神经网络的确定、目标检测、智能行驶控制方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110580487A (zh) * 2018-06-08 2019-12-17 Oppo广东移动通信有限公司 神经网络的训练方法、构建方法、图像处理方法和装置
CN108764370B (zh) * 2018-06-08 2021-03-12 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109145958B (zh) * 2018-07-27 2019-11-08 哈尔滨工业大学 一种基于多任务生成对抗网络的真实场景小物体检测方法
CN110009090B (zh) * 2019-04-02 2022-12-02 北京市商汤科技开发有限公司 神经网络训练与图像处理方法及装置
CN111242217A (zh) * 2020-01-13 2020-06-05 支付宝实验室(新加坡)有限公司 图像识别模型的训练方法、装置、电子设备及存储介质
CN111353580B (zh) * 2020-02-03 2023-06-20 中国人民解放军国防科技大学 目标检测网络的训练方法、电子设备及存储介质
CN111898676B (zh) * 2020-07-30 2022-09-20 深圳市商汤科技有限公司 目标检测方法及装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190332944A1 (en) * 2016-11-29 2019-10-31 Huawei Technologies Co., Ltd. Training Method, Apparatus, and Chip for Neural Network Model
US20190347828A1 (en) * 2018-05-09 2019-11-14 Beijing Kuangshi Technology Co., Ltd. Target detection method, system, and non-volatile storage medium
CN110210535A (zh) * 2019-05-21 2019-09-06 北京市商汤科技开发有限公司 神经网络训练方法及装置以及图像处理方法及装置
CN111325343A (zh) * 2020-02-20 2020-06-23 北京市商汤科技开发有限公司 神经网络的确定、目标检测、智能行驶控制方法及装置

Also Published As

Publication number Publication date
TW202205127A (zh) 2022-02-01
CN111898676B (zh) 2022-09-20
WO2022021901A1 (zh) 2022-02-03
CN111898676A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
TWI785638B (zh) 目標檢測方法、電子設備和電腦可讀儲存介質
KR102222300B1 (ko) 비디오 처리 방법 및 장치, 전자 기기 및 저장 매체
US20200387795A1 (en) Super network training method and device
WO2019141042A1 (zh) 图像分类方法、装置及终端
WO2020134866A1 (zh) 关键点检测方法及装置、电子设备和存储介质
US20180121040A1 (en) Method and device for managing notification messages
WO2021098256A1 (zh) 一种预测方法及装置、电子设备和存储介质
WO2021036382A1 (zh) 图像处理方法及装置、电子设备和存储介质
CN110781813B (zh) 图像识别方法及装置、电子设备和存储介质
CN111582383B (zh) 属性识别方法及装置、电子设备和存储介质
US11335348B2 (en) Input method, device, apparatus, and storage medium
TWI779449B (zh) 對象計數方法、電子設備、電腦可讀儲存介質
TWI755890B (zh) 資料處理方法、電子設備和電腦可讀儲存介質
TWI738349B (zh) 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒體
CN111523599B (zh) 目标检测方法及装置、电子设备和存储介质
CN107402767B (zh) 显示推送消息的方法和装置
US20220270352A1 (en) Methods, apparatuses, devices, storage media and program products for determining performance parameters
TW202242715A (zh) 身份辨識方法及電子設備、電腦可讀儲存媒體
TWI751593B (zh) 網路訓練方法及裝置、圖像處理方法及裝置、電子設備、電腦可讀儲存媒體及電腦程式
CN112035691A (zh) 切片图像的细胞标注数据的展示方法及装置、设备和介质
CN110213062B (zh) 处理消息的方法及装置
CN110781975B (zh) 图像处理方法及装置、电子设备和存储介质
CN111625671A (zh) 数据处理方法及装置、电子设备及存储介质
CN108491535B (zh) 信息的分类存储方法及装置
WO2022110801A1 (zh) 数据处理方法及装置、电子设备和存储介质