TW202026943A - 錨點確定方法及裝置、電子設備和儲存介質 - Google Patents

錨點確定方法及裝置、電子設備和儲存介質 Download PDF

Info

Publication number
TW202026943A
TW202026943A TW108144370A TW108144370A TW202026943A TW 202026943 A TW202026943 A TW 202026943A TW 108144370 A TW108144370 A TW 108144370A TW 108144370 A TW108144370 A TW 108144370A TW 202026943 A TW202026943 A TW 202026943A
Authority
TW
Taiwan
Prior art keywords
anchor point
feature map
network
prediction
anchor
Prior art date
Application number
TW108144370A
Other languages
English (en)
Other versions
TWI773945B (zh
Inventor
陳愷
王佳琦
楊碩
呂健勤
林達華
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202026943A publication Critical patent/TW202026943A/zh
Application granted granted Critical
Publication of TWI773945B publication Critical patent/TWI773945B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

本公開實施例公開了一種錨點確定方法及裝置、電子設備和儲存介質，所述方法包括：對待處理圖像進行特徵提取，得到所述待處理圖像的第一特徵圖；通過錨點預測網路對所述第一特徵圖進行錨點預測，得到所述第一特徵圖中生成錨點的位置資訊和所述錨點的形狀資訊。

Description

錨點確定方法及裝置、電子設備和儲存介質
本公開關於影像處理技術領域，尤其關於一種錨點確定方法及裝置、電子設備和儲存介質。
錨點是當前物體檢測技術中一個基本的元素，也是區域提議演算法的基石。目前的物體檢測器大都依賴密集且均勻的錨點生成方案，即在全圖中按照預定的尺度，長寬比和步長來生成均勻的錨點。
本公開實施例提出了一種錨點確定的技術方案。
根據本公開實施例的一方面，提供了一種錨點確定方法，包括：對待處理圖像進行特徵提取，得到所述待處理圖像的第一特徵圖；通過錨點預測網路對所述第一特徵 圖進行錨點預測，得到所述第一特徵圖中生成錨點的位置資訊和所述錨點的形狀資訊。
在一種可能的實現方式中，所述錨點預測網路包括位置預測子網路，所述通過錨點預測網路對所述第一特徵圖進行錨點預測，得到所述第一特徵圖中生成錨點的位置資訊，包括：將所述第一特徵圖輸入至所述位置預測子網路，確定所述第一特徵圖中各個位置生成錨點的概率；將所述概率大於或等於預設閾值的位置資訊確定為所述錨點的位置資訊。
在一種可能的實現方式中，所述錨點預測網路包括形狀預測子網路，所述通過錨點預測網路對所述第一特徵圖進行錨點預測，得到所述第一特徵圖中所述錨點的形狀資訊，包括：將第一特徵圖輸入至形狀預測子網路，確定所述錨點的形狀資訊。
在一種可能的實現方式中，所述方法還包括基於所述錨點的形狀資訊，通過修正網路對所述第一特徵圖進行特徵修正，得到第二特徵圖。
在一種可能的實現方式中，所述修正網路包括第一卷積層和第二卷積層；
所述基於所述錨點的形狀資訊，通過修正網路對所述第一特徵圖進行特徵修正，得到第二特徵圖，包括：將所述錨點的形狀資訊輸入至第一卷積層，得到所述第二卷積層的偏移量；將所述第一特徵圖和所述偏移量輸入至所述第二卷積層，得到所述第二特徵圖。
在一種可能的實現方式中，所述方法還包括：對所述錨點和所述第二特徵圖進行分類和錨點校正，得到對所述待處理圖像的識別結果。所述方法還包括：
在一種可能的實現方式中，對所述錨點和所述第二特徵圖進行分類和錨點校正，得到對所述待處理圖像的推薦區域；對所述推薦區域和所述第二特徵圖進行分類和區域校正，得到對所述待處理圖像的識別結果。
在一種可能的實現方式中，所述對待處理圖像進行特徵提取，得到所述待處理圖像的第一特徵圖，包括；利用預先訓練的特徵提取網路對所述待處理圖像進行特徵提取，得到所述待處理圖像的第一特徵圖。
根據本公開實施例的一方面，提供了一種錨點確定裝置，包括：特徵提取模組，配置為對待處理圖像進行特徵提取，得到所述待處理圖像的第一特徵圖；錨點預測模組，配置為通過錨點預測網路對所述第一特徵圖進行錨點預測，得到所述第一特徵圖中生成錨點的位置資訊和所述錨點的形狀資訊。
在一種可能的實現方式中，所述錨點預測網路包括位置預測子網路，所述錨點預測模組包括：概率生成子模組，配置為將所述第一特徵圖輸入至所述位置預測子網路，確定所述第一特徵圖中各個位置生成錨點的概率；位置資訊確定子模組，配置為將所述概率大於或等於預設閾值的位置資訊確定為所述錨點的位置資訊。
在一種可能的實現方式中，所述錨點預測網路包括形狀預測子網路，錨點預測模組包括：形狀資訊確定子模組，配置為將第一特徵圖輸入至形狀預測子網路，確定所述錨點的形狀資訊。
在一種可能的實現方式中，所述錨點確定裝置還包括：修正模組，配置為基於所述錨點的形狀資訊，通過修正網路對所述第一特徵圖進行特徵修正，得到第二特徵圖。
在一種可能的實現方式中，所述修正網路包括第一卷積層和第二卷積層；
所述修正模組包括：第一卷積子模組，配置為將所述錨點的形狀資訊輸入至第一卷積層，得到所述第二卷積層的偏移量；第二卷積子模組，配置為將所述第一特徵圖和所述偏移量輸入至所述第二卷積層，得到所述第二特徵圖。
在一種可能的實現方式中，所述裝置還包括：第一識別結果確定模組，配置為對所述錨點和所述第二特徵圖進行分類和錨點校正，得到對所述待處理圖像的識別結果。
在一種可能的實現方式中，所述裝置還包括：推薦區域確定模組，配置為對所述錨點和所述第二特徵圖進行分類和錨點校正，得到對所述待處理圖像的推薦區域；第二識別結果確定模組，配置為對所述推薦區域和所述第二特徵圖進行分類和區域校正，得到對所述待處理圖像的識別結果。
在一種可能的實現方式中，所述特徵提取模組包括；特徵提取子模組，配置為利用預先訓練的特徵提取網路對所述待處理圖像進行特徵提取，得到所述待處理圖像的第一特徵圖。
根據本公開實施例的一方面，提供了一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為：執行上述錨點確定方法。
根據本公開實施例的一方面，提供了一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述錨點確定方法。
根據本公開實施例的錨點確定方法，能夠對待處理圖像的特徵圖進行錨點預測，得到錨點的位置資訊和錨點的形狀資訊，從而能夠生成非均勻且大小、形狀任意的錨點，提高物體檢測的準確率。
應當理解的是，以上的一般描述和後文的細節描述僅是示例性和解釋性的，而非限制本公開。根據下面參考附圖對示例性實施例的詳細說明，本公開的其它特徵及方面將變得清楚。
51‧‧‧錨點預測網路
52‧‧‧修正網路
510‧‧‧第一特徵圖的特徵集
520‧‧‧位置和形狀資訊
530‧‧‧第二特徵圖
60‧‧‧錨點確定裝置
61‧‧‧特徵提取模組
62‧‧‧錨點預測模組
800‧‧‧電子設備
802‧‧‧處理組件
804‧‧‧記憶體
806‧‧‧電源組件
808‧‧‧多媒體組件
810‧‧‧音頻組件
812‧‧‧輸入/輸出介面
814‧‧‧感測器組件
816‧‧‧通信組件
820‧‧‧處理器
1900‧‧‧電子設備
1922‧‧‧處理組件
1926‧‧‧電源組件
1932‧‧‧記憶體
1950‧‧‧網路介面
1958‧‧‧輸入輸出介面
此處的附圖被併入說明書中並構成本說明書的一部分，這些附圖示出了符合本公開的實施例，並與說明書一起用於說明本公開的技術方案。
圖1示出根據本公開實施例的錨點確定方法的流程圖一；
圖2示出根據本公開實施例的錨點確定方法的流程圖二；
圖3示出根據本公開實施例的錨點確定方法的流程圖三；
圖4示出根據本公開實施例的錨點確定方法的流程圖四；
圖5a和圖5b示出根據本公開實施例的錨點確定方法的應用場景的示意圖。
圖6示出根據本公開實施例的錨點確定裝置的方塊圖。
圖7示出根據本公開實施例的一種電子設備的方塊圖。
圖8示出根據本公開實施例的另一種電子設備的方塊圖。
以下將參考附圖詳細說明本公開的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的元件。儘管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”，僅僅是一種描述關聯物件的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合，例如，包括A、B、C中的至少一種，可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外，為了更好地說明本公開，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本公開同樣可以實施。在一些實例中，對於本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便於凸顯本公開的主旨。
圖1示出根據本公開實施例的錨點確定方法的流程圖一。該錨點確定方法可以由終端設備或其它處理設備(例如伺服器)執行，其中，終端設備可以為使用者設備(User Equipment，UE)、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理(Personal Digital Assistant，PDA)、手持設備、計算設備、車載設備、可穿戴設備等。在一些可能的實現方式中，該錨點確定方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。
如圖1所示，所述方法包括如下。
步驟S11，對待處理圖像進行特徵提取，得到所述待處理圖像的第一特徵圖。
在一種可能的實現方式中，所述待處理圖像可以是由圖像採集設備(例如攝影頭)採集的某一區域(例如商場入口、道路路口等)的場景圖像，也可以是直接輸入的以保存的圖像或者視頻幀。待處理圖像中可包括待檢測的一個或多個物件或物體，例如人、動物、車輛等。例如，所述待處理圖像可以是“金毛犬在曬太陽”場景圖片，本實現方式中可以通過錨點檢測方式檢測“金毛犬”在場景圖片中位置和形狀。
步驟S12，通過錨點預測網路對所述第一特徵圖進行錨點預測，得到所述第一特徵圖中生成錨點的位置資訊和錨點的形狀資訊。
在一種可能的實現方式中，錨點用於表示特徵圖中可能存在物件或物體的區域(矩形框)，其中，矩形框的中心點可用於表示錨點的位置，矩形框的長度及寬度可用於表示錨點的形狀。應當理解，錨點所在的區域也可以表示為其他形狀，本公開實施例中對此不作限制。
在一種可能的實現方式中，錨點預測網路可用於預測第一特徵圖中可生成的錨點的位置和形狀。其中，錨點預測網路可包括例如卷積神經網路(CNN，Convolutional Neural Networks)，本公開實施例中對錨點預測網路的具體類型不作限制。
根據本公開實施例的錨點確定方法，能夠對待處理圖像的特徵圖進行錨點預測，得到錨點的位置資訊和錨點的形狀資訊，從而能夠生成非均勻且大小、形狀任意的錨點，提高物體檢測的準確率。
在一種可能的實現方式中，可在步驟S11中對待處理圖像進行特徵提取，得到所述待處理圖像的第一特徵圖。其中，步驟S11可包括：利用預先訓練的特徵提取網路對所述待處理圖像進行特徵提取，得到所述待處理圖像的第一特徵圖。
舉例來說，特徵提取網路可以為預先訓練的卷積神經網路(CNN)，將待處理圖像輸入特徵提取網路中進行處理，可以得到待處理圖像的第一特徵圖。
在一種可能的實現方式中，特徵提取網路包括多個卷積層且各個卷積層的卷積核的尺寸不同。在該情況下，得到的第一特徵圖可包括尺寸不同的多個特徵圖。本公開實施例中對特徵提取網路的具體網路類型以及第一特徵圖的數量不作限制。
在一種可能的實現方式中，根據得到的第一特徵圖，可在步驟S12中通過錨點預測網路預測第一特徵圖中可生成錨點的位置及錨點的形狀。
其中，在一種可能的實現方式中，錨點預測網路可包括位置預測子網路，在步驟S12中通過錨點預測網路對所述第一特徵圖進行錨點預測，得到所述第一特徵圖中生成錨點的位置資訊，可包括：將所述第一特徵圖輸入至所述位置預測子網路，確定所述第一特徵圖中各個位置生成錨點的概率；將所述概率大於或等於預設閾值的位置資訊確定為所述錨點的位置資訊。
舉例來說，位置預測子網路可用於預測錨點的位置。位置預測子網路可至少包括卷積層和啟動層(例如sigmoid啟動層)。對於形狀為M*C*H*W的第一特徵圖(其中，M表示批尺寸(batch size)，C表示特徵圖的第一通道數量，H和W分別表示第一特徵圖的高和寬)，可將第一特徵圖輸入卷積層(例如卷積核尺寸為A×A，A為大於或等於1的整數)中處理，輸出形狀為M*1*H*W的特徵圖。然後將形狀為M*1*H*W的特徵圖輸入啟動層中處理，可得到第一特徵圖中各個位置(H*W個位置)生成錨點的概率。
在一種可能的實現方式中，可將概率大於或等於預設閾值的位置資訊確定為錨點的位置資訊。也即，可預先設定有閾值P(0<P<1)，以便過濾掉所有概率小於該閾值P的位置。
其中，該閾值越大，則生成的錨點的數量越少；反之，該閾值越小，則生成的錨點的數量越多。在生成的錨點的數量較少時，推薦區域較小，目標檢測的運算量也較少。本領域技術人員可根據實際情況設定閾值P，本公開實施例中對閾值P的具體取值不作限制。
通過這種方式，可以確定第一特徵圖中可生成的錨點的位置資訊，從而生成非均勻的錨點。
在一種可能的實現方式中，錨點預測網路可包括形狀預測子網路，在步驟S12中通過錨點預測網路對所述第一特徵圖進行錨點預測，得到所述第一特徵圖中所述錨點 的形狀資訊，可包括：將第一特徵圖輸入至形狀預測子網路，確定所述錨點的形狀資訊。
舉例來說，形狀預測子網路可用於預測錨點的形狀。形狀預測子網路可至少包括卷積層。對於形狀為M*C*H*W的第一特徵圖，可將第一特徵圖輸入該卷積層(例如卷積核尺寸為B×B，B為大於或等於1的整數)中處理，輸出形狀為M*2*H*W的特徵圖。其中，2表示兩個通道，分別表示每個位置預測的錨點高度和寬度(相對值)，記為dh和dw。
在一種可能的實現方式中，錨點高度的實際值h可以通過公式h=8*s*exp(dh)計算得到，錨點寬度的實際值w可以通過公式w=8*s*exp(dw)計算得到，其中s用於表示形狀預測子網路的卷積層的步長。
在一種可能的實現方式中，根據預測的每個位置的錨點高度和寬度，可確定第一特徵圖中所有錨點的形狀資訊。這樣，根據位置預測子網路得到的錨點位置資訊，就可以確定出可生成的錨點的形狀資訊。
通過這種方式，可以確定第一特徵圖中可生成的錨點的形狀資訊，從而生成大小、形狀任意的錨點。
在一種可能的實現方式中，可通過四維特徵向量(x，y，a，b)，來表示錨點的位置資訊和形狀資訊。其中，x和y分別表示錨點的位置(矩形框的中心點)在第一特徵圖中的橫座標和縱座標，a和b分別表示錨點的區域(矩形框)的高度和寬度。
在一種可能的實現方式中，還可通過四維特徵向量(x1，y1，x2，y2)，來表示錨點的位置資訊和形狀資訊。其中，x1和y1分別表示錨點的區域(矩形框)的左上頂點在第一特徵圖中的橫座標和縱座標，x2和y2分別表示錨點的區域的右下頂點在第一特徵圖中的橫座標和縱座標。本公開實施例中對錨點的位置資訊和形狀資訊的具體表示方式不作限制。
圖2示出根據本公開實施例的錨點確定方法的流程圖二。在一種可能的實現方式中，如圖2所示，所述錨點確定方法還可包括：
步驟S13、基於所述錨點的形狀資訊，通過修正網路對所述第一特徵圖進行特徵修正，得到第二特徵圖。
在一種可能的實現方式中，修正網路可用於修正第一特徵圖的偏差。將錨點的形狀資訊輸入修正網路中處理，可輸出修正後的特徵圖(第二特徵圖)。其中，修正網路可以例如為卷積神經網路(CNN)，本公開實施例對修正網路的具體網路類型不作限制。
在一種可能的實現方式中，所述修正網路可包括第一卷積層和第二卷積層，步驟S13可包括：將所述錨點的形狀資訊輸入至第一卷積層，得到所述第二卷積層的偏移量；將所述第一特徵圖和所述偏移量輸入至所述第二卷積層，得到所述第二特徵圖。
舉例來說，修正網路的第一卷積層可用於確定第二卷積層的偏移量，其中，第一卷積層的卷積核尺寸可例 如為1×1。將錨點的形狀資訊輸入至第一卷積層，可輸出第二卷積層的偏移量。
在一種可能的實現方式中，修正網路的第二卷積層可用於對特徵圖進行修正。其中，第二卷積層可以為可變形卷積層，其卷積核尺寸可為N×N(N為大於1的整數，例如N=3)。將第一特徵圖和偏移量輸入至第二卷積層中處理，可輸出修正後的特徵圖(第二特徵圖)。
通過這種方式，可以實現對第一特徵圖的修正，從而提高物體檢測的準確率。
根據本公開實施例的錨點確定方法可以用於物體檢測，例如可以應用於單階段(single-stage)物體檢測或二階段(two-stage)物體檢測。
圖3示出根據本公開實施例的錨點確定方法的流程圖三。在一種可能的實現方式中，如圖3所示，所述錨點確定方法還可包括：步驟S14，對所述錨點和所述第二特徵圖進行分類和錨點校正，得到對所述待處理圖像的識別結果。
舉例來說，對於單階段的物體檢測，可直接對錨點和第二特徵圖進行分類和錨點校正，得到識別結果。其中，分類和錨點校正可以同時進行也可以先後執行，本公開實施例對分類和錨點校正的執行順序不作限制。
在一種可能的實現方式中，對於錨點的區域(矩形框)的分類，可將錨點和第二特徵圖輸入到分類網路中處理，該分類網路可包括一個或多個卷積層以及輸出通道數為 類別數的卷積層。在經過該分類網路的一個或多個卷積層之後，再經過輸出通道數為類別數的卷積層，可輸出錨點屬於每個類別的分類概率。這樣，可將錨點屬於各個類別的分類概率確定為錨點分類結果。
在一種可能的實現方式中，對於錨點校正，可通過錨點邊框回歸的方式實現校正過程。可將錨點和第二特徵圖輸入到錨點校正網路中處理，該錨點校正網路可包括一個或多個卷積層以及輸出通道數為4的卷積層。在經過該錨點校正網路的一個或多個卷積層之後，再經過輸出通道數為4的卷積層，可輸出錨點的區域(矩形框)的位置(四維特徵向量)，例如矩形框的中心點座標和寬高，或矩形框的左上頂點座標和右下頂點座標等。這樣，可將矩形框的位置確定為錨點校正結果。
在一種可能的實現方式中，根據得到的錨點分類結果和錨點校正結果，可確定待處理圖像的識別結果。也即識別結果包括檢測到的待處理圖像中的物體的類別和區域座標。
通過這種方式，可以得到單階段物體檢測的識別結果，提高物體檢測的準確率。
圖4示出根據本公開實施例的錨點確定方法的流程圖四。在一種可能的實現方式中，如圖4所示，所述錨點確定方法還可包括：
步驟S15，對所述錨點和所述第二特徵圖進行分類和錨點校正，得到對所述待處理圖像的推薦區域；
步驟S16，對所述推薦區域和所述第二特徵圖進行分類和區域校正，得到對所述待處理圖像的識別結果。
舉例來說，對於二階段的物體檢測，可先在步驟S15中對錨點和第二特徵圖進行分類和錨點校正，得到待處理圖像的推薦區域。其中，分類和錨點校正可以同時進行也可以先後執行，本公開對分類和錨點校正的執行順序不作限制。
在一種可能的實現方式中，對於步驟S15中的分類，可將錨點和第二特徵圖輸入到分類卷積網路(例如二分類器)中處理，得到各個錨點的類別，並將預設類別(例如前景類別)的錨點的區域確定為待處理圖像的推薦區域。本公開對分類卷積網路的具體類型不作限制。
在一種可能的實現方式中，對於步驟S15中的錨點校正，可通過錨點邊框回歸的方式實現校正過程。可將錨點和第二特徵圖輸入到錨點校正網路中處理，可輸出所有錨點的區域(矩形框)的位置。這樣，根據分類得到的推薦區域，可確定出錨點校正後的推薦區域的位置。本公開對錨點校正網路的具體類型不作限制。
在一種可能的實現方式中，在確定推薦區域之後，可在步驟S16中對所述推薦區域和所述第二特徵圖進行分類和區域校正，得到對所述待處理圖像的識別結果。其中，分類和區域校正可以同時進行也可以先後執行，本公開對分類和區域校正的執行順序不作限制。
在一種可能的實現方式中，對於步驟S16中的分類，可將推薦區域和第二特徵圖輸入到分類網路(例如多分類器)中處理，輸出推薦區域屬於每個類別的分類概率。這樣，可將推薦區域屬於各個類別的分類概率確定為推薦區域的分類結果。本公開對分類網路的具體類型不作限制。
在一種可能的實現方式中，對於步驟S16中的區域校正，可通過錨點邊框回歸的方式實現校正過程。可將推薦區域和第二特徵圖輸入到區域校正網路中處理，輸出推薦區域的位置。這樣，可確定推薦區域的校正結果。
在一種可能的實現方式中，根據推薦區域的分類結果和校正結果，可確定待處理圖像的識別結果。也即識別結果包括檢測到的待處理圖像中的物體的類別和區域座標。
通過這種方式，可以得到二階段物體檢測的識別結果，提高物體檢測的準確率。
在一種可能的實現方式中，所述錨點確定方法還可包括對錨點預測網路的訓練過程。例如通過已標注的訓練集來訓練所述錨點預測網路。訓練集的標注資訊用於標注訓練集的訓練圖像中物件/物體的位置、形狀和/或類別。
在一種可能的實現方式中，訓練所述錨點預測網路的過程中，可以將訓練集中的訓練圖像輸入所述錨點預測網路中處理，獲得預測結果；根據預測結果及訓練圖像的標注資訊，確定錨點預測網路的網路損失；根據所述網路損失，訓練錨點預測網路。
其中，所述錨點預測網路的網路損失可以包括位置預測子網路和形狀預測子網路的網路損失。錨點預測網路的網路損失可以表示為：
L=λ1Lloc+λ2Lshape+Lcls+Lreg
其中，L用於表示錨點預測網路的網路損失，Lloc用於表示位置預測子網路的網路損失，Lshape用於表示形狀預測子網路的網路損失，Lcls用於表示錨點預測網路的回歸損失，Lreg用於表示錨點預測網路的分類損失。λ1用於表示位置預測子網路的網路損失的權重，λ2用於表示形狀預測子網路的網路損失權重。
本公開實施例對錨點預測網路的具體訓練方式不作限制。
圖5a和圖5b示出根據本公開實施例的錨點確定方法的應用場景的示意圖。如圖5a所示，在該實現方式中，可從包括多個第一特徵圖的特徵集510中獲取多個第一特徵圖，並行輸入至各個網路中，每個錨點預測網路會分別得到錨點(anchors)的位置和形狀資訊520和修正後的特徵圖(第二特徵圖530)。基於錨點的位置和形狀資訊520和第二特徵圖530，可進行單階段物體檢測或二階段物體檢測，得到識別結果(prediction)。
如圖5b所示，在該實現方式中，該網路包括錨點預測網路51和修正網路52，其中錨點預測網路51包括位置預測子網路和形狀預測子網路。
在該實現方式中，可將待處理圖像進行特徵提取得到第一特徵圖510；將第一特徵圖510輸入錨點預測網路51的位置預測子網路和形狀預測子網路中處理，可輸出錨點的位置和形狀資訊520；將第一特徵圖510以及錨點的形狀資訊輸入修正網路52中處理，可輸出修正後的特徵圖(第二特徵圖530)，從而實現錨點確定及特徵圖修正的整個過程。
根據本公開實施例的錨點確定方法，能夠取代相關技術中採用滑窗方式生成的均勻的、形狀預先定義的錨點，生成稀疏的、任意形狀的錨點，並根據錨點的形狀來修正特徵圖。根據本公開的實施例，能夠顯著提高區域提議網路(區域推薦)的召回率；能夠應用在人臉檢測、自動駕駛等場景下，提高人臉、車輛或一般物體等的檢測準確率以及檢測速度。
可以理解，本公開提及的上述各個方法實施例，在不違背原理邏輯的情況下，均可以彼此相互結合形成結合後的實施例，限於篇幅，本公開不再贅述。
圖6示出根據本公開實施例的錨點確定裝置的方塊圖，如圖6所示，所述錨點確定裝置60包括：
特徵提取模組61，配置為對待處理圖像進行特徵提取，得到所述待處理圖像的第一特徵圖；
錨點預測模組62，配置為通過錨點預測網路對所述第一特徵圖進行錨點預測，得到所述第一特徵圖中生成錨點的位置資訊和所述錨點的形狀資訊。
在一種可能的實現方式中，所述錨點預測網路包括位置預測子網路，所述錨點預測模組包括：概率生成子模組，配置為將所述第一特徵圖輸入至所述位置預測子網路，確定所述第一特徵圖中各個位置生成錨點的概率；位置資訊確定子模組，配置為將所述概率大於或等於預設閾值的位置資訊確定為所述錨點的位置資訊。
在一種可能的實現方式中，所述錨點預測網路包括形狀預測子網路，錨點預測模組包括：形狀資訊確定子模組，配置為將第一特徵圖輸入至形狀預測子網路，確定所述錨點的形狀資訊。
在一種可能的實現方式中，所述錨點確定裝置還包括：修正模組，配置為基於所述錨點的形狀資訊，通過修正網路對所述第一特徵圖進行特徵修正，得到第二特徵圖。
在一種可能的實現方式中，所述修正網路包括第一卷積層和第二卷積層；
所述修正模組包括：第一卷積子模組，配置為將所述錨點的形狀資訊輸入至第一卷積層，得到所述第二卷積層的偏移量；第二卷積子模組，配置為將所述第一特徵圖和所述偏移量輸入至所述第二卷積層，得到所述第二特徵圖。
在一種可能的實現方式中，所述裝置還包括：第一識別結果確定模組，配置為對所述錨點和所述第二特徵圖進行分類和錨點校正，得到對所述待處理圖像的識別結果。
在一種可能的實現方式中，所述裝置還包括：推薦區域確定模組，配置為對所述錨點和所述第二特徵圖進行分類和錨點校正，得到對所述待處理圖像的推薦區域；第二識別結果確定模組，配置為對所述推薦區域和所述第二特徵圖進行分類和區域校正，得到對所述待處理圖像的識別結果。
在一種可能的實現方式中，所述特徵提取模組包括；特徵提取子模組，配置為利用預先訓練的特徵提取網路對所述待處理圖像進行特徵提取，得到所述待處理圖像的第一特徵圖。
在一些實施例中，本公開實施例提供的裝置具有的功能或包含的模組可以用於執行上文方法實施例描述的方法，其具體實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
本公開實施例還提出一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本公開實施例還提出一種電子設備，包括：處理器；用於儲存處理器可執行指令的記憶體；其中，所述處理器被配置為上述錨點確定方法。
圖7是根據一示例性實施例示出的一種電子設備800的方塊圖。例如，電子設備800可以是行動電話，電 腦，數位廣播終端，消息收發設備，遊戲控制台，平板設備，醫療設備，健身設備，個人數位助理等終端。
參照圖7，電子設備800可以包括以下一個或多個組件：處理組件802、記憶體804、電源組件806、多媒體組件808、音頻組件810、輸入/輸出(I/O)介面812、感測器組件814以及通信組件816。
處理組件802通常控制電子設備800的整體操作，諸如與顯示，電話呼叫，資料通信，相機操作和記錄操作相關聯的操作。處理組件802可以包括一個或多個處理器820來執行指令，以完成上述的方法的全部或部分步驟。此外，處理組件802可以包括一個或多個模組，便於處理組件802和其他組件之間的交互。例如，處理組件802可以包括多媒體模組，以方便多媒體組件808和處理組件802之間的交互。
記憶體804被配置為儲存各種類型的資料以支援在電子設備800的操作。這些資料的示例包括用於在電子設備800上操作的任何應用程式或方法的指令，連絡人資料，電話簿資料，消息，圖片，視頻等。記憶體804可以由任何類型的易失性或非易失性儲存裝置或者它們的組合實現，如靜態隨機存取記憶體(SRAM，Static Random Access Memory)，電可擦除可程式設計唯讀記憶體(EEPROM，Electrically Erasable Programmable Read-Only Memory)，可擦除可程式設計唯讀記憶體(EPROM，Erasable Programmable Read-Only Memory)，可程式設計唯讀記憶體(PROM，Programmable Read-Only Memory)，唯讀記憶體(ROM，Read Only Memory)，磁記憶體，快閃記憶體，磁片或光碟。
電源組件806為電子設備800的各種組件提供電力。電源組件806可以包括電源管理系統，一個或多個電源，及其他與為電子設備800生成、管理和分配電力相關聯的組件。
多媒體組件808包括在所述電子設備800和使用者之間的提供一個輸出介面的螢幕。在一些實施例中，螢幕可以包括液晶顯示器(LCD，Liquid Crystal Display)和觸摸面板(TP，Touch Panel)。如果螢幕包括觸摸面板，螢幕可以被實現為觸控式螢幕，以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界，而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中，多媒體組件808包括一個前置攝影頭和/或後置攝影頭。當電子設備800處於操作模式，如拍攝模式或視訊模式時，前置攝影頭和/或後置攝影頭可以接收外部的多媒體資料。每個前置攝影頭和後置攝影頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件810被配置為輸出和/或輸入音頻信號。例如，音頻組件810包括一個麥克風(MIC， Microphone)，當電子設備800處於操作模式，如呼叫模式、記錄模式和語音辨識模式時，麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在記憶體804或經由通信組件816發送。在一些實施例中，音頻組件810還包括一個揚聲器，用於輸出音頻信號。
I/O介面812為處理組件802和週邊介面模組之間提供介面，上述週邊介面模組可以是鍵盤，點擊輪，按鈕等。這些按鈕可包括但不限於：主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件814包括一個或多個感測器，用於為電子設備800提供各個方面的狀態評估。例如，感測器組件814可以檢測到電子設備800的打開/關閉狀態，組件的相對定位，例如所述組件為電子設備800的顯示器和小鍵盤，感測器組件814還可以檢測電子設備800或電子設備800一個組件的位置改變，使用者與電子設備800接觸的存在或不存在，電子設備800方位或加速/減速和電子設備800的溫度變化。感測器組件814可以包括接近感測器，被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件814還可以包括光感測器，如金屬氧化物半導體組件(CMOS，Complementary Metal-Oxide Semiconductor)或電荷耦合組件(CCD，Charge Coupled Device)圖像感測器，用於在成像應用中使用。在一些實施例中，該感測器組件814還可以包括加速度感測器，陀螺儀感測器，磁感測器，壓力感測器或溫度感測器。
通信組件816被配置為便於電子設備800和其他設備之間有線或無線方式的通信。電子設備800可以接入基於通信標準的無線網路，如無線保真(WiFi)，2G或3G，或它們的組合。在一個示例性實施例中，通信組件816經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中，所述通信組件816還包括近場通信(NFC，Near Field Communication)模組，以促進短程通信。例如，在NFC模組可基於射頻識別(RFID，Radio Frequency IDentification)技術，紅外資料協會(IrDA，Infrared Data Association)技術，超寬頻(UWB，Ultra WideBand)技術，藍牙(BT，BlueTooth)技術和其他技術來實現。
在示例性實施例中，電子設備800可以被一個或多個應用專用積體電路(ASIC，Application Specific Integrated Circuit)、數位訊號處理器(DSP，Digital Signal Processor)、數位信號處理設備(DSPD)、可程式設計邏輯器件(PLD，Programmable Logic Device)、現場可程式設計閘陣列(FPGA，Field-Programmable Gate Array)、控制器、微控制器、微處理器或其他電子組件實現，用於執行上述方法。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體804，上述電腦程式指令可由電子設備800的處理器820執行以完成上述方法。
圖8是根據一示例性實施例示出的另一種電子設備1900的方塊圖。例如，電子設備1900可以被提供為一伺服器。參照圖8，電子設備1900包括處理組件1922，其進一步包括一個或多個處理器，以及由記憶體1932所代表的記憶體資源，用於儲存可由處理組件1922的執行的指令，例如應用程式。記憶體1932中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外，處理組件1922被配置為執行指令，以執行上述方法。
電子設備1900還可以包括一個電源組件1926被配置為執行電子設備1900的電源管理，一個有線或無線網路介面1950被配置為將電子設備1900連接到網路，和一個輸入輸出(I/O)介面1958。電子設備1900可以操作基於儲存在記憶體1932的作業系統，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或類似。
在示例性實施例中，還提供了一種非易失性電腦可讀儲存介質，例如包括電腦程式指令的記憶體1932，上述電腦程式指令可由電子設備1900的處理組件1922執行以完成上述方法。
本公開可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質，其上載有用於使處理器實現本公開的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如 可以是(但不限於)電儲存裝置、磁儲存裝置、光儲存裝置、電磁儲存裝置、半導體儲存裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子(非窮舉的列表)包括：可擕式電腦盤、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦式可程式設計唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體(SRAM)、可擕式壓縮磁碟唯讀記憶體(CD-ROM)、數位多功能盤(DVD)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身，諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如，通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備，或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部儲存裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令，並轉發該電腦可讀程式指令，以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本公開操作的電腦程式指令可以是彙編指令、指令集架構(ISA)指令、機器指令、機器相關指 令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼，所述程式設計語言包括物件導向的程式設計語言-諸如Smalltalk、C++等，以及常規的過程式程式設計語言-諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中，遠端電腦可以通過任意種類的網路-包括局域網(LAN)或廣域網路(WAN)-連接到使用者電腦，或者，可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中，通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路，例如可程式設計邏輯電路、現場可程式設計閘陣列(FPGA)或可程式設計邏輯陣列(PLA)，該電子電路可以執行電腦可讀程式指令，從而實現本公開的各個方面。
這裡參照根據本公開實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本公開的各個方面。應當理解，流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合，都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器，從而生產出一種機器，使得這些指令在通過電腦或其它可程式設計 資料處理裝置的處理器執行時，產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中，這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作，從而，儲存有指令的電腦可讀介質則包括一個製造品，其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上，使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟，以產生電腦實現的過程，從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本公開的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上，流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分，所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如，兩個連續的方塊實際上可以基本並行地執行，它們有時也可以按相反的循序執行，這依所涉及的功能而定。也要注意的是，方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合，可以用執行規定的功能或動作的 專用的基於硬體的系統來實現，或者可以用專用硬體與電腦指令的組合來實現。
以上已經描述了本公開的各實施例，上述說明是示例性的，並非窮盡性的，並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下，對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
圖1代表圖為流程圖，無元件符號說明。

Claims (10)

  1. 一種錨點確定方法，包括：
    對待處理圖像進行特徵提取，得到所述待處理圖像的第一特徵圖；
    通過錨點預測網路對所述第一特徵圖進行錨點預測，得到所述第一特徵圖中生成錨點的位置資訊和所述錨點的形狀資訊。
  2. 根據請求項1所述的方法，其中，所述錨點預測網路包括位置預測子網路；
    所述通過錨點預測網路對所述第一特徵圖進行錨點預測，得到所述第一特徵圖中生成錨點的位置資訊，包括：
    將所述第一特徵圖輸入至所述位置預測子網路，確定所述第一特徵圖中各個位置生成錨點的概率；
    將所述概率大於或等於預設閾值的位置資訊確定為所述錨點的位置資訊。
  3. 根據請求項1所述的方法，其中，所述錨點預測網路包括形狀預測子網路；
    所述通過錨點預測網路對所述第一特徵圖進行錨點預測，得到所述第一特徵圖中所述錨點的形狀資訊，包括：
    將第一特徵圖輸入至形狀預測子網路，確定所述錨點的形狀資訊。
  4. 根據請求項1所述的方法，所述方法還包括：
    基於所述錨點的形狀資訊，通過修正網路對所述第一特徵圖進行特徵修正，得到第二特徵圖。
  5. 根據請求項4所述的方法，其中，所述修正網路包括第一卷積層和第二卷積層；
    所述基於所述錨點的形狀資訊，通過修正網路對所述第一特徵圖進行特徵修正，得到第二特徵圖，包括：
    將所述錨點的形狀資訊輸入至第一卷積層，得到所述第二卷積層的偏移量；
    將所述第一特徵圖和所述偏移量輸入至所述第二卷積層，得到所述第二特徵圖。
  6. 根據請求項4或5所述的方法，所述方法還包括：
    對所述錨點和所述第二特徵圖進行分類和錨點校正，得到對所述待處理圖像的識別結果。
  7. 根據請求項4或5所述的方法，所述方法還包括：
    對所述錨點和所述第二特徵圖進行分類和錨點校正，得到對所述待處理圖像的推薦區域；
    對所述推薦區域和所述第二特徵圖進行分類和區域校正，得到對所述待處理圖像的識別結果。
  8. 根據請求項1所述的方法，其中，所述對待處理圖像進行特徵提取，得到所述待處理圖像的第一特徵圖，包括；
    利用預先訓練的特徵提取網路對所述待處理圖像進行特徵提取，得到所述待處理圖像的第一特徵圖。
  9. 一種電子設備，包括：
    處理器以及用於儲存處理器可執行指令的記憶體；
    其中，所述處理器被配置為：執行請求項1至8中任意一項所述的方法。
  10. 一種電腦可讀儲存介質，其上儲存有電腦程式指令，所述電腦程式指令被處理器執行時實現請求項1至8中任意一項所述的方法。
TW108144370A 2018-12-29 2019-12-04 錨點確定方法、電子設備和儲存介質 TWI773945B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811639702.9 2018-12-29
CN201811639702.9A CN109801270B (zh) 2018-12-29 2018-12-29 锚点确定方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
TW202026943A true TW202026943A (zh) 2020-07-16
TWI773945B TWI773945B (zh) 2022-08-11

Family

ID=66558215

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108144370A TWI773945B (zh) 2018-12-29 2019-12-04 錨點確定方法、電子設備和儲存介質

Country Status (6)

Country Link
US (1) US11301726B2 (zh)
JP (1) JP2021512378A (zh)
CN (2) CN109801270B (zh)
SG (1) SG11202003953RA (zh)
TW (1) TWI773945B (zh)
WO (1) WO2020133966A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801270B (zh) * 2018-12-29 2021-07-16 北京市商汤科技开发有限公司 锚点确定方法及装置、电子设备和存储介质
CN110084309B (zh) * 2019-04-30 2022-06-21 北京市商汤科技开发有限公司 特征图放大方法、装置和设备及计算机可读存储介质
CN111079707B (zh) * 2019-12-31 2023-06-13 深圳云天励飞技术有限公司 人脸检测方法及相关装置
CN111242926A (zh) * 2020-01-13 2020-06-05 北京妙医佳健康科技集团有限公司 病灶检测方法、装置及电子设备
CN111738069A (zh) * 2020-05-13 2020-10-02 北京三快在线科技有限公司 人脸检测方法、装置、电子设备及存储介质
CN111885386B (zh) * 2020-07-29 2022-07-26 北京市商汤科技开发有限公司 图像的压缩、解压缩方法及装置、电子设备和存储介质
US11809836B2 (en) * 2020-08-27 2023-11-07 Arm Limited Method and apparatus for data processing operation
CN112150462B (zh) 2020-10-22 2023-12-22 北京百度网讯科技有限公司 确定目标锚点的方法、装置、设备以及存储介质
CN112149636B (zh) * 2020-10-23 2023-07-25 北京百度网讯科技有限公司 用于检测目标物体的方法、装置、电子设备及存储介质
CN113688663A (zh) * 2021-02-23 2021-11-23 北京澎思科技有限公司 人脸检测方法、装置、电子设备以及可读存储介质
CN113762109B (zh) 2021-08-23 2023-11-07 北京百度网讯科技有限公司 一种文字定位模型的训练方法及文字定位方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282460A (ja) * 1996-04-18 1997-10-31 Mitsubishi Electric Corp 自動目標認識装置
JP2007025902A (ja) * 2005-07-13 2007-02-01 Canon Inc 画像処理装置、画像処理方法
US9846836B2 (en) * 2014-06-13 2017-12-19 Microsoft Technology Licensing, Llc Modeling interestingness with deep neural networks
US10181191B2 (en) * 2014-12-02 2019-01-15 Shanghai United Imaging Healthcare Co., Ltd. Methods and systems for identifying spine or bone regions in computed tomography image sequence
CN104573715B (zh) * 2014-12-30 2017-07-25 百度在线网络技术（北京）有限公司 图像主体区域的识别方法及装置
JP6360802B2 (ja) * 2015-02-20 2018-07-18 株式会社デンソーアイティーラボラトリ ニューラルネットワーク処理装置、ニューラルネットワーク処理方法、検出装置、検出方法、および、車両
GB201603568D0 (en) 2016-03-01 2016-04-13 Immatics Biotechnologies Gmbh Efficient treatment options including peptides and combination of peptide and cell based medicaments for use in immunotherapy against urinary bladder cancer
CN106022237B (zh) 2016-05-13 2019-07-12 电子科技大学 一种端到端的卷积神经网络的行人检测方法
CN106295678B (zh) * 2016-07-27 2020-03-06 北京旷视科技有限公司 神经网络训练与构建方法和装置以及目标检测方法和装置
CN106469304A (zh) * 2016-09-22 2017-03-01 西安理工大学 基于深度卷积神经网络的票据中手写签名位置定位方法
CN206435186U (zh) * 2016-09-30 2017-08-25 湖北工业大学 产生锚式电场的电极装置
US10332312B2 (en) * 2016-12-25 2019-06-25 Facebook, Inc. Shape prediction model compression for face alignment
JP6787196B2 (ja) * 2017-03-09 2020-11-18 コニカミノルタ株式会社 画像認識装置及び画像認識方法
CN108229285B (zh) * 2017-05-27 2021-04-23 北京市商汤科技开发有限公司 物体分类方法、物体分类器的训练方法、装置和电子设备
CN107368800B (zh) * 2017-07-13 2020-02-21 上海携程商务有限公司 基于传真识别的订单确认方法、系统、设备及存储介质
CN108520450B (zh) * 2018-03-21 2021-09-24 电子科技大学 基于隐式反馈信息的局部低秩矩阵近似的推荐方法及系统
CN108460362B (zh) * 2018-03-23 2021-11-30 成都品果科技有限公司 一种检测人体部位的系统及方法
CN108694401B (zh) * 2018-05-09 2021-01-12 北京旷视科技有限公司 目标检测方法、装置及系统
CN108875577A (zh) * 2018-05-11 2018-11-23 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
CN108898131A (zh) * 2018-05-23 2018-11-27 郑州金惠计算机系统工程有限公司 一种复杂自然场景下的数字仪表识别方法
CN108764164B (zh) * 2018-05-30 2020-12-08 华中科技大学 一种基于可变形卷积网络的人脸检测方法及系统
CN108830196A (zh) * 2018-05-31 2018-11-16 上海贵和软件技术有限公司 基于特征金字塔网络的行人检测方法
CN109034152A (zh) * 2018-07-17 2018-12-18 广东工业大学 基于lstm-cnn组合模型的车牌定位方法及装置
CN109034131B (zh) * 2018-09-03 2021-10-26 福建海景科技开发有限公司 一种半自动人脸关键点标注方法及存储介质
KR102108854B1 (ko) * 2018-10-05 2020-05-12 재단법인대구경북과학기술원 딥러닝 네트워크 모델에 의한 실시간 객체 검출 방법 및 장치
CN109801270B (zh) * 2018-12-29 2021-07-16 北京市商汤科技开发有限公司 锚点确定方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
SG11202003953RA (en) 2020-08-28
CN109801270A (zh) 2019-05-24
CN109801270B (zh) 2021-07-16
JP2021512378A (ja) 2021-05-13
WO2020133966A1 (zh) 2020-07-02
TWI773945B (zh) 2022-08-11
US20200250495A1 (en) 2020-08-06
CN113538407B (zh) 2022-10-14
US11301726B2 (en) 2022-04-12
CN113538407A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
TWI773945B (zh) 錨點確定方法、電子設備和儲存介質
WO2021159594A1 (zh) 图像识别方法及装置、电子设备和存储介质
TWI749423B (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存介質
TWI728621B (zh) 圖像處理方法及其裝置、電子設備、電腦可讀儲存媒體和電腦程式
TWI740309B (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存介質
TWI747325B (zh) 目標對象匹配方法及目標對象匹配裝置、電子設備和電腦可讀儲存媒介
WO2021155632A1 (zh) 图像处理方法及装置、电子设备和存储介质
CN110287874B (zh) 目标追踪方法及装置、电子设备和存储介质
US11403489B2 (en) Target object processing method and apparatus, electronic device, and storage medium
TW202111609A (zh) 神經網路訓練方法及裝置、圖像處理方法及裝置、電子設備和計算機可讀存儲介質
US9959484B2 (en) Method and apparatus for generating image filter
CN110009090B (zh) 神经网络训练与图像处理方法及装置
CN108010060B (zh) 目标检测方法及装置
TWI738172B (zh) 影片處理方法及裝置、電子設備、儲存媒體和電腦程式
TW202036464A (zh) 文本識別方法及裝置、電子設備和儲存介質
TWI702544B (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
CN110458218B (zh) 图像分类方法及装置、分类网络训练方法及装置
CN107563994B (zh) 图像的显著性检测方法及装置
CN110532956B (zh) 图像处理方法及装置、电子设备和存储介质
CN108009563B (zh) 图像处理方法、装置及终端
WO2021036013A1 (zh) 检测器的配置方法及装置、电子设备和存储介质
CN111242303A (zh) 网络训练方法及装置、图像处理方法及装置
TWI738349B (zh) 圖像處理方法及圖像處理裝置、電子設備和電腦可讀儲存媒體
CN111680646B (zh) 动作检测方法及装置、电子设备和存储介质
CN111523599B (zh) 目标检测方法及装置、电子设备和存储介质