TWI779449B - 對象計數方法、電子設備、電腦可讀儲存介質 - Google Patents

對象計數方法、電子設備、電腦可讀儲存介質 Download PDF

Info

Publication number
TWI779449B
TWI779449B TW110100177A TW110100177A TWI779449B TW I779449 B TWI779449 B TW I779449B TW 110100177 A TW110100177 A TW 110100177A TW 110100177 A TW110100177 A TW 110100177A TW I779449 B TWI779449 B TW I779449B
Authority
TW
Taiwan
Prior art keywords
head
image
processed
key points
feature map
Prior art date
Application number
TW110100177A
Other languages
English (en)
Other versions
TW202145064A (zh
Inventor
夏鵬程
楊昆霖
侯軍
伊帥
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202145064A publication Critical patent/TW202145064A/zh
Application granted granted Critical
Publication of TWI779449B publication Critical patent/TWI779449B/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

本發明關於一種對象計數方法、電子設備、電腦可讀儲存介質;所述方法包括:對待處理圖像進行特徵提取,得到所述待處理圖像的初始特徵圖;根據所述初始特徵圖,得到所述待處理圖像中的頭部關鍵點及頭部區域;根據所述頭部關鍵點及所述頭部區域,對所述待處理圖像進行對象計數及定位,確定所述待處理圖像中對象的數量及位置。本發明實施例可實現提高對象計數和定位的精度。

Description

對象計數方法、電子設備、電腦可讀儲存介質
本發明關於電腦技術領域,尤其關於一種對象計數方法、電子設備、電腦可讀儲存介質。
隨著視頻監控在生活中的廣泛應用,視頻中的人群計數及定位在社會公共安全等方面有著無法替代的作用。相關技術中,對於視頻中人群計數及定位是通過電腦視覺演算法來評估視頻畫面中的即時人數、人的分佈情況以及人群的密度等,這樣容易因人群出現遮擋或交互的現象而導致判斷失誤,進而導致確定出的人群計數及定位的準確度降低。
本發明提出了一種對象計數的技術方案。
本發明實施例提供了一種對象計數方法,包括: 對待處理圖像進行特徵提取,得到所述待處理圖像的初始特徵圖; 根據所述初始特徵圖,得到所述待處理圖像中的頭部關鍵點及頭部區域; 根據所述頭部關鍵點及所述頭部區域,對所述待處理圖像進行對象計數及定位,確定所述待處理圖像中對象的數量及位置。如此,通過待處理圖像進行特徵提取得到的頭部關鍵點及頭部區域,對待處理圖像進行對象計數及定位,得到待處理圖像中對象的數量及位置,可以提高對象計數及定位的精度。
在一種可能的實現方式中,所述根據所述頭部關鍵點及所述頭部區域,對所述待處理圖像進行對象計數及定位,確定所述待處理圖像中對象的數量及位置,包括: 確定各所述頭部關鍵點與各所述頭部區域的中心點之間的相似度; 確定與所述頭部關鍵點的相似度滿足閾值條件的頭部區域,將所述與所述頭部關鍵點的相似度滿足閾值條件的頭部區域與所述頭部關鍵點進行合併,得到合併資訊; 根據所述合併資訊、未合併的頭部關鍵點及未合併的頭部區域,對所述待處理圖像進行對象計數及定位,確定所述待處理圖像中對象的數量及位置。如此,基於合併資訊、未合併的頭部關鍵點及未合併的頭部區域,快速且精準地確定待處理圖像中對象的數量及位置。
在一種可能的實現方式中,所述確定與所述頭部關鍵點的相似度滿足閾值條件的頭部區域,將所述與所述頭部關鍵點的相似度滿足閾值條件的頭部區域與所述頭部關鍵點進行合併,得到合併資訊,包括: 刪除所述與所述頭部關鍵點的相似度滿足閾值條件的頭部區域; 根據所述頭部關鍵點及所述頭部區域的尺寸,得到合併後的頭部區域,其中,所述合併資訊包括所述頭部關鍵點及所述合併後的頭部區域。如此,通過對滿足閾值條件的頭部區域進行刪除,並根據頭部關鍵點及頭部區域的尺寸確定頭部區域,提高了確定頭部區域的準確性。
在一種可能的實現方式中,所述確定與所述頭部關鍵點的相似度滿足閾值條件的頭部區域,將所述與所述頭部關鍵點的相似度滿足閾值條件的頭部區域與所述頭部關鍵點進行合併,得到合併資訊,包括: 將所述頭部關鍵點按照置信度進行排序; 按照所述頭部關鍵點的置信度由大到小的順序,將所述頭部關鍵點與所述頭部區域進行合併,得到所述合併資訊。如此,通過置信度對頭部關鍵點進行排序,並按照置信度由大到小的順序對頭部關鍵點和頭部區域進行合併,使得確定出的合併資訊準確度得以提高。
在一種可能的實現方式中,所述根據所述初始特徵圖,得到所述待處理圖像中的頭部關鍵點,包括: 對所述初始特徵圖進行下採樣處理,得到不同尺度的多個下採樣特徵圖; 對多個所述下採樣特徵圖中的尺度居中的下採樣特徵圖進行上採樣處理,得到上採樣特徵圖,所述上採樣特徵圖與所述初始特徵圖尺度一致; 根據所述上採樣特徵圖進行頭部關鍵點識別,得到所述待處理圖像中的頭部關鍵點。如此,從多個下採樣特徵圖中選取尺度居中的下採樣特徵圖進行上採樣處理,得到與初始特徵圖尺度一致的上採樣特徵圖,並根據該上採樣特徵圖進行頭部關鍵點識別,使得得到待處理圖像中的頭部關鍵點更加準確。
在一種可能的實現方式中,所述根據所述初始特徵圖,得到所述待處理圖像中的頭部區域,還包括: 分別對多個所述下採樣特徵圖進行頭部區域識別,得到各個所述下採樣特徵圖對應的頭部區域; 對各個所述下採樣特徵圖對應的頭部區域進行合併處理,得到所述待處理圖像對應的頭部區域。如此,通過分別對多個下採樣特徵圖進行頭部區域識別,得到多個頭部區域,並對多個頭部區域進行合併處理,使得得到的待處理圖像中的頭部區域更加準確。
在一種可能的實現方式中,通過定位網路實現所述對待處理圖像進行特徵提取,得到所述待處理圖像的初始特徵圖;根據所述初始特徵圖,得到所述待處理圖像中的頭部關鍵點及頭部區域,所述方法還包括: 通過預設的訓練集訓練所述定位網路,所述訓練集包括多個樣本組,所述樣本組中包括樣本圖像、樣本圖像對應的標注頭部關鍵點和標注頭部區域。如此,通過預設的訓練集訓練定位網路,並通過該定位網路實現對待處理圖像的特徵提取得到初始特徵圖,並根據該初始特徵圖,更加準確地得到待處理圖像中的頭部關鍵點及頭部區域。
在一種可能的實現方式中,所述定位網路包括特徵提取網路、頭部關鍵點定位網路、頭部區域定位網路,所述通過預設的訓練集訓練所述定位網路,包括: 通過所述特徵提取網路對所述樣本圖像進行特徵提取,得到所述樣本圖像的初始特徵圖; 對所述樣本圖像的初始特徵圖進行下採樣處理,得到不同大小的多個樣本下採樣特徵圖; 通過所述頭部關鍵點定位網路對多個所述樣本下採樣特徵圖進行上採樣處理,得到樣本上採樣特徵圖,所述樣本上採樣特徵圖與所述樣本圖像的初始特徵圖大小一致; 通過所述頭部關鍵點定位網路對所述樣本上採樣特徵圖進行頭部關鍵點識別,得到所述樣本圖像對應的頭部關鍵點; 根據所述樣本圖像對應的頭部關鍵點及所述標注頭部關鍵點,訓練所述頭部關鍵點定位網路。如此,通過特徵提取網路、頭部關鍵點定位網路以及頭部區域定位網路,對樣本圖像進行相關特徵提取,以訓練頭部關鍵點定位網路,使得訓練好的頭部關鍵點定位網路的性能更優。
在一種可能的實現方式中,所述通過預設的訓練集訓練所述定位網路,還包括: 通過所述頭部區域定位網路分別對多個所述樣本下採樣特徵圖進行頭部區域識別,得到各個所述樣本下採樣特徵圖對應的頭部區域; 根據所述樣本下採樣特徵圖對應的頭部區域及所述標注頭部區域,訓練所述頭部區域定位網路。如此,通過樣本下採樣特徵圖對應的頭部區域及標注頭部區域,訓練頭部區域定位網路,使得訓練好的頭部區域定位網路的性能更優。
在一種可能的實現方式中,所述根據所述初始特徵圖,得到所述待處理圖像中的頭部區域,包括: 確定所述待處理圖像中各頭部區域的位置資訊; 根據各所述頭部區域的位置資訊,以及頭部區域的尺寸與所述頭部區域的位置資訊的關聯關係,確定所述頭部區域的尺寸; 根據所述頭部區域的位置資訊及所述頭部區域的尺寸,得到所述頭部區域。如此,通過待處理圖像中的各頭部區域的位置資訊、頭部區域的尺寸得到的頭部區域的準確度更高。
以下裝置、電子設備等的效果描述參見上述方法的說明,這裡不再贅述。
本發明實施例提供了一種對象計數裝置,包括: 特徵提取模組,用於對待處理圖像進行特徵提取,得到所述待處理圖像的初始特徵圖; 處理模組,用於根據所述初始特徵圖,得到所述待處理圖像中的頭部關鍵點及頭部區域; 計數模組,用於根據所述頭部關鍵點及所述頭部區域,對所述待處理圖像進行對象計數及定位,確定所述待處理圖像中對象的數量及位置。
在一種可能的實現方式中,所述計數模組,還用於: 確定各所述頭部關鍵點與各所述頭部區域的中心點之間的相似度; 確定與所述頭部關鍵點的相似度滿足閾值條件的頭部區域,將所述與所述頭部關鍵點的相似度滿足閾值條件的頭部區域與所述頭部關鍵點進行合併,得到合併資訊; 根據所述合併資訊、未合併的頭部關鍵點及未合併的頭部區域,對所述待處理圖像進行對象計數及定位,確定所述待處理圖像中對象的數量及位置。
在一種可能的實現方式中,所述計數模組,還用於: 刪除所述與所述頭部關鍵點的相似度滿足閾值條件的頭部區域; 根據所述頭部關鍵點及所述頭部區域的尺寸,得到合併後的頭部區域,其中,所述合併資訊包括所述頭部關鍵點及所述合併後的頭部區域。
在一種可能的實現方式中,所述計數模組,還用於: 將所述頭部關鍵點按照置信度進行排序; 按照所述頭部關鍵點的置信度由大到小的順序,將所述頭部關鍵點與所述頭部區域進行合併,得到合併資訊。
在一種可能的實現方式中,所述處理模組,還用於: 對所述初始特徵圖進行下採樣處理,得到不同尺度的多個下採樣特徵圖; 對多個所述下採樣特徵圖中的尺度居中的下採樣特徵圖進行上採樣處理,得到上採樣特徵圖,所述上採樣特徵圖與所述初始特徵圖尺度一致; 根據所述上採樣特徵圖進行頭部關鍵點識別,得到所述待處理圖像中的頭部關鍵點。
在一種可能的實現方式中,所述處理模組,還用於: 分別對多個所述下採樣特徵圖進行頭部區域識別,得到各個所述下採樣特徵圖對應的頭部區域; 對各個所述下採樣特徵圖對應的頭部區域進行合併處理,得到所述待處理圖像對應的頭部區域。
在一種可能的實現方式中,所述特徵提取模組及所述處理模組通過所述定位網路實現,所述裝置還包括: 訓練模組,用於通過預設的訓練集訓練所述定位網路,所述訓練集包括多個樣本組,所述樣本組中包括樣本圖像、樣本圖像對應的標注頭部關鍵點和標注頭部區域。
在一種可能的實現方式中,所述定位網路包括特徵提取網路、頭部關鍵點定位網路、頭部區域定位網路,所述訓練模組還用於: 通過所述特徵提取網路對所述樣本圖像進行特徵提取,得到所述樣本圖像的初始特徵圖; 對所述樣本圖像的初始特徵圖進行下採樣處理,得到不同大小的多個樣本下採樣特徵圖; 通過所述頭部關鍵點定位網路對多個所述樣本下採樣特徵圖進行上採樣處理,得到樣本上採樣特徵圖,所述樣本上採樣特徵圖與所述樣本圖像的初始特徵圖大小一致; 通過所述頭部關鍵點定位網路對所述樣本上採樣特徵圖進行頭部關鍵點識別,得到所述樣本圖像對應的頭部關鍵點; 根據所述樣本圖像對應的頭部關鍵點及所述標注頭部關鍵點,訓練所述頭部關鍵點定位網路。
在一種可能的實現方式中,所述訓練模組,還用於: 通過所述頭部區域定位網路分別對多個所述樣本下採樣特徵圖進行頭部區域識別,得到各個所述樣本下採樣特徵圖對應的頭部區域; 根據所述樣本下採樣特徵圖對應的頭部區域及所述標注頭部區域,訓練所述頭部區域定位網路。
在一種可能的實現方式中,所述處理模組,還用於: 確定所述待處理圖像中各頭部區域的位置資訊; 根據各所述頭部區域的位置資訊,以及頭部區域的尺寸與所述頭部區域的位置資訊的關聯關係,確定所述頭部區域的尺寸; 根據所述頭部區域的位置資訊及所述頭部區域的尺寸,得到所述頭部區域。
本發明實施例提供了一種電子設備,包括:處理器;用於儲存處理器可執行指令的記憶體;其中,所述處理器被配置為調用所述記憶體儲存的指令,以執行上述方法。
本發明實施例提供了一種電腦可讀儲存介質,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現上述方法。
本發明實施例提供了一種電腦程式,所述電腦程式包括電腦可讀代碼,在所述電腦可讀代碼在電腦中運行的情況下,使得所述電腦執行上述任意一種對象計數方法。
這樣一來,可以對待處理圖像進行特徵提取,得到所述待處理圖像的初始特徵圖,根據所述初始特徵圖,可以得到所述待處理圖像中的頭部關鍵點及頭部區域,並根據所述頭部關鍵點及所述頭部區域,對所述待處理圖像進行對象計數及定位,確定所述待處理圖像中對象的數量及位置。根據本發明實施例提供的對象計數方法、裝置、電子設備、儲存介質及程式,可以利用頭部關鍵點及頭部區域進行對象計數及定位,通過頭部關鍵點及頭部區域相互補充,可以使得待處理圖像中不同尺度的頭部有不同的標識形式,可以提高對象計數及定位的精度。
應當理解的是,以上的一般描述和後文的細節描述僅是示例性和解釋性的,而非限制本發明。根據下面參考附圖對示例性實施例的詳細說明,本發明的其它特徵及方面將變得清楚。
以下將參考附圖詳細說明本發明的各種示例性實施例、特徵和方面。附圖中相同的附圖標記表示功能相同或相似的組件。儘管在附圖中示出了實施例的各種方面,但是除非特別指出,不必按比例繪製附圖。
在這裡專用的詞“示例性”意為“用作例子、實施例或說明性”。這裡作為“示例性”所說明的任何實施例不必解釋為優於或好於其它實施例。
本文中術語“和/或”,僅僅是一種描述關聯對象的關聯關係,表示可以存在三種關係,例如,A和/或B,可以表示:單獨存在A,同時存在A和B,單獨存在B這三種情況。另外,本文中術語“至少一種”表示多種中的任意一種或多種中的至少兩種的任意組合,例如,包括A、B、C中的至少一種,可以表示包括從A、B和C構成的集合中選擇的任意一個或多個元素。
另外,為了更好地說明本發明,在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解,沒有某些具體細節,本發明同樣可以實施。在一些實例中,對於本領域技術人員熟知的方法、手段、組件和電路未作詳細描述,以便於凸顯本發明的主旨。
圖1示出根據本發明實施例的對象計數方法的流程圖,在一種可能的實現方式中,所述對象計數方法可以由終端設備或伺服器等電子設備執行,終端設備可以為使用者設備(User Equipment,UE)、移動設備、使用者終端、終端、蜂窩電話、無線電話、個人數位助理(Personal Digital Assistant,PDA)、手持設備、計算設備、車載設備、可穿戴設備等,所述方法可以通過處理器調用記憶體中儲存的電腦可讀指令的方式來實現。或者,可通過伺服器執行所述方法。
如圖1所示,所述對象計數方法包括如下。
在步驟S11中,對待處理圖像進行特徵提取,得到待處理圖像的初始特徵圖。
在步驟S12中,根據初始特徵圖,得到待處理圖像中的頭部關鍵點及頭部區域。
舉例來說,可以提取待處理圖像中的圖像特徵,得到待處理圖像的初始特徵圖。並對初始特徵圖進行識別,得到待處理圖像中的頭部關鍵點及頭部區域,其中頭部關鍵點為對象頭部對應的關鍵點,頭部區域為對象的頭部對應的方塊圖。
示例性的,可以通過預先訓練的特徵提取網路對待處理圖像進行特徵提取,得到待處理圖像的初始特徵圖,並通過預先訓練的定位網路對初始特徵圖進行識別,得到待處理圖像中的頭部關鍵點及頭部區域。
在步驟S13中,根據頭部關鍵點及頭部區域,對待處理圖像進行對象計數及定位,確定待處理圖像中對象的數量及位置。
圖2示出了本發明實施例提供的對象計數的一種網路架構示意圖;如圖2所示,該網路架構中包括:圖像獲取終端201、網路202和對象計數終端203。為實現支撐一個示例性應用,圖像獲取終端201和對象計數終端203通過網路202建立通信連接,圖像獲取終端201通過網路202向對象計數終端203上報待處理圖像,對象計數終端203回應於接收到的待處理圖像,對待處理圖像進行特徵提取,得到待處理圖像的初始特徵圖;並根據初始特徵圖,得到待處理圖像中的頭部關鍵點及頭部區域;根據頭部關鍵點及頭部區域,對待處理圖像進行對象計數及定位,確定待處理圖像中對象的數量及位置。最後,對象計數終端203將該對象的數量及位置資訊上傳至網路202,並通過網路202發送給圖像獲取終端201。
舉例來說,可以結合頭部關鍵點及頭部區域,對待處理圖像進行對象計數及定位,例如:將對應同一人的頭部關鍵點和頭部區域合併後,與未進行合併操作的頭部關鍵點及頭部區域一起,對待處理圖像進行計數和定位,得到待處理圖像中對象的數量及位置。
這樣一來,可以對待處理圖像進行特徵提取,得到待處理圖像的初始特徵圖,根據初始特徵圖,可以得到待處理圖像中的頭部關鍵點及頭部區域,並根據頭部關鍵點及頭部區域,對待處理圖像進行對象計數及定位,確定待處理圖像中對象的數量及位置。根據本發明實施例提供的對象計數方法,可以利用頭部關鍵點及頭部區域進行對象計數及定位,通過頭部關鍵點及頭部區域相互補充,可以使得待處理圖像中不同尺度的頭部有不同的標識形式,可以提高對象計數及定位的精度。
在一種可能的實現方式中,上述根據頭部關鍵點及頭部區域,對待處理圖像進行對象計數及定位,確定待處理圖像中對象的數量及位置,可以包括: 確定各頭部關鍵點與各頭部區域的中心點之間的相似度。 確定與頭部關鍵點的相似度滿足閾值條件的頭部區域,將與頭部關鍵點的相似度滿足閾值條件的頭部區域與頭部關鍵點進行合併,得到合併資訊。 根據合併資訊、未合併的頭部關鍵點及未合併的頭部區域,對待處理圖像進行計數及定位,確定待處理圖像中對象的數量及位置。
舉例來說,頭部區域可以包括中心點,可以確定各頭部區域的中心點的座標與各頭部關鍵點的座標之間的距離,根據該距離確定頭部關鍵點與頭部區域的中心點之間的相似度。示例性的,待處理圖像中頭部關鍵點與頭部區域的中心點之間的相似度與距離及在待處理圖像中的遠近程度有關,遠處的頭部關鍵點與頭部區域的中心點的距離衡量相似度與近處的頭部關鍵點與頭部區域的中心點的距離衡量相似度的標準不同,故可以通過衡量權值與各頭部區域的中心點的座標與各頭部關鍵點的座標之間的距離,確定頭部關鍵點與頭部區域的中心點之間的相似度,其中衡量權值用於表示頭部關鍵點與頭部區域在待處理圖像中的遠近程度。
示例性的,頭部關鍵點可以組成點集合P,點集合P中的第a個頭部關鍵點可以記為(xa,ya),其中(xa,ya)為第a個頭部關鍵點的座標。頭部區域可以組成區域集合B,區域集合B中的第j個頭部區域可以記為(xb,yb,wb,hb),其中(xb,yb)為第b個頭部區域的中心點的座標,(wb,hb)分別為第b個頭部區域的寬和高。可以計算點集合P中的任一頭部關鍵點與區域集合B中的任一頭部區域的中心點的相似度。
舉例來說,在頭部區域的中心點與頭部關鍵點的相似度大於相似度閾值(相似度閾值為預設的數值)的情況下,可以確定該頭部區域的中心點與該頭部關鍵點的相似度滿足閾值條件,即可以認為該頭部關鍵點與該頭部區域對應同一對象。確定與頭部關鍵點的相似度滿足閾值條件的頭部區域,並將與頭部關鍵點的相似度滿足閾值條件的頭部區域與該頭部關鍵點合併,得到合併資訊,例如:刪除頭部關鍵點及置信度較低的頭部區域,保留置信度較高的頭部區域,或者刪除全部頭部區域,保留頭部關鍵點。
在完成合併後,可以根據合併資訊、未合併的頭部關鍵點(不存在與該頭部關鍵點的相似度滿足閾值條件的頭部區域,或者與該頭部關鍵點的相似度滿足閾值條件的頭部區域已刪除)及未合併的頭部區域(不存在與該頭部區域的相似度滿足閾值條件的頭部關鍵點,或者與該頭部區域的相似度滿足閾值條件的頭部關鍵點已刪除),對待處理圖像進行計數及定位。示例性的:待處理圖像中存在頭部關鍵點1、頭部關鍵點2、頭部關鍵點3、頭部區域1、頭部區域2、頭部區域3,其中頭部關鍵點2和頭部區域1合併後,刪除了頭部區域1,則可以根據頭部關鍵點1、頭部關鍵點2、頭部關鍵點3、頭部區域2、頭部區域3對對象進行計數及定位,得到待處理圖像中的對象的數量為5,各頭部關鍵點和頭部區域的位置即為對應的對象的位置。
在一種可能的實現方式中,上述確定與頭部關鍵點的相似度滿足閾值條件的頭部區域,將與頭部關鍵點的相似度滿足閾值條件的頭部區域與頭部關鍵點進行合併,得到合併資訊,可以包括: 刪除與頭部關鍵點的相似度滿足閾值條件的頭部區域。 根據頭部關鍵點及頭部區域的尺寸,得到合併後的頭部區域,其中,合併資訊包括頭部關鍵點及合併後的頭部區域。
舉例來說,在頭部區域的中心點與頭部關鍵點的相似度滿足閾值條件的情況下,可以刪除頭部區域,保留頭部關鍵點作為合併資訊。舉例來說,頭部區域1、頭部區域2、頭部區域3與頭部關鍵點4的相似度均滿足閾值條件,則可以刪除頭部區域1、頭部區域2、頭部區域3,僅保留頭部關鍵點4作為合併資訊。
可以將頭部關鍵點作為合併後的頭部區域中心點,將與該頭部關鍵點的相似度滿足閾值條件的頭部區域中,置信度最高的頭部區域的尺寸作為合併後的頭部區域的尺寸,進而得到合併後的頭部區域。
在一種可能的實現方式中,確定與頭部關鍵點的相似度滿足閾值條件的頭部區域,將與頭部關鍵點的相似度滿足閾值條件的頭部區域與頭部關鍵點進行合併,得到合併資訊,可以包括: 將頭部關鍵點按照置信度進行排序。 按照頭部關鍵點的置信度由大到小的順序,將頭部關鍵點與頭部區域進行合併,得到合併資訊。
舉例來說,在識別頭部關鍵點及頭部區域時,對應的識別結果可以包括頭部關鍵點及頭部關鍵點對應的置信度,頭部區域及頭部區域對應的置信度。可以將頭部關鍵點按照對應的置信度的大小進行排序,例如由大到小排序,或者由小到大排序。排序後,可以按照頭部關鍵點由大到小的順序,將頭部關鍵點與頭部區域進行合併,得到合併資訊。示例性的,頭部關鍵點按照置信度由大到小的排序為:頭部關鍵點1、頭部關鍵點2、頭部關鍵點3、頭部關鍵點4,其中,頭部區域1與頭部關鍵點1和頭部關鍵點4的相似度都滿足閾值條件的情況下,由於先對頭部關鍵點1與頭部區域1進行合併操作,刪除了頭部區域1,保留了頭部關鍵點1,則執行到頭部關鍵點4時,不再執行頭部區域1與頭部關鍵點4的合併操作,可以提高計數及定位的準確度。
在一種可能的實現方式中,根據初始特徵圖,得到待處理圖像中的頭部關鍵點,可以包括: 對初始特徵圖進行下採樣處理,得到不同尺度的多個下採樣特徵圖。 對多個下採樣特徵圖中的尺度居中的下採樣特徵圖進行上採樣處理,得到上採樣特徵圖,上採樣特徵圖與初始特徵圖尺度一致。 根據上採樣特徵圖進行頭部關鍵點識別,得到待處理圖像中的頭部關鍵點。
舉例來說,可以通過最大池化層(maxpooling)不斷對初始特徵圖進行下採樣處理,得到不同大小的多個下採樣特徵圖。例如:對初始特徵圖C0進行多次下採樣處理,得到不同尺度的下採樣特徵圖C1、C2、C3、C4、C5、C6,其中,第i個下採樣特徵圖的長寬為初始特徵圖C0長寬的1/2i ,也即C1的長寬為C0長寬的1/2,C2的長寬為C0長寬的1/4,C3的長寬為C0長寬的1/8,C4的長寬為C0長寬的1/16,C5的長寬為C0長寬的1/32,C6的長寬為C0長寬的1/64。示例性的,可以參照圖3,示出了本發明實施例不同尺度的下採樣特徵圖的示意圖;其中,圖3中的301給出了160、80以及40三種不同長寬的下採樣特徵圖,圖3中的302給出了20、10以及5三種不同長寬的下採樣特徵圖。
可以從上述多個下採樣特徵圖中選擇尺度居中的下採樣特徵圖C3不斷進行上採樣處理,直到得到的上採樣特徵圖與初始特徵圖的尺度一致。例如:對下採樣特徵圖C3進行連續的多次上採樣處理,每次將前次處理的結果的尺度放大2倍,直至尺度與初始特徵圖的尺度一致,得到上採樣特徵圖。
可以對上採樣特徵圖進行頭部關鍵點識別(可以採用預訓練的用於頭部關鍵點識別的網路進行識別),得到待處理圖像中的頭部關鍵點。
在一種可能的實現方式中,所述根據初始特徵圖,得到待處理圖像中的頭部區域,還可以包括: 分別對多個下採樣特徵圖進行頭部區域識別,得到各個下採樣特徵圖對應的頭部區域。 對各個下採樣特徵圖對應的頭部區域進行合併處理,得到待處理圖像對應的頭部區域。
在得到多個下採樣特徵圖後,可以分別對多個下採樣特徵圖進行頭部區域識別(可以採用預訓練的用於進行頭部區域識別的網路識別),得到各個下採樣特徵圖對應的頭部區域,並將各個頭部區域進行合併處理。示例性的,頭部區域可以表示為(xb,yb,wb,hb),故可以將各個頭部區域合併為頭部區域集合,相同的頭部區域在該頭部區域集合合併為一個,覆蓋重合度大於重合度閾值(預設的數值)的多個頭部區域進行合併,保留其中置信度最高的頭部區域,刪除該多個頭部區域中其它的頭部區域。
在一種可能的實現方式中,通過定位網路實現對待處理圖像進行特徵提取,得到待處理圖像的初始特徵圖;根據初始特徵圖,得到待處理圖像中的頭部關鍵點及頭部區域,還包括: 通過預設的訓練集訓練定位網路,訓練集包括多個樣本組,樣本組中包括樣本圖像、樣本圖像對應的標注頭部關鍵點和標注頭部區域。
舉例來說,可以通過預設的訓練集訓練定位網路,該定位網路可以包括特徵提取網路、頭部關鍵點定位網路、頭部區域定位網路,則可以通過樣本圖像及樣本圖像對應的標注頭部關鍵點懸鏈特徵提取網路及頭部關鍵點定位網路,通過樣本圖像及樣本圖像對應的標注頭部區域訓練頭部區域定位網路。
待處理圖像輸入定位網路後,由特徵提取網路提取該待處理圖像的特徵,得到初始特徵圖,並對該樣本圖像的初始特徵圖進行多次下採樣處理,得到對應的不同尺度的下採樣特徵圖,並由頭部關鍵點定位網路對下採樣特徵圖中的尺度居中的下採樣特徵圖進行上採樣處理後,得到與初始特徵圖尺度一致的上採樣特徵圖,並對該上採樣特徵圖進行識別,得到待處理圖像的頭部關鍵點。由頭部區域定位網路對各個下採樣特徵圖進行識別,得到各個下採樣特徵圖對應的頭部區域,並對該多個頭部區域進行合併,得到待處理圖像中的頭部區域,最後將頭部區域與頭部關鍵點進行合併,可以得到待處理圖像中對象的數量及位置,示例性的,可以參照圖4a至4d,示出了本發明實施例中基於對象計數方法處理待處理圖像的各個階段的示意圖;其中,圖4a為待處理圖像,圖4b為待處理圖像的初始特徵圖,圖4c為根據初始特徵圖得到的待處理圖像中的頭部區域及關鍵點生成結果圖,圖4d為待處理圖像的計數及定位結果;其中,圖4a中的401為待處理圖像的待測對象,圖4c中的402表徵待處理圖像中待測對象的頭部關鍵點及頭部區域,圖4d中的403為圖4c中402對應的待測對象的定位資訊。
在一種可能的實現方式中,定位網路包括特徵提取網路、頭部關鍵點定位網路、頭部區域定位網路,通過預設的訓練集訓練定位網路,包括: 通過特徵提取網路對樣本圖像進行特徵提取,得到樣本圖像的初始特徵。 對樣本圖像的初始特徵進行下採樣處理,得到不同大小的多個樣本下採樣特徵圖。 通過所述頭部關鍵點定位網路對多個樣本下採樣特徵圖進行上採樣處理,得到樣本上採樣特徵圖,樣本上採樣特徵圖與樣本圖像的初始特徵圖大小一致。 通過頭部關鍵點定位網路對樣本上採樣特徵圖進行人頭點座標識別,得到樣本圖像對應的人頭點座標資訊。 根據樣本圖像對應的人頭點座標資訊及標注頭部關鍵點,訓練頭部關鍵點定位網路。
舉例來說,樣本圖像輸入定位網路後,由特徵提取網路提取該樣本圖像的特徵,得到樣本圖像對應的初始特徵圖,並對該樣本圖像的初始特徵圖進行多次下採樣處理,得到對應的不同尺度的下採樣特徵圖,並由頭部關鍵點定位網路對下採樣特徵圖中的多個下採樣特徵圖進行上採樣處理後,得到與初始特徵圖尺度一致的上採樣特徵圖,並對該上採樣特徵圖進行識別,得到樣本圖像的頭部關鍵點。根據樣本圖像的頭部關鍵點和樣本圖像對應的標注頭部關鍵點,確定第一識別損失(例如:可以採用但不限於二類交差熵損失函數確定第一識別損失),根據第一識別損失調整特徵提取網路及頭部關鍵點定位網路的網路參數,直至第一識別損失滿足訓練要求(例如:第一識別損失小於損失閾值,該損失閾值為預設的數值)。
在一種可能的實現方式中,通過預設的訓練集訓練定位網路,還包括: 通過頭部區域定位網路分別對多個樣本下採樣特徵圖進行頭部區域識別,得到各個樣本下採樣特徵圖對應的頭部區域。 根據樣本下採樣特徵圖對應的頭部區域及標注頭部區域,訓練頭部區域定位網路。
舉例來說,在得到不同尺度的下採樣特徵圖後,由頭部區域定位網路各個對下採樣特徵圖進行識別,得到各個下採樣特徵圖對應的頭部區域,並對各個頭部區域進行合併,得到樣本圖像對應的頭部區域。根據樣本圖像的頭部區域和樣本圖像對應的標注頭部區域,確定第二識別損失(例如:可以採用但不限於二類交差熵損失函數與smooth-L1損失函數確定第二識別損失),根據第二識別損失調整頭部區域定位網路的網路參數,直至第二識別損失滿足訓練要求(例如:第二識別損失小於損失閾值,該損失閾值為預設的數值)。
在一種可能的實現方式中,根據初始特徵圖,得到待處理圖像中的頭部關鍵點及頭部區域,可以包括: 確定待處理圖像中各頭部區域的位置資訊。 根據各頭部區域的位置資訊,以及頭部區域的尺寸與頭部區域的位置資訊的關聯關係,確定頭部區域的尺寸。 根據頭部區域的位置資訊及頭部區域的尺寸,得到頭部區域。
舉例來說,在樣本圖像僅具有標注頭部關鍵點時,可以根據該標注頭部關鍵點確定該對象的頭部區域的尺寸。可以通過頭部關鍵點確定人群密度圖,在人群密度圖中每個頭部區域中包括的密度的和為1,通過計算
Figure 02_image001
近鄰位置密度的平均值,得到樣本圖像中第i個對象對應的位置的密度
Figure 02_image003
,進而得到頭部區域的尺寸。示例性的,可以通過下述公式(1)和公式(2)確定頭部區域的尺寸。
Figure 02_image005
公式(1);
Figure 02_image007
公式( 2 ); 其中,
Figure 02_image003
用於標識第i個對象在人群密度圖中的密度,j用於標識第i個對象的
Figure 02_image009
個近鄰中的第j個對象,
Figure 02_image010
用於標識第j個對象的密度,
Figure 02_image012
用於標識第i個對象的頭部區域的尺寸。
在得到各個樣本圖像對應的頭部區域的尺寸後,可以樣本圖像的頭部關鍵點作為頭部區域的位置資訊,統計分析得到樣本圖像的頭部區域尺寸與頭部區域的位置資訊的關聯關係。
可以通過預訓練的用於識別待處理圖像中各頭部區域的位置資訊的網路,識別待處理圖像中各頭部區域的位置資訊,進而根據頭部區域的位置資訊與頭部區域的尺寸的關聯關係,確定頭部區域的尺寸,進而根據頭部區域的位置資訊及頭部區域的尺寸,得到頭部區域。
可以理解,本發明提及的上述各個方法實施例,在不違背原理邏輯的情況下,均可以彼此相互結合形成結合後的實施例,限於篇幅,本發明不再贅述。本領域技術人員可以理解,在具體實施方式的上述方法中,各步驟的具體執行順序應當以其功能和可能的內在邏輯確定。
此外,本發明還提供了對象計數裝置、電子設備、電腦可讀儲存介質、程式,上述均可用來實現本發明提供的任一種對象計數方法,相應技術方案和描述和參見方法部分的相應記載,不再贅述。
圖5示出根據本發明實施例的對象計數裝置500的方塊圖,如圖5所示,所述對象計數裝置500可以包括: 特徵提取模組501,可以用於對待處理圖像進行特徵提取,得到所述待處理圖像的初始特徵圖; 處理模組502,可以用於根據所述初始特徵圖,得到所述待處理圖像中的頭部關鍵點及頭部區域; 計數模組503,可以用於根據所述頭部關鍵點及所述頭部區域,對所述待處理圖像進行對象計數及定位,確定所述待處理圖像中對象的數量及位置。
這樣一來,可以對待處理圖像進行特徵提取,得到所述待處理圖像的初始特徵圖,根據所述初始特徵圖,可以得到所述待處理圖像中的頭部關鍵點及頭部區域,並根據所述頭部關鍵點及所述頭部區域,對所述待處理圖像進行對象計數及定位,確定所述待處理圖像中對象的數量及位置。根據本發明實施例提供的對象計數裝置,可以利用頭部關鍵點及頭部區域進行對象計數及定位,通過頭部關鍵點及頭部區域相互補充,可以使得待處理圖像中不同尺度的頭部有不同的標識形式,可以提高對象計數及定位的精度。
在一種可能的實現方式中,所述計數模組503,還可以用於: 確定各所述頭部關鍵點與各所述頭部區域的中心點之間的相似度; 確定與所述頭部關鍵點的相似度滿足閾值條件的頭部區域,將所述與所述頭部關鍵點的相似度滿足閾值條件的頭部區域與所述頭部關鍵點進行合併,得到合併資訊; 根據所述合併資訊、未合併的頭部關鍵點及未合併的頭部區域,對所述待處理圖像進行對象計數及定位,確定所述待處理圖像中對象的數量及位置。
在一種可能的實現方式中,所述計數模組503,還可以用於: 刪除所述與所述頭部關鍵點的相似度滿足閾值條件的頭部區域; 根據所述頭部關鍵點及所述頭部區域的尺寸,得到合併後的頭部區域,其中,所述合併資訊包括所述頭部關鍵點及所述合併後的頭部區域。
在一種可能的實現方式中,所述計數模組503,還可以用於: 將所述頭部關鍵點按照置信度進行排序; 按照所述頭部關鍵點的置信度由大到小的順序,將所述頭部關鍵點與所述頭部區域進行合併,得到合併資訊。
在一種可能的實現方式中,所述處理模組502,還可以用於: 對所述初始特徵圖進行下採樣處理,得到不同尺度的多個下採樣特徵圖; 對多個所述下採樣特徵圖中的尺度居中的下採樣特徵圖進行上採樣處理,得到上採樣特徵圖,所述上採樣特徵圖與所述初始特徵圖尺度一致; 根據所述上採樣特徵圖進行頭部關鍵點識別,得到所述待處理圖像中的頭部關鍵點。
在一種可能的實現方式中,所述處理模組502,還可以用於: 分別對多個所述下採樣特徵圖進行頭部區域識別,得到各個所述下採樣特徵圖對應的頭部區域; 對各個所述下採樣特徵圖對應的頭部區域進行合併處理,得到所述待處理圖像對應的頭部區域。
在一種可能的實現方式中,所述特徵提取模組501及所述處理模組502通過所述定位網路實現,所述裝置500還可以包括: 訓練模組504,用於通過預設的訓練集訓練所述定位網路,所述訓練集包括多個樣本組,所述樣本組中包括樣本圖像、樣本圖像對應的標注頭部關鍵點和標注頭部區域。
在一種可能的實現方式中,所述定位網路包括特徵提取網路、頭部關鍵點定位網路、頭部區域定位網路,所述訓練模組504還可以用於: 通過所述特徵提取網路對所述樣本圖像進行特徵提取,得到所述樣本圖像的初始特徵圖; 對所述樣本圖像的初始特徵圖進行下採樣處理,得到不同大小的多個樣本下採樣特徵圖; 通過所述頭部關鍵點定位網路對多個所述樣本下採樣特徵圖進行上採樣處理,得到樣本上採樣特徵圖,所述樣本上採樣特徵圖與所述樣本圖像的初始特徵圖大小一致; 通過所述頭部關鍵點定位網路對所述樣本上採樣特徵圖進行頭部關鍵點識別,得到所述樣本圖像對應的頭部關鍵點; 根據所述樣本圖像對應的頭部關鍵點及所述標注頭部關鍵點,訓練所述頭部關鍵點定位網路。
在一種可能的實現方式中,所述訓練模組504,還可以用於: 通過所述頭部區域定位網路分別對多個所述樣本下採樣特徵圖進行頭部區域識別,得到各個所述樣本下採樣特徵圖對應的頭部區域; 根據所述樣本下採樣特徵圖對應的頭部區域及所述標注頭部區域,訓練所述頭部區域定位網路。
在一種可能的實現方式中,所述處理模組502,還可以用於: 確定所述待處理圖像中各頭部區域的位置資訊; 根據各所述頭部區域的位置資訊,以及頭部區域的尺寸與所述頭部區域的位置資訊的關聯關係,確定所述頭部區域的尺寸; 根據所述頭部區域的位置資訊及所述頭部區域的尺寸,得到所述頭部區域。
在一些實施例中,本發明實施例提供的對象計數裝置500具有的功能或包含的模組可以用於執行上文方法實施例描述的方法,其具體實現可以參照上文方法實施例的描述,為了簡潔,這裡不再贅述。
本發明實施例還提出一種電腦可讀儲存介質,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現上述方法。電腦可讀儲存介質可以是非易失性電腦可讀儲存介質。
本發明實施例還提出一種電子設備,包括:處理器;用於儲存處理器可執行指令的記憶體;其中,所述處理器被配置為調用所述記憶體儲存的指令,以執行上述方法。
本發明實施例還提供了一種電腦程式產品,包括電腦可讀代碼,當電腦可讀代碼在設備上運行時,設備中的處理器執行用於實現如上任一實施例提供的對象計數方法的指令。
本發明實施例還提供了另一種電腦程式產品,用於儲存電腦可讀代碼,電腦可讀代碼在電子設備中運行的情況下,電子設備的處理器執行用於實現如上述任一實施例提供的對象技術方法。
電子設備可以被提供為終端、伺服器或其它形態的設備。
圖6示出根據本發明實施例的一種電子設備600的方塊圖。例如,電子設備600可以是行動電話,電腦,數位廣播終端,消息收發設備,遊戲控制台,平板設備,醫療設備,健身設備,個人數位助理等終端。
參照圖6,電子設備600可以包括以下一個或多個組件:處理組件602,記憶體604,電源組件606,多媒體組件608,音頻組件610,輸入/輸出(Input/Output,I/O)的介面612,感測器組件614,以及通信組件616。
處理組件602通常控制電子設備600的整體操作,諸如與顯示,電話呼叫,資料通信,相機操作和記錄操作相關聯的操作。處理組件602可以包括一個或多個處理器620來執行指令,以完成上述的方法的全部或部分步驟。此外,處理組件602可以包括一個或多個模組,便於處理組件602和其他組件之間的交互。例如,處理組件602可以包括多媒體模組,以方便多媒體組件608和處理組件602之間的交互。
記憶體604被配置為儲存各種類型的資料以支援在電子設備600的操作。這些資料的示例包括用於在電子設備600上操作的任何應用程式或方法的指令,連絡人資料,電話簿資料,消息,圖片,視頻等。記憶體604可以由任何類型的易失性或非易失性存放裝置或者它們的組合實現,如靜態隨機存取記憶體(Static Random-Access Memory,SRAM),電可擦除可程式設計唯讀記憶體(Electrically Erasable Programmable Read-Only Memory,EEPROM),可擦除可程式設計唯讀記憶體(Electrical Programmable Read Only Memory,EPROM),可程式設計唯讀記憶體(Programmable Read-Only Memory,PROM),唯讀記憶體(Read-Only Memory,ROM),磁記憶體,快閃記憶體,磁片或光碟。
電源組件606為電子設備600的各種組件提供電力。電源組件606可以包括電源管理系統,一個或多個電源,及其他與為電子設備600生成、管理和分配電力相關聯的組件。
多媒體組件608包括在所述電子設備600和使用者之間的提供一個輸出介面的螢幕。在一些實施例中,螢幕可以包括液晶顯示器(Liquid Crystal Display,LCD)和觸摸面板(Touch Panel,TP)。如果螢幕包括觸摸面板,螢幕可以被實現為觸控式螢幕,以接收來自使用者的輸入信號。觸摸面板包括一個或多個觸摸感測器以感測觸摸、滑動和觸摸面板上的手勢。所述觸摸感測器可以不僅感測觸摸或滑動動作的邊界,而且還檢測與所述觸摸或滑動操作相關的持續時間和壓力。在一些實施例中,多媒體組件608包括一個前置攝影頭和/或後置攝影頭。當電子設備600處於操作模式,如拍攝模式或視訊模式時,前置攝影頭和/或後置攝影頭可以接收外部的多媒體資料。每個前置攝影頭和後置攝影頭可以是一個固定的光學透鏡系統或具有焦距和光學變焦能力。
音頻組件610被配置為輸出和/或輸入音頻信號。例如,音頻組件610包括一個麥克風(Microphone,MIC),當電子設備600處於操作模式,如呼叫模式、記錄模式和語音辨識模式時,麥克風被配置為接收外部音頻信號。所接收的音頻信號可以被進一步儲存在記憶體604或經由通信組件616發送。在一些實施例中,音頻組件610還包括一個揚聲器,用於輸出音頻信號。
I/O介面612為處理組件602和週邊介面模組之間提供介面,上述週邊介面模組可以是鍵盤,點擊輪,按鈕等。這些按鈕可包括但不限於:主頁按鈕、音量按鈕、啟動按鈕和鎖定按鈕。
感測器組件614包括一個或多個感測器,用於為電子設備600提供各個方面的狀態評估。例如,感測器組件614可以檢測到電子設備600的打開/關閉狀態,組件的相對定位,例如所述組件為電子設備600的顯示器和小鍵盤,感測器組件614還可以檢測電子設備600或電子設備600一個組件的位置改變,使用者與電子設備600接觸的存在或不存在,電子設備600方位或加速/減速和電子設備600的溫度變化。感測器組件614可以包括接近感測器,被配置用來在沒有任何的物理接觸時檢測附近物體的存在。感測器組件614還可以包括光感測器,如互補金屬氧化物半導體(Complementary Metal Oxide Semiconductor,CMOS)或電荷耦合器件(Charge Coupled Device,CCD)圖像感測器,用於在成像應用中使用。在一些實施例中,該感測器組件614還可以包括加速度感測器,陀螺儀感測器,磁感測器,壓力感測器或溫度感測器。
通信組件616被配置為便於電子設備600和其他設備之間有線或無線方式的通信。電子設備600可以接入基於通信標準的無線網路,如WiFi,2G或3G,或它們的組合。在一個示例性實施例中,通信組件616經由廣播通道接收來自外部廣播管理系統的廣播信號或廣播相關資訊。在一個示例性實施例中,所述通信組件816還包括近場通信(Near Field Communication,NFC)模組,以促進短程通信。例如,在NFC模組可基於射頻識別(Radio Frequency Identification,RFID)技術,紅外資料協會(Infrared Data Association,IrDA)技術,超寬頻(Ultra Wide Band,UWB)技術,藍牙(Blue Tooth,BT)技術和其他技術來實現。
在示例性實施例中,電子設備600可以被一個或多個應用專用積體電路(Application Specific Integrated Circuit,ASIC)、數位訊號處理器(Digital Signal Processing,DSP)、數位信號處理設備(Digital Signal Processor Device,DSPD)、可程式設計邏輯器件(Programmable Logic Device,PLD)、現場可程式設計閘陣列(Field-Programmable Gate Array,FPGA)、控制器、微控制器、微處理器或其他電子組件實現,用於執行上述方法。
在示例性實施例中,還提供了一種非易失性電腦可讀儲存介質,例如包括電腦程式指令的記憶體604,上述電腦程式指令可由電子設備600的處理器620執行以完成上述方法。
圖7示出根據本發明實施例的一種電子設備700的方塊圖。例如,電子設備700可以被提供為一伺服器。參照圖7,電子設備700包括處理組件722,其進一步包括一個或多個處理器,以及由記憶體732所代表的記憶體資源,用於儲存可由處理組件722的執行的指令,例如應用程式。記憶體732中儲存的應用程式可以包括一個或一個以上的每一個對應於一組指令的模組。此外,處理組件722被配置為執行指令,以執行上述方法。
電子設備700還可以包括一個電源組件726被配置為執行電子設備700的電源管理,一個有線或無線網路介面750被配置為將電子設備700連接到網路,和一個輸入輸出(I/O)介面758。電子設備700可以操作基於儲存在記憶體732的作業系統,例如Windows ServerTM,Mac OS XTM,UnixTM, LinuxTM,FreeBSDTM或類似。
在示例性實施例中,還提供了一種非易失性電腦可讀儲存介質,例如包括電腦程式指令的記憶體732,上述電腦程式指令可由電子設備700的處理組件722執行以完成上述方法。
本發明可以是系統、方法和/或電腦程式產品。電腦程式產品可以包括電腦可讀儲存介質,其上載有用於使處理器實現本發明的各個方面的電腦可讀程式指令。
電腦可讀儲存介質可以是可以保持和儲存由指令執行設備使用的指令的有形設備。電腦可讀儲存介質例如可以是(但不限於)電存放裝置、磁存放裝置、光存放裝置、電磁存放裝置、半導體存放裝置或者上述的任意合適的組合。電腦可讀儲存介質的更具體的例子(非窮舉的列表)包括:可擕式電腦盤、硬碟、隨機存取記憶體(Random Access Memory,RAM)、ROM、EPROM或快閃記憶體、SRAM、可擕式壓縮磁碟唯讀記憶體(Compact Disc Read-Only Memory,CD-ROM)、數位多功能盤(Digital Video Disc,DVD)、記憶棒、軟碟、機械編碼設備、例如其上儲存有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。這裡所使用的電腦可讀儲存介質不被解釋為暫態信號本身,諸如無線電波或者其他自由傳播的電磁波、通過波導或其他傳輸媒介傳播的電磁波(例如,通過光纖電纜的光脈衝)、或者通過電線傳輸的電信號。
這裡所描述的電腦可讀程式指令可以從電腦可讀儲存介質下載到各個計算/處理設備,或者通過網路、例如網際網路、局域網、廣域網路和/或無線網下載到外部電腦或外部存放裝置。網路可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火牆、交換機、閘道電腦和/或邊緣伺服器。每個計算/處理設備中的網路介面卡或者網路介面從網路接收電腦可讀程式指令,並轉發該電腦可讀程式指令,以供儲存在各個計算/處理設備中的電腦可讀儲存介質中。
用於執行本發明操作的電腦程式指令可以是彙編指令、指令集架構(Industry Standard Architecture,ISA)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置資料、或者以一種或多種程式設計語言的任意組合編寫的原始程式碼或目標代碼,所述程式設計語言包括對象導向的程式設計語言—諸如Smalltalk、C++等,以及常規的過程式程式設計語言—諸如“C”語言或類似的程式設計語言。電腦可讀程式指令可以完全地在使用者電腦上執行、部分地在使用者電腦上執行、作為一個獨立的套裝軟體執行、部分在使用者電腦上部分在遠端電腦上執行、或者完全在遠端電腦或伺服器上執行。在涉及遠端電腦的情形中,遠端電腦可以通過任意種類的網路—包括局域網(Local Area Network,LAN)或廣域網路(Wide Area Network,WAN)—連接到使用者電腦,或者,可以連接到外部電腦(例如利用網際網路服務提供者來通過網際網路連接)。在一些實施例中,通過利用電腦可讀程式指令的狀態資訊來個性化定制電子電路,例如可程式設計邏輯電路、FPGA或可程式設計邏輯陣列(Programmable Logic Arrays,PLA),該電子電路可以執行電腦可讀程式指令,從而實現本發明的各個方面。
這裡參照根據本發明實施例的方法、裝置(系統)和電腦程式產品的流程圖和/或方塊圖描述了本發明的各個方面。應當理解,流程圖和/或方塊圖的每個方塊以及流程圖和/或方塊圖中各方塊的組合,都可以由電腦可讀程式指令實現。
這些電腦可讀程式指令可以提供給通用電腦、專用電腦或其它可程式設計資料處理裝置的處理器,從而生產出一種機器,使得這些指令在通過電腦或其它可程式設計資料處理裝置的處理器執行時,產生了實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的裝置。也可以把這些電腦可讀程式指令儲存在電腦可讀儲存介質中,這些指令使得電腦、可程式設計資料處理裝置和/或其他設備以特定方式工作,從而,儲存有指令的電腦可讀介質則包括一個製造品,其包括實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作的各個方面的指令。
也可以把電腦可讀程式指令載入到電腦、其它可程式設計資料處理裝置、或其它設備上,使得在電腦、其它可程式設計資料處理裝置或其它設備上執行一系列操作步驟,以產生電腦實現的過程,從而使得在電腦、其它可程式設計資料處理裝置、或其它設備上執行的指令實現流程圖和/或方塊圖中的一個或多個方塊中規定的功能/動作。
附圖中的流程圖和方塊圖顯示了根據本發明的多個實施例的系統、方法和電腦程式產品的可能實現的體系架構、功能和操作。在這點上,流程圖或方塊圖中的每個方塊可以代表一個模組、程式段或指令的一部分,所述模組、程式段或指令的一部分包含一個或多個用於實現規定的邏輯功能的可執行指令。在有些作為替換的實現中,方塊中所標注的功能也可以以不同於附圖中所標注的順序發生。例如,兩個連續的方塊實際上可以基本並行地執行,它們有時也可以按相反的循序執行,這依所涉及的功能而定。也要注意的是,方塊圖和/或流程圖中的每個方塊、以及方塊圖和/或流程圖中的方塊的組合,可以用執行規定的功能或動作的專用的基於硬體的系統來實現,或者可以用專用硬體與電腦指令的組合來實現。
該電腦程式產品可以具體通過硬體、軟體或其結合的方式實現。在一個可選實施例中,所述電腦程式產品具體體現為電腦儲存介質,在另一個可選實施例中,電腦程式產品具體體現為軟體產品,例如軟體發展包(Software Development Kit,SDK)等等。
以上已經描述了本發明的各實施例,上述說明是示例性的,並非窮盡性的,並且也不限於所披露的各實施例。在不偏離所說明的各實施例的範圍和精神的情況下,對於本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇,旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進,或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
工業實用性 本發明提供了一種對象計數方法、電子設備、電腦可讀儲存介質;其中,對待處理圖像進行特徵提取,得到所述待處理圖像的初始特徵圖;根據所述初始特徵圖,得到所述待處理圖像中的頭部關鍵點及頭部區域;根據所述頭部關鍵點及所述頭部區域,對所述待處理圖像進行對象計數及定位,確定所述待處理圖像中對象的數量及位置。
201:圖像獲取終端 202:網路 203:對象計數終端 301:下採樣特徵圖 302:下採樣特徵圖 401:待測對象 402:待測對象的頭部關鍵點及頭部區域 403:待測對象的定位資訊 500:對象計數裝置 501:特徵提取模組 502:處理模組 503:計數模組 600:電子設備 602:處理組件 604:記憶體 606:電源組件 608:多媒體組件 610:音頻組件 612:輸入/輸出介面 614:感測器組件 616:通信組件 620:處理器 700:電子設備 722:電子設備 726:電源組件 732:記憶體 750:網路介面 758:輸入輸出介面 S11~S13:步驟
此處的附圖被併入說明書中並構成本說明書的一部分,這些附圖示出了符合本發明的實施例,並與說明書一起用於說明本發明的技術方案。 圖1示出根據本發明實施例的對象計數方法的流程圖; 圖2示出本發明實施例提供的對象計數的一種網路架構示意圖; 圖3示出本發明實施例的不同尺度的下採樣特徵圖的示意圖; 圖4a至4d示出本發明實施例中基於對象計數方法處理待處理圖像的各個階段的示意圖; 圖5示出根據本發明實施例的對象計數裝置500的方塊圖; 圖6示出根據本發明實施例的一種電子設備600的方塊圖; 圖7示出根據本發明實施例的一種電子設備700的方塊圖。
S11~S13:步驟

Claims (11)

  1. 一種對象計數方法,包括:對待處理圖像進行特徵提取,得到所述待處理圖像的初始特徵圖;根據所述初始特徵圖,得到所述待處理圖像中的頭部關鍵點及頭部區域;確定各所述頭部關鍵點與各所述頭部區域的中心點之間的相似度;確定與所述頭部關鍵點的相似度滿足閾值條件的頭部區域,將所述與所述頭部關鍵點的相似度滿足閾值條件的頭部區域與所述頭部關鍵點進行合併,得到合併資訊;根據所述合併資訊、未合併的頭部關鍵點及未合併的頭部區域,對所述待處理圖像進行對象計數及定位,確定所述待處理圖像中對象的數量及位置。
  2. 根據請求項1所述的方法,其中,所述確定與所述頭部關鍵點的相似度滿足閾值條件的頭部區域,將所述與所述頭部關鍵點的相似度滿足閾值條件的頭部區域與所述頭部關鍵點進行合併,得到合併資訊,包括:刪除所述與所述頭部關鍵點的相似度滿足閾值條件的頭部區域;根據所述頭部關鍵點及所述頭部區域的尺寸,得到合併後的頭部區域,其中,所述合併資訊包括所述頭部關鍵點及所述合併後的頭部區域。
  3. 根據請求項2所述的方法,其中,所述確 定與所述頭部關鍵點的相似度滿足閾值條件的頭部區域,將所述與所述頭部關鍵點的相似度滿足閾值條件的頭部區域與所述頭部關鍵點進行合併,得到合併資訊,包括:將所述頭部關鍵點按照置信度進行排序;按照所述頭部關鍵點的置信度由大到小的順序,將所述頭部關鍵點與所述頭部區域進行合併,得到所述合併資訊。
  4. 根據請求項1至3中任一項所述的方法,其中,所述根據所述初始特徵圖,得到所述待處理圖像中的頭部關鍵點,包括:對所述初始特徵圖進行下採樣處理,得到不同尺度的多個下採樣特徵圖;對多個所述下採樣特徵圖中的尺度居中的下採樣特徵圖進行上採樣處理,得到上採樣特徵圖,所述上採樣特徵圖與所述初始特徵圖尺度一致;根據所述上採樣特徵圖進行頭部關鍵點識別,得到所述待處理圖像中的頭部關鍵點。
  5. 根據請求項4所述的方法,其中,所述根據所述初始特徵圖,得到所述待處理圖像中的頭部區域,還包括:分別對多個所述下採樣特徵圖進行頭部區域識別,得到各個所述下採樣特徵圖對應的頭部區域;對各個所述下採樣特徵圖對應的頭部區域進行合併處理,得到所述待處理圖像對應的頭部區域。
  6. 根據請求項1至3中任一項所述的方法,其中,通過定位網路實現所述對待處理圖像進行特徵提取,得到所述待處理圖像的初始特徵圖;根據所述初始特徵圖,得到所述待處理圖像中的頭部關鍵點及頭部區域,所述方法還包括:通過預設的訓練集訓練所述定位網路,所述訓練集包括多個樣本組,所述樣本組中包括樣本圖像、樣本圖像對應的標注頭部關鍵點和標注頭部區域。
  7. 根據請求項6所述的方法,其中,所述定位網路包括特徵提取網路、頭部關鍵點定位網路、頭部區域定位網路,所述通過預設的訓練集訓練所述定位網路,包括:通過所述特徵提取網路對所述樣本圖像進行特徵提取,得到所述樣本圖像的初始特徵圖;對所述樣本圖像的初始特徵圖進行下採樣處理,得到不同大小的多個樣本下採樣特徵圖;通過所述頭部關鍵點定位網路對多個所述樣本下採樣特徵圖進行上採樣處理,得到樣本上採樣特徵圖,所述樣本上採樣特徵圖與所述樣本圖像的初始特徵圖大小一致;通過所述頭部關鍵點定位網路對所述樣本上採樣特徵圖進行頭部關鍵點識別,得到所述樣本圖像對應的頭部關鍵點;根據所述樣本圖像對應的頭部關鍵點及所述標注頭部關鍵點,訓練所述頭部關鍵點定位網路。
  8. 根據請求項7所述的方法,其中,所述通過預設的訓練集訓練所述定位網路,還包括:通過所述頭部區域定位網路分別對多個所述樣本下採樣特徵圖進行頭部區域識別,得到各個所述樣本下採樣特徵圖對應的頭部區域;根據所述樣本下採樣特徵圖對應的頭部區域及所述標注頭部區域,訓練所述頭部區域定位網路。
  9. 根據請求項1至3中任一項所述的方法,其中,所述根據所述初始特徵圖,得到所述待處理圖像中的頭部區域,包括:確定所述待處理圖像中各頭部區域的位置資訊;根據各所述頭部區域的位置資訊,以及頭部區域的尺寸與所述頭部區域的位置資訊的關聯關係,確定所述頭部區域的尺寸;根據所述頭部區域的位置資訊及所述頭部區域的尺寸,得到所述頭部區域。
  10. 一種電子設備,包括:處理器;用於儲存處理器可執行指令的記憶體;其中,所述處理器被配置為調用所述記憶體儲存的指令,以執行請求項1至9中任意一項所述的方法。
  11. 一種電腦可讀儲存介質,其上儲存有電腦程式指令,所述電腦程式指令被處理器執行時實現請求項1至9中任意一項所述的方法。
TW110100177A 2020-05-28 2021-01-04 對象計數方法、電子設備、電腦可讀儲存介質 TWI779449B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010469232.7 2020-05-28
CN202010469232.7A CN111652107A (zh) 2020-05-28 2020-05-28 对象计数方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
TW202145064A TW202145064A (zh) 2021-12-01
TWI779449B true TWI779449B (zh) 2022-10-01

Family

ID=72346863

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110100177A TWI779449B (zh) 2020-05-28 2021-01-04 對象計數方法、電子設備、電腦可讀儲存介質

Country Status (5)

Country Link
JP (1) JP2022537865A (zh)
KR (1) KR20210148134A (zh)
CN (1) CN111652107A (zh)
TW (1) TWI779449B (zh)
WO (1) WO2021238135A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652107A (zh) * 2020-05-28 2020-09-11 北京市商汤科技开发有限公司 对象计数方法及装置、电子设备和存储介质
CN113537172B (zh) * 2021-09-16 2021-12-10 长沙海信智能系统研究院有限公司 人群密度确定方法、装置、设备及存储介质
CN114550086A (zh) * 2022-02-17 2022-05-27 上海商汤智能科技有限公司 一种人群定位方法及装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201333188A (zh) * 2011-09-25 2013-08-16 Theranos Inc 用於多重分析的系統和方法
CN105740945A (zh) * 2016-02-04 2016-07-06 中山大学 一种基于视频分析的人群计数方法
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
TW201911082A (zh) * 2017-08-04 2019-03-16 大陸商騰訊科技(深圳)有限公司 圖像處理方法、裝置及儲存介質
CN109726658A (zh) * 2018-12-21 2019-05-07 上海科技大学 人群计数及定位方法、系统、电子终端及存储介质
CN109766796A (zh) * 2018-12-20 2019-05-17 西华大学 一种面向密集人群的深度行人检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324977B (zh) * 2012-03-21 2016-03-30 日电(中国)有限公司 一种目标数量检测方法和设备
US9747516B2 (en) * 2015-05-12 2017-08-29 Qualcomm Incorporated Keypoint detection with trackability measurements
CN106570440A (zh) * 2015-10-09 2017-04-19 株式会社日立制作所 基于图像分析的人数统计方法和人数统计装置
CN107967451B (zh) * 2017-11-23 2021-04-27 常州大学 一种对静止图像进行人群计数的方法
CN111797791A (zh) * 2018-12-25 2020-10-20 上海智臻智能网络科技股份有限公司 人体姿态识别方法及装置
CN111178208B (zh) * 2019-12-20 2023-08-15 华瑞新智科技(北京)有限公司 基于深度学习的行人检测方法、装置及介质
CN111160243A (zh) * 2019-12-27 2020-05-15 深圳云天励飞技术有限公司 客流量统计方法及相关产品
CN111652107A (zh) * 2020-05-28 2020-09-11 北京市商汤科技开发有限公司 对象计数方法及装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201333188A (zh) * 2011-09-25 2013-08-16 Theranos Inc 用於多重分析的系統和方法
CN105740945A (zh) * 2016-02-04 2016-07-06 中山大学 一种基于视频分析的人群计数方法
TW201911082A (zh) * 2017-08-04 2019-03-16 大陸商騰訊科技(深圳)有限公司 圖像處理方法、裝置及儲存介質
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109766796A (zh) * 2018-12-20 2019-05-17 西华大学 一种面向密集人群的深度行人检测方法
CN109726658A (zh) * 2018-12-21 2019-05-07 上海科技大学 人群计数及定位方法、系统、电子终端及存储介质

Also Published As

Publication number Publication date
TW202145064A (zh) 2021-12-01
CN111652107A (zh) 2020-09-11
KR20210148134A (ko) 2021-12-07
JP2022537865A (ja) 2022-08-31
WO2021238135A1 (zh) 2021-12-02

Similar Documents

Publication Publication Date Title
TWI779449B (zh) 對象計數方法、電子設備、電腦可讀儲存介質
CN108629354B (zh) 目标检测方法及装置
TWI749423B (zh) 圖像處理方法及裝置、電子設備和電腦可讀儲存介質
TWI747325B (zh) 目標對象匹配方法及目標對象匹配裝置、電子設備和電腦可讀儲存媒介
TW202113756A (zh) 圖像處理方法及裝置、電子設備、儲存媒體和電腦程式
KR20210102180A (ko) 이미지 처리 방법 및 장치, 전자 기기 및 기억 매체
CN109389162B (zh) 样本图像筛选方法和装置、电子设备及存储介质
WO2021036382A1 (zh) 图像处理方法及装置、电子设备和存储介质
TWI782480B (zh) 圖像處理方法及電子設備和電腦可讀儲存介質
TWI702544B (zh) 圖像處理方法、電子設備和電腦可讀儲存介質
WO2021031645A1 (zh) 图像处理方法及装置、电子设备和存储介质
WO2021093375A1 (zh) 检测同行人的方法及装置、系统、电子设备和存储介质
TWI761851B (zh) 圖像處理方法、圖像處理裝置、電子設備和電腦可讀儲存媒體
CN110009090A (zh) 神经网络训练与图像处理方法及装置
TW202044065A (zh) 影片處理方法及裝置、電子設備和儲存介質
JP2022522551A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
CN109034150B (zh) 图像处理方法及装置
TWI785638B (zh) 目標檢測方法、電子設備和電腦可讀儲存介質
CN111539443A (zh) 一种图像识别模型训练方法及装置、存储介质
TWI785267B (zh) 影像處理方法、電子設備和儲存介質
CN112101238A (zh) 聚类方法及装置、电子设备和存储介质
CN111259967A (zh) 图像分类及神经网络训练方法、装置、设备及存储介质
TW202036476A (zh) 圖像處理方法及裝置、電子設備和儲存介質
CN109101542B (zh) 图像识别结果输出方法及装置、电子设备和存储介质
CN114332503A (zh) 对象重识别方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent