TWI766618B - 關鍵點檢測方法、電子設備及電腦可讀儲存介質 - Google Patents

關鍵點檢測方法、電子設備及電腦可讀儲存介質 Download PDF

Info

Publication number
TWI766618B
TWI766618B TW110109419A TW110109419A TWI766618B TW I766618 B TWI766618 B TW I766618B TW 110109419 A TW110109419 A TW 110109419A TW 110109419 A TW110109419 A TW 110109419A TW I766618 B TWI766618 B TW I766618B
Authority
TW
Taiwan
Prior art keywords
key point
graph model
key
key points
information
Prior art date
Application number
TW110109419A
Other languages
English (en)
Other versions
TW202203212A (zh
Inventor
金晟
劉文韜
錢晨
Original Assignee
大陸商北京市商湯科技開發有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 大陸商北京市商湯科技開發有限公司 filed Critical 大陸商北京市商湯科技開發有限公司
Publication of TW202203212A publication Critical patent/TW202203212A/zh
Application granted granted Critical
Publication of TWI766618B publication Critical patent/TWI766618B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Abstract

本發明提供了一種關鍵點檢測方法、電子設備及電腦可讀儲存介質，該方法包括：獲取待檢測圖像；基於待檢測圖像，生成圖像特徵圖和多個關鍵點熱圖；圖像特徵圖用於表徵待檢測圖像中各個目標對象之間的相對位置關係；每個關鍵點熱圖中包含待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應目標對象的不同部位；基於圖像特徵圖和多個關鍵點熱圖，生成初始關鍵點圖模型；初始關鍵點圖模型中包含待檢測圖像中不同類別的關鍵點的資訊以及連接邊的資訊，每個連接邊為兩個不同類別的關鍵點之間的邊；對初始關鍵點圖模型進行多次連接邊的剪枝處理，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇，得到分別屬於各個目標對象的關鍵點資訊。

Description

關鍵點檢測方法、電子設備及電腦可讀儲存介質
本發明關於圖像處理技術領域，尤其關於一種關鍵點檢測方法、電子設備及電腦可讀儲存介質。
人體關鍵點檢測和跟蹤是視頻分析的基礎，在安防領域、動作分析領域具有重要的應用前景。自底向上的多人姿態檢測技術，由於具有較高的計算效率，而被廣泛應用。一般的，自底向上方法首先預測得到各個關鍵點的位置，再對各個關鍵點進行聚類，得到完整的人體姿態。
當前的方法中，可以採用圖分割演算法或者啟發式的聚類演算法，對各個關鍵點進行聚類，聚類過程只是作為後處理操作，並沒有直接對聚類結果進行監督，使得關鍵點聚類過程的準確度較低。
有鑑於此，本發明至少提供一種關鍵點檢測方法、電子設備及電腦可讀儲存介質。
第一方面，本發明提供了一種關鍵點檢測方法，包括：獲取待檢測圖像；基於所述待檢測圖像，生成圖像特徵圖和多個關鍵點熱圖；所述圖像特徵圖用於表徵所述待檢測圖像中各個目標對象之間的相對位置關係；每個所述關鍵點熱圖中包含所述待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應所述目標對象的不同部位；基於所述圖像特徵圖和多個所述關鍵點熱圖，生成初始關鍵點圖模型；所述初始關鍵點圖模型中包含所述待檢測圖像中不同類別的關鍵點的資訊以及連接邊的資訊，每個連接邊為兩個不同類別的關鍵點之間的邊；對所述初始關鍵點圖模型進行多次所述連接邊的剪枝處理，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇，得到分別屬於各個目標對象的關鍵點資訊。
採用上述方法，可以基於生成的圖像特徵圖和多個關鍵點熱圖，生成待檢測圖像對應的初始關鍵點圖模型，由於初始關鍵點圖模型中包括圖像特徵圖和關鍵點熱圖中的資訊，而圖像特徵圖可以表徵出待檢測圖像中不同目標對象之間的相對位置關係，從而可以對初始關鍵點圖模型進行所處連接邊的剪枝處理，得到各個目標對象的關鍵點資訊，較準確地對不同目標對象的關鍵點進行區分，以提高關鍵點聚類的精準度。
一種可能的實施方式中，所述關鍵點的資訊包括位置資訊、類別資訊、以及圖元特徵資訊；根據以下步驟確定所述初始關鍵點圖模型中各個關鍵點的資訊：基於所述 關鍵點熱圖，確定各個關鍵點的位置資訊；基於每個所述關鍵點的位置資訊，從所述圖像特徵圖中提取所述關鍵點的圖元特徵資訊，並基於所述關鍵點所屬關鍵點熱圖的類別標籤，確定所述關鍵點對應的類別資訊。
一種可能的實施方式中，所述方法還包括：針對所述初始關鍵點圖模型中的每個所述關鍵點，基於所述關鍵點的資訊和所述關鍵點圖模型中與所述關鍵點之間存在連接邊的其他關鍵點的資訊，確定所述關鍵點的融合特徵；所述對所述初始關鍵點圖模型進行多次所述連接邊的剪枝處理，包括：基於所述初始關鍵點圖模型中包含的每個所述關鍵點的融合特徵，對所述初始關鍵點圖模型進行多次所述連接邊的剪枝處理。
一種可能的實施方式中，所述對所述初始關鍵點圖模型進行多次所述連接邊的剪枝處理，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇，包括：針對當前關鍵點圖模型執行第一處理過程：基於所述當前關鍵點圖模型中的每條連接邊對應的兩個關鍵點的融合特徵，對所述當前關鍵點圖模型包括的多個關鍵點中相鄰關鍵點進行同一目標對象的關鍵點聚類，得到至少一個巨集節點；其中，所述巨集節點中包括聚類後的多個相鄰關鍵點；並基於每個所述巨集節點中包括的關鍵點的融合特徵，確定所述巨集節點的融合特徵；基於得到的至少一個所述巨集節點和所述當前關鍵點圖模型，對所述當前關鍵點圖模型進行當前次所述連接邊的剪枝處理，並得到當前次剪枝處 理後的關鍵點圖模型；在執行完當前次的所述第一處理過程之後，將當前次剪枝處理後的關鍵點圖模型作為當前關鍵點圖模型，將當前次確定的所述巨集節點以及所述巨集節點的融合特徵作為所述當前關鍵圖模型中的關鍵點以及關鍵點的融合特徵，並再次執行所述第一處理過程，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇。
一種可能的實施方式中，所述基於所述當前關鍵點圖模型中的每條連接邊對應的兩個關鍵點的融合特徵，對所述當前關鍵點圖模型包括的多個關鍵點中相鄰關鍵點進行同一目標對象的關鍵點聚類，得到至少一個巨集節點，包括：基於所述連接邊對應的兩個關鍵點的融合特徵，確定所述連接邊的權重，所述權重表徵所述連接邊對應的兩個關鍵點屬於同一目標對象的概率；基於所述當前關鍵點圖模型中包括的每條連接邊的權重，對所述當前關鍵點圖模型包括的多個關鍵點中相鄰關鍵點進行同一目標對象的關鍵點聚類，得到至少一個巨集節點。這裡，通過確定每條連接邊的權重，該權重表徵連接邊對應的兩個關鍵點屬於同一目標對象的概率，再可以基於每條連接邊的權重，對當前關鍵點圖模型包括的多個關鍵點中相鄰關鍵點進行同一目標對象的關鍵點聚類，得到至少一個巨集節點，比如將對應權重較大的兩個關鍵點聚類在一起，得到一個巨集節點，使得巨集節點的確定較為準確。
一種可能的實施方式中，所述基於得到的至少一個 所述巨集節點和所述當前關鍵點圖模型，對所述當前關鍵點圖模型進行當前次所述連接邊的剪枝處理，並得到當前次剪枝處理後的關鍵點圖模型，包括：基於得到的至少一個所述巨集節點和所述當前關鍵點圖模型，確定待刪減連接邊，並從所述當前關鍵點圖模型中將所述待刪減連接邊刪除；將至少一個所述巨集節點、和所述當前關鍵點圖模型中除所述巨集節點中包括的關鍵點之外的其他關鍵點作為剪枝處理後的關鍵點，將刪除後剩餘的連接邊作為剪枝處理後的連接邊，得到當前次剪枝處理後的關鍵點圖模型。
一種可能的實施方式中，所述基於得到的至少一個巨集節點和所述當前關鍵點圖模型，確定待刪減連接邊，包括：基於至少一個巨集節點中包括的每個關鍵點的類別資訊、以及所述當前關鍵點圖模型中除至少一個巨集節點中包括的關鍵點之外的其他關鍵點的類別資訊，確定所述待刪減連接邊。
一種可能的實施方式中，基於至少一個巨集節點中包括的每個關鍵點的類別資訊、以及所述當前關鍵點圖模型中除至少一個巨集節點中包括的關鍵點之外的其他關鍵點的類別資訊，確定所述待刪減連接邊，包括：針對所述當前關鍵點圖模型中的任一連接邊，在該任一連接邊對應的兩個關鍵點為不同巨集節點中的關鍵點，且該任一連接邊對應的兩個巨集節點中存在類別資訊相同的關鍵點的情況下，確定該任一連接邊為所述待刪減連接邊；在該 任一連接邊對應的兩個關鍵點為同一巨集節點中的關鍵點的情況下，確定該任一連接邊為所述待刪減連接邊；在該任一連接邊對應的兩個關鍵點中一個關鍵點為巨集節點中的關鍵點、另一個關鍵點不是巨集節點中的關鍵點，且該任一連接邊對應的所述巨集節點中存在與另一個關鍵點的類別資訊相同的關鍵點的情況下，確定該任一連接邊為所述待刪減連接邊。
一種可能的實施方式中，所述每個目標對象的關鍵點資訊通過預先訓練好的目標神經網路生成；其中，所述目標神經網路是由包括巨集節點判別器的待訓練神經網路訓練得到的，所述巨集節點判別器用於判別每個巨集節點中包括的多個關鍵點是否屬於同一目標對象。
一種可能的實施方式中，通過下述步驟對所述待訓練神經網路進行訓練，得到預先訓練好的目標神經網路：獲取樣本圖像；基於所述樣本圖像，對包括所述巨集節點判別器的待訓練神經網路進行訓練，得到預先訓練好的目標神經網路。
一種可能的實施方式中，基於所述樣本圖像，對包括所述巨集節點判別器的待訓練神經網路進行訓練，得到預先訓練好的目標神經網路，包括：基於所述樣本圖像，對所述待訓練神經網路進行訓練，得到預測結果，所述預測結果包括所述巨集節點判別器的檢測結果、每個關鍵點的預測類別、以及每個關鍵點的預測位置資訊；基於所述巨集節點判別器的檢測結果，確定第一損失值；以及基於 所述每個關鍵點的預測類別、所述每個關鍵點的預測位置資訊，和所述樣本圖像中攜帶的標注結果，確定第二損失值；其中，所述標注結果包括每個關鍵點屬於對應目標對象的標注類別，以及每個關鍵點的標注位置資訊；基於所述第一損失值和所述第二損失值，對所述待訓練神經網路進行訓練，得到預先訓練好的目標神經網路。
一種可能的實施方式中，在得到所述待檢測圖像中的每個目標對象的關鍵點資訊之後，還包括：基於每個目標對象對應的所述關鍵點資訊，確定該目標對象的行為類型。
一種可能的實施方式中，在得到所述待檢測圖像中的每個目標對象的關鍵點資訊之後，還包括：基於每個目標對象對應的所述關鍵點資訊，確定該目標對象的至少一個目標部位的位置資訊，並根據所述至少一個目標部位的位置資訊，生成針對所述至少一個目標部位的特效資訊。
以下裝置、電子設備等的效果描述參見上述方法的說明，這裡不再贅述。
第二方面，本發明提供了一種關鍵點檢測裝置，包括：獲取模組，配置為獲取待檢測圖像；第一生成模組，配置為基於所述待檢測圖像，生成圖像特徵圖和多個關鍵點熱圖；所述圖像特徵圖用於表徵所述待檢測圖像中各個目標對象的關鍵點之間的相對位置關係；每個所述關鍵點熱圖中包含所述待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應所述目標對象的不同部位；第二生成模組， 配置為基於所述圖像特徵圖和多個所述關鍵點熱圖，生成初始關鍵點圖模型；所述初始關鍵點圖模型中包含所述待檢測圖像中不同類別的關鍵點的資訊以及連接邊的資訊，每個連接邊為兩個不同類別的關鍵點之間的邊；處理模組，配置為對所述初始關鍵點圖模型進行多次所述連接邊的剪枝處理，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇，得到分別屬於各個目標對象的關鍵點資訊。
第三方面，本發明提供一種電子設備，包括：處理器、記憶體和匯流排，所述記憶體儲存有所述處理器可執行的機器可讀指令，在電子設備運行的情況下，所述處理器與所述記憶體之間通過匯流排通信，所述機器可讀指令被所述處理器執行時執行如上述第一方面或任一實施方式所述的關鍵點檢測方法的步驟。
第四方面，本發明提供一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行時執行如上述第一方面或任一實施方式所述的關鍵點檢測方法的步驟。
第五方面，本發明提供了一種電腦程式產品，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述一個或多個實施例中伺服器執行上述方法。為使本發明的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附附圖，作詳細說明如下。
21:關鍵點熱圖
22:圖像特徵圖
23:初始關鍵點圖模型
24:邊判別器
25:巨集節點
26:處理後的關鍵點圖模型
27:巨集節點判別器
28:GNN模組
29:邊判別器
30:巨集節點判別器
301:獲取模組
302:第一生成模組
303:第二生成模組
304:處理模組
305:確定模組
306:訓練模組
307:行為類型確定模組
308:特效生成模組
400:電子設備
401:處理器
402:記憶體
4021:內部記憶體
4022:外部記憶體
403:匯流排
S101~S104:步驟
圖1為本發明實施例所提供的一種關鍵點檢測方法的流程示意圖；圖2A為本發明實施例所提供的一種關鍵點檢測方法中，剪枝處理的流程示意圖；圖2B為本發明實施例所提供的一種實現關鍵點檢測方法的網路結構示意圖；圖3為本發明實施例所提供的一種關鍵點檢測裝置的架構示意圖；圖4為本發明實施例所提供的一種電子設備400的結構示意圖。
為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發明實施例的元件可以以各種不同的配置來佈置和設計。因此，以下對在附圖中提供的本發明的實施例的詳細描述並非旨在限制要求保護的本發明的範圍，而是僅僅表示本發明的選定實施例。基於本發明的實施例，本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明保 護的範圍。
一般的，自底向上方法首先預測得到各個關鍵點的位置，再對各個關鍵點進行聚類，得到完整的人體姿態。當前的方法中，可以採用圖分割演算法或者啟發式的聚類演算法，對各個關鍵點進行聚類，聚類過程只是作為後處理操作，並沒有直接對聚類結果進行監督，使得關鍵點聚類過程的準確度較低。
為了提高關鍵點聚類過程的準確度，本發明實施例提供了一種關鍵點檢測方法。
為便於對本發明實施例進行理解，首先對本發明實施例所公開的一種關鍵點檢測方法進行詳細介紹。
參見圖1所示，為本發明實施例所提供的一種關鍵點檢測方法的流程示意圖，該方法包括S101-S104，其中：
S101，獲取待檢測圖像。
S102，基於待檢測圖像，生成圖像特徵圖和多個關鍵點熱圖；圖像特徵圖用於表徵待檢測圖像中各個目標對象之間的相對位置關係；每個關鍵點熱圖中包含待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應目標對象的不同部位。
S103，基於圖像特徵圖和多個關鍵點熱圖，生成初始關鍵點圖模型；初始關鍵點圖模型中包含待檢測圖像中不同類別的關鍵點的資訊以及連接邊的資訊，每個連接邊為兩個不同類別的關鍵點之間的邊。
S104，對初始關鍵點圖模型進行多次連接邊的剪枝處理，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇，得到分別屬於各個目標對象的關鍵點資訊。
上述方法中，可以基於生成的圖像特徵圖和多個關鍵點熱圖，生成待檢測圖像對應的初始關鍵點圖模型，由於初始關鍵點圖模型中包括圖像特徵圖和關鍵點熱圖中的資訊，而圖像特徵圖可以表徵出待檢測圖像中不同目標對象之間的相對位置關係，從而可以對初始關鍵點圖模型進行所處連接邊的剪枝處理，得到各個目標對象的關鍵點資訊，較準確地對不同目標對象的關鍵點進行區分，以提高關鍵點聚類的精準度。
針對S101以及S102：待檢測圖像可以為任一包括多個目標對象的圖像。目標對象可以為人，即對待檢測對象中包括的多個人體的關鍵點進行檢測。
在實施過程中，可以將獲取的待檢測圖像輸入至訓練後的關鍵點檢測神經網路中，生成圖像特徵圖和多個關鍵點熱圖；並基於圖像特徵圖、多個關鍵點熱圖、以及訓練後的關鍵點檢測神經網路，確定每個目標對象的各個關鍵點。
這裡，每個關鍵點熱圖中包含待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應目標對象的不同部位。比如，關鍵點的類別可以為頭部、頸部、手部等，進而關鍵點熱圖可以為包含頭部關鍵點的圖像，或者，關鍵點熱圖可以為包含頸部關鍵點的圖像等；或者，關鍵點的類別 可以為設置的第一類別、第二類別等，其中，第一類別關鍵點可以為拇指上的關鍵點，第二類別關鍵點可以為食指上的關鍵點等，進而關鍵點熱圖可以為包含第一類別關鍵點的圖像，或者，關鍵點熱圖可以為包含第二類別關鍵點的圖像等。其中，關鍵點的類別和類別的數量可以根據實際需要進行設置。以及，每個目標對象對應的關鍵點的數量可以根據實際需要進行設置，比如，每個目標對象對應的關鍵點的數量可以為17個、105個等。
這裡，關鍵點熱圖的數量與設置的關鍵點類別的數量一致，比如，在設置的關鍵點的類別數量為17個的情況下，基於待檢測圖像生成的關鍵點熱圖的數量也為17個。其中，每種類別的關鍵點的數量可以為一個。
圖像特徵圖的數量可以為一個，也可以為多個。其中，在圖像特徵圖的數量為一個的情況下，該圖像特徵圖可以表徵待檢測圖像中各個目標對象的、各種類別的關鍵點對應的部位之間的相對位置關係。在圖像特徵圖的數量為多個的情況下，圖像特徵圖的數量與關鍵點熱圖的數量可以相同，即每張圖像特徵圖可以表徵待檢測圖像中各個目標對象的一種類別的關鍵點對應的部位之間的相對位置關係。其中，圖像特徵圖的尺寸與關鍵點熱圖的尺寸一致。
在實施過程中，可以通過在關鍵點檢測神經網路中設置不同的損失函數，得到圖像特徵圖和多個關鍵點熱圖。
針對S103：這裡，可以從多個關鍵點熱圖和圖像特徵圖中提取得到每個關鍵點的資訊，將包含資訊的每個關鍵點作為節點、以不同類別的關鍵點之間的邊作為連接邊，構成了初始關鍵點圖模型。其中，連接邊的資訊可以為對應兩個關鍵點之間存在連接關係的資訊，比如，連接邊一的資訊可以為：連接邊一對應的關鍵點P1和關鍵點P2存在連接關係。
在本發明的一些實施例中，關鍵點的資訊包括位置資訊、類別資訊、以及圖元特徵資訊。其中，可以根據以下步驟確定初始關鍵點圖模型中各個關鍵點的資訊：基於關鍵點熱圖，確定各個關鍵點的位置資訊；基於每個關鍵點的位置資訊，從圖像特徵圖中提取關鍵點的圖元特徵資訊，並基於關鍵點所屬關鍵點熱圖的類別標籤，確定關鍵點對應的類別資訊。
在實施過程中，可以基於關鍵點熱圖中每個圖元點的圖元值，確定各個關鍵點的位置資訊。示例性的，針對每個關鍵點熱圖，可以選擇圖元值為極大值的圖元點，確定為一關鍵點，並將選擇的該圖元點的位置資訊確定為關鍵點的位置資訊。其中，在關鍵點熱圖中某一圖元點的圖元值大於周圍圖元點的圖元值的情況下，認為該圖元點的圖元值為極大值，該圖元點為關鍵點。在得到了每個圖元點的位置資訊之後，可以從圖像特徵圖中提取與該位置資訊對應的圖元點的圖元值，將提取的圖元值確定為關鍵點的圖元特徵資訊。同時，還可以根據每個關鍵點所屬關鍵 點熱圖的類別標籤，確定關鍵點對應的類別資訊。比如，在關鍵點熱圖G1的類別標籤為頭部的情況下，關鍵點熱圖G1中包括的各個關鍵點的類別資訊為頭部關鍵點；在關鍵點熱圖G2的類別標籤為頸部的情況下，關鍵點熱圖G2中包括的各個關鍵點的類別資訊為頸部關鍵點。
針對S104：在本發明的一些實施例中，在對初始關鍵點進行多次剪枝處理之前，還可以包括：針對初始關鍵點圖模型中的每個關鍵點，基於關鍵點的資訊和關鍵點圖模型中與關鍵點之間存在連接邊的其他關鍵點的資訊，確定關鍵點的融合特徵。進而，對初始關鍵點圖模型進行多次連接邊的剪枝處理，可以包括：基於初始關鍵點圖模型中包含的每個關鍵點的融合特徵，對初始關鍵點圖模型進行多次連接邊的剪枝處理。
這裡，可以先為初始關鍵點圖模型中的每個關鍵點生成對應的融合特徵，再基於每個關鍵點的融合特徵，對初始關鍵點圖模型進行多次連接邊的剪枝處理。
在實施過程中，可以針對每個關鍵點，確定初始關鍵點圖模型中與該關鍵點之間存在連接邊的其他關鍵點，基於該關鍵點的資訊和其他關鍵點的資訊，生成該關鍵點的融合特徵。示例性的，可以利用圖神經網路(Graph Neural Network，GNN)，確定初始關鍵點圖模型中，每個關鍵點的融合特徵，並基於初始關鍵點圖模型中包含的每個關鍵點的融合特徵，對初始關鍵點圖模型進行多次連接邊的剪枝處理。
上述實施方式中，通過針對每個關鍵點，基於該關鍵點的資訊和與該關鍵點之間存在連接邊的其他關鍵點的資訊，生成該關鍵點對應的融合特徵，這樣，該關鍵點的融合特徵不僅可以表徵該關鍵點的特徵，還可以表徵該關鍵點與其他關鍵點之間的關聯關係，使得基於各個關鍵點分別對應的融合特徵，可以較準確的對初始關鍵點圖模型進行多次連接邊的剪枝處理，進而可以較準確的確定每個目標對象對應的關鍵點資訊。
在本發明的一些實施例中，對初始關鍵點圖模型進行多次連接邊的剪枝處理，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇，包括：針對當前關鍵點圖模型執行第一處理過程：步驟一、基於當前關鍵點圖模型中的每條連接邊對應的兩個關鍵點的融合特徵，對當前關鍵點圖模型包括的多個關鍵點中相鄰關鍵點進行同一目標對象的關鍵點聚類，得到至少一個巨集節點；其中，巨集節點中包括聚類後的多個相鄰關鍵點；並基於每個巨集節點中包括的關鍵點的融合特徵，確定巨集節點的融合特徵；步驟二、基於得到的至少一個巨集節點和當前關鍵點圖模型，對當前關鍵點圖模型進行當前次連接邊的剪枝處理，並得到當前次剪枝處理後的關鍵點圖模型；步驟三、在執行完當前次的第一處理過程之後，將當前次剪枝處理後的關鍵點圖模型作為當前關鍵點圖模型，將當前次確定的巨集節點以及巨集節點的融合特徵作為當前關鍵圖模型中的關鍵點以及關鍵點的融合特徵， 並再次執行第一處理過程，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇。這裡，可以將初始關鍵點圖模型作為當前關鍵點圖模型，執行第一次第一處理過程，得到剪枝處理後的關鍵點圖模型；並將第一次剪枝處理後的關鍵點圖模型作為當前關鍵點圖模型，將第一次剪枝處理後得到的每個巨集節點和每個巨集節點對應的融合特徵，作為當前關鍵點圖模型中的關鍵點以及關鍵點的融合特徵，執行第二次第一處理過程，直至處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇，聚類得到的簇的數量與待檢測圖像中包括的目標對象的數量相同，每個簇中包括一個目標對象對應的全部關鍵點，即得到了待檢測圖像中每個目標對象的各個關鍵點。
上述實施方式下，在每一次第一處理過程中，對相鄰關鍵點進行一次聚類，得到至少一個巨集節點，每個巨集節點中包括的多個關鍵點為同一目標對象的關鍵點，通過對初始關鍵點圖模型進行多次第一處理過程，直至處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇，得到了每個目標對象的關鍵點資訊，使得得到的每個目標對象對應的關鍵點資訊較為準確。
下述對第一處理過程進行詳細說明：在步驟一中，在本發明的一些實施例中，基於當前關鍵點圖模型中的每條連接邊對應的兩個關鍵點的融合特徵，對當前關鍵點圖模型包括的多個關鍵點中相鄰關鍵點進行同一目標對象的關鍵點聚類，得到至少一個巨集節點，包括：A1，基於 連接邊對應的兩個關鍵點的融合特徵，確定連接邊的權重，權重表徵連接邊對應的兩個關鍵點屬於同一目標對象的概率。A2，基於當前關鍵點圖模型中包括的每條連接邊的權重，對當前關鍵點圖模型包括的多個關鍵點中相鄰關鍵點進行同一目標對象的關鍵點聚類，得到至少一個巨集節點。這裡，可以確定每條連接邊對應的權重，該權重表徵連接邊兩側的兩個關鍵點屬於同一目標對象的概率。示例性的，可以通過訓練的邊判別器，針對每條連接邊對應的兩個關鍵點的融合特徵，確定每條連接邊的權重。
在本發明的一些實施例中，可以基於當前關鍵點圖模型中包括的每條連接邊的權重，對當前關鍵點圖模型中包括的多個關鍵點中相鄰關鍵點進行關鍵點聚類，得到至少一個巨集節點，其中，每個巨集節點中包括的多個關鍵點為屬於同一目標對象的關鍵點。比如可以將權重較大的連接邊對應的兩個關鍵點聚類在一起，得到一個巨集節點。每個巨集節點中包括當前關鍵點圖模型中的兩個關鍵點，並使得聚類後得到的至少一個巨集節點中包括的連接邊的權重和較大。比如，在對當前關鍵點圖模型進行本次關鍵點聚類後，得到兩個巨集節點的情況下，可以使得聚類後得到該兩個巨集節點中包括的連接邊權重和較大。
在得到了巨集節點之後，進行下一次第一處理過程之前，可以確定每個巨集節點的融合特徵。即可以將巨集節點中包括的每個關鍵點的融合特徵進行融合處理，得到巨集節點對應的融合特徵。在實施過程中，可以將巨集節 點中包括的每個關鍵點的融合特徵進行池化處理，得到該巨集節點的融合特徵。
這裡，通過確定每條連接邊的權重，該權重表徵連接邊對應的兩個關鍵點屬於同一目標對象的概率，再可以基於每條連接邊的權重，對當前關鍵點圖模型包括的多個關鍵點中相鄰關鍵點進行同一目標對象的關鍵點聚類，得到至少一個巨集節點，比如將對應權重較大的兩個關鍵點聚類在一起，得到一個巨集節點，使得巨集節點的確定較為準確。
在步驟二中，基於得到的至少一個巨集節點和當前關鍵點圖模型，對當前關鍵點圖模型進行當前次連接邊的剪枝處理，並得到當前次剪枝處理後的關鍵點圖模型，包括：B1，基於得到的至少一個巨集節點和當前關鍵點圖模型，確定待刪減連接邊，並從當前關鍵點圖模型中將待刪減連接邊刪除。B2，將至少一個巨集節點、和當前關鍵點圖模型中除巨集節點中包括的關鍵點之外的其他關鍵點作為剪枝處理後的關鍵點，將刪除後剩餘的連接邊作為剪枝處理後的連接邊，得到當前次剪枝處理後的關鍵點圖模型。
這裡，在步驟B1中，可以先根據得到的至少一個巨集節點和當前關鍵點圖模型，確定當前次剪枝處理中待刪減連接邊，並將該待刪減連接邊從當前關鍵點圖模型中刪除。
在本發明的一些實施例中，在步驟B1中，基於得 到的至少一個巨集節點和當前關鍵點圖模型，確定待刪減連接邊，包括：基於至少一個巨集節點中包括的每個關鍵點的類別資訊、以及當前關鍵點圖模型中除至少一個巨集節點中包括的關鍵點之外的其他關鍵點的類別資訊，確定待刪減連接邊。這裡，考慮到每個目標對象中僅可以包括一個相同類別的關鍵點，比如，每個目標對象中僅可以包括一個頭部類別的關鍵點、一個頸部類別的關鍵點、一個左腳類別的關鍵點，因此，可以基於至少一個巨集節點中包括的每個關鍵點的類別資訊、以及當前關鍵點圖模型中除至少一個巨集節點中包括的關鍵點之外的其他關鍵點的類別資訊，確定待刪減連接邊。
在本發明的一些實施例中，基於至少一個巨集節點中包括的每個關鍵點的類別資訊、以及當前關鍵點圖模型中除至少一個巨集節點中包括的關鍵點之外的其他關鍵點的類別資訊，確定待刪減連接邊，包括：針對當前關鍵點圖模型中的任一連接邊：條件一、在該任一連接邊對應的兩個關鍵點為不同巨集節點中的關鍵點，且該任一連接邊對應的兩個巨集節點中存在類別資訊相同的關鍵點的情況下，確定該任一連接邊為待刪減連接邊。條件二、在該任一連接邊對應的兩個關鍵點為同一巨集節點中的關鍵點的情況下，確定該任一連接邊為待刪減連接邊。條件三、在該任一連接邊對應的兩個關鍵點中一個關鍵點為巨集節點中的關鍵點、另一個關鍵點不是巨集節點中的關鍵點，且該任一連接邊對應的巨集節點中存在 與另一個關鍵點的類別資訊相同的關鍵點的情況下，確定該任一連接邊為待刪減連接邊。
這裡，針對當前關鍵點圖模型中的任一連接邊，在該連接邊滿足條件一、條件二、和條件三中的任一種條件的情況下，認為該連接邊為待刪減連接邊，否則，該連接邊不屬於待刪減連接邊。
在條件一中，在連接邊對應的兩個關鍵點為不同巨集節點中的關鍵點的情況下，可以判斷該連接邊對應的兩個巨集節點中是否存在類別資訊相同的關鍵點，在存在類別資訊相同的關鍵點的情況下，該連接邊為待刪減連接邊；在不存在類別資訊相同的關鍵點的情況下，該連接邊不屬於待刪減連接邊。在條件二中，在連接邊對應的兩個關鍵點為同一巨集節點中的關鍵點的情況下，該連接邊為待刪減連接邊。在條件三中，在該連接邊對應的關鍵點中一個關鍵點是巨集節點中包括的關鍵點，另一個關鍵點不是巨集節點中的關鍵點，即另一個關鍵點是當前關鍵點圖模型中除巨集節點包括的關鍵點之外的其他關鍵點的情況下，可以判斷該連接邊對應的巨集節點中是否存在與另一關鍵點的類別資訊相同的關鍵點，在存在所述關鍵點的情況下，該連接邊為待刪減連接邊；在不存在所述關鍵點的情況下，該連接邊不屬於待刪減連接邊。
上述實施方式下，考慮到每個目標對象的關鍵點資訊中同類別的關鍵點僅包括一個，即每個目標對象的關鍵點資訊中包括一個頭部關鍵點、一個頸部關鍵點、一個左 腳關鍵點等，因此，這裡可以基於連接邊對應的兩個關鍵點的類別，確定待刪減連接邊，並生成剪枝後的關鍵點圖模型，進而可以進行下一次第一處理過程，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇。
在B2中，在將待刪減連接邊刪除之後，可以將至少一個巨集節點、和當前關鍵點圖模型中除巨集節點中包括的關鍵點之外的其他關鍵點作為剪枝處理後的關鍵點，將刪除後剩餘的連接邊作為兼職處理後的連接邊，得到當前次剪枝處理後的關鍵點圖模型。即當前次剪枝處理後的關鍵點圖模型中，在關鍵點為巨集節點的情況下，該關鍵點的融合特徵為該巨集節點對應的融合特徵。
在步驟三中，在執行完當前次的第一處理過程之後，可以將當前次剪枝處理後的關鍵點圖模型作為下一次剪枝處理時對應的當前關鍵點圖模型，將當前次確定的巨集節點以及巨集節點的融合特徵作為當前關鍵圖模型中的關鍵點以及關鍵點的融合特徵，並再次執行第一處理過程，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇，也即直至處理後的關鍵點圖模型中不存在任一條連接邊時為止，進而得到了待檢測圖像中包括的每個目標對象的各個關鍵點。
參見圖2A所示，圖中示出的是一種關鍵點檢測方法中，剪枝處理的流程示意圖；可以基於待檢測圖像，生成圖像特徵圖22(即Feature maps)和多個關鍵點熱圖21(即Heatmaps)，再基於圖像特徵圖22和多個 關鍵點熱圖21，生成初始關鍵點圖模型23，其中，初始關鍵點圖模型23中的圓形標識為關鍵點，虛線為不同類別的關鍵點之間的連接邊。接著，可以為每個關鍵點生成對應的融合特徵，並通過訓練的邊判別器24確定每一條連接邊的權重，並基於初始關鍵點圖模型23中包括的每條連接邊的權重，對初始關鍵點圖模型包括的多個關鍵點中相鄰關鍵點進行同一目標對象的關鍵點聚類，得到至少一個巨集節點25。再接著，可以基於得到的至少一個巨集節點25和初始關鍵點圖模型23，確定待刪減連接邊，並從初始關鍵點圖模型中將待刪減連接邊刪除，再將至少一個巨集節點、和初始關鍵點圖模型中除巨集節點中包括的關鍵點之外的其他關鍵點作為剪枝處理後的關鍵點，將刪除後剩餘的連接邊作為剪枝處理後的連接邊，得到當前次剪枝處理後的關鍵點圖模型26，將當前次剪枝處理後的關鍵點圖模型26作為當前關鍵點圖模型再次進行第一處理過程，直至處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇，即如圖2A中最後一步得到的處理結果。其中，在待訓練神經網路進行訓練的情況下，還可以通過巨集節點判別器27對生成的每個巨集節點進行判別，即判斷每個巨集節點中包括的關鍵點是否屬於同一個目標對象，並基於巨集節點判別器27的檢測結果對待訓練神經網路進行訓練，得到訓練好的目標神經網路。
在本發明的一些實施例中，每個目標對象的關鍵點資訊通過預先訓練好的目標神經網路生成；其中，目標神 經網路是由包括巨集節點判別器的待訓練神經網路訓練得到的，巨集節點判別器用於判別每個巨集節點中包括的多個關鍵點是否屬於同一目標對象。可以將待檢測圖像輸入至預先訓練好的目標神經網路中，得到待檢測圖像中包括的每個目標對象的關鍵點資訊。其中，每個目標對象對應的各個關鍵點的類別和關鍵點的數量，可以根據實際需要進行設置。
在實施過程中，該預先訓練好的目標神經網路中可以不包括巨集節點判別器。即該巨集節點判別器可以在待訓練神經網路的訓練過程中，判斷得到的每個巨集節點中的多個關鍵點是否屬於同一目標對象。在上述實施方式下，通過對包含巨集節點判別器的待訓練神經網路進行訓練，得到目標神經網路，其中，巨集節點判別器用於判別每個巨集節點中包括的多個關鍵點是否屬於同一目標對象，可以使得訓練得到的目標神經網路的準確度較高。
在本發明的一些實施例中，通過下述步驟對待訓練神經網路進行訓練，得到預先訓練好的目標神經網路。
獲取樣本圖像；並基於樣本圖像，對包括巨集節點判別器的待訓練神經網路進行訓練，得到預先訓練好的目標神經網路。
在基於樣本圖像，對包括巨集節點判別器的待訓練神經網路進行訓練，得到預先訓練好的目標神經網路，可以包括：一、基於樣本圖像，對待訓練神經網路進行訓練，得到預測結果，預測結果包括巨集節點判別器的檢測結果、 每個關鍵點的預測類別、以及每個關鍵點的預測位置資訊。二、基於巨集節點判別器的檢測結果，確定第一損失值；以及基於每個關鍵點的預測類別、每個關鍵點的預測位置資訊，和樣本圖像中攜帶的標注結果，確定第二損失值；其中，標注結果包括每個關鍵點屬於對應目標對象的標注類別，以及每個關鍵點的標注位置資訊。三、基於第一損失值和第二損失值，對待訓練神經網路進行訓練，得到預先訓練好的目標神經網路。這裡，樣本圖像中攜帶有標注結果，該標注結果中包括每個關鍵點屬於對應目標對象的標注類別，以及每個關鍵點的標注位置資訊。將樣本圖像輸入至待訓練神經網路中，得到預測結果，其中，預測結果中包括巨集節點判別器的檢測結果、每個關鍵點的預測類別、以及每個關鍵點的預測位置資訊。進而可以基於預測結果和標注結果，對待訓練神經網路進行訓練，得到訓練好的目標神經網路。可以基於巨集節點判別器的檢測結果，確定第一損失值，並基於每個關鍵點的預測類別、每個關鍵點的預測位置資訊，和樣本圖像中攜帶的標注結果，確定第二損失值；通過第一損失值與第二損失值之和，對待訓練神經網路進行訓練，得到目標神經網路。
在本發明的一些實施例中，在得到待檢測圖像中的每個目標對象的關鍵點資訊之後，還包括：基於每個目標對象對應的關鍵點資訊，確定該目標對象的行為類型。這裡，在得到每個目標對象的各個關鍵點的資訊之後，可以將每個目標對象的各個關鍵點的資訊輸入至行為檢測神 經網路中，確定該目標對象的行為類型，比如，該行為類型可以為跑步、走步、托舉雙臂等。
在本發明的一些實施例中，在得到待檢測圖像中的每個目標對象的關鍵點資訊之後，還包括：基於每個目標對象對應的關鍵點資訊，確定該目標對象的至少一個目標部位的位置資訊，並根據至少一個目標部位的位置資訊，生成針對至少一個目標部位的特效資訊。這裡，可以針對每個目標對象的各個關鍵點的資訊，確定該目標對象的至少一個目標部位的位置資訊，基於預設的目標部位對應的特效資訊，在目標部位的位置處生成對應的特效資訊。其中，目標部位可以為手臂、頭部、手部等。比如，可以針對目標對象的各個關鍵點的資訊，確定目標對象的手臂位置，並基於預設的手臂的特效資訊，在目標對象的手臂位置處，生成手臂對應的特效資訊。
相關技術中，人體關鍵點檢測和跟蹤是視頻分析的基礎，在安防領域、動作分析領域具有重要的應用前景。自底向上的多人姿態檢測技術，由於較高的計算效率，而被廣泛應用。一般地，自底向上方法一般分為兩步，第一步預測關鍵點的高斯回應圖，並得到各個關鍵點的位置。第二步，對各個關鍵點進行聚類，得到完整的人體姿態。然而，相關技術中，聚類步驟採用圖分割演算法或者啟發式的聚類演算法。聚類只是作為後處理操作，並沒有直接對聚類結果進行監督。由此可知，相關技術中，存在以下缺點：1)聚類步驟一般採用圖分割演算法或者啟發式的 聚類演算法，只是作為後處理操作，並沒有直接對聚類結果進行監督；2)普通的圖聚類演算法，無法充分利用人體的分層結構先驗資訊，例如，分層資訊為：一個人可以分解為上半身和下半身；上半身又可以分解為頭、肩膀、胳膊；而頭部又由臉部的5個關鍵點組成；3)普通的圖聚類演算法，只利用了局部資訊，而忽視了全域人體資訊。
為解決上述問題，本發明實施例提供了一種關鍵點檢測方法，該方法中，首先基於可微分的“分層圖聚類別模組”，將關鍵點的檢測和聚類聯合起來，進行端到端地訓練。然後，對聚類結果進行監督，聚類的損失可以直接反傳回底層特徵提取網路，進行整體網路優化。這樣，網路更加注重聚類結果錯誤的關鍵點，可以更加有效的進行特徵學習。一方面，分層的圖聚類演算法一步步反覆運算地對目標對象關鍵點進行聚類，構成了從關鍵點--肢體--整個目標對象的層次結構，可以對各個層次的聚類結構進行監督，能夠更好地保留目標對象的層次結構先驗資訊。另一方面，通過引入宏關鍵點判別器(Macro-node Discriminator)可以對整個巨集結點內部的特徵進行判別，更好地保留了全域特徵資訊。
圖2A為本發明實施例所提供的一種關鍵點檢測方法中，剪枝處理的流程示意圖，通過判斷兩兩關鍵點是否屬於同一個目標對象，把同一個目標對象的關鍵點聚集在一起。
1)提取待檢測圖像中的關鍵點資訊，並根據所述關鍵點資訊構造初始關鍵點圖模型；這裡，首先，需要提取關鍵點的資訊，來構造初始關鍵點圖模型G={V,E}。初始關鍵點圖模型G分為關鍵點V和邊E兩部分，其中關鍵點V為各個關鍵點的資訊，即包含「關鍵點的類別T，關鍵點的座標X，關鍵點的特徵F」。而邊E代表關鍵點之間的關係，即是否屬於同一個目標對象。構造初始關鍵點圖模型之後，進行相關性特徵的提取。
2)利用GNN來進行相關性特徵的學習。使用邊卷積(EdgeConv)來搭建圖卷積神經網路模型，對所構造好的關鍵點圖模型(Graph)進行卷積，更新關鍵點的特徵。
3)更新關鍵點之間的相似度矩陣：接著訓練一個邊判別器(Edge Discriminator)，對每一對關鍵點進行判別，判斷這一對關鍵點是否屬於同一個目標對象。利用判別資訊來更新關鍵點之間的相似度矩陣。
4)聚類(Grouping)：利用關鍵點之間的相似度矩陣，執行聚類演算法，將相鄰的關鍵點聚集在一起，成為一個新的巨集節點(聚類後得到的關鍵點成為巨集節點)。訓練一個巨集節點的判別器(Macro-Node Discriminator)，判斷一個巨集節點內部的關鍵點是否屬於同一個目標對象。
5)剪枝處理(Graph Pruning)：根據一些目標對象結構先驗約束，來對關鍵點圖模型(Graph)進行 剪枝處理，刪除一些無關的邊。
6)特徵聚集(Feature Aggregation)：對每個巨集節點更新特徵。整個聚類過程反覆運算地進行，直到關鍵點圖模型中所有的邊被刪去，或所有關鍵點被成功聚類為若干個簇。
本發明實施例提供了一種關鍵點檢測方法，以線上分層圖聚類(Online Hierarchical Graph Clustering，OHGC)為例，輸入：一張多目標對象的RGB圖像(目標對象數假設為P)；輸出：P個目標對象關鍵點簇(一個目標對象的所有關鍵點組成一個簇)；所述方法包括：步驟S1，提取待檢測圖像中的關鍵點資訊；步驟S2，構造多目標對象的關鍵點熱圖；步驟S3，基於GNN的相關性進行特徵學習；步驟S4，反覆運算若干次，直到所述關鍵點圖模型中無待剪枝邊。
在本發明的一些實施例中，所述步驟S4，反覆運算若干次，直到所述關鍵點圖模型中無待剪枝邊，包括：步驟S41，利用池化層(avg-pooling)，進行關鍵點特徵融合；步驟S42，更新關鍵點之間的相似度矩陣；步驟S43，對所述關鍵點進行聚類；這裡，所述聚類可以為用於實現關鍵點的合併；步驟S44，對當前關鍵點圖模型進行剪枝處理。根據目標對象結構約束，刪去對當前關鍵點圖模型中不合理的邊。例如，一個目標對象只有一個頭頂點。
圖2B為本發明實施例所提供的一種實現關鍵點檢測方法的網路結構示意圖，如圖2B所示，所述網路結構包括：GNN模組28、邊判別器29(Edge Discriminator)和巨集節點判別器30(Macro-node Discriminator)，其中：GNN模組28，由邊緣卷積EdgeConv層和多層神經網路(Multi-Layer Perceptron，MLP)堆疊而成。其中，EdgeConv層為一種可微的，能嵌入已有的網路架構中的神經網路模組，具有含了局部領域資訊；通過堆疊EdgeConv模組或迴圈使用，可以提取到全域形狀資訊等優點。邊判別器29，配置為輸入一對關鍵點的特徵，來判斷這兩個關鍵點是否屬於同一個目標對象。巨集節點判別器30，配置為判斷一個巨集節點內部的關鍵點是否完全屬於同一個目標對象。
上述方法既可以用於在互聯網視頻中，對目標對象關鍵點的位置進行準確預測；又可以用於分析目標對象的行為種類；還可以用於，在目標對象的不同部位增加即時特效。上述方法中，基於分層的圖聚類別模組，實現了線上分層的圖聚類演算法，保留了目標對象的結構先驗資訊和目標對象全域資訊。一方面，通過端到端的訓練，更加關注聚類結果出現的錯誤，更加有效的進行特徵學習，可以直接優化聚類結果，提升了聚類精度；另一方面，能夠利用目標對象結構先驗資訊和全域特徵資訊，提升了關鍵點的聚類精度。
本領域技術人員可以理解，在實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的執行順序應當以其功能和可能的內在邏輯確定。
基於相同的構思，本發明實施例還提供了一種關鍵點檢測裝置，參見圖3所示，為本發明實施例提供的關鍵點檢測裝置的架構示意圖，包括獲取模組301、第一生成模組302、第二生成模組303、處理模組304、確定模組305、訓練模組306、行為類型確定模組307、以及特效生成模組308，其中：獲取模組301，配置為獲取待檢測圖像；第一生成模組302，配置為基於所述待檢測圖像，生成圖像特徵圖和多個關鍵點熱圖；所述圖像特徵圖用於表徵所述待檢測圖像中各個目標對象的關鍵點之間的相對位置關係；每個所述關鍵點熱圖中包含所述待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應所述目標對象的不同部位；第二生成模組303，配置為基於所述圖像特徵圖和多個所述關鍵點熱圖，生成初始關鍵點圖模型；所述初始關鍵點圖模型中包含所述待檢測圖像中不同類別的關鍵點的資訊以及連接邊的資訊，每個連接邊為兩個不同類別的關鍵點之間的邊；處理模組304，配置為對所述初始關鍵點圖模型進行多次所述連接邊的剪枝處理，直到處理後的關鍵點圖模型中 的多個關鍵點被聚類為多個簇，得到分別屬於各個目標對象的關鍵點資訊。
一種可能的實施方式中，所述關鍵點的資訊包括位置資訊、類別資訊、以及圖元特徵資訊；所述第二生成模組303，配置為根據以下步驟確定所述初始關鍵點圖模型中各個關鍵點的資訊：基於所述關鍵點熱圖，確定各個關鍵點的位置資訊；基於每個所述關鍵點的位置資訊，從所述圖像特徵圖中提取所述關鍵點的圖元特徵資訊，並基於所述關鍵點所屬關鍵點熱圖的類別標籤，確定所述關鍵點對應的類別資訊。
一種可能的實施方式中，所述裝置還包括：確定模組305，配置為針對所述初始關鍵點圖模型中的每個所述關鍵點，基於所述關鍵點的資訊和所述關鍵點圖模型中與所述關鍵點之間存在連接邊的其他關鍵點的資訊，確定所述關鍵點的融合特徵；所述處理模組304，在對所述初始關鍵點圖模型進行多次所述連接邊的剪枝處理的情況下，配置為：基於所述初始關鍵點圖模型中包含的每個所述關鍵點的融合特徵，對所述初始關鍵點圖模型進行多次所述連接邊的剪枝處理。
一種可能的實施方式中，所述處理模組304，在對所述初始關鍵點圖模型進行多次所述連接邊的剪枝處理，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇的情況下，配置為：針對當前關鍵點圖模型執行第一處理過程：基於所述當前關鍵點圖模型中的每條連接邊 對應的兩個關鍵點的融合特徵，對所述當前關鍵點圖模型包括的多個關鍵點中相鄰關鍵點進行同一目標對象的關鍵點聚類，得到至少一個巨集節點；其中，所述巨集節點中包括聚類後的多個相鄰關鍵點；並基於每個所述巨集節點中包括的關鍵點的融合特徵，確定所述巨集節點的融合特徵；基於得到的至少一個所述巨集節點和所述當前關鍵點圖模型，對所述當前關鍵點圖模型進行當前次所述連接邊的剪枝處理，並得到當前次剪枝處理後的關鍵點圖模型；在執行完當前次的所述第一處理過程之後，將當前次剪枝處理後的關鍵點圖模型作為當前關鍵點圖模型，將當前次確定的所述巨集節點以及所述巨集節點的融合特徵作為所述當前關鍵圖模型中的關鍵點以及關鍵點的融合特徵，並再次執行所述第一處理過程，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇。
一種可能的實施方式中，所述處理模組304，在基於所述當前關鍵點圖模型中的每條連接邊對應的兩個關鍵點的融合特徵，對所述當前關鍵點圖模型包括的多個關鍵點中相鄰關鍵點進行同一目標對象的關鍵點聚類，得到至少一個巨集節點的情況下，配置為：基於所述連接邊對應的兩個關鍵點的融合特徵，確定所述連接邊的權重，所述權重表徵所述連接邊對應的兩個關鍵點屬於同一目標對象的概率；基於所述當前關鍵點圖模型中包括的每條連接邊的權重，對所述當前關鍵點圖模型包括的多個關鍵點中相鄰關鍵點進行同一目標對象的關鍵點聚類，得到至 少一個巨集節點。
一種可能的實施方式中，所述處理模組304，在基於得到的至少一個所述巨集節點和所述當前關鍵點圖模型，對所述當前關鍵點圖模型進行當前次所述連接邊的剪枝處理，並得到當前次剪枝處理後的關鍵點圖模型的情況下，配置為：基於得到的至少一個所述巨集節點和所述當前關鍵點圖模型，確定待刪減連接邊，並從所述當前關鍵點圖模型中將所述待刪減連接邊刪除；將至少一個所述巨集節點、和所述當前關鍵點圖模型中除所述巨集節點中包括的關鍵點之外的其他關鍵點作為剪枝處理後的關鍵點，將刪除後剩餘的連接邊作為剪枝處理後的連接邊，得到當前次剪枝處理後的關鍵點圖模型。
一種可能的實施方式中，所述處理模組304，在基於得到的至少一個巨集節點和所述當前關鍵點圖模型，確定待刪減連接邊的情況下，配置為：基於至少一個巨集節點中包括的每個關鍵點的類別資訊、以及所述當前關鍵點圖模型中除至少一個巨集節點中包括的關鍵點之外的其他關鍵點的類別資訊，確定所述待刪減連接邊。
一種可能的實施方式中，所述處理模組304，在基於至少一個巨集節點中包括的每個關鍵點的類別資訊、以及所述當前關鍵點圖模型中除至少一個巨集節點中包括的關鍵點之外的其他關鍵點的類別資訊，確定所述待刪減連接邊的情況下，配置為：針對所述當前關鍵點圖模型中的任一連接邊，在該任一連接邊對應的兩個關鍵點為不 同巨集節點中的關鍵點，且該任一連接邊對應的兩個巨集節點中存在類別資訊相同的關鍵點的情況下，確定該任一連接邊為所述待刪減連接邊；在該任一連接邊對應的兩個關鍵點為同一巨集節點中的關鍵點的情況下，確定該任一連接邊為所述待刪減連接邊；在該任一連接邊對應的兩個關鍵點中一個關鍵點為巨集節點中的關鍵點、另一個關鍵點不是巨集節點中的關鍵點，且該任一連接邊對應的所述巨集節點中存在與另一個關鍵點的類別資訊相同的關鍵點的情況下，確定該任一連接邊為所述待刪減連接邊。
一種可能的實施方式中，所述每個目標對象的關鍵點資訊通過預先訓練好的目標神經網路生成；其中，所述目標神經網路是由包括巨集節點判別器的待訓練神經網路訓練得到，巨集節點判別器用於判別每個巨集節點中包括的多個關鍵點是否屬於同一目標對象。
一種可能的實施方式中，所述裝置還包括：訓練模組306，配置為通過下述步驟對所述待訓練神經網路進行訓練，得到預先訓練好的目標神經網路：獲取樣本圖像；基於所述樣本圖像，對包括所述巨集節點判別器的待訓練神經網路進行訓練，得到預先訓練好的目標神經網路。
一種可能的實施方式中，所述訓練模組306，在基於所述樣本圖像，對包括所述巨集節點判別器的待訓練神經網路進行訓練，得到預先訓練好的目標神經網路的情況下，配置為：基於所述樣本圖像，對所述待訓練神經網路進行訓練，得到預測結果，所述預測結果包括所述巨集 節點判別器的檢測結果、每個關鍵點的預測類別、以及每個關鍵點的預測位置資訊；基於所述巨集節點判別器的檢測結果，確定第一損失值；以及基於所述每個關鍵點的預測類別、所述每個關鍵點的預測位置資訊，和所述樣本圖像中攜帶的標注結果，確定第二損失值；其中，所述標注結果包括每個關鍵點屬於對應目標對象的標注類別，以及每個關鍵點的標注位置資訊；基於所述第一損失值和所述第二損失值，對所述待訓練神經網路進行訓練，得到預先訓練好的目標神經網路。
一種可能的實施方式中，在得到所述待檢測圖像中的每個目標對象的關鍵點資訊之後，還包括：行為類型確定模組307，配置為基於每個目標對象對應的所述關鍵點資訊，確定該目標對象的行為類型。
一種可能的實施方式中，在得到所述待檢測圖像中的每個目標對象的關鍵點資訊之後，還包括：特效生成模組308，配置為基於每個目標對象對應的所述關鍵點資訊，確定該目標對象的至少一個目標部位的位置資訊，並根據所述至少一個目標部位的位置資訊，生成針對所述至少一個目標部位的特效資訊。
在一些實施例中，本發明實施例提供的裝置具有的功能或包含的範本可以用於執行上文方法實施例描述的方法，其實現的過程可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。
基於同一技術構思，本發明實施例還提供了一種電 子設備。參照圖4所示，為本發明實施例提供的電子設備的結構示意圖，包括處理器401、記憶體402、和匯流排403。其中，記憶體402配置為儲存執行指令，包括內部記憶體4021和外部記憶體4022；這裡的內部記憶體4021也稱內記憶體，配置為暫時存放處理器401中的運算資料，以及與硬碟等外部記憶體4022交換的資料，處理器401通過內部記憶體4021與外部記憶體4022進行資料交換，在電子設備400運行的情況下，處理器401與記憶體402之間通過匯流排403通信，使得處理器401在執行以下指令：獲取待檢測圖像；基於所述待檢測圖像，生成圖像特徵圖和多個關鍵點熱圖；所述圖像特徵圖用於表徵所述待檢測圖像中各個目標對象之間的相對位置關係；每個所述關鍵點熱圖中包含所述待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應所述目標對象的不同部位；基於所述圖像特徵圖和多個所述關鍵點熱圖，生成初始關鍵點圖模型；所述初始關鍵點圖模型中包含所述待檢測圖像中不同類別的關鍵點的資訊以及連接邊的資訊，每個連接邊為兩個不同類別的關鍵點之間的邊；對所述初始關鍵點圖模型進行多次所述連接邊的剪枝處理，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇，得到分別屬於各個目標對象的關鍵點資訊。此外，本發明實施例還提供一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行時執行上述方法實施例中所述的關鍵點檢測方法的步驟。
本發明實施例所提供的關鍵點檢測方法的電腦程式產品，包括儲存了程式碼的電腦可讀儲存介質，所述程式碼包括的指令可用於執行上述方法實施例中所述的關鍵點檢測方法的步驟，可參見上述方法實施例，在此不再贅述。
所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統和裝置的工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。在本發明所提供的幾個實施例中，應該理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，又例如，多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信介面，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個 以上單元集成在一個單元中。
所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個處理器可執行的非易失的電腦可讀取儲存介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者該技術方案的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備(可以是個人電腦，伺服器，或者網路設備等)執行本發明各個實施例所述方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體(Read-Only Memory，ROM)、隨機存取記憶體(Random Access Memory，RAM)、磁碟或者光碟等各種可以儲存程式碼的介質。以上僅為本發明的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應以申請專利範圍的保護範圍為準。
工業實用性
本發明基於生成的圖像特徵圖和多個關鍵點熱圖，生成待檢測圖像對應的初始關鍵點圖模型，由於初始關鍵點圖模型中包括圖像特徵圖和關鍵點熱圖中的資訊，而圖像特徵圖可以表徵出待檢測圖像中不同目標對象之間的相對位置關係，從而可以對初始關鍵點圖模型進行所處連接邊 的剪枝處理，得到各個目標對象的關鍵點資訊，較準確地對不同目標對象的關鍵點進行區分，以提高關鍵點聚類的精準度。
S101~S104:步驟

Claims (15)

  1. 一種關鍵點檢測方法，包括： 獲取待檢測圖像； 基於所述待檢測圖像，生成圖像特徵圖和多個關鍵點熱圖；所述圖像特徵圖用於表徵所述待檢測圖像中各個目標對象之間的相對位置關係；每個所述關鍵點熱圖中包含所述待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應所述目標對象的不同部位； 基於所述圖像特徵圖和多個所述關鍵點熱圖，生成初始關鍵點圖模型；所述初始關鍵點圖模型中包含所述待檢測圖像中不同類別的關鍵點的資訊以及連接邊的資訊，每個連接邊為兩個不同類別的關鍵點之間的邊； 對所述初始關鍵點圖模型進行多次所述連接邊的剪枝處理，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇，得到分別屬於各個目標對象的關鍵點資訊。
  2. 根據請求項1所述的方法，其中，所述關鍵點的資訊包括位置資訊、類別資訊、以及圖元特徵資訊； 根據以下步驟確定所述初始關鍵點圖模型中各個關鍵點的資訊： 基於所述關鍵點熱圖，確定各個關鍵點的位置資訊； 基於每個所述關鍵點的位置資訊，從所述圖像特徵圖中提取所述關鍵點的圖元特徵資訊，並基於所述關鍵點所屬關鍵點熱圖的類別標籤，確定所述關鍵點對應的類別資訊。
  3. 根據請求項1所述的方法，其中，所述方法還包括： 針對所述初始關鍵點圖模型中的每個所述關鍵點，基於所述關鍵點的資訊和所述關鍵點圖模型中與所述關鍵點之間存在連接邊的其他關鍵點的資訊，確定所述關鍵點的融合特徵； 所述對所述初始關鍵點圖模型進行多次所述連接邊的剪枝處理，包括： 基於所述初始關鍵點圖模型中包含的每個所述關鍵點的融合特徵，對所述初始關鍵點圖模型進行多次所述連接邊的剪枝處理。
  4. 根據請求項1至3任一項所述的方法，其中，所述對所述初始關鍵點圖模型進行多次所述連接邊的剪枝處理，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇，包括： 針對當前關鍵點圖模型執行第一處理過程： 基於所述當前關鍵點圖模型中的每條連接邊對應的兩個關鍵點的融合特徵，對所述當前關鍵點圖模型包括的多個關鍵點中相鄰關鍵點進行同一目標對象的關鍵點聚類，得到至少一個巨集節點；其中，所述巨集節點中包括聚類後的多個相鄰關鍵點；並基於每個所述巨集節點中包括的關鍵點的融合特徵，確定所述巨集節點的融合特徵； 基於得到的至少一個所述巨集節點和所述當前關鍵點圖模型，對所述當前關鍵點圖模型進行當前次所述連接邊的剪枝處理，並得到當前次剪枝處理後的關鍵點圖模型； 在執行完當前次的所述第一處理過程之後，將當前次剪枝處理後的關鍵點圖模型作為當前關鍵點圖模型，將當前次確定的所述巨集節點以及所述巨集節點的融合特徵作為所述當前關鍵圖模型中的關鍵點以及關鍵點的融合特徵，並再次執行所述第一處理過程，直到處理後的關鍵點圖模型中的多個關鍵點被聚類為多個簇。
  5. 根據請求項4所述的方法，其中，所述基於所述當前關鍵點圖模型中的每條連接邊對應的兩個關鍵點的融合特徵，對所述當前關鍵點圖模型包括的多個關鍵點中相鄰關鍵點進行同一目標對象的關鍵點聚類，得到至少一個巨集節點，包括： 基於所述連接邊對應的兩個關鍵點的融合特徵，確定所述連接邊的權重，所述權重表徵所述連接邊對應的兩個關鍵點屬於同一目標對象的概率； 基於所述當前關鍵點圖模型中包括的每條連接邊的權重，對所述當前關鍵點圖模型包括的多個關鍵點中相鄰關鍵點進行同一目標對象的關鍵點聚類，得到至少一個巨集節點。
  6. 根據請求項4所述的方法，其中，所述基於得到的至少一個所述巨集節點和所述當前關鍵點圖模型，對所述當前關鍵點圖模型進行當前次所述連接邊的剪枝處理，並得到當前次剪枝處理後的關鍵點圖模型，包括： 基於得到的至少一個所述巨集節點和所述當前關鍵點圖模型，確定待刪減連接邊，並從所述當前關鍵點圖模型中將所述待刪減連接邊刪除； 將至少一個所述巨集節點、和所述當前關鍵點圖模型中除所述巨集節點中包括的關鍵點之外的其他關鍵點作為剪枝處理後的關鍵點，將刪除後剩餘的連接邊作為剪枝處理後的連接邊，得到當前次剪枝處理後的關鍵點圖模型。
  7. 根據請求項6所述的方法，其中，所述基於得到的至少一個巨集節點和所述當前關鍵點圖模型，確定待刪減連接邊，包括： 基於至少一個巨集節點中包括的每個關鍵點的類別資訊、以及所述當前關鍵點圖模型中除至少一個巨集節點中包括的關鍵點之外的其他關鍵點的類別資訊，確定所述待刪減連接邊。
  8. 根據請求項7所述的方法，其中，基於至少一個巨集節點中包括的每個關鍵點的類別資訊、以及所述當前關鍵點圖模型中除至少一個巨集節點中包括的關鍵點之外的其他關鍵點的類別資訊，確定所述待刪減連接邊，包括： 針對所述當前關鍵點圖模型中的任一連接邊，在該任一連接邊對應的兩個關鍵點為不同巨集節點中的關鍵點，且該任一連接邊對應的兩個巨集節點中存在類別資訊相同的關鍵點的情況下，確定該任一連接邊為所述待刪減連接邊； 在該任一連接邊對應的兩個關鍵點為同一巨集節點中的關鍵點的情況下，確定該任一連接邊為所述待刪減連接邊； 在該任一連接邊對應的兩個關鍵點中一個關鍵點為巨集節點中的關鍵點、另一個關鍵點不是巨集節點中的關鍵點，且該任一連接邊對應的所述巨集節點中存在與另一個關鍵點的類別資訊相同的關鍵點的情況下，確定該任一連接邊為所述待刪減連接邊。
  9. 根據請求項1至3任一項所述的方法，其中，所述每個目標對象的關鍵點資訊通過預先訓練好的目標神經網路生成；其中，所述目標神經網路是由包括巨集節點判別器的待訓練神經網路訓練得到的，所述巨集節點判別器用於判別每個巨集節點中包括的多個關鍵點是否屬於同一目標對象。
  10. 根據請求項9所述的方法，其中，通過下述步驟對所述待訓練神經網路進行訓練，得到預先訓練好的目標神經網路： 獲取樣本圖像； 基於所述樣本圖像，對包括所述巨集節點判別器的待訓練神經網路進行訓練，得到預先訓練好的目標神經網路。
  11. 根據請求項10所述的方法，其中，基於所述樣本圖像，對包括所述巨集節點判別器的待訓練神經網路進行訓練，得到預先訓練好的目標神經網路，包括： 基於所述樣本圖像，對所述待訓練神經網路進行訓練，得到預測結果，所述預測結果包括所述巨集節點判別器的檢測結果、每個關鍵點的預測類別、以及每個關鍵點的預測位置資訊； 基於所述巨集節點判別器的檢測結果，確定第一損失值；以及基於所述每個關鍵點的預測類別、所述每個關鍵點的預測位置資訊，和所述樣本圖像中攜帶的標注結果，確定第二損失值；其中，所述標注結果包括每個關鍵點屬於對應目標對象的標注類別，以及每個關鍵點的標注位置資訊； 基於所述第一損失值和所述第二損失值，對所述待訓練神經網路進行訓練，得到預先訓練好的目標神經網路。
  12. 根據請求項1至3任一項所述的方法，其中，在得到所述待檢測圖像中的每個目標對象的關鍵點資訊之後，還包括： 基於每個目標對象對應的所述關鍵點資訊，確定該目標對象的行為類型。
  13. 根據請求項1至3任一項所述的方法，其中，在得到所述待檢測圖像中的每個目標對象的關鍵點資訊之後，還包括： 基於每個目標對象對應的所述關鍵點資訊，確定該目標對象的至少一個目標部位的位置資訊，並根據所述至少一個目標部位的位置資訊，生成針對所述至少一個目標部位的特效資訊。
  14. 一種電子設備，包括：處理器、記憶體和匯流排，所述記憶體儲存有所述處理器可執行的機器可讀指令，當電子設備運行時，所述處理器與所述記憶體之間通過匯流排通信，所述機器可讀指令被所述處理器執行時執行如請求項1至13任一項所述的關鍵點檢測方法的步驟。
  15. 一種電腦可讀儲存介質，該電腦可讀儲存介質上儲存有電腦程式，該電腦程式被處理器運行時執行如請求項1至13任一項所述的關鍵點檢測方法的步驟。
TW110109419A 2020-06-30 2021-03-16 關鍵點檢測方法、電子設備及電腦可讀儲存介質 TWI766618B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010622135.7A CN111898642B (zh) 2020-06-30 2020-06-30 关键点检测方法、装置、电子设备及存储介质
CN202010622135.7 2020-06-30

Publications (2)

Publication Number Publication Date
TW202203212A TW202203212A (zh) 2022-01-16
TWI766618B true TWI766618B (zh) 2022-06-01

Family

ID=73191965

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110109419A TWI766618B (zh) 2020-06-30 2021-03-16 關鍵點檢測方法、電子設備及電腦可讀儲存介質

Country Status (4)

Country Link
JP (1) JP7182021B2 (zh)
CN (1) CN111898642B (zh)
TW (1) TWI766618B (zh)
WO (1) WO2022001123A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783882B (zh) * 2020-06-30 2022-09-09 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
CN111898642B (zh) * 2020-06-30 2021-08-13 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
CN112465006B (zh) * 2020-11-24 2022-08-05 中国人民解放军海军航空大学 一种图神经网络目标跟踪方法及装置
CN112561054B (zh) * 2020-12-03 2023-03-31 中国科学院光电技术研究所 一种基于批量特征热图的神经网络滤波器剪枝方法
CN112580652B (zh) * 2020-12-24 2024-04-09 咪咕文化科技有限公司 虚拟装饰方法、装置、电子设备及存储介质
CN112598070B (zh) * 2020-12-25 2023-07-28 创新奇智(广州)科技有限公司 目标检测方法、装置、电子设备及存储介质
CN113408568B (zh) * 2021-04-16 2024-04-16 科大讯飞股份有限公司 对象关键点的检测模型训练的相关方法、装置、设备
CN113850245A (zh) * 2021-11-30 2021-12-28 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及存储介质
CN114372477B (zh) 2022-03-21 2022-06-10 北京百度网讯科技有限公司 文本识别模型的训练方法、文本识别方法及装置
CN115019136B (zh) * 2022-08-05 2022-11-25 山东圣点世纪科技有限公司 抗边界点漂移的目标关键点检测模型训练方法及检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200919210A (en) * 2007-07-18 2009-05-01 Steven Kays Adaptive electronic design
US20200065612A1 (en) * 2018-08-27 2020-02-27 TalkMeUp Interactive artificial intelligence analytical system
TWI686774B (zh) * 2015-01-26 2020-03-01 香港商阿里巴巴集團服務有限公司 人臉活體檢測方法和裝置
CN111341438A (zh) * 2020-02-25 2020-06-26 中国科学技术大学 图像处理、装置、电子设备及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985259B (zh) 2018-08-03 2022-03-18 百度在线网络技术（北京）有限公司 人体动作识别方法和装置
US11238612B2 (en) * 2018-08-28 2022-02-01 Beijing Jingdong Shangke Information Technology Co., Ltd. Device and method of tracking poses of multiple objects based on single-object pose estimator
US10643085B1 (en) 2019-01-30 2020-05-05 StradVision, Inc. Method and device for estimating height and weight of passengers using body part length and face information based on human's status recognition
CN110020633B (zh) * 2019-04-12 2022-11-04 腾讯科技（深圳）有限公司 姿态识别模型的训练方法、图像识别方法及装置
CN110532873A (zh) * 2019-07-24 2019-12-03 西安交通大学 一种联合人体检测与姿态估计的深度网络学习方法
CN111160085A (zh) * 2019-11-19 2020-05-15 天津中科智能识别产业技术研究院有限公司 一种人体图像关键点姿态估计方法
CN111339903B (zh) * 2020-02-21 2022-02-08 河北工业大学 一种多人人体姿态估计方法
CN111783882B (zh) * 2020-06-30 2022-09-09 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质
CN111898642B (zh) * 2020-06-30 2021-08-13 北京市商汤科技开发有限公司 关键点检测方法、装置、电子设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200919210A (en) * 2007-07-18 2009-05-01 Steven Kays Adaptive electronic design
TWI686774B (zh) * 2015-01-26 2020-03-01 香港商阿里巴巴集團服務有限公司 人臉活體檢測方法和裝置
US20200065612A1 (en) * 2018-08-27 2020-02-27 TalkMeUp Interactive artificial intelligence analytical system
CN111341438A (zh) * 2020-02-25 2020-06-26 中国科学技术大学 图像处理、装置、电子设备及介质

Also Published As

Publication number Publication date
JP7182021B2 (ja) 2022-12-01
CN111898642B (zh) 2021-08-13
JP2022543954A (ja) 2022-10-17
CN111898642A (zh) 2020-11-06
WO2022001123A1 (zh) 2022-01-06
TW202203212A (zh) 2022-01-16

Similar Documents

Publication Publication Date Title
TWI766618B (zh) 關鍵點檢測方法、電子設備及電腦可讀儲存介質
WO2023065545A1 (zh) 风险预测方法、装置、设备及存储介质
CN103268495B (zh) 计算机系统中基于先验知识聚类的人体行为建模识别方法
CN109002834B (zh) 基于多模态表征的细粒度图像分类方法
CN110222140A (zh) 一种基于对抗学习和非对称哈希的跨模态检索方法
WO2020073714A1 (zh) 训练样本获取方法，账户预测方法及对应装置
CN112434721A (zh) 一种基于小样本学习的图像分类方法、系统、存储介质及终端
CN111310668B (zh) 一种基于骨架信息的步态识别方法
CN110931112B (zh) 一种基于多维信息融合和深度学习的脑部医学影像分析方法
TWI774271B (zh) 關鍵點檢測方法、電子設備及電腦可讀儲存介質
CN111368926B (zh) 图像筛选方法、装置和计算机可读存储介质
CN112308115B (zh) 一种多标签图像深度学习分类方法及设备
CN108647800A (zh) 一种基于节点嵌入的在线社交网络用户缺失属性预测方法
Wang et al. Explainable multitask Shapley explanation networks for real-time polyp diagnosis in videos
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN104200222B (zh) 一种基于因子图模型的图片中对象识别方法
CN116630062A (zh) 一种医保欺诈行为检测方法、系统、存储介质
US11836223B2 (en) Systems and methods for automated detection of building footprints
CN113963413A (zh) 基于人工智能的疫情排查方法、装置、电子设备及介质
CN113627522A (zh) 基于关系网络的图像分类方法、装置、设备及存储介质
Kim et al. Swarm ascending: Swarm intelligence-based exemplar group detection for robust clustering
CN117011577A (zh) 图像分类方法、装置、计算机设备和存储介质
CN111914772A (zh) 识别年龄的方法、年龄识别模型的训练方法和装置
CN115862060A (zh) 基于猪脸识别与猪只重识别的猪只唯一化识别方法及系统
Oruganti et al. EfficientNet Model for Facial Kinship Verification