TWI774271B

TWI774271B - 關鍵點檢測方法、電子設備及電腦可讀儲存介質

Info

Publication number: TWI774271B
Application number: TW110109003A
Authority: TW
Inventors: 金晟; 劉文韜; 錢晨
Original assignee: 大陸商北京市商湯科技開發有限公司
Priority date: 2020-06-30
Filing date: 2021-03-12
Publication date: 2022-08-11
Also published as: JP2022542199A; CN111783882B; WO2022001106A1; CN111783882A; KR20220004009A; TW202203211A

Abstract

本發明提供了一種關鍵點檢測方法、電子設備及電腦可讀儲存介質，所述方法包括：獲取待檢測圖像；基於所述待檢測圖像，生成圖像特徵圖和多個關鍵點熱圖；所述圖像特徵圖用於表徵所述待檢測圖像中各個目標對象之間的相對位置關係；每個所述關鍵點熱圖中包含所述待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應所述目標對象的不同部位；基於所述圖像特徵圖和多個所述關鍵點熱圖，生成關鍵點圖模型；所述關鍵點圖模型中包含所述待檢測圖像中不同類別的關鍵點的資訊以及連接邊的資訊，每個連接邊為兩個不同類別的關鍵點之間的邊；基於所述關鍵點圖模型，確定屬於同一目標對象的各個關鍵點。

Description

關鍵點檢測方法、電子設備及電腦可讀儲存介質

本發明關於圖像檢測技術領域，尤其關於一種關鍵點檢測方法、電子設備及電腦可讀儲存介質。

人體關鍵點檢測為分析視頻中人的行為提供了高層資訊支援，是實現視頻人體動作識別和人機交互的基礎。近年來，基於深度神經網路的人體關鍵點檢測方法，因其輸入圖像簡單易獲取、檢測效果高效準確，成為了研究熱點。

一般地，基於深度神經網路的人體關鍵點檢測方法中，關鍵點的檢測和關鍵點的聚類是兩個獨立的步驟，即關鍵點的聚類一般是不可微分的後處理操作。但是，這種方式下，關鍵點聚類過程的準確度較低，即可能會產生聚類錯誤，將不同人的關鍵點作為同一個人的關鍵點聚類在一起，從而導致檢測結果出現錯誤。

有鑑於此，本發明實施例至少提供一種關鍵點檢測方法、裝置、電子設備及儲存介質。

第一方面，本發明實施例提供了一種關鍵點檢測方法，包括：獲取待檢測圖像；基於所述待檢測圖像，生成圖像特徵圖和多個關鍵點熱圖；所述圖像特徵圖用於表徵所述待檢測圖像中各個目標對象之間的相對位置關係；每個所述關鍵點熱圖中包含所述待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應所述目標對象的不同部位；基於所述圖像特徵圖和多個所述關鍵點熱圖，生成關鍵點圖模型；所述關鍵點圖模型中包含所述待檢測圖像中不同類別的關鍵點的資訊以及連接邊的資訊，每個連接邊為兩個不同類別的關鍵點之間的邊；基於所述關鍵點圖模型，確定屬於同一目標對象的各個關鍵點。

採用上述方法，可以基於生成的圖像特徵圖和多個關鍵點熱圖，生成待檢測圖像對應的關鍵點圖模型，由於關鍵點圖模型中包括圖像特徵圖和關鍵點熱圖中的資訊，而圖像特徵圖可以表徵出待檢測圖像中不同目標對象之間的相對位置關係，從而使得基於關鍵點圖模型，可以較準確地對不同目標對象的關鍵點進行區分，以提高關鍵點聚類的精準度。

一種可能的實施方式中，基於所述關鍵點圖模型，確定屬於同一目標對象的各個關鍵點，包括：基於所述關鍵點圖模型中各個關鍵點的資訊以及所述連接邊的資訊，確定所述關鍵點圖模型中存在連接關係的兩個關鍵點之間的相關度；基於確定的所述相關度，確定屬於同一目標對象的各個關鍵點。

一種可能的實施方式中，基於確定的所述相關度，確定屬於同一目標對象的各個關鍵點，包括：將對應的所述相關度大於設定閾值的各個關鍵點作為同一目標對象的關鍵點。

一種可能的實施方式中，基於所述關鍵點圖模型中各個關鍵點的資訊以及所述連接邊的資訊，確定所述關鍵點圖模型中存在連接關係的兩個關鍵點之間的相關度，包括：針對每個關鍵點，基於所述關鍵點的資訊，和所述關鍵點圖模型中與所述關鍵點存在連接關係的其它關鍵點的資訊，確定所述關鍵點的融合特徵；基於各個關鍵點分別對應的融合特徵，確定所述關鍵點圖模型中存在連接關係的兩個關鍵點之間的相關度。

一種可能的實施方式中，所述關鍵點的資訊包括位置資訊、類別資訊、以及圖元特徵資訊；根據以下步驟確定所述關鍵點圖模型中各個關鍵點的資訊：基於所述關鍵點熱圖，確定各個關鍵點的位置資訊；基於每個所述關鍵點的位置資訊，從所述圖像特徵圖中提取所述關鍵點的圖元特徵資訊，並基於所述關鍵點所屬關鍵點熱圖的類別標籤，確定所述關鍵點對應的類別資訊。

一種可能的實施方式中，根據以下步驟生成所述關鍵點圖模型中的各個連接邊：基於各個關鍵點對應的所述類別資訊，將每個關鍵點和與所述關鍵點所屬的類別不同的其它關鍵點連接，形成所述關鍵點圖模型中的連接邊。

一種可能的實施方式中，根據以下步驟生成所述關鍵點圖模型中的各個連接邊：基於各個關鍵點對應的所述類別資訊、和預設的不同類別之間的匹配關係，將每個關鍵點和與所述關鍵點所屬類別匹配的目標類別對應的關鍵點連接，形成所述關鍵點圖模型中的連接邊。

一種可能的實施方式中，在基於所述關鍵點圖模型，確定屬於同一目標對象的各個關鍵點之後，還包括：基於每個目標對象對應的各個關鍵點的資訊，確定所述目標對象的行為類型。

一種可能的實施方式中，在基於所述關鍵點圖模型，確定屬於同一目標對象的各個關鍵點之後，還包括：基於每個目標對象對應的各個關鍵點的資訊，生成針對所述目標對象的特效資訊。

以下裝置、電子設備等的效果描述參見上述方法的說明，這裡不再贅述。

第二方面，本發明實施例提供了一種關鍵點檢測裝置，包括：獲取模組，配置為獲取待檢測圖像；第一生成模組，配置為基於所述待檢測圖像，生成圖像特徵圖和多個關鍵點熱圖；所述圖像特徵圖用於表徵所述待檢測圖像中各個目標對象之間的相對位置關係；每個所述關鍵點熱圖中包含所述待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應所述目標對象的不同部位；第二生成模組，配置為基於所述圖像特徵圖和多個所述關鍵點熱圖，生成關鍵點圖模型；所述關鍵點圖模型中包含所述待檢測圖像中不同類別的關鍵點的資訊以及連接邊的資訊，每個連接邊為兩個不同類別的關鍵點之間的邊；確定模組，配置為基於所述關鍵點圖模型，確定屬於同一目標對象的各個關鍵點。

第三方面，本發明實施例提供一種電子設備，包括：處理器、記憶體和匯流排，所述記憶體儲存有所述處理器可執行的機器可讀指令，在電子設備運行的情況下，所述處理器與所述記憶體之間通過匯流排通信，所述機器可讀指令被所述處理器執行時執行如上述第一方面或任一實施方式所述的關鍵點檢測方法的步驟。

第四方面，本發明實施例提供一種電腦可讀儲存介質，所述電腦可讀儲存介質上儲存有電腦程式，所述電腦程式被處理器運行時執行如上述第一方面或任一實施方式所述的關鍵點檢測方法的步驟。

本發明實施例提供了一種電腦程式產品，包括電腦可讀代碼，當所述電腦可讀代碼在電子設備中運行時，所述電子設備中的處理器執行用於實現上述一個或多個實施例中伺服器執行上述方法。

為使本發明的上述目的、特徵和優點能更明顯易懂，下文特舉較佳實施例，並配合所附附圖，作詳細說明如下。

為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。通常在此處附圖中描述和示出的本發明實施例的元件可以以各種不同的配置來佈置和設計。因此，以下對在附圖中提供的本發明的實施例的詳細描述並非旨在限制要求保護的本發明的範圍，而是僅僅表示本發明的選定實施例。基於本發明的實施例，本領域技術人員在沒有做出創造性勞動的前提下所獲得的所有其他實施例，都屬於本發明保護的範圍。

一般地，可以使用深度神經網路對圖像進行檢測，確定圖像中包括的目標對象的關鍵點資訊，其中，基於深度神經網路的關鍵點檢測方法中，包括關鍵點的檢測和關鍵點的聚類。

目前，關鍵點的檢測和關鍵點的聚類是兩個獨立的步驟，即關鍵點的聚類一般是不可微分的後處理操作。但是，在使用這種方式的情況下，使得關鍵點聚類過程的準確度較低，即可能會產生聚類錯誤，將不同人的關鍵點作為同一個人的關鍵點而聚類在一起，從而導致檢測結果出現錯誤。

為了解決上述問題，本發明實施例提供了一種關鍵點檢測方法。

為便於對本發明實施例進行理解，首先對本發明實施例所公開的一種關鍵點檢測方法進行詳細介紹。

本發明實施例提供的關鍵點檢測方法的執行主體可以為伺服器，該伺服器可以為本機伺服器，也可以為雲端伺服器；或者，該方法的執行主體也可以為終端設備，比如，該終端設備可以為手機、平板電腦、AR眼鏡等。

參見圖1所示，為本發明實施例所提供的一種關鍵點檢測方法的流程示意圖，該方法包括S101-S104，其中： S101，獲取待檢測圖像。 S102，基於待檢測圖像，生成圖像特徵圖和多個關鍵點熱圖；圖像特徵圖用於表徵待檢測圖像中各個目標對象之間的相對位置關係；每個關鍵點熱圖中包含待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應目標對象的不同部位。 S103，基於圖像特徵圖和多個關鍵點熱圖，生成關鍵點圖模型；關鍵點圖模型中包含待檢測圖像中不同類別的關鍵點的資訊以及連接邊的資訊，每個連接邊為兩個不同類別的關鍵點之間的邊。 S104，基於關鍵點圖模型，確定屬於同一目標對象的各個關鍵點。

上述方法中，可以基於生成的圖像特徵圖和多個關鍵點熱圖，生成待檢測圖像對應的關鍵點圖模型，由於關鍵點圖模型中包括圖像特徵圖和關鍵點熱圖中的資訊，而圖像特徵圖可以表徵出待檢測圖像中不同目標對象之間的相對位置關係，從而使得基於關鍵點圖模型，可以較準確地對不同目標對象的關鍵點進行區分，以提高關鍵點聚類的精準度。

針對S101以及S102的說明如下。

待檢測圖像可以為任一包括目標對象的圖像。在實施過程中，可以從相連的儲存裝置中獲取待檢測圖像，也可以為從相連的攝影裝置中獲取即時採集到的待檢測圖像。

在實施過程中，可以將獲取的待檢測圖像輸入至訓練後的關鍵點檢測神經網路中，生成圖像特徵圖和多個關鍵點熱圖；並基於圖像特徵圖、多個關鍵點熱圖、以及訓練後的關鍵點檢測神經網路，確定每個目標對象的各個關鍵點。

這裡，每個關鍵點熱圖中包含待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應目標對象的不同部位。比如，關鍵點的類別可以為頭部、頸部、手部等，進而關鍵點熱圖可以為包含頭部關鍵點的圖像，或者，關鍵點熱圖可以為包含頸部關鍵點的圖像等；或者，關鍵點的類別可以為設置的第一類別、第二類別等，其中，第一類別關鍵點可以為拇指上的關鍵點，第二類別關鍵點可以為食指上的關鍵點等，進而關鍵點熱圖可以為包含第一類別關鍵點的圖像，或者，關鍵點熱圖可以為包含第二類別關鍵點的圖像等。其中，關鍵點的類別和類別的數量可以根據實際需要進行設置。以及，每個目標對象對應的關鍵點的數量可以根據實際需要進行設置，比如，每個目標對象對應的關鍵點的數量可以為17個、105個等。

這裡，關鍵點熱圖的數量與設置的關鍵點類別的數量一致，比如，若設置的關鍵點的類別數量為17個，則基於待檢測圖像生成的關鍵點熱圖的數量也為17個。其中，每種類別的關鍵點的數量可以為一個或多個。

圖像特徵圖的數量可以為一個，也可以為多個。其中，在圖像特徵圖的數量為一個的情況下，則該圖像特徵圖可以表徵待檢測圖像中各個目標對象的、各種類別的關鍵點對應的部位之間的相對位置關係。在圖像特徵圖的數量為多個的情況下，圖像特徵圖的數量與關鍵點熱圖的數量可以相同，即每張圖像特徵圖可以表徵待檢測圖像中各個目標對象的一種類別的關鍵點對應的部位之間的相對位置關係。其中，圖像特徵圖的尺寸與關鍵點熱圖的尺寸一致。

在實施過程中，可以通過在關鍵點檢測神經網路中設置不同的損失函數，得到圖像特徵圖和多個關鍵點熱圖。

針對S103的說明如下。

這裡，可以從多個關鍵點熱圖和圖像特徵圖中提取得到每個關鍵點的資訊，將包含資訊的每個關鍵點作為節點、以不同類別的關鍵點之間的邊作為連接邊，構成了關鍵點圖模型。

一種可選實施方式中，關鍵點的資訊可以包括位置資訊、類別資訊、以及圖元特徵資訊。其中，可以根據以下步驟確定關鍵點圖模型中各個關鍵點的資訊：基於關鍵點熱圖，確定各個關鍵點的位置資訊；基於每個關鍵點的位置資訊，從圖像特徵圖中提取關鍵點的圖元特徵資訊，並基於關鍵點所屬關鍵點熱圖的類別標籤，確定關鍵點對應的類別資訊。

在實施過程中，可以基於關鍵點熱圖中每個圖元點的圖元值，確定各個關鍵點的位置資訊。示例性的，針對每個關鍵點熱圖，可以選擇圖元值為極大值的圖元點，確定為一關鍵點，並將選擇的該圖元點的位置資訊確定為關鍵點的位置資訊。其中，若關鍵點熱圖中某一圖元點的圖元值大於周圍圖元點的圖元值，則認為該圖元點的圖元值為極大值，該圖元點為關鍵點。

在得到了每個圖元點的位置資訊之後，可以從圖像特徵圖中提取與該位置資訊對應的圖元點的圖元值，將提取的圖元值確定為關鍵點的圖元特徵資訊。

同時，還可以根據每個關鍵點所屬關鍵點熱圖的類別標籤，確定關鍵點對應的類別資訊。比如，在關鍵點熱圖A的類別標籤為頭部的情況下，關鍵點熱圖A中包括的各個關鍵點的類別資訊為頭部關鍵點；在關鍵點熱圖B的類別標籤為頸部的情況下，關鍵點熱圖B中包括的各個關鍵點的類別資訊為頸部關鍵點。

一種可選實施方式中，可以根據以下兩種方式生成關鍵點圖模型中的各個連接邊：方式一、基於各個關鍵點對應的類別資訊，將每個關鍵點和與關鍵點所屬的類別不同的其它關鍵點連接，形成關鍵點圖模型中的連接邊。方式二、基於各個關鍵點對應的類別資訊、和預設的不同類別之間的匹配關係，將每個關鍵點和與關鍵點所屬類別匹配的目標類別對應的關鍵點連接，形成關鍵點圖模型中的連接邊。

方式一中，可以基於每個關鍵點對應的類別資訊，對類別資訊相同的關鍵點不進行連接，對類別資訊不同的關鍵點相連接，形成關鍵點圖模型中的連接邊。

這裡，通過基於各個關鍵點對應的類別資訊，將每個關鍵點和與關鍵點所屬的類別不同的其它關鍵點連接，形成關鍵點圖模型中的連接邊，進而得到了關鍵點圖模型，為後續確定每個目標對象的各個關鍵點提供了資料支援。

方式二中，可以基於人體結構，提前預設不同類別之間的匹配關係，比如，預設的不同類別之間的匹配關係可以為頭部類別與頸部類別相匹配，頸部類別點分別與左肩類別、右肩類別、以及頭部類別相匹配，腳部類別與膝部類別相匹配等。其中，不同類別之間的匹配關係可以根據實際需要進行設置。

進而針對每個關鍵點，可以確定與該關鍵點的類別匹配的目標類別，將該關鍵點與目標類別對應的關鍵點連接，形成了關鍵點圖模型中的連接邊。

在上述實施方式中，可以預設不同類別之間的匹配關係，比如，可以預設頭部關鍵點與頸部關鍵點匹配，腳部關鍵點與膝部關鍵點匹配等，將每個關鍵點和與關鍵點所屬類別匹配的目標類別對應的關鍵點連接，使得每個關鍵點與不匹配的關鍵點不進行連接，可以減少計算相關度的計算量，進而提高關鍵點檢測的效率。

參見圖2A所示的一種關鍵點圖模型的示例圖，該圖中包括基於方式一生成的關鍵點圖模型21、和基於方式二生成的關鍵點圖模型22。其中，圖中包括第一類別的關鍵點201、第二類別的關鍵點202、以及第三類別的關鍵點203，還包括不同關鍵點之間的連接邊204。由圖可知，關鍵點圖模型21中，包括不同類別的各個關鍵點之間的連接邊；關鍵點圖模型22中，包括存在匹配關係的不同關鍵點之間的連接邊，由圖可知預設的不同類別之間的匹配關係為：第一類別與第二類別匹配，第二類別與第三類別匹配。

針對S104的說明如下。

這裡，可以基於關鍵點圖模型，對關鍵點圖模型中包括的各個關鍵點進行劃分，將屬於同一目標對象的多個關鍵點劃分在一起，進而可以得到待檢測圖像中包括的每個目標對象對應的多個關鍵點。其中，每個目標對象對應的關鍵點的數量相同。

一種可選實施方式中，基於關鍵點圖模型，確定屬於同一目標對象的各個關鍵點，可以包括： A1，基於關鍵點圖模型中各個關鍵點的資訊以及連接邊的資訊，確定關鍵點圖模型中存在連接關係的兩個關鍵點之間的相關度。 A2，基於確定的相關度，確定屬於同一目標對象的各個關鍵點。

上述實施方式下，可以基於各個關鍵點的資訊以及連接邊的資訊，確定關鍵點圖模型中存在連接關係的兩個關鍵點之間的相關度，由於該相關度可以表徵對應的兩個關鍵點之間屬於同一目標對象的概率，故可以通過確定的相關度，實現將屬於同一目標對象的各個關鍵點聚類在一起，得到每個目標對象對應的各個關鍵點。

在步驟A1中，可以針對關鍵點圖模型中的每一連接邊，確定該連接邊對應的兩個關鍵點之間的相關度，即可以得到每條連接邊對應的相關度。

作為一可選實施方式，基於關鍵點圖模型中各個關鍵點的資訊以及連接邊的資訊，確定關鍵點圖模型中存在連接關係的兩個關鍵點之間的相關度，包括：一、針對每個關鍵點，基於關鍵點的資訊，和關鍵點圖模型中與關鍵點存在連接關係的其它關鍵點的資訊，確定關鍵點的融合特徵。二、基於各個關鍵點分別對應的融合特徵，確定關鍵點圖模型中存在連接關係的兩個關鍵點之間的相關度。

在確定每個關鍵點的融合特徵的情況下，可以基於該關鍵點的資訊、和關鍵點圖模型中與該關鍵點存在連接關係的其他關鍵點的資訊，確定關鍵點的融合特徵，其中，其他關鍵點可以為關鍵點圖模型中與該關鍵點之間存在連接邊的關鍵點。

這裡，可以為關鍵點圖模型中的每個關鍵點確定對應的融合特徵，基於各個關鍵點分別對應的融合特徵，確定關鍵點圖模型中每條連接邊對應的兩個關鍵點之間的相關度。

在實施過程中，融合特徵可以為每個關鍵點對應的特徵向量，則可以通過計算每條連接邊對應的兩個關鍵點的融合特徵（特徵向量）之間的相似度，將計算得到的相似度確定這兩個關鍵點之間的相關度。

上述實施方式下，針對每個關鍵點，基於該關鍵點的資訊和與該關鍵點存在連接關係的其它關鍵點的資訊，確定該關鍵點的融合特徵，這樣，該關鍵點的融合特徵不僅可以表徵該關鍵點的特徵，還可以表徵該關鍵點與其他關鍵點之間的關聯關係，進而基於各個關鍵點分別對應的融合特徵，可以確定出存在連接關係的兩個關鍵點之間的相關度，進而可以基於該相關度，較準確的確定每個目標對象對應的各個關鍵點。

在步驟A2中，在確定得到關鍵點圖模型中每條連接邊對應的兩個關鍵點的相關度之後，可以基於確定的各個相關度，將各個關鍵點進行劃分，確定屬於同一目標對象的各個關鍵點。

作為一可選實施方式，基於確定的相關度，確定屬於同一目標對象的各個關鍵點，可以包括：將對應的相關度大於設定閾值的各個關鍵點作為同一目標對象的關鍵點。

在實施過程中，可以基於設置相關度的閾值、和預設的每種類別的關鍵點的目標數量，將對應的相關度大於設置的閾值的各個關鍵點作為同一目標對象的關鍵點。其中，每個目標對象的關鍵點中包括多個不同類別的關鍵點，以及每個類別的關鍵點的數量預設的目標數量相符。

一種可選實施方式中，在基於關鍵點圖模型，確定屬於同一目標對象的各個關鍵點之後，還可以包括：基於每個目標對象對應的各個關鍵點的資訊，確定目標對象的行為類型。

這裡，在得到每個目標對象的各個關鍵點的資訊之後，可以將每個目標對象的各個關鍵點的資訊輸入至行為檢測神經網路中，確定該目標對象的行為類型，比如，該行為類型可以為跑步、走步、托舉雙臂等。

一種可選實施方式中，在基於關鍵點圖模型，確定屬於同一目標對象的各個關鍵點之後，還可以包括：基於每個目標對象對應的各個關鍵點的資訊，生成針對目標對象的特效資訊。

這裡，可以針對目標對象的各個關鍵點的資訊，確定目標對象的目標部位的位置，基於預設的目標部位對應的特效資訊，在目標對象的目標部位的位置處生成對應的特效資訊。其中，目標部位可以為手臂、頭部、手部等。比如，可以針對目標對象的各個關鍵點的資訊，確定目標對象的手臂位置，並基於預設的手臂的特效資訊，在目標對象的手臂位置處生成對應的特效資訊。

這裡，還可以針對每個目標對象對應的各個關鍵點的資訊，確定該目標對象的動作類型，基於預設的動作類型與特效資訊之間的映射關係，為該目標對象生成對應的特效資訊。比如，若基於目標對象A對應的各個關鍵點的資訊，確定該目標對象的動作類型為比心動作，則可以為該目標對象生成心形的特效資訊。

相關技術中，對目標對象進行關鍵點檢測通過自底向上的多個目標對象關鍵點檢測方法實現。這類方法首先將圖片中的所有可能的目標對象關鍵點檢測出來，同時提取每個關鍵點的資訊，例如關鍵點的嵌入特徵（Embedding feature）；然後，通過求解優化方程，將這些關鍵點聚類並分配給多個不同的目標對象。由此可見，自底向上的方法運行速度更快，且對於緊鄰的目標或遮擋情況魯棒性更好。

提取關鍵點的嵌入特徵有以下兩種方法：方法一，基於關鍵點嵌入特徵（Keypoint Embedding，KE）實現；方法二，是基於空間實例嵌入特徵（Spatial Instance Embedding，SIE）的關鍵點檢測方法實現。

其中，方法一在訓練過程中，由於KE主要包含了關鍵點附近的圖元的表觀資訊，因此可以通過拉近同一個目標對象的各個關鍵點的嵌入值，拉遠不同目標對象的關鍵點的嵌入值，實現提取關鍵點的嵌入特徵。

其中，方法二在訓練過程中，由於SIE包含了目標對象中心位置資訊，因此可以通過對每一個圖元值回歸到目標對象中心的向量，實現提取關鍵點的嵌入特徵。

由此可見，KE主要涉及圖元特徵資訊，這裡，所述圖元特徵資訊可以包括圖元的表觀資訊，例如，圖元的圖元值，對空間位置資訊不敏感，可以建模長距離的關鍵點之間的關係；然而，由於缺乏空間約束，只依賴KE可能會存在將遠處不同目標對象的關鍵點聚在一起的問題。

由此可見，相關技術中，自底向上的關鍵點檢測方法中，關鍵點的檢測和關鍵點的聚類是兩個獨立的步驟。關鍵點的聚類是一種不可微分的後處理操作。存在以下幾個問題：1）關鍵點的聚類過程是固定的後處理，而不能在資料中學習優化的；2）由於沒有進行聯合優化，關鍵點的聚類精度不高，可能會產生聚類錯誤，例如，把不同目標對象的關鍵點，當作是同一個目標對象的關鍵點而聚類在一起；3）聚類後處理過程，需要額外的超參數設置。

為解決上述問題，本發明實施例提供一種關鍵點檢測方法，所述方法的系統方塊圖如圖2B所示，其中：相關技術中，包括兩個步驟：關鍵點的檢測S21和關鍵點的聚類S22。關鍵點的聚類步驟是在關鍵點檢測後的一種後處理操作。

本發明實施例提供一種關鍵點檢測方法，包括兩個子模組：關鍵點候選提取模組G1（Keypoint Candidate Proposal）和圖聚類別模組G2（Graph Grouping）。

關鍵點候選提取模組G1用於：對於每一幀圖像，首先通過多工的自底向上的目標對象關鍵點模型，直接輸出目標對象關鍵點的關鍵點熱圖（Heatmaps），以及圖像特徵圖或空間實例圖像特徵圖（Feature Maps）。通過對關鍵點熱圖取極大值（argmax），可以得到關鍵點的圖元座標位置X。同時，可以從圖像特徵圖的對應位置資訊，獲取關鍵點的特徵資訊F。

圖聚類別模組G2用於：判斷兩兩關鍵點是否屬於同一個目標對象，並把同一個目標對象的關鍵點聚類在一起。

舉例說明，圖2C展示了由關鍵點熱圖P1和圖像特徵圖P2，輸入圖卷積網路的過程。首先，提取關鍵點的資訊，構造關鍵點圖模型G={V, E}。關鍵點圖模型G分為關鍵點V和邊E兩部分，其中，關鍵點V為各個關鍵點的資訊，即包含「關鍵點的類別T，關鍵點的座標X，關鍵點的特徵資訊F」。而邊V代表關鍵點之間的關係，即是否屬於同一個目標對象。構造好關鍵點圖模型之後，進行關鍵點相關度的計算。使用邊緣卷積EdgeConv搭建圖卷積神經網路模型，對關鍵點圖模型進行卷積，不斷更新關鍵點的特徵資訊。接著訓練一個邊分類器，對每一對關鍵點進行判別，判斷這一對關鍵點是否屬於同一個目標對象。通過關鍵點候選提取模組G1、圖聚類別模組G2、邊分類器可以端到端地進行訓練優化。

一種可能的實施方式中，本發明實施例所提供的一種關鍵點檢測方法一方面，可以對目標對象關鍵點的位置資訊進行預測；另一方面，可以確定所述目標對象的行為類型；再一方面，可以在目標對象的不同部位增加即時特效資訊。

採用上述方法，能夠將多目標對象姿態估計轉化為圖聚類問題；能夠保留目標對象的拓撲結構資訊，進行對多目標對象姿態圖的特徵資訊提取；能夠通過一個深度神經網路模型，得到多目標對象姿態的聚類結果；能夠避免相關技術中，需要對關鍵點的進行聚類等後處理操作，簡化了操作步驟；能夠整合關鍵點的檢測和關鍵點的聚類，提高關鍵點的聚類精度。

本領域技術人員可以理解，在實施方式的上述方法中，各步驟的撰寫順序並不意味著嚴格的執行順序而對實施過程構成任何限定，各步驟的執行順序應當以其功能和可能的內在邏輯確定。

基於相同的構思，本發明實施例還提供了一種關鍵點檢測裝置，參見圖3所示，為本發明實施例提供的一種關鍵點檢測裝置的架構示意圖，包括獲取模組301、第一生成模組302、第二生成模組303、確定模組304、行為類型確定模組305、以及特效資訊生成模組306，其中：獲取模組301，配置為獲取待檢測圖像；第一生成模組302，配置為基於所述待檢測圖像，生成圖像特徵圖和多個關鍵點熱圖；所述圖像特徵圖用於表徵所述待檢測圖像中各個目標對象之間的相對位置關係；每個所述關鍵點熱圖中包含所述待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應所述目標對象的不同部位；第二生成模組303，配置為基於所述圖像特徵圖和多個所述關鍵點熱圖，生成關鍵點圖模型；所述關鍵點圖模型中包含所述待檢測圖像中不同類別的關鍵點的資訊以及連接邊的資訊，每個連接邊為兩個不同類別的關鍵點之間的邊；確定模組304，配置為基於所述關鍵點圖模型，確定屬於同一目標對象的各個關鍵點。

一種可能的實施方式中，所述確定模組304，在基於所述關鍵點圖模型，確定屬於同一目標對象的各個關鍵點的情況下，配置為：基於所述關鍵點圖模型中各個關鍵點的資訊以及所述連接邊的資訊，確定所述關鍵點圖模型中存在連接關係的兩個關鍵點之間的相關度；基於確定的所述相關度，確定屬於同一目標對象的各個關鍵點。

一種可能的實施方式中，所述確定模組304，在基於確定的所述相關度，確定屬於同一目標對象的各個關鍵點的情況下，配置為：將對應的所述相關度大於設定閾值的各個關鍵點作為同一目標對象的關鍵點。

一種可能的實施方式中，所述確定模組304，在基於所述關鍵點圖模型中各個關鍵點的資訊以及所述連接邊的資訊，確定所述關鍵點圖模型中存在連接關係的兩個關鍵點之間的相關度的情況下，配置為：針對每個關鍵點，基於所述關鍵點的資訊，和所述關鍵點圖模型中與所述關鍵點存在連接關係的其它關鍵點的資訊，確定所述關鍵點的融合特徵；基於各個關鍵點分別對應的融合特徵，確定所述關鍵點圖模型中存在連接關係的兩個關鍵點之間的相關度。

一種可能的實施方式中，所述關鍵點的資訊包括位置資訊、類別資訊、以及圖元特徵資訊；所述第二生成模組303，配置為根據以下步驟確定所述關鍵點圖模型中各個關鍵點的資訊：基於所述關鍵點熱圖，確定各個關鍵點的位置資訊；基於每個所述關鍵點的位置資訊，從所述圖像特徵圖中提取所述關鍵點的圖元特徵資訊，並基於所述關鍵點所屬關鍵點熱圖的類別標籤，確定所述關鍵點對應的類別資訊。

一種可能的實施方式中，所述第二生成模組303，配置為根據以下步驟生成所述關鍵點圖模型中的各個連接邊：基於各個關鍵點對應的所述類別資訊，將每個關鍵點和與所述關鍵點所屬的類別不同的其它關鍵點連接，形成所述關鍵點圖模型中的連接邊。

一種可能的實施方式中，所述第二生成模組303，配置為根據以下步驟生成所述關鍵點圖模型中的各個連接邊：基於各個關鍵點對應的所述類別資訊、和預設的不同類別之間的匹配關係，將每個關鍵點和與所述關鍵點所屬類別匹配的目標類別對應的關鍵點連接，形成所述關鍵點圖模型中的連接邊。

一種可能的實施方式中，在基於所述關鍵點圖模型，確定屬於同一目標對象的各個關鍵點之後，還包括：行為類型確定模組305，配置為基於每個目標對象對應的各個關鍵點的資訊，確定所述目標對象的行為類型。

一種可能的實施方式中，在基於所述關鍵點圖模型，確定屬於同一目標對象的各個關鍵點之後，還包括：特效資訊生成模組306，配置為基於每個目標對象對應的各個關鍵點的資訊，生成針對所述目標對象的特效資訊。

在一些實施例中，本發明實施例提供的裝置具有的功能或包含的範本可以用於執行上文方法實施例描述的方法，其實現可以參照上文方法實施例的描述，為了簡潔，這裡不再贅述。

基於同一技術構思，本發明實施例還提供了一種電子設備。參照圖4所示，為本發明實施例提供的電子設備的結構示意圖，包括處理器401、記憶體402、和匯流排403。其中，記憶體402配置為儲存執行指令，包括內部記憶體4021和外部記憶體4022；這裡的內部記憶體4021也稱內記憶體，配置為暫時存放處理器401中的運算資料，以及與硬碟等外部記憶體4022交換的資料，處理器401通過內部記憶體4021與外部記憶體4022進行資料交換，在電子設備400運行的情況下，處理器401與記憶體402之間通過匯流排403通信，使得處理器401在執行以下指令：獲取待檢測圖像；基於所述待檢測圖像，生成圖像特徵圖和多個關鍵點熱圖；所述圖像特徵圖用於表徵所述待檢測圖像中各個目標對象之間的相對位置關係；每個所述關鍵點熱圖中包含所述待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應所述目標對象的不同部位；基於所述圖像特徵圖和多個所述關鍵點熱圖，生成關鍵點圖模型；所述關鍵點圖模型中包含所述待檢測圖像中不同類別的關鍵點的資訊以及連接邊的資訊，每個連接邊為兩個不同類別的關鍵點之間的邊；基於所述關鍵點圖模型，確定屬於同一目標對象的各個關鍵點。

此外，本發明實施例還提供一種電腦可讀儲存介質，所述電腦可讀儲存介質上儲存有電腦程式，所述電腦程式被處理器運行時執行上述方法實施例中所述的關鍵點檢測方法的步驟。

本發明實施例所提供的關鍵點檢測方法的電腦程式產品，包括儲存了程式碼的電腦可讀儲存介質，所述程式碼包括的指令可用於執行上述方法實施例中所述的關鍵點檢測方法的步驟，可參見上述方法實施例，在此不再贅述。

所屬領域的技術人員可以清楚地瞭解到，為描述的方便和簡潔，上述描述的系統和裝置的工作過程，可以參考前述方法實施例中的對應過程，在此不再贅述。在本發明所提供的幾個實施例中，應所述理解到，所揭露的系統、裝置和方法，可以通過其它的方式實現。以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，又例如，多個單元或元件可以結合或者可以集成到另一個系統，或一些特徵可以忽略，或不執行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些通信介面，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位於一個地方，或者也可以分佈到多個網路單元上。可以根據實際的需要選擇其中的部分或者全部單元來實現本實施例方案的目的。

另外，在本發明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。

所述功能如果以軟體功能單元的形式實現並作為獨立的產品銷售或使用時，可以儲存在一個處理器可執行的非易失的電腦可讀取儲存介質中。基於這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分或者所述技術方案的部分可以以軟體產品的形式體現出來，所述電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦，伺服器，或者網路設備等）執行本發明各個實施例所述方法的全部或部分步驟。而前述的儲存介質包括：U盤、移動硬碟、唯讀記憶體（Read-Only Memory，ROM）、隨機存取記憶體（Random Access Memory，RAM）、磁碟或者光碟等各種可以儲存程式碼的介質。

以上僅為本發明的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應以申請專利範圍的保護範圍為準。

工業實用性本發明基於生成的圖像特徵圖和多個關鍵點熱圖，生成待檢測圖像對應的關鍵點圖模型，由於關鍵點圖模型中包括圖像特徵圖和關鍵點熱圖中的資訊，而圖像特徵圖可以表徵出待檢測圖像中不同目標對象之間的相對位置關係，從而使得基於關鍵點圖模型，可以較準確地對不同目標對象的關鍵點進行區分，以提高關鍵點聚類的精準度。

21:關鍵點圖模型 22:關鍵點圖模型 201:第一類別的關鍵點 202:第二類別的關鍵點 203:第三類別的關鍵點 204:連接邊 301:獲取模組 302:第一生成模組 303:第二生成模組 304:確定模組 305:行為類型確定模組 306:特效資訊生成模組 400:電子設備 401:處理器 402:記憶體 4021:內部記憶體 4022:外部記憶體 43:匯流排 S101~S104:步驟

為了更清楚地說明本發明實施例的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，此處的附圖被併入說明書中並構成本說明書中的一部分，這些附圖示出了符合本發明的實施例，並與說明書一起用於說明本發明的技術方案。應當理解，以下附圖僅示出了本發明的某些實施例，因此不應被看作是對範圍的限定，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他相關的附圖。圖1為本發明實施例所提供的一種關鍵點檢測方法的流程示意圖；圖2A為本發明實施例所提供的一種關鍵點圖模型的示例圖；圖2B為本發明實施例所提供的一種關鍵點檢測方法的系統方塊圖；圖2C為本發明實施例所提供的一種關鍵點檢測方法的應用場景圖；圖3為本發明實施例所提供的一種關鍵點檢測裝置的架構示意圖；圖4為本發明實施例所提供的一種電子設備400的結構示意圖。

S101~S104:步驟

Claims

一種關鍵點檢測方法，包括：獲取待檢測圖像；基於所述待檢測圖像，生成圖像特徵圖和多個關鍵點熱圖；所述圖像特徵圖用於表徵所述待檢測圖像中各個目標對象之間的相對位置關係；每個所述關鍵點熱圖中包含所述待檢測圖像的一種類別的關鍵點，不同類別的關鍵點對應所述目標對象的不同部位；基於所述圖像特徵圖和多個所述關鍵點熱圖，生成關鍵點圖模型；所述關鍵點圖模型中包含所述待檢測圖像中不同類別的關鍵點的資訊以及連接邊的資訊，每個連接邊為兩個不同類別的關鍵點之間的邊；所述兩個相同類別的關鍵點間不存在邊進行連接；所述關鍵點的資訊可以包括位置資訊、類別資訊、以及圖元特徵資訊；基於所述關鍵點圖模型中各個關鍵點的資訊以及所述連接邊的資訊，確定所述關鍵點圖模型中存在連接關係的兩個關鍵點之間的相關度；將對應的所述相關度大於設定閾值的各個關鍵點作為同一目標對象的關鍵點。
根據請求項1所述的方法，其中，基於所述關鍵點圖模型中各個關鍵點的資訊以及所述連接邊的資訊，確定所述關鍵點圖模型中存在連接關係的兩個關鍵點之間的相關度，包括：針對每個關鍵點，基於所述關鍵點的資訊，和所述關鍵點圖模型中與所述關鍵點存在連接關係的其它關鍵點的資訊，確定所述關鍵點的融合特徵；基於各個關鍵點分別對應的融合特徵，確定所述關鍵點圖模型中存在連接關係的兩個關鍵點之間的相關度。
根據請求項1所述的方法，其中，根據以下步驟確定所述關鍵點圖模型中各個關鍵點的資訊：基於所述關鍵點熱圖，確定各個關鍵點的位置資訊；基於每個所述關鍵點的位置資訊，從所述圖像特徵圖中提取所述關鍵點的圖元特徵資訊，並基於所述關鍵點所屬關鍵點熱圖的類別標籤，確定所述關鍵點對應的類別資訊。
根據請求項3所述的方法，其中，根據以下步驟生成所述關鍵點圖模型中的各個連接邊：基於各個關鍵點對應的所述類別資訊，將每個關鍵點和與所述關鍵點所屬的類別不同的其它關鍵點連接，形成所述關鍵點圖模型中的連接邊。
根據請求項3所述的方法，其中，根據以下步驟生成所述關鍵點圖模型中的各個連接邊：基於各個關鍵點對應的所述類別資訊、和預設的不同類別之間的匹配關係，將每個關鍵點和與所述關鍵點所屬類別匹配的目標類別對應的關鍵點連接，形成所述關鍵點圖模型中的連接邊。
根據請求項1所述的方法，其中，在基於所述關鍵點圖模型，確定屬於同一目標對象的各個關鍵點之後，還包括：基於每個目標對象對應的各個關鍵點的資訊，確定所述目標對象的行為類型。
根據請求項1所述的方法，其中，在基於所述關鍵點圖模型，確定屬於同一目標對象的各個關鍵點之後，還包括：基於每個目標對象對應的各個關鍵點的資訊，生成針對所述目標對象的特效資訊。
一種電子設備，包括：處理器、記憶體和匯流排，所述記憶體儲存有所述處理器可執行的機器可讀指令，當電子設備運行時，所述處理器與所述記憶體之間通過匯流排通信，所述機器可讀指令被所述處理器執行時執行如請求項1至7任一項所述的關鍵點檢測方法的步驟。
一種電腦可讀儲存介質，所述電腦可讀儲存介質上儲存有電腦程式，所述電腦程式被處理器運行時執行如請求項1至7任一項所述的關鍵點檢測方法的步驟。