TW202141340A - 圖像處理方法、電子設備和電腦可讀儲存介質 - Google Patents

Abstract

本發明實施例公開了一種圖像處理方法、電子設備和電腦可讀儲存介質。所述方法包括：獲得多幀圖像；對所述多幀圖像中的第一圖像中的目標對象進行肢體關鍵點檢測處理，獲得所述目標對象的部分肢體對應的第一關鍵點資訊；基於所述第一關鍵點資訊確定第二圖像中的所述目標對象的所述部分肢體對應的第二關鍵點資訊；其中，在所述多幀圖像中，所述第二圖像為所述第一圖像後的一幀圖像。

Description

圖像處理方法、電子設備和電腦可讀儲存介質

本發明關於電腦視覺技術領域，具體關於一種圖像處理方法、電子設備和電腦可讀儲存介質。

目標跟蹤技術通常基於肢體檢測演算法和肢體關鍵點檢測演算法，利用肢體檢測演算法檢測出的人體，以及肢體關鍵點檢測演算法檢測出的人體關鍵點，實現目標跟蹤。但是目前的肢體檢測演算法和肢體關鍵點檢測演算法無法適應只有上半身肢體的場景，從而導致只有上半身肢體的目標無法進行跟蹤。

本發明實施例提供一種圖像處理方法、電子設備和電腦可讀儲存介質。

本發明實施例提供了一種圖像處理方法，所述方法包括：獲得多幀圖像；對所述多幀圖像中的第一圖像中的目標對象進行肢體關鍵點檢測處理，獲得所述目標對象的部分肢體對應的第一關鍵點資訊；基於所述第一關鍵點資訊確定第二圖像中的所述目標對象的所述部分肢體對應的第二關鍵點資訊；其中，在所述多幀圖像中，所述第二圖像為所述第一圖像後的一幀圖像。

在本發明的一些可選實施例中，所述對所述多幀圖像中的第一圖像中的目標對象進行肢體關鍵點檢測處理，獲得所述目標對象的部分肢體對應的第一關鍵點資訊，包括：對所述第一圖像中的所述目標對象進行肢體檢測處理，確定所述目標對象的第一區域；所述第一區域包括所述目標對象的部分肢體所在區域；對所述第一區域對應的圖元點進行肢體關鍵點檢測處理，獲得所述目標對象的所述部分肢體對應的第一關鍵點資訊。

在本發明的一些可選實施例中，所述基於所述第一關鍵點資訊確定第二圖像中的所述目標對象的所述部分肢體對應的第二關鍵點資訊，包括：基於所述第一關鍵點資訊在所述第一圖像中確定第二區域；所述第二區域大於所述目標對象的第一區域；所述第一區域包括所述目標對象的部分肢體所在區域；根據所述第二區域，確定所述第二圖像中與所述第二區域的位置範圍對應的第三區域；對所述第二圖像中的所述第三區域內的圖元點進行肢體關鍵點檢測處理，獲得所述部分肢體對應的第二關鍵點資訊。

在本發明的一些可選實施例中，所述基於所述第一關鍵點資訊確定第二圖像中的所述目標對象的所述部分肢體對應的第二關鍵點資訊，包括：根據所述第一關鍵點資訊在所述第一圖像中的位置範圍，確定所述第二圖像中、與所述位置範圍對應的第三區域；對所述第二圖像中的所述第三區域內的圖元點進行肢體關鍵點檢測處理，獲得所述部分肢體對應的第二關鍵點資訊。

在本發明的一些可選實施例中，所述對所述第一圖像中的所述目標對象進行肢體檢測處理，包括：利用肢體檢測網路對所述第一圖像中的所述目標對象進行肢體檢測處理；其中，所述肢體檢測網路採用第一類樣本圖像訓練得到；所述第一類樣本圖像中標注有目標對象的檢測框；所述檢測框的標注範圍包括所述目標對象的部分肢體所在區域。

在本發明的一些可選實施例中，所述對所述第一區域對應的圖元點進行肢體關鍵點檢測處理，包括：利用肢體關鍵點檢測網路對所述第一區域對應的圖元點進行肢體關鍵點檢測處理；其中，所述肢體關鍵點檢測網路採用第二類樣本圖像訓練得到；所述第二類樣本圖像中標注有包括所述目標對象的部分肢體的關鍵點。

在本發明的一些可選實施例中，所述目標對象的部分肢體包括以下至少之一：頭部、頸部、肩部、胸部、腰部、髖部、手臂、手部；所述第一關鍵點資訊和所述第二關鍵點資訊包括頭部、頸部、肩部、胸部、腰部、髖部、手臂和手部中的至少一個肢體的輪廓關鍵點資訊和/骨骼關鍵點資訊。

在本發明的一些可選實施例中，所述方法還包括：回應於獲得所述目標對象的部分肢體對應的第一關鍵點資訊的情況，為所述目標對象分配跟蹤標識；基於對所述多幀圖像的處理過程中分配的所述跟蹤標識的數量，確定所述多幀圖像中的目標對象的數量。

在本發明的一些可選實施例中，所述方法還包括：基於所述第二關鍵點資訊確定所述目標對象的姿態；基於所述目標對象的姿態確定對應於所述目標對象的交互指令。

本發明實施例還提供了一種圖像處理裝置，所述裝置包括：獲取單元、檢測單元和跟蹤確定單元；其中，所述獲取單元，配置為獲得多幀圖像；所述檢測單元，配置為對所述多幀圖像中的第一圖像中的目標對象進行肢體關鍵點檢測處理，獲得所述目標對象的部分肢體對應的第一關鍵點資訊；所述跟蹤確定單元，配置為基於所述第一關鍵點資訊確定第二圖像中的所述目標對象的所述部分肢體對應的第二關鍵點資訊；其中，在所述多幀圖像中，所述第二圖像為所述第一圖像後的一幀圖像。

在本發明的一些可選實施例中，所述檢測單元包括：肢體檢測模組和肢體關鍵點檢測模組；其中，所述肢體檢測模組，配置為對所述第一圖像中的所述目標對象進行肢體檢測處理，確定所述目標對象的第一區域；所述第一區域包括所述目標對象的部分肢體所在區域；所述肢體關鍵點檢測模組，配置為對所述第一區域對應的圖元點進行肢體關鍵點檢測處理，獲得所述目標對象的所述部分肢體對應的第一關鍵點資訊。

在本發明的一些可選實施例中，所述跟蹤確定單元，配置為基於所述第一關鍵點資訊在所述第一圖像中確定第二區域；所述第二區域大於所述目標對象的第一區域；所述第一區域包括所述目標對象的部分肢體所在區域；根據所述第二區域，確定所述第二圖像中與所述第二區域的位置範圍對應的第三區域；對所述第二圖像中的所述第三區域內的圖元點進行肢體關鍵點檢測處理，獲得所述部分肢體對應的第二關鍵點資訊。

在本發明的一些可選實施例中，所述跟蹤確定單元，配置為根據所述第一關鍵點資訊在所述第一圖像中的位置範圍，確定所述第二圖像中、與所述位置範圍對應的第三區域；對所述第二圖像中的所述第三區域內的圖元點進行肢體關鍵點檢測處理，獲得所述部分肢體對應的第二關鍵點資訊。

在本發明的一些可選實施例中，所述肢體檢測模組，配置為利用肢體檢測網路對所述第一圖像中的所述目標對象進行肢體檢測處理；其中，所述肢體檢測網路採用第一類樣本圖像訓練得到；所述第一類樣本圖像中標注有目標對象的檢測框；所述檢測框的標注範圍包括所述目標對象的部分肢體所在區域。

在本發明的一些可選實施例中，所述肢體關鍵點檢測模組，配置為利用肢體關鍵點檢測網路對所述第一區域對應的圖元點進行肢體關鍵點檢測處理；其中，所述肢體關鍵點檢測網路採用第二類樣本圖像訓練得到；所述第二類樣本圖像中標注有包括所述目標對象的部分肢體的關鍵點。

在本發明的一些可選實施例中，所述目標對象的部分肢體包括以下至少之一：頭部、頸部、肩部、胸部、腰部、髖部、手臂、手部；所述第一關鍵點資訊和所述第二關鍵點資訊包括頭部、頸部、肩部、胸部、腰部、髖部、手臂和手部中的至少一個肢體的輪廓關鍵點資訊和/骨骼關鍵點資訊。

在本發明的一些可選實施例中，所述裝置還包括分配單元和統計單元；其中，所述分配單元，配置為回應於所述檢測單元獲得所述目標對象的部分肢體對應的第一關鍵點資訊的情況，為所述目標對象分配跟蹤標識；所述統計單元，配置為基於對所述多幀圖像的處理過程中分配的所述跟蹤標識的數量，確定所述多幀圖像中的目標對象的數量。

在本發明的一些可選實施例中，所述裝置還包括確定單元，配置為基於所述第二關鍵點資訊確定所述目標對象的姿態；基於所述目標對象的姿態確定對應於所述目標對象的交互指令。

本發明實施例還提供了一種電腦可讀儲存介質，其上儲存有電腦程式，該程式被處理器執行時實現本發明實施例所述的圖像處理方法的步驟。

本發明實施例還提供了一種電子設備，包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的電腦程式，所述處理器執行所述程式時實現本發明實施例所述的圖像處理方法的步驟。

本發明實施例還提供了一種電腦程式，所述電腦程式使得電腦執行本發明實施例所述的圖像處理方法。

本發明實施例提供的圖像處理方法、裝置、電子設備和儲存介質，通過對待處理的多幀圖像中的第一圖像中的目標對象的部分肢體的關鍵點進行識別，並基於識別出的部分肢體的關鍵點確定在後的第二圖像中的目標對象的部分肢體的關鍵點，從而實現了在圖像中具有目標對象的部分肢體（例如上半身）的場景下的目標跟蹤。

下面結合附圖及具體實施例對本發明作進一步詳細的說明。

以下描述中，為了說明而不是為了限定，提出了諸如特定系統結構、介面、技術之類的具體細節，以便透徹理解本發明。

本文中術語“和/或”，僅僅是一種描述關聯對象的關聯關係，表示可以存在三種關係，例如，A和/或B，可以表示：單獨存在A，同時存在A和B，單獨存在B這三種情況。另外，本文中字元“/”，一般表示前後關聯對象是一種“或”的關係。此外，本文中的“多”表示兩個或者多於兩個。

本發明實施例提供了一種圖像處理方法。圖1為本發明實施例的圖像處理方法的流程示意圖一；如圖1所示，所述方法包括： 步驟101：獲得多幀圖像； 步驟102：對多幀圖像中的第一圖像中的目標對象進行肢體關鍵點檢測處理，獲得目標對象的部分肢體對應的第一關鍵點資訊； 步驟103：基於第一關鍵點資訊確定第二圖像中的目標對象的部分肢體對應的第二關鍵點資訊；其中，在多幀圖像中，第二圖像為第一圖像後的一幀圖像。

本實施例的圖像處理方法可應用於圖像處理裝置中，圖像處理裝置可設置於個人電腦、伺服器等具有處理功能的電子設備內，或者由處理器執行電腦程式實現。

本實施例中，上述多幀圖像可以為由電子設備內置或外接的攝影設備採集的連續的視頻，或者也可以是接收的由其它電子設備傳輸的視頻等。在一些應用場景中，上述多幀圖像可以為監控攝影頭採集的監控視頻，以對監控視頻中的各個目標對象進行跟蹤。在另一些應用場景中，上述多幀圖像也可以是本地或其他視頻庫中儲存的視頻，以對視頻中的各個目標對象進行跟蹤。在又一些應用場景中，本實施例的圖像處理方法可應用於虛擬實境（VR，Virtual Reality）、擴增實境（AR，Augmented Reality）或者體感遊戲等應用場景中；則上述多幀圖像還可以為虛擬實境或擴增實境場景中採集到的操作者的圖像，可通過對圖像中的操作者的姿態的識別，控制虛擬實境場景或擴增實境場景中的虛擬對象的動作；或者還可以為體感遊戲中採集到的參與遊戲的目標對象（如多個使用者）的圖像等。

在一些應用場景中，圖像處理裝置可與一個或多個監控攝影頭建立通信連接，將即時獲得監控攝影頭採集的監控視頻作為待處理的多幀圖像。在另一些應用場景中，圖像處理裝置也可從自身儲存的視頻中獲取視頻作為待處理的多幀圖像，或者，也可從其他電子設備儲存的視頻中獲取視頻作為待處理的多幀圖像等等。在又一些應用場景中，圖像處理裝置也可置於遊戲裝置中，在遊戲裝置的處理器執行電腦程式從而實現遊戲操作者操作過程中，將輸出顯示的圖像作為待處理的多幀圖像，對圖像中的目標對象（目標對象對應於遊戲操作者）進行跟蹤。

本實施例中，待處理的多幀圖像中可包括目標對象，目標對象可以為一個或多個；在一些應用場景中，目標對象可以是真實人物；在另一些應用場景中，目標對象也可以是根據實際追蹤需要而確定的其他對象，例如虛擬人物或其他虛擬對象等。

本實施例中，多幀圖像中的每一幀圖像可稱為幀圖像，是組成視頻（即待處理圖像）的最小單位，可以理解，多幀圖像為一組時間連續的幀圖像，按照各個幀圖像的採集時間形成上述多幀圖像，各個幀圖像對應的時間參數是連續的。

示例性的，以目標對象為真實人物為例，在多幀圖像中包括目標對象的情況下，上述多幀圖像對應的時間範圍內可包括一個或多個目標對象，也可以是上述多幀圖像的時間範圍內的部分時間範圍內包括一個或多個目標對象，本實施例中對此不作限定。

本實施例中，上述第一圖像為多幀圖像中的任意一幀圖像，第二圖像為第一圖像後的一幀圖像；換句話說，上述第一圖像是多幀圖像中、在第二圖像之前的任意一幀圖像。其中，在一些可選的實施例中，第二圖像可以是與第一圖像時間連續的、在後的一幀圖像。例如，多幀圖像包括10幀圖像，上述第一圖像為10幀圖像中的第2幀圖像，則上述第二圖像為第3幀圖像。在另一些可選實施例中，第二圖像也可以是第一圖像後的、與第一圖像相距預設數量幀圖像的一幀圖像。例如，多幀圖像包括20幀圖像，上述第一圖像為20幀圖像中的第2幀圖像，假設預設數量幀圖像為3幀圖像，則上述第二圖像可以為20幀圖像中的第6幀圖像。其中，上述預設數量可依據實際情況預先設定，例如預設數量可依據目標對象的移動速度預先設定。這種實施方式能夠有效的減小資料處理量，從而減輕圖像處理裝置的消耗。

本實施例中，圖像處理裝置可通過肢體關鍵點檢測網路對第一圖像中的目標對象進行肢體關鍵點檢測處理，獲得目標對象的部分肢體對應的第一關鍵點資訊。本實施例中，上述目標對象的部分肢體包括以下至少之一：頭部、頸部、肩部、胸部、腰部、髖部、手臂、手部。相應的，目標對象的部分肢體對應的第一關鍵點資訊和第二關鍵點資訊包括目標對象的頭部、頸部、肩部、胸部、腰部、髖部、手臂、手部中的至少一個肢體的輪廓關鍵點資訊和/骨骼關鍵點資訊。

示例性的，本實施例中目標對象的部分肢體為目標對象的上半身肢體，以便於能夠識別出多幀圖像中具有上半身的目標對象，從而實現僅具有上半身或具有全身的目標對象的追蹤。

示例性的，上述第一關鍵點資訊和第二關鍵點資訊對應的關鍵點可以包括：頭部的至少一個關鍵點、肩部的至少一個關鍵點、手臂的至少一個關鍵點、胸部的至少一個關鍵點、髖部的至少一個關鍵點和腰部的至少一個關鍵點；可選的，上述第一關鍵點資訊和第二關鍵點資訊對應的關鍵點還可以包括手部的至少一個關鍵點。圖像處理裝置是否能夠獲得手部的關鍵點，取決於用於訓練肢體關鍵點檢測網路的樣本圖像中是否標注了手部的關鍵點；在樣本圖像中標注了手部的關鍵點的情況下，則可通過肢體關鍵點檢測網路檢測到手部的關鍵點。

在一些可選實施例中，在上述目標對象的部分肢體包括頭部的情況下，第一關鍵點資訊和第二關鍵點資訊中可包括至少一個器官的關鍵點資訊，至少一個器官的關鍵點資訊可包括以下至少之一：鼻子關鍵點資訊、眉心關鍵點資訊、嘴部關鍵點資訊。

在一些可選實施例中，在上述目標對象的部分肢體包括手臂的情況下，第一關鍵點資訊和第二關鍵點資訊中可包括手肘部關鍵點資訊。

在一些可選實施例中，在上述目標對象的部分肢體包括手部的情況下，第一關鍵點資訊和第二關鍵點資訊中可包括手腕關鍵點資訊。可選地，第一關鍵點資訊和第二關鍵點資訊中還可包括手部的輪廓關鍵點資訊。

在一些可選實施例中，在上述目標對象的部分肢體包括髖部的情況下，第一關鍵點資訊和第二關鍵點資訊中可包括左髖關鍵點資訊和右髖關鍵點資訊。可選地，第一關鍵點資訊和第二關鍵點資訊中還可包括脊柱根部關鍵點資訊。

其中，上述第一關鍵點資訊具體可以包括關鍵點的座標。上述第一關鍵點資訊可以包括輪廓關鍵點的座標和/或骨骼關鍵點的座標。可以理解，通過輪廓關鍵點的座標能夠形成對應的部分肢體的輪廓邊緣；通過骨骼關鍵點的座標能夠形成對應的部分肢體的骨骼。

圖2為本發明實施例的圖像處理方法中的肢體關鍵點檢測處理方法的流程示意圖；在一些可選的實施例中，步驟102可參照圖2所示，包括： 步驟1021：對第一圖像中的目標對象進行肢體檢測處理，確定目標對象的第一區域；第一區域包括上述目標對象的部分肢體所在區域； 步驟1022：對第一區域對應的圖元點進行肢體關鍵點檢測處理，獲得目標對象的部分肢體對應的第一關鍵點資訊。

本實施例中，首先對第一圖像中的各個目標對象進行肢體檢測，確定各個目標對象的第一區域，例如可確定各個目標對象的上半身對應的第一區域或者各個目標對象的全身對應的第一區域。實際應用中，可通過標識目標對象的檢測框（例如矩形框）表示部分肢體對應的第一區域，例如，通過各個矩形框標識出第一圖像中的各個人物的上半身。

在一些可選的實施例中，上述對第一圖像中的目標對象進行肢體檢測處理，包括：利用肢體檢測網路對第一圖像中的目標對象進行肢體檢測處理；其中，上述肢體檢測網路採用第一類樣本圖像訓練得到；第一類樣本圖像中標注有目標對象的檢測框；檢測框的標注範圍包括目標對象的部分肢體所在區域；目標對象的部分肢體可以是目標對象的上半身肢體。

本實施例中，可通過預先訓練好的肢體檢測網路對第一圖像進行肢體檢測，確定目標對象的第一區域，也即獲得第一圖像中各個目標對象的檢測框。上述檢測框可標識目標對象的部分肢體或全部肢體，也即通過肢體檢測網路可檢測獲得目標對象的全部肢體或者上半身肢體。其中，上述肢體檢測網路可採用任意一種能夠檢測目標對象肢體的網路結構，本實施例中對此不做限定。

示例性的，以通過肢體檢測網路檢測得到目標對象的部分肢體的檢測框為例，可通過肢體檢測網路對第一圖像進行特徵提取，基於提取到的特徵確定第一圖像中的各個目標對象的部分肢體的中心點以及對應於各個目標對象的部分肢體的檢測框的高度和寬度，基於各個目標對象的部分肢體的中心點以及對應的高度和寬度，可確定各個目標對象的部分肢體的檢測框。

本實施例中，肢體檢測網路可採用標注有目標對象的檢測框的第一類樣本圖像訓練獲得；其中，檢測框的標注範圍包括目標對象的部分肢體，可以理解，第一類樣本圖像中可僅標注有目標對象的部分肢體（例如目標對象的上半身肢體）的檢測框，也可以標注有目標對象完整肢體的檢測框。示例性的，以檢測框的標注範圍為目標對象的部分肢體為例，可利用肢體檢測網路提取第一類樣本圖像的特徵資料，基於特徵資料確定第一類樣本圖像中各個目標對象的部分肢體的預測中心點以及對應部分肢體的預測檢測框的高度和寬度，基於上述部分肢體的預測中心點以及對應的高度和寬度確定各個部分肢體對應的預測檢測框；根據預測檢測框以及標注的部分肢體的檢測框確定損失，基於損失調整肢體檢測網路的網路參數。

在一些可選的實施例中，上述對第一區域對應的圖元點進行肢體關鍵點檢測處理，包括：利用肢體關鍵點檢測網路對第一區域對應的圖元點進行肢體關鍵點檢測處理；其中，上述肢體關鍵點檢測網路採用第二類樣本圖像訓練得到；第二類樣本圖像中標注有目標對象的關鍵點；上述關鍵點的標注範圍包括目標對象的部分肢體。

本實施例中，可通過預先訓練好的肢體關鍵點檢測網路對第一區域對應的圖元點進行肢體關鍵點檢測，確定各個目標對象的部分肢體的第一關鍵點資訊。示例性的，上述第一區域可包括目標對象的部分肢體，可將各個目標對象的檢測框對應的圖元點輸入至肢體關鍵點檢測網路，得到各個目標對象的部分肢體對應的第一關鍵點資訊。其中，上述肢體關鍵點檢測網路可採用任意一種能夠檢測肢體關鍵點的網路結構，本實施例中對此不做限定。

本實施例中，肢體關鍵點檢測網路可採用標注有目標對象的關鍵點的第二類樣本圖像訓練獲得，其中，關鍵點的標注範圍包括目標對象的部分肢體，可以理解，第二類樣本圖像中可僅標注有目標對象的部分肢體（例如目標對象的上半身肢體）的關鍵點，也可以標注有目標對象的完整肢體的關鍵點。示例性的，以第二類樣本圖像中標注有目標對象的部分肢體的關鍵點為例，可利用肢體關鍵點檢測網路提取第二類樣本圖像的特徵資料，基於特徵資料確定第二類樣本圖像中各個目標對象的部分肢體的預測關鍵點；基於上述預測關鍵點和標注的關鍵點確定損失，基於損失調整肢體關鍵點檢測網路的網路參數。

圖3為本發明實施例的圖像處理方法中的肢體關鍵點跟蹤方法的一種流程示意圖；在一些可選的實施例中，步驟103可參照圖3所示，方法包括： 步驟1031：基於第一關鍵點資訊在第一圖像中確定第二區域；第二區域大於目標對象的第一區域；第一區域包括上述目標對象的部分肢體所在區域； 步驟1032：根據第二區域，確定第二圖像中與第二區域的位置範圍對應的第三區域； 步驟1033：對第二圖像中的第三區域內的圖元點進行肢體關鍵點檢測處理，獲得部分肢體對應的第二關鍵點資訊。

本實施例中，針對第一圖像中的一個目標對象，基於該目標對象的部分肢體的第一關鍵點資訊確定一個區域，該區域可以為包含該目標對象的部分肢體的所有關鍵點的最小區域。示例性的，若該區域為矩形區域，則該矩形區域為包含該目標對象的部分肢體的所有關鍵點的最小區域。則上述第二區域為在第一圖像中、對第一區域進行放大處理得到的區域。

示例性的，若第一區域為矩形為例，假設上述第一區域的高度為H，寬度為W，則可以該區域的中心點為中心、以該區域的四邊朝向遠離中心點的方向延伸，例如在高度方向上，分別向遠離中心點的方向延伸H/4，在寬度方向上，分別向遠離中心點的方向延伸W/4，則上述第二區域可通過第一圖像中、以上述中心點為中心，高度為3H/2、寬度為3W/2的矩形區域表示。

則本實施例中，可依據第二區域在第一圖像中的位置範圍，確定第二圖像中、與上述位置範圍對應的第三區域。

在一些可選實施例中，根據第二區域，確定第二圖像中與第二區域的位置範圍對應的第三區域，還可以包括：對第二區域對應的圖元點進行肢體關鍵點檢測處理，獲得第三關鍵點資訊；確定第三關鍵點資訊在第一圖像中的位置範圍，基於上述位置範圍確定第二圖像中、與上述位置範圍對應的第三區域。

示例性的，本實施例中，依舊採用肢體關鍵點檢測網路對第二區域對應的圖元點進行肢體關鍵點檢測處理，可以將第一圖像中、擴大後的上述第二區域對應的圖元點作為肢體關鍵點檢測網路的輸入資料，輸出第三關鍵點資訊，上述第三關鍵點資訊作為第二圖像中的目標對象的預測關鍵點資訊，也即本發明實施例通過對前一幀圖像中的目標對象的所在區域進行擴大處理（例如對前一幀圖像中的目標對象的部分肢體所在區域進行擴大處理），通過對擴大後的區域進行肢體關鍵點檢測，將獲得的關鍵點作為當前幀圖像（即第一圖像）之後的一幀圖像（即第二圖像）中、對應於目標對象（例如目標對象的部分肢體）的預測關鍵點。進一步基於預測出的位置範圍，對第二圖像中的第三區域對應的圖元點進行肢體關鍵點檢測處理，檢測到的關鍵點資訊即為上述目標對象的部分肢體對應的第二關鍵點資訊。

在一些可選實施例中，上述步驟103還可包括：根據所述第一關鍵點資訊在所述第一圖像中的位置範圍，確定所述第二圖像中、與所述位置範圍對應的第三區域；對所述第二圖像中的所述第三區域內的圖元點進行肢體關鍵點檢測處理，獲得所述部分肢體對應的第二關鍵點資訊。

本實施例中，可依據第一關鍵點在第一圖像中的位置範圍，確定第二圖像中、與上述位置範圍對應的第三區域。進一步對第二圖像中的第三區域對應的圖元點進行肢體關鍵點檢測處理，檢測到的關鍵點資訊即為上述目標對象的部分肢體對應的第二關鍵點資訊。

在另一些可選實施例中，步驟103還可包括：基於第一圖像、目標對象的第一區域和目標追蹤網路，確定第二圖像中的目標對象的預測區域，基於第二圖像中的上述預測區域的圖元點進行肢體關鍵點檢測處理，得到目標對象的部分肢體對應的第二關鍵點資訊；其中，目標追蹤網路採用多幀樣本圖像訓練得到；多幀樣本圖像中至少包括第一樣本圖像和第二樣本圖像，第二樣本圖像為第一樣本圖像後的一幀圖像；第一樣本圖像中標注有目標對象的位置，第二樣本圖像中標注有目標對象的位置。示例性的，多幀樣本圖像中均標注有目標對象的檢測框，通過檢測框表示目標對象在樣本圖像中的位置；檢測框的標注範圍包括目標對象的部分肢體所在區域；目標對象的部分肢體可以是目標對象的上半身肢體。

本實施例中，可利用上一幀圖像（即第一圖像）以及圖像中的目標對象的位置、通過預先訓練好的目標追蹤網路確定下一幀圖像（即第二圖像）中該目標對象的預測位置。示例性的，可將包含有目標對象的檢測框的第一圖像輸入至目標追蹤網路，得到第二圖像中的目標對象的預測位置；再對第二圖像中的預測位置處的圖元點進行肢體關鍵點檢測處理，得到目標對象的部分肢體在第二圖像中的第二關鍵點資訊。其中，上述目標跟蹤網路可採用任意一種能夠實現目標跟蹤的網路結構，本實施例中對此不做限定。

本實施例中，目標追蹤網路可採用標注有目標對象的位置（例如包含目標對象的檢測框，或者包含目標對象的部分肢體的檢測框）的多幀樣本圖像訓練獲得。示例性的，以多幀樣本圖像中至少包括第一圖像和第二圖像為例，可利用目標追蹤網路對第一樣本圖像進行處理，第一樣本圖像中標注有目標對象的位置，處理結果為該目標對象在第二樣本圖像中的預測位置；則可根據上述預測位置和第二圖像中目標對象的標注位置確定損失，基於損失調整目標追蹤網路的網路參數。

需要說明的是，在基於第一關鍵點資訊確定第二圖像中的目標對象的部分肢體對應的第二關鍵點資訊後，可基於第二圖像中的目標對象的部分肢體對應的第二關鍵點資訊進一步確定在後圖像中的目標對象的部分肢體對應的關鍵點資訊，以此類推，直至無法在後一幀圖像中檢測出目標對象的部分肢體對應的關鍵點資訊，此時，可表明待處理的多幀圖像中已不包括上述目標對象，即目標對象已移出待處理的多幀圖像的視野範圍內。

在一些可選實施例中，圖像處理裝置也可針對每一幀圖像中的目標對象進行肢體檢測，得到每一幀圖像中的目標對象所在的區域。將檢測到的目標對象作為追蹤對象，從而可確定當前幀圖像中是否出現新的目標對象；在當前幀圖像中出現新的目標對象的情況下，將新的目標對象作為追蹤對象，將新的目標對象對應的第一區域內的圖元點進行肢體關鍵點檢測處理，即針對新的目標對象執行本發明實施例中步驟103的處理。示例性的，圖像處理裝置可每隔預設時間或者每隔預設數量的圖像幀執行圖像中的目標對象的肢體檢測處理，從而實現每隔一段時間檢測圖像中是否有新的目標對象出現，對新的目標對象進行跟蹤。

在本發明的一些可選實施例中，上述方法還包括：回應於獲得目標對象的部分肢體對應的第一關鍵點資訊的情況，為目標對象分配跟蹤標識；基於對多幀圖像的處理過程中分配的跟蹤標識的數量，確定多幀圖像中的目標對象的數量。

本實施例中，圖像處理裝置在待處理的多幀圖像中的首幀圖像中檢測到目標對象，即獲得目標對象的部分肢體對應的第一關鍵點資訊時，為目標對象分配一個跟蹤標識，該跟蹤標識與該目標對象建立關聯，直至在對該目標對象進行跟蹤的過程中，無法跟蹤到該目標對象。

在一些可選實施例中，圖像處理裝置也可針對每一幀圖像中的目標對象進行肢體檢測，得到每一幀圖像中的目標對象的部分肢體對應的區域，將檢測到的目標對象作為追蹤對象。基於此，圖像處理裝置對待處理圖像中的首幀圖像進行檢測，為檢測到的目標對象分配跟蹤標識。之後，該跟蹤標識一直跟隨該目標對象，直至無法跟蹤到該目標對象。若在某一幀圖像中檢測到新的目標對象，則為該新的目標對象分配跟蹤標識，重複執行上述方案。可以理解，在同一時刻檢測到的各個目標對象對應於不同的跟蹤標識；在連續的時間範圍內跟蹤到的目標對象對應於相同的跟蹤標識；在非連續的時間範圍內分別檢測到的目標對象對應於不同的跟蹤標識。

例如，若某一幀圖像，分別檢測到三個目標對象，則針對三個目標對象分別分配一個跟蹤標識，每個目標對象分別對應一個跟蹤標識。

又例如，針對5分鐘的多幀圖像，在第一個1分鐘內檢測到三個目標對象，分別為三個目標對象分配一個跟蹤標識，例如可記為標識1、標識2和標識3；在第二個1分鐘內，上述三個目標對象中的第一個目標對象消失，則在當前1分鐘內，只有兩個目標對象，分別對應的跟蹤標識為標識2和標識3；在第三個1分鐘內，上述第一個目標對象又出現在圖像中，即相比於在先圖像中、檢測到新的目標對象，儘管該目標對象是第一個1分鐘內出現過的目標對象（即第一個目標對象），依舊為該目標對象分配標識4作為跟蹤標識，以此類推。

基於此，本實施例的技術方案可基於多幀圖像處理過程中對應的跟蹤標識的數量，確定多幀圖像中出現過的目標對象的數量。示例性的，多幀圖像中出現過的目標對象的數量指的是多幀圖像對應的時間範圍內出現過的目標對象的次數。

採用本發明實施例的技術方案，通過對待處理的多幀圖像中的第一圖像中的目標對象的部分肢體的關鍵點進行識別，並基於識別出的部分肢體的關鍵點確定在後的第二圖像中的目標對象的部分肢體的關鍵點，從而實現了在圖像中僅具有目標對象的部分肢體（例如上半身）的場景下的目標跟蹤，也即本發明實施例的技術方案能夠同時適應完整肢體場景和部分肢體（例如上半身）場景，實現了圖像中的目標跟蹤。

本發明實施例還提供了一種圖像處理方法。圖4為本發明實施例的圖像處理方法的流程示意圖二；如圖4所示，所述方法包括： 步驟201：獲得多幀圖像； 步驟202：對多幀圖像中的第一圖像中的目標對象進行肢體關鍵點檢測處理，獲得目標對象的部分肢體對應的第一關鍵點資訊； 步驟203：基於第一關鍵點資訊確定第二圖像中的目標對象的部分肢體對應的第二關鍵點資訊；其中，在多幀圖像中，第二圖像為第一圖像後的一幀圖像； 步驟204：基於第二關鍵點資訊確定目標對象的姿態；基於目標對象的姿態確定對應於目標對象的交互指令。

本實施例步驟201至步驟203的具體闡述可參照步驟101至步驟103的描述，這裡不再贅述。

本實施例可通過追蹤到的目標對象、進而基於該目標對象的第二關鍵點資訊確定目標對象的姿態，並基於目標對象的姿態確定各姿態對應的交互指令。之後，對各個姿態對應的交互指令進行回應。

本實施例適用於動作交互場景，圖像處理裝置可基於各姿態確定對應的交互指令，回應上述交互指令；回應上述交互指令，例如可以為開啟或關閉圖像處理裝置自身或者圖像處理裝置所在的電子設備自身的某些功能等；或者，回應上述交互指令還可以是將上述交互指令發送給其他電子設備，其他電子設備接收到上述交互指令，基於交互指令開啟或關閉某些功能，換句話說，上述交互指令也可以用於開啟或關閉其他電子設備的對應功能。

本實施例還適用於虛擬實境、擴增實境或者體感遊戲等各種應用場景。圖像處理裝置可基於各種交互指令執行相應的處理，處理包括但不限於控制虛擬實境或擴增實境場景中、針對虛擬對象執行相應動作；控制體感遊戲場景中、針對目標對象對應的虛擬角色執行相應的動作。一些示例中，若方法應用於擴增實境或虛擬實境等場景，則圖像處理裝置基於交互指令執行的相應處理可以包括控制虛擬目標對象在真實場景或虛擬場景中執行與交互指令相應的動作。

採用本發明實施例的技術方案，一方面實現了在圖像中僅具有目標對象的部分肢體（例如上半身）的場景下的目標跟蹤，也即本發明實施例的技術方案能夠同時適應完整肢體場景和部分肢體（例如上半身）場景，實現了圖像中的目標跟蹤；另一方面，在目標跟蹤過程中檢測跟蹤到的目標對象的關鍵點資訊，並基於目標對象的關鍵點資訊確定跟蹤到的目標對象的姿態，基於目標對象的姿態確定對應的交互指令，實現了在特定應用場景（例如虛擬實境場景、擴增實境場景、體感遊戲場景等交互場景）中的人機交互，提升用戶的交互體驗。

本發明實施例還提供了一種圖像處理裝置。圖5為本發明實施例的圖像處理裝置的組成結構示意圖一；如圖5所示，所述裝置包括：獲取單元31、檢測單元32和跟蹤確定單元33；其中， 上述獲取單元31，配置為獲得多幀圖像； 上述檢測單元32，配置為對多幀圖像中的第一圖像中的目標對象進行肢體關鍵點檢測處理，獲得上述目標對象的部分肢體對應的第一關鍵點資訊； 上述跟蹤確定單元33，配置為基於上述第一關鍵點資訊確定第二圖像中的上述目標對象的上述部分肢體對應的第二關鍵點資訊；其中，在上述多幀圖像中，上述第二圖像為上述第一圖像後的一幀圖像。

在本發明的一些可選實施例中，如圖6所示，上述檢測單元32包括：肢體檢測模組321和肢體關鍵點檢測模組322；其中， 上述肢體檢測模組321，配置為對上述第一圖像中的目標對象進行肢體檢測處理，確定目標對象的第一區域；第一區域包括目標對象的部分肢體所在區域； 上述肢體關鍵點檢測模組322，配置為對上述第一區域對應的圖元點進行肢體關鍵點檢測處理，獲得上述目標對象的上述部分肢體對應的第一關鍵點資訊。

在本發明的一些可選實施例中，上述跟蹤確定單元33，配置為基於上述第一關鍵點資訊在第一圖像中確定第二區域；上述第二區域大於上述目標對象的第一區域；第一區域包括目標對象的部分肢體所在區域；根據第二區域，確定第二圖像中與第二區域的位置範圍對應的第三區域；對第二圖像中的第三區域內的圖元點進行肢體關鍵點檢測處理，獲得上述部分肢體對應的第二關鍵點資訊。

在本發明的一些可選實施例中，上述跟蹤確定單元33，配置為根據所述第一關鍵點資訊在所述第一圖像中的位置範圍，確定所述第二圖像中、與所述位置範圍對應的第三區域；對所述第二圖像中的所述第三區域內的圖元點進行肢體關鍵點檢測處理，獲得所述部分肢體對應的第二關鍵點資訊。

在本發明的一些可選實施例中，上述肢體檢測模組321，配置為利用肢體檢測網路對上述第一圖像中的上述目標對象進行肢體檢測處理；其中，上述肢體檢測網路採用第一類樣本圖像訓練得到；上述第一類樣本圖像中標注有目標對象的檢測框；檢測框的標注範圍包括目標對象的部分肢體所在區域。

在本發明的一些可選實施例中，上述肢體關鍵點檢測模組322，配置為利用肢體關鍵點檢測網路對上述第一區域對應的圖元點進行肢體關鍵點檢測處理；其中，上述肢體關鍵點檢測網路採用第二類樣本圖像訓練得到；上述第二類樣本圖像中標注有包括所述目標對象的部分肢體的關鍵點。

在本發明的一些可選實施例中，上述目標對象的部分肢體包括以下至少之一：頭部、頸部、肩部、胸部、腰部、髖部、手臂、手部；上述第一關鍵點資訊和上述第二關鍵點資訊包括頭部、頸部、肩部、胸部、腰部、髖部、手臂和手部中的至少一個肢體的輪廓關鍵點資訊和/骨骼關鍵點資訊。

在本發明的一些可選實施例中，如圖7所示，上述裝置還包括：分配單元34和統計單元35；其中， 上述分配單元34，配置為回應於上述檢測單元32獲得目標對象的部分肢體對應的第一關鍵點資訊的情況，為目標對象分配跟蹤標識； 上述統計單元35，配置為基於對多幀圖像的處理過程中分配的跟蹤標識的數量，確定多幀圖像中的目標對象的數量。

在本發明的一些可選實施例中，如圖8所示，上述裝置還包括確定單元36，配置為基於第二關鍵點資訊確定目標對象的姿態；基於目標對象的姿態確定對應於目標對象的交互指令。

本發明實施例中，上述圖像處理裝置中的獲取單元31、檢測單元32（包括肢體檢測模組321和肢體關鍵點檢測模組322）、跟蹤確定單元33、分配單元34、統計單元35和確定單元36，在實際應用中均可由中央處理器（CPU，Central Processing Unit）、數位訊號處理器（DSP，Digital Signal Processor）、微控制單元（MCU，Microcontroller Unit）或可程式設計閘陣列（FPGA，Field－Programmable Gate Array）實現。

需要說明的是：上述實施例提供的圖像處理裝置在進行圖像處理時，僅以上述各程式模組的劃分進行舉例說明，實際應用中，可以根據需要而將上述處理分配由不同的程式模組完成，即將裝置的內部結構劃分成不同的程式模組，以完成以上描述的全部或者部分處理。另外，上述實施例提供的圖像處理裝置與圖像處理方法實施例屬於同一構思，其具體實現過程詳見方法實施例，這裡不再贅述。

本發明實施例還提供了一種電子設備。圖9為本發明實施例的電子設備的硬體組成結構示意圖；如圖9所示，電子設備40可包括記憶體42、處理器41及儲存在記憶體42上並可在處理器41上運行的電腦程式，上述處理器41執行上述程式時實現本發明實施例上述圖像處理方法的步驟。

可以理解，電子設備40中的各個元件可通過匯流排系統43耦合在一起。可理解，匯流排系統43用於實現這些元件之間的連接通信。匯流排系統43除包括資料匯流排之外，還包括電源匯流排、控制匯流排和狀態信號匯流排。但是為了清楚說明起見，在圖9中將各種匯流排都標為匯流排系統43。

可以理解，記憶體42可以是易失性記憶體或非易失性記憶體，也可包括易失性和非易失性記憶體兩者。其中，非易失性記憶體可以是唯讀記憶體（ROM，Read Only Memory）、可程式設計唯讀記憶體（PROM，Programmable Read-Only Memory）、可擦除可程式設計唯讀記憶體（EPROM，Erasable Programmable Read-Only Memory）、電可擦除可程式設計唯讀記憶體（EEPROM，Electrically Erasable Programmable Read-Only Memory）、磁性隨機存取記憶體（FRAM，ferromagnetic random access memory）、快閃記憶體（Flash Memory）、磁表面記憶體、光碟、或唯讀光碟（CD-ROM，Compact Disc Read-Only Memory）；磁表面記憶體可以是磁碟記憶體或磁帶記憶體。易失性記憶體可以是隨機存取記憶體（RAM，Random Access Memory），其用作外部快取記憶體。通過示例性但不是限制性說明，許多形式的RAM可用，例如靜態隨機存取記憶體（SRAM，Static Random Access Memory）、同步靜態隨機存取記憶體（SSRAM，Synchronous Static Random Access Memory）、動態隨機存取記憶體（DRAM，Dynamic Random Access Memory）、同步動態隨機存取記憶體（SDRAM，Synchronous Dynamic Random Access Memory）、雙倍數據速率同步動態隨機存取記憶體（DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory）、增強型同步動態隨機存取記憶體（ESDRAM，Enhanced Synchronous Dynamic Random Access Memory）、同步連接動態隨機存取記憶體（SLDRAM，SyncLink Dynamic Random Access Memory）、直接記憶體匯流排隨機存取記憶體（DRRAM，Direct Rambus Random Access Memory）。本發明實施例描述的記憶體42旨在包括但不限於這些和任意其它適合類型的記憶體。

上述本發明實施例揭示的方法可以應用於處理器41中，或者由處理器41實現。處理器41可能是一種積體電路晶片，具有信號的處理能力。在實現過程中，上述方法的各步驟可以通過處理器41中的硬體的集成邏輯電路或者軟體形式的指令完成。上述的處理器41可以是通用處理器、DSP，或者其他可程式設計邏輯器件、分立門或者電晶體邏輯器件、分立硬體元件等。處理器41可以實現或者執行本發明實施例中的公開的各方法、步驟及邏輯框圖。通用處理器可以是微處理器或者任何常規的處理器等。結合本發明實施例所公開的方法的步驟，可以直接體現為硬體解碼處理器執行完成，或者用解碼處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於儲存介質中，該儲存介質位於記憶體42，處理器41讀取記憶體42中的資訊，結合其硬體完成前述方法的步驟。

在示例性實施例中，電子設備40可以被一個或多個應用專用積體電路（ASIC，Application Specific Integrated Circuit）、DSP、可程式設計邏輯器件（PLD，Programmable Logic Device）、複雜可程式設計邏輯器件（CPLD，Complex Programmable Logic Device）、FPGA、通用處理器、控制器、MCU、微處理器（Microprocessor）、或其他電子元件實現，用於執行前述方法。

在示例性實施例中，本發明實施例還提供了一種電腦可讀儲存介質，例如包括電腦程式的記憶體42，上述電腦程式可由電子設備40的處理器41執行，以完成前述方法所述步驟。電腦可讀儲存介質可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面記憶體、光碟、或CD-ROM等記憶體；也可以是包括上述記憶體之一或任意組合的各種設備，如行動電話、電腦、平板設備、個人數位助理等。

本發明實施例還提供了一種電腦可讀儲存介質，其上儲存有電腦程式，該程式被處理器執行時實現本發明實施例所述圖像處理方法的步驟。

本發明實施例還提供了一種電腦程式，所述電腦程式使得電腦執行本發明實施例所述的圖像處理方法的步驟。

本發明所提供的幾個方法實施例中所揭露的方法，在不衝突的情況下可以任意組合，得到新的方法實施例。

本發明所提供的幾個產品實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的產品實施例。

本發明所提供的幾個方法或設備實施例中所揭露的特徵，在不衝突的情況下可以任意組合，得到新的方法實施例或設備實施例。

在本發明所提供的幾個實施例中，應該理解到，所揭露的設備和方法，可以通過其它的方式實現。以上所描述的設備實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現時可以有另外的劃分方式，如：多個單元或元件可以結合，或可以集成到另一個系統，或一些特徵可以忽略，或不執行。另外，所顯示或討論的各組成部分相互之間的耦合、或直接耦合、或通信連接可以是通過一些介面，設備或單元的間接耦合或通信連接，可以是電性的、機械的或其它形式的。

上述作為分離部件說明的單元可以是、或也可以不是物理上分開的，作為單元顯示的部件可以是、或也可以不是物理單元，即可以位於一個地方，也可以分佈到多個網路單元上；可以根據實際的需要選擇其中的部分或全部單元來實現本實施例方案的目的。

另外，在本發明各實施例中的各功能單元可以全部集成在一個處理單元中，也可以是各單元分別單獨作為一個單元，也可以兩個或兩個以上單元集成在一個單元中；上述集成的單元既可以採用硬體的形式實現，也可以採用硬體加軟體功能單元的形式實現。

本領域普通技術人員可以理解：實現上述方法實施例的全部或部分步驟可以通過程式指令相關的硬體來完成，前述的程式可以儲存於一電腦可讀取儲存介質中，該程式在執行時，執行包括上述方法實施例的步驟；而前述的儲存介質包括：移動存放裝置、ROM、RAM、磁碟或者光碟等各種可以儲存程式碼的介質。

或者，本發明上述集成的單元如果以軟體功能模組的形式實現並作為獨立的產品銷售或使用時，也可以儲存在一個電腦可讀取儲存介質中。基於這樣的理解，本發明實施例的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟體產品的形式體現出來，該電腦軟體產品儲存在一個儲存介質中，包括若干指令用以使得一台電腦設備（可以是個人電腦、伺服器、或者網路設備等）執行本發明各個實施例所述方法的全部或部分。而前述的儲存介質包括：移動存放裝置、ROM、 RAM、磁碟或者光碟等各種可以儲存程式碼的介質。

以上所述，僅為本發明的具體實施方式，但本發明的保護範圍並不局限於此，任何熟悉本技術領域的技術人員在本發明揭露的技術範圍內，可輕易想到變化或替換，都應涵蓋在本發明的保護範圍之內。因此，本發明的保護範圍應以所述申請專利範圍的保護範圍為準。

31:獲取單元 32:檢測單元 321:肢體檢測模組 322:肢體關鍵點檢測模組 33:跟蹤確定單元 34:分配單元 35:統計單元 36:確定單元 40:電子設備 41:處理器 42:記憶體 43:匯流排系統 101~103,1021~1022,1031~1033,201~204:步驟

圖1為本發明實施例的圖像處理方法的流程示意圖一； 圖2為本發明實施例的圖像處理方法中的肢體關鍵點檢測處理方法的流程示意圖； 圖3為本發明實施例的圖像處理方法中的肢體關鍵點跟蹤方法的一種流程示意圖； 圖4為本發明實施例的圖像處理方法的流程示意圖二； 圖5為本發明實施例的圖像處理裝置的組成結構示意圖一； 圖6為本發明實施例的圖像處理裝置的組成結構示意圖二； 圖7為本發明實施例的圖像處理裝置的組成結構示意圖三； 圖8為本發明實施例的圖像處理裝置的組成結構示意圖四； 圖9為本發明實施例的電子設備的硬體組成結構示意圖。

101~103:步驟

Claims (11)

1. 一種圖像處理方法，所述方法包括： 獲得多幀圖像； 對所述多幀圖像中的第一圖像中的目標對象進行肢體關鍵點檢測處理，獲得所述目標對象的部分肢體對應的第一關鍵點資訊； 基於所述第一關鍵點資訊確定第二圖像中的所述目標對象的所述部分肢體對應的第二關鍵點資訊；其中，在所述多幀圖像中，所述第二圖像為所述第一圖像後的一幀圖像。
2. 根據請求項1所述的方法，其中，所述對所述多幀圖像中的第一圖像中的目標對象進行肢體關鍵點檢測處理，獲得所述目標對象的部分肢體對應的第一關鍵點資訊，包括： 對所述第一圖像中的所述目標對象進行肢體檢測處理，確定所述目標對象的第一區域；所述第一區域包括所述目標對象的部分肢體所在區域； 對所述第一區域對應的圖元點進行肢體關鍵點檢測處理，獲得所述目標對象的所述部分肢體對應的第一關鍵點資訊。
3. 根據請求項1所述的方法，其中，所述基於所述第一關鍵點資訊確定第二圖像中的所述目標對象的所述部分肢體對應的第二關鍵點資訊，包括： 基於所述第一關鍵點資訊在所述第一圖像中確定第二區域；所述第二區域大於所述目標對象的第一區域；所述第一區域包括所述目標對象的部分肢體所在區域； 根據所述第二區域，確定所述第二圖像中與所述第二區域的位置範圍對應的第三區域； 對所述第二圖像中的所述第三區域內的圖元點進行肢體關鍵點檢測處理，獲得所述部分肢體對應的第二關鍵點資訊。
4. 根據請求項1所述的方法，其中，所述基於所述第一關鍵點資訊確定第二圖像中的所述目標對象的所述部分肢體對應的第二關鍵點資訊，包括： 根據所述第一關鍵點資訊在所述第一圖像中的位置範圍，確定所述第二圖像中、與所述位置範圍對應的第三區域； 對所述第二圖像中的所述第三區域內的圖元點進行肢體關鍵點檢測處理，獲得所述部分肢體對應的第二關鍵點資訊。
5. 根據請求項2所述的方法，其中，所述對所述第一圖像中的所述目標對象進行肢體檢測處理，包括： 利用肢體檢測網路對所述第一圖像中的所述目標對象進行肢體檢測處理； 其中，所述肢體檢測網路採用第一類樣本圖像訓練得到；所述第一類樣本圖像中標注有目標對象的檢測框；所述檢測框的標注範圍包括所述目標對象的部分肢體所在區域。
6. 根據請求項2所述的方法，其中，所述對所述第一區域對應的圖元點進行肢體關鍵點檢測處理，包括： 利用肢體關鍵點檢測網路對所述第一區域對應的圖元點進行肢體關鍵點檢測處理； 其中，所述肢體關鍵點檢測網路採用第二類樣本圖像訓練得到；所述第二類樣本圖像中標注有包括所述目標對象的部分肢體的關鍵點。
7. 根據請求項1至6任一項所述的方法，其中，所述目標對象的部分肢體包括以下至少之一：頭部、頸部、肩部、胸部、腰部、髖部、手臂、手部； 所述第一關鍵點資訊和所述第二關鍵點資訊包括頭部、頸部、肩部、胸部、腰部、髖部、手臂和手部中的至少一個肢體的輪廓關鍵點資訊和/骨骼關鍵點資訊。
8. 根據請求項1至6任一項所述的方法，其中，所述方法還包括： 回應於獲得所述目標對象的部分肢體對應的第一關鍵點資訊的情況，為所述目標對象分配跟蹤標識； 基於對所述多幀圖像的處理過程中分配的所述跟蹤標識的數量，確定所述多幀圖像中的目標對象的數量。
9. 根據請求項1至6任一項所述的方法，其中，所述方法還包括： 基於所述第二關鍵點資訊確定所述目標對象的姿態； 基於所述目標對象的姿態確定對應於所述目標對象的交互指令。
10. 一種電腦可讀儲存介質，其上儲存有電腦程式，該程式被處理器執行時實現請求項1至9任一項所述方法的步驟。
11. 一種電子設備，包括記憶體、處理器及儲存在記憶體上並可在處理器上運行的電腦程式，所述處理器執行所述程式時實現請求項1至9任一項所述方法的步驟。

Images