TWI851831B

TWI851831B - 人體部位追蹤方法和人體部位追蹤系統

Info

Publication number: TWI851831B
Application number: TW109135053A
Authority: TW
Inventors: 郭勝修
Original assignee: 未來市股份有限公司
Priority date: 2019-10-24
Filing date: 2020-10-08
Publication date: 2024-08-11

Abstract

一種人體部位追蹤方法和人體部位追蹤系統。取得第一影像。第一影像在第一時間點擷取人體部位的第一段和第二段。從第一影像辨識第一和第二參考點。根據第一和第二參考點的三維座標來判斷第一與第二段之間的位置關係。取得第二影像。第二影像在第二時間點擷取第一段但沒有第二段。辨識來自第二影像的第三參考點。從第二影像辨識第三參考點。透過使用第三參考點的三維座標和位置關係來預測第四參考點的三維座標。第四參考點指示人體部位的第二段在第二時間點的位置。因此，可追蹤視野外的人體部位的位置。

Description

人體部位追蹤方法和人體部位追蹤系統

本發明是有關於一種運動預測，且特別是有關於一種人體部位追蹤方法和人體部位追蹤系統。

現如今流行用於模擬感覺、感知和/或環境的擴展現實（extended reality；XR）技術，例如虛擬實境（virtual reality；VR）、增強現實（augmented reality；AR）、以及混合現實（mixed reality；MR）。前述技術可應用於多個領域中，例如遊戲、軍事訓練、醫療保健、遠端工作等。通常，用戶可佩戴頭戴式顯示器以體驗虛擬世界。此外，為了在頭戴式顯示器系統上提供直觀的操作，可檢測使用者的運動，以根據使用者的運動直接操作頭戴式顯示器系統。可根據由照相機擷取的一個或多個影像來判斷使用者的運動。然而，照相機具有視野上的限制。舉例來說，圖1A和圖1B是示出手部運動的範例的示意圖。參考圖1A，用戶的手部H位於照相機的視野FOV內。參考圖1B，當用戶進一步抬高手部H時，手部H可位於視野FOV外。頭戴式顯示器系統可能不知曉圖1B中的手部H的位置且不能繼續追蹤手部H的運動。

當人體部位位於視野外時，可能無法追蹤人體部位的位置。有鑑於此，本發明提供一種人體部位追蹤方法和人體部位追蹤系統，以預測照相機的視野中的人體部位的缺失部分的位置。

本發明實施例的人體部位追蹤方法包含（但不限於）以下步驟。從影像擷取裝置取得第一影像，其中第一影像在第一時間點擷取人體部位第一段和第二段。從第一影像辨識第一參考點和第二參考點。第一參考點指示第一段在第一時間點的位置，且第二參考點指示第二段在第一時間點的位置。根據第一參考點和第二參考點的三維座標來判斷第一段與第二段之間的位置關係。從影像擷取裝置取得第二影像。第二影像在第二時間點擷取第一段但沒有第二段。從第二影像辨識第三參考點。辨識來自第二影像的第三參考點，其中第三參考點指示人體部位的第一段在第二時間點的位置。透過使用第三參考點的三維座標和位置關係來預測第四參考點的三維座標。第四參考點指示人體部位的第二段在第二時間點的位置。

本發明實施例的人體部位追蹤系統包含（但不限於）影像擷取裝置和處理器。處理器耦接到影像擷取裝置且配置成用於：透過影像擷取裝置取得第一影像，其中第一影像在第一時間點擷取人體部位的第一段和第二段，且人體部位的第一段連接到人體部位的第二段；從第一影像辨識第一參考點和第二參考點，其中第一參考點指示人體部位的第一段在第一時間點的位置，且第二參考點指示人體部位的第二段在第一時間點的位置；根據第一參考點和第二參考點的三維座標判斷人體部位的第一段與第二段之間的位置關係；透過影像擷取裝置取得第二影像，其中第二影像在第二時間點擷取人體部位的第一段但沒有第二段；從第二影像辨識第三參考點，其中第三參考點指示人體部位的第一段在第二時間點的位置；以及透過使用第三參考點的三維座標和位置關係來預測第四參考點的三維座標，其中第四參考點指示人體部位的第二段在第二時間點的位置；以及根據第一影像判斷第一段與第二段之間的位置關係。

基於上述，根據本發明實施例的人體部位追蹤方法和人體部位追蹤系統，人體部位的兩段的參考點在第一時間點的影像中的位置可用以預測不位於第二時間點的另一影像中的某一段的參考點的位置。藉此，當人體部位受某事/物隱藏時，仍可追蹤隱藏部分的位置。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

現將詳細參考本發明的優選實施例，其範例在附圖中示出。只要可能，相同附圖符號在附圖和描述中用以代表相同或相似元件。

圖2是示出根據本發明的示範性實施例中的一個的人體部位追蹤系統100的方塊圖。參考圖2，人體部位追蹤系統100包含（但不限於）影像擷取裝置110、記憶體130以及處理器150。人體部位追蹤系統100適用於XR(例如，VR、AR、MR、或其它現實模擬相關技術)。

影像擷取裝置110可以是照相機，例如單色照相機或彩色照相機、深度照相機、錄影機或能夠擷取影像的其它影像感測器。在一個實施例中，將影像擷取裝置110安裝在頭戴式顯示器（head mounted display；HMD）的主體上且朝向特定方向進行擷取。舉例來說，當使用者佩戴HMD時，影像擷取裝置110擷取使用者前方的場景。在一些實施例中，影像擷取裝置110的方向及/或視野可基於實際需要進行調整。在又一些實施例中，影像擷取裝置110可用於朝向使用者的一個或多個人體部位進行擷取以產生包含使用者的人體部位的影像。舉例來說，一個或多個人體部位可包含使用者的手部、手臂、腳踝、腿或其它人體部位。

記憶體130可以是任何類型的固定或可移動隨機存取記憶體（random-access memory；RAM）、唯讀記憶體（read-only memory；ROM）、快閃記憶體記憶體、類似元件或以上元件的組合。記憶體130記錄程式碼、元件配置、暫存資料或永久資料（例如影像、位置、位置關係、三維座標以及運動模型）且將在稍後引入這些資料。

處理器150耦接到影像擷取裝置110和記憶體130。處理器150配置成載入儲存在記憶體130中的程式碼，以執行本發明的示範性實施例的過程。

在一些實施例中，處理器150可以是中央處理單元（central processing unit；CPU）、微處理器、微控制器、數位信號處理（digital signal processing；DSP）晶片、現場可程式設計閘陣列（field-programmable gate array；FPGA）。處理器150的功能也可透過獨立電子元件或積體電路（integrated circuit；IC）來實施，且處理器150的操作也可由軟體來實施。

應注意，處理器150可不與影像擷取裝置110安裝在同一裝置上。然而，裝置分別配備有影像擷取裝置110，且處理器150可更包含具有相容通訊技術（例如藍牙、Wi-Fi以及IR無線通訊）的通訊收發器或實體傳輸線路以彼此傳輸或接收資料。舉例來說，處理器150可安裝在計算元件中，而影像擷取裝置110安裝在HMD的主體上。

為了更好地理解本發明的一個或多個實施例中所提供的操作過程，下文將舉例說明數個實施例以詳細解釋人體部位追蹤系統100的操作過程。在以下實施例中應用人體部位追蹤系統100中的元件和模組以解釋本文中所提供的控制方法。可根據實際實施情況調整方法的每一步驟，且不應限於本文中所描述的內容。

圖3是示出根據本發明的示範性實施例中的一個的人體部位追蹤方法的流程圖。參考圖3，處理器150可透過/從影像擷取裝置110取得第一影像（步驟S310）。具體地說，第一影像是由影像擷取裝置110在第一時間點擷取的影像中的一個。應注意，第一影像在第一時間點擷取人體部位的第一段和第二段。也就是說，人體部位的第一段和第二段都位於影像擷取裝置110的視野內。人體部位可以是使用者的手部、手臂、腿、腳、腳踝、腿或其它人體部位。人體部位的第一段連接到人體部位的第二段。第一段和第二段可以是接合點之間的人體部位的部分或人體部位的任何兩個相鄰部分。舉例來說，第一段是前臂且第二段是手部。再例如，第一段是手掌且第二段是一根手指。在一些實施例中，這些段是基於實際需要而判斷的。處理器150可進一步透過配置有物件辨識功能的機器學習技術（例如深度學習、人工神經網路（artificial neural network；ANN）或支持向量機（support vector machine；SVM）等）或其它影像辨識技術來辨識第一影像中的人體部位、第一段以及第二段。

處理器150可從第一影像辨識第一參考點和第二參考點（步驟S320）。在一個實施例中，第一參考點指示人體部位的第一段在第一時間點的位置，且第二參考點指示人體部位的第二段在第一時間點的位置。第一參考點和第二參考點可以是分別位於第一段和第二段處的重心、幾何中心或任何點。在一些實施例中，更多參考點、表面、輪廓可用於指示第一段或第二段的位置。

圖4是示出根據本發明的示範性實施例中的一個的人體部位在第一時間點的運動的示意圖。參考圖4，在第一時間點，手部410和前臂430都位於視野FOV內。此外，處理器150將位於前臂430處的一個點和手部410的重心分別地判斷為第一參考點431和第二參考點411。

處理器150可根據第一參考點和第二參考點的三維座標來判斷人體部位的第一段與第二段之間的位置關係（步驟S330）。具體地說，三維座標是表示空間中的點的位置的格式中的一種。對應於第一影像中的第一參考點和第二參考點的感測強度和像素位置可用於估測第一參考點和第二參考點的深度資訊（即，相對於影像擷取裝置110或其它參考裝置的距離）且估測第一參考點和第二參考點在平行於影像擷取裝置110的平面處的二維座標，以便產生第一參考點和第二參考點的三維座標。在一些實施例中，相對位置或深度可用於表示點的位置。

此外，位置關係涉及人體部位的第一段與第二段之間的相對位置。舉例來說，所述位置關係涉及第一段與第二段之間的距離和/或從第一段到第二段的方向。

在一個實施例中，處理器150可連接第一影像中的第一段的第一參考點和第二段的第二參考點，以在第一參考點與第二參考點之間形成身體連接來作為位置關係。採用圖4作為範例，身體連接BL連接第一參考點431和第二參考點411。也就是說，第一參考點431和第二參考點411是身體連接BL的兩個端點。

在一些實施例中，身體連接BL可能不是直線。交點451可在手部410與前臂430之間產生。舉例來說，交點451位於手腕處。此外，身體連接BL可進一步穿過交點451。

處理器150可透過/從影像擷取裝置110取得第二影像（步驟S340）。具體地說，第二影像是由影像擷取裝置110在第一時間點之後的第二時間點擷取的影像中的另一個影像。應注意，第二影像在第二時間點擷取第一段但沒有第二段。也就是說，人體部位移動且只有人體部位的第一段位於影像擷取裝置110的視野內。

處理器150可從第二影像辨識第三參考點（步驟S350）。在一個實施例中，第三參考點指示人體部位的第一段在第二時間點的位置。第三參考點可以是位於第一段處的重心、幾何中心或任何點。在一些實施例中，更多參考點、表面、輪廓可用於指示第一段在第二時間點的位置。

圖5是示出根據本發明的示範性實施例中的一個的人體部位在第二時間點的運動的示意圖。參考圖5，在第二時間點，只有前臂430位於視野FOV內，且手部410位於視野FOV外。此外，處理器150將位於前臂430處的一個點判斷為第三參考點433。

處理器可透過使用第三參考點的三維座標和位置關係來預測第四參考點的三維座標（步驟S360）。在一個實施例中，第四參考點指示人體部位的第二段在第二時間點的位置。第四參考點可以是位於第二段處的重心、幾何中心或任何點。在一些實施例中，更多參考點、表面、輪廓可用於指示第二段在第二時間點的位置。

因為第四參考點可能不位於視野內，所以處理器150可不基於第二影像將第二段的位置直接判斷為第一段的位置假設位置關係涉及第三參考點的位置和第四參考點的位置。在第一時間點的第一段與第二段之間的相對位置又可與在第二時間點的第一段與第二段之間的相對位置相同。

在一個實施例中，處理器150可透過將第二影像中的第三參考點和第四參考點與身體連接一起連接來判斷第四參考點的三維座標。身體連接可保留其形狀。然而，身體連接的兩個端點將從第一參考點和第二參考點變為第三參考點和第四參考點。處理器150可基於身體連接判斷第一參考點與第二參考點之間的座標差，且使用第三參考點的三維座標和座標差來判斷第四參考點的三維座標。

採用圖4和圖5作為範例，身體連接BL可隨著手部410和前臂430的運動而移位。將存在連接第三參考點433（第三參考點453）和第四參考點413的身體連接BL。因此，可判斷第四參考點413的位置。

在一個實施例中，處理器150可判斷位於第一段的端點但不位於第二段處的基點。舉例來說，第一段是前臂，第二段是手部，且基點位於肘關節處。基於反向動力學(Inverse Kinematics)，處理器150可根據位於第二影像中的第一段與第二段之間的中點和基點的位置來估測位於第二段處的目標點的位置。舉例來說，採用肘關節作為基點，中點可位於作為前臂和手部的交點的手腕處，且目標點可以是手指的端點。另一方面，反向動力學是計算接合點的參數的數學程序。處理器150可將中點、基點以及目標點視為用於反向動力學的接合點。基於反向動力學，給定的接合點參數（例如第一段與第二段之間的角度、基點和中點的位置等）可估測目標點的位置。隨後，處理器150可根據目標點的位置調整第四參考點的三維座標。假設第四參考點和目標點都位於人體部位的第二段處。處理器150可使用目標點檢查第四參考點是否從校正位置偏離且進一步修改第四參考點的三維座標。

圖6是示出根據本發明的示範性實施例中的一個的人體部位在第二時間點的運動的示意圖。參考圖6，基點435位於肘關節處，中點455位於手腕，且目標點415位於手指的端點。可透過使用反向動力學基於基點435和中點455來判斷目標點415的位置。處理器150可判斷第四參考點是否位於連接中點455和目標點415的線處。處理器150可進一步基於中點455和目標點415的線修改第四參考點413的三維座標。

在一個實施例中，處理器150可根據第一影像和一個或多個先前影像來判斷第二段的運動模型。在第一影像之前從影像擷取裝置110取得一個或多個先前影像。處理器150可分析第一影像和先前影像中的第二段的位移，並且進一步估測第二段的軌跡、旋轉和/或速度。另一方面，運動模型是模擬第二段的運動的數學模型。第二段的軌跡、旋轉和/或速度可用於估測運動模型。舉例來說，如果速度保持固定值，那麼運動模型可以是等速運動。處理器150可進一步根據運動模型調整第四參考點的三維座標。舉例來說，如果運動模型是旋轉運動，那麼可降低第四參考點的位置。

在一個實施例中，處理器150可根據目標點的位置基於運動模型來調整第四參考點的三維座標。也就是說，處理器150可基於運動模型使用目標點的位置來進一步調整第四參考點的所修改的三維座標。舉例來說，處理器150判斷第四參考點的所修改的三維座標是否位於連接中點和目標點的線處。因此，可提高位置估測的準確度。

綜上所述，在本發明實施例的人體部位追蹤方法和人體部位追蹤系統中，可基於第一時間點的影像中一個人體部位的兩段的兩參考點來決定兩段的位置關係。若某一段在第二時間點在影像擷取裝置的視野外，則可根據位置關係估測對應於消失段的參考點的位置。藉此，當部分的人體部位在視野中消失時，仍可追蹤此部分。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

100:人體部位追蹤系統 110:影像擷取裝置 130:記憶體 150:處理器 410:手部 411:第二參考點 413:第四參考點 415:目標點 430:前臂 431:第一參考點 435:基點 433、453:第三參考點 451:交點 455:中點 S310、S320、S330、S340、S350、S360:步驟 BL:身體連接 FOV:視野 H:手部

圖1A和圖1B是示出手部運動的範例的示意圖。圖2是示出根據本發明的示範性實施例中的一個的人體部位追蹤系統的方塊圖。圖3是示出根據本發明的示範性實施例中的一個的人體部位追蹤方法的流程圖。圖4是示出根據本發明的示範性實施例中的一個的人體部位在第一時間點的運動的示意圖。圖5是示出根據本發明的示範性實施例中的一個的人體部位在第二時間點的運動的示意圖。圖6是示出根據本發明的示範性實施例中的一個的人體部位在第二時間點的運動的示意圖。

S310~S360:步驟

Claims

一種人體部位追蹤方法，包括：透過一處理器從一影像擷取裝置取得一第一影像，其中所述第一影像在一第一時間點擷取一人體部位的一第一段和一第二段，且所述人體部位的所述第一段連接到所述人體部位的所述第二段；透過該處理器從所述第一影像辨識一第一參考點和一第二參考點，其中所述第一參考點指示所述人體部位的所述第一段在所述第一時間點的位置，且所述第二參考點指示所述人體部位的所述第二段在所述第一時間點的位置；透過該處理器根據所述第一參考點和所述第二參考點的三維座標來判斷所述人體部位的所述第一段與所述第二段之間的一位置關係；透過該處理器從所述影像擷取裝置取得一第二影像，其中所述第二影像在一第二時間點擷取所述人體部位的所述第一段但沒有所述第二段；透過該處理器從所述第二影像辨識一第三參考點，其中所述第三參考點指示所述人體部位的所述第一段在所述第二時間點的位置；以及透過該處理器並使用所述第三參考點的三維座標和所述位置關係來預測一第四參考點的三維座標，其中所述第四參考點指示所述人體部位的所述第二段在所述第二時間點的位置。
如請求項1所述的人體部位追蹤方法，其中判斷所述第一段與所述第二段之間的所述位置關係的步驟包括：透過該處理器連接所述第一影像中的所述第一段的所述第一參考點和所述第二段的所述第二參考點，以在第一參考點與所述第二參考點之間形成一身體連接來作為所述位置關係。
如請求項2所述的人體部位追蹤方法，其中預測所述第四參考點的所述三維座標的所述步驟包括：透過該處理器並將所述第二影像中的所述第三參考點和所述第四參考點與所述身體連接一起連接來判斷所述第四參考點的所述三維座標。
如請求項3所述的人體部位追蹤方法，更包括：透過該處理器判斷在所述第二時間點位於所述第一段的端點的基點；以及基於反向動力學，透過該處理器根據位於所述第二影像中的所述第一段與所述第二段之間的中點和所述基點的所述位置來估測位於所述第二段處的目標點的位置，其中所述反向動力學是計算接合點的參數的數學程序，且將所述中點、所述基點以及所述目標點視為所述接合點；以及透過該處理器根據所述目標點的所述位置調整所述第四參考點的所述三維座標。
如請求項3所述的人體部位追蹤方法，更包括：透過該處理器根據所述第一影像和至少一先前影像判斷所述第二段的一運動模型，其中在所述第一影像之前取得所述至少一個先前影像，且所述運動模型是模擬所述第二段的運動的數學模型；以及透過該處理器根據所述運動模型來調整所述第四參考點的所述三維座標。
如請求項5所述的人體部位追蹤方法，更包括：透過該處理器判斷在所述第二時間點位於所述第一段的端點的基點；以及基於反向動力學，透過該處理器根據位於所述第二影像中的所述第一段與所述第二段之間的中點和所述基點的所述位置來估測位於所述第二段處的目標點的位置，其中所述反向動力學是計算接合點的參數的數學程序，且將所述基點、所述中點以及所述目標點視為所述接合點；以及透過該處理器根據所述目標點的所述位置基於所述運動模型來調整所述第四參考點的所述三維座標。
一種人體部位追蹤系統，包括：一影像擷取裝置；以及一處理器，耦接至所述影像擷取裝置，且配置成用於：透過所述影像擷取裝置取得第一影像，其中所述第一影像在一第一時間點擷取一人體部位的一第一段和一第二段，且所述人體部位的所述第一段連接到所述人體部位的所述第二段；從所述第一影像辨識一第一參考點和一第二參考點，其中所述第一參考點指示所述人體部位的所述第一段在所述第一時間點的位置，且所述第二參考點指示所述人體部位的所述第二段在所述第一時間點的位置；根據所述第一參考點和所述第二參考點的三維座標來判斷所述人體部位的所述第一段與所述第二段之間的一位置關係；透過所述影像擷取裝置取得一第二影像，其中所述第二影像在一第二時間點擷取所述人體部位的所述第一段但沒有所述第二段；從所述第二影像辨識第三參考點，其中所述第三參考點指示所述人體部位的所述第一段在所述第二時間點的位置；以及透過使用所述第三參考點的三維座標和所述位置關係來預測一第四參考點的三維座標，其中所述第四參考點指示所述人體部位的所述第二段在所述第二時間點的位置。
如請求項7所述的人體部位追蹤系統，其中所述處理器配置成用於：連接所述第一影像中的所述第一段的所述第一參考點和所述第二段的所述第二參考點，以在第一參考點與所述第二參考點之間形成一身體連接來作為所述位置關係。
如請求項8所述的人體部位追蹤系統，其中所述處理器配置成用於：透過將所述第二影像中的所述第三參考點和所述第四參考點與所述身體連接一起連接來判斷所述第四參考點的所述三維座標。
如請求項9所述的人體部位追蹤系統，其中所述處理器配置成用於：判斷在所述第二時間點位於所述第一段的端點的基點；以及基於反向動力學，根據所述第二影像中的所述第一段與所述第二段之間的中點和所述基點的所述位置來估測位於所述第二段處的目標點的位置，其中所述反向動力學是計算接合點的參數的數學程序，且將所述中點、所述基點以及所述目標點視為所述接合點；以及根據所述目標點的所述位置調整所述第四參考點的所述三維座標。
如請求項9所述的人體部位追蹤系統，其中所述處理器配置成用於：根據所述第一影像和至少一先前影像判斷所述第二段的一運動模型，其中在所述第一影像之前取得所述至少一個先前影像，且所述運動模型是模擬所述第二段的運動的數學模型；以及根據所述運動模型來調整所述第四參考點的三維座標。
如請求項11所述的人體部位追蹤系統，其中所述處理器配置成用於：判斷在所述第二時間點位於所述第一段的端點的基點；以及基於反向動力學，根據位於所述第二影像中的所述第一段與所述第二段之間的中點和所述基點的所述位置來估測位於所述第二段處的目標點的位置，其中所述反向動力學是計算接合點的參數的數學程序，且將所述中點、所述目標點以及所述基點視為所述接合點；以及根據所述目標點的所述位置基於所述運動模型來調整所述第四參考點的所述三維座標。