TWI549022B - 用於全自動動態鉸接模型校準的電腦可讀取儲存裝置及處理器實施的方法 - Google Patents

Description

用於全自動動態鉸接模型校準的電腦可讀取儲存裝置及處理器實施 的方法

本發明係關於全自動動態鉸接模型校準。

成像系統獲取關於經鉸接對象(諸如，實體空間中的人類或其他主體)之位置、姿勢及/或移動的資料，且成像系統可將該資料用作至計算系統中之應用程式之輸入。許多應用程式可能(諸如)用於軍事、娛樂、運動及醫療目的。例如，對象之姿勢及/或動作可用以控制動畫角色或虛擬使用者、參與遊戲、自命令之螢幕上選項單作出選擇等等。姿勢可表示在時間點處(諸如，在深度像素之畫面中)對象之配置或形狀，而對象之動作可藉由(諸如)深度像素之多個畫面中的一系列姿勢來表示。成像系統可包括光學系統，該等光學系統使用相機來偵測視場中的對象之存在。然而，需要進一步微調，來使對象以較高保真度成像。特定言之，希望使諸如手之經鉸接主體部分以高度的保真度成像。

提供一種處理器實施的方法、成像系統及有形的電腦可讀取儲存裝置，以使諸如使用者的手之經鉸接主體部分以經改良保真度成像。舉例而言，使用者可作出手勢以導航選項單、在瀏覽或購物體驗中互動、選擇要玩的 遊戲或存取通訊功能(諸如，將訊息發送至朋友)。使用者可使用手來控制遊標以自螢幕上選項單選擇項目或使用手來控制3D虛擬世界中虛擬使用者之移動。通常，手位置及姿勢可經偵測且用作至成像系統中的應用程式之控制輸入。

為增強成像系統準確地識別經鉸接主體部分之能力，提供經鉸接主體部分之模型。將模型與自深度感測器獲取的相應深度像素匹配，以提供初始匹配。隨後使用距離約束、碰撞約束、角度約束及使用柵格化模型的像素比較來微調匹配程序。

在一個實施例中，提供一種電腦可讀取儲存裝置，以程式化至少一個處理器來執行用於模型化對象(諸如，使用者/人、動物、機器人等)之經鉸接主體部分之姿勢的方法，該電腦可讀取儲存裝置上包括有電腦可讀取軟體。該方法包括以下步驟：獲取經鉸接主體部分之深度像素。可使用深度感測器在(例如)一或更多個畫面中獲取深度像素。深度像素為感測器資料。該方法進一步包括以下步驟：處理一或更多個畫面之深度像素，以識別經鉸接主體部分。該方法進一步包括以下步驟：存取模型，其中該模型包括對應於對象之經鉸接主體部分的經鉸接主體部分。將模型之經鉸接主體部分與對象之所識別的經鉸接主體部分匹配，以提供初始匹配。在一種可行的方法中，此匹配程序將模型的每一經鉸接主體部分之代表性的吸引點與一或更多個畫面的深度像素之各 別形心匹配。

該方法進一步包括以下步驟：評估在初始匹配中模型之經鉸接主體部分違反距離約束至何種程度，其中該等距離約束包括對於模型之經鉸接主體部分之間的距離的約束。調整模型以試圖滿足距離約束，該調整之步驟包括以下步驟：基於違反距離約束之程度，來調整模型之經鉸接主體部分中之至少一個經鉸接主體部分的長度。作為實例，可增加或減小經鉸接主體部分之長度。

可在模型滿足指定條件時，諸如在模型之至少兩個相鄰手指區段決定為處於指定的相對位置(例如，平行於彼此)時，實施碰撞約束。可(諸如)藉由減小模型之至少兩個相鄰手指區段之寬度，來調整模型以試圖滿足碰撞約束。

像素比較可涉及將手的經鉸接部分中的至少一個經鉸接部分之深度像素與一或更多個畫面之深度像素比較，以識別一或更多個畫面之非重疊深度像素以及手的經鉸接部分中的至少一個經鉸接部分之非重疊深度像素。可，(諸如)藉由減小及/或增加模型之經鉸接主體部分中的至少一個經鉸接主體部分之大小來基於比較步驟調整模型，以使模型更接近地匹配一或更多個畫面之深度像素。

提供此概述以用簡化形式介紹下文在描述中進一步描述之概念選擇。此概述並不意欲識別所主張標的之關鍵特徵或基本特徵，亦不意欲用以限制所主張標的之範疇。

本文提供的技術提供經由機率性資訊及約束對具有高自由度的經鉸接對象之狀態(姿勢及/或形狀)之即時估計，以產生建議，該建議可用作用於各種人類電腦互動任務的輸入之來源。經鉸接對象可為已知的具有許多關節之3D形狀對象，該等關節大部分具有六個自由度。狀態為已知經鉸接對象之所有部分之平移、方位、比例及其他形狀描述性資訊。

針對更具限制性的情況(諸如，全身追蹤)之此問題之解決方案通常在該全身追蹤的情況下識別諸如肢及頭之主體的特徵結構足夠，但在希望細節之更精細位準時並不足夠。舉例而言，在偵測使用者的手時，歸因於使用者將手在整個像素空間中迅速地移動之能力，可能存在較低程度的畫面間同調性。當使用者的手填充視場之大部分時，諸如當使用者接近深度感測器時，尤其如此。此外，與全身追蹤相比較，手大體具有由自我咬合所引起的更多歧義且具有許多看起來相似的部分，例如，手指。然而，本文提供的解決方案亦適合於全身追蹤及姿勢估計。

在一些情況下，使用具有固定拓撲之經鉸接模型。然而，具有模型之每一經鉸接部分之變化的大小可為有利的。在此情況下，對於諸如模型擬合之任務而言有用的是較佳地動態估計模型之所有部分之大小且調整該等大 小，以即時校正錯誤。經鉸接姿勢估計方法可假定經由直接量測或者在預處理步驟中計算的預先已知的模型尺寸參數，在該預處理步驟中，使用者採用某些預定義的校準姿勢。然而，由於校準程序可能對使用者不方便，故希望避免此校準程序。本文提供的解決方案即時動態地校準及調整經鉸接模型之所有部分之大小。此舉藉由組合及加權資訊之多個來源來執行，資訊之該多個來源與經鉸接模型之每一部分之大小相關。所建議的解決方案不需要任何使用者輸入、預先校準步驟或採用簡化姿勢的使用者。

藉由加權及組合在一些連續時段內自不同來源獲得的資訊，可將已知經鉸接模型動態地調整至該已知經鉸接模型之正確大小。此舉可作為靜態初始化步驟或正在進行的調整步驟來執行，以適應更具撓性的經鉸接對象或在模型化不同經鉸接對象之間切換，該等不同經鉸接對象兩者為相同已知類型。

解決方案之特徵包括：(1)使用距離約束違反量來估計經鉸接部分之長度；(2)使用碰撞約束違反量來估計經鉸接部分寬度；(3)使用來自模型擬合之像素分類來估計經鉸接部分之寬度；以及(4)使用剛性3D點雲端變換來使用1D至3D比例估計經鉸接模型之整體尺寸。

第1圖圖示成像系統10之實例實施例，在該成像系統10中，使用者8與應用程式互動。此圖圖示成像系統之真實世界(諸如，在使用者之家中)部署。成像系統10 包括顯示器196、深度相機系統20及計算環境或設備12。深度相機系統20可包括影像相機組件22或深度感測器，該影像相機組件22或深度感測器具有紅外線(IR)光發射器24、紅外線相機26及紅綠藍(red-green-blue；RGB)相機28。亦稱為人或參加者之使用者8站立在深度感測器之視場6中。線2及線4表示視場6之邊界。在此實例中，深度相機系統20及計算環境12提供應用程式，在該應用程式中，顯示器196上之虛擬使用者197追蹤使用者8之移動。舉例而言，當使用者舉起手臂時，虛擬使用者可舉起手臂。使用者亦可用手作出姿勢，以向應用程式提供控制輸入。虛擬使用者197正站立在3D虛擬世界中的道路198上。可定義笛卡爾(Cartesian)世界坐標系統，該笛卡爾世界坐標系統包括z軸、y軸及x軸，該z軸沿著深度相機系統20之焦距(例如)水平延伸，該y軸垂直延伸，該x軸側向(與z軸橫切)且水平延伸。注意，圖式之透視修正為簡化版本，如顯示器196沿y軸方向垂直延伸，且z軸自深度相機系統垂直於y軸及x軸且平行於使用者8所站立的地表面向外延伸。

大體上，成像系統10用以辨識、分析及/或追蹤人類目標。計算環境12可包括電腦、遊戲系統或控制台或類似物，以及執行應用程式之硬體組件及/或軟體組件。

深度相機系統20可包括相機，該相機用以可視地監視諸如使用者8之一或更多個人，以使得使用者執行的包 括一隻手或雙手之姿勢、手勢及/或移動的姿勢、手勢及/或移動可被擷取、分析及追蹤，以在應用程式內執行一或更多個控制或動作，諸如，使虛擬使用者或螢幕上人物動作或在使用者介面(UI)中選擇選項單項目。手的姿勢表示在某時間點處(諸如，在深度像素之畫面中)使用者的手之配置，而手勢表示(諸如)深度像素之多個畫面中的一系列姿勢。可類似地監視多個使用者。

成像系統10可連接至視聽裝置，諸如，顯示器196(例如，電視、監視器、高畫質電視(high-definition television；HDTV)或類似物)乃至牆壁或其他表面上之投影，該投影向使用者提供視覺及音訊輸出。亦可經由單獨的裝置提供音訊輸出。為驅動顯示器，計算環境12可包括諸如圖形卡之視訊配接器及/或諸如音效卡之音訊配接器，該視訊配接器及/或音訊配接器提供與應用程式相關聯之視聽訊號。顯示器196可經由(例如)超級視訊(S-Video)電纜、同軸電纜、HDMI電纜、DVI電纜、VGA電纜或類似物連接至計算環境12。

可使用深度相機系統20追蹤使用者8，以使得使用者之姿勢、手勢及/或移動被擷取且用以使虛擬使用者或螢幕上人物動作及/或解譯為對正藉由電腦環境12執行的應用程式之輸入控制。

使用者8之一些移動可解譯為可對應於除控制虛擬使用者之外的動作的控制。舉例而言，在一個實施例中，參加者可使用姿勢及/或移動來結束、暫停或儲存遊戲、 選擇級別、查看高分、與朋友通訊等等。參加者可使用姿勢及/或移動自主使用者介面選擇遊戲或其他應用程式或以另外方式導航選項單。因此，可以任何適合方式獲得、使用及分析使用者8之各種姿勢及/或動作，以與一或更多個應用程式互動。

成像系統10可進一步用以将目標姿勢及/或移動解譯為用於娛樂及休閒的遊戲及其他應用程式之領域外部的作業系統及/或應用程式控制輸入。舉例而言，作業系統及/或應用程式之幾乎任何可控制的態樣可藉由使用者8之姿勢及/或移動來控制。

第2圖圖示第1圖之成像系統10之示例性方塊圖。深度相機系統20可經配置以經由任何適合技術擷取具有深度資訊之視訊，該視訊包括深度影像，該深度影像可包括深度像素值，該任何適合技術包括(例如)飛行時間(time-of-flight)、結構化光、立體影像或類似物。深度相機系統20可將深度資訊組織成「Z層」或可垂直於Z軸的層，該Z軸自深度相機沿著該深度相機之視線延伸。

深度相機系統20可包括影像相機組件22，諸如，擷取實體空間中之場景之深度影像的深度相機。深度影像可包括被擷取場景之二維(2D)像素區域，其中2D像素區域中的每一像素具有相關聯深度值，該相關聯深度值表示距影像相機組件22的直線距離。

影像相機組件22可包括可用以擷取場景之深度影像 的紅外線(IR)光發射器24、紅外線相機26及紅綠藍(RGB)相機28。3D相機由紅外線發射器24及紅外線相機26之組合形成。舉例而言，在飛行時間分析中，IR光發射器24將紅外光發射至實體空間上，且紅外線相機26偵測來自實體空間中一或更多個目標及對象之表面的反向散射的光。在一些實施例中，可使用脈衝紅外光，以使得射出光脈衝與相應的入射光脈衝之間的時間經量測且用以決定自深度相機系統20至實體空間中目標或對象上特定位置之實體距離。可將射出光波之相位與入射光波之相位相比較，以決定相移。相移隨後可用以決定自深度相機系統至目標或對象上特定位置之實體距離。

飛行時間分析亦可用以藉由經由包括(例如)快門光脈衝成像之各種技術分析經反射光束隨時間之強度，來間接地決定自深度相機系統20至目標或對象上特定位置之實體距離。

在另一實例實施例中，深度相機系統20可使用結構化光來擷取深度資訊。在此分析中，經圖案化光(亦即，以諸如格子圖案或條紋圖案之已知圖案顯示的光)可經由(例如)IR光發射器24投影至場景上。在衝擊到場景中一或更多個目標或對象之表面上之後，圖案可變形以作為回應。圖案之此變形可藉由(例如)紅外線相機26及/或RGB相機28來擷取，且圖案之此變形隨後可經分析以決定自深度相機系統至目標或對象上特定位置之實體距離。

深度相機系統20可包括兩個或兩個以上在實體上分離的相機，該兩個或兩個以上在實體上分離的相機可自不同角度查看場景，以獲取視覺立體資料，該視覺立體資料可經解析以產生深度資訊。

深度相機系統20可進一步包括麥克風30，該麥克風30包括(例如)轉換器或感測器，該轉換器或感測器接收聲波且將聲波轉化成電訊號。此外，麥克風30可用以接收由人提供的諸如聲音之音訊訊號，以控制計算環境12執行的應用程式。音訊訊號可包括諸如口頭用語、吹口哨、高呼及其他說話方式之人之口聲以及諸如拍手或跺腳之非口中發出的聲音。

深度相機系統20可包括處理器32，該處理器32與影像相機組件22通訊。處理器32可包括標準化處理器、專用處理器、微處理器或類似物，該標準化處理器、該專用處理器、該微處理器或類似物可執行包括(例如)用於以下操作的指令之指令：接收深度影像；基於深度影像產生三維像素之格子；移除在三維像素之格子中包括的背景，以隔離與人類目標相關聯之一或更多個三維像素；決定經隔離人類目標之一或更多個末端之位置；基於一或更多個末端之位置或下文將更詳細地描述之任何其他適合指令來調整模型。

深度相機系統20可進一步包括記憶體組件34，該記憶體組件34可儲存由處理器32執行的指令以及儲存由3D相機或RGB相機擷取的影像或影像之畫面，或任何 其他適合資訊、影像或類似物。根據實例實施例，記憶體組件34可包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快取記憶體、快閃記憶體、硬碟或任何其他適合的有形電腦可讀取儲存組件。記憶體組件34可為經由匯流排21與影像擷取組件22及處理器32通訊之單獨組件。根據另一實施例，可將記憶體組件34整合至處理器32及/或影像擷取組件22中。

深度相機系統20可經由通訊鏈路36與計算環境12通訊。通訊鏈路36可為有線及/或無線連接。根據一個實施例，計算環境12可經由通訊鏈路36向深度相機系統20提供時脈訊號，該時脈訊號指示何時自實體空間擷取影像資料，該實體空間處於深度相機系統20之視場中。

此外，深度相機系統20可經由通訊鏈路36向計算環境12提供由(例如)3D相機26及/或RGB相機28擷取的深度資訊及影像及/或可由深度相機系統20產生的骨架模型。計算環境12隨後可使用模型、深度資訊及經擷取影像來控制應用程式。舉例而言，如第2圖中所示，計算環境12可包括手勢/姿勢庫190，諸如，手勢/姿勢過濾器之集合，該等手勢/姿勢過濾器各自具有關於(當使用者作出姿勢或移動時)可由模型執行的手勢/姿勢之資訊。舉例而言，可針對各種手的姿勢及/或手勢提供手勢/姿勢過濾器。手之實例姿勢包括以手掌向前舉起手處於「停止」姿勢、舉起一或更多個手指以指示數量等等。 手之實例手勢包括甩手或揮手。藉由將經偵測姿勢或動作與每一過濾器比較，可識別由人執行的指定姿勢或手勢。

可將由深度相機系統20擷取的呈模型之形式的資料與手勢/姿勢庫190中之手勢/姿勢過濾器相比較，以識別使用者(如藉由骨架模型所表示)何時已執行一或更多個特定姿勢或移動，該一或更多個特定姿勢或移動與至應用程式之各種控制輸入相關聯。

計算環境亦可包括處理器192，該處理器192用於執行儲存於記憶體194中的指令，以向顯示裝置196提供音訊視訊輸出訊號且實現本文所述之其他功能性。

記憶體34可為有形電腦可讀取儲存裝置，該有形電腦可讀取儲存裝置上包括有用於程式化至少一個處理器以執行方法之電腦可讀取軟體，該方法用於如本文所述模型化使用者之手或其他經鉸接主體部分的姿勢。並且，處理器32可為一或更多個處理器，該一或更多個處理器提供用於模型化使用者之姿勢之處理器實施的方法，其中該方法包含本文所述之處理器實施的步驟。

第3圖圖示可用於第1圖之成像系統中的計算環境之實例方塊圖。計算環境可用以解譯一或更多個手勢或其他移動且作為回應，更新顯示器上之視覺空間。以上所述的諸如計算環境12之計算環境可包括諸如遊戲控制台之多媒體控制台100。多媒體控制台100具有中央處理單元(CPU)101，該中央處理單元(CPU)101具有位準 1快取記憶體102、位準2快取記憶體104及快閃ROM(唯讀記憶體)106。位準1快取記憶體102及位準2快取記憶體104暫時儲存資料因此減少記憶體存取週期之數目，藉此改良處理速度及傳輸量。可提供具有多於一個核心且因此具有額外位準1快取記憶體102及位準2快取記憶體104之CPU 101。諸如快閃ROM之記憶體106可儲存可執行碼，該可執行碼係當開啟多媒體控制台100時在啟動程序之初始階段期間載入的。

圖形處理單元(graphics processing unit；GPU)108及視訊編碼器/視訊編解碼器(編碼器/解碼器)114形成用於高速及高解析度圖形處理之視訊處理管線。資料經由匯流排自圖形處理單元108載送至視訊編碼器/視訊編解碼器114。視訊處理管線將資料輸出至A/V(音訊/視訊)埠140，以傳輸至電視或其他顯示器。記憶體控制器110連接至GPU 108，以促進處理器存取各種類型之記憶體112，諸如RAM(隨機存取記憶體)。

多媒體控制台100包括較佳地實施於模組118上之I/O控制器120、系統管理控制器122、音訊處理單元123、網路介面124、第一USB主機控制器126、第二USB控制器128及前面板I/O次組件130。USB控制器126及USB控制器128充當用於周邊控制器142(1)至142(2)、無線配接器148及外部記憶體裝置146(例如，快閃記憶體、外部CD/DVD ROM驅動機、可移除式媒體等)之主機。網路介面(NW IF)124及/或無線配接器148提 供對網路(例如，網際網路、家庭網路等)的存取，且網路介面(NW IF)124及/或無線配接器148可為很多種有線配接器組件或無線配接器組件中之任何有線配接器組件或無線配接器組件，包括乙太網路卡、數據機、藍芽模組、有線電視數據機及類似物。

提供系統記憶體143，以儲存在啟動程序期間載入的應用程式資料。提供媒體驅動機144，且媒體驅動機144可包含DVD/CD驅動機、硬驅動機或其他可移除式媒體驅動機。媒體驅動機144可在多媒體控制台100內部或外部。可經由媒體驅動機144存取應用程式資料，以藉由多媒體控制台100執行、重播等。媒體驅動機144經由諸如串行ATA匯流排之匯流排或其他高速連接連接至I/O控制器120。

系統管理控制器122提供與確保多媒體控制台100之可用性有關之各種服務功能。音訊處理單元123及音訊編解碼器132形成具有高保真度及立體聲處理之相應音訊處理管線。音訊資料經由通訊鏈路在音訊處理單元123與音訊編解碼器132之間載送。音訊處理管線將資料輸出至A/V埠140，以藉由具有音訊能力之外部音訊播放機或裝置重現。

前面板I/O次組件130支援電源按鈕150及彈出鈕152以及任何LED(發光二極體)或曝露於多媒體控制台100之外表面上的其他指示器之功能性。系統電源模組136向多媒體控制台100之組件提供電能。風扇138冷卻多 媒體控制台100內之電路系統。

CPU 101、GPU 108、記憶體控制器110及多媒體控制台100內各種其他組件經由一或更多個匯流排互連，該一或更多個匯流排包括串行匯流排及平行匯流排、記憶體匯流排、周邊匯流排及使用各種匯流排架構中之任何匯流排架構的處理器匯流排或區域匯流排。

當開啟多媒體控制台100時，可將應用程式資料自系統記憶體143載入至記憶體112及/或快取記憶體102、104中，且應用程式資料可在CPU 101上執行。應用程式可呈現圖形使用者介面，該圖形使用者介面在導航至多媒體控制台100上可用的不同媒體類型時提供一致的使用者體驗。在操作中，可自媒體驅動機144或播放媒體驅動機144內含有的應用程式及/或其他媒體以向多媒體控制台100提供額外功能性。

多媒體控制台100可藉由簡單地將系統連接至電視或其他顯示器來作為獨立系統操作。在此獨立模式中，多媒體控制台100允許一或更多個使用者與系統互動、觀看電影或聽音樂。然而，在經由網路介面124或無線配接器148使得整合寬頻連接性變得可用之情況下，多媒體控制台100可進一步作為較大網路社區中之參與者操作。

當開啟多媒體控制台100時，特定量之硬體資源經保留以由多媒體控制台作業系統用於系統用途。此等資源可包括記憶體(例如，16 MB)、CPU及GPU週期(例 如，5%)、網路頻寬(例如，8 kbs)等之保留。因為此等資源在系統啟動時間保留，所以自應用程式來看，保留資源並不存在。

特定言之，記憶體保留較佳地為足夠大的，以含有啟動核心、並行系統應用程式及驅動程式。CPU保留較佳地為恆定的，以使得若經保留CPU使用率未由系統應用程式使用，則閒置線程將消耗任何未經使用的週期。

在多媒體控制台100啟動且系統資源被保留之後，並行系統應用程式執行以提供系統功能性。系統功能性封裝於一組系統應用程式中，該組系統應用程式在以上所述的經保留系統資源內執行。作業系統核心識別線程，該等線程為系統應用程式線程相對遊戲應用程式線程。系統應用程式較佳地經排程以在預定時間及間隔處在CPU 101上執行，以向應用程式提供一致的系統資源視圖。排程的目的在於最小化對於在控制台上執行的遊戲應用程式之快取破壞。

當並行系統應用程式需要音訊時，歸因於時間靈敏度，將音訊處理以異步方式排程至遊戲應用程式。當系統應用程式有效時，多媒體控制台應用程式管理器(下文描述的)控制遊戲應用程式音訊位準(例如，靜音、衰減)。

輸入裝置(例如，控制器142(1)及控制器142(2))由遊戲應用程式及系統應用程式共享。輸入裝置不是保留資源，但輸入裝置將在系統應用程式與遊戲應用程式之 間切換，以使得每一輸入裝置將具有裝置之焦點。應用程式管理器較佳地控制輸入串流之切換，而無需遊戲應用程式之知識，且驅動程式維持關於焦點切換之狀態資訊。控制台100可自第2圖之深度相機系統20接收額外輸入，該深度相機系統20包括相機26及相機28。

第4圖圖示可用於第1圖之成像系統中的計算環境之另一實例方塊圖。

在成像系統中，計算環境可用以解譯一或更多個手勢或姿勢且作為回應，更新顯示器上之視覺空間。計算環境220包含電腦241，該電腦241通常包括各種有形的電腦可讀取儲存媒體或裝置。此有形的電腦可讀取儲存媒體或裝置可為可由電腦241存取的且包括揮發性媒體與非揮發性媒體、可移除式媒體與不可移除式媒體兩者任何可用媒體，。系統記憶體222包括呈揮發性記憶體及/或非揮發性記憶體(諸如，唯讀記憶體(ROM)223及隨機存取記憶體(RAM)260)之形式的電腦儲存媒體。基本輸入/輸出系統(basic input/output system；BIOS)224通常儲存於ROM 223中，該BIOS 224含有基本常式，該等基本常式(諸如)在啟動期間幫助在電腦241內的元件之間傳送資訊。RAM 260通常含有可立即存取之資料及/或程式模組及/或目前正由處理單元259操作之資料及/或程式模組。圖形介面231與GPU 229通訊。以舉例之方式而非限制，第4圖圖示作業系統225、應用程式226、其他程式模組227及程式資料228。

電腦241亦可包括其他可移除式/不可移除式、揮發性/非揮發性電腦儲存媒體，例如，自不可移除式、非揮發性磁性媒體讀取或寫入至不可移除式、非揮發性磁性媒體之硬碟機238、自可移除式、非揮發性磁碟254讀取或寫入至可移除式、非揮發性磁碟254之磁碟機239，及自可移除式、非揮發性光碟253(諸如，CD ROM或其他光學媒體)讀取或寫入至可移除式、非揮發性光碟253之光碟機240。可用於示例性操作環境中之其他可移除式/不可移除式、揮發性/非揮發性有形電腦可讀取儲存媒體或裝置包括(但不限於)磁帶盒、快閃記憶體卡、數位通用光碟、數位視訊磁帶、固態RAM、固態ROM及類似物。硬碟機238通常經由諸如介面234之不可移除式記憶體介面連接至系統匯流排221，且磁碟機239及光碟機240通常藉由諸如介面235之可移除式記憶體介面連接至系統匯流排221。

以上論述且圖示於第4圖中之驅動機及該等驅動機之相關聯電腦儲存媒體為電腦241提供電腦可讀取指令、資料結構、程式模組及其他資料之儲存。舉例而言，硬碟機238圖示為儲存作業系統258、應用程式257、其他程式模組256及程式資料255。注意，此等組件可與作業系統225、應用程式226、其他程式模組227及程式資料228相同或者不同。作業系統258、應用程式257、其他程式模組256及程式資料255在此處給定不同編號，以至少圖示該作業系統258、該應用程式257、該其他程 式模組256及該程式資料255為不同副本。使用者可經由諸如鍵盤251及指向裝置252之輸入裝置將命令及資訊輸入至電腦241中，該指向裝置252通常稱為滑鼠、軌跡球或觸控板。其他輸入裝置(未圖示)可包括麥克風、操縱桿、遊戲板、圓盤式衛星電視天線、掃描器或類似物。此等及其他輸入裝置通常經由耦接至系統匯流排的使用者輸入介面236連接至處理單元259，但此等及其他輸入裝置可藉由諸如平行埠、遊戲埠或通用串列匯流排(USB)之其他介面及匯流排結構連接。包括相機26及相機28的第2圖之深度相機系統20可定義控制台100之額外輸入裝置。監視器242或其他類型之顯示器亦經由諸如視訊介面232之介面連接至系統匯流排221。除監視器之外，電腦亦可包括其他周邊輸出裝置(諸如，揚聲器244及印表機243)，該等周邊輸出裝置可經由輸出周邊介面233連接。

電腦241可使用至一或更多個遠端電腦(諸如，遠端電腦246)之邏輯連接而在網路連接環境中操作。遠端電腦246可為個人電腦、伺服器、路由器、網路PC、同級裝置或其他常見網路節點，且儘管在第4圖中僅圖示記憶體儲存裝置247，但遠端電腦246通常包括上文關於電腦241所述之元件中的許多元件或全部元件。邏輯連接包括區域網路(LAN)245及廣域網路(WAN)249，但亦可包括其他網路。此等網路連接環境常見於辦公室、企業範圍的電腦網路、內部網路及網際網路中。

當用於LAN網路連接環境時，電腦241經由網路介面或配接器237連接至LAN 245。當用於WAN網路連接環境時，電腦241通常包括用於在WAN 249(諸如，網際網路)上建立通訊之數據機250或其他構件。可為內部或外部數據機之數據機250可經由使用者輸入介面236或其他適當機構連接至系統匯流排221。在網路連接環境中，可將關於電腦241圖示之程式模組或該等程式模組之部分儲存於遠端記憶體儲存裝置中。以舉例之方式而非限制，第4圖將遠端應用程式248圖示為常駐於記憶體裝置247上。將瞭解，所示網路連接為示例性的，且可使用在電腦之間建立通訊鏈路之其他構件。

計算環境可包括有形電腦可讀取儲存裝置，該有形電腦可讀取儲存裝置上包括有用於程式化至少一個處理器以執行方法之電腦可讀取軟體，該方法用於如本文所述模型化使用者之手或其他經鉸接主體部分的姿勢。有形電腦可讀取儲存裝置可包括(例如)組件222、組件234、組件235、組件230、組件253及組件254中之一或更多者。此外，計算環境之一或更多個處理器可提供用於模型化使用者的手或其他經鉸接主體部分的姿勢之處理器實施的方法，其中該方法包含本文所述之處理器實施的步驟。處理器可包括(例如)組件229及組件259中之一或更多個組件。

第5圖圖示使用者的手之模型，該模型包括關節(藉由菱形圖示)及吸引點(藉由方形圖示)。可針對預定經 鉸接主體部分提供模型，該等預定經鉸接主體部分之姿勢將被偵測。在一種方法中，提供手區域之模型。模型500可包括手臂504、手掌502、手指510、手指520、手指530及手指540及拇指550。手指包括遠端區段512、遠端區段522、遠端區段532及遠端區段542、中間區段514、中間區段524、中間區段534及中間區段544以及近端區段516、近端區段526、近端區段536及近端區段546。拇指包括遠端區段552及近端區段554。模型之手指及拇指區段對應於人體中的指骨骨頭。在相鄰主體部分之間提供關節，諸如，手臂/手腕與手掌之間的關節503、遠端拇指部分與近端拇指部分之間的關節560及近端拇指部分與手掌之間的關節564。此等關節大體對應於人體中之關節，人體中之該等關節具有經定義的移動範圍。此移動主要為成角度移動但亦可為平移移動。諸如指尖(遠端手指區段及遠端拇指區段之尖端)上之額外點可用以定義遠端手指區段之位置。為方便起見，儘管此等尖端點並不對應於人類骨架中之關節，但此等尖端點亦將稱為「關節」。遠端拇指區段上之關節556為實例。因此，一些關節可能不對應於人類骨架中之關節，諸如，關節556，且一些關節確實對應於人類骨架中之關節，諸如，關節560及關節564。主體部分之方位可由主體部分之至少兩個關節之位置定義。例如，對於諸如手指區段之狹長的主體部分而言，關節可在主體部分之相對末端處。

此外，可針對每一主體部分指定一或更多個代表性的吸引點。舉例而言，分別為手指530之遠端手指區段、手指540之遠端手指區段、遠端拇指部分552、近端拇指部分554、手掌502及手臂504提供實例代表性吸引點531、吸引點541、吸引點558、吸引點562、吸引點501及吸引點505。多個吸引點亦可用於(例如)相對較大及/或具有相對更複雜的移動範圍之主體部分，諸如，手掌。分別為手指540之中間手指區段及近端手指區段提供吸引點543及吸引點545。

模型之主體部分中之一或更多個主體部分亦可能具有零個吸引點。

大體而言，在此圖式及其他圖式中，小的方形形狀表示代表性的吸引點。代表性的吸引點可為表示模型之主體部分的點。術語「吸引點」指示在匹配程序中，將吸引點移向深度感測器資料或吸引至深度感測器資料。在一種方法中，代表性的吸引點在主體部分之中心點或形心處。形心可在主體部分內或在主體部分之表面處。表面可沿著深度軸或沿著至深度相機的視線面向深度相機。形心可視為主體部分之中心點。

下文結合第7A圖之步驟734論述的具有重要意義的軸507可用於形心與吸引點的匹配。

模型可指示各個主體部分之允許的移動範圍。每一主體部分可具有相對於相鄰主體部分之允許的成角度移動範圍。舉例而言，每一手指之近端區段可具有相對於手 掌之允許的成角度移動範圍，每一手指之中間區段可具有相對於手指之近端區段之允許的成角度移動範圍，等等。此等允許的成角度移動範圍可由角度約束定義。亦可允許主體部分之一些相對平移移動。可提供碰撞約束，該等碰撞約束指示不同主體部分無法碰撞，例如，無法全部或部分地同時存在於相同位置處。

可將模型定義成使得主體部分大體獨立且自由浮動，但可將距離約束設定成有利於配置，在該等配置中，應該與彼此相鄰之主體部分實際上是相鄰的。相鄰性可涉及實質上正在相同位置處的相鄰主體部分之關節。在此方法中，每一主體部分可具有該每一主體部分之末端處的關節，該每一主體部分之末端處的關節實質上與相鄰主體部分之末端處的關節重合。作為實例，遠端拇指部分與近端拇指部分之間的關節560可表示在近端拇指部分554之遠端處的一個關節及在遠端拇指部分552之近端處的一個關節。違反的距離約束之實例發生在遠端拇指部分及近端拇指部分與彼此分隔時。

在另一方法中，例如，在遠端拇指部分與近端拇指部分之間存在一個關節，且距離約束為該關節與母關節之間的距離。在模型之此方法中，即使網格並不足夠長以到達子關節，亦將網格置放於母關節處指向子關節。母關節或子關節可分別與母主體部分或子主體部分相關聯。在一種可行的方法中，子主體部分可為自較大主體部分延伸之較小主體部分，諸如，自手掌延伸的手指。 或，子主體部分可為沿指定方向(諸如，沿自手臂至指尖的方向)自另一主體部分延伸之主體部分。例如，近端拇指部分554可為遠端拇指部分552之母體。

主體部分之模型可具有所要細節位準。舉例而言，諸如藉由模型化掌骨及關節，可進一步詳細地模型化主體部分，而非將手掌作為單一實體模型化。模型可包括分立的體積/形狀，諸如，矩形、立方體、橢圓、球形等等。此等體積可經尺寸調整且經成形以提供所要粒度位準。或者或此外，模型可藉由網格表示，該網格形成適當地經裝配且經蒙皮之連續表面。裝配及蒙皮是指將骨架置放於3D網格內部及將骨架區段映射至網格之對應部分，以產生當移動骨架時平滑地變形之主體部分。模型之複雜性來源於諸如所要現實程度及可用計算資源之因素。

此外，儘管人手已作為經鉸接主體部分之一個實例論述，但可將概念延伸至具有已知移動範圍的對象之其他經鉸接主體部分。對象可包括諸如人類或動物之生物/對象或機器人或其他非生物對象。可同時追蹤一或更多個此等對象。此外，當深度感測器用作應用程式之部分時，藉由深度感測器成像之人類可為應用程式之主動使用者/參與者或被動旁觀者。

第6圖圖示用於在成像系統中以經改良保真度偵測經鉸接主體部分之姿勢的方法。步驟600包括以下步驟：自深度感測器(諸如，自先前提及的深度相機系統)獲 取使用者之深度像素。舉例而言，此使用者之深度像素可為深度像素之畫面。步驟700包括以下步驟：執行諸如結合第7A圖之步驟702至步驟714進一步描述的匹配前處理。步驟720包括以下步驟：執行結合第7A圖之步驟721至步驟736進一步描述的使用形心之匹配。步驟750包括以下步驟：微調諸如結合第7A圖之步驟752至步驟756進一步描述的使用形心之匹配。步驟760包括以下步驟：微調諸如結合第7B圖進一步描述的使用柵格化模型之匹配。在一種方法中，步驟700、步驟720、步驟750及步驟760不改變模型之主體部分之相對比例。

第7A圖圖示第6圖之步驟700、步驟720及步驟750之進一步細節。在第7A圖及第7B圖中，短虛線(諸如，自702至704)表示資料之輸入，長虛線(諸如，自704至706)表示資料之輸出，且實線(諸如，自704至708)表示程式碼或軟體流或執行序列。步驟702至步驟714對應於用於執行匹配前處理之第7A圖中之步驟700。

背景移除步驟704接收深度畫面資料702(諸如，第8A圖中之畫面800)。深度畫面可包括來自深度感測器之深度像素。例如(諸如，第8B圖中之畫面810)，輸出可為BGR(呈藍綠紅之顏色次序之像素)深度畫面706。分段步驟708處理BGR深度畫面以提供分段圖710，該分段圖710識別當存在雙手時像素屬於右手還是左手。各種試探法可用於此目的。示例性步驟712使用 機器學習程序來處理BGR深度畫面，以提供機率圖714。先前已訓練機器學習程序。特定言之，對於每一深度像素而言，可決定深度像素為主體部分中之一個主體部分之部分的機率。舉例而言，Pr1可為深度像素為遠端拇指部分之部分的機率，Pr2可為深度像素為近端拇指部分之部分的機率，Pr3可為深度像素為手掌之部分的機率等等。對於每一像素而言，該每一像素的機率之和為一。因此，機率圖可包括每一深度像素之機率之集合，其中模型之每一主體部分有一個機率之集合。

步驟721至步驟736對應於第7A圖中之步驟720。步驟721基於機率圖為每一主體部分產生一個形心，以提供形心資料722。形心資料可以主體部分中之每一主體部分的x、y、z坐標中的3D位置之形式呈現。3D位置可與深度像素重合或可不與深度像素重合。每一主體部分之形心為該主體部分之代表性位置，類似於模型中主體部分之代表性的吸引點。第9A圖至第9E圖及第10圖圖示實例形心。步驟724產生且合併形心集，以提供形心集資料726。形心集為決定為相同模型化主體區域之部分的形心之集合。舉例而言，一個集合728可包括一隻手之形心，且另一集合730可包括另一隻手之形心。在此點處，不知道形心集是與右手還是左手相關聯。步驟732使用形心集728及形心集730作為輸入且使用分段圖來執行形心集與手臂的匹配。分段圖指示深度圖之哪個部分為左手還是右手。此步驟指示哪個形心集與 哪個手臂相關聯。可考慮各種因素，諸如，形心集距一個手臂相對距另一個手臂有多近。較接近一個手臂的形心集可能與彼手臂相關聯。此步驟亦可使用先前的畫面模型738(包括右手臂740及左手臂742資料)作為輸入，亦即，自包括最近畫面之一或更多個先前畫面決定的模型之狀態。

步驟732可涉及基於使用匹配類型之形心與吸引點之間的距離及形心之置信測度計算的分數之形心集與追蹤的經鉸接模型之雙向匹配，該等形心之該等置信測度係基於機率。

步驟734執行形心與吸引點的匹配。第11圖提供進一步細節。可提供形心集728及形心集730及模型之代表性的吸引點744(參見第5圖)作為輸入。對於每一主體部分而言，代表性的吸引點為經鉸接模型中之點，理想地使得該點與深度感測器資料之匹配形心重合。步驟734可涉及使用用各種因素計算的匹配分數來尋找形心集中所有形心與模型之所有吸引點之間的一或更多個最佳匹配。

一種因素涉及每一經匹配形心與吸引點之間的距離，該等距離可(例如)藉由連接形心與吸引點的向量之量值來決定。可將與恰當匹配之較高可能性相關聯之較高分數分配至形心，該形心比距吸引點更遠的形心更接近吸引點。

另一因素涉及形心沿著具有重要意義的軸之排序。舉 例而言，對於手之模型而言，具有重要意義的軸可沿著手掌與手指之近端區段之間的關節延伸，以指示手指之預期次序，例如，手指510、手指520、手指530及手指540(自小指之底部至食指之底部)。參見第5圖中具有重要意義的實例軸507。例如藉由將形心沿與該軸正交的方向移動以決定該形心將沿著軸落於何處，可將形心沿著此軸投影。點至線上之投影可以閉合形式分析計算。隨後可決定形心沿著軸之次序。通常，手指處於預期次序中，除或許當手指交叉時之外。可將與恰當匹配之較高可能性相關聯之較高分數分配至形心，該形心處於沿著具有重要意義的軸之預期次序中。可將與恰當匹配之較低可能性相關聯之較低分數分配至形心，該形心不處於沿著具有重要意義的軸之預期次序中。具有重要意義的軸可沿另一方向，且亦可使用多於一個具有重要意義的軸。

另一因素涉及與鄰近形心或主體部分之連接性。舉例而言，手指之遠端區段的形心預期處於具有相同手指之中間區段的形心的連續像素路徑中，而非具有另一手指之區段之形心的連續像素路徑中。可將與恰當匹配之較高可能性相關聯之較高分數分配至形心，該形心處於具有相鄰主體部分之形心的連續路徑中。可將與恰當匹配之較低可能性相關聯之較低分數分配至形心，該形心不處於具有相鄰主體部分之形心的連續路徑中。可藉由沿直達線象徵性地瀏覽深度圖以決定像素資料中是否存在 任何斷開，來評估此因素。亦可使用更複雜的方法，如沿著深度圖在具有約束的形心之間尋找路徑，來評估此因素，該等約束係關於該路徑可自直達線發散以更穩固地防雜訊及其他邊緣案例的程度。舉例而言，若在自手指之遠端區段走至相同手指之中間區段時偵測到像素資料中之間隙，則此狀況指示該匹配可能不正確。亦即，未正確地識別手指區段中之一者或兩者。舉例而言，對於每一手指而言，可藉由尋找遠端手指形心與中間手指形心之間的連接，來評估連接性。

另一因素涉及模型之主體部分之間的碰撞檢查。可將與恰當匹配之較高可能性相關聯的較高分數分配至未產生碰撞之形心與吸引點的匹配，而可將與恰當匹配之較低可能性相關聯的較低分數分配至產生碰撞之形心與吸引點的匹配，其中不同主體部分同時存在於相同位置處。

形心與吸引點之間的最佳匹配可基於此等或其他因素中之一或更多個因素之一些組合。不同因素可基於(例如)自測試結果決定的該等不同因素之相對重要性以不同方式來加權。

步驟736執行吸引點至形心之剛性變換。參見第12A圖為實例。剛性變換可涉及模型之平移、旋轉及縮放中之一或更多者。此步驟可包括計算吸引點之最佳的3D點雲端變換之平移、旋轉及縮放，且將變換應用於所有吸引點。平移可包括將模型相對於畫面或坐標系統移動。坐標系統可包括任意軸，諸如，正交的x軸、y軸 及z軸(第1圖)。歐拉(Euler)角可用以表示該變換。旋轉可包括使模型圍繞軸中之一或更多個軸旋轉。縮放改變模型之整體尺寸，而不會改變主體部分之相對方位或比例。在一種方法中，剛性變換作為整體而言未改變主體部分之相對方位。主體部分之相對方位可定義為子主體部分與該子主體部分之母主體部分之間的局部變換。在一種可行的方法中，子主體部分可為自較大主體部分延伸之較小主體部分，諸如，自手掌延伸的手指。立方體之剛性變換之實例可產生較大或較小立方體，該較大或較小立方體在3D空間中自一個位置移動至另一位置。在剛性變換期間維持主體部分之相對方位之實例為在剛性變換前後皆具有為第三手指之四分之三長度的第一手指且使該第一手指相對於第三手指以特定角度延伸。

剛性變換之實例實施使用吸引點與形心之間的剛性變換估計來計算模型之全域縮放。在以引用之方式併入本文的Horn,B.K.P.的「Closed-form solution of absolute orientation using unit quaternions，Journal of the Optical Society of America，4(4)，629-642(1987)」中描述了兩個對應點集合之間的剛體變換(旋轉、平移及所有維度上之均勻縮放)之實例閉合形式計算。Horn敘述：「使用兩個系統中的若干點之坐標之量測的對尋找兩個坐標系統之間的關係為經典攝影量測任務。該攝影量測任務在立體攝影量測中及機器人中獲得應用。我在此呈現對 三個或三個以上的點之最小平方問題之閉合形式解決方案。當前使用的為各種經驗的、圖形的及數字的疊代法。解決方案之導出藉由使用單位四元數表示旋轉來簡化。我強調此問題之解決方案應當擁有的對稱性質。最佳平移偏移為一個系統中坐標之形心與另一系統中坐標之經旋轉且經縮放形心之間的差異。最佳比例等於兩個系統中的坐標自該等座標的各別形心的均方根偏差之比率。此等精確結果相比基於數個選定點之量測的近似法較佳。表示最佳旋轉之單位四元數為與對稱的4×4矩陣之最正特徵值相關聯之特徵向量。此矩陣的元素為點的對應坐標之乘積之和的組合。」

在A.Balan於2011年6月7日的「Restricted Affine Registration of 3D Point Clouds」，(http：//priorartdatabase.com/IPCOM/000207623)中描述了剛性變換之另一實例實施。此實施計算形心與吸引點之間的剛性變換，其中一個重要的特徵為根據模型之x軸、y軸及z軸的不同縮放參數估計之能力。就旋轉、平移及拉伸而言，此實施解決將對象之幾何模型對準至感測器觀察之問題，其中存在不同維度(寬度、高度、長度)之獨立拉伸。此問題在用於對象追蹤及尺寸估計之模型擬合中有所應用。形狀表示為3D表面點之集合，該等3D表面點在模型與感測器觀察之間成對匹配。此實施描述疊代解，該疊代解計算模型點之受限制的仿射變換，該受限制的仿射變換最小化至相應的感測器量測 點之距離。

步驟752至步驟756對應於第7A圖中之步驟750。步驟752、步驟754及步驟756可視為形心與吸引點磁力程序之部分。步驟752涉及為了吸引點及形心之匹配對，將吸引點移動更接近形心。參見第12A圖及第12B圖為實例，其中吸引點及形心的匹配對可包括模型的近端拇指部分554之吸引點562及深度感測器資料之形心916，或模型的遠端拇指部分552之吸引點558及深度感測器資料之形心904。

步驟752可包括決定自步驟736獲取的經變換代表性的吸引點中的哪些經變換代表性的吸引點比距形心中之相應形心的各別臨限距離更遠，且將比距形心中之相應形心的各別臨限距離更遠的經變換代表性的吸引點調整為比距形心中之相應形心的各別臨限距離更近。在一種方法中，各別臨限距離可為特定於每一代表性的吸引點之經調諧距離。或，各別臨限距離可為不同代表性的吸引點所共有。

步驟754涉及基於吸引點之移動，來移動模型之關節。由於吸引點之移動與模型之一或更多個關節之移動重合，故步驟752及步驟754可一起執行。關節之移動可受一或更多個吸引點之移動的影響。關節之移動可由向量或力及量值定義，該向量或力定義3D空間中的移動方向。至步驟754之輸入為關節資料746，該關節資料746可定義3D空間中模型之每一關節之位置。在決 策步驟756處，若存在下一對吸引點(例如，下一個主體部分)，則重複步驟752及步驟754。若決策步驟756為假，則程序在第7B圖中之延續點「E」處繼續。亦可基於關節資料746提供表示模型之連續表面的網格資料748。

在第7B圖中，如以下所論述，按照延續點「A」所指示使用機率圖，按照延續點「B」所指示使用BGR深度畫面，按照延續點「C」所指示使用關節資料746，且按照延續點「D」所指示使用網格資料748。

第7B圖圖示第6圖之步驟760之進一步細節。疊代微調先前在第7A圖中進行的形心與吸引點的匹配。在一種方法中，疊代未使用深度感測器資料之形心，而是使用自模型之柵格化獲取的深度像素。將模型之深度像素與深度感測器之深度像素相比較，以決定欲應用於模型(諸如，應用於模型之關節)的調整向量。在下次疊代中柵格化處於模型之新狀態的模型，且重複程序，直至滿足停止條件為止。

步驟762開始疊代。步驟764接收機率圖、BGR深度畫面及關節資料作為輸入，且柵格化模型以提供模型之深度像素。舉例而言，可以三維(3-D)方式柵格化模型之網格表面。在一種方法中，在2D緩衝器中及z軸緩衝器中提供模型之深度像素，該2D緩衝器提供x-y平面中之資料，該z軸緩衝器提供沿著z軸之深度資料。模型之深度像素為3D空間中之點。注意，柵格化可沿任 何方向且不必沿著x軸及y軸，該任何方向與深度感測器之深度像素相同或不同。此外，柵格化可具有與深度感測器之深度像素相同的解析度或比深度感測器之深度像素更細或更粗的解析度。參見第12C圖中的像素1220瞭解藉由柵格化手之模型獲取的像素之實例。

步驟766在比較平面中將模型之深度像素與深度感測器之深度像素比較。在第13A圖及第13B圖中例示的一種方法中，平面為與深度軸橫切/正交的x-y平面。在另一方法中，平面與深度感測器之局部視線橫切，且平面略微偏離與深度軸橫切。將像素沿與比較平面橫切的方向投影至比較平面，或像素已在比較平面處。在一種方法中，比較平面可在z>0與最接近深度相機的模型之像素的深度之間的任何地方。可定義三個類別之像素。該等類別中之兩個類別係用於深度感測器之深度像素(步驟768及步驟770)，且該等類別中之一個類別係用於模型之深度像素(步驟772)。

特定言之，步驟768識別與模型之深度像素重疊的深度感測器之重疊深度像素。術語「重疊」指示像素在比較平面中至少部分地佔據相同區域。第12D圖中之像素1230為實例。可定義足以將像素標示為重疊之像素之間的重疊最小程度。此等像素為近似存在於模型所在位置(換言之，模型存在於此深度感測器資料所在位置)的深度感測器之深度像素，從而指示模型較好地與此深度感測器資料擬合。

步驟770識別未與模型之深度像素重疊的深度感測器之非重疊深度像素。第12D圖中之像素1240為實例。此等像素為近似存在於模型不在的位置(換言之，模型不存在於此深度感測器資料所在位置)的深度感測器之深度像素，從而指示應將模型調整為更好地與此深度感測器資料擬合。

步驟772識別未與深度感測器之深度像素重疊的模型之非重疊深度像素。第12D圖中之像素1220為實例。該等像素為近似存在於深度感測器資料不在的位置(換言之，模型存在於深度感測器資料不在的位置)的模型之深度像素，從而指示應將模型調整為更好地與深度感測器資料擬合。

基於比較，步驟774決定作為資料776儲存的基於像素之調整向量。可計算傾向於將模型向像素拉動/調整之3D調整向量。可基於三個像素類型中之每一像素類型產生調整向量，調整向量隨後可經合計以獲取關節之整體調整向量。可根據基於像素之調整向量是否來自步驟768、步驟770或步驟772，對該等基於像素之調整向量指定不同權重。舉例而言，取決於深度感測器之特性及應用程式之需要，可能希望以更大權重加權調整中之一個調整。例如，若最關注側向解析度，則可以更大權重加權步驟770及/或步驟772之調整。若最關注深度解析度，則可以更大權重加權步驟768之調整。

對於三個類型像素中之每一類型像素而言，調整向量 可調整模型之識別為欲調整之最佳關節的關節。此最佳關節未必為最接近像素之關節。可藉由基於關節距像素的距離計算模型之不同關節之分數，來識別最佳關節。較接近像素之關節具有較高分數及被選定之較高機率。距像素較遠之關節具有較低分數及被選定之較低機率。

在一種方法中，對於深度感測器之非重疊深度像素或重疊深度像素而言，分數亦可基於與來自機率圖的像素相關聯之機率(例如，先前論述的Pr1、Pr2、Pr3，...)。與相同主體部分相關聯之關節具有較高分數及被選定之較高機率，該相同主體部分之像素具有被關聯之相對高的機率。分數可與關聯性之機率成較高比例。與不同主體部分相關聯之關節具有較低分數及被選定之較低機率，該不同主體部分之像素具有被關聯之相對高的機率。

第13A圖中之調整向量1320為深度感測器之非重疊深度像素之實例調整向量。該向量沿自關節j1至深度感測器p3之非重疊深度像素之方向延伸。對於深度感測器之重疊深度像素而言，可以與深度感測器之非重疊深度像素之方式相同的方式決定調整向量。

調整向量將具有取決於主體部分之移動方向的分量。舉例而言，若使主體部分主要沿z方向遠離深度感測器移動，則調整向量將具有沿z方向的最大分量。若使主體部分主要在x-y平面中移動，則調整向量將具有x-y平面中的一或更多個最大分量。

在一種方法中，調整向量自最佳匹配關節延伸至像 素。第13A圖中之調整向量1328為實例。該向量沿自關節j1至深度感測器之重疊深度像素p2之方向延伸。在此實例中相同關節j1視為最佳匹配關節，但不同最佳匹配關節可與深度感測器之非重疊深度像素相關聯且與深度感測器之重疊深度像素相關聯。在另一方法中，調整向量自模型之重疊深度像素延伸至深度感測器之重疊深度像素。舉例而言，第13A圖中之調整向量1326在自模型之重疊深度像素p1至深度感測器之重疊深度像素p2之的方向上基本上沿著深度軸延伸。在此情況下，可將向量1326平移至對關節j1動作的向量1330。

在一種方法中，存在平移最佳匹配吸引點之中間步驟，該中間步驟平移受彼吸引點影響之所有關節。可將像素之向量/差量應用於具有一些經調諧/調整的功率之關節。由於影響關節的許多像素可導致過大差量(通常使用平均差量)，故將所有差量完全應用於關節可使該關節飛走。

在一種方法中，向量1326及向量1330沿相同方向且具有相同量值。然而，由於通常存在比像素顯著更少的關節，故很少有此情況。因此，沿單一線對準的兩個重疊像素及關節將不常見。例如，調整向量亦可基於向量1328與向量1330之間的內插法。

在一種方法中，調整向量不拉動模型。相反，調整向量拉動吸引點，該等吸引點接著又拉動受影響之關節。隨後，在關節之頂部上將模型置放於該模型最有意義的 位置。舉例而言，可將近端手指區段置放為使得近端部分處於連接手掌與手指的關節，且將近端手指區段定向成朝著中間手指區段之關節。

對於介於重疊相機深度像素與模型深度像素之間的調整向量而言，可使用該向量尋找合適的移動關節，且可累計至彼關節之平移且隨後將該平移平均化。此舉可能僅涉及z方向調整。在另一情況下，存在深度像素與關節之間的調整向量，亦可累計及平均化該調整向量。此舉可能涉及x方向調整、y方向調整及z方向調整。可按需要組合此等調整。

因此，對於深度感測器之非重疊深度像素及模型之非重疊深度像素而言，可計算像素需要的有助於將選定的關節移動至該選定的關節應處於的位置之力或調整。

對於深度感測器之重疊深度像素而言，類似於深度感測器之非重疊深度像素及模型之非重疊深度像素，可藉由基於由自像素至關節之距離計算的分數尋找待移動的最佳關節，來決定調整向量。亦可計算傾向於移動一位置處之關節之調整，在該位置處，模型之非重疊深度像素重疊，以便模型之該等非重疊深度像素在下次疊代中變成深度感測器之重疊深度像素。然而，在模型之所有非重疊深度像素內最佳化此計算，此舉可對關節施加衝突調整。舉例而言，模型之手臂可比藉由感測器資料指示的手臂寬度更寬。在此情況下，最佳解決方案可傾向於均衡作為主體部分中的至少一個主體部分的手臂之周 長周圍的模型之若干非重疊深度像素。

在一種方法中，調整向量自模型之非重疊深度像素延伸至感測器資料之最近的深度像素。第13A圖中調整向量1322為實例，假定像素p2最接近模型之非重疊深度像素p4。該向量沿自p4至p2的方向延伸。在另一方法中，調整向量沿著深度軸自p4(諸如)向著感測器資料之最近的深度像素之平面1312延伸，其中量值基於p4與平面1312之間的距離。第13A圖中之調整向量1324為實例。假定j1為待移動的最佳關節，可將向量1322或向量1324平移至對關節j1動作之向量(未圖示)。

第7B圖中，如所論述，步驟778將調整向量應用於關節。至此步驟之輸入為關節資料746。第12E圖及第12F圖提供實例。隨後，可如先前所論述應用一或更多個約束，諸如，步驟780處之碰撞約束、步驟782處之距離約束及步驟784處之角度約束。步驟786決定基於約束之調整向量，以提供相應的基於約束之調整向量資料788。可基於該等基於約束之調整向量之類型對該等基於約束之調整向量指定不同權重。舉例而言，碰撞約束可接收較高權重，距離約束可接收次最高權重，且角度約束可接收次最高權重。

步驟790將基於約束之調整向量應用於模型之關節。至此步驟之輸入為關節資料746。決策步驟791決定(例如)當執行固定數目遍時或當關節移動降至某一臨限以下時，是否滿足停止標準。若決策步驟791為假，則重 複步驟780-790。若決策步驟791為真，則到達步驟792。因此，應用於步驟780至步驟790中之約束可經歷多次疊代，以同時最佳地滿足所有約束。

步驟792基於步驟780至步驟790之調整來更新模型網格。決策步驟794決定是否滿足停止標準。舉例而言，停止標準可基於以下中之一或更多者：(a)執行的疊代之數目，以使得當執行最大允許數目之疊代時疊代停止；(b)基於調整向量之量值的收斂標準，諸如，當調整向量之量值足夠小、低於臨限時疊代停止；以及(c)基於執行的計算之量的標準，以使得當消耗最大允許數目之CPU週期時疊代停止。若在決策步驟794處不滿足停止標準，則在步驟796處執行下次疊代，從而繼續進行至步驟762。當該模型以來自先前疊代的經調整狀態存在時，對模型執行步驟764之柵格化。第12G圖提供模型之經調整狀態之實例。若決策步驟794為真，則疊代在步驟798處結束。在此點處，已最佳地調整模型，且該模型可由較高位準程序/應用程式(諸如，姿勢或手勢估計庫)使用，如先前論述。在一種方法中，針對深度資料之每一畫面最佳地調整模型，且將該模型提供為至應用程式之控制輸入。

注意，可一次處理一或更多個深度畫面。整批處理模式一次處理多個深度畫面，以允許一起使用來自多個畫面之資訊。最初可為每一畫面決定調整向量，且隨後在畫面之批次間平均化或者組合調整向量，以便將平均化 調整向量應用於該批次之畫面。

在一種方法中，第7B圖改變模型之主體部分之變換(旋轉及平移)但不改變相對比例。在另一方法中，改變相對比例。

第8A圖圖示深度像素800之畫面，該等深度像素800包括使用者的手之深度像素。畫面可用作第7A圖之深度畫面資料702。畫面可包括使用者之一只手或雙手，或多個使用者之一或更多只手。亦可包括一或更多個使用者之其他主體部分。畫面基本上包括深度感測器之視場中的對象。

第8B圖圖示第8A圖之使用者的手之深度像素810，其中移除了背景像素。如所論述的，第7A圖之背景移除步驟704接收深度畫面資料702(諸如，第8A圖中之畫面800)且移除背景像素。

第9A圖圖示來自第7A圖之示例性步驟712的第8B圖之使用者的手之深度像素之遠端手指區段及遠端拇指區段的機率值。此為機率值之2D的簡化圖形描繪。如所提及的，每一像素具有相對於模型之每一主體部分的不同機率值(Pr1、Pr2、Pr3，...)，該機率值指示像素為彼主體部分之部分的可能性。此圖式同時圖示五個主體部分的結果。由粗實線描繪輪廓的無陰影像素之每一區域表示具有為局部主體部分之部分之最高機率的像素。具有虛線圖案之像素具有為局部主體部分之部分之較低機率，且具有斜線圖案之像素具有為局部主體部分 之部分之最低機率。此外，每一三角形表示主體部分之深度像素之形心。主體部分包括第一手指或小手指930、第二手指932、第三手指934、第四手指或食指936及拇指938。

舉例而言，對於第三手指934而言，將區域910中之像素分配至遠端手指區段，且決定相關聯形心912。對於第四手指936而言，將區域906中之像素分配至遠端手指區段，且決定相關聯形心908。對於拇指938而言，將區域902中之像素分配至遠端拇指區段，且決定相關聯形心904。

無陰影像素、虛線圖案像素及斜線圖案像素之使用在第9A圖至第9E圖中是一致的。

第9B圖圖示在第7A圖之步驟721中產生的第8B圖之使用者的手之深度像素之中間手指區段及近端拇指區段的形心。舉例而言，對於拇指而言，將區域914中之像素分配至近端拇指區段，且決定近端拇指區段之形心916。

第9C圖圖示在第7A圖之步驟721中產生的第8B圖之使用者的手之深度像素之近端手指區段的形心。

第9D圖圖示在第7A圖之步驟721中產生的第8B圖之使用者的手之深度像素之手掌940的形心。

第9E圖圖示在第7A圖之步驟721中產生的第8B圖之使用者的手之深度像素之手臂942的形心。

第10圖圖示在步驟721中產生的來自使用者的手之測 試資料的形心。測試資料通常顯示雜訊。在每一影像中，較暗區對應於較高機率。此外，方形表示形心。舉例而言，影像1000係針對遠端手指及拇指區段的。暗區部分地由形心之方形圖符覆蓋。影像1002係針對中間手指區段的，影像1004係針對近端手指區段的，影像1006係針對近端拇指區段的，影像1008係針對手掌的，影像1010係針對前手臂之下部部分的，且影像1012係針對前手臂之上部部分的。

第11圖圖示針對形心與吸引點匹配的第7A圖之步驟734的細節。如所提及的，每一三角形表示各別主體部分形心，該各別主體部分係以粗實線描繪輪廓。除模型500之外，圖示來自深度感測器之像素資料900。作為實例，對於表示遠端手指區段910之像素而言，將形心912與模型500之相應遠端手指區段532之吸引點531匹配。類似地，對於表示遠端手指區段906之像素而言，將形心908與模型500之相應遠端手指區段542之吸引點541匹配。對於表示遠端拇指區段902之像素而言，將形心904與模型500之相應遠端拇指區段552之吸引點558匹配。對於表示近端拇指區段914之像素而言，將形心916與模型500之相應近端拇指區段554之吸引點562匹配。對於表示手臂918之像素而言，將形心920與模型500之相應手臂504之吸引點505匹配。

可將每一形心與各別吸引點匹配。在一些情況下，並非所有形心可被識別及/或與各別吸引點匹配，在此情況 下基於可用資訊來調整模型。可基於每個畫面作出決策，以在可用資訊不足時不調整模型。

第12A圖圖示針對吸引點至形心之剛性轉換的第7A圖之步驟736的細節。模型1200經變換以在所有吸引點間提供模型之吸引點與深度像素資料之形心的最佳匹配。在此實例中，模型與像素資料之匹配相當好，但拇指除外。特定言之，拇指之近端區段之吸引點562與相關聯形心916稍微間隔開，且拇指之遠端區段之吸引點558與相關聯形心904更顯著地間隔開。

第12B圖圖示用於使吸引點移動更接近形心的第7A圖之步驟752的細節。此處，微調模型1210，以便使吸引點562移動更接近相關聯形心916，且使吸引點558移動更接近相關聯形心904。

第12C圖圖示用於柵格化模型以提供該模型之深度像素1220的第7B圖之步驟764之細節。此等像素見於深度感測器之像素900之頂部上，諸如，在比較平面中。模型之像素係無陰影的，而深度感測器之像素900具有斜線圖案。近端拇指區段之位置並非最佳的，因為對於近端拇指區段554而言，模型之像素以下比以上存在更多深度感測器之像素。同樣，遠端拇指區段之位置並非最佳的，因為對於遠端拇指區段552而言，模型之像素以上比以下存在更多深度感測器之像素。類似地，手臂504及手掌502之位置並非最佳，因為在手臂及手掌之周長周圍右側比左側存在更多深度感測器之像素。使用 柵格化之微調可藉由允許待比較的模型之像素資料與深度感測器之像素資料，來識別此等非最佳條件。

第12D圖圖示針對拇指區域，將模型之深度像素與感測器之深度像素比較的第7B圖的步驟766至步驟772的細節。第12C圖之拇指區域經隔離以顯示細節。然而，可針對模型之所有主體部分執行比較。無陰影的像素之區域1230表示步驟768之深度感測器之重疊深度像素。具有斜線圖案的像素之區域1240表示步驟770之深度感測器之非重疊深度像素。具有虛線圖案的像素之區域1220表示步驟772之模型之非重疊深度像素。

第12E圖圖示與第12D圖一致的第7B圖之步驟778之細節，該步驟778展示根據基於像素的調整向量，來調整模型之關節。將關節位置564、關節位置560及關節位置556分別調整至位置1262、位置1258及位置1254。結果，將吸引點類似地自位置562及位置558分別調整至1260及位置1256。

第12F圖圖示用於第12E圖中之基於像素的調整向量。調整向量1278、調整向量1274及調整向量1270分別用以將關節位置564、關節位置560及關節位置556分別調整至位置1262、位置1258及位置1254。調整向量可為3D但在此實例中為簡單起見圖示為2D。

第12G圖圖示與第12E圖一致的第7B圖之步驟792之細節，該步驟792展示模型之更新。在第12E圖中，模型之遠端拇指區段552經調整以變成區段1250，且模 型之近端拇指區段554經調整以變成區段1252。在此情況下，將拇指相對於手掌大體向下移動以及旋轉。此狀況為模型之新狀態，該新狀態更接近地匹配深度感測器之深度像素。

第13A圖圖示將模型之深度像素與感測器之深度像素比較的第7B圖之步驟768、步驟770及步驟772之進一步細節，其中比較平面1310與深度感測器1300之深度軸1302橫切或正交。軸1304、軸1306及軸1308亦平行於(藉由記號「∥」指示)深度軸1302。比較平面1310包括柵格化模型之兩個實例像素p1及p4，而平面1312包括來自深度感測器的兩個實例像素p2及p3。在一種方法中，比較平面1310及比較平面1312平行於x軸及y軸延伸且因此與深度軸1302橫切/正交。在另一方法中，比較平面1310及比較平面1312略微偏離x軸及y軸，且比較平面1310及比較平面1312與來自深度相機的視線1305橫切，該視線1305以角度α延伸至深度軸1302。

p2為深度感測器之重疊深度像素(第7B圖，步驟768)，因為p2(例如)沿著軸1306與p1重疊。p1亦可視為模型之相應重疊深度像素。模型之實例關節為j1。在一種方法中，調整向量1328沿自最佳匹配關節j1至p2之方向延伸。在另一方法中，調整向量1326沿自p1至p2之方向延伸。此外，可將向量1326平移至對關節j1動作的向量1330。

p3為深度感測器之非重疊深度像素(第7B圖，步驟770)，因為p3未(例如)沿著軸1308與模型之像素重疊。如先前結合第7B圖之步驟778論述的，p3之實例調整向量1320沿自關節j1至p3之方向延伸。

p4為模型之非重疊深度像素(第7B圖，步驟772)，因為p4未(例如)沿著軸1304與深度感測器資料之像素重疊。相應調整向量1322自p4延伸至在此實例中假定為p2的感測器資料之最近的深度像素。在另一方法中，p4之調整向量1324沿深度軸1302/1304自p4(諸如)向感測器資料之最近的深度像素之平面1312延伸。假定j1為待針對p4移動的最佳關節，可將向量1322或向量1324平移至對關節j1動作之向量(未圖示)。

第13B圖圖示第13A圖之比較平面1310之進一步細節。p1及p2為重疊像素，深度感測器之p3與模型之像素非重疊，且模型之p4與深度感測器之像素非重疊。∥x及∥y分別為平行於x軸及y軸之軸。

第14圖圖示用於使用距離約束、碰撞約束及像素比較來在成像系統中以經改良保真度偵測經鉸接主體部分之姿勢的方法。可結合第7A圖及第7B圖之方法執行第14圖之方法。該方法大體而言涉及以下步驟：獲取初始姿勢估計，接著基於距離約束、碰撞約束、角度約束及使用柵格化模型的像素比較中之一或更多者來微調姿勢估計。在一種方法中，可藉由第7A圖之方法提供初始姿勢估計。在一種方法中，在步驟762至步驟790處可 藉由第7B圖之方法提供使用柵格化模型的像素比較。可順序或平行地全部或部分地執行對於姿勢估計之微調。

吾人可假定吾人具有經鉸接模型之參數幾何模型(例如，網格)，該經鉸接模型具有已知拓撲，該已知拓撲中具有若干可區分特徵點。特徵偵測器自深度感測器資料尋找儘可能多的可區分特徵點，該等可區分特徵點對應於模型中之點(諸如，關節及其他參考)。校準且動態地調整已知經鉸接模型之網目。此方法組合且加權關於經鉸接模型之大小的局部資訊及全域資訊之多個來源，以實現此舉。

例如，類似於第6圖之步驟600，步驟1400包括自深度感測器獲取使用者之深度像素。例如，類似於第6圖之步驟700及步驟720，步驟1402包括決定模型與深度感測器之深度像素的初始匹配。亦可包括第6圖之步驟750。此舉可包括先前論述的一些類型之代表性的吸引點與形心匹配或任何其他技術。此外，可使用(諸如)結合第7A圖之步驟736論述的變換。此舉可涉及3D點雲端之受限制的仿射註冊，例如，具有3D比例的3D點雲端之剛性變換。給定模型與深度感測器觀察之間的特徵點對應，可藉由用每一維度(長度、寬度及高度)之單一或單獨縮放計算最佳剛性變換，來立刻計算經鉸接對象之每一主體部分之個別縮放參數或者(可能考慮先前畫面中經估計主體比例)計算經鉸接對象之所有主體部 分之全域縮放參數。

步驟1404使用距離約束微調模型之初始匹配。步驟1406包括決定對於每一經鉸接主體部分而言違反距離約束至何種程度。結合第16A1圖至第16C圖及第17A圖提供與步驟1404及步驟1406有關之實例。

步驟1408使用碰撞約束微調模型之初始匹配。步驟1410包括決定實施碰撞約束。舉例而言，當模型決定為處於有助於實施碰撞約束之指定姿勢時可作出此決策。實例為當模型之至少兩個相鄰手指區段決定為處於指定相對位置(例如，實質上平行於彼此)時。可(例如)藉由以小於數度之臨限角度的角度延伸的兩個相鄰手指區段之縱向軸，來偵測此情況。步驟1412包括決定對於每一經鉸接主體部分而言違反碰撞約束至何種程度。結合第18A圖及第18B圖提供與步驟1408至步驟1412有關之實例。

步驟1414使用柵格化模型微調匹配。例如，類似於第7B圖之步驟764，步驟1416柵格化模型，以提供模型之深度像素。例如，類似於第7B圖之步驟766，步驟1418在比較平面中將模型之深度像素與深度感測器之深度像素比較。例如，類似於第7B圖之步驟770，步驟1420識別未與模型之深度像素重疊的深度感測器之非重疊深度像素。例如，類似於第7B圖之步驟772，步驟1422識別未與深度感測器之深度像素重疊的模型之非重疊深度像素。結合第16D圖及第16E圖提供與步驟 1414至步驟1422有關之實例。

步驟1424調整模型，以試圖滿足不同約束。在決策步驟1426處，若滿足停止標準，則在步驟1428處程序停止。若決策步驟1426為假，則執行程序之另一疊代。可在一或更多個疊代中疊代地執行方法之步驟中之任何步驟，直至滿足停止標準為止。大體上多個疊代用於應合理地滿足之所有約束。此外，模型之調整可基於每一約束之所有可用資訊。步驟1426處的調整可組合且加權每一約束之貢獻。或者，可(例如)在步驟1406、步驟1412、步驟1420及步驟1422中之每一者之後，基於每一約束單獨地調整模型。

調整模型以試圖滿足距離約束之步驟可包括(例如)藉由增加或減小手指或拇指區段之長度或寬度或手掌或手腕之長度或寬度，來調整經鉸接主體部分中之至少一個經鉸接主體部分之大小。調整模型以試圖滿足碰撞約束之步驟可包括(例如)藉由減小手指或拇指區段之長度或寬度或手掌或手腕之長度或寬度，來調整在碰撞中涉及的經鉸接主體部分中之至少一個經鉸接主體部分之大小。在一些情況下，歸因於處理時間或其他限制或其他約束，並非所有約束可完全被滿足，在此情況下，盡最大努力來滿足碰撞約束。

基於深度感測器之非重疊深度像素調整模型之步驟可包括沿深度感測器之非重疊深度像素之方向增加模型部分之維度(例如，高度、寬度)。沿給定方向增加大小之 程度可與(例如)基於沿給定方向的若干重疊像素的重疊之程度成比例。基於模型之非重疊深度像素調整模型之步驟可包括沿遠離深度感測器之非重疊深度像素的方向減小模型部分之大小。最佳解決方案可傾向於均衡與模型之非重疊深度像素相鄰的主體部分之周長周圍的模型之若干非重疊深度像素。沿給定方向上減小大小之程度可與(例如)基於沿給定方向的若干重疊像素的重疊之程度成比例。

第15圖圖示與第14圖之方法一起使用的使用者的手之深度像素1500之實例。此實例將用於第16A1圖至第16E圖及第17A圖中。

第16A1圖圖示將第5圖之模型與第15圖之深度像素匹配，其中未實施距離約束，且模型小於所要模型。此匹配可涉及允許模型之每一部分獨立地浮動而不被附接至相鄰部分，以與深度感測器資料之各別部分最佳地匹配。例如，如先前論述的，可使用機率圖(第7A圖)使深度感測器資料之不同部分與各別主體部分相關聯。隨後在不考慮距離約束的情況下，將模型之每一主體部分相對於深度感測器資料之相同部分最佳地定位。在一種可行的方法中，將模型的部分之代表性的吸引點與深度感測器資料的相同部分之形心匹配。然而，可使用任何匹配技術。

距離約束與模型的各部分之間的距離及模型的各部分之相對定位相關。舉例而言，距離約束可需要將手指區 段佈置成端對端，其中手指區段之一個末端自相鄰手指區段之緊鄰末端延伸。此外，距離約束可需要近端手指區段自手掌之指定關節延伸。另一距離約束可需要手掌自手腕延伸。決定是否違反距離約束及違反之程度可基於主體部分的關節之位置。實例關節在此圖式及其他圖式中藉由菱形形狀來表示。在一種方法中，距離約束需要模型的一個部分之關節與模型的相鄰部分之關節實質上重合(例如，在臨限距離內)。舉例而言，模型部分516之底部處的關節應與手掌之相關聯的最左側關節重合，模型部分516之頂部處的關節應與主體部分514之底部處的關節重合，且模型部分514之頂部處的關節應與主體部分512之底部處的關節重合。關節之間的間隙表示違反距離約束。較大間隙或距離表示較大程度之違反。

同樣在此實例中，與深度像素1500之手之表示相比較，模型通常更小。

距離約束可藉由模型中的特徵點(諸如，關節)之間的線來表示。每一線可視為處於壓縮或張緊狀態。當模型小於感測器偵測到的模型時，存在傾向於拉動關節遠離彼此之張力。當模型大於感測器偵測到的模型時，存在傾向於將關節向著彼此推動之壓縮力。與經鉸接模型之每一部分相關聯之個別張力及/或壓縮力資訊用以調整模型。

第16A2圖為第16A1圖之替代物，在該第16A2圖中 圖示母關節與子關節。在另一方法中，例如，在遠端拇指部分與近端拇指部分之間存在一個關節560，且距離約束為關節560與諸如關節564之母關節之間的距離。關節564之母關節可為關節503。例如，關節560可在遠端拇指區段552之近端處，且關節564可在近端拇指區段554之近端處。在模型之此方法中，即使網格並不足夠長以到達子關節，亦將網格置放於母關節處指向子關節。母關節或子關節可分別與母主體部分或子主體部分相關聯。在一種可行的方法中，子主體部分可為自較大主體部分延伸之較小主體部分，諸如，自手掌延伸的手指。或，子主體部分可為沿指定方向(諸如，沿自手臂至指尖的方向)自另一主體部分延伸之主體部分。例如，近端拇指部分554可為遠端拇指部分552之母體。類似地，近端手指區段546之近端處的關節553表示介於近端手指區段與手掌502之間的骨架關節，且近端手指區段546之近端處的關節553在距手掌502之關節503距離d處。中間手指區段544之近端處的關節551表示介於中間手指區段544與近端手指區段546之間的骨架關節。遠端手指區段542之近端處的關節549表示介於遠端手指區段542與中間手指區段544之間的骨架關節。

第16B1圖圖示針對食指的第16A1圖之影像之細節。在食指540中，深度感測器之像素按粗實線指示的分組為遠端手指區段像素區域1620、中間手指區段像素區域1630及近端手指區段像素區域1640。手指之遠端模型部 分、中間模型部分及近端模型部分分別為542、544及546。模型部分542包括頂部關節(菱形547)、底部關節549、代表性的吸引點541(與為像素區域1620之形心的三角形1622對準)、寬度wdm(寬度、遠端、模型)、高度hdm(高度、遠端、模型)、距下層像素區域之左邊緣的間隔dl(遠端、左側)及距下層像素區域之右邊緣的間隔dr(遠端、右側)。已分配至遠端手指區段之下層像素區域具有寬度wd及高度HDP(高度、遠端、像素)。

模型部分544包括頂部關節1632、底部關節551、代表性的吸引點543(與為像素區域1620之形心的三角形1634對準)、寬度wmm(寬度、中間、模型)、高度hmm(高度、中間、模型)、距下層像素區域之左邊緣的間隔ml(中間、左側)及距下層像素區域之右邊緣的間隔mr(中間、右側)。已分配至中間手指區段之下層像素區域具有寬度wd及高度HMP(高度、中間、像素)。

模型部分546包括頂部關節1642、底部關節553、代表性的吸引點545(與為像素區域1640之形心的三角形1644對準)、寬度wpm(寬度、近端、模型)、高度hpm(高度、近端、模型)、距下層像素區域之左邊緣的間隔pl(近端、左側)及距下層像素區域之右邊緣的間隔pr(近端、右側)。已分配至近端手指區段之下層像素區域具有寬度wd及高度HPP。

手掌502具有關節1650，模型部分546之近端將自該 該關節1650延伸。

可在模型之全域坐標系統中定義大小，或每一主體部分可具有該每一主體部分自身的坐標系統。術語高度、寬度及類似物可表示沿任何方向的維度。

當約束將具有零距離或某種零公差內之距離時，關節549與關節544之間的距離md(中間至遠端)表示被違反之距離約束。可以說約束由兩個主體部分542及544違反。關節551與關節1642之間的距離pm(近端至中間)表示被違反之另一距離約束，此次由主體部分544及主體部分546違反。關節553與關節1650之間的距離pp(近端至近端)表示被違反之另一距離約束，此次由主體部分546及主體部分502違反。注意，關節之間的距離約束可為3D距離。為簡單起見本實例呈2D。

距離dt(遠端至頂部)將關節547與像素區域1620之頂部邊緣分隔。參見第16D圖及第16E圖。

在此實例中，應藉由如接下來論述的將模型部分沿手指之方向延長，來調整模型部分。

第16B2圖為第16B1圖之替代物，在該第16B2圖中圖示母關節與子關節。在此情況下，距離約束可藉由以下來表示：(a)hdm；(b)hmm+md；(c)hpm+pm；以及(d)d。在此情況下，未使用關節1632、關節1642及關節1650。距離d未按與其他距離的比例繪製而因此藉由間斷線圖示。亦可將諸如角度約束之其他約束應用於(諸如)關節503與關節553之間的線。

第16C圖圖示在實施距離約束之後對第16B1圖之模型的調整。每一手指區段之長度可經延長以實施距離約束，以便手指區段具有HDP+HMP+HPP之總長度。此長度可沿著軸，該軸在3D中為直的或彎曲的。距離約束之實施之結果為關節549與關節1632，及關節551與關節1642，及關節553與關節1650變成實質上重合的(在公差內)。主體部分542之長度自hdm增加至hdm'，主體部分544之長度自hmm增加至hmm'，且主體部分546之長度自hpm增加至hpm'。形心及代表性的吸引點之相對位置可作為模型調整之結果移位。在一種方法中，每一主體部分之長度基於該每一主體部分相對於其他相鄰主體部分之長度且基於主體部分之間的距離而增加，該等其他相鄰主體部分之長度正在增加。在其他實例中，手指之並非所有的區段之大小被調整。在其他實例中，手之其他部分之大小被調整。在其他實例中，模型為除手之外的另一主體部分或為另一經鉸接對象，該另一經鉸接對象之行為可被模型化。

將在使用母關節與子關節的情況下(例如，第16B2圖)實現相似結果。

第16D圖圖示在柵格化及與深度感測器之深度像素比較之後的第16C圖之模型。模型部分542、模型部分544及模型部分546圖示為像素區域。可識別未與模型之像素重疊的深度感測器之深度像素。特定言之，區域1650、區域1651及區域1652中之深度像素相對於模型 部分542為非重疊的，區域1660及區域1662中之深度像素相對於模型部分544為非重疊的，且區域1670及區域1672中之深度像素相對於模型部分546為非重疊的。在虛線框中圈出非重疊像素，且用虛線圖案圖示非重疊像素。此比較指示模型之手指區段太窄。模型部分542可向左側變寬dl量且向右側變寬dr量。模型部分544可向左側變寬ml量且向右側變寬mr量。模型部分546可向左側變寬pl量且向右側變寬pr量。關於模型部分542之頂部處的重疊dt，此重疊dt可藉由僅將模型部分542之長度增加dt或藉由增加手指之模型部分中的每一模型部分之長度來解決。大體而言，用於調整模型之距離可依據長度度量或若干像素來表示。

在此實例中，在每一模型部分之右側及左側上存在恆定重疊。當重疊沿著模型部分之周長變化時，可將模型部分調整為與重疊之最佳擬合。在一種方法中，平均重疊經決定且用以調整模型部分。

第16E圖圖示基於像素比較對第16D圖之模型的調整。在此實例中，模型部分542之頂部處的重疊dt藉由增加手指之模型部分中之每一模型部分之長度來解決。主體部分542之長度自hdm'增加至hdm"，主體部分544之長度自hmm'增加至hmm"，且主體部分546之長度自hpm'增加至hpm"。類似地，歸因於與模型部分相鄰的側向非重疊像素，主體部分542之寬度自wdm增加至wdm'，主體部分544寬度自wmm增加至wmm'，且主體 部分546之寬度自wpm增加至wpm'。

將在使用母關節與子關節的情況下(例如，第16B2圖)實現相似結果。

第17A圖圖示將第5圖之模型與第15圖之深度像素匹配的另一實例，其中未實施距離約束，且模型大於所要的模型。為清晰起見，未圖示模型之像素。

可識別未與深度感測器之像素重疊的模型之深度像素。特定言之，區域1750及區域1752中之深度像素相對於模型部分542為非重疊的，區域1760及區域1762中之深度像素相對於模型部分544為非重疊的，且區域1770及區域1772中之深度像素相對於模型部分546為非重疊的。在虛線框中圈出非重疊像素，且用虛線圖案圖示非重疊像素。此比較指示手指區段太寬。模型部分542可向左側變窄dl量且向右側變窄dr量。模型部分544可向左側變窄ml量且向右側變窄mr量。模型部分546可向左側變窄pl量且向右側變窄pr量。

在此實例中，在每一模型部分之右側及左側上存在實質上恆定或均勻的重疊。當重疊沿著模型部分之周長變化時，可將模型部分調整為與重疊之最佳擬合。在一種方法中，平均重疊經決定且用以調整模型部分。

注意，給定模型部分可在一或更多個畫面中經受相反調整。類似地，相鄰模型部分可在一或更多個畫面中經受相反調整。例如，在一個畫面中，手指區段可經受變寬而在另一畫面中經受變窄。此狀況可(例如)藉由調 整之疊代本質、雜訊、深度感測器之解析度、使用者之移動、計算限制及其他因素產生。例如，歸因於相反或衝突的距離約束調整、碰撞約束調整及/或像素比較調整，模型部分亦可在一個畫面中經受相反或衝突的調整。

距離約束可藉由以下來表示：(a)md；(b)pm；(c)pp'。

第17B圖為第17A圖之替代物，在該第17B圖中圖示母關節與子關節。在此情況下，距離約束可藉由以下來表示：(a)hdm；(b)hmm-md；(c)hpm-pm-pp'；以及(d)d'。在此情況下，未使用關節1632、1642及1650。距離d'未按與其他距離的比例繪製而因此藉由間斷線圖示。

第18A圖圖示展示碰撞的第5圖之模型之兩個相鄰手指。碰撞約束在於避免使模型之不同部分同時存在於相同位置。例如，此實例圖示模型之相鄰手指530及540，其中手指之陰影部分1820位於同一位置。在此簡化實例中，手指530之模型部分532、模型部分534及模型部分536具有寬度wdm1，且手指540之模型部分542、模型部分544及模型部分546具有寬度wdm2。距離pd(穿透深度)表示碰撞之程度，例如，碰撞約束之違反之程度。中心縱向軸在每一模型部分中延伸，例如，軸1800、軸1802及軸1804分別在模型部分532、模型部分534及模型部分536中延伸，且軸1810、軸1812及軸1814分別在模型部分542、模型部分544及模型部分546中延伸。

軸1830可視為手指530之穿透軸，手指530之該穿透 軸沿著手指540之周邊延伸，且軸1832可視為手指540之穿透軸，手指540之該穿透軸沿著手指530之周邊延伸。在此情況下，pd為穿透軸1830與穿透軸1832之間的距離。

第18B圖圖示在實施碰撞約束之後的第18A圖之兩個相鄰手指。為滿足碰撞約束，調整手指530與手指540中之一者或兩者。可以想像的是，一個解決方案為將手指進一步移動開。然而，距離約束可需要手指自手掌中指定關節延伸，使得此解決方案不是有利的。另一解決方案為僅減小手指中之一個手指之寬度；然而，此舉亦將不可能為最佳。最佳解決方案通常為減小碰撞手指或其他主體部分之兩者之寬度。在一種方法中，手指530及手指540之寬度可減小相同比例，例如，相同百分比，該比例足以防止碰撞。在此情況下，手指530之寬度自wdm1減小至wdm1'，且手指540之寬度自wdm2減小至wdm2'。

當模型決定為處於尤其適合於碰撞約束實施之姿勢時可作出實施碰撞約束之決策。因此，可取決於姿勢是否為適合的，來針對畫面實施碰撞約束。在一種可行的方法中，若姿勢並非適合的，則不針對彼畫面實施碰撞約束。

在一種方法中，初始模型之微調包括調整模型以試圖滿足距離約束，且隨後決定實施碰撞約束。回應於決定實施碰撞約束之步驟，可作出關於在初始匹配中至少兩 個相鄰模型部分(諸如，模型之手指區段)違反碰撞約束至何種程度之評估。可基於模型之至少兩個相鄰手指區段違反碰撞約束之程度，藉由減小模型之至少兩個相鄰手指區段之寬度，來調整模型以試圖滿足碰撞約束。決定實施碰撞約束之步驟可包含決定模型之至少兩個相鄰手指區段處於指定相對位置。在一種方法中，諸如在第18A圖中，當模型之至少兩個相鄰手指區段之各別縱向軸在指定角度臨限內實質上平行時，模型之至少兩個相鄰手指區段處於指定相對位置。例如，此角度臨限可為軸1830與軸1832之間的角度。模型之至少兩個相鄰手指區段違反碰撞約束之程度可基於各別縱向軸之間的距離。

在此實例中，當兩個相鄰手指或手指區段實質上平行且正顯著地碰撞時，此狀況指示手指寬度太大且應被減小。在一種方法中，將每一手指區段模型化為圓柱體，在此情況下可決定該圓柱體之長度軸是否平行。

出於說明及描述之目的，已呈現本文中的技術之前述詳細描述。該詳細描述並不意欲為詳盡的或並不意欲將技術限制為所揭示之精確形式。鑒於以上教示，許多修改及變化是可行的。選擇所述實施例，以最佳地解釋技術原理及該技術之實際應用，以藉此使其他熟習此項技術者能夠在各種實施例中最佳地利用該技術，且預期適合於特殊用途之各種修改。希望本發明技術之範疇由附加於該技術的申請專利範圍定義。

2‧‧‧線

4‧‧‧線

6‧‧‧視場

8‧‧‧使用者

10‧‧‧成像系統

12‧‧‧計算環境

20‧‧‧深度相機系統

21‧‧‧匯流排

22‧‧‧影像擷取組件/影像相機組件

24‧‧‧紅外線光發射器

26‧‧‧紅外線相機

28‧‧‧紅綠藍相機

30‧‧‧麥克風

32‧‧‧處理器

34‧‧‧記憶體組件

36‧‧‧通訊鏈路

100‧‧‧多媒體控制台

101‧‧‧中央處理單元

102‧‧‧位準1快取記憶體

104‧‧‧位準2快取記憶體

106‧‧‧快閃唯讀記憶體

108‧‧‧圖形處理單元

110‧‧‧記憶體控制器

112‧‧‧記憶體

114‧‧‧視訊編碼器/視訊編解碼器

118‧‧‧模組

120‧‧‧I/O控制器

122‧‧‧系統管理控制器

123‧‧‧音訊處理單元

124‧‧‧網路介面

126‧‧‧第一USB主機控制器

128‧‧‧第二USB控制器

130‧‧‧前面板I/O次組件

132‧‧‧音訊編解碼器

136‧‧‧系統電源模組

138‧‧‧風扇

140‧‧‧音訊/視訊埠

142(1)‧‧‧周邊控制器

142(2)‧‧‧周邊控制器

143‧‧‧系統記憶體

144‧‧‧媒體驅動機

146‧‧‧外部記憶體裝置

148‧‧‧無線配接器

150‧‧‧電源按鈕

152‧‧‧彈出鈕

190‧‧‧手勢/姿勢庫

192‧‧‧處理器

194‧‧‧記憶體

196‧‧‧顯示器/顯示裝置

197‧‧‧虛擬使用者

198‧‧‧道路

220‧‧‧計算環境

221‧‧‧系統匯流排

222‧‧‧系統記憶體

223‧‧‧唯讀記憶體

224‧‧‧基本輸入/輸出系統

225‧‧‧作業系統

226‧‧‧應用程式

227‧‧‧其他程式模組

228‧‧‧程式資料

229‧‧‧圖形處理單元

230‧‧‧組件

231‧‧‧圖形介面

232‧‧‧視訊介面

233‧‧‧輸出周邊介面

234‧‧‧介面/組件

235‧‧‧介面/組件

236‧‧‧輸入介面

237‧‧‧網路介面/配接器

238‧‧‧硬碟機

239‧‧‧磁碟機

240‧‧‧光碟機

241‧‧‧電腦

242‧‧‧監視器

243‧‧‧印表機

244‧‧‧揚聲器

245‧‧‧區域網路

246‧‧‧遠端電腦

247‧‧‧記憶體儲存裝置

248‧‧‧遠端應用程式

249‧‧‧廣域網路

250‧‧‧數據機

251‧‧‧鍵盤

252‧‧‧指向裝置

253‧‧‧非揮發性光碟/組件

254‧‧‧非揮發性磁碟/組件

255‧‧‧程式資料

256‧‧‧其他程式模組

257‧‧‧應用程式

258‧‧‧作業系統

259‧‧‧處理單元

260‧‧‧隨機存取記憶體

500‧‧‧模型

501‧‧‧代表性吸引點

502‧‧‧手掌

503‧‧‧關節

504‧‧‧手臂

505‧‧‧代表性吸引點

507‧‧‧軸

510‧‧‧手指

512‧‧‧遠端區段

514‧‧‧中間區段

516‧‧‧近端區段

520‧‧‧手指

522‧‧‧遠端區段

524‧‧‧中間區段

526‧‧‧近端區段

530‧‧‧手指

531‧‧‧代表性吸引點

532‧‧‧遠端區段

534‧‧‧中間區段

536‧‧‧近端區段

540‧‧‧手指

541‧‧‧吸引點

542‧‧‧遠端手指區段

543‧‧‧吸引點

544‧‧‧中間區段

545‧‧‧吸引點

546‧‧‧近端區段

547‧‧‧關節

549‧‧‧關節

550‧‧‧拇指

551‧‧‧關節

552‧‧‧遠端區段

553‧‧‧底部關節

554‧‧‧近端區段

556‧‧‧關節

558‧‧‧代表性吸引點

560‧‧‧關節

562‧‧‧代表性吸引點

564‧‧‧關節

600‧‧‧步驟

700‧‧‧步驟

702‧‧‧深度畫面資料/步驟

704‧‧‧步驟

706‧‧‧BGR深度畫面/步驟

708‧‧‧步驟

710‧‧‧分段圖

712‧‧‧步驟

714‧‧‧機率圖/步驟

720‧‧‧步驟

721‧‧‧步驟

722‧‧‧形心資料

724‧‧‧步驟

726‧‧‧形心集資料

728‧‧‧形心集

730‧‧‧形心集

732‧‧‧步驟

734‧‧‧步驟

736‧‧‧步驟

738‧‧‧畫面模型

740‧‧‧右手臂

742‧‧‧左手臂

744‧‧‧吸引點

746‧‧‧關節資料

748‧‧‧網格資料

750‧‧‧步驟

752‧‧‧步驟

754‧‧‧步驟

756‧‧‧步驟

760‧‧‧步驟

762‧‧‧步驟

764‧‧‧步驟

766‧‧‧步驟

768‧‧‧步驟

770‧‧‧步驟

772‧‧‧步驟

774‧‧‧步驟

776‧‧‧資料

778‧‧‧步驟

780‧‧‧步驟

782‧‧‧步驟

784‧‧‧步驟

786‧‧‧步驟

788‧‧‧基於約束之調整向量資料

790‧‧‧步驟

791‧‧‧決策步驟

792‧‧‧步驟

794‧‧‧決策步驟

796‧‧‧步驟

798‧‧‧步驟

800‧‧‧深度像素

810‧‧‧深度像素

900‧‧‧像素資料

902‧‧‧遠端拇指區段

904‧‧‧形心

906‧‧‧遠端手指區段/區域

908‧‧‧形心

910‧‧‧遠端手指區段

912‧‧‧形心

914‧‧‧近端拇指區段

916‧‧‧形心

918‧‧‧手臂

920‧‧‧形心

930‧‧‧小手指

932‧‧‧第二手指

934‧‧‧第三手指

936‧‧‧第四手指/食指

938‧‧‧拇指

940‧‧‧手掌

942‧‧‧手臂

1000‧‧‧影像

1002‧‧‧影像

1004‧‧‧影像

1006‧‧‧影像

1008‧‧‧影像

1010‧‧‧影像

1012‧‧‧影像

1200‧‧‧模型

1210‧‧‧模型

1220‧‧‧深度像素

1230‧‧‧區域

1240‧‧‧區域

1250‧‧‧區段

1252‧‧‧區段

1254‧‧‧位置

1256‧‧‧位置

1258‧‧‧位置

1260‧‧‧位置

1262‧‧‧位置

1270‧‧‧調整向量

1274‧‧‧調整向量

1278‧‧‧調整向量

1300‧‧‧深度感測器

1302‧‧‧深度軸

1304‧‧‧軸

1305‧‧‧視線

1306‧‧‧軸

1308‧‧‧軸

1310‧‧‧比較平面

1312‧‧‧平面

1320‧‧‧調整向量

1322‧‧‧調整向量

1324‧‧‧調整向量

1326‧‧‧調整向量

1328‧‧‧調整向量

1330‧‧‧向量

1400‧‧‧步驟

1402‧‧‧步驟

1404‧‧‧步驟

1406‧‧‧步驟

1408‧‧‧步驟

1410‧‧‧步驟

1412‧‧‧步驟

1414‧‧‧步驟

1416‧‧‧步驟

1418‧‧‧步驟

1420‧‧‧步驟

1422‧‧‧步驟

1424‧‧‧步驟

1426‧‧‧步驟

1428‧‧‧步驟

1500‧‧‧深度像素

1620‧‧‧遠端手指區段像素區域

1622‧‧‧三角形

1630‧‧‧中間手指區段像素區域

1632‧‧‧頂部關節

1634‧‧‧三角形

1640‧‧‧近端手指區段像素區域

1642‧‧‧頂部關節

1644‧‧‧三角形

1650‧‧‧關節

1651‧‧‧區域

1652‧‧‧區域

1660‧‧‧區域

1662‧‧‧區域

1670‧‧‧區域

1672‧‧‧區域

1750‧‧‧區域

1752‧‧‧區域

1760‧‧‧區域

1762‧‧‧區域

1770‧‧‧區域

1772‧‧‧區域

1800‧‧‧軸

1802‧‧‧軸

1804‧‧‧軸

1810‧‧‧軸

1812‧‧‧軸

1814‧‧‧軸

1820‧‧‧陰影部分

1830‧‧‧軸/穿透軸

1832‧‧‧軸/穿透軸

j1‧‧‧關節

p1‧‧‧模型之深度像素

p2‧‧‧深度感測器之深度像素

p3‧‧‧深度感測器之深度像素

p4‧‧‧模型之深度像素

wdm‧‧‧寬度

hdm‧‧‧高度

dl‧‧‧間隔

dr‧‧‧間隔

wd‧‧‧寬度

HDP‧‧‧高度

wmm‧‧‧寬度

hmm‧‧‧高度

ml‧‧‧間隔

mr‧‧‧間隔

HMP‧‧‧高度

wpm‧‧‧寬度

hpm‧‧‧高度

pl‧‧‧間隔

pr‧‧‧間隔

HPP‧‧‧高度

md‧‧‧距離

pm‧‧‧距離

pp‧‧‧距離

d‧‧‧距離

dt‧‧‧距離

hdm'‧‧‧長度

hmm'‧‧‧長度

hpm'‧‧‧長度

hdm"‧‧‧長度

hmm"‧‧‧長度

hpm"‧‧‧長度

wdm'‧‧‧寬度

wmm'‧‧‧寬度

wpm'‧‧‧寬度

pd‧‧‧距離

wdm1‧‧‧寬度

wdm1'‧‧‧寬度

wdm2‧‧‧寬度

wdm2'‧‧‧寬度

在圖式中，相同編號的元件彼此對應。

第1圖圖示成像系統之實例實施例。

第2圖圖示第1圖之成像系統之實例方塊圖。

第3圖圖示可用於第1圖之成像系統中的計算環境之實例方塊圖。

第4圖圖示可用於第1圖之成像系統中的計算環境之另一實例方塊圖。

第5圖圖示使用者的手之模型，該模型包括關節及吸引點。

第6圖圖示用於在成像系統中以經改良保真度偵測經鉸接主體部分之姿勢的方法。

第7A圖圖示第6圖之步驟700、步驟720及步驟750之進一步細節。

第7B圖圖示第6圖之步驟760之進一步細節。

第8A圖圖示深度像素之畫面，該等深度像素包括使用者的手之深度像素。

第8B圖圖示第8A圖之使用者的手之深度像素，其中移除了背景像素。

第9A圖圖示來自第7A圖之示例性步驟712的第8B圖之使用者的手之深度像素之遠端手指區段及遠端拇指區段的機率值。

第9B圖圖示在第7A圖之步驟721中產生的第8B圖 之使用者的手之深度像素之中間手指區段及近端拇指區段的形心。

第9C圖圖示在第7A圖之步驟721中產生的第8B圖之使用者的手之深度像素之近端手指區段的形心。

第9D圖圖示在第7A圖之步驟721中產生的第8B圖之使用者的手之深度像素之手掌的形心。

第9E圖圖示在第7A圖之步驟721中產生的第8B圖之使用者的手之深度像素之手腕的形心。

第10圖圖示在步驟721中產生的來自使用者的手之測試資料形心。

第11圖圖示針對形心與吸引點匹配的第7A圖之步驟734的細節。

第12A圖圖示針對吸引點至形心之剛性變換的第7A圖之步驟736的細節。

第12B圖圖示用於使吸引點移動更接近形心的第7A圖之步驟752的細節。

第12C圖圖示用於柵格化模型以提供該模型之深度像素的第7B圖之步驟764之細節。

第12D圖圖示針對拇指區域，將模型之深度像素與感測器之深度像素比較的第7B圖的步驟766至步驟772的細節。

第12E圖圖示與第12D圖一致的第7B圖之步驟778之細節，該步驟778展示根據基於像素的調整向量，來調整模型之關節。

第12F圖圖示用於第12E圖中之基於像素的調整向量。

第12G圖圖示與第12E圖一致的第7B圖之步驟792之細節，該步驟792展示模型之更新。

第13A圖圖示將模型之深度像素與感測器之深度像素比較的第7B圖之步驟768、步驟770及步驟772之進一步細節，其中比較平面與深度感測器之深度軸橫切。

第13B圖圖示第13A圖之比較平面1310之進一步細節。

第14圖圖示用於使用距離約束、碰撞約束及像素比較來在成像系統中以經改良保真度偵測經鉸接主體部分之姿勢的方法。

第15圖圖示與第14圖之方法一起使用的使用者的手之深度像素之實例。

第16A1圖圖示第5圖之模型與第15圖之深度像素之匹配，其中未實施距離約束，且模型小於所要的模型。

第16A2圖為第16A1圖之替代物，在該第16A2圖中圖示母關節與子關節。第16B1圖圖示針對食指的第16A1圖之影像之細節。

第16B2圖為第16B1圖之替代物，在該第16B2圖中圖示母關節與子關節。

第16C圖圖示在實施距離約束之後對第16B1圖之模型的調整。

第16D圖圖示在柵格化及與深度感測器之深度像素比 較之後的第16C圖之模型。

第16E圖圖示基於像素比較對第16D圖之模型的調整。

第17A圖圖示將第5圖之模型與第15圖之深度像素匹配的另一實例，其中未實施距離約束，且模型大於所要的模型。

第17B圖為第17A圖之替代物，在該第17B圖中圖示母關節與子關節。

第18A圖圖示展示碰撞的第5圖之模型之兩個相鄰手指。

第18B圖圖示在實施碰撞約束之後的第18A圖之兩個相鄰手指。

600‧‧‧步驟

700‧‧‧步驟

720‧‧‧步驟

750‧‧‧步驟

760‧‧‧步驟

Claims (18)

1. 一種電腦可讀取儲存裝置，該電腦可讀取儲存裝置上包含用於程式化至少一個處理器以執行一方法之電腦可讀取軟體，該方法用於模型化一對象之經鉸接主體部分之一姿勢，該方法包含以下步驟：獲取一或更多個畫面中該等經鉸接主體部分之深度像素；處理該一或更多個畫面之該等深度像素，以識別該對象之該等經鉸接主體部分；存取一模型，該模型包含對應於該對象之該等經鉸接主體部分的經鉸接主體部分；將該模型之該等經鉸接主體部分與該對象之所識別的該等經鉸接主體部分匹配，以提供一初始匹配；評估在該初始匹配中該模型之該等經鉸接主體部分違反距離約束至一何種程度，該等距離約束包含對於該模型之該等經鉸接主體部分的關節之間的距離的約束；以及調整該模型以試圖滿足該等距離約束，包括：基於違反該等距離約束之該程度，來調整該模型之該等經鉸接主體部分中之至少一個經鉸接主體部分的一長度，其中：該等距離約束約束該模型之該等經鉸接主體部分中的至少兩個經鉸接主體部分佈置成端對端；該評估之步驟包含：評估該模型之該等經鉸接主體部分中之該至少兩個經鉸接主體部分佈置成以下中之至少一者至一何種程度：比該初始匹配中之端對端更遠，或比該 初始匹配中之端對端更近；以及該調整一長度之步驟包含以下中之至少一者：(i)根據該模型之該等經鉸接主體部分中之該至少兩個經鉸接主體部分佈置成比該初始匹配中之端對端更遠之該程度，延長該模型之該等經鉸接主體部分中之該至少兩個經鉸接主體部分；或(ii)根據該模型之該等經鉸接主體部分中之該至少兩個經鉸接主體部分佈置成比該初始匹配中之端對端更近之該程度，縮短該模型之該等經鉸接主體部分中之該至少兩個經鉸接主體部分。
2. 如請求項1所述之電腦可讀取儲存裝置，其中：該等經鉸接主體部分包含一手之一手掌及手指，該等手指包括手指區段；以及該模型之該等經鉸接主體部分中的該至少兩個經鉸接主體部分包含該等手指中的一個手指之手指區段。
3. 如請求項1所述之電腦可讀取儲存裝置，其中：該等經鉸接主體部分包含一手之一手掌及手指；該等距離約束約束該模型之該等手指在該手掌之預定義關節處自該模型之該手掌延伸；該評估之步驟包含：評估該模型之該等手指未自該手掌之該等預定義關節延伸之一程度；以及該調整該模型之步驟包含：根據該模型之該等手指未自該手掌之該等預定義關節延伸之該程度，移動該模型之該 等手指以自該手掌之該等預定義關節延伸。
4. 如請求項1所述之電腦可讀取儲存裝置，其中：該等經鉸接主體部分包含一手之一手掌及手指；以及針對該等手指中之每一手指個別地執行該評估及調整一長度之步驟。
5. 如請求項1所述之電腦可讀取儲存裝置，其中所執行的該方法進一步包含以下步驟：柵格化該模型，以提供該模型之深度像素；將該模型之該等深度像素與該一或更多個畫面之該等深度像素相比較，以自該一或更多個畫面之該等深度像素之中識別該一或更多個畫面之非重疊深度像素，該等非重疊深度像素在至少一個比較平面中未與該模型之該等深度像素重疊；以及基於該比較，藉由調整該模型之該等經鉸接主體部分中的該至少一個經鉸接主體部分之一大小來調整該模型，以使該模型更接近地匹配該一或更多個畫面之該等非重疊深度像素。
6. 如請求項5所述之電腦可讀取儲存裝置，其中：該基於該比較來調整該模型之步驟包含：根據與該模型之該等經鉸接主體部分中的該至少一個經鉸接主體部分相鄰且在該模型之該等經鉸接主體部分中的該至少一個經 鉸接主體部分側向的該一或更多個畫面之若干非重疊深度像素，增加該模型之該等經鉸接主體部分中的該至少一個經鉸接主體部分之一寬度。
7. 如請求項1所述之電腦可讀取儲存裝置，其中該等經鉸接主體部分包含一手之一手掌及手指，且所執行的該方法進一步包含以下步驟：評估在該模型中該模型之至少兩個相鄰手指違反碰撞約束至一何種程度；以及調整該模型，以試圖滿足該等碰撞約束，包括：基於該模型之該兩個相鄰手指中的該至少一個手指違反該等碰撞約束之該程度，來調整該模型之該兩個相鄰手指中的至少一個手指之大小。
8. 如請求項7所述之電腦可讀取儲存裝置，其中：該調整該模型以試圖滿足該等碰撞約束之步驟包含：基於該模型之該兩個相鄰手指中的該至少一個手指違反該等碰撞約束之該程度，來減小該模型之該兩個相鄰手指中的該至少一個手指之一寬度。
9. 如請求項1所述之電腦可讀取儲存裝置，其中所執行的該方法進一步包含以下步驟：柵格化該模型，以提供該模型之深度像素；將該模型之該等深度像素與該一或更多個畫面之該等深度 像素比較，以自該模型之該等深度像素之中識別該模型之非重疊深度像素，該等非重疊深度像素在至少一個比較平面中未與該一或更多個畫面之該等深度像素重疊；以及基於該比較，藉由調整該模型之該等經鉸接主體部分中的至少一個經鉸接主體部分之一大小來調整該模型，以使該模型更接近地匹配該一或更多個畫面。
10. 如請求項9所述之電腦可讀取儲存裝置，其中：該基於該比較來調整該模型之步驟包含：根據與該模型之該等經鉸接主體部分中的該至少一個經鉸接主體部分相鄰且在該模型之該等經鉸接主體部分中的該至少一個經鉸接主體部分側向的該模型之若干非重疊深度像素，減小該模型之該等經鉸接主體部分中的該至少一個經鉸接主體部分之一寬度。
11. 一種用於模型化一使用者之一手的一姿勢之處理器實施的方法，該處理器實施的方法包含以下步驟：獲取一或更多個畫面中該手之深度像素；處理該一或更多個畫面之該等深度像素，以識別該手之經鉸接主體部分；存取該手之該等經鉸接部分之一模型，該模型之該手之該等經鉸接部分包含一手掌及手指，該等手指包括手指區段； 將該模型之該手的該等經鉸接部分與該一或更多個畫面的該等深度像素的該手之所識別的該等經鉸接部分匹配，以提供一初始匹配；評估在該初始匹配中該等手指中之至少一個手指違反距離約束至一何種程度，該等距離約束包含對於該等手指中的該至少一個手指之手指區段之間的距離的約束；柵格化該模型，以提供該模型之深度像素；將該等手指中的該至少一個手指之該等深度像素與該一或更多個畫面之該等深度像素比較，以自該一或更多個畫面之該等深度像素之中識別該一或更多個畫面之非重疊深度像素，該等非重疊深度像素在至少一個比較平面中未與該模型的該等手指中的該至少一個手指之該等深度像素重疊；以及調整該模型：(a)以試圖滿足該等距離約束，該調整之步驟包括以下步驟：基於該等手指中的該至少一個手指違反該等距離約束之該程度，來調整該模型的該等手指中的至少一個手指之至少一個手指區段之一長度；以及(b)基於該比較，藉由增加該模型的該等手指中的該至少一個手指之該等手指區段中的該至少一個手指區段之一寬度來調整該模型，以使該模型更接近地匹配該一或更多個畫面之該等非重疊深度像素。
12. 如請求項11所述之處理器實施的方法，該處理器實施的方法進一步包含以下步驟： 基於該比較，藉由增加該模型的該等手指中的該至少一個手指之該等手指區段中的至少一個手指區段之一長度來調整該模型，以使該模型更接近地匹配該一或更多個畫面之該等非重疊深度像素。
13. 如請求項11所述之處理器實施的方法，該處理器實施的方法進一步包含以下步驟：將除該等手指中的該至少一個手指之外的該手之該等經鉸接部分中的至少一個經鉸接部分的該等深度像素與該一或更多個畫面之該等深度像素比較，以自該一或更多個畫面之該等深度像素之中識別該模型的該手之該等經鉸接部分中的該至少一個經鉸接部分之非重疊深度像素，該等非重疊深度像素在該至少一個比較平面中未與該一或更多個畫面之該等深度像素重疊；以及基於除該等手指中的該至少一個手指之外的該手之該等經鉸接部分中的至少一個經鉸接部分的該等深度像素與該一或更多個畫面之該等深度像素的該比較，藉由減小該模型的該手之該等經鉸接主體部分中的該至少一個經鉸接主體部分之一寬度來調整該模型，以使該模型更接近地匹配該一或更多個畫面之該等深度像素。
14. 如請求項11所述之處理器實施的方法，該處理器實施的方法進一步包含以下步驟：該增加該模型的該等手指中的該至少一個手指之該等手指 區段中的該至少一個手指區段之該寬度的步驟係基於與該模型的該等手指中的該至少一個手指之該等手指區段中的該至少一個手指區段相鄰且在該模型的該等手指中的該至少一個手指之該等手指區段中的該至少一個手指區段側向的該一或更多個畫面之若干非重疊深度像素。
15. 一種用於模型化一使用者之一手的一姿勢之處理器實施的方法，該處理器實施的方法包含以下步驟：獲取一或更多個畫面中該手之深度像素；處理該一或更多個畫面之該等深度像素，以識別該手之經鉸接主體部分；存取該手之該等經鉸接部分之一模型，該模型之該手之該等經鉸接部分包含一手掌及手指，該等手指包括手指區段；將該模型之該手的該等經鉸接部分與該一或更多個畫面的該等深度像素的該手之所識別的該等經鉸接部分匹配，以提供一初始匹配；評估在該初始匹配中該等手指中之至少一個手指違反距離約束至一何種程度，該等距離約束包含對於該等手指中的該至少一個手指之手指區段之間的距離的約束；決定實施碰撞約束；回應於該決定實施碰撞約束之步驟，評估在該初始匹配中該模型之至少兩個相鄰手指區段違反該等碰撞約束至一何種程度；以及 調整該模型：(a)基於該模型之該至少兩個相鄰手指區段違反該等碰撞約束之該程度，藉由減小該模型之該至少兩個相鄰手指區段之寬度來調整該模型，以試圖滿足該等碰撞約束；以及(b)基於該等手指中之該至少一個手指違反該等距離約束之該程度來調整該模型，以試圖滿足該等距離約束。
16. 如請求項15所述之處理器實施的方法，其中：該決定實施碰撞約束之步驟包含：決定該模型之該至少兩個相鄰手指區段處於一指定相對位置。
17. 如請求項16所述之處理器實施的方法，其中：當該模型之該至少兩個相鄰手指區段之各別縱向軸在一指定角度臨限內實質上平行時，該模型之該至少兩個相鄰手指區段處於該指定相對位置。
18. 如請求項17所述之處理器實施的方法，其中：該模型之該至少兩個相鄰手指區段違反該等碰撞約束之該程度係基於該等各別縱向軸之間的一距離。