TWI545464B - 人體追蹤系統 - Google Patents

人體追蹤系統 Download PDF

Info

Publication number
TWI545464B
TWI545464B TW104115427A TW104115427A TWI545464B TW I545464 B TWI545464 B TW I545464B TW 104115427 A TW104115427 A TW 104115427A TW 104115427 A TW104115427 A TW 104115427A TW I545464 B TWI545464 B TW I545464B
Authority
TW
Taiwan
Prior art keywords
voxels
voxel
analysis
tracking system
target
Prior art date
Application number
TW104115427A
Other languages
English (en)
Other versions
TW201546658A (zh
Inventor
雷凡德湯梅爾
李強尼
斯塔奇尼克賽門
皮爾克雷格
劉韶
Original Assignee
微軟技術授權有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微軟技術授權有限責任公司 filed Critical 微軟技術授權有限責任公司
Publication of TW201546658A publication Critical patent/TW201546658A/zh
Application granted granted Critical
Publication of TWI545464B publication Critical patent/TWI545464B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/833—Hand-to-hand fighting, e.g. martial arts competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Description

人體追蹤系統
本發明係有關於人體追蹤系統。
許多電腦應用程式，像是電腦遊戲、多媒體應用程式等等，透過控制以讓使用者能操縱遊戲角色或是應用程式之態樣。通常，此類控制為輸入式使用，例如控制器、遠端遙控、鍵盤、滑鼠等等。不幸地，此類控制在學習上可能很困難，因此會在使用者與此類遊戲及應用程式之間產生障礙。此外，此類控制會與實際的遊戲動作或是該等控制所使用的其他應用程式動作不同。例如，造成一遊戲角色去揮動棒球棒的遊戲控制，並不會對應到一個揮動棒球棒的真實動作。
本發明在此所揭示的是一種在一場景中追蹤一使用者的方法及系統。例如，一種影像，像是一場景之深度影像，可被一裝置所接收、觀察或捕捉。立體像素的一格點則可基於該深度影像而被產生，從而該深度影像可被降低取樣。例如，該深度影像可包括複數個像素，其可 被劃分成多個部分或區塊。一立體像素則可針對各個部分或區塊而被產生，從而該被接收之深度影像可被降低取樣成立體像素之格點。
根據一實施例，一含括在像素之格點內的背景可被移除以隔離一或更多與一前景物件(像是一人體目標)相關之立體像素。一或更多肢體部分的位置或定位，像是該隔離人體目標之中心點或中央、頭部、肩膀、手臂、手掌、手肘、腿部、腳掌、膝蓋等等，可被加以判定。額外地，維度(dimension)，像是包括肢體部分之寬度、長度等等的測量可被加以判定。
因此，一模型則可基於該等一或更多肢體部分之位置或定位及/或所判定之維度而加以調整。例如，該模型可為一骨骼模型，其包括關節及/或骨頭。該模型的一或更多關節可加以調整，從而一或更多關節可被分派至其所對應之一或更多肢體部分的位置或定位，及/或在其間所定義之骨頭可被調整成其對應之一或更多肢體部分的維度。
可加以處理經調整模型。例如，在一具體實施例中，該經調整模型可被映射至一虛擬角色(avatar)或遊戲角色，從而該虛擬角色或遊戲角色可被繪製成動畫來模仿使用者，及/或可提供經調整模型給一在一計算環境中之姿態函式庫(gestures library)，其可被用來判定控制以在基於在該模組中之各種身體部份的位置而一應用程式內執行。
此發明內容係提供以按簡要形式來介紹概念之選擇，該等概念會在以下的實施方式中更進一步地詳細描述。此發明內容並未意圖識別本發明所主張標的之關鍵特徵或重要特徵，亦未曾意圖用來限制本發明所主張標的之範疇。此外，本發明所主張標的並未受限於能解決於本揭示任何部分中所註明之任何或全部缺點的實作。
10‧‧‧該目標辨識、分析及追蹤系統
12‧‧‧計算環境
16‧‧‧視聽裝置
18‧‧‧使用者
20‧‧‧捕捉裝置
22‧‧‧影像攝影機組件
24‧‧‧IR光源組件
26‧‧‧三維(3D)攝影機
28‧‧‧RGB攝影機
30‧‧‧麥克風
32‧‧‧處理器
34‧‧‧記憶體組件
36‧‧‧通訊鏈結
40‧‧‧玩家虛擬角色
100‧‧‧多媒體主機
101‧‧‧中央處理單元
102‧‧‧第一層快取
104‧‧‧第二層快取
106‧‧‧ROM
108‧‧‧圖像處理單元
110‧‧‧記憶體控制器
112‧‧‧記憶體
114‧‧‧視訊編碼/編解碼器
120‧‧‧I/O控制器
122‧‧‧系統管理控制器
123‧‧‧音訊處理單元
124‧‧‧網路介面控制器
126‧‧‧第一USB主控制器
128‧‧‧第二USB控制器128
130‧‧‧前置面板I/O子配件
132‧‧‧音訊編解碼器
136‧‧‧系統電源供應器模組
138‧‧‧風扇
142‧‧‧控制器
143‧‧‧系統記憶體
144‧‧‧媒體驅動機
146‧‧‧外部記憶體裝置
148‧‧‧無線配接器
220‧‧‧計算環境
222‧‧‧系統記憶體
223‧‧‧ROM
224‧‧‧BIOS
225‧‧‧作業系統
226‧‧‧應用程式
227‧‧‧其他程式模組
228‧‧‧程式資料
229‧‧‧GPU
230‧‧‧視訊記憶體
231‧‧‧圖像介面
232‧‧‧視訊介面
233‧‧‧輸出周邊介面
234‧‧‧非可移除非揮發性記憶體介面
235‧‧‧可移除非揮發性記憶體介面
236‧‧‧使用者輸入介面
237‧‧‧網路介面
238‧‧‧硬碟機
239‧‧‧磁碟機
240‧‧‧光碟機
241‧‧‧電腦
242‧‧‧螢幕
243‧‧‧印表機
244‧‧‧喇叭
245‧‧‧區域網路
246‧‧‧遠端電腦
247‧‧‧記憶體儲存裝置
248‧‧‧遠端應用程式
249‧‧‧廣域網路
250‧‧‧數據機
251‧‧‧鍵盤
252‧‧‧指向裝置
253‧‧‧可移除、非揮發性光碟
254‧‧‧可移除、非揮發性磁碟
258‧‧‧作業系統
257‧‧‧應用程式
256‧‧‧其他程式模組
255‧‧‧程式資料
圖1A及圖1B繪示一示範性具體實施例，其繪示一具有一正在遊玩拳擊遊戲之使用者18之目標辨識、分析及追蹤系統10。
圖2繪示該捕捉裝置20之示範性具體實施例，其可用於該目標辨識、分析及追蹤系統10。
圖3繪示一計算環境之示範性具體實施例，其可用來解譯在一目標辨識、分析及追蹤系統中的一或更多姿勢，及/或動畫繪製一由目標辨識、分析及追蹤系統所顯示之虛擬角色或螢幕上角色。
圖4繪示了計算環境220之另一示範性具體實施例，其可為圖1A-2中所示之計算環境12，該計算環境12係用來解譯在一目標辨識、分析及追蹤系統中之一或更多姿勢，及/或動畫繪示由一目標辨識、分析及追蹤系統所顯示之一虛擬角色或螢幕上角色。
圖5說明一種用於在一場景中追蹤一使用者的示範性方法的流程圖。
圖6繪示了一可被捕捉或接收之深度影像之示範性具體實施例。
圖7A-7B繪示了被降低取樣之深度影像之一部分的示範性具體實施例。
圖8繪示了一人體目標所估測之中心或中央的示範性具體實施例。
圖9繪示了一可被定義以判定一核心容量之邊界盒804之示範性具體實施例。
圖10繪示了可被建立以對頭部候選者加以評分之一頭部圓柱體及一軀幹之示範性具體實施例。
圖11繪示了基於一人體目標之頭部及中心或中央之頭部到中心向量之示範性具體實施例。
圖12繪示了基於頭部到中心向量所判定之肩膀容量盒SVB及臀部容量盒HVB的示範性具體實施例。
圖13繪示了肩膀及臀部之示範性具體實施例，其可基於肩膀容量盒SVB及臀部容量盒HVB來計算。
圖14繪示了圓柱體的一示範性具體實施例，其可代表該核心容量。
圖15A-15C繪示了一手掌之示範性具體實施例，其係基於錨定點所判定。
圖16繪示了可基於手臂及腿部平均位置及/或錨定點來計算手掌及腳掌之示範性具體實施例。
圖17繪示了所產生之模型之示範性具體實施例。
圖1A及圖1B為一示範性具體實施例，其繪示一具有一正在遊玩拳擊遊戲之使用者18之目標辨識、分析及追蹤系統10的組態。在一示範性具體實施例中，目標辨識、分析及追蹤系統10可被用來辨識、分析，及/或追蹤一人體目標，像是使用者18。
如圖1A所示，該目標辨識、分析及追蹤系統10可包括一計算環境12。該計算環境12可為一電腦，一遊戲系統或主機等等。根據一示範性實施例，該計算環境12可包括硬體組件及/或軟體組件，從而該計算環境12可被用來執行應用程式，像是遊戲應用程式、非遊戲應用程式等等。在一具體實施例中，該計算環境12可包括一處理器，像是一標準處理器、一特製處理器、一微處理器等等，其可執行指令，包括例如用於接收一深度影像之指令；基於該深度影像產生立體像素之格點的指令；移除一含括在立體像素格點內之背景以隔離一或更多與人體目標相關之立體像素的指令；判定該經隔離人體目標之一或更多肢體部分的位置或定位的指令；基於該一或更多肢體部分之位置或定位來調整一模型的指令，或任何其他適當的指令，其都將在以下做更詳細地描述。
如圖1A所示，該目標辨識、分析及追蹤系統10可更包括一捕捉裝置20。該捕捉裝置20可為，例如，一相機，其可被用於視覺上監測一或更多使用者，像是使 用者18，從而由一或更多使用者所做出的姿態及/或移動可被捕捉、分析及追蹤，以在一應用程式內執行一或更多控制或動作，及/或以動畫繪製一虛擬角色或螢幕上之角色，此將在以下做更詳細地描述。
根據一具體實施例，該目標辨識、分析及追蹤系統10可被連接到一視聽裝置16，像是電視、螢幕、高清晰度電視(HDTV)等等，其可將遊戲或應用程式之視覺及/或聽覺效果提供給一使用者，像是使用者18。例如，計算環境12可包括一視訊配接卡(像是一顯示卡)及/或一音訊配接卡(像是音效卡)，其可提供與遊戲應用程式、非遊戲應用程式等等相關之視聽信號。該視聽裝置16可從該計算環境12處接收該等視聽信號，然後可將與該等視聽信號相關之遊戲或應用程式之視覺及/或聽覺效果輸出給使用者18。根據一具體實施例，該視聽裝置16可連接到計算環境12經由，例如，一S端子纜線、一同軸纜線、一HDMI纜線、一DVI纜線、一VGA纜線等等。
如圖1A及1B所示，該目標辨識、分析及追蹤系統10可被用來辨識、分析及/或追蹤一人體目標，像是使用者18。例如，可使用該捕捉裝置20來追蹤使用者18，從而使用者18之姿勢及/或移動可被捕捉到以動畫繪製一虛擬角色或螢幕上角色及/或可被解譯成可用來影響正由計算環境12所執行之應用程式的控制。因此，根據一具體實施例，使用者18可移動他(或她)的身體以控 制該應用程式及/或動畫繪製該虛擬角色或螢幕上之角色。
如圖1A及1B所示，在一示範性具體實施例中，在計算環境12上執行之該應用程式可為一使用者18正在遊玩的拳擊遊戲。例如，該計算環境12可使用視聽裝置16以提供一拳擊對手的視覺呈現給使用者18。該計算環境12亦可使用視聽裝置16來提供一玩家虛擬角色40之視覺呈現，其中該使用者18可控制他(或她)的移動。例如，如圖1B所示，使用者18可在實體空間中揮出一拳頭而使得該玩家虛擬角色40會在遊戲空間中揮出一拳頭。因此，根據一示範性具體實施例，該目標辨識、分析及追蹤系統10之該計算環境12及該捕捉裝置可被用來辨識並分析在實體空間中使用者18的拳頭，從而該拳頭可被解譯成在遊戲空間中該玩家虛擬角色40的遊戲控制，及/或該拳頭的動態可被用來動畫繪製在遊戲空間中的玩家虛擬角色40。
其他使用者18的移動亦可被解譯成其他控制或動作，及/或被用來動畫繪製該玩家虛擬角色，像是快速擺動、迂迴前進、前後左右移動、刺拳或是揮出各種不同力道的拳頭。此外，某些移動可被解譯成能對應到除了控制玩家虛擬角色40之外動作的控制。例如，在一具體實施例中，該玩家可使用移動來停止、暫停、儲存遊戲、選擇等級、檢視高分、與朋友通訊等等。根據另一具體實施例，該玩家可使用移動而從一主要使用者介面中選擇遊 戲或其他應用程式。因此，在示範性具體實施例中，使用者18之動態的完整範圍為可用，並可按任何適當方式來使用及分析以與應用程式互動。
在示範性具體實施例中，人體目標(像是使用者18)可具有一物件。在此類具體實施例中，一電子遊戲的使用者可握持著該物件，從而玩家及該物件的動態可被用來調整及/或控制該遊戲之參數。例如，一握著球拍之玩家的動態可被追縱並用來控制在一電子運動遊戲中之螢幕上球拍。在另一具體實施例中，一握著一物件之玩家的動態可被追蹤並用來控制在一電子戰鬥遊戲中之螢幕上的武器。
根據其他示範性具體實施例，該目標辨識、分析及追蹤系統10可進一步被用來將目標移動解譯為作業系統及/或應用程式控制，其係屬於遊戲領域之外。例如，虛擬地，一作業系統及/或應用程式之任何可控制態樣可受控於目標(例如使用者18)的移動。
圖2繪示該捕捉裝置20之示範性具體實施例，其可用於該目標辨識、分析及追蹤系統10。根據一示範性具體實施例，該捕捉裝置20可被組態設定以捕捉具有深度資訊之視訊，其包括一深度影像，該深度影像可包括透過任何適當技術之深度值，例如包括飛時測距(time-of-flight)、結構光源(structured light)、立體影像等等。根據一具體實施例，該捕捉裝置20可將 該深度資訊組織成「Z圖層」，或是與Z軸垂直並沿著其視線從深度攝影機延伸的圖層。
如圖2所示，捕捉裝置20可包括一影像攝影機組件22。根據一具體實施例，該影像攝影機組件22可為一深度攝影機，其可捕捉一場景的深度影像。該深度影像可包括所捕捉場景之二維(2D)像素區域，其中在2D像素區域內之各個像素可代表一深度值，像是以，例如公分或公尺等等為單位，在捕捉場景中從攝影機到物件的長度或距離。
如圖2所示，根據一具體實施例，影像攝影機組件22可包括IR光源組件24、三維(3D)攝影機26以及RGB攝影機28，其可用來捕捉場景之深度影像。例如，在飛時測距分析中，捕捉裝置20之IR光源組件24可發射一紅外線到該場景上，且可然後使用感應器(未顯示)以透過使用例如3D攝影機26及/或RGB攝影機28之方式來偵測來自一或更多在場景中之目標及物件之表面的背向散射(backscattered)光源。在某些具體實施例中，可使用脈衝紅外光，從而可測量在一輸出(outgoing)光脈衝及一對應輸入(incoming)光脈衝之間的時間，並可將其用在判定從該捕捉裝置20到一在場景中之目標或物件上之特定位置的實體距離。額外地，在其他示範性具體實施例中，該輸出光波之相位可與該輸入光波之相位相比較以判定一相位平移。該相位平移則可用來判定從該捕捉裝置到在目標或物件上之特定位置的實體距離。
根據另一具體實施例，飛時測距分析可用來透過隨著時間分析反射光束之強度的方式而間接地判定從該捕捉裝置到在目標或物件上之特定位置的實體距離，其分析方式可經由各種技術來達成，包括例如散射光脈衝成像。
在另一示範性具體實施例中，該捕捉裝置20可使用一結構光源以捕捉深度資訊。在此一分析中，圖樣(patterned)光(亦即光會顯示成已知圖樣，像是格點圖樣或是線條圖樣)可經由，例如IR光源組件24，被投射到場景上。在撞擊了一或更多在場景中之目標或物件的表面之後，該圖樣會相應地變形。此圖樣之變形會被，例如3D攝影機26及/或RGB攝影機28所捕捉，且然後會被分析以判定從該捕捉裝置到在目標或物件上之特定位置的實體距離。
根據另一具體實施例，該捕捉裝置20可包括二或更多實體分離的攝影機，其可從不同角度去檢視一場景以獲得視覺立體資料，該視覺立體資料可經解析而產生深度資訊。
該捕捉裝置20可更包括一麥克風30。該麥克風30可包括一轉換器(transducer)或感應器，其可接收並轉換聲音成一電子信號。根據一具體實施例，麥克風30可用來減少在該目標辨識、分析及追蹤系統10中之捕捉裝置20及計算環境12之間的回授。額外地，麥可風30可用來接收音訊信號，其亦可由使用者所提供以控制像是 遊戲應用程式、非遊戲應用程式等等之類的應用程式，該等應用程式可由計算環境12所執行。
在一示範性具體實施例中，該捕捉裝置20可更包括一處理器32，其可與影像攝影機組件22運作通訊。處理器32包括一標準處理器、一特製處理器、一微處理器等等，其可執行指令，包括例如用於接收一深度影像之指令；基於該深度影像產生立體像素之格點的指令；移除一含括在立體像素格點內之背景以隔離一或更多與人體目標相關之立體像素的指令；判定該經隔離人體目標之一或更多肢體部分的位置或定位的指令；基於該一或更多肢體部分之位置或定位來調整一模型的指令，或任何其他適當的指令，其都將在以下做更詳細地描述。
該捕捉裝置20可更包括一記憶體組件34，其可儲存由處理器32所執行之指令、由3D攝影機或RGB攝影機所捕捉到之影像或影像之訊框、或任何其他適合的資訊、影像等等。根據一示範性具體實施例，記憶體組件34可包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、快取記憶體、快閃記憶體、硬碟或任何其他適合的儲存組件。如圖2所示，在一具體實施例中，該記憶體組件34可為一與影像捕捉組件22及處理器32通訊連接的獨立組件。根據另一具體實施例，記憶體組件34可整合到處理器32及/或影像捕捉組件22。
如圖2所示，捕捉裝置20可經由一通訊鏈結36而與計算環境12通訊連接。該通訊鏈結36可為一種有 線連接，包括例如，USB連接、火線(Firewire)連接、乙太纜線連接等等，及/或無線連接，像是無線802.11b、g、a或n連接。根據一具體實施例，計算環境12可提供一時脈給捕捉裝置20，其可被用來判定何時要經由一通訊鏈結36來捕捉，例如，一場景。
額外地，該捕捉裝置20可提供由例如3D攝影機26及/或RGB攝影機28所捕捉到的深度資訊及影像，及/或可由該捕捉裝置20經由通訊鏈結36而對該計算環境12產生之骨骼模型。該計算環境12則可使用該模型、深度資訊及捕捉影像以，例如，控制一應用程式(像是一遊戲或是文字處理器及/或動畫繪製一虛擬角色或螢幕上角色。例如，如圖2所示，該計算環境12可包括一姿勢函式庫190。該姿勢函式庫190可包括姿勢過濾器的集合，各者包含關於能由骨骼模型所擺出(如同使用者移動時)的姿勢之資訊。由攝影機26、28以及捕捉裝置20按骨骼模型的格式所捕捉到之資料，以及該骨骼模型相關之一棟，可與在姿勢函式庫190內之姿勢過濾器相比較，以識別一使用者(由該骨骼模型所表示)何時已擺出了一或更多姿勢。這些姿勢可與應用程式的各種控制相關連。因此，計算環境12可使用姿勢函式庫190以解譯(interpret)骨骼模型的移動並基於該移動來控制一應用程式。
圖3繪示一計算環境之示範性具體實施例，其可用來解譯在一目標辨識、分析及追蹤系統中的一或更多 姿勢，及/或動畫繪製一由目標辨識、分析及追蹤系統所顯示之虛擬角色或螢幕上角色。該計算環境，像是如上述般關於圖1A-2之計算環境12可為一多媒體主機100，像是一遊戲主機。如圖3所示，多媒體主機100具有一中央處理器(CPU)101，其具有第一層快取102、第二層快取104及快閃ROM(唯讀記憶體)106。該第一層快取102及第二層快取104能暫時地儲存資料並因此減少記憶體存取週期的次數，藉此增進處理速度及產能。可提供具有多於一核心之CPU 101，且因此，會有額外的第一層快取102以及第二層快取104。當開啟多媒體主機時，快閃ROM 106可儲存在一開機程序之初始相位期間所載入之可執行碼。
一圖像處理單元(GPU)108及一視訊編碼器/視訊編解碼器(codec)114會形成一用於高速及高解析度圖像處理之視訊處理管線。資料會經由匯流排而從圖像處理單元108處攜載到視訊編碼/視訊編解碼器114。該視訊處理管線將資料輸出至一A/V(audio/video)埠140以用於電視或其他顯示器之傳輸。一記憶體控制器110係連接到GPU 108以幫助處理器對各種類型之記憶體112(像是，但非僅限於，RAM(Random Access Memory))的存取。
多媒體主機100包括I/O控制器120、系統管理控制器122、音訊處理單元123、網路介面控制器124、第一USB主控制器126、第二USB控制器128以 及前置面板I/O子配件130，該等元件係較佳地實作在一模組118上。USB控制器126及128能作為用於周邊控制器142(1)-142(2)、無線配接器148以及外部記憶體裝置146(例如，快閃記憶體、外部CD/DVD光碟機、可移除媒體等等)的主控端。網路介面124及/或無線配接器148能提供對網路(例如網際網路、家庭網路等等)的存取，且可為各式無線或有線配接組件之廣泛種類中的任一者，包括了乙太網路卡、數據機、藍芽模組、纜線數據機等等。
系統記憶體143係提供來做為儲存於開機程序期間所載入的應用程式資料之用。亦提供了媒體驅動機144且可包含一DVD/CD光碟機、硬碟機、或其他可移除的媒體驅動機。媒體驅動機144可位在多媒體主機100之內部或外部。應用程式資料可經由媒體驅動機144而被存取以由多媒體主機100來執行、播放等等。媒體驅動機144係經由一匯流排，像是SATA匯流排或其他高速連結(例如IEEE1394)而連接到I/O控制器120。
系統管理控制器122提供關於確保多媒體主機100之可用性的各式服務功能。音訊處理單元123及音訊編解碼器132能形成具有高傳真度及立體聲處理的對應音訊處理管線。音訊資料係在音訊處理單元123及音訊編解碼器132之間經由一通訊鏈結所攜載。音訊處理管線會將資料輸出到A/V埠140以由外部音訊播放器或具有音訊處理能力之裝置來加以重製。
前置面板I/O子配件130支援電源鍵150及退出鍵152的功能，以及任何在多媒體主機100之外部表面上所露出的LED或其他指示器。一系統電源供應器模組136提供電力給多媒體主機100的組件。風扇138能降低在多媒體主機100內之電路的溫度。
CPU101、GPU108、記憶體控制器110以及在多媒體主機內100之其他各種組件，係經由一或更多的匯流排而互相連接，包括了序列及並列匯流排、記憶體匯流排、周邊匯流排以及處理器或使用任何一種匯流排架構之本地匯流排。舉例而言，此類架構可包括一周邊組件相互連接(PCI)匯流排、PCI-Express匯流排等等。
當多媒體主機100開機時，應用程式資料可從系統記憶體143處載入到記憶體112及/或快取記憶體102、104並在CPU101執行。當導覽到在多媒體主機100上可用之不同媒體類型時，應用程式可呈現一圖像使用者介面，其提供了一致性的使用者經驗。在運作中時，含在媒體驅動機144內之應用程式及/或其他媒體，可從媒體驅動機144處被啟動或運行，以提供額外的功能給多媒體主機100。
多媒體主機100可透過將系統連接到電視或其他顯示器之方式，而如同獨立系統般運作。在此獨立模式中，多媒體主機100允許一或更多之使用者能與系統互動、觀賞電影、或聆聽音樂。然而，在透過網路介面124或無線配接器128而使寬頻連接性之整合可用下，多媒體 主機100可進一步如同在一較大網路社群中之參與者般運作。
當多媒體主機100開機時，一設定數量之硬體資源由多媒體主機作業系統所保留給系統使用。這些資源可包括記憶體保留(例如16MB)、CPU及GPU工作週期(例如5%)、網路頻寬(例如8kb)等等。因為這些資源係在系統開機時間所保留，故該等保留資源不會離開應用程式之檢視。
特別是，記憶體保留較佳地會大到足以含有該啟動核心、並行系統應用程式及驅動程式。CPU保留係較佳地為恆定，從而若該所保留之CPU使用量能由系統應用程式所用，則一閒置執行緒(thread)將會消耗掉任何未使用之工作週期。
關於GPU保留，由系統應用程式(例如彈出式視窗)所產生的輕量訊息係透過使用GPU中斷的方式來顯示，以排程編碼以將彈出式視窗顯現成覆蓋(overlay)形式。對於覆蓋形式所需之記憶體數量視覆蓋區域之尺寸以及與螢幕解析度之覆蓋較佳比例而定。當一完整使用者介面由該並行系統應用程式所使用時，能使用一獨立於應用程式解析度之外的解析度是比較好的。一定標器(sealer)可被用來設定此解析度，從而改變頻率及讓再同步(resynch)之需求可被消除。
在多媒體主機100開機且系統資源被保留之後，並行系統應用程式執行以提供系統功能。系統功能能 被封裝(encapsulated)進系統應用程式之集合內，該等系統應用程式係在如上述之所保留系統資源內執行。作業系統核心識別執行緒，該等執行緒為系統應用程式執行緒對上遊戲應用程式執行緒。系統應用程式較佳地被排程以在預定時間及時間間隔在CPU 101上運行，以便提供一致性的系統資源檢視給應用程式。排程步驟能針對在主機上運行之遊戲應用程式而最小化快取分裂。
當並行系統應用程式需要音訊時，音訊處理程序會由於時間敏感度之故而對遊戲應用程式非同步地排程。當系統為主動(active)時，多媒體主機應用程式管理器(如下述)控制遊戲應用程式之音訊層級(例如，靜音、減弱)。
輸入裝置(例如控制器142(1)及控制器142(2)係由遊戲應用程式及系統應用程式所分享。輸入裝置不是保留資源，但是能在系統應用程式及遊戲應用程式之間切換，從而各者將擁有裝置的焦點。應用程式管理器較佳地控制了輸入串流的切換，而無需習得遊戲應用程式之知識，以及一驅動程式維持關於焦點切換之狀態資訊。攝影機26、28以及捕捉裝置20可定義用於主機100之額外輸入裝置。
圖4繪示了計算環境220之另一示範性具體實施例，其可為圖1A-2中所示之計算環境12，該計算環境12係用來解譯在一目標辨識、分析及追蹤系統中之一或更多姿勢，及/或動畫繪示由一目標辨識、分析及追蹤系 統所顯示之一虛擬角色或螢幕上角色。該計算系統環境220只是一適合計算環境的範例，且非意圖對使用之範疇或是本發明之功能作任何限制。計算環境220亦不應被解譯成具有任何與該示範性作業環境220所繪示之組件的任一者或其結合有關的相依性或需求。在某些具體實施例中，各種所述之計算元件可包括電路，其經組態以例示本揭示之特定態樣。例如，於本發明中所用之術語「電路」可包括特定之硬體組件，其經組態以由韌體或切換器來執行功能。在其他示範性具體實施例中，該術語「電路」可包括通用處理器、記憶體等等，其由具體化可運作以執行功能之邏輯的軟體指令所組態設定。在示範性具體實施例中，電路包括了硬體及軟體的組合，一種實作者可撰寫原始碼，其能具體化邏輯且原始碼可被編譯成可由通用處理單元所處理運算之機器可讀碼。由於本領域中熟悉技術人士可體認到本領域之狀態已進化到在硬體、軟體或是軟/硬體之結合之間僅有微小差異的時點上，為了實行特定功能而在硬體vs軟體上的選擇在設計上是留給實作者作決定。更具體而言，本領域中之熟悉技術人士可體認到一軟體處理程序可被轉換成相等的硬體架構，且硬體架構其本身可轉換成相等的軟體處理程序。因此，硬體實作vs軟體實作的選擇是留給實作者在設計上所做出的決定。
在圖4中，計算環境220包含一電腦241，其典型地包括各式的電腦可讀取媒體。電腦可讀取媒體可為任何可用媒體，其可由電腦241所存取並包括揮發性以及 非揮發性媒體、可移除及非可移除媒體兩者。系統記憶體222包括具有揮發性及/或非揮發性媒體形式之電腦可儲存媒體，像是唯讀記憶體(ROM)223以及隨機存取記憶體(RAM)260。一基本輸入/輸出系統224(BIOS)含有基本常式(routine)，其有助於將資訊在電腦241內部的元件之間轉換，像是在開機期間，係典型地儲存在ROM223中。RAM 260典型地含有可立即地存取之資料及/或程式模組，及/或目前正由處理單元259所運作之資料及/或程式模組。舉例而言，且非受限於，圖4繪示了作業系統225、應用程式226、其他程式模組227及程式資料228。
電腦241亦可包括了其他可移除/非可移除、揮發性/非揮發性電腦儲存媒體。僅作為舉例，圖4繪示了一能讀取或寫入非可移除、非揮發性磁性媒體之硬碟機238、能讀取或寫入可移除、非揮發性磁碟254之磁碟機239、以及能讀取或寫入可移除、非揮發性光碟253(像是CD ROM或是其他光學媒體)之光碟機240。其他可用於示範性作業環境之可移除/非可移除、揮發性/非揮發性之電腦儲存媒體，可包括，但非受限於，磁帶卡匣、快閃記憶卡、數位多功能光碟(DVD)、數位影帶、固態RAM、固態ROM等等。硬碟機238係通過非可移除記憶體介面(像是介面234)而典型地連接到系統匯流排221，而磁碟機239及光碟機240係通過可移除記憶體介面(像是介面235)而典型地連接到系統匯流排221。
上述所討論並於圖4中所繪示之驅動機及其相關之電腦儲存媒體，提供了電腦可讀取指令、資料結構、程式模組及用於電腦241之其他資料的儲存。圖4中，硬碟機238係繪示成能儲存作業系統258、應用程式257、其他程式模組256及程式資料255。需注意的是這些組件可與作業系統225、應用程式226、其他程式模組227及程式資料228相同或是相異。作業系統258、應用程式257、其他程式模組256及程式資料251在此被給予了不同號碼以至少繪示了他們是屬於不同的拷貝。使用者可通過輸入裝置(像是鍵盤251及指向裝置252，其通常是指滑鼠、軌跡球或觸控版)輸入命令及資訊到電腦241，其他輸入裝置(未顯示)可包括麥克風、搖桿、遊戲手把、衛星碟、掃瞄器等等。這些及其他輸入裝置常常是通過一耦接到系統匯流排之使用者輸入介面236而連接到處理單元259，但也可尤其他介面及匯流排架構來連接，像是並列埠、遊戲埠或是一通用序列埠(USB)。攝影機26、28及捕捉裝置20可定義用於主機100之額外輸入裝置。一螢幕242或其他類型的顯示裝置亦可經由一介面(像是視訊介面232)被連接到系統匯流排221。除了螢幕外，電腦亦可包括其他周邊輸出裝置，像是喇叭244及印表機243，其可通過一輸出周邊介面233來連接。
電腦241可運作在一使用邏輯連結到一或更多遠端電腦(像是遠端電腦246)之網路環境。遠端電腦246可為個人電腦、伺服器、網路PC、對等式裝置或其 他一般網路節點，並典型地包括上述關於電腦241之許多或全部元件，雖然只有記憶體儲存裝置247已在圖4中繪示。圖2中之邏輯連結包括了區域網路(LAN)245以及廣域網路(WAN)249，但是亦可包括其他網路。此類網路環境在辦公室、企業廣域電腦網路、企業內部網路及網際網路中是很常見的。
當在一LAN網路環境中使用時，電腦241係通過一網路介面或配接器237來連接到LAN 245。當在一LAN網路環境中使用時，電腦241典型地包括一數據機250或其他透過WAN249(像是網際網路)來建立通訊之裝置。數據機250，其可為內部或外部，可經由使用者輸入介面236或其他適當機制，而連接到系統匯流排221。在一網路環境中，所述關於電腦241之程式模組或是其部分，可被儲存在遠端記憶體儲存裝置中。舉例而言，且非受限於，圖4繪示了駐存在記憶體裝置247之遠端應用程式248。吾人應體認到所示之網路連接可為示範性質且可使用能在電腦之間建立一通訊鏈結之裝置。
圖5說明一種用於在一場景中追蹤一使用者的示範性方法300的流程圖。可使用，例如與圖1A-4有關之該目標辨識、分析及追蹤系統10之捕捉裝置20及/或計算環境12，來實作示範性方法300。在一示範性具體實施例中，該示範性方法300可採用程式碼(亦即指令)的形式，該等程式碼可由，例如與圖1A-4有關之該 目標辨識、分析及追蹤系統10之捕捉裝置20及/或計算環境12，來執行。
根據一具體實施例，在步驟305，可接收一深度影像。例如，該目標辨識、分析及追蹤系統可包括一捕捉裝置，像是上述與圖1A-2有關的捕捉裝置20。該捕捉裝置可捕捉或觀察一場景，該場景可包括一或更多目標。在一示範性具體實施例中，該捕捉裝置可為一深度攝影機，其經設置以使用任何適合的技術(像是飛時測距分析、結構光源分析、立體影像分析等等)來獲得一影像，像是該場景之一深度影像。
該深度影像可為複數個受到觀察之像素，其中各個受觀察像素具有一受觀察之深度值。例如，該深度引相可包括所捕捉場景之二維(2D)像素區域，其中在2D像素區域內之各個像素可擁有一深度值，像是以例如公分或公尺等等為單位，在捕捉場景中從攝影機到物件的長度或距離。
圖6繪示了一深度影像400之示範性具體實施例，其可在步驟305所接收。根據一示範性具體實施例，該深度影像400可為一場景之影像或訊框，其係由例如與上述圖2有關之該捕捉裝置20之3D攝影機26及/或RGB攝影機28所捕捉到的。如圖6所示，深度影像400可包括一人體目標402a，其對應至，例如，一使用者，像是上述與圖1A及1B有關之使用者，以及一或更多非人體目標，像是在所捕捉場景中的牆壁、桌子、螢幕等等。如上 所述，該深度影像400可包括複數個受觀察像素，其中各個像素具有與其相關之深度值。例如，該深度影像可包括該所捕捉場景之二維(2D)像素區域，其中在該2D像素區域中之特定X值及Y值的各像素可擁有一深度值，像是以例如公分或公尺等等為單位，在捕捉場景中從攝影機到物件的長度或距離。
在一具體實施例中，深度影像400可被著色，從而該深度影像之像素的不同顏色會對應到及/或視覺上地描繪從該捕捉裝置到人體目標402a及非人體目標404之不同距離。例如，與一最靠近該捕捉裝置之目標相關的像素可用在深度影像中之紅色及/或橘色之色度來著色，同時與一目標更不相關之像素可用在深度影像中之綠色及/或藍色之色度來著色。
回到圖5，在一實施例中，在接收了該影像之後，於步驟305，一或更多之高變異數及/或雜訊深度值可從該深度影像中移除及/或將該深度影像平滑化；遺失的部份及/或已移除深度資訊可被填滿及/或重新構築；及/或任何可在該已接收深度影像上執行任何其他適當的處理程序，從而與該深度影像相關之該深度資訊可用來產生一模型，像是一骨骼模型，其將在以下做更詳細地描述。
根據一示範性具體實施例，在步驟310，一或更多立體像素之格點可基於該已接收深度影像而產生。例如，該目標辨識、分析及追蹤系統可透過產生一或更多立體像素之方式來降低取樣該已接收深度影像，該一或更多 立體像素係使用了含括在已接收深度影像內之資訊，從而可產生一經降低取樣之深度影像。在一具體實施例中，該一或更多之立體像素可為容量元件(volume elements)，其可代表在一次取樣格點上含括在已接收深度影像內之資訊的資料或數值。
例如，如上所述，深度影像可包括所捕捉場景之2D像素區域，其中各像素可具有與其相關連之一X值、一Y值，及一深度值(或Z值)。在一具體實施例中，該深度值可透過將在2D像素區域中之像素減少成一或更多立體像素之格點的方式而被降低取樣。例如，該深度影像可被劃分成像素之部分或區塊，像是像素之4 x 4區塊、像素之4 x 4區塊、像素之8 x 8區塊、像素之10 x 10區塊等等。各部分或區塊可經處理以產生一用於深度影像之立體像素，其可代表在真實世界空間中與2D深度影像之像素相關連之部分或區塊的位置。根據一示範性具體實施例，可基於以下各值而產生各立體像素之位置：用於在立體像素可代表之區塊或部分中之像素的有效或非零深度值的平均深度值、在立體像素可代表之區塊或部分中之像素的最小/最大及/或中間深度值、在立體像素可代表之區塊或部分中具有一有效深度值之像素的X值及Y值的平均、或是由深度影像所提供之任何其他適合資訊。因此，根據一示範性具體實施例，各立體像素可代表具有以下數值之深度影像之次容量(sub-volume)部分或區塊，像是：用於在立體像素可代表之區塊或部分中之像素的有效或非 零深度值的平均深度值、在立體像素可代表之區塊或部分中之像素的最小/最大及/或中間深度值、在立體像素可代表之區塊或部分中具有一有效深度值之像素的X值及Y值的平均、或是基於在步驟305所接收之深度影像像素之對應區塊或部分之X值、Y值及深度值而由深度影像所提供之任何其他適合資訊。
在一具體實施例中，在經降低取樣深度影像中之一或更多立體像素之格點可被加以分層。例如，該目標辨識、分析及追蹤系統可產生如上所述般之立體像素。該目標辨識、分析及追蹤系統則可將所產生立體像素堆疊於在格點中之一或更多其他所產生立體像素之上。
根據一示範性具體實施例，該目標辨識、分析及追蹤系統可將在格點中之立體像素圍繞著，例如，在該深度影像中所捕捉到之場景內之物件邊緣來堆疊。例如，在步驟305所接收之一深度影像可包括一人體目標及一非人體目標，像是牆壁。人體目標可與非人體目標重疊，像是牆壁與，例如，該人體目標之邊緣。在一具體實施例中，該重疊邊緣可包括資訊，像是深度值、X值、Y值等等，其與可在深度影像中捕捉到之人體目標及非人體目標相關連。該目標辨識、分析及追蹤系統可在重疊邊緣處產生一與該人體目標相關連之立體像素以及一與該非人體目標相關連之立體像素，從而該等立體像素可被堆疊而該重疊邊緣之資訊(像是深度值、X值、Y值等等)可保持在該格點中。
根據另一具體實施例，可透過將在步驟305所接收到之深度值、X值、Y值等等用於深度影像中之像素的資訊投射到三維(3D)空間的方式，而在步驟310產生一或更多立體像素之格點。例如，該目標辨識、分析及追蹤系統可將深度值、X值、Y值等等用於深度影像中之像素的資訊映射到在3D空間之3D點，其係使用像是攝影機、影像或是透視法轉換之轉換方式，從而可將資訊轉換成在3D空間中之梯形或錐形形狀。在一具體實施例中，具有梯形或錐形形狀之3D空間可被劃分成區塊，像是可建立起立體像素之格點的立方體，從而該等區塊或立方體各者可代表在該格點中之立體像素。例如，該目標辨識、分析及追蹤系統可將一3D格點疊加到(superimpose)對應至深度影像中之物件的3D點上。該目標辨識、分析及追蹤系統然後可將格點劃分或割碎成代表立體像素之區塊，以將該深度影像降低取樣成一較低的解析度。根據一示範性具體實施例，在格點中之各個立體像素可包括以下各值：用於在立體像素可代表之格點中與3D空間相關連之像素的有效或非零深度值的平均深度值、在立體像素可代表之格點中與3D空間相關連之像素的最小/最大及/或中間深度值、在立體像素可代表之格點中與3D空間相關連之具有一有效深度值之像素的X值及Y值的平均、或是由深度影像所提供之任何其他適合資訊。
圖7A-7B繪示了被降低取樣之深度影像之一部分的示範性具體實施例。例如，如圖7A所示，上述關 於圖6之深度影像400之一部分410可包括複數個像素420，其中各像素420可具有與其相關之X值、Y值及深度值(Z值)。根據一具體實施例，如上所述，一深度值(像是深度影像400)可透過將在2D像素區域中之像素減少成一或更多立體像素之格點的方式而被降低取樣。例如，如圖7A所示，深度影像400之部分410可被劃分成像素420之一部分或一區塊430，像是像素420之8 x 8區塊。該目標辨識、分析及追蹤系統可處理該部分或區塊430以產生一立體像素440，其可代表在真實世界空間中與像素420相關連之部分或區塊430的位置，如圖7A-7B所示。
回到圖5，在步驟315，背景可從該經下降取樣深度影像中移除。例如，一背景(像是在該經下降取樣深度影像中之非人體目標或物件)可被移除以隔離前景物件(像是與使用者相關之人體目標)。在一具體實施例中，如上所述，該目標辨識、分析及追蹤系統可透過針對一所捕捉或受觀察之深度影像而產生一或更多立體像素之格點的方式，來降低取樣該所捕捉或受觀察之深度影像。該目標辨識、分析及追蹤系統可分析在降低取樣深度影像中之各立體像素以判定一立體像素是否與一背景物件(像是該深度影像之一或更多非人類目標)相關連。若一立體像素可與一背景物件相關連，則該立體像素可從該經降低取樣之深度影像中移除或丟棄，從而一前景物件(像是人體 目標)以及在該格點中與該前景物件相關連之一或更多之立體像素可被隔離。
根據一具體實施例，該目標辨識、分析及追蹤系統可分析各立體像素以判定一與其相關之物件。例如，如上所述，一在步驟305處可被觀察或捕捉以作為一深度影像之場景(像是上述關於圖6之深度影像400)可包括複數個物件。該等物件可包括一或更多人體目標及/或一或更多非人體目標，像是牆壁、桌子、沙發、檯燈等等。在一具體實施例中，該目標辨識、分析及追蹤系統可分析在格點中之各立體像素以判定該場景中之哪個物件係與該立體像素相關連，從而該目標辨識、分析及追蹤系統可在步驟315識別在一場景中與各物件相關連之立體像素。因此，根據一示範性具體實施例，若一人體目標或某人可站在場景中之一牆壁前面，該目標辨識、分析及追蹤系統可分析各立體像素以判定該立體像素是否與該人體目標或該牆壁相關連。
為了判定該場景中之哪個物件係可與一立體像素相關連，該目標辨識、分析及追蹤系統可比較數值，像是用於在立體像素可代表之區塊或部分中之像素的有效或非零深度值的平均深度值、在立體像素可代表之區塊或部分中之像素的最小/最大及/或中間深度值、在立體像素可代表之區塊或部分中具有一有效深度值之像素的X值及Y值的平均、或是鄰近或隔壁立體像素之任何其他適合資訊。例如，在一具體實施例中，可將與在該格點中被 分析之一特定立體像素相關連之平均深度值，與鄰近於(在該格點中被分析之)該特定立體像素的各立體像素之平均深度值相比較。若在該格點中被分析之該特定立體像素之平均深度值以及一鄰近立體像素之平均深度值之間的差可小於一臨界值，則該特定立體像素及該鄰近立體像素可被識別為屬於相同物件。若若在該格點中被分析之該特定立體像素之平均深度值以及一鄰近立體像素之平均深度值之間的差可大於一臨界值，則該特定立體像素及該鄰近立體像素可被識別為屬於不同物件。根據一示範性具體實施例，臨界值可為一預定值，其由，例如，該目標辨識、分析及追蹤系統，基於立體像素可為同一物件之一部分的可能性或機率所產生。因此，根據一示範性具體實施例，若一人體目標或某人可站在由深度影像所捕捉或觀察之場景中之一牆壁前面，則該目標辨識、分析及追蹤系統可分析該深度影像之各立體像素以判定該立體像素是否與該人體目標或該牆壁相關連。
在識別了在已接收深度影像之場景中之該等物件及與其相關之立體像素之後，該目標辨識、分析及追蹤系統則可計算與各經識別物件相關連之資訊。例如，該目標辨識、分析及追蹤系統可針對各經識別物件而計算一最大世界空間、一最小世界空間位置、及一平均世界空間位置等等。
在一具體實施例中，該目標辨識、分析及追蹤系統可於步驟315進一步判定一或更多在場景中所識別 之物件是否應該與在該場景中之其他物件合併。例如，一物件之部分或局部可從在步驟305所接收之該深度影像中之該物件之另一部分或局部中區別出來。根據一具體實施例，一物件之部分或局部可與該物件之另一部分或局部藉由一紅外線陰影來區別，其可由，例如，在該場景中之該物件、另一物件等等所投射。在另一示範性具體實施例中，一物件之部分或局部可與該物件之另一部分或局部藉由，例如，與該物件相關連之顏色、紋路、圖樣等等來區別。例如，一人體目標之頭部可與該人體目標之軀幹沿著Y方向之Y平面藉由，例如，臉部毛髮、各種服飾衣物等等，來區別。
為了判定一在該場景中經識別之物件是否可實際地成為在該場景中經識別之另一物件的部份或局部，該目標辨識、分析及追蹤系統可將關連於該物件之立體像素之X值及深度值，與關連於鄰近物件之立體像素之X值及深度值相比較。例如，該目標辨識、分析及追蹤系統可將關連於，例如，在該場景中經識別之第一物件之一或更多立體像素之X值及深度值，與關連於接近或鄰近於該第一物件之第二物件的一或更多立體像素之X值及深度值相比較。因此，根據一示範性具體實施例，該目標辨識、分析及追蹤系統可分析在場景中之立體像素，以判定第一及第二物件是否可沿著在X方向上所定義的X平面及/或在Z方向上所定義的Z平面而重疊，從而第一及第二物件可被合併並被識別成相同物件的部份或局部。
根據一具體實施例，若該第一物件的一或更多立體像素之X值及深度值可與該第二物件的一或更多立體像素之X值及深度值重疊，則該目標辨識、分析及追蹤系統可合併第一及第二物件，從而該目標辨識、分析及追蹤系統可將第一及第二物件識別成一共同物件之部分或局部。例如，若關連於該第一物件之第一立體像素可具有沿著X方向之X值5以及位於第一物件之右外側邊緣之深度值10mm，而關連於該第二物件之第二立體像素可具有沿著X方向之X值3以及位於第一物件之左外側邊緣之深度值10mm，則該目標辨識、分析及追蹤系統可合併第一及第二物件，從而該目標辨識、分析及追蹤系統可將第一及第二物件識別成一相同物件之部分或局部。
此外，為了判定在場景中之經識別物件是否可實際地成為在該場景中經識別之另一物件的部份或局部，該目標辨識、分析及追蹤系統可判定為物件所定義之邊界盒(bounding box)是否與在場景中另一物件之邊界盒重疊。例如，該目標辨識、分析及追蹤系統可針對各經識別物件來定義一邊界盒。該目標辨識、分析及追蹤系統則可基於，例如，一或更多上述含括於物件中之立體像素之X值、Y值及/或深度值，而判定一或更多物件之邊界盒是否重疊。
根據另一示範性具體實施例，該目標辨識、分析及追蹤系統可藉由例如將含括於物件中之立體像素之X值、Y值及深度值加以平均之方式，來將判定各物件之 中心或中央。然後，該目標辨識、分析及追蹤系統可判定在該場景中之物件中心或中央彼此之間的距離，以判定在場景中所識別之物件是否可實際地成為在場景中所識別之另一物件的部份或局部。基於物件之間的距離，該目標辨識、分析及追蹤系統可合併一或更多物件。例如，該目標辨識、分析及追蹤系統可判定在第一物件之中心或中央與第二物件之中心或中央之間的距離。若在第一物件之中心或中央與第二物件之中心或中央之間的距離可落在一預定範圍(其指示第一以及第二物件應被合併)之內，則該目標辨識、分析及追蹤系統可合併該等物件，從而該目標辨識、分析及追蹤系統可將該第一及第二物件識別成相同物件之部分或局部。
在一具體實施例中，該目標辨識、分析及追蹤系統可進一步判定在場景中所識別之一或更多物件是否應於步驟315被區別。例如，在步驟315於該場景中所識別之物件可實際地成為兩個分離的物件。為了判定在場景中之一物件是否應該被區別，該目標辨識、分析及追蹤系統可識別為了先前所接收訊框而判定之各物件的中央定位。根據一具體實施例，該目標辨識、分析及追蹤系統則可同時地填色(floodfill)在場景中之立體像素，該等立體像素係為了在步驟305所接收訊框之深度影像而產生，此填色程序開始於該中央之定位，該中央係依據該先前接收訊框之物件所判定。然後，該目標辨識、分析及追蹤系統可判定在先前所接收訊框中之哪個物件係與被填 色像素較為靠近以使用物件之先前定位。若該等經填色立體像素可更靠近在先前已接收訊框中所識別之另一物件，該目標辨識、分析及追蹤系統可在步驟315將一物件分割(split)。
在步驟315，該目標辨識、分析及追蹤系統則可判定經識別物件是否可為一背景物件(像是非人體目標)或前景物件(像是一人體目標)。根據一示範性具體實施例，該目標辨識、分析及追蹤系統可基於經識別物件是否處於動態或移動中，來判定該等經識別物件是為背景物件或前景物件。例如，該目標辨識、分析及追蹤系統可包括一參考平面，像是該場景之參考影像，其包括，例如，各立體像素之非動態深度資訊。根據示範性具體實施例，該參考平面可包括立體像素之最小世界空間位置，像是在格點中用於立體像素之通過一連串訊框所判定之最小X值、Y值及深度值；立體像素之最大世界空間位置，像是在格點中用於立體像素之通過一連串訊框所判定之最小X值、Y值及深度值；立體像素之平均世界位置，像是在格點中用於立體像素之通過一連串訊框所判定之平均X值、Y值及深度值；或是任何其他適合的參考平面。在另一具體實施例中，該參考平面可包括一移動中平均值，其相關於在場景中之各立體像素。該移動中平均值可包括，例如，通過一連串先前已接收訊框所判定之立體像素的平均深度值。
根據一具體實施例，該目標辨識、分析及追蹤系統可將深度資訊與含括在參考平面中之各對應立體像素的非動態深度資訊相比較，深度資訊包括像是與在例如步驟305所接收之深度影像之場景中之經識別物件相關連之最大深度值、平均深度值、最小深度值等等。基於該深度資訊與在參考平面中之對應立體像素的該非動態深度資訊間的比較結果，該目標辨識、分析及追蹤系統可將一立體像素識別為移動中。例如，在一具體實施例中，若一深度值，像是立體像素值的最小深度值、最大深度值及/或平均深度值，可小於在參考平面中該對應立體像素之移動中平均值，從而該立體像素可在該移動中平均值之前，而該立體像素可被識別為移動中。根據另一示範性具體實施例，該目標辨識、分析及追蹤系統可計算與立體像素及在參考平面中之對應立體像素相關連的數值之間的差值。假若，舉例而言，在一深度值(像是立體像素之平均深度值、最大深度值、及/或最小深度值)與在參考平面中之對應立體像素之非動態資訊內所含括之深度值之間的差值可大於一動態臨界值，該立體像素可被該目標辨識、分析及追蹤系統識別為移動中。
在另一示範性具體實施例中，該目標辨識、分析及追蹤系統可將深度資訊(像是立體像素及與其鄰近之立體像素之最大深度值、平均深度值、及/或最小深度值等等)與含括在參考平面內之各對應立體像素之非動態深度資訊相比較。例如，為了處理邊緣雜訊，該目標辨識、 分析及追蹤系統可將一特定立體像素及與其鄰近之立體像素之最小深度值，與在參考平面中之對應立體像素之最小深度值相比較，以判定一立體像素及/或與其相關連之物件是否正在移動中。假若，舉例而言，該特定立體像素及與其鄰近之立體像素之最小深度值，與在參考平面中之對應立體像素之非動態資訊內所含括之最小深度值，兩者之間的差值可大於一動態臨界值，則該特定立體像素可被該目標辨識、分析及追蹤系統識別為移動中。
該目標辨識、分析及追蹤系統則可針對各經識別物件基於移動立體像素之百分比來計算一前景分數。在一具體實施例中，該目標辨識、分析及追蹤系統可將含括在可被識別為移動中之島內之立體像素之數目，除以含括在島內之立體像素之總數，以計算前景分數。
該目標辨識、分析及追蹤系統則可隔離具有一前景分數之物件，其可能超過一分數臨界值。該分數臨界值可為由該目標辨識、分析及追蹤系統所定義之數值或百分比，其可表示一物件處於動態中。例如，該目標辨識、分析及追蹤系統可基於來自降低取樣深度影像之前景分數而移除或丟棄未在移動中之背景物件，從而該前景物件(像是可具有一會超過分數臨界值之前景分數之人體目標)可在該經降低取樣深度影像中被隔離。根據一具體實施例，為了移除或丟棄未在移動中之物件，該目標辨識、分析及追蹤系統可透過用零值或其他能指示該立體像素 無效之適當指示器或旗標取代X值、Y值及/或深度值的方式，來移除或丟棄與非移動中物件相關連之立體像素。
在步驟320，一或更多之肢體部分(像是一或更多軀體部分)可被判定為隔離的前景物件，像是人體目標。例如，在一具體實施例中，該目標辨識、分析及追蹤系統可將一或更多之試探法(heuristic)或規則應用到該隔離之人體目標以判定，例如，與該隔離人體目標相關連之中心或中央、頭部、肩膀、手臂、手掌、手肘、腿部、腳掌、膝蓋等等。根據一具體實施例，基於肢體部分之判斷，該目標辨識、分析及追蹤系統可產生及/或調整該隔離人體目標之模型。例如，若在步驟305所接收之深度影像可被含括在一由一捕捉裝置(像是上述關於圖1A-2之捕捉裝置20)所觀察或捕捉到之初始訊框內，則可基於該等肢體部分(像是在步驟320所判定之中心、頭部、肩膀、手臂、腿部等等)之定位透過例如將該骨骼模型之關節分派至該等肢體部分之判定定位的方式而產生一模型，此將會在之後更詳細地描述。替代地，若深度影像可被含括在由捕捉裝置所觀察或捕捉到之後續或非初始訊框，一已於先前所產生之模型可基於該等肢體部分(像是在步驟320所判定之中心、頭部、肩膀、手臂、腿部等等)之定位來調整，此將會在之後更詳細地描述。
根據一示範性具體實施例，在步驟315隔離該前景物件(像是人體目標)之後，該目標辨識、分析及追蹤系統可計算在人體目標中之該等立體像素之平均值 以，例如，在步驟320估測該人體目標之中心或中央。例如，該目標辨識、分析及追蹤系統可計算含括在人體目標內之立體像素之平均位置，其可提供該人體目標之中心或中央的估測值。在一具體實施例中，該目標辨識、分析及追蹤系統可基於與立體像素相關連之X值、Y值及深度值，來計算與人體目標相關連之立體像素之平均位置。例如，如上所述，該目標辨識、分析及追蹤系統可透過平均與立體像素相關連之像素之X值的方式來計算立體像素之X值、可透過平均與立體像素相關連之像素之Y值的方式來計算立體像素之Y值、以及可透過平均與立體像素相關連之像素之深度值的方式來計算立體像素之深度值。在步驟320，該目標辨識、分析及追蹤系統可平均含括在該人體目標內之立體像素之X值、Y值及深度值，以計算可提供人體目標之中央或中心之估測值的平均位置。
圖8繪示了一人體目標所估測之中心或中央的示範性具體實施例402b。根據一示範性具體實施例，一中心或中央的位置或定位802可基於如上所述般與該隔離人體目標402b相關連之立體像素的平均位置或定位。
回到圖5，該目標辨識、分析及追蹤系統則可在步驟320定義一用於人體目標之邊界盒，以判定，例如，該人體目標之核心容量，其可包括該人體目標之頭部及/或軀幹。例如，在判定該人體目標之中心或中央之估測值之後，該目標辨識、分析及追蹤系統可水平地沿著X 方向搜尋，以判定該人體目標之寬度，其可用於定義與核心容量相關連之該邊界盒。根據一具體實施例，為了能水平地沿著X方向搜尋以測量該人體目標之寬度，該目標辨識、分析及追蹤系統可從中心或中央處往左邊及右邊方向沿著X軸搜尋，直到該目標辨識、分析及追蹤系統觸及到一無效立體像素(像是不可含括與其相關連之深度值的立體像素或是可與在場景中所識別之另一物件相關連之立體像素)。例如，如上所述，與背景相關連之立體像素可在步驟315被移除以隔離該人體目標以及與其相關連之立體像素。如上所述，根據一示範性具體實施例，為了在步驟315移除立體像素，該目標辨識、分析及追蹤系統可用零值或其他能指示該立體像素為無效之適當指示器或旗標來取代與背景物件之立體像素相關連之X值、Y值及/或深度值。在步驟320，該目標辨識、分析及追蹤系統可從人體目標之中心處往左邊方向搜尋，直到在人體目標之左側觸及到一第一無效立體像素，並可從人體目標之中心處往右邊方向搜尋，直到在人體目標之左側觸及到一第二無效立體像素。該目標辨識、分析及追蹤系統則可基於，例如，在鄰近於往左邊方向所觸及到之第一無效立體像素之第一有效立體像素與在鄰近於往右邊方向所觸及到之第二無效立體像素之第二有效立體像素兩者的X值之間的差值，來計算或測量長度。
該目標辨識、分析及追蹤系統則可垂直地沿著Y方向搜尋以判定該人體目標之高度，例如，從頭部到臀 部，其可用於定義關連於核心容量之邊界盒。根據一具體實施例，為了垂直地沿著Y方向搜尋以測量人體目標之寬度，該目標辨識、分析及追蹤系統可沿著Y軸從中心或中央往上方向以及往下方向搜尋，直到該目標辨識、分析及追蹤系統觸及到一無效立體像素或是未包括與其相關之X值、Y值或深度值的立體像素。例如，在步驟320，該目標辨識、分析及追蹤系統可從人體目標之中央往上方向搜尋，直到觸及到在人體目標之上端部分的第三無效立體像素，且可從人體目標之中央往下方向搜尋，直到觸及到在人體目標之下端部分的第四無效立體像素。該目標辨識、分析及追蹤系統則可基於，例如，鄰近於往上方向搜尋所觸及到之第三無效立體像素的第三有效立體像素與鄰近於往下方向搜尋所觸及到之第四無效立體像素的第四有效立體像素兩者的Y值之間的差，來計算或測量該高度。
根據一示範性具體實施例，該目標辨識、分析及追蹤系統可進一步以各種角度(像是30度、45度、60度等等)對角地沿著在X與Y軸之X-Y方向搜尋，以判定可用於定義與核心容量相關連之該邊界盒的其他距離及數值。
額外地，該目標辨識、分析及追蹤系統可基於距離或數值之比率而定義與核心容量相關連之邊界盒。例如，在一具體實施例中，該目標辨識、分析及追蹤系統可基於上述所判定之高度並乘以一可變化之定值像是 0.2、0.25、0.3或其他任何適當數值，來定義該邊界盒之寬度。
該目標辨識、分析及追蹤系統則可定義一邊界盒，其可基於以下各者來代表核心容量：由沿著X軸之水平搜尋所判定之該等第一及第二有效立體像素、由沿著Y軸之垂直搜尋所判定之該等第三及第四有效立體像素，或由，例如對角搜尋所判定之其他距離及數值。例如，在一具體實施例中，該目標辨識、分析及追蹤系統可在第一有效立體像素之X值處沿著Y軸產生該邊界盒之第一垂直線，以及在第二有效立體像素之X值處沿著Y軸產生該邊界盒之第二垂直線。額外地，該目標辨識、分析及追蹤系統可在第三有效立體像素之Y值處沿著X軸產生該邊界盒之第一水平線，以及在第四有效立體像素之Y值處沿著X軸產生該邊界盒之第二水平線。根據一示範性具體實施例，第一及第二水平線可與第一及第二垂直線交叉以形成一矩形或正方形之形狀，其可代表與人體目標之核心容量相關連的該邊界盒。
圖9繪示了一可被定義以判定一核心容量之邊界盒804之示範性具體實施例。如圖9所示，邊界盒804可基於如上述般所判定之第一垂直線VL1及第二垂直線VL2與第一水平線VH1及第二水平線VH2間之交叉而形成一矩形形狀。
回到圖5，該目標辨識、分析及追蹤系統則可在步驟320判定該人體目標之頭部。例如，在一具體實施 例中，在判定該核心容量並定義與其相關連之邊界盒之後，該目標辨識、分析及追蹤系統可判定人體目標之頭部的位置或定位。
為了判定頭部的位置或定位，該目標辨識、分析及追蹤系統可針對適合於頭部之位置或定位來搜尋各個候選者，且可基於分數而從各個候選者中選擇出頭部之位置。例如，根據一具體實施例，該目標辨識、分析及追蹤系統可搜尋該人體目標之一絕對最高立體像素及/或鄰近或靠近該絕對最高立體像素之立體像素、基於用於判定一先前訊框之頭部之位置的一或更多遞增立體像素、按一往上向量可從中心或中央垂直地延伸之最高立體像素及/或鄰近或靠近按一先前往上向量用於判定一先前訊框之最高立體像素的立體像素、按一先前往上向量在一中心及一最高立體像素之間用於判定一先前訊框之最高立體像素或可為頭部之候選者的任何其他適合之立體像素。
然後，該目標辨識、分析及追蹤系統可對該等候選者評分。根據一具體實施例，該等候選者可基於3D圖樣配對來加以評分。例如，該目標辨識、分析及追蹤系統可建立一頭部圓柱體及肩膀圓柱體。該目標辨識、分析及追蹤系統則可基於與被含括在頭部圓柱體內之候選者相關連之立體像素之數目來計算該等候選者之分數，此將在以下做更詳細地描述.
圖10繪示了可被建立以對與頭部相關連之候選者加以評分之一頭部圓柱體506及一肩膀808之示範 性具體實施例。根據一示範性具體實施例，該目標辨識、分析及追蹤系統可基於被含括在頭部圓柱體806及肩膀圓柱體808內之頭部候選者相關連之立體像素之數目，來計算該等候選者之分數。例如，該目標辨識、分析及追蹤系統可基於與頭部候選者相關連之立體像素之定位而判定在頭部圓柱體806及/或肩膀圓柱體808內部之頭部候選者之總數，並基於與頭部候選者相關連之立體像素而判定在頭部圓柱體806(例如在一區域807內)及/或肩膀圓柱體808外部之頭部候選者之總數。該目標辨識、分析及追蹤系統可基於肩膀圓柱體808之左半部LH的頭部候選者數目與肩膀圓柱體808之右半部RH的頭部候選者數目之間的差之絕對值的函數而進一步計算一對稱度量。在一示範性具體實施例中，該目標辨識、分析及追蹤系統則可藉由把在頭部圓柱體806及/或肩膀圓柱體808內部之候選者總數減掉在頭部圓柱體806及/或肩膀圓柱體808外部之候選者總數，並且進一步把在頭部圓柱體806及/或肩膀圓柱體808內部及外部之候選者總數之間的差減去該對稱度量之方式，來計算該等候選者之分數。根據一具體實施例，該目標辨識、分析及追蹤系統可在進行減法之前，將在頭部圓柱體806及/或肩膀圓柱體808內部及外部之候選者總數乘以一由該目標辨識、分析及追蹤系統所判定之常數。
回到圖5，根據一具體實施例，若與該等候選者之一相關連的分數超過了一頭部臨界分數，則該目標辨 識、分析及追蹤系統可在步驟320基於與候選者相關連之立體像素來判定該頭部之位置或定位。例如，在一具體實施例中，該目標辨識、分析及追蹤系統可基於以下各者來選擇該頭部之位置或定位：最高點、按一往上向量可從例如中心或中央垂直地延伸之最高立體像素及/或鄰近或靠近按一先前往上向量用於判定一先前訊框之最高立體像素的立體像素、按一先前往上向量在一中心與一用於判斷一先前訊框之最高立體像素之間的最高立體像素、在一區域內(像是一盒、一立方體等等)繞著在先前訊框中之頭部位置或定位的全部立體像素之平均位置等等。根據其他示範性具體實施例，該目標辨識、分析及追蹤系統可計算該等數值(像是用於與候選者相關連之立體像素的X值、Y值及深度值)之平均值，其可超過該頭部臨界分數以判斷該頭部之位置或定位，或是該目標辨識、分析及追蹤系統可基於含括在可超過頭部臨界分數之候選者之立體像素之一適合線或一最佳適合線(line of best fit)，來選擇該頭部之位置或定位。
額外地，在一具體實施例中，若多於一的候選者超過了頭部臨界分數，則該目標辨識、分析及追蹤系統可選擇能具有最高分數之候選者，且然後可基於與能具有最高分數之候選者相關連之立體像素來判定該頭部之位置或定位。如上所述，該目標辨識、分析及追蹤系統可基於，例如，該等數值(像是用於與能具有最高分數之候選 者相關連之立體像素的X值、Y值及深度值)，來選擇該頭部之位置或定位。
根據一具體實施例，若沒有任何一個與候選者相關連的分數能超過頭部臨界分數，則該目標辨識、分析及追蹤系統可使用含括在與一先前訊框之深度影像相關連之人體目標中用於判定立體像素之該頭部之先前位置或定位，其中該頭部分數可超過該頭部臨界分數，或是若在步驟305所接收之深度影像可為由該捕捉裝置所捕捉或觀察到的初始訊框，則該目標辨識、分析及追蹤系統可使用人體目標之預定姿勢中的頭部之預定位置或定位，像是T姿勢，或是自然站立之姿勢等等。
根據另一具體實施例，該目標辨識、分析及追蹤系統可包括與一頭部形狀相關連之一或更多二維(2D)圖樣。該目標辨識、分析及追蹤系統則可基於與候選者相關連之立體像素可為一或更多2D圖樣之頭部形狀的可能性，來對與頭部相關連之候選者加以評分。例如，該目標辨識、分析及追蹤系統可取樣鄰近或靠近立體像素之深度值，該等立體像素可指示定義頭部形狀。若可指示定義頭部形狀之立體像素的經取樣深度值可從一或更多所期待或預先定義之頭部形狀之立體像素之深度值中脫離，則該目標辨識、分析及追蹤系統可減少一預設分數或一初始分數以指示該立體像素不可為頭部。在一具體實施例中，該目標辨識、分析及追蹤系統則可選擇具有最高值的分數並 可基於與具有最高分數之候選者相關連的立體像素之位置或定位來分派該頭部之位置或定位。
根據另一具體實施例，預設分數或初始分數可為與如上述使用頭部及/或肩部圓柱體所計算之頭部相關連的候選者的分數。若候選者可非為與一或更多2d圖樣相關連之頭部形狀，則該目標辨識、分析及追蹤系統可減少此分數。如上所述，該目標辨識、分析及追蹤系統則可選擇超過頭部臨界分數之候選者之分數，且可基於候選者之位置或定位來分派頭部之位置或定位。
該目標辨識、分析及追蹤系統可在步驟320進一步判定人體目標之肩膀與臀部。例如，在一具體實施例中，在判定人體目標之頭部的位置或定位之後，該目標辨識、分析及追蹤系統可判定該人體目標之肩膀及臀部的位置或定位。該目標辨識、分析及追蹤系統亦可判定該肩膀及臀部之方位，像是肩膀或臀部之旋轉或角度。
根據一示範性具體實施例，為了判定肩膀及臀部的位置或定位，該目標辨識、分析及追蹤系統可基於頭部之位置或定位以及人體目標之中心或中央，來定義頭部到中心之向量。例如，該頭部到中心向量可為於該頭部點之位置或定位之X值、Y值及深度值(Z值)，以及該中心或中央點之位置或定位之X值、Y值及深度值(Z值)之間所定義的向量或線。
圖11繪示了基於一人體目標之頭部及中心或中央之頭部到中心向量之示範性具體實施例。如上所述， 可判定位置或定位，像是頭部之位置或定位810。如圖11所示，該目標辨識、分析及追蹤系統則可定義在頭部之位置或定位810與中心或中央之位置或定位802之間的一頭部到中心向量812。
回到圖5，該目標辨識、分析及追蹤系統則可在步驟320基於頭部到中心向量來定義肩膀容量盒以及臀部容量盒。例如，根據一具體實施例，該目標辨識、分析及追蹤系統可基於位移(displacement)，像是來自軀體標誌(像是與頭部或中心(中央)相關連的位置或定位)之長度，來定義或判定肩膀或臀部之大約位置或定位。該目標辨識、分析及追蹤系統則可定義環繞著來自軀體標誌(像是與頭部或中心(中央)相關連的位置或定位)之位移值的該肩膀容量盒以及臀部容量盒。
圖12繪示了基於頭部到中心向量812所判定之肩膀容量盒SVB及臀部容量盒HVB的示範性具體實施例。根據一示範性具體實施例，該目標辨識、分析及追蹤系統可基於位移，像是來自軀體標誌(像是與頭部相關連的位置或定位810，或是與中心或中央相關連的位置或定位802)之長度，定義或判定肩膀及臀部之大約位置或定位。該目標辨識、分析及追蹤系統則可定義環繞著來自軀體標誌之位移值的該肩膀容量盒SVD及臀部容量盒HVB。
回到圖5，該目標辨識、分析及追蹤系統可在步驟320進一步基於位移值，例如來自軀體標誌(像是頭 部)之長度，沿著頭部到中心向量來計算肩膀及臀部的中心。例如，該目標辨識、分析及追蹤系統可向下或向上沿著頭部到中心向量移動了位移值之長度，以計算肩膀及臀部之中心。
根據一具體實施例，該目標辨識、分析及追蹤系統亦可判定一方位，像是肩膀及臀部之角度。在一具體實施例中，該目標辨識、分析及追蹤系統可計算在，例如，肩膀容量盒及臀部容量盒內之深度值的適合線，以判定該方位，像是肩膀及臀部之角度。例如，該目標辨識、分析及追蹤系統可基於與肩膀容量盒及臀部容量盒相關連之立體像素的X值、Y值及深度值來計算最佳適合線，以計算向量之肩膀斜率，其可定義穿過肩膀中心之肩膀骨頭，並計算向量之臀部斜率，其可定義穿過臀部中心在臀部關節之間的臀部骨頭。肩膀斜率及臀部斜率可定義個別之角度，像是肩膀及臀部之角度。
根據另一具體實施例，該目標辨識、分析及追蹤系統可將人體目標之深度值加以鏡射，從而可在步驟320基於頭部到中心向量而繞著人體目標之中心反射立體像素之深度值。因此，該目標辨識、分析及追蹤系統可透過繞著一樞軸向量(像是頭部到中心向量、一從肩膀及/或臀部邊界盒所計算出之樞軸點等等)反射人體目標之立體像素之深度值的方式，針對該軀體之背部加以補償。
該目標辨識、分析及追蹤系統則可計算在，例如，肩膀容量盒及臀部容量盒內含括了經反射深度值之深 度值之適合線，以判定該方位，像是肩膀及臀部之角度。例如，該目標辨識、分析及追蹤系統可基於與肩膀容量盒及臀部容量盒相關連之含括了經反射深度值之立體像素的X值、Y值及深度值來計算最佳適合線，以計算向量之肩膀斜率，其可定義穿過肩膀中心之肩膀骨頭，並計算向量之臀部斜率，其可定義穿過臀部中心在臀部關節之間的臀部骨頭。肩膀斜率及臀部斜率可定義個別之角度，像是肩膀及臀部之角度。
圖13繪示了肩膀及臀部之示範性具體實施例，其可基於肩膀容量盒SVB及臀部容量盒HVB來計算。如圖13所示，可如上所述般基於個別之肩膀容量盒SVB及臀部容量盒HVB來判定肩膀之位置或定位816a-b以及臀部之位置或定位818a-b。
回到圖5，在步驟320，該目標辨識、分析及追蹤系統則可判定該人體目標之軀幹。在一具體實施例中，在判定肩膀及臀部之後，該目標辨識、分析及追蹤系統可產生或建立一軀幹容量，其可包括與其相關並環繞著頭部、肩膀、中心及臀部之立體像素。該軀幹容量可基於頭部、肩膀、中心及/或臀部之位置或定位，而為圓柱體、丸狀(像是具有圓形末端之圓柱體)等等。
根據一具體實施例，該目標辨識、分析及追蹤系統可建立一圓柱體，其可基於頭部、肩膀、中心及臀部等等而代表具有維度之核心容量。例如，該目標辨識、分析及追蹤系統可建立一圓柱體，其基於肩膀之寬度而具有 一寬度或一維度，並基於頭部及臀部之間的距離而具有一高度。該目標辨識、分析及追蹤系統則可對該圓柱體定向或轉動角度，其中該圓柱體可代表沿著頭部到身體向量之軀幹容量，從而該軀幹容量可反射該方位，像是人體目標之軀幹的角度。
圖14繪示了圓柱體820的一示範性具體實施例，其可代表該核心容量。如圖14所示，圓柱體820可基於肩膀之寬度而具有一寬度或一維度，並基於頭部及臀部之間的距離而具有一高度。該圓柱體820則亦可被沿著頭部到中心向量812定向或轉動角度。
回到圖5，在步驟320，該目標辨識、分析及追蹤系統則可估測或判定該人體目標之肢體。根據一具體實施例，在產生或建立該軀幹容量後，該目標辨識、分析及追蹤系統可粗略地將在在軀幹容量外部的立體像素標籤為肢體。例如，該目標辨識、分析及追蹤系統可識別在軀幹容量外部之各個立體像素，從而該目標辨識、分析及追蹤系統可將該等立體像素標籤為肢體的一部分。
該目標辨識、分析及追蹤系統則可判定實際的肢體，像是右及左手臂、右及左手掌、右及左腿、右及左腳掌等等與軀幹容量外部之立體像素相關。在一具體實施例中，為了判定實際的肢體，該目標辨識、分析及追蹤系統可將一識別肢體之先前位置或定位(像是右手臂、左手臂、右腿、左腿等等)與該軀幹容量外部之立體像素的位置或定位相比較。根據示範性具體實施例，先前所識別肢 體之先前位置或定位可為在一先前訊框中所接收之深度影像中之肢體的位置或定位、基於先前移動之一經投射軀體部分位置或定位、或一人體目標之表現之任何適合之先前位置或定位，像是人體目標之完整關節相連之骨骼模型。以該比較結果為基礎，該目標辨識、分析及追蹤系統則可將在該軀幹容量外部之立體像素與最接近之先前所識別肢體相關連。例如，該目標辨識、分析及追蹤系統可將含括了在該軀幹容量外部之立體像素各者之X值、Y值及深度值的位置或定位，與含括了先前所識別肢體(像是先前所識別之右手臂、左手臂、右腿、左腿等等)之X值、Y值及深度值的先前位置或定位相比較。該目標辨識、分析及追蹤系統則可基於該比較結果而將在該軀幹容量外部之立體像素各者與可具有最靠近位置或定位之先前所識別肢體相比較。
在一具體實施例中，為了判定實際肢體，該目標辨識、分析及追蹤系統可將在一人體目標之預設姿勢表現中之一所識別肢體(像是右手臂、左手臂、右腿、左腿等等)之預設位置或定位，與在該軀幹容量外部之立體像素之位置或定位相比較。例如，在步驟305所接收之深度影像可被含括在一由捕捉裝置所捕捉或觀察之初始訊框內。若在步驟305所接收之深度影像可被含括在一初始訊框內，則該目標辨識、分析及追蹤系統可將一肢體之預設位置或定位(像是右手臂、左手臂、右腿、左腿之預設位置或定位等等)，與在該軀幹容量外部之立體像素之位置 或定位相比較。根據一示範性具體實施例，所識別肢體之預設位置或定位可以人體目標來表現一預設姿勢(像是T姿勢、達文西(Di Vinci)姿勢、自然姿勢等等)，像是擺出預設姿勢之人體目標之完整關節相連之骨頭或容量模型。基於該比較結果，該目標辨識、分析及追蹤系統則可將在該軀幹容量外部之立體像素與相關於該預設姿勢之最接近肢體相關連。例如，該目標辨識、分析及追蹤系統可將含括了在該軀幹容量外部之立體像素各者之X值、Y值及深度值的位置或定位，與含括了預設肢體(像是預設之右手臂、左手臂、右腿、左腿等等)之X值、Y值及深度值的預設位置或定位相比較。該目標辨識、分析及追蹤系統則可基於該比較結果而將在該軀幹容量外部之立體像素各者與可具有最靠近位置或定位之預設肢體相比較。
該目標辨識、分析及追蹤系統亦可基於所估測肢體而重新標籤在軀幹容量內部之立體像素。例如，在一具體實施例中，一手臂之至少一部分(像是左前臂)可被放置在人體目標之軀幹的前方。基於該所識別手臂之先前位置或定位，該目標辨識、分析及追蹤系統可將該位置判定或估測成與上述手臂相關連。例如，先前所識別肢體之先前位置或定位可指示一肢體之一或更多立體像素(像是人體目標之手臂)可在該軀幹容量之內。該目標辨識、分析及追蹤系統則可將含括了先前所識別肢體(像是先前所識別之右手臂、左手臂、右腿、左腿等等)之X值、Y值 及深度值的先前位置或定位，與含括在該軀幹容量中之立體像素的位置或定位相比較。該目標辨識、分析及追蹤系統則可基於該比較結果將在該軀幹容量內部之立體像素各者加以標籤並將之與可具有最靠近位置或定位之先前所識別肢體相關連。
根據一具體實施例，在標籤了與肢體相關連之立體像素後，該目標辨識、分析及追蹤系統可在步驟320判定，例如，該所標籤肢體之局部的位置或定位。例如，在標籤了與右手臂、左手臂、右腿、及/或左腿相關連之立體像素之後，該目標辨識、分析及追蹤系統可判定右及左手臂之手掌及/或手肘、膝蓋及/或腳掌、手肘等等之位置或定位。
該目標辨識、分析及追蹤系統可基於肢體各者之肢體平均來判定該等局部(像是手掌、手肘、腳掌、膝蓋等等)之位置。例如，該目標辨識、分析及追蹤系統可藉由增加與左手臂相關連之各個立體像素之X值、與左手臂相關連之各個立體像素之Y值、及與左手臂相關連之各個立體像素之深度值，並將X值、Y值及深度值各者相加之總和除以與左手臂相關連之立體像素的總數，來計算左手臂平均定位。根據一具體實施例，該目標辨識、分析及追蹤系統則可定義在左肩膀及左手臂平均位置之間的向量或線，從而在左肩膀及左手臂平均位置之間的向量或線可定義左手之第一搜尋方向。該目標辨識、分析及追蹤系統則可從肩膀沿著由向量或線所定義之第一搜尋方向來 搜尋最後有效立體像素或是具有有效之X值、Y值及/或深度值的最後立體像素，且可與左手之最後有效立體像素之位置或定位相關連。
根據另一具體實施例，該目標辨識、分析及追蹤系統可計算一錨定點(anchor point)。該目標辨識、分析及追蹤系統則可定義在錨定點及左手臂平均定位之間的向量或線，從而在錨定點及左手臂平均定位之間的向量或線可定義左手之第二搜尋方向。該目標辨識、分析及追蹤系統則可從該錨定點沿著由向量或線所定義之第二搜尋方向來搜尋最後有效立體像素或是具有有效之X值、Y值及/或深度值的最後立體像素，且可與左手之最後有效立體像素之位置或定位相關連。
在一示範性具體實施例中，該目標辨識、分析及追蹤系統可基於一或更多從其他所判斷肢體(像是頭部、臀部、肩膀等等)之偏移來計算該錨定點之位置或定位。例如，該目標辨識、分析及追蹤系統可藉由在個別X方向及Y方向上將肩膀之位置或定位延伸一半的X值及深度值(其與肩膀之位置或定位相關連)，來計算該錨定點之X值及深度值。該目標辨識、分析及追蹤系統則可繞著延伸之位置或定位來鏡射錨定點之X值及深度值之位置或定位。
該目標辨識、分析及追蹤系統可基於從頭部及/或臀部到左手臂平均位置之位移，來計算錨定點之Y值。例如，該目標辨識、分析及追蹤系統可計算在頭部之 Y值及左手臂平均之Y值之間的位移或差值。該目標辨識、分析及追蹤系統則可將Y值之該位移或差值加到，例如，臀部之中心，以計算錨定點之Y值。
圖15A-15C繪示了一手掌之示範性具體實施例，其係基於錨定點828a-828c所判定。如圖15A-15C所示，根據另一具體實施例，該目標辨識、分析及追蹤系統可計算錨定點828a-828c。該目標辨識、分析及追蹤系統則可定義在錨定點828a-828c與左手臂平均位置826a-826c之間的向量或線，從而在錨定點與左手臂平均位置之間的向量或線可定義左手之第二搜尋方向。該目標辨識、分析及追蹤系統則可從該錨定點828a-828c沿著由向量或線所定義之第二搜尋方向來搜尋最後有效立體像素或是具有有效之X值、Y值及/或深度值的最後立體像素，且可與左手之最後有效立體像素之位置或定位相關連。
如上所述，在一示範性具體實施例中，該目標辨識、分析及追蹤系統可基於一或更多從其他所判斷肢體(像是頭部、臀部、肩膀等等)之偏移來計算錨定點828a-828c之位置或定位。例如，該目標辨識、分析及追蹤系統可藉由在個別X方向及Y方向上將肩膀之位置或定位延伸一半的X值及深度值(其與肩膀之位置或定位相關連)，來計算錨定點828a-828c之X值及深度值。該目標辨識、分析及追蹤系統則可繞著延伸之位置或定位來鏡射錨定點828a-828c之X值及深度值之位置或定位。
該目標辨識、分析及追蹤系統可基於從頭部及/或臀部到左手臂平均位置之位移，來計算錨定點828a-828c之Y值。例如，該目標辨識、分析及追蹤系統可計算在頭部之Y值及左手臂平均826a-826c之Y值之間的位移或差值。該目標辨識、分析及追蹤系統則可將Y值之該位移或差值加到，例如，臀部之中心，以計算錨定點828a-828c之Y值。
回到圖5，根據一示範性具體實施例，該目標辨識、分析及追蹤系統可計算一右手臂平均定位，其可被用來定義一搜尋方向，像是如上所述之第一及第二搜尋方向，該搜尋方向可在步驟320用來判定右手之位置或定位。該目標辨識、分析及追蹤系統可進一步計算左腿平均位置以及右腿平均位置，其可被用來定義如上所述之搜尋方向，該搜尋方向可用來判定左腳掌及右腳掌。
圖16繪示了可基於手臂及腿部平均位置及/或錨定點來計算手掌及腳掌之示範性具體實施例。如圖16所示，手掌之位置或定位822a-b以及腳掌之位置或定位824a-b可基於第一及第二搜尋方向來判定，其中第一及第二搜尋方向係由如上所述之個別手臂及腿部平均位置及/或錨定點所判定。
回到圖6，在步驟320，該目標辨識、分析及追蹤系統亦可基於右及左手臂平均定位與右及左腿部平均定位、肩膀、臀部、頭部等等，來判定手肘及膝蓋之位置或定位。在一具體實施例中，該目標辨識、分析及追蹤 系統可透過改良(refining)左手臂平均定位之X值、Y值及/或深度值，來判定左手肘之位置或定位。例如，該目標辨識、分析及追蹤系統可判定能定義與左手臂相關連之最外邊立體像素。該目標辨識、分析及追蹤系統則可將左手臂平均定位之X值、Y值及深度值調整到中間或從邊緣算起之等距離。
該目標辨識、分析及追蹤系統可進一步在步驟320判定經隔離人體目標之額外感興趣之點。例如，該目標辨識、分析及追蹤系統可判定離軀體中心最遠之立體像素、最靠近攝影機之立體像素、基於像是肩膀角度之方位的人體目標之最前面立體像素。
該目標辨識、分析及追蹤系統則可在步驟320判定一或更多用於判定該等肢體(像是頭部、肩膀、臀部、腳掌等)之位置或定位是否並非為人體目標之實際肢體的精確位置或定位。例如，在一具體實施例中，右手掌的位置或定位可為不精確，從而該右手掌之位置或定位可固定或是靠近於肩膀或臀部之位置或定位。
根據一示範性具體實施例，該目標辨識、分析及追蹤系統可包括或儲存用於各肢體之容量標識(marker)的清單，其可指示肢體之不精確位置或定位。例如，該清單可包括繞著肩膀及臀部並與手掌相關連之容量標識。該目標辨識、分析及追蹤系統可基於在清單中與手掌相關連之容量標識來判定手掌之位置或定位是否精確。例如，若一手掌之位置或定位可在清單中與手掌相關 連之容量標識其中之一內，則該目標辨識、分析及追蹤系統可判定手掌之位置或定位為不精確。根據一具體實施例，該目標辨識、分析及追蹤系統則可將手掌之位置或定位從在先前訊框中手掌之先前精確定位調整成手掌之目前位置或定位。
在步驟325，該目標辨識、分析及追蹤系統可追蹤一模型，其可基於在步驟320所判定之肢體所產生。例如，該目標辨識、分析及追蹤系統可產生及/或包括一模型，像是一骨骼模型，其可具有在其間所定義之一或更多關節以及骨頭。
圖17繪示了模型900之示範性具體實施例，像是所產生之骨骼模型。根據一示範性具體實施例，模型900可包括一或更多資料結構，其可用，例如，人體之三維模型來呈現。各軀體部分可被特徵化為具有X、Y及Z值的數學向量，其能定義模型900之關節及骨頭。
如圖17所示，模型900可包括一或更多關節j1-j16。根據一示範性具體實施例，各個關節j1-j16可讓在其間所定義之軀體部分能相對於一或更多之其他軀體部分來移動。例如，代表一人體目標之模型可包括複數個堅固及/或可變形的軀體部分，其可由一或更多結構組件像是「骨頭」連同位於鄰近骨頭交界處之關節j1-j16鎖定一而成。關節j1-j16可讓與骨頭及關節j1-j16相關連之各種軀體部分能與彼此互相獨立地移動。例如，在關節j10及j12之間定義的骨頭(如圖17所示)對應到一前 臂，其可獨立於，例如，對應到一小腿之關節j14及j16之間所定義的骨頭，來進行移動。
回到圖5，在步驟325，該目標辨識、分析及追蹤系統可基於在步驟320用於判定肢體之位置或定位，來調整該所產生模型。例如，該目標辨識、分析及追蹤系統可調整與頭部相關連之關節j1以對應位置或定位，像是在步驟320用於判定頭部的位置或定位。因此，在一示範性具體實施例中，關節j1可被分派了與如上述之用於判定頭部之位置或定位810相關連的X值Y值及深度值。若一或更多的肢體可基於，例如，上述容量標識之清單，而為不精確，則該目標辨識、分析及追蹤系統可基於先前訊框將該等不精確之關節維持在他們的先前位置或定位。
額外地，若該目標辨識、分析及追蹤系統不具有該等肢體之位置或定位，則該目標辨識、分析及追蹤系統可基於一預設姿勢(像是T姿勢、達文西(Di Vinci)姿勢等等)使用一預設位置或定位。例如，該目標辨識、分析及追蹤系統可磁化或調整該模型之一或更多之關節j1-j16，以與在預設姿勢中之最靠近立體像素的X值、Y值及/或深度值相關連。
在步驟325，該目標辨識、分析及追蹤系統亦可基於在步驟330所判定之一或更多軀體測量，來調整在模型關節之間所定義之骨頭的一或多者的測量，其將在以下做更詳細地描述。例如，該目標辨識、分析及追蹤系統 可在步驟330判定人體目標之左前臂的長度。在步驟325，該目標辨識、分析及追蹤系統則可調整與左前臂相關連之骨頭長度，以模仿在步驟330所判定人體目標之左前臂的長度。例如，該目標辨識、分析及追蹤系統可調整關節j10及j12之X值、Y值及深度值(或Z值)的一或更多者，從而定義於其間的骨頭可等同於在步驟330所判定人體目標之左前臂的長度。
在步驟325，該目標辨識、分析及追蹤系統可進一步檢查與所調整模型相關連之關節的有效位置或定位。例如，在一具體實施例中，該目標辨識、分析及追蹤系統可檢查以判定一關節(像是關節j10)是否突出，從而該模型可被固定成一雞舞(chicken dance)姿勢。因此，該目標辨識、分析及追蹤系統可針對可能會讓該模型按一不適當方式崩毀的已知位置或定位(像是與手肘相關連之關節)，來檢查該模型。
根據一具體實施例，該目標辨識、分析及追蹤系統可進一步基於在步驟305所接收到之未降低取樣深度值的2D像素區域內之X值、Y值及深度值，來推敲一關節的位置或定位。例如，在一具體實施例中，該目標辨識、分析及追蹤系統可使用來自未降低取樣深度值的資料，以推敲例如可能會讓模型崩毀之該模型之關節的位置或定位。
額外地，該目標辨識、分析及追蹤系統可使用來自未降低取樣深度值的資料，以推敲與頻繁使用之姿勢 相關連的模型關節之位置或定位。例如，根據一具體實施例，該目標辨識、分析及追蹤系統可將關連於手掌之關節設為優先。該目標辨識、分析及追蹤系統可本地化繞著在步驟305所接收之未降低取樣深度值中之手掌的資料，從而該目標辨識、分析及追蹤系統可使用在步驟305所接收之未降低取樣深度值中之較高解析度資料，來修改在步驟320所判定之手掌的位置或定位。
如上所述，在步驟330，該目標辨識、分析及追蹤系統可掃描與經隔離人體目標相關連之立體像素，以判定與其相關連之肢體的維度。例如，該經隔離人體目標可被掃描而判定，例如，與肢體(手臂、腿部、頭部、肩膀、臀部、軀幹等等)相關連之測量(像是長度、寬度等等)。
為了判定維度，在步驟330，該目標辨識、分析及追蹤系統可針對各肢體而產生所建議關節維度之估測值。該目標辨識、分析及追蹤系統可使用估測值針對所建議關節維度各者來計算一中間值及一標準差。該目標辨識、分析及追蹤系統可將所建議之關節維度加入到一已定義之百分比差，並可拒絕了去極值(outliers)或在所定義百分比差外部的所建議關節維度。該目標辨識、分析及追蹤系統則可基於具有一在其標準差及所建議關節維度數目之間的最高比率之估測值，來判定肢體之維度。
與該等由掃描所慢定之肢體相關連之維度亦可在步驟330被更新。根據一具體實施例，該目標辨識、 分析及追蹤系統可包括一或更多試探法或規則以判定由該掃描所判定之維度是否正確。例如，該目標辨識、分析及追蹤系統可包括能判定在對稱關節之間的歐幾里德幾何學(Euclidean)距離是否可大體上為對稱的試探法或規則、可判定手掌及/或手肘是否靠近軀體的試探法或規則、可判定頭部是否被固定在一位置或定位上的試探法及/或規則、可判定手掌是否靠近頭部的試探法及/或規則等等，該等試探法及/或規則可被用於調整維度。如上所述，在步驟330所判定之維度可被用來調整模型，該模型可在步驟325被追蹤以用於後續訊框。
在步驟335，可處理運算該經調整模型。例如，在一具體實施例中，該目標辨識、分析及追蹤系統可透過將一或更多應用到該經調整模型之動態或移動映射到一虛擬角色或遊戲角色的方式來處理運算該經調整模型，從而該虛擬角色或遊戲角色可被動畫繪製以模仿使用者，像是上述關於圖1A及1B之使用者18。例如，螢幕上角色的視覺顯示則可因應於正被調整之模型的改變而改變。
在一具體實施例中，該經調整模型可透過提供該經調整模型給在一計算環境(像是上述關於圖1A-4之計算環境12)中之姿勢函式庫，來處理運算該經調整模型。該姿勢函式庫可被用來判定控制以基於在骨骼模型中之各種軀體部分的位置而在一應用程式內執行。
吾人應了解到在此所述之組態及/或途徑本質上是示範性質，且這些特定具體實施例或範例並非被視為是限制作用。在此所述之特定常式或方法可代表一或更多任何數目的處理策略。如此般，所繪示之各種動作可按所繪示之次序、其他次序、平行次序來執行。同樣地，上述處理程序之順序亦可被改變。
本發明之標的包括各種處理程序、系統及組態的所有新穎的及非顯而易見的組合及子組合，以及在此所揭露之其他特徵、功能及/或特性，以及其任何及全部的均等物。
305-335‧‧‧步驟

Claims (19)

  1. 一種用於追蹤一使用者之方法，該方法至少包含以下步驟：接收一深度影像；基於該深度影像的一降低取樣來產生複數個立體像素(voxels)，包括產生該複數個立體像素的一第一立體像素，該產生是基於對應背景之至少一個像素，對應背景之該至少一個像素是獨立於對應一人體目標之至少一個像素，該第一立體像素與在該複數個立體像素中之另一立體像素重疊；移除包括在該複數個立體像素中之該背景以隔離與該人體目標相關聯之一或更多個立體像素；判定該經隔離人體目標之一或更多個肢體(extremities)的一位置或定位；基於該一或更多個肢體之該位置或定位來調整一模型。
  2. 如申請專利範圍第1項所述之方法，其中該模型包含具有關節及骨頭之一骨骼模型。
  3. 如申請專利範圍第1項所述之方法，其中移除包括於該複數個立體像素中之該背景以隔離與該人體 目標相關聯之一或更多個立體像素的步驟，進一步包含：判定在該複數個立體像素中之一物件是否處於動態中；以及當基於該判定結果該物件並非處於動態中時，丟棄與該物件相關聯之該等立體像素。
  4. 如申請專利範圍第1項所述之方法，進一步包含以下步驟：判定該一或更多個肢體之維度，並基於該等所判定維度來調整該模型之該等關節以及骨頭。
  5. 如申請專利範圍第1項所述之方法，其中該一或更多肢體包含以下其中至少一者：一頭部、一中心、一肩膀、一臀部、一腿部、一手臂、一手掌、一手肘、一膝蓋、及一腳掌。
  6. 如申請專利範圍第1項所述之方法，進一步包含以下步驟：處理該經調整模型。
  7. 如申請專利範圍第1項所述之方法，其中在該複數個立體像素中之該等立體像素各者是基於包括在 該所接收深度影像內之像素的一局部或區塊而產生。
  8. 如申請專利範圍第1項所述之方法，其中基於該深度影像的降低取樣而產生該複數個立體像素包括：判定複數個像素之至少一個像素具有一有效深度值，其中該複數個像素是被降低取樣以產生該複數個立體像素的一第一立體像素；判定該複數個像素之至少一個像素具有一無效深度值；基於具有該有效深度值之該至少一個像素而不使用具有該無效深度值之該至少一個像素而產生該第一立體像素。
  9. 如申請專利範圍第1項所述之方法，其中基於該一或更多個肢體之該位置或定位來調整該模型之步驟包括：基於如該人體目標於該深度影像中所顯現而改善(refining)該模型之定位之位置。
  10. 一種電腦可讀取儲存媒體，其具有用於追蹤一使用者之電腦可執行指令儲存於其中，該等電腦可執行指令包含用於以下步驟之指令： 接收包含像素之一深度影像；降低取樣在所接收之該深度影像內之該等像素以產生複數個立體像素(voxels)，該複數個立體像素包括一第一立體像素，該第一立體像素是基於獨立於對應一人體目標之至少一個像素的對應背景之至少一個像素，該第一立體像素與在該複數個立體像素中之另一立體像素重疊；隔離與一人體目標相關聯之該複數個立體像素的一或更多個立體像素；判定該經隔離人體目標之一或更多個肢體(extremities)的一位置或定位；基於該一或更多個肢體之該位置或定位來調整一模型。
  11. 如申請專利範圍第10項所述之電腦可讀取儲存媒體，其中基於該一或更多個所判定的肢體來調整一模型之步驟指令包含：將該一或更多肢體之該位置或定位分派至該模型之對應關節處。
  12. 如申請專利範圍第10項所述之電腦可讀取儲存媒體，進一步包含：用於判定該一或更多個肢體之維度，並基於該等所判 定之維度來調整該模型的該等關節及骨頭之步驟的指令。
  13. 如申請專利範圍第10項所述之電腦可讀取儲存媒體，其中該一或更多個肢體包含以下其中至少一者：一頭部、一中心、一肩膀、一臀部、一腿部、一手臂、一手掌、一手肘、一膝蓋、及一腳掌。
  14. 如申請專利範圍第10項所述之電腦可讀取儲存媒體，進一步包含用於處理運算該經調整模型之步驟的指令。
  15. 如申請專利範圍第14項所述之電腦可讀取儲存媒體，其中該一或更多個立體像素是基於包括在該所接收深度影像內之像素的一局部或區塊而產生。
  16. 一種用於追蹤一與一使用者相關聯之一模型的系統，該系統包含：一捕捉裝置，其中該捕捉裝置包含一攝影機組件，該攝影機組件接收一場景之一深度影像；及一計算裝置，該計算裝置運作與該捕捉裝置通訊，其中該計算裝置包含一處理器，該處理器：基於從該捕捉裝置所接收之該深度影像中的一或更 多個像素來產生一經降低取樣的深度影像，該經降低取樣的深度影像包括複數個立體像素(voxels)的一第一立體像素，該複數個立體像素(voxels)的該第一立體像素是基於對應背景之至少一個像素，該對應背景之該至少一個像素獨立於對應一人體目標之至少一個像素，該第一立體像素與在該複數個立體像素中之另一立體像素重疊；移除該複數個立體像素中之該背景以隔離一人體目標；判定該經隔離人體目標之一或更多個肢體(extremities)的一位置或定位；及基於該一或更多個肢體之該位置或定位來調整一模型。
  17. 如申請專利範圍第16項所述之系統，其中該處理器是藉由產生用於該一或更多個像素的局部或區塊的一立體像素，來基於從該捕捉裝置所接收之該深度影像中的該一或更多個像素而產生該經降低取樣的深度影像。
  18. 如申請專利範圍第16項所述之系統，其中該處理器是藉由將該一或更多個肢體之該位置或定位分 派至該模型之對應關節處，來基於該一或更多個經判定的肢體而調整一模型。
  19. 如申請專利範圍第16項所述之系統，其中該一或更多個肢體包含以下其中至少一者：一頭部、一中心、一肩膀、一臀部、一腿部、一手臂、一手掌、一手肘、一膝蓋、及一腳掌。
TW104115427A 2009-10-07 2010-09-21 人體追蹤系統 TWI545464B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/575,388 US8564534B2 (en) 2009-10-07 2009-10-07 Human tracking system

Publications (2)

Publication Number Publication Date
TW201546658A TW201546658A (zh) 2015-12-16
TWI545464B true TWI545464B (zh) 2016-08-11

Family

ID=43822804

Family Applications (4)

Application Number Title Priority Date Filing Date
TW099132065A TWI497346B (zh) 2009-10-07 2010-09-21 人體追蹤系統
TW104115427A TWI545464B (zh) 2009-10-07 2010-09-21 人體追蹤系統
TW104115429A TWI521388B (zh) 2009-10-07 2010-09-21 人體追蹤系統
TW104115432A TWI595383B (zh) 2009-10-07 2010-09-21 人體追蹤系統

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW099132065A TWI497346B (zh) 2009-10-07 2010-09-21 人體追蹤系統

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW104115429A TWI521388B (zh) 2009-10-07 2010-09-21 人體追蹤系統
TW104115432A TWI595383B (zh) 2009-10-07 2010-09-21 人體追蹤系統

Country Status (7)

Country Link
US (6) US8564534B2 (zh)
EP (1) EP2486545B1 (zh)
JP (1) JP5845184B2 (zh)
KR (2) KR101722147B1 (zh)
CN (1) CN102549619B (zh)
TW (4) TWI497346B (zh)
WO (1) WO2011044257A2 (zh)

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7989689B2 (en) * 1996-07-10 2011-08-02 Bassilic Technologies Llc Electronic music stand performer subsystems and music communication methodologies
US7297856B2 (en) * 1996-07-10 2007-11-20 Sitrick David H System and methodology for coordinating musical communication and display
US20080236431A1 (en) * 2007-03-28 2008-10-02 Pergo (Europe) Ab Process for Color Variability in Printing to Simulate Color Variation of Natural Product
TWI369899B (en) * 2008-07-21 2012-08-01 Ind Tech Res Inst Method and system for tracking human extremity positions
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
KR101633359B1 (ko) * 2009-10-20 2016-06-27 삼성전자 주식회사 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법
US9981193B2 (en) 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
US10357714B2 (en) * 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
US20110211749A1 (en) * 2010-02-28 2011-09-01 Kar Han Tan System And Method For Processing Video Using Depth Sensor Information
US8731829B2 (en) * 2010-05-31 2014-05-20 Nec Corporation Flow line detection system, flow line detection method, and flow line detection program
JP2012000165A (ja) * 2010-06-14 2012-01-05 Sega Corp ビデオゲーム装置
US8639020B1 (en) * 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
US8638364B2 (en) * 2010-09-23 2014-01-28 Sony Computer Entertainment Inc. User interface system and method using thermal imaging
JP2012160039A (ja) * 2011-02-01 2012-08-23 Fujifilm Corp 画像処理装置、立体画像印刷システム、画像処理方法およびプログラム
US8702507B2 (en) * 2011-04-28 2014-04-22 Microsoft Corporation Manual and camera-based avatar control
KR101514168B1 (ko) * 2011-04-28 2015-04-21 엔이씨 솔루션 이노베이터 가부시키가이샤 정보 처리 장치, 정보 처리 방법 및 기록 매체
WO2012172322A2 (en) * 2011-06-13 2012-12-20 Elliptic Laboratories As Touchless interaction
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
WO2012176315A1 (ja) * 2011-06-23 2012-12-27 富士通株式会社 情報処理装置、入力制御方法及び入力制御プログラム
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
TWI460683B (zh) * 2011-06-24 2014-11-11 Reallusion Inc The way to track the immediate movement of the head
TWI465960B (en) * 2011-08-30 2014-12-21 Three-dimensional human interface system and method thereof
CN102981599A (zh) * 2011-09-05 2013-03-20 硕擎科技股份有限公司 三维人机界面系统及其方法
JP2013101526A (ja) * 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9072929B1 (en) * 2011-12-01 2015-07-07 Nebraska Global Investment Company, LLC Image capture system
US9782680B2 (en) 2011-12-09 2017-10-10 Futurewei Technologies, Inc. Persistent customized social media environment
WO2013103410A1 (en) 2012-01-05 2013-07-11 California Institute Of Technology Imaging surround systems for touch-free display control
US9338409B2 (en) * 2012-01-17 2016-05-10 Avigilon Fortress Corporation System and method for home health care monitoring
KR101909544B1 (ko) * 2012-01-19 2018-10-18 삼성전자주식회사 평면 검출 장치 및 방법
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
JP2015525381A (ja) * 2012-05-04 2015-09-03 オブロング・インダストリーズ・インコーポレーテッド 相互ユーザ手追跡および形状認識ユーザ・インターフェース
TWI470565B (zh) * 2012-06-15 2015-01-21 Sheng Fang Huang 非接觸式醫療導覽系統及其控制方法
US20140018169A1 (en) * 2012-07-16 2014-01-16 Zhong Yuan Ran Self as Avatar Gaming with Video Projecting Device
US20140037135A1 (en) * 2012-07-31 2014-02-06 Omek Interactive, Ltd. Context-driven adjustment of camera parameters
TWI496090B (zh) 2012-09-05 2015-08-11 Ind Tech Res Inst 使用深度影像的物件定位方法與裝置
JP6018468B2 (ja) * 2012-09-21 2016-11-02 日本放送協会 奥行き範囲算出装置及びそのプログラム
KR20140049152A (ko) 2012-10-16 2014-04-25 한국전자통신연구원 사람 추종 방법 및 로봇 장치
AU2013204965B2 (en) 2012-11-12 2016-07-28 C2 Systems Limited A system, method, computer program and data signal for the registration, monitoring and control of machines and devices
US9367733B2 (en) 2012-11-21 2016-06-14 Pelco, Inc. Method and apparatus for detecting people by a surveillance system
US10009579B2 (en) * 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
US9602778B2 (en) * 2012-12-12 2017-03-21 Sensormatic Electronics, LLC Security video system using customer regions for monitoring point of sale areas
WO2014107434A1 (en) 2013-01-02 2014-07-10 California Institute Of Technology Single-sensor system for extracting depth information from image blur
US9830736B2 (en) 2013-02-18 2017-11-28 Tata Consultancy Services Limited Segmenting objects in multimedia data
US9135516B2 (en) * 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US10220303B1 (en) 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game
US9639747B2 (en) 2013-03-15 2017-05-02 Pelco, Inc. Online learning method for people detection and counting for retail stores
JP6276519B2 (ja) * 2013-05-22 2018-02-07 株式会社 日立産業制御ソリューションズ 人数計測装置および人物動線解析装置
JP6097150B2 (ja) * 2013-05-24 2017-03-15 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法およびプログラム
US10474921B2 (en) * 2013-06-14 2019-11-12 Qualcomm Incorporated Tracker assisted image capture
TW201500968A (zh) * 2013-06-21 2015-01-01 Utechzone Co Ltd 三維互動系統及其互動感測方法
CN103399637B (zh) * 2013-07-31 2015-12-23 西北师范大学 基于kinect人体骨骼跟踪控制的智能机器人人机交互方法
CN104424649B (zh) * 2013-08-21 2017-09-26 株式会社理光 检测运动物体的方法和系统
EP3055987A4 (en) * 2013-09-13 2017-10-25 Intel Corporation Motion data based focus strenght metric to facilitate image processing
WO2015047225A1 (en) * 2013-09-24 2015-04-02 Hewlett-Packard Development Company, L.P. Determining a segmentation boundary based on images representing an object
US10286313B2 (en) 2013-10-24 2019-05-14 Virtuix Holdings Inc. Method of generating an input in an omnidirectional locomotion system
US10933320B2 (en) * 2013-10-24 2021-03-02 Virtuix Holdings Inc. Method generating an input in an omnidirectional locomotion system
US9530101B1 (en) * 2013-11-20 2016-12-27 The United States Of America As Represented By The Secretary Of The Navy Method for calculating sensor performance of a sensor grid using dynamic path aggregation
US9336440B2 (en) * 2013-11-25 2016-05-10 Qualcomm Incorporated Power efficient use of a depth sensor on a mobile device
US11615460B1 (en) 2013-11-26 2023-03-28 Amazon Technologies, Inc. User path development
JP6217373B2 (ja) * 2013-12-13 2017-10-25 富士通株式会社 動作判定方法、動作判定装置および動作判定プログラム
FR3015730B1 (fr) * 2013-12-20 2017-07-21 Thales Sa Procede de detection de personnes et ou d'objets dans un espace
US20150185851A1 (en) * 2013-12-30 2015-07-02 Google Inc. Device Interaction with Self-Referential Gestures
US9684928B2 (en) * 2014-01-15 2017-06-20 Holition Limited Foot tracking
CN104801042A (zh) * 2014-01-23 2015-07-29 鈊象电子股份有限公司 根据玩家挥手范围切换游戏画面的方法
US9452531B2 (en) 2014-02-04 2016-09-27 Microsoft Technology Licensing, Llc Controlling a robot in the presence of a moving object
EP4015054A1 (en) * 2014-03-19 2022-06-22 Virtuix Holdings Inc. Method of generating an input in an omnidirectional locomotion system
WO2015139231A1 (en) * 2014-03-19 2015-09-24 Intel Corporation Facial expression and/or interaction driven avatar apparatus and method
US9727778B2 (en) 2014-03-28 2017-08-08 Wipro Limited System and method for guided continuous body tracking for complex interaction
US9432768B1 (en) * 2014-03-28 2016-08-30 Amazon Technologies, Inc. Beam forming for a wearable computer
US9436277B2 (en) * 2014-04-21 2016-09-06 Xerox Corporation System and method for producing computer control signals from breath attributes
US10430676B2 (en) 2014-06-23 2019-10-01 Denso Corporation Apparatus detecting driving incapability state of driver
WO2015198540A1 (ja) 2014-06-23 2015-12-30 株式会社デンソー ドライバの運転不能状態検出装置
JP6372388B2 (ja) * 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
US9508195B2 (en) * 2014-09-03 2016-11-29 Microsoft Technology Licensing, Llc Management of content in a 3D holographic environment
KR101643917B1 (ko) * 2014-09-15 2016-08-01 (주)인더스웰 실사 영상 기반의 스마트 피팅장치
US11013451B2 (en) 2014-09-19 2021-05-25 Brigham Young University Marker-less monitoring of movement disorders
JP6030617B2 (ja) * 2014-10-15 2016-11-24 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置および画像処理方法
US20160110593A1 (en) * 2014-10-17 2016-04-21 Microsoft Corporation Image based ground weight distribution determination
TWI549069B (zh) * 2014-12-15 2016-09-11 Sheng Hui Meng Method and device for passenger barge
US10007996B2 (en) * 2015-03-02 2018-06-26 Lawrence Livermore National Security, Llc System for detecting objects in streaming 3D images formed from data acquired with a medium penetrating sensor
US10679177B1 (en) 2015-03-25 2020-06-09 Amazon Technologies, Inc. Using depth sensing cameras positioned overhead to detect and track a movement of a user within a materials handling facility
US10810539B1 (en) * 2015-03-25 2020-10-20 Amazon Technologies, Inc. Re-establishing tracking of a user within a materials handling facility
US11205270B1 (en) 2015-03-25 2021-12-21 Amazon Technologies, Inc. Collecting user pattern descriptors for use in tracking a movement of a user within a materials handling facility
US10586203B1 (en) 2015-03-25 2020-03-10 Amazon Technologies, Inc. Segmenting a user pattern into descriptor regions for tracking and re-establishing tracking of a user within a materials handling facility
US9706107B2 (en) * 2015-07-13 2017-07-11 Avaya Inc. Camera view control using unique nametags and gestures
EP3804825B1 (en) 2015-07-28 2023-11-15 Virtuix Holdings Inc. System and method of soft decoupling an input
CN106559660B (zh) * 2015-09-29 2018-09-07 杭州海康威视数字技术股份有限公司 2d视频中展示目标3d信息的方法及装置
JP6841232B2 (ja) * 2015-12-18 2021-03-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11511156B2 (en) 2016-03-12 2022-11-29 Arie Shavit Training system and methods for designing, monitoring and providing feedback of training
US10587858B2 (en) * 2016-03-14 2020-03-10 Symbol Technologies, Llc Device and method of dimensioning using digital images and depth data
US9824500B2 (en) 2016-03-16 2017-11-21 Microsoft Technology Licensing, Llc Virtual object pathing
TWI610059B (zh) * 2016-08-04 2018-01-01 緯創資通股份有限公司 三維量測方法及應用其之三維量測裝置
US10762715B2 (en) * 2016-10-21 2020-09-01 Sony Interactive Entertainment Inc. Information processing apparatus
EP3373114B1 (en) 2017-03-10 2019-10-09 Alterface Projects Tracking system and method using a depth aware camera
US10346695B2 (en) * 2017-05-25 2019-07-09 General Motors Llc Method and apparatus for classifying LIDAR data for object detection
US10942575B2 (en) * 2017-06-07 2021-03-09 Cisco Technology, Inc. 2D pointing indicator analysis
US10943088B2 (en) 2017-06-14 2021-03-09 Target Brands, Inc. Volumetric modeling to identify image areas for pattern recognition
US10311624B2 (en) 2017-06-23 2019-06-04 Disney Enterprises, Inc. Single shot capture to animated vr avatar
KR102434574B1 (ko) 2017-08-14 2022-08-22 삼성전자주식회사 이미지에 포함된 특징 포인트의 시간 또는 공간의 움직임에 기초하여 이미지에 존재하는 피사체를 인식하는 장치 및 방법
CN109529327B (zh) * 2017-09-21 2022-03-04 腾讯科技（深圳）有限公司 虚拟交互场景中目标定位方法、装置及电子设备
US11328513B1 (en) 2017-11-07 2022-05-10 Amazon Technologies, Inc. Agent re-verification and resolution using imaging
CN108055479B (zh) * 2017-12-28 2020-07-03 暨南大学 一种动物行为视频的制作方法
JP7017689B2 (ja) * 2017-12-29 2022-02-09 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
US11127189B2 (en) 2018-02-23 2021-09-21 Canon Kabushiki Kaisha 3D skeleton reconstruction from images using volumic probability data
GB2571307B (en) * 2018-02-23 2020-10-21 Canon Kk 3D skeleton reconstruction from images using volumic probability data
WO2020008458A2 (en) * 2018-07-02 2020-01-09 Vayyar Imaging Ltd. System and methods for environment mapping
US11461957B2 (en) * 2018-09-03 2022-10-04 Sony Interactive Entertainment Inc. Information processing device, information processing method, and program
CN109443196B (zh) * 2018-09-28 2020-07-24 顺丰科技有限公司 一种体积测量方法及系统
WO2020101472A1 (en) * 2018-11-14 2020-05-22 Mimos Berhad Method and system for counting and determining direction of movement of moving objects
US11386306B1 (en) 2018-12-13 2022-07-12 Amazon Technologies, Inc. Re-identification of agents using image analysis and machine learning
CN111514584B (zh) 2019-02-01 2022-07-26 北京市商汤科技开发有限公司 游戏控制方法及装置、游戏终端及存储介质
GB2583742B (en) * 2019-05-08 2023-10-25 Jaguar Land Rover Ltd Activity identification method and apparatus
JP2021016547A (ja) * 2019-07-19 2021-02-15 株式会社スクウェア・エニックス プログラム、記録媒体、物体検出装置、物体検出方法及び物体検出システム
CN110674719B (zh) * 2019-09-18 2022-07-26 北京市商汤科技开发有限公司 目标对象匹配方法及装置、电子设备和存储介质
TWI736138B (zh) * 2020-02-17 2021-08-11 國立屏東大學 交通安全學習系統與方法
US11128636B1 (en) 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets
CN114026463A (zh) * 2020-05-15 2022-02-08 百度时代网络技术（北京）有限公司 基于部分点云的行人速度估计方法
WO2022060765A1 (en) * 2020-09-15 2022-03-24 Jintronix, Inc. Method and system for 2d motion tracking of a subject
CN114330606B (zh) * 2020-10-09 2024-05-10 华为终端有限公司 真人游戏交互系统与方法
JP2022133723A (ja) * 2021-03-02 2022-09-14 株式会社アイシン 身体情報取得装置
CN113096337B (zh) * 2021-04-08 2022-11-11 中国人民解放军军事科学院国防工程研究院工程防护研究所 用于复杂背景的移动目标识别处理方法及智能安防系统
CN113313794B (zh) * 2021-05-19 2022-11-08 深圳市慧鲤科技有限公司 动画迁移方法和装置、设备及存储介质
TWI779735B (zh) * 2021-07-22 2022-10-01 宏碁股份有限公司 可調靈敏度之觸控裝置及其控制方法
KR102377556B1 (ko) * 2021-08-30 2022-03-22 주식회사 조이펀 깊이 카메라를 활용한 실시간 사용자 추적 시스템

Family Cites Families (300)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4288078A (en) 1979-11-20 1981-09-08 Lugo Julio I Game apparatus
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (zh) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
EP0590101B1 (en) 1991-12-03 1999-06-23 French Sportech Corporation Interactive video testing and training system
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
US5561745A (en) 1992-10-16 1996-10-01 Evans & Sutherland Computer Corp. Computer graphics for animation by time-sequenced textures
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5325984A (en) * 1993-06-21 1994-07-05 Motorola, Inc. Friction clutch for dual pivot point hinge
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
GB9405299D0 (en) 1994-03-17 1994-04-27 Roke Manor Research Improvements in or relating to video-based systems for computer assisted surgery and localisation
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
AUPN003894A0 (en) 1994-12-13 1995-01-12 Xenotech Research Pty Ltd Head tracking system for stereoscopic display apparatus
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
WO1996034332A1 (fr) 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'interface
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
WO1996041304A1 (en) 1995-06-07 1996-12-19 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
WO1999044698A2 (en) 1998-03-03 1999-09-10 Arena, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
JPH09231369A (ja) 1996-02-21 1997-09-05 Canon Inc 画像情報入力装置
US5909218A (en) 1996-04-25 1999-06-01 Matsushita Electric Industrial Co., Ltd. Transmitter-receiver of three-dimensional skeleton structure motions and method thereof
JP2000510013A (ja) 1996-05-08 2000-08-08 リアル ヴィジョン コーポレイション 位置検出を用いたリアルタイムシミュレーション
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5844241A (en) 1996-07-19 1998-12-01 City Of Hope System and method for determining internal radioactivity and absorbed dose estimates
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
CN1168057C (zh) 1996-08-14 2004-09-22 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US5974175A (en) * 1997-01-22 1999-10-26 Fujitsu Limited Image processing apparatus and method for detecting a contour of an object from images of a motion picture and extracting the object therefrom
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6400368B1 (en) 1997-03-20 2002-06-04 Avid Technology, Inc. System and method for constructing and using generalized skeletons for animation models
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6384819B1 (en) 1997-10-15 2002-05-07 Electric Planet, Inc. System and method for generating an animatable character
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6272231B1 (en) 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
WO1999053443A1 (en) 1998-04-13 1999-10-21 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
EP0991011B1 (en) 1998-09-28 2007-07-25 Matsushita Electric Industrial Co., Ltd. Method and device for segmenting hand gestures
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
AU1574899A (en) 1998-12-16 2000-07-03 3Dv Systems Ltd. Self gating photosurface
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
JP4006873B2 (ja) * 1999-03-11 2007-11-14 ソニー株式会社 情報処理システム、情報処理方法及び装置、並びに情報提供媒体
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6487304B1 (en) 1999-06-16 2002-11-26 Microsoft Corporation Multi-view approach to motion and stereo
GB9914808D0 (en) * 1999-06-25 1999-08-25 Koninkl Philips Electronics Nv Active matrix electroluminscent device
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6556199B1 (en) 1999-08-11 2003-04-29 Advanced Research And Technology Institute Method and apparatus for fast voxelization of volumetric models
AU6985100A (en) * 1999-09-10 2001-04-24 Scanvaegt International A/S A grader apparatus
US6658136B1 (en) 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
JP4531897B2 (ja) 1999-12-27 2010-08-25 パナソニック株式会社 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体
US6980690B1 (en) 2000-01-20 2005-12-27 Canon Kabushiki Kaisha Image processing apparatus
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US20020024517A1 (en) * 2000-07-14 2002-02-28 Komatsu Ltd. Apparatus and method for three-dimensional image production and presenting real objects in virtual three-dimensional space
US7375728B2 (en) 2001-10-01 2008-05-20 University Of Minnesota Virtual mirror
US6760028B1 (en) 2000-07-21 2004-07-06 Microsoft Corporation Methods and systems for hinting fonts
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6700586B1 (en) 2000-08-23 2004-03-02 Nintendo Co., Ltd. Low cost graphics with stitching processing hardware support for skeletal animation
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6573912B1 (en) 2000-11-07 2003-06-03 Zaxel Systems, Inc. Internet system for virtual telepresence
JP4011327B2 (ja) 2000-11-15 2007-11-21 株式会社レクサー・リサーチ 表示オブジェクト提供装置、表示オブジェクト提供方式及び表示オブジェクト提供プログラム
US20040104935A1 (en) 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
EP1371019A2 (en) 2001-01-26 2003-12-17 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
JP2002319036A (ja) * 2001-02-13 2002-10-31 Sega Corp アニメーション生成プログラム
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
RU2215326C2 (ru) 2001-06-29 2003-10-27 Самсунг Электроникс Ко., Лтд. Иерархическое основанное на изображениях представление неподвижного и анимированного трехмерного объекта, способ и устройство для использования этого представления для визуализации объекта
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
JP2003058907A (ja) 2001-08-09 2003-02-28 Univ Tokyo 木構造リンク系のポーズ及び動作を生成する方法
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
JP2003109015A (ja) * 2001-10-01 2003-04-11 Masanobu Yamamoto 身体動作測定方式
DE10149556A1 (de) 2001-10-08 2003-04-24 Siemens Ag Verfahren zur Erzeugung eines zweidimensionalen Bildes aus einem 3D-Datensatz eines Tomographie-Geräts und medizinisches Tomographie-Gerät
CN1218282C (zh) 2001-11-27 2005-09-07 三星电子株式会社 用深度图像表示三维物体的节点结构
KR100446635B1 (ko) 2001-11-27 2004-09-04 삼성전자주식회사 깊이 이미지 기반 3차원 객체 표현 장치 및 방법
US7340077B2 (en) 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
AU2003219926A1 (en) 2002-02-26 2003-09-09 Canesta, Inc. Method and apparatus for recognizing objects
US7203356B2 (en) 2002-04-11 2007-04-10 Canesta, Inc. Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
GB0209080D0 (en) 2002-04-20 2002-05-29 Virtual Mirrors Ltd Methods of generating body models from scanned data
US7366645B2 (en) 2002-05-06 2008-04-29 Jezekiel Ben-Arie Method of recognition of human motion, vector sequences and speech
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7598976B2 (en) 2002-06-13 2009-10-06 I See Tech Ltd. Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired
US8599266B2 (en) 2002-07-01 2013-12-03 The Regents Of The University Of California Digital processing of video images
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US7176915B1 (en) 2002-08-09 2007-02-13 Avid Technology, Inc. Subdividing rotation in a character using quaternion interpolation for modeling and animation in three dimensions
US8098293B2 (en) * 2002-08-30 2012-01-17 Sony Corporation Image extraction device, image extraction method, image processing device, image processing method, and imaging device
JP4287375B2 (ja) * 2002-09-24 2009-07-01 健爾 西 画像表示装置及び投影光学系
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
KR100507780B1 (ko) 2002-12-20 2005-08-17 한국전자통신연구원 고속 마커프리 모션 캡쳐 장치 및 방법
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
US7224830B2 (en) * 2003-02-04 2007-05-29 Intel Corporation Gesture detection from digital video images
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US7257237B1 (en) 2003-03-07 2007-08-14 Sandia Corporation Real time markerless motion tracking using linked kinematic chains
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
JP4355341B2 (ja) 2003-05-29 2009-10-28 本田技研工業株式会社 深度データを用いたビジュアルトラッキング
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
EP3196805A3 (en) 2003-06-12 2017-11-01 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP2005165984A (ja) * 2003-12-05 2005-06-23 Seiko Epson Corp 人物顔の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラム
US20050215319A1 (en) 2004-03-23 2005-09-29 Harmonix Music Systems, Inc. Method and apparatus for controlling a three-dimensional character in a three-dimensional gaming environment
JP4708422B2 (ja) 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US8059153B1 (en) 2004-06-21 2011-11-15 Wyse Technology Inc. Three-dimensional object tracking using distributed thin-client cameras
US8114172B2 (en) 2004-07-30 2012-02-14 Extreme Reality Ltd. System and method for 3D space-dimension based image processing
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
US20130063477A1 (en) 2004-12-06 2013-03-14 James Richardson Systems and methods for using a movable object to control a computer
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
WO2006074290A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Optical flow based tilt sensor
US7853041B2 (en) 2005-01-07 2010-12-14 Gesturetek, Inc. Detecting and tracking objects in images
WO2006074310A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Creating 3d images of objects by illuminating with infrared patterns
US20060170769A1 (en) 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
US7646902B2 (en) 2005-02-08 2010-01-12 Regents Of The University Of Michigan Computerized detection of breast cancer on digital tomosynthesis mammograms
CN101536494B (zh) 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
US20080246759A1 (en) 2005-02-23 2008-10-09 Craig Summers Automatic Scene Modeling for the 3D Camera and 3D Video
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis
KR101430761B1 (ko) 2005-05-17 2014-08-19 퀄컴 인코포레이티드 방위-감응 신호 출력
US20090041297A1 (en) 2005-05-31 2009-02-12 Objectvideo, Inc. Human detection and tracking for security applications
EP1752748B1 (en) 2005-08-12 2008-10-29 MESA Imaging AG Highly sensitive, fast pixel for use in an image sensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
JP4653599B2 (ja) 2005-08-29 2011-03-16 アロカ株式会社 超音波診断装置
US8382485B2 (en) 2005-09-29 2013-02-26 The General Hospital Corporation Methods and apparatus for providing realistic medical training
US8390821B2 (en) 2005-10-11 2013-03-05 Primesense Ltd. Three-dimensional sensing using speckle patterns
US7728839B2 (en) 2005-10-28 2010-06-01 Honda Motor Co., Ltd. Discriminative motion modeling for human motion tracking
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
US8094928B2 (en) 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
WO2007064456A2 (en) * 2005-11-28 2007-06-07 The George Washington University Virtual reality simulator harness systems
KR100817298B1 (ko) 2005-12-08 2008-03-27 한국전자통신연구원 양손 검출 및 추적 방법
JP5025950B2 (ja) 2005-12-12 2012-09-12 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理方法
US8571258B2 (en) * 2006-02-07 2013-10-29 France Telecom Method of tracking the position of the head in real time in a video image stream
CN101479782B (zh) * 2006-05-04 2011-08-03 美国索尼电脑娱乐公司 多输入游戏控制混合器
EP2016562A4 (en) * 2006-05-07 2010-01-06 Sony Computer Entertainment Inc METHOD FOR IMPLEMENTING AFFECTIVE PROPERTIES IN A COMPUTER GENERATED AVATAR DURING A COMPUTER GAME
CN101657825B (zh) 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
US8467570B2 (en) * 2006-06-14 2013-06-18 Honeywell International Inc. Tracking system with fused motion and object detection
US8086971B2 (en) 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
US8284202B2 (en) 2006-06-30 2012-10-09 Two Pic Mc Llc Methods and apparatus for capturing and rendering dynamic surface deformations in human motion
JP4409545B2 (ja) 2006-07-06 2010-02-03 株式会社ソニー・コンピュータエンタテインメント 三次元位置特定装置および方法、奥行位置特定装置
JP4707034B2 (ja) 2006-07-07 2011-06-22 株式会社ソニー・コンピュータエンタテインメント 画像処理方法、入力インタフェース装置
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
DE102006048166A1 (de) 2006-08-02 2008-02-07 Daimler Ag Verfahren zur Beobachtung einer Person in einem industriellen Umfeld
CN100541540C (zh) 2006-09-14 2009-09-16 浙江大学 基于侧影和末端节点的视频人体三维运动恢复方法
US8131011B2 (en) 2006-09-25 2012-03-06 University Of Southern California Human detection and tracking system
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US20100278391A1 (en) 2006-10-12 2010-11-04 Yung-Tai Hsu Apparatus for behavior analysis and method thereof
US8023726B2 (en) 2006-11-10 2011-09-20 University Of Maryland Method and system for markerless motion capture using multiple cameras
US7844087B2 (en) 2006-12-19 2010-11-30 Carestream Health, Inc. Method for segmentation of lesions
US8351646B2 (en) 2006-12-21 2013-01-08 Honda Motor Co., Ltd. Human pose estimation and tracking using label assignment
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
CA2717485A1 (en) 2007-03-02 2008-09-12 Organic Motion System and method for tracking three dimensional objects
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
US20080252596A1 (en) 2007-04-10 2008-10-16 Matthew Bell Display Using a Three-Dimensional vision System
WO2008128568A1 (en) 2007-04-20 2008-10-30 Softkinetic S.A. Volume recognition method and system
US7965866B2 (en) 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US8295543B2 (en) * 2007-08-31 2012-10-23 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers
US7806589B2 (en) 2007-09-26 2010-10-05 University Of Pittsburgh Bi-plane X-ray imaging system
US7970176B2 (en) 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
US7876947B2 (en) 2007-10-10 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for detecting tagged material using alpha matting
US9292092B2 (en) 2007-10-30 2016-03-22 Hewlett-Packard Development Company, L.P. Interactive display system with collaborative gesture detection
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
GB2455316B (en) 2007-12-04 2012-08-15 Sony Corp Image processing apparatus and method
US7925081B2 (en) 2007-12-12 2011-04-12 Fuji Xerox Co., Ltd. Systems and methods for human body pose estimation
US9165199B2 (en) 2007-12-21 2015-10-20 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
WO2009086088A1 (en) * 2007-12-21 2009-07-09 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
KR100939294B1 (ko) 2007-12-26 2010-01-29 주식회사 케이티 3차원 공간에서의 사람 움직임 추적 방법 및 장치
US8166421B2 (en) 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
KR101335346B1 (ko) 2008-02-27 2013-12-05 소니 컴퓨터 엔터테인먼트 유럽 리미티드 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
JP4582174B2 (ja) 2008-03-28 2010-11-17 ソニー株式会社 追跡処理装置、追跡処理方法、プログラム
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
KR101494344B1 (ko) * 2008-04-25 2015-02-17 삼성전자주식회사 휴머노이드 로봇의 움직임 제어 시스템 및 그 방법
US8781197B2 (en) 2008-04-28 2014-07-15 Cornell University Tool for accurate quantification in molecular MRI
US8971565B2 (en) * 2008-05-29 2015-03-03 Hie-D Technologies, Llc Human interface electronic device
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
EP2327061A4 (en) 2008-08-15 2016-11-16 Univ Brown METHOD AND DEVICE FOR ESTIMATING BODY SHAPES
CN201254344Y (zh) 2008-08-20 2009-06-10 中国农业科学院草原研究所 植物标本及种子存贮器
US8385688B2 (en) 2008-08-27 2013-02-26 International Business Machines Corporation System and method for automatic recognition and labeling of anatomical structures and vessels in medical imaging scans
US8577084B2 (en) 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
WO2010103482A2 (en) 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
KR101591779B1 (ko) 2009-03-17 2016-02-05 삼성전자주식회사 모션 데이터 및 영상 데이터를 이용한 골격 모델 생성 장치및 방법
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US9182814B2 (en) 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8175335B2 (en) * 2009-06-17 2012-05-08 Sony Corporation Content adaptive detection of images with stand-out object
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
KR101619076B1 (ko) 2009-08-25 2016-05-10 삼성전자 주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US7961910B2 (en) * 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
WO2012046392A1 (ja) * 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
US20130208900A1 (en) * 2010-10-13 2013-08-15 Microsoft Corporation Depth camera with integrated three-dimensional audio
US20130208926A1 (en) * 2010-10-13 2013-08-15 Microsoft Corporation Surround sound simulation with virtual skeleton modeling
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US9171200B2 (en) * 2011-03-04 2015-10-27 Hewlett-Packard Development Company, L.P. Gestural interaction identification
EP2773301B1 (en) * 2011-10-31 2016-03-16 Ossur Hf Orthopedic device for dynamically treating the knee
CN103871106A (zh) * 2012-12-14 2014-06-18 韩国电子通信研究院 利用人体模型的虚拟物拟合方法及虚拟物拟合服务系统
US9052746B2 (en) * 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US9135516B2 (en) * 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9159140B2 (en) * 2013-03-14 2015-10-13 Microsoft Technology Licensing, Llc Signal analysis for repetition detection and analysis
US9142034B2 (en) * 2013-03-14 2015-09-22 Microsoft Technology Licensing, Llc Center of mass state vector for analyzing user motion in 3D images

Also Published As

Publication number Publication date
CN102549619A (zh) 2012-07-04
US20120128208A1 (en) 2012-05-24
EP2486545A2 (en) 2012-08-15
TW201546659A (zh) 2015-12-16
US20150131862A1 (en) 2015-05-14
EP2486545A4 (en) 2017-03-15
KR20120093197A (ko) 2012-08-22
WO2011044257A2 (en) 2011-04-14
TWI521388B (zh) 2016-02-11
JP5845184B2 (ja) 2016-01-20
KR101802125B1 (ko) 2017-11-27
KR101722147B1 (ko) 2017-03-31
KR20170038101A (ko) 2017-04-05
TW201546658A (zh) 2015-12-16
EP2486545B1 (en) 2019-07-17
CN102549619B (zh) 2013-11-20
TW201546660A (zh) 2015-12-16
US20140375557A1 (en) 2014-12-25
JP2013507688A (ja) 2013-03-04
TW201120684A (en) 2011-06-16
US9821226B2 (en) 2017-11-21
US8970487B2 (en) 2015-03-03
TWI497346B (zh) 2015-08-21
TWI595383B (zh) 2017-08-11
US20140044309A1 (en) 2014-02-13
WO2011044257A3 (en) 2011-09-29
US20140022161A1 (en) 2014-01-23
US8564534B2 (en) 2013-10-22
US8542910B2 (en) 2013-09-24
US8861839B2 (en) 2014-10-14
US9522328B2 (en) 2016-12-20
US20110080336A1 (en) 2011-04-07

Similar Documents

Publication Publication Date Title
TWI545464B (zh) 人體追蹤系統
US10048747B2 (en) Methods and systems for determining and tracking extremities of a target
US8660310B2 (en) Systems and methods for tracking a model
US8897495B2 (en) Systems and methods for tracking a model
US8803889B2 (en) Systems and methods for applying animations or motions to a character

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees