TWI484422B - 用以提供姿態分析之方法、裝置和電腦程式產品 - Google Patents

用以提供姿態分析之方法、裝置和電腦程式產品 Download PDF

Info

Publication number
TWI484422B
TWI484422B TW098121612A TW98121612A TWI484422B TW I484422 B TWI484422 B TW I484422B TW 098121612 A TW098121612 A TW 098121612A TW 98121612 A TW98121612 A TW 98121612A TW I484422 B TWI484422 B TW I484422B
Authority
TW
Taiwan
Prior art keywords
skin
gesture
region
image
computer program
Prior art date
Application number
TW098121612A
Other languages
English (en)
Other versions
TW201003539A (en
Inventor
Kongqiao Wang
Xiujuan Chai
Original Assignee
Nokia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Corp filed Critical Nokia Corp
Publication of TW201003539A publication Critical patent/TW201003539A/zh
Application granted granted Critical
Publication of TWI484422B publication Critical patent/TWI484422B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Description

用以提供姿態分析之方法、裝置和電腦程式產品 發明領域
本發明之實施例大體上係有關使用者介面技術，並更尤其係有關用以為視覺互動系統提供姿態分析之方法、設備和電腦程式產品。
 發明背景
最新的通訊時代已經引起有線與無線網路的急速擴張。電腦網路、電視網路、以及電話網路正經歷空前的技術擴張，消費者的需求為其鼓足了勁。在提供更有彈性與立即性的資訊傳輸的同時，無線與行動上網技術也致力於消費者的需求。
現在和未來的網路技術不懈於促進使用者資訊傳輸的容易性與便利性。對增進使用者資訊傳輸的容易性與便利性有所需求的一個領域係關於為HCI(人機互動)來簡化人機介面。隨著最近在計算設備及手持或行動設備領域中增進此等設備之性能的發展，下一個世代的HCI也在許多人的腦海中浮現。此外，有鑑於這些設備將會傾向於增加容量來在收到要求時相對快地創造內容、儲存內容及/或接收內容，及亦有鑑於諸如行動電話的行動電子設備常面臨顯示尺寸、文字輸入速度、及使用者介面(UI)實體實施例的限制，在HCI的情況中常有挑戰。
再者，HCI的改進亦可為使用者增進樂趣，以及藉由可能已以其他方式針對對有效率的HCI表現出改變的環境中的計算設備來為使用者介面打開可能性。一種這樣的改進係有關姿態辨識。和其他現在HCI所採用的諸如鍵盤和滑鼠的互動機械設備相比，有些人可能會考慮利用姿態辨識來增進通訊的自然性與便利性。因此，已經有某些應用被研發來使姿態辨識可在數位家電中用作命令控制器、在檔案/網頁中用作一般遙控器的替代品。然而，目前用於姿態分析的機械設備在使用上常常是緩慢或累贅的。鑑於下一個世代的HCI之普遍實用性，對姿態分析的改良係可嚮往的。
 發明概要
因此提供一種方法、設備與電腦程式產品來使姿態分析可用在例如視覺互動系統中。在一些實施例中，可能會採用使用者的特定皮膚模型及/或檢測「觸發」姿態來啟始手部追蹤及/或姿態分析。如此一來，本發明的一些示範實施例便可以提供相對健全且快速的姿態分析。
在一個示範實施例中，提供一種用於提供姿態分析的方法。此方法可包括使用針對檢測一個特定使用者之皮膚而產生的一個皮膚檢測模型來分析影像資料之步驟、追蹤與一個皮膚區域相關的該影像資料的一個分區之步驟、以及基於將在該皮膚區域中所辨識到的數個特徵與和一個預定姿態相符的已儲存的數個特徵做比較而對該影像之所追蹤的該分區執行一個姿態辨識動作之步驟。
在另一個示範實施例中，提供一種用於提供姿態分析的電腦程式產品。此電腦程式產品包括至少一個在內部儲存有電腦可執行程式碼分區的電腦可讀取儲存媒體。這些電腦可執行程式碼分區可包括第一、第二與第三程式碼分區。第一程式碼分區係用於使用針對檢測一個特定使用者之皮膚而產生的一個皮膚檢測模型來分析影像資料。第二程式碼分區係用於追蹤與一個皮膚區域相關的該影像資料的一個分區。第三程式碼係用於基於將在該皮膚區域中所辨識到的數個特徵與和一個預定姿態相符的已儲存的數個特徵做比較而對該影像之所追蹤的該分區執行一個姿態辨識動作。
在另一示範實施例中，提供一種用於提供姿態分析的設備。此設備可包括一個處理器。此處理器可組配來使用針對檢測一個特定使用者之皮膚而產生的一個皮膚檢測模型來分析影像資料、追蹤與一個皮膚區域相關的該影像資料的一個分區、以及基於將在該皮膚區域中所辨識到的數個特徵與和一個預定姿態相符的已儲存的數個特徵做比較而對該影像之所追蹤的該分區執行一個姿態辨識動作。
在又一示範實施例中，提供一種用於提供姿態分析的設備。此設備可包括用於使用針對檢測一個特定使用者之皮膚而產生的一個皮膚檢測模型來分析影像資料之構件、用於追蹤與一個皮膚區域相關的該影像資料的一個分區之構件、以及用於基於將在該皮膚區域中所辨識到的數個特徵與和一個預定姿態相符的已儲存的數個特徵做比較而對該影像之所追蹤的該分區執行一個姿態辨識動作之構件。
本發明之實施例可提供一種運用在例如行動或定點環境中的方法、設備和電腦程式產品。如此一來，例如計算設備之使用者便可以享受以其各自的計算設備來互動的改良過的性能。
10~26、30~32‧‧‧操作步驟
28‧‧‧匹配資料庫
70‧‧‧處理器
72‧‧‧使用者介面
74‧‧‧通訊介面
76‧‧‧記憶體設備
78‧‧‧皮膚模型產生器
80‧‧‧姿態檢測器
82‧‧‧皮膚區域追蹤器
84‧‧‧姿態辨識器
86‧‧‧投票管理器
90‧‧‧手部區域
110‧‧‧行動終端機
112‧‧‧天線
114‧‧‧發送器
116‧‧‧接收器
120‧‧‧控制器
124‧‧‧喇叭
126‧‧‧麥克風
128‧‧‧顯示器
130‧‧‧鍵盤
134‧‧‧電池
137‧‧‧攝影模組
138‧‧‧使用者識別模組(UIM)
140‧‧‧依電性記憶體
142‧‧‧非依電性記憶體
200~240‧‧‧操作步驟
在以一般用語討論過本發明之一些實施例之後，現在將參考隨附圖式，這些圖式並不必然有依照比例來繪製，其中：第1圖繪示用於依據本發明之示範實施例之UI控制器之姿態分析程序之一例；第2圖繪示用於致能依據本發明之示範實施例之姿態分析之設備之一概要方塊圖；第3A-3F圖繪示依據本發明之示範實施例之直方圖模型判定程序裡的幾個階段；第4A-4C圖繪示依據本發明之示範實施例之局部二元模式；第5A-5C圖繪示依據本發明之示範實施例之對於不同的手部姿態的局部二元模式濾過影像；第6圖繪示依據本發明之示範實施例之一些對應各個姿態影像的直方圖之例；第7圖繪示可由依據本發明之示範實施例之姿態檢測器產生的區塊式局部紋理特徵表示型態之示意圖；第8A-8E圖繪示依據本發明之示範實施例之手部追蹤程序之階段之例； 第9圖繪示可由本發明之示範實施例獲益之行動終端機之方塊圖；以及第10圖為依據用於提供依據本發明之姿態分析之示範方法之流程圖。
 較佳實施例之詳細說明
現在將參考隨附圖示在後文中更完整地描述本發明之一些實施例，其中有一些，但不是所有的本發明之實施例並未示出。確實，本發明之多種實施例可藉由許多不同的形式來體現，且不應被解釋為限制於此處所提出之實施例；相反地，這些實施例只是為了使本發明符合適當法律要件而提供。類似的參考號碼在全文中指向類似的部件。此處所使用的「資料」、「內容」、「資訊」等詞語以及相似的詞語可能可更換使用的，以指向依據本發明之實施例之可發送、接收及/或儲存的資料。再者，此處所使用的「示範」一語並非提供來傳達任何定性評估，而只是傳達範例說明。因此，任何此等詞語之使用皆不應被拿來限制本發明之實施例的精神與範圍。
本發明之一些實施例可提供可實施和姿態分析有關的改善之機械設備。在這方面，一些實施例可例如提供即時姿態分析方案，其可適於手持或其他計算設備上的互動行為。因此，使用者可利用姿態來控制一個設備(例如此使用者的手持或計算設備或甚至是遠端設備)，而非手動操作此設備。一些示範實施例可經由整合了多種諸如例如特定 皮膚模型產生、觸發姿態檢測、手部追蹤與姿態辨識等元素的方案來提供自動姿態分析。依據本發明之一些實施例，手部追蹤可提供對背景、照明、手部規模變異與移動動作等等項目相對較不敏感的相對準確的手部定位。
在一些實施例中，如以上所指的，可根據手部移動動作檢測與通用高斯混和模型(GMM)來為某個特定的人產生皮膚模型。產生的特定皮膚模型可藉由色彩直方圖來表示，例如使用Cb Cr 色域，其係在數位攝影器材中所使用的以藍色色度(Cb )與紅色色度(Cr )成份做參考的色域。在某些情況中，可檢測一特定姿態來作為觸發指令，在此觸發指令發生之後可啟始化手部定位，並且可在接下來的影像序列的圖框上實施姿態辨識。
手部追蹤在一個示範實施例中，係可藉由一個檢測式的策略來實現。在這一方面上，在各個圖框中的手部定位可例如基於皮膚檢測與諸如臉部檢測、在前一個圖框中的手部定位資訊等或諸如此類的多種有用的線索來判定。依據一些實施例的檢測式追蹤可提供可用於即時應用相關的相對準確且快速的追蹤。圖框中可藉由手部追蹤來判定的一個手部區域的特定分區可用來當作區塊式的局部紋理描述符之基本成份。此描述符可用來表示多個姿態區域，並且健全姿態分析判定結果可經由將一個目前紋理描述符和圖庫樣本做匹配來達成。從幾個連續的圖框中得出的結果可藉由投票策略來整合，以得出最後姿態分類，其可控制視覺互動系統依據相關預定指令來執行對應操作。
第1圖繪示用於依據本發明之示範實施例之UI控制器之姿態分析程序之一例。應注意，雖然將於下文中以手部的皮膚檢測式姿態分析示範實施例來描述一實施例，但就姿態分析而言，亦應包括曝露皮膚的其他部份。舉例來說，就姿態分析而言，假設手臂、腳部等等部位是曝露的，那麼可亦考慮手臂定位、腳部定位或相似定位來致能皮膚檢測。如列示可由關於一個示範實施例導出的多種操作的流程圖，即第1圖，所示，一開始可在操作步驟10中接收影像資料(如影片資料)。此影像資料可能是從與執行依據本發明之示範實施例之姿態分析辨識有關的設備的一個攝影器材接收而來的，就此攝影器材可為此設備的一部分或與此設備通訊而言。在一些實施例中，在攝影器材和姿態分析中所使用的其他部件間的通訊可為即時的，或至少具有相對較小的延遲。
依據第1圖之示範實施例，可在操作步驟12中判定關於皮膚模型是否已為某人在正針對姿態分析受監測之影像資料中產生。在操作步驟14中，若此人並沒有已經存在的模型，那麼可分析此影像資料來為此人提供特定皮膚模型。若有已經存在的模型(或在這樣的模型建立以後)，那麼可在操作步驟16中做關於是否要依據「觸發」符號或姿態檢測開始追蹤(如手部追蹤)之判定。觸發姿態可為一個符號或姿態，其在被檢測到時會啟動特定皮膚曝露區域之追蹤並針對姿態辨識來分析。觸發姿態的檢測可在操作步驟18中執行。響應於觸發姿態檢測，曝露皮膚區域的追蹤(如手部追蹤)可在操作步驟20中啟動。然而，在某些情況中，可不利用觸發姿態來啟動手部追蹤，而可利用諸如例如手動的使用者啟動動作或不同的自動或手動觸發動作等一些其他刺激來啟動手部追蹤。
為了要致能特定皮膚區域追蹤(例如手部)，其他曝露皮膚區域可被檢測並在分析中排除。因此，舉例來說，因為臉部常被曝露出且可能出現在和手部相同的圖框中，因此可在操作步驟22中執行臉部檢測以作和手部追蹤相關的用途。可幫助手部追蹤的另一種技術可包括在操作步驟24中考慮在前一個圖框中的手部定位，此係關於判定在目前圖框中的手部區域。
藉由追蹤關於可從正被追蹤的曝露皮膚區域(如手部區域)提取的特徵的移動動作或改變，可在操作步驟26中執行姿態分析。在一個示範實施例中，可藉由將來自正被追蹤的曝露皮膚區域的特徵與對應於特定姿態的已儲存的資料庫中的特徵做比較來執行姿態分析。藉著判定在資料庫(如匹配資料庫28)中的特徵與來自正被追蹤的曝露皮膚區域所提取的特徵間的匹配(或大體上在一個臨界數量中相似)，可辨識關於資料庫中的此等匹配特徵的特定姿態。
雖然並非一定需要，但在一些實施例中，可在操作步驟30中採用一個「投票」策略。此投票策略可藉由提供用於判定一個特定姿態出現的次數或圖框數的一個計數器(雖然也可採取時間式途徑)來施行。若特定姿態被辨識了某臨界次數次或在某臨界圖框數中連續被辨識，或在某段給定時間中被辨識，那麼此特定姿態可通過投票測試，並被看作已辨識姿態。然而，若某姿態只在低於臨界值的一段時間內或圖框數中被辨識，那麼此姿態可能會被看作不被辨識。投票策略在刪除可能會發生在預定姿態過渡期間的非預定姿態上可為相當有用的。
若已辨識出特定姿態(或者，若使用投票策略，則是在特定姿態通過投票測試之後)，那麼便可在操作步驟32中執行一個對應指令。如此一來，舉例來說，資料庫便可儲存關於對應各個指令或UI功能的姿態之資訊。因此，舉例來說，若在播放音樂或影片內容時辨識出一個握緊的拳頭，且此握緊的拳頭係與一個停止指令有關，那麼此音樂或影片內容便會被停止。
第2圖繪示用於致能依據本發明之示範實施例之姿態分析之設備之一概要方塊圖。本發明之一示範實施例將於現在參考第2圖來描述，其中展示了用於致能姿態分析之設備的某些部件。第2圖之設備可利用在例如行動終端機(如第9圖中的行動終端機110)或各種其他設備上，行動或定點的(諸如例如網路設備、個人電腦、膝上型電腦、或諸如此類的設備)都可以。或者是可在組合設備上利用這些實施例。因此，本發明之一些實施例可在單一設備(例如行動終端機110)上完全體現，或以客戶/伺服器關係中的數個設備來體現。更甚者，應注意以下所描述的設備或部件不為強制的，且因此有些設備或部件可在某些實施例中省略。
現在請參考第2圖，於此提供一種用於致能姿態分析的設備。此設備可包括一處理器70、一通訊介面74、一記憶體設備76，或以其他方式與處理器70、通訊介面74、記憶體設備76聯通。記憶體設備76可包括例如依電性及/或非依電性記憶體。記憶體設備76可組配來儲存資訊、資料、應用程式、指令或諸如此類的項目，以實施依據本發明之示範實施例的多種功能。舉例來說，記憶體設備76可組配來為處理器70緩衝輸入資料。另外，或是可替代地，記憶體設備76可組配來儲存要由處理器70執行的動作之指令。還有，如另一個選擇，記憶體設備76可為儲存資訊及/或媒體內容的一個或多個資料庫。
處理器70可藉由數個不同的方法來體現。舉例來說，處理器70可藉由多種處理構件來體現，諸如處理元件、協同處理器、控制器、或多種其他包括諸如ASIC(特定應用積體電路)、FPGA(可現場規劃閘陣列)、硬體加速器等諸如此類的積體電路的處理設備。於一示範實施例中，處理器70可組配來執行儲存於記憶體設備76中之指令，或處理器70可藉由其他方式取得之指令。
同時，通訊介面74可組配來接收及/或發送資料自/至網路及/或任何其他與此裝置聯通的設備或模組的，諸如以硬體或軟體或軟硬體組合來體現的設備或電路之任何構件。就這個考量來說，通訊介面74可包括例如一個天線(或數個天線)，並支援硬體及/或軟體以與無線通訊網路聯通。在定點環境中，通訊介面74可選擇性地或亦支援有線通訊。如此一來，通訊介面74可包括一個通訊數據機及/或其他硬體/軟體以經由電纜、數位用戶線路(DSL)、通用串列匯流排(USB)或其他機構來支援通訊。
使用者介面72可與處理器70聯通以接收在使用者介面72的使用者輸入之指示及/或提供一個可藉由聽覺的、視覺的、機械式的、或其他的輸出給使用者。如此一來，使用者介面72可包括例如一個鍵盤、一個滑鼠、一個搖桿、一個顯示器、一個觸控式螢幕、一個麥克風、一個喇叭、或其他輸入/輸出機構。在此裝置以一個伺服器或一些其他網路設備來體現的一個示範實施例中，使用者介面72可被限制或刪除的。然而，在此裝置以一個行動終端機(例如行動終端機110)來體現的一個示範實施例中，除了其他設備或元件以外，使用者介面72亦可包括任何或所有的一個喇叭、一個麥克風、一個顯示器、以及一個鍵盤或諸如此類者。
在一個示範實施例中，處理器70可藉由，包括或是以其他方式控制，一個皮膚模型產生器78、一個姿態檢測器80、一個皮膚區域追蹤器82(例如一個手部區域追蹤器)、與一個姿態辨識器84來體現。在一些實施例中，處理器70可藉由包括或控制一個投票管理器86來體現。皮膚模型產生器78、姿態檢測器80、皮膚區域追蹤器82、姿態辨識器84及投票管理器86可各為諸如一個設備或以硬體、軟體、或軟硬體組合(如在軟體控制下操作的處理器70)具現的電路之組配來分別執行如以下所述的皮膚模型產生器78、姿態檢測器80、皮膚區域追蹤器82、姿態辨識器84及投票管理器86之對應功能的任何構件。在一個示範實施例中，皮膚模型產生器78、姿態檢測器80及/或皮膚區域追蹤器82可各自與一個媒體捕捉模組(例如第9圖的攝影模組137)聯通，以接收影像資料以用於如下所述之分析。
皮膚模型產生器78可組配來產生一個使用者特定皮膚模型。在這個考量之下，因為本發明之實施例在操作上採用皮膚檢測，且因為可能會在不同的可能使用者間遇到許多不同的膚色，故一個使用者皮膚模型可為一個廣用皮膚模型以提供不同使用者在使用上的更良好的性能。再者，一個使用者特定皮膚模型亦可提供只給單一使用者使用的更良好的性能，因為此皮膚模型可比廣用皮膚模型更貼合此單一使用者。
因此，一個使用者特定皮膚模型除了其他會在不同使用者間造成差異特徵的辨別因子以外，還擔起了照度與種族等因子。
在一個示範實施例中，皮膚模型產生器78可組配來首先檢測有可能會是姿態被辨識的地方的一個關注區域(例如手部區域)。在一些實施例中，關注區域可至少部分係基於動作來檢測。舉例來說，若要檢測手部姿態，那麼由手部所引起的動作在一些連續圖框中可為支配動作。手部動作可藉由規律的向右及/或向左揮來定義。之後，手部區域便可利用暫時性差異及型態運算子來定位，諸如擴張度或侵蝕度等等。第3A圖顯示一個手部區域90的位置之一例以做為示範關注區域。
皮膚模型產生器78可更組配來為手部區域90中之像素執行顏色叢集。在這樣的考量之下，如第3B圖所示，可將手部區域90轉換成YCr Cb 色域，其顯示在第3C圖中。YCr Cb 色域為在影片與數位攝影器材系統中所使用的色域家族之一，其中Y是照度，而Cb 與Cr 分別為藍色與紅色色度成份。在轉換成YCr Cb 色域之後，像素可被叢集為數個主色分佈(例如3-叢集)。因為手部在手部區域90中是最具支配性的物件，因此叢集分佈可包括一個皮膚叢集。第3D圖顯示手部區域90的一個顏色叢集結果之範例。
除了顏色叢集之外，皮膚模型產生器可組配來藉著利用一個廣用皮膚模型來判定一個膚色叢集。雖然像素可叢集成數個類別，但亦可針對相應於皮膚像素的叢集來做判定。因此，在一個示範實施例中，一個廣用皮膚模型可用來針對手部區域具現粗略皮膚檢測。在整合粗略皮膚檢測與顏色叢集之結果的過程中，皮膚叢集可由計算各個叢集的皮膚像素數目來判定。根據一範例的粗略皮膚檢測結果顯示在第3E圖中。
然後可判定在皮膚叢集中的最大相連區域。舉例來說，可獲得皮膚叢集像素的最大相連區域以刪除雜訊像素，其可為可產生統計錯誤的明顯的非手部像素。第3F圖顯示依據之後可使用在皮膚模型產生上的一示範實施例之最後判定的皮膚像素之一例。
特定皮膚模型產生可在此時完成，因為皮膚像素可被良好界定。在一個示範實施例中，皮膚模型可藉由一個顏色直方圖模型來產生。考慮到對照度變異的敏感性，可在YCr Cb 域中產生統計資訊，且只可選擇色彩子域(Cr 與Cb )。正式地說，顏色直方圖H可依據第(1)式來計算： 其中，bin為用於各個顏色等級(經驗上是設為16)分類的目錄號碼，n為手部區域中的像素總數，而C為一個計算函數，其定義為： 同時(或在另一時間)，可判定一個統計的非皮膚顏色直方圖，其亦可用在皮膚檢測上以減少錯誤。
姿態檢測器80可組配來執行姿態檢測。在這方面，可由姿態檢測器80來執行的一個示範函數可包括觸發姿態檢測。在這方面，在一些實施例中，在藉由皮膚模型產生器78產生特定皮膚模型之後，便啟始姿態分析程序來致能觸發姿態檢測。在一些實施例中，觸發姿態檢測可藉由一個圖框接一個圖框之基礎來執行，並且當觸發姿態被檢測到時，可啟始手部追蹤與姿態辨識。
在一個示範實施例中，觸發姿態可由使用者來在例如一個訓練期中界定。如此一來，使用者可對被訓練來辨識此使用者的皮膚的使用者特定皮膚模型顯示出一個特定姿態，並且此使用者可告知姿態檢測器80(例如經由使用者 介面72)此特定姿態便為觸發姿態。在一個示範實施例中，當訓練姿態檢測器80時，使用者可能會想要確定手部區域在各個圖框中為支配皮膚區域，除了也許是臉以外，其可被移開或忽略。在這樣的考量之下，在許多情況中，臉與手可在同一個影像圖框中出現。因此，姿態檢測器80可更組配來不只是要檢測一個臉部區域，更要在利用臉部檢測技術來界定臉部區域後忽略臉部區域。在臉部區域被忽略掉以後，可發現或認為一個支配的或最大的皮膚像素相連區域與手部一致。若目前手上所呈現的姿態被界定為觸發姿態，則手部便可為接下來的姿態分析處理精確地被定位。對應此姿態的特徵可被儲存，以在將來若一影像中的特徵被辨識為對應觸發姿態時，與此觸發姿態(例如啟始手部追蹤與姿態辨識)相關的功能就會被完成，且可因此開始一個UI控制系統。
在一個示範實施例中，姿態檢測器80可組配來除了用於辨識觸發姿態以外，亦在一個追蹤與辨識序列開始後辨識其他姿態。在這樣的考量之下，舉例來說，多個姿態可各自與個別的UI指令相關。在一些情況中，一個區塊式局部紋理描述可在有關姿態檢測中被利用，以增進此姿態檢測所使用的辨識演算法的精確度與耐用度。可利用區塊式局部紋理描述來提供一影像(或一影像的一部分)的一個相對恆定的特徵描述。如此一來，姿態檢測器80可利用一個局部二元模式(LBP)轉換法來提供一個相對良好的手部影像的表示法。一個示範LBP顯示在第4A-4C圖中，並 於下文中描述。
在這樣的考量之下，可針對此影像中的各個像素c (x c ,y c )以二元字串提供一個標籤，其可藉由以c (x c ,y c )二值化鄰近像素(例如8-鄰近像素)p (x p ,y p )來獲得，如第(3)式所示及第4A與4B圖所展示的： 其中f 代表像素的對應灰階值。
而對於二元字串，則以一個轉換係數矩陣(例如諸如第4C圖之矩陣)來執行摺積運算，對應於像素c (x c ,y c )之最終的十進位值可依據第(4)式來計算： 針對不同的手部姿態之一些LBP濾過影像以範例的方式繪示在第5A-5C圖中。在這方面，針對各個體態(例如第5A、5B與5C圖)，最上面的兩個影像代表不同姿態的手部影像在一個全黑的背景下(如最左上方見到的影像)與一個複雜的背景下(如最右上方見到的影像)的樣子，而最下面的兩個影像則表示針對上一行的各個影像的各個對應LBP濾過影像。從第5A-5C圖的影像中，可領會出LBP運算子可提取許多影像細節。更甚者，雖然複雜背景可能會影響轉換結果，但同一個姿態類別中的相似度還是會保持在相對高的狀態。
LBP濾過影像可表示一個灰階LBP紋理描述。然後可藉由計算各個灰階像素出現的次數，將一個LBP濾過影像之直方圖用作一個特徵向量。然而，藉由使用一個直方圖， 可能會漏失一些空間架構資訊，而這可能會在一些情況中造成匹配困難。舉例來說，如繪示數個對應於各個姿態影像的直方圖之範例的第6圖所示，包含在不同空間方向上延伸的大拇指的最上面的兩個姿態可能會難以分辨。因此，為了要使各個姿態影像的特徵向量保持空間架構關聯，姿態檢測器80可運用區塊式策略。
為了運用區塊式策略，各個LBP濾過影像可劃分成數個區塊或分區。可在各個局部區塊中計算直方圖，且藉由並置來自各個局部區塊的所有小直方圖來形成一個最終特徵向量。第7圖繪示可由姿態檢測器80產生的區塊式局部紋理特徵表示型態之示意圖。
皮膚區域追蹤器82在一個示範實施例中，可組配來追蹤一個使用者的手部。對致能針對手部或身體的其他區域的姿態辨識來說，手部或其他區域的精確定位可增進分析及結果輸出的品質。基於上述的啟始手部區域，手部追蹤可藉由一個檢測式策略來在連續的圖框上完成。就這方面，舉例來說，一開始可使用上文中所產生的皮膚模型H來完成皮膚檢測。因為產生了特定皮膚模型H，故手部區域很有可能會被皮膚檢測找到。因此，若滿足以下條件，則可判定一個像素為一皮膚點： 在皮膚檢測之後，可採用一些型態上的操作，諸如擴張度或侵蝕度等等。第8A圖顯示兩個示範初始影像(各在上方和下方)，而第8B到8E圖顯示根據一示範實施例之針對各 個初始影像的手部定位與追蹤操作。就這方面，在第8B圖中顯示針對各個初始影像的皮膚檢測結果之範例。
之後可建立或判定相連區域。就這方面，舉例來說，基於皮膚檢測結果，皮膚像素之相連區域可以實現，其可能對應於一張臉、一隻手、或其他物件。在運用臨界壓制的過程中，可忽略較小的區域，且可保留較大的皮膚區域。在一個示範實施例中，各個相連區域可被記錄成具有質心C的一個長方形，C可如此計算： 其中(x j ,y j )屬於第i個相連區域，而n i 為此區域中的皮膚像素總數。然而，除了長方形以外，亦可運用任何形狀來替代。第8C圖顯示依據一個示範實施例之相連區域判定的一個結果範例。
相連區域可不只是對應於一個手部區域，其亦可對應於一個臉部區域，或和其他物件相關的區域。因此，亦可考慮可用來辨別不同物件的多種線索(例如將一個手部區域和一個臉部區域辨別)。在一個示範實施例中，使用者特定皮膚模型若皆檢測到臉部和手部，則可使用有關之前影像圖框的額外線索來協助辨別物件。
在這點上，舉例來說，可採用臉部檢測來協助忽略並非關注區域(例如手部區域)的區域。如此一來，舉例來說，可屏棄在各圖框中檢測到的任何臉部(以及他們個別的相連區域)。此外，或，或者是，可針對手部追蹤採用多個圖框分析。如此一來，舉例來說，皮膚區域追蹤器82可組配來分析連續影片圖框，以使在先前圖框中的手部定位可被用作在目前的圖框中定位新的手部位置的一個線索。因此，舉例來說，為了要在臉部區域的屏棄動作之後保持相連區域，可判定具有到先前圖框中的手部區域最小距離的一個相連區域為目前圖框中的手部區域。在兩個相連區域間的距離可被定義為個別區域的對應中心間之距離：
D (r i ,r j )=∥C i -C j ∥, (7)其中r i 和r j 為所考慮的兩個相連區域。C i 和C j 為其對應質心。第8D圖顯示採用多個線索壓制之手部區域90判定結果之例。
在一些實施例中，皮膚區域追蹤器82可更組配來基於顏色一致性修訂來執行手部區域判定。在這點上，舉例來說，若僅基於相連區域與多個線索，則手部區域可能不是單一個相連區域(例如，由於照明效應)。因此，如在第8D圖中較低的影像所示，可能不會精確地界定一個手部區域。因而，皮膚區域追蹤器82可亦分析顏色一致性來修訂一個粗略手部定位。用於包含顏色一致性分析的一個示範機構可納入增加關注區域的大小來在一個可包括實際的整個手部的更大的區域上導入額外分析。舉例來說，基於一個目前的手部長方形區域r (w ,h )，可在維持中心不變的情況下擴大此區域到r' (2w ,2h )。之後可在區域r' 上執行顏色叢集以找出一個一致的顏色分佈。然後可藉由考慮此對應皮膚分區為一個相連區域來判定一個皮膚叢集。接著可選擇最大的皮膚叢集像素相連區域，且可判定此所選區域的新的中心。所選區域可包括此手部區域的較佳估算，如第8E圖中所示之底下的範例。
姿態辨識器84可組配來執行在與目前關注區域有關之特徵與一個特定已知姿態之特徵間的姿態匹配。舉例來說，可為了比較目前姿態之特徵而提供已知姿態資料庫以及他們個別的特徵。若在被比較的姿態間有足夠的相似性，那麼姿態辨識器84可將目前姿態與此特定已知姿態聯繫，並因而界定或辨識出目前姿態。
在一個示範實施例中,已知姿態資料庫可由使用者(或另一個人)在離線狀態中產生。因此，可收集針對各個姿態的多個樣本以組成姿態圖庫。在一個示範實施例中，一開始可執行尺寸正規化，且可依據上述架構來轉換各個樣本為一個特徵向量，並將其紀錄成一個模板，以在匹配目的上使用。
為了要執行手部姿態辨識，可選擇一個簡單的直方圖交集作為相似性評量，且可使用近鄰原則(nearest neighbor principle)來提供最後辨識結果。後文描述此種相似性評量之一例。在這點上，舉例來說，兩個影像(I 1 及I 2 )間之相似性可以第(8)式定義：
其中M 為總區塊數且Bin 為以灰階值分類的分類號碼。W 及H 各為正規化後的影像之寬度與高度。藉著比較目前影像與圖庫中的各個模板間之相似性，可依據最大相似度來完成最後辨識結果： 其中j 涉及整個圖庫。基於匹配策略，姿態辨識器84可組配來分析所追蹤的手部區域，以及藉由以一個圖框接一個圖框之基礎來執行辨識。
如以上所指，可利用一個已辨識的姿態來觸發或引起與此所辨識的姿態相關的特定指令之執行。在這點上，舉例來說，姿態辨識器84可發送已辨識姿態之身份到可執行(例如經由使用者介面72)相對應的UI指令之處理器70。可使用此指令來領導UI系統執行對應操作。然而，一些實施例可籌備採用投票策略以確保可能會在一個所欲姿態過渡期的圖框中相遇的姿態不會起作用。舉例來說，當正在往上豎立大拇指姿態和張開手姿態間轉換時，一個人可能會先縮回大拇指而看起來像是一個握起的拳頭姿態。為了要避免將此握起的拳頭作為一個姿態檢測而使發佈UI系統指令的相關行為啟動，可組配投票管理器86來計算(例如依圖框或時間之基礎)此姿態出現的次數或時間長度。因此，舉例來說，可只在相關姿態連續出現n次以後將指令視為有效指令，其中n為一預定臨界值。若姿態並未達到有效條件，則可忽略此辨識結果。
現在將參考第9圖來描述本發明之一示範實施例，在此實施例中展示了用於致能姿態分析的一裝置之某些元件。就其本身而論，第9圖繪示可自本發明之示範實施例獲益之行動終端機110之方塊圖。然而，應了解，如所繪示及後文所述之行動終端機僅係一種說明類型的可自本發明之示範實施例獲益之行動終端機，並且因此不應被拿來限制本發明之實施例之範圍。諸如行動數位助理(PDA)、呼叫器、行動電視、遊戲設備、所有種類的電腦(例如膝上型或行動電腦)、攝影器材、音訊/視訊播放器、收音機、全球定位系統(GPS)設備、或任何上述行動終端機之組合型態之數種類型的行動終端機、以及其他種類的通訊系統，係可輕易地採用本發明之實施例。
另外，雖然本發明方法的數個實施例可藉由行動終端機110來執行或使用或與之聯通，但除了行動終端機之外的其他設備(例如個人電腦(PC)、伺服器、或諸如此類者)亦可採用此方法或用以與之相連。再者，本發明之實施例之系統與方法也許業已主要配合結合行動通訊應用來描述。但應了解，本發明之實施例之系統與方法亦可結合多種其他應用來利用，不論是在行動通訊產業中或行動通訊以外的產業。
行動終端機110可包括與一個發送器114以及一個接收器116做可操作式通訊的一個天線112(或多個天線)。行動終端機110可更包括諸如控制器120(例如處理器70)或其他處理元件的一個裝置，其各提供信號到發送器114及自接收器116接收信號。此等信號可包括依據適用蜂巢式系統之空中介面標準的信令資訊、及/或亦可包括相應於話語的資料、及/或接收的資料及/或使用者所產生/發送的資料。在這點上，行動終端機110可為可配合一或多個空中介面標準、通訊協定、調變類型、及接取類型來操作的。舉例而言，行動終端機110可為可根據許多第一、第二、第三、及/或第四代通訊協定或諸如此類之協定而操作的。舉例來說，行動終端機110可能可根據第二代(2G)無線通訊協定IS-136(分時多工接取(TDMA))、GSM(全球行動通訊系統)、及IS-95(分碼多工接取(CDMA))，或根據諸如全球行動通訊系統(UMTS)、CDMA2000、寬頻CDMA(WCDMA)及分時同步分碼多工接取(TD-SCDMA)之第三代(3G)無線通訊協定，根據諸如E-UTRAN(演進版通用陸地無線接取網路)之3.9G無線通訊協定，根據第四代(4G)無線通訊協定或諸如此類協定而操作的。另一種替代方式是(或者，此外)，行動終端機110可能可根據非蜂巢式通訊機制來操作的。舉例來說，行動終端機110可能可藉由無線區域網路(WLAN)或其他通訊網路來聯通的。
可理解諸如控制器120之此裝置可包括用於實施尤其是行動終端機110之音訊/視訊與邏輯功能之電路。舉例來說，控制器120可包含一個數位信號處理設備、一個微處理設備、以及多種類比數位轉換器、數位類比轉換器、及/或其他支援電路。行動終端機110之控制與信號處理功能可根據其各自之性能分配在這些設備間。因此，控制器120亦可包括在調變及發送之前編碼及插入訊息與資料之功能。此外，控制器120亦可包括一個內部聲音編碼器，且可包括一個內部資料數據機。更甚者，控制器120可包括操作可能係儲存在記憶體中的一個或多個軟體程式之功能。舉例來說，控制器120可能可操作諸如傳統網頁瀏覽器之聯結程式的。之後此連結程式可允許行動終端機110根據，舉例來說，無線應用協定(WAP)、超本文傳輸協定(HTTP)、及/或諸如此類者來發送並接收諸如適地性內容及/或其他網頁內容之網頁內容。
行動終端機110可亦包含包括諸如耳機或喇叭124的輸出的一個使用者介面、一個麥克風126、一個顯示器128、以及一個使用者輸入介面，其可操作性地耦合至控制器120。允許行動終端機110接收資料的此使用者介面可包括任何若干允許行動終端機110接收資料的設備，諸如一個鍵盤130、一個觸碰式螢幕(未示於圖中)或其他輸入設備。在其他包括一個鍵盤130的實施例中，鍵盤130可包括數字鍵(0-9)與相關按鍵(#,*)，以及用於操作行動終端機110的其他硬式及軟式按鍵。或者是，鍵盤130可包括一個標準鍵盤(QWERTY)鍵盤配置。鍵盤130亦可包括具有相關功能的多種軟式按鍵。另外，或者是，行動終端機110可包括諸如搖桿或其他輸入介面的介面設備。行動終端機110更包括諸如振動電池組的一個電池134，以為用來操作行動終端機110的多種電路提供電力，並且選擇性地提供機械振動以作為可檢測的輸出。
行動終端機110可更包括使用者識別模組(UIM)138。UIM 138一般為具有內建處理器的記憶體設備。UIM 138可包括例如一個用戶識別模組(SIM)、一個通用積體電路卡(UICC)、一個通用用戶識別模組(USIM)、一個可移除使用者識別模組(R-UIM)等等。UIM 138一般會儲存有關行動電話用戶的資訊元件。除了UIM 138以外，行動終端機110可配備有記憶體。行動終端機110可包括依電性記憶體140及/或非依電性記憶體142。舉例來說，依電性記憶體140可包括：包括有動態或靜態RAM的隨機存取記憶體(RAM)、晶片上或晶片外的快取記憶體、及/或諸如此類者。可為內嵌式或可移除式的非依電性記憶體142可包括例如唯讀記憶體、快閃記憶體、磁性儲存體設備(例如硬碟、軟碟驅動器、磁帶等)、光碟驅動器及/或媒體、非依電性隨機存取記憶體(NVRAM)、及/或諸如此類者。如同依電性記憶體140，非依電性記憶體142可包括用於暫時儲存資料的快取區域。記憶體可儲存行動終端機110所使用的多件資訊與資料來執行行動終端機110的功能。舉例來說，此等記憶體可包括可以唯一地識別出行動終端機110的諸如國際行動設備識別(IMEI)碼的一個識別器。更甚者，此等記憶體可儲存用於判定單元識別符資訊的指令。具體地說，就是此等記憶體可儲存應用程式以供控制器120執行，其判定行動終端機110正通聯中的目前單元的身份，即單元識別符身份。
在一個示範實施例中，行動終端機110可包括與控制器120通聯的諸如攝影器材、視訊及/或音訊模組的一個媒體捕捉模組。此媒體捕捉模組可為用於捕捉影像、視訊及/或音訊以儲存、顯示或發送的任何構件。舉例來說，在此媒體捕捉模組為一個攝影模組137的一個示範實施例中，攝影模組137可包括可由捕捉到的影像形成數位影像檔案的一個數位攝影器材。就其本身而言，攝影模組137可包括諸如透鏡或其他光學設備的所有的硬體，以及由所捕捉的影像創造數位影像檔案所必需的軟體。或者是，攝影模組137可僅包括觀看影像所需要的硬體，而行動終端機110的記憶體設備儲存由所捕捉的影像創造數位影像檔案所必需的軟體形式的供控制器120執行的指令。在一個示範實施例中，攝影模組137可更包括諸如協同處理器的處理元件，其協助控制器120處理影像資料，以及用於壓縮及/或解壓縮影像資料的編碼器及/或解碼器。編碼器及/或解碼器可依據JPEG(聯合攝影專家小組)標準格式或其他格式來編碼及/或解碼。
第10圖為依據本發明之一些示範實施例的系統、方法與程式產品流程圖。將了解，此流程圖中之各方塊或步驟與此流程圖中之方塊之結合係可藉由多種方式來實施，諸如硬體、軟體、及/或包括一或多個電腦程式指令的軟體。舉例來說，一或多個以上所討論的程序可藉由電腦程式指令來體現。在這點上，體現上述程序之電腦程式指令可儲存在採用本發明之實施例的行動終端機或其他裝置的記憶體設備中，並由此行動終端機或其他裝置中的處理器來執行。如將為人所體認的，任何此等電腦程式指令可被載入到電腦或其他可規劃裝置(即硬體)上，以製造一個機器，以使在此電腦(例如經由處理器)或其他可規劃裝置上執行的指令創造用於實施在此流程圖中詳細說明之(數個)方塊或(數個)步驟之構件。此等電腦程式指令亦可儲存在可引導一台電腦(例如處理器或其他計算設備)或其他可規劃裝置的電腦可讀取記憶體上以某種特定方式來作用，以使儲存在此電腦可讀取記憶體中的指令產生包括實施在此流程圖中詳細說明之(數個)方塊或(數個)步驟之功能之指令構件的一種製品。此等電腦程式指令亦可被載入到電腦或其他可規劃裝置(即硬體)上，以引起要在此電腦或其他可規劃裝置上執行的一連串的操作步驟，以產生電腦實施處理，以使在此電腦或其他可規劃裝置上執行的指令提供用於實施在此流程圖中詳細說明之(數個)方塊或(數個)步驟之功能。
因此，此流程圖之方塊或步驟支援用於執行特定功能的手段之組合、用於執行特定功能的步驟之組合、以及用於執行特定功能的程式指令手段之組合。亦將了解，此流程圖之一個或多個方塊或步驟以及此流程圖之方塊或步驟之組合可藉由執行此等特定功能或步驟的特定目的硬體式電腦系統或特定目的硬體與電腦指令之組合來實施。
在這點上，如例如第10圖中所繪示的用於提供姿態分析之方法的一個實施例可包括利用針對檢測特定使用者的皮膚所產生的皮膚檢測模型來分析影像資料之操作步驟210。此方法可更包括在操作步驟220中追蹤此影像資料的與一個皮膚區域相關的一個分區，以及在操作步驟230中根據將在此皮膚區域中辨識到的特徵與對應一預定姿態的儲存特徵做比較來針對此影像的此受追蹤分區執行姿態辨識。此皮膚區域在某些情況中可對應一個手部區域。
在一個示範實施例中，此方法亦可更包括選擇性的操作步驟，其一些範例以虛線顯示在第10圖中。在這方面，示範性的額外操作步驟可包括可為針對特定使用者產生皮膚檢測模型之啟始操作步驟的操作步驟200。然而，皮膚檢測模型可預先開發，並因此在一些實施例並不需要被執行。在一些實施例中，產生皮膚檢測模型可包括利用皮膚直方圖模型來產生皮膚模型。
在另一示範實施例中，執行姿態辨識可包括響應於檢測到一個觸發姿態而啟始姿態辨識。在這樣的情況下，此方法可更包括在操作步驟215中在檢測與忽略臉部區域後基於對應皮膚像素之像素相連區域之逐框分析來檢測一觸發姿態。在一些實施例中，此方法可更包括在操作步驟240中在致能對應於辨識到的特定姿態之執行前判定辨識到的特定姿態是否包括臨界等級的辨識(例如，依據辨識數量、圖框數量、在給定時段內的辨識或圖框數量)。
在一個示範實施例中，追蹤影像之分區可包括響應於一觸發姿態之檢測而啟始追蹤此皮膚區域之移動動作。或者是，或，此外，追蹤此影像之分區可包括至少部分基於在先前圖框中的手部定位來判定此影像資料中的一個手部區域，或擴大此區域之邊界並判定在此擴大邊界中之皮膚叢集來對應一個手部分區，以用於姿態辨識。在另一個示範實施例中，執行姿態分析可包括將針對此影像的此分區(例如手部分區)的補丁式局部紋理與多個預定樣本做比較。
在一個示範實施例中，用於執行上述第10圖中之方法的裝置可包含組配來執行一些或各個上述此等操作步驟(200-240)的一個處理器(例如處理器70)。此處理器可例如係組配來藉由執行以硬體實施的邏輯功能、執行儲存的指令、或執行針對各個操作步驟的演算法來執行此等操作(200-240)。或者是，此裝置可包含用於執行各個上述操作步驟之構件。在這點上，根據一個範例實施例，用於執行操作步驟200-240之構件可包含例如處理器70、皮膚模型產生器78之各個構件、姿態檢測器80、皮膚區域追蹤器82、姿態辨識器84與投票管理器86，或由處理器執行的用於控制皮膚模型產生、姿態辨識、手部追蹤與投票的演算法，如上所述。
熟於此技者將意識到於此所提出之本發明之許多修改形式與其他實施例具有前文的說明與有關圖式中所呈現的教示內容之優點。因此，當明白，本發明並非受限所揭露的於特定實施例，並且欲使其修改形式與其他實施例包括在後附申請專利範圍之範疇中。更甚者，雖然之前的說明與有關圖式於文中描述某些示範元件及/或功能之組合之示範實施例，應領會替代實施例可不悖離後附申請專利範圍之範疇而提供不同的元件及/或功能之組合。在這點上，舉例來說，除了在上文顯著說明的元件及/或功能之組合以外，亦可考量在一些後附申請專利範圍中提出不同的元件及/或功能之組合。於此雖然採用特定詞彙，但其只是為了一般及描述用途而使用，而非用來限制本發明。
200~240．．．操作步驟

Claims (32)

  1. 一種用以提供姿態分析之方法，其包含下列步驟：使用針對檢測一個特定使用者之皮膚而產生的一個皮膚檢測模型來分析影像資料；追蹤與一個皮膚區域相關的該影像資料的一個分區；以及基於將在該皮膚區域中所辨識到的數個特徵的區塊式局部紋理描述符與和一個預定姿態相對應的數個已儲存特徵做比較，而對該影像之所追蹤的該分區執行一個姿態辨識動作。
  2. 如申請專利範圍第1項之方法，其更包含在分析影像資料之前針對該特定使用者產生該皮膚檢測模型之步驟。
  3. 如申請專利範圍第2項之方法，其中產生該皮膚檢測模型之步驟包含利用一個顏色直方圖模型來產生皮膚模型。
  4. 如申請專利範圍第1、2或3項之方法，其中追蹤該影像的該分區之步驟包含響應於該皮膚檢測模型的產生而啟始追蹤該皮膚區域之移動的動作。
  5. 如申請專利範圍第1、2或3項之方法，其中執行該姿態辨識動作之步驟包含響應於檢測到一個觸發姿態而啟始數個姿態之辨識動作。
  6. 如申請專利範圍第5項之方法，其更包含在檢測及忽略一個臉部區域後，基於對應於數個皮膚像素的數個像素的一個相連區域的一個逐框分析，來檢測該觸發姿態之 步驟。
  7. 如申請專利範圍第1、2或3項之方法，其中追蹤該影像的該分區之步驟包含至少部分基於一個先前圖框中的手部定位來判定該影像資料中的一個手部區域。
  8. 如申請專利範圍第1、2或3項之方法，其中追蹤該影像之該分區之步驟包含擴大該區域的邊界以及判定在該等擴大的邊界中的一個皮膚叢集以對應一個手部分區，以在姿態辨識中使用。
  9. 如申請專利範圍第1、2或3項之方法，其中執行姿態辨識之步驟包含將針對該影像的該分區的該區塊式局部紋理描述符與多個預定樣本做比較。
  10. 如申請專利範圍第1、2或3項之方法，其更包含在使對應於所辨識到的一個特定姿態的一個功能可執行前，判定所辨識到的該特定姿態是否包括臨界等級的數個辨識。
  11. 一種用以提供姿態分析之裝置，包含：一處理器；及一包括電腦程式碼的記憶體，該記憶體及該電腦程式碼組配來配合該處理器以使該裝置至少執行以下動作：使用針對檢測一個特定使用者之皮膚而產生的一個皮膚檢測模型來分析影像資料；追蹤與一個皮膚區域相關的該影像資料的一個分區；以及 基於將在該皮膚區域中所辨識到的數個特徵的區塊式局部紋理描述符與和一個預定姿態相對應的數個已儲存特徵做比較，而對該影像之所追蹤的該分區執行一個姿態辨識動作。
  12. 如申請專利範圍第11項之裝置，其中包括該電腦程式碼的該記憶體係更組配來配合該處理器以使該裝置執行在分析影像資料之前針對該特定使用者產生該皮膚檢測模型之動作。
  13. 如申請專利範圍第12項之裝置，其中包括該電腦程式碼的該記憶體係更組配來配合該處理器以使該裝置藉由利用一個顏色直方圖模型來產生該皮膚檢測模型，而產生皮膚模型。
  14. 如申請專利範圍第11、12或13項之裝置，其中包括該電腦程式碼的該記憶體係更組配來配合該處理器，以使該裝置藉由響應於該皮膚檢測模型的產生而啟始追蹤該皮膚區域之移動的動作，而追蹤該影像的該分區。
  15. 如申請專利範圍第11、12或13項之裝置，其中包括該電腦程式碼的該記憶體係更組配來配合該處理器，以使該裝置藉由響應於檢測到一個觸發姿態而啟始數個姿態之辨識動作，來執行該姿態辨識動作。
  16. 如申請專利範圍第15項之裝置，其中包括該電腦程式碼的該記憶體係更組配來配合該處理器，以使該裝置在檢測及忽略一個臉部區域後，基於對應於數個皮膚像素的數個像素的一個相連區域的一個逐框分析，來檢測該觸 發姿態。
  17. 如申請專利範圍第11、12或13項之裝置，其中包括該電腦程式碼的該記憶體係更組配來配合該處理器，以使該裝置藉由至少部分基於一個先前圖框中的手部定位來判定該影像資料中的一個手部區域，而追蹤該影像的該分區。
  18. 如申請專利範圍第11、12或13項之裝置，其中包括該電腦程式碼的該記憶體係更組配來配合該處理器，以使該裝置藉由擴大該區域的邊界以及判定在該等擴大的邊界中的一個皮膚叢集以對應一個手部分區供在姿態辨識中使用，而追蹤該影像之該分區。
  19. 如申請專利範圍第11、12或13項之裝置，其中包括該電腦程式碼的該記憶體係更組配來配合該處理器，以使該裝置藉由將針對該影像的該分區的該區塊式局部紋理描述符與多個預定樣本做比較，而執行姿態辨識。
  20. 如申請專利範圍第11、12或13項之裝置，其中包括該電腦程式碼的該記憶體係更組配來配合該處理器，以使該裝置在讓對應於所辨識到的一個特定姿態的一個功能可執行前，判定所辨識到的該特定姿態是否包括臨界等級的數個辨識。
  21. 一種包含至少一電腦可讀非暫時性儲存媒體的電腦程式產品，該電腦可讀非暫時性儲存媒體內儲存有電腦可執行程式碼指令，該等電腦可執行程式碼指令包含：用以使用針對檢測一個特定使用者之皮膚而產生 的一個皮膚檢測模型來分析影像資料之第一程式碼指令；用以追蹤與一個皮膚區域相關的該影像資料的一個分區之第二程式碼指令；以及用以基於將在該皮膚區域中所辨識到的數個特徵的區塊式局部紋理描述符與和一個預定姿態相對應的數個已儲存特徵做比較，而對該影像之所追蹤的該分區執行一個姿態辨識動作之第三程式碼指令。
  22. 如申請專利範圍第21項之電腦程式產品，其更包含用於在分析影像資料之前針對該特定使用者產生該皮膚檢測模型之第四程式碼指令。
  23. 如申請專利範圍第22項之電腦程式產品，其中該等第四程式碼指令包括用於利用一個顏色直方圖模型來產生皮膚模型的數個指令。
  24. 如申請專利範圍第21、22或23項之電腦程式產品，其中該等第二程式碼指令包括用於響應於該皮膚檢測模型的產生而啟始追蹤該皮膚區域之移動的動作的數個指令。
  25. 如申請專利範圍第21、22或23項之電腦程式產品，其中該等第三程式碼指令包括用於響應於檢測到一個觸發姿態而啟始數個姿態之辨識動作的數個指令。
  26. 如申請專利範圍第25項之電腦程式產品，其更包含用於在檢測及忽略一個臉部區域後基於對應於數個皮膚像素的數個像素的一個相連區域的一個逐框分析來檢測 該觸發姿態之第四程式碼指令。
  27. 如申請專利範圍第21、22或23項之電腦程式產品，其中該等第二程式碼指令包括用於至少部分基於一個先前圖框中的手部定位來判定該影像資料中的一個手部區域之數個指令。
  28. 如申請專利範圍第21、22或23項之電腦程式產品，其中該等第二程式碼指令包括用於擴大該區域的邊界以及判定在該等擴大的邊界中的一個皮膚叢集以對應一個手部分區供在姿態辨識中使用的數個指令。
  29. 如申請專利範圍第21、22或23項之電腦程式產品，其中該等第三程式碼指令包括用以將針對該影像的該分區的該區塊式局部紋理描述符與多個預定樣本做比較的數個指令。
  30. 如申請專利範圍第21、22或23項之電腦程式產品，其更包含用以在使對應於所辨識到的一個特定姿態的一個功能可執行前判定所辨識到的該特定姿態是否包括臨界等級的數個辨識之第四程式碼指令。
  31. 一種用以提供姿態分析之設備，其包含：用以使用針對檢測一個特定使用者之皮膚而產生的一個皮膚檢測模型來分析影像資料之裝置；用以追蹤與一個皮膚區域相關的該影像資料的一個分區之裝置；以及用以基於將在該皮膚區域中所辨識到的數個特徵的區塊局部紋理描述符與和一個預定姿態相對應的數個 已儲存特徵做比較，而對該影像之所追蹤的該分區執行一個姿態辨識動作之裝置。
  32. 如申請專利範圍第31項之設備，其更包含用以在分析影像資料之前針對該特定使用者產生該皮膚檢測模型之裝置。
TW098121612A 2008-06-27 2009-06-26 用以提供姿態分析之方法、裝置和電腦程式產品 TWI484422B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/147,643 US8194921B2 (en) 2008-06-27 2008-06-27 Method, appartaus and computer program product for providing gesture analysis

Publications (2)

Publication Number Publication Date
TW201003539A TW201003539A (en) 2010-01-16
TWI484422B true TWI484422B (zh) 2015-05-11

Family

ID=41444075

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098121612A TWI484422B (zh) 2008-06-27 2009-06-26 用以提供姿態分析之方法、裝置和電腦程式產品

Country Status (4)

Country Link
US (1) US8194921B2 (zh)
EP (2) EP3086206B1 (zh)
TW (1) TWI484422B (zh)
WO (1) WO2009156565A1 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US7315631B1 (en) 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8952894B2 (en) * 2008-05-12 2015-02-10 Microsoft Technology Licensing, Llc Computer vision-based multi-touch sensing using infrared lasers
US8433106B2 (en) * 2008-07-08 2013-04-30 Hewlett-Packard Development Company, L.P. Increasing face detection speed
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8847739B2 (en) 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US8289162B2 (en) * 2008-12-22 2012-10-16 Wimm Labs, Inc. Gesture-based user interface for a wearable portable device
US20100199231A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US9498718B2 (en) * 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
KR101581954B1 (ko) * 2009-06-25 2015-12-31 삼성전자주식회사 실시간으로 피사체의 손을 검출하기 위한 장치 및 방법
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
TW201106200A (en) * 2009-08-12 2011-02-16 Inventec Appliances Corp Electronic device, operating method thereof, and computer program product thereof
US20110074675A1 (en) * 2009-09-29 2011-03-31 Nokia Corporation Method and apparatus for initiating a feature based at least in part on the tracked movement
US8379917B2 (en) * 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
TWI433531B (zh) * 2009-12-25 2014-04-01 Primax Electronics Ltd 啟動拍攝靜態畫面的方法與其系統
US8600108B2 (en) * 2010-01-25 2013-12-03 Hewlett-Packard Development Compant, L.P. Data processing system and method
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US20110268365A1 (en) * 2010-04-30 2011-11-03 Acer Incorporated 3d hand posture recognition system and vision based hand posture recognition method thereof
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US9167289B2 (en) * 2010-09-02 2015-10-20 Verizon Patent And Licensing Inc. Perspective display systems and methods
JP2012068713A (ja) * 2010-09-21 2012-04-05 Sony Corp 情報処理装置、および情報処理方法
US8965051B2 (en) 2010-10-18 2015-02-24 Nokia Corporation Method and apparatus for providing hand detection
US8768006B2 (en) 2010-10-19 2014-07-01 Hewlett-Packard Development Company, L.P. Hand gesture recognition
US8730157B2 (en) * 2010-11-15 2014-05-20 Hewlett-Packard Development Company, L.P. Hand pose recognition
US9111138B2 (en) * 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US9665767B2 (en) * 2011-02-28 2017-05-30 Aic Innovations Group, Inc. Method and apparatus for pattern tracking
US9171200B2 (en) * 2011-03-04 2015-10-27 Hewlett-Packard Development Company, L.P. Gestural interaction identification
US9094813B2 (en) 2011-04-02 2015-07-28 Open Invention Network, Llc System and method for redirecting content based on gestures
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) * 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9922241B2 (en) 2011-12-01 2018-03-20 Nokia Technologies Oy Gesture recognition method, an apparatus and a computer program for the same
EP2602692A1 (en) * 2011-12-05 2013-06-12 Alcatel Lucent Method for recognizing gestures and gesture detector
KR101868903B1 (ko) * 2012-01-11 2018-06-20 한국전자통신연구원 손 추적 장치 및 방법
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US9646200B2 (en) * 2012-06-08 2017-05-09 Qualcomm Incorporated Fast pose detector
US9697418B2 (en) * 2012-07-09 2017-07-04 Qualcomm Incorporated Unsupervised movement detection and gesture recognition
TWI475422B (zh) * 2012-10-31 2015-03-01 Wistron Corp 手勢辨識方法與電子裝置
US20160162039A1 (en) * 2013-07-21 2016-06-09 Pointgrab Ltd. Method and system for touchless activation of a device
LU92291B1 (en) * 2013-10-07 2015-04-08 Olivier Raulot User interface processing
US10845884B2 (en) * 2014-05-13 2020-11-24 Lenovo (Singapore) Pte. Ltd. Detecting inadvertent gesture controls
JP6452369B2 (ja) 2014-09-29 2019-01-16 キヤノン株式会社 情報処理装置とその制御方法、プログラム、記憶媒体
US9384396B2 (en) * 2014-09-29 2016-07-05 Xerox Corporation System and method for detecting settle down time using computer vision techniques
US9842392B2 (en) * 2014-12-15 2017-12-12 Koninklijke Philips N.V. Device, system and method for skin detection
KR20170038378A (ko) * 2015-09-30 2017-04-07 삼성전자주식회사 이미지를 처리하는 전자 장치 및 그 제어 방법
US10296097B2 (en) * 2016-07-15 2019-05-21 International Business Machines Corporation Controlling a computer system using epidermal electronic devices
TWI636395B (zh) * 2016-11-10 2018-09-21 財團法人金屬工業研究發展中心 基於深度值之手勢操作方法及其系統
CN108921101A (zh) * 2018-07-04 2018-11-30 百度在线网络技术（北京）有限公司 基于手势识别控制指令的处理方法、设备及可读存储介质
CN112889017A (zh) * 2018-11-21 2021-06-01 深圳市柔宇科技股份有限公司 手写笔迹处理方法、手写输入设备及计算机可读存储介质
CN111221406B (zh) * 2018-11-23 2023-10-13 杭州萤石软件有限公司 一种信息交互方法及装置
US10762340B2 (en) 2018-11-26 2020-09-01 Accenture Global Solutions Limited Real-time gesture detection and recognition
CN113448427B (zh) 2020-03-24 2023-09-12 华为技术有限公司 设备控制方法、装置及系统
US11946996B2 (en) 2020-06-30 2024-04-02 Apple, Inc. Ultra-accurate object tracking using radar in multi-object environment
CN114584836B (zh) * 2020-11-30 2024-05-03 京东方科技集团股份有限公司 电子产品使用行为检测方法、装置、系统及介质
JP7446338B2 (ja) * 2021-09-16 2024-03-08 センスタイム インターナショナル プライベート リミテッド 顔と手との関連度の検出方法、装置、機器及び記憶媒体
CN115424356B (zh) * 2022-11-07 2023-04-04 科大讯飞股份有限公司 一种座舱内手势交互方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050238201A1 (en) * 2004-04-15 2005-10-27 Atid Shamaie Tracking bimanual movements
US6970579B1 (en) * 2002-04-15 2005-11-29 Sonic Foundry, Inc. Orientation invariant feature detection system and method for unstructured low-quality video
US7274803B1 (en) * 2002-04-02 2007-09-25 Videomining Corporation Method and system for detecting conscious hand movement patterns and computer-generated visual feedback for facilitating human-computer interaction
TW200743039A (en) * 2006-05-03 2007-11-16 Univ Nat Formosa Identification of algorithm and apparatus based on knuckle wrinkles

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US7095401B2 (en) * 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
DE602004006190T8 (de) * 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US20070098250A1 (en) * 2003-05-01 2007-05-03 Delta Dansk Elektronik, Lys Og Akustik Man-machine interface based on 3-D positions of the human body
US20060148323A1 (en) * 2004-12-03 2006-07-06 Ulrich Canzler Facial feature analysis system
KR100776801B1 (ko) * 2006-07-19 2007-11-19 한국전자통신연구원 화상 처리 시스템에서의 제스처 인식 장치 및 방법
US9317124B2 (en) 2006-09-28 2016-04-19 Nokia Technologies Oy Command input by hand gestures captured from camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7274803B1 (en) * 2002-04-02 2007-09-25 Videomining Corporation Method and system for detecting conscious hand movement patterns and computer-generated visual feedback for facilitating human-computer interaction
US6970579B1 (en) * 2002-04-15 2005-11-29 Sonic Foundry, Inc. Orientation invariant feature detection system and method for unstructured low-quality video
US20050238201A1 (en) * 2004-04-15 2005-10-27 Atid Shamaie Tracking bimanual movements
TW200743039A (en) * 2006-05-03 2007-11-16 Univ Nat Formosa Identification of algorithm and apparatus based on knuckle wrinkles

Also Published As

Publication number Publication date
US8194921B2 (en) 2012-06-05
EP3086206A1 (en) 2016-10-26
EP2291722B1 (en) 2016-05-11
EP2291722A4 (en) 2014-04-02
EP2291722A1 (en) 2011-03-09
EP3086206B1 (en) 2017-11-22
WO2009156565A1 (en) 2009-12-30
TW201003539A (en) 2010-01-16
US20090324008A1 (en) 2009-12-31

Similar Documents

Publication Publication Date Title
TWI484422B (zh) 用以提供姿態分析之方法、裝置和電腦程式產品
TWI489397B (zh) 用於提供適應性手勢分析之方法、裝置及電腦程式產品
US8379987B2 (en) Method, apparatus and computer program product for providing hand segmentation for gesture analysis
CN111339842A (zh) 一种视频卡顿识别方法、装置及终端设备
CN107871001B (zh) 音频播放方法、装置、存储介质及电子设备
CN103106388B (zh) 图像识别方法和系统
CN111444366A (zh) 图像分类方法、装置、存储介质及电子设备
WO2013189156A1 (zh) 基于自然交互输入的视频搜索系统及方法和视频搜索服务器
WO2020135756A1 (zh) 视频段的提取方法、装置、设备及计算机可读存储介质
CN112235635A (zh) 动画显示方法、装置、电子设备及存储介质
CN110022397B (zh) 图像处理方法、装置、存储介质及电子设备
JP2006331271A (ja) 代表画像抽出装置及び代表画像抽出プログラム
CN107103269A (zh) 一种表情反馈方法及智能机器人
CN111722717A (zh) 手势识别方法、装置及计算机可读存储介质
US20140285426A1 (en) Signal processing device and signal processing method
CN112261321B (zh) 字幕处理方法、装置及电子设备
US20210216584A1 (en) Mobile device event control with topographical analysis of digital images inventors
US11210335B2 (en) System and method for judging situation of object
CN112101387A (zh) 显著性元素识别方法及装置
CN107977611A (zh) 文字转换方法、终端和计算机可读存储介质
CN115086710B (zh) 视频播放方法、终端设备、装置、系统及存储介质
WO2023195098A1 (ja) 情報処理システム、情報処理方法及びプログラム
CN104881149A (zh) 基于视频流的输入方法及装置
CN114049638A (zh) 图像处理方法、装置、电子设备及存储介质
CN117935100A (zh) 动作捕捉方法及装置