TWI815593B - 用於偵測手勢的方法和系統，以及電腦可讀儲存媒體 - Google Patents

用於偵測手勢的方法和系統，以及電腦可讀儲存媒體 Download PDF

Info

Publication number
TWI815593B
TWI815593B TW111129643A TW111129643A TWI815593B TW I815593 B TWI815593 B TW I815593B TW 111129643 A TW111129643 A TW 111129643A TW 111129643 A TW111129643 A TW 111129643A TW I815593 B TWI815593 B TW I815593B
Authority
TW
Taiwan
Prior art keywords
gesture
information
external
hand
gesture information
Prior art date
Application number
TW111129643A
Other languages
English (en)
Other versions
TW202319889A (zh
Inventor
劉彥廷
洪御恆
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW202319889A publication Critical patent/TW202319889A/zh
Application granted granted Critical
Publication of TWI815593B publication Critical patent/TWI815593B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本發明的實施例提供一種用於偵測手勢的方法和系統，以及一種電腦可讀儲存媒體。所述方法包含：判斷手部的資訊是否足夠用於識別手部的手勢；反應於判定手部的資訊足夠用於識別手勢，識別手勢；接收來自至少一個外部姿勢資訊提供者的第一手勢資訊，且基於第一手勢資訊而校正手勢；反應於判定手部的資訊不足夠用於識別手勢，接收來自至少一個外部姿勢資訊提供者的第二手勢資訊，取得預測手勢，且基於預測手勢和第二隻手勢資訊而取得手勢。

Description

用於偵測手勢的方法和系統，以及電腦可讀儲存媒體
本發明是有關於一種追蹤機制，且特別是有關於一種用於偵測手勢的方法和系統，以及電腦可讀儲存媒體。
參見圖1，其繪示手勢追蹤的示意圖。在圖1的左側部分中，頭戴式顯示器(head-mounted display；HMD)100可安裝有追蹤元件(例如，HMD 100上的追蹤照相機)，且追蹤元件可具有視野(field of view；FOV)199。當待追蹤物件(例如，手部102)處於FOV 199中時，由於HMD 100可取得待追蹤物件的影像，故可追蹤待追蹤對象的姿態(例如，手部102的手勢)。
然而，當待追蹤物件離開FOV 199時，如例示性地繪示在圖1的右側部分上，HMD 100將因無法取得待追蹤物件的影像而無法追蹤待追蹤對象的姿態。
有鑑於此，本發明提供一種用於偵測手勢的方法和系統及電腦可讀儲存媒體，其可用於解決上述技術問題。
本發明的實施例提供一種用於偵測適用於主機的手勢的方法，包含：判斷手部的資訊是否足夠用於識別手部的手勢；反應於判定手部的資訊足夠用於識別手勢，識別手勢，接收來自至少一個外部姿勢資訊提供者的第一手勢資訊，基於第一手勢資訊而校正手勢；反應於判定手部的資訊不足夠用於識別手勢，接收來自至少一個外部姿勢資訊提供者的第二手勢資訊，取得預測手勢，且基於預測手勢和第二手勢資訊而取得手勢。
本發明的實施例提供一種用於偵測手勢的系統。系統包含主機。主機配置成進行：判斷手部的資訊是否足夠用於識別手部的手勢；反應於判定手部的資訊足夠用於識別手勢，識別手勢；接收來自至少一個外部姿勢資訊提供者的第一手勢資訊，且基於第一手勢資訊而校正手勢；反應於判定手部的資訊不足夠用於識別手勢，接收來自至少一個外部姿勢資訊提供者的第二手勢資訊，取得預測手勢，且基於預測手勢和第二隻手勢資訊而取得手勢。
本發明的實施例提供一種非暫時性電腦可讀儲存媒體，電腦可讀儲存媒體記錄可執行電腦程式，可執行電腦程式由主機載入以進行以下步驟：判斷手部的資訊是否足夠用於識別手部的手勢；反應於判定手部的資訊足夠用於識別手勢，識別手勢，接收來自至少一個 外部姿勢資訊提供者的第一手勢資訊，且基於第一手勢資訊而校正手勢；反應於判定手部的資訊不足夠用於識別手勢，接收來自至少一個外部姿勢資訊提供者的第二手勢資訊，取得預測手勢，且基於預測手勢和第二手勢資訊而取得手勢。
100:HMD
102,O1:手部
199,299:視野
200:系統
21:主機
212:儲存電路
214:處理器
221~22N:外部姿勢資訊提供者
CS1:第一控制信號
CS2:第二控制信號
P1~PN:第一手勢資訊
C1~CN:第二手勢資訊
G1:預測手勢
G2:先前手勢
S310,S321~S323,S331~S333:步驟
圖1繪示手勢追蹤的示意圖。
圖2A為根據本發明的實施例的用於偵測手勢的系統的功能圖。
圖2B為圖2A的示意圖。
圖3繪示根據本發明的實施例的用於偵測手勢的方法的流程圖。
參見圖2A及圖2B，其中圖2A為根據本發明的實施例的用於偵測手勢的系統的功能圖，且圖2B為圖2A的示意圖。
在圖2A中，系統200包含主機21和外部姿勢資訊提供者221到外部姿勢資訊提供者22N，其中主機21經由例如藍牙的無線通訊協定與各外部姿勢資訊提供者221到外部姿勢資訊提供者22N連接。
在各種實施例中，主機21可為能夠對FOV 299內的一或多個待追蹤物件(例如，手部O1)進行追蹤功能(例如，由內而外追蹤和/或由外而內追蹤)的任何裝置。在本發明的實施例中，FOV 299可為主機21上的一或多個照相機(例如，追蹤照相機)的影像擷取範圍。當待追蹤對象(例如，手部O1)在FOV 299內時，主機21上的照相機可擷取待追蹤物件的影像，且主機21可基於所擷取影像而追蹤各待追蹤對象的姿態，但本發明不限於此。
在本發明的實施例中，主機21可為用於向其使用者提供實境服務的HMD，其中實境服務包含但不限於虛擬實境(virtual reality；VR)服務、擴增實境(augmented reality；AR)服務、延展實境(extended reality；XR)和/或混合實境(mixed reality；MR)等。在這些情況下，主機21可顯示對應的視覺內容供使用者查看，例如VR/AR/XR/MR視覺內容。
在圖2A中，主機21包含儲存電路212和處理器214。儲存電路212為靜止或移動隨機存取記憶體(random access memory；RAM)、唯讀記憶體(read-only memory；ROM)、快閃記憶體、硬碟或任何其它類似裝置中的一個或組合，且所述儲存電路212記錄可由處理器214執行的程式碼及/或多個模組。
處理器214可與儲存電路212耦接，且處理器214可為例如通用處理器、專用處理器、常規處理器、數位訊號處理器(digital signal processor；DSP)、多個微處理器、與DSP核相關聯的一或多個微處理器、控制器、微控制器、專用積體電路(Application Specific Integrated Circuit；ASIC)、現場可程式設計閘陣列(Field Programmable Gate Array；FPGA)電路、任何其它類型的積體電路(integrated circuit；IC)、狀態機以及類似物。
在一些實施例中，各外部姿勢資訊提供者221到外部姿勢資訊提供者22N可為能夠對一或多個待追蹤物件進行追蹤功能的(外部)照相機，例如主機21外部的追蹤照相機。外部姿勢資訊提供者221到外部姿勢資訊提供者22N可安置在主機21所在的環境或主機21可移動於其中的環境。
在本發明的實施例中，手部O1將用作待追蹤物件的實例，且各外部姿勢資訊提供者221到外部姿勢資訊提供者22N可追蹤手部O1的姿態(即，手勢)。在一個實施例中，手部O1預定由特定數目(例如，21)個預定關節構成，且各外部姿勢資訊提供者221到外部姿勢資訊提供者22N可用於追蹤各預定關節的姿態(例如，3D位置)。
在一個實施例中，主機21可將第一控制信號CS1發送到各外部姿勢資訊提供者221到外部姿勢資訊提供者22N以要求各外部姿勢資訊提供者221到外部姿勢資訊提供者22N提供手部O1上的預定關節的一些特定關節的姿態。舉例來說，主機21可要求各外部姿勢資訊提供者221到外部姿勢資訊提供者22N僅向主機21提供手部O1上的指尖關節的姿態。在實施例中，由各外部姿勢資訊提供者221到外部姿勢資訊提供者22N反應於第一控制信號CS1而提供的姿態資訊可稱為第一手勢資訊。在一個實施例中，第一手勢資訊可為部分手勢資訊，其表示各外部姿勢資訊提供者221到外部姿勢資訊提供者22N不提供手部O1上的所有預定關節的所追蹤姿態。
舉例來說，外部姿勢資訊提供者221可向主機21提供第一 手勢資訊P1，其中第一手勢資訊P1可例示性地包含由外部姿勢資訊提供者221追蹤的手部O1上的指尖關節的姿態。舉另一例來說，外部姿勢資訊提供者222可向主機21提供第一手勢資訊P2，其中第一手勢資訊P2可例示性地包含由外部姿勢資訊提供者222追蹤的手部O1上的指尖關節的姿態。類似地，外部姿勢資訊提供者22N可向主機21提供第一手勢資訊PN，其中第一手勢資訊PN可例示性地包含由外部姿勢資訊提供者22N追蹤的手部O1上的指尖關節的姿態。
在一個實施例中，主機21可將第二控制信號CS2發送到各外部姿勢資訊提供者221到外部姿勢資訊提供者22N以要求各外部姿勢資訊提供者221到外部姿勢資訊提供者22N提供手部O1上的所有預定關節的所追蹤姿態。在實施例中，由各外部姿勢資訊提供者221到外部姿勢資訊提供者22N反應於第二控制信號CS2而提供的姿態資訊可稱為第二手勢資訊。在一個實施例中，第二手勢資訊可為完整手勢資訊，其表示各外部姿勢資訊提供者221到外部姿勢資訊提供者22N提供手部O1上的所有預定關節的所追蹤姿態。
舉例來說，外部姿勢資訊提供者221可向主機21提供第二手勢資訊C1，其中第二手勢資訊C1可例示性地包含由外部姿勢資訊提供者221追蹤的手部O1上的所有預定關節的姿態。舉另一例來說，外部姿勢資訊提供者222可向主機21提供第二手勢資訊C2，其中第二手勢資訊C2可例示性地包含由外部姿勢資訊提供者222追蹤的手部O1上的所有預定關節的姿態。類似地，外部姿勢資訊提供者22N可向主機21提供第二手勢資訊CN，其中第二手勢資訊CN可例示性 地包含由外部姿勢資訊提供者22N追蹤的手部O1上的所有預定關節的姿態。
在本發明的實施例中，處理器214可存取儲存在儲存電路212中的模組/程式碼以實施用於偵測本發明中提供的手勢的方法，其將在以下進一步論述。
參加圖3，其繪示根據本發明的實施例的用於偵測手勢的方法的流程圖。這一實施例的方法可由圖2A和圖2B中的主機21執行，且下文將用圖2A和圖2B中所繪示的組件來描述圖3中的每一步驟的細節。
首先，在步驟S310中，處理器214判斷手部O1的資訊是否足夠用於識別手部O1的手勢。
在一個實施例中，處理器214偵測手勢上的關節且判斷偵測到的手勢上的關節的數量是否高於數量閾值。在不同實施例中，數量閾值可由設計者判定為足夠用於處理器214追蹤手部O1的姿態的數量。
在一個實施例中，反應於判定偵測到的手勢上的關節的數量高於數量閾值，處理器214判定手部O1的所述資訊足夠用於識別手勢。在這種情況下，即使一些關節因某些原因(例如在主機21的FOV 299外部或在手部O1處於某些角度時受阻擋)而不可追蹤，處理器214可基於可追蹤關節而預測/猜測可追蹤關節的姿態，但本發明不限於此。
另一方面，反應於判定偵測到的手勢上的關節的數量不高 於數量閾值，處理器214判定手部O1的資訊不足夠用於識別手勢。
在一個實施例中，處理器214可基於由追蹤照相機擷取的手部O1的影像而進行由內而外追蹤以偵測手勢上的關節，但本發明不限於此。
在另一實施例中，處理器214可判斷手部O1是否處於主機21的照相機(例如，追蹤照相機)的FOV 299中。在一個實施例中，反應於判定手部O1處於主機21的照相機的FOV 299中，處理器214判定手部O1的資訊足夠用於識別手勢。另一方面，反應於判定手部O1不在主機21的照相機的視野FOV 299中，處理器214判定手部O1的資訊不足夠用於識別手勢。
在判定手部O1的資訊足夠用於識別手部O1(例如，手部O1在FOV 299內)的手勢的第一實施例中，處理器214可隨後進行步驟S321到步驟S323以取得手部O1的手勢。
在步驟S321中，處理器214識別手勢。在一個實施例中，處理器214例如可基於常規的由內而外追蹤機制而追蹤手勢，以下不作詳細論述。
因此，在步驟S321之後，已取得手部O1的手勢(例如，6自由度(6 degree-of-freedom；6DOF))。
在步驟S322中，處理器214接收來自外部姿勢資訊提供者221到外部姿勢資訊提供者22N的第一手勢資訊P1到第一手勢資訊PN。如上文所提及，各第一手勢資訊P1到第一手勢資訊PN可僅包含手部O1上的一些特定關節(例如，手部O1上的指尖關節)的姿 態。為了較好理解，第一手勢資訊P1到第一手勢資訊PN中攜載的特定關節的姿態將稱為第一姿態。
在步驟S323中，處理器214基於第一手勢資訊P1到第一手勢資訊PN而校正手勢。在一個實施例中，處理器214取得由主機21在步驟S321中偵測到的手勢中的各特定關節的姿態。舉例來說，如果考慮特定關節為手部O1上的指尖關節，那麼處理器214可從步驟S321中偵測到的手勢取得指尖關節的姿態，但本發明不限於此。為了較好理解，從步驟S321中偵測到的手勢取得的特定關節的姿態將稱為第二姿態。
接著，處理器214可經由將各特定關節的第二姿態與對應第一姿態組合來校正步驟S321中所取得的手勢。
簡單來說，因為處理器214可基於第一手勢資訊P1到第一手勢資訊PN而取得特定關節的第一姿態，因此處理器214可基於特定關節的第一姿態而優化步驟S321中所取得的手勢上的特定關節的第二姿態。
舉例來說，假定手部O1上的拇指的指尖關節為所考慮的特定關節之一，處理器214可從步驟S321中所取得的手勢取得拇指的指尖關節的第二姿態。另外，處理器214可從各第一手勢資訊P1到第一手勢資訊取得拇指的指尖關節的第一姿態。接著，處理器214可將各第一手勢資訊P1到第一手勢資訊PN中攜載的拇指的指尖關節的第二姿態與拇指的指尖關節的第一姿態組合為拇指的指尖關節的經校正姿態。在一個實施例中，當組合第一姿態和第二姿態時，處理器 214可取得第一姿態和第二姿態的線性或非線性組合，但本發明不限於此。
在對其它特定關節進行類似操作之後，可據以取得其它特定關節的經校正姿態。因此，在步驟S321中所取得的手勢可更準確，其原因在於手部O1上的特定關節的姿態已經在步驟S323中校正。
具體來說，當手部O1的資訊足夠用於識別手部O1(例如，手部O1處於FOV 299中)的手勢時，處理器214可能需要以更高幀率顯現手勢，以用於向使用者提供較好視覺體驗。在這種情況下，處理器214可能不具有足夠資源以接收來自外部姿勢資訊提供者221到外部姿勢資訊提供者22N的第二手勢資訊C1到第二手勢資訊CN和/或對步驟S321中所取得的手勢進行更完整的校正。
因此，當手部O1的資訊足夠用於識別手部O1的手勢時，處理器214可要求外部姿勢資訊提供者221到外部姿勢資訊提供者22N僅提供第一手勢資訊P1到第一手勢資訊PN，並據以校正一些特定關節(例如，一些重要關節和/或較可能被遮擋的一些關節)的姿態。在這種情況下，處理器214可在不消耗過多額外資源的情況下提供更佳的手勢追蹤的結果。
在手部O1的資訊經判定為不足夠用於識別手部O1(例如，手部O1在FOV 299之外)的手勢的第二實施例中，處理器214可接續進行步驟S331到步驟S333以取得手部O1的手勢。
在第二實施例中，假定手部O1在FOV 299內且在第i時間點處離開FOV 299，如圖2B所示，其中i為索引值。在這種情況下， 在第i時間點之前，處理器214可基於步驟S321到步驟S323判定手勢。
在第i時間點處，因為手部O1已離開FOV 299，因此處理器214可判定手部O1的資訊不足夠用於識別手部O1的手勢且接續進行步驟S331到步驟S333。
在步驟S331中，處理器214接收來自外部姿勢資訊提供者221到外部姿勢資訊提供者22N的第二手勢資訊C1到第二手勢資訊CN。
在一個實施例中，反應於判定手部O1的資訊從足夠用於識別手勢改變為不足夠用於識別手勢，處理器214可將第二控制信號CS2發送到各外部姿勢資訊提供者221到外部姿勢資訊提供者22N，以用於請求外部姿勢資訊提供者221到外部姿勢資訊提供者22N提供對應第二手勢資訊C1到第二手勢資訊CN，但本發明不限於此。
如上文所提及，各第二手勢資訊C1到第二手勢資訊CN包含手部O1上的所有預定關節的姿態。為了較好理解，第二手勢資訊C1到第二手勢資訊CN中攜載的所有預定關節的姿態將稱為第三姿態。
在步驟S332中，處理器214取得預測手勢G1。在第二實施例中，反應於判定手部O1的資訊在第i時間點處已從足夠用於識別手勢改變為不足夠用於識別手勢，處理器214可取得在第(i-k)時間點處識別的先前手勢G2，其中k為正整數。接著，處理器214可基於先前手勢而預測第i時間點處的手勢作為預測手勢G1。
在不同實施例中，k可為設計者所要的任何值。為了較好地預測上述預測手勢G1，k可判定為1，使得處理器214將恰好在手部O1離開FOV 299之前取得所識別的手勢作為先前手勢G2，但本發明不限於此。
在第二實施例中，用於基於先前手勢G2而預測預測手勢G1的機制可參考相關的手勢預測技術，其將不在本文中進一步論述。
在步驟S333中，處理器214基於預測手勢G1和第二手勢資訊C1到第二手勢資訊CN而取得手勢。
在一個實施例中，處理器214基於各外部姿勢資訊提供者221到外部姿勢資訊提供者22N的第二手勢資訊C1到第二手勢資訊CN而取得參考手勢。在一個實施例中，處理器214基於對應第二手勢資訊C1到第二手勢資訊CN而取得由各外部姿勢資訊提供者221到外部姿勢資訊提供者22N偵測到的第一手勢。舉例來說，處理器214可從第二手勢資訊C1取得各預定關節的第三姿態，並據以透過連接預定關節來構造對應於外部姿勢資訊提供者221的第一手勢。舉另一例來說，處理器214可從第二手勢資訊C2取得各預定關節的第三姿態，並據以透過連接預定關節來構造對應於外部姿勢資訊提供者222的第一手勢。類似地，處理器214可從第二手勢資訊CN取得各預定關節的第三姿態，並據以透過連接預定關節來構造對應於外部姿勢資訊提供者22N的第一手勢，但本發明不限於此。
接著，處理器214將由各外部姿勢資訊提供者221到外部姿勢資訊提供者22N偵測到的第一手勢組合為參考手勢。在一個實 施例中，處理器214可將對應於各外部姿勢資訊提供者221到外部姿勢資訊提供者22N的第一手勢的線性/非線性組合作為參考手勢。在一個實施例中，處理器214可將由各外部姿勢資訊提供者221到外部姿勢資訊提供者22N偵測到的第一手勢的第一平均值作為參考手勢，但本發明不限於此。
然後，處理器214可將預測手勢G1與參考手勢組合為手部O1在第i時間點處的手勢。
在一個實施例中，處理器214可將預測手勢G1與參考手勢的線性/非線性組合作為手部O1的手勢。在一個實施例中，處理器214可將預測手勢與參考手勢的第二平均值作為手部O1在第i時間點處的手勢。
具體來說，當手部O1的資訊不足夠用於識別手部O1(例如，手部O1不在FOV 299內)的手勢時，處理器214可能需要以較低幀率顯示手勢，以準備更多資源以供處理第二手勢資訊C1到第二手勢資訊CN，使得手部O1的手勢可因此優化。因此，本發明的實施例提供的解決方案可用於在手部O1的資訊不足夠用於識別手部O1(例如，手部O1不在FOV 299內)的手勢時判定手部O1的手勢。
在第二實施例中，處理器214可在將第一手勢組合為參考手勢之前進一步至少基於各外部姿勢資訊提供者221到外部姿勢資訊提供者22N的校正因子而校正由各外部姿勢資訊提供者221到外部姿勢資訊提供者22N偵測到的第一手勢。
在各外部姿勢資訊提供者221到外部姿勢資訊提供者22N 為外部照相機的實施例中，各外部姿勢資訊提供者221到外部姿勢資訊提供者22N的考慮校正因子可包含各外部姿勢資訊提供者221到外部姿勢資訊提供者22N的外部參數。基於而各外部參數校正由各外部姿勢資訊提供者221到外部姿勢資訊提供者22N偵測到的第一手勢的細節可參考相關技術，其將不在本文中進一步論述。
在一個實施例中，反應於判定手部O1的資訊從不足夠用於識別手勢改變為足夠用於識別手勢，處理器214可將第一控制信號CS1發送到各外部姿勢資訊提供者221到外部姿勢資訊提供者22N，以用於請求外部姿勢資訊提供者221到外部姿勢資訊提供者22N提供對應第一手勢資訊P1到第一手勢資訊PN，但本發明不限於此。在這種情況下，處理器214可接續進行步驟S321到步驟S323，而其細節可參考以上描述。
在一個實施例中，在手部O1的手勢已在步驟S321或步驟S333中判定之後，處理器214可據以基於手部O1的手勢而調整實境服務的視覺內容。舉例來說，處理器214可在視覺內容中顯現手部O1的手勢以供使用者看到且與實境服務互動，但本發明不限於此。
另外，儘管以上僅用一個手部O1解釋本發明的概念，但本發明的實施例可用於同時追蹤多個手部的手勢。舉例來說，對於FOV 299內的一些手部，處理器214可進行步驟S321到步驟S323以取得其手勢。對於FOV 299外部的一些手部，處理器214可進行步驟S331到步驟S333以取得其手勢，但本發明不限於此。
本發明進一步提供一種用於執行用於偵測手勢的方法的電 腦可讀儲存媒體。電腦可讀儲存媒體由本文中所實施的多個程式指令(例如，設置程式指令和部署程式指令)構成。這些程式指令可載入到主機21中且由其執行，以執行用於偵測手勢的方法和上文所描述的主機21的功能。
綜上所述，本發明的實施例提供一種在待追蹤手部對於主機為不可見時，用於讓主機在與一或多個外部姿勢資訊提供者配合的同時判定手勢的機制。另外，當待追蹤手部對於主機為可見時，本發明的實施例提供一種透過考慮由外部姿勢資訊提供者提供的第一手勢資訊來實現手勢追蹤的更高準確度的機制。
此外，本發明的實施例可用於實施用於多個手部的手勢追蹤。因此，可改良手勢追蹤的準確度，使得主機可為使用者提供更佳的實境服務。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S310,S321~S323,S331~S333:步驟

Claims (20)

  1. 一種用於偵測手勢的方法，適用於主機，包括：判斷手部的資訊是否足夠用於識別所述手部的手勢；反應於判定所述手部的所述資訊足夠用於識別所述手勢，識別所述手勢，接收來自至少一個外部姿勢資訊提供者的第一手勢資訊，且基於所述第一手勢資訊而校正所述手勢；反應於判定所述手部的所述資訊不足夠用於識別所述手勢，接收來自所述至少一個外部姿勢資訊提供者的第二手勢資訊，取得預測手勢，且基於所述預測手勢和所述第二手勢資訊而取得所述手勢，其中所述第二手勢資訊包括比所述第一手勢資訊更多的手勢資訊。
  2. 如請求項1所述的用於偵測手勢的方法，其中判斷所述手勢的所述資訊是否足夠用於識別所述手勢的步驟包括：偵測所述手勢上的關節；反應於判定所述偵測到的所述手勢上的所述關節的數量高於數量閾值，判定所述手部的所述資訊足夠用於識別所述手勢；反應於判定所述偵測到的所述手勢上的所述關節的所述數量不高於所述數量閾值，判定所述手部的所述資訊不足夠用於識別所述手勢。
  3. 如請求項1所述的用於偵測手勢的方法，其中判斷所述手勢的所述資訊是否足夠用於識別所述手勢的步驟包括：判斷所述手部是否處於所述主機的照相機的視野中；反應於判定所述手部處於所述主機的所述照相機的所述視野中， 判定所述手部的所述資訊足夠用於識別所述手勢；反應於判定所述手部不在所述主機的所述照相機的所述視野中，判定所述手部的所述資訊不足夠用於識別所述手勢。
  4. 如請求項1所述的用於偵測手勢的方法，其中所述第一手勢資訊包括來自各所述外部姿勢資訊提供者的部分手勢資訊，所述部分手勢資訊包括由各所述外部姿勢資訊提供者偵測到的所述手部上的至少一個特定關節的第一姿態。
  5. 如請求項4所述的用於偵測手勢的方法，其中基於所述第一手勢資訊而校正所述手勢的步驟包括：取得由所述主機偵測到的所述手勢中的各所述特定關節的第二姿態；將各所述特定關節的所述第二姿態與對應的所述第一姿態組合。
  6. 如請求項4所述的用於偵測手勢的方法，其中所述至少一個特定關節包括所述手部上的指尖關節。
  7. 如請求項1所述的用於偵測手勢的方法，更包括：反應於判定所述手部的所述資訊從不足夠用於識別所述手勢改變為足夠用於識別所述手勢，將第一控制信號發送到各所述外部姿勢資訊提供者，其中所述第一控制信號控制各所述外部姿勢資訊提供者提供對應的所述第一手勢資訊；反應於判定所述手部的所述資訊從足夠用於識別所述手勢改變為不足夠用於識別所述手勢，將第二控制信號發送到各所述外部姿勢資訊提供者，其中所述第二控制信號控制各所述外部姿勢資訊提供者 提供對應的所述第二手勢資訊。
  8. 如請求項1所述的用於偵測手勢的方法，其中取得所述預測手勢的步驟包括：反應於判定所述手部的所述資訊在第i時間點處已從足夠用於識別所述手勢改變為不足夠用於識別所述手勢，取得在第(i-k)時間點處識別的先前手勢，其中i為索引值，k為正整數；基於所述先前手勢而預測所述第i時間點處的所述手勢作為所述預測手勢。
  9. 如請求項1所述的用於偵測手勢的方法，其中所述手部預定由特定數目個預定關節構成，且所述第二手勢資訊包括來自各所述外部姿勢資訊提供者的完整手勢資訊，所述完整手勢資訊包括由各所述外部姿勢資訊提供者偵測到的所述手部上的各所述預定關節的第三姿態。
  10. 如請求項1所述的用於偵測手勢的方法，其中基於所述預測手勢和所述第二手勢資訊而取得所述手勢的步驟包括：基於各所述外部姿勢資訊提供者的所述第二手勢資訊而取得參考手勢；以及將所述預測手勢與所述參考手勢組合為所述手勢。
  11. 如請求項10所述的用於偵測手勢的方法，其中基於各所述外部姿勢資訊提供者的所述第二手勢資訊而取得所述參考手勢的步驟包括：基於對應的所述第二手勢資訊而取得由各所述外部姿勢資訊提 供者偵測到的第一手勢；將由各所述外部姿勢資訊提供者偵測到的所述第一手勢組合為所述參考手勢。
  12. 如請求項11所述的用於偵測手勢的方法，其中將由各所述外部姿勢資訊提供者偵測到的所述第一手勢組合為所述參考手勢的步驟包括：將由各所述外部姿勢資訊提供者偵測到的所述第一手勢的第一平均值作為所述參考手勢。
  13. 如請求項11所述的用於偵測手勢的方法，其中在將由所述相應外部姿勢資訊提供者偵測到的所述第一手勢組合為所述參考手勢的所述步驟之前，所述方法更包括：至少基於各所述外部姿勢資訊提供者的校正因子而校正由各所述外部姿勢資訊提供者偵測到的所述第一手勢。
  14. 如請求項13所述的用於偵測手勢的方法，其中各所述外部姿勢資訊提供者為外部照相機，且各所述外部姿勢資訊提供者的所述校正因子包括各所述外部姿勢資訊提供者的外部參數。
  15. 如請求項10所述的用於偵測手勢的方法，其中將所述預測手勢與所述參考手勢組合為所述手勢的步驟包括：將所述預測手勢與所述參考手勢的第二平均值作為所述手勢。
  16. 一種用於偵測手勢的系統，包括：主機，經配置以執行：判斷手部的資訊是否足夠用於識別所述手部的手勢； 反應於判定所述手部的所述資訊足夠用於識別所述手勢，識別所述手勢，接收來自至少一個外部姿勢資訊提供者的第一手勢資訊，且基於所述第一手勢資訊而校正所述手勢；反應於判定所述手部的所述資訊不足夠用於識別所述手勢，接收來自所述至少一個外部姿勢資訊提供者的第二手勢資訊，取得預測手勢，且基於所述預測手勢和所述第二手勢資訊而取得所述手勢，其中所述第二手勢資訊包括比所述第一手勢資訊更多的手勢資訊。
  17. 如請求項16所述的用於偵測手勢的系統，更包括所述至少一個外部姿勢資訊提供者。
  18. 如請求項17所述的用於偵測手勢的系統，其中各所述外部姿勢資訊提供者為外部照相機。
  19. 如請求項16所述的用於偵測手勢的系統，其中所述主機執行：反應於判定所述手部的所述資訊從不足夠用於識別所述手勢改變為足夠用於識別所述手勢，將第一控制信號發送到各所述外部姿勢資訊提供者，其中所述第一控制信號控制各所述外部姿勢資訊提供者提供對應的所述第一手勢資訊；反應於判定所述手部的所述資訊從足夠用於識別所述手勢改變為不足夠用於識別所述手勢，將第二控制信號發送到各所述外部姿勢資訊提供者，其中所述第二控制信號控制各所述外部姿勢資訊提供者提供對應的所述第二手勢資訊。
  20. 一種電腦可讀儲存媒體，所述電腦可讀儲存媒體記錄可執行電腦程式，所述可執行電腦程式由主機載入以進行以下步驟：判斷手部的資訊是否足夠用於識別所述手部的手勢；反應於判定所述手部的所述資訊足夠用於識別所述手勢，識別所述手勢，接收來自至少一個外部姿勢資訊提供者的第一手勢資訊，且基於所述第一手勢資訊而校正所述手勢；反應於判定所述手部的所述資訊不足夠用於識別所述手勢，接收來自所述至少一個外部姿勢資訊提供者的第二手勢資訊，取得預測手勢，且基於所述預測手勢和所述第二手勢資訊而取得所述手勢，其中所述第二手勢資訊包括比所述第一手勢資訊更多的手勢資訊。
TW111129643A 2021-11-05 2022-08-05 用於偵測手勢的方法和系統，以及電腦可讀儲存媒體 TWI815593B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163275958P 2021-11-05 2021-11-05
US63/275,958 2021-11-05
US17/852,390 2022-06-29
US17/852,390 US20230145728A1 (en) 2021-11-05 2022-06-29 Method and system for detecting hand gesture, and computer readable storage medium

Publications (2)

Publication Number Publication Date
TW202319889A TW202319889A (zh) 2023-05-16
TWI815593B true TWI815593B (zh) 2023-09-11

Family

ID=86199756

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111129643A TWI815593B (zh) 2021-11-05 2022-08-05 用於偵測手勢的方法和系統，以及電腦可讀儲存媒體

Country Status (3)

Country Link
US (1) US20230145728A1 (zh)
CN (1) CN116092176A (zh)
TW (1) TWI815593B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12056269B2 (en) * 2022-12-23 2024-08-06 Htc Corporation Control device and control method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130278501A1 (en) * 2012-04-18 2013-10-24 Arb Labs Inc. Systems and methods of identifying a gesture using gesture data compressed by principal joint variable analysis
TWI544367B (zh) * 2013-01-29 2016-08-01 緯創資通股份有限公司 手勢辨識與控制方法及其裝置
TWI581178B (zh) * 2011-10-14 2017-05-01 微軟技術授權有限責任公司 混合實境顯示器中使用者控制的真實物件的消失
US20200097065A1 (en) * 2018-09-20 2020-03-26 Dell Products, L.P. POWER MANAGEMENT FOR GESTURE RECOGNITION IN VIRTUAL, AUGMENTED, AND MIXED REALITY (xR) APPLICATIONS
CN111045511A (zh) * 2018-10-15 2020-04-21 华为技术有限公司 基于手势的操控方法及终端设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI581178B (zh) * 2011-10-14 2017-05-01 微軟技術授權有限責任公司 混合實境顯示器中使用者控制的真實物件的消失
US20130278501A1 (en) * 2012-04-18 2013-10-24 Arb Labs Inc. Systems and methods of identifying a gesture using gesture data compressed by principal joint variable analysis
TWI544367B (zh) * 2013-01-29 2016-08-01 緯創資通股份有限公司 手勢辨識與控制方法及其裝置
US20200097065A1 (en) * 2018-09-20 2020-03-26 Dell Products, L.P. POWER MANAGEMENT FOR GESTURE RECOGNITION IN VIRTUAL, AUGMENTED, AND MIXED REALITY (xR) APPLICATIONS
CN111045511A (zh) * 2018-10-15 2020-04-21 华为技术有限公司 基于手势的操控方法及终端设备

Also Published As

Publication number Publication date
US20230145728A1 (en) 2023-05-11
CN116092176A (zh) 2023-05-09
TW202319889A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN112926423B (zh) 捏合手势检测识别方法、装置及系统
CN112506340B (zh) 设备控制方法、装置、电子设备及存储介质
CN108989678B (zh) 一种图像处理方法、移动终端
US20140240225A1 (en) Method for touchless control of a device
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
CN108848313B (zh) 一种多人拍照方法、终端和存储介质
TW201346640A (zh) 影像處理裝置及電腦程式產品
JP2015095164A (ja) ジェスチャ認識装置およびジェスチャ認識装置の制御方法
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
CN114138121B (zh) 用户手势识别方法、装置、系统、存储介质及计算设备
CN110427849B (zh) 人脸姿态确定方法、装置、存储介质和电子设备
KR101654311B1 (ko) 사용자 모션 인식 방법 및 장치
WO2023273372A1 (zh) 手势识别对象确定方法及装置
TWI815593B (zh) 用於偵測手勢的方法和系統，以及電腦可讀儲存媒體
CN116766213B (zh) 一种基于图像处理的仿生手控制方法、系统和设备
US20220415094A1 (en) Method and system for estimating gesture of user from two-dimensional image, and non-transitory computer-readable recording medium
KR20150106824A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
CN111103981B (zh) 控制指令生成方法及装置
CN112486394A (zh) 信息处理方法、装置、电子设备及可读存储介质
CN110688002B (zh) 虚拟内容的调整方法、装置、终端设备及存储介质
CN108227923A (zh) 一种基于体感技术的虚拟触控系统和方法
CN112788244B (zh) 拍摄方法、拍摄装置和电子设备
CN113282164A (zh) 一种处理方法和装置
CN113703577B (zh) 一种绘图方法、装置、计算机设备及存储介质
CN115393962A (zh) 动作识别方法、头戴显示设备和存储介质