TW201626168A - 手勢辨識裝置及手勢辨識方法 - Google Patents

手勢辨識裝置及手勢辨識方法 Download PDF

Info

Publication number
TW201626168A
TW201626168A TW104144450A TW104144450A TW201626168A TW 201626168 A TW201626168 A TW 201626168A TW 104144450 A TW104144450 A TW 104144450A TW 104144450 A TW104144450 A TW 104144450A TW 201626168 A TW201626168 A TW 201626168A
Authority
TW
Taiwan
Prior art keywords
gesture
predetermined portion
recognition device
determined based
gesture recognition
Prior art date
Application number
TW104144450A
Other languages
English (en)
Inventor
約瑟芬馬利歐 吉安紐立
Original Assignee
雷蛇（亞太）私人有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 雷蛇（亞太）私人有限公司 filed Critical 雷蛇（亞太）私人有限公司
Publication of TW201626168A publication Critical patent/TW201626168A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Abstract

根據各種實施例，可提供一種手勢辨識裝置。該手勢辨識裝置可包括：一感測器，其配置來判定手勢辨識裝置的一使用者的資訊(例如位置資訊、前臂放置資訊以及單個手指放置資訊)；一進展判定電路，其配置來基於該位置資訊來判定是否已由該使用者執行一手勢之至少預定部分；以及一手勢判定電路，其配置來基於該手勢之該至少預定部分來判定一手勢。

Description

手勢辨識裝置及手勢辨識方法
各種實施例一般係關於手勢辨識裝置及手勢辨識方法。
各種形式之手勢辨識系統已存在一段時間，然而，直到最近，該手勢辨識系統的用途仍局限於簡單手勢。就此點而論，可存在對於更先進手勢辨識的需要。
根據各種實施例，可提供一種手勢辨識裝置。該手勢辨識裝置可包括：感測器，其配置來判定手勢辨識裝置的使用者之位置資訊；進展判定電路，其配置來基於位置資訊來判定是否已由使用者執行手勢之至少預定部分；以及手勢判定電路，其配置來解析手勢並觸發該手勢引起的一次動作及二次動作。
根據各種實施例，可提供一種手勢辨識方法。該手勢 辨識方法可包括判定手勢辨識裝置的使用者之位置資訊；基於位置資訊來判定是否已由使用者執行手勢之至少預定部分；以及基於手勢的至少預定部分來判定手勢。
100‧‧‧手勢辨識裝置
102‧‧‧感測器
104‧‧‧進展判定電路
106‧‧‧手勢判定電路
108‧‧‧線
110‧‧‧手勢辨識裝置
112‧‧‧資料庫
114‧‧‧傳送器
116‧‧‧線
118‧‧‧流程圖
120‧‧‧步驟
122‧‧‧步驟
124‧‧‧步驟
200‧‧‧圖示
202‧‧‧實例
204‧‧‧實例
206‧‧‧方塊
208‧‧‧方塊
210‧‧‧方塊
212‧‧‧方塊
214‧‧‧方塊
216‧‧‧方塊
218‧‧‧方塊
300‧‧‧圖示
302‧‧‧箭頭方塊
304‧‧‧箭頭方塊
306‧‧‧箭頭方塊
308‧‧‧箭頭方塊
310‧‧‧箭頭方塊
312‧‧‧箭頭方塊
314‧‧‧箭頭方塊
316‧‧‧箭頭方塊
318‧‧‧箭頭方塊
在圖式中，在全部不同視圖中，相同元件符號一般係指相同部件。圖式未必按比例繪製，相反，重點通常是關注對本發明原理的例示。各種特徵或元件之尺寸可出於清晰度任意地擴展或縮減。在以下描述中，本發明之各種實施例係參考以下圖式來描述。
圖1A及圖1B顯示根據各種實施例之手勢辨識裝置。
圖1C顯示例示根據各種實施例的手勢辨識方法的流程圖。
圖2顯示例示根據各種實施例的鍵控手勢(keying gesture)方塊圖及製程流程的圖表。
圖3顯示例示根據各種實施例的手勢判定的圖表。
以下詳細描述參照藉助於例示來顯示可實現本發明之特定細節及實施例的隨附圖式。足夠詳細地描述此等實 施例以允許熟習此項技術者實現本發明。可利用其他實施例，並且可在不脫離本發明之範疇的情況下進行結構及邏輯改變。各種實施例未必互相排斥，如一些實施例可與一或複數個其他實施例組合以形成新的實施例。
在本文中，如此說明中所描述之手勢辨識裝置可包括記憶體，該記憶體例如使用於在該手勢辨識裝置中進行之製程。使用於實施例之記憶體可為依電性記憶體，例如DRAM(動態隨機存取記憶體)或非依電性記憶體，例如PROM(可程式化唯讀記憶體)、EPROM(可抹除PROM)、EEPROM(電子可抹除PROM)，或快閃記憶體，例如浮閘記憶體、電荷捕集記憶體、MRAM(磁電阻隨機存取記憶體)或PCRAM(相變隨機存取記憶體)。
在實施例中，「電路」可理解為任何種類的邏輯實行實體，該邏輯實行實體可為執行儲存於記憶體中之軟體、韌體或其任何組合的專用電路或處理器。因此，在實施例中，「電路」可為硬連線邏輯電路或可程式化邏輯電路，諸如可程式化處理器，例如微處理器(例如複雜指令集電腦(CISC)處理器或精簡指令集電腦(RISC)處理器)。「電路」亦可為執行軟體的處理器，該軟體例如任何種類的電腦程式，例如使用虛擬機代碼(諸如例如Java)之電腦程式。將在以下更詳細地描述的各別功能之任何其他種類的實行方案亦可理解為根據替代實施例之「電路」。
在說明書中，應瞭解術語「包含」具有類似於術語「包括」之廣義意義，且將瞭解術語「包含」意指已陳述之整體或步驟或一個以上整體或步驟之組群的集合，但不排斥任何其他整體或步驟或一個以上整體或步驟之組群。此定義亦應用於術語「包含(comprising)」之變體，諸如「包含(comprise)」及「包含(comprises)」。
此說明書中提及之任何先前技術不視為且不應視為對所提及之先前技術形成在澳大利亞(或任何其他國家)之公知常識的部分之承認或任何形式之建議。
為使本發明可易於理解且獲得實際效果，將以舉例且非限制之方式並參考圖式來描述特定實施例。
針對裝置已提供各種實施例，且針對方法已提供各種實施例。將理解的是，裝置之基本性質亦適用於方法，且反之亦然。因此，為簡潔起見，可省略此等性質之重複描述。
將理解的是，本文針對特定裝置所描述之任何性質亦可適用於本文所描述之任何裝置。將理解的是，本文針對特定方法所描述之任何性質亦可適用於本文所描述之任何方法。此外，將理解的是，對於本文所描述之任何裝置 或方法而言，所描述之所有部件或步驟未必必須納入裝置或方法中，而可僅僅納入一些(但非所有)部件或步驟。
本文之術語「耦接」(或「連接」)可理解為電氣耦接或理解為機械耦接，例如附接或固定或附接，或僅在無任何固定之情況下接觸，且將理解的是，可提供直接耦接或間接耦接(換言之，在無直接接觸之情況下耦接)。
根據各種實施例，可提供一種鍵控手勢方法。根據各種實施例，可提供一種用於HMD(頭戴顯示器)及其他辨識系統的方法。
手勢辨識系統的進步已引起HW(硬體)/SW(軟體)之已應用於各種使用模型的解決方案激增，該使用模型例如增強或增大用於電腦及遊戲系統的正常(鍵盤/滑鼠)HID(人機介面裝置)介面的獨立手部及/或獨立手指手勢辨識系統及整合辨識系統。
根據各種實施例，可提供一種用於將全包式取徑(overarching approach)整合至在部分程度上藉由「鍵控手勢」來驅動之手勢辨識引擎/系統的方法。
各種形式之手勢辨識系統已存在一段時間，然而直到最近，其用途仍局限於例如包括手部及一些數目的手指之 簡單手勢。這些系統有以下負擔，在可對手勢進行識別、解析及作用之前必須對大型的手勢程式庫進行分類。處理手勢可經過大量處理循環(該循環可例如定義為「N」)。在手勢列表非常大及/或若手勢辨識引擎無法解析形成不良的手勢的情況下，處理時間可能是長的(例如可經過「N x Y」循環，其中「Y」可為大於1的因數)。當辨識引擎無法解析手勢時，可繼續對該手勢進行再檢查，直至解析為止，且此舉可導致高螢幕潛時以及不穩固及不可重複的製程。
即使改良處理器、加入本地處理及大大減小手勢程式庫之規模，所涉及的潛時也不允許先進應用程式及/或遊戲使用模型。
儘管手勢辨識系統之進步持續發生，但對具有良好效能(例如具有潛時)的穩固及可靠的手勢辨識系統的需要可為允許總體上更廣泛採用並用於諸如頭戴顯示器(Head Mounted Display；HMD)的各種高層次應用程式中之關鍵。潛時必須經保持最小，尤其對桌上、視訊、控制台以及HMD遊戲應用程式而言。當前，基於螢幕前部之實行方案的潛時可在許多情況下過高，可導致不理想或不可行之電玩經驗。
根據各種實施例，可提供關於鍵控手勢(換言之，鍵 (key)手勢)、快速手勢、HMD手勢、用於HMD的手勢、短格式手勢以及觸發手勢的裝置及方法。
鍵控手勢可定義為手部及/或手指的來源於「自然手部」位置之姿勢，該位置如在使用者訪問他或她的電腦系統及觸及鍵盤時發生，亦即，使用者在鍵盤上打字之前置於鍵盤或桌的掌托上時手部所在的位置。使用者可隨後形成由各種各樣的人所普遍辨識的特定手勢。「拇指朝上」及「食指指向」可為兩個實例。
根據各種實施例，可提供一種辨識系統，該辨識系統允許更快的手勢辨識(且因此允許更低的潛時)，因為該系統可在複雜手勢(例如拇指朝上手部手勢或涉及兩隻手外加手指的手勢)部分形成(>50%)時解析該複雜手勢。該系統可針對頭戴顯示器上的面朝下攝影機來設計，以便減少臂部疲勞且允許更多自然手勢及臂部位置。
根據各種實施例，可提供一種手勢辨識裝置。該手勢辨識裝置可包括感測器，其配置來判定手勢辨識裝置的使用者之位置資訊；進展判定電路，其配置來基於位置資訊來判定是否已由使用者執行手勢之至少預定部分；以及手勢判定電路，其配置來解析手勢並觸發該手勢引起的一次動作及二次動作。
根據各種實施例，可提供裝置及方法，以甚至在由使用者完全擺出/形成手勢之前偵測手勢。
根據各種實施例，可提供一種手勢辨識裝置。該手勢辨識裝置可包括感測器，其配置來判定手勢辨識裝置的使用者的資訊(例如位置資訊、前臂放置資訊以及單個手指放置資訊)；進展判定電路，其配置來基於位置資訊來判定是否已由使用者執行手勢之至少預定部分；以及手勢判定電路，其配置來基於手勢之至少預定部分來判定手勢。
圖1A顯示根據各種實施例之手勢辨識裝置100。手勢辨識裝置100可包括感測器102，該感測器配置來判定手勢辨識裝置100的使用者的位置資訊。手勢辨識裝置100可進一步包括進展判定電路104，該進展判定電路配置來基於位置資訊以判定是否已由使用者執行手勢的至少預定部分。手勢辨識裝置100可進一步包括手勢判定電路106，該手勢判定電路配置來基於手勢的至少預定部分以判定手勢。感測器102、進展判定電路104以及手勢判定電路106可彼此耦接，如藉由線108所指示，該耦接例如電氣耦接及/或機械耦接，該電氣耦接例如使用線或電纜。
換言之，根據各種實施例的手勢辨識系統可在使用者實際上完成執行該手勢之前解析使用者的鍵控手勢(換言 之，判定鍵控手勢)。
圖1B顯示根據各種實施例的手勢辨識裝置110。類似於圖1A的手勢辨識裝置100，手勢辨識裝置110可包括感測器102，該感測器配置來判定手勢辨識裝置110的使用者的位置資訊。類似於圖1A的手勢辨識裝置100，手勢辨識裝置110可進一步包括進展判定電路104，該進展判定電路配置來基於位置資訊以判定是否已由使用者執行手勢的至少預定部分。類似於圖1A的手勢辨識裝置100，手勢辨識裝置110可進一步包括手勢判定電路106，該手勢判定電路配置來基於手勢的至少預定部分以判定手勢。手勢辨識裝置110可進一步包括資料庫112，如將在以下更詳細地描述。手勢辨識裝置110可進一步包括傳送器114，如將在以下更詳細地描述。感測器102、進展判定電路104、手勢判定電路106、資料庫112以及傳送器114可彼此耦接，如藉由線116所指示，該耦接例如電氣耦接及/或機械耦接，該電氣耦接例如使用線或電纜。
根據各種實施例，資料庫112可經配置來儲存資訊，該資訊指示複數個預定手勢。根據各種實施例，手勢判定電路106可進一步經配置來基於資料庫112以判定手勢。
根據各種實施例，手勢判定電路106可進一步經配置來基於手勢之至少預定部分與判定手勢匹配的機率來判 定該手勢。
根據各種實施例，傳送器114可經配置來傳送資訊，該資訊指示基於手勢的至少預定部分來判定的手勢。
根據各種實施例，進展判定電路104可進一步經配置來判定使用者是否已完成手勢。
根據各種實施例，手勢判定電路106可進一步經配置來判定基於手勢之至少預定部分所判定的手勢與完成手勢是否匹配。
根據各種實施例，傳送器114可進一步經配置來在手勢判定電路106判定基於手勢之至少預定部分所判定的手勢與完成手勢不匹配的情況下，傳送廢止指示，該廢止指示指示基於手勢之至少預定部分所判定的手勢與完成手勢不匹配。
根據各種實施例，傳送器114可進一步經配置來在手勢判定電路106判定基於手勢之至少預定部分所判定的手勢與完成手勢匹配的情況下，傳送確認指示，該確認指示指示基於手勢之至少預定部分所判定的手勢與完成手勢匹配。
根據各種實施例，感測器102可包括或可為或可包括於以下中之至少一種：深度感測器、攝影機、三維掃描器、三維攝影機或距離感測器。
根據各種實施例，手勢辨識裝置110可提供於頭戴顯示器上及/或頭戴顯示器中。
根據各種實施例，手勢判定電路106可進一步經配置來判定是否已執行鍵控手勢。根據各種實施例，手勢判定電路106進一步經配置來基於鍵控手勢以判定用於後續手勢判定之一組候選手勢(換言之，泳道)。
根據各種實施例，鍵控手勢可包括或可為或可包括於拇指朝上手勢、握拳手勢或和平標誌手勢。
圖1C顯示例示根據各種實施例的手勢辨識方法的流程圖118。在步驟120中，可判定手勢辨識裝置的使用者之位置資訊。在步驟122中，可基於位置資訊來判定是否已由使用者執行手勢的至少預定部分。在步驟124中，可基於手勢之至少預定部分來判定手勢。
根據各種實施例，手勢辨識方法可進一步包括在資料庫中儲存指示複數個預定手勢的資訊，且基於該資料庫判定手勢。
根據各種實施例，手勢辨識方法可進一步包括基於手勢之至少預定部分與判定手勢匹配的機率來判定該手勢。
根據各種實施例，手勢辨識方法可進一步包括傳送資訊，該資訊指示基於手勢的至少預定部分來判定的手勢。
根據各種實施例，手勢辨識方法可進一步包括判定使用者是否已完成手勢。
根據各種實施例，手勢辨識方法可進一步包括判定基於手勢之至少預定部分所判定的手勢與完成手勢是否匹配。
根據各種實施例，手勢辨識方法可進一步包括在判定基於手勢之至少預定部分所判定的手勢與完成手勢不匹配的情況下，傳送廢止指示，該廢止指示指示基於手勢之至少預定部分所判定的手勢與完成手勢不匹配。
根據各種實施例，手勢辨識方法可進一步包括在判定基於手勢之至少預定部分所判定的手勢與完成手勢匹配的情況下，傳送確認指示，該確認指示指示基於手勢之至少預定部分所判定的手勢與完成手勢匹配。
根據各種實施例，判定位置資訊可包括基於以下中之至少一種來判定位置資訊：深度感測器、攝影機、三維掃描器、三維攝影機或距離感測器。
根據各種實施例，手勢辨識方法可使用安裝於頭戴顯示器上或頭戴顯示器中的例如一組感測器的感測器中之至少一種來執行。
根據各種實施例，手勢辨識方法可進一步包括判定是否已執行鍵控手勢；以及基於鍵控手勢判定用於後續手勢判定之一組候選手勢。
根據各種實施例，鍵控手勢可包括或可為或可包括於拇指朝上手勢、握拳手勢或和平標誌手勢。
圖2顯示例示根據各種實施例的鍵控手勢方塊圖及製程流程的圖示200。已顯示鍵控手勢之實例202、實例204。在方塊206中，可檢查鍵控手勢。在方塊208中，可判定手勢姿勢是否已完成50%以上(換言之「>」50%，換言之「至少50%」)。在方塊210中，Windows 8 touchless(視窗作業系統8非觸控)可訪問對應的手勢程式庫(方塊212)。在方塊214中，定製遊戲或應用程式可訪問對應的手勢程式庫(方塊216)。在方塊218中，可訪問常用的手勢程式庫。在圖2中，方塊206指代如藉由感 測器所感知的所擺出手勢的光學捕獲。方塊208指代辨識引擎如何基於所形成手勢的>50%來解析所擺出手勢。方塊210指代預定義Windows 8 touchless手勢姿勢及/或移動的組合。方塊210亦指代各種實施例中所提及的「泳道」中之一者。方塊212指代Windows 8 touchless手勢的特定程式庫，特定而言，辨識引擎將在記憶體中的哪一區域尋找，以發現比較手勢及/或移動。方塊214指代使用者定義及儲存將用於應用程式或遊戲以觸發遊戲事件中的特定動作或反應的手勢。方塊214亦指代各種實施例中所提及的兩個「泳道」中之一者。方塊216指代應用程式的特定程式庫或遊戲特定手勢，以及記憶體中的特定區域，辨識引擎將尋找該區域以發現比較手勢及/或移動的組合。
根據各種實施例，辨識引擎可偵測及解析手勢。根據各種實施例，「鍵控手勢」可在部分程度上基於變化的自然手部位置及手指位置來形成，其中攝影機定位於上方且俯視使用者手部，如將在HMD應用程式中所為。此途徑亦可解決當使用者之臂部及手部太長時間處於不自然/抬高位置時存在的「金剛臂效應」或疲勞因素。根據各種實施例，改進方法可評估形成/擺出的手勢，且之後鍵控手勢形成50%以上(>50%)，辨識引擎可隨後基於針對當前可能待執行的手勢組(亦可稱為當前所使用的「泳道」)之最可能的手勢來解析該手勢。例如，所有候選手勢可分類 為兩組(換言之，兩個種類，亦可稱為兩個「泳道」)手勢。最可能的手勢可為含有於分派給兩個「泳道」中任一個的子手勢組內的那些手勢。(例如Windows 8 touchless手勢/或DT導航或應用程式/遊戲特定手勢，如將參照以下的圖3所描述)。將瞭解，可提供用於已知應用程式以及一次動作組及二次動作組之小且集中的鍵控手勢程式庫。一次動作可定義為起因於將使用者置於特定泳道中之鍵控手勢的動作，該泳道如參照以下的圖3更詳細地描述。二次動作可定義為專用於應用程式或遊戲，或Windows 8 touchless手勢中之一個及該手勢引起之子動作的動作。鍵控手勢可將辨識引擎有意置放至若干特定路徑中之一個中，以使得可更快速地辨識及解析該手勢，從而可減少潛時。諸如涉及兩隻手外加手指之那些手勢的複雜手勢可大大受益於此途徑。假定使用者處於Windows 8 Touchless手勢「泳道」中，一次動作可為藉由Windows所限定以允許打開文件夾的唯一手勢中之任一個，該打開繼之以二次動作，該二次動作可為具有標的文件夾之應用程式的啟動。在假定使用者已在應用程式泳道/遊戲泳道中的情況下，一次動作可為應用程式或遊戲的啟動。二次動作可為對應用程式特定設定進行選擇及設定或在遊戲內執行武器切換或拼寫框。
不存在已確立的除當下正使用的基於面向前途徑的傳統使用模型之外的針對手勢使用的方法或管理標準。向 前途徑可定義為攝影機/感測器朝向使用者而安裝於膝上電腦上(與攝影機/感測器安裝於HMD上且朝向下方，聚焦於使用者的前臂及手部相比較)。根據各種實施例，方法可提供各種應用程式中之容易的使用，諸如當將手勢辨識解決方案應用於HMD應用程式時。根據各種實施例的裝置及方法可特定地修改以滿足特定產品的設計目標，且確保未來發展及/或使用者或第三方方案提供者，即遊戲ISV(獨立軟體供應商)創造定製鍵控手勢的能力。
圖3顯示例示根據各種實施例的手勢判定的圖示300。在箭頭方塊302中，處理可進入桌上導航路線(箭頭方塊304)。在箭頭方塊306中，處理可進入應用程式導航路線/遊戲導航路線(箭頭方塊308)。當鍵控手勢形成至允許辨識引擎解析手勢的百分比時，手勢將經解析。辨識引擎將使用者置入兩個「泳道」中之一個中，(換言之，置入最可能執行複數個候選組中的一組之模式中)，且辨識引擎隨後將瞭解其將僅須搜尋更小及更特定的手勢組，當偵測到該手勢時，將觸發一次動作及隨後觸發二次動作。使用者可保持於指定泳道中，直至箭頭方塊310中形成道切換手勢之時為止(此時在箭頭方塊312或箭頭方塊314中將進行「泳道」改變)。該製程在其他泳道內重複，且直至偵測到「泳道」手勢之時為止。
根據各種實施例，可提供小的鍵控手勢組，其他手勢 可為泳道或使用模型之獨有，且可位於唯一所含有程式庫內，如參照以上的圖2所描述。根據各種實施例，在已知泳道或使用模型內，非鍵控手勢可為多目的的。
根據各種實施例，可提供兩個以上泳道。泳道可等於「使用模型」，在該使用模型中，可創造一組預定手勢以允許泳道或使用模型內之更快速及更可預料的相互作用。
根據各種實施例，可於已知泳道/使用模型內提供明顯不同的相互作用。優點可為，一旦使用者處於泳道中，則辨識引擎可僅須搜尋及解析確立用於該泳道/使用模型的手勢。
根據各種實施例，可存在基本上一個預定鍵控手勢，用於改變或切換泳道，例如「握拳」手勢。再起始此手勢可作為切換且將使用者自一個泳道移動至另一個泳道。該手勢可唯一地創造但可保持於適當位置直至創造該手勢且若創造該手勢則可保持於適當位置，但一旦確立，可未必有道改變的再創造。
根據各種實施例，除非擺出鍵控手勢，否則最初未必進入泳道或自泳道退出。例如，可設定拇指朝上以允許使用者進入Windows 8 Touchless手勢泳道，而最初食指指向手勢可將使用者置於應用程式/遊戲特定泳道中。如以 上所詳述，退出泳道可藉由不同手勢起始，且可考慮道改變。
根據各種實施例，鍵控手勢可為特定的且可以完全相同的方式藉由任意數目的人來形成/擺出。可不存在由使用者引起中斷的餘地。其他鍵控手勢可為握拳或和平標誌。
以下實例係關於其他實施例。
實例1為一種手勢辨識裝置，該手勢辨識裝置包含感測器，其配置來判定手勢辨識裝置的使用者之位置資訊；進展判定電路，其配置來基於位置資訊來判定是否已由使用者執行手勢之至少預定部分；以及手勢判定電路，其配置來基於手勢之至少預定部分來判定手勢。
在實例2中，實例1之標的可視需要包括資料庫，其配置來儲存資訊，該資訊指示複數個預定手勢；其中手勢判定電路進一步配置來基於資料庫以判定手勢。
在實例3中，實例2之標的可視需要包括手勢判定電路進一步配置來基於手勢的至少預定部分與判定手勢匹配的機率來判定手勢。
在實例4中，實例1至3中任一者之標的可視需要包括傳送器，其配置來傳送指示手勢的資訊，該手勢基於該手勢之至少預定部分來判定。
在實例5中，實例1至4中任一者之標的可視需要包括進展判定電路進一步經配置來判定使用者是否已完成手勢。
在實例6中，實例5之標的可視需要包括手勢判定電路經配置來判定基於手勢之至少預定部分所判定的手勢與完成手勢是否匹配。
在實例7中，實例6之標的可視需要包括傳送器，其配置來傳送指示手勢的資訊，該手勢基於該手勢之至少預定部分來判定；其中傳送器進一步經配置來在手勢判定電路判定基於手勢之至少預定部分所判定的手勢與完成手勢不匹配的情況下，傳送廢止指示，該廢止指示指示基於手勢之至少預定部分所判定的手勢與完成手勢不匹配。
在實例8中，實例6至7中任一者之標的可視需要包括傳送器，其配置來傳送指示手勢的資訊，該手勢基於該手勢之至少預定部分來判定；其中傳送器進一步經配置來在手勢判定電路判定基於手勢之至少預定部分所判定的手勢與完成手勢匹配的情況下，傳送確認指示，該確認指 示指示基於手勢之至少預定部分所判定的手勢與完成手勢匹配。
在實例9中，實例1至8中任一者之標的可視需要包括該感測器包含以下中的至少一種：深度感測器、攝影機、三維掃描器、三維攝影機或距離感測器。
在實例10中，實例1至9中任一者之標的可視需要包括手勢辨識裝置提供於頭戴顯示器上或頭戴顯示器中。
在實例11中，實例1至10中任一者之標的可視需要包括手勢判定電路進一步經配置來判定是否已執行鍵控手勢；其中該手勢判定電路進一步經配置來基於鍵控手勢以判定用於後續手勢判定之一組候選手勢。
在實例12中，實例11之標的可視需要包括鍵控手勢包含選自以下的至少一個手勢：拇指朝上手勢、握拳手勢或和平標誌手勢。
實例13為一種手勢辨識方法，該手勢辨識方法包含判定手勢辨識裝置的使用者之位置資訊；基於位置資訊來判定是否已由使用者執行手勢之至少預定部分；以及基於手勢的至少預定部分來判定手勢。
在實例14中，實例13之標的可視需要包括於資料庫中儲存指示複數個預定手勢的資訊；以及基於資料庫來判定手勢。
在實例15中，實例14之標的可視需要包括基於手勢的至少預定部分與判定手勢匹配之機率來判定手勢。
在實例16中，實例13至15中任一者之標的可視需要包括傳送指示手勢的資訊，該手勢基於該手勢之至少預定部分來判定。
在實例17中，實例13至16中任一者之標的可視需要包括判定使用者是否已完成手勢。
在實例18中，實例17之標的可視需要包括判定基於手勢的至少預定部分所判定的手勢與完成手勢是否匹配。
在實例19中，實例18之標的可視需要包括傳送指示手勢的資訊，該手勢基於該手勢之至少預定部分來判定；以及在已判定基於手勢之至少預定部分所判定的手勢與完成手勢不匹配的情況下，傳送廢止指示，該廢止指示指示基於手勢之至少預定部分所判定的手勢與完成手勢不匹配。
在實例20中，實例18至19中任一者之標的可視需要包括傳送指示手勢的資訊，該手勢基於該手勢之至少預定部分來判定；以及在已判定基於手勢之至少預定部分所判定的手勢與完成手勢匹配的情況下，傳送確認指示，該確認指示指示基於手勢之至少預定部分所判定的手勢與完成手勢匹配。
在實例21中，實例13至20中任一者之標的可視需要包括判定位置資訊包含基於以下中的至少一種來判定位置資訊：深度感測器、攝影機、三維掃描器、三維攝影機或距離感測器。
在實例22中，實例13至21中任一者之標的可視需要包括手勢辨識方法係使用安裝於頭戴顯示器上或頭戴顯示器中的感測器或攝影機中的至少一種來執行。
在實例23中，實例13至22中任一者之標的可視需要包括判定是否已執行鍵控手勢；以及基於鍵控手勢判定用於後續手勢判定之一組候選手勢。
在實例24中，實例23之標的可視需要包括鍵控手勢包含選自以下的至少一個手勢：拇指朝上手勢、握拳手勢或和平標誌手勢。
雖然已參考特定實施例詳細地顯示及描述本發明，但熟習此項技術者應瞭解的是，在不脫離藉由隨附申請專利範圍限定的本發明之精神及範疇的情況下，可對這些實施例中之形式及細節做出各種改變。本發明之範疇因此藉由隨附申請專利範圍來表示，且落入請求項之同類者的含義及範圍內之所有改變因此均欲涵蓋於本發明中。
100‧‧‧手勢辨識裝置
102‧‧‧感測器
104‧‧‧進展判定電路
106‧‧‧手勢判定電路
108‧‧‧線

Claims (24)

  1. 一種手勢辨識裝置，其包含：一感測器，其配置來判定手勢辨識裝置的一使用者之位置資訊；一進展判定電路，其配置來基於該位置資訊以判定是否已由該使用者執行一手勢之至少預定部分；以及一手勢判定電路，其配置來基於該手勢之該至少預定部分來判定一手勢。
  2. 如請求項1所記載之手勢辨識裝置，其進一步包含一資料庫，其配置來儲存資訊，該資訊指示複數個預定手勢；該手勢判定電路進一步配置來基於該資料庫以判定該手勢。
  3. 如請求項2所記載之手勢辨識裝置，其中該手勢判定電路進一步經配置來基於該手勢之該至少預定部分與該判定手勢匹配的一機率來判定該手勢。
  4. 如請求項1所記載之手勢辨識裝置，其進一步包含一傳送器，其配置來傳送指示該手勢的資訊，該手勢基於該手勢之該至少預定部分來判定。
  5. 如請求項1所記載之手勢辨識裝置，其中該進展判定電路進一步經配置來判定該使用者是否已完成一手勢。
  6. 如請求項5所記載之手勢辨識裝置，其中該手勢判定 電路經配置來判定基於該手勢之該至少預定部分所判定的該手勢與該完成手勢是否匹配。
  7. 如請求項6所記載之手勢辨識裝置，其進一步包含一傳送器，其配置來傳送指示該手勢的資訊，該手勢基於該手勢之該至少預定部分來判定；該傳送器進一步經配置來在該手勢判定電路判定基於該手勢之該至少預定部分所判定的該手勢與該完成手勢不匹配的情況下，傳送一廢止指示，該廢止指示指示基於該手勢之該至少預定部分所判定的該手勢與該完成手勢不匹配。
  8. 如請求項6所記載之手勢辨識裝置，其進一步包含一傳送器，其配置來傳送指示該手勢的資訊，該手勢基於該手勢之該至少預定部分來判定；該傳送器進一步經配置來在該手勢判定電路判定基於該手勢之該至少預定部分所判定的該手勢與該完成手勢匹配的情況下，傳送一確認指示，該確認指示指示基於該手勢之該至少預定部分所判定的該手勢與該完成手勢匹配。
  9. 如請求項1所記載之手勢辨識裝置，其中該感測器包含以下的至少一種：深度感測器、攝影機、三維掃描器、三維攝影機及距離感測器。
  10. 如請求項1所記載之手勢辨識裝置，其中該手勢辨識裝置提供於一頭戴顯示器上或一頭戴顯示器中。
  11. 如請求項1所記載之手勢辨識裝置，其中該手勢判定 電路進一步經配置來判定是否已執行一鍵控手勢；該手勢判定電路進一步經配置來基於該鍵控手勢以判定用於後續手勢判定之一組候選手勢。
  12. 如請求項11所記載之手勢辨識裝置，其中該鍵控手勢包含選自以下的至少一個手勢：拇指朝上手勢、握拳手勢及和平標誌手勢。
  13. 一種手勢辨識方法，其包含以下步驟：判定手勢辨識裝置的一使用者之位置資訊；基於該位置資訊來判定是否已由該使用者執行一手勢之至少預定部分；以及基於該手勢的該至少預定部分來判定一手勢。
  14. 如請求項13所記載之手勢辨識方法，其進一步包含於一資料庫中儲存指示複數個預定手勢的資訊；基於該資料庫判定該手勢。
  15. 如請求項14所記載之手勢辨識方法，其進一步包含基於該手勢的該至少預定部分與該判定手勢匹配之一機率來判定該手勢。
  16. 如請求項13所記載之手勢辨識方法，其進一步包含傳送指示該手勢的資訊，該手勢基於該手勢之該至少預定部分來判定。
  17. 如請求項13所記載之手勢辨識方法，其進一步包含判定該使用者是否已完成一手勢。
  18. 如請求項17所記載之手勢辨識方法，其進一步包含判定基於該手勢的該至少預定部分所判定的該手勢 與該完成手勢是否匹配。
  19. 如請求項18所記載之手勢辨識方法，其進一步包含傳送指示該手勢的資訊，該手勢基於該手勢之該至少預定部分來判定；在已判定基於該手勢之該至少預定部分所判定的該手勢與該完成手勢不匹配的情況下，傳送一廢止指示，該廢止指示指示基於該手勢之該至少預定部分所判定的該手勢與該完成手勢不匹配。
  20. 如請求項18所記載之手勢辨識方法，其進一步包含傳送指示該手勢的資訊，該手勢基於該手勢之該至少預定部分來判定；在已判定基於該手勢之該至少預定部分所判定的該手勢與該完成手勢匹配的情況下，傳送一確認指示，該確認指示指示基於該手勢之該至少預定部分所判定的該手勢與該完成手勢匹配。
  21. 如請求項13所記載之手勢辨識方法，其中判定該位置資訊包含基於以下中的至少一種來判定該位置資訊：深度感測器、攝影機、三維掃描器、三維攝影機及距離感測器。
  22. 如請求項13所記載之手勢辨識方法，其中該手勢辨識方法係使用安裝於一頭戴顯示器上或一頭戴顯示器中的一感測器或一攝影機中的至少一種來執行。
  23. 如請求項12所記載之手勢辨識方法，其進一步包含判定是否已執行一鍵控手勢； 基於該鍵控手勢判定用於後續手勢判定之一組候選手勢。
  24. 如請求項23所記載之手勢辨識方法，其中該鍵控手勢包含選自以下的至少一個手勢：拇指朝上手勢、握拳手勢及和平標誌手勢。
TW104144450A 2015-01-09 2015-12-30 手勢辨識裝置及手勢辨識方法 TW201626168A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/SG2015/000004 WO2016111641A1 (en) 2015-01-09 2015-01-09 Gesture recognition devices and gesture recognition methods

Publications (1)

Publication Number Publication Date
TW201626168A true TW201626168A (zh) 2016-07-16

Family

ID=56356225

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104144450A TW201626168A (zh) 2015-01-09 2015-12-30 手勢辨識裝置及手勢辨識方法

Country Status (7)

Country Link
US (1) US20180267617A1 (zh)
EP (1) EP3243120A4 (zh)
CN (1) CN107430431B (zh)
AU (1) AU2015375530B2 (zh)
SG (1) SG11201705579QA (zh)
TW (1) TW201626168A (zh)
WO (1) WO2016111641A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11113890B2 (en) 2019-11-04 2021-09-07 Cognizant Technology Solutions India Pvt. Ltd. Artificial intelligence enabled mixed reality system and method
US11418863B2 (en) 2020-06-25 2022-08-16 Damian A Lynch Combination shower rod and entertainment system
US11594089B2 (en) * 2021-04-16 2023-02-28 Essex Electronics, Inc Touchless motion sensor systems for performing directional detection and for providing access control

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8684839B2 (en) * 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
GB2419433A (en) * 2004-10-20 2006-04-26 Glasgow School Of Art Automated Gesture Recognition
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US20090265671A1 (en) * 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
CN102317977A (zh) * 2009-02-17 2012-01-11 奥美可互动有限责任公司 用于姿势识别的方法和系统
CN101661556A (zh) * 2009-09-25 2010-03-03 哈尔滨工业大学深圳研究生院 基于视觉的静态手势识别方法
KR101373285B1 (ko) * 2009-12-08 2014-03-11 한국전자통신연구원 제스쳐 인식 기능을 갖는 휴대 단말기 및 이를 이용한 인터페이스 시스템
US9019201B2 (en) 2010-01-08 2015-04-28 Microsoft Technology Licensing, Llc Evolving universal gesture sets
JP5601045B2 (ja) * 2010-06-24 2014-10-08 ソニー株式会社 ジェスチャ認識装置、ジェスチャ認識方法およびプログラム
US9135503B2 (en) * 2010-11-09 2015-09-15 Qualcomm Incorporated Fingertip tracking for touchless user interface
US9619035B2 (en) * 2011-03-04 2017-04-11 Microsoft Technology Licensing, Llc Gesture detection and recognition
CN103105926A (zh) * 2011-10-17 2013-05-15 微软公司 多传感器姿势识别
WO2013056431A1 (en) * 2011-10-18 2013-04-25 Nokia Corporation Methods and apparatuses for gesture recognition
CN102426480A (zh) * 2011-11-03 2012-04-25 康佳集团股份有限公司 一种人机交互系统及其实时手势跟踪处理方法
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
CN102799273B (zh) * 2012-07-11 2015-04-15 华南理工大学 交互控制系统及其交互控制方法
US9019174B2 (en) * 2012-10-31 2015-04-28 Microsoft Technology Licensing, Llc Wearable emotion detection and feedback system
CN102981742A (zh) * 2012-11-28 2013-03-20 无锡市爱福瑞科技发展有限公司 基于计算机视觉的手势交互系统
TWI456430B (zh) * 2012-12-07 2014-10-11 Pixart Imaging Inc 手勢判斷裝置、其操作方法與手勢判斷方法
CA2896985A1 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9164588B1 (en) * 2013-02-05 2015-10-20 Google Inc. Wearable computing device with gesture recognition
US9436288B2 (en) * 2013-05-17 2016-09-06 Leap Motion, Inc. Cursor mode switching
US9383894B2 (en) * 2014-01-08 2016-07-05 Microsoft Technology Licensing, Llc Visual feedback for level of gesture completion

Also Published As

Publication number Publication date
US20180267617A1 (en) 2018-09-20
EP3243120A1 (en) 2017-11-15
AU2015375530B2 (en) 2021-04-15
CN107430431A (zh) 2017-12-01
CN107430431B (zh) 2021-06-04
SG11201705579QA (en) 2017-08-30
WO2016111641A1 (en) 2016-07-14
AU2015375530A1 (en) 2017-07-27
EP3243120A4 (en) 2018-08-22

Similar Documents

Publication Publication Date Title
JP5187280B2 (ja) 操作制御装置および操作制御方法
US10592050B2 (en) Systems and methods for using hover information to predict touch locations and reduce or eliminate touchdown latency
US8059111B2 (en) Data transfer using hand-held device
US10282090B2 (en) Systems and methods for disambiguating intended user input at an onscreen keyboard using dual strike zones
CN103562820B (zh) 目标歧义消除和校正
TW201224850A (en) Gesture recognition
JP2012511774A (ja) ソフトウェアキーボード制御方法
US20150185850A1 (en) Input detection
JP7233109B2 (ja) タッチ感知面－ディスプレイによる入力方法、電子装置、触覚－視覚技術による入力制御方法及びシステム
CN104769601A (zh) 识别用户身份的方法及电子设备
US9619134B2 (en) Information processing device, control method for information processing device, program, and information storage medium
TW201626168A (zh) 手勢辨識裝置及手勢辨識方法
KR101548872B1 (ko) 영상처리를 이용한 손가락 인식 방법 및 시스템
TWI662452B (zh) 可攜式電子裝置及解鎖方法
US20170068321A1 (en) Gesture Interactive Operation Method
KR102026882B1 (ko) 터치 스크린을 포함한 전자 장치에서 다섯 손가락을 구별하기 위한 방법 및 장치
JP2016066254A (ja) タッチ検出装置を備えた電子装置
WO2017193748A1 (zh) 应用程序数据处理的方法及装置
Kim et al. Tapboard 2: Simple and effective touchpad-like interaction on a multi-touch surface keyboard
US9720513B2 (en) Apparatus and method for receiving a key input
WO2021012096A1 (zh) 媒体资源推送装置、方法、电子设备及存储介质
HANI Detection of Midair Finger Tapping Gestures and Their Applications
CN115657921A (zh) 触控方法及装置、电子设备、计算机可读存储介质
CN116166161A (zh) 基于多层级菜单的交互方法及相关设备
Ewerling A novel processing pipeline for optical multi-touch surfaces