TWI790764B - 三維手勢偵測裝置及三維手勢偵測方法 - Google Patents

三維手勢偵測裝置及三維手勢偵測方法 Download PDF

Info

Publication number
TWI790764B
TWI790764B TW110136554A TW110136554A TWI790764B TW I790764 B TWI790764 B TW I790764B TW 110136554 A TW110136554 A TW 110136554A TW 110136554 A TW110136554 A TW 110136554A TW I790764 B TWI790764 B TW I790764B
Authority
TW
Taiwan
Prior art keywords
gesture
hand
key points
dimensional
trajectory
Prior art date
Application number
TW110136554A
Other languages
English (en)
Other versions
TW202316235A (zh
Inventor
黃士挺
黃昭世
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW110136554A priority Critical patent/TWI790764B/zh
Priority to US17/820,985 priority patent/US20230097355A1/en
Application granted granted Critical
Publication of TWI790764B publication Critical patent/TWI790764B/zh
Publication of TW202316235A publication Critical patent/TW202316235A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

三維手勢偵測裝置及三維手勢偵測方法。三維手勢偵測裝置包括一節點偵測單元、一手勢辨識模型及一手勢軌跡偵測單元。節點偵測單元依據手部連續影像之各個手部畫面，獲得數個節點。手勢辨識模型獲得數個手勢類別信心度。手勢軌跡偵測單元包括一權重分析器、一手勢分析器、一關鍵點歸類器及一軌跡分析器。權重分析器依據一使用者介面，獲得這些手勢類別之數個權重。手勢分析器對這些手勢類別信心度進行加權計算，以分析出各個手部畫面之一手勢。關鍵點歸類器從這些節點歸類出數個關鍵點。軌跡分析器用以依據這些關鍵點，獲得手勢之一慣性軌跡。

Description

三維手勢偵測裝置及三維手勢偵測方法
本揭露是有關於一種偵測裝置及偵測方法，且特別是有關於一種三維手勢偵測裝置及三維手勢偵測方法。
隨著影像辨識技術的進步，發展出一種手勢偵測技術。透過手勢偵測技術，可以讓使用者對電子裝置進行更直覺的手勢操控。
然而，在目前的技術中，所偵測到的手勢並不是很穩定，有時候抓錯，有時候會抓不到，偶而會斷斷續續。手勢操控的技術仍然存在相當大的瓶頸。研究人員正致力於改善偵測不穩定的問題。
本揭露係有關於一種三維手勢偵測裝置及三維手勢偵測方法，其針對使用者介面進行了適應性的調整，使得手勢的 分析更為穩定。慣性軌跡的偵測不是單純只利用手勢就決定慣性軌跡，而是進一步參考了節點進行分析，使得慣性軌跡能夠連續且順暢。
根據本揭露之一方面，提出一種三維手勢偵測裝置。三維手勢偵測裝置包括一節點偵測單元、一手勢辨識模型及一手勢軌跡偵測單元。節點偵測單元用以接收一手部連續影像。手部連續影像具有數張手部畫面。節點偵測單元依據各個手部畫面，獲得數個節點。手勢辨識模型用以依據這些節點，獲得數個手勢類別之數個手勢類別信心度。手勢軌跡偵測單元包括一權重分析器、一手勢分析器、一關鍵點歸類器及一軌跡分析器。權重分析器用以依據一使用者介面，獲得這些手勢類別之數個權重。手勢分析器用以依據這些權重，對這些手勢類別信心度進行加權計算，以分析出各個手部畫面之一手勢。關鍵點歸類器用以依據手勢，從這些節點歸類出數個關鍵點。軌跡分析器用以依據這些關鍵點於這些手部畫面之變化，獲得手勢之一慣性軌跡。
根據本揭露之另一方面，提出一種三維手勢偵測方法。三維手勢偵測方法包括以下步驟。獲得一手部連續影像。手部連續影像具有數張手部畫面。依據各個手部畫面，獲得數個節點。依據這些節點，獲得數個手勢類別之數個手勢類別信心度。依據一使用者介面，獲得這些手勢類別之數個權重。依據這些權重，對這些手勢類別信心度進行加權計算，以分析出各個手部畫 面之一手勢。依據手勢，從這些節點歸類出數個關鍵點。依據這些關鍵點於這些手部畫面之變化，獲得手勢之一慣性軌跡。
為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：
100:三維手勢偵測裝置
110:節點偵測單元
120:手勢辨識模型
130:手勢軌跡偵測單元
131:權重分析器
132:手勢分析器
133:關鍵點歸類器
134:軌跡分析器
300:筆記型電腦
800:影像擷取單元
CF,CF*:手勢類別信心度
CG:手勢類別
CT:重心
FM:手部畫面
GT:手勢
ND:節點
ND*:關鍵點
P1:點
S110,S120,S130,S140,S150,S160,S170:步驟
t2,t3,t4,t5,t6,t7,t8,t9:時間點
TR:慣性軌跡
UI:使用者介面
VD:手部連續影像
VT:最長徑向
WT:權重
第1圖繪示根據一實施例之三維手勢偵測裝置的示意圖。
第2圖示例說明「點擊(tap)」之手勢所對應之動作。
第3圖繪示多個時間點的手部畫面。
第4圖繪示偵測到第3圖之手勢的對應操作。
第5圖繪示根據一實施例之三維手勢偵測裝置的方塊圖。
第6圖繪示根據一實施例之三維手勢偵測方法的流程圖。
第7圖示例說明步驟S110。
第8圖示例說明步驟S120。
第9圖示意說明步驟S130。
第10圖示例說明步驟S140。
第11圖示例說明步驟S150。
第12圖示例說明步驟S160。
第13圖示例說明步驟S170。
第14A~14B圖示例說明另一種關鍵點的變化。
第15A~15B圖示例說明另一種關鍵點的變化。
第16圖示例說明步驟S160之另一例。
請參照第1圖，其繪示根據一實施例之三維手勢偵測裝置100的示意圖。三維手勢偵測裝置100例如是一外接式電子裝置，其可以透過USB連接至筆記型電腦300。或者，三維手勢偵測裝置亦可內建於筆記型電腦300內。如第1圖所示，使用者可以在三維手勢偵測裝置100的上方比劃手勢，讓三維手勢偵測裝置100作為筆記型電腦300之直覺式輸入裝置。
舉例來說，請參照第2圖，其示例說明「點擊(tap)」之手勢所對應之動作。筆記型電腦300可以定義偵測到「點擊」之手勢時，觸發滑鼠之左鍵被按壓之動作。並且，筆記型電腦300可以進一步定義當「點擊」之手勢在空中移動時，觸發拖曳之動作。
然而，要使拖曳之動作順暢，必須在每一手部畫面都偵測到「點擊」之手勢。請參照第3圖，其繪示時間點t2~t9的手部畫面。在偵測手勢時，可能因為使用者手掌放鬆、環境亮度改變等情況而只有在時間點t2~t4、t8、t9的手部畫面偵測到「點擊」之手勢，在時間點t5~t7則是偵測到「開掌」的手勢。
請參照第4圖，其繪示偵測到第3圖之手勢的對應操作。只有在時間點t2~t4、t8、t9的手部畫面偵測到「點擊」之手勢， 故筆記型電腦300的游標軌跡會在點P1停留一段時間(即時間點t5~t7)，讓拖曳的動作變得不順暢。
請參照第5圖，其繪示根據一實施例之三維手勢偵測裝置100的方塊圖。三維手勢偵測裝置100包括一節點偵測單元110、一手勢辨識模型120及一手勢軌跡偵測單元130。手勢軌跡偵測單元130包括一權重分析器131、一手勢分析器132、一關鍵點歸類器133及一軌跡分析器134。
節點偵測單元110用以進行節點ND的偵測，手勢辨識模型120用以進行手勢類別信心度CF的分析，節點ND與手勢類別信心度CF都會輸出至手勢軌跡偵測單元130，以進行慣性軌跡TR的分析。節點偵測單元110、手勢辨識模型120及手勢軌跡偵測單元130例如是一電路、一晶片、一電路板、一程式碼、或儲存程式碼之儲存裝置。在本實施例中，手勢GT的分析針對使用者介面UI進行了適應性的調整，使得手勢GT的分析更為穩定。此外，手勢軌跡偵測單元130不是單純只利用手勢GT就決定慣性軌跡TR，而是進一步參考了節點ND進行分析，使得慣性軌跡TR能夠連續且順暢。以下更搭配一流程圖詳細說明上述各項元件之運作。
請參照第5圖及第6圖，第6圖繪示根據一實施例之三維手勢偵測方法的流程圖。三維手勢偵測方法包括步驟S110~S170。請參照第7圖，其示例說明步驟S110。在步驟S110中，以一影像擷取單元800獲得一手部連續影像VD。手部連續影像VD具有數張手部畫面FM(繪示於第7圖)。在一實施例中，影像擷 取單元800可以內建於三維手勢偵測裝置100之內部。影像擷取單元800例如是一彩色攝影機或一紅外線攝影機。
接著，請參照第8圖，其示例說明步驟S120。在步驟S120中，節點偵測單元110接收手部連續影像VD，並依據各個手部畫面FM，獲得數個節點ND。在本實施例中，這些節點ND會輸入至手勢辨識模型120及手勢軌跡偵測單元130。
然後，請參照第9圖，其示意說明步驟S130。在步驟S130中，手勢辨識模型120依據這些節點ND，獲得數個手勢類別CG之數個手勢類別之數個手勢類別信心度CF。每一張手部畫面FM之數個節點ND輸入至手勢辨識模型120後，針對預設之各種手勢，可以輸出對應的手勢類別信心度CF。舉例來說，針對「點擊(tap)」、「拿取(pinch,pick)」、「開掌」、「握拳」、「立掌」等手勢類別CG，其手勢類別信心度CF分別是0.9、0.1、0.7、0.5、0.1。「點擊」是具有最高類別信心度CF的手勢類別CG。
在本實施例中，手勢辨識模型120取得這些手勢類別信心度CF後，不直接以具有最高類別信心度CF者作為手勢GT之分析結果，而是將這些手勢類別信心度CF輸入至手勢軌跡偵測單元130。
接著，請參照第10圖，其示例說明步驟S140。在步驟S140中，權重分析器131依據一使用者介面UI，獲得這些手勢類別CG之數個權重WT。舉例來說，在第10圖之使用者介面UI最有可能用到的是「點擊」之手勢類別CG。「拿取」、「開掌」、 「握拳」、「立掌」等手勢類別CG幾乎不會用到，故針對「點擊」、「拿取」、「開掌」、「握拳」、「立掌」等手勢類別CG，其權重WT可以是0.9、0.1、0.1、0.1、0.1或0.9、0.0、0.0、0.0、0.0。
然後，請參照第11圖，其示例說明步驟S150。在步驟S150中，手勢分析器132依據這些權重WT，對這些手勢類別信心度CF進行加權計算，獲得手勢類別信心度CF*，以分析出各個手部畫面FM之手勢GT。如上所述，經由加權計算後，在第10圖的使用者介面UI之下，「點擊」不會再被誤判為「開掌」。
接著，請參照第12圖，其示例說明步驟S160。在步驟S160中，關鍵點歸類器133依據手勢GT，從這些節點ND歸類出數個關鍵點ND*。以「點擊」之手勢GT為例，使用者有可能會放鬆中指、無名指與小指，但食指與拇指通常不會放鬆，故關鍵點ND*可以設為食指與拇指之節點ND。透過關鍵點ND*的設定，可以強化慣性軌跡之連續性。
然後，請參照第13圖，其示例說明步驟S170。在步驟S170中，軌跡分析器134依據這些關鍵點ND*於這些手部畫面FM之變化，獲得手勢GT之一慣性軌跡TR。
在一實施例中，這些關鍵點ND*於這些手部畫面FM之變化包括一重心CT的變化。在本實施例中，只要在手部畫面FM中有取得關鍵點ND*，即可將此手部畫面FM加入慣性軌跡TR的分析。如此一來，慣性軌跡TR可以順暢地偵測出來。
在一實施例中，軌跡分析器134例如是利用平均值、單指數、雙指數、卡爾曼濾波器來進行慣性軌跡TR的分析。
請參照第14A~14B圖，其示例說明另一種關鍵點ND*的變化。在另一實施例中，關鍵點ND*於這些手部畫面FM之變化包括一向量長度的變化。如第14A~14B圖所示，根據關鍵點ND*之最長徑向VT，可以分析出向量長度。軌跡分析器134可以根據向量長度的變化來分析出慣性軌跡TR。舉例來說，向量長度變長時，表示使用者向上滑動食指。
請參照第15A~15B圖，其示例說明另一種關鍵點ND*的變化。在另一實施例中，關鍵點ND*於這些手部畫面FM之變化包括一向量角度的變化。如第15A~15B圖所示，根據關鍵點ND*之最長徑向VT，可以分析出向量角度。軌跡分析器134可以根據向量角度的變化來分析出慣性軌跡TR。舉例來說，向量角度從負值變正值時，表示使用者向右滑動食指。
根據上述實施例，手勢GT的分析針對使用者介面UI進行了適應性的調整，使得手勢GT的分析更為穩定。此外，手勢軌跡偵測單元130不是單純只利用手勢GT就決定慣性軌跡，而是進一步參考了節點ND進行分析，使得慣性軌跡TR能夠連續且順暢。
此外，請參照第16圖，其示例說明步驟S160之另一例。在步驟S160中，關鍵點歸類器133依據手勢GT，從這些節點ND歸類出數個關鍵點ND*。以「拿取」之手勢GT為例，使用者通常有可能會放鬆中指、無名指與小指，但食指的指尖與拇指的指尖通常不會放鬆，故關鍵點ND*可以設為食指的指尖與拇指的指尖之節點。透過關鍵點ND*的設定，可以強化慣性軌跡之連續性。
綜上所述，雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。
100:三維手勢偵測裝置
110:節點偵測單元
120:手勢辨識模型
130:手勢軌跡偵測單元
131:權重分析器
132:手勢分析器
133:關鍵點歸類器
134:軌跡分析器
800:影像擷取單元
CF:手勢類別信心度
GT:手勢
ND:節點
ND*:關鍵點
TR:慣性軌跡
UI:使用者介面
VD:手部連續影像
WT:權重

Claims (10)

  1. 一種三維手勢偵測裝置，包括：一節點偵測單元，用以接收一手部連續影像，該手部連續影像具有複數張手部畫面，該節點偵測單元依據各該手部畫面，獲得複數個節點；一手勢辨識模型，用以依據該些節點，獲得點擊、拿取、開掌、握拳、或立掌之複數個手勢類別之複數個手勢類別信心度；以及一手勢軌跡偵測單元，包括：一權重分析器，用以依據一使用者介面，獲得點擊、拿取、開掌、握拳、或立掌之該些手勢類別之複數個權重；一手勢分析器，用以依據該些權重，對該些手勢類別信心度進行加權計算，以分析出各該手部畫面之一手勢；一關鍵點歸類器，用以依據該手勢，將部分之該些節點歸類為複數個關鍵點；及一軌跡分析器，用以依據該些關鍵點於該些手部畫面之變化，獲得該手勢之一慣性軌跡。
  2. 如請求項1所述之三維手勢偵測裝置，其中若該手勢為點擊(tap)，則該些關鍵點為食指與拇指之節點。
  3. 如請求項1所述之三維手勢偵測裝置，其中若該手勢為拿取(pinch,pick)，則該些關鍵點為食指尖與拇指尖之節點。
  4. 如請求項1所述之三維手勢偵測裝置，其中該些關鍵點於該些手部畫面之變化包括一重心的變化。
  5. 如請求項1所述之三維手勢偵測裝置，其中該些關鍵點於該些手部畫面之變化包括一向量角度的變化及一向量長度的變化。
  6. 一種三維手勢偵測方法，包括：獲得一手部連續影像，該手部連續影像具有複數張手部畫面；依據各該手部畫面，獲得複數個節點；依據該些節點，獲得點擊、拿取、開掌、握拳、或立掌之複數個手勢類別之複數個手勢類別信心度；依據一使用者介面，獲得點擊、拿取、開掌、握拳、或立掌之該些手勢類別之複數個權重；依據該些權重，對該些手勢類別信心度進行加權計算，以分析出各該手部畫面之一手勢；依據該手勢，將部分之該些節點歸類為複數個關鍵點；以及依據該些關鍵點於該些手部畫面之變化，獲得該手勢之一慣性軌跡。
  7. 如請求項6所述之三維手勢偵測方法，其中若該手勢為點擊(tap)，則該些關鍵點為食指與拇指之節點。
  8. 如請求項6所述之三維手勢偵測方法，其中若該手勢為拿取(pinch,pick)，則該些關鍵點為食指尖與拇指尖之節點。
  9. 如請求項6所述之三維手勢偵測方法，其中該些關鍵點於該些手部畫面之變化包括一重心的變化。
  10. 如請求項6所述之三維手勢偵測方法，其中該些關鍵點於該些手部畫面之變化包括一向量角度的變化及一向量長度的變化。
TW110136554A 2021-09-30 2021-09-30 三維手勢偵測裝置及三維手勢偵測方法 TWI790764B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW110136554A TWI790764B (zh) 2021-09-30 2021-09-30 三維手勢偵測裝置及三維手勢偵測方法
US17/820,985 US20230097355A1 (en) 2021-09-30 2022-08-19 Three-dimensional gesture detection device and three-dimensional gesture detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110136554A TWI790764B (zh) 2021-09-30 2021-09-30 三維手勢偵測裝置及三維手勢偵測方法

Publications (2)

Publication Number Publication Date
TWI790764B true TWI790764B (zh) 2023-01-21
TW202316235A TW202316235A (zh) 2023-04-16

Family

ID=85718206

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110136554A TWI790764B (zh) 2021-09-30 2021-09-30 三維手勢偵測裝置及三維手勢偵測方法

Country Status (2)

Country Link
US (1) US20230097355A1 (zh)
TW (1) TWI790764B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116766213B (zh) * 2023-08-24 2023-11-03 烟台大学 一种基于图像处理的仿生手控制方法、系统和设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140306875A1 (en) * 2013-04-12 2014-10-16 Anli HE Interactive input system and method
CN105528061A (zh) * 2014-09-30 2016-04-27 财团法人成大研究发展基金会 手势辨识系统
CN105849673A (zh) * 2014-01-07 2016-08-10 索夫特克尼特科软件公司 基于自然三维手势的人机导览方法
US20180024641A1 (en) * 2016-07-20 2018-01-25 Usens, Inc. Method and system for 3d hand skeleton tracking
TW201908919A (zh) * 2017-07-21 2019-03-01 中華電信股份有限公司 三維電容式穿戴人機互動裝置及方法
CN111475024A (zh) * 2019-12-25 2020-07-31 山东中科先进技术研究院有限公司 一种人体动作捕捉系统及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140306875A1 (en) * 2013-04-12 2014-10-16 Anli HE Interactive input system and method
CN105849673A (zh) * 2014-01-07 2016-08-10 索夫特克尼特科软件公司 基于自然三维手势的人机导览方法
CN105528061A (zh) * 2014-09-30 2016-04-27 财团法人成大研究发展基金会 手势辨识系统
US20180024641A1 (en) * 2016-07-20 2018-01-25 Usens, Inc. Method and system for 3d hand skeleton tracking
TW201908919A (zh) * 2017-07-21 2019-03-01 中華電信股份有限公司 三維電容式穿戴人機互動裝置及方法
CN111475024A (zh) * 2019-12-25 2020-07-31 山东中科先进技术研究院有限公司 一种人体动作捕捉系统及方法

Also Published As

Publication number Publication date
US20230097355A1 (en) 2023-03-30
TW202316235A (zh) 2023-04-16

Similar Documents

Publication Publication Date Title
US10126826B2 (en) System and method for interaction with digital devices
US11294470B2 (en) Human-to-computer natural three-dimensional hand gesture based navigation method
WO2021023059A1 (zh) 拍照方法和移动终端
CN109933206B (zh) 一种基于Leap Motion的手指无接触绘图方法及系统
US8462113B2 (en) Method for executing mouse function of electronic device and electronic device thereof
Kumar et al. Mouse simulation using two coloured tapes
TWI790764B (zh) 三維手勢偵測裝置及三維手勢偵測方法
CN111783600B (zh) 一种人脸识别模型训练方法、装置、设备及介质
Sharma et al. Virtual mouse control using hand class gesture
CN109753154B (zh) 有屏设备的手势控制方法和装置
CN111860086A (zh) 基于深度神经网络的手势识别方法、装置及系统
CN115966012A (zh) 三维手势检测装置及三维手势检测方法
CN101598982A (zh) 电子装置的鼠标功能执行方法及其电子装置
Foroutan et al. Control of computer pointer using hand gesture recognition in motion pictures
Waybhase et al. Towards Controlling Mouse through Hand Gestures: A Novel and Efficient Approach.
Roh et al. A virtual mouse interface with a two-layered Bayesian network
Prabhakar et al. AI And Hand Gesture Recognition Based Virtual Mouse
Rautaray et al. Adaptive hand gesture recognition system for multiple applications
Singh et al. Digitized Interaction: A Gesture-Controlled Whiteboard System with OpenCV, MediaPipe and NumPy
Dave et al. Project MUDRA: Personalization of Computers using Natural Interface
CN115798054B (zh) 一种基于ar/mr技术的手势识别方法及电子设备
KR102346904B1 (ko) 제스처 인식 장치 및 방법
WO2023077886A1 (zh) 一种显示设备及其控制方法
WO2023004553A1 (zh) 指尖鼠标的实现方法及系统
Bottino et al. How to make a simple and robust 3d hand tracking device using a Single Camera