TWI690842B - 基於手勢辨認的互動顯示方法和裝置 - Google Patents

基於手勢辨認的互動顯示方法和裝置 Download PDF

Info

Publication number
TWI690842B
TWI690842B TW107141151A TW107141151A TWI690842B TW I690842 B TWI690842 B TW I690842B TW 107141151 A TW107141151 A TW 107141151A TW 107141151 A TW107141151 A TW 107141151A TW I690842 B TWI690842 B TW I690842B
Authority
TW
Taiwan
Prior art keywords
interest
gesture
points
displacement
instruction
Prior art date
Application number
TW107141151A
Other languages
English (en)
Other versions
TW202013169A (zh
Inventor
周永明
朱峰森
林彥宏
柯士豪
陳瑞傑
Original Assignee
未來市股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 未來市股份有限公司 filed Critical 未來市股份有限公司
Publication of TW202013169A publication Critical patent/TW202013169A/zh
Application granted granted Critical
Publication of TWI690842B publication Critical patent/TWI690842B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種互動顯示的方法，用於一電子裝置，包含判斷對應多個影像的多個手勢；解讀該多個手勢中的一預定手勢組合，以作為一第一指令；以及顯示一第一場景以回應該第一指令。

Description

基於手勢辨認的互動顯示方法和裝置
本發明係指一種互動顯示方法和裝置，尤指一種基於手勢辨認的互動顯示方法和裝置。
影像處理廣泛地應用在不同領域，其可涉及二維(two-dimensional，2D)影像、三維(three-dimensional，3D)影像或組合多種不同類型的影像。舉例來說，三維影像可以藉由一深度攝影機(depth imager)來直接產生，例如一結構光(structured light，SL)攝影機或一飛行時間(time of flight，ToF)攝影機。此類的三維影像也可稱作深度影像，通常可使用在包含手勢辨認的機器視覺應用。
在典型的手勢辨認機組中，影像感應器輸出的原始影像資料通常會進行一系列預處理流程。接著，預處理過的影像資料會進行額外處理流程，用於特定手勢辨認應用。諸如此類的應用可實現於視訊遊戲系統、銷售亭或其他以手勢為操作基礎的使用者介面，例如虛擬實境裝置、筆記型電腦、平板電腦、桌上型電腦、手機、互動投影機和電視與機上盒組等消費型電子裝置。
因此，手勢辨認演算法便成為促進使用者和電子裝置進行互動的關鍵要素。
因此，本發明的主要目的即在於提供一種基於手勢辨認的互動顯示方法和電子裝置，以用於一互動顯示系統。
本揭露包含一基於手勢辨認的互動顯示的方法。該方法包含判斷對應多個影像的多個手勢；解讀該多個手勢中的一預定手勢組合，以作為一第一指令；以及顯示一第一場景以回應該第一指令。
本揭露另包含一種用於互動顯示系統的電子裝置，包含一處理裝置和一記憶裝置，其中該記憶裝置耦接於該處理裝置，用來儲存一互動顯示流程，以指示該處理裝置執行該互動顯示流程。
本揭露的互動顯示系統可偵測使用者做出的預定手勢組合，以指示互動顯示系統做出回應給使用者，例如，顯示裝置可在改變玩家的視角之後，於視訊遊戲中顯示不同場景，或是於視訊遊戲中顯示一移動中物體。如此一來，使用者可與互動顯示系統進行互動，而不需接觸任何使用者輸入裝置。
1:互動顯示系統
10:影像感應器
11:手勢辨認裝置
12:指令偵測器
13:顯示裝置
14:中央處理器
15:記憶裝置
IMG0~IMGn:影像
GR0~GRn:手勢
CMD:指令
P1、P2、P3、P4、P5:指尖
P0:手掌心
J1、J2、J3、J4、J5:關節
OBJ_1、OBJ_2、OBJ_3:虛擬興趣物體
9:互動顯示流程
901、902、903、904、905:步驟
第1圖為本揭露實施例一互動顯示系統的功能方塊圖。
第2圖到第5圖為本揭露多個實施例單手手勢的三維影像示意圖。
第6圖到第8圖為本揭露多個實施例單手或雙手和虛擬物體間的互動示意圖。
第9圖為本揭露實施例一互動顯示流程的流程圖。
第1圖為本揭露實施例一互動顯示系統1的功能方塊圖。互動顯示系統1包含一影像感應器10、一手勢辨認裝置11、一指令偵測器12、一顯示裝置13、一中央處理器14和記憶裝置15。
影像感應器10耦接於手勢辨認裝置11，用來產生多個影像IMG0~IMGn給手勢辨認裝置11。手勢辨認裝置n耦接於影像感應器10和指令偵測器12，用來判斷多個影像IMG0~IMGn對應的多個手勢GR0~GRn給指令偵測器12。指令偵測器12耦接於手勢辨認裝置11和中央處理器14，用來解讀多個手勢GR0~GRn，以作為一指令CMD給中央處理器14。中央處理器14耦接於指令偵測器12、顯示裝置13和記憶裝置15，用來根據指令CMD來輸出影像資料給顯示裝置13。顯示裝置13耦接於中央處理器14，用來顯示一場景。
於一實施例中，影像感應器10可以是一深度攝影機(depth imager)例如一結構光(structured light，SL)攝影機或一飛行時間(time of flight，ToF)攝影機，用來產生包含一興趣物體的多個三維(3-dimensional，3D)影像。舉例來說，影像感應器10可產生包含使用者的單手(或雙手)的多個三維影像IMG0~IMGn。
於一實施例中，手勢辨認裝置11可從三維影像IMG0~IMGn中，辨識 對應興趣物體的多個興趣點，以及根據多個興趣點的相對位置，判斷影像IMG0~IMGn對應的手勢GR0~GRn。舉例來說，興趣點可以是使用者的手的指尖、關節和手掌，其中興趣點分別對應影像感應器10的一空間投影範圍(spatial projection range)內的三維座標；且手勢辨認裝置11可根據使用者的指尖、關節和手掌之間的相對位置，判斷手勢GR0~GRn。
於一實施例中，手勢辨認可透過機器學習(machine learning)來實現，舉例來說，手勢辨認裝置11可以是一神經網路模型(neural network model)，經過多組三維影像資料訓練後，可產生對應一輸入影像的一輸出結果。
於一實施例中，指令偵測器12可解讀一預定手勢組合，以作為指令CMD。舉例來說，於互動顯示系統1，預定手勢組合指的是使用者的指尖、關節和手掌的連續位移動作，以指示互動顯示系統1產生回應給使用者。例如，在視訊遊戲中，改變玩家的視角或移動物體等。
預定手勢組合可以是一第一手勢、一第二手勢、該第一手勢的序列。換言之，使用者可在做出第二手勢之後，再次重複第一手勢，以指示互動顯示系統1產生回應給預定手勢組合。例如，顯示裝置可在改變玩家的視角之後，於視訊遊戲中顯示不同場景，或是於視訊遊戲中顯示一移動中物體。如此一來，使用者可與互動顯示系統1進行互動，而不需接觸任何使用者輸入裝置。
第2圖到第5圖為本揭露多個實施例包含預定手勢組合的單手手勢的三維影像示意圖。手勢辨認裝置11可辨識大拇指、食指、中指、無名指和小拇指的多個指尖P1~P5、單手的一手掌心P0和單手的多個關節J1~J5。
於第2圖中，當辨認到一預定組合包含「釋放(release)」、「持住(hold)」、「釋放」等手勢時，可解讀一「抓住(grab)」指令。針對辨認「釋放」手勢的方式，當偵測到指尖P1~P5和手掌心P0之間的距離在某些預定範圍內，且向量P0J1、P1J1之間的角度在一範圍內(即，大拇指指尖從手掌指向其他方向)時，手勢辨認裝置11可辨認「釋放」手勢。針對辨認「持住」手勢的方式，當偵測到指尖P1~P5和手掌心P0之間的距離在一範圍內或近似於零(即，指尖P1~P5朝手掌心P0移動而做出一拳頭)時，手勢辨認裝置11可辨認「持住」手勢。
於第3圖中，當辨認到一預定組合包含「指向(point)」、「點選(click)」、「指向」等手勢時，可解讀一「瞬移(teleport)」指令。針對辨認「指向」手勢的方式，當偵測到向量P2J2平行於向量J1J2，向量P1J1、P2J2之間的一角度在一範圍內，且指尖P3~P5和手掌心P0之間的距離在一範圍內時，手勢辨認裝置11可辨認「指向」手勢。
針對辨認「點選」手勢的方式，當偵測到向量P2J2平行於向量J1J2和P1J1(或者，向量P2J2、J1J2、P1J1之間的角度近似於零)，指尖P1~P2和手掌心P0之間的距離大於一範圍，且指尖P3~P5和手掌心P0之間的距離在一範圍內時，手勢辨認裝置11可辨認「點選」手勢。於一實施例中，當偵測到大拇指指尖朝向食指關節和手掌移動，且中指指尖、無名指指尖和小拇指指尖停留在靠近手掌位置時，手勢辨認裝置11可辨認「指向」手勢。
以一視訊遊戲系統為例，中央處理器14或其他影像分析模組可將食指的指向方向(例如，向量P2J2)映射到顯示裝置13顯示的空間投影範圍的一場 景，手勢辨認裝置11可偵測一預定組合包含「指向」、「點選」、「指向」等手勢，以輸出「瞬移」指令。接著，中央處理器14可基於食指的指向方向和「瞬移」指令，產生一新場景到顯示裝置13，以顯示新場景給使用者。如此一來，使用者可與互動顯示系統1進行互動，而不需接觸任何使用者輸入裝置。
於第4圖中，當辨認到一預定組合包含「捏開(open nip)」、「捏合(close nip)」、「捏開」等手勢時，可解讀一「鍵入(key in)」指令。針對辨認「捏開」手勢的方式，當偵測到指尖P3~P5和手掌心P0之間的距離在一範圍內，食指指尖P2和手掌心P0之間的距離在一範圍內，且大拇指和手掌之間的角度在一範圍內時，手勢辨認裝置11可辨認「捏開」手勢。針對辨認「捏合」手勢的方式，當偵測到大拇指指尖觸碰食指指尖(或者，指尖P1和P2之間的距離在一範圍內或近似於零)時，手勢辨認裝置11可辨認「捏合」手勢。
於第5圖中，當辨認到一預定組合包含「大拇指朝上(thumb up)」、「點選」、「大拇指朝上」等手勢時，可解讀一「複製(duplicate)」指令。針對辨認「大拇指朝上」手勢的方式，當偵測到指尖P2~P5和手掌心P0之間的距離在一範圍內，且大拇指和手掌之間的角度在一範圍內時，手勢辨認裝置11可辨認「大拇指朝上」手勢。
總結第2圖到第5圖的實施例中，基於指尖、關節和手掌心的相對位置，可辨認不同手勢，而手勢辨認裝置11可根據指尖、關節和手掌心的相對位置之設定條件來辨認手勢。本發明所屬技術領域中具通常知識者可據此修飾變化，而不限於本揭露實施例。
於其他實施例中，中央處理器14或其他影像分析模組(例如，虛擬物體產生裝置)可投射至少一興趣物體(例如，單手或雙手)和一虛擬興趣物體到顯示裝置13的空間投影範圍內顯示的場景的三維影像IMG0~IMGn，且使用者可透過手勢和虛擬興趣物體進行互動。於一實施例中，虛擬物體產生裝置可進行網格生成(mesh generation或grid generation)以產生虛擬物體，且使用者可透過手勢來輸入指令，以指示互動顯示系統1做出回應給輸入指令。例如，顯示裝置可顯示放大、縮小或旋轉中的虛擬物體，或是根據輸入指令來顯示一彈出視窗。
第6圖到第8圖為本揭露多個實施例單手或雙手和一虛擬物體間的互動示意圖。
於第6圖中，使用者可做出「抓住」指令(如第2圖實施例)，以選擇顯示裝置13顯示的一虛擬興趣物體OBJ_1，且使用者可進一步用手勢和虛擬興趣物體OBJ_1進行互動。指令偵測器12可藉由追蹤手勢位移(例如「大拇指朝上」手勢的位移)，以偵測一「向左旋轉」或「向右旋轉」指令。
針對「大拇指朝上」手勢位移的偵測方式，只要偵測到指尖P1~P5和手掌心P0之間的相對位置不變，即可偵測到雙手的「大拇指朝上」手勢，因為「大拇指朝上」手勢的對應偵測條件不變。於一實施例中，「大拇指朝上」手勢位移可以用大拇指指尖P1的位移來代表，指令偵測器12可藉由計算大拇指指尖P1在三維影像IMG0~IMGn中的座標位移，追蹤大拇指指尖P1的位移，以判斷雙手「大拇指朝上」手勢為向左或向右旋轉。舉例來說，當偵測到「大拇指朝上」手勢且大拇指指尖P1移動到顯示裝置13的空間投影範圍的左下區域或右下 區域，指令偵測器12可判斷「向左旋轉」或「向右旋轉」指令。大拇指指尖P1可以是相關於「大拇指朝上」手勢的一指定興趣點。
於第7圖中，使用者可使用雙手來和顯示裝置13顯示的一虛擬興趣物體OBJ_2進行互動。手勢辨認裝置11可辨認右手(第一隻手)和左手(第二隻手)的「持住」手勢，且指令偵測器12可藉由追蹤雙手的手勢位移(例如「持住」手勢位移)，以偵測「放大(enlarge)」或「縮小(shrink)」指令。
針對「持住」手勢位移的偵測方式，只要偵測到指尖P1~P5和手掌心P0之間的相對位置不變，即可偵測到雙手的「持住」手勢，因為「持住」手勢的對應偵測條件不變。於一實施例中，雙手的「持住」手勢位移可以用雙手手掌心P0的位移來代表(或是任何興趣點P1~P5、J1~J5中的一者)，指令偵測器12可藉由計算雙手手掌心P0在三維影像IMG0~IMGn中的座標位移，追蹤雙手手掌心P0的位移，以判斷雙手「持住」手勢為遠離或靠近。舉例來說，在顯示裝置13的空間投影範圍內，當偵測到雙手的「持住」手勢且雙手手掌心P0遠離或靠近，指令偵測器12可判斷「放大」或「縮小」指令。舉例來說，虛擬興趣物體OBJ_2的尺寸正比於單手手掌心P0的座標位移或雙手手掌心P0座標位移。
於第8圖中，使用者的左手或右手可與顯示裝置13顯示的一虛擬興趣物體OBJ_3進行互動。於本實施例中，虛擬興趣物體OBJ_3是一虛擬鍵盤，且包含多個子興趣物體。例如，虛擬鍵盤包含多個對應多個字元的虛擬按鍵。
使用者可在顯示裝置13的空間投影範圍內，移動左手或右手到多個按鍵中的一者之所在位置，藉由做出一預定組合包含「捏開」、「捏合」、「捏開」 等手勢，以表示「鍵入」指令。中央處理器14可根據「鍵入」指令對應的一位置(或指定興趣點)，判斷「鍵入」指令對應的字元，其中指定興趣點可以是從「鍵入」指令的「捏合」手勢中辨識到的大拇指指尖P1或食指指尖P2。接著，中央處理器14可指示顯示裝置13來顯示一彈出視窗，以顯示「鍵入」指令對應的字元。舉例來說，使用者可在顯示裝置13的空間投影範圍內，移動左手到對應一字元「C」的按鍵之所在位置，並做出「鍵入」指令。中央處理器14可根據偵測到「鍵入」指令和對應的指定興趣點，判斷使用者輸入了字元「C」，以指示顯示裝置13顯示彈出視窗來顯示字元「C」。
互動顯示系統1的操作方式可歸納為一互動顯示流程9，如第9圖所示，且互動顯示流程9包含以下步驟。
步驟901：判斷多個影像對應的多個手勢。
步驟902：判斷是否偵測到一預定手勢組合中的多個手勢？若是，進行步驟904；若否，進行步驟903。
步驟903：判斷是否偵測到多個手勢中的一手勢位移？若是，進行步驟904；若否，回到步驟901。
步驟904：解讀預定手勢組合或手勢位移，以作為一指令。
步驟905：顯示一場景以回應指令。
於互動顯示流程9中，步驟901可由手勢辨認裝置11來進行，步驟902到步驟904可由指令偵測器12來進行，且步驟905可由中央處理器14和顯示裝置13來進行。關於互動顯示流程9的詳細操作，可參考第1圖到第8圖的相關描述。第1圖到第9圖的實施例可應用在擴增實境(augmented reality，AR)、虛擬實境(virtual reality，VR)、混合實境(mixed reality，MR)和延伸實境(extended reality，XR) 等相關應用。
綜上所述，本揭露的互動顯示系統可偵測使用者做出的預定手勢組合，以指示互動顯示系統做出回應給使用者，例如，顯示裝置可在改變玩家的視角之後，於視訊遊戲中顯示不同場景，或是於視訊遊戲中顯示一移動中物體。如此一來，使用者可與互動顯示系統進行互動，而不需接觸任何使用者輸入裝置。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
9:互動顯示流程
901、902、903、904、905:步驟

Claims (22)

  1. 一種互動顯示的方法，用於一電子裝置，包含：判斷對應多個影像的多個手勢；於該多個影像中，辨識一第一興趣物體；辨識該第一興趣物體的多個興趣點；根據該多個興趣點，判斷該多個手勢的一者；其中該第一興趣物體是一使用者的一第一隻手，且該多個興趣點包含該第一隻手的一手掌的多個指尖和多個關節；以及解讀該多個手勢中的一預定手勢組合，以作為一第一指令；以及顯示一第一場景以回應該第一指令。
  2. 如請求項1所述的方法，其中該預定手勢組合是一第一手勢、一第二手勢以及該第一手勢的一序列。
  3. 如請求項1所述的方法，另包含：於該多個影像中，辨識一虛擬興趣物體；以及選擇該虛擬興趣物體以回應該第一指令。
  4. 如請求項3所述的方法，另包含：追蹤該多個手勢的一者的位移；解讀該多個手勢的一者的位移，以作為一第二指令；以及顯示一第二場景，以回應該第二指令。
  5. 如請求項4所述的方法，其中追蹤解讀該多個手勢的一者的位移的步驟包含： 辨識該第一興趣物體的多個興趣點；以及追蹤該第一興趣物體的該多個興趣點中的一指定興趣點的位移，其中該指定興趣點相關於該多個手勢的一者。
  6. 如請求項3所述的方法，其中判斷對應該多個影像的該多個手勢的步驟包含：於該多個影像中的一者，辨識一第一興趣物體和一第二興趣物體；辨識該第一興趣物體的多個第一興趣點和該第二興趣物體的多個第二興趣點；以及根據該多個第一興趣點和該多個第二興趣點，判斷該第一興趣物體和第二興趣物體的手勢；其中該第一興趣物體是一使用者的一第一隻手，該第二興趣物體是該使用者的一第二隻手，該多個第一興趣點包含該第一隻手的手掌的多個指尖和多個關節，且該多個第二興趣點包含該第二隻手的手掌的多個指尖和多個關節。
  7. 如請求項6所述的方法，其中判斷對應該多個影像的該多個手勢的步驟包含：追蹤該第一興趣物體的手勢的位移和該第二興趣物體的手勢的位移；解讀該第一興趣物體的手勢的位移和該第二興趣物體的手勢的位移，以作為一第二指令；以及顯示一第二場景，以回應該第二指令。
  8. 如請求項7所述的方法，其中追蹤該第一興趣物體的手勢的位移和該 第二興趣物體的手勢的位移的步驟包含：追蹤該第一興趣物體的該多個第一興趣點中的一第一指定興趣點的位移和該第二興趣物體的該多個第二興趣點中的一第二指定興趣點的位移，其中該第一指定興趣點相關於該第一興趣物體的手勢，且該第二指定興趣點相關於該第二興趣物體的手勢。
  9. 如請求項1所述的方法，另包含：於該多個影像中，辨識一虛擬興趣物體，其中該虛擬興趣物體包含對應多個字元的多個興趣子物體；以及根據對應該第一指令的一指定興趣點，判斷對應該多個興趣子物體的一者的該多個字元的一者；其中顯示該第一場景，以回應該第一指令的步驟包含：顯示一彈出視窗，以顯示對應該第一指令的該多個字元的一者。
  10. 如請求項9所述的方法，其中根據對應該第一指令的該指定興趣點，判斷對應該多個興趣子物體的一者的該多個字元的一者的步驟包含：於該多個影像中，辨識一第一興趣物體；辨識該第一興趣物體的多個興趣點；以及判斷該多個興趣點中對應該第一指令的該指定興趣點；其中該第一興趣物體是一使用者的一第一隻手，該多個興趣點包含該第一隻手的多個指尖，且該指定興趣點是該第一隻手的大拇指指尖或是該第一隻手的食指指尖。
  11. 一種用於互動顯示系統的電子裝置，包含： 一處理裝置；以及一記憶裝置，耦接於該處理裝置，用來儲存一互動顯示流程，以指示該處理裝置執行該互動顯示流程，其中該互動顯示流程包含：判斷對應多個影像的多個手勢；於該多個影像中，辨識一第一興趣物體；辨識該第一興趣物體的多個興趣點；根據該多個興趣點，判斷該多個手勢的一者；其中該第一興趣物體是一使用者的一第一隻手，且該多個興趣點包含該第一隻手的一手掌的多個指尖和多個關節；以及解讀該多個手勢中的一預定手勢組合，以作為一第一指令；以及顯示一第一場景以回應該第一指令。
  12. 如請求項11所述的電子裝置，其中該預定手勢組合是一第一手勢、一第二手勢以及該第一手勢的一序列。
  13. 如請求項11所述的電子裝置，其中該互動顯示流程另包含：於該多個影像中，辨識一虛擬興趣物體；以及選擇該虛擬興趣物體以回應該第一指令。
  14. 如請求項13所述的電子裝置，其中該互動顯示流程另包含：追蹤該多個手勢的一者的位移；解讀該多個手勢的一者的位移，以作為一第二指令；以及顯示一第二場景，以回應該第二指令。
  15. 如請求項14所述的電子裝置，其中追蹤解讀該多個手勢的一者的位移 的步驟包含：辨識該第一興趣物體的多個興趣點；以及追蹤該第一興趣物體的該多個興趣點中的一指定興趣點的位移，其中該指定興趣點相關於該多個手勢的一者。
  16. 如請求項13所述的電子裝置，其中判斷對應該多個影像的該多個手勢的步驟包含：於該多個影像中的一者，辨識一第一興趣物體和一第二興趣物體；辨識該第一興趣物體的多個第一興趣點和該第二興趣物體的多個第二興趣點；以及根據該多個第一興趣點和該多個第二興趣點，判斷該第一興趣物體和第二興趣物體的手勢；其中該第一興趣物體是一使用者的一第一隻手，該第二興趣物體是該使用者的一第二隻手，該多個第一興趣點包含該第一隻手的手掌的多個指尖和多個關節，且該多個第二興趣點包含該第二隻手的手掌的多個指尖和多個關節。
  17. 如請求項16所述的電子裝置，其中判斷對應該多個影像的該多個手勢的步驟包含：追蹤該第一興趣物體的手勢的位移和該第二興趣物體的手勢的位移；解讀該第一興趣物體的手勢的位移和該第二興趣物體的手勢的位移，以作為一第二指令；以及顯示一第二場景，以回應該第二指令。
  18. 如請求項17所述的電子裝置，其中追蹤該第一興趣物體的手勢的位移和該第二興趣物體的手勢的位移的步驟包含：追蹤該第一興趣物體的該多個第一興趣點中的一第一指定興趣點的位移和該第二興趣物體的該多個第二興趣點中的一第二指定興趣點的位移，其中該第一指定興趣點相關於該第一興趣物體的手勢，且該第二指定興趣點相關於該第二興趣物體的手勢。
  19. 如請求項11所述的電子裝置，其中該互動顯示流程另包含：於該多個影像中，辨識一虛擬興趣物體，其中該虛擬興趣物體包含對應多個字元的多個興趣子物體；以及根據對應該第一指令的一指定興趣點，判斷對應該多個興趣子物體的一者的該多個字元的一者；其中顯示該第一場景，以回應該第一指令的步驟包含：顯示一彈出視窗，以顯示對應該第一指令的該多個字元的一者。
  20. 如請求項19所述的電子裝置，其中根據對應該第一指令的該指定興趣點，判斷對應該多個興趣子物體的一者的該多個字元的一者的步驟包含：於該多個影像中，辨識一第一興趣物體；辨識該第一興趣物體的多個興趣點；以及判斷該多個興趣點中對應該第一指令的該指定興趣點；其中該第一興趣物體是一使用者的一第一隻手，該多個興趣點包含該第一隻手的多個指尖，且該指定興趣點是該第一隻手的大拇指指尖或是該第一隻手的食指指尖。
  21. 如請求項11所述的電子裝置，其中該互動顯示系統包含：一影像感應器，耦接於該處理裝置，用來產生該多個影像到該處理裝置；以及一顯示裝置，耦接於該處理裝置，用來顯示該處理裝置輸出的該第一場景。
  22. 如請求項21所述的電子裝置，其中該影像感應器是一結構光相機或一飛行時間相機，且該多個影像的每一者是一三維影像。
TW107141151A 2018-09-25 2018-11-20 基於手勢辨認的互動顯示方法和裝置 TWI690842B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/141,966 2018-09-25
US16/141,966 US10732725B2 (en) 2018-09-25 2018-09-25 Method and apparatus of interactive display based on gesture recognition

Publications (2)

Publication Number Publication Date
TW202013169A TW202013169A (zh) 2020-04-01
TWI690842B true TWI690842B (zh) 2020-04-11

Family

ID=64959117

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107141151A TWI690842B (zh) 2018-09-25 2018-11-20 基於手勢辨認的互動顯示方法和裝置

Country Status (5)

Country Link
US (1) US10732725B2 (zh)
EP (1) EP3629129A1 (zh)
JP (1) JP2020052991A (zh)
CN (1) CN110941328A (zh)
TW (1) TWI690842B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI822493B (zh) * 2022-02-17 2023-11-11 宏達國際電子股份有限公司 用於提高視覺內容的品質的方法及相關產品

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11184574B2 (en) 2017-07-17 2021-11-23 Facebook, Inc. Representing real-world objects with a virtual reality environment
US11972037B2 (en) * 2019-03-18 2024-04-30 Maxell, Ltd. Head mounted information processing apparatus and head mounted display system
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11086406B1 (en) * 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
CN113238650B (zh) 2021-04-15 2023-04-07 青岛小鸟看看科技有限公司 手势识别和控制的方法、装置及虚拟现实设备
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11521361B1 (en) 2021-07-01 2022-12-06 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
US20230011453A1 (en) * 2021-07-07 2023-01-12 Meta Platforms Technologies, Llc Artificial Reality Teleportation Via Hand Gestures
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
CN113885695A (zh) * 2021-08-12 2022-01-04 青岛小鸟看看科技有限公司 基于人工现实的手势交互方法、系统
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
CN113706679A (zh) * 2021-08-31 2021-11-26 南京大学 一种在ar场景中进行3d草图绘制的方法和装置
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
TWI796022B (zh) * 2021-11-30 2023-03-11 幻景啟動股份有限公司 在立體影像上執行互動的方法與立體影像顯示系統
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US12067688B2 (en) 2022-02-14 2024-08-20 Meta Platforms Technologies, Llc Coordination of interactions of virtual objects
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
US12111973B2 (en) * 2022-07-06 2024-10-08 Shopify Inc. System and method to manipulate virtual model based on physical parameters of gesture input
US11972060B2 (en) * 2022-08-04 2024-04-30 Sony Interactive Entertainment Inc. Gesture training for skill adaptation and accessibility
US12097427B1 (en) 2022-08-26 2024-09-24 Meta Platforms Technologies, Llc Alternate avatar controls
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment
CN117373135B (zh) * 2023-12-07 2024-03-15 湖北星纪魅族集团有限公司 基于视觉的滑动手势识别方法、系统及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
US8824802B2 (en) * 2009-02-17 2014-09-02 Intel Corporation Method and system for gesture recognition

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8726194B2 (en) 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
JP5569973B2 (ja) 2011-02-01 2014-08-13 Ｋｄｄｉ株式会社 情報端末装置、方法及びプログラム
KR101896947B1 (ko) * 2011-02-23 2018-10-31 엘지이노텍 주식회사 제스쳐를 이용한 입력 장치 및 방법
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
CN105378593B (zh) * 2012-07-13 2019-03-01 索尼深度传感解决方案股份有限公司 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和系统
US20140282274A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
CN103226388B (zh) * 2013-04-07 2016-05-04 华南理工大学 一种基于Kinect的手写方法
JP2014235634A (ja) 2013-06-04 2014-12-15 国立大学法人 筑波大学 手指動作検出装置、手指動作検出方法、手指動作検出プログラム、及び仮想物体処理システム
EP2891950B1 (en) 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US10705619B2 (en) * 2014-11-21 2020-07-07 Abhishek Johri System and method for gesture based data and command input via a wearable device
JP2017111537A (ja) 2015-12-15 2017-06-22 株式会社ブリリアントサービス ヘッドマウントディスプレイおよびヘッドマウントディスプレイのプログラム
CN106502424A (zh) * 2016-11-29 2017-03-15 上海小持智能科技有限公司 基于语音手势及肢体动作互动的增强现实系统
WO2018127782A1 (en) 2017-01-03 2018-07-12 Xing Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US20190073040A1 (en) * 2017-09-05 2019-03-07 Future Mobility Corporation Limited Gesture and motion based control of user interfaces

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8824802B2 (en) * 2009-02-17 2014-09-02 Intel Corporation Method and system for gesture recognition
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI822493B (zh) * 2022-02-17 2023-11-11 宏達國際電子股份有限公司 用於提高視覺內容的品質的方法及相關產品

Also Published As

Publication number Publication date
CN110941328A (zh) 2020-03-31
US10732725B2 (en) 2020-08-04
EP3629129A1 (en) 2020-04-01
JP2020052991A (ja) 2020-04-02
US20200097091A1 (en) 2020-03-26
TW202013169A (zh) 2020-04-01

Similar Documents

Publication Publication Date Title
TWI690842B (zh) 基於手勢辨認的互動顯示方法和裝置
US11307666B2 (en) Systems and methods of direct pointing detection for interaction with a digital device
Kim et al. Touch and hand gesture-based interactions for directly manipulating 3D virtual objects in mobile augmented reality
Argyros et al. Vision-based interpretation of hand gestures for remote control of a computer mouse
US9684372B2 (en) System and method for human computer interaction
KR101890459B1 (ko) 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템
Chun et al. Real-time hand interaction for augmented reality on mobile phones
O'Hagan et al. Visual gesture interfaces for virtual environments
US20140375587A1 (en) Method of controlling virtual object or view point on two dimensional interactive display
US20130343607A1 (en) Method for touchless control of a device
Lee et al. Finger identification and hand gesture recognition techniques for natural user interface
US11054896B1 (en) Displaying virtual interaction objects to a user on a reference plane
Caputo et al. 3D Hand Gesture Recognition Based on Sensor Fusion of Commodity Hardware.
Shim et al. Gesture-based interactive augmented reality content authoring system using HMD
CN106445118A (zh) 虚拟现实交互方法及装置
Xiao et al. A hand gesture-based interface for design review using leap motion controller
Zhang et al. A novel human-3DTV interaction system based on free hand gestures and a touch-based virtual interface
Chun et al. A combination of static and stroke gesture with speech for multimodal interaction in a virtual environment
Boruah et al. Development of a learning-aid tool using hand gesture based human computer interaction system
Hung et al. Free-hand pointer by use of an active stereo vision system
WO2024012268A1 (zh) 虚拟操作方法、装置、电子设备及可读存储介质
Lee et al. Tunnelslice: Freehand subspace acquisition using an egocentric tunnel for wearable augmented reality
Karam et al. Finger click detection using a depth camera
Schlegel et al. Airtouch: Interacting with computer systems at a distance
TW202206984A (zh) 用於模擬滑鼠的電子裝置