TW201814435A - 基於手勢的互動方法及裝置 - Google Patents

基於手勢的互動方法及裝置 Download PDF

Info

Publication number
TW201814435A
TW201814435A TW106115502A TW106115502A TW201814435A TW 201814435 A TW201814435 A TW 201814435A TW 106115502 A TW106115502 A TW 106115502A TW 106115502 A TW106115502 A TW 106115502A TW 201814435 A TW201814435 A TW 201814435A
Authority
TW
Taiwan
Prior art keywords
gesture
virtual object
display
virtual
application
Prior art date
Application number
TW106115502A
Other languages
English (en)
Other versions
TWI742079B (zh
Inventor
張磊
杜武平
Original Assignee
阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 阿里巴巴集團服務有限公司 filed Critical 阿里巴巴集團服務有限公司
Publication of TW201814435A publication Critical patent/TW201814435A/zh
Application granted granted Critical
Publication of TWI742079B publication Critical patent/TWI742079B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申請案公開了一種基於手勢的互動方法及裝置。本申請案中，根據第一應用場景，確定所述第一應用場景下的第一手勢所關聯的虛擬物件；顯示所述虛擬物件；回應於接收到的第一手勢操作，對所述虛擬物件執行所述第一手勢操作關聯的操作。從而在多應用場景下，自我調整確定手勢所關聯的虛擬物件，使得手勢與相應場景中的虛擬物件相匹配。

Description

基於手勢的互動方法及裝置
本申請案涉及電腦技術領域，尤其涉及一種基於手勢的互動方法及裝置。
虛擬實境(Virtual Reality，簡稱VR)技術是一種可以創建和體驗虛擬世界的電腦模擬技術。它利用電腦生成一種模擬環境，是一種多源資訊融合的互動式的三維動態視景和實體行為的系統模擬，使使用者沉浸到該環境中。虛擬實境技術是模擬技術與電腦圖形學人機介面技術、多媒體技術、傳感技術、網路技術等多種技術的集合。虛擬實境技術可以根據的頭部轉動、眼睛、手勢或其他人體行為動作，由電腦來處理與參與者的動作相適應的資料，並對使用者的輸入作出即時回應。
增強實境(Augmented Reality，簡稱AR)技術通過電腦技術，將虛擬的資訊應用到真實世界，真實的環境和虛擬的物體即時地疊加到了同一個畫面或空間同時存在。
混合實境(Mix reality，簡稱MR)技術包括增強實境和增強虛擬，指的是合併實境和虛擬世界而產生的新的視覺化環境。在新的視覺化環境中，物理和虛擬物件(也 即數位物件)共存，並即時互動。
基於VR、AR或MR的技術中，一個應用中可能存在多種應用場景，相同使用者手勢在不同應用場景中需要操作的虛擬物件可能不同。目前，針對這種多場景應用，如何實現基於手勢的互動，尚未有解決方案。
本申請案實施例提供了一種基於手勢的互動方法及裝置，用以實現多應用場景下的基於手勢的互動。
本申請案實施例提供的基於手勢的互動方法，包括：根據第一應用場景，確定所述第一應用場景下的第一手勢所關聯的虛擬物件；顯示所述虛擬物件；回應於接收到的第一手勢操作，對所述虛擬物件執行所述第一手勢操作關聯的操作。
本申請案實施例提供的另一種基於手勢的互動方法，包括：根據第一應用場景，確定所述第一應用場景下的手勢所關聯的虛擬物件；顯示所述虛擬物件；回應於接收到的第一手勢操作，改變所述虛擬物件的顯示方式。
可選地，根據第一應用場景，確定所述第一應用場景下的第一手勢所關聯的虛擬物件，包括：獲取所述第一應 用場景下，手勢與虛擬物件之間的映射關係；根據所述映射關係，確定所述第一應用場景下的所述第一手勢所關聯的虛擬物件。
本申請案實施例提供的另一種基於手勢的互動方法，包括：接收第一手勢；顯示所述第一手勢在當前場景下關聯的虛擬物件，其中，所述虛擬物件的顯示狀態與所述第一手勢關聯。
本申請案實施例提供的一種基於手勢的互動裝置，包括：確定模組，用於根據第一應用場景，確定所述第一應用場景下的第一手勢所關聯的虛擬物件；顯示模組，用於顯示所述虛擬物件；處理模組，用於回應於接收到的第一手勢操作，對所述虛擬物件執行所述第一手勢操作關聯的操作。
本申請案實施例提供的另一種基於手勢的互動裝置，包括：確定模組，用於根據第一應用場景，確定所述第一應用場景下的手勢所關聯的虛擬物件；顯示模組，用於顯示所述虛擬物件；處理模組，用於回應於接收到的第一手勢操作，改變所述虛擬物件的顯示方式。
本申請案實施例提供的另一種基於手勢的互動裝置，包括： 接收模組，用於接收第一手勢；顯示模組，用於顯示所述第一手勢在當前場景下關聯的虛擬物件，其中，所述虛擬物件的顯示狀態與所述第一手勢關聯。
本申請案實施例提供的一種基於手勢的互動裝置，包括：顯示器；記憶體，用於儲存電腦程式指令；處理器，耦合到所述記憶體，用於讀取所述記憶體儲存的電腦程式指令，並作為回應，執行如下操作：根據第一應用場景，確定所述第一應用場景下的第一手勢所關聯的虛擬物件；通過所述顯示器顯示所述虛擬物件；回應於接收到的第一手勢操作，對所述虛擬物件執行所述第一手勢操作關聯的操作。
本申請案實施例提供的另一種基於手勢的互動裝置，包括：顯示器；記憶體，用於儲存電腦程式指令；處理器，耦合到所述記憶體，用於讀取所述記憶體儲存的電腦程式指令，並作為回應，執行如下操作：根據第一應用場景，確定所述第一應用場景下的手勢所關聯的虛擬物件；通過所述顯示器顯示所述虛擬物件； 回應於接收到的第一手勢操作，改變所述虛擬物件的顯示方式。
本申請案實施例提供的另一種基於手勢的互動裝置，包括：顯示器；記憶體，用於儲存電腦程式指令；處理器，耦合到所述記憶體，用於讀取所述記憶體儲存的電腦程式指令，並作為回應，執行如下操作：接收第一手勢；通過所述顯示器顯示所述第一手勢在當前場景下關聯的虛擬物件，其中，所述虛擬物件的顯示狀態與所述第一手勢關聯。
本申請案的上述實施例中，根據第一應用場景，確定第一應用場景下的手勢所關聯的虛擬物件，顯示該虛擬物件，並可進一步回應於接收到的第一手勢操作，對所述虛擬物件執行所述第一手勢操作關聯的操作，從而在多應用場景下，自我調整確定手勢所關聯的虛擬物件，使得手勢與相應場景中的虛擬物件相匹配。
101‧‧‧場景識別功能
102‧‧‧手勢識別功能
103‧‧‧自我調整互動功能
104‧‧‧手勢與虛擬物件的映射關係
601‧‧‧確定模組
602‧‧‧顯示模組
603‧‧‧處理模組
701‧‧‧確定模組
702‧‧‧顯示模組
703‧‧‧處理模組
801‧‧‧接收模組
802‧‧‧顯示模組
803‧‧‧確定模組
901‧‧‧處理器
902‧‧‧記憶體
903‧‧‧顯示器
1001‧‧‧處理器
1002‧‧‧記憶體
1003‧‧‧顯示器
1101‧‧‧處理器
1102‧‧‧記憶體
1103‧‧‧顯示器
圖1為本申請案實施例提供的基於手勢的互動系統的功能架構方塊圖；圖2為本申請案實施例提供的基於手勢的互動流程示意圖； 圖3為本申請案實施例中手指與虛擬物件相應部位之間的關聯關係示意圖；圖4為本申請案另外的實施例提供的基於手勢的互動流程示意圖；圖5為本申請案另外的實施例提供的基於手勢的互動流程示意圖；圖6至圖11分別為本申請案實施例提供的基於手勢的互動裝置的結構示意圖。
本申請案實施例提供了基於手勢的互動方法。該方法可應用於多應用場景的VR、AR或MA應用中，或者適用於具有多應用場景的類似應用中。
在一些實施例中，一個多場景應用中存在多種應用場景，並可能在多種應用場景之間進行切換。比如，一個與運動相關的虛擬實境應用中包含多種運動場景：乒乓球雙人比賽場景、羽毛球雙人比賽場景等等，使用者可在不同運動場景之間進行選擇。再比如，一個模擬對抗的虛擬實境應用中包含多種對抗場景：手槍射擊場景、近身格鬥場景等等，根據使用者的選擇或者應用設置，可在不同對抗場景之間進行切換。在另一些實施例中，一個應用可能會調用另一個應用，因此存在多應用之間的切換，這種情況下，一個應用可對應一種應用場景。
應用場景可預先定義，也可由伺服器設置。比如，對 於一個多場景應用來說，該應用中的場景劃分，可以在該應用的設定檔或該應用的代碼中預定義，也可以由伺服器進行設置，終端可將伺服器所劃分的場景的相關資訊儲存在該應用的設定檔中。應用場景的劃分還可以在該應用的設定檔或該應用的代碼中預定義，後續伺服器可根據需要對該應用的場景進行重新劃分並將重新劃分的應用場景的相關資訊發送給終端，從而提高多場景應用的靈活性。
本申請案實施例中，針對不同的應用場景，可設置相應應用場景下的手勢與虛擬物件的關聯關係。其中，虛擬物件也可稱為數位物件，是採用電腦技術生成的模擬物件，可被終端顯示。
比如，對於上述與運動相關的虛擬實境應用，針對乒乓球雙人比賽場景，使用者手勢與該場景下的參賽者手中的乒乓球球拍關聯；針對羽毛球雙人比賽場景，使用者手勢與該場景下的參賽者手中的羽毛球拍關聯。再比如，對於上述模擬對抗的虛擬實境應用，針對手槍射擊場景，使用者手勢與手槍關聯；針對近身格鬥場景，使用者手勢與刀關聯。
相應應用場景下的手勢與虛擬物件的關聯關係可預先定義。比如，對於一個多場景應用來說，針對每個應用場景，可以在該應用的設定檔或該應用的代碼中預定義手勢與該應用場景下的虛擬物件之間的映射關係，該映射關係也可以由伺服器進行設置，終端可將伺服器設置的映射關係儲存在該應用的設定檔中。該映射關係還可以在該應用 的設定檔或該應用的代碼中預定義，後續伺服器可根據需要對該應用場景下的手勢與虛擬物件之間的映射關係重新設置並可將重新設置的映射關係發送給終端，從而提高多場景應用的靈活性。
下面示例性地示出了幾種應用場景下，手勢與虛擬物件之間的映射關係：- 針對模擬切水果的VR應用，使用者手勢與“水果刀”關聯。其中，“水果刀”是虛擬物件。當運行該VR應用時，終端可根據採集並識別出的使用者手勢，在該VR的應用介面中顯示“水果刀”，且該“水果刀”可跟隨使用者手勢進行運動，以產生切削介面中的水果的視覺效果；- 針對模擬控制木偶的VR應用，使用者手勢與“木偶”關聯。其中“木偶”是虛擬物件。當運行該VR應用時，終端可根據採集並識別出的使用者手勢，控制該VR應用的介面中顯示的“木偶”進行運動，比如，向不同方向運動。
為了更靈活和更精細地對“木偶”進行控制，進一步地，可將使用者手部的所有或部分手指與“木偶”的相應部位進行關聯。這樣，終端可根據採集並識別出的使用者手勢中手指的運動或狀態，控制該VR應用的介面中顯示的“木偶”中的相應部分進行運動，比如，控制“木偶”的四胺進行運動，從而實現對虛擬物件更精細化的控制。
更進一步地，可將使用者手部的所有或部分手指與“木偶”的相應部位進行關聯。這樣，終端可根據採集並 識別出的使用者手勢中手指的運動或狀態，控制該VR應用的介面中顯示的“木偶”中的相應部分進行運動，比如，控制“木偶”的四肢進行運動，從而實現對虛擬物件更精細化的控制。
更進一步地，可將使用者手部的手指關節與“木偶”的相應部位進行關聯。這樣，終端可根據採集並識別出的使用者手勢中手指關節的運動或狀態，控制該VR應用的介面中顯示的“木偶”中的相應部分進行運動，從而實現對虛擬物件更精細化的控制。
上述手指與手指關節也可以相互結合，與“木偶”的相應部位進行關聯，比如有些部位與手指關聯，另外一些部位與指關節關聯。
- 針對模擬對抗的VR應用，在手槍射擊場景中，使用者手勢與“槍”關聯，在近身格鬥場景中，使用者手勢與“刀”關聯。其中，“槍”和“刀”均為虛擬物件。這樣，在不同應用場景下，可根據使用者手勢顯示相關聯的虛擬物件，並顯示該虛擬物件在使用者手勢控制下的各種狀態或運動。
進一步地，可將使用者手部的手指關節與“槍”的相應部位進行關聯。這樣，終端可根據採集並識別出的使用者手勢中手指關節的運動或狀態，控制“槍”的操作，比如扣動扳機，從而實現對虛擬物件更精細化的控制。
- 針對某些視頻重播應用或社交應用等，使用者手勢與虛擬輸入裝置(比如虛擬鍵盤或虛擬滑鼠)關聯。更具 體地，可將使用者手部的手指關節與虛擬輸入裝置的相應部位關聯，比如與虛擬滑鼠的左鍵或右鍵關聯，或者與虛擬鍵盤的各按鍵關聯。這樣，可根據使用者手勢對虛擬輸入裝置進行操作，並基於虛擬裝置的操作進行回應。
針對另外一些應用場景，使用者手勢可以與多種虛擬物件關聯，比如，不同的手指可關聯相應的虛擬物件，或者不同的手指關節關聯不同的虛擬物件。
本申請案實施例中，運行多場景應用的終端，可以是任何能夠運行該多場景應用的電子設備。該終端可包括用於採集手勢的部件，用於基於應用場景確定該應用場景下的手勢所關聯的虛擬物件，並根據手勢對所關聯的虛擬物件進行操作的部件，用於顯示的部件等。以運行虛擬實境應用的終端為例，用於採集手勢的部件可以包括：紅外線攝影鏡頭，也可以包括各種感測器(如光學感測器、加速度計等等)；用於顯示的部件可以顯示虛擬實境場景圖像、基於手勢進行的回應操作結果等。當然，用於採集手勢的部件、顯示部件等，也可以不作為該終端的組成部分，而是作為外接部件與該終端連接。
下面結合附圖對本申請案實施例進行詳細描述。
參見圖1，為本申請案實施例提供的基於手勢的互動系統的功能架構方塊圖。
如圖所示，場景識別功能101用於對應用場景進行識別。手勢識別功能102用於對使用者手勢進行識別，識別結果可包括手指和/或指關節的狀態和運動等資訊。自我 調整互動功能103可根據識別出的應用場景，通過查詢手勢與虛擬物件的映射關係104，確定出該應用場景下，使用者手勢所關聯的虛擬物件，並根據手勢識別結果，對該虛擬物件進行操作。顯示處理功能105可根據自我調整互動結果進行顯示，比如顯示虛擬物件在手勢控制下的不同運動或不同狀態。
上述互動式系統可由電腦程式實現，或者電腦程式結合硬體實現。具體來說，可由基於手勢的互動裝置實現，比如虛擬實境頭戴裝置。
基於上述功能架構方塊圖，圖2示例性地示出了本申請案實施例提供的基於手勢的互動流程。
參見圖2，為本申請案實施例提供的基於手勢的互動流程示意圖。該流程可在終端側執行，具體可由上述互動系統實現。如圖所示，該流程可包括如下步驟：
步驟201：根據第一應用場景，確定第一應用場景下的第一手勢所關聯的虛擬物件。
其中，“第一應用場景”僅出於描述方便，並不特指某一種或某一類應用場景。
具體實施時，可針對第一應用場景，獲取該應用場景下，手勢與虛擬物件之間的映射關係，根據該映射關係，確定第一應用場景下的第一手勢所關聯的虛擬物件。如前所述，該映射關係可以預定義，也可以由伺服器設置。
該步驟中，可首先進行手勢識別，然後根據識別出的第一手勢所在的第一應用場景，確定第一應用場景下的手 勢所關聯的虛擬物件。
本申請案實施例支持多種採集使用者的手勢的方式。比如，可以採用紅外線攝影鏡頭採集圖像，對採集到的圖像進行手勢識別，從而獲得使用者的手勢。採用這種方式進行手勢採集，可以對裸手手勢進行採集。
其中，為了提高手勢識別精度，可選地，可對紅外線攝影鏡頭採集到的圖像進行預處理，以便去除雜訊。具體地，對圖像的預處理操作可包括但不限於：
- 圖像增強。若外部光照不足或太強，需要亮度增強，這樣可以提高手勢檢測和識別精度。具體地，可採用以下方式進行亮度參數檢測：計算視頻框的平均Y值，通過閾值T，若Y>T，則表明過亮，否則表明較暗。進一步地，可通過非線性演算法進行Y增強，如Y’=Y*a+b。
- 圖像二元化。圖像二元化是指將圖像上的像素點的灰度值設置為0或255，也就是將整個圖像呈現出明顯的黑白效果；
- 圖像灰度化。在RGB(Red Green Blue，紅綠藍)模型中，如果R=G=B時，則彩色表示一種灰度顏色，其中R=G=B的值叫灰度值，因此，灰度圖像每個像素只需一個位元組存放灰度值(又稱強度值、亮度值)，灰度範圍為0-255。
- 去雜訊處理。將圖像中的雜訊點去除。
具體實施時，可根據手勢精度要求以及性能要求(比如回應速度)，確定是否進行圖像預處理，或者確定所採 用的圖像預處理方法。
在進行手勢識別時，可使用手勢分類模型進行手勢識別。使用手勢分類模型進行手勢識別時，該模型的輸入參數可以是紅外線攝影鏡頭採集到的圖像(或者預處理後的圖像)，輸出參數可以是手勢類型。該手勢分類模型可基於支援向量機(Support Vector Machine，簡稱SVM)、卷積神經網路(Convolutional Neural Network，簡稱CNN)或DL等演算法，通過學習方式獲得。
在一些實施例中，為了實現對虛擬物件更精細地控制操作，可在進行手勢識別時，識別使用者手部指關節的狀態，其中，不同指關節可對應於虛擬物件的不同部位。這樣，在根據第一應用場景下的手勢，對虛擬物件進行操作時，可根據第一應用場景下的手勢中不同指關節的狀態，對虛擬物件的相應部位進行操作。關節識別的具體方法可採用Kinect演算法，通過手建模可以得到關節資訊，從而進行關節識別。
步驟202：顯示步驟201中確定出的虛擬物件。
該步驟中，在顯示虛擬物件時，可根據第一手勢當前的狀態進行顯示，具體可包括以下之一或任意組合：- 根據第一手勢當前狀態，確定虛擬物件的顯示屬性，並進行相應顯示。其中，虛擬物件的顯示屬性可包括但不限於以下屬性中的一種或多種：顏色、透明度、漸變效果；- 根據第一手勢當前的狀態，確定虛擬物件的形態， 並進行相應顯示。其中，虛擬物件的狀態包括但不限於以下狀態中的一種或多種：虛擬物件的長度、寬度、高度，虛擬物件的形狀；- 根據第一手勢當前的狀態，確定虛擬物件的姿態，並進行相應顯示。其中，虛擬物件的姿態包括但不限於以下中的一種或多種：仰角，轉動角，偏轉角；- 根據第一手勢當前的狀態，確定虛擬物件的空間位置，並進行相應顯示。其中，虛擬物件的空間位置包括但不限於虛擬物件在當前應用場景畫面中的景深。
其中，對於VR，可在當前虛擬的第一應用場景中顯示步驟201中確定出的虛擬物件；對於AR，可在當前虛擬和真實場景相疊加的第一應用場景中顯示步驟201中確定出的虛擬物件；對於MR，可在當前虛擬和真實場景相融合(結合)的第一應用場景中顯示步驟201中確定出的虛擬物件。
步驟203：回應於接收到的第一手勢操作，對步驟201確定出的虛擬物件執行該第一手勢操作關聯的操作。
可選地，可根據第一手勢中的以下運動資訊中的一種或任意組合，對虛擬物件進行操作：- 運動軌跡；- 運動速度；- 運動幅度；- 旋轉角度- 手部狀態；手部狀態可包括整個手掌的狀態、手指 的狀態、指關節的狀態中的一種或多種。所述狀態可包括姿態等參數，如手指是否彎曲，向哪個方向彎曲等。
以上僅示例性地示出了一些用於控制虛擬物件的手勢運動資訊，本申請案實施例對使用手勢控制虛擬物件的具體實現方式不作限制。
作為一個例子，以將圖2所示的流程應用於上述模擬切水果的VR應用為例，該基於手勢的互動過程可包括：
在步驟201中，VR應用運行，進入切水果場景，場景識別功能識別出該場景的類型。自我調整互動功能根據識別的應用場景查詢該應用場景下的手勢與虛擬物件的映射關係，得到該應用場景下的手勢所關聯的虛擬物件為“水果刀”。
在步驟202中，在當前虛擬實境場景中顯示水果刀。
在步驟203中，在該應用場景下，使用者揮動手部，做出切水果的手勢，手勢識別功能對使用者手勢進行識別，得到手勢相關參數。所述手勢相關參數可包括整個手掌的狀態(如掌心朝向)、運動速度、運動幅度、運動軌跡，旋轉角度等。自我調整互動功能根據識別出的手勢，對與該手勢關聯的虛擬物件“水果刀”進行操作，使“水果刀”能夠按照手勢的運動而運動，實現切水果的效果。比如，可根據掌心朝向確定水果刀刀刃一側的朝向，根據運行軌跡確定水果刀的運動軌跡，根據運動速度和運動幅度確定水果刀切削水果的力度等。
作為另一個例子，以將圖2所示的流程應用於上述模 擬控制木偶的VR應用為例，該基於手勢的互動過程可包括：
在步驟201中，VR應用運行，進入木偶控制場景，場景識別功能識別出該場景的類型。自我調整互動功能根據識別的應用場景查詢該應用場景下的手勢與虛擬物件的映射關係，得到該應用場景下的手勢所關聯的虛擬物件為“木偶”。
在步驟202中，在當前虛擬實境場景中，顯示上述“木偶”。
在步驟203中，在該應用場景下，使用者運動各手指，做出控制木偶的手勢，手勢識別功能對使用者手勢進行識別，得到手勢相關參數。所述手勢相關參數可包括整個手部以及每個手指和指關節的相關參數，這些參數可包括運動速度、運動幅度、運動軌跡，旋轉角度等。自我調整互動功能根據識別出的手勢，對與該手勢關聯的虛擬物件“木偶”進行操作，使“木偶”的不同部位能夠按照手勢中各手指的運動而運動，實現木偶運動的效果。
圖3示例性地示出了一種不同手指與“木偶”的不同部位之間的關聯關係。其中，手指1、手指2、手指3、手指5分別與“木偶”的四肢關聯，手指4與“木偶”的頭部關聯。不同手指的狀態或動作會導致“木偶”相應部位的運動或狀態的改變。
基於上述功能架構方塊圖，圖4示例性地示出了本申請案另外的實施例提供的基於手勢的互動流程。
參見圖4，為本申請案實施例提供的基於手勢的互動流程示意圖。該流程可在終端側執行，具體可由上述互動系統實現。如圖所示，該流程可包括如下步驟：
步驟401：根據第一應用場景，確定第一應用場景下的手勢所關聯的虛擬物件。
該步驟中，可首先獲取第一應用場景下，手勢與虛擬物件之間的映射關係，然後根據該映射關係，確定第一應用場景下的第一手勢所關聯的虛擬物件。其中，該映射關係可以是預定義的，也可以是伺服器設置的。進一步地，在步驟401之前，可首先進行手勢識別。上述步驟的具體實現方式可參見前述實施例，在此不再重複。
步驟402：顯示該虛擬物件。
該步驟中，在顯示虛擬物件時，可根據第一手勢當前的狀態進行顯示，具體可包括以下之一或任意組合：- 根據第一手勢當前狀態，確定虛擬物件的顯示屬性，並進行相應顯示。其中，虛擬物件的顯示屬性可包括但不限於以下屬性中的一種或多種：顏色、透明度、漸變效果；- 根據第一手勢當前的狀態，確定虛擬物件的形態，並進行相應顯示。其中，虛擬物件的狀態包括但不限於以下狀態中的一種或多種：虛擬物件的長度、寬度、高度，虛擬物件的形狀；- 根據第一手勢當前的狀態，確定虛擬物件的姿態，並進行相應顯示。其中，虛擬物件的姿態包括但不限於以 下中的一種或多種：仰角，轉動角，偏轉角；- 根據第一手勢當前的狀態，確定虛擬物件的空間位置，並進行相應顯示。其中，虛擬物件的空間位置包括但不限於虛擬物件在當前應用場景畫面中的景深。
步驟403：回應於接收到的第一手勢操作，改變該虛擬物件的顯示方式。
該步驟中，可回應於第一手勢操作，改變虛擬物件的以下顯示方式中的一種或多種：- 改變虛擬物件的顯示屬性，其中，顯示屬性的定義可參見前述描述；- 改變虛擬物件的形態，其中，虛擬物件的形態的定義，可參見前述描述；- 改變虛擬物件的姿態，其中，虛擬物件的姿態的定義，可參見前述描述；- 改變虛擬物件的空間位置，其中，空間位置的定義可參見前述描述。
進一步地，第一手勢所關聯的虛擬物件可以是一個也可以是多個。如果是多個，則使用者手部不同部位可關聯相應的虛擬物件，相應地，在步驟403中，可回應於接收到的第一手勢操作中使用者手部部位的狀態，改變相應虛擬物件的顯示方式。其中，使用者手部的不同部位，包括以下之一或任意組合：使用者手部的不同手指，使用者手部的不同指關節。
基於上述功能架構方塊圖，圖5示例性地示出了本申 請案另外的實施例提供的基於手勢的互動流程。
參見圖5，為本申請案實施例提供的基於手勢的互動流程示意圖。該流程可在終端側執行，具體可由上述互動系統實現。如圖所示，該流程可包括如下步驟：
步驟501：接收第一手勢。
該步驟中，所接收到的手勢可以是通過採集手勢的部件採集得到的。其中採集手勢的部件可包括但不限於：紅外線攝影鏡頭，各種感測器(如光學感測器、加速度計等等)。
進一步地，在步驟501之前，可首先進行手勢識別。
進一步地，在接收到第一手勢之後，可獲取第一應用場景下，手勢與虛擬物件之間的映射關係，然後根據該映射關係，確定第一應用場景下的第一手勢所關聯的虛擬物件。其中，該映射關係可以是預定義的，也可以是伺服器設置的。上述步驟的具體實現方式可參見前述實施例，在此不再重複。
步驟502：顯示第一手勢在當前場景下關聯的虛擬物件，其中，該虛擬物件的顯示狀態與該第一手勢關聯。
該步驟中，在顯示虛擬物件時，可根據第一手勢當前的狀態進行顯示，具體可包括以下之一或任意組合：- 根據第一手勢當前狀態，確定虛擬物件的顯示屬性，並進行相應顯示。其中，虛擬物件的顯示屬性可包括但不限於以下屬性中的一種或多種：顏色、透明度、漸變效果； - 根據第一手勢當前的狀態，確定虛擬物件的形態，並進行相應顯示。其中，虛擬物件的狀態包括但不限於以下狀態中的一種或多種：虛擬物件的長度、寬度、高度，虛擬物件的形狀；- 根據第一手勢當前的狀態，確定虛擬物件的姿態，並進行相應顯示。其中，虛擬物件的姿態包括但不限於以下中的一種或多種：仰角，轉動角，偏轉角；- 根據第一手勢當前的狀態，確定虛擬物件的空間位置，並進行相應顯示。其中，虛擬物件的空間位置包括但不限於虛擬物件在當前應用場景畫面中的景深。
其中，上述第一手勢的不同狀態與虛擬物件的顯示方式之間的對應關係，可以預先定義，也可以通過伺服器設置。
進一步地，第一手勢所關聯的虛擬物件可以是一個也可以是多個。如果是多個，則使用者手部不同部位可關聯相應的虛擬物件，其中，使用者手部的不同部位，包括以下之一或任意組合：使用者手部的不同手指，使用者手部的不同指關節。
通過上述描述可以看出，根據第一應用場景，確定第一應用場景下的手勢所關聯的虛擬物件，根據第一應用場景下的第一手勢操作進行回應，從而對該虛擬物件進行相應的操作，從而在多應用場景下，自我調整確定手勢所關聯的虛擬物件，使得手勢與相應場景中的虛擬物件相匹配。
基於相同的技術構思，本申請案實施例還提供了一種基於手勢的互動裝置，該裝置可實現前述實施例描述的基於手勢的互動流程。比如該裝置可以是用於虛擬實境、增強實境或混合實境的裝置。
參見圖6，為本申請案實施例提供的基於手勢的互動裝置的結構示意圖。該裝置可包括：確定模組601、顯示模組602、處理模組603，其中：確定模組601，用於根據第一應用場景，確定所述第一應用場景下的第一手勢所關聯的虛擬物件；顯示模組602，用於顯示所述虛擬物件；處理模組603，用於回應於接收到的第一手勢操作，對所述虛擬物件執行所述第一手勢操作關聯的操作。
可選地，確定模組601可具體用於：獲取所述第一應用場景下，手勢與虛擬物件之間的映射關係；根據所述映射關係，確定所述第一應用場景下的所述第一手勢所關聯的虛擬物件。
可選地，顯示模組602可具體用於執行以下操作之一或任意組合：根據所述第一手勢，確定所述虛擬物件的顯示屬性並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的形態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的姿態並進行相應顯示； 根據所述第一手勢，確定所述虛擬物件的空間位置並進行相應顯示。
可選地，第一手勢所關聯的虛擬物件為一個或多個；第一手勢所關聯的虛擬物件為多個時，使用者手部不同部位關聯相應的虛擬物件。相應地，處理模組603可具體用於：回應於接收到的第一手勢操作中使用者手部部位的狀態，對相應虛擬物件執行所述第一手勢操作關聯的操作。
基於相同的技術構思，本申請案實施例還提供了一種基於手勢的互動裝置，該裝置可實現前述實施例描述的基於手勢的互動流程。比如該裝置可以是用於虛擬實境、增強實境或混合實境的裝置。
參見圖7，為本申請案實施例提供的基於手勢的互動裝置的結構示意圖。該裝置可包括：確定模組701、顯示模組702、處理模組703，其中：確定模組701，用於根據第一應用場景，確定所述第一應用場景下的手勢所關聯的虛擬物件；顯示模組702，用於顯示所述虛擬物件；處理模組703，用於回應於接收到的第一手勢操作，改變所述虛擬物件的顯示方式。
可選地，確定模組701可具體用於：獲取所述第一應用場景下，手勢與虛擬物件之間的映射關係；根據所述映射關係，確定所述第一應用場景下的所述第一手勢所關聯的虛擬物件。
可選地，顯示模組702可具體用於執行以下操作之一 或任意組合：根據所述第一手勢，確定所述虛擬物件的顯示屬性並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的形態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的姿態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的空間位置並進行相應顯示。
可選地，第一手勢所關聯的虛擬物件為一個或多個，第一手勢所關聯的虛擬物件為多個時，使用者手部不同部位關聯相應的虛擬物件，相應地，處理模組703可具體用於：回應於接收到的第一手勢操作中使用者手部部位的狀態，改變相應虛擬物件的顯示方式。
可選地，處理模組703可具體用於：執行以下操作之一或任意組合：改變所述虛擬物件的顯示屬性；改變所述虛擬物件的形態；改變所述虛擬物件的姿態；改變所述虛擬物件的空間位置。
基於相同的技術構思，本申請案實施例還提供了一種基於手勢的互動裝置，該裝置可實現前述實施例描述的基於手勢的互動流程。比如該裝置可以是用於虛擬實境、增強實境或混合實境的裝置。
參見圖8，為本申請案實施例提供的基於手勢的互動裝置的結構示意圖。該裝置可包括：接收模組801、顯示模組8，進一步地，還可包括確定模組803，其中：接收模組801，用於接收第一手勢；顯示模組802，用於顯示所述第一手勢在當前場景下關聯的虛擬物件，其中，所述虛擬物件的顯示狀態與所述第一手勢關聯。
可選地，確定模組803可用於在接收第一手勢之後，獲取所述第一應用場景下，手勢與虛擬物件之間的映射關係，根據所述映射關係，確定所述第一應用場景下的所述第一手勢所關聯的虛擬物件。
可選地，顯示模組802可具體用於：執行以下操作之一或任何組合：根據所述第一手勢，確定所述虛擬物件的顯示屬性並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的形態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的姿態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的空間位置並進行相應顯示。
可選地，所述第一手勢所關聯的虛擬物件為一個或多個；所述第一手勢所關聯的虛擬物件為多個時，使用者手部不同部位關聯相應的虛擬物件。
基於相同的技術構思，本申請案實施例還提供了一種基於手勢的互動裝置，該裝置可實現前述實施例描述的基於手勢的互動流程。比如該裝置可以是用於虛擬實境、增強實境或混合實境的裝置。
參見圖9，為本申請案實施例提供的基於手勢的互動裝置的結構示意圖。該裝置中可包括：處理器901，記憶體902、顯示器903。
其中，處理器901可以是通用處理器(比如微處理器或者任何常規的處理器等)、數位訊號處理器、專用積體電路、現場可程式設計閘陣列或者其他可程式設計邏輯器件、分立閘或者電晶體邏輯器件、分立硬體元件。記憶體902具體可包括內部記憶體和/或外部記憶體，比如隨機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、暫存器等本領域成熟的儲存媒體。
處理器901與其他各模組之間存在資料通信連接，比如可基於匯流排架構進行資料通信。匯流排架構可以包括任意數量的互聯的匯流排和橋，具體由處理器901代表的一個或多個處理器和記憶體1002代表的記憶體的各種電路連結在一起。匯流排架構還可以將諸如週邊設備、穩壓器和功率管理電路等之類的各種其他電路連結在一起，這些都是本領域所公知的，因此，本文不再對其進行進一步描述。匯流排界面提供介面。處理器901負責管理匯流排架構和通常的處理，記憶體902可以儲存處理器901在執 行操作時所使用的資料。
本申請案實施例揭示的流程，可以應用於處理器901中，或者由處理器901實現。在實現過程中，前述實施例描述的流程的各步驟可以通過處理器901中的硬體的集成邏輯電路或者軟體形式的指令完成。可以實現或者執行本申請案實施例中的公開的各方法、步驟及邏輯方塊圖。結合本申請案實施例所公開的方法的步驟可以直接體現為硬體處理器執行完成，或者用處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於隨機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、暫存器等本領域成熟的儲存媒體中。
具體地，處理器901，耦合到記憶體902，用於讀取所述記憶體902儲存的電腦程式指令，並作為回應，執行如下操作：根據第一應用場景，確定所述第一應用場景下的第一手勢所關聯的虛擬物件；通過顯示器903顯示所述虛擬物件；回應於接收到的第一手勢操作，對所述虛擬物件執行所述第一手勢操作關聯的操作。上述流程的具體實現過程，可參見前述實施例的描述，在此不再重複。
基於相同的技術構思，本申請案實施例還提供了一種基於手勢的互動裝置，該裝置可實現前述實施例描述的基於手勢的互動流程。比如該裝置可以是用於虛擬實境、增強實境或混合實境的裝置。
參見圖10，為本申請案實施例提供的基於手勢的互動裝置的結構示意圖。該裝置中可包括：處理器1001， 記憶體1002、顯示器1003。
其中，處理器1001可以是通用處理器(比如微處理器或者任何常規的處理器等)、數位訊號處理器、專用積體電路、現場可程式設計閘陣列或者其他可程式設計邏輯器件、分立閘或者電晶體邏輯器件、分立硬體元件。記憶體1002具體可包括內部記憶體和/或外部記憶體，比如隨機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、暫存器等本領域成熟的儲存媒體。
處理器1001與其他各模組之間存在資料通信連接，比如可基於匯流排架構進行資料通信。匯流排架構可以包括任意數量的互聯的匯流排和橋，具體由處理器1001代表的一個或多個處理器和記憶體1002代表的記憶體的各種電路連結在一起。匯流排架構還可以將諸如週邊設備、穩壓器和功率管理電路等之類的各種其他電路連結在一起，這些都是本領域所公知的，因此，本文不再對其進行進一步描述。匯流排界面提供介面。處理器1001負責管理匯流排架構和通常的處理，記憶體1002可以儲存處理器1001在執行操作時所使用的資料。
本申請案實施例揭示的流程，可以應用於處理器1001中，或者由處理器1001實現。在實現過程中，前述實施例描述的流程的各步驟可以通過處理器1001中的硬體的集成邏輯電路或者軟體形式的指令完成。可以實現或者執行本申請案實施例中的公開的各方法、步驟及邏輯方 塊圖。結合本申請案實施例所公開的方法的步驟可以直接體現為硬體處理器執行完成，或者用處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於隨機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、暫存器等本領域成熟的儲存媒體中。
具體地，處理器1001，耦合到記憶體1002，用於讀取所述記憶體1002儲存的電腦程式指令，並作為回應，執行如下操作：根據第一應用場景，確定所述第一應用場景下的手勢所關聯的虛擬物件；通過顯示器1003顯示所述虛擬物件；回應於接收到的第一手勢操作，改變所述虛擬物件的顯示方式。上述流程的具體實現過程，可參見前述實施例的描述，在此不再重複。
基於相同的技術構思，本申請案實施例還提供了一種基於手勢的互動裝置，該裝置可實現前述實施例描述的基於手勢的互動流程。比如該裝置可以是用於虛擬實境、增強實境或混合實境的裝置。
參見圖11，為本申請案實施例提供的基於手勢的互動裝置的結構示意圖。該裝置中可包括：處理器1101，記憶體1102、顯示器1103。
其中，處理器1101可以是通用處理器(比如微處理器或者任何常規的處理器等)、數位訊號處理器、專用積體電路、現場可程式設計閘陣列或者其他可程式設計邏輯器件、分立閘或者電晶體邏輯器件、分立硬體元件。記憶 體1102具體可包括內部記憶體和/或外部記憶體，比如隨機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、暫存器等本領域成熟的儲存媒體。
處理器1101與其他各模組之間存在資料通信連接，比如可基於匯流排架構進行資料通信。匯流排架構可以包括任意數量的互聯的匯流排和橋，具體由處理器1101代表的一個或多個處理器和記憶體1102代表的記憶體的各種電路連結在一起。匯流排架構還可以將諸如週邊設備、穩壓器和功率管理電路等之類的各種其他電路連結在一起，這些都是本領域所公知的，因此，本文不再對其進行進一步描述。匯流排界面提供介面。處理器1101負責管理匯流排架構和通常的處理，記憶體1102可以儲存處理器1101在執行操作時所使用的資料。
本申請案實施例揭示的流程，可以應用於處理器1001中，或者由處理器1101實現。在實現過程中，前述實施例描述的流程的各步驟可以通過處理器1001中的硬體的集成邏輯電路或者軟體形式的指令完成。可以實現或者執行本申請案實施例中的公開的各方法、步驟及邏輯方塊圖。結合本申請案實施例所公開的方法的步驟可以直接體現為硬體處理器執行完成，或者用處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於隨機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、暫存器等本領域成熟的儲存媒體 中。
具體地，處理器1101，耦合到記憶體1102，用於讀取所述記憶體1102儲存的電腦程式指令，並作為回應，執行如下操作：接收第一手勢；通過顯示器1103顯示所述第一手勢在當前場景下關聯的虛擬物件，其中，所述虛擬物件的顯示狀態與所述第一手勢關聯。上述流程的具體實現過程，可參見前述實施例的描述，在此不再重複。
本申請案是參照根據本申請案實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方塊圖來描述的。應理解可由電腦程式指令實現流程圖和/或方塊圖中的每一流程和/或方塊、以及流程圖和/或方塊圖中的流程和/或方塊的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可程式設計資料處理設備的處理器以產生一個機器，使得通過電腦或其他可程式設計資料處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的裝置。
這些電腦程式指令也可儲存在能引導電腦或其他可程式設計資料處理設備以特定方式工作的電腦可讀記憶體中，使得儲存在該電腦可讀記憶體中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能。
這些電腦程式指令也可裝載到電腦或其他可程式設計資料處理設備上，使得在電腦或其他可程式設計設備上執 行一系列操作步驟以產生電腦實現的處理，從而在電腦或其他可程式設計設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的步驟。
儘管已描述了本申請案的較佳實施例，但本領域內的技術人員一旦得知了基本創造性概念，則可對這些實施例作出另外的變更和修改。所以，所附申請專利範圍意欲解釋為包括較佳實施例以及落入本申請案範圍的所有變更和修改。
顯然，本領域的技術人員可以對本申請案進行各種改動和變型而不脫離本申請案的精神和範圍。這樣，倘若本申請案的這些修改和變型屬於本申請案申請專利範圍及其等同技術的範圍之內，則本申請案也意圖包含這些改動和變型在內。

Claims (47)

  1. 一種基於手勢的互動方法，其特徵在於，包括：根據第一應用場景，確定所述第一應用場景下的第一手勢所關聯的虛擬物件；顯示所述虛擬物件；回應於接收到的第一手勢操作，對所述虛擬物件執行所述第一手勢操作關聯的操作。
  2. 如申請專利範圍第1項所述的方法，其中，根據第一應用場景，確定所述第一應用場景下的第一手勢所關聯的虛擬物件，包括：獲取所述第一應用場景下，手勢與虛擬物件之間的映射關係；根據所述映射關係，確定所述第一應用場景下的所述第一手勢所關聯的虛擬物件。
  3. 如申請專利範圍第2項所述的方法，其中，所述映射關係是預定義的，或者是伺服器設置的。
  4. 如申請專利範圍第1至3項中任一項所述的方法，其中，確定所述第一應用場景下的第一手勢所關聯的虛擬物件之前，還包括：進行手勢識別。
  5. 如申請專利範圍第4項所述的方法，其中，進行手勢識別，包括：識別使用者手部指關節的狀態，其中，不同指關節對應於虛擬物件的不同部位；回應於接收到的第一手勢操作，對所述虛擬物件執行所述第一手勢操作關聯的操作，包括：回應於接收到的第一手勢操作中使用者手部指關節的狀態，對所述虛擬物件的相應部位執行所述第一手勢操作關聯的操作。
  6. 如申請專利範圍第1項所述的方法，其中，顯示所述虛擬物件，包括執行以下之一或任意組合：根據所述第一手勢，確定所述虛擬物件的顯示屬性並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的形態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的姿態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的空間位置並進行相應顯示。
  7. 如申請專利範圍第1項所述的方法，其中，所述第一手勢所關聯的虛擬物件為一個或多個。
  8. 如申請專利範圍第7項所述的方法，其中，所述第一手勢所關聯的虛擬物件為多個時，使用者手部不同部位關聯相應的虛擬物件；回應於接收到的第一手勢操作，對所述虛擬物件執行所述第一手勢操作關聯的操作，包括：回應於接收到的第一手勢操作中使用者手部部位的狀態，對相應虛擬物件執行所述第一手勢操作關聯的操作。
  9. 如申請專利範圍第8項所述的方法，其中，所述使用者手部的不同部位，包括以下之一或任意組合：使用者手部的不同手指；使用者手部的不同指關節。
  10. 如申請專利範圍第1項所述的方法，其中，回應於接收到的第一手勢操作，對所述虛擬物件執行所述第一手勢操作關聯的操作，包括：根據所述第一手勢操作中的以下運動資訊中的一種或任意組合，對所述虛擬物件進行操作：運動軌跡、運動速度、運動幅度、旋轉角度、手部狀態。
  11. 如申請專利範圍第1項所述的方法，其中，所述應用場景包括：虛擬實境VR應用場景；或者增強實境AR應用場景；或者 混合實境MR應用場景。
  12. 如申請專利範圍第1項所述的方法，其中，一個應用中包含一個或多個應用場景。
  13. 一種基於手勢的互動方法，其特徵在於，包括：根據第一應用場景，確定所述第一應用場景下的手勢所關聯的虛擬物件；顯示所述虛擬物件；回應於接收到的第一手勢操作，改變所述虛擬物件的顯示方式。
  14. 如申請專利範圍第13項所述的方法，其中，根據第一應用場景，確定所述第一應用場景下的第一手勢所關聯的虛擬物件，包括：獲取所述第一應用場景下，手勢與虛擬物件之間的映射關係；根據所述映射關係，確定所述第一應用場景下的所述第一手勢所關聯的虛擬物件。
  15. 如申請專利範圍第14項所述的方法，其中，所述映射關係是預定義的，或者是伺服器設置的。
  16. 如申請專利範圍第13項所述的方法，其中，確定所 述第一應用場景下的第一手勢所關聯的虛擬物件之前，識別使用者手部指關節的狀態，其中，不同指關節對應於虛擬物件的不同部位；回應於接收到的第一手勢操作，改變所述虛擬物件的顯示方式，包括：回應於接收到的第一手勢操作中使用者手部指關節的狀態，改變所述虛擬物件的相應部位的顯示方式。
  17. 如申請專利範圍第13項所述的方法，其中，顯示所述虛擬物件，包括執行以下操作之一或任意組合：根據所述第一手勢，確定所述虛擬物件的顯示屬性並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的形態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的姿態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的空間位置並進行相應顯示。
  18. 如申請專利範圍第13項所述的方法，其中，所述第一手勢所關聯的虛擬物件為一個或多個。
  19. 如申請專利範圍第18項所述的方法，其中，所述第一手勢所關聯的虛擬物件為多個時，使用者手部不同部位 關聯相應的虛擬物件；回應於接收到的第一手勢操作，改變所述虛擬物件的顯示方式，包括：回應於接收到的第一手勢操作中使用者手部部位的狀態，改變相應虛擬物件的顯示方式。
  20. 如申請專利範圍第19項所述的方法，其中，所述使用者手部的不同部位，包括以下之一或任意組合：使用者手部的不同手指；使用者手部的不同指關節。
  21. 如申請專利範圍第13至20項中任一項所述的方法，其中，改變所述虛擬物件的顯示方式，包括以下之一或任意組合：改變所述虛擬物件的顯示屬性；改變所述虛擬物件的形態；改變所述虛擬物件的姿態；改變所述虛擬物件的空間位置。
  22. 如申請專利範圍第13項所述的方法，其中，所述應用場景包括：虛擬實境VR應用場景；或者增強實境AR應用場景；或者混合實境MR應用場景。
  23. 如申請專利範圍第13項所述的方法，其中，一個應用中包含一個或多個應用場景。
  24. 一種基於手勢的互動方法，其特徵在於，包括：接收第一手勢；顯示所述第一手勢在當前場景下關聯的虛擬物件，其中，所述虛擬物件的顯示狀態與所述第一手勢關聯。
  25. 如申請專利範圍第24項所述的方法，其中，接收第一手勢之後，還包括：獲取所述第一應用場景下，手勢與虛擬物件之間的映射關係；根據所述映射關係，確定所述第一應用場景下的所述第一手勢所關聯的虛擬物件。
  26. 如申請專利範圍第25項所述的方法，其中，所述映射關係是預定義的，或者是伺服器設置的。
  27. 如申請專利範圍第24項所述的方法，其中，顯示所述第一手勢在當前場景下關聯的虛擬物件，包括以下之一或任何組合：根據所述第一手勢，確定所述虛擬物件的顯示屬性並進行相應顯示； 根據所述第一手勢，確定所述虛擬物件的形態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的姿態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的空間位置並進行相應顯示。
  28. 如申請專利範圍第24項所述的方法，其中，所述第一手勢所關聯的虛擬物件為一個或多個。
  29. 如申請專利範圍第28項所述的方法，其中，所述第一手勢所關聯的虛擬物件為多個時，使用者手部不同部位關聯相應的虛擬物件。
  30. 如申請專利範圍第24項所述的方法，其中，所述應用場景包括：虛擬實境VR應用場景；或者增強實境AR應用場景；或者混合實境MR應用場景。
  31. 如申請專利範圍第24項所述的方法，其中，一個應用中包含一個或多個應用場景。
  32. 一種基於手勢的互動裝置，其特徵在於，包括： 確定模組，用於根據第一應用場景，確定所述第一應用場景下的第一手勢所關聯的虛擬物件；顯示模組，用於顯示所述虛擬物件；處理模組，用於回應於接收到的第一手勢操作，對所述虛擬物件執行所述第一手勢操作關聯的操作。
  33. 如申請專利範圍第32項所述的裝置，其中，所述確定模組具體用於：獲取所述第一應用場景下，手勢與虛擬物件之間的映射關係；根據所述映射關係，確定所述第一應用場景下的所述第一手勢所關聯的虛擬物件。
  34. 如申請專利範圍第32項所述的裝置，其中，所述顯示模組具體用於執行以下操作之一或任意組合：根據所述第一手勢，確定所述虛擬物件的顯示屬性並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的形態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的姿態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的空間位置並進行相應顯示。
  35. 如申請專利範圍第32項所述的裝置，其中，所述第一手勢所關聯的虛擬物件為一個或多個；所述第一手勢所關聯的虛擬物件為多個時，使用者手部不同部位關聯相應的虛擬物件；所述處理模組具體用於：回應於接收到的第一手勢操作中使用者手部部位的狀態，對相應虛擬物件執行所述第一手勢操作關聯的操作。
  36. 一種基於手勢的互動裝置，其特徵在於，包括：確定模組，用於根據第一應用場景，確定所述第一應用場景下的手勢所關聯的虛擬物件；顯示模組，用於顯示所述虛擬物件；處理模組，用於回應於接收到的第一手勢操作，改變所述虛擬物件的顯示方式。
  37. 如申請專利範圍第36項所述的裝置，其中，所述確定模組具體用於：獲取所述第一應用場景下，手勢與虛擬物件之間的映射關係；根據所述映射關係，確定所述第一應用場景下的所述第一手勢所關聯的虛擬物件。
  38. 如申請專利範圍第36項所述的裝置，其中，所述顯示模組具體用於執行以下操作之一或任意組合： 根據所述第一手勢，確定所述虛擬物件的顯示屬性並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的形態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的姿態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的空間位置並進行相應顯示。
  39. 如申請專利範圍第36項所述的裝置，其中，所述第一手勢所關聯的虛擬物件為一個或多個，所述第一手勢所關聯的虛擬物件為多個時，使用者手部不同部位關聯相應的虛擬物件；所述處理模組具體用於：回應於接收到的第一手勢操作中使用者手部部位的狀態，改變相應虛擬物件的顯示方式。
  40. 如申請專利範圍第36至39項中任一項所述的裝置，其中，所述處理模組具體用於：執行以下操作之一或任意組合：改變所述虛擬物件的顯示屬性；改變所述虛擬物件的形態；改變所述虛擬物件的姿態；改變所述虛擬物件的空間位置。
  41. 一種基於手勢的互動裝置，其特徵在於，包括：接收模組，用於接收第一手勢；顯示模組，用於顯示所述第一手勢在當前場景下關聯的虛擬物件，其中，所述虛擬物件的顯示狀態與所述第一手勢關聯。
  42. 如申請專利範圍第41項所述的裝置，其中，還包括：確定模組，用於在接收第一手勢之後，獲取所述第一應用場景下，手勢與虛擬物件之間的映射關係，根據所述映射關係，確定所述第一應用場景下的所述第一手勢所關聯的虛擬物件。
  43. 如申請專利範圍第41項所述的裝置，其中，所述顯示模組具體用於：執行以下操作之一或任何組合：根據所述第一手勢，確定所述虛擬物件的顯示屬性並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的形態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的姿態並進行相應顯示；根據所述第一手勢，確定所述虛擬物件的空間位置並進行相應顯示。
  44. 如申請專利範圍第36項所述的裝置，其中，所述第一手勢所關聯的虛擬物件為一個或多個；所述第一手勢所關聯的虛擬物件為多個時，使用者手部不同部位關聯相應的虛擬物件。
  45. 一種基於手勢的互動裝置，其特徵在於，包括：顯示器；記憶體，用於儲存電腦程式指令；處理器，耦合到所述記憶體，用於讀取所述記憶體儲存的電腦程式指令，並作為回應，執行如下操作：根據第一應用場景，確定所述第一應用場景下的第一手勢所關聯的虛擬物件；通過所述顯示器顯示所述虛擬物件；回應於接收到的第一手勢操作，對所述虛擬物件執行所述第一手勢操作關聯的操作。
  46. 一種基於手勢的互動裝置，其特徵在於，包括：顯示器；記憶體，用於儲存電腦程式指令；處理器，耦合到所述記憶體，用於讀取所述記憶體儲存的電腦程式指令，並作為回應，執行如下操作：根據第一應用場景，確定所述第一應用場景下的手勢所關聯的虛擬物件； 通過所述顯示器顯示所述虛擬物件；回應於接收到的第一手勢操作，改變所述虛擬物件的顯示方式。
  47. 一種基於手勢的互動裝置，其特徵在於，包括：顯示器；記憶體，用於儲存電腦程式指令；處理器，耦合到所述記憶體，用於讀取所述記憶體儲存的電腦程式指令，並作為回應，執行如下操作：接收第一手勢；通過所述顯示器顯示所述第一手勢在當前場景下關聯的虛擬物件，其中，所述虛擬物件的顯示狀態與所述第一手勢關聯。
TW106115502A 2016-09-29 2017-05-10 基於手勢的互動方法及裝置 TWI742079B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
??201610866360.9 2016-09-29
CN201610866360.9 2016-09-29
CN201610866360.9A CN107885316A (zh) 2016-09-29 2016-09-29 一种基于手势的交互方法及装置

Publications (2)

Publication Number Publication Date
TW201814435A true TW201814435A (zh) 2018-04-16
TWI742079B TWI742079B (zh) 2021-10-11

Family

ID=61687907

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106115502A TWI742079B (zh) 2016-09-29 2017-05-10 基於手勢的互動方法及裝置

Country Status (6)

Country Link
US (1) US20180088663A1 (zh)
EP (1) EP3519926A4 (zh)
JP (1) JP7137804B2 (zh)
CN (1) CN107885316A (zh)
TW (1) TWI742079B (zh)
WO (1) WO2018063759A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI695311B (zh) * 2018-03-12 2020-06-01 香港商阿里巴巴集團服務有限公司 一種利用手勢模擬滑鼠操作的方法、裝置及終端

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US11307880B2 (en) 2018-04-20 2022-04-19 Meta Platforms, Inc. Assisting users with personalized and contextual communication content
US10963273B2 (en) 2018-04-20 2021-03-30 Facebook, Inc. Generating personalized content summaries for users
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
CN108984238B (zh) * 2018-05-29 2021-11-09 北京五八信息技术有限公司 应用程序的手势处理方法、装置及电子设备
CN108958475B (zh) * 2018-06-06 2023-05-02 创新先进技术有限公司 虚拟对象控制方法、装置及设备
US10635895B2 (en) * 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
US11328211B2 (en) * 2018-07-06 2022-05-10 Facebook Technologies, Llc Delimitation in unsupervised classification of gestures
CN112925418A (zh) * 2018-08-02 2021-06-08 创新先进技术有限公司 一种人机交互方法和装置
CN109032358B (zh) * 2018-08-27 2023-04-07 百度在线网络技术（北京）有限公司 基于手势识别的ar交互虚拟模型的控制方法及装置
CN110941974B (zh) * 2018-09-21 2021-07-20 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN109524853B (zh) * 2018-10-23 2020-11-24 珠海市杰理科技股份有限公司 手势识别插座和插座控制方法
CN111103967A (zh) * 2018-10-25 2020-05-05 北京微播视界科技有限公司 虚拟对象的控制方法和装置
CN109741459A (zh) * 2018-11-16 2019-05-10 成都生活家网络科技有限公司 基于vr的房间布景设置方法及装置
CN109685910A (zh) * 2018-11-16 2019-04-26 成都生活家网络科技有限公司 基于vr的房间布景设置方法、装置及vr穿戴设备
CN109710075B (zh) * 2018-12-29 2021-02-09 北京诺亦腾科技有限公司 一种在vr场景中显示内容的方法及装置
JP2020113094A (ja) * 2019-01-15 2020-07-27 株式会社シーエスレポーターズ 拡張現実空間に配置される３ｄオブジェクトを生成する方法
CN109732606A (zh) * 2019-02-13 2019-05-10 深圳大学 机械臂的远程控制方法、装置、系统及存储介质
DE102019125348A1 (de) * 2019-09-20 2021-03-25 365FarmNet Group GmbH & Co. KG Verfahren zur Unterstützung eines Benutzers bei einer landwirtschaftlichen Tätigkeit
CN110908581B (zh) * 2019-11-20 2021-04-23 网易（杭州）网络有限公司 手势识别的方法及装置、计算机存储介质、电子设备
CN110947182B (zh) * 2019-11-26 2024-02-02 上海米哈游网络科技股份有限公司 事件应对方法、装置、游戏终端及介质
US20210201581A1 (en) * 2019-12-30 2021-07-01 Intuit Inc. Methods and systems to create a controller in an augmented reality (ar) environment using any physical object
CN111340962B (zh) * 2020-02-24 2023-08-15 维沃移动通信有限公司 控制方法、电子设备及存储介质
CN111627097B (zh) * 2020-06-01 2023-12-01 上海商汤智能科技有限公司 一种虚拟景物的展示方法及装置
CN111773668B (zh) * 2020-07-03 2024-05-07 珠海金山数字网络科技有限公司 一种动画播放方法和装置
US11360733B2 (en) * 2020-09-10 2022-06-14 Snap Inc. Colocated shared augmented reality without shared backend
CN112121406A (zh) * 2020-09-22 2020-12-25 北京完美赤金科技有限公司 对象的控制方法和装置、存储介质、电子装置
CN112488954B (zh) * 2020-12-07 2023-09-22 江苏理工学院 基于图像灰度级的自适应图像增强的方法及装置
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
CN113282166A (zh) * 2021-05-08 2021-08-20 青岛小鸟看看科技有限公司 头戴式显示设备的交互方法、装置及头戴式显示设备
CN113325954B (zh) * 2021-05-27 2022-08-26 百度在线网络技术（北京）有限公司 用于处理虚拟对象的方法、装置、设备和介质
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
CN114115536A (zh) * 2021-11-22 2022-03-01 北京字节跳动网络技术有限公司 一种交互方法、装置、电子设备和存储介质
TWI797956B (zh) * 2022-01-13 2023-04-01 國立勤益科技大學 手部辨識裝置控制系統
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
CN115344121A (zh) * 2022-08-10 2022-11-15 北京字跳网络技术有限公司 用于处理手势事件的方法、装置、设备和存储介质
CN115309271B (zh) * 2022-09-29 2023-03-21 南方科技大学 基于混合现实的信息展示方法、装置、设备及存储介质
CN115607967A (zh) * 2022-10-09 2023-01-17 网易（杭州）网络有限公司 显示位置调整方法、装置、存储介质与电子设备

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064854A (en) * 1998-04-13 2000-05-16 Intel Corporation Computer assisted interactive entertainment/educational character goods
US8230367B2 (en) * 2007-09-14 2012-07-24 Intellectual Ventures Holding 67 Llc Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US9067097B2 (en) * 2009-04-10 2015-06-30 Sovoz, Inc. Virtual locomotion controller apparatus and methods
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
US8009022B2 (en) * 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US9400548B2 (en) * 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US8631355B2 (en) * 2010-01-08 2014-01-14 Microsoft Corporation Assigning gesture dictionaries
KR101114750B1 (ko) * 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치
US8749557B2 (en) * 2010-06-11 2014-06-10 Microsoft Corporation Interacting with user interface via avatar
CN102478960B (zh) * 2010-11-29 2015-11-18 国际商业机器公司 人机交互设备以及将该设备用于虚拟世界的装置和方法
US8994718B2 (en) * 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
US20140063061A1 (en) * 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
US20140009378A1 (en) * 2012-07-03 2014-01-09 Yen Hsiang Chew User Profile Based Gesture Recognition
US20140085625A1 (en) * 2012-09-26 2014-03-27 Abdelrehim Ahmed Skin and other surface classification using albedo
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
TWI544367B (zh) * 2013-01-29 2016-08-01 緯創資通股份有限公司 手勢辨識與控制方法及其裝置
US20140245192A1 (en) * 2013-02-26 2014-08-28 Avaya Inc. Portable and context sensitive avatar methods and systems
US9766709B2 (en) * 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
US20140368537A1 (en) * 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
KR102077108B1 (ko) * 2013-09-13 2020-02-14 한국전자통신연구원 콘텐츠 체험 서비스 제공 장치 및 그 방법
JP6307627B2 (ja) * 2014-03-14 2018-04-04 株式会社ソニー・インタラクティブエンタテインメント 空間感知を備えるゲーム機
WO2015153739A1 (en) * 2014-04-01 2015-10-08 University Of South Florida Systems and methods for planning a robot grasp based upon a demonstrated grasp
US10019059B2 (en) 2014-08-22 2018-07-10 Sony Interactive Entertainment Inc. Glove interface object
US9746921B2 (en) * 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US9643314B2 (en) * 2015-03-04 2017-05-09 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
CN105334959B (zh) * 2015-10-22 2019-01-15 北京小鸟看看科技有限公司 一种虚拟现实环境中的手势动作控制系统和方法
JP2017099686A (ja) * 2015-12-02 2017-06-08 株式会社ブリリアントサービス ゲーム用ヘッドマウントディスプレイ、ゲーム用ヘッドマウントディスプレイのプログラム、およびゲーム用ヘッドマウントディスプレイの制御方法
CN105975158A (zh) * 2016-05-11 2016-09-28 乐视控股（北京）有限公司 虚拟现实交互的方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI695311B (zh) * 2018-03-12 2020-06-01 香港商阿里巴巴集團服務有限公司 一種利用手勢模擬滑鼠操作的方法、裝置及終端

Also Published As

Publication number Publication date
US20180088663A1 (en) 2018-03-29
TWI742079B (zh) 2021-10-11
EP3519926A4 (en) 2020-05-27
WO2018063759A1 (en) 2018-04-05
JP7137804B2 (ja) 2022-09-15
CN107885316A (zh) 2018-04-06
EP3519926A1 (en) 2019-08-07
JP2019537763A (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
TWI742079B (zh) 基於手勢的互動方法及裝置
TW201814445A (zh) 基於手勢的互動方法及裝置
US11532172B2 (en) Enhanced training of machine learning systems based on automatically generated realistic gameplay information
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
US10990189B2 (en) Processing of gesture-based user interaction using volumetric zones
CN111259751B (zh) 基于视频的人体行为识别方法、装置、设备及存储介质
US10068547B2 (en) Augmented reality surface painting
US20170293364A1 (en) Gesture-based control system
CN108292362A (zh) 用于光标控制的手势识别
JP7168694B2 (ja) ヒューマンフェースによる３ｄ特殊効果生成方法、装置および電子装置
US20110109617A1 (en) Visualizing Depth
KR20180107085A (ko) 증강 현실의 가상 객체들에 영향을 미치는 방법
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN114067172A (zh) 一种仿真图像生成方法、仿真图像生成装置及电子设备
US11169603B2 (en) Electronic apparatus and method for recognizing view angle of displayed screen thereof
Abdallah et al. An overview of gesture recognition
CN112837339B (zh) 基于运动捕捉技术的轨迹绘制方法及装置
Xu et al. Bare hand gesture recognition with a single color camera
Bruno et al. Mixed prototyping environment with different video tracking techniques
Xie et al. Hand posture recognition using kinect
Fogelton Real-time hand tracking using flocks of features
Kapoor et al. Marker-less detection of virtual objects using augmented reality
CN115294623B (zh) 一种人体全身动作捕捉方法、装置、存储介质及终端
CN113918014B (zh) 虚拟物体控制方法、装置、设备及存储介质
Voglhuber Hand simulation for virtual climbing