TW201814445A - 基於手勢的互動方法及裝置 - Google Patents

基於手勢的互動方法及裝置 Download PDF

Info

Publication number
TW201814445A
TW201814445A TW106115503A TW106115503A TW201814445A TW 201814445 A TW201814445 A TW 201814445A TW 106115503 A TW106115503 A TW 106115503A TW 106115503 A TW106115503 A TW 106115503A TW 201814445 A TW201814445 A TW 201814445A
Authority
TW
Taiwan
Prior art keywords
gesture
service scenario
image
classification model
item
Prior art date
Application number
TW106115503A
Other languages
English (en)
Inventor
張磊
彭俊
Original Assignee
阿里巴巴集團服務有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 阿里巴巴集團服務有限公司 filed Critical 阿里巴巴集團服務有限公司
Publication of TW201814445A publication Critical patent/TW201814445A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本申請案公開了一種基於手勢的互動方法及裝置。本申請案中，顯示第一圖像，所述第一圖像包括：虛擬實境圖像、增強實境圖像、混合實境圖像中的一種或多種組合；獲取第一手勢；確定所述第一圖像對應的服務場景下所述第一手勢對應的第一操作；回應所述第一操作，從而在多服務場景下，使得基於手勢所執行的操作與當前的服務場景相匹配。

Description

基於手勢的互動方法及裝置
本申請案涉及電腦技術領域，尤其涉及一種基於手勢的互動方法及裝置。
虛擬實境(Virtual Reality，簡稱VR)技術是一種可以創建和體驗虛擬世界的電腦模擬技術。它利用電腦生成一種模擬環境，是一種多源資訊融合的互動式的三維動態視景和實體行為的系統模擬，使使用者沉浸到該環境中。虛擬實境技術是模擬技術與電腦圖形學人機介面技術、多媒體技術、傳感技術、網路技術等多種技術的集合。虛擬實境技術可以根據的頭部轉動、眼睛、手勢或其他人體行為動作，由電腦來處理與參與者的動作相適應的資料，並對使用者的輸入作出即時回應。
增強實境(Augmented Reality，簡稱AR)技術通過電腦技術，將虛擬的資訊應用到真實世界，真實的環境和虛擬的物體即時地疊加到了同一個畫面或空間同時存在。
混合實境(Mix reality，簡稱MR)技術包括增強實境和增強虛擬，指的是合併實境和虛擬世界而產生的新的 視覺化環境。在新的視覺化環境中，物理和虛擬物件(也即數位物件)共存，並即時互動。
基於VR、AR或MR的技術中，一個應用中可能存在多種服務場景，相同使用者手勢在不同服務場景中需要實現的操作可能不同。目前，針對這種多場景應用，如何實現基於手勢的互動，尚未有解決方案。
本申請案實施例提供了一種基於手勢的互動方法及裝置，用以實現多服務場景下的基於手勢的互動。
本申請案實施例提供的一種基於手勢的互動方法，包括：顯示第一圖像，所述第一圖像包括：虛擬實境圖像、增強實境圖像、混合實境圖像中的一種或多種組合；獲取第一手勢；確定所述第一圖像對應的服務場景下所述第一手勢對應的第一操作；回應所述第一操作。
本申請案實施例提的另一種基於手勢的互動方法，包括：在虛擬實境場景、增強實境場景或混合實境場景下，獲取第一手勢；若確定所述第一手勢滿足觸發條件，則控制資料的輸出，所述資料包括：音頻資料、圖像資料、視頻資料之一 或組合。
本申請案實施例提供的另一種基於手勢的互動方法，包括： 顯示第一圖像，所述第一圖像包括：第一物件和第二物件，所述第一物件和第二物件中至少一個為：虛擬實境物件、增強實境物件或混合實境物件；獲取輸入的第一手勢信號；其中，所述第一手勢信號與所述第一物件關聯；根據所述第一手勢對應的第一操作，對所述第二物件進行處理。
本申請案實施例提供的另一種基於手勢的互動方法，包括：獲取發送的互動操作資訊，所述互動操作資訊中包括手勢資訊以及基於所述手勢資訊所執行的操作；根據所述互動操作資訊以及所述互動操作資訊對應的服務場景，更新相應服務場景對應的互動模型，所述互動模型用於根據手勢確定對應的操作；返回更新後的互動模型。
本申請案實施例提供的一種基於手勢的互動裝置，包括：顯示模組，用於顯示第一圖像，所述第一圖像包括：虛擬實境圖像、增強實境圖像、混合實境圖像中的一種或多種組合；獲取模組，用於獲取第一手勢； 確定模組，用於確定所述第一圖像對應的服務場景下所述第一手勢對應的第一操作；回應模組，用於回應所述第一操作。
本申請案實施例提供的另一種基於手勢的互動裝置，包括：獲取模組，用於在虛擬實境場景、增強實境場景或混合實境場景下，獲取第一手勢；處理模組，用於若確定所述第一手勢滿足觸發條件，則控制資料的輸出，所述資料包括：音頻資料、圖像資料、視頻資料之一或組合。
本申請案實施例提供的另一種基於手勢的互動裝置，包括：顯示模組，用於顯示第一圖像，所述第一圖像包括：第一物件和第二物件，所述第一物件和第二物件中至少一個為：虛擬實境物件、增強實境物件或混合實境物件；獲取模組，用於獲取輸入的第一手勢信號；其中，所述第一手勢信號與所述第一物件關聯；處理模組，用於根據所述第一手勢對應的第一操作，對所述第二物件進行處理。
本申請案實施例提供的另一種基於手勢的互動裝置，包括：接收模組，用於獲取發送的互動操作資訊，所述互動操作資訊中包括手勢資訊以及基於所述手勢資訊所執行的操作； 更新模組，用於根據所述互動操作資訊以及所述互動操作資訊對應的服務場景，更新相應服務場景對應的互動模型，所述互動模型用於根據手勢確定對應的操作；發送模組，用於返回更新後的互動模型。
本申請案實施例提供的另一種基於手勢的互動裝置，包括：顯示器；記憶體，用於儲存電腦程式指令；處理器，耦合到所述記憶體，用於讀取所述記憶體儲存的電腦程式指令，並作為回應，執行如下操作：通過所述顯示器顯示第一圖像，所述第一圖像包括：虛擬實境圖像、增強實境圖像、混合實境圖像中的一種或多種組合；獲取第一手勢；確定所述第一圖像對應的服務場景下所述第一手勢對應的第一操作；回應所述第一操作。
本申請案實施例提供的另一種基於手勢的互動裝置，包括：顯示器；記憶體，用於儲存電腦程式指令；處理器，耦合到所述記憶體，用於讀取所述記憶體儲存的電腦程式指令，並作為回應，執行如下操作：在虛擬實境場景、增強實境場景或混合實境場景下， 獲取第一手勢；若確定所述第一手勢滿足觸發條件，則控制資料的輸出，所述資料包括：音頻資料、圖像資料、視頻資料之一或組合。
本申請案實施例提供的另一種基於手勢的互動裝置，包括：顯示器；記憶體，用於儲存電腦程式指令；處理器，耦合到所述記憶體，用於讀取所述記憶體儲存的電腦程式指令，並作為回應，執行如下操作：通過顯示器顯示第一圖像，所述第一圖像包括：第一物件和第二物件，所述第一物件和第二物件中至少一個為：虛擬實境物件、增強實境物件或混合實境物件；獲取輸入的第一手勢信號；其中，所述第一手勢信號與所述第一物件關聯；根據所述第一手勢對應的第一操作，對所述第二物件進行處理。
本申請案的上述實施例中，顯示第一圖像，所述第一圖像包括：虛擬實境圖像、增強實境圖像、混合實境圖像中的一種或多種組合；獲取第一手勢，並確定第一圖像對應的服務場景下第一手勢對應的第一操作，回應該第一操作，從而在多服務場景下，使得基於手勢所執行的操作與當前的服務場景相匹配。
101‧‧‧場景識別功能
102‧‧‧手勢識別功能
103‧‧‧互動判斷功能
104‧‧‧互動模型
105‧‧‧操作執行功能
106‧‧‧互動模型學習功能
501‧‧‧顯示模組
502‧‧‧獲取模組
503‧‧‧確定模組
504‧‧‧回應模組
601‧‧‧獲取模組
602‧‧‧處理模組
701‧‧‧顯示模組
702‧‧‧獲取模組
703‧‧‧處理模組
801‧‧‧接收模組
802‧‧‧更新模組
803‧‧‧發送模組
901‧‧‧處理器
902‧‧‧記憶體
903‧‧‧顯示器
901‧‧‧處理器
902‧‧‧記憶體
903‧‧‧顯示器
1001‧‧‧處理器
1002‧‧‧記憶體
1003‧‧‧顯示器
1101‧‧‧處理器
1102‧‧‧記憶體
1103‧‧‧顯示器
圖1為本申請案實施例提供的基於手勢的互動系統的功能架構方塊圖；圖2為本申請案實施例提供的基於手勢的互動流程示意圖；圖3為本申請案另外的實施例提供的基於手勢的互動流程示意圖；圖4為本申請案另外的實施例提供的基於手勢的互動流程示意圖；圖5至圖11分別為本申請案實施例提供的基於手勢的互動裝置的結構示意圖。
本申請案實施例提供了基於手勢的互動方法。該方法可應用於多服務場景的VR、AR或MA應用中，或者適用於具有多服務場景的類似應用中。
本申請案實施例中，針對不同的服務場景設置有對應的互動模型，互動模型用於根據手勢確定對應的操作，這樣，當運行多場景應用的終端獲取到使用者的手勢後，可以根據該手勢所在的服務場景，使用該服務場景對應的互動模型，確定該服務場景下該手勢對應的操作並執行該操作，從而在多服務場景下，使得基於手勢所執行的操作與該手勢所在的服務場景相匹配。
其中，一個多場景應用中存在多種服務場景，並可能 在多種服務場景之間進行切換。比如，一個與運動相關的虛擬實境應用中包含多種運動場景：乒乓球雙人比賽場景、羽毛球雙人比賽場景等等，使用者可在不同運動場景之間進行選擇。再比如，一個模擬對抗的虛擬實境應用中包含多種對抗場景：手槍射擊場景、近身格鬥場景等等，根據使用者的選擇或者應用設置，可在不同對抗場景之間進行切換。在另一些實施例中，一個應用可能會調用另一個應用，因此存在多應用之間的切換，這種情況下，一個應用可對應一種服務場景。
服務場景可預先定義，也可由伺服器設置。比如，對於一個多場景應用來說，該應用中的場景劃分，可以在該應用的設定檔或該應用的代碼中預定義，也可以由伺服器進行設置，終端可將伺服器所劃分的場景的相關資訊儲存在該應用的設定檔中。服務場景的劃分還可以在該應用的設定檔或該應用的代碼中預定義，後續伺服器可根據需要對該應用的場景進行重新劃分並將重新劃分的服務場景的相關資訊發送給終端，從而提高多場景應用的靈活性。
運行多場景應用的終端，可以是任何能夠運行該多場景應用的電子設備。該終端可包括用於採集手勢的部件，用於基於服務場景對採集的手勢進行回應操作的部件，用於顯示的部件等。以運行虛擬實境應用的終端為例，用於採集手勢的部件可以包括：紅外線攝影鏡頭，也可以包括各種感測器(如光學感測器、加速度計等等)；用於顯示的部件可以顯示虛擬實境場景圖像、基於手勢進行的回應 操作結果等。當然，用於採集手勢的部件、顯示部件等，也可以不作為該終端的組成部分，而是作為外接部件與該終端連接。
下面對本申請案實施例中所使用的互動模型，從以下幾個方面進行說明。
(一)互動模型與服務場景以及使用者的對應關係
本申請案的一些實施例中，一個服務場景所對應的互動模型，可適用於所有使用該多場景應用的使用者，即，對於使用該多場景應用的所有使用者，在針對相同服務場景下的手勢進行回應操作時，均使用相同的互動模型確定該服務場景下的手勢所對應的操作。
進一步地，為了更好地匹配使用者的行為特徵或行為習慣，本申請案的一些實施例中，可以將使用者進行分組，不同的使用者分組使用不同的互動模型，一個使用者分組內的使用者使用相同的互動模型。可以將具有相同或相似行為特徵或行為習慣的使用者分為一組，比如，可以根據使用者年齡對使用者進行分組，因為通常不同年齡段的使用者，即使做相同類型的手勢，由於其手的大小以及手部行為動作的差異，也可能導致手勢識別結果存在差異。當然也可以採用其他的使用者分組方式，本申請案實施例對此不做限制。具體實施時，使用者註冊後獲得使用者帳號(使用者帳號與使用者ID對應)，使用者註冊資訊中包含有使用者的年齡資訊，不同的年齡段對應不同的 使用者分組。使用者使用多場景應用之前首先需要使用使用者帳號進行登錄，這樣，可根據使用者帳號查詢到該使用者註冊的年齡資訊，從而確定出該使用者所屬的使用者分組，進而基於該使用者分組對應的互動模型對該使用者的手勢進行回應操作。
表1示例性地示出了服務場景、使用者分組以及互動模型之間的關係。根據表1可以看出，同一服務場景下，不同的使用者分組對應不同的互動模型，當然不同的使用者分組所對應的互動模型也可能相同。不失一般性地，對於同一使用者分組，不同服務場景下使用的互動模型通常有所不同。
更進一步地，為了更好地匹配使用者的行為特徵或行為習慣，以便更精準地對使用者的手勢進行回應操作，本申請案實施例的一些實施例中，可對應每個使用者設置互動模型。具體實施時，使用者註冊後獲得使用者帳號(使 用者帳號與使用者ID對應)，不同的使用者ID對應不同的互動模型。使用者使用多場景應用之前首先需要使用使用者帳號進行登錄，這樣，可根據使用者帳號查詢到該使用者的使用者ID，進而基於該使用者ID對應的互動模型對該使用者的手勢進行回應操作。
表2示例性地示出了服務場景、使用者ID以及互動模型之間的關係。根據表2可以看出，同一服務場景下，不同的使用者ID對應不同的互動模型。不失一般性地，對於同一使用者ID，不同服務場景下使用的互動模型通常有所不同。
(二)互動模型的輸入和輸出
簡單來說，互動模型定義了手勢與操作的對應關係。在一些實施例中，互動模型的輸入資料包括手勢資料，輸出資料包括操作資訊(如操作指令)。
(三)互動模型的架構
為了便於技術實現，在一些實施例中，互動模型可包括手勢分類模型以及手勢類型與操作的映射關係。其中，手勢分類模型用於根據手勢確定對應的手勢類型。手勢分類模型可以適用於所有使用者，也可以不同使用者分組配置有各自的手勢分類模型，或者不同的使用者配置有各自的手勢分類模型。手勢分類模型可以通過樣本訓練得到，也可以通過對使用者的手勢以及基於手勢所進行的操作進行學習得到。
手勢類型與操作的映射關係，在無需更新服務場景的情況下，通常保持不變。根據不同服務場景的需要，可預先定義不同服務場景下，手勢類型與操作的映射關係。
(四)互動模型所定義的手勢類型和操作
本申請案實施例中，手勢類型可包括單手手勢類型，也可包括雙手手勢類型。作為一個例子，單手手勢類型可包括以下類型中的一種或多種：-單手手掌掌心朝向VR物件的手勢，更具體地，可包括朝向VR物件運動的手勢、向遠離VR物件的方向運動的手勢，擺動手掌的手勢，在平行於VR場景圖像的平面上進行平移手掌的手勢等等；-單手手掌掌心背向VR物件的手勢，更具體地，可包括朝向VR物件運動的手勢、向遠離VR物件的方向運動的手勢，擺動手掌的手勢，在平行於VR 場景圖像的平面上進行平移手掌的手勢等等；-單手握拳或手指合攏的手勢；-單手放開握拳或手指伸開的手勢；-右手的手勢；-左手的手勢。
作為另一個例子，雙手手勢類型可包括以下中的一種或多種：-左手手掌掌心朝向VR對象、右手單手手掌掌心背向VR物件的組合手勢；-右手手掌掌心朝向VR對象、左手單手手掌掌心背向VR物件的組合手勢；-左手手指伸開、右手的一個手指點選的組合手勢；-左右時交叉。
以上僅為示例性地舉例，實際應用中可根據需要對手勢類型進行定義。
作為一個例子，針對功能表操作，可定義如下手勢類型與操作的映射關係中的一種或多種：-單手放開握拳或手指伸開的手勢，用於打開菜單；-單手握拳或手指合攏的手勢，用於關閉菜單；-單手的一個手指點選的手勢，用於選中功能表中的功能表選項(比如選中功能表中的選項，或者打開下一級功能表)；-右手手掌掌心朝向VR對象、左手單手手掌掌心背向VR物件的組合手勢，用於打開功能表並選擇手 指所點選的功能表選項。
以上僅為示例性地舉例，實際應用中可根據需要對手勢類型與操作的映射關係進行定義。
(五)互動模型的配置方式
本申請案實施例中的互動模型或者手勢分類模型，可以預先設置。比如，可以將互動模型或手勢分類模型設置在應用程式的安裝包中，從而在應用程式安裝後儲存在終端中；或者，伺服器將互動模型或手勢分類模型發送給終端。這種配置方式適合於互動模型或者手勢分類模型適用於所有使用者的情形。
在另外的實施例中，可預先設置初始的互動模型或者手勢分類模型，後續由終端根據手勢以及基於手勢所執行的操作的統計資訊，對互動模型或手勢分類模型進行更新，從而實現由終端基於學習的方式不斷完善互動模型或手勢分類模型。這種配置方式比較適合於互動模型或手勢分類模型適用於特定使用者的情形。
在另外的實施例中，可預先設置初始的互動模型或者手勢分類模型，後續由終端將手勢以及基於手勢所執行的操作的統計資訊發送給伺服器，由伺服器根據手勢以及基於手勢所執行的操作的統計資訊，對互動模型或手勢分類模型進行更新，並將更新後的互動模型或手勢分類模型發送給終端，從而實現由伺服器基於學習的方式不斷完善互動模型或手勢分類模型。這種配置方式比較適合於互動模 型或手勢分類模型適用於特定使用者分組或適用於所有使用者的情形。可選地，伺服器可採用雲端作業系統，這樣，可以充分利用伺服器的雲端計算能力。當然，這種配置方式也適用於互動模型或手勢分類模型適用於特定使用者的情形。
下面結合附圖對本申請案實施例進行詳細描述。
參見圖1，為本申請案實施例提供的基於手勢的互動系統的功能架構方塊圖。
如圖所示，場景識別功能101用於對服務場景進行識別。手勢識別功能102用於對使用者手勢進行識別，識別結果可包括手指和/或指關節的狀態和運動等資訊。互動判斷功能103可根據識別出的服務場景以及識別出的手勢，使用互動模型104確定出在該服務場景下該手勢所對應的操作。操作執行功能105用於執行互動模型所確定出的操作。互動模型學習功能106可根據操作執行功能105所執行的操作的統計資料進行學習，從而對互動模型104進行更新。
進一步地，互動判斷功能103還可根據使用者資訊，確定對應的互動模型，並使用確定出的與該使用者資訊對應的互動模型，確定在識別出的服務場景下，相應使用者的手勢所對應的操作。
參見圖2，為本申請案實施例提供的基於手勢的互動流程示意圖。該流程可在運行場景應用的終端側執行。如圖所示，該流程可包括如下步驟：
步驟201：顯示第一圖像，所述第一圖像包括：虛擬實境圖像、增強實境圖像、混合實境圖像中的一種或多種組合。
步驟202：獲取第一手勢。
本申請案實施例支持多種採集使用者的手勢的方式。比如，可以採用紅外線攝影鏡頭採集圖像，對採集到的圖像進行手勢識別，從而獲得使用者的手勢。採用這種方式進行手勢採集，可以對裸手手勢進行採集。
其中，為了提高手勢識別精度，可選地，可對紅外線攝影鏡頭採集到的圖像進行預處理，以便去除雜訊。具體地，對圖像的預處理操作可包括但不限於：
-圖像增強。若外部光照不足或太強，需要亮度增強，這樣可以提高手勢檢測和識別精度。具體地，可採用以下方式進行亮度參數檢測：計算視頻框的平均Y值，通過閾值T，若Y>T，則表明過亮，否則表明較暗。進一步地，可通過非線性演算法進行Y增強，如Y’=Y*a+b。
-圖像二元化。圖像二元化是指將圖像上的像素點的灰度值設置為0或255，也就是將整個圖像呈現出明顯的黑白效果；
-圖像灰度化。在RGB(Red Green Blue，紅綠藍)模型中，如果R=G=B時，則彩色表示一種灰度顏色，其中R=G=B的值叫灰度值，因此，灰度圖像每個像素只需一個位元組存放灰度值(又稱強度 值、亮度值)，灰度範圍為0-255。
-去雜訊處理。將圖像中的雜訊點去除。
具體實施時，可根據手勢精度要求以及性能要求(比如回應速度)，確定是否進行圖像預處理，或者確定所採用的圖像預處理方法。
在進行手勢識別時，可使用手勢分類模型進行手勢識別。使用手勢分類模型進行手勢識別時，該模型的輸入參數可以是紅外線攝影鏡頭採集到的圖像(或者預處理後的圖像)，輸出參數可以是手勢類型。該手勢分類模型可基於支援向量機(Support Vector Machine，簡稱SVM)、卷積神經網路(Convolutional Neural Network，簡稱CNN)或DL等演算法，通過學習方式獲得。
進一步地，本申請案實施例中可支援多種手勢，比如可支援手指彎曲的手勢。相應地，為了對該類手勢進行識別，可進行關節識別，即，通過關節識別可檢測到手部手指關節的狀態，從而確定手勢的類型。關節識別的具體方法可採用Kinect演算法，通過手建模可以得到關節資訊，從而進行關節識別。
步驟203：確定第一圖像對應的服務場景下第一手勢對應的第一操作。
步驟204：回應第一操作。
其中，第一操作可以是使用者介面操作，更具體地，可以是功能表操作，比如打開功能表、關閉功能表、打開當前功能表的子功能表、選擇當前功能表上的功能表選項 等操作。相應地，在回應功能表操作時，比如打開功能表，可對功能表進行渲染，並最終向使用者顯示該功能表，具體可將功能表通過VR顯示部件顯示給使用者。
當然，上述第一操作不限於功能表操作，還可以是其他操作，比如進行語音提示的操作，在此不再一一列舉。
通過以上描述可以看出，本申請案的上述實施例中，獲取使用者的第一手勢，並確定第一手勢所在的服務場景，根據該服務場景確定該服務場景下該第一手勢對應的第一操作並執行該第一操作，從而在多服務場景下，使得基於手勢所執行的操作與當前的服務場景相匹配。
基於前述描述，在一些實施例中，在步驟203之前，還可執行以下步驟：根據第一手勢所在的服務場景，獲取該服務場景對應的互動模型。相應地，在步驟203中，根據第一手勢，使用該服務場景對應的互動模型，確定該服務場景下第一手勢對應的第一操作。
基於前述描述，互動模型中可包括手勢分類模型以及手勢類型與操作的映射關係，這樣，在步驟203中，可根據第一手勢，使用該服務場景對應的手勢分類模型，確定該服務場景下第一手勢所屬的手勢類型，根據第一手勢所屬的手勢類型以及所述映射關係，確定該服務場景下第一手勢對應的第一操作。
進一步地，在針對不同的使用者分組設置有各自對應的互動模型或手勢分類模型的情況下，可獲取作出第一手勢的使用者的資訊，根據該使用者資訊確定該使用者所屬 的使用者分組，並獲取該使用者分組對應的手勢分類模型。具體實施時，可根據使用者分組資訊以及該使用者的使用者資訊(比如年齡)，確定該使用者所在的使用者分組，並獲取該使用者所在的使用者分組所對應的手勢分類模型。
進一步地，在針對不同的使用者設置有各自對應的互動模型或手勢分類模型的情況下，可獲取作出第一手勢的使用者的ID，根據該使用者ID獲取該使用者ID對應的手勢分類模型。
本申請案實施例中的互動模型或手勢分類模型，可以通過離線方式學習得到。比如，可以使用手勢樣本對手勢分類模型進行訓練，由伺服器將訓練好的手勢分類模型發送給終端。再比如，終端側可提供手勢分類模型訓練功能，當使用者選擇進入手勢分類模型訓練模式後，可通過作出各種手勢以獲得對應的操作，並對所回應的操作進行評估，從而不斷修正手勢分類模型。
在另外一些實施例中，互動模型或手勢分類模型可通過線上方式進行學習。比如，可由終端根據採集到的手勢以及根據手勢所回應的操作進行互動模型或手勢分類模型的線上學習，終端也可以將手勢以及根據手勢所執行的操作的互動操作資訊發送給伺服器，由伺服器對互動模型或手勢分類模型進行修正，並將修正後的互動模型或手勢分類模型發送給終端。
基於圖2所示的流程，在終端側進行手勢分類模型的 學習的方案中，在步驟204之後，終端可獲取該服務場景下，基於第一手勢之後的第二手勢所執行的第二操作，根據第二操作與第一操作的關係，更新手勢分類模型。由於根據第一操作之後的第二操作，可以一定程度上判斷第一操作是否是使用者期望的操作，若不是，則表明可能是手勢分類模型不夠精確，需要更新。
進一步地，作為一個例子，上述根據第二操作與第一操作的關係，更新手勢分類模型，可包括以下操作之一或任意組合：
-若第一操作的目標物件與第二操作的目標物件相同，且操作動作不同，則更新手勢分類模型中第一手勢所屬的手勢類型。
例如，若第一操作為打開第一功能表的操作，第二操作為關閉第一功能表的操作，則表明使用者在作出第一手勢時，實際上並不希望打開菜單，也就是說對於該手勢的識別需要進一步提高精度，因此可更新手勢分類模型中第一手勢所屬的手勢分類。
-若第二操作的目標物件是第一操作的目標物件的子物件，則保持手勢分類模型中所述第一手勢所屬的手勢類型不變。
例如，若第一操作為打開第二功能表的操作，第二操作為選擇第二功能表中的功能表選項的操作，則保持手勢分類模型中第一手勢所屬的手勢類型不變。
進一步地，在不同使用者分組各自設置有互動模型互 手勢分類模型的情形下，在進行互動模型或手勢分類模型的學習時，對於一個使用者分組，使用該使用者分組中的使用者的互動操作資訊，對該使用者分組對應的互動模型或手勢分類模型進行訓練或學習；在不同使用者各自設置有互動模型互手勢分類模型的情形下，在進行互動模型或手勢分類模型的學習時，對於一個使用者，使用該使用者中的互動操作資訊，對該使用者對應的互動模型或手勢分類模型進行訓練或學習。
參見圖3，為本申請案另一實施例提供的基於手勢的互動流程。如圖所示，該流程可包括如下步驟：
步驟301：在虛擬實境場景、增強實境場景或混合實境場景下，獲取第一手勢。
該步驟中，在上述場景下獲取第一手勢的方法同前所述，在此不再重複。
步驟302：確定第一手勢是否滿足觸發條件，若是，則轉入步驟303；否則轉入步驟304。
其中，所述觸發條件預先定義，或者由伺服器進行設置。不同的觸發條件所對應的控制資料的輸出操作可以不同。
該步驟中，在確定第一手勢滿足的觸發條件後，可獲取觸發條件與控制資料的輸出操作間的對應關係，根據該對應關係確定第一手勢當前滿足的觸發條件所對應的控制資料的輸出操作。
步驟303：控制資料的輸出，所述資料包括：音頻資 料、圖像資料、視頻資料之一或組合。
其中，所述圖像資料可包括虛擬實境圖像、增強實境圖像、混合實境圖像中的一種或多種；所述音頻資料可包括與當前場景對應的音頻。
步驟304：根據該第一手勢進行回應或進行其它操作。
在虛擬實境場景的一個例子中，如果使用者在黑夜的場景中作出推門的動作，則會發出門卡開的聲音。針對該應用，在當前黑夜的場景中，若捕獲到使用者的手勢，根據該手勢的相關資訊判斷該手勢的幅度或力度超過一定閾值(表明只有在比較用力的情況下才能打開大門)，則發出打開大門的聲音。進一步地，根據該手勢的幅度或力度，所發出的聲音在音量、音色或持續時間上有所不同。
參見圖4，為本申請案另外的實施例提供的基於手勢的互動流程。如圖所示，該流程可包括如下步驟：
步驟401：顯示第一圖像，所述第一圖像包括：第一物件和第二物件，所述第一物件和第二物件中至少一個為：虛擬實境物件、增強實境物件或混合實境物件。
步驟402：獲取輸入的第一手勢信號；其中，所述第一手勢信號與所述第一物件關聯。
步驟403：根據第一手勢對應的第一操作，對所述第二物件進行處理。
該步驟中，可首先根據第一手勢所在的服務場景，獲取所述服務場景對應的互動模型，所述互動模型用於根據 手勢確定對應的操作；然後，根據該第一手勢，使用該服務場景對應的互動模型，確定該服務場景下第一手勢對應的第一操作。其中，互動模型以及基於互動模型確定手勢對應的操作的方法，可參見前述實施例，在此不再重複。
進一步地，手勢與物件的關聯關係可預先設置，比如設置在設定檔中或程式碼中，也可由伺服器進行設置。
作為一個例子，針對模擬切水果的VR應用，使用者手勢與“水果刀”關聯。其中，“水果刀”是虛擬對象。當運行該VR應用時，終端可根據採集並識別出的使用者手勢，在該VR的應用介面中顯示“水果刀”，且該“水果刀”可跟隨使用者手勢進行運動，以產生切削介面中的水果的視覺效果。基於該用於，在具體實施時，在步驟401中，首先顯示初始畫面，其中“水果刀”作為第一物件顯示在該畫面中，各種水果作為“第二物件”顯示在該畫面中，其中水果刀和水果均為虛擬實境對象。在步驟402中，使用者抓取水果刀並揮動做切水果的動作，該過程中，終端可獲得使用者的手勢，根據手勢與物件的映射關係，確定出該手勢與作為“第一物件”的水果刀關聯。在步驟403中，終端根據該手勢的運動軌跡、速度、力度等資訊，對作為“第二物件”的水果進行切削等效果處理。
基於相同的技術構思，本申請案實施例還提供了一種基於手勢的互動裝置，該裝置可實現前述實施例描述的基於手勢的互動流程。比如該裝置可以是用於虛擬實境、增 強實境或混合實境的裝置。
參見圖5，為本申請案實施例提供的基於手勢的互動裝置的結構示意圖。該裝置可包括：顯示模組501、獲取模組502、確定模組503、回應模組504，其中：顯示模組501，用於顯示第一圖像，所述第一圖像包括：虛擬實境圖像、增強實境圖像、混合實境圖像中的一種或多種組合；獲取模組502，用於獲取第一手勢；確定模組503，用於確定所述第一圖像對應的服務場景下所述第一手勢對應的第一操作；回應模組504，用於回應所述第一操作。
可選地，確定模組503還用於：在確定所述第一圖像對應的服務場景下所述第一手勢對應的第一操作之前，根據所述第一手勢所在的服務場景，獲取所述服務場景對應的互動模型，所述互動模型用於根據手勢確定對應的操作；確定模組503具體用於：根據所述第一手勢，使用所述服務場景對應的互動模型，確定所述服務場景下所述第一手勢對應的第一操作。
可選地，所述互動模型中包括手勢分類模型以及手勢類型與操作的映射關係，所述手勢分類模型用於根據手勢確定對應的手勢類型；確定模組503可具體用於：根據所述第一手勢，使用所述服務場景對應的手勢分類模型，確定所述服務場景下所述第一手勢所屬的手勢類型，根據所述第一手勢所屬的手勢類型以及所述映射關係，確定所述 服務場景下所述第一手勢對應的第一操作。
可選地，還可包括更新模組(未在圖中示出)，用於在回應所述第一操作之後，獲取所述服務場景下，基於所述第一手勢之後的第二手勢所回應的第二操作；根據所述第二操作與所述第一操作的關係，更新所述手勢分類模型。
可選地，所述更新模組具體用於，執行以下操作之一或任意組合：若所述第一操作的目標物件與所述第二操作的目標物件相同，且操作動作不同，則更新所述手勢分類模型中所述第一手勢所屬的手勢類型；若所述第二操作的目標物件是所述第一操作的目標物件的子物件，則保持所述手勢分類模型中所述第一手勢所屬的手勢類型不變。
基於相同的技術構思，本申請案實施例還提供了一種基於手勢的互動裝置，該裝置可實現前述實施例描述的基於手勢的互動流程。比如該裝置可以是用於虛擬實境、增強實境或混合實境的裝置。
參見圖6，為本申請案實施例提供的基於手勢的互動裝置的結構示意圖。該裝置可包括：獲取模組601、處理模組602，其中：獲取模組601，用於在虛擬實境場景、增強實境場景或混合實境場景下，獲取第一手勢；處理模組602，用於若確定所述第一手勢滿足觸發條 件，則控制資料的輸出，所述資料包括：音頻資料、圖像資料、視頻資料之一或組合。
可選地，所述圖像資料包括虛擬實境圖像、增強實境圖像、混合實境圖像中的一種或多種；所述音頻資料包括與當前場景對應的音頻。
可選地，不同的觸發條件所對應的控制資料的輸出操作不同；處理模組602具體用於：在確定所述第一手勢滿足的觸發條件後，獲取觸發條件與控制資料的輸出操作間的對應關係，根據該對應關係確定所述第一手勢當前滿足的觸發條件所對應的控制資料的輸出操作。
基於相同的技術構思，本申請案實施例還提供了一種基於手勢的互動裝置，該裝置可實現前述實施例描述的基於手勢的互動流程。比如該裝置可以是用於虛擬實境、增強實境或混合實境的裝置。
參見圖7，為本申請案實施例提供的基於手勢的互動裝置的結構示意圖。該裝置可包括：顯示模組701、獲取模組702、處理模組703，其中：顯示模組701，用於顯示第一圖像，所述第一圖像包括：第一物件和第二物件，所述第一物件和第二物件中至少一個為：虛擬實境物件、增強實境物件或混合實境物件；獲取模組702，用於獲取輸入的第一手勢信號；其中，所述第一手勢信號與所述第一物件關聯；處理模組703，用於根據所述第一手勢對應的第一操 作，對所述第二物件進行處理。
可選地，處理模組703還用於：根據所述第一手勢對應的第一操作，對所述第二物件進行處理之前，根據所述第一手勢所在的服務場景，獲取所述服務場景對應的互動模型，所述互動模型用於根據手勢確定對應的操作；根據所述第一手勢，使用所述服務場景對應的互動模型，確定所述服務場景下所述第一手勢對應的第一操作。
可選地，所述互動模型中包括手勢分類模型以及手勢類型與操作的映射關係，所述手勢分類模型用於根據手勢確定對應的手勢類型；處理模組703具體用於：根據所述第一手勢，使用所述服務場景對應的手勢分類模型，確定所述服務場景下所述第一手勢所屬的手勢類型；根據所述第一手勢所屬的手勢類型以及所述映射關係，確定所述服務場景下所述第一手勢對應的第一操作。
基於相同的技術構思，本申請案實施例還提供了一種基於手勢的互動裝置，該裝置可實現前述實施例描述的基於手勢的互動流程。比如該裝置可以是用於虛擬實境、增強實境或混合實境的裝置。
參見圖8，為本申請案實施例提供的基於手勢的互動裝置的結構示意圖。該裝置可包括：接收模組801、更新模組802、發送模組803，其中：接收模組801，用於獲取發送的互動操作資訊，所述互動操作資訊中包括手勢資訊以及基於所述手勢資訊所執行的操作； 更新模組802，用於根據所述互動操作資訊以及所述互動操作資訊對應的服務場景，更新相應服務場景對應的互動模型，所述互動模型用於根據手勢確定對應的操作；發送模組803，用於返回更新後的互動模型。
可選地，所述互動操作資訊中包括：第一服務場景下，第一手勢以及基於第一手勢回應的第一操作，以及所述第一手勢之後的第二手勢以及基於第二手勢回應的第二操作；更新模組803具體用於：根據所述第二操作與所述第一操作的關係，更新所述互動模型中的手勢分類模型。
可選地，更新模組803具體用於執行以下操作之一或任意組合：若所述第一操作的目標物件與所述第二操作的目標物件相同，且操作動作不同，則更新所述手勢分類模型中所述第一手勢所屬的手勢類型；若所述第二操作的目標物件是所述第一操作的目標物件的子物件，則保持所述手勢分類模型中所述第一手勢所屬的手勢類型不變。
基於相同的技術構思，本申請案實施例還提供了一種基於手勢的互動裝置，該裝置可實現前述實施例描述的基於手勢的互動流程。比如該裝置可以是用於虛擬實境、增強實境或混合實境的裝置。
參見圖9，為本申請案實施例提供的基於手勢的互動裝置的結構示意圖。該裝置中可包括：處理器901，記憶體902、顯示器903。
其中，處理器901可以是通用處理器(比如微處理器或者任何常規的處理器等)、數位訊號處理器、專用積體電路、現場可程式設計閘陣列或者其他可程式設計邏輯器件、分立閘或者電晶體邏輯器件、分立硬體元件。記憶體902具體可包括內部記憶體和/或外部記憶體，比如隨機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、暫存器等本領域成熟的儲存媒體。
處理器901與其他各模組之間存在資料通信連接，比如可基於匯流排架構進行資料通信。匯流排架構可以包括任意數量的互聯的匯流排和橋，具體由處理器901代表的一個或多個處理器和記憶體1002代表的記憶體的各種電路連結在一起。匯流排架構還可以將諸如週邊設備、穩壓器和功率管理電路等之類的各種其他電路連結在一起，這些都是本領域所公知的，因此，本文不再對其進行進一步描述。匯流排介面提供介面。處理器901負責管理匯流排架構和通常的處理，記憶體902可以儲存處理器901在執行操作時所使用的資料。
本申請案實施例揭示的流程，可以應用於處理器901中，或者由處理器901實現。在實現過程中，前述實施例描述的流程的各步驟可以通過處理器901中的硬體的集成邏輯電路或者軟體形式的指令完成。可以實現或者執行本申請案實施例中的公開的各方法、步驟及邏輯方塊圖。結合本申請案實施例所公開的方法的步驟可以直接體現為硬 體處理器執行完成，或者用處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於隨機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、暫存器等本領域成熟的儲存媒體中。
具體地，處理器901，耦合到記憶體902，用於讀取記憶體902儲存的電腦程式指令，並作為回應，執行如下操作：通過所述顯示器顯示第一圖像，所述第一圖像包括：虛擬實境圖像、增強實境圖像、混合實境圖像中的一種或多種組合；獲取第一手勢；確定所述第一圖像對應的服務場景下所述第一手勢對應的第一操作；回應所述第一操作。上述流程的具體實現過程，可參見前述實施例的描述，在此不再重複。
基於相同的技術構思，本申請案實施例還提供了一種基於手勢的互動裝置，該裝置可實現前述實施例描述的基於手勢的互動流程。比如該裝置可以是用於虛擬實境、增強實境或混合實境的裝置。
參見圖10，為本申請案實施例提供的基於手勢的互動裝置的結構示意圖。該裝置中可包括：處理器1001，記憶體1002、顯示器1003。
其中，處理器1001可以是通用處理器(比如微處理器或者任何常規的處理器等)、數位訊號處理器、專用積體電路、現場可程式設計閘陣列或者其他可程式設計邏輯器件、分立閘或者電晶體邏輯器件、分立硬體元件。記憶體1002具體可包括內部記憶體和/或外部記憶體，比如隨 機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、暫存器等本領域成熟的儲存媒體。
處理器1001與其他各模組之間存在資料通信連接，比如可基於匯流排架構進行資料通信。匯流排架構可以包括任意數量的互聯的匯流排和橋，具體由處理器1001代表的一個或多個處理器和記憶體1002代表的記憶體的各種電路連結在一起。匯流排架構還可以將諸如週邊設備、穩壓器和功率管理電路等之類的各種其他電路連結在一起，這些都是本領域所公知的，因此，本文不再對其進行進一步描述。匯流排介面提供介面。處理器1001負責管理匯流排架構和通常的處理，記憶體1002可以儲存處理器1001在執行操作時所使用的資料。
本申請案實施例揭示的流程，可以應用於處理器1001中，或者由處理器1001實現。在實現過程中，前述實施例描述的流程的各步驟可以通過處理器1001中的硬體的集成邏輯電路或者軟體形式的指令完成。可以實現或者執行本申請案實施例中的公開的各方法、步驟及邏輯方塊圖。結合本申請案實施例所公開的方法的步驟可以直接體現為硬體處理器執行完成，或者用處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於隨機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、暫存器等本領域成熟的儲存媒體中。
具體地，處理器1001，耦合到記憶體1002，用於讀取記憶體1002儲存的電腦程式指令，並作為回應，執行如下操作：在虛擬實境場景、增強實境場景或混合實境場景下，獲取第一手勢；若確定所述第一手勢滿足觸發條件，則控制資料的輸出，所述資料包括：音頻資料、圖像資料、視頻資料之一或組合。上述流程的具體實現過程，可參見前述實施例的描述，在此不再重複。
基於相同的技術構思，本申請案實施例還提供了一種基於手勢的互動裝置，該裝置可實現前述實施例描述的基於手勢的互動流程。比如該裝置可以是用於虛擬實境、增強實境或混合實境的裝置。
參見圖11，為本申請案實施例提供的基於手勢的互動裝置的結構示意圖。該裝置中可包括：處理器1101，記憶體1102、顯示器1103。
其中，處理器1101可以是通用處理器(比如微處理器或者任何常規的處理器等)、數位訊號處理器、專用積體電路、現場可程式設計閘陣列或者其他可程式設計邏輯器件、分立閘或者電晶體邏輯器件、分立硬體元件。記憶體1102具體可包括內部記憶體和/或外部記憶體，比如隨機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、暫存器等本領域成熟的儲存媒體。
處理器1101與其他各模組之間存在資料通信連接，比如可基於匯流排架構進行資料通信。匯流排架構可以包 括任意數量的互聯的匯流排和橋，具體由處理器1101代表的一個或多個處理器和記憶體1102代表的記憶體的各種電路連結在一起。匯流排架構還可以將諸如週邊設備、穩壓器和功率管理電路等之類的各種其他電路連結在一起，這些都是本領域所公知的，因此，本文不再對其進行進一步描述。匯流排介面提供介面。處理器1101負責管理匯流排架構和通常的處理，記憶體1102可以儲存處理器1101在執行操作時所使用的資料。
本申請案實施例揭示的流程，可以應用於處理器1001中，或者由處理器1101實現。在實現過程中，前述實施例描述的流程的各步驟可以通過處理器1001中的硬體的集成邏輯電路或者軟體形式的指令完成。可以實現或者執行本申請案實施例中的公開的各方法、步驟及邏輯方塊圖。結合本申請案實施例所公開的方法的步驟可以直接體現為硬體處理器執行完成，或者用處理器中的硬體及軟體模組組合執行完成。軟體模組可以位於隨機記憶體，快閃記憶體、唯讀記憶體，可程式設計唯讀記憶體或者電可讀寫可程式設計記憶體、暫存器等本領域成熟的儲存媒體中。
具體地，處理器1101，耦合到記憶體1102，用於讀取記憶體1102儲存的電腦程式指令，並作為回應，執行如下操作：通過顯示器顯示第一圖像，所述第一圖像包括：第一物件和第二物件，所述第一物件和第二物件中至少一個為：虛擬實境物件、增強實境物件或混合實境物 件；獲取輸入的第一手勢信號；其中，所述第一手勢信號與所述第一物件關聯；根據所述第一手勢對應的第一操作，對所述第二物件進行處理。。上述流程的具體實現過程，可參見前述實施例的描述，在此不再重複。
本申請案是參照根據本申請案實施例的方法、設備(系統)、和電腦程式產品的流程圖和/或方塊圖來描述的。應理解可由電腦程式指令實現流程圖和/或方塊圖中的每一流程和/或方塊、以及流程圖和/或方塊圖中的流程和/或方塊的結合。可提供這些電腦程式指令到通用電腦、專用電腦、嵌入式處理機或其他可程式設計資料處理設備的處理器以產生一個機器，使得通過電腦或其他可程式設計資料處理設備的處理器執行的指令產生用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能的裝置。
這些電腦程式指令也可儲存在能引導電腦或其他可程式設計資料處理設備以特定方式工作的電腦可讀記憶體中，使得儲存在該電腦可讀記憶體中的指令產生包括指令裝置的製造品，該指令裝置實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中指定的功能。
這些電腦程式指令也可裝載到電腦或其他可程式設計資料處理設備上，使得在電腦或其他可程式設計設備上執行一系列操作步驟以產生電腦實現的處理，從而在電腦或其他可程式設計設備上執行的指令提供用於實現在流程圖一個流程或多個流程和/或方塊圖一個方塊或多個方塊中 指定的功能的步驟。
儘管已描述了本申請案的較佳實施例，但本領域內的技術人員一旦得知了基本創造性概念，則可對這些實施例作出另外的變更和修改。所以，所附申請專利範圍意欲解釋為包括較佳實施例以及落入本申請案範圍的所有變更和修改。
顯然，本領域的技術人員可以對本申請案進行各種改動和變型而不脫離本申請案的精神和範圍。這樣，倘若本申請案的這些修改和變型屬於本申請案申請專利範圍及其等同技術的範圍之內，則本申請案也意圖包含這些改動和變型在內。

Claims (43)

  1. 一種基於手勢的互動方法，其特徵在於，包括：顯示第一圖像，所述第一圖像包括：虛擬實境圖像、增強實境圖像、混合實境圖像中的一種或多種組合；獲取第一手勢；確定所述第一圖像對應的服務場景下所述第一手勢對應的第一操作；回應所述第一操作。
  2. 如申請專利範圍第1項所述的方法，其中，確定所述第一圖像對應的服務場景下所述第一手勢對應的第一操作之前，還包括：根據所述第一手勢所在的服務場景，獲取所述服務場景對應的互動模型，所述互動模型用於根據手勢確定對應的操作；確定所述第一圖像對應的服務場景下所述第一手勢對應的第一操作，包括：根據所述第一手勢，使用所述服務場景對應的互動模型，確定所述服務場景下所述第一手勢對應的第一操作。
  3. 如申請專利範圍第2項所述的方法，其中，所述互動模型中包括手勢分類模型以及手勢類型與操作的映射關係，所述手勢分類模型用於根據手勢確定對應的手勢類型；確定所述第一圖像對應的服務場景下所述第一手勢對應的第一操作，包括： 根據所述第一手勢，使用所述服務場景對應的手勢分類模型，確定所述服務場景下所述第一手勢所屬的手勢類型；根據所述第一手勢所屬的手勢類型以及所述映射關係，確定所述服務場景下所述第一手勢對應的第一操作。
  4. 如申請專利範圍第3項所述的方法，其中，獲取手勢分類模型，包括：根據使用者資訊，獲取對應使用者的手勢分類模型。
  5. 如申請專利範圍第4項所述的方法，其中，根據使用者資訊，獲取對應使用者的手勢分類模型，包括：根據使用者標識，獲取所述使用者標識對應的手勢分類模型，其中，一個使用者標識唯一對應一個手勢分類模型；或者，根據使用者分組資訊以及所述使用者資訊，確定相應使用者所在的使用者分組，獲取所述相應使用者所在的使用者分組所對應的手勢分類模型，其中，一個使用者分組中包含一個或多個使用者，一個使用者分組唯一對應一個手勢分類模型。
  6. 如申請專利範圍第3項所述的方法，其中，回應所述第一操作之後，還包括：獲取所述服務場景下，基於所述第一手勢之後的第二手勢所回應的第二操作；根據所述第二操作與所述第一操作的關係，更新所述手勢分類模型。
  7. 如申請專利範圍第6項所述的方法，其中，根據所述第二操作與所述第一操作的關係，更新所述手勢分類模型，包括以下操作之一或任意組合：若所述第一操作的目標物件與所述第二操作的目標物件相同，且操作動作不同，則更新所述手勢分類模型中所述第一手勢所屬的手勢類型；若所述第二操作的目標物件是所述第一操作的目標物件的子物件，則保持所述手勢分類模型中所述第一手勢所屬的手勢類型不變。
  8. 如申請專利範圍第7項所述的方法，其中，若所述第一操作為打開第一功能表的操作，所述第二操作為關閉所述第一功能表的操作，則更新所述手勢分類模型中所述第一手勢所屬的手勢分類；或者若所述第一操作為打開第二功能表的操作，所述第二操作為選擇所述第二功能表中的功能表選項的操作，則保持所述手勢分類模型中所述第一手勢所屬的手勢類型不變。
  9. 如申請專利範圍第2項所述的方法，其中，還包括：向伺服器發送所述服務場景下的互動操作資訊，所述服務場景下的互動操作資訊中包括所述服務場景下獲取的手勢與基於所獲取的手勢所執行的操作；接收所述伺服器根據發送的所述服務場景下的互動操作資訊所更新的所述服務場景對應的互動模型。
  10. 如申請專利範圍第1項所述的方法，其中，獲取第一手勢，包括：獲取至少一隻手作出的第一手勢的資料；根據所述第一手勢的資料，對所述至少一隻手的關節進行識別；根據關節識別結果，確定所述第一手勢所屬的手勢類型。
  11. 如申請專利範圍第1項所述的方法，其中，所述第一手勢，包括：單手手勢，或者雙手組合手勢。
  12. 如申請專利範圍第1項所述的方法，其中，所述第一操作，包括：使用者介面操作。
  13. 如申請專利範圍第12項所述的方法，其中，所述使用者介面操作，包括：功能表操作。
  14. 如申請專利範圍第1項所述的方法，其中，所述服務場景包括：虛擬實境VR服務場景；或者增強實境AR服務場景；或者混合實境MR服務場景。
  15. 一種基於手勢的互動方法，其特徵在於，包括：在虛擬實境場景、增強實境場景或混合實境場景下，獲取第一手勢；若確定所述第一手勢滿足觸發條件，則控制資料的輸出，所述資料包括：音頻資料、圖像資料、視頻資料之一 或組合。
  16. 如申請專利範圍第15項所述的方法，其中，所述圖像資料包括虛擬實境圖像、增強實境圖像、混合實境圖像中的一種或多種；所述音頻資料包括與當前場景對應的音頻。
  17. 如申請專利範圍第15項所述的方法，其中，所述觸發條件預先定義，或者由伺服器進行設置。
  18. 如申請專利範圍第15項所述的方法，其中，不同的觸發條件所對應的控制資料的輸出操作不同；在確定所述第一手勢滿足的觸發條件後，獲取觸發條件與控制資料的輸出操作間的對應關係，根據該對應關係確定所述第一手勢當前滿足的觸發條件所對應的控制資料的輸出操作。
  19. 一種基於手勢的互動方法，其特徵在於，包括：顯示第一圖像，所述第一圖像包括：第一物件和第二物件，所述第一物件和第二物件中至少一個為：虛擬實境物件、增強實境物件或混合實境物件；獲取輸入的第一手勢信號；其中，所述第一手勢信號與所述第一物件關聯；根據所述第一手勢對應的第一操作，對所述第二物件進行處理。
  20. 如申請專利範圍第19項所述的方法，其中，根據所述第一手勢對應的第一操作，對所述第二物件進行處理之前，還包括： 根據所述第一手勢所在的服務場景，獲取所述服務場景對應的互動模型，所述互動模型用於根據手勢確定對應的操作；根據所述第一手勢，使用所述服務場景對應的互動模型，確定所述服務場景下所述第一手勢對應的第一操作。
  21. 如申請專利範圍第20項所述的方法，其中，所述互動模型中包括手勢分類模型以及手勢類型與操作的映射關係，所述手勢分類模型用於根據手勢確定對應的手勢類型；確定所述第一圖像對應的服務場景下所述第一手勢對應的第一操作，包括：根據所述第一手勢，使用所述服務場景對應的手勢分類模型，確定所述服務場景下所述第一手勢所屬的手勢類型；根據所述第一手勢所屬的手勢類型以及所述映射關係，確定所述服務場景下所述第一手勢對應的第一操作。
  22. 如申請專利範圍第21項所述的方法，其中，根據使用者資訊，獲取對應使用者的手勢分類模型，包括：根據使用者標識，獲取所述使用者標識對應的手勢分類模型，其中，一個使用者標識唯一對應一個手勢分類模型；或者，根據使用者分組資訊以及所述使用者資訊，確定相應使用者所在的使用者分組，獲取所述相應使用者所在的使用者分組所對應的手勢分類模型，其中，一個使用者分組 中包含一個或多個使用者，一個使用者分組唯一對應一個手勢分類模型。
  23. 一種基於手勢的互動方法，其特徵在於，包括：獲取發送的互動操作資訊，所述互動操作資訊中包括手勢資訊以及基於所述手勢資訊所執行的操作；根據所述互動操作資訊以及所述互動操作資訊對應的服務場景，更新相應服務場景對應的互動模型，所述互動模型用於根據手勢確定對應的操作；返回更新後的互動模型。
  24. 如申請專利範圍第23項所述的方法，其中，所述互動操作資訊中包括：第一服務場景下，第一手勢以及基於第一手勢回應的第一操作，以及所述第一手勢之後的第二手勢以及基於第二手勢回應的第二操作；所述根據所述互動操作資訊以及所述互動操作資訊對應的服務場景，更新相應服務場景對應的互動模型，包括：根據所述第二操作與所述第一操作的關係，更新所述互動模型中的手勢分類模型。
  25. 如申請專利範圍第24項所述的方法，其中，根據所述第二操作與所述第一操作的關係，更新所述手勢分類模型，包括以下操作之一或任意組合：若所述第一操作的目標物件與所述第二操作的目標物件相同，且操作動作不同，則更新所述手勢分類模型中所述第一手勢所屬的手勢類型； 若所述第二操作的目標物件是所述第一操作的目標物件的子物件，則保持所述手勢分類模型中所述第一手勢所屬的手勢類型不變。
  26. 如申請專利範圍第25項所述的方法，其中，若所述第一操作為打開第一功能表的操作，所述第二操作為關閉所述第一功能表的操作，則更新所述手勢分類模型中所述第一手勢所屬的手勢分類；或者若所述第一操作為打開第二功能表的操作，所述第二操作為選擇所述第二功能表中的功能表選項的操作，則保持所述手勢分類模型中所述第一手勢所屬的手勢類型不變。
  27. 一種基於手勢的互動裝置，其特徵在於，包括：顯示模組，用於顯示第一圖像，所述第一圖像包括：虛擬實境圖像、增強實境圖像、混合實境圖像中的一種或多種組合；獲取模組，用於獲取第一手勢；確定模組，用於確定所述第一圖像對應的服務場景下所述第一手勢對應的第一操作；回應模組，用於回應所述第一操作。
  28. 如申請專利範圍第27項所述的裝置，其中，所述確定模組還用於：在確定所述第一圖像對應的服務場景下所述第一手勢對應的第一操作之前，根據所述第一手勢所在的服務場景，獲取所述服務場景對應的互動模型，所述互動模型用 於根據手勢確定對應的操作；所述確定模組具體用於：根據所述第一手勢，使用所述服務場景對應的互動模型，確定所述服務場景下所述第一手勢對應的第一操作。
  29. 如申請專利範圍第28項所述的裝置，其中，所述互動模型中包括手勢分類模型以及手勢類型與操作的映射關係，所述手勢分類模型用於根據手勢確定對應的手勢類型；所述確定模組具體用於：根據所述第一手勢，使用所述服務場景對應的手勢分類模型，確定所述服務場景下所述第一手勢所屬的手勢類型；根據所述第一手勢所屬的手勢類型以及所述映射關係，確定所述服務場景下所述第一手勢對應的第一操作。
  30. 如申請專利範圍第29項所述的裝置，其中，還包括：更新模組，用於在回應所述第一操作之後，獲取所述服務場景下，基於所述第一手勢之後的第二手勢所回應的第二操作；根據所述第二操作與所述第一操作的關係，更新所述手勢分類模型。
  31. 如申請專利範圍第30項所述的裝置，其中，所述更新模組具體用於，執行以下操作之一或任意組合：若所述第一操作的目標物件與所述第二操作的目標物件相同，且操作動作不同，則更新所述手勢分類模型中所 述第一手勢所屬的手勢類型；若所述第二操作的目標物件是所述第一操作的目標物件的子物件，則保持所述手勢分類模型中所述第一手勢所屬的手勢類型不變。
  32. 一種基於手勢的互動裝置，其特徵在於，包括：獲取模組，用於在虛擬實境場景、增強實境場景或混合實境場景下，獲取第一手勢；處理模組，用於若確定所述第一手勢滿足觸發條件，則控制資料的輸出，所述資料包括：音頻資料、圖像資料、視頻資料之一或組合。
  33. 如申請專利範圍第32項所述的裝置，其中，所述圖像資料包括虛擬實境圖像、增強實境圖像、混合實境圖像中的一種或多種；所述音頻資料包括與當前場景對應的音頻。
  34. 如申請專利範圍第32項所述的裝置，其中，不同的觸發條件所對應的控制資料的輸出操作不同；所述處理模組具體用於：在確定所述第一手勢滿足的觸發條件後，獲取觸發條件與控制資料的輸出操作間的對應關係，根據該對應關係確定所述第一手勢當前滿足的觸發條件所對應的控制資料的輸出操作。
  35. 一種基於手勢的互動裝置，其特徵在於，包括：顯示模組，用於顯示第一圖像，所述第一圖像包括：第一物件和第二物件，所述第一物件和第二物件中至少一個為：虛擬實境物件、增強實境物件或混合實境物件； 獲取模組，用於獲取輸入的第一手勢信號；其中，所述第一手勢信號與所述第一物件關聯；處理模組，用於根據所述第一手勢對應的第一操作，對所述第二物件進行處理。
  36. 如申請專利範圍第35項所述的裝置，其中，所述處理模組還用於：根據所述第一手勢對應的第一操作，對所述第二物件進行處理之前，根據所述第一手勢所在的服務場景，獲取所述服務場景對應的互動模型，所述互動模型用於根據手勢確定對應的操作；根據所述第一手勢，使用所述服務場景對應的互動模型，確定所述服務場景下所述第一手勢對應的第一操作。
  37. 如申請專利範圍第36項所述的裝置，其中，所述互動模型中包括手勢分類模型以及手勢類型與操作的映射關係，所述手勢分類模型用於根據手勢確定對應的手勢類型；所述處理模組具體用於：根據所述第一手勢，使用所述服務場景對應的手勢分類模型，確定所述服務場景下所述第一手勢所屬的手勢類型；根據所述第一手勢所屬的手勢類型以及所述映射關係，確定所述服務場景下所述第一手勢對應的第一操作。
  38. 一種基於手勢的互動裝置，其特徵在於，包括：接收模組，用於獲取發送的互動操作資訊，所述互動操作資訊中包括手勢資訊以及基於所述手勢資訊所執行的 操作；更新模組，用於根據所述互動操作資訊以及所述互動操作資訊對應的服務場景，更新相應服務場景對應的互動模型，所述互動模型用於根據手勢確定對應的操作；發送模組，用於返回更新後的互動模型。
  39. 如申請專利範圍第38項所述的裝置，其中，所述互動操作資訊中包括：第一服務場景下，第一手勢以及基於第一手勢回應的第一操作，以及所述第一手勢之後的第二手勢以及基於第二手勢回應的第二操作；所述更新模組具體用於：根據所述第二操作與所述第一操作的關係，更新所述互動模型中的手勢分類模型。
  40. 如申請專利範圍第39項所述的裝置，其中，所述更新模組具體用於執行以下操作之一或任意組合：若所述第一操作的目標物件與所述第二操作的目標物件相同，且操作動作不同，則更新所述手勢分類模型中所述第一手勢所屬的手勢類型；若所述第二操作的目標物件是所述第一操作的目標物件的子物件，則保持所述手勢分類模型中所述第一手勢所屬的手勢類型不變。
  41. 一種基於手勢的互動裝置，其特徵在於，包括：顯示器；記憶體，用於儲存電腦程式指令；處理器，耦合到所述記憶體，用於讀取所述記憶體儲存的電腦程式指令，並作為回應，執行如下操作： 通過所述顯示器顯示第一圖像，所述第一圖像包括：虛擬實境圖像、增強實境圖像、混合實境圖像中的一種或多種組合；獲取第一手勢；確定所述第一圖像對應的服務場景下所述第一手勢對應的第一操作；回應所述第一操作。
  42. 一種基於手勢的互動裝置，其特徵在於，包括：顯示器；記憶體，用於儲存電腦程式指令；處理器，耦合到所述記憶體，用於讀取所述記憶體儲存的電腦程式指令，並作為回應，執行如下操作：在虛擬實境場景、增強實境場景或混合實境場景下，獲取第一手勢；若確定所述第一手勢滿足觸發條件，則控制資料的輸出，所述資料包括：音頻資料、圖像資料、視頻資料之一或組合。
  43. 一種基於手勢的互動裝置，其特徵在於，包括：顯示器；記憶體，用於儲存電腦程式指令；處理器，耦合到所述記憶體，用於讀取所述記憶體儲存的電腦程式指令，並作為回應，執行如下操作：通過顯示器顯示第一圖像，所述第一圖像包括：第一物件和第二物件，所述第一物件和第二物件中至少一個 為：虛擬實境物件、增強實境物件或混合實境物件；獲取輸入的第一手勢信號；其中，所述第一手勢信號與所述第一物件關聯；根據所述第一手勢對應的第一操作，對所述第二物件進行處理。
TW106115503A 2016-09-29 2017-05-10 基於手勢的互動方法及裝置 TW201814445A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??201610866367.0 2016-09-29
CN201610866367.0A CN107885317A (zh) 2016-09-29 2016-09-29 一种基于手势的交互方法及装置

Publications (1)

Publication Number Publication Date
TW201814445A true TW201814445A (zh) 2018-04-16

Family

ID=61685328

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106115503A TW201814445A (zh) 2016-09-29 2017-05-10 基於手勢的互動方法及裝置

Country Status (6)

Country Link
US (1) US20180088677A1 (zh)
EP (1) EP3520082A4 (zh)
JP (1) JP2019535055A (zh)
CN (1) CN107885317A (zh)
TW (1) TW201814445A (zh)
WO (1) WO2018064047A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI704480B (zh) * 2019-04-12 2020-09-11 未來市股份有限公司 可選擇性地追蹤或不追蹤使用者之手勢與手部動作的其中至少一者之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體
TWI782211B (zh) * 2018-08-02 2022-11-01 開曼群島商創新先進技術有限公司 人機互動方法和裝置

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11238526B1 (en) * 2016-12-23 2022-02-01 Wells Fargo Bank, N.A. Product display visualization in augmented reality platforms
US11010436B1 (en) 2018-04-20 2021-05-18 Facebook, Inc. Engaging users by personalized composing-content recommendation
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
US11307880B2 (en) 2018-04-20 2022-04-19 Meta Platforms, Inc. Assisting users with personalized and contextual communication content
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
CN108596735A (zh) * 2018-04-28 2018-09-28 北京旷视科技有限公司 信息推送方法、装置及系统
CN108681402A (zh) * 2018-05-16 2018-10-19 Oppo广东移动通信有限公司 识别交互方法、装置、存储介质及终端设备
CN108771864B (zh) * 2018-05-17 2021-08-10 北京热带雨林互动娱乐有限公司 一种双vr设备参与虚拟游戏pk前的虚拟场景配置方法
CN108984238B (zh) * 2018-05-29 2021-11-09 北京五八信息技术有限公司 应用程序的手势处理方法、装置及电子设备
CN108763514B (zh) * 2018-05-30 2021-01-26 维沃移动通信有限公司 一种信息显示方法及移动终端
CN109032358B (zh) * 2018-08-27 2023-04-07 百度在线网络技术（北京）有限公司 基于手势识别的ar交互虚拟模型的控制方法及装置
CN109035421A (zh) * 2018-08-29 2018-12-18 百度在线网络技术（北京）有限公司 图像处理方法、装置、设备及存储介质
CN111045511B (zh) * 2018-10-15 2022-06-07 华为技术有限公司 基于手势的操控方法及终端设备
US11467553B2 (en) * 2018-10-22 2022-10-11 Accenture Global Solutions Limited Efficient configuration of scenarios for event sequencing
CN112262556B (zh) * 2018-11-01 2022-01-21 华为技术有限公司 模型文件的管理方法和终端设备
US11093041B2 (en) * 2018-11-30 2021-08-17 International Business Machines Corporation Computer system gesture-based graphical user interface control
CN109858380A (zh) * 2019-01-04 2019-06-07 广州大学 可扩展手势识别方法、装置、系统、手势识别终端和介质
CN109766822B (zh) * 2019-01-07 2021-02-05 山东大学 基于神经网络的手势识别方法及系统
CN111610850A (zh) * 2019-02-22 2020-09-01 东喜和仪(珠海市)数据科技有限公司 一种基于无人机进行人机交互的方法
CN110276292B (zh) * 2019-06-19 2021-09-10 上海商汤智能科技有限公司 智能车运动控制方法及装置、设备和存储介质
US11461586B2 (en) * 2019-06-25 2022-10-04 International Business Machines Corporation Learned interaction with a virtual scenario
US11347756B2 (en) * 2019-08-26 2022-05-31 Microsoft Technology Licensing, Llc Deep command search within and across applications
DE102019125348A1 (de) * 2019-09-20 2021-03-25 365FarmNet Group GmbH & Co. KG Verfahren zur Unterstützung eines Benutzers bei einer landwirtschaftlichen Tätigkeit
CN114424151A (zh) 2019-09-20 2022-04-29 交互数字Ce专利控股公司 用于vr和ar环境中的基于手的用户交互的装置和方法
CN110737332A (zh) * 2019-09-24 2020-01-31 深圳市联谛信息无障碍有限责任公司 一种手势沟通方法和服务器
CN110928411B (zh) * 2019-11-18 2021-03-26 珠海格力电器股份有限公司 一种基于ar的交互方法、装置、存储介质及电子设备
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CN113552994A (zh) * 2020-04-23 2021-10-26 华为技术有限公司 一种触控操作方法及设备
CN111651054A (zh) * 2020-06-10 2020-09-11 浙江商汤科技开发有限公司 音效控制方法、装置、电子设备及存储介质
CN111831120B (zh) * 2020-07-14 2024-02-09 上海岁奇智能科技有限公司 一种视频应用的手势交互方法、装置及系统
US11900046B2 (en) 2020-08-07 2024-02-13 Microsoft Technology Licensing, Llc Intelligent feature identification and presentation
CN112445340B (zh) * 2020-11-13 2022-10-25 杭州易现先进科技有限公司 Ar桌面互动方法、装置、电子设备及计算机存储介质
KR20220067964A (ko) * 2020-11-18 2022-05-25 삼성전자주식회사 카메라 시야(fov) 가장자리에서 움직임을 인식하여 전자 장치를 제어하는 방법 및 그 전자 장치
CN112286363B (zh) * 2020-11-19 2023-05-16 网易（杭州）网络有限公司 虚拟主体形态改变方法及装置、存储介质、电子设备
CN113064483A (zh) * 2021-02-27 2021-07-02 华为技术有限公司 一种手势识别方法以及相关装置
CN113190106B (zh) * 2021-03-16 2022-11-22 青岛小鸟看看科技有限公司 手势识别方法、装置及电子设备
TWI780663B (zh) * 2021-04-16 2022-10-11 圓展科技股份有限公司 互動式觸控系統的操作判斷方法
CN113282166A (zh) * 2021-05-08 2021-08-20 青岛小鸟看看科技有限公司 头戴式显示设备的交互方法、装置及头戴式显示设备
CN113407031B (zh) * 2021-06-29 2023-04-18 国网宁夏电力有限公司 Vr交互方法、系统、移动终端及计算机可读存储介质
CN113296653B (zh) * 2021-07-27 2021-10-22 阿里云计算有限公司 一种仿真交互模型构建方法、交互方法及相关设备
CN113536008B (zh) * 2021-07-29 2024-04-26 珠海宇为科技有限公司 一种多场景交互的数据可视化系统及其工作方法
CN113696904B (zh) * 2021-08-27 2024-03-05 上海仙塔智能科技有限公司 基于手势控制车辆的处理方法、装置、设备与介质
CN113986111A (zh) * 2021-12-28 2022-01-28 北京亮亮视野科技有限公司 一种交互方法、装置、电子设备及存储介质
CN114690731B (zh) * 2022-03-09 2024-05-24 青岛海尔科技有限公司 一种关联场景推荐方法、装置、存储介质及电子装置
CN114679455B (zh) * 2022-03-27 2022-11-08 江苏海纳宝川智能科技有限公司 分布式云端服务系统
CN118537929A (zh) * 2024-07-25 2024-08-23 浙江大华技术股份有限公司 一种对象行为分析方法、设备和存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9400548B2 (en) * 2009-10-19 2016-07-26 Microsoft Technology Licensing, Llc Gesture personalization and profile roaming
US8994718B2 (en) * 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
CN103105926A (zh) * 2011-10-17 2013-05-15 微软公司 多传感器姿势识别
JP2013254251A (ja) * 2012-06-05 2013-12-19 Nec System Technologies Ltd ヘッドマウントディスプレイ装置、制御方法、及びプログラム
US20140009378A1 (en) * 2012-07-03 2014-01-09 Yen Hsiang Chew User Profile Based Gesture Recognition
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
WO2014094199A1 (en) * 2012-12-17 2014-06-26 Intel Corporation Facial movement based avatar animation
US20140181758A1 (en) * 2012-12-20 2014-06-26 Research In Motion Limited System and Method for Displaying Characters Using Gestures
CN104184760B (zh) * 2013-05-22 2018-08-07 阿里巴巴集团控股有限公司 通讯过程中的信息交互方法、客户端及服务器
US9529513B2 (en) * 2013-08-05 2016-12-27 Microsoft Technology Licensing, Llc Two-hand interaction with natural user interface
US9971491B2 (en) * 2014-01-09 2018-05-15 Microsoft Technology Licensing, Llc Gesture library for natural user input
CN104007819B (zh) * 2014-05-06 2017-05-24 清华大学 手势识别方法、装置及Leap Motion体感控制系统
JP6094638B2 (ja) * 2015-07-10 2017-03-15 カシオ計算機株式会社 処理装置及びプログラム
CN104992171A (zh) * 2015-08-04 2015-10-21 易视腾科技有限公司 一种基于2d视频序列的手势识别及人机交互方法和系统
CN105446481A (zh) * 2015-11-11 2016-03-30 周谆 基于手势的虚拟现实人机交互方法和系统
CN105867626A (zh) * 2016-04-12 2016-08-17 京东方科技集团股份有限公司 头戴式虚拟现实设备及其控制方法、虚拟现实系统
CN105975072A (zh) * 2016-04-29 2016-09-28 乐视控股（北京）有限公司 识别手势动作的方法、装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI782211B (zh) * 2018-08-02 2022-11-01 開曼群島商創新先進技術有限公司 人機互動方法和裝置
TWI704480B (zh) * 2019-04-12 2020-09-11 未來市股份有限公司 可選擇性地追蹤或不追蹤使用者之手勢與手部動作的其中至少一者之頭戴式顯示系統、相關方法以及相關電腦可讀取記錄媒體

Also Published As

Publication number Publication date
EP3520082A1 (en) 2019-08-07
EP3520082A4 (en) 2020-06-03
CN107885317A (zh) 2018-04-06
JP2019535055A (ja) 2019-12-05
US20180088677A1 (en) 2018-03-29
WO2018064047A1 (en) 2018-04-05

Similar Documents

Publication Publication Date Title
TW201814445A (zh) 基於手勢的互動方法及裝置
TWI742079B (zh) 基於手勢的互動方法及裝置
TWI751161B (zh) 終端設備、智慧型手機、基於臉部識別的認證方法和系統
CN108197589B (zh) 动态人体姿态的语义理解方法、装置、设备和存储介质
Molchanov et al. Online detection and classification of dynamic hand gestures with recurrent 3d convolutional neural network
CN110674664A (zh) 视觉注意力的识别方法及系统、存储介质、处理器
CN110119700B (zh) 虚拟形象控制方法、虚拟形象控制装置和电子设备
US20220214797A1 (en) Virtual image control method, apparatus, electronic device and storage medium
JP7268071B2 (ja) バーチャルアバターの生成方法及び生成装置
CN108874114B (zh) 实现虚拟对象情绪表达的方法、装置、计算机设备及存储介质
CN109815881A (zh) 行为识别模型的训练方法、行为识别方法、装置及设备
Gupta et al. Online detection and classification of dynamic hand gestures with recurrent 3d convolutional neural networks
CN109035415B (zh) 虚拟模型的处理方法、装置、设备和计算机可读存储介质
CN111880664B (zh) Ar互动方法、电子设备及可读存储介质
CN109670517A (zh) 目标检测方法、装置、电子设备和目标检测模型
CN115424298A (zh) 一种手势识别方法、装置及车辆
CN117115917A (zh) 基于多模态特征融合的教师行为识别方法、设备以及介质
CN107479715A (zh) 利用手势控制实现虚拟现实交互的方法和装置
CN114581535A (zh) 图像中用户骨关键点标注方法、装置、存储介质及设备
TWI715148B (zh) 電子裝置與其畫面視角辨識方法
CN107544660A (zh) 一种信息处理方法及电子设备
CN115311723A (zh) 活体检测方法、装置及计算机可读存储介质
CN116069157A (zh) 虚拟对象显示方法、装置、电子设备及可读介质
CN112598742A (zh) 一种基于图像和雷达数据的舞台交互系统
CN114546103A (zh) 扩展现实中通过手势的操作方法和头戴式显示器系统