TWI707251B - 用於依靠一穿戴裝置而與一虛擬實境互動的操作方法及其操作裝置 - Google Patents

用於依靠一穿戴裝置而與一虛擬實境互動的操作方法及其操作裝置 Download PDF

Info

Publication number
TWI707251B
TWI707251B TW108100238A TW108100238A TWI707251B TW I707251 B TWI707251 B TW I707251B TW 108100238 A TW108100238 A TW 108100238A TW 108100238 A TW108100238 A TW 108100238A TW I707251 B TWI707251 B TW I707251B
Authority
TW
Taiwan
Prior art keywords
virtual
data
touch
constraint condition
wearable device
Prior art date
Application number
TW108100238A
Other languages
English (en)
Other versions
TW202026816A (zh
Inventor
朱晉廷
李嘉緯
許志弘
陳德喜
陳奇宏
李孟瑜
Original Assignee
晶翔機電股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 晶翔機電股份有限公司 filed Critical 晶翔機電股份有限公司
Priority to TW108100238A priority Critical patent/TWI707251B/zh
Priority to CN201910452865.4A priority patent/CN111399632A/zh
Priority to US16/732,934 priority patent/US11169605B2/en
Publication of TW202026816A publication Critical patent/TW202026816A/zh
Application granted granted Critical
Publication of TWI707251B publication Critical patent/TWI707251B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種用於依靠一穿戴裝置而與一虛擬實境互動的操作方法，其中該穿戴裝置具有一運動感應器及一對應虛擬裝置、該虛擬實境具一受操作物件、該對應虛擬裝置具一第一操作數據拘束條件、且該受操作物件具一第二操作數據拘束條件，該操作方法包含下列步驟：提供一演算法；使用該運動感應器來產生一運動感測數據；採用該演算法來處理該運動感測數據，以產生一衍生數據；以及以該衍生數據透過該第一操作數據拘束條件及該第二操作數據拘束條件代表該對應虛擬裝置及該受操作物件間之一互動關係。

Description

用於依靠一穿戴裝置而與一虛擬實境互動的操作方法及其操作裝置
本揭露是關於一種用於依靠一穿戴裝置而與一虛擬實境互動的操作方法及其操作裝置，且特別是關於一種用於依靠一穿戴裝置的運動狀態而與一虛擬實境互動的操作方法及其操作裝置。
虛擬實境可應用於模擬各種實境狀況，而能事前預演可能出現的狀況，也可及時呈現各種實境。例如對飛航駕駛員的訓練可藉由特定的飛航模擬設備來模擬出真實民航機的飛行狀況，航駕駛員可依照不同的飛航模擬設備所創造出來的各種虛擬實境的不同狀況，例如緊急或危險狀況，而採取恰當的措施，使得飛航駕駛員在實際遇到緊急狀況時能夠由於事先的訓練而沉著冷靜處理，避免飛航駕駛員措手不及的狀況發生。再例如可利用虛擬頭盔的事先模擬出在高空中走鋼梁，並模擬出在不小心掉下去時會發生什麼狀況，應該如何應對與避免，而來減緩有懼高症的人的心理恐懼。
在現有的虛擬實境裝置或設備中，其與虛擬環境互動的方式大多是藉由界面裝置來控制在3D虛擬實境中的虛擬物體，且實體世界中的姿態或是運動狀態，大多是藉由光、電等訊號接收器來偵測實體物體在空 間中的位置與運動狀態，以模擬虛擬物體在虛擬實境的空間中的位置。例如在習用技術的專利文獻中包括US20170109936 A1,US20160306422 A1,US20180053350 A1,US20170192494 A1,US20180095542 A1等，揭露了在真實世界藉由穿戴裝置與虛擬實境互動。
然而，習知技術並未使用運動感測器，也並未利用在真實世界中運動感測器所偵測到的參數，而來模擬在虛擬世界中的虛擬物體的運動狀態，其包括可使虛擬物體具有該參數特性而作出相對應的運動。
相對於上述技術前案的缺失，本發明提出一種利用智慧手套於虛擬實境中實現真實的手部動作，使用穿戴於一手部肢體上的一智慧手套來感測此手部肢體的一運動而產生一運動感測訊號用來促成一虛擬實境中的一手部模型使之與此手部肢體進行一同步運動或是一對應運動。
藉由與產生虛擬實境裝置的耦接的連接界面，例如無線或有線USB COM Port，該連接介面可連接帶有一或複數個運動感測器的一智慧手套，並將此(等)運動感測器所感測到的一或複數個運動感測數據透過一演算法產生一或複數個衍生數據，譬如一或複數個四元數和歐拉角，藉由一特定功能軟體或硬體來實現，便可利用該演算法所產生的此(此等)衍生數據改變虛擬實境中此手部模型的姿態，使之達到具有三個運動自由度3-DoF(Degrees of Freedom)的運動效果，並結合可提供空間定位功能的一特定運動裝置，使其空間定位追蹤功能達到六個運動自由度6-DoF的效果。
6-DoF代表可以平移和旋轉，因此有了6-DoF的智慧手套的此手部模型，再藉由穿戴於此手部肢體的此智慧手套，使用者便可以在虛 擬實境中模擬手在現實的運動狀況，其包含手腕和手指頭的旋轉以及手的移動。在本發明的此應用程式裝置中，使用者利用可以模擬現實手部運動的智慧手套，達到與虛擬實境中的一物件互動的目的操作。
藉由在虛擬實境中的此手部模型實現了兩個手部經常做的動作，至少包含抓和丟，利用該特定功能軟體或硬體的一碰撞偵測功能來判斷建構於虛擬環境中的此手部模型是否有碰觸到一(互動)虛擬物體件，並且根據一碰觸的情形(包含碰撞與接觸)判別出當前此手部模型的動作。假如判別出的一動作為抓，即手指間相對的一抓握動作時，此虛擬物體件會跟著此手部模型一起移動；假如判別出的此動作為丟，即手指間相對的一釋放動作時，此虛擬物體件會得到此動作發生時此手部模型的所具有的一速度向量和一角速度向量，並透過該特定功能軟體或硬體的一物理引擎而模擬出此虛擬物件具有此該速度向量或此角速度向量等一物理量下的一運動狀況。
藉由該穿戴裝置，例如智慧手套中的運動感應器所感測到的運動感測數據，或將此等運動感測數據經過運算法產生的衍生數據譬如四元數以符合一第一特定裝置，譬如特定功能軟體或硬體的一第一特定功能之條件，以及一第二特定裝置，譬如提供空間定位功能之運動裝置的一第二特定功能條件，而將真實世界的手部動作借此穿戴裝置，例如此智慧型手套，而被傳遞或對映到一虛擬環境中所對映的一特定操作物件，或以該特定操作物件來表現此真實世界的手部動作而與虛擬實境中的一受操作物件互動。
依據上述構想，本揭示提供一種用於依靠一穿戴裝置而與一虛擬實境中之一受操作物件互動的操作方法，其中該穿戴裝置具有一運動感應器，對映於在該虛擬實境中的一對映物件，並耦接於執行一第一特定功能的一第一特定單元以及執行一第二特定功能的一第二特定單元，該操作方法包含下列步驟：提供一演算法；使用該運動感應器來產生一運動感測數據；採用該演算法來處理該運動感測數據，以產生一衍生數據；使該衍生數據符合相關於該第一特定功能之一第一操作數據拘束條件及相關於該第二特定功能之一第二操作數據拘束條件而作出一判斷結果；以及當該判斷結果為肯定時，依靠該穿戴裝置來將一真實世界的一動作傳遞到該對映物件，使該對映物件表現出該真實世界的該動作而與該受操作物件互動。
依據上述構想，本揭示提供一種用於操作一虛擬物件的一操作裝置，包括一穿戴裝置以及一處理模組。該穿戴裝置穿戴在一肢體上，並具有一運動感測器，其中該運動感測器感測該肢體的一運動，以產生與該運動相關的一感測數據。該處理模組耦接於該穿戴裝置，並用以執行一ccc演算法，該演算法用來計算該感測數據，以產生一衍生數據，其中：該處理模組產生一虛擬環境，並用來評斷該衍生數據是否滿足一第一操作數據拘束條件及一第二操作數據拘束條件；以及該虛擬環境用來配置一對映物件及一虛擬物件，其中該對映物件藉該衍生數據來表現對映於該運動的一虛擬運動，該虛擬物件則依據該第一操作數據拘束條件及該第二操作數據拘束條件是否被滿足而與該對映物件所表現的該虛擬運動進行一互動操作。
依據上述構想，本揭示提供一種用於依靠一穿戴裝置而與一 虛擬實境互動的操作方法，其中該穿戴裝置具有一運動感應器及一對應虛擬裝置、該虛擬環境具一受操作物件、該對應虛擬裝置具一第一操作數據拘束條件、且該受操作物件具一第二操作數據拘束條件，該操作方法包含下列步驟：提供一演算法；使用該運動感應器來產生一運動感測數據；採用該演算法來處理該運動感測數據，以產生一衍生數據；以及以該衍生數據透過該第一操作數據拘束條件及該第二操作數據拘束條件代表該對應虛擬裝置及該受操作物件間之一互動關係。
本揭示提供一種用於依靠一穿戴裝置而與一虛擬實境互動的操作方法，其中該穿戴裝置具有一運動感應器及一對應虛擬裝置、該虛擬環境具一受操作物件、該對應虛擬裝置具一第一操作數據拘束條件、且該受操作物件具一第二操作數據拘束條件，該操作方法包含下列步驟：使用該運動感應器來產生一運動感測數據；根據該運動感測數據，使該對應虛擬裝置產生一衍生數據，其中該衍生數據代表該對應虛擬裝置及該受操作物件間之一互動關係；以及當該對應虛擬裝置及該受操作物件脫離該互動關係時，使該受操作物件繼承該衍生數據而運動。本發明的具體實施例請參閱圖式以更進一步說明本發明的技術內容。
10‧‧‧操作裝置
101‧‧‧穿戴裝置
103‧‧‧碰觸偵測單元
102‧‧‧處理模組
105‧‧‧條件評斷單元
104‧‧‧虛擬環境產生單元
1011s,1012s,1013s,1014s,1015s,107s‧‧‧運動感測器
1011f,1012f,1013f,1014f,1015f,107p‧‧‧肢體
1061,1062‧‧‧相關匹配軟體
SDA1‧‧‧感測數據
DRV_DA1‧‧‧衍生數據
AG1‧‧‧演算法
VENV1‧‧‧虛擬實(環)境
COND1‧‧‧第一操作數據拘束條件
V108w‧‧‧虛擬手腕
COND2‧‧‧第二操作數據拘束條件
V107p‧‧‧虛擬手掌
V1011f‧‧‧虛擬姆指
V1013f‧‧‧虛擬中指
V1012f‧‧‧虛擬食指
V1014f‧‧‧虛擬無名指
V1015f‧‧‧虛擬小指
VOB1‧‧‧對映物件
VOB2‧‧‧虛擬物件
BC1‧‧‧箱型碰撞器
CC1‧‧‧膠囊碰撞器
本揭露得藉由下列圖式之詳細說明，俾得更深入之瞭解：第一圖為本發明較佳實施例用於操作一虛擬物件的一操作裝置的示意圖。
第二圖為本發明較佳實施例根據第一圖相關的數據、演算法與判斷條件的示意圖。
第三圖為本發明較佳實施例對應物件與虛擬物件在虛擬環境中的示意圖。
第四圖為本發明較佳實施例模擬該虛擬手部模型的示意圖。
第五圖為本發明較佳實施例操作裝置的操作流程的示意圖。
第六圖為本發明較佳實施例虛擬手部模型的動作判斷的示意圖。
第七圖為本發明較佳實施例穿戴裝置的軸向設定的示意圖。
第八圖A為本發明較佳實施例抓取虛擬物件的示意圖。
第八圖B為本發明較佳實施例釋放虛擬物件的示意圖。
第九圖A為本發明較佳實施例拋出虛擬物件時的虛擬手部模型的反應時間的示意圖。
第九圖B為本發明較佳實施例拋出虛擬物件時其空間座標的示意圖。
第十圖A為本發明較佳實施例虛擬手部模型的虛擬手腕轉動的示意圖。
第十圖B為本發明較佳實施例虛擬物件隨著虛擬手腕轉動的角度變化的示意圖。
第十一圖為本發明較佳實施例依靠一穿戴裝置而與一虛擬實境中之一受操作物件互動的操作方法的示意圖。
第十二圖為本發明較佳實施例用於依靠一穿戴裝置而與一虛擬實境互動的操作方法的示意圖。
第十三圖為本發明另一較佳實施例用於依靠一穿戴裝置而與一虛擬實境互動的操作方法的示意圖。
請參閱第一圖，其為本發明較佳實施例用於操作一虛擬物件的一操作裝置10的示意圖。請參閱第二圖，其為本發明較佳實施例根據第一圖相關的數據、演算法與判斷條件的示意圖。請參閱第三圖，其為本發 明較佳實施例對映物件VOB1與虛擬物件VOB2在虛擬環境VENV1中的示意圖。請同時參照第一、二、及三圖來了解以下的說明，該操作裝置包含一穿戴裝置101以及一處理模組102。該穿戴裝置101穿戴在一肢體1011f,1012f,1013f,1014f,1015f,107p上，並具有一運動感測器1011s,1012s,1013s,1014s,1015s,107s，其中該運動感測器1011s,1012s,1013s,1014s,1015s,107s感測該肢體1011f,1012f,1013f,1014f,1015f,107p的一運動，以產生與該運動相關的一感測數據SDA1。該處理模組102耦接於該穿戴裝置101，並用以執行一演算法AG1，該演算法用來計算該感測數據SDA1，以產生一衍生數據DRV_DA1，其中：該處理模組102產生一虛擬環境VENV1，並用來評斷該衍生數據DRV_DA1是否滿足一第一操作數據拘束條件COND1及一第二操作數據拘束條件COND2。該虛擬環境VENV1用來配置一對映物件VOB1及一虛擬物件VOB2，其中該對映物件VOB1藉該衍生數據DRV_DA1來表現對映於該運動的一虛擬運動，該虛擬物件VOB2則依據該第一操作數據拘束條件COND1及該第二操作數據拘束條件COND2是否被滿足而與該對映物件VOB1所表現的該虛擬運動進行一互動操作。
在第一圖中，該處理模組102為一條件評斷單元105，該條件評斷單元105包含一碰觸偵測單元103、一虛擬環境產生單元104、以及其相關匹配軟體1061,1062的至少其中之一。該穿戴裝置101可包含一智慧手套，該肢體1011f,1012f,1013f,1014f,1015f,107p包括一手掌107p及複數手指1011f,1012f,1013f,1014f,1015f的至少其中之一。該運動感測器1011s,1012s,1013s,1014s,1015s,107s包括一加速度計、一陀螺儀、及一地磁儀的至少其中之一。該衍生數據DRV_DA1包括一四元素數據及一尤拉角數據的 至少其中之一。該第一操作數據拘束條件COND1為該碰觸偵測單元103所設定的一碰觸數據拘束條件；該第二操作數據拘束條件COND2為該虛擬環境產生單元104及其匹配軟體1061,1062中所設置的一空間位置數據拘束條件。在第三圖中，該對映物件VOB1為一第一虛擬物體或一虛擬手部模型，其包含一虛擬手掌V107p、一虛擬手腕V108w、一虛擬拇指V1011f、一虛擬食指V1012f、一虛擬中指V1013f、一虛擬無名指V1014f、及一虛擬小指V1015f的至少其中之一。該虛擬物件VOB2為一第二虛擬物體，受該對映物件VOB1控制其運動狀態。在另一較佳實施例中，該對映物件VOB1也可直接藉由該感測數據SDA1來表現對映於該運動的一虛擬運動，該虛擬物件VOB2則依據該第一操作數據拘束條件COND1及該第二操作數據拘束條件COND2是否被滿足而與該對映物件VOB1所表現的該虛擬運動進行一互動操作。
在第一圖中，該虛擬環境產生單元104用來建立虛擬環境VENV1，其為具有空間定位和動作追蹤功能的虛擬實境設備，搭配期內建的控制器，可用來抓取該穿戴裝置101在真實空間中的位置。請同時參閱第三圖，該碰觸偵測單元103可為軟體或硬體元件，可呈現該穿戴裝置101與該虛擬物件VOB2互動操作呈現。藉由該演算法AG1計算後的結果，便可以模擬出此手部肢體1011f,1012f,1013f,1014f,1015f,107p真實的動作，例如剪刀、石頭、布、揮手、彎曲、翻轉...等等。
請同時參閱第一、二、三圖，關於虛擬環境VENV1的互動功能設定，對應物件VOB1例如為一虛擬手部模型VM1，其與虛擬物件VOB2互動情節之參數設定可分成鋼體設定與碰撞器設定。在碰觸偵測單元103運 行的環境下，相對應於此穿戴裝置101來製作可於該虛擬環境VENV1中操作的該虛擬手部模型，同時在此碰觸偵測單元103中所模擬出的該虛擬手部模型可加上一剛體(Rigid body)條件和一碰撞(Collider)條件的設定，並藉此定義一判斷條件用來判定此虛擬環境VENV1中的該虛擬手部模型VM1與此虛擬物件VOB2是否發生一互動操作，譬如一碰撞操作。
當該對應物件VOB1與該虛擬物體件VOB2互動時，若不希望受到反作用力的影響，則該鋼體條件設為true；若未設定為true，則當該虛擬手部模型VM1碰撞到該虛擬物件VOB2例如為牆壁時，該虛擬手部模型VM1會彈飛。該虛擬手部模型VM1由兩種碰撞器組成，分別為箱型碰撞器BC1(Box Collider)和膠囊碰撞器CC1(Capsule Collider)，如第四圖所示，第四圖為本發明較佳實施例模擬該虛擬手部模型VM1的示意圖。請同時參閱第三、四圖，虛擬手掌部分V107p使用箱型碰撞器BC1，根據穿戴裝置101例如智慧手套之實際手部肢體1011f,1012f,1013f,1014f,1015f,107p的大小來設定該虛擬手部模型VM1中的虛擬手掌V107p之邊界。另外，虛擬手部模型VM1中的虛擬手指部分V1011f,V1012f,V1013f,V1014f,V1015f則使用該碰撞偵測單元103的該膠囊碰撞器CC1，利用兩座標距離公式計算關節點之間的長度，以及兩座標中點公式得到不同關節點之間的中心點，並根據計算結果設定用於對應各個虛擬手指V1011f,V1012f,V1013f,V1014f,V1015f的各個碰撞器的中心點及長度。
在第一圖中，該穿戴裝置101可感測建構該手部肢體1011f,1012f,1013f,1014f,1015f的每一支手指頭及其手腕108w之個別所具有的三個旋轉運動自由度(3-DoF Rotation Motion)並將此等運動感測資料SDA1， 透過該碰觸偵測單元103來呈現該虛擬手部模型VM1，並結合該虛擬環境產生單元104所提供的三個位移運動感測自由度(3-DoF Translation Motion)的空間定位追蹤功能，實現在虛擬實境VENV1中此虛擬手部模型VM1可以六個運動自由度(6-DoF)自由運動。戴上該穿戴裝置後，空間中的此手部肢體1011f,1012f,1013f,1014f,1015f便可即時藉由此虛擬手部模型VM1而與此虛擬實境VENV1中的此虛擬物件VOB2互動，在此虛擬實境VENV1中互動的方式與現實並無太大差異，可以伸手抓物體或把手上的物體丟出去等等，在本發明的操作裝置10中利用該碰觸偵測單元103的物理引擎來實現此虛擬手部模型VM1與該虛擬物件VOB2的互動，在該碰觸偵測單元103的設定中每20ms會執行一次物理模擬，換言之每20ms會進行一次碰撞判定。在一較佳實施例中，本發明的操作裝置10中的一應用程式會根據此虛擬手部模型VM1及該虛擬物件VOB2兩者間的一互動運動狀態是否符合預定的一碰撞發生(成立)條件來進行一碰撞狀態檢視並判定一碰撞是否發生，藉以判斷操作中的此虛擬手部模型VM1是否有抓住或是放開此虛擬物件VOB2。
請參閱第五圖，其為本發明較佳實施例操作裝置10的操作流程S10的示意圖。該操作流程S10包括：步驟S101，透過無線網路或是有線的USB COM Port連接智慧手套；步驟S102，連線成功後傳送開始指令給智慧手套；步驟S103，智慧手套接到開始指令後，開始抓取並傳送感測器(包含加速度感測器、陀螺儀及地磁儀)的資料；步驟S104，接收感測器的資料；步驟S105，利用傳回的感測器資料執行一演算法，以產生四元數及尤拉角；步驟S106，利用該演算法產生的衍生數據模擬手的動作。動作判斷的流程 圖如第六圖的子步驟所示。
請參閱第六圖，其為本發明較佳實施例虛擬手部模型VM1的動作判斷的示意圖。請同時參閱第三圖與第六圖，首先進入步驟S1061，判斷是否已抓取虛擬物件VOB2，如果否，則進入步驟S1061N，開始判斷虛擬大拇指(Thumb)V1011f是否碰觸到其他虛擬物件VOB2，如果否，則回到開始點S1060重新判斷，如果是，則進入步驟S1062，判斷其他的虛擬手指V1012f,V1013f,V1014f,V1015f是否碰觸到與虛擬大拇指V10111f相同的虛擬物件VOB2，如果否，則回到開始點S1060重新判斷，如果是，則進入步驟S1063，該虛擬物件VOB2改為被抓住的狀態。
承上，如果在步驟S1061開始判斷時為已抓取虛擬物件VOB2的情況，則類似地進入步驟S1061Y，首先判斷虛擬大拇指V1011f是否持續碰觸到抓取的虛擬物件VOB2，如果否，則進入步驟S1065，虛擬物件VOB2解除抓取狀態，並根據解除當下的該虛擬手部模型VM1的速度向量發生對應的運動狀態，如果是，則進入步驟S1064，判斷是否還有其他虛擬手指V1012f,V1013f,V1014f,V1015f持續碰觸到抓取的虛擬物件VOB2，如果是，則回到開始點S1060重新判斷，如果否，則進入步驟S1065，虛擬物件VOB2解除抓取狀態，並根據解除當下該虛擬手部模型的速度向量發生對應的運動狀態。
利用該條件評斷單元105的碰撞偵測，此碰撞發生條件為移動的一方需要有鋼體和碰撞器等物體材質及碰撞偵測等相關條件的設定，在本發明較佳實施例中所指的是此穿戴裝置101所操控的一第一虛擬物體即此虛擬手部模型VM1以及此虛擬實境VENV1中一第二虛擬物體即此虛擬 物件VOB2，兩虛擬物體發生碰撞的判定方式是，由於此第一虛擬物體及此第二虛擬物體分別設定有一第一方碰撞條件(Collider)及一第二方碰撞條件，當此等兩個虛擬物體的碰撞重疊時便代表是指發生碰撞。例如該條件評斷單元105判斷與該穿戴裝置101的一虛擬碰觸位置相關的該衍生數據DRV_DA1是否符合表示該虛擬物件VOB2在一空間中所占有的一特定範圍的一空間位置數據拘束條件，以判斷是否符合該第一操作數據拘束條件COND1。當虛擬手部模型VM1與虛擬物體VOB2間產生碰撞時會觸發OnCollisionEnter、OnCollisionStay和OnCollisionExit等碰撞狀態判定功能，它們分別代表碰撞發生時、持續碰撞時和碰撞結束時，在一較佳實施例中利用OnCollisionEnter和OnCollisionExit判斷此虛擬手部模型VM1的某一手指是否與其他虛擬物體VOB2發生碰撞，碰撞狀態判定的實例應用之一是，當被碰撞的此第二虛擬物體偵測到有此第一虛擬物體即此虛擬手部模型VM1中的兩支虛擬手指以上，且其中一支為虛擬大拇指V1011f時，則該第二虛擬物體之狀態為一被抓取狀態，如第三圖所示。
類似地，判斷是否符合該第二操作數據拘束條件COND2是，藉由判斷與該穿戴裝置101的該虛擬碰觸位置相關的該衍生數據DRV_DA1是否符合表示該受操作物件VOB2在該空間中所占有的該特定範圍的該空間位置數據拘束條件、以及是否符合表示未碰觸或僅一指碰觸的一第二碰觸數據拘束條件，以完成執行該第二判斷操作，其中該衍生數據包括該運動感測器的一加速度數據、一角加速度數據、及一位置數據的至少其中之一。
請參閱第七圖，其為本發明較佳實施例穿戴裝置101的軸向 設定的示意圖。在建置該操作裝置10的環境之下，模擬操作該穿戴裝置101隔空抓取虛擬實境VENV1中的虛擬物件VOB2、或釋放此虛擬物件VOB2的操作分別如第八圖A及第八圖B所示。
請參閱第八圖A，其為本發明較佳實施例抓取虛擬物件VOB2的示意圖，第八圖B則為本發明較佳實施例釋放虛擬物件VOB2的示意圖。在第八圖A及B中，橫軸代表時間，單位為10毫秒(ms)，縱軸代表該虛擬手部模型VM1的虛擬肢體V1011f,V1012f,V1013f,V1014f,V1015f在x軸方向上的旋轉角度。初始動作手為張開狀態，開始動作後所有虛擬手指V1011f,V1012f,V1013f,V1014f,V1015f持續彎曲直到碰觸到虛擬物件VOB2後停止，數據如第八圖A，其可看出該穿戴裝置101的肢體1011f,1012f,1013f,1014f,1015f約從1690毫秒開始持續彎曲，經過約710毫秒後，虛擬肢體V1011f,V1012f,V1013f,V1014f,V1015f開始在x軸方向上具有旋轉角度達到約為25度。
承上，延續在第八圖A中抓的動作的情況，所有虛擬手指初始為彎曲狀態，開始動作後所有虛擬手指V1011f,V1012f,V1013f,V1014f,V1015f持續伸直直到虛擬物件VOB2掉落，數據如第八圖B，其可看出該穿戴裝置101的肢體1011f,1012f,1013f,1014f,1015f約從1300毫秒開始持續伸直，經過約470毫秒後，虛擬肢體V1011f,V1012f,V1013f,V1014f,V1015f開始在x軸方向上恢復到旋轉角度約為5度。
請參閱第九圖A，其為本發明較佳實施例拋出虛擬物件VOB2時的虛擬手部模型VM1的反應時間的示意圖。請參閱第九圖B，其為本發明較佳實施例拋出虛擬物件VOB2時其空間座標的示意圖，縱軸表示虛 擬物件VOB2在虛擬空間中的座標變化。延續在第八圖A中抓的動作的情況，所有虛擬手指V1011f,V1012f,V1013f,V1014f,V1015f初始為彎曲狀態且抓著虛擬物件VOB2，開始動作時使用者做出丟的動作，數據如第九圖A及B。從在第九圖中的空間座標為時間函數的數據中可以發現，當使用者做出丟的動作之後，虛擬物件VOB2的空間座標產生大幅度的變化。
請參閱第十圖A，其為本發明較佳實施例虛擬手部模型VM1的虛擬手腕V108w轉動的示意圖。請參閱第十圖B，其為本發明較佳實施例虛擬物件VOB2隨著虛擬手腕V108w轉動的角度變化的示意圖。延續在第八圖A中的動作一的情況，所有虛擬手指V1011f,V1012f,V1013f,V1014f,V1015f初始為彎曲狀態且抓著虛擬物件VOB2，開始動作後使用者保持手指1011f,1012f,1013f,1014f,1015f彎曲狀態並轉動手腕1018w，數據如第十圖A，其為關於該虛擬手部模型VM1的數據，縱軸表示虛擬手腕V108w的四元數x、y和z的變化，橫軸表示時間單位為10毫秒。第十圖B則為虛擬物件VOB2的數據，縱軸表示虛擬物件VOB2的角度變化，橫軸表示時間單位為10毫秒。從這些數據可以發現，當使用者持續轉動手腕108w時，虛擬物件VOB2的角度會持續變化，當停止轉動手腕108w時，虛擬物件VOB2的角度變化也停止。
請參閱下列表1，其為感測資料SDA1經由演算法AG1之後所對應出的衍生資料DRV_DA1的示意圖。
Figure 108100238-A0101-12-0014-3
Figure 108100238-A0101-12-0015-4
 根據演算法AG1建立動態連結函示庫GloveCore.dll，函示庫提供三個功能函數function：Init()、Run(int16_t)、GetResult()。條件評斷單元105利用Plugin的方式使用GloveCore.dll。功能函數Init是用來初始化演算法參數，功能函數Run是用來執行演算法AG1，功能函數GetResult是用來取得演算法AG1執行的結果。傳入參數為資料型態int16的陣列，其長度為54，傳入內容為sensor 的raw data共6顆，位置分別為手背、大拇指、食指、中指、無名指和小拇指。回傳的資料型態格式為double的陣列，其長度為49，陣列內容如表1所示。
條件評斷單元105透過Serial Port連結穿戴裝置101，並讀取sensor raw data(共170bytes，如下表2)，同時內部將取得的sensor raw data透過GloveCore.dll的Run Function執行演算法AG1，並呼叫GetResult得到計算後的結果，再將結果套用到藉由條件評斷單元105所建立的虛擬手部模型VM1上，達到各種功能效果。
Figure 108100238-A0101-12-0016-5
Figure 108100238-A0101-12-0017-6
Figure 108100238-A0101-12-0018-8
本發明可應用於AR或VR小遊戲。例如：投球、射飛鏢、保齡球...等，可以根據手部細微動作去影響結果，像：投球或射飛鏢時，投/ 射出去的角度和方向、或是保齡球則可以丟出去時手腕的旋轉產生飛碟球、曲球等等不同球路，或是大型遊戲如射擊遊戲、密室逃脫...等，可以模擬開槍時扣板機的動作、解謎時與遊戲場景的互動，藉由模擬出手部動作，讓使用者有更接近現實的操作，可以加強使用者在體驗VR或AR應用時，有更高的沉浸感及更接近現實生活的感覺。
請參閱第十一圖，其為本發明較佳實施例依靠一穿戴裝置而與一虛擬實境中之一受操作物件互動的操作方法S20的示意圖，其中該穿戴裝置具有一運動感應器，對映於在該虛擬實境中的一對映物件，並耦接於執行一第一特定功能的一第一特定單元以及執行一第二特定功能的一第二特定單元，該操作方法S20包含下列步驟：步驟S201，提供一演算法；步驟S202，使用一運動感應器來產生一運動感測數據；步驟S203，採用該演算法來處理該運動感測數據，以產生一衍生數據；步驟S204，使該衍生數據符合相關於一第一特定功能之一第一操作數據拘束條件及相關於一第二特定功能之一第二操作數據拘束條件而作出一判斷結果；以及步驟S205，當該判斷結果為肯定時，依靠一穿戴裝置來將一真實世界的一動作傳遞到一對映物件，使該對映物件表現出該真實世界的該動作而與一受操作物件互動。
請參閱第十二圖，其為本發明另一較佳實施例用於依靠一穿戴裝置而與一虛擬實境互動的操作方法S30的示意圖。其中該穿戴裝置具有一運動感應器及一對應虛擬裝置、該虛擬環境具一受操作物件、該對應虛擬裝置具一第一操作數據拘束條件、且該受操作物件具一第二操作數據拘束條件，該操作方法S30包含下列步驟：步驟S301，提供一演算法；步驟 S302，使用一運動感應器來產生一運動感測數據；步驟S303，採用該演算法來處理該運動感測數據，以產生一衍生數據；以及步驟S304，以該衍生數據透過一第一操作數據拘束條件及一第二操作數據拘束條件代表一對應虛擬裝置及一受操作物件間之一互動關係。
在第十二圖中該衍生數據是時間的函數，並可用於驅動該受操作物件。該互動關係包括：執行一第一判斷操作，以判斷該對應虛擬裝置是否已完成抓取該受操作物件；執行一第二判斷操作，以判斷該對應虛擬裝置是否已完成釋放該受操作物件；以及在該第二判斷操作被執行的條件下，使該受操作物件繼承在該第二判斷操作被執行時的該衍生數據，以使該受操作物件具有相對應於該衍生數據的一運動狀態，其中：執行該第一判斷操作的步驟包括判斷與該對應虛擬裝置的一虛擬碰觸位置相關的該衍生數據是否符合表示該受操作物件在一空間中所占有的一特定範圍的一空間位置數據拘束條件、以及是否符合表示至少一姆指碰觸以及一指以上碰觸的一第一碰觸數據拘束條件，以完成執行該第一判斷操作；以及執行該第二判斷操作的步驟包含判斷與該虛擬對應裝置的該虛擬碰觸位置相關的該衍生數據是否符合表示該受操作物件在該空間中所占有的該特定範圍的該空間位置數據拘束條件、以及是否符合表示未碰觸或僅一指碰觸的一第二碰觸數據拘束條件，以完成執行該第二判斷操作，其中該衍生數據包括該運動感測器的一加速度數據、一角加速度數據、及一位置數據的至少其中之一。
請參閱第十三圖，其為本發明另一較佳實施例用於依靠一穿戴裝置而與一虛擬實境互動的操作方法S40的示意圖。該穿戴裝置具有一運 動感應器及一對應虛擬裝置、該虛擬環境具一受操作物件、該對應虛擬裝置具一第一操作數據拘束條件、且該受操作物件具一第二操作數據拘束條件，該操作方法S40包含下列步驟：步驟S401，使用一運動感應器來產生一運動感測數據；步驟S402，根據該運動感測數據，使一對應虛擬裝置產生一衍生數據，其中該衍生數據代表該對應虛擬裝置及一受操作物件間之一互動關係；以及步驟S403，當該對應虛擬裝置及該受操作物件脫離該互動關係時，使該受操作物件繼承該衍生數據而運動。
實施例
1. 一種用於依靠一穿戴裝置而與一虛擬實境中之一受操作物件互動的操作方法，其中該穿戴裝置具有一運動感應器，對映於在該虛擬實境中的一對映物件，並耦接於執行一第一特定功能的一第一特定單元以及執行一第二特定功能的一第二特定單元，該操作方法包含下列步驟：提供一演算法；使用該運動感應器來產生一運動感測數據；採用該演算法來處理該運動感測數據，以產生一衍生數據；使該衍生數據符合相關於該第一特定功能之一第一操作數據拘束條件及相關於該第二特定功能之一第二操作數據拘束條件而作出一判斷結果；以及當該判斷結果為肯定時，依靠該穿戴裝置來將一真實世界的一動作傳遞到該對映物件，使該對映物件表現出該真實世界的該動作而與該受操作物件互動。
2. 如實施例1所述的操作方法，其中該穿戴裝置為一智慧手套；該運動感應器包括一加速度計、一陀螺儀、以及一地磁儀的至少其中之一；該衍生數據包括一四元數數據及一尤拉角數據的至少其中之一；該第一特定單元包括一事件觸發偵測單元，該事件觸發偵測單元判斷該對映 物件是否碰觸該受操控物件；該第一操作數據拘束條件包括表示一碰觸條件的一碰觸數據拘束條件，該碰觸條件為至少一姆指碰觸、以及一指以上碰觸；該第二特定單元包括一虛擬實境生成單元；該第二操作數據拘束條件包括表示一空間位置拘束條件的一空間位置數據拘束條件，該空間位置拘束條件為該受操作物件在一空間中所占有的一特定範圍；該動作為一手部肢體的動作；該對映物件為一第一虛擬物體，其中在該第一虛擬物體為一虛擬手部模型的條件下，該虛擬手部模型包含一虛擬手掌、一虛擬手腕、一虛擬拇指、一虛擬食指、一虛擬中指、一虛擬無名指、及一虛擬小指的至少其中之一；以及該受操作物件為一第二虛擬物體，該第二虛擬物體不同於該第一虛擬物體。
3. 如實施例1-2任一實施例所述的操作方法，更包含下列步驟：執行一第一判斷操作，以判斷該穿戴裝置是否已完成抓取該受操作物件；執行一第二判斷操作，以判斷該穿戴裝置是否已完成釋放該受操作物件；以及在該第二判斷操作被執行的條件下，使該虛擬物體繼承在該第二判斷操作被執行時的該衍生數據，以使該受操作物件具有相對應於該衍生數據的一運動狀態。
4. 如實施例1-3任一實施例所述的操作方法，其中該衍生數據更包含座標數據；判斷與該穿戴裝置的一虛擬碰觸位置相關的該衍生數據是否符合表示該受操作物件在一空間中所占有的一特定範圍的一空間位置數據拘束條件、以及是否符合表示至少一姆指碰觸以及一指以上碰觸的一第一碰觸數據拘束條件，以完成執行該第一判斷操作；以及判斷與該穿戴裝置的該虛擬碰觸位置相關的該衍生數據是否符合表示該受操作物件在 該空間中所占有的該特定範圍的該空間位置數據拘束條件、以及是否符合表示未碰觸或僅一指碰觸的一第二碰觸數據拘束條件，以完成執行該第二判斷操作，其中該衍生數據包括該運動感測器的一加速度數據、一角加速度數據、及一位置數據的至少其中之一。
5. 一種用於操作一虛擬物件的一操作裝置，包括一穿戴裝置以及一處理模組。該穿戴裝置穿戴在一肢體上，並具有一運動感測器，其中該運動感測器感測該肢體的一運動，以產生與該運動相關的一感測數據。該處理模組耦接於該穿戴裝置，並用以執行一演算法，該演算法用來計算該感測數據，以產生一衍生數據，其中：該處理模組產生一虛擬環境，並用來評斷該衍生數據是否滿足一第一操作數據拘束條件及一第二操作數據拘束條件；以及該虛擬環境用來配置一對映物件及一虛擬物件，其中該對映物件藉該衍生數據來表現對映於該運動的一虛擬運動，該虛擬物件則依據該第一操作數據拘束條件及該第二操作數據拘束條件是否被滿足而與該對映物件所表現的該虛擬運動進行一互動操作。
6. 如實施例5所述的操作裝置，其中該穿戴裝置包含一智慧手套；該肢體包括一手掌及複數手指的至少其中之一；該運動感測器包括一加速度計、一陀螺儀、及一地磁儀的至少其中之一；該衍生數據包括一四元素數據及一尤拉角數據的至少其中之一；該處理模組為一條件評斷單元，該條件評斷單元包含一碰觸偵測單元、一虛擬環境產生單元、以及其相關匹配軟體的至少其中之一；該第一操作數據拘束條件為該碰觸偵測單元所設定的一碰觸數據拘束條件；該第二操作數據拘束條件為該虛擬環境產生單元及其匹配軟體中所設置的一空間位置數據拘束條件；該對映物件 為一第一虛擬物體或一虛擬手部模型，其包含一虛擬手掌、一虛擬手腕、一虛擬拇指、一虛擬食指、一虛擬中指、一虛擬無名指、及一虛擬小指的至少其中之一；以及該虛擬物件為一第二虛擬物體，受該對映物件控制其運動狀態。
7. 如實施例5-6任一實施例所述的操作裝置，其中該條件評斷單元包含一碰觸偵測單元、一虛擬環境產生單元、以及其相關的一匹配軟體的至少其中之一；該碰觸偵測單元執行一第一判斷操作，以判斷該穿戴裝置是否已完成抓取一虛擬物件；該碰觸偵測單元執行一第二判斷操作，以判斷該穿戴裝置是否已完成釋放該虛擬物件；以及在該第二判斷操作被執行的條件下，該匹配軟體使該虛擬物體繼承在該第二判斷操作被執行時的該衍生數據，以使該虛擬物件具有相對應於該衍生數據的一運動狀態。
8. 如實施例5-7任一實施例所述的操作裝置，其中該衍生數據更包含座標數據；該條件評斷單元判斷與該穿戴裝置的一虛擬碰觸位置相關的該衍生數據是否符合表示該虛擬物件在一空間中所占有的一特定範圍的一空間位置數據拘束條件、以及是否符合表示至少一姆指碰觸以及一指以上碰觸的一第一碰觸數據拘束條件，以完成執行該第一判斷操作；以及該條件評斷單元判斷與該穿戴裝置的該虛擬碰觸位置相關的該衍生數據是否符合表示該虛擬物件在該空間中所占有的該特定範圍的該空間位置數據拘束條件、以及是否符合表示未碰觸或僅一指碰觸的一第二碰觸數據拘束條件，以完成執行該第二判斷操作，其中該衍生數據包括該運動感測器的一加速度數據、一角加速度數據、及一位置數據的至少其中之一。
9. 一種用於一穿戴裝置而與一虛擬實境互動的操作方法，其中該穿戴裝置具有一運動感應器及一對應虛擬裝置、該虛擬環境具一受操作物件、該對應虛擬裝置具一第一操作數據拘束條件、且該受操作物件具一第二操作數據拘束條件，該操作方法包含下列步驟：提供一演算法；使用該運動感應器來產生一運動感測數據；採用該演算法來處理該運動感測數據，以產生一衍生數據；以及以該衍生數據透過該第一操作數據拘束條件及該第二操作數據拘束條件代表該對應虛擬裝置及該受操作物件間之一互動關係。
10. 如實施例9所述的操作方法，其中該衍生數據是時間的函數，此時間的函數可以是與時間相關的四元數或尤拉角；該衍生數據用於驅動該受操作物件；該互動關係包括：執行一第一判斷操作，以判斷該對應虛擬裝置是否已完成抓取該受操作物件；執行一第二判斷操作，以判斷該對應虛擬裝置是否已完成釋放該受操作物件；以及在該第二判斷操作被執行的條件下，使該受操作物件繼承在該第二判斷操作被執行時的該衍生數據，以使該受操作物件具有相對應於該衍生數據的一運動狀態，其中：執行該第一判斷操作的步驟包括判斷與該對應虛擬裝置的一虛擬碰觸位置相關的該衍生數據是否符合表示該受操作物件在一空間中所占有的一特定範圍的一空間位置數據拘束條件、以及是否符合表示至少一姆指碰觸以及一指以上碰觸的一第一碰觸數據拘束條件，以完成執行該第一判斷操作；以及執行該第二判斷操作的步驟包含判斷與該虛擬對應裝置的該虛擬碰觸位置相關的該衍生數據是否符合表示該受操作物件在該空間中所占有的該特定範圍的該空間位置數據拘束條件、以及是否符合表示未碰觸或僅一指 碰觸的一第二碰觸數據拘束條件，以完成執行該第二判斷操作，其中該衍生數據包括該運動感測器的一加速度數據、一角加速度數據、及一位置數據的至少其中之一。
11. 一種用於依靠一穿戴裝置而與一虛擬實境互動的操作方法，其中該穿戴裝置具有一運動感應器及一對應虛擬裝置、該虛擬環境具一受操作物件、該對應虛擬裝置具一第一操作數據拘束條件、且該受操作物件具一第二操作數據拘束條件，該操作方法包含下列步驟：使用該運動感應器來產生一運動感測數據；根據該運動感測數據，使該對應虛擬裝置產生一衍生數據，其中該衍生數據代表該對應虛擬裝置及該受操作物件間之一互動關係；以及當該對應虛擬裝置及該受操作物件脫離該互動關係時，使該受操作物件繼承該衍生數據而運動。
12. 如實施例11所述的操作方法，更包含下列步驟：執行一第一判斷操作，以判斷該對應虛擬裝置是否已完成抓取該受操作物件；執行一第二判斷操作，以判斷該對應虛擬裝置是否已完成釋放該受操作物件；以及在該第二判斷操作被執行的條件下，使該受操作物件繼承在該第二判斷操作被執行時的該衍生數據，以使該受操作物件具有相對應於該衍生數據的一運動狀態，其中：執行該第一判斷操作的步驟包括判斷與該對應虛擬裝置的一虛擬碰觸位置相關的該衍生數據是否符合表示該受操作物件在一空間中所占有的一特定範圍的一空間位置數據拘束條件、以及是否符合表示至少一姆指碰觸以及一指以上碰觸的一第一碰觸數據拘束條件，以完成執行該第一判斷操作；以及執行該第二判斷操作的步驟包含判斷與該對應虛擬裝置的該虛擬碰觸位置相關的該衍生數據是否符合表示該受操 作物件在該空間中所占有的該特定範圍的該空間位置數據拘束條件、以及是否符合表示未碰觸或僅一指碰觸的一第二碰觸數據拘束條件，以完成執行該第二判斷操作，其中該衍生數據包括該運動感測器的一加速度數據、一角加速度數據、及一位置數據的至少其中之一。
提出於此之本揭露多數變形例與其他實施例，將對於熟習本項技藝者理解到具有呈現於上述說明與相關圖式之教導的益處。因此，吾人應理解到本揭露並非受限於所揭露之特定實施例，而變形例與其他實施例意圖是包含在以下的申請專利範圍之範疇之內。
S301~S304
S30‧‧‧用於依靠一穿戴裝置而與一虛擬實境互動的操作方法

Claims (11)

  1. 一種用於一穿戴裝置與一虛擬實境中的一受操作物件互動的操作方法，其中該穿戴裝置具有一運動感應器，對映於在該虛擬實境中的一對映物件，並耦接於執行一第一特定功能的一第一特定單元以及執行一第二特定功能的一第二特定單元，該操作方法包含下列步驟：提供一演算法；使用該運動感應器來產生一運動感測數據；採用該演算法來處理該運動感測數據，以產生一衍生數據；使該衍生數據符合相關於該第一特定功能之一第一操作數據拘束條件及相關於該第二特定功能之一第二操作數據拘束條件而作出一判斷結果，當該判斷結果為肯定時，執行一第一判斷操作，以判斷該穿戴裝置是否已完成抓取該受操作物件；執行一第二判斷操作，以判斷該穿戴裝置是否已完成釋放該受操作物件；以及在該第二判斷操作被執行的條件下，使該受操作物件繼承在該第二判斷操作被執行時的該衍生數據，以使該受操作物件具有相對應於該衍生數據的一運動狀態，藉該穿戴裝置來將一真實世界的一動作傳遞到該對映物件，使該對映物件表現出該真實世界的該動作而與該受操作物件互動。
  2. 如申請專利範圍第1項所述的操作方法，其中：該穿戴裝置為一智慧手套；該運動感應器包括一加速度計、一陀螺儀、以及一地磁儀的至少其中 之一；該衍生數據包括一四元數數據及一尤拉角數據的至少其中之一；該第一特定單元包括一事件觸發偵測單元，該事件觸發偵測單元判斷該對映物件是否碰觸該受操控物件；該第一操作數據拘束條件包括表示一碰觸條件的一碰觸數據拘束條件，該碰觸條件為至少一姆指碰觸、以及一指以上碰觸；該第二特定單元包括一虛擬實境生成單元；該第二操作數據拘束條件包括表示一空間位置拘束條件的一空間位置數據拘束條件，該空間位置拘束條件為該受操作物件在一空間中所占有的一特定範圍；該動作為一手部肢體的動作；該對映物件為一第一虛擬物體，其中在該第一虛擬物體為一虛擬手部模型的條件下，該虛擬手部模型包含一虛擬手掌、一虛擬手腕、一虛擬拇指、一虛擬食指、一虛擬中指、一虛擬無名指、及一虛擬小指的至少其中之一；以及該受操作物件為一第二虛擬物體，該第二虛擬物體不同於該第一虛擬物體。
  3. 如申請專利範圍第1項所述的操作方法，其中：該衍生數據更包含座標數據；判斷與該穿戴裝置的一虛擬碰觸位置相關的該衍生數據是否符合表示該受操作物件在一空間中所占有的一特定範圍的一空間位置數據拘束條件、以及是否符合表示至少一姆指碰觸以及一指以上碰觸的一第一碰觸數 據拘束條件，以完成執行該第一判斷操作；以及判斷與該穿戴裝置的該虛擬碰觸位置相關的該衍生數據是否符合表示該受操作物件在該空間中所占有的該特定範圍的該空間位置數據拘束條件、以及是否符合表示未碰觸或僅一指碰觸的一第二碰觸數據拘束條件，以完成執行該第二判斷操作，其中該衍生數據包括該運動感測器的一加速度數據、一角加速度數據、及一位置數據的至少其中之一。
  4. 一種用於操作一虛擬物件的一操作裝置，包括：一穿戴裝置，穿戴在一肢體上，並具有一運動感測器，其中該運動感測器感測該肢體的一運動，以產生與該運動相關的一感測數據；一處理模組，耦接於該穿戴裝置，並用以執行一演算法，該演算法用來計算該感測數據，以產生一衍生數據，其中：該處理模組產生一虛擬環境，並用來評斷該衍生數據是否滿足一第一操作數據拘束條件及一第二操作數據拘束條件；以及該虛擬環境用來配置一對映物件及一虛擬物件，其中該對映物件藉該衍生數據來表現對映於該運動的一虛擬運動，該虛擬物件則依據該第一操作數據拘束條件及該第二操作數據拘束條件是否被滿足而與該對映物件所表現的該虛擬運動進行一互動操作，其中該處理模組執行一第一判斷操作，以判斷該穿戴裝置是否已完成抓取一虛擬物件；該處理模組執行一第二判斷操作，以判斷該穿戴裝置是否已完成釋放該虛擬物件；以及在該第二判斷操作被執行的條件下，該處理模組使該虛擬物體繼承在 該第二判斷操作被執行時的該衍生數據，以使該虛擬物件具有相對應於該衍生數據的一運動狀態。
  5. 如申請專利範圍第4項所述的操作裝置，其中：該穿戴裝置包含一智慧手套；該肢體包括一手掌及複數手指的至少其中之一；該運動感測器包括一加速度計、一陀螺儀、及一地磁儀的至少其中之一；該衍生數據包括一四元素數據及一尤拉角數據的至少其中之一；該處理模組為一條件評斷單元，該條件評斷單元包含一碰觸偵測單元、一虛擬環境產生單元、以及其相關匹配軟體的至少其中之一；該第一操作數據拘束條件為該碰觸偵測單元所設定的一碰觸數據拘束條件；該第二操作數據拘束條件為該虛擬環境產生單元及其匹配軟體中所設置的一空間位置數據拘束條件；該對映物件為一第一虛擬物體或一虛擬手部模型，其包含一虛擬手掌、一虛擬手腕、一虛擬拇指、一虛擬食指、一虛擬中指、一虛擬無名指、及一虛擬小指的至少其中之一；以及該虛擬物件為一第二虛擬物體，受該對映物件控制其運動狀態。
  6. 如申請專利範圍第4項所述的操作裝置，其中：該條件評斷單元包含一碰觸偵測單元、一虛擬環境產生單元、以及其相關的一匹配軟體的至少其中之一，其中該第一判斷操作由該碰觸偵測單元執行，以判斷該穿戴裝置是否已完 成抓取該虛擬物件；該第二判斷操作由該碰觸偵測單元執行，以判斷該穿戴裝置是否已完成釋放該虛擬物件；以及在該第二判斷操作被執行的條件下，由該匹配軟體執行該虛擬物體繼承在該第二判斷操作被執行時的該衍生數據，以使該虛擬物件具有相對應於該衍生數據的該運動狀態。
  7. 如申請專利範圍第6項所述的操作裝置，其中：該衍生數據更包含座標數據；該條件評斷單元判斷與該穿戴裝置的一虛擬碰觸位置相關的該衍生數據是否符合表示該虛擬物件在一空間中所占有的一特定範圍的一空間位置數據拘束條件、以及是否符合表示至少一姆指碰觸以及一指以上碰觸的一第一碰觸數據拘束條件，以完成執行該第一判斷操作；以及該條件評斷單元判斷與該穿戴裝置的該虛擬碰觸位置相關的該衍生數據是否符合表示該虛擬物件在該空間中所占有的該特定範圍的該空間位置數據拘束條件、以及是否符合表示未碰觸或僅一指碰觸的一第二碰觸數據拘束條件，以完成執行該第二判斷操作，其中該衍生數據包括該運動感測器的一加速度數據、一角加速度數據、及一位置數據的至少其中之一。
  8. 一種用於依靠一穿戴裝置而與一虛擬實境互動的操作方法，其中該穿戴裝置具有一運動感應器及一對應虛擬裝置、該虛擬環境具一受操作物件、該對應虛擬裝置具一第一操作數據拘束條件、且該受操作物件具一第二操作數據拘束條件，該操作方法包含下列步驟：提供一演算法； 使用該運動感應器來產生一運動感測數據；採用該演算法來處理該運動感測數據，以產生一衍生數據；以及以該衍生數據透過該第一操作數據拘束條件及該第二操作數據拘束條件代表該對應虛擬裝置及該受操作物件間之一互動關係；其中，該互動關係包括：執行一第一判斷操作，以判斷該對應虛擬裝置是否已完成抓取該受操作物件；執行一第二判斷操作，以判斷該對應虛擬裝置是否已完成釋放該受操作物件；以及在該第二判斷操作被執行的條件下，使該受操作物件繼承在該第二判斷操作被執行時的該衍生數據，以使該受操作物件具有相對應於該衍生數據的一運動狀態。
  9. 如申請專利範圍第8項所述的操作方法，其中：該衍生數據是時間的函數，此時間的函數是與時間相關的四元數或尤拉角；該衍生數據用於驅動該受操作物件；其中：執行該第一判斷操作的步驟包括判斷與該對應虛擬裝置的一虛擬碰觸位置相關的該衍生數據是否符合表示該受操作物件在一空間中所占有的一特定範圍的一空間位置數據拘束條件、以及是否符合表示至少一姆指碰觸以及一指以上碰觸的一第一碰觸數據拘束條件，以完成執行該第一判斷操作；以及 執行該第二判斷操作的步驟包含判斷與該虛擬對應裝置的該虛擬碰觸位置相關的該衍生數據是否符合表示該受操作物件在該空間中所占有的該特定範圍的該空間位置數據拘束條件、以及是否符合表示未碰觸或僅一指碰觸的一第二碰觸數據拘束條件，以完成執行該第二判斷操作，其中該衍生數據包括該運動感測器的一加速度數據、一角加速度數據、及一位置數據的至少其中之一。
  10. 一種用於依靠一穿戴裝置而與一虛擬實境互動的操作方法，其中該穿戴裝置具有一運動感應器及一對應虛擬裝置、該虛擬環境具一受操作物件、該對應虛擬裝置具一第一操作數據拘束條件、且該受操作物件具一第二操作數據拘束條件，該操作方法包含下列步驟：使用該運動感應器來產生一運動感測數據；根據該運動感測數據，使該對應虛擬裝置產生一衍生數據，其中該衍生數據代表該對應虛擬裝置及該受操作物件間之一互動關係；以及當該對應虛擬裝置及該受操作物件脫離該互動關係時，使該受操作物件繼承該衍生數據而運動。
  11. 如申請專利範圍第10項所述的操作方法，更包含下列步驟：執行一第一判斷操作，以判斷該對應虛擬裝置是否已完成抓取該受操作物件；執行一第二判斷操作，以判斷該對應虛擬裝置是否已完成釋放該受操作物件；以及在該第二判斷操作被執行的條件下，使該受操作物件繼承在該第二判斷操作被執行時的該衍生數據，以使該受操作物件具有相對應於該衍生數 據的一運動狀態，其中：執行該第一判斷操作的步驟包括判斷與該對應虛擬裝置的一虛擬碰觸位置相關的該衍生數據是否符合表示該受操作物件在一空間中所占有的一特定範圍的一空間位置數據拘束條件、以及是否符合表示至少一姆指碰觸以及一指以上碰觸的一第一碰觸數據拘束條件，以完成執行該第一判斷操作；以及執行該第二判斷操作的步驟包含判斷與該對應虛擬裝置的該虛擬碰觸位置相關的該衍生數據是否符合表示該受操作物件在該空間中所占有的該特定範圍的該空間位置數據拘束條件、以及是否符合表示未碰觸或僅一指碰觸的一第二碰觸數據拘束條件，以完成執行該第二判斷操作，其中該衍生數據包括該運動感測器的一加速度數據、一角加速度數據、及一位置數據的至少其中之一。
TW108100238A 2019-01-03 2019-01-03 用於依靠一穿戴裝置而與一虛擬實境互動的操作方法及其操作裝置 TWI707251B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108100238A TWI707251B (zh) 2019-01-03 2019-01-03 用於依靠一穿戴裝置而與一虛擬實境互動的操作方法及其操作裝置
CN201910452865.4A CN111399632A (zh) 2019-01-03 2019-05-28 用于依靠可穿戴设备而与虚拟现实互动的操作方法和其操作设备
US16/732,934 US11169605B2 (en) 2019-01-03 2020-01-02 Operating method for wearable device interacting with operated device in virtual reality and operating device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108100238A TWI707251B (zh) 2019-01-03 2019-01-03 用於依靠一穿戴裝置而與一虛擬實境互動的操作方法及其操作裝置

Publications (2)

Publication Number Publication Date
TW202026816A TW202026816A (zh) 2020-07-16
TWI707251B true TWI707251B (zh) 2020-10-11

Family

ID=71405050

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108100238A TWI707251B (zh) 2019-01-03 2019-01-03 用於依靠一穿戴裝置而與一虛擬實境互動的操作方法及其操作裝置

Country Status (3)

Country Link
US (1) US11169605B2 (zh)
CN (1) CN111399632A (zh)
TW (1) TWI707251B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2022044581A1 (zh) * 2020-08-31 2022-03-03
CN117642775A (zh) * 2021-07-08 2024-03-01 索尼集团公司 用于确定对象的保持的信息处理装置
US11954266B2 (en) * 2021-12-20 2024-04-09 Htc Corporation Method for interacting with virtual world, host, and computer readable storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951098A (zh) * 2017-05-22 2017-07-14 杨怀宁 一种vr系统触感手套装置及其实现方法
CN107239145A (zh) * 2017-06-22 2017-10-10 京东方科技集团股份有限公司 触觉反馈装置及方法
US20180081436A1 (en) * 2016-09-20 2018-03-22 Oculus Vr, Llc Composite ribbon in a virtual reality device
CN207301976U (zh) * 2017-10-11 2018-05-01 歌尔科技有限公司 一种数据手套及vr系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160098095A1 (en) * 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
US9880619B2 (en) 2010-02-23 2018-01-30 Muy Interactive Ltd. Virtual reality system with a finger-wearable control
CN103955295A (zh) * 2014-04-17 2014-07-30 北京航空航天大学 一种基于数据手套和物理引擎的虚拟手的实时抓取方法
AU2016341196B2 (en) 2015-10-20 2021-09-16 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
US10290151B2 (en) 2016-08-17 2019-05-14 Blackberry Limited AR/VR device virtualisation
US20180095542A1 (en) 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Object Holder for Virtual Reality Interaction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180081436A1 (en) * 2016-09-20 2018-03-22 Oculus Vr, Llc Composite ribbon in a virtual reality device
CN106951098A (zh) * 2017-05-22 2017-07-14 杨怀宁 一种vr系统触感手套装置及其实现方法
CN107239145A (zh) * 2017-06-22 2017-10-10 京东方科技集团股份有限公司 触觉反馈装置及方法
CN207301976U (zh) * 2017-10-11 2018-05-01 歌尔科技有限公司 一种数据手套及vr系统

Also Published As

Publication number Publication date
CN111399632A (zh) 2020-07-10
US11169605B2 (en) 2021-11-09
US20200218349A1 (en) 2020-07-09
TW202026816A (zh) 2020-07-16

Similar Documents

Publication Publication Date Title
US11435825B2 (en) Haptic interaction method, tool and system
TWI707251B (zh) 用於依靠一穿戴裝置而與一虛擬實境互動的操作方法及其操作裝置
CN106943743B (zh) 一种人机互动控制方法
CN102331840B (zh) 基于回环运动的用户选择和导航
US9360944B2 (en) System and method for enhanced gesture-based interaction
JP5087101B2 (ja) プログラム、情報記憶媒体及び画像生成システム
LaViola et al. 3D spatial interaction: applications for art, design, and science
WO2018196552A1 (zh) 用于虚拟现实场景中的手型显示方法及装置
KR101389894B1 (ko) 모션 캡쳐 기술을 이용한 가상 현실 시뮬레이션 장치 및 방법
CN108983978A (zh) 虚拟手控制方法及装置
US20140104156A1 (en) Hand-held wireless electronic device with accelerometer for interacting with a display
US20170003738A1 (en) Systems and methods for immersive physical interaction with a virtual environment
Tsai et al. Unity game engine: Interactive software design using digital glove for virtual reality baseball pitch training
CN103955295A (zh) 一种基于数据手套和物理引擎的虚拟手的实时抓取方法
KR102170638B1 (ko) 손가락 마디의 추적을 통한 가상현실 내 상호작용 제어방법 및 이를 이용한 vr 시스템
CN108334198A (zh) 基于增强现实的虚拟雕塑方法
KR102438347B1 (ko) 스마트 웨어러블 장치와 스마트 웨어러블 장비
CN105413147B (zh) 台球游戏击球动作的识别方法、识别系统及台球游戏装置
CN108803862B (zh) 用于虚拟现实场景中的账号关系建立方法及装置
CN112837339B (zh) 基于运动捕捉技术的轨迹绘制方法及装置
CN117251058B (zh) 一种多信息体感交互系统的控制方法
Kilby et al. A study of viewpoint and feedback in wearable systems for controlling a robot arm
TW200947347A (en) Volume recognition method and system
Mizutori et al. Skillful manipulation of virtual objects: Implementation of juggling in a virtual environment
Li et al. Climb, direct, stack: smart interfaces for ELeague contest