TWI666571B - 用於虛擬實境環境的動作捕捉系統 - Google Patents

用於虛擬實境環境的動作捕捉系統 Download PDF

Info

Publication number
TWI666571B
TWI666571B TW107102687A TW107102687A TWI666571B TW I666571 B TWI666571 B TW I666571B TW 107102687 A TW107102687 A TW 107102687A TW 107102687 A TW107102687 A TW 107102687A TW I666571 B TWI666571 B TW I666571B
Authority
TW
Taiwan
Prior art keywords
spatial position
virtual
position calculation
module
user
Prior art date
Application number
TW107102687A
Other languages
English (en)
Other versions
TW201933052A (zh
Inventor
邱士文
林祖弘
吳敬堯
Original Assignee
首羿國際股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 首羿國際股份有限公司 filed Critical 首羿國際股份有限公司
Priority to TW107102687A priority Critical patent/TWI666571B/zh
Application granted granted Critical
Publication of TWI666571B publication Critical patent/TWI666571B/zh
Publication of TW201933052A publication Critical patent/TW201933052A/zh

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本發明揭露一種用於虛擬實境環境的動作捕捉系統,該系統包含至少 二電磁波發射源、8個空間位置計算模組、一作業主機及一頭戴顯示器。本發明僅利用8個空間位置計算模組進行動作捕捉,並藉作業主機將虛擬影像呈現於頭戴顯示器中。這樣的架構具有低成本、低硬體計算資源需求及不受環境光害的影響。同時,本發明已完成動作捕捉系統與虛擬實境顯像的軟硬整合,解決了現有技術面臨的諸多困擾。

Description

用於虛擬實境環境的動作捕捉系統
本發明關於一種動作捕捉系統,特別是一種用於虛擬實境環境的動作捕捉系統。
動作捕捉是指記錄並處理人或其它物體動作的技術,廣泛地應用於軍事、娛樂、體育、醫療、電腦視覺以及機器人等諸多領域。傳統上,動作捕捉系統有慣性式和光學式兩大主流技術路線,而光學式又分為標定和非標定兩種。無論哪一種習知技術,都存在著一些缺點。以慣性式動作捕捉系統來說,待測對象身上需要穿著許多加速度計、陀螺儀和磁力計等慣性傳感器設備,這些設備昂貴且容易阻滯待測對象的運動。標定慣性式動作捕捉系統和前者類似,待測對象身上需要安裝許多馬克點(Marker),利用相機從不同角度實時探測馬克點並計算其空間座標,進而推求待測對象的運動狀態。雖然馬克點不會阻滯待測對象的運動,但缺點是這種技術的圖像運算非常耗資源,其設備費用也不便宜。非標定光學式動作捕捉系統則是基於計算機視覺原理,由多個高速相機從不同角度對目標特徵點的監視和跟蹤來進行動作捕捉的技術。雖然這種技術不需要在待測對象上裝設任何監控設備,但其受到外界環境的影響很大,比如光照條件、背景、遮擋物和相機品質等,在火災現場、礦井內等非可視環境中該方法則完全失效。
另一方面,虛擬實境(Virtual Reality)技術在現下生活中的應用開始飛快的發展。虛擬實境是利用電腦模擬產生一個三維空間的虛擬世界,提供使用者關於視覺、聽覺、觸覺等感官的模擬,讓使用者感覺彷彿身歷其境,可及時、沒有限制地觀察三維空間內的事物,進而與之互動。在虛擬實境環境下,使用者與虛擬物件的互動或在虛擬實境中的移動,取決於感測器對使用者肢體運動的觀察與判斷。簡言之,要有好的虛擬實境互動效果,少不了精準的動作捕捉系統。然而,如上分析,現有的動作捕捉系統存在一些缺點,若應用到虛擬實境中,還要考量兩種技術的軟硬整合開發的困難度。是故,用於虛擬實境環境的動作捕捉系統一直是相關業界苦心思慮研發的對象。
本段文字提取和編譯本發明的某些特點。其它特點將被揭露於後續段落中。其目的在涵蓋附加的申請專利範圍之精神和範圍中,各式的修改和類似的排列。
本發明的目的在提出一種用於虛擬實境環境的動作捕捉系統。前述的系統可包含:至少二電磁波發射源,每一電磁波發射源用以發射至少一特定波長範圍內之電磁波;8個空間位置計算模組,每一空間位置計算模組包含:至少一電磁波感測器,用以分別接收來自該至少二電磁波發射源的電磁波訊號;一計算單元,與該至少一電磁波感測器連接,利用接收到的電磁波訊號的接收時間差或能量差以計算所在位置之相對空間位置及六個自由度運動量;及一資料傳輸單元,與該計算單元連接,用以將前述相對空間位置及六個自由度運動量向外部傳輸;其中6個主要空間位置計算模組分別用以可拆卸地固設於一使用者四肢末梢、頭部及腰部,2個輔助空間位置計算模組,分別用以可拆卸地固設於該使用者雙手肘或雙膝部;一作業主機,包含:一通訊模組,與該傳輸單元 訊號連接,以接收每一空間位置計算模組的相對空間位置及六個自由度運動量;一動作計算模組,與該通訊模組連接,以一反向運動演算法,藉由接收來自8個空間位置計算模組的相對空間位置及六個自由度運動量作為輸入,計算該使用者身體各部位之虛擬空間位置;及一虛擬人物呈現模組,與該動作計算模組及通訊模組連接,用以將該8個空間位置計算模組的相對空間位置與一虛擬人物對應部位的虛擬空間位置連結定位、產生該虛擬人物變動以反應該使用者身體於實體空間位置變動,及透過該通訊模組即時將虛擬人物變動由該虛擬人物的一第一視角看出的一虛擬影像向外部傳輸;及一頭戴顯示器,與該通訊模組通訊連接,用以接收該虛擬影像並呈現該虛擬影像給穿戴該頭戴顯示器的使用者,其中固設於使用者頭部的主要空間位置計算模組之平行使用者視線方向為該第一視角方向。
前述的該至少二電磁波發射源可為LED光源、雷射光源、紅外線與雷射混合光源、藍芽訊號源,或Wi-Fi無線接入點。固設於上肢末梢的二主要空間位置計算模組可進一步各包含一觸控平板。
依照本發明,該虛擬人物呈現模組在該虛擬人物開始連結定位時,先將固設在使用者頭部及腰部的主要空間位置計算模組之位置與該虛擬人物對應之部位連結定位,該虛擬人物呈現模組進一步將該虛擬人物各部空間位置固定、在該虛擬人物四肢部位各形成一球型空間,並於虛擬空間中形成相對於固設於使用者頭部及腰部的主要空間位置計算模組位置之其它主要空間位置計算模組所代表的使用者四肢末梢的定位影像,該頭戴顯示器呈現該球型空間的影像與該定位影像於該虛擬影像中,當任一固設於四肢末梢的主要空間位置計算模組因移動而其對應定位影像與任一球型空間影像重疊時,使用者操作該觸控平板或該作業主機而完成前述固設於四肢末梢的主要空間位置計算模組之連結定位。
若主要空間位置計算模組之連結定位造成虛擬人物無法因該使用者身體於虛擬空間位置之變動而產生動作或產生的動作不順暢,使用者可操作該觸控平板以釋放現有連結定位紀錄以重新進行連結定位。
該作業主機可進一步包含一錄製模組,與該虛擬人物呈現模組連接,用以錄製虛擬人物變動,並形成一輸出檔。固設於上肢末梢的二主要空間位置計算模組可進一步各包含一觸發器,用以開啟或關閉錄製虛擬人物變動。
依照本發明,若該通訊模組與該資料傳輸單元間的訊號連接,或頭戴顯示器與該通訊模組間的通訊連接為無線通訊連接,採用藍芽通訊、2.4G頻帶無線通訊或5G頻帶無線通訊;若該通訊模組與該資料傳輸單元間的訊號連接,或頭戴顯示器與該通訊模組間的通訊連接為有線通訊連接,通訊規格符合USB規範或Thunderbolt規範。
又,該空間位置計算模組可進一步包含:一穩定板,用以藉其與使用者皮膚大面積接觸而不造成該空間位置計算模組之晃動;及一綁帶組,用以綁附該空間位置計算模組於使用者之身體。
本發明僅利用8個空間位置計算模組進行動作捕捉,並藉作業主機將虛擬影像呈現於頭戴顯示器中。這樣的架構具有低成本、低硬體計算資源需求及不受環境光害的影響。同時,本發明已完成動作捕捉系統與虛擬實境顯像的軟硬整合,解決了前述習知技術面臨的諸多困擾。
10‧‧‧用於虛擬實境環境的動作捕捉系統
100‧‧‧電磁波發射源
200a‧‧‧電磁波感測器
200b‧‧‧計算單元
200c‧‧‧資料傳輸單元
200d‧‧‧觸控平板
200e‧‧‧觸發器
200f‧‧‧外殼
200g‧‧‧穩定板
200h‧‧‧綁帶組
201‧‧‧左手主要空間位置計算模組
202‧‧‧右手主要空間位置計算模組
203‧‧‧左腳主要空間位置計算模組
204‧‧‧右腳主要空間位置計算模組
205‧‧‧腰部主要空間位置計算模組
206‧‧‧頭部主要空間位置計算模組
211‧‧‧左手肘輔助空間位置計算模組
212‧‧‧右手肘輔助空間位置計算模組
300‧‧‧作業主機
310‧‧‧通訊模組
320‧‧‧動作計算模組
330‧‧‧虛擬人物呈現模組
340‧‧‧錄製模組
350‧‧‧螢幕
400‧‧‧頭戴顯示器
500‧‧‧使用者
521‧‧‧左手定位影像
522‧‧‧右手定位影像
523‧‧‧左腳定位影像
524‧‧‧右腳定位影像
525‧‧‧腰部定位影像
526‧‧‧頭部定位影像
527‧‧‧左手肘定位影像
528‧‧‧右手肘定位影像
600‧‧‧雪人
601‧‧‧左手
602‧‧‧右手
603‧‧‧左腳
604‧‧‧右腳
605‧‧‧腰部
606‧‧‧眼睛
607‧‧‧左手肘
608‧‧‧右手肘
621‧‧‧左手標定圖像
622‧‧‧右手標定圖像
623‧‧‧左腳標定圖像
624‧‧‧右腳標定圖像
625‧‧‧腰部標定圖像
626‧‧‧頭部標定圖像
627‧‧‧左手肘標定圖像
628‧‧‧右手肘標定圖像
圖1為依照本發明之一種用於虛擬實境環境的動作捕捉系統的架構示意圖;圖2為依照本發明之另一種用於虛擬實境環境的動作捕捉系統的架構示意圖;圖3為空間位置計算模組的元件方塊圖; 圖4為一作業主機的元件方塊圖;圖5繪示一虛擬人物及其與一使用者的對應操作關係;圖6為左手主要空間位置計算模組或右手主要空間位置計算模組的另一元件方塊圖;圖7為空間位置計算模組的一側面外觀示意圖;圖8為標定圖像與定位影像的空間分佈示意圖;圖9繪示該虛擬人物於虛擬空間中的鏡像。
本發明將藉由參照下列的實施方式而更具體地描述。
請見圖1,該圖為依照本發明之一種用於虛擬實境環境的動作捕捉系統10的架構示意圖。該用於虛擬實境環境的動作捕捉系統10包含至少二電磁波發射源100、8個空間位置計算模組、一作業主機300及一頭戴顯示器400。每一個電磁波發射源100的功用是發射至少一特定波長範圍內之電磁波,比如波長120mm~130mm(對應頻率約為2.4G)的無線微波或波長760nm~1000nm的紅外光線光波。這些電磁波提供每一個空間位置計算模組計算其於一特定空間中的相對位置與運動量。
每一個空間位置計算模組的外型可以依照固設於一使用者500的位置而不同,也可以都相同。請見圖3,該圖為空間位置計算模組的元件方塊圖。每一個空間位置計算模組基本元件包含了至少一個電磁波感測器200a、一計算單元200b及一資料傳輸單元200c。在一實施例中,電磁波感測器200a的數量為7個;在其它實施例中,電磁波感測器200a的數量可以為更多、更少,甚至僅一個。電磁波感測器200a的功能是用來分別接收來自該至少二電磁波發射源100的電磁波訊號。因為使用者500的動作或阻擋物的存在,單一個電磁波感測器200a可 能無法有效及時接收到電磁波訊號以利後續作業或多運動自由度的計算,多個電磁波感測器200a並行運作可確保電磁波訊號在使用者500的任何動作下都能被接收,從而保證良好的使用者經驗。計算單元200b與該至少一個電磁波感測器200a連接,可利用接收到的電磁波訊號的接收時間差或能量差以計算其所在位置之相對空間位置及六個自由度運動量,後文會說明相關的應用技術。資料傳輸單元200c與計算單元200b連接,用以將前述相對空間位置及六個自由度運動量向外部傳輸,以利後續應用。
空間位置計算模組可細分為6個主要空間位置計算模組與2個輔助空間位置計算模組。「主要」與「輔助」的分別僅在於該空間位置計算模組所在位置對於一反向運動演算法的資料來源節點位置是否可替代,比如雙手肘位置可換至雙膝部位置,這種情況就是可替代,其位置上的空間位置計算模組便稱為輔助空間位置計算模組。主要空間位置計算模組分別用以可拆卸地固設於使用者500四肢末梢、頭部及腰部,輔助空間位置計算模組分別用以可拆卸地固設於該使用者500雙手肘或雙膝部(在本實施例中選擇固設於雙手肘上)。為了說明方便起見,在此實施例中將6個主要空間位置計算模組設為一左手主要空間位置計算模組201、一右手主要空間位置計算模組202、一左腳主要空間位置計算模組203、一右腳主要空間位置計算模組204、一腰部主要空間位置計算模組205,及一頭部主要空間位置計算模組206,2個輔助空間位置計算模組則為一左手肘輔助空間位置計算模組211及一右手肘輔助空間位置計算模組212。
電磁波發射源100和空間位置計算模組間有技術配對關係。在一個實施例中,電磁波發射源100可採用Lighthouse技術。Lighthouse技術不需要藉助攝像頭,而是靠雷射和紅外光感測器來確定運動物體的位置。兩個電磁波發射源100會被安置在對角,形成一個約5公尺×5公尺的方形區域,這個區域可以根據實際空間大小進行調整。紅外光由電磁波發射源100裡面的數個固定LED燈發出,每 秒數次。每個電磁波發射源100內設計有兩個雷射掃描模組,分別在水平和垂直方向輪流對定位空間發射橫豎雷射掃描5公尺×5公尺的定位空間。因此,空間位置計算模組的電磁波感測器200a相對地必須能同步接收紅外線與雷射光線,因而計算單元200b可利用接收到的電磁波訊號的接收時間差來計算其所在位置之相對空間位置及六個自由度運動量。在另一個實施例中,電磁波發射源100可以在使用者上方排成一個陣列,各自發出帶有其特定ID(比如Mac Address)的電磁波訊號,如圖2所示。這樣的電磁波發射源100可以是LED光源、雷射光源、藍芽訊號源(iBeacon訊號發射器),或Wi-Fi無線接入點。相對地,空間位置計算模組的電磁波感測器200a就是光感測器、雷射感測器、藍芽模組或Wi-Fi訊號接收模組。此時,計算單元200b則可利用接收到的電磁波訊號的能量差或相位差來計算其所在位置之相對空間位置及六個自由度運動量。如有必要,空間位置計算模組可進一步包含一慣性感測器(比如G sensor),以便取得空間中的轉動訊息。
請見圖4,該圖為作業主機300的元件方塊圖。作業主機300包含一通訊模組310、一動作計算模組320、一虛擬人物呈現模組330,及一錄製模組340。 通訊模組310與各傳輸單元200c訊號連接,以接收每一空間位置計算模組的相對空間位置及六個自由度運動量。此處,通訊模組310應與每一空間位置計算模組中的資料傳輸單元200c具有一致的通訊規格。也就是說,通訊模組310與資料傳輸單元200c間的通訊連接若為無線通訊連接,可採用藍芽通訊、2.4G頻帶無線通訊或5G頻帶無線通訊;若為有線通訊連接,則通訊規格可符合USB規範或Thunderbolt規範。動作計算模組320與通訊模組連接310,以一反向運動演算法,藉由接收來自8個空間位置計算模組的個別相對空間位置及六個自由度運動量作為輸入,計算使用者500身體各部位之虛擬空間位置。目前已有許多種反向運動演算法可供利用,比如Reginer於1997年提出的一種基於迭代法和分布式的算 法、Jun等人於2009年提出將工作區速度輸入的空置問題轉化為求解機器人反向運動演算法、Roland等人於2009年針對並聯機械臂的基於遺傳演算法的優化方法等,甚至是封裝於套裝軟體中,軟體廠商開發的反向運動演算法,比如Final Inverse Kinematics TM的骨架動畫的解決方案,都可以是本發明利用的反向運動演算法。但因本發明的重點在以最少的觀測節點(8個空間位置計算模組)進行有效的反向運動演算,減少硬體資源消耗並節省購置成本,因而不強調在該些演算法中的最佳表現。前面所說的空間位置計算模組的相對空間位置,指的是每一個空間位置計算模組於至少二個電磁波發射源100定義的空間中的相對位置座標;虛擬空間位置則是作業主機300自行定義,用於展現虛擬物件在人眼呈現方位的空間座標。比如頭部主要空間位置計算模組206計算的相對空間位置座標為(873.283,23.532,101.990),但其相應的虛擬空間位置座標則為(24.83,99.13,10.45),兩者的坐標系不同。要注意的是,因為每次連結定位(將空間位置計算模組計算的相對空間位置座標指定為一虛擬空間位置座標)是重行計算相對位置座標與虛擬空間位置,因此對應的結果並非每次相同。
虛擬人物呈現模組330與動作計算模組320及通訊模組310連接,用以將8個空間位置計算模組的相對空間位置與一虛擬人物對應部位的虛擬空間位置連結定位、產生該虛擬人物變動以反應該使用者500身體的實體空間位置變動,及透過通訊模組310即時將虛擬人物變動由該虛擬人物的一第一視角看出的一虛擬影像向外部傳輸。在本實施例中,該虛擬人物為圖5所示的一雪人600,使用者500在頭戴顯示器400中顯示的畫面,即是由雪人600的眼睛606看出的畫面;使用者500的身體部分,即左手、右手、左腳、右腳、腰部、頭部、左手肘與右手肘上的空間位置計算模組(左手主要空間位置計算模組201、右手主要空間位置計算模組202、左腳主要空間位置計算模組203、右腳主要空間位置計算模組204、腰部主要空間位置計算模組205、頭部主要空間位置計算模組206、左 手肘輔助空間位置計算模組211及右手肘輔助空間位置計算模組212)的相對空間位置,分別與雪人的左手601、右手602、左腳603、右腳604、腰部605、眼睛606、左手肘607與右手肘608連結定位。如此一來,使用者500身體於實體空間位置變動,即可以該虛擬人物600的變動反應出來,比如使用者500左手揮動,虛擬人物600的左手也會揮動。同時,這樣的互動也顯示了動作捕捉的結果。第一視角的方向為固設於使用者500頭部的頭部主要空間位置計算模組206之平行使用者500視線方向。也就是使用者500朝哪看,雪人600就朝哪看。由於頭戴顯示器400中顯示的畫面可能預設有虛擬背景,虛擬影像便會包含雪人600眼睛606特定角度看到的虛擬背景以及部分雪人600的身體,對應使用者500當時的頭部主要空間位置計算模組206的空間方向,呈現在使用者500的眼中。
錄製模組340與虛擬人物呈現模組330連接,用以錄製虛擬人物(雪人600)變動,並形成一輸出檔,該輸出檔可以前述的第一視角方式或一第三視角方式,於一螢幕350或其它行動裝置螢幕(未繪示)重現雪人600的連續變動(動作捕捉)影像。當然,依照本發明的精神,若沒有製作輸出檔,頭戴顯示器400的呈現畫面可同步呈現於螢幕350上。如此,若使用者500有操作助手協助操作本系統,他便可以同步知道使用者500目前接收到的影像為何,何時需要幫助。 輸出檔的錄製操作(開始錄製與停止錄製)可以由作業主機300,透過一套輸入設備(比如鍵鼠組,未繪示)來進行,也可以由使用者500自行操作。此時,固設於上肢末梢(左手、右手)的二個主要空間位置計算模組(左手主要空間位置計算模組201與右手主要空間位置計算模組202)需要進一步各包含一些特殊的設計。請見圖6,該圖為左手主要空間位置計算模組201或右手主要空間位置計算模組202的另一元件方塊圖。左手主要空間位置計算模組201或右手主要空間位置計算模組202與其它主要空間位置計算模組的硬體元件主要差異在前二者多了一個觸控平板200d與一觸發器200e。觸控平板200d的功能將於後文中說 明。觸發器200e,比如一實體按鈕,可用以開啟或關閉錄製雪人600的變動(身體)。
要注意的是,前述空間位置計算模組的元件雖依其所屬固定部位不同而略有差異,然該些元件實屬系統內部操作功能所需;為了提供更好的使用者經驗,空間位置計算模組可進一步包含一些用於固設於人體的裝置。請見圖7,該圖為空間位置計算模組的一側面外觀示意圖。在圖7中,空間位置計算模組前述的所有元件可整合於一外殼200f內(上),並另外包含一穩定板200g與一綁帶組200h。穩定板200g是用來藉其與使用者皮膚或衣物大面積接觸而不造成該空間位置計算模組之晃動,材料可以是熱塑性塑膠、熱固性塑膠、木板、竹子或金屬。綁帶組200h是藉其彈性伸縮特性,以綁附該空間位置計算模組於使用者500之身體,比如頭、手、腳等部位。如果綁附部位過大,比如腰部,綁帶組200h可以多一個可連結開口。操作時首先打開開口,當綁帶組200h纏於腹部後,再將開口兩端連結,以完成固設。
頭戴顯示器400與通訊模組310通訊連接,用以接收虛擬影像並呈現該虛擬影像給穿戴頭戴顯示器400的使用者500。頭戴顯示器400目前在市面上的款式型號相當多,本發明不限定使用的規格。然而必須注意的是,頭戴顯示器400與通訊模組310間的通訊連接規格必須一致。若通訊連接為無線通訊連接時,可採用藍芽通訊、2.4G頻帶無線通訊或5G頻帶無線通訊;若為有線通訊連接,通訊規格須符合USB規範或Thunderbolt規範。
依照本發明,虛擬人物的連結定位有特定的操作。首先,虛擬人物呈現模組330在虛擬人物開始連結定位時,將雪人600的各部空間位置固定、在雪人600的四肢末梢、頭部、腰部及雙手肘或雙膝部於虛擬影像中的位置各形成一標定圖像,並於虛擬空間中形成代表各空間位置計算模組位置之使用者500的四肢末梢、頭部、腰部及雙手肘或雙膝部的定位影像。為了有更佳的理解,請見 圖8,該圖為標定圖像與定位影像的空間分佈示意圖。在還沒有完成所有空間位置計算模組的連結定位前,雪人600無法受使用者500操控,即無法進行動作捕捉。此時,虛擬人物呈現模組330會在虛擬空間中形成暫時固定不動的代表雪人600左手601的一左手標定圖像621、代表雪人600右手602的一右手標定圖像622、代表雪人600左腳603的一左腳標定圖像623、代表雪人600右腳604的一右腳標定圖像624、代表雪人600腰部605的一腰部標定圖像625、代表雪人600頭部(眼睛606)的一頭部標定圖像626、代表雪人600左手肘607的一左手肘標定圖像627及代表雪人600右手肘608的一右手肘標定圖像628。相對地,虛擬人物呈現模組330也會在虛擬空間中形成可隨對應的空間位置計算模組的位置變化而移動的定位影像,如對應左手主要空間位置計算模組201的一左手定位影像521(手形)、對應右手主要空間位置計算模組202的一右手定位影像522(手形)、對應左腳主要空間位置計算模組203的一左腳定位影像523(腳形)、對應右腳主要空間位置計算模組204的一右腳定位影像524(腳形)、對應腰部主要空間位置計算模組205的一腰部定位影像525(菱形)、對應頭部主要空間位置計算模組206的一頭部定位影像526(臉形)、對應左手肘輔助空間位置計算模組211的一左手肘定位影像527(菱形)及對應右手肘輔助空間位置計算模組212的一右手肘定位影像528(菱形)。
頭戴顯示器400會呈現全部或部分該些標定圖像與定位影像於該虛擬影像中,當任一空間位置計算模組因移動而其對應定位影像與該虛擬人物的對應標定圖像重疊時,使用者500可操作觸控平板200d或作業主機300而完成該些空間位置計算模組之連結定位。以圖8來說,左手定位影像521可向下方移動,也就是實體空間中左手向下移動,以與左手標定圖像621重疊,使用者500便可操作觸控平板200d進行連結定位。而對某些本已與標定圖像重疊的定位影像,則可不必移動,比如頭部標定圖像626與頭部定位影像526。本發明之用於虛擬實 境環境的動作捕捉系統10可設定為所有的定位影像都與對應的標定圖像都重疊時才進行連結定位,也可以分別為之。要注意的是,圖8是以平面圖形來描述立體空間,在垂直紙面方向也會有移動對位的情形發生。當所有的空間位置計算模組都連結定位完畢後,雪人600便可依照使用者500的捕捉動作而運動了。
要注意的是,連結定位可有一定的容許誤差,超過了容許誤差會造成雪人600的影像變動無法有效反應使用者500的捕捉動作,也就是空間位置計算模組之連結定位造成虛擬人物無法因使用者500身體於虛擬空間位置之變動而產生動作或產生的動作不順暢。此時,使用者500可操作觸控平板200d以釋放現有連結定位紀錄以重新進行連結定位。另一種方式是利用作業主機300透過一套輸入設備(比如鍵鼠組,未繪示)來調整虛擬人物的四肢長度,以便無須重新進行連結定位也能調整控制順暢度。比如雪人600的雙手與雙腳因四肢末端連結定位而呈現彎曲,然此時使用者500的四肢是伸直的,從而難以操作雪人或是導致動作捕捉失敗。若同時按”N”鍵與”-”鍵,雪人600的四肢縮短,如此雪人600的四肢可漸漸伸直,進而能與使用者500同步。
依照本發明的精神,頭戴顯示器400呈現的虛擬影像最好可以讓使用者500選擇性地操作顯示雪人600的四面鏡像(左、右、前、後等方向,以第一視角向前看會看不到後方鏡像,必須回頭才可以看到),如圖9所示。這樣的做法可以協助使用者500進行主要空間位置計算模組之連結定位,同時也可以讓使用者500從不同方向看雪人600的動作,以利動作捕捉的後續應用開發。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明之精神和範圍內,當可作些許之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (10)

  1. 一種用於虛擬實境環境的動作捕捉系統,包含:至少二電磁波發射源,每一電磁波發射源用以發射至少一特定波長範圍內之電磁波;8個空間位置計算模組,每一空間位置計算模組包含:至少一電磁波感測器,用以分別接收來自該至少二電磁波發射源的電磁波訊號;一計算單元,與該至少一電磁波感測器連接,利用接收到的電磁波訊號的接收時間差或能量差以計算該空間位置計算模組所在位置相對於該至少二個電磁波發射源之相對空間位置及六個自由度運動量;及一資料傳輸單元,與該計算單元連接,用以將前述相對空間位置及六個自由度運動量向外部傳輸;其中6個主要空間位置計算模組分別用以可拆卸地固設於一使用者四肢末梢、頭部及腰部,2個輔助空間位置計算模組,分別用以可拆卸地固設於該使用者雙手肘或雙膝部;一作業主機,包含:一通訊模組,與該等資料傳輸單元訊號連接,以接收每一空間位置計算模組的相對空間位置及六個自由度運動量;一動作計算模組,與該通訊模組連接,以一反向運動演算法,藉由接收來自8個空間位置計算模組的相對空間位置及六個自由度運動量作為輸入,計算該使用者身體各部位之虛擬空間位置;及一虛擬人物呈現模組,與該動作計算模組及通訊模組連接,用以將該8個空間位置計算模組的相對空間位置與一虛擬人物對應之身體部位的虛擬空間位置連結定位、產生該虛擬人物之身體變動以反應該使用者身體於實體空間位置變動,及透過該通訊模組即時將虛擬人物之身體變動由該虛擬人物的一第一視角看出的一虛擬影像向外部傳輸;及一頭戴顯示器,與該通訊模組通訊連接,用以接收該虛擬影像並呈現該虛擬影像給穿戴該頭戴顯示器的該使用者,其中固設於使用者頭部的主要空間位置計算模組之平行使用者視線方向為該第一視角方向。
  2. 如申請專利範圍第1項之用於虛擬實境環境的動作捕捉系統,其中該至少二電磁波發射源為LED光源、雷射光源、紅外線與雷射混合光源、藍芽訊號源,或Wi-Fi無線接入點。
  3. 如申請專利範圍第1項之用於虛擬實境環境的動作捕捉系統,其中固設於上肢末梢的二主要空間位置計算模組進一步各包含一觸控平板。
  4. 如申請專利範圍第3項之用於虛擬實境環境的動作捕捉系統,其中該虛擬人物呈現模組在該虛擬人物開始連結定位時,將該虛擬人物之身體各部位的虛擬空間位置固定、在該虛擬人物四肢末梢、頭部、腰部及雙手肘或雙膝部於虛擬影像中的虛擬空間位置各形成一標定圖像,並於虛擬空間中形成代表各空間位置計算模組所對應虛擬空間位置之使用者的四肢末梢、頭部、腰部及雙手肘或雙膝部的定位影像,該頭戴顯示器呈現全部或部分該些標定圖像與定位影像於該虛擬影像中,當任一空間位置計算模組因移動而其對應定位影像與該虛擬人物的對應標定圖像重疊時,該使用者操作該觸控平板或該作業主機而完成該些空間位置計算模組之連結定位。
  5. 如申請專利範圍第4項之用於虛擬實境環境的動作捕捉系統,其中若主要空間位置計算模組之連結定位造成虛擬人物無法因該使用者身體於實體空間位置之變動而產生動作或產生的動作不順暢,使用者可操作該觸控平板以釋放現有連結定位記錄以重新進行連結定位。
  6. 如申請專利範圍第3項之用於虛擬實境環境的動作捕捉系統,其中該作業主機進一步包含一錄製模組,與該虛擬人物呈現模組連接,用以錄製虛擬人物之身體變動,並形成一輸出檔。
  7. 如申請專利範圍第6項之用於虛擬實境環境的動作捕捉系統,其中固設於上肢末梢的二主要空間位置計算模組進一步各包含一觸發器,用以開啟或關閉錄製虛擬人物之身體變動。
  8. 如申請專利範圍第1項之用於虛擬實境環境的動作捕捉系統,該通訊模組與該資料傳輸單元間的訊號連接、或頭戴顯示器與該通訊模組間的通訊連接為無線通訊連接,採用藍芽通訊、2.4G頻帶無線通訊或5G頻帶無線通訊。
  9. 如申請專利範圍第1項之用於虛擬實境環境的動作捕捉系統,該通訊模組與該資料傳輸單元間的訊號連接、或頭戴顯示器與該通訊模組間的通訊連接為有線通訊連接,通訊規格符合USB規範或Thunderbolt規範。
  10. 如申請專利範圍第1項之用於虛擬實境環境的動作捕捉系統,其中該空間位置計算模組進一步包含:一穩定板,用以藉其與使用者皮膚大面積接觸而不造成該空間位置計算模組之晃動;及一綁帶組,用以綁附該空間位置計算模組於使用者之身體。
TW107102687A 2018-01-25 2018-01-25 用於虛擬實境環境的動作捕捉系統 TWI666571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW107102687A TWI666571B (zh) 2018-01-25 2018-01-25 用於虛擬實境環境的動作捕捉系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107102687A TWI666571B (zh) 2018-01-25 2018-01-25 用於虛擬實境環境的動作捕捉系統

Publications (2)

Publication Number Publication Date
TWI666571B true TWI666571B (zh) 2019-07-21
TW201933052A TW201933052A (zh) 2019-08-16

Family

ID=68049694

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107102687A TWI666571B (zh) 2018-01-25 2018-01-25 用於虛擬實境環境的動作捕捉系統

Country Status (1)

Country Link
TW (1) TWI666571B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191536A (zh) * 2019-12-19 2020-05-22 武汉西山艺创文化有限公司 一种基于5g通信技术的动作捕捉系统及方法
CN111782064A (zh) * 2020-06-15 2020-10-16 光感(上海)科技有限公司 一种运动式无线定位的6dof追踪系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126239A (zh) * 2019-12-19 2020-05-08 武汉西山艺创文化有限公司 一种基于5g通信的面部表情捕捉系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160299563A1 (en) * 2015-04-10 2016-10-13 Sony Computer Entertainment Inc. Control of Personal Space Content Presented Via Head Mounted Display
CN106484121A (zh) * 2016-11-14 2017-03-08 陈华丰 一种动作捕捉系统及方法
TW201727439A (zh) * 2015-10-30 2017-08-01 傲思丹度科技公司 用於身體手勢介面及投影顯示器之系統及方法
TW201731567A (zh) * 2016-03-02 2017-09-16 宏達國際電子股份有限公司 虛擬實境系統以及追蹤器裝置
US20170287222A1 (en) * 2016-03-30 2017-10-05 Seiko Epson Corporation Head mounted display, method for controlling head mounted display, and computer program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160299563A1 (en) * 2015-04-10 2016-10-13 Sony Computer Entertainment Inc. Control of Personal Space Content Presented Via Head Mounted Display
TW201727439A (zh) * 2015-10-30 2017-08-01 傲思丹度科技公司 用於身體手勢介面及投影顯示器之系統及方法
TW201731567A (zh) * 2016-03-02 2017-09-16 宏達國際電子股份有限公司 虛擬實境系統以及追蹤器裝置
US20170287222A1 (en) * 2016-03-30 2017-10-05 Seiko Epson Corporation Head mounted display, method for controlling head mounted display, and computer program
CN106484121A (zh) * 2016-11-14 2017-03-08 陈华丰 一种动作捕捉系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191536A (zh) * 2019-12-19 2020-05-22 武汉西山艺创文化有限公司 一种基于5g通信技术的动作捕捉系统及方法
CN111782064A (zh) * 2020-06-15 2020-10-16 光感(上海)科技有限公司 一种运动式无线定位的6dof追踪系统

Also Published As

Publication number Publication date
TW201933052A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
JP7297028B2 (ja) 拡張現実のためのシステムおよび方法
US10854098B1 (en) Adaptive visual overlay wound simulation
US11262841B2 (en) Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
JP7162898B2 (ja) 着用可能な動作追跡システム
JP4871270B2 (ja) 仮想3次元空間内で動作するシステム及び方法と視覚化システムを介してオペレーションを選択するシステム
US11086392B1 (en) Devices, systems, and methods for virtual representation of user interface devices
Welch History: The use of the kalman filter for human motion tracking in virtual reality
US9142144B2 (en) Hemorrhage control simulator
US20170205903A1 (en) Systems and methods for augmented reality
CN110275603A (zh) 分布式人造现实系统、手镯设备和头戴式显示器
TWI666571B (zh) 用於虛擬實境環境的動作捕捉系統
WO2019152619A1 (en) Blink-based calibration of an optical see-through head-mounted display
JP2014086091A (ja) 仮想現実ディスプレイシステム
TW202026846A (zh) 動作捕捉方法
RU187548U1 (ru) Перчатка виртуальной реальности
US20200209953A1 (en) Positioning system
KR102162922B1 (ko) 촉각 피드백이 가능한 가상현실 기반의 손 재활 시스템
CN206819290U (zh) 一种虚拟现实多人互动的系统
JP2023507241A (ja) 随意のデュアルレンジ運動学を用いたプロキシコントローラスーツ
US11887259B2 (en) Method, system, and apparatus for full-body tracking with magnetic fields in virtual reality and augmented reality applications
TWM563585U (zh) 用於虛擬實境環境的動作捕捉系統
RU2673406C1 (ru) Способ изготовления перчатки виртуальной реальности
WO2019067650A1 (en) TELEMETRY AND ACCESSORY TRACKING OF VISIOCASTIC SYSTEMS
US20240268892A1 (en) Virtual Reality Surgical Systems And Methods Including Virtual Navigation
Yang 3D Sensing and Tracking of Human Gait

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees