TWI662439B - 虛擬空間定位方法及裝置 - Google Patents
虛擬空間定位方法及裝置 Download PDFInfo
- Publication number
- TWI662439B TWI662439B TW107102724A TW107102724A TWI662439B TW I662439 B TWI662439 B TW I662439B TW 107102724 A TW107102724 A TW 107102724A TW 107102724 A TW107102724 A TW 107102724A TW I662439 B TWI662439 B TW I662439B
- Authority
- TW
- Taiwan
- Prior art keywords
- processor
- sensing data
- data sets
- virtual space
- coordinate system
- Prior art date
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
一種虛擬空間定位方法及裝置,應用於一人機介面,包含以下步驟:接收一慣性感測單元所發出之複數個第一感測資料組,判斷該等第一感測資料組之一資料特徵符合一第一預定資料模型,接收該慣性感測單元所發出之複數個第二感測資料組,判斷該等第二感測資料組之一資料特徵符合一第二預定資料模型,根據該等第一感測資料組及該等第二感測資料組計算一移動方向及一移動距離,根據該第一移動方向及該第一移動距離定義一實體空間之一第一座標系統,且於該第一座標系統及該人機介面所對應之一虛擬空間之一第二座標系統間建立一對應關係。
Description
本發明係關於一種虛擬空間定位方法與裝置,具體而言,本發明係關於一種利用慣性感測單元所產生之感測資料組於一虛擬空間定位之方法與裝置。
虛擬實境技術是由電腦產生多維度(例如:二維或三維)虛擬空間,並於該虛擬空間中提供使用者視覺等感官的模擬環境。當使用者動作時,電腦會進行複雜的運算,於顯示螢幕顯示虛擬環境中對應的影像資訊、虛擬物件等等,讓使用者產生彷彿身歷其境的臨場感。
在虛擬實境技術中,使用者可藉由各種傳感器(例如:慣性感測單元(Inertial Measurement Unit,IMU)、雷射傳感器、紅外線傳感器、影像感測器等)來與虛擬空間中的虛擬物件互動或進行任何操作,因此虛擬空間之定位(亦即,對使用者動作精確地定位以呈現於虛擬環境中)便相當重要。目前虛擬空間的定位技術主要有光學式、影像式及採用特定輸入設備等方式。
以宏達國際電子股份有限公司(HTC Corporation)與Valve公司所生產的Vive為例,其係採用燈塔(Lighthouse)追蹤/定位技術。概要而言,燈塔追蹤/定位技術於一空間中設置複數個紅外線雷射發射基站,由
頭戴式顯示器(Head-Mounted Display,HMD)上的光感應器偵測紅外線雷射發射基站所發出的光並計時,再利用頭戴式顯示器收集/感應到感測資料的時間資訊判斷出頭戴式顯示器之位置。再以Oculus公司所生產的Oculus Rift為例,其係由使用者穿戴的頭戴式顯示器和控制器上的發光二極體發光,並以外部攝影機拍攝影像,再由電腦分析影像並判斷其位置。
上述這些技術皆存在佈建昂貴、不易攜帶等缺點,且影像式的定位易受到背景光線的干擾。有鑑於此,本技術領域亟需一種便捷可攜的虛擬空間定位技術,以提供行動虛擬實境之發展運用。
本發明之目的在於提供一種虛擬空間定位方法與裝置,可應用於一人機介面以定位使用者之動作位置。
本發明所提供之該虛擬空間定位方法由一處理器實施,且包含以下步驟:(A)由該處理器接收一慣性感測單元所發出之複數個第一感測資料組,其中該等第一感測資料組對應於一實體空間之一第一位置,(B)由該處理器判斷該等第一感測資料組之一第一資料特徵符合一第一預定資料模型,(C)由該處理器接收該慣性感測單元所發出之複數個第二感測資料組,其中該等第二感測資料組對應於該實體空間之一第二位置,(D)由該處理器判斷該等第二感測資料組之一第二資料特徵符合一第二預定資料模型,(E)由該處理器根據該等第一感測資料組及該等第二感測資料組計算一第一移動方向及一第一移動距離,(F)由該處理器根據該第一移動方向及該第一移動距離,定義該實體空間之一第一座標系統,以及(G)由該處理器於該第一座標系統及該人機介面所對應之一虛擬空間之一第二座標系
統間建立一對應關係。
較佳地,該第一座標系統具有複數個第一座標軸,各該第一座標軸具有一第一最大值,該第二座標系統具有複數個第二座標軸,各該第二座標軸具有一第二最大值,該步驟(G)係由該處理器將該第二座標系統之一原點對應至將該第一座標系統之一原點,且將該等第二最大值分別對應至該等第一最大值。
較佳地,該虛擬空間定位方法更包括以下步驟:(H)由該處理器接收該慣性感測單元所發出之複數個第三感測資料組,其中該等第三感測資料組對應於該實體空間之一第三位置,(I)由該處理器根據該等第一感測資料組及該等第三感測資料組計算一第二移動方向及一第二移動距離,(J)由該處理器根據該第二移動方向及該第二移動距離判斷該第三位置落入該第一座標系統之一座標範圍內,(K)由該處理器根據該第二移動方向、該第二移動距離及該對應關係,決定該第三位置於該第二座標系統之一座標點,以及(L)於一顯示單元顯示該虛擬空間,且於該虛擬空間之該座標點顯示一虛擬物件。
較佳地,該慣性感測單元係安裝於一使用者之一手部,該第一預定資料模型與該第二預定資料模型分別對應於該使用者之一第一特定手勢及一第二特定手勢。
較佳地,該慣性感測單元包括一加速度計,各該第一感測資料組包括一第一加速度資料,且各該第二感測資料組包括一第二加速度資料。
較佳地,該慣性感測單元更包括一陀螺儀及一磁力計,各該
第一感測資料組更包括一第一角加速度資料及一第一方向角資料,且各該第二感測資料組更包括一第二角加速度資料及一第二方向角資料。
較佳地,該步驟(B)係由該處理器以一卷積神經網路判斷該等第一感測資料組之該第一資料特徵是否符合該第一預定資料模型,且該步驟(D)係由該處理器以該卷積神經網路判斷該等第二感測資料組之該第二資料特徵是否符合該第二預定資料模型。
較佳地,該虛擬空間定位方法更包括以下步驟:(M)由該處理器接收對應於該第一特定手勢之複數個第一訓練訊息,其中各該第一訓練訊息包含複數個第一訓練感測資料組,(N)由該處理器接收對應於該第二特定手勢之複數個第二訓練訊息,其中各該第二訓練訊息包含複數個第二訓練感測資料組,(O)由該處理器根據根據各該第一訓練訊息之一資料特徵,以一卷積神經網路建立該第一預定資料模型,以及(P)由該處理器根據各該第二訓練訊息之一資料特徵,以該卷積神經網路建立該第二預定資料模型。
本發明所提出之該虛擬空間定位裝置應用於一人機介面,且包括一訊號接收介面及一處理器,其中該處理器與該訊號接收介面電連結。該訊號接收介面接收一慣性量測單元所發送之複數個第一感測資料組及複數個第二感測資料組,其中該等第一感測資料組及該等第二感測資料組分別對應於一實體空間之一第一位置及一第二位置。該處理器判斷該等第一感測資料組之一第一資料特徵符合一第一預定資料模型,且該等第二感測資料組之一第二資料特徵符合一第二預定資料模型。該處理器根據該等第一感測資料組及該等第二感測資料組計算一第一移動方向及一第一移動距
離,根據該第一移動方向及該第一移動距離,定義該實體空間之一第一座標系統,且於該第一座標系統及該人機介面所對應之一虛擬空間之一第二座標系統間建立一對應關係。
較佳地,該第一座標系統具有複數個第一座標軸,各該第一座標軸具有一第一最大值,該第二座標系統具有複數個第二座標軸,各該第二座標軸具有一第二最大值,該處理器將該第二座標系統之一原點對應至將該第一座標系統之一原點,且將該等第二最大值分別對應至該等第一最大值。
較佳地,該虛擬空間定位裝置更包括一顯示單元,其係與該處理器電連結。該處理器接收該慣性感測單元所發出之複數個第三感測資料組,該等第三感測資料組對應於該實體空間之一第三位置。該處理器根據該等第一感測資料組及該等第三感測資料組計算一第二移動方向及一第二移動距離,該處理器根據該第二移動方向及該第二移動距離判斷該第三位置落入該第一座標系統之一座標範圍內。該處理器根據該第二移動方向、該第二移動距離及該對應關係,決定該第三位置於該第二座標系統之一座標點。該顯示單元顯示該虛擬空間,且於該虛擬空間之該座標點顯示一虛擬物件。
較佳地,本發明所提出之該虛擬空間定位裝置還能執行前述虛擬空間定位方法所能執行之其他步驟。
在參閱圖式及隨後描述之實施方式後,此技術領域具有通常知識者便可瞭解本發明之其他目的,以及本發明之技術手段及實施態樣。
10‧‧‧虛擬空間定位裝置
101‧‧‧訊號接收介面
102‧‧‧處理器
103‧‧‧顯示單元
105‧‧‧慣性感測單元
20‧‧‧人機介面
23‧‧‧實體空間
211‧‧‧第一位置
212‧‧‧第二位置
235‧‧‧第三位置
25‧‧‧虛擬空間
255‧‧‧座標點
401‧‧‧智慧型手機
403‧‧‧智慧手環
404‧‧‧頭戴式裝置
411‧‧‧特定手勢
43‧‧‧實體空間
431‧‧‧第一位置
433‧‧‧第二位置
45‧‧‧虛擬空間
451‧‧‧原點
453‧‧‧最大距離點
301~308、321~325‧‧‧步驟
第1圖為本發明之虛擬空間定位裝置10之結構示意圖;第2圖為虛擬空間定位裝置10將一實體空間23之第一座標系統對應至一虛擬空間25之第二座標系統之實施示意圖;第3A圖為本發明之虛擬空間定位方法之部分流程示意圖;第3B圖為本發明之虛擬空間定位方法之部分流程示意圖;以及第4圖為本發明之虛擬空間定位裝置應用於虛擬實境裝置之一實施例示意圖。
以下將透過實施例來解釋本發明之內容,但本發明的實施例並非用以限制本發明須在如實施例所述之任何特定的環境、應用或特殊方式方能實施。因此,關於實施例之說明僅為闡釋本發明之目的,而非用以限制本發明。需說明者,以下實施例及圖式中,與本發明非直接相關之元件已省略而未繪示,且圖式中各元件間之尺寸關係僅為求容易瞭解,並非用以限制實際比例。
本發明之一實施例如第1圖及第2圖所示,其中第1圖為本發明之虛擬空間定位裝置10之結構示意圖,第2圖為虛擬空間定位裝置10將一實體空間23之第一座標系統對應至一虛擬空間25之第二座標系統之示意圖。
如第1圖所示,虛擬空間定位裝置10包括一訊號接收介面101、一處理器102及一顯示單元103,且虛擬空間定位裝置10與一慣性感測單元(Inertial Measurement Unit,IMU)105搭配使用。訊號接收介面101及
顯示單元103分別與處理器102電連結。於某些實施例中,顯示單元103可設置於虛擬空間定位裝置10之外。
訊號接收介面101為一通訊元件(例如:天線或傳輸埠),用以接收慣性量測單元105所發送之感測資料組。顯示單元103為一具顯示功能之裝置,例如:螢幕或投影器等。慣性感測單元105是一種用於檢測和測量物體加速度和多自由度(Degree Of Freedom,DOF)運動的感測器。於某些實施例中,慣性感測單元105包括一加速度計,故慣性感測單元105所感測/發送之各感測資料組(例如:後續說明中之各第一感測資料組、各第二感測資料組、各第三感測資料組)可個別地包括一加速度資料。
於某些實施例中,慣性感測單元105還可包括一陀螺儀及一磁力計,故慣性感測單元105所感測/發送之各感測資料組(例如:後續說明中之各第一感測資料組、各第二感測資料組、各第三感測資料組)還可包括一角加速度資料及一方向角資料。
在本實施例中,慣性感測單元105係置放於一使用者之一手部(或其他肢體部位),故其所產生/發送之該等感測資料組對應至使用者之手部(或其他肢體部位)動作/姿勢。舉例而言,慣性感測單元105可配置於一手環或一指環中,並由使用者穿戴於手部。
請參考第2圖,於本實施例中,虛擬空間定位裝置10係安裝於一人機介面(Human Machine Interface,HMI)20上。人機介面20之實施態樣可為電腦、智慧眼鏡、智慧頭盔或頭戴式裝置等等。人機介面20上可執行一虛擬環境應用程式,而該虛擬環境應用程式對應至一虛擬空間25。顯示單元103顯示虛擬空間25,而使用者可藉由操作慣性感測單元105來控制虛
擬空間25中之虛擬物件(例如:游標)或於虛擬空間25中執行操作,詳述如下。
於本實施例中,慣性感測單元105係置放於使用者之手部。訊號接收單元101持續地接收慣性感測單元105所發送之感測資料組。處理器102會判斷是否有複數個感測資料組之資料特徵對應至一第一預定資料模型。若有複數個感測資料組之資料特徵對應至一第一預定資料模型,處理器102再判斷是否有另外的複數個感測資料組之資料特徵對應至一第二預定資料模型。
茲假設訊號接收單元101接收到複數個第一感測資料組,且處理器102判斷該等第一感測資料組之一第一資料特徵符合該第一預定資料模型。茲假設訊號接收單元101後續(例如:幾秒後)接收到複數個第二感測資料組,且處理器102判斷該等第二感測資料組之一第二資料特徵符合該第二預定資料模型。該等第一感測資料組對應至實體空間23之第一位置211(亦即,使用者之手部於實體空間23之第一位置211動作時,慣性感測單元105發送該等第一感測資料組),而該等第二感測資料組對應至實體空間23之第二位置212(亦即,使用者之手部於實體空間23之第二位置212動作時,慣性感測單元105發送該等第二感測資料組)。
處理器102會利用該等第一感測資料組及該等第二感測資料組建立實體空間23及虛擬空間25間之座標對應關係。具體而言,處理器102根據該等第一感測資料組及該等第二感測資料組計算出一第一移動方向及一第一移動距離。該第一移動方向及該第一移動距離代表第二位置212(亦即,慣性感測單元105發送該等第二感測資料組之位置)與第一位置211(亦
即,慣性感測單元105發送該等第一感測資料組之位置)間之一第一相對位置。處理器102根據該第一移動方向及該第一移動距離(亦即,根據該第一相對位置),定義實體空間23之一第一座標系統。之後,處理器102於該第一座標系統及人機介面20所對應之虛擬空間25之一第二座標系統間建立一對應關係。
具體而言,實體空間23之該第一座標系統具有複數個第一座標軸(例如:X軸、Y軸及Z軸),且各該第一座標軸具有一第一最大值(例如:Xmax、Ymax及Zmax)。此外,虛擬空間25之該第二座標系統具有複數個第二座標軸(例如:x軸、y軸及z軸),且各該第二座標軸具有一第二最大值(例如:xmax、ymax及zmax)。處理器102根據該第一移動方向及該第一移動距離(亦即,根據該第一相對位置)定義實體空間23之該第一座標系統之一座標範圍,其中該第一座標系統之原點(0,0,0)相當於慣性感測單元105發送該等第一感測資料組時所在之第一位置211,而該等第一座標軸之該等第一最大值Xmax、Ymax及Zmax所對應之座標點相當於慣性感測單元105發送該等第二感測資料組時所在之第二位置212。藉由將該第一座標系統之原點對應至第一位置211以及將該等第一最大值Xmax、Ymax及Zmax所對應之座標點對應至第二位置212,即定義了實體空間23之該第一座標系統之座標範圍。
如前所述,處理器102還會在實體空間23之該第一座標系統及虛擬空間25之該第二座標系統間建立一對應關係。具體而言,處理器102將虛擬空間25之該第二座標系統之原點對應於實體空間23之該第一座標系統之原點,且將該等第二座標軸之該等第二最大值xmax、ymax及zmax對應於該等第一座標軸之該等第一最大值Xmax、Ymax及Zmax。此外,處理器102還可根
據一預設之刻度設定方法於虛擬空間25之該第二座標系統上建立座標刻度,例如:可於原點至各該第二座標軸間等分100刻度,此等刻度設定方法為本發明所屬技術領域中具有通常知識者所熟知,故不贅述。透過前述運作,虛擬空間定位裝置10便已將實體空間23之該第一座標系統對應至虛擬空間25之該第二座標系統,建立了二者間之對應關係。
茲假設訊號接收單元101後續接收到慣性感測單元105所發出之複數個第三感測資料組,處理器102會判斷是否要據以控制或顯示虛擬空間25中之虛擬物件。該等第三感測資料組對應至實體空間23之第三位置235(亦即,使用者之手部於實體空間23之第三位置235動作時,慣性感測單元105發送該等第一感測資料組)。處理器102根據該等第一感測資料組及該等第三感測資料組計算一第二移動方向及一第二移動距離。該第二移動方向及該第二移動距離代表第三位置235(亦即,慣性感測單元105發送該等第三感測資料組之位置)與第一位置211(亦即,慣性感測單元105發送該等第一感測資料組之位置)間之一第二相對位置。處理器102根據該第二移動方向及該第二移動距離判斷第三位置235是否落入該第一座標系統之座標範圍內。若第三位置235落入該第一座標系統之座標範圍內,處理器102再根據該該第二移動方向、該第二移動距離以及該第一座標系統與該第二座標系統之該對應關係,決定第三位置235於該第二座標系統之一座標點255。接著,顯示單元103於該虛擬空間之座標點255顯示一虛擬物件(例如:一游標)。如此,即可實現在使用者實際操作慣性感測單元105(例如:透過手部動作)之實體空間及虛擬空間25之間建立明確的對應關係,以達成在人機介面20輸入資訊或/及控制/操作虛擬物件。
較佳地,於某些實施例中,處理器102可藉由一類神經網路(例如:卷積神經網路(Convolutional Neural Network,CNN))、一支持向量機(Support Vector Machine,SVM)或一決策樹等方法來判斷慣性感測單元105所發出之該等第一感測資料組之該第一資料特徵是否符合該第一預定資料模型。類似的,處理器102可藉由一類神經網路(例如:卷積神經網路)、一支持向量機或一決策樹等方法來判斷慣性感測單元105所發出之該等第二感測資料組之該第二資料特徵是否符合該第二預定資料模型。
若藉由類神經網路、支持向量機或決策樹之方法來判斷該等第一/第二感測訊息之該第一/第二資料特徵是否符合該第一/第二預定資料模型,該第一/第二資料特徵各可為振幅、斜率及/或越零率(zero-crossing rate)等時域特徵,或該時域特徵經傅立葉轉換後之頻域特徵。處理器102可依加速度資料、角加速度資料或方向角資料特性之不同而採取對應之分析技術以獲得第一/第二資料特徵。若採卷積神經網路來判斷,該第一/第二資料特徵可為該等第一/第二感測資料組之原始資料,此時該等第一/第二感測資料組中之加速度資料、角加速度資料或方向角資料可以整合為多維度的向量而一起分析。
於某些實施例中,慣性感測單元105可置放於使用者之手部。於該等實施例中,第一預定資料模型與第二預定資料模型可分別對應於使用者之一第一特定手勢及一第二特定手勢,例如:畫圈、打勾或上下框引號等手勢。
較佳地,於某些實施例中,訊號接收單元105可接收該使用者或其他使用者比劃該第一特定手勢時慣性感測單元105所發出之複數個
第一訓練訊息,其中各該第一訓練訊息包含複數個第一訓練感測資料組。處理器102再根據各該第一訓練訊息之一資料特徵來建立該第一預定資料模型(例如:以該卷積神經網路建立該第一預定資料模型)。同樣地,訊號接收單元105可接收該使用者或其他使用者比劃該第二特定手勢時慣性感測單元105所發出之複數個第二訓練訊息,其中各該第二訓練訊息包含複數個第二訓練感測資料組。處理器102再根據各該第二訓練訊息之一資料特徵來建立該第二預定資料模型(例如:以該卷積神經網路建立該第二預定資料模型)。前述該第一特定手勢及該第二特定手勢可為相同之手勢,亦可為不同之手勢。當該第一特定手勢及該第二特定手勢為相同之手勢時,該第一預定資料模型與第二預定資料模型為相同之資料模型。
在第2圖所示之實施例中,設置有虛擬空間定位裝置10之人機介面20為一虛擬實境之頭戴式裝置,但本發明所屬技術領域中具有通常知識者依據前述說明應可了解虛擬空間定位裝置10可運用於其他具有虛擬空間之人機介面。藉由虛擬空間定位裝置10所提供之技術,可使慣性感測單元105取代輸入裝置(例如:滑鼠),使用者透過移動慣性感測單元105(例如:手持慣性感測單元105比劃手勢、腳部安裝慣性感測單元105來移動)來指引電腦、智慧眼鏡或智慧頭盔之顯示螢幕中所呈現之虛擬物件(例如:游標)移動。
請參考第3A圖,其為描繪本發明之虛擬空間定位方法之一實施例之流程示意圖。虛擬空間定位方法應用於一人機介面,且由一處理器(例如:前述實施例中之處理器102)實施。
首先,執行步驟301,由該處理器接收一慣性感測單元所發
出之複數個第一感測資料組,其中該等第一感測資料組對應於一實體空間之一第一位置。其後,執行步驟302,由該處理器判斷該等第一感測資料組之一第一資料特徵是否符合一第一預定資料模型。於某些實施例中,步驟302係由該處理器以一卷積神經網路判斷該第一資料特徵符合該第一預定資料模型。若步驟302之判斷結果為否,則再次執行步驟301。若步驟302之判斷結果為是(亦即,該等第一感測資料組之該第一資料特徵符合該第一預定資料模型),則執行步驟303,由該處理器接收該慣性感測單元所發出之複數個第二感測資料組,其中該等第二感測資料組對應於該實體空間之一第二位置。其後,執行步驟304,由該處理器判斷該等第二感測資料組之一第二資料特徵是否符合一第二預定資料模型。於某些實施例中,步驟304係由該處理器以一卷積神經網路判斷該第一資料特徵符合該第一預定資料模型。若步驟304之判斷結果為否,則再次執行步驟301。
若步驟304之判斷結果為是(亦即,該等第二感測資料組之該第二資料特徵符合該第二預定資料模型),則執行步驟305,由該處理器根據該等第一感測資料組及該等第二感測資料組計算一第一移動方向及一第一移動距離。該第一移動方向及該第一移動距離代表該第二位置與該第一位置間之一第一相對位置。接著,於步驟306,由該處理器根據該第一移動方向及該第一移動距離,定義該實體空間之一第一座標系統。需說明者,該第一座標系統具有複數個第一座標軸,且各該第一座標軸具有一第一最大值。步驟306相當於將該慣性感測單元發送該等第一感測資料組當下所在的該第一位置設定為該第一座標系統之一原點,且將該慣性感測單元發送該等第二感測資料組當下所在的該第二位置設定為該等第一最大值所對應之
座標點。
其後,執行步驟307,由該處理器於該第一座標系統及該人機介面所對應之一虛擬空間之一第二座標系統間建立一對應關係。具體而言,該第二座標系統具有複數個第二座標軸,且各該第二座標軸具有一第二最大值。步驟307係由該處理器將該第二座標系統之一原點對應至將該第一座標系統之一原點,且將該等第二最大值分別對應至該等第一最大值。於某些實施例中,還可再執行步驟308,於該人機介面之一顯示單元顯示該虛擬空間。
某些實施例還會執行第3B圖所示之流程。於步驟321,由該處理器接收該慣性感測單元所發出之複數個第三感測資料組,其中該等第三感測資料組對應於該實體空間之一第三位置。於步驟322,由該處理器根據該等第一感測資料組及該等第三感測資料組計算一第二移動方向及一第二移動距離。該第二移動方向及該第二移動距離代表該第三位置與該第一位置間之一第二相對位置。於步驟323,由該處理器根據該第二移動方向及該第二移動距離判斷該第三位置是否落入該第一座標系統之一座標範圍內。若步驟323之判斷結果為否,則返回步驟321。若步驟323之判斷結果為是,則執行步驟324,由該處理器根據該第二移動方向、該第二移動距離及該對應關係,決定該第三位置於該第二座標系統之一座標點。於步驟325,於該顯示單元所顯示之該虛擬空間之該座標點顯示一虛擬物件。
於某些實施例中,該慣性感測單元係置放於一使用者之一手部,且該第一預定資料模型與該第二預定資料模型分別對應於該使用者之一第一特定手勢及一第二特定手勢。
於某些實施例中,該慣性感測單元包括一加速度計,各該第一感測資料組包括一第一加速度資料,且各該第二感測資料組包括一第二加速度資料。於某些實施例中,該慣性感測單元還包括一陀螺儀及一磁力計,且各該第一感測資料組更包括一第一角加速度資料及一第一方向角資料,各該第二感測資料組更包括一第二角加速度資料及一第二方向角資料。
較佳地,可於步驟302之前先執行一訓練流程以建立該第一及第二預定資料模型。舉例而言,當一或多個使用者手持慣性感測單元而比劃該第一特定手勢(例如:先下後上的打勾手勢)時,該訓練流程執行一步驟,由該處理器接收慣性感測單元所發出之複數個第一訓練訊息,其中各該第一訓練訊息對應至該第一特定手勢且包含複數個第一訓練感測資料組。該訓練流程還執行另一步驟,由該處理器根據各該第一訓練訊息之一資料特徵來建立該第一預定資料模型(例如:以一卷積神經網路建立)。同樣地,當一或多個使用者手持慣性感測單元而比劃該第二特定手勢時,該訓練流程執行一步驟,由該處理器接收慣性感測單元所發出之複數個第二訓練訊息,其中各該第二訓練訊息對應至該第二特定手勢且包含複數個第二訓練感測資料組。該訓練流程還執行另一步驟,由該處理器根據各該第二訓練訊息之一資料特徵來建立該第二預定資料模型(例如:以一卷積神經網路建立)。
除了上述步驟,本實施例之虛擬空間定位方法亦能執行在前述實施例中所闡述之所有操作並具有所有對應之功能,本發明所屬技術領域中具有通常知識者可直接瞭解此實施例如何基於前述實施例執行此等操作及具有該等功能,故不贅述。
請參考第4圖,其為描繪本發明之虛擬空間定位裝置應用於虛擬實境裝置之一實施例之示意圖。在第4圖中,智慧型手機401透過藍芽協定與一智慧手環403建立連線。智慧手環403設置有一慣性感測單元(圖上未標示)。智慧型手機401上的一應用程式(Application,APP)開啟後即可接收智慧手環403上之慣性感測單元所傳送之感測資料組。藉由該應用程式之標註功能可標註使用者做出一特定手勢(例如:畫圓或打勾等)時所接獲之各該感測資料組之一起始點與一結束點。之後,將收集到之該等感測資料組利用機器學習方法(例如:卷積神經網路)進行模型訓練,即可建立對應該特定手勢之預定資料模型。
其後,開啟智慧型手機401之應用程式中之虛擬實境功能,並將智慧型手機401放入行動的頭戴式裝置404中。智慧型手機401持續接收智慧手環403之慣性感測單元所傳送之感測資料組,並判斷接收到之該等感測資料組中之某一些之資料特徵是否符合訓練好之預定資料模型。當智慧手機401判斷該等感測資料組中之某一些之資料特徵符合預定資料模型時,代表使用者於某一位置(茲假設為第一位置431)比劃了特定手勢411。當智慧型手機401會持續接收智慧手環403之慣性感測單元所傳送之感測資料組,並判斷是否有其他多個感測資料組之資料特徵符合訓練好之預定資料模型。當智慧型手機401判斷有其他多個感測資料組之資料特徵符合訓練好之預定資料模型時,代表使用者於另一位置(茲假設為第二位置433)比劃了特定手勢。
智慧型手機401會以本發明所提供之虛擬空間定位技術將第一位置431設定為實體空間43之第一座標系統之原點,且將第二位置433設
定為實體空間43之第一座標系統之一最大距離點。需說明者,第一座標系統具有複數個第一座標軸,各第一座標軸具有一第一最大值,該等第一最大值所對應之座標點即為前述最大距離點。智慧型手機401會再將第一座標系統之原點(亦即,第一位置431)及最大距離點(亦即,第二位置433)分別對應至虛擬實境之虛擬空間45之第二座標系統之原點451及最大距離點453。需說明者,第二座標系統具有複數個第二座標軸,各第二座標軸具有一第二最大值,該等第二最大值所對應之座標點即為前述第二座標系統中之最大距離點。以二維座標系統為例,最大距離點可表示為(Xmax,Ymax)。以三維座標系統為例,最大距離點可表示為(Xmax,Ymax,Zmax)。
其後,智慧型手機401仍持續接收智慧手環403之慣性感測單元所傳送之感測資料組,並藉由將感測資料組所包含之各方向之加速度資料積分二次來計算該智慧手環403相對於第一位置431之一相對位置(包含方向與位移),並依據第一座標系統與第二座標系統間之對應關係計算出該相對位置於虛擬空間45之對應的座標點,再根據該座標點於虛擬實境之虛擬空間45中顯示一虛擬物件。其他實施細節如第2圖所示,故不再贅述。
綜上所述,本發明之虛擬空間定位裝置及方法不需事先設置外部偵測設備,且無需使用影像資料進行定位。因此,本發明不受環境之光線條件影響,且在任何空間及環境下皆可使用。相較於習知技術,本發明具備高度的靈活性與環境適應性,有效解決習知技術之問題並改善習知技術之缺失。此外,本發明可配合既有之裝置(例如:智慧手環或智慧型手機)實施,兼具經濟性及產業利用性。
Claims (16)
- 一種虛擬空間定位方法,應用於一人機介面,該虛擬空間定位方法由一處理器實施且包含以下步驟:(A)由該處理器接收一慣性感測單元所發出之複數個第一感測資料組,其中該等第一感測資料組對應於一實體空間之一第一位置;(B)由該處理器判斷該等第一感測資料組之一第一資料特徵符合一第一預定資料模型;(C)由該處理器接收該慣性感測單元所發出之複數個第二感測資料組,其中該等第二感測資料組對應於該實體空間之一第二位置;(D)由該處理器判斷該等第二感測資料組之一第二資料特徵符合一第二預定資料模型;(E)由該處理器根據該等第一感測資料組及該等第二感測資料組計算一第一移動方向及一第一移動距離;(F)由該處理器根據該第一移動方向及該第一移動距離,定義該實體空間之一第一座標系統;以及(G)由該處理器於該第一座標系統及該人機介面所對應之一虛擬空間之一第二座標系統間建立一對應關係。
- 如申請專利範圍第1項所述之虛擬空間定位方法,其中該第一座標系統具有複數個第一座標軸,各該第一座標軸具有一第一最大值,該第二座標系統具有複數個第二座標軸,各該第二座標軸具有一第二最大值,該步驟(G)係由該處理器將該第二座標系統之一原點對應至將該第一座標系統之一原點,且將該等第二最大值分別對應至該等第一最大值。
- 如申請專利範圍第1項所述之虛擬空間定位方法,更包括以下步驟:由該處理器接收該慣性感測單元所發出之複數個第三感測資料組,其中該等第三感測資料組對應於該實體空間之一第三位置;由該處理器根據該等第一感測資料組及該等第三感測資料組計算一第二移動方向及一第二移動距離;由該處理器根據該第二移動方向及該第二移動距離判斷該第三位置落入該第一座標系統之一座標範圍內;由該處理器根據該第二移動方向、該第二移動距離及該對應關係,決定該第三位置於該第二座標系統之一座標點;以及於一顯示單元顯示該虛擬空間,且於該虛擬空間之該座標點顯示一虛擬物件。
- 如申請專利範圍第1項所述之虛擬空間定位方法,其中該慣性感測單元係置放於一使用者之一手部,該第一預定資料模型與該第二預定資料模型分別對應於該使用者之一第一特定手勢及一第二特定手勢。
- 如申請專利範圍第1項所述之虛擬空間定位方法,其中該慣性感測單元包括一加速度計,各該第一感測資料組包括一第一加速度資料,且各該第二感測資料組包括一第二加速度資料。
- 如申請專利範圍第5項所述之虛擬空間定位方法,其中該慣性感測單元更包括一陀螺儀及一磁力計,各該第一感測資料組更包括一第一角加速度資料及一第一方向角資料,各該第二感測資料組更包括一第二角加速度資料及一第二方向角資料。
- 如申請專利範圍第1項所述之虛擬空間定位方法,其中該步驟(B)係由該處理器以一卷積神經網路判斷該第一資料特徵符合該第一預定資料模型,及該步驟(D)係由該處理器以該卷積神經網路判斷該第二資料特徵符合該第二預定資料模型。
- 如申請專利範圍第4項所述之虛擬空間定位方法,更包含下列步驟:由該處理器接收對應於該第一特定手勢之複數個第一訓練訊息,其中各該第一訓練訊息包含複數個第一訓練感測資料組;由該處理器接收對應於該第二特定手勢之複數個第二訓練訊息,其中各該第二訓練訊息包含複數個第二訓練感測資料組;由該處理器根據各該第一訓練訊息之一資料特徵,以一卷積神經網路建立該第一預定資料模型;以及由該處理器根據各該第二訓練訊息之一資料特徵,以該卷積神經網路建立該第二預定資料模型。
- 一種虛擬空間定位裝置,應用於一人機介面且包括:一訊號接收介面,接收一慣性量測單元所發送之複數個第一感測資料組及複數個第二感測資料組,其中該等第一感測資料組及該等第二感測資料組分別對應於一實體空間之一第一位置及一第二位置;以及一處理器,與該訊號接收介面電連結,判斷該等第一感測資料組之一第一資料特徵符合一第一預定資料模型,判斷該等第二感測資料組之一第二資料特徵符合一第二預定資料模型,根據該等第一感測資料組及該等第二感測資料組計算一第一移動方向及一第一移動距離,根據該第一移動方向及該第一移動距離,定義該實體空間之一第一座標系統,且於該第一座標系統及該人機介面所對應之一虛擬空間之一第二座標系統間建立一對應關係。
- 如申請專利範圍第9項所述之虛擬空間定位裝置,其中該第一座標系統具有複數個第一座標軸,各該第一座標軸具有一第一最大值,該第二座標系統具有複數個第二座標軸,各該第二座標軸具有一第二最大值,該處理器將該第二座標系統之一原點對應至將該第一座標系統之一原點,且將該等第二最大值分別對應至該等第一最大值。
- 如申請專利範圍第9項所述之虛擬空間定位裝置,更包括:一顯示單元,與該處理器電連結並顯示該虛擬空間,其中,該訊號接收介面接收該慣性感測單元所發出之複數個第三感測資料組,該等第三感測資料組對應於該實體空間之一第三位置,該處理器根據該等第一感測資料組及該等第三感測資料組計算一第二移動方向及一第二移動距離,該處理器根據該第二移動方向及該第二移動距離判斷該第三位置落入該第一座標系統之一座標範圍內,該處理器根據該第二移動方向、該第二移動距離及該對應關係決定該第三位置於該第二座標系統之一座標點,該顯示單元於該虛擬空間之該座標點顯示一虛擬物件。
- 如申請專利範圍第9項所述之虛擬空間定位裝置,其中該慣性感測單元係置放於一使用者之一手部,該第一預定資料模型與該第二預定資料模型分別對應於該使用者之一第一特定手勢及一第二特定手勢。
- 如申請專利範圍第9項所述之虛擬空間定位裝置,其中該慣性感測單元包括一加速度計,各該第一感測資料組包括一第一加速度資料,各該第二感測資料組包括一第二加速度資料。
- 如申請專利範圍第13項所述之虛擬空間定位裝置,其中該慣性感測單元更包括一陀螺儀及一磁力計,各該第一感測資料組更包括一第一角加速度資料及一第一方向角資料,各該第二感測資料組更包括一第二角加速度資料及一第二方向角資料。
- 如申請專利範圍第9項所述之虛擬空間定位裝置,其中該處理器係以一卷積神經網路判斷該第一資料特徵符合該第一預定資料模型,且以該卷積神經網路判斷判斷該第二資料特徵符合該第二預定資料模型。
- 如申請專利範圍第12項所述之虛擬空間定位裝置,其中該訊號接收介面更接收對應於該第一特定手勢之複數個第一訓練訊息及對應於該第二特定手勢之複數個第二訓練訊息,各該第一訓練訊息包含複數個第一訓練感測資料組,各該第二訓練訊息包含複數個第二訓練感測資料組,該處理器更根據各該第一訓練訊息之一資料特徵以一卷積神經網路建立該第一預定資料模型,該處理器更根據各該第二訓練訊息之一資料特徵以該卷積神經網路建立該第二預定資料模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107102724A TWI662439B (zh) | 2018-01-25 | 2018-01-25 | 虛擬空間定位方法及裝置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107102724A TWI662439B (zh) | 2018-01-25 | 2018-01-25 | 虛擬空間定位方法及裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI662439B true TWI662439B (zh) | 2019-06-11 |
TW201933041A TW201933041A (zh) | 2019-08-16 |
Family
ID=67764514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107102724A TWI662439B (zh) | 2018-01-25 | 2018-01-25 | 虛擬空間定位方法及裝置 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI662439B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11119570B1 (en) | 2020-10-29 | 2021-09-14 | XRSpace CO., LTD. | Method and system of modifying position of cursor |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090033623A1 (en) * | 2007-08-01 | 2009-02-05 | Ming-Yen Lin | Three-dimensional virtual input and simulation apparatus |
TW201416911A (zh) * | 2012-10-31 | 2014-05-01 | Wistron Corp | 手勢辨識方法與電子裝置 |
CN106066688A (zh) * | 2016-05-25 | 2016-11-02 | 福建天晴数码有限公司 | 一种基于穿戴式手套的虚拟现实交互方法及装置 |
CN106502400A (zh) * | 2016-10-24 | 2017-03-15 | 网易(杭州)网络有限公司 | 虚拟现实系统及虚拟现实系统输入方法 |
US20170084084A1 (en) * | 2015-09-22 | 2017-03-23 | Thrillbox, Inc | Mapping of user interaction within a virtual reality environment |
TW201727439A (zh) * | 2015-10-30 | 2017-08-01 | 傲思丹度科技公司 | 用於身體手勢介面及投影顯示器之系統及方法 |
CN107376341A (zh) * | 2017-06-22 | 2017-11-24 | 歌尔科技有限公司 | 一种用于游戏手柄的数据处理方法、装置及游戏手柄 |
-
2018
- 2018-01-25 TW TW107102724A patent/TWI662439B/zh active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090033623A1 (en) * | 2007-08-01 | 2009-02-05 | Ming-Yen Lin | Three-dimensional virtual input and simulation apparatus |
TW201416911A (zh) * | 2012-10-31 | 2014-05-01 | Wistron Corp | 手勢辨識方法與電子裝置 |
US20170084084A1 (en) * | 2015-09-22 | 2017-03-23 | Thrillbox, Inc | Mapping of user interaction within a virtual reality environment |
TW201727439A (zh) * | 2015-10-30 | 2017-08-01 | 傲思丹度科技公司 | 用於身體手勢介面及投影顯示器之系統及方法 |
CN106066688A (zh) * | 2016-05-25 | 2016-11-02 | 福建天晴数码有限公司 | 一种基于穿戴式手套的虚拟现实交互方法及装置 |
CN106502400A (zh) * | 2016-10-24 | 2017-03-15 | 网易(杭州)网络有限公司 | 虚拟现实系统及虚拟现实系统输入方法 |
CN107376341A (zh) * | 2017-06-22 | 2017-11-24 | 歌尔科技有限公司 | 一种用于游戏手柄的数据处理方法、装置及游戏手柄 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11119570B1 (en) | 2020-10-29 | 2021-09-14 | XRSpace CO., LTD. | Method and system of modifying position of cursor |
Also Published As
Publication number | Publication date |
---|---|
TW201933041A (zh) | 2019-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11861070B2 (en) | Hand gestures for animating and controlling virtual and graphical elements | |
US20220326781A1 (en) | Bimanual interactions between mapped hand regions for controlling virtual and graphical elements | |
CN109074217B (zh) | 用于多点触摸输入检测的应用 | |
KR101844390B1 (ko) | 사용자 인터페이스 제어를 위한 시스템 및 기법 | |
CN103713737B (zh) | 用于智能眼镜的虚拟键盘系统 | |
US10444932B2 (en) | Virtual space positioning method and apparatus | |
JP6545258B2 (ja) | スマートリング | |
US10289239B2 (en) | Application programming interface for multi-touch input detection | |
CN109313502B (zh) | 利用选择装置的敲击事件定位 | |
CN103365411A (zh) | 信息输入设备、信息输入方法和计算机程序 | |
CA2931364A1 (en) | Computing interface system | |
CN116097209A (zh) | 人工现实交互模式的整合 | |
CN103699219B (zh) | 一种智能眼镜交互系统及智能交互方法 | |
US20210089162A1 (en) | Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user | |
WO2017021902A1 (en) | System and method for gesture based measurement of virtual reality space | |
US20170010695A1 (en) | Enhanced multi-touch input detection | |
US20210068674A1 (en) | Track user movements and biological responses in generating inputs for computer systems | |
CN109582123A (zh) | 信息处理设备、信息处理系统和信息处理方法 | |
US20170010733A1 (en) | User-identifying application programming interface (api) | |
TWI662439B (zh) | 虛擬空間定位方法及裝置 | |
CN110083226B (zh) | 虚空间定位方法及装置 | |
KR102322968B1 (ko) | 사용자의 손동작에 따른 명령 입력 장치 및 이를 이용한 명령 입력 방법 | |
US12013985B1 (en) | Single-handed gestures for reviewing virtual content | |
KR20200065732A (ko) | 사용자 정의 기반 모양 패턴 인식 인터페이스 제공 장치 및 방법 | |
CN114003122A (zh) | 一种ar界面交互方法与基于该方法的智能指环 |