TW201939221A - 動作偵測系統、動作偵測方法及其電腦可讀記錄媒體 - Google Patents

動作偵測系統、動作偵測方法及其電腦可讀記錄媒體 Download PDF

Info

Publication number
TW201939221A
TW201939221A TW108105905A TW108105905A TW201939221A TW 201939221 A TW201939221 A TW 201939221A TW 108105905 A TW108105905 A TW 108105905A TW 108105905 A TW108105905 A TW 108105905A TW 201939221 A TW201939221 A TW 201939221A
Authority
TW
Taiwan
Prior art keywords
haptic feedback
motion
value
detection value
compensation
Prior art date
Application number
TW108105905A
Other languages
English (en)
Other versions
TWI744606B (zh
Inventor
潘晟陽
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201939221A publication Critical patent/TW201939221A/zh
Application granted granted Critical
Publication of TWI744606B publication Critical patent/TWI744606B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本發明提供了一種動作偵測系統、動作偵測方法及其電腦可讀記錄媒體。此動作偵測系統包括一個或多個觸覺回饋裝置和動作感測器。觸覺回饋裝置配備有一個或多個觸覺回饋元件。觸覺回饋元件經配置用以執行觸覺回饋。觸覺回饋元件被觸發以根據觸覺回饋命令執行觸覺回饋。響應於觸覺回饋命令觸發觸覺回饋元件,修改來自動作感測器的偵測值。因此,可以提高對觸覺回饋裝置定位的精準度。

Description

動作偵測系統、動作偵測方法及其電腦可讀記錄媒體
本發明是有關於一種用於定位觸覺回饋裝置的方法,且特別是有關於一種用於觸覺回饋裝置的動作偵測系統、動作偵測方法及其電腦可讀記錄媒體。
用於模擬感覺、感知和/或環境的技術,例如虛擬實境(Virtual Reality,VR)、增強實境(Augmented Reality,AR)或混合實境(Mixed Reality,MR),於今日是相當流行的。上述技術可以應用在諸如遊戲、軍事訓練、醫療保健、遠程工作等多種領域。為了使用戶將模擬環境視為真實環境,須獲得用戶或操作手在空間中的位置,從而可對應用戶或操作的手的位置而改變VR、AR或MR顯示器上的顯示影像。例如,VR產品可以包括手持式控制器與顯示器,而手持式控制器的位置將被追蹤,且對應於手持式控制器的追蹤位置,可移動用戶在顯示器的顯示影像中操作手的行為。須注意的是,手持式控制器可以配備觸覺回饋元件以重現觸碰感覺。這些觸覺回饋元件將可增進模擬環境中的現實感並使用戶更加沈浸於模擬環境中。
本發明提供一種動作偵測系統、動作偵測方法及其電腦可讀記錄媒體,其對觸覺回饋元件影響的定位誤差進行補償,從而改善了觸覺回饋裝置的定位結果。
在一個示範性實施例中,動作偵測系統至少包括但不限於一個或多個觸覺回饋裝置與動作感測器。觸覺回饋裝置配備有一個或多個觸覺回饋元件。這些觸覺回饋元件經配置以執行觸覺回饋。觸覺回饋元件被觸發以根據觸覺回饋命令執行觸覺回饋。此外,響應於觸覺回饋命令觸發觸覺回饋元件而修改來自動作感測器的偵測值。
根據示範性實施例之一,偵測值係根據補償命令來修改。而此補償命令用以指示對應於觸控回饋指令內容的偵測值的修改。
根據示範性實施例之一,上述的補償命令包括用以修改偵測值的補償值,且補償值是根據查找表所決定。而此查找表記錄有補償值與觸覺回饋命令的內容之間的關係。
根據示範性實施例之一,利用一個範圍而自偵測值中濾除受觸覺回饋元件的動作影響的至少一個數值,從而修改偵測值。
根據示範性實施例之一,上述的補償命令包括用以補償偵測值的補償值,補償值是由補償模型所判斷,且此補償模型係藉由機器學習技術建立。
根據示範性實施例之一,上述的觸覺回饋裝置包括動作感測器,並且動作感測器包括慣性感測器。響應於觸覺回饋命令觸發觸覺回饋元件,修改慣性感測器的輸出,從而修改偵測值。
根據示範性實施例之一,上述的觸覺回饋裝置包括第一觸覺回饋裝置和第二觸覺回饋裝置,且動作偵測系統還包括處理器。處理器經配置以判斷第一觸覺回饋裝置與第二觸覺回饋裝置中的至少一者執行觸覺回饋。響應於第二觸覺回饋裝置執行觸覺回饋的判斷,藉由濾波器修改來自動作感測器的偵測值。響應於第一觸覺回饋裝置執行觸覺回饋的判斷,藉由機器學習模型或補償命令修改來自動作感測器的偵測值。
根據示範性實施例之一,上述的動作偵測系統還包括處理器。處理器經配置以產生觸覺回饋命令並相應地執行修改以修改偵測值。
根據示範性實施例之一,上述的動作感測器是加速度計。響應於觸覺回饋命令觸發觸覺回饋元件來修改加速度計的輸出,從而修改偵測值。
根據示範性實施例之一,上述的處理器獨立於觸覺回饋裝置並根據補償命令修改自動作感測器接收的偵測值;或者處理器被安裝在觸覺回饋裝置中。
在一個示範性實施例中,提供了一種動作偵測方法,其適用於動作偵測系統,而此動作偵測系統包括一個或多個配備有一個或多個觸覺回饋元件和動作感測器的觸覺回饋裝置。動作偵測方法包括以下步驟。觸發觸覺回饋元件根據觸覺回饋命令執行觸覺回饋。響應於觸覺回饋命令觸發觸覺回饋元件,修改來自動作感測器的偵測值。
在一個示範性實施例中,非暫時性電腦可讀記錄媒體記錄由處理器載入的電腦程式,以執行上述方法。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式以作詳細說明如下。
然而,應該理解,本發明內容可能不包含本發明的所有方面和實施例,並不意味著以任何方式進行限定或限制,且本領域普通技術人員將理解本文所揭露的發明以包括對其的明顯改進和修改。
請參照圖1,圖1是根據本發明的示範性實施例之一的動作偵測系統100的元件方塊圖。動作偵測系統100至少包括但不限於動作感測器110、一個或多個觸覺回饋裝置130以及處理器150。動作偵測系統100適用於VR、AR、MR或其他實境技術。
動作感測器110包括加速度計、陀螺儀、磁力計、雷射感測器、紅外線(Infrared Ray,IR)感測器、影像感測器或前述感測器的任何組合。
觸覺回饋裝置130是控制器(例如,遊戲手柄、光槍、操縱桿或其他遊戲控制器),其可以配備有用以接收手操作(例如,按壓、觸摸或滑動操作等)的輸入裝置(例如,按鈕、觸摸感測器、搖桿、開關等)。觸覺回饋裝置130可能被嵌入於觸覺回饋服裝(例如,襯衫、褲子、夾克等)中。此外,觸覺回饋裝置130配備有一個或多個觸覺回饋元件135(例如,PowerHap壓電致動器、電活性聚合物(Electroactive Polymer,EAP)致動器、形狀記憶合金(Shape Memory Alloy,SMA)致動器、磁致伸縮(magnetostrictive)致動器、音圈馬達致動器、線性共振致動器(Linear-Resonance Actuator,LRA)、電磁致動器或其他觸覺致動器)。觸覺回饋元件135可以執行觸覺回饋行為(例如,振動、力回饋或搖動等)。
處理器150直接或間接地電性連接或無線連接動作感測器110與觸覺回饋元件135。處理器150可以藉由使用可程式化單元(例如,中央處理單元(Central Processing Unit,CPU)、微處理器、微控制器、數位信號處理(Digital Signal Processing,DSP)晶片、現場可程式化閘陣列(Field Programmable Gate Array,FPGA)等) 實現。處理器150的功能還可以由獨立的電子裝置或積體電路(Integrated Circuit,IC)實現,且處理器150的操作也可以由軟體實現。處理器150被程式化以執行下面將描述的功能或步驟。
動作偵測系統100是用於對物件(例如,觸覺回饋裝置130、人體的一部分等)的動作偵測、定位偵測或動作偵測,從而偵測物件相對於周圍環境的位置變化。動作偵測的結果還可作為定位計算的參考資訊。舉例而言,圖2A是根據本發明的示範性實施例之一的動作偵測系統200的示意圖。在此實施例中,處理器150嵌入於計算裝置160(例如,電腦、伺服器、智慧型手機等)中並獨立於觸覺回饋裝置230。動作感測器210包括慣性感測器211(例如,加速度計及/或陀螺儀)與光敏感測器213(例如,雷射感測器、IR感測器、及/或影像感測器)。計算裝置160與觸覺回饋裝置230(在本實施例中是手持式控制器)可以藉由使用相容的通信收發器(例如支援Wi-Fi、藍牙等)相互通信。兩個光發射器140發射雷射光。動作感測器210用以偵測觸覺回饋裝置230的動作,其中光敏感測器213偵測來自光發射器140的雷射光,而慣性感測器211(以加速度計為例)偵測觸覺回饋裝置230的加速度和/或角速度。處理器150可以接收慣性感測器211與光敏感測器213的偵測值。處理器150根據來自動作感測器210的偵測值判斷觸覺回饋裝置230在空間中的位置資訊(例如,三維空間中的坐標、對應於光發射器140的相對位置等),其中慣性感測器211的偵測值用於校正位置資訊。
值得注意的是,在其他實施例中,光敏感測器213可獨立於觸覺回饋裝置230,且光發射器140可配備在觸覺回饋裝置230上。
圖2B是根據本發明的示範性實施例之一的動作偵測系統250的示意圖。在本實施例中,處理器150嵌入在觸覺回饋裝置330中。此外,動作感測器310包括IR感測器311和慣性感測器313(例如,包括3軸加速度計和3軸陀螺儀的6軸動作追蹤器)。IR感測器311自外部偵測IR,且慣性感測器313偵測觸覺回饋裝置330的加速度、方向和角速度。處理器150可以藉由傳輸介面(例如,USB、I2C、UART等)接收動作感測器310的偵測值,以判斷觸覺回饋裝置330的位置資訊。因此,動作感測器110及/或處理器150可能與觸覺回饋裝置130分離或結合。
須注意的是,在其他實施例中,IR感測器311可能獨立於觸覺回饋裝置330,且IR發射器可能配備在觸覺回饋裝置330上。然而,對於動作感測器110、210與310以及處理器150的配置還可能有其他變化,且本發明實施例不限於此。此外,基於不同的定位機制,動作感測器110、210與310的類型和數量可能不同,且本發明實施例不限於此。
為了使本發明實施例的操作過程更易於理解,下面提供幾個實施例,以詳細說明本發明實施例中的動作偵測系統100、200與250的操作。
圖3是根據本發明的示範性實施例之一的動作偵測方法的流程圖。請參照圖3,本實施例的動作偵測方法適用以圖1、2A與2B的動作偵測系統100、200與250。為了方便描述,在以下段落中,將搭配動作偵測系統100的元件描述本發明實施例的動作偵測方法,且關於動作偵測系統200與250的動作偵測方法將一併適用。然,此動作偵測方法的過程可根據實際需求進行調整,且因此不限於以下的實施方式。
當處理器150偵測到一些觸覺回饋事件時(例如,觸覺回饋裝置130與模擬環境中的虛擬物件互動(例如,觸摸、握、抓、敲擊等)),處理器150產生觸覺回饋命令。而觸覺回饋命令是用於觸發觸覺回饋元件135以執行觸覺回饋(例如,振動、力回饋或搖動等)。
處理器150將觸覺回饋命令發送到觸覺回饋元件135,且觸覺回饋元件135將被觸發以根據觸覺回饋命令執行觸覺回饋(步驟S310)。接著,響應於觸覺回饋命令觸發觸覺回饋元件135,處理器150產生用以指示修改來自動作感測器110的偵測值的補償命令。或者,處理器150補償自動作感測器110接收的偵測值(例如,慣性感測器211的輸出)。接著,響應於觸覺回饋命令觸發觸覺回饋元件135,來自動作感測器110的偵測值將被修改(步驟S330)。由於觸覺回饋元件135的動作(例如,振動)可影響來自動作感測器110的偵測值,因此基於來自動作感測器110的偵測值所判斷觸覺回饋裝置的位置資訊可能受到與觸覺回饋元件135的動作相關聯的影響。藉此,當觸覺回饋裝置130接收到觸覺回饋命令時,處理器150啟用對位置資訊的補償機制。
須注意的是,在補償命令發送到觸覺回饋裝置130的情況下,補償後的偵測值將被發送回處理器150,且補償後的偵測值將用於定位計算。而在另一種情況,處理器150可以自動作感測器110接收原始偵測值並對其進行修改,修改後的偵測值接著將用於定位計算。
有許多補償機制可用於位置資訊。動作感測器110根據觸覺回饋裝置130的動作產生偵測值,而此偵測值也受到觸覺回饋元件135的動作影響。在一實施例中,對來自動作感測器110的偵測值進行補償,從而相應地修改觸覺回饋裝置150的位置資訊。
觸覺回饋元件135的動作可能導致來自動作感測器110的偵測值的變化(即,對於觸覺回饋裝置110的動作的偵測值)。在一實施例中,處理器150可以自動作感測器110的偵測值中消除受觸覺回饋元件135的動作所影響的數值。
判斷補償值(包括在用於偵測值的補償命令中)或判斷用於直接補償偵測值的補償值的方法有很多種。在一實施例中,處理器150可以根據查找表來判斷補償值。查找表記錄補償值與觸覺回饋命令的內容之間的關係。具體而言,觸覺回饋命令的不同內容(例如,用於觸摸物件的觸覺回饋、揮擊棒球、槍擊後座力等)可能會造成觸覺回饋元件135進行不同動作。同時,由觸覺回饋元件135造成的不同動作也可能對來自動作感測器110的偵測值產生不同的影響。因此,補償值是預測受觸覺回饋元件135的動作影響的數值,且觸覺回饋命令的各內容的補償值可事先測量並記錄,以建立查找表或方程式。此方程式是將觸覺回饋命令的內容作為輸入並可輸出相應的補償值。處理器150可以判斷當前產生的觸覺回饋命令的內容,且藉由查找表或方程式可以輸出補償值,以補償來自動作感測器110的偵測值。
舉例而言,圖4是圖2A的慣性感測器211(以加速度計為例)的偵測值的範例。請參照圖4,慣性感測器211的所有偵測值都接近零。圖5是示出受觸覺回饋元件135的動作影響的圖2A的慣性感測器211的偵測值的範例。請參照圖5,慣性感測器211偵測值的最大值達到1.2。處理器150可以根據觸覺回饋命令的內容比對查找表,以將受影響的數值判斷為1.2,並使慣性感測器211偵測值加上補償值(即-1.2)。藉此,可減少慣性感測器211對觸覺回饋元件135的振動的影響。
在另一範例中,圖6是一範例說明圖2A的慣性感測器211受觸覺回饋元件135的動作影響的偵測值、經LPF濾波的偵測值、及經補償值校正的偵測值。請參照圖6,偵測值610與620相比,經LPF濾波的偵測值620的最大值低於偵測值610。
在另一實施例中,處理器150可利用一個範圍而自偵測值中過濾受觸覺回饋元件135的動作影響的數值,且受影響的值將被視為在此範圍之外。具體而言,根據觸覺回饋命令的不同內容和不同類型的觸覺回饋元件135,處理器150可以設置不同的範圍來過濾動作感測器110的偵測值,而此範圍之外的值將被視為受影響的數值且將被過濾。
舉例而言,圖7是一範例說明加速度計受觸覺回饋元件的動作影響的偵測值及經BPF濾波的偵測值。請參照圖7,假設在-3到3的範圍之外的數值受到觸覺回饋元件135的影響,且BPF是根據範圍-3到3來設計。偵測值710與730相比,在偵測值710中前述範圍之外的數值將被過濾以形成偵測值730。
須注意的是,加速度計僅是圖4~7的慣性感測器的一個範例。加速度計也可以用陀螺儀或其他慣性感測器代替。
在一實施例中,處理器150可以藉由補償模型判斷來自動作感測器110的偵測值的補償值,並此補償模型係藉由機器學習技術建立。處理器150使用不同已知觸覺回饋命令與受影響的數值作為訓練樣本,並透過機器學習技術(例如,深度學習、人工神經網路(Artificial Neural Network,ANN)或支持向量機(Support Vector Machine,SVM)等演算法)建立模型或分類器。舉例而言,在訓練模型或分類器的過程中,將自模型或分類器當前輸出的補償值與正確的補償值進行比較。若模型或分類器的當前輸出與正確補償值之間的差異小於門檻值,則可對自模型或分類器當前輸出的合適補償值賦予更高分數。若模型或分類器的當前輸出與正確補償值之間的差異大於門檻值,則可對自模型或分類器當前輸出的錯誤補償值,賦予較低分數。模型或分類器記錄觸覺回饋命令與受影響的數值之間的關係,模型或分類器並可以用於判斷受影響的數值。因此,可更精確地估計受影響的數值。
在一實施例中,處理器150可以根據多個偵測值的平均值來修改來自動作感測器110的偵測值。舉例而言,處理器150使用先前k個偵測值的平均值來取代第(k+1)個偵測值,其中k是正整數,從而減少由偵測值的瞬間變化引起的影響。或者,處理器150可以使用先前估計的補償值與當前自動作感測器110獲得的偵測值,以藉由卡爾曼(Kalman)濾波器獲得當前估計的影響值。
須注意的是,前述實施例主要是修改動作感測器的偵測值。然而,在其他實施例中,亦可根據觸覺回饋命令直接修改位置資訊。觸覺回饋元件135的動作是基於觸覺回饋命令且與觸覺回饋裝置130的位置資訊有對應關係。觸覺回饋元件135將受各觸覺回饋命令而觸發,且觸覺回饋裝置130的位置資訊的對應變化(例如,位移、旋轉等)可被測量與記錄,以建立查找表、方程式、過濾器或補償模型。接著,處理器150可以使用查找表、方程式、濾波器或補償模型來判斷位置資訊的補償值,且可以根據補償值來修改位置資訊。
此外,每當自動作感應器110接收偵測值時,處理器150將在執行觸覺回饋命令的同時修改觸覺回饋裝置130的位置資訊,以動態地減少來自觸覺回饋元件135的影響。之後,響應於觸覺回饋命令的終止,處理器150將停止修改觸覺回饋裝置130的位置資訊,即補償機制的終止。當觸覺回饋元件135由下一個觸覺回饋命令觸發時,將啟用補償機制。
另一方面,根據不同的實施方案,動作感測系統100、200與250可以包括多個觸覺回饋裝置130(例如,方向盤、光槍、節奏遊戲控制器、釣竿等)。以兩個觸覺回饋裝置130為例,這兩個觸覺回饋裝置130於下文中被稱為第一觸覺回饋裝置與第二觸覺回饋裝置。嵌入在第一與第二觸覺回饋裝置中的觸覺回饋元件135可以受觸覺回饋命令而觸發,以執行觸覺回饋(例如,力量回饋、振動、搖動等)。
須注意的是,第二觸覺回饋裝置可能未配備動作感測器110。而為了追蹤第二觸覺回饋裝置的動作,第二觸覺回饋裝置可以配備有包括動作感測器110的追蹤器。來自追蹤器的動作感測器110的偵測值可被發送到處理器150,從而判斷第二觸覺回饋裝置的位置。舉例而言,圖8是根據本發明的示範性實施例之一的動作偵測系統800的示意圖。請參照圖8,動作偵測系統800包括追蹤器830與安裝有追蹤器830的光槍850(即,第二觸覺回饋裝置)。追蹤器830包括動作感測器810(例如,加速度計、IR感測器等),且光槍850包括一個或多個第二觸覺回饋元件855。因此,動作感測器135可以偵測光槍850的動作。
針對不同的觸覺回饋裝置,請參照圖9,處理器150可以判斷至少一個觸覺回饋裝置執行觸覺回饋(步驟S910)。兩種補償機制分別用以補償受觸覺回饋元件135與第二觸覺回饋元件855的動作影響的偵測值。用戶可在光槍850或其他外部配件安裝追蹤器830,這些外部配件沒有默認補償機制。查找表或默認方程式將無法直接獲得相應的補償值。因此,步驟S910的確認須先執行,以消除由任何觸覺回饋元件引起的影響。響應於第二觸覺回饋元件855受觸覺回饋命令觸發,處理器150可以藉由濾波器修改追蹤器830的動作感測器810的偵測值(步驟S930)。過濾器具有如前述的範圍。
須注意的是,對來自動作感測器810的偵測值過濾的時機或位置資訊將根據通信介面(例如,彈簧腳位(pogo pins)等)與處理器150之間的通信來決定。舉例而言,彈簧腳位可設置在追蹤器830上,以與第二觸覺回饋裝置(例如,光槍850)連接,並使得信號可以在兩個裝置之間傳輸。此外,響應於藉由彈簧腳位結合追蹤器830與光槍850,光槍850將可以藉由追蹤器830與處理器150通信。或者,若光槍850具有通信收發器(支援Wi-Fi、藍牙、USB等),則光槍850可以直接與處理器150通信。因此,響應於第二觸覺回饋元件855受觸覺回饋命令觸發,根據追蹤器830與光槍850之間信號的電壓準位的配置與檢測,光槍850可以直接通知處理器150或藉由追蹤器830通知處理器150。接著,處理器150將得知第二觸覺回饋裝置執行觸覺回饋的時機,且可對第二觸覺回饋裝置啟用補償機制。
另一方面,響應於觸覺回饋命令觸發觸覺回饋元件135,處理器150可以藉由機器學習技術來修改位置資訊(步驟S950)。處理器150使用如上述的補償模型來判斷位置資訊的補償值。此外,若觸覺回饋元件135與第二觸覺回饋元件855皆受觸覺回饋命令觸發(即,第一觸覺回饋裝置與第二觸覺回饋裝置同時執行觸覺回饋),則處理器150可以使用機器學習方式修改偵測值。
需要說明的是,在其他實施例中,可以根據實際需求改變修正方式(例如,過濾、機器學習等)。舉例而言,查找表方式可用於觸覺回饋元件135,且多個偵測值的平均值可用於第二觸覺回饋元件855。或者,觸覺回饋元件135與第二觸覺回饋元件855的修正方式可能一樣。
本發明還提供了一種非暫時性電腦可讀記錄媒體,其記錄載入到處理器中的電腦程式,以執行所提出方法的步驟。 電腦程序由多個程式碼片段(例如,組織結構圖、建立碼片段、表格批准碼片段、設置程式指令以及部署碼片段)組成。一旦這些程式碼片段被載入到處理器中並執行,即可以完成所提出的動作偵測方法的所有步驟。
綜上所述,上述示範性實施例提出了動作偵測系統、動作偵測方法及其電腦可讀記錄媒體。觸覺回饋元件的動作將影響觸覺回饋裝置的位置資訊。在示範性實施例中,藉由過濾器、查找表、機器學習技術等來估計並消除來自觸覺回饋元件的影響。藉此,可獲得更好的定位結果。此外,若觸覺回饋裝置配備有內觸覺回饋元件(即,如上述的觸覺回饋元件)與外觸覺回饋元件(即,如上述的第二觸覺回饋元件),則可對位置資訊採用不同的補償機制。
對於本領域技術人員顯而易見的是,在不脫離本發明的範圍或精神的情況下,可以對本發明的結構進行各種修改和變化。 鑑於前述內容,本發明旨在覆蓋本發明的修改和變化,只要它們落入所附權利要求及其等同物的範圍內。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100、200、800‧‧‧動作偵測系統
110、210、310、810‧‧‧動作感測器
130、230、330‧‧‧觸覺回饋裝置
135‧‧‧觸覺回饋元件
140‧‧‧光發射器
150‧‧‧處理器
160‧‧‧計算裝置
211、313‧‧‧慣性感測器
213‧‧‧光敏感測器
311‧‧‧IR感測器
S310~S330、S910~S950‧‧‧動作偵測方法
410、510、610、620、630、710、730‧‧‧偵測值
830‧‧‧追蹤器
850‧‧‧光槍
855‧‧‧第二觸覺回饋元件
附圖被包括以提供對本發明的進一步理解,且附圖併入本說明書中並構成本說明書的一部分。附圖示出了本發明的實施例,並且與該描述一起用以解釋本發明的原理。
圖1是根據本發明的示範性實施例之一的動作偵測系統的方塊圖。
圖2A是根據本發明的示範性實施例之一的動作偵測系統的示意圖。
圖2B是根據本發明的示範性實施例之一的動作偵測系統的示意圖。
圖3是根據本發明的示範性實施例之一的動作偵測方法的流程圖。
圖4是加速度計的偵測值的範例。
圖5是一範例說明受觸覺回饋元件的動作影響的加速度計的偵測值。
圖6是一範例說明加速度計受到觸覺回饋元件的動作影響的偵測值、經低通濾波器(Low Pass Filter,LPF)濾波的偵測值、及經機器學習校正的偵測值。
圖7是一範例說明加速度計受觸覺回饋元件影響的偵測值、及經帶通濾波器(Band Pass Filter,BPF)濾波的偵測值。
圖8是根據本發明的示範性實施例之一的動作偵測系統的示意圖。
圖9是根據本發明的示範性實施例之用於不同觸覺回饋元件的一動作偵測方法的流程圖。

Claims (20)

  1. 一種動作偵測系統,包括: 一或多個觸覺回饋裝置,包括一或多個觸覺回饋元件,其中該觸覺回饋元件經配置以執行一觸覺回饋;以及 一動作感測器; 其中該觸覺回饋元件被觸發以根據一觸覺回饋命令執行該觸覺回饋,響應於該觸覺回饋命令觸發該觸覺回饋元件,修改來自該動作感測器的一偵測值。
  2. 如申請專利範圍第1項所述的動作偵測系統,其中該偵測值係根據一補償命令來修改,且該補償命令用以指示對應於該觸覺回饋指令內容的該偵測值的修改。
  3. 如申請專利範圍第2項所述的動作偵測系統,其中該補償命令包括用以修改該偵測值的一補償值,且該補償值是根據一查找表所決定,其中該查找表記錄該補償值與該觸覺回饋命令內容之間的關係。
  4. 如申請專利範圍第1項所述的動作偵測系統,其中利用一範圍而自該偵測值中濾除受該觸覺回饋元件的動作影響的至少一數值,從而修改該偵測值。
  5. 如申請專利範圍第2項所述的動作偵測系統,其中該補償命令包括用以補償該偵測值的一補償值,且該補償值是由一補償模型所判斷,其中該補償模型係藉由機器學習技術建立。
  6. 如申請專利範圍第1項所述的動作偵測系統,其中該觸覺回饋裝置包括該動作感測器,且該動作感測器包括一慣性感測器,而響應於該觸覺回饋命令觸發該觸覺回饋元件,修改該慣性感測器的輸出,從而修改該偵測值。
  7. 如申請專利範圍第1項所述的動作偵測系統,其中該觸覺回饋裝置包括一第一觸覺回饋裝置與一第二觸覺回饋裝置,且該動作偵測系統更包括: 一處理器,經配置以: 判斷該第一觸覺回饋裝置與該第二觸覺回饋裝置中的至少一者執行該觸覺回饋,其中 響應於該第二觸覺回饋裝置執行該觸覺回饋的判斷,藉由一濾波器修改來自該動作感測器的該偵測值;以及 響應於該第一觸覺回饋裝置執行該觸覺回饋的判斷,藉由一機器學習模型或一補償命令修改來自該動作感測器的該偵測值。
  8. 如申請專利範圍第1項所述的動作偵測系統,更包括: 一處理器,產生該觸覺回饋命令並相應地執行修改以修改該偵測值。
  9. 如申請專利範圍第1項所述的動作偵測系統,其中該動作感測器包括一加速度計,且響應於該觸覺回饋命令觸發該觸覺回饋元件而修改該加速度計的輸出,從而修改該偵測值。
  10. 如申請專利範圍第8項所述的動作偵測系統,其中該處理器獨立於該觸覺回饋裝置並根據一補償命令修改自該動作感測器接收的該偵測值,或者該處理器安裝在該觸覺回饋裝置中。
  11. 一種動作偵測方法,適用於一動作偵測系統,且該動作偵測方法包括: 觸發該動作偵測系統的一或多個觸覺回饋裝置根據一觸覺回饋命令執行一觸覺回饋;以及 響應於該觸覺回饋命令觸發該觸覺回饋裝置,修改來自該動作偵測系統的一動作感測器的一偵測值。
  12. 如申請專利範圍第11項所述的動作偵測方法,其中修改來自該動作感測器的該偵測值的步驟包括: 根據一補償命令修改該偵測值,其中該補償命令用以指示對應於該觸覺回饋指令的內容的該偵測值的修改。
  13. 如申請專利範圍第12項所述的動作偵測方法,其中該補償命令包括用以修改該偵測值的一補償值,該補償值係根據一查找表所決定,其中該查找表記錄該補償值與該觸覺回饋命令內容之間的關係。
  14. 如申請專利範圍第11項所述的動作偵測方法,其中,修改來自該動作感測器的該偵測值的步驟包括: 利用一範圍而自該偵測值中濾除受該觸覺回饋元件的動作影響的至少一數值,從而修改該偵測值。
  15. 如申請專利範圍第12項所述的動作偵測方法,其中該補償命令包括用以補償該偵測值的一補償值,且該補償值由一補償模型所判斷,其中該補償模型係藉由機器學習技術建立。
  16. 如申請專利範圍第11項所述的動作偵測方法,其中該動作感測器包括一慣性感測器,且修改來自該動作感測器的該偵測值的步驟包括: 響應於該觸覺回饋命令觸發觸覺回饋裝置而修改該慣性感測器的輸出,從而修改該偵測值。
  17. 如申請專利範圍第11項所述的動作偵測方法,其中該觸覺回饋裝置包括一第一觸覺回饋裝置與一第二觸覺回饋裝置,並且修改來自該動作感測器的該偵測值的步驟包括: 判斷該第一觸覺回饋裝置與該第二觸覺回饋裝置中的至少一者執行該觸覺回饋; 響應於該第二觸覺回饋裝置執行該觸覺回饋的判斷,藉由一濾波器修改來自該動作感測器的該偵測值;以及 響應於該第一觸覺回饋裝置執行該觸覺回饋的判斷,藉由一機器學習技術或一補償命令修改來自該動作感測器的該偵測值。
  18. 如申請專利範圍第11項所述的動作偵測方法,其中該偵測值是由該動作感測器的一加速度計所產生,且修改來自該動作感測器的該偵測值的步驟包括: 響應於該觸覺回饋命令觸發該觸覺回饋元件而修改該加速度計的輸出,從而修改該偵測值。
  19. 如申請專利範圍第11項所述的動作偵測方法,其中該動作偵測系統包括一處理器,且該動作偵測方法更包括: 藉由該處理器產生該觸覺回饋命令;其中 修改來自該動作感測器的該偵測值的步驟包括: 藉由該處理器執行修改以修改該偵測值。
  20. 一種非暫時性電腦可讀記錄媒體,記錄由一處理器載入的電腦程式以執行以下步驟: 觸發一動作偵測系統的一或多個觸覺回饋裝置根據一觸覺回饋命令執行一觸覺回饋;以及 響應於該觸覺回饋命令觸發該觸覺回饋裝置,修改來自該動作偵測系統的一動作感測器的一偵測值。
TW108105905A 2018-03-02 2019-02-22 動作偵測系統、動作偵測方法及其電腦可讀記錄媒體 TWI744606B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862637406P 2018-03-02 2018-03-02
US62/637,406 2018-03-02
US16/191,459 2018-11-15
US16/191,459 US10877562B2 (en) 2018-03-02 2018-11-15 Motion detection system, motion detection method and computer-readable recording medium thereof

Publications (2)

Publication Number Publication Date
TW201939221A true TW201939221A (zh) 2019-10-01
TWI744606B TWI744606B (zh) 2021-11-01

Family

ID=67768581

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108105905A TWI744606B (zh) 2018-03-02 2019-02-22 動作偵測系統、動作偵測方法及其電腦可讀記錄媒體

Country Status (3)

Country Link
US (1) US10877562B2 (zh)
CN (1) CN110221683B (zh)
TW (1) TWI744606B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013038A1 (ja) * 2018-07-10 2020-01-16 株式会社ソニー・インタラクティブエンタテインメント コントローラ装置、及びその制御方法
US10972826B1 (en) * 2019-10-22 2021-04-06 Htc Corporation Head mounted display and driving method thereof
JP2021067877A (ja) 2019-10-25 2021-04-30 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、ヘッドマウントディスプレイ、および画像表示方法
CN113296605B (zh) * 2021-05-24 2023-03-17 中国科学院深圳先进技术研究院 力反馈方法、力反馈装置及电子设备
US20230221433A1 (en) * 2022-01-12 2023-07-13 Freedrum Studio AB System and a method for determining positions of sensor units

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8077020B2 (en) * 2008-07-10 2011-12-13 International Business Machines Corporation Method and apparatus for tactile haptic device to guide user in real-time obstacle avoidance
DE102011017250B4 (de) * 2011-01-07 2022-12-01 Maxim Integrated Products, Inc. Berührungs-Feedbacksystem, haptisches Feedbacksystem und Verfahren zum Bereitstellen eines haptischen Feedbacks
US8791799B2 (en) 2012-02-01 2014-07-29 Immersion Corporation Eccentric rotating mass actuator optimization for haptic effects
US9230208B2 (en) * 2013-12-18 2016-01-05 International Business Machines Corporation Haptic-based artificial neural network training
US9665198B2 (en) * 2014-05-06 2017-05-30 Qualcomm Incorporated System and method for optimizing haptic feedback
US10254838B2 (en) * 2014-12-23 2019-04-09 Immersion Corporation Architecture and communication protocol for haptic output devices
US9645647B2 (en) 2015-05-13 2017-05-09 Immersion Corporation Systems and methods for haptic feedback for modular devices
US20160378186A1 (en) * 2015-06-23 2016-12-29 Intel Corporation Technologies for controlling haptic feedback intensity

Also Published As

Publication number Publication date
CN110221683A (zh) 2019-09-10
US10877562B2 (en) 2020-12-29
US20190272034A1 (en) 2019-09-05
TWI744606B (zh) 2021-11-01
CN110221683B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
TWI744606B (zh) 動作偵測系統、動作偵測方法及其電腦可讀記錄媒體
US10974138B2 (en) Haptic surround functionality
JP6676071B2 (ja) 仮想現実におけるオブジェクトとの手のコンテキスト依存衝突を介した入力
CN108475120B (zh) 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统
CN110096131B (zh) 触感交互方法、装置、以及触感可穿戴设备
US20180024623A1 (en) Detecting user range of motion for virtual reality user interfaces
JP6342038B1 (ja) 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
CN106796452B (zh) 头戴式显示装置及其控制方法、计算机可读介质
JP2022529245A (ja) 電磁追跡のためのセンサ融合
KR20160004198A (ko) 정전 햅틱 효과를 제공하는 표면 요소를 위한 시스템 및 방법
WO2008073801A2 (en) Inertial sensor input device
US11360550B2 (en) IMU for touch detection
WO2020110659A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11029753B2 (en) Human computer interaction system and human computer interaction method
TW201903563A (zh) 具有外置追蹤及內置追蹤之虛擬實境系統及其控制方法
KR20170038461A (ko) 스마트 기기를 기반으로 한 감성 로봇 시스템 및 동작 모드 제어 방법
WO2023015082A1 (en) Augmented reality (ar) pen/hand tracking
TW202217516A (zh) 修改游標位置的方法和系統
CN112717409A (zh) 虚拟车辆控制方法、装置、计算机设备及存储介质
US11061469B2 (en) Head mounted display system and rotation center correcting method thereof
JP6533946B1 (ja) プログラム、情報処理装置、情報処理システム、情報処理方法及びヘッドマウントディスプレイ
KR20160089982A (ko) 동작인식센서를 이용한 입력장치
TWI682877B (zh) 移動裝置控制方法、伺服器裝置及移動裝置控制系統
TW201913298A (zh) 可顯示實體輸入裝置即時影像之虛擬實境系統及其控制方法
TWM598976U (zh) 可應用眼球位置點選控制的可攜式電子產品