TWI674134B - 沉浸式系統、控制方法及非暫態電腦可讀取媒體 - Google Patents

沉浸式系統、控制方法及非暫態電腦可讀取媒體 Download PDF

Info

Publication number
TWI674134B
TWI674134B TW107123974A TW107123974A TWI674134B TW I674134 B TWI674134 B TW I674134B TW 107123974 A TW107123974 A TW 107123974A TW 107123974 A TW107123974 A TW 107123974A TW I674134 B TWI674134 B TW I674134B
Authority
TW
Taiwan
Prior art keywords
vibration
axis
event
immersive
vibration component
Prior art date
Application number
TW107123974A
Other languages
English (en)
Other versions
TW201907994A (zh
Inventor
潘晟陽
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201907994A publication Critical patent/TW201907994A/zh
Application granted granted Critical
Publication of TWI674134B publication Critical patent/TWI674134B/zh

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/0207—Driving circuits
    • B06B1/0215—Driving circuits for generating pulses, e.g. bursts of oscillations, envelopes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/0207—Driving circuits
    • B06B1/0223—Driving circuits for generating signals continuous in time
    • B06B1/023—Driving circuits for generating signals continuous in time and stepped in amplitude, e.g. square wave, 2-level signal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/0207—Driving circuits
    • B06B1/0223—Driving circuits for generating signals continuous in time
    • B06B1/0269—Driving circuits for generating signals continuous in time for generating multiple frequencies
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B1/00—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency
    • B06B1/02—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy
    • B06B1/04—Methods or apparatus for generating mechanical vibrations of infrasonic, sonic, or ultrasonic frequency making use of electrical energy operating with electromagnetism
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B06—GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS IN GENERAL
    • B06B—METHODS OR APPARATUS FOR GENERATING OR TRANSMITTING MECHANICAL VIBRATIONS OF INFRASONIC, SONIC, OR ULTRASONIC FREQUENCY, e.g. FOR PERFORMING MECHANICAL WORK IN GENERAL
    • B06B2201/00—Indexing scheme associated with B06B1/0207 for details covered by B06B1/0207 but not provided for in any of its subgroups
    • B06B2201/50—Application to a particular transducer type
    • B06B2201/52—Electrodynamic transducer
    • B06B2201/53—Electrodynamic transducer with vibrating magnet or coil
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種沉浸式系統包含處理裝置。處理裝置通訊連接至介面裝置以及頭戴式顯示裝置中的電子顯示器。介面裝置包含觸覺回饋電路用以產生觸覺回饋。處理裝置用以提供一沉浸式內容至該電子顯示器。處理裝置用以在該沉浸式內容中辨識對應該介面裝置的一第一模擬物件。處理裝置用以辨識該沉浸式內容中發生在該第一模擬物件上的一互動事件。處理裝置用以根據該互動事件以及該第一模擬物件決定一振動模型。處理裝置用以控制該觸覺回饋電路根據該振動模型產生該觸覺回饋。

Description

沉浸式系統、控制方法及非暫態電腦可 讀取媒體
本揭示係關於沉浸式系統以及其控制方法，更進一步而言，本揭示係關於能夠根據互動事件產生觸覺回饋的沉浸式系統。
近來，虛擬實境(virtual reality,VR)、增強實境(augmented reality,AR)、替代實境(substitutional reality,SR)或混合實境(mixed reality,MR)應用快速發展。許多不同的技術方案包含高規格系統(例如HTC VIVE)至低價系統(例如Google Cardboard)可以給使用者帶來各種虛擬實境、增強實境、替代實境或混合實境的沉浸式體驗。上述各種實境系統的目的是給使用者提供盡可能貼近真實的感官體驗(包含視線、聲音、氣味及/或觸感)，在這些感官知覺當中觸覺是相當重要的一個環節。
本揭示文件提供一種沉浸式系統，沉浸式系統包含處理裝置。處理裝置通訊連接至介面裝置以及頭戴式顯 示裝置中的電子顯示器。介面裝置包含觸覺回饋電路用以產生觸覺回饋。處理裝置經設置用以：提供一沉浸式內容至該電子顯示器；在該沉浸式內容中辨識對應該介面裝置的一第一模擬物件；辨識該沉浸式內容中發生在該第一模擬物件上的一互動事件；根據該互動事件以及該第一模擬物件決定一振動模型；以及，控制該觸覺回饋電路根據該振動模型產生該觸覺回饋。
本揭示文件更提供一種控制方法，控制方法適用於沉浸式系統，控制方法包含：提供一沉浸式內容；在該沉浸式內容中辨識對應一介面裝置的一第一模擬物件；辨識該沉浸式內容中發生在該第一模擬物件上的一互動事件；根據該互動事件以及該第一模擬物件決定一振動模型；以及，根據該振動模型產生一觸覺回饋。
本揭示文件更提供一種非暫態電腦可讀取媒體，其包含電腦程式指令，當處理器執行電腦程式指令時，使處理器執行下列操作包含：提供一沉浸式內容；在該沉浸式內容中辨識對應一介面裝置的一第一模擬物件；辨識該沉浸式內容中發生在該第一模擬物件上的一互動事件；根據該互動事件以及該第一模擬物件決定一振動模型；以及，根據該振動模型產生一觸覺回饋。
須說明的是，上述說明以及後續詳細描述是以實施例方式例示性說明本案，並用以輔助本案所請求之發明內容的解釋與理解。
為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附符號之說明如下：
100‧‧‧沉浸式系統
120‧‧‧介面裝置
122‧‧‧觸覺回饋電路
122a‧‧‧多軸振動致動器
122b‧‧‧第一線性振動致動器
122c‧‧‧第二線性振動致動器
124‧‧‧動態感測器
126‧‧‧控制電路
128‧‧‧通訊電路
140‧‧‧處理裝置
142‧‧‧處理器
144‧‧‧電腦程式指令
160‧‧‧頭戴式顯示裝置
162‧‧‧電子顯示器
HD‧‧‧手掌
IMC、IMC1、IMC2‧‧‧沉浸式內容
ORI‧‧‧空間指向
AX1‧‧‧第一軸
AX2‧‧‧第二軸
MV‧‧‧動量向量
CFV‧‧‧碰撞應力向量
θ1、θ2、θ3、θ4‧‧‧角度
A1、A2‧‧‧幅度
D1、D2‧‧‧持續期間
ACT‧‧‧動作事件
RFV‧‧‧反作用力向量
BVP1、BVP2、BVP3‧‧‧基本振動模型
S410~S490‧‧‧操作
400、500‧‧‧控制方法
S510~S590‧‧‧操作
OBJ1a、OBJ1b、OBJ1x‧‧‧第一模擬物件
OBJ2‧‧‧第二模擬物件
為讓本揭示內容之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：第1圖繪示根據本揭示文件之一實施例中一種沉浸式系統的示意圖；第2圖繪示第1圖中介面裝置的側視圖；第3A圖繪示根據本揭示文件一些實施例中介面裝置的功能方塊圖；第3B圖繪示根據本揭示文件另一實施例的介面裝置的功能方塊圖；第4圖繪示根據本揭示文件之一些實施例中一種控制方法的流程圖；第5圖繪示在本揭示文件一個示範實例之中第4圖所示之其中一個操作進一步包含詳細子操作的流程圖；第6A圖繪示第5圖所示的示範實例所對應的沉浸式內容的示意圖；第6B圖繪示第5圖所示的示範實例中碰撞應力向量、第一振動分量以及第二振動分量彼此的空間關係的示意圖；第7A圖繪示根據本揭示文件之一實施例中沿著第一軸的第一振動控制訊號以及沿著第二軸的第二振動控制訊號的訊號波形圖；第7B圖繪示根據本揭示文件之另一實施例中沿著第一軸的第一振動控制訊號以及沿著第二軸的第二振動控制訊號的訊號波形圖； 第8圖繪示在本揭示文件另一個示範實例之中第4圖所示之其中一操作進一步包含詳細子操作的流程圖；第9A圖繪示第8圖所示的示範實例所對應的沉浸式內容的示意圖；第9B圖繪示第8圖所示的示範實例中碰撞應力向量、第一振動分量以及第二振動分量彼此的空間關係的示意圖；第10圖繪示根據本揭示文件之一些實施例中控制方法的流程圖；第11A圖繪示與一候選互動事件相關聯的基本振動模型的訊號示意圖；第11B圖繪示了與另一候選互動事件相關聯的另一基本振動模型的訊號示意圖；第11C圖繪示了與另一候選互動事件相關聯的另一基本振動模型的訊號示意圖；第12圖繪示根據本揭示文件之一實施例中沿著第一軸的第一振動控制訊號以及沿著第二軸的第二振動控制訊號的訊號波形圖；以及第13圖繪示根據本揭示文件之一實施例中沿著第一軸的第一振動控制訊號以及沿著第二軸的第二振動控制訊號的訊號波形圖。
以下揭示提供許多不同實施例或例證用以實施本揭示文件的不同特徵。特殊例證中的元件及配置在以下討 論中被用來簡化本揭示。所討論的任何例證只用來作解說的用途，並不會以任何方式限制本揭示文件或其例證之範圍和意義。在適當的情況下，在圖示之間及相應文字說明中採用相同的標號以代表相同或是相似的元件。
請參閱第1圖，其繪示根據本揭示文件之一實施例中一種沉浸式系統100的示意圖。如第1圖所示，於一實施例中，沉浸式系統100包含介面裝置120、處理裝置140以及頭戴式顯示(head mounted display,HMD)裝置160。
於第1圖所示的實施例中，頭戴式顯示裝置160包含電子顯示器162。電子顯示器162用以將沉浸式內容IMC顯示給佩戴著頭戴式顯示裝置160的使用者。沉浸式內容IMC可以是經過兩眼視差處理的立體影像(或者立體串流影像)用以將虛擬實境(virtual reality,VR)、增強實境(augmented reality,AR)、替代實境(substitutional reality,SR)或混合實境(mixed reality,MR)的體驗提供給使用者。
如第1圖之實施例所示，介面裝置120包含使用者的手掌HD中所握的手持式控制器。於一些實施例中，介面裝置120包含觸覺回饋電路122。觸覺回饋電路122用以產生觸覺回饋至使用者的手掌HD。舉例來說，觸覺回饋電路122可以包含一或多個振動致動器，可以用來在介面裝置120上產生振動效果。當沉浸式內容IMC中發生了一些事件或一些情況時，就會產生相應的觸控回饋(例如觸覺回饋電路122所產生的振動)讓使用者可以由他/她的手掌HD感覺到觸控回饋。
於第1圖的實施例中，介面裝置120是握在使用者手掌HD當中的手持式控制器，然而本揭示文件並不以此為限。
於其他實施例中，介面裝置(圖中未示)也可以是穿戴式裝置，穿戴在使用者的特定身體部位。觸覺回饋電路產生觸覺回饋至這個特定身體部位。於一個例子中，介面裝置可以是腕帶，穿戴在使用者的手腕上，而觸控回饋裝置產生觸控回饋至使用者的手腕，如此一來使用者可以透過手腕的肌膚感覺到觸控回饋。於另一個例子中，介面裝置可以是背心，穿戴在使用者的軀幹上，而觸控回饋裝置產生觸控回饋至使用者的軀幹，如此一來使用者可以透過胸口或背部感覺到觸控回饋。於再一個例子中，介面裝置可以是頭帶，穿戴在使用者的頭部，而觸控回饋裝置產生觸控回饋至使用者的頭部，如此一來使用者可以透過頭部感覺到觸控回饋。
於第1圖所示的實施例中，處理裝置140透過無線連接方式(例如WiFi、藍芽、低功率藍芽或紅外線通訊)通訊連接至介面裝置120以及頭戴式顯示裝置160。處理裝置140包含處理器142。處理裝置140的處理器142可以執行電腦程式指令144。處理裝置140可以是電腦、遊戲主機、伺服器或任何具有計算能力其他相等性的裝置。處理器142可以是中央處理單元、圖形處理單元、特殊應用積體電路(Application-specific integrated circuit,ASIC)或是處理裝置140的控制單元。電腦程式指令144可以是處理器142所執行的軟體或韌體。處理裝置140用以提供沉浸式內容IMC並將其顯示在頭戴式顯示裝置160的電子顯示器162上。
請一併參閱第2圖及第3A圖，第2圖繪示第1圖中介面裝置120的側視圖。第3A圖繪示根據本揭示文件一些實施例中介面裝置120的功能方塊圖。
如第2圖及第3A圖所示，介面裝置120包含觸覺回饋電路122、動態感測器124、控制電路126以及通訊電路128。於第3A圖的實施例中，觸覺回饋電路122包含多軸振動致動器122a其至少可以沿著第一軸AX1以及第二軸AX2產生振動。第一軸AX1以及第二軸AX2彼此指向不同的方向。
於第2圖所示的實施例中，第一軸AX1是由介面裝置120的右側延伸至介面裝置120的左側，而第二軸AX2是由介面裝置120的前方延伸至介面裝置120的後方。換句話說，多軸振動致動器122a可以驅動介面裝置120沿著第一軸AX1側向振動並且可以驅動介面裝置120沿著第二軸AX2前後振動。於此實施例中，多軸振動致動器122a可以是一個雙軸振動致動器其能夠沿著第一軸AX1以及第二軸AX2兩個方向分別振動。舉例來說，雙軸振動致動器可以透過設置在兩個電磁端點之間的震盪器線圈所構成。當高頻訊號施加至兩個電磁端點時，震盪器線圈會根據電磁端點上的高頻訊號發生共振，高頻訊號可以驅動震盪器線圈沿著一個軸向(例如水平軸)在一個共振頻率下振動，並且驅動震盪器線圈沿著另一個軸向(例如垂直軸)在另一個共振頻率下振動。
然而，多軸振動致動器122a並不限於在如第2圖所示的側向方向以及前後方向上進行振動。於其他實施例中，多軸振動致動器122a可以設置為沿著三個不同的軸進行振 動，例如側向方向、前後方向以及上下方向。於再一實施例中，多軸振動致動器122a可以設置為沿著兩個或多個不同軸向所形成的組合上進行振動(例如側向、前後、上下、順時針及/或逆時針)。
如第2圖所示，介面裝置120的動態感測器124可以用來偵測介面裝置120的空間指向ORI。動態感測器124可以由慣性量測單元(Inertial Measurement Unit,IMU)來實現。慣性量測單元用以感測介面裝置120沿著不同軸向的加速度及角速度。然而，本揭示文件並不以此為限。動態感測器124也可以利用加速度計、陀螺儀或其他指向感測器來實現。
觸覺回饋電路122與動態感測器124均固定設置在介面裝置120上。因此，第一軸AX1、第二軸AX2以及動態感測器124所感測到的空間指向ORI彼此之間具有固定空間關係。因此，只要得知空間指向ORI，便可以同樣推知第一軸AX1及第二軸AX2所面對的方向。
控制電路126耦接至觸覺回饋電路122、動態感測器124以及通訊電路128。通訊電路128用以與處理裝置140通訊。控制電路126可以取得動態感測器124所偵測的空間指向ORI，並將空間指向ORI透過通訊電路128傳輸至處理裝置140。控制電路126可用以觸發及控制觸覺回饋電路122沿著第一軸AX1以及第二軸AX2振動。
此外，本揭示文件的觸覺回饋電路122並不限於包含第3A圖所示的多軸振動致動器122a。請一併參閱第3B圖，第3B圖繪示根據本揭示文件另一實施例的介面裝置120的 功能方塊圖。如第3B圖所示，介面裝置120包含觸覺回饋電路122、動態感測器124、控制電路126以及通訊電路128。須特別注意的是，第3B圖之實施例中觸覺回饋電路122包含第一線性振動致動器122b以及第二線性振動致動器122c。第一線性振動致動器122b可以沿著第一軸AX1(參閱第2圖)振動，第二線性振動致動器122c可以沿著第二軸AX2(參閱第2圖)振動。藉此，第一線性振動致動器122b以及第二線性振動致動器122c可以驅動介面裝置120分別沿著第一軸AX1與沿著第二軸AX2振動。
於其他一些實施例中，觸覺回饋電路122可以包含兩個以上的線性振動致動器(例如沿著三個不同軸向設置的三個線性振動致動器，或是沿著六個不同軸向設置的六個線性振動致動器)，如此一來，觸覺回饋電路122可以沿著各種不同方向產生更真實的觸控回饋。
為了說明上的簡潔，後續段落中的觸覺回饋電路122是以能夠沿著兩個軸(參閱第2圖中的第一軸AX1以及第二軸AX2)振動進行舉例說明。然而，觸覺回饋電路122並不以此為限。
於本揭示文件的一些實施例中，處理裝置140根據不同的環境狀態(例如沉浸式內容IMC當中發生不同的事件、或者沉浸式內容IMC中一個事件發生在不同的虛擬物件上)下用以控制觸覺回饋電路122沿著第一軸AX1以及第二軸AX2根據不同的參數(例如振動幅度、振動持續期間或振動頻 率)產生觸覺回饋。關於在不同的環境狀態下如何決定產生觸覺回饋的不同參數設定將在後續段落中進一步討論。
請一併參閱第4圖，其繪示根據本揭示文件之一些實施例中一種控制方法400的流程圖。控制方法400適用於第1圖及先前實施例中所示的沉浸式系統100。如第1圖、第2圖以及第4圖所示，在操作S410當中，處理裝置140的處理器142將沉浸式內容IMC提供至頭戴式顯示裝置160的電子顯示器162。
在沉浸式內容IMC可能包含主要場景、背景、使用者的虛擬化身、對應介面裝置120的第一模擬物件及/或一些其他虛擬物件，這些其他虛擬物件可能是沉浸式系統100為了提供虛擬實境、增強實境、替代實境或混合實境體驗所建立的虛擬物件。
在沉浸式內容IMC當中，對應介面裝置120的第一模擬物件可以根據虛擬實境、增強實境、替代實境或混合實境體驗的主要場景或背景而有所改變。在一個例子中，假設使用者的虛擬化身是一個礦工，對應介面裝置120的第一模擬物件可以變形為一把鏟子。另一個例子中，假設使用者的虛擬化身是一個士兵，對應介面裝置120的第一模擬物件可以變形為一把手槍、一把散彈槍、一把狙擊槍獲一把自動步槍。再另一個例子中，假設使用者的虛擬化身是一個棒球運動員或是網球運動員，對應介面裝置120的第一模擬物件可以變形為棒球球棒或網球球拍。再另一個例子中，假設使用者的虛擬化身是一個賽車手，對應介面裝置120的第一模擬物件可以變形為方向 盤或排檔桿。換句話說，對應介面裝置120的第一模擬物件是根據沉浸式內容IMC的當前資料而決定。
於操作S430當中，處理裝置140的處理器142用以辨識沉浸式內容IMC當中對應介面裝置120的第一模擬物件。
使用者可以用手操縱介面裝置120。基於使用者的操縱狀態，在沉浸式內容IMC中將可能有互動事件發生在第一模擬物件上。於一個例子中，使用者在沉浸式內容IMC當中可以利用鏟子(即第一虛擬物件)朝向地面進行挖掘的動作，此時互動事件是挖角動作事件。於另一個例子中，使用者在沉浸式內容IMC當中可以扣下手槍(即第一虛擬物件)的板機，此時互動事件是射擊動作事件。於另一個例子中，使用者在沉浸式內容IMC當中可以用網球球拍(即第一虛擬物件)揮擊一個虛擬的網球，此時互動事件是虛擬網球與網球球拍之間的碰撞事件。於另一個例子中，使用者在沉浸式內容IMC當中可以操縱排檔桿(即第一虛擬物件)進行換檔，此時互動事件是排檔桿的換檔動作事件。
在操作S450當中，處理裝置140的處理器142辨識上述在沉浸式內容IMC中發生在第一模擬物件上的互動事件。
在操作S470當中，處理裝置140的處理器142根據互動事件以及第一模擬物件決定一振動模型。處理裝置140所決定的振動模型包含了沿著第一軸AX1的第一振動分量以及沿著第二軸AX2的第二振動分量。沿著第一軸AX1的第一振 動分量包含第一振動幅度、第一振動頻率或第一振動持續期間。沿著第二軸AX2的第二振動分量包含第二振動幅度、第二振動頻率或第二振動持續期間。振動模型可用來決定沿著第一軸AX1以及第二軸AX2的振動分別有多強烈(例如第一振動幅度與第二振動幅度各自的大小)、持續多久(例如第一振動持續期間與第二振動持續期間各自的長度)及/或多密集(例如第一振動頻率與第二振動頻率各自的高低)。
於一些實施例中，處理裝置140用以根據沉浸式內容IMC當中的互動事件來決定振動模型。如果互動事件是一個強烈的動作(例如開槍射擊、擊出全壘打)，則振動模型中的多個振動幅度會加大。如果互動事件是一個微弱的動作，則振動模型中的多個振動幅度會減小。如果互動事件是一個長時間持續動作(例如用手握住一個物體)，則振動模型中的多個振動持續期間會拉長。如果互動事件是一個瞬間暫態動作(例如爆炸)，則振動模型中的多個振動持續期間會縮短。
於一些實施例中，處理裝置140更進一步用以根據沉浸式內容IMC當中的第一模擬物件的參數來決定振動模型。第一模擬物件的參數可以包含第一模擬物件的型態、重量、硬度、彈性或材質。振動模型可以根據第一模擬物件之參數而決定。若第一模擬物件的重量較重，振動模型的多個振動幅度將變小或者振動持續期間將縮短。若第一模擬物件的重量較輕，振動模型的多個振動幅度將變大或者振動持續期間將延長。若第一模擬物件的彈性較佳，振動模型的多個振動幅度將變大或者振動持續期間將延長。若第一模擬物件不具有彈性 (或彈性較小)，振動模型的多個振動幅度將變小或者振動持續期間將縮短。
在操作S490當中，處理裝置140的處理器142將之前操作S470所決定的振動模型傳送至介面裝置120的觸覺回饋電路122，藉此根據振動模型在介面裝置120上產生相應的觸覺回饋。
換句話說，處理裝置140在操作S470中會相應於發生在第一模擬物件上的互動事件決定適當的振動模型。振動模型是根據操作S430所辨識的第一模擬物件的參數以及操作S450所辨識的互動事件的事件特性來決定。接著，介面裝置120的觸覺回饋電路122便會根據振動模型產生觸覺回饋，如此一來，使用者感受到的觸學回饋便會對應到第一模擬物件的參數以及互動事件的事件特色而有所不同。
請一併參閱第5圖、第6A圖以及第6B圖，第5圖繪示在本揭示文件一個示範實例之中第4圖所示之操作S470進一步包含詳細子操作S471a-S475a的流程圖。第6A圖繪示第5圖所示的示範實例所對應的沉浸式內容IMC1的示意圖。第6B圖繪示第5圖所示的示範實例中碰撞應力向量CFV、第一振動分量CPV1以及第二振動分量CPV2彼此的空間關係的示意圖。
如第6A圖所示之沉浸式內容IMC1的示範實例當中，第一模擬物件OBJ1a是辨識為網球球拍以及互動事件是辨識為第一模擬物件OBJ1a與第二模擬物件OBJ2(例如網球)之間的碰撞事件。在此碰撞事件中第一模擬物件OBJ1a與沉浸式 內容IMC1中的第二模擬物件OBJ2發生撞擊。舉例來說，當使用者用網球球拍擊打網球時，沉浸式系統100希望能透過介面裝置120提供接近真實的觸覺回饋，如此一來，使用者能夠感受到網球與網球球拍之間的碰撞事件。
如第1圖、第2圖、第5圖及第6A圖所示，在操作S471a當中，介面裝置120的動態感測器124用以偵測介面裝置120的空間指向ORI，處理裝置140由介面裝置120取得空間指向ORI。由於觸覺回饋電路122與動態感測器124均固定設置在介面裝置120上。因此，第一軸AX1、第二軸AX2以及動態感測器124所感測到的空間指向ORI彼此之間具有固定空間關係。於操作S472a當中，處理裝置140根據動態感測器124偵測的空間指向ORI得知第一軸AX1與第二軸AX2的方向。
如第1圖、第2圖、第5圖及第6B圖所示，在操作S473a當中，處理裝置140決定由第二模擬物件OBJ2對第一模擬物件OBJ1a造成的碰撞應力向量CFV。於第6A圖及第6B圖之示範實例當中，碰撞應力向量CFV是根據第二模擬物件OBJ2(例如網球)在碰撞之前初始的動量向量MV而決定。如果初始的動量向量MV愈大(例如網球的質量愈大或是網球的初始速度愈快)，碰撞應力向量CFV便愈大。如果初始的動量向量MV愈小(例如網球的質量愈小或是網球的初始速度愈慢)，碰撞應力向量CFV便愈小。於此示範實例當中，碰撞應力向量CFV的方向對齊第二模擬物件OBJ2其初始的動量向量MV的方向。
如第1圖、第2圖、第5圖及第6B圖所示，在操作S474a當中，處理裝置140將碰撞應力向量CFV投射至第一軸AX1以計算第一振動分量CPV1，第一振動分量CPV1的長度可由碰撞應力向量CFV的長度與角度θ1的乘積而定，可以表示為下列公式：L(CPV1)=L(CFV)* cosθ1當中，L(CPV1)代表第一振動分量CPV1的長度；L(CFV)代表碰撞應力向量CFV的長度；以及，θ1為碰撞應力向量CFV與第一軸AX1之間的夾角。
如第1圖、第2圖、第5圖及第6B圖所示，在操作S475a當中，處理裝置140將碰撞應力向量CFV投射至第二軸AX2以計算第二振動分量CPV2，第二振動分量CPV2的長度可由碰撞應力向量CFV的長度與角度θ2的乘積而定，可以表示為下列公式：L(CPV2)=L(CFV)* cosθ2當中，L(CPV2)代表第二振動分量CPV2的長度；L(CFV)代表碰撞應力向量CFV的長度；以及，θ2為碰撞應力向量CFV與第二軸AX2之間的夾角。
於此示範實例當中，操作S470所決定的振動模型中包含了如第6B圖所示沿著第一軸AX1的第一振動分量CPV1以及沿著第二軸AX2的第二振動分量CPV2。
在操作S490當中，觸覺回饋電路122用以基於第一軸AX1的第一振動分量CPV1以及沿著第二軸AX2的第二振動分量CPV2在兩個軸上同時產生振動回饋。
於此示範實例中，第二振動分量CPV2的長度大於第一振動分量CPV1的長度，這代表了觸覺回饋電路122將在第二軸AX2產生較大程度的振動而在第一軸AX1上產生較小程度的振動。
於一些實施例中，第一軸AX2上的振動與第二軸AX2上的振動之間震動程度的關係可以按照第一振動分量CPV1與第二振動分量CPV2之間長度比例而定。
請一併參閱第7A圖，其繪示根據本揭示文件之一實施例中沿著第一軸AX1的第一振動控制訊號以及沿著第二軸AX2的第二振動控制訊號的訊號波形圖。
於一實施例中，第一振動控制訊號與第二振動控制訊號提供給第3A圖中的多軸振動致動器122a以分別控制多軸振動致動器122a在第一軸AX1及第二軸AX2產生的振動。於另一實施例中，第一振動控制訊號是提供給第3B圖所示的第一線性振動致動器122b，以控制第一線性振動致動器122b在第一軸AX1上產生的振動，第二振動控制訊號是提供給第3B圖所示的第二線性振動致動器122c，以控制第二線性振動致動器122c在第二軸AX2上產生的振動。第一振動控制訊號與第二振動控制訊號是分別根據第一振動分量CPV1的長度與第二振動分量CPV2的長度而決定。
於第7A圖的實施例中，第二振動控制訊號的幅度A2是第一振動控制訊號的幅度A1的兩倍。於此例子中，觸覺回饋電路122沿著第二軸AX2產生的振動強度將設定為沿著第一軸AX1產生的振動強度的兩倍。如此一來，使 用者可以感覺到由第一軸AX1上的振動與第二軸AX2上的振動共同形成的一個組合振動。這個組合振動可以模擬接近網球對網球拍所造成的碰撞力道。這個組合振動可以模擬來自各種不同進入方向的衝擊力道(並不限於單單第一軸AX1本身的方向或是單單第二軸AX2本身的方向)，如此一來，使用者可以在介面裝置120上感受到來自不同方向的碰撞應力的衝擊力道。
於一些實施例中，如果介面裝置120是穿在使用者軀幹上的背心，則使用者的軀幹可以感受到來自不同方向的碰撞應力的衝擊力道。
請一併參閱第7B圖，其繪示根據本揭示文件之另一實施例中沿著第一軸AX1的第一振動控制訊號以及沿著第二軸AX2的第二振動控制訊號的訊號波形圖。
於第7B圖的實施例中，第二振動控制訊號的持續期間D2是第一振動控制訊號的持續期間D1的兩倍。於此例子中，觸覺回饋電路122沿著第二軸AX2產生的振動持續期間將設定為沿著第一軸AX1產生的振動持續期間的兩倍。如此一來，使用者可以感覺到由第一軸AX1上的振動與第二軸AX2上的振動將具有不同長短的持續時間。如此一來，使用者也可以感受到兩個不同軸向(第一軸AX1及第二軸AX2)共同形成的組合振動。
基於第7A圖的實施例，介面裝置120上沿著第一軸AX1的第一振動分向CPV1產生的振動具有第一振動幅度A1，沿著第二軸AX2的第二振動分向CPV2產生的振 動具有第二振動幅度A2不同於第一振動幅度A1。基於第7B圖的實施例，介面裝置120上沿著第一軸AX1的第一振動分向CPV1產生的振動具有第一振動持續期間D1，沿著第二軸AX2的第二振動分向CPV2產生的振動具有第二振動持續期間D2不同於第一振動持續期間D1。在另一實施例中，沿著第一軸AX1的第一振動分向CPV1產生的振動具有第一振動頻率(例如5赫茲或相對較低頻率)，沿著第二軸AX2的第二振動分向CPV2產生的振動具有第二振動頻率(例如20赫茲或相對較高頻率)不同於第一振動頻率。
請一併參閱第8圖、第9A圖以及第9B圖，第8圖繪示在本揭示文件另一個示範實例之中第4圖所示之操作S470進一步包含詳細子操作S471b-S475b的流程圖。第9A圖繪示第8圖所示的示範實例所對應的沉浸式內容IMC2的示意圖。第9B圖繪示第8圖所示的示範實例中碰撞應力向量CFV、第一振動分量CPV1以及第二振動分量CPV2彼此的空間關係的示意圖。
如第9A圖所示之沉浸式內容IMC2的示範實例當中，第一模擬物件OBJ1b是辨識為手槍以及互動事件是辨識為與第一模擬物件OBJ1b有關的動作事件。例如，當使用者在沉浸式內容IMC2中體驗射擊遊戲時，使用者可以按壓(或是扣下)第1圖所示的介面裝置120上的開關按鈕，便會根據使用者的操縱狀態產生相應的一個動作事件ACT發生至第一模擬物件OBJ1b。於此示範實例中，動作事件是沿著第一方向(例如朝向手槍的前方)進行射擊。當使用者 在沉浸式內容IMC2當中扣下手槍的板機，沉浸式系統100希望能透過介面裝置120提供接近真實的觸覺回饋，如此一來，使用者能夠感受到手槍上發生的動作事件。
如第1圖、第2圖、第8圖及第9A圖所示，在操作S471b當中，介面裝置120的動態感測器124用以偵測介面裝置120的空間指向ORI，處理裝置140由介面裝置120取得空間指向ORI。第一軸AX1、第二軸AX2以及動態感測器124所感測到的空間指向ORI彼此之間具有固定空間關係。於操作S472b當中，處理裝置140根據動態感測器124偵測的空間指向ORI得知第一軸AX1與第二軸AX2的方向。
如第1圖、第2圖、第8圖、第9A圖及第9B圖所示，在操作S473b當中，處理裝置140決定發生在第一模擬物件OBJ1b上的動作事件ACT產生的反作用力向量RFV。於第9A圖及第9B圖之示範實例當中，反作用力向量RFV是沿著第二方向(朝向手槍的後方)與動作事件ACT的射擊方向相反。反作用力向量RFV另外受到動作事件ACT所造成的動作力道的影響。如果動作事件ACT所造成的動作力道愈大(例如第一模擬物件OBJ1b變為一把散彈槍)，反作用力向量RFV便愈大。如果動作事件ACT所造成的動作力道愈小，反作用力向量RFV便愈小。於此示範實例當中，反作用力向量RFV的方向是相反於發生在第一模擬物件OBJ1b上的動作事件ACT的方向。
如第1圖、第2圖、第8圖及第9B圖所示，在操作S474b當中，處理裝置140將反作用力向量RFV投射至第一軸AX1以計算第一振動分量CPV1，第一振動分量CPV1的長度可由反作用力向量RFV的長度與角度θ3的乘積而定，可以表示為下列公式：L(CPV1)=L(RFV)* cosθ3當中，L(CPV1)代表第一振動分量CPV1的長度；L(RFV)代表反作用力向量RFV的長度；以及，θ3為反作用力向量RFV與第一軸AX1之間的夾角。
如第1圖、第2圖、第8圖及第9B圖所示，在操作S475b當中，處理裝置140將反作用力向量RFV投射至第二軸AX2以計算第二振動分量CPV2，第二振動分量CPV2的長度可由反作用力向量RFV的長度與角度θ4的乘積而定，可以表示為下列公式：L(CPV2)=L(RFV)* cosθ2當中，L(CPV2)代表第二振動分量CPV2的長度；L(RFV)代表反作用力向量RFV的長度；以及，θ4為反作用力向量RFV與第二軸AX2之間的夾角。
於此示範實例當中，操作S470所決定的振動模型中包含了如第9B圖所示沿著第一軸AX1的第一振動分量CPV1以及沿著第二軸AX2的第二振動分量CPV2。
在操作S490當中，觸覺回饋電路122用以基於第一軸AX1的第一振動分量CPV1以及沿著第二軸AX2的第二振動分量CPV2在兩個軸上同時產生振動回饋。
於此示範實例中，第二振動分量CPV2的長度大於第一振動分量CPV1的長度，這代表了觸覺回饋電路122將在第二軸AX2產生較大程度的振動而在第一軸上產生較小程度的振動。
於一實施例中，介面裝置120上沿著第一軸AX1的第一振動分向CPV1產生的振動具有第一振動幅度，沿著第二軸AX2的第二振動分向CPV2產生的振動具有第二振動幅度不同於第一振動幅度(可一併參照第7A圖)。於另一實施例中，介面裝置120上沿著第一軸AX1的第一振動分向CPV1產生的振動具有第一振動持續期間，沿著第二軸AX2的第二振動分向CPV2產生的振動具有第二振動持續期間不同於第一振動持續期間。在另一實施例中，沿著第一軸AX1的第一振動分向CPV1產生的振動具有第一振動頻率(例如5赫茲或相對較低頻率)，沿著第二軸AX2的第二振動分向CPV2產生的振動具有第二振動頻率(例如20赫茲或相對較高頻率)不同於第一振動頻率。
基於上述實施例，處理裝置140可以對應發生在第一模擬物件上的互動事件，並基於操作S430辨識到的第一模擬物件的參數以及操作S450辨識到的互動事件的事件特性，決定一個適當的振動模型。介面裝置120的觸覺回饋電路122會根據振動模型沿著兩個或兩個以上的方向軸產生觸覺回饋。沿著不同軸向上的多個振動可以分別具有獨立的振幅、持續期間及/或頻率。使用者可以對應第一模擬物件的參數及互動事件的事件特性感受到適當的觸覺回饋。
於一實施例中，沉浸式系統100的處理裝置140可以執行一個主控程式(host program)用來控制介面裝置120及頭戴式顯示裝置160的基本操作功能(例如訊號傳輸、電力管理及/或提供基本的使用者介面)。處理裝置140可進一步執行一個應用程式以提供沉浸式內容IMC。此應用程式可以是沉浸式遊戲應用、沉浸式互動影片撥放程式或沉浸式系統100可執行的其他相等性應用程式。於一實施例中，此應用程式可由一供應商進行開發，此供應商可以不同於沉浸式系統100的製造商。於另一實施例中，此應用程式也可以由沉浸式系統100的製造商進行開發。
於一實施例中，應用程式可以提供對應不同互動事件的多個不同基本振動模型。請一併參閱第10圖，其繪示根據本揭示文件之一些實施例中控制方法500的流程圖。於第1圖及第10圖所示，在操作S510當中，處理裝置140的處理器142將沉浸式內容IMC提供至頭戴式顯示裝置160的電子顯示器162。沉浸式內容IMC可以根據沉浸式系統100目前正在執行的應用程式而改變。當應用程式為網球有關的運動遊戲時，第6A圖所示的沉浸式內容IMC1將可能顯示在電子顯示器162。當應用程式為射擊遊戲時，第9A圖所示的沉浸式內容IMC2將可能顯示在電子顯示器162。
如第1圖及第10圖所示，在步驟S530當中，處理裝置140的處理器142用以辨識目前顯示中的沉浸式內容IMC當中對應介面裝置120的第一模擬物件。第一模擬物件可能隨著沉浸式內容IMC變化，其關聯於沉浸式系統100目 前正在執行的應用程式。在第6A圖的實施例，處理裝置140會將第一模擬物件OBJ1a辨識為網球球拍。在第9A圖的實施例，處理裝置140會將第一模擬物件OBJ1b辨識為手槍。
於一實施例中，沉浸式系統100所執行的應用程式可提供與第一模擬物件有關的一些候選互動事件。舉例來說，若辨識到沉浸式內容IMC1中第一模擬物件OBJ1a時，存在與第一模擬物件OBJ1a相關聯的兩個候選互動事件CIE1及CIE2。其中一個候選互動事件CIE1可以是網球球拍與網球的碰撞事件。另一個候選互動事件CIE2可以是網球球拍與地面的摩擦事件。於此實施例中，應用程式一併提供了與兩個候選互動事件相關聯的不同的基本振動模型。
請一併參閱第11A圖及第11B圖，第11A圖繪示了與候選互動事件CIE1(例如網球球拍與網球的碰撞事件)相關聯的基本振動模型BVP1的訊號示意圖。第11B圖繪示了與候選互動事件CIE2(例如網球球拍與地板的摩擦事件)相關聯的基本振動模型BVP2的另一個訊號示意圖。
於此例子中，對應碰撞事件的基本振動模型BVP1不同於對應摩擦事件的基本振動模型BVP2。對碰撞事件來說，基本振動模型BVP1所示的振動強度先是隨時間逐漸提高，接著再隨時間逐漸降低。基本振動模型BVP1的設計上的變化方式可以是用來模擬網球球拍與網球碰撞時的彈性。對摩擦事件來說，基本振動模型BVP2所示的振動強度在一開始的振動強度較高，接著摩擦事件的剩下的時間內維持一定持續的振動強度。基本振動模型BVP1的設計上 的變化方式用來模擬網球球拍與地板之間的摩擦力。基本振動模型BVP1與基本振動模型BVP2具有不同的設計以模擬互動事件的不同特性。於此實施例中，應用程式用以將兩種候選互動事件CIE1及CIE2關聯的基本振動模型BVP1及BVP2，提供給沉浸式系統100的主控程式。
舉例來說，若辨識到沉浸式內容IMC2中第一模擬物件OBJ1b時，存在與第一模擬物件OBJ1b相關聯的兩個候選互動事件CIE2及CIE3。其中一個候選互動事件CIE2可以是手槍與牆面的摩擦事件。另一個候選互動事件CIE3可以是手槍的射擊事件。於此實施例中，應用程式一併提供了與兩個候選互動事件相關聯的不同的基本振動模型。
請一併參閱第11B圖及第11C圖，第11B圖繪示了與候選互動事件CIE2(例如手槍與牆面的摩擦事件)相關聯的基本振動模型BVP2的訊號示意圖。第11C圖繪示了與候選互動事件CIE3(例如手槍的射擊事件)相關聯的基本振動模型BVP3的另一個訊號示意圖。
於此實施例中，手槍與牆面的摩擦事件可以被視為與網球球拍在地板上拖行的摩擦事件具有相同的事件類型。
於另一實施例中，手槍與牆面的摩擦事件也可以與網球球拍在地板上拖行的摩擦事件被視為兩個獨立的不同的事件類型，在此情況下，應用程式可以對應兩種不同的摩擦事件提供兩個不同的基本振動模型(圖中未示)。
於此例中，射擊事件的基本振動模型BVP3不同於先前的兩種基本振動模型BVP1及BVP2。對射擊事件來說，基本振動模型BVP3所示的振動的強度在一開始劇烈地上升，接著振動的強度逐漸下降。基本振動模型BVP3可以設計來模擬使用者扣下手槍的板機時產生的衝擊力道。於此實施例中，應用程式用以將兩種候選互動事件CIE2及CIE3關聯的基本振動模型BVP2及BVP3，提供給沉浸式系統100的主控程式。
當對應介面裝置的第一模擬物件辨識之後，執行操作S550，由處理器142辨識在沉浸式內容IMC中發生在第一模擬物件上的互動事件。於第10圖的實施例中，操作S550是根據操作S530中所辨識的第一模擬物件而進行。
如果操作S530中所辨識的第一模擬物件為第一模擬物件OBJ1a，則操作S550包含操作S551a及S552a。操作S551a執行以取得與第一模擬物件OBJ1a相關聯的兩個候選互動事件CIE1及CIE2。操作S552a執行以由兩個候選互動事件CIE1及CIE2當中選擇其中一者作為沉浸式內容中發生在第一模擬物件OBJ1a上的互動事件。
接著，執行操作S570以根據互動事件以及第一模擬物件OBJ1a決定振動模式。若操作S530中辨識到第一模擬物件OBJ1a，操作S570包含操作S571a及操作S572a。在操作S571a當中，處理裝置140根據兩個候選互動事件當中被選出的候選互動事件(候選互動事件CIE1或 CIE2)所對應的基本振動模型(基本振動模型BVP1或BVP2)決定振動模型之波形。
如果是候選互動事件CIE1被選為發生在第一模擬物件OBJ1a上的互動事件，振動模型之波形將根據基本振動模型BVP1而決定。於操作S572a，處理裝置140計算振動模型的沿著第一軸的第一振動分量與沿著第二軸的第二振動分量。關於如何計算沿著第一軸的第一振動分量與沿著第二軸的第二振動分量的詳細作法已經在先前實施例有完整說明。對於候選互動事件CIE1(網球球拍與網球之間的碰撞事件)，相關的計算過程已經在操作S471a至S475a、第5圖、第6A圖及第6B圖中完整討論。接著，執行操作S590以控制觸覺回饋電路122根據振動模型產生觸覺回饋。
請一併參閱第12圖，其繪示根據本揭示文件之一實施例中，若辨識到第一模擬物件OBJ1a、候選互動事件CIE1被選為互動事件且基本振動模型BVP1用來決定振動模型的波形時，此情況下沿著第一軸AX1的第一振動控制訊號以及沿著第二軸AX2的第二振動控制訊號的訊號波形圖。如第12圖所示，沿著第一軸AX1的第一振動控制訊號以及沿著第二軸AX2的第二振動控制訊號可以具有不同的振動幅度A1及A2根據操作S572a計算的第一振動分量與第二振動分量。
第一振動分量與第二振動分量的振動幅度、振動頻率或振動持續時間可以由處理裝置140所執行的應用程式或是主控程式所決定。沿著第一軸AX1的第一振動控 制訊號以及沿著第二軸AX2的第二振動控制訊號的波形則是由應用程式所提供的基本振動模型BVP1所決定。
當操作S530中辨識到第一模擬物件OBJ1a，若是在操作S552a當中選擇的是候選互動事件CIE2作為互動事件，則基本振動模型BVP2將會被用來決定振動模型的波形。在此情況下，請一併參閱第13圖，其繪示根據本揭示文件之一實施例中，若辨識到第一模擬物件OBJ1a、候選互動事件CIE2被選為互動事件且基本振動模型BVP2用來決定振動模型的波形時，此情況下沿著第一軸AX1的第一振動控制訊號以及沿著第二軸AX2的第二振動控制訊號的訊號波形圖。
另一方面，若操作S530中辨識到第一模擬物件為第9A圖中所示的第一模擬物件OBJ1b，便會執行操作S551b以取得與第一模擬物件OBJ1b相關聯的兩個候選互動事件CIE2及CIE3。執行操作S552b，由兩個候選互動事件CIE2及CIE3當中選出互動事件。接著，執行操作S571b，處理裝置140根據與兩個候選互動事件當中被選出的候選互動事件(候選互動事件CIE2或CIE3)所對應的基本振動模型(基本振動模型BVP2或BVP3)決定振動模型之波形。在操作S572b當中，處理裝置140計算振動模型的沿著第一軸的第一振動分量與沿著第二軸的第二振動分量。關於如何計算沿著第一軸的第一振動分量與沿著第二軸的第二振動分量的詳細作法已經在先前實施例有完整說明。對於候選互動事件CIE3(手槍的動作事件)，相關的計算過程已 經在操作S471b至S475b、第8圖、第9A圖及第9B圖中完整討論。接著，執行操作S590以控制觸覺回饋電路122根據振動模型產生觸覺回饋。振動模型的波形是根據基本振動模型BVP2或BVP3而決定。
需特別注意的是，第10圖當中的控制方法並不限於處理如第6A圖以及第9A圖所示的兩種不同類型的第一模擬物件OBJ1a及OBJ1b。若是操作S530當中辨識到另一種相異類型的第一模擬物件OBJ1x，控制方法500會取得與第一模擬物件OBJ1x相關聯的一些候選互動事件，並執行相應的操作S550至S590。如此一來，控制方法500並不僅限於對應上述的兩種類型的第一模擬物件OBJ1a及OBJ1b。
於一些實施例中，應用程式的開發者只需要提供關聯於不同候選互動事件CIE1至CIE3的不同基本振動模型BVP1至BVP3，關於振動模型的詳細參數(例如第一振動分量及第二振動分量上各自的振動幅度、振動頻率或振動持續時間)可由沉浸式系統100的主控程式自動加以計算。
於本揭示文件的另一實施例是一種非暫態電腦可讀取媒體。此非暫態電腦可讀取媒體可以用以儲存第1圖所示的電腦程式指令144。當處理器142運行電腦程式指令144時，電腦程式指令144使處理器144執行前述實施例中控制方法400或500的各種操作。
雖然本發明之實施例已揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神 和範圍內，當可做些許之更動與潤飾，因此本發明之保護範圍當以後附之申請專利範圍所界定為準。

Claims (20)

  1. 一種沉浸式系統，包含：一處理裝置，通訊連接至一介面裝置以及一頭戴式顯示裝置中的一電子顯示器，該介面裝置包含一觸覺回饋電路用以產生一觸覺回饋，該處理裝置經設置用以：提供一沉浸式內容至該電子顯示器；在該沉浸式內容中辨識對應該介面裝置的一第一模擬物件；辨識該沉浸式內容中發生在該第一模擬物件上的一互動事件；根據該互動事件以及該第一模擬物件決定一振動模型，該振動模型包含沿著一第一軸的一第一振動分量以及沿著一第二軸的一第二振動分量，該第一軸相異於該第二軸；以及控制該觸覺回饋電路根據該振動模型產生該觸覺回饋。
  2. 如請求項1所述之沉浸式系統，其中該觸覺回饋電路包含一多軸振動致動器其用以沿著該第一軸以及該第二軸振動，或者該觸覺回饋電路包含用以沿著該第一軸振動的一第一線性振動致動器以及用以沿著該第二軸振動的一第二線性振動致動器。
  3. 如請求項2所述之沉浸式系統，其中該介面裝置包含一動態感測器用以偵測該介面裝置的一空間指 向，該處理裝置根據該介面裝置之該動態感測器所偵測到的該空間指向得知該第一軸與該第二軸之方向。
  4. 如請求項1所述之沉浸式系統，其中當該互動事件經辨識為一碰撞事件，該碰撞事件中的該第一模擬物件與該沉浸式內容中的一第二模擬物件發生碰撞，該處理裝置決定由該第二模擬物件對該第一模擬物件造成的一碰撞應力向量，該處理裝置將該碰撞應力向量投射至該第一軸以計算該第一振動分量，並且將該碰撞應力向量投射至該第二軸以計算該第二振動分量，該觸覺回饋電路用以根據該第一振動分量在該第一軸產生該觸覺回饋並同時根據該第二振動分量在該第二軸產生該觸覺回饋。
  5. 如請求項1所述之沉浸式系統，其中當該互動事件經辨識為一動作事件，該動作事件中的該第一模擬物件是用以朝一第一方向進行一動作，該處理裝置用以沿著與該第一方向相反之一第二方向上決定一反作用力向量，該處理裝置將該反作用力向量投射至該第一軸以計算該第一振動分量，並且將該反作用力向量投射至該第二軸以計算該第二振動分量，該觸覺回饋電路用以根據該第一振動分量在該第一軸產生該觸覺回饋並同時根據該第二振動分量在該第二軸產生該觸覺回饋。
  6. 如請求項1所述之沉浸式系統，其中沿著該第一軸的該第一振動分量包含一第一振動幅度、一第一 振動頻率或一第一振動持續期間，沿著該第二軸的該第二振動分量包含一第二振動幅度、一第二振動頻率或一第二振動期間。
  7. 如請求項1所述之沉浸式系統，其中在對應該介面裝置的該第一模擬物件辨識完成後，該處理裝置取得對應該第一模擬物件的複數個候選互動事件，該複數個候選互動事件的每一者分別對應至複數個基本振動模型的其中一者，該處理裝置由該複數個候選互動事件當中選出其中一者決定為該互動事件，該處理裝置根據被選出的候選互動事件所對應的其中一個基本振動模型決定該振動模型之一波形。
  8. 如請求項7所述之沉浸式系統，其中該複數個基本振動模型是由該沉浸式系統執行之一應用程式所提供，該應用程式用以提供該沉浸式內容，該應用程式是由一供應商所開發，該供應商相異與該沉浸式系統的一製造商。
  9. 如請求項8所述之沉浸式系統，其中該第一振動分量與該第二振動分量的振動幅度、振動頻率或振動持續期間是由該應用程式或該處理裝置執行的一主控程式所決定，該主控程式是由該沉浸式系統的該製造商所開發。
  10. 如請求項1所述之沉浸式系統，其中該處理裝置用以判斷在該沉浸式內容中該第一模擬物件之一參數，該參數包含該第一模擬物件在該沉浸式內容中的一型態、一重量、一硬度、一彈性或一材質，該振動模型是根據該第一模擬物件之該參數而決定。
  11. 如請求項1所述之沉浸式系統，其中該介面裝置包含一手持控制器，該觸覺回饋電路用以產生該觸覺回饋至一使用者的一手部。
  12. 如請求項1所述之沉浸式系統，其中該介面裝置包含一穿戴式裝置穿戴在一使用者的一身體部位，該觸覺回饋電路用以產生該觸覺回饋至該身體部位。
  13. 一種控制方法，適用於一沉浸式系統，該控制方法包含：提供一沉浸式內容；在該沉浸式內容中辨識對應一介面裝置的一第一模擬物件；辨識該沉浸式內容中發生在該第一模擬物件上的一互動事件；根據該互動事件以及該第一模擬物件決定一振動模型，該振動模型包含沿著一第一軸的一第一振動分量以及沿著一第二軸的一第二振動分量，該第一軸相異於該第二軸；以及 根據該振動模型產生一觸覺回饋。
  14. 如請求項13所述之控制方法，其中該介面裝置包含一動作感測器，該控制方法更包含：以該動態感測器偵測該介面裝置的一空間指向；以及由該空間指向得知該第一軸與該第二軸之方向。
  15. 如請求項13所述之控制方法，其中當該互動事件經辨識為一碰撞事件，該碰撞事件中的該第一模擬物件與該沉浸式內容中的一第二模擬物件發生碰撞，該控制方法包含：決定由該第二模擬物件對該第一模擬物件造成的一碰撞應力向量；將該碰撞應力向量投射至該第一軸以計算該第一振動分量；以及將該碰撞應力向量投射至該第二軸以計算該第二振動分量，其中，該觸控回饋是根據該第一振動分量在該第一軸上產生並同時根據該第二振動分量在該第二軸上產生。
  16. 如請求項13所述之控制方法，其中當該互動事件經辨識為一動作事件，該動作事件中的該第一模擬物件是用以朝一第一方向進行一動作，該控制方法包含：沿著與該第一方向相反之一第二方向上決定一反作用 力向量；將該反作用力向量投射至該第一軸以計算該第一振動分量；以及將該反作用力向量投射至該第二軸以計算該第二振動分量，其中，該觸控回饋是根據該第一振動分量在該第一軸上產生並同時根據該第二振動分量在該第二軸上產生。
  17. 如請求項13所述之控制方法，其中沿著該第一軸的該第一振動分量包含一第一振動幅度、一第一振動頻率或一第一振動持續期間，沿著該第二軸的該第二振動分量包含一第二振動幅度、一第二振動頻率或一第二振動持續期間。
  18. 如請求項13所述之控制方法，其中在對應該介面裝置的該第一模擬物件辨識完成後，該控制方法更包含：取得對應該第一模擬物件的複數個候選互動事件，該複數個候選互動事件的每一者分別對應至複數個基本振動模型的其中一者，由該複數個候選互動事件當中選出其中一者決定為該互動事件，該振動模型之一波形是根據被選出的候選互動事件所對應的其中一個基本振動模型決定。
  19. 如請求項13所述之控制方法，更包含：判斷在該沉浸式內容中該第一模擬物件之一參數，該 參數包含該第一模擬物件在該沉浸式內容中的一型態、一重量、一硬度、一彈性或一材質，根據該第一模擬物件之該參數而決定該振動模型是根據該第一模擬物件之該參數。
  20. 一種非暫態電腦可讀取媒體，包含一電腦程式指令，當一處理器執行該電腦程式指令時，使該處理器執行下列操作包含：提供一沉浸式內容；在該沉浸式內容中辨識對應一介面裝置的一第一模擬物件；辨識該沉浸式內容中發生在該第一模擬物件上的一互動事件；根據該互動事件以及該第一模擬物件決定一振動模型，該振動模型包含沿著一第一軸的一第一振動分量以及沿著一第二軸的一第二振動分量，該第一軸相異於該第二軸；以及根據該振動模型產生一觸覺回饋。
TW107123974A 2017-07-11 2018-07-11 沉浸式系統、控制方法及非暫態電腦可讀取媒體 TWI674134B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762530861P 2017-07-11 2017-07-11
US62/530,861 2017-07-11

Publications (2)

Publication Number Publication Date
TW201907994A TW201907994A (zh) 2019-03-01
TWI674134B true TWI674134B (zh) 2019-10-11

Family

ID=65000219

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107123974A TWI674134B (zh) 2017-07-11 2018-07-11 沉浸式系統、控制方法及非暫態電腦可讀取媒體

Country Status (3)

Country Link
US (1) US11068058B2 (zh)
CN (1) CN109240487B (zh)
TW (1) TWI674134B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12061741B2 (en) 2021-12-28 2024-08-13 Industrial Technology Research Institute Embedded system and vibration driving method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10429949B2 (en) * 2017-06-30 2019-10-01 Htc Corporation User interaction apparatus and method
TWI760654B (zh) * 2018-11-12 2022-04-11 宏達國際電子股份有限公司 虛擬實境控制器
TWI689334B (zh) * 2019-05-30 2020-04-01 弘光科技大學 具備代償動作判別之虛擬實境復健訓練系統
US11927752B2 (en) * 2022-02-16 2024-03-12 Htc Corporation Control method and mobile device in immersive system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101496954A (zh) * 2008-01-28 2009-08-05 联想(北京)有限公司 一种游戏控制器及其游戏处理方法
CN105117016A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的交互手柄
US20160042566A1 (en) * 2014-08-08 2016-02-11 Sony Computer Entertainment Inc. Sensory stimulus management in head mounted display
TW201642943A (zh) * 2015-03-20 2016-12-16 新力電腦娛樂股份有限公司 用以傳遞ｈｍｄ所渲染環境中之虛擬物件的觸摸感及移動感之動態手套

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7345672B2 (en) * 1992-12-02 2008-03-18 Immersion Corporation Force feedback system and actuator power management
US6417638B1 (en) * 1998-07-17 2002-07-09 Sensable Technologies, Inc. Force reflecting haptic interface
US20130318437A1 (en) 2012-05-22 2013-11-28 Samsung Electronics Co., Ltd. Method for providing ui and portable apparatus applying the same
KR102074380B1 (ko) * 2015-06-02 2020-02-07 한국전자통신연구원 촉각전달장치 및 이를 구비한 촉각전달 디스플레이

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101496954A (zh) * 2008-01-28 2009-08-05 联想(北京)有限公司 一种游戏控制器及其游戏处理方法
US20160042566A1 (en) * 2014-08-08 2016-02-11 Sony Computer Entertainment Inc. Sensory stimulus management in head mounted display
TW201642943A (zh) * 2015-03-20 2016-12-16 新力電腦娛樂股份有限公司 用以傳遞ｈｍｄ所渲染環境中之虛擬物件的觸摸感及移動感之動態手套
CN105117016A (zh) * 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的交互手柄

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12061741B2 (en) 2021-12-28 2024-08-13 Industrial Technology Research Institute Embedded system and vibration driving method

Also Published As

Publication number Publication date
US20190018489A1 (en) 2019-01-17
US11068058B2 (en) 2021-07-20
CN109240487A (zh) 2019-01-18
CN109240487B (zh) 2021-11-12
TW201907994A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
TWI674134B (zh) 沉浸式系統、控制方法及非暫態電腦可讀取媒體
US20180341332A1 (en) Systems and Methods for a Shared Haptic Experience
US9134797B2 (en) Systems and methods for providing haptic feedback to touch-sensitive input devices
JP5613126B2 (ja) 画面内の対象が押圧によって操作可能なユーザインタフェース装置、対象操作方法及びプログラム
EP1808210B1 (en) Storage medium having game program stored thereon and game apparatus
US10698490B2 (en) Haptic feedback device, method and system
EP2008697A1 (en) Self contained inertial navigation system for interactive control using movable controllers
US11231771B2 (en) Interactive exercise and training system and method
US20190155387A1 (en) Haptic Accessory Apparatus
WO2016079828A1 (ja) 打撃操作のためのユーザーインターフェースシステムと操作信号解析方法及びプログラム
Freeman et al. The role of physical controllers in motion video gaming
JP6580619B2 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
WO2022099057A1 (en) Surface interactions in a virtual reality (vr) environment
JP7194495B2 (ja) プログラム、コンピュータシステムおよびゲーム実行制御方法
EP3378542B1 (en) System and method of modeling the behavior of game elements during a remote game
JP6619953B2 (ja) ゴルフスイングのシミュレーション方法
WO2004053636A2 (en) Human-computer interfaces incorporating haptics and path-based interaction
KR20150142991A (ko) 센싱장치 및 이를 구비한 스크린 사격 시뮬레이션 시스템
TWI855182B (zh) 修改游標位置的方法和系統
WO2024060376A1 (zh) 力反馈装置的降噪方法、游戏手柄和存储介质
KR20190046030A (ko) 타격감 개선 시스템을 이용한 1인칭 슈팅 게임 방법
JP6735077B2 (ja) システム、方法及びプログラム
WO2022149361A1 (ja) ３次元触覚情報を提供可能な入力装置
Logsdon Arm-Hand-Finger Video Game Interaction
TW202217516A (zh) 修改游標位置的方法和系統