TW202328873A

TW202328873A - 用於觸覺信號之基於時間線之表示

Info

Publication number: TW202328873A
Application number: TW111145975A
Authority: TW
Inventors: 昆汀賈法尼; 法比安達尼奧; 菲利普吉約泰爾
Original assignee: 法商內數位Ｃｅ專利控股公司
Priority date: 2021-12-02
Filing date: 2022-11-30
Publication date: 2023-07-16
Also published as: CA3239496A1; WO2023099133A1

Abstract

一種儲存表示觸覺效果之資訊的資料結構包含一組觸覺效果及一時間線。觸覺效果可以一彈性方式定義，直接在該時間線內或藉由該時間線內的一識別符參考。一庫可儲存具有關聯識別符之該等效果的定義。提議資料重組程序以從不使用該庫的一串流友善格式轉換成使用一庫的一編輯友善格式，且反之亦然。

Description

用於觸覺信號之基於時間線之表示

本實施例中之至少一者大致係關於觸覺，且更明確地關於基於時間線之用於沉浸式場景中之觸覺物件的表示格式的定義。

通過基於回授及相互作用的沉浸式系統對使用者提出全沉浸式使用者體驗。相互作用可使用滿足使用者之需求的習知控制方式。目前的視覺及聽覺回授提供令人滿意的真實沉浸度。額外回授可藉由允許人類使用者使用其感官感知虛擬環境且因此以經改善現實性取得更佳的全沉浸式體驗的觸覺效果提供。然而，觸覺仍係改善沉浸式系統中之總體使用者體驗的一個有潛力的進步領域。

習知地，沉浸式系統可包含表示具有定位在3D場景內之虛擬物件的虛擬環境的3D場景。為改善與虛擬環境之元件的使用者相互作用，觸覺回授可通過觸覺致動器的刺激而使用。此類相互作用係基於對應於待傳輸至使用者之物理現象的「觸覺物件」的想法。在沉浸式場景的背景中，觸覺物件允許藉由定義適當觸覺致動器的刺激以在觸覺演現裝置上模擬物理現象而提供觸覺效果。不同類型的觸覺致動器允許恢復不同類型的觸覺回授。

觸覺物件的一實例係爆炸。爆炸可通過振動及熱演現，因此將不同觸覺效果組合在使用者上以改善現實性。沉浸式場景一般包含多個觸覺物件，例如，使用與全域效果有關的第一觸覺物件及與本端效果有關的第二觸覺物件。

本文描述的原理施用至使用觸覺的任何沉浸式環境，諸如增強實境、虛擬實境、混合實境、或觸覺增強型視訊（或全向/360°視訊）演現，例如，且更通常施用至任何基於觸覺的使用者體驗。因此將用於此類沉浸式環境實例的場景視為係沉浸式場景。

觸覺係指觸碰感且包括二個維度，觸感及動感。前者係有關於觸感感覺，諸如摩擦、粗糙度、硬度、溫度，且通過皮膚的機械性受體（默克爾細胞(Merkel cell)、路菲尼末梢(Ruffini ending)、邁斯納小體(Meissner corpuscle)、帕西尼小體(Pacinian corpuscle)）感覺。第二者聯繫至由肌肉、肌腱、及關節中的機械性受體提供的力/扭矩、位置、運動/速度的感覺。觸覺亦涉及自我運動感知，因為其有助於本體感知系統（亦即，個人自身身體的感知）。因此，可將加速度、速度、或任何人體模型的感知理解為觸覺效果。取決於模式的類型，頻率範圍約係0至1KHz。能夠演現觸覺信號的大多數現有裝置產生振動。此類觸覺致動器的實例係線性共振致動器(LRA)、偏心旋轉質量(ERM)、及音圈線性馬達。此等致動器可整合至觸覺演現裝置（諸如觸覺套裝）中，但亦可整合至智慧型手機或遊戲控制器中。

為編碼觸覺信號，已定義與使用類XML格式的高階描述（例如，MPEG-V）、使用類json格式的參數表示（諸如Apple觸覺音訊模式(Apple Haptic Audio Pattern, AHAP)或Immersion Corporation的HAPT格式）、或波形編碼（IEEE 1918.1.1對於觸感及動感信號的進行中標準化）其中一者有關的數種格式。最近已將HAPT格式包括至MPEG ISOBMFF檔案格式規格（ISO/IEC 14496部分12）中。此外，GL傳輸格式(glTF ^™)係為用於由應用程式有效率地傳輸及載入3D場景及模型的免權利金規格。此格式定義用於3D內容工具及服務之流線化創作工作流程且促成內容可跨產業互操作使用的可延伸通用發行格式。

此外，新的觸覺檔案格式正在MPEG標準化組織內定義，且與觸覺的編解碼表示有關。此格式的參考模型尚未發表，但在本文中引用為RM0。使用此參考模型，可將經編碼觸覺描述檔案匯出為人類可讀的JSON互換格式（例如，.gmpg檔案）或匯出為特別適用於向觸覺演現裝置傳輸的經壓縮二進位分布格式（例如，.mpg）。

實施例係關於一種資料結構，其儲存表示包含一組觸覺效果及一時間線的一沉浸式體驗的資訊。觸覺效果可以一彈性方式定義，直接在該時間線內或藉由該時間線內的一識別符參考。一庫可儲存具有關聯識別符之該等效果的定義。提議資料重組程序以從不使用該庫的一串流友善格式轉換成使用一庫的一編輯友善格式，且反之亦然。

至少一個實施例的一第一態樣係關於包含-產生觸覺資料之方法，該觸覺資料包含表示一效果類型、一觸覺效果列表、一觸覺軌列表的資訊，其中一觸覺軌包含一時間線，其中至少一個時間參考關聯於一觸覺效果或關聯於該觸覺效果列表中的一識別符，其中一觸覺效果包含表示待施加以演現該觸覺效果的一信號的值的資訊。

至少一個實施例的一第二態樣係關於一種用於演現觸覺資料之方法，該方法包含獲得觸覺資料，該觸覺資料包含表示一效果類型、一觸覺效果列表、一觸覺軌列表的資訊，其中一觸覺軌包含一時間線，其中至少一個時間參考關聯於一觸覺效果或關聯於該觸覺效果列表中的一識別符，其中一觸覺效果包含表示待施加以演現該觸覺效果的一信號的值的資訊、及將該信號的值提供至觸覺致動器。

至少一個實施例的一第三態樣係關於一種包含一處理器的觸覺演現裝置，該處理器經組態以獲得觸覺資料，該觸覺資料包含表示一效果類型、一觸覺效果列表、一觸覺軌列表的資訊，其中一觸覺軌包含一時間線，其中至少一個時間參考關聯於一觸覺效果或關聯於該觸覺效果列表中的一識別符，其中一觸覺效果包含表示待施加以演現該觸覺效果的一信號的值的資訊、及將該信號的值提供至觸覺致動器。

至少一個實施例的一第四態樣係關於觸覺資料，該觸覺資料包含表示一效果類型、一觸覺效果列表、一觸覺軌列表的資訊，其中一觸覺軌包含一時間線，其中至少一個時間參考關聯於一觸覺效果或關聯於該觸覺效果列表中的一識別符，其中一觸覺效果包含表示待施加以演現該觸覺效果的一信號的值的資訊。

至少一個實施例的一第五態樣係關於一種用於重組根據該第一態樣產生之觸覺資料之方法，其中至少一個時間參考關聯於該觸覺效果列表中的一識別符，該方法包含獲得觸覺資料、分析該觸覺資料以判定一觸覺效果在時間線中的識別符、以關聯於該等識別符的該等觸覺效果的複本置換經判定識別符、清空該觸覺效果列表、及提供該經重組觸覺資料。

至少一個實施例的一第六態樣係關於一種用於重組根據請求項1產生之觸覺資料的方法，其中至少一個時間參考關聯於一觸覺效果，該方法包含獲得觸覺資料、分析該觸覺資料以判定相同觸覺效果、將該經判定相同觸覺效果的一者的一複本插入至該觸覺效果列表中、將一識別符關聯於該經插入相同觸覺效果、以該關聯識別符置換相同觸覺效果、及提供該經重組觸覺資料。

根據至少一個實施例的一第七態樣，呈現一種包含可藉由一處理器執行之程式碼指令的電腦程式，該電腦程式實施根據該第一或第二態樣的一方法的至少該等步驟。

根據至少一個實施例的一第八態樣，呈現一種儲存在一非暫時性電腦可讀媒體上且包含可藉由一處理器執行之程式碼指令的電腦程式產品，該電腦程式產品實施根據該第一或第二態樣的一方法的至少該等步驟。

圖 1繪示於其中實施各種態樣及實施例之系統的一實例的方塊圖。在所描繪的沉浸式系統中，使用者愛麗絲(Alice)使用觸覺演現裝置100以通過通訊網路170與代管沉浸式場景190的伺服器180相互作用。此沉浸式場景190可包含其演現所需之表示不同元件（場景描述191、音訊資料、視訊資料、3D模型、及觸覺資料192）的各種資料及/或檔案。沉浸式場景190可在允許將不同元件配置在一起且設計沉浸式體驗的沉浸式體驗編輯器110的控制下產生。表示沉浸式體驗的適當描述檔案及各種資料檔案由沉浸式場景產生器111以適用於傳輸至觸覺演現裝置的格式產生。沉浸式體驗編輯器110一般在將產生待代管於伺服器上之沉浸式場景的電腦上執行。為簡單起見，將沉浸式體驗編輯器110繪示成通過虛線171直接連接至沉浸式場景190。實際上，運行沉浸式體驗編輯器110的電腦係通過通訊網路170連接至伺服器180。

觸覺演現裝置100包含處理器101。處理器101可係一般用途處理器、特殊用途處理器、習知處理器、數位信號處理器(digital signal processor, DSP)、複數個微處理器、與DSP核心關聯的一或多個微處理器、控制器、微控制器、特殊應用積體電路(Application Specific Integrated Circuit, ASIC)、現場可程式化閘陣列(Field Programmable Gate Array, FPGA)電路、任何其他類型的積體電路(integrated circuit, IC)、狀態機、及類似者。處理器可執行使裝置能在沉浸式系統中操作的資料處理（諸如觸覺信號解碼、輸入/輸出處理、及/或任何其他功能性）。

處理器101可耦接至經組態以輸送使用者互動的輸入單元102。多種類型的輸入及模式可用於該目的。實體小鍵盤或觸敏式表面係適用於此使用之輸入的一般實例，雖然亦可使用語音控制。額外地，輸入單元亦可包含能夠擷取靜態圖像或視訊的數位攝影機。處理器101可耦接至經組態以輸出待顯示在螢幕上之視覺資料的顯示器單元103。多種類型的顯示器可用於該目的，諸如液晶顯示器(LCD)或有機發光二極體(OLED)顯示器單元。例如，處理器101亦可耦接至經組態以演現待通過經調適轉換器（諸如揚聲器）轉換成音波之聲音資料的音訊單元104。處理器101可耦接至經組態以與外部裝置交換資料的通訊介面105。通訊使用無線通訊標準（諸如蜂巢式（例如，LTE）通訊、Wi-Fi通訊、及類似者）較佳以提供觸覺演現裝置行動性。處理器101可存取來自記憶體106的資訊及將資料儲存在該記憶體中，該記憶體可包含多種類型的記憶體，包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟、用戶身份模組(SIM)卡、記憶棒、安全數位(SD)記憶卡、任何其他類型的記憶體儲存裝置。在實施例中，處理器101可存取來自未實體位於裝置上（諸如在伺服器、家用電腦、或其他裝置上）之記憶體的資訊及將資料儲存在該記憶體中。

處理器101可耦接至經組態以提供觸覺回饋給使用者的觸覺單元107，該觸覺回授描述在與沉浸式場景190之場景描述191有關的觸覺資料192中。觸覺資料192根據下文進一步描述的語法描述待提供的回授種類。此描述檔案一般從伺服器180輸送至觸覺演現裝置100。觸覺單元107可包含單一觸覺致動器或位於觸覺演現裝置上的複數個位置的複數個觸覺致動器。不同的觸覺單元可具有不同數目的致動器，及/或可將致動器不同地定位在觸覺演現裝置上。

處理器101可接收來自電源108的電力，且可經組態以分布及/或控制至裝置100中之其他組件的電力。電源可係用於對裝置供電的任何合適裝置。作為實例，電源可包括一或多個乾電池電池組（例如，鎳-鎘(NiCd)、鎳-鋅(NiZn)、鎳氫(NiMH)、鋰離子（Li-離子）、及類似者）、太陽能電池、燃料電池、及類似者。

雖然圖式將處理器101及其他元件102至108描繪成分開組件，將理解此等元件在電子封裝或晶片中可整合在一起。將理解觸覺演現裝置100可包括上述元件的任何子組合，同時仍與一實施例保持一致。處理器101可進一步耦接至未描繪於圖1中的其他週邊設備或單元，該等週邊設備或單元可包括提供額外特徵、功能性、及/或有線或無線連接性的一或多個軟體及/或硬體模組。例如，周邊裝置可包括感測器，諸如通用串列匯流排(USB)埠、振動裝置、電視機收發器、免持式頭戴裝置、藍牙 ^®模組、調頻(FM)無線電單元、數位音樂播放器、媒體播放器、視訊遊戲機模組、網際網路瀏覽器、及類似者。例如，處理器101可耦接至經組態以將觸覺演現裝置定位在其環境內的定位單元。定位單元可整合提供關於觸覺演現裝置之目前位置的經度及緯度位置的GPS晶片組，但亦整合其他動作感測器，諸如加速度計及/或提供定位服務的電子羅盤。

觸覺演現裝置100的一般實例係觸覺套裝、智慧型電話、遊戲控制器、觸覺手套、觸覺椅子、觸覺道具、動作平台等。然而，提供類似功能性的任何裝置或裝置組成物皆可使用為觸覺演現裝置100，同時仍符合本揭示的原理。

在至少一個實施例中，裝置不包括顯示器單元，但包括觸覺單元。在此類實施例中，裝置不視覺地演現場景而僅演現觸覺效果。然而，裝置可準備用於顯示的資料，使得另一裝置（諸如，螢幕）可執行顯示。此類裝置的實例係觸覺套裝或動作平台。

在至少一個實施例中，裝置不包括觸覺單元，但包括顯示器單元。在此類實施例中，裝置不演現觸覺效果而僅視覺地演現場景。然而，裝置可準備用於演現觸覺效果資料，使得另一裝置（諸如，觸覺道具）可執行觸覺演現。此類裝置的實例係智慧型手機、頭戴式顯示器、或膝上型電腦。

在至少一個實施例中，裝置不包括顯示器單元亦不包括觸覺單元。在此類實施例中，裝置不視覺地演現場景且不演現觸覺效果。然而，裝置可準備用於顯示的資料，使得另一裝置（諸如，螢幕）可執行顯示，且可準備用於演現觸覺效果的資料，使得另一裝置（諸如，觸覺道具）可執行觸覺演現。此類裝置的實例係桌上型電腦、光學媒體播放器、或機上盒。

在至少一個實施例中，將沉浸式場景190及關聯元件直接代管在允許本端演現及相互作用之觸覺演現裝置100的記憶體106中。

雖然沉浸式場景190的不同元件在圖1中描繪成分開元件，本文描述的原理亦施用在此等元件直接整合在場景描述中且不係分開元件的情形中。二個替代方案之間的任何混合亦係可行的，其中將一些元件整合在場景描述中且其他元件係分開檔案。

圖 2A 及圖 2B繪示基於使用分解成頻帶的習知技術編碼觸覺信號的一實例。如圖2A所示，使用此技術，信號使用軌210的列表編碼，其中將資料分解在一組頻帶220中。各頻帶使用串流列表將部分信號定義在給定頻率範圍內。串流230包含複數個單一信號關鍵幀240並處理其等的時序。軌中的觸覺信號可藉由組合來自不同頻帶中之串流的資料而重組。圖2B顯示觸覺信號250及在二個頻帶中的可能分解。頻帶260與第一頻帶有關且僅包含一個串流261。頻帶270與第二頻帶有關且包含串流271、272、273、及274。各串流包含表示待演現之信號的值的一組關鍵幀。將時間參考（諸如時間戳記）關聯於關鍵幀。藉由聚合高頻帶及低頻帶的串流定位在適當時間戳記的關鍵幀，可重組原始低層級信號。

此解決方案相關於該結構的一個優點係信號資料易於封裝，且對串流目的尤其便利，實際上，使用此類線性結構，資料可輕易地分解成小的連續封包且不需要複雜的資料預提取操作。信號藉由將封包修補在一起而輕易地重組，以確保信號的平滑回播。

然而，使用此方法，信號之重複多次的部分必須儲存多次。資料的此線性表示對串流目的可係便利的，但由於其可能在資料尺寸上導致隨之而來的增加，對其他目的可係適得其反的。額外地，當建立信號時，觸覺設計者必須手動地將相同觸覺效果複製多次，其在修改信號的情形中尤其繁瑣：修改亦需要複製或重作。此類方法明顯地對使用在觸覺檔案之編輯階段中的交換格式不滿。

額外地，針對給定軌的頻帶分解係恆定的。不可能使用不同頻帶分解將軌劃分成多個部分。此從設計角度限制可能性。對於給定軌（通常關聯於單一觸覺致動器），其對使用不同頻率範圍定義不同效果可係有用的；簡單效果可能僅需要單一頻帶，而其他效果可分解在多個層中。

下文描述的實施例已考慮到上述情況而設計。

實施例引入允許將觸覺效果定義一次且使用多次之觸覺效果庫的想法。定義下列類型的觸覺效果： - 基礎效果：基礎效果一般定義用以控制觸覺致動器的信號資料。 - 時間線效果：時間線效果經定義為一系列效果，各效果與時間戳記關聯。效果本身可直接使用信號資料定義或可依賴對觸覺庫效果的參考。 - 參考效果：係對現有效果的參考（以「id」屬性識別）且與時間戳記關聯。

在一第一實施例中，基礎效果係基於上文介紹的觸覺頻帶中的頻率分解定義。觸覺軌接著由一組定時觸覺效果而非觸覺頻帶列表組成。此解決方案允許使用軌內的不同頻帶定義觸覺效果。此允許藉由使用不同頻帶更有彈性地壓縮信號，其可增加經編碼信號的品質或壓縮等級。此亦在設計信號時提供巨大彈性：觸覺效果可使用最相關頻帶分解編碼。

在一第二實施例中，基礎效果係基於關鍵幀定義。此解決方案允許藉由儲存可更易於參考的較低層級資訊而使空間最佳化最大化。使用此解決方案，定義在給定觸覺頻帶中的觸覺效果不取決於描述在另一頻帶中的內容。

二個實施例皆允許將觸覺檔案的空間消耗最佳化。藉由將觸覺效果定義在效果庫中且使用所提議的參考系統，可通過資料重構而避免不必要的資料重複。

如圖3及圖4所繪示的，所提議的資料結構允許觸覺效果可使用在效果庫中及直接使用在各軌內。實際上，將本文提議的資料模型用於效果的定義允許巨大彈性：在各軌內，效果可直接定義或簡單地參考來自庫的現有者。額外地，此模型允許針對不同目的（例如，針對不使用庫的串流或針對密集地使用庫的編輯以在觸覺描述檔案的修改期間最小化手動操作）將關注資料最佳化。

例如，假定有具有對庫中之觸覺效果的多個參考的現有觸覺檔案，資料可藉由以實際效果置換參考而重組織。資料的此線性化使資料的封裝簡單地用於串流目的。相反地，若觸覺檔案經設計用於串流目的，具有空的效果庫。剖析資料以識別並提取相同效果，以將其等放置在庫中可急劇地降低檔案的尺寸。

此類最佳化可在根據圖7的「二進位壓縮」步驟730中引入或在觸覺編輯器的檔案載入/儲存階段中引入。

圖 3繪示根據至少一第一實施例之用於觸覺資料的資料結構的一實例。在此實施例中，基礎效果係基於上文介紹的觸覺頻帶中的頻率分解定義。觸覺軌接著由一組定時觸覺效果而非觸覺頻帶列表組成。

觸覺描述檔案（換言之，觸覺資料）300包含第一層級301，該第一層級包含檔案描述302、一組虛擬使用者303、一組信號310、及形狀305。檔案描述302包含一些通用後設資料，該通用後設資料包括檔案的版本、日期、及關聯觸覺體驗的描述。該組虛擬使用者303包含觸覺效果將施加於其上之本體模型的定義。形狀305判定觸覺效果在沉浸式場景內有效的體積。將信號（諸如信號311）聚合至該組信號310中。儘管其名稱如此，信號係與類似類別（例如，動感、基於溫度的效果等）之觸覺效果繫結在一起的相對高階概念。

信號311在圖式的第二條線中擴展，且包含後設資料321、對在該組虛擬使用者303中選擇的虛擬使用者的參考322（例如，對虛擬使用者304的參考）、效果庫330、及一組觸覺軌340。後設資料321包含在觸覺效果類型及對應信號（振動、壓力、溫度等）以及信號之描述上的資訊。效果庫包含一組效果，諸如效果331及332。效果331的實例在圖式的左下角展開。該組觸覺軌340聚合數個觸覺軌，諸如341、342、及343。觸覺軌342亦在圖式的中間右側展開。

根據第一實施例，效果331係基於觸覺頻帶中的頻率分解定義。在第一層級，其包含一組頻帶380，各頻帶對應於一頻率範圍，例如頻帶381。在第二層級，各頻帶包含一組串流385，各串流對應於信號在給定時間框中及在給定頻率範圍中的一部分。在第三層級，各串流包含一組關鍵幀350（藉由頻率及振幅定義）。例如，串流386包含至少關鍵幀351、352、及353。此等關鍵幀運載將施加至適當觸覺致動器的信號，以最終演現類似於圖2B之串流271、272、273、及274的觸覺效果。使用此類定義，定義在庫中的各效果包含信號的最小定義，使得其可在觸覺檔案內重使用多次。

觸覺軌342包含運載語法資訊的軌描述361、運載一些性質（諸如增益、混合權重、主體部分遮罩）的軌性質362、及效果時間線370。效果時間線370包含與時間參考（諸如，時間戳記）關聯的一組參考效果，例如，效果371、372、373、及374。對於時間態樣，時間戳記可關聯於各效果。效果371在圖式之右下角的分解顯示其結構與定義在效果庫中的效果（諸如效果331）相同。

使用此類資料結構，觸覺檔案的設計者可對若值得將其加至效果庫以進一步從效果時間線參考的各效果選擇，或將其直接插入在效果時間線中。二個替代方案繪示在效果時間線370中：效果371（可能僅使用一次）直接定義在效果時間線內，而效果372、373、及374參考至來自庫的效果，分別參考至效果331、331、及332。使用此技術，使用多次的效果331僅定義一次，因此允許最小化觸覺檔案描述所需的頻寬及儲存空間。

如上文所見的，觸覺效果可係三種類型的：基礎、時間線、或參考。基礎效果係藉由以波之串流（或關鍵幀）的形式描述信號的觸覺頻帶列表定義。其係以id識別。基礎效果的一實例係效果庫中的效果331。時間線效果亦藉由id識別，但其使用由定時效果組成的時間線定義。時間線效果的一實例係效果時間線370中的效果371。最後，參考效果簡單地參考至定義在效果庫中的現有效果。對於此效果類型，id屬性指示所參考的效果。參考效果的一實例係效果時間線中的效果373。

根據第一實施例之觸覺效果的JSON概要的一實例給定於表1中。

{ "$schema" : "http://json-schema.org/draft-04/schema", "title" : "Haptics_effect", "type" : "object", "properties" : { "id": { "type": "integer", "description": "Track id" }, "effect_type": { "type": "string", "enum": ["Basis", "Timeline", "Reference"], "description": "Type of effect: basis, reference or timeline" }, "description": { "type": "string", "description": "Description of the effect" }, "bands": { "type": "array", "description": "List of haptic bands", "items": { "type": "object", "$ref": "Haptics.band.schema.json" }, "minItems": 1 }, "timeline": { "type": "array", "items":{ "type": "object", "properties":{ "time":{ "type": "number", "description": "Timestamp of the effect" }, "effect":{ "type": "object", "$ref": "IDCC_haptics.reference.schema.json" } } } } }, "required": [ "id", "effect_type" ] }

表 1

將觸覺效果的想法引入該格式中。在信號層級，將效果儲存為「effect_library」中的效果列表。用於觸覺信號之JSON概要的一實例提供在表2中。

{ "$schema" : "http://json-schema.org/draft-04/schema", "title" : "Haptics_signal", "type" : "object", "properties" : { "signal_type": { "type": "string", "enum": ["Pressure", "Force", "Acceleration", "Velocity", "Position", "Temperature", "Vibration", "Water", "Wind", "Other"], "description": "Type of signal" }, "description": { "type": "string", "description": "Signal description" }, "encoding": { "type": "string", "enum": ["Sinusoidal", "Wavelet"], "description": "Type of encoding used for the signal" }, "avatar_id": { "type": "integer", "description": "ID of the body model" }, "signal_accessor": { "allOf": [ { "$ref": "Haptics_id.schema.json" } ], "description": "The index of an accessor containing the data." }, "effect_library": { "type": "array", "description": "List of predefined effects to be referenced in the tracks", "items": { "type": "object", "$ref": "Haptics.effect.schema.json" } } "tracks": { "type": "array", "description": "List of tracks ", "items": { "type": "object", "$ref": "Haptics.track.schema.json" }, "minItems": 1 } }, "required": [ "signal_type", "description", "encoding", "nb_tracks", "avatar_id", "effect_library", "tracks" ] }

表 2

定義在信號層級的效果接著可在多個軌中參考及使用多次。效果組織在具有時間線的各觸覺軌中，如表3之JSON概要所示。

{ "$schema" : "http://json-schema.org/draft-04/schema", "title" : "Haptics_track", "type" : "object", "properties" : { "id": { "type": "integer", "description": "Track id" }, "description": { "type": "string", "description": "Track description" }, "gain": { "type": "number", "description": "Gain", "default": 1.0 }, "mixing_weight": { "type": "number", "description": "Mixing weight", "default": 1.0 }, "body_part_mask": { "type": "integer", "description": "Binary mask specifying body parts on which to apply the effect. One per track", "minimum": 0, "default": 0 }, "vertices": { "$ref": "Haptics_id.schema.json", "description": "The index of an accessor containing the vertices to stimulate." }, "timeline": { "type": "array", "description": "Timeline of effects", "items":{ "type": "object", "properties":{ "time":{ "type": "number", "description": "Timestamp of the effect" }, "effect":{ "type": "object", "$ref": "Haptics_effect.schema.json" } } } } }, "required": [ "id", "description", "body_part_mask", "timeline" ] }

表 3

表4提供根據第一實施例之用於觸覺檔案之JSON語法的一實例。在此實例中，觸覺檔案含有具有單一軌的單一信號。效果庫含有在軌中參考多次的一個基礎效果。軌亦直接定義另一觸覺效果。使用此解決方案，一個軌可含有具有不同頻帶的觸覺效果。

{ "version": 1.0, "date": "2021-11-19", "description":"Example haptic file" "avatars":[ { "id": 0, "lod": 1, "type":"Vibration" } ], "shape":0 "signals": [ { "signal_type":"Vibration", "description":"Some vibration signal", "encoding":"Sinusoidal", "avatar_id": 0, "effect_library":[ { "id":0, "effect_type":"Basis", "description":"Short vibration", "bands":[ { "band_type":"Wave", "encoding_modality":"Vectorial", "lower_frequency_limit":100, "upper_frequency_limit":200, "streams":[ { "position":0.0, "phase":0, "keyframes":[ { "amplitude_modulation":0.95, "frequency_modulation":166.666, "relative_position":0 }, { "amplitude_modulation":0.65, "frequency_modulation":166.666, "relative_position":0.02 } ] } ] } ] } ], "tracks":[ { "id":0, "description":"Main track", "body_part_mask":0, "timeline":[ { "time":0, "effect":{ "id":0 "effect_type":"Reference" } }, { "time":1.0, "effect":{ "id":1, "effect_type":"Basis", "description":"Short vibration", "bands":[ { "band_type":"Wave", "encoding_modality":"Vectorial", "lower_frequency_limit":200, "upper_frequency_limit":300, "streams":[ { "position":0.0, "phase":0, "keyframes":[ { "amplitude_modulation":0.5, "frequency_modulation":200, "relative_position":0 }, { "amplitude_modulation":0.65, "frequency_modulation":250, "relative_position":0.1 } ] } ] } ] } }, { "time":2, "effect":{ "id":0, "effect_type":"Reference" } } ] } ] } ], "accessors":[], "buffers":[], "bufferViews":[] }

表 4

圖 4繪示根據至少一第二實施例之用於觸覺資料的資料結構的一實例。在此實施例中，基礎效果係基於關鍵幀定義。

觸覺描述檔案400（換言之，觸覺資料）包含第一層級401，該第一層級包含檔案描述402、一組虛擬使用者403、一組信號410、及形狀405。檔案描述402包含一些通用後設資料，該通用後設資料包括檔案的版本、日期、及關聯觸覺體驗的描述。該組虛擬使用者403包含觸覺效果將施加於其上之本體模型的定義。形狀405判定觸覺效果在沉浸式場景內有效的體積。將信號（諸如信號411）聚合至該組信號410中。

信號411在圖式的第二條線中擴展，且包含後設資料421、對在該組虛擬使用者403中選擇的虛擬使用者的參考422（例如，對虛擬使用者404的參考）、效果庫430、及一組觸覺軌440。後設資料421包含在信號類型（振動、壓力、溫度等）以信號之描述上的資訊。效果庫包含一組效果，諸如效果431及432。效果431的實例在圖式的左下角展開。該組觸覺軌440聚合數個觸覺軌，諸如441、442、及443。觸覺軌441亦在圖式的中間右側展開。

效果庫430包含定義為表示待演現之信號的值的一組關鍵幀的一組效果，諸如431及432。例如，效果431經定義為由關鍵幀451、452、453組成。

觸覺軌441包含運載語法資訊的軌描述461、運載一些性質（諸如增益、混合權重、主體部分遮罩）的軌性質462、及一組觸覺頻帶470，諸如471、472、473。觸覺頻帶471的實例包含一些性質475及效果時間線480。效果時間線包含四個元件481、482、483、及484。元件481及484通過時間線內的一組關鍵幀直接定義效果，而元件482及483參考來自效果庫的效果，分別參考效果431及432。因此，元件482通過參考效果431而參考關鍵幀451、452、453。

根據第二實施例之觸覺效果的JSON概要的一實例給定於表5。

{ "$schema" : "http://json-schema.org/draft-04/schema", "title" : "Haptics_effect", "type" : "object", "properties" : { "id": { "type": "integer", "description": "Track id" }, "effect_type": { "type": "string", "enum": ["Basis", "Timeline", "Reference"], "description": "Type of effect: basis, reference or timeline" }, "description": { "type": "string", "description": "Description of the effect" }, "phase": { "type": "number", "description": "Phase of the effect", "minimum": 0.0, "maximum": 6.28 }, "keyframes": { "type": "array", "description": "List of keyframes", "items": { "type": "object", "$ref": "Haptics.keyframes.schema.json" }, "minItems": 1 }, "timeline": { "type": "array", "items":{ "type": "object", "properties":{ "time":{ "type": "number", "description": "Timestamp of the effect" }, "effect":{ "type": "object", "$ref": "Haptics_effect.schema.json" } } } } }, "required": [ "id", "effect_type" ] }

表 5

如上文所見的，觸覺效果可係三種類型的：基礎、時間線、或參考。基礎效果使用id定義，且包含觸覺「關鍵幀」的列表。當需要時，可將相位屬性加至基礎效果（未描繪於圖式中）。基礎效果的一實例係圖4中的效果331。時間線效果亦藉由id識別，但其係藉由關聯於時間戳記的觸覺關鍵幀列表定義。圖4中之時間線效果的一實例係效果481。最後，參考效果簡單地參考效果庫中的現有效果：id屬性指示所參考的效果。圖4中之時間線效果的一實例係參考效果431且因此包含關鍵幀451、452、453的效果482。

在信號層級，該組效果係儲存在「effect_library」中，如表6之JSON概要的實例所繪示的。

{ "$schema" : "http://json-schema.org/draft-04/schema", "title" : "Haptics_signal", "type" : "object", "properties" : { "signal_type": { "type": "string", "enum": ["Pressure", "Force", "Acceleration", "Velocity", "Position", "Temperature", "Vibration", "Water", "Wind", "Other"], "description": "Type of signal" }, "description": { "type": "string", "description": "Signal description" }, "encoding": { "type": "string", "enum": ["Sinusoidal", "Wavelet"], "description": "Type of encoding used for the signal" }, "avatar_id": { "type": "integer", "description": "ID of the body model" }, "signal_accessor": { "allOf": [ { "$ref": "Haptics_id.schema.json" } ], "description": "The index of an accessor containing the data." }, "effect_library": { "type": "array", "description": "List of predefined effects to be referenced in the tracks", "items": { "type": "object", "$ref": "Haptics.effect.schema.json" } } "tracks": { "type": "array", "description": "List of tracks ", "items": { "type": "object", "$ref": "Haptics.track.schema.json" }, "minItems": 1 } }, "required": [ "signal_type", "description", "encoding", "nb_tracks", "avatar_id", "tracks" ] }

表 6

效果係在觸覺頻帶層級使用，如表7所示。

{ "$schema" : "http://json-schema.org/draft-04/schema", "title" : "Haptics_band", "type" : "object", "properties" : { "band_type": { "type": "string", "enum": ["Wave", "Keyframe", "Transient"], "description": "Specifies the type of data contained in the band" }, "encoding_modality": { "type": "string", "enum": ["Quantized", "Vectorial"], "description": "Specifies the encoding modality. The data can be Quantized or Vectorial" }, "window_length": { "type": "number", "description": "Duration of a haptic wave" }, "lower_frequency_limit": { "type": "number", "description": "Lower frequency limit of the band", "minimum": 0.0, "maximum": 1000.0 }, "upper_frequency_limit": { "type": "number", "description": "Upper frequency limit of the band", "minimum": 0.0, "maximum": 1000.0 }, "timeline": { "type": "array", "description": "Timeline of effects", "items":{ "type": "object", "properties":{ "time":{ "type": "number", "description": "Timestamp of the effect" }, "effect":{ "type": "object", "$ref": "Haptics_effect.schema.json" } } } } }, "required": [ "band_data_type", "encoding_modality", "timeline" ] }

表 7

表8提供根據第二實施例之用於觸覺檔案之JSON語法的一實例，基於與用於第一實施例的相同實例（表4）。使用此解決方案，基礎效果更易於定義但給定軌的每一個效果接著使用相同的頻帶分解。

{ "version": 1.0, "date": "2021-11-19", "description":"Example haptic file" "avatars":[ { "id": 0, "lod": 1, "type":"Vibration" } ], "shape":0 "signals": [ { "signal_type":"Vibration", "description":"Some vibration signal", "encoding":"Sinusoidal", "avatar_id": 0, "effect_library":[ { "id":0, "effect_type":"Basis", "description":"Short vibration", "phase":0, "keyframes":[ { "amplitude_modulation":0.95, "frequency_modulation":166.666, "relative_position":0 }, { "amplitude_modulation":0.65, "frequency_modulation":166.666, "relative_position":0.02 } ] } ], "tracks":[ { "id":0, "description":"Main track", "body_part_mask":0, "bands":[ { "band_type":"Wave", "encoding_modality":"Vectorial" "lower_frequency_limit":100, "upper_frequency_limit":300, "timeline":[ { "time":0, "effect":{ "id":0 "effect_type":"Reference" } }, { "time":1, "effect":{ "id":1, "effect_type":"Basis", "description":"Short vibration", "phase":0, "keyframes":[ { "amplitude_modulation":0.5, "frequency_modulation":200, "relative_position":0 }, { "amplitude_modulation":0.65, "frequency_modulation":250, "relative_position":0.1 } ] } }, { "time":2, "effect":{ "id":0 "effect_type":"Reference" } } ] } ] } ] } ], "accessors":[], "buffers":[], "bufferViews":[] }

表 8

圖 5繪示根據第二實施例之不使用效果庫編碼之觸覺檔案的一實例。資料係線性地儲存，且相同效果重複。此類觸覺檔案將特別適用於串流。

圖 6繪示根據第二實施例之使用效果庫編碼之觸覺檔案的一實例。此檔案描述相同效果但經最佳化以藉由使用效果庫降低空間消耗。實際上，將相同效果移至效果庫並接著在時間線中參考。此類觸覺檔案將特別適用於編輯階段。實際上，若修改需要在關鍵幀中完成，其僅需要完成一次。

圖 7繪示根據至少一個實施例之用於觸覺檔案之編碼器700的架構的一實例。輸入係後設資料檔案701及至少一個信號檔案703。後設資料檔案701係，例如，基於「OHM」觸覺物件檔案格式。信號檔案習知地使用，例如，基於WAV檔案格式的PCM編碼檔案。描述性檔案702係，例如，基於AHAP或HAPT檔案格式。互換檔案704係，例如，基於glTF、XML、或JSON格式的人類可讀檔案。分布檔案705係，例如，基於適用於串流或廣播至解碼器裝置之MPEG檔案格式的二進位編碼檔案。

後設資料710係從後設資料檔案701提取，允許識別描述性檔案及/或信號檔案。描述性檔案在步驟711分析及轉碼。在步驟712中，將信號檔額分解在頻帶中，且關鍵幀或小波係在步驟713中提取。互換檔案704接著在步驟720中產生，遵循根據本文描述之實施例的一者的資料格式。待分布的此檔案在步驟730中可以比交換檔案格式更緊密的傳輸友善形式壓縮。

圖 8繪示根據一個實施例的資料重組程序。此程序800允許，例如，將圖5的檔案轉換成圖6的檔案，且反之亦然。換言之，允許調適觸覺的結構以使用線性化（因此重複）關鍵幀或使用當可能時將關鍵幀描述分解成因子的庫效果。在第一步驟801中，分析信號資料。一般而言，在此步驟中，程序檢查定義在時間線中的效果以識別相同效果。在圖5的實例中，程序將已識別關鍵幀1及關鍵幀2的組合使用4次。在第二步驟中，程序執行最佳化的一者。在資料線性化802的情形中，目標係具有最佳地適配於串流的資料結構。在此情形中，時間線中之基於庫的效果參考由效果的複本所置換，且所有效果從庫移除。在資料重構803的情形中，目標係相反的，換言之，使資料結構緊密化。對於該目的，當在時間線中偵測到相同效果時，將此類效果加至效果庫（若其尚未存在），且在時間線中，效果為對庫中之效果的參考所置換。

最後可將其他類型的最佳化804加至此程序。例如，取代僅合併相同效果，程序可合併足夠相似的效果以進一步最佳化空間上的增益。此類最佳化在信號分析期間會需要額外計算以評估效果之間的一些距離度量。將不得不提供關聯距離臨限以定義效果之間的相似性程度以執行合併。

此資料重組程序可以多個方式實施。例如，可插入在圖7之實例架構中的格式化步驟720之後。亦可實施為獨立工具，以重組現有觸覺檔案的資料並重匯出（為交換或分布檔案）或可實施為觸覺檔案編輯工具的匯入外掛程式。亦可將其包括於二進位壓縮步驟730。

表9提供根據第二實施例之在資料線性化程序之後用於觸覺檔案之JSON語法的一實例。實際上，表4及表8的二個實例已經最佳化以節省空間且使觸覺信號的編輯更容易。此資料組織對於串流目的並不便利。下表顯示在資料線性化之後的相同實例。該程序以效果的複本將每一個參考置換成效果，並將原始參考從庫移除。基於第二實施例，資料重組導致以下更長，但更易於串流的檔案。

{ "version": 1.0, "date": "2021-11-19", "description":"Example haptic file" "avatars":[ { "id": 0, "lod": 1, "type":"Vibration" } ], "shape":0 "signals": [ { "signal_type":"Vibration", "description":"Some vibration signal", "encoding":"Sinusoidal", "avatar_id": 0, "effect_library":[], "tracks":[ { "id":0, "description":"Main track", "body_part_mask":0, "bands":[ { "band_type":"Wave", "encoding_modality":"Vectorial" "lower_frequency_limit":100, "upper_frequency_limit":300, "timeline":[ { "time":0, "effect":{ "id":0, "effect_type":"Basis", "description":"Short vibration", "phase":0, "keyframes":[ { "amplitude_modulation":0.95, "frequency_modulation":166.666, "relative_position":0 }, { "amplitude_modulation":0.65, "frequency_modulation":166.666, "relative_position":0.02 } ] } }, { "time":1, "effect":{ "id":1, "effect_type":"Basis", "description":"Short vibration", "phase":0, "keyframes":[ { "amplitude_modulation":0.5, "frequency_modulation":200, "relative_position":0 }, { "amplitude_modulation":0.65, "frequency_modulation":250, "relative_position":0.1 } ] } }, { "time":2, "effect":{ "id":0, "effect_type":"Basis", "description":"Short vibration", "phase":0, "keyframes":[ { "amplitude_modulation":0.95, "frequency_modulation":166.666, "relative_position":0 }, { "amplitude_modulation":0.65, "frequency_modulation":166.666, "relative_position":0.02 } ] } } ] } ] } ] } ], "accessors":[], "buffers":[], "bufferViews":[] }

表 9

在本文件中，說明所提議之具有JSON可讀格式的資料結構，但相同原理施用至該格式之如使用在分布檔案中的二進位版本。

圖 9繪示根據至少一個實施例之用於演現觸覺資料之程序的一實例。此程序900係，例如，藉由圖1之裝置100的處理器101實施。在步驟910中，處理器獲得觸覺資料。在步驟920中，處理器將如藉由觸覺資料描述的觸覺信號提供至觸覺致動器。

雖然不同實施例已分開描述，在尊重本揭露之原理的同時，實施例的任何組合可一起完成。

雖然實施例係關於觸覺效果，所屬技術領域中具有通常知識者將理解相同原理可施用至其他效果，例如，諸如知覺效果，且因此將包含氣味及味道。適當語法因此將判定與此等效果有關的適當參數。

對「一個實施例(one embodiment)」或「一實施例(an embodiment)」或「一個實施方案(one implementation)」、或「一實施方案(an implementation)」以及其等的其他變化的參考意指相關於該實施例描述的特定特徵、結構、特性等係包括在至少一個實施例中。因此，片語「在一個實施例中(in one embodiment)」或「在一實施例中(in an embodiment)」或「在一個實施方案中(in one implementation)」、或「在一實施方案中(in an implementation)」的出現，以及在遍及本說明書各處出現的任何其他變化不必然全部參考至相同實施例。

額外地，此申請案或其申請專利範圍可與「判定」各項資訊相關。判定資訊可包括，例如，評估資訊、計算資訊、預測資訊、或從記憶體檢索資訊的一或多者。

額外地，此申請案或其申請專利範圍可與「獲得」各項資訊相關。意圖使獲得如「存取(accessing)」般地成為廣泛用語。獲得資訊可包括，例如，存取資訊、存取資訊、或檢索資訊（例如，從記憶體或光學媒體儲存器）的一或多者。進一步地，在操作期間（諸如例如儲存資訊、處理資訊、傳輸資訊、移動資訊、複製資訊、抹除資訊、計算資訊、判定資訊、預測資訊、或評估資訊）一般以某種方式或另一者涉及「獲得(obtaining)」。

應理解下列「/」、「及/或(and/or)」、及「中之至少一者(at least one of)」在例如「A/B」、「A及/或B (A and/or B)」、及「A及B中之至少一者(at least one of A and B)」之情形中的使用意圖涵蓋僅選擇第一列出選項(A)、或僅選擇第二列出選項(B)、或選擇二個選項（A及B）。作為進一步實例，在「A、B、及/或C (A, B, and/or C)」及「A、B、及C中之至少一者(at least one of A, B, and C)」的情形中，此類片語意圖涵蓋僅選擇第一列出選項(A)、或僅選擇第二列出選項(B)、或僅選擇第三列出選項(C)、或僅選擇第一及第二列出選項（A及B）、或僅選擇第一及第三列出選項（A及C）、或僅選擇第二及第三列出選項（B及C）、或選擇所有三個選項（A及B及C）。此可對所列出的許多項目延伸，對所屬及相關技術領域中具有通常知識者係顯而易見的。

100:觸覺演現裝置；裝置 101:處理器 102:輸入單元；元件 103:顯示器單元；元件 104:音訊單元；元件 105:通訊介面；元件 106:記憶體；元件 107:觸覺單元；元件 108:電源；元件 110:沉浸式體驗編輯器 111:沉浸式場景產生器 170:通訊網路 171:虛線 180:伺服器 190:沉浸式場景 191:場景描述 192:觸覺資料 210:軌 220:頻帶 230:串流 240:單一信號關鍵幀 250:觸覺信號 260:頻帶 261:串流 270:頻帶 271:串流 272:串流 273:串流 274:串流 300:觸覺描述檔案 301:第一層級 302:檔案描述 303:虛擬使用者 304:虛擬使用者 305:形狀 310:信號 311:信號 321:後設資料 322:參考 330:效果庫 331:效果 332:效果 340:觸覺軌 341:觸覺軌 342:觸覺軌 343:觸覺軌 350:關鍵幀 351:關鍵幀 352:關鍵幀 353:關鍵幀 361:軌描述 362:軌性質 370:效果時間線 371:效果 372:效果 373:效果 374:效果 380:頻帶 381:頻帶 385:串流 386:串流 400:觸覺描述檔案 401:第一層級 402:檔案描述 403:虛擬使用者 404:虛擬使用者 405:形狀 410:信號 411:信號 421:後設資料 422:參考 430:效果庫 431:效果 432:效果 440:觸覺軌 441:觸覺軌 442:觸覺軌 443:觸覺軌 451:關鍵幀 452:關鍵幀 453:關鍵幀 461:軌描述 462:軌性質 470:觸覺頻帶 471:觸覺頻帶 472:觸覺頻帶 473:觸覺頻帶 475:性質 480:效果時間線 481:元件；效果 482:元件；效果 483:元件 484:元件 700:編碼器 701:後設資料檔案 702:描述性檔案 703:信號檔案 704:互換檔案 705:分布檔案 710:後設資料 711:步驟 712:步驟 713:步驟 720:步驟；格式化步驟 730:步驟；二進位壓縮步驟 800:程序 801:第一步驟 802:資料線性化 803:資料重構 804:最佳化 900:程序 910:步驟 920:步驟

［圖1］繪示於其中實施各種態樣及實施例之系統的一實例的方塊圖。［圖2A］及［圖2B］繪示基於使用分解成頻帶的習知技術編碼觸覺信號的一實例。［圖3］繪示根據至少一第一實施例之用於觸覺檔案之資料結構的一實例，其中基礎效果係基於觸覺頻帶中的頻率分解定義。［圖4］繪示根據至少一第二實施例之用於觸覺檔案之資料結構的一實例，其中基礎效果係基於關鍵幀定義。［圖5］繪示根據第二實施例之不使用效果庫編碼之觸覺檔案的一實例。［圖6］繪示根據第二實施例之使用效果庫編碼之觸覺檔案的一實例。［圖7］繪示根據至少一個實施例之用於觸覺檔案之編碼器的架構的一實例。［圖8］繪示根據一個實施例的資料重組程序。［圖9］繪示根據至少一個實施例之用於演現觸覺資料之程序的一實例。

100:觸覺演現裝置

101:處理器

102:輸入單元

103:顯示器單元

104:音訊單元

105:通訊介面

106:記憶體

107:觸覺單元

108:電源

110:沉浸式體驗編輯器

111:沉浸式場景產生器

170:通訊網路

171:虛線

180:伺服器

190:沉浸式場景

191:場景描述

192:觸覺資料

Claims

一種方法，其包含： - 產生包含表示下列者之資訊的觸覺資料：一效果類型，一觸覺效果列表，一觸覺軌列表，其中一觸覺軌包含一時間線，其中至少一個時間參考關聯於一觸覺效果或關聯於該觸覺效果列表中的一識別符，其中一觸覺效果包含表示待施加以演現該觸覺效果的一信號的值的資訊。
一種用於演現觸覺資料之方法，其包含： - 獲得包含表示下列者之資訊的觸覺資料：一效果類型，一觸覺效果列表，一觸覺軌列表，其中一觸覺軌包含一時間線，其中至少一個時間參考關聯於一觸覺效果或關聯於該觸覺效果列表中的一識別符，且其中一觸覺效果包含表示待施加以演現該觸覺效果的一信號的值的資訊，及 - 將該信號的值提供至觸覺致動器。
如請求項1或2之方法，其中信號係根據一組頻帶分組。
如請求項1或2之方法，其中時間線係根據一組頻帶分組。
一種用於重組根據請求項1產生之觸覺資料之方法，其中至少一個時間參考關聯於一觸覺效果之該列表中的一識別符，該方法包含： - 獲得觸覺資料， - 分析該觸覺資料以判定一觸覺效果在時間線中的識別符， - 以與該等識別符關聯的該等觸覺效果的複本置換經判定識別符， - 清空該觸覺效果列表，及 - 提供該經重組觸覺資料。
一種用於重組根據請求項1產生之觸覺資料之方法，其中至少一個時間參考關聯於一觸覺效果，該方法包含： - 獲得觸覺資料， - 分析該觸覺資料以判定相同觸覺效果， - 將該等經判定相同觸覺效果的一者的一複本插入至該觸覺效果列表中， - 將一識別符關聯於該經插入相同觸覺效果， - 以該經關聯識別符置換相同觸覺效果，及 - 提供該經重組觸覺資料。
一種觸覺演現裝置，其包含一處理器，該處理器經組態以： - 獲得包含表示下列者之資訊的觸覺資料：一效果類型，一觸覺效果列表，一觸覺軌列表，其中一觸覺軌包含一時間線，其中至少一個時間參考關聯於一觸覺效果或關聯於該觸覺效果列表中的一識別符，且其中一觸覺效果包含表示待施加以演現該觸覺效果的一信號的值的資訊，及 - 將該信號的值提供至觸覺致動器。
一種儲存觸覺資料之非暫時性電腦可讀媒體，該觸覺資料包含表示下列者的資訊：一效果類型，一觸覺效果列表，一觸覺軌列表，其中一觸覺軌包含一時間線，其中至少一個時間參考關聯於一觸覺效果或關聯於該觸覺效果列表中的一識別符，且其中一觸覺效果包含表示待施加以演現該觸覺效果的一信號的值的資訊。
一種電腦程式，其包含在由一處理器執行時用於實施如請求項1至6中任一項之方法的程式碼指令。
一種非暫時性電腦可讀媒體，其包含在由一處理器執行時用於實施如請求項1至6中任一項之方法的程式碼指令。