TWI797341B - 用於產生觸覺輸出以增強使用者體驗的系統及方法 - Google Patents

Abstract

提供了用於從具有連續採樣數位音頻資料流的音頻訊號生成觸覺輸出的系統和方法。觸覺處理系統接收數位音頻資料，分析數位音頻資料以進行處理並提取觸覺訊號以通過致動器產生觸覺效果。該方法包括通過一個或多個動態處理器傳遞數位音頻訊號，調整數位音頻訊號的動態範圍，提取音頻資料的訊號包絡，從提取的訊號包絡合成低頻訊號，以及增強低訊號-使用諧振器的頻率內容。通過將數位音頻訊號與來自觸覺處理系統的不同模組的輸出混合來產生觸覺輸出。分析模組監視、控制和調整雜訊閘模組、壓縮器模組和包絡模組處的數位音頻訊號的處理，以增強觸覺輸出。處理後的數位訊號通過低通濾波器、限頻器和鐘形濾波器傳遞，以分別去除不需要的頻率、增益和擴展頻率響應。輸出訊號提供給數位類比(D/A)轉換器，最後饋送到執行器以產生觸覺輸出。檢測模組接收來自鐘形濾波器的輸出的第一輸入和來自輸入音頻訊號的第二輸入，探測第一和第二輸入處的訊號，並且在兩個輸入處沒有音頻訊號時禁用觸覺處理系統並進入省電模式。

Description

用於產生觸覺輸出以增強使用者體驗的系統及方法

本發明係有關於一種觸覺處理系統，其用於產生觸覺響應。更具體而言，本發明係有關於一種數位音頻訊號處理，其用於在致動器中生成觸覺輸出。

觸覺通常是指作為在電子設備的使用者界面上的反饋力或振動而提供給使用者接觸的感覺。反饋力可以提供資訊給使用者。隨著技術的進步，使用者界面目前係整合於提供觸覺反饋的觸覺界面。移動設備、遊戲設備和汽車目前與觸覺整合在一起，以提供更好的使用者體驗。提供使用者反饋的重要元素是處理音頻訊號以將音頻訊號轉換為觸覺響應。觸覺響應驅動致動器以提供振動來響應於使用者界面上的觸摸。觸覺的另一個應用是藉由在人體內隨著聲音引起振動來向使用者提供實時體驗。該應用係廣泛地被用於耳機、可穿戴的帶及其他設備。所有這些應用都需要處理音頻訊號以實時地從音頻訊號中提取觸覺響應。觸覺的使用者體驗受到觸覺處理系統的廣泛影響，該觸覺處理系統轉換輸入音頻資料以生成觸覺響應。使用者體驗通常由觸覺處理系統的能力來控制，以處理和產生良好觸覺效果。

若干技術提供不同的實施方式，以從輸入音頻訊號提供觸覺輸出，例如，美國專利7,979,146提供了一種系統和方法，用於藉由將音頻訊號分離為多個次頻帶和區段來自動地將接收的音頻訊號轉換為觸覺事件。然後將次頻帶訊號轉換成多個事件。系統將觸覺事件分配給在致動器中產生觸覺響應的特定次頻帶。該系統提供與頻率特性、致動器參數及最小時間間隔相關的不同參數，以產生觸覺響應。

類似地，美國專利8,378,964擴展了該技術。其提供了觸覺事件的結構化表示。該方法計算不同頻道的事件分數，並且基於累積分數，將觸覺事件分配給特定頻道，以在相關的致動器中生成觸覺響應。

美國專利申請案20090189748提供了一種用於處理音頻訊號和/或視頻訊號以產生觸覺激勵的方法和相關設備。觸覺激勵產生單元藉由產生通過通氣孔的氣流在使用者的特定身體部位上產生觸覺激發。因此，觸覺激勵被傳送到使用者身體。

美國專利8,717,152描述了一種使用波形的觸覺效果轉換系統。來自音頻源的音頻框(audio frame)被觸覺轉換系統攔截以生成觸覺訊號，該觸覺訊號通過致動器傳遞以產生觸覺效果。觸覺訊號基於每個音頻資料框的最大值，其定義觸覺訊號的量級。

當前的技術狀態提供了處理音頻訊號以產生觸覺訊號的不同技術，該觸覺訊號可以被傳遞到致動器以產生觸覺效果。然而，沒有現有技術提供額外的分析和處理來放大被抑制地頻率，處理在不同動態處理器中的暫態、動態更新的參數，以產生增強使用者體驗的觸覺訊號。

本發明使用若干技術藉由使用每個數位音頻資料樣本來增強使用者的觸覺體驗，利用側鏈、諧振及物理模組，利用幅度的平均值和其他相關模組來提供一種改良及連續的觸覺體驗。與現有觸覺轉換系統相關的另一個問題是在沒有足夠低頻的情況下缺乏觸覺響應。如果音頻訊號是具有高頻分量的串流，則在音頻訊號的濾波期間，大部分的高頻被衰減，藉此不產生觸覺響應。另外，某些低頻分量，其儘管存在，但在濾波和處理階段期間可以被消除。這造成了受到批評的使用者體驗。理想的情況下，觸覺處理系統應該提供實時觸覺效果，以便提供具有音頻-觸覺效果的被增強之使用者體驗。如果以最小延遲實時處理音頻訊號，則可以提供豐富的使用者體驗，對每個被採樣的音頻訊號資料進行處理和分析，並且放大及/或附加低頻以產生觸覺效果。

因此，本發明的技術提供一種方法及系統，其藉由使用一或多個動態處理器、物理諧振模組級用於數位訊號處理的混頻器模組，來有效率且有效地處理音頻訊號，以產生觸覺輸出。分析模組可同時監控和控制觸覺輸出，以增強使用者體驗。

本發明的系統及方法揭示了一種觸覺處理系統。該觸覺處理系統包括數位訊號處理鏈和分析模組。該數位處理鏈包括下採樣器、低通濾波器、至少一個動態處理器，至少一個壓縮器，至少一個包絡跟隨器，至少一個振盪器，至少一個諧振模組，至少一個混頻器模組，至少一個鐘形濾波器，至少一個限波器和其他模組。分析模組也接收音頻輸入訊號，獨立作動並控制數字處理鏈。分析模組傳遞參數以控制數位訊號處理鏈中的音頻訊號的處理。

在實施例中，存在至少一個分析模組。在實施例中，分析模組控制數位處理鏈中的至少一個參數。在實施例中，至少一個參數可以是增益、閾值、RMS/峰值、建立時間(attack)、釋放時間(release)、補償增益(makeup gain)、拐點(knee)或與音頻訊號相關聯的一些其他類型的參數。在實施例中，分析模組可以調製數位訊號處理鏈中的音頻訊號的處理。在另一個實施例中，分析模組可以在特定的時間間隔調整數位訊號處理鏈中的音頻訊號的處理。時間間隔可以在0.01秒至1秒之間變化。在另一個實施例中，分析模組可以實時地動態地改變數位訊號處理鏈中的輸入音頻訊號的處理。在另一個實施例中，分析模組可以非實時地改變數位訊號處理鏈中的音頻訊號的處理。在數位訊號處理鏈的輸入端接收輸入音頻訊號，該輸入音頻訊號被傳遞到預處理模組。預處理模組對輸入音頻訊號進行向下採樣而達到可接受的採樣率，該採樣率可由至少一個動態處理器處理。輸入音頻訊號是數位輸入訊號或類比輸入訊號，該類比輸入訊號使用類比/數位(A/D)轉換器將其轉換為數位訊號。

在本發明的實施例中，預處理模組可以對輸入音頻訊號進行濾波。另外，如果需要，它可以增加輸入音頻訊號的增益。在另一個實施例中，當接收的音頻輸入訊號處於可接受的採樣率時，從數字訊號處理鏈中繞過預處理模組。預處理器模組的輸出被提供給第一動態處理器。在本發明的一個實施例中，第一動態處理器是雜訊閘(noise gate)。在本發明的另一個實施例中，動態處理器可以是壓縮器(compressor)或雜訊閘和壓縮器的組合。雜訊閘接收來自預處理器模組的輸入音頻訊號。雜訊閘包括檢測器模組，側鏈模組和閾值模組。閾值模組可以從分析模組接收控制參數。在另一實施例中，側鏈模組接收來自雜訊閘模組的訊號的一部分。

當在側鏈模組處從雜訊閘模組或輸入音頻訊號接收輸入訊號時，與側鏈模組相關聯的檢測器檢測接收訊號是高於還是低於閾值位準。如果訊號高於閾值位準，則雜訊閘打開以傳遞音頻訊號。然而，如果檢測到接收訊號低於閾值位準，則雜訊閘關閉而以一增益因子使接收訊號產生衰減。增益因子是增益減小，其應用於接收的輸入訊號。

分析模組同時接收輸入音頻訊號並基於輸入音頻訊號特性計算閾值參數。然後，分析模組將參數傳遞到雜訊閘以實時地設置閾值位準。在本發明的實施例中，分析模組可以設置雜訊閘模組的閾值水平和/或增益。分析模組在每個時刻動態更新參數。

在本發明的實施例中，分析模組可以在數位訊號處理鏈之前接收輸入音頻訊號。例如，饋送到數位訊號處理鏈的輸入音頻訊號係以一預定時間被延遲。在本發明的一個實施例中，導入的時間延遲可以在1毫秒到100毫秒之間做變化。在另一個實施例中，通過首先將訊號傳遞到分析模組並隨後將輸出訊號傳遞到數位訊號處理鏈來提供前視機制(look ahead mechanism)。在又一個實施例中，可以藉由在分析模組中實現的預測演算法(predictive algorithm)來提供前視機制。預測演算法實時地監視輸入音頻訊號並預測要提供給至少一個或多個動態處理器的參數。

輸入音頻訊號的一部分也被提供給乾/濕模組。乾/濕訊號混合可以通過乾音頻訊號與濕音頻訊號的混合來促進增強觸覺輸出。乾音頻訊號表示未處理的音頻訊號或沒有任何聲音效果的音頻訊號。同樣，濕音頻訊號表示已經用聲音效果處理的音頻訊號。當使用乾音頻訊號不能產生聲音效果時，乾/濕訊號的混合可以作為產生觸覺輸出的基礎。例如，濕式混頻器可以處理及產生基 於動態的效果，基於頻率的效果和基於時間的效果，其與乾訊號混合以改善美學及/或技術效果。在優選的實施方案中，基於時間的效果應用於乾/濕訊號混合物中。在示例中，濕訊號可以產生單個回波或音調偏移。這種潮濕訊號將產生很少的觸覺輸出。乾/濕訊號的混合將允許通過引入大量乾訊號來增加觸覺輸出。在一些實施例中，乾/濕訊號的比率由分析模組動態控制。在另一個實施例中，乾/濕訊號的比率由預置模組控制。在又一個實施例中，乾/濕訊號的比率由分析模組和預置模組控制。乾/濕模組還接收來自雜訊閘輸出的另一輸入。然後，乾/濕模組以預定比例混合兩個接收的輸入訊號，即輸入音頻訊號及來自雜訊閘的輸出，並將其傳遞到混頻器模組。

在一個實施例中，預定比例可以是定值。在另一個實施例中，預定比例可以通過軟體或通過用戶界面來調整。用戶可以存取預設值以通過用戶界面控制乾/濕訊號的混合。

來自雜訊閘的輸出訊號被傳遞到另一個動態處理器。在本發明的一個實施例中，動態處理器為壓縮器。壓縮器降低了接收訊號的動態範圍。

在本發明的一個實施例中，側鏈模組可以與一個動態處理器相關聯，例如，壓縮器，其可以包括檢測器模組和閾值模組。在另一個實施例中，檢測器模組和閾值模組可以是與側鏈模組和雜訊閘模組相關聯的獨立模組。在又一個實施例中，壓縮器模組可包括側鏈模組，檢測器模組和閾值模組。

壓縮器模組的輸出被提供給包絡跟隨器模組，其將高頻訊號轉換為低頻訊號。此外，它將雙極性輸入訊號轉換為單極性輸出訊號。包絡跟隨器的輸出被提供給振盪器模組，該振盪器模組調製接收的音頻訊號。並行地，來自壓縮器模組的輸出訊號也被提供給諧振模組，該諧振模組(a)放大了被抑制的 低頻；(b)基於輸入音頻訊號激勵弦線、膜片、板材或其他樂器模型的物理模型；(c)將低頻添加到輸出訊號。

混頻器模組混合來自乾/濕模組，振盪器模組和諧振模組的輸出訊號。混頻器模組的輸出被傳遞到通過濾波器，限波器模組，鐘形濾波器模組和致動器以產生觸覺輸出。

在本發明的另一個實施例中，觸覺處理系統包括數位訊號處理鏈和分析模組。數位訊號處理鏈包括音頻輸入訊號，預處理模組，訊號檢測模組，增益控制器模組和其他模組。數位訊號處理鏈是從輸入音頻訊號到觸覺輸出訊號的訊號流路徑。增益控制器模組耦合到第一增益控制處理器和第二增益控制器處理器以及附圖中所示的其他模組。並行地，增益控制器模組還將輸入音頻訊號提供給乾/濕模組和分析模組。

在該實施例中，分析模組包括峰值分析器模組、暫態檢測模組、RMS發生器模組、側鏈模組、檢測器和閾值模組、預測及智能模組、增益控制器模組及頻率增益控制器模組。分析模組係執行與峰值檢測、均方根值和暫態檢測相關的所有計算。分析模組計算需要傳遞到第一增益控制處理器和第二增益控制處理器的參數。此外，分析模組也向包絡跟隨器模組和雙濾波器模組提供控制參數。

在本發明的一個實施例中，分析模組可以包括峰值分析器模組、暫態檢測模組、RMS發生器模組、側鏈模組、檢測器及閾值模組、預測和智能模組、增益控制器模組以及頻率增益控制器模組，其彼此直接連接。在本發明的另一個實施例中，分析模組中的一些模組彼此直接連接，而其他模組間接地相互連接，即，這些模組藉由函數調用(function call)，記憶體引用(memory referencing)，共享記憶體或指標(shared memory or pointer)來交換參數。在本發明的另一個實施例中，所有模組彼此直接和間接連接。

在本發明的實施例中，由分析模組傳遞的參數至少與閾值位準及增益減少相關。在另一實施例中，由分析模組傳遞的參數至少與閾值位準及增益相關。

來自第二增益控制處理器的輸出被提供給包絡跟隨器模組、物理諧振模組和乾/濕模組。振盪器模組調製包絡跟隨器的輸出。振盪器模組、諧振模組和乾/濕模組的輸出在混頻器模組中混合在一起。混頻器模組的輸出在被傳遞到致動器以產生觸覺輸出之前被提供給雙濾波器模組、限波器模組、濾波器模組及上採樣模組。

預置模組通過參數來控制乾/濕模組、混頻器模組、雙濾波器模組、限波器模組、濾波器模組及上採樣模組。由預置模組提供的參數用於控制輸入音頻訊號而不干擾數位訊號處理鏈。

在本發明的一個實施例中，當在輸入音頻訊號中檢測到暫態時，輸入音頻訊號傳遞到均方根模組，該模數暫時地設為零。隨後，RMS生成器模組在檢測到暫態訊號時將與RMS值相關的計算設為零。

在本發明的一個實施例中，雙濾波器模組獨立於數字訊號處理鏈從分析模組和預置模組接收參數。

在本發明的一個實施例中，一種觸覺處理系統，其用於輸入音頻訊號的實時及非實時訊號的處理，其包括：一分析模組，其更包括暫態檢測和分析模組；一峰值分析儀模組；一輸入訊號分析儀及均方根模組；一側鏈模組及一檢測器與閾值模組，其被建構成檢測輸入音頻訊號是否低於或高於閾值，其中所確定的值被傳遞到一預測與智能模組；一增益控制器模組，其與預測及智 能模組相關，其決定了增益降低參數，其中預測與智能模組應用預測演算法以確定要應用於與數位訊號處理鏈相關聯的至少一個動態處理器的參數以調製閾值位準及實時增益減少以產生觸覺輸出。

在本發明的一個實施例中，一種觸覺處理系統，其用於從輸入音頻訊號產生觸覺輸出，其包括一檢測模組；一雜訊閘模組，其建構成第一側鏈模組，且更包括一檢測器模組及閾值模組；一乾/濕模組，其建構成以預定比例混合輸入音頻訊號及雜訊閘模組的訊號輸出；一壓縮器模組，其建構成第二側鏈模組；一包絡模組，其與固定頻率振盪器相關；一諧振模組，建構成(a)放大被抑制的低頻，(b)基於輸入音頻訊號激勵弦線、膜片、板材或其他樂器模型的物理模型，以及(c)將低頻添加到輸出訊號；一混頻器模組，其被建構成混合來自乾/濕模組、固定頻率振盪器模組及諧振模組的輸出訊號；一分析模組，被建構成獨立地處理輸入音頻訊號以同化智能並向雜訊閘模組和壓縮器模組提供參數。

在本發明的實施例中，一種計算機可讀媒介，其具有在其上編碼的指令，當由處理器執行時，所述指令基於輸入音頻訊號提供觸覺反饋，所述指令執行以下步驟：(a)處理所述步驟將音頻訊號輸入到第一動態處理器中，第一動態處理器建構成第一側鏈，以基於從分析模組接收的參數來控制輸入音頻訊號的閾值位準及增益減小；(b)將處理後的音頻訊號輸入到第二動態處理器，第二動態處理器配置成第二側鏈，以根據從分析模組接收的參數調製接收的音頻訊號的增益減小；(c)將接收到的來自第二動態處理器的音頻訊號傳遞到(i)包絡跟隨器模組，以提取音頻訊號包絡並使用固定頻率振盪器調製所提取的音頻訊號包絡的幅度及(ii)諧振模組配置為從輸入音頻訊號激勵弦線，膜片，板材或其他樂器模型的物理模型，(d)混合從包絡模組輸出的訊號，諧振模組和 乾/濕模組訊號，(e)提供輸出到低通濾波器，限頻器和鐘形濾波器以產生觸覺訊號；(f)將觸覺訊號發送到致動器以產生觸覺輸出。

本發明的實施例中的系統和方法公開了一種暫態檢測過程，其使用數位訊號處理鏈產生觸覺輸出，該數位訊號處理鏈還包括至少一個或多個動態處理器和具有第一濾波器和第二濾波器的雙濾波器。分析模組包括暫態檢測模組，暫態檢測模組執行以下步驟：(a)藉由將輸入音頻訊號同時傳遞到高通包絡跟隨器和低通包絡跟隨器來檢測輸入音頻訊號中的暫態訊號，以計算高通包絡跟隨器和低通包絡跟隨器之間的增益差；(b)根據收益差異計算短暫分數；(c)接收暫時閾值；(d)基於暫態得分導出暫態二進制，其中當暫態得分高於暫態閾值時暫態二進制為1，而當暫態得分低於暫態閾值時為0；(e)藉由將暫態二進制乘以暫態分數來計算暫態輸出；(f)將暫態輸出提供給包絡跟隨器和雙濾波器，並將二進制分數提供給RMS檢測模組。

在本發明的實施例中，暫態檢測演算法可以在醫療設備、音頻設備、電子設備或一些其他設備中實現。

在本發明的一個實施例中，一種觸覺處理系統及/或方法，被建構為從輸入音頻訊號產生觸覺輸出，包括：數位訊號處理鏈，包括：至少一個或多個動態處理器，該至少一個動態處理器能夠接收具有閾值位準或增益降低的輸入音頻訊號，並被建構成接收參數以動態地控制至少一個動態處理器的閾值位準或增益降低；一包絡跟隨器，被配置為接收雙極訊號並將其轉換為單極訊號並將輸入音頻訊號轉換為低頻訊號；一固定頻率振盪器，用於在調諧諧振頻率處或附近調製低頻音頻訊號；一諧振模型，能夠增強低頻訊號並激勵至少一個樂器；一混頻器模組，被配置為混合來自預置模組、諧振模型及固定頻率振盪器的接收音頻訊號；一低通濾波器，耦合到鐘形濾波器和限頻器；以及一致動器， 產生觸覺輸出。該系統還包括一分析處理單元，其包括：一峰值檢測器，用於在固定時間內從接收的輸入音頻訊號計算峰值；一均方根計算器，用於計算固定時間的均方根值；預測計算器，被配置為基於所計算的均方根值和所計算的峰值來計算要傳遞到至少一個動態處理器的參數；以及一裝置，用於傳遞所計算的參數以控制所述至少一個動態處理器的閾值水平或增益減小，以產生觸覺輸出。

1‧‧‧第一低通濾波器

2‧‧‧第二低通濾波器

100‧‧‧觸覺處理模組

100A‧‧‧觸覺處理系統

100B‧‧‧觸覺處理模組

102‧‧‧記憶體

104‧‧‧作業系統

106‧‧‧應用程序

108‧‧‧觸覺模組

110‧‧‧處理器

112‧‧‧介面匯流排

114‧‧‧輸入/輸出模組

116‧‧‧通訊模組

118‧‧‧輔助處理器

122‧‧‧顯示器

124‧‧‧揚聲器

126‧‧‧致動器

128‧‧‧遊戲介面

130‧‧‧伺服器

140‧‧‧雲端

150‧‧‧分散式網絡

162‧‧‧音頻輸入訊號

164‧‧‧預處理模組

166‧‧‧動態處理器

166A~166N‧‧‧動態處理器

168‧‧‧乾/濕模組

170‧‧‧分析模組

172‧‧‧包絡檢測器模組

178‧‧‧諧振模組

180‧‧‧混音器模組

182‧‧‧低通濾波器模組

184‧‧‧限波器模組

186‧‧‧鐘形濾波器模組

188:致動器

190:檢測器模組

200:觸覺處理模組

202:輸入音頻訊號

204:預處理模組

206:雜訊閘模組

208A:側鏈模組

208B:側鏈模組

210:乾/濕模組

212:壓縮器模組

214:包絡跟隨器模組

218:固定頻率振盪器模組

222:混音器模組

224:低通濾波器

226:限波器模組

228:鐘形濾波器

230:致動器

232:分析模組

234:檢測模組

300:分析模組

304:暫態分析模組和檢測模組

306:峰值分析器模組

308‧‧‧RMS生成器模組

310‧‧‧側鏈模組

312‧‧‧預測和智能模組

314‧‧‧檢測和閾值模組

316‧‧‧增益控制器模組

316A、316B‧‧‧增益控制器模組

330‧‧‧記憶體

332‧‧‧記憶體區段

334‧‧‧記憶體區段

336‧‧‧記憶體區段

338‧‧‧增幅模組

340‧‧‧觸覺資料選擇模組

342‧‧‧參數資料

344‧‧‧觸覺資料

346‧‧‧預測演算法資料

400‧‧‧觸覺處理系統

402‧‧‧預處理模組

404‧‧‧雜訊閘

406‧‧‧預置模組

408‧‧‧乾/濕模組

410‧‧‧壓縮器

412‧‧‧諧振模組

414:包絡跟隨器模組

416:振盪器模組

418:混音器模組

420:低通濾波器模組

424:限波器模組

426:鐘形濾波器模組

428:致動器

430:檢測器模組

500:觸覺處理系統

500A:觸覺處理模組

500B:觸覺處理系統

500D:立體聲觸覺處理系統

500A、500B、500C:數位訊號處理鏈

500X:左數位訊號處理鏈

500Y:右數位訊號處理鏈

502:輸入音頻訊號

504:預處理模組

506:訊號檢測模組

508:增益控制器模組

510:頻率增益控制器模組

524:預置模組

526:處理器1模組

528:增益控制處理器2模組

530:乾/濕模組

532:物理諧振模組

534:包絡跟隨器模組

536:振盪器模組

538:混音器模組

540:雙濾波器模組

542:限波器模組

544:鐘形濾波器模組

546:放大模組

548:致動器

548A:主致動器

548A、548C:左主致動器

548B:主致動器

548D:主致動器

552:頻率增益控制器

554:增幅控制器模組

556:雙濾波器模組

558:限波器模組

560:濾波器模組

562:上採樣模組

564:增幅致動器

564A‧‧‧增幅致動器

564B‧‧‧增幅致動器

564C‧‧‧增幅致動器

564D‧‧‧增幅致動器

F1、F2‧‧‧截止頻率

570‧‧‧增幅控制器模組

548A‧‧‧左主致動器

564A‧‧‧左增幅致動器

548C‧‧‧左主致動器

564C‧‧‧左增幅致動器

548B‧‧‧右主致動器

548D‧‧‧右主致動器

564B‧‧‧右增幅致動器

564D‧‧‧右增幅致動器

606‧‧‧輸入數位資料

610‧‧‧閾值

612‧‧‧上升時間

618‧‧‧保持時間

620‧‧‧釋放時間

804‧‧‧步驟

808‧‧‧步驟

1000‧‧‧過程

1002‧‧‧步驟

1004‧‧‧步驟

1006‧‧‧步驟

1008‧‧‧步驟

1008‧‧‧雜訊閘模組

1010‧‧‧步驟

1012‧‧‧步驟

1016‧‧‧步驟

1018‧‧‧步驟

1100‧‧‧流程圖

1112、1114‧‧‧步驟

1116‧‧‧步驟

1118‧‧‧步驟

1120‧‧‧步驟

1122‧‧‧步驟

1124‧‧‧步驟

1204‧‧‧步驟

1206‧‧‧步驟

1300‧‧‧過程

1302‧‧‧步驟

1402‧‧‧步驟

1404‧‧‧步驟

1500‧‧‧過程

1502‧‧‧輸入音頻訊號

1504‧‧‧步驟

1506‧‧‧步驟

1508‧‧‧步驟

1600‧‧‧過程

1606‧‧‧步驟

1608‧‧‧位置

1610‧‧‧步驟

1614‧‧‧步驟

1616‧‧‧步驟

1700‧‧‧壓縮器訊號控制的過程

1702‧‧‧位置

1704‧‧‧步驟

1706‧‧‧諧振模組

1708‧‧‧步驟

1710‧‧‧步驟

1712‧‧‧步驟

1714‧‧‧步驟

1718‧‧‧步驟

1720‧‧‧步驟

1722‧‧‧步驟

1800‧‧‧過程

1802‧‧‧步驟

1804‧‧‧步驟

1808‧‧‧步驟

1810‧‧‧步驟

1812‧‧‧步驟

1900‧‧‧雜訊閘訊號控制過程

1902‧‧‧步驟

1904‧‧‧步驟

1912‧‧‧步驟

1914‧‧‧步驟

1916‧‧‧步驟

2000‧‧‧RMS訊號檢測的過程

2002‧‧‧步驟

2004‧‧‧步驟

2006‧‧‧步驟

2008‧‧‧步驟

2100‧‧‧過程

2102‧‧‧步驟

2104‧‧‧步驟

2106‧‧‧步驟

2108‧‧‧步驟

2110‧‧‧步驟

2112‧‧‧步驟

2114‧‧‧步驟

2116‧‧‧步驟

2118‧‧‧步驟

2120‧‧‧步驟

f1‧‧‧截止頻率

f2‧‧‧截止頻率

f3‧‧‧截止頻率

f4‧‧‧截止頻率

圖1A繪示本發明的觸覺處理系統的一實施例；圖1B繪示本發明的觸覺處理系統的觸覺處理模組的一實施例；圖2繪示本發明的具有至少二個動態處理器的觸覺處理模組的一實施例；圖3繪示在本發明的實施例中具有參數傳遞的分析模組的展開圖；圖3B繪示在本發明的實施例中具有參數傳遞的分析模組；圖3C繪示與本發明的實施例中的與分析模組相關聯的預測和智能模組；圖4繪示本發明另一實施例中的觸覺處理系統的觸覺模組；圖5繪示本發明另一實施例中的觸覺處理系統的觸覺模組；圖5A繪示在本發明的實施例中具有增強控制的觸覺模組；圖5B繪示在本發明的備選實施例中具有增幅控制的觸覺模組；圖5C繪示在本發明的另一備選實施例中具有增幅控制器的觸覺模組；圖5D繪示本發明實施例中的觸覺處理模組中的增幅控制器的立體聲實現方式；圖5E繪示本發明實施例中的具有多個致動器和增幅致動器的耳機； 圖5F繪示在本發明的實施例中具有多個主致動器和多個增幅致動器的觸覺處理系統；圖5G繪示在本發明的一個實施例中具有多個主致動器和多個增幅致動器的耳機中的觸覺處理系統；圖5H繪示在本發明的一個實施例中的耳機中的觸覺處理系統，其具有多個主致動器和多個具有中心增幅致動器的增幅致動器；圖6A和6B繪示本發明實施例中的輸入訊號和輸出訊號；圖7A和7B繪示動態處理器的輸入訊號和輸出訊號，該動態處理器是本發明實施例中的雜訊閘；圖8A和8B繪示動態處理器的輸入訊號和輸出訊號，動態處理器是本發明實施例中的壓縮器；圖9A和9B繪示本發明實施例中具有增益的壓縮器的輸入訊號和輸出訊號；圖10繪示本發明實施例中的觸覺處理模組的處理流程；圖11繪示本發明另一實施例中的觸覺處理系統的處理流程；圖12繪示本發明實施例中的觸覺處理系統的雜訊閘的處理流程；圖13繪示本發明實施例中的觸覺處理系統的壓縮器的處理流程；圖14繪示本發明實施例中的觸覺處理系統的包絡跟隨器的處理流程；圖15繪示本發明實施例中的觸覺處理系統的混音器的處理流程；圖16繪示在本發明的實施例中檢測觸覺處理系統的分析模組中的暫態的過程；圖17繪示本發明實施例中的觸覺處理系統的壓縮器控制過程；圖18繪示本發明實施例中觸覺處理系統的分析模組中的峰值檢測過程；圖19繪示本發明實施例中的觸覺處理系統的分析模組中的雜訊增益控制過程； 圖20繪示在本發明的實施例中的觸覺處理系統的分析模組中的均方根(RMS)檢測和流程的過程；圖21繪示在本發明的實施例中的觸覺處理系統的分析模組中的暫態檢測的過程。

如本文所使用的用語「輸入音頻訊號」、「接收訊號」、「處理訊號」旨在廣泛地包含任何類型的音頻訊號，包括類比音頻訊號、數位音頻訊號、音頻資料、嵌入介質節目的音頻訊號，其包括嵌入在視頻或音頻節目中的訊號，這些訊號可以使用能夠再現連接到網絡或獨立操作的任何其他類型的音頻或介質節目的呈現設備來呈現。其更包括現場介質、線性介質和交互式介質節目，如音樂、遊戲、線上視頻遊戲或任何其他類型的帶有嵌入音頻的流介質節目。

這裡使用的用語「觸覺輸出」或「觸覺訊號」或觸覺體驗應包括經由處理輸入音頻訊號而產生或經由利用輸入輸出訊號的數位訊號處理、類比訊號處理或數位與類比訊號處理所得到的觸覺訊號。觸覺輸出或觸覺訊號有關於觸覺，尤其關於使用觸摸的感知及察覺來感知和操縱對象，以向使用者提供增強的體驗。

用語「數位訊號處理」或「觸覺訊號處理」旨在廣義地解釋為包括處理數位訊號或類比訊號以向使用者導出觸覺資料、觸覺反饋、觸覺體驗或觸覺輸出。。

此外，通過參考附圖中所示的所示實施例，可以最好地理解本發明及其優點，其中相同的數字表示相同的部分。然而，本發明可以體現在用於觸 覺訊號處理的許多設備中，並且不應該被解釋為限於此處闡述的示例性實施例。下面通過參考附圖描述示例性實施例以說明本發明。

圖1描繪了本發明的實施例中的觸覺處理系統100A。觸覺處理系統100A包括至少一個處理器110、輔助處理器118、通訊模組116與輸入/輸出模組114、記憶體102和一些其他模組。記憶體102包括作業系統104、一個或多個應用程序106和觸覺模組108。觸覺模組108可包括用於從音頻訊號產生觸覺訊號的可執行指令，用於提供觸覺反饋或觸覺體驗。在圖1中，介面匯流排112提供記憶體102、至少一個處理器110、輔助處理器118、輸入/輸出模組114(也稱為I/O模組114)、通訊模組116及未示出的其他模組之間的資料通訊。

介面匯流排112可以促進各種互連模組之間的數位與類比資料的傳輸。另外，其可藉由電源向不同的模組供電，並且還能夠交換資料、資訊，觸發中斷並執行一些其他類型的功能。

可以使至少一個處理器110及輔助處理器118能夠提供超穿線(hyper-threading)、多工(multi-tasking)及多處理(multi-processing)。或者，處理器110可以是專用處理器或能夠處理類比或數位化音頻訊號的某種其他類型的微處理器。處理器110和輔助處理器118可以實現數位訊號處理的特殊硬體，例如，由英特爾(Intel®)提供的MMX技術。MMX技術提供了額外的指令集來操縱音頻，視頻和多介質。

在本發明的實施例中，處理器110可以是MMX，SSE，SSE2(串流式SIMD擴充2)、SSE3(串流式SIMD擴充3)、SSSE3(補充串流式SIMD擴充3)、SSE4(串流式SIMD擴充4)包括變體SSE 4.1與SSE4.2、AVX(進階向量擴充)、AVX2(Haswell新指令)、FMA(融合乘法-加法)包括FMA3、SGX(軟體保護擴充)、MPX(記憶體保護擴充)，增強型Intel SpeedStep技術(EIST)，Intel®64，XD位元(NX位元操作)、Intel®VT-x、Intel®VT-d、Turbo Boost、 超穿線、AES-NI、Intel®TSX-NI、英特爾®博銳^TM、英特爾®TXT、智能快取或其他一些實現類型的處理器。

在本發明的實施例中，處理器110或輔助處理器118可以是軟體處理器，例如MicroBlaze處理器，其可以至少包括微控制器、實時處理器、應用處理器等。

輔助處理器118可以增強遊戲控制台中的觸覺訊號處理或者與處理器110一致地動作以加速用於實時觸覺反饋的觸覺訊號處理。觸覺處理系統100可以包括圖形輔助處理器，運動輔助處理器，DSP輔助處理器或一些其他類型的輔助處理器，其有助於數位訊號處理或其他一些處理。

在本發明的實施例中，觸覺處理系統100A可以使用單個處理器或具有通用指令集的微處理器來實現，以減少開銷和記憶體使用。此外，單處理器實現可以易於維護，集中於執行單個任務，例如，觸覺訊號處理，並且由於簡單的架構而更加耐用。而且，單個處理器可以允許將觸覺處理系統嵌入小型消費電子產品中，例如電子手錶，健身帶，可穿戴式重低音揚聲器，耳機等。

記憶體102可以是唯讀記憶體(ROM)、隨機存取記憶體(RAM)、數位記憶體、磁帶記憶體，快閃記憶體、固態設備記憶體或一些其他類型的記憶設備。程序指令可以作為編碼指令存儲在記憶體102中。在其他實施例中，記憶體102可以存儲加密指令、源代碼、二進制代碼、目標代碼、加密編譯代碼、編碼可執行代碼、可執行指令、彙編語言代碼或一些其他類型的計算機可讀指令。此外，本領域技術人員將理解，用於將觸覺模組108存儲在設備中的記憶體的類型可以取決於各種參數。在實施例中，這些參數可以包括實現觸覺處理系統100的設備的形狀，大小，功能和配置。例如，該設備可以是耳機，耳機，遊戲機，膝上型電腦，可穿戴設備，電子墊，移動電話，平板，平板電腦，ipad， 遊戲手柄，可穿戴電子設備，藍牙手錶，觸覺帶或實現觸覺反饋的醫療設備，例如但不限於血壓計，血糖計，血液計數器或一些其他類型的電子設備。

至少一個處理器110和輔助處理器118可以同步操作以執行存儲在觸覺模組108中的指令。例如，輔助處理器118可以執行複雜的數學指令以減少處理器110上的執行負載。或者，處理工作量可以在儲存於觸覺模組108中之程序指令中被硬編碼，並且可以按照程序中提供的順序執行。在另一個實施例中，觸覺模組108可以具有用於數位訊號處理的相關專用硬體。例如，可以通過使用預測演算法等來實現用於內插的攻擊保持釋放濾波器(AHR)濾波器、IIR濾波器及實時音頻訊號的外插。

移動到通訊模組116，通訊模組116可以經由有線或無線通訊與外部設備/應用程序接口。例如，通訊模組116可以經由有線線纜連接到伺服器130。同樣地，通訊模組116可以促進資料及資訊的傳輸或者經由雲端140更新觸覺處理模組100A中的任何應用。

在另一個實施例中，觸覺模組108可以經由無線或有線網絡連接到分散式網絡150，以便當軟體的更新可用時更新二進制代碼。在實施例中，可以通過網際網路上的安全無線連接獲得更新，實現公知的加密技術和協議。通訊模組116可以與一個或多個不同的伺服器連接以下載更新。

在本發明的實施例中，通訊模組116可以連接到電子設備，電子設備可以下載二進制代碼以更新觸覺處理模組100A。觸覺處理模組100A可以連接到任何電子設備，例如膝上型電腦，移動設備，桌上型電腦等。在替換實施例中，電子設備可以通過有線連接(例如但不限於通用異步接收器-發送器(UART))或通過一些其他串列通訊模式連接。或者，可以使用通用串列匯流排(USB)等來更新它。

在本發明的實施例中，I/O模組114可以使用有線連接而連接至一或多個輸入/輸出設備，如顯示器122，揚聲器124，致動器126和遊戲介面128。例如，I/O模組114可以在單個設備中實現，並且所有I/O設備使用有線連接而彼此連接。

I/O模組114可以使用迷你顯示端口(mini display port)、微顯示端口(microdisplay port)、DDM、顯示流壓縮、eDP、iDP、PDMI、WDP、SlimPort、DisplayID、DockPort、USB-C、HDMI、DVI、VGA、FPD-Link或其他一些類型的連接與顯示器122連接。

在替換實施例中，I/O模組114可以無線連接到一個或多個輸入/輸出設備，例如顯示器122、揚聲器124、致動器126和遊戲接口128。例如，觸覺模組108可以在分散式環境中實現。觸覺模組108可以以模組化形式實現，其中一些模組可以在致動器126中實現。其他模組可以在記憶體106中實現。致動器126可以與觸覺處理系統100無線通訊以產生觸覺反饋。在一些實施例中，通訊模組116可以使用無線協定來實現，例如但不限於藍牙、低功耗藍牙(BLE)、ZigBee、Z-Wave、6LoWPAN、Thread、WiFi-ah(HaLow)、IEEE 802.11、包括2G，3G，4G及5G的GSM、LTE Cat 0、1及3、LTE-M1、RFID、NFC、ANT和ANT+(三星設備)、WirelessHART(開放無線標準)、DigiMesh和MiWi。

在本發明的一個實施例中，觸覺處理模組100可以實現諸如802.11a/b/g/n的無線協定和802.11的其他變體。

在本發明的另一個實施例中，觸覺處理模組100可以實現無線音頻標準，例如但不限於Bluesound，Bose SoundTouch，Denon HEOS，NuVo Gateway，Pure Audio Jongo，Samsung Shape和LG的NP8740。

在本發明的另一個實施例中，觸覺處理模組100可以實現調幅或調頻以接收無線電訊號，該無線電訊號可以由廣播設備或廣播站廣播。

I/O模組114能夠支撐一個或多個致動器，如致動器126。致動器126可包括至少一個傳感器或至少一個轉換器。在本發明的一些實施例中，致動器126可以是壓電致動器、電活性聚合物(EAP)致動器、電磁致動器、音圈致動器、螺線管、線性諧振致動器(LRA)、電動機或一些其他類型。能夠提供觸覺輸出的轉換器。然而，為了簡單起見，在說明性圖1中僅示出了一個致動器126。

在其他實施例中，觸覺模組108可以集成到一個或多個設備中。例如，觸覺處理系統100可以在嵌入式設備中實現。嵌入式設備的示例包括但不限於耳機、耳機、移動設備、遊戲控制台、遊戲控制器、虛擬/增強/混合現實控制器、虛擬/增強/混合現實耳機、手持電子設備、可穿戴電子設備、相機、操縱桿、平板電腦和PDA。

在一些實施例中，觸覺處理系統100可以嵌入微芯片或微控制器中，而不背離本發明的範圍和精神。

在本發明的實施例中，觸覺處理系統100可以在系統單晶片(system on chip，SoC)上實現。系統單晶片中的觸覺處理系統100的實現可以圍繞微控制器或圍繞微處理器。

在另一個實施例中，觸覺處理系統100可以在可編程系統單晶片(programmable system on chip，PSoC)上實現。

在又一個實施例中，觸覺處理系統100可以在現場可程式閘陣列(field-programmable gate array，FPGA)中實現。

在又一個實施例中，觸覺處理系統100可以在複合可程式邏輯裝置(complex programmable logic device，CPLD)中實現。

在又一個實施例中，觸覺處理系統100可以在包括單個封裝中的一個或多個芯片的封裝體系(system in package，SiP)中實現。

在又一個實施例中，觸覺處理系統100可以在特定應用積體電路(application-specific integrated circuit，ASIC)中實現。

在又一個實施例中，觸覺處理系統100可以在特定應用的標準產品(application-specific standard product，ASSP)中實現。

在又一個實施例中，觸覺處理系統100可以使用類比元件來實現，例如但不限於FET、電晶體、積體電路、電容、電阻、電感或其任何組合。

在又一個實施例中，觸覺處理模組100可以在觸覺模組108中的軟體中實現。在一個實施例中，在觸覺模組108中實現的軟體指令可以在記憶體中編碼。

在又一個實施例中，處理模組108可以在記憶體中編程。軟體指令可以實現為組合語言、二進制代碼、機器語言、高階編程語言或這些語言的任何組合。

在另一示例中，觸覺處理系統100可以實現為軟體和硬體的組合，而不偏離本發明的範圍和精神。

參考圖1B，在本發明的實施例中，提供了觸覺模組108的高級模組化架構。觸覺模組108可以實現為軟件或軟件和硬件的組合。或者，觸覺模組108可以以模組化配置實現，其中一些模組可以在設備A中實施，而其他模組可以在另一設備B中遠端實現。例如，一個或多個模組可以在頭戴裝置或者耳機(設備A)中實施，而其他模組可以在另一設備B中實施。設備B可以是可穿戴手錶、基站、電子處理設備、遊戲機、樂器或一些其他類型的電子處理設備。

觸覺模組108接收音頻輸入訊號162。音頻輸入訊號162可以是數位訊號或類比訊號。音頻輸入訊號162可以是單聲道、立體聲、四聲道、多聲道音頻格式(例如2.1、4.1、5.1、7.1或一些其他類型的環繞聲格式)，或者是其他的數位標準，諸如S/PDIF、HDMI、TOSLINK、I²S、Dolby Digital Plus、AES50、HyperMAC、USB、Firewire、Thunderbolt、Apple Lightning或其他類型的數位格式。

輸入音頻訊號162被傳遞到預處理模組164。預處理模組164處理並變換輸入音頻訊號162並將其轉換為合適的形式以產生觸覺輸出。在一些實施例中，預處理模組164可以過濾、變換、下採樣(down-sample)，上採樣(up-sample)或執行一些其他類型的處理。然後預處理模組164將處理後的訊號傳遞到一個或多個動態處理器166A到166N。此外，輸入音頻訊號162也可以提供給分析模組170。動態處理器166可以是專用類型的處理器，包括但不限於雜訊閘、壓縮器及限波器。其詳細地描述於不同實施例的後續附圖中。

來自一個或多個動態處理器166的輸出可以被傳遞到乾/濕模組168。乾/濕模組168還接收輸入音頻訊號162。從動態處理器166A接收的輸出和輸入音頻訊號162在乾/濕模組168中以固定比率組合。輸入音頻訊號162和來自動態處理器166A的輸出訊號的比率被稱為“乾/濕”比。在一些實施例中，乾/濕比可以是預編程(pre-programmed)的，或者可以基於輸入訊號162的參數動態地被確定。輸入訊號162可以是但不限於相位、頻率和幅度。乾訊號到濕訊號比可以基於從使用者界面接收的輸入來編程。或者，乾/濕比可以設置為使用者界面中可用的可選比率之一。

在一些實施例中，來自動態處理器166A的輸出訊號被傳遞到動態處理器166B...166N。在本發明的一個實施例中，存在至少兩個動態處理器166。在又一個實施例中，可以存在至少三個動態處理器166。在又一個實施例中，可 以存在至少四個動態處理器166。可以注意的是，動態處理器166的功能可以全部不同，但統稱為動態處理器166。在本發明的一些實施例中，動態處理器166可以是雜訊閘、壓縮器、解壓縮器、擴展器、限波器、多頻段壓縮器、前瞻壓縮器、側鏈壓縮器、磚牆限制壓縮器、並聯壓縮器或其他類型的壓縮器。

來自動態處理器166N的輸出被饋送到包絡檢測器模組(envelop detector module)172。包絡檢測器模組172產生從動態處理器166N模組接收的輸入訊號的低頻波形。使用固定頻率振盪器模組174調製來自包絡檢測器模組172的低頻波形，以產生低頻調製波形。同時，來自動態處理器166N的輸出被傳遞到諧振模組178。諧振模組178然後放大對應於弦線、膜片或其他樂器的低頻分量，以便傳遞到混音器模組180。在另一個實施例中。在本發明的實施例中，諧振模組178可以產生對應於弦，膜或其他樂器的附加新頻率，以便傳遞到混音器模組180。在又一個實施例中，諧振模組178可以放大並附加額外的新頻率。對應於用於傳遞到混音器模組180的弦，膜或其他樂器。混音器模組180接收來自乾/濕模組168，固定頻率振盪器模組174和諧振模組180的輸入訊號並將其以預先定義的比例混合。在一些實施例中，可以使用模糊邏輯模組、人工智能模組、編程指令來確定預定比率，或者可以至少取決於輸入訊號的一個參數，即增益、相位、頻率或振幅。來自混音器模組的輸出被傳遞到低通濾波器模組182、限波器模組184和鐘形濾波器模組186，並最終傳遞到致動器188以產生觸覺輸出。

鐘形濾波器模組186的輸出也被傳遞到檢測器模組190，檢測器模組190探測預處理模組164處的訊號的存在及來自鐘形濾波器186的輸出訊號。當檢測器模組190時檢測輸入和輸出處的訊號，確保觸覺處理模組100B保持在有效功率開啟模式。當在預處理模組164處沒有輸入訊號並且在鐘形濾波器186處沒有 輸出訊號時，檢測器模組190可以指示觸覺處理模組100B進入省電狀態以節省電池。

在本發明的一些實施例中，觸覺處理模組100B可以通過具有適當電壓和電流的來自外部源的電源供電。或者，電源可以由電池提供。電池可以是可充電電池或不可充電電池。在一些實施方案中，電池可以是小密封鉛酸(SSLA)電池，吸收玻璃墊(AGM)電池，凝膠電池(「凝膠電池」)，鎳金屬氫化物電池，鎳鎘電池，鋰離子電池或其他可充電電池類型的電池。

在本發明的一個實施例中，檢測器模組190可以從預處理模組164接收輸入音頻訊號162和輸出訊號，以決定何時移動到省電模式或保持在電源活動狀態。例如，基於特定參數，例如但不限於輸入音頻訊號162的存在和預處理模組164的輸出，檢測器模組190可以決定保持觸覺處理模組100B的有效功率ON狀態。

在本發明的另一個實施例中，檢測器模組190可以從鐘形濾波器模組186接收輸入音頻訊號162和輸出訊號，以決定觸覺處理模組100B的功率狀態。例如，檢測器模組190可以在鐘形濾波器模組186處探測輸入音頻訊號162和輸出訊號的存在。如果檢測器模組190在鐘形濾波器模組186處檢測到輸入音頻訊號162和輸出訊號，檢測器模組190將觸覺處理模組100B保持在電源接通狀態。然而，在沒有輸入音頻訊號162和鐘形濾波器186處的輸出訊號的情況下，檢測器模組190將觸覺處理模組100B置於省電或斷電模式。在另一示例中，在沒有輸入音頻訊號162並且在鐘形濾波器模組186處存在輸出訊號的情況下，檢測器模組190啟動計數器，該計數器計數直到進入斷電狀態或電源之前的預定時段。保存模式。在一些實施例中，預定時段可以在1到20秒之間變化。在本發明的優選實施例中，預定時段可以是10秒。

在本發明的又一個實施例中，檢測器模組190可以接收來自預處理模組164的訊號和來自鐘形濾波器模組186的輸出訊號，以決定是進入省電模式還是保持電源為ON的狀態。

在本發明的又一個實施例中，檢測器模組190可以從分析模組170和鐘形濾波器模組186接收輸入音頻訊號162和輸出訊號，以決定功率狀態。

根據本發明的一個方面，分析輸入音頻訊號的每個資料區段以生成觸覺訊號。本發明利用數位訊號處理鏈和分析模組來產生觸覺輸出。在一些實施例中，數位訊號處理鏈是輸入音頻訊號的流路以產生觸覺輸出。例如，通過各種模組直接產生訊號以產生觸覺輸出可以是數位訊號處理鏈。研究輸入音頻訊號的每個資料區段減少了響應時間並使觸覺輸出與輸入音頻訊號同步。本發明利用分析模組來計算和存儲與輸入音頻訊號相關聯的峰值和均方根值。可以採用至少一個動態處理器來消除雜訊並減小輸入音頻訊號的動態範圍。提供側鏈作為反饋以控制至少一個動態處理器的閾值和增益。至少一個動態處理器可以是雜訊閘、壓縮器，或兩個雜訊閘或兩個壓縮器等。從至少一個動態處理器接收的低頻分量可以通過諧振模型來增強，該諧振模型增加或放大可以在接收訊號中抑製或減小的低頻。包絡跟隨器將接收的高頻訊號轉換成低頻訊號，該低頻訊號被傳遞到固定頻率振盪器。接收的訊號與來自其他模組的訊號混合以產生觸覺輸出訊號。

觸覺模組108使用輸入音頻資料區段的不同大小的平均窗口來計算訊號的均方根幅度值。可以使用一個或多個資料區段來分析輸入音頻訊號。在一個實施例中，輸入音頻訊號的資料區段的數量可以隨時間變化。例如，單個窗口中的資料段的數量可以是50。同樣，下一個窗口中的資料區段的數量可以 是75。因此，不同窗口的平均幅度可以根據資料區段的大小而變化。此外，觸覺處理模組計算輸入音頻訊號的峰值幅度值和均方根幅度值。觸覺處理模組緩衝並存儲固定時段的峰值幅度值和對應的均方根值。這些緩沖值用於控制一個或多個動態處理器的設置，例如雜訊閘、壓縮器和側鏈。這些設置用新值連續更新，以調製輸入音頻訊號的處理以產生觸覺輸出。有利地，這種新穎且獨特的方法和系統架構提供增強的用戶體驗。

在本發明的實施例中，在分析模組170中執行均方根值和峰值的計算。

另外，觸覺處理模組可以應用快速起始/暫態檢測機制(onset/transient detection mechanism)以便在暫態(transient)的情況下增強或補償觸覺訊號。例如，暫態可以是諸如音樂中的踢鼓或遊戲音頻訊號中的槍聲之類的事件。起始檢測機制用於增強觸覺訊號的強度，以向用戶提供更高水平的觸覺體驗。在本發明的實施例中，暫態檢測機制在分析模組170中執行。

圖2提供了具有至少兩個動態處理器的優選實施例200中的觸覺處理模組的詳細架構。觸覺處理模組200可以實現為硬體，軟體或硬體及軟體的組合。

觸覺處理模組200示出了本發明的實施例中的兩個動態處理器。在該實施例中，第一和第二動態處理器分別被示為雜訊閘和壓縮器。為了詳細說明和清晰起見，動態處理器已根據其提供之功能命名。然而，本領域技術人員將理解，在其他實施方式中，可以提供多於兩個雜訊閘或多於兩個壓縮器而不偏離本發明的範圍和精神。

觸覺處理模組200可以接收輸入音頻訊號202以產生觸覺訊號作為輸出。輸入音頻訊號202可以是類比或數位訊號或數位資料。在優選實施例中， 輸入音頻訊號202是採樣數位訊號、單聲道數位訊號、立體聲數位訊號、四聲道數位訊號或一些其他類型的採樣數位訊號。

輸入音頻訊號202被傳遞到預處理模組204。預處理模組204處理輸入音頻訊號202並將其變換為合適的形式以供進一步處理。在一個實施例中，預處理模組204可以包括下採樣器模組，類比/數位(A/D)轉換器模組和其他模組。如果接收的輸入音頻訊號202是模擬訊號，則可以利用類比/數位(A/D)轉換器模組在進一步處理之前將類比訊號轉換為數位音頻資料流。同樣地，下採樣器模組可以將輸入音頻訊號202下採樣到較低採樣率以處理輸入音頻訊號202。例如，以44.1KHz採樣的輸入數位音頻資料可以被下採樣到4.9KHz。優選地，預處理模組204處的接收數位訊號應當以小於4KHz的頻率被採樣以繞過輸入音頻訊號202的下採樣。當輸入音頻訊號202不需要下採樣時，輸入數位訊號202可以直接饋送到動態處理器，例如雜訊閘模組206。

雜訊閘模組206與側鏈模組208A相關聯。雜訊閘模組206的主要功能是降低輸入音頻訊號202中的噪聲。輸入音頻訊號202同時傳遞到雜訊閘模組206和側鏈模組208A。側鏈模組208A包括檢測器模組、閾值模組及其他模組(圖2中未示出)分開的低通濾波器模組。可以將閾值編程到閾值模組中。閾值可以由分析模組232控制。分析模組232可以將一個或多個參數傳遞到閾值模組以調整雜訊中的閾值(threshold value)或閾值(threshold)。在一個示例中，分析模組232可以分析輸入音頻訊號202以確定訊號中存在的雜訊量並因此傳遞參數以調製與側鏈模組208A相關聯的閾值模組中的閾值。

在另一示例中，可以通過來自側鏈模組208A的函數調用以規則的時間間隔來設置閾值(threshold value)或閾值(threshold)。例如，可以在每10毫秒之後啟動用於設置閾值的函數調用。響應於函數調用，分析模組232傳遞用於在側 鏈模組208A中設置閾值的一個或多個參數。在一些實施例中，由側鏈模組208A對分析模組232進行的函數調用可以在1毫秒到200毫秒之間變化。

在本發明的一些實施例中，由與側鏈模組208A相關聯的閾值模組對分析模組232進行的函數調用可以回傳整數值、浮點數值、雙值、對記憶體的參照、子常式(sub-routine)、函數或指標。這些術語在諸如C、C++、JAVA、JavaScript的編程語言和其他編程語言中是眾所周知的。

在替代實施例中，分析模組232可以在適當的時間間隔執行與側鏈模組208A相關聯的閾值模組的功能調用，以設置閾值而不偏離本發明的範圍和精神。

在一些實施例中，可以使用預設控件來設置閾值或閾值，該預設之控件對使用者而言可藉由軟體或硬體的開關來使用。

雜訊閘模組206可以基於閾值來調製接收訊號的增益。閾值模組調整閾值，閾值模組基於分析模組232提供的參數與側鏈模組208A相關聯。分析模組232可通過函式呼叫(function call)接收對與側鏈模組208A相關聯的閾值模組的請求。函式呼叫可以請求一個或多個參數來設置閾值。與側鏈模組208A相關聯的檢測器模組可以檢測在雜訊閘模組206處接收的輸入訊號，以調整應用於雜訊閘模組206中的訊號的增益。當輸入音頻訊號202超過閾值時，檢測器模組被啟動。然後，檢測器模組將增益因子應用於雜訊閘模組206以衰減輸入音頻訊號202。輸入音頻訊號202根據所施加的增益被增益因子衰減或放大。在一些實施例中，增益因子可以在0和1之間，並且閾值可以在程式設計時設置為預定值，或者可以根據與輸入音頻訊號202相關聯的各種參數動態地改變。在較佳實施例中，閾值被程式設計並設置為預定值，並且增益因子可以設置在0和1之間。其 他變化和實現，例如動態地改變閾值，預先設置閾值，選擇使用接口的閾值落入本發明的範圍內。

在本發明的較佳實施例中，雜訊閘206可以通過應用與側鏈模組208A相關聯的增益因子/增益減小來衰減輸入音頻訊號202。閾值模組中的閾值可以設置為(負)-20dB。對於增益大於-20dB或者當輸入音頻訊號202高於閾值時，輸入音頻訊號202完全地通過。然而，輸入音頻訊號202低於閾值，即-20dB，輸入訊號被衰減，並且增益因子小於1。“增益因子”也可以稱為“衰減因子”。增益因子可以是0和1之間的任何值。例如，增益因子可以是0.5、0.75、0.81、0.93等。

在本發明的一些實施例中，與閾值模組相關聯的分貝增益可以在-10dB到-30dB之間變化。

分析模組232可以與雜訊閘模組206相關聯，以控製或調整與觸覺訊號處理相關的各種參數。分析模組232檢測輸入音頻訊號202中的暫態訊號。如果檢測到暫態訊號，則分析模組232暫時停止均方根(RMS)值，以將任何音頻訊號峰值添加到輸入音頻的RMS值。在這種情況下，RMS訊號值被設置為零。在本發明的一個實施例中，當檢測到暫態時，RMS值被重置為零。隨後，分析模組232執行兩個不同的計算，即，(a)在最後1秒內從輸入音頻訊號202分析分貝的RMS值，其中RMS值在1秒的時間段內被多次採樣，然後做平均而得到平均值，並且(b)在輸入音頻訊號202中檢查最後10秒內的分貝峰值訊號值。然後，分析模組232(a)以分貝為單位添加預先定義的常數值。在最後1秒內以分貝計算RMS值，並且(b)以10秒內獲得的分貝為單位從計算出的訊號峰值中減去以分貝為單位的預先定義的常數值。預先定義的常數較佳為6dB，但在其他實施例中可以變化。隨後，比較兩個值，即，在(a)和(b)處計算的值，並且將這兩個值中的最小值設置為雜訊閘206處的閾值。例如，如果均方根值由分析 模組232計算的平方值為-18dB並且計算的峰值訊號值為-2dB，分析模組232將RMS值+6dB增加，其為-18dB+6dB=-12dB。同樣，分析模組232從峰值中減去-6dB，即-2dB-6dB=-8dB。利用這兩個值中的最小值來設置雜訊閘處的閾值。

在本發明的另一個實施例中，可以每10毫秒計算RMS值，並且可以確定在最後1秒中計算的所有值的平均值被加到6dB增益。在又一個實施例中，可以計算在最後1秒中計算的所有值的中值並將其加到6dB增益。在又一個實施例中，可以每5毫秒計算RMS值，並且可以計算所有值的均方根並將其加到6dB。

在本發明的另一個實施例中，可以每10毫秒計算RMS值，並且可以確定在最後1秒中計算的所有值的平均值被加到6dB增益。在又一個實施例中，可以計算在最後1秒中計算的所有值的中值並將其加到6dB增益。在又一個實施例中，可以每5毫秒計算RMS值，並且可以計算所有值的均方根並將其加到6dB增益。在又一個實施例中，均方根值可以在1秒內在2-10次之間計算。在不同的實現中，可以計算預先定義時間的均方根值，其可以在1秒到10秒之間變化。

在本發明的一些實施例中，可以在預先定義的時間內以相等的時間間隔計算峰值訊號值。例如，可以每秒計算峰值訊號值，並且將最高值作為峰值訊號值。

在本發明的實施例中，取決於輸入音頻訊號202的特性，以分貝為單位的預先定義之常數值可以在6dB到20dB之間變化。特性可以包括幅度，頻率和相位。分析模組232控制和調整雜訊閘206模組和相關聯的側鏈模組208A中的各種參數，而不干擾如圖2所示的觸覺訊號處理。

來自雜訊閘206的輸出訊號具有降低的噪聲水平，其被傳遞到壓縮器模組212以減小輸入音頻訊號202的動態範圍。同時，來自雜訊閘206的輸出訊 號也通過乾/濕模組210。乾/濕模組210還接收輸入音頻訊號202並以預定比率混合來自雜訊閘206的輸出訊號和輸入音頻訊號202(稱為“乾/濕比“)。

壓縮器模組212減小輸入音頻訊號202的最響亮部分和最安靜部分之間的動態範圍。壓縮器模組212壓縮較大聲部分並放大數位音頻資料/訊號中較安靜的部分。來自雜訊閘206的輸出訊號也同時傳遞到側鏈模組208B。側鏈模組208B包括檢測器模組，閾值模組和用於控制和調整壓縮器模組212中的輸入音頻訊號202的其他模組。側鏈模組208B從雜訊閘模組206接收音頻訊號。與側鏈模組208B相關聯的閾值模組被程式設計以設置閾值或閾值。當接收訊號超過閾值時，檢測器模組被啟動。在啟動時，檢測器觸發在壓縮器模組212中處理的輸入音頻訊號202的壓縮。例如，如果接收訊號的幅度高於閾值或閾值，則檢測器被啟動，並且壓縮器模組212將接收訊號的幅度減小特定量。壓縮比定義壓縮量。當輸入音頻訊號202低於閾值水平時，檢測器被停用，並且在壓縮機模組212中處理的輸入音頻訊號202在沒有任何壓縮的情況下被傳遞。除了壓縮之外，壓縮器模組212可以通過可以由分析模組232預先程式設計或動態控制的增益因子來放大輸入音頻訊號202。在這種情況下，壓縮器模組212可以應用增益並放大訊號低於閾值。

分析模組232可以控制應用於壓縮機模組212的增益。壓縮機模組212可以對分析模組232進行函式呼叫以請求一個或多個參數來設置要在壓縮機模組處應用的增益。響應於該請求，分析模組232可以向壓縮器模組212提供一個或多個參數以設置增益。一個或多個參數可以由程式設計語言領域中已知的函式呼叫，常式呼叫，過程呼叫或子過程呼叫。在一些實施例中，從分析模組返回到壓縮器模組212的一個或多個參數可以是資料類型的變量，諸如浮點數、雙精度浮點數、整數、指標或對記憶體的引用。

壓縮器模組212和側鏈模組208B可以利用若干控制參數來調製輸入音頻訊號202以產生觸覺輸出。這些參數包括閾值，壓縮比，起音時間，釋放時間，拐點，補償增益或一些其他類型的參數。在一個示例中，聲音音頻具有一些被含糊地發音的字組。如果壓縮器模組212被設置為水平使得聲音清晰可聽，那麼較低的含糊的作品很可能被省略。同樣地，如果壓縮模組212被設置為可以清楚地聽到較低級別的含糊字組的級別，則語音訊號將覆蓋該軌道。需要正確的參數組合來產生可提供最佳觸覺體驗的輸出訊號。因此，需要設置和優化參數值以產生增強用戶體驗的觸覺輸出。

在本發明的一個實施例中，壓縮器模組212可以具有至少一個參數以減小動態範圍並對輸入音頻訊號202應用增益。在該實施例中，至少一個參數可以是壓縮比。壓縮是由壓縮比定義的操作控制，其減小輸入音頻訊號202的峰值。壓縮越高，峰值的減小越高。在一些實施例中，壓縮可以是預設值，恆定值，取決於數位音頻資料的值或者根據至少一個預定因子動態改變的變量。例如，因子可以是時間，輸入數字音頻資料，輸入數字音頻資料的幅度和現有技術中已知的一些其他參數。

在本發明的另一個實施例中，壓縮器模組212可以具有至少一個參數以減小動態範圍並對輸入音頻訊號202應用增益。在該實施例中，可以參考至少一個參數。作為閾值。閾值觸發壓縮器模組212中的壓縮。隨著閾值增加，輸入音頻訊號202的重要部分下降到閾值以下，因此不施加壓縮。隨著閾值水平降低，更多輸入音頻訊號202落在閾值水平之上，並且施加壓縮。閾值水平可以取決於至少一個因素。在一些實施例中，因子可以是數位音頻資料，類比訊號的振幅，數位音頻資料的振幅，音頻訊號的類型，致動器的頻率特性或一些其他參數。

在另一個實施例中，壓縮器模組212可以具有至少一個參數以減小動態範圍並對輸入音頻訊號202應用增益。在該實施例中，至少一個參數可以被稱為增益控制。在該實施例中，壓縮器模組212可以基於由分析模組232提供的至少一個參數來應用增益。可以經由利用輸入增益控制來調整輸入音頻訊號202來控制壓縮程度。增益控制可以放大輸入音頻訊號202中的低頻分量，以對音頻訊號進行歸一化以用於觸覺處理。

在本發明的一些實施例中，分析模組232與壓縮器模組212和側鏈模組208B相關聯。分析模組232可以藉由調製側鏈模組208B的低音控制來間接調整壓縮器模組212的增益。分析模組232檢測輸入音頻訊號202中的暫態訊號，並監視輸入音頻訊號202中的音頻峰值的發生達預定時間。在較佳實施例中，時間是10秒，但可以在5秒至60秒之間變化。此外，分析模組計算輸入訊號值的-6dB的最後10秒中的訊號峰值的出現距離，其被傳遞到壓縮器模組212和側鏈208B以改變壓縮器側鍊子低音控制。

在又一個實施例中，閾值可以被定義為在開放閾值和閉合閾值之間定義的範圍。在其他實施例中，閾值水平可以是具有數位訊號處理領域中已知的高級處理特徵的多級閾值。

雜訊閘模組206和壓縮器模組212可以分別與側鏈模組208A和側鏈模組208B相關聯，也稱為側鏈模組208。側鏈模組208A和側鏈模組208B可以是相同的功能。在其他實施例中，側鏈模組208A和208B可以是不同的並且提供不同的功能。例如，側鏈208A模組可以被預先程式設計而用於控制雜訊閘模組206的操作。在另一個示例中，側鏈208B模組可以被程式設計用於控制連續數位音頻資料的截波。

在另一個實施例中，可以提供側鏈模組208的不同類型的實現。這種變化的示例在本領域中是公知的，例如，傳思閘(trance gate)，其中雜訊閘206的打開和關閉不受數位音頻資料306的控制，而是通過預先程式設計的控制。在一些實施例中，預先程式設計之控制可以是軟體代碼、一組指令、程式化音頻控制器、積體電路等。

在本發明的一個實施方式中，可以在側鏈模組208A或側鏈模組208B中提供至少一個帶通濾波器或低通濾波器，以增強用戶的整體觸覺體驗。包含這些濾波器可能不會影響聲音的音調質量，但可能影響側鏈模組208A和208B的響應。例如，包括濾波器可以防止壓縮器模組212或相關聯的雜訊閘206在處理tom軌道上的鈸(symbal)時產生錯誤觸發。

在另一實施方案中，可使用使用者界面來控制與乾/濕模組210相關聯的預定設定。在一個實施例中，使用者界面可以是旋轉開關、數位開關、類比開關、智能模組或一些其他類型的可變開關。在一些實施例中，預定設置可以基於各種參數，例如但不限於用戶控制的設置，用戶經常使用的設置，基於輸入數字音頻資料的分析的自動設置，模糊邏輯使用預編程設置或其他類型的設置。

側鏈模組208B將監視壓縮器模組212的輸入音頻訊號202的位準。在該實施例中，側鏈模組208B利用輸入音頻訊號202來調製壓縮器模組212的響應。在其他實施例中，側鏈模組208B可以設置有與輸入音頻訊號202不同的單獨的外部輸入訊號源。在本發明的一個實施方式中，舞曲可以具有佔據相同頻率範圍的敲擊(kick)及弦樂(bass)的低音。因此，強調敲擊及弦樂的低音效果以增強觸覺用戶體驗變得至關重要。在本發明的該實施例中，觸覺處理模組200可以利 用敲擊低音作為側鏈模組212的輸入，並將低音作為壓縮機模組212的輸入，使得低音在擊球時躲避，從而避免相位和在該頻率範圍內的渾濁。

來自壓縮器模組212的輸出訊號同時傳遞到包絡跟隨器模組214和諧振模組220。包絡跟隨器模組214的主要功能是將雙極訊號轉換為單極訊號。此外，包絡跟隨器模組214可以將高頻數位音頻資料的變化減小為低頻數位音頻資料而不會使輸入波形失真。例如，包絡跟隨器模組214可以產生低頻訊號作為輸出，其是高頻數位音頻資料的精確複製品。在另一個實施例中，包絡跟隨器214可以產生類似於高頻數字音頻資料的控制訊號為低頻模擬音頻資料。包絡跟隨器模組214的輸出是低頻數字或模擬訊號，其是從壓縮器模組212接收的輸入數字音頻資料的低頻包絡。由包絡跟隨器模組214處理的低頻訊號可包括波紋。可能需要過濾。在另一個實施例中，可以使用數位或類比濾波器對低頻數位音頻資料中產生的波紋進行濾波。這些濾波器在本領域中是公知的，並用於平滑低頻數位音頻資料。此外，為了平滑和再現低頻數位音頻資料的精確複製品，可以採用一系列濾波器。低頻數位音頻資料的平滑可能影響響應性。本發明利用各種技術來平衡由包絡跟隨器模組214產生的低頻數位音頻資料的平滑和響應性。

包絡跟隨器模組214的增益可以由分析模組232調製。分析模組232接收輸入音頻訊號202並且可以分析輸入音頻訊號202以調整應用於正在處理的訊號的增益。包絡跟隨器模組214。包絡跟隨器模組214可以用C、C++、Java或任何其他程式設計語言實現函式呼叫以呼叫一個或多個參數。分析模組232可以響應於函式呼叫而提供可以用於在包絡跟隨器模組214中設置增益的一或多個參數。在一些實施例中，函式呼叫可以請求一個或多個返回參數。響應於包絡 跟隨器模組214的函數調用的一個或多個返回參數可以是原始資料類型，例如但不限於浮點數、雙精度浮點數、整數，指標，對記憶體位置的引用。

包絡跟隨器模組214的輸出疊加在固定頻率振盪器模組218上。來自由固定頻率振盪器模組218調製的包絡跟隨器模組214的低頻音頻輸出訊號被調諧到固定頻率振盪器模組218的固定諧振頻率。在另一個實施例中，固定頻率振盪器模組218在振盪器的諧振頻率附近或附近調諧。在本發明的一些實施例中，固定頻率振盪器218的諧振頻率可以在50Hz和120Hz之間變化。固定頻率振盪器模組218的諧振頻率在致動器230的諧振頻率附近或附近被調諧。不同致動器的諧振頻率可以彼此略微變化。在本發明的一個實施方式中，遊戲設備可以具有一個或多個致動器，每個致動器具有不同的諧振頻率。第一致動器可以具有60Hz的諧振頻率，第二致動器可以具有72Hz的諧振頻率。在該實現中，振盪器模組218可以以66Hz調諧。在另一個實施例中，振盪器模組218可以在72Hz或60Hz下調諧，這取決於輸入資料特性和所需的觸覺輸出的類型。

在本發明的較佳實施例中，預定頻率可以設置為60Hz。

來自壓縮器模組212的輸出訊號也同時傳遞到諧振模組220。諧振模組220產生諸如弦或膜的基本樂器的模擬。諧振模組220被配置為刺激物理模型弦、膜、板或其他一些樂器模型。基本儀器的模擬有助於校正和增強音頻訊號，以放大和增強已被抑制的低頻。諧振模組220還可以在音頻訊號中附加由於存在其他頻率分量而被抑制的低頻分量。例如，諧振模組220可以識別音頻訊號中的被抑制的低頻分量，並附加所識別的低頻分量的基頻分量，以增強用戶的觸覺體驗。在另一示例中，諧振模組220可以模擬音頻訊號以強調並創建更好的觸覺體驗。

固定頻率振盪器模組222，諧振模組220及乾/濕模組210的輸出在混音器模組222中被聚合及加總。混音器模組222以預定比率添加來自不同模組的輸入。

在本發明的實施例中，分析模組232可以與雜訊閘模組206、壓縮器模組212、側鏈模組208A和208B、諧振模組220、包絡跟隨器模組214和其他模組相關聯。用於分析輸入音頻訊號202以提供自動增益控制。

分析模組232接收輸入音頻訊號202，然後分析輸入音頻訊號202以提取各種參數以控制觸覺訊號處理流程中的至少一個參數，如圖2所示。分析模組232可以產生輸出控制訊號用於調節與壓縮器模組212、側鏈模組208A和208B、諧振模組220、包絡跟隨器模組214和一些其他模組相關聯的至少一個或多個參數。

來自混音器模組222的輸出訊號被傳遞到低通濾波器224，其濾除任何高頻分量。另外，低通濾波器224還切斷可能導致訊號失真的諧波。在一些實施例中，低通濾波器224可以被設計成區分由低音鼓產生的低頻分量和由低音吉他產生的低頻分量，以避免來自致動器230的連續觸覺響應。低通濾波器模組224可以是一階濾波器、二階濾波器、三階濾波器或一些其他類型的濾波器。在本發明的一些實施例中，帶通濾波器可用於濾除高頻以及不需要的低頻。

低通濾波器224的輸出訊號被傳遞到限波器模組226。限波器模組226限制輸出訊號的振幅，以避免由於過電壓或電流的傳遞而對致動器230造成任何損壞。在本發明的一個實施例中，限波器模組226可以是壓縮比為∞：1的一種壓縮器。輸出端的閾值可以設置為-3dB的閾值。在這種情況下，無論輸入位準如何，輸出位準都限制在-3dB。

來自限波器模組226的輸出訊號可以被傳遞到鐘形濾波器228，這可以在低頻範圍內增加音圈及/或致動器230的頻率響應。與調諧為以諧振調諧頻率響應的線性諧振濾波器相反，觸覺處理模組200可用於響應寬頻率範圍，從而增幅致動器230的觸覺響應。在這方面，這裡討論的音圈或者致動器230可以在很寬的頻率範圍內操作，而不是響應諧振頻率。這在美國專利申請號14/828,954中被提供，在此被引入作為參考。為了擴展音圈或致動器230的頻率響應，鐘形濾波器模組228可以衰減致動器230的諧振頻率。鐘形濾波器模組228被設計成通過相位反轉提供致動器230頻率曲線的精確複製品。這與在頻率f1和頻率f2之間定義的頻率範圍內具有平台的聚合曲線相結合。例如，如果低通濾波器模組具有頻率為f的諧振，並且鐘形濾波器具有頻率f的最大抑制，那麼兩條曲線的總和將是頻率f1和頻率f2之間的平坦頻率曲線。因此，低通濾波器模組224和鐘形濾波器模組228的總體效果是在頻率f1和f2之間的寬頻率範圍內產生響應。這導致可以在大範圍的低頻上經歷的增強的觸覺響應。

檢測模組234與鐘形濾波器模組228相關聯，其連續地對輸出觸覺訊號進行探測。檢測模組234還與輸入音頻訊號202相關聯，並連續檢測輸入訊號的存在。檢測模組234在鐘形濾波器228和輸入音頻訊號202處探測訊號，分析訊號的存在，並利用OR邏輯來決定觸覺處理系統100的ON/OFF狀態。當訊號是在鐘形濾波器228或在輸入音頻訊號202檢測到，檢測模組234將觸覺處理模組200保持在ON狀態。如果在觸覺處理模組200的輸入處或輸出處未檢測到訊號，則檢測模組234將觸覺處理模組200移動到省電模式。可以注意到，檢測模組234從不進入OFF狀態，而是控制與觸覺處理模組200相關聯的各種模組的狀態，以控制電源ON狀態或電源OFF狀態以節省電池。在本發明的實施例中，觸覺處理模組200的輸入和輸出處的訊號探測可以在1微秒到10秒之間。當在輸入音頻訊號202處沒有檢測到輸入但是在鐘形濾波器模組228處檢測到訊號時，觸覺處理 模組200可以在進入省電模式之前等待預定時間或者再次探測輸入。由於訊號處理的延遲，這需要傳遞保留在觸覺處理模組200中的任何未處理的觸覺訊號。

與傳統的LRA致動器相比，使用音圈致動器230的優點是在很寬的頻率範圍內提供響應，這可以通過示例的方式理解。在普通的線性諧振致動器中，致動器在其諧振頻率上工作，例如70Hz。如果將低頻(例如50Hz)饋送到以70Hz的諧振頻率操作的線性諧振致動器，則需要頻率變換/移位以產生觸覺響應。通過提供致動器230可以在不需要任何頻移的情況下操作的頻率範圍，在本發明中消除了這種缺陷。有利地，這允許致動器230在變化的頻率範圍內操作而不需要頻移。

圖3提供了本發明較佳實施例中的分析模組300的展開圖。分析模組300的擴展視圖包括分析模組232。分析模組232可包括暫態分析模組和檢測模組304、峰值分析器模組306、輸入訊號分析器和RMS生成器模組308、側鏈模組310預測和智能模組312、檢測和閾值模組314和增益控制器模組316A和316B(統稱或單獨稱為增益控制器模組316)。

分析模組232接收輸入訊號202，其可以是類比訊號或數位訊號。接收的輸入音頻訊號同時傳遞到暫態分析和檢測模組304，峰值分析器模組308，以及輸入訊號分析器和RMS模組310。暫態分析和檢測模組304可以調查輸入中暫態的存在。暫態是由聲音狀態的突然變化引起的短暫能量突發，並且表現出具有非諧波上升階段的聲音特性的快速變化。此外，訊號中的暫變包含高度的非週期性分量和較高的高頻率。訊號中存在暫變可能會扭曲聲音的輸出質量。在一些實施例中，使用多個包絡跟隨器來實現暫態分析和檢測模組304。例如，分析暫態檢測模組304可以包含低通濾波器(可選)、快速包絡跟隨器、慢包絡跟隨器和暫態靈敏度分析器。

在本發明的實施例中，快速包絡跟隨器和慢包絡跟隨器可以實現為硬體或軟體。在軟體實現中，快速包絡跟隨器可以通過快速上升時間(attack time)和快速釋放時間(release time)來實現。類似地，可以通過使用緩慢釋放時間來實現慢包絡跟隨器。例如，快速啟動時間和快速釋放時間將使快速包絡跟隨器跟隨輸入波形。快速包絡跟隨器近似於輸入波形的複製品。同樣，慢包絡跟隨器將具有快速攻擊時間和緩慢釋放時間，這使得慢包絡跟隨器能夠最初跟隨波形的上升但是下降時間減慢導致斜坡類型衰減。在本發明的另一個實施例中，快速包絡跟隨器和慢包絡跟隨器可以實現為硬件。實現相同目的的一種方法是對快速包絡跟隨器使用小電容器值，對慢速包絡跟隨器使用大電容器值。使用集成電路，定時電路和MOSFET可以實現其他實現。

在本發明的另一個實施例中，快速包絡跟隨器可以實現為使用上升係數(attack coefficient)的軟件。攻擊係數可以與一個或多個參數成比例。在一個實施例中，上升係數與採樣率，以毫秒為單位的攻擊率和其他參數成比例。在另一個實施例中，上升係數可以與攻擊時間，採樣率和具有比例常數的其他參數成反比。同樣地，慢包絡跟隨器可以使用釋放常數實現為軟件。釋放常數可以與一個或多個參數成比例，例如但不限於釋放時間，採樣率和其他類似參數。在一個實施例中，釋放常數可以與具有比例常數的釋放時間，採樣率等成反比。例如，上升係數可以是0.94912685796，上升時間為2毫秒，採樣率為44,100，比例常數取決於輸入波形的特徵。類似地，在另一個示例中，釋放係數可以是0.99652519689，釋放時間為30毫秒，採樣率為44,100。可以通過將上升係數與過去和當前輸入音頻資料點相乘來計算快速包絡跟隨器的輸出值。類似地，可以使用釋放係數和釋放時間來計算慢包絡跟隨器的輸出值。

暫態分析和檢測模組304被委託檢測輸入音頻訊號202中的暫變，以在處理觸覺訊號期間控制不同參數。

峰值分析器模組306可以包括低通濾波器，峰值檢測器和其他模組。峰值檢測器模組306的主要功能是識別輸入音頻訊號202中的峰值。

輸入訊號分析器和RMS生成器模組308執行分析訊號和計算輸入音頻訊號202的RMS值的任務。計算的RMS值可用於調製與分析模組232相關聯的動態處理器中的閾值和增益。

一旦暫態、訊號峰值及輸入音頻訊號202的RMS值由暫態分析和檢測模組304，峰值分析器模組306以及輸入訊號分析器和RMS發生器模組308分析，這些傳遞給側鏈模組310，用於設置一個或多個動態處理器和與觸覺處理相關聯的包絡模組的增益。例如，在一次實施中，側鏈模組310可以基於從暫態分析和檢測模組304、峰值分析器模組306、輸入訊號分析器和RMS發生器模組308接收的輸入的分析來設置壓縮器模組212和包絡跟隨器模組214的增益。

輸入音頻訊號202的RMS值用於設置一個或多個動態處理器的閾值或閾值。例如，檢測器和閾值模組314可以基於分析RMS值在雜訊閘處設置閾值。在其他實施例中，可以分析諸如輸入音頻訊號202的暫態，訊號峰值和RMS值之類的參數中的至少一個，以在一個或多個動態處理器中設置閾值或增益。

預測和智能模組318可以分別從峰值分析器模組306和輸入訊號分析器和RMS生成器模組308接收訊號峰值資訊和RMS值。處理和分析接收訊號峰值資訊和RMS值以控制側鏈模組312中的增益及檢測器與閾值模組中的閾值，以調整一個或多個動態處理器中的觸覺訊號處理。

在本發明的實施例中，分析模組232可以在數字訊號處理鏈之前接收訊號。例如，輸入到數字訊號處理鏈的輸入音頻訊號202被延遲預定時間。在本發明的一個實施例中，引入的時間延遲可以在1毫秒到100毫秒之間變化。在另一實施例中，通過首先將輸入音頻訊號202提供給分析模組232並隨後將輸入音頻訊號202傳遞到數位訊號處理鏈來提供先行機制(look-ahead mechanism)。在 又一個實施例中，可以通過在分析模組232中實現的預測演算法來提供先行機制。預測算法實時監視輸入音頻訊號202並預測要提供給至少一個動態處理器的參數。

側鏈模組312的輸出被傳遞到增益控制器模組316A，以實時調整至少一個動態處理器的增益。類似地，檢測器和閾值模組314的輸出可以被傳遞到增益控制器模組316B，用於設置至少一個動態處理器的增益。

參照圖3，在本發明的實施例中，分析模組232可以接收輸入音頻訊號202。在較佳實施例中，接收的輸入音頻訊號202是數位訊號。然而，輸入音頻訊號202可以是類比訊號，其可以在將其傳遞到功率檢測模組304之前被轉換為數位訊號。功率暫態分析檢測模組304探測輸入音頻訊號202以決定ON/電源關閉狀態。如果在功率檢測模組304的輸入處未檢測到功率，則功率檢測模組304將觸覺處理系統100置於斷電/省電模式以節省電池。

輸入音頻訊號202同時傳遞到暫態檢測模組306、訊號峰值分析器模組308，以及輸入訊號分析器和RMS發生器模組310。暫態檢測模組306檢測輸入中存在的暫變。暫態檢測模組306可以實現各種算法以檢測如本領域中已知的輸入音頻訊號202中的暫變。例如，暫態檢測模組306可以在時域中實現暫態檢測演算法。在另一示例中，暫態檢測模組306可以在頻域中實現暫態檢測算法，這可以通過使用離散傅立葉轉換、快速傅立葉轉換、STFT、DCT、濾波器組或本領域已知的一些其他方法將輸入音頻訊號202映射到頻域來實現。

參照圖3，分析模組300的詳細示意圖表示了不同模組的參數交換。分析模組300的詳細示意圖包括分析模組232，其可包括暫態分析和檢測模組304、峰值分析器模組306、輸入訊號分析器和RMS生成器模組308、側鏈模組310、預測和智能模組312、檢測器和閾值模組314、以及多個增益控制器模組316A 和316B。在較佳實施例中，分析模組232可以接收輸入音頻訊號202並提供控制或調製至少一個動態處理器的參數。分析模組232僅提供參數以控制數位訊號處理鏈中的至少一個動態處理器的閾值。類似地，在另一個實施例中，分析模組232可以提供參數以調製數位訊號處理鏈中的至少一個動態處理器的增益。

暫態分析和檢測模組304可以檢測輸入音頻訊號中的暫變，並向數位訊號處理鏈提供參數以控制暫變的影響。暫態分析和檢測模組304可以包括低通濾波器、快速包絡跟隨器、慢包絡跟隨器和暫態分數發生器。在本發明的一個實施例中，低通濾波器可以是可選的。快速包絡跟隨器和慢包絡跟隨器可以使得能夠檢測輸入音頻訊號202中的暫變。可以計算由慢包絡跟隨器和快速包絡跟隨器處理的訊號的平均振幅。平均幅度之間的差異用於計算輸入音頻訊號中暫變的存在。在本發明的一些實施例中，輸入音頻訊號202中的暫態可以被轉換為暫態分數。可以利用暫態分數來導出暫態二進制。另外，暫態分析和檢測模組304可以具有暫態閾值。在一個實現中，當暫態分數大於暫態閾值時，暫態二進制設置為1，否則暫態二進制設置為0。

峰值分析器模組306確定輸入音頻訊號202的峰值訊號值。峰值分析器模組306可以與暫態分析和檢測模組304，輸入訊號分析器和均方根發生器模組308相關聯，側鏈模組310，以及檢測器和閾值模組314。在本發明的一個實施例中，在固定時間段內分析輸入訊號的峰值訊號值。固定時間段可以在5秒和15秒之間變化，然而，在優選實施例中，固定時間段是10秒。峰值訊號值可以存儲或緩沖在預測和智能模組312中的記憶體中。

輸入訊號分析器和均方根產生器模組308分析輸入音頻訊號202達固定時間段並確定均方根值。均方根值被緩衝或儲存在預測和智能模組312中的記憶體中。

在本發明的一個實施例中，預測和智能模組312可以具有預先存儲的值，用於處理特定頻率的異常高雜訊。預測和智能模組312可以切換到預先存儲的參數以使觸覺處理模組能夠以特別高的雜訊處理觸覺輸出。

在本發明的一些實施例中，預測和智能模組312可以在沒有等待時間的情況下即時更新參數。例如，在時間t1，傳遞到雜訊閘的參數值可以是x1、x2、...xn，並且傳遞給壓縮器的參數值可以是y1、y2、....YN。在時間t2的另一個實例，傳遞到雜訊閘的參數值可以是q1、q2、...qn，並且傳遞給壓縮器的參數值可以是r1、r2、....RN。預測和智能模組312可以實時地將這些參數值傳遞到數字訊號處理流鏈以控制觸覺輸出。可以注意到，這種實現確保幾乎沒有等待時間並且能夠實現對輸入音頻訊號202的實時控制以產生增強的用戶體驗。

在替代實施方式中，可以在預處理模組之後並且在數位訊號處理流鏈之前提供分析模組232以消除等待時間。在該實現中，輸入音頻訊號202可以首先由分析模組232處理，並且隨後傳遞到一個或多個動態處理器166A...166N、包絡跟隨器172、固定頻率振盪器174、諧振模組178、低通濾波器182、限制器184、鐘形濾波器186和致動器188。分析模組232可以預先向前看並且預先優化參數以產生增強的觸覺輸出。

圖3C示出了預測和智能模組312中的不同模組。預測和智能模組312可以與具有多個區段的記憶體330、增幅模組338和其他模組相關聯。記憶體330可以駐留在觸覺模組108、記憶體102、雲140、伺服器130或分散式系統150中。在另一實施例中，記憶體330可以存儲在微芯片、微控制器、計算機程式產品中。另外，預測和智能模組312包括演算法和觸覺資料選擇模組340。記憶體330被分成多個區段，例如區段332、334和336。對於預測和智能模組312，觸摸資料選擇模組340包括演算法和智能模組312。例如，記憶體區段332儲存音頻波 形分析參數342，記憶體區段334儲存觸覺資料344，記憶體區段336儲存預測資料演算法346。記憶體區段如記憶體區段332、記憶體區段334與記憶體區段336僅供參考。可以存在多個記憶體區段，其可以在單個記憶體或多個記憶體庫中以不同的順序分配。波形分析參數342儲存與輸入音頻訊號202的波形特徵有關的資訊。波形特徵包括但不限於響度、聲調(pitch)、音調(tone)、傳播速度、音調(tonalness)，自相關係數、過零率、峰值包絡、起始、節奏和儀表、節奏、時間和波長。

類似地，觸覺資料344儲存不同的觸覺訊號。觸覺資料344是預先儲存的觸覺訊號，或者可以是用於控制數位訊號處理鏈的觸覺數字資料。或者，觸覺資料344是音頻訊號特徵以產生觸覺體驗。優選地，觸覺資料344是用於向使用者提供觸覺體驗的一組數字值。

例如，可以通過對與不同觸覺訊號對應的遊戲中的不同事件進行分類來獲得觸覺資料344，以產生期望的觸覺效果。分類算法(例如，隨機森林)可用於將至少一個預測資料演算法346訓練到計算機遊戲中的不同事件以用於產生觸覺體驗。觸覺體驗被儲存為觸覺資料344。然後，預測資料演算法348利用波形特徵的一個或多個參數來預測觸覺資料344，以通過一個或多個致動器產生觸覺體驗。

在本發明的實施例中，觸覺資料344可以由預測和智能模組312動態更新。預測和智能模組312可以向分析模組232發送用於啟用記憶體寫操作的請求。分析模組232可以准許寫許可，使得預測和智能模組312能夠將觸覺資料344寫入記憶體330。預測和智能模組312將觸覺資料344寫入記憶體330。或者，預測和分析模組312可以在另一個實施例中，預測和分析模組312可以連接到網 際網路以從伺服器130、雲140或分散式系統150下載與用戶的遊戲相關的觸覺資料在記憶體330中。

在一次實施中，預測和智能模組312通過實施一組程序/演算法來從分析模組232生成的暫時值學習，以計算要應用於一個或多個動態處理器166的增益和/或閾值，並使用RMS值和峰值。預測和智能模組312最初基於輸入音頻波形特徵選擇至少一個預測資料演算法346。或者，預測和智能模組312可以基於諸如游戲類型、遊戲元資料等的遊戲屬性來選擇至少一個預測資料演算法346。如果不能確定屬性，則預測和智能模組312使用基於最近10個遊戲的最可能使用的預測演算法。預測和智能模組312從實時資料中學習，即RMS值、峰值、增益和閾值。一旦完成學習過程，預測演算法可以獨立地預測一個或多個數字訊號處理鏈中的增益和閾值。這減少了處理開銷並減少了音頻和觸覺體驗之間的時間延遲。此外，預測分析還提供了對分析模組232的預測，用於設置不同的參數，例如增益、閾值、預設和控制不同的模組，例如預設、雙濾波器模組、物理諧振模組和數字的其他模組。訊號處理鏈。

預測和智能模組312接收輸入音頻訊號202的瞬時RMS值和峰值以確定增益和/或閾值並調製/控制至少一個動態處理器166。此外，預測和智能模組312還接收輸入音頻訊號202的暫時波形特徵。在下一步驟，預測和智能模組312至少基於包括的一個參數從儲存的預測資料演算法346的列表中確定最佳演算法。輸入音頻波形特徵、遊戲類型、遊戲中嵌入的元資料和其他參數，例如嵌入遊戲內的音頻線索、遊戲中不同類型事件的數量、事件頻率和與遊戲相關的其他類型參數。然後，預測和智能模組312使用所選擇的算法和輸入音頻訊號202的暫時RMS值、峰值和暫時波形特徵來訓練其自身以預測觸覺輸出。隨後，預測和智能模組可以預測觸覺輸出以控制數字訊號處理鏈。或者，預測和智能 模組312可以直接將觸覺資料344傳遞到一個或多個致動器以提供觸覺體驗。在這種情況下，觸覺資料344存儲不同的觸覺訊號以提供寬帶或高清晰度觸覺體驗。

在不同的實施例中，使用瞬時RMS值，輸入音頻訊號202的峰值和暫時波形特徵來訓練預測演算法，並且還包括使用者反饋。預測演算法的學習是一個多層次的過程。在每個級別，提供關於觸覺體驗的使用者反饋。利用反饋來校正觸覺資料344以獲得最佳觸覺體驗。一旦完成預測演算法的多級訓練，預測和智能模組312就可以開始預測資料以獲得最佳觸覺體驗。該預測與控制數位訊號處理鏈中的參數有關，或者預測可以向一個或多個致動器啟動至少一個觸覺資料344。

或者，向預測和智能模組312提供用戶反饋以校正觸覺體驗。反饋迴路接收用戶反饋和實際觸覺輸出訊號；用戶反饋和實際觸覺輸出訊號之間的差異是對應於與最佳觸覺體驗的偏差的差分訊號。預測和智能模組312使用該差分訊號來校正觸覺體驗。例如，用戶提供的反饋是分數。得分可以對應於觸覺訊號與期望的觸覺體驗的偏差。用戶可以選擇分數來量化觸覺體驗。預測和智能模組312可以分析得分並採取校正動作來優化觸覺體驗。

預測和智能模組312還可以從預測資料演算法346實現預測算法，並提供預測輸出準確度。例如，預測算法可以提供預測準確度的置信水平。當預測算法具有用於預測的低置信水平(在0到1的範圍內小於0.6)時，預測和智能模組312可以切換到分析模組232以提供控制數字訊號處理鏈的參數。但是，如果置信度大於0.6，則將啟用預測和智能模組以提供觸覺輸出。

用於訓練預測算法的資料集預先存儲在與預測和智能模組312相關聯的記憶體330中。資料集可以在記憶體段中提供，或者可以從雲，服務器或 網絡下載。地點。預測和智能模組312利用預先存儲的資料集來訓練其自身以預測觸覺輸出，或者可以將波形分析參數342與觸覺資料344相關聯。該相關性在預測用於觸覺輸出的實時輸入音頻訊號中是有用的。在另一實現中，預測和智能模組312可以利用波形分析參數342和記憶體330中的預存資料來訓練自身並學習觸覺輸出的預測。預測和智能模組312確定音頻波形特徵和其他參數以選擇最佳和/或最接近的資料集以訓練其自身以預測觸覺輸出。另外，預測和智能模組312還可以確定要用於自我訓練和觸覺資料的分類的至少一個預測算法。然後，預測和智能模組312根據音頻確定每個觸覺事件，利用來自預測資料演算法346的至少一個預測算法，識別要提供給一個或多個致動器的觸覺資料輸出344。

記憶體330、演算法和觸覺選擇模組340直接與增幅模組338相關聯。增幅模組338驅動一個或多個輔助致動器(也稱為)增幅致動器。增幅模組338的主要功能是通過驅動增幅致動器來提升或提供額外的增幅。

預測和智能模組312可以利用記憶體330中的預先存儲的觸覺資料和根據音頻訊號的波形特徵確定的參數來訓練至少一個預測演算法以預測觸覺輸出。預測的觸覺體驗與觸覺資料344相關聯以形成預測的觸覺資料344與波形分析特徵342之間的鏈接。預測演算法維持音頻訊號和觸覺資料344之間的表格以傳遞給一個或多個致動器減少計算時間。在置信水平高(>0.6)的某些情況下，預測演算法可以將預先存儲在記憶體330中的觸覺資料344直接流式傳輸到一個或多個致動器，例如致動器230。

在又一實施方式中，預測和智能模組312可以利用所有或一些參數，例如但不限於RMS值、峰值、音調、響度、音調、自相關係數、過零率、峰值包絡、起始(onset)、節奏和儀表(meter)、節奏、時間和波長單獨或組合，以預測觸覺資料。另外，存儲在記憶體330中的訓練資料的選擇和/或存儲為預測資 料算法346的預測算法可取決於RMS值、峰值、音調、響度、音調、自相關係數、過零率、峰值包絡、起始(onset)、節奏和儀表(meter)、節奏、定時和波長等輸入音頻訊號的特性。

在一個實施中，預測和智能模組312可以實時預測增益和/或閾值以控制數位訊號處理鏈。另外，預測和智能模組312接收音頻訊號特徵；在每個時刻實時計算音頻訊號特徵。預測和智能模組312分析音頻訊號特性和閾值和/或增益的實時計算以實時地執行機器學習。隨後，預測和智能模組312可以預測要提供給數位訊號處理鏈的增益和/或閾值，以產生增強的觸覺輸出。

預測和智能模組可以實現用於監督學習的不同演算法，包括線性分類器，例如線性自適應濾波器、核自適應濾波器、邏輯回歸、普通最小平方回歸、樸素貝葉斯分類器、集合方法、支持向量機、決策樹、提升樹木、隨機森林、神經網絡、最近鄰居、高斯混合模型、成分分析和一些其他類型的算法。

預測和智能模組312可以儲存與遊戲手柄相關聯的按鈕按壓事件相對應的參數，這些參數被傳遞到數位訊號處理鏈以獲得最佳觸覺體驗。例如，遊戲控制器可以提供與視頻遊戲中的爆炸相對應的按鈕按壓事件。按鈕按壓事件和相關參數被傳遞到分析模組232。分析模組232經由輸入訊號分析器和RMS生成器模組308處理輸入音頻訊號202，以確定音頻訊號的不同特性。例如，輸入訊號分析器和RMS產生器模組308確定峰值訊號值，RMS值和其他音頻訊號特性。這與預測和智能模組312從遊戲手柄或遊戲控制器接收的按鈕按壓事件的處理並行完成。輸入訊號分析器和RMS產生器模組308確定的參數和使用預存儲值生成的參數可以使用預測演算法來評估預測和智能模組312，以獲得要傳遞到數字訊號處理鏈上的最佳值，以獲得更好的觸覺體驗。或者，預測和智能模組312可以決定利用使用輸入音頻訊號確定的參數或預先存儲的觸覺資料參數來控制 數字訊號處理鏈中的至少一個或多個動態處理器。在另一個實施例中，可以使用預測演算法來評估由輸入訊號分析器和RMS產生器模組308確定的參數以及使用預測和智能模組312中的預存儲值生成的參數，以確定或控制包絡跟隨器、預設值、雙濾波器截止頻率和一些其他參數。

在本發明的實施例中，預測和智能模組312可以實現至少一種分類算法。首先使用記憶體330中的預先儲存的資料集來訓練從預測演算法資料346中選擇的至少一個分類算法。預測和智能模組312最初藉由啟動學習過程而從預先儲存的資料和波形分析參數資料342來學習。一旦預測演算法完成學習過程，其使用學習來對觸覺資料進行分類以提供觸覺體驗。例如，分類演算法可以基於暫時輸入音頻訊號202對增益和/或閾值進行分類，這些RMS值和峰值被提供給數位訊號處理鏈中的一個或多個動態處理器。預測和智能模組312可以實現無監督演算法，例如，深度信念網絡(deep belief network)，其是生成概率模型。深度信念網絡是一種由具有多個隱藏層的可見層組成的深度學習算法。預測和智能模組312可以使用記憶體330中的預先儲存的資料來訓練至少一個可見層。學習過程被傳播到隱藏層，隱藏層學習來自可見層的統計關係。在一個實現中，可以使用貪婪分層訓練來訓練深度置信網絡，其使用音頻訊號特徵和預先儲存的資料來預測存儲在觸覺資料344中的最接近的觸覺體驗。貪婪的分層訓練可以在訓練過程期間遵循自下而上的方法。在不同的實施例中，卷積深度信念網絡(convolutional deep belief networks)也可用於預測觸覺訊號。

預測和智能模組312可以實現無監督學習算法，包括但不限於聚類、k均值、混合模型、DBSCAN(具有噪聲的應用的基於密度的空間聚類)、OPTICS(用於識別聚類結構的訂購點))算法、自動編碼器、深度信念網、Hebbian 學習、生成對抗網絡、自組織映射、期望最大化算法(EM)、矩量法、盲訊號分離技術或一些其他無監督學習算法。分析模組232利用儲存在記憶體330中的觸覺資料輸出344來確定控制數位訊號處理鏈的參數。

圖4示出了本發明的備選實施例中的觸覺處理系統400。觸覺處理系統400接收輸入音頻訊號202。該訊號被預處理並且適合於在預處理模組402處理。預處理模組402可以降低輸入音頻訊號的採樣率並濾除輸入音頻訊號202中的任何不需要的頻率可以提供給一個或多個動態處理器之前。在該實施例中，提供了兩個動態處理器，即雜訊閘404和壓縮器410。預處理訊號被傳遞到具有閾值位準的雜訊閘404；基於從分析模組232接收的參數動態地設置閾值水平。來自雜訊閘模組404的輸出被提供給壓縮器模組410。另外，來自雜訊閘模組404的輸出也被提供給乾/濕模組408以預定比率混合輸入音頻訊號202和來自雜訊閘404的輸出訊號。乾/濕模組408用作輸入音頻訊號202和來自至少一個動態處理器模組的處理後訊號之間的混音器，輸入音頻訊號202是未處理的音頻訊號。乾/濕模組408提供用於配置預置模組406的單點控制。另外，它能夠通過至少通過分析模組232來控制至少一個或多個動態處理器模組，例如雜訊閘404和壓縮器410。一個控制參數。此外，乾/濕模組408還可以通過乾音頻訊號與濕音頻訊號的混合來改善觸覺輸出訊號。當使用濕音頻訊號不能產生聲音效果時，乾/濕訊號的混合可以提供產生觸覺輸出的基礎。在本發明的一個實施例中，兩個訊號的預定比率可以在0和1之間變化。來自乾/濕模組408的輸出訊號的一部分也可以提供給混音器模組418。

來自雜訊閘模組404的輸出訊號被傳遞到壓縮器模組410，這減小了接收訊號202的動態範圍。壓縮器模組410還可以從分析模組232接收參數。所接收的參數可以是在不干擾數位訊號處理流程鏈的情況下調製或控製或調整壓縮器模組410的增益。來自具有減小的動態範圍的壓縮器模組410的輸出訊號被 傳遞到包絡跟隨器模組414。包絡跟隨器模組414將接收的高頻訊號轉換為低頻訊號並進一步將接收的雙極訊號轉換為單極訊號。低頻訊號是高頻訊號的複製品。包絡跟隨器模組414的輸出被傳遞到振盪器模組416，振盪器模組416被調諧到固定的諧振頻率，較佳地是致動器428的諧振頻率。在本發明的一些實施例中，振盪器模組416可以圍繞振盪器模組416調諧。振盪器模組416的輸出隨後傳遞到混音器模組418。

來自壓縮機模組410的訊號的一部分也被傳遞到諧振模組412，諧振模組412放大接收訊號中存在的低頻分量。諧振模組412可以附加複製弦樂器或膜樂器的低頻分量。在一個實施例中，諧振模組412可以放大以及附加最初存在於輸入音頻訊號202中的低頻分量，其在數位訊號處理流鏈的各個階段的音頻訊號處理期間被抑制。另外，諧振模組412可以將低頻添加到接收訊號。此外，諧振模組412可以激勵弦、膜、板或其他樂器的物理模組以增強觸覺輸出。諧振模組的輸出傳遞到混頻器模組418。

混音器模組418還接收來自乾/濕模組408的輸入、振盪器模組416的輸出和來自諧振模組412的輸出。在混音器模組418中，接收的訊號以預先定義的比例被混合在一起。來自混音器模組412的輸出訊號被傳遞到低通濾波器模組420。低通濾波器模組420抑制來自接收訊號的任何不需要的高頻分量。來自低通濾波器模組420的輸出訊號被傳遞到限波器模組424。限波器模組424確保嵌入在接收訊號中的任何不需要的能量被限制在致動器428的工作電壓或電流。因此，限波器模組424限制可能損壞致動器428的任何附加功率。此外，限波器模組424可以限制訊號中的電壓以避免對致動器428的任何損壞。進一步移動，鐘形濾波器模組426擴展了工作頻率響應範圍。來自鐘形濾波器模組426的輸出訊 號被提供給檢測器模組430和致動器428.致動器428轉換來自鐘形濾波器模組426的接收訊號以產生觸覺輸出。

預置模組406可以具有一個或多個預設開關，其被配置用於在低通濾波器模組420、限波器模組424和鐘形濾波器模組426中設置一個或多個控制參數。在一些實施例中，一個或多個控制參數可以包括截止頻率、要在不同模組中混合的訊號的比例等。在本發明的一個實施例中，預設開關可以由電子設備中的使用者界面，具有不同預設值的旋轉開關或某種其他類型的開關控制。

在至少一個動態處理器(例如，雜訊閘404或壓縮器模組410)與分析模組232之間的參數交換可以獨立於數位訊號處理流程鏈。在本發明的一個實施例中，至少一個動態處理器和分析模組232之間的參數交換可以使用指針實現，通過引用傳遞值、共享記憶體、函式、子常式、程序或任何其他類型的參數交換是指本領域已知的，例如，雜訊閘404可以從分析模組232接收參數值並且相應地控制雜訊閘404的閾值。在另一實現中，壓縮器模組410從分析模組232接收參數以控制壓縮器的增益。參數的交換可以不干擾數位訊號處理流程鏈，但可以用於設置壓縮器410的增益。

來自鐘形濾波器模組426的輸出訊號可以被傳遞到檢測器模組430，檢測器模組430還可以接收來自預處理模組402或輸入音頻訊號202的輸入。檢測器模組430探測存在的訊號。在兩個輸入中的任一個處的訊號，即來自預處理模組402的輸入訊號和來自鐘形濾波器模組426的輸出訊號。如果在任一輸入處未檢測到訊號，則檢測器模組430關閉觸覺處理模組400進入省電模式。然而，如果在輸入音頻訊號202和鐘形濾波器模組426的輸出處都檢測到訊號，則檢測器模組430可以將觸覺處理模組400保持在電源開啟狀態或活動模式。當在輸入或輸出處檢測到訊號時，檢測器模組430可以保持在電源接通狀態達預定的時間段並且再次探測兩個輸入，並且在兩個輸入處沒有訊號的情況下，檢測 器模組430可以關閉電源或能量或進入省電模式。在一些實施例中，觸覺處理模組400可以關閉電源之前的時間段可以在10秒至60秒之間變化。在另一個實施例中，檢測器模組430可以關閉電源之前的時段可以在程式指令中被硬編碼(hard-coded)。

分析模組232包括暫態分析檢測模組304、峰值分析器模組306、輸入訊號分析器和RMS生成器模組308、側鏈模組310、預測和智能模組312、檢測器和閾值模組314、增益控制器模組316A和增益控制器模組316B。分析模組232和所有其他模組執行如前所述的功能。

參考圖5，在本發明的替代實施例中提供了觸覺處理系統500。虛線連接示出了不同模組之間的參數交換，並且直線指示不同模組中的輸入音頻訊號502的流動。

觸覺處理系統500接收輸入音頻訊號502(與輸入音頻訊號202相同)，其被提供給預處理模組504。預處理模組504將訊號轉換為合適的形式以使得能夠處理音頻輸入訊號例如，通過將接收的輸入音頻訊號502轉換為採樣率低於8KHz的訊號502。同樣地，預處理模組504可以包括低通濾波器以去除不想要的頻率。預處理模組504的輸出提供給訊號檢測模組506；訊號檢測模組506檢測來自預處理模組504的訊號和從鐘形濾波器模組544接收的訊號的存在，並且在預處理模組和鐘形濾波器模組544處沒有訊號時，關閉訊號的功率。觸覺處理模組500並進入省電模式。或者，如果檢測模組506在預處理模組504處或在來自鐘形濾波器模組544的訊號處感測到訊號，則其將觸覺處理模組500保持在有效功率狀態。在又一個實施例中，檢測模組506調查來自預處理模組504的訊號和來自鐘形濾波器模組544的訊號的存在，並且如果它沒有檢測到來自預處理模組504的訊號，而是來自鐘形濾波器的訊號。在模組544中，檢測模組在關閉觸覺 處理模組500的電源之前等待預定時間。在一個實施例中，預定時間可以是10秒。在其他實施例中，預定時段可以在1秒和60秒之間。

來自訊號檢測模組506的輸出被提供給增益控制器模組508，增益控制器模組508增加或減少訊號的增益。然後，增益控制器模組508的輸出被傳遞到增益控制處理器1模組526和分析模組232。增益控制處理器1模組526從分析模組232接收至少一個控制參數，例如閾值；所述至少一個控制參數調整或控制增益控制處理器1模組526的閾值位準，並且還提供要應用於訊號的增益。閾值參數傳遞到增益控制處理器1模組526可以通過參考，值，指針或通過本領域已知的函數調用來進行。增益控制處理器1模組526打開以在接收訊號高於接收閾值時傳遞接收訊號，並且如果接收訊號低於閾值則衰減接收訊號。在一些實施例中，應用於接收訊號的增益可以基於分析模組232提供的參數動態地變化。例如，在一個實例t1和另一個實例t2處應用的增益根據輸入的特性而不同。音頻訊號502。

分析模組232還接收來自增益控制器模組508的訊號。接收的訊號被同時提供給暫態分析檢測模組314，峰值分析器模組306和輸入訊號分析器以及RMS發生器模組308。分析檢測模組304檢測接收的輸入訊號中是否存在瞬變，而峰值分析器模組306計算接收的輸入訊號中的峰值一段固定的時間。同樣，輸入訊號分析器和RMS發生器模組308計算接收訊號的均方根值，用於調製或控制至少一個控制參數，例如增益控制處理器的增益或閾值。

側鏈模組310控制觸覺處理系統500的不同參數，例如上升時間、釋放時間、保持時間、拐點(knee)和與接收訊號相關聯的其他參數。檢測器和閾值模組314監視接收的訊號並檢測輸入音頻訊號何時移動到閾值之上或之下。來自暫態分析檢測模組304、峰值分析器模組306、輸入訊號分析器和RMS生成器 模組308、側鏈模組310以及檢測器和閾值模組314的輸出被提供給預測和智能模組312。智能模組312計算一個或多個控制參數以控制觸覺處理模組500的不同階段的訊號處理。例如，基於從暫態分析檢測模組304接收的參數、峰值分析器模組306、輸入訊號分析器並且RMS生成器模組308、側鏈模組310以及檢測器和閾值模組314、預測和智能模組312可以將參數提供給增益控制處理器1模組526以控制閾值。類似地，暫態分析檢測模組516、峰值檢測模組306、RMS生成器模組308、側鏈模組310以及預測和智能模組312的檢測器和閾值模組314可以調製一個或多個增益控制處理器處的增益。而且，側鏈模組310的輸出也被傳遞到增益控制器模組316A。同樣地，來自檢測器和閾值模組314的輸出也被傳遞到頻率增益控制器模組510。頻率增益控制器552可以控製或調整特定頻率處的接收訊號的幅度，以在寬帶致動器上提供增強的觸覺響應。

增益控制處理器1模組526的輸出被提供給增益控制處理器2模組528，其從分析模組232232接收參數以設置增益、閾值和其他參數。增益控制處理器2模組528基於諸如從分析模組232實時接收的增益和/或閾值的參數來減小接收訊號的動態範圍。可以使用傳遞參數的任何已知方法傳遞參數，例如傳遞值、通過引用傳遞、傳遞指標。

增益控制處理器2模組528的輸出同時傳遞包絡跟隨器模組534、物理諧振模組532和乾/濕模組530。包絡跟隨器將高頻訊號轉換為低頻訊號且將雙極訊號轉換成單極訊號，提供給振盪器模組536。振盪器模組536以固定的諧振頻率調製接收訊號。在一些實施例中，固定頻率可以在35Hz至120Hz之間變化。物理諧振模組532在接收訊號中放大和/或附加抑制的低頻以產生更好的觸覺體驗。另外，物理諧振模組532還可以使用數學模型生成音頻波形以添加弦、膜等的頻率。

乾/濕模組530接收來自增益控制處理器2模組528和增益控制器模組508的輸入。乾/濕模組530處理接收的訊號並將輸出提供給混音器模組538。

另外，分析模組232還將控制參數傳遞到包絡跟隨器模組534和雙濾波器模組540。分析模組232傳遞參數以控制包絡跟隨器模組534處的閾值和/或增益。分析模組232還向雙濾波器模組540提供參數。

預置模組524提供參數以控制乾/濕模組530、混音器模組538、雙濾波器模組540、限波器模組542、濾波器模組544及上採樣模組546。例如預置模組524可以提供使用者界面以設置參數，以控制混音器模組538。在另一個示例中，乾/濕模組530可經由軟體或硬體使用者界面而供使用者可使用的滑塊來控制。

來自振盪器模組536、物理諧振模組532和乾/濕模組530的輸出被提供給混音器模組538。混音器模組538以預定比例混合訊號。預置模組524可以控制要混合的訊號的預定比例。來自混音器模組538的輸出被傳遞到雙濾波器模組540。雙濾波器模組540使用具有截止頻率F1和F2的雙濾波器對輸出進行濾波。分析模組232控制與雙濾波器模組540相關聯的濾波器LF1和LF2的打開。當檢測到暫態時，分析模組232指示雙濾波器540將頻率的截止頻率從F1切換到F2。在傳遞暫態之後，分析模組232發送控制訊號以將截止頻率轉換為F1。在一個示例中，雙濾波器540的截止頻率可以是40Hz至250Hz。在另一示例中，雙濾波器540的截止頻率可以在50Hz到400Hz之間。在另一個實施例中，較低的截止頻率可以在20至60Hz之間，並且較高的截止頻率可以在250Hz至500Hz之間。

然後將雙濾波器模組540的輸出提供給限波器模組542，其確保接收訊號在致動器548的可接受操作範圍內。否則，它可能在觸覺輸出中產生失 真。為了克服這一點，限波器模組542被設置為恰好低於0dB的-3dB以提供平順的觸覺響應。

在本發明的實施例中，限波器模組542可以與過驅動模組和阻尼模組相關聯。由於致動器548的初始重量，當激勵電壓傳遞到致動器548時，實現預期的振動需要時間。這是由致動器548的重量引起的。致動器548的慢響應由過驅動模組補償，該過驅動模組提供額外的激勵以在初始激勵時達到預期的振動。另外，致動器548的重量和在振動期間由其獲得的慣性不允許其立即停止。為了補償致動器548的額外振動，提供了阻尼模組。阻尼模組可以提供激勵電壓，該激勵電壓與輸入訊號(反相輸入訊號)異相180度以衰減振動並立即停止致動器548。

可以將限波器模組542的輸出提供給濾波器模組544以衰減任何不需要的頻率。濾波器模組544的輸出可以被傳遞到放大模組546，以放大或增強在濾波期間可能已經減小的頻率。這些所需頻率被放大並最終傳遞到致動器548以產生觸覺輸出。

參考圖5A，在本發明的實施例中提供的觸覺處理系統500A示出了至少兩個致動器，即主致動器548，其與致動器548相同，但在本實施例中稱為主致動器548和增幅致動器564。主致動器548和增幅致動器654與數位訊號處理鏈並聯，與相同的模組並聯，但是獨立地操作。如前面和此處所述，數位訊號處理鏈包括具有直接音頻訊號流的所有模組。在數位訊號處理鏈中處理輸入音頻訊號以生成觸覺輸出訊號。參考圖5A，數位訊號處理鏈包括除分析模組232和預置模組524之外的所有不同模組。分析模組232和預置模組524通過傳遞一個來控製或調整數位訊號處理鏈的處理。或更多控制參數。此外，如前面和此處所提供的，虛線連接示出了不同模組之間的參數交換，而直線指示不同模組之 間的輸入音頻訊號的流動。此外，分析模組232實現如圖3A，圖3B和圖3C中描述的所有功能。

觸覺處理模組500A接收提供給預處理模組504的輸入音頻訊號502。預處理模組504將訊號轉換為合適的形式以使得能夠處理音頻輸入訊號502，例如，通過轉換接收輸入音頻訊號502為採樣率低於8KHz的音頻訊號。預處理模組504可以包括低通濾波器以去除不想要的頻率。預處理模組504的輸出提供給訊號檢測模組506；訊號檢測模組506檢測來自預處理模組504的輸入音頻訊號502和從鐘形濾波器模組544接收的輸出訊號的存在，並且在預處理模組504和鐘形濾波器模組544處無訊號的情況下，關閉觸覺處理模組500A的電源並進入省電模式。或者，如果訊號檢測模組506在預處理模組504處或來自鐘形濾波器模組544的訊號感測到訊號，則其將觸覺處理模組500A保持在有效功率狀態。另外，訊號檢測模組506調查來自預處理模組504的訊號和來自鐘形濾波器模組544的訊號的存在，並且如果在預處理模組504處沒有檢測到訊號但是在鐘形濾波器模組544處感測到輸出訊號。如圖所示，訊號檢測模組506在關閉觸覺處理模組500A的電源之前等待預定量的時間。

在較佳實施例中，預定時間可以在5到10秒之間。在其他實施例中，預定時段可以在1秒和60秒之間變化。

來自訊號檢測模組506的輸出被提供給增益控制器模組508，其增加或減小音頻訊號的增益。然後，增益控制器模組508的輸出被傳遞到增益控制處理器1模組526和分析模組508。增益控制處理器1模組526接收一個或多個控制參數，例如，閾值和/或增益來自控制參數調整或控制增益控制處理器1模組526的閾值。此外，控制參數還提供在數位訊號處理鏈中的處理期間應用於輸入訊 號的增益。控制參數可以通過參考資料(reference)、數值、指標(pointer)或作為函式或次常式(subroutine)呼叫而傳遞給增益控制處理器1模組526。

增益控制處理器1模組526在打開狀態或閉合狀態下操作。當來自增益控制器模組508的接收訊號高於閾值時，增益控制處理器1模組526操作打開狀態並傳遞接收訊號；然而，當接收訊號低於閾值時，增益控制處理器1模組526處於閉合狀態並衰減接收訊號。在一些實施例中，應用於接收訊號的增益和/或閾值是實時動態更新的。此外，在另一實施例中，應用於接收訊號的增益和/或閾值以變化的時間間隔動態更新。例如，取決於輸入音頻訊號502的特性，在實例t1和實例t2處應用的增益和/或閾值是不同的。

分析模組232和增益控制器處理器1模組526同時從增益控制器模組508接收輸入音頻訊號502。所接收的輸入訊號被提供給暫態分析檢測模組304，峰值分析器模組306和輸入訊號分析器和RMS發生器模組308。對輸入音頻訊號502執行並行處理。暫態分析檢測模組304通過實現稍後在圖21中定義的暫態檢測演算法來檢測所接收的輸入訊號中是否存在暫變。峰值分析器模組306利用變化的窗口大小計算接收的輸入訊號中的峰值一段固定時間。窗口大小可取決於訊號的頻率、音調、時間分辨率、頻率分辨率和其他波形特徵。在一個實施例中，基於諸如Widrow-Hoff最小平方(LMS)的自適應算法來選擇窗口大小。同時，輸入訊號分析器和RMS發生器模組308計算接收的音頻訊號的均方根值、峰值和RMS值用於計算用於調製增益控制處理器1和增益控制處理器2的一個或多個控制參數，如圖16中的過程1600中所述。一個或多個控制參數可以是增益、閾值、音調、相位或與輸入音頻訊號有關的一些其他參數。

分析模組232還包括輸入訊號分析器和RMS產生器模組308、側鏈模組310、預測和智能模組312、檢測和閾值模組314、增益控制器模組316A、頻率增益控制器模組552。除了其他模組之外，還有一個增強分析模組338(如圖3C所示)。峰值分析器模組306計算輸入音頻訊號502的峰值。暫態分析檢測模組304檢測輸入音頻訊號502中是否存在瞬變。RMS生成器計算輸入音頻訊號502的RMS值。如本文所述。在其他地方，RMS值和峰值用於計算一個或多個控制參數，例如增益和/或閾值。類似地，暫態分析檢測模組304通過實現稍後在圖21中描述的暫態處理算法來處理輸入音頻訊號502中的暫變。側鏈模組310控制觸覺處理模組500A的不同參數，例如上升時間、釋放時間、保持時間、拐點(knee)等參數。檢測器和閾值模組314監視所接收的輸入訊號並檢測輸入音頻訊號何時移動到高於或低於閾值。來自暫態檢測模組304、峰值檢測模組306、RMS生成器模組308、側鏈模組310以及檢測器和閾值模組314的輸出被提供給預測和智能模組312。預測和智能模組312計算與輸入音頻訊號502特性相關聯的參數值用於控制觸覺處理模組500A的不同階段的訊號處理。預測和智能模組312可以實現如圖3C中描述的所有預測算法。例如，基於從暫態分析檢測模組304、峰值分析器模組306、輸入訊號分析器和RMS生成器模組308、側鏈模組310以及檢測器和閾值模組314、預測和智能模組312接收的參數。可以將參數提供給增益控制處理器1模組526以控制至少一個參數，例如閾值/增益。類似地，暫態分析檢測模組304、峰值分析器模組306、輸入訊號分析器和RMS生成器模組308、側鏈模組310、檢測器和閾值模組314以及預測和智能模組312可以在一個或多個處調製增益。另外，側鏈模組310的輸出也被傳遞到增益控制器模組316A。同樣地，來自檢測器和閾值模組314的輸出也被傳遞到頻率增益控制器模組552，其提供進一步精煉以控制參數。

增益控制處理器1模組526的輸出被提供給增益控制處理器2模組528，其還從分析模組232接收控制參數以設置增益和/或閾值。增益控制處理器2模組528基於諸如從分析模組232實時接收的增益和/或閾值的控制參數來減小接收訊號的動態範圍。控制參數可以使用計算機程式設計中的任何已知參數傳遞方法傳遞，例如通過值傳遞、通過引用傳遞、通過指針傳遞等。

增益控制處理器2模組528的輸出同時傳遞到包絡跟隨器模組534，物理諧振模組532和乾/濕模組530。包絡跟隨器模組534將高頻訊號轉換為低頻訊號以及將雙極訊號轉換成單極訊號，提供給振盪器模組536。振盪器模組536以固定的諧振頻率調製接收訊號。在不同的實施例中，取決於主致動器548的諧振頻率，固定頻率可以在35Hz至120Hz之間變化。物理諧振模組532在接收訊號中放大和/或附加抑制的低頻以產生更好的觸覺體驗。

乾/濕模組530接收來自增益控制處理器2模組528和增益控制器模組508的輸入。乾/濕模組530接收乾訊號和濕訊號作為輸入。乾訊號是未處理的輸入音頻訊號。濕訊號是經處理的輸入音頻訊號。乾/濕模組530以特定比率混合乾訊號和濕訊號。乾/濕訊號的輸出被提供給混音器模組538。

分析模組232還將一個或多個控制參數傳遞到包絡跟隨器模組534、雙濾波器模組540、雙濾波器模組556和增幅控制器模組554。

混音器模組538直接與雙濾波器模組540連接。此外，混音器模組538還與增幅控制器模組554連接。來自混音器模組538的觸覺輸出被提供給雙濾波器模組540、限波器模組542、過濾器模組544、上採樣模組546和一個或多個主致動器，例如主致動器548。圖5A僅描繪了一個主致動器548，儘管可以提供多於一個主致動器，例如548A，548B，548C，548D以產生觸覺體驗。

增幅控制器模組554將輸出訊號提供給雙濾波器556、限波器模組558、濾波器模組560、上採樣模組562和增幅致動器564。儘管僅示出了一個增幅致動器564，在其他實施例中，一個以上的增幅致動器，例如增幅致動器564A、增幅致動器564B、增幅致動器564C和增幅致動器564D可以與上取樣模組562連接。增幅控制模組554的主要目的是提供額外的增強以便與主致動器548同步地獲得更好的觸覺體驗。增幅控制模組554還從增幅分析模組338接收輸入，如圖3所示。

增幅控制器554接收來自分析模組232和混音器模組538的輸入，以基於一個或多個控制參數決定何時觸發增幅。一個或多個控制參數是波形特徵，如振幅、頻率、相位、響度、RMS值、峰值、計算的增益、計算的閾值，以及在圖3C中的預測和智能模組中實現的預測算法。作為示例而非作為限制，混音器模組538向增幅控制器模組554提供觸覺訊號。增幅控制器模組554具有與主致動器548同步地觸發一個或多個增幅致動器564的邏輯。增幅控制器554可以基於從分析模組232接收的一個或多個控制參數來觸發增幅致動器564。增幅控制器554可以基於從分析模組232接收的一個或多個控制參數來觸發一個或多個增幅致動器564。在另一實現中，來自混音器模組538的接收訊號。同樣地，在又一實施方式中，增幅控制器554可基於從分析模組232接收的一個或多個控制參數或來自混音器模組538的接收訊號來觸發增幅致動器564。然而，主致動器548基於從數位訊號處理鏈接收的訊號產生觸覺輸出。為了舉例說明，觸覺處理系統500A基於輸入音頻訊號502連續地經由主致動器548產生觸覺輸出。然而，助力器控制器554決定何時觸發與主致動器548同相的增幅致動器564。

圖5B示出了觸覺處理系統500B的替代實施方式，其在所有功能中類似於500A，除了在該實施方式中，升幅控制器模組554從振盪器模組536接收輸出訊號。該實施方式的新穎方面是使用簡單的波形來驅動增幅致動器564以產生觸覺輸出。例如，增幅致動器564可以是線性諧振致動器(LRA)，其在諧振頻率下提供最大的觸覺效果並且可以與主致動器548一起集成。基於LRA的增幅致動器564可以在諧振頻率下調諧並且主致動器548是寬帶致動器，其被調諧以在一定頻率範圍內提供良好的頻率響應。這種佈置簡化了增幅致動器564與主致動器548的同步，從而產生更好的觸覺體驗。另外，混音器模組538混合接收從不同源接收的輸入訊號。輸出波形是複雜波形，其被傳遞到主致動器548以產生高清晰度觸覺體驗，而增強訊號由振盪器模組536提供。增幅控制器模組554基於一個或多個控制觸發增幅致動器564。通過雙濾波器模組556、限波器模組558、濾波器模組560和上採樣模組562生成觸覺輸出的參數。儘管僅示出了一個增幅致動器564，但是可以存在一個或多個增幅致動器，例如增幅致動器564A，增幅致動器564B，增幅致動器564C和連接到上採樣模組562的增幅致動器564D。在一個示例中，主致動器548連接到一個或多個增幅致動器，例如增幅致動器564A、增幅致動器564B、增幅致動器564C和增幅致動器564D。在另一個示例中，諸如主致動器548A、主致動器548B、主致動器548C和主致動器548D的一個或多個主致動器可以配置為一個增幅致動器564。在另一個示例中，一個或多個主致動器，例如作為主致動器548A、主致動器548B、主致動器548C和主致動器548D與增幅致動器564A、增幅致動器564B、增幅致動器564C以及增幅致動器564D連接。

圖5C示出了類似於觸覺處理系統500A的觸覺處理系統500C的另一替換實施方式，除了增強控制器模組554接收來自物理諧振模組532的輸出訊號之外。增幅控制器模組554然後觸發增幅致動器564且基於一個或多個控制參數經由雙濾波器模組556、限波器模組558、濾波器模組560和上採樣模組562產生觸覺輸出。藉由將物理諧振模組532連接到增幅控制器模組554，如圖所示，可以放大若干抑制頻率以與主致動器548同步地驅動增幅致動器564。由於在各個階段處理輸入音頻訊號502，一些頻率可能遺失或被抑制並且需要再生或放大到產生逼真的觸覺體驗。這可以藉由將來自物理諧振模組532的觸覺訊號的一部分直接傳遞到增幅控制器模組554來實現，增幅控制器模組554基於與主致動器548同步的一個或多個控制參數來驅動增幅致動器564。示出了增幅致動器564，可以存在一個或多個增幅致動器，例如增幅致動器564A、增幅致動器564B、增幅致動器564C，以及連接到上採樣模組562的增幅致動器564D。在一個示例中，主致動器548連接到一個或多個增幅致動器，例如增幅致動器564A、增幅致動器564B、增幅致動器564C以及增幅致動器564D。在另一個示例中，諸如主致動器548A、主致動器548B、主致動器548C以及主致動器548D的一個或多個主致動器被配置為一個增幅致動器564。在另一個示例中，一個或多個主致動器例如主致動器548A、主致動器548B、主致動器548C及主致動器548D與增幅致動器564A、增幅致動器564B、增幅致動器564C及增幅致動器564D連接。

預置模組524提供用於在乾/濕模組530、混音器模組538、雙濾波器模組540、限波器模組542、濾波器模組544和上行模組中設置參數或預定值的控制。例如，預置模組524可以提供使用者界面來設置控制參數或值。在另一個示例中，乾/濕模組530可以由使用者使用經由軟體或硬體之使用者界面的滑塊來控制。另外，預置模組524用於設置雙濾波器模組556、限波器模組558、濾波器模 組560與增幅致動器564相關聯的上採樣模組562中的控制參數或控制值。控制參數或控制可以使用使用者界面預定義或設置值。

進一步移動，來自振盪器模組536，物理諧振模組532和乾/濕模組530的輸出訊號在混音器模組538中混合在一起。混音器模組538以預定比例混合訊號或者可以通過預置模組524的用戶界面進行設置。來自混音器模組538的輸出被傳遞到雙濾波器模組540和升壓控制器模組554。升壓控制器模組554的輸出被提供給雙模組。雙濾波器模組540和雙濾波器556使用具有截止頻率F1和F2的雙濾波器對輸出進行濾波。分析模組232控制雙濾波器540和雙濾波器556的打開。當檢測到暫態時，分析模組232指示雙濾波器540和雙濾波器556將截止頻率從F1切換到F2。在傳遞暫態之後，分析模組232發送另一個控制訊號以將截止頻率移回F1。在一個示例中，雙濾波器的截止頻率可以在40Hz到250Hz之間。在另一示例中，雙濾波器的截止頻率可以在50Hz到400Hz之間。在另一個實施例中，較低的截止頻率可以在20-60Hz之間，並且較高的截止頻率可以在250Hz至500Hz之間。

然後將雙濾波器模組540的輸出提供給限波器模組542，其確保接收訊號在主致動器548的可接受操作範圍內。否則，其可能在觸覺輸出中產生失真。為了克服這一點，限波器模組542被設置為恰好低於0dB的-3dB以提供平坦的觸覺響應。類似地，來自雙濾波器模組556的輸出訊號被提供給限

波器模組558，這確保接收訊號在增幅致動器564的可接受操作範圍內。

來自限波器模組542的輸出被傳遞到濾波器模組544以過濾導致觸覺輸出中的失真的不想要的頻率。同樣，來自限波器模組558的輸出被提供給濾波器模組560。來自濾波器模組544的輸出訊號被提供給上採樣模組546，用於在主致動器548中產生觸覺輸出之前增加採樣率。同樣，輸出來自濾波器模組560 的訊號被提供給上採樣模組562，用於在增幅致動器564中產生觸覺輸出之前增加採樣率。

圖5A，圖5B和圖5C可以以立體聲或四聲道配置實現。立體聲配置具有左聲道和右聲道，每個聲道具有圖5A，圖5B和圖5C所示的觸覺處理系統。例如，左聲道音頻和右聲道音頻是單獨的數位訊號處理鏈，包括音頻輸入訊號502、預處理模組504、訊號檢測模組506、增益控制器508、增益控制處理器1模組526、增益控制處理器2模組528、包絡跟隨器模組534、振盪器模組536、物理諧振模組532、乾/濕模組530、混音器模組538、增幅控制器模組554、雙濾波器模組540、限波器模組542、濾波器模組544、上採樣模組546，以在主致動器548A中產生觸覺輸出。另外，數位訊號處理鏈還包括增幅控制器554、雙濾波器模組556、限波器模組558、濾波器模組560、上採樣模組562，以在增幅致動器564中產生觸覺輸出。分析模組232控制通過傳遞一個或多個控制參數的數位訊號處理鏈。類似地，在四聲道實現中，存在至少四個觸覺處理模組，每個觸覺處理模組包括具有分析模組的數位訊號處理鏈，並且每個觸覺處理模組與一個或多個主致動器548及一個或多個增幅致動器連接。或者，也可以使用配置成提供虛擬四聲道的兩個觸覺處理模組來實現四聲道。

參考圖5D，示出了立體聲觸覺處理系統500D。立體聲觸覺處理系統500D包括輸入音頻訊號502，其分別被傳遞到數位訊號處理鏈500A或500B或500C，如圖5A，圖5B和圖C所示。為了區分左數位訊號處理鏈和右數位訊號處理鏈，左數位訊號處理鏈顯示為500X，右數位訊號處理鏈顯示為500Y。左數位訊號處理鏈500X和右數位訊號處理鏈500Y的輸出被提供給LR增幅控制器模組570。增幅控制器模組570包括雙濾波器模組、限波器模組、濾波器模組、上採樣模組。另外，左數位訊號處理鏈500X藉由一個或多個左致動器(例如左主致 動器548A和548C)產生觸覺輸出。類似地，右數位訊號處理鏈500Y藉由諸如主致動器548B和主致動器548D之類的一個或多個右主致動器產生觸覺輸出。來自左數字訊號處理鏈500X和右數字訊號處理鏈500Y的輸出訊號的一部分被提供給LR增幅控制器模組570。基於前面描述的一個或多個控制參數來觸發LR增壓控制器。主致動器(例如，主致動器548A和主致動器548B)的觸覺輸出與增幅致動器564協調以產生同步的觸覺體驗。儘管僅提供了一個左主致動器548A和僅一個右主致動器548B，但是在其他實施例中，觸覺處理系統500D可以具有兩個或更多個左主致動器，例如548A和548C，以及兩個或更多個右主致動器，例如548B和548D。

圖5E示出了在本發明的實施例中左主控致動器548A和右主致動器548B與增幅致動器564在耳機上的放置。此外，在本發明的另一個實施例中，一個或多個附加的左主致動器(例如548C和一個或多個附加的右主致動器548D)可以與左主致動器548A和右主致動器548B一起提供，其中增幅致動器564與本發明的另一個實施例一樣。如圖5E所示。

參考圖5F，示出了具有左數位訊號處理鏈500X和右數位訊號處理鏈500Y的觸覺處理系統500F。左數位訊號處理鏈500X和右數位訊號處理鏈500Y彼此相同，但是在不同實施例中是500A、500B或500C中提供的獨立觸覺處理系統。在一個實施方式中，左數位訊號處理鏈500X驅動左主致動器548A和左增幅致動器564A。類似地，右數位訊號處理鏈500Y驅動右主致動器548B和右增幅致動器564B。左數位訊號處理鏈500X和右數位訊號處理鏈500Y的左增幅控制器模組和右增幅控制器模組的輸出也分別提供給LR增幅控制器模組570。LR增幅控制器模組驅動中心與主致動器和增幅致動器同步的增幅致動器564。

參考圖5G，提供了耳機上的觸覺系統的實施方式，其包括在耳機的每個聲道上的至少兩個主致動器和兩個增幅致動器。儘管在耳機上表示示例性實施方式，但是觸覺模組108可以在頭帶、遊戲控制器、遊戲手柄、操縱桿、移動設備或具有觸覺輸出的其他遊戲設備中實現。圖5G描繪了每個聲道中的至少兩個致動器。左聲道具有左主致動器548A、左增幅致動器564A、另一左主致動器548C及另一左增幅致動器564C。同樣，右聲道具有右主致動器548B、右主致動器548D、右增幅致動器564B和右增幅致動器564D。諸如多個主致動器和多個增幅致動器的其他變形也落入本發明的範圍內。

圖5H示出了在耳機上實現的一個或多個主致動器和一個或多個增幅致動器的另一變型。參考500H，該配置包括至少兩個左主致動器548A和548C以及至少兩個右主致動器548B和548D。此外，至少有兩個左增幅致動器564A和564C，以及至少兩個右增幅致動器564B和564D以及中心增幅致動器564。中心增幅致動器564與左增幅致動器564A、564C及右增幅致動器564B、564D。

在本發明的實施例中，限波器模組542和限波器模組558可以與過驅動模組和阻尼模組相關聯。由於主致動器548和增幅致動器564的初始重量，當激勵電壓傳遞到主致動器548和增幅致動器564時，需要時間來實現預期的振動。這是由於致動器中的移動質量的重量。執行器的慢響應由過驅動模組補償，該模組提供額外的激勵以在初始激勵時達到預期的振動。另外，主致動器548和增幅致動器564中的移動質量的重量在振動期間獲得慣性。由於在振動期間獲得的慣性，主致動器548和增幅致動器564中的移動質量不會立即停止。為了補償主致動器548和增幅致動器564的附加振動，提供了阻尼模組。阻尼模組可以提供反向激勵電壓以衰減振動，並立即停止主致動器548和增幅致動器564。

限波器模組542和限波器模組558的輸出可以分別提供給濾波器模組544和濾波器模組560，以衰減任何不需要的頻率。濾波器模組544和濾波器模組 560的輸出可以分別傳遞到上採樣模組546和上採樣模組562，以將採樣率增加到期望的水平。上採樣訊號被傳遞到數位到類比電路，以分別驅動主致動器548和增幅致動器564以產生觸覺輸出。

圖6描繪了本發明的實施例中的輸入音頻訊號處理中的各種參數。這些參數包括攻擊時間，釋放時間，膝蓋，增益和除了可以在至少一個動態處理器中實現的其他參數之外的閾值，例如，雜訊閘模組206和壓縮機模組212中的分別與側鏈模組208A和208B相關聯。

參考圖6A，在本發明的實施例中提供了與側鏈模組208及側鏈模組310相關聯的不同參數。為了簡化和分析，輸入音頻訊號202被表示為輸入數位訊號606。閾值位準410被設置為-20dB。在備選實施例中，閾值410可以設置在-10dB到-20dB之間。

輸入數位資料606在閾值610上未衰減地傳遞。當輸入數位資料606剛剛達到閾值610時，雜訊閘206被打開並傳遞所有輸入數位資料606數位資料606低於閾值610，雜訊閘206閉合。在閉合狀態下，雜訊閘206衰減輸入數位資料606。當輸入數位音頻訊號606處於閾值610時，側鏈模組208B觸發上升時間612。上升時間612是所需的時間。雜訊閘206從閉合狀態進行交易。這種從閉合到開放的狀態變化也稱為淡入持續時間。在一些實施例中，上升時間可以在10毫秒至50毫秒之間。上升時間612是雜訊閘206從閉合狀態到打開狀態的平滑交易所必需的，反之亦然。在沒有平滑交易的情況下，用戶可能在短時間內經歷沉默。一旦輸入數位資料606越過閾值610，雜訊閘206就閉合以將輸入音頻訊號202衰減預定值，稱為增益因子/增益減小或衰減因子。在一些實施例中，分析模組232可以控制增益因子。此外，分析模組232還實時地控制閾值610。例如，分 析模組232可以傳遞諸如2.0的絕對值。可選地，分析模組232可以向雜訊閘模組206提供相對值，例如除數(將電流水平除以2)或降低閾值14%。隨後，在時間T1之後，輸入數位音頻資料606下降到低於閾值610。在這種情況下，雜訊閘206不是暫時打開，而是在打開之前保持短時間；該短時間段被稱為保持時間618。保持時間618是在輸入數字資料訊號606下降到低於閾值610之後雜訊閘206關閉之前的時間。這使得雜訊閘206的打開狀態與閉合狀態之間的平順執行成為可能，並且還消除了可能引起輸出訊號608中的靜音或咔嗒聲的任何突然變化。啟動釋放時間620以開啟關閉雜訊閘206的過程。在另一個實施例中，觸覺處理模組可以使用軟體指令智能地改變保持時間以避免抖動。在觸覺處理模組200的多閾值實現中特別提供該供應以避免滯後。雜訊閘206可以在釋放時間620結束之後關閉。在本發明的一些實施例中，釋放持續時間可以在0.1ms至1000ms之間變化。輸出波形608如圖6B所示。在本發明的本實施例中，輸出波形608用實線表示。在此期間，雜訊閘206打開。相反，當雜訊閘206閉合時，輸出波形608被抑製或衰減預定量，這在圖6B中用虛線示出。以上實現是一個示例性表示，其在圖6A和圖6B中提供，本領域技術人員將理解，輸出波形和相關參數存在若干變形，這些變形落入本發明的範圍內。

圖7示出了在本發明的一個實施例中的雜訊閘206處的輸入音頻訊號和輸出訊號202。圖7A示出了輸入音頻訊號202被施加到雜訊閘206。輸入音頻訊號202也被傳遞到側鏈模組208A，側鏈模組208A包括檢測器。檢測器監視輸入音頻訊號202的狀態以確定輸入音頻訊號202是高於還是低於閾值水平。當輸入音頻訊號202超過閾值位準時，輸入訊號未經改變地傳遞。然而，當輸入音頻訊號202低於閾值時，輸入音頻訊號202乘以增益因子/增益減小。由於增益因子 小於1，這大大減小了輸入音頻訊號202。該結果是圖7B中所示的輸出訊號。藉由改變0和1之間的增益因子值，控制施加到輸出訊號的衰減量。另外，分析模組232藉由將參數傳遞到雜訊閘206來同時控制與雜訊閘模組相關聯的參數，例如，閾值。

在本發明的一個實施例中，分析模組232可以提供對訊號增益的附加控制以增強輸出訊號。分析模組232可以基於輸入音頻訊號202的分析來調整某些參數。分析模組232不直接干擾輸入音頻訊號202的處理，而是控制用於調整包括其他模組的數位訊號處理鏈的一個或多個參數。分析模組232對參數的調整控制輸出訊號以便為使用者產生更好的觸覺體驗。在本發明的實施例中，訊號處理流程鏈的所有過程和在分析模組中執行的所有過程可以並行操作。在本發明的另一個實施例中，可以使用虛擬化來實現一些或所有過程。

在一個示例中，為了清楚地顯示本發明的優點，觸覺處理模組200具有數位訊號處理鏈，其包括預處理器模組204、動態處理器206和212、側鏈208A和208B、包絡跟隨器模組214、振盪器模組218、諧振模組220、混音器模組222、低通濾波器224、限波器模組226、鐘形濾波器模組228和致動器230。數位訊號處理鏈是輸入音頻訊號202的流動路徑也被輸入到分析模組232，分析模組232對輸入音頻訊號202執行分析但不干擾訊號流。其僅為數位處理訊號鏈提供控制參數。

在一些實施例中，由分析模組232控製或調整的參數可以是增益、振幅、頻率、音調、音色、諧波構成、波形、雜訊或一些其他類型的參數。

在替代實施例中，分析模組232可以是可選的。在又一個實施例中，分析模組232可以部分地實現為僅在雜訊閘模組處控制參數。在又一個實施例中，分析模組232可以與雜訊閘模組206和壓縮器模組212相關聯。在又一實現中，分析模組232可以與雜訊閘模組206、側鏈模組208、壓縮器、模組212及包 絡模組214相關聯。使用分析模組232的各種其他實現是可能的，其允許控製或調整與輸入音頻訊號202相關聯的參數以優化使用者的觸覺體驗。

圖8示出了本發明實施例中的壓縮器模組212處的輸入訊號和輸出訊號。圖8A示出了在壓縮器模組212的輸入處從雜訊閘206接收的輸入音頻訊號202。壓縮器模組212的主要功能是減小輸入音頻訊號的動態範圍。音頻訊號的動態範圍是音頻訊號中最安靜和最響亮部分之間的差異。聲音可以通過三種永久性質來定義，即響度、音高和音質(音色)，其對應於三種物理質量，即振幅、頻率及諧波構成或波形。

壓縮機模組212處接收的輸入音頻訊號202的振幅至少基於壓縮比及/或閾值而減小。側鏈模組208B中的檢測器檢測輸入音頻訊號202何時越過閾值。當接收的輸入訊號超過閾值時，輸入訊號的振幅乘以從壓縮比導出的增益因子/增益減小。圖8A描繪了示例性圖示中的1：4的壓縮比。壓縮比和閾值可以根據觸覺處理要求而變化。在其他實施例中，壓縮比可以是1：2至1：100的比例。在一些實施例中，閾值可以在0dB到-20dB之間。

在本發明的較佳實施例中，壓縮比可以設定為1：5。閾值可以設置在-20dB到-36dB之間。壓縮器模組212的輸出訊號在圖8B中示出。圖8A示出了通過將輸入音頻訊號的振幅限制在閾值以上而使動態範圍顯著減小的輸出訊號。

圖9示出了本發明的實施例中的壓縮器處的增益和減小的動態範圍。分析模組232可以通過實時提供參數來調節應用於輸入音頻訊號202的增益，以控制壓縮器模組212的增益。圖9A示出了在沒有分析模組232的情況下壓縮器模組212的輸出訊號。圖9B描繪了當分析模組232應用控制參數時壓縮器模組212的輸出訊號。分析模組232實時連續地提供控制參數。壓縮得到的訊號(輸 出訊號)以減小其動態範圍以及應用於其的增益因子。在一些實施例中，增益因子可以基於各種參數而變化，例如但不限於輸入音頻訊號的振幅、頻率、音調、音色、諧波構成、波形和雜訊位準。

在替代實施例中，多個參數可以共同確定在壓縮器模組212中處理音頻訊號期間由分析模組232調整的增益因子。

參考圖10，在本發明的實施例中提供了觸覺處理模組200的流程圖。過程1000於步驟1002開始。在步驟1004，過程1000接收用於生成觸覺輸出的數位音頻訊號。在步驟1004接收的輸入音頻訊號可以是數位或類比音頻訊號。在本發明的一個實施例中，過程1000可以接收數位訊號資料。在將類比訊號傳遞到步驟1006之前，使用類比數位轉換器將接收的類比訊號轉換為數位訊號。在另一實施例中，過程1000可以接收數位音頻資料。當輸入音頻訊號是數位訊號時，不需要類比數位轉換器。在步驟1006，訊號檢測模組處理音頻訊號以探測輸入音頻訊號的存在。如果訊號檢測模組感測到輸入音頻訊號，則觸覺處理模組200藉由檢測模組保持在電源ON狀態，否則進入省電模式。另外，如果僅在輸出處檢測到訊號，則檢測模組在進入省電模式之前等待預定義的時段。可以理解，即使沒有輸入音頻訊號，訊號檢測模組也可以產生觸覺訊號至少幾秒。這是由於當前正在處理的觸覺處理模組中存在音頻訊號。在檢測模組可關閉對觸覺處理模組的供電前的延遲量是預先設置的或硬編碼的。在本發明的一個實施例中，與延遲時間相關的參數可以包括但不限於延遲的補償時間、電子電路引起的延遲、音頻訊號中的雜訊量、音頻訊號的質量、音頻訊號的強度、音頻訊號等。

在步驟1008中，處理接收訊號以減少輸入音頻訊號中的雜訊。包括檢測器和閾值的側鏈模組用於實現輸入音頻訊號中的雜訊的減少。輸入音頻訊號同時傳遞到側鏈模組和雜訊閘模組。側鏈模組具有檢測器，其檢測輸入音頻訊號是高於還是低於閾值。當輸入音頻訊號高於閾值時，雜訊閘打開，輸入訊號通過其未衰減。然而，當輸入音頻訊號低於閾值時，藉由將輸入訊號乘以增益因子來衰減輸入音頻訊號。在一些實施例中，增益因子可以在數值0和1之間，例如，0.3、0.75、0.89等。另外，雜訊閘處的輸入音頻訊號也可以由分析模組動態調整。分析模組可以通過監視振幅峰值來調整輸入音頻訊號的增益。

在步驟1010中，減小音頻訊號的動態範圍。訊號動態範圍的減小由側鏈模組和分析模組控制。側鏈模組包括檢測器和閾值模組。閾值模組用於設置閾值。從步驟1008接收的音頻訊號同時傳遞到側鏈模組和壓縮器模組。另外，分析模組可以動態地調製輸入音頻訊號的增益以優化觸覺輸出訊號。輸入音頻訊號被傳遞到側鏈模組，側鏈模組檢測輸入音頻訊號是否低於或高於閾值。如果輸入音頻訊號低於閾值，則檢測器向壓縮器指示在沒有任何壓縮的情況下傳遞整個輸入訊號。然而，如果輸入音頻訊號高於閾值，則檢測器向壓縮器發送指示以對輸入訊號施加壓縮。可以基於壓縮比確定可以應用於輸入訊號的壓縮量。在本發明的一些實施例中，所施加的壓縮量由不同的參數確定，包括但不限於輸入訊號的振幅、相位和頻率。分析模組還動態調整輸入訊號的增益。在一些實施例中，分析模組可以接收輸入音頻訊號。分析模組可以監視輸入音頻訊號10秒以測量輸入訊號的峰值是否低於3dB。

然後，在步驟1012中，來自壓縮器模組的經處理的音頻訊號通過包絡檢測器模組傳遞，其提取所接收的輸入訊號的訊號包絡。包絡檢測器模組從高頻波形產生低頻波形，並且還將雙極訊號轉換成單極訊號。該低頻波形是 高頻波形的精確複製品。由包絡檢測器模組產生的包絡訊號使用固定頻率振盪器模組進行調製。在一些實施例中，固定頻率振盪器模組可以被調諧到致動器的諧振頻率。來自步驟1010的經處理的音頻訊號的一部分同時傳遞到諧振模組。在步驟1014，由膜或弦樂器產生的低頻分量由諧振模組放大。在一個示例中，增強了在混合不同音頻頻率期間可能已經衰減和/或抑制的低頻分量以產生觸覺訊號。在另一示例中，可以將弦或膜生成的頻率添加到接收的音頻訊號以產生觸覺訊號以增強用戶體驗。

在步驟1016，將從不同源/模組接收的音頻訊號在混音器模組中混合。來自乾/濕模組(圖10中未示出)的輸出訊號和來自步驟1012和1014的音頻輸出訊號被混合以產生觸覺輸出訊號。音頻訊號的混合確保了致動器產生優化的觸覺訊號響應。例如，由於頻率的高混合，可能難以提取用於產生觸覺訊號的正確頻率集。在另一示例中，由於大的高頻分量，在音頻訊號處理期間也消除了大多數低頻分量。在又一示例中，如果音頻訊號輸入被過度處理，則在各種模組的處理期間也濾除要從輸入音頻訊號導出的觸覺訊號。訊號的混合產生適當的訊號質量以產生觸覺響應。

步驟1018的輸出訊號被傳遞到低通濾波器，用於去除任何殘餘的高頻分量。其還消除了對觸覺訊號輸出沒有貢獻的不需要的訊號。隨後在步驟1020通過至少一個濾波器(例如，鐘形濾波器)處理來自1016的音頻輸出，以增加固定頻率振盪器的諧振頻率內和周圍的觸覺訊號的頻率響應。在步驟1022，致動器接收輸出訊號以產生對用戶的觸覺響應。過程1000在步驟1024結束。

在本發明的另一個實施例中，圖11描繪了沒有分析模組的數位訊號處理鏈的流程圖1100。過程1100在步驟1102開始。在步驟1104中，過程1100 接收音頻輸入訊號。在步驟1106，執行過程1100的輸入和輸出處的訊號的檢測。如果沒有檢測到輸入或輸出訊號，則觸覺處理模組可以進入電池節省模式。另一方面，如果在輸入或輸出處存在訊號，則觸覺處理模組保持在電源接通狀態。在步驟1108，輸入音頻訊號由具有側鏈模組的雜訊閘處理，以消除輸入音頻訊號中的雜訊。與雜訊閘模組相關聯的側鏈模組包括檢測器和閾值。當檢測器高於或低於閾值時，檢測器檢測到訊號。當輸入音頻訊號高於閾值時，整個輸入音頻訊號由雜訊閘模組傳遞。然而，當輸入音頻訊號低於閾值時，雜訊閘關閉以通過衰減比或增益比/增益減小來衰減輸入訊號。來自雜訊閘的經處理的輸出被傳遞到步驟1110，其中壓縮接收的訊號以通過壓縮器模組減小其動態範圍。步驟1110的處理輸出同時傳遞到步驟1112和1114。在步驟1112，高頻訊號被再現為低頻訊號。低頻訊號是頻率降低的接收輸入訊號的精確複製品。此外，用固定頻率振盪器調製該低頻訊號以產生調製輸出訊號。同時，在步驟1114，分析接收訊號的由弦或膜儀器產生的低頻分量；由於不同音頻頻率的混合，這些低頻分量可能已被抑制。另外，可以基於接收訊號中存在的音頻指紋來重建這些低頻。在步驟1116，來自步驟1112和1114的輸出訊號被混合。另外，步驟1116接收來自包括乾/濕訊號比的預設的輸入。來自步驟1116的輸出訊號在步驟1118通過低通濾波器傳遞。在步驟1120，低通濾波器的輸出通過鐘形濾波器傳遞，以適應接近和諧振頻率附近的頻率的充分響應。執行器。在步驟1122中，輸出訊號被饋送到致動器以產生觸覺響應。過程1100在步驟1124結束。

參考圖12，提供了用於降低雜訊閘處的輸入音頻訊號中的噪聲的流程圖。過程1200是在步驟808中執行的過程的詳細流程圖。過程1200在步驟804通過接收音頻輸入訊號開始。步驟804的音頻訊號輸入被下採樣到適當的級別以 減少不需要的資訊。輸入音頻訊號以使訊號適於觸覺處理。訊號的下採樣可以包括：如果接收的訊號是類比訊號，則通過數位類比轉換器使輸入音頻訊號通過。在步驟1204，將輸入音頻訊號直接饋送到預混音器模組。在步驟1206，由雜訊閘模組和側鏈模組處理下採樣音頻訊號，以減少輸入音頻訊號中的噪聲分量。側鏈模組包括檢測器和閾值。向側鏈模組饋送輸入音頻訊號，設置閾值，並且檢測器確定輸入訊號是否低於或高於設定閾值。當輸入訊號高於閾值時，雜訊閘打開以傳遞輸入音頻訊號而沒有任何衰減。在輸入音頻訊號低於閾值的情況下，雜訊閘通過增益因子/增益減小來衰減輸入訊號，增益因子/增益減小可以在0和1之間，至少取決於輸入訊號中存在的噪聲的位準。

在另一個實施例中，側鏈模組208A可以包括低通濾波器以預濾除不想要的頻率。步驟1206的輸出作為輸入傳遞到步驟1204。音頻輸入訊號與步驟1206的輸出訊號的比率被稱為「乾/濕訊號比」。在本發明的一個實施例中，預混合比可以是固定的並且是硬編碼的。或者，可以由用戶使用旋轉或觸摸界面從一組可用的預設值中選擇預混合比。步驟1204的輸出提供給步驟1208。

參考圖13，在本發明的實施例中詳細示出了在與壓縮器模組相關聯的步驟810下執行的過程1300。過程1300從雜訊閘模組1008接收經處理的訊號。過程1300在步驟1302從側鏈模組接收輸入音頻訊號。側鏈模組包括檢測器和能夠設置閾值的閾值模組。在步驟1302，固定閾值。隨後，通過檢測器相對於閾值監視輸入音頻訊號。檢測器連續地檢測輸入音頻訊號的位準相對於閾值，以調節壓縮器模組中的增益。當輸入音頻訊號低於閾值時，不施加壓縮。相反，當輸入音頻訊號高於閾值時，在壓縮時對接收訊號施加壓縮。施加的壓縮由壓縮比確定，壓縮比可以從1：2到1：10變化，這取決於與輸入音頻訊號相關聯的各種參數。該比率確定應用於輸入訊號的增益減少量，例如，4：1的比率 意味著如果輸入位準超過閾值4dB，則輸出訊號位準在閾值上減小到1dB。增益和輸出位準降低了3dB。最後，在步驟1308，產生來自壓縮器的輸出訊號。

圖14示出了在步驟812中發生的與由包絡跟隨器模組提取訊號和提取的訊號的調製相關聯的過程的細節。在步驟1108，來自壓縮器模組的輸出訊號被饋送到包絡跟隨器模組。包絡跟隨器模組執行從壓縮器模組處接收的輸出訊號中提取音頻訊號。在步驟1402，通過包絡跟隨器模組將高頻訊號轉換為低頻訊號。在步驟1404，將包絡跟隨器模組的輸出提供給固定頻率振盪器。壓縮器模組的音頻輸出也同時提供給諧振模組，如前面圖8中的過程800所討論的。固定頻率振盪器可以是調諧到執行器的諧振頻率附近或附近。在較佳實施例中，固定頻率振盪器被調諧到致動器的諧振頻率。諧振模組放大音頻訊號中抑制的低頻分量。另外，諧振模組被委託補充在音頻訊號內混合在一起的頻率，並且將產生觸覺訊號以獲得更好的用戶體驗。進一步移動，諧振模組的輸出被饋送到輸入混音器模組。

參考圖15，流程圖示出了與本發明的實施例中的預混音器模組相關聯的過程1500。過程1500從固定頻率振盪器模組接收輸入音頻訊號1502。該訊號是「乾/濕」訊號的比率。在步驟1504，接收來自諧振模組的處理訊號。另外，在步驟1506，接收來自預置模組的處理訊號，其是預定比例的乾/濕訊號比的混合。可以注意到，在步驟1508中同時接收所有這些訊號並以預定比例混合以產生輸出訊號，該輸出訊號可以饋送到低通濾波器。

圖16示出了1600處的過程，示出了在本發明的實施例中的分析模組內的輸入訊號處理。該過程在1602處開始。在步驟1604，過程1600接收輸入音頻訊號，該輸入音頻訊號可以是數位訊號。接收的輸入訊號同時傳遞到步驟1606和1608。在步驟1606，接收的輸入音頻訊號被傳遞到快速包絡跟隨器和慢 包絡跟隨器，以確定輸入音頻訊號中的暫變。在其他實施例中，可以利用本領域中用於暫態檢測的各種技術來確定輸入音頻訊號中的暫變的存在。同時，在步驟1608，分析輸入音頻訊號以確定訊號峰值。可以針對輸入音頻訊號的特定時間分析訊號峰值。在較佳實施例中，指定時間是10毫秒。在其他實施例中，可以使用不同的參數來確定指定的峰值，包括但不限於幅度，頻率和音調，並且可以在10毫秒到60毫秒之間變化。

在步驟1610，連續接收輸入音頻訊號的均方根(RMS)值。RMS值可以在步驟1602計算，或者可以在步驟1410自身計算。或者，可以從其他模組接收它們。

進一步進行到步驟1610，當檢測到暫變時，分析模組暫時停止將在步驟1608確定的峰值訊號值添加到RMS訊號值。RMS值設置為零。此時，分析模組在步驟1614啟動對輸入RMS訊號的分析至少一秒。在步驟1616中，分析模組計算並將6分貝加到從輸入音頻訊號獲得的RMS值。最後一組輸入音頻訊號值可以暫時儲存在與分析模組相關聯的記憶體中。

並行地，在步驟1614計算的峰值訊號值被傳遞到步驟1614，用於計算峰值訊號值(以分貝為單位)與恆定的6dB增益之間的差值。由此獲得的訊號值暫時儲存在記憶體中的暫存器中。

在步驟1618中，決定臨時存儲在暫存記憶體中的兩個輸出的最小值，即，在步驟+6dB處獲得的RMS訊號值的第一個及通過減去常數而在步驟1614獲得的第二個輸出的最小值，例如，距峰值訊號值6dB的距離。在步驟1620中，將在比較第一和第二值之後獲得的最小值傳遞到雜訊閘，以動態地控制閾值。

在本發明的其他實施例中，取決於所需的觸覺處理，恆定值(例如，6dB距離)的加或減可在-0dB到-20dB之間變化。此外，6dB的分貝常數值可 取決於訊號噪聲，幅度，頻率，瞬變發生的頻率或一些其他參數。類似地，根據訊號處理要求，減去恆定值，例如距訊號峰值的6dB距離可以在0dB到-20dB之間變化。在其他實施例中，從訊號峰值減去恆定值(例如，6dB或-6dB距離)可取決於輸入音頻訊號的幅度，頻率和噪聲水平。

在步驟1616，從步驟1614輸出的訊號也被傳遞到側鏈模組以控制低音。在本發明的一個實施例中，子低音模組可以是側鏈模組的一部分。或者，它可以表現為單獨的模組。該過程在1624結束。

參考圖17，在本發明的實施例中提供了壓縮器訊號控制1700的過程。過程1700還描繪了在執行期間來自其他過程的參數控制。過程1700在1702處開始。在步驟1704，過程1700接收輸入音頻訊號。輸入音頻訊號可以是數位訊號。同時，過程1700還從諧振模組1706接收反饋訊號。在步驟1708，將接收的輸入音頻訊號和來自物理諧振模組的反饋訊號相加並傳遞到低通濾波器。低通濾波器傳遞接收訊號中的低頻。在步驟1710，基於從記憶體接收的峰值訊號值對壓縮器模組的增益進行歸一化。隨後，一旦壓縮器模組的增益被歸一化，過程1700在步驟1712計算RMS訊號值或接收的音頻輸入訊號的峰值訊號值。在另一實施例中，過程1700在步驟1712計算RMS訊號值和接收的音頻輸入訊號的峰值訊號值。此外，在步驟1714，過程1700基於閾值計算要應用於壓縮機模組的增益減小。閾值可以由與壓縮器模組相關聯的側鏈模組提供。在步驟1718，過程1700從記憶體接收參數，例如絕對值或相對值。例如，絕對值可以基於所接收的參數；過程1700調節與壓縮器模組相關聯的附接釋放包絡從動件的釋放時間。在一些實施例中，壓縮器模組可以具有一個或多個包絡跟隨器，其可以包括攻擊釋放包絡跟隨器，攻擊釋放保持包絡跟隨器等。在步驟1720，過程1700可以將增益減小設置為應用於壓縮器。最後，在步驟1722，輸出訊號被傳遞到壓縮器增益控制模組。過程1700可以在步驟1726處終止。

參考圖18，在本發明的實施例中提供了1800中的峰值訊號檢測的過程。過程1800還描繪了在執行期間來自其他過程的參數控制的實現。過程1800在步驟1802開始並立即轉到步驟1804。在步驟1804，過程1800接收輸入音頻訊號。在步驟1808確定輸入音頻訊號的峰值和RMS值並將其傳遞到記憶體。另外，在步驟1808，還將峰值和RMS值傳遞用於計算通過比較(a)從6dB減去的峰值(以dB為單位)以及(b)將RMS值(以dB為單位)增加到6dB而獲得的最小值。計算這兩個值中的最小值並將其傳遞到步驟1812。另外，將計算的值儲存在暫存器或記憶體中，例如1724，以傳遞給其他過程。過程1800在步驟1810處終止。

圖19示出了本發明的實施例中的雜訊閘訊號控制1900的過程。過程1900還描繪了在執行期間來自其他過程的參數控制的實現。過程1900在步驟1902開始並立即轉到步驟1904。在步驟1904，接收的音頻輸入訊號被傳遞到低通濾波器以去除高頻分量。在較佳實施例中，低通濾波器可以具有200Hz的截止頻率。然而，在其他實施例中，低通濾波器的截止頻率可以在80Hz到250Hz之間。在步驟1908，分析從低通濾波器接收的訊號以確定峰值訊號值。在步驟1910，利用從訊號中提取的峰值來基於至少一個參數計算增益減小。另外，步驟1910還從步驟1612接收控制參數，包括通過比較兩個值導出的最小分貝值，即(a)從6dB減去峰值(以分貝為單位)和(b)獲得的RMS值(以分貝為單位)加上6dB。在一些實施例中，參數可以是地板、拐點及閾值或一些其他參數。在本發明的較佳實施例中，用於計算增益減小的參數基於地板、拐點和閾值。一旦計算出增益減少，就在步驟1912將其傳遞給上升釋放保持包絡跟隨器。隨後，在步驟1914，將上升釋放保持包絡跟隨器的輸出發送到雜訊閘模組。該過程在步驟1916終止。

參考圖20，在本發明的實施例中提供了RMS訊號檢測2000的過程。過程2000還描繪了在執行期間來自其他過程的參數控制的實現。過程2000在步驟2002開始並立即移動到步驟2004。在步驟2004，過程2000接收輸入音頻訊號。輸入音頻訊號與從暫態二進制2010接收的輸入訊號混合。暫態二進制是二進制值，其為0或1。在步驟2006計算輸入音頻訊號的均方根值。在步驟2006中計算的平均值被傳遞到步驟2008。步驟2008還從峰值檢測模組接收參數。在一些實施例中，所接收的參數可以通過函示呼叫、程序、子常式或通過引用記憶體或通過某種其他類型的參數交換機制來實現。此外，在步驟2008，確定兩個值的最小距離，所述兩個值是(a)從6分貝減去的峰值和(b)分別加上6分貝的RMS值。以分貝為單位的所計算的最小值用於饋送如本文和別處所述的其他過程。過程2000在步驟2012終止。

參考圖21，在本發明的實施例中提供了2100中的峰值訊號檢測的過程。過程2100在步驟2102開始並立即轉到步驟2104。在步驟2104，過程2100接收輸入音頻訊號。在步驟2106，輸入音頻訊號通過低通濾波器傳遞。低通濾波器的輸出分別在步驟2108同時提供給快速包絡跟隨器，在步驟2110同時提供慢包絡跟隨器。在步驟2108，計算快速包絡跟隨器和慢包絡跟隨器的輸出訊號的分貝值。在步驟2112確定快速包絡跟隨器和慢包絡跟隨器的分貝值之間的差異以得到暫態分數。

在一些實施例中，快速包絡跟隨器和慢包絡跟隨器的差異以分貝表示暫態分數。或者，可以通過將快速包絡跟隨器和慢包絡跟隨器的差值以分貝與恆定值相乘來確定暫態分數。在步驟2114，定義暫態閾值水平。可以利用預置模組來設置暫態閾值水平。在另一個實施例中，預測和智能模組可以動態地控制暫態閾值水平。在又一個實施例中，預測和智能模組可以實現學習演算 法以預先預測優化的暫態閾值水平。在又一個實施例中，可以基於接收訊號的不同參數(諸如頻率、諧波振幅度及相位)來確定暫態閾值水平。

在步驟2116，基於暫態分數計算暫態二進制。針對暫態閾值水平分析暫態分數；當暫態分數高於暫態閾值時，暫態二進制值設置為1，否則設置為0。暫態二進制數是一個數字值。在步驟2118，將暫態二進制與暫態分數相乘以確定暫態輸出，該暫態輸出被提供給雙濾波器以允許暫態通過雙濾波器傳遞。在一個實施例中，雙濾波器是兩個低通濾波器，第一低通濾波器1和第二低通濾波器2的組合。暫態輸出以截止頻率f1提供給第一低通濾波器1並且第二低通濾波器2具有截止頻率f2。當檢測到暫態時，預測和智能模組可以指示雙濾波器傳遞暫態以增強用戶體驗。在暫態傳遞之後，雙濾波器可以立即閉合以衰減其他較高頻率分量。暫態訊號對於提供增強的觸覺體驗是必要的。雙濾波器允許在檢測到暫態時移動截止頻率。雙頻移動第一低通濾波器1和第二低通濾波器2的截止頻率，以允許暫態通過並隨後將截止頻率淡化到它們的正常截止頻率值。例如，當檢測到暫態時，具有截止頻率f1的第一低通濾波器1被移位到更高的截止頻率f3，而具有截止頻率f2的第二低通濾波器2被移位到更高的截止頻率f4，以適應暫態的傳遞。

在一些實施例中，暫態SCORE可以是離散數字值，例如0.2、0.3......2.15等。所確定的二進制值被傳遞到步驟1810，其被提供給過程1800的tRMS檢測模組。在步驟2118，計算輸出訊號並隨後將其發送到包絡跟隨器模組和與本文所述的其他過程相關聯的雙過濾器及其他地方。過程2100在步驟2120終止。

在本發明的一個實施例中，由分析模組將數值傳遞給雙濾波器是藉由傳遞依數值、參考、共享記憶體或指標之參數來完成。

在一些實施例中，藉由分析模組將參數值傳遞給包絡跟隨器模組是藉由傳遞數值、參考、共享記憶體、指標之參數或其他傳遞參數的方式來實現。

在一些實施例中，雙濾波器可以由具有不同截止頻率的多通濾波器代替，例如F1、F2、......Fn。分析模組可以被程式設計為根據暫態的頻率範圍來控制頻率的移位。分析模組可以確定頻率範圍並相應地基於暫態的頻率範圍設置多通濾波器。

在本發明的實施例中，分析模組可以實時接收輸入音頻訊號202，而數位訊號處理流程鏈可以輸入具有幾毫秒延遲的輸入音頻訊號。分析模組可以分析訊號以預先識別暫態並相應地操作雙濾波器或多濾波器以傳遞暫變。在該實施例中，預測和智能模組可以在數位訊號處理流程鏈處理它們之前預測暫態和峰值。

隨後的段落1-10定義了形成本揭露的一部分的其他實施例。

段落1。提供了一種觸覺處理方法，包括：接收輸入音頻訊號；分析輸入音頻訊號，用於計算具有變化窗口大小的固定時間段的峰值幅度值和均方根值；利用計算的峰值振幅值和計算出的均方根值，通過以下方式於至少一動態處理器設置增益控制：(a)確定峰值振幅值和預定增益之間的差值；(b)確定均方根值和預定增益的總和；其中，從峰值振幅值中減去的預定增益以及加到均方根值的預定增益是常數；確定在步驟(a)和步驟(b)確定的兩個值的最小值；應用最小值以動態調製至少一個動態處理器的閾值水平。在一個實施例中，具有恆定值的預定增益在-10dB到-20dB之間。在一個實施例中，將最小值作為參數提供給至少一個動態處理器，以實時更新至少一個動態處理器的 增益。在一些實施例中，獨立於數位訊號處理鏈計算參數。此外，基於輸入訊號特性和由分析模組從輸入音頻訊號累積的智能來提供參數。

段落2。提供了一種非暫時性計算機可讀介質，其上存儲有指令，當由處理器執行時，使得處理器執行接收輸入音頻訊號的功能，分析輸入音頻訊號以至少計算對於具有變化的窗口大小的固定時間段，一個峰值振幅值和至少一個均方根值，確定分析的至少一個峰值振幅值以計算峰值訊號值，確定分析的至少一個均方根值到計算平均均方根值，通過(a)確定峰值訊號值和預定恆定增益之間的差值，以及(b)確定均方根的總和，設置至少一個動態處理器的增益值和預定的恆定增益，其中從峰值振幅值中減去預定的恆定增益，並將預定的恆定增益加到均方根上值，(c)確定在步驟(a)和步驟(b)確定的兩個值的最小值，並且(d)應用確定的最小值以動態調製至少一個動態處理器的閾值位準。

段落3。一種觸覺處理系統，具有數位訊號處理流程鏈，包括預處理器、至少一個動態處理器、存儲器、包絡跟隨器、物理諧振模組、固定頻率振盪器、低通濾波器、鐘形濾波器、限頻器和執行器。觸覺處理系統還包括與至少一個動態處理器和存儲器相關聯的分析模組，並且能夠接收輸入音頻訊號。分析模組包括均方根模組，其能夠接收輸入音頻訊號以計算均方根值。計算出的均方根值加上預定的常數值。峰值檢測模組接收輸入音頻訊號以計算峰值訊號值。從預定的恆定值中減去峰值訊號值。加到均方根值並從峰值中減去的常數值是相同的。另外，預測模組計算兩個值的最小值，即(a)加到預定常數值的均方根值，和(b)從峰值訊號值中減去的峰值訊號值。該最小值暫存在記憶體中。暫存值被提供給至少一個動態處理器。

段落4。提供了一種觸覺處理方法，包括接收輸入音頻訊號，處理輸入音頻訊號以消除噪聲並使用至少一個動態處理器減小輸入音頻訊號的動態範圍的步驟。至少一個動態處理器與側鏈模組，檢測器模組和閾值模組相關聯。此外，數位訊號處理鏈中的至少一個動態處理器與閾值和增益相關聯。分析模組分別接收輸入音頻訊號，以通過計算一個或多個峰值訊號值、均方根值和固定時間段的暫態值來確定音頻輸入訊號特性。分析模組基於一個或多個峰值訊號值，均方根值以及要實時應用於至少一個動態處理器的暫態值來計算閾值參數和增益參數。閾值參數和增益參數由分析模組使用函式呼叫、變量或作為記憶體參考傳遞給至少一個動態處理器。至少一個動態處理器利用閾值參數來設置閾值水平。不同的動態處理器利用增益參數來控制在數位訊號處理鏈中處理的訊號的增益。數位訊號處理鏈使用閾值參數和增益參數來連續動態地更新至少一個動態處理器以產生觸覺輸出。在一個實現中，數位訊號處理鏈包括兩個動態處理器，第一個是雜訊閘，其中與側鏈相關聯的雜訊閘具有至少閾值、保持時間、釋放時間、上升及拐點。第二動態處理器是壓縮器，其中壓縮器與具有至少閾值、保持時間、釋放時間、上升及拐點的側鏈相關聯。

段落5。提供了一種觸覺處理系統，其包括數位訊號處理鏈。數位訊號處理鏈還包括至少一個動態處理器，該至少一個動態處理器被配置為接收具有閾值位準和增益的輸入音頻訊號。此外，使得至少一個動態處理器能夠接收參數以動態地控制至少一個動態處理器的閾值水平或增益。包絡跟隨器被配置為接收雙極訊號並將其轉換為單極訊號並將輸入音頻訊號轉換為低頻訊號。另外，提供固定頻率振盪器以在調諧的諧振頻率處或附近調製低頻音頻訊號。另外，諧振和物理模型增強了低頻音頻訊號並進一步放大了被抑制的低頻訊號。混頻器模組被配置為混合來自預設，諧振模型和固定頻率振盪器的接收音頻訊號。低通濾波器耦合到鐘形濾波器和限頻器。限頻器與致動器相關聯以產生觸 覺輸出。觸覺處理系統還包括分析模組，其具有峰值檢測器以根據接收的輸入音頻訊號計算固定時間的峰值，均方根計算器以計算固定時間的均方根值，預測計算器配置為基於計算出的均方根值和計算出的峰值，計算要傳遞給至少一個動態處理器的參數，用於傳遞計算出的參數，用於控制閾值和一個或多個動態處理器的增益以產生觸覺輸出。

段落6。提供了一種在觸覺處理系統中處理暫態訊號的方法。該方法接收音頻輸入訊號，並通過將輸入音頻訊號同時傳遞到高通包絡跟隨器和低通包絡跟隨器來檢測輸入音頻訊號中的暫態訊號。該方法計算高通包絡跟隨器和低通包絡跟隨器之間的增益差。計算的增益差異用於確定暫態分數。該方法接收暫態閾值。暫態分數轉換為暫態二進制。當暫態分數高於暫態閾值時，暫態二進制為1(二進制1)，並且當暫態分數低於暫態閾值時為零。通過將暫態二進制與暫態分數相乘來計算暫態輸出，並將暫態輸出提供給包絡跟隨器和雙濾波器。另外，暫態二進制提供給RMS檢測模組。

段落7。提供了一種計算機可讀介質，其具有在其上編碼的指令，當由處理器執行時，所述指令基於輸入音頻訊號提供觸覺反饋，該指令執行以下步驟：(a)將輸入音頻訊號處理成動態處理器，動態處理器係建構成側鏈，以控制輸入音頻訊號中的增益低於設定閾值；(b)將處理後的音頻訊號輸入到配置有側鏈的第二動態處理器，以控制音頻訊號的動態範圍高於設定的閾值；(c)將音頻訊號傳遞到：(i)包絡跟隨器模組以提取音頻訊號包絡，音頻訊號包絡然後調製固定頻率振盪器的幅度，(ii)諧振模組係建構成激勵物理模型來自輸入音頻訊號的弦、膜、板或其他樂器模型；(d)混合包絡模組輸出的訊號、諧振模組和乾/濕模組訊號；(e)將觸覺訊號饋送到致動器以產生觸覺輸出。

第8段。提供了一種觸覺處理系統，包括：檢測模組；雜訊閘模組係建構成側鏈模組；乾/濕模組被配置為以預定比例混合輸入音頻訊號和雜訊閘模組的訊號輸出；壓縮機模組配置有不同的側鏈模組；與振盪器相關的包絡模組；諧振模組被配置為放大抑制頻率，其中使用弦樂器或膜樂器再現抑制頻率；混音器模組被配置為混合來自乾/濕模組，固定頻率振盪器模組和諧振模組的輸出訊號，以及分析模組被配置為獨立地處理輸入音頻訊號以同化智能並向雜訊閘提供參數模組和壓縮器模組產生觸覺輸出。在一些實施例中，輸入音頻訊號與雜訊閘模組的訊號輸出的混合的預定比例在十進制值0和1之間。此外，可以控制訊號混合的預定比例。由用戶使用預設按鈕。或者，與訊號混合相關聯的預定比例是恆定的固定值。在一個實施例中，分析模組可以基於訊號參數智能地配置預定值。

段落9。提供了一種用於實時和非實時訊號處理的觸覺處理系統，包括：分析模組，其包含以下中的至少兩個：一動態處理器邏輯，用於處理低於被設定之閾值的輸入訊號；一第二動態處理器邏輯，用於處理高於被設定之閾值的輸入訊號；用於計算輸入訊號的平均值和峰值的模組，用於基於計算的輸入訊號的峰值和/或平均值(RMS)調整動態處理器邏輯的閾值和/或增益設置的邏輯，要執行的模組具有可變靈敏度的實時起始檢測；至少一個增益模組，用於將輸入訊號的訊號振幅與分析模組的動態處理器邏輯的控制訊號值相乘；乾/濕模組被配置為以預定比例混合輸入音頻訊號及一個或多個增益模組的訊號輸出；與振盪器相關的包絡模組；諧振模組被配置為從輸入訊號激勵弦、膜、板或其他樂器模型的物理模型；混頻器模組被配置為混合來自乾/濕模組，振盪器模組和諧振模組的輸出訊號。在一些實施例中，峰值和均方根值存儲在記憶體中並由預測算法用於智能地預測輸入音頻訊號的能量的進展。在一個實施例 中，預測算法結果用於改變至少一個動態處理器的增益、閾值或包絡參數。在一個實施例中，分析模組提供可變的前瞻時間，並且使用先前確定的前瞻時間並行地執行在分析模組中發生的所有過程。在一些實施例中，可以在訊號平均之前實現低通濾波器。在一些實施例中，至少一個動態處理器可以在閾值處或附近應用增益傳遞曲線。另外，至少一個動態處理器可以將最大增益減少限制預定值。在一個實施例中，檢測器模組被配置為如果沒有輸入音頻訊號但是存在輸出觸覺訊號，則將啟動狀態保持用於觸覺處理系統的預定時間區段。

段落10。提供了一種觸覺處理系統，包括：分析模組，具有至少一個計算訊號增益減小的動態處理器邏輯；至少一個訊號平均計算模組，計算均方根值；至少一個訊號峰值計算模組；至少一個記憶體，其中存儲訊號峰值和均方根值的值；至少一個模組以預定義的靈敏度執行實時暫態檢測；至少一個增益控制模組，用於將輸入訊號的訊號振幅與分析模組的動態處理器邏輯的控制訊號值相乘；低通濾波器包括第一濾波器和第二濾波器，其並行處理輸入訊號，並且其中第二濾波器具有比第一濾波器更高的截止頻率。在一個實施例中，暫態檢測提供二進制狀態輸出和暫態的連續值。在一個實施例中，基於暫態檢測來復用或混合併行濾波器的輸入和輸出，並且基於暫態輸出確定截止頻率的受控移位。另外，基於從暫態輸出接收的連續值，連續地調整對應於雙濾波器的第一濾波器和第二濾波器的截止頻率。

本文描述的各種模組僅是示例性的。可以使用其他配置和數量的模組。本發明可以使用非模組化方法來實現，並且不同的子常式可以在不同的組件中實現，這些組件可以作為一個單元操作以實現期望的觸覺響應。此外，各種模組可以以單一佈局製造並且在單個晶片中實現。或者，在使用多個晶片來製造觸覺處理模組200時，可以在不同晶片上實現一個或多個模組。

由本文描述的模組提供的功能的描述是出於說明性目的，而不是限制性的，因為一個或多個模組可以提供所描述的附加或更少的功能。此外，模組的配置及其佈置也是出於說明性目的而不是限制性的，因為可以在不脫離本發明的範圍和精神的情況下移除或添加或重新佈置一個或多個模組。此外，可以省略一個或多個模組，並且其功能可以由其他模組完全或部分地提供。此外，可以擴展一個或多個模組以在其中顯示附加模組。每個擴展模組的功能可能不同，但總體效果會產生觸覺輸出。

100A‧‧‧觸覺處理系統

102‧‧‧記憶體

106‧‧‧應用程序

108‧‧‧觸覺模組

110‧‧‧處理器

112‧‧‧匯流排

114‧‧‧輸入/輸出模組

116‧‧‧通訊模組

118‧‧‧輔助處理器

120‧‧‧介面

122‧‧‧顯示器

124‧‧‧揚聲器

126‧‧‧致動器

128‧‧‧遊戲介面

130‧‧‧伺服器

140‧‧‧雲端

150‧‧‧分散式網絡

Claims (43)

1. 一種觸覺處理方法，用於自一輸入音頻訊號產生一觸覺輸出資料，該觸覺處理方法包括：接收在一數位訊號處理鏈及一分析模組中的該輸入音頻訊號；同時處理在該數位訊號處理鏈及該分析模組中的該輸入音頻訊號：其中該數位訊號處理鏈包括至少一動態處理器，且其中該分析模組獨立地處理該輸入音頻訊號，以在該至少一動態處理器中設定一增益以及一閾值，以控制在該數位訊號處理鏈中該音頻訊號的處理；在一混頻器模組中混合該已接收之音頻訊號；以及在一或多個致動器中產生該觸覺輸出。
2. 如申請專利範圍第1項所述之觸覺處理方法，其中該數位訊號處理鏈更包括一乾/濕模組(dry/wet module)、一雜訊閘(noise gate)、一壓縮器(compressor)、一包絡跟隨器(envelope follower)、一頻率震盪器(frequency oscillator)、一諧振模組(resonance module)、一偵測器模組(detector module)以及一預置模組(preset)。
3. 如申請專利範圍第2項所述之觸覺處理方法，其中該預置模組係建構成在該混頻器模組(mixer)、一低通濾波器(low pass filter)、一限波器(limiter)及一鐘形濾波器(bell filter)的至少其中之一中控制該輸入音頻訊號的處理。
4. 如申請專利範圍第2項所述之觸覺處理方法，其中該數位訊號處理鏈更包括一雙濾波器，其中該雙濾波器自該分析模組和預置模組接收至少一控制參數。
5. 如申請專利範圍第4項所述之觸覺處理方法，其中該預置模組提供該至少一控制參數至該乾/濕模組。
6. 如申請專利範圍第2項所述之觸覺處理方法，其中該乾/濕模組接收該輸入音頻訊號及該至少一動態處理器的輸出，其中乾訊號與濕訊號的比例係由一使用者介面所控制。
7. 如申請專利範圍第2項所述之觸覺處理方法，其中該諧振模組進行一或多個功能，其包括：(a)將被壓制的低頻放大；(b)基於激化弦線、膜片、板材的物理模組或其他樂器模組；以及(c)增加低頻至該輸出訊號。
8. 如申請專利範圍第2項所述之觸覺處理方法，其中該混音模組係建構成混合來自該乾/濕模組、該頻率震盪器以及該諧振模組的輸出訊號。
9. 如申請專利範圍第1項所述之觸覺處理方法，其中該分析模組包括一峰值分析模組、一暫態偵測模組、一RMS產生器模組、一側鏈模組、一偵測器與閾值模組、一預測及智能模組、一增益控制模組以及一頻率增益控制模組。
10. 如申請專利範圍第1項所述之觸覺處理方法，其中該分析模組獨立於該數位訊號處理鏈之外進行該輸入音頻訊號的處理且藉由操作函式呼叫(function call)來傳送參數。
11. 如申請專利範圍第1項所述之觸覺處理方法，其中該分析模組提供控制參數至一包絡跟隨器模組(envelope follower module)。
12. 如申請專利範圍第9項所述之觸覺處理方法，其中被傳送至至少一或多個動態處理器的參數係藉由進行以下步驟決定： 分析輸入音頻訊號，以在一固定時期內以一變化的視窗尺寸計算一振幅峰值以及一均方根值；(a)決定該振幅峰值及該預設增益之間的差；(b)決定該均方根植與預設增益的和；其中由該振幅峰值減去的該預設增益以及加到該均方根植的該預設增益為一常數；且(c)決定在步驟(a)及步驟(b)所定出的兩個值中的最小值；以及將該最小值用於動態地調整該至少一或多個動態處理器的該閾值或該增益。
13. 如申請專利範圍第1項所述之觸覺處理方法，其中該輸入音頻訊號係實時地(real time)或非實時地(non-real time)處理。
14. 如申請專利範圍第2項所述之觸覺處理方法，其中該乾/濕模組提供使用者可使用的預設控制，以控制乾訊號與濕訊號的混合。
15. 如申請專利範圍第1項所述之觸覺處理方法，其中該至少一動態處理器為一壓縮器。
16. 如申請專利範圍第1項所述之觸覺處理方法，其中該至少一動態處理器為一雜訊閘。
17. 如申請專利範圍第1項所述之觸覺處理方法，其中該分析模組在該數位訊號處理鏈中設定至少一參數，以控制音頻訊號的處理。
18. 如申請專利範圍第2項所述之觸覺處理方法，其中該偵測器模組藉由偵測輸入音頻訊號及該輸出訊號來操作一電能節省模式。
19. 如申請專利範圍第2項所述之觸覺處理方法，其中在無輸入音頻訊號及該輸出訊號時，該電能被切換至電池省電模式。
20. 如申請專利範圍第1項所述之觸覺處理方法，其中饋入該分析模組的該輸入音頻訊號係使用預測性演算法進行處理，以預測至少一閾值及增益。
21. 一種觸覺處理系統，用於自一輸入音頻訊號產生一觸覺輸出資料，該觸覺處理系統包括：一數位訊號處理鏈及一分析模組，其建構成同時接收該輸入音頻訊號；其中該數位訊號處理鏈包括至少一動態處理器，且其中該分析模組各自地處理該輸入音頻訊號以決定至少一參數，以在該至少一動態處理器中設定一增益以及一閾值；一混頻器模組，建構成以混合數個訊號；以及一或多個致動器，以產生該觸覺輸出資料。
22. 如申請專利範圍第21項所述之觸覺處理系統，其更包括一包絡檢波器模組，其中該分析模組提供控制參數至該包絡檢波器。
23. 如申請專利範圍第21項所述之觸覺處理系統，其中被傳送至至少一或多個動態處理器的參數係藉由進行以下步驟決定：分析輸入音頻訊號，以在一固定時期內以一變化的視窗尺寸計算一振幅峰值以及一均方根值；儲存該計算出的振幅峰值以及該計算出的均方根值，以設定至少一動態處理器的一閾值及一增益，藉由：(a)決定該振幅峰值及該預設增益之間的差；(b)決定該均方根植與預設增益的和； 其中由該振幅峰值減去的該預設增益以及加到該均方根植的該預設增益為一常數；且(c)決定在步驟(a)及步驟(b)所定出的兩個值中的最小值；以及將該最小值用於動態地調整該至少一或多個動態處理器的該閾值或該增益。
24. 如申請專利範圍第21項所述之觸覺處理系統，其中該數位訊號處理鏈更包括一乾/濕模組(dry/wet module)、一雜訊閘(noise gate)、一壓縮器(compressor)、一包絡跟隨器(envelope follower)、一頻率震盪器(frequency oscillator)、一諧振模組(resonance module)、一偵測器模組(detector module)以及一預置模組(preset)。
25. 如申請專利範圍第24項所述之觸覺處理系統，其中該預置模組係建構成控制該混頻器模組(mixer)、一低通濾波器(low pass filter)、一限波器(limiter)及一鐘形濾波器(bell filter)的至少其中之一。
26. 如申請專利範圍第21項所述之觸覺處理系統，其中該數位訊號處理鏈更包括一雙濾波器，其中該雙濾波器自該分析模組和預置模組接收數個控制參數。
27. 如申請專利範圍第24項所述之觸覺處理系統，其中該預置模組提供該至少一控制參數至該乾/濕模組。
28. 如申請專利範圍第24項所述之觸覺處理系統，其中該乾/濕模組接收該輸入音頻訊號及該至少一動態處理器的輸出，其中乾訊號與濕訊號的比例係由一使用者介面所控制。
29. 如申請專利範圍第24項所述之觸覺處理系統，其中該諧振模組進行一或多個功能，其包括：(a)將被壓制的低頻放大；(b)基於該輸入音頻訊 號來激化弦線、膜片、板材的物理模組或其他樂器模組；以及(c)增加低頻至該輸出訊號。
30. 如申請專利範圍第24項所述之觸覺處理系統，其中該混音模組係建構成混合來自該乾/濕模組、該頻率震盪器以及該諧振模組的輸出訊號。
31. 如申請專利範圍第21項所述之觸覺處理系統，其中該分析模組包括一峰值分析模組、一暫態偵測模組、一RMS產生器模組、一側鏈模組、一偵測器與閾值模組、一預測及智能模組、一增益控制模組以及一頻率增益控制模組。
32. 一種電腦程式產品，該電腦程式產品包括一非暫態電腦可讀取之儲存介質以及一處理器，該非暫態電腦可讀取之儲存介質儲存一可執行碼，當由至少一處理器執行時，使該處理器執行以下步驟：同時接收在一數位訊號處理鏈及一分析模組中的該輸入音頻訊號，其中該數位訊號處理鏈包括至少一動態處理器，且該分析模組各自地處理該輸入音頻訊號以決定至少一參數，以在該至少一動態處理器中設定一增益以及一閾值；在一混頻器模組中混合該已接收之音頻訊號，該混頻器模組自該分析模組接收至少一控制參數；以及在一或多個致動器中產生該觸覺輸出。
33. 如申請專利範圍第32項所述之電腦程式產品，其中該分析模組提供控制參數至一包絡跟隨器模組。
34. 如申請專利範圍第32項所述之電腦程式產品，其中該分析模組包括一峰值分析模組、一暫態偵測模組、一RMS產生器模組、一側鏈模組、一 偵測器與閾值模組、一預測及智能模組、一增益控制模組以及一頻率增益控制模組。
35. 如申請專利範圍第32項所述之電腦程式產品，其中被傳送至至少一或多個動態處理器的參數係藉由進行以下步驟決定：分析輸入音頻訊號，以在一固定時期內以一變化的視窗尺寸計算一振幅峰值以及一均方根值；儲存該計算出的振幅峰值以及該計算出的均方根值，以設定至少一動態處理器的一閾值及一增益，藉由：(a)決定該振幅峰值及該預設增益之間的差；(b)決定該均方根植與預設增益的和；其中由該振幅峰值減去的該預設增益以及加到該均方根植的該預設增益為一常數；且(c)決定在步驟(a)及步驟(b)所定出的兩個值中的最小值；以及將該最小值用於動態地調整該至少一或多個動態處理器的該閾值或該增益。
36. 如申請專利範圍第34項所述之電腦程式產品，其中預測及智能模組操作機器學習演算法，以決定要被傳送至至少一動態處理器的至少一參數。
37. 如申請專利範圍第32項所述之電腦程式產品，其中該數位訊號處理鏈更包括一乾/濕模組、一雜訊閘、一壓縮器、一包絡跟隨器、一頻率震盪器、一諧振模組、一偵測器模組以及一預置模組。
38. 如申請專利範圍第37項所述之電腦程式產品，其中該預置模組係建構成控制該混頻器模組(mixer)、一低通濾波器(low pass filter)、一限波器(limiter)及一鐘形濾波器(bell filter)的至少其中之一。
39. 如申請專利範圍第37項所述之電腦程式產品，其中該數位訊號處理鏈更包括一雙濾波器，其中該雙濾波器自該分析模組和預置模組接收至少一控制參數。
40. 如申請專利範圍第37項所述之電腦程式產品，其中該預置模組提供控制參數至該乾/濕模組。
41. 如申請專利範圍第37項所述之電腦程式產品，其中該乾/濕模組接收該輸入音頻訊號及該至少一動態處理器的輸出，其中乾訊號與濕訊號的比例係由一使用者介面所控制。
42. 如申請專利範圍第37項所述之電腦程式產品，其中該諧振模組進行一或多個功能，其包括：(a)將被壓制的低頻放大；(b)基於該輸入音頻訊號來激化弦線、膜片、板材的物理模組或其他樂器模組；以及(c)增加低頻至該輸出訊號。
43. 如申請專利範圍第37項所述之電腦程式產品，其中該混音模組係建構成混合來自該乾/濕模組、該頻率震盪器以及該諧振模組的輸出訊號。

Images