TW202407513A - 音訊和觸覺訊號處理 - Google Patents

音訊和觸覺訊號處理 Download PDF

Info

Publication number
TW202407513A
TW202407513A TW112121249A TW112121249A TW202407513A TW 202407513 A TW202407513 A TW 202407513A TW 112121249 A TW112121249 A TW 112121249A TW 112121249 A TW112121249 A TW 112121249A TW 202407513 A TW202407513 A TW 202407513A
Authority
TW
Taiwan
Prior art keywords
haptic
signal
audio
gain
speaker
Prior art date
Application number
TW112121249A
Other languages
English (en)
Inventor
斯雷亞斯斯里坎特 帕亞爾
桑第路易斯 迪蘇沙
里德 韋斯伯格
威廉 斯柯菲爾德
喬治伊沙 沙曼
惠雅廖 尼爾森
奧西納 莫拉蒂
馬修 齊夫尼
艾迪 喬伊
路易斯多明尼克 奧利維亞
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202407513A publication Critical patent/TW202407513A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/24—Structural combinations of separate transducers or of two parts of the same transducer and responsive respectively to two or more frequency ranges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R17/00—Piezoelectric transducers; Electrostrictive transducers
    • H04R17/10—Resonant transducers, i.e. adapted to produce maximum output at a predetermined frequency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/03—Synergistic effects of band splitting and sub-band processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/007—Protection circuits for transducers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Otolaryngology (AREA)
  • Circuits Of Receivers In General (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了音訊和觸覺訊號處理系統和方法。提供了一種用於觸覺驅動訊號產生的方法。方法包括：接收用於驅動音訊揚聲器的輸入音訊訊號。方法亦包括：從音訊訊號中匯出指示音訊揚聲器在被輸入音訊訊號驅動時的行為的資料分量，每個資料分量與相應頻率範圍相關聯。方法亦包括：根據每個資料分量來決定觸覺驅動分量。增益被選擇為向觸覺驅動分量中的每一者提供，增益是為每個相應頻率範圍選擇的。每個所選擇的增益被應用於相應觸覺驅動分量，以產生經增益調整的觸覺驅動分量。觸覺驅動訊號是根據經增益調整的觸覺驅動分量來決定的，當觸覺驅動訊號被用於驅動觸覺致動器時，觸覺驅動訊號被用來產生觸覺致動器的機械行為。

Description

音訊和觸覺訊號處理
本專利申請案主張Payal等人於2022年8月3日提出申請的名稱為「AUDIO AND HAPTIC SIGNAL PROCESSING」的美國專利申請案第17/880,508號的優先權；該申請案已讓與給其受讓人並且以引用方式明確併入本文。
本案係關於觸覺回饋產生。具體地，本案係關於用於產生用於驅動觸覺致動器的觸覺驅動訊號的方法和系統，該觸覺驅動訊號是基於用於驅動音訊揚聲器的音訊訊號而產生的。
觸覺回饋或觸覺技術、動覺通訊、3D觸摸等是指使用振動（或在一些情況下，力或運動）模擬使用者的觸摸體驗。觸覺回饋通常用於設備（諸如行動電話、遊戲控制器、操縱桿和方向盤）中，其中設備的零件被配置為振動以便改善所感知的使用者體驗。觸覺技術亦用於虛擬、增強和擴展現實應用中，例如用於建立或控制虛擬物件和增強對設備的遠端控制。觸覺回饋亦在可穿戴技術和物聯網路（IOT）中得到應用，以再次改善使用者體驗或對設備的控制。
在諸如行動電話和遊戲應用的情況下，通常經由將觸覺回饋與音訊輸出相連結來改善使用者體驗。為了獲得逼真且沉浸式的使用者體驗，揚聲器的聲音輸出應該通常與輸出振動（亦即，觸覺回應）保持一致。另外，特定觸覺回應可以比其他觸覺回應更大程度地改善使用者體驗，並且因此定製的觸覺回應可以是合乎需要的。
然而，保持音訊輸出與觸覺回應之間的一致性可能是具有挑戰性的，特別是在試圖在可能具有不同揚聲器/觸覺致動器的多個設備之間提供特定觸覺回應時，該不同揚聲器/觸覺致動器具有不同特性及/或揚聲器和觸覺致動器的不同幾何佈置，這因此可以按不同方式對不同音訊和觸覺訊號傳遞做出回應。
以下內容呈現了改進用於觸覺驅動訊號產生的現有技術和系統的態樣，其揭示是為了至少改善音訊輸出與觸覺回應之間的一致性。這種一致性可以包括就訊號之間的時間同步而言（使得特定音訊輸出與觸覺輸出在時間上同步）和就訊號的分佈曲線而言（使得所感知的實際觸覺訊號與音訊輸出一致）提供與音訊輸出訊號緊密地對應的觸覺驅動訊號。經由揭示這些態樣而提供的這種一致性可以獨立於所使用的特定音訊揚聲器及/或觸覺致動器，並且獨立於所產生的特定觸覺訊號——換句話說，可以根據用例來為給定音訊訊號產生定製的觸覺訊號（例如在特定頻率分量被強調用於觸覺回應的情況下，如本文進一步論述的），所有這些皆提供了與音訊訊號一致的使用者體驗，而不考慮所使用的揚聲器或致動器的特定類型。
根據第一態樣，實施例提供了一種用於觸覺驅動訊號產生的方法。該方法包括：接收用於驅動音訊揚聲器的輸入音訊訊號。該方法亦包括：從音訊訊號中匯出指示音訊揚聲器在被輸入音訊訊號驅動時的行為的資料分量，每個資料分量與相應頻率範圍相關聯。該方法亦包括：根據每個資料分量來決定觸覺驅動分量。增益被選擇為向觸覺驅動分量中的每一者提供，該增益是為每個相應頻率範圍選擇的。每個所選擇的增益被應用於相應觸覺驅動分量，以產生經增益調整的觸覺驅動分量。觸覺驅動訊號是根據經增益調整的觸覺驅動分量來決定的，當觸覺驅動訊號被用於驅動觸覺致動器時，觸覺驅動訊號被用來產生觸覺致動器的機械行為。
可選地，每個資料分量指示音訊揚聲器在跨相應頻率範圍被音訊訊號驅動時的機械行為。
當音訊揚聲器被輸入音訊訊號驅動時，資料分量可以指示揚聲器漂移（excursion）、揚聲器加速度或揚聲器輸出聲壓級。
匯出資料分量可以包括：預測音訊揚聲器在被音訊訊號驅動時的機械行為；及根據對機械行為的預測來決定資料分量。
預測可以包括：將音訊訊號輸入到音訊揚聲器的機械行為的模型中，該模型被配置為產生對音訊揚聲器在被輸入到模型中的音訊訊號驅動時的機械行為的預測。預測亦可以包括：基於來自音訊揚聲器的操作回饋來調整模型的一或多個參數。操作回饋可以包括來自音訊揚聲器的電壓及/或電流回饋。根據對機械行為的預測來決定資料分量可以包括：根據音訊頻率來濾波對機械行為的預測，該對機械行為的預測被濾波成資料分量。
根據每個資料分量來決定觸覺驅動分量可以包括：將移動平均或其他數位訊號處理（諸如有限脈衝回應（FIR）或無限脈衝回應（IIR）濾波器）應用於每個資料分量，以產生相應觸覺驅動分量。
要向觸覺驅動分量中的每一者提供的增益可由使用者選擇。要向觸覺驅動分量中的每一者提供的增益可由使用者經由圖形化使用者介面GUI選擇。
每個觸覺驅動分量可以指示觸覺致動器在被根據相應觸覺驅動分量決定的觸覺驅動訊號驅動時的機械行為。根據經增益調整的觸覺驅動分量來決定觸覺驅動訊號可以包括：根據經增益調整的觸覺驅動分量來決定觸覺驅動訊號，以產生由經增益調整的觸覺驅動分量指示的觸覺致動器的機械行為。根據經增益調整的觸覺驅動分量來決定觸覺驅動訊號可以包括：將經增益調整的觸覺驅動分量輸入到觸覺致動器的機械行為的模型中，該模型被配置為產生觸覺驅動訊號，該觸覺驅動訊號將在用於驅動觸覺致動器時重新建立由經增益調整的觸覺驅動分量指示的機械行為。根據經增益調整的觸覺驅動分量來決定觸覺驅動訊號亦可以包括：基於來自觸覺致動器的操作回饋來調整模型的一或多個參數。操作回饋可以包括來自觸覺致動器的電壓及/或電流回饋。換句話說，所產生的機械行為可以是與經增益調整的觸覺驅動分量對應的期望機械行為。經增益調整的觸覺驅動分量可以表示期望由觸覺致動器產生的機械行為。在這種情況下，觸覺驅動訊號根據經增益調整的驅動分量而被決定為驅動訊號，該驅動訊號將在觸覺致動器中產生如由經增益調整的驅動分量指示的期望機械行為。
向觸覺驅動分量提供增益可以是基於與觸覺驅動分量相關聯的頻率範圍的。第一觸覺驅動分量可以與第一頻率範圍分量相關聯，並且第二觸覺驅動分量與第二頻率範圍相關聯。第一頻率範圍是比第二頻率範圍更低的頻率範圍。基於與觸覺驅動分量相關聯的頻率範圍來向觸覺驅動分量提供增益在此可以包括：向與第一頻率範圍分量相關聯的第一觸覺驅動分量提供比向與第二頻率範圍相關聯的第二觸覺驅動分量提供的增益更高的增益。向第二觸覺驅動分量提供的增益可以是零增益。
該方法亦可以包括：使音訊揚聲器的音訊輸出與觸覺致動器的觸覺輸出同步。該同步可以包括：使用包括引導頻輸入訊號的輸入音訊訊號產生來自音訊揚聲器的音訊輸出（引導頻音調可以是輸入訊號或可以被包括作為音訊訊號的一部分——例如與其他音訊資料一起嵌入於訊號中），並且回應於所產生的音訊輸出而從音訊揚聲器接收揚聲器回應訊號；使用引導頻輸入訊號產生來自觸覺致動器的觸覺輸出，並且回應於所產生的觸覺輸出而從觸覺致動器接收觸覺回應訊號；根據揚聲器回應訊號和觸覺回應訊號來決定時間延遲；及調整通向音訊揚聲器的輸入音訊訊號和通向觸覺致動器的輸入觸覺訊號，以便調整時間延遲。
根據該態樣，實施例亦提供了一種用於觸覺驅動訊號產生的系統，該系統包括一或多個處理器，該一或多個處理器被配置為接收用於驅動音訊揚聲器的輸入音訊訊號。一或多個處理器亦被配置為從音訊訊號中匯出指示音訊揚聲器在被輸入音訊訊號驅動時的行為的資料分量，每個資料分量與相應頻率範圍相關聯；根據每個資料分量來決定觸覺驅動分量；選擇要向觸覺驅動分量中的每一者提供的增益，該增益是為每個相應頻率範圍選擇的；將每個所選擇的增益應用於相應觸覺驅動分量，以產生經增益調整的觸覺驅動分量；及根據經增益調整的觸覺驅動分量來決定觸覺驅動訊號，當觸覺驅動訊號被用於驅動觸覺致動器時，觸覺驅動訊號被用來產生觸覺致動器的機械行為。
可選地，每個資料分量指示音訊揚聲器在跨相應頻率範圍被音訊訊號驅動時的機械行為。
當音訊揚聲器被輸入音訊訊號驅動時，資料分量可以指示揚聲器漂移、揚聲器加速度或揚聲器輸出聲壓級。
匯出資料分量可以包括：預測音訊揚聲器在被音訊訊號驅動時的機械行為；及根據對機械行為的預測來決定資料分量。
預測可以包括：將音訊訊號輸入到音訊揚聲器的機械行為的模型中，該模型被配置為產生對音訊揚聲器在被輸入到模型中的音訊訊號驅動時的機械行為的預測。預測亦可以包括：基於來自音訊揚聲器的操作回饋來調整模型的一或多個參數。操作回饋可以包括來自音訊揚聲器的電壓及/或電流回饋。根據對機械行為的預測來決定資料分量可以包括：根據音訊頻率來濾波對機械行為的預測，該對機械行為的預測被濾波成資料分量。
根據每個資料分量來決定觸覺驅動分量可以包括：將移動平均或其他數位訊號處理（諸如有限脈衝回應（FIR）或無限脈衝回應（IIR）濾波器）應用於每個資料分量，以產生相應觸覺驅動分量。
要向觸覺驅動分量中的每一者提供的增益可由使用者選擇。要向觸覺驅動分量中的每一者提供的增益可由使用者經由圖形化使用者介面GUI選擇。
每個觸覺驅動分量可以指示觸覺致動器在被根據相應觸覺驅動分量決定的觸覺驅動訊號驅動時的機械行為。根據經增益調整的觸覺驅動分量來決定觸覺驅動訊號可以包括：根據經增益調整的觸覺驅動分量來決定觸覺驅動訊號，以產生由經增益調整的觸覺驅動分量指示的觸覺致動器的機械行為。根據經增益調整的觸覺驅動分量來決定觸覺驅動訊號可以包括：將經增益調整的觸覺驅動分量輸入到觸覺致動器的機械行為的模型中，該模型被配置為產生觸覺驅動訊號，該觸覺驅動訊號將在用於驅動觸覺致動器時重新建立由經增益調整的觸覺驅動分量指示的機械行為。根據經增益調整的觸覺驅動分量來決定觸覺驅動訊號亦可以包括：基於來自觸覺致動器的操作回饋來調整模型的一或多個參數。操作回饋可以包括來自觸覺致動器的電壓及/或電流回饋。換句話說，所產生的機械行為可以是與經增益調整的觸覺驅動分量對應的期望機械行為。經增益調整的觸覺驅動分量可以表示期望由觸覺致動器產生的機械行為。在這種情況下，觸覺驅動訊號根據經增益調整的驅動分量而被決定為驅動訊號，該驅動訊號將在觸覺致動器中產生如由經增益調整的驅動分量指示的期望機械行為。
向觸覺驅動分量提供增益可以是基於與觸覺驅動分量相關聯的頻率範圍的。第一觸覺驅動分量可以與第一頻率範圍分量相關聯，並且第二觸覺驅動分量與第二頻率範圍相關聯。第一頻率範圍是比第二頻率範圍更低的頻率範圍。基於與觸覺驅動分量相關聯的頻率範圍來向觸覺驅動分量提供增益在此可以包括：向與第一頻率範圍分量相關聯的第一觸覺驅動分量提供比向與第二頻率範圍相關聯的第二觸覺驅動分量提供的增益更高的增益。向第二觸覺驅動分量提供的增益可以是零增益。
該系統的一或多個處理器亦可以被配置為：使音訊揚聲器的音訊輸出與觸覺致動器的觸覺輸出同步。該同步可以包括：使用包括引導頻輸入訊號的輸入音訊訊號產生來自音訊揚聲器的音訊輸出（引導頻音調可以是輸入訊號或可以被包括作為音訊訊號的一部分——例如與其他音訊資料一起嵌入於訊號中），並且回應於所產生的音訊輸出而從音訊揚聲器接收揚聲器回應訊號；使用引導頻輸入訊號產生來自觸覺致動器的觸覺輸出，並且回應於所產生的觸覺輸出而從觸覺致動器接收觸覺回應訊號；根據揚聲器回應訊號和觸覺回應訊號來決定時間延遲；及調整通向音訊揚聲器的輸入音訊訊號和通向觸覺致動器的輸入觸覺訊號，以便調整時間延遲。
該系統亦可以包括連接到一或多個處理器的記憶體。該系統亦可以包括音訊揚聲器及/或觸覺致動器，該音訊揚聲器及/或該觸覺致動器被連接到一或多個處理器。
根據該態樣，實施例亦提供了一種包括指令的電腦可讀取媒體，該指令在被執行時使得用於處理資料的設備的一或多個電路進行該態樣的方法的任何步驟。
根據第二態樣，實施例提供了一種觸覺驅動訊號產生的方法，該方法包括：接收用於驅動音訊揚聲器的輸入音訊訊號；基於音訊訊號來決定指示音訊揚聲器在被音訊訊號驅動時的機械行為的訊號；及根據指示音訊揚聲器的機械行為的訊號來決定觸覺致動器的觸覺驅動訊號。
根據第二態樣，實施例提供了一種用於觸覺驅動訊號產生的系統，該系統包括一或多個處理器，該一或多個處理器被配置為：接收用於驅動音訊揚聲器的輸入音訊訊號；基於音訊訊號來決定指示音訊揚聲器在被音訊訊號驅動時的機械行為的訊號；及根據指示音訊揚聲器的機械行為的訊號來決定觸覺致動器的觸覺驅動訊號。
根據第三態樣，實施例提供了一種使音訊揚聲器的音訊輸出與觸覺致動器的觸覺輸出同步的方法，該方法包括：使用包括引導頻輸入訊號的輸入音訊訊號產生來自音訊揚聲器的音訊輸出，並且回應於所產生的音訊輸出而從音訊揚聲器接收揚聲器回應訊號；使用引導頻輸入訊號產生來自觸覺致動器的觸覺輸出，並且回應於所產生的觸覺輸出而從觸覺致動器接收觸覺回應訊號；根據揚聲器回應訊號和觸覺回應訊號來決定時間延遲；及調整通向音訊揚聲器的輸入音訊訊號和通向觸覺致動器的輸入觸覺訊號，以便調整時間延遲。
根據第三態樣，實施例提供了一種用於使音訊揚聲器的音訊輸出與觸覺致動器的觸覺輸出同步的系統，該系統包括一或多個處理器，該一或多個處理器被配置為：使用引導頻輸入訊號產生來自音訊揚聲器的音訊輸出，並且回應於所產生的音訊輸出而從音訊揚聲器接收揚聲器回應訊號；使用引導頻輸入訊號產生來自觸覺致動器的觸覺輸出，並且回應於所產生的觸覺輸出而從觸覺致動器接收觸覺回應訊號；根據揚聲器回應訊號和觸覺回應訊號來決定時間延遲；及調整通向音訊揚聲器的輸入音訊訊號和通向觸覺致動器的輸入觸覺訊號，以便調整時間延遲。
根據其他態樣，實施例提供了一種在其上具有指令的電腦可讀取媒體，該指令被配置為使得一或多個處理器進行第一態樣、第二態樣或第三態樣中的任何一者的方法。
在用於進行各種功能或所描述的方法的步驟的裝置實施例中提到功能模組或單元的情況下，應當理解，可以利用硬體、軟體或這兩者的組合來實現該等模組或單元。當利用硬體來實現時，模組可以被實現為一或多個硬體模組，諸如一或多個特殊應用積體電路（ASIC）或現場可程式設計閘陣列（FPGA）。當利用軟體來實現時，模組可以被實現為在一或多個處理器上執行的一或多個電腦程式。
本案將首先提供對用於實現本案的態樣的示例性系統的主要部件的描述。隨後，在轉向實現本案的態樣的具體示例性實施例之前，論述將轉向本案的另一態樣以及對用於實現本文中所考慮的實施例的細節的額外論述。在不脫離本案的範疇的情況下，可以設計交替態樣。另外，將不詳細描述或將省略本案的熟知元件，以免混淆本案的相關細節。 觸覺訊號產生
參考圖1，圖示用於實現本案的態樣的示例性系統10的主要部件的示意圖。系統10是用於觸覺驅動訊號產生的系統，該系統包括音訊-觸覺驅動訊號產生模組11，其可以是通用處理單元。可以利用硬體或軟體來實現處理模組11，並且該處理模組可以包括例如一或多個處理器和連接到其的記憶體，該記憶體被配置為執行用於產生觸覺驅動訊號的各種方法步驟，如將在下文詳細論述的。
系統10亦包括音訊揚聲器12和觸覺致動器13，諸如線性諧振致動器（LRA）、壓電諧振器或任何其他合適的觸覺致動器。儘管為了便於論述，系統10已經被示出為包括音訊揚聲器12和觸覺致動器13，但應當瞭解，本案的態樣不限於包括揚聲器12和致動器13的系統。例如，該系統可以僅包括音訊-觸覺驅動訊號產生模組11，其隨後可以連接到單獨音訊揚聲器（或視情況，多個音訊揚聲器）和單獨觸覺致動器（或視情況，多個觸覺致動器）。音訊揚聲器連接到音訊-觸覺驅動訊號產生模組，使得音訊-觸覺驅動訊號產生模組可以將音訊訊號傳遞到音訊揚聲器以驅動音訊揚聲器，並且音訊揚聲器可以將訊號（例如回饋訊號）傳遞回音訊-觸覺驅動訊號產生模組。這裡的音訊訊號是可以由音訊揚聲器轉換成對應音訊輸出的電子訊號。如將關於圖13更詳細地論述的，在一些實施例中，音訊訊號（其在從音訊-觸覺驅動訊號產生模組輸出時為數位訊號）可以被傳遞到音訊放大器（圖1中未圖示）以將數位訊號轉換成類比輸出。類比音訊訊號隨後被傳遞到音訊揚聲器。換句話說，音訊訊號可以在被傳遞到音訊揚聲器之前從數位格式轉換成類比格式。類似地，回饋訊號可以被傳遞到音訊放大器以便轉換成數位回饋訊號，其中該數位回饋訊號被傳遞到音訊-觸覺驅動訊號產生模組。回饋訊號可以是例如指示音訊揚聲器的效能特性的電流或電壓訊號，如將在下文進一步描述的。類似地，觸覺致動器連接到音訊-觸覺驅動訊號產生模組，使得音訊-觸覺驅動訊號產生模組可以將觸覺驅動訊號傳遞到觸覺致動器以驅動觸覺致動器，並且觸覺致動器可以將訊號（例如回饋訊號）傳遞回音訊-觸覺驅動訊號產生模組。這裡的觸覺驅動訊號是電子訊號，例如電壓訊號，其可以由觸覺致動器轉換成對應觸覺輸出。回饋訊號可以是例如指示觸覺致動器的效能特性的電流或電壓訊號，如將在下文進一步描述的。如同音訊訊號，在一些實施例中，觸覺驅動訊號（其在從音訊-觸覺驅動訊號產生模組輸出時為數位訊號）可以被傳遞到觸覺驅動器電路（圖1中未圖示）以將數位訊號轉換成類比輸出。類比觸覺驅動訊號隨後被傳遞到觸覺致動器。換句話說，觸覺驅動訊號可以在被傳遞到觸覺致動器之前從數位格式轉換成類比格式。類似地，回饋訊號可以被傳遞到觸覺驅動器電路以便轉換成數位回饋訊號，其中該數位回饋訊號被傳遞到音訊-觸覺驅動訊號產生模組。
現在參考圖2，圖示示例性音訊-觸覺驅動訊號產生模組11的功能部件。可以視情況利用軟體或硬體來實現每個部件——例如，部件可以由模組11的一或多個處理器實現。
音訊-觸覺驅動訊號產生模組11包括揚聲器模組21、濾波器模組22、包絡追蹤模組23（在圖2中示出為Env Trac.）、振幅調制器24和觸覺波形產生器25。要注意，在特定實施例中，包絡追蹤模組23可以是音訊到觸覺轉換模組——亦即，該模組執行音訊到觸覺轉換的功能。在其他情況下，包絡追蹤模組23和振幅調制器的組合可以用作音訊到觸覺轉換模組。應當瞭解，其他替代方案是可能的。應當瞭解，如圖2中所示的模組是為了便於論述，並且可以不表示單獨部件——根據實施例和用例，可以組合或省略模組。
揚聲器模組21被配置為接收用於驅動音訊揚聲器的輸入音訊訊號u(t)（在圖2中由方塊26示出）。該輸入音訊訊號是電子訊號，該電子訊號在被傳遞到音訊揚聲器12時由揚聲器轉換成音訊輸出。換句話說，音訊訊號u(t)是音訊輸出的電子訊號表示，或換言之，該音訊訊號是可以用於驅動音訊揚聲器以產生與該訊號對應的音訊輸出的電子訊號。輸入音訊訊號u(t)可以是揚聲器驅動訊號的數位表示，諸如脈衝碼調制（PCM）。輸入音訊訊號u(t)可以例如經由揚聲器音訊放大器從數位格式轉換成類比格式。類比訊號可以是類比電壓驅動訊號，其被傳遞到揚聲器以便轉換成音訊輸出。音訊訊號u(t)可以是表示音樂軌跡、視訊遊戲或電影的聲跡、鈴聲或應用程式警報或任何適當的音訊輸出的數位檔。可以將音訊訊號儲存在記憶體（例如音訊-觸覺驅動訊號產生模組11的記憶體或視情況，系統的另一記憶體）中。
在圖2中所示的佈置中，揚聲器模組21和濾波器模組22（這裡是帶通濾波器組（BPF））被配置為從音訊訊號中匯出指示音訊揚聲器在被輸入音訊訊號驅動時的行為的資料分量，每個資料分量與相應頻率範圍相關聯。
更詳細地，揚聲器模組21被配置為預測音訊揚聲器12在被音訊訊號驅動時的機械行為。對機械行為的預測包括將音訊訊號u(t)輸入到音訊揚聲器12的機械行為的模型中。該模型被配置為產生對音訊揚聲器在被輸入到模型中的音訊訊號驅動時的機械行為的預測——亦即，該模型輸出音訊揚聲器在被給定音訊訊號驅動時的預期行為。輸出是訊號（或函數）a s(t)，其指示揚聲器12在被輸入音訊訊號u(t)驅動時的預期機械行為。
揚聲器模組21包括例如儲存在驅動訊號產生模組11的記憶體中的模型或具有存取該模型的許可權，該記憶體可以是揚聲器模組21的記憶體或單獨記憶體。在本實施例中，機械行為是揚聲器振膜的加速度，其為揚聲器漂移的二次導數。應當瞭解，其他機械行為可以是合適的，諸如揚聲器漂移或揚聲器振膜的壓力輸出等。對於輸入到揚聲器模型21的給定音訊訊號，該模型提供在音訊揚聲器被輸入音訊訊號驅動時預期的揚聲器加速度。
該模型可以由所使用的特定音訊揚聲器的各種預定機電參數定義（模型在揚聲器之間可以不同——亦即，該模型可以是為特定音訊揚聲器定製的，以便準確地預測該特定揚聲器的行為）。機電參數包括允許決定任何給定音訊輸入的揚聲器加速度的那些參數。可以使用參數集總部件模型來表示揚聲器，但應當瞭解，其他模型是可能的。可以使該模型離散化成濾波器，該濾波器用於決定任何輸入電壓的輸出移位（displacement）。揚聲器的參數是集總部件參數。它們描述了跨各種輸入訊號振幅和跨感興趣頻帶的揚聲器行為。以下內容是揚聲器建模的參考：https://www.aes.org/e-lib/browse.cfm?elib=13881。
揚聲器模組21亦可以被配置為基於來自音訊揚聲器的操作回饋來調整模型的一或多個參數。揚聲器模組21可以被配置為直接從音訊揚聲器12接收操作回饋，該操作回饋包括電流和電壓回饋以及所量測的揚聲器機電參數（在圖2中示出為揚聲器電流（1）、電壓回饋（2）和揚聲器機電參數（3））。該回饋是來自音訊揚聲器12的實況回饋，這是由於該音訊揚聲器被音訊訊號（例如與u(t)不同的音訊訊號）驅動。該實況回饋允許揚聲器模組21即時地決定揚聲器實際上表現如何，並且隨後可以相應地調整模型。這可以允許揚聲器模組21考慮音訊揚聲器所經歷的特定（例如當前）操作條件，諸如溫度、揚聲器的壽命等，以便儘可能地為揚聲器提供最準確且最新的模型。在一個實例中，電流和電壓回饋可以用於匯出電流機電參數，該電流機電參數隨後可以用於更新模型的參數。例如，可以調整模型的機電參數以與從回饋中計算出的參數匹配，這將導致由模型預測的行為與揚聲器的實際行為匹配。揚聲器模組可以被配置為使用處於特定頻率（例如每毫秒、十毫秒、100毫秒等）的回饋來更新模型。儘管圖2中所示的佈置涉及揚聲器電流和電壓回饋來使模型最佳化，但應當瞭解，不涉及這種回饋的實施例是可能的。在此類實施例中，預測行為僅僅由預先設置的預定模型例如在初始設置或製造期間決定。若使用集總部件模型（例如針對某個電壓輸入）以及揚聲器的特定集總部件模型和一些所記錄的感測電流，則表徵揚聲器是可能的。集總部件參數若被更新，則表示時變揚聲器。利用特定模型的知識，使用感測到的電流/電壓波形來隨時間而變追蹤揚聲器參數是可能的。
揚聲器模組亦可以被配置為基於預測揚聲器行為來調整輸入音訊，以例如保護揚聲器。這可以僅使用模型（亦即，沒有實況回饋）或包括實況回饋來完成。以這種方式，揚聲器模組充當揚聲器保護模組，例如限制器，該揚聲器保護模組防止將引起可能損壞揚聲器的音訊回應的音訊訊號。例如，經模型預測為導致可能損壞揚聲器的機械行為的音訊輸入被修改為使得經修改的音訊訊號引起對於揚聲器而言進行起來安全的機械行為（亦即，帶有揚聲器損壞的低風險）。
一旦從揚聲器模組21輸出了預期揚聲器加速度a s(t)，該預期揚聲器加速度就被傳遞到BPF 22。要注意，在特定實施例中，揚聲器的機械行為可能根本無法預測，在這種情況下，揚聲器模組21（若存在）僅僅將音訊訊號直接傳遞到BPF模組22。
BPF模組22根據對機械行為的預測a s(t)來決定資料分量。BPF模組22對資料分量的決定包括：根據音訊頻率來濾波對機械行為的預測。對機械行為的預測被濾波成資料分量。換言之，預期揚聲器加速度a s(t)經由濾波器組傳遞，該濾波器組根據特定頻帶來從揚聲器加速度a s(t)中提取資料分量——與一個音訊頻率範圍相關聯的揚聲器加速度a s(t)的資料分量將被組織在一個濾波器組中，與第二音訊頻率範圍相關聯的揚聲器加速度a s(t)的資料分量將被組織在第二濾波器組中等。因此，這裡使用術語「資料分量」來指落入頻率範圍內的揚聲器加速度a s(t)的部分。在這種場景中，每個頻率範圍存在一個「資料分量」，儘管當然應當瞭解，在給定頻率範圍內，可以存在與特定中心頻率相關聯的資料分量的子分量。音訊訊號u(t)將跨頻譜分佈，這取決於所探討的音訊訊號——其可以是具有大量低音、次中音、中音、高音等的音訊訊號或分散在不同頻率中的分佈曲線（profile）等。該音訊頻率分佈曲線將與預期揚聲器加速度a s(t)具有對應性。例如，音訊頻率分佈曲線可以是時域預期揚聲器加速度as(t)的傅裡葉變換。預期揚聲器加速度a s(t)的特定分量將由跨特定頻率範圍的音訊分量引起——例如，低音音訊訊號分量將產生預期揚聲器加速度a s(t)的分量。因此，揚聲器加速度a s(t)的資料分量與音訊頻率相關聯，並且因此可以根據它們所關聯的頻率範圍而被濾波到濾波器組中。在一些實施例中，使用高達某種特定截止頻率的特定頻帶來隔離揚聲器加速度。這些頻帶可以由製造商選擇。頻帶可以取決於對揚聲器的選擇和觸覺振盪器的特定振盪頻率。BPF單元22的輸出是經濾波的揚聲器加速度a f(t)，其表示所匯出的指示音訊揚聲器12在被輸入音訊訊號驅動時的行為的資料分量，每個資料分量與相應頻率範圍相關聯。如上文所論述，這裡的行為是揚聲器振膜的機械加速度，但可以是振膜的揚聲器漂移或其他合適的度量。亦應當瞭解，可以使用除帶通濾波器之外的濾波器。
經濾波的揚聲器加速度a f(t)（表示所有資料分量）隨後被傳遞到包絡追蹤模組23。直到這一刻的處理可以被視為是音訊訊號處理並且由模組組28進行。將經濾波的揚聲器加速度a f(t)傳遞到包絡追蹤模組23可以被視為是由模組組29執行的觸覺訊號處理的開始。可以在觸覺訊號處理期間執行從音訊處理到觸覺處理的轉換。具體地，根據每個資料分量來決定觸覺驅動分量，增益被選擇為向觸覺驅動分量中的每一者提供，該增益是為每個相應頻率範圍選擇的，並且每個所選擇的增益被應用於相應觸覺驅動分量，以產生經增益調整的觸覺驅動分量。
根據每個資料分量來決定觸覺驅動分量可以包括：跨資料分量取移動平均積分訊窗。這是為了建立資料分量的「分佈曲線」或「包絡」——這是為了使資料分量的子分量跨資料分量的頻率範圍發生的振盪平滑。在這種情況下，觸覺驅動分量a env(t)（其是特定頻率範圍的經濾波的揚聲器加速度a f(t)的包絡（亦即，a f(t)的訊號資料分量））指示跨該頻率範圍的觸覺致動器的期望機械特性，這裡是觸覺致動器的加速度。經由使用經濾波的揚聲器加速度的包絡來決定觸覺致動器的期望機械特性（例如期望加速度），可以保持音訊輸出與觸覺回應之間的一致性。當前音訊訊號的特定包絡將導致反映音訊訊號（亦即，與音訊訊號一致）的觸覺回應，並且更具體地，導致預期由驅動揚聲器的音訊訊號產生的揚聲器的機械行為。這意味著無論使用哪種特定揚聲器，亦皆能保持一致性，這是由於（經由揚聲器模型）考慮了所探討的揚聲器的特性。這意味著揚聲器加速度a f(t)表示被驅動的特定揚聲器的機械特性，並且因此，觸覺驅動分量適合於特定揚聲器在該揚聲器被音訊訊號驅動時的機械行為。
隨後，基於與觸覺驅動分量相關聯的頻率來為每個觸覺驅動分量選擇增益a env(t)，並且將其應用於相應觸覺驅動分量。因此基於與觸覺驅動分量相關聯的頻率範圍來向每個觸覺驅動分量a env(t)提供單獨增益。這允許基於用例來強調與特定頻率相關聯的觸覺驅動分量，而不強調其他觸覺驅動分量。例如，基於經由提供針對低音的強觸覺回應來改善使用者體驗（例如因為所探討的揚聲器不能再現該低頻的音訊輸出，所以改用觸覺回應），則可以是針對低頻分量強調觸覺回應。在一個實例中，第一觸覺驅動分量與第一頻率範圍分量相關聯，並且第二增益與關聯於第二頻率範圍的第二觸覺驅動分量相關聯，第一頻率範圍是比第二頻率範圍更低的頻率範圍，並且其中基於與觸覺驅動分量相關聯的頻率範圍來向觸覺驅動分量提供增益包括：向與第一頻率範圍分量相關聯的第一觸覺驅動分量提供比向與第二頻率範圍相關聯的第二觸覺驅動分量提供的增益更高的增益。例如，第二增益可以是零增益。
要向觸覺驅動分量中的每一者提供的增益可由使用者選擇。例如，增益可經由圖形化使用者介面GUI（諸如圖3中所示的GUI）選擇，圖3被分成圖3A和圖3B，圖3A在左側圖示「圖形等化器」，該圖形等化器提供了各種預設模式以覆蓋各種用例，圖3B圖示針對所選擇的預設模式（在圖3的情況下為「遊戲模式」）的觸覺和音訊回應。預設表示對要應用於觸覺驅動分量的增益的預定選擇，以便根據用例來強調針對特定音訊頻率的觸覺回應。例如，遊戲預設可以強調與爆炸、槍擊等相關聯的低頻音訊，使得這些雜訊導致強烈的觸覺回應，這可以改善使用者體驗。圖形等化器亦可以提供定製模式，在該定製模式下，可以為給定頻率範圍（給定觸覺分量a env(t)）手動設置每個增益，使得使用者具有最大靈活性來根據偏好調整觸覺回應。在圖3的右側，針對輸入音訊圖示針對遊戲預設的觸覺回應。這裡圖示可以如何經由增益的應用來強調與特定頻率範圍相關聯的觸覺驅動分量，而不強調其他觸覺驅動分量。GUI使用者介面元素（諸如滑塊）可以表示基於對觸覺振動強度的人類感知來調整線性、對數或其他縮放的增益。
一旦已經應用了增益，就根據經增益調整的觸覺驅動分量a GA(t)來決定觸覺驅動訊號，當觸覺驅動訊號被用於驅動觸覺致動器時，觸覺驅動訊號被用來產生觸覺致動器的機械行為。在圖2的佈置中，這分兩個階段發生。首先，經增益調整的觸覺驅動分量a GA(t)被傳遞到振幅調制器24，該振幅調制器利用經增益調整的觸覺驅動分量a GA(t)對觸覺致動器處的音調（tone）（諸如線性諧振致動器（LRA）諧振頻率F0音調27的音調）進行調制。這裡，a GA(t)表示所有單獨的經增益調整的觸覺驅動分量。這些分量提供了F0音調被調制到的振幅包絡。例如，在調制之前，這些分量可以被重新組合成單個訊號。可以使用以下等式來實現調制： a h(t) = a GA(t)*sin(2ᴨF 0t)
該模組24的輸出是a h(t)，指示觸覺致動器跨整個頻率範圍的期望機械行為（在圖2中，其為LRA加速度）的訊號或函數——亦即，輸出訊號LRA加速度a h(t)考慮了增益。圖4提供了LRA加速度以及它如何與揚聲器加速度一致的圖示；揚聲器加速度提供了觸覺回應的包絡，該包絡提供音調（或訊號）（這裡是LRA諧振頻率音調）的振幅，該振幅被調制以產生LRA加速度a h(t)。換句話說，使用包絡來對訊號/音調進行調制——包絡設置了訊號的振幅，其中訊號的頻率由LRA的諧振頻率設置。
其次，觸覺致動器加速度a h(t)被饋送到觸覺波形產生器25中。觸覺波形產生器25被配置為決定觸覺驅動訊號（或波形），這裡是LRA電驅動電壓u h(t)，該觸覺驅動訊號使得當觸覺驅動訊號用於驅動觸覺致動器時，觸覺致動器以觸覺致動器加速度a h(t)所指示的方式發生行為。換句話說，波形產生器25分析期望觸覺致動器加速度a h(t)，並且決定產生該機械行為的驅動電壓。波形產生器25的操作的細節將在以下單獨標題下進行詳細論述。然而，簡而言之，產生電驅動電壓u h(t)包括：將致動器加速度a h(t)輸入到模型中，該模型將觸覺致動器的期望機械行為映射到產生該行為所需的驅動訊號。與用於觸覺致動器模組的模型相比，這是反向映射，該觸覺致動器模組獲取了輸入觸覺驅動訊號並且決定了預期觸覺致動器行為。
波形產生器25包括例如儲存在驅動訊號產生模組11的記憶體中的模型或具有存取該模型的許可權，該記憶體可以是波形產生器25的記憶體或單獨記憶體。在本實施例中，機械行為是LRA致動器的加速度。應當瞭解，其他機械行為可以是合適的，諸如致動器漂移或致動器的壓力輸出等。
該模型可以由所使用的特定觸覺致動器的各種預定機電參數定義（模型在致動器之間可以不同——亦即，該模型可以是為特定致動器定製的，以便準確地預測該特定致動器的行為）。機電參數包括允許為期望機械行為（在這種情況下為期望致動器加速度）決定驅動電壓的那些參數。例如，機電參數可以包括觸覺致動器的諧振頻率、彈簧剛度（k）、品質（m）、機械阻尼因數（b）、機電耦合因數（BL）、電阻、電感或它們的任何組合中的一者或多者。
觸覺波形產生器25亦可以被配置為基於來自觸覺致動器13的操作回饋來調整模型的一或多個參數。具體地，在利用驅動訊號驅動觸覺致動器時，音訊-觸覺驅動訊號產生模組11可以對觸覺致動器執行一或多個回饋量測。在一個態樣，智慧觸覺驅動器可以是用於執行回饋量測的構件的實例。具體地，回饋感測器及/或過零偵測器可以被配置為執行回饋量測。這些部件可以是觸覺波形產生器25的功能部件或可以是單獨部件。例如，觸覺波形產生器25可以被配置為接收操作回饋，該操作回饋包括直接從觸覺致動器13量測的電流和電壓回饋以及LRA機電參數（在圖2中，LRA電流（1）、電壓回饋（2）和LRA機電參數（3））——亦即，模組25執行回饋量測——或單獨部件可以執行量測並且將量測傳送給模組25。如上文所提到，回饋可以從如自觸覺致動器接收到的模擬形式轉換成供觸覺波形產生器25使用的數位形式。無論哪種方式，回饋感測器（例如波形產生器模組25）可以跨觸覺致動器量測由於觸覺致動器被驅動而出現的電壓。當利用驅動訊號驅動觸覺致動器時，可以量測該電壓。亦即，可以同時量測電壓。替代地或除此之外，回饋感測器可以量測由於觸覺致動器被驅動而出現的流經觸覺致動器的電流。當正利用驅動訊號驅動觸覺致動器時，亦可以同時量測該電流。在另一態樣，過零偵測器可以量測由於利用驅動訊號驅動觸覺致動器而在觸覺致動器中感應的反電動勢（BEMF）並且偵測過零。過零偵測器亦可以量測BEMF的其他特徵，諸如波形響鈴、包絡衰減等。同樣，過零偵測器可以是模組25的一部分，或可以是將量測傳送給模組25的單獨部件。
該回饋是來自觸覺致動器的實況回饋，這是由於該觸覺致動器被觸覺驅動訊號（例如與u h(t)不同的觸覺驅動訊號）驅動。該實況回饋允許觸覺波形產生器25即時地決定觸覺致動器實際上表現如何，並且隨後可以相應地調整模型。這可以允許波形產生器25考慮觸覺致動器所經歷的特定（例如當前）操作條件，諸如溫度、致動器的壽命等，以便儘可能地為致動器提供最準確且最新的模型。
在一個實例中，電流和電壓回饋可以用於匯出電流機電參數，該電流機電參數隨後可以用於更新模型的參數。例如，可以調整模型的機電參數以與從回饋中計算出的參數匹配，這將產生觸覺驅動訊號u h(t)，該觸覺驅動訊號使得觸覺致動器以期望方式機械地發生行為——亦即，如a h(t)所指示。儘管圖2中所示的佈置涉及揚聲器電流和電壓回饋來使模型最佳化，但應當瞭解，不涉及這種回饋的實施例是可能的。在此類實施例中，驅動電壓僅僅由預先設置的預定模型例如在初始設置或製造期間決定。
一旦已經產生了觸覺驅動訊號u h(t)，音訊訊號u(t)和觸覺驅動訊號u h(t)就可以被傳遞到揚聲器12和致動器13，以產生音訊和觸覺輸出。重要的是，已經從當被所探討的音訊訊號驅動時的揚聲器12的預期機械行為產生了觸覺驅動訊號。這保持了音訊輸出與觸覺輸出之間的一致性——觸覺輸出反映了音訊輸出，不僅僅是在電子級別上（亦即，觸覺驅動訊號不僅僅反映了輸入音訊訊號），而是考慮了揚聲器的機械行為。另外，可以提供實況回饋以確保對揚聲器和致動器的機械行為進行準確建模，並且確保實現觸覺致動器的期望行為，並且確保這適合於所探討的特定揚聲器和致動器。最後，基於音訊的頻率範圍來將增益應用於觸覺驅動分量，從而允許音訊訊號的特定分量根據用例而轉化成更大或更小的觸覺回應。
參考圖5的流程圖，在使用中，圖1的用於觸覺驅動訊號產生的系統操作如下。在圖5的步驟51中，由音訊-觸覺驅動訊號產生模組11例如在揚聲器模組21處接收音訊訊號。可以從記憶體、伺服器或網路等接收輸入音訊，並且該輸入音訊可以表示音樂軌跡、視訊遊戲的音訊、電影的音訊等。在步驟52中，音訊-觸覺驅動訊號產生模組11從音訊訊號中匯出指示音訊揚聲器在被輸入音訊訊號驅動時的行為的資料分量，每個資料分量與相應頻率範圍相關聯。如上文所論述，該步驟可以由揚聲器模組21和濾波器模組22執行。每個資料分量可以如關於圖2所論述的那樣並且可以按相同方式被決定。例如，每個資料分量可以指示音訊揚聲器在被跨相應頻率範圍內的音訊訊號驅動時的機械行為，並且具體地，當音訊揚聲器被輸入音訊訊號驅動時，資料分量可以指示揚聲器漂移、揚聲器加速度或揚聲器壓力。如上文所論述，匯出資料分量可以包括：預測音訊揚聲器在被音訊訊號驅動時的機械行為，並且根據對機械行為的預測來決定資料分量。預測可以包括：將音訊訊號輸入到音訊揚聲器的機械行為的模型（例如上文所論述的模型）中，該模型被配置為產生對音訊揚聲器在被輸入到模型中的音訊訊號驅動時的機械行為的預測，如關於圖2所論述的。預測可以是預期揚聲器加速度a s(t)。預測亦可以包括：基於來自音訊揚聲器的操作回饋來調整模型的一或多個參數，其中操作回饋是來自如先前所論述的音訊揚聲器的電壓及/或電流回饋。根據對機械行為的預測來決定資料分量亦可以包括：根據音訊頻率來濾波對機械行為的預測，該對機械行為的預測被濾波成資料分量以產生例如經濾波的揚聲器加速度a f(t)。
在步驟53中，模組11根據每個資料分量來決定觸覺驅動分量a env(t)，並且在步驟54中，模組11選擇要向觸覺驅動分量中的每一者提供的增益，該增益是為每個相應頻率範圍選擇的，並且將每個所選擇的增益應用於相應觸覺驅動分量，以產生經增益調整的觸覺驅動分量。這些步驟可以由包絡追蹤模組23執行。觸覺驅動分量和增益可以如上文關於圖2所論述的那樣並且可以按相同方式被決定。例如，根據每個資料分量來決定觸覺驅動分量可以包括：將移動平均（或視情況，數位FIR或IIR濾波器）應用於每個資料分量以產生相應觸覺驅動分量。要向觸覺驅動分量中的每一者提供的增益可由使用者（例如圖3的GUI）選擇。如上文所論述，可以基於與觸覺驅動分量相關聯的頻率範圍來向觸覺驅動分量提供增益。例如，第一觸覺驅動分量可以與第一頻率範圍分量相關聯，並且第二觸覺驅動分量可以與第二頻率範圍相關聯，第一頻率範圍是比第二頻率範圍更低的頻率範圍，並且其中基於與觸覺驅動分量相關聯的頻率範圍來向觸覺驅動分量提供增益包括：向與第一頻率範圍分量相關聯的第一觸覺驅動分量提供比向與第二頻率範圍相關聯的第二觸覺驅動分量提供的增益更高的增益。向第二觸覺驅動分量提供的增益可以是零增益。每個觸覺驅動分量a env(t)可以指示觸覺致動器在被根據相應觸覺驅動分量而決定的觸覺驅動訊號驅動時的機械行為，例如，如關於圖2所論述的觸覺致動器的加速度。
最後，在步驟55中，模組11根據經增益調整的觸覺驅動分量來決定觸覺驅動訊號，當觸覺驅動訊號被用於驅動觸覺致動器時，觸覺驅動訊號被用來產生觸覺致動器的機械行為。這可以由如上文所論述的圖2的調制器24和波形產生器25決定。例如，根據經增益調整的觸覺驅動分量來決定觸覺驅動訊號可以包括：根據經增益調整的觸覺驅動分量來決定觸覺驅動訊號，以產生由經增益調整的觸覺驅動分量指示的觸覺致動器的適當機械行為。這可以經由對觸覺致動器處的音調/訊號（諸如線性諧振致動器（LRA諧振頻率F0音調的音調——具有經增益調整的觸覺驅動分量aGA(t)）進行振幅調制來完成——亦即，使用由觸覺驅動分量定義的包絡來對訊號/音調進行調制——包絡設置了訊號的振幅，其中訊號的頻率由諧振頻率設置，例如LRA加速度a h(t)。這裡，基於由經增益調整的觸覺驅動分量和觸覺致動器的諧振頻率表示的加速度包絡來獲得經調制的加速度a h(t)。
隨後，將調制訊號輸入到觸覺致動器的機械行為的模型中，該模型被配置為產生觸覺驅動訊號，當觸覺驅動訊號被用於驅動觸覺致動器時，觸覺驅動訊號將重新建立由調制訊號指示的機械行為。這可以包括：基於來自觸覺致動器的操作回饋來調整模型的一或多個參數，該操作回饋是例如來自觸覺致動器的電壓及/或電流回饋。這可以如關於圖2的波形產生器25所描述的那樣完成。
要注意，儘管已經描述了本案的態樣（包括圖2的所有模組和功能性），但亦預期了其他態樣。例如，根據一些態樣，基於頻率對增益的濾波和配置可能不是必需的。在這種佈置中，音訊-觸覺驅動訊號產生模組11可以接收用於驅動音訊揚聲器的輸入音訊訊號（這可以如關於圖2所描述的，亦即，從記憶體、網路、伺服器等接收音訊訊號）。模組11隨後可以基於音訊訊號來決定指示音訊揚聲器在被音訊訊號驅動時的機械行為的訊號。這可以由揚聲器模組（諸如模組21）諸如，並且可以按與關於該模組所描述的方式相同的方式執行。例如，可以決定預期揚聲器加速度a s(t)。模組11隨後可以根據指示音訊揚聲器的機械行為的訊號來決定觸覺致動器的觸覺驅動訊號。這裡，可以根據預期揚聲器加速度a s(t)直接決定觸覺包絡，亦即，不需要傳遞經由BPF模組22。在這種情況下，包絡追蹤模組23可以不將增益應用於觸覺驅動分量。相反，決定整個訊號的包絡。隨後，可以使用包絡對觸覺致動器處的音調（諸如線性諧振致動器（LRA）諧振頻率F0音調）進行振幅調制，以經由調制器（諸如調制器24）決定觸覺加速度a h(t)，並且由此可以例如經由如前述的波形產生器25決定驅動電壓。因此，應當瞭解，這些態樣不限於將增益應用於特定觸覺驅動分量——在特定態樣，可以提供如下實施例：提供從揚聲器的預期機械特性中直接匯出的觸覺驅動訊號。在圖11的流程圖中圖示該程序的步驟——亦即，在步驟1101中，接收用於驅動音訊揚聲器的輸入音訊訊號；在步驟1102中，基於音訊訊號來決定指示音訊揚聲器在被音訊訊號驅動時的機械行為的訊號；及在步驟1103中，根據指示音訊揚聲器的機械行為的訊號來決定觸覺致動器的觸覺驅動訊號。
作為另一替代方案，涉及濾波和增益應用的態樣是可能的，但不從揚聲器的預期機械特性中匯出觸覺分量。在此類實施例中，輸入音訊可以被直接饋送到濾波模組，諸如BPF模組22，並且直接根據輸入音訊來決定觸覺包絡——觸覺驅動分量。例如，這可以按與關於圖2所描述的方式相同的方式來完成，其中每個觸覺驅動分量與頻率範圍相關聯。隨後，如前述，可以將增益應用於所匯出的觸覺驅動分量。調制器（諸如調制器24）可以對這些分量進行調制以提供調制訊號，並且該訊號隨後可以被傳遞到波形產生器（諸如產生器25），以產生驅動電壓來驅動致動器。在此類佈置中，觸覺輸出將經由直接從音訊輸入訊號中匯出而被連結到音訊。
在描述本案的態樣的具體實施例之前，我們現在將轉向本案的另一態樣。 音訊和觸覺輸出的時間同步
音訊和觸覺輸出可以如前述那樣進行處理，並且被傳遞到音訊和觸覺揚聲器，例如圖1的音訊和觸覺揚聲器。然而，若兩個輸出在時間上並未良好地同步，則觸覺回應可能不會向使用者呈現為與音訊輸出一致，這可能會降低使用者體驗。因此，本案的態樣提供了用於音訊輸出與觸覺輸出的時間同步的方法和系統。應當瞭解，時間同步可以結合上文針對產生觸覺驅動訊號所論述的態樣來實現或單獨實現（亦即，其可以用於同步不是如上文所論述的方式而產生的音訊輸出和觸覺輸出）。
參考圖6，用於使音訊揚聲器的音訊輸出與觸覺致動器的觸覺輸出同步的系統61。圖6圖示用於執行同步的功能模組，其可以視情況利用硬體或軟體來實現。系統61可以被實現為圖1的系統10的一部分，例如在音訊-觸覺驅動訊號產生模組11內實現。
首先，該系統使用包括引導頻輸入訊號的輸入音訊訊號（輸入音訊訊號可以是引導頻音調，或除了其他音訊資料之外亦可以包括引導頻音調）產生i）來自音訊揚聲器的音訊輸出，並且回應於所產生的音訊輸出而從音訊揚聲器接收揚聲器回應訊號，並且使用包括引導頻輸入訊號的輸入訊號產生ii）來自觸覺致動器的觸覺輸出，並且回應於所產生的觸覺輸出而從觸覺致動器接收觸覺回應訊號。在圖6中所示的實例中，產生包括引導頻音訊音調的單個輸入音訊訊號——例如預定音訊訊號，並且由此分別從音訊揚聲器（例如揚聲器12）和觸覺致動器（例如致動器13）產生音訊輸出和觸覺輸出。從引導頻輸入訊號產生音訊輸出和觸覺輸出可以遵循例如關於圖2和圖5所描述的程序，其中訊號u(t)表示引導頻音調。應當瞭解，替代方案是可能的，例如，僅僅提供單獨引導頻音訊和觸覺訊號來產生音訊和觸覺輸出。
一旦音訊輸出和觸覺輸出已經由引導頻音調（引導頻輸入訊號）產生，就接收回饋電壓及/或電流訊號。這裡，接收來自音訊揚聲器的回饋電壓訊號v(t)和來自觸覺致動器的回饋電壓訊號v h(t)。兩個訊號皆經由濾波器模組（這裡是圖6的BPF模組62和63）傳遞。從這些濾波器模組中，提取揚聲器回應訊號v ptA(t)和觸覺回應訊號v ptH(t)。這些訊號是特別地由引導頻音調引起的電壓回應訊號。例如，引導頻音調可以具有特定頻率，或可以被設計成產生來自揚聲器和致動器的特定輸出頻率。濾波器模組62和63可以針對該頻率進行濾波，以便消除不是由引導頻音調引起的回饋訊號，從而提取特別地由引導頻音調引起的回饋（該特定回饋是回應訊號v ptA(t)和v ptH(t)）。
回應訊號v ptA(t)和v ptH(t)隨後被傳遞到延遲估計模組64，在該延遲估計模組處計算回應訊號之間的時間延遲。更精確地，可以從回應訊號中匯出由引導頻音調產生的揚聲器加速度和觸覺致動器加速度（例如使用與上述模型類似的模型，該模型基於預先配置到模型中的揚聲器或致動器的機電特性來將電壓輸出映射到對應加速度），並且可以決定加速度之間的時間差。在一些實施例中，可以經由將特定延遲應用於觸覺加速度來決定相應揚聲器加速度與觸覺加速度之間的時間差。隨後，與該候選延遲值對應地計算揚聲器加速度與觸覺加速度之間的互相關。類似地，針對一組延遲計算揚聲器加速度與觸覺加速度之間的互相關，這組延遲取特定延遲範圍之間的值，例如-0.5秒到+0.5秒。使揚聲器加速度與觸覺加速度之間的互相關最大化的延遲值則為系統的估計延遲，在圖6中被表示為t0。應當瞭解，頻域中的其他分數延遲估計程序亦是可能的。
一旦根據揚聲器回應訊號和觸覺回應訊號決定了時間延遲，就將要向觸覺致動器發送的下一個觸覺驅動訊號u h(t)輸入到延遲估計模組64中。該下一個觸覺驅動訊號隨後被時間延遲偏移，以便消除音訊輸出與觸覺輸出之間的延遲。這由輸出驅動訊號u h(t-t 0)示出，其中t 0是計算出的時間延遲。這相當於對觸覺驅動電壓的閉合迴路回饋以消除延遲。當然，應當瞭解，這種閉合迴路回饋同樣可以被應用於音訊驅動訊號或兩者，只要訊號調整使得消除音訊輸出與觸覺輸出之間的延遲。在圖12中圖示該同步程序的步驟。在步驟1201中，使用引導頻輸入訊號產生來自音訊揚聲器的音訊輸出，並且回應於所產生的音訊輸出而從音訊揚聲器接收揚聲器回應訊號。在步驟1202中，使用引導頻輸入訊號產生來自觸覺致動器的觸覺輸出，並且回應於所產生的觸覺輸出而從觸覺致動器接收觸覺回應訊號。在步驟1203中，根據揚聲器回應訊號和觸覺回應訊號決定時間延遲。在步驟1204中，調整通向音訊揚聲器的輸入音訊訊號和通向觸覺致動器的輸入觸覺訊號，以便調整時間延遲。 揚聲器模組
現在將更詳細地描述根據本案的態樣的音訊-觸覺驅動訊號產生模組11的揚聲器模組21的操作。
揚聲器模組21使用輸入音訊訊號u(t)和揚聲器12的模型（特別是擴音器12的漂移傳遞函數h(t)）針對輸入音訊訊號u(t)（例如，其可以是語音訊號）預測（例如估計）擴音器（音訊揚聲器）12的漂移。
更具體地，為了估計漂移，利用擴音器的漂移傳遞函數h(t)的脈衝回應來濾波原始音訊/語音訊號（輸入訊號）u(t)，以估計輸入音訊/語音訊號的漂移e(t)。若擴音器12的漂移傳遞函數h(t)的脈衝回應是已知的，則可以經由e(t)=h (t)* u(t)來估計漂移e(t)，其中*表示兩個序列的迴旋。這可以由例如IIR濾波器執行，但其他實現是可能的。
如關於圖2所論述的，揚聲器12的模組（亦即，傳遞函數h(t)）是儲存在記憶體中的已知函數並且可用於揚聲器模組21。例如，在系統10的製造或初始設置期間，基於揚聲器的已知或預期機電特性，可以初始地預定傳遞函數h(t)。這些特性可以是揚聲器12的類型的揚聲器所共有的已知特性，或可以經由在製造期間測試揚聲器12來進行決定。這些特性將決定定義模式/傳遞函數的初始參數。如上文所論述，隨後，在經由實況回饋決定揚聲器的當前機電特性（亦即，其在操作中的特性）時，可以即時地更新模型的參數。
一旦已經決定了e(t)，揚聲器模組21就可以決定e(t)的二次導數，以決定預期揚聲器加速度a s(t)。應當瞭解，可以視情況使用其他適當的度量，諸如預期揚聲器壓力。這可以經由使用適當的模型/傳遞函數來實現。
揚聲器模組亦可以被配置為基於預測揚聲器行為來調整輸入音訊，以例如保護揚聲器。這可以僅使用模型（即沒有實況回饋）或包括實況回饋來完成。以這種方式，揚聲器模組充當揚聲器保護模組，例如限制器，該揚聲器保護模組防止將引起可能損壞揚聲器的音訊回應的音訊訊號。例如，經模型預測為導致可能損壞揚聲器的機械行為的音訊輸入被修改為使得經修改的音訊揚聲器引起對於揚聲器而言進行起來安全的機械行為（亦即，帶來揚聲器損壞的低風險）。
例如，可以從揚聲器的傳遞函數h(t)中計算最大揚聲器漂移，並且可以修改音訊輸入訊號以限制音訊揚聲器使漂移保持低於或等於最大漂移。
除了限制漂移之外，揚聲器模組可以並行地決定對音訊訊號的調整，以用於給定揚聲器的已知操作條件下的最佳音訊輸出。例如，揚聲器模組可以同時地限制漂移，並且亦調節訊號以最大化被限制的漂移的所感知的音量。如將顯而易見的，其他限制和最佳化功能性是可能的。例如，該功能性可以與對揚聲器加速度的決定一起執行，並且可以由在系統的硬體上執行的適當軟體執行。 波形產生器
現在將更詳細地描述根據本案的態樣的音訊-觸覺驅動訊號產生模組11的波形產生器25的操作。
產生器25可以基於經調制的加速度(t)來計算觸覺致動器的速度vel(t)和漂移e H(t)。在一個態樣，可以應用以下等式來計算vel(t)和e H(t)： vel(t) = （3） e H(t) = （4）
產生器25可以基於經調制的加速度ah(t)、速度vel(t)、漂移eH(t)和觸覺致動器的一或多個參數來計算電磁力F(t)以移動觸覺致動器的移動品質。在一個態樣，可以應用以下等式來計算F(t)： F(t) = m h* a h(t) + b h* vel(t) + k h* e H(t)
在以上針對F(t)的等式中， m h 可以表示觸覺致動器的移動部件的品質， b h 可以表示觸覺致動器的阻尼因數，並且 k h 可以表示觸覺致動器的彈簧剛度。要注意，這些被標識為可以經由對回饋量測的連續監測來追蹤的觸覺致動器參數，如圖2中所示。換句話說，可以經由閉合迴路回饋連續監測和更新觸覺致動器的參數。
波形產生器25可以基於電磁力 F(t)和觸覺致動器的一或多個參數來計算驅動訊號的電壓 u h(t) 和經由觸覺致動器的電流I (t)。在一個態樣，可以應用以下等式來計算電壓 u h(t) 和電流 I(t)： I(t) = F(t)/BL h（6） u h(t) = I(t) * R +L + BL h* vel(t)
在以上針對I(t)和 u h (t)的兩個等式中，R（觸覺致動器的電阻）可以表示歐姆電壓降， L可以表示電感，並且 BL h 可以表示觸覺致動器的機電耦合因數。同樣，這些可以由追蹤器219經由對回饋量測的連續監測來進行追蹤。驅動訊號 u h (t))可以是由設備（例如音訊-觸覺驅動訊號產生模組，其可以是例如行動設備的一部分）施加到觸覺致動器的類比驅動電壓。在一個態樣，數位編碼器/解碼器CODEC及/或智慧觸覺驅動器可以是用於執行本節中所描述的程序步驟的構件的實例。在一些實施例中，放大器可以被配置為利用所產生的驅動訊號驅動觸覺致動器。
圖7圖示波形產生器25在根據觸覺加速度a h(t)產生驅動電壓時可以採取的步驟的流程圖。步驟如下。在步驟71中，計算基於經調制的加速度a h(t)的觸覺致動器的速度vel(t)和漂移e H(t)。在步驟72中，基於速度vel(t)、漂移e(t)和觸覺致動器的一或多個參數來計算電磁力F(t)。在步驟73中，基於電磁力F(t)和觸覺致動器的一或多個參數來計算驅動訊號的電壓 u h(t) 和經由觸覺致動器的電流I(t)。這些步驟可以按上文在本節中描述的方式實現。 其他實施例
現在將關於圖8、圖9和圖13論述實現本案的態樣的具體實施例。圖8圖示音訊-觸覺驅動訊號產生模組80，其可以與圖1的模組11對應，但應當瞭解，模組11不限於圖8中所示的模組。圖8圖示該實施例的主要功能模組，其中圖13圖示圖8的模組中的每一者的額外細節。模組80包括音訊-觸覺訊號產生器81，其可以執行關於圖2所描述的所有功能，並且可以經由適當的硬體及/或軟體（例如經由處理器）來實現。模組80亦包括音訊驅動器82（諸如音訊放大器）和觸覺驅動器83，它們可以執行在音訊-觸覺訊號產生器與揚聲器和致動器之間傳遞的訊號的模數ADC轉換或數模DAC轉換。
音訊-觸覺訊號產生器81可以包括處理單元1301，該處理單元可以實現本文中所論述的各種處理步驟。例如，處理單元可以在例如一或多個處理器和合適的軟體中實現圖2和圖6的功能模組。如圖13中所示，處理單元包括音訊同步波形產生模組，其圖示了本文中所描述的用於執行音訊-觸覺轉換的各種模組。音訊-觸覺訊號產生器81具有用於數位音訊訊號輸出和數位觸覺訊號輸出的輸出端1302。輸出端連接到介面和暫存器單元1303，該介面和暫存器單元接收訊號並且將訊號引導到它們適當的目的地。處理單元1301亦具有用於從揚聲器和致動器接收回饋（諸如溫度、電池電壓以及感測到的電流和電壓）的輸入端。這些回饋到演算法單元中，該演算法單元更新如上文所論述的揚聲器和致動器模型。
音訊驅動器82可以從音訊-觸覺訊號產生器81接收音訊輸入訊號（例如圖2中所示的輸入訊號u(t)）並且被配置為利用該輸入訊號驅動揚聲器。在特定實施例中，音訊驅動器直接連接到揚聲器以用於驅動揚聲器。另外，音訊驅動器可以執行關於圖2所論述的回饋量測——音訊驅動器可以量測揚聲器在其操作時的電壓和電流值以及揚聲器的其他相關指令引數（例如溫度）。音訊驅動器可以將此回饋給音訊-觸覺驅動訊號產生模組80，以供模組80更新揚聲器模組（或傳遞函數）以用於產生揚聲器加速度a s(t)。音訊驅動器可以包括用於對揚聲器執行這些回饋量測的回饋感測器。音訊驅動器亦可以將數位輸入訊號u(t)轉換成用於驅動揚聲器的對應類比驅動電壓。更詳細地，音訊驅動器82可以接收從音訊-觸覺訊號產生器81輸出的音訊訊號。可以在介面模組1304處接收音訊訊號，該介面模組執行各種功能，諸如揚聲器保護以及訊號路由。接收到的音訊訊號（其為數位訊號）在被傳遞到揚聲器之前被傳遞到DAC 1305以進行數位類比轉換。另外，介面模組1304接收回饋訊號，隨後可以將該回饋訊號傳遞給訊號產生器81。例如，來自揚聲器的溫度、電流和電壓讀數被獲取，由單獨ACD轉換器1306轉換成數位值，並且被傳遞到介面模組1304。溫度、電流和電壓讀數可以由適當的感測器獲取。
觸覺驅動器83可以從音訊-觸覺訊號產生器81接收觸覺驅動訊號，例如圖2的觸覺驅動訊號u h(t)。該訊號可以如關於圖2所描述的那樣產生。觸覺驅動器83可以被配置為利用接收到的驅動訊號驅動觸覺致動器。在特定實施例中，觸覺驅動器83直接連接到觸覺致動器以用於驅動致動器。另外，觸覺驅動器可以執行關於圖2所論述的回饋量測——觸覺驅動器可以量測揚聲器在其操作時的電壓和電流值以及揚聲器的其他相關指令引數（例如溫度）。音訊驅動器可以將此回饋給音訊-觸覺驅動訊號產生模組80，以供模組80更新觸覺模組（或傳遞函數）以用於產生觸覺加速度a h(t)。觸覺驅動器可以包括用於對致動器執行這些回饋量測的回饋感測器。觸覺驅動器亦可以將數位觸覺驅動訊號轉換成用於驅動致動器的對應類比驅動電壓。更詳細地，觸覺驅動器83可以接收從音訊-觸覺訊號產生器81輸出的觸覺訊號。可以在觸覺驅動器介面模組1307處接收觸覺訊號，該觸覺驅動器介面模組執行各種功能，諸如致動器保護以及訊號路由。接收到的觸覺訊號（其為數位訊號）在被傳遞到致動器（這裡是LRA）之前被傳遞到DAC 1308以進行數位類比轉換。另外，介面模組1307接收回饋訊號，隨後可以將該回饋訊號傳遞給訊號產生器81。例如，來自致動器的溫度、電流和電壓讀數被獲取，由單獨ACD轉換器1309轉換成數位值，並且被傳遞到介面模組1307。溫度、電流和電壓讀數可以由適當的感測器獲取。
轉向圖9，圖示用於實現本案的態樣的實例實施例。圖9圖示用於觸覺訊號產生的系統90，其包括可以利用圖8的音訊-觸覺訊號產生器81的硬體及/或軟體來實現的功能模組。圖9的功能模組圖示本案的態樣的細節，並且可以由圖2的通用模組或其他適當的模組實現。要注意，圖2的系統不限於圖9的具體實施例——圖9的實施例圖示圖2的系統的可能實現。
如圖9中所示，將輸入音訊資料（例如在圖9中由單元99示出的音訊訊號u(t)）輸入到音訊到揚聲器漂移預測和聲音輸出濾波器91中。該濾波器模組91從輸入音訊中匯出揚聲器漂移e(t)，並且將漂移輸出到功率估計器92，該功率估計器根據漂移e(t)來決定訊號功率。以這種方式，模組91和92正充當圖21的揚聲器模組21，亦即，它們在功能上是等效的。要注意，在圖9的實施例中，從揚聲器漂移（而非揚聲器加速度）中匯出訊號功率，然而，應當瞭解，對於特定用例，可以視情況使用該揚聲器漂移或該揚聲器加速度中的任一者。在任何情況下，訊號功率仍然表示揚聲器的相關機械特性——功率量僅僅為了便於操作而使用。應當瞭解，轉換成訊號功率可能不是必需的，並且僅僅使用直接漂移或加速度訊號是可能的。隨後，所匯出的功率訊號根據頻率被分成資料分量（指示音訊揚聲器在被輸入音訊訊號驅動時的行為——揚聲器膜的漂移）。這由圖9的濾波器組93執行。與次低音（20 Hz到60 Hz）音訊相關聯的功率訊號分量被分離到次低音組中。與低音（60 Hz到250 Hz）音訊相關聯的功率訊號分量被分離到低音組中。與低中音（250 Hz到500 Hz）音訊相關聯的功率訊號分量被分離到低中音組中。與中音（500 Hz到2 kHz）音訊相關聯的功率訊號分量被分離到中音組中。與高中音（2 kHz到4 kHz）音訊相關聯的功率訊號分量被分離到高中音組中。與存在（presence）（4 kHz到6 kHz）音訊相關聯的功率訊號分量被分離到存在組中。與輝煌（brilliance）（6 kHz到20 kHz）音訊相關聯的功率訊號分量被分離到輝煌組中。每個資料分量與相應頻率範圍相關聯。要注意，儘管在圖9中已經圖示全頻範圍，但根據用例，可以使用完整範圍的子集。例如，對於窄範圍應用，可以丟棄輝煌和次低音組。對於其他應用，可以丟棄低範圍（例如次低音和低音）組，或可以丟棄高範圍組（輝煌和存在），或可以使用更廣闊的組（例如次低音與低音組合、中音組組合、存在與輝煌組合等），或可以使用更窄的組。應當瞭解，根據用例，許多排列皆是可能的。
濾波器組93是圖2的濾波器模組22的示例性實現。
一旦已經決定了組，每個資料分量就被傳遞到積分模組94，該積分模組對每個資料分量執行單獨積分運算。該運算是跨積分訊窗的移動平均積分，並且決定跨每個頻率範圍的觸覺驅動訊號的包絡。給定頻率範圍的包絡在本文中被稱為觸覺驅動分量。移動平均積分訊窗可以是致動器諧振頻率的一個週期或半個週期中的任一者——亦即，T=(1/F 0)或T=(0.5/F 0)。資料分量的積分運算可以被表示如下： p env(t) = ； e env(t) = ；或 a env(t) = 取決於是否使用了訊號功率p，或直接漂移e，或加速度a。週期可以針對所有頻帶為固定的，或可以針對每個頻帶單獨設置——例如，每個頻帶可以具有其自身的週期。週期T亦可以被設置成擷取某些類型的聲音。例如，低頻聲音可能需要較長積分週期，以確保在包絡中擷取來自該聲音的訊號功率（亦即，漂移、加速度或壓力）（例如，小週期可能僅擷取訊號的一部分）。對於較高頻率的聲音，可以使用較小週期。
每個觸覺驅動分量p env(t)隨後被傳遞到閘控模組95，該閘控模組應用非線性雜訊閘控函數，該非線性雜訊閘控函數可以由圖3的圖形等化器控制。這裡，閾值Th n和增益G n可以被應用於每個觸覺驅動分量p env(t) n，其中n是與觸覺驅動分量相關聯的特定頻率範圍。換句話說，每個觸覺驅動分量與其自身的閾值和增益相關聯。閾值用於消除包絡內的異常子分量——亦即，其充當平滑函數來消除訊號中的偽像。增益用於強調或不強調它們相應的觸覺驅動分量並且可由使用者控制。在一些用例中，使用者亦可以例如經由圖3的圖形等化器被給予對設置閾值的控制。例如，可以提供標準模式，在該標準模式下，只有增益是可選擇的，並且為具有通常知識者提供單獨的高級模式，在該高級模式下，閾值和增益皆是可由等化器選擇的。應當瞭解，在一些實施例中，不使用閾值。
積分模組94和閘控模組95是包絡追蹤模組23的示例性實現。
經增益調整的觸覺驅動分量隨後經由適當的操作被重新組合成完整訊號p GA(t)（其表示所有經增益調整的分量）並且被傳遞到調制器96，該調制器在諧振頻率下對訊號進行調制——這裡，這可以被表示為p h(t) = p GA(t)*sin(2ᴨF 0t)。
調制器96是圖2的振幅調制器24的示例性實現。
最後，調制訊號p h(t)被傳遞到波形設計器97，若直接使用加速度，該波形設計器獲取（a h(t)的）調制訊號p h(t)並且產生致動器驅動電壓u h(t)，如在圖9中經由單元98所示的。波形設計器97是圖2的波形產生器25的示例性實現，並且如關於圖2和在波形產生器標題下所描述的那樣操作。
要注意，在上文中，已經論述了本案的涉及使用頻帶的態樣。然而，不使用頻帶的實施例是可能的。例如，點（spot）轉換是可能的，其中將具有已知音訊波形的某些聲音轉換成時域中的觸覺回應。這裡，音訊到觸覺轉換將遵循與圖2中所示的原理相同的原理——音訊波形將用於產生一致的觸覺回應。然而，這裡，不執行根據頻率的封包（banking），由於輸入音訊訊號將具有離散波形，可以使用本案的態樣將其轉換成一致的觸覺回應。例如，在遊戲應用中，槍擊聲可以具有特定波形。可以根據該波形來決定揚聲器的預期機械行為，並且由此可以例如經由使用本文中所論述的模型和轉換（但沒有濾波器組）來產生一致的觸覺回應。另外，觸覺回應可以變化——所產生的觸覺波形可以基於諸如誰扣動了扳機的度量而變化（例如，若使用者扣動了扳機或若另一玩家扣動了扳機，則產生不同的觸覺回應）。這可以基於使用者輸入或基於從遊戲引擎檢索到的資料來進行偵測。 實例應用
本案的態樣的一個應用是針對較低音訊頻率組（例如低音和次低音）的觸覺回應。其原因是音訊揚聲器在這些較低頻帶中通常具有次佳效能。例如，行動電話的音訊揚聲器可能無法在低音和次低音範圍內發揮最佳效能。因此，經由強調這些較低頻率範圍的觸覺回應，觸覺回應可以補充在這些較低範圍內的音訊，從而使揚聲器在這些範圍內的效能降低對使用者來說不太明顯。這裡，在低頻下存在音訊和觸覺回應兩者；觸覺回應正在補充音訊回應。替代方案是將本文中所論述的音訊到觸覺轉換與心理聲學低音（psychoacoustic bass）組合。在這種方法中，音訊揚聲器事實上在給定低音訊率的基頻處可以不具有音訊回應。在這種情況下，揚聲器可以播放低音訊率的某些諧波頻率，而觸覺致動器將音訊波形中缺失的基頻轉換成觸覺回應。例如，可以使用170 Hz處的2次諧波和255 Hz處的3次諧波向音訊揚聲器重播缺失的85 Hz處的基頻，而85 Hz基頻將從音訊轉換成觸覺並且在觸覺致動器上重播。這裡，轉換可以首先從諧波中匯出（例如在數學上匯出）預期基頻波形，並且隨後例如根據本文中所描述的態樣來使用所匯出的基頻的音訊波形產生觸覺回應。
圖10圖示原理，其中提供了曲線圖，其圖示了跨具有減少的音訊活動的頻率的增加的致動器啟動。具體地，曲線101圖示致動器活動，其圖示了活動在10 2Hz與音訊回應102較低的10 3Hz之間達到其最高點。觸覺致動器活動隨後降低到10 3Hz與10 4Hz之間的低水平，其中揚聲器活動達到其最高點。
該觸覺回應是經由例如經由圖3的圖形等化器選擇適當的增益來實現的。例如，在圖9的實施例中，與次低音和低音訊率範圍相關聯的觸覺驅動分量可以設置有高增益——亦即，可以選擇高增益值G1和G2，並且為其餘觸覺驅動分量選擇零或接近零的增益。在經增益調整的訊號中，強調了該低頻觸覺驅動分量，而抑制了其餘分量。當被轉換成最終電壓驅動訊號時，所強調的低頻分量將被轉換成更大的驅動訊號，並且因此對於該音訊頻率範圍在觸覺致動器中將產生更大的活動。換句話說，音訊訊號的低頻音訊分量將引起觸覺致動器的大加速度——這些低頻音訊分量將被轉換成所強調的觸覺驅動分量。
應當瞭解，對於其他應用，可以以不同方式定製增益，以便實現不同的觸覺回應。
本案的態樣在各種用例中得到應用，例如在行動電話、可穿戴設備、虛擬實境、遊戲和IOT設備中。應用包括音訊同步觸覺、遊戲振動（諸如槍擊聲、炸彈爆炸和汽車引擎）、應用程式警報、鈴聲和涉及音訊和觸覺的通知以及具有觸覺回應的音訊及/或視訊重播，例如，使用者為了沉浸式體驗的目的而在行動設備上觀看視訊及/或收聽音訊內容，追蹤無線耳機延時，例如藍芽延時，並且利用例如附接到您的眼鏡或鏡框的揚聲器或其他耳機（使用微型揚聲器）等進行重播。
優點包括改進的觸覺波形產生——亦即，波形更適合於音訊訊號以及揚聲器和致動器兩者的特性；音訊輸出與觸覺輸出之間的改進的定時同步；及在例如掌上型設備上的改進的低音感知。
10:系統 11:音訊-觸覺驅動訊號產生模組 12:音訊揚聲器 13:觸覺致動器 21:揚聲器模組 22:濾波器模組 23:包絡追蹤模組 24:振幅調制器 25:觸覺波形產生器 26:方塊 27:線性諧振致動器（LRA）諧振頻率F0音調 28:模組組 29:模組組 51:步驟 52:步驟 53:步驟 54:步驟 55:步驟 61:系統 62:BPF模組 63:BPF模組 64:延遲估計模組 71:步驟 72:步驟 73:步驟 80:音訊-觸覺驅動訊號產生模組 81:音訊-觸覺訊號產生器 82:音訊驅動器 83:觸覺驅動器 90:系統 91:濾波器模組 92:功率估計器 93:濾波器組 94:積分模組 95:閘控模組 96:調制器 97:波形設計器 98:單元 99:單元 101:曲線 102:音訊回應 1101:步驟 1102:步驟 1103:步驟 1201:步驟 1202:步驟 1203:步驟 1204:步驟 1301:處理單元 1302:輸出端 1303:暫存器單元 1304:介面模組 1305:DAC 1306:單獨ACD轉換器 1307:觸覺驅動器介面模組 1308:DAC 1309:單獨ACD轉換器 G 1:高增益值 G 2:高增益值 G 3:高增益值 G 4:高增益值 G 5:高增益值 G 6:高增益值 G 7:高增益值 LRA:線性諧振致動器 Th 1:閾值 Th 2:閾值 Th 3:閾值 Th 4:閾值 Th 5:閾值 Th 6:閾值 Th 7:閾值
附圖的呈現是為了幫助描述其各個態樣。
圖1是用於實現本案的態樣的示例性系統的示意圖；
圖2是圖示了用於實現本案的態樣的功能模組的示例性系統的示意圖；
圖3A是根據本案的態樣的示例性圖形等化器的示意圖；
圖3B是由圖3A的圖形等化器產生的觸覺和音訊輸出的圖示；
圖4是圖示了根據本案的態樣的揚聲器和觸覺加速度的圖形表示；
圖5是圖示了根據本案的態樣的用於產生觸覺驅動訊號的程序的流程圖；
圖6是圖示了示出用於實現本案的態樣的功能模組的示例性系統的示意圖；
圖7是圖示了根據本案的態樣的用於產生觸覺驅動訊號的程序的流程圖；
圖8是根據實施例的用於實現本案的態樣的示例性系統的示意圖；
圖9是圖示了根據實施例的示出用於實現本案的態樣的功能部件的示例性系統的示意圖；
圖10是圖示了本案的態樣的示例性應用的曲線圖；
圖11是圖示了根據本案的態樣的用於產生觸覺驅動訊號的程序的流程圖；
圖12是圖示了根據本案的態樣的用於音訊和觸覺輸出的時間同步的程序的流程圖；
圖13是圖8的示例性系統的示意圖，圖示該系統的額外細節。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
21:揚聲器模組
22:濾波器模組
23:包絡追蹤模組
24:振幅調制器
25:觸覺波形產生器
26:方塊
27:線性諧振致動器(LRA)諧振頻率F0音調
28:模組組
29:模組組

Claims (44)

  1. 一種用於觸覺驅動訊號產生的方法，該方法包括以下步驟： 接收用於驅動一音訊揚聲器的一輸入音訊訊號； 從音訊訊號中匯出指示該音訊揚聲器在被該輸入音訊訊號驅動時的行為的資料分量，每個資料分量與一相應頻率範圍相關聯； 根據每個資料分量來決定一觸覺驅動分量； 選擇要向該等觸覺驅動分量中的每一者提供的一增益，該增益是為每個相應頻率範圍選擇的； 將每個所選擇的增益應用於相應觸覺驅動分量，以產生經增益調整的觸覺驅動分量；及 根據該經增益調整的觸覺驅動分量來決定一觸覺驅動訊號，當該觸覺驅動訊號被用於驅動觸覺致動器時，該觸覺驅動訊號被用來產生該觸覺致動器的一機械行為。
  2. 根據請求項1之方法，其中每個資料分量指示該音訊揚聲器在被跨該相應頻率範圍的該音訊訊號驅動時的一機械行為。
  3. 根據請求項2之方法，其中當該音訊揚聲器被該輸入音訊訊號驅動時，該等資料分量指示揚聲器加速度。
  4. 根據請求項2之方法，其中匯出該等資料分量包括以下步驟： 預測該音訊揚聲器在被該音訊訊號驅動時的該機械行為；及 根據對該機械行為的預測來決定該等資料分量。
  5. 根據請求項4之方法，其中該預測包括以下步驟：將該音訊訊號輸入到該音訊揚聲器的該機械行為的一模型中，該模型被配置為產生對該音訊揚聲器在被輸入到該模型中的該音訊訊號驅動時的該機械行為的一預測。
  6. 根據請求項5之方法，其中該預測亦包括以下步驟：基於來自該音訊揚聲器的操作回饋來調整該模型的一或多個參數。
  7. 根據請求項6之方法，其中該操作回饋包括來自該音訊揚聲器的電壓及/或電流回饋。
  8. 根據請求項4之方法，其中根據對該機械行為的該預測來決定該等資料分量包括以下步驟：根據音訊頻率來濾波對該機械行為的該預測，對該機械行為的該預測被濾波成該等資料分量。
  9. 根據請求項1之方法，其中根據每個資料分量來決定一觸覺驅動分量包括以下步驟：將一移動平均應用於每個資料分量以產生一相應觸覺驅動分量。
  10. 根據請求項1之方法，其中要向該等觸覺驅動分量中的每一者提供的該增益可由一使用者選擇。
  11. 根據請求項10之方法，其中要向該等觸覺驅動分量中的每一者提供的該增益可由一使用者經由一圖形化使用者介面GUI選擇。
  12. 根據請求項1之方法，其中每個觸覺驅動分量指示該觸覺致動器在被根據該相應觸覺驅動分量決定的一觸覺驅動訊號驅動時的一機械行為。
  13. 根據請求項12之方法，其中根據該經增益調整的觸覺驅動分量來決定一觸覺驅動訊號包括以下步驟： 根據該經增益調整的觸覺驅動分量來決定該觸覺驅動訊號，以產生由該經增益調整的觸覺驅動分量指示的該觸覺致動器的該機械行為。
  14. 根據請求項13之方法，其中根據該經增益調整的觸覺驅動分量來決定該觸覺驅動訊號包括以下步驟： 利用該經增益調整的觸覺驅動分量對該觸覺致動器的諧振頻率下的一音調進行振幅調制以產生一調制訊號；及 將該調制訊號輸入到該觸覺致動器的該機械行為的一模型中，該模型被配置為產生一觸覺驅動訊號，當該觸覺驅動訊號被用於驅動該觸覺致動器時，該觸覺驅動訊號將重新建立由該調制訊號指示的該機械行為。
  15. 根據請求項14之方法，其中根據該經增益調整的觸覺驅動分量來決定該觸覺驅動訊號亦包括以下步驟：基於來自該觸覺致動器的操作回饋來調整該模型的一或多個參數。
  16. 根據請求項15之方法，其中該操作回饋包括來自該觸覺致動器的電壓及/或電流回饋。
  17. 根據請求項1之方法，亦包括以下步驟：基於與該等觸覺驅動分量相關聯的該頻率範圍來向該等觸覺驅動分量提供增益。
  18. 根據請求項17之方法，其中一第一觸覺驅動分量與一第一頻率範圍分量相關聯，並且一第二觸覺驅動分量與一第二頻率範圍相關聯，該第一頻率範圍是比該第二頻率範圍更低的一頻率範圍，並且其中基於與該等觸覺驅動分量相關聯的該頻率範圍來向該等觸覺驅動分量提供增益包括以下步驟：向與該第一頻率範圍分量相關聯的該第一觸覺驅動分量提供比向與該第二頻率範圍相關聯的該第二觸覺驅動分量提供的該增益更高的一增益。
  19. 根據請求項18之方法，其中向該第二觸覺驅動分量提供的增益可以是一零增益。
  20. 根據請求項1之方法，亦包括以下步驟： 使該音訊揚聲器的一音訊輸出與該觸覺致動器的觸覺輸出同步，該同步包括以下步驟： 使用一引導頻輸入訊號產生來自該音訊揚聲器的一音訊輸出，並且回應於所產生的音訊輸出而從該音訊揚聲器接收一揚聲器回應訊號； 使用一引導頻輸入訊號產生來自該觸覺致動器的一觸覺輸出，並且回應於所產生的觸覺輸出而從該觸覺致動器接收一觸覺回應訊號； 根據該揚聲器回應訊號和該觸覺回應訊號來決定一時間延遲； 調整通向該音訊揚聲器的輸入音訊訊號和通向該觸覺致動器的輸入觸覺訊號，以便調整該時間延遲。
  21. 一種用於觸覺驅動訊號產生的系統，該系統包括一或多個處理器，該一或多個處理器被配置為： 接收用於驅動一音訊揚聲器的一輸入音訊訊號； 從音訊訊號中匯出指示該音訊揚聲器在被該輸入音訊訊號驅動時的行為的資料分量，每個資料分量與一相應頻率範圍相關聯； 根據每個資料分量來決定一觸覺驅動分量； 選擇要向該等觸覺驅動分量中的每一者提供的一增益，該增益是為每個相應頻率範圍選擇的； 將每個所選擇的增益應用於相應觸覺驅動分量，以產生經增益調整的觸覺驅動分量；及 根據該經增益調整的觸覺驅動分量來決定一觸覺驅動訊號，當該觸覺驅動訊號被用於驅動觸覺致動器時，該觸覺驅動訊號被用來產生該觸覺致動器的一機械行為。
  22. 根據請求項21之系統，其中每個資料分量指示該音訊揚聲器在被跨該相應頻率範圍的該音訊訊號驅動時的一機械行為。
  23. 根據請求項22之系統，其中當該音訊揚聲器被該輸入音訊訊號驅動時，該等資料分量指示揚聲器加速度。
  24. 根據請求項23之系統，其中匯出該等資料分量包括： 預測該音訊揚聲器在被該音訊訊號驅動時的該機械行為；及 根據對該機械行為的該預測來決定該等資料分量。
  25. 根據請求項24之系統，其中該預測包括：將該音訊訊號輸入到該音訊揚聲器的該機械行為的一模型中，該模型被配置為產生對該音訊揚聲器在被輸入到該模型中的該音訊訊號驅動時的該機械行為的一預測。
  26. 根據請求項25之系統，其中該預測亦包括：基於來自該音訊揚聲器的操作回饋來調整該模型的一或多個參數。
  27. 根據請求項26之系統，其中該操作回饋包括來自該音訊揚聲器的電壓及/或電流回饋。
  28. 根據請求項24之系統，其中根據對該機械行為的預測來決定該等資料分量包括：根據音訊頻率來濾波對該機械行為的該預測，對該機械行為的該預測被濾波成該等資料分量。
  29. 根據請求項21之系統，其中根據每個資料分量來決定一觸覺驅動分量包括：將一移動平均應用於每個資料分量以產生一相應觸覺驅動分量。
  30. 根據請求項21之系統，其中要向該等觸覺驅動分量中的每一者提供的該增益可由一使用者選擇。
  31. 根據請求項30之系統，其中要向該等觸覺驅動分量中的每一者提供的該增益可由一使用者經由一圖形化使用者介面GUI選擇。
  32. 根據請求項21之系統，其中每個觸覺驅動分量指示該觸覺致動器在被根據該相應觸覺驅動分量決定的一觸覺驅動訊號驅動時的一機械行為。
  33. 根據請求項32之系統，其中根據該經增益調整的觸覺驅動分量來決定一觸覺驅動訊號包括： 根據該經增益調整的觸覺驅動分量來決定該觸覺驅動訊號，以產生由該經增益調整的觸覺驅動分量指示的該觸覺致動器的該機械行為。
  34. 根據請求項33之系統，其中根據該經增益調整的觸覺驅動分量來決定該觸覺驅動訊號包括： 利用該經增益調整的觸覺驅動分量對該觸覺致動器的諧振頻率下的一音調進行振幅調制以產生一調制訊號；及 將該調制訊號輸入到該觸覺致動器的該機械行為的一模型中，該模型被配置為產生一觸覺驅動訊號，當該觸覺驅動訊號被用於驅動該觸覺致動器時，該觸覺驅動訊號將重新建立由該調制訊號指示的該機械行為。
  35. 根據請求項34之系統，其中根據該經增益調整的觸覺驅動分量來決定該觸覺驅動訊號亦包括：基於來自該觸覺致動器的操作回饋來調整該模型的一或多個參數。
  36. 根據請求項35之系統，其中該操作回饋包括來自該觸覺致動器的電壓及/或電流回饋。
  37. 根據請求項21之系統，其中該一或多個處理器亦被配置為：基於與該等觸覺驅動分量相關聯的該頻率範圍來向該等觸覺驅動分量提供增益。
  38. 根據請求項37之系統，其中一第一觸覺驅動分量與一第一頻率範圍分量相關聯，並且一第二觸覺驅動分量與一第二頻率範圍相關聯，該第一頻率範圍是比該第二頻率範圍更低的一頻率範圍，並且其中基於與該等觸覺驅動分量相關聯的該頻率範圍來向該等觸覺驅動分量提供增益包括：向與該第一頻率範圍分量相關聯的該第一觸覺驅動分量提供比向與該第二頻率範圍相關聯的該第二觸覺驅動分量提供的該增益更高的一增益。
  39. 根據請求項38之系統，其中向該第二觸覺驅動分量提供的增益可以是一零增益。
  40. 根據請求項21之系統，其中該一或多個處理器亦被配置為： 使該音訊揚聲器的音訊輸出與該觸覺致動器的觸覺輸出同步，該同步包括： 使用一引導頻輸入訊號產生來自該音訊揚聲器的一音訊輸出，並且回應於所產生的音訊輸出而從該音訊揚聲器接收一揚聲器回應訊號； 使用一引導頻輸入訊號產生來自該觸覺致動器的一觸覺輸出，並且回應於所產生的觸覺輸出而從該觸覺致動器接收一觸覺回應訊號； 根據該揚聲器回應訊號和該觸覺回應訊號來決定一時間延遲； 調整通向該音訊揚聲器的輸入音訊訊號和通向該觸覺致動器的輸入觸覺訊號，以便調整該時間延遲。
  41. 。
  42. 根據請求項21之系統，該系統亦包括連接到該一或多個處理器的一記憶體。
  43. 根據請求項21之系統，該系統亦包括該音訊揚聲器及/或該觸覺致動器，該音訊揚聲器及/或該觸覺致動器被連接到該一或多個處理器。
  44. 一種包括指令的電腦可讀取媒體，該等指令在被執行時使得用於處理資料的一設備的一或多個電路執行根據請求項1至20中任一項該的方法步驟。
TW112121249A 2022-08-03 2023-06-07 音訊和觸覺訊號處理 TW202407513A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/880,508 US20240045505A1 (en) 2022-08-03 2022-08-03 Audio and haptic signal processing
US17/880,508 2022-08-03

Publications (1)

Publication Number Publication Date
TW202407513A true TW202407513A (zh) 2024-02-16

Family

ID=87137012

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112121249A TW202407513A (zh) 2022-08-03 2023-06-07 音訊和觸覺訊號處理

Country Status (3)

Country Link
US (1) US20240045505A1 (zh)
TW (1) TW202407513A (zh)
WO (1) WO2024030695A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240087434A1 (en) * 2022-09-13 2024-03-14 AAC Acoustic Technologies (Shanghai)Co., Ltd. Method for generating haptic feedback signal, electronic device, and storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9891714B2 (en) * 2014-12-24 2018-02-13 Immersion Corporation Audio enhanced simulation of high bandwidth haptic effects
US10732714B2 (en) * 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11517815B2 (en) * 2019-08-19 2022-12-06 Cirrus Logic, Inc. System and method for use in haptic signal generation
US11361633B2 (en) * 2019-11-20 2022-06-14 Texas Instruments Incorporated Audio to haptics waveform generation using onset detection

Also Published As

Publication number Publication date
US20240045505A1 (en) 2024-02-08
WO2024030695A1 (en) 2024-02-08

Similar Documents

Publication Publication Date Title
KR101999565B1 (ko) 파형을 이용한 사운드 대 햅틱 효과 변환 시스템
CN108845673B (zh) 使用映射的声音-触觉效应转换系统
JP5729905B2 (ja) 音声システムの較正方法および装置
US9577596B2 (en) System and method for personalization of an audio equalizer
CN100382657C (zh) 用于声音再现的补偿系统和方法
JP6130931B2 (ja) 等化フィルタ係数決定器、装置、等化フィルタ係数プロセッサ、システムおよび方法
CN112020398A (zh) 用于驱动换能器的方法和装置
US20140233744A1 (en) Audio processing and enhancement system
JP2019512952A (ja) 音響再生システム
JP2011061422A (ja) 情報処理装置、情報処理方法およびプログラム
US20110280415A1 (en) Sound reproduction and detection
JP6757853B2 (ja) 知覚可能な低音レスポンス
TW202407513A (zh) 音訊和觸覺訊號處理
CN109716793A (zh) 滤波器生成装置、滤波器生成方法以及程序
CN113170260B (zh) 音频处理方法、装置、存储介质及电子设备
EP2701143A1 (en) Model selection of acoustic conditions for active noise control
WO2020036077A1 (ja) 信号処理装置、信号処理方法、およびプログラム
JP2023123514A (ja) オーディオ信号の個人適用のためのパラメータを設定するための方法
JP5217875B2 (ja) 音場支援装置、音場支援方法およびプログラム
JP2018526952A (ja) 音声信号補正方法
WO2021251136A1 (ja) 信号処理装置、信号処理方法、信号処理プログラム、信号処理用モデル製造方法及び音響出力機器
CN115442707A (zh) 一种扬声器模组功耗的降低方法及装置
JP6952524B2 (ja) 録音機、録音方法及び録音のためのプログラム
JP6482117B2 (ja) 信号処理装置及び方法並びに補聴特性の調整方法
RU2313923C2 (ru) Звуковоспроизводящее устройство с электромеханической обратной связью