TWI750781B - 用於處理一音訊信號之系統、方法及非暫時性電腦可讀媒體 - Google Patents

用於處理一音訊信號之系統、方法及非暫時性電腦可讀媒體 Download PDF

Info

Publication number
TWI750781B
TWI750781B TW109129071A TW109129071A TWI750781B TW I750781 B TWI750781 B TW I750781B TW 109129071 A TW109129071 A TW 109129071A TW 109129071 A TW109129071 A TW 109129071A TW I750781 B TWI750781 B TW I750781B
Authority
TW
Taiwan
Prior art keywords
component
residual
intermediate component
super
processor
Prior art date
Application number
TW109129071A
Other languages
English (en)
Other versions
TW202115715A (zh
Inventor
柴克瑞 賽得斯
Original Assignee
美商博姆雲360公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商博姆雲360公司 filed Critical 美商博姆雲360公司
Publication of TW202115715A publication Critical patent/TW202115715A/zh
Application granted granted Critical
Publication of TWI750781B publication Critical patent/TWI750781B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G06F17/141—Discrete Fourier transforms
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H04R3/14—Cross-over networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/307—Frequency adjustment, e.g. tone control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Discrete Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

本發明揭示一種使用頻譜正交聲音分量處理一音訊信號之系統。該系統包含自該音訊信號之一左聲道及一右聲道產生一中間分量及一側分量之一電路。該電路產生包含自該中間分量之頻譜能量移除之該側分量之頻譜能量之一超中間分量。該電路對該超中間分量濾波諸如以提供包含聲像偏置或雙耳處理、動態範圍處理或其他類型之處理之空間提示處理。該電路使用該經濾波超中間分量產生一左輸出聲道及一右輸出聲道。

Description

用於處理一音訊信號之系統、方法及非暫時性電腦可讀媒體
本發明大體上係關於音訊處理且更具體言之，係關於空間音訊處理。
概念上，一左-右立體聲信號之側(或「空間」)分量可被視為包含空間資訊之左聲道及右聲道之部分(即，出現在錄音棚之中心之左側或右側之任何處之一立體聲信號中之聲音)。相反地，一左-右立體聲信號之中間(或「非空間」)分量可被視為包含非空間資訊之左聲道及右聲道之部分(即，出現在錄音棚之中心之一立體聲信號中之聲音)。雖然中間分量含有被感知為非空間之立體聲信號中之能量，但其亦通常具有來自非感知上定位於錄音棚之中心之立體聲信號中之元素之能量。類似地，雖然側分量含有被感知為空間之立體聲信號中之能量，但其亦通常具有來自感知上定位於錄音棚之中心之立體聲信號中之元素之能量。為了增強處理音訊之可能性範圍，可期望隔離彼此頻譜「正交」之中間及側分量之部分且對該部分進行操作。
實施例係關於使用頻譜正交音訊分量(諸如一立體聲音訊信號或其他多聲道音訊信號之超中間、超側、殘餘中間或殘餘側分量)之音 訊處理。該等超中間及超側分量彼此頻譜正交，且該等殘餘中間及殘餘側分量彼此頻譜正交。
一些實施例包含一種用於處理一音訊信號之系統。該系統包含自該音訊信號之一左聲道及一右聲道產生一中間分量及一側分量之一電路。該電路產生包含自該中間分量之頻譜能量移除之該側分量之頻譜能量之一超中間分量。該電路對該超中間分量濾波諸如以提供包含聲像偏置或雙耳處理、動態範圍處理或其他類型之處理之空間提示處理。該電路使用該經濾波超中間分量產生一左輸出聲道及一右輸出聲道。
在一些實施例中，該電路將一傅立葉(Fourier)變換應用至該中間分量及該側分量以將該中間分量及該側分量轉換為一頻域。該電路藉由自該頻域中之該中間分量之一量值減去該頻域中之該側分量之一量值而產生該超中間分量。
在一些實施例中，該電路對該超中間分量濾波以增益調整或時間延遲該超中間分量之一副頻帶。在一些實施例中，該電路對該超中間分量濾波以將一動態範圍處理應用至該超中間分量。在一些實施例中，該電路對該超中間分量濾波以調整該超中間分量之一頻率相依振幅或一頻率相依延遲。在一些實施例中，該電路對該超中間分量濾波以將一基於機器學習之風格轉移、轉換或重新合成應用至該超中間分量。
在一些實施例中，該電路產生包含自該中間分量之該頻譜能量移除之該超中間分量之頻譜能量的一殘餘中間分量；對該殘餘中間分量濾波；且使用該經濾波殘餘中間分量產生該左輸出聲道及該右輸出聲道。
在一些實施例中，該電路對該殘餘中間分量濾波以增益調 整或時間延遲該殘餘中間分量之一副頻帶。在一些實施例中，該電路對該殘餘中間分量濾波以將一動態範圍處理應用至該殘餘中間分量。在一些實施例中，該電路對該殘餘中間分量濾波以調整該殘餘中間分量之一頻率相依振幅或一頻率相依延遲。在一些實施例中，該電路對該殘餘中間分量濾波以將一基於機器學習之風格轉移、轉換或重新合成應用至該殘餘中間分量。
在一些實施例中，該電路將一傅立葉變換應用至該中間分量以將該中間分量轉換為一頻域。該電路藉由自該頻域中之該中間分量之一量值減去該頻域中之該超中間分量之一量值而產生該殘餘中間分量。
在一些實施例中，該電路對該超中間分量應用一逆傅立葉變換以將一頻域中之該超中間分量轉換為一時域；藉由時間延遲該中間分量而產生一經延遲中間分量；藉由自該時域中之該經延遲中間分量減去該時域中之該超中間分量而產生一殘餘中間分量；對該殘餘中間分量濾波；且使用該經濾波殘餘中間分量產生該左輸出聲道及該右輸出聲道。
在一些實施例中，該電路產生包含自該側分量之該頻譜能量移除之該中間分量之該頻譜能量的一超側分量；對該超側分量濾波；且使用該經濾波超側分量產生該左輸出聲道及該右輸出聲道。
在一些實施例中，該電路將一傅立葉變換應用至該中間分量及該側分量以將該中間分量及該側分量轉換為一頻域。該電路藉由自該頻域中之該側分量之一量值減去該頻域中之該中間分量之一量值而產生該超側分量。
在一些實施例中，該電路對該超側分量濾波以增益調整或時間延遲該超側分量之一副頻帶。在一些實施例中，該電路對該超側分量 濾波以將一動態範圍處理應用至該超側分量。在一些實施例中，該電路對該超側分量濾波以調整該超側分量之一頻率相依振幅或一頻率相依延遲。在一些實施例中，該電路對該超側分量濾波以將一基於機器學習之風格轉移、轉換或重新合成應用至該超側分量。
在一些實施例中，該電路產生包含自該側分量之該頻譜能量移除之該中間分量之該頻譜能量的一超側分量；產生包含自該側分量之該頻譜能量移除之該超側分量之頻譜能量的一殘餘側分量；對該殘餘側分量濾波；且使用該經濾波殘餘側分量產生該左輸出聲道及該右輸出聲道。
在一些實施例中，該電路對該殘餘側分量濾波以增益調整或時間延遲該殘餘側分量之一副頻帶。在一些實施例中，該電路對該殘餘側分量濾波以將一動態範圍處理應用至該殘餘側分量。在一些實施例中，該電路對該殘餘側分量濾波以調整該殘餘側分量之一頻率相依振幅或一頻率相依延遲。在一些實施例中，該電路對該殘餘側分量濾波以將一基於機器學習之風格轉移、轉換或重新合成應用至該殘餘側分量。
在一些實施例中，該電路將一傅立葉變換應用至該側分量以將該側分量轉換為一頻域。該電路藉由自該頻域中之該側分量之一量值減去該頻域中之該超側分量之一量值而產生該殘餘側分量。
在一些實施例中，該電路產生包含自該側分量之該頻譜能量移除之該中間分量之該頻率能量的一超側分量；對該超側分量應用一逆傅立葉變換以將一頻域中之該超中間分量轉換為一時域；藉由時間延遲該側分量而產生一經延遲側分量；藉由自該時域中之該經延遲側分量減去該時域中之該超側分量而產生一殘餘側分量；對該殘餘側分量濾波；且使用該經濾波殘餘側分量產生該左輸出聲道及該右輸出聲道。
一些實施例包含一種非暫時性電腦可讀媒體，其包括經儲存程式碼。該程式碼在藉由至少一個處理器執行時組態該至少一個處理器以自一音訊信號之一左聲道及一右聲道產生一中間分量及一側分量；產生包含自該中間分量之頻譜能量移除之該側分量之頻譜能量之一超中間分量；對該超中間分量濾波；且使用該經濾波超中間分量產生一左輸出聲道及一右輸出聲道。
一些實施例包含一種用於藉由一電路處理一音訊信號之方法。該方法包含自一音訊信號之一左聲道及一右聲道產生一中間分量及一側分量；產生包含自該中間分量之頻譜能量移除之該側分量之頻譜能量之一超中間分量；對該超中間分量濾波；及使用該經濾波超中間分量產生一左輸出聲道及一右輸出聲道。
100:音訊處理系統
103:左輸入聲道
105:右輸入聲道
107:L/R轉M/S轉換器模組
109:中間分量
111:側分量
113:正交分量產生器模組
117:正交分量處理器模組
119:M/S轉L/R轉換器模組
121:左輸出聲道
123:右輸出聲道
131:經處理中間分量
139:經處理側分量
141:串擾處理器模組
151:經處理左分量
159:經處理右分量
205:減法單元
209:減法單元
213:正交分量產生器模組
215:減法單元
219:減法單元
220:正向快速傅立葉變換(FFT)單元
222:帶通單元
223:正交分量產生器模組
224:減法單元
225:超中間處理器
226:逆快速傅立葉變換(FFT)單元
228:時間延遲單元
230:減法單元
232:正向快速傅立葉變換(FFT)單元
234:帶通單元
236:減法單元
237:超側處理器
240:逆快速傅立葉變換(FFT)單元
242:時間延遲單元
244:減法單元
245:正交分量產生器模組
247:正向快速傅立葉變換(FFT)單元
249:帶通單元
251:減法單元
252:超中間處理器
253:減法單元
254:殘餘中間處理器
255:逆快速傅立葉變換(FFT)單元
257:逆快速傅立葉變換(FFT)單元
261:正向快速傅立葉變換(FFT)單元
263:帶通單元
265:減法單元
266:超側處理器
267:減法單元
268:殘餘側處理器
269:逆快速傅立葉變換(FFT)單元
271:逆快速傅立葉變換(FFT)單元
317:正交分量處理器模組
320:副頻帶空間處理及/或串擾補償處理單元
325:加法單元
330:加法單元
404(1):中間等化(EQ)濾波器
404(2):中間等化(EQ)濾波器
404(3):中間等化(EQ)濾波器
404(4):中間等化(EQ)濾波器
406(1):側等化(EQ)濾波器
406(2):側等化(EQ)濾波器
406(3):側等化(EQ)濾波器
406(4):側等化(EQ)濾波器
410:副頻帶空間處理器模組
510:串擾補償處理器模組
520:中間分量處理器
530:側分量處理器
540(a)至540(m):中間濾波器
550(a)至550(m):側濾波器
600:串擾模擬處理器模組
602:左頭影低通濾波器
604:左串擾延遲
606:右頭影低通濾波器
608:右串擾延遲
610:左頭影增益
612:右頭影增益
624:左頭影高通濾波器
626:右頭影高通濾波器
700:串擾消除處理器模組
710:帶內-帶外分頻器
720:反相器
722:反相器
730:對側估計器
732:濾波器
734:放大器
736:延遲單元
740:對側估計器
744:放大器
750:組合器
752:組合器
760:帶內-帶外組合器
810:步驟
820:步驟
830:步驟
840:步驟
850:步驟
910:步驟
920:步驟
930:步驟
940:步驟
950:步驟
960:步驟
970:步驟
1000:經硬左聲像偏置白雜訊信號
1005:中間分量
1010:側分量
1100:經中心左聲像偏置白雜訊信號
1105:中間分量
1110:側分量
1200:經中心聲像偏置白雜訊信號
1205:中間分量
1305:經聲像偏置白雜訊信號
1310:經聲像偏置白雜訊信號
1315:中間分量
1320:側分量
1500:經聲像偏置白雜訊信號
1510:超中間分量
1600:經聲像偏置白雜訊信號
1610:超中間分量
1700:經解相關白雜訊信號
1710:右聲道分量
1720:左聲道分量
1730:中間分量
1740:側分量
1810:超中間分量
1820:殘餘中間分量
1910:超側分量
1920:殘餘側分量
2000:電腦系統
2002:處理器
2004:晶片組
2006:記憶體
2008:儲存裝置
2012:圖形配接器
2014:指標裝置
2016:網路配接器
2018:顯示裝置
2020:記憶體控制器集線器
2022:輸入/輸出(I/O)控制器集線器
Em:經增強非空間分量
Es:經增強空間分量
M1:輸出超中間分量
M2:殘餘中間分量
OL:左輸出聲道
OR:右輸出聲道
S1:超側分量
S2:殘餘側分量
SL:左對側消除分量
SR:右對側消除分量
TL,In:左帶內聲道
TL,In’:經反相帶內聲道
TL,Out:左帶外聲道
TR,In:右帶內聲道
TR,In’:經反相帶內聲道
TR,Out:右帶外聲道
UL:左帶內串擾聲道
UR:右帶內串擾聲道
XL:左輸入聲道
XR:右輸入聲道
Ym:非空間分量
Ys:空間分量
Zm:經增強非空間串擾補償分量/中間串擾補償聲道
Zs:側串擾補償聲道
所揭示實施例具有其他優點及特徵，自詳細描述、隨附發明申請專利範圍及附圖(或圖式)將更容易明白該等其他優點及特徵。下文係圖之一簡要介紹。
圖1係根據一或多項實施例之一音訊處理系統之一方塊圖。
圖2A係根據一或多項實施例之一正交分量產生器之一方塊圖。
圖2B係根據一或多項實施例之一正交分量產生器之一方塊圖。
圖2C係根據一或多項實施例之一正交分量產生器之一方塊圖。
圖3係根據一或多項實施例之一正交分量處理器之一方塊圖。
圖4係根據一或多項實施例之一副頻帶空間處理器之一方塊圖。
圖5係根據一或多項實施例之一串擾補償處理器之一方塊圖。
圖6係根據一或多項實施例之一串擾模擬處理器之一方塊圖。
圖7係根據一或多項實施例之一串擾消除處理器之一方塊圖。
圖8係根據一或多項實施例之用於使用一超中間、殘餘中間、超側或殘餘側分量進行空間處理之一程序之一流程圖。
圖9係根據一或多項實施例之用於使用一超中間、殘餘中間、超側或殘餘側分量之至少一者進行副頻帶空間處理及串擾處理補償之一程序之一流程圖。
圖10至圖19係描繪根據一或多項實施例之一例示性白雜訊信號之中間及側分量之頻譜能量之曲線圖。
圖20係根據一或多項實施例之一電腦系統之一方塊圖。
圖式及以下描述係關於僅藉由圖解之較佳實施例。應注意，自以下論述，本文中揭示之結構及方法之替代實施例將容易地認知為可在不脫離所主張內容之原理之情況下採用之可行替代例。
現將詳細參考若干實施例，在附圖中繪示該等實施例之實 例。應注意，在可實踐之情況下，類似或相同元件符號可在圖式中使用且可指示類似或相同功能性。圖式僅為了圖解之目的描繪所揭示系統(或方法)之實施例。熟悉此項技術者將容易自以下描述認知，可採用本文中繪示之結構及方法之替代實施例而不脫離本文中描述之原理。
實施例係關於使用彼此頻譜正交之中間及側分量進行空間音訊處理。例如，一音訊處理系統產生隔離僅對應於存在於錄音棚之中心處之頻譜能量之中間分量之部分之一超中間分量或隔離僅對應於不存在於錄音棚之中心處之頻譜能量之側分量之部分的一超側分量。超中間分量包含自中間分量之頻譜能量移除之側分量之頻譜能量，且超側分量包含自側分量之頻譜能量移除之中間分量之頻譜能量。音訊處理系統亦可(例如，藉由自中間分量之頻譜能量減去超中間分量之頻譜能量)產生對應於其中超中間分量經移除之中間分量之頻譜能量的一殘餘中間分量，或(例如，藉由自側分量之頻譜能量減去超側分量之頻譜能量)產生對應於其中超中間分量經移除之側分量之頻譜能量的一殘餘側分量。藉由隔離此等正交分量且使用此等分量執行各種類型之音訊處理，音訊處理系統能夠提供音訊內容之標定增強。超中間分量表示在錄音棚之中心處之非空間(即，中間)頻率能量。例如，在錄音棚之中心處之非空間頻譜能量可包含一電影之對話或音樂中之主要聲音內容。對超中間應用信號處理操作實現此音訊內容之調整而不改變存在於錄音棚中之其他處之頻譜能量。例如，在一些實施例中，可藉由將減少典型人聲範圍中之頻譜能量之一濾波器應用至超中間分量而部分及/或完全移除聲音內容。在其他實施例中，對聲音內容之標定聲音增強或效應可由濾波器應用，該等濾波器(例如，經由壓縮、混響及/或其他音訊處理技術)增加典型人聲範圍中之能量。殘餘中間分量表示 不在錄音棚之正中心之非空間頻譜能量。對殘餘中間應用信號處理技術容許類似變換與其他分量正交地發生。例如，在一些實施例中，為了以整體感知增益之最小改變及聲音存在之最小損耗提供對音訊內容之一空間加寬效應，可部分及/或完全移除殘餘中間分量中之標定頻譜能量而增加殘餘側分量中之頻譜能量。
例示性音訊處理系統
圖1係根據一或多項實施例之一音訊處理系統100之一方塊圖。音訊處理系統100係處理一輸入音訊信號以產生一空間增強輸出音訊信號之一電路。輸入音訊信號包含一左輸入聲道103及一右輸入聲道105，且輸出音訊信號包含一左輸出聲道121及一右輸出聲道123。音訊處理系統100包含一L/R轉M/S轉換器模組107、一正交分量產生器模組113、一正交分量處理器模組117、一M/S轉L/R轉換器模組119及一串擾處理器模組141。在一些實施例中，音訊處理系統100包含上文提及之組件之一子集及/或上文提及之組件之額外組件。在一些實施例中，音訊處理系統100以不同於圖1中展示之順序之一順序處理輸入音訊信號。例如，音訊處理系統100可在使用正交分量產生器模組113及正交分量處理器模組117處理之前使用串擾處理處理輸入音訊。
L/R轉M/S轉換器模組107接收左輸入聲道103及右輸入聲道105且自輸入聲道103及105產生一中間分量109(例如，一非空間分量)及一側分量111(例如，空間分量)。在一些實施例中，中間分量109係基於左輸入聲道103及右輸入聲道105之一總和產生，且側分量111係基於左輸入聲道103及右輸入聲道105之一差產生。在一些實施例中，自一多聲道輸入音訊信號(例如，環場音效)產生若干中間分量及側分量。可使用其 他L/R轉M/S類型之變換以產生中間分量109及側分量111。
正交分量產生器模組113處理中間分量109及側分量111以產生以下各者之至少一者：一超中間分量M1、一超側分量S1、一殘餘中間分量M2及一殘餘側分量S2。超中間分量M1係其中側分量111經移除之中間分量109。超側分量S1係其中中間分量109之頻譜能量經移除之側分量111之頻譜能量。殘餘中間分量M2係其中超中間分量M1之頻譜能量經移除之中間分量109之頻譜能量。殘餘側分量S2係其中超側分量S1之頻譜能量經移除之側分量111之頻譜能量。在一些實施例中，音訊處理系統100藉由處理超中間分量M1、超側分量S1、殘餘中間分量M2及殘餘側分量S2之至少一者而產生左輸出聲道121及右輸出聲道123。關於圖2A至圖2C進一步描述正交分量產生器模組113。
正交分量處理器模組117處理超中間分量M1、超側分量S1、殘餘中間分量M2及/或殘餘側分量S2之一或多者。對分量M1、M2、S1及S2之處理可包含各種類型之濾波，諸如空間提示處理(例如，基於振幅或延遲之聲像偏置、雙耳處理等)、動態範圍處理、基於機器學習之處理、增益應用、混響、添加音訊效應或其他類型之處理。在一些實施例中，正交分量處理器模組117使用超中間分量M1、超側分量S1、殘餘中間分量M2及/或殘餘側分量S2執行副頻帶空間處理及/或串擾補償處理以產生一經處理中間分量131及一經處理側分量139。副頻帶空間處理係對一音訊信號之中間及側分量之副頻帶執行之用於空間上增強音訊信號之處理。串擾補償處理係對一音訊信號執行之調整由串擾處理引起之頻譜假影之處理，諸如對於揚聲器之串擾補償或對於耳機之串擾模擬。關於圖3進一步描述正交分量處理器模組117。
M/S轉L/R轉換器模組119接收經處理中間分量131及經處理側分量139且產生一經處理左分量151及一經處理右分量159。在一些實施例中，經處理左分量151係基於經處理中間分量131及經處理側分量139之一總和產生，且經處理右分量159係基於經處理中間分量131及經處理側分量139之間之一差產生。可使用其他M/S轉L/R類型之變換以產生經處理左分量151及經處理右分量159。
串擾處理器模組141接收經處理左分量151及經處理右分量159且對經處理左分量151及經處理右分量159執行串擾處理。串擾處理包含(例如)串擾模擬或串擾消除。串擾模擬係對一音訊信號(例如，經由耳機輸出)執行之用於模擬揚聲器之效應之處理。串擾消除係對一音訊信號(經組態以經由揚聲器輸出)執行之用於移除由揚聲器引起之串擾之處理。串擾處理器模組141輸出左輸出聲道121及右輸出聲道123。
例示性正交分量產生器
圖2A至圖2C分別係根據一或多項實施例之正交分量產生器模組213、223及243之方塊圖。正交分量產生器模組213、223及243係正交分量產生器模組113之實例。
參考圖2A，正交分量產生器模組213包含一減法單元205、一減法單元209、一減法單元215及一減法單元219。如上文描述，正交分量產生器模組113接收中間分量109及側分量111且輸出超中間分量M1、超側分量S1、殘餘中間分量M2及殘餘側分量S2之一或多者。
減法單元205自中間分量109之頻譜能量移除側分量111之頻譜能量以產生超中間分量M1。例如，減法單元205自頻域中之中間分量109之一量值減去頻域中之側分量111之一量值而單獨留下相位以產生超 中間分量M1。頻域中之減法可使用一傅立葉變換對時域信號執行以產生頻域中之信號，且接著執行頻域中之信號之減法。在其他實例中，頻域中之減法可以其他方式(諸如使用一小波變換而非一傅立葉變換)執行。減法單元209藉由自中間分量109之頻譜能量移除超中間分量M1之頻譜能量而產生一殘餘中間分量M2。例如，減法單元209自頻域中之中間分量109之一量值減去頻域中之超中間分量M1之一量值而單獨留下相位以產生殘餘中間分量M2。而在時域中自中間減去側導致信號之原始右聲道，頻域中之上文操作在不同於側分量之頻譜能量之中間分量之頻譜能量之一部分(稱為M1或超中間)與相同於側分量之頻譜能量之中間分量之頻譜能量之一部分(稱為M2或殘餘中間)之間隔離且區分。
在一些實施例中，當側分量111之頻譜能量自中間分量109之頻譜能量之減法導致超中間分量M1(例如，頻域中之一或多個頻格)之一負值時，可使用額外處理。在一些實施例中，當側分量111之頻譜能量自中間分量109之頻譜能量之減法導致一負值時，超中間分量M1被箝制為一0值。在一些實施例中，藉由取負值之絕對值作為超中間分量M1之值而回繞超中間分量M1。當側分量111之頻譜能量自中間分量109之頻譜能量之減法導致M1之一負值時可使用其他類型之處理。當產生超側分量S1、殘餘側分量S2或殘餘中間分量M2之減法導致一負值時可使用類似額外處理，諸如箝制為0、回繞或其他處理。當減法導致一負值時，將超中間分量M1箝制為0將確保M1與兩個側分量之間之頻譜正交性。同樣地，當減法導致一負值時，將超側分量S1箝制為0將確保S1與兩個中間分量之間之頻譜正交性。藉由產生超中間及側分量與其等適當中間/側對應分量(即，針對超中間之側分量、針對超側之中間分量)之間之正交性，經導出殘餘 中間M2及殘餘側S2分量含有不與其等適當中間/側對應分量正交(即，共有)之頻譜能量。亦即，當針對超中間應用箝制為0，且使用該M1分量以導出殘餘中間時，產生不具有與側分量共有之頻譜能量之一超中間分量及具有與側分量完全共有之頻譜能量的一殘餘中間分量。當將超側箝制為0時，相同關係適用於超側及殘餘側。當應用頻域處理時，通常存在頻率與時序資訊之間之一解析度權衡。隨著頻率解析度增加(即，隨著快速傅立葉變換(FFT)窗大小及頻格之數目增長)，時間解析度降低，且反之亦然。上述頻譜減法在一每頻格基礎上發生，且因此，在某些情境中(諸如當自超中間分量移除聲能時)，具有一大FFT窗大小(例如，8192個樣本，在給定一實值輸入信號之情況下導致4096個頻格)可係較佳的。其他情境可需要更多時間解析度且因此更低總延時及更低頻率解析度(例如，512樣本FFT窗大小，在給定一實值輸入信號之情況下導致256個頻格)。在後一種情況中，由於各頻格之頻譜能量係能量在一太大頻率範圍內之一平均表示，中間及側之低頻率解析度在彼此減去以導出超中間M1及超側S1分量時可產生可聽頻譜假影。在此情況中，在導出超中間M1或超側S1時採取中間與側之間之差之絕對值可藉由容許自分量之真實正交性之每頻格發散而有助於緩解感知假影。作為回繞0之補充或取代，吾人可將一係數應用至減數值，將該值在0與1之間縮放，且因此提供用於在一個極端(即，具有一值1)、超及殘餘中間/側分量之完全正交性與另一極端(即，具有一值0)、一超中間M1及超側S1(與其等對應原始中間及側分量相同)之間內插之一方法。
減法單元215自頻域中之側分量111之頻譜能量移除頻域中之中間分量109之頻譜能量而單獨留下相位以產生超側分量S1。例如，減法單元215自頻域中之側分量111之一量值減去頻域中之中間分量109之一 量值而單獨留下相位以產生超側分量S1。減法單元219自側分量111之頻譜能量移除超側分量S1之頻譜能量以產生一殘餘側分量S2。例如，減法單元219自頻域中之側分量111之一量值減去頻域中之超側分量S1之一量值而單獨留下相位以產生殘餘側分量S2。
在圖2B中，正交分量產生器模組223類似於正交分量產生器模組213，此係因為其接收中間分量109及側分量111且產生超中間分量M1、殘餘中間分量M2、超側分量S1及殘餘側分量S2。正交分量產生器模組223藉由在頻域中產生超中間分量M1及超側分量S1且接著將此等分量轉換回時域以產生殘餘中間分量M2及殘餘側分量S2而不同於正交產生器模組213。正交分量產生器模組223包含一正向FFT單元220、一帶通單元222、一減法單元224、一超中間處理器225、一逆FFT單元226、一時間延遲單元228、一減法單元230、一正向FFT單元232、一帶通單元234、一減法單元236、一超側處理器237、一逆FFT單元240、一時間延遲單元242及一減法單元244。
正向快速傅立葉變換(FFT)單元220將一正向FFT應用至中間分量109，從而將中間分量109轉換為一頻域。頻域中之經轉換中間分量109包含一量值及一相位。帶通單元222將一帶通濾波器應用至頻域中間分量109，其中帶通濾波器指定超中間分量M1中之頻率。例如，為了隔離一典型人聲範圍，帶通濾波器可指定300Hz與8000Hz之間之頻率。在另一實例中，為了移除與一典型人聲範圍相關聯之音訊內容，帶通濾波器可保持超中間分量M1中之較低頻率(例如，由一低音吉他或鼓產生)或較高頻率(例如，由鈸產生)。在其他實施例中，作為由帶通單元222應用之帶通濾波器之補充及/或取代，正交分量產生器模組223將各種其他濾波器 應用至頻域中間分量109。在一些實施例中，正交分量產生器模組223不包含帶通單元222且不將任何濾波器應用至頻域中間分量109。在頻域中，減法單元224自經濾波中間分量減去側分量111以產生超中間分量M1。在其他實施例中，作為如由一正交分量處理器模組(例如，圖3之正交分量處理器模組)執行之應用至超中間分量M1之後續處理之補充及/或替代，正交分量產生器模組223將各種音訊增強應用至頻域超中間分量M1。超中間處理器225在頻域中之超中間分量M1轉換為時域之前對其執行處理。處理可包含副頻帶空間處理及/或串擾補償處理。在一些實施例中，作為可由正交分量處理器模組117執行之處理之代替及/或補充，超中間處理器225對超中間分量M1執行處理。逆FFT單元226將一逆FFT應用至超中間分量M1，從而將超中間分量M1轉換回時域。頻域中之超中間分量M1包含M1之一量值及中間分量109之相位，逆FFT單元226將該相位轉換為時域。時間延遲單元228將一時間延遲應用至中間分量109，使得中間分量109及超中間分量M1同時到達減法單元230。減法單元230自時域中之時間延遲中間分量109減去時域中之超中間分量M1，從而產生殘餘中間分量M2。在此實例中，使用時域中之處理自中間分量109之頻譜能量移除超中間分量M1之頻譜能量。
正向FFT單元232將一正向FFT應用至側分量111，從而將側分量111轉換為頻域。頻域中之經轉換側分量111包含一量值及一相位。帶通單元234將一帶通濾波器應用至頻域側分量111。帶通濾波器指定超側分量S1中之頻率。在其他實施例中，作為帶通濾波器之補充及/或取代，正交分量產生器模組223將各種其他濾波器應用至頻域側分量111。在頻域中，減法單元236自經濾波側分量111減去中間分量109以產 生超側分量S1。在其他實施例中，作為如由一正交分量處理器(例如，圖3之正交分量處理器模組)執行之應用至超側分量S1之後續處理之補充及/或替代，正交分量產生器模組223將各種音訊增強應用至頻域超側分量S1。超側處理器237在頻域中之超側分量S1轉換為時域之前對其執行處理。處理可包含副頻帶空間處理及/或串擾補償處理。在一些實施例中，作為可由正交分量處理器模組117執行之處理之代替及/或補充，超側處理器237對超側分量S1執行處理。逆FFT單元240將一逆FFT應用至頻域中之超側分量S1，從而產生時域中之超側分量S1。頻域中之超側分量S1包含S1之一量值及側分量111之相位，逆FFT單元226將該相位轉換為時域。時間延遲單元242時間延遲側分量111，使得側分量111與超側分量S1同時到達減法單元244。減法單元244隨後自時域中之時間延遲側分量111減去時域中之超側分量S1，從而產生殘餘側分量S2。在此實例中，使用時域中之處理自側分量111之頻譜能量移除超側分量S1之頻譜能量。
在一些實施例中，若由超中間處理器225及超側處理器237執行之處理由正交分量處理器模組117執行，則可省略此等組件。
在圖2C中，正交分量產生器模組245類似於正交分量產生器模組223，此係因為其接收中間分量109及側分量111且產生超中間分量M1、殘餘中間分量M2、超側分量S1及殘餘側分量S2，惟正交分量產生器模組245在頻域中產生分量M1、M2、S1及S2之各者且接著將此等分量轉換為時域除外。正交分量產生器模組245包含一正向FFT單元247、一帶通單元249、一減法單元251、一超中間處理器252、一減法單元253、一殘餘中間處理器254、一逆FFT單元255、一逆FFT單元257、一正向FFT單元261、一帶通單元263、一減法單元265、一超側處理器266、一減法單 元267、一殘餘側處理器268、一逆FFT單元269及一逆FFT單元271。
正向FFT單元247將一正向FFT應用至中間分量109，從而將中間分量109轉換為頻域。頻域中之經轉換中間分量109包含一量值及一相位。正向FFT單元261將一正向FFT應用至側分量111，從而將側分量111轉換為頻域。頻域中之經轉換側分量111包含一量值及一相位。帶通單元249將一帶通濾波器應用至頻域中間分量109，帶通濾波器指定超中間分量M1之頻率。在一些實施例中，作為帶通濾波器之補充及/或代替，正交分量產生器模組245將各種其他濾波器應用至頻域中間分量109。減法單元251自頻域中間分量109減去頻域側分量111，從而產生頻域中之超中間分量M1。超中間處理器252在頻域中之超中間分量M1轉換為時域之前對其執行處理。在一些實施例中，超中間處理器252執行副頻帶空間處理及/或串擾補償處理。在一些實施例中，作為可由正交分量處理器模組117執行之處理之代替及/或補充，超中間處理器252對超中間分量M1執行處理。逆FFT單元257將一逆FFT應用至超中間分量M1，從而將其轉換回時域。頻域中之超中間分量M1包含M1之一量值及中間分量109之相位，逆FFT單元257將該相位轉換為時域。減法單元253在頻域中自中間分量109減去超中間分量M1以產生殘餘中間分量M2。殘餘中間處理器254在頻域中之殘餘中間分量M2轉換為時域之前對其執行處理。在一些實施例中，殘餘中間處理器254對殘餘中間分量M2執行副頻帶空間處理及/或串擾補償處理。在一些實施例中，作為可由正交分量處理器模組117執行之處理之代替及/或補充，殘餘中間處理器254對殘餘中間分量M2執行處理。逆FFT單元255應用一逆FFT以將殘餘中間分量M2轉換為時域。頻域中之殘餘中間分量M2包含M2之一量值及中間分量109之相位，逆FFT單 元255將該相位轉換為時域。
帶通單元263將一帶通濾波器應用至頻域側分量111。帶通濾波器指定超側分量S1中之頻率。在其他實施例中，作為帶通濾波器之補充及/或取代，正交分量產生器模組245將各種其他濾波器應用至頻域側分量111。在頻域中，減法單元265自經濾波側分量111減去中間分量109以產生超側分量S1。超側處理器266在頻域中之超側分量S1轉換為時域之前對其執行處理。在一些實施例中，超側處理器266對超側分量S1執行副頻帶空間處理及/或串擾補償處理。在一些實施例中，作為可由正交分量處理器模組117執行之處理之代替及/或補充，超側處理器266對超側分量S1執行處理。逆FFT單元271應用一逆FFT以將超側分量S1轉換回時域。頻域中之超側分量S1包含S1之一量值及側分量111之相位，逆FFT單元271將該相位轉換為時域。減法單元267在頻域中自側分量111減去超側分量S1，從而產生殘餘側分量S2。殘餘側處理器268在頻域中之殘餘側分量S2轉換為時域之前對其執行處理。在一些實施例中，殘餘側處理器268對殘餘側分量S2執行副頻帶空間處理及/或串擾補償處理。在一些實施例中，作為可由正交分量處理器模組117執行之處理之代替及/或補充，殘餘側處理器268對殘餘側分量S2執行處理。逆FFT單元269將一逆FFT應用至殘餘側分量S2，從而將其轉換為時域。頻域中之殘餘側分量S2包含S2之一量值及側分量111之相位，逆FFT單元269將該相位轉換為時域。
在一些實施例中，若由超中間處理器252、超側處理器266、殘餘中間處理器254或殘餘側處理器268執行之處理由正交分量處理器模組117執行，則可省略此等組件。
例示性正交分量處理器
圖3係根據一或多項實施例之一正交分量處理器模組317之一方塊圖。正交分量處理器模組317係正交分量處理器模組117之一實例。正交分量處理器模組317可包含一副頻帶空間處理及/或串擾補償處理單元320、一加法單元325及一加法單元330。正交分量處理器模組317對超中間分量M1、殘餘中間分量M2、超側分量S1及殘餘側分量S2之至少一者執行副頻帶空間處理及/或串擾補償處理。由於副頻帶空間處理及/或串擾補償處理單元320所致，正交分量處理器模組317輸出一經處理M1、一經處理M2、一經處理S1及一經處理S2之至少一者。加法單元325將經處理M1及經處理M2相加以產生一經處理中間分量131，且加法單元330將經處理S1及經處理S2相加以產生一經處理側分量139。
在一些實施例中，正交分量處理器模組317在頻域中對超中間分量M1、殘餘中間分量M2、超側分量S1及殘餘側分量S2之至少一者執行副頻帶空間處理及/或串擾補償處理320，從而在頻域中產生經處理中間分量131及經處理側分量139。正交分量產生器模組113可將頻域中之分量M1、M2、S1或S2提供至其中執行逆FFT之正交分量處理器。在產生經處理中間分量131及經處理側分量139之後，正交分量處理器模組317可對經處理中間分量131及經處理側分量139執行逆FFT以將此等分量轉換回時域。在一些實施例中，正交分量處理器模組317對經處理M1、經處理M2、經處理S1及經處理S1執行逆FFT，從而在時域中產生經處理中間分量131及經處理側分量139。
在圖4及圖5中展示正交分量處理器模組317之實例。在一些實施例中，正交分量處理器模組317執行副頻帶空間處理及串擾補償處理兩者。由正交分量處理器模組317執行之處理不限於副頻帶空間處理或 串擾補償處理。使用中間/側空間之任何類型之空間處理可由正交分量處理器模組317諸如藉由使用超中間分量取代中間分量或使用超側分量取代側分量而執行。一些其他類型之處理可包含增益應用、基於振幅或延遲之聲像偏置、雙耳處理、混響、動態範圍處理(諸如壓縮及限制)以及在自合唱或法蘭音效(flanging)至基於機器學習之方法至聲音或儀器風格轉移、轉換或重新合成等之範圍中之其他線型或非線性音訊處理技術及效應。
例示性副頻帶空間處理器
圖4係根據一或多項實施例之一副頻帶空間處理器模組410之一方塊圖。副頻帶空間處理器模組410係正交分量處理器模組317之一實例。副頻帶空間處理器模組410包含一中間EQ濾波器404(1)、一中間EQ濾波器404(2)、一中間EQ濾波器404(3)、一中間EQ濾波器404(4)、一側EQ濾波器406(1)、一側EQ濾波器406(2)、一側EQ濾波器406(3)及一側EQ濾波器406(4)。在一些實施例中，副頻帶空間處理器模組410包含作為本文中描述之組件之補充及/或代替之組件。
副頻帶空間處理器模組410接收一非空間分量Ym及一空間分量Ys，且增益調整此等分量之一或多者之副頻帶以提供一空間增強。非空間分量Ym可係超中間分量M1或殘餘中間分量M2。空間分量Ys可係超側分量S1或殘餘側分量S2。
副頻帶空間處理器模組410接收非空間分量Ym且將中間EQ濾波器404(1)至404(4)應用至Ym之不同副頻帶以產生一經增強非空間分量Em。副頻帶空間處理器模組410亦接收空間分量Ys且將側EQ濾波器406(1)至406(4)應用至Ys之不同副頻帶以產生一經增強空間分量Es。副頻帶濾波器可包含峰值濾波器、陷波濾波器、低通濾波器、高通濾波器、低架濾波 器、高架濾波器、帶通濾波器、帶止濾波器及/或全通濾波器之各種組合。副頻帶濾波器亦可將增益應用至各自副頻帶。更具體言之，副頻帶空間處理器模組410包含用於非空間分量Ym之n個副頻帶之各者之一副頻帶濾波器及用於空間分量Ys之n個副頻帶之各者之一副頻帶濾波器。例如，針對n=4個副頻帶，副頻帶空間處理器模組410包含用於非空間分量Ym之一系列副頻帶濾波器，包含用於副頻帶(1)之一中間等化(EQ)濾波器404(1)、用於副頻帶(2)之一中間EQ濾波器404(2)、用於副頻帶(3)之一中間EQ濾波器404(3)及用於副頻帶(4)之一中間EQ濾波器404(4)。各中間EQ濾波器404將一濾波器應用至非空間分量Ym之一副頻帶部分以產生經增強非空間分量Em。
副頻帶空間處理器模組410進一步包含用於空間分量Ys之副頻帶之一系列副頻帶濾波器，包含用於副頻帶(1)之一側等化(EQ)濾波器406(1)、用於副頻帶(2)之一側EQ濾波器406(2)、用於副頻帶(3)之一側EQ濾波器406(3)及用於副頻帶(4)之一側EQ濾波器406(4)。各側EQ濾波器406將一濾波器應用至空間分量Ys之一副頻帶部分以產生經增強空間分量Es。
非空間分量Ym及空間分量Ys之n個副頻帶之各者可對應於一頻率範圍。例如，副頻帶(1)可對應於0至300Hz，副頻帶(2)可對應於300Hz至510Hz，副頻帶(3)可對應於510Hz至2700Hz，且副頻帶(4)可對應於2700Hz至奈奎斯(Nyquist)頻率。在一些實施例中，n個副頻帶係一組合併臨界頻帶。臨界頻帶可使用來自廣泛多種音樂曲風之音訊樣本之一語料庫判定。自樣本判定24個巴克(Bark)量度臨界頻帶上之中間分量對側分量之一長期平均能量比。接著將具有類似長期平均比率之鄰接頻帶分 組在一起以形成該組臨界頻帶。副頻帶之範圍以及副頻帶之數目可係可調整的。
在一些實施例中，副頻帶空間處理器模組410處理殘餘中間分量M2作為非空間分量Ym且使用側分量之一者(超側分量S1或殘餘側分量S2)作為空間分量Ys。
在一些實施例中，副頻帶空間處理器模組410處理超中間分量M1、超側分量S1、殘餘中間分量M2及殘餘側分量S2之一或多者。應用至此等分量之各者之副頻帶之濾波器可係不同的。超中間分量M1及殘餘中間分量M2可各針對非空間分量Ym如論述般經處理。超側分量S1及殘餘側分量S2可各針對空間分量Ys如論述般經處理。
例示性串擾補償處理器
圖5係根據一或多項實施例之一串擾補償處理器模組510之一方塊圖。串擾補償處理器模組510係正交分量處理器模組317之一實例。串擾補償處理器模組510包含一中間分量處理器520及一側分量處理器530。串擾補償處理器模組510接收一非空間分量Ym及一空間分量Ys且將濾波器應用至此等分量之一或多者以補償由串擾處理引起(例如，在串擾處理之後或之前)之頻譜缺陷。非空間分量Ym可係超中間分量M1或殘餘中間分量M2。空間分量Ys可係超側分量S1或殘餘側分量S2。
串擾補償處理器模組510接收非空間分量Ym且中間分量處理器520應用一組濾波器以產生一經增強非空間串擾補償分量Zm。串擾補償處理器模組510亦接收空間副頻帶分量Ys且應用一側分量處理器530中之一組濾波器以產生一經增強空間副頻帶分量Es。中間分量處理器520包含複數個濾波器540，諸如m個中間濾波器540(a)、540(b)至540(m)。此 處，m個中間濾波器540之各者處理非空間分量Xm之m個頻帶之一者。中間分量處理器520藉由處理非空間分量Xm而相應地產生一中間串擾補償聲道Zm。在一些實施例中，中間濾波器540係使用透過模擬具有串擾處理之非空間Xm之一頻率回應曲線圖經組態。另外，藉由分析頻率回應曲線圖，可估計任何頻譜缺陷，諸如頻率回應曲線圖中超過一預定臨限值(例如，10dB)之作為串擾處理之一假影出現之峰值或波谷。此等假影主要源自串擾處理中之經延遲且可能經反相對側信號與其等對應同側信號之加總，藉此將一梳狀濾波器式頻率回應有效地引入至最終演現結果。中間串擾補償聲道Zm可由中間分量處理器520產生以補償經估計峰值或波谷，其中m個頻帶之各者對應於一峰值或波谷。具體言之，基於串擾處理中應用之特定延遲，對頻率及增益濾波，峰值及波谷在頻率回應中向上及向下移位，從而引起頻譜之特定區域中之能量之可變放大及/或衰減。中間濾波器540之各者可經組態以針對峰值及波谷之一或多者進行調整。
側分量處理器530包含複數個濾波器550，諸如m個側濾波器550(a)、550(b)至550(m)。側分量處理器530藉由處理空間分量Xs而產生一側串擾補償聲道Zs。在一些實施例中，可透過模擬獲得具有串擾處理之空間Xs之一頻率回應曲線圖。藉由分析頻率回應曲線圖，可估計任何頻譜缺陷，諸如作為串擾處理之一假影出現之超過一預定臨限值(例如，10dB)之頻率回應曲線圖中之峰值或波谷。側串擾補償聲道Zs可由側分量處理器530產生以補償經估計峰值或波谷。具體言之，基於串擾處理中應用之特定延遲，濾波頻率及增益，峰值及波谷在頻率回應中向上及向下移位，從而引起頻譜之特定區域中之能量之可變放大及/或衰減。側濾波器550之各者可經組態以針對峰值及波谷之一或多者進行調整。在一些實施 例中，中間分量處理器520及側分量處理器530可包含不同數目個濾波器。
在一些實施例中，中間濾波器540及側濾波器550可包含具有由方程式1定義之一轉移函數之一雙二階濾波器：
Figure 109129071-A0305-02-0025-2
其中z係一複變數，且a0、a1、a2、b0、b1及b2係數位濾波器係數。用於實施此一濾波器之一個方式係如由方程式2定義之直接形式I拓樸：
Figure 109129071-A0305-02-0025-3
其中X係輸入向量，且Y係輸出。取決於其等最大字長及飽和行為，可使用其他拓樸。接著，可使用雙二階來實施具有實值輸入及輸出之一二階濾波器。為了設計一離散時間濾波器，設計一連續時間濾波器，且接著經由一雙線性變換而將其變換為離散時間。此外，可使用頻率回繞補償中心頻率及頻寬之所得移位。
例如，一峰值濾波器可具有由方程式3定義之一S平面轉移函數：
Figure 109129071-A0305-02-0025-4
其中s係一複變數，A係峰值之振幅，且Q係濾波器「品質」且數位濾波器係數由以下項定義： b 0=1+αA
b 1=-2cos(ω 0)
b 2=1-αA
Figure 109129071-A0305-02-0026-6
a 1=-2cos(ω 0)
Figure 109129071-A0305-02-0026-7
其中ω 0係以弧度為單位之濾波器之中心頻率且
Figure 109129071-A0305-02-0026-8
。此外，濾波器品質Q可由方程式4定義：
Figure 109129071-A0305-02-0026-9
其中Δf係一頻寬且fc係一中心頻率。中間濾波器540經展示為串聯，且側濾波器550經展示為串聯。在一些實施例中，將中間濾波器540並行地應用至中間分量Xm，且將側濾波器並行地應用至側分量Xs。
在一些實施例中，串擾補償處理器模組510處理超中間分量M1、超側分量S1、殘餘中間分量M2及殘餘側分量S2之各者。應用至此等分量之各者之濾波器可係不同的。
例示性串擾處理器
圖6係根據一或多項實施例之一串擾模擬處理器模組600之一方塊圖。如關於圖1提及，在一些實施例中，音訊處理系統100包含將串擾處理應用至經處理左分量151及經處理右分量159之一串擾處理器模組141。串擾處理包含(例如)串擾模擬及串擾消除。在一些實施例中，串擾處理器模組141包含串擾模擬處理器模組600。串擾模擬處理器模組600產生對側聲音分量以輸出至立體聲耳機，藉此提供耳機上之一揚聲器式收 聽體驗。左輸入聲道XL可係經處理左分量151且右輸入聲道XR可係經處理右分量159。在一些實施例中，可在正交分量處理之前執行串擾模擬。
串擾模擬處理器模組600包含用於處理左輸入聲道XL之一左頭影低通濾波器602、一左頭影高通濾波器624、一左串擾延遲604及一左頭影增益610。串擾模擬處理器模組600進一步包含用於處理右輸入聲道XR之一右頭影低通濾波器606、一右頭影高通濾波器626、一右串擾延遲608及一右頭影增益612。左頭影低通濾波器602及左頭影高通濾波器624對左輸入聲道XL應用調變，該調變模型化信號在行進通過收聽者之頭部之後之頻率回應。將左頭影高通濾波器624之輸出提供至應用一時間延遲之左串擾延遲604。時間延遲表示由一對側聲音分量相對於一同側聲音分量往復之聽覺距離。左頭影增益610將一增益應用至左串擾延遲604之輸出以產生右左模擬聲道WL。
類似於右輸入聲道XR，右頭影低通濾波器606及右頭影高通濾波器626將調變應用至右輸入聲道XR，該調變模型化收聽者之頭部之頻率回應。將右頭影高通濾波器626之輸出提供至應用一時間延遲之右串擾延遲608。右頭影增益612將一增益應用至右串擾延遲608之輸出以產生右串擾模擬聲道WR。
可以不同順序執行針對左聲道及右聲道之各者應用頭影低通濾波器、頭影高通濾波器、串擾延遲及頭影增益。
圖7係根據一或多項實施例之一串擾消除處理器模組700之一方塊圖。串擾處理器模組141可包含串擾消除處理器模組700。串擾消除處理器模組700接收一左輸入聲道XL及右輸入聲道XR，且對聲道XL、XR執行串擾消除以產生左輸出聲道OL及右輸出聲道OR。左輸入聲道XL可 係經處理左分量151且右輸入聲道XR可係經處理右分量159。在一些實施例中，可在正交分量處理之前執行串擾消除。
串擾消除處理器模組700包含一帶內-帶外分頻器710、反相器720及722、對側估計器730及740、組合器750及752以及一帶內-帶外組合器760。此等組件一起操作以將輸入聲道TL、TR劃分為帶內分量及帶外分量，且對帶內分量執行一串擾消除以產生輸出聲道OL、OR。
藉由將輸入音訊信號T劃分為不同頻帶分量且藉由對選擇性分量(例如，帶內分量)執行串擾消除，可針對一特定頻帶執行串擾消除同時避免其他頻帶中之降級。若執行串擾消除而不將輸入音訊信號T劃分為不同頻帶，則在此串擾消除之後之音訊信號可展現低頻(例如，低於350Hz)、高頻(例如，高於12000Hz)或兩者中之非空間及空間分量中之顯著衰減或放大。藉由針對帶內(例如，在250Hz與14000Hz之間)選擇性地執行串擾消除，在絕大多數有影響空間線索駐留之情況下，可跨混合中之頻譜保留尤其非空間分量中之一平衡整體能量。
帶內-帶外分頻器710將輸入聲道TL、TR分別分離成帶內聲道TL,In、TR,In及帶外聲道TL,Out、TR,Out。特定言之，帶內-帶外分頻器710將左增強補償聲道TL劃分為一左帶內聲道TL,In及一左帶外聲道TL,Out。類似地，帶內-帶外分頻器710將右增強補償聲道TR分離成一右帶內聲道TR,In及一右帶外聲道TR,Out。各帶內聲道可涵蓋對應於包含(例如)250Hz至14kHz之一頻率範圍之一各自輸入聲道之一部分。例如，可根據揚聲器參數調整頻帶之範圍。
反相器720及對側估計器730一起操作以產生一左對側消除分量SL以補償歸因於左帶內聲道TL,In之一對側聲音分量。類似地，反相器 722及對側估計器740一起操作以產生一右對側消除分量SR以補償歸因於右帶內聲道TR,In之一對側聲音分量。
在一個方法中，反相器720接收帶內聲道TL,In且將經接收帶內聲道TL,In之一極性反相以產生一經反相帶內聲道TL,In’。對側估計器730接收經反相帶內聲道TL,In’，且透過濾波提取對應於一對側聲音分量之經反相帶內聲道TL,In’之一部分。由於濾波係對經反相帶內聲道TL,In’執行，故由對側估計器730提取之部分變為貢獻於對側聲音分量之帶內聲道TL,In之一部分之一逆算值。因此，由對側估計器730提取之部分變為一左對側消除分量SL，可將左對側消除分量SL添加至一對應帶內聲道TR,In以減少歸因於帶內聲道TL,In之對側聲音分量。在一些實施例中，反相器720及對側估計器730以一不同序列實施。
反相器722及對側估計器740相對於帶內聲道TR,In執行類似操作以產生右對側消除分量SR。因此，為了簡潔起見，在本文中省略其詳細描述。
在一個例示性實施方案中，對側估計器730包含一濾波器732、一放大器734及一延遲單元736。濾波器732接收經反相輸入聲道TL,In’，且透過一濾波功能提取對應於一對側聲音分量之經反相帶內聲道TL,In’之一部分。一例示性濾波器實施方案係具有在5000Hz與10000Hz之間選擇之一中心頻率及在0.5與1.0之間選擇之Q之一陷波或高架濾波器。可自方程式5導出以分貝為單位之增益(GdB)：GdB=-3.0-log1.333(D) 方程式(5)
其中D係延遲單元736及646在樣本中(例如)按48KHz之一取樣速率之一延遲量。一替代實施方案係具有在5000Hz與10000Hz之間 選擇之一隅角頻率及在0.5與1.0之間選擇之Q之一低通濾波器。再者，放大器734藉由一對應增益係數GL,In放大經提取部分，且延遲單元736根據一延遲函數D延遲來自放大器734之經放大輸出以產生左對側消除分量SL。對側估計器740包含對經反相帶內聲道TR,In’執行類似操作以產生右對側消除分量SR之一濾波器742、一放大器744及一延遲單元746。在一個實例中，對側估計器730、740根據以下方程式產生左及右對側消除分量SL、SR：SL=D[GL,In*F[TL,In’]] 方程式(6)
SR=D[GR,In*F[TR,In’]] 方程式(7)
其中F[]係一濾波器函數，且D[]係延遲函數。
串擾消除之組態可由揚聲器參數判定。在一個實例中，根據相對於一收聽者形成於兩個揚聲器之間之一角度，可判定濾波器中心頻率、延遲量、放大器增益及濾波器增益。在一些實施例中，使用揚聲器角度之間之值以內插其他值。
組合器750將右對側消除分量SR組合至左帶內聲道TL,In以產生一左帶內串擾聲道UL，且組合器752將左對側消除分量SL組合至右帶內聲道TR,In以產生一右帶內串擾聲道UR。帶內-帶外組合器760將左帶內串擾聲道UL與帶外聲道TL,Out組合以產生左輸出聲道OL，且將右帶內串擾聲道UR與帶外聲道TR,Out組合以產生右輸出聲道OR。
因此，左輸出聲道OL包含對應於貢獻於對側聲音之帶內聲道TR,In之一部分之一逆算值的右對側消除分量SR，且右輸出聲道OR包含對應於貢獻於對側聲音之帶內聲道TL,In之一部分之一逆算值的左對側消除分量SL。在此組態中，由一右揚聲器根據到達右耳之右輸出聲道OR輸出 之一同側聲音分量之一波前可消除由一左揚聲器根據左輸出聲道OL輸出之一對側聲音分量之一波前。類似地，由左揚聲器根據到達左耳之左輸出聲道OL輸出之一同側聲音分量之一波前可消除由右揚聲器根據右輸出聲道OR輸出之一對側聲音分量之一波前。因此，可減少對側聲音分量以增強空間可偵測性。
正交分量空間處理
圖8係根據一或多項實施例之用於使用一超中間、殘餘中間、超側或殘餘側分量進行空間處理之一程序之一流程圖。空間處理可包含增益應用、基於振幅或延遲之聲像偏置、雙耳處理、混響、動態範圍處理(諸如壓縮及限制)、線型或非線性音訊處理技術及效應、合唱效應、法蘭音效、基於機器學習之方法至聲音或儀器風格轉移、轉換或重新合成等。可執行程序以將空間上增強音訊提供至一使用者之一裝置。程序可包含更少或額外步驟，且可以不同順序執行步驟。
一音訊處理系統(例如，音訊處理系統100)接收810一輸入音訊信號(例如，左輸入聲道103及右輸入聲道105)。在一些實施例中，輸入音訊信號可係包含多個左-右聲道對之一多聲道音訊信號。可如本文中論述般針對左及右輸入聲道處理各左-右聲道對。
音訊處理系統自輸入音訊信號產生820一非空間中間分量(例如，中間分量109)及一空間側分量(例如，側分量111)。在一些實施例中，一L/R轉M/S轉換器(例如，L/R轉M/S轉換器模組107)執行輸入音訊信號轉中間及側分量之轉換。
音訊處理系統產生830一超中間分量(例如，超中間分量M1)、一超側分量(例如，超側分量S1)、一殘餘中間分量(例如，殘餘中間 分量M2)及一殘餘側分量(例如，殘餘側分量S2)之至少一者。音訊處理系統可產生上文列舉之分量之至少一者及/或全部。超中間分量包含自中間分量之頻譜能量移除之側分量之頻譜能量。殘餘中間分量包含自中間分量之頻譜能量移除之超中間分量之頻譜能量。超側分量包含自側分量之頻譜能量移除之中間分量之頻譜能量。殘餘側分量包含自側分量之頻譜能量移除之殘餘側分量之頻譜能量。可在頻域或時域中執行用於產生M1、M2、S1或S2之處理。
音訊處理系統對超中間分量、殘餘中間分量、超側分量及殘餘側分量之至少一者濾波840以增強音訊信號。濾波可包含空間提示處理，諸如藉由調整超中間分量、殘餘中間分量、超側分量或殘餘側分量之一頻率相依振幅或一頻率相依延遲。空間提示處理之一些實例包含基於振幅或延遲之聲像偏置或雙耳處理。
濾波可包含動態範圍處理，諸如壓縮或限制。例如，當超過壓縮之一臨限位準時，可根據一壓縮比率壓縮超中間分量、殘餘中間分量、超側分量或殘餘側分量。在另一實例中，當超過限制之一臨限位準時，可將超中間分量、殘餘中間分量、超側分量或殘餘側分量限於一最大位準。
濾波可包含超中間分量、殘餘中間分量、超側分量或殘餘側分量之基於機器學習之替代。一些實例包含基於機器學習之聲音或儀器風格轉移、轉換或重新合成。
超中間分量、殘餘中間分量、超側分量或殘餘側分量之濾波可包含增益應用、混響以及在合唱或法蘭音效或其他類型之處理之範圍內之其他線型或非線性音訊處理技術及效應。在一些實施例中，濾波可包 含對於副頻帶空間處理及串擾補償之濾波，如下文結合圖9更詳細論述。
可在頻域或時域中執行濾波。在一些實施例中，將中間及側分量自時域轉換為頻域，在頻域中產生超及/或殘餘分量，在頻域中執行濾波，且將經濾波分量轉換為時域。在其他實施例中，將超及/或殘餘分量轉換為時域，且在時域中對此等分量執行濾波。
音訊處理系統使用經濾波超/殘餘分量之一或多者產生850一左輸出聲道(例如，左輸出聲道121)及一右輸出聲道(例如，右輸出聲道123)。例如，自M/S轉L/R之轉換可使用自經濾波超中間分量、經濾波殘餘中間分量、經濾波超側分量或經濾波殘餘側分量之至少一者產生之一中間分量(例如，經處理中間分量131)或一側分量(例如，經處理側分量139)執行。在另一實例中，可使用經濾波超中間分量或經濾波殘餘中間分量作為M/S轉L/R轉換之中間分量，或可使用經濾波超側分量或殘餘側分量作為M/S轉L/R轉換之側分量。
正交分量副頻帶空間及串擾處理
圖9係根據一或多項實施例之用於使用一超中間、殘餘中間、超側或殘餘側分量之至少一者進行副頻帶空間處理及串擾處理補償之一程序之一流程圖。串擾處理可包含串擾消除或串擾模擬。可諸如藉由產生聲音係自一大區域而非對應於揚聲器之位置之空間中之特定點引導至收聽者之感知(例如，錄音棚增強)，且藉此產生收聽者之一更沉浸式收聽體驗而執行副頻帶空間處理以提供具有經增強空間可偵測性之音訊內容。串擾模擬可用於至耳機之音訊輸出以模擬具有對側串擾之一揚聲器體驗。串擾消除可用於至揚聲器之音訊輸出以移除串擾干擾之影響。串擾補償補償由串擾消除或串擾模擬引起之頻譜缺陷。程序可包含更少或額外步驟，且 可以不同順序執行步驟。可為了不同目的以不同方式操縱超及殘餘中間/側分量。例如，在串擾補償之情況中，可僅將標定副頻帶濾波應用至超中間分量M1(其中出現許多電影內容中之大多數聲音對話能量)以努力移除僅源自該分量中之串擾處理之頻譜假影。在具有或不具有串擾處理之錄音棚增強之情況中，可將標定副頻帶增益應用至殘餘中間分量M2及殘餘側分量S2。例如，可衰減殘餘中間分量M2且可反相放大殘餘側分量S2以自一增益視角增加此等分量之間之距離(若精彩地完成，則可增加空間可偵測性)而不產生最終L/R信號中之感知響度之一急劇整體改變，同時亦避免超中間M1分量(例如，通常含有大多數聲能之信號之該部分)中之衰減。
音訊處理系統接收910輸入音訊信號，輸入音信信號包含左及右聲道。在一些實施例中，輸入音訊信號可係包含多個左-右聲道對之一多聲道音訊信號。可如本文中論述般針對左及右輸入聲道處理各左-右聲道對。
音訊處理系統將串擾處理應用920至經接收輸入音訊信號。串擾處理包含串擾模擬及串擾消除之至少一者。
在步驟930至960中，音訊處理系統使用超中間、超側、殘餘中間或殘餘側分量之一或多者執行副頻帶空間處理及串擾處理之串擾補償。在一些實施例中，串擾處理可在步驟930至960中之處理之後執行。
音訊處理系統自(例如，經串擾處理)音訊信號產生930一中間分量及一側分量。
音訊處理系統產生940一超中間分量、一殘餘中間分量、一超側分量及一殘餘側分量之至少一者。音訊處理系統可產生上文列舉之分量之至少一者及/或全部。
音訊處理系統對超中間分量、殘餘中間分量、超側分量及殘餘側分量之至少一者之副頻帶濾波950以將一副頻帶空間處理應用至音訊信號。各副頻帶可包含諸如可由臨界頻帶組定義之一頻率範圍。在一些實施例中，副頻帶空間處理進一步包含超中間分量、殘餘中間分量、超側分量及殘餘側分量之至少一者之時間延遲副頻帶。
音訊處理系統對超中間分量、殘餘中間分量、超側分量及殘餘側分量之至少一者濾波960以補償來自輸入音訊信號之串擾處理之頻譜缺陷。頻譜缺陷可包含超中間分量、殘餘中間分量、超側分量或殘餘側分量之頻率回應曲線圖中超過一預定臨限值(例如，10dB)之作為串擾處理之一假影出現之峰值或波谷。頻譜缺陷可係經估計頻譜缺陷。
在一些實施例中，步驟950中之副頻帶空間處理之頻譜正交分量之濾波及步驟960中之串擾補償可整合至針對為濾波選擇之各頻譜正交分量之一單一濾波操作中。
在一些實施例中，可為了其他目的結合濾波執行用於副頻帶空間處理或串擾補償之超/殘餘中間/側分量之濾波，諸如增益應用、基於振幅或延遲之聲像偏置、雙耳處理、混響、動態範圍處理(諸如壓縮及限制)、在自合唱及/或法蘭音效、基於機器學習之方法至聲音或儀器風格轉移、轉換或重新合成或使用超中間分量、殘餘中間分量、超側分量及殘餘側分量之任何者之其他類型之處理之範圍中之線型或非線性音訊處理技術及效應。
可在頻域或時域中執行濾波。在一些實施例中，將中間及側分量自時域轉換為頻域，在頻域中產生超及/或殘餘分量，在頻域中執行濾波，且將經濾波分量轉換為時域。在其他實施例中，將超及/或殘餘 分量轉換為時域，且在時域中對此等分量執行濾波。
音訊處理系統自經濾波超中間分量產生970一左輸出聲道及一右輸出聲道。在一些實施例中，左及右輸出聲道係額外基於經濾波殘餘中間分量、經濾波超側分量及經濾波殘餘側分量之至少一者。
例示性正交分量音訊處理
圖10至圖19係描繪根據一或多項實施例之一例示性白雜訊信號之中間及側分量之頻譜能量之曲線圖。
圖10繪示一經硬左聲像偏置白雜訊信號1000之一曲線圖。一左-右白雜訊信號經轉換為一中間分量1005及一側分量1010且使用恆定功率正弦/餘弦聲像偏置定律經硬左聲像偏置。當白雜訊信號1000經硬左聲像偏置時，定位於一對左及右揚聲器之間之一使用者將聲音感知為出現在左揚聲器處及/或周圍。可使用一L/R轉M/S轉換器模組107將被分離成白雜訊信號之左輸入聲道及右輸入聲道之白雜訊信號轉換為中間分量1005及側分量1010。如圖10中展示，當將白雜訊信號1000硬左聲像偏置時，中間分量1005及側分量1010兩者具有近似相等量之能量。類似地，當將白雜訊信號硬右聲像偏置(圖10中未展示)時，中間及側分量將具有近似相等量之能量。
圖11繪示一經中心左聲像偏置白雜訊信號1100之一曲線圖。當使用共同恆定功率正弦/餘弦聲像偏置定律將白雜訊信號1100中心左聲像偏置時，定位於該對左及右揚聲器之間之一使用者將聲音感知為出現在使用者之前側與左揚聲器之間之中途。圖11描繪經中心左聲像偏置白雜訊信號1100之一中間分量1105及一側分量1110，以及經硬左聲像偏置白雜訊信號1000。相較於經硬左聲像偏置白雜訊信號1000，中間分量 1105增加近似3dB，而側分量1110減小近似6dB。當將白雜訊信號中心右聲像偏置時，中間分量1105及側分量1110將具有與圖11中展示之能量類似之能量。
圖12繪示一經中心聲像偏置白雜訊信號1200之一曲線圖。當使用共同恆定功率正弦/餘弦聲像偏置定律將白雜訊信號1200中心聲像偏置時，定位於一對左及右揚聲器之間之一使用者將聲音感知為出現在使用者之前側(例如，在揚聲器之左側與右側之間)。如圖12中展示，經中心聲像偏置白雜訊信號1200僅具有一中間分量1205。
自圖10、圖11及圖12中之上文實例，可見雖然中間分量含有如圖12中展示之中心聲像偏置聲音之信號中之唯一能量(即，其中左聲道及右聲道相同)，但在其中如圖10及圖11中展示般原始L/R流中之聲音通常感知為偏離中心(即，聲音經中心之左側或右側聲像偏置)之情境中，亦存在中間分量能量。
顯然，代表絕大多數L/R音訊使用情況之三個上文案例不涵蓋其中側包括唯一能量之一案例。僅在左聲道及右聲道之相位相差180度(即，符號反轉)時情況將係如此，此在用於音樂及娛樂之雙聲道音訊中係一稀少情況。因此，雖然中間分量在幾乎全部雙聲道左/右音訊流中無處不在且亦包括經中心聲像偏置內容中之唯一能量，但側分量存在於除經中心聲像偏置內容之外之全部內容中且稀少地(若有)用作信號中之唯一能量。
正交分量處理隔離彼此頻譜「正交」之中間及側分量之部分且對該部分進行操作。亦即，使用正交分量處理，可隔離僅對應於存在於錄音棚之中心之能量之中間分量之部分(即，超中間分量)，且同樣地， 可隔離僅對應於不存在於錄音棚之中心之能量之側分量之部分(即，超側分量)。概念上，超中間分量係對應於經感知在錄音棚、揚聲器及耳機等之中心處之薄音柱。此外，使用簡單純量，可控制此柱如何「薄」，從而提供自超中間至中間及超側至側之一內插空間。此外，作為導出吾人之超中間/側分量信號之一副產物，亦可對與超中間或超側分量一起組合以形成原始完整中間及側分量之殘餘信號(例如，殘餘中間及側分量)進行操作。可使用在自簡單增益分級至多頻帶EQ至客製化及特異效應之範圍內之全部操作方式獨立地處理中間及側之此四個子分量之各者。
圖13至圖19繪示一白雜訊信號之正交分量處理。圖13繪示經中心聲像偏置且(例如，使用第8階巴特沃斯(Butterworth)濾波器)在20Hz與100Hz之間帶通之一白雜訊信號1305及經硬左聲像偏置且(例如，使用第8階巴特沃斯濾波器)在5000Hz與10000Hz之間帶通且不使用正交分量處理之一白雜訊信號1310之一曲線圖。曲線圖描繪針對經聲像偏置白雜訊信號1305及1310之各者之一中間分量1315及一側分量1320。經中心聲像偏置白雜訊信號1305僅在其中間分量1315中具有能量，而經硬左聲像偏置白雜訊信號在其中間分量1315及其側分量1320中具有相等量之能量。此如同圖10及圖12中展示之結果。
圖14繪示其中側分量1320之能量經移除之圖13之經聲像偏置白雜訊信號1305及1310。信號1305之白雜訊之經中心聲像偏置低頻帶未改變。信號1310之白雜訊之經硬左聲像偏置高頻帶現具有零側能量而由中間分量1315表示之能量之部分仍存在。即使移除側能量，仍存在存在於中間信號中之未經中間聲像偏置能量，如由信號1310展示。
圖15繪示使用正交分量處理之圖13之經聲像偏置白雜訊信 號1500。特定言之，正交分量處理用於隔離超中間分量1510且移除音訊信號之其他能量。此處，經硬左聲像偏置信號經移除且僅一經中心聲像偏置信號1500保留。此證實超中間分量1510僅係佔用錄音棚之非常中心且不佔用其他之信號中之能量之一隔離。
由於可隔離一音訊信號之超中間分量，故可操縱音訊信號以控制原始信號之哪些元素在各種M1/M2/S1/S2分量中結束。此預處理操縱可在自簡單振幅及延遲調整至更複雜濾波技術之範圍中。可接著隨後反轉該等預處理操縱以便重新儲存原始錄音棚。
圖16繪示使用正交分量處理之圖13之經聲像偏置白雜訊信號1600之另一實施例。以使得將經硬左聲像偏置高頻帶白雜訊(例如，如由圖13中之信號1310展示)放置於錄音棚之中心處且遠離中心移位經中心聲像偏置低頻帶雜訊(例如，如由圖13中之信號1305展示)之一方式旋轉一L/R音訊信號。原始地經硬左聲像偏置且在5000Hz與10000Hz之間帶通之白雜訊信號1600可接著經提取且藉由隔離經旋轉L/R信號之超中間分量1610而經進一步處理。
圖17繪示經解相關白雜訊信號1700。輸入白雜訊信號1700可係包含一右聲道分量1710、一左聲道分量1720之一雙聲道正交白雜訊信號。曲線圖亦展示自白雜訊信號產生之一中間分量1730及一側分量1740。左聲道分量1720之頻譜能量匹配右聲道分量1710之頻譜能量，且中間分量1730之頻譜能量匹配側分量1740之頻譜能量。中間分量1730及側分量1740在信號位準方面比右聲道分量1710及左聲道分量1720低約3dB。
圖18繪示被分解為一超中間分量1810及一殘餘中間分量 1820之中間分量1730。中間分量1730表示錄音棚中之輸入音訊信號之非空間資訊。超中間分量1810包含在錄音棚之正中心發現之非空間資訊之一子分量；殘餘中間分量1820係剩餘非空間資訊。在典型立體聲音訊信號中，超中間分量1810可包含音訊信號之關鍵特徵，諸如對話或人聲。在圖18中，殘餘中間分量1820比中間分量1730低近似3dB，且超中間分量1810比中間分量1730低近似8至9dB。
圖19繪示被分解為一超側分量1910及一殘餘側分量1920之側分量1740。側分量1740表示錄音棚中之輸入音訊信號之空間資訊。超側分量1910包含在錄音棚之邊緣發現之空間資訊之一子分量；殘餘側分量1920係剩餘空間資訊。在典型立體聲音訊信號中，殘餘側分量1920包含源自處理(諸如雙耳處理、聲像偏置技術、混響及/或解相關程序之影響)之關鍵特徵。如圖19中展示，側分量1740、超側分量1910與殘餘側分量1920之間之關係類似於中間分量1730、超中間分量1810及殘餘側分量1820之關係。
運算機器架構
圖20係根據一或多項實施例之一電腦系統2000之一方塊圖。電腦系統2000係實施一音訊處理系統之電路之一實例。繪示耦合至一晶片組2004之至少一個處理器2002。晶片組2004包含一記憶體控制器集線器2020及一輸入/輸出(I/O)控制器集線器2022。一記憶體2006及一圖形配接器2012耦合至記憶體控制器集線器2020，且一顯示裝置2018耦合至圖形配接器2012。一儲存裝置1008、鍵盤2010、指標裝置2014及網路配接器2016耦合至I/O控制器集線器2022。電腦系統2000可包含各種類型之輸入或輸出裝置。電腦系統2000之其他實施例具有不同架構。例如， 在一些實施例中，記憶體2006直接耦合至處理器2002。
儲存裝置2008包含一或多個非暫時性電腦可讀儲存媒體，諸如一硬碟、光碟唯讀記憶體(CD-ROM)、DVD或一固態記憶體裝置。記憶體2006保持由處理器2002使用之程式碼(包括一或多個指令)及資料。程式碼可對應於使用圖1至圖19描述之處理態樣。
指標裝置2014與鍵盤2010組合使用以將資料輸入至電腦系統2000中。圖形配接器2012在顯示裝置2018上顯示影像及其他資訊。在一些實施例中，顯示裝置2018包含用於接收使用者輸入及選擇之一觸控螢幕能力。網路配接器2016將電腦系統2000耦合至一網路。電腦系統2000之一些實施例具有圖20中展示之組件之不同及/或其他組件。
電路可包含執行儲存於一非暫時性電腦可讀中之程式碼之一或多個處理器，程式碼在藉由一或多個處理器執行時組態一或多個處理器以實施一音訊處理器系統或音訊處理系統之模組。實施一音訊處理系統或音訊處理系統之模組之電路之其他實例可包含一積體電路，諸如一特定應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他類型之電腦電路。
額外考量
所揭示組態之例示性益處及優點包含歸因於調適至一裝置及相關聯音訊演現系統之經增強音訊系統之動態音訊增強以及由裝置OS提供之其他相關資訊，諸如使用情況資訊(例如，指示音訊信號用於音樂播放而非用於遊戲)。經增強音訊系統可(例如，使用一軟體開發套組)整合至一裝置中或儲存於可按需存取之一遠端伺服器上。以此方式，一裝置不需要將儲存或處理資源致力於其音訊演現系統或音訊演現組態特定之一 音訊增強系統之維護。在一些實施例中，經增強音訊系統實現對於演現系統資訊之不同位準之查詢使得可跨不同位準之可變裝置特定演現資訊應用有效音訊增強。
貫穿本說明書，複數個例項可實施描述為一單一例項之組件、操作或結構。雖然將一或多個方法之闡釋性操作繪示且描述為單獨操作，但一或多個個別操作可同時執行，且不需要以所繪示順序執行操作。表示為呈例示性組態之單獨組件之結構及功能性可實施為一經組合結構或組件。類似地，表示為一單一組件之結構及功能性可實施為單獨組件。此等及其他變動、修改、添加及改良落在本文中之標的物之範疇內。
本文中將某些實施例描述為包含邏輯或數個組件、模組或機構。模組可構成軟體模組(例如，體現於一機器可讀媒體上或一傳輸信號中之程式碼)或硬體模組。一硬體模組係能夠執行某些操作且可以一特定方式組態或配置之有形單元。在例示性實施例中，一或多個電腦系統(例如，一獨立用戶端或伺服器電腦系統)或一電腦系統之一或多個硬體模組(例如，一處理器或一處理器群組)可由軟體(例如，一應用程式或應用程式部分)組態為操作以執行如本文中描述之某些操作之一硬體模組。
本文中描述之例示性方法之各種操作可至少部分藉由一或多個處理器執行，該一或多個處理器(例如，由軟體)經暫時組態或經永久組態以執行相關操作。無論係經暫時或經永久組態，此等處理器皆可構成操作以執行一或多個操作或功能之處理器實施模組。在一些例示性實施例中，本文中提及之模組包括處理器實施模組。
類似地，本文中描述之方法可至少部分經處理器實施。例如，一方法之操作之至少一些可由一或多個處理器或處理器實施之硬體模 組執行。某些操作之效能可在一或多個處理器之間分佈，不僅駐留在一單一機器內，而且亦跨數個機器部署。在一些例示性實施例中，處理器或若干處理器可定位於一單一位置中(例如，一家庭環境內、一辦公室環境內或作為一伺服器群)，而在其他實施例中，處理器可跨數個位置分佈。
除非另外具體陳述，否則本文中使用諸如「處理」、「運算」、「計算」、「判定」、「表示」、「顯示」或類似者之字詞之論述可係指操縱或變換表示為一或多個記憶體(例如，揮發性記憶體、非揮發性記憶體或其等之一組合)、暫存器或接收、儲存、傳輸或顯示資訊之其他機器組件內之實體(例如，電子、磁性或光學)數量之一機器(例如，一電腦)之動作或程序。
如本文中使用，對「一項實施例」或「一實施例」之任何提及意謂結合實施例描述之一特定元件、特徵、結構或特性包含於至少一項實施例中。片語「在一項實施例中」在說明書中之各個位置中之出現不一定全部係指相同實施例。
一些實施例可使用表達「耦合」及「連接」以及其等衍生詞描述。應理解，此等術語不旨在作為彼此之同義詞。例如，一些實施例可使用術語「連接」描述以指示兩個或兩個以上元件彼此直接實體或電接觸。在另一實例中，一些實施例可使用術語「耦合」描述以指示兩個或兩個以上元件直接實體或電接觸。然而，術語「耦合」亦可意謂兩個或兩個以上元件不彼此直接接觸，而又仍彼此協作或互動。實施例不限於本背景內容。
如本文中使用，術語「包括(comprises/comprising)」、「包含(includes/including)」、「具有(has/having)」或其等任何其他變 動旨在涵蓋一非排他性包含。例如，包括一元件清單之一程序、方法、物品或設備不一定僅限於該等元件而可包含未明確列出或此等程序、方法、物品或設備所固有之其他元件。此外，除非另有明確相反陳述，否則「或」係指一包含性或且非一排他性或。例如，一條件A或B由以下各者之任一者滿足：A真實(或存在)且B錯誤(或不存在)、A錯誤(或不存在)且B真實(或存在)以及A及B兩者真實(或存在)。
另外，「一」或「一個」之使用用於描述本文中之實施例之元件及組件。此僅係為了方面且給出本發明之一一般意義而進行。此描述應視為包含一個或至少一個且單數亦包含複數，除非其明顯地具有其他意義。
此描述之一些部分在對資訊之操作之演算法及符號表示方面描述實施例。此等演算法描述及表示係由熟習資料處理技術者普遍使用以將其等工作主旨有效地傳達給其他熟習此項技術者。雖然在功能、運算或邏輯上描述此等操作，但應理解，此等操作由電腦程式或等效電路、微碼或類似者實施。此外，亦證實，將此等操作配置稱為模組有時係方面的而不損失一般性。所述操作及其等相關聯模組可體現於軟體、韌體、硬體或其等任何組合中。
本文中描述之步驟、操作或程序之任何者可使用一或多個硬體或軟體模組單獨或與其他裝置組合執行或實施。在一項實施例中，一軟體模組係使用包括含有電腦程式碼之一電腦可讀媒體之一電腦程式產品實施，該電腦程式碼可藉由用於執行所述步驟、操作或程序之任何或全部之一電腦處理器執行。
實施例亦可係關於一種用於執行本文中之操作之設備。此 設備可專門為所需目的而建構，及/或其可包括藉由儲存於電腦中之一電腦程式選擇性地啟動或重新組態之一通用運算裝置。此一電腦程式可儲存於一非暫時性有形電腦可讀儲存媒體或適用於儲存電子指令之任何類型之媒體(其可耦合至一電腦系統匯流排)中。此外，本說明書中提及之任何運算系統可包含一單一處理器或可係採用用於經增加運算能力之多個處理器設計之架構。
實施例亦可係關於一種由本文中描述之一運算程序製造之產品。此一產品可包括源自一運算程序之資訊，其中資訊儲存於一非暫時性有形電腦可讀儲存媒體上且可包含一電腦程式產品或本文中描述之其他資料組合之任何實施例。
在閱讀本發明之後，熟習此項技術者將瞭解使用裝置特定元資料透過本文中揭示之原理進行音訊增強之一系統及一程序之仍額外替代結構及功能設計。因此，雖然已繪示且描述特定實施例及應用，但應理解，所揭示實施例不限於本文中揭示之精確構造及組件。可進行熟悉此項技術者將明白之本文中揭示之方法及設備之配置、操作及細節之各種修改、改變及變動而不脫離隨附發明申請專利範圍中定義之精神及範疇。
最後，本說明書中使用之語言已主要為了可讀性及指令目的經選擇，且其可不經選擇以劃界或限定專利權。因此，專利權之範疇不旨在由此詳細描述限制，而係藉由基於其之一申請案頒布之任何發明申請專利範圍限制。因此，實施例之揭示內容旨在闡釋而非限制在以下發明申請專利範圍中闡述之專利權之範疇。
100:音訊處理系統
103:左輸入聲道
105:右輸入聲道
107:L/R轉M/S轉換器模組
109:中間分量
111:側分量
113:正交分量產生器模組
117:正交分量處理器模組
119:M/S轉L/R轉換器模組
121:左輸出聲道
123:右輸出聲道
131:經處理中間分量
139:經處理側分量
141:串擾處理器模組
151:經處理左分量
159:經處理右分量

Claims (53)

  1. 一種用於處理一音訊信號之系統，其包括：一電路，其經組態以：自該音訊信號之一左聲道及一右聲道產生一中間分量及一側分產生包含自該中間分量之頻譜能量移除之該側分量之頻譜能量之一超中間分量；對該超中間分量濾波；及使用該經濾波超中間分量產生一左輸出聲道及一右輸出聲道。
  2. 如請求項1之系統，其中：該電路進一步經組態以將一傅立葉變換應用至該中間分量及該側分量以將該中間分量及該側分量轉換為一頻域；及經組態以產生該超中間分量之該電路包含經組態以自該頻域中之該中間分量之一量值減去該頻域中之該側分量之一量值之該電路。
  3. 如請求項1之系統，其中經組態以對該超中間分量濾波包含之該電路經組態以增益調整或時間延遲該超中間分量之一副頻帶之至少一者之電路。
  4. 如請求項1之系統，其中經組態以對該超中間分量濾波之該電路包含經組態以將一動態範圍處理應用至該超中間分量之該電路。
  5. 如請求項1之系統，其中經組態以對該超中間分量濾波之該電路包含經組態以調整該超中間分量之一頻率相依振幅或一頻率相依延遲之電路。
  6. 如請求項1之系統，其中經組態以對該超中間分量濾波之該電路包含經組態以將一基於機器學習之風格轉移、轉換或重新合成應用至該超中間分量之電路。
  7. 如請求項1之系統，其中該電路進一步經組態以：產生包含自該中間分量之該頻譜能量移除之該超中間分量之頻譜能量的一殘餘中間分量；對該殘餘中間分量濾波；及使用該經濾波殘餘中間分量產生該左輸出聲道及該右輸出聲道。
  8. 如請求項7之系統，其中經組態以對該殘餘中間分量濾波之該電路包含經組態以增益調整或時間延遲該殘餘中間分量之一副頻帶之至少一者之電路。
  9. 如請求項7之系統，其中經組態以對該殘餘中間分量濾波之該電路包含經組態以將一動態範圍處理應用至該殘餘中間分量之電路。
  10. 如請求項7之系統，其中經組態以對該殘餘中間分量濾波之該電路包含經組態以調整該殘餘中間分量之一頻率相依振幅或一頻率相依延遲之電 路。
  11. 如請求項7之系統，其中經組態以對該殘餘中間分量濾波之該電路包含經組態以將一基於機器學習之風格轉移、轉換或重新合成應用至該殘餘中間分量之電路。
  12. 如請求項7之系統，其中：該電路進一步經組態以將一傅立葉變換應用至該中間分量以將該中間分量轉換為一頻域；及經組態以產生包含自該中間分量之該頻譜能量移除之該超中間分量之頻譜能量之該殘餘中間分量之該電路包含經組態以自該頻域中之該中間分量之一量值減去該頻域中之該超中間分量之一量值之電路。
  13. 如請求項1之系統，其中該電路進一步經組態以：對該超中間分量應用一逆傅立葉變換以將一頻域中之該超中間分量轉換為一時域；藉由時間延遲該中間分量而產生一經延遲中間分量；藉由自該時域中之該經延遲中間分量減去該時域中之該超中間分量而產生一殘餘中間分量；對該殘餘中間分量濾波；及使用該經濾波殘餘中間分量產生該左輸出聲道及該右輸出聲道。
  14. 如請求項1之系統，其中該電路進一步經組態以： 產生包含自該側分量之該頻譜能量移除之該中間分量之該頻譜能量的一超側分量；對該超側分量濾波；及使用該經濾波超側分量產生該左輸出聲道及該右輸出聲道。
  15. 如請求項14之系統，其中：該電路進一步經組態以將一傅立葉變換應用至該中間分量及該側分量以將該中間分量及該側分量轉換為一頻域；且經組態以產生包含自該側分量之該頻譜能量移除之該中間分量之該頻譜能量之該超側分量之該電路包含經組態以自該頻域中之該側分量之一量值減去該頻域中之該中間分量之一量值之電路。
  16. 如請求項14之系統，其中經組態以對該超側分量濾波之該電路包含經組態以增益調整或時間延遲該超側分量之一副頻帶之至少一者之電路。
  17. 如請求項14之系統，其中經組態以對該超側分量濾波之該電路包含經組態以將一動態範圍處理應用至該超側分量之電路。
  18. 如請求項14之系統，其中經組態以對該超側分量濾波之該電路包含經組態以調整該超側分量之一頻率相依振幅或一頻率相依延遲之電路。
  19. 如請求項14之系統，其中經組態以對該超側分量濾波之該電路包含經組態以將一基於機器學習之風格轉移、轉換或重新合成應用至該超側分 量之電路。
  20. 如請求項1之系統，其中該電路進一步經組態以：產生包含自該側分量之該頻譜能量移除之該中間分量之該頻譜能量的一超側分量；產生包含自該側分量之該頻譜能量移除之該超側分量之頻譜能量的一殘餘側分量；對該殘餘側分量濾波；及使用該經濾波殘餘側分量產生該左輸出聲道及該右輸出聲道。
  21. 如請求項20之系統，其中經組態以對該殘餘側分量濾波之該電路包含經組態以增益調整或時間延遲該殘餘側分量之一副頻帶之至少一者之電路。
  22. 如請求項20之系統，其中經組態以對該殘餘側分量濾波之該電路包含經組態以將一動態範圍處理應用至該殘餘側分量之電路。
  23. 如請求項20之系統，其中經組態以對該殘餘側分量濾波之該電路包含經組態以調整該殘餘側分量之一頻率相依振幅或一頻率相依延遲之電路。
  24. 如請求項20之系統，其中經組態以對該殘餘側分量濾波之該電路包含經組態以將一基於機器學習之風格轉移、轉換或重新合成應用至該殘餘 側分量之電路。
  25. 如請求項20之系統，其中：該電路進一步經組態以將一傅立葉變換應用至該側分量以將該側分量轉換為一頻域；且經組態以產生包含自該側分量之該頻譜能量移除之該超側分量之該頻譜能量之該殘餘側分量之該電路包含經組態以自該頻域中之該側分量之一量值減去該頻域中之該超側分量之一量值之電路。
  26. 如請求項1之系統，其中該電路進一步經組態以：產生包含自該側分量之該頻譜能量移除之該中間分量之該頻譜能量的一超側分量；對該超側分量應用一逆傅立葉變換以將一頻域中之該超中間分量轉換為一時域；藉由時間延遲該側分量而產生一經延遲側分量；藉由自該時域中之該經延遲側分量減去該時域中之該超側分量而產生一殘餘側分量；對該殘餘側分量濾波；及使用該經濾波殘餘側分量產生該左輸出聲道及該右輸出聲道。
  27. 一種用於處理一音訊信號之非暫時性電腦可讀媒體，其包括經儲存程式碼，該程式碼在藉由至少一個處理器執行時組態該至少一個處理器以： 自該音訊信號之一左聲道及一右聲道產生一中間分量及一側分量；產生包含自該中間分量之頻譜能量移除之該側分量之頻譜能量之一超中間分量；對該超中間分量濾波；及使用該經濾波超中間分量產生一左輸出聲道及一右輸出聲道。
  28. 如請求項27之非暫時性電腦可讀媒體，其中：該程式碼進一步組態該至少一個處理器以將一傅立葉變換應用至該中間分量及該側分量以將該中間分量及該側分量轉換為一頻域；且組態該至少一個處理器以產生該超中間分量之該程式碼包含進一步組態該至少一個處理器以自該頻域中之該中間分量之一量值減去該頻域中之該側分量之一量值之正交分量產生器。
  29. 如請求項27之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該超中間分量濾波之該程式碼進一步組態該至少一個處理器以增益調整或時間延遲該超中間分量之一副頻帶之至少一者。
  30. 如請求項27之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該超中間分量濾波之該程式碼進一步組態該至少一個處理器以將一動態範圍處理應用至該超中間分量。
  31. 如請求項27之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該超中間分量濾波之該程式碼進一步組態該至少一個處理器以調整該 超中間分量之一頻率相依振幅或一頻率相依延遲。
  32. 如請求項27之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該超中間分量濾波之該程式碼進一步組態該至少一個處理器以將一基於機器學習之風格轉移、轉換或重新合成應用至該超中間分量。
  33. 如請求項27之非暫時性電腦可讀媒體，其中該程式碼進一步組態該至少一個處理器以：產生包含自該中間分量之該頻譜能量移除之該超中間分量之頻譜能量的一殘餘中間分量；對該殘餘中間分量濾波；及使用該經濾波殘餘中間分量產生該左輸出聲道及該右輸出聲道。
  34. 如請求項33之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該殘餘中間分量濾波之該程式碼進一步組態該至少一個處理器以增益調整或時間延遲該殘餘中間分量之一副頻帶之至少一者。
  35. 如請求項33之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該殘餘中間分量濾波之該程式碼進一步組態該至少一個處理器以將一動態範圍處理應用至該殘餘中間分量。
  36. 如請求項33之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該殘餘中間分量濾波之該程式碼進一步組態該至少一個處理器以調整 該殘餘中間分量之一頻率相依振幅或一頻率相依延遲。
  37. 如請求項33之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該殘餘中間分量濾波之該程式碼進一步組態該至少一個處理器以將一基於機器學習之風格轉移、轉換或重新合成應用至該殘餘中間分量。
  38. 如請求項33之非暫時性電腦可讀媒體，其中：該程式碼進一步組態該至少一個處理器以將一傅立葉變換應用至該中間分量以將該中間分量轉換為一頻域；組態該至少一個處理器以產生包含自該中間分量之該頻譜能量移除之該超中間分量之頻譜能量之該殘餘中間分量進一步組態該至少一個處理器以自該頻域中之該中間分量之一量值減去該頻域中之該超中間分量之一量值。
  39. 如請求項27之非暫時性電腦可讀媒體，其中該程式碼進一步組態該至少一個處理器以：對該超中間分量應用一逆傅立葉變換以將一頻域中之該超中間分量轉換為一時域；藉由時間延遲該中間分量而產生一經延遲中間分量；藉由自該時域中之該經延遲中間分量減去該時域中之該超中間分量而產生一殘餘中間分量；對該殘餘中間分量濾波；及使用該經濾波殘餘中間分量產生該左輸出聲道及該右輸出聲道。
  40. 如請求項27之非暫時性電腦可讀媒體，其中該程式碼進一步組態該至少一個處理器以：產生包含自該側分量之該頻譜能量移除之該中間分量之該頻譜能量的一超側分量；對該超側分量濾波；及使用該經濾波超側分量產生該左輸出聲道及該右輸出聲道。
  41. 如請求項40之非暫時性電腦可讀媒體，其中：該程式碼進一步組態該至少一個處理器以將一傅立葉變換應用至該中間分量及該側分量以將該中間分量及該側分量轉換為一頻域；且組態該至少一個處理器以產生包含自該側分量之該頻譜能量移除之該中間分量之該頻譜能量之該超側分量進一步組態該至少一個處理器以自該頻域中之該側分量之一量值減去該頻域中之該中間分量之一量值。
  42. 如請求項40之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該超側分量濾波之該程式碼包含組態該至少一個處理器以增益調整或時間延遲該超側分量之一副頻帶之至少一者之程式碼。
  43. 如請求項40之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該超側分量濾波之該程式碼包含組態該至少一個處理器以將一動態範圍處理應用至該超側分量之程式碼。
  44. 如請求項40之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該超側分量濾波之該程式碼包含組態該至少一個處理器以調整該超側分量之一頻率相依振幅或一頻率相依延遲之程式碼。
  45. 如請求項40之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該超側分量濾波之該程式碼包含組態該至少一個處理器以將一基於機器學習之風格轉移、轉換或重新合成應用至該超側分量之程式碼。
  46. 如請求項27之非暫時性電腦可讀媒體，其中該程式碼進一步組態該至少一個處理器以：產生包含自該側分量之該頻譜能量移除之該中間分量之該頻譜能量的一超側分量；產生包含自該側分量之該頻譜能量移除之該超側分量之頻譜能量的一殘餘側分量；對該殘餘側分量濾波；及使用該經濾波殘餘側分量產生該左輸出聲道及該右輸出聲道。
  47. 如請求項46之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該殘餘側分量濾波之該程式碼進一步組態該至少一個處理器以增益調整或時間延遲該殘餘側分量之一副頻帶之至少一者。
  48. 如請求項46之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該殘餘側分量濾波之該程式碼進一步組態該至少一個處理器以將一動 態範圍處理應用至該殘餘側分量。
  49. 如請求項46之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該殘餘側分量濾波之該程式碼進一步組態該至少一個處理器以調整該殘餘側分量之一頻率相依振幅或一頻率相依延遲。
  50. 如請求項46之非暫時性電腦可讀媒體，其中組態該至少一個處理器以對該殘餘側分量濾波之該程式碼進一步組態該至少一個處理器以將一基於機器學習之風格轉移、轉換或重新合成應用至該殘餘側分量。
  51. 如請求項46之非暫時性電腦可讀媒體，其中：該程式碼進一步組態該至少一個處理器以將一傅立葉變換應用至該側分量以將該側分量轉換為一頻域；且組態該至少一個處理器以產生包含自該側分量之該頻譜能量移除之該超側分量之該頻譜能量之該殘餘側分量進一步組態該至少一個處理器以自該頻域中之該側分量之一量值減去該頻域中之該超側分量之一量值。
  52. 如請求項27之非暫時性電腦可讀媒體，其中該程式碼進一步組態該至少一個處理器以：產生包含自該側分量之該頻譜能量移除之該中間分量之該頻譜能量的一超側分量；對該超側分量應用一逆傅立葉變換以將一頻域中之該超中間分量轉換為一時域； 藉由時間延遲該側分量而產生一經延遲側分量；藉由自該時域中之該經延遲側分量減去該時域中之該超側分量而產生一殘餘側分量；對該殘餘側分量濾波；及使用該經濾波殘餘側分量產生該左輸出聲道及該右輸出聲道。
  53. 一種用於處理一音訊信號之方法，其包括：藉由一電路，自該音訊信號之一左聲道及一右聲道產生一中間分量及一側分量；產生包含自該中間分量之頻譜能量移除之該側分量之頻譜能量之一超中間分量；對該超中間分量濾波；及使用該經濾波超中間分量產生一左輸出聲道及一右輸出聲道。
TW109129071A 2019-10-10 2020-08-26 用於處理一音訊信號之系統、方法及非暫時性電腦可讀媒體 TWI750781B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201962913661P 2019-10-10 2019-10-10
US62/913,661 2019-10-10
US201962939364P 2019-11-22 2019-11-22
US62/939,364 2019-11-22
US16/983,827 2020-08-03
US16/983,817 US11432069B2 (en) 2019-10-10 2020-08-03 Spectrally orthogonal audio component processing
US16/983,817 2020-08-03
US16/983,827 US11032644B2 (en) 2019-10-10 2020-08-03 Subband spatial and crosstalk processing using spectrally orthogonal audio components

Publications (2)

Publication Number Publication Date
TW202115715A TW202115715A (zh) 2021-04-16
TWI750781B true TWI750781B (zh) 2021-12-21

Family

ID=75382323

Family Applications (2)

Application Number Title Priority Date Filing Date
TW109129071A TWI750781B (zh) 2019-10-10 2020-08-26 用於處理一音訊信號之系統、方法及非暫時性電腦可讀媒體
TW109129072A TWI765325B (zh) 2019-10-10 2020-08-26 使用頻譜正交音訊分量之副頻帶空間及串擾處理

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW109129072A TWI765325B (zh) 2019-10-10 2020-08-26 使用頻譜正交音訊分量之副頻帶空間及串擾處理

Country Status (7)

Country Link
US (3) US11432069B2 (zh)
EP (2) EP4042719A4 (zh)
JP (3) JP7410282B2 (zh)
KR (3) KR20240060678A (zh)
CN (2) CN114846820A (zh)
TW (2) TWI750781B (zh)
WO (2) WO2021071576A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11432069B2 (en) * 2019-10-10 2022-08-30 Boomcloud 360, Inc. Spectrally orthogonal audio component processing
US11832079B2 (en) * 2021-03-30 2023-11-28 Harman Becker Automotive Systems Gmbh System and method for providing stereo image enhancement of a multi-channel loudspeaker setup
WO2023283374A1 (en) * 2021-07-08 2023-01-12 Boomcloud 360 Inc. Colorless generation of elevation perceptual cues using all-pass filter networks

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI456569B (zh) * 2007-03-21 2014-10-11 Fraunhofer Ges Forschung 用於音頻重構增強的方法和設備
CN106170991A (zh) * 2013-12-13 2016-11-30 无比的优声音科技公司 用于音场增强的设备及方法
CN106664499A (zh) * 2014-08-13 2017-05-10 华为技术有限公司 音频信号处理装置
TWI625975B (zh) * 2011-05-09 2018-06-01 Ｄｔｓ股份有限公司 用於多聲道音訊之室內特徵化及校正技術
US20180190303A1 (en) * 2016-02-17 2018-07-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Post-processor, pre-processor, audio encoder, audio decoder and related methods for enhancing transient processing
US10123113B2 (en) * 2013-10-31 2018-11-06 Synaptics Incorporated Selective audio source enhancement
US10187739B2 (en) * 2015-01-30 2019-01-22 Dts, Inc. System and method for capturing, encoding, distributing, and decoding immersive audio
US10225657B2 (en) * 2016-01-18 2019-03-05 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction
JP6546351B2 (ja) * 2016-01-19 2019-07-17 ブームクラウド ３６０ インコーポレイテッド ヘッドマウントスピーカのためのオーディオエンハンスメント

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118876A (en) * 1995-09-07 2000-09-12 Rep Investment Limited Liability Company Surround sound speaker system for improved spatial effects
US8619998B2 (en) 2006-08-07 2013-12-31 Creative Technology Ltd Spatial audio enhancement processing method and apparatus
JP4315180B2 (ja) 2006-10-20 2009-08-19 ソニー株式会社 信号処理装置および方法、プログラム、並びに記録媒体
US8064624B2 (en) 2007-07-19 2011-11-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for generating a stereo signal with enhanced perceptual quality
EP2144228A1 (en) * 2008-07-08 2010-01-13 Siemens Medical Instruments Pte. Ltd. Method and device for low-delay joint-stereo coding
US8379940B2 (en) * 2009-06-02 2013-02-19 George Mason Intellectual Properties, Inc. Robust human authentication using holistic anthropometric and appearance-based features and boosting
EP2438593A2 (en) * 2009-06-05 2012-04-11 Koninklijke Philips Electronics N.V. Processing of audio channels
JP5493817B2 (ja) * 2009-12-17 2014-05-14 沖電気工業株式会社 エコーキャンセラ
JP5604275B2 (ja) 2010-12-02 2014-10-08 富士通テン株式会社 相関低減方法、音声信号変換装置および音響再生装置
EP2544465A1 (en) 2011-07-05 2013-01-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for decomposing a stereo recording using frequency-domain processing employing a spectral weights generator
US9794715B2 (en) * 2013-03-13 2017-10-17 Dts Llc System and methods for processing stereo audio content
US9288601B2 (en) * 2013-05-28 2016-03-15 Audio Design Experts, Inc. Broad sound loudspeaker system
US9883318B2 (en) * 2013-06-12 2018-01-30 Bongiovi Acoustics Llc System and method for stereo field enhancement in two-channel audio systems
US9398394B2 (en) * 2013-06-12 2016-07-19 Bongiovi Acoustics Llc System and method for stereo field enhancement in two-channel audio systems
CN105917674B (zh) * 2013-10-30 2019-11-22 华为技术有限公司 用于处理音频信号的方法和移动装置
US10063984B2 (en) * 2014-09-30 2018-08-28 Apple Inc. Method for creating a virtual acoustic stereo system with an undistorted acoustic center
EP3067889A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for signal-adaptive transform kernel switching in audio coding
EP3067887A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
EP3369257B1 (en) * 2015-10-27 2021-08-18 Ambidio, Inc. Apparatus and method for sound stage enhancement
EP3406084B1 (en) * 2016-01-18 2020-08-26 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction
CN109644315A (zh) * 2017-02-17 2019-04-16 无比的优声音科技公司 用于缩混多声道音频信号的设备和方法
GB2562518A (en) * 2017-05-18 2018-11-21 Nokia Technologies Oy Spatial audio processing
US10511909B2 (en) * 2017-11-29 2019-12-17 Boomcloud 360, Inc. Crosstalk cancellation for opposite-facing transaural loudspeaker systems
US10499153B1 (en) * 2017-11-29 2019-12-03 Boomcloud 360, Inc. Enhanced virtual stereo reproduction for unmatched transaural loudspeaker systems
US10674266B2 (en) * 2017-12-15 2020-06-02 Boomcloud 360, Inc. Subband spatial processing and crosstalk processing system for conferencing
US10547927B1 (en) * 2018-07-27 2020-01-28 Mimi Hearing Technologies GmbH Systems and methods for processing an audio signal for replay on stereo and multi-channel audio devices
US10547926B1 (en) 2018-07-27 2020-01-28 Mimi Hearing Technologies GmbH Systems and methods for processing an audio signal for replay on stereo and multi-channel audio devices
EP3693846A1 (en) * 2019-02-06 2020-08-12 Nokia Technologies Oy An apparatus, method or computer program for rendering sound scenes defined by spatial audio content to a user
US11432069B2 (en) * 2019-10-10 2022-08-30 Boomcloud 360, Inc. Spectrally orthogonal audio component processing

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI456569B (zh) * 2007-03-21 2014-10-11 Fraunhofer Ges Forschung 用於音頻重構增強的方法和設備
TWI625975B (zh) * 2011-05-09 2018-06-01 Ｄｔｓ股份有限公司 用於多聲道音訊之室內特徵化及校正技術
US10123113B2 (en) * 2013-10-31 2018-11-06 Synaptics Incorporated Selective audio source enhancement
CN106170991A (zh) * 2013-12-13 2016-11-30 无比的优声音科技公司 用于音场增强的设备及方法
CN106664499A (zh) * 2014-08-13 2017-05-10 华为技术有限公司 音频信号处理装置
US10187739B2 (en) * 2015-01-30 2019-01-22 Dts, Inc. System and method for capturing, encoding, distributing, and decoding immersive audio
US10225657B2 (en) * 2016-01-18 2019-03-05 Boomcloud 360, Inc. Subband spatial and crosstalk cancellation for audio reproduction
JP6546351B2 (ja) * 2016-01-19 2019-07-17 ブームクラウド ３６０ インコーポレイテッド ヘッドマウントスピーカのためのオーディオエンハンスメント
US20180190303A1 (en) * 2016-02-17 2018-07-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Post-processor, pre-processor, audio encoder, audio decoder and related methods for enhancing transient processing

Also Published As

Publication number Publication date
KR20240060678A (ko) 2024-05-08
WO2021071576A1 (en) 2021-04-15
CN114846820A (zh) 2022-08-02
US11432069B2 (en) 2022-08-30
JP2024026465A (ja) 2024-02-28
US11032644B2 (en) 2021-06-08
KR20220076518A (ko) 2022-06-08
EP4042721A4 (en) 2023-11-29
EP4042719A4 (en) 2023-10-18
JP7410282B2 (ja) 2024-01-09
TWI765325B (zh) 2022-05-21
CN114830693A (zh) 2022-07-29
KR102660704B1 (ko) 2024-04-24
US20210112340A1 (en) 2021-04-15
TW202116077A (zh) 2021-04-16
JP7437493B2 (ja) 2024-02-22
WO2021071577A1 (en) 2021-04-15
EP4042719A1 (en) 2022-08-17
EP4042721A1 (en) 2022-08-17
JP2022551872A (ja) 2022-12-14
KR20220080146A (ko) 2022-06-14
JP2022551873A (ja) 2022-12-14
TW202115715A (zh) 2021-04-16
US20220408188A1 (en) 2022-12-22
US20210112339A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
TWI750781B (zh) 用於處理一音訊信號之系統、方法及非暫時性電腦可讀媒體
JP7370415B2 (ja) 空間オーディオ信号のクロストーク処理のためのスペクトル欠陥補償
CN111492669B (zh) 用于相反朝向跨耳扬声器系统的串扰消除
JP6865885B2 (ja) サブバンド空間オーディオエンハンスメント
US20230022072A1 (en) Colorless generation of elevation perceptual cues using all-pass filter networks
JP2006005414A (ja) 擬似ステレオ信号生成装置および擬似ステレオ信号生成プログラム
CN117678014A (zh) 使用全通滤波器网络的仰角感知线索的无色生成