TWI527473B - 用以獲得環繞音效音訊頻道之方法、適於執行該方法之裝置、及相關電腦程式 - Google Patents
用以獲得環繞音效音訊頻道之方法、適於執行該方法之裝置、及相關電腦程式 Download PDFInfo
- Publication number
- TWI527473B TWI527473B TW097121163A TW97121163A TWI527473B TW I527473 B TWI527473 B TW I527473B TW 097121163 A TW097121163 A TW 097121163A TW 97121163 A TW97121163 A TW 97121163A TW I527473 B TWI527473 B TW I527473B
- Authority
- TW
- Taiwan
- Prior art keywords
- scale factor
- signal component
- matrix
- gain scale
- audio signals
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 58
- 238000004590 computer program Methods 0.000 title claims description 5
- 230000005236 sound signal Effects 0.000 claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims description 113
- 230000007613 environmental effect Effects 0.000 claims description 26
- 238000005259 measurement Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 14
- 230000007423 decrease Effects 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 12
- 230000003595 spectral effect Effects 0.000 claims description 11
- 230000001419 dependent effect Effects 0.000 claims description 6
- 230000002123 temporal effect Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 23
- 238000006243 chemical reaction Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 13
- 238000004091 panning Methods 0.000 description 13
- 238000002156 mixing Methods 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 239000000654 additive Substances 0.000 description 8
- 230000000996 additive effect Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000002441 reversible effect Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000005538 encapsulation Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 241000610375 Sparisoma viride Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Stereophonic System (AREA)
Description
本發明是關於音訊信號處理。本發明尤其是關於自來源音訊信號獲得環境信號成份、自來源音訊信號獲得矩陣解碼信號成份且控制地結合該等環境信號成份與該等矩陣解碼信號成份。
以下參考文獻其全部內容以參照方式被併入本文。
[1]C.Avendano及Jean-Marc Jot的“Frequency Domain Techniques For Stereo To Multichannel Upmix”,AES 22nd Int. Conf. on Virtual, Synthetic Entertainment Audio;[2]E. Zwicker、H.Fastl的“Psycho-acoustics”,第二版,Springer,1990,德國;[3]B. Crockett的“Improved Transient Pre-Noise Performance of Low Bit Rate Audio Coders Using Time Scaling Synthesis”,序號為6184的論文,第117屆AES會議,三藩市,2004年10月;[4]序列號為10/478,538的美國專利申請案,PCT於2002年2月26日提出申請,於2004年8月26日公開為US 2004/0165730 A1,Brett G. Crockett的“Segmenting Audio Signals into Auditory Events”;[5]A. Seefeldt、M. Vinton、C. Robinson的“New
Techniques in Spatial Audio Coding”,序號為6587的論文,第119屆AES會議,紐約,2005年10月;[6]序列號為10/474,387的美國專利申請案,PCT於2002年2月12日提出申請,於2004年6月24日公開為US 2004/0122662 A1,Brett Graham Crockett的“High Quality Time-Scaling And Pitch-Scaling of Audio Signals”;[7]序列號為10/476,347的美國專利申請案,PCT於2002年4月25日提出申請,於2004年7月8日公開為US 2004/0133423 A1,Brett Graham Crockett的“Transient Performance of Low Bit Rate Audio Coding Systems By Reducing Pre-Noise”;[8]序列號為10/478,397的美國專利申請案,PCT於2002年2月22日提出申請,於2004年7月8日公開為US 2004/0172240 A1,Brett G. Crockett等人的“Comparing Audio Using Characterizations Based On Auditory Events”;[9]序列號為10/478,398的美國專利申請案,PCT於2002年2月25日提出申請,於2004年7月29日公開為US 2004/0148159 A1,Brett G. Crockett等人的“Method for Time Aligning Audio Signals Using Characterizations Based On Auditory Events”;[10]序列號為10/478,398的美國專利申請案,PCT於2002年2月25日提出申請,於2004年7月29日公開為US 2004/0148159 A1,Brett G. Crockett等人的“Method for Time Aligning Audio Signals Using Characterizations Based On
Auditory Events”;[11]序列號為10/911,404的美國專利申請案,PCT於2004年8月3日提出申請,於2006年2月9日公開為US 2006/0029239 A1,Michael John Smithers等人的“Method for Combining Audio Signals Using Auditory Scene Analysis”;[12]在專利合作條約下公開的國際申請案,PCT/US2006/020882,於2006年5月26日提出國際申請,指定美國,於2006年12月14日公開為WO 2006/132857 A2及A3,Alan Jeffrey Seefeldt等人的“Channel Reconfiguration With Side Information”;[13]在專利合作條約下公開的國際申請案,PCT/US2006/028874,於2006年7月24日提出國際申請,指定美國,於2007年2月8日公開為WO 2007/016107 A2,Alan Jeffrey Seefeldt等人的“Controlling Spatial Audio Coding Parameters as a Function Of Auditory Events”;[14]在專利合作條約下公開的國際申請案,PCT/US2007/004904,於2007年2月22日提出國際申請,指定美國,於2007年9月20日公開為WO 2007/106234 A1,Mark Stuart Vinton等人的“Rendering Center Channel Audio”;[15]在專利合作條約下公開的國際申請案,PCT/US2007/008313,於2007年3月30日提出國際申請,指定美國,於2007年11月8日公開為WO 2007/127023,Brett G. Crockett等人的“Audio Gain Control Using Specific Loudness-Based Auditory Event Detection”。
自標準矩陣編碼二頻道立體聲內容(其中頻道一般被表示為“Lt”及“Rt”)或非矩陣編碼二頻道立體聲內容(其中頻道一般被表示為“Lo”及“Ro”)產生多頻道音訊內容藉由導出環繞頻道而被增強。然而,每一信號類型(矩陣及非矩陣編碼內容)的環繞頻道之角色非常不同。對於非矩陣編碼內容,使用環繞頻道強調原始內容之環境一般產生可聽得見的令人愉快的結果。然而,對於矩陣編碼內容,期望重新產生或近似原始環繞頻道之淘選的聲像。此外,期望提供以最適當的方式自動處理該等環繞頻道之配置,不管輸入類型為何(非矩陣或矩陣編碼),而不需要收聽者選擇一解碼模式。
目前有許多技術用於將兩個頻道升頻混合到多個頻道。此等技術從簡單的固定或被動矩陣解碼器到主動矩陣解碼器以及環境取出技術用於環繞頻道導出都有。最近,用於導出環繞頻道的頻域環境取出技術(例如,參看參考1)已保證可產生愉快的多頻道體驗。然而,此等技術沒有自矩陣編碼(LtRt)內容再現環繞頻道聲像,因為它們主要被設計用於非矩陣編碼(LoRo)內容。可選擇地方式是,被動及主動矩陣解碼器執行用於對矩陣編碼內容隔離環繞淘選聲像之相當良好的工作。然而,與對矩陣解碼比較下,環境取出技術對非矩陣編碼內容提供較佳的效能。
利用目前世代的升頻混合器,收聽者一般需要轉換該升頻混合系統以選擇與該輸入音訊內容最佳匹配的升頻混
合器。因此,本發明之一目的是產生對矩陣及非矩陣編碼內容都聽起來令人愉快的環繞頻道信號,而不需要一使用者在操作解碼模式之間轉換。
依據本發明之層面,一種用於自兩輸入音訊信號獲得兩環繞音效音訊頻道之方法,其中該等音訊信號可包括藉由矩陣編碼產生的成份,該方法包含以下步驟:自該等音訊信號獲得環境信號成份;自該等音訊信號獲得矩陣解碼信號成份;以及控制地結合環境信號成份與矩陣解碼信號成份以提供該等環繞音效音訊頻道。獲得環境信號成份包括施加一動態變化環境信號成份增益比例因子給一輸入音訊信號。該環境信號成份增益比例因子可以是該等輸入音訊信號之互相關的一測量之一函數,其中例如,該環境信號成份增益比例因子隨著互相關之程度增加而減少,反之亦然。該互相關之測量被時間平滑化以及,例如,該互相關之測量藉由使用一信號相依洩露積分器被時間平滑化,或者,可選擇地,藉由使用一移動平均值被時間平滑化。該時間平滑化是信號適應性的,例如,該時間平滑化隨著頻譜分佈內的變化而適應。
依據本發明之層面,獲得環境信號成份可包括施加至少一解相關濾波器序列。相同的解相關濾波器序列可被施加給該等輸入音訊信號中的每個,或者,可選擇地,一不同的解相關濾波器序列可被施加給該等輸入音訊信號中的
每個。
依據本發明之進一步的層面,獲得矩陣解碼信號成份可包括施加一矩陣解碼給該等輸入音訊信號,其中矩陣解碼適用於提供各自與一後環繞音效方向相關的第一及第二音訊信號。
控制地結合可包括施加增益比例因子。該等增益比例因子可包括被施加用於獲得環境信號成份的動態變化環境信號成份增益比例因子。該等增益比例因子可進一步包括被施加給與一後環繞音效方向相關的第一及第二音訊信號中的每個的一動態變化矩陣解碼信號成份增益比例因子。該矩陣解碼信號成份增益比例因子可以是該等輸入音訊信號之互相關的一測量之一函數,其中,例如,該動態變化矩陣解碼信號成份增益比例因子隨著互相關之程度增加而增加且隨著互相關之程度減少而減少。該動態變化矩陣解碼信號成份增益比例因子及該動態變化環境信號成份增益比例因子可以維持該等矩陣解碼信號成份與環境信號成份之結合能量之方式相對於彼此增加及減少。該等增益比例因子可進一步包括一動態變化環繞音效音訊頻道之增益比例因子以進一步控制該等環繞音效音訊頻道之增益。該環繞聲音音訊頻道之增益比例因子可以是該等輸入音訊信號之互相關之一測量的一函數,其中,例如,該函數引起該環繞音效音訊頻道增益比例因子隨著互相關之測量之減少而增加,直到該互相關之測量達到一值,在該值以下該環繞音效音訊頻道之增益比例因子減少。
本發明之各個層面可在時間-頻率域內被執行,其中,例如,本發明之層面可在該時間-頻率域內的一或多個頻帶內被執行。
升頻混合矩陣編碼二頻道音訊內容或非矩陣編碼二頻道內容一般需要產生環繞頻道。眾所周知的矩陣解碼系統對於矩陣編碼內容運作良好,而環境“取出”技術對於非矩陣編碼內容運作良好。為了避免收聽者需要在升頻混合之兩模式之間轉換,本發明之層面在矩陣解碼與環境取出之間可變地混合以自動提供一目前的輸入信號類型之一適合的升頻混合。為了達成此,該等原始輸入頻道之間的互相關之一測量控制來自一部分矩陣解碼器的直接信號成份(“部分”表示該矩陣解碼器只需要解碼該等環繞頻道)與環境信號成份之比例。若該兩輸入頻道高度相關,則比環境信號成份多的直接信號成份被施加給該等環繞頻道。相反,若該兩輸入頻道被解相關,則比直接信號成份多的環境信號成份被施加給該等環繞頻道。
如參考1中所揭露的環境取出技術自該等原始前頻道移除環境音訊成份,且將它們淘選到環繞聲頻道,這可增強該等前頻道之寬度且改良包封之意義。然而,環境取出技術沒有淘選離散聲像到環繞頻道。另一方面,矩陣解碼技術執行淘選直接聲像(“直接”表示一聲音具有從來源到收聽者位置的一直接路徑,與被反射或“非直接”的反射或環境音效形成對比)到環繞頻道之一相當良好的工作,因此能夠較真實地建構矩陣編碼內容。為了利用兩解碼系統之力
量,環境取出與矩陣解碼之一混合是本發明之一層面。
本發明之一目的是自被矩陣編碼或非矩陣編碼的二頻道信號產生一聽起來令人愉快的多頻道信號,不需要一收聽者轉換模式。出於簡化之目的,本發明在使用左、右、左環繞及右環繞頻道的一四頻道系統之脈絡下被描述。然而,本發明可被擴展到五個頻道或更多個頻道。雖然用於提供一中央頻道作為第五頻道的各種已知技術中的任何可被使用,但是一特別有用的技術在專利合作條約下公開的國際申請案WO 2007/106324 A1(於2007年2月22日由Mark Stuart Vinton提出申請且於2007年9月20日公開,名稱為“Rendering Center Channel Audio”)中被描述。該WO 2007/106324 A1公開案其全部內容以參照方式被併入本文。
第1圖顯示了依據本發明之層面的自兩輸入音訊信號導出兩環繞音效音訊頻道之裝置或程序之一示意功能方塊圖;第2圖顯示了依據本發明之層面的一音訊升頻混合器或音訊升頻混合程序之一示意功能方塊圖,其中處理在時間-頻率域內被執行。第2圖配置之一部分包括第1圖之裝置或程序之一時間-頻率域實施例;第3圖描述了適用於一時間-頻率轉換的兩連續短時間離散傅利葉轉換(STDFT)時間方塊之一適合的分析/合成視窗對,可用於實踐本發明之層面;第4圖顯示了可被用於實踐本發明之層面的一44100Hz
之樣本率的以赫茲為單位的每個頻帶之中心頻率之一圖表,其中增益比例因子被施加給頻帶內的個別係數,每個頻帶具有大約一半的關鍵頻帶寬度;第5圖顯示了平滑係數(垂直軸)對轉換方塊編號(水平軸)之一圖表,可被用作一估計器的一信號相依洩露積分器之α參數之一示範性響應,該估計器可被用於減少用於實踐本發明之層面的互相關之一測量的時間方差。一聽覺事件邊界之發生出現為方塊20之前的方塊邊界上的平滑係數之急劇降落;第6圖顯示了依據本發明之層面的第2圖之音訊升頻混合器或升頻混合程序之環繞音效音訊獲得部分之一示意功能方塊圖。為了簡單陳述,第6圖顯示了多個頻帶中的一者內的信號流之一示意圖,需明白的是,所有該等頻帶內的結合動作產生環繞音效音訊頻道Ls及Rs;以及第7圖顯示了增益比例因子及(垂直軸)對相關係數(ρ LR (m,b))(水平軸)之圖表。
第1圖顯示了依據本發明之層面的用於自兩輸入音訊信號導出兩環繞音效音訊頻道之裝置或程序之一示意功能方塊圖。該等輸入音訊信號可包括由矩陣編碼產生的成份。該等輸入音訊信號可以是兩個立體聲音訊頻道,一般表示左及右音效方向。如以上所提到的,對於標準矩陣編碼二頻道立體聲內容,該等頻道一般被表示為“Lt”及“Rt”,
以及對於非矩陣編碼二頻道立體聲內容,該等頻道一般被表示為“Lo”及“Ro”。因此,為了表示該等輸入音訊信號有時可以是被矩陣編碼以及其他時間不是被矩陣編碼,該等輸入在第1圖中被標示為“Lo/Lt”及“Ro/Rt”。
第1圖例子中的兩輸入音訊信號被施加給一部分矩陣解碼器或解碼功能(“部分矩陣解碼器”)2,根據該對輸入音訊信號產生矩陣解碼信號成份。矩陣解碼信號成份自該兩輸入音訊信號獲得。特別地,部分矩陣解碼器2適用於提供第一及第二音訊信號,各自與一後環繞音效方向(例如,左環繞及右環繞)相關。因此,例如,部分矩陣解碼器2可被實施為一2:4矩陣解碼器或解碼功能之環繞頻道部分(即,一“部分”矩陣解碼器或解碼功能)。該矩陣解碼器可以是被動或主動的。部分矩陣解碼器2之特徵為在一“直接信號路徑(或多數個路徑)”(其中“直接”以上述解釋的意義被使用)(參看在以下所描述的第6圖)。
在第1圖之例子中,兩個輸入也被施加給環境4,該環境4可以是任何各種眾所周知的環境產生、導出或取出裝置或者功能,根據一或兩個輸入音訊信號操作以提供一或兩個環境信號成份輸出。環境信號成份自兩輸入音訊信號獲得。環境4可包括裝置及功能:(1),其中環境之特徵可為自該(等)輸入信號“取出”(以(例如)一1950年代的Hafler環境取出器(其中一或多個差分信號(L-R,R-L)自左及右立體聲信號導出)或如參考(1)中的現代時間-頻率域環境取出器之方式);以及(2),其中環境之特徵可為根據該(等)輸入信號“被
增加”或者“產生”(例如,以一數位(延遲線、摺積器等)或者類比(腔室、平板、彈簧、延遲線等)反射器之方式)。
在現代頻域環境取出器中,環境取出可藉由監測該等輸入頻道之間的互相關且取出被解相關(具有一小的相關係數,接近零)的時間及/或頻率內的信號之成份而達成。為了進一步增強環境取出,解相關可被施加到該環境信號路徑以改良前/後分隔之意義。此解相關不應與被取出的解相關信號成份或者被用以取出它們的程序或裝置混淆。此解相關之目的是減少該等前頻道與所獲得的環繞頻道之間的任何殘餘相關。參看以下的標題“環繞頻道之解相關器”。
在一輸入音訊信號及兩環境輸出信號之情況下,該兩輸入音訊信號可被結合,或者它們中只有一者被使用。在兩輸入及一輸出之情形下,相同的輸出可被用於環境信號輸出。在兩輸入及兩輸出之情形下,該裝置或功能可在每個輸入上獨立操作,因此每個環境信號輸出根據僅對一特定輸入回應,或者可選擇的方式是,該兩輸出可以是回應的且與兩輸入相依。環境4之特徵可為在一“環境信號路徑(或多個路徑)”內。
在第1圖之例子中,該等環境信號成份及矩陣解碼信號成份被控制地結合以提供兩個環繞音效音訊頻道。這可以第1圖中所示的方式實現或者以一等效的方式。在第1圖之例子中,一動態變化矩陣解碼信號成份增益比例因子被施加給該等部分矩陣解碼2輸出中的兩者。這被顯示為施加相同的“直接路徑增益”比例因子給兩個乘法器6及8中的每
個,每個乘法器在部分矩陣解碼器2中的一輸出路徑上。一動態變化環境信號成份增益比例因子被施加給兩個環境4輸出。這被顯示為施加相同的“環境路徑增益”比例因子給兩乘法器10及12中的每個,各個乘法器在環境4之一輸出內。乘法器6之動態增益調整矩陣解碼輸出在一加性結合器14(被顯示為一求和符號Σ)內與乘法器10之動態增益調整環境輸出求和以產生該等環繞音效輸出中的一者。乘法器8之動態增益調整矩陣解碼輸出在一加性結合器16(被顯示為一求和符號Σ)內與乘法器12之動態增益調整環境輸出求和以產生該等環繞音效輸出之另一者。為了自結合器14提供左環繞(Ls),來自乘法器6的增益調整部分矩陣解碼信號應自部分矩陣解碼2之左環繞輸出獲得,且來自乘法器10的增益調整環境信號應自預期給該左環繞輸出的一環境4輸出獲得。類似地,為了自結合器16提供右環繞(Rs),來自乘法器8的增益調整部分矩陣解碼信號應自部分矩陣解碼2之右環繞輸出獲得,且來自乘法器12的增益調整環境信號應自預期給該右環繞聲輸出的一環境4輸出獲得。
將動態變化增益比例因子施加給一饋入一環繞音效輸出的信號之特徵可為將該信號“淘選”到此一環繞音效輸出以及自此環繞音效輸出“淘選”。
該直接信號路徑及環境信號路徑被調整增益以基於進入的信號提供直接信號音訊及環境信號音訊之適合的量。
若該等輸入信號良好相關,則大部分的直接信號路徑應存在最終的環繞頻道信號內。可選擇的方式是,若該等輸入
信號實質上被解相關,則大部分的環境信號路徑應存在最終的環繞頻道信號內。
因為該等輸入信號的一些音效能量被傳給該等環繞頻道,可能期望(除此之外)調整該等前頻道之增益,使得總的再現聲壓實質上不被改變。參看第2圖之例子。
應注意到的是,當如參考1中的時間-頻率域環境取出技術被使用時,該環境取出可藉由施加一適合的動態變化環境信號成份增益比例因子給該等輸入音訊信號中的每個而實現。在此情況下,該環境4方塊可被認為包括乘法器10及12,使得該環境路徑增益比例因子被獨立地施加給該等音訊輸入信號Lo/Lt及Ro/Rt中的每個。
在其最廣泛的層面中,如第1圖之例子中的特徵,本發明可在(1)時間-頻率域或頻域內;(2)基於一寬頻或頻帶基準(稱為頻帶);以及(3)以一類比、數位或混合類比/數位方式實現。
當用以將部分混合矩陣解碼音訊信號與環境信號相互混合之技術可以寬頻方式執行,效能可藉由計算複數頻帶內的每個內之期望的環繞頻道而被改良。一種用以導出頻帶內的期望的環繞頻道之可能的方法是使用一重疊短時間離散傅利葉轉換以供原始二頻道信號之分析以及多頻道信號之最後合成。然而,有許多較眾所周知的技術允許信號分段為時間及頻率以供分析及合成(例如,濾波器組、正交鏡相濾波器等)。
第2圖顯示了依據本發明之層面的一音訊升頻混合器
或升頻混合程序之一示意功能方塊圖,其中處理在時間-頻率域執行。第2圖配置之一部分包括第1圖之裝置或程序之一時間-頻率域實施例。一對立體聲輸入信號Lo/Lt及Ro/Rt被施加給該升頻混合器或升頻混合程序。在第2圖之例子以及本文的其他例子中,處理在時間-頻率域被執行,該等增益比例因子可以如該轉換方塊速率或者一時間平滑方塊速率被動態更新。
雖然原則上本發明之層面可由類比、數位或混合類比/數位實施例實踐,但是第2圖之例子以及以下討論的其他例子是數位實施例。因此,該等輸入信號可以是可自類比音訊信號導出的時間樣本。該等時間樣本可被編碼為線性脈衝碼調變(PCM)信號。每個線性PCM音訊輸入信號可由一濾波器組功能或裝置處理,該濾波器組功能或裝置具有一同相及一正交輸出,例如一2048點視窗化一短時間離散傅利葉轉換(STDFT)。
因此,該二頻道立體聲輸入信號可利用一短時間離散散傅利葉轉換(STDFT)裝置或程序(“時間-頻率轉換”)20轉換到頻域且分組為頻帶(分組未被顯示)。每個頻帶可被獨立處理。一控制路徑在一裝置或功能(前/後增益計算)22內計算前/後比例因子比率(G F 及G B )(參看以下的方程式12及13以及第7圖及其描述)。對於一四頻道系統,該兩輸入信號可乘以前增益比例因子G F (被顯示為乘法器符號24及26)且通過一反向傅利葉轉換或轉換程序(“頻率-時間轉換”)28以提供左及右輸出頻道L’o/L’t及R’o/R’t,由於G F 增益比例調
整,L’o/L’t及R’o/R’t之位準可能與該等輸入信號不同。自第1圖之裝置或程序(“環繞頻道產生”)30的一時間-頻域版本獲得的環繞頻道信號Ls及Rs(其等表示環境音訊成份與矩陣解碼音訊成份之一可變混合)在一反向轉換或轉換程序(“頻率-時間轉換”)36之前乘以該後增益比例因子G B (被顯示為乘法器符號32及34)。
被用以自該輸入二頻道信號產生兩個環繞頻道的時間-頻率轉換20可基於眾所周知的短時間離散傅利葉轉換(STDFT)。為了最小化圓形摺積影響,一75%重疊可被用於分析及合成。當適當地選擇分析及合成視窗,一重疊STDFT可被用以最小化可聽得見的圓形摺積影響,同時提供施加對頻譜修改大小及相位之能力。雖然特定的視窗對不是關鍵的,但是第3圖描述了對兩個連續STDFT時間區塊之一適合的分析/合成視窗對。
該分析視窗被設計使得該等重疊分析視窗之總和對於選定的重疊間隔等於一。一凱斯-貝塞爾導出(KBD)視窗之平方可被使用,雖然該特定視窗之使用對於本發明不是關鍵的。利用此一分析視窗,若沒有對該等重疊STDFT進行修改,則可在沒有任何合成視窗的情況下,完美地合成一被分析信號,不具有。然而,由於在此示範性實施例中被施加的大小改變以及使用的解相關序列,期望逐漸減小合成視窗以阻止可聽得見的區塊不連續。在一示範性空間音訊編碼系統中使用的視窗參數在以下被列出。
STDFT長度:2048
分析視窗主瓣長度(AWML):1024
中繼段大小(HS):512
前導零襯墊(ZPlead):256
滯後零襯墊(ZPlag):768
合成視窗漸縮(SWT):128
依據本發明之層面的用於升頻混合之一示範性實施例計算且施加增益比例因子給頻帶內的個別係數,具有約一半的關鍵頻帶寬度(例如,參看參考2)。第4圖顯示了對於一44100Hz之樣本率的以赫茲為單位的每個頻帶之中心頻率的一圖表,且表1給出了對於一44100Hz之樣本率的每個頻帶之中心頻率。
在依據本發明之層面的示範性升頻混合配置中,每個統計數字及變數首先在一頻譜帶上被計算出,接著隨著時間被平滑化。每個變數之時間平滑化是一簡單的第一階IIR,如方程式1中所示。然而,該α參數較佳地隨著時間適應。若一聽覺事件被檢測出(例如,參看參考3或參考4),則
該α參數減少到一較低值,接著其隨著時間上升回到一較高值。因此,該系統在音訊變化期間較快速地更新。
一聽覺事件可被定義為該音訊信號內的一劇烈變化,例如,一樂器之音符的變化或一揚聲器之聲音開始。因此,升頻混合快速地改變在一事件檢測點附近的統計估計是有意義的。此外,人類聽覺系統在暫態/事件開始期間較不敏感,因此一音訊片段內的此等時刻可被用以隱藏統計量之系統估計的不穩定性。一事件可藉由時間上的兩個相鄰區塊之間的頻譜分佈內的變化而檢測出。
第5圖顯示了當一聽覺事件之開始被檢測出時,一頻帶內的α參數(參看方程式1,正如以下)之一示範性響應(該聽覺事件邊界恰好在第5圖例子中的轉換方塊20之前)。方程式1描述了一可被作為一估計器的信號相依洩漏積分器,該估計器被用於減少互相關之一測量的時間方差(也參看以下方程式4之討論)。
C'(n,b)=αC'(n-1,b)+(1-α)C(n,b) (1)
其中:C(n,b)是在區塊n的一頻譜帶b上計算的變數,以及C ' (n,b)是在區塊n進行時間平滑化之後的變數。
第6圖較詳細地顯示了依據本發明之層面的第2圖之音訊升頻混合器或升頻混合程序之環繞音訊獲得部分之一示意功能方塊圖。為了簡單陳述,第6圖顯示了多個頻帶中的一者內的信號流之一示意圖,需明白的是,所有該等頻帶內的結合動作產生環繞音訊音訊頻道Ls及Rs。
如第6圖中所指示,該等輸入信號(Lo/Lt及Ro/Rt)中的每個被分為三個路徑。第一路徑是一“控制路徑”40,其在此例中在一電腦或計算功能(“每個頻帶之控制計算”)42中計算前/後比率增益比例因子(G F 及G B )以及直接/環境比率增益比例因子(G D 及G A ),該電腦或計算功能包括用於提供該等輸入信號之互相關的一測量之裝置或程序(圖未示)。另兩個路徑是一“直接信號路徑”44及一環境信號路徑46,其等之輸出在該等G D 及G A 增益比例因子下被控制地混合在一起以提供一對環繞頻道信號Ls及Rs。該直接信號路徑包括一被動矩陣解碼器或解碼程序(“被動矩陣解碼器”)48。可選擇的方式是,一主動矩陣解碼器可取代被動矩陣解碼器被使用以改良在一些信號條件下的環繞頻道分隔。許多此等主動及被動矩陣解碼器及解碼功能在該項領域內是眾所周知的,且任何此特定裝置或程序之使用對於本發明不是關鍵的。
可取捨地,為了進一步改良藉由施加G A 增益比例因子而將環境信號成份淘選到該等環繞聲頻道而產生的包封影響,來自左及右輸入信號的環境信號成份在與來自該矩陣解碼器48的直接聲像音訊成份混合之前可被施加給一個別解相關器或者乘以一個別解相關濾波器序列(“解相關器”)50。雖然解相關器50可能彼此相同,但是一些收聽者可能較喜歡當該等解相關器50不相同時所提供的效能。雖然許多類型的解相關器中的任何可被用於環境信號路徑,但是應注意最小化可能由將被解相關的音訊內容與一非解
相關的信號混合所引起的可聽見的梳形濾波器影響。一特別有用的解相關器在以下被描述,雖然其使用對於本發明不是關鍵的。
該直接信號路徑44之特徵可為包括個別乘法器52及54,其中該等直接信號成份增益比例因子G D 被施加給個別左環繞及右環繞矩陣解碼信號成份,其等之輸出接著被施加給個別加性結合器56及58(各自被顯示為一求和符號Σ)。可選擇的方式是,直接信號成份增益比例因子G D 可被施加給該直接信號路徑44之輸入。後增益比例因子G B 接著可在乘法器64及66被施加給每個結合器56及58之輸出以提供左及右環繞輸出Ls及Rs。可選擇的方式是,該等G B 及G D 增益比例因子可被乘在一起,接著在施加結果給結合器56及58之前被施加給個別左環繞及右環繞矩陣解碼信號成份。
該環境信號路徑之特徵可為包括個別乘法器60及62,其中該等環境信號成份增益比例因子G A 被施加給個別左及右輸入信號,該等左及右輸入信號可以已被施加給可取捨的解相關器50。可選擇的方式是,環境信號成份增益比例因子G A 可被施加給環境信號路徑46之輸入。施加該等動態變化環境信號成份增益比例因子G A 導致自左及右輸入信號取出環境信號成份,無論是否有任何解相關器50被使用。
此等左及右環境信號成份接著被施加給個別加性結合器56及58。若該增益比例因子G B 沒有在該結合器56及58之後被施加,則該增益比例因子G B 可與該增益比例因子G A 相乘且
在施加結果給結合器56及58之前施加給該等左及右環境信號成份。
如第6圖之例子中需要的環繞音效頻道計算之特徵可為以下步驟及子步驟。
如第6圖中所示,該控制路徑產生增益比例因子G F 、G B 、G D 及G A --該等增益比例因子被計算出且被施加到每個頻帶內。注意到該G F 增益比例因子未被用於獲得環繞音效頻道--其可被施加給該等前頻道(參看第2圖)。計算該等增益比例因子之第一步驟是將該等輸入信號中的每個分組為多數個頻帶,如方程式2及3所示。
其中:m是時間索引,b是頻帶索引,L(m,k)是時間m上的左頻道之第k個頻譜樣本,R(m,k)是時間m上的右頻道之第k個頻譜樣本。(m,b)是包含頻帶b之左頻道之頻譜樣本的行矩陣,(m,b)是包含頻帶b之右頻道之頻譜樣本的行矩陣,L b 是頻帶b之下邊界,U b 以及是頻帶b之上邊界。
下一步驟是計算每個頻帶內的兩輸入信號之間的頻道間相關性(即,“互相關”)之一測量。在此例中,其以三個子步驟實現。
首先,如方程式4中所示,計算頻道間相關性之一減少的時間方差測量。在方程式4及本文的其他方程式中,E是一估計器運算符。在此例中,該估計器表示一信號相依洩露積分器方程式(例如方程式1中)。有許多其他技術可被用作一估計器以減少所量測的參數之時間方差(例如,一簡單的移動時間平均值),且任何特定估計器之使用對於本發明不是關鍵的。
其中:T是赫米特倒置,ρ LR (m,b)是時間m上的頻帶b內的左頻道與右頻道之間的相關係數之一估計。ρ LR (m,b)可具有一從0到1範圍內的值。該赫米特倒置是複數項目之一倒置及一共軛。在方程式4中,例如,當(m,b)及(m,b)是如方程式1及2所定義之複數列向量時,(m,b).(m,b) T 導致一複數純量。
相關係數可被用以控制被淘選到該等環繞頻道的環境及直接信號之量。然而,若該等左信號及右信號完全不同,例如兩個不同的樂器被分別淘選到左及右頻道,則互相關為零,且若如子步驟2a中此類的方法本身被使用,則該難以被淘選的樂器將被淘選到該等環繞頻道。為了避免此結果,該等左及右輸入信號之互相關的一有偏測量可被建構,例如方程式5中所示。
(m,b)可具有一在從0到1之範圍內的值。
其中:(m,b)是左頻道與右頻道之間的相關係數之有偏估計。
方程式5之分母內的“max”運算符導致分母是E{(m,b).(m,b) T }或E{(m,b).(m,b) T }中的最大值。因此,互相關藉由左信號內的能量或右信號內的能量被正規化,而不是如方程式4中的幾何平均。若左信號及右信號之功率不同,則方程式5之相關係數(m,b)的有偏估計導致比由方程式4之相關係數ρ LR (m,b)產生的值較小的值。因此,該有偏估計可被用以降低對為難以淘選的左及/或右頻道之樂器環繞頻道之淘選程度。
接著將方程式4中給出的無偏互相關估計與方程式5中給出的有偏估計結合為頻道間相關性之一最後測量,其可被用以控制淘選到該等環繞頻道之環境及直接信號。該結合可如方程式6中所表示,其顯示了若該相關係數(方程式5)之有偏估計高於一臨界值,則該頻道間相干等於相關係數;否則該等頻道間相干線性地接近1。方程式6之目的是確保輸入信號中為難以淘選的左及/或右頻道之樂器不會被淘選至環繞頻道。。方程式6只是用以達成此一目的之許多方法中的一可能的方法。
其中:μ 0是一預定臨界值。該臨界值μ 0應盡可能地小,但是較佳地不為零。其可能約等於該有偏相關係數(m,b)之估計的方差。
接著,計算前及後增益比例因子G F 及G B 。在此例中,這以三個子步驟實現。子步驟3a及3b可按照順序或同時被執行。
接著,分別計算如方程式7及8中所示的一第一中間組的前/後淘選增益比例因子(及)。其等表示只由於檢測環境信號而產生的後/前淘選之期望的量;如以下所描述
的,最終的後/前淘選增益比例因子考慮了環境淘選及環繞聲像淘選。
其中是一預定臨界值且控制可自前音效場淘選到該等環繞頻道之能量的最大量。該臨界值可由一使用者選擇以控制被發送給該等環繞頻道之環境內容之量。
雖然方程式7及8中的及之運算式是適合的且維持功率,但是它們對於本發明並不是關鍵的。及一般彼此反向的其他關係可被使用。
第7圖顯示了增益比例因子及對相關係數(ρ LR (m,b))之一圖表。注意到,隨著相關係數減少,較多的能量被淘選給該等環繞頻道。然而,當該相關係數降低至低於某一點(一臨界值μ 0)時,該信號被淘選回到前頻道。這阻止該等原始左及右頻道內的難以淘選的孤立樂器被淘選到該等環繞頻道。第7圖只顯示了左及右信號能量相等之情形;若左及右能量不同,則該信號以一較高值的相關係數被淘選回到該等前頻道。較特別地,轉折點(臨界值μ 0)以相關係數之一較高值發生。
至此,由於檢測出環境音訊內容而應置入多少能量至
該等環繞頻道已被決定;下一步驟是計算只由於矩陣解碼離散聲像而產生的期望環繞頻道位準。為了計算由於此等離散聲像而產生的環繞聲頻道內的能量之量,首先估計如方程式9中所示的方程式4之相關係數之實部。
由於矩陣編碼程序之一90度相移(降頻混合),該相關係數之實部平滑地從0移到-1,如同原始多頻道信號內的一聲像在降頻混合之前從前頻道移到環繞頻道。因此,可建構又一中間組的前/後附加增益比例因子,如方程式10及11所示。
其中(m,b)及(m,b)分別是頻帶b在時間m上的矩陣解碼直接信號之前及後增益比例因子。
雖然方程式10及11中的(m,b)及(m,b)之運算式是適合的且維持能量,但是它們對於本發明不是關鍵的。(m,b)及(m,b)一般彼此反向的其他關係可被使用。
現在計算一組最終的前及後增益比例因子,如方程式12及13所給出的。
其中MIN表示若(m,b)小於(m,b),則最終的前增益比例因子G F (m,b)等於(m,b),否則G F (m,b)等於(m,b)。
雖然方程式12及13中的G F 及G B 之運算式是適合的且維持能量,但是它們對於本發明不是關鍵的。G F 與G B 一般彼此反向的其他關係可被使用。
此時,由於環境信號檢測及矩陣解碼直接信號檢測而被發送給該等環繞頻道的能量之量已被決定。然而,現在需要控制該等環繞聲頻道內存在的每個信號類型之量。為了計算控制直接信號與環境信號之間的相互混合之增益比例因子(G D 及GA),可使用方程式4之相關係數ρ LR (m,b)。若左及右輸入信號非常不相關,則比直接信號成份多的環境信號成份應存在該等環繞頻道內;若該等輸入信號良好相關,則比環境信號成份多的直接信號成份應存在該等環繞頻道內。因此,可導出如方程式14中所示的直接/環境比率之增益比例因子。
雖然方程式14中的G D 及G A 之運算式是適合的且維持能量,但是它們對於本發明並不是關鍵的。G D 與G A 一般彼此反向的其他關係可被使用。
接著建構矩陣解碼及環境信號成份。這可以兩個子步驟實現,其等可按照順序或同時被執行。
建構頻帶b之矩陣解碼信號成份,例如,如方程式15中所示
其中(m,b)是頻帶b在時間m上的左環繞頻道之矩陣解碼器之矩陣解碼信號成份,以及(m,b)是頻帶b在時間m上的右環繞頻道之矩陣解碼器之矩陣解碼信號成份。
施加該增益比例因子G A 用以導出該等環境信號成份,該增益比例因子G A 以時間平滑轉換方塊率動態變化(例如,參看參考1)。該動態改變的增益比例因子G A 可在該環境信號路徑46之前或之後被施加(第6圖)。該等導出的環境信號成份可進一步藉由將原始左及右信號之整個頻譜乘以該解相關器之頻譜域表示而被進一步增強。因此,對於頻帶b及時間m,左及右環繞信號之環境信號由(例如)方程式16及17給出。
其中(m,b)是頻帶b在時間m的左環繞頻道之環境信號,以及D L (k)是箱k的左頻道解相關器之頻譜域表示。
其中(m,b)是頻帶b在時間m的右環繞頻道之環境信號,以及D R (k)是箱k的右頻道解相關器之頻譜域表示。
在已導出該等控制信號增益G B 、G D 、G A (步驟3及4)以及該等矩陣解碼及環境信號成份(步驟5)之情況下,可如第6圖中所示應用它們以獲得每個頻帶內最終的環繞頻道信號。現在最後輸出的左及右環繞信號可由方程式18給出。
其中(m,b)及(m,b)是頻帶b在時間m上的最後的左及右環繞頻道信號。
如以上結合步驟5b所解釋的,將瞭解的是,施加以時間平滑轉換方塊率動態變化的增益比例因子G A 可被視為用
以導出該等環境信號成份。
該等環繞音效頻道計算可總結如下。
1. 將該等輸入信號中的每個分組為多數個頻帶(方程式2及3);
2. 計算每個頻帶內的兩輸入信號之間的互相關之一測量;
a. 計算互相關之一減少的時間方差(時間平滑)測量
b. 建構互相關之一有偏測量(方程式5)
c. 結合互相關之有偏與無偏測量(方程式6)
3. 計算前及後增益比例因子G F 及G B
a. 計算只由於有環境信號的前及後增益比例因子及(方程式7、8)
b. 計算只由於有矩陣解碼直接信號的前及後增益比例因子及(方程式10、11)
c. 使用子步驟3a及3b之結果,計算最終的一組前及後增益比例因子G F 及G B (方程式12、13)
4. 計算環境及矩陣解碼直接增益比例因子G D 及G A (方程式14)
5. 建構矩陣解碼及環境信號成份
a 建構頻帶b之矩陣解碼信號成份(方程式15)
b 建構頻帶b之環境信號成份(方程式16、17,施加G A )
6. 施加增益比例因子G B 、G D 、G A 給被建構的信號成份以獲得環繞頻道信號(方程式18)
本發明之層面的一適合的實施態樣使用實施個別處理步驟的處理步驟或裝置且如以上所陳述是功能相關的。雖然以上列出的步驟可各自由按照以上列出的步驟之順序操作的電腦軟體指令序列執行,但是將明白的是,相等或類似的結果可由以其他方式排序的步驟獲得,考慮一些量自較早的量獲得。例如,多執行緒電腦軟體指令序列可被使用,使得一些步驟序列平行執行。舉另一例,以上例子中的一些步驟之順序是任意的且可被改變,而不會影響該等結果--例如,子步驟3a及3b可被反向,且子步驟5a及5b可被反向。而且,從方程式18之審視將顯而易見的是,該增益比例因子G B 不需要自該增益比例因子G A 及G D 之計算而被個別計算出--一個單一增益比例因子G B .G A 以及一個單一增益比例因子G B .G D 可以方程式18之修改形式被計算出及使用,其中該增益比例因子G B 被置入括弧內。可選擇的方式是,所描述的步驟可被實施為執行所描述的功能之裝置,其為具有以上所描述的功能關係之各種裝置。
為了改良前頻道與環繞頻道之間的分隔(或者強調原始音訊內容之包封),可對該等環繞頻道進行解相關。解相關(如以下所描述的)可能類似參考5中所提出的。雖然接著被描述的解相關器已被認為是特別適合的,但是其使用對於本發明不是關鍵的,且其他解相關技術可被使用。
每個濾波器之脈衝響應可被指定為一有限長度正弦序
列,其等的瞬時頻率在該序列之期間從π單調地減少到0:
其中ω i (t)是單調減少的瞬時頻率函數,(t)是瞬時頻率之一次導數,(t)是由瞬時頻率之積分給出的瞬時相位,以及L i 是濾波器之長度。乘積項是需要的以使h i [n]之頻率響應在整個頻率上近似平坦,且該增益G i 被計算使得
被指定的脈衝響應具有一類似唧聲序列之形式,因此利用此一濾波器對音訊信號進行濾波有時可能在暫態之位置產生可聽得見的“唧聲”人工因素。此影響可藉由將一雜訊項加到該濾波器響應之瞬時相位而被減少:
使此雜訊序列N i [n]等於具有π之一小部分之方差之白高斯雜訊足以使脈衝響應音效比類似唧聲更像雜訊,同時頻率與由ω i (t)指定的延遲之間的期望的關係仍大部分被維持。
在非常低的頻率,由唧聲序列產生的延遲非常長,因此當被升頻混合的音訊內容被混合回到兩個頻道時,產生可聽得見的缺口。為了減少此人工因素,該線性調頻序列可利用一低於2.5kHz頻率的90度相位轉換替換。該相位在正與負90度之間轉換,其中該轉換隨著對數間隔而發生。
因為該升頻混合系統使用具有足夠零襯墊(如以上所描述的)的STDFT,由方程式21給出的解相關濾波器可利用頻譜域內的乘法被施加。
本發明可以硬體或軟體或者其等之一組合(例如,可規劃邏輯陣列)實施。除非被特別指明,被包括為本發明之部分之演算法或程序不是固有地與任何特定電腦或其他裝置相關。特別地,各種通用機器可與依據本文之教示所撰寫的程式一起被使用,或者可較方便的是建構較專用的裝置(例如,積體電路)以執行所需的方法步驟。因此,本發明可以執行一或多個可規劃電腦系統的一或多個電腦程式實施,該等可規劃電腦系統各自包含至少一處理器、至少一資料儲存系統(包括依電性及非依電性記憶體及/或儲存元件)、至少一輸入裝置或埠以及至少一輸出裝置或埠。程式碼被施加給輸入資料以執行本文所描述的功能且產生輸出資訊。該輸出資訊以已知方式被施加給一或多個輸出裝置。
每個此程式可以任何期望的電腦語言(包括機器、組合或高階程序、邏輯或以物件為導向的程式語言)實施以與一電腦系統進行通訊。在任何情況下,該語言可以是一編譯或解譯語言。
每個此電腦程式較佳地被儲存在或下載到一可由一般或通用可規劃電腦讀取的儲存媒體或裝置(例如,固態記憶體或媒體或者磁或光學媒體)以當該儲存媒體或裝置被該電腦系統讀取時組配且操作該電腦以執行本文所描述的程
序。本發明系統也可被認為需被實施為被組配一電腦程式的電腦可讀儲存媒體,其中被如此組配的儲存媒體使一電腦系統以一特定及預定方式操作以執行本文所描述的功能。
本發明之一些實施例已被描述。然而,將明白的是,在不背離本發明之精神及範圍下,可進行各種修改。例如,也如以上所描述的,本文所描述的一些步驟可認為與順序無關,因此可以不同於所描述的順序被執行。
2‧‧‧部分矩陣解碼器
4‧‧‧環境
6‧‧‧乘法器
8‧‧‧乘法器
10‧‧‧乘法器
12‧‧‧乘法器
14‧‧‧加性結合器
16‧‧‧加性結合器
20‧‧‧STDFT裝置或程序
22‧‧‧前/後增益計算裝置
24‧‧‧乘法器
26‧‧‧乘法器
28‧‧‧反向傅利葉轉換裝置
30‧‧‧環繞頻道產生
32‧‧‧乘法器
34‧‧‧乘法器
36‧‧‧反向轉換
40‧‧‧控制路徑
42‧‧‧電腦或計算功能
44‧‧‧直接信號路徑
46‧‧‧環境信號路徑
48‧‧‧被動矩陣解碼器
50‧‧‧解相關器
52‧‧‧乘法器
54‧‧‧乘法器
56‧‧‧加性結合器
58‧‧‧加性結合器
60‧‧‧乘法器
62‧‧‧乘法器
64‧‧‧乘法器
66‧‧‧乘法器
Lo/Lt、Ro/Rt‧‧‧音訊輸入信號
AWML‧‧‧分析視窗主瓣長度
G F 及G B ‧‧‧計算前/後比率增益比例因子
G D 及G A ‧‧‧直接/環境比率增益比例因子
HS‧‧‧中繼段大小
Ls、Rs‧‧‧音效音訊頻道
SWT‧‧‧合成視窗漸縮
ZPlead‧‧‧前導零襯墊
ZPlag‧‧‧滯後零襯墊
第1圖顯示了依據本發明之層面的自兩輸入音訊信號導出兩環繞音效音訊頻道之裝置或程序之一示意功能方塊圖;第2圖顯示了依據本發明之層面的一音訊升頻混合器或音訊升頻混合程序之一示意功能方塊圖,其中處理在時間-頻率域內被執行。第2圖配置之一部分包括第1圖之裝置或程序之一時間-頻率域實施例;第3圖描述了適用於一時間-頻率轉換的兩連續短時間離散傅利葉轉換(STDFT)時間方塊之一適合的分析/合成視窗對,可用於實踐本發明之層面;第4圖顯示了可被用於實踐本發明之層面的一44100Hz之樣本率的以赫茲為單位的每個頻帶之中心頻率之一圖表,其中增益比例因子被施加給頻帶內的個別係數,每個頻帶具有大約一半的關鍵頻帶寬度;第5圖顯示了平滑係數(垂直軸)對轉換方塊編號(水平
軸)之一圖表,可被用作一估計器的一信號相依洩露積分器之α參數之一示範性響應,該估計器可被用於減少用於實踐本發明之層面的互相關之一測量的時間方差。一聽覺事件邊界之發生出現為方塊20之前的方塊邊界上的平滑係數之急劇降落;第6圖顯示了依據本發明之層面的第2圖之音訊升頻混合器或升頻混合程序之環繞音效音訊獲得部分之一示意功能方塊圖。為了簡單陳述,第6圖顯示了多個頻帶中的一者內的信號流之一示意圖,需明白的是,所有該等頻帶內的結合動作產生環繞音效音訊頻道Ls及Rs;以及第7圖顯示了增益比例因子及(垂直軸)對相關係數(ρ LR (m,b))(水平軸)之圖表。
2‧‧‧部分矩陣解碼器
12‧‧‧乘法器
4‧‧‧環境
14‧‧‧加性結合器
6‧‧‧乘法器
16‧‧‧加性結合器
8‧‧‧乘法器
Lo/Lt、Ro/Rt‧‧‧音訊輸入信號
10‧‧‧乘法器
Claims (23)
- 一種用以自兩輸入音訊信號獲得兩環繞音效音訊頻道之方法,其中該等音訊信號可包括藉由矩陣編碼產生的成份,該方法包含以下步驟:自該等音訊信號獲得環境信號成份;自該等音訊信號獲得矩陣解碼信號成份;以及控制地結合環境信號成份與矩陣解碼信號成份以提供該等環繞音效音訊頻道,其中該控制地結合包括施加增益比例因子。
- 如申請專利範圍第1項所述之方法,其中獲得環境信號成份包括施加一動態變化環境信號成份增益比例因子至一輸入音訊信號,以及其中該等增益比例因子包括被施加用以獲得環境信號成份的動態變化環境信號成份增益比例因子。
- 如申請專利範圍第2項所述之方法,其中獲得矩陣解碼信號成份包括施加一矩陣解碼至該等輸入音訊信號,其中矩陣解碼適於提供各自與一後環繞音效方向相關聯的第一及第二音訊信號,以及其中該等增益比例因子進一步包括被施加給與該後環繞音效方向相關聯的該第一及第二音訊信號中的每個的一動態變化矩陣解碼信號成份增益比例因子。
- 如申請專利範圍第3項所述之方法,其中該矩陣解碼信號成份增益比例因子是該等輸入音訊信號之互相關聯的測量之函數。
- 如申請專利範圍第4項所述之方法,其中該動態變化矩陣解碼信號成份增益比例因子隨著互相關聯之程度增加而增加且隨著互相關聯之程度減少而減少。
- 如申請專利範圍第5項所述之方法,其中該動態變化矩陣解碼信號成份增益比例因子及該動態變化環境信號成份增益比例因子以維持該等矩陣解碼信號成份與環境信號成份之結合能量之方式相對於彼此增加及減少。
- 如申請專利範圍第3-6項中的任何一項所述之方法,其中該等增益比例因子進一步包括一動態變化環繞音效音訊頻道之增益比例因子以進一步控制該等環繞音效音訊頻道之增益。
- 如申請專利範圍第7項所述之方法,其中該環繞音效音訊頻道之增益比例因子是該等輸入音訊信號之互相關聯之測量的函數。
- 如申請專利範圍第8項所述之方法,其中該函數引起該環繞音效音訊頻道之增益比例因子隨著互相關聯之測量之減少而增加,直到該互相關聯之測量達到一值,在該值以下該環繞音效音訊頻道之增益比例因子減少。
- 如申請專利範圍第9項所述之方法,其中該方法在時間-頻率域內被執行。
- 如申請專利範圍第10項所述之方法,其中該方法在時間-頻率域內的一或多個頻帶內被執行。
- 如申請專利範圍第2項所述之方法,其中該環境信號成份增益比例因子是該等輸入音訊信號之互相關聯的測 量之函數。
- 如申請專利範圍第12項所述之方法,其中該環境信號成份增益比例因子隨著互相關聯之程度增加而減少,反之亦然。
- 如申請專利範圍第12項所述之方法,其中該互相關聯之測量被時間平滑化。
- 如申請專利範圍第14項所述之方法,其中該互相關聯之測量藉由使用一信號相依洩露積分器被時間平滑化。
- 如申請專利範圍第14項所述之方法,其中該互相關聯之測量藉由使用一移動平均值被時間平滑化。
- 如申請專利範圍第14-16項的任何一項所述之方法,其中該時間平滑化是信號適應性的。
- 如申請專利範圍第17項所述之方法,其中該時間平滑化響應頻譜分佈內的變化而適應。
- 如申請專利範圍第1-6、12-16項中任一項所述之方法,其中獲得環境信號成份包括施加至少一解相關濾波器序列。
- 如申請專利範圍第19項所述之方法,其中相同的解相關濾波器序列被施加給該等輸入音訊信號中的每個。
- 如申請專利範圍第19項所述之方法,其中一不同的解相關濾波器序列被施加給該等輸入音訊信號中的每個。
- 一種適於執行如申請專利範圍第1至21項中的任何一項所述之方法的裝置。
- 一種被儲存在一電腦可讀媒體上的電腦程式,用於使一 電腦執行如申請專利範圍第1至21項中的任何一項所述之方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US93378907P | 2007-06-08 | 2007-06-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW200911006A TW200911006A (en) | 2009-03-01 |
TWI527473B true TWI527473B (zh) | 2016-03-21 |
Family
ID=39743799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW097121163A TWI527473B (zh) | 2007-06-08 | 2008-06-06 | 用以獲得環繞音效音訊頻道之方法、適於執行該方法之裝置、及相關電腦程式 |
Country Status (11)
Country | Link |
---|---|
US (1) | US9185507B2 (zh) |
EP (1) | EP2162882B1 (zh) |
JP (1) | JP5021809B2 (zh) |
CN (1) | CN101681625B (zh) |
AT (1) | ATE493731T1 (zh) |
BR (1) | BRPI0813334A2 (zh) |
DE (1) | DE602008004252D1 (zh) |
ES (1) | ES2358786T3 (zh) |
RU (1) | RU2422922C1 (zh) |
TW (1) | TWI527473B (zh) |
WO (1) | WO2008153944A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI615040B (zh) * | 2016-06-08 | 2018-02-11 | 視訊聮合科技股份有限公司 | 多功能模組式音箱 |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2335246T3 (es) * | 2006-03-13 | 2010-03-23 | France Telecom | Sintesis y especializacion sonora conjunta. |
JP4887420B2 (ja) * | 2006-03-13 | 2012-02-29 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 中央チャンネルオーディオのレンダリング |
US7876615B2 (en) | 2007-11-14 | 2011-01-25 | Jonker Llc | Method of operating integrated circuit embedded with non-volatile programmable memory having variable coupling related application data |
US8580622B2 (en) | 2007-11-14 | 2013-11-12 | Invensas Corporation | Method of making integrated circuit embedded with non-volatile programmable memory having variable coupling |
WO2009086174A1 (en) | 2007-12-21 | 2009-07-09 | Srs Labs, Inc. | System for adjusting perceived loudness of audio signals |
TWI413109B (zh) * | 2008-10-01 | 2013-10-21 | Dolby Lab Licensing Corp | 用於上混系統之解相關器 |
US8203861B2 (en) | 2008-12-30 | 2012-06-19 | Invensas Corporation | Non-volatile one-time—programmable and multiple-time programmable memory configuration circuit |
US20120121091A1 (en) * | 2009-02-13 | 2012-05-17 | Nokia Corporation | Ambience coding and decoding for audio applications |
CN101848412B (zh) | 2009-03-25 | 2012-03-21 | 华为技术有限公司 | 通道间延迟估计的方法及其装置和编码器 |
US20120059498A1 (en) * | 2009-05-11 | 2012-03-08 | Akita Blue, Inc. | Extraction of common and unique components from pairs of arbitrary signals |
US8538042B2 (en) | 2009-08-11 | 2013-09-17 | Dts Llc | System for increasing perceived loudness of speakers |
WO2010000878A2 (en) * | 2009-10-27 | 2010-01-07 | Phonak Ag | Speech enhancement method and system |
US8786852B2 (en) | 2009-12-02 | 2014-07-22 | Lawrence Livermore National Security, Llc | Nanoscale array structures suitable for surface enhanced raman scattering and methods related thereto |
TWI444989B (zh) | 2010-01-22 | 2014-07-11 | Dolby Lab Licensing Corp | 針對改良多通道上混使用多通道解相關之技術 |
EP2523473A1 (en) * | 2011-05-11 | 2012-11-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating an output signal employing a decomposer |
BR112013026452B1 (pt) * | 2012-01-20 | 2021-02-17 | Fraunhofer-Gellschaft Zur Förderung Der Angewandten Forschung E.V. | aparelho e método para codificação e decodificação de áudio empregando substituição sinusoidal |
US9986356B2 (en) * | 2012-02-15 | 2018-05-29 | Harman International Industries, Incorporated | Audio surround processing system |
US9395304B2 (en) | 2012-03-01 | 2016-07-19 | Lawrence Livermore National Security, Llc | Nanoscale structures on optical fiber for surface enhanced Raman scattering and methods related thereto |
US9312829B2 (en) | 2012-04-12 | 2016-04-12 | Dts Llc | System for adjusting loudness of audio signals in real time |
JP6186436B2 (ja) * | 2012-08-31 | 2017-08-23 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 個々に指定可能なドライバへの上方混合されたコンテンツの反射されたおよび直接的なレンダリング |
TWI618050B (zh) | 2013-02-14 | 2018-03-11 | 杜比實驗室特許公司 | 用於音訊處理系統中之訊號去相關的方法及設備 |
WO2014126688A1 (en) | 2013-02-14 | 2014-08-21 | Dolby Laboratories Licensing Corporation | Methods for audio signal transient detection and decorrelation control |
WO2014126689A1 (en) | 2013-02-14 | 2014-08-21 | Dolby Laboratories Licensing Corporation | Methods for controlling the inter-channel coherence of upmixed audio signals |
EP2974253B1 (en) | 2013-03-15 | 2019-05-08 | Dolby Laboratories Licensing Corporation | Normalization of soundfield orientations based on auditory scene analysis |
ES2617314T3 (es) | 2013-04-05 | 2017-06-16 | Dolby Laboratories Licensing Corporation | Aparato de compresión y método para reducir un ruido de cuantización utilizando una expansión espectral avanzada |
RU2667377C2 (ru) * | 2013-04-26 | 2018-09-19 | Сони Корпорейшн | Способ и устройство обработки звука и программа |
EP2830061A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping |
RU2642386C2 (ru) | 2013-10-03 | 2018-01-24 | Долби Лабораторис Лайсэнзин Корпорейшн | Адаптивное генерирование рассеянного сигнала в повышающем микшере |
JP5981408B2 (ja) * | 2013-10-29 | 2016-08-31 | 株式会社Nttドコモ | 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム |
DE102014100049A1 (de) * | 2014-01-05 | 2015-07-09 | Kronoton Gmbh | Verfahren zur Audiowiedergabe in einem Mehrkanaltonsystem |
EP2980789A1 (en) * | 2014-07-30 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhancing an audio signal, sound enhancing system |
WO2016142002A1 (en) | 2015-03-09 | 2016-09-15 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal |
CN109640242B (zh) * | 2018-12-11 | 2020-05-12 | 电子科技大学 | 音频源分量及环境分量提取方法 |
US11656848B2 (en) * | 2019-09-18 | 2023-05-23 | Stmicroelectronics International N.V. | High throughput parallel architecture for recursive sinusoid synthesizer |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6193100A (ja) | 1984-10-02 | 1986-05-12 | 極東開発工業株式会社 | 貯蔵タンクの収容液種判別装置 |
JPS6193100U (zh) * | 1984-11-22 | 1986-06-16 | ||
JP2512038B2 (ja) | 1987-12-01 | 1996-07-03 | 松下電器産業株式会社 | 音場再生装置 |
CN1046801A (zh) * | 1989-04-27 | 1990-11-07 | 深圳大学视听技术研究所 | 电影立体声解码及处理方法 |
US5251260A (en) * | 1991-08-07 | 1993-10-05 | Hughes Aircraft Company | Audio surround system with stereo enhancement and directivity servos |
JP2660614B2 (ja) | 1991-08-21 | 1997-10-08 | 日野自動車工業株式会社 | クレーンを搭載したトラックの支持装置 |
DE4409368A1 (de) | 1994-03-18 | 1995-09-21 | Fraunhofer Ges Forschung | Verfahren zum Codieren mehrerer Audiosignale |
US6697491B1 (en) * | 1996-07-19 | 2004-02-24 | Harman International Industries, Incorporated | 5-2-5 matrix encoder and decoder system |
FI116990B (fi) | 1997-10-20 | 2006-04-28 | Nokia Oyj | Menetelmä ja järjestelmä akustisen virtuaaliympäristön käsittelemiseksi |
RU2193827C2 (ru) | 1997-11-14 | 2002-11-27 | В. Вейвс (Сша) Инк. | Постусилительная схема декодирования стереофонического звука в окружающий звук |
US7076071B2 (en) * | 2000-06-12 | 2006-07-11 | Robert A. Katz | Process for enhancing the existing ambience, imaging, depth, clarity and spaciousness of sound recordings |
US7003467B1 (en) * | 2000-10-06 | 2006-02-21 | Digital Theater Systems, Inc. | Method of decoding two-channel matrix encoded audio to reconstruct multichannel audio |
US7039198B2 (en) * | 2000-11-10 | 2006-05-02 | Quindi | Acoustic source localization system and method |
US7283954B2 (en) * | 2001-04-13 | 2007-10-16 | Dolby Laboratories Licensing Corporation | Comparing audio using characterizations based on auditory events |
US7610205B2 (en) * | 2002-02-12 | 2009-10-27 | Dolby Laboratories Licensing Corporation | High quality time-scaling and pitch-scaling of audio signals |
US7711123B2 (en) * | 2001-04-13 | 2010-05-04 | Dolby Laboratories Licensing Corporation | Segmenting audio signals into auditory events |
US7461002B2 (en) * | 2001-04-13 | 2008-12-02 | Dolby Laboratories Licensing Corporation | Method for time aligning audio signals using characterizations based on auditory events |
MXPA03010237A (es) * | 2001-05-10 | 2004-03-16 | Dolby Lab Licensing Corp | Mejoramiento del funcionamiento de transitorios en sistemas de codificacion de audio de baja tasa de transferencia de bitios mediante la reduccion del pre-ruido. |
WO2003049497A2 (en) * | 2001-12-05 | 2003-06-12 | Koninklijke Philips Electronics N.V. | Circuit and method for enhancing a stereo signal |
US20040086130A1 (en) | 2002-05-03 | 2004-05-06 | Eid Bradley F. | Multi-channel sound processing systems |
US7394903B2 (en) * | 2004-01-20 | 2008-07-01 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal |
US7508947B2 (en) * | 2004-08-03 | 2009-03-24 | Dolby Laboratories Licensing Corporation | Method for combining audio signals using auditory scene analysis |
US20060262936A1 (en) * | 2005-05-13 | 2006-11-23 | Pioneer Corporation | Virtual surround decoder apparatus |
KR101251426B1 (ko) | 2005-06-03 | 2013-04-05 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 디코딩 명령으로 오디오 신호를 인코딩하기 위한 장치 및방법 |
JP2007028065A (ja) * | 2005-07-14 | 2007-02-01 | Victor Co Of Japan Ltd | サラウンド再生装置 |
TWI396188B (zh) | 2005-08-02 | 2013-05-11 | Dolby Lab Licensing Corp | 依聆聽事件之函數控制空間音訊編碼參數的技術 |
JP4887420B2 (ja) | 2006-03-13 | 2012-02-29 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 中央チャンネルオーディオのレンダリング |
CA2648237C (en) | 2006-04-27 | 2013-02-05 | Dolby Laboratories Licensing Corporation | Audio gain control using specific-loudness-based auditory event detection |
US7844453B2 (en) * | 2006-05-12 | 2010-11-30 | Qnx Software Systems Co. | Robust noise estimation |
US8379868B2 (en) * | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
US8345899B2 (en) * | 2006-05-17 | 2013-01-01 | Creative Technology Ltd | Phase-amplitude matrixed surround decoder |
US8213623B2 (en) * | 2007-01-12 | 2012-07-03 | Illusonic Gmbh | Method to generate an output audio signal from two or more input audio signals |
-
2008
- 2008-06-06 JP JP2010511203A patent/JP5021809B2/ja not_active Expired - Fee Related
- 2008-06-06 DE DE602008004252T patent/DE602008004252D1/de active Active
- 2008-06-06 RU RU2009149399/09A patent/RU2422922C1/ru not_active IP Right Cessation
- 2008-06-06 ES ES08768203T patent/ES2358786T3/es active Active
- 2008-06-06 CN CN2008800188969A patent/CN101681625B/zh not_active Expired - Fee Related
- 2008-06-06 EP EP08768203A patent/EP2162882B1/en not_active Not-in-force
- 2008-06-06 WO PCT/US2008/007128 patent/WO2008153944A1/en active Application Filing
- 2008-06-06 AT AT08768203T patent/ATE493731T1/de not_active IP Right Cessation
- 2008-06-06 BR BRPI0813334-4A2A patent/BRPI0813334A2/pt not_active IP Right Cessation
- 2008-06-06 TW TW097121163A patent/TWI527473B/zh not_active IP Right Cessation
- 2008-06-06 US US12/663,276 patent/US9185507B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI615040B (zh) * | 2016-06-08 | 2018-02-11 | 視訊聮合科技股份有限公司 | 多功能模組式音箱 |
Also Published As
Publication number | Publication date |
---|---|
CN101681625A (zh) | 2010-03-24 |
US20100177903A1 (en) | 2010-07-15 |
EP2162882B1 (en) | 2010-12-29 |
TW200911006A (en) | 2009-03-01 |
WO2008153944A1 (en) | 2008-12-18 |
RU2422922C1 (ru) | 2011-06-27 |
EP2162882A1 (en) | 2010-03-17 |
DE602008004252D1 (de) | 2011-02-10 |
US9185507B2 (en) | 2015-11-10 |
JP2010529780A (ja) | 2010-08-26 |
CN101681625B (zh) | 2012-11-07 |
BRPI0813334A2 (pt) | 2014-12-23 |
JP5021809B2 (ja) | 2012-09-12 |
ES2358786T3 (es) | 2011-05-13 |
ATE493731T1 (de) | 2011-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI527473B (zh) | 用以獲得環繞音效音訊頻道之方法、適於執行該方法之裝置、及相關電腦程式 | |
TWI451772B (zh) | 中央聲道音訊呈現技術 | |
EP2329661B1 (en) | Binaural filters for monophonic compatibility and loudspeaker compatibility | |
RU2329548C2 (ru) | Устройство и способ создания многоканального выходного сигнала или формирования низведенного сигнала | |
JP6740347B2 (ja) | パラメトリック・バイノーラル出力システムおよび方法のための頭部追跡 | |
JP5724044B2 (ja) | 多重チャネル・オーディオ信号の符号化のためのパラメトリック型符号化装置 | |
EP1817768A2 (en) | Parametric coding of spatial audio with cues based on transmitted channels | |
NO339587B1 (no) | Diffus lydforming for BCC-fremgangsmåter og desslike. | |
EP3745744A2 (en) | Audio processing | |
JP2022552474A (ja) | 空間オーディオ表現およびレンダリング | |
JP6186503B2 (ja) | アップミキサーにおける適応的な拡散性信号生成 | |
JP6964703B2 (ja) | パラメトリック・バイノーラル出力システムおよび方法のための頭部追跡 | |
Vilkamo | Perceptually motivated time-frequency processing of spatial audio |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |