TW202016923A - 多聲道音訊寫碼技術 - Google Patents

多聲道音訊寫碼技術 Download PDF

Info

Publication number
TW202016923A
TW202016923A TW108121651A TW108121651A TW202016923A TW 202016923 A TW202016923 A TW 202016923A TW 108121651 A TW108121651 A TW 108121651A TW 108121651 A TW108121651 A TW 108121651A TW 202016923 A TW202016923 A TW 202016923A
Authority
TW
Taiwan
Prior art keywords
pair
parameter
comparison
channels
gain
Prior art date
Application number
TW108121651A
Other languages
English (en)
Other versions
TWI726337B (zh
Inventor
珍恩 布特
依萊尼 弗托波勞
斯里坎特 寇斯
帕拉維 瑪班
馬庫斯 穆爾特斯
法蘭茲 瑞泰爾休柏
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW202016923A publication Critical patent/TW202016923A/zh
Application granted granted Critical
Publication of TWI726337B publication Critical patent/TWI726337B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients

Abstract

在多聲道音訊寫碼中，藉由為一參數音訊編碼器計算用於頻域中之任何兩個聲道之間的

Description

多聲道音訊寫碼技術
發明領域 本申請案係關於參數多聲道音訊寫碼。
發明背景 用於以低位元速率對立體聲信號進行有損參數編碼之目前先進技術方法係基於如在MPEG-4第3部分[1]中標準化之參數立體聲。一般的想法為藉由在提取作為旁側資訊發送至解碼器之立體聲/空間參數之後自兩個輸入聲道計算降混信號來減小多聲道系統之聲道數目。此等立體聲/空間參數通常可包含聲道間位準差
Figure 02_image007
、聲道間相位差
Figure 02_image009
及聲道間相干性
Figure 02_image011
，其可在子頻帶中計算且在某種程度上俘獲空間影像。
然而，此方法不能補償或合成聲道間時間差(
Figure 02_image013
)，補償及合成例如為降混或再現由AB麥克風裝置所記錄之語音或用於合成雙耳呈現場景所需要的。
Figure 02_image013
合成已在雙耳線索寫碼(binaural cue coding，BCC)[2]中得到解決，該雙耳線索寫碼通常使用參數
Figure 02_image007
及
Figure 02_image011
，同時估計
Figure 02_image013
且在頻域中執行聲道對準。
儘管存在時域
Figure 02_image013
估計器，但
Figure 02_image013
估計通常較佳應用時間至頻率變換，其允許交叉相關函數之頻譜濾波且在計算上亦為有效的。出於複雜度原因，需要使用相同變換，該等變換亦用於提取立體聲/空間參數且可能用於降混聲道，此亦在BCC方法中完成。
然而，此具有缺陷：理想地對經對準通道執行立體聲參數之準確估計。但若聲道在頻域中例如藉由頻域中之循環移位對準，則此可導致分析窗中之偏移，此可不利地影響參數估計。在BCC之狀況下，此主要影響
Figure 02_image011
之量測，其中即使輸入信號實際上完全相干，增加窗偏移最終亦將
Figure 02_image011
值推向零。
因此，目標為提供一種用於多聲道音訊寫碼中之參數計算的概念，其能夠補償聲道間時間差，同時避免對空間參數估計之不利影響。
此目標藉由所附獨立技術方案之主題來達成。
發明概要 本申請案係基於以下發現：在多聲道音訊寫碼中，可藉由計算待由參數音訊編碼器使用的用於頻域中之任何兩個聲道之間的
Figure 02_image013
補償的至少一個比較參數來達成改善之計算效率。該至少一個比較參數可由參數編碼器使用以減輕對空間參數估計之上文所提及之不利影響。
一實施例可包含一種參數音訊編碼器，其旨在用至少一個降混信號及額外的立體聲或空間參數來表示立體聲或一般空間內容。
Figure 02_image013
可為此等立體聲/空間參數之一，其可在頻域中進行估計及補償，之後計算剩餘立體聲/空間參數。此程序可偏置其他立體聲/空間參數，否則將必須以高成本方式解決之問題為重新計算頻率至時間變換。在該實施例中，可藉由應用計算成本較低之校正機制來大大減輕此問題，該校正機制可使用
Figure 02_image013
值及基礎變換之某些資料。
一實施例係關於一種有損參數音訊編碼器，其可基於一種加權中間/旁側變換方法，可使用立體聲/空間參數
Figure 02_image009
、
Figure 02_image013
以及兩個增益因數，且可在頻域中操作。其他實施例可使用不同變換且可在適當時使用不同空間參數。
在一實施例中，該參數音訊編碼器可能夠在頻域中補償及合成
Figure 02_image013
。該參數音訊編碼器之特徵可在於一計算上有效之增益校正機制，其減輕前述窗偏移之不利影響。亦建議用於BCC寫碼器之一校正方案。
較佳實施例之詳細說明 圖1展示用於多聲道音訊信號之比較裝置100。如所展示，其可包含一對立體聲聲道之音訊信號(即，左音訊聲道信號
Figure 02_image015
及右音訊聲道信號
Figure 02_image017
)的輸入。當然，其他實施例可包含俘獲聲源之空間性質的多個聲道。
在將時域音訊信號
Figure 02_image015
、
Figure 02_image017
變換至頻域之前，可將相同的重疊窗函數11、21
Figure 02_image019
分別應用於左輸入聲道信號
Figure 02_image015
及右輸入聲道信號
Figure 02_image017
。此外，在實施例中，可添加一定量之補零，此允許頻域中之移位。隨後，可將加窗音訊信號提供至對應的離散傅立葉變換(DFT)區塊12、22以執行對應的時間至頻率變換。此等變換可產生時間頻率區間
Figure 02_image021
及
Figure 02_image023
(
Figure 02_image025
)，作為該對聲道之音訊信號的頻率變換。
可將頻率變換
Figure 02_image021
及
Figure 02_image023
提供至
Figure 02_image013
偵測及補償區塊20。後者可經組配以在該等分析窗
Figure 02_image019
中使用該對聲道之音訊信號的頻率變換
Figure 02_image021
及
Figure 02_image023
來導出
Figure 02_image013
參數，此處為
Figure 02_image027
，以表示該對聲道之音訊信號之間的
Figure 02_image013
。其他實施例可使用不同方法來導出
Figure 02_image013
參數，該參數亦可在DFT區塊之前在時域中判定。
導出用於計算
Figure 02_image013
之
Figure 02_image013
參數可涉及計算可能加權之自相關或交叉相關函數。習知地，此可藉由將反離散傅立葉變換(IDFT)應用於項
Figure 02_image029
而自時間頻率區間
Figure 02_image021
及
Figure 02_image023
計算。
補償所量測
Figure 02_image013
之適當方式將為在時域中執行聲道對準且接著再次將相同的時間至頻率變換應用於經移位聲道，以便獲得經
Figure 02_image013
補償之時間頻率區間。然而，為降低複雜度，此程序可藉由在頻域中執行循環移位來近似於。對應地，
Figure 02_image013
補償可藉由
Figure 02_image013
偵測及補償區塊20在頻域中執行，例如藉由分別用循環移位區塊13及23執行循環移位以產生
Figure 02_image031
(1) 及
Figure 02_image033
(2)， 其中
Figure 02_image035
可指示樣本中之訊框
Figure 02_image037
的
Figure 02_image013
。
在一實施例中，此可將滯後聲道推進且可將滯後聲道延遲
Figure 02_image039
個樣本。然而，在另一實施例中，若延遲為關鍵的，則僅將滯後聲道推進
Figure 02_image035
個樣本可為有益的，此並不增加系統之延遲。
結果，
Figure 02_image013
偵測及補償區塊20可使用
Figure 02_image013
參數
Figure 02_image027
藉由循環移位來在頻域中補償該對聲道之
Figure 02_image013
，從而在其輸出處產生一對經
Figure 02_image013
補償之頻率變換
Figure 02_image041
、
Figure 02_image043
。此外，
Figure 02_image013
偵測及補償區塊20可輸出所導出之
Figure 02_image013
參數，即，
Figure 02_image027
，例如以由參數編碼器傳輸。
如圖1中所展示，比較及空間參數計算區塊30可接收
Figure 02_image013
參數
Figure 02_image027
及該對經
Figure 02_image013
補償之頻率變換
Figure 02_image041
、
Figure 02_image043
作為其輸入信號。比較及空間參數計算區塊30可使用其輸入信號中之一些或全部以提取多聲道音訊信號之立體聲/空間參數，諸如相位間差
Figure 02_image009
。
此外，比較及空間參數計算區塊30可基於
Figure 02_image013
參數
Figure 02_image027
及該對經
Figure 02_image013
補償之頻率變換
Figure 02_image041
、
Figure 02_image043
來產生用於參數編碼器之至少一個比較參數，此處為兩個增益因數
Figure 02_image045
及
Figure 02_image047
。其他實施例可另外或替代地使用頻率變換
Figure 02_image021
、
Figure 02_image023
及/或在比較及空間參數計算區塊30中提取之空間/立體聲參數，以產生至少一個比較參數。
至少一個比較參數可用作計算上有效之校正機制的部分以減輕分析窗
Figure 02_image019
中之前述偏移對用於參數編碼器之空間/立體聲參數估計的不利影響，該偏移由
Figure 02_image013
偵測及補償區塊20內之DFT域中之循環移位進行的聲道對準引起。在一實施例中，可計算至少一個比較參數以用於在解碼器處例如自降混信號恢復該對聲道之音訊信號。
圖2展示用於立體聲音訊信號之此參數編碼器200的實施例，其中圖1之比較裝置100可用以提供
Figure 02_image013
參數
Figure 02_image027
、該對經
Figure 02_image013
補償之頻率變換
Figure 02_image041
、
Figure 02_image043
以及比較參數
Figure 02_image047
及
Figure 02_image045
。
參數編碼器200可使用經
Figure 02_image013
補償之頻率變換
Figure 02_image041
、
Figure 02_image043
作為輸入在降混區塊40中針對左輸入聲道信號
Figure 02_image015
及右輸入聲道信號
Figure 02_image017
產生降混信號
Figure 02_image049
。其他實施例可另外或替代地使用頻率變換
Figure 02_image021
、
Figure 02_image023
以產生降混信號
Figure 02_image049
。
參數編碼器200可在比較及空間參數計算區塊30中基於訊框計算立體聲參數，諸如
Figure 02_image009
。其他實施例可判定不同或額外的立體聲/空間參數。圖2中之參數編碼器200實施例的編碼程序可大致遵循在下文詳細描述之以下步驟。 1. 使用加窗 DFT 之 輸入信號的時間至頻率變換 在窗及DFT區塊11、12、21、22中 2.頻域中之
Figure 02_image013
估計及補償 在
Figure 02_image013
偵測及補償區塊20中 3. 立體聲參數提取及比較參數計算 在比較及空間參數計算區塊30中 4.降混 在降混區塊40中 5.頻率至時間變換 ， 繼之以加窗及重疊相加 在IDFT區塊50中
圖2中之參數音訊編碼器200實施例可基於使用經
Figure 02_image013
補償之頻率變換
Figure 02_image041
、
Figure 02_image043
以及
Figure 02_image013
作為輸入的頻域中之輸入聲道的加權中間/旁側變換。其可進一步計算立體聲/空間參數，諸如
Figure 02_image009
，以及俘獲立體聲影像之兩個增益因數。其可減輕前述窗偏移之不利影響。
對於比較及空間參數計算區塊30中之空間參數提取，可在子頻帶中將經
Figure 02_image013
補償之時間頻率區間
Figure 02_image041
及
Figure 02_image043
分組，且對於每一子頻帶，可計算相位間差
Figure 02_image009
及兩個增益因數。令
Figure 02_image051
指示頻率區間在子頻帶
Figure 02_image053
中之索引。接著
Figure 02_image009
可計算為
Figure 02_image055
(3)。
兩個上文所提及之增益因數可與該對經
Figure 02_image013
補償之頻率變換
Figure 02_image041
及
Figure 02_image043
的逐頻帶相位補償之中間/旁側變換有關，由等式(4)及(5)給出
Figure 02_image057
(4) 及
Figure 02_image059
(5) 其中
Figure 02_image061
。
該等增益因數中之第一增益因數
Figure 02_image045
可被視為在等式(6)中自中間信號變換
Figure 02_image063
逐頻帶預測旁側信號變換
Figure 02_image065
之最佳預測增益：
Figure 02_image067
(6) 使得如由等式(7)給出之等式(6)中的預測殘餘
Figure 02_image069
之能量
Figure 02_image071
(7) 最小。此第一增益因數
Figure 02_image045
可被稱為旁側增益。
第二增益因數
Figure 02_image073
描述預測殘餘
Figure 02_image069
之能量相對於中間信號變換
Figure 02_image075
之能量的比率，其由等式(8)給出
Figure 02_image077
(8) 且可被稱為殘餘增益。殘餘增益
Figure 02_image073
可在諸如圖3中之解碼器實施例的解碼器處使用以形成對中間/旁側變換之預測殘餘
Figure 02_image069
的合適替代。
在圖2中所展示之編碼器實施例中，兩個增益因數
Figure 02_image045
及
Figure 02_image073
可在比較及空間參數計算區塊30中使用經
Figure 02_image013
補償之頻率變換
Figure 02_image041
及
Figure 02_image043
之能量
Figure 02_image079
及
Figure 02_image081
計算為比較參數，該等能量在等式(9)中給出
Figure 02_image083
(9) 且其內積之絕對值
Figure 02_image085
(10) 在等式(10)中給出。
基於該等能量
Figure 02_image079
及
Figure 02_image081
連同內積
Figure 02_image087
，可使用等式(11)將旁側增益因數
Figure 02_image045
計算為
Figure 02_image089
(11)。
此外，可使用等式(12)基於該等能量
Figure 02_image079
及
Figure 02_image081
連同內積
Figure 02_image087
以及旁側增益因數
Figure 02_image045
將殘餘增益因數
Figure 02_image073
計算為
Figure 02_image091
(12)。
在其他實施例中，可在適當時使用其他方法及/或等式來計算旁側增益因數
Figure 02_image045
及殘餘增益因數
Figure 02_image073
及/或不同比較參數。
如前文所提及，頻域中之ITD 補償通常降低複雜度，但在不採取進一步措施之情況下，具有缺陷。理想地，對於由AB麥克風裝置所記錄之乾淨無回聲語音，左聲道信號
Figure 02_image015
實質上為右聲道
Figure 02_image093
之經延遲(藉由延遲
Figure 02_image095
)及按比例調整(藉由增益
Figure 02_image097
)的版本。此情形可由以下等式(13)表達，其中
Figure 02_image099
(13)。
在未加窗輸入聲道音訊信號
Figure 02_image101
及
Figure 02_image017
之適當
Figure 02_image013
補償之後，旁側增益因數
Figure 02_image045
之估計將在等式(14)中給出
Figure 02_image103
(14) 其中消失的殘餘增益因數
Figure 02_image073
給定為
Figure 02_image105
(15)。
然而，若如在圖2中之實施例中，藉由
Figure 02_image013
偵測及補償區塊20分別使用循環移位區塊13及23在頻域中執行聲道對準，則亦旋轉對應的DFT分析窗
Figure 02_image107
。因此，在頻域中之
Figure 02_image013
補償之後，可藉由下者之DFT以時間頻域區間之形式判定右聲道的經
Figure 02_image013
補償之頻率變換
Figure 02_image043
Figure 02_image109
(16)， 而左聲道的經
Figure 02_image013
補償之頻率變換
Figure 02_image041
可依據下者之DFT以時間頻率區間之形式判定
Figure 02_image111
(17)， 其中
Figure 02_image113
為DFT分析窗函數。
已發現，頻域中之此聲道對準主要影響殘餘預測增益因數
Figure 02_image073
，其隨
Figure 02_image035
增加而增大。在不採取任何進一步措施的情況下，頻域中之聲道對準將因此在如圖3中所展示之解碼器處向輸出音訊信號添加額外環境。此額外環境為不需要的，尤其在待編碼之音訊信號含有乾淨語音時，此係因為人工環境損害語音清晰度。
因此，上述影響可藉由在存在非零
Figure 02_image013
之情況下使用另一比較參數校正(預測)殘餘增益因數
Figure 02_image073
來減輕。
在一實施例中，此可藉由計算殘餘增益
Figure 02_image073
之增益偏移來進行，該增益偏移旨在當信號相干且在時間上平坦時匹配預期殘餘信號
Figure 02_image115
。在此狀況下，吾人預期由等式(18)給出之全域預測增益
Figure 02_image117
為
Figure 02_image119
(18) 且消失的全域
Figure 02_image121
由
Figure 02_image123
給出。因此，可使用等式(19)將預期殘餘信號
Figure 02_image115
判定為
Figure 02_image125
(19)。
在一實施例中，可在比較及空間參數計算區塊30中使用
Figure 02_image013
參數
Figure 02_image035
及等於或近似於分析窗函數
Figure 02_image113
之自相關函數
Figure 02_image127
基於預期殘餘信號
Figure 02_image115
計算除旁側增益因數
Figure 02_image045
及殘餘增益因數
Figure 02_image073
以外的其他比較參數，該相關函數在等式(20)中給出
Figure 02_image129
(20)。
若
Figure 02_image131
指示
Figure 02_image133
之短期平均值，則預期殘餘信號
Figure 02_image115
之能量可由等式(21)近似地計算為
Figure 02_image135
(21)。
在加窗中間信號由等式(22)給出之情況下，
Figure 02_image137
(22)， 此加窗中間信號
Figure 02_image139
之能量可由等式(23)近似為
Figure 02_image141
(23)。
在一實施例中，在比較及空間參數計算區塊30中計算比較參數時使用的上文所提及之函數等於或近似於分析窗之自相關函數
Figure 02_image143
的經正規化之版本
Figure 02_image145
，如在等式(23a)中給出：
Figure 02_image147
(23a)。
基於此經正規化之自相關函數
Figure 02_image145
，可使用等式(24)將該另一比較參數
Figure 02_image149
計算為
Figure 02_image151
(24)， 以提供殘餘增益
Figure 02_image073
之估計相關參數。在一實施例中，比較參數
Figure 02_image149
可用作子頻帶
Figure 02_image053
中之區域殘餘增益
Figure 02_image073
的估計。在另一實施例中，可藉由使用比較參數
Figure 02_image149
作為偏移來實現對殘餘增益
Figure 02_image073
之校正。亦即，殘餘增益
Figure 02_image073
之值可由如等式(25)中給出之經校正殘餘增益
Figure 02_image047
替代
Figure 02_image153
(25)。
因此，在一實施例中，在比較及空間參數計算區塊30中計算之另一比較參數可包含呈等式(25)中所定義之偏移之形式的經校正殘餘增益
Figure 02_image047
，其對應於藉由如在等式(24)中給出之殘餘增益校正參數
Figure 02_image149
而校正的殘餘增益
Figure 02_image073
。
因此，另一實施例係關於使用加窗DFT以及根據等式(3)之參數
Figure 02_image009
、根據等式(11)之旁側增益
Figure 02_image045
、根據等式(12)之殘餘增益
Figure 02_image073
及
Figure 02_image013
之[子集]的參數音訊寫碼，其中根據等式(25)調整殘餘增益
Figure 02_image073
。
在經驗評估中，可用針對等式(13)中之右聲道音訊信號
Figure 02_image093
的不同選擇來測試殘餘增益估計
Figure 02_image149
。對於滿足時間平坦度假設之白雜訊輸入信號
Figure 02_image093
，殘餘增益估計
Figure 02_image149
非常接近在子頻帶中量測的殘餘增益
Figure 02_image073
之平均值，如自下表1中可見。
Figure 108121651-A0304-0001
 表1：具有
Figure 02_image013
之經調移白雜訊之所量測殘餘增益
Figure 02_image073
的平均值與殘餘增益估計
Figure 02_image149
(在括號中說明)。
對於語音信號
Figure 02_image093
，頻繁地違反時間平坦度假設，此通常增大殘餘增益
Figure 02_image073
之平均值(參見下表2，與表1進行比較)。根據等式(25)之殘餘增益調整或校正的方法可因此被視為相當保守的。然而，其仍可為乾淨的語音錄音移除大部分不需要的環境。
Figure 108121651-A0304-0002
 表2：具有
Figure 02_image013
之經調移單聲道語音的所量測殘餘增益
Figure 02_image073
的平均值與殘餘增益估計
Figure 02_image149
(在括號中說明)。
在使用單個分析窗
Figure 02_image113
之狀況下，在等式(23a)中給出之經正規化之自相關函數
Figure 02_image157
可被視為獨立於訊框索引
Figure 02_image037
。此外，對於典型的分析窗函數
Figure 02_image113
，經正規化之自相關函數
Figure 02_image157
可被視為非常緩慢地變化。因此，
Figure 02_image157
可自小的值表準確地內插，其使此校正機制在複雜度方面非常有效。
因此，在實施例中，可藉由內插儲存於查找表中之分析窗之自相關函數的經正規化之版本
Figure 02_image157
來獲得用於在區塊30中判定殘餘增益估計或殘餘增益校正偏移
Figure 02_image149
作為比較參數的函數。在其他實施例中，可在適當時使用用於內插經正規化之自相關函數
Figure 02_image157
的其他方法。
對於如在[2]中所描述之BCC，當在子頻帶中估計聲道間相干性
Figure 02_image011
時，可出現類似問題。在一實施例中，可藉由等式(26)使用等式(9)之能量
Figure 02_image079
及
Figure 02_image081
以及等式(10)之內積將對應
Figure 02_image159
估計為
Figure 02_image161
(26)。
根據定義，在補償
Figure 02_image013
之後量測
Figure 02_image011
。然而，不匹配窗函數
Figure 02_image113
可偏置
Figure 02_image011
量測結果。在由等式(13)所描述之上文所提及的乾淨無回音語音設置中，若在經適當對準之輸入聲道上計算，則
Figure 02_image011
將為1。
然而，當在頻域中藉由循環移位補償
Figure 02_image035
之
Figure 02_image013
時由頻域中之分析窗函數
Figure 02_image107
之旋轉引起的偏移可使
Figure 02_image011
之量測結果朝向
Figure 02_image163
偏置，如在等式(27)中給出
Figure 02_image165
(27)。
在一實施例中，可用與等式(25)中校正殘餘增益
Figure 02_image073
類似之方式校正
Figure 02_image011
之偏置，即，藉由進行替代，如在等式(28)中給出
Figure 02_image167
(28)。
因此，另一實施例係關於使用加窗DFT以及根據等式(3)之參數
Figure 02_image009
、
Figure 02_image007
、根據等式(26)之
Figure 02_image011
及
Figure 02_image013
之[子集]的參數音訊寫碼，其中根據等式(28)調整
Figure 02_image011
。
在圖2中所展示之參數編碼器200的實施例中，降混區塊40可藉由在頻域中計算由等式(29)給出之降混信號
Figure 02_image049
來減小多聲道(此處為立體聲)系統之聲道數目。在一實施例中，可根據下式使用經
Figure 02_image013
補償之頻率變換
Figure 02_image041
及
Figure 02_image043
來計算降混信號
Figure 02_image049
：
Figure 02_image169
(29)。
在等式(29)中，
Figure 02_image171
可為自立體聲/空間參數計算之實際絕對相位調整參數。在其他實施例中，如圖2中所展示之寫碼方案亦可與任何其他降混方法一起使用。其他實施例可使用頻率變換
Figure 02_image021
及
Figure 02_image023
，且視情況使用其他參數以判定降混信號
Figure 02_image049
。
在圖2之編碼器實施例中，反離散傅立葉變換(IDFT)區塊50可接收來自降混區塊40之頻域降混信號
Figure 02_image049
。IDFT區塊50可將降混時間頻率區間
Figure 02_image049
(
Figure 02_image025
)自頻域變換至時域以產生時域降混信號
Figure 02_image173
。在實施例中，可將合成窗
Figure 02_image175
應用且添加至時域降混信號
Figure 02_image173
。
此外，如在圖2中之實施例中，核心編碼器60可接收域降混信號
Figure 02_image173
以根據MPEG-4第3部分[1]或在適當時根據任何其他合適的音訊編碼演算法來編碼單聲道音訊信號。在圖2之實施例中，經核心編碼之時域降混信號
Figure 02_image173
可與
Figure 02_image013
參數
Figure 02_image035
、旁側增益
Figure 02_image045
及經校正殘餘增益
Figure 02_image047
組合，經合適處理及/或進一步編碼以用於傳輸至解碼器。
圖3展示多聲道解碼器之實施例。解碼器可基於訊框接收包含時域中之單聲道/降混輸入信號
Figure 02_image173
及作為旁側資訊之比較及/或空間參數的組合信號。如圖3中所展示之解碼器可執行在下文詳細描述之以下步驟。 1. 使用加窗 DFT 之輸入的時間至頻率變換 在DFT區塊80中 2. 頻域中之缺失殘餘的預測 在升混及空間恢復區塊90中 3. 頻域中之升混 在升混及空間恢復區塊90中 4.頻域中 之
Figure 02_image013
合成 在
Figure 02_image013
合成區塊100中 5. 頻率至時域變換、加窗及重疊相加 在IDFT區塊112、122及窗區塊111、121中
可用與圖2中之編碼器之輸入音訊信號類似的方式進行單聲道/降混信號輸入信號
Figure 02_image173
之時間至頻率變換。在某些實施例中，可添加合適量之補零以用於頻域中之
Figure 02_image013
恢復。此程序可產生呈時間頻率區間
Figure 02_image049
(
Figure 02_image025
)之形式的降混信號之頻率變換。
為了恢復降混信號
Figure 02_image049
之空間性質，可能需要獨立於所傳輸之降混信號
Figure 02_image049
的第二信號。如在等式(30)中給出，此信號可例如在升混及空間恢復區塊90中使用作為比較參數之經校正殘餘增益
Figure 02_image047
及降混信號
Figure 02_image049
之經時間延遲之時間頻率區間來(重新)建構，該經校正殘餘增益由諸如圖2中之編碼器的編碼器傳輸：
Figure 02_image177
(30) 其中
Figure 02_image061
。
在其他實施例中，可使用不同的方法及等式基於所傳輸之至少一個比較參數來恢復降混信號
Figure 02_image049
之空間性質。
此外，升混及空間恢復區塊90可藉由使用如由編碼器傳輸之降混信號
Figure 02_image049
及旁側增益
Figure 02_image045
以及經重建構之殘餘信號
Figure 02_image179
應用編碼器處之中間/旁側變換的反變換來執行升混。此可產生由等式(31)及(32)給出之經解碼的經
Figure 02_image013
補償之頻率變換
Figure 02_image181
及
Figure 02_image183
：
Figure 02_image185
(31) 及
Figure 02_image187
(32) 其中
Figure 02_image061
，其中
Figure 02_image171
為與等式(29)中之降混程序中相同的絕對相位旋轉參數。
此外，如圖3中所展示，經解碼的經
Figure 02_image013
補償之頻率變換
Figure 02_image181
及
Figure 02_image183
可由
Figure 02_image013
合成/解補償區塊100接收。後者可藉由如在等式(33)及(34)中給出而旋轉
Figure 02_image181
及
Figure 02_image183
來在頻域中應用
Figure 02_image013
參數
Figure 02_image035
以產生經
Figure 02_image013
解補償的經解碼之頻率變換
Figure 02_image189
及
Figure 02_image191
：
Figure 02_image193
(33) 及
Figure 02_image195
(34)。
在圖3中，可分別藉由IDFT區塊112及122執行呈時間頻率範圍
Figure 02_image189
及
Figure 02_image191
(
Figure 02_image025
)之形式的經
Figure 02_image013
解補償的經解碼之頻率變換的頻域至時域變換。可隨後分別藉由窗區塊111及121對所得時域信號加窗且將其添加至左及右音訊聲道之經重建構之時域輸出音訊信號
Figure 02_image197
及
Figure 02_image199
。
上文所描述之實施例僅說明本發明之原理。應理解，對本文中所描述之配置及細節的修改及變化對於熟習此項技術者將為顯而易見的。因此，其僅意欲由接下來之申請專利範圍之範疇限制，而非由藉助於本文中實施例之描述及解釋所呈現的特定細節限制。 References [1] MPEG-4 High Efficiency Advanced Audio Coding (HE-AAC) v2 [2] Jürgen Herre,FROM JOINT STEREO TO SPATIAL AUDIO CODING - RECENT PROGRESS AND STANDARDIZATION , Proc. of the 7th Int. Conference on digital Audio Effects (DAFX-04), Naples, Italy, October 5-8, 2004 [3] Christoph Tourney and Christof Faller,Improved Time Delay Analysis/Synthesis for Parametric Stereo Audio Coding , AES Convention Paper 6753, 2006 [4] Christof Faller and Frank Baumgarte,Binaural Cue Coding Part II: Schemes and Applications , IEEE Transactions on Speech and Audio Processing, Vol. 11, No. 6, November 2003
11、21:窗函數 12、22、80:離散傅立葉變換(DFT)區塊 13、23:循環移位區塊 20:
Figure 02_image013
偵測及補償區塊 30:比較及空間參數計算區塊 40:降混區塊 50、112、122:反離散傅立葉變換(IDFT)區塊 60:核心編碼器 90:升混及空間恢復區塊 100:比較裝置/
Figure 02_image201
合成/解補償區塊/
Figure 02_image201
合成區塊 111、121:窗區塊 200:參數音訊編碼器
本申請案之有利實施方案為隨附申請專利範圍之主題。下文中關於諸圖來描述本申請之較佳實施例，在諸圖中： 圖1展示根據本申請案之實施例的用於參數編碼器之比較裝置的方塊圖； 圖2展示根據本申請案之實施例的參數編碼器之方塊圖； 圖3展示根據本申請案之實施例的參數解碼器之方塊圖。
11、21:窗函數
12、22:離散傅立葉變換(DFT)區塊
13、23:循環移位區塊
20:ITD偵測及補償區塊
30:比較及空間參數計算區塊
35:殘餘增益校正偏移區塊
100:比較裝置/ITD合成/解補償區塊/ITD合成區塊

Claims (15)

  1. 一種用於一多聲道音訊信號之比較裝置，其經組配以： 針對用於至少一對聲道之音訊信號之間的一聲道間時間差
    Figure 03_image203
    ，在一分析窗
    Figure 03_image205
    中導出該至少一對聲道之該等音訊信號的至少一個
    Figure 03_image013
    參數
    Figure 03_image207
    ， 使用該至少一個
    Figure 03_image013
    參數藉由循環移位來在頻域中補償用於該至少一對聲道之該
    Figure 03_image013
    ，以產生至少一對經
    Figure 03_image013
    補償之頻率變換
    Figure 03_image209
    ， 基於該至少一個
    Figure 03_image013
    參數及該至少一對經
    Figure 03_image013
    補償之頻率變換來計算至少一個比較參數
    Figure 03_image211
    。
  2. 如請求項1之比較裝置，其經進一步組配以在該分析窗
    Figure 03_image205
    中使用該至少一對聲道之該等音訊信號的頻率變換
    Figure 03_image213
    以導出該至少一個
    Figure 03_image013
    參數
    Figure 03_image207
    。
  3. 如請求項1或2之比較裝置，其經進一步組配以： 使用等於或近似於該分析窗之一自相關函數
    Figure 03_image215
    的一函數及該至少一個
    Figure 03_image013
    參數來計算該至少一個比較參數。
  4. 如請求項3之比較裝置，其中 該函數等於或近似於該分析窗之該自相關函數的一經正規化之版本
    Figure 03_image217
    。
  5. 如請求項4之比較裝置，其經進一步組配以： 藉由內插儲存於一查找表中之該分析窗之該自相關函數的該經正規化之版本來獲得該函數。
  6. 如請求項1至5中任一項之比較裝置，其中 該至少一個比較參數包含該至少一對經
    Figure 03_image013
    補償之頻率變換
    Figure 03_image209
    之至少一對中間/旁側變換
    Figure 03_image219
    的至少一個旁側增益
    Figure 03_image221
    ，該至少一個旁側增益為自該至少一對中間/旁側變換中之一中間變換
    Figure 03_image223
    的一旁側變換
    Figure 03_image225
    之一預測增益
    Figure 03_image227
    。
  7. 如請求項6之比較裝置，其中 該至少一個比較參數包含至少一個經校正殘餘增益
    Figure 03_image229
    ，其對應於藉由一殘餘增益校正參數
    Figure 03_image231
    校正之至少一個殘餘增益
    Figure 03_image233
    ，該至少一個殘餘增益
    Figure 03_image233
    為在該旁側變換
    Figure 03_image225
    自該中間變換
    Figure 03_image223
    之一預測中的一殘餘
    Figure 03_image235
    之一能量相對於該中間變換之一能量的一函數
    Figure 03_image237
    。
  8. 如請求項7之比較裝置，其經進一步組配以： 使用該等能量及該至少一對經
    Figure 03_image013
    補償之頻率變換
    Figure 03_image209
    的內積來計算該至少一個旁側增益及該至少一個殘餘增益。
  9. 如請求項7至8中任一項之比較裝置，其經進一步組配以： 藉由對應於計算為
    Figure 03_image239
    之該殘餘增益校正參數
    Figure 03_image149
    的一偏移來校正該至少一個殘餘增益，其中
    Figure 03_image097
    為該至少一對聲道之該等音訊信號之間的一按比例調整增益，且
    Figure 03_image241
    為近似於該分析窗之該自相關函數的一經正規化之版本的一函數。
  10. 如請求項1至9中任一項之比較裝置，其中 該至少一個比較參數包含至少一個聲道間相干性
    Figure 03_image243
    校正參數
    Figure 03_image245
    ，其用於基於該至少一個
    Figure 03_image013
    參數校正該至少一對音訊信號之在該頻域中判定的該
    Figure 03_image011
    之一估計
    Figure 03_image247
    。
  11. 如請求項1至10中任一項之比較裝置，其經進一步組配以： 產生針對該至少一對聲道之該等音訊信號的至少一個降混信號，其中計算該至少一個比較參數
    Figure 03_image211
    以自該至少一個降混信號恢復該至少一對聲道之該等音訊信號。
  12. 如請求項1至11中任一項之比較裝置，其經進一步組配以： 基於該至少一對經
    Figure 03_image013
    補償之頻率變換來產生該至少一個降混信號。
  13. 一種多聲道編碼器，其包含如請求項11或12之比較裝置，該多聲道編碼器經進一步組配以： 編碼該至少一個降混信號、該至少一個
    Figure 03_image013
    參數及該至少一個比較參數以用於傳輸至一解碼器。
  14. 一種用於多聲道音訊信號之解碼器，其經組配以： 解碼自一編碼器接收到之至少一個降混信號、至少一個聲道間時間差
    Figure 03_image249
    參數及至少一個比較參數
    Figure 03_image211
    ， 使用該至少一個比較參數升混該至少一個降混信號以自該至少一個降混信號恢復至少一對聲道之該等音訊信號，而產生至少一對經解碼的經
    Figure 03_image013
    補償之頻率變換
    Figure 03_image251
    ， 使用該至少一個
    Figure 03_image013
    參數藉由循環移位來針對頻域中之該至少一對聲道的該至少一對經解碼的經
    Figure 03_image013
    補償之頻率變換
    Figure 03_image251
    而解補償該
    Figure 03_image013
    ，以產生至少一對經
    Figure 03_image013
    解補償的經解碼之頻率變換，其用於在時域中重建構該至少一對聲道的該等音訊信號之該
    Figure 03_image013
    ， 反頻率變換該至少一對經
    Figure 03_image013
    解補償的經解碼之頻率變換以產生該至少一對聲道之至少一對經解碼之音訊信號。
  15. 一種用於一多聲道音訊信號之比較方法，其包含： 針對用於至少一對聲道之音訊信號之間的一聲道間時間差
    Figure 03_image203
    ，在一分析窗
    Figure 03_image205
    中導出該至少一對聲道之該等音訊信號的至少一個
    Figure 03_image013
    參數
    Figure 03_image207
    ， 使用該至少一個
    Figure 03_image013
    參數藉由循環移位來在頻域中補償用於該至少一對聲道之該
    Figure 03_image013
    ，以產生至少一對經
    Figure 03_image013
    補償之頻率變換
    Figure 03_image209
    ， 基於該至少一個
    Figure 03_image013
    參數及該至少一對經
    Figure 03_image013
    補償之頻率變換來計算至少一個比較參數
    Figure 03_image211
    。
TW108121651A 2018-06-22 2019-06-21 多聲道音訊寫碼技術 TWI726337B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18179373.8 2018-06-22
EP18179373.8A EP3588495A1 (en) 2018-06-22 2018-06-22 Multichannel audio coding

Publications (2)

Publication Number Publication Date
TW202016923A true TW202016923A (zh) 2020-05-01
TWI726337B TWI726337B (zh) 2021-05-01

Family

ID=62750879

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108121651A TWI726337B (zh) 2018-06-22 2019-06-21 多聲道音訊寫碼技術

Country Status (14)

Country Link
US (2) US11978459B2 (zh)
EP (2) EP3588495A1 (zh)
JP (2) JP7174081B2 (zh)
KR (1) KR20210021554A (zh)
CN (1) CN112424861B (zh)
AR (1) AR115600A1 (zh)
AU (1) AU2019291054B2 (zh)
BR (1) BR112020025552A2 (zh)
CA (1) CA3103875C (zh)
MX (1) MX2020013856A (zh)
SG (1) SG11202012655QA (zh)
TW (1) TWI726337B (zh)
WO (1) WO2019243434A1 (zh)
ZA (1) ZA202100230B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3588495A1 (en) 2018-06-22 2020-01-01 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Multichannel audio coding
US20230086460A1 (en) * 2020-03-09 2023-03-23 Nippon Telegraph And Telephone Corporation Sound signal encoding method, sound signal decoding method, sound signal encoding apparatus, sound signal decoding apparatus, program, and recording medium
JP2023549038A (ja) * 2020-10-09 2023-11-22 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン パラメータ変換を用いて符号化されたオーディオシーンを処理するための装置、方法、またはコンピュータプログラム
US11818353B2 (en) * 2021-05-13 2023-11-14 Qualcomm Incorporated Reduced complexity transforms for high bit-depth video coding

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5789689A (en) * 1997-01-17 1998-08-04 Doidic; Michel Tube modeling programmable digital guitar amplification system
CN1669358A (zh) * 2002-07-16 2005-09-14 皇家飞利浦电子股份有限公司 音频编码
US7809579B2 (en) * 2003-12-19 2010-10-05 Telefonaktiebolaget Lm Ericsson (Publ) Fidelity-optimized variable frame length encoding
SE0402650D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
KR101315077B1 (ko) 2005-03-30 2013-10-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 멀티-채널 오디오 데이터를 인코딩 및 디코딩하기 위한 방법, 및 인코더들 및 디코더들
WO2007080211A1 (en) * 2006-01-09 2007-07-19 Nokia Corporation Decoding of binaural audio signals
CN101556799B (zh) * 2009-05-14 2013-08-28 华为技术有限公司 一种音频解码方法和音频解码器
PL2671222T3 (pl) * 2011-02-02 2016-08-31 Ericsson Telefon Ab L M Określanie międzykanałowej różnicy czasu wielokanałowego sygnału audio
DK3182409T3 (en) * 2011-02-03 2018-06-14 Ericsson Telefon Ab L M DETERMINING THE INTERCHANNEL TIME DIFFERENCE FOR A MULTI-CHANNEL SIGNAL
CN104246873B (zh) * 2012-02-17 2017-02-01 华为技术有限公司 用于编码多声道音频信号的参数编码器
KR101662681B1 (ko) * 2012-04-05 2016-10-05 후아웨이 테크놀러지 컴퍼니 리미티드 멀티채널 오디오 인코더 및 멀티채널 오디오 신호 인코딩 방법
TWI546799B (zh) * 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
SG11201600466PA (en) * 2013-07-22 2016-02-26 Fraunhofer Ges Forschung Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
US9319819B2 (en) * 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
CN110648674B (zh) * 2013-09-12 2023-09-22 杜比国际公司 多声道音频内容的编码
EP3067889A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for signal-adaptive transform kernel switching in audio coding
EP3067887A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
CN108885877B (zh) 2016-01-22 2023-09-08 弗劳恩霍夫应用研究促进协会 用于估计声道间时间差的设备及方法
EP3208800A1 (en) * 2016-02-17 2017-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for stereo filing in multichannel coding
WO2017153466A1 (en) 2016-03-09 2017-09-14 Telefonaktiebolaget Lm Ericsson (Publ) A method and apparatus for increasing stability of an inter-channel time difference parameter
PT3539125T (pt) * 2016-11-08 2023-01-27 Fraunhofer Ges Forschung Aparelho e método para codificar ou descodificar um sinal multicanal utilizando um ganho side e um ganho residual
EP3588495A1 (en) 2018-06-22 2020-01-01 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Multichannel audio coding

Also Published As

Publication number Publication date
US20210098007A1 (en) 2021-04-01
JP2021528693A (ja) 2021-10-21
CN112424861A (zh) 2021-02-26
BR112020025552A2 (pt) 2021-03-16
AU2019291054B2 (en) 2022-04-07
EP3811357A1 (en) 2021-04-28
AR115600A1 (es) 2021-02-03
JP7174081B2 (ja) 2022-11-17
KR20210021554A (ko) 2021-02-26
JP2023017913A (ja) 2023-02-07
ZA202100230B (en) 2022-07-27
MX2020013856A (es) 2021-03-25
SG11202012655QA (en) 2021-01-28
WO2019243434A1 (en) 2019-12-26
CA3103875C (en) 2023-09-05
US11978459B2 (en) 2024-05-07
CA3103875A1 (en) 2019-12-26
US20240112685A1 (en) 2024-04-04
CN112424861B (zh) 2024-04-16
AU2019291054A1 (en) 2021-02-18
EP3588495A1 (en) 2020-01-01
TWI726337B (zh) 2021-05-01

Similar Documents

Publication Publication Date Title
JP7270096B2 (ja) フレーム制御同期化を使用して多チャネル信号を符号化又は復号化する装置及び方法
US20240121567A1 (en) Parametric stereo upmix apparatus, a parametric stereo decoder, a parametric stereo downmix apparatus, a parametric stereo encoder
TWI726337B (zh) 多聲道音訊寫碼技術
US10553223B2 (en) Adaptive channel-reduction processing for encoding a multi-channel audio signal
TR201810148T4 (tr) Bi̇r ses si̇nyali̇ne yöneli̇k hesaplayici ve faz düzeltme veri̇si̇ni̇n beli̇rlenmesi̇ne yöneli̇k yöntem.
JP2023017913A5 (zh)
WO2010097748A1 (en) Parametric stereo encoding and decoding
RU2778832C2 (ru) Многоканальное кодирование аудио