TWI602444B - 編碼多通道hoa聲訊訊號以減少雜訊之方法和裝置以及對已減少雜訊的編碼多通道hoa聲訊訊號解碼之方法和裝置 - Google Patents
編碼多通道hoa聲訊訊號以減少雜訊之方法和裝置以及對已減少雜訊的編碼多通道hoa聲訊訊號解碼之方法和裝置 Download PDFInfo
- Publication number
- TWI602444B TWI602444B TW102125017A TW102125017A TWI602444B TW I602444 B TWI602444 B TW I602444B TW 102125017 A TW102125017 A TW 102125017A TW 102125017 A TW102125017 A TW 102125017A TW I602444 B TWI602444 B TW I602444B
- Authority
- TW
- Taiwan
- Prior art keywords
- dsht
- channel
- rotation
- decoding
- spherical
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 37
- 230000005236 sound signal Effects 0.000 title claims description 30
- 239000011159 matrix material Substances 0.000 claims description 58
- 238000005070 sampling Methods 0.000 claims description 55
- 230000003044 adaptive effect Effects 0.000 claims description 30
- 238000007906 compression Methods 0.000 claims description 22
- 230000006835 compression Effects 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 10
- 230000006978 adaptation Effects 0.000 claims description 9
- 230000006837 decompression Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000008447 perception Effects 0.000 claims description 2
- 238000009432 framing Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 14
- 230000009466 transformation Effects 0.000 description 11
- 239000000470 constituent Substances 0.000 description 9
- 238000012360 testing method Methods 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000002156 mixing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007907 direct compression Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/012—Comfort noise or silence coding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/032—Quantisation or dequantisation of spectral components
- G10L19/038—Vector quantisation, e.g. TwinVQ audio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/11—Application of ambisonics in stereophonic audio systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
本發明係關於一種編碼多通道高階保真立體音響(HOA)聲訊訊號以減少雜訊之方法和裝置,以及對已減少雜訊的多通道HOA聲訊訊號解碼之方法和裝置。
HOA是一種多通道聲場表示法[附註4],而HOA訊號為多通道聲訊訊號。多通道訊號表示法,尤其是HOA表示法,在特殊揚聲器設置上回放,需要特殊呈現,往往包含矩陣化操作。解碼後,保真立體音響訊號「被矩陣化」,即映射與例如揚聲器的實際空間位置相對應的新聲訊訊號。往往在單一通道之間存在有高度交互相關性。
問題是會經驗到在矩陣化操作後,編碼雜訊
增加。在先前技術上,其原因未明。在以感知編碼器進行壓縮之前,例如利用分立球諧函數轉換法(DSHT),將HOA訊號轉換到空間域時,也會發生此效應。
用於HOA聲訊訊號表示法之通常壓縮方法,是對個別保真立體音響係數通道[附註7],施加獨立的感知編碼器。詳言之,感知編碼器只考慮到在各個別單通道訊號內發生的雜訊罩覆效應進行編碼。然而,如此效應典型上為非線性。若將如此單通道矩陣化成新訊號,則容易發生雜訊未遮蔽。在以感知編碼器進行壓縮之前,利用分立球諧函數轉換法將HOA訊號轉換到空間域時,也會發生此效應[附註8]。
此等多通道聲訊訊號表示法傳輸或儲存時,往往需要適當之多通道壓縮技術。通常,最後把I解碼訊號(l),i=1,...,I矩陣化成J新訊號(l),j=1,...,J,進行通道無關的感知解碼。矩陣化(matrixing)意指以加權方式添加或混合解碼之訊號(l)。按照
本發明記載適應性分立球諧函數轉換法(aDSHT)技術,把雜訊未遮蔽(unmask)效果(非所要)減到最小。又記載aDSHT如何整合到壓縮編碼器結構內。所述技術至少對HOA訊號特別有益。本發明之一優點是,減少要傳送的側資訊量。
按照本發明一具體例,編碼多通道HOA聲訊訊號以減少雜訊之方法,包括步驟為,使用逆適應DSHT令通道解相關,逆適應DSHT包括旋轉操作和逆DSHT(iDSHT),以旋轉操作旋轉iDSHT之空間抽樣柵格,以感知方式編碼各解相關通道,編碼相關資訊,相關資訊包括界定該旋轉操作之參數,並傳送或儲存以感知方式編碼之聲訊通道和編碼之相關資訊。相關資訊包括所用DSHT柵格之至少一識別符,而旋轉資訊界定DSHT柵格之適應旋轉。
按照本發明一具體例,解碼具有減少雜訊之已編碼多通道HOA聲訊訊號之方法,包括步驟為,接收已編碼多通道HOA聲訊訊號和通道相關資訊,解壓縮所接收資料,使用DSHT以感知方式解碼各通道,把以感知方式解碼之通道相關化,其中按照該相關資訊進行DSHT之空間抽樣柵格旋轉,並把相關的感知方式解碼通道矩陣
化,其中獲得映射於揚聲器位置之可複製聲訊訊號。相關資訊包括所用DSHT柵格之至少一識別符,和界定DSHT柵格適應性旋轉之旋轉資訊。
多通道HOA聲訊訊號之編碼和解碼裝置,分別載於申請專利範圍第10和12項。
在一面向中,電腦可讀式媒體具有可執行指令,促成電腦進行包括上述步驟之編碼方法,或進行包括上述步驟之解碼方法。
本發明有利實施例,揭載於申請專利範圍附屬項、以下說明和附圖中。
31‧‧‧通道解相關步驟
32‧‧‧各解相關通道以感知方式編碼步驟
33‧‧‧接收資料解壓縮步驟
34‧‧‧各通道以感知方式解碼步驟
71‧‧‧緩衝器方塊
72‧‧‧pE方塊
73‧‧‧單編碼器方塊
74‧‧‧單解碼器方塊
75‧‧‧pD方塊
76‧‧‧緩衝器方塊
310‧‧‧逆DSHT
320‧‧‧找到最佳旋轉方塊
330‧‧‧旋轉操作方塊
340‧‧‧解碼器內之構成方塊DSHT
350‧‧‧pD之構成方塊Ψf
第1圖表示對M個係數方塊進行比率壓縮之已知編碼器和解碼器;第2圖表示使用習知DSHT(分立球諧函數轉換)和習知逆DSHT把HOA訊號轉換入空間域所用編碼器和解碼器;第3圖使用適應DSHT和適應逆DSHT把HOA訊號轉換入空間域之編碼器和解碼器;第4圖表示測試訊號;第5圖表示編碼器和解碼器構成方塊內所用電碼簿之球面抽樣位置例;第6圖表示訊號適應DSHT構成方塊(pE和pD);
第7圖為本發明第一實施例;第8圖為本發明第二實施例。
茲參見附圖說明本發明實施例。
第2圖表示已知系統,使用逆DSHT把HOA訊號轉換入空間域內。訊號經使用iDSHT 21、比率壓縮E1/解壓縮D1,進行轉換,並使用DSHT 24再轉換成係數域S24。與此不同的是,第3圖表示本發明系統:已知解決方法的DSHT處理方塊被以控制適應DSHT之處理方塊31,32取代。側資訊SI是在位元流bs內發送。
下述為界定和說明未遮蔽的數學模式。假設指定分立時間多通道訊號,包含I通道x i (m),i=1,...,I,其中m指時間樣本索引。個別訊號可為實數值或複數值。把M樣本圖幅在時間樣本索引m START+1起頭,假設其中個別訊號為固定的。相對應樣本依據下式被配置在矩陣X ,X:=[x(m START+1),..., x(m START+M)] (1)
其中x(l):=[x 1(m),...,x I (m)] T (2)(.) T 指轉置。相對應實驗相關矩陣得自下式:Σ X :=X X H (3)其中(.) H 指聯合複數共軛和轉置。
現假設把多通道圖幅編碼,因而在重建時引進編碼錯誤雜訊。因此,重見圖幅樣本之矩陣以註
明,是根據下式由真樣本矩陣X和編碼雜訊組份E組成:
其中E:=[e(m START+1),..., e(m START+L)] (5)
而e(m):=[ e 1(m),...,e I (m)] T (6)
由於假設各通道已單獨編碼,對i=1,...,I而言,可假設編碼雜訊訊號e i (m)彼此獨立。利用此性能和假設,即雜訊訊號是零平均,雜訊訊號的經驗相關矩陣由如下式對角線矩陣所給出:
其中diag(,...,)指在其對角線上有經驗雜訊訊號功率之對角線矩陣:
又一基本假設是,進行編碼使對各通道滿足訊雜比(SNR)。不失一般通則,假設對各通道之預定SNR相等,即:
其中
茲考慮把重建訊號矩陣化成J新訊號y j (m),j=1,...,J。不引進任何編碼錯誤,矩陣化訊號之樣本矩陣可如此表示:Y=AX (11)
其中A指混合矩陣,而其中Y:=[y(m START+1),..., y(m START+M)] (12)
而y(m):=[y 1(m),...,y J (m)] T (13)
然而由於編碼雜訊,矩陣化訊號之樣本矩陣為:
N係含矩陣化雜訊訊號的樣本之矩陣,可表達為:N=AE (15)
N=[n(m START+1)...n(m START+M)] (16)
其中n(m):=[n 1(m)...n J (m)] T (17)係時間樣本索引m時,全部矩陣化雜訊訊號之向量。
利用式(11),矩陣化無雜訊訊號之經驗相關矩陣,可以下式表示:Σ Y =AΣ X A H (18)
因此,即Σ Y 對角線上的第j個元件的第j個的矩陣化無雜訊訊號之經驗冪可寫成:
其中a j 是A H 的第j列,按照A H =[a1 ,...,aj] (20)
同理,由式(15)可把矩陣化雜訊訊號之經驗相關矩陣改寫成:Σ N =A Σ E A H (21)
即Σ N 對角線上之第j個元件的第j個矩陣化雜訊訊號之經驗冪如下式:
因此,矩陣化訊號的經驗SNR可界定為:
使用式(19)和(22)可改寫成:
利用Σ X 分解成其對角線和非對角線組份,即:
由此表現方式可見此SNR是由預定SNR,SNR x 乘以視訊號相關矩陣Σ X 之對角線和非對角線分量而定之項所得。具體而言,如果訊號x i (m)彼此不相關,使Σ X ,NG變成零矩陣,則矩陣化訊號之經驗SNR等於預定SNR,即SNR yj =SNR x 對全部j=1,...,J,若Σ X ,NG=0 I×I (30)
其中0 I×I 指零矩陣,有I行和I列。意即若x i (m)相關,矩陣化訊號之經驗SNR可能偏離預定SNR。在最壞情況,SNR yj 還遠低於SNR x 。此現象在此稱為矩陣化時雜訊未遮蔽。
下一段簡略介紹高階立體保真音響(HOA),並界定待處理的訊號(資料率壓縮)。
HOA是根據假定無聲源的所關注緊密區域內的聲場之描述。在此情況下,關注區域(在球面座標)內,於時間t和位置的聲壓p(t,x)之空間時間行為,在物理上完全由單相波方程式決定。可見聲壓相對於時間之傅里葉轉換式,即:P(ω,x)=F t {p(t,x)} (31)其中ω指角頻率(而F t { }相當於 p(t,x)e -ωt dt),可按照[附註10]展成球諧函數(SH)系列:
在方程式(32)內,c s 指聲速,而為角波數。又,j n (.)表示第一種階n球面Bessel函數,和(.)指階n和度m之球諧函數(SH)。關於聲場之完整資訊實際上含在聲場係數(k)內。
須知SH一般而言是複數值函數。然而,利用其適當線性組合,可得實數值函數,並相對於此等函數進行展開。
相對於方程式(32)內壓力聲場說明,聲場可界
定為:
其中聲場或頻幅密度[附註9]D(k c s ,Ω)視角波數和角方向而定。源場可包含遠場/近場、分立/連續源[附註1]。聲場係數與聲場係數有關[附註1]:
其中是第二種球面Hankel函數,而r s 為與原點之源距離。(使用正頻率和第二種球面Hankel函數為入射波,關係到e-ikr。)
HOA界域內之訊號可在頻率域或時間域內,以聲場或聲場係數之逆傅里葉轉換式表示。以下說明假設使用聲場係數之時間域表示法為有限數:
式(33)內之有限序列在n=N截止。截止相當於空間帶寬限制。係數(或HOA通道)數為:O3D=(N+1)2對3D而言 (36)或O 2D =2N+1只為2D說明。對稍後以揚聲器複製而言,係數包括一時間樣本m之聲訊資訊。可儲存或再傳送,因此為資料率壓縮之標的。係數之單一時間樣本可以有O 3D 元件之向量b(m)表示:
而M時間樣本以矩陣B表示:
B :=[ b (m START+1),b (m START+2),..,b (m START+M)] (38)
聲場之二維度表示法可藉圓諧函數展開推演。此可見於上述概述之特殊情況,使用固定傾角、係數之不同加權,和縮小到O2D係數(m=±n)的集合。因此,以下考慮全部可應用於2D表示法。則球體需以圓面取代。
以下說明從HOA係數域轉換至以通道為基本之空間域,或反之。方程式(33)可就單位球體,為l分立空間樣本位置,使用時間域HOA係數改寫:
假設L sd =(N+1)2球面樣本位置Ω l ,可為HOA資料區塊B,以向量記號改寫: W =Ψ i B (40)其中 W :=[ w (m START+1),w (m START+2),..,w (m START+M)]而代表L sd 多通道訊號之單一時間樣本,而矩陣其中向量y l =。若很有規律選擇球面樣本位置,則矩陣Ψ f 存在,而Ψ f Ψ i = I (41)其中I為O 3D ×O 3D 識別矩陣。則相對應轉換成方程式(40),可界定為: B =Ψ f W (42)
方程式(42)把L Sd 球面訊號轉換成係數域,
可改寫成順向轉換: B =DSHT{ W } (43)其中DSHT{ }指分立球諧函數轉換。轉換O 3D 係數訊號相對應逆轉換為空間域,以形成L sd 通道為基本之訊號,而方程式(40)變成: W =iDSHT{ B } (44)
此項分立球諧函數轉換之定義,足夠在此考慮有關HOA資料之資料率壓縮,因為可以指定之係數B開始,且唯有 B =DSHT{iDSHT{ B }}的情況有益。分立球諧函數轉換更嚴格之定義可查[附註2]。為DSHT推演此等位置之適當球面樣本位置和程序,可查[附註3,4,5,6]。抽樣柵格之實施例如第5圖所示。
具體而言,第5圖表示編碼器和解碼器構成方塊pE,pD所用電碼簿之球面抽樣位置例,即在第5a圖中 L Sd =4,第5b圖中 L Sd =9,第5c圖中 L Sd =16,而在第5d圖, L Sd =25。
以下說明高階立體保真音響係數資料率壓縮和雜訊未遮蔽。首先,界定測試訊號以強調某些性能,用於下述。
位於方向之單一遠場源,以M分立時間樣本之向量 g =[g(m),...,g(M)] T 表示,可以HOA係數方塊代表,利用編碼: B g = yg T (45)其中矩陣 B g 類比方程式(38),且編碼向量y=
由在方向評估的共軛複合球諧函數組成(若使用即時加值SH,共軛沒有效果)。測試訊號B g 可視為HOA訊號之最單純情況。更複雜訊號包含許多此等訊號疊置。
關於HOA通道直接壓縮,以下顯示當HOA係數通道被壓縮時,何以會發生雜訊未遮蔽。HOA資料B實際方塊的O3D係數通道之直接壓縮和解壓縮,會類比方程式(4)引進編碼雜訊E:
假設常數一如方程式(9)。欲經揚聲器重播此訊號,訊號需經描繪。此過程可由下式說明:
其中解碼矩陣 A (和 A H =[a 1 ,..., a L ])而矩陣,保有L擴音器訊號之M時間樣本。此類比方程式(14)。應用上述所述考量,揚場器通道l之SNR可載明為(類比方程式(29)):
其中係第0個對角線元件,而Σ B ,NG保持下式之非對角線元件:Σ B = B B H (49)Bg
由於無法影響解碼矩陣A,因為希望能夠解碼至任意揚聲器佈置,矩陣Σ B 需變成對角線,以獲得。由方程式(45)和(49),( B = B g )
Σ B = yg H g y H =c yy H 變成非對角線,有一定標量值c= g T g。與相較,在揚聲器通道之訊雜比降低。但因在編碼階段,往往既不知源訊號g,又不知揚聲器佈置,係數通道之直接損耗壓縮,會導致失控的未遮蔽效應,尤其是對低資料率。
以下說明使用DSHT後,當HOA係數在空間域內壓縮時,為何發生雜訊未遮蔽。
HOA係數資料B之現時方塊,如方程式(40)所示,於使用球諧函數轉換式壓縮之前,轉換成空間域: W Sd =Ψ i B (50)其中逆轉換矩陣Ψ i 涉及L Sd O3D空間樣本位置,和空間訊號矩陣 W SH 。此等經壓縮和解壓縮,並增加量化雜訊(類比方程式(4)):
其中編碼雜訊組份E係按照方程式(5)。再假設SNR,則SNR Sd 是所有空間通道一定。訊號轉換為係數域方程式(42),使用轉換矩陣Ψ f ,具有方程式(41)性能:Ψ f Ψ i = I 。係數之新方塊變成:
此訊號描繪至L揚聲器訊號,應用解碼矩陣 A D :。此可用方程式(52)和 A = A D Ψ f 改寫:
於此,A變成混合矩陣,其 A 方程式
(53)應看做類比方程式(14)。再應用上述全部考量,擴音器通道l之SNR可類似方程式(29),由下式載明:
其中係第l個對角線元件,而保持非對角線元件,如下式:
因為無法影響 A D (如果能夠描繪於任何揚聲器佈置),故對A無任何影響,需變成接近對角線,以保持所需SNR:使用方程式(45)之簡單測試訊號( B = B g ),則變成:
其中常數c= g T g 。使用固定球諧函數轉換(Ψ i ,Ψ f fixed),只有在很罕見甚至更壞情況成為對角線,已如上述,則此項視係數訊號空間性能而定。因此,HOA係數在球面域內之低率損耗壓縮,會導致SNR降低,以及失控之未遮蔽效果。
本發明基本概念是使用適應DSHT(aDSHT)把雜訊未遮蔽效果減到最小,該適應DSHT係由DSHT相對於HOA輸入訊號的空間性能有關的空間抽樣柵格之轉動,和DSHT本身所構成。
以下說明訊號適應DSHT(aDSHT),其具有配合HOA係數O3D數量的許多球面位置L Sd ,見方程式
(36)。首先選擇預設球面樣本柵格,一如習知非適應DSHT。對M時間樣本區塊而言,旋轉球面樣本柵格,使下式所示項之對數最小化:
其中||是諸元件(矩陣列索引l和行索引j)之絕對值,而是之對角線元件。此等於把方程式(54)之項最小化。選擇之預設球面抽樣柵格視HOA階而定,即HOA係數O3D數量。所選擇型式之球面抽樣柵格隱然已知用於解碼,或可由所接收訊號,例如從HOA階或HOA係數之數量加以推導出。
視覺上,此過程相當於DSHT球面抽樣柵格旋轉,其方式是單一空間樣本位置匹配最強源方向,如第4圖所示。使用方程式(45)之簡單測試訊號( B = B g ),可見方程式(55)之項 W Sd 變成向量,所有元件除了一個以外,都接近零。因此,變成接近對角線,可保持所需SNR SNR Sd 。
第4圖表示被轉換至空間域的測試訊號 B g 。在第4a圖內使用預設抽樣柵格,而在第4b圖內使用aDSHT之旋轉柵格。空間通道之相關值(以dB計),在相對應樣本位置周圍,以Voronoi分格之顏色/灰色變異表示。空間結構之各分格代表抽樣點,分格之明/
暗代表訊號強度。由第4b圖可見,已發現最強源方向,並旋轉抽樣柵格,使其一側(即單一空間樣本位置)匹配最強源方向。此側以白色表示(相當於強源方向),而其他側均暗色(相當於低源方向)。在第4a圖,即旋轉之前,無側面匹配最強源方向,有若干側面多少呈灰色,意即在個別抽樣點接到相當可觀(但非最大)強度之聲訊訊號。
以下說明壓縮編碼器和解碼器內所用aDSHT之主要構成方塊。
編碼器和解碼器構成方塊pE和pD細節,如第6圖所示。二種方塊擁有DSHT基礎之球面抽樣位置柵格之同樣電碼簿。起先,按照共同電碼簿,使用係數O3D數選擇模組pE內L Sd =O3D位置之基礎柵格。L Sd 必須傳送至方塊pD,以啟動選擇同樣基礎之抽樣位置柵格,如第3圖所示。基礎抽樣柵格以矩陣說明,其中界定在單位球體上之位置。如上所述,第5圖表示基礎柵格之實施例。
輸入到旋轉尋找方塊(構成方塊「找到最佳旋轉」)320的是係數矩陣B。構成方塊負責旋轉基礎抽樣柵格,使方程式(57)的值最小。旋轉是以「軸角度」表示法表示,而與此旋轉有關之壓縮軸 ψ rot 和旋轉角度φ rot 輸出至此構成方塊,做為側資訊SI。旋轉軸 ψ rot 可以藉由從原點至單位球體上位置之單位向量加以說明。於球面座標內,可由藉由兩個角度來結合:,具有
不需傳送之一個隱涵的相關半徑。藉由使用訊號通知重新使用先前使用的值以建立側資訊SI的特殊逃逸圖型,對三個角度θ axis , ,φ rot 進行量化和熵編碼。
構成方塊'Build Ψ i ' 330解碼旋轉軸和角度成為和,並將此旋轉應用至基礎抽樣柵格,以得到旋轉柵格。輸出iDSHT矩陣,係由向量推演得到。
在構成方塊'iDSHT' 310內,HOA係數資料B之實際方塊,利用 W Sd =Ψ i B 轉換入空間域。
pD之構成方塊'Build Ψ f ' 350接收並解碼旋轉軸和角度成為和,並應用此旋轉於基礎抽樣柵格,以推演出旋轉柵格。iDSHT矩陣是以向量推演得到,而DSHT矩陣是在解碼側計算。
在解碼器34之構成方塊'DSHT' 340內,空間域資料之實際方塊轉換回到係數域資料方塊。
以下說明諸有益實施例,其含有壓縮編解碼器之總體構造。第一實施例可用單一aDSHT。第二實施例使用頻帶中的複數aDSHT。
第7圖表示編碼器和解碼器二者之第一(基礎)實施例。具有O3D係數通道b(m)的索引m之HOA時間樣本,先儲存於緩衝器71內,形成M個樣本之方塊
和時間索引μ。在上述構成方塊pE72內使用適應iDSHT將B(μ)轉換為空間域。空間訊號方塊 W Sd (μ)輸入至L Sd 聲訊壓縮單聲道編碼器73(像AAC或MPEG-1層3(mp3)編碼器)或單一AAC多通道編碼器(L Sd 通道)。位元流S73由具有整合側資訊SI的複數編碼器位元流圖幅之多工圖幅,或者整合有側資訊SI(較佳作為輔助資料)之單一多通道位元流構成。
在一實施例中,亦如第7圖所示之個別壓縮解碼器構成區塊包含:把位元流解多工成為L Sd 位元流加側資訊SI並把位元流饋送至L Sd 單聲道解碼器;解碼至具有M樣本之L Sd 空間聲訊通道,以形成方塊(μ)(在第7圖的方塊74內兼含在L Sd 單聲道解碼器內之解多工和解碼);並把(μ)和側資訊SI饋送至訊號適應DSHT解碼構成方塊pD。
在另一實施例中,個別壓縮解碼器構成方塊包括:例如從儲存器接收位元流;並將之解碼成L Sd 多通道訊號(μ);把側資訊SI解封裝並饋送該多通道訊號(μ)和該側資訊SI至訊號適應DSHT解碼構成方塊pD。在此實施例中,側資訊之解封裝和在L Sd 單聲道解碼器內解碼係被包含在第7圖之方塊74內。
在訊號適應DSHT解碼構成方塊pD內,使用具有側資訊SI的適應DSHT,(μ)轉換至係數域,以形成HOA訊號 B (μ)方塊,其係被儲存於緩衝器內,有待解幅以形成係數之時間訊號b(m)。
(μ)被使用具有在pD內的SI之適應DSHT轉換為係數域,以形成HOA訊號 B (μ)之方塊,這些信號係被儲存於緩衝器內以待解幅。經解幅後,它們形成係數之時間訊號b(m)。
上述第一實施例在某些條件下,會有二缺點:第一,由於空間訊號分佈變更,從方塊μ至μ+1會有組塊假影。第二,在同一時間會有超過一個的強訊號,使得aDSHT之解相關效果相當小。在頻率域內操作的第二實施例係針對此二缺點加以改進。aDSHT應用於標度因數頻帶資料,其組合複數頻帶資料。利用時間頻率轉換(TFT)與覆層添加(OLA)處理的疊合方塊,來避免組塊假影。可以藉由使用本發明在J譜帶內,傳送SIj資料率,在增加額外負擔的代價下,卻可達成改進的解相關。
第二實施例有些細節如第8圖所示,說明如下:訊號b(m)之各係數通道受到時間頻率轉換(TFT)。廣用TFT之一例為修正餘弦轉換(MDCT)。在TFT成幅中,建構成50%的疊合方塊(方塊索引μ),而TFT指方塊轉換。在譜帶化中,TFT頻率帶被組合以形成J新譜帶和有關訊號 B j (μ),其中K J 指帶j內頻率係數之數量。對各個這些譜帶,有一處理方塊pE j ,其建立訊號(μ)和側資訊SIj。譜帶可匹配有損聲訊壓縮法之譜帶(像AAC/mp3標度因數帶),或具有較粗之顆粒性。在後一情況,「無TFT方塊之通道無關有損聲訊壓縮」方塊需把譜帶化重新配置。處理方塊作用像頻率域內
之LSd多通道聲訊編碼器,把一恆定位元率分配到各聲訊通道。位元流在位元流封裝中格式化。
解碼器接收並儲存部份位元流,將其解封裝並饋送聲訊資料至多通道聲訊解碼器(「無TFT之通道無關聲訊解碼」),以及側資訊Sij饋送至pD j 。聲訊解碼器(「無TFT之通道無關聲訊解碼」)解碼聲訊資訊,格式化J譜帶訊號(μ),作為至pDj的輸入,此等訊號在此轉換至HOA係數域,以形成(μ)。在「解頻帶化」中,J個譜帶重新組群,以匹配TFT之帶化。它們在iTFT& OLA內,以方塊疊合覆層添加處理加以轉換至時間域。該輸出經解幅,以製作訊號 b (m)。
本發明係基於發現通道間之交叉相關造成SNR之提高。感知編碼器只會考慮發生在每個個別單一通道訊號內的編碼雜訊未遮蔽。然而,此等效應典型上為非線性。因此,當此等單通道矩陣化成為新訊號時,可能發生雜訊未遮蔽。此即矩陣化操作後,何以編碼雜訊會增加之原因。
本發明提出利用使不需要的雜訊未遮蔽效應最小化的適應分立球諧函數轉換(aDSHT),來對多數通道解相關。aDSHT係整合在壓縮編碼器和解碼器構造內。
因為它包含針對HOA輸入訊號之空間性能來調整DSHT的空間抽樣柵格的旋轉操作,所以它是適應的。aDSHT包括適應旋轉和實際習知DSHT。實際習知DSHT是一種矩陣,可按先前技術構成。將適應旋轉應用
至該矩陣,導致通道間的相關性最小化,所以導致矩陣化後之SNR增加的最小化。在一實施例中,旋轉軸和角度係由自動化搜尋操作找出。在另一實施例中,旋轉軸和角度是以分析方式找出。旋轉軸和角度經編碼和傳送,以使得能在解碼後和矩陣化之前進行重新相關,其中使用逆適應DSHT(iaDSHT)。
適應DSHT與其他轉換相較,尤其與Karhunen-Loève轉換(KLT)相較,有其特別優點。aDSHT之一特點是,其旋轉aDSHT之空間抽樣柵格。為了正確解碼,需要旋轉資訊,其包括旋轉軸和旋轉角度。旋轉軸和旋轉角度被以側資訊SI傳送。旋轉軸亦可以藉二角度表達。諸如KLT等其他轉換也適用於旋轉和鏡映座標系統,但不能移動抽樣點。又,諸如KLT等之其他轉換需要轉換矩陣,以供正確解碼,使得轉換矩陣之係數需當作側資訊SI加以傳送。因此,由於此等轉換矩陣之係數遠較aDSHT的旋轉軸和旋轉角度有更多的資料,所以使用aDSHT之一優良效果是降低了待傳送的側資訊SI的量。aDSHT之另一優點是由於空間適應性,其提供在聲訊訊號內之改進連續性。諸如KLT等的其他轉換,則容易造成訊號不連續,這通常為妨礙其用途之問題所在。此問題也被使用aDSHT所解決。
在一實施例中,進行時間頻率轉換(TFT)和譜帶化,而aDSHT/iaDSHT單獨應用於各譜帶。
在一實施例中,一種編碼多通道HOA聲訊訊
號以減少雜訊之方法包括步驟為:使用逆適應DSHT令通道解相關(31),逆適應DSHT包括旋轉操作(330)和逆DSHT(310),該旋轉操作旋轉iDSHT之空間抽樣柵格;以感知方式編碼(32)各解相關通道;編碼旋轉資訊(SI),該旋轉資訊包括界定該旋轉操作之參數;以及傳送或儲存以感知方式編碼之聲訊通道和編碼之旋轉資訊。
一實施例另外包括傳送或儲存所用球面DSHT柵格索引(即DSHT抽樣柵格型式,例如其階)。
在一具體例中,逆適應DSHT包括步驟為,選擇初始預設球面抽樣柵格;測定最強源方向;為M時間樣本方塊,旋轉球面抽樣柵格,使單一空間抽樣位置匹配最強源方向。
在一具體例中,旋轉球面樣本柵格,使此項
之對數減到最少,其中||是諸元件(具有矩陣列索引l和行索引j)之絕對值,而是之對角線元件。如上所述,是按照計算,其中 W Sd =Ψ i B 是旋轉抽樣柵格的逆轉換矩陣Ψ i 和輸入訊號方塊B之乘積,而是其聯合複數共軛。
在一實施例中,一種解碼具有被編碼以減少雜訊的多通道HOA聲訊訊號之方法包括步驟為,接收所編碼多通道HOA聲訊訊號、球面DSHT柵格索引和通道旋轉資訊(SI);把所接收資料解壓縮(33);使用適應DSHT
以感知方式解碼(34);把以感知方式解碼之通道相關化,其中按照該旋轉資訊(SI)進行適應DSHT的空間抽樣柵格之旋轉;以及把相關的感知方式解碼之通道矩陣化,其中獲得映射於揚聲器位置之可複製聲訊訊號。球面DSHT柵格索引是抽樣柵格之獨特識別符,故容許解碼器在旋轉之前,重建抽樣柵格。柵格本身(即柵格點之座標)不需傳送、儲存或接收。
在一實施例中,適應DSHT包括步驟為:為適應DSHT選擇初始預設抽樣柵格;為M時間樣本方塊,按照該相關資訊旋轉球面抽樣柵格。
在一實施例中,相關資訊係具有二或三分量之空間向量 ψ rot 。
在一實施例中,相關資訊係包括二角度之空間向量()。
在一實施例中,該等角度被量化並以特殊逃逸圖型進行熵編碼,該圖型發訊重新使用先前使用數值,以製作側資訊(SI)。
在一實施例中,一種編碼多通道HOA聲訊訊號以減少雜訊之裝置,包括:解相關器,使用逆適應DSHT把諸通道解相關,逆適應DSHT包括旋轉操作和逆DSHT(iDSHT),該旋轉操作旋轉iDSHT之空間抽樣柵格;感知編碼器(E),以感知方式編碼各解相關通道;側資訊編碼器,供編碼旋轉資訊,旋轉資訊包括界定該旋轉操作之參數;和界面,供傳送或儲存以感知方式編碼之聲
訊通道和所編碼旋轉資訊。
在一實施例中,編碼裝置包括轉換機構,供進行逆適應DSHT,轉換機構具有處理器,以選擇初始預設球面抽樣柵格,決定最強源方向,並為M時間樣本方塊,旋轉球面抽樣柵格,使單一空間抽樣位置匹配最強源方向。
在一實施例中,一種多媒體HOA聲訊訊號減少雜訊之解碼裝置包括:界面機構,供接收所編碼多通道HOA聲訊訊號、球面DSHT柵格索引和通道旋轉資訊;解壓縮模組,把所接收資料解壓縮;感知解碼器,使用DSHT以感知方式解碼各通道;相關器,使感知方式解碼之通道相關化,其中按照該旋轉資訊,進行旋轉DSHT之空間抽樣柵格;以及混合器,把已相關的感知方式解碼之通道矩陣化,其中獲得映射在揚聲器位置之可複製聲訊訊號。
在一具體例中,解碼裝置包括處理器,為適應DSHT選擇初始預設球面抽樣柵格,並為M時間樣本之方塊,按照該相關資訊,旋轉球面抽樣柵格。
在全部實施例中,減少雜訊至少關係到避免編碼雜訊未遮蔽效應。
聲訊訊號之感知編碼意指適於人員感知的聲訊之編碼。應注意,以感知方式編碼聲訊訊號時,通常不是對寬頻聲訊訊號樣本進行量化,而是針對與人類感知有關之個別頻帶進行量化。因此,訊號功率與量化雜訊之比
可在個別頻帶之間加以改變。
上述技術可當作是對使用Karhunen-Loève轉換(KLT)的解相關作改進之替代方案。
本發明已就較佳實施例圖示、說明,並舉出基本新穎特點,須知技術專家均可就所述裝置和方法、所揭示機件形式和細節及其操作,進行各種省略、置換、變更,不違本發明之精神。凡以實質上同樣方式,進行實質上同樣功用,以達成同樣結果的此等元件之組合,均在本發明範圍內。由一具體例之元件置換另一件,亦完全在意圖和設想之內。
須知本發明純就實施例加以說明,可進行細部修飾,不違本發明範圍。
說明書和(適當時)申請專利範圍及附圖之各特點,可單獨或以任何適當組合方式提供。諸特點可視適當情形在硬體、軟體,或二者組合方式實施。連接可視應用情形,實施無線連接或有線連接,不一定直接或專用。申請專利範圍內出現之參考數字只供說明,對申請專利範圍無限制效用。
[1] T.D. Abhayapala. Generalized framework for spherical microphone arrays: Spatial and frequency decomposition. In Proc. IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), (accepted) Vol. X, pp., April 2008, Las Vegas, USA.
[2] James R. Driscoll and Dennis M. Healy Jr. Computing fourier transforms and convolutions on the 2-sphere. Advances in Applied Mathematics, 15:202-250, 1994.
[3] JörgFliege. Integration nodes for the sphere,http://www.personal.soton.ac.uk/jflw07/nodes/nodes.html
[4] JörgFliege and Ulrike Maier. A two-stage approach for computing cubature formulae for the sphere. Technical Report, Fachbereich Mathematik, Universitat Dortmund, 1999.
[5] R. H. Hardinand N. J. A. Sloane. Webpage: Spherical designs, spherical t-designs. http://www2.research.att.com/~njas/sphdesigns
[6] R. H. Hardin and N. J. A. Sloane. Mclaren’s improved snub cube and other new spherical designs in three dimensions. Discrete and Computational Geometry, 15:429-441, 1996.
[7] Erik Hellerud, Ian Burnett, Audun Solvang, and U. Peter Svensson. Encoding higher order Ambisonics with AAC. In 124th AES Convention, Amsterdam, May 2008.
[8] Peter Jax, Jan-Mark Batke, Johannes Boehm, and Sven Kordon. Perceptual coding of HOA signals in spatial domain. European patent application EP2469741A1 (PD100051).
[9] Boaz Rafaely. Plane-wave decomposition of the sound field on a sphere by spherical convolution. J. Acoust. Soc. Am., 4(116):2149-2157, October 2004.
[10] Earl G. Williams. Fourier Acoustics, volume 93 of Applied Mathematical Sciences. Academic Press, 1999.
31‧‧‧通道解相關步驟
32‧‧‧各解相關通道以感知方式編碼步驟
33‧‧‧接收資料解壓縮步驟
34‧‧‧各通道以感知方式解碼步驟
310‧‧‧逆DSHT
340‧‧‧解碼器內之構成方塊DSHT
Claims (15)
- 一種用以編碼多通道高階保真立體音響(HOA)聲訊訊號以減少雜訊之方法,包括步驟為:使用逆適應分立球諧函數轉換法(DSHT)解相關所述通道,該逆適應DSHT包括旋轉操作和逆DSHT,該旋轉操作旋轉該逆DSHT之空間抽樣柵格,其中該球面抽樣柵格係被旋轉使得以下項之對數減到最少:
- 如申請專利範圍第1項之方法,其中該逆適應DSHT執行步驟有:選擇初始預設球面抽樣柵格;決定最強源方向;及對M個時間樣本方塊,旋轉該球面抽樣柵格,使單一空間抽樣位置匹配所述最強源方向。
- 如申請專利範圍第1項之方法,更包含步驟: 於時間頻率轉換(TFT)成幅單元中,建立疊合資料方塊,對各個通道的係數,執行時間頻率轉換,於頻帶化單元中,組合經所述時間頻率轉換的頻帶,以形成J個新頻帶,在多數處理方塊內,同時處理多數頻帶,其中各個處理方塊執行逆適應DSHT,所述逆適應DSHT包含旋轉操作與逆DSHT,其中該旋轉操作旋轉該逆DSHT的該空間抽樣柵格,及在不利用時間頻率轉換下,執行通道無關的有損聲訊壓縮。
- 如申請專利範圍第1項之方法,其中該空間向量的所述三個分量為角度θ axis ,,,其中θ axis ,定義關於具有在球面座標中的一的隱含半徑的旋轉軸的資訊,及定義繞著旋轉軸的旋轉角度,及其中該等角度被量化並以逃逸圖型加以熵編碼,其發訊重新使用先前使用的數值,以製作側資訊。
- 一種對已減少雜訊的編碼多通道高階保真立體音響(HOA)聲訊訊號進行解碼之方法,包括步驟為:接收編碼之多通道HOA聲訊訊號和通道旋轉資訊,該通道旋轉資訊包含空間向量,其包括界定旋轉操作之三個分量;把所接收資料解壓縮,其中使用感知解碼並取得感知解碼通道; 使用適應分立球諧函數轉換法(DSHT),以空間解碼各個感知解碼通道,其中該DSHT與該DSHT的空間抽樣柵格的旋轉係依據該旋轉資訊加以執行;及將所述感知與空間解碼之通道矩陣化,其中獲得映射到揚聲器位置之可複製聲訊訊號。
- 如申請專利範圍第5項之方法,其中該適應DSHT包括步驟為:選擇該適應DSHT的初始預設球面抽樣柵格;對m個時間抽樣的方塊,按照該旋轉資訊,旋轉該預設球面抽樣柵格;及對該旋轉球面抽樣柵格,執行該DSHT。
- 如申請專利範圍第5項之方法,其中使用適應DSHT對各個通道進行空間解碼的步驟係針對在多數空間解碼單元中的所有通道同時加以完成,更包含去頻帶化與藉由覆層添加處理執行逆時間頻率轉換。
- 如申請專利範圍第5項之方法,其中該通道旋轉資訊係由三個角度θ axis ,,構成,其中θ axis ,定義關於具有在球面座標中的一的隱含半徑的旋轉軸的資訊,及定義繞著旋轉軸的旋轉角度。
- 如申請專利範圍第5項之方法,其中該空間向量之三個分量被量化並以逃逸圖型加以熵編碼,其發訊重新使用先前使用的數值,以製作側資訊。
- 一種對多通道高階保真立體音響(HOA)聲訊訊號進行編碼以減少雜訊之裝置,包括: 解相關器,使用逆適應分立球諧函數轉換法(DSHT),令諸通道解相關,該逆適應DSHT包括旋轉操作單元和逆DSHT(iDSHT),該旋轉操作旋轉該iDSHT之空間抽樣柵格,其中該球面抽樣柵格係被旋轉,使得以下項的對數最小化:
- 如申請專利範圍第10項之裝置,其中該空間向量的所述三個分量為角度θ axis ,,,其中θ axis ,定義關於具有在球面座標中的一的隱含半徑的旋轉軸的資訊,及定義繞著旋轉軸的旋轉角度,及其中該等角度被量化並以逃逸圖型加以熵編碼,其發訊重新使用先前使用的數值,以製作側資訊。
- 一種對具有減少雜訊的多通道高階保真立體音響(HOA)聲訊訊號進行解碼之裝置,包括:界面機構,用以接收已編碼多通道HOA聲訊訊號和 通道旋轉資訊,該通道旋轉資訊包含空間向量,其具有界定旋轉操作的三個分量;解壓縮模組,用以藉由用於對各個通道進行感知解碼的感知解碼器,對所接收資料進行解壓縮;相關器,使用適應分立球諧函數轉換(aDSHT),以相關所述經感知解碼的通道,其中DSHT與該DSHT的球面抽樣柵格的旋轉係依據該旋轉資訊加以執行;及混合器,用以把所述已相關的感知解碼之通道矩陣化,其中獲得映射到揚聲器位置之可複製聲訊訊號。
- 如申請專利範圍第12項之裝置,其中所述適應DSHT包括:選擇機構,用以為所述適應DSHT,選擇初始預設球面抽樣柵格;旋轉處理機構,用以對M個時間抽樣方塊,按照該旋轉資訊,旋轉所述預設球面抽樣柵格;及轉換處理機構,用以對所述經旋轉球面抽樣柵格,執行所述DSHT。
- 如申請專利範圍第12項之裝置,其中該相關器包含多數空間解碼單元,用以使用適應DSHT同時空間解碼各個通道,更包含去頻帶化單元,用以執行去頻帶化,及iTFT&OLA單元,用以執行藉由覆層添加處理執行逆時間頻率轉換,其中該去頻帶化單元提供其輸出給該iTFT&OLA單元。
- 如申請專利範圍第12項之裝置,其中該空間向量之三個分量被量化並以逃逸圖型加以熵編碼,其發訊重 新使用先前使用的數值,以製作側資訊。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12305861.2A EP2688066A1 (en) | 2012-07-16 | 2012-07-16 | Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201412145A TW201412145A (zh) | 2014-03-16 |
TWI602444B true TWI602444B (zh) | 2017-10-11 |
Family
ID=48874263
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW102125017A TWI602444B (zh) | 2012-07-16 | 2013-07-12 | 編碼多通道hoa聲訊訊號以減少雜訊之方法和裝置以及對已減少雜訊的編碼多通道hoa聲訊訊號解碼之方法和裝置 |
TW106123691A TWI674009B (zh) | 2012-07-16 | 2013-07-12 | 解碼已編碼高階立體音響(hoa)聲訊訊號之方法和裝置 |
TW108124752A TWI691214B (zh) | 2012-07-16 | 2013-07-12 | 解碼高階立體音響(hoa)聲訊訊號之方法和設備及其電腦可讀取媒體 |
TW109108444A TWI723805B (zh) | 2012-07-16 | 2013-07-12 | 解碼高階立體音響(hoa)聲訊訊號之方法和設備及其電腦可讀取媒體 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW106123691A TWI674009B (zh) | 2012-07-16 | 2013-07-12 | 解碼已編碼高階立體音響(hoa)聲訊訊號之方法和裝置 |
TW108124752A TWI691214B (zh) | 2012-07-16 | 2013-07-12 | 解碼高階立體音響(hoa)聲訊訊號之方法和設備及其電腦可讀取媒體 |
TW109108444A TWI723805B (zh) | 2012-07-16 | 2013-07-12 | 解碼高階立體音響(hoa)聲訊訊號之方法和設備及其電腦可讀取媒體 |
Country Status (7)
Country | Link |
---|---|
US (4) | US9460728B2 (zh) |
EP (4) | EP2688066A1 (zh) |
JP (4) | JP6205416B2 (zh) |
KR (5) | KR102340930B1 (zh) |
CN (6) | CN107403626B (zh) |
TW (4) | TWI602444B (zh) |
WO (1) | WO2014012944A1 (zh) |
Families Citing this family (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2688066A1 (en) * | 2012-07-16 | 2014-01-22 | Thomson Licensing | Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction |
CN104471641B (zh) | 2012-07-19 | 2017-09-12 | 杜比国际公司 | 用于改善对多声道音频信号的呈现的方法和设备 |
EP2743922A1 (en) | 2012-12-12 | 2014-06-18 | Thomson Licensing | Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field |
US9769586B2 (en) | 2013-05-29 | 2017-09-19 | Qualcomm Incorporated | Performing order reduction with respect to higher order ambisonic coefficients |
US9466305B2 (en) | 2013-05-29 | 2016-10-11 | Qualcomm Incorporated | Performing positional analysis to code spherical harmonic coefficients |
US20150127354A1 (en) * | 2013-10-03 | 2015-05-07 | Qualcomm Incorporated | Near field compensation for decomposed representations of a sound field |
EP2879408A1 (en) * | 2013-11-28 | 2015-06-03 | Thomson Licensing | Method and apparatus for higher order ambisonics encoding and decoding using singular value decomposition |
US9489955B2 (en) * | 2014-01-30 | 2016-11-08 | Qualcomm Incorporated | Indicating frame parameter reusability for coding vectors |
US9922656B2 (en) | 2014-01-30 | 2018-03-20 | Qualcomm Incorporated | Transitioning of ambient higher-order ambisonic coefficients |
EP2922057A1 (en) | 2014-03-21 | 2015-09-23 | Thomson Licensing | Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal |
EP4089674A1 (en) | 2014-03-21 | 2022-11-16 | Dolby International AB | Method for decompressing a compressed hoa signal and apparatus for decompressing a compressed hoa signal |
CN109410961B (zh) | 2014-03-21 | 2023-08-25 | 杜比国际公司 | 用于对压缩的hoa信号进行解码的方法、装置和存储介质 |
TWI833562B (zh) * | 2014-03-24 | 2024-02-21 | 瑞典商杜比國際公司 | 應用動態範圍壓縮至高階保真立體音響信號之方法和裝置 |
EP2934025A1 (en) * | 2014-04-15 | 2015-10-21 | Thomson Licensing | Method and device for applying dynamic range compression to a higher order ambisonics signal |
CN103888889B (zh) * | 2014-04-07 | 2016-01-13 | 北京工业大学 | 一种基于球谐展开的多声道转换方法 |
US9852737B2 (en) | 2014-05-16 | 2017-12-26 | Qualcomm Incorporated | Coding vectors decomposed from higher-order ambisonics audio signals |
US10770087B2 (en) * | 2014-05-16 | 2020-09-08 | Qualcomm Incorporated | Selecting codebooks for coding vectors decomposed from higher-order ambisonic audio signals |
US9620137B2 (en) | 2014-05-16 | 2017-04-11 | Qualcomm Incorporated | Determining between scalar and vector quantization in higher order ambisonic coefficients |
US9792924B2 (en) * | 2014-06-27 | 2017-10-17 | Dolby Laboratories Licensing Corporation | Apparatus for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values |
EP2960903A1 (en) * | 2014-06-27 | 2015-12-30 | Thomson Licensing | Method and apparatus for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values |
US9922657B2 (en) * | 2014-06-27 | 2018-03-20 | Dolby Laboratories Licensing Corporation | Method for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values |
WO2015197517A1 (en) | 2014-06-27 | 2015-12-30 | Thomson Licensing | Coded hoa data frame representation that includes non-differential gain values associated with channel signals of specific ones of the data frames of an hoa data frame representation |
US9838819B2 (en) * | 2014-07-02 | 2017-12-05 | Qualcomm Incorporated | Reducing correlation between higher order ambisonic (HOA) background channels |
EP2980789A1 (en) * | 2014-07-30 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for enhancing an audio signal, sound enhancing system |
US9536531B2 (en) | 2014-08-01 | 2017-01-03 | Qualcomm Incorporated | Editing of higher-order ambisonic audio data |
US9747910B2 (en) | 2014-09-26 | 2017-08-29 | Qualcomm Incorporated | Switching between predictive and non-predictive quantization techniques in a higher order ambisonics (HOA) framework |
US10140996B2 (en) | 2014-10-10 | 2018-11-27 | Qualcomm Incorporated | Signaling layers for scalable coding of higher order ambisonic audio data |
US9984693B2 (en) * | 2014-10-10 | 2018-05-29 | Qualcomm Incorporated | Signaling channels for scalable coding of higher order ambisonic audio data |
EP3007167A1 (en) * | 2014-10-10 | 2016-04-13 | Thomson Licensing | Method and apparatus for low bit rate compression of a Higher Order Ambisonics HOA signal representation of a sound field |
JP2018513996A (ja) * | 2015-04-10 | 2018-05-31 | トムソン ライセンシングThomson Licensing | 複数のオーディオ信号を符号化する方法およびデバイス、ならびに、分離を改善した、複数のオーディオ信号の混合物を復号する方法およびデバイス |
US10600425B2 (en) * | 2015-11-17 | 2020-03-24 | Dolby Laboratories Licensing Corporation | Method and apparatus for converting a channel-based 3D audio signal to an HOA audio signal |
HK1221372A2 (zh) * | 2016-03-29 | 2017-05-26 | 萬維數碼有限公司 | 種獲得空間音頻定向向量的方法、裝置及設備 |
WO2018001493A1 (en) * | 2016-06-30 | 2018-01-04 | Huawei Technologies Duesseldorf Gmbh | Apparatuses and methods for encoding and decoding a multichannel audio signal |
GB2554446A (en) * | 2016-09-28 | 2018-04-04 | Nokia Technologies Oy | Spatial audio signal format generation from a microphone array using adaptive capture |
KR102615903B1 (ko) | 2017-04-28 | 2023-12-19 | 디티에스, 인코포레이티드 | 오디오 코더 윈도우 및 변환 구현들 |
EP3651480A4 (en) * | 2017-07-05 | 2020-06-24 | Sony Corporation | SIGNAL PROCESSING DEVICE, METHOD, AND PROGRAM |
US10944568B2 (en) * | 2017-10-06 | 2021-03-09 | The Boeing Company | Methods for constructing secure hash functions from bit-mixers |
US10714098B2 (en) | 2017-12-21 | 2020-07-14 | Dolby Laboratories Licensing Corporation | Selective forward error correction for spatial audio codecs |
CN111210831B (zh) * | 2018-11-22 | 2024-06-04 | 广州广晟数码技术有限公司 | 基于频谱拉伸的带宽扩展音频编解码方法及装置 |
AU2020210549B2 (en) * | 2019-01-21 | 2023-03-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding a spatial audio representation or apparatus and method for decoding an encoded audio signal using transport metadata and related computer programs |
US11388416B2 (en) | 2019-03-21 | 2022-07-12 | Qualcomm Incorporated | Video compression using deep generative models |
US11729406B2 (en) * | 2019-03-21 | 2023-08-15 | Qualcomm Incorporated | Video compression using deep generative models |
KR20220028021A (ko) | 2019-07-02 | 2022-03-08 | 돌비 인터네셔널 에이비 | 이산 지향성 데이터의 표현, 인코딩 및 디코딩을 위한 방법들, 장치 및 시스템들 |
CN110544484B (zh) * | 2019-09-23 | 2021-12-21 | 中科超影(北京)传媒科技有限公司 | 高阶Ambisonic音频编解码方法及装置 |
CN110970048B (zh) * | 2019-12-03 | 2023-01-17 | 腾讯科技(深圳)有限公司 | 音频数据的处理方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040131196A1 (en) * | 2001-04-18 | 2004-07-08 | Malham David George | Sound processing |
US20100198601A1 (en) * | 2007-05-10 | 2010-08-05 | France Telecom | Audio encoding and decoding method and associated audio encoder, audio decoder and computer programs |
US20100305952A1 (en) * | 2007-05-10 | 2010-12-02 | France Telecom | Audio encoding and decoding method and associated audio encoder, audio decoder and computer programs |
US20110216906A1 (en) * | 2010-03-05 | 2011-09-08 | Stmicroelectronics Asia Pacific Pte. Ltd. | Enabling 3d sound reproduction using a 2d speaker arrangement |
US20120014527A1 (en) * | 2009-02-04 | 2012-01-19 | Richard Furse | Sound system |
EP2469741A1 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001275197A (ja) * | 2000-03-23 | 2001-10-05 | Seiko Epson Corp | 音源選択方法および音源選択装置並びに音源選択制御プログラムを記録した記録媒体 |
FR2847376B1 (fr) * | 2002-11-19 | 2005-02-04 | France Telecom | Procede de traitement de donnees sonores et dispositif d'acquisition sonore mettant en oeuvre ce procede |
DE10328777A1 (de) * | 2003-06-25 | 2005-01-27 | Coding Technologies Ab | Vorrichtung und Verfahren zum Codieren eines Audiosignals und Vorrichtung und Verfahren zum Decodieren eines codierten Audiosignals |
EP1946310A4 (en) * | 2005-10-26 | 2011-03-09 | Lg Electronics Inc | METHOD FOR CODING AND DECODING A MULTI CHANNEL AUDIO SIGNAL AND DEVICE THEREFOR |
WO2007104882A1 (fr) * | 2006-03-15 | 2007-09-20 | France Telecom | Dispositif et procede de codage par analyse en composante principale d'un signal audio multi-canal |
ES2359752T3 (es) * | 2006-09-25 | 2011-05-26 | Dolby Laboratories Licensing Corporation | Resolución espacial mejorada del campo sonoro para sistemas de reproducción de audio multicanal mediante derivación de señales con términos angulares de orden superior. |
US20080232601A1 (en) * | 2007-03-21 | 2008-09-25 | Ville Pulkki | Method and apparatus for enhancement of audio reconstruction |
US20110188043A1 (en) * | 2007-12-26 | 2011-08-04 | Yissum, Research Development Company of The Hebrew University of Jerusalem, Ltd. | Method and apparatus for monitoring processes in living cells |
EP2094032A1 (en) * | 2008-02-19 | 2009-08-26 | Deutsche Thomson OHG | Audio signal, method and apparatus for encoding or transmitting the same and method and apparatus for processing the same |
CN102089814B (zh) * | 2008-07-11 | 2012-11-21 | 弗劳恩霍夫应用研究促进协会 | 对编码的音频信号进行解码的设备和方法 |
EP2205007B1 (en) * | 2008-12-30 | 2019-01-09 | Dolby International AB | Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction |
FR2943867A1 (fr) * | 2009-03-31 | 2010-10-01 | France Telecom | Traitement d'egalisation de composantes spatiales d'un signal audio 3d |
CN102823277B (zh) * | 2010-03-26 | 2015-07-15 | 汤姆森特许公司 | 解码用于音频回放的音频声场表示的方法和装置 |
NZ587483A (en) * | 2010-08-20 | 2012-12-21 | Ind Res Ltd | Holophonic speaker system with filters that are pre-configured based on acoustic transfer functions |
WO2012025580A1 (en) * | 2010-08-27 | 2012-03-01 | Sonicemotion Ag | Method and device for enhanced sound field reproduction of spatially encoded audio input signals |
EP2450880A1 (en) * | 2010-11-05 | 2012-05-09 | Thomson Licensing | Data structure for Higher Order Ambisonics audio data |
EP2560161A1 (en) * | 2011-08-17 | 2013-02-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Optimal mixing matrices and usage of decorrelators in spatial audio processing |
CN103165136A (zh) * | 2011-12-15 | 2013-06-19 | 杜比实验室特许公司 | 音频处理方法及音频处理设备 |
EP2688066A1 (en) * | 2012-07-16 | 2014-01-22 | Thomson Licensing | Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction |
-
2012
- 2012-07-16 EP EP12305861.2A patent/EP2688066A1/en not_active Withdrawn
-
2013
- 2013-07-12 TW TW102125017A patent/TWI602444B/zh active
- 2013-07-12 TW TW106123691A patent/TWI674009B/zh active
- 2013-07-12 TW TW108124752A patent/TWI691214B/zh active
- 2013-07-12 TW TW109108444A patent/TWI723805B/zh active
- 2013-07-16 CN CN201710829638.XA patent/CN107403626B/zh active Active
- 2013-07-16 KR KR1020207034592A patent/KR102340930B1/ko active IP Right Grant
- 2013-07-16 EP EP13740235.0A patent/EP2873071B1/en active Active
- 2013-07-16 JP JP2015522077A patent/JP6205416B2/ja active Active
- 2013-07-16 EP EP20208589.0A patent/EP3813063A1/en active Pending
- 2013-07-16 CN CN201710829618.2A patent/CN107403625B/zh active Active
- 2013-07-16 CN CN201380036698.6A patent/CN104428833B/zh active Active
- 2013-07-16 WO PCT/EP2013/065032 patent/WO2014012944A1/en active Application Filing
- 2013-07-16 KR KR1020247018653A patent/KR20240091351A/ko active Application Filing
- 2013-07-16 CN CN201710829636.0A patent/CN107591160B/zh active Active
- 2013-07-16 CN CN201710829639.4A patent/CN107424618B/zh active Active
- 2013-07-16 CN CN201710829605.5A patent/CN107591159B/zh active Active
- 2013-07-16 KR KR1020157000876A patent/KR102126449B1/ko active IP Right Grant
- 2013-07-16 EP EP17205327.4A patent/EP3327721B1/en active Active
- 2013-07-16 US US14/415,571 patent/US9460728B2/en active Active
- 2013-07-16 KR KR1020217041058A patent/KR20210156311A/ko active Application Filing
- 2013-07-16 KR KR1020207017672A patent/KR102187936B1/ko active IP Right Grant
-
2016
- 2016-09-26 US US15/275,699 patent/US9837087B2/en active Active
-
2017
- 2017-08-24 US US15/685,252 patent/US10304469B2/en active Active
- 2017-09-04 JP JP2017169358A patent/JP6453961B2/ja active Active
-
2018
- 2018-12-13 JP JP2018233042A patent/JP6676138B2/ja active Active
-
2019
- 2019-05-20 US US16/417,480 patent/US10614821B2/en active Active
-
2020
- 2020-03-11 JP JP2020041510A patent/JP6866519B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040131196A1 (en) * | 2001-04-18 | 2004-07-08 | Malham David George | Sound processing |
US20100198601A1 (en) * | 2007-05-10 | 2010-08-05 | France Telecom | Audio encoding and decoding method and associated audio encoder, audio decoder and computer programs |
US20100305952A1 (en) * | 2007-05-10 | 2010-12-02 | France Telecom | Audio encoding and decoding method and associated audio encoder, audio decoder and computer programs |
US20120014527A1 (en) * | 2009-02-04 | 2012-01-19 | Richard Furse | Sound system |
US20110216906A1 (en) * | 2010-03-05 | 2011-09-08 | Stmicroelectronics Asia Pacific Pte. Ltd. | Enabling 3d sound reproduction using a 2d speaker arrangement |
EP2469741A1 (en) * | 2010-12-21 | 2012-06-27 | Thomson Licensing | Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI602444B (zh) | 編碼多通道hoa聲訊訊號以減少雜訊之方法和裝置以及對已減少雜訊的編碼多通道hoa聲訊訊號解碼之方法和裝置 | |
JP4887307B2 (ja) | ニアトランスペアレントまたはトランスペアレントなマルチチャネルエンコーダ/デコーダ構成 | |
JP2023546851A (ja) | 複数の音声オブジェクトをエンコードする装置および方法、または2つ以上の関連する音声オブジェクトを使用してデコードする装置および方法 | |
JP2023546850A (ja) | ダウンミックス中に方向情報を使用して複数の音声オブジェクトをエンコードするための装置および方法、または最適化された共分散合成を使用してデコードするための装置および方法 | |
JP2023549038A (ja) | パラメータ変換を用いて符号化されたオーディオシーンを処理するための装置、方法、またはコンピュータプログラム | |
JP2023548650A (ja) | 帯域幅拡張を用いて符号化されたオーディオシーンを処理するための装置、方法、またはコンピュータプログラム |