TWI466106B - 音訊或視訊編碼器、音訊或視訊解碼器及用以利用可變預測方向來處理多頻道音訊或視訊信號的相關方法 - Google Patents
音訊或視訊編碼器、音訊或視訊解碼器及用以利用可變預測方向來處理多頻道音訊或視訊信號的相關方法 Download PDFInfo
- Publication number
- TWI466106B TWI466106B TW100111806A TW100111806A TWI466106B TW I466106 B TWI466106 B TW I466106B TW 100111806 A TW100111806 A TW 100111806A TW 100111806 A TW100111806 A TW 100111806A TW I466106 B TWI466106 B TW I466106B
- Authority
- TW
- Taiwan
- Prior art keywords
- signal
- prediction
- channel
- combined
- decoded
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 63
- 238000012545 processing Methods 0.000 title description 19
- 238000001228 spectrum Methods 0.000 claims description 115
- 238000006243 chemical reaction Methods 0.000 claims description 69
- 230000003595 spectral effect Effects 0.000 claims description 63
- 238000004364 calculation method Methods 0.000 claims description 43
- 238000005457 optimization Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000013139 quantization Methods 0.000 description 27
- 230000000875 corresponding effect Effects 0.000 description 26
- 239000011159 matrix material Substances 0.000 description 19
- 230000002441 reversible effect Effects 0.000 description 19
- 230000005236 sound signal Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 230000007704 transition Effects 0.000 description 8
- 230000010363 phase shift Effects 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002789 length control Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- DNTFEAHNXKUSKQ-RFZPGFLSSA-N (1r,2r)-2-aminocyclopentane-1-sulfonic acid Chemical compound N[C@@H]1CCC[C@H]1S(O)(=O)=O DNTFEAHNXKUSKQ-RFZPGFLSSA-N 0.000 description 1
- OVOUKWFJRHALDD-UHFFFAOYSA-N 2-[2-(2-acetyloxyethoxy)ethoxy]ethyl acetate Chemical compound CC(=O)OCCOCCOCCOC(C)=O OVOUKWFJRHALDD-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereophonic System (AREA)
- Stereo-Broadcasting Methods (AREA)
Description
本發明有關於音訊或視訊處理,特別是具有二或更多個頻道信號的一多頻道信號的多頻道音訊或視訊處理。
已知在多頻道或立體聲處理領域應用所謂的中/側(mid/side)立體聲編碼。在此概念中,左或第一音訊頻道信號與右或第二音訊頻道信號的組合形成,以獲得一中間或單頻道信號M。此外,左或第一頻道信號與右或第二頻道信號的差形成,以獲得側信號S。當左信號與右信號彼此非常相似時,由於側信號將變得相當小,故此中/側編碼方法導致顯著的編碼增益。典型地,當被量化/熵編碼的值的範圍越來越小時,一量化/熵編碼級的一編碼增益將變得越來越高。因此,對於一PCM或一基於霍夫曼或算術熵編碼器而言,當側信號變得越來越小時,編碼增益增加。然而,在某些情況下,中/側編碼將不會導致一編碼增益。此情況可能在二頻道中的信號彼此相移例如90°時發生。則,中間信號及側信號可能在非常相似的範圍內且因此,利用熵編碼器來編碼中間信號及側信號將不會導致一編碼增益且甚至可能導致一增大的位元率。因此,在側信號未相對於例如原始左信號變小到某一程度的情況下,一頻率選擇性中/側編碼可被應用以解除頻帶中的中/側編碼。
雖然側信號將變為零,但是當左右信號相同時,由於側信號的消除,故導致一最大編碼增益,當中間信號與側
信號相對於波形的形狀相同時,情況再次變得不同,但是二信號之間唯一的不同之處是它們的總振幅。在此情況下,當另外假定側信號與中間信號無相移時,側信號顯著增加,雖然,另一方面,中間信號相對於其值的範圍不會減少得那麼多。當此情況發生在某一頻帶時,將由於缺乏編碼增益而再次使中/側編碼無效。中/側編碼可頻率選擇性地應用或可作為選擇應用在時域中。
有不依賴於一種與中/側編碼相同的波形方法而依賴於基於某些雙耳線索的參數處理的可供選擇的多頻道編碼技術。此類技術被冠名為「雙耳線索編碼」、「參數立體聲編碼」或「MPEG環繞聲編碼」。此處,某些線索針對複數個頻帶來計算。這些線索包括內頻道音量差、內頻道相干性量測、內頻道時間差及/或內頻道相差。這些方法從假定聽眾所感受到的一多頻道印象並不一定依賴於兩個頻道的精細波形而是依賴於準確的頻率選擇性提供的線索或內頻道資訊開始。這意味著,在一渲染機中,必須注意渲染準確地反映該等線索的多頻道信號,但是波形並不具有決定性的意義。
此方法可能在解碼器必須應用一解相關處理以人工產生彼此解相關的立體聲信號的情況下特別複雜,雖然所有這些頻道均得自於同一下混頻道。依它們的實施而定,用以實現此目的的解相關器是複雜的且可能引入偽差,特別是對暫態信號部分而言。此外,對照於波形編碼,參數編碼方法是一有偽差的編碼方法,其不可避免地導致由典型
的量化所引入以及由聚焦於雙耳線索,而非特定波形所引入的資訊損失。此方法導致非常低的位元率,但可能包括品質妥協。
關於第7a圖中所示之聯合語音及音訊編碼(USAC)有最新進展。一核心解碼器700在輸入701執行編碼立體聲信號的一解碼操作,該編碼立體聲信號可能是經中/側編碼的。該核心解碼器在線702上輸出一中間信號且在線703上輸出一側或殘差信號。這兩個信號藉由QMF濾波器組704及705被轉換到一QMF域中。接著,一MPEG環繞聲解碼器706被應用以產生一左頻道信號707及一右頻道信號708。這些低頻帶信號隨後被引入到一頻帶複製(SBR)解碼器709中,在線710及711上產生寬頻左及右信號,該等寬頻左及右信號接著藉由QMF合成濾波器組712、713而被轉換到一時域中,獲得寬頻左及右信號L、R。
第7b圖繪示MPEG環繞聲解碼器706將執行一中/側解碼的情況。可選擇地,MPEG環繞聲解碼器區塊706可執行一基於雙耳線索的參數解碼以由一單一的單頻道核心解碼器信號產生立體聲信號。自然,MPEG環繞聲解碼器706使用諸如內頻道音量差、內頻道相干性量測或其他此類內頻道資訊參數的參數資訊也可產生複數個低頻帶輸出信號,該等複數個低頻帶輸出信號將被輸入到SBR解碼器區塊709中。
當MPEG環繞聲解碼器區塊706執行第7b圖中所示之中/側解碼時,一現實增益因數g可被應用且DMX/RES及L/R
分別為呈現在複混合QMF域中的下混/殘差及左/右信號。
利用一方塊706與一方塊709的組合僅使運算複雜性相較於用作一基礎的一立體聲解碼器小幅增加,因為代表信號的複QMF已可用作SBR解碼器的一部分。然而,在一非SBR配置中,基於QMF的立體聲編碼,如就USAC所提出者,將導致運算複雜性顯著增加,因為此示範性64頻帶分析組及64頻帶合成組需要必要的QMF組。必須添加這些濾波器組僅供立體聲編碼之用。
然而,在正在開發之中的MPEG USAC系統中,在SBR通常未被加以利用時,也存在高位元率的編碼模式。
本發明的目的在於提供一改良的音訊或視訊處理構想,一方面,產生高編碼增益,且另一方面,導致一良好的音訊或視訊品質及/或減小的運算複雜性。
此目的藉由如申請專利範圍第1項所述的一種音訊或視訊解碼器、如申請專利範圍第13項所述的一種音訊或視訊編碼器、如申請專利範圍第19項所述的一種音訊或視訊解碼方法、如申請專利範圍第18項所述的一種音訊或視訊編碼方法、如申請專利範圍第19項所述的一種電腦程式或如申請專利範圍第20項所述的一種編碼的多頻道音訊或視訊信號來實現。
本發明依賴於高品質波形編碼方法的一編碼增益可藉由利用第一組合信號來預測第二組合信號而顯著增強的研究成果,其中利用一組合規則,諸如中/側組合規則時,此
二組合信號均得自於原始信號。已發現此預測資訊藉由一音訊或視訊編碼器中的一預測器來計算,以實現最佳化目標,僅帶來少額間接費用,卻在不損失任何音訊或視訊品質的情況下造成側信號所需的位元率顯著減少,這是因為本發明預測終究是一基於波形的編碼而非一基於參數的立體聲或多頻道編碼方法。為了減小運算複雜性,較佳的是執行頻域編碼,其中預測資訊以一頻帶選擇性方式得自於頻域輸入資料。用以將時域表示轉換成一頻譜表示的轉換演算法較佳的是一精密的取樣程式,諸如,修改型離散餘弦轉換(MDCT)或一修改型離散正弦轉換(MDST),其與一複轉換的不同之處在於僅實值或僅虛值被計算出來,而,在一複轉換中,一頻譜的實值及複值被計算導致2倍過取樣。
此外,切換預測方向的構想使預測增益在付出最少運算努力的情況下增加。為此,編碼器決定指示與預測殘差信號相關聯的一預測方向的一預測方向指示符。在一實施例中,第一組合信號,諸如中間信號,用以預測第二組合信號,諸如側信號。當中間信號的能量高於側信號的能量時,此方法是實用的。然而,當諸如側信號的第二組合信號的能量高於第一組合信號的能量時,即當側信號的能量高於中間信號的能量時,預測方向被逆轉且側信號用以預測中間信號。在第一種情況下,即當中間信號用以預測側信號時,中間信號、殘差信號、預測資訊及指示此預測方向的預測方向指示符從一編碼器被發送到一解碼器。在第
二種情況下,在第二組合信號用以預測第一組合信號時,諸如當側信號用以預測中間信號時,側信號(而非中間信號)與殘差信號、預測資訊及指示此逆轉方向的預測方向指示符一起被發送。
此流程允許更好地遮蔽所產生的量化雜訊。對大部分能量在諸如側頻道的第二組合信號中的信號而言,由側信號S來預測諸如中間信號的第一組合信號允許量化雜訊的主要部分依據原始聲源平移。這進而導致最終輸出信號中感知到更合乎需要的誤差分佈。
此流程的另一優點為提供一有效的多頻道成對編碼,就僅有兩個頻道而言,其為一有效的立體聲編碼。關於中/側(M/S)編碼的預測方向的信號適應選擇確保在運算複雜性最小程度增加的情況下在側信號中具有主導能量的信號有較高的預測增益。此外,還得到由於感知到的量化雜訊的空間方向相對於主要信號方向的平移所致的一感知上更適於遮蔽所產生的量化雜訊。此外,關於將在位元流中被傳送的預測係數的值的範圍縮小,允許更有效的編碼預測資訊/係數。此流程對諸如雙頻道或多頻道音訊及視訊信號之聯合轉換編碼的各類立體聲處理應用都是有用的。
較佳地,一基於混疊引入及消除的轉換被利用。特別是,MDCT就是這樣的一種轉換且允許隨後的區塊之間交叉淡化且沒有任何額外負擔,這是由於藉由解碼器端的重疊-相加處理而獲得的習知的時域混疊消除(TDAC)特性所致。
較佳地,在編碼器中計算、發送至解碼器且使用在解碼器中的預測資訊包含一虛部,該虛部可有利地反映在0°到360°之間任意選擇的數量的二音訊或視訊頻道之間的相差。當僅一實值轉換,或一般而言,僅提供一實部頻譜或僅提供一虛部頻譜的一轉換被應用時,運算複雜性顯著降低。為了利用指示左信號之某一頻帶與右信號的一相對應頻帶的一相移的此虛預測資訊,一實部-虛部轉換器,或依轉換實施而定,一虛部-實部轉換器在解碼器中被提供以由第一組合信號來計算相對於原始組合信號相位旋轉的一相位旋轉預測信號。此相位旋轉預測信號可接著與在位元流中傳送的預測殘差信號組合以重新產生一側信號,該側信號最終可與中間信號組合以獲得某一頻帶中的解碼左頻道及此頻帶中的解碼右頻道。
為了提高音訊或視訊品質,當預測殘差信號在編碼器中計算時,應用於解碼器端的相同的實部-虛部或虛部-實部轉換器也在編碼器端實施。
本發明優勢在於提供相較於具有相同位元率或具有相同音訊或視訊品質的系統的一改良的音訊或視訊品質及一減少的位元率。
此外,在SBR通常未被利用的情況下,還獲得相對於在高位元速率下的MPEG USAC系統中有用的統一立體聲編碼之運算效率的優勢。這些方法實施在基本的立體聲轉換編碼器的本地MDCT域中以殘差為基礎的預測立體聲編碼,而不是處理複混合QMF域中的信號。
依據本發明的一層面,本發明包含用以藉由MDCT域中的複預測來產生一立體聲信號的一設備或方法,其中複預測利用一實數-複數轉換在MDCT域中完成,其中此立體聲信號可以是編碼器端的一編碼立體聲信號或當用以產生立體聲信號的設備或方法應用於解碼器端時,可以是一解碼/發送立體聲信號。
本發明之較佳實施例隨後參照附圖來討論,其中:第1圖是一音訊或視訊解碼器的一較佳實施例的一方塊圖;第2圖是一音訊或視訊編碼器的一較佳實施例的一方塊圖;第3a圖繪示第2圖之編碼器計算器之一實施;第3b圖繪示第2圖之編碼器計算器之一可供選擇的實施;第3c圖繪示應用於編碼器端的一中/側組合規則;第4a圖繪示第1圖之解碼器計算器的一實施;第4b圖繪示一矩陣計算器形式的解碼器計算器的一可供選擇的實施;第4c圖繪示對應於第3c圖中所示之組合規則的一中/側反向組合規則;第5a圖繪示在較佳的是一實值頻域的頻域中運作的一音訊或視訊編碼器的一實施例;第5b圖繪示在頻域中運作的一音訊或視訊解碼器的一
實施;第6a圖繪示在MDCT域中運作且利用一實部-虛部轉換的一音訊或視訊編碼器的一可供選擇的實施;第6b圖繪示在MDCT域中運作且利用一實部-虛部轉換的一音訊或視訊解碼器;第7a圖繪示利用一立體聲解碼器及一隨後連接的SBR解碼器的一音訊後處理器;第7b圖繪示一中/側上混矩陣;第8a圖繪示第6a圖中的MDCT區塊的一詳細視圖;第8b圖繪示第6b圖之MDCT-1區塊的一詳細視圖;第9a圖繪示以相對於MDCT輸出減小的解析度運行的一最佳化器的一實施;第9b圖繪示計算預測資訊的一MDCT頻譜及相對應的較低解析度頻帶的一表示;第10a圖繪示第6a圖或第6b圖中的實部-虛部轉換器的一實施;第10b圖繪示第10a圖之虛部頻譜計算器的一可行的實施;第11a圖繪示具有一可逆的預測方向的一音訊編碼器的一較佳實施;第11b圖繪示有能力處理由可逆的預測方向所產生的殘差信號的一相關的音訊或視訊解碼器的一較佳實施;第12a圖繪示具有一可逆的預測方向的一音訊或視訊編碼器的另一較佳實施例;
第12b圖繪示由一預測方向指示符控制的一音訊或視訊解碼器的另一實施例。
第13a圖繪示一預測方向旗標;第13b圖繪示依預測方向指示符而定的不同編碼器端預測規則的一實施;第13c圖繪示關於處於第一狀態的一預測方向指示符的解碼器端計算規則;第13d圖繪示關於處於第二狀態的一不同的預測方向指示符的一解碼器端計算規則;第13e圖繪示應用在音訊或視訊編碼器或者音訊或視訊解碼器之實施例中的複值乘法;以及第14a-b圖繪示用以決定預測方向指示符的實施例。
第1圖繪示用以解碼在一輸入線100處獲得的一編碼的多頻道音訊信號的一音訊或視訊解碼器。該編碼的多頻道音訊信號包含利用用以組合代表多頻道音訊信號的第一頻道信號與第二頻道信號的一組合規則而產生的一編碼的第一組合信號、一編碼的預測殘差信號及預測資訊。該編碼的多頻道信號可以是一資料流,諸如有三個多工形式分量的位元流。額外的旁側資訊可包括在線100上的該編碼的多頻道信號中。該信號被輸入到一輸入介面102中。輸入介面102可被實施為一資料流解多工器,在線104上輸出編碼的第一組合信號、在線106上輸出編碼的殘差信號且在線108上輸出預測資訊。較佳地,該預測資訊是具有一不等於零
的實部及/或一異於零的虛部的一因數。編碼的組合信號及編碼的殘差信號被輸入到一信號解碼器110中以解碼第一組合信號以在線112上獲得一解碼的第一組合信號。此外,信號解碼器110還被配置成解碼編碼的殘差信號以在線114上獲得一解碼的殘差信號。依一音訊編碼器端的編碼處理而定,該信號解碼器可包含一熵解碼器,諸如霍夫曼解碼器、算術解碼器或其他的熵解碼器,及用以執行與一相關聯的音訊編碼器中的一量化運算匹配的一解量化運算的一隨後連接的解量化級。線112及114上的信號被輸入到一解碼器計算器115中,解碼器計算器115在線117上輸出第一頻道信號且在線118上輸出第二頻道信號,其中這兩個信號是立體聲信號或一多頻道音訊信號的兩個頻道。當例如,多頻道音訊信號包含五個頻道時,則該二信號是多頻道信號的兩個頻道。為了完全編碼具有五個頻道的此多頻道信號,依據第1圖的兩個解碼器可被應用,其中第一解碼器處理左頻道及右頻道,第二解碼器處理左環繞頻道及右環繞頻道,且第三單頻道解碼器將用以執行中央頻道的一單頻道解碼。然而,波形編碼器及參數編碼器的其他的分組或組合也可被應用。概括兩個以上頻道的預測方案的一可供選擇的方式為同時處理三個(或更多個)信號,即利用兩個預測係數由第一及第二信號來預測第三組合信號,非常類似於MPEG環繞聲中的「二對三」模組。
此外,在輸入線100處獲得的編碼的多頻道音訊信號還包含一預測方向指示符。此預測方向指示符,諸如預測方
向旗標,藉由輸入介面102從編碼的多頻道信號中擷取且轉發至解碼器計算器116,使得該解碼器計算器依據預測資訊、解碼的第一(或第二)組合信號及由輸入介面102提供的預測方向指示符來計算解碼的多頻道信號。
解碼器計算器116被配置成利用解碼的殘差信號114、預測資訊108及解碼的第一組合信號112來計算具有解碼的第一頻道信號117及解碼的第二頻道信號118的一解碼多頻道信號。特別地,解碼器計算器116被配置成以一種使解碼第一頻道信號及解碼的第二頻道信號至少為輸入到一對應編碼器中的多頻道信號的第一頻道信號及第二頻道信號之近似的方式運作,當產生第一組合信號及預測殘差信號時,解碼的第一頻道信號及解碼的第二頻道信號由組合規則來組合。具體而言,線108上的預測資訊包含異於零的一實值部分及/或異於零的一虛部。
解碼器計算器116可以不同方式來實施。第一實施被繪示於第4a圖中。此實施包含一預測器1160、一組合信號計算器1161及一組合器1162。該預測器接收解碼的第一組合信號112及預測資訊108且輸出一預測信號1163。具體而言,預測器1160被配置成對解碼的第一組合信號112或得自於該解碼的第一組合信號的一信號應用預測資訊108。用以導出應用預測資訊108的該信號的導出規則可以是一實部-虛部轉換,或同樣地,一虛部-實部轉換或一加權運算,或依實施而定,一相移運算或一組合的加權/相移運算。預測信號1163與解碼的殘差信號一起輸入到組合信號計算器
1161中以計算解碼的第二組合信號1165。信號112及1165均被輸入到組合器1162中,組合器1162組合解碼的第一組合信號與第二組合信號以分別在輸出線1166及1167上獲得具有解碼第一頻道信號及解碼第二頻道信號的解碼多頻道音訊信號。可選擇地,該解碼器計算器被實施為一矩陣計算器1168,矩陣計算器1168接收解碼的第一組合信號或信號M、解碼的殘差信號或信號D及預測資訊α 108作為輸入。矩陣計算器1168對信號M、D應用如1169所示的一轉換矩陣以獲得輸出信號L、R,其中L是解碼的第一頻道信號且R是解碼的第二頻道信號。第4b圖中的表示法類似於利用一左頻道L及一右頻道R的一立體聲表示法。此表示法已被應用以使其更易於理解,但是熟於此技者清楚的是信號L、R可以是具有兩個以上頻道信號的一多頻道信號中的兩個頻道信號的任一組合。矩陣運算1169將第4a圖之方塊1160、1161及1162中的運算統一成一種「單發」矩陣計算,且第4a圖之電路的輸入及第4a圖的輸出與矩陣計算器1168的輸入或矩陣計算器1168的輸出相同。
第4c圖繪示關於第4a圖中的組合器1162所應用的一反向組合規則的一範例。特別是,該組合規則類似於習知的中/側編碼中的解碼器端組合規則,其中L=M+S,且R=M-S。應理解的是,第4c圖中的反向組合規則所利用的信號S是由組合信號計算器來計算的信號,即線1163上的預測信號與線114上的解碼的殘差信號的組合。應理解的是,在此說明書中,線上的信號有時用該等線的參考數字來命
名或有時用屬於該等線的參考數字本身來標示。因此,該表示法如下:帶有某一信號的一條線指示信號本身。一條線可以是一固線式實施中的一實體線。然而,在一電腦化實施中,實體線並不存在,但是該線所代表的信號從一計算模組被發送到另一計算模組。
第11b圖繪示依據在一預測方向指示符輸入401處提供的預測方向指示符來運作的解碼器計算器的另一較佳實施。依預測方向指示符的狀態而定,402所示之第一計算規則或403所示之第二計算規則被應用。另一計算規則402在一輸出處提供第一頻道信號及第二頻道信號且該第一計算規則可如稍後描述的第13c圖中所示那樣來實施。在第一組合信號為中間信號且第二組合信號為側信號的一特定實施例中,預測方向指示符的值為「0」,且預測從第一組合信號執行到第二組合信號。在此情況下,輸入404有中間信號,即第一組合信號。然而,當預測方向指示符等於「1」時,一開關405使輸入404與第二計算規則裝置403的輸入連接。在此情況下,一從諸如側信號的第二組合信號到諸如中間信號的第一組合信號之預測被執行且輸入404將具有側信號而非中間信號。第二計算規則裝置403將再次輸出第一頻道信號及第二頻道信號,但是用以計算這兩個信號,即一立體聲實施例中的左信號及右信號的規則將是不同的。關於第二計算規則的一特定實施例被繪示於稍後討論的第13d圖中。
第2圖繪示用以編碼具有二或更多個頻道信號的一多
頻道音訊信號200的一音訊編碼器,其中第一頻道信號被繪示於201且第二頻道被繪示於202。這兩個信號均被輸入到一編碼器計算器203中以利用第一頻道信號201及第二頻道信號202以及預測資訊206來計算第一組合信號204及一預測殘差信號205,使得當預測殘差信號205與得自於第一組合信號204及預測資訊206的一預測信號組合時,產生第二組合信號,其中利用一組合規則,第一組合信號及第二組合信號均可得自於第一頻道信號201及第二頻道信號202。
該預測資訊由計算預測資訊206的一最佳化器207產生,使得預測殘差信號實現一最佳化目標208。第一組合信號204及殘差信號205被輸入到一信號編碼器209中以編碼第一組合信號204以獲得一編碼的第一組合信號210且用以編碼殘差信號205以獲得一編碼的殘差信號211。編碼信號210、211二者均被輸入到一輸出介面212中以組合編碼的第一組合信號210與編碼的預測殘差信號211以及預測資訊206以獲得一編碼的多頻道信號213,編碼的多頻道信號213與輸入到第1圖中所示之音訊解碼器之輸入介面102中的編碼的多頻道信號100類似。
依實施而定,最佳化器207接收第一頻道信號201及第二頻道信號202,或如由線214及215所示之得自於第3a圖的一組合器2031的第一組合信號214及第二組合信號215,這將稍後加以討論。
一較佳的最佳化目標被繪示於第2圖中,其中編碼增益被最大化,即位元率盡可能地減少。在此最佳化目標中,
殘差信號D相對於α而被最小化。換言之,這意味著,預測資訊α被選定,使得∥S-αM∥2被最小化。這產生一關於第2圖中所示之α的解決方案。信號S、M以區塊式供給且較佳的是頻域信號,其中表示法∥...∥意指自變數的2-範數,且其中<...>照舊說明點積。當第一頻道信號201及第二頻道信號202被輸入到最佳化器207中時,該最佳化器將必須應用組合規則,其中一示範性組合規則被繪示於第3c圖中。然而,當第一組合信號214及第二組合信號215被輸入到最佳化器207中時,最佳化器207本身並不需要實施該組合規則。
其他最佳化目標可能與感知品質有關。一最佳化目標可以是獲得一最大感知品質。所以,該最佳化器將需要來自一感知模型的額外資訊。最佳化目標的其他實施可能與獲得一最小的或一固定的位元率有關。則,最佳化器207將被實施以執行一量化/熵編碼操作以決定某些α值所需的位元率,使得α可被設定成滿足該等要求,諸如最小位元率,或可選擇地,一固定的位元率。該最佳化目標的其他實施可能與編碼器或解碼器資源的一最小利用率有關。假如實施此最佳化目標,關於某一最佳化所需資源的資訊將可供最佳化器207使用。此外,這些最佳化目標或其他最佳化目標的一組合可被應用以控制計算預測資訊206的最佳化器207。
該音訊編碼器額外包含一預測方向計算器219,預測方向計算器219在其輸出提供指示與第2圖中的編碼器計算器203所輸出的預測殘差信號205相關聯的一預測方向的預測
方向指示符。預測方向計算器219可以不同的方式來實施,其中若干範例依據第14圖來討論。
第2圖中的編碼器計算器203可以不同的方式來實施,其中一示範性的第一實施被繪示於第3a圖中,其中一顯式組合規則在組合器2031中執行。一可供選擇的示範性實施被繪示於第3b圖中,其中一矩陣計算器2039被利用。第3a圖中的組合器2031可被實施以執行第3c圖中所示之組合規則,該組合規則是作為模範的習知的中/側編碼規則,其中一加權因數0.5被應用於所有分支。然而,依實施而定,其他加權因數或完全沒有加權因數(整體加權)可被利用。此外,應指出的是,只要有可應用在第4a圖中所示之解碼器組合器1162中的一相對應的反向組合規則,應用與編碼器所應用的組合規則相反的一組合規則,其他組合規則,諸如其他線性組合規則或非線性組合規則也可被應用。由於本發明預測,任一可逆的預測規則均可被利用,這是因為對波形的影響被該預測「平衡」,即任一誤差都被包括在所發送的殘差信號中,這是因為由與編碼器計算器203組合的最佳化器207所執行的預測操作是一波形保持程序。
組合器2031輸出第一組合信號204及第二組合信號2032。該第一組合信號被輸入到一預測器2033中,且第二組合信號2032被輸入到殘差計算器2034中。預測器2033計算一預測信號2035,此預測信號2035與第二組合信號2032組合以最終獲得殘差信號205。特別是,組合器2031被配置成以兩種不同的方式來組合多頻道音訊信號的兩個頻道信
號201及202以獲得第一組合信號204及第二組合信號2032,其中該二不同方式被繪示於第3c圖中的一示範性實施例中。預測器2033被配置成對第一組合信號204或得自於該第一組合信號的一信號應用該預測資訊以獲得預測信號2035。得自於該組合信號的信號可藉由任一非線性或線性運算來導出,其中一實部-虛部轉換/虛部-實部轉換是較佳的,該轉換可利用一線性濾波器,諸如執行某些值的加權加算的FIR濾波器來實施。
第3a圖中的殘差計算器2034可執行一減法運算,使得該預測信號從第二組合信號中減去。然而,該殘差計算器中的其他運算也是可行的。對應地,第4a圖中的組合信號計算器1161可執行一加法運算,其中解碼殘差信號114與預測信號1163相加到一起以獲得第二組合信號1165。
第11a圖繪示編碼器計算器的一較佳實施。依輸入到預測方向輸入501中的預測方向指示符而定,第一預測規則502或第二預測規則503被選出,這由一受控選擇開關505來說明。該第一預測規則可以類似於第13b圖中所示者,為第一選項,且該第二預測規則可以類似於第13b圖中所示者,為第二選項。方塊502、503之輸出,即一組合信號及殘差信號,可被轉發至輸出介面,或在一信號編碼的情況下,轉發至第2圖中的信號編碼器209。此外,該預測方向指示符還與預測資訊、編碼的殘差信號及編碼的組合信號一起被輸入到輸出位元流中,假如一預測方向指示符等於「0」,則該編碼的組合信號可以是第一組合信號,或假如一預測
方向指示符等於「1」,則該編碼的組合信號可以是第二組合信號。
第5a圖繪示一音訊編碼器的一較佳實施。相較於第3a圖中所示之音訊編碼器,第一頻道信號201是一時域第一頻道信號55a的一頻譜表示。對應地,第二頻道信號202是一時域頻道信號55b的一頻譜表示。從時域到頻譜表示的轉換由用於第一頻道信號的一時間/頻率轉換器50及用於第二頻道信號的一時間/頻率轉換器51來執行。較佳地但並不一定,頻譜轉換器50、51被實施為實值轉換器。轉換演算法可以是一離散餘弦轉換(DCT)、僅實部被利用的一FFT、一MDCT或提供實值頻譜值的其他轉換。可選擇地,這兩種轉換均可被實施為一虛部轉換,諸如僅虛部被利用而實部被丟棄的DST、MDST或FFT。僅提供虛部的任一轉換也可被利用。利用一純實值轉換或一純虛部轉換的目的在於運算複雜性,因為,對每一頻譜值而言,僅一單一值,諸如幅值或實部,或可選擇地,相位或虛部必須經處理。對照之下,在一全複數轉換,諸如FFT中,兩個值,即每一頻譜線的實部與虛部,將必須被處理,這使運算複雜性增加至少一倍。在這裡,利用一實值轉換的另一原因是此轉換通常是精密取樣的,且因此為信號量化及熵編碼(實施在「MP3」、AAC或類似的音訊編碼系統中的標準的「感知音訊編碼」範例)提供一適合的(常用)域。
第5a圖還額外繪示作為一加法器的殘差計算器2034,其在「+」輸入處接收側信號且在「-」輸入處接收由預測
器2033所輸出的預測信號。此外,第5a圖還繪示預測器控制資訊從最佳化器轉發至多工器212的情況,此多工器212輸出代表編碼的多頻道音訊信號的一多工位元流。特別是,預測操作以側信號是由中間信號來預測的方式執行,如第5a圖右邊的方程式所示者。
雖然第5a圖繪示由M來預測S,即側信號由中間信號來預測,這在一預測方向指示符等於零時發生,但是,當該預測方向指示符等於1時,一反向預測被應用。則,由S來預測M被執行。這可藉由調換區塊2031之輸出來繪示,使得上輸出有側信號且下輸出有中間信號。
較佳地,預測器控制資訊206是第3b圖的右邊所示的一因數。在該預測控制資訊僅包含一實部,諸如一複值α的實部或複值α的一量的一實施例中,在此部分對應於異於零的一因數的情況下,當中間信號與側信號的波形結構彼此類似但具有不同的振幅時,可獲得一顯著的編碼增益。
然而,預測控制資訊僅包含第二部分,該第二部分可以是一複值因數的虛部或該複值因數的相位資訊,其中該虛部或相位資訊異於零,本發明對於彼此相移一異於0°或180°的一值而除了相移之外具有類似波形特性及類似振幅關係的信號達成顯著的編碼增益。
較佳地,一預測控制資訊是複值的。則,可使振幅不同且相移的信號獲得一顯著的編碼增益。在時間/頻率轉換提供複頻譜的情況下,運算2034將是一複數運算,其中該預測器控制資訊的實部被應用於複頻譜M的實部且該複預
測資訊的虛部被應用於該複頻譜的虛部。則,在加法器2034中,此預測操作的結果是一預測實部頻譜及一預測虛部頻譜,且該預測實部頻譜將從側信號S的實部頻譜中減去(頻寬式),且該預測虛部頻譜將從S的頻譜虛部中減去以獲得一複殘差頻譜D。
時域信號L及R是實值信號,但是頻域信號可以是實值的或複值的。當頻域信號是實值時,轉換是一實值轉換。當頻域信號是複值的時,轉換是一複值轉換。這意味著時間-頻率轉換的輸入及頻率-時間轉換的輸出是實值的,而頻域信號可以是,例如複值QMF域信號。
第5b圖繪示對應於第5a圖中所示之音訊編碼器的一音訊解碼器。與第1圖之音訊解碼器類似的元件有類似的參考數字。
由第5a圖中的位元流多工器212所輸出的位元流被輸入到第5b圖中的一位元流解多工器102中。位元流解多工器102將該位元流解多工成下混信號M及殘差信號D。下混信號M被輸入到一解量化器110a中。殘差信號D被輸入到一解量化器110b中。此外,位元流解多工器102還將來自該位元流的一預測器控制資訊108解多工且同樣輸入到預測器1160中。預測器1160輸出一預測側信號α.M且組合器1161組合由解量化器110b所輸出的殘差信號與該預測側信號以最終獲得重建側信號S。該信號接著被輸入到組合器1162中,組合器1162執行,例如,一和/差處理,如第4c圖中針對中/側編碼所示者。特別地,方塊1162執行一(反向)中/側
解碼以獲得左頻道的一頻域表示及右頻道的一頻域表示。該等頻域表示接著藉由對應的頻率/時間轉換器52及53而被轉換成一時域表示。
第5b圖繪示在編碼器中已完成由等於零的預測方向指示符所指示的由中間信號M來預測側信號S的情況。然而,當等於1的一預測方向指示符從編碼器,諸如第5a圖中的編碼器發送到第5b圖中的解碼器時,必須執行由S來反向預測M,即解碼器計算規則是:M是由S來計算而非在一預測方向指示符等於零之情況下的相反計算。
依系統實施而定,當頻域表示是一實值表示時,頻率/時間轉換器52、53是實值頻率/時間轉換器,或當頻域表示是一複值表示時,頻率/時間轉換器52、53是複值頻率/時間轉換器。
然而,對提高效率而言,執行一實值轉換是較佳的,如針對編碼器的第6a圖中及針對解碼器的第6b圖中的另一實施所示者。實值轉換50及51由一MDCT來實施。此外,預測資訊依照具有一實部及一虛部的一複值來計算。由於二頻譜M、S均是實值頻譜,且因此由於該頻譜沒有虛部,故由信號M的實值頻譜來計算一估計出的虛部頻譜600的一實部-虛部轉換器2070被提供。此實部-虛部轉換器2070是最佳化器207的一部分,且由方塊2070來估計的虛部頻譜600與實部頻譜M一起被輸入到α最佳化級2071中以計算預測資訊206,預測資訊206現在有由2073所標示的一實值因數及由2074所標示的一虛部因數。現在,依據此實施例,
第一組合信號M之實值頻譜乘以實部αR 2073以獲得預測信號,該預測信號接著從實值側頻譜中減去。此外,虛部頻譜600還乘以2074所標示的虛部αI以獲得另一預測信號,其中此預測信號接著從2034b所標示的實值旁側頻譜中減去。接著,預測殘差信號D在量化器209b中量化,而M的實值頻譜在方塊209a中量化/編碼。此外,較佳的是使預測資訊α在量化器/熵編碼器2072中量化及編碼以獲得編碼的複α值,該複α值被轉發至例如第5a圖之位元流多工器212,且最終被輸入到一位元流中作為預測資訊。
關於用於α的量化/編碼(Q/C)模組2072的位置,應指出的是,乘法器2073及2074較佳地利用完全相同的(量化)α,α也將在解碼器中加以利用。因此,可直接移動2072到2071的輸出,或可考慮到α的量化已計入2071中的最佳化程序。
雖然可在編碼器端計算一複頻譜,但是由於所有資訊均可供使用,故較佳地是在編碼器中執行方塊2070中的實數-複數轉換,以產生與第6b圖中所示之解碼器類似的情況。解碼器接收第一組合信號的一實值編碼頻譜及編碼殘差信號的一實值頻譜表示。此外,一編碼的複預測資訊在108獲得,且一熵解碼及一解量化在方塊65中執行以獲得1160b所標示的實部αR及1160c所標示的虛部αI。由加權元件1160b及1160c所輸出的中間信號被添加到解碼及解量化的預測殘差信號中。特別地,在複預測因數的虛部被用作加權因數的情況下,輸入到加權器1160c中的頻譜值藉由實部-虛部轉換器1160a而得自於實值頻譜M,這較佳地以與有關
於編碼器端的第6a圖中的方塊2070相同的方式來實施。與編碼器端成對比地,在解碼器端,中間信號或側信號的一複值表示未提供。原因在於由於位元率及複雜性的原因,僅編碼的實值頻譜從編碼器被發送到解碼器。
第6a圖及第6b圖繪示預測方向指示符等於零的情況,即由M來預測S或利用M及複預測資訊α來計算S的情況。然而,當該預測方向指示符等於1,或一般而言,指示一反向預測方向時,相同電路可被應用,但是方塊2031之輸出被調換,使得上線有側信號S且下線有中間信號M。在解碼器端,解碼器計算規則也改變,使得在一反向預測方向的情況下,M由S來計算,這也可藉由將第6b圖中方塊110a之輸出所在上線的M信號替換成側信號S來表示。這在方塊1161b之輸出產生一中間信號M且在方塊1162之上輸入處產生側信號S。因此,方塊1162所應用的規則必須適應此一不同的輸入情況,或M/S信號必須在輸入到方塊1162中之前調換。在後一種情況下,即當執行一調換時,方塊1162對兩個預測方向指示符值是相同的。
實部-虛部轉換器1160a或第6a圖中對應的方塊2070可按照公佈於WO 2004/013839 A1或WO 2008/014853 A1或美國專利第6,980,933號案中者來實施。依信號或實施而定,預測資訊α可以是純實值或純虛值或可以是具有一實部及一虛部的一複數。然而,若僅實值預測被實施,則預測方向逆轉將提供一額外運算需求非常有限的改良性能,且由於殘差信號將具有較小的能量,故將導致一較低的位元
率,這也同樣適用於預測資訊。因此,由於殘差信號及預測資訊需要較低的位元率,故發送預測方向指示符所需的附加位元率最終節省相當多的位元。因此,預測資訊可包含異於零的一實值部分及/或異於零的一虛部。可選擇地,業界所習知的任一實施可被應用,且一較佳實施依據第10a、10b圖來討論。
具體而言,如第10a圖中所示者,實部-虛部轉換器1160a包含連接至一虛部頻譜計算器1001的一頻譜框選擇器1000。頻譜框選擇器1000在輸入1002處接收一當前框i的一指示,且依實施而定,在一控制輸入1003處接收控制資訊。當,例如,線1002上的指示指出關於一當前框i的一虛部頻譜將被計算時,且當控制資訊1003指出僅當前框將被用於該計算時,頻譜框選擇器1000僅選擇當前框i且將此資訊轉發至虛部頻譜計算器。接著,該虛頻譜計算器僅利用當前框i的頻譜線來執行位於該當前框中的頻譜線(方塊1008)的一加權組合,針對頻率,接近或大約當前頻譜線k,一虛部頻譜線將如第10b圖中之1004所示者被計算出來。然而,當頻譜框選擇器1000接收指出前框i-1及後框i+1也將用以計算虛部頻譜的一控制資訊1003時,該虛部頻譜計算器額外接收框i-1及i+1中的值且執行關於框i-1的1005與關於框i+1的1006所標示的對應框中的頻譜線的一加權組合。加權運算的結果由方塊1007中的一加權組合來組合以最終獲得關於框fi的一虛部頻譜線k,虛部頻譜線k接著乘以元件1160c中的預測資訊之虛部以獲得關於此頻譜線的預測信號,該
預測信號接著被添加到加法器1161b中的中間信號之對應的頻譜線中供解碼器使用。在編碼器中,執行相同的操作,但是還在元件2034b中完成減法。
必須指出的是,控制資訊1003還可額外指示利用多於兩個圍框的框,或,例如,僅利用當前框及正好一或更多個先前框而不利用「未來」框以減少系統性延遲。
此外,還應指出的是,第10b圖中所示的在第一操作中一框中的頻譜線被組合且隨後這些分框組合操作的結果自身進行組合的分級加權組合也可以另一順序來執行。另一順序意味著,在第一步驟中,關於由控制資訊103所標示的一些相鄰框中的當前頻率k的頻譜線由一加權組合來組合。依將用以估計虛部頻譜線的相鄰頻譜線的數目而定,此加權組合用於頻譜線k、k-1、k-2、k+1、k+2等。接著,這些「時間序列」組合的結果遭受「頻率方向」中的一加權組合以最終獲得關於框fi的虛部頻譜線k。較佳地是,權數被設定成-1到1之間的值,且該等權數可以一直接FIR或IIR濾波器組合來實施,該直接FIR或IIR濾波器組合執行來自不同頻率及不同框的頻譜線或頻譜信號的一線性組合。
如第6a及6b圖中所示者,較佳的轉換演算法為MDCT轉換演算法,其應用於第6a圖中的元件50及51中的正向且應用於元件52、53中的反向,後接在頻譜域中運作的組合器1162中的一組合操作。
第8a圖繪示方塊50或51的一更加詳細的實施。特別地,一時域音訊樣本序列被輸入到一分析視窗程式500中,
分析視窗程式500利用一分析視窗來執行一視窗化操作,且特別是,以逐框方式來執行此操作,但是利用一50%的步長(stride)或重疊。該分析視窗程式的結果,即一序列的視窗化樣本框,被輸入到一MDCT轉換區塊501中,MDCT轉換區塊501輸出該實值MDCT框序列,其中這些框有混疊效應。示範性地,該分析視窗程式應用長度為2048個樣本的分析視窗。接著,MDCT轉換區塊501輸出有1024條實部頻譜線或MDCT值的MDCT頻譜。較佳地,分析視窗程式500及/或MDCT轉換器501可由一視窗長度或轉換長度控制器502來控制,使得,例如,對信號中的暫態部分而言,該視窗長度/轉換長度減小以獲得較好的編碼結果。
第8b圖繪示方塊52及53中所執行的反向MDCT運算。示範性地,方塊52包含用以執行一逐框反向MDCT轉換的一方塊520。當,例如,MDCT值的框有1024個值時,此MDCT反向轉換的輸出有2048個有混疊效應的時間樣本。此框被提供給一合成視窗程式521,合成視窗程式521對有2048個樣本的此框應用一合成視窗。視窗化框接著被轉發至一重疊/相加處理器522,示範性地,重疊/相加處理器522在兩個連續框之間應用一50%的重疊,且接著,執行一逐樣本加法,使得有2048個樣本的一區塊最終產生無混疊輸出信號的1024個新樣本。同樣,較佳地是利用例如,編碼的多頻道信號之旁側資訊中所傳送的資訊來應用523所標示之一視窗/轉換長度控制。
α預測值可針對一MDCT頻譜的每一條個別頻譜線來
計算。然而,已發現這並不是必需的且藉由執行預測資訊的一分頻帶計算可節省大量旁側資訊。換言之,第9圖中所示之頻譜轉換器50,例如,是依據第8a圖所討論的一MDCT處理器,提供具有第9b圖中所示之某些頻譜線的一高頻解析度頻譜。此高頻解析度頻譜被一頻譜線選擇器90利用,頻譜線選擇器90提供包含某些頻帶B1,B2,B3,...,BN的一低頻解析度頻譜。此低頻解析度頻譜被轉發至用以計算預測資訊的最佳化器207,使得一預測資訊並不針對每一頻譜線來計算,而是僅針對每一頻帶來計算。為此,最佳化器207接收每一頻帶中的頻譜線且由相同的α值用於頻帶中的所有頻譜線的假定計算最佳化操作。
較佳地,該等頻帶以一心理聲學方式被成形,使得該等頻帶的頻寬從低頻增至高頻,如第9b圖中所示者。或者,雖然並非如同遞增的頻寬實施一樣作為優選,但是等大小的頻帶也可被利用,其中每一頻帶有至少兩個或典型的更多,諸如至少30條頻率線。典型地,對有1024條頻譜線的頻譜而言,30個以下複α值(例如22個),且較佳地,5個以上α值被計算。對有1024條以下頻譜線(例如,128條頻譜線)的頻譜而言,較佳的是,更少的頻帶(例如,6個)用於α。
對計算該等α值而言,並不一定需要高解析度MDCT頻譜。可選擇地,具有類似於計算α值所需解析度的一頻率解析度的一濾波器組也可被利用。當頻帶頻率將要增大時,此濾波器組應該有變化的頻寬。然而,當從低到高頻的一恆定頻寬充足時,則具有等寬次頻帶的一習用濾波器組可
被利用。
依實施而定,第3b或4b圖中所示之α值的符號可逆反。然而,為了維持一致,此符號逆轉必須用於編碼器端也用於解碼器端。相較於第6a圖,第5a圖繪示編碼器的一概圖,其中項目2033是由預測器控制資訊206來控制的一預測器,預測器控制資訊206在項目207中被決定且嵌入作為位元流中的旁側資訊。一一般化時間/頻率轉換而不是第6a圖中的方塊50、51中所利用的MDCT如所討論者用於第5a圖中。如先前所概述者,第6a圖是對應於第6b圖中的解碼器程序的一編碼器程序,其中L代表左頻道信號,R代表右頻道信號,M代表中間信號或下混信號,S代表側信號且D代表殘差信號。可選擇地,L也被稱作第一頻道信號201,R也被稱作第二頻道信號202,M也被稱作第一組合信號204且S也被稱作第二組合信號2032。
較佳地,編碼器中的模組2070及解碼器中的1160a應該完全匹配以確保正確的波形編碼。這較佳地適用於以下情況:這些模組利用某些形式的逼近,諸如截尾濾波器或當僅利用一個或兩個而非三個MDCT框,即線60上的當前MDCT框、線61上的前一MDCT框及線62上的次一MDCT框。
此外,較佳的是第6a圖中的編碼器中的模組2070利用非量化MDCT頻譜M作為輸入,儘管解碼器中的實部-虛部(R2I)模組1160a僅有量化的MDCT頻譜可用作輸入。可選擇地,還可利用編碼器利用量化的MDCT係數作為模組2070
的一輸入的一實施。然而,從感知觀點來看,利用非量化的MDCT頻譜作為模組2070的輸入是較佳的方法。
隨後,本發明實施例的若干層面被更加詳細地加以討論。
標準的參數立體聲編碼,諸如USAC系統中之基於MPEG環繞聲(MPS)的立體聲編碼,依賴於過取樣複(混合)QMF域允許時間及頻率變化的感知激勵的信號處理而不引入混疊偽差的性能。然而,假如有下混/殘差編碼(此處用於所考量的高位元率),則所產生的統一立體聲編碼器作用為一波形編碼器。由於波形編碼範例確保MDCT-IMDCT處理鏈的混疊消除特性被足夠好地保存下來,故這允許在一精密取樣域,例如,MDCT域中運作。
然而,為了能夠利用有內頻道時間或相位差的立體聲信號用一複值預測係數α可實現的改良的編碼效率,下混信號DMX的一複值頻域表示需要作為複值上混矩陣的輸入。這可藉由除了對DMX信號利用MDCT轉換還利用一MDST轉換而獲得。MDST頻譜可由MDCT頻譜來計算(精確或作為一近似)。
此外,上混矩陣的參數化可藉由發送複預測係數α來代替MPS參數來簡化。因此,僅兩個參數(α的實部及虛部)而非三個(ICC、CLD及IPD)被發送。假如有下混/殘差編碼,因為MPS參數化中有冗餘,故有這種可能。MPS參數化包括關於添加到解碼器中的解相關的相對量(即RES與DMX信號的能量比)的資訊,且當實際的DMX及RES信號被發送
時,此資訊是多餘的。
由於相同的原因,假如有下混/殘差編碼,那麼一增益因數會被淘汰。因此,用於利用複預測的下混/殘差編碼的上混矩陣現在是:
相較於第4b圖中的方程式1169,α的符號在此方程式中逆反,且DMX=M且RES=D。因此,相對於第4b圖,這是一可供選擇的實施/表示法。
有兩個選擇可供用來在編碼器中計算預測殘差信號。一個選擇是利用下混的量化MDCT頻譜值。由於編碼器及解碼器利用相同的值來產生預測,故這將導致與M/S編碼相同的量化誤差分佈。另一個選擇是利用非量化的MDCT頻譜值。這意味著編碼器及解碼器將不會利用相同的資料來產生預測,這允許編碼誤差依據信號的瞬時遮蔽特性在空間上重新分佈,代價是編碼增益有所減少。
較佳的是如所討論者,用三個相鄰的MDCT框的二維FIR濾波在頻域中直接計算MDST頻譜。後者可被視為「實部-虛部」(R2I)轉換。MDST之頻域運算的複雜性可以不同方式減小,這意味著僅MDST頻譜的一近似被計算:
●限制FIR濾波器抽頭的數目。
●僅由當前的MDCT框來估計MDST。
●由當前及前一MDCT框來估計MDST。
只要相同的近似法用在編碼器及解碼器中,波形編碼
特性就不受影響。然而,此種MDST頻譜的近似法可能導致複預測所獲得的編碼增益減小。
若基本的MDCT編碼器支持視窗形狀切換,則用以計算MDST頻譜的二維FIR濾波器的係數必須適應實際的視窗形狀。應用於當前框之MDCT頻譜的濾波器係數依完整視窗即每種視窗類型及每一視窗過渡所需的一組係數而定。應用於前一/次一框的MDCT頻譜的濾波器係數僅依視窗與當前框的半重疊而定,即這組係數僅需要供每一種視窗類型使用(沒有額外的係數用於過渡)。
若基本的MDCT編碼器利用轉換長度切換,包括在近似法中的前一及/或次一MDCT框,在不同的轉換長度之間切換變得更加複雜。由於當前及前一/次一框中MDCT係數的數目不同,故在此情況下,二維濾波更加複雜。為了避免增加運算及結構複雜性,以各別框的近似的精度減小為代價之下,前一/次一框可從轉換長度過渡的濾波中排除。
此外,需要特別關注MDST頻譜的最低及最高部分(接近DC及fs/2),其中可供FIR濾波使用的周圍MDCT係數少於需求者。此處,濾波程序需要適應於正確地計算MDST頻譜。這可藉由對不足的係數使用MDCT頻譜的一對稱擴展(依據時間離散信號的頻譜的週期性),或藉由相應地調適濾波器係數來完成。當然,這些特定情況的處理在以MDST頻譜的邊緣附近的精度減小為代價之下可被簡化。
在解碼器中由發送的MDCT頻譜來計算精確的MDST頻譜使解碼器延遲增加一框(此處假定有1024個樣本)。藉由
利用不需要次一框的MDCT頻譜作為一輸入的MDST頻譜的一近似,可避免額外的延遲。
下面的項目列表總結出基於MDCT的統一立體聲編碼勝過基於QMF的統一立體聲編碼的優勢:
●運算複雜性僅小幅增加(當SBR未被利用時)。
●若MDCT頻譜未被量化,則程度可達完全重建。請注意對基於QMF的統一立體聲編碼並非如此。
●M/S編碼及強度立體聲編碼的自然統一及延伸。
●由於立體聲信號處理及量化/編碼可緊密耦合,故有簡化編碼器調諧的更簡潔規則的架構。請注意,在基於QMF的統一立體聲編碼中,MPS框及MDCT框並未對齊且標度因數頻帶與MPS參數頻帶並不匹配。
●由于僅兩個參數(複數α)而非像MPEG環繞聲中一樣有三個參數(ICC、CLD、IPD)必須被發送,故能有效編碼立體聲參數。
●若MDST頻譜被計算成一近似(並未利用次一框),則無額外的解碼器延遲。
一實施的重要特性可總結如下:
a)MDST頻譜用二維FIR濾波由當前、前一及次一MDCT頻譜來計算。藉由減少所利用的FIR濾波器抽頭的數目及/或MDCT框的數目,MDST運算(近似)可能有不同的複雜性/品質折衷。詳言之,若一相鄰框因為發送或轉換長度切換期間
的框損失而不能使用,則特定框從MDST估計中排除。就轉換長度切換的情況而言,該一排除在位元流中發信號。
b)僅兩個參數,複預測係數α的實部及虛部,而非ICC、CLD及IPD,被發送。α的實部及虛部被獨立處理,限制到範圍[-3.0,3.0]且以0.1的步階大小來量化。若某一參數(α的實部或虛部)並未用在一特定框中,則這在位元流中發信號,且不相關的參數不被發送。該等參數以時間差異或頻率差異來編碼,且最後應用利用一標度因數編碼簿的霍夫曼編碼。預測係數是每兩個標度因數頻帶被更新,這產生類似於MPEG環繞聲之頻率解析度的一頻率解析度。此量化及編碼方案對於目標位元率為96kb/s的一典型配置內的立體聲旁側資訊產生一約2kb/s的平均位元率。
較佳的額外或可供選擇的實施細節包含:
c)對α的兩個參數中的每一者而言,可在每個框或每個串流基礎上選擇非差分(PCM)或差分(DPCM)編碼,由位元流中的一相對應的位元來發信號。對DPCM編碼而言,時間或頻率差分編碼都是可行的。同樣,這可利用一單一位元旗標來發信號。
d)代替重新利用一預定義的編碼簿,諸如AAC標
度因數簿,可利用一專用的不變的或信號自適應編碼簿來編碼α參數值,或可恢復使用固定長度(例如,4位元)無符號或二之補數碼字。
e)α參數值的範圍以及參數量化步階大小可任意選擇且最佳化成眼前的信號特性。
f)現用α參數頻帶的數目及頻譜及/或時間寬度可被任意選擇且最佳化成特定的信號特性。詳言之,頻帶配置可在每個框或每個串流的基礎上發信號。
g)除了上面的a)中所概述的機制以外或代替該等機制,可用位元流中的每個框的一位元來外顯地發信號,使得僅當前框的MDCT頻譜用以計算MDST頻譜近似,即並未考慮相鄰的MDCT框。
實施例有關於用於MDCT域中的統一立體聲編碼的一發明系統。即使是在較高的位元率下(在SBR未被利用的情況下)也能利用MPEG USAC系統中的統一立體聲編碼的優勢,且伴隨一基於QMF方法的運算複雜性沒有明顯增加。
下面的兩個列表總結出前述較佳的配置層面,這些層面可彼此交替利用或附加至其他層面被使用:1a)一般概念:由中間MDCT及MDST複值預測旁側MDCT;1b)利用一或更多個框(3框方法引入延遲)由頻域中的MDCT(「R2I轉換」)來計算/估算MDST;
1c)濾波器截尾(甚至降到1框2抽頭,例如[-1 0 1])以減少運算複雜性;1d)正確處理DC及fs/2附近的轉換係數;1e)正確處理視窗形狀切換;1f)若其有一不同的轉換大小,則不利用前一/次一框;1g)基於編碼器中的非量化或量化MDCT係數來預測;2a)直接量化及編碼複預測係數的實部及虛部(即沒有MPEG環繞聲參數化);2b)對此利用統一的量化器(步階大小為,例如0.1);2c)利用適當的頻率解析度以供預測係數(例如,每2個標度因數頻帶1個係數);2d)假如所有預測係數都是實值的,則有廉價信號傳遞;2e)每個框有顯式位元以迫使1框R2I運算發生,即並不利用前一/次一框。
在一實施例中,編碼器額外包含:用以將兩個頻道信號的一時域表示轉換成具有用於該二頻道信號的次頻帶信號的兩個頻道信號的一頻譜表示的一頻譜轉換器(50、51),其中組合器(2031)、預測器(2033)及殘差信號計算器(2034)被配置成單獨處理每一次頻帶信號,以便獲得複數個次頻帶的第一組合信號及殘差信號,其中輸出介面(212)被配置成組合該等複數個次頻帶的編碼第一組合信號及編碼殘差信號。
雖然某些層面已就一設備而被描述,但是應清楚的
是,這些層面還代表對應方法的說明,其中一方塊或裝置對應於一方法步驟或一方法步驟的一特徵。類似地,就一方法步驟之脈絡所描述的層面也代表一對應設備之一對應方塊或項目或特徵的說明。
在本發明的一實施例中,視窗形狀切換的正確處理被應用。當第10a圖被考量時,一視窗形狀資訊109可被輸入到虛部頻譜計算器1001中。具體而言,執行諸如MDCT頻譜的實值頻譜之實部-虛部轉換的虛部頻譜計算器(諸如第6a圖中的元件2070或第6b圖中的元件1160a)可被實施為一FIR或IIR濾波器。此實部-虛部模組1001中的FIR或IIR係數依當前框的左半部分及右半部分的視窗形狀而定。此視窗形狀可能對一正弦視窗或一KBD(凱撒貝索衍生)視窗是不同的,且,以特定視窗序列配置為準,可以是一長視窗、一開始視窗、一停止視窗、一停止-開始視窗或一短視窗。實部-虛部模組可包含一二維FIR濾波器,其中一維度是時間維度,其中兩個連續的MDCT框被輸入到FIR濾波器中,且另一維度是頻率維度,其中一個框的頻率係數被輸入。
下表列出關於有不同視窗形狀的一當前視窗序列的不同的MDST濾波器係數,及該視窗之左半部分及右半部分的不同實施。
此外,在前一視窗用以由MDCT頻譜來計算MDST頻譜時,視窗形狀資訊109提供關於前一視窗的視窗形狀資訊。關於前一視窗的對應的MDST濾波器係數作為當前視窗序列及形狀的函數在下表中給出。
因此,依視窗形狀資訊109而定,第10a圖中的虛部頻譜計算器1001藉由應用不同組的濾波器係數來調適。
利用於解碼器端的該視窗形狀資訊在編碼器端被計算出來且作為旁側資訊與編碼器輸出信號一起發送。在解碼器端,視窗形狀資訊109藉由位元流解多工器(例如第5b圖中的102)而從該位元流中被擷取並提供給如第10a圖中所示之虛部頻譜計算器1001。
當視窗形狀資訊109表明前一框有一不同的轉換大小時,較佳的是前一框並不被用來由實值頻譜計算虛部頻譜。當解讀視窗形狀資訊109得出次一框有一不同的轉換大小時,也同樣適用。則,次一框並不被用來由實值頻譜計算虛部頻譜。在此一情況下,例如當前一框有一與當前框不同的轉換大小時且當次一框同樣有一與當前框不同的轉
換大小時,則僅有當前框,即當前視窗的頻譜值,用以估計虛部頻譜。
編碼器中的預測以諸如MDCT係數的非量化或量化頻率係數為基礎。當第3a圖中的元件2033所示之預測,例如,以非量化資料為基礎時,殘差計算器2034較佳地也作業於非量化資料上且殘差計算器輸出信號,即殘差信號205,在被熵編碼並發送至一解碼器之前被量化。然而,在一可供選擇的實施例中,較佳的是預測以量化MDCT係數為基礎。則,量化可在第3a圖中的組合器2031之前進行,使得第一量化頻道及第二量化頻道作為計算殘差信號的基礎。可選擇地,量化也可在組合器2031之後進行,使得第一組合信號及第二組合信號以一非量化形式來計算且在殘差信號被計算之前被量化。同樣,可選擇地,預測器2033可在非量化域中運作且預測信號2035在被輸入到殘差計算器之前被量化。則,有用的是,同樣被輸入到殘差計算器2034中的第二組合信號2032也在該殘差計算器計算出第6a圖中的殘差信號D之前被量化,這可在第3a圖中的預測器2033內實施,作業於與解碼器端可用者相同的量化資料。於是可保證,為了實現執行殘差信號計算的目的而在編碼器中估計出的MDST頻譜,與用以執行反向預測,即由殘差信號來計算側信號的解碼器端MDST頻譜完全相同。為此,第一組合信號,諸如第6a圖中的線204上的信號M,在被輸入到方塊2070之前被量化。接著,MDST頻譜利用當前框之量化MDCT頻譜被計算,且依控制資訊而定,前一或次一框的
量化MDCT頻譜被輸入到乘法器2074中,且第6a圖的乘法器2074的輸出同樣將是一非量化頻譜。此非量化頻譜將從輸入到加法器2034b中的頻譜中減去且結果最終將在量化器209b中量化。
在一實施例中,每一預測頻帶的複預測係數的實部及虛部被直接量化及編碼,即無需例如MPEG環繞聲參數化。量化可利用步階大小為例如0.1的一統一的量化器來執行。這意味著任何對數量化步階大小等等都未被應用,但是任何線性步階大小均被應用。在一實施中,複預測係數的實部及虛部的值的範圍從-3變化到3,這意味著60個,或依實施細節而定,61個量化步驟被用於複預測係數的實部及虛部。
較佳地,第6a圖中的乘法器所應用的實部2073及第6a圖中所應用的虛部2074在應用之前被量化,使得用於預測的相同值再一次被用於編碼器端,也可用於解碼器端。這保證預測殘差信號除了引入的量化誤差之外涵蓋當一非量化預測係數應用於編碼器端、而一量化預測係數應用於解碼器端時可能出現的任何誤差。較佳地是,量化是以一盡可能地使相同情況及相同信號可利用於編碼器端及解碼器端的方式被應用。因此,較佳的是利用與量化器209a中所應用者相同的量化來量化實部-虛部計算器2070的輸入。此外,較佳的是量化預測係數α的實部及虛部以在項目2073及項目2074中執行乘法。量化與應用於量化器2072者相同。此外,第6a圖中的方塊2031所輸出的側信號也可在加
法器2034a及2034b之前被量化。然而,在這些加法器以一非量化旁側信號實施加法之後藉由量化器209b來執行量化是沒有問題的。
在本發明的另一實施例中,假如所有預測係數均是實數,則一廉價信號傳遞被實施。情況可能是關於某一框即關於音訊信號的相同時間部分的所有預測係數被計算得到實數。此情況可能在完整的中間信號及完整的側信號彼此無相移或僅有小相移時發生。為了節省位元,這由一單一的實數指示符來表示。則預測係數的虛部並不需要在具有代表一零值的碼字的位元流中發信號。在解碼器端,位元流解碼器介面,諸如位元流解多工器,將解讀此實數指示符且將不會搜尋關於一虛部的碼字,而是將假定該位元流的對應段中的所有位元僅代表實值預測係數。此外,當接收框中的預測係數的所有虛部均為零的一指示時,預測器2033將無需由實值MDCT頻譜來計算一MDST頻譜,或一般而言,一虛部頻譜。因此,第6b圖中的解碼器中的元件1160a將被停用且反向預測將僅利用第6b圖中的乘法器1160b中所應用的實值預測係數來進行。在編碼器端的元件2070將被停用且預測將僅利用乘法器2073來進行的情況下,也同樣適用。此旁側資訊較佳地用作每一框中的一附加位元,且解碼器將逐框讀取此位元以決定實部-虛部轉換器1160a是否將針對一框起作用。因此,提供此資訊因一框的預測係數的所有虛部為零而更有效信號傳遞,導致位元流的大小減少,且此外,使得用於此框的解碼器的複雜性極大地
減小,這直接造成例如實施在一電池供電的行動裝置上的此一處理器的電池消耗減少。
依據本發明之較佳實施例的複立體聲預測是用以有效編碼頻道間有音量及/或相差的頻道對的一工具。利用一複值參數α,左及右頻道經由以下矩陣來重建。dmxIm表示對應於下混頻道dmxRe之MDCT的MDST。
以上方程式是另一表示,其對α的實部及虛部是分開的且代表一組合預測/組合運算的方程式,其中預測信號S不一定被計算出來。
以下資料元素較佳地用於此工具:
cplx_pred_all 0:某些頻帶利用L/R編碼,如由cplx_pred_used[]發信號者
1:所有頻帶均利用複立體聲預測
cplx_pred_used[g][sfb] 每一視窗組g及標度因數頻帶sfb的一位元旗標(在從預測頻帶映射之後),指出
0:複預測未被利用,L/R編碼被利用
1:複預測被利用
complex_coef 0:對所有預測頻帶而言,αIm=0(唯讀預測)
1:αIm針對所有預測頻帶被發送
use_prev_frame 0:僅利用當前框供MDST估計之用
1:利用當前框及前一框供MDST估計之用
delta_code_time 0:預測係數的頻率差分編碼
1:預測係數的時間差分編碼
hcod_alpha_q_re αRe的霍夫曼編碼
hcod_alpha_q_im αIm的霍夫曼編碼
第13a圖繪示本發明所依賴的另一資料元素,即預測方向指示符pred_dir。此資料元素指出依據第13a圖中的表格的預測方向。因此,第一值0意指由中間頻道來預測旁側頻道,且第二值,諸如值「1」,意指由旁側頻道來預測中間頻道。
這些資料元素在一編碼器中計算且被輸入到一立體聲或多頻道音訊信號的旁側資訊中。該等元素藉由一旁側資訊擷取器從解碼器端的旁側資訊中擷取且用以控制解碼器計算器以執行一對應的動作。
複立體聲預測需要當前頻道對的下混MDCT頻譜,且假如complex_coef=1,需要估計當前頻道對的下混MDST頻譜,即MDCT頻譜的虛部對應體。下混MDST估計由當前框的MDCT下混來計算,且假如use_prev_frame=1,則由前一框的MDCT下混來計算。視窗組g及組視窗b的前一框的MDCT下混由此框的重建左及右頻譜來獲得。
下混MDST估計的計算依賴於長度是均勻的MDCT轉換、window_sequence,以及filter_coefs與filter_coefs_prev,
其等係為包含濾波器核心且依據先前表格導出的陣列。
對所有預測係數而言,與前一(在時間或頻率上)值的差是利用一霍夫曼編碼簿來編碼的。預測係數不對cplx_pred_used=0的預測頻帶發送。
反向量化預測係數alpha_re與alpha_im由下式提供:alpha_re=alpha_q_re*0.1
alpha_im=alpha_q_im*0.1
當側信號S相較於下混信號M有一相當高的能量時,可能發生無預測方向逆反的問題。在此類情況下,可能難以預測S中存在的信號的主要部分,特別是當M的等級非常低且因此主要由雜訊成份組成時。
此外,關於預測係數α的值的範圍可能變得非常大,可能導致由不希望的量化雜訊的放大或搖擺所致的編碼偽差(例如,空間未遮蔽效應)。
為了提供一範例,可考量一輕微搖擺的異相信號,其中R=-0.9.L,這導致一相當大的最佳化預測因數19。
R=-0.9.L;M=0.5.(L+R)=0.05.L;S=0.5.(L-R)=0.95.L;RES=S-(α*M);optimum α:α=19;依據本發明,預測方向被切換,且此結果造成在最少的運算作用與一較小的α之下的預測增益。
假如一側信號S相較於中間信號M具有高能量,則使預
測方向相反使得M由S的複值表示來預測,如例如第13b圖中的(2)中所示者是有利的。當切換預測方向使得M由S來預測時,S較佳地需要一附加的MDST,但是M並不需要MDST。此外,在此情況下,(實值)側信號而非第13b圖中的(1)中之第一選項的中間信號必須與殘差信號及預測資訊α一起被發送至解碼器。
預測方向的切換可在每個框的基礎上即在時間軸基礎上,在每一頻帶的基礎上即在頻率軸的基礎上,或其組合的基礎上完成,使得按頻帶及按頻率的切換成為可能。這導致對每一框及每一頻帶的一預測方向指示符(一位元),但僅容許每一框的一單一預測方向也是有幫助的。
為此,預測方向計算器219被提供,其被繪示於第12a圖中。與在其他圖中一樣,第12a圖也繪示一MDCT級50/51、一中/側編碼級2031、一實數-複數轉換器2070、預測信號計算器2073/2074及一最終殘差信號計算器2034。此外,一預測方向控制M/S調換程式507被提供,其被配置成且用以實施第11a圖中所示之兩種不同的預測規則502、503。第一預測規則是調換程式507處於第一狀態,即M及S未被調換的情況。第二預測規則在調換程式507處於調換狀態時即M及S由輸入被調換成輸出時實施。此實施之優勢在於對於兩種預測方向支持調換程式507的完整電路是相同的。
同樣地,不同的解碼規則402、403,即不同的解碼器計算規則,也可在組合器1162的輸入藉由一調換程式407來
實施,組合器1162在第12b的實施例中被實施以執行一反向中/側編碼。亦可被稱作「預測開關」的調換程式407在其輸入接收下混信號DMX及一信號IPS,其中IPS代表反向預測信號。依預測方向指示符而定,調換程式407使DMX與M連接且使IPS與S連接或使DMX與S連接且使IPS與M連接,如第12b圖上方的表格中所示者。
第13b圖繪示第11b圖的第一計算規則即方塊402所示之規則的一實施。在第一實施例中,反向預測被明確執行,使得側信號由殘差信號及所發送的中間信號來明確地計算。接著,在一後續步驟中,L及R由第13圖中顯式反向預測方程式右邊的方程式來計算。在一可供選擇的實施中,一隱式反向預測被執行,其中側信號S未被明確計算出,但是左信號L及右信號R利用預測資訊α由所發送的M信號及所發送的殘差信號來直接計算。
第13d圖繪示關於另一預測方向即預測方向指示符pred_dir等於1時的方程式。同樣,用以獲得M的顯式反向預測可利用所傳送的殘差信號及所傳送的側信號來執行且L及R的一後續計算可利用中間信號及側信號來完成。可選擇地,一隱式反向預測可被執行,使得L及R由所傳送的信號S、殘差信號及預測資訊α來計算,無需明確計算中間信號M。
如下文第13b圖中所概述者,α的符號可在所有方程式中逆反。當這被執行時,針對殘差信號計算,第13b圖有兩項的一總和。則,顯式反向預測變成一差計算。依實際實
施而定,第13b圖至第13d圖中所概述的表示法或相反的表示法可能是合宜的。
在第13b圖至第13d圖中的方程式中,可能發生若干複數乘法。這些複數乘法可能在α為一複數的所有情況下發生。所以,需要M或S的複函數逼近,如方程式中所述者。複數乘法將使兩個因數之實部的實際乘積與該二因數之虛部的乘積有差值,如第13e圖中僅針對α或針對(1+α)的情況所示者(若α為複數,則是複乘積)。
預測方向計算器219可以不同方式來實施。第14圖繪示用以計算預測方向的兩種基本方式。一種方式是一前向饋送計算,其中信號M及信號S,一般而言為第一組合信號及第二組合信號,藉由計算一能量差來比較,如步驟550中所示者。接著,在步驟551中,該差值與一臨界值進行比較,其中該臨界值可經由一臨界值輸入線而被設定或可被固定至一程式。然而,較佳的是有某一滯後。因此,根據關於實際預測方向的一決策標準,S與M的能量差可被評估。為了實現最佳感知品質,該決策標準可藉由利用某些滯後,即基於最後一個框之預測方向的不同決策臨界值而穩定化。關於該預測方向的另一個可以想到的標準將是輸入頻道的內頻道相差。關於滯後,臨界值的控制可以某一時間間隔內鮮有預測方向變化優先於在此時間間隔內有許多變化的方式來執行。因此,從某一臨界值開始,該臨界值可響應於一預測方向變化而增加。因此,基於此一高值,在無預測方向變化被計算期間,該臨界值可減少得越來越
多。於是,當該臨界值接近其最後一次變化之前的值時,該臨界值維持在同一位準且系統再次準備改變預測方向。僅當S與M之間有非常高的差值時,此流程才允許短間隔內有變化,但是當M與S的能量差沒有那麼高時,允許較少的頻率變化。
可選擇地,或附加地,一回饋計算可被執行,其中關於二預測方向的殘差信號如步驟552中所示者來計算。接著,在步驟553中,預測方向被計算,這產生一較小的殘差信號或殘差信號或下混信號的較少位元或較少的總位元數或一較好的音訊信號品質或任一其他特定情況。因此,導致某一最佳化目標的預測方向在此回饋計算中被選出。
需強調的是,本發明不僅適用於立體聲信號,即僅具有兩個頻道的多頻道信號,而且適用於諸如5.1或7.1信號的有三個或更多個頻道的一多頻道信號的兩個頻道。一多頻道實施的實施例可包含複數個信號對的識別及一對以上信號的資料的計算及並行傳輸或儲存。
在音訊解碼器的一實施例中,編碼或解碼的第一組合信號104及編碼或解碼的預測殘差信號106各包含第一複數個次頻帶信號,其中預測資訊包含第二複數個預測資訊參數,該第二複數個小於該第一複數個,其中預測器1160被配置成對解碼的第一組合信號的至少兩個不同的次頻帶信號應用相同的預測參數,其中解碼器計算器116或組合信號計算器1161或組合器1162被配置成執行一次頻帶式處理;且其中該音訊解碼器進一步包含一合成濾波器組52、53,
合成濾波器組52、53用以組合解碼的第一組合信號與解碼的第二組合信號的次頻帶信號以獲得一時域第一解碼信號及一時域第二解碼信號。
在音訊解碼器的一實施例中,預測器1160被配置成接收視窗形狀資訊109且用以利用不同的濾波器係數來計算一虛部頻譜,其中不同的濾波器係數依由視窗形狀資訊109所指示的不同的視窗形狀而定。
在音訊解碼器的一實施例中,解碼的第一組合信號與由包括在編碼的多頻道信號100中的一轉換長度指示符所指示的不同的轉換長度相關聯,且其中預測器1160被配置成僅利用具有相同的附隨轉換長度的第一組合信號的一或更多個框來估計關於第一組合信號的當前框的虛部。
在音訊解碼器的一實施例中,預測器1160被配置成利用頻率相鄰的解碼第一組合信號的複數個次頻帶來估計第一組合信號的虛部,且其中,假如有低或高頻,則第一組合信號的當前框的頻率對稱擴展用於與低於或等於零或高於或等於當前框所基於的一取樣頻率的一半的頻率相關聯之次頻帶,或其中包括在預測器1160a中的一濾波器的濾波器係數針對缺失次頻帶設定一相較於非缺失次頻帶的不同值。
在音訊解碼器的一實施例中,預測資訊108以量化及熵編碼表示包括在編碼的多頻道信號中,其中該音訊解碼器進一步包含一預測資訊解碼器65,預測資訊解碼器65用於熵解碼或解量化以獲得由預測器1160來利用的一解碼的預
測資訊,或其中編碼的多頻道音訊信號包含一資料單元,該資料單元以第一狀態指示預測器1160是使用時間上在解碼第一組合信號的當前框之前或之後的至少一框,且以第二狀態指示預測器1160僅利用解碼的第一組合信號的一單一框來估計該解碼第一組合信號的當前框的一虛部,且其中預測器1160被配置成感測該資料單元的一狀態且相應地運作。
在音訊解碼器的一實施例中,預測資訊108包含時間連續或頻率相鄰複值間之差的碼字,且其中該音訊解碼器被配置成執行一熵解碼步驟及一後續的差分解碼步驟以獲得時間連續的量化複預測值或相鄰頻帶的複預測值。
在音訊解碼器的一實施例中,編碼多頻道信號包含,一實數指示符,指示編碼的多頻道信號之一框的所有預測係數均是實值以作為旁側資訊,其中該音訊解碼器被配置成從編碼的多頻道音訊信號100中擷取該實數指示符,且其中因為實數指示符僅指示實值預測係數,故解碼器計算器116被配置成並不計算一框的一虛數信號。
在音訊編碼器的一實施例中,預測器2033包含一量化器,該量化器用以量化第一頻道信號、第二頻道信號、第一組合信號或第二組合信號以獲得一或更多個量化信號,且其中預測器2033被配置成利用量化信號來計算殘差信號。
在音訊編碼器的一實施例中,第一頻道信號是一樣本區塊的一頻譜表示,且第二頻道信號是一樣本區塊的一頻
譜表示,其中該等頻譜表示是純實數頻譜表示或純虛數頻譜表示,其中最佳化器207被配置成依照異於零的一實值因數及/或依照異於零的一虛數因數來計算預測資訊206,且其中編碼器計算器203被配置成計算第一組合信號及預測殘差信號,使得預測信號利用實值因數而得自於純實部頻譜表示或純虛部頻譜表示。
本發明之編碼的音訊信號可被儲存在一數位儲存媒體上或可在諸如一無線傳輸媒體或諸如網際網路的有線傳輸媒體的一傳輸媒體上被傳輸。
雖然本發明主要就音訊處理來描述,但是應強調的是本發明還可應用於編碼或解碼視訊信號。變化方向的複預測可應用於,例如3D立體聲視訊壓縮。在此特定範例中,一2D-MDCT被利用。此技術的一範例是Google WebM/VP8。然而,毋需2D-MDCT的其他實施也可被應用。
雖然某些層面已就一設備被描述,但是應清楚的是,這些層面也代表對應方法的說明,其中一方塊或裝置對應於一方法步驟或一方法步驟的一特徵。類似地,就一方法步驟而描述的層面也代表一對應設備之對應方塊或項目或特徵的說明。
依某些實施要求而定,本發明實施例可以硬體或以軟體來實施。該實施可利用一數位儲存媒體來執行,例如其上儲存有電子可讀取之控制信號的軟碟、DVD、CD、ROM、PROM、EPROM、EEPROM或FLASH記憶體,該等電子可讀取控制信號與一可程式規劃電腦系統協作(或能夠與之
協作),使得各別方法得以執行。
依據本發明的某些實施例包含具有電子可讀取控制信號的一非暫時性或有形資料載體,該等電子可讀取控制信號能夠與一可程式規劃電腦系統協作,使得本文所述方法中的一者得以執行。
一般而言,本發明實施例可被實施為具有一程式碼的一電腦程式產品,當該電腦程式產品在一電腦上運行時,該程式碼可操作地用以執行該等方法中的一者。該程式碼可以,例如,儲存在一機器可讀取載體上。
其他實施例包含儲存在一機器可讀取載體上,用以執行本文所述方法中的一者的電腦程式。
因此,換言之,本發明方法的一實施例是具有一程式碼的一電腦程式,當該電腦程式在一電腦上運行時,該程式碼用以執行本文所述方法中的一者。
因此,本發明方法的另一實施例是包含用以執行本文所述方法中的一者的電腦程式的一資料載體(或一數位儲存媒體,或一電腦可讀取媒體),該電腦程式記錄在該資料載體(或一數位儲存媒體,或一電腦可讀取媒體)上。
因此,本發明方法的又一實施例是代表用以執行本文所述方法中的一者的電腦程式的一資料流或一序列信號。該資料流或序列信號可以,例如,被配置成經由一資料通訊連接,例如經由網際網路來傳送。
另一實施例包含一處理裝置,例如電腦,或一可程式規劃邏輯裝置,其被配置成或適應於執行本文所述方法中
的一者。
另一實施例包含安裝有用以執行本文所述方法中的一者的電腦程式的一電腦。
在某些實施例中,一可程式規劃邏輯裝置(例如,現場可程式閘陣列)可用以執行本文所述方法的某些或全部功能。在某些實施例中,一現場可程式閘陣列可與一微處理器協作以執行本文所述方法中的一者。一般而言,該等方法較佳地由任一硬體設備來執行。
上述實施例僅說明本發明的原理。應理解的是,本文所述配置及細節的修改及變化對熟於此技者將是顯而易見的。因此,意圖是僅受後附專利申請範圍之範圍的限制而並不受藉由說明及解擇本文實施例所提出的特定細節的限制。
50、51‧‧‧時間/頻率轉換器/頻譜轉換器/實值變換/元件/MDCT級
50‧‧‧時間/頻率轉換器/頻譜轉換器/實值變換/元件
52、53‧‧‧頻率/時間轉換器/元件/合成濾波器組
55a‧‧‧時域第一頻道信號
55b‧‧‧時域頻道信號
60~62‧‧‧線
65‧‧‧方塊/預測資訊解碼器
90‧‧‧頻譜線選擇器
100‧‧‧輸入線/線/編碼的多頻道信號/編碼的多頻道音訊信號
102‧‧‧輸入介面/位元流解多工器
104‧‧‧線/編碼或解碼的第一組合信號
106‧‧‧線/編碼或解碼的預測殘差信號
108‧‧‧線/預測資訊
109‧‧‧視窗形狀資訊
110‧‧‧信號解碼器
110a、110b‧‧‧解量化器
110a‧‧‧解量化器/方塊
112‧‧‧線/解碼的第一組合信號/信號
114‧‧‧線/解碼的殘差信號
115、116‧‧‧解碼器計算器
117‧‧‧線/解碼的第一頻道信號
118‧‧‧線/解碼的第二頻道信號
200‧‧‧多頻道音訊信號
201‧‧‧第一頻道信號/頻道信號
202‧‧‧第二頻道信號/頻道信號
203‧‧‧編碼器計算器
204‧‧‧第一組合信號/線
205‧‧‧預測殘差信號/殘差信號
206‧‧‧預測資訊/預測器控制資訊
207‧‧‧最佳化器/項目
208‧‧‧最佳化目標
209‧‧‧信號編碼器
209a‧‧‧方塊/量化器
209b‧‧‧量化器
210‧‧‧編碼的第一組合信號/編碼信號
211‧‧‧編碼的殘差信號/編碼信號/編碼的預測殘差信號
212‧‧‧輸出介面/多工器/位元流多工器
213‧‧‧編碼的多頻道信號
214‧‧‧線/第一組合信號
215‧‧‧線/第二組合信號
219‧‧‧預測方向計算器
401‧‧‧預測方向指示器輸入
402‧‧‧第一計算規則/計算規則/解碼規則/方塊
403‧‧‧第二計算規則/第二計算規則裝置/解碼規則
404‧‧‧輸入
405‧‧‧開關
407‧‧‧調換程式
500‧‧‧分析視窗程式
501‧‧‧預測方向輸入/MDCT轉換區塊/MDCT轉換器
502‧‧‧第一預測規則/方塊/視窗長度或轉換長度控制器/預測規則
503‧‧‧第二預測規則/方塊/預測規則
505‧‧‧受控選擇開關
507‧‧‧預測方向控制M/S調換程式/調換程式
520‧‧‧方塊
521‧‧‧合成視窗程式
522‧‧‧重疊/相加處理器
523‧‧‧視窗/轉換長度控制
550~553‧‧‧步驟
600‧‧‧估計出的虛部頻譜/虛部頻譜
700‧‧‧核心解碼器
701‧‧‧輸入
702、703、710、711‧‧‧線
704、705‧‧‧QMF濾波器組
706‧‧‧MPEG環繞聲解碼器/MPEG環繞聲解碼器區塊/方塊
707‧‧‧左頻道信號
708‧‧‧右頻道信號
709‧‧‧頻帶複製(SBR)解碼器/SBR解碼器區塊/方塊
712、713‧‧‧QMF合成濾波器組
1000‧‧‧頻譜框選擇器
1001‧‧‧虛部頻譜計算器/實部-虛部模組
1002‧‧‧輸入/線
1003‧‧‧控制輸入/控制資訊
1005‧‧‧關於框i-1的對應框中的頻譜線的一加權組合
1006‧‧‧關於框i+1的對應框中的頻譜線的一加權組合
1007、1008‧‧‧方塊
1160‧‧‧預測器/方塊
1160a‧‧‧實部-虛部轉換器/模組/實部-虛部(R2I)模組/元件/預測器
1160b‧‧‧實部αR/加權元件/乘法器
1160c‧‧‧虛部αI/加權元件/加權器/元件
1161‧‧‧組合信號計算器/方塊
1161b‧‧‧方塊/加法器
1162‧‧‧組合器/方塊
1163‧‧‧預測信號/線
1165‧‧‧解碼的第二組合信號/信號/第二組合信號
1166、1167‧‧‧輸出線
1168‧‧‧矩陣計算器
1169‧‧‧矩陣運算/方程式
2031‧‧‧組合器/方塊/中/側編碼級
2032‧‧‧第二組合信號
2033‧‧‧預測器/項目
2034‧‧‧殘差計算器/運算/加法器/殘差信號計算器/最終殘差信號計算器
2034a‧‧‧加法器
2034b‧‧‧實值旁側頻譜/元件/加法器
2035‧‧‧預測信號
2039‧‧‧矩陣計算器
2070‧‧‧實部-虛部轉換器/方塊/模組/元件/實部-虛部計算器/實數-複數轉換器
2071‧‧‧α最佳化級
2072‧‧‧量化/編碼(Q/C)模組/量化器
2073‧‧‧實值因數/實部αR/乘法器/項目/預測信號計算器
2074‧‧‧虛數因數/虛部αI/乘數/乘法器/虛部/項目/預測信號計算器
L‧‧‧寬頻左信號/信號/時域信號
R‧‧‧寬頻右信號/信號/時域信號
M‧‧‧信號/下混信號/實部頻譜/實值頻譜/中間信號
D‧‧‧信號/殘差信號/複殘差頻譜/預測殘差信號
S‧‧‧信號/重建側信號/側信號/預測的信號
第1圖是一音訊或視訊解碼器的一較佳實施例的一方塊圖;第2圖是一音訊或視訊編碼器的一較佳實施例的一方塊圖;第3a圖繪示第2圖之編碼器計算器之一實施;第3b圖繪示第2圖之編碼器計算器之一可供選擇的實施;第3c圖繪示應用於編碼器端的一中/側組合規則;第4a圖繪示第1圖之解碼器計算器的一實施;第4b圖繪示一矩陣計算器形式的解碼器計算器的一可
供選擇的實施;第4c圖繪示對應於第3c圖中所示之組合規則的一中/側反向組合規則;第5a圖繪示在較佳的是一實值頻域的頻域中運作的一音訊或視訊編碼器的一實施例;第5b圖繪示在頻域中運作的一音訊或視訊解碼器的一實施;第6a圖繪示在MDCT域中運作且利用一實部-虛部轉換的一音訊或視訊編碼器的一可供選擇的實施;第6b圖繪示在MDCT域中運作且利用一實部-虛部轉換的一音訊或視訊解碼器;第7a圖繪示利用一立體聲解碼器及一隨後連接的SBR解碼器的一音訊後處理器;第7b圖繪示一中/側上混矩陣;第8a圖繪示第6a圖中的MDCT區塊的一詳細視圖;第8b圖繪示第6b圖之MDCT-1區塊的一詳細視圖;第9a圖繪示以相對於MDCT輸出減小的解析度運行的一最佳化器的一實施;第9b圖繪示計算預測資訊的一MDCT頻譜及相對應的較低解析度頻帶的一表示;第10a圖繪示第6a圖或第6b圖中的實部-虛部轉換器的一實施;第10b圖繪示第10a圖之虛部頻譜計算器的一可行的實施;
第11a圖繪示具有一可逆的預測方向的一音訊編碼器的一較佳實施;第11b圖繪示有能力處理由可逆的預測方向所產生的殘差信號的一相關的音訊或視訊解碼器的一較佳實施;第12a圖繪示具有一可逆的預測方向的一音訊或視訊編碼器的另一較佳實施例;第12b圖繪示由一預測方向指示符控制的一音訊或視訊解碼器的另一實施例。
第13a圖繪示一預測方向旗標;第13b圖繪示依預測方向指示符而定的不同編碼器端預測規則的一實施;第13c圖繪示關於處於第一狀態的一預測方向指示符的解碼器端計算規則;第13d圖繪示關於處於第二狀態的一不同的預測方向指示符的一解碼器端計算規則;第13e圖繪示應用在音訊或視訊編碼器或者音訊或視訊解碼器之實施例中的複值乘法;以及第14a-b圖繪示用以決定預測方向指示符的實施例。
200‧‧‧多頻道音訊信號
201‧‧‧第一頻道信號/頻道信號
202‧‧‧第二頻道信號/頻道信號
203‧‧‧編碼器計算器
204‧‧‧第一組合信號/線
205‧‧‧預測殘差信號/殘差信號
206‧‧‧預測資訊/預測器控制資訊
207‧‧‧最佳化器/項目
208‧‧‧最佳化目標
209‧‧‧信號編碼器
210‧‧‧編碼的第一組合信號/編碼信號
211‧‧‧編碼的殘差信號/編碼信號/編碼的預測殘差信號
212‧‧‧輸出介面
213‧‧‧編碼的多頻道信號
214‧‧‧線/第一組合信號
215‧‧‧線/第二組合信號
219‧‧‧預測方向計算器
Claims (20)
- 一種用以解碼一編碼的多頻道音訊或視訊信號的音訊或視訊解碼器,該編碼的多頻道音訊或視訊信號包含一編碼的第一組合信號、一編碼的預測殘差信號及預測資訊,其中該編碼之第一組合信號係基於用以組合一多頻道音訊或視訊信號的一第一頻道音訊或視訊信號與一第二頻道音訊或視訊信號的一組合規則而產生,該音訊或視訊解碼器包含:一信號解碼器,用以解碼該編碼的第一組合信號以獲得一解碼的第一組合信號,且用以解碼該編碼的預測殘差信號以獲得一解碼的殘差信號;及一解碼器計算器,用以利用該解碼的殘差信號、該預測資訊、該解碼的第一組合信號及一預測方向指示符來計算具有一解碼的第一頻道信號及一解碼的第二頻道信號的一解碼的多頻道信號,使得該解碼的第一頻道信號及該解碼的第二頻道信號至少是該多頻道信號的第一頻道信號及第二頻道信號的近似。
- 如申請專利範圍第1項所述之音訊或視訊解碼器,其中該預測方向指示符包括在該編碼的多頻道信號中,且其中該音訊或視訊解碼器進一步包含用以擷取該預測方向指示符且將該預測方向指示符轉發至該解碼器計算器的一輸入介面。
- 如申請專利範圍第1或2項所述之音訊或視訊解碼器,其中該解碼器計算器被配置成如果該預測方向指示符為 一第一狀態則利用一第一計算規則來計算該解碼的多頻道信號且如果該預測方向指示符為一第二不同狀態時利用一第二不同的計算規則來計算該解碼的多頻道信號。
- 如申請專利範圍第3項所述之音訊或視訊解碼器,其中該解碼的第一組合信號包含一中間信號(M),其中該第一計算規則包含由該解碼的第一組合信號及該解碼的殘差信號來計算一側信號(S);或其中該解碼的第一組合信號包含一側信號(S),且其中該第二計算規則包含由該解碼的第一組合信號及該解碼的殘差信號來計算一中間信號(M)。
- 如申請專利範圍第3項所述之音訊或視訊解碼器,其中該解碼的第一組合信號包含一中間信號(M),且其中該第一計算規則包含利用該中間信號(M)、該預測資訊(α)及該解碼的殘差信號來計算該解碼的第一頻道信號及計算該解碼的第二頻道信號而毋需該側信號的顯式計算;或其中該解碼的第一組合信號包含一側信號(S),且其中該第二計算規則包含利用該側信號(S)、該預測資訊(α)及該解碼的殘差信號來計算該解碼的第一頻道信號及計算該解碼的第二頻道信號而毋需該中間信號的顯式計算。
- 如申請專利範圍第1項所述之音訊或視訊解碼器,其中該解碼器計算器被配置成利用該預測資訊,其中該預測 資訊包含異於零的一實值部分及/或異於零的一虛部。
- 如申請專利範圍第1項所述之音訊或視訊解碼器,其中該解碼器計算器包含:一預測器,用以對該解碼的第一組合信號或對得自於該解碼的第一組合信號的一信號應用該預測資訊以獲得一預測信號;一組合信號計算器,用以藉由組合該解碼的殘差信號與該預測信號來計算一第二組合信號;及一組合器,用以組合該解碼的第一組合信號與該第二組合信號以獲得具有該解碼的第一頻道信號及該解碼的第二頻道信號的一解碼的多頻道音訊或視訊信號,其中假如該預測方向指示符之第一狀態指出一第一預測方向,則該組合信號計算器被組配來計算該第一組合信號為一和信號以及計算該第二組合信號為一差信號,或其中假如該預測方向指示符之第二狀態指出一第二預測方向,則該組合信號計算器被組配來計算該第一組合信號為一差信號以及計算該第二組合信號為一和信號。
- 如申請專利範圍第1項所述之音訊或視訊解碼器,其中該編碼的第一組合信號及該編碼的預測殘差信號已利用產生時間-頻譜轉換的一混疊而產生,其中該解碼器進一步包含:一頻譜-時間轉換器,用以利用與一時間-頻譜 轉換演算法相匹配的該頻譜-時間轉換演算法來產生一時域第一頻道信號及一時域第二頻道信號;一重疊/相加處理器,用以針對該時域第一頻道信號且針對該時域第二頻道信號來實施一重疊-相加處理以獲得一無混疊的第一時域信號及一無混疊的第二時域信號。
- 如申請專利範圍第1項所述之音訊或視訊解碼器,其中該預測資訊包含異於零的一實值因數,其中該預測器被配置成將該解碼的第一組合信號乘以該實值因數以獲得該預測信號的一第一部分,且其中該組合信號計算器被配置成線性地組合該解碼的殘差信號與該預測信號之第一部分。
- 如申請專利範圍第1項所述之音訊或視訊解碼器,其中該預測資訊包含異於零的一虛數因數,其中該預測器被配置成利用該解碼的第一組合信號的一實值部分來估計該解碼的第一組合信號的一虛部,其中該預測器被配置成將該解碼的第一組合信號之虛部乘以該預測資訊之虛數因數以獲得該預測信號的一第二部分;且其中該組合信號計算器被配置成線性地組合該預測信號之第一部分與該預測信號之第二部分及該解碼的殘差信號以獲得一第二組合信號。
- 如申請專利範圍第7項所述之音訊或視訊解碼器, 其中該預測器被配置成利用一線性濾波器來過濾至少二時間後續框,其中該二時間後續框中的一者在該第一組合信號的當前框之前或之後,以獲得該第一組合信號的當前框的一估計虛部。
- 如申請專利範圍第7項所述之音訊或視訊解碼器,其中該解碼的第一組合信號包含一序列實值信號框,且其中該預測器被配置成僅利用該當前實值信號框、或利用該當前實值信號框及僅一或更多個先前或者僅一或更多個後續實值信號框、或利用該當前實值信號框及一或更多個先前實值信號框以及一或更多個後續實值信號框來估計該當前信號框的一虛部。
- 一種用以編碼具有二或更多個頻道信號的一多頻道音訊或視訊信號的音訊或視訊編碼器,其包含:一編碼器計算器,用以利用一第一頻道信號與一第二頻道信號及預測資訊以及一預測方向指示符來計算一第一組合信號及一預測殘差信號,使得當預測殘差信號與得自於該第一組合信號的一預測信號組合,或與得自於該第一組合信號及該預測資訊的一信號組合時產生一第二組合信號,利用一組合規則,該第一組合信號及該第二組合信號可得自於該第一頻道信號及該第二頻道信號;一最佳化器,用以計算該預測資訊,使得該預測殘差信號實現一最佳化目標; 一預測方向計算器,用以計算指示與該預測殘差信號相關聯的一預測方向的一預測方向指示符;一信號編碼器,用以編碼該第一組合信號及該預測殘差信號以獲得一編碼的第一組合信號及一編碼的預測殘差信號;及一輸出介面,用以組合該編碼的第一組合信號、該編碼的預測殘差信號及該預測資訊以獲得一編碼的多頻道音訊或視訊信號。
- 如申請專利範圍第13項所述之音訊或視訊編碼器,其中該編碼器計算器包含:一組合器,用於以兩種不同方式來組合該第一頻道信號與該第二頻道信號以獲得該第一組合信號及該第二組合信號;一預測器,依該預測方向指示符而定,用以對該第一組合信號或得自於該第一組合信號的一信號應用該預測資訊以獲得一預測信號,或用以對該第二組合信號或得自於該第二組合信號的一信號應用預測資訊以獲得一預測信號;及一殘差信號計算器,依該預測方向指示符而定,用以藉由組合該預測信號與該第二組合信號或藉由組合該預測信號與該第一組合信號來計算該預測殘差信號。
- 如申請專利範圍第13或14項所述之音訊或視訊編碼器,其中該第一頻道信號為一樣本區塊的一頻譜表示;其中該第二頻道信號為一樣本區塊的一頻譜表示, 其中該等頻譜表示是純實值頻譜表示或純虛頻譜表示,其中該最佳化器被配置成計算該預測資訊為異於零的一實值因數及/或為異於零的一虛數因數,且其中該編碼器計算器包含依該預測方向指示符而定,用以由該第一組合信號或由該第二組合信號來導出一轉換頻譜表示的一實部-虛部轉換器或一虛部-實部轉換器,且其中該編碼器計算器被配置成依該預測方向指示符而定,來計算該第一組合信號或該第二組合信號,及由該轉換頻譜及該虛數因數來計算該預測殘差信號。
- 如申請專利範圍第13項所述之音訊或視訊編碼器,其中該預測器被配置成將該第一組合信號乘以該預測資訊的一實部以獲得該預測信號的一第一部分;用以利用該第一組合信號或該第二組合信號來估計該第一組合信號或該第二組合信號的一虛部;用以將該第一或該第二組合信號之虛部乘以該預測資訊的一虛部以獲得該預測信號的一第二部分;且其中該殘差計算器被配置成線性地組合該預測信號之第一部分信號或該預測信號之第二部分信號與該該第二組合信號或該第一組合信號以獲得該預測殘差信號。
- 一種解碼一編碼的多頻道音訊或視訊信號的方法,該編碼的多頻道音訊或視訊信號包含一編碼的第一組合信 號、一編碼的預測殘差信號及預測資訊,其中該編碼的第一組合信號係基於用以組合一多頻道音訊或視訊信號的一第一頻道音訊或視訊信號與一第二頻道音訊或視訊信號的一組合規則而產生,該方法包含以下步驟:解碼該編碼的第一組合信號以獲得一解碼的第一組合信號,及解碼該編碼的預測殘差信號以獲得一解碼的殘差信號;及利用該解碼的殘差信號、該預測資訊、該解碼的第一組合信號及一預測方向指示符來計算具有一解碼的第一頻道信號及一解碼的第二頻道信號的一解碼的多頻道信號,使得該解碼的第一頻道信號及該解碼的第二頻道信號至少為該多頻道信號的第一頻道信號及第二頻道信號之近似,其中該預測資訊包含異於零的一實值部分及/或異於零的一虛部。
- 一種編碼具有二或更多個頻道信號的一多頻道音訊或視訊信號的方法,其包含以下步驟:利用一第一頻道信號與一第二頻道信號及預測資訊來計算一第一組合信號及一預測殘差信號,使得當一預測殘差信號與得自於該第一組合信號的一預測信號組合,或與得自於該第一組合信號及該預測資訊的一信號組合時,產生一第二組合信號,利用一組合規則,該第一組合信號及該第二組合信號可得自於該第一頻道信號及該第二頻道信號;計算該預測資訊,使得該預測殘差信號實現一最佳 化目標;計算指出與該預測殘差信號有關之一預測方向的一預測方向指示符;編碼該第一組合信號及該預測殘差信號以獲得一編碼的第一組合信號及一編碼的預測殘差信號;及組合該編碼的第一組合信號、該編碼的預測殘差信號及該預測資訊以獲得一編碼的多頻道音訊或視訊信號。
- 一種電腦程式,當在一電腦或一處理器上運行時,執行如申請專利範圍第17項所述之方法或如申請專利範圍第18項所述之方法。
- 一種具有編碼的多頻道音訊或視訊信號儲存其上之電腦可讀儲存媒體,其包含:一編碼的第一組合信號,其為一多頻道音訊或視訊信號的一第一頻道音訊或視訊信號與一第二頻道音訊或視訊信號的一組合;一編碼的預測殘差信號;預測資訊;及指示與該編碼的預測殘差信號相關聯的一預測方向的一預測方向指示符。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US32368310P | 2010-04-13 | 2010-04-13 | |
PCT/EP2011/052354 WO2011128138A1 (en) | 2010-04-13 | 2011-02-17 | Audio or video encoder, audio or video decoder and related methods for processing multi-channel audio or video signals using a variable prediction direction |
Publications (2)
Publication Number | Publication Date |
---|---|
TW201205558A TW201205558A (en) | 2012-02-01 |
TWI466106B true TWI466106B (zh) | 2014-12-21 |
Family
ID=44170568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW100111806A TWI466106B (zh) | 2010-04-13 | 2011-04-06 | 音訊或視訊編碼器、音訊或視訊解碼器及用以利用可變預測方向來處理多頻道音訊或視訊信號的相關方法 |
Country Status (19)
Country | Link |
---|---|
US (9) | US9398294B2 (zh) |
EP (10) | EP3779977B1 (zh) |
JP (1) | JP5820464B2 (zh) |
KR (1) | KR101430118B1 (zh) |
CN (1) | CN103052983B (zh) |
AR (1) | AR080866A1 (zh) |
AU (1) | AU2011240239B2 (zh) |
BR (2) | BR122020024855B1 (zh) |
CA (1) | CA2796292C (zh) |
ES (6) | ES2958392T3 (zh) |
HK (1) | HK1183740A1 (zh) |
MX (1) | MX2012011801A (zh) |
MY (1) | MY194835A (zh) |
PL (6) | PL3779977T3 (zh) |
PT (2) | PT3779978T (zh) |
RU (1) | RU2541864C2 (zh) |
SG (1) | SG184537A1 (zh) |
TW (1) | TWI466106B (zh) |
WO (1) | WO2011128138A1 (zh) |
Families Citing this family (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8027479B2 (en) * | 2006-06-02 | 2011-09-27 | Coding Technologies Ab | Binaural multi-channel decoder in the context of non-energy conserving upmix rules |
BR122019026166B1 (pt) | 2010-04-09 | 2021-01-05 | Dolby International Ab | sistema decodificador, aparelho e método para emitir um sinal de áudio estereofônico tendo um canal esquerdo e um canal direito e meio legível por computador não transitório |
EP2544465A1 (en) * | 2011-07-05 | 2013-01-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and apparatus for decomposing a stereo recording using frequency-domain processing employing a spectral weights generator |
WO2013094135A1 (ja) * | 2011-12-19 | 2013-06-27 | パナソニック株式会社 | 音分離装置、および音分離方法 |
WO2013186343A2 (en) * | 2012-06-14 | 2013-12-19 | Dolby International Ab | Smooth configuration switching for multichannel audio |
JP6065452B2 (ja) | 2012-08-14 | 2017-01-25 | 富士通株式会社 | データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム |
US9241142B2 (en) * | 2013-01-24 | 2016-01-19 | Analog Devices Global | Descriptor-based stream processor for image processing and method associated therewith |
CA2899134C (en) * | 2013-01-29 | 2019-07-30 | Frederik Nagel | Decoder for generating a frequency enhanced audio signal, method of decoding, encoder for generating an encoded signal and method of encoding using compact selection side information |
JP6146069B2 (ja) * | 2013-03-18 | 2017-06-14 | 富士通株式会社 | データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム |
TWI546799B (zh) | 2013-04-05 | 2016-08-21 | 杜比國際公司 | 音頻編碼器及解碼器 |
KR102280461B1 (ko) | 2013-05-24 | 2021-07-22 | 돌비 인터네셔널 에이비 | 오디오 인코더 및 디코더 |
EP2830055A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Context-based entropy coding of sample values of a spectral envelope |
EP2830061A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping |
EP2830053A1 (en) | 2013-07-22 | 2015-01-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal |
EP2830051A3 (en) | 2013-07-22 | 2015-03-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals |
EP3503095A1 (en) | 2013-08-28 | 2019-06-26 | Dolby Laboratories Licensing Corp. | Hybrid waveform-coded and parametric-coded speech enhancement |
CN105556597B (zh) | 2013-09-12 | 2019-10-29 | 杜比国际公司 | 多声道音频内容的编码和解码 |
TWI671734B (zh) * | 2013-09-12 | 2019-09-11 | 瑞典商杜比國際公司 | 在包含三個音訊聲道的多聲道音訊系統中之解碼方法、編碼方法、解碼裝置及編碼裝置、包含用於執行解碼方法及編碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置及編碼裝置的音訊系統 |
KR20220156112A (ko) | 2013-09-12 | 2022-11-24 | 돌비 인터네셔널 에이비 | Qmf 기반 처리 데이터의 시간 정렬 |
ES2784620T3 (es) * | 2013-11-07 | 2020-09-29 | Ericsson Telefon Ab L M | Métodos y dispositivos para la segmentación de vectores para codificación |
EP2916319A1 (en) | 2014-03-07 | 2015-09-09 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Concept for encoding of information |
US9883308B2 (en) * | 2014-07-01 | 2018-01-30 | Electronics And Telecommunications Research Institute | Multichannel audio signal processing method and device |
EP2980795A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor |
EP2980801A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method for estimating noise in an audio signal, noise estimator, audio encoder, audio decoder, and system for transmitting audio signals |
EP2980794A1 (en) | 2014-07-28 | 2016-02-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder and decoder using a frequency domain processor and a time domain processor |
US20160098245A1 (en) * | 2014-09-05 | 2016-04-07 | Brian Penny | Systems and methods for enhancing telecommunications security |
EP3067889A1 (en) | 2015-03-09 | 2016-09-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Method and apparatus for signal-adaptive transform kernel switching in audio coding |
TWI758146B (zh) | 2015-03-13 | 2022-03-11 | 瑞典商杜比國際公司 | 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流 |
JP6266193B2 (ja) * | 2015-12-22 | 2018-01-24 | 三菱電機株式会社 | データ圧縮装置、データ伸長装置、データ圧縮プログラム、データ伸長プログラム、データ圧縮方法及びデータ伸長方法 |
CN105719660B (zh) * | 2016-01-21 | 2019-08-20 | 宁波大学 | 一种基于量化特性的语音篡改定位检测方法 |
KR102083200B1 (ko) | 2016-01-22 | 2020-04-28 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 스펙트럼-도메인 리샘플링을 사용하여 멀티-채널 신호를 인코딩 또는 디코딩하기 위한 장치 및 방법 |
DE102016104665A1 (de) * | 2016-03-14 | 2017-09-14 | Ask Industries Gmbh | Verfahren und Vorrichtung zur Aufbereitung eines verlustbehaftet komprimierten Audiosignals |
RU2628198C1 (ru) * | 2016-05-23 | 2017-08-15 | Самсунг Электроникс Ко., Лтд. | Способ межканального предсказания и межканальной реконструкции для многоканального видео, снятого устройствами с различными углами зрения |
US10531099B2 (en) * | 2016-09-30 | 2020-01-07 | The Mitre Corporation | Systems and methods for distributed quantization of multimodal images |
CN110100279B (zh) | 2016-11-08 | 2024-03-08 | 弗劳恩霍夫应用研究促进协会 | 对多声道信号进行编码或解码的装置和方法 |
JP6817433B2 (ja) | 2016-11-08 | 2021-01-20 | フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー.ファオ. | 少なくとも2つのチャンネルをダウンミックスするためのダウンミキサおよび方法ならびにマルチチャンネルエンコーダおよびマルチチャンネルデコーダ |
JP2018107580A (ja) * | 2016-12-26 | 2018-07-05 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム |
US10567878B2 (en) | 2018-03-29 | 2020-02-18 | Dts, Inc. | Center protection dynamic range control |
WO2020009082A1 (ja) * | 2018-07-03 | 2020-01-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置及び符号化方法 |
JP7262593B2 (ja) * | 2019-01-13 | 2023-04-21 | 華為技術有限公司 | ハイレゾリューションオーディオ符号化 |
JP2023553489A (ja) * | 2020-12-15 | 2023-12-21 | シング,インコーポレイテッド | オーディオアップミキシングのためのシステムおよび方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080002842A1 (en) * | 2005-04-15 | 2008-01-03 | Fraunhofer-Geselschaft zur Forderung der angewandten Forschung e.V. | Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing |
WO2008084427A2 (en) * | 2007-01-10 | 2008-07-17 | Koninklijke Philips Electronics N.V. | Audio decoder |
US20080262853A1 (en) * | 2005-10-20 | 2008-10-23 | Lg Electronics, Inc. | Method for Encoding and Decoding Multi-Channel Audio Signal and Apparatus Thereof |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB8913758D0 (en) * | 1989-06-15 | 1989-08-02 | British Telecomm | Polyphonic coding |
US5285498A (en) * | 1992-03-02 | 1994-02-08 | At&T Bell Laboratories | Method and apparatus for coding audio signals based on perceptual model |
BE1007617A3 (nl) | 1993-10-11 | 1995-08-22 | Philips Electronics Nv | Transmissiesysteem met gebruik van verschillende codeerprincipes. |
US5684920A (en) * | 1994-03-17 | 1997-11-04 | Nippon Telegraph And Telephone | Acoustic signal transform coding method and decoding method having a high efficiency envelope flattening method therein |
JP3594409B2 (ja) * | 1995-06-30 | 2004-12-02 | 三洋電機株式会社 | Mpegオーディオ再生装置およびmpeg再生装置 |
US5754733A (en) * | 1995-08-01 | 1998-05-19 | Qualcomm Incorporated | Method and apparatus for generating and encoding line spectral square roots |
TW321810B (zh) * | 1995-10-26 | 1997-12-01 | Sony Co Ltd | |
US6012025A (en) * | 1998-01-28 | 2000-01-04 | Nokia Mobile Phones Limited | Audio coding method and apparatus using backward adaptive prediction |
US6353808B1 (en) | 1998-10-22 | 2002-03-05 | Sony Corporation | Apparatus and method for encoding a signal as well as apparatus and method for decoding a signal |
US6539357B1 (en) * | 1999-04-29 | 2003-03-25 | Agere Systems Inc. | Technique for parametric coding of a signal containing information |
KR100367000B1 (ko) * | 1999-06-29 | 2003-01-06 | 한국전자통신연구원 | 멀티미디어 처리용 가속 기능 및 입출력 기능을 갖는 피씨용 멀티채널 오디오/음성 및 데이터 코덱장치 |
US20020040299A1 (en) | 2000-07-31 | 2002-04-04 | Kenichi Makino | Apparatus and method for performing orthogonal transform, apparatus and method for performing inverse orthogonal transform, apparatus and method for performing transform encoding, and apparatus and method for encoding data |
KR100378796B1 (ko) * | 2001-04-03 | 2003-04-03 | 엘지전자 주식회사 | 디지탈 오디오 부호화기 및 복호화 방법 |
US6658383B2 (en) * | 2001-06-26 | 2003-12-02 | Microsoft Corporation | Method for coding speech and music signals |
WO2003085643A1 (en) * | 2002-04-10 | 2003-10-16 | Koninklijke Philips Electronics N.V. | Coding of stereo signals |
DE10234130B3 (de) * | 2002-07-26 | 2004-02-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen einer komplexen Spektraldarstellung eines zeitdiskreten Signals |
JP4191503B2 (ja) * | 2003-02-13 | 2008-12-03 | 日本電信電話株式会社 | 音声楽音信号符号化方法、復号化方法、符号化装置、復号化装置、符号化プログラム、および復号化プログラム |
US7447317B2 (en) * | 2003-10-02 | 2008-11-04 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V | Compatible multi-channel coding/decoding by weighting the downmix channel |
US6980933B2 (en) | 2004-01-27 | 2005-12-27 | Dolby Laboratories Licensing Corporation | Coding techniques using estimated spectral magnitude and phase derived from MDCT coefficients |
EP1711938A1 (en) * | 2004-01-28 | 2006-10-18 | Koninklijke Philips Electronics N.V. | Audio signal decoding using complex-valued data |
DE102004009954B4 (de) * | 2004-03-01 | 2005-12-15 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Verarbeiten eines Multikanalsignals |
US7733973B2 (en) * | 2004-08-19 | 2010-06-08 | The University Of Tokyo | Multichannel signal encoding method, its decoding method, devices for these, program, and its recording medium |
WO2006091139A1 (en) * | 2005-02-23 | 2006-08-31 | Telefonaktiebolaget Lm Ericsson (Publ) | Adaptive bit allocation for multi-channel audio encoding |
WO2006104017A1 (ja) * | 2005-03-25 | 2006-10-05 | Matsushita Electric Industrial Co., Ltd. | 音声符号化装置および音声符号化方法 |
JP5171256B2 (ja) * | 2005-08-31 | 2013-03-27 | パナソニック株式会社 | ステレオ符号化装置、ステレオ復号装置、及びステレオ符号化方法 |
US20080004883A1 (en) * | 2006-06-30 | 2008-01-03 | Nokia Corporation | Scalable audio coding |
DE102006047197B3 (de) * | 2006-07-31 | 2008-01-31 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Verarbeiten eines reellen Subband-Signals zur Reduktion von Aliasing-Effekten |
CN101067931B (zh) * | 2007-05-10 | 2011-04-20 | 芯晟(北京)科技有限公司 | 一种高效可配置的频域参数立体声及多声道编解码方法与系统 |
WO2009109373A2 (en) * | 2008-03-04 | 2009-09-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus for mixing a plurality of input data streams |
KR101629862B1 (ko) * | 2008-05-23 | 2016-06-24 | 코닌클리케 필립스 엔.브이. | 파라메트릭 스테레오 업믹스 장치, 파라메트릭 스테레오 디코더, 파라메트릭 스테레오 다운믹스 장치, 파라메트릭 스테레오 인코더 |
JP5383676B2 (ja) * | 2008-05-30 | 2014-01-08 | パナソニック株式会社 | 符号化装置、復号装置およびこれらの方法 |
KR101428487B1 (ko) * | 2008-07-11 | 2014-08-08 | 삼성전자주식회사 | 멀티 채널 부호화 및 복호화 방법 및 장치 |
JP5608660B2 (ja) * | 2008-10-10 | 2014-10-15 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | エネルギ保存型マルチチャネルオーディオ符号化 |
KR101649376B1 (ko) * | 2008-10-13 | 2016-08-31 | 한국전자통신연구원 | Mdct 기반 음성/오디오 통합 부호화기의 lpc 잔차신호 부호화/복호화 장치 |
JP5269914B2 (ja) * | 2009-01-22 | 2013-08-21 | パナソニック株式会社 | ステレオ音響信号符号化装置、ステレオ音響信号復号装置およびそれらの方法 |
JP4932917B2 (ja) * | 2009-04-03 | 2012-05-16 | 株式会社エヌ・ティ・ティ・ドコモ | 音声復号装置、音声復号方法、及び音声復号プログラム |
EP2375409A1 (en) * | 2010-04-09 | 2011-10-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction |
BR122019026166B1 (pt) * | 2010-04-09 | 2021-01-05 | Dolby International Ab | sistema decodificador, aparelho e método para emitir um sinal de áudio estereofônico tendo um canal esquerdo e um canal direito e meio legível por computador não transitório |
-
2011
- 2011-02-17 MY MYPI2012004490A patent/MY194835A/en unknown
- 2011-02-17 EP EP20199069.4A patent/EP3779977B1/en active Active
- 2011-02-17 MX MX2012011801A patent/MX2012011801A/es active IP Right Grant
- 2011-02-17 KR KR1020127029556A patent/KR101430118B1/ko active IP Right Review Request
- 2011-02-17 EP EP11705853.7A patent/EP2559027B1/en active Active
- 2011-02-17 BR BR122020024855-6A patent/BR122020024855B1/pt active IP Right Grant
- 2011-02-17 PL PL20199069.4T patent/PL3779977T3/pl unknown
- 2011-02-17 WO PCT/EP2011/052354 patent/WO2011128138A1/en active Application Filing
- 2011-02-17 EP EP23187327.4A patent/EP4254951A3/en active Pending
- 2011-02-17 EP EP24167075.1A patent/EP4404560A3/en active Pending
- 2011-02-17 ES ES20199084T patent/ES2958392T3/es active Active
- 2011-02-17 SG SG2012075206A patent/SG184537A1/en unknown
- 2011-02-17 JP JP2013504181A patent/JP5820464B2/ja active Active
- 2011-02-17 EP EP20199082.7A patent/EP3779975B1/en active Active
- 2011-02-17 PT PT201990793T patent/PT3779978T/pt unknown
- 2011-02-17 EP EP24167076.9A patent/EP4404561A3/en active Pending
- 2011-02-17 AU AU2011240239A patent/AU2011240239B2/en active Active
- 2011-02-17 ES ES20199082T patent/ES2953085T3/es active Active
- 2011-02-17 ES ES11705853T patent/ES2911893T3/es active Active
- 2011-02-17 ES ES20199069T patent/ES2953084T3/es active Active
- 2011-02-17 RU RU2012148131/08A patent/RU2541864C2/ru active
- 2011-02-17 PL PL20199082.7T patent/PL3779975T3/pl unknown
- 2011-02-17 PT PT117058537T patent/PT2559027T/pt unknown
- 2011-02-17 PL PL20199067.8T patent/PL3779981T3/pl unknown
- 2011-02-17 PL PL20199084.3T patent/PL3779979T3/pl unknown
- 2011-02-17 ES ES20199079T patent/ES2914474T3/es active Active
- 2011-02-17 PL PL20199079.3T patent/PL3779978T3/pl unknown
- 2011-02-17 CN CN201180028339.7A patent/CN103052983B/zh active Active
- 2011-02-17 EP EP24167074.4A patent/EP4404559A3/en active Pending
- 2011-02-17 EP EP20199067.8A patent/EP3779981B1/en active Active
- 2011-02-17 CA CA2796292A patent/CA2796292C/en active Active
- 2011-02-17 BR BR112012026324-2A patent/BR112012026324B1/pt active IP Right Grant
- 2011-02-17 PL PL11705853.7T patent/PL2559027T3/pl unknown
- 2011-02-17 ES ES20199067T patent/ES2950751T3/es active Active
- 2011-02-17 EP EP20199079.3A patent/EP3779978B1/en active Active
- 2011-02-17 EP EP20199084.3A patent/EP3779979B1/en active Active
- 2011-03-31 AR ARP110101086A patent/AR080866A1/es active IP Right Grant
- 2011-04-06 TW TW100111806A patent/TWI466106B/zh active
-
2012
- 2012-10-05 US US13/645,707 patent/US9398294B2/en not_active Ceased
-
2013
- 2013-09-27 HK HK13111035.9A patent/HK1183740A1/zh unknown
-
2020
- 2020-11-17 US US16/950,679 patent/USRE49511E1/en active Active
- 2020-11-17 US US16/950,696 patent/USRE49453E1/en active Active
- 2020-11-17 US US16/950,718 patent/USRE49464E1/en active Active
- 2020-11-17 US US16/950,757 patent/USRE49717E1/en active Active
- 2020-11-17 US US16/950,738 patent/USRE49469E1/en active Active
- 2020-11-17 US US16/950,754 patent/USRE49549E1/en active Active
- 2020-11-17 US US16/950,658 patent/USRE49492E1/en active Active
-
2023
- 2023-04-25 US US18/139,278 patent/US20230319301A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080002842A1 (en) * | 2005-04-15 | 2008-01-03 | Fraunhofer-Geselschaft zur Forderung der angewandten Forschung e.V. | Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing |
US20080262853A1 (en) * | 2005-10-20 | 2008-10-23 | Lg Electronics, Inc. | Method for Encoding and Decoding Multi-Channel Audio Signal and Apparatus Thereof |
WO2008084427A2 (en) * | 2007-01-10 | 2008-07-17 | Koninklijke Philips Electronics N.V. | Audio decoder |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI466106B (zh) | 音訊或視訊編碼器、音訊或視訊解碼器及用以利用可變預測方向來處理多頻道音訊或視訊信號的相關方法 | |
CA2804907C (en) | Audio encoder, audio decoder and related methods for processing multi-channel audio signals using complex prediction |