TW202410027A - 具有減少後處理延遲之高頻重建技術之整合 - Google Patents

具有減少後處理延遲之高頻重建技術之整合 Download PDF

Info

Publication number
TW202410027A
TW202410027A TW112142356A TW112142356A TW202410027A TW 202410027 A TW202410027 A TW 202410027A TW 112142356 A TW112142356 A TW 112142356A TW 112142356 A TW112142356 A TW 112142356A TW 202410027 A TW202410027 A TW 202410027A
Authority
TW
Taiwan
Prior art keywords
audio
frequency
sbr
metadata
data
Prior art date
Application number
TW112142356A
Other languages
English (en)
Inventor
克里斯托弗 克哲伶
拉爾斯 維爾摩斯
海庫 布恩哈根
柏爾 艾克斯特蘭德
Original Assignee
瑞典商都比國際公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商都比國際公司 filed Critical 瑞典商都比國際公司
Publication of TW202410027A publication Critical patent/TW202410027A/zh

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Networks Using Active Elements (AREA)

Abstract

本發明揭示一種用於解碼一編碼音訊位元流之方法。該方法包含接收該編碼音訊位元流且解碼該音訊資料以產生一解碼低頻帶音訊信號。該方法進一步包含提取高頻重建後設資料且使用一分析濾波器組來過濾該解碼低頻帶音訊信號以產生一濾波低頻帶音訊信號。該方法亦包含提取指示對該音訊資料執行頻譜平移或諧波轉置之一旗標且根據該旗標來使用該濾波低頻帶音訊信號及該高頻重建後設資料再生該音訊信號之一高頻帶部分。將該高頻再生執行為每音訊通道具有3010個取樣之一延遲之一後處理操作。

Description

具有減少後處理延遲之高頻重建技術之整合
實施例係關於音訊信號處理，且更明確言之，實施例係關於編碼、解碼或轉碼具有控制資料之音訊位元流以指定對音訊資料執行高頻重建(「HFR」)之一基本形式或HFR之一增強形式。
一典型音訊位元流包含指示音訊內容之一或多個通道之音訊資料(例如編碼音訊資料)及指示音訊資料或音訊內容之至少一個特性之後設資料兩者。用於產生一編碼音訊位元流之一熟知格式係MPEG標準ISO/IEC 14496-3:2009中所描述之MPEG-4進階音訊編碼(AAC)格式。在MPEG-4標準中，AAC表示「進階音訊編碼」且HE-AAC表示「高效率進階音訊編碼」。
MPEG-4 AAC標準界定若干音訊設定檔，其等判定一相容編碼器或解碼器中存在哪些物件及編碼工具。此等音訊設定檔之三者係(1) AAC設定檔、(2) HE-AAC設定檔及(3) HE-AAC v2設定檔。AAC設定檔包含AAC低複雜性(或「AAC-LC」)物件類型。AAC-LC物件係MPEG-2 AAC低複雜性設定檔之對應物，具有一些調整，且不包含頻譜帶複製(「SBR」)物件類型及參數立體聲(「PS」)物件類型兩者。HE-AAC設定檔係AAC設定檔之一超集且另外包含SBR物件類型。HE-AAC v2設定檔係HE-AAC設定檔之一超集且另外包含PS物件類型。
SBR物件類型含有頻譜帶複製工具，其係可顯著提高感知音訊編解碼器之壓縮效率之一重要高頻重建(「HFR」)編碼工具。SBR重建接收器側上(例如，解碼器中)之一音訊信號之高頻分量。因此，編碼器僅需要編碼及傳輸低頻分量以允許低資料率處之一更高很多音訊品質。SBR係基於自編碼器獲得之可用頻寬有限信號及控制資料複製先前經截斷以降低資料率之諧波序列。藉由自適應逆濾波及視情況添加雜訊及正弦曲線來維持音調分量與似雜訊分量之間的比率。在MPEG-4 AAC標準中，SBR工具執行頻譜修補(亦稱為線性平移或頻譜平移)，其中自一音訊信號之一傳輸低頻帶部分複製(或「修補」)數個連續正交鏡像濾波器(QMF)子頻帶至該音訊信號之一高頻帶部分(其產生於解碼器中)。
頻譜修補或線性平移可能不適合於某些音訊類型(諸如具有相對較低交越頻率之音樂內容)。因此，需要用於改良頻譜帶複製之技術。
一第一類實施例係關於一種用於解碼一編碼音訊位元流之方法。該方法包含接收該編碼音訊位元流且解碼該音訊資料以產生一解碼低頻帶音訊信號。該方法進一步包含提取高頻重建後設資料且使用一分析濾波器組來過濾該解碼低頻帶音訊信號以產生一濾波低頻帶音訊信號。該方法進一步包含提取指示對該音訊資料執行頻譜平移或諧波轉置之一旗標且根據該旗標來使用該濾波低頻帶音訊信號及該高頻重建後設資料再生該音訊信號之一高頻帶部分。最後，該方法包含組合該濾波低頻帶音訊信號及該再生高頻帶部分以形成一寬頻音訊信號。
一第二類實施例係關於一種用於解碼一編碼音訊位元流之音訊解碼器。該解碼器包含用於接收該編碼音訊位元流之一輸入介面(其中該編碼音訊位元流包含表示一音訊信號之一低頻帶部分之音訊資料)及用於解碼該音訊資料以產生一解碼低頻帶音訊信號之一核心解碼器。該解碼器亦包含用於自該編碼音訊位元流提取高頻重建後設資料之一解多工器(其中該高頻重建後設資料包含用於一高頻重建程序之操作參數，該高頻重建程序將數個連續子頻帶自該音訊信號之一低頻帶部分線性平移至該音訊信號之一高頻帶部分)及用於過濾該解碼低頻帶音訊信號以產生一濾波低頻帶音訊信號之一分析濾波器組。該解碼器進一步包含用於自該編碼音訊位元流提取一旗標(其指示對該音訊資料執行線性平移或諧波轉置)之一解多工器及用於根據該旗標來使用該濾波低頻帶音訊信號及該高頻重建後設資料再生該音訊信號之一高頻帶部分之一高頻再生器。最後，該解碼器包含用於組合該濾波低頻帶音訊信號及該再生高頻帶部分以形成一寬頻音訊信號之一合成濾波器組。
其他類實施例係關於編碼及轉碼音訊位元流，該等音訊位元流含有識別是否執行增強頻譜帶複製(eSBR)處理之後設資料。
相關申請案之交叉參考 本申請案主張2018年4月25日申請之美國臨時專利申請案第62/662,296號之優先權權利，該案之全部內容以引用的方式併入本文中。 符號及術語
在本發明中(其包含在申請專利範圍中)，表述「對一信號或資料執行一操作」(例如過濾信號或資料、按比例調整信號或資料、變換信號或資料或將增益施加於信號或資料)用於廣義表示「直接對信號或資料或對信號或資料之一經處理型式執行操作」(例如，對在對信號執行操作之前經歷初步過濾或預處理之信號之一型式執行操作)。
在本發明中(包含在申請專利範圍中)，表述「音訊處理單元」或「音訊處理器」用於廣義表示經組態以處理音訊資料之一系統、裝置或設備。音訊處理單元之實例包含(但不限於)編碼器、轉碼器、解碼器、編解碼器、預處理系統、後處理系統及位元流處理系統(有時指稱位元流處理工具)。幾乎所有消費性電子產品(諸如行動電話、電視、膝上型電腦及平板電腦)均含有一音訊處理單元或音訊處理器。
在本發明中(包含在申請專利範圍中)，術語「耦合」用於廣義意謂一直接或間接連接。因此，若一第一裝置耦合至一第二裝置，則該連接可透過一直接連接或透過經由其他裝置及連接之一間接連接。此外，整合至其他組件中或與其他組件整合之組件亦彼此耦合。
MPEG-4 AAC標準預期，一編碼MPEG-4 AAC位元流包含後設資料，其指示由一解碼器施加(若將施加)以解碼位元流之音訊內容之各類型之高頻重建(「HFR」)處理，及/或控制此HFR處理，及/或指示用於解碼位元流之音訊內容之至少一個HFR工具之至少一個特性或參數。在本文中，吾人使用表述「SBR後設資料」來表示用於與頻譜帶複製(「SBR」)一起使用之此類型之後設資料，如MPEG-4 AAC標準中所描述或提及。熟習技術者應瞭解，SBR係HFR之一形式。
SBR較佳地用作一雙速率系統，其中基本編解碼器以原始取樣率之一半操作，而SBR以原始取樣率操作。儘管具有一較高取樣率，但SBR編碼器與基本核心編解碼器並行工作。儘管SBR主要為解碼器中之一後處理，但在編碼器中提取重要參數以確保解碼器中之最準確高頻重建。編碼器估計適合於當前輸入信號區段特性之一時間及頻率範圍/解析度之SBR範圍之頻譜包絡。藉由一複數QMF分析及隨後能量計算來估計頻譜包絡。可以一高自由度選擇頻譜包絡之時間及頻率解析度以確保給定輸入區段之最適合時間頻率解析度。包絡估計需要考量在包絡調整之前原始來源之一暫態(其主要位於高頻區域(例如一高帽)中)將少量存在於SBR產生之高頻帶中，因為解碼器中之高頻帶係基於其中暫態比高頻帶不明顯得多之低頻帶。與用於其他音訊編碼演算法中之一般頻譜包絡估計相比，此態樣對頻譜包絡資料之時間頻率解析度提出不同要求。
除頻譜包絡之外，亦提取表示不同時間及頻率區域之輸入信號之頻譜特性之若干額外參數。由於編碼器天然有權使用原始信號及關於解碼器中之SBR單元將如何產生高頻帶之資訊，所以鑑於控制參數之特定組，系統可處置其中低頻帶構成一強諧波系列且待重新產生之高頻帶主要構成隨機信號分量之情形及其中強音調分量存在於原始高頻帶(其不具有高頻帶區域所基於之低頻帶中之對應物體)之情形。此外，SBR編碼器與基本核心編解碼器密切相關地工作以評估在一給定時間應由SBR覆蓋哪個頻率範圍。就立體聲信號而言，在傳輸之前藉由利用熵編碼及控制資料之通道相依性來高效率編碼SBR資料。
通常需要根據基本編解碼器來以一給定位元率及一給定取樣率小心調諧控制參數提取演算法。此係歸因於一較低位元率通常隱含比一高位元率大之一SBR範圍且不同取樣率對應於SBR訊框之不同時間解析度的事實。
一SBR解碼器通常包含若干不同部分。其包括一位元流解碼模組、一高頻重建(HFR)模組、一額外高頻分量模組及一包絡調整器模組。系統係基於一複數值QMF濾波器組(用於高品質SBR)或一實數值QMF濾波器組(用於低功率SBR)。本發明之實施例適用於高品質SBR及低功率SBR兩者。在位元流提取模組中，自位元流讀取控制資料且解碼控制資料。在自位元流讀取包絡資料之前，獲得當前訊框之時間頻率網格。基本核心解碼器解碼當前訊框之音訊信號(儘管以較低取樣率)以產生時域音訊取樣。由HFR模組使用音訊資料之所得訊框來進行高頻重建。接著，使用一QMF濾波器組來分析解碼低頻帶信號。隨後，對QMF濾波器組之子頻帶取樣執行高頻重建及包絡調整。基於給定控制參數，以一靈活方式由低頻帶重建高頻。此外，根據控制資料，基於一子頻帶通道來自適應過濾重建高頻帶以確保給定時間/頻率區域之適當頻譜特性。
一MPEG-4 AAC位元流之頂層係一資料區塊序列(「raw_data_block」元素)，其等之各者係含有音訊資料(通常在1024個或960個取樣之一時段內)及相關資訊及/或其他資料之一資料區段(本文中指稱一「區塊」)。在本文中，吾人使用術語「區塊」來表示包括音訊資料(及對應後設資料及視情況其他相關資料)之一MPEG-4 AAC位元流之一區段(其判定或指示一個(但非一個以上)「raw_data_block」元素)。
一MPEG-4 AAC位元流之各區塊可包含數個語法元素(其等之各者在位元流中亦具體化為一資料區段)。在MPEG-4 AAC標準中界定7種類型之此等語法元素。各語法元素由資料元素「id_syn_ele」之一不同值識別。語法元素之實例包含一「single_channel_element()」、一「channel_pair_element()」及一「fill_element()」。一單通道元素係包含一單一音訊通道(一單聲道音訊信號)之音訊資料之一容區。一通道對元素包含兩個音訊通道之音訊資料(即，一立體聲音訊信號)。
一填充元素係包含一識別符(例如上述元素「id_syn_ele」之值)及後接資料(其指稱「填充資料」)之一資訊容區。填充元素歷來用於調整將通過一恆定速率通道來傳輸之位元流之瞬時位元率。可藉由向各區塊添加適當填充資料量來達成一恆定資料率。
根據本發明之實施例，填充資料可包含擴展能夠在一位元流中傳輸之資料類型(例如後設資料)之一或多個擴展有效負載。一解碼器(其接收具有含有一新資料類型之填充資料之位元流)可視情況由接收位元流之一裝置(例如一解碼器)使用以擴展該裝置之功能。因此，熟習技術者應瞭解，填充元素係一特殊類型之資料結構且不同於通常用於傳輸音訊資料之資料結構(例如含有通道資料之音訊有效負載)。
在本發明之一些實施例中，用於識別一填充元素之識別符可由一3位元無符號整數先傳輸最高有效位元(「uimsbf」)(其具有0×6之一值)組成。在一區塊中，可出現相同類型之語法元素之若干例項(例如若干填充元素)。
用於編碼音訊位元流之另一標準係MPEG統一語音及音訊編碼(USAC)標準(ISO/IEC 23003-3:2012)。MPEG USAC標準描述使用頻譜帶複製處理(包含MPEG-4 AAC標準中所描述之SBR處理且亦包含頻譜帶複製處理之其他增強形式)來編碼及解碼音訊內容。此處理應用MPEG-4 AAC標準中所描述之SBR工具組之一擴展及增強型式之頻譜帶複製工具(本文中有時指稱「增強SBR工具」或「eSBR工具」)。因此，eSBR (如USAC標準中所界定)係SBR (如MPEG-4 AAC標準中所界定)之一改良。
在本文中，吾人使用表述「增強SBR處理」(或「eSBR處理」)來表示使用MPEG-4 AAC標準中未描述或未提及之至少一個eSBR工具(例如MPEG USAC標準中所描述或所提及之至少一個eSBR工具)之頻譜帶複製處理。此等eSBR工具之實例係諧波轉置及QMF修補額外預處理或「預平坦化」。
整數階T之一諧波轉置器將具有頻率ω之一正弦曲線映射成具有頻率Tω之一正弦曲線，同時保持信號持續時間。通常依序使用三個階T=2、3、4以使用最小可能轉置階來產生所要輸出頻率範圍之各部分。若需要高於4階轉置範圍之輸出，則其可藉由頻移來產生。儘可能產生近臨界取樣基頻時域用於處理以最小化計算複雜性。
諧波轉置器可基於QMF或DFT。當使用基於QMF之諧波轉置器時，在QMF域中使用一經修改相位聲碼器結構來完全實施核心編碼器時域信號之頻寬擴展以對每一QMF子頻帶執行抽樣及接著時間延長。在一共同QMF分析/合成變換級中實施使用若干轉置因數(例如，T=2、3、4)之轉置。由於基於QMF之諧波轉置器不具有信號自適應頻域超取樣之特徵，所以可忽略位元流中之對應旗標(sbrOversamplingFlag[ch])。
當使用基於DFT之諧波轉置器時，因數3及4轉置器(3階及4階轉置器)較佳地藉由內插來整合至因數2轉置器(2階轉換器)中以降低複雜性。對於各訊框(對應於coreCoderFrameLength核心編碼器取樣)，轉置器之標稱「全形」變換大小首先由位元流中之信號自適應頻域超取樣旗標(sbrOversamplingFlag[ch])判定。
當sbrPatchingMode==1以指示線性轉置將用於產生高頻帶時，可引入一額外步驟以避免輸入至隨後包絡調整器之高頻信號之頻譜包絡之形狀不連續。此改良隨後包絡調整級之操作以導致被感知為更穩定之一高頻帶信號。額外預處理之操作有益於其中用於高頻重建之低頻帶信號之粗略頻譜包絡顯示大位準變動之信號類型。然而，可在編碼器中藉由應用任何種類之信號相依分類來判定位元流元素之值。較佳地，透過一1位元位元流元素bs_sbr_preprocessing來啟動額外預處理。當將bs_sbr_preprocessing設定為1時，啟用額外處理。當將bs_sbr_preprocessing設定為0時，停用額外預處理。額外處理較佳地利用由高頻產生器使用之一預增益曲線來按比例調整各修補之低頻帶X Low。例如，預增益曲線可根據以下方程式來計算： ，0≤k＜k 0其中k 0係主頻帶表中之第一QMF子頻帶且lowEnvSlope係使用計算一最佳擬合多項式(在一最小平方意義上)之係數之一函數(諸如polyfit())來計算。例如，可採用(使用三次多項式) ； 且其中 ，0≤k＜k 0其中x_lowband(k)=[0...k 0-1]，numTimeSlot係存在於一訊框內之SBR包絡時槽之數目，RATE係指示每時槽之QMF子頻帶取樣之數目(例如2)之一常數，φ k係一線性預測濾波係數(可自協方差法獲得)且其中
根據MPEG USAC標準所產生之一位元流(本文中有時指稱一「USAC位元流」)包含編碼音訊內容且通常包含指示由一解碼器施加以解碼USAC位元流之音訊內容之各類型之頻譜帶複製處理的後設資料及/或控制此頻譜帶複製處理及/或指示用於解碼USAC位元流之音訊內容之至少一個SBR工具及/或eSBR工具之至少一個特性或參數的後設資料。
在本文中，吾人使用表述「增強SBR後設資料」(或「eSBR後設資料」)來表示後設資料，其指示由一解碼器施加以解碼一編碼音訊位元流(例如一USAC位元流)之音訊內容之各類型之頻譜帶複製處理，及/或控制此頻譜帶複製處理，及/或指示用於解碼此音訊內容但未在MPEG-4 AAC標準中描述或提及之至少一個SBR工具及/或eSBR工具之至少一個特性或參數。eSBR後設資料之一實例係在MPEG USAC標準中描述或提及但未在MPEG-4 AAC標準中描述或提及之後設資料(指示或用於控制頻譜帶複製處理)。因此，本文中之eSBR後設資料表示不是SBR後設資料之後設資料，且本文中之SBR後設資料表示不是eSBR後設資料之後設資料。
一USAC位元流可包含SBR後設資料及eSBR後設資料兩者。更明確言之，一USAC位元流可包含控制由一解碼器執行eSBR處理之eSBR後設資料及控制由解碼器執行SBR處理之SBR後設資料。根據本發明之典型實施例，eSBR後設資料(例如eSBR特定組態資料)包含(根據本發明)於一MPEG-4 AAC位元流中(例如，在一SBR有效負載末端之sbr_extension()容區中)。
在使用一eSBR工具組(其包括至少一個eSBR工具)解碼一編碼位元流期間，由一解碼器執行eSBR處理以基於在編碼期間被截斷之諧波序列之複製來再生音訊信號之高頻帶。此eSBR處理通常調整所產生之高頻帶之頻譜包絡且應用逆濾波，且添加雜訊及正弦分量以重新產生原始音訊信號之頻譜特性。
根據本發明之典型實施例，eSBR後設資料(例如為eSBR後設資料之少量控制位元)包含於一編碼音訊位元流(例如一MPEG-4 AAC位元流)之一或多個後設資料區段中，該編碼音訊位元流亦包含其他區段(音訊資料區段)中之編碼音訊資料。通常，位元流之各區塊之至少一個此後設資料區段係(或包含)一填充元素(包含指示填充元素之開始之一識別符)，且eSBR後設資料包含於識別符之後之填充元素中。
圖1係一例示性音訊處理鏈(一音訊資料處理系統)之一方塊圖，其中可根據本發明之一實施例來組態系統之一或多個元件。系統包含如所展示般耦合在一起之以下元件：編碼器1、傳送子系統2、解碼器3及後處理單元4。在所展示之系統之變型中，省略一或多個元件，或包含額外音訊資料處理單元。
在一些實施方案中，編碼器1 (其視情況包含一預處理單元)經組態以接受包括音訊內容作為輸入之PCM (時域)取樣且輸出指示音訊內容之一編碼音訊位元流(其具有符合MPEG4 AAC標準之格式)。指示音訊內容之位元流之資料在本文中有時指稱「音訊資料」或「編碼音訊資料」。若根據本發明之一典型實施例來組態編碼器，則自編碼器輸出之音訊位元流包含eSBR後設資料(且通常亦包含其他後設資料)及音訊資料。
可確證自編碼器1輸出之一或多個編碼音訊位元流至編碼音訊傳送子系統2。子系統2經組態以儲存及/或傳送自編碼器1輸出之各編碼位元流。自編碼器1輸出之一編碼音訊位元流可由子系統2儲存(例如，以一DVD或藍光光碟之形式)，或由子系統2傳輸(其可實施一傳輸鏈路或網路)，或可由子系統2儲存及傳輸。
解碼器3經組態以解碼其經由子系統2來接收之一編碼MPEG-4 AAC音訊位元流(由編碼器1產生)。在一些實施例中，解碼器3經組態以自位元流之各區塊提取一eSBR後設資料且解碼位元流(包含藉由使用所提取之eSBR後設資料執行eSBR處理)以產生解碼音訊資料(例如解碼PCM音訊取樣流)。在一些實施例中，解碼器3經組態以自位元流提取SBR後設資料(但忽略包含於位元流中之eSBR後設資料)且解碼位元流(包含藉由使用所提取之SBR後設資料執行SBR處理)以產生解碼音訊資料(例如解碼PCM音訊取樣流)。通常，解碼器3包含一緩衝器，其儲存(例如，以一非暫時性方式)自子系統2接收之編碼音訊位元流之區段。
圖1之後處理單元4經組態以接受來自解碼器3之一解碼音訊資料流(例如解碼PCM音訊取樣)且對其執行後處理。後處理單元亦可經組態以再現經後處理之音訊內容(或自解碼器3接收之解碼音訊)來供一或多個揚聲器播放。
圖2係一編碼器(100)之一方塊圖，編碼器100係本發明音訊處理單元之一實施例。編碼器100之任何組件或元件可以硬體、軟體或硬體及軟體之一組合實施為一或多個程序及/或一或多個電路(例如ASIC、FPGA或其他積體電路)。編碼器100包含如所展示般連接之編碼器105、填充器/格式化器級107、後設資料產生級106及緩衝記憶體109。通常，編碼器100亦包含其他處理元件(未展示)。編碼器100經組態以將一輸入音訊位元流轉換成一編碼輸出MPEG-4 AAC位元流。
後設資料產生器106經耦合及組態以產生後設資料(包含eSBR後設資料及SBR後設資料)(及/或傳遞後設資料至級107)以由級107包含於自編碼器100輸出之編碼位元流中。
編碼器105經耦合及組態以編碼輸入音訊資料(例如，藉由對其執行壓縮)且確證所得編碼音訊至級107以包含於自級107輸出之編碼位元流中。
級107經組態以多工來自編碼器105之編碼音訊及來自產生器106之後設資料(包含eSBR後設資料及SBR後設資料)以產生自級107輸出之編碼位元流，較佳地使得編碼位元流具有由本發明之一實施例指定之格式。
緩衝記憶體109經組態以儲存(例如，以一非暫時性方式)自級107輸出之編碼音訊位元流之至少一個區塊，且接著確證編碼音訊位元流之一區塊序列作為來自編碼器100之輸出自緩衝記憶體109至一傳送系統。
圖3係一系統之一方塊圖，系統包含解碼器(200)(其係本發明音訊處理單元之一實施例)且視情況亦包含耦合至解碼器200之一後處理器(300)。解碼器200及後處理器300之任何組件或元件可以硬體、軟體或硬體及軟體之一組合實施為一或多個程序及/或一或多個電路(例如ASIC、FPGA或其他積體電路)。解碼器200包括如所展示般連接之緩衝記憶體201、位元流有效負載去格式化器(剖析器) 205、音訊解碼子系統202 (有時指稱一「核心」解碼級或「核心」解碼子系統)、eSBR處理級203及控制位元產生級204。通常，解碼器200亦包含其他處理元件(未展示)。
緩衝記憶體(緩衝器) 201儲存(例如，以一非暫時性方式)由解碼器200接收之一編碼MPEG-4 AAC音訊位元流之至少一個區塊。在解碼器200之操作中，確證位元流之一區塊序列自緩衝器201至去格式化器205。
在圖3實施例(或待描述之圖4實施例)之變型中，一APU (其不是一解碼器)(例如圖6之APU 500)包含一緩衝記憶體(例如相同於緩衝器201之一緩衝記憶體)，其儲存(例如，以一非暫時性方式)由圖3或圖4之緩衝器201接收之相同類型之一編碼音訊位元流(例如一MPEG-4 AAC音訊位元流)之至少一個區塊(即，包含eSBR後設資料之一編碼音訊位元流)。
再次參考圖3，去格式化器205經耦合及組態以解多工位元流之各區塊以自其提取SBR後設資料(包含量化包絡資料)及eSBR後設資料(及通常亦包含其他後設資料)以確證至少eSBR後設資料及SBR後設資料至eSBR處理級203且通常亦確證其他提取後設資料至解碼子系統202 (且視情況亦至控制位元產生器204)。去格式化器205亦經耦合及組態以自位元流之各區塊提取音訊資料且確證提取音訊資料至解碼子系統(解碼級) 202。
圖3之系統亦視情況包含後處理器300。後處理器300包含緩衝記憶體(緩衝器) 301及其他處理元件(未展示)，該等處理元件包含耦合至緩衝器301之至少一個處理元件。緩衝器301儲存(例如，以一非暫時性方式)由後處理器300自解碼器200接收之解碼音訊資料之至少一個區塊(或訊框)。後處理器300之處理元件經耦合及組態以接收且使用自解碼子系統202 (及/或去格式化器205)輸出之後設資料及/或自解碼器200之級204輸出之控制位元來自適應處理自緩衝器301輸出之解碼音訊之一區塊(或訊框)序列。
解碼器200之音訊解碼子系統202經組態以解碼由剖析器205提取之音訊資料(此解碼可指稱一「核心」解碼操作)以產生解碼音訊資料且確證解碼音訊資料至eSBR處理級203。解碼在頻域中執行且通常包含逆量化及接著頻譜處理。通常，子系統202中之一最後處理級將一頻域至時域變換應用於解碼頻域音訊資料，使得子系統之輸出係時域解碼音訊資料。級203經組態以將由eSBR後設資料及eSBR (由剖析器205提取)指示之SBR工具及eSBR工具應用於解碼音訊資料(即，使用SBR及eSBR後設資料來對解碼子系統202之輸出執行SBR及eSBR處理)以產生自解碼器200輸出(例如，至後處理器300)之全解碼音訊資料。通常，解碼器200包含儲存自去格式化器205輸出之去格式化音訊資料及後設資料之一記憶體(可由子系統202及級203存取)，且級203經組態以在SBR及eSBR處理期間根據需要存取音訊資料及後設資料(包含SBR後設資料及eSBR後設資料)。級203中之SBR處理及eSBR處理可被視為對核心解碼子系統202之輸出的後處理。解碼器200亦視情況包含一最後升混子系統(其可使用由去格式化器205提取之PS後設資料及/或子系統204中所產生之控制位元來應用MPEG-4 AAC標準中所界定之參數立體聲(「PS」)工具)，其經耦合及組態以對級203之輸出執行升混以產生自解碼器200輸出之全解碼升混音訊。替代地，後處理器300經組態以對解碼器200之輸出執行升混(例如，使用由去格式化器205提取之PS後設資料及/或子系統204中所產生之控制位元)。
回應於由去格式化器205提取之後設資料，控制位元產生器204可產生控制資料，且控制資料可用於解碼器200內(例如，用於一最後升混子系統中)及/或確證為解碼器200之輸出(例如，至後處理器300用於後處理)。回應於自輸入位元流提取之後設資料(且視情況亦回應於控制資料)，級204可產生控制位元(且確證控制位元至後處理器300)以指示自eSBR處理級203輸出之解碼音訊資料應經歷一特定類型之後處理。在一些實施方案中，解碼器200經組態以確證由去格式化器205自輸入位元流提取之後設資料至後處理器300，且後處理器300經組態以使用後設資料來對自解碼器200輸出之解碼音訊資料執行後處理。
圖4係一音訊處理單元(「APU」)(210)之一方塊圖，APU 210係本發明音訊處理單元之另一實施例。APU 210係未經組態而執行eSBR處理之一舊型解碼器。APU 210之任何組件或元件可以硬體、軟體或硬體及軟體之一組合實施為一或多個程序及/或一或多個電路(例如ASIC、FPGA或其他積體電路)。APU 210包括如所展示般連接之緩衝記憶體201、位元流有效負載去格式化器(剖析器) 215、音訊解碼子系統202 (有時指稱一「核心」解碼級或「核心」解碼子系統)及SBR處理級213。通常，APU 210亦包含其他處理元件(未展示)。APU 210可表示(例如)一音訊編碼器、解碼器或轉碼器。
APU 210之元件201及202相同於(圖3之)解碼器200之相同編號元件，且將不重複其等之上文描述。在APU 210之操作中，確證由APU 210接收之一編碼音訊位元流(一MPEG-4 AAC位元流)之一區塊序列自緩衝器201至去格式化器215。
去格式化器215經耦合及組態以解多工位元流之各區塊以自其提取SBR後設資料(包含量化包絡資料)且通常亦自其提取其他後設資料，但忽略可包含於根據本發明之任何實施例之位元流中之eSBR後設資料。去格式化器215經組態以確證至少SBR後設資料至SBR處理級213。去格式化器215亦經耦合及組態以自位元流之各區塊提取音訊資料且確證提取音訊資料至解碼子系統(解碼級) 202。
解碼器200之音訊解碼子系統202經組態以解碼由去格式化器215提取之音訊資料(此解碼可指稱一「核心」解碼操作)以產生解碼音訊資料且確證解碼音訊資料至SBR處理級213。解碼在頻域中執行。通常，子系統202中之一最後處理級將一頻域至時域變換應用於解碼頻域音訊資料，使得子系統之輸出係時域解碼音訊資料。級213經組態以將由SBR後設資料(由去格式化器215提取)指示之SBR工具(但非eSBR工具)應用於解碼音訊資料(即，使用SBR後設資料來對解碼子系統202之輸出執行SBR處理)以產生自APU 210輸出(例如，至後處理器300)之全解碼音訊資料。通常，APU 210包含儲存自去格式化器215輸出之去格式化音訊資料及後設資料之一記憶體(可由子系統202及級213存取)，且級213經組態以在SBR處理期間根據需要存取音訊資料及後設資料(包含SBR後設資料)。級213中之SBR處理可被視為對核心解碼子系統202之輸出的後處理。APU 210亦視情況包含一最後升混子系統(其可使用由去格式化器215提取之PS後設資料來應用MPEG-4 AAC標準中所界定之參數立體聲「PS」工具)，其經耦合及組態以對級213之輸出執行升混以產生自APU 210輸出之全解碼升混音訊。替代地，一後處理器經組態以對APU 210之輸出執行升混(例如，使用由去格式化器215提取之PS後設資料及/或APU 210中所產生之控制位元)。
編碼器100、解碼器200及APU 210之各種實施方案經組態以執行本發明方法之不同實施例。
根據一些實施例，eSBR後設資料(例如為eSBR後設資料之少量控制位元)包含於一編碼音訊位元流(例如一MPEG-4 AAC位元流)中，使得舊型解碼器(其未經組態而剖析eSBR後設資料或使用與eSBR後設資料有關之任何eSBR工具)可忽略eSBR後設資料，但仍在不使用eSBR後設資料或與eSBR後設資料有關之任何eSBR工具之情況下儘可能解碼位元流，通常不顯著損失解碼音訊品質。然而，eSBR解碼器(其經組態以剖析位元流來識別eSBR後設資料且回應於eSBR後設資料而使用至少一個eSBR工具)將受益於使用至少一個此eSBR工具。因此，本發明之實施例提供用於以一回溯相容方式高效率傳輸增強頻譜帶複製(eSBR)控制資料或後設資料之一方式。
通常，位元流中之eSBR後設資料指示以下eSBR工具之一或多者(例如，指示以下eSBR工具之一或多者之至少一個特性或參數)(該等eSBR工具描述於MPEG USAC標準中，且可或可不在位元流之產生期間由一編碼器應用)： ․諧波轉置；及 ․QMF修補額外預處理(預平坦化)。
例如，包含於位元流中之eSBR後設資料可指示參數之值(如MPEG USAC標準及本發明中所描述)：sbrPatchingMode[ch]、sbrOversamplingFlag[ch]、sbrPitchInBins[ch]、sbrPitchInBins[ch]及bs_sbr_preprocessing。
在本文中，符號X[ch](其中X係某一參數)表示參數與待解碼之一編碼位元流之音訊內容之通道(「ch」)有關。為簡單起見，吾人有時省略表述[ch]，且假定相關參數與音訊內容之一通道有關。
在本文中，符號X[ch][env](其中X係某一參數)表示參數與待解碼之一編碼位元流之音訊內容之通道(「ch」)之SBR包絡(「env」)有關。為簡單起見，吾人有時省略表述[env]及[ch]，且假定相關參數與音訊內容之一通道之一SBR包絡有關。
在一編碼位元流之解碼期間，在解碼之一eSBR處理級期間執行諧波轉置(針對由位元流指示之音訊內容之各通道「ch」)由以下eSBR後設資料參數控制：sbrPatchingMode[ch]、sbrOversamplingFlag[ch]、sbrPitchInBinsFlag[ch]及sbrPitchInBins[ch]。
值「sbrPatchingMode[ch]」指示用於eSBR中之轉置器類型：sbrPatchingMode[ch]=1指示MPEG-4 AAC標準之章節4.6.18中所描述之線性轉置修補(與高品質SBR或低功率SBR一起使用)；sbrPatchingMode[ch]=0指示MPEG USAC標準之章節7.5.3或7.5.4中所描述之諧波SBR修補。
值「sbrOversamplingFlag[ch]」指示eSBR中之信號自適應頻域超取樣與MPEG USAC標準之章節7.5.3中所描述之基於DFT之諧波SBR修補組合使用。此旗標控制用於轉置器中之DFT之大小：1指示如MPEG USAC標準之章節7.5.3.1中所描述般啟用信號自適應頻域超取樣；0指示如MPEG USAC標準之章節7.5.3.1中所描述般停用信號自適應頻域超取樣。
值「sbrPitchInBinsFlag[ch]」控制sbrPitchInBins[ch]參數之解譯：1指示sbrPitchInBins[ch]之值有效且大於0；0指示sbrPitchInBins[ch]之值被設定為0。
值「sbrPitchInBins[ch]」控制SBR諧波轉置器中之交叉乘積項之加法。值sbrPitchinBins[ch]係範圍[0,127]內之一整數值且表示作用於核心編碼器之取樣頻率上之一1536線DFT之頻格中所量測之距離。
若一MPEG-4 AAC位元流指示其通道未耦合之一SBR通道對(而非一單一SBR通道)，則位元流指示上述語法之兩個例項(針對諧波或非諧波轉置)：各通道之一例項sbr_channel_pair_element()
eSBR工具之諧波轉置通常提高相對較低交越頻率處之解碼音樂信號之品質。非諧波轉置(即，舊型頻譜修補)通常增強語音信號。因此，決定哪種類型之轉置較適合於編碼特定音訊內容之一基點係根據具有對音樂內容所採用之諧波轉置之語音/音樂偵測及對速度內容之頻譜修補來選擇轉置方法。
在eSBR處理期間執行預平坦化由稱為「bs_sbr_preprocessing」之一單位元eSBR後設資料參數之值控制，從某種意義而言，根據此單位元之值來執行或不執行預平坦化。當使用MPEG-4 AAC標準之章節4.6.18.6.3中所描述之SBR QMF修補演算法時，可執行預平坦化之步驟(當由「bs_sbr_preprocessing」參數指示時)以試圖避免輸入至一隨後包絡調整器(包絡調整器執行eSBR處理之另一級)之一高頻信號之頻譜包絡之形狀不連續。預平坦化通常改良隨後包絡調整級之操作以導致被感知為更穩定之一高頻帶信號。
根據本發明之一些實施例，包含於指示上述eSBR工具(諧波轉置及預平坦化)之一MPEG-4 AAC位元流eSBR後設資料中之總位元率需求預期為每秒數百個位元，因為僅傳輸執行eSBR處理所需之差動控制資料。舊型解碼器可忽略此資訊，因為其以一回溯相容方式被包含(如稍後將解釋)。因此，由於以下種種原因，與包含eSBR後設資料相關聯之位元率受到之不利影響可忽略： ․位元率損失(歸因於包含eSBR後設資料)在總位元率中之占比非常小，因為僅傳輸執行eSBR處理所需之差動控制資料(且非SBR控制資料之一聯播)；及 ․SBR相關控制資訊之調諧通常不取決於轉置之細節。本申請案稍後將論述控制資料取決於轉置器之操作之實例。
因此，本發明之實施例提供用於以一回溯相容方式高效率傳輸增強頻譜帶複製(eSBR)控制資料或後設資料之一方式。eSBR控制資料之此高效率傳輸減少採用本發明之態樣之解碼器、編碼器及轉碼器中之記憶體需求，同時對位元率無實質不利影響。此外，亦減少與根據本發明之實施例來執行eSBR相關聯之複雜性及處理需求，因為SBR資料僅需被處理一次且不聯播，當eSBR被視作MPEG-4 AAC中之一完全獨立物件類型而非以一回溯相容方式整合至MPEG-4 AAC編解碼器中時，情況就是如此。
接著，參考圖7，吾人描述根據本發明之一些實施例之一MPEG-4 AAC位元流(其中包含eSBR後設資料)之一區塊(「raw_data_block」)之元素。圖7係MPEG-4 AAC位元流之一區塊(一「raw_data_block」)之一圖式，其展示MPEG-4 AAC位元流之一些區段。
一MPEG-4 AAC位元流之一區塊可包含至少一個「single_channel_element()」(例如圖7中所展示之單通道元素)及/或至少一個「channel_pair_element()」(圖7中未明確展示，但其可存在)，其包含一音訊節目之音訊資料。區塊亦可包含數個「fill_element」(例如圖7之填充元素1及/或填充元素2)，其等包含與節目相關之資料(例如後設資料)。各「single_channel_element()」包含指示一單通道元素之開始之一識別符(例如圖7之「ID1」)，且可包含指示一多通道音訊節目之一不同通道之音訊資料。各「channel_pair_element」包含指示一通道對元素之開始之一識別符(圖7中未展示)，且可包含指示節目之兩個通道之音訊資料。
一MPEG-4 AAC位元流之一fill_element (本文中指稱一填充元素)包含指示一填充元素之開始之一識別符(圖7之「ID2」)及識別符之後之填充資料。識別符ID2可由具有0×6之一值之一3位元無符號整數先傳輸最高有效位元(「uimsbf」)組成。填充資料可包含其語法展示於MPEG-4 AAC標準之表4.57中之一extension_payload()元素(本文中有時指稱一擴展有效負載)。存在若干類型之擴展有效負載且透過「extension_type」參數來識別，「extension_type」參數係一4位元無符號整數先傳輸最高有效位元(「uimsbf」)。
填充資料(例如其之一擴展有效負載)可包含指示填充資料之一區段(其指示一SBR物件)之一標頭或識別符(例如圖7之「標頭1」)(即，標頭初始化MPEG-4 AAC標準中指稱sbr_extension_data()之一「SBR物件」類型)。例如，使用標頭中extension_type欄位之「1101」或「1110」之值來識別一頻譜帶複製(SBR)擴展有效負載，其中識別符「1101」識別具有SBR資料之一擴展有效負載且「1110」識別包含具有一循環冗餘檢查(CRC)之SBR資料之一擴展有效負載以驗證SBR資料之正確性。
當標頭(例如extension_type欄位)初始化一SBR物件類型時，SBR後設資料(本文中有時指稱「頻譜帶複製資料」，且指稱MPEG-4 AAC標準中之sbr_data())跟隨標頭，且至少一個頻譜帶複製擴展元素(例如圖7之填充元素1之「SBR擴展元素」)可跟隨SBR後設資料。此一頻譜帶複製擴展元素(位元流之一區段)指稱MPEG-4 AAC標準中之一「sbr_extension()」容區。一頻譜帶複製擴展元素視情況包含一標頭(例如圖7之填充元素1之「SBR擴展標頭」)。
MPEG-4 AAC標準預期，一頻譜帶複製擴展元素可包含用於一節目之音訊資料之PS (參數立體聲)資料。MPEG-4 AAC標準預期，當一填充元素(例如其之一擴展有效負載)之標頭初始化一SBR物件類型(如圖7之「標頭1」)且填充元素之一頻譜帶複製擴展元素包含PS資料時，填充元素(例如其之擴展有效負載)包含頻譜帶複製資料及一「bs_extension_id」參數(其值(即，bs_extension_id=2)指示PS資料包含於填充元素之一頻譜帶複製擴展元素中)。
根據本發明之一些實施例，eSBR後設資料(例如指示是否對區塊之音訊內容執行增強頻譜帶複製(eSBR)處理之一旗標)包含於一填充元素之一頻譜帶複製擴展元素中。例如，此一旗標指示於圖7之填充元素1中，其中旗標出現於填充元素1之「SBR擴展元素」之標頭(填充元素1之「SBR擴展標頭」)之後。此一旗標及額外eSBR後設資料視情況包含於一頻譜帶複製擴展元素之標頭之後的該頻譜帶複製擴展元素中(例如，在SBR擴展標頭之後的圖7中之填充元素1之SBR擴展元素中)。根據本發明之一些實施例，包含eSBR後設資料之一填充元素亦包含一「bs_extension_id」參數，其值(例如bs_extension_id=3)指示eSBR後設資料包含於填充元素中且對相關區塊之音訊內容執行eSBR處理。
根據本發明之一些實施例，eSBR後設資料包含於一MPEG-4 AAC位元流之一填充元素(例如圖7之填充元素2)中而非填充元素之一頻譜帶複製擴展元素(SBR擴展元素)中。此係因為含有一extension_payload()(其具有SBR資料或具有一CRC之SBR資料)之填充元素不含任何其他擴展類型之任何其他擴展有效負載。因此，在其中eSBR後設資料儲存其自身之擴展有效負載中之實施例中，使用一單獨填充元素來儲存eSBR後設資料。此一填充元素包含指示一填充元素之開始之一識別符(例如圖7之「ID2」)及識別符之後之填充資料。填充資料可包含其語法展示於MPEG-4 AAC標準之表4.57中之一extension_payload()元素(本文中有時指稱一擴展有效負載)。填充資料(例如其之一擴展有效負載)包含指示一eSBR物件之一標頭(例如圖7之填充元素2之「標頭2」)(即，標頭初始化一增強頻譜帶複製(eSBR)物件類型)，且填充資料(例如其之一擴展有效負載)包含標頭之後之eSBR後設資料。例如，圖7之填充元素2包含此一標頭(「標頭2」)且亦包含標頭之後之eSBR後設資料(即，填充元素2中之「旗標」，其指示是否對區塊之音訊內容執行增強頻譜帶複製(eSBR)處理)。額外eSBR後設資料亦視情況包含於標頭2之後的圖7之填充元素2之填充資料中。在本段落所描述之實施例中，標頭(例如圖7之標頭2)具有一識別值，其不是MPEG-4 AAC標準之表4.57中所指定之一約定值，而是代以指示一eSBR擴展有效負載(使得標頭之extension_type欄位指示填充資料包含eSBR後設資料)。
在一第一類實施例中，本發明係一種音訊處理單元(例如一解碼器)，其包括： 一記憶體(例如圖3或圖4之緩衝器201)，其經組態以儲存一編碼音訊位元流之至少一個區塊(例如一MPEG-4 AAC位元流之至少一個區塊)； 一位元流有效負載去格式化器(例如圖3之元件205或圖4之元件215)，其耦合至該記憶體且經組態以解多工該位元流之該區塊之至少一個部分；及 一解碼子系統(例如圖3之元件202及203或圖4之元件202及213)，其經耦合及組態以解碼該位元流之該區塊之音訊內容之至少一個部分，其中該區塊包含： 一填充元素，其包含指示該填充元素之一開始之一識別符(例如具有MPEG-4 AAC標準之表4.85之值0×6之「id_syn_ele」識別符)及該識別符之後之填充資料，其中該填充資料包含： 至少一個旗標，其識別是否對該區塊之音訊內容執行增強頻譜帶複製(eSBR)處理(例如，使用包含於該區塊中之頻譜帶複製資料及eSBR後設資料)。
該旗標係eSBR後設資料，且該旗標之一實例係sbrPatchingMode旗標。該旗標之另一實例係harmonicSBR旗標。此等旗標之兩者指示對該區塊之該音訊資料執行頻譜帶複製之一基本形式或頻譜複製之一增強形式。頻譜複製之該基本形式係頻譜修補，且頻譜帶複製之該增強形式係諧波轉置。
在一些實施例中，該填充資料亦包含額外eSBR後設資料(即，除該旗標之外之eSBR後設資料)。
該記憶體可為一緩衝記憶體(例如圖4之緩衝器201之一實施方案)，其儲存(例如，以一非暫時性方式)該編碼音訊位元流之該至少一個區塊。
據估計，在包含eSBR後設資料(指示此等eSBR工具)之一MPEG-4 AAC位元流之解碼期間由一eSBR解碼器執行eSBR處理(使用eSBR諧波轉置及預平坦化)之複雜性將為如下(針對具有指示參數之典型解碼)： ․諧波轉置(16 kbps，14400/28800 Hz) ○ 基於DFT：3.68 WMOPS (每秒加權百萬次操作)； ○ 基於QMF：0.98 WMOPS； ․QMF修補預處理(預平坦化)：0.1 WMOPS。 眾所周知，針對暫態，基於DFT之轉置通常比基於QMF之轉置執行得更好。
根據本發明之一些實施例，包含eSBR後設資料之(一編碼音訊位元流之)一填充元素亦包含其值(例如bs_extension_id=3)預示eSBR後設資料包含於填充元素中且對相關區塊之音訊內容執行eSBR處理之一參數(例如一「bs_extension_id」參數)及/或其值(例如bs_extension_id=2)預示填充元素之一sbr_extension()容區包含PS資料之一參數(例如相同「bs_extension_id」參數)。例如，如下表1中所指示，具有值bs_extension_id=2之此一參數可預示填充元素之一sbr_extension()容區包含PS資料，且具有值bs_extension_id=3之此一參數可預示填充元素之一sbr_extension()容區包含eSBR後設資料： 表1
bs_extension_id 意 涵
0 保留
1 保留
2 EXTENSION_ID_PS
3 EXTENSION_ID_ESBR
根據本發明之一些實施例，包含eSBR後設資料及/或PS資料之各頻譜帶複製擴展元素之語法係如下表2中所指示(其中「sbr_extension()」表示為頻譜帶複製擴展元素之一容區，「bs_extension_id」係如上表1中所描述，「ps_data」表示PS資料，且「esbr_data」表示eSBR後設資料)： 表2
sbr_extension(bs_extension_id, num_bits_left)   
{   
        switch (bs_extension_id) {   
        case EXTENSION_ID_PS:   
                num_bits_left -= ps_data()； 註釋1
                break；   
        case EXTENSION_ID_ESBR:   
                num_bits_left -= esbr_data()； 註釋 2
                break；   
        default:   
bs_fill_bits；
                num_bits_left = 0；   
        break；   
}   
}   
註釋1：ps_data()返回讀取位元之數目。   
註釋2：esbr_data()返回讀取位元之數目。   
在一例示性實施例中，上表2中所提及之esbr_data()指示以下後設資料參數之值： 1. 單位元後設資料參數「bs_sbr_preprocessing」；及 2. 對於待解碼之編碼位元流之音訊內容之各通道(「ch」)，上述參數之各者係「sbrPatchingMode[ch]」、「SbrOversamplingFlag[ch]」、「SbrPitchInBinsFlag[ch]」及「sbrPitchInBins[ch]」。
例如，在一些實施例中，esbr_data()可具有表3中所指示之語法以指示此等後設資料參數： 表3
語法 位元數
esbr_data(id_aac, bs_coupling)   
{   
bs_sbr_preprocessing； 1
if (id_aac == ID_SCE) {   
                if ( sbrPatchingMode[0]== 0) { 1
sbrOversamplingFlag[0] ； 1
                        if ( sbrPitchInBinsFlag[0]) 1
sbrPitchInBins[0]； 7
                        else   
                                sbrPitchInBins[0] = 0；   
                } else {   
                        sbrOversamplingFlag[0] = 0；   
                        sbrPitchInBins[0] = 0；   
                }   
        } else if (id_aac == ID_CPE) {   
                If (bs_coupling) {   
                        if ( sbrPatchingMode[0,1]== 0) { 1
        sbrOversamplingFlag[0,1] ； 1
                                if ( sbrPitchInBinsFlag[0,1]) 1
        sbrPitchInBins[0,1]； 7
                                else   
                                        sbrPitchInBins[0,1] = 0；   
                        } else {   
                                sbrOversamplingFlag[0,1] = 0；   
                                sbrPitchInBins[0,1] = 0；   
                        }   
                } else {     /* bs_coupling == 0 */   
                        if ( sbrPatchingMode[0]== 0) { 1
        sbrOversamplingFlag[0] ； 1
                                if ( sbrPitchInBinsFlag[0]) 1
        sbrPitchInBins[0]； 7
                                else   
                                        sbrPitchInBins[0] = 0；   
                        } else {   
                                sbrOversamplingFlag[0] = 0；   
                                sbrPitchInBins[0] = 0；   
                        }   
                        if ( sbrPatchingMode[1]== 0) { 1
        sbrOversamplingFlag[1] ； 1
                                if ( sbrPitchInBinsFlag[1]) 1
        sbrPitchInBins[1]； 7
                                else   
                                        sbrPitchInBins[1] = 0；   
                        } else {   
                                sbrOversamplingFlag[1] = 0；   
                                sbrPitchInBins[1] = 0；   
                        }   
                }   
        }   
}   
註釋： bs_sbr_preprocessing係如ISO/IEC 23003-3:2012之章節6.2.12中所描述般界定。 sbrPatchingMode[ch] 、 sbrOversamplingFlag[ch] 、 sbrPitchInBinsFlag[ch]及 sbrPitchInBins[ch]係如ISO/IEC 23003-3:2012之章節7.5中所描述般界定。
上述語法能夠將頻譜帶複製之一增強形式(諸如諧波轉置)高效率實施為一舊型解碼器之一擴展。明確言之，表3之eSBR資料僅包含執行頻譜帶複製之增強形式所需之參數，其在位元流中已不受支援且無法自位元流中已支援之參數直接導出。執行頻譜帶複製之增強形式所需之所有其他參數及處理資料自位元流中已界定位置中之現成參數提取。
例如，一MPEG-4 HE-AAC或HE-AAC v2相容解碼器可擴展為包含頻譜帶複製之一增強形式，諸如諧波轉置。頻譜帶複製之此增強形式係已由解碼器支援之頻譜帶複製之基本形式之附加。在一MPEG-4 HE-AAC或HE-AAC v2相容解碼器之背景中，頻譜帶複製之此基本形式係QMF頻譜修補SBR工具，如MPEG-4 AAC標準之章節4.6.18中所界定。
當執行頻譜帶複製之增強形式時，一擴展HE-AAC解碼器可再使用已包含於位元流之SBR擴展有效負載中之諸多位元流參數。可再使用之特定參數包含(例如)判定主頻帶表之各種參數。此等參數包含bs_start_freq (判定主頻表參數之開始之參數)、bs_stop_freq (判定主頻率表之停止之參數)、bs_freq_scale (判定每八音度之頻帶數目之參數)及bs_alter_scale (改動頻帶之比例之參數)。可再使用之參數亦包含判定雜訊頻帶表之參數(bs_noise_bands)及限制器頻帶表參數(bs_limiter_bands)。因此，在各種實施例中，自位元流省略USAC標準中所指定之至少一些等效參數以藉此減少位元流之控制負擔。通常，當AAC標準中所指定之一參數具有USAC標準中所指定之一等效參數時，USAC標準中所指定之等效參數具有相同於AAC標準中所指定之參數之名稱，例如包絡比例因數E OrigMapped。然而，USAC標準中所指定之等效參數通常具有一不同值，其根據USAC標準中所界定之增強SBR處理而非AAC標準中所界定之SBR處理來「調諧」。
建議啟動增強SBR以尤其在低位元率處提高具有諧波頻率結構及強音調特性之音訊內容之主觀品質。可在編碼器中藉由應用一信號相依分類機制來判定控制此等工具之對應位元流元素(即，esbr_data())之值。一般而言，諧波修補方法(sbrPatchingMode==1)之使用較適合於以非常低位元率編碼音樂信號，其中核心編解碼器之音訊頻寬會受很大限制。此在此等信號包含一明顯諧波結構時尤為突出。相反地，常規SBR修補方法之使用較適合於語音及混合信號，因為其提供語音之時間結構之一較佳保留。
為提高諧波轉置器之效能，可啟動一預處理步驟(bs_sbr_preprocessing==1)，其試圖避免引入進入隨後包絡調整器之信號之頻譜不連續性。工具之操作有益於其中用於高頻重建之低頻帶信號之粗略頻譜包絡顯示大位準變動的信號類型。
為改良諧波SBR修補之暫態回應，可應用信號自適應頻域超取樣(sbrOversamplingFlag==1)。由於信號自適應頻域超取樣增加轉置器之計算複雜性，但僅為含有暫態之訊框帶來益處，所以此工具之使用由位元流元素控制，每訊框及每獨立SBR通道傳輸位元流元素一次。
在所提議之增強SBR模式中操作之一解碼器通常需要能夠在舊型SBR修補與增強SBR修補之間切換。因此，可根據解碼器設置來引入可與一個核心音訊訊框之持續時間一樣長之延遲。通常，舊型SBR修補及增強SBR修補兩者之延遲將類似。
除諸多參數之外，亦可在執行根據本發明之實施例之頻譜帶複製之一增強形式時由一擴展HE-AAC解碼器再使用其他資料元素。例如，包絡資料及雜訊底限資料亦可自bs_data_env (包絡比例因數)及bs_noise_env (雜訊底限比例因數)資料提取且在頻譜帶複製之增強形式期間使用。
本質上，此等實施例利用SBR擴展有效負載中已由一舊型HE-AAC或HE-AAC v2解碼器支援之組態參數及包絡資料來啟用頻譜帶複製之一增強形式，其需要儘可能少之額外傳輸資料。後設資料最初根據HFR之一基本形式(例如SBR之頻譜平移操作)來調諧，但根據實施例，用於HFR之一增強形式(例如eSBR之諧波轉置)。如先前所論述，後設資料一般表示經調諧及設計以與HFR之基本形式(例如線性頻譜平移)一起使用之操作參數(例如包絡比例因數、雜訊底限比例因數、時間/頻率網格參數、正弦波加法資訊、可變交越頻率/頻帶、逆濾波模式、包絡解析度、平滑模式、頻率內插模式)。然而，此後設資料可與專用於HFR之增強形式(例如諧波轉置)之額外後設資料參數組合使用以使用HFR之增強形式來高效率且有效處理音訊資料。
因此，可藉由依賴已界定之位元流元素(例如SBR擴展有效負載中之位元流元素)且僅添加支援頻譜帶複製之增強形式所需之參數(在一填充元素擴展有效負載中)來以一非常高效率方式產生支援頻譜帶複製之一增強形式之擴展解碼器。此資料減少特徵與新添加之參數放置於一保留資料欄位(諸如一擴展容區)中之組合實質上減少產生一解碼器之障礙，該解碼器藉由確保位元流與不支援頻譜帶複製之一增強形式之舊型解碼器回溯相容來支援頻譜帶複製之增強形式。
在表3中，右行中之數字指示左行中對應參數之位元數。
在一些實施例中，更新MPEG-4 AAC中所界定之SBR物件類型以含有SBR工具及增強SBR (eSBR)工具之態樣，如SBR擴展元素(bs_extension_id==EXTENSION_ID_ESBR)中所預示。若一解碼器偵測且支援此SBR擴展元素，則解碼器採用增強SBR工具之預示態樣。以此方式更新之SBR物件類型指稱SBR增強。
在一些實施例中，本發明係一種方法，其包含編碼音訊資料以產生一編碼位元流(例如一MPEG-4 AAC位元流)之一步驟，其包含藉由在該編碼位元流之至少一個區塊之至少一個區段中包含eSBR後設資料及在該區塊之至少另一區段中包含音訊資料。在典型實施例中，該方法包含多工該編碼位元流之各區塊中之該音訊資料與該eSBR後設資料之一步驟。在一eSBR解碼器中之該編碼位元流之典型解碼中，該解碼器自該位元流提取該eSBR後設資料(包含藉由剖析及解多工該eSBR後設資料及該音訊資料)且使用該eSBR後設資料來處理該音訊資料以產生一解碼音訊資料流。
本發明之另一態樣係一種eSBR解碼器，其經組態以在不包含eSBR後設資料之一編碼音訊位元流(例如一MPEG-4 AAC位元流)之解碼期間執行eSBR處理(例如，使用稱為諧波轉置或預平坦化之eSBR工具之至少一者)。將參考圖5來描述此一解碼器之一實例。
圖5之eSBR解碼器(400)包含如所展示般連接之緩衝記憶體201 (其相同於圖3及圖4之記憶體201)、位元流有效負載去格式化器215 (其相同於圖4之去格式化器215)、音訊解碼子系統202 (有時指稱一「核心」解碼級或「核心」解碼子系統，且相同於圖3之核心解碼子系統202)、eSBR控制資料產生子系統401及eSBR處理級203 (其相同於圖3之級203)。通常，解碼器400亦包含其他處理元件(未展示)。
在解碼器400之操作中，確證由解碼器400接收之一編碼音訊位元流(一MPEG-4 AAC位元流)之一區塊序列自緩衝器201至去格式化器215。
去格式化器215經耦合及組態以解多工位元流之各區塊以自其提取SBR後設資料(包含量化包絡資料)及通常亦自其提取其他後設資料。去格式化器215經組態以確證至少SBR後設資料至eSBR處理級203。去格式化器215亦經耦合及組態以自位元流之各區塊提取音訊資料且確證所提取之音訊資料至解碼子系統(解碼級) 202。
解碼器400之音訊解碼子系統202經組態以解碼由去格式化器215提取之音訊資料(此解碼可指稱一「核心」解碼操作)以產生解碼音訊資料且確證解碼音訊資料至eSBR處理級203。解碼在頻域中執行。通常，子系統202中之一最後處理級將一頻域至時域變換應用於解碼頻域音訊資料，使得子系統之輸出係時域解碼音訊資料。級203經組態以將由SBR後設資料(由去格式化器215提取)及子系統401中所產生之eSBR後設資料指示之SBR工具(及eSBR工具)應用於解碼音訊資料(即，使用SBR及eSBR後設資料來對解碼子系統202之輸出執行SBR及ESBR處理)以產生自解碼器400輸出之全解碼音訊資料。通常，解碼器400包含儲存自去格式化器215 (及視情況子系統401)輸出之去格式化音訊資料及後設資料之一記憶體(可由子系統202及級203存取)，且級203經組態以在SBR及eSBR處理期間根據需要存取音訊資料及後設資料。級203中之SBR處理可被視為對核心解碼子系統202之輸出之後處理。解碼器400亦視情況包含一最後升混子系統(其可使用由去格式化器215提取之PS後設資料來應用MPEG-4 AAC標準中所界定之參數立體聲「PS」工具)，其經耦合及組態以對級203之輸出執行升混以產生自APU 210輸出之全解碼升混音訊。
參數立體聲係一編碼工具，其使用一立體聲信號之左通道及右通道之一線性降混及描述立體聲影像之空間參數組來表示立體聲信號。參數立體聲通常採用三種類型之空間參數：(1)描述通道之間的強度差之通道間強度差(IID)、(2)描述通道之間的相位差之通道間相位差(IPD)及(3)描述通道之間的同調性(或類似性)之通道間同調性(ICC)。同調性可量測為依據時間或相位而變化之互相關之最大值。此等三個參數一般能夠高品質重建立體聲影像。然而，IPD參數僅指定立體聲輸入信號之通道之間的相對相位差且未指示左通道及右通道上之此等相位差之分佈。因此，可另外使用描述一總相位偏移或總相位差(OPD)之一第四類型之參數。在立體聲重建程序中，所接收之降混信號s[n]及所接收之降混之一去相關型式d[n]兩者之連續窗型區段與空間參數一起經處理以根據以下方程式來產生左(l k(n))及右(r k(n))重建信號： 其中H 11、H 12、H 21及H 22由立體聲參數界定。最後，藉由一頻率至時間變換來將信號l k(n)及r k(n)變換回時域。
圖5之控制資料產生子系統401經耦合及組態以偵測待解碼之編碼音訊位元流之至少一個性質且回應於偵測步驟之至少一個結果而產生eSBR控制資料(其可為或包含包含於根據本發明之其他實施例之編碼音訊位元流中之任何類型之eSBR後設資料)。確證eSBR控制資料至級203以在偵測到位元流之一特定性質(或性質組合)之後觸發個別eSBR工具或eSBR工具組合之應用及/或控制此等eSBR工具之應用。例如，為使用諧波轉置來控制eSBR處理之執行，控制資料產生子系統401之一些實施例將包含：一音樂偵測器(例如一習知音樂偵測器之一簡化型式)，其用於回應於偵測到位元流是否指示音樂而設定sbrPatchingMode[ch]參數(且確證設定參數至級203)；一暫態偵測器，其用於回應於偵測到由位元流指示之音訊內容中存在或不存在暫態而設定sbrOversamplingFlag[ch]參數(且確證設定參數至級203)；及/或一節距偵測器，其用於回應於偵測到由位元流指示之音訊內容之節距而設定sbrPitchInBinsFlag[ch]及sbrPitchInBins[ch]參數(且確證設定參數至級203)。本發明之其他態樣係由本段落及前一段落中所描述之本發明解碼器之任何實施例執行之音訊位元流解碼方法。
本發明之態樣包含本發明APU、系統或裝置之任何實施例經組態(例如，經程式化)以執行之一編碼或解碼方法類型。本發明之其他態樣包含經組態(例如，經程式化)以執行本發明方法之任何實施例之一系統或裝置及儲存程式碼(例如，以一非暫時性方式)以實施本發明方法或其步驟之任何實施例之一電腦可讀媒體(例如一光碟)。例如，本發明系統可為或包含一可程式化通用處理器、數位信號處理器或微處理器，其使用軟體或韌體來程式化及/或以其他方式組態以對資料執行各種操作之任何者(包含本發明方法或其步驟之一實施例)。此一通用處理器可為或包含一電腦系統，其包含經程式化(及/或以其他方式組態)以回應於確證至其之資料而執行本發明方法(或其步驟)之一實施例之一輸入裝置、一記憶體及處理電路。
本發明之實施例可以硬體、韌體或軟體或兩者之一組合實施(例如，作為一可程式化邏輯陣列)。除非另有說明，否則包含為本發明之部分之演算法或程序與任何特定電腦或其他設備無內在關聯。特定言之，各種通用機器可與根據本文中之教示所寫入之程式一起使用，或其可更便於建構更專業設備(例如積體電路)以執行所需方法步驟。因此，本發明可以執行於一或多個可程式化電腦系統上之一或多個電腦程式實施(例如圖1之元件、或圖2之編碼器100 (或其一元件)、或圖3之解碼器200 (或其一元件)、或圖4之解碼器210 (或其一元件)或圖5之解碼器400 (或其一元件)之任何者之一實施方案)，該一或多個可程式化電腦系統各包括至少一個處理器、至少一個資料儲存系統(包含揮發性及非揮發性記憶體及/或儲存元件)、至少一個輸入裝置或埠及至少一個輸出裝置或埠。程式碼應用於輸入資料以執行本文中所描述之功能且產生輸出資訊。輸出資訊以已知方式應用於一或多個輸出裝置。
各此程式可以任何所要電腦語言(包含機器、組合或高階程序、邏輯或物件導向程式設計語言)實施以與一電腦系統通信。無論何種情況，語言可為一編譯或解譯語言。
例如，當由電腦軟體指令序列實施時，本發明之實施例之各種功能及步驟可由運行於適合數位信號處理硬體中之多執行緒軟體指令序列實施，在該情況中，實施例之各種裝置、步驟及功能可對應於軟體指令之部分。
各此電腦程式較佳地儲存於或下載至可由一通用或專用可程式化電腦讀取之一儲存媒體或裝置(例如固態記憶體或媒體或磁性或光學媒體)上以在儲存媒體或裝置由電腦系統讀取以執行本文中所描述之程序時組態及操作電腦。本發明系統亦可實施為經組態有(即，儲存)一電腦程式之一電腦可讀儲存媒體，其中如此組態之儲存媒體引起一電腦系統以一特定及預定義方式操作以執行本文中所描述之功能。
已描述本發明之諸多實施例。然而，應瞭解，可在不背離本發明之精神及範疇之情況下作出各種修改。可鑑於上述教示來進行本發明之諸多修改及變動。例如，為促進高效率實施，可將相移與複數QMF分析及合成濾波器組組合使用。分析濾波器組負責將由核心解碼器產生之時域低頻帶信號過濾成複數個子頻帶(例如QMF子頻帶)。合成濾波器組負責將由選定HFR技術產生之再生高頻帶(如由所接收之sbrPatchingMode參數所指示)與解碼低頻帶組合以產生一寬頻輸出音訊信號。然而，以某一取樣率模式(例如正常雙速率操作或降頻取樣SBR模式)操作之一給定濾波器組實施方案不應具有與位元流相依之相移。用於SBR中之QMF組係餘弦調變濾波器組之理論之一複指數擴展。結果表明，當使用複指數調變來擴展餘弦調變濾波器組時，頻疊消除約束變得過時。因此，對於SBR QMF組，分析濾波器h k(n)及合成濾波器f k(n)兩者可由以下方程式界定： ，0≤n≤N，0≤k≤M       (1) 其中p 0(n)係一實數值對稱或非對稱原型濾波器(通常為一低通原型濾波器)，M表示通道數目，且N係原型濾波器階數。用於分析濾波器組中之通道數目可不同於用於合成濾波器組中之通道數目。例如，分析濾波器組可具有32個通道且合成濾波器組可具有64個通道。當在降頻取樣模式中操作合成濾波器組時，合成濾波器組可僅具有32個通道。由於來自濾波器組之子頻帶取樣係複數值，所以可將一加法可行通道相依相移步驟附加至分析濾波器組。需要在合成濾波器組之前補償此等額外相移。儘管在不破壞QMF分析/合成鏈之操作之情況下相移項原則上可具有任意值，但其亦可被約束為用於符合性驗證之某些值。SBR信號會受相位因數之選擇影響，而來自核心解碼器之低通信號不會。輸出信號之音訊品質不受影響。
原型濾波器之係數p 0(n)可界定為640之一長度L，如下表4中所展示。 表4
n p 0(n) n p 0(n) n p 0(n)
0 0.0000000000 214 0.0019765601 428 0.0117623832
1 -0.0005525286 215 -0.0032086896 429 0.0163701258
2 -0.0005617692 216 -0.0085711749 430 0.0207997072
3 -0.0004947518 217 -0.0141288827 431 0.0250307561
4 -0.0004875227 218 -0.0198834129 432 0.0290824006
5 -0.0004893791 219 -0.0258227288 433 0.0329583930
6 -0.0005040714 220 -0.0319531274 434 0.0366418116
7 -0.0005226564 221 -0.0382776572 435 0.0401458278
8 -0.0005466565 222 -0.0447806821 436 0.0434768782
9 -0.0005677802 223 -0.0514804176 437 0.0466303305
10 -0.0005870930 224 -0.0583705326 438 0.0495978676
11 -0.0006132747 225 -0.0654409853 439 0.0524093821
12 -0.0006312493 226 -0.0726943300 440 0.0550460034
13 -0.0006540333 227 -0.0801372934 441 0.0575152691
14 -0.0006777690 228 -0.0877547536 442 0.0598166570
15 -0.0006941614 229 -0.0955533352 443 0.0619602779
16 -0.0007157736 230 -0.1035329531 444 0.0639444805
17 -0.0007255043 231 -0.1116826931 445 0.0657690668
18 -0.0007440941 232 -0.1200077984 446 0.0674525021
19 -0.0007490598 233 -0.1285002850 447 0.0689664013
20 -0.0007681371 234 -0.1371551761 448 0.0703533073
21 -0.0007724848 235 -0.1459766491 449 0.0715826364
22 -0.0007834332 236 -0.1549607071 450 0.0726774642
23 -0.0007779869 237 -0.1640958855 451 0.0736406005
24 -0.0007803664 238 -0.1733808172 452 0.0744664394
25 -0.0007801449 239 -0.1828172548 453 0.0751576255
26 -0.0007757977 240 -0.1923966745 454 0.0757305756
27 -0.0007630793 241 -0.2021250176 455 0.0761748321
28 -0.0007530001 242 -0.2119735853 456 0.0765050718
29 -0.0007319357 243 -0.2219652696 457 0.0767204924
30 -0.0007215391 244 -0.2320690870 458 0.0768230011
31 -0.0006917937 245 -0.2423016884 459 0.0768173975
32 -0.0006650415 246 -0.2526480309 460 0.0767093490
33 -0.0006341594 247 -0.2631053299 461 0.0764992170
34 -0.0005946118 248 -0.2736634040 462 0.0761992479
35 -0.0005564576 249 -0.2843214189 463 0.0758008358
36 -0.0005145572 250 -0.2950716717 464 0.0753137336
37 -0.0004606325 251 -0.3059098575 465 0.0747452558
38 -0.0004095121 252 -0.3168278913 466 0.0741003642
39 -0.0003501175 253 -0.3278113727 467 0.0733620255
40 -0.0002896981 254 -0.3388722693 468 0.0725682583
41 -0.0002098337 255 -0.3499914122 469 0.0717002673
42 -0.0001446380 256 0.3611589903 470 0.0707628710
43 -0.0000617334 257 0.3723795546 471 0.0697630244
44 0.0000134949 258 0.3836350013 472 0.0687043828
45 0.0001094383 259 0.3949211761 473 0.0676075985
46 0.0002043017 260 0.4062317676 474 0.0664367512
47 0.0002949531 261 0.4175696896 475 0.0652247106
48 0.0004026540 262 0.4289119920 476 0.0639715898
49 0.0005107388 263 0.4402553754 477 0.0626857808
50 0.0006239376 264 0.4515996535 478 0.0613455171
51 0.0007458025 265 0.4629308085 479 0.0599837480
52 0.0008608443 266 0.4742453214 480 0.0585915683
53 0.0009885988 267 0.4855253091 481 0.0571616450
54 0.0011250155 268 0.4967708254 482 0.0557173648
55 0.0012577884 269 0.5079817500 483 0.0542452768
56 0.0013902494 270 0.5191234970 484 0.0527630746
57 0.0015443219 271 0.5302240895 485 0.0512556155
58 0.0016868083 272 0.5412553448 486 0.0497385755
59 0.0018348265 273 0.5522051258 487 0.0482165720
60 0.0019841140 274 0.5630789140 488 0.0466843027
61 0.0021461583 275 0.5738524131 489 0.0451488405
62 0.0023017254 276 0.5845403235 490 0.0436097542
63 0.0024625616 277 0.5951123086 491 0.0420649094
64 0.0026201758 278 0.6055783538 492 0.0405349170
65 0.0027870464 279 0.6159109932 493 0.0390053679
66 0.0029469447 280 0.6261242695 494 0.0374812850
67 0.0031125420 281 0.6361980107 495 0.0359697560
68 0.0032739613 282 0.6461269695 496 0.0344620948
69 0.0034418874 283 0.6559016302 497 0.0329754081
70 0.0036008268 284 0.6655139880 498 0.0315017608
71 0.0037603922 285 0.6749663190 499 0.0300502657
72 0.0039207432 286 0.6842353293 500 0.0286072173
73 0.0040819753 287 0.6933282376 501 0.0271859429
74 0.0042264269 288 0.7022388719 502 0.0257875847
75 0.0043730719 289 0.7109410426 503 0.0244160992
76 0.0045209852 290 0.7194462634 504 0.0230680169
77 0.0046606460 291 0.7277448900 505 0.0217467550
78 0.0047932560 292 0.7358211758 506 0.0204531793
79 0.0049137603 293 0.7436827863 507 0.0191872431
80 0.0050393022 294 0.7513137456 508 0.0179433381
81 0.0051407353 295 0.7587080760 509 0.0167324712
82 0.0052461166 296 0.7658674865 510 0.0155405553
83 0.0053471681 297 0.7727780881 511 0.0143904666
84 0.0054196775 298 0.7794287519 512 -0.0132718220
85 0.0054876040 299 0.7858353120 513 -0.0121849995
86 0.0055475714 300 0.7919735841 514 -0.0111315548
87 0.0055938023 301 0.7978466413 515 -0.0101150215
88 0.0056220643 302 0.8034485751 516 -0.0091325329
89 0.0056455196 303 0.8087695004 517 -0.0081798233
90 0.0056389199 304 0.8138191270 518 -0.0072615816
91 0.0056266114 305 0.8185776004 519 -0.0063792293
92 0.0055917128 306 0.8230419890 520 -0.0055337211
93 0.0055404363 307 0.8272275347 521 -0.0047222596
94 0.0054753783 308 0.8311038457 522 -0.0039401124
95 0.0053838975 309 0.8346937361 523 -0.0031933778
96 0.0052715758 310 0.8379717337 524 -0.0024826723
97 0.0051382275 311 0.8409541392 525 -0.0018039472
98 0.0049839687 312 0.8436238281 526 -0.0011568135
99 0.0048109469 313 0.8459818469 527 -0.0005464280
100 0.0046039530 314 0.8480315777 528 0.0000276045
101 0.0043801861 315 0.8497805198 529 0.0005832264
102 0.0041251642 316 0.8511971524 530 0.0010902329
103 0.0038456408 317 0.8523047035 531 0.0015784682
104 0.0035401246 318 0.8531020949 532 0.0020274176
105 0.0032091885 319 0.8535720573 533 0.0024508540
106 0.0028446757 320 0.8537385600 534 0.0028446757
107 0.0024508540 321 0.8535720573 535 0.0032091885
108 0.0020274176 322 0.8531020949 536 0.0035401246
109 0.0015784682 323 0.8523047035 537 0.0038456408
110 0.0010902329 324 0.8511971524 538 0.0041251642
111 0.0005832264 325 0.8497805198 539 0.0043801861
112 0.0000276045 326 0.8480315777 540 0.0046039530
113 -0.0005464280 327 0.8459818469 541 0.0048109469
114 -0.0011568135 328 0.8436238281 542 0.0049839687
115 -0.0018039472 329 0.8409541392 543 0.0051382275
116 -0.0024826723 330 0.8379717337 544 0.0052715758
117 -0.0031933778 331 0.8346937361 545 0.0053838975
118 -0.0039401124 332 0.8311038457 546 0.0054753783
119 -0.0047222596 333 0.8272275347 547 0.0055404363
120 -0.0055337211 334 0.8230419890 548 0.0055917128
121 -0.0063792293 335 0.8185776004 549 0.0056266114
122 -0.0072615816 336 0.8138191270 550 0.0056389199
123 -0.0081798233 337 0.8087695004 551 0.0056455196
124 -0.0091325329 338 0.8034485751 552 0.0056220643
125 -0.0101150215 339 0.7978466413 553 0.0055938023
126 -0.0111315548 340 0.7919735841 554 0.0055475714
127 -0.0121849995 341 0.7858353120 555 0.0054876040
128 0.0132718220 342 0.7794287519 556 0.0054196775
129 0.0143904666 343 0.7727780881 557 0.0053471681
130 0.0155405553 344 0.7658674865 558 0.0052461166
131 0.0167324712 345 0.7587080760 559 0.0051407353
132 0.0179433381 346 0.7513137456 560 0.0050393022
133 0.0191872431 347 0.7436827863 561 0.0049137603
134 0.0204531793 348 0.7358211758 562 0.0047932560
135 0.0217467550 349 0.7277448900 563 0.0046606460
136 0.0230680169 350 0.7194462634 564 0.0045209852
137 0.0244160992 351 0.7109410426 565 0.0043730719
138 0.0257875847 352 0.7022388719 566 0.0042264269
139 0.0271859429 353 0.6933282376 567 0.0040819753
140 0.0286072173 354 0.6842353293 568 0.0039207432
141 0.0300502657 355 0.6749663190 569 0.0037603922
142 0.0315017608 356 0.6655139880 570 0.0036008268
143 0.0329754081 357 0.6559016302 571 0.0034418874
144 0.0344620948 358 0.6461269695 572 0.0032739613
145 0.0359697560 359 0.6361980107 573 0.0031125420
146 0.0374812850 360 0.6261242695 574 0.0029469447
147 0.0390053679 361 0.6159109932 575 0.0027870464
148 0.0405349170 362 0.6055783538 576 0.0026201758
149 0.0420649094 363 0.5951123086 577 0.0024625616
150 0.0436097542 364 0.5845403235 578 0.0023017254
151 0.0451488405 365 0.5738524131 579 0.0021461583
152 0.0466843027 366 0.5630789140 580 0.0019841140
153 0.0482165720 367 0.5522051258 581 0.0018348265
154 0.0497385755 368 0.5412553448 582 0.0016868083
155 0.0512556155 369 0.5302240895 583 0.0015443219
156 0.0527630746 370 0.5191234970 584 0.0013902494
157 0.0542452768 371 0.5079817500 585 0.0012577884
158 0.0557173648 372 0.4967708254 586 0.0011250155
159 0.0571616450 373 0.4855253091 587 0.0009885988
160 0.0585915683 374 0.4742453214 588 0.0008608443
161 0.0599837480 375 0.4629308085 589 0.0007458025
162 0.0613455171 376 0.4515996535 590 0.0006239376
163 0.0626857808 377 0.4402553754 591 0.0005107388
164 0.0639715898 378 0.4289119920 592 0.0004026540
165 0.0652247106 379 0.4175696896 593 0.0002949531
166 0.0664367512 380 0.4062317676 594 0.0002043017
167 0.0676075985 381 0.3949211761 595 0.0001094383
168 0.0687043828 382 0.3836350013 596 0.0000134949
169 0.0697630244 383 0.3723795546 597 -0.0000617334
170 0.0707628710 384 -0.3611589903 598 -0.0001446380
171 0.0717002673 385 -0.3499914122 599 -0.0002098337
172 0.0725682583 386 -0.3388722693 600 -0.0002896981
173 0.0733620255 387 -0.3278113727 601 -0.0003501175
174 0.0741003642 388 -0.3168278913 602 -0.0004095121
175 0.0747452558 389 -0.3059098575 603 -0.0004606325
176 0.0753137336 390 -0.2950716717 604 -0.0005145572
177 0.0758008358 391 -0.2843214189 605 -0.0005564576
178 0.0761992479 392 -0.2736634040 606 -0.0005946118
179 0.0764992170 393 -0.2631053299 607 -0.0006341594
180 0.0767093490 394 -0.2526480309 608 -0.0006650415
181 0.0768173975 395 -0.2423016884 609 -0.0006917937
182 0.0768230011 396 -0.2320690870 610 -0.0007215391
183 0.0767204924 397 -0.2219652696 611 -0.0007319357
184 0.0765050718 398 -0.2119735853 612 -0.0007530001
185 0.0761748321 399 -0.2021250176 613 -0.0007630793
186 0.0757305756 400 -0.1923966745 614 -0.0007757977
187 0.0751576255 401 -0.1828172548 615 -0.0007801449
188 0.0744664394 402 -0.1733808172 616 -0.0007803664
189 0.0736406005 403 -0.1640958855 617 -0.0007779869
190 0.0726774642 404 -0.1549607071 618 -0.0007834332
191 0.0715826364 405 -0.1459766491 619 -0.0007724848
192 0.0703533073 406 -0.1371551761 620 -0.0007681371
193 0.0689664013 407 -0.1285002850 621 -0.0007490598
194 0.0674525021 408 -0.1200077984 622 -0.0007440941
195 0.0657690668 409 -0.1116826931 623 -0.0007255043
196 0.0639444805 410 -0.1035329531 624 -0.0007157736
197 0.0619602779 411 -0.0955533352 625 -0.0006941614
198 0.0598166570 412 -0.0877547536 626 -0.0006777690
199 0.0575152691 413 -0.0801372934 627 -0.0006540333
200 0.0550460034 414 -0.0726943300 628 -0.0006312493
201 0.0524093821 415 -0.0654409853 629 -0.0006132747
202 0.0495978676 416 -0.0583705326 630 -0.0005870930
203 0.0466303305 417 -0.0514804176 631 -0.0005677802
204 0.0434768782 418 -0.0447806821 632 -0.0005466565
205 0.0401458278 419 -0.0382776572 633 -0.0005226564
206 0.0366418116 420 -0.0319531274 634 -0.0005040714
207 0.0329583930 421 -0.0258227288 635 -0.0004893791
208 0.0290824006 422 -0.0198834129 636 -0.0004875227
209 0.0250307561 423 -0.0141288827 637 -0.0004947518
210 0.0207997072 424 -0.0085711749 638 -0.0005617692
211 0.0163701258 425 -0.0032086896 639 -0.0005525280
212 0.0117623832 426 0.0019765601
213 0.0069636862 427 0.0069636862
原型濾波器p 0(n)亦可藉由諸如舍入、子取樣、內插及抽樣之一或多個數學運算來自表4導出。
儘管SBR相關控制資訊之調諧通常不取決於轉置之細節(如先前所論述)，但在一些實施例中，控制資料之某些元素可在eSBR擴展容區(bs_extension_id==EXTENSION_ID_ESBR)中聯播以提高再生信號之品質。一些聯播元素可包含雜訊底限資料(例如雜訊底限比例因數及指示各雜訊底限之差量編碼之方向(頻率或時間方向)之一參數)、逆濾波資料(例如指示選自無逆濾波、一低逆濾波程度、一適中逆濾波程度及一強逆濾波程度之逆濾波模式之一參數)及缺失諧波資料(例如指示是否應將一正弦波添加至再生高頻帶之一特定頻帶之一參數)。所有此等元素依賴編碼器中所執行之解碼器之轉置器之一合成模擬且因此可在根據選定轉置器來適當調諧之後提高再生信號之品質。
明確言之，在一些實施例中，缺失諧波及逆濾波控制資料(連同表3之其他位元流參數)傳輸於eSBR擴展容區中且根據eSBR之諧波轉置器來調諧。傳輸eSBR之諧波轉換器之此等兩類後設資料所需之額外位元率相對較低。因此，發送eSBR擴展容區中之調諧缺失諧波及/或逆濾波控制資料將提高由轉置器產生之音訊之品質，同時僅少量影響位元率。為確保與舊型解碼器回溯相容，亦可在位元流中使用隱式或顯式發信來將根據SBR之頻譜平移操作所調諧之參數發送為SBR控制資料之部分。
必須限制本申請案中所描述之具有SBR增強之一解碼器之複雜性以不顯著增加實施方案之總計算複雜性。較佳地，當使用eSBR工具時，SBR物件類型之PCU (MOP)等於或低於4.5，且當使用eSBR工具時，SBR物件類型之RCU等於或低於3。近似處理能力以處理器複雜性單元(PCU)(由MOPS之整數數目指定)給出。近似RAM使用以RAM複雜性單元(RCU)(由kWord (1000字)之整數數目指定)給出。RCU數目不包含可在不同物件及/或通道之間共用之工作緩衝區。此外，PCU與取樣頻率成比例。PCU值以每通道MOPS (每秒百萬次操作)給出且RCU值以每通道千字數給出。
需要特別關注壓縮資料，如可由不同解碼器組態解碼之HE-AAC編碼音訊。在此情況中，可以一回溯相容方式(僅AAC)及以一增強方式(AAC+SBR)完成解碼。若壓縮資料容許回溯相容及增強解碼兩者，且若解碼器以增強方式操作使得其使用插入一些額外延遲之一後處理器(例如HE-AAC中之SBR後處理器)，則必須確保在呈現組合單元時考量相對於回溯相容模式引起之此額外時間延遲，如由一對應值n所描述。為確保正確處置組合時間戳記(使得音訊與其他媒體保持同步)，當解碼器操作模式包含本申請案中所描述之SBR增強(包含eSBR)時，以輸出取樣率處之取樣數(每音訊通道)給出之由後處理引入之額外延遲係3010。因此，對於一音訊組合單元，當解碼器操作模式包含本申請案中所描述之SBR增強時，組合時間應用於組合單元內之第3011音訊取樣。
應啟動SBR增強以尤其在低位元率處提高具有諧波頻率結構及強音調特性之音訊內容之主觀品質。可在編碼器中藉由應用一信號相依分類機制來判定控制此等工具之對應位元流元素(即，esbr_data())之值。
一般而言，諧波修補方法(sbrPatchingMode==0)之使用較適合於以非常低位元率編碼音樂信號，其中核心編解碼器之音訊頻寬會受很大限制。此在此等信號包含一明顯諧波結構時尤為突出。相反地，常規SBR修補方法之使用較適合於語音及混合信號，因為其提供語音之時間結構之一較佳保留。
為提高MPEG-4 SBR轉置器之效能，可啟動一預處理步驟(bs_sbr_preprocessing==1)，其避免引入進入隨後包絡調整器之信號之頻譜不連續性。工具之操作有益於其中用於高頻重建之低頻帶信號之粗略頻譜包絡顯示大位準變動的信號類型。
為改良諧波SBR修補之暫態回應(sbrPatchingMode==0)，可應用信號自適應頻域超取樣(sbrOversamplingFlag==1)。由於信號自適應頻域超取樣增加轉置器之計算複雜性，但僅對含有暫態之訊框帶來益處，所以此工具之使用由位元流元素控制，每訊框及每獨立SBR通道傳輸位元流元素一次。
具有SBR增強(即，啟用eSBR工具之諧波轉置器)之HE-AACv2之典型位元率設定建議對應於44.1 kHz或48 kHz之取樣率處之立體聲音訊內容之20 kbp至32 kbp。SBR增強之相對主觀品質增益朝向較低位元率邊界增大，且一適當組態之編碼器允許將此範圍擴展至甚至更低位元率。上文所提供之位元率僅為建議且可適用於特定服務要求。
在所建議之增強SBR模式中操作之一解碼器通常需要能夠在舊型SBR修補與增強SBR修補之間切換。因此，可根據解碼器設置來引入可與一個核心音訊訊框之持續時間一樣長之延遲。通常，舊型SBR修補及增強SBR修補兩者之延遲將類似。
應瞭解，在隨附申請專利範圍之範疇內，可以除本文具體所描述方式之外之其他方式實踐本發明。以下申請專利範圍中所含之任何元件符號僅供說明且絕不應用於解釋或限制申請專利範圍。
可自以下列舉實例性實施例(EEE)瞭解本發明之各種態樣：
EEE 1. 一種用於執行一音訊信號之高頻重建之方法，該方法包括： 接收一編碼音訊位元流，該編碼音訊位元流包含表示該音訊信號之一低頻帶部分之音訊資料及高頻重建後設資料； 解碼該音訊資料以產生一解碼低頻帶音訊信號； 自該編碼音訊位元流提取該高頻重建後設資料，該高頻重建後設資料包含一高頻重建程序之操作參數，該等操作參數包含定位於該編碼音訊位元流之一回溯相容擴展容區中之一修補模式參數，其中該修補模式參數之一第一值指示頻譜平移且該修補模式參數之一第二值指示藉由相位聲碼器頻率展延之諧波轉置； 過濾該解碼低頻帶音訊信號以產生一濾波低頻帶音訊信號； 使用該濾波低頻帶音訊信號及該高頻重建後設資料來再生該音訊信號之一高頻帶部分，其中若該修補模式參數係該第一值，則該再生包含頻譜平移，且若該修補模式參數係該第二值，則該再生重建包含藉由相位聲碼器頻率展延之諧波轉置；及 組合該濾波低頻帶音訊信號與該再生高頻帶部分以形成一寬頻音訊信號， 其中將該過濾、該再生及該組合執行為每音訊通道具有3010個取樣之一延遲或更少之一後處理操作，且其中該頻譜平移包括藉由自適應逆濾波來維持音調分量與似雜訊分量之間的一比率。
EEE 2. 如EEE 1之方法，其中該編碼音訊位元流進一步包含一填充元素，其具有指示該填充元素之一開始之一識別符及該識別符之後之填充資料，其中該填充資料包含該回溯相容擴展容區。
EEE 3. 如EEE 2之方法，其中該識別符係先傳輸最高有效位元且具有0×6之一值之一3位元無符號整數。
EEE 4. 如EEE 2或EEE 3之方法，其中該填充資料包含一擴展有效負載，該擴展有效負載包含頻譜帶複製擴展資料，且該擴展有效負載由先傳輸最高有效位元且具有「1101」或「1110」之一值之一4位元無符號整數識別，且視情況而定， 其中該頻譜帶複製擴展資料包含： 一選用頻譜帶複製標頭， 頻譜帶複製資料，其位於該標頭之後，及 一頻譜帶複製擴展元素，其位於該頻譜帶複製資料之後，且其中該旗標包含於該頻譜帶複製擴展元素中。
EEE 5. 如EEE 1至4中任一項之方法，其中該高頻重建後設資料包含包絡比例因數、雜訊底限比例因數、時間/頻率網格資訊或指示一交越頻率之一參數。
EEE 6. 如EEE 1至5中任一項之方法，其中該回溯相容擴展容區進一步包含指示是否在該修補模式參數等於該第一值時使用額外預處理來避免該高頻帶部分之一頻譜包絡之一形狀不連續之一旗標，其中該旗標之一第一值啟用該額外預處理且該旗標之一第二值停用該額外預處理。
EEE 7. 如EEE 6之方法，其中該額外預處理包含使用一線性預測濾波器係數來計算一預增益曲線。
EEE 8. 如EEE 1至5中任一項之方法，其中該回溯相容擴展容區進一步包含指示是否在該修補模式參數等於該第二值時應用信號自適應頻域超取樣之一旗標，其中該旗標之一第一值啟用該信號自適應頻域超取樣且該旗標之一第二值停用該信號自適應頻域超取樣。
EEE 9. 如EEE 8之方法，其中該信號自適應頻域超取樣僅應用於含有一暫態之訊框。
EEE 10. 如前述EEE中任一項之方法，其中以等於或低於每秒450萬次操作及3千字記憶之一估計複雜性執行藉由相位聲碼器頻率展延之該諧波轉置。
EEE 11. 一種非暫時性電腦可讀媒體，其含有在由一處理器執行時執行如EEE 1至10中任一項之方法之指令。
EEE 12. 一種電腦程式產品，其具有在由一計算裝置或系統執行時引起該計算裝置或系統執行如EEE 1至10中任一項之方法之指令。
EEE 13. 一種用於執行一音訊信號之高頻重建之音訊處理單元，該音訊處理單元包括： 一輸入介面，其用於接收一編碼音訊位元流，該編碼音訊位元流包含表示該音訊信號之一低頻帶部分之音訊資料及高頻重建後設資料； 一核心音訊解碼器，其用於解碼該音訊資料以產生一解碼低頻帶音訊信號； 一去格式化器，其用於自該編碼音訊位元流提取該高頻重建後設資料，該高頻重建後設資料包含用於一高頻重建程序之操作參數，該等操作參數包含定位於該編碼音訊位元流之一回溯相容擴展容區中之一修補模式參數，其中該修補模式參數之一第一值指示頻譜平移且該修補模式參數之一第二值指示藉由相位聲碼器頻率展延之諧波轉置； 一分析濾波器組，其用於過濾該解碼低頻帶音訊信號以產生一濾波低頻帶音訊信號； 一高頻再生器，其用於使用該濾波低頻帶音訊信號及該高頻重建後設資料來重建該音訊信號之一高頻帶部分，其中若該修補模式參數係該第一值，則該重建包含一頻譜平移，且若該修補模式參數係該第二值，則該重建包含藉由相位聲碼器頻率展延之諧波轉置；及 一合成濾波器組，其用於組合該濾波低頻帶音訊信號與該再生高頻帶部分以形成一寬頻音訊信號， 其中在每音訊通道具有3010個取樣之一延遲或更少之一後處理器中執行該分析濾波器組、該高頻再生器及該合成濾波器組，且其中該頻譜平移包括藉由自適應逆濾波來維持音調分量與似雜訊分量之間的一比率。
EEE 14. 如EEE 13之音訊處理單元，其中以等於或低於每秒450萬次操作及3千字記憶之一估計複雜性執行藉由相位聲碼器頻率展延之該諧波轉置。
1:編碼器 2:傳送子系統 3:解碼器 4:後處理單元 100:編碼器 105:編碼器 106:後設資料產生級/後設資料產生器 107:填充器/格式化器級 109:緩衝記憶體 200:解碼器 201:緩衝記憶體/緩衝器 202:音訊解碼子系統/核心解碼子系統 203:增強頻譜帶複製(eSBR)處理級 204:控制位元產生級/控制位元產生器 205:位元流有效負載去格式化器/剖析器 210:音訊處理單元(APU) 213:頻譜帶複製(SBR)處理級 215:位元流有效負載去格式化器 300:後處理器 301:緩衝器/緩衝記憶體 400:解碼器 401:eSBR控制資料產生子系統 500:APU ID1:識別符 ID2:識別符
圖1係可經組態以執行本發明方法之一實施例之一系統之一實施例之一方塊圖。
圖2係一編碼器之一方塊圖，該編碼器係本發明音訊處理單元之一實施例。
圖3係一系統之一方塊圖，該系統包含一解碼器(其係本發明音訊處理單元之一實施例)且亦視情況包含耦合至該解碼器之一後處理器。
圖4係一解碼器之一方塊圖，該解碼器係本發明音訊處理單元之一實施例。
圖5係一解碼器之一方塊圖，該解碼器係本發明音訊處理單元之另一實施例。
圖6係本發明音訊處理單元之另一實施例之一方塊圖。
圖7係一MPEG-4 AAC位元流之一方塊圖，其包含其被劃分成之數個區段。
201:緩衝記憶體/緩衝器
202:音訊解碼子系統/核心解碼子系統
203:增強頻譜帶複製(eSBR)處理級
215:位元流有效負載去格式化器
400:解碼器
401:eSBR控制資料產生子系統

Claims (9)

  1. 一種用於執行一音訊信號之高頻重建之方法，該方法包括： 接收一經編碼音訊位元流，該經編碼音訊位元流包含表示該音訊信號之一低頻帶部分之音訊資料及高頻重建後設資料； 解碼該音訊資料以產生一經解碼低頻帶音訊信號； 自該經編碼音訊位元流提取該高頻重建後設資料，該高頻重建後設資料包含用於一高頻重建程序之操作參數，該等操作參數包含定位於該經編碼音訊位元流之一回溯相容擴展容區中之一修補模式參數，其中該修補模式參數之一第一值指示頻譜平移(translation)且該修補模式參數之一第二值指示藉由相位聲碼器頻率展延(frequency spreading)之諧波轉置； 過濾該經解碼低頻帶音訊信號以產生一經濾波低頻帶音訊信號；及 使用該經濾波低頻帶音訊信號及該高頻重建後設資料來再生該音訊信號之一高頻帶部分，其中若該修補模式參數係該第一值，則該再生包含頻譜平移，且若該修補模式參數係該第二值，則該再生包含藉由相位聲碼器頻率展延之諧波轉置(transposition)； 其中將該過濾、該再生及該組合執行為每音訊通道具有3010個取樣之一延遲之一後處理操作且其中該頻譜平移包括藉由自適應逆濾波來維持音調分量與似雜訊分量之間的一比率。
  2. 如請求項1之方法，其中該回溯相容擴展容區進一步包含指示是否在該修補模式參數等於該第一值時使用額外預處理來避免該高頻帶部分之一頻譜包絡之一形狀不連續之一旗標，其中該旗標之一第一值啟用該額外預處理且該旗標之一第二值停用該額外預處理。
  3. 如請求項2之方法，其中該額外預處理包含使用一線性預測濾波器係數來計算一預增益曲線。
  4. 如請求項1之方法，其中該回溯相容擴展容區進一步包含指示是否在該修補模式參數等於該第二值時應用信號自適應頻域超取樣之一旗標，其中該旗標之一第一值啟用該信號自適應頻域超取樣且該旗標之一第二值停用該信號自適應頻域超取樣。
  5. 如請求項4之方法，其中該信號自適應頻域超取樣僅應用於含有一暫態之訊框。
  6. 如請求項1之方法，其中以等於或低於每秒450萬次操作及等於或低於3千字記憶之一估計複雜性執行藉由相位聲碼器頻率展延之該諧波轉置。
  7. 一種非暫時性電腦可讀媒體，其含有在由一處理器執行時執行如請求項1之方法之指令。
  8. 一種電腦程式產品，其儲存於一非暫時性電腦可讀媒體中，該非暫時性電腦可讀媒體具有在由一計算裝置或系統執行時引起該計算裝置或系統執行如請求項1之方法之指令。
  9. 一種用於執行一音訊信號之高頻重建之音訊處理單元，該音訊處理單元包括： 一輸入介面，其用於接收一經編碼音訊位元流，該經編碼音訊位元流包含表示該音訊信號之一低頻帶部分之音訊資料及高頻重建後設資料； 一核心音訊解碼器，其用於解碼該音訊資料以產生一經解碼低頻帶音訊信號； 一去格式化器，其用於自該經編碼音訊位元流提取該高頻重建後設資料，該高頻重建後設資料包含用於一高頻重建程序之操作參數，該等操作參數包含定位於該經編碼音訊位元流之一回溯相容擴展容區中之一修補模式參數，其中該修補模式參數之一第一值指示頻譜平移且該修補模式參數之一第二值指示藉由相位聲碼器頻率展延之諧波轉置； 一分析濾波器組，其用於過濾該經解碼低頻帶音訊信號以產生一經濾波低頻帶音訊信號；及 一高頻再生器，其用於使用該經濾波低頻帶音訊信號及該高頻重建後設資料來重建該音訊信號之一高頻帶部分，其中若該修補模式參數係該第一值，則該重建包含一頻譜平移，且若該修補模式參數係該第二值，則該重建包含藉由相位聲碼器頻率展延之諧波轉置； 其中在每音訊通道具有3010個取樣之一延遲之一後處理器中執行該分析濾波器組、該高頻再生器及該合成濾波器組且其中該頻譜平移包括藉由自適應逆濾波來維持音調分量與似雜訊分量之間的一比率。
TW112142356A 2018-04-25 2019-04-25 具有減少後處理延遲之高頻重建技術之整合 TW202410027A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862662296P 2018-04-25 2018-04-25
US62/662,296 2018-04-25

Publications (1)

Publication Number Publication Date
TW202410027A true TW202410027A (zh) 2024-03-01

Family

ID=68294559

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108114437A TWI820123B (zh) 2018-04-25 2019-04-25 具有減少後處理延遲之高頻重建技術之整合
TW112142356A TW202410027A (zh) 2018-04-25 2019-04-25 具有減少後處理延遲之高頻重建技術之整合

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108114437A TWI820123B (zh) 2018-04-25 2019-04-25 具有減少後處理延遲之高頻重建技術之整合

Country Status (17)

Country Link
US (7) US11562759B2 (zh)
EP (1) EP3662469A4 (zh)
JP (3) JP6908795B2 (zh)
KR (5) KR102560473B1 (zh)
CN (6) CN114242090A (zh)
AR (8) AR114840A1 (zh)
AU (3) AU2019257701A1 (zh)
BR (1) BR112020021809A2 (zh)
CA (5) CA3238617A1 (zh)
CL (1) CL2020002746A1 (zh)
MA (1) MA50760A (zh)
MX (6) MX2020011212A (zh)
RU (2) RU2758199C1 (zh)
SG (1) SG11202010367YA (zh)
TW (2) TWI820123B (zh)
WO (1) WO2019210068A1 (zh)
ZA (2) ZA202006517B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI807562B (zh) * 2017-03-23 2023-07-01 瑞典商都比國際公司 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合
JP7257041B2 (ja) 2019-10-28 2023-04-13 国立大学法人東北大学 推定装置、推定方法、及び、材料の製造方法
CN113113032A (zh) * 2020-01-10 2021-07-13 华为技术有限公司 一种音频编解码方法和音频编解码设备
CN113192523A (zh) * 2020-01-13 2021-07-30 华为技术有限公司 一种音频编解码方法和音频编解码设备
CN113808596A (zh) * 2020-05-30 2021-12-17 华为技术有限公司 一种音频编码方法和音频编码装置
CN114550732B (zh) * 2022-04-15 2022-07-08 腾讯科技（深圳）有限公司 一种高频音频信号的编解码方法和相关装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE512719C2 (sv) 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
SE9903553D0 (sv) * 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
SE0001926D0 (sv) * 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
WO2003046891A1 (en) 2001-11-29 2003-06-05 Coding Technologies Ab Methods for improving high frequency reconstruction
US7447631B2 (en) 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
US6792057B2 (en) 2002-08-29 2004-09-14 Bae Systems Information And Electronic Systems Integration Inc Partial band reconstruction of frequency channelized filters
EP1763017B1 (en) * 2004-07-20 2012-04-25 Panasonic Corporation Sound encoder and sound encoding method
US8260609B2 (en) * 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
WO2009059632A1 (en) * 2007-11-06 2009-05-14 Nokia Corporation An encoder
CN101458930B (zh) 2007-12-12 2011-09-14 华为技术有限公司 带宽扩展中激励信号的生成及信号重建方法和装置
DE102008015702B4 (de) 2008-01-31 2010-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals
EP2296145B1 (en) 2008-03-10 2019-05-22 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Device and method for manipulating an audio signal having a transient event
RU2491658C2 (ru) 2008-07-11 2013-08-27 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Синтезатор аудиосигнала и кодирующее устройство аудиосигнала
JP5203077B2 (ja) * 2008-07-14 2013-06-05 株式会社エヌ・ティ・ティ・ドコモ 音声符号化装置及び方法、音声復号化装置及び方法、並びに、音声帯域拡張装置及び方法
TWI559680B (zh) 2009-02-18 2016-11-21 杜比國際公司 低延遲調變濾波器組及用以設計該低延遲調變濾波器組之方法
BR122019023924B1 (pt) 2009-03-17 2021-06-01 Dolby International Ab Sistema codificador, sistema decodificador, método para codificar um sinal estéreo para um sinal de fluxo de bits e método para decodificar um sinal de fluxo de bits para um sinal estéreo
TWI675367B (zh) 2009-05-27 2019-10-21 瑞典商杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體
ES2400661T3 (es) 2009-06-29 2013-04-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codificación y decodificación de extensión de ancho de banda
US8515768B2 (en) 2009-08-31 2013-08-20 Apple Inc. Enhanced audio decoder
PL3564954T3 (pl) 2010-01-19 2021-04-06 Dolby International Ab Ulepszona transpozycja harmonicznych oparta na bloku podpasma
CA2792452C (en) * 2010-03-09 2018-01-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for processing an input audio signal using cascaded filterbanks
PL2545551T3 (pl) * 2010-03-09 2018-03-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Poprawiona charakterystyka amplitudowa i zrównanie czasowe w powiększaniu szerokości pasma na bazie wokodera fazowego dla sygnałów audio
US9047875B2 (en) 2010-07-19 2015-06-02 Futurewei Technologies, Inc. Spectrum flatness control for bandwidth extension
US9117459B2 (en) 2010-07-19 2015-08-25 Dolby International Ab Processing of audio signals during high frequency reconstruction
US8996976B2 (en) 2011-09-06 2015-03-31 Microsoft Technology Licensing, Llc Hyperlink destination visibility
CN103918029B (zh) 2011-11-11 2016-01-20 杜比国际公司 使用过采样谱带复制的上采样
GB2499699A (en) * 2011-12-14 2013-08-28 Wolfson Ltd Digital data transmission involving the position of and duration of data pulses within transfer periods
EP2631906A1 (en) 2012-02-27 2013-08-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Phase coherence control for harmonic signals in perceptual audio codecs
EP2881943A1 (en) * 2013-12-09 2015-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal with low computational resources
WO2015150384A1 (en) 2014-04-01 2015-10-08 Dolby International Ab Efficient coding of audio scenes comprising audio objects
TWI758146B (zh) 2015-03-13 2022-03-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
GR1008810B (el) 2015-03-19 2016-07-07 Νικολαος Ευστρατιου Καβουνης Φυσικος αφρωδης οινος με βιολογικο κροκο κοζανης
EP3208800A1 (en) * 2016-02-17 2017-08-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for stereo filing in multichannel coding
EP3382700A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for post-processing an audio signal using a transient location detection
TWI834582B (zh) 2018-01-26 2024-03-01 瑞典商都比國際公司 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體

Also Published As

Publication number Publication date
KR20220166372A (ko) 2022-12-16
US20230206932A1 (en) 2023-06-29
MX2023013469A (es) 2023-12-15
RU2758199C1 (ru) 2021-10-26
AR128550A2 (es) 2024-05-22
JP6908795B2 (ja) 2021-07-28
CA3238620A1 (en) 2019-10-31
AU2021277708A1 (en) 2021-12-23
MX2020011212A (es) 2020-11-09
MX2023013464A (es) 2023-12-15
AR114840A1 (es) 2020-10-21
AR128551A2 (es) 2024-05-22
MX2023013467A (es) 2023-12-15
CA3098295A1 (en) 2019-10-31
JP2023060264A (ja) 2023-04-27
CN114242086A (zh) 2022-03-25
EP3662469A1 (en) 2020-06-10
KR20230116088A (ko) 2023-08-03
US20210151062A1 (en) 2021-05-20
AR126606A2 (es) 2023-10-25
AR128547A2 (es) 2024-05-22
ZA202006517B (en) 2023-10-25
CA3152262A1 (en) 2019-10-31
CN114242090A (zh) 2022-03-25
US20240161763A1 (en) 2024-05-16
MA50760A (fr) 2020-06-10
CN114242089A (zh) 2022-03-25
US11823695B2 (en) 2023-11-21
AU2019257701A1 (en) 2020-12-03
CA3238617A1 (en) 2019-10-31
KR102474146B1 (ko) 2022-12-06
US20230206934A1 (en) 2023-06-29
US11823696B2 (en) 2023-11-21
AU2021277708B2 (en) 2023-03-30
JP2021515276A (ja) 2021-06-17
ZA202204656B (en) 2023-11-29
JP7493073B2 (ja) 2024-05-30
AR126605A2 (es) 2023-10-25
JP7242767B2 (ja) 2023-03-20
SG11202010367YA (en) 2020-11-27
MX2023013465A (es) 2023-12-15
CN114242088A (zh) 2022-03-25
TW202006706A (zh) 2020-02-01
US11823694B2 (en) 2023-11-21
KR20210125108A (ko) 2021-10-15
US20230206933A1 (en) 2023-06-29
AU2023203912A1 (en) 2023-07-13
KR102560473B1 (ko) 2023-07-27
US20230162748A1 (en) 2023-05-25
JP2021157202A (ja) 2021-10-07
CN112204659A (zh) 2021-01-08
US11830509B2 (en) 2023-11-28
US11562759B2 (en) 2023-01-24
KR20200137026A (ko) 2020-12-08
CA3098295C (en) 2022-04-26
CL2020002746A1 (es) 2021-01-29
KR102649124B1 (ko) 2024-03-20
CN114242087A (zh) 2022-03-25
AR128549A2 (es) 2024-05-22
BR112020021809A2 (pt) 2021-02-23
US20230206935A1 (en) 2023-06-29
WO2019210068A1 (en) 2019-10-31
KR20240042120A (ko) 2024-04-01
CA3238615A1 (en) 2019-10-31
AR128548A2 (es) 2024-05-22
US11908486B2 (en) 2024-02-20
TWI820123B (zh) 2023-11-01
RU2021130811A (ru) 2022-03-01
EP3662469A4 (en) 2020-08-19
MX2023013470A (es) 2023-12-15
CN112204659B (zh) 2021-12-17
KR102310937B1 (ko) 2021-10-12

Similar Documents

Publication Publication Date Title
TWI820123B (zh) 具有減少後處理延遲之高頻重建技術之整合
TWI834582B (zh) 用於執行一音訊信號之高頻重建之方法、音訊處理單元及非暫時性電腦可讀媒體
TWI807562B (zh) 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合
CN112189231A (zh) 高频音频重建技术的集成