TW200939211A - Device and method for a bandwidth extension of an audio signal - Google Patents

Description

200939211 六、發明說明： 【發明所屬之技術領域】 本發明涉及音頻信號處理，具體地，涉及在可用資料 速率相當小的情況下的音頻信號處理。 【先前技術】 為了音頻信號的有效儲存和傳送，用於資料減少的音 頻信號的聽覺適配編碼已經在許多領域得到接受。編碼演 算法尤其以“MP3”或“刪，，㈣人所知π其在實現 最低位元速率時，為此而使用的編碼導致了音頻品質的下 降’這種下降通常主要是由要傳送的音頻信號帶寬的編碼 器侧限制而導致的。 從WO 98 57436已知，在這種情況下，在編碼器側對 音頻信號進行頻帶限制，並通過高品質音頻編碼器來僅對 音頻信號的較低頻帶進行編碼。然而，僅非常粗略地使用 用於重現較高頻帶的頻譜包絡的參數集合來表徵較高頻 帶。然後，在解碼器側對較高頻帶進行合成。出於這種原 因，提出了一種調和置換（harmonictransp〇siti〇n)，其中 將解瑪的音頻信號的較低頻帶提供給據波器組。較低頻帶 的濾波器組通道與較高頻帶的濾波器組通道連接，或“拼 接（patch)，，並對每個拼接的帶通信號進行包絡調整。 廷褢’屬於特定解析遽波器組的合成滤波器組接收較低頻 帶中的音頻信號的帶通信號和被調和拼接在較高頻帶中 的較低頻帶的包絡調整後的帶通信號。合成濾波器組的輸 3 200939211 出k號是關於其帶寬擴展的音頻信號，將該音頻信號以非 常低的資料速率從編碼器側發送至解碼器侧。特別地，在 濾波器組域中的遽波器組計算和拼接的計算代價可能較 高0 取而代之地，用於頻帶受限音頻信號的帶寬擴展的複 雜度降低的方法使用一種拷貝函數，該拷貝函數將低頻信 號部分（LF)拷貝至高頻範圍（HF)’以近似得到由於頻 _ 帶限制而丟失的資訊。在以下文獻中描述了這樣的方法： M. Dietz, L. Liljeryd, K. Kjerling and 0. Kunz, "Spectral 〇 Band Replication, a novel approach in audio coding," in 112th AES Convention, Munich, May 2002 ； S. Meltzer, R. B5hm and F. Henn, "SBR enhanced audio codecs for digital broadcasting such as "Digital Radio Mondiale”（DRM)，” 112th AES Convention, Munich, May 2002 ； T. Ziegler, A.

Ehret, P. Ekstrand and M. Lutzky, "Enhancing mp3 with SBR: Features and Capabilities of the new mp3PRO q

Algorithm," in 112th AES Convention, Munich, May 2002 ； 國際標準 ISO/IEC 14496-3:2001/FPDAM 1，"Bandwidth

Extension," ISO/IEC, 2002, or "Speech bandwidth extension - method and apparatus”，Vasu Iyengar et al.美國專利 Nr. . \ 5,455,888。 在這些方法中，不執行調和置換，而是將較低頻帶的 連續的帶通信號引入較高頻帶的連續的濾波器組通道。由 此，實現了音頻信號的較高頻帶的粗略近似。然後，在另 4 200939211 一步驟中，通過使用從原始信號中得到的控制資訊來進行 後處理，使該信號的粗略近似近似於原始信號。這裏，例 如，如也在MPEG-4標準中描述的，縮放因數用於：適配 頻譜包絡、反遽波和添加雜訊毯（noise carpet)以適配音 調（tonality)’以及使用正弦信號部分來進行補充。 除此之外，也存在其他方法，如E. Larsen, R.M. Aarts， and Μ· Danessis，“Efficient high-frequency bandwidth extension of music and speech，，，In AES 112th Convention o

Munich, Germany，May 2002 t描述的所謂“盲帶寬擴 展”，其中不使用與原始HF範圍相關的資訊。此外，也 存在所謂的“人工帶寬擴展”方法，在K. Kayhk0，A Robust Wideband Enhancement for Narrowband Speech Signal; Research Report, Helsinki University of Technology, Laboratory of Acoustics and Audio signal Processing, 2001 中描述了該方法。 ❹ 在 J. Makinen et al·: AMR-WB+: a new audio coding standard for 3rd generation mobile audio services Broadcasts, IEEE，ICASSP’05中，描述了一種帶寬擴展方法，其中通 • 過鏡像（例如通過上採樣）來替代根據SBR技術使用連 : 績帶通信號的上拷貝（up-copying)來進行的帶寬擴展的 拷貝操作。 在以下文獻中描述了用於帶寬擴展的其他技術。R.M. Aarts, E. Larsen, and O. Ouweltjes, (ίΑ unified approach to low- and high frequency bandwidth extension，，，AES 115th 5 200939211

Convention, New York, USA, October 2003 ； E. Larsen and R.M. Aarts，“Audio Bandwidth Extension - Application to psychoacoustics, Signal Processing and Loudspeaker Design”，John Wiley & Sons，Ltd” 2004 ; E. Larsen, R.M.

Aarts, and M. Danessis, “Efficient high-frequency bandwidth extension of music and speech”，AES 112th Convention，Munich，May 2002 ; J. Makhoul，“Spectral

Analysis of Speech by Linear Prediction”， IEEE

Transactions on Audio and Electroacoustics, AU-21(3)，June 1973 ;美國專利申請08/951,029;美國專利No. 6,895,375。 調和帶寬擴展的已知方法表現出較高複雜度。另一方 面’複雜度降低的帶寬擴展方法表現出品質損失。尤其在 低位元率並結合LF範圍的低帶寬的情況下，可能出現如 粗糙和被感知為不愉悅的音色之類的偽像。其原因在於， 近似的HF部分是基於拷貝操作，該操作未注意到音調信 號部分互相之間的調和關係。這適用於LF和HF之間的 調和關係，也適用於HF部分自身之内的調和關係。例如， 使用SBR，在LF範圍和產生的HF範圍之間的邊界上， 例如，如第四圖A中所示，由於從LF範圍拷貝至箱 圍的音調部分現在可能在整體信號中遇到在頻譜上緊蜜 相鄰的LF範圍的音調部分，目此時而會丨現轉的聲j 印象。因此’在第四圖A中，示意了具有在4〇1、4〇^ 403和404處的峰值的原始錢，而示意的測試信號 在4〇5、4〇6、4〇7 * 4〇8處的峰值。通過將音調部分妆 200939211 LF範圍拷貝至HF範圍（其中，在第四圖A中，邊界在 4250Hz處），測試信號中的兩個左側峰值的距離小於調和 光栅的基頻，這導致了粗糙感。 如在 Zwicker，E. and H· Fasti (1999)，Psychoacoustics: Facts and models. Berlin - Springerverlag 中所述，由於音

Ο 調補償的頻率組的寬度隨著中心頻率的增大而增大，這 襄，將位於不同頻率組中的LF範圍内的正弦部分拷貝至 HF範圍’可能使其位於相同的頻率組中，這也導致了粗 糙的聽覺印象’從第四圖B中可以看到這一點。這裏，具 體示出了，將LF範圍拷貝至HF範圍導致測試信說中具 有比原始信號更密的音調結構。如在41〇處具體示出 原始信號相對均勻地分佈在較高頻率範圍中的頻譜上。相 反’在該較高範圍中’測試信號411相對不均句地八| 頻譜上，因此顯然比原始信號410具有更多音調。 【發明内容】 本發明的目的是實現具有高品質的帶寬擴展，同時實 現具有較低複雜度的彳&號處理’然而，其可η你t 六' J Μ恨小的延遲 和很小的代價來實現，因此’也可以在處理器速度和 記憶體方面具有降低的硬體要求的處理器來實現。 這個目的是通過根據申請專利範圍第i項所逑的用於 帶寬擴展的設備或根據申請專利範圍第13項所逃的用於 帶寬擴展的方法、或根據申請專利範圍第14項所迷的、 腦程式來實現的。 7 200939211 本發明的用於帶寬擴展的概念基於：時間信號擴展， 用於使用大於1的擴展因數產生所述音頻信號的、作為在 時間上擴展的時間信號的版本；隨後對該時間信號進行抽 取以獲得置換的信號；然後，例如使用簡單的帶通據波器 對該置換的信號進行渡波，以提取高頻信號部分（可能僅 在其幅度上仍分別被畸變或改變）’從而獲得原始高頻部. 分的良好近似。可選地，可以在執行信號擴展之前進行^ _ 通濾波，使得在擴展後的擴展信號中僅存在期望的頻率範 圍，從而可以省略擴展之後的帶通濾波。 & ❹ 一方面，使用調和帶寬擴展，基於使用用於對時間作 號進行擴展的信號擴展器來進行的頻譜擴展和調和延 拓，可以防止由拷貝或鏡像操作或兩者而導致的問題。另 二方面’㈣簡單的處理器，可以比完整的解析/合成據波 器組更簡單地執行時間擴展和隨後的抽取，例如，完整的 解析/合成濾波器組使用調和置換，其中必須做出額外的判 決：即應當如何進行濾波器組域中的拼接。 優選地，對於信號擴展，使用相位聲碼器，其實現需 〇 要很小的代價。為了獲得具有大於2的因數的帶寬擴展， 也可以並行使用若干相位聲碼器，這樣做是有利的，尤其 對於在即時應用中必須較低的帶寬擴展的延遲。可選地，- 可以使用用於信號擴展的其他方法，例如ps〇LA方法（音‘， 高同步疊加）。 曰 在本發明的優選實施例中，首先，在相位聲碼器的幫 助下在具有最大頻率LFmax的時間方向上擴展lf音頻 8 200939211 h號，即擴展至仏號的常規持續時間的整數倍。基於此， 在下游抽取器中，使用時間擴展因數來進行信號的抽取， 其總的效果導致了頻譜的擴展。這與音頻信號的置換相對 應。最後，將所產生的信號帶通濾波至(擴展因數— . 至齡因數.LFmax的範®。可選地，可崎㈣擴展和抽 $產生的各個高頻信號進行帶通紐，使其最終加性地覆 蓋在整個高頻範圍上（即從LF-至 k*LFmax)。對於仍期 ❹望諧波的更高頻譜密度的情況，這是明智的。 在本發明的優選實施例中，對若干不同的擴展因數並 行地執行調和帶寬擴展的方法。作為並行處理的一種替代 選擇，也可以是使用單個相位聲碼器，該相位聲瑪器串列 操作，其中對中間結果進行緩存。因此，可以實現任何帶 寬擴展的截止頻率。可選地，也可以在頻率方向上直接孰 行信號的擴展’即具體地，通過與相位聲碼器的功能原理 相對應的對偶操作來執行擴展。 ❹ ㈣地’在本發_實_中，*需要麵和性或基 頻方面對信號進行解析。 【實施方式】 以下’參照附圖’更詳細地解釋本發明的優選實施例。 第一圖分麻出了祕音齡號的帶寬舰的設備 或方法的示意圖。僅財例方式將第—隨料設備，但 是第一時也可以被料是祕帶寬舰的方法的流 程圖。這裏’在輸人將音頻信號饋送人該設備。將 200939211 音頻#號&供給k號擴展器102 ’信號擴展器i〇2被實現 為用於使用大於1的擴展因數產生所述音頻信號的、作為 在時間上擴展的時間信號的版本。在第—騎示的實施例 中，經由擴展因數輸入104來提供該擴展因數。在信號擴 展器102的輸出103處出現的擴展的音頻時間信號被提供 給抽取器105，抽取器1〇5被實現為使用與擴展因數1〇4 · 匹配的抽取因數來對時間擴展的音頻時間信號1〇3進行抽-取。在第一圖中使用擴展因數輸入1〇4以示意圖方式示出 了這一點，使用虛線來緣出擴展因數輸入1〇4，並將其引❹ 至抽取器105。在-個實施例中，信號擴展器中的擴展因 數等於抽取因數的倒數。例如，如果在信號擴展器1〇2中 應用的擴展因數為2.0，則執行抽取因數為〇 5的抽取。然 而’如果將抽取描述為執行以2為因數的抽取，即每個第 二採樣值被去除，那麼在該圖示中，抽取因數與擴展因數 相同。也可以根據實現方式來使用擴展因數和抽取因數之 間的可選比值’例如整數比值或有理數比值。然而，當擴 展因數分料於姉隨H於抽取目數的舰時，實 〇 現最大調和帶寬擴展。 在本發明的優選實施例中，例如，抽取器105被實現 為去除每個第二採樣（擴展因數等於2)，使得產生抽取的-音頻信號具有與原始音頻信號1〇〇相同的時間長度。例V 如，也可以使用例如形成加權的平均值或分別考慮到過去 或未來的趨勢的其他抽取演算法，然而，可以以非常小的 代價，通過採樣的去除來實現簡單的抽取。將抽取器⑺5 200939211 蓋生的抽取的時間錢1G6提供給濾波H l〇7，其中濾波 器1〇7被實現為從抽取的音頻信號1〇6中提取帶通信號， 該帶通=號包含該設備的輸入處的音頻信號100中未包含 的頻率範圍。在該實現中，據波器107可以被實現為數位 • 帶通航器，例如观或取濾波器，或也可以被實現為 _帶通遽波器，但是數位實現是優選的。此外，遽波器 107被實現為使其提取操作1〇2和1〇5產生的較高頻譜範 ®，然而’其中，無論如何，對音頻信號1GG所涵蓋的底 冑頻譜範圍進行盡可能多的抑制。然而，在該實現中，滤 波器107也可以被實現為使其也提取具有原始信號中 包含的帶通信號的頻率的信號部分，其中，所提取的帶通 信號包含原始音頻信號1〇〇中未包含的至少一個頻帶。 將濾波器107輸出的帶通信號1〇8提供給畸變器 109 ,畸變器109被實現為對帶通信號進行畸變，使得該 帶通信號包括預定包絡。可以用於進行畸變的包絡資訊可 ❹ 以從外部輸入，或甚至可以來自編碼器或也可以從内部產 生，例如通過音頻信號刚的盲外插來產生，或基於解碼 器侧儲存的、使用音頻信號100的包絡作為索引的表來產 -· 生。最後，將畸變器109輸出的畸變的帶通信號110提供 : 給組合器ill’組合器ill被實現為將畸變的帶通信號n〇 與根據實現方式也被畸變的原始音頻信號10()組合（在第 一圖中未示出延遲級）’以在輸出112處產生帶寬擴展的 音頻信號。 在可選實現方式中，畸變器1〇9和組合器U1的順序 200939211 與第-圖所示的圖示相反。這裏’將濾波器輸出信號，即 帶通信號108直接與音頻信號100進行組合，僅在進行組 合之後才由畸變器109對從組合器ln輸出的組合信號的 較高頻帶進行畸變。在這種實現方式中，畸變器操作為用 於對組合進行進行畸變的畸變器，使得組合信號包括預定 包絡。因此，在該實施例中，組合器被實現為使其將帶通， 信號108與音頻信號1〇〇進行組合，以獲得帶寬擴展的音， 頻仏號。在該實施例中，僅在組合之後才進行畸變，優選 地’將畸變n 1G9實現為使得其分別不影響音頻信號励❹ 或音頻信號100提供的組合信號的帶寬，這是由於使用高 品質編碼器對音頻信號的較低頻帶進行編碼，而且該較低 頻帶在解碼器側位於較高頻帶的合成中，可以說，對所有 内容的度量不應受到帶寬擴展的干擾。 在示意本發明的詳細實施例之前，參照第七圖A和第 七圖B來示意一種帶寬擴展的情形，其中可以有利的實現 本發明。在輸入700處，將音頻信號饋送入低通/高通組 合。該低通/高通組合—方面包括低通（Lp)，用於產生在 第七圖A中的703處所示的音頻信號7〇()的低通濾波版 本。使用音頻編碼H 704對該低賴波的音頻錢進行編 碼。例如，該音頻編碼器是Mp3編碼器（MpEG1層3) 或AAC編碼器（也稱為Mp4編碼器，在MpEG4標準中 對其進行了描述）。在編碼器7〇4中，可以使用提供頻帶 文限的音頻信號7〇3的透日月（或有利地，在心理聲學上透 明）表示的可選的音頻編碼器，以分別產生完整編碼的、 200939211 或心理聲學編碼的，以及優選地，在心理聲學上透明編碼 的音頻信號705。遽波器702的高通部分（標記為“Hp”） 在輸出706處輸出音頻信號的較高頻帶。將音頻信號的高 通部分，即較高頻帶或HF頻帶（也標記為HF部分）提 供給參數計算器707，參數計算器7〇7被實現為計算不同 參數。例如，這些參數是以相對粗糙的解析度來表示的較 高頻帶706的頻譜包絡，例如，分別使用每個心理聲學頻 率組或Bark尺度上的每個Bark頻帶的縮放因數來進行表 示。參數計算器707可以計算的另一參數是較高頻帶中的 雜訊毯，該雜訊毯的每頻帶能量可以優選地與該頻帶中的 包絡的能量相關。參數計算器7〇7可以計算的其他參數包 括：較高頻帶中的每個部分頻帶的音調度量，該音調度量 指示了頻帶中的頻譜能量是如何分佈的，即頻帶中的頻譜 能量是否㈣均㈣分佈’财+在該解巾存在非音調 ㈣’或該頻帶中的能量是否相對強地集中在頻帶中的特 定位置’财情於該頻較可能存在音難號。其他參 數在於：對在較高頻帶中在高度和頻率上相對強地凸起的 峰值進行顯式編碼，作為帶寬擴展的概S，在沒有這樣的 對較高頻帶中的顯著的正弦部分進行顯式編碼的情況下 的重構將只_常姆地將魏復，妓全不能恢復。 在任何情況下’參數計算器7G7被實現為僅產生用於 較高頻帶的參數7〇8,可以對該參數進行與編碼器704 中執行的祕量化的綱值的步_似的輯少步驟，例 如差分編碼、預測或霍夫曼編碼等。然後，將參數表示708 13 200939211 =曰頻信號705提供給下游的格式ϋ ，格式器被 實現為提供輸出侧資料流程71〇，典型地，該資料流程是 根據特定格式（如在Μ.標準中規範化的格 流程。 竹 以下參照第七圖B來示意尤其適於本發明的解碼器 侧。資料流程710進入資料流程解釋器7U，資料流程解. 釋器711被實現為將參數部分與音頻信號部分分 離。使用參數解碼器712來對參數部分708進行解碼，以 獲得解碼的參數713。與此並行地，使用音頻解碼器μ❹ 來對音頻彳§號部分7〇5進行解碼，以獲得在第一圖中的 100處所示的音頻信號。 根據該實現方式’可以經由第-輸出715輸出音頻作 號100。然後，可以在輸出爪處獲得具有小帶寬從而: 具有低品質的音頻信號。然而，為了提高品質，執行本發 明的帶寬擴展72〇(例如’如第一圖所示地來執行），以在 輸出侧獲得音頻信號112，音頻信號112分別具有擴展 或高的帶寬以及高的品質。 ' ◎ 以下參照第二圖A’示意第一圖中的帶寬擴展實現方 式的優選實現方式，優選地，其可以用於第七圖B中的模 組712中。第二圖AfM括標記為“音頻信號和參數”、' 的模組，該模組可以與第七圖B中的模組7n、7i2和714 ' 相對應，並使用200來標記該模組。模組2〇〇在輸出側提 供輸出信號1〇〇以及解碼的參數713，該參數可以用於不 同的畸變，例如用於音調校正1〇9a和包絡調整1〇%。'將 200939211 音調校正l〇9a和包絡調整1〇9b分別產生或校正的信號提 供給'组合器111 ’以在輸出侧獲得具有擴展帶寬的音頻信 號 112。 優選地’使用相位聲碼器202a來實現第一圖中的信 . 號擴展器102。優選地’使用簡單的採樣率轉換器205a 來實現第一圖中的抽取器1〇5。優選地，使用簡單的帶通 渡波器107a來實現用於帶通信號的提取的濾波器1〇7。特 別地’相位聲碼器202a和採樣率抽取器205a可以以擴展 因數=2來操作。 優選地’提供了由相位聲碼器2〇2a、抽取器2〇允和 帶通濾波器207b組成的另一種“系列”，以在濾波器 207b的輸出處提取另一帶通信號，該帶通信號包括帶通濾 波器207a的上截止頻率與音頻信號1〇〇的最大頻率的3 倍之間的頻率範圍。 此外，提供了 k相位聲碼器2〇2c，用於實現因數為k 〇 的音頻信號擴展，其中k優選地是大於i的整數。抽取器 205連接至相位聲碼器202c的下游，以k為因數來進行抽 取。最後’將抽取的信號提供給帶通濾波器2〇7c，帶通濾 : 波器207c被實現為其下截止頻率等於相鄰支路的上截止 : 頻率，其上截止頻率與音頻信號100的最大頻率的倍相 對應。組合器209對所有帶通信號進行組合，其中，例如， 組合器209可以被實現為加法器。可選地，組合器209也 可以被實現為加權加法器，根據該實現方式，獨立於元件 109a、109b進行的下游畸變，該加權加法器對較高頻帶的 200939211 衰減比對較低頻帶的衰減更強。此外，第二圖A所示的系 統包括延遲級211，延遲級211確保在組合器111中進行 同步的組合’該組合例如可以是逐採樣相加。 第一圖示出了在第—圖或第二圖A所示的處理中可 月匕出現的不同頻譜的示意圖。第三圖的部分圖像⑴示 出了例如在第一圖中的或在第七圖A中的703處出 現的頻帶纽的音頻信號。優選地，使用信賴展器似 將該信號擴展至信號的原始持續時間的整數倍 ，隨後以整 數因數對其進行抽取，這導致了如第三圖中的部分圖像 ⑵所示的總的頻譜擴展。在第三圖中示意了由包括通 帶300的帶通據波器所提取的取部分。在第三部分圖像 中’第三圖示出了變型’其中在帶通信號的畸變之 月J已、、，里將該帶通6號與原始音頻信號刚進行組合。因 此’產生了具有未畸變㈣通信號的組合麵，其中，如 心圖像（4)所不，賴，進行較高頻帶的畸變，但是， 如果可能’對較低㈣不做修改，以獲得具有擴展帶寬的 音頻信號112。 心圖像⑴巾的LF信號具有最大鮮LFmax。相 瑪器2G2a執行音頻信朗置換，使得置換後的音頻 L號的最大頻率為2LFmax。現在，部分圖像⑵中的所 f生的信號被帶通濾波SU2LFmax的範圍。-般而 «田使用k(k>l)來表示擴展因數日夺，帶通滤波器包括 (k 1) LFmax至k.LF_-的通帶。對不同的擴展因數重複第 三圖所示的難’直着現駿崎高解k· LF_-，其 200939211 中k=最大擴展因數kmax。 以下’參照第五圖和第六圖來示意根據本發明的相位 聲碼器202a ' 202b、202c的優選實現方式。 第五圖A示出了相位聲碼器的濾波器組實現方式，其 中，在輸入500處饋送入音頻信號，並在輸出510處獲得 t頻信號。具體地’第五圖A所示的示意性滤波器組的每 個通道包括帶通濾波器5〇1和下游振盪器5〇2。組合器（例 ❹ 如被實現為加法器並在503處示出）將來自每個通道的所 有振盪器的輸出信號進行組合，以獲得輸出信號。每個滤 波器501被實現為使得其一方面提供幅度信號，另一方面 提供頻率化號。該幅度信號和頻率信號是示出滤波器5〇1 中的幅度隨時間進展的時間信號，而頻率信號則表示由滤 波器510濾、波的信號的頻率進展。 第五圖B中示出了濾'波器501的示意設置。可以如第 五圖B中所不來對第五圖a中的每個濾波器5〇1進行設 ❾ 置，然而，其中，只有提供給兩個輸入混頻器551和加法 器552的頻率^在每個通道中互不相同。低通553對混頻 器輸出信號均進行低通滤波，其中，低通信號與其由本地 ： 振盪器頻率（L0頻率）所產生時不同，其相位相差90。。 ; 的上方的低通濾波器553提供了正交信號554,而下方的 低通濾波器553提供了同相信號555。將這兩個信號，即 I和Q提供給座標變換器556，座標變換器556從矩形表 不產生幅度相位表示。在輸出557處分別輸出第五圖A中 的基於時間的幅度信號或相位信號。將相位信號提供給相 200939211 位展開器（PhaSeimWrapper) 558。在元件558的輸出處， 不再存在始終在0和360。之間的相位值，而存在線性增大 的相位值。將該展開的相位值提供給相位/頻率轉換器 559，相位/頻率轉換器559例如被實現為簡單的相位差形 成器’用於從當前時間點的相位減去前__時間點的相位， 以獲得當前_點_率值1該鮮值錢波器通道丨. 的常數頻率值fi相加’以在輸出56G處獲得時㈣頻率· 值。輸出560處的頻率值具有直接分量=f;和交變分量=頻 率偏差’该頻率偏差是滤波器通道中的信號的當前頻率與❽ 平均頻率fi的偏差。 〃 如第五圖A和第五圖B所示 囚此 • ^·· — tssj ±j /1\ y|>，不目位聲碼器實 現了頻譜資訊與時間資訊的分離。頻譜#訊在專用通道 中’或在為每個通道提供頻率的直接部分的頻率^ +，而 時間資訊分職包含在鮮偏差或基於_的幅度中。 〇 第五圖C *出了根據本發0月的被執行用於帶寬 的操作，具體地，在相位聲驗中，更具體 第五圖A中以虛線㈣的所示電路的位置處執行該操作。 ▲為了進行時間縮放，例如，可以對每個通道 =號，或每個信號中的信號頻率f(_ 二 ^為了進行對本發財用的，執行插值，即$ σ f(0的時間輯或概，哺得擴 … f’(t)，其中，如第 成Mt)和 值。诵㈣w… 減數來控制該插 變化（即在加法器552進行與常數頻率 加之則的值）的插值，未改變第五圖A中的每個單 200939211 盪器502的頻率。然而，總立 通過因數2實理、。甘 曰頻㈣的時間變化放緩（即 及其错波）的時間擴展^具有原始音高（即原始基波 的每==Γ所示的信號處理，其中在第五圖中 慮皮器頻帶通道巾執行這 抽取器105或第五圖㈣然後在第一圖的 間作號推的抽取11邮中分別對產生的時 〇 ❹ 同i將所有’將音頻信號收縮至其原始的持續時間， m 率増大為兩倍。這導致了因數為2的音高置 相ni*«、㈣相音頻錢具#與絲音頻信號 相冋的長度’即相同的採樣數目。 作，第五圖A所㈣濾波器組實現方式的—種替代 ▲可以使用相位聲瑪器的變換實現方式。這裏，將 員U 10(H乍為時間採樣序列饋送入附處理器，或者 般地饋送人k時傅立義換處理^ _。在第六圖 =意性地實現了 FFT處理器_，躲執行音頻信號的 曰，囪’以便接著通過FFT來計算幅度譜和相位譜’其 這種β十算疋對與音頻信號的塊相關的連續頻譜來執行 的，這些連續頻譜的交疊較強。 、^-種極端航下，對於每個_音頻錢採樣可 乂°十鼻新的頻譜，其中，例如，也可以僅對每二十分之一 的新採樣來計算新的頻譜。優選地，由控制器6〇2給出兩 個頻4之_採樣距離a。該控制^ 6G2還被實現為向 IFFT處理器604進行饋送，而該IFFT處理器6〇4被實現 為在交疊操作中操作。具體&，IFFT處理器6〇4被實現為 200939211 使得其基於幅度譜和相位譜，對每個頻譜執行一次IFFr 來執行反短時傅立葉變換，以便接著執行疊加操作，通過 該叠加操作來產生時間範圍。該疊加操作消除了解析窗的 效果。 通過使IFFT處理器604處理的兩個頻譜之間的距離b 大於在FFT頻譜的產生時這兩個頻譜之間的距離&，實現* 了時間信號的擴展。其基本思想是通過簡單地使逆FFT的 間隔大於解析FFT的間隔來擴展音頻信號。由此，在合成 的音頻信號中出現的頻譜變化比原始音頻信號中更慢。 ❹ 然而，在沒有模組60ό中的相位重新縮放的情況下， 這將導致頻率偽像。例如，當考慮單個頻率箱（對其實現 了相差45。的連續相位值）時，這意味著在該濾波器組内 的信號在相位上以1/8圓周的速率增大，即每個時間間隔 增大45。’其中，這襄的時間間隔是連續FFT之間的時間 間隔。現在，如果逆FFT要互相間隔更遠，則這意味著在 更長的時間間隔上出現45。的相位增大。這意味著，無意 中減小了该信號部分的頻率。為了消除該偽像頻率減小， 使用與在時間上對音頻信號進行擴展所使用的完全相同 的因數來對相位進行重新縮放。因此，以因數b/a來增大 每個FFT頻譜值的相位，以消除無意的頻率減小。 儘管在第五圖C所示的實施例令，對第五圖A中的 濾波器組實現方式中的一個信號振盪器實現了通過幅度/ 頻率控制信號的插值來進行的擴展，但是，在第六圖中， 通過使兩個IFFT頻譜之間的距離大於兩個fft頻譜之間 20 200939211 的距離，即b大於a來實現擴展，然而，其中，為了防止 偽像，根據b/a來執行相位的重新縮放。 關於相位聲碼器的詳細描述，參照以下文獻： “The phase Vocoder: A tutorial”，Mark Dolson， Computer Music Journal, vol. 10, no. 4, pp. 14 - 27, 1986 ； 或”New phase Vocoder techniques for pitch-shifting, harmonizing and other exotic effects", L. Laroche und M. Dolson, Proceedings 1999 IEEE Workshop on applications of signal processing to audio and acoustics, New Paltz, New York, October 17 - 20，1999，pages 91 to 94 ; "New approached to transient processing interphase vocoder", A. Rebel, Proceeding of the 6th international conference on digital audio effects (DAFx-03), London, UK, September 8-11, 2003，pages DAFx-1 to DAFx-6 ; "Phase-locked Vocoder", Meller Puckette, Proceedings 1995, IEEE ASSP, Conference on applications of signal processing to audio and acoustics ;或美國專利申請號6,549,884。 第二圖B示出了第二圖A所示的系統的改進，其中 使用了瞬變檢測器250 ’瞬變檢測器250被實現為確定音 頻信號的當前時間操作是否包含瞬變部分。瞬變部分在於 以下事實：音頻信號總的變化很大’即例如，音頻信號的 能量從一個時間部分至下一時間部分變化（即增大或減 小）的程度大於50%。然而’該50%的臨界值僅是示例， 該臨界值也可以是更小或更大的值。可選地，對於瞬變檢 21 200939211 例如從話音至嗓鳴聲的 測，也可以考慮能量分佈的改變， 轉換。 干，_部分，貞W處所 換，而對於瞬變時間範圍，執行切換至 法。然後，如果再次檢測到音頻_=擴展肩算 唬不再是瞬變，則如第 :圖中的請1()2、1()5所示，再次執行調和置換。在第 一圖Β的270處示出了這一點。 〇 將模組270和260的輸出信號提供給組合器28〇，由 於音頻信_時_分可能是瞬變的或__，因此模 組270和260的輸出信號的到達在時間上具有偏移，組合 器280被實現為提供時間上的帶通信號，例如，可以將該 信號提供給第二圖Α中的模組斷中的音調校正。可選 地’例如’也可以在加法器111之後執行模組的組合: j而，這可能意味著，對於音頻信號的整個變換塊假定了

瞬變特性，或者，如果m組實财式也基於塊來操 作，則對整個這樣的塊，分別執行對於瞬變或非瞬變的判 決。 由於如第二圖A中所示並在第五圖和第六圖中更詳 細解釋的相位聲碼器202a、2〇2b、2〇2c在瞬變信號部分 的處理中產生比非瞬變信號部分的處理中所產生的更多 的偽像，因此，如第二圖B _的260處所示，執行向非調 和拷貝操作或鏡像的切換。可選地，例如在以上％用的 Laroche的專業出版物中或在美國專利號6,549,884令所描 22 200939211 述的，也可執行將相位重新設置為瞬變。 如在模組109a、109b中已經示出的’在產生頻譜的 HF部分之後，執行頻譜形成和向雜訊的原始度量的調 整。例如，在縮放因數、dB (A)加權縮放因數或線性預 測的幫助下，可以進行頻譜形成，其中，線性預測的優點 在於，不需要時間/頻率轉換和後續的頻率/時間轉換。 ❹

至此，本發明的優點在於，通過使用相位聲碼器’進 一步擴展了具有增大的頻率的頻譜，而且，該頻譜通過整 數擴展而始終正確地調和銜接。因此，排除了在LF範圍 的截止頻率處的粗糙感的產生，並防止了由頻譜的HF部 分的過度密集的佔用而導致的干擾。此外，可以使用有效 的相位聲碼器實現方式’而且可以在不需要濾波器組拼接 操作的情況下而實現。 可選地，也可以使用其他信號擴展方法，例如 方法（音高同步疊加）。音高同步疊加，簡稱為ps〇LA， 疋種合成方法，其中話音信號的記錄位於資料庫中。只 要匕們疋週期信號，就向其提供關於基頻（音高）的資訊， 並標記出每個週期的起始處。在合成中，使用特定環境， 通過窗函數來觸這些’並在合適軌置將其添加至 要合成的域：根據觀的基毅高於還是低於資料庫條 目的基頻，相舰，比在縣健中更密集或更不密集的 方式對其進行組合。為了難可聽錢的持續時間， 以雙倍方_職。這種方法也稱為 ”中TD代表時域，並強調該方法在時域中 200939211 操作。另一種發展是多頻帶重新合成疊加方法，簡稱為 MBROLA。這裏，通過預處理使資料庫中的片段具有均勻 的基頻’並對諧波的相位位置進行規範化。由此，在從一 個片段至下一片段的轉變的合成中，產生較少的感知干 擾，而且所實現的話音品質更高。 在另一種可選方式中，在擴展之前，已經對音頻#说 進行了帶通濾波’使得擴展和抽取之後的信號已經包含期 望的部分，可以省略隨後的帶通濾波。在這種情況下，帶 通濾波器被設置為使得在帶通濾波器的輸出信號中仍然❹ 包括音頻信號中在帶寬擴展之後可能已被濾除的部分。因 此，帶通濾波器包含在擴展和抽取之後的音頻信號100中 不包含的頻率範圍。具有該頻率範圍的信號是形成合成的 向頻信號的期望信號。在本實施例中，畸變器1〇9不對帶 通信號進行畸變，而對從帶通濾波後的音頻信號導出的擴 展和抽取後的信號進行畸變。 ^還要注意’在原始信號的頻率範圍中，擴展信號也可❹ 也是有幫助的，例如通過將原始信號與擴展信號混合，因 =，不需要“嚴格’’的通帶。然後，擴展信號在其與原始 2號在頻率上交疊的頻帶中，可以很好地與原始信號混 以修正原始彳§號在該交叠範圍中的特性。 、。還要注意，畸變109和濾波1〇7的功能可以在單個濾 器模組中實現，或可以在兩個級聯的分離的濾波器中實 由於畸變是根據信號來進行的，因此，該濾波器模組 、鴨度特性將是可變的。然:而，其頻率特性與信號無關。 24 200939211 根據第-圖所示的實現方式，可以首先對整體音頻信 號進行擴展、抽取，然後進行濾波，其中，據波與元件1〇7、 109的操作相對應。因此，在舰之後或錢波的同時執 行畸變，其中，出於這種目的，採取數位據波器形式的組 . 合的濾波器/畸變器模組是合適的。可選地，這裏，當使用 兩個不_濾波n元件時，可以在（帶通）濾波⑽） 之前進行崎變。 #一次’可選地’可以在擴展之前進行帶通滤波，使 得在抽取之後僅進行畸變（109>為了實現這種功能，這 裏’兩個不同的元件是優選的。 >再-次’可選地，在上述所有變型中，也可以在合成 信號與原始音頻信號的組合之後進行畸變，例如，可以使 用在原始m的解範圍情要濾波的錢沒有作用 或僅有非常小作用的滤波器，然而，該濾波器在擴展的頻 率範圍中產生期望的包絡。在這種情況下，優選地，仍使 ❽ 用兩個不同元件用於提取和畸變。 本發明的概念適於全帶寬不可用的所有音頻應用。在 例如通過數位無線電、網際網路流以及在音頻通信應用中 ； #音_容進行傳播時，可錢本發明的概念。 . 根據環境’本發明的方法可以以硬體或軟體形式被實 現用於分析資訊信號。該實現可以在數位儲存介質上執 行，尤其是其上儲存有電子可讀控制信號的軟碟或CD， 所述控制信號可以與可編程電腦线協作，以執行本方 法。一般地，因此，本發明在於具有程式碼的電腦程式產 25 200939211 品，所述程式碼儲存在機器可讀載體上，當電腦程式產品 在電腦上執行時，所述程式碼執行本方法。換言之，因此， 本發明可以被實現為具有程式碼的電腦程式，當電腦程式 在電腦上執行時，所述程式碼執行本方法。

26 200939211 【圖式簡單說明】 第一圖示出了本發明的用於音頻信號的帶寬擴展的 概念的框圖； 第二圖A示出了根據本發明的一方面的用於音頻信 號的帶寬擴展的設備的框圖； 第二圖B示出了具有瞬變檢測器的第二圖A的概念 的改進； 第三圖示出了在本發明的帶寬擴展時，使用在特定點 處的頻譜的信號處理的示意圖； 第四圖A示出了原始信號和提供粗糙聲音印象的測 試信號之間的比較； 第四圖B示出了原始信號與也導致粗糙聽覺印象的 測試信號的比較； 第五圖A示出了相位聲碼器的濾波器組實現方式的 不意圖， 第五圖B示出了第五圖A中的濾波器的詳細圖示； 第五圖C示出了第五圖A的濾波器通道中的幅度信 號和頻率信號的操作的示意圖； 第六圖示出了相位聲碼器的變換實現方式的示意圖； 第七圖A示出了在帶寬擴展環境中編碼器侧的示意 圖；以及 第七圖B示出了在音頻信號的帶寬擴展環境中解碼 器侧的示意圖。 27 200939211 【主要元件符號說明】 音頻信號100 信號擴展器102 音頻時間信號103 擴展因數104 抽取器105 時間信號106 濾波器107 帶通信號108 畸變器109 音調校正109a 包絡調整109b 帶通信號110 組合器111 音頻信號112 音頻信號和參數200 相位聲碼器202a〜202c 抽取器205a〜205c 帶通濾波器207a〜207c 組合器209 延遲級211 瞬變檢測器250 模組260和270 組合器280 200939211 輸入500 帶通濾波器501 下游振盪器502 加法器503 濾波器510 混頻器551 加法器552 低通濾波器553 正交信號554 同相信號555 座標變換器556 輸出557 相位展開器558 相位/頻率轉換器559 輸出560 FFT處理器600 控制器602 IFFT處理器604 相位重新縮放器606 音頻信號700 濾波器702 音頻信號703 音頻編碼器704 音頻信號705 29 200939211 較高頻帶706 參數計算器707 參數708 格式器709 資料流程710 資料流程解釋器711 參數解碼器712 參數713 音頻解碼器714 輸出715 帶寬擴展720

Claims (1)

1. 200939211 七、申請專利範圍： 1. 一種用於音頻信號的帶寬擴展的設備，包括： 信號擴展器（102)，用於使用大於1的擴展因數產生 戶斤述音頻信號的、作為在時間上擴展的時間信號的版本· 抽取器（105)，用於使用與所述擴展因數相匹配的抽 . 取因數來對所述音頻信號的時間擴展的版本（103)進行 抽取； 濾波器（107、109)’用於從所抽取的音頻信號（1〇6) ❹ 中提取包含所述音頻信號（100)中未包含的頻率範圍的 崎變彳§號’或在彳§號擴展器（102)進行擴展之前從所述 |頻信號中提取彳§號’所述信號包含擴展和抽取之後的音 頻信號（106)中未包含的頻率範圍’其中所述時變信號 (108)被畸變為使得所述畸變信號（1〇8)、所抽取的音 擴信號或組合信號包括預定包絡，以及 組合器（111)，用於將畸變信號或未畸變信號與所述 耆頻信號（100)進行組合，以獲得帶寬擴展的音頻信號 φ (112)。 2.依據申請專利範圍第1項所述的設備，其中，所述 信號擴展器被實現為使用大於1的整數擴展因數， : 所述抽取器（105)被實現為使用等於擴展因數或擴 ·' 展因數的倒數的抽取因數；以及 所述濾波器（107)被實現為提取帶通信號，使得所 述帶通信號包括由所述信號擴展器和所述抽取器通過擴 展和抽取而重新產生的頻率範圍。 31 200939211 3·依據申請專利範圍第1項所述的設備，其中，所迷 信號擴展器（1〇2)被實現為對所述音頻信號（100)進行 擴展’使得所述音頻信號的音高不改變。 4·依據申請專利範圍第1項所述的設備，其中，所塊 信號擴展器（102)被實現為對所述音頻信號進行擴展， 使得所述音頻信號的持續時間增加，並使得擴展的音頻信-號的帶寬等於所述音頻信號的帶寬。 5. 依據申請專利範圍第1項所述的設備，其中，所述 信號擴展器（102)包括相位聲碼器（2〇2a、202b、202e)。 Ο 6. 依據申請專利範圍第5項所述的設備，其中，以濾 波器組或傅立葉變換器的實現方式來實現所述相位聲碼 器。 7. 依據申請專利範圍第1項所述的設備，其中，所述 信號擴展器（102)被實現為以2為因數來擴展信號，以 獲得第一擴展信號， 還存在另一信號擴展器（202b)，被實現為以3為因 數來擴展信號’以獲得第二擴展信號， 所述抽取器（105)被實現為以2為因數來對第一擴 展信號進行抽取， 還存在另一抽取器（205b)，被實現為以3為因數來 對第二擴展信號進行抽取， 所述濾波器（107)被實現為濾除第一抽取器輸出的 信號中新產生的頻帶，或在擴展之前執行濾波， 還存在第二帶通滤波器（2〇7b)，用於從第二抽取信 32 200939211 號中提取相對於第一抽取信號而言新的頻帶’或在擴展之 前執行濾波，以及 存在另一組合器（209)，用於將所提取的信號相加， 或將畸變後的所提取的信號相加。 8.依據申請專利範圍第7項所述的設備，其中，還存 在由另一相位聲碼器（202c)、下游抽取器（205c)和下 游帶通濾波器（207c)組成的另一組，這一組被設置為擴 展因數（k)，以產生向加法器（209)提供的另一帶通信 9.依據申請專利範圍第1項所述的設備，其中， 所述信號擴展器（102)被實現為輸出時間信號作為 採樣序列，所述採樣序列具有所述音頻信號（1〇〇)的完 整帶寬，以及 所述抽取器（105)被實現為獲得所述採樣序列作為 輸入信號’並對所述輸入信號進行抽取。 ❹ 10.依據申請專利範圍第1項所述的設備，其中，畸 變器（109)被實現為基於傳送的參數（173)來執行畸變。 11·依據申請專利範圍第1項所述的設備，還包括： 瞬變檢測器（250)，被實現為，當檢測到音頻信號中 : 的瞬變部分時’控制信號擴展器（102)或抽取器（ι〇5) 執行（260)用於產生較高頻譜部分的替代方式。 12.依據申請專利範圍第1項所述的設備，還包括： 音調/雜訊校正模組（l〇9a) ’被實現為對帶通信號或 畸變的帶通信號的音調或雜訊進行處理。 33 200939211 13.依據申請專利範圍第1項所述的設備’其中，所 述信號擴展器（102)包括多個濾波器通道’其中，每個 濾波器通道包括用於產生時變幅度信號（557)和時變頻 率信號（560)的濾波器和能夠由這些時變信號來控制的 振盪器（502) ’其中’每個濾波器通道包括用於詞·時變幅 度信號（A⑴）進行插值以獲得插值的時變幅度信號（A，⑴）’ 的插值器，或包括用於使用擴展因數（104)對頻率信號' 進行插值以獲得插值的頻率信號的插值器’以及 每個濾波器通道的振盪器（502)被實現為由插值的◎ 幅度信號或由插值的頻率信號來控制。 14. 依據申請專利範圍第1項所述的設備’其中’所 述信號擴展器（102)包括： FFT處理器（600)，用於產生所述音頻信號的時間採 樣交疊塊的連續頻譜，其中，所述交疊塊以第一時間距離 (a)彼此分隔； IFF T處理器，用於將連續頻譜從頻率範圍變換至時間❹ 範圍，以產生以第二時間距離（b)彼此分隔的時間採樣 交疊塊’所述第二時間距離（b)大於所述第一時間距離 (a);以及 相位重新縮放器（606)，用於根據所述第一時間距離 (a)與所述第二時間距離（b)的比值，對所產生的FFT 頻譜序列的頻譜值的相位進行重新縮放。 15. —種用於音頻信號的帶寬擴展的方法，包括： 使用大於1的擴展因數產生（1〇2)所述音頻信號的、 34 200939211 作為在時間上擴展的時間信號的版本； 使用與所述擴展因數相匹配的抽取因數來對所述音 頻信號的時間擴展的版本（103)進行抽取（1〇5); 從所抽取的音頻信號（106)中提取（1〇7、109)包 含所述音頻信號（1〇〇)中未包含的頻率範圍的時變信號， 或進行擴展（102)之前，從所述音頻信號中提取信號’ 所述信號包含擴展和抽取之後的音頻信號（1〇6)中未包 含的頻率範圍’其中，所述畸變信號被畸變為使得所提取 的信號（108)、所抽取的音頻信號或組合信號包括預定包 絡，以及 /將畸變^號或未畸變信號與所述音頻信號（1〇〇)進 订組° (111)’賴得帶寬擴展的音雜號（112)。 16·種具有程料的電腦料，冑所述電腦程式在 ^執行時’所述程式碼用於執行根據㈣專 15項所述的方法。

   35