TWI772929B - 分析濾波器組 及其運算程序、音訊移頻系統 及音訊移頻程序 - Google Patents
分析濾波器組 及其運算程序、音訊移頻系統 及音訊移頻程序 Download PDFInfo
- Publication number
- TWI772929B TWI772929B TW109136458A TW109136458A TWI772929B TW I772929 B TWI772929 B TW I772929B TW 109136458 A TW109136458 A TW 109136458A TW 109136458 A TW109136458 A TW 109136458A TW I772929 B TWI772929 B TW I772929B
- Authority
- TW
- Taiwan
- Prior art keywords
- sub
- band
- signals
- frequency
- subband
- Prior art date
Links
Images
Landscapes
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Stereophonic System (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
一種相應多個子帶之分析濾波器組,其包括:中心頻率相異之多個子濾波器,其分別將一輸入音訊作一複數型一階無限衝激響應之濾波運算以產生多個子濾波信號;一第一組二項式組合器,其每一者將至少二子濾波信號以一第一組二項式權重作一加權和運算以產生多個子帶信號之一子帶信號,其中該至少二子濾波信號由該等子濾波器之至少二中心頻率相鄰之子濾波器產生;一第二組二項式組合器,其每一者將至少二子濾波信號以一第二組二項式權重作一加權和運算以產生多個子帶低側信號之一子帶低側信號或多個子帶高側信號之一子帶高側信號,其中該至少二子濾波信號由該等子濾波器之至少二中心頻率相鄰之子濾波器產生;以及多個包絡檢測與抽取器,其分別對該等子帶信號、該等子帶低側信號、與該等子帶高側信號作一包絡檢測與抽取運算以產生多個細頻譜。
Description
本發明有關於音訊信號處理與移頻處理領域,特別有關於一種分析濾波器組及其運算程序、基於該分析濾波器組及其運算程序之音訊移頻處理系統及音訊移頻程序。
移頻(frequency shifting)處理是常見的一種音效處理,其將一輸入音訊的各頻率成份依相應之指定量移頻以滿足特定的應用目標,例如對語音/樂音之移調(key shifting or pitch shifting)處理,又或為增加語音可聽度(audibility)或可懂度(intelligibility)而對音訊之部份或全頻段的降頻(frequency lowering)處理。移頻處理的概念可用圖1典型之輸入-輸出頻率特性曲線解釋(以下簡稱為移頻特性;圖中為該輸入音訊取樣頻率f SAM 的一半,其為該數位音訊之最高頻率,又稱為Nyquist頻率)。若移頻系統將該輸入音訊中各頻率成份隨該成份頻率高低等比例移頻以產生輸出音訊,則該系統具有一線性移頻特性,常見的語音/樂音之移調或語音變聲皆屬於此類。
若移頻系統將該輸入音訊中各頻率成份隨該成份頻率以非等比例移頻以產生輸出音訊,則該系統具有一非線性移頻特性。此設計廣見於助聽器(hearing aids)或輔聽裝置(hearing assistive devices),其因多數聽障者有高頻聽損問題,實施非線性移頻可維持語音音調不變並有助於其中部份聽障者感知高頻語音資訊。但非線性移頻若破壞諧波倍率關係,則不適用在樂音處理。另外,若考量支援不同類型之應用,該移頻特性的設定應該擁有更多彈性,例如可設定為多對一特性(即非單調特性,也適合聽覺頻率範圍縮減的狀況),一對多特性(由一頻率成份的多個複製品移頻至多個相異頻率),甚至視輸入音訊動態改變移頻特性,這些都可視為改變移頻特性的衍生設計。
目前有多種支援上述相異移頻特性的習知移頻算法/架構可以選擇,包括:於時域對音訊波形之部份頻段以一移頻量作頻率移轉(frequency transposition)(參照參考文獻1),調整音訊波形如同步疊加(synchronized overlap-add,or SOLA)法及其之各式變型並搭配再取樣(resampling)處理(參照參考文獻2),將音訊波形轉換成頻譜並採用如相位聲碼器(phase vocoders)及其之各式變型算法作處理(參照參考文獻3),以及於時域對音訊作濾波分頻(即作多個中心頻率相異之濾波處理以分離相異頻率之成份)以及移頻之轉子(Rollers)算法(參照參考文獻4)等。這些算法差異非常大,其適合搭配的信
號處理架構相異(時域處理或頻域處理),處理過程各自衍生多種不同型的人造音(artifacts),並且面對不同的應用限制,如適合在線(on-line)或離線(off-line)應用,適合處理單音型(monophonic)或多音型(polyphonic)之輸入音訊,頻率特性曲線之設計彈性(線性映成或其它非線性型態)...等,其運算量差異非常巨大。若要求必須能提供良好/自然的輸出音訊品質,儘量降低人造假音,同時具極低信號處理延時以應用於即時音訊處理系統,則其中以轉子算法之移頻處理最符合要求。該轉子移頻處理系統為基於濾波器組之設計。簡言之,一濾波器組由平行的多個濾波器構成。該等濾波器分別相應不同頻段,每一頻段稱為一子帶(sub-band)。因此,該等平行濾波器稱為子帶濾波器,濾波器組相應各子帶的輸出則稱為一子帶信號。
該轉子移頻處理可以用如圖2之一移頻處理架構作基本描述。一轉子音訊移頻系統200包括一龐大的無限衝激響應(infinite impulse response,or IIR)濾波器組201、多個平行的複數轉換與移頻器202、以及一加總運算203。該濾波器組201包括甚多子帶濾波器(文獻建議濾波器個數約在數百至上千之間),其中每一子帶濾波器在文獻中以一四階Butterworth型濾波器實施,其目的在於降低濾波分頻所需運算量。該IIR濾波器組201將一實數型之輸入音訊分別通過該等子帶濾波器以產生多個窄頻之實數型子帶信號(註1)。該等實數至
複數轉換器與移頻器202將該等實數型之子帶信號分別通過單邊帶轉換(single-side band modulation;其為Hilbert轉換之近似功能)以產生該等子帶信號之虛部,俾將該等子帶信號轉換成複數型態。其後依各子帶相應之指定移頻量(依該等子帶之中心頻率代入移頻特性決定之移頻量)進行該等複數型子帶信號之移頻運算,得到多個被移子帶信號。最後,該加總運算203將該等相應各子帶的被移子帶信號組合成一輸出音訊。因該輸出音訊為實數型態,組合該輸出音訊原則上只對該等被移子帶信號的實部進行。基於濾波器組的該轉子音訊移頻系統200適合實施基於取樣點(sample-based)的信號處理,其處理延時主要由該濾波器組各子帶濾波器的群延時(group delay)造成~通常明顯低於頻域信號處理所造成的延時(註2),因此較利於低處理延時的系統設計。另外,該架構之主體為大量平行的IIR濾波,單邊帶轉換,以及移頻運算。該等運算高度平行化(相應各子帶的運算彼此間無相依性),其適合以硬體實施或在多處理器平台執行。註1:若一濾波器組中各子帶濾波器的輸入音訊相同,則我們稱此濾波器組為一分析濾波器組。該IIR濾波器組201即為一分析濾波器組。註2:頻域信號處理為基於幀的運算(frame-based)。因其伴隨一時-頻轉換與其逆轉換運算,其信號處理整體之算法延時(假設運算時間
為零所得之處理延時,亦即理論上之最低處理延時)通常不低於一幀的時間長度。但為配合系統應用需求,其幀長又必須足夠長,使頻譜之頻率解析度滿足後級信號處理需求。因此該頻率解析度與延時之需求在即時音訊處理系統中是一個兩難問題。雖然有好的輸出音質與低延時特性,單純的高度平行化架構,但該轉子移頻算法架構中大量的多階濾波器運算及單邊帶轉換仍限制其在低功耗行動裝置,穿戴裝置上,及即時軟體的實用性(依文獻所述,其較適合以當下個人電腦之中央處理器作實時處理)。因此,尋求適用於移頻處理但低運算量的濾波器組設計是上述之時域濾波分頻與移頻類型之算法實施於低功耗穿戴裝置與行動裝置之即時應用,甚至以軟體施行的關鍵。
參考文獻
參考文獻1:Dillon, H. Hearing aids, Sydney. Australia: Boomerang Press, 2012.
參考文獻2:Dorran, David. "Audio time-scale modification." Dublin Institute of Technology Doctoral Thesis (2005).
參考文獻3:Laroche, Jean, and Mark Dolson. "New phase-vocoder techniques for pitch-shifting, harmonizing and other exotic effects." Proceedings of the 1999 IEEE Workshop on Applications of Signal Processing to Audio and Acoustics. WASPAA'99 (Cat. No. 99TH8452). IEEE, 1999.
參考文獻4:Juillerat, Nicolas, Simon Schubiger-Banz, and Stefan Muller Arisona. "Low latency audio pitch shifting in the time domain." 2008 International Conference on Audio, Language and Image Processing.
IEEE, 2008.
參考文獻5:Dutoit, Thierry, and Ferran Marques. Applied Signal Processing: A MATLABTM-based proof of concept. Springer Science & Business Media, 2010.
鑑於前述之該等移頻系統設計的關鍵問題,本發明之目的在於提供二即時音訊移頻系統與相應之二即時音訊移頻程序,以及該等移頻系統及移頻程序所搭配之一分析濾波器組與一濾波器組運算程序。該二移頻系統與相應之二即時音訊移頻程序分別以該分析濾波器組或該濾波器組運算程序產生之一細頻譜(fine spectrum)動態估計各子帶信號相應之移頻量,在維持音質的前提下降低系統整體之運算量,因此適合於即時音訊處理軟體實作或極低功率裝置之系統實作。
本發明之第一態樣提供一種相應多個子帶之分析濾波器組,其包括:中心頻率相異之多個子濾波器,其分別將一輸入音訊作一複數型一階無限衝激響應之濾波運算以產生多個子濾波信號;一第一組二項式組合器,其每一者將至少二子濾波信號以一第一組二項式權重作一加權和運算以產生多個子帶信號之一子帶信號,其中該至少二子濾波信號由該等子濾波器之至少二中心頻率相鄰之子濾波器產生;
一第二組二項式組合器,其每一者將至少二子濾波信號以一第二組二項式權重作一加權和運算以產生多個子帶低側信號之一子帶低側信號或多個子帶高側信號之一子帶高側信號,其中該至少二子濾波信號由該等子濾波器之至少二中心頻率相鄰之子濾波器產生;以及多個包絡檢測與抽取器,其分別對該等子帶信號、該等子帶低側信號、與該等子帶高側信號作一包絡檢測與抽取運算以產生多個細頻譜。
本發明之第二態樣提供一種音訊移頻系統,其包括:
如第一態樣之一分析濾波器組,其將一輸入音訊作濾波分頻與包絡檢測以產生多個子帶訊號以及一細輸入頻譜;
一個移頻控制器,其依據該細輸入頻譜分別估計該等子帶信號頻率,並依該等子帶信號頻率決定相應多個被移子帶信號之多組移頻參數;
多個移頻加權器,其每一者依據該多組移頻參數之一組移頻參數,將該組移頻參數之一子帶編號相應之一子帶信號以該組移頻參數之一移頻量作一移頻運算,並以該組移頻參數之一被移子帶權重作一加權運算以產生多個被移子帶信號之一被移子帶信號;以及
一子帶組合器,其將該等被移子帶信號依移頻量為零或非零分別加總以產生一零移頻子帶和信號與一非零移頻子帶和信號,並將該零移頻子帶和信號經過一線性濾波運算再與該非零移頻子帶和信號相加
以產生一輸出音訊,或者將該等被移子帶信號直接加總以產生一輸出音訊。
本發明之第三態樣提供一種音訊移頻系統,其包括:
一個成幀與時-頻轉換器,其將一輸入音訊依時間劃分等長且等間距之多個音訊幀,並將其每一音訊幀作一時-頻轉換運算以產生多個帶信號;
多個如第一態樣之分析濾波器組,其分別將該等帶信號作濾波分頻與包絡檢測以產生多個子帶信號與一細輸入頻譜;
一個移頻控制器,其依據該細輸入頻譜分別估計該等子帶信號相應之多個子帶信號頻率,並依該等子帶信號頻率決定相應多個被移子帶信號之多組移頻參數,其每一組移頻參數包括一子帶編號、一移頻量、一被移子帶權重、以及一被移帶編號;
多個移頻加權器,其每一者依據該多組移頻參數之一組移頻參數,將該組移頻參數之一子帶編號相應之一子帶信號以該組移頻參數之一移頻量作一移頻運算,並以該組移頻參數之一被移子帶權重作一加權運算以產生多個被移子帶信號之一被移子帶信號;
多個子帶組合器,其每一者將該等相應同一被移帶編號之被移子帶信號依相應移頻量為零或非零分別加總以產生一零移頻子帶和信號與一非零移頻子帶和信號,並將該零移頻子帶和信號經過一線性濾波
運算再與該非零移頻子帶和信號相加以產生該等被修改帶信號之一被修改帶信號,或者將該等相應同一被移帶編號之被移子帶信號直接加總以產生該等被修改帶信號之一被修改帶信號;以及
一個頻-時轉換器,其以該等被修改帶信號之複數共軛值作為頻譜對稱側之多個被修改帶信號,並提取每一時間之該等被修改帶信號作一頻-時轉換運算以產生一輸出音訊。
本發明之第四態樣提供一種相應多個子帶之濾波器組運算程序,其包括下列步驟:
將一輸入音訊之至少一取樣點進行中心頻率相異之多個複數型一階無限衝激響應濾波運算以得到多個子濾波信號,其每一者包含至少一取樣點;
從該等子濾波信號中選擇相應該等子帶之多個子集,其每一者包含相同個數、由中心頻率相鄰之至少二濾波運算得到之至少二子濾波信號,將該等子集之每一子集相應同一時間之至少二子濾波信號取樣點以一第一組二項式權重進行一加權和運算以得到多個子帶信號之一子帶信號,其包含至少一取樣點;
從該等子濾波信號中選擇相應該等子帶低頻側以及相應該等子帶高頻側之多個子集,其每一者包含相同個數、由中心頻率相鄰之至少二濾波運算得到之至少二子濾波信號,將該等子集之每一子集相應同
一時間之至少二子濾波信號取樣點以一第二組二項式權重進行一加權和運算以得到多個子帶低側信號之一子帶低側信號或多個子帶高側信號之一子帶高側信號,該等子帶低側信號及該等子帶高側信號之每一者包含至少一取樣點;以及
對該等子帶信號、該等子帶低側信號、與該等子帶高側信號進行一包絡檢測及抽取運算以得到至少一細頻譜。
本發明之第五態樣提供一種音訊移頻程序,其包括下列步驟:
對一輸入音訊之至少一取樣點執行如第四態樣之一濾波器組運算程序以得到多個子帶信號以及至少一細輸入頻譜,該等子帶信號之每一者包括至少一取樣點;
分別依據該至少一細輸入頻譜之每一者估計該等子帶信號相應之多個子帶信號頻率,並依該等子帶信號頻率決定相應多個被移子帶信號之多組移頻參數;
依據該多組移頻參數之每一組移頻參數,將該組移頻參數之該子帶編號相應之一子帶信號以該組移頻參數之該移頻量作一移頻運算,並以該組移頻參數之該被移子帶權重作一加權運算以產生多個被移子帶信號之一被移子帶信號,其包含至少一取樣點;以及
將該等被移子帶信號依移頻量為零或非零分別加總以產生一零移頻子帶和信號與一非零移頻子帶和信號,並將該零移頻子帶和信號經過一線性濾波運算再與該非零移頻子帶和信號相加以產生一輸出音訊之至少一取樣點,或者將該等被移子帶信號直接加總以產生一輸出音訊之至少一取樣點。
本發明之第六態樣提供一種提供一種音訊移頻程序,其包括下列步驟:
對一輸入音訊之至少一幀分別進行一時-頻轉換運算以得到多個帶信號,其每一者包括至少一頻譜取樣點;
對該等帶信號分別執行如第四態樣之一濾波器組運算程序以得到多個子帶信號以及多個帶頻譜,並將該等帶頻譜相應同一時間之多個帶頻譜排列成為至少一細輸入頻譜之一細輸入頻譜,該等子帶信號之每一者包括至少一取樣點;
分別依據該至少一細輸入頻譜之每一者估計該等子帶信號相應之多個子帶信號頻率,並依該等子帶信號頻率決定相應多個被移子帶信號之多組移頻參數;
分別依據該多組移頻參數之每一組移頻參數,將該組移頻參數之該子帶編號相應之一子帶信號以該組移頻參數之該移頻量作一移頻運算,並以該組移頻參數之該被移子帶權重作一加權運算以產生多個被
移子帶信號之一被移子帶信號,其包含至少一取樣點;
將相應每一被移帶編號之該等被移子帶信號依移頻量為零或非零分別加總以產生一零移頻子帶和信號與一非零移頻子帶和信號,並將該零移頻子帶和信號經過一線性濾波運算再與該非零移頻子帶和信號相加以產生該等被修改帶信號之一被修改帶信號,其包括至少一取樣點,或者將相應每一被移帶編號之該等被移子帶信號加總以產生該等被修改帶信號之一被修改帶信號,其包括至少一取樣點;以及
對該等被修改帶信號相應同一時間之多個取樣點進行一頻-時轉換運算,以產生一輸出信號之多個取樣點。
200:轉子音訊移頻系統
201:龐大的IIR濾波器組
202:多個平行的複數轉換與移頻器
203:加總運算
300:分析濾波器組
301:多個平行的一階IIR子濾波器
302:第一組M階二項式組合器
303:第二組二項式組合器
304:多個平行的包絡檢測與抽取器
500:音訊移頻系統
501:移頻控制器
502:多個移頻加權器
503:子帶組合器
1000:混合式音訊移頻系統
1001:成幀與時-頻轉換器
1002:多個分析濾波器組
1003:移頻控制器
1004:多個移頻加權器
1005:多個子帶組合器
1006:頻-時轉換器
〔圖1〕係習知之一典型之靜態輸入-輸出頻率特性曲線。
〔圖2〕係習知之基於濾波器組的一轉子移頻處理方塊圖。
〔圖3〕係本發明之一分析濾波器組方塊圖。
〔圖4〕係本發明之一濾波器組運算程序之流程圖。
〔圖5〕係本發明之第一實施例之音訊移頻系統方塊圖。
〔圖6〕係本發明之採一階二項式組合器之等寬子帶之分析濾波器組之響應圖。
〔圖7〕係本發明之採二階二項式組合器之分析濾波器組之響應圖。
〔圖8〕係本發明之補償頻率響應波動後之分析濾波器組響應圖(採二階二項式組合器)。
〔圖9〕係本發明之第二實施例之音訊移頻程序之流程圖。
〔圖10〕係本發明之第三實施例之混合式音訊移頻系統方塊圖。
〔圖11〕係本發明之第四實施例之混合式音訊移頻程序之流程圖。
為使熟習本發明所屬技術領域之一般技藝者能更進一步了解本發明,下文特列舉本發明之較佳實施例,並配合所附圖式,詳細說明本發明的構成內容及所欲達成之功效。
圖3為本發明之一分析濾波器組之方塊圖。本發明之四實施例皆包括該分析濾波器組或與其功能等效之運算程序。該分析濾波器組300相應S個子帶,其依其中心頻率由低至高編號。該分析濾波器組300包括多個平行的一階IIR子濾波器301、一第一組平行之基於一組M階二項式權重的組合器(以下稱為M階二項式組合器;M 1)302、一第二組平行之基於一組階二項式權重的組合器(以下稱為階二項式組合器;1)303、以及多個平行之包絡檢測與抽取器(envelope detection and decimation devices)304。該第一組M階二項式組合器302合併該等一階IIR子濾波器301輸出信號(以下簡稱為子濾波信號)以產生多個子帶信號。該等子帶信號可等效於將一
分析濾波器組的輸入音訊通過多個獨立濾波器後所得信號,以下稱其為子帶等效濾波器。
該等平行的一階IIR子濾波器301具相同輸入音訊但相異中心頻率,且依其中心頻率由低至高編號。該等IIR子濾波器分別將一輸入音訊作一複數型一階無限衝激響應之濾波運算以產生多個子濾波信號。該運算如以下表示:y IIR,k [n]=b k .x[n]-a k .y IIR,k [n-1] (1)其中k為IIR子濾波器的編號,n為取樣時間足標,x為該輸入音訊,y IIR,k 為編號k子濾波信號。a k ,b k 分別為編號k IIR子濾波器之一複數型的反饋係數(feedback coefficient)與一實數型的前饋係數(feedforward coefficient),其設定可表示為:
該第一組M階(M 1)二項式組合器302之每一者將該等子濾波信號之M+1個子濾波信號以該組M階二項式權重作一加權和運算以產生該等子帶信號之一子帶信號,其中該M+1個子濾波信號由該等IIR子濾波器301之M+1個中心頻率相鄰(即編號連續)之IIR子濾波器產生。該組M階二項式權重的編號m權重,即為(1-x) M 展開成多項式的第m次項係數:
k s =(M-P+1).(s-1)+1 (6)該第一組M階二項式組合器302共需要(M-P+1).S+P個IIR子濾波器。
採用高階二項式組合器得到該等子帶信號,其作用在於強化該等子帶等效濾波器之頻率響應的止帶衰減量與過渡帶衰減斜率。一階IIR子濾波器響應之止帶衰減量約在20至30dB間。經二項式權重之加權組合,相應一子帶的子帶等效濾波器頻率響應的止帶衰減量與過渡帶衰減斜率均可隨該提高該二項式階數M得到倍數提升。惟其代價是該子帶等效濾波器的頻率響應的群延時也明顯得到倍數提升,故需與系統應用合併考量/取捨。
該第二組階(1)二項式組合器303之每一者將該等子濾波信號之+1個子濾波信號以該組階二項式權重作一加權和運算以產生多個子帶低側信號(lower sub-band-edge signals)之一子帶低側信號或多個子帶高側信號(higher sub-band-edge signals)之一子帶高側信號,其中該+1個子濾波信號由該等IIR子濾波器301之+1個中心頻率相鄰(即編號連續)之IIR子濾波器產生。該組階二項式權重可將代入公式(4)中之M得到。該第二組階二項式組合器303的運算可表示為:
又,該二編號偏移δ LE ,δ UE 之設定需滿足:
一般狀況下,該第二組階二項式組合器303(產生該等
子帶低側信號及該等子帶高側信號)的組合器個數是該第一組M階二項式組合器302(產生該等子帶信號)的組合器個數的兩倍。但若令上述與δ LE 之設定滿足:
該等平行之包絡檢測與抽取器304對該等子帶信號、該等子帶低側信號、與該等子帶高側信號作包絡檢測與抽取運算以產生多個細頻譜(抽取運算即為整數倍降頻採樣,該輸入音訊取樣頻率與該細頻譜幀率之比值則稱為一抽取倍率)。一般而言,一信號之包絡可由檢測該信號之振幅、功率、或功率位準等相關資訊並將其檢測結果通過時域或頻域之平滑處理產生。該等包絡檢測與抽取器304以檢測振幅包絡為例,其將該等子帶信號之振幅值、該等子帶低側信號之振幅值、與該等子帶高側信號之振幅值通過一漏積分(leaky integration)以產生多個信號包絡,並以大於一之抽取倍率抽取該等信號包絡以組成較低更新速率之該等細頻譜。該包絡檢測運算可表示為:
除以一實體裝置實施外,該分析濾波器組之功能亦可用執行於至少一處理器之一等效程序實施。圖4為本發明之一濾波器組運算程序之流程圖。該濾波器組運算程序相應多個子帶。以下在說明該濾波器組運算程序之流程步驟時參考公式(1)~(10)及其相應說明文字。該流程步驟著重在對於一連續輸入音訊之一片段的處理方法,此因在即時音訊處理應用中,各步驟均將信號作分段運算處理;後面步驟可採用前面步驟運算得到之一輸出信號片段作為輸入並隨即進行運算,無需等待前面步驟得到完整輸出信號。
在圖4中,將一輸入音訊之至少一取樣點進行中心頻率相異之多個複數型一階IIR濾波運算以得到多個子濾波信號(步驟S101)。參考段落[0015]之說明,該等複數型一階IIR濾波運算其每一濾波運算相應公式(1)~(3)運算。該等子濾波信號其每一子濾波信號包括之至少一取樣點。
從該等子濾波信號中選擇相應該等子帶之多個子集,其每一者包含相同個數、由中心頻率相鄰之至少二濾波運算得到之至少二子濾波信號,將該等子集之每一子集相應同一時間之至少二子濾波信號取樣點以一第一組二項式權重進行一加權和運算以得到多個子帶信號之一子帶信號(步驟S102)。參考段落[0016][0017]之說明,基於該第一組二項式權重之該加權和運算相應公式(5)之運算。該等子帶信號之每一者包括之至少一取樣點。
從該等子濾波信號中選擇相應該等子帶低頻側以及相應該等子帶高頻側之多個子集,其每一者包含相同個數、由中心頻率相鄰之至少二濾波運算得到之至少二子濾波信號,將該等子集之每一子集相應同一時間之至少二子濾波信號取樣點以一第二組二項式權重進行一加權和運算以得到多個子帶低側信號之一子帶低側信號或多個子帶高側信號之一子帶高側信號(步驟S103)。參考段落[0018]~[0020]之說明,基於該第二組二項式權重之該加權和運算相應
公式(7)之運算。該等子帶低側信號以及該等子帶高側信號之每一者包括之至少一取樣點。
對該等子帶信號、該等子帶低側信號、與該等子帶高側信號進行一包絡檢測及抽取運算以得到至少一細頻譜(步驟S104),其每一者包括相應同一時間之該等子帶信號之包絡、該等子帶低側信號之包絡、與該等子帶高側信號之包絡。該包絡檢測及抽取運算可參考公式(10)及段落[0021]之說明。
圖5為本發明之第一實施例之音訊移頻系統之方塊圖。該音訊移頻系統500包括一個分析濾波器組300、一個移頻控制器501、多個平行的移頻加權器502、以及一個子帶組合器503。
該分析濾波器組300將一輸入音訊依該等子帶作濾波分頻與包絡檢測以產生多個子帶信號與一細輸入頻譜。該輸入音訊通常為一數位化之波形,其可能來自一個類比-數位轉換器輸出或來自一個音訊儲存裝置,或者再經降取樣器降低取樣頻率至僅保留聆聽者之可聽頻率範圍後輸入該音訊移頻系統500。降取樣除避免運算浪費在處理聽者感知不到的高頻聲,也可避免聽者感知不到的高頻聲的波形佔用有限的數值運算動態範圍。
該移頻控制器501依據該細輸入頻譜決定該等子帶信號於相應時間之多個移頻量以及多個被移子帶權重。更明確的說,該移
頻控制器501依據該細輸入頻譜分別估計該等子帶信號頻率。其中編號s子帶信號頻率估計可表示為:
頻譜成份之頻率估計除可採用上述公式外,還可採用其它方式。例如參照參考文獻3中提到基於二階多項式擬合(polynomial fitting,又稱多項式回歸polynomial regression)方法,其使用一個分音(partial)於頻譜上的三個連續取樣點求出其間位準最高處之相應頻率,以作為該分音之頻率估計值。該分音即音訊之一窄頻成份,其相應包含域峰值之一頻譜區段。
然後,該移頻控制器501將該等子帶信號頻率估計值分別代入一移頻特性。該移頻特性允許一對多映射,亦即指定每一子帶信號頻率映射至至少一個被移子帶信號之一移頻量(即該被移子帶信號與相應之子帶信號之中心頻率差距)以及一被移子帶權重(即該被移子帶信號與相應子帶信號之信號強度差距)。S個子帶信號經移頻處理後,總共產生個被移子帶信號( S)。其中編號s子帶信號經移頻產生編號+1至被移子帶信號(,且)。因此整體而言,該移頻控制器501依該S個子帶信號頻率估計值決定相應個被移子帶信號之組移頻參數,其每一組移頻參數包括一子帶編號、一移頻量、以及一被移子帶權重。
實務上,若該移頻特性之移頻量在部份子帶之頻率範圍內固定為零(此為一非線性移頻特性的常見特徵),則該等子帶無需估計子帶信號頻率,亦無需計算相應之子帶低側信號、子帶高側信號、以及其包絡。
該等移頻加權器502之每一者依據該多組移頻參數之一組移頻參數,將該組移頻參數之該子帶編號相應之一子帶信號以該組移頻參數之該移頻量作一移頻運算,並以該組移頻參數之該被移子帶權重作一加權運算以產生多個被移子帶信號之一被移子帶信號。該移頻運算與該加權運算可表示為:
對於移頻量為零之該等被移子帶信號,θ v 設定可改變系統輸出之總響應。本發明建議不論相應之子帶相應之移頻量為何,θ v 一律由其相應之一子帶中心頻率決定。例如本發明之實施例之該等子帶依中心頻率由低至高編號,因此將θ v 設為一正比於子帶編號s的數值,其中s為與編號v被移子帶信號相應之該子帶信號編號。在以下揭示的範例中θ v 均被設為-s.π/2。
該子帶組合器503視相應之該等移頻子帶之組態作運算。
若該等被移子帶信號頻寬相等,則該子帶組合器503將該等被移子帶信號依移頻量為零或移頻量非零分別加總以產生一零移頻子帶和信號與一非零移頻子帶和信號。該零移頻子帶和信號經過一線性濾波運算再與該非零移頻子帶和信號相加以產生一輸出音訊:
因於子帶等寬時該分析濾波器組300之該等子帶等效濾波器響應(包含增益與群延時響應)在通帶附近的形狀高度相似,該分析濾波器組300總響應的增益與群延時也呈現週期波動,該線性失真可用公式(14)之濾波運算消除大部份。其中參數C CMP 的調整目標在
於降低該總響應波動(僅對移頻量為零之該等子帶信號有作用)。
若該等被移子帶頻寬不相等,或大部份(或全部)移頻量均非零,則該分析濾波器組300總響應不能以該濾波運算補償。該子帶組合器503改成將該等被移子帶信號全部加總以產生一輸出音訊:
圖6之響應圖相應於一等寬子帶之分析濾波器組設計範例,其中實線為子帶等效濾波器響應,虛線為子帶低側信號或子帶高側信號相應之等效濾波器響應,點線為該分析濾波器組的總響應(即移頻量為零前提下合併該等子帶等效濾波器輸出所得之頻率響應。實務上一般非線性移頻特性之低頻移頻量為零,總響應對該系統之低頻表現有參考價值)。該設計範例之輸入音訊的取樣頻率是12kHz,從零頻(DC)至Nyquist頻率切分18個子帶,故每個子帶頻寬為333Hz。該分析濾波器組300之組合器組態為M=1且。如此該分析濾波器組300需21個一階IIR子濾波器,每一子帶信號由二個子濾波信號組成,且該二同頻寬且同中心頻率之IIR子濾波器的中心頻率位於該子帶與相鄰二子帶交界。又每一子帶低側信號或子帶高側信號由三個子濾波信號組成,其中編號s子帶高側信號同於編號s+1子帶低
側信號。
圖7之響應圖相應於一採用二階二項式組合器的等寬子帶分析濾波器組設計範例,其輸入音訊的取樣頻率與該分析濾波器組子帶個數/子帶頻寬都與上例相等。該分析濾波器組300之組合器組態為。如此該分析濾波器組300需39個一階IIR子濾波器,每一子帶信號由三個子濾波信號組成,其中二IIR子濾波器中心頻率位於該子帶與相鄰二子帶交界,另一IIR子濾波器中心頻率位於該子帶中心。又每一子帶低側信號或子帶高側信號由三個子濾波信號組成,且編號s子帶高側信號同於編號s+1子帶低側信號。為使圖示清晰,該二範例採較少子帶之濾波器組設定。從該二範例圖示可見,採二階二項式組合器的分析濾波器組之該等子帶等效濾波器,其增益響應過渡帶較採一階二項式組合器的分析濾波器組的響應過渡帶範圍更窄,止帶衰減更強。但得到該較佳響應特性的代價是複數乘法數量提升約兩倍,濾波器群延時也提升約兩倍。
圖8範例顯示一經補償頻率響應波動之音訊系統輸出之總響應,其中實線為多個子帶等效濾波器響應,虛線為該分析濾波器組的總響應。該音訊系統採用圖7範例相應之分析濾波器組,並假設各移頻量均為零。可見通過該簡單濾波運算補償,該音訊系統輸出總響應較圖7之該音訊系統輸出總響應更為平坦。
第一實施例之移頻系統與前述轉子算法差異在於:
- 移頻量的決定方式不同:轉子算法基於各子帶中心頻率決定各子帶信號之相應移頻量。此方式的問題在於:該輸入音訊之任一頻率成份將出現在中心頻率相鄰之多個子帶濾波器的輸出信號,並分別被付予相異的移頻量。隨後在合併該等被移頻之子帶信號時將產生明顯可被注意的低頻干涉,或稱為拍頻(beat)。因應此干涉轉子算法對策是:大量增加子帶個數以縮小子帶頻寬,降低拍頻之頻率,並縮減相鄰子帶濾波器的頻率響應重疊度以降低干涉成份之強度。但縮小子帶頻寬將提高濾波器組運算量,並增加各子帶濾波器群延時。縮減相鄰子帶濾波器的頻率響應重疊度則使系統對部份頻率之音訊產生明顯衰減,且需要提高子帶濾波器的階數(同樣提高運算量並增加處理延時),故上述對策非一般系統設計之優先選項。相對的,該音訊移頻系統500依據細輸入頻譜動態決定各子帶信號之相應移頻量。因相鄰二子帶估計子帶交界之信號頻率得到結果接近相等,其降低移頻信號相加後產生干涉的機率,也避免縮小子帶頻寬或縮減相鄰子帶濾波器的頻率響應重疊度帶來其它問題。該第一實施例之設計上另一獨特處是搭配的分析濾波器組具高度共用IIR子濾波器之架構,其大幅降低了提供子帶高側/低側信號所衍生的運算量。
- 複數型子帶信號的產生方式不同:在轉子算法中,因該濾波器組為實數型態,其輸出之每一子帶信號均需以一Hilbert轉換或其近似運算產生複數型信號以供該移頻運算。另外,實數型濾波器組實作上會面臨數值運算精確度問題,即隨濾波器截止頻率越接近DC或Nyquist頻率其運算精確度需求越高,以位數較低之定點(fixed-point)運算實行該濾波器組易產生明顯失真。相對的,該音訊移頻系統500之該分析濾波器組300以複數型濾波器產生複數型子帶信號,故該移頻加權器502無需實施Hilbert轉換或其近似運算,也不會面臨該數值運算精確度問題。
- 濾波器組設計不同:在轉子算法中該濾波器組之各子帶濾波器採用習知之實數四階Butterworth型濾波器,其增益響應具有平坦的通帶及快速滾降(roll-off)之過渡帶。相對的,該音訊移頻系統500採用針對音訊移頻系統設計的該分析濾波器組,其以平行IIR子濾波器合併大量共用該等子濾波信號之策略降低運算量需求。例如採用如轉子算法所中之實數四階Butterworth型子帶濾波器加上實複數轉換之全通濾波器,相對於每一音訊輸出取樣點,每一子帶平均需13個實數乘法。相對的,該音訊移頻系統500若採用前述一階或二階二項式權重之分析濾波器組設計,每一子帶平均需1或2個複數型乘法(每個複數型乘法相當於4個實數乘法)。另外
在相等子帶頻寬設定下,不論採用一階或二階二項式權重之分析濾波器組設計,其總響應之群延時相較四階Butterworth型子帶濾波器之群延時均更低。
- 支援移頻特性的彈性不同:轉子算法僅描述一對一之頻率映射,且該等子帶信號在被移頻後僅作加總後輸出。相對的,該音訊移頻系統500支援一對多之頻率映射關係,且各子帶信號除被移頻之外還被加權以調整相對強弱關係。
實作該音訊移頻系統500時,應注意:
- 若該分析濾波器組300相應之該等子帶頻寬相等,該等IIR子濾波器301具相等頻寬且其濾波器中心頻率在頻率軸上等距分佈。如此b k 值皆相等,可移出濾波器公式(1)以減少該等IIR子濾波器301之運算量-例如該輸入音訊先乘上b k 再進入該分析濾波器組300。
- 該分析濾波器組300可調整為相應非等寬子帶的組態,前述濾波器組設計公式(1)~(10)於此組態下仍適用。
除以一實體裝置實施外,該音訊移頻系統500之功能亦可用執行於至少一處理器之一等效程序實施。圖9為本發明之第二實施例之音訊移頻程序之流程圖。因在即時音訊處理應用需儘量縮短處理延時,該流程步驟將一連續輸入音訊作重覆之分段處理;前面步驟得到之一輸出信號片段隨即供後面步驟進行運算,無需等待前面步驟得
到完整輸出信號。以下在說明該音訊移頻程序之流程步驟時參考公式(11)~(15)及其相應文字。
在圖9中,對一輸入音訊之至少一取樣點執行一濾波器組運算程序以得到多個子帶信號以及至少一細輸入頻譜(步驟S201)。該濾波器組運算程序參考段落[0022]~[0026]之說明。
對該至少一細輸入頻譜之每一細輸入頻譜執行一移頻控制程序以決定多個被移子帶信號相應之多組移頻參數(步驟S202)。該移頻控制程序依據一細輸入頻譜估計該等子帶信號相應之多個子帶信號頻率,並依該等子帶信號頻率決定相應多個被移子帶信號之多組移頻參數。更明確的說,針對每一子帶信號,將該細輸入頻譜相應之該子帶信號包絡、該子帶低側信號包絡、與該子帶高側信號包絡代入公式(11)以估計相應該等子帶信號之多個子帶信號頻率。接著,將該等子帶信號頻率估計值分別代入一移頻特性以決定相應多個被移子帶信號之多組移頻參數,其每一組移頻參數包括一子帶編號、一移頻量、以及一被移子帶權重。該移頻特性參考段落[0031]之說明。
將該等子帶信號依該多組移頻參數執行一移頻與加權程序以得到該等被移子帶信號(步驟S203)。參考公式(12)與段落[0033][0034]之說明,該移頻與加權程序依據該多組移頻參數之每一組移頻參數,將該組移頻參數之該子帶編號相應之一子帶信號以該組
移頻參數之該移頻量作一移頻運算,並以該組移頻參數之該被移子帶權重作一加權運算以產生多個被移子帶信號之一被移子帶信號,其包含至少一取樣點。該移頻與加權程序輸出之每一被移子帶信號之起始相位由相應之子帶中心頻率決定。
將該等被移子帶信號進行一子帶組合運算以得到一輸出音訊之至少一取樣點(步驟S204)。其後,回到步驟S200。參考段落[0035][0036]之說明,若該等被移子帶信號頻寬相等,則該子帶組合運算採用相應公式(13)(14)之運算,亦即將該等被移子帶信號依移頻量為零或非零分別加總以產生一零移頻子帶和信號與一非零移頻子帶和信號,並將該零移頻子帶和信號經過一線性濾波運算再與該非零移頻子帶和信號相加以產生一輸出音訊之至少一取樣點。若該等被移子帶信號頻寬不相等,或大部份(或全部)之該等被移子帶信號其移頻量均非零,則該子帶組合運算採用相應公式(15)之運算,亦即將該等被移子帶信號直接加總以產生一輸出音訊之至少一取樣點。
本發明第一實施例之音訊移頻系統以及第二實施例之音訊移頻程序均採用了很有效率的分析濾波器組以及相應之濾波器組運算程序,然而其運算量仍顯著高於實施頻域信號處理的音訊移頻系統。此因時-頻轉換運算如離散傅利葉轉換(discrete Fourier transform,or DFT),短時傅利葉轉換(short-time Fourier transform,or STFT)等
存在快速運算方式,使其效率遠高於一般基於濾波器組之分頻濾波運算。故基於濾波器組之該音訊移頻系統以及基於濾波器組運算程序之該音訊移頻程序仍有再改善空間。以下的音訊移頻系統實施例重新調整濾波器組配置方式,以略增加處理延時為代價,進一步降低運算需求。
圖10為本發明之第三實施例之混合式音訊移頻系統方塊圖。該混合式音訊移頻系統1000包括一個成幀與時-頻轉換器1001、多個平行的分析濾波器組1002、一個移頻控制器1003、多個平行的移頻加權器1004、多個子帶組合器1005、以及一個頻-時轉換器1006。
該成幀與時-頻轉換器1001將一輸入音訊依時間劃分成幀長為R個取樣點,幀間距為N個取樣點之多個音訊幀(N R/2),並將其每一音訊幀作一R點之時-頻轉換(例如短時傅利葉轉換,離散傅利葉轉換...等)以得多個頻譜之一頻譜。該R點之時-頻轉換相當於將全頻段(DC至該輸入音訊取樣頻率f SAM )切分為R個等寬頻帶並作一倍率N之抽取。該等頻譜相應同一頻帶(即相應同一頻率)之多個頻譜取樣點則成為多個帶信號之一帶信號,其取樣頻率降為f SAM /N。若採用一R點之短時傅利葉轉換,其可表示為:
該等分析濾波器組1002分別將編號0至R/2帶信號作濾波分頻與包絡檢測以產生S個子帶信號以及編號0至R/2帶頻譜,其運算方式可參考第一實施例之該分析濾波器組300運算公式。因本實施例中每一分析濾波器組輸入信號為一窄頻之帶信號,該等分析濾波器組產生之多個頻譜改稱作多個帶頻譜。相應同一時間之該等帶頻譜排列成為一向量,其稱為一細輸入頻譜。
該移頻控制器1003依據該細輸入頻譜分別估計該等子帶信號相應之多個子帶信號頻率,其中編號s子帶信號頻率估計可表示為:
隨後,該移頻控制器1003將該等子帶信號頻率估計值分別代入一移頻特性(允許一對多映射),其中編號s子帶信號通過移頻處理以產生編號+1至被移子帶信號。S個子帶信號通過移頻處理後,總共產生相應之個被移子帶信號(因此,+1,且)。整體而言,該移頻控制器1003依該S個子帶信號頻率估計值決定相應個被移子帶信號之組移頻參數,其每一組移頻參數包括一子帶編號、一移頻量、一被移子帶權重、以及一被移帶編號(shifted band number)。於以下公式中,該多組移頻參數時間足標與該等被移子帶信號之時間足標相同以簡化表示。
該移頻控制器1003決定之一組移頻參數較第一實施例之該移頻控制器501決定之一組移頻參數增加一被移帶編號,其原因在於該移頻加權器1004可移頻範圍隨子帶信號取樣頻率縮小N倍成為f SAM /N,各被修改帶信號之頻寬則縮小R倍成為f SAM /R。但移頻特性指定之移頻量可能遠超過上述限制。其解決方式是將該指定之移頻量分成一帶間移頻量與一帶內移頻量,其中該帶間移頻量為移頻後所屬頻帶之中心頻率與移頻前所屬頻帶之中心頻率之差距,該帶內移頻量
為該指定移頻量扣除該帶間移頻量,且該帶間移頻量設定須使該帶內移頻量之絕對值最低。又,該帶間移頻量僅為方便解釋,實際使用之等效信息為一子帶信號被移頻後所屬頻帶的編號,其稱為被移帶編號。該帶內移頻量則仍稱為一移頻量。
該等移頻加權器1004之每一者依據該多組移頻參數之一組移頻參數,將該組移頻參數之該子帶編號相應之一子帶信號以該組移頻參數之該移頻量作一移頻運算,並以該組移頻參數之該被移子帶權重作一加權運算以產生多個被移子帶信號之一被移子帶信號。該移頻運算與該加權運算可表示為:
該等子帶組合器1005將該等被移子帶信號分成相應同一被移帶編號之多個子集個別處理。若其一子集之該等被移子帶信號為相同頻寬,則將該等相應同一被移帶編號之被移子帶信號依相應移頻量為零或非零分別加總以產生一零移頻子帶和信號與一非零移頻子帶和信號。該零移頻子帶和信號經過一線性濾波運算再與該非零移頻子帶和信號相加以產生一被修改帶信號。如此,相應被移帶編號為g之
組合器運算表示為:
若無移頻量為零之被移子帶信號或移頻量為零之該等被移子帶信號其頻寬不相等,則該子帶組合器改成將相應之該等被移子帶信號直接加總以產生該被修改帶信號,該組合器運算可表示為:
該頻-時轉換器1006提取每一時間之該等被修改帶信號作一R點之頻-時轉換運算(其為該R點之時-頻轉換之一逆運算)以產生一輸出音訊。因音訊頻譜於Nyquist頻率兩側呈現共軛對稱,故以該等被修改帶信號之共軛複數作為頻譜對稱側之多個被修改帶信號:
該混合式音訊移頻系統1000藉由時-頻轉換降低各分析濾波器組之取樣頻率,如此在子帶總數與第一實施例之移頻系統之子帶總數相等之狀況下,該第三實施例之各子帶的運算量相較於該第一實施例之各子帶的運算量可大幅降低。然而此系統之信號處理延時為
該等分析濾波器組群延時加上該時-頻轉換/逆轉換的延時(其約為一幀的時間長度)。提升時-頻轉換之幀長與幀間距代價仍是提升延時,故該幀長選擇仍有賴設計者在系統層面對運算量與信號處理延時之取捨(需選擇恰當的幀長,使系統運算量降至接近以短時傅利葉轉換/逆轉換實施的移頻音訊系統架構,但改善信號處理延時至可接受程度)。舉例來說,若將取樣率為12kHz之輸入音訊,以將正頻譜切分為128子帶之第一實施例之音訊移頻系統而言,其算法延遲(10.7ms)約為具相似頻譜解析度之頻域音訊移頻系統之算法延遲(21.3ms)的一半,但其複數型乘法運算量則為該頻域音訊移頻系統運算量的將近二十倍。若採第三實施例之混合式音訊移頻系統,其算法延遲較第一實施例之音訊移頻系統高約1~3ms(視時-頻轉換之幀長而定),但其複數型乘法運算量則可壓至具相似頻譜解析度之頻域音訊移頻系統運算量的二至三倍左右。因此相當具有應用潛力。
除以一實體裝置實施外,該混合式音訊移頻系統之功能亦可用執行於至少一處理器之一等效程序實施。圖11為本發明之第四實施例之混合式音訊移頻程序之流程圖。以下在說明該混合式音訊移頻程序之流程步驟時參考公式(16)~(24)及其相應文字。該流程步驟著重在對於一連續輸入音訊之一片段的處理方法,此因在即時音訊處理應用中,各步驟均將信號作分段運算處理。
在圖11中,對一輸入音訊之至少一幀分別進行一時-頻轉換運算以得到相應多個頻帶之多個帶信號(步驟S301)。該時-頻轉換運算採用相應公式(16)之運算,其可參考段落[0050]之說明。該等帶信號之每一者包括相應同一頻帶之至少一頻譜取樣點。
對該等帶信號分別執行一濾波器組運算程序以得到多個子帶信號以及多個帶頻譜,並將該等帶頻譜相應同一時間之多個帶頻譜排列成為至少一細輸入頻譜之一細輸入頻譜(步驟S302)。該等濾波器組運算程序參考段落[0022]~[0026]與[0051]之說明。該等子帶信號之每一者包括至少一取樣點。
對該至少一細輸入頻譜之每一者執行一移頻控制程序以決定多個被移子帶信號相應之多組移頻參數(步驟S303)。該移頻控制程序依據一細輸入頻譜估計該等子帶信號相應之多個子帶信號頻率,並依該等子帶信號頻率決定相應多個被移子帶編號之多組移頻參數。更明確的說,針對每一子帶信號,將該細輸入頻譜中相應之該子帶信號包絡、該子帶低側信號包絡、與該子帶高側信號包絡代入公式(17)計算以得到該子帶信號相應之一子帶信號頻率估計。將該等子帶信號之多個子帶信號頻率估計分別代入一移頻特性以得到相應多個被移子帶信號之多組移頻參數,其每一組移頻參數包括一子帶編號、一移頻量、一被移子帶權重、以及一被移帶編號。該移頻特性參考段
落[0053]之說明。
將該等子帶信號依該多組移頻參數執行一移頻與加權程序以得到該等被移子帶信號(步驟S304)。參考公式(18)與段落[0055]之說明,該移頻與加權程序分別依據該多組移頻參數之每一組移頻參數,將該組移頻參數之該子帶編號相應之一子帶信號以該組移頻參數之該移頻量作一移頻運算,並以該組移頻參數之該被移子帶權重作一加權運算以產生多個被移子帶信號之一被移子帶信號,其包含至少一取樣點。該移頻與加權程序輸出之每一被移子帶信號之起始相位由相應之子帶中心頻率決定。
對該等被移子帶信號中相應同一被移帶編號者分別進行一子帶組合運算以得到多個被修改帶信號之一被修改帶信號(步驟S305)。參考段落[0056][0057]之說明,若同一被移帶編號之該等被移子帶信號頻寬相等,則該子帶組合運算採用相應公式(19)(20)之運算,亦即將相應每一被移帶編號之該等被移子帶信號依移頻量為零或非零分別加總以產生一零移頻子帶和信號與一非零移頻子帶和信號,並將該零移頻子帶和信號經過一線性濾波運算再與該非零移頻子帶和信號相加以產生該等被修改帶信號之一被修改帶信號,其包括至少一取樣點。若相應同一被移帶編號之該等被移子帶信號頻寬不相等,或大部份(或全部)之相應同一被移帶編號之該等被移子帶信號其移
頻量均非零,則該子帶組合運算採用相應公式(21)之運算,亦即將相應每一被移帶編號之該等被移子帶信號直接加總以產生該等被修改帶信號之一被修改帶信號,其包括至少一取樣點。
對該等被修改帶信號相應同一時間之多個取樣點進行一頻-時轉換運算,以產生一輸出信號之多個取樣點(步驟S306)。其後,回到步驟S300。該頻-時轉換運算採用相應公式(22)~(24)之運算,其可參考段落[0057][0058]之說明。
雖然本發明已參照較佳具體例及舉例性附圖敘述如上,惟其應不被視為係限制性者。熟悉本技藝者對其形態及具體例之內容做各種修改、省略及變化,均不離開本發明之請求項之所主張範圍。
300:分析濾波器組
301:多個一階無限衝激響應(IIR)子濾波器
302:第一組二項式組合器
303:第二組二項式組合器
304:多個包絡檢測與抽取器
Claims (19)
- 一種相應多個子帶之分析濾波器組,其包括:中心頻率相異之多個子濾波器,其分別將一輸入音訊作一複數型一階無限衝激響應之濾波運算以產生多個子濾波信號;一第一組二項式組合器,其每一者將至少二子濾波信號以一第一組二項式權重作一加權和運算以產生多個子帶信號之一子帶信號,其中該至少二子濾波信號由該等子濾波器之至少二中心頻率相鄰之子濾波器產生;一第二組二項式組合器,其每一者將至少二子濾波信號以一第二組二項式權重作一加權和運算以產生多個子帶低側信號之一子帶低側信號或多個子帶高側信號之一子帶高側信號,其中該至少二子濾波信號由該等子濾波器之至少二中心頻率相鄰之子濾波器產生;以及多個包絡檢測與抽取器,其分別對該等子帶信號、該等子帶低側信號、與該等子帶高側信號作一包絡檢測與抽取運算以產生多個細頻譜。
- 如請求項1之分析濾波器組,其中該第一組二項式組合器之相應兩頻率相鄰子帶之二組合器共用該等子濾波器輸出訊號之至少一子濾波器輸出訊號。
- 如請求項2之分析濾波器組,其中該第一組二項式組合器之相應該等子帶之一子帶之組合器與該第二組二項式組合器之相應該子帶之任一組合器共用該等子濾波器輸出訊號之至少一子濾波器輸出訊號。
- 如請求項3之分析濾波器組,其中該包絡檢測與抽取運算檢測該等子帶信號、該等子帶低側信號、與該等子帶高側信號之振幅包絡並以一倍率抽取該等振幅包絡,其產生之該等細頻譜之每一者包括相應同一時間之該等子帶信號之包絡、該等子帶低側信號之包絡、與該等子帶高側信號之包絡。
- 一種包括一個如請求項1之分析濾波器組之音訊移頻系統,其中該分析濾波器組將一輸入音訊作濾波分頻與包絡檢測以產生多個子帶訊號以及一細輸入頻譜,該音訊移頻系統還包括:一個移頻控制器,其依據該細輸入頻譜分別估計該等子帶信號頻率,並依該等子帶信號頻率決定相應多個被移子帶信號之多組移頻參數;多個移頻加權器,其每一者依據該多組移頻參數之一組移頻參數,將該組移頻參數之一子帶編號相應之一子帶信號以該組移頻參數之一移頻量作一移頻運算,並以該組移頻參數之一被移子帶權重作一加權運算以產生多個被移子帶信號之一被移子帶信號;以 及一子帶組合器,其將該等被移子帶信號依移頻量為零或非零分別加總以產生一零移頻子帶和信號與一非零移頻子帶和信號,並將該零移頻子帶和信號經過一線性濾波運算再與該非零移頻子帶和信號相加以產生一輸出音訊,或者將該等被移子帶信號直接加總以產生一輸出音訊。
- 如請求項5之音訊移頻系統,其中每一子帶信號相應至少一被移子帶信號。
- 如請求項6之音訊移頻系統,其中該移頻加權器輸出之每一被移子帶信號之起始相位由相應之子帶中心頻率決定。
- 一種包括多個如請求項1之分析濾波器組之音訊移頻系統,其中該等分析濾波器組分別將多個帶信號作濾波分頻與包絡檢測以產生多個子帶信號與一細輸入頻譜,該音訊移頻系統還包括:一個成幀與時-頻轉換器,其將一輸入音訊依時間劃分等長且等間距之多個音訊幀,並將其每一音訊幀作一時-頻轉換運算以產生該等帶信號;一個移頻控制器,其依據該細輸入頻譜分別估計該等子帶信號相應之多個子帶信號頻率,並依該等子帶信號頻率決定相應多個被移子帶信號之多組移頻參數;多個移頻加權器,其每一者依據該多組移頻參數之一組移頻參數,將該組移頻參數之一子帶編號相應之一子帶信號以該組移頻參數之一移頻量作一移頻運算,並以該組移頻參數之一被移子帶權重作一加權運算以產生多個被移子帶信號之一被移子帶信號;多個子帶組合器,其每一者將該等相應同一被移帶編號之被移子帶信號依相應移頻量為零或非零分別加總以產生一零移頻子帶和信號與一非零移頻子帶和信號,並將該零移頻子帶和信號經過一線性濾波運算再與該非零移頻子帶和信號相加以產生該等被修改帶信號之一被修改帶信號,或者將該等相應同一被移帶編號之被移子帶信號直接加總以產生該等被修改帶信號之一被修改帶信號;以及一個頻-時轉換器,其以該等被修改帶信號之複數共軛值作為頻譜對稱側之多個被修改帶信號,並提取每一時間之該等被修改帶信號作一頻-時轉換運算以產生一輸出音訊。
- 如請求項8之音訊移頻系統,其中每一子帶信號相應至少一被移子帶信號。
- 如請求項9之音訊移頻系統,其中該移頻加權器輸出之每一被移子帶信號之起始相位由相應之子帶中心頻率決定。
- 一種相應多個子帶之濾波器組運算程序,其包括下列 步驟:將一輸入音訊之至少一取樣點進行中心頻率相異之多個複數型一階無限衝激響應濾波運算以得到多個子濾波信號,其每一者包含至少一取樣點;從該等子濾波信號中選擇相應該等子帶之多個子集,其每一者包含相同個數、由中心頻率相鄰之至少二濾波運算得到之至少二子濾波信號,將該等子集之每一子集相應同一時間之至少二子濾波信號取樣點以一第一組二項式權重進行一加權和運算以得到多個子帶信號之一子帶信號,其包含至少一取樣點;從該等子濾波信號中選擇相應該等子帶低頻側以及相應該等子帶高頻側之多個子集,其每一者包含相同個數、由中心頻率相鄰之至少二濾波運算得到之至少二子濾波信號,將該等子集之每一子集相應同一時間之至少二子濾波信號取樣點以一第二組二項式權重進行一加權和運算以得到多個子帶低側信號之一子帶低側信號或多個子帶高側信號之一子帶高側信號,該等子帶低側信號及該等子帶高側信號之每一者包含至少一取樣點;以及對該等子帶信號、該等子帶低側信號、與該等子帶高側信號進行一包絡檢測及抽取運算以得到至少一細頻譜。
- 如請求項11之濾波器組運算程序,其中該包絡檢測 與抽取運算檢測該等子帶信號、該等子帶低側信號、與該等子帶高側信號之振幅包絡並以一倍率抽取該等振幅包絡,其得到之該至少一細頻譜之每一者包括相應同一時間之該等子帶信號之包絡、該等子帶低側信號之包絡、與該等子帶高側信號之包絡。
- 一種包括一個執行一個如請求項11之濾波器組運算程序之步驟之一音訊移頻程序,該步驟對一輸入音訊之至少一取樣點執行該濾波器組運算程序以得到多個子帶信號以及至少一細輸入頻譜,該等子帶信號之每一者包括至少一取樣點,該音訊移頻程序還包括下列步驟:分別依據該至少一細輸入頻譜之每一者估計該等子帶信號相應之多個子帶信號頻率,並依該等子帶信號頻率決定相應多個被移子帶信號之多組移頻參數;依據該多組移頻參數之每一組移頻參數,將該組移頻參數之該子帶編號相應之一子帶信號以該組移頻參數之該移頻量作一移頻運算,並以該組移頻參數之該被移子帶權重作一加權運算以產生多個被移子帶信號之一被移子帶信號,其包含至少一取樣點;以及將該等被移子帶信號依移頻量為零或非零分別加總以產生一零移頻子帶和信號與一非零移頻子帶和信號,並將該零移頻子帶和 信號經過一線性濾波運算再與該非零移頻子帶和信號相加以產生一輸出音訊之至少一取樣點,或者將該等被移子帶信號直接加總以產生一輸出音訊之至少一取樣點。
- 如請求項13之音訊移頻程序,其中每一子帶信號相應至少一被移子帶信號。
- 如請求項14之音訊移頻程序,其中該移頻與加權程序輸出之每一被移子帶信號之起始相位由相應之子帶中心頻率決定。
- 一種包括一個執行多個如請求項11之濾波器組運算程序之步驟之一音訊移頻程序,該步驟對多個帶信號分別執行該濾波器組運算程序以得到多個子帶信號以及多個帶頻譜,並將該等帶頻譜相應同一時間之多個帶頻譜排列成為至少一細輸入頻譜之一細輸入頻譜,該等子帶信號之每一者包括至少一取樣點,該音訊移頻程序還包括下列步驟:對一輸入音訊之至少一幀分別進行一時-頻轉換運算以得到該等帶信號,其每一者包括至少一頻譜取樣點;分別依據該至少一細輸入頻譜之每一者估計該等子帶信號相應之多個子帶信號頻率,並依該等子帶信號頻率決定相應多個被移子帶信號之多組移頻參數;分別依據該多組移頻參數之每一組移頻參數,將該組移頻參數之該子帶編號相應之一子帶信號以該組移頻參數之該移頻量作一移頻運算,並以該組移頻參數之該被移子帶權重作一加權運算以產生多個被移子帶信號之一被移子帶信號,其包含至少一取樣點;將相應每一被移帶編號之該等被移子帶信號依移頻量為零或非零分別加總以產生一零移頻子帶和信號與一非零移頻子帶和信號,並將該零移頻子帶和信號經過一線性濾波運算再與該非零移頻子帶和信號相加以產生該等被修改帶信號之一被修改帶信號,其包括至少一取樣點,或者將相應每一被移帶編號之該等被移子帶信號加總以產生該等被修改帶信號之一被修改帶信號,其包括至少一取樣點;以及對該等被修改帶信號相應同一時間之多個取樣點進行一頻-時轉換運算,以產生一輸出信號之多個取樣點。
- 如請求項16之音訊移頻程序,其中每一子帶信號相應至少一被移子帶信號。
- 如請求項17之音訊移頻程序,其中該移頻與加權程序輸出之每一被移子帶信號之起始相位由相應之子帶中心頻率決定。
- 一包含至少一處理器之音訊移頻系統,其中該至少一處理器對一輸入音訊之至少一取樣點執行如請求項11至15中任一項音訊移頻程序以得到一輸出音訊之至少一取樣點,或者該至少一處理器對該輸入音訊之至少一音訊幀執行如請求項16至18中任一項音訊移頻程序以得到該輸出音訊之至少一音訊幀。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW109136458A TWI772929B (zh) | 2020-10-21 | 2020-10-21 | 分析濾波器組 及其運算程序、音訊移頻系統 及音訊移頻程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW109136458A TWI772929B (zh) | 2020-10-21 | 2020-10-21 | 分析濾波器組 及其運算程序、音訊移頻系統 及音訊移頻程序 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202217802A TW202217802A (zh) | 2022-05-01 |
TWI772929B true TWI772929B (zh) | 2022-08-01 |
Family
ID=82558555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109136458A TWI772929B (zh) | 2020-10-21 | 2020-10-21 | 分析濾波器組 及其運算程序、音訊移頻系統 及音訊移頻程序 |
Country Status (1)
Country | Link |
---|---|
TW (1) | TWI772929B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200842827A (en) * | 2006-11-30 | 2008-11-01 | Broadcom Corp | Method and system for utilizing rate conversion filters to reduce mixing complexity during multipath multi-rate audio processing |
TWI590232B (zh) * | 2013-09-06 | 2017-07-01 | 宏碁股份有限公司 | 聲音資料傳輸系統與聲音資料傳輸方法 |
CN110537221A (zh) * | 2017-02-17 | 2019-12-03 | 诺基亚技术有限公司 | 用于空间音频处理的两阶段音频聚焦 |
TWI692754B (zh) * | 2017-09-07 | 2020-05-01 | 大陸商電信科學技術研究院有限公司 | 有限衝激回應濾波器係數向量的可持續更新方法及裝置 |
US20200260212A1 (en) * | 2013-12-23 | 2020-08-13 | Wilus Institute Of Standards And Technology Inc. | Method for generating filter for audio signal, and parameterization device for same |
-
2020
- 2020-10-21 TW TW109136458A patent/TWI772929B/zh active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200842827A (en) * | 2006-11-30 | 2008-11-01 | Broadcom Corp | Method and system for utilizing rate conversion filters to reduce mixing complexity during multipath multi-rate audio processing |
TWI590232B (zh) * | 2013-09-06 | 2017-07-01 | 宏碁股份有限公司 | 聲音資料傳輸系統與聲音資料傳輸方法 |
US20200260212A1 (en) * | 2013-12-23 | 2020-08-13 | Wilus Institute Of Standards And Technology Inc. | Method for generating filter for audio signal, and parameterization device for same |
CN110537221A (zh) * | 2017-02-17 | 2019-12-03 | 诺基亚技术有限公司 | 用于空间音频处理的两阶段音频聚焦 |
TWI692754B (zh) * | 2017-09-07 | 2020-05-01 | 大陸商電信科學技術研究院有限公司 | 有限衝激回應濾波器係數向量的可持續更新方法及裝置 |
Also Published As
Publication number | Publication date |
---|---|
TW202217802A (zh) | 2022-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8150065B2 (en) | System and method for processing an audio signal | |
JP5715595B2 (ja) | 効率的なサブバンド適応firフィルタリング | |
JP5341128B2 (ja) | 補聴器における安定性の改善 | |
JP5984943B2 (ja) | 聴覚装置における安定性と音声の聴き取り易さの改善 | |
US8971551B2 (en) | Virtual bass synthesis using harmonic transposition | |
KR100859348B1 (ko) | 워핑된 처리를 이용한 디지털 오디오의 동적 범위 제어 및등화 | |
JP6351538B2 (ja) | ディジタル音響信号用の多帯域信号プロセッサ | |
US20030072464A1 (en) | Spectral enhancement using digital frequency warping | |
JP2008203879A (ja) | 雑音抑圧の方法及び装置並びにコンピュータプログラム | |
EP1109421A2 (en) | Digital self-adapting graphic equalizer and method | |
Kuo et al. | Frequency-domain delayless active sound quality control algorithm | |
US11568884B2 (en) | Analysis filter bank and computing procedure thereof, audio frequency shifting system, and audio frequency shifting procedure | |
TW201547194A (zh) | 低延遲調變濾波器組及用以設計該低延遲調變濾波器組之方法 | |
JP2007011341A (ja) | 高調波信号の周波数拡張 | |
TW200412178A (en) | Apparatus and method for audio-signal-processing | |
WO2015079946A1 (ja) | 周波数帯域拡大装置および方法、並びにプログラム | |
JP2001519127A (ja) | 特に補聴器における音声信号のための情報信号をフィルタリングして異なる帯域に分離するフィルタバンク構造および方法 | |
EP2720477B1 (en) | Virtual bass synthesis using harmonic transposition | |
JP2004294712A (ja) | 残響音生成装置およびプログラム | |
TWI772929B (zh) | 分析濾波器組 及其運算程序、音訊移頻系統 及音訊移頻程序 | |
TWI755901B (zh) | 包括移頻功能之即時音訊處理系統以及包括移頻功能之即時音訊處理程序 | |
JP2006145515A (ja) | パラメトリックな時間引き延ばしパルス生成装置 | |
CN115299075B (zh) | 扬声器的低音增强 | |
US11488574B2 (en) | Method and system for implementing a modal processor | |
US11837244B2 (en) | Analysis filter bank and computing procedure thereof, analysis filter bank based signal processing system and procedure suitable for real-time applications |