TWI778073B - 用於具有時域頻道間頻寬延展之高頻帶殘值預測的音訊信號寫碼裝置、方法、包含指令的非暫時性電腦可讀媒體及設備 - Google Patents

用於具有時域頻道間頻寬延展之高頻帶殘值預測的音訊信號寫碼裝置、方法、包含指令的非暫時性電腦可讀媒體及設備 Download PDF

Info

Publication number
TWI778073B
TWI778073B TW107119754A TW107119754A TWI778073B TW I778073 B TWI778073 B TW I778073B TW 107119754 A TW107119754 A TW 107119754A TW 107119754 A TW107119754 A TW 107119754A TW I778073 B TWI778073 B TW I778073B
Authority
TW
Taiwan
Prior art keywords
band
channel
signal
low
generate
Prior art date
Application number
TW107119754A
Other languages
English (en)
Other versions
TW201905901A (zh
Inventor
凡卡特拉曼 阿堤
文卡塔 薩伯拉曼亞姆 強卓 賽克哈爾 奇比亞姆
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201905901A publication Critical patent/TW201905901A/zh
Application granted granted Critical
Publication of TWI778073B publication Critical patent/TWI778073B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/03—Spectral prediction for preventing pre-echo; Temporary noise shaping [TNS], e.g. in MPEG2 or MPEG4
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G10L21/0388—Details of processing therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

本發明提供一種方法，該方法包括解碼一經編碼中間信號之一低頻帶部分以產生一經解碼低頻帶中間信號。該方法亦包括處理該經解碼低頻帶中間信號以產生一低頻帶殘值預測信號以及部分基於該經解碼低頻帶中間信號及該低頻帶殘值預測信號產生一低頻帶左頻道及一低頻帶右頻道。該方法進一步包括解碼該經編碼中間信號之一高頻帶部分以產生一時域經解碼高頻帶中間信號及處理該時域經解碼高頻帶中間信號以產生一時域高頻帶殘值預測信號。該方法亦包括基於該時域經解碼高頻帶中間信號及該時域高頻帶殘值預測信號產生一高頻帶左頻道及一高頻帶右頻道。

Description

用於具有時域頻道間頻寬延展之高頻帶殘值預測的音訊信號寫碼裝置、方法、包含指令的非暫時性電腦可讀媒體及設備
本發明大體上係關於多個音訊信號之編碼。
技術之進步已帶來更小且更強大之計算裝置。舉例而言，多種攜帶型個人計算裝置(包括諸如行動及智慧型電話之無線電話、平板電腦及膝上型電腦)體積小、重量輕且易於由使用者攜帶。此等裝置可經由無線網路傳達話音及資料封包。另外，許多此類裝置併入額外功能，諸如數位靜態攝影機、數位視訊攝影機、數位記錄器及音訊檔案播放器。又，此等裝置可處理可執行指令，包括軟體應用程式，諸如可用以存取網際網路之網路瀏覽器應用程式。因而，此等裝置可包括顯著計算能力。
計算裝置可包括或耦接至多個麥克風以接收音訊信號。一般而言，與多個麥克風之第二麥克風相比，聲源更接近於第一麥克風。因此，由於麥克風距聲源之各別距離，自第二麥克風接收之第二音訊信號可相對於自第一麥克風接收之第一音訊信號延遲。在其他實施中，第一音訊信號可相對於第二音訊信號延遲。在立體編碼中，來自麥克風之音訊信號可經編碼以產生中間信號及一或多個側信號。中間信號對應於第一音訊信號及第二音訊信號之總和。側信號對應於第一音訊信號與第二音訊信號之 間的差。
在特定實施中，一種裝置包括經組態以解碼一經編碼中間信號之一低頻帶部分以產生一經解碼低頻帶中間信號的一低頻帶中間信號解碼器。該裝置亦包括經組態以處理該經解碼低頻帶中間信號以產生一低頻帶殘值預測信號的一低頻帶殘值預測單元。該裝置進一步包括經組態以部分基於該經解碼低頻帶中間信號及該低頻帶殘值預測信號產生一低頻帶左頻道及一低頻帶右頻道的一升混處理器。該裝置亦包括經組態以解碼該經編碼中間信號之一高頻帶部分以產生一時域經解碼高頻帶中間信號的一高頻帶中間信號解碼器。該裝置進一步包括經組態以處理該時域經解碼高頻帶中間信號以產生一時域高頻帶殘值預測信號的一高頻帶殘值預測單元。該裝置亦包括經組態以基於該時域經解碼高頻帶中間信號及該時域高頻帶殘值預測信號產生一高頻帶左頻道及一高頻帶右頻道的一頻道間頻寬延展解碼器。
在另一特定實施中，一種方法包括解碼一經編碼中間信號之一低頻帶部分以產生一經解碼低頻帶中間信號。該方法亦包括處理該經解碼低頻帶中間信號以產生一低頻帶殘值預測信號及部分基於該經解碼低頻帶中間信號及該低頻帶殘值預測信號產生一低頻帶左頻道及一低頻帶右頻道。該方法進一步包括解碼該經編碼中間信號之一高頻帶部分以產生一經解碼高頻帶中間信號及處理該經解碼高頻帶中間信號以產生一高頻帶殘值預測信號。該方法亦包括基於該經解碼高頻帶中間信號及該高頻帶殘值預測信號產生一高頻帶左頻道及一高頻帶右頻道。
在另一特定實施中，一種非暫時性電腦可讀媒體包括指 令，該等指令在由一解碼器內之一處理器執行時，使該解碼器執行包括解碼一經編碼中間信號之一低頻帶部分以產生一經解碼低頻帶中間信號的操作。該等操作亦包括處理該經解碼低頻帶中間信號以產生一低頻帶殘值預測信號及部分基於該經解碼低頻帶中間信號及該低頻帶殘值預測信號產生一低頻帶左頻道及一低頻帶右頻道。該等操作亦包括解碼該經編碼中間信號之一高頻帶部分以產生一經解碼高頻帶中間信號及處理該經解碼高頻帶中間信號以產生一高頻帶殘值預測信號。該等操作亦包括基於該經解碼高頻帶中間信號及該高頻帶殘值預測信號產生一高頻帶左頻道及一高頻帶右頻道。
在另一特定實施中，一種裝置包括用於解碼一經編碼中間信號之一低頻帶部分以產生一經解碼低頻帶中間信號的構件。該裝置亦包括用於處理該經解碼低頻帶中間信號以產生一低頻帶殘值預測信號的構件及用於部分基於該經解碼低頻帶中間信號及該低頻帶殘值預測信號產生一低頻帶左頻道及一低頻帶右頻道的構件。該裝置進一步包括用於解碼該經編碼中間信號之一高頻帶部分以產生一經解碼高頻帶中間信號的構件及用於處理該經解碼高頻帶中間信號以產生一高頻帶殘值預測信號的構件。該裝置亦包括用於基於該經解碼高頻帶中間信號及該高頻帶殘值預測信號產生一高頻帶左頻道及一高頻帶右頻道的構件。
在檢閱整個申請案之後，本發明之其他實施、優勢及特徵將變得顯而易見，該整個申請案包括以下章節：圖式簡單說明、實施方式及申請專利範圍。
100:系統
104:第一裝置
106:第二裝置
110:傳輸器
112:輸入介面
120:網路
126:左頻道
128:右頻道
130:第一音訊頻道
132:第二音訊頻道
134:編碼器
136:頻道間頻寬延展(ICBWE)編碼器
142:第一擴音器
144:第二擴音器
146:第一麥克風
148:第二麥克風
152:聲源
153:記憶體
160:接收器
162:解碼器
164:高頻帶中間信號解碼器
166:低頻帶中間信號解碼器
168:高頻帶殘值預測單元
170:低頻帶殘值預測單元
172:升混處理器
174:頻道間頻寬延展(ICBWE)解碼器
180:位元串流
182:經編碼中間信號
184:參數
186:殘值預測增益
188:頻譜映射參數
190:增益映射參數
191:指令
192:參考頻道指示符
202:變換單元
204:變換單元
206:組合電路
208:組合電路
212:經解碼低頻帶中間信號
214:低頻帶殘值預測信號
216:頻域低頻帶殘值預測信號
218:頻域低頻帶中間信號
220:低頻帶左頻道
222:低頻帶右頻道
224:經解碼高頻帶中間信號
226:高頻帶殘值預測信號
228:高頻帶左頻道
230:高頻帶右頻道
302:高頻帶殘值產生單元
304:頻譜映射器
306:增益映射器
308:組合電路
310:頻譜映射器
312:增益映射器
314:組合電路
316:頻道選擇器
320:經頻譜映射高頻帶中間信號
322:第一高頻帶增益映射頻道
324:高頻帶殘值頻道
326:經頻譜映射高頻帶殘值頻道
328:第二高頻帶增益映射頻道
330:高頻帶目標頻道
332:高頻帶參考頻道
400:處理經編碼位元串流之方法
402:步驟
404:步驟
406:步驟
408:步驟
410:步驟
412:步驟
414:步驟
416:步驟
500:裝置
502:數位至類比轉換器(DAC)
504:類比至數位轉換器(ADC)
506:處理器
508:媒體編碼解碼器
510:處理器
512:回音消除器
522:系統單晶片裝置
526:顯示控制器
528:顯示器
530:輸入裝置
534:編碼解碼器
542:天線
544:電源供應器
546:麥克風
548:揚聲器
553:記憶體
591:指令
600:基地台
606:處理器
608:編碼解碼器
610:轉碼器
614:資料串流
616:經轉碼資料串流
632:記憶體
636:編碼器
638:解碼器
642:第一天線
644:第二天線
652:第一收發器
654:第二收發器
660:網路連接
662:解調變器
664:接收器資料處理器
670:媒體閘道器
682:傳輸資料處理器
684:傳輸多輸入多輸出(MIMO)處理器
圖1為一系統之特定說明性實例的方塊圖，該系統包括可 操作以預測高頻帶殘值頻道並執行時域頻道間頻寬延展(ICBWE)解碼操作的一解碼器；圖2為說明圖1之解碼器的圖；圖3為說明ICBWE解碼器之圖；圖4為預測高頻帶殘值頻道之方法的特定實例；圖5為一行動裝置之特定說明性實例的方塊圖，該行動裝置可操作以預測高頻帶殘值頻道並執行時域ICBWE解碼操作；且圖6為一基地台之方塊圖，該基地台可操作以預測高頻帶殘值頻道並執行時域ICBWE解碼操作。
本申請案主張2017年6月29日申請之題為「HIGH-BAND RESIDUAL PREDICTION WITH TIME-DOMAIN INTER-CHANNEL BANDWIDTH EXTENSION」的美國臨時專利申請案第62/526,854號之權益，該臨時專利申請案明確地以全文引用之方式併入本文中。
下文參考圖式描述本發明之特定態樣。在本說明書中，共同部件由共同參考編號指示。如本文所使用，各種術語僅僅用於描述特定實施之目的，且並不意欲限制實施。舉例而言，除非上下文以其他方式明確地指示，否則單數形式「一」、「一個」及「該」意欲同樣包括複數形式。可進一步理解，術語「包含(comprises及comprising)」可與「包括(includes或including)」互換地使用。另外，應理解，術語「其中(wherein)」可與「在…的情況下(where)」互換使用。如本文所使用，用以修飾諸如結構、組件、操作等之元件之序數術語(例如，「第一」、「第二」、「第三」等)本身不指示元件關於另一元件之任何優先權或次序，而 是僅將元件與具有相同名稱之另一元件區別開(除非使用序數術語)。如本文所用，術語「集合」係指特定元件中之一或多者，且術語「複數個」係指特定元件之多個(例如，兩個或大於兩個)。
在本發明中，諸如「判定」、「計算」、「移位」、「調節」等之術語可用於描述如何執行一或多個操作。應注意，此等術語不應解釋為限制性的且其他技術可用以執行類似操作。另外，如本文中所提及，「產生」、「計算」、「使用」、「選擇」、「存取」及「判定」可互換地使用。舉例而言，「產生」、「計算」或「判定」參數(或信號)可指主動地產生、計算或判定參數(或信號)，或可指代使用、選擇或存取已(諸如)由另一組件或裝置產生之參數(或信號)。
本發明揭示可操作以編碼及解碼多個音訊信號之系統及裝置。裝置可包括經組態以編碼多個音訊信號之編碼器。可使用多個記錄裝置(例如，多個麥克風)同時及時地俘獲多個音訊信號。在一些實例中，可藉由多工若干同時或非同時記錄之音訊頻道合成地(例如，人工)產生多個音訊信號(或多頻道音訊)。如說明性實例，音訊頻道之並行記錄或多工可產生2頻道組態(亦即，立體：左及右)、5.1頻道組態(左、右、中央、左環繞、右環繞及低頻重音(LFE)頻道)、7.1頻道組態、7.1+4頻道組態、22.2頻道組態或N頻道組態。
電話會議室(或遠程呈現室)內之音訊俘獲裝置可包括獲取空間音訊之多個麥克風。空間音訊可包括語音以及經編碼且經傳輸之背景音訊。視如何組態麥克風以及給定來源(例如，講話者)位於相對於麥克風及房間大小的位置，來自該來源(例如，講話者)之語音/音訊可於不同時間到達多個麥克風處。舉例而言，相比於與裝置相關聯之第二麥克風，聲源 (例如，講話者)可更接近與裝置相關聯之第一麥克風。因此，與第二麥克風相比，自聲源發出之聲音可更早到達第一麥克風。裝置可經由第一麥克風接收第一音訊信號，且可經由第二麥克風接收第二音訊信號。
中側(MS)寫碼及參數立體(PS)寫碼為可提供優於雙單頻道寫碼技術之經改良效能的立體寫碼技術。在雙單頻道寫碼中，左(L)頻道(或信號)及右(R)頻道(或信號)經獨立地寫碼，而不利用頻道間相關。在寫碼之前，藉由將左頻道及右頻道變換為總頻道及差頻道(例如，側信號)，MS寫碼減少相關L/R頻道對之間的冗餘。總和信號(亦稱作中間信號)及差信號(亦稱作側信號)經波形寫碼或基於MS寫碼中之模型而寫碼。中間信號比側信號耗費相對較多之位元。PS寫碼藉由將L/R信號變換成總和信號(或中間信號)及一組旁參數而減少每一子頻帶中之冗餘。側參數可指示頻道間強度差(IID)、頻道間相位差(IPD)、頻道間時差(ITD)、側或殘值預測增益，等。總和信號為經寫碼之波形且與側參數一起傳輸。在混合式系統中，側信號可在較低頻帶(例如，小於2千赫茲(kHz))中經波形寫碼並在較高頻帶(例如，大於或等於2kHz)中經PS寫碼，其中頻道間相位保持在感知上不太關鍵。在一些實施中，PS寫碼亦可在波形寫碼之前用於較低頻帶中以減少頻道間冗餘。
可在頻域或子頻帶域中完成MS寫碼及PS寫碼。在一些實例中，左頻道及右頻道可不相關。舉例而言，左頻道及右頻道可包括不相關之合成信號。當左頻道及右頻道不相關時，MS寫碼、PS寫碼或兩者之寫碼效率可接近於雙單頻道寫碼之寫碼效率。
取決於記錄組態，可在左頻道與右頻道之間存在時間移位以及其他空間效應(諸如，回聲及室內迴響)。若並不補償頻道之間的時間 移位及相位失配，則總和頻道及差頻道可含有減少與MS或PS技術相關聯之寫碼增益的可比能量。寫碼增益之減少可基於時間(或相位)移位之量。總和信號及差信號之可比能量可限制頻道經時間移位但高度相關之某些訊框中的MS寫碼之使用。在立體寫碼中，中間信號(例如，總和頻道)及側信號(例如，差頻道)可基於以下公式產生：M=(L+R)/2,S=(L-R)/2， 公式1其中M對應於中間信號，S對應於側信號，L對應於左頻道，且R對應於右頻道。
在一些情況中，可基於以下公式產生中間信號及側信號：M=c(L+R),S=c(L-R)， 公式2其中c對應於頻率相關之複合值。基於公式1或公式2產生中間信號及側信號可被稱作「降混」。基於公式1或公式2自中間信號及側信號產生左頻道及右頻道的反向過程可被稱作「升混」。
在一些情況中，中間信號可係基於其他公式，諸如：M=(L+gDR)/2，或 公式3 M=g1L+g2R 公式4
其中g1+g2=1.0，且其中gD為增益參數。在其他實例中，降混可在頻帶中執行，其中中間(b)=c1L(b)+c2R(b)，其中c1及c2為複數，其中側(b)=c3L(b)-c4R(b)，且其中c3及c4為複數。
用以在MS寫碼或雙單頻道寫碼之間選擇特定訊框之特別途徑可包括：產生中間信號及側信號，計算中間信號及側信號之能量，並基於能量判定是否執行MS寫碼。舉例而言，可執行MS寫碼以回應側信號與中間信號之能量比小於臨限值之判定。舉例而言，若右頻道經移位至少 一第一時間(例如，約0.001秒或48kHz下之48個樣本)，則中間信號(對應於左信號及右信號之總和)之第一能量可與有聲語音訊框之側信號(對應於左信號與右信號之間的差)之第二能量相當。當第一能量與第二能量相當時，較高數目個位元可用以編碼側信號，藉此減少MS寫碼相對於雙單頻道寫碼之寫碼效率。雙單頻道寫碼因此可在第一能量與第二能量相當時(例如，在第一能量與第二能量之比大於或等於臨限值時)使用。在一替代途徑中，可基於左頻道與右頻道之臨限值及正規化交叉相關值之比較來在MS寫碼與雙單頻道寫碼之間決定何者用於特定訊框。
在一些實例中，編碼器可判定指示第一音訊信號與第二音訊信號之間的時間未對準之量的失配值。如本文所使用，「時間移位值」、「移位值」及「失配值」可被互換地使用。舉例而言，編碼器可判定指示第一音訊信號相對於第二音訊信號之移位(例如，時間失配)的時間移位值。時間失配值可對應於在第一麥克風處第一音訊信號之接收與在第二麥克風處第二音訊信號之接收之間的時間延遲之量。此外，編碼器可在逐訊框基礎上(例如，基於每一20毫秒(ms)語音/音訊訊框)判定時間失配值。舉例而言，時間失配值可對應於第二音訊信號之第二訊框相對於第一音訊信號之第一訊框延遲的時間量。替代地，時間失配值可對應於第一音訊信號之第一訊框相對於第二音訊信號之第二訊框延遲的時間量。
當聲源距第一麥克風之距離比距第二麥克風之距離較近時，第二音訊信號之訊框可相對於第一音訊信號之訊框經延遲。在此情況下，第一音訊信號可被稱作「參考音訊信號」或「參考頻道」且經延遲第二音訊信號可被稱作「目標音訊信號」或「目標頻道」。替代地，當聲源距離第二麥克風之距離比距第一麥克風之距離較近時，第一音訊信號之訊 框可相對於第二音訊信號之訊框經延遲。在此情況下，第二音訊信號可被稱作參考音訊信號或參考頻道，且經延遲第一音訊信號可被稱作目標音訊信號或目標頻道。
視聲源(例如，講話者)位於會議室或遠程呈現室內之位置及聲源(例如，講話者)位置如何相對於麥克風改變，參考頻道及目標頻道可自一個訊框改變至另一訊框；類似地，時間延遲值亦可自一個訊框改變至另一訊框。然而，在一些實施中，時間失配值可始終係正的，以指示「目標」頻道相對於「參考」頻道之延遲量。此外，時間失配值可對應於「無關聯移位」值，經延遲目標頻道藉由該「無關聯移位」值在時間上「經拉回」，以使得目標頻道與「參考」頻道對準(例如，最大限度地對準)。可對參考頻道及經無關聯移位之目標頻道執行判定中間信號及側信號之降混演算法。
編碼器可基於參考音訊頻道及應用於目標音訊頻道之複數個時間失配值而判定時間失配值。舉例而言，參考音訊頻道之第一訊框X可在第一時間(m1)接收。目標音訊頻道之第一特定訊框Y可在對應於第一時間失配值(例如，移位1=n1-m1)之第二時間(n1)處接收。另外，可在第三時間(m2)處接收參考音訊頻道之第二訊框。目標音訊頻道之第二特定訊框可在對應於第二時間失配值(例如，移位2=n2-m2)之第四時間(n2)處接收。
裝置可以第一取樣速率(例如，32kHz取樣速率(亦即，640個樣本每訊框))執行成框或緩衝演算法，以產生訊框(例如，20ms樣本)。為回應第一音訊信號之第一訊框及第二音訊信號之第二訊框同時到達裝置之判定，編碼器可估計如等於零樣本之時間失配值(例如，移位 1)。可在時間上對準左頻道(例如，對應於第一音訊信號)及右頻道(例如，對應於第二音訊信號)。在一些情況下，即使當對準時，左頻道及右頻道可歸因於各種原因(例如，麥克風校準)在能量方面存在不同。
在一些實例中，左頻道及右頻道可歸因於各種原因(例如，與麥克風中的另一者相比，聲源(諸如，講話者)可較接近麥克風中的一者，且兩個麥克風相隔距離可大於臨限值(例如，1至20公分)距離)在時間上未對準。聲源相對於麥克風之位置可在左頻道及右頻道中引入不同的延遲。另外，在左頻道與右頻道之間可存在增益差、能量差或位準差。
在一些實例中，在存在大於兩個頻道之情況下，參考頻道最初基於頻道之位準或能量而被選擇，且隨後基於不同頻道對之間的時間失配值(例如，t1(ref,ch2)，t2(ref,ch3)，t3(ref,ch4)，…t3(ref,chN))而被優化，其中ch1為最初參考頻道且t1(.)、t2(.)等為估計失配值之函數。若所有時間失配值係正的，則ch1被視為參考頻道。若失配值中之任一者為負值，則參考頻道經重組態成與產生負值的失配值相關聯的頻道且上述過程繼續直至實現參考頻道之最佳選擇(例如，基於最大限度地去相關最大數目之側信號)為止。滯後可用於克服參考頻道選擇中之任何急劇變化。
在一些實例中，當多個講話者交替地講話時(例如，在不重疊情況下)，音訊信號自多個聲源(例如，講話者)到達麥克風之時間可變化。在此情況下，編碼器可基於講話者動態地調節時間失配值以識別參考頻道。在一些其他實例中，多個講話者可同時講話，取決於哪個講話者最大聲、距麥克風最近等，此可導致變化時間失配值。在此情況下，參考及目標頻道之識別可基於當前訊框中之變化的時間移位值及先前訊框中之經估計時間失配值，及第一及第二音訊信號的能量或時間演進。
在一些實例中，當兩種信號可能展示較少(例如，無)相關度時，可合成或人工地產生第一音訊信號及第二音訊信號。應理解，本文所描述之實例為說明性且可在類似或不同情境中判定第一音訊信號與第二音訊信號之間的關係中具指導性。
編碼器可基於第一音訊信號之第一訊框與第二音訊信號之複數個訊框的比較產生比較值(例如，差值或交叉相關值)。該複數個訊框中之每一訊框可對應於特定時間失配值。編碼器可基於比較值產生第一經估計時間失配值。舉例而言，第一經估計時間失配值可對應於指示第一音訊信號之第一訊框與第二音訊信號之對應第一訊框之間較高時間類似性(或較低差)之比較值。
編碼器可藉由在多個階段中優化一序列經估計時間失配值來判定最終時間失配值。舉例而言，編碼器可首先基於自第一音訊信號及第二音訊信號之立體經預處理及經重新取樣版本產生之比較值而估計「暫訂」時間失配值。編碼器可產生與接近於經估計「暫訂」時間失配值之時間失配值相關聯的經內插比較值。編碼器可基於經內插之比較值判定第二經估計「內插」時間失配值。舉例而言，第二經估計「內插」時間失配值可對應於指示比剩餘經內插之比較值及第一經估計「暫訂」時間失配值較高之時間類似性(或較低差)的特定內插比較值。若當前訊框(例如，第一音訊信號之第一訊框)之第二經估計「內插」時間失配值與前一訊框(例如，先於第一訊框之第一音訊信號之訊框)之最終時間失配值不同，則當前訊框之「內插」時間失配值經進一步「修正」以改良第一音訊信號與經移位第二音訊信號之間的時間類似性。具體而言，第三經估計「修正」時間失配值可藉由查究當前訊框之第二經估計「內插」時間失配值及前一訊 框之最終經估計時間失配值來對應於時間類似性之較準確量度。第三經估計「修正」時間失配值經進一步調節以藉由限制訊框之間的時間失配值中之任何偽改變來估計最終時間失配值，且受進一步控制以不在如本文中所描述之兩個連續(或相連)訊框中自負時間失配值切換到正時間失配值(或反之亦然)。
在一些實例中，編碼器可制止在相連訊框中或在鄰近訊框中在正時間失配值與負時間失配值之間切換或反之亦然。舉例而言，編碼器可將最終時間失配值設定成特定值(例如，0)，該特定值基於第一訊框之經估計「內插」或「修正」時間失配值及先於第一訊框之特定訊框中之對應經估計「內插」或「修正」或最終時間失配值而指示無時間移位。舉例而言，為回應當前訊框的經估計之「暫訂」或「內插」或「修正」時間失配值中之一者為正的且前一訊框(例如，先於第一訊框的訊框)的經估計之「暫訂」或「內插」或「修正」或「最終」經估計時間失配值中之另一者為負的之判定，編碼器可設定當前訊框(例如，第一訊框)之最終時間失配值以指示無時間移位，亦即移位1=0。替代地，為回應當前訊框的經估計之「暫訂」或「內插」或「修正」時間失配值中之一者為負的且前一訊框(例如，先於第一訊框的訊框)的經估計之「暫訂」或「內插」或「修正」或「最終」經估計時間失配值中之另一者為正的之判定，編碼器亦可設定當前訊框(例如，第一訊框)之最終時間失配值以指示無時間移位，亦即移位1=0。
編碼器可基於時間失配值而將第一音訊信號或第二音訊信號之訊框選作「參考」或「目標」。舉例而言，為回應最終時間失配值為正的之判定，編碼器可產生具有一第一值(例如，0)之參考頻道或信號指 示符，該第一值指示第一音訊信號為「參考」信號且第二音訊信號為「目標」信號。替代地，為回應最終時間失配值為負的之判定，編碼器可產生具有一第二值(例如，1)之參考頻道或信號指示符，該第二值指示第二音訊信號為「參考」信號且第一音訊信號為「目標」信號。
編碼器可估計與參考信號及經無關聯移位目標信號相關聯之相對增益(例如，相對增益參數)。舉例而言，為回應最終時間失配值為正的之判定，編碼器可估計增益值以正規化或等化第一音訊信號相對於第二音訊信號之按無關聯時間失配值(例如，最終時間失配值之絕對值)偏移的振幅或功率位準。替代地，為回應最終時間失配值為負的之判定，編碼器可估計增益值以正規化或等化無關聯經移位第一音訊信號相對於第二音訊信號之功率或振幅位準。在一些實例中，編碼器可估計增益值以正規化或等化「參考」信號相對於無關聯移位之「目標」信號之振幅或功率位準。在其他實例中，編碼器可相對於目標信號(例如，未移位之目標信號)基於參考信號來估計增益值(例如，相對增益值)。
編碼器可基於參考信號、目標信號、無關聯時間失配值及相對增益參數產生至少一個經編碼信號(例如，中間信號、側信號或兩者)。在其他實施中，編碼器可基於參考頻道及時間失配經調節目標頻道產生至少一個經編碼信號(例如，中間信號、側信號或兩者)。側信號可對應於第一音訊信號之第一訊框的第一樣本與第二音訊信號之所選擇訊框的所選擇樣本之間的差。編碼器可基於最終時間失配值選擇所選訊框。由於第一樣本與所選擇樣本之間的減小之差，相比於對應於第二音訊信號之訊框(與第一訊框同時由裝置接收)的第二音訊信號之其他樣本，較少的位元可用於編碼側信號。裝置之傳輸器可傳輸至少一個經編碼信號、無關聯時 間失配值、相對增益參數、參考頻道或信號指示符，或其組合。
編碼器可基於參考信號、目標信號、無關聯時間失配值、相對增益參數、第一音訊信號之一特定訊框的低頻帶參數、該特定訊框之高頻帶參數，或其組合產生至少一個經編碼信號(例如，中間信號、側信號或兩者)。特定訊框可先於第一訊框。來自一或多個前述訊框之某些低頻帶參數、高頻帶參數或其組合可用於編碼第一訊框之中間信號、側信號或兩者。基於低頻帶參數、高頻帶參數或其組合對中間信號、側信號或兩者進行編碼可改良無關聯時間失配值及頻道間相對增益參數之估計值。低頻帶參數、高頻帶參數或其組合可包括：音調參數、話音參數、寫碼器類型參數、低頻帶能量參數、高頻帶能量參數、包絡參數(例如，傾角參數)、音調增益參數、FCB增益參數、寫碼模式參數、話音活動參數、雜訊估計參數、訊號雜訊比參數、共振峰參數、語音/音樂決策參數、無關聯移位、頻道間增益參數或其組合。裝置之傳輸器可傳輸至少一個經編碼信號、無關聯時間失配值、相對增益參數、參考頻道(或信號)指示符或其組合。在本發明中，諸如「判定」、「計算」、「移位」、「調節」等之術語可用於描述如何執行一或多個操作。應注意，此等術語不應解釋為限制性的且其他技術可用以執行類似操作。
參看圖1，揭示系統之特定說明性實例且一般將其指定為100。系統100包括經由網路120以通信方式耦接至第二裝置106之第一裝置104。網路120可包括一或多個無線網路、一或多個有線網路或其組合。
第一裝置104包括記憶體153、編碼器134、傳輸器110及一或多個輸入介面112。記憶體153包括非暫時性電腦可讀媒體，其包括指 令191。指令191可由編碼器134執行以執行本文中所描述的操作中之一或多者。輸入介面112中之第一輸入介面可耦接至第一麥克風146。輸入介面112中之第二輸入介面可耦接至第二麥克風148。編碼器134可包括頻道間頻寬延展(ICBWE)編碼器136。ICBWE編碼器136可經組態以基於合成非參考高頻帶及非參考目標頻道估計一或多個頻譜映射參數。舉例而言，ICBWE編碼器136可估計頻譜映射參數188及增益映射參數190。頻譜映射參數188及增益映射參數190可被稱作「ICBWE參數」。然而，為易於描述，ICBWE參數亦可被稱作「參數」。
第二裝置106包括接收器160及解碼器162。解碼器162可包括高頻帶中間信號解碼器164、低頻帶中間信號解碼器166、高頻帶殘值預測單元168、低頻帶殘值預測單元170、升混處理器172及ICBWE解碼器174。解碼器162亦可包括圖1中未說明的一或多個其他組件。舉例而言，解碼器162可包括一或多個變換單元，該一或多個變換單元經組態以將時域頻道(例如，時域信號)變換成頻域(例如，變換域)。與解碼器162之操作相關聯的額外細節關於圖2及圖3進行描述。
第二裝置106可耦接至第一擴音器142、第二擴音器144或其兩者。儘管未圖示，但第二裝置106可包括其他組件，此處理器(例如，中央處理單元)、麥克風、傳輸器、天線、記憶體等。
在操作期間，第一裝置104可經由第一輸入介面自第一麥克風146接收第一音訊頻道130(例如，第一音訊信號)並可經由第二輸入介面自第二麥克風148接收第二音訊頻道132(例如，第二音訊信號)。第一音訊頻道130可對應於右頻道或左頻道中的一者。第二音訊頻道132可對應於右頻道或左頻道中之另一者。與第二麥克風148相比，聲源152(例 如，使用者、揚聲器、環境雜訊、樂器等)可更接近第一麥克風146。因此，來自聲源152之音訊信號可在與經由第二麥克風148相比較早時間處經由第一麥克風146在輸入介面112處接收。經由多個麥克風獲取之多頻道信號的此固有延遲可在第一音訊頻道130與第二音訊頻道132之間引入時間未對準。
根據一個實施，第一音訊頻道130可為「參考頻道」，且第二音訊頻道132可為「目標頻道」。目標頻道可經調節(例如，經時間移位)以實質上與參考頻道對準。根據另一實施，第二音訊頻道132可為參考頻道，且第一音訊頻道130可為目標頻道。根據一個實施，參考頻道及目標頻道可在逐訊框基礎上變化。舉例而言，對於第一訊框，第一音訊頻道130可為參考頻道，且第二音訊頻道132可為目標頻道。然而，對於第二訊框(例如，後續訊框)，第一音訊頻道130可為目標頻道且第二音訊頻道132可為參考頻道。為便於描述，除非下文另外指出，否則第一音訊頻道130為參考頻道，且第二音訊頻道132為目標頻道。應注意關於音訊頻道130、132所描述的參考頻道可獨立於參考頻道指示符192(例如，高頻帶參考頻道指示符)。舉例而言，高頻帶參考頻道指示符192可指示頻道130、132任一者之高頻帶為高頻帶參考頻道，且高頻帶參考頻道指示符192可指示可為與參考頻道相同或不同之頻道的一高頻帶參考頻道。
編碼器134可基於第一音訊頻道130及第二音訊頻道132使用上文關於公式1至4所描述之技術產生中間信號、側信號或兩者。編碼器134可編碼中間信號以產生經編碼中間信號182。編碼器134亦可產生參數184(例如，ICBWE參數、立體參數或兩者)。舉例而言，編碼器134可產生殘值預測增益186(例如，側信號增益)及參考頻道指示符192。參考頻 道指示符192可在逐框基礎上指示參考頻道係左頻道抑或右頻道。ICBWE編碼器136可產生頻譜映射參數188及增益映射參數190。頻譜映射參數188將非參考高頻帶頻道之頻譜(或能量)映射至合成之非參考高頻帶頻道的頻譜。增益映射參數190可將非參考高頻帶頻道之增益映射至合成之非參考高頻帶頻道的增益。
傳輸器110可經由網路120將位元串流180傳輸至第二裝置106。位元串流180至少包括經編碼中間信號182及參數184。根據其他實施，位元串流180可包括額外經編碼頻道(例如，經編碼側信號)及額外立體參數(例如，頻道間強度差(IID)參數、頻道間位準差(ILD)參數、頻道間時差(ITD)參數、頻道間相位差(IPD)參數、頻道間話音參數、頻道間音調參數、頻道間增益參數等)。
第二裝置106之接收器160可接收位元串流180，且解碼器162解碼位元串流180以產生第一頻道(例如，左頻道126)及第二頻道(例如，右頻道128)。第二裝置106可經由第一擴音器142輸出左頻道126且可經由第二擴音器144輸出右頻道128。在替代性實例中，左頻道126及右頻道128可作為立體信號對傳輸至單個輸出擴音器。關於圖2至圖3進一步詳細描述解碼器162之操作。
參看圖2，展示解碼器162之特定實施。解碼器162包括高頻帶中間信號解碼器164、低頻帶中間信號解碼器166、高頻帶殘值預測單元168、低頻帶殘值預測單元170、升混處理器172、ICBWE解碼器174、變換單元202、變換單元204、組合電路206及組合電路208。
經編碼中間信號182經提供至高頻帶中間信號解碼器164及低頻帶中間信號解碼器166。低頻帶中間信號解碼器166可經組態以解碼 經編碼中間信號182之低頻帶部分以產生經解碼低頻帶中間信號212。作為非限制性實例，若經編碼中間信號182為在50Hz與16kHz之間的具有音訊內容的超寬頻信號，則經編碼中間信號182之低頻帶部分可自50Hz跨越至8kHz，且經編碼中間信號182之高頻帶部分可自8kHz跨越至16kHz。低頻帶中間信號解碼器166可解碼經編碼中間信號182之低頻帶部分(例如，50Hz與8kHz之間的部分)以產生經解碼低頻帶中間信號212。應理解，以上實例僅出於說明性目的，且不應解釋為限制性的。在其他實例中，經編碼中間信號182可為寬頻信號、全頻帶信號等。經解碼低頻帶中間信號212(例如，時域頻道)經提供至低頻帶殘值預測單元170及變換單元204。
低頻帶殘值預測單元170可經組態以處理經解碼低頻帶中間信號212以產生低頻帶殘值預測信號214(例如，低頻帶立體填充頻道或經預測低頻帶側信號)。該「處理過程」可包括濾波操作、非線性處理操作、相位修改操作、重取樣操作或縮放操作。舉例而言，低頻帶殘值預測單元170可包括一或多個全通去相關濾波器。低頻帶殘值預測單元170可將全通去相關濾波器應用於經解碼低頻帶中間信號212(例如，在16kHz頻寬信號下)以產生(或「預測」)低頻帶殘值預測信號214。低頻帶殘值預測信號214經提供至變換單元202。
變換單元202可經組態以對低頻帶殘值預測信號214執行變換操作以產生頻域低頻帶殘值預測信號216。應注意，在變換操作之前，在一些實施中，亦執行圖2中未展示之開窗運算。變換單元202可對低頻帶殘值預測信號214執行離散傅立葉變換(DFT)分析以產生頻域低頻帶殘值預測信號216。頻域低頻帶殘值預測信號216經提供至升混處理器172。 變換單元204可經組態以對經解碼低頻帶中間信號212執行變換操作以產生頻域低頻帶中間信號218。舉例而言，變換單元204可對經解碼低頻帶中間信號212執行DFT分析以產生頻域低頻帶中間信號218。頻域低頻帶中間信號218經提供至升混處理器172。
升混處理器172可經組態以基於頻域低頻帶殘值預測信號216、頻域低頻帶中間信號218及自第一裝置104接收到之一或多個參數184產生低頻帶左頻道220及低頻帶右頻道222。舉例而言，升混處理器172可對頻域低頻帶中間信號218及頻域低頻帶殘值預測信號(例如，經預測頻域低頻帶側信號)執行升混操作以產生低頻帶左頻道220及低頻帶右頻道222。立體參數184可在升混操作期間使用。舉例而言，升混處理器172可在升混操作期間應用IID參數、ILD參數、ITD參數、IPD參數、頻道間話音參數、頻道間音調參數及頻道間增益參數。另外，升混處理器172可將殘值預測增益186應用於頻帶中之頻域低頻帶殘值預測信號以在解碼器162處判定側信號。升混處理器172可使用參考頻道指示符192以指定低頻帶左頻道220及低頻帶右頻道222。舉例而言，參考頻道指示符192可指示由升混處理器172產生的低頻帶參考頻道對應於低頻帶左頻道220抑或對應於低頻帶右頻道222。低頻帶左頻道220經提供至組合電路206，且低頻帶右頻道222經提供至組合電路208。根據一些實施，升混處理器172包括經組態以對低頻帶參考頻道及低頻帶目標頻道執行變換操作以產生頻道220、222的反變換單元(圖中未示)。舉例而言，反變換單元可對低頻帶參考及目標頻道應用反DFT操作以產生時域頻道220、222。
高頻帶中間信號解碼器164可經組態以解碼經編碼中間信號182之高頻帶部分以產生經解碼高頻帶中間信號224。作為非限制性實 例，若經編碼中間信號182為在50Hz與16kHz之間的具有音訊內容之超寬頻信號，則經編碼中間信號182之高頻帶部分可自8kHz跨越至16kHz。高頻帶中間信號解碼器166可解碼經編碼中間信號182之高頻帶部分以產生經解碼高頻帶中間信號224。經解碼高頻帶中間信號224(例如，時域頻道)經提供至高頻帶殘值預測單元168及ICBWE解碼器174。
高頻帶殘值預測單元168可經組態以處理經解碼高頻帶中間信號224以產生高頻帶殘值預測信號226(例如，高頻帶立體填充頻道或經預測高頻帶側信號)。舉例而言，高頻帶殘值預測單元168包括一或多個全通去相關濾波器。高頻帶殘值預測單元168可將全通去相關濾波器應用於經解碼高頻帶中間信號224(例如，16kHz頻寬信號)以產生(或「預測」)高頻帶殘值預測信號226。高頻帶殘值預測信號226經提供至ICBWE解碼器174。
在特定實施中，高頻帶殘值預測單元168包括全通去相關濾波器及增益映射器。全通去相關濾波器藉由對經解碼高頻帶中間信號224進行濾波而產生經濾波信號(例如，時域信號)。增益映射器藉由對經濾波信號執行增益映射操作而產生高頻帶殘值預測信號226。
在特定實施中，高頻帶殘值預測單元168藉由執行頻譜映射操作、濾波操作或兩者而產生高頻帶殘值預測信號226。舉例而言，高頻帶殘值預測單元168藉由對經解碼高頻帶中間信號224執行頻譜映射操作而產生頻譜映射信號且藉由對頻譜映射信號進行濾波而產生高頻帶殘值預測信號226。
ICBWE解碼器174可經組態以基於經解碼高頻帶中間信號224、高頻帶殘值預測信號226參數184(例如，ICBWE參數)產生高頻帶 左頻道228及高頻帶右頻道230。關於圖3描述ICBWE解碼器174之操作。
參考圖3，展示ICBWE解碼器174之特定實施。ICBWE解碼器174包括高頻帶殘值產生單元302、頻譜映射器304、增益映射器306、組合電路308、頻譜映射器310、增益映射器312、組合電路314及頻道選擇器316。
高頻帶殘值預測信號226經提供至高頻帶殘值產生單元302。殘值預測增益186(經編碼成位元串流180)亦經提供至高頻帶殘值產生單元302。高頻帶殘值產生單元302可經組態以將殘值預測增益186應用於高頻帶殘值預測信號226以產生高頻帶殘值頻道324(例如，高頻帶側信號)。在一些實施中，當在不同頻帶中存在多於一個高頻帶殘值預測增益時，此等增益可以不同方式在不同高頻帶頻率上應用。此可藉由自多個高頻帶殘值預測增益導出濾波器及運用此濾波器對高頻帶殘值預測信號226進行濾波以產生高頻帶殘值頻道324來達成。高頻帶殘值頻道324經提供至組合電路314及頻譜映射器310。
根據一個實施，對於12.8kHz低頻帶核心，藉由高頻帶殘值產生單元302使用殘值預測增益來處理高頻帶殘值預測信號226(例如，中間高頻帶立體填充信號)。舉例而言，高頻帶殘值產生單元302可將兩頻帶增益映射至一階濾波器。該處理可在未翻轉域(例如，涵蓋32kHz信號之6.4kHz至14.4kHz)中執行。替代地，該處理可對經頻譜翻轉及降混高頻帶頻道(例如，涵蓋基頻處之6.4kHz至14.4kHz)執行。對於16kHz低頻帶核心，將中間信號低頻帶非線性激勵與包絡形狀雜訊混合以產生目標高頻帶非線性激勵。目標高頻帶非線性激勵係使用中間信號高頻帶低通濾波器來濾波以產生經解碼高頻帶中間信號224。
經解碼高頻帶中間信號224經提供至組合電路314及頻譜映射器304。組合電路314可經組態以組合經解碼高頻帶中間信號224與高頻帶殘值頻道324以產生高頻帶參考頻道332。在一些實施中，在產生高頻帶參考頻道332之前，組合電路314之經組合輸出可首先運用基於190之增益因數而縮放。高頻帶參考頻道332經提供至頻道選擇器316。
頻譜映射器304可經組態以對經解碼高頻帶中間信號224執行第一頻譜映射操作以產生經頻譜映射高頻帶中間信號320。舉例而言，頻譜映射器304可將頻譜映射參數188(例如，經解量化頻譜映射參數)應用於經解碼高頻帶中間信號224以產生經頻譜映射高頻帶中間信號320。經頻譜映射高頻帶中間信號320經提供至增益映射器306。
增益映射器306可經組態以對經頻譜映射高頻帶中間信號320執行第一增益映射操作以產生第一高頻帶增益映射頻道322。舉例而言，增益映射器306可將增益映射參數190應用於經頻譜映射高頻帶中間信號320以產生第一高頻帶增益映射頻道322。第一高頻帶增益映射頻道322經提供至組合電路308。
在圖3中所說明之實施中，ICBWE解碼器174包括頻譜映射器304。應理解在一些其他實施中，ICBWE解碼器174不包括頻譜映射器304。在此等實施中，經解碼高頻帶中間信號224經提供至增益映射器306(而非頻譜映射器304)且增益映射器306對經解碼高頻帶中間信號224執行第一增益映射操作以產生第一高頻帶增益映射頻道322。舉例而言，增益映射器306可將增益映射參數190應用於經解碼高頻帶中間信號224以產生第一高頻帶增益映射頻道322。
頻譜映射器310可經組態以對高頻帶殘值頻道324執行第二 頻譜映射操作以產生經頻譜映射高頻帶殘值頻道326。舉例而言，頻譜映射器310可將頻譜映射參數188應用於高頻帶殘值頻道324以產生經頻譜映射高頻帶殘值頻道326。經頻譜映射高頻帶殘值頻道326經提供至增益映射器312。
增益映射器312可經組態以對經頻譜映射高頻帶殘值頻道326執行第二增益映射操作以產生第二高頻帶增益映射頻道328。舉例而言，增益映射器312可將增益映射參數190應用於經頻譜映射高頻帶殘值頻道326以產生第二高頻帶增益映射頻道328。第二高頻帶增益映射頻道328經提供至組合電路308。
在圖3中所說明之實施中，ICBWE解碼器174包括頻譜映射器310。應理解在一些其他實施中，ICBWE解碼器174不包括頻譜映射器310。在此等實施中，高頻帶殘值頻道324經提供至增益映射器312(而非頻譜映射器310)且增益映射器312對高頻帶殘值頻道324執行第二增益映射操作以產生第二高頻帶增益映射頻道328。舉例而言，增益映射器312可將增益映射參數190應用於高頻帶殘值頻道324以產生第二高頻帶增益映射頻道328。
在其他替代實施中，替代對高頻帶殘值頻道324及經解碼高頻帶中間信號224獨立地應用頻譜映射，組合器308可組合頻道324、224，頻譜映射器304可對經組合頻道執行頻譜映射操作，且增益映射器306可對所得頻道執行增益映射以產生高頻帶目標頻道330。在另一替代實施中，可獨立對高頻帶殘值頻道324及經解碼高頻帶中間信號224執行頻譜映射操作，組合器308可組合所得頻道，且增益映射器306可應用增益以產生高頻帶目標頻道330。
組合電路308可經組態以組合第一高頻帶增益映射頻道322與第二高頻帶增益映射頻道328以產生高頻帶目標頻道330。高頻帶目標頻道330經提供至頻道選擇器316。
頻道選擇器316可經組態以指定高頻帶參考頻道332或高頻帶目標頻道330中之一者作為高頻帶左頻道228。頻道選擇器316亦可經組態以指定高頻帶參考頻道332或高頻帶目標頻道330中之另一者作為高頻帶右頻道230。舉例而言，參考頻道指示符192經提供至頻道選擇器316。若參考頻道指示符192具有二進位值「0」，則頻道選擇器316指定高頻帶參考頻道332作為高頻帶左頻道228且指定高頻帶目標頻道330作為高頻帶右頻道230。若參考頻道指示符192具有二進位值「1」，則頻道選擇器316指定高頻帶參考頻道332作為高頻帶右頻道230且指定高頻帶目標頻道330作為高頻帶左頻道228。
返回參看圖2，高頻帶左頻道228經提供至組合電路206，且高頻帶右頻道230經提供至組合電路208。組合電路206可經組態以組合低頻帶左頻道220與高頻帶左頻道228以產生左頻道126，且組合電路208可經組態以組合低頻帶右頻道222與高頻帶右頻道230以產生右頻道128。
關於圖1至圖3所描述之技術可藉由略過經解碼低頻帶中間信號212之重取樣操作而減少計算複雜度。舉例而言，替代在32kHz處重取樣經解碼低頻帶中間信號212，組合經重取樣之信號至經解碼高頻帶中間信號224，及基於經組合信號判定殘值預測信號(例如，立體填充頻道或側信號)，可單獨地判定經解碼低頻帶中間信號212之殘值預測。結果，與重取樣經解碼低頻帶中間信號212相關聯的計算複雜度得以減少且可在16kHz(相較於32kHz)處執行對低頻帶殘值預測信號214之DFT分析。
參看圖4，展示處理經編碼位元串流之方法400。方法400可藉由圖1之第二裝置106執行。更具體言之，方法400可藉由接收器160及解碼器162執行。
方法400包括在402處在解碼器處接收包括編碼器中間信號之位元串流。舉例而言，參看圖1，接收器160可自第一裝置104接收位元串流180。位元串流180包括經編碼中間信號182及參數184。
方法400亦包括在404處解碼經編碼中間信號之低頻帶部分以產生經解碼低頻帶中間信號。舉例而言，參看圖2，低頻帶中間信號解碼器可解碼經編碼中間信號182之低頻帶部分以產生經解碼低頻帶中間信號212。方法400亦包括在406處處理經解碼低頻帶中間信號以產生低頻帶殘值預測信號。舉例而言，參看圖2，低頻帶殘值預測單元170可處理經解碼低頻帶中間信號212以產生低頻帶殘值預測信號214。
方法400亦包括在408處部分基於經解碼低頻帶中間信號及低頻帶殘值預測信號產生低頻帶左頻道及低頻帶右頻道。舉例而言，參看圖2，變換單元202可對低頻帶殘值預測信號214執行第一變換操作以產生頻域低頻帶殘值預測信號216。變換單元204可對經解碼低頻帶中間信號212執行第二變換操作以產生頻域低頻帶中間信號218。升混處理器172可接收參數184(包括參考頻道指示符192及殘值預測增益186)，且升混處理器172可執行升混操作以基於參數184、頻域低頻帶中間信號218及頻域低頻帶殘值預測信號216產生低頻帶左頻道220及低頻帶右頻道222。
方法400亦包括在410處解碼經編碼中間信號之高頻帶部分以產生經解碼高頻帶中間信號。舉例而言，參看圖2，高頻帶中間信號解碼器164可解碼經編碼中間信號182之高頻帶部分以產生經解碼高頻帶中 間信號224。方法400亦包括在412處處理經解碼高頻帶中間信號以產生高頻帶殘值預測信號。舉例而言，參看圖2，高頻帶殘值預測單元168可處理經解碼高頻帶中間信號224以產生高頻帶殘值預測信號226。在另一實施中，可自低頻帶殘值預測信號214估計高頻帶殘值預測信號226。舉例而言，可基於低頻帶殘值預測信號214之非線性諧波頻寬延展估計高頻帶殘值預測信號226。在替代實施中，高頻帶殘值預測信號226可基於時間及頻譜形狀雜訊。時間及頻譜形狀雜訊可基於低頻帶參數及高頻帶參數。
方法400亦包括在414處基於經解碼高頻帶中間信號及高頻帶殘值預測信號產生高頻帶左頻道及高頻帶右頻道。舉例而言，參看圖2至圖3，ICBWE解碼器174可基於經解碼高頻帶中間信號224及高頻帶殘值預測信號226產生高頻帶左頻道228及高頻帶右頻道230。舉例而言，高頻帶殘值產生單元302將殘值預測增益186應用於高頻帶殘值預測信號226以產生高頻帶殘值頻道324。組合電路314組合經解碼高頻帶中間信號224與高頻帶殘值頻道324以產生高頻帶參考頻道332。
另外，頻譜映射器304對經解碼高頻帶中間信號224執行第一頻譜映射操作以產生經頻譜映射高頻帶中間信號320。增益映射器306對經頻譜映射高頻帶中間信號320執行第一增益映射操作以產生第一高頻帶增益映射頻道322。頻譜映射器310對高頻帶殘值頻道324執行第二頻譜映射操作以產生經頻譜映射高頻帶殘值頻道326。增益映射器312對經頻譜映射高頻帶殘值頻道326執行第二增益映射操作以產生第二高頻帶增益映射頻道328。第一高頻帶增益映射頻道322及第二高頻帶增益映射頻道328經組合以產生高頻帶目標頻道330。基於參考頻道指示符192，頻道330、332中之一者經指定為高頻帶左頻道228且頻道330、332中之另一者 經指定為高頻帶右頻道230。
方法400亦包括在416處輸出左頻道及右頻道。左頻道可基於低頻帶左頻道及高頻帶左頻道，且右頻道可基於低頻帶右頻道及高頻帶右頻道。舉例而言，參看圖2，組合電路206可組合低頻帶左頻道220與高頻帶左頻道228以產生左頻道126，且組合電路208可組合低頻帶右頻道222與高頻帶右頻道230以產生右頻道128。圖1之擴音器142、144可分別輸出頻道126、128。
圖4之方法400可藉由略過或省去經解碼低頻帶中間信號212之重取樣操作而減少計算複雜度。舉例而言，替代在32kHz處重取樣經解碼低頻帶中間信號212，組合經重取樣之信號至經解碼高頻帶中間信號224，及基於經組合信號判定殘值預測信號(例如，立體填充頻道或側信號)，可單獨地判定經解碼低頻帶中間信號212之殘值預測。結果，與重取樣經解碼低頻帶中間信號212相關聯的計算複雜度得以減少且可在16kHz(相較於32kHz)處執行對低頻帶殘值預測信號214之DFT分析。
參看圖5，描繪了裝置(例如，無線通信裝置)之特定說明性實例的方塊圖，且通常將該裝置指定為500。在各種實施中，裝置500可具有比圖5中所說明較少或較多的組件。在說明性實施中，裝置500可對應於圖1之第一裝置104或圖1之第二裝置106。在說明性實施中，裝置500可執行參看圖1至圖4之系統及方法所描述之一或多個操作。
在特定實施中，裝置500包括處理器506(例如，中央處理單元(CPU))。裝置500可包括一或多個額外處理器510(例如，一或多個數位信號處理器(DSP))。處理器510可包括媒體(例如，語音及音樂)寫碼器解碼器(編碼解碼器)508及回音消除器512。媒體編碼解碼器508可包括解 碼器162、編碼器134或其組合。
裝置500可包括記憶體553及編碼解碼器534。儘管媒體編碼解碼器508經說明為處理器510之組件(例如，專用電路系統及/或可執行程式碼)，但在其他實施中，媒體編碼解碼器508之一或多個組件(諸如，解碼器162、編碼器134或其組合)可包括於處理器506、編碼解碼器534、另一處理組件或其組合中。
裝置500可包括耦接至天線542之接收器160。裝置500可包括耦接至顯示控制器526之顯示器528。可將一或多個揚聲器548耦接至編碼解碼器534。一或多個麥克風546可經由一或多個輸入介面112耦接至編碼解碼器534。在特定實施中，揚聲器548可包括圖1之第一擴音器142、第二擴音器144，或其組合。在特定實施中，麥克風546可包括圖1之第一麥克風146、第二麥克風148，或其組合。編碼解碼器534可包括數位至類比轉換器(DAC)502及類比至數位轉換器(ADC)504。
記憶體553可包括可由處理器506、處理器510、編碼解碼器534、裝置500之另一處理單元或其組合執行，以執行參看圖1至圖4描述之一或多個操作的指令591。
裝置500之一或多個組件可經由專用硬體(例如，電路系統)、藉由執行一或多個任務之處理器執行指令或其組合來實施。作為實例，記憶體553或處理器506、處理器510及/或編碼解碼器534之一或多個組件可為記憶體裝置，諸如隨機存取記憶體(RAM)、磁阻隨機存取記憶體(MRAM)、自旋扭矩轉移MRAM(STT-MRAM)、快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、電可抹除可程式化唯讀記憶體(EEPROM)、暫存器、硬碟、 可卸除式磁碟或光碟唯讀記憶體(CD-ROM)。記憶體裝置可包括指令(例如，指令591)，該等指令在由一電腦(例如，編碼解碼器534中之處理器、處理器506及/或處理器510)執行時，可使該電腦執行參看圖1至圖4所描述之一或多個操作。作為實例，記憶體553或處理器506、處理器510及/或編碼解碼器534中之一或多個組件可為包括指令(例如，指令591)之非暫時性電腦可讀媒體，該等指令在由一電腦(例如，編碼解碼器534中之處理器、處理器506及/或處理器510)執行時，使該電腦執行參看圖1至圖4所描述之一或多個操作。
在特定實施中，裝置500可包括於系統級封裝或系統單晶片裝置(例如，行動台數據機(MSM))522中。在特定實施中，處理器506、處理器510、顯示控制器526、記憶體553、編碼解碼器534及接收器160包括於系統級封裝或系統單晶片裝置522中。在特定實施中，諸如觸控螢幕及/或小鍵盤之輸入裝置530及電源供應器544耦接至系統單晶片裝置522。此外，在特定實施中，如圖5中所說明，顯示器528、輸入裝置530、揚聲器548、麥克風546、天線542及電源供應器544在系統單晶片裝置522的外部。然而，顯示器528、輸入裝置530、揚聲器548、麥克風546、天線542及電源供應器544中之每一者可耦接至系統單晶片裝置522的組件，諸如介面或控制器。
裝置500可包括：無線電話、行動通信裝置、行動電話、智慧型手機、蜂巢式電話、膝上型電腦、桌上型電腦、電腦、平板電腦、機上盒、個人數位助理(PDA)、顯示裝置、電視、遊戲控制台、音樂播放器、收音機、視訊播放器、娛樂單元、通信裝置、固定位置資料單元、個人媒體播放器、數位視訊播放器、數位視訊光碟(DVD)播放器、調諧器、 攝影機、導航裝置、解碼器系統、編碼器系統或其任何組合。
參看圖6，描繪基地台600之特定說明性實例之方塊圖。在各種實施中，基地台600可具有比圖6中所說明較多或較少的組件。在說明性實例中，基地台600可包括圖1之第一裝置104或第二裝置106。在說明性實例中，基地台600可根據參看圖1至圖4所描述之方法或系統中之一或多者操作。
基地台600可為無線通信系統之部分。無線通信系統可包括多個基地台及多個無線裝置。無線通信系統可為長期演進(LTE)系統、分碼多重存取(CDMA)系統、全球行動通信系統(GSM)系統、無線區域網路(WLAN)系統，或某其他無線系統。CDMA系統可實施寬頻CDMA(WCDMA)、CDMA 1X、演進資料最佳化(EVDO)、分時同步CDMA(TD-SCDMA)，或某其他版本之CDMA。
無線裝置亦可被稱作使用者裝備(UE)、行動台、終端機、存取終端機、用戶單元、站等。該等無線裝置可包括：蜂巢式電話、智慧型手機、平板電腦、無線數據機、個人數位助理(PDA)、手持型裝置、膝上型電腦、智慧筆記型電腦、迷你筆記型電腦、平板電腦、無接線電話、無線區域迴路(WLL)台、藍芽裝置等。無線裝置可包括或對應於圖6之裝置600。
各種功能可藉由基地台600之一或多個組件(及/或在未圖示之其他組件中)執行，諸如發送及接收訊息及資料(例如，音訊資料)。在特定實例中，基地台600包括處理器606(例如，CPU)。基地台600可包括轉碼器610。轉碼器610可包括音訊編碼解碼器608。舉例而言，轉碼器610可包括經組態以執行音訊編碼解碼器608之操作的一或多個組件(例 如，電路系統)。作為另一實例，轉碼器610可經組態以執行一或多個電腦可讀指令以執行音訊編碼解碼器608之操作。儘管音訊編碼解碼器608經說明為轉碼器610之組件，但在其他實例中，音訊編碼解碼器608之一或多個組件可包括於處理器606、另一處理組件，或其組合中。舉例而言，解碼器638(例如，聲碼器解碼器)可包括於接收器資料處理器664中。作為另一實例，編碼器636(例如，聲碼器編碼器)可包括於傳輸資料處理器682中。
轉碼器610可起到在兩個或多於兩個網路之間轉碼訊息及資料的作用。轉碼器610可經組態以將訊息及音訊資料自第一格式(例如，數位格式)轉換成第二格式。舉例而言，解碼器638可對具有第一格式之經編碼信號進行解碼，且編碼器636可將經解碼信號編碼成具有第二格式之經編碼信號。另外地或替代性地，轉碼器610可經組態以執行資料速率調適。舉例而言，轉碼器610可在不改變音訊資料之格式的情況下下轉換資料速率或上轉換資料速率。舉例而言，轉碼器610可將64千位元/s信號下轉換成16千位元/s信號。
音訊編碼解碼器608可包括編碼器636及解碼器638。編碼器636可包括圖1之編碼器134。解碼器638可包括圖1之解碼器162。
基地台600可包括記憶體632。諸如電腦可讀儲存裝置之記憶體632可包括指令。指令可包括可由處理器606、轉碼器610或其組合執行，以執行參看圖1至圖4之方法及系統所描述之一或多個操作的一或多個指令。基地台600可包括耦接至天線陣列之多個傳輸器及接收器(例如，收發器)，諸如第一收發器652及第二收發器654。天線陣列可包括第一天線642及第二天線644。天線陣列可經組態以無線方式與一或多個無線裝置 通信，諸如圖6之裝置600。舉例而言，第二天線644可自無線裝置接收資料串流614(例如，位元串流)。資料串流614可包括訊息、資料(例如，經編碼語音資料)，或其組合。
基地台600可包括網路連接660，諸如空載傳輸連接。網路連接660可經組態以與核心網路或無線通信網路之一或多個基地台通信。舉例而言，基地台600可自核心網路經由網路連接660接收第二資料串流(例如，訊息或音訊資料)。基地台600可處理第二資料串流以產生訊息或音訊資料，且經由天線陣列之一或多個天線將訊息或音訊資料提供至一或多個無線裝置，或經由網路連接660將其提供至另一基地台。在特定實施中，網路連接660可為廣域網路(WAN)連接，如說明性非限制性實例。在一些實施中，核心網路可包括或對應於公眾交換電話網路(PSTN)、封包基幹網路或兩者。
基地台600可包括耦接至網路連接660及處理器606之媒體閘道器670。媒體閘道器670可經組態以在不同電信技術之媒體串流之間轉換。舉例而言，媒體閘道器670可在不同傳輸協定、不同寫碼方案或兩者之間轉換。舉例而言，媒體閘道器670可自PCM信號轉換成即時輸送協定(RTP)信號，如說明性非限制性實例。媒體閘道器670可在封包交換式網路(例如，網際網路通訊協定語音(VoIP)網路、IP多媒體子系統(IMS)、第四代(4G)無線網路(諸如，LTE、WiMax及UMB)等)、電路切換式網路(例如，PSTN)及混合式網路(例如，第二代(2G)無線網路(諸如，GSM、GPRS及EDGE)、第三代(3G)無線網路(諸如，WCDMA、EV-DO及HSPA)等)之間轉換資料。
另外，媒體閘道器670可包括轉碼且可經組態以當編碼解 碼器不相容時轉碼資料。舉例而言，媒體閘道器670可在適應性多重速率(AMR)編碼解碼器與G.711編碼解碼器之間進行轉碼，作為說明性非限制性實例。媒體閘道器670可包括路由器及複數個實體介面。在一些實施中，媒體閘道器670亦可包括控制器(圖中未示)。在一特定實施中，媒體閘道器控制器可在媒體閘道器670外部、在基地台600外部或在兩者外部。媒體閘道器控制器可控制並協調操作多個媒體閘道器。媒體閘道器670可自媒體閘道器控制器接收控制信號，且可起到在不同傳輸技術之間橋接器的作用，且可添加對最終使用者能力及連接之服務。
基地台600可包括耦接至收發器652、收發器654、接收器資料處理器664及處理器606之解調變器662，且接收器資料處理器664可耦接至處理器606。解調變器662可經組態以解調自收發器652、654所接收之經調變信號，且可經組態以將經解調資料提供至接收器資料處理器664。接收器資料處理器664可經組態以自經解調資料提取訊息或音訊資料，且將訊息或音訊資料發送至處理器606。
基地台600可包括傳輸資料處理器682及傳輸多輸入多輸出(MIMO)處理器684。傳輸資料處理器682可耦接至處理器606及傳輸MIMO處理器684。傳輸MIMO處理器684可耦接至收發器652、收發器654及處理器606。在一些實施中，可將傳輸MIMO處理器684耦接至媒體閘道器670。傳輸資料處理器682可經組態以自處理器606接收訊息或音訊資料，且基於諸如CDMA或正交分頻多工(OFDM)之寫碼方案寫碼該等訊息或該音訊資料，作為說明性非限制性實例。傳輸資料處理器682可提供經寫碼資料至傳輸MIMO處理器684。
可使用CDMA或OFDM技術將經寫碼資料與諸如導頻資料 之其他資料多工在一起以產生經多工資料。經多工資料接著可藉由傳輸資料處理器682基於特定調變方案(例如，二進位相移鍵控(「BPSK」)、正交相移鍵控(「QSPK」)、M-元相移鍵控(「M-PSK」)、M-元正交振幅調變(「M-QAM」)等)調變(亦即，符號映射)以產生調變符號。在一特定實施中，經寫碼資料及其他資料可使用不同調變方案調變。針對每一資料串流之資料速率、寫碼及調變可由處理器606執行之指令判定。
傳輸MIMO處理器684可經組態以自傳輸資料處理器682接收調變符號，且可進一步處理調變符號，且可對資料執行波束成形。舉例而言，傳輸MIMO處理器684可將波束成形權重應用於調變符號。波束成形權重可對應於天線陣列之一或多個天線(自該等天線傳輸調變符號)。
在操作期間，基地台600之第二天線644可接收資料串流614。第二收發器654可自第二天線644接收資料串流614，且可將資料串流614提供至解調變器662。解調變器662可解調資料串流614之經調變信號且將經解調資料提供至接收器資料處理器664。接收器資料處理器664可自經解調資料提取音訊資料且將所提取音訊資料提供至處理器606。
處理器606可將音訊資料提供至轉碼器610以供轉碼。轉碼器610之解碼器638可將音訊資料自第一格式解碼成經解碼音訊資料，且編碼器636可將經解碼音訊資料編碼成第二格式。在一些實施中，編碼器636可使用與自無線裝置接收之資料速率相比較高資料速率(例如，上轉換)或較低資料速率(例如，下轉換)編碼音訊資料。在其他實施中，音訊資料可未經轉碼。儘管轉碼(例如，解碼及編碼)經說明為藉由轉碼器610執行，但轉碼操作(例如，解碼及編碼)可藉由基地台600之多個組件執行。舉例而言，解碼可由接收器資料處理器664執行，且編碼可由傳輸資 料處理器682執行。在其他實施中，處理器606可將音訊資料提供至媒體閘道器670用於轉換成另一傳輸協定、寫碼方案或兩者。媒體閘道器670可經由網路連接660將經轉換資料提供至另一基地台或核心網路。
可經由處理器606將在編碼器636處產生之經編碼音訊資料(諸如，經轉碼資料)提供至傳輸資料處理器682或網路連接660。可將來自轉碼器610之經轉碼音訊資料提供至傳輸資料處理器682，用於根據諸如OFDM之調變方案寫碼，以產生調變符號。傳輸資料處理器682可將調變符號提供至傳輸MIMO處理器684以供進一步處理及波束成形。傳輸MIMO處理器684可應用波束成形權重，且可經由第一收發器652將調變符號提供至天線陣列之一或多個天線，諸如第一天線642。因此，基地台600可將對應於自無線裝置所接收之資料串流614的經轉碼資料串流616提供至另一無線裝置。經轉碼資料串流616可具有與資料串流614相比不同之編碼格式、資料速率或兩者。在其他實施中，經轉碼資料串流616可提供至網路連接660以供傳輸至另一基地台或核心網路。
在特定實施中，本文所揭示之系統及裝置的一或多個組件可整合至解碼系統或設備(例如，電子裝置、編碼解碼器或其中之處理器)中，整合至編碼系統或設備中，或整合至兩者中。在其他實施中，本文所揭示之系統及裝置之一或多個組件可整合至以下各者中：無線電話、平板電腦、桌上型電腦、膝上型電腦、機上盒、音樂播放器、視訊播放器、娛樂單元、電視、遊戲控制台、導航裝置、通信裝置、個人數位助理(PDA)、固定位置資料單元、個人媒體播放器或另一類型之裝置。
結合所描述技術，設備包括用於接收經編碼中間信號的構件。舉例而言，用於接收經編碼中間信號的構件可包括圖1及圖5之接收器 160、圖1、圖2及圖5之解碼器162、圖6之解碼器638、一或多個其他裝置、電路、模組或其任何組合。
設備亦包括用於解碼經編碼中間信號之低頻帶部分以產生經解碼低頻帶中間信號的構件。舉例而言，用於解碼的構件可包括圖1、圖2及圖5之解碼器162、圖1至圖2之低頻帶中間信號解碼器166、圖5之編碼解碼器508、圖5之處理器506、可由處理器執行的指令591、圖6之解碼器638、一或多個其他裝置、電路、模組或其任何組合。
設備亦包括用於處理經解碼低頻帶中間信號以產生低頻帶殘值預測信號的構件。舉例而言，用於處理的構件可包括圖1、圖2及圖5之解碼器162、圖1至圖2之低頻帶殘值預測單元170、圖5之編碼解碼器508、圖5之處理器506、可由處理器執行的指令591、圖6之解碼器638、一或多個其他裝置、電路、模組或其任何組合。
設備亦包括用於部分基於經解碼低頻帶中間信號及低頻帶殘值預測信號產生低頻帶左頻道及低頻帶右頻道的構件。舉例而言，用於產生的構件可包括圖1、圖2及圖5之解碼器162、圖1至圖2之升混處理器172、圖5之編碼解碼器508、圖5之處理器506、可由處理器執行的指令591、圖6之解碼器638、一或多個其他裝置、電路、模組或其任何組合。
設備亦包括用於解碼經編碼中間信號之高頻帶部分以產生經解碼高頻帶中間信號的構件。舉例而言，用於解碼的構件可包括圖1、圖2及圖5之解碼器162、圖1至圖2之高頻帶中間信號解碼器164、圖5之編碼解碼器508、圖5之處理器506、可由處理器執行的指令591、圖6之解碼器638、一或多個其他裝置、電路、模組或其任何組合。
設備亦包括用於處理經解碼高頻帶中間信號以產生高頻帶 殘值預測信號的構件。舉例而言，用於處理的構件可包括圖1、圖2及圖5之解碼器162、圖1至圖2之高頻帶殘值預測單元168、圖5之編碼解碼器508、圖5之處理器506、可由處理器執行的指令591、圖6之解碼器638、一或多個其他裝置、電路、模組或其任何組合。
設備亦包括用於基於該經解碼高頻帶中間信號及該高頻帶殘值預測信號產生一高頻帶左頻道及一高頻帶右頻道的構件。舉例而言，用於產生的構件可包括圖1、圖2及圖5之解碼器162、圖1至圖3之ICBWE解碼器174、圖3之高頻帶殘值產生單元302、圖3之頻譜映射器304、圖3之頻譜映射器310、圖3之增益映射器306、圖3之增益映射器312、圖3之組合電路308、314、圖3之頻道選擇器316、圖5之編碼解碼器508、圖5之處理器506、可由處理器執行的指令591、圖6之解碼器638、一或多個其他裝置、電路、模組或其任何組合。
設備亦包括用於輸出左頻道及右頻道的構件。左頻道可基於低頻帶左頻道及高頻帶左頻道，且右頻道可基於低頻帶右頻道及高頻帶右頻道。舉例而言，用於輸出的該構件可包括圖1之擴音器142、144、圖5之揚聲器548、一或多個其他裝置、電路、模組或其任何組合。
應注意，藉由本文所揭示之系統及裝置之一或多個組件執行的各種功能經描述為藉由某些組件或模組執行。組件及模組之此劃分僅用於說明。在一替代性實施中，由特定組件或模組執行之功能可被劃分於多個組件或模組之中。此外，在替代性實施中，兩個或多於兩個組件或模組可被整合至單個組件或模組中。每一組件或模組可使用硬體(例如，場可程式化閘陣列(FPGA)裝置、特殊應用積體電路(ASIC)、DSP、控制器等)、軟體(例如，可由處理器執行的指令)或其任何組合來實施。
熟習此項技術者將進一步瞭解，結合本文中所揭示之實施而描述的各種說明性邏輯區塊、組態、模組、電路及演算法步驟可實施為電子硬體、由諸如硬體處理器之處理裝置執行的電腦軟體或兩者之組合。上文大體在功能性方面描述各種說明性組件、區塊、組態、模組、電路及步驟。此功能性經實施為硬體或是可執行軟體取決於特定應用及強加於整個系統之設計約束而定。對於每一特定應用而言，熟習此項技術者可針對每一特定應用而以變化之方式實施所描述之功能性，而不應將此等實施決策解譯為致使脫離本發明之範疇。
結合本文中所揭示之實施描述之方法或演算法之步驟可直接體現於硬體中、由處理器執行之軟體模組中或兩者之組合中。軟體模組可駐留於記憶體裝置中，諸如隨機存取記憶體(RAM)、磁電阻隨機存取記憶體(MRAM)、自旋力矩轉移(STT-MRAM)、快閃記憶體、唯讀記憶體(ROM)、可程式化唯讀記憶體(PROM)、可擦除可程式化唯讀記憶體(EPROM)、電可擦除可程式化唯讀記憶體(EEPROM)、暫存器、硬碟、抽取式磁碟或光碟唯讀記憶體(CD-ROM)。例示性記憶體裝置耦接至處理器，以使得處理器可自記憶體裝置讀取資訊及將資訊寫入至記憶體裝置。在替代方案中，記憶體裝置可與處理器成一體式。處理器及儲存媒體可駐留於特殊應用積體電路(ASIC)中。ASIC可駐留於計算裝置或使用者終端機中。在替代例中，處理器及儲存媒體可作為離散組件駐留於計算裝置或使用者終端機中。
提供對所揭示實施之先前描述，以使得熟習此項技術者能夠製作或使用所揭示之實施。熟習此項技術者將容易地顯而易見對此等實施之各種修改，且在不背離本發明之範疇的情況下，本文中所定義之原理 可應用於其他實施。因此，本發明並非意欲限於本文中所展示之實施，而應符合可能與如以下申請專利範圍所定義之原理及新穎特徵相一致的最廣泛範疇。
100:系統
104:第一裝置
106:第二裝置
110:傳輸器
112:輸入介面
120:網路
126:左頻道
128:右頻道
130:第一音訊頻道
132:第二音訊頻道
134:編碼器
136:頻道間頻寬延展(ICBWE)編碼器
142:第一擴音器
144:第二擴音器
146:第一麥克風
148:第二麥克風
152:聲源
153:記憶體
160:接收器
162:解碼器
164:高頻帶中間信號解碼器
166:低頻帶中間信號解碼器
168:高頻帶殘值預測單元
170:低頻帶殘值預測單元
172:升混處理器
174:頻道間頻寬延展(ICBWE)解碼器
180:位元串流
182:經編碼中間信號
184:參數
186:殘值預測增益
188:頻譜映射參數
190:增益映射參數
191:指令
192:參考頻道指示符

Claims (35)

  1. 一種音訊信號寫碼裝置，其包含：一低頻帶中間信號解碼器，其經組態以解碼一經編碼中間信號之一低頻帶部分以產生一經解碼低頻帶中間信號；一低頻帶殘值預測單元，其經組態以處理該經解碼低頻帶中間信號以產生一低頻帶殘值預測信號；一升混處理器，其經組態以部分基於該經解碼低頻帶中間信號及該低頻帶殘值預測信號以產生一低頻帶左頻道及一低頻帶右頻道；一高頻帶中間信號解碼器，其經組態以解碼該經編碼中間信號之一高頻帶部分以產生一時域經解碼高頻帶中間信號；一高頻帶殘值預測單元，其經組態以處理該時域經解碼高頻帶中間信號以產生一時域高頻帶殘值預測信號；及一頻道間頻寬延展解碼器，其經組態以基於該時域經解碼高頻帶中間信號及該時域高頻帶殘值預測信號以產生一高頻帶左頻道及一高頻帶右頻道。
  2. 如請求項1之裝置，其包含經組態以接收一位元串流之一接收器，該位元串流包括該經編碼中間信號、一或多個參數及一參考頻道指示符，該一或多個參數包含一殘值預測增益，其中該升混處理器經進一步組態以至少部分基於該一或多個參數及該參考頻道指示符以產生該低頻帶左頻道及該低頻帶右頻道。
  3. 如請求項1之裝置，其中該高頻帶殘值預測單元包含：一或多個全通濾波器，其經組態以藉由對該時域經解碼高頻帶中間信號進行濾波而產生一經濾波時域信號；及一增益映射器，其經組態以藉由對該經濾波時域信號執行一增益映射操作而產生該時域高頻帶殘值預測信號。
  4. 如請求項1之裝置，其中該高頻帶殘值預測單元經進一步組態以進行以下操作：藉由對該時域經解碼高頻帶中間信號執行一頻譜映射操作而產生一經頻譜映射信號；及藉由對該經頻譜映射信號進行濾波而產生該時域高頻帶殘值預測信號。
  5. 如請求項1之裝置，其進一步包含：一第一組合電路，其經組態以組合該低頻帶左頻道與該高頻帶左頻道以產生一左頻道；一第二組合電路，其經組態以組合該低頻帶右頻道與該高頻帶右頻道以產生一右頻道；及一輸出裝置，其經組態以輸出該左頻道及該右頻道。
  6. 如請求項1之裝置，其中該頻道間頻寬延展解碼器包含：一高頻帶殘值產生單元，其經組態以將一殘值預測增益應用於該時域高頻帶殘值預測信號以產生一高頻帶殘值頻道；及 一第三組合電路，其經組態以組合該時域經解碼高頻帶中間信號與該高頻帶殘值頻道以產生一高頻帶參考頻道。
  7. 如請求項6之裝置，其中該頻道間頻寬延展解碼器進一步包含：一第一頻譜映射器，其經組態以對該時域經解碼高頻帶中間信號執行一第一頻譜映射操作以產生一經頻譜映射高頻帶中間信號；及一第二頻譜映射器，其經組態以對該高頻帶殘值頻道執行一第二頻譜映射操作以產生一經頻譜映射高頻帶殘值頻道。
  8. 如請求項6之裝置，其中該頻道間頻寬延展解碼器進一步包含一第一增益映射器，該第一增益映射器經組態以對該時域經解碼高頻帶中間信號執行一第一增益映射操作以產生一第一高頻帶增益映射頻道。
  9. 如請求項8之裝置，其中該頻道間頻寬延展解碼器進一步包含一第二增益映射器，該第二增益映射器經組態以對該高頻帶殘值頻道執行一第二增益映射操作以產生一第二高頻帶增益映射頻道。
  10. 如請求項9之裝置，其中該頻道間頻寬延展解碼器進一步包含：一第四組合電路，其經組態以組合該第一高頻帶增益映射頻道與該第二高頻帶增益映射頻道以產生一高頻帶目標頻道；及一頻道選擇器，其經組態以進行以下操作：接收一參考頻道指示符；及基於該參考頻道指示符進行以下操作： 將該高頻帶參考頻道或該高頻帶目標頻道中之一者指定為該高頻帶左頻道；及將該高頻帶參考頻道或該高頻帶目標頻道中之另一者指定為該高頻帶右頻道。
  11. 如請求項1之裝置，其中該裝置可操作為一基地台。
  12. 如請求項1之裝置，其中該裝置可操作為一行動裝置。
  13. 一種音訊信號寫碼方法，其包含：解碼一經編碼中間信號之一低頻帶部分以產生一經解碼低頻帶中間信號；處理該經解碼低頻帶中間信號以產生一低頻帶殘值預測信號；部分基於該經解碼低頻帶中間信號及該低頻帶殘值預測信號而產生一低頻帶左頻道及一低頻帶右頻道；解碼該經編碼中間信號之一高頻帶部分以產生一經解碼高頻帶中間信號；處理該經解碼高頻帶中間信號以產生一高頻帶殘值預測信號；及基於該經解碼高頻帶中間信號及該高頻帶殘值預測信號而產生一高頻帶左頻道及一高頻帶右頻道。
  14. 如請求項13之方法，其進一步包含：對該低頻帶殘值預測信號執行一第一變換操作以產生一頻域低頻帶 殘值預測信號；及對該經解碼低頻帶中間信號執行一第二變換操作以產生一頻域低頻帶中間信號。
  15. 如請求項14之方法，其進一步包含：接收一或多個參數及一參考頻道指示符，該一或多個參數包含一殘值預測增益；及基於該一或多個參數、該參考頻道指示符、該頻域低頻帶殘值預測信號及該頻域低頻帶中間信號而產生該低頻帶左頻道及該低頻帶右頻道。
  16. 如請求項13之方法，其進一步包含：組合該低頻帶左頻道與該高頻帶左頻道以產生一左頻道；及組合該低頻帶右頻道與該高頻帶右頻道以產生一右頻道。
  17. 如請求項13之方法，其進一步包含：將一殘值預測增益應用於該高頻帶殘值預測信號以產生一高頻帶殘值頻道；及組合該經解碼高頻帶中間信號與該高頻帶殘值頻道以產生一高頻帶參考頻道。
  18. 如請求項17之方法，其進一步包含：對該經解碼高頻帶中間信號執行一第一頻譜映射操作以產生一經頻譜映射高頻帶中間信號；及 對該經頻譜映射高頻帶中間信號執行一第一增益映射操作以產生一第一高頻帶增益映射頻道。
  19. 如請求項18之方法，其進一步包含：對該高頻帶殘值頻道執行一第二頻譜映射操作以產生一經頻譜映射高頻帶殘值頻道；及對該經頻譜映射高頻帶殘值頻道執行一第二增益映射操作以產生一第二高頻帶增益映射頻道。
  20. 如請求項19之方法，其進一步包含：組合該第一高頻帶增益映射頻道與該第二高頻帶增益映射頻道以產生一高頻帶目標頻道；接收一參考頻道指示符；及基於該參考頻道指示符進行以下操作：將該高頻帶參考頻道或該高頻帶目標頻道中之一者指定為該高頻帶左頻道；及將該高頻帶參考頻道或該高頻帶目標頻道中之另一者指定為該高頻帶右頻道。
  21. 如請求項13之方法，其中處理該經解碼低頻帶中間信號包含按比例調整該經解碼低頻帶中間信號。
  22. 如請求項13之方法，其中處理該經解碼低頻帶中間信號包含對該經 解碼低頻帶中間信號進行濾波。
  23. 如請求項13之方法，其中處理該經解碼高頻帶中間信號係在一基地台處執行。
  24. 如請求項13之方法，其中處理該經解碼高頻帶中間信號係在一行動裝置處執行。
  25. 一種非暫時性電腦可讀媒體，其包含的指令在由一解碼器內之一處理器執行時使該處理器執行包含以下各者之操作：解碼一經編碼中間信號之一低頻帶部分以產生一經解碼低頻帶中間信號；處理該經解碼低頻帶中間信號以產生一低頻帶殘值預測信號；部分基於該經解碼低頻帶中間信號及該低頻帶殘值預測信號而產生一低頻帶左頻道及一低頻帶右頻道；解碼該經編碼中間信號之一高頻帶部分以產生一經解碼高頻帶中間信號；處理該經解碼高頻帶中間信號以產生一高頻帶殘值預測信號；及基於該經解碼高頻帶中間信號及該高頻帶殘值預測信號而產生一高頻帶左頻道及一高頻帶右頻道。
  26. 如請求項25之非暫時性電腦可讀媒體，其中該等操作進一步包含：對該低頻帶殘值預測信號執行一第一變換操作以產生一頻域低頻帶 殘值預測信號；及對該經解碼低頻帶中間信號執行一第二變換操作以產生一頻域低頻帶中間信號。
  27. 如請求項26之非暫時性電腦可讀媒體，其中該等操作進一步包含：接收一或多個參數及一參考頻道指示符，該一或多個參數包含一殘值預測增益；及基於該一或多個參數、該參考頻道指示符、該頻域低頻帶殘值預測信號及該頻域低頻帶中間信號而產生該低頻帶左頻道及該低頻帶右頻道。
  28. 如請求項25之非暫時性電腦可讀媒體，其中該等操作進一步包含：組合該低頻帶左頻道與該高頻帶左頻道以產生一左頻道；及組合該低頻帶右頻道與該高頻帶右頻道以產生一右頻道。
  29. 如請求項25之非暫時性電腦可讀媒體，其中該等操作進一步包含：將一殘值預測增益應用於該高頻帶殘值預測信號以產生一高頻帶殘值頻道；及組合該經解碼高頻帶中間信號與該高頻帶殘值頻道以產生一高頻帶參考頻道。
  30. 如請求項29之非暫時性電腦可讀媒體，其中該等操作進一步包含：對該經解碼高頻帶中間信號執行一第一頻譜映射操作以產生一經頻譜映射高頻帶中間信號；及 對該經頻譜映射高頻帶中間信號執行一第一增益映射操作以產生一第一高頻帶增益映射頻道。
  31. 如請求項30之非暫時性電腦可讀媒體，其進一步包含：對該高頻帶殘值頻道執行一第二頻譜映射操作以產生一經頻譜映射高頻帶殘值頻道；及對該經頻譜映射高頻帶殘值頻道執行一第二增益映射操作以產生一第二高頻帶增益映射頻道。
  32. 如請求項31之非暫時性電腦可讀媒體，其中該等操作進一步包含：組合該第一高頻帶增益映射頻道與該第二高頻帶增益映射頻道以產生一高頻帶目標頻道；接收一參考頻道指示符；及基於該參考頻道指示符進行以下操作：將該高頻帶參考頻道或該高頻帶目標頻道中之一者指定為該高頻帶左頻道；及將該高頻帶參考頻道或該高頻帶目標頻道中之另一者指定為該高頻帶右頻道。
  33. 一種音訊信號寫碼設備，其包含：用於解碼一經編碼中間信號之一低頻帶部分以產生一經解碼低頻帶中間信號的構件；用於處理該經解碼低頻帶中間信號以產生一低頻帶殘值預測信號的 構件；用於部分基於該經解碼低頻帶中間信號及該低頻帶殘值預測信號而產生一低頻帶左頻道及一低頻帶右頻道的構件；用於解碼該經編碼中間信號之一高頻帶部分以產生一經解碼高頻帶中間信號的構件；用於處理該經解碼高頻帶中間信號以產生一高頻帶殘值預測信號的構件；及用於基於該經解碼高頻帶中間信號及該高頻帶殘值預測信號而產生一高頻帶左頻道及一高頻帶右頻道的構件。
  34. 如請求項33之設備，其中該設備可操作為一基地台。
  35. 如請求項33之設備，其中該設備可操作為一行動裝置。
TW107119754A 2017-06-29 2018-06-08 用於具有時域頻道間頻寬延展之高頻帶殘值預測的音訊信號寫碼裝置、方法、包含指令的非暫時性電腦可讀媒體及設備 TWI778073B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762526854P 2017-06-29 2017-06-29
US62/526,854 2017-06-29
US16/000,551 US10431231B2 (en) 2017-06-29 2018-06-05 High-band residual prediction with time-domain inter-channel bandwidth extension
US16/000,551 2018-06-05

Publications (2)

Publication Number Publication Date
TW201905901A TW201905901A (zh) 2019-02-01
TWI778073B true TWI778073B (zh) 2022-09-21

Family

ID=64738792

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107119754A TWI778073B (zh) 2017-06-29 2018-06-08 用於具有時域頻道間頻寬延展之高頻帶殘值預測的音訊信號寫碼裝置、方法、包含指令的非暫時性電腦可讀媒體及設備

Country Status (8)

Country Link
US (2) US10431231B2 (zh)
EP (1) EP3646321B1 (zh)
KR (1) KR102471279B1 (zh)
CN (1) CN110800051B (zh)
AU (1) AU2018291865B2 (zh)
SG (1) SG11201910914SA (zh)
TW (1) TWI778073B (zh)
WO (1) WO2019005441A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10573326B2 (en) * 2017-04-05 2020-02-25 Qualcomm Incorporated Inter-channel bandwidth extension
US10431231B2 (en) 2017-06-29 2019-10-01 Qualcomm Incorporated High-band residual prediction with time-domain inter-channel bandwidth extension
US12073842B2 (en) * 2019-06-24 2024-08-27 Qualcomm Incorporated Psychoacoustic audio coding of ambisonic audio data
CN115883049B (zh) * 2022-11-30 2023-07-18 深圳市云天数字能源有限公司 信号同步方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100106493A1 (en) * 2007-03-30 2010-04-29 Panasonic Corporation Encoding device and encoding method
US8244547B2 (en) * 2008-08-29 2012-08-14 Kabushiki Kaisha Toshiba Signal bandwidth extension apparatus
US20160275957A1 (en) * 2013-07-22 2016-09-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewan Dten Forschung E.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
TW201713061A (zh) * 2015-08-17 2017-04-01 高通公司 高頻帶目標信號控制

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101048649A (zh) * 2004-11-05 2007-10-03 松下电器产业株式会社 可扩展解码装置及可扩展编码装置
CN101185125B (zh) * 2005-04-01 2012-01-11 高通股份有限公司 用于带宽延伸语音预测激励信号的抗稀疏滤波的方法和设备
KR101379263B1 (ko) * 2007-01-12 2014-03-28 삼성전자주식회사 대역폭 확장 복호화 방법 및 장치
CA2949616C (en) 2009-03-17 2019-11-26 Dolby International Ab Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding
JP5817499B2 (ja) 2011-12-15 2015-11-18 富士通株式会社 復号装置、符号化装置、符号化復号システム、復号方法、符号化方法、復号プログラム、及び符号化プログラム
US9666202B2 (en) * 2013-09-10 2017-05-30 Huawei Technologies Co., Ltd. Adaptive bandwidth extension and apparatus for the same
US9620134B2 (en) * 2013-10-10 2017-04-11 Qualcomm Incorporated Gain shape estimation for improved tracking of high-band temporal characteristics
EP3067887A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
US9837089B2 (en) * 2015-06-18 2017-12-05 Qualcomm Incorporated High-band signal generation
US10074373B2 (en) * 2015-12-21 2018-09-11 Qualcomm Incorporated Channel adjustment for inter-frame temporal shift variations
US10431231B2 (en) 2017-06-29 2019-10-01 Qualcomm Incorporated High-band residual prediction with time-domain inter-channel bandwidth extension

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100106493A1 (en) * 2007-03-30 2010-04-29 Panasonic Corporation Encoding device and encoding method
US8244547B2 (en) * 2008-08-29 2012-08-14 Kabushiki Kaisha Toshiba Signal bandwidth extension apparatus
US20160275957A1 (en) * 2013-07-22 2016-09-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewan Dten Forschung E.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
TW201713061A (zh) * 2015-08-17 2017-04-01 高通公司 高頻帶目標信號控制

Also Published As

Publication number Publication date
KR20200017432A (ko) 2020-02-18
US20190005973A1 (en) 2019-01-03
US20190341063A1 (en) 2019-11-07
SG11201910914SA (en) 2020-01-30
US10885925B2 (en) 2021-01-05
TW201905901A (zh) 2019-02-01
EP3646321B1 (en) 2021-10-13
AU2018291865B2 (en) 2023-03-16
KR102471279B1 (ko) 2022-11-25
WO2019005441A1 (en) 2019-01-03
EP3646321A1 (en) 2020-05-06
AU2018291865A1 (en) 2019-12-19
BR112019026971A2 (pt) 2020-06-30
CN110800051B (zh) 2023-09-15
CN110800051A (zh) 2020-02-14
US10431231B2 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
US9978381B2 (en) Encoding of multiple audio signals
CN110622242B (zh) 用于立体声解码的立体声参数
US10885922B2 (en) Time-domain inter-channel prediction
US10885925B2 (en) High-band residual prediction with time-domain inter-channel bandwidth extension
KR102581558B1 (ko) 채널간 위상차 파라미터 수정

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent