TWI517141B - 編碼器、解碼器、殘差信號產生器、編碼系統、解碼方法、產生殘差信號之方法、以及相關電腦可讀媒體與電腦程式 - Google Patents

編碼器、解碼器、殘差信號產生器、編碼系統、解碼方法、產生殘差信號之方法、以及相關電腦可讀媒體與電腦程式 Download PDF

Info

Publication number
TWI517141B
TWI517141B TW102113450A TW102113450A TWI517141B TW I517141 B TWI517141 B TW I517141B TW 102113450 A TW102113450 A TW 102113450A TW 102113450 A TW102113450 A TW 102113450A TW I517141 B TWI517141 B TW I517141B
Authority
TW
Taiwan
Prior art keywords
signals
audio object
downmix
residual
signal
Prior art date
Application number
TW102113450A
Other languages
English (en)
Other versions
TW201407603A (zh
Inventor
索爾斯特 卡斯特納
喬根 希瑞
喬尼 帕露斯
黎恩 泰倫堤夫
奧利薇 賀穆斯
哈拉德 福契斯
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW201407603A publication Critical patent/TW201407603A/zh
Application granted granted Critical
Publication of TWI517141B publication Critical patent/TWI517141B/zh

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

編碼器、解碼器、殘差信號產生器、編碼系統、解碼方法、產生殘差信號之方法、以及相關電腦可讀媒體與電腦程式 發明領域
本發明係關於音訊信號編碼、解碼及處理，且詳言之，係關於運用針對參數音訊物件編碼之殘差概念之編碼器、解碼器及方法。
發明背景
近來，在音訊編碼(參見例如[BCC]、[JSC]、[SAOC]、[SAOC1]及[SAOC2])及通知來源分離(參見例如[ISS1]、[ISS2]、[ISS3]、[ISS4]、[ISS5]及[ISS6])的領域已提議用於包括多個音訊物件之音訊場景之位元速率高效傳輸/儲存的參數技術。此等技術旨在基於額外旁側資訊來重新建構所要的輸出音訊場景或所要的音訊來源物件，該額外旁側資訊描述所傳輸及/或儲存之音訊場景及/或該音訊場景中的音訊來源物件。
圖5描述SAOC(SAOC=空間音訊物件編碼)系統概述，其說明使用MPEG SAOC(MPEG=動畫專家組)之實例 的此類參數系統之原理(參見例如[SAOC]、[SAOC1]及[SAOC2])。
一般處理係以時間/頻率選擇性方式進行且可被描述如下：
SAOC編碼器510(詳言之，SAOC編碼器510之旁側資訊估計器530)擷取旁側資訊，該旁側資訊描述最多32個輸入音訊物件信號s1...s32之特性(以其最簡單形式，描述音訊物件信號之物件功率的關係)。SAOC編碼器510之混音器520使用縮混增益因數d1,1...d32,2來縮混該等音訊物件信號s1...s32以獲得單聲道或雙聲道信號混合物(即，一個或兩個縮混信號)。
傳輸或儲存該(等)縮混信號及旁側資訊。為此，可使用音訊編碼器540編碼該(等)縮混音訊信號。音訊編碼器540可為熟知的感知音訊編碼器，例如，MPEG-1層II或III(aka.mp3)音訊編碼器、MPEG進階音訊編碼(AAC)音訊編碼器等。
在接收器側，對應的音訊解碼器550(例如，感知音訊解碼器，諸如MPEG-1層II或III(aka.mp3)音訊解碼器、MPEG進階音訊編碼(AAC)音訊解碼器等)解碼已編碼之縮混音訊信號。
SAOC解碼器560概念上試圖使用所傳輸及/或儲存之旁側資訊，例如藉由使用虛擬物件分離器570，自一個或兩個縮混信號恢復原始(音訊)物件信號(「物件分離」)。然後藉由SAOC解碼器560之再現器580使用再現矩陣(由係 數r1,1...r32,6描述)將此等估計的(音訊)物件信號s1,est...s32,est混音成由最多6個音訊輸出通道y1,est...y6,est表示的目標場景。輸出可為單聲道、雙聲道立體聲或5.1多聲道目標場景(例如，一個、兩個或六個音訊輸出信號)。
歸因於在解碼側對音訊物件之參數估計的潛在限制；在大多數情況下，不能完美地產生所要的目標輸出場景。在極端操作點(例如，一個音訊物件之單獨播放)，該處理常常不再能達成充分的主觀聲音。為此，已藉由引入增強式音訊物件(EAO)來擴展SAOC方案(參見例如[Dfx]，此外，參見例如[SAOC])。編碼為EAO之音訊物件展現出相比編碼於同一縮混信號中的其他(普通)非增強式音訊物件(非EAO)而言有所增加的分離能力，其代價為旁側資訊速率有所增加。EAO概念針對每一EAO考慮參數模式之預測誤差(殘差信號)。
圖6描述在編碼器側的殘差估計，其示意性地說明針對每一EAO之殘差信號的計算。在SAOC編碼器中，使用所擷取參數旁側資訊(PSI)及原始來源信號估計殘差信號(至多為4個EAO)，對該等殘差信號進行波形編碼且將其作為非參數殘差旁側資訊(RSI)包括於SAOC位元串流中。更詳細而言，用於EAO之PSI SAOC解碼器610自縮混X產生估計音訊物件信號。RSI產生單元620然後基於所產生的估計音訊物件信號sest,EAO且基於原始EAO音訊物件信號s1,...,s4產生至多四個殘差信號sres,RSI,{1,...,4}。
圖7描述具有EAO支援的SAOC解碼器之基本結 構，其說明整合於SAOC解碼/轉碼鏈(轉碼=資料自一種編碼至另一種編碼的轉換)中的EAO處理方案之概念概述。
藉由CPC估計單元710自參數旁側資訊(PSI)導出縮混信號導向式參數(即，通道預測係數(CPC))。
將CPC與縮混信號一起饋入至2至N方框(TTN方框)720中。TTN方框720概念上試圖自所傳輸之縮混信號(X)估計EAO(sest,EAO)並且提供估計的非EAO縮混(Xest,nonEAO)，其僅由非EAO組成。
RSI處理單元730使用所傳輸及/或儲存(且解碼)之殘差信號(sres,RSI)來增強EAO(sest,EAO)之估計以及僅非EAO物件之對應縮混(XnonEAO)。
根據目前技術水平，在下一步驟中，RSI處理單元730將非EAO縮混信號(XnonEAO)饋入至SAOC縮混處理器(PSI解碼單元)740中，來估計非EAO物件sest,nonEAO。PSI解碼單元740將估計的非EAO音訊物件sest,nonEAO傳遞至再現單元750。此外，RSI處理單元將增強的饋入至再現單元750中。再現單元750然後基於估計的非EAO音訊物件sest,nonEAO且基於增強的產生單聲道或或立體聲輸出信號。
目前技術水平的系統有以下缺點：在應用殘差信號來在SAOC解碼器中計算EAO之前，必須自所傳輸/儲存之參數旁側資訊計算縮混導向式CPC。
所有縮混信號必須在SAOC殘差概念內予以處 理，無論其對EAO處理是否有用。
歸因於TTN方框的限制，SAOC殘差概念僅可配合單聲道或雙聲道信號混合物來使用。EAO殘差概念無法結合多聲道混合物(例如，5.1多聲道混合物)來使用。
此外，歸因於其估計的對應計算複雜性，SAOC EAO對EAO的數目提出限制(即，至多4個)。
由於此等限制，SAOC EAO殘差處置概念無法應用於多聲道(例如5.1)縮混信號或用於超過4個EAO。
因此，提供針對音訊信號編碼、音訊信號解碼及音訊信號處理之改良概念將很受欣賞。
發明概要
本發明之一目標係提供針對音訊信號編碼、音訊信號解碼及音訊信號處理之改良概念。本發明之該目標係由以下各者來解決：如申請專利範圍第1項之解碼器、如申請專利範圍第11項之殘差信號產生器、如申請專利範圍第19項之編碼器、如申請專利範圍第21項之系統、如申請專利範圍第22項之已編碼信號、如申請專利範圍第23項之方法、如申請專利範圍第24項之方法及如申請專利範圍第25項之電腦程式。
提供一種解碼器。該解碼器包括一參數解碼單元，該參數解碼單元用於藉由升混三個或更多個縮混信號來產生多個第一估計音訊物件信號，其中該等三個或更多個縮混信號編碼多個原始音訊物件信號，其中該參數解碼 單元經組配來取決於參數旁側資訊來升混該等三個或更多個縮混信號，該參數旁側資訊指示關於該等多個原始音訊物件信號的資訊。此外，該解碼器包括一殘差處理單元，該殘差處理單元用於藉由修改該等第一估計音訊物件信號中的一或多個來產生多個第二估計音訊物件信號，其中該殘差處理單元經組配來取決於一或多個殘差信號修改該等第一估計音訊物件信號中之該等一或多個。
實施例呈現物件導向式殘差概念，其改良EAO之感知品質。與目前技術水平的系統不同，所呈現的概念既不局限於縮混信號之數目也不局限於EAO之數目。呈現了兩種用來導出物件相關殘差信號的方法。一種串列概念，其中隨著EAO之數目增加，反覆地減少殘差信號之能量，其代價為計算複雜性較高；以及第二種概念，其計算複雜性較低，其中同時突擊所有殘差。
此外，實施例提供在解碼器側應用物件導向式殘差信號的改良概念以及針對以下情況所設計之複雜性有所減小的概念：其中在解碼器側僅調處EAO，或者非EAO之修改局限於增益縮放。
根據一實施例，殘差處理單元可經組配來取決於至少三個殘差信號來修改該等第一估計音訊物件信號中之該等一或多個。解碼器係經調適來基於該等多個第二估計音訊物件信號來產生至少三個音訊輸出通道。
根據一實施例，解碼器進一步可包括一縮混修改單元。殘差處理單元可判定該等多個第二估計音訊物件信 號中的一或多個音訊物件信號。縮混修改單元可經調適來自該等三個或更多個縮混信號中移除該等經判定之一或多個第二估計音訊物件信號，以獲得三個或更多個經修改的縮混信號。參數解碼單元可經組配來基於該等三個或更多個經修改的縮混信號判定該等第一估計音訊物件信號中的一或多個音訊物件信號。
在一特定實施例中，縮混修改單元可例如經調適來應用公式。
此外，解碼器可經調適來進行兩個或更多個反覆步驟。針對每一反覆步驟，參數解碼單元可經調適來判定該等多個第一估計音訊物件信號中的確切一個音訊物件信號。此外，針對該反覆步驟，殘差處理單元可經調適來藉由修改該等多個第一估計音訊物件信號中的該音訊物件信號判定該等多個第二估計音訊物件信號中的確切一個音訊物件信號。此外，針對該反覆步驟，縮混修改單元可經調適來自該等三個或更多個縮混信號中移除該等多個第二估計音訊物件信號中的該音訊物件信號，以修改該等三個或更多個縮混信號。在該反覆步驟之後的下一反覆步驟中，參數解碼單元可經調適來基於已修改的該等三個或更多個縮混信號判定該等多個第一估計音訊物件信號中的確切一個音訊物件信號。
在一實施例中，一或多個殘差信號中每一者指示該等多個原始音訊物件信號中之一者與該等一或多個第一估計音訊物件信號中之一者之間的差。
根據一實施例，其中殘差處理單元可經調適來藉由修改該等第一估計音訊物件信號中的五個或更多個來產生多個第二估計音訊物件信號，其中殘差處理單元可經組配來取決於五個或更多個殘差信號來修改該等第一估計音訊物件信號中的該等五個或更多個。
在另一實施例中，解碼器可經組配來基於該等多個第二估計音訊物件信號來產生七個或更多個音訊輸出通道。
根據另一實施例，解碼器可經調適來不判定通道預測係數來判定該等多個第二估計音訊物件信號。實施例提供概念，以使得目前為止係在目前技術水平的SAOC中為解碼所必需的通道預測係數不再為解碼所必需的。
在另一實施例中，該解碼器可為SAOC解碼器。
提供一種殘差信號產生器。該殘差信號產生器包括一參數解碼單元，該參數解碼單元用於藉由升混三個或更多個縮混信號來產生多個估計音訊物件信號，其中該等三個或更多個縮混信號編碼多個原始音訊物件信號，其中該參數解碼單元經組配來取決於參數旁側資訊來升混該等三個或更多個縮混信號，該參數旁側資訊指示關於該等多個原始音訊物件信號的資訊。此外，殘差信號產生器包括一殘差估計單元，該殘差估計單元用於基於該等多個原始音訊物件信號且基於該等多個估計音訊物件信號來產生多個殘差信號，使得該等多個殘差信號中每一者係一差信號，該差信號指示該等多個原始音訊物件信號中之一者與 該等多個估計音訊物件信號中之一者之間的一差。
在一實施例中，殘差估計單元可經調適來基於該等多個原始音訊物件信號中的至少五個原始音訊物件信號且基於該等多個估計音訊物件信號中的至少五個估計音訊物件信號來產生至少五個殘差信號。
在一實施例中，殘差信號產生器可進一步包括一縮混修改單元，該縮混修改單元經調適來修改該等三個或更多個縮混信號以獲得三個或更多個經修改的縮混信號。參數解碼單元可經組配來基於該等三個或更多個經修改的縮混信號判定該等第一估計音訊物件信號中的一或多個音訊物件信號。
在一實施例中，縮混修改單元可例如經組配來：藉由自該等三個或更多個原始縮混信號中移除該等多個原始音訊物件信號中的一或多個，來修改該等三個或更多個原始縮混信號以獲得該等三個或更多個經修改的縮混信號。
在另一實施例中，縮混修改單元可例如經組配來：藉由基於該等估計音訊物件信號中的一或多個且基於該等殘差信號中的一或多個來產生一或多個經修改的音訊物件信號，以及藉由自該等三個或更多個原始縮混信號中移除該等經修改的音訊物件信號，來修改該等三個或更多個原始縮混信號以獲得該等三個或更多個經修改的縮混信號。例如，該等一或多個經修改的音訊物件信號中每一者可藉由縮混修改單元，以修改該等估計音訊物件信號之一 來產生，其中該縮混修改單元可經調適來取決於該等一或多個殘差信號之一而修改該估計音訊物件信號。
在上述兩個實施例中，縮混修改單元可例如經調 適來應用公式，其中X係將要修改之縮混，其 中D指示縮混資訊，其中S eao 包括將要移除的原始音訊物件信號或經修改的音訊物件信號，其中指示將要移除的信號之位置，且其中係經修改的縮混信號。例如，音訊物件信號之位置(所在)對應於其音訊物件在所有物件之清單中的位置(所在)。
根據一實施例，殘差信號產生器可經調適來進行兩個或更多個反覆步驟。針對每一反覆步驟，參數解碼單元可經調適來判定該等多個估計音訊物件信號中的確切一個音訊物件信號。此外，針對該反覆步驟，殘差估計單元可經調適來藉由修改該等多個估計音訊物件信號中的該音訊物件信號判定該等多個殘差信號中的確切一個殘差信號。此外，針對該反覆步驟，縮混修改單元可經調適來修改該等三個或更多個縮混信號。在該反覆步驟之後的下一反覆步驟中，參數解碼單元可經調適來基於已修改的該等三個或更多個縮混信號判定該等多個估計音訊物件信號中的確切一個音訊物件信號。
在一實施例中，提供一種編碼器，該編碼器用於藉由產生三個或更多個縮混信號，藉由產生參數旁側資訊以及藉由產生多個殘差信號來編碼多個原始音訊物件信號。該編碼器包括一縮混產生器，該縮混產生器用於提供 指示該等多個原始音訊物件信號之一縮混的該等三個或更多個縮混信號。此外，該編碼器包括一參數旁側資訊估計器，該參數旁側資訊估計器用於產生指示關於多個原始音訊物件信號的資訊之該參數旁側資訊，以獲得該參數旁側資訊。此外，該編碼器包括根據上述實施例中之一者的殘差信號產生器。該殘差信號產生器之該參數解碼單元經調適來藉由升混由該縮混產生器提供的該等三個或更多個縮混信號來產生多個估計音訊物件信號，其中該縮混信號編碼該等多個原始音訊物件信號。該參數解碼單元經組配來取決於由該參數旁側資訊估計器產生之該參數旁側資訊來升混該等三個或更多個縮混信號。該殘差信號產生器之該殘差估計單元經調適來基於該等多個原始音訊物件信號且基於該等多個估計音訊物件信號來產生多個殘差信號，使得該等多個殘差信號中每一者指示在該等多個原始音訊物件信號中之一者與該等多個估計音訊物件信號中之一者之間的一差。
在一實施例中，編碼器可為SAOC編碼器。
此外，提供一種系統。該系統包括根據上述實施例中之一者的編碼器，該編碼器用於藉由產生三個或更多個縮混信號，藉由產生參數旁側資訊以及藉由產生多個殘差信號來編碼多個原始音訊物件信號。此外，該系統包括根據上述實施例中之一者的解碼器，其中該解碼器經組配來基於由該編碼器產生之該等三個或更多個縮混信號，基於由該編碼器產生之該參數旁側資訊且基於由該編碼器產 生之該等多個殘差信號來產生多個音訊輸出通道。
此外，提供一種已編碼音訊信號。該已編碼音訊信號包括三個或更多個縮混信號、參數旁側資訊及多個殘差信號。該等三個或更多個縮混信號係多個原始音訊物件信號之一縮混。該參數旁側資訊包括指示關於多個原始音訊物件信號的旁側資訊之參數。該等多個殘差信號中每一者係一差信號，該差信號指示該等多個原始音訊信號中之一者與多個估計音訊物件信號中之一者之間的一差。
此外，提供一種方法。該方法包括：- 藉由升混三個或更多個縮混信號來產生多個第一估計音訊物件信號，其中該等三個或更多個縮混信號編碼多個原始音訊物件信號，其中產生該等多個第一估計音訊物件信號包括取決於參數旁側資訊來升混該等三個或更多個縮混信號，該參數旁側資訊指示關於該等多個原始音訊物件信號的資訊，以及- 藉由修改該等第一估計音訊物件信號中的一或多個來產生多個第二估計音訊物件信號，其中產生多個第二估計音訊物件信號包括取決於一或多個殘差信號來修改該等第一估計音訊物件信號中的該等一或多個。
此外，提供另一種方法。該方法包括：- 藉由升混三個或更多個縮混信號來產生多個估計音訊物件信號，其中該等三個或更多個縮混信號編碼多個原始音訊物件信號，其中產生該等多個估計音訊物件信號包括取決於參數旁側資訊來升混該等三個或更多個縮混信 號，該參數旁側資訊指示關於該等多個原始音訊物件信號的資訊，以及- 基於該等多個原始音訊物件信號且基於該等多個估計音訊物件信號來產生多個殘差信號，使得該等多個殘差信號中每一者係一差信號，該差信號指示該等多個原始音訊物件信號中之一者與該等多個估計音訊物件信號中之一者之間的一差。
此外，提供一種電腦程式，該電腦程式用於當執行於一電腦或信號處理器上時實行上述方法中之一者。
1101、2301‧‧‧參數解碼子單元
110、230‧‧‧參數解碼單元
1201‧‧‧殘差處理子單元
120‧‧‧殘差處理單元
1251、1252‧‧‧殘差解碼子單元
130、750‧‧‧再現單元
1401、1402、2501、2502‧‧‧縮混修改子單元
140、250‧‧‧縮混修改單元
200‧‧‧殘差信號產生器
210‧‧‧縮混產生器
220‧‧‧參數旁側資訊估計器
2401‧‧‧殘差估計子單元
240‧‧‧殘差估計單元
2451、2452‧‧‧RSI產生子單元
245、620‧‧‧RSI產生單元
2461、2462‧‧‧箭頭
310‧‧‧編碼器
320‧‧‧解碼器
410‧‧‧縮混信號
420‧‧‧參數旁側資訊
430‧‧‧殘差信號
510‧‧‧SAOC編碼器
520‧‧‧混音器
530‧‧‧旁側資訊估計器
540‧‧‧音訊編碼器
550‧‧‧音訊解碼器
560‧‧‧SAOC解碼器
570‧‧‧虛擬物件分離器
580‧‧‧再現器
610‧‧‧PSI SAOC解碼器
710‧‧‧CPC估計單元
720‧‧‧TTN方框
730‧‧‧RSI處理單元
740‧‧‧PSI解碼單元
以下參考諸圖來更詳細地描述本發明之實施例，其中圖1a例示出根據一實施例之解碼器，圖1b例示出根據另一實施例之解碼器，其中該解碼器進一步包括再現器，圖2a例示出根據一實施例之殘差信號產生器，圖2b例示出根據一實施例之編碼器，圖3例示出根據一實施例之系統，圖4例示出根據一實施例之已編碼音訊信號，圖5描述SAOC系統概述，其說明使用MPEG SAOC的此類參數系統之原理，圖6描述在編碼器側的殘差估計，其示意性地說明針對每一EAO之殘差信號的計算，圖7描述具有EAO支援的SAOC解碼器之基本結構，其 說明整合於SAOC解碼/轉碼鏈中的EAO處理方案之概念概述，圖8描述根據一實施例之所呈現之以參數及殘差為基礎的音訊物件編碼方案之概念概述，圖9描述根據一實施例之用於在編碼器側聯合估計針對每一EAO信號之殘差信號的概念，圖10例示出根據一實施例之在解碼器側的聯合殘差解碼之概念，圖11例示出根據一實施例之殘差信號產生器，其中該殘差信號產生器進一步包括縮混修改單元，圖12例示出根據一實施例之解碼器，其中該解碼器進一步包括縮混修改單元，圖13例示出根據一實施例之在編碼器側以串列方式計算殘差分量的概念，圖14例示出根據一實施例之在解碼器側結合串列殘差計算來使用的串列「RSI解碼」單元，圖15例示出根據一實施例之使用串列概念的殘差信號產生器，以及圖16例示出根據一實施例之使用串列概念的解碼器。
較佳實施例之詳細說明
圖2a例示出根據一實施例之殘差信號產生器200。
殘差信號產生器200包括參數解碼單元230，其用 於藉由升混三個或更多個縮混信號(縮混信號#1、縮混信號#2、縮混信號#3，...，縮混信號#N)來產生多個估計音訊物件信號(估計音訊物件信號#1，...估計音訊物件信號#M)。三個或更多個縮混信號(縮混信號#1、縮混信號#2、縮混信號#3，...，縮混信號#N)編碼多個原始音訊物件信號(原始音訊物件信號#1，...，原始音訊物件信號#M)。參數解碼單元230經組配來取決於參數旁側資訊來升混三個或更多個縮混信號(縮混信號#1、縮混信號#2、縮混信號#3，...，縮混信號#N)，該參數旁側資訊指示關於多個原始音訊物件信號(原始音訊物件信號#1，...，原始音訊物件信號#M)的資訊。
此外，殘差信號產生器200包括殘差估計單元240，其用於基於多個原始音訊物件信號(原始音訊物件信號#1，...，原始音訊物件信號#M)且基於多個估計音訊物件信號(估計音訊物件信號#1，...估計音訊物件信號#M)來產生多個殘差信號(殘差信號#1，...，殘差信號#M)，使得多個殘差信號(殘差信號#1，...，殘差信號#M)中每一者係一差信號，該差信號指示多個原始音訊物件信號(原始音訊物件信號#1，...，原始音訊物件信號#M)中之一者與多個估計音訊物件信號(估計音訊物件信號#1，...估計音訊物件信號#M)中之一者之間的一差。
根據上述實施例之編碼器克服了目前技術水平的SAOC局限(參見[SAOC])。
目前的SAOC系統藉由使用一或多個2至1方框或 一或多個3至1方框來進行縮混。由於此等潛在的局限以及其它原因，目前的SAOC系統可將音訊物件信號縮混成至多兩個縮混通道/兩個縮混信號。
提供針對殘差信號產生器且針對編碼器之概念，其允許克服SAOC之局限，因此音訊物件編碼現在有利於使用超過兩個傳輸通道的傳輸系統。
在一實施例中，殘差估計單元240經調適來基於多個原始音訊物件信號中的至少五個原始音訊物件信號且基於多個估計音訊物件信號中的至少五個估計音訊物件信號來產生至少五個殘差信號。
圖2b例示出根據一實施例之編碼器。圖2b之編碼器包括殘差信號產生器200。
此外，該編碼器包括縮混產生器210，其用於提供指示多個原始音訊物件信號(原始音訊物件信號#1，...，原始音訊物件信號#M、另外的原始音訊物件信號)之一縮混的三個或更多個縮混信號(縮混信號#1、縮混信號#2、縮混信號#3，...，縮混信號#N)。
關於原始音訊物件信號#1，...，原始音訊物件信號#M，殘差估計單元240產生殘差信號(殘差信號#1，...，殘差信號#M)。因此，原始音訊物件信號#1，...，原始音訊物件信號#M代表增強式音訊物件(EAO)。
然而，如圖2b中可看出，另外的原始音訊物件信號可任擇地存在，其可被縮混，但將不針對其產生殘差信號。此等另外的原始音訊物件信號因此代表非增強式音訊 物件(非EAO)。
圖2b之編碼器進一步包括參數旁側資訊估計器220，其用於產生指示關於多個原始音訊物件信號(原始音訊物件信號#1，...，原始音訊物件信號#M、另外的原始音訊物件信號)的資訊之參數旁側資訊，以獲得該參數旁側資訊。在圖2b之實施例中，參數旁側資訊估計器亦考慮代表非EAO之原始音訊物件信號(另外的原始音訊物件信號)。
在一實施例中，原始音訊物件信號之數目可等於殘差信號之數目，例如，當原始音訊物件信號代表EAO時。
然而在其他實施例中，殘差信號之數目可不同於原始音訊物件信號之數目及/或可不同於估計音訊物件信號之數目，例如，當原始音訊物件信號代表非EAO時。
在一些實施例中，該編碼器係SAOC編碼器。
圖1a例示出根據一實施例之解碼器。
該解碼器包括參數解碼單元110，其用於藉由升混三個或更多個縮混信號(縮混信號#1、縮混信號#2、縮混信號#3，...，縮混信號#N)來產生多個第一估計音訊物件信號(第一估計音訊物件信號#1，...第一估計音訊物件信號#M)，其中三個或更多個縮混信號(縮混信號#1、縮混信號#2、縮混信號#3，...，縮混信號#N)編碼多個原始音訊物件信號，其中參數解碼單元110經組配來取決於參數旁側資訊來升混三個或更多個縮混信號(縮混信號#1、縮混信號#2、縮混信號#3，...，縮混信號#N)，該參數旁側資訊指示關於多個原始音訊物件信號的資訊。
此外，該解碼器包括殘差處理單元120，其用於藉由修改第一估計音訊物件信號(第一估計音訊物件信號#1，...第一估計音訊物件信號#M)中的一或多個來產生多個第二估計音訊物件信號(第二估計音訊物件信號#1，...第二估計音訊物件信號#M)，其中殘差處理單元120經組配來取決於一或多個殘差信號(殘差信號#1，...，殘差信號#M)來修改該等第一估計音訊物件信號(第一估計音訊物件信號#1，...第一估計音訊物件信號#M)中之該等一或多個。
根據上述實施例之解碼器克服了目前技術水平的SAOC局限(參見[SAOC])。
此外，目前的SAOC系統藉由使用一或多個1至2方框(OTT方框)或一或多個2至3方框(TTT方框)來進行升混。由於此等局限以及其它原因，藉由目前技術水平的SAOC解碼器無法升混由超過兩個縮混信號/縮混通道來編碼之音訊物件信號。
。提供針對解碼器之概念，其允許克服SAOC之局限，因此音訊物件編碼現在有利於使用超過兩個傳輸通道的傳輸系統。
圖1b例示出根據另一實施例之解碼器，其中該解碼器進一步包括再現單元130，其用於取決於再現資訊自第二估計音訊物件信號(第二估計音訊物件信號#1，...第二估計音訊物件信號#M)產生多個音訊輸出通道(音訊輸出通道#1，...，音訊輸出通道#R)。例如，再現資訊可為再現矩陣及/或再現矩陣之係數，且再現單元130可經組配來對第二 估計音訊物件信號(第二估計音訊物件信號#1，...第二估計音訊物件信號#M)應用該再現矩陣以獲得多個音訊輸出通道(音訊輸出通道#1，...，音訊輸出通道#R)。
根據一實施例，殘差處理單元120經組配來取決於至少三個殘差信號來修改該等第一估計音訊物件信號中的該等一或多個。該解碼器經調適來基於該等多個第二估計音訊物件信號來產生至少三個音訊輸出通道。
在另一實施例中，該等一或多個殘差信號中每一者指示該等多個原始音訊物件信號中之一者與該等一或多個第一估計音訊物件信號中之一者之間的一差。
根據一實施例，殘差處理單元120經調適來藉由修改該等第一估計音訊物件信號中的五個或更多個來產生該等多個第二估計音訊物件信號。殘差處理單元120經調適來取決於五個或更多個殘差信號來修改該等第一估計音訊物件信號中的該等五個或更多個。
在另一實施例中，該解碼器經組配來基於多個第二估計音訊物件信號來產生七個或更多個音訊輸出通道。
根據另一實施例，該解碼器經調適來不判定通道預測係數來判定多個第二估計音訊物件信號。
在另一實施例中，該解碼器係SAOC解碼器。
圖3例示出根據一實施例之系統。該系統包括根據上述實施例中之一者的編碼器310，其用於藉由產生三個或更多個縮混信號，藉由產生參數旁側資訊以及藉由產生多個殘差信號來編碼多個原始音訊物件信號(原始音訊物 件信號#1，...，原始音訊物件信號#M)。此外，該系統包括根據上述實施例中之一者的解碼器320，其經組配來基於由編碼器310產生的三個或更多個縮混信號，基於由編碼器310產生的參數旁側資訊且基於由編碼器310產生的多個殘差信號來產生多個第二估計音訊物件信號。
圖4例示出根據一實施例之已編碼音訊信號。該已編碼音訊信號包括三個或更多個縮混信號410、參數旁側資訊420以及多個殘差信號430。三個或更多個縮混信號410係多個原始音訊物件信號之縮混。參數旁側資訊420包括指示關於多個原始音訊物件信號的旁側資訊之參數。多個殘差信號430中每一者係一差信號，該差信號指示該等多個原始音訊物件信號中之一者與該等多個估計音訊物件信號中之一者之間的一差。
以下提供根據一實施例之概念概述。
圖8描述根據一實施例之所呈現之以參數及殘差為基礎的音訊物件編碼方案之概念概述，其中該編碼方案展現出進階的縮混信號及進階的EAO支援。
在編碼器側，參數旁側資訊估計器(「PSI產生單元」)220計算PSI，以用於在利用來源及縮混相關特性的解碼器處估計物件信號。RSI產生單元245藉由分析估計物件信號和與原始物件信號之間的差來針對將要增強之每一物件信號計算殘差資訊。RSI產生單元245可例如包括參數解碼單元230及殘差估計單元240。
在解碼器側，參數解碼單元(「PSI解碼」單元)110 使用給定之PSI自縮混信號估計物件信號。在第二步驟中，殘差處理單元(「RSI解碼」單元)120使用RSI來改良將要增強之估計物件信號的品質。可例如將所有物件信號(增強式及非增強式音訊物件)傳遞至再現單元130來產生目標輸出場景。
應注意，不必考慮所有縮混信號。若縮混信號對估計或/及估計並且增強物件信號的貢獻可被忽略，則可省略該等縮混信號。
為了容易理解，將圖8中之處理步驟及以下諸圖顯現為分開的處理單元。在實踐中，可將其有效地組合來減少計算複雜性。
以下提供聯合殘差編碼/解碼概念。
圖9描述根據一實施例之用於在編碼器側聯合估計針對每一EAO信號之殘差信號的概念。
參數解碼單元(「PSI解碼」單元)230在給定之估計PSI及縮混信號作為輸入的情況下產生音訊物件信號之估計(估計音訊物件信號sest,PSI,{1,...,M})。在殘差估計單元(「RSI估計」單元)240中比較估計該等音訊物件信號sest,PSI,{1,...,M}與原始未改變的來源信號s1，...，sM。殘差估計單元240提供針對將要增強之每一音訊物件的殘差/誤差信號項sres,RSI,{1,...,M}。
圖10顯示在解碼器中結合聯合殘差計算來使用的「RSI解碼」單元。詳言之，圖10例示出根據一實施例之在解碼器側的聯合殘差解碼之概念。
來自參數解碼單元(「PSI解碼」單元)110之(第一)估計音訊物件信號sest,PSI,{1,...,M}與殘差資訊(「殘差旁側資訊」)一起被饋入至殘差處理單元(「RSI解碼」)120中。殘差處理單元120自殘差(旁側)資訊及估計音訊物件信號sest,PSI,{1,...,M}計算第二估計音訊物件信號sest,RSI,{1,...,M}，例如，增強式及非增強式音訊物件信號，且產生第二估計音訊物件信號sest,RSI,{1,...,M}，例如，增強式及非增強式音訊物件信號，來作為殘差處理單元120的輸出。
另外，可進行非EAO之重新估計(圖10中未例示出)。自信號混合物中移除EAO，且自此混合物重新估計剩餘的非EAO。此產生此等物件之改良估計(與自包括所有物件信號的信號混合物之估計相比)。若目標係僅調處混合物中的增強式物件信號，則可省略此重新估計。
圖11例示出根據一實施例之殘差信號產生器，其中。
在圖11中，殘差信號產生器200進一步包括縮混修改單元250，其經調適來修改三個或更多個縮混信號以獲得三個或更多個經修改的縮混信號。
參數解碼單元230經組配來基於三個或更多個經修改的縮混信號來判定第一估計音訊物件信號中的一或多個音訊物件信號。
然後，殘差估計單元240可例如基於該等第一估計音訊物件信號中的該等一或多個音訊物件信號來判定一或多個殘差信號。
在一實施例中，縮混修改單元250可例如經組配來：藉由自三個或更多個原始縮混信號中移除多個原始音訊物件信號中的一或多個，來修改該等三個或更多個原始縮混信號以獲得三個或更多個經修改的縮混信號。
在另一實施例中，縮混修改單元250可例如經組配來：藉由基於該等估計音訊物件信號中的一或多個且基於該等殘差信號中的一或多個來產生一或多個經修改的音訊物件信號，以及藉由自該等三個或更多個原始縮混信號中移除該等一或多個經修改的音訊物件信號，來修改該等三個或更多個原始縮混信號以獲得該等三個或更多個經修改的縮混信號。例如，可由縮混修改單元藉由修改該等估計音訊物件信號中之一者來產生一或多個經修改的音訊物件信號，其中縮混修改單元可經調適來取決於一或多個殘差信號來修改該估計音訊物件信號。
在上述兩個實施例中，縮混修改單元可例如經調適來應用公式 其中X係將要修改之縮混，其中D指示相關縮混資訊，其中S eao 包括將要移除的原始音訊物件信號或將要移除的經修改的音訊物件信號，其中指示將要移除的信號之位置，以及其中X係經修改的縮混信號。
例如，音訊物件信號之位置(所在)對應於其音訊 物件在所有物件之清單中的位置(所在)。
圖12例示出根據一實施例之解碼器。
在圖12之實施例中，該解碼器進一步包括縮混修改單元140。
殘差處理單元120判定多個第二估計音訊物件信號中的一或多個音訊物件信號。
縮混修改單元140經調適來自三個或更多個縮混信號中移除一或多個第二估計音訊物件信號，以獲得三個或更多個經修改的縮混信號。
參數解碼單元110經組配來基於三個或更多個經修改的縮混信號來判定第一估計音訊物件信號中的一或多個音訊物件信號。
殘差處理單元120可然後基於第一估計音訊物件信號中的經判定之一或多個音訊物件信號來判定一或多個另外的第二估計音訊物件信號。
在一特定實施例中，縮混修改單元130可例如經調適來應用公式： 以自三個或更多個縮混信號中移除由殘差處理單元120判定之多個第二估計音訊物件信號中的一或多個音訊物件信號，以獲得三個或更多個經修改的縮混信號，其中X指示修改之前的三個或更多個縮混信號
指示三個或更多個經修改的縮混信號
D指示縮混矩陣
Z eao 指示表示EAO之位置(所在)的對映子矩陣
(關於此實施例之特定變型之更多細節，參見以下的描述)。
以下呈現串列殘差編碼/解碼概念。
圖13例示出根據一實施例之在編碼器側以串列方式計算殘差分量的概念。與聯合殘差計算概念相比，串列方法在每一反覆步驟中減少了殘差能量之能量，其代價為計算複雜性較高。在每一步驟中，在將信號混合物(縮混)傳遞至下一處理單元2452之前，自信號混合物(縮混)中移除增強式音訊物件之原始音訊物件信號中之一者(sM)(或者，在替代性實施例中，估計音訊物件信號；參見虛線箭頭2461、2462)。以此方式，信號混合物(縮混)中的物件信號之數目隨著每一處理步驟減小。下一步驟中對增強式音訊物件信號(第二估計音訊物件信號)之估計因此改良，從而連續減少殘差信號之能量。
(應注意，在其中在每一反覆步驟中自信號混合物中移除估計物件信號的替代性實施例中，縮混修改子單元2501、2502不需要接收原始音訊物件信號sM。
相反，在其中在每一反覆步驟中自信號混合物中移除原始音訊物件信號的實施例中，縮混修改子單元2501、2502不需要接收估計音訊物件信號。)
更詳細而言，圖13例示出多個RSI產生子單元2451、2452。該等多個RSI產生子單元2451、2452共同形成RSI產生單元。
該等多個RSI產生子單元2451、2452中每一者包括一參數解碼子單元2301。該等多個參數解碼子單元2301共同形成參數解碼單元。該等參數解碼子單元2301產生第一估計音訊物件信號sest,PSI,{1,...,M}。
該等多個RSI產生子單元2451、2452中每一者包括一殘差估計子單元2401。該等多個殘差估計子單元2401共同形成殘差估計單元。該等殘差估計子單元2401產生第二估計音訊物件信號sest,RSI,M、sest,RSI,M-1。
此外，圖13例示出多個縮混修改子單元2501、2502。該等縮混修改子單元2501、2502中每一者共同形成縮混修改單元。
圖14顯示根據一實施例之在解碼器側結合串列殘差計算來使用的串列「RSI解碼」單元。
在每一步驟中，由參數解碼子單元(「PSI解碼」)1101估計將要增強之物件信號中之一者(以獲得第一估計音訊物件信號中之一者sest,PSI,M)，且然後由殘差處理子單元(「RSI處理」)1201將第一估計音訊物件信號中之一者sest,PSI,M與對應的殘差信號sres,RSI,M一起處理，以產生物件信號(第二估計估計音訊物件信號中之一者)的增強式版本sest,RSI,M。在將經修改的縮混信號饋入至下一殘差解碼子單元(「殘差解碼」1252)之前，由縮混修改子單元(「縮混修改」)1401自縮混信號刪除該增強式物件信號sest,RSI,M。
與聯合殘差編碼/解碼概念相同，另外可重新估計非EAO。
更詳細而言，圖14例示出多個殘差解碼子單元1251、1252。該等多個殘差解碼子單元1251、1252共同形成殘差解碼單元。
該等多個殘差解碼子單元1251、1252中每一者包括一參數解碼子單元1101。該等多個參數解碼子單元1101共同形成參數解碼單元。該等參數解碼子單元1101產生第一估計音訊物件信號sest,PSI,{1,...,M}。
該等多個殘差解碼子單元1251、1252中每一者包括一殘差處理子單元1201。該等多個殘差處理子單元1201共同形成殘差處理單元。該等殘差處理子單元1201產生第二估計音訊物件信號sest,RSI,M、sest,RSI,M-1。
此外，圖14例示出多個縮混修改子單元1401、1402。該等縮混修改子單元1401、1402中每一者共同形成縮混修改單元。
圖15例示出根據一實施例之使用串列概念的殘差信號產生器。
在圖15中，殘差信號產生器包括縮混修改單元250。
殘差信號產生器200經調適來進行兩個或更多個反覆步驟。
針對每一反覆步驟，參數解碼單元230經調適來判定該等多個估計音訊物件信號中的確切一個音訊物件信號。
此外，針對該反覆步驟，殘差估計單元240經調 適來藉由修改該等多個估計音訊物件信號中的該音訊物件信號來判定該等多個殘差信號中的確切一個殘差信號。
此外，針對該反覆步驟，縮混修改單元250經調適來修改該等三個或更多個縮混信號。
在該反覆步驟之後的下一反覆步驟中，參數解碼單元230經調適來基於已修改之該等三個或更多個縮混信號來判定該等多個估計音訊物件信號中的確切一個音訊物件信號。
圖16例示出根據一實施例之使用串列概念的解碼器。在圖16中，該解碼器再次包括縮混修改單元140。
圖16之解碼器靜態時來進行兩個或更多個反覆步驟：針對每一反覆步驟，參數解碼單元110經調適來判定該等多個第一估計音訊物件信號中的確切一個音訊物件信號。
此外，針對該反覆步驟，殘差處理單元120經調適來藉由修改該等多個第一估計音訊物件信號中的該音訊物件信號來判定該等多個第二估計音訊物件信號中的確切一個音訊物件信號。
此外，針對該反覆步驟，縮混修改單元140經調適來自該等三個或更多個縮混信號中移除該等多個第二估計音訊物件信號中的該音訊物件信號，以修改該等三個或更多個縮混信號。
在該反覆步驟之後的下一反覆步驟中，參數解碼 單元110經調適來基於已修改的該等三個或更多個縮混信號判定該等多個第一估計音訊物件信號中的確切一個音訊物件信號。
以下描述對聯合殘差編碼/解碼概念之實例的數學推導。
下文使用以下標記法：維度：N Objects -音訊物件信號之數目
N DmxCh -縮混信號之數目
N UpmixCh -升混通道之數目
N Samples -已處理資料之數目
N EAO -EAO之數目
項目：Z * -星號運算子表示給定矩陣之共軛轉置
S -提供給編碼器之原始音訊物件信號(大小為N Objects ×N Samples )
D -縮混矩陣(大小為N DmxCh ×N Objects )
R -再現矩陣(大小為N UpmixCh ×N Objects )
X -縮混音訊信號X=DS(大小為N DmxCh ×N Samples )
Y -理想音訊輸出信號Y=RS(大小為N UpmixCh ×N Samples )
S est -經參數重新建構之物件信號估計S est ；S係定義為S est =GX(大小為N Objects ×N Samples )
-解碼器輸出，其包括所有非EAO(參數估計)及EAO(參數加殘差)信號估計，大小為N Objects ×N Samples
-升混音訊輸出信號估計；Y係定義為(大小為N UpmixCh ×N Samples )
Z nonEao ；Z eao -表示非EAO及EAO在所有物件之清單中的位置之對映子矩陣。注意，(大小為 (N Objects -N EAO )×N Objects ；N EAO ×N Objects )。非EAO的Z nonEao 及對應的Z eao 對映矩陣係定義為 公式中翻譯：if object j is the i-th non-EAO若物件係第i個非EAO；otherwise否則
公式中翻譯：if object j is the i-th EAO若物件係第i個EAO；otherwise否則例如，針對N Objects =5且物件編號2及4係EAO，此等矩陣為
D nonEao -對應於非EAO之縮混子矩陣；定義為 (大小為N DmxCh ×(N Objects -N EAO ))
D eao -對應於EAO之縮混子矩陣；定義為(大 小為N DmxCh ×N EAO )
G -參數來源估計矩陣(大小為N Objects ×N DmxCh )
E -物件協方差矩陣(大小為N Objects ×N Objects )
E nonEao -對應於非EAO之協方差子矩陣；定義為 (大小為(N Objects -N EAO )×(N Objects -N EAO ))
S eao -包括EAO之重新建構的EAO信號(大小為N EAO ×N Samples )
S nonEao -包括非EAO之重新建構的非EAO信號(大小為(N Objects -N EAO )×N Samples )
S res -針對EAO之殘差信號(大小為N EAO ×N Samples )
-僅包括非EAO信號之經修改的縮混信號；計算為SAOC縮混與重新建構之EAO的縮混之間的差(大小為N DmxCh ×N Samples )
所有所介紹的矩陣(一般而言)隨時間及頻率變化。
現在，考慮在解碼器側具有非EAO信號重新估計之一般方法：該一般方法可描述為兩步方法，其中首先自對應的縮混信號擷取所有EAO信號，且然後在考慮該等EAO的情況下重新建構所有非EAO信號。使用PSI(E,D)及併入之殘差信號(S res )自縮混信號(X)恢復物件信號。
認為最終再現的輸出信號係給出為：
解碼器輸出物件信號可表示為以下總和：
藉助於參數EAO重新建構矩陣G eao 及對應的EAO殘差S res ，自縮混X將EAO信號S eao 計算為如下： S eao =G eao X+S res 。
藉助於參數非EAO重新建構矩陣，自經修改的縮混將非EAO信號S nonEao 計算為如下：
經修改的縮混信號係如下判定為縮混X與經重新建構之EAO之對應縮混之間的差，因此自縮混信號X刪除了EAO：
此處，使用PSI(E,D)將針對EAO之參數物件重新建構矩陣G eao 及非判定如下：
下文描述在解碼器側的沒有非EAO信號重新估計之簡化方法「A」：若僅調處信號混合物中的EAO，則可將目標場景理解為縮混信號與EAO信號之線性組合。因此可省略非EAO信號之額外重新估計。具有非EAO信號重新估計的一般方法可簡化成單步程序：
信號X dif =f(S res ,D)包括EAO之所傳輸殘差信號及殘差補償項，因此以下定義成立：
此條件足以再現局限於僅調處EAO的任何聲響場景。
在且DS est =X的情況下，必須 滿足針對項目X dif 的以下約束：DX dif =0。
項目X dif 由編碼器所判定(且所傳輸或儲存)之分量S res 及將要使用此等式來判定之分量X nonEao 組成。
使用縮混矩陣之定義(D=D eao Z eao +D nonEao Z nonEao )及補償項(X dif =Z * eao S res +Z * nonEao X nonEao )，可導出以下等式：
在，且， 的情況下，該等式可簡化為：D eao S res +D nonEao X nonEao =0。
對針對X nonEao 的線性等式求解，得出：
在對此線性等式系統求解後，所要的目標場景可計算為參數預測項及殘差增強項之以下總和：
下文提供在解碼器側的沒有非EAO信號重新估計之簡化方法「B」：針對參數信號預測S est 考慮如上補償項 ，且將其表示為殘差信號S res 之以下函數 ，從而得出：
替代性公式化包括三個以下部分，其包括縮混信 號(H dmx X)、增強式物件()與非增強式物件(H est S est )之適當的線性組合，因此得出：
矩陣的大小為H dmx ：N Objects ×N DmxCh 、H enh ：N Objects ×N Objects 、S enh ：N Objects ×N Samples 及H est ：N Objects ×N Objects 。
假設DS est =X且定義，可將此寫成：
將此與經重新建構之信號之較早定義 相比較，得出：
項H est 可導出為：H est =I-H ext D ext 。
當非增強式信號之貢獻減至最低時，最終重新建構中的誤差將減至最低。因此，H est □0的目標允許自線性等式系統對項H ext 求解：H ext =D ext * (D ext D ext * )-1，其中擴展的縮混矩陣D ext 及升混矩陣H ext 係定義為串連矩陣： H ext =[H dmx H enh ]及，且因此
在對此線性等式系統求解後，可獲得所要的校正項X dif ： 從而得出最終輸出。
下文考慮簡化方法「C」：若以任意方式僅調處EAO，則可藉由縮混信號與EAO之線性組合來產生任何目標場景。注意，代替縮混，亦可使用刪除了EAO之縮混。若殘差處理完美地恢復EAO，則可完美地產生目標場景。可使用找到針對縮混及EAO重新建構之兩個分量再現矩陣R D 及R eao 來完成任何目標場景的再現。該等矩陣之大小為R D ：N UpmixCh ×N DmxCh 及R eao ：N UpmixCh ×N EAO 。目標再現矩陣可R表示為組合的再現矩陣與縮混矩陣的乘積
由此，可藉由以下對R ext 求解R ext =RD ext * (D ext D ext * )-1
且可自該解提取子矩陣R D 及R eao ，其中
現在可將目標場景計算為： 其中S eao 包括EAO之完全重新建構且定義為(如同先前)S eao =G eao X+S res 。
可公式化類似的等式，用來使用縮混來再現目標，其中藉由自縮混中減去D eao S eao 而自混合物刪除了EAO。
下文描述另一數學推導及關於聯合殘差編碼/解碼概念之進一步細節，且提供一般方法與簡化「A」之間的一致性。
從現在開始，在描述中，以下標記法適用。若針對一些元素，以下標記法與以上提供的標記法不一致，則從現在開始，在描述中，僅以下標記法適用於此等元素。
定義：S係大小為N Objects ×N Samples 的物件信號
E=SS * 係大小N Objects ×N Objects 為的物件協方差矩陣
D係大小為N DmxCh ×N Objects 的縮混矩陣
X=DS係大小為N DmxCh ×N Samples 的縮混信號
G=ED * J係大小為N Objects ×N DmxCh 的升混矩陣
M ren 係大小為N UpmixCh ×N Objects 的再現矩陣
X res 係大小為的N EAO ×N Samples 殘差信號
R eao 係大小為N EAO ×N Objects 的矩陣，其表示EAO之所在(位置)，其定義為
公式中翻譯：if object j is the i-th EAO若物件係第i個EAO；otherwise否則R nonEao 係大小為(N Objects -N EAO )×N Objects 的矩陣，其表示非EAO之所在(位置)，其定義為
公式中翻譯：if object j is the i-th non-EAO若物件係第i個非EAO；otherwise否則藉助於選擇矩陣R nonEao ，可將對應於非EAO之一些以上矩陣的子矩陣規定為：
下文提供對一般方法(在解碼器處有非EAO信號重新估計)之另一詳細屬性描述：使用旁側資訊及併入之殘差信號自縮混恢復物件信號。來自解碼器之輸出係產生為如下
在EAO的情況下，大小為N EAO 的EAO項X eao 係計算為如下X eao =R eao ED * JX+X res ，其中大小為N EAO 的殘差信號項X res 包括針對EAO之殘差信號。
包括非EAO之大小為N Objects -N EAO 的非EAO項X nonEao 係計算為
其中僅包括非EAO信號之經修改的縮混信號 係計算為SAOC縮混與重新建構的EAO之縮混之間的差
對應於非EAO之大小為(N Objects -N EAO )×(N Objects -N EAO )的協方差子矩陣E nonEao 係計算為
對應於非EAO之大小為N DmxCh ×(N Objects -N EAO )的縮混子矩陣D nonEao 係計算為
下文提供對簡化方法「A」(在解碼器處沒有非EAO信號重新估計)之另一詳細數學描述：使用旁側資訊及併入之殘差信號自縮混恢復物件信號。來自解碼器之最終輸出係產生為如下
大小為N Objects 的項X dif 併入針對EAO之N EAO 個殘差信號X res 及針對非EAO之預測項X nonEao ，如下
預測項X nonEao 係估計如下
對應於EAO之縮混子矩陣D eao 及對應於普通物件之D nonEao 係定義為D=D eao R eao +R nonEao D nonEao 。
下文考慮再現矩陣之特殊情況1：考慮大小為N DmxCh ×N Objects 的縮混類似再現矩陣M D 之以下 特殊情況，其中對EAO進行了任意修改且對非EAO僅進行了一致的縮放(與縮混相比較)
現在提供一般方法之詳細數學描述：
現在提供簡化方法「A」之詳細數學描述：
可看出，當再現矩陣之假設成立時，兩個結果相同。
現在考慮再現矩陣之特殊情況2：包括對大小為N DmxCh ×N Objects 的再現矩陣M S 之結構的額外約束：僅藉由共同縮放因數a來修改所有非EAO(與縮混相比較)，且亦僅藉由共同縮放因數b來修改所有EAO(與縮混相比較)。
從先前結果繼續，系統的輸出將為
雖然已在設備的情境中描述一些態樣，但顯然此等態樣亦表示對應的方法的描述，其中方塊或裝置對應於方法步驟或方法步驟之特徵。類似地，在方法步驟的情境中描述的態樣亦表示對應的方塊或項目對應的設備之特徵之描述。
本發明之已分解信號可儲存於數位儲存媒體上，或者可在諸如無線傳輸媒體或有線儲存媒體之傳輸媒體(諸如網際網路)上傳輸。
取決於某些實施方案需求，本發明之實施例可在硬體或軟體中實行。可使用數位儲存媒體(例如，軟碟、DVD、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體)來執行實行方案，該數位儲存媒體上儲存有電子可讀控制信號，該等信號與(或能夠與)可規劃電腦系統合作，以使得個別方法得以執行。
根據本發明之一些實施例包括非暫時性資料載體，其具有電子可讀控制信號，該等信號與(或能夠與)可規劃電腦系統合作，以使得本文中描述之該等方法中之一者得以執行。
通常可將本發明之實施例實行為具有程式碼之 電腦程式產品，當該電腦程式產品在電腦上運行時，該程式碼可操作來執行該等方法中之一者。該程式碼可例如儲存於機器可讀載體上。
其他實施例包括用於執行本文中描述之該等方法中之一者的電腦程式，其儲存於機器可讀載體上。
換言之，本發明的方法之一實施例因此係具有程式碼之電腦程式，當該電腦程式在電腦上運行時，該電腦程式用於執行本文中描述之該等方法中之一者。
本發明的方法之另一實施例因此係資料載體(或數位儲存媒體，或電腦可讀媒體)，其包括記錄於其上的用於執行本文中描述之該等方法中之一者的電腦程式。
本發明的方法之另一實施例因此係資料串流或信號序列，其表示用於執行本文中描述之該等方法中之一者的電腦程式。資料串流或信號序列可例如經組配來經由資料通訊連接(例如，經由網際網路)來傳送。
另一實施例包括處理構件，例如電腦，或可規劃邏輯裝置，其經組配來或經調適來執行本文中描述之該等方法中之一者。
另一實施例中包括電腦，其上安裝有用於執行本文中描述之該等方法中之一者的電腦程式。
在一些實施例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用來執行本文中描述之該等方法之一些或所有功能。在一些實施例中，場可規劃閘陣列可與微處理器合作，以便執行本文中描述之該等方法中之一者。通常 藉由任何硬體設備完美地執行該等方法。
上述實施例僅說明本發明之原理。應理解，其他熟習此項技術者將明白本文中描述之配置及細節的修改及變化。因此，本發明意欲僅受即將到來的申請專利範圍之範疇的限制，而不受藉由本文中對實施例之描述及闡述而呈現之特定細節的限制。
參考文獻
[BCC] C. Faller and F. Baumgarte, 「Binaural Cue Coding - Part II: Schemes and applications,」 IEEE Trans. on Speech and Audio Proc., vol. 11, no. 6, Nov. 2003
[JSC] C. Faller, 「Parametric Joint-Coding of Audio Sources」 , 120th AES Convention, Paris, 2006
[SAOC1] J. Herre, S. Disch, J. Hilpert, O. Hellmuth: 「From SAC To SAOC - Recent Developments in Parametric Coding of Spatial Audio」 , 22nd Regional UK AES Conference, Cambridge, UK, April 2007
[SAOC2] J. Engdegård, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Hölzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: 「Spatial Audio Object Coding (SAOC) - The Upcoming MPEG Standard on Parametric Object Based Audio Coding」 , 124th AES Convention, Amsterdam 2008
[SAOC] ISO/IEC, 「MPEG audio technologies - Part 2: Spatial Audio Object Coding (SAOC),」 ISO/IEC JTC1/SC29/WG11 (MPEG) International Standard 23003-2:2010.
[ISS1] M. Parvaix and L. Girin: 「Informed Source Separation of underdetermined instantaneous Stereo Mixtures using Source Index Embedding」 , IEEE ICASSP, 2010
[ISS2] M. Parvaix, L. Girin, J.-M. Brossier: 「A watermarking-based method for informed source separation of audio signals with a single sensor」 , IEEE Transactions on Audio, Speech and Language Processing, 2010
[ISS3] A. Liutkus and J. Pinel and R. Badeau and L. Girin and G. Richard: 「Informed source separation through spectrogram coding and data embedding」, Signal Processing Journal, 2011
[ISS4] A. Ozerov, A. Liutkus, R. Badeau, G. Richard: 「Informed source separation: source coding meets source separation」 , IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2011
[ISS5] Shuhua Zhang and Laurent Girin: 「An Informed Source Separation System for Speech Signals」 , INTERSPEECH, 2011
[ISS6] L. Girin and J. Pinel: 「Informed Audio Source Separation from Compressed Linear Stereo Mixtures」 , AES 42nd International Conference: Semantic Audio, 2011
[Dfx] C. Falch and L. Terentiev and J. Herre: 「Spatial Audio Object Coding with Enhanced Audio Object Separation」 , 10th International Conference on Digital Audio Effects, 2010
110‧‧‧參數解碼單元
120‧‧‧殘差處理單元

Claims (25)

  1. 一種解碼器，該解碼器包括：一參數解碼單元，該參數解碼單元用於藉由升混三個或更多個縮混(downmix)信號來產生多個第一估計音訊物件信號，其中該等三個或更多個縮混信號編碼多個原始音訊物件信號，其中該參數解碼單元經組配來取決於參數旁側資訊來升混該等三個或更多個縮混信號，該參數旁側資訊指示關於該等多個原始音訊物件信號的資訊，以及一殘差處理單元，該殘差處理單元用於藉由修改該等第一估計音訊物件信號中的一或多個來產生多個第二估計音訊物件信號，其中該殘差處理單元經組配來取決於一或多個殘差信號來修改該等第一估計音訊物件信號中之該等一或多個。
  2. 如請求項1之解碼器，其中該殘差處理單元經組配來取決於至少三個殘差信號來修改該等第一估計音訊物件信號中的該等一或多個，以及其中該解碼器經調適來基於該等多個第二估計音訊物件信號產生至少三個音訊輸出通道。
  3. 如請求項1之解碼器，其中該解碼器進一步包括一縮混修改單元，該縮混修改單元經調適來從該等三個或更多個縮混信號中移 除由該殘差處理單元判定的該等多個第二估計音訊物件信號中的一或多個音訊物件信號，以獲得三個或更多個經修改的縮混信號，以及其中該參數解碼單元經組配來基於該等三個或更多個經修改的縮混信號判定該等第一估計音訊物件信號中的一或多個音訊物件信號。
  4. 如請求項3之解碼器，其中該縮混修改單元經調適來應用公式： 以自該等三個或更多個縮混信號中移除由該殘差處理單元判定的該等多個第二估計音訊物件信號中的該等一或多個音訊物件信號，以獲得三個或更多個經修改的縮混信號，其中X指示修改之前的該等三個或更多個縮混信號指示該等三個或更多個經修改的縮混信號D指示縮混資訊S eao 包括該等多個第二估計音訊物件信號中的該等一或多個音訊物件信號，以及指示該等多個第二估計音訊物件信號中的該等一或多個音訊物件信號之位置。
  5. 如請求項3之解碼器，其中，該解碼器經調適來實施兩個或更多個反覆步驟， 其中，針對每一反覆步驟，該參數解碼單元經調適來確切判定該等多個第一估計音訊物件信號中的一個音訊物件信號，其中針對該反覆步驟，該殘差處理單元經調適來藉由修改該等多個第一估計音訊物件信號中的該音訊物件信號來確切判定該等多個第二估計音訊物件信號中的一個音訊物件信號，其中，針對該反覆步驟，該縮混修改單元經調適來從該等三個或更多個縮混信號中移除該等多個第二估計音訊物件信號中的該音訊物件信號，以修改該等三個或更多個縮混信號，以及其中，針對在該反覆步驟之後的下一反覆步驟，該參數解碼單元經調適來基於已修改之該等三個或更多個縮混信號來確切判定該等多個第一估計音訊物件信號中的一個音訊物件信號。
  6. 如請求項1的解碼器，其中該等一或多個殘差信號中每一者指示該等多個原始音訊物件信號中之一者與該等一或多個第一估計音訊物件信號中之一者之間的一差。
  7. 如請求項1或2之解碼器，其中該殘差處理單元經調適來藉由修改該等第一估計音訊物件信號中的五個或更多個來產生該等多個第二估計音訊物件信號，其中該殘差處理單元經組配來取決於五個或更多個殘差信號來修改該等第一估計音訊物件信號中的該 等五個或更多個。
  8. 如請求項1或2之解碼器，其中該解碼器經組配來基於該等多個第二估計音訊物件信號來產生七個或更多個音訊輸出通道。
  9. 如請求項1至6中任一項的解碼器，其中該解碼器經調適來不判定通道預測係數來判定該等多個第二估計音訊物件信號。
  10. 如請求項1至6中任一項的解碼器，其中該解碼器係一SAOC解碼器。
  11. 一種殘差信號產生器，該殘差信號產生器包括：一參數解碼單元，該參數解碼單元用於藉由升混三個或更多個縮混信號來產生多個估計音訊物件信號，其中該等三個或更多個縮混信號編碼多個原始音訊物件信號，其中該參數解碼單元經組配來取決於參數旁側資訊來升混該等三個或更多個縮混信號，該參數旁側資訊指示關於該等多個原始音訊物件信號的資訊，以及一殘差估計單元，該殘差估計單元用於基於該等多個原始音訊物件信號且基於該等多個估計音訊物件信號來產生多個殘差信號，使得該等多個殘差信號中每一者係一差信號，該差信號指示該等多個原始音訊物件信號中之一者與該等多個估計音訊物件信號中之一者之間的一差。
  12. 如請求項11之殘差信號產生器，其中該殘差信號產生器進一步包括一縮混修改單 元，該縮混修改單元經調適來修改該等三個或更多個縮混信號以獲得三個或更多個經修改的縮混信號，以及其中該參數解碼單元經組配來基於該等三個或更多個經修改的縮混信號來判定該等第一估計音訊物件信號中的一或多個音訊物件信號。
  13. 如請求項12之殘差信號產生器，其中該縮混修改單元經組配來：藉由自該等三個或更多個原始縮混信號中移除該等多個原始音訊物件信號中的一或多個，來修改該等三個或更多個原始縮混信號以獲得該等三個或更多個經修改的縮混信號。
  14. 如請求項13之殘差信號產生器，其中該縮混修改單元經調適來應用公式： 以自該等三個或更多個縮混信號中移除該等多個原始音訊物件信號中的該等一或多個，以獲得三個或更多個經修改的縮混信號，其中X指示修改之前的該等三個或更多個縮混信號指示該等三個或更多個經修改的縮混信號D指示縮混資訊S eao 包括該等多個原始音訊物件信號中的該等一或多個，以及指示該等多個原始音訊物件信號中的該等一或多個之位置。
  15. 如請求項12之殘差信號產生器，其中該縮混修改單元經組配來：藉由基於該等估計音訊物件信號中的一或多個且基於該等殘差信號中的一或多個產生一或多個經修改的音訊物件信號、以及藉由自該等三個或更多個原始縮混信號中移除該等一或多個經修改的音訊物件信號，來修改該等三個或更多個原始縮混信號以獲得該等三個或更多個經修改的縮混信號。
  16. 如請求項15之殘差信號產生器，其中該縮混修改單元經調適來應用公式： 以自該等三個或更多個縮混信號中移除該等一或多個經修改的音訊物件信號，以獲得三個或更多個經修改的縮混信號，其中X指示修改之前的該等三個或更多個縮混信號指示該等三個或更多個經修改的縮混信號D指示縮混資訊S eao 包括該等一或多個修改的音訊物件信號，以及指示該等一或多個修改的音訊物件信號之位置。
  17. 如請求項12之殘差信號產生器，其中，該殘差信號產生器經調適來實施兩個或更多個反覆步驟，其中，針對每一反覆步驟，該參數解碼單元經調適 來確切判定該等多個估計音訊物件信號中的一個音訊物件信號，其中針對該反覆步驟，該殘差估計單元經調適來藉由修改該等多個估計音訊物件信號中的該音訊物件信號來確切判定該等多個殘差信號中的一個殘差信號，其中，針對該反覆步驟，該縮混修改單元經調適來修改該等三個或更多個縮混信號，以及其中，針對在該反覆步驟之後的下一反覆步驟，該參數解碼單元經調適來基於已修改之該等三個或更多個縮混信號來確切判定該等多個估計音訊物件信號中的一個音訊物件信號。
  18. 如請求項11至17項中任一項之殘差信號產生器，其中該殘差估計單元經調適來基於該等多個原始音訊物件信號中的至少五個原始音訊物件信號且基於該等多個估計音訊物件信號中的至少五個估計音訊物件信號來產生至少五個殘差信號。
  19. 一種編碼器，該編碼器用於藉由產生三個或更多個縮混信號、藉由產生參數旁側資訊以及藉由產生多個殘差信號來編碼多個原始音訊物件信號，其中該編碼器包括：一縮混產生器，該縮混產生器用於提供指示該等多個原始音訊物件信號之一縮混的該等三個或更多個縮混信號，一參數旁側資訊估計器，該參數旁側資訊估計器用於產生指示關於該等多個原始音訊物件信號的資訊之 該參數旁側資訊，以獲得該參數旁側資訊，以及如請求項11至18中任一項之殘差信號產生器，其中該殘差信號產生器之該參數解碼單元經調適來藉由升混由該縮混產生器提供的該等三個或更多個縮混信號來產生多個估計音訊物件信號，其中該縮混信號編碼該等多個原始音訊物件信號，其中該參數解碼單元經組配來取決於由該參數旁側資訊估計器產生之該參數旁側資訊來升混該等三個或更多個縮混信號，以及其中該殘差信號產生器之該殘差估計單元經調適來基於該等多個原始音訊物件信號且基於該等多個估計音訊物件信號來產生該等多個殘差信號，使得該等多個殘差信號中每一者指示在該等多個原始音訊物件信號中之一者與該等多個估計音訊物件信號中之一者之間的一差。
  20. 如請求項19之編碼器，其中該編碼器係一SAOC編碼器。
  21. 一種編碼系統，其編碼多個原始音訊物件信號並產生多個第二估計音訊物件信號，該系統包括：如請求項19或20之編碼器，該編碼器用於藉由產生三個或更多個縮混信號、藉由產生參數旁側資訊以及藉由產生多個殘差信號來編碼該等多個原始音訊物件信號，以及如請求項1至10中任一項之解碼器，其中該解碼器經組配來基於由該編碼器產生之該等三個或更多個縮混信號、基於由該編碼器產生之該參數旁側資訊且基於 由該編碼器產生之該等多個殘差信號來產生該等多個第二估計音訊物件信號。
  22. 一種電腦可讀媒體，其包含一已編碼音訊信號，該已編碼音訊信號包括三個或更多個縮混信號、參數旁側資訊及多個殘差信號，其中該等三個或更多個縮混信號係多個原始音訊物件信號之一縮混，其中該參數旁側資訊包括指示關於該等多個原始音訊物件信號的旁側資訊之參數，其中該等多個殘差信號中每一者係一差信號，該差信號指示該等多個原始音訊信號中之一者與多個估計音訊物件信號中之一者之間的一差。
  23. 一種解碼方法，該方法包括：藉由升混三個或更多個縮混信號來產生多個第一估計音訊物件信號，其中該等三個或更多個縮混信號編碼多個原始音訊物件信號，其中產生該等多個第一估計音訊物件信號包括取決於參數旁側資訊來升混該等三個或更多個縮混信號，該參數旁側資訊指示關於該等多個原始音訊物件信號的資訊，以及藉由修改該等第一估計音訊物件信號中的一或多個來產生多個第二估計音訊物件信號，其中產生多個第二估計音訊物件信號包括取決於一或多個殘差信號來修改該等第一估計音訊物件信號中的該等一或多個。
  24. 一種產生多個殘差信號之方法，該方法包括： 藉由升混三個或更多個縮混信號來產生多個估計音訊物件信號，其中該等三個或更多個縮混信號編碼多個原始音訊物件信號，其中產生該等多個估計音訊物件信號包括取決於參數旁側資訊來升混該等三個或更多個縮混信號，該參數旁側資訊指示關於該等多個原始音訊物件信號的資訊，以及基於該等多個原始音訊物件信號且基於該等多個估計音訊物件信號來產生該等多個殘差信號，使得該等多個殘差信號中每一者係一差信號，該差信號指示該等多個原始音訊物件信號中之一者與該等多個估計音訊物件信號中之一者之間的一差。
  25. 一種電腦程式，該電腦程式用於當執行於一電腦或信號處理器上時實行如請求項23或24之方法。
TW102113450A 2012-08-10 2013-04-16 編碼器、解碼器、殘差信號產生器、編碼系統、解碼方法、產生殘差信號之方法、以及相關電腦可讀媒體與電腦程式 TWI517141B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201261681730P 2012-08-10 2012-08-10

Publications (2)

Publication Number Publication Date
TW201407603A TW201407603A (zh) 2014-02-16
TWI517141B true TWI517141B (zh) 2016-01-11

Family

ID=48092997

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102113450A TWI517141B (zh) 2012-08-10 2013-04-16 編碼器、解碼器、殘差信號產生器、編碼系統、解碼方法、產生殘差信號之方法、以及相關電腦可讀媒體與電腦程式

Country Status (20)

Country Link
US (1) US10818301B2 (zh)
EP (1) EP2883225B1 (zh)
JP (1) JP6113282B2 (zh)
KR (2) KR101903664B1 (zh)
CN (1) CN104769669B (zh)
AR (1) AR090703A1 (zh)
AU (1) AU2013301831B2 (zh)
BR (1) BR112015002793B1 (zh)
CA (1) CA2881065C (zh)
ES (1) ES2638391T3 (zh)
HK (1) HK1211734A1 (zh)
MX (1) MX351193B (zh)
MY (1) MY176406A (zh)
PL (1) PL2883225T3 (zh)
PT (1) PT2883225T (zh)
RU (1) RU2628900C2 (zh)
SG (1) SG11201500878PA (zh)
TW (1) TWI517141B (zh)
WO (1) WO2014023443A1 (zh)
ZA (1) ZA201501570B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2880653B1 (en) * 2012-08-03 2017-11-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for multi-instance spatial-audio-object-coding employing a parametric concept for multichannel downmix/upmix cases
BR112015002793B1 (pt) 2012-08-10 2021-12-07 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V Codificador, decodificador, sistema e método empregando um conceito residual para codificação de objeto de áudio paramétrico
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
EP2830051A3 (en) 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
WO2015059154A1 (en) 2013-10-21 2015-04-30 Dolby International Ab Audio encoder and decoder
US9779739B2 (en) * 2014-03-20 2017-10-03 Dts, Inc. Residual encoding in an object-based audio system
CN111556426B (zh) 2015-02-06 2022-03-25 杜比实验室特许公司 用于自适应音频的混合型基于优先度的渲染系统和方法
US10893373B2 (en) 2017-05-09 2021-01-12 Dolby Laboratories Licensing Corporation Processing of a multi-channel spatial audio format input signal
CN111630593B (zh) 2018-01-18 2021-12-28 杜比实验室特许公司 用于译码声场表示信号的方法和装置
EP3588495A1 (en) * 2018-06-22 2020-01-01 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Multichannel audio coding

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI497485B (zh) 2004-08-25 2015-08-21 Dolby Lab Licensing Corp 用以重塑經合成輸出音訊信號之時域包絡以更接近輸入音訊信號之時域包絡的方法
US7573912B2 (en) 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
CN101617360B (zh) * 2006-09-29 2012-08-22 韩国电子通信研究院 用于编码和解码具有各种声道的多对象音频信号的设备和方法
MX2010004138A (es) * 2007-10-17 2010-04-30 Ten Forschung Ev Fraunhofer Codificacion de audio usando conversion de estereo a multicanal.
WO2009054665A1 (en) * 2007-10-22 2009-04-30 Electronics And Telecommunications Research Institute Multi-object audio encoding and decoding method and apparatus thereof
EP2077551B1 (en) * 2008-01-04 2011-03-02 Dolby Sweden AB Audio encoder and decoder
PL2146344T3 (pl) * 2008-07-17 2017-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sposób kodowania/dekodowania sygnału audio obejmujący przełączalne obejście
EP2345027B1 (en) * 2008-10-10 2018-04-18 Telefonaktiebolaget LM Ericsson (publ) Energy-conserving multi-channel audio coding and decoding
EP2446435B1 (en) * 2009-06-24 2013-06-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio signal decoder, method for decoding an audio signal and computer program using cascaded audio object processing stages
KR20110018107A (ko) * 2009-08-17 2011-02-23 삼성전자주식회사 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치
KR101569702B1 (ko) * 2009-08-17 2015-11-17 삼성전자주식회사 레지듀얼 신호 인코딩 및 디코딩 방법 및 장치
KR101613975B1 (ko) * 2009-08-18 2016-05-02 삼성전자주식회사 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101710113B1 (ko) * 2009-10-23 2017-02-27 삼성전자주식회사 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법
EP2323130A1 (en) * 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
EP2489038B1 (en) * 2009-11-20 2016-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for providing an upmix signal representation on the basis of the downmix signal representation, apparatus for providing a bitstream representing a multi-channel audio signal, methods, computer programs and bitstream representing a multi-channel audio signal using a linear combination parameter
CA2793140C (en) * 2010-04-09 2016-05-31 Dolby International Ab Mdct-based complex prediction stereo coding
KR20110116079A (ko) * 2010-04-17 2011-10-25 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 장치 및 방법
CN103250206B (zh) * 2010-10-07 2015-07-15 弗朗霍夫应用科学研究促进协会 用于比特流域中的编码音频帧的强度估计的装置及方法
WO2012058805A1 (en) * 2010-11-03 2012-05-10 Huawei Technologies Co., Ltd. Parametric encoder for encoding a multi-channel audio signal
TWI800092B (zh) * 2010-12-03 2023-04-21 美商杜比實驗室特許公司 音頻解碼裝置、音頻解碼方法及音頻編碼方法
BR112015002793B1 (pt) 2012-08-10 2021-12-07 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V Codificador, decodificador, sistema e método empregando um conceito residual para codificação de objeto de áudio paramétrico

Also Published As

Publication number Publication date
BR112015002793A2 (pt) 2020-04-22
AR090703A1 (es) 2014-12-03
HK1211734A1 (zh) 2016-05-27
KR101903664B1 (ko) 2018-11-22
US20150162012A1 (en) 2015-06-11
BR112015002793B1 (pt) 2021-12-07
RU2628900C2 (ru) 2017-08-22
ES2638391T3 (es) 2017-10-20
US10818301B2 (en) 2020-10-27
MY176406A (en) 2020-08-06
AU2013301831B2 (en) 2016-12-01
EP2883225B1 (en) 2017-06-07
SG11201500878PA (en) 2015-03-30
KR102050455B1 (ko) 2019-12-02
JP6113282B2 (ja) 2017-04-12
PL2883225T3 (pl) 2017-10-31
EP2883225A1 (en) 2015-06-17
JP2015529850A (ja) 2015-10-08
CN104769669B (zh) 2020-09-29
PT2883225T (pt) 2017-09-04
KR20170042809A (ko) 2017-04-19
RU2015107578A (ru) 2016-09-27
CA2881065C (en) 2020-03-10
ZA201501570B (en) 2018-05-30
TW201407603A (zh) 2014-02-16
MX351193B (es) 2017-10-04
CN104769669A (zh) 2015-07-08
WO2014023443A1 (en) 2014-02-13
KR20150040921A (ko) 2015-04-15
CA2881065A1 (en) 2014-02-13
MX2015001676A (es) 2015-04-10
AU2013301831A1 (en) 2015-02-26

Similar Documents

Publication Publication Date Title
TWI517141B (zh) 編碼器、解碼器、殘差信號產生器、編碼系統、解碼方法、產生殘差信號之方法、以及相關電腦可讀媒體與電腦程式
JP6735053B2 (ja) マルチチャネル符号化におけるステレオ充填装置及び方法
KR101391110B1 (ko) 오디오 신호 디코더, 오디오 신호 인코더, 업믹스 신호 표현을 제공하는 방법, 다운믹스 신호 표현을 제공하는 방법, 공통 객체 간의 상관 파라미터 값을 이용한 컴퓨터 프로그램 및 비트스트림
EP2751803B1 (en) Audio object encoding and decoding
CN105593931B (zh) 使用联合编码残余信号的音频编码器、音频解码器、方法及计算机可读介质
TW201248619A (en) Encoding and decoding of slot positions of events in an audio signal frame
US10102863B2 (en) Encoder and encoding method for multi-channel signal, and decoder and decoding method for multi-channel signal
JP6732739B2 (ja) オーディオ・エンコーダおよびデコーダ
JP6141980B2 (ja) 空間オーディオオブジェクト符号化においてオーディオ情報を適応させる装置および方法
JP6207739B2 (ja) 修正された出力信号を得るために符号化されたオーディオ信号を復号化するための装置および方法
JP6277202B2 (ja) 隠しオブジェクトを信号混合操作に使用する空間オーディオオブジェクト符号化の装置及び方法
JP6906570B2 (ja) 符号化されたオーディオ信号を処理するための装置および方法
Elfitri et al. Advanced residual coding for MPEG surround encoder