TW201519217A - 增強空間音源物件編碼之裝置及其方法 - Google Patents

增強空間音源物件編碼之裝置及其方法 Download PDF

Info

Publication number
TW201519217A
TW201519217A TW103124990A TW103124990A TW201519217A TW 201519217 A TW201519217 A TW 201519217A TW 103124990 A TW103124990 A TW 103124990A TW 103124990 A TW103124990 A TW 103124990A TW 201519217 A TW201519217 A TW 201519217A
Authority
TW
Taiwan
Prior art keywords
information
channel
source
signal
sound source
Prior art date
Application number
TW103124990A
Other languages
English (en)
Other versions
TWI560701B (en
Inventor
Juergen Herre
Adrian Murtaza
Jouni Paulus
Sascha Disch
Harald Fuchs
Oliver Hellmuth
Falko Ridderbusch
Leon Terentiv
Original Assignee
Fraunhofer Ges Forschung
Univ Friedrich Alexander Er
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP20130177378 external-priority patent/EP2830045A1/en
Application filed by Fraunhofer Ges Forschung, Univ Friedrich Alexander Er filed Critical Fraunhofer Ges Forschung
Publication of TW201519217A publication Critical patent/TW201519217A/zh
Application granted granted Critical
Publication of TWI560701B publication Critical patent/TWI560701B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/006—Systems employing more than two channels, e.g. quadraphonic in which a plurality of audio signals are transformed in a combination of audio signals and modulated signals, e.g. CD-4 systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Abstract

本發明揭露一種裝置，用以產生至少一音源輸出聲道，其中該裝置包含：一參數處理器(110)，用以計算混合資訊，以及一降混合處理器(120)用以產生該至少一音源輸出聲道，其中該降混合處理器(120)被設置用以接收包含至少一音源傳輸聲道之一音源傳輸訊號，其中至少一音源聲道訊號被混合在該音源傳輸訊號裡，其中至少一音源物件訊號被混合在該音源傳輸訊號裡，以及其中該至少一音源傳輸聲道之該數目係小於該至少一音源聲道訊號之該數目加上該至少一音源物件訊號之該數目，其中該參數處理器(110)被設置用以接收一降混合資訊，該降混合資訊係指出該至少一音源聲道訊號以及該至少一音源物件訊號如何被混合在該至少一音源傳輸聲道裡之資訊，且其中該參數處理器(110)被設置用以接收一協方差資訊，其中根據該降混合資訊以及該協方差資訊，該參數處理器(110)被設置用以計算該混合資訊，以及其中根據該混合資訊，該降混合處理器(120)被設置用以從該音源傳輸訊號產生該至少一音源輸出聲道，其中該協方差資訊針對至少一之該至少一音源聲道訊號指出一位準差資訊，並更進一步地針對至少一之該至少一音源物件訊號指出一位準差資訊，以及其中該協方差資訊並不為該至少一音源聲道訊號之其中之一以及該至少一音源物件訊號之其中之一的配對來指示一相關性資訊。

Description

增強空間音源物件編碼之裝置及其方法
本發明係有關於音源編碼/解碼，特別的是有關於空間音源編碼以及空間音源物件編碼，更特別的是有關於增強空間音源物件編碼。
空間音源編碼工具係此技術領域中所熟知，例如，在環繞MPEG標準中已有標準化規範。空間音源編碼從原始輸入聲道開始，例如在再現方案中依照其位置而識別的五個或是七個聲道，即左聲道、中間聲道、右聲道、左環繞聲道、右環繞聲道以及低頻增強聲道。空間音源編碼器通常從原始聲道衍生出至少一降混聲道，以及另外衍生出關於空間線索的參數數據，例如在聲道相干數值中的聲道間等級差異、聲道間相位差異、聲道間時間差異等等。至少一降混聲道係與指示空間線索的參數化輔助資訊一起傳送到空間音源解碼器。空間音源解碼器係解碼降混聲道以及相關聯的參數數據，最後取得與原始輸入聲道近似版本的輸出聲道。聲道在輸出端方案之設置通常為固定，例如，5.1聲道格式或7.1聲道格式等等。
此種以聲道為主的音源格式係廣泛使用於儲存或是傳送多聲道音源內容，而每一個聲道係有關於在給定位置上的一特定揚聲器。這些種類格式的忠實再現，需要一揚聲器設備，其揚聲器係放置在與音源訊號生產期間揚聲器使用相同的位置。增加揚聲器數量可改進真實三維虛擬實境音場，但是執行此要求是越來越困難，尤其是在家庭環境中，像是客廳。
可用以物件為基礎的方法來克服對特殊揚聲器設備的需求，在以物件為基礎的方法中揚聲器訊號係特別針對播放方案來轉譯。
例如，空間音源物件編碼工具係此技術領域中所熟知且在 MPEG SAOC標準中已成標準。相比於空間音源編碼從原始聲道開始，空間音源物件編碼係從非自動專為特定轉譯再現方案的音源物件開始。另外，音源物件在再現場景中的位置為可變化，且可由使用者藉由將特定的轉譯資訊輸入至空間音源物件編碼解碼器來決定。另外，轉譯資訊，即在再現方案中特定音源物件待放置的位置資訊，係以額外的輔助資訊或是元數據來傳送。為了獲得特定的數據壓縮，係由一SAOC編碼器來編碼音源物件之數量，SAOC編碼器係根據特定的降混合資訊來降混合物件以從輸入物件計算至少一運輸聲道。此外，SAOC編碼器係計算參數化側資訊，其代表物件間線索，例如物件位準差異(OLD)、物件相干數值等等。當在空間音源編碼(SAC)中，物件間參數數據係針對個別時間平鋪(time tiles)/頻率平鋪(frequency tiles)來計算，即，針對音源訊號之特定訊框，例如，1024或是2048個取樣值，28、20、14或是10等等，係考慮頻帶使得對於每一訊框以及每一頻帶皆存在參數數據。作為一舉例，當一音源片具有20個訊框且當每一訊框係細分成28個頻帶，則時間/頻率平鋪之數量係為560。
在以物件為基礎的方法中，以分離式音源物件來描述音場。此需要物件元數據，其描述在3D空間中每一個音源之時變位置。
在先前技術中，第一數據編碼編碼概念為空間聲音描述交換格式(SpatDIF)，而音頻場景描述格式目前尚在發展中[M1]。音頻場景描述格式係為以物件為主的聲音場景交換格式，其並沒有提供任何壓縮物件軌跡的方法。SpatDIF將以文字為主的開放性聲音控制(OSC)格式使用於物件元數據的結構[M2]。然而，一個簡單以文字為主的表現並非為物件軌跡的經壓縮傳輸的選項。
在先前技術中，另一個元數據概念為音源場景描述格式(ASDF)[M3]，其和一種以文字為基礎的解決方案具有相同的缺點。此數據係藉由同步多媒體集成語言(SMIL)之延伸所建構，該同步多媒體集成語言(SMIL)為可延伸標記式語言(XML)[M4,M5]之子集合。
在先前技術中的另一個元數據技術為場景的音源二進制格式(AudioBIFS)，二進制格式MPEG-4標準的一部分[M6,M7]，其高度有關於虛擬實境建模語言(VRML)，其已開發應用於音源虛擬3D場景以及虛擬 實境[M8]。複雜的AudioBIFS標準使用場景圖以指定物件移動的路徑。AudioBIFS主要的缺點在於並非設計用於即時作業系統，其會使即時作業系統延遲並且需要隨機讀取數據流。此外，物件位置的編碼不運用受限的聽者的定位能力。在音源虛擬場景中的聽者有固定位置時，則物件數據可量化成較低的位元數值[M9]。因此，應用於AudioBIFS的物件元數據的編碼對於數據壓縮是無效的。
本發明之目的在於提供對空間音源物件編碼之一改善概念，本發明之目的是根據專利保護範圍第1項之一裝置、專利保護範圍第14項之一裝置、專利保護範圍第16項之一系統、專利保護範圍第17項之一方法、專利保護範圍第18項之一方法以及專利保護範圍第19項之一電腦程式來進行解決。
本發明提供一種用於產生至少一音源輸出聲道的裝置，所述裝置包含一參數處理器及一降混合處理器，此參數處理器用以計算混合資訊，而降混合處理器用以產生所述至少一音源輸出聲道，所述降混合處理器被設置用以接收包含至少一音源傳輸聲道之一音源傳輸訊號。至少一音源聲道訊號被混合在該音源傳輸訊號裡，且至少一音源物件訊號被混合在該音源傳輸訊號裡，以及其中所述至少一音源傳輸聲道之數目係小於所述至少一音源聲道訊號之數目加上所述至少一音源物件訊號之該數目。所述參數處理器被設置用以接收一降混合資訊，此降混合資訊係指出所述至少一音源聲道訊號以及所述至少一音源物件訊號如何被混合在所述至少一音源傳輸聲道裡之資訊，且其中所述參數處理器被設置用以接收一協方差資訊。此外，根據所述降混合資訊以及該協方差資訊，所述參數處理器被設置用以計算所述混合資訊，根據所述混合資訊，所述降混合處理器被設置用以從所述音源傳輸訊號產生至少一音源輸出聲道，所述協方差資訊針對至少一之所述至少一音源聲道訊號指出一位準差資訊，並更進一步地針對至少一之所述至少一音源物件訊號指出一位準差資訊，然而所述協方差資訊並不為所述至少一音源聲道訊號之其中之一以及所述至少一音源物件訊 號之其中之一的配對來指示一相關性資訊。
此外，本發明提供一種用以產生包含至少一音源傳輸聲道之 一音源傳輸訊號的裝置，所述裝置包含一聲道/物件混合器以及一輸出介面，所述聲道/物件混合器用以產生所述音源傳輸訊號之所述至少一音源傳輸聲道。藉由在音源傳輸訊號裡混合至少一音源聲道訊號以及至少一音源物件訊號，所述聲道/物件混合器被設置用以產生包含所述至少一音源傳輸聲道之所述音源傳輸訊號，根據降混合資訊指出所述至少一音源聲道訊號以及所述至少一音源物件訊號如何必須被混合在所述至少一音源傳輸聲道之資訊，其中所述至少一音源傳輸聲道之數目係小於所述至少一音源聲道訊號之數目加上所述至少一音源物件訊號之數目。所述輸出介面被設置用以輸出所述音源傳輸訊號、所述降混合資訊以及協方差資訊，所述協方差資訊針對至少一之所述至少一音源聲道訊號指出一位準差資訊，並更進一步地針對至少一之所述至少一音源物件訊號指出一位準差資訊。然而，所述協方差資訊並不為所述至少一音源聲道訊號之其中之一以及所述至少一音源物件訊號之其中之一的配對來指示一相關性資訊。
此外，本發明提供一種系統，此系統包含用以產生如上所述 之一音源傳輸訊號的裝置，以及用以產生如上所述之至少一音源輸出聲道的裝置，用以產生所述至少一音源輸出聲道的裝置係被設置用以從產生所述音源傳輸訊號之所述裝置接收所述音源傳輸訊號、降混合資訊以及協方差資訊。此外，根據所述降混合資訊以及所述協方差資訊，用以產生所述音源輸出聲道之所述裝置係被設置用以從所述音源傳輸訊號產生所述至少一音源輸出聲道。
此外，本發明提供一種用於產生至少一音源輸出聲道的方法，此方法包含：
-接收包含至少一音源傳輸聲道之一音源傳輸訊號，其中至少一音源聲道訊號被混合在所述音源傳輸訊號裡，其中至少一音源物件訊號被混合在該音源傳輸訊號裡，以及其中所述至少一音源傳輸聲道之數目係小於所述至少一音源聲道訊號之數目加上所述至少一音源物件訊號之該數目。
-接收一降混合資訊，所述降混合資訊係指出所述至少一音源聲道訊號及所述至少一音源物件訊號如何在所述至少一音源傳輸聲道裡被混合之資訊，
-接收協方差資訊，
-根據所述降混合資訊以及所述協方差資訊以計算混合資訊，以及：
-產生所述至少一音源輸出聲道。
根據所述混合資訊，從所述音源傳輸訊號產生所述至少一音源輸出聲道，所述協方差資訊針對至少一之所述至少一音源聲道訊號指出一位準差資訊，並更進一步地針對至少一之所述至少一音源物件訊號指出一位準差資訊。然而，所述協方差資訊並不為所述至少一音源聲道訊號之其中之一以及所述至少一音源物件訊號之其中之一的配對來指示一相關性資訊。
此外，本發明提供一種用以產生包含至少一音源傳輸聲道之一音源傳輸訊號的方法，此方法包含：-藉由在所述音源傳輸訊號裡混合至少一音源聲道訊號以及至少一音源物件訊號，產生包含該至少一音源傳輸聲道之所述音源傳輸訊號，根據降混合資訊指出所述至少一音源聲道訊號以及所述至少一音源物件訊號如何必須被混合在所述至少一音源傳輸聲道之資訊，其中所述至少一音源傳輸聲道之數目係小於所述至少一音源聲道訊號之數目加上所述至少一音源物件訊號之數目。以及：-輸出所述音源傳輸訊號、所述降混合資訊以及協方差資訊。
所述協方差資訊係針對至少一之所述至少一音源聲道訊號指出一位準差資訊，並更進一步地針對至少一之所述至少一音源物件訊號指出一位準差資訊。然而，所述協方差資訊並不為所述至少一音源聲道訊號之其中之一以及所述至少一音源物件訊號之其中之一的配對來指示一相關性資訊。
此外，本發明提供一種電腦程式，當此電腦程式於一電腦上或一訊號處理器上執行時，係實作如上述之方法。
101‧‧‧音源輸入數據
110‧‧‧參數處理器、參數化處理器
1100‧‧‧輸入介面、輸入界面
120‧‧‧降混合處理器、音源聲道產生器
1200‧‧‧物件處理器、處理器
1205‧‧‧輸出聲道、聲道、高聲道格式
1210‧‧‧物件轉譯器
1220‧‧‧混合器
1300‧‧‧核心解碼器、USAC解碼器、CPE、SCE、QCE
1400‧‧‧數據元解壓縮器、OAM解碼器、元數據解壓縮器
1600‧‧‧模式控制器
1700‧‧‧後置處理器、後處理器
1710‧‧‧雙耳轉譯器、二進制轉譯器
1720‧‧‧格式轉換器
1727‧‧‧快捷
1730‧‧‧輸出、直接輸出、輸出界面
1800‧‧‧SAOC解碼器、方塊、空間音源物件編碼解碼器
1810‧‧‧VBAP、向量基準波幅泛移級、VBAP級
200‧‧‧混合器、預轉譯器/混合器、區塊
210‧‧‧物件混合器、聲道/物件混合器
220‧‧‧輸出介面
300‧‧‧USAC編碼器、核心編碼器、編碼器
310‧‧‧用以產生一音源傳輸訊號之裝置、裝置、用於產生一音源傳輸訊號的裝置
320‧‧‧用以產生一個或多個音源輸出聲道之裝置、裝置、用以產生一個或多個音源輸出聲道的裝置
400‧‧‧數據元壓縮器、OAM編碼器、元數據壓縮器、區塊
420‧‧‧OAM解碼器
500‧‧‧輸出介面、USAC編碼器、輸出界面
501‧‧‧音源輸入數據、數據
600‧‧‧模式控制器
800‧‧‧SAOC編碼器
900‧‧‧連接
CH‧‧‧音源聲道
OBJ‧‧‧音源物件
第1圖係根據一實施例以顯示一裝置用以產生至少一音源輸出聲道。
第2圖係根據一實施例以顯示一裝置用以產生包含至少一音源傳輸聲道之一音源傳輸訊號。
第3圖係根據一實施例以顯示一系統。
第4圖係顯示一三維音源編碼器之一第一實施例。
第5圖係顯示一三維音源解碼器之一第一實施例。
第6圖係顯示一三維音源編碼器之一第二實施例。
第7圖係顯示一三維音源解碼器之一第二實施例。
第8圖係顯示一三維音源編碼器之一第三實施例。
第9圖係顯示一三維音源解碼器之一第三實施例。
第10圖係根據一實施例顯示一聯合處理單元。
在詳盡描述本發明之較佳實施例之前，先描述一新穎的三維音源編解碼器系統。
在習知技藝中，並不存在一彈性化的技術以結合一方面之聲道編碼以及另一方法之物件編碼而獲得在低位元速率中可接受的音源品質。
此限制可被此新的三維音源編解碼器系統所克服。
在詳盡描述本發明之較佳實施例之前，先描述此新的三維音源編解碼器系統。
第4圖係繪示根據本發明之一實施例之3D音源編碼器。3D音源編碼器係用以編碼音源輸入數據101以取得音源輸入數據501。3D音源編碼器包含一輸入界面，該輸入界面係用以接收CH所指示的複數個音源聲道以及OBJ所指示的複數個音源物件。此外，第4圖所繪示的輸入界面1100額外地接收與複數個音源物件OBJ中的至少一個相關的元數據。此外，3D音源編碼器包含一混合器200，該混合器200係用以混合複數個物件以及複數個聲道以取得複數個預混合的聲道，其中每個預混合的聲道包含一聲道的音源數據以及至少一物件的音源數據。
此外，3D音源編碼器包含一核心編碼器300以及一元數據 壓縮器400，其中核心編碼器300係用以核心編碼其輸入數據，元數據壓縮器400係用以壓縮與複數個音源物件中的至少一個相關的元數據。
此外，3D音源編碼器可包含一模式控制器600，其在複數 個操作模式中的其中一個下係控制混合器，核心編碼器及/或一輸出界面500，其中核心編碼器在第一模式係用以編碼複數個音源聲道以及藉由輸入界面1100接收而不受混合器影響(亦即不藉由混合器200混合)的複數個音源物件。然而，在第二模式下混合器200是活躍的，核心編碼器編碼複數個混合的聲道，亦即區塊200所產生的輸出。在後者的情況下，較佳地，不要再編碼任何物件數據。相反地，指示複數個音源物件位置的元數據已被使用於混合器200，以將複數個物件轉譯於元數據所指示的複數個聲道上。換句話說，混合器200使用與複數個音源物件相關的元數據以預轉譯複數個音源物件，接著，所預轉譯的複數個音源物件與聲道混和以取得在混合器輸出上的混合聲道。在此實施例中，可以不必傳輸任何物件，也可將音源物件施加於經壓縮元數據並作為區塊400的輸出。然而，如果並非輸入界面1100的所有物件皆被混合而僅有特定數量的物件被混合，則僅維持沒有被混合的物件以及相關聯的元數據仍分別被傳送到編碼器300或元數據壓縮器400。
第6圖係繪示3D音源編碼器之另一實施例。圖中的3D音 源編碼器更包含一SAOC編碼器800，該SAOC編碼器800用於從空間音源物件編碼器輸入數據中產生至少一運輸聲道以及參數化數據。如第6圖所繪示，空間音源物件編碼器的輸入數據係為尚未經由預轉譯器/混合器處理的物件。另外，當獨立聲道/物件編碼在第一模式下是活躍時，則預轉譯器/混合器被旁通略過，所有的物件被輸入到SAOC編碼器800所編碼的輸入界面1100。
此外，如第6圖所繪示，較佳地，核心編碼器300被實現作 為USAC編碼器，亦即作為MPEG-USAC標準(USAC=聯合語音以及音源編碼)中所定義以及規範的編碼器。針對獨立數據型態，描繪於第6圖中的3D音源編碼器的所有輸出係為具有容器狀結構的一MPEG 4數據流。此外，元數據被指示作為“OAM”數據，第4圖中的元數據壓縮器400對應 於OAM編碼器400，以取得輸入到USAC編碼器300內的經壓縮OAM數據，如第6圖所繪示，USAC編碼器300更包含輸出界面，用於取得具有編碼聲道/物件數據以及經壓縮OAM數據的MP4輸出數據流。
第8圖係繪示3D音源編碼器之另一實施例。相對於第6圖， SAOC編碼器可用於使用SAOC編碼演算法以進行另一編碼，在預轉譯器/混合器200上所提供的複數個聲道於此模式下不會活躍，或者，SAOC編碼器用於SAOC編碼加入物件的複數個預轉譯聲道。因此，在第8圖中的SAOC編碼器800可在三種不同類型的輸入數據上操作，亦即複數個聲道不具有任何預處理物件、複數個聲道以及複數個預轉譯物件，或是複數個獨立物件。此外，較佳地，在第8圖中提供另一OAM解碼器420，以使SAOC編碼器800用於處理在編碼器側上與其相同的數據，亦即失真壓縮所取得的數據，而非原始的OAM數據。
在第8圖中，3D音源編碼器可在多個獨立模式下操作。
除了在第4圖的上下文中所描述的第一模式以及第二模式下外，在第8圖中的3D音源編碼器可額外地在第三模式下操作，當預轉譯/混合器200沒有活躍時，核心編碼器在第三模式下從複數個獨立物件中產生至少一運輸聲道。另外或額外地，當對應於第4圖中的混合器200的預轉譯/混合器200未活耀，SAOC編碼器在第三模式下從複數個原始訊號中產生至少一個另外的或額外的運輸聲道。
最後，當3D音源編碼器使用於第四模式時，SAOC編碼器800可對加入預轉譯/混合器所產生的複數個預轉譯物件的複數個聲道進行編碼。因此，在第四模式下，由於複數個聲道以及複數個物件完整地被傳送到複數個獨立的SAOC運輸聲道內，最低的位元率應用將提供良好的品質，並與第3圖以及第5圖中所指示的側編碼資訊相關聯而作為“SAOC-SI”，另外，在第四模式下，不會有任何的經壓縮元數據被傳送。
第5圖係繪示根據本發明之一實施例之3D音源解碼器。3D音源解碼器接收編碼音源數據作為一輸入，亦即第4圖的數據501。
3D音源解碼器包含一元數據解壓縮器1400、一核心解碼器1300、一處理器1200、一模式控制器1600以及一後處理器1700。
具體地，3D音源解碼器係用以解碼編碼音源數據，輸入界 面係用以接收包含複數個編碼聲道以及複數個編碼物件的編碼音源數據，在一特定的模式下，經壓縮元數據係與複數個物件相關聯。
此外，核心解碼器1300係用以解碼複數個編碼聲道以及複 數個編碼物件，額外地，元數據解壓縮器係用以解壓縮經壓縮元數據。
此外，物件處理器1200係用以使用解壓縮元數據處理核心 解碼器1300所產生的複數個解碼物件，以取得包含物件數據以及複數個解碼聲道的一預定數量的複數個輸出聲道，該輸出聲道在1205上被指示並接著被輸入到後處理器1700內。後處理器1700係用以將一定數量的輸出聲道1205轉換成一特定輸出格式，該特定輸出格式可以為二進制輸出格式或揚聲器輸出格式，例如5.1以及7.1等輸出格式。
較佳地，3D音源解碼器包含一模式控制器1600，該模式控 制器1600係用以分析編碼數據以檢測一模式指示。因此，模式控制器1600係連接到第5圖內的輸入界面1100。然而，模式控制器在此並非為必要的。 相反地，可調式音源解碼器可藉由任何其他種類的控制數據進行預設，例如使用者輸入或任何其他控制。較佳地，在第5圖中的3D音源解碼器係藉由模式控制器1600進行控制，並用以旁通任何物件處理器並將複數個解碼聲道饋入後處理器1700。當第二模式應用於3D音源編碼器時，即第4圖的3D音源編碼器在第二模式下操作時，則僅有預轉譯聲道被接收。另外，當第一模式應用於3D音源編碼器在時，亦即當3D音源編碼器已執行獨立的聲道/物件編碼時，物件處理器1200不會被旁通，而複數個解碼聲道以及複數個解碼物件與元數據解壓縮器1400產生的解壓縮元數據一同被饋入到物件處理器1200。
較佳地，應用第一模式或第二模式的指示係被包含於解碼音 源數據，模式控制器1600分析解碼數據以檢測一模式指示。當模式指示表示編碼音源數據包含複數個編碼聲道以及複數個編碼物件時，使用第一模式；而當模式指示表示編碼音源數據不包含任何音源物件(亦即僅包含由第4圖中的3D音源解碼器取得的複數個預轉譯聲道)時，使用第二模式。
第7圖係繪示相對於第5圖的3D音源編碼器的一實施例， 第7圖的實施例係對應於第6圖的3D音源編碼器。除了在第5圖中3D音源編碼器的實施方式之外，在第7圖中的3D音源編碼器包含一SAOC解碼器1800。此外，第5圖的物件處理器1200被實施作為一獨立的物件轉譯器1210以及混合器1220，物件轉譯器1210的功能也可藉由SAOC解碼器1800根據不同的模式來實施。
此外，後處理器1700可被實施作為一二進制轉譯器1710 或一格式轉換器1720。另外，也可實施第5圖的數據1205的直接輸出，如1730所繪示。因此，為了具有可變性，較佳的是使用較多數量(例如22.2或32)的聲道執行解碼器內的處理，如果需要一較小的格式，再接著進行後處理。然而，當一開始就清楚知道僅需要小格式(例如5.1格式)，較佳地，如第5圖的快捷1727所繪示，可施加跨越SAOC解碼器及/或USAC解碼器的一特別控制，以避免不必要的升混合操作以及隨後的降混合操作。
在本發明的較佳實施例中，物件處理器1200包含SAOC解 碼器1800，該SAOC解碼器1800係用以解碼核心解碼器所輸出的至少一運輸聲道以及相關聯的參數化數據，並使用解碼元數據以取得複數個轉譯音源物件。為此，OAM輸出被連接至方塊1800。
此外，物件處理器1200係用以轉譯核心解碼器所輸出的複 數個解碼物件，其並未被編碼於複數個SAOC運輸聲道，而是獨立編碼於物件轉譯器1210所指示的複數個典型單一聲道元件。此外，解碼器包含相對應於輸出1730的一輸出界面，用於將混合器之一輸出輸出到複數個揚聲器。
在另一實施例中，物件處理器1200包含一空間音源物件編 碼解碼器1800，用於解碼至少一運輸聲道以及相關聯的參數化側邊資訊，其代表複數個編碼音源訊號或複數個編碼音源聲道，其中空間音源物件編碼解碼器係用以將相關聯的參數化資訊以及解壓縮元數據轉碼到經轉碼之參數化側邊資訊，以使能夠直接地轉譯輸出格式，例如在SAOC的早期版本所定義的示例。後處理器1700係用以使用複數個解碼運輸聲道以及經轉碼的參數化側邊資訊，以計算輸出格式的複數個音源聲道。後處理器所執行的處理可相似於MPEG環繞處理或可以為任何其他的處理，例如BCC處 理等。
在另一實施例中，物件處理器1200包含一空間音源物件編 碼解碼器1800，用於使用複數個解碼(藉由核心解碼器)運輸聲道以及參數化側邊資訊，針對輸出格式直接升混合以及轉譯。
此外，重要的是，第5圖的物件處理器1200更包含混合器 1220，當存在複數個預轉譯物件與複數個聲道的混合時(亦即當第4圖的混合器200活躍時)，混合器1220直接地接收USAC解碼器1300所輸出的數據並作為一輸入。此外，混合器1220從執行物件轉譯的物件轉譯器接收沒有經SAOC解碼的數據。此外，混合器接收SAOC解碼器輸出數據，亦即複數個SAOC轉譯的物件。
混合器1220係連接到輸出界面1730、二進制轉譯器1710 以及格式轉換器1720。二進制轉譯器1710係用以使用頭部相關的轉換函數或雙耳空間脈衝響應(BRIR)，以將複數個輸出聲道轉譯成兩個二進制聲道。格式轉換器1720係用以將複數個輸出聲道轉換成一輸出格式，該輸出格式具有數量少於混合器的複數個輸出聲道1205的聲道，格式轉換器1720需要再現佈局上的資訊，例如5.1揚聲器等。
第9圖中的3D音源解碼器不同於第7圖中的3D音源解碼 器，不同之處在於其SAOC解碼器不僅能產生複數個轉譯物件，也能產生複數個轉譯聲道，在此情況下，3D音源解碼器已被使用於第8圖中，且在複數個聲道/預轉譯物件以及SAOC編碼器800輸入界面之間的連接900為活躍的。
此外，向量基準波幅泛移(VBAP)級1810係用以從SAOC 解碼器接收在再現佈局上的資訊，並將轉譯矩陣輸出到SAOC解碼器，以使SAOC解碼器在終端能以1205(亦即32個揚聲器)的高聲道格式來提供複數個轉譯聲道，而不需混合器的任何額外的操作。
較佳地，VBAP方塊係接收經解壓縮OAM數據以衍生複數 個轉譯矩陣。更普遍的，較佳的是需要再現布局以及複數個輸入訊號應被轉譯到再現布局之位置的幾何資訊。幾何輸入數據可以為複數個物件或聲道位置資訊的OAM數據，其中複數個聲道已使用SAOC傳送。
然而，如果僅需要一特定的輸出界面，則VBAP級1810已 經針對例如5.1輸出而提供所需要的轉譯矩陣。SAOC解碼器1800係執行來自SAOC運輸聲道、相關聯的參數數據以及解壓縮元數據的直接轉譯，而不須混合器1220之互相作用下直接轉譯成所需要的輸出格式。然而，當多個模式之間採用特定的混合時，即幾個聲道係SAOC編碼但非所有聲道皆為SAOC編碼；或是幾個物件係SAOC編碼但非所有物件皆SAOC編碼；或是僅特定數量的具有聲道之前轉譯物件係SAOC解碼而剩餘聲道不以SAOC處理，然後混合器將從個別輸入部分，即直接來自核心解碼器1300、物件轉譯器1210以及SAOC解碼器1800的數據放在一起。
以下之數學符號係被進行採用：N Objects 輸入音源物件訊號之數目。
N Channels 輸入聲道之數目。
N 輸入訊號之數目N可以相等於NObjects，NChannels，或者是兩者之和(NObjects+NChannels)。
N DmxCh 降混合(已處理的)聲道之數目。
N Samples 處理資料取樣之數目。
N OutputChannels 在所述解碼器端輸出聲道之數目。
D 降混合矩陣，其大小為NDmxCh x N。
X 輸入音源訊號，其大小為N x NSamples。
E X 輸入訊號協方差矩陣，其大小為N x N且定義為E X =X X H 。
Y 降混合音源訊號，其大小為NDmxCh x NSamples且定義為Y=DX。
E Y 降混合訊號之協方差矩陣，其大小為NDmxCh x NDmxCh且定義為E Y =Y Y H 。
G 參數化來源估計矩陣，其大小為N x NDmxCh且近似於E X D H (D E X D H )-1。
參數化再建輸入訊號，其大小為NObjects x NSamples且近似於X且定義為。
(．) H 自伴(漢彌爾頓)運算子用以表示(．)的結合轉置。
R 大小為NOutputChannels x N的轉譯矩陣。
S 大小為NOutputChannels x NDmxCh之輸出聲道產生矩陣，且定義為S=RG。
Z Z=SY輸出聲道，大小為NOutputChannels x NSamples，在解碼器端上從降混合訊號產生，Z=SY。
期望輸出聲道，大小為NOutputChannels x NSamples，。
不失一般性，為了改善公式之可讀性，對所有引進的變數所表示的時間和頻率相依性均在此文件中被省略，在此三維音源文本裡，揚聲器聲道是分布在數個高度層裡，以造成水平及垂直聲道配對。在USAC定義的唯一雙聲道之聯合編碼是不足夠去考慮在聲道間的空間及感知關係。
為了考慮在聲道間的空間及感知關係，在所述三維音源文本裡，其可以利用類SAOC參數技術以再建所述輸入聲道(被所述SAOC編碼器編碼的音源聲道訊號以及音源物件訊號)，進而在所述解碼器端獲得再建輸入聲道。SAOC解碼是基於一最小均方誤差(MMSE)演算法： 取代再建輸入聲道以獲得再建的輸入聲道，改在所述解碼器端藉由考慮使用轉譯矩陣R以直接地產生所述輸出聲道Z
Z=RGY
Z=SY；其中S=RG
如可以看到的，明確地取代再建所述輸入音源物件以及所述輸入音源聲道，所述輸出聲道Z可以在所述降混合音源訊號Y上使用所述輸出聲道產生矩陣S直接地被產生。
為了獲得所述輸出聲道產生矩陣S，可決定轉譯矩陣R，或者，轉譯矩陣R是已經可用的。此外，所述參數來源估計矩陣G可以，例如，是如上面描述所被計算的，當此矩陣乘積從所述轉譯矩陣R以及所述參數來源估計矩陣G，S=RG，然後可獲得所述輸出聲道產生矩陣S。
為了編碼聲道和物件，一個三維音源系统可以要求一組合模 式，一般，針對這樣的一組合模式，SAOC編碼/解碼可以被應用在兩個不同的方式：一種方法能夠採用一類SAOC參數系统之一例子，其中這樣的一例子能夠處理聲道和物件，這種解決方式有計算複雜的缺點，因為為了維持一相似的再建品質，輸入訊號的高數目以及傳輸聲道的數目將會增加。因此，所述矩陣D EX DH的大小將會增加且所述反轉的複雜度將會增加。此外，當此矩陣D EX DH增加時，這樣的一解決方案將會引更多的數值不穩定性。此外，另外一個缺點，此矩陣D EX DH的反轉可能導致再建聲道以及再建物件之間的額外串擾，其引起的原因是因為由於數值不準確，在所述再建矩陣G裡的一些被假設成0的係數被設定為非零值。
另一個方法可以是採用類SAOC參數系統的兩個例子，一 個例子是針對聲道基礎處理，另一個例子則是針對物件基礎處理。這樣的一方法有其缺點，在於相同的資訊將被傳送兩次以用於濾波器組以及解碼器配置的初始化，而且，當有需要時，它不可能一起混合所述聲道以及物件，且因此不可能在聲道及物件間使相關性之特性。
為了防止針對音源物件以及音源聲道採用相異的實例所造 成的缺點，本發明之實施方式採用第一種方法且提供一增強SAOC系統以一系統實例來有效地處理聲道、物件或聲道及物件。雖然音源聲道以及音源物件分別被相同的編碼器以及解碼器實例所處理，但可提供高效率之概念而使得可避免所述第一方法的缺點。
第2圖係根據一實施例以顯示一用以產生包含至少一音源 傳輸聲道之一音源傳輸訊號的裝置。
此裝置包含一聲道/物件混合器210，係用以產生音源傳輸訊 號的至少一音源傳輸聲道以及一輸出介面220。
藉由在音源傳輸訊號裡混合至少一音源聲道訊號以及至少 一音源物件訊號，所述聲道/物件混合器210被設置用以產生包含所述至少一音源傳輸聲道之所述音源傳輸訊號，根據降混合資訊指出所述至少一音源聲道訊號以及所述至少一音源物件訊號如何必須被混合在所述至少一音源傳輸聲道之資訊。
所述至少一音源傳輸聲道之數目係小於所述至少一音源聲 道訊號之數目加上所述至少一音源物件訊號之數目。因此，當所述聲道/物件混合器210適用於產生一音源傳輸訊號時，所述聲道/物件混合器210能夠降混合至少一音源聲道訊號以及至少一音源物件訊號，其中音源傳輸訊號所具有的聲道的數量少於至少一音源聲道訊號以及至少一音源物件訊號兩者數量之和。
輸出介面220係用以輸出音源傳輸訊號、降混合資訊以及協方差資訊。
例如，聲道/物件混合器210可用以饋入降混合資訊，其中降混合資訊係用以將所述至少一音源聲道訊號以及至少一音源物件訊號降混合至輸出介面220內。此外，舉例來說，所述輸出介面220可用於接收至少一音源聲道訊號以及至少一音源物件訊號，另外，也可用以基於所述至少一音源聲道訊號以及所述至少一音源物件訊號以決定協方差資訊。或者，輸出介面220可用以接收已決定的協方差資訊。
所述協方差資訊針對至少一之所述至少一音源聲道訊號指出一位準差資訊，並更進一步地針對至少一之所述至少一音源物件訊號指出一位準差資訊。然而，所述協方差資訊並不為所述至少一音源聲道訊號之其中之一以及所述至少一音源物件訊號之其中之一的配對來指示一相關性資訊。
第1圖係根據一實施例以顯示一用以產生至少一音源輸出聲道的裝置。
所述裝置包含一參數處理器110及一降混合處理器120，此參數處理器110用以計算混合資訊，而降混合處理器120用以產生所述至少一音源輸出聲道。
所述降混合處理器120被設置用以接收包含至少一音源傳輸聲道之一音源傳輸訊號。至少一音源聲道訊號被混合在所述音源傳輸訊號裡。此外，至少一音源物件訊號被混合在所述音源傳輸訊號裡。所述至少一音源傳輸聲道之數目係小於所述至少一音源聲道訊號之數目加上所述至少一音源物件訊號之數目。
所述參數處理器110被設置用以接收一降混合資訊。此降 混合資訊係指出所述至少一音源聲道訊號以及所述至少一音源物件訊號如何被混合在所述至少一音源傳輸聲道裡之資訊，此外，所述參數處理器110被設置用以接收一協方差資訊。根據所述降混合資訊以及協方差資訊，所述參數處理器110被設置用以計算所述混合資訊。
根據所述混合資訊，所述降混合處理器120被設置用以從所述音源傳輸訊號產生至少一音源輸出聲道。
所述協方差資訊針對至少一之所述至少一音源聲道訊號指出一位準差資訊，並更進一步地針對至少一之所述至少一音源物件訊號指出一位準差資訊。然而，所述協方差資訊並不針對所述至少一音源聲道訊號之其中之一以及所述至少一音源物件訊號之其中之一的配對來指示一相關性資訊。
在一實施例中，所述協方差資訊可以，例如指示每一所述至少一音源聲道訊號中的一位準差資訊以及更可以，例如指示每一所述至少一音源物件訊號中的一位準差資訊。
根據一實施例，兩個或更多音源物件訊號可被混合在所述音源傳輸訊號裡，及兩個或更多音源聲道訊號可以，例如被混合在音源傳輸訊號裡。所述協方差資訊針對一或多對之所述至少二音源聲道訊號中的一第一個音源聲道訊號以及該至少二音源聲道訊號中的一第二個音源聲道訊號可以，例如指出相關性資訊。或是，所述協方差資訊針對一或多對之所述至少二音源物件訊號中的一第一個音源物件訊號以及所述至少二音源聲道訊號中的一第二個音源聲道訊號可以，例如指出相關性資訊。或者，所述協方差資訊針對一或多對之該至少二音源聲道訊號中的一第一個音源聲道訊號以及該至少二音源聲道訊號中的一第二個音源聲道訊號以可以，例如指出相關性資訊，且針對一或多對之該至少二音源物件訊號中的一第一個音源物件訊號以及該至少二音源物件訊號的一第二個音源物件訊號以指出相關性資訊。
對一音源物件訊號的一位準差資訊可以，例如，是物件位準差(OLD)。"位準"可以，例如與一能量位準相關聯“差”可為相對於在複數個音源物件訊號內的一較高位準的一差值。
複數個音源物件訊號中的第一個以及第二個的一成對的一 相關性資訊可以，例如為物件間的相關性(IOC)。
例如，根據一實施例，為了保障SAOC三維的最佳性能， 其建議使用具有相容性電源的輸入音源物件訊號。兩個輸入音源訊號的產物(根據相對應的時間/頻率平鋪來正規化)被決定如下：
在此，i以及j方別代表音源物件訊號xi以及xj，n指示 時間、k指示頻率、l指示一組時間指數以及m指示一組頻率。ε指示一添加常數以避免被零整除，例如ε=10-9。
例如，具有較高能量的物件的絕對物件能量NRG可計算如 下：
例如，相對應的輸入物件訊號OLD的功率比可藉由下列方 程式給定： 例如，所述輸入物件IOC的一相似度測量可藉由交互相關性給定： 例如，在一實施例中，對於所有的音源訊號對，IOCs可以被傳輸，其中位元串流變數bsRelatedTo[i][j]被設定為1。
對一音源聲道訊號的一位準差資訊可以，例如，是聲道位準 差(CLD)。"位準"可以，例如與一能量位準相關聯“差”可以，例如是相對於在複數個音源聲道訊號內的一較高位準的一差值。
例如，複數個音源聲道訊號中的第一個以及第二個的一成對 的一相關性資訊可為聲道間的相關性(ICC)。
在一實施例中，當上述方程式內的所述音源物件訊號被取代 為音源聲道訊號時，聲道位準差CLD能以相同於上述的物件位準差OLD的方法定義。此外，當上述方程式內的所述音源物件訊號被取代為音源聲道訊號時，聲道內的相關性ICC能以相同於物件間相關性IOC的方法定義。
在SAOC內，SAOC編碼器(根據降混合資訊，例如根據一 降混合矩陣D)降混合複數個音源物件訊號以取得(例如少量的)至少一音源傳輸聲道。在解碼器端上，SAOC解碼器係使用從編碼器接收的降混合資訊以及協方差資訊以解碼所述一個或更多音源傳輸聲道，其中協方差資訊可以，例如為協方差矩陣E的所述係數，其指示音源物件訊號之所述物件位準差，以及在兩個音源物件訊號之間的內部物件相關性。在SAOC內，所決定的降混合矩陣D以及協方差矩陣E係用以解碼所述一個或更多音源傳輸聲道的複數個取樣值(例如所述至少一音源傳輸聲道的2048個取樣值)。藉由採用此概念，相較於傳輸的未經編碼的所述至少一音源物件訊號，將節省位元速率。
多個實施例係基於發現音源物件訊號以及音源聲道訊號展 示了重要的差異，一音源傳輸訊號可由一增強的SAOC編碼器產生，使得在此音源傳輸訊號內的音源物件訊號以及音源聲道訊號被混和。
音源物件訊號明顯地不同於音源聲道訊號。例如，複數個音 源物件訊號中的每一個可代表一聲音場景的一音源來源。因此，一般來說，兩個音源物件可為高度不相關。相反地，音源聲道訊號代表一聲音場景的不同聲道，就像是藉由不同麥克風進行錄音。一般來說，兩個此類的音源聲道訊號為高度相關，特別的是，兩個音源物件訊號的相關性卻通常為高度不相關。因此，多個實施例係基於此發現，音源聲道訊號藉由使用解碼用的傳輸相關性以及從傳輸在兩個音源聲道訊號成對間的相關性獲益。
此外，音源物件訊號以及音源聲道訊號兩者分配給音源物件 訊號的位置資訊不同，例如從一音源物件訊號的來源指示一音源的一假定配置(例如一音源物件)。當從解碼器側上的音源傳輸訊號產生音源輸出聲 道時，可使用(元數據資訊包含的)此類位置資訊。然而，相反地，音源聲道訊號並沒有顯示一位置以及並沒有顯示被分配到音源聲道訊號的位置資訊然而，多個實施例係基於此發現，SAOC編碼音源聲道訊號與音源物件訊號一起使用仍然是有效的，例如當產生的所述音源聲道訊號能被分割為兩個子問題時，不須任何的位置資訊即可決定解碼資訊(例如決定用以降混合的矩陣G)以及轉譯的資訊(例如藉由所決定的轉譯矩陣R，如下述)，其中在音源物件訊號上的位置資訊可用於轉譯在所產生的音源輸出聲道內的所述音源物件。
此外，本發明係基於發現，當編碼器不為至少一音源聲道訊 號中其中一個以及至少一音源物件訊號中其中一個之任何成對以傳輸相關性資訊時，在所述音源物件訊號中之其中一個以及所述音源聲道訊號中之其中一個的任何成對之間並不存在相關性。藉此，節省用以編碼以及解碼之重要傳輸頻寬以及計算時間。當決定所述混和資訊時，不被設置用以處理此類微不足道的相關性資訊的解碼器可節省一大量的計算時間(其中此混合資訊係用以從解碼器端上的音源傳輸訊號產生所述音源輸出聲道)。
根據一實施例，參數化處理器110可以，例如用以接收轉譯 資訊，此轉譯資訊代表如何在至少一音源輸出訊號內將至少一音源聲道訊號以及至少一音源物件訊號進行混合的資訊。參數化處理器110可以，例如依據降混合資訊、協方差資訊以及轉譯資訊以計算混合資訊。
例如，參數處理器110可以，例如用以接收轉譯矩陣R的 複數個係數以作為轉譯資訊，並可依據降混合資訊、協方差資訊以及轉譯矩陣R以計算混和資訊例如，參數處理器可以從編碼器側上或從一使用者接收轉譯矩陣R的所述係數。在另一實施例中，參數處理器110可以，例如用以接收元數據資訊，例如位置資訊或增益資訊，並可例如依據所接收的元數據資訊以計算轉譯矩陣R的所述係數。在一進一步的實施例中，參數處理器可用以接收兩者(來自編碼器以及使用者的轉譯資訊)，並基於兩者(基本上意旨兩者實現交互作用)以產生轉譯矩陣。
或者，參數處理器可以，例如接收兩個轉譯的子矩陣Rch 以及Rob以作為轉譯資訊，其中R=(Rch,Robj)內的Rch指示如何將音源 聲道訊號混合到複數個音源輸出聲道內，其中Robj可為從OAM資訊取得的一轉譯矩陣，其中Robj可例如由第9圖的VBAP區塊1810所提供。
在一具體的實施例中，例如，至少兩個音源物件訊號可以在 音源傳輸訊號內被混合，至少兩個音源聲道訊號可以，例如在音源傳輸訊號內進行混合。在此實施例中，協方差資訊可指示至少兩個音源聲道訊號中的第一個以及第二個的至少一成對的相關性資訊。此外，在此實施例中，(例如從一編碼器側被傳送至解碼器側的)協方差資訊並不指示至少兩個音源物件訊號中的第一個以及第二個的任何成對的相關性資訊，因為在所述音源物件訊號之間的相關性可能非常小，故可將其忽略，例如，不傳送相關性資訊以節省位元速率以及處理時間。在此實施例中，參數處理器110係依據降混合資訊、每一所述至少一音源聲道訊號的所述位準差資訊、每一至少一音源物件訊號之所述第二位準差資訊以及所述至少二音源聲道訊號之第一個及第二個所形成之所述至少一成對之相關性資訊，以計算所述混和資訊。這樣的一實施例採用上述之描述可發現，音源物件訊號間的相關性通常是相對地低而應該被忽略，而在兩個音源聲道訊號間的相關性通常是相對地高而應該被考慮。藉由不須處理音源物件訊號之間的不相干的相關性資訊，處理時間便可以被節省。藉由處理音源聲道訊號之間相干的相關性，編碼的效率便可以被提升。
在具體實施例中，至少一音源聲道訊號在至少一音源傳輸聲 道的第一群組內進行混和，其中至少一音源物件訊號在至少一音源傳輸聲道的第二群組內進行混和，其中第二群組不包含第一群組的每個音源傳輸聲道，且其中第一群組不包含第二群組的每個音源傳輸聲道。在此實施例中，所述降混合資訊包含第一降混合子資訊以及第二降混合子資訊，其中第一降混合子資訊指示如何在至少一音源聲道訊號的第一群組內將至少一音源聲道訊號混合，第二降混合子資訊指示如何在至少一音源聲道訊號的第二群組內將至少一物件訊號混合。在此實施例中，所述參數處理器110係依據第一降混合子資訊、第二降混合子資訊以及協方差資訊，以計算混和資訊。降混合處理器120係設置用以從所述至少一音源傳輸聲道的第一群組以及第二群組產生至少一音源輸出訊號。當一聲音場景之音源聲道訊 號彼此之間存在高相關性時，可使用此方法以增加編碼效率。此外，降混合矩陣的係數指示在所述音源傳輸聲道上音源聲道訊號的一影響，此音源傳輸聲道係編碼音源物件訊號，且反之亦然，此音源傳輸聲道不需被編碼器計算，不需被進行傳送，且能夠由解碼器不處理其需要而設定成0。對於編碼器及解碼器，如此一來可節省傳輸頻寬以及計算時間。
在一實施方式中，所述降混合處理器120被設置用以接收在 一位元串流裡的所述音源傳輸訊號，所述降混合處理器120被設置用以接收一第一聲道計數數目，此第一聲道計數數目係指出編碼音源聲道訊號之所述音源傳輸聲道之數目，且所述降混合處理器120被設置用以接收一第二聲道計數數目，此第二聲道計數數目指出編碼音源物件訊號之所述音源傳輸聲道之數目。在這樣的實施方式中，根據所述第一聲道計數數目、所述第二聲道計數數目、所述第一聲道計數數目及所述第二聲道計數數目，所述降混合處理器120被設置用以識別音源傳輸訊號之一音源傳輸聲道編碼音源聲道訊號或是識別音源傳輸訊號之一音源傳輸聲道編碼音源物件訊號。舉例來說，在所述位元串流裡，所述音源傳輸聲道編碼首先出現的音源聲道訊號，且所述音源傳輸聲道編碼編碼後來出現的音源物件訊號。然後，若是所述第一聲道計數數目是，例如3，且所述第二聲道計數數目是，例如2，所述降混合處理器能斷定所述第一三音源傳輸聲道，此第一三音源傳輸聲道包含編碼之音源聲道訊號及隨後之包含編碼音源物件訊號之二個音源傳輸聲道。
在一實施方式中，所述參數處理器110被設置用以接收包含 位置資訊之元數據資訊，其中該位置資訊為每一所述至少一音源物件訊號指出一位置，且其中該位置資訊不為任一所述至少一音源聲道訊號指示一位置。在這樣的一實施方式中，根據所述降混合資訊、所述協方差資訊以及所述位置資訊，所述參數處理器110被設置用以計算混合資訊。另外地或是可選擇地，所述元數據資訊更包含增益資訊，其中所述增益資訊對每一所述至少一音源物件訊號指示一增益數值，且其中所述增益資訊並不為任一所述至少一音源聲道訊號指示一增益數值。在這樣的一實施例中，根據所述降混合資訊、所述協方差資訊以及所述增益資訊，該參數處理器110 可以用以計算所述混合資訊。舉例來說，此外根據上述之所述子矩陣Rch，所述參數處理器110可以被設置用以計算所述混合資訊。
按照一實施方式，所述參數處理器110被設置用以計算一混 合矩陣S以作為所述混合資訊，其中所述混合矩陣S係依據該公式S=RG而被定義：其中G是根據所述降混合資訊以及所述協方差資訊之一解碼矩陣，其中R是根據所述元數據資訊之一轉譯矩陣。在這樣的一實施例中，所降混合處理器120係藉由應用公式Z=SY，而設置用以產生所音源輸出訊號之所述至少一音源輸出聲道，其中Z是所述音源輸出訊號，且其中Y是所述音源傳輸訊號。例如，R可以根據如上所述之子矩陣Rch及/或Robj(例如，R=(Rch,Robj))。
第3圖係根據一實施例以顯示一系統。此系統包含用以產生 如上所述之一音源傳輸訊號的裝置310，以及用以產生如上所述至少一音源輸出聲道的裝置320，此裝置320係用以產生所述至少一音源輸出聲道，且此裝置320被設置用以從產生所述音源傳輸訊號之所述裝置310接收所述音源傳輸訊號、降混合資訊以及協方差資訊。此外，根據所述降混合資訊以及所述協方差資訊，用以產生所述音源輸出聲道之所述裝置320係被設置用以從所述音源傳輸訊號產生所述至少一音源輸出聲道。
根據實施方式，所述SAOC系統的功能是一物件導向系統 來實現物件編碼，且此系統被延伸使得物件(物件編碼)或音源聲道(聲道編碼)或音源聲道及音源物件(混合編碼)能夠被編碼。
如以上第6圖及第8圖所描述的SAOC編碼器是被增強的， 使得它不僅可以接收音源物件以作為輸入，也可以接收音源聲道以作為輸入，且亦可使得所述SAOC編碼器能夠產生降混合聲道(如SAOC傳輸聲道)，其中所述接收音源物件以及所述接收音源聲道係被編碼的。在上面所描述的實施例裡，如第6圖及第8圖，這樣的一SAOC編碼器800不但能夠接收音源物件，也可以接收音源聲道以作為輸入，且其可產生降混合聲道(如SAOC傳輸聲道)，其中所述接收音源物件以及所述接收音源聲道係被編碼的。舉例來說，在第6圖及第8圖之所述SAOC編碼器被實施作為一裝置，用以產生一音源傳輸訊號(包含至少一音源傳輸聲道，例如，至少一 SAOC音源傳輸聲道)，如參考第2圖之描述，且第6圖及第8圖之實施方式係被修改，使得不僅物件，且一個、部份或全部的聲道係被饋入到所述SAOC編碼器800裡。
如以上第7圖及第9圖所描述的，此SAOC解碼器1800是 被增強的，使得其能夠接收降混合聲道(如SAOC傳輸聲道)，其中所述音源物件以及所述音源聲道係被編碼的，且使得其能夠從接收之降混合聲道(如，SAOC傳輸聲道)產生所述輸出聲道(轉譯聲道訊號以及轉譯物件訊號)，其中所述音源訊號及所述音源聲道係被編碼的。在上面所描述的實施例裡，如第7圖及第9圖，這樣的一SAOC解碼器1800接收降混合聲道(如SAOC傳輸聲道)，其中音源物件以及音源聲道均被編碼且從所述接收降混合聲道(如SAOC傳輸聲道)產生所述輸出聲道(轉譯聲道訊號以及轉譯物件訊號)，其中所述音源物件及所述音源聲道是被編碼的。舉例來說，在第7圖及第9圖之所述SAOC解碼器被實施作為一裝置，此裝置係用以產生至少一音源輸出聲道以作為參考到第1圖的描述，且第7圖及第9圖之實施方式被修改，使從在所述USAC解碼器1300以及所述混合器1220間的一個、一些或是所有的聲道不被USAC解碼器1300所產生(再建)，但取而代之的，其係透過從所述SAOC傳輸聲道(音源傳輸聲道)之所述SAOC解碼器1800而再建的。
根據所述應用，一SAOC系統的不同優點可以透過使用這 樣的一種增強SAOC系統來被使用。
根據一些實施方式，這樣一增強的SAOC系統支援降混合 聲道之一任意數以及轉譯至輸出聲道之任意數。在部份實施方式中，例如，降混合聲道之所述數用(SAOC傳輸聲道)可以被縮減(如在執行時間)至大量地減少所有的位元速率，此將導致低的位元速率。
此外，根據部份的實施方式，在這樣的一增強SAOC系統 的所述SAOC解碼器可具有一整合彈性轉譯器，能允許使用者之相互作用。透過此方式，所述使用者可以改變在音源場景裡所述物件的位置，衰減或增加個別物件之位準，或完全地壓制物件等等。例如，考慮所述聲道訊號作為背景物件(BGOs)且所述物件訊號作為前景物件(FGOs)，SAOC之 互動特徵可以被用於如對話增強之應用。透過這樣的一互動特徵，所述使用者可以在一有限的範圍裡，所述背景物件及前景物件，自由去操縱，為了增加所述對話的理解度(如對話可以由前景物件來表示)，或者為了獲得在對話(如由前景物件表示)以及環境背景(如由背景物件表示)之間的一平衡。
此外，在實施方式根據解碼器端之可用的計算複雜度，所述 SAOC解碼器可以透過操作在一"低計算複雜度"模式，來自動縮減計算時之複雜度，例如，藉由減少解相關器之數目，及/或，例如，藉由直接轉譯至重製設計且關閉隨後之如上所述的格式轉換器1720。例如，轉譯資訊可以暗示如何降混合22.2系統之聲道到5.1系統之聲道。
根據實施例，所述增強SAOC編碼器可以處理一可變數量 之輸入聲道(NChannels)及輸入物件(NObjects)。為了示意所述解碼器端此聲道路徑之存在，聲道及物件之數量係被傳送到位元串流裡。到所述SAOC編碼器的輸入訊號均為有次序性的，使得所述聲道訊號為第一個且所述物件訊號為最後一個。
按照另一個實施例，聲道/物件混合器210被設置用以產生 所述音源傳輸訊號，使得所述音源傳輸訊號之所述至少一音源傳輸聲道之數目取決於多少位元速率可用於傳送所述音源傳輸訊號。
舉例來說，降混合(傳輸)聲道的數目可以，如被計算為可使用的位元速率以及輸入訊號之總數目之一函式：NDmxCh=f(bitrate,N)矩陣D裡的降混合係數決定了所述輸入訊號(聲道及物件)之混合，根據所述應用，矩陣D之結構可以被指定，使得聲道及物件被一起混合或是被保持分離。
部分實施方式基於以下發現：有助於無法混合物件以及聲道在一起，為了不混合所述物件以及所述聲道在一起，所述降混合矩陣可以，如被建置為：
為了訊號化所述分離混合訊號至位元串流裡，指定到所述聲 道路徑()的降混合聲道數目以及指定到所述物件路徑()的降混合聲道的數值可被傳送。
所述區塊化降混合矩陣Dch及Dobj分別具有 x N Channels 以及 x N Objects 的大小。
在解碼器上，參數化來源評估矩陣G E X D H (D E X D H )-1 之係數係以一不同的方式來計算，利用一矩陣格式，其可以被表示為： 其中- ，大小為N Channels x
- ，大小為N Objects x 聲道訊號協方差()之數值以及物件訊號協方差()之數值可以，如透過選擇相關的對角區堆，從所述輸入訊號協方差矩陣(EX)所獲得。
因為一直接結果，所述位元速率藉由不送出所述附加資訊(如，OLD,IOCs)而被減少，此附加資訊係用來再建聲道及物件間的相關協方差矩陣：
根據部份的實施方式，，且
根據一實施方式，所述增強的SAOC編碼器被設置用來不傳輸在一協方差上之資訊至所述增強的SAOC解碼器，其中此協方差上的 資訊是位於任一所述音源物件以及任一所述音源聲道之間。
此外，根據一實施方式，所述增強的SAOC解碼器被設置用以不接收在一協方差上的資訊，其中此協方差上的資訊是位於任一所述音源物件以及任一所述音源聲道之間。
在G之所述去對角線區塊化元素不被計算，但其被設定成0。因此，可避免在再建聲道及物件間的可能串擾。此外，透過此種方式，當G的較少係數必須被計算時，可以達到計算複雜度的減少。
此外，根據實施例，取代倒置所述較大矩陣： D E X D H ，大小為 以下兩個小的矩陣被倒置：，大小為
，大小為相較於倒置所述較大的矩陣D E X D H ，倒置所述較小的矩陣及具有較小的計算複雜度。
此外，藉由倒置分離矩陣及，可能的數值不穩定性相較於轉換所述較大矩陣D E X D H 可減少，舉例來說，在最差的情況下，當所述傳輸聲道之協方差矩陣及由於訊號相似度具有線性相依性時，所述全矩陣D E X D H 可以是不良狀態，而所述分離之較小矩陣可以是良好狀態的。
在解碼器端之被計算後，然後其可能， 例如，參數化地評估所述輸入訊號以獲得再建輸入訊號(所述輸入音源聲道訊號以及所述輸入音源物件訊號)，如，使用。
此外，如以上所述，轉譯可以在解碼器端上被傳道，用以獲得所述輸出聲道Z，例如，藉由採用一轉譯矩陣R：
Z=RGY
Z=SY；其中S=RG
明確地，取代再建所述輸入訊號(所述輸入音源聲道訊號以及所述輸入音源物件訊號)以獲得再建輸入聲道，所述輸出聲道Z可以在解碼器端被直接地產生，其產生之方式是應用在所述降混合音源訊號Y上的所述輸出聲道產生矩陣S。
如同上面已經描述的，為了獲得所述輸出聲道產生矩陣S，轉譯矩陣R可被決定或是可以已經被使用。此外，所述參數來源估計矩陣G可以，例如，是如上面描述所被計算的，當此矩陣乘積從所述轉譯矩陣R以及所述參數來源估計矩陣G，S=RG，然後所述輸出聲道產生矩陣S即可以被獲得。
關於所述再建音源物件訊號，從所述編碼器傳輸至所述解碼器的在所述音源物件上的壓縮元數據可以被考慮。舉例來說，在音源物件上的元數據可以指出在每一音源物件上的位置資訊，這樣的位置資訊可以，例如是一方位角角度、一仰角角度以及一半徑。所述位置資訊可以指示在一三維空間裡所述音源物件的一位置。舉例來說，當一個音源物件被置放於一假設或實際的揚聲器位置，這樣的一音源物件在所述輸出聲道的所述揚聲器相較於距離較遠的另一揚聲器具有一較高的權重，例如，向量基礎幅度平移(VBAP)可以被採用(見，例如[VBAP])來對所述音源物件決定所述轉譯矩陣之所述轉譯係數。
此外，在部份實施方式中，所述壓縮元數據可以針對每一音源物件包含一增益數值。例如，對於每一所述音源物件訊號，一增益數值可以為所述音源物件訊號指示一增益因子。
對比於所述音源物件，針對所述音源聲道訊號，不從所述編碼器傳送位置資訊元數據從到所述解碼器。一個附加的矩陣(如，轉換22.2至5.1)或是單位矩陣(當所述聲道之輸入設置等於輸出設置)可以，例如，為了所述音源聲道被採用來決定所述轉譯矩陣R的所述轉譯係數。
轉譯矩陣R之大小可以為NOutputChannels x N。此處，對於每一所述輸出聲道，在所述矩陣R裡存在一列，此外，在所述轉譯矩陣 R裡的每一列，N係數決定在相關輸出聲道裡所述N個輸入訊號(所述輸入音源聲道以及所述輸入音源物件)之權重。那些設置靠近所述輸出聲道之揚聲器的音源物件具有一係數，此係數大於所述遠離所述相關輸出聲道之揚聲器的音源物件之係數。
例如，向量基礎幅度平移(VBAP)可以被採用(見，e.g.[VBAP])來決定在所述揚聲器之每一所述音源聲道裡一音源物件訊號之所述權重。如，關於VBAP，其假設為一音源物件相關於一虛擬來源。
當，相較於音源物件，音源聲道不具有一位置，在所述轉譯矩陣裡關於音源聲道之所述係數可以，如獨立於位置資訊。
根據實施例其所述位元串流句法係被描述在下文中。
在MPEG SAOC的背景中，可能模式操作之訊號可以經由，如，以下兩者之一之可能性來完成，(第一可能性：為了訊號化所述操作模式而使用旗標，第二可能性，為了訊號化所述操作模式而不使用旗標)。
因此，根據一第一實施例，旗標可用於訊號化所述操作模式，為了訊號化操作模式而使用旗標，一SAOCSpecifigConfig()元素或是SAOC3DSpecifigConfig()元素的一文句可以，例如包含：
若是所述位元串流變數bsSaocChannelFlag被設定成1，第 一個bsNumSaocChannels+1輸入訊號被視為以聲道為基礎的訊號。若是所述位元串流變數bsSaocObjectFlag被設定成1，最後的bsNumSaocObjects+1輸入訊號將像物件訊號而被處理。因此，在相異於零的兩個位元串流變數(bsSaocChannelFlag,bsSaocObjectFlag)情況下，到所述音源傳輸聲道裡的聲道及物件係被訊號化。
如果所述位元串流變數bsSaocCombinedModeFlag相等於 1，所述結合的解碼模式係被訊號化至位元串流裡，以及所述解碼器將會使用所述全降混合矩陣D來處理bsNumSaocDmxCharnnels個傳輸聲道(此即表示所述聲道訊號以及物件訊號被混合在一起)。
若是所述位元串流變數bsSaocCombinedModeFlag被設定成 0，所述獨立解碼模式係被訊號化，且所述解碼器將會使用如上所述之一區塊化降混合矩陣來處理(bsNumSaocDmxChannels+1)+(bsNumSaocDmxObjects+1)個傳輸聲道。
根據一較佳第二實施例，沒有旗標是在訊號化所述操作模中 被需要的。
例如，不使用旗標來訊號化所述操作模式可以藉由採用下述文句來實現。
訊號化
SAOC3DSpecificConfig()之文句： 限制聲道及物件間之互相關成0： } 當所述音源聲道以及音源物件被混合至不同的音源傳輸聲道以及當他們被混合至所述音源傳輸聲道裡，針對此情況來讀取相異地所述降混合增益，
若是所述位元串流變數bsNumSaocChannels相異於0，第一個bsNumSaocChannels輸入訊號即被視為以聲道為基礎的訊號。若是所述位元串流變數bsNumSaocObjects相異於0，最後的bsNumSaocObjects輸入訊號將像物件訊號而被處理。因此，在相異於零的兩個位元串流變數情況下，到所述音源傳輸聲道裡的聲道及物件係被訊號化。
如果所述位元串流變數bsNumSaocDmxObjects相等於0，所述結合的解碼模式係被訊號化至位元串流裡，以及所述解碼器將會使用所述全降混合矩陣D來處理bsNumSaocDmxChannels個傳輸聲道(此即表示所述聲道訊號以及物件訊號被混合在一起)。
若是所述位元串流變數bsNumSaocDmxObjects相異於0，所述獨立解碼模式係被訊號化，且所述解碼器將會使用如上所述之一區塊化降混合矩陣來處理bsNumSaocDmxChannels+bsNumSaocDmxObjects個傳輸聲道。
在下文中，將描述根據一實施方式的降混合處理：如在ISO/IEC23003-1：2007產生SAOC三維解碼器之最終輸出，所述降混合處理器之輸出訊號(表現在混合QMF領域裡)係被送至相關的合成濾波器。
第1圖之所述參數處理器110以及所述降混合處理器120可以被實現為一聯合處理單元，如第1圖所示的這樣一聯合處理單元，其中單元U及R藉由提供所述混合資訊以實現所述參數處理器110。
所述輸出訊號是從多聲道降混合訊號被計算出來，且所述解相關多聲道訊號表示為： 其中U表示所述參數混溶矩陣所述混合矩陣P=(P dry P wet)是一混合矩陣。 所述解相關多聲道訊號X d被定義為X d-decorrFunc(M pre Y dry)
所述解碼模式係藉由所述位元串流元素bsNumSaocDmxObjects而被控制：
在結合解碼模式的情形下，所述參數化混溶矩陣U是由以下給予：U=ED * J
所述矩陣J之大小N dmx×N dmx是由以下所給予：J △ -1其中△=DED * 。
在獨立解碼模式的情形下，所述混溶矩陣U是由以下所給予： 其中且。
基於大小N ch ×N ch 之協方差矩陣E ch 之聲道以及基於大小N obj ×N obj 之協方差矩陣E obj之物件是從所述協方差矩陣E藉由選擇相關的對角區塊而獲得：
其中所述矩陣E ch,obj=(E obj,ch)*表示在所述輸入聲道以及輸入物件間之互相關協方差矩陣，且此矩陣並不需要被計算。
基於大小×N ch之降混合矩陣D ch之聲道以及基於大小×N obj之降混合矩陣D obj之物件是從所述降混合矩陣D藉由選擇相關的對角區塊而獲得： 大小為×之所述矩陣是從矩陣J的定義所衍生： 大小為之所述矩陣是從矩陣J的定義所衍生： 所述矩陣J △ -1是使用下述方程式來計算：J=VΛ inv V * 此處所述矩陣之奇異值向量V係使用下列特徵方程式來取得：VΛV * =△。
所述對角奇異值矩陣Λ之逆正規化Λ inv 被計算為： 所述相關正規化縮放係使用絕對門檻值T reg 以及Λ的最大值來決定為
在下文中，依據一實施方式，將描述所述轉譯矩陣：應用至輸入音源訊號S之所述轉譯矩陣R決定所述目標轉譯輸出為Y=RS：大小為N out×N之所述轉譯矩陣R是由以下所給予：R=(R ch R obj )其中大小為N out ×N ch 之R ch 表示關聯至所述輸入聲道之轉譯矩陣以及大小為N out ×N obj 之R obj 表示關聯至所述輸入物件之所述轉譯矩陣。
在下文中，依據一實施方式，所述解相關多聲道訊號X d係被描述：所述解相關訊號X d是，例如，如在ISO/IEC 23003-1：2007之6.6.2裡所描述，利用bsDecorrConfig==0與，如一解相關器索引X，從解相關器而產生，因此，舉例來說，decorrFunc( )表示解相關程序：X d=decorrFunc(M pre Y dry )
雖然一些態樣已經在裝置之內容中描述，清楚的是這些態樣亦代表相對應的方法之描述，而方塊或是裝置係對應方法步驟或是方法步驟之特徵。同樣地，在方法步驟之內容中描述的態樣亦代表相對應的方塊或是項目或是相對應裝置之特徵的描述。
本發明的解壓縮訊號可儲存在數位儲存媒體上或是可傳送至傳送媒體上(例如無線傳送媒體)或是有線傳送媒體(例如網際網路)。
取決於特定的執行需求，本發明的實施例可在硬體或是在軟體上實現。此實現可使用性，數位儲存媒體，例如儲存有電子可讀取控制訊號的軟碟、DVD、CD、ROM、PROM一EPROM、EEPROM或是FLASH記憶體其能與一可程式化電腦系統合作(或是能夠配合)以執行上述方法。
根據本發明之一些實施例包含具有電子可讀取控制訊號的非暫態數據載體，其能夠與可程式化電腦系統配合，以執行上述方法中的其中一個。
通常，本發明之實施例可實現為一具有程式碼的電腦程式產品，當此電腦程式產品在一電腦上執行時此程式碼係操作以執行上述方法中的其中一個。例如此程式碼可儲存在機器可讀取載體上。
其他實施例包含用以執行上述方法中的其中一個的電腦程式，其儲存在機器可讀取載體上。
換句話說，因此發明的方法之實施例係為具有當此電腦程式在電腦上執行時，能執行上述方法中的其中一個的程式碼的電腦程式。
因此，本發明的方法之另一實施例數據載體(或是數位儲存媒體或是電腦可讀取媒體)包含紀錄用以執行上述方法中的其中一個的電腦程式。
因此，本發明之方法之另一實施例係為一數據流或是一串訊 號，其代表用於執行上述方法中的其中一個的電腦程式。例如數據流或是此串訊號可配置經由數據通訊連接傳輸，例如透過網際網路。
另一實施例包含一處理裝置例如電腦，或是可程式化邏輯裝 置，用以或是採用執行上述方法中的其中一個。
另一實施例包含一安裝有用於執行上述方法中的其中一個 之電腦程式的電腦。
在一些實施例中，可程式化邏輯裝置(例如場效可程式化閘 極陣列)可用以執行上述方法之一些或是全部功能。在一些實施例中，為了執行上述方法中的其中一個，場效可程式化閘極陣列可配合微處理器。通常，此方法可藉由任何硬體裝置較佳執行。
上述實施例係僅為本發明原理之說明。應理解的是在較佳實施例之詳細說明中所提出之具體實施例僅用以方便說明本發明之技術內容，而非將本發明狹義地限制於上述實施例，在不超出本發明之精神及以下申請專利範圍之情況，所做之種種變化實施，皆屬於本發明之範圍。
參考文獻：
[SAOC1] J. Herre, S. Disch, J. Hilpert, O. Hellmuth: "From SAC To SAOC-Recent Developments in Parametric Coding of Spatial Audio", 22nd Regional UK AES Conference, Cambridge, UK, April 2007.
[SAOC2] J. Engdegård, B. Resch, C. Falch, O. Hellmuth, J. Hilpert, A. Hölzer, L. Terentiev, J. Breebaart, J. Koppens, E. Schuijers and W. Oomen: " Spatial Audio Object Coding (SAOC)-The Upcoming MPEG Standard on Parametric Object Based Audio Coding", 124th AES Convention, Amsterdam 2008.
[SAOC] ISO/IEC, “MPEG audio technologies-Part 2: Spatial Audio Object Coding (SAOC),” ISO/IEC JTC1/SC29/WG11 (MPEG) International Standard 23003-2.
[VBAP] Ville Pulkki, “Virtual Sound Source Positioning Using Vector Base Amplitude Panning”; J. Audio Eng. Soc., Level 45, Issue 6, pp. 456-466, June 1997.
[M1] Peters, N., Lossius, T. and Schacher J. C., "SpatDIF: Principles, Specification, and Examples", 9th Sound and Music Computing Conference, Copenhagen, Denmark, Jul. 2012.
[M2] Wright, M., Freed, A., "Open Sound Control: A New Protocol for Communicating with Sound Synthesizers", International Computer Music Conference, Thessaloniki, Greece, 1997.
[M3] Matthias Geier, Jens Ahrens, and Sascha Spors. (2010), "Object-based audio reproduction and the audio scene description format", Org. Sound, Vol. 15, No. 3, pp. 219-227, December 2010.
[M4] W3C, "Synchronized Multimedia Integration Language (SMIL 3.0)", Dec. 2008.
[M5] W3C, "Extensible Markup Language (XML) 1.0 (Fifth Edition)", Nov. 2008.
[M6] MPEG, "ISO/IEC International Standard 14496-3-Coding of audio-visual objects, Part 3 Audio", 2009.
[M7] Schmidt, J.; Schroeder, E. F. (2004), "New and Advanced Features for Audio Presentation in the MPEG-4 Standard", 116th AES Convention, Berlin, Germany, May 2004.
[M8] Web3D, "International Standard ISO/IEC 14772-1:1997-The Virtual Reality Modeling Language (VRML), Part 1: Functional specification and UTF-8 encoding", 1997.
[M9] Sporer, T. (2012), "Codierung räumlicher Audiosignale mit leichtgewichtigen Audio-Objekten", Proc. Annual Meeting of the German Audiological Society (DGA), Erlangen, Germany, Mar. 2012.
110‧‧‧參數處理器
120‧‧‧降混合處理器

Claims (19)

  1. 一種裝置，用以產生至少一音源輸出聲道，其中該裝置包含一參數處理器(110)，用以計算混合資訊，以及一降混合處理器(120)用以產生該至少一音源輸出聲道，其中該降混合處理器(120)被設置用以接收包含至少一音源傳輸聲道之一音源傳輸訊號，其中至少一音源聲道訊號被混合在該音源傳輸訊號裡，其中至少一音源物件訊號被混合在該音源傳輸訊號裡，以及其中該至少一音源傳輸聲道之該數目係小於該至少一音源聲道訊號之該數目加上該至少一音源物件訊號之該數目，其中該參數處理器(110)被設置用以接收一降混合資訊，該降混合資訊係指出該至少一音源聲道訊號以及該至少一音源物件訊號如何被混合在該至少一音源傳輸聲道裡之資訊，且其中該參數處理器(110)被設置用以接收一協方差資訊，其中根據該降混合資訊以及該協方差資訊，該參數處理器(110)被設置用以計算該混合資訊，以及其中根據該混合資訊，該降混合處理器(120)被設置用以從該音源傳輸訊號產生該至少一音源輸出聲道，其中該協方差資訊針對至少一之該至少一音源聲道訊號指出一位準差資訊，並更進一步地針對至少一之該至少一音源物件訊號指出一位準差資訊，以及其中該協方差資訊並不為該至少一音源聲道訊號之其中之一以及該至少一音源物件訊號之其中之一的配對來指示一相關性資訊。
  2. 如申請專利範圍第1項所述之裝置，其中：該協方差資訊針對每一該至少一音源聲道訊號指出一位準差資訊，並更進一步地針對每一該至少一音源物件訊號指出一位準差資訊。
  3. 如申請專利範圍第1項所述之裝置，其中：至少二音源物件訊號被混合在所述音源傳輸訊號裡，且其中至少二音源聲道訊號被混合在該音源傳輸訊號裡，其中該協方差資訊針對一或多對之該至少二音源聲道訊號中的一第一個音源聲道訊號以及該至少二音源聲道訊號中的一第二個音源聲道訊號以指出相關性資訊，或是其中該協方差資訊針對一或多對之該至少二音源物件訊號中的一第一個音源物件訊號以及該至少二音源物件訊號中的一第二個音源物件訊號以指出相關性資訊，或是其中該協方差資訊針對一或多對之該至少二音源聲道訊號中的一第一個音源聲道訊號以及該至少二音源聲道訊號中的一第二個音源聲道訊號以指出相關性資訊，且針對一或多對之該至少二音源物件訊號中的一第一個音源物件訊號以及該至少二音源物件訊號的一第二個音源物件訊號以指出相關性資訊。
  4. 如申請專利範圍第1項所述之裝置，其中：該協方差資訊包含大小為N x N之一協方差矩陣E X 之複數個協方差係數，其中N指出該至少一音源聲道訊號之該數目加上該至少一音源物件訊號之該數目，其中該降混合矩陣E X 是根據該公式而被定義： 其中指出大小為NChannels x NChannels之一第一協方差次矩陣之該係數，其中NChannels指出該至少一音源聲道訊號之該數目，其中指出大小為NObjects x NObjects之一第二協方差次矩陣之該係數其中NObjects指出該至少一音源物件訊號之該數目，其中0係指一零矩陣，其中該參數處理器(110)被設置用以接收該降混合矩陣E X 之該複數個降混合係數，以及 其中該參數處理器(110)被設置用以設定該降混合矩陣E X 不被該參數處理器(110)所接收之所有係數為0。
  5. 如申請專利範圍第1項所述之裝置，其中該至少一音源聲道訊號是被混合在一第一組至少一該音源傳輸聲道裡，其中該至少一音源物件訊號是被混合在一第二組至少一該音源傳輸聲道，其中該第一組之每一音源傳輸聲道不被該第二組所包含，且其中該第二組之每一音源傳輸聲道不被該第一組所包含，且其中該降混合資訊包含一第一降混合次資訊，該第一降混合次資訊指出該至少一音源聲道訊號如何被混合在該第一組至少一該音源傳輸聲道裡之資訊且其中該降混合資訊包含一第二降混合次資訊，該第二降混合次資訊指出該至少一音源物件訊號如何被混合在該第二組至少一該音源傳輸聲道裡之資訊，其中根據該第一降混合次資訊、該第二降混合次資訊以及該協方差資訊，該參數處理器(110)被設置用以計算該混合資訊，以及其中根據該混合資訊，該降混合處理器(120)被設置用以產生從該第一至少一音源傳輸聲道及從該第二組音源傳輸聲道之該至少一音源輸出訊號。
  6. 如申請專利範圍第5項所述之裝置，其中該降混合資訊包含大小為NDmxCh x N之一降混合矩陣D之複數個降混合係數，其中NDmxCh指出該至少一音源傳輸聲道之該數目，以及其中N指出該至少一音源聲道訊號之該數目加上該至少一音源物件訊號之該數目，其中該降混合矩陣是根據該公式而被定義： 其中D ch係指大小為×NChannels之一第一降混合次矩陣之該係數，其中係指該第一組該至少一音源傳輸聲道之該至少一音源傳輸聲道之該數目，以及其中NChannels係指該至少一音源聲道訊號之 該數目，其中D obj係指大小為 x NObjects之一第二降混合次矩陣之該係數，其中係指該第二組該至少一音源傳輸聲道之該至少一音源傳輸聲道之該數目，以及其中NObjects係指該至少一音源聲道訊號之該數目，其中0係指一零矩陣，其中該參數處理器(110)被設置用以接收該降混合矩陣D之該複數個降混合係數，以及其中該參數處理器(110)被設置用以設定該降混合矩陣D不被該參數處理器接收之所有係數為0。
  7. 如申請專利範圍第5項所述之裝置，其中該降混合處理器(120)被設置用以接收包含該音源傳輸訊號之該音源傳輸聲道之一資料串流，其中該降混合處理器(120)被設置用以接收一第一聲道計數數目，該第一聲道計數數目指出該第一組至少一音源傳輸聲道之該音源傳輸聲道之該數目，其中該降混合處理器(120)被設置用以接收一第二聲道計數數目，該第二聲道計數數目指出該第二組至少一音源傳輸聲道之該音源傳輸聲道之該數目，其中根據該第一聲道計數數目、該第二聲道計數數目或是該第一聲道計數數目及該第二聲道計數數目，該降混合處理器(120)被設置用以識別該資料串流裡的一音源傳輸聲道是否屬於該第一組或該第二組。
  8. 如申請專利範圍第1項所述之裝置，其中該參數處理器(110)被設置用以接收一轉譯資訊，該降混合資訊係指出該至少一音源聲道訊號以及該至少一音源物件訊號如何被混合在該至少一音源輸出聲道裡之資訊，其中根據該降混合資訊、該協方差資訊以及該轉譯資訊，該參數處理器(110)被設置用以計算該混合資訊。
  9. 如申請專利範圍第8項所述之裝置，其中該參數處理器(110)被設置用以接收一轉譯矩陣R之複數個係數以作為該轉譯資訊，以及其中根據該降混合資訊、該協方差資訊以及該轉譯矩陣R，該參數處理器(110)被設置用以計算該混合資訊。
  10. 如申請專利範圍第8項所述之裝置，其中該參數處理器(110)被設置用以接收在後設資料資訊以作為該轉譯資訊，其中該後設資料資訊包含位置資訊，其中該位置資訊為每一該至少一音源物件訊號指出一位置，其中該位置資訊不為任一該至少一音源聲道訊號指示一位置，其中根據該降混合資訊、該協方差資訊以及該位置資訊，該參數處理器(110)被設置用以計算該混合資訊。
  11. 如申請專利範圍第10項所述之裝置，其中該後設資料資訊更包含增益資訊，其中該增益資訊為每一該至少一音源物件訊號指出一增益數值，其中該增益資訊不為任一該至少一音源聲道訊號指示一增益數值，其中根據該降混合資訊、該協方差資訊以及該增益資訊，該參數處理器(110)被設置用以計算該混合資訊。
  12. 如申請專利範圍第10項所述之裝置，其中該參數處理器(110)被設置用以計算一混合矩陣S以作為該混合資訊，其中該混合矩陣S係依據該公式而被定義：S=RG，其中G是根據該降混合資訊以及該協方差資訊之一解碼矩陣，其中R是根據該後設資料資訊之一轉譯矩陣，其中該降混合處理器120藉由應用該公式被設置用以產生該音源輸出訊號之該至少一音源輸出聲道：Z=SY，其中Z是該音源輸出訊號，且其中Y是該音源傳輸訊號。
  13. 如申請專利範圍第1項所述之裝置， 其中至少二音源物件訊號被混合在所述音源傳輸訊號裡，且其中至少二音源聲道訊號被混合在該音源傳輸訊號裡，其中該協方差資訊針對一或多對之該至少二音源聲道訊號中的一第一個音源聲道訊號以及該至少二音源聲道訊號中的一第二個音源聲道訊號以指出相關性資訊，其中該協方差資訊並不為一第一個該至少一音源物件訊號以及一第二個該至少一音源物件訊號之任何配對來指示一相關性資訊，以及其中根據該降混合資訊、每一該至少一音源聲道訊號之該位準差資訊、每一該至少一音源物件訊號之該第二位準差資訊以及一第一個該至少二音源聲道訊號及一第二個該至少二音源聲道訊號之該一或多對之該相關性資訊，該參數處理器(110)被設置用以計算該混合資訊。
  14. 一種用以產生包含至少一音源傳輸聲道之一音源傳輸訊號的裝置，其中該裝置包含：一聲道/物件混合器(210)用以產生該音源傳輸訊號之該至少一音源傳輸聲道，以及一輸出介面(220)，其中藉由在該音源傳輸訊號裡混合至少一音源聲道訊號以及至少一音源物件訊號，該聲道/物件混合器(210)被設置用以產生包含該至少一音源傳輸聲道之該音源傳輸訊號，根據降混合資訊指出該至少一音源聲道訊號以及該至少一音源物件訊號如何必須被混合在該至少一音源傳輸聲道之資訊，其中該至少一音源傳輸聲道之該數目係小於該至少一音源聲道訊號之該數目加上該至少一音源物件訊號之該數目，其中該輸出介面(220)被設置用以輸出該音源傳輸訊號、該降混合資訊以及協方差資訊，其中該協方差資訊針對至少一之該至少一音源聲道訊號指出一位準差資訊，並更進一步地針對至少一之該至少一音源物件訊號指出一位準差資訊，以及 其中該協方差資訊並不為該至少一音源聲道訊號之其中之一以及該至少一音源物件訊號之其中之一的配對來指示一相關性資訊。
  15. 如申請專利範圍第14項所述之裝置，其中聲道/物件混合器(210)被設置用以產生該音源傳輸訊號，使得該音源傳輸訊號之該至少一音源傳輸聲道之該數目取決於多少位元速率可用於傳送該音源傳輸訊號。
  16. 一種系統，包含：根據如申請專利範圍第14項之用以產生一音源傳輸訊號之一裝置(310)，以及根據如申請專利範圍第1項之用以產生至少一音源輸出聲道之一裝置(320)，其中根據申請專利範圍第1項的該裝置(320)被設置用以從根據申請專利範圍第14項的該裝置(310)接收該音源傳輸訊號、降混合資訊以及協方差資訊，以及其中根據該降混合資訊以及該協方差資訊，根據申請專利範圍第1項之該裝置(320)被設置用以從該音源傳輸訊號產生該至少一音源輸出聲道。
  17. 一種方法，用以產生至少一音源輸出聲道，其中該方法包含：接收包含至少一音源傳輸聲道之一音源傳輸訊號，其中至少一音源聲道訊號被混合在該音源傳輸訊號裡，其中至少一音源物件訊號被混合在該音源傳輸訊號裡，以及其中該至少一音源傳輸聲道之該數目係小於該至少一音源聲道訊號之該數目加上該至少一音源物件訊號之該數目，接收一降混合資訊，該降混合資訊係指出該至少一音源聲道訊號及該至少一音源物件訊號如何在該至少一音源傳輸聲道裡被混合之資訊，接收協方差資訊，根據該降混合資訊以及該協方差資訊以計算混合資訊，以及產生該至少一音源輸出聲道，根據該混合資訊，從該音源傳輸訊號產生該至少一音源輸出聲道， 其中該協方差資訊針對至少一之該至少一音源聲道訊號指出一位準差資訊，並更進一步地針對至少一之該至少一音源物件訊號指出一位準差資訊，以及其中該協方差資訊並不為該至少一音源聲道訊號之其中之一以及該至少一音源物件訊號之其中之一的配對來指示一相關性資訊。
  18. 一種產生包含至少一音源傳輸聲道之一音源傳輸訊號之方法，其中該方法包含：藉由在該音源傳輸訊號裡混合至少一音源聲道訊號以及至少一音源物件訊號，產生包含該至少一音源傳輸聲道之該音源傳輸訊號，根據降混合資訊指出該至少一音源聲道訊號以及該至少一音源物件訊號如何必須被混合在該至少一音源傳輸聲道之資訊，其中該至少一音源傳輸聲道之該數目係小於該至少一音源聲道訊號之該數目加上該至少一音源物件訊號之該數目，以及輸出該音源傳輸訊號、該降混合資訊以及協方差資訊，其中該協方差資訊針對至少一之該至少一音源聲道訊號指出一位準差資訊，並更進一步地針對至少一之該至少一音源物件訊號指出一位準差資訊，以及其中該協方差資訊並不為該至少一音源聲道訊號之其中之一以及該至少一音源物件訊號之其中之一的配對來指示一相關性資訊。
  19. 一種電腦程式，當該電腦程式被執行於一電腦上或一訊號處理器上，係實作如申請專利範圍第17項或第18項所述之方法。
TW103124990A 2013-07-22 2014-07-21 Apparatus and method for enhanced spatial audio object coding TWI560701B (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP20130177378 EP2830045A1 (en) 2013-07-22 2013-07-22 Concept for audio encoding and decoding for audio channels and audio objects
EP13177357 2013-07-22
EP13177371 2013-07-22
EP13189290.3A EP2830050A1 (en) 2013-07-22 2013-10-18 Apparatus and method for enhanced spatial audio object coding

Publications (2)

Publication Number Publication Date
TW201519217A true TW201519217A (zh) 2015-05-16
TWI560701B TWI560701B (en) 2016-12-01

Family

ID=49385153

Family Applications (2)

Application Number Title Priority Date Filing Date
TW103124956A TWI560700B (en) 2013-07-22 2014-07-21 Apparatus and method for realizing a saoc downmix of 3d audio content
TW103124990A TWI560701B (en) 2013-07-22 2014-07-21 Apparatus and method for enhanced spatial audio object coding

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW103124956A TWI560700B (en) 2013-07-22 2014-07-21 Apparatus and method for realizing a saoc downmix of 3d audio content

Country Status (19)

Country Link
US (4) US9578435B2 (zh)
EP (4) EP2830050A1 (zh)
JP (3) JP6395827B2 (zh)
KR (2) KR101774796B1 (zh)
CN (3) CN105593929B (zh)
AU (2) AU2014295270B2 (zh)
BR (2) BR112016001244B1 (zh)
CA (2) CA2918529C (zh)
ES (2) ES2768431T3 (zh)
HK (1) HK1225505A1 (zh)
MX (2) MX355589B (zh)
MY (2) MY176990A (zh)
PL (2) PL3025333T3 (zh)
PT (1) PT3025333T (zh)
RU (2) RU2666239C2 (zh)
SG (2) SG11201600460UA (zh)
TW (2) TWI560700B (zh)
WO (2) WO2015010999A1 (zh)
ZA (1) ZA201600984B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX370034B (es) 2015-02-02 2019-11-28 Fraunhofer Ges Forschung Aparato y método para procesar una señal de audio codificada.
CN106303897A (zh) 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
BR112017002758B1 (pt) * 2015-06-17 2022-12-20 Sony Corporation Dispositivo e método de transmissão, e, dispositivo e método de recepção
WO2017209477A1 (ko) * 2016-05-31 2017-12-07 지오디오랩 인코포레이티드 오디오 신호 처리 방법 및 장치
US10349196B2 (en) * 2016-10-03 2019-07-09 Nokia Technologies Oy Method of editing audio signals using separated objects and associated apparatus
US10535355B2 (en) 2016-11-18 2020-01-14 Microsoft Technology Licensing, Llc Frame coding for spatial audio data
CN108182947B (zh) * 2016-12-08 2020-12-15 武汉斗鱼网络科技有限公司 一种声道混合处理方法及装置
CN110447071B (zh) 2017-03-28 2024-04-26 索尼公司 信息处理装置、信息处理方法和记录程序的可拆卸介质
CN109688497B (zh) * 2017-10-18 2021-10-01 宏达国际电子股份有限公司 声音播放装置、方法及非暂态存储介质
GB2574239A (en) * 2018-05-31 2019-12-04 Nokia Technologies Oy Signalling of spatial audio parameters
US10620904B2 (en) 2018-09-12 2020-04-14 At&T Intellectual Property I, L.P. Network broadcasting for selective presentation of audio content
WO2020067057A1 (ja) 2018-09-28 2020-04-02 株式会社フジミインコーポレーテッド 酸化ガリウム基板研磨用組成物
GB2577885A (en) 2018-10-08 2020-04-15 Nokia Technologies Oy Spatial audio augmentation and reproduction
GB2582748A (en) * 2019-03-27 2020-10-07 Nokia Technologies Oy Sound field related rendering
US11622219B2 (en) * 2019-07-24 2023-04-04 Nokia Technologies Oy Apparatus, a method and a computer program for delivering audio scene entities
US11972767B2 (en) 2019-08-01 2024-04-30 Dolby Laboratories Licensing Corporation Systems and methods for covariance smoothing
GB2587614A (en) * 2019-09-26 2021-04-07 Nokia Technologies Oy Audio encoding and audio decoding
EP4120250A4 (en) * 2020-03-09 2024-03-27 Nippon Telegraph & Telephone SOUND SIGNAL REDUCING MIXING METHOD, SOUND SIGNAL CODING METHOD, SOUND SIGNAL REDUCING MIXING DEVICE, SOUND SIGNAL CODING DEVICE, PROGRAM AND RECORDING MEDIUM
GB2595475A (en) * 2020-05-27 2021-12-01 Nokia Technologies Oy Spatial audio representation and rendering
KR102508815B1 (ko) 2020-11-24 2023-03-14 네이버 주식회사 오디오와 관련하여 사용자 맞춤형 현장감 실현을 위한 컴퓨터 시스템 및 그의 방법
US11930348B2 (en) * 2020-11-24 2024-03-12 Naver Corporation Computer system for realizing customized being-there in association with audio and method thereof
JP2022083445A (ja) 2020-11-24 2022-06-03 ネイバー コーポレーション ユーザカスタム型臨場感を実現するためのオーディオコンテンツを製作するコンピュータシステムおよびその方法
WO2023131398A1 (en) * 2022-01-04 2023-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for implementing versatile audio object rendering

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2605361A (en) 1950-06-29 1952-07-29 Bell Telephone Labor Inc Differential quantization of communication signals
JP3576936B2 (ja) 2000-07-21 2004-10-13 株式会社ケンウッド 周波数補間装置、周波数補間方法及び記録媒体
US7720230B2 (en) 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
SE0402649D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
SE0402651D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods for interpolation and parameter signalling
RU2411594C2 (ru) * 2005-03-30 2011-02-10 Конинклейке Филипс Электроникс Н.В. Кодирование и декодирование аудио
CN101151658B (zh) 2005-03-30 2011-07-06 皇家飞利浦电子股份有限公司 多声道音频编码和解码方法、编码器和解码器
US7548853B2 (en) 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
CN101310328A (zh) * 2005-10-13 2008-11-19 Lg电子株式会社 用于处理信号的方法和装置
KR100888474B1 (ko) * 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
CN101410891A (zh) * 2006-02-03 2009-04-15 韩国电子通信研究院 使用空间线索控制多目标或多声道音频信号的渲染的方法和装置
EP1989920B1 (en) 2006-02-21 2010-01-20 Koninklijke Philips Electronics N.V. Audio encoding and decoding
EP2005787B1 (en) * 2006-04-03 2012-01-25 Srs Labs, Inc. Audio signal processing
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
WO2008002098A1 (en) 2006-06-29 2008-01-03 Lg Electronics, Inc. Method and apparatus for an audio signal processing
ES2623226T3 (es) 2006-07-04 2017-07-10 Dolby International Ab Unidad de filtro y procedimiento de generación de respuestas al impulso de filtro de subbanda
CN101617360B (zh) * 2006-09-29 2012-08-22 韩国电子通信研究院 用于编码和解码具有各种声道的多对象音频信号的设备和方法
EP2071564A4 (en) * 2006-09-29 2009-09-02 Lg Electronics Inc METHOD AND DEVICES FOR CODING AND DECODING OBJECT-BASED AUDIO SIGNALS
MY145497A (en) * 2006-10-16 2012-02-29 Dolby Sweden Ab Enhanced coding and parameter representation of multichannel downmixed object coding
EP2095365A4 (en) * 2006-11-24 2009-11-18 Lg Electronics Inc METHOD FOR ENCODING AND DECODING AUDIO SIGNALS BASED ON OBJECTS AND APPARATUS THEREOF
EP2122613B1 (en) * 2006-12-07 2019-01-30 LG Electronics Inc. A method and an apparatus for processing an audio signal
EP2595152A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Transkoding apparatus
EP2115739A4 (en) * 2007-02-14 2010-01-20 Lg Electronics Inc METHODS AND APPARATUSES FOR ENCODING AND DECODING AUDIO SIGNALS BASED ON OBJECTS
CN101542596B (zh) * 2007-02-14 2016-05-18 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
RU2406166C2 (ru) 2007-02-14 2010-12-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способы и устройства кодирования и декодирования основывающихся на объектах ориентированных аудиосигналов
KR20080082917A (ko) * 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
US8463413B2 (en) 2007-03-09 2013-06-11 Lg Electronics Inc. Method and an apparatus for processing an audio signal
WO2008114984A1 (en) 2007-03-16 2008-09-25 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US7991622B2 (en) 2007-03-20 2011-08-02 Microsoft Corporation Audio compression and decompression using integer-reversible modulated lapped transforms
US8639498B2 (en) 2007-03-30 2014-01-28 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
AU2008243406B2 (en) * 2007-04-26 2011-08-25 Dolby International Ab Apparatus and method for synthesizing an output signal
PT2165328T (pt) 2007-06-11 2018-04-24 Fraunhofer Ges Forschung Codificação e descodificação de um sinal de áudio tendo uma parte do tipo impulso e uma parte estacionária
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
BRPI0816557B1 (pt) 2007-10-17 2020-02-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Codificação de áudio usando upmix
US8527282B2 (en) 2007-11-21 2013-09-03 Lg Electronics Inc. Method and an apparatus for processing a signal
KR100998913B1 (ko) 2008-01-23 2010-12-08 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
KR101061129B1 (ko) 2008-04-24 2011-08-31 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
EP2144230A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
EP2144231A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
EP2146522A1 (en) * 2008-07-17 2010-01-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating audio output signals using object based metadata
ES2592416T3 (es) 2008-07-17 2016-11-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Esquema de codificación/decodificación de audio que tiene una derivación conmutable
US8798776B2 (en) 2008-09-30 2014-08-05 Dolby International Ab Transcoding of audio metadata
MX2011011399A (es) * 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
EP2194527A3 (en) 2008-12-02 2013-09-25 Electronics and Telecommunications Research Institute Apparatus for generating and playing object based audio contents
KR20100065121A (ko) * 2008-12-05 2010-06-15 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
EP2205007B1 (en) 2008-12-30 2019-01-09 Dolby International AB Method and apparatus for three-dimensional acoustic field encoding and optimal reconstruction
WO2010085083A2 (en) * 2009-01-20 2010-07-29 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
US8139773B2 (en) * 2009-01-28 2012-03-20 Lg Electronics Inc. Method and an apparatus for decoding an audio signal
WO2010090019A1 (ja) * 2009-02-04 2010-08-12 パナソニック株式会社 結合装置、遠隔通信システム及び結合方法
MX2011009660A (es) 2009-03-17 2011-09-30 Dolby Int Ab Codificacion estereo avanzada basada en una combinacion de codificacion izquierda/derecha o media/lateral seleccionable de manera adaptable y de codificacion estereo parametrica.
WO2010105695A1 (en) 2009-03-20 2010-09-23 Nokia Corporation Multi channel audio coding
CN102449689B (zh) 2009-06-03 2014-08-06 日本电信电话株式会社 编码方法、编码装置、编码程序、以及它们的记录介质
TWI404050B (zh) 2009-06-08 2013-08-01 Mstar Semiconductor Inc 多聲道音頻信號解碼方法與裝置
US20100324915A1 (en) 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
KR101283783B1 (ko) 2009-06-23 2013-07-08 한국전자통신연구원 고품질 다채널 오디오 부호화 및 복호화 장치
WO2011013381A1 (ja) 2009-07-31 2011-02-03 パナソニック株式会社 符号化装置および復号装置
KR101842411B1 (ko) * 2009-08-14 2018-03-26 디티에스 엘엘씨 오디오 객체들을 적응적으로 스트리밍하기 위한 시스템
BR112012007138B1 (pt) 2009-09-29 2021-11-30 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Decodificador de sinal de áudio, codificador de sinal de áudio, método para prover uma representação de mescla ascendente de sinal, método para prover uma representação de mescla descendente de sinal e fluxo de bits usando um valor de parâmetro comum de correlação intra- objetos
MX2012004621A (es) * 2009-10-20 2012-05-08 Fraunhofer Ges Forschung Aparato para proporcionar una representacion de una señal de conversion ascendente sobre la base de una representacion de una señal de conversion descendente, aparato para proporcionar una corriente de bits que representa una señal de audio de canales multiples, metodos, programa de computacion y corriente de bits que utiliza una señalizacion de control de distorsion.
US9117458B2 (en) 2009-11-12 2015-08-25 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
KR101490725B1 (ko) 2010-03-23 2015-02-06 돌비 레버러토리즈 라이쎈싱 코오포레이션 비디오 디스플레이 장치, 오디오-비디오 시스템, 음향 재생을 위한 방법 및 로컬라이즈된 지각적 오디오를 위한 음향 재생 시스템
US8675748B2 (en) 2010-05-25 2014-03-18 CSR Technology, Inc. Systems and methods for intra communication system information transfer
US8755432B2 (en) 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
US8908874B2 (en) 2010-09-08 2014-12-09 Dts, Inc. Spatial audio encoding and reproduction
TWI800092B (zh) 2010-12-03 2023-04-21 美商杜比實驗室特許公司 音頻解碼裝置、音頻解碼方法及音頻編碼方法
AR084091A1 (es) * 2010-12-03 2013-04-17 Fraunhofer Ges Forschung Adquisicion de sonido mediante la extraccion de informacion geometrica de estimativos de direccion de llegada
US9165558B2 (en) 2011-03-09 2015-10-20 Dts Llc System for dynamically creating and rendering audio objects
KR102374897B1 (ko) 2011-03-16 2022-03-17 디티에스, 인코포레이티드 3차원 오디오 사운드트랙의 인코딩 및 재현
US9754595B2 (en) 2011-06-09 2017-09-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding 3-dimensional audio signal
AU2012279349B2 (en) 2011-07-01 2016-02-18 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
TW202339510A (zh) 2011-07-01 2023-10-01 美商杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
JP5740531B2 (ja) 2011-07-01 2015-06-24 ドルビー ラボラトリーズ ライセンシング コーポレイション オブジェクトベースオーディオのアップミキシング
CN102931969B (zh) 2011-08-12 2015-03-04 智原科技股份有限公司 数据提取的方法与装置
EP2560161A1 (en) * 2011-08-17 2013-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optimal mixing matrices and usage of decorrelators in spatial audio processing
BR112014010062B1 (pt) * 2011-11-01 2021-12-14 Koninklijke Philips N.V. Codificador de objeto de áudio, decodificador de objeto de áudio, método para a codificação de objeto de áudio, e método para a decodificação de objeto de áudio
EP2721610A1 (en) 2011-11-25 2014-04-23 Huawei Technologies Co., Ltd. An apparatus and a method for encoding an input signal
US9666198B2 (en) 2013-05-24 2017-05-30 Dolby International Ab Reconstruction of audio scenes from a downmix
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding

Also Published As

Publication number Publication date
CN112839296A (zh) 2021-05-25
PL3025335T3 (pl) 2024-02-19
EP3025335B1 (en) 2023-08-30
CA2918869C (en) 2018-06-26
CN112839296B (zh) 2023-05-09
KR101774796B1 (ko) 2017-09-05
BR112016001244B1 (pt) 2022-03-03
EP2830048A1 (en) 2015-01-28
MX355589B (es) 2018-04-24
CA2918869A1 (en) 2015-01-29
BR112016001244A2 (zh) 2017-07-25
TW201519216A (zh) 2015-05-16
CN105593929A (zh) 2016-05-18
CN105593930A (zh) 2016-05-18
KR101852951B1 (ko) 2018-06-04
US20160142846A1 (en) 2016-05-19
US11330386B2 (en) 2022-05-10
PL3025333T3 (pl) 2020-07-27
SG11201600396QA (en) 2016-02-26
TWI560701B (en) 2016-12-01
JP2016527558A (ja) 2016-09-08
RU2660638C2 (ru) 2018-07-06
ES2768431T3 (es) 2020-06-22
EP3025333A1 (en) 2016-06-01
ZA201600984B (en) 2019-04-24
US20160142847A1 (en) 2016-05-19
AU2014295270B2 (en) 2016-12-01
JP6873949B2 (ja) 2021-05-19
JP2018185526A (ja) 2018-11-22
CN105593929B (zh) 2020-12-11
BR112016001243B1 (pt) 2022-03-03
US20170272883A1 (en) 2017-09-21
JP2016528542A (ja) 2016-09-15
CN105593930B (zh) 2019-11-08
MY192210A (en) 2022-08-08
MX2016000914A (es) 2016-05-05
EP3025335C0 (en) 2023-08-30
RU2016105472A (ru) 2017-08-28
EP3025333B1 (en) 2019-11-13
KR20160041941A (ko) 2016-04-18
HK1225505A1 (zh) 2017-09-08
MX357511B (es) 2018-07-12
RU2666239C2 (ru) 2018-09-06
CA2918529A1 (en) 2015-01-29
SG11201600460UA (en) 2016-02-26
ES2959236T3 (es) 2024-02-22
US9699584B2 (en) 2017-07-04
EP2830050A1 (en) 2015-01-28
AU2014295270A1 (en) 2016-03-10
TWI560700B (en) 2016-12-01
PT3025333T (pt) 2020-02-25
MX2016000851A (es) 2016-04-27
JP6333374B2 (ja) 2018-05-30
AU2014295216A1 (en) 2016-03-10
EP3025335A1 (en) 2016-06-01
US9578435B2 (en) 2017-02-21
AU2014295216B2 (en) 2017-10-19
BR112016001243A2 (zh) 2017-07-25
CA2918529C (en) 2018-05-22
US20200304932A1 (en) 2020-09-24
WO2015011024A1 (en) 2015-01-29
MY176990A (en) 2020-08-31
JP6395827B2 (ja) 2018-09-26
US10701504B2 (en) 2020-06-30
RU2016105469A (ru) 2017-08-25
WO2015010999A1 (en) 2015-01-29
KR20160053910A (ko) 2016-05-13

Similar Documents

Publication Publication Date Title
JP6333374B2 (ja) 拡張空間オーディオオブジェクト符号化の装置及び方法
US11227616B2 (en) Concept for audio encoding and decoding for audio channels and audio objects
JP6239110B2 (ja) 効率的なオブジェクト・メタデータ符号化の装置と方法
RU2576476C2 (ru) Декодер аудиосигнала, кодер аудиосигнала, способ формирования представления сигнала повышающего микширования, способ формирования представления сигнала понижающего микширования, компьютерная программа и бистрим, использующий значение общего параметра межобъектной корреляции
KR101823278B1 (ko) 결합하여 인코딩된 잔류 신호들을 이용하는 오디오 인코더, 오디오 디코더, 방법들 및 컴퓨터 프로그램