TW202309877A - 將高階保真立體音響信號壓縮之方法,將已壓縮高階保真立體音響信號解壓縮之方法,將高階保真立體音響信號壓縮之裝置,以及將已壓縮高階保真立體音響信號解壓縮之裝置 - Google Patents

將高階保真立體音響信號壓縮之方法,將已壓縮高階保真立體音響信號解壓縮之方法,將高階保真立體音響信號壓縮之裝置,以及將已壓縮高階保真立體音響信號解壓縮之裝置 Download PDF

Info

Publication number
TW202309877A
TW202309877A TW111125526A TW111125526A TW202309877A TW 202309877 A TW202309877 A TW 202309877A TW 111125526 A TW111125526 A TW 111125526A TW 111125526 A TW111125526 A TW 111125526A TW 202309877 A TW202309877 A TW 202309877A
Authority
TW
Taiwan
Prior art keywords
hoa
signal
representation
compressed
surrounding
Prior art date
Application number
TW111125526A
Other languages
English (en)
Other versions
TWI836503B (zh
Inventor
亞歷山大 克魯格
斯凡 科登
奧利弗 烏柏特
Original Assignee
瑞典商杜比國際公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商杜比國際公司 filed Critical 瑞典商杜比國際公司
Publication of TW202309877A publication Critical patent/TW202309877A/zh
Application granted granted Critical
Publication of TWI836503B publication Critical patent/TWI836503B/zh

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11Application of ambisonics in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本發明係為一種將一高階保真立體音響(HOA)信號壓縮之方法,該HOA信號係一輸入HOA表示法,具有HOA係數序列之輸入時間框(C(k)),該方法包括輸入時間框之空間HOA編碼,及後續之知覺編碼及信號源編碼。將各輸入時間框分解(802)成一框為主要聲音信號( X PS (k-1))及一框為周圍HOA分量(
Figure 111125526-A0202-11-0001-202
(k-1))。於一分層模式中,周圍HOA分量(
Figure 111125526-A0202-11-0001-203
(k-1))於較低位置中包括輸入HOA表示法(c n (k-1))之第一HOA係數序列,及於其餘較高位置中包括第二HOA係數序列(c AMB ,n (k-1))。第二HOA係數序列係輸 入HOA表示法與主要聲音信號之HOA表示法間殘餘之一部分HOA表示法。

Description

將高階保真立體音響信號壓縮之方法,將已壓縮高階保真立體音響信號解壓縮之方法,將高階保真立體音響信號壓縮之裝置,以及將已壓縮高階保真立體音響信號解壓縮之裝置
本發明係關於將高階保真立體音響信號(HOA)壓縮的方法,將已壓縮HOA信號解壓縮的方法,將HOA信號壓縮的裝置,以及將已壓縮HOA信號解壓縮的裝置。
高階保真立體音響(HOA)提供可能性用以表示立體聲,其他已知技術係波場合成(WFS)或基於聲道的措施如22.2。然而,對照基於聲道的方法,HOA表示法提 供不受特定揚聲器設置支配的優勢,但此彈性係以一解碼過程為代價,其解碼過程需要在一特殊揚聲器設置上播放HOA表示法。相較於通常需要極大數量揚聲器的WFS措施,亦可將HOA表現到僅由極少揚聲器組成的設置。HOA的另一優勢在於亦可利用相同表示法,不需修改耳機的雙聲道表現。
HOA係基於複合平面諧波振幅藉由一截斷球諧函數(SH)展開的所謂空間密度表示法,各展開係數係一角度頻率函數,其可等效地由一時域函數表示,因此,不失一般性,實際上可假定完整HOA聲場表示法係由O個時域函數所組成,其中O表示展開係數的數目。此等時域函數以下將等效地稱為HOA係數序列或稱HOA聲道。通常使用球面坐標系,其中x軸指向前方位置,y軸指向左方,及z軸指向上方,由一半徑r>0(意即到坐標原點的距離)、從極軸z測得的一斜角θ
Figure 111125526-A0202-12-0002-220
[0,π]及從x軸在x-y平面以逆時鐘方向所測得的一方位角
Figure 111125526-A0202-12-0002-221
[0,2π[表示空間x=(r,θ,
Figure 111125526-A0202-12-0002-222
) T 中的一位置,另外,(.) T 表示換位。
以下提供HOA編碼更詳細的說明。
聲壓相對於時間的傅立葉(Fourier)變換,由F t (.)表示,即
Figure 111125526-A0202-12-0002-1
ω表示角度頻率,及i指出虛數單位,可根據
Figure 111125526-A0202-12-0002-2
,展開成球諧函數級數。
在此 c s 表示聲速及k表示角度波數,其係按
Figure 111125526-A0202-12-0003-3
相關角度頻率ω,另外,j n (.)表示第一類球面貝塞爾(Bessel)函數,及
Figure 111125526-A0202-12-0003-4
(θ,
Figure 111125526-A0202-12-0003-206
)表示n階及m次實值球諧函數。展開係數
Figure 111125526-A0202-12-0003-5
(k)只取決於角度波數k,請注意已隱含地假定音壓在空間上係頻帶受限,因此,將該級數在一上限N相對於階索引n(其稱為HOA表示法的階)加以截斷。若聲場係由不同角度頻率ω的無限個平面諧波疊合,及從角度元組(θ,
Figure 111125526-A0202-12-0003-207
)指定的所有可能方向抵達來表示,則可由以下球諧函數展開表達個別平面波複合振幅函數C(ω,θ,
Figure 111125526-A0202-12-0003-208
):
Figure 111125526-A0202-12-0003-6
其中展開係數
Figure 111125526-A0202-12-0003-7
(k)係按
Figure 111125526-A0202-12-0003-8
相關展開係數
Figure 111125526-A0202-12-0003-9
(k)。
假定個別係數
Figure 111125526-A0202-12-0003-10
係角度頻率ω的函數,逆傅立葉變換的應用(由F -1(.)表示)提供時域函數
Figure 111125526-A0202-12-0003-11
用於各階n及度m,其可按
Figure 111125526-A0202-12-0003-12
收集在單一向量c(t)中。向量c(t)內的一時域函數
Figure 111125526-A0202-12-0003-13
(t)的位置索引係由n(n+1)+1+m提供,向量c(t)中的全部元素數係由O=(N+1)2提供。函數
Figure 111125526-A0202-12-0003-14
(t)的離散時間版本係稱為保真立體音響係數序列,藉由將所有此等序列分割成長度B及框索引k的框 C (k),得到一框基HOA表示法如下:
C (k):=[ c ((kB+1)T S) c ((kB+2)T S)... c ((kB+B)T S)],其中T S表示取樣期間,接著可將框 C (k)本身表示為其個別 列 c i (k)的組成,i=1,...,O,如
Figure 111125526-A0202-12-0004-15
c i (k)表示保真立體音響係數序列的框,具有位置索引i
HOA表示法的空間解析度提升係藉由該展開的一成長最大階N,不幸地,展開係數的數目O隨著階N二次方成長,尤其O=(N+1)2。例如,使用階N=4的典型HOA表示法需要O=25的HOA(展開)係數。
根據此等考量,已知一期望單聲道取樣率f S及每樣本位元數N b,由Of SN b判定用於HOA表示法傳輸的總位元率,因此取樣率f S=48kHz(千赫),利用N b=16位元/樣本以傳送階N=4的HOA表示法,造成19.2MBits/s(每秒百萬位元)的位元率,其係極高位元率以用於許多實際應用如串流。因此高度期望HOA表示法的壓縮技術。
先前在歐洲專利申請案EP2743922A、EP2665208A及EP2800401A中曾揭露HOA聲場表示法的壓縮技術,此等措施具有共同點,皆執行聲場分析,並將已知HOA表示法分解成一方向分量及一殘餘周圍分量。
一方面,假定最終已壓縮表示法包括數個量化信號,其由方向信號的知覺編碼及周圍HOA分量的相關係數序列所形成,另一方面,假定其包括量化信號相關的額外邊資訊,其係HOA表示法從其已壓縮版本重建所必需。
另外,在ISO/IEC JTC1/SC29/WG11 N14264 (2014年一月San Jose提出的工作草案1-MPEG-H立體聲訊的HOA文本)揭露一類似方法,其中將方向分量延伸成所謂的主要聲音分量。作為方向分量,假定主要聲音分量係部分由方向信號表示,即具有一對應方向的單聲道信號(假定單聲道信號從該對應方向撞擊在聆聽者),連同一些預測參數用以從該等方向信號預測原HOA表示法的數部分。
另外,主要聲音分量理應係由所謂向量為基信號來表示,意指單聲道信號具有一對應向量,其定義向量為基信號的方向分配。習知已壓縮HOA表示法係由I個量化單聲道信號及一些額外邊資訊所組成,其中出自此等I個量化單聲道信號的一固定數O MIN表示周圍HOA分量 C AMB (k-2)的第一O MIN個係數序列的一空間變換版本,其餘I-O MIN個信號的類型可在連續框之間變化,係具方向的、或基於向量、或空的,或表示周圍HOA分量 C AMB (k-2)的一額外係數序列。
HOA信號表示法具有HOA係數序列的輸入時間框(C(k)),其習知壓縮方法包括輸入時間框的空間HOA編碼及後續的知覺編碼及信號源編碼。如圖1a)所示,空間HOA編碼包括在一方向及向量估算區塊101中執行HOA信號的方向及向量估算處理,其中得到資料包括有第一元組集M DIR(k)用於方向信號及第二元組集M VEC(k)用於向量為基信號。第一元組集的各元組包括一方向信號索引及一個別量化方向,及第二元組集的各元組包括一向量為基信號 索引及一向量定義信號的方向分配。下一步驟係將HOA係數序列的各輸入時間框分解103成一框為複數個主要聲音信號 X PS(k-1)及一框為一周圍HOA分量 C AME(k-1),其中主要聲音信號 X PS(k-1)包括該等方向聲音信號及該等向量為基聲音信號。該分解尚提供預測參數ξ(k-1)及一目標指定向量 v A,T (k-1),預測參數ξ(k-1)描述如何從主要聲音信號 X PS(k-1)內的方向信號預測出部分的HOA信號表示法,以便濃化主要聲音HOA分量,及目標指定向量 v A,T (k-1)包含如何將主要聲音信號指定到已知I個聲道的有關資訊。
根據目標指定向量 v A,T (k-1)提供的資訊以修改104周圍HOA分量 C AMB (k-1),其中取決於主要聲音信號佔用多少聲道,判定周圍HOA分量的係數序列中何者待傳輸在已知I個聲道中。得到一修改的周圍HOA分量 C M,A (k-2)及一暫預測修改的周圍HOA分量 C P,M,A (k-1),而且,從目標指定向量 v A,T (k-1)中的資訊得出一最終指定向量 v A (k-2)。使用最終指定向量 v A (k-2)提供的資訊,將從分解得出的主要聲音信號 X PS (k-1),及修改的周圍HOA分量 C M,A (k-2)及暫預測修改的周圍HOA分量 C P,M,A (k-1)的判定係數序列,指定到已知數目的聲道,其中得到傳送信號 y i (k-2),i=1,...,I及預測傳送信號 y P,i (k-2),i=1,...,I,接著,在傳送信號 y i (k-2)及預測傳送信號 y P,i (k-2)上執行增益控制(或正規化),其中得到已增益修改的傳送信號 z i (k-2)、指數e i (k-2)及異常旗標β i (k-2)。
如圖1b)所示,知覺編碼及信號源編碼包括已增益修改傳送信號 z i (k-2)的知覺編碼,其中得到已知覺編碼傳送信號
Figure 111125526-A0202-12-0007-16
(k-2),i=1,...,I,將邊資訊進行編碼,邊資訊包括有該等指數e i (k-2)及異常旗標β i (k-2)、第一元組集M DIR(k)及第二元組集M VEC(k)、預測參數ξ(k-1)及最終指定向量 v A (k-2),及得到已編碼邊資訊
Figure 111125526-A0202-12-0007-17
(k-2),最後,將已知覺編碼傳送信號
Figure 111125526-A0202-12-0007-18
(k-2)與已編碼邊資訊多工成一位元流。
已揭露的HOA壓縮方法的缺點在於提供一單相(即非可擴縮)已壓縮HOA表示法,然而,用於特定應用,像廣播或網際網路串流,期望能將已壓縮表示法分割成一低品質基礎層(BL)及一高品質增強層(EL)。基礎層理應用以提供HOA表示法的低品質壓縮版本,其可獨立於增強層進行解碼,此一基礎層(BL)通常應高度穩固以對抗傳輸錯誤,並以低資料傳輸率進行傳輸,使已解壓縮的HOA表示法即使在不良傳輸條件下亦保證一特定最小品質。增強層(EL)包含額外資訊用以提升已解壓縮HOA表示法的品質。
本發明提供一解決方案用以修改現存HOA壓縮方法,以便能提供一已壓縮表示法,其包括一(低品質)基礎層及一(高品質)增強層。此外,本發明提供一解決方案用以修改現存HOA解壓縮方法,以便能將已壓縮表示法 解碼,該已壓縮表示法至少包括一低品質基礎層,其係根據本發明進行壓縮。
一改良方式相關得到一自足(低品質)基礎層,根據本發明,使用O MIN個聲道作為基礎層,該等聲道理應包含周圍HOA分量 C AMB (k-2)(不失一般性)的第一O MIN個係數序列的一空間變換版本。選擇第一O MIN個聲道用以形成一基礎層的有利點係其時間不變型式。然而,傳統上個別信號缺少用於聲音場景必要的任何主要聲音分量,從周圍HOA分量 C AMB (k-1)的傳統計算清楚看出此點,根據
C AMB (k-1)=C(k-1)-C PS (k-1) (1)從原HOA表示法 C (k-1)減去主要聲音HOA表示法 C PS (k-1)以實施該傳統計算。因此,本發明的一改良方式相關此類主要聲音分量的添加。根據本發明,此問題的解決方法係將在低空間解析度的主要聲音分量包含到基礎層中,為此目的,根據本發明,在空間HOA編碼器中,由HOA分解處理輸出的周圍HOA分量 C AMB (k-1)係由其一修改版本取代。於第一O MIN個係數序列(其理應總以空間變換形式傳送)中,已修改周圍HOA分量包括原HOA分量的係數序列。HOA分解處理的此改良方式可看作是一初始操作,用以使HOA壓縮依一分層模式(例如雙層模式)工作。此模式提供如二位元流,或可分成一基礎層及一增強層的單一位元流,由總位元流的存取單位中的一模式指示(如單個位元)以信號表示使用或不使用此模式。
在一實施例中,基礎層位元流
Figure 111125526-A0202-12-0008-19
(k-2)只 包含知覺編碼的信號
Figure 111125526-A0202-12-0009-255
(k-2),i=1,...,O MIM及對應的已編碼增益控制邊資訊,其由指數e i (k-2)及異常旗標β i (k-2)所組成,i=1,...,O MIN。其餘已知覺編碼信號
Figure 111125526-A0202-12-0009-219
(k-2),i=O MIN+1,...,O及已編碼的其餘邊資訊係包含在增強層位元流中。在一實施例中,接著共同傳送基礎層位元流
Figure 111125526-A0202-12-0009-20
(k-2)及增強層位元流
Figure 111125526-A0202-12-0009-22
(k-2),而非原先總位元流
Figure 111125526-A0202-12-0009-21
(k-2)。
在申請專利範圍第1項中揭示一種將具有HOA係數序列時間框的高階保真立體音響(HOA)信號表示法壓縮的方法,在申請專利範圍第10項中揭示一種將具有HOA係數序列時間框的高階保真立體音響(HOA)信號表示法壓縮的裝置。
在申請專利範圍第8項中揭示一種將具有HOA係數序列時間框的高階保真立體音響(HOA)信號表示法解壓縮的方法,在申請專利範圍第18項中揭示一種將具有HOA係數序列時間框的高階保真立體音響(HOA)信號表示法解壓縮的裝置。
在申請專利範圍第20項中揭示一種非暫態電腦可讀取儲存媒體,具有可執行指令,用以令一電腦執行高階保真立體音響(HOA)信號表示法的壓縮方法,該HOA信號表示法具有HOA係數序列的時間框。
在申請專利範圍第21項中揭示一種非暫態電腦可讀取儲存媒體,具有可執行指令,用以令一電腦執行高階保真立體音響(HOA)信號表示法的解壓縮方法,該 HOA信號表示法具有HOA係數序列的時間框。
在附屬項、以下說明及附圖中揭示本發明的有利實施例。
101,301:方向及向量估算處理區塊
102,302:延遲區塊
103,303:HOA分解區塊
104,304:周圍分量修改區塊
105,305:聲道指定區塊
106,306:增益控制區塊
107,310:知覺編碼器
108:邊資訊信號源編碼器
109:多工器
201:解多工器
202:知覺解碼器
203:邊資訊信號源解碼器
204,604:逆增益控制區塊
205,605:聲道重指定區塊
206,606:主要聲音合成區塊
207,607:環音聲合成區塊
208,608:HOA組成區塊
320:基礎層邊資訊信號源編碼器
330:增強層邊資訊信號源編碼器
340:基礎層位元流多工器
350:增強層位元流多工器
510:基礎層位元流解多工器
520:增強層位元流解多工器
530:基礎層邊資訊信號源解碼器
540,550:知覺解碼器
560:增強層邊資訊信號源解碼器
800:高階保真立體音響(HOA)信號壓縮方法
801:方向及向量估算處理步驟
802:HOA係數序列之各輸入時間框分解步驟
803:周圍HOA分量修改步驟
804:指定聲道步驟
805:增益控制執行步驟
806:知覺編碼步驟
807:邊資訊編碼步驟
808:已知覺編碼傳送信號與已編碼邊資訊多工步驟
809:第一O MIN個已知覺編碼傳送信號與已編碼基礎層邊資訊多工步驟
810:其餘I-O MIN個已知覺編碼傳送信號與已編碼增強層邊資訊多工步驟
811:分層模式指示添加步驟
900:已解壓縮HOA信號解壓縮方法
901:檢測分層模式指示
902:已壓縮基礎層位元流解多工步驟
903:已壓縮增強層位元流解多工步驟
904:知覺解碼步驟
905:第一已編碼邊資訊解碼步驟
906:第二已編碼邊資訊解碼步驟
910:逆增益控制執行步驟
911:聲道重分配步驟
911b:產生步驟
912:主要HOA聲音分量之HOA表示法合成步驟
913:周圍HOA分量合成步驟
914:加法步驟
Figure 111125526-A0202-12-0040-160
(k):已壓縮基礎層位元流
Figure 111125526-A0202-12-0040-161
(k):已壓縮增強層位元流
Figure 111125526-A0202-12-0040-162
(k-2):基礎層位元流
Figure 111125526-A0202-12-0040-163
(k-2):增強層位元流
Figure 111125526-A0202-12-0040-164
(k-2):多工資料流
C(k):輸入時間框
Figure 111125526-A0202-12-0040-165
(k-1),
Figure 111125526-A0202-12-0040-166
(k-1):輸出時間框(已解壓縮HOA信號)
c n (k-1):輸入HOA表示法的第一HOA係數序列
c AMB ,n (k-1):第二HOA係數序列
Figure 111125526-A0202-12-0040-167
(k-1):合成的主要HOA聲音分量
C AMB (k-1),
Figure 111125526-A0202-12-0040-168
(k-1):周圍HOA分量
C M,A (k-2),
Figure 111125526-A0202-12-0040-169
(k)):已修改周圍HOA分量
C P,M,A (k-1):暫預測修改的周圍HOA分量
Figure 111125526-A0202-12-0040-170
(k-1):合成的周圍HOA分量
e i (k):指數
e i (k-2):已增益修改指數
LMFD:分層模式指示
LMFE:模式指示
M DIR(k),M DIR(k+1),M DIR(k-1):第一元組集
M VEC(k),M VEC(k+1),M VEC(k-1):第二元組集
v A,T (k-1):目標指定向量
v AMB,ASSIGN (k):周圍指定向量
v A (k-2):最終指定向量
X PS(k-1):主要聲音信號
Figure 111125526-A0202-12-0041-171
(k):已重建主要聲音信號
y i (k-2):傳送信號
y P,i (k-2):預測傳送信號
Figure 111125526-A0202-12-0041-172
(k):已增益校正信號框
z i (k-2):已增益修改傳送信號
Figure 111125526-A0202-12-0041-173
(k),
Figure 111125526-A0202-12-0041-174
(k-2):已知覺編碼傳送信號
Figure 111125526-A0202-12-0041-175
(k):已知覺解碼傳送信號
ξ(k-1),ξ(k+1):預測參數
β i (k):異常旗標
β i (k-2):已增益修改異常旗標
J AMB,ACT(k):第一索引集
J E(k-1),J D(k-1),J U(k-1):第二索引集
Figure 111125526-A0202-12-0041-176
(k),
Figure 111125526-A0202-12-0041-177
(k-2):已編碼基礎層邊資訊
Figure 111125526-A0202-12-0041-178
(k),
Figure 111125526-A0202-12-0041-179
(k-2):已編碼增強層邊資訊
以下將參考附圖以說明本發明的示範實施例,圖中:
圖1顯示一HOA壓縮器的傳統架構的結構;
圖2顯示一HOA解壓縮器的傳統架構的結構;
圖3係根據本發明的一實施例以架構的結構顯示HOA壓縮器的一空間HOA編碼及知覺編碼部分;
圖4係根據本發明的一實施例以架構的結構顯示HOA壓縮器的信號源編碼器部分;
圖5係根據本發明的一實施例以架構的結構顯示HOA解壓縮器的一知覺解碼及信號源解碼部分;
圖6係根據本發明的一實施例以架構的結構顯示HOA解壓縮器的一空間HOA解碼部分;
圖7顯示從周圍HOA信號到已修改周圍HOA信號的框變換;
圖8係以流程圖顯示一HOA信號的壓縮方法;
圖9係以流程圖顯示已壓縮HOA信號的解壓縮方法;及
圖10係根據本發明的一實施例以架構的部分細節顯示HOA解壓縮器的一空間HOA解碼部分。
為易於理解,以下將重述圖1及圖2中的先前技藝解決方法。
圖1顯示一HOA壓縮器的傳統架構的結構,在[4]所述方法中,將方向分量延伸到所謂的主要聲音分量。作為方向分量,假定主要聲音分量係部分由方向信號表示(意指單聲道信號具有一對應方向,假定該等信號從該對應方向撞擊到聆聽者),連同一些預測參數用以從方向信號預測出部分的原HOA表示法。此外,主要聲音分量理應係由所謂向量為基信號表示,意指單聲道信號具有一對應向量,其定義向量為基信號的方向分配。圖1中繪示[4]中提出的HOA壓縮器的整個架構,可細分成圖1a繪示的空間HOA編碼部分及圖1b繪示的知覺及信號源編碼部分。空間HOA編碼器提供第一已壓縮HOA表示法,由I個信號連同描述如何產生其HOA表示法的邊資訊所組成。在知覺及邊資訊信號源編碼器中,在將已編碼的二表示法進行多工前,將上述I個信號進行知覺編碼,並使邊資訊受信號源編碼。
傳統上,空間編碼工作如下。
在第一步驟中,將原HOA表示法的第k C (k)輸入到一方向及向量估算處理區塊,其提供元組集M DIR(k)及M VEC(k)。元組集M DIR(k)係由元組所組成,該元組的第一元素表示一方向信號索引,及其第二元素表示一個別量化方向。元組集M VEC(k)係由元組所組成,該元組的第一元素 指出一向量為基信號索引,及其第二元素表示用以定義信號方向分配的向量,即如何算出向量為基信號的HOA表示法。
使用元組集M DIR(k)及M VEC(k)兩者,在HOA分解區塊中將初始HOA框 C (k)分解成框 X PS (k-1)為所有主要聲音信號(即方向信號及向量為基信號),及框 C AMB (k-1)為周圍HOA分量。請注意到分別一延遲框,其係為避免區塊效應(blocking artifacts),而由重疊相加處理造成。此外,假定HOA分解係輸出一些預測參數 ζ (k-1),描述如何從方向信號預測出原HOA表示法的部分,為要濃化主要聲音HOA分量。另外,提供一目標指定向量 v A,T (k-1),含有HOA分解處理區塊中判定主要聲音信號指定到I個可用聲道的有關資訊。可假定受影響的聲道已被佔用,意指該等聲道不可用以傳送周圍HOA分量在個別時間框中的任何係數序列。
在周圍分量修改處理區塊中,根據目標指定向量 v A,T (k-1)提供的資訊,修改周圍HOA分量的框 C AMB (k-1),在其他方面當中,尤其取決於哪個聲道可用且尚未由主要聲音信號佔用的有關資訊(包含在目標指定向量 v A,T (k-1)中),判定周圍HOA分量的係數序列中何者待傳輸在已知I個聲道中。另外,若所選擇係數序列的索引在連續框之間變化,則執行係數序列的淡入及淡出。
此外,假定總選擇周圍HOA分量 C AMB (k-2)的第一O MIN個係數序列待進行知覺編碼及待傳送,其中 O MIN=(N MIN+1)2N MIN
Figure 111125526-A0202-12-0013-217
N通常係一階比原HOA表示法的階小。為使此等HOA係數序列去相關,建議將其變換到從一些預設方向Ω MIN,d ,d=1,...,O MIN撞擊出的方向信號(即一般平面波函數)。為容許一合理預見,因此隨同已修改的周圍HOA分量 C M,A (k-1),算出一暫預測修改的周圍HOA分量 C P,M,A (k-1),為稍後使用在增益控制處理區塊中。
周圍HOA分量修改的有關資訊係直接相關所有可能信號類型指定到可用聲道,有關指定的最終資訊係包含在最終指定向量 v A (k-2)中。為要算出此向量,因此開拓目標指定向量 v A,T (k-1)中所含的資訊。
聲道指定利用指定向量 v A (k-2)提供的資訊將包含在 X PS(k-2)中及包含在 C M,A (k-2)中的適當信號指定到I個可用聲道,得出信號 y i (k-2),i=1,...,I。此外,亦將包含在 X PS (k-1)中及包含在 C P,AMB (k-1)中的適當信號指定到I個可用聲道,得出預測信號 y P,i (k-2),i=1,...,I。最終由一增益控制處理信號 y i (k-2),i=1,...,I中的各信號,其中平順地修改信號增益以達成適用知覺編碼器的一值範圍。預測信號框 y P,i (k-2),i=1,...,I容許一種預見,為要避免連續區塊之間的嚴重增益變化。假定在空間解碼器中將利用增益控制邊資訊(由指數e i (k-2)及異常旗標β i (k-2),i=1,...,I所組成)回復該等增益修改。
圖2顯示一HOA解壓縮器傳統架構的結構,如[4]中所揭示,傳統上,HOA解壓縮係由HOA壓縮器組 件的相對物所組成,其明顯以相反順序設置,可細分成圖2a)繪示的一知覺及信號源解碼部分及圖2b)繪示的一空間HOA解碼部分。
在知覺及邊資訊信號源解碼器中,首先將位元流解多工成I個信號的已知覺編碼表示法,及解多工成已編碼邊資訊,描述如何產生其一HOA表示法。接續地,執行I個信號的知覺解碼及邊資訊的解碼,接著,空間HOA解碼器從I個信號及邊資訊產生出重建的HOA表示法。
傳統上,空間HOA解碼工作如下。
在空間HOA解碼器中,首先將已知覺解碼信號
Figure 111125526-A0202-12-0014-27
(k),i
Figure 111125526-A0202-12-0014-234
{1,...,I}的各信號,與關聯的增益校正指數e i (k)及增益校正異常旗標β i (k)一起輸入到一逆增益控制處理區塊中,第i個逆增益控制處理提供一已增益校正信號框
Figure 111125526-A0202-12-0014-23
(k)。
I個已增益校正信號框
Figure 111125526-A0202-12-0014-24
(k),i
Figure 111125526-A0202-12-0014-233
{1,...,I}全與指定向量 v AMB,ASSIGN (k)及元組集M DIR(k+1)及M VEC(k+1)一起傳遞到聲道重指定區塊。元組集M DIR(k+1)及M VEC(k+1)係如以上所定義(用於空間HOA編碼),及指定向量 v AMB,ASSIGN (k)係由I個分量所組成,該等分量指示各傳輸聲道是否包含周圍HOA分量的係數序列及包含哪個係數序列。在聲道重指定區塊中,將已增益校正信號框
Figure 111125526-A0202-12-0014-25
(k)重分配,用以重建框
Figure 111125526-A0202-12-0014-26
(k)為所有主要聲音信號(即所有方向信號及向量為基信號),及框 C I,AMB (k)為周圍HOA分量的一中間表示法。另外,提供周圍HOA分量的係數序列的索引集 J AMB,ACT (k),其 係現用於第k框中,及周圍HOA分量的係數索引集J E(k-1)、J D(k-1)及J U(k-1),其必須加以賦能、去能及保持現用於第(k-1)框中。
在主要聲音合成中,使用元組集M DIR(k+1)及預測參數集 ζ (k+1)、元組集M VEC(k+1)及索引集J E(k-1)、J D(k-1)及J U(k-1),從所有主要聲音信號框
Figure 111125526-A0202-12-0015-28
(k)算出主要聲音分量
Figure 111125526-A0202-12-0015-29
(k-1)的HOA表示法。
在環音聲合成中,使用周圍HOA分量的係數序列的索引集J AMB,ACT(k)(其係現用於第k框中),從周圍HOA分量的中間表示法的框 C I,AMB (k)產生出周圍HOA分量框
Figure 111125526-A0202-12-0015-30
(k-1)。請注意到一框的延遲,其係因與主要聲音HOA分量同步所引入。最後,在HOA組成中,將周圍HOA分量框
Figure 111125526-A0202-12-0015-32
(k-1)與主要聲音HOA分量框
Figure 111125526-A0202-12-0015-31
(k-1)重疊,用以提供已解碼HOA框
Figure 111125526-A0202-12-0015-33
(k-1)。
由上述HOA壓縮及解壓縮方法的粗略說明已明白,已壓縮表示法係由I個量化單聲道信號與一些額外邊資訊組成,出自此I個量化單聲道信號的一固定數O MIN表示周圍HOA分量 C AMB (k-2)的第一O MIN個係數序列的一空間變換版本,其餘I-O MIN個信號的類型可在連續框之間變化,或具方向、或基於向量、空的,或表示周圍HOA分量 C AMB (k-2)的一額外係數序列。照此採用,意指已壓縮HOA表示法係單相的,尤其一難題係如何將所述表示法分割成一低品質基礎層及一增強層。
根據本發明,用於低品質基礎層的一候選者係該O MIN個聲道,其包含周圍HOA分量 C AMB (k-2)的第一O MIN個係數序列的一空間變換版本,使此等(不失一般性:第一)O MIN聲道作為形成低品質基礎層的良好選擇係其時間不變型式。然而,個別信號卻缺少聲音情景絕對必要的任何主要聲音分量,在周圍HOA分量 C AMB (k-1)的計算中亦可看出此點,實施該計算係根據
C AMB (k-1)=C(k-1)-C PS (k-1) (1)從原HOA表示法 C (k-1)中減去主要聲音HOA表示法 C PS (k-1)。
此問題的解答係將在低空間解析度的主要聲音分量包含到基礎層中。
以下將說明對HOA壓縮所建議的修正。
圖3係根據本發明的一實施例以架構的結構顯示一HOA壓縮器的空間HOA編碼及知覺編碼部分,為將在低空間解析度的主要聲音分量亦包含到基礎層中,以一修改版本
Figure 111125526-A0202-12-0016-34
取代周圍HOA分量 C AMB (k-1),其係由空間HOA編碼器中的HOA分解處理所輸出(參閱圖1a),該修改版本的元素係提供如下:
Figure 111125526-A0202-12-0016-35
換言之,由原HOA分量的係數序列取代周圍HOA分量的第一O MIN個係數序列,其係假定總以一空間變換形式傳送。空間HOA編碼器的其他處理區塊可保持不變。
重要的是應注意此HOA分解處理變更可看作一初始操作,使HOA壓縮在所謂”雙層”或”二層”模式工作,此模式提供一位元流,其可分割成一低品質基礎層及一增強層,使用此模式與否可由總位元流的存取單位中的單個位元以信號表示。
圖3及圖4中繪示該位元流多工後的可能修改用以提供位元流用於一基礎層及一增強層,以下將進一步說明。
基礎層位元流
Figure 111125526-A0202-12-0017-36
(k-2)只包含已知覺編碼信號
Figure 111125526-A0202-12-0017-235
(k-2),i=1,...,O MIN,及對應的已編碼增益控制邊資訊(由指數e i (k-2)及異常旗標β i (k-2),i=1,...,O MIN所組成)。其餘已知覺編碼信號
Figure 111125526-A0202-12-0017-236
(k-2),i=O MIN+1,...,O及已編碼其餘邊資訊係包含在增強層位元流中。接著不傳送原先總位元流
Figure 111125526-A0202-12-0017-37
(k-2),改為共同傳送基礎層位元流
Figure 111125526-A0202-12-0017-38
(k-2)及增強層位元流
Figure 111125526-A0202-12-0017-39
(k-2)。
在圖3及圖4中,顯示一種將一HOA信號壓縮的裝置,該信號係一輸入HOA表示法,具有HOA係數序列的輸入時間框(C(k)),該裝置包括一空間HOA編碼及知覺編碼部分用於輸入時間框的空間HOA編碼及後續的知覺編碼,其係顯示在圖3中,及一信號源編碼器部分用於信號 源編碼,其係顯示在圖4中。空間HOA編碼及知覺編碼部分包括一方向及向量估算區塊301、一HOA分解區塊303、一周圍分量修改區塊304、一聲道指定區塊305,及複數個增益控制區塊306。
方向及向量估算區塊301係調適用以執行HOA信號的方向及向量估算處理,其中得到資料包括有第一元組集M DIR(k)用於方向信號及第二元組集M VEC(k)用於向量為基信號,第一元組集M DIR(k)的各元組包括一方向信號索引及一個別量化方向,及第二元組集M VEC(k)的各元組包括一向量為基信號索引及一向量定義信號的方向分配。
HOA分解區塊303係調適用以將HOA係數序列的各輸入時間框分解成一框為複數個主要聲音信號 X PS(k-1)及一框為周圍HOA分量
Figure 111125526-A0202-12-0018-40
(k-1),其中主要聲音信號 X PS(k-1)包括該等方向聲音信號及該等向量為基信號,及其中周圍HOA分量
Figure 111125526-A0202-12-0018-41
(k-1)包括HOA係數序列係表示輸入HOA表示法與主要聲音信號的HOA表示法之間的一殘餘,及其中該分解尚提供預測參數ξ(k-1)及一目標指定向量 v A,T (k-1)。預測參數ξ(k-1)描述如何從主要聲音信號 X PS(k-1)內的方向信號預測出部分的HOA信號表示法,以便濃化主要聲音HOA分量,及目標指定向量 v A,T (k-1)包含如何將主要聲音信號指定到已知I個聲道的有關資訊。
周圍分量修改區塊304係調適用以根據目標指定向量 v A,T (k-1)提供的資訊以修改周圍HOA分量 C AMB (k-1),其中取決於主要聲音信號佔用多少聲道,判 定周圍HOA分量 C AMB (k-1)的係數序列中何者待傳輸在已知I個聲道中,及其中得到一已修改周圍HOA分量 C M,A (k-2)及一暫預測修改的周圍HOA分量 C P,M,A (k-1),及其中從目標指定向量 v A,T (k-1)中的資訊得出一最終指定向量 v A (k-2)。
聲道指定區塊305係調適用以使用最終指定向量 v A (k-2)提供的資訊,將從分解得出的主要聲音信號 X PS (k-1)、已修改周圍HOA分量 C M,A (k-2)的判定係數序列,及暫預測修改的周圍HOA分量 C P,M,A (k-1)的判定係數序列,指定到已知I個聲道,其中得到傳送信號 y i (k-2),i=1,...,I及預測傳送信號 y P,i (k-2),i=1,...,I
複數個增益控制區塊306係調適用以執行增益控制(805)到傳送信號 y i (k-2)及預測傳送信號 y P,i (k-2),其中得到已增益修改的傳送信號 z i (k-2)、指數e i (k-2)及異常旗標β i (k-2)。
圖4係根據本發明的一實施例以架構的結構顯示一HOA壓縮器的信號源編碼器部分,如圖4所示信號源編碼器部分包括一知覺編碼器310、一邊資訊信號源編碼器區塊具有二編碼器320、330,即一基礎層邊資訊信號源編碼器320及一增強層邊資訊信號源編碼器330,及二多工器340、350,即一基礎層位元流多工器340及一增強層位元流多工器350。邊資訊信號源編碼器係可在單個邊資訊信號源編碼器區塊中。
知覺編碼器310係調適用以將該等已增益修改傳送信號 z i (k-2)進行知覺編碼806,其中得到已知覺編碼傳送信號
Figure 111125526-A0202-12-0020-237
(k-2),i=1,...,I
邊資訊信號源編碼器320、330係調適用以將邊資訊編碼,邊資訊包括有該等指數e i (k-2)及該等異常旗標β i (k-2)、該等第一元組集M DIR(k)及該等第二元組集M VEC(k)、該等預測參數ξ(k-1)及該最終指定向量 v A (k-2),其中得到已編碼邊資訊
Figure 111125526-A0202-12-0020-42
(k-2)。
多工器340、350係調適用以將已知覺編碼傳送信號
Figure 111125526-A0202-12-0020-44
(k-2)及已編碼邊資訊
Figure 111125526-A0202-12-0020-43
(k-2)多工成一多工資料流
Figure 111125526-A0202-12-0020-45
(k-2),其中在分解中得到的周圍HOA分量
Figure 111125526-A0202-12-0020-46
(k-1),在O MIN個最低位置(即該等具有最低索引者)中包括輸入HOA表示法c n (k-1)的第一HOA係數序列,及在其餘較高位置中包括第二HOA係數序列c AMB ,n (k-1)。如以下關於方程(4)至(6)的說明,第二HOA係數序列係輸入HOA表示法與主要聲音信號的HOA表示法之間殘餘的一部分HOA表示法。此外,在一基礎層邊資訊信號源編碼器320中將第一O MIN個指數e i (k-2),i=1,...,O MIM 及異常旗標β i (k-2),i=1,...,O MIN 編碼,其中得到已編碼基礎層邊資訊
Figure 111125526-A0202-12-0020-47
(k-2),及其中O MIN=(N MIN+1)2O=(N+1)2N MIN
Figure 111125526-A0202-12-0020-239
NO MIN
Figure 111125526-A0202-12-0020-240
I,及N MIN係一預設整數值。在一基礎層位元流多工器340(其係該等多工器中的一者)中,將第一O MIN個已知覺編碼傳送信號
Figure 111125526-A0202-12-0020-49
(k-2),i=1,...,O MIN 及已編碼基礎層邊資訊
Figure 111125526-A0202-12-0020-48
(k-2)進行 多工,其中得到一基礎層位元流
Figure 111125526-A0202-12-0021-50
(k-2)。基礎層邊資訊信號源編碼器320係邊資訊信號源編碼器中的一者,或係在一邊資訊信號源編碼器區塊內。在一增強層邊資訊信號源編碼器330中,將其餘I-O MIN個指數e i (k-2),i=O MIN +1,...,I及異常旗標β i (k-2),i=O MIN +1,...,I、該等第一元組集M DIR(k-1)及該等第二元組集M VEC(k-1)、該等預測參數ξ(k-1)及該最終指定向量 v A (k-2)進行編碼,其中得到已編碼增強層邊資訊
Figure 111125526-A0202-12-0021-51
(k-2)。增強層邊資訊信號源編碼器330係邊資訊信號源編碼器中的一者或係在一邊資訊信號源編碼器區塊內。
在一增強層位元流多工器350(其亦係該等多工器中的一者)中,將其餘I-O MIN個已知覺編碼傳送信號
Figure 111125526-A0202-12-0021-53
(k-2),i=O MIN +1,...,I及已編碼增強層邊資訊
Figure 111125526-A0202-12-0021-52
(k-2)進行多工,其中得到一增強層位元流
Figure 111125526-A0202-12-0021-54
(k-2)。此外,在一多工器或一指示插入區塊中添加一模式指示LMFE,模式指示LMFE以信號表示一分層模式的使用,該分層模式係用以校正已壓縮信號的解壓縮。
在一實施例中,編碼裝置尚包括一模式選擇器,調適用以選擇一模式,該模式係由模式指示LMFE指出及係分層模式及非分層模式中的一者。在非分層模式中,周圍HOA分量
Figure 111125526-A0202-12-0021-56
(k-1)只包括HOA係數序列表示輸入HOA表示法與主要聲音信號的HOA表示法之間的一殘餘(即未有輸入HOA表示法的任何係數序列)。
以下將說明HOA解壓縮的建議修正。
在分層模式中,藉由適當修改HOA組成,在HOA解壓縮考慮HOA壓縮中周圍HOA分量 C AMB (k-1)的修改。
在HOA解壓縮器中,根據圖5以執行基礎層位元流及增強層位元流的解多工及解碼,將基礎層位元流
Figure 111125526-A0202-12-0022-57
(k)解多工成基礎層邊資訊的已編碼表示法及已知覺編碼信號,後續地,將基礎層邊資訊的已編碼表示法及已知覺編碼信號進行解碼,一方面用以提供指數e i (k)及異常旗標,及另一方面提供已知覺解碼信號。同樣地,將增強層位元流解多工及解碼,用以提供已知覺解碼信號及其餘邊資訊(參閱圖5)。利用此分層模式,亦必須修改空間HOA解碼部分,用以考慮空間HOA編碼中周圍HOA分量 C AMB (k-1)的修改,該修改係在HOA組成中完成。
尤其,已重建HOA表示法
Figure 111125526-A0202-12-0022-58
係以其修改版本
Figure 111125526-A0202-12-0022-59
取代,該修改版本的元素係提供如下
Figure 111125526-A0202-12-0022-60
意即由於主要聲音HOA分量已包含在其中,因此未將主要聲音HOA分量加到周圍HOA分量以用於第一O MIN個係數序 列。HOA空間解碼器的其他所有處理區塊仍保持不變。
以下,簡要地考慮單純存在低品質基礎層位元流
Figure 111125526-A0202-12-0023-241
(k)的HOA解壓縮。
首先將該位元流解多工及解碼,用以提供已重建信號
Figure 111125526-A0202-12-0023-242
(k)及指數e i (k)及異常旗標β i (k),i=1,...,O MIN所組成的對應增益控制邊資訊。請注意,由於缺少增強層,並無已知覺編碼信號
Figure 111125526-A0202-12-0023-243
(k-2),i=O MIN+1,...,O,解決此情況的可能方式係將信號
Figure 111125526-A0202-12-0023-244
(k),i=O MIN+1,...,O設成零,其自動使已重建主要聲音分量 C PS (k-1)成為零。
在下一步驟中,在空間HOA解碼器中,第一O MIN個逆增益控制處理區塊提供已增益校正信號框
Figure 111125526-A0202-12-0023-61
(k),i=1,...,O MIN,其藉由聲道重指定用以建構框 C I,AMB (k)為周圍HOA分量的一中間表示法。請注意,周圍HOA分量的係數序列的索引集 J AMB,ACT (k)(現用於第k框中)只包含索引1,2,...,O MIN。在環音聲合成中,將第一O MIN個係數序列的空間變換回復,用以提供周圍HOA分量框 C AMB (k-1),最後,根據方程(6)算出已重建HOA表示法。
圖5及圖6係根據本發明的一實施例以架構的結構顯示一HOA解壓縮器,該裝置包括如圖5所示的一知覺解碼及信號源解碼部分,如圖6所示的一空間HOA解碼部分,及一模式檢測器,調適用以檢測一分層模式指示LMFD,指出已壓縮HOA信號包括一已壓縮基礎層位元流
Figure 111125526-A0202-12-0023-62
(k)及一已壓縮增強層位元流。
圖5係根據本發明的一實施例以架構的結構 顯示一HOA解壓縮器的知覺解碼及信號源解碼部分,該知覺解碼及信號源解碼部分包括一第一解多工器510、一第二解多工器520、一基礎層知覺解碼器540及一增強層知覺解碼器550、一基礎層邊資訊信號源解碼器530及一增強層邊資訊信號源解碼器560。
第一解多工器510係調適用以將已壓縮基礎層位元流
Figure 111125526-A0202-12-0024-63
(k)解多工,其中得到第一已知覺編碼傳送信號
Figure 111125526-A0202-12-0024-65
(k),i=1,...,O MIN及第一已編碼邊資訊
Figure 111125526-A0202-12-0024-64
(k)。第二解多工器520係調適用以將已壓縮增強層位元流
Figure 111125526-A0202-12-0024-66
(k)解多工,其中得到第二已知覺編碼傳送信號
Figure 111125526-A0202-12-0024-67
(k),i=O MIN+1,...,I及第二已編碼邊資訊
Figure 111125526-A0202-12-0024-68
(k)。
基礎層知覺解碼器540及增強層知覺解碼器550係調適用以將已知覺編碼傳送信號
Figure 111125526-A0202-12-0024-69
(k),i=1,...,I進行知覺解碼904,其中得到已知覺解碼傳送信號
Figure 111125526-A0202-12-0024-70
(k),及其中在基礎層知覺解碼器540中將基礎層的該等第一已知覺編碼傳送信號
Figure 111125526-A0202-12-0024-71
(k),i=1,...,O MIM解碼,及得到第一已知覺解碼傳送信號
Figure 111125526-A0202-12-0024-72
(k),i=1,...,O MIM。在增強層知覺解碼器550中,將增強層的該等第二已知覺編碼傳送信號
Figure 111125526-A0202-12-0024-73
(k),i=O MIN+1,...,I解碼,及得到第二已知覺解碼傳送信號
Figure 111125526-A0202-12-0024-74
(k),i=O MIN+1,...,I
基礎層邊資訊信號源解碼器530係調適用以將第一已編碼邊資訊
Figure 111125526-A0202-12-0024-75
(k)解碼905,其中得到第一指數e i (k),i=1,...,O MIN及第一異常旗標β i (k),i=1,...,O MIN
增強層邊資訊信號源解碼器560係調適用以 將第二已編碼邊資訊
Figure 111125526-A0202-12-0025-76
(k)解碼906,其中得到第二指數e i (k),i=O MIN+1,...,I及第二異常旗標β i (k),i=O MIN+1,...,I,及其中得到進一步資料。該進一步資料包括一第一元組集M DIR(k+1)用於方向信號,及一第二元組集M VEC(k+1)用於向量為基信號。第一元組集M DIR(k+1)的各元組包括一方向信號索引及一個別量化方向,及第二元組集M VEC(k+1)的各元組包括一向量為基信號索引及一向量定義向量為基信號的方向分配。此外,得到預測參數ξ(k+1)及一周圍指定向量 v AMB,ASSIGN (k),其中周圍指定向量 v AMB,ASSIGN (k)包括的分量指出各傳輸聲道是否包含周圍HOA分量的係數序列及包含哪個係數序列。
圖6係根據本發明的一實施例以架構的結構顯示一HOA解壓縮器的空間HOA解碼部分,該空間HOA解碼部分包括複數個逆增益控制單元604、一聲道重指定區塊605、一主要聲音合成區塊606、一周圍合成區塊607,及一HOA組成區塊608。
複數個逆增益控制單元604係調適用以執行逆增益控制,其中根據第一指數e i (k),i=1,...,O MIN及第一異常旗標β i (k),i=1,...,O MIN,將該等第一已知覺解碼傳送信號
Figure 111125526-A0202-12-0025-77
(k),i=1,...,O MIN變換成第一已增益校正信號框
Figure 111125526-A0202-12-0025-78
(k),i=1,...,O MIN,及其中根據第二指數e i (k),i=O MIN+1,...,I及第二異常旗標β i (k),i=O MIN+1,...,I,將第二已知覺解碼傳送信號
Figure 111125526-A0202-12-0025-80
(k),i=O MIN+1,...,I變換成第二已增益校正信號框
Figure 111125526-A0202-12-0025-79
(k),i=O MIN+1,...,I
聲道重指定區塊605係調適用以將(第一及第二)已增益校正信號框
Figure 111125526-A0202-12-0026-82
(k),i=1,...,I重分配911到I個聲道,其中重建出主要聲音信號框
Figure 111125526-A0202-12-0026-81
(k),主要聲音信號包括方向信號及向量為基信號,及其中得到一已修改周圍HOA分量
Figure 111125526-A0202-12-0026-83
(k),及其中係根據該周圍指定向量 v AMB,ASSIGN (k)及根據該第一元組集M DIR(k+1)及該第二元組集M VEC(k+1)中的資訊,作出該指定。
此外,聲道重指定區塊605係調適用以產生已修改周圍HOA分量的係數序列的第一索引集J AMB,ACT(k),其係現用於第k框中,及產生已修改周圍HOA分量的係數序列的第二索引集(J E(k-1),J D(k-1),J U(k-1)),其必須加以賦能、去能及保持現用於第(k-1)框中。
主要聲音合成區塊606係調適用以從主要聲音信號
Figure 111125526-A0202-12-0026-85
(k)合成912出主要HOA聲音分量
Figure 111125526-A0202-12-0026-84
(k-1)的HOA表示法,其中使用第一元組集M DIR(k+1)及第二元組集M VEC(k+1)、預測參數ξ(k+1)及第二索引集J E(k-1),J D(k-1),J U(k-1)。
周圍合成區塊607係調適用以從已修改周圍HOA分量
Figure 111125526-A0202-12-0026-199
(k)合成913出一周圍HOA分量
Figure 111125526-A0202-12-0026-86
(k-1),其中作出一逆空間變換用於第一O MIN個聲道,及其中使用第一索引集J AMB,ACT(k),該第一索引集係周圍HOA分量的係數序列的索引,其係現用於第k框中。
若分層模式指示LMFD指出一分層模式具有 至少二層,則周圍HOA分量在其O MIN個最低位置(即該等具有最低索引者)中包括已解壓縮HOA信號
Figure 111125526-A0202-12-0027-209
(k-1)的HOA係數序列,及在其餘較高位置中包括係數序列係一殘餘的一部分HOA表示法,此殘餘係已解壓縮HOA信號
Figure 111125526-A0202-12-0027-251
(k-1)與主要HOA聲音分量
Figure 111125526-A0202-12-0027-88
(k-1)的HOA表示法之間的殘餘。
另一方面,若分層模式指示LMFD指出單層模式,則不包括已解壓縮HOA信號
Figure 111125526-A0202-12-0027-100
(k-1)的HOA係數序列,及周圍HOA分量係已解壓縮HOA信號
Figure 111125526-A0202-12-0027-101
(k-1)與主要聲音分量
Figure 111125526-A0202-12-0027-91
(k-1)的HOA表示法之間的殘餘。
HOA組成區塊608係調適用以將主要聲音分量
Figure 111125526-A0202-12-0027-92
(k-1)的HOA表示法加914到周圍HOA分量
Figure 111125526-A0202-12-0027-93
(k-1),其中係添加主要聲音信號的HOA表示法的係數及周圍HOA分量的對應係數,及其中得到已解壓縮HOA信號
Figure 111125526-A0202-12-0027-94
(k-1),及其中
若分層模式指示LMFD指出一分層模式具有至少二層,則藉由主要HOA聲音分量
Figure 111125526-A0202-12-0027-95
(k-1)與周圍HOA分量
Figure 111125526-A0202-12-0027-96
(k-1)的加法,只得到最高I-O MIN個係數聲道,並從周圍HOA分量
Figure 111125526-A0202-12-0027-97
(k-1)複製出已解壓縮HOA信號
Figure 111125526-A0202-12-0027-98
(k-1)的最低O MIN個係數聲道。另一方面,若分層模式指示LMFD指出一單層模式,則藉由主要HOA聲音分量
Figure 111125526-A0202-12-0027-99
(k-1)與周圍HOA分量
Figure 111125526-A0202-12-0027-89
(k-1)的加法,得到已解壓縮HOA信號
Figure 111125526-A0202-12-0027-90
(k-1)的所有係數聲道。
圖7顯示從周圍HOA信號到已修改周圍HOA信號的框變換。
圖8係以流程圖顯示將一HOA信號壓縮的方法。高階保真立體音響(HOA)信號係一N階輸入HOA表示法,具有HOA係數序列的輸入時間框C(k),將該HOA信號壓縮的方法800包括該等輸入時間框的空間HOA編碼及後續的知覺編碼及信號源編碼。
該空間HOA編碼包括以下步驟:
在一方向及向量估算區塊301中,執行HOA信號的方向及向量估算處理801,其中得到資料包括有第一元組集M DIR(k)用於方向信號及第二元組集M VEC(k)用於向量為基信號,第一元組集M DIR(k)的各元組包括一方向信號索引及一個別量化方向,及第二元組集M VEC(k)的各元組包括一向量為基信號索引及一向量定義信號的方向分配;
在一HOA分解區塊303中,將HOA係數序列的各輸入時間框分解(802)成一框為複數個主要聲音信號 X PS(k-1)及一框為一周圍HOA分量
Figure 111125526-A0202-12-0028-102
(k-1),其中主要聲音信號 X PS(k-1)包括該等方向聲音信號及該等向量為基聲音信號,及其中周圍HOA分量
Figure 111125526-A0202-12-0028-103
(k-1)包括HOA係數序列,表示輸入HOA表示法與主要聲音信號的HOA表示法之間的殘餘,及其中分解802尚提供預測參數ξ(k-1)及一目標指定向量 v A,T (k-1),預測參數ξ(k-1)描述如何從主要聲音信號 X PS(k-1)內的方向信號預測出部分的HOA信號表示法,以便濃化主要聲音HOA分量,及目標指定向量 v A,T (k-1)含有如何 將主要聲音信號指定到已知I個聲道的有關資訊;
在一周圍分量修改區塊304中,根據目標指定向量 v A,T (k-1)提供的資訊以修改803周圍HOA分量 C AMB (k-1),其中取決於主要聲音信號佔用多少聲道,判定HOA分量 C AMB (k-1)的係數序列中何者待傳輸在已知I個聲道中,及其中得到一已修改周圍HOA分量 C M,A (k-2)及一暫預測修改的周圍HOA分量 C P,M,A (k-1),及其中從目標指定向量 v A,T (k-1)中的資訊得出一最終指定向量 v A (k-2);
在一聲道指定區塊305中,使用最終指定向量 v A (k-2)提供的資訊,將從分解得出的主要聲音信號 X PS (k-1)、已修改周圍HOA分量 C M,A (k-2)的判定係數序列,及暫預測修改的周圍HOA分量 C P,M,A (k-1)的判定係數序列,指定804到已知I個聲道,其中得到傳送信號 y i (k-2),i=1,...,I及預測傳送信號 y P,i (k-2),i=1,...,I;及
在複數個增益控制區塊306中,執行增益控制805到傳送信號 y i (k-2)及預測傳送信號 y P,i (k-2),其中得到已增益修改的傳送信號 z i (k-2)、指數 e i (k-2)及異常旗標 β i (k-2);
該知覺編碼及信號源編碼包括以下步驟:
在一知覺編碼器310中,將該等已增益修改傳送信號 z i (k-2)進行知覺編碼806,其中得到已知覺編碼傳送信號
Figure 111125526-A0202-12-0029-104
(k-2),i=1,...,I
在一或多個邊資訊信號源編碼器320、330中,將邊資 訊編碼807,邊資訊包括有該等指數e i (k-2)及該等異常旗標β i (k-2)、該等第一元組集M DIR(k)及該等第二元組集M VEC(k)、該等預測參數ξ(k-1)及該最終指定向量 v A (k-2),其中得到已編碼邊資訊
Figure 111125526-A0202-12-0030-105
(k-2);及
將已知覺編碼傳送信號
Figure 111125526-A0202-12-0030-106
(k-2)與已編碼邊資訊
Figure 111125526-A0202-12-0030-107
(k-2)進行多工808,其中得到一多工資料流
Figure 111125526-A0202-12-0030-108
(k-2)。
在分解步驟802中得到的周圍HOA分量
Figure 111125526-A0202-12-0030-110
(k-1)在O MIN個最低位置(即該等具有最低索引者)中,包括輸入HOA表示法c n (k-1)的第一HOA係數序列,及在其餘較高位置中包括第二HOA係數序列c AMB ,n (k-1),第二HOA係數序列係輸入HOA表示法與主要聲音信號的HOA表示法之間殘餘的一部分HOA表示法。
在一基礎層邊資訊信號源編碼器320中,將第一O MIN個指數e i (k-2),i=1,...,O MIN 及異常旗標β i (k-2),i=1,...,O MIN 編碼,其中得到已編碼基礎層邊資訊
Figure 111125526-A0202-12-0030-111
(k-2),及其中O MIN=(N MIN+1)2O=(N+1)2N MIN
Figure 111125526-A0202-12-0030-211
NO MIN
Figure 111125526-A0202-12-0030-212
I,及N MIN係一預設整數值。
在一基礎層位元流多工器340中,將第一O MIN個已知覺編碼傳送信號
Figure 111125526-A0202-12-0030-112
(k-2),i=1,...,O MIN 及已編碼基礎層邊資訊
Figure 111125526-A0202-12-0030-113
(k-2)進行多工809,其中得到一基礎層位元流
Figure 111125526-A0202-12-0030-114
(k-2)。在一增強層邊資訊信號源編碼器330中,將其餘I-O MIN個指數e i (k-2),i=O MIN +1,...,I及異常旗標β i (k-2),i=O MIN +1,...,I、該等第一元組集M DIR(k-1)及該等 第二元組集M VEC(k-1)、該等預測參數ξ(k-1)及該最終指定向量 v A (k-2)(附圖中亦顯示為 v AMB,ASSIGN (k))編碼,其中得到已編碼增強層邊資訊
Figure 111125526-A0202-12-0031-115
(k-2)。
在一增強層位元流多工器350中,將其餘I-O MIN個已知覺編碼傳送信號
Figure 111125526-A0202-12-0031-116
(k-2),i=O MIN +1,...,I及已編碼增強層邊資訊
Figure 111125526-A0202-12-0031-117
(k-2)進行多工810,其中得到一增強層位元流
Figure 111125526-A0202-12-0031-119
(k-2)。
如上述,添加811一模式指示,其以信號表示一分層模式的使用,由一指示插入區塊或一多工器添加該模式指示。
在一實施例中,該方法尚包括一最終多工步驟,將基礎層位元流
Figure 111125526-A0202-12-0031-121
(k-2)、增強層位元流
Figure 111125526-A0202-12-0031-120
(k-2)及模式指示多工成單一位元流。
在一實施例中,該主導方向估算係依賴於高能主導HOA分量的方向功率分配。
在一實施例中,在修改周圍HOA分量中,若所選擇HOA係數序列的HOA序列索引在連續框之間變化,則執行係數序列的淡入及淡出。
在一實施例中,在修改周圍HOA分量中,執行周圍HOA分量 C AMB (k-1)的部分去相關。
在一實施例中,包括在第一元組集M DIR(k)中的量化方向係一主導方向。
圖9係以流程圖顯示將一已壓縮HOA信號解壓縮的方法,在本發明的此實施例中,將已壓縮HOA信號 解壓縮的方法900包括知覺解碼及信號源解碼及後續的空間HOA解碼,用以得到HOA係數序列的輸出時間框
Figure 111125526-A0202-12-0032-122
(k-1),及該方法包括一檢測步驟901,檢測一分層模式指示LMFD,指出已壓縮高階保真立體音響(HOA)信號包括一已壓縮基礎層位元流
Figure 111125526-A0202-12-0032-123
(k)及一已壓縮增強層位元流
Figure 111125526-A0202-12-0032-124
(k)。
該知覺解碼及信號源解碼包括以下步驟:
將已壓縮基礎層位元流
Figure 111125526-A0202-12-0032-126
(k)解多工902,其中得到第一已知覺編碼傳送信號
Figure 111125526-A0202-12-0032-127
(k),i=1,...,O MIN及第一已編碼邊資訊
Figure 111125526-A0202-12-0032-128
(k);
將已壓縮增強層位元流
Figure 111125526-A0202-12-0032-129
(k)解多工903,其中得到第二已知覺編碼傳送信號
Figure 111125526-A0202-12-0032-130
(k),i=O MIN+1,...,I及第二已編碼邊資訊
Figure 111125526-A0202-12-0032-131
(k);
將已知覺編碼傳送信號
Figure 111125526-A0202-12-0032-132
(k),i=1,...,I進行知覺解碼904,其中得到已知覺解碼傳送信號
Figure 111125526-A0202-12-0032-133
(k),及其中在一基礎層知覺解碼器540中,將基礎層的該等第一已知覺編碼傳送信號
Figure 111125526-A0202-12-0032-213
(k),i=1,...,O MIN解碼,及得到第一已知覺解碼傳送信號
Figure 111125526-A0202-12-0032-214
(k),i=1,...,O MIN,及其中在一增強層知覺解碼器550中,將增強層的該等第二已知覺編碼傳送信號
Figure 111125526-A0202-12-0032-215
(k),i=O MIN+1,...,I解碼,及得到第二已知覺解碼傳送信號
Figure 111125526-A0202-12-0032-216
(k),i=O MIN+1,...,I
在一基礎層邊資訊信號源解碼器530中,將第一已編碼邊資訊
Figure 111125526-A0202-12-0032-134
(k)解碼905,其中得到第一指數e i (k),i=1,...,O MIN 及第一異常旗標β i (k),i=1,...,O MIN;及
在一增強層邊資訊信號源解碼器560中,將第二已編碼邊資訊
Figure 111125526-A0202-12-0033-135
(k)解碼906,其中得到第二指數e i (k),i=O MIN+1,...,I及第二異常旗標β i (k),i=O MIN+1,...,I,及其中得到進一步資料,該進一步資料包括第一元組集M DIR(k+1)用於方向信號及第二元組集M VEC(k+1)用於向量為基信號,第一元組集M DIR(k+1)的各元組包括一方向信號索引及一個別量化方向,及第二元組集M VEC(k+1)的各元組包括一向量為基信號索引及一向量定義向量為基信號的方向分配,及進一步其中得到預測參數ξ(k+1)及一周圍指定向量 v AMB,ASSIGN (k)。周圍指定向量 v AMB,ASSIGN (k)包括分量指出各傳輸聲道是否包含周圍HOA分量的係數序列及包含哪個係數序列。
該空間HOA解碼包括以下步驟:
執行910逆增益控制,其中根據該等第一指數e i (k),i=1,...,O MIN及該等第一異常旗標β i (k),i=1,...,O MIN,將該等第一已知覺解碼傳送信號
Figure 111125526-A0202-12-0033-258
(k),i=1,...,O MIN變換成第一已增益校正信號框
Figure 111125526-A0202-12-0033-256
(k),i=1,...,O MIN,及其中根據該等第二指數e i (k),i=O MIN+1,...,I及該等第二異常旗標β i (k),i=O MIN+1,...,I,將該等第二已知覺解碼傳送信號
Figure 111125526-A0202-12-0033-247
(k),i=O MIN+1,...,I變換成第二已增益校正信號框
Figure 111125526-A0202-12-0033-248
(k),i=O MIN+1,...,I
在一聲道重指定區塊605中,將(第一及第二)已增益校正信號框
Figure 111125526-A0202-12-0033-249
(k),i=1,...,I重分配911至I個聲道,其中重建 主要聲音信號框
Figure 111125526-A0202-12-0034-136
(k),主要聲音信號包括方向信號及向量為基信號,及其中得到一已修改周圍HOA分量
Figure 111125526-A0202-12-0034-137
(k),及其中根據該周圍指定向量 v AMB,ASSIGN (k)及根據該等(第一及第二)元組集M DIR(k+1),M VEC(k+1)中的資訊,作出該指定;
在一聲道重指定區塊605中,產生911b已修改周圍HOA分量的係數序列的第一索引集J AMB,ACT(k),其係現用於第k框中,及產生已修改周圍HOA分量的係數序列的第二索引集J E(k-1),J D(k-1),J U(k-1),其必須加以賦能、去能及保持現用於第(k-1)框中;
在一主要聲音合成區塊606中,從該等主要聲音信號
Figure 111125526-A0202-12-0034-139
(k)合成912出主要HOA聲音分量
Figure 111125526-A0202-12-0034-138
(k-1)的一HOA表示法,其中使用第一元組集M DIR(k+1)及第二元組集M VEC(k+1)、預測參數ξ(k+1)及第二索引集J E(k-1),J D(k-1),J U(k-1);
在一周圍合成區塊607中,從已修改周圍HOA分量
Figure 111125526-A0202-12-0034-141
(k)合成913出一周圍HOA分量
Figure 111125526-A0202-12-0034-140
(k-1),其中作出一逆空間變換用於第一O MIN個聲道,及其中使用第一索引集J AMB,ACT(k),該第一索引集係周圍HOA分量的係數序列的索引,其係現用於第k框中,其中取決於分層模式指示LMFD,周圍HOA分量具有至少二不同組態中的一者;及
在一HOA組成區塊608中,添加914主要HOA聲音分量
Figure 111125526-A0202-12-0034-143
(k-1)及周圍HOA分量
Figure 111125526-A0202-12-0034-142
(k-1)的HOA表示法,其中添 加主要聲音信號的HOA表示法的係數及周圍HOA分量的對應係數,及其中得到已解壓縮HOA信號
Figure 111125526-A0202-12-0035-223
(k-1),及其中應用下列條件:
若分層模式指示LMFD指出一分層模式具有至少二層,則藉由主要HOA聲音分量
Figure 111125526-A0202-12-0035-145
(k-1)及周圍HOA分量
Figure 111125526-A0202-12-0035-144
(k-1)的加法,只得到最高I-O MIN個係數聲道,及從周圍HOA分量
Figure 111125526-A0202-12-0035-146
(k-1)複製出已解壓縮HOA信號
Figure 111125526-A0202-12-0035-147
(k-1)的最低O MIN個係數聲道。然而,若分層模式指示LMFD指出一單層模式,則藉由主要HOA聲音分量
Figure 111125526-A0202-12-0035-148
(k-1)與周圍HOA分量
Figure 111125526-A0202-12-0035-149
(k-1)的加法,得到已解壓縮HOA信號
Figure 111125526-A0202-12-0035-150
(k-1)的所有係數聲道。
周圍HOA分量依靠分層模式指示LMFD的組態係如下:
若分層模式指示LMFD指出分層模式具有至少二層,則周圍HOA分量在其O MIN個最低位置中包括已解壓縮HOA信號
Figure 111125526-A0202-12-0035-224
(k-1)的HOA係數序列,及在其餘較高位置中包括係數序列係已解壓縮HOA信號
Figure 111125526-A0202-12-0035-225
(k-1)與主要HOA聲音分量
Figure 111125526-A0202-12-0035-200
(k-1)的HOA表示法之間殘餘的一部分HOA表示法。
另一方面,若分層模式指示LMFD指出單層模式,則周圍HOA分量係已解壓縮HOA信號
Figure 111125526-A0202-12-0035-226
(k-1)與主要HOA聲音分量
Figure 111125526-A0202-12-0035-201
(k-1)的HOA表示法之間的殘餘。
在一實施例中,已壓縮HOA信號表示法係以多工位元流形成,及已壓縮HOA信號解壓縮的方法尚包括 一初始解多工步驟,將已壓縮HOA信號表示法解多工,其中得到該已壓縮基礎層位元流
Figure 111125526-A0202-12-0036-151
(k)、該已壓縮增強層位元流
Figure 111125526-A0202-12-0036-152
(k)及該分層模式指示LMFD
圖10係根據本發明的一實施例以架構的部分細節顯示一HOA解壓縮器的一空間HOA解碼部分。
有利地,可能只將基礎層(BL)解碼(例如若未接收任何增強層(EL),或若BL品質已足夠),用於此情形,EL的信號可在解碼器設成零。接著,由於主要聲音信號框
Figure 111125526-A0202-12-0036-153
(k)係空的,因此在聲道重指定區塊605中,將(第一及第二)已增益校正信號框
Figure 111125526-A0202-12-0036-154
(k),i=1,...,I重分配911到I個聲道係極簡單。將已修改周圍HOA分量的係數序列的第二索引集J E(k-1),J D(k-1),J U(k-1)(其必須加以賦能、去能及保持現用於第(k-1)框中)設成零,因此可跳過主要聲音合成區塊606中的合成912步驟,即從主要聲音信號
Figure 111125526-A0202-12-0036-155
(k)合成出主要HOA聲音分量
Figure 111125526-A0202-12-0036-156
(k-1)的HOA表示法,及在周圍合成區塊607中,從已修改周圍HOA分量
Figure 111125526-A0202-12-0036-158
(k)合成913出一周圍HOA分量
Figure 111125526-A0202-12-0036-159
(k-1),對應到傳統HOA合成。
雖然已顯示、說明及指出本發明如應用在其較佳實施例的基本新穎特點,但應瞭解,不背離本發明的精神,熟諳此藝者可在所述裝置及方法中、在揭示裝置的形式及細節中及在其操作中,作出各種不同省略、代替及變更。特意地希望將以大體上相同方式執行大體上相同功能用以達成相同結果的該等元件的所有組合皆包含在本發 明的範圍內,亦全然希望及涵蓋從一所述實施例到另一實施例的元件替代。
應瞭解已僅僅藉由範例方式說明本發明,及不背離本發明的範圍可作出細節的修改。
本說明書及後附申請專利範圍(只要適當)及附圖中揭示的各特點係可獨立地或以任何適當組合提供,只要適當可在硬體、軟體或二者的組合中實施特點,連接方式只要適用可實施為無線連接或有線(不必直接或專屬的)連接。
申請專利範圍中出現的參考數字符號係僅藉由繪示方式,在申請專利範圍的範疇上不應具有限制效用。
參考文獻:
[1]歐洲專利申請號EP12306569.0
[2]歐洲專利申請號EP12305537.8(公布為EP2665208A)
[3]歐洲專利申請號EP13305558.2
[4]ISO/IEC JTC1/SC29/WG11 N14264。工作草案1-MPEG-H立體聲頻的HOA文本,2014年一月。
510:基礎層位元流解多工器
520:增強層位元流解多工器
530:基礎層邊資訊信號源解碼器
540,550:知覺解碼器
560:增強層邊資訊信號源解碼器
Figure 111125526-A0202-11-0004-197
(k):已壓縮基礎層位元流
Figure 111125526-A0202-11-0004-198
(k):已壓縮增強層位元流
e i (k),i=1,...,I:指數
LMFD:分層模式指示
M DIR(k+1):第一元組集
M VEC(k+1):第二元組集
v AMB,ASSIGN (k):周圍指定向量
Figure 111125526-A0202-11-0004-193
(k),i=1,...,I:已知覺編碼傳送信號
Figure 111125526-A0202-11-0004-194
(k),i=1,...,I:已知覺解碼傳送信號
ξ(k+1):預測參數
β i (k),i=1,...,I:異常旗標
Figure 111125526-A0202-11-0004-195
(k),:已編碼基礎層邊資訊
Figure 111125526-A0202-11-0004-196
(k),:已編碼增強層邊資訊

Claims (3)

  1. 一種將聲音或音場的已壓縮高階保真立體音響(HOA)表示法進行解碼的方法,所述方法包含:
    接收含有所述已壓縮HOA表示法的位元流;以及
    判定是否存在與所述已壓縮HOA表示法相關的多個層;
    基於存在多個層的判定,從所述位元流將所述已壓縮HOA表示法解碼,以得到已解碼HOA表示法的序列,
    其中,所述已解碼HOA表示法的序列的第一子集對應於第一索引集,而所述已解碼HOA表示法的序列的第二子集對應於第二索引集,
    其中,所述第一索引集係1
    Figure 111125526-A0202-13-0001-227
    n
    Figure 111125526-A0202-13-0001-228
    O MIN,而所述第二索引集係O MIN+1
    Figure 111125526-A0202-13-0001-229
    n
    Figure 111125526-A0202-13-0001-230
    O,其中,O表示聲道的總數,而O MIN表示1和O之間的數字。
  2. 一種將聲音或音場的已壓縮高階保真立體音響(HOA)表示法進行解碼的裝置,所述裝置包含:
    接收器,用於接收含有所述已壓縮HOA表示法的位元流;以及
    音頻解碼器,用於基於存在多個層的判定,從所述位元流將所述已壓縮HOA表示法解碼,以得到已解碼HOA表示法的序列,
    其中,所述已解碼HOA表示法的序列的第一子集對應於第一索引集,而所述已解碼HOA表示法的序列的第二子集對應於第二索引集,
    其中,所述第一索引集係1
    Figure 111125526-A0202-13-0002-252
    n
    Figure 111125526-A0202-13-0002-253
    O MIN,而所述第二索引集係O MIN+1
    Figure 111125526-A0202-13-0002-231
    n
    Figure 111125526-A0202-13-0002-232
    O,其中,O表示聲道的總數,而O MIN表示1和O之間的數字。
  3. 一種含有指令的非暫態電腦可讀取儲存媒體,當所述指令由處理器執行時,執行如請求項1所述的方法。
TW111125526A 2014-03-21 2015-03-20 將高階保真立體音響信號壓縮之方法,將已壓縮高階保真立體音響信號解壓縮之方法,將高階保真立體音響信號壓縮之裝置,以及將已壓縮高階保真立體音響信號解壓縮之裝置 TWI836503B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14305411.2 2014-03-21
EP14305411.2A EP2922057A1 (en) 2014-03-21 2014-03-21 Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal

Publications (2)

Publication Number Publication Date
TW202309877A true TW202309877A (zh) 2023-03-01
TWI836503B TWI836503B (zh) 2024-03-21

Family

ID=50439305

Family Applications (4)

Application Number Title Priority Date Filing Date
TW104108896A TWI648729B (zh) 2014-03-21 2015-03-20 將高階保真立體音響信號壓縮之方法,將已壓縮高階保真立體音響信號解壓縮之方法,將高階保真立體音響信號壓縮之裝置,以及將已壓縮高階保真立體音響信號解壓縮之裝置
TW111125526A TWI836503B (zh) 2014-03-21 2015-03-20 將高階保真立體音響信號壓縮之方法,將已壓縮高階保真立體音響信號解壓縮之方法,將高階保真立體音響信號壓縮之裝置,以及將已壓縮高階保真立體音響信號解壓縮之裝置
TW107139029A TWI697893B (zh) 2014-03-21 2015-03-20 將高階保真立體音響信號壓縮之方法,將已壓縮高階保真立體音響信號解壓縮之方法,將高階保真立體音響信號壓縮之裝置,以及將已壓縮高階保真立體音響信號解壓縮之裝置
TW109118435A TWI770522B (zh) 2014-03-21 2015-03-20 將高階保真立體音響信號壓縮之方法,將已壓縮高階保真立體音響信號解壓縮之方法,將高階保真立體音響信號壓縮之裝置,以及將已壓縮高階保真立體音響信號解壓縮之裝置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW104108896A TWI648729B (zh) 2014-03-21 2015-03-20 將高階保真立體音響信號壓縮之方法,將已壓縮高階保真立體音響信號解壓縮之方法,將高階保真立體音響信號壓縮之裝置,以及將已壓縮高階保真立體音響信號解壓縮之裝置

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW107139029A TWI697893B (zh) 2014-03-21 2015-03-20 將高階保真立體音響信號壓縮之方法,將已壓縮高階保真立體音響信號解壓縮之方法,將高階保真立體音響信號壓縮之裝置,以及將已壓縮高階保真立體音響信號解壓縮之裝置
TW109118435A TWI770522B (zh) 2014-03-21 2015-03-20 將高階保真立體音響信號壓縮之方法,將已壓縮高階保真立體音響信號解壓縮之方法,將高階保真立體音響信號壓縮之裝置,以及將已壓縮高階保真立體音響信號解壓縮之裝置

Country Status (7)

Country Link
US (7) US9930464B2 (zh)
EP (4) EP2922057A1 (zh)
JP (7) JP6220082B2 (zh)
KR (7) KR101882654B1 (zh)
CN (6) CN106463123B (zh)
TW (4) TWI648729B (zh)
WO (1) WO2015140291A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2922057A1 (en) * 2014-03-21 2015-09-23 Thomson Licensing Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal
EP3120352B1 (en) 2014-03-21 2019-05-01 Dolby International AB Method for compressing a higher order ambisonics (hoa) signal, method for decompressing a compressed hoa signal, apparatus for compressing a hoa signal, and apparatus for decompressing a compressed hoa signal
US10140996B2 (en) 2014-10-10 2018-11-27 Qualcomm Incorporated Signaling layers for scalable coding of higher order ambisonic audio data
US9984693B2 (en) 2014-10-10 2018-05-29 Qualcomm Incorporated Signaling channels for scalable coding of higher order ambisonic audio data
CN108140392B (zh) 2015-10-08 2023-04-18 杜比国际公司 用于压缩声音或声场表示的分层编解码
EA035078B1 (ru) 2015-10-08 2020-04-24 Долби Интернэшнл Аб Многоуровневое кодирование сжатых представлений звука или звукового поля
EP4411732A3 (en) * 2015-10-08 2024-10-09 Dolby International AB Layered coding and data structure for compressed higher-order ambisonics sound or sound field representations
ME03762B (me) * 2015-10-08 2021-04-20 Dolby Int Ab Slojevito kodiranje za prezentacije komprimovanog zvuka ilizvučnog polja
EA038833B1 (ru) * 2016-07-13 2021-10-26 Долби Интернэшнл Аб Многоуровневое кодирование сжатых представлений звука или звукового поля
US10332530B2 (en) 2017-01-27 2019-06-25 Google Llc Coding of a soundfield representation
CN108550369B (zh) * 2018-04-14 2020-08-11 全景声科技南京有限公司 一种可变长度的全景声信号编解码方法
US10999693B2 (en) * 2018-06-25 2021-05-04 Qualcomm Incorporated Rendering different portions of audio data using different renderers
ES2969138T3 (es) * 2018-12-07 2024-05-16 Fraunhofer Ges Forschung Aparato, método y programa informático para codificación, decodificación, procesamiento de escenas y otros procedimientos relacionados con codificación de audio espacial basada en dirac que utiliza compensación directa de componentes
CN114038473A (zh) * 2019-01-29 2022-02-11 桂林理工大学南宁分校 一种单模块数据处理的对讲机系统
US11430451B2 (en) 2019-09-26 2022-08-30 Apple Inc. Layered coding of audio with discrete objects
US12120497B2 (en) * 2020-06-29 2024-10-15 Qualcomm Incorporated Sound field adjustment

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57107277A (en) 1980-12-24 1982-07-03 Babcock Hitachi Kk Brush removing type bolt cleaner
JPS6351748A (ja) 1986-08-21 1988-03-04 Nec Corp 交換回線接続方法
JPH0453956Y2 (zh) 1986-09-22 1992-12-18
JP3881943B2 (ja) * 2002-09-06 2007-02-14 松下電器産業株式会社 音響符号化装置及び音響符号化方法
KR100658222B1 (ko) * 2004-08-09 2006-12-15 한국전자통신연구원 3차원 디지털 멀티미디어 방송 시스템
US7937272B2 (en) * 2005-01-11 2011-05-03 Koninklijke Philips Electronics N.V. Scalable encoding/decoding of audio signals
US8345899B2 (en) * 2006-05-17 2013-01-01 Creative Technology Ltd Phase-amplitude matrixed surround decoder
ES2425814T3 (es) 2008-08-13 2013-10-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato para determinar una señal de audio espacial convertida
EP2306456A1 (en) * 2009-09-04 2011-04-06 Thomson Licensing Method for decoding an audio signal that has a base layer and an enhancement layer
WO2011117399A1 (en) * 2010-03-26 2011-09-29 Thomson Licensing Method and device for decoding an audio soundfield representation for audio playback
EP2395505A1 (en) * 2010-06-11 2011-12-14 Thomson Licensing Method and apparatus for searching in a layered hierarchical bit stream followed by replay, said bit stream including a base layer and at least one enhancement layer
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2469741A1 (en) 2010-12-21 2012-06-27 Thomson Licensing Method and apparatus for encoding and decoding successive frames of an ambisonics representation of a 2- or 3-dimensional sound field
EP2686654A4 (en) * 2011-03-16 2015-03-11 Dts Inc CODING AND PLAYING THREE-DIMENSIONAL AUDIOSPURES
EP2541547A1 (en) * 2011-06-30 2013-01-02 Thomson Licensing Method and apparatus for changing the relative positions of sound objects contained within a higher-order ambisonics representation
KR102003191B1 (ko) 2011-07-01 2019-07-24 돌비 레버러토리즈 라이쎈싱 코오포레이션 적응형 오디오 신호 생성, 코딩 및 렌더링을 위한 시스템 및 방법
EP2592845A1 (en) 2011-11-11 2013-05-15 Thomson Licensing Method and Apparatus for processing signals of a spherical microphone array on a rigid sphere used for generating an Ambisonics representation of the sound field
EP2637427A1 (en) 2012-03-06 2013-09-11 Thomson Licensing Method and apparatus for playback of a higher-order ambisonics audio signal
EP2665208A1 (en) 2012-05-14 2013-11-20 Thomson Licensing Method and apparatus for compressing and decompressing a Higher Order Ambisonics signal representation
EP2688066A1 (en) * 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for encoding multi-channel HOA audio signals for noise reduction, and method and apparatus for decoding multi-channel HOA audio signals for noise reduction
EP2688065A1 (en) 2012-07-16 2014-01-22 Thomson Licensing Method and apparatus for avoiding unmasking of coding noise when mixing perceptually coded multi-channel audio signals
JP6279569B2 (ja) * 2012-07-19 2018-02-14 ドルビー・インターナショナル・アーベー マルチチャンネルオーディオ信号のレンダリングを改善する方法及び装置
US9761229B2 (en) 2012-07-20 2017-09-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for audio object clustering
US9516446B2 (en) 2012-07-20 2016-12-06 Qualcomm Incorporated Scalable downmix design for object-based surround codec with cluster analysis by synthesis
EP2743922A1 (en) 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
EP2800401A1 (en) * 2013-04-29 2014-11-05 Thomson Licensing Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation
US10499176B2 (en) * 2013-05-29 2019-12-03 Qualcomm Incorporated Identifying codebooks to use when coding spatial components of a sound field
US9691406B2 (en) * 2013-06-05 2017-06-27 Dolby Laboratories Licensing Corporation Method for encoding audio signals, apparatus for encoding audio signals, method for decoding audio signals and apparatus for decoding audio signals
US9489955B2 (en) * 2014-01-30 2016-11-08 Qualcomm Incorporated Indicating frame parameter reusability for coding vectors
US20150243292A1 (en) * 2014-02-25 2015-08-27 Qualcomm Incorporated Order format signaling for higher-order ambisonic audio data
EP2922057A1 (en) * 2014-03-21 2015-09-23 Thomson Licensing Method for compressing a Higher Order Ambisonics (HOA) signal, method for decompressing a compressed HOA signal, apparatus for compressing a HOA signal, and apparatus for decompressing a compressed HOA signal
EP3120352B1 (en) 2014-03-21 2019-05-01 Dolby International AB Method for compressing a higher order ambisonics (hoa) signal, method for decompressing a compressed hoa signal, apparatus for compressing a hoa signal, and apparatus for decompressing a compressed hoa signal
KR102201961B1 (ko) * 2014-03-21 2021-01-12 돌비 인터네셔널 에이비 고차 앰비소닉스(hoa) 신호를 압축하는 방법, 압축된 hoa 신호를 압축 해제하는 방법, hoa 신호를 압축하기 위한 장치, 및 압축된 hoa 신호를 압축 해제하기 위한 장치
US9847087B2 (en) * 2014-05-16 2017-12-19 Qualcomm Incorporated Higher order ambisonics signal compression
US9984693B2 (en) * 2014-10-10 2018-05-29 Qualcomm Incorporated Signaling channels for scalable coding of higher order ambisonic audio data
EA035078B1 (ru) 2015-10-08 2020-04-24 Долби Интернэшнл Аб Многоуровневое кодирование сжатых представлений звука или звукового поля
CN108140392B (zh) 2015-10-08 2023-04-18 杜比国际公司 用于压缩声音或声场表示的分层编解码

Also Published As

Publication number Publication date
JP2023001241A (ja) 2023-01-04
KR101882654B1 (ko) 2018-07-26
EP2922057A1 (en) 2015-09-23
CN111179949B (zh) 2022-03-25
KR20210040193A (ko) 2021-04-12
CN111182442A (zh) 2020-05-19
TW201537562A (zh) 2015-10-01
TWI836503B (zh) 2024-03-21
KR20180026568A (ko) 2018-03-12
JP2017514160A (ja) 2017-06-01
JP2020160454A (ja) 2020-10-01
WO2015140291A1 (en) 2015-09-24
US12069465B2 (en) 2024-08-20
JP6707604B2 (ja) 2020-06-10
JP2024144543A (ja) 2024-10-11
KR102144389B1 (ko) 2020-08-13
CN111179948A (zh) 2020-05-19
TW201933333A (zh) 2019-08-16
EP3686887A1 (en) 2020-07-29
CN111145766A (zh) 2020-05-12
US20180234785A1 (en) 2018-08-16
CN111179948B (zh) 2024-09-27
US20210058729A1 (en) 2021-02-25
US20190342686A1 (en) 2019-11-07
US20220377481A1 (en) 2022-11-24
JP7174810B6 (ja) 2022-12-20
CN111179949A (zh) 2020-05-19
KR20220113838A (ko) 2022-08-16
CN111145766B (zh) 2022-06-24
US9930464B2 (en) 2018-03-27
JP6907383B2 (ja) 2021-07-21
KR20180086512A (ko) 2018-07-31
JP2017227930A (ja) 2017-12-28
JP2018205783A (ja) 2018-12-27
JP6220082B2 (ja) 2017-10-25
US11722830B2 (en) 2023-08-08
KR102600284B1 (ko) 2023-11-10
EP3686887B1 (en) 2024-02-28
EP4387276A2 (en) 2024-06-19
EP4387276A3 (en) 2024-09-11
KR102428815B1 (ko) 2022-08-04
US10334382B2 (en) 2019-06-25
TW202113805A (zh) 2021-04-01
US10779104B2 (en) 2020-09-15
KR20200097813A (ko) 2020-08-19
US20240007813A1 (en) 2024-01-04
KR20160124422A (ko) 2016-10-27
KR101838056B1 (ko) 2018-03-14
TWI648729B (zh) 2019-01-21
CN106463123B (zh) 2020-03-03
US10542364B2 (en) 2020-01-21
EP3120350A1 (en) 2017-01-25
TWI697893B (zh) 2020-07-01
JP6416352B2 (ja) 2018-10-31
US20170180902A1 (en) 2017-06-22
EP3120350B1 (en) 2020-02-19
CN118762700A (zh) 2024-10-11
KR102238609B1 (ko) 2021-04-09
TWI770522B (zh) 2022-07-11
JP2021152681A (ja) 2021-09-30
US20200120436A1 (en) 2020-04-16
KR20230156453A (ko) 2023-11-14
US11395084B2 (en) 2022-07-19
JP7174810B2 (ja) 2022-11-17
CN111182442B (zh) 2021-08-27
CN106463123A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
US11722830B2 (en) Methods, apparatus and systems for decompressing a Higher Order Ambisonics (HOA) signal
US11830504B2 (en) Methods and apparatus for decoding a compressed HOA signal
US10192559B2 (en) Methods and apparatus for decompressing a compressed HOA signal