TWI412281B - A Method of Calculating Reverse Conversion of Low Complexity - Google Patents

Description

低複雜度之反轉換計算方法

本發明係有關一種針對頻率域及空間域間係數反轉換之方法，特別是指一種可降低二維反轉換中龐大計算量與運算時間，並可應用於一般視訊解碼器之低複雜度之反轉換計算方法。

隨著數位時代的來臨，許多類比訊號都已轉換為數位訊號，但其資料量龐大，因此許多先前研究著墨於資料壓縮。舉例來說，經過多媒體器材擷取的多媒體原始資料，其資料量非常龐大，受限於記憶體容量或傳輸通道頻寬，無法有效地處理多媒體原始資料，因此許多研究單位制定出多媒體資料的壓縮格式，經過壓縮後的資料可有效地經過傳輸通道傳送或降低記憶體容量需求。

經過壓縮後的資料雖有利於資料傳輸或儲存，但使用這些壓縮資料時，必須將其解壓縮回到原始的資料，然而解壓縮需要龐大的計算量，舉例來說，視訊壓縮串流在解壓縮時，需進行可變長度解碼、反量化、反轉換與移動補償等解碼動作，其中反轉換的計算複雜度相當大，需要一定的運算時間，然而視訊解壓縮流程需要快速正確地解碼，因此有許多先前研究著重於快速反轉換，使得視訊解碼器可支援即時解碼播放。

在視訊或靜態影像資料進行壓縮時，常採用空間域與頻率域之間的資料轉換方式，例如離散餘弦轉換或整數轉換等，將畫面資料從原始空間域轉換成頻率域的畫面資料，而轉換後的頻率域係數會集中於低頻部份，利於後續的量化處理與可變長度編碼。至於解壓縮則是將畫面資料從原始頻率域轉換成空間域的畫面資料，例如反離散餘弦轉換或反整數轉換等，在這些空間域與頻率域之間的係數轉換中，無論在編碼端與解碼端都需要龐大的計算量，若在講求快速的解碼流程中，係數的反轉換過程將造成解碼器的負擔，因此有許多研究著重於係數反轉換的快速計算架構，來降低運算複雜度與運算時間。一般二維反轉換之運算可以下式(1)表示：

其中Y_N×N 與X_N×N 分別為頻率域與空間域係數，而與D_N×N 則為轉換矩陣。在MPEG-2標準中，N=8。其轉換矩陣之係數如下式(2)所示：

而在H.264/AVC標準中，N=4或8。其轉換矩陣之係數分別如下式(3)、(4)所示：

第1a圖顯示由Loeffler et al.提出之一維反離散餘弦轉換的快速運算架構，其中C _i =cos(i π/16),S _i =sin(i π/16)且α=。Loeffler et al.所提之一維反離散餘弦轉換架構需要11個乘法運算與29個加法運算，此架構為目前使用最少乘法運算之快速演算法。第1b圖及第1c圖分別為4點與8點之一維反整數轉換架構。傳統的二維反轉換須運算N² 個係數，可分為N個N點之一維反轉換的列運算與N個N點之一維反轉換的行運算，如第2a圖及第2b圖所示，其為傳統4×4-點反轉換做法，當N=4時，二維反轉換可分成4個列運算與4個行運算，每個運算為4點之一維反轉換，在係數結束點較小的方塊中將會付出較多不必要的零值運算，需要減少這些不必要之運算複雜度。

因此，本發明即提出一種低複雜度之反轉換計算方法，以克服上述該等問題，具體架構及其實施方式將詳述於下。

本發明之主要目的在提供一種低複雜度之反轉換計算方法，其係利用方塊中之係數結束點(即頻率域係數內最後一個非零係數所在位置)資訊判斷方塊內部係數分佈情形，並透過邊角係數為零發生機率高之現象，縮小矩陣以減少運算複雜度。

本發明之另一目的在提供一種低複雜度之反轉換計算方法，其透過係數結束點選取適當之運算模式與順序，藉由經過簡化之一維反轉換來實現二維反轉換，降低計算複雜度。

本發明之再一目的在提供一種低複雜度之反轉換計算方法，其可用於反離散餘弦轉換、反整數轉換、反離散傅立葉轉換、反離散正弦轉換或反離散小波轉換。

為達上述之目的，本發明提供一種低複雜度之反轉換計算方法，包括下列步驟：分析一方塊，該方塊包含複數個係數所形成的矩陣，並求得該矩陣之係數中至少一係數結束點；確認係數結束點之前的邊角係數是否為零，若為零則將矩陣縮小；依據係數結束點及邊角係數決定一運算模式與一運算順序；以及將矩陣之一維反轉換簡化並實現二維反轉換。

底下藉由具體實施例詳加說明，當更容易瞭解本發明之目的、技術內容、特點及其所達成之功效。

本發明提供一種低複雜度之反轉換計算方法，其針對繁複的頻率域與空間域間係數反轉換的處理流程，提出一種低複雜度的計算流程，降低二維反轉換中龐大的計算量與運算時間，可應用於一般視訊解碼器。

第3圖為本發明之流程圖，在步驟S10中需決定一方塊中之係數結束點，該方塊包含複數個係數所形成的矩陣，該矩陣之係數結束點代表頻率域係數以Zig Zag排列之最後一個非零係數所在位置，若能將此點後面的係數運算排除將可大幅節省運算複雜度與時間。在視訊影像壓縮裡，方塊編碼之係數結束點資訊有時會包含在位元串中，例如MPEG-2。然而有些視訊標準內並沒有此係數結束點之資訊，例如H.264/AVC，在這種情形下，利用本發明之方法就需要透過其他參數計算來推導出係數結束點的資訊，此計算過程會付出額外的運算成本。在各種不同的視訊標準中，所需之運算成本不盡相同。

接著在步驟S12中確認係數結束點之前的邊角係數是否為零，若為零則將矩陣縮小。在Zig Zag掃描當中，除了係數結束點後的係數會為零之外，在係數結束點前之左下與右上邊角也會有零值的現象發生。以左下邊角來說，其係數會影響運算範圍之行方向(水平方向)，而以右上邊角來說，其係數會影響運算範圍之列方向(垂直方向)。當邊角係數為零值時，運算範圍之行或列的個數可以縮小以減少運算複雜度，而所付出的運算成本最多只需兩個比較運算。請同時參考第4圖之實施例示意圖，圖中數字代表係數結束點在Zig Zag字形掃描順序下的數值，其中確認機制可分為四種，分別為：(1)無須確認邊角係數、(2)只須確認左下邊角的係數、(3)只須確認右上邊角的係數、及(4)左下與右上邊角係數同時確認。

在Y_N×N 的方塊中，當係數結束點小於3或大於N² /2+3N/2-2時無須確認邊角係數，小於3者係因沒有邊角係數，而大於N² /2+3N/2-2者則是因欲確認之邊角係數個數過多，在確認過程須付出過多的運算複雜度。相反地，若係數結束點介於3到N² /2+3N/2-2間者則確認邊角的係數，若邊角係數為零值則可降低二維反轉換之運算複雜度。

接著，於步驟S14中決定運算模式及順序，其係基於 係數結束點與邊角的係數，可決定出適當的運算模式，此運算模式包含了矩陣維度[a,b]與運算順序，其中矩陣維度[a,b]最小為[1,1]，最大為[N,N]，而運算順序可分為先行運算後列運算、先列運算後行運算或兩者均可。將其套用在二維反轉換上可以產生最小的運算複雜度，可將公式(1)重新描述如下式(5)：

其中代表考慮係數結束點後所得到之簡化矩陣，而Y_a×b 則代表考慮係數結束點與邊角係數後所得到之簡化矩陣。a'、b'、a與b的範圍介於1到N之間。透過公式(5)可知係數落於[a,b]範圍之外的數值為零且不運算，此情形可減少二維反轉換之運算複雜度。

當係數結束點介於3到N² /2+3N/2-2之間時，本發明會確認邊角的係數是否為零，且二維反轉換之運算順序可經由a'、b'、a與b的數值來決定。當a小於b時，先執行Y_a×b ×D_b×N ，若a大於b則先執行×Y _{a × b} 。當a等於b時，則判斷a'與b'之大小，若a'小於b'時，先執行Y_a×b ×D_b×N ，若a'大於b'則先執行×Y _{a × b} 。而在a'等於b'的條件下，Y_a×b ×D_b×N 或×Y _{a × b} 的運算順序不會影響二維反轉換之運算複雜度。上述情形可整理如下式(6)所示：

利用上述方式可得到最小的運算維度[a,b]與適當的運算順序以求得最低之運算複雜度。當係數結束點超過N² /2+3N/2-2時，a'、b'、a與b的數值均為N，二維反轉換之運算順序無法透過上式(6)求得，必須利用一維反轉換之運算複雜度配合所需矩陣運算來決定。

最後在步驟S16中進行一維與二維之反轉換運算，為了減少運算複雜度，本發明將N點(N-point)之一維反轉換適當地簡化成i個輸入與N個輸出，其中i的數值範圍為1到N。此簡化的一維反轉換配合前述之係數結束點、邊角係數確認與最佳運算模式，能得到最低運算複雜度之二維反轉換。舉例而言，請參考第5a圖及第5b圖，其分別為本發明中4×4-點以行運算與列運算進行反轉換之方法，當係數結束點為5時，矩陣維度只需考慮Y_3×2 中的灰色區域；若邊角係數Y(3,1)不為零，則Y_3×2 之第一行與第二行將分別和與相乘；若邊角係數Y(3,1)為零，則Y_3×2 之第一行與第二行均與相乘。此方法能有效地阻止邊角零值係數的運算以減少運算複雜度，並可應用於N=8之二維反轉換運算。

下面將針對本發明之四個步驟應用在MPEG-2與H.264標準視訊處理中以實施例進行說明。在MPEG-2標準中，方塊編碼之係數結束點資訊係包含在位元串中，因此得到係數結束點無須付出額外的運算成本，然而，在H.264/AVC標準中並沒有直接能代表係數結束點的參數。H.264/AVC包含兩種熵編碼機制，分別為適應性二進位算術編碼(Context-based Adaptive Binary Arithmetic Coding,CABAC)與適應性可變長度編碼(Context-Adaptive Variable Length Coding,CAVLC)，在適應性二進位算術編碼裡，沒有相關參數能簡單地推導出係數結束點，而在適應性可變長度編碼中則有兩個相關參數(TotalCoeff與total_zeros)可以推導出係數結束點，其中TotalCoeff代表Y_4×4 方塊中非零係數的總個數，total_zeros則代表最後一個非零係數之前數值為零的個數，兩者相加即為Y_4×4 方塊之係數結束點，如下式(7)所示：

EOB _4×4 =TotalCoeff +total _zeros 　(7)

此運算所付出的額外運算成本為一個加法運算。

在H.264/AVC標準裡，適應性可變長度編碼只適用於4×4方塊中。因此，若要得到Y_8×8 方塊之係數結束點，則需透過Y_8×8 方塊中4個4×4方塊之係數結束點推導求得，其過程需使用一個查表機制與比較動作。此查表機制係將4個4×4方塊之係數結束點與其對應於Y_8×8 方塊之係數結束點作一連結，如第6圖所示，圖中可看出EOB_{4×4_LL} 、EOB_{4×4_LH} 、EOB_{4×4_HL} 與EOB_{4×4_HH} 代表4個4×4方塊之係數結束點，而、、與則為其對應之Y_8×8 方塊的係數結束點，其中數字即表示在Zig Zag掃描下的順序，若EOB_{4×4_LL} 為零，則亦為零，其餘依此類推。

比較動作則是將非零之、、與做比較，選擇最大值為EOB_8×8 。由8×8方塊之ZigZag掃描順序可知若不為零，則無須考慮，EOB_8×8 為、與三者之最大值，因為必大於。相反地，若為零，則EOB_8×8 為、與三者之最大值。換句話說，只要比較前三者(、與)或後三者(、與)就能得到EOB_8×8 。上述法則可由下式(8)表示：

其所需付出的額外運算成本為四個加法運算、三個比較運算與三個查表動作。而第7a圖及第7b圖分別為N=4與N=8之確認邊角係數之示意圖，圖中數字代表係數結束點在ZigZag掃描順序下的數值，其中確認機制有四種：(1)無須確認邊角係數、(2)只須確認左下邊角的係數、(3)只須確認右上邊角的係數、及(4)左下與右上邊角係數同時確認。前文提到，在N×N的方塊中，當係數結束點小於3或大於N² /2+3N/2-2時無須確認邊角係數。相反地，若係數結束點介於3到N² /2+3N/2-2間者則確認邊角的係數。舉例而言，當N等於4時，無須確認邊角係數之係數結束點為1、2與13~16，只須確認左下邊角係數之係數結束點為5~7，而只須確認右上邊角係數之係結束點為3、4與9~12，最後剩下之係數結束點8則是須同時確認左下與右上邊角係數，如第7a圖所示。

接著決定運算模式與順序，當N=4且係數結束點為5時，若先執行Y _{a × b} ×D _{b × N} ，則需要兩個2個輸入及4個輸出之一維反轉換與一個1個輸入及4個輸出之一維反轉換；若先執行×Y _{a × b} ，則需要一個3個輸入及4個輸出之一維反轉換與一個2個輸入及4個輸出之一維反轉換。此兩種運算順序會造成不同的運算複雜度，因此選擇適當的運算模式與順序對於運算複雜度的影響非常重要。下表一顯示了N=4之邊角係數位置以及適當的運算模式與順序，RAC代表先列運算後行運算，CAR則代表先行運算後列運算，其適用於H.264/AVC標準中的4×4-點反整數轉換。

最後，進行一維與二維之反轉換，為了減少運算復雜度，第1圖之一維反轉換可進一步簡化成i個輸入與N個輸出之一維反轉換，i的範圍為1到N，其中第8a圖為5個輸入及8個輸出之一維反離散餘弦轉換架構，其只須9個乘法運算與22個加法運算，比原先第1a圖8個輸入及8個輸出之一維反離散餘弦轉換所需之11個乘法運算與29個加法運算節省許多運算複雜度。下表二列出i從1到8之簡化一維反離散餘弦轉換所需之運算複雜度，其中M與A分別代表乘法運算與加法運算。

第8b圖為2個輸入與4個輸出之一維反整數轉換架構，其只須1個位移運算與4個加法運算，比原本第1b圖4個輸入與4個輸出之一維反整數轉換所需之2個位移運算與8個加法運算節省許多運算複雜度。同理，第8c圖為3個輸入與8個輸出之一維反整數轉換架構，其只須5個位移運算與15個加法運算，較原先第1c圖8個輸入與8個輸出之一維反整數轉換所需之10個位移運算與32個加法運算節省許多運算複雜度。下表三與下表四分別為N等於4與8的一維反整數轉換依據不同輸入所需之運算複雜度，其中S代表位移運算，由表中數據可知，i值越大則運算複雜度越高。本發明利用簡化的一維反轉換配合係數結束點、邊角係數確認與最佳運算模式，可得到最低運算複雜度之二維反轉換，表一有列出N=4之二維反整數轉換的運算複雜度。

以係數結束點等於8為例，此時a、b分別為3、4，假設左下與右上邊角係數均非零，根據本發明之方法須先執行=Y _3×4 ×D _4×4 ，再執行。依據表五，=Y _3×4 ×D _4×4 需要4個輸入及4個輸出、3個輸入及4個輸出與1個輸入及4個輸出之一維反整數轉換各一個，運算複雜度為3S+14A。再者，運算X _4×4 =需要3個輸入及4個輸出之一維反整數轉換四個，運算複雜度為4S+24A，而二維反整數轉換之總運算複雜度為7S+38A。相反地，若先執行=×Y _3×4 ，再執行X _4×4 =×D _4×4 ，則二維反整數轉換之總運算複雜度為11S+46A，比先執行=Y _3×4 ×D _4×4 之總運算複雜度多出57.1%之位移運算與21.1%加法運算。

另一方面，若邊角係數為零，會有三種現象發生：(a)只有左下邊角係數Y(3,1)為零，總運算複雜度為7S+30A；(b)只有右上邊角係數Y(1,4)為零，總運算複雜度為6S+36A；(c)左下與右下邊角係數同時為零，總運算複雜度為6S+28A。由此可知，零值邊角係數運算的省略對於總運算複雜度之減小有一定的影響。

綜上所述，本發明提供之低複雜度之反轉換計算方法係針對解壓縮流程中的頻率域與空間域係數之反轉換，降低其計算複雜度，使解碼系統能更有效率地執行解壓縮轉換。本發明可應用於視訊或靜態影像的解壓縮流程中，並保持其畫面品質。再者，利用方塊中之係數結束點(頻率域係數內最後一個非零係數所在位置)資訊判斷方塊內部係數分佈情形，並透過邊角係數為零發生機率高之現象，進一步縮小運算矩陣以減少運算複雜度。另外，透過係數結束點選取適當之運算模式與順序，最後經由簡化之一維反轉換實現二維反轉換流程，計算複雜度遠低於傳統反轉換之計算複雜度。

唯以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍。故即凡依本發明申請範圍所述之特徵及精神所為之均等變化或修飾，均應包括於本發明之申請專利範圍內。

第1a圖至第1c圖分別為先前技術中一維反轉換架構之示意圖，其中第1a圖為8點之反離散餘弦轉換架構，第1b圖為4點之反整數轉換架構，第1c圖為8點之反整數轉換架構。

第2a圖為先前技術中4×4點之列運算反轉換之示意圖。

第2b圖為先前技術中4×4點之行運算反轉換之示意圖。

第3圖為本發明低複雜度之反轉換計算方法之流程圖。

第4圖為本發明中確認邊角係數之一實施例示意圖。

第5a圖為本發明中係數結束點為5之4×4點之列運算反轉換之示意圖。

第5b圖為本發明中係數結束點為5之4×4點之行運算反轉換之示意圖。

第6圖為本發明實施例中四個4×4方塊與一個8×8方塊之係數結束點對應關係之示意圖。

第7a圖及第7b圖分別為本發明中確認4×4方塊與8×8方塊邊角係數之實施例示意圖。

第8a圖至第8c圖為本發明中簡化之一維反轉換架構示意圖，其中第8a圖為5個輸入及8個輸出之一維反離散餘弦轉換架構，第8b圖為2個輸入及4個輸出之一維反整數轉換架構，第8c圖為3個輸入及8個輸出之一維反整數轉換架構。

Claims (10)

1. 一種低複雜度之反轉換計算方法，包括下列步驟：分析一方塊，該方塊包含複數係數所形成的矩陣，並求得該矩陣之該係數中至少一係數結束點；確認該係數結束點之前的至少一邊角係數是否為零，若為零則將該矩陣縮小；依據該係數結束點及該邊角係數決定一運算模式與一運算順序；以及將該矩陣之一維反轉換簡化並實現二維反轉換。
2. 如申請專利範圍第1項所述之低複雜度之反轉換計算方法，其中該一維反轉換及該二維反轉換為反離散餘弦轉換、反整數轉換、反離散傅立葉轉換、反離散正弦轉換或反離散小波轉換。
3. 如申請專利範圍第1項所述之低複雜度之反轉換計算方法，其中確認該邊角係數的方向係分為該矩陣之左下角與右上角，且依據該係數結束點分為無須確認該邊角係數、只須確認左下角之係數、只須確認右上角之係數及左下與右上角之係數同時確認。
4. 如申請專利範圍第1項所述之低複雜度之反轉換計算方法，其中該運算模式為該矩陣之維度。
5. 如申請專利範圍第1項所述之低複雜度之反轉換計算方法，其中該運算順序分為先行運算後列運算、先列運算後行運算或兩者皆可。
6. 如申請專利範圍第1項所述之低複雜度之反轉換計算方法，其中該係數落於該矩陣之維度範圍外時，該係數之值為零且不運算。
7. 如申請專利範圍第1項所述之低複雜度之反轉換計算方法，其中該運算模式之決定分為確認該邊角係數前及確認該邊角係數後，確認該邊角係數前係使用考慮該係數結束點後所得到之一簡化矩陣，而確認該邊角係數後則使用考慮該係數結束點及該邊角係數後所得到之一簡化矩陣。
8. 如申請專利範圍第1項所述之低複雜度之反轉換計算方法，其中該一維反轉換係簡化為輸入數目小於等於輸出數目之矩陣。
9. 如申請專利範圍第1項所述之低複雜度之反轉換計算方法，其中該二維反轉換係藉由簡化後之一維反轉換配合該係數結束點、該邊角係數及該運算模式所得到。
10. 如申請專利範圍第1項所述之低複雜度之反轉換計算方法，其中係數結束點可從位元串中之參數直接得知或利用一處理器對參數計算來求得。