TWI406510B - 在ｗｙｎｅｒ-ｚｉｖ視訊編碼中高效率編碼和解碼量化序列之方法 - Google Patents

Description

在WYNER－ZIV視訊編碼中高效率編碼和解碼量化序列之方法

本發明係關於視訊壓縮的方法及裝置，更特別的，本發明描述基於以只在解碼器可獲得的旁側資訊根據編碼原理所進行的高效率編碼及解碼視訊壓縮系統中量化序列的方法，這樣的系統又稱為Wyner－Ziv視訊編碼系統。

傳統的視訊壓縮系統，例如MPEG所標準化的，係仰賴於利用鄰近視訊框之間的統計關聯之複雜精密的編碼器以達到良好的壓縮性能。然而，在新興應用，如視訊監控、行動多媒體、視訊會議、視訊遊戲以及戰場視訊通訊，具有低計算複雜度的簡易低成本編碼器反而有需要。為了減少編碼計算複雜度，近來提出的方法是應用Wyner－Ziv編碼原理從編碼器移動計算負載到解碼器。

簡單來說，Wyner－Ziv編碼中，解碼器存取於編碼器無法獲得的旁側資訊；並且此旁側資訊仍可用於達到相較其他方法可能的較大壓縮。因此為達到非常低的編碼複雜度之目的，Wyner－Ziv編碼只有在解碼器使用鄰近視訊框之間的統計關聯，因此減緩重要計算負載的編碼器之負擔。

圖2顯示典型Wyner－Ziv視訊壓縮系統。一般而言，Wyner－Ziv視訊壓縮系統包含壓縮(或編碼)視訊信號205成為壓縮視訊框255的視訊編碼器235，以及解壓縮(或解碼)壓縮視訊框255以產生重建視訊框275的視訊解碼器245。在任何時間，編碼器235編碼視訊框v 205。因為解碼器245存取先前解碼框285，其可由先前解碼框285產生關於v 205的先前知識(prior knowledge)290，並且在解碼程序250中使用此知識。需暸解解碼器245中關於v 205先前知識290的存在，編碼器235可傳送較少位元，因此達到相較其他方法可能的較大壓縮。

典型編碼程序的簡略描述如下。編碼器首先藉由使用離散餘弦轉換210(DCT)以及量化220(等效於MPEG編碼中內部模式轉換以及量化)壓縮v 205。結果信號x 225稱為量化序列，並且在離散集內帶有數值。

編碼230量化序列x 225的先前方法已經揭露。Pradhan及Ramchandran，使用症狀之分配的來源編碼(Distrubuted source coding using syndromes(DISCUS))：2003年IEEE Transaction on Information Theroy，Aaron及Girod，低編碼器複雜度的Wyner－Ziv視訊編碼(Wyner－Ziv video coding with low－encoder)，Proc.Picture coding Symposium，PCS 2004，舊金山。CA，2004，Xu以及Xiong,鋪層的Wyner－Ziv視訊編碼(Layered Wyner－Ziv video coding),Proc.VCIP’04：special Sessio on Multimedia Technologies for Embedded Systems。San Jose,CA,2004,Sehgal,Jagmohan,以及Ahuja,無狀態視訊編碼範例(A state－free video encoding paradigm)，Proc.IEEE Int.Conf.Image Processing，2003，以及，Puri及ramchandran,PRISM：基於分配的壓縮原理的新強健視訊編碼結構(A new robust video coding arcbitecture base on distributed compression principles)，Proc.Of 40^th Allerton Conference on Communication,control,and computing,Allerton,IL,2002。

適用此方法之編碼230量化序列x 225的一般程序如圖3所示。更特別地，在此方法中，信號x 225首先二進化310為一組二進位資料流(binary stream)315。相對的，代表x 225(在編碼器235)及y 295(在解碼器245)之間統計關係的統計模型240分解350成一組二進位模型355，每一個對應由x 225獲得的一個二進位資料流315。從每一個二進位模型355，一個二進位碼(例如320、330…360)產生，並且用於編碼對應的二進位資料流315。

這種方法的主要缺點是x 225的二進位化310以及統計模型240的分解增加編碼計算複雜度，並且複雜化編碼產生過程。當Wyner－Ziv視訊壓縮系統的主要目的是減少編碼複雜度時，多餘的編碼計算複雜度是特別不理想的。

注意到雖然旁側資訊y 295不是假設地位於編碼器側，為了編碼x 225，，編碼器235需要知道反映在統計模型2405上之x 225以及y295之間的統計關係。為了減少編碼器複雜度的緣故，統計模型藉由使用Wyner－Ziv視訊編碼內高效率地計算的方法估計。然而此方法的描述不相關於本發明。因此，我們應僅僅假設在編碼器235與在解碼器245統計模型240是已知。

本發明屬於直接編碼量化序列x的方法。

本發明的另一目的是高效率地減少二進位化x以及解碼統計模型的需要。

本發明的更進一步目的是更加減少整體Wyner－Ziv視訊壓縮系統中編碼複雜度。

本發明關於一種在Wyner－Ziv編碼視訊中編碼及解碼量化序列之電腦實施方法。從一目前視訊框的一量化序列以及由先前編碼量化序列所解碼的先前視訊框所得的旁側資訊(side information)之間的一關係的一已知統計模型估計一最小欄位尺寸；利用該統計模型編碼一量化序列x至一症狀序列(syndrome sequence)z以及從該症狀序列z及該旁側資訊解碼該量化序列x，該編碼不存取該旁側資訊，並且每一該編碼及該解碼能分別建構相同於該已知統計模型的一統計模型。

在編碼側，當輸入至編碼器時，從一有限字母和一關於x的統計模型將量化資料序列x作為輸入至編碼器。由統計模型估計最小欄位尺寸M。根據統計模型，建構具有變數節點及檢查節點的二分圖，其中每一檢查節點的字母是尺寸M的有限欄位。對應傳送到G的變數節點的量化序列x，由在G的檢查節點的字母A產生序列z。序列z表示成G中x的症狀。此症狀序列z是要被傳送的編碼器輸出。因為z的長度常常小於x的，所以可達到壓縮。

在解碼側，以傳輸中所接收的症狀序列z，來自先前解碼視訊框的量化資料的序列y，以及表示要被解碼的y及序列x之間統計關係的統計模型作為輸入至編碼器。最小欄位尺寸M由統計模型估計。根據統計模型，建構具有變數節點及檢查節點的雙分圖，其中每一變數節點及每一檢查節點的字母A是尺寸M的有限欄位。將序列y作為到G中變數節點的初始輸入，當來自字母A的序列其在G中症狀序列是z時，此方法使用疊代程序解碼序列x。假如在預定起始值的疊代數目下沒有發現這樣的序列，此方法宣告解碼失敗。本發明的一個層面中，疊代程序使用統計模型連續變更輸入至G的變數節點，上升至疊代的預定起始值，直到在檢查節點的序列輸出等於症狀序列z。當在檢查節點的輸出是等於症狀序列z，則在變數節點的疊代輸入序列被帶往建構的量化序列。本發明的另一層面中，到輸出變數節點的連續疊代藉由概括成尺寸M的有限欄位的信任傳播方法決定。

如圖2所示上述序列x是Wyner－Ziv視訊編碼系統中量化輸出225。如圖2所示，上述序列y是重建在Wyner－Ziv視訊編碼系統中的解碼器上的旁側資訊序列295。

本發明方法的編碼側及解碼側分別如圖4及5所示。

對比圖3所說明的先前技術編碼，本發明的改良編碼如圖4所示，首先由統計模型240估計410欄位尺寸M，然後由同樣的統計模型產生M－ary碼420以直接編碼量化序列x至二進位序列z 425。

為說明編碼程序，參照圖1。圖1顯示在邊緣(例如項目131及132)左側上是變數節點(圓形狀)，並且在邊緣右側是檢查節點(方形狀)的二分圖的實例。每一變數節點帶有一數值，例如vi表示第i變數節點(由上計數至下，項目111至118)，其中i表示介於1及8之間的整數。同樣地，每一檢查節點帶有一數值，例如cj表示第j個檢查點(由上計數至下，項目121至124)，其中j表示介於1及4之間的整數。在二分圖邊緣也帶有一值，例如，aij代表連接第i變數節點及第j檢查點的邊緣。例如，邊緣a11 131表示關聯ci中v1的組件之數值，並且邊緣a84 132表示關聯c4中v8的組件之數值。

圖1所示的實例中，經由有限欄位A所定義的線性方程式(例如141到144)每一ci是相關於{v1,v2,…,v8}的子集合。例如圖1所示，c₁ ＝a₁₁ v₁ ＋a₂₁ v₂ ＋a₄₁ v₄ ＋a₅₁ v₅ ＋a₇₁ v₇ ＋a₈₁ v₈

欲了解c1如何計算，可假設v1＝6,v2＝3,v4＝5,v5＝10,v7＝1及v8＝0，以及在以上方程式所示所有(I,j)對之aij＝1。假設有限欄位A是包含4元素0,1,2及3的GF(4)。為執行GF(4)的算術，需要首先由推導至A(等效地,GF(4))的v1v2…v8映對至整數集合。共同的應對方法是使用模數的算術。因此，v1＝2(mod 4),v2＝3(mod 4)，v4＝1(mod 4),v5＝2(mod4),v7＝1(mod4),以及v8＝0(mod 4)。然後參照GF(4)所定義的有限欄位算術。C₁ ＝(2＋3)＋(1＋2)＋(1＋0)＝1＋2＋1＝3

注意到GF(4)算數欄位運算(加法’＋’以及乘法’*’)由以下兩表格定義。

假如A的欄位尺寸是M，可稱二分圖描述M－ary(線性)碼。對應輸入至變數節點的長度8序列v1v2…v8，圖1中二分圖給定的M－ary碼編碼序列成為在檢查節點輸出的長度4序列c1c2c3c4。序列c1c2c3c4描述為v1v2…v8的症狀序列。

假定欄位A中每一符號是以log(M)位元表示，其中log在本文表示基底2的對數函數。因為m一般遠小於n，所以壓縮可以達成。形成的位元/符號壓縮率是(mlog(M))/n。實際上，編碼器420根據輸入序列x長度以及統計模型240估計的期待壓縮率來選擇m及M。每一個框編碼時執行此估計。一旦M被選擇，編碼器240知道如何選擇m以達到想要的壓縮率。

視訊壓縮典型地包含整數(範圍從0到255)。在DCT轉換210以及量化220之後，量化序列x225是另一整數(典型具有較大範圍)序列。這個序列是藉由上述方法編碼。例如，編碼數字13並且欄位為4。可以使用模數4運算轉換13為1。M－ary編碼運算420然後在有限欄位GF(4)中以算數執行以產生症狀序列z 425。因為用於表示症狀序列z的位元數通常遠小於用於表示輸入量化序列的位元數，因此可達成壓縮。

於本發明，用於產生M－ary碼的欄位尺寸M由統計模型240估計。特別地，假設量化序列x的字母是整數集合。估計程序尋求M整數的子集合使得x包含尺寸M子集合外部的符號的可能性小於一預定起始值。為促進不同計算平台上的計算，可能會限制M的選擇以滿足某些特性，例如，二的整數次方。

在解碼器430側，圖5所示的改良方法產生由統計模型240的二分圖給定的M－ary碼，然後由序列z 425及y 295使用同樣M－ary碼去解碼430量化的序列x 435。所產生的序列y 295由先前解碼的框輸入至解碼器430。例如，圖2的同樣方法。

注意，原則上，編碼器420及解碼器430彼此有段距離。為吻合學習方法及用於學習模型的方法，可以確定編碼器420及解碼器430使用同樣的統計模型240，也因此產生同樣的二分圖。假設一已知的統計關係實際上有各種方式學習關係。其中一種方法是使用視訊框的部分作為學習。

通常，具有n變數節點及m檢查節點的二分圖所描述的M－ary碼可用於編碼任何長度n的序列為長度m的症狀序列。n的值由輸入序列x給定，並且m是由統計模型240所決定。對於任何對(n,m)，編碼器240以及解碼器430由統計模型產生同樣的二分圖(因此，同樣的碼)。

解碼法則可以是MAP(最大後驗)解碼法則，或是其近似。藉由使用MAP解碼法則，解碼器試著找出給定y的最有可能的序列(也就是說，統計模型240下最有可能)，其症狀序列等於所產生的二分圖中的z。

實行MAP編碼規則是昂貴的。另一方法是藉由使用疊代解碼程序以近似MAP解碼規則。程序如下所描述G表示由統計模型240所產生的M－ary碼420所描述的二分圖。

步驟1：初始化計數器k為1。使v(k)表示在第k個疊代中在G的變數節點中的序列。初始化v(1)為y。

步驟2：計算在G中的v(k)的症狀序列。假如症狀序列等於z，則程序中止；反之，根據統計模型及G編碼器尋得新序列v(k＋1)。決定新序列v(k＋1)的一個可能的方法是眾所皆知概括成尺寸M的有限欄位之信任傳輸(belief propagation)方法。

步驟3：計數器k增加1。假如k大於預定起始值，程序中止；否則，到步驟2。

上述疊代程序中止時，解碼器輸出x為v(k)。注意到假如上述疊代程序以在G中症狀序列不是z的序列v(k)中止，則編碼器偵測一編碼失敗。

須注意到雙分圖的使用提供疊代解碼一個高效率的計算方法，並且是執行本發明的最好模組。然而原則上，對於任何M－ary線性碼H，本發明也是可運算的，其中H是來自有限欄位具有M元素的m乘n矩陣，並且其中編碼器計算z＝Hx。

雖然本發明以單一較佳實施例描述，熟此技藝者將應該了解，在所揭示之申請專利範圍的精神下本發明可依任何變更完成。

111、112、113、114、115、116、117、118．．．項目

131、132．．．邊緣

141、142、143、144．．．線性方程式

參考圖示經由本發明的較佳實施例的詳細說明，可更加了解上文以及其他目的、層面及優點：圖1說明使用於本發明中的二分圖；圖2說明典型Wyner－Ziv編碼系統的圖式；圖3說明編碼量化序列x，包含二進位化、統計模型以及一連串二進位碼分解的傳統方法的圖式；圖4說明Wyner－Ziv編碼化系統中編碼量化序列x的改良方法；圖5說明Wyner－Ziv編碼化系統中解碼量化序列x的改良方法。

111、112、113、114、115、116、117、118．．．項目

131、132．．．邊緣

141、142、143、144．．．線性方程式

Claims (20)

1. 一種在Wyner-Ziv編碼視訊傳輸中編碼與解碼量化序列的方法，包含：從一目前視訊框的一量化序列以及由先前編碼量化序列所解碼的先前視訊框所得的旁側資訊(side information)之間的一關係的一已知統計模型估計一最小欄位尺寸；以及利用該統計模型編碼一量化序列x至一症狀序列(syndrome sequence)z以及從該症狀序列z及該旁側資訊解碼該量化序列x，該編碼不存取該旁側資訊，並且每一該編碼及該解碼能分別建構相同於該已知統計模型的一統計模型。
2. 如請求項1所述之方法，其中編碼一量化序列x更包含：從該統計模型建構變數節點及檢查節點的一雙分(bi-partite)圖G，每一檢查節點的一字母A是該最小欄位尺寸的一欄位；以及藉由傳送該量化序列至該變數節點，利用該雙分圖編碼該量化序列為一症狀序列z，以及將來自該檢查節點的該症狀序列z做為輸出。
3. 如請求項1所述之方法，其中解碼症狀序列z更包含：從該統計模型建構具有變數節點及檢查節點的一雙 分圖G，每一檢查節點的一字母A是該最小欄位尺寸的一欄位；以及利用該雙分圖及先前解碼視訊框所得的該旁側資訊解碼該症狀序列z。
4. 如請求項3所述之方法，其中解碼該症狀序列z以重建該量化序列更包含：傳送該旁側資訊至該變數節點；以及使用一疊代(iterative)程序由該旁側資訊取得在該變數節點的一疊代序列，其在檢查檢點之輸出等於該症狀序列，該疊代序列係該重建的量化序列。
5. 如請求項4所述之方法，其中該疊代程序是最大後驗(maximum a posteriori,MAP)法則或其簡化的近似。
6. 如請求項4所述之方法，其中該疊代程序包含以下步驟：初始化k=1之v^(k) 為先前解碼量化序列y；計算G中v^(k) 的一症狀序列z’；假如該症狀序列z’等於該症狀序列z，則設定v^(k) 作為該解碼量化序列x以及終止該疊代程序；假如該症狀序列z’不等於該症狀序列z，且k小於一預定起始值，則產生k=k+1的一新v^(k) 且返回該計算步驟；假如k大於或等於預定疊代起始值，則視為失敗而 中止該疊代程序。
7. 如請求項6所述之方法，其中根據該統計模型以及G決定k=k+1的一新v^(k) 。
8. 如請求項6所述之方法，其中藉由概括成尺寸M的一有限欄位的信任傳播(belief propagation)方法，決定k=k+1的一新v^(k) 。
9. 如請求項1所述之方法，其中藉由決定該量化序列的一字母的一子集，估計欄位尺寸M，使得根據該統計模型，該量化序列包含該子集外部一符號之一可能性係小於一預定起始值。
10. 如請求項9所述之方法，其中無論欄位尺寸M的估計為編碼器或解碼器完成，該預定可能性起始值不變。
11. 一種在Wyner-Ziv編碼視訊傳輸中編碼與解碼量化序列的系統，包含：從一目前視訊框的一量化序列以及由先前編碼量化序列所解碼的先前視訊框所得的旁側資訊(side information)之間的一關係的一已知統計模型估計一最小欄位尺寸之一手段；以及利用該統計模型編碼一量化序列x至一症狀序列 (syndrome sequence)z以及從該症狀序列z及該旁側資訊解碼該量化序列x，該編碼不存取該旁側資訊，並且每一該編碼及該解碼能分別建構相同於該已知統計模型的一統計模型之一手段。
12. 如請求項11所述之系統，其中編碼一量化序列x更包含：從該統計模型建構變數節點及檢查節點的一雙分圖G，每一檢查節點的一字母A是該最小欄位尺寸的一欄位之一手段；以及藉由傳送該量化序列至該變數節點，利用該雙分圖編碼該量化序列為一症狀序列z，以及將來自該檢查節點的該症狀序列z做為輸出之一手段。
13. 如請求項11所述之系統，其中解碼症狀序列z更包含：從該統計模型建構變數節點及檢查節點的一雙分圖G，每一檢查節點的一字母A是該最小欄位尺寸的一欄位之一手段；以及利用該雙分圖及先前解碼視訊框所得的該旁側資訊解碼該症狀序列z之一手段。
14. 如請求項13所述之系統，其中解碼該症狀序列z以重建該量化序列更包含：傳送該旁側資訊至該變數節點之一手段；以及 使用一疊代程序由該旁側資訊取得在該變數節點的一疊代序列，其在檢查檢點之輸出輸出等於該症狀序列，該疊代序列係該重建的量化序列之一手段。
15. 如請求項14所述之系統，其中使用該疊代程序的該手段使用最大後驗法則或其簡化的近似。
16. 如請求項14所述之系統’其中使用該疊代程序的該手段更包含：初始化k=1之v^(k) 為先前解碼量化序列y之一手段；計算G中v^(k) 的一症狀序列z’之一手段，；假如該症狀序列z’等於該症狀序列z，則設定v^(k) 作為該解碼量化序列x以及終止該疊代程序；假如該症狀序列z’不等於該症狀序列z，且k小於一預定起始值，則產生k=k+1的一新v^(k) 且返回該計算步驟；假如k大於或等於預定疊代起始值，則視為失敗而中止該疊代程序。
17. 如請求項16所述之系統，其中根據該統計模型以及G決定k=k+1的一新v^(k) 。
18. 如請求項16所述之系統，其中藉由概括成尺寸M的一有限欄位的確認傳播(belief propagation)方法，決定k=k+1 的一新v^(k) 。
19. 如請求項11所述之系統，其中藉由決定該量化序列的一字母的一子集，估計欄位尺寸M，使得根據該統計模型，該量化序列包含該子集外部一符號之一可能性係小於一預定起始值。
20. 如請求項19所述之系統，其中無論欄位尺寸M的估計為編碼器或解碼器完成，該預定可能性起始值不變。