TWI422229B - A Dynamic Compensation Time Filter for Distortion - free Video Compression System and Its - Google Patents

Description

無失真視訊壓縮系統之動態補償時間濾波器及其方法

本發明係關於一種適用於小波視訊編碼之動態補償時間濾波器方法，尤指一種藉由找出畫面和畫面之間的冗餘值(redundancy)技術來達到壓縮效果之影像處理系統。

有別於閉迴路式(close－loop)動態補償預側(MCP)混合式編碼方式，如目前可知的視訊標準H.261、MPEG、grand－alliance HDTV，MCTF架構是開迴路式(open－loop)預測方式，少了DPCM迴路。由於本身高壓縮性及可支援時間域上的多重解析度之可調性，而未來走向將以支援可調性視訊壓縮為主，也將此核心技術納入MPEG21 part.13 SVC標準中。透過這種壓縮方式可以使得有限通道頻寬的利用有著更高的彈性及效率，很適合無線通訊與網路傳輸這種變動頻寬的應用。

如第一圖所示，時間域的分解是沿著動態軌跡(motion trajectories)，取代了原先沿著視訊信號時間軸徑直的方向。

接著將針對內部詳細的演算法加以作介紹以及探討，即當時間域(temp oral domain)的分解加入動態估測(motion estimation)後，要如何做轉換以及會衍生的問題。

發明之目的在於提出一種適用於無失真視訊壓縮系統之動態補償時間濾波器方法，其所需傳送的資料流較小為優點。

本發明之方法由1/3形式動態補償時間濾波器方法和框內預測方法組成。

其中，利用前、後與目前畫面之間以區塊為基準來進行雙向動態估測以及針對目前畫面進行框內估測，定義為順向、反向、雙向預測以及框內模式之冗餘值，並且進行上述四種冗餘值比較，找出最小冗餘值來定義出此區塊的類別，如此作法能夠確保高頻畫面的最小冗餘值，藉此降低高頻畫面整體的編碼量。

本發明使用了四種類別來界定出高頻畫面各個區塊的模式之後，也可以依據各種模式進行動態向量的傳送量刪減，此與傳統1/3動態補償時間濾波器的差異為順向、反向預測以及框內模式，這三種模式就動態估測的角度上來看，其實為順向預測：單向動態估測；反向預測：單向動態估測；框內模式：未做動態估測，因此我們將原先作的雙向估測在依據上段定義出的區塊模式之後，所需要傳送的動態向量有單向動態向量、雙向動態向量以及沒有動態向量，因此能夠省去動態向量部分的編碼量。

達成上述目的及功效，本發明所採用之技術手段及構造，茲繪圖就本發明較佳實施例詳加說明其特徵與功能如下，俾利完全了解。

以下將詳細說明本發明如何藉由1/3型式動態補償時間濾波器技術，來實現適用於無失真視訊編碼系統。

如第二圖所示，係為本發明之方塊圖，由圖中可清楚看出，本發明包括有：一影像序列輸入A，用以輸入一影像訊號；一動態補償暫態濾波模組B，為接收該影像訊號，並進行動態補償暫態濾波分析；一動態估測模組C，為接收該影像訊號進行動態估測，且可產生一動態函數；一離散空間小波轉換模組D，為接收該動態補償暫態濾波模組所傳輸之訊號，並進行離散空間小波轉換；一熵解碼模組E，為接收該離散空間小波轉換模組傳輸之訊號，以及該動態函數，並產生一對外輸出之位元流。

並依照下列步驟進行：(一)、輸入影像訊號；(二)、對該影像訊號進行動態補償暫態濾波分析與離散空間小波轉換；(三)、對該影像訊號進行動態估測產生動態函數；(四)、將該動態函數與步驟(二)之訊號解碼為位元流輸出。

以下針對適用於小波視訊編碼之低複雜度移動估測方法，進一步說明如下：

1.畫面間預測方法

如第三圖所示，係為本發明使用的畫面序列分解過程，由圖中可清楚看出，一個GOP等於八張的群組畫面，所採用的分解階數為三階，每一階都會分解出高頻H畫面，因為採用1/3架構的MCTF，所以在第三圖的低頻L畫面即為原始畫面。在上一段曾提及IBBBBBBBI…的方式，在此我們映對到第四圖做說明。

I為第三圖中的IDR(instantaneous decoding refresh)，這張畫面是前一個GOP的最後一張畫面，即第三圖裡標號第8的畫面各階的集合，但此處各階的集合畫面恰為相同的原始畫面，I的方式有個好處，就是能保持每個GOP之間畫面的連續性，有了接軌，就可以讓運動軌跡預測持續下去，並不會因GOP的切割而有所中斷。B為第三圖中標號第1，2，3，4，5，6，7，這些畫面如箭頭方向做雙向預測的動作，如此一來，一個GOP等於八張所需要傳送的畫面有HHHHHHHL，七張高頻H畫面以及一張低頻L畫面。

在第四圖中，本發明裡forward/backward的預測方式歸類為單向預測。我們多使用了一種濾波器，這樣處理與Haar高頻演算法的方式相同，只是多了方向性的考量，直接將預測出來參考畫面上的畫素與目前畫面畫素進行處理，這樣的用意是為了多提供目前畫面上的畫素有更多預測點的選擇，能夠找到更接近目前畫面畫素的點，如此能大大的提升編碼效益。

這邊必須說明的是，我們在此處理的方法皆以區塊處理方式(block-based)，以forward單向預測為例，即以一個區塊當作單位將此一區塊上面的所有像素，藉由動態向量去參考畫面上找到相對應的區塊進行處理，將這兩個相互對應的區塊進行差值加總，最後算出來的值其實就是在動態估測時所使用的冗餘值(SAD(sum of absolute differences)值)，接著在與backward及bi-direction進行比較，找尋最小值後即可判定目前畫面上的區塊為何種型式的處理方式為最佳。這樣的作法還有個額外的好處，就是在SAD的加總其實並不需要付出額外的運算，因為這些運算早在動態估測就已經處理過了，我們僅需要將SAD值從動態估測模組中存取出來即可，以下為我們採用的兩種濾波器：Forward ：H =F _2t (m ,n )-F _{2t -1} (m -d _{m (f )} ,n -d _{n (f )} ) (1)

Backward ：H =F _2t (m ,n )-F _{2t +1} (m -d _{m (b )} ,n -d _{n (b )} ) (2)

Bi-direction ：

(d _{m (f )} ,d _{n (f )} )為前一張畫面估測目前畫面的動態向量，(d _{m (b )} ,d _{n (b )} )則為後一張畫面估測目前畫面的動態向量，(1)，(2)式恰為Haar型式的高頻演算法，且能看成相對應兩點的差值，(3)為傳統1/3型式的高頻演算法，亦可視為相對應前後畫面兩點的中間值。

另外，在(3)看到的fix 運算子，在此我們的作法為捨去掉小數點以後的部分，原因是我們為了應用到無失真系統，資料為小數將會影響失真與否，此外，高頻畫面的資料其實就是目前畫面與預測畫面的殘存值(residual)所構成，因此就編碼的考量，殘存值當然越小越好，而且趨近於0的數字更是使編碼效益提升的關鍵，所以我們在這使用了fix 的運算，如第五圖(a)所示，而非第五圖(b)下界(floor)或第五圖(c)上界(ceiling)運算。

2.框內模式(Intra mode)的引入

若是在畫面上僅使用forward、backward以及bi－direction這三種inter mode是不夠的，因為在物體快速移動所造成動態估測的搜尋範圍不夠而無法正確預測，以及在之前畫面而在目前畫面出現的物體，這兩種是無法正確的預測出好的高頻結果，雖然前者可以藉由擴大動態估測的搜尋範圍而預測出來，但是這將伴隨著非常可觀的運算複雜度，在整體效益來說不增反降，因此我們必須藉由intra mode的方式來增加些編碼效益，當然，intra mode的使用將限制在前述兩種情況，但是評估標準為何呢？

這裡我們一樣使用SAD的比較，原因是因為我們的目的是要降低高頻畫面的編碼值，而SAD的作用恰是將兩個相對應區塊的各pixel點相減之後的差值加總，因此SAD值同時也符合高頻公式的意義，如(1)，(2)，(3)式所示。在此我們的動作為若此處區塊在inter mode的SAD大於intra mode的SAD，如此我們會選用intra mode的方式，這是我們所採用的先後順序，intra mode我們參考JPEG－LS的演算法，方式以第六圖說明。

3.模擬結果

雙向動態估測的比例遠遠高出其他單向動態估測，如表1所示。

在表1，縱軸代表每階(level)，後面皆的第一個數字代表階數，數字越大代表分解階數越多，第二個數字為張數的序號，橫軸的forward代表的是forward方向的濾波器，backward為backward方向的濾波器，bi為bi－direction的濾波器，另外在這張表格裡，三型式濾波器比例加總起來為100%。在此我們可以觀察到，其實兩種影像序列都有個特徵，那就是bi－direction型式濾波器所佔的比例遠超過其他兩種型式濾波器，這是因為我們採用的GOP並無所謂換場景(scene cut)的情況發生，而是畫面呈現物體連續性很高的序列，所以在這邊我們可以得知，雙向的濾波器使用率很高，因此才會在我們所提出的架構上面，將雙向動態估測視為最基本的動作，但是與傳統1/3以及5/3型式MCTF的動態估測運算複雜度一般。

接下來我們將探討做到適應性1/3型式MCTF所需要的運算複雜度，如表2，其中N為區塊單邊大小，SR為search range，可以看到的是，在ME(motion estimation)模組需要的運算時間較大，為(2*SR＋(N－1))² cycle數，其他TF(temporal filter)，intra mode以及SAD compare的模組都比ME模組所需的cycle數還要來的小，此外，我們比較的MCTF模組有傳統的MCTF(original 1/3)與適應性MCTF(adaptive 1/3)，在這張表上面可以看到，adaptive 1/3比original 1/3要多出intra mode與SAD compare兩個模組的運算複雜度，但是在整體運算複雜度的total欄位上，則表現出兩者相同的結果，因為ME所佔的運算複雜度過大，所以囊括了其他模組的運算複雜度，因此在時脈表現上面，我們並未付出過多的時脈來完成適應性1/3型式MCTF。

惟，以上所述僅為本發明之較佳實施例而已，非因此即拘限本發明之專利範圍，故舉凡運用本發明說明書及圖式內容所為之簡易修飾及等效結構變化，均應同理包含於本發明之專利範圍內，合予陳明。

綜上所述，本發明之無失真視訊壓縮系統之動態補償時間濾波器方法，為確實能達到其功效及目的，故本發明誠為一實用性優異之發明，為符合發明專利之申請要件，爰依法提出申請，盼 審委早日賜准本案，以保障發明人之辛苦發明，倘若 鈞局審委有任何稽疑，請不吝來函指示，發明人定當竭力配合，實感公便。

影像序列輸入．．．A

動態補償暫態濾波模組．．．B

動態估測模組．．．C

離散空間小波轉換模組．．．D

熵解碼模組．．．E

位元流．．．F

第一圖 為物件動態場。

第二圖 為無失真視訊影像系統編碼過程。

第三圖 為本發明使用的畫面序列分解過程。

第四圖 為畫面間估測的方式。

第五圖 為演算法內fix運算子的意義。

第六圖 為框內估測的方式。

影像序列輸入．．．A

動態補償暫態濾波模組．．．B

動態估測模組．．．C

離散空間小波轉換模組．．．D

熵解碼模組．．．E

位元流．．．F

Claims (1)

1. 一種無失真視訊壓縮系統之動態補償時間濾波器之濾波方法，包括有：設一影像序列輸入，用以輸入影像訊號；設一動態補償暫態濾波模組接收該影像訊號，進行動態補償暫態濾波分析，使所接收的影像訊號畫面，濾出高、低頻畫面，並分解出前、後與目前畫面區塊，設一動態估測模組，為所接收之畫面區塊進行動態估測，該動態估測係以單向動態、雙向動態估測以及針對目前畫面進行框內估測，據以定義出順向、反向、雙向預測以及框內模式之冗餘值，並且進行上述四種冗餘值比較，找出最小冗餘值來定義出影像訊號畫面區塊的類別，進而據以產生一動態函數；將該動態補償暫態濾波模組所傳輸之畫面區塊，以一個區塊當作單位將此一區塊上面的所有像素，藉由來自動態估測模組中所產生之動態函數去參考畫面上找到相對應的區塊進行處理，將這兩個相互對應的區塊進行差值加總，最後算出來的值送入一離散空間小波轉換模組，進行離散空間小波轉換後輸出訊號；一熵解碼模組，為接收該離散空間小波轉換模組傳輸之訊號據以產生一對外輸出之位元流。