TWI520614B - 視訊編碼方法及裝置 - Google Patents

Description

視訊編碼方法及裝置

本發明是有關於一種編碼方法及裝置，且特別是有關於一種視訊編碼方法及其裝置。

在大部分標準化的有損視訊壓縮標準的壓縮過程當中，為了增加壓縮的效率，往往透過參考畫面(reference frame)與目前待壓縮畫面(current frame)的相關性將壓縮率增加。舉例而言，在一般壓縮的過程當中，會自外部記憶體當中讀取目前待壓縮畫面以及前一張的壓縮結果，並且，在壓縮過後會將目前壓縮的結果儲存至外部記憶體，以作為下一個待壓縮畫面的參考畫面。因為這樣的設計，所以在視訊編碼裝置的設計上，壓縮所需要的頻寬需要至少3倍於視訊解析度的大小。對於高解析度(例如，4K×2K)的視訊而言，其在寫入外部記憶體時所需的頻寬更是急遽增加。換言之，視訊處理裝置在設計上需要配合視訊的解析度而調整外部記憶體的位元率。為了能夠減少設計視訊處理裝置的 成本，有部分的編解碼器已經引入頻寬壓縮機制，以降低視訊壓縮頻寬。

為了能夠減少壓縮頻寬，在將目前的待壓縮畫面編碼完成後，視訊處理裝置會在寫入外部記憶體時，採用接近於無損的壓縮的方式，將內嵌式去區塊效應濾波器(in-loop deblocking filter)的編碼結果寫入外部記憶體。此種機制的好處在於因為實際上仍是有損壓縮，所以在將此編碼結果寫入外部記憶體時，可以確保寫入外部記憶體所需要的頻寬是足夠的。在視訊處理裝置的設計上，此種保證壓縮率的方法雖可不需預留需求頻寬以外的頻寬資源，但卻可能出現參考畫面資訊偏移的問題，進而導致解碼時物件偏移或是非原先編碼畫面的錯誤編碼結果。

另外，視訊編碼裝置亦可對所述待壓縮畫面進行無損壓縮，以降低視訊壓縮頻寬。此種無損壓縮方法可保證編碼端與解碼端之間的參考畫面對稱性，使得無論視訊流傳遞多久，都不會產生偏移或錯誤編碼的現象。然而，當參考畫面的變化較大時，採用無損壓縮方法卻可能會產生壓縮效率不足的問題，甚至在最糟的狀況下，將可能發生壓縮效率為零(即，壓縮前的檔案與壓縮後的檔案大小相同)的情況。換言之，無損壓縮無法提供一個所需最高頻寬的上限來作為系統的需求。更進一步而言，實施無損壓縮的視訊編碼裝置在設計上雖然可以自無損壓縮當中獲得降低頻寬的好處，但卻必須考量最差的無損壓縮狀況，以確保視訊編碼裝置不會因為頻寬超載而違反即時性的運作。

有鑑於此，本發明提供一種視訊編碼方法及其裝置，可在對待壓縮畫面實施無損壓縮的情況下，避免發生寫入外部記憶體頻寬不足的情形發生。

本發明提供一種視訊編碼方法，適用於連接至外部記憶體視訊編碼裝置。所述方法是先存取外部記憶體，以參考先前寫入外部記憶體的參考畫面，編碼待壓縮畫面。接著，採用無損壓縮方式壓縮編碼後的待壓縮畫面，輸出壓縮畫面。然後，監看壓縮畫面的壓縮效率，並判斷此壓縮效率是否低於系統需求，以決定是否將壓縮畫面的下一張壓縮畫面寫入外部記憶體。

在本發明之一實施例中，所述參考先前寫入外部記憶體的參考畫面，編碼待壓縮畫面的步驟包括參考前一張寫入外部記憶體的參考畫面，編碼待壓縮畫面。

在本發明之一實施例中，所述參考先前寫入外部記憶體的參考畫面，編碼待壓縮畫面的編碼結果的步驟包括針對先前寫入外部記憶體的多張參考畫面中各所述參考畫面的壓縮效率及編碼效率，選擇壓縮效率及該編碼效率之合併效率最高的參考畫面做為參考，編碼待壓縮畫面。

在本發明之一實施例中，所述判斷壓縮畫面的壓縮效率是否低於系統需求，決定是否將壓縮畫面寫入外部記憶體的步驟是在壓縮效率低於系統需求時，不將下一張壓縮畫面寫入外部記憶體，並選定先前寫入外部記憶體的參考畫面，做為編碼次於下 一張壓縮畫面的待壓縮畫面的參考；而在壓縮效率不低於系統需求時，將下一張壓縮畫面寫入外部記憶體，並重新選定先前寫入外部記憶體的參考畫面，做為編碼次於下一張壓縮畫面的待壓縮畫面的參考。

在本發明之一實施例中，在壓縮效率低於系統需求時，所述方法更包括減少編碼待壓縮畫面的位元率，並重新編碼待壓縮畫面。

本發明提出一種視訊編碼裝置，其包括編碼器、無損壓縮模組、壓縮效率統計引擎以及編碼策略器。編碼器存取外部記憶體，以參考先前寫入外部記憶體的參考畫面，編碼待壓縮畫面。無損壓縮模組採用無損壓縮方式壓縮編碼器編碼後的待壓縮畫面，輸出壓縮畫面。壓縮效率統計引擎監看無損壓縮模組所壓縮之壓縮畫面的壓縮效率。編碼策略器判斷壓縮畫面的壓縮效率是否低於系統需求，以決定是否將壓縮畫面的下一張壓縮畫面寫入外部記憶體。

在本發明之一實施例中，所述編碼策略器是選擇前一張寫入外部記憶體的參考畫面，以做為編碼器編碼待壓縮畫面的參考畫面。

在本發明之一實施例中，所述編碼策略器是針對先前寫入外部記憶體的多張參考畫面中各所述參考畫面的壓縮效率及編碼效率，選擇壓縮效率及編碼效率之合併效率最高的參考畫面，以做為編碼器編碼待壓縮畫面的參考畫面。

在本發明之一實施例中，所述編碼策略器在判斷壓縮效率低於系統需求時，不將無損壓縮模組輸出的下一張壓縮畫面寫入外部記憶體，並選定先前寫入外部記憶體的參考畫面，做為編碼器編碼次於下一張壓縮畫面的待壓縮畫面的參考，而在判斷壓縮效率不低於系統需求時，將無損壓縮模組輸出的下一張壓縮畫面寫入外部記憶體，並重新選定先前寫入外部記憶體的參考畫面，做為編碼器編碼次於下一張壓縮畫面的待壓縮畫面的參考。

在本發明之一實施例中，所述視訊編碼裝置更包括位元率控制器。所述位元率控制器在編碼策略器判斷壓縮效率低於系統需求時，減少編碼器編碼待壓縮畫面的位元率，並重新編碼待壓縮畫面。

基於上述，本發明實施例提出的視訊編碼方法及其裝置可在對待壓縮畫面進行無損壓損之後，依據所產生壓縮畫面的壓縮效率來決定是否將此壓縮畫面的下一張壓縮畫面寫入外部記憶體，從而避免因壓縮效率低下所導致的寫入外部記憶體頻寬不足的情形發生。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧視訊編碼裝置

110‧‧‧編碼器

120‧‧‧無損壓縮模組

130‧‧‧壓縮效率統計引擎

140‧‧‧編碼策略器

150‧‧‧外部記憶體

310‧‧‧位元率控制器

CI、IM‧‧‧待壓縮畫面

CI’‧‧‧壓縮畫面

RI‧‧‧參考畫面

S210~S240、S410~S470‧‧‧步驟

圖1是依據本發明之一實施例繪示的視訊編碼裝置示意圖。

圖2是依據本發明之一實施例繪示的視訊編碼方法流程圖。

圖3是依據本發明另一實施例繪示的視訊編碼裝置示意圖。

圖4是依據本發明另一實施例繪示的視訊編碼方法流程圖。

圖1是依據本發明之一實施例繪示的視訊編碼裝置示意圖。在本實施例中，視訊編碼裝置100包括編碼器110、無損壓縮模組120、壓縮效率統計引擎130以及編碼策略器140。在一實施例中，上述元件例如是以邏輯電路元件組成的硬體裝置，而可執行視訊編碼功能；在另一實施例中，這些元件也可以是儲存在視訊編碼裝置100之儲存媒體(未繪示)中的程式，其可載入視訊編碼裝置100的處理器(未繪示)，以執行視訊編碼功能，在此不設限。

圖2是依據本發明之一實施例繪示的視訊編碼方法流程圖。圖2實施例的方法可由圖1所示的視訊編碼裝置100執行，以下即搭配圖1的各個元件說明圖2的方法步驟。

在步驟S210中，編碼器110可存取外部記憶體150，以參考先前寫入外部記憶體150的參考畫面RI，編碼待壓縮畫面IM。外部記憶體150例如是可用於儲存關聯於視訊的多個連續影像畫面的動態隨機存取記憶體(Dynamic Random Access Memory，DRAM)或其他類似品。待壓縮畫面IM例如是視訊編碼裝置100在目前的時間點欲處理的影像畫面，而參考畫面RI則 例如是視訊編碼裝置100在先前的時間點(例如前一個時間點或前N個時間點(N為正整數))已處理(即，壓縮)過的影像畫面。

在一實施例中，參考畫面RI例如是由編碼策略器140所選擇的前一張寫入外部記憶體150的參考畫面。在其他實施例中，編碼策略器140亦可針對先前寫入外部記憶體150的多張參考畫面中各所述參考畫面的壓縮效率及編碼效率，選擇壓縮效率及編碼效率之合併效率最高的參考畫面，以做為編碼器110編碼待壓縮畫面IM的參考畫面RI。其中，由於時間上愈靠近目前待壓縮畫面IM的參考畫面，其畫面內容與待壓縮畫面IM的重複性愈高、差異也愈小，其編碼效率也相對較高。據此，本實施例即綜合考量壓縮效率與編碼效率這兩種參數，並選擇合併效率最高的參考畫面來做為編碼待壓縮畫面IM的參考畫面RI，藉此可提高編碼器110編碼待壓縮畫面IM的效率。

在步驟S220中，無損壓縮模組120可採用無損壓縮(lossless compression)方式壓縮編碼器110編碼後的待壓縮畫面CI，輸出壓縮畫面CI’。在一實施例中，無損壓縮模組120例如可採用熵編碼(entropy encoding)或其他的無損壓縮演算法來壓縮待壓縮畫面CI，但本發明的可實施方式不限於此。

在步驟S230中，壓縮效率統計引擎130可監看無損壓縮模組120所壓縮之壓縮畫面CI’的壓縮效率。所述壓縮效率例如是1減去壓縮畫面CI’與待壓縮畫面CI的檔案大小比值。舉例而言，若壓縮畫面CI’的檔案大小為待壓縮畫面CI的檔案大小的75%， 其檔案大小比值為75%，壓縮效率則為25%。

接著，在步驟S240中，編碼策略器140判斷壓縮畫面CI’的壓縮效率是否低於系統需求，以決定是否將壓縮畫面CI’的下一張壓縮畫面寫入外部記憶體150。詳細而言，由於無損壓縮模組120在壓縮待壓縮畫面CI時的壓縮效率會隨著待壓縮畫面CI的影像特性(例如影像資料的重複性)而變動，若將所有的壓縮畫面皆寫入外部記憶體150的話，則在壓縮效率低下時，將可能導致寫入外部記憶體150頻寬不足的情形發生。因此，壓縮效率統計引擎130可將所監看到的壓縮效率通知編碼策略器140，以讓編碼策略器140適應性地依據壓縮畫面CI’的壓縮效率來決定是否將壓縮畫面CI’的下一張壓縮畫面寫入外部記憶體150。

在一實施例中，當編碼策略器140判斷壓縮畫面CI’的壓縮效率(例如是25%)低於系統需求(例如是30%)時，編碼策略器140即不將無損壓縮模組120輸出的壓縮畫面CI’的下一張壓縮畫面寫入外部記憶體150。如此一來，當壓縮畫面CI’的壓縮效率低下(亦即，壓縮畫面CI’與待壓縮畫面CI的檔案大小相差無幾)時，由於壓縮畫面CI’的下一張壓縮畫面不會被寫入外部記憶體150，因而使得視訊編碼裝置100可避免寫入存取外部記憶體150頻寬不足的情形發生。從另一角度而言，在處理連續的多個壓縮畫面時，編碼策略器140只會將壓縮效率高於系統需求的壓縮畫面寫入外部記憶體150，並適應性地丟棄壓縮效率低下的其中幾個壓縮畫面。

此時，由於編碼器110在編碼次於所述下一張壓縮畫面的待壓縮畫面時，仍需要使用參考畫面，因此，編碼策略器140可選定先前寫入外部記憶體150的參考畫面，做為編碼器110編碼次於所述下一張壓縮畫面的待壓縮畫面的參考。詳細而言，由於編碼器110需從外部記憶體150取得用於編碼次於所述下一張壓縮畫面的待壓縮畫面的參考畫面，但壓縮畫面CI’的下一張壓縮畫面並未被寫入外部記憶體150，因此壓縮畫面CI’的下一張壓縮畫面並無法做為編碼器110編碼次於所述下一張壓縮畫面的待壓縮畫面的參考。在此情況下，編碼策略器140可從已寫入外部記憶體150的多張壓縮畫面(即，壓縮效率高於系統需求的壓縮畫面)中，挑選其中一張做為編碼器110編碼次於所述下一張壓縮畫面的待壓縮畫面的參考。如先前所教示的，編碼策略器140可挑選前一張寫入外部記憶體150的壓縮畫面，或是從已寫入外部記憶體150的多張壓縮畫面中選擇壓縮效率及編碼效率之合併效率最高的壓縮畫面，以做為編碼器110編碼次於所述下一張壓縮畫面的待壓縮畫面的參考畫面。

在另一實施例中，當編碼策略器140判斷壓縮畫面CI’的壓縮效率(例如是40%)不低於系統需求(例如是30%)時，編碼策略器140可將無損壓縮模組120輸出的壓縮畫面CI’的下一張壓縮畫面寫入外部記憶體150，並重新選定先前寫入外部記憶體150的參考畫面，做為編碼器110編碼次於所述下一張壓縮畫面的待壓縮畫面的參考。此時，由於壓縮畫面CI’的下一張壓縮畫面已 儲存於外部記憶體150中，因此編碼策略器140可選取壓縮畫面CI’的下一張壓縮畫面做為編碼器110編碼次於所述下一張壓縮畫面的待壓縮畫面的參考畫面。或者，編碼策略器140也可從已寫入外部記憶體150的多張壓縮畫面中選擇壓縮效率及編碼效率之合併效率最高的壓縮畫面，以做為編碼器110編碼次於所述下一張壓縮畫面的待壓縮畫面的參考畫面。

圖3是依據本發明另一實施例繪示的視訊編碼裝置示意圖。在本實施例中，視訊編碼裝置300除了包括圖1的視訊編碼裝置100的所有元件之外，更包括位元率控制器310。視訊編碼裝置300所包括的編碼器110、無損壓縮模組120、壓縮效率統計引擎130以及編碼策略器140的功能與特性可參照圖1實施例的相關說明，在此不再贅述。位元率控制器310例如是以邏輯電路元件組成的硬體裝置，而可執行視訊編碼功能；在另一實施例中，位元率控制器310也可以是儲存在視訊編碼裝置300之儲存媒體(未繪示)中的程式，其可載入視訊編碼裝置300的處理器(未繪示)，以執行視訊編碼功能，在此不設限。

圖4是依據本發明另一實施例繪示的視訊編碼方法流程圖。本實施例的方法可由圖3中的視訊編碼裝置100執行，以下即搭配圖3中的元件來說明本實施例的方法步驟。步驟S410~S430的細節可參照圖2實施例中的步驟S210~S230，在此不再贅述。

在步驟S440中，壓縮效率統計引擎130可監看壓縮畫面CI’的壓縮效率是否低於系統需求。若是，則接續進行步驟S450； 若否，則接續進行步驟S470。

在步驟S470中，編碼策略器140可將壓縮畫面CI’的下一張壓縮畫面寫入外部記憶體150，並重新選定先前寫入外部記憶體150的參考畫面，做為編碼器110編碼次於所述下一張壓縮畫面的待壓縮畫面的參考。

在步驟S450中，編碼策略器140可不將壓縮畫面CI’的下一張壓縮畫面寫入外部記憶體150，並選定先前寫入外部記憶體150的參考畫面，做為編碼器110編碼次於所述下一張壓縮畫面的待壓縮畫面的參考。接著，在步驟S460中，位元率控制器310可減少編碼器110編碼待壓縮畫面CI的位元率，進而讓編碼器110依據降低後的位元率重新編碼待壓縮畫面CI。換言之，編碼器110可使用較少的位元數來編碼待壓縮畫面CI。同時，節省下來的位元數可在後續用於提升可能做為編碼下一張待壓縮畫面的參考畫面，以提升其影像品質。

此外，由於壓縮效率低於系統需求的壓縮畫面CI’的下一張壓縮畫面並不會被寫入外部記憶體150，因此即使待壓縮畫面CI’的下一張壓縮畫面被以較低的位元率重新編碼，其並不會讓編碼器110在對後續待壓縮畫面進行編碼操作時出現錯誤傳遞(error propagation)的現象。

綜上所述，本發明實施例提出的視訊編碼方法及其裝置可在對待壓縮畫面進行無損壓損之後，依據所產生壓縮畫面的壓縮效率來決定是否將此壓縮畫面的下一張壓縮畫面寫入外部記憶 體。具體而言，當壓縮效率不低於系統需求時，視訊編碼裝置可將壓縮畫面的下一張壓縮畫面寫入外部記憶體。反之，當壓縮效率低於系統需求時，視訊編碼裝置可不將壓縮畫面的下一張壓縮畫面寫入外部記憶體。如此一來，視訊編碼裝置即可避免因壓縮效率低下所導致的寫入外部記憶體頻寬不足的情形發生，因而使得視訊編碼裝置更適合實施在需要即時性的應用中。此外，由於視訊編碼裝置所採用的是無損壓縮，因而可避免出現參考畫面資訊偏移或錯誤編碼的現象。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S210~S240‧‧‧步驟

Claims (10)

1. 一種視訊編碼方法，適用於一視訊編碼裝置，該視訊編碼裝置連接至一外部記憶體，該方法包括下列步驟：存取該外部記憶體，以參考先前寫入該外部記憶體的一參考畫面，編碼一待壓縮畫面；採用一無損壓縮方式壓縮編碼後的該待壓縮畫面，輸出一壓縮畫面；監看該壓縮畫面的一壓縮效率；以及判斷該壓縮畫面的該壓縮效率是否低於一系統需求，決定是否將該壓縮畫面的下一張壓縮畫面寫入該外部記憶體。
2. 如申請專利範圍第1項所述之視訊編碼方法，其中參考先前寫入該外部記憶體的該參考畫面，編碼該待壓縮畫面的步驟包括：參考前一張寫入該外部記憶體的該參考畫面，編碼該待壓縮畫面。
3. 如申請專利範圍第1項所述之視訊編碼方法，其中參考先前寫入該外部記憶體的該參考畫面，編碼該待壓縮畫面的該編碼結果的步驟包括：針對先前寫入該外部記憶體的多張參考畫面中各所述參考畫面的該壓縮效率及一編碼效率，選擇該壓縮效率及該編碼效率之一合併效率最高的該參考畫面做為參考，編碼該待壓縮畫面。
4. 如申請專利範圍第1項所述之視訊編碼方法，其中判斷該 壓縮畫面的該壓縮效率是否低於該系統需求，決定是否將該壓縮畫面的下一張壓縮畫面寫入該外部記憶體的步驟包括：當該壓縮效率低於該系統需求時，不將該下一張壓縮畫面寫入該外部記憶體，並選定先前寫入該外部記憶體的該參考畫面，做為編碼次於該下一張壓縮畫面的該待壓縮畫面的參考；以及當該壓縮效率不低於該系統需求時，將該下一張壓縮畫面寫入該外部記憶體，並重新選定先前寫入該外部記憶體的該參考畫面，做為編碼次於該下一張壓縮畫面的該待壓縮畫面的參考。
5. 如申請專利範圍第1項所述之視訊編碼方法，其中在該壓縮效率低於該系統需求時，更包括：減少編碼該待壓縮畫面的一位元率，重新編碼該待壓縮畫面。
6. 一種視訊編碼裝置，包括：一編碼器，存取一外部記憶體，以參考先前寫入該外部記憶體的一參考畫面，編碼一待壓縮畫面；一無損壓縮模組，採用一無損壓縮方式壓縮該編碼器編碼後的該待壓縮畫面，輸出一壓縮畫面；一壓縮效率統計引擎，監看該無損壓縮模組所壓縮之該壓縮畫面的一壓縮效率；以及一編碼策略器，判斷該壓縮畫面的該壓縮效率是否低於一系統需求，以決定是否將該壓縮畫面的下一張壓縮畫面寫入該外部記憶體。
7. 如申請專利範圍第6項所述之視訊編碼裝置，其中該編碼 策略器是選擇前一張寫入該外部記憶體的該參考畫面，以做為該編碼器編碼該待壓縮畫面的該參考畫面。
8. 如申請專利範圍第6項所述之視訊編碼裝置，其中該編碼策略器是針對先前寫入該外部記憶體的多張參考畫面中各所述參考畫面的該壓縮效率及一編碼效率，選擇該壓縮效率及該編碼效率之一合併效率最高的該參考畫面，以做為該編碼器編碼該待壓縮畫面的該參考畫面。
9. 如申請專利範圍第6項所述之視訊編碼裝置，其中該編碼策略器在判斷該壓縮效率低於該系統需求時，不將該無損壓縮模組輸出的該下一張壓縮畫面寫入該外部記憶體，並選定先前寫入該外部記憶體的該參考畫面，做為該編碼器編碼次於該下一張壓縮畫面的該待壓縮畫面的參考，而在判斷該壓縮效率不低於該系統需求時，將該無損壓縮模組輸出的該下一張壓縮畫面寫入該外部記憶體，並重新選定先前寫入該外部記憶體的該參考畫面，做為該編碼器編碼次於該下一張壓縮畫面的該待壓縮畫面的參考。
10. 如申請專利範圍第6項所述之視訊編碼裝置，更包括：一位元率控制器，在該編碼策略器判斷該壓縮效率低於該系統需求時，減少該編碼器編碼該待壓縮畫面的一位元率，並重新編碼該待壓縮畫面。