TW202245475A

TW202245475A - 在低延遲視訊編碼中使用多個環路濾波器的視訊編碼方法和相關視訊編碼裝置

Info

Publication number: TW202245475A
Application number: TW111116049A
Authority: TW
Inventors: 吳東興; 陳識宇; 張哲銘; 張志豪; 周漢良
Original assignee: 聯發科技股份有限公司
Priority date: 2021-05-05
Filing date: 2022-04-27
Publication date: 2022-11-16
Also published as: US11882277B2; US20220360775A1; TWI792993B; CN115314712A

Abstract

一種視訊編碼方法，包括：在第一時段期間，對當前幀的第一塊組進行編碼處理以生成第一塊組位元流；以及在第二時段期間，傳輸從對當前幀的第二塊組進行編碼得到的第二塊組位元流，其中第二時段與第一時段重疊。編碼處理包括：在第一時段的第一時間分段，對第一組像素進行第一環路濾波處理；以及在第一時段的第二時間分段，對第二組像素進行第二環路濾波處理，其中第二時間分段與第一時間分段重疊，以及非零像素距離存在於濾波方向上的第一組像素的第一邊緣像素與第二組像素的第二邊緣像素之間。

Description

在低延遲視訊編碼中使用多個環路濾波器的視訊編碼方法和相關視訊編碼裝置

本發明要求在2021年5月5日遞交的申請號為63/184,327的美國臨時申請案的優先權，以上申請的全部內容以引用方式併入本發明。

本發明涉及用於視訊處理，具體地，涉及一種在低延遲視訊編碼中使用多個環路濾波器的視訊編碼方法和相關的視訊編碼裝置。

傳統的視訊編碼標準通常採用基於塊的編碼技術來利用空間和時間冗餘。例如，基本的做法是將整個源幀分成多個塊，對每個塊進行幀內/幀間預測，對每個塊的殘差進行變換，以及進行量化和熵編碼。此外，重構幀在編解碼迴圈中生成以提供用於編碼後續塊的參考像素資料。對於某些視訊編解碼標準，環路濾波器可用於增強重構幀的圖像品質。在整個幀的編碼完成後，典型的視訊編碼器開始傳輸幀的已編碼位元流。此外，對於使用多個環路濾波器的典型視訊編碼器，其中一個環路濾波器在另一個環路濾波器完成重構幀的環路濾波處理之後開始將環路濾波處理應用於重構幀。然而，這樣的視訊編碼器設計無法滿足遊戲應用等低延遲應用的要求。

因此，需要一種能夠在使用多個環路濾波器的條件下執行低延遲視訊編碼的創新視訊編碼器。

本發明的目的之一在於提供一種在低延遲視訊編碼中使用多個環路濾波器的視訊編碼方法以及相關的視訊編碼裝置。

根據本發明的第一方面，一種示例性視訊編碼方法被公開。示例性視訊編碼方法包括：在第一時段期間，對當前幀的第一塊組執行編碼處理以產生第一塊組位元流，其中當前幀包括多個塊組，多個塊組中的每一個組包括多個塊，多個塊中的每個塊包括多個像素，以及多個塊組包括第一塊組和第二塊組；以及在第二時段期間，傳輸從對當前幀的第二塊組進行編碼得到的第二塊組位元流，其中第二時段與第一時段重疊。編碼處理包括：在第一時段的第一時間分段，對第一組像素進行第一環路濾波處理；以及在第一時段的第二時間分段，對第二組像素進行第二環路濾波處理，其中第二時間分段與第一時間分段重疊，以及非零像素距離存在於濾波方向上的第一組像素的第一邊緣像素和濾波方向上的第二組像素的第二邊緣像素之間。

根據本發明的第二方面，一種示例性視訊編碼裝置被公開。示例性視訊編碼裝置包括視訊編碼電路。視訊編碼電路被佈置為：在第一時段期間，對當前幀的第一塊組進行編碼以生成第一塊組位元流，以及在第二時段期間傳輸從對當前幀的第二塊組進行編碼而得到的第二塊組位元流，其中第二時段與第一時段重疊，當前幀包括多個塊組，多個塊組中的每個塊組包括多個塊，多個塊中的每個塊包括多個像素，以及多個塊組包括第一塊組和第二塊組。視訊編碼電路包括第一環路濾波器和第二環路濾波器。第一環路濾波器被佈置為在第一時段的第一時間分段期間對第一組像素執行第一環路濾波處理。第二環路濾波器被佈置為在第一時段的第二時間分段對第二組像素執行第二環路濾波處理，其中第二時間分段與第一時間分段重疊，以及非零像素距離存在於濾波方向上的第一組像素的第一邊緣像素和濾波方向上的第二組像素的第二邊緣像素之間。

在閱讀了在各種附圖和附圖中示出的優選實施例的以下詳細描述之後，本發明的這些和其他目的對於本領域之通常技術者無疑將變得顯而易見。

特定術語在以下描述和申請專利範圍中使用，它們指代特定組件。如本領域之通常技術者將理解的，電子設備製造商可以用不同的名稱來指代一個組件。本文檔無意區分名稱不同但功能不同的組件。在以下描述和申請專利範圍中，術語“包括”和“包含”以開放式方式使用，因此應解釋為意味著“包括但不限於……”。此外，術語“耦合”旨在表示間接或直接電連接。因此，如果一個設備耦合到另一個設備，則該連接可以是藉由直接電連接，或藉由經由其他設備和連接的間接電連接。

第1圖示出根據本發明實施例的視訊編碼裝置的圖。視訊編碼裝置100是用於壓縮原始視訊資料的硬體電路以產生壓縮視訊資料。如第1圖所示，視訊編碼裝置包括視訊編碼電路102和控制電路104。需要注意的是，第1圖中所示的視訊編碼器架構僅用於說明目的，並不意味著對本發明的限制。例如，視訊編碼電路102的架構可以根據編碼標準而變化。也就是說，額外的編解碼工具、預處理和/或後處理被添加到視訊編碼電路102。視訊編碼電路102對一個幀IMG進行編碼以生成一個位元流BS用於傳輸。對於低延遲視訊編碼，由對幀IMG編碼所產生的位元流BS可以包括多個塊組位元流BS_0-BS_M，每個塊組位元流BS_0-BS_M從幀IMG中的塊組編碼得到，其中M的值取決於幀IMG中的塊組的數量。如第1圖所示，視訊編碼電路102包括殘差計算電路111、變換電路（用“T”表示)112、量化電路（用“Q”表示）113、熵編碼電路（例如，可變長度編碼器）114、逆量化電路（用“IQ”表示）115、逆變換電路（用“IT”表示）116、重構電路117、環路濾波器級118、參考幀緩衝器119、幀間預測電路120（其包括運動估計電路（用“ME”表示）121和運動補償電路（用“MC”表示）122）、幀內預測電路（用“IP”表示）123和幀內/幀間模式選擇開關124。在本實施例中，環路濾波器級118包括多個環路濾波器FT_1-FT_K，其中K為不小於2的正整數（即K≥2）。例如，環路濾波器FT_1-FT_K可以包括去塊濾波器、樣本適應性偏移（sample adaptive offset，簡稱SAO）濾波器和/或適應性環路濾波器（adaptive loop filter，簡稱ALF）。

控制電路104被佈置為管理視訊編碼電路102的操作。例如，控制電路104包括參數集導出電路125，用於確定用於環路濾波器FT_1- FT_K之一的至少一個參數集PS。例如，環路濾波器FT_1-FT_K之一是ALF，以及參數集導出電路125生成ALF的參數集PS。然而，這僅用於說明目的，並不意味著對本發明的限制。

在本實施例中，視訊編碼裝置100支援低延遲視訊編碼。因此，在整個幀IMG的編碼完成之前，位元流BS的傳輸開始。請結合第3圖參考第2圖。第2圖示出根據本發明實施例藉由分割幀IMG獲得的塊組的圖。第3圖示出根據本發明實施例的塊組的編碼和發送的時序圖。幀IMG可以被劃分為多個塊組，例如四個塊組GP_BK0、GP_BK1、GP_BK2、GP_BK3。每個塊組GP_BK0-GP_BK3包括多個塊202。每個塊202包括多個像素204。例如，一個塊組可以是片段（slice）、圖塊（tile）或子圖片（sub-picture），以及一個塊可以是編解碼單元（coding unit，簡稱CU）或編碼樹單元（coding tree unit，簡稱CTU）。塊組GP_BK0-GP_BK3可以被獨立編碼。根據低等待時間視訊編碼，由對塊組進行編碼得到的塊組位元流可以在整個塊組的編碼完成之後發送。由於傳輸一個塊組位元流（由對幀IMG中的一個塊組進行編碼得到的）不需要等待整個幀IMG的編碼結束，因此傳輸時延可以被大大降低以滿足低延遲應用的要求。具體地，視訊編碼電路102對當前幀IMG的第一塊組進行編碼處理，以在第一時段期間生成第一塊組位元流，以及傳輸在第二時段期間由對當前幀IMG的第二塊組進行編碼得到的第二塊組位元流。其中第二時段與第一時段重疊。換言之，視訊編碼電路102可以並行方式執行幀IMG中的一個塊組的編碼和塊組位元流（由對同一幀IMG中的另一塊組的編碼而導出）的傳輸。如第3圖所示，視訊編碼電路102可以在塊組GP_BK0的編碼完成之後開始對塊組GP_BK1進行編碼，以及可以在塊組GP_BK0的編碼完成之後開始傳輸由對塊組GP_BK1進行編碼而導出的塊組位元流。因此，在時段SP期間，塊組GP_BK1的編碼和塊組GP_BK0的塊組位元流的傳輸以並行方式執行。

環路濾波器級118包括多個環路濾波器FT_1-FT_K。根據低延遲視訊編碼，環路濾波器FT_1-FT_K中的一個可以在另一個環路濾波器FT_1-FT_K完成對幀IMG的重構像素的環路濾波處理之後開始將環路濾波處理應用於幀IMG的重構像素。例如，對於在一個時段內對幀IMG的塊組執行的編碼處理，編碼處理使用從環路濾波器FT_1-FT_K中選擇的第一環路濾波器來執行第一環路濾波處理。在該時段的第一時間分段期間對第一組像素進行處理，以及使用從環路濾波器FT_1-FT_K中選擇的第二環路濾波器在該時段的第二時間分段期間對第二組像素執行第二環路濾波處理。其中第二時間分段與第一時間分段重疊。此外，第一環路濾波器和第二環路濾波器被約束為具有非零像素距離，該非零像素距離存在於在濾波方向上的第一組像素的第一邊緣像素和在濾波方向上的第二組像素的第二邊緣像素之間。例如，第一邊緣像素為第一組像素的最右側像素，第二邊緣像素為第二組像素的最右側像素，且非零像素距離大於等於第一環路濾波器和第二環路濾波器之一的水平濾波器抽頭的最大數量。又例如，第一邊緣像素為第一組像素的最底部像素，第二邊緣像素為第二組像素的最底部像素，且非零像素距離大於或等於第一環路濾波器和第二環路濾波器之一的垂直濾波器抽頭的最大數量。

請參考第4圖和第5圖。第4圖示出根據本發明實施例的第一環路濾波器的圖。第5圖示出根據本發明實施例的第二環路濾波器的圖。環路濾波器級118中包括的環路濾波器FT_1-FT_K中的一個可以由第一環路濾波器402實現，環路濾波器級118中包括的環路濾波器FT_1-FT_K中的另一個可以由第二環路濾波器502實現。第一環路濾波器402具有多個濾波器係數（例如9個濾波器係數），以及被佈置為將第一環路濾波處理應用於第一組像素（例如9個像素）。第二環路濾波器502具有多個濾波器係數（例如25個濾波器係數），以及被佈置為將第二環路濾波處理應用於第二組像素（例如25個像素）。對於第一環路濾波器402，最大水平濾波器的抽頭的最大數量為H1，垂直濾波器的抽頭的最大數量為V1，其中H1＝3，V1＝3。對於第二環路濾波器502，水平濾波器的抽頭的最大數量為H2，垂直濾波器的抽頭的最大數量為V2，其中H2＝7，V2＝7。根據低延遲視訊編碼，第一環路濾波器402和第二環路濾波器502可以以並行方式處理屬於同一塊組的不同像素組。因此，第一環路濾波器402和第二環路濾波器502之間的像素距離應該被限制，以確保由第一環路濾波器402和第二環路濾波器502之一（例如ALF）處理的像素（重構的像素）已經由第一環路濾波器402和第二環路濾波器502中的另一個（例如SAO濾波器）處理，以及由第一環路濾波器402和第二環路濾波器502中的另一個（例如SAO濾波器）處理的像素（重構的像素）還沒有被第一環路濾波器402和第二環路濾波器502中的一個（例如 ALF）處理。

第6圖示出根據本發明實施例的由第一環路濾波器402處理的第一組像素和由第二環路濾波器502處理的第二組像素之間的水平像素距離的圖。假設重構像素將依次經歷第一環路濾波器402處的第一環路濾波處理和第二環路濾波器502處的第二環路濾波處理。如第6圖所示，第一環路濾波器402處理的第一組像素和第二環路濾波器502處理的第二組像素屬於同一個塊組GP_BK，以及由第一環路濾波器402處理的第一組像素位於由第二環路濾波器502處理的第二組像素的右側。由第一環路濾波器402處理的第一組像素602的最右側的像素與由第二環路濾波器502處理的第二組像素604的最右側的像素之間的水平像素距離DH被約束為大於或等於第一環路濾波器402的水平濾波器抽頭的最大數量。

第7圖示出根據本發明實施例的由第一環路濾波器402處理的第一組像素和由第二環路濾波器502處理的第二組像素之間的垂直像素距離的圖。假設重構像素將依次經歷第一環路濾波器402處的第一環路濾波處理和第二環路濾波器502處的第二環路濾波處理。參照第7圖，第一環路濾波器402處理的第一組像素和第二環路濾波器502處理的第二組像素屬於同一個塊組GP_BK，以及由第一環路濾波器402處理的第一組像素在由第二環路濾波器502處理的第二組像素的正下方。由第一環路濾波器402處理的第一組像素702的最底部像素與由第二環路濾波器502處理的第二組像素704的最底部像素之間的垂直像素距離DV被約束為大於或等於第一環路濾波器402的垂直濾波器抽頭的最大數量。

如上所述，參數集導出電路125用於確定環路濾波器FT_1-FT_K之一的參數集PS。例如，第5圖中所示的第二環路濾波器502是ALF，參數集導出電路125生成第二環路濾波器502的參數集。因此，在幀IMG中的不同塊組GP_BK0-GP_BK3的編碼期間，第二環路濾波器502的濾波器參數選自參數集導出電路125提供的參數集PS。為了滿足低延遲視訊編碼的要求，如果當前幀不是視訊序列的第一幀，環路濾波器FT_1-FT_K之一使用的濾波器參數集從對至少一個先前幀的編碼獲得的資訊中導出，環路濾波器FT_1-FT_K用於將環路濾波器處理應用於當前幀；以及如果當前幀是視訊序列的第一幀，環路濾波器FT_1-FT_K之一使用的濾波器參數集是預定的濾波器參數集，該濾波器參數集是在不使用從至少一個先前幀的編碼中獲得的資訊的情況下生成的。

第8圖示出根據本發明實施例的在低延遲視訊編碼下用於生成一個環路濾波器（例如ALF）的至少一個參數集的參數集推導的圖。當視訊編碼電路102對視訊序列的第一幀進行編碼時，環路濾波處理使用從參數集導出電路125提供的預定濾波器參數集。在緊接第一幀的第二幀的編碼開始之前，參數集導出電路125參考已編碼的幀（例如第一已編碼幀）的資訊以產生濾波器參數集PS_1以供後續使用。換言之，在未來幀的編碼開始之前，未來幀中用於環路濾波處理的新參數集被生成。因此，當視訊編碼電路102對第二幀進行編碼時，環路濾波處理使用從參數集導出電路125提供的濾波器參數集PS_1。類似地，在緊接第二幀的第三幀的編碼開始之前，參數集導出電路125參考已編碼幀的資訊，例如第一已編碼幀和/或第二已編碼幀，以生成濾波器參數集PS_3以供後續使用。當視訊編碼電路102對第N幀進行編碼時，環路濾波處理使用從參數集導出電路125提供的濾波器參數集PS_N，其中濾波器參數集PS_N在第N幀的編碼開始之前生成。

需要注意的是，如第9圖所示，環路濾波處理可以藉由率失真優化（rate distortion optimization，簡稱RDO）處理禁用於或啟用於每個塊。例如，環路濾波處理在幀IMG中的每個塊（902）被禁用，以及在幀IMG中的每個塊（904）被啟用。

本領域之通常技術者將容易地觀察到，可以在保留本發明的教導的同時對裝置和方法進行許多修改和改變。因此，上述公開應被解釋為僅受所附申請專利範圍的邊界和界限的限制。

100:視訊編碼裝置 104:控制電路 111:殘差計算電路 112:變換電路 113:量化電路 114:熵編碼電路 115:逆量化電路 116:逆變換電路 117:重構電路 118:環路濾波器級 119:參考幀緩衝器 120:幀間預測電路 121:運動估計電路 122:運動補償電路 123:幀內預測電路 124:幀內/幀間模式選擇開關 125:參數集導出電路 202:塊 204:像素 402:第一環路濾波器 502:第二環路濾波器 602:第一組像素 604:第二組像素 702:第一組像素 704:第二組像素 902:塊 904:塊

將參考以下附圖詳細描述作為示例提出的本公開的各種實施例，其中相同的標號指代相同的組件，以及其中：第1圖示出根據本發明實施例的視訊編碼裝置的圖。第2圖示出根據本發明實施例藉由分割幀獲得的塊組的圖。第3圖示出根據本發明實施例的塊組的編碼和傳輸的時序圖。第4圖示出根據本發明實施例的第一環路濾波器的圖。第5圖示出根據本發明實施例的第二環路濾波器的圖。第6圖示出根據本發明實施例的由第4圖所示的第一環路濾波器處理的第一組像素和由第5圖所示的第二環路濾波器處理的第二組像素之間的水平像素距離。第7圖示出根據本發明實施例的由第4圖所示的第一環路濾波器處理的第一組像素和由第5圖所示的第二環路濾波器處理的第二組像素之間的垂直像素距離。第8圖示出根據本發明的實施例的在低延遲視訊編碼下用於生成一個環路濾波器的至少一個參數集的參數集推導的圖。第9圖示出根據本發明實施例的具有沒有進行環路濾波的一些塊和具有環路濾波的一些塊的幀的圖。

100:視訊編碼裝置

104:控制電路

111:殘差計算電路

112:變換電路

113:量化電路

114:熵編碼電路

115:逆量化電路

116:逆變換電路

117:重構電路

118:環路濾波器級

119:參考幀緩衝器

120:幀間預測電路

121:運動估計電路

122:運動補償電路

123:幀內預測電路

124:幀內/幀間模式選擇開關

125:參數集導出電路

Claims

一種視訊編碼方法，包括：在一第一時段期間，對一當前幀的一第一塊組進行一編碼處理以生成一第一塊組位元流，其中該當前幀包括多個塊組，該等塊組中的每個塊組包括多個塊，該等塊中的每一塊包含多個像素，以及該等塊組包括該第一塊組與一第二塊組；以及在一第二時段期間，傳輸從對該當前幀的該第二塊組進行編碼導出的一第二塊組位元流，其中該第二時段與該第一時段重疊；其中該編碼處理包括：在該第一時段的一第一時間分段內，對一第一組像素執行一第一環路濾波處理；以及在該第一時段的一第二時間分段內，對一第二組像素執行一第二環路濾波處理，其中該第二時間分段與該第一時間分段重疊，以及一非零像素距離存在於在一濾波方向上的該第一組像素的一第一邊緣像素與在該濾波方向上的該第二組像素的一第二邊緣像素之間。
如請求項1所述之視訊編碼方法，其中，該第一塊組與該第二塊組不重疊。
如請求項1所述之視訊編碼方法，其中，該第一組像素與該第二組像素不重疊。
如請求項1所述之視訊編碼方法，其中，該第一組像素還沒有經由該第二環路濾波處理，該第二組像素已經經由該第一環路濾波處理。
如請求項1所述之視訊編碼方法，其中，該第一邊緣像素是該第一組像素中的一最右側像素，以及該第二邊緣像素是該第二組像素中的一最右側像素。
如請求項5所述之視訊編碼方法，其中，該非零像素距離大於或等於該第一環路濾波處理和該第二環路濾波處理之一所採用的一環路濾波器的多個水平濾波器抽頭的一最大數量。
如請求項1所述之視訊編碼方法，其中，該第一邊緣像素是該第一組像素中的一最底部像素，以及第二邊緣像素是該第二組像素中的一最底部像素。
如請求項7所述之視訊編碼方法，其中，該非零像素距離大於或等於該第一環路濾波處理和該第二環路濾波處理之一所採用的一環路濾波器的多個垂直濾波器抽頭的一最大數量。
如請求項1所述之視訊編碼方法，進一步包括：獲得該第一環路濾波處理和該第二環路濾波處理之一的至少一個濾波器參數集，其中該至少一個濾波器參數集從至少一個先前幀的編碼獲得的資訊中導出。
如請求項1所述之視訊編碼方法，進一步包括：獲得該第一環路濾波處理和該第二環路濾波處理之一的至少一個預定濾波器參數集，其中該至少一個預定濾波器參數集在不使用從至少一個先前幀的編碼獲得的資訊的情況下生成。
一種視訊編碼裝置，包括：一視訊編碼電路，被佈置為在一第一時段期間，對一當前幀的一第一塊組進行編碼以生成一第一塊組位元流，以及在一第二時段期間，傳輸從對該當前幀的一第二塊組進行編碼導出的一第二塊組位元流，其中該第二時段與該第一時段重疊，該當前幀包括多個塊組，該等塊組中的每個塊組包括多個塊，該等塊中的每一塊包含多個像素，以及該等塊組包括該第一塊組與該第二塊組；以及其中該視訊編碼電路包括：一第一環路濾波器，被佈置為在該第一時段的一第一時間分段內，對一第一組像素執行一第一環路濾波處理；以及一第二環路濾波器，被佈置為在該第一時段的一第二時間分段內，對一第二組像素進行一第二環路濾波處理，其中該第二時間分段與該第一時間分段重疊，以及一非零像素距離存在於在一濾波方向上的該第一組像素的一第一邊緣像素與在該濾波方向上的該第二組像素的一第二邊緣像素之間。
如請求項11所述之視訊編碼裝置，其中，該第一塊組與該第二塊組不重疊。
如請求項11所述之視訊編碼裝置，其中，該第一組像素與該第二組像素不重疊。
如請求項11所述之視訊編碼裝置，其中，該第一組像素還沒有經由該第二環路濾波處理，該第二組像素已經經由該第一環路濾波處理。
如請求項11所述之視訊編碼裝置，其中，該第一邊緣像素是該第一組像素中的一最右側像素，以及該第二邊緣像素是該第二組像素中的一最右側像素。
如請求項15所述之視訊編碼裝置，其中，該非零像素距離大於或等於該第一環路濾波處理和該第二環路濾波處理之一的多個水平濾波器抽頭的一最大數量。
如請求項11所述之視訊編碼裝置，其中，該第一邊緣像素是該第一組像素中的一最底部像素，以及第二邊緣像素是該第二組像素中的一最底部像素。
如請求項17所述之視訊編碼裝置，其中，該非零像素距離大於或等於該第一環路濾波處理和該第二環路濾波處理之一的多個垂直濾波器抽頭的一最大數量。
如請求項11所述之視訊編碼裝置，進一步包括：一參數集導出電路，被佈置為獲得該第一環路濾波處理和該第二環路濾波處理之一的至少一個濾波器參數集，其中該至少一個濾波器參數集從至少一個先前幀的編碼獲得的資訊中導出。
如請求項11所述之視訊編碼裝置，進一步包括：一參數集導出電路，被佈置為獲得該第一環路濾波處理和該第二環路濾波處理之一的至少一個預定濾波器參數集，其中該至少一個預定濾波器參數集在不使用從至少一個先前幀的編碼獲得的資訊的情況下生成。