TWI730561B

TWI730561B - 利用圖塊分組進行視訊資料編碼的方法及裝置

Info

Publication number: TWI730561B
Application number: TW108147523A
Authority: TW
Inventors: 魯林陳
Original assignee: 新加坡商聯發科技（新加坡）私人有限公司
Priority date: 2018-12-28
Filing date: 2019-12-25
Publication date: 2021-06-11
Also published as: TW202029758A; US11477445B2; US20200213588A1

Abstract

用於處理視訊資料的方法和裝置包括：接收與當前視訊圖片相關的輸入資料；將所述當前視訊圖片劃分為不重疊的矩形圖塊；將當前視訊圖片中的圖塊分組為圖塊組；以及對當前視訊圖片內的圖塊組中的視訊資料進行編碼或解碼。根據一個實施方式，各個圖塊組由整數個圖塊組成，並且所有圖塊組的形狀被約束為矩形。根據一個實施方式，使用標誌來指示是否跨圖塊組邊界執行一個或更多個環內濾波操作。

Description

利用圖塊分組進行視訊資料編碼的方法及裝置

本發明涉及用於視訊編碼或視訊解碼的視訊資料處理方法和裝置。特別地，本發明涉及視訊編碼或解碼中的圖塊分組（tile grouping）。

高效視訊編碼（HEVC）標準是由來自ITU-T研究組的視訊編碼專家組的視訊編碼聯合協作團隊（JCT-VC）開發的最新視訊編碼標準。HEVC標準依賴於基於塊的編碼結構，該編碼結構將每個片（slice）劃分為多個編碼樹單元（CTU）。編碼圖片被表示為按光柵掃描順序的一個片或一組片，片定義為被包含在一個獨立片段（slice segment）和後續從屬片段中的整數個CTU。根據光柵掃描順序對片中的各個CTU進行處理。每個CTU包括一個亮度編碼樹塊（CTB）、相應的色度CTB和語法元素。使用最多兩個運動向量和參考索引的圖片內預測（intra picture prediction）或圖片間預測（inter picture prediction）對雙預測（B）片中的各個塊的採樣值進行解碼。使用僅一個運動向量和參考索引的圖片內預測或圖片間預測對預測（P）片中的各個塊的採樣值進行解碼。僅使用圖片內預測對內（I）片進行解碼。根據四叉樹（QT）劃分方法，將各個CTU進一步遞迴地劃分為一個或更多個編碼單元（CU），以適應各種局部運動和紋理特徵。CTU的四叉樹語法指定其亮度和色度編碼塊（CB）的大小和位置。

在CU級別做出預測決定，其中各個CU通過圖片間預測或圖片內預測來編碼。一旦完成了CU層次樹的分割，則根據用於預測的PU劃分類型，將每個CU進一步分解成一個或更多個預測單元（PU）。因為對PU中的所有圖元都應用了相同的預測過程，並且預測相關資訊正在以PU為基礎被傳送給解碼器，所以PU與關聯的CU語法一起用作共用預測資訊的基本表示塊。採用指定的預測過程來預測PU內部相關圖元樣本的值。在獲得由預測過程生成的殘差信號之後，根據殘差四叉樹（RQT）塊劃分結構將屬於CU的殘差信號的殘差數據劃分為一個或更多個變換單元（TU），以將殘差數據變換為緊湊資料表示的變換係數。TU是用於在編碼過程中對殘差信號進行變換和量化的基本表示塊。對於每個TU，將具有與TU相同大小的變換矩陣應用於殘差信號以生成變換係數，並且基於TU將這些變換係數量化並傳送到解碼器。將整數變換應用於變換塊，並且在視訊位元流中將量化係數的水準值與其他輔助資訊一起進行熵編碼。

除了將視訊圖片劃分為一個或更多個片之外，以HEVC標準編碼的視訊圖片還可以被劃分為獨立的矩形區域，該矩形區域被稱為圖塊。圖塊被定義為視訊圖片中特定圖塊列和特定圖塊行內的CTU的矩形區域。圖塊由預定數量的CTU組成。在每個圖塊內部按光柵掃描順序對CTU進行解碼，並在視訊圖片內部按光柵掃描順序對圖塊進行解碼。與用於處理視訊圖片中的CTU的常規光柵掃描解碼順序相比，圖塊會影響相鄰編碼單元用於預測和熵編碼的可用性。第1A圖示出了根據HEVC標準將具有11×9個亮度CTB的視訊圖片劃分為兩個圖塊(tile)和一個片(slice)的示例。如第1A圖所示，視訊圖片中左圖塊的大小為5×9個亮度CTB，右圖塊的大小為6×9個亮度CTB。將該片進一步劃分為五個段(segment)，這五個段包括一個獨立片段102和四個從屬片段104、106、108和110。在第1A圖所示的情況下，一個片包含多個圖塊，也可以使一個圖塊包含多個片，第1B圖所示為一個圖塊包含多個片的示例。第1B圖所示的視訊圖片也具有11×9個亮度CTB，並且將該視訊圖片劃分為兩個圖塊和三個片。第一片由獨立片段112和從屬片段114組成，第二片由獨立片段116和從屬片段118組成。第三片與右圖塊完全重疊，並且由一個獨立片段120和一個從屬片段122組成。各個從屬片段根據其相應的獨立片段來編碼或解碼。

與先前的基於片的劃分相比，圖塊劃分提供了許多優點，例如通過允許對並行架構進行改進的編碼處理來增加並行友好性。此外，圖塊有助於減小行緩衝記憶體，並增加感興趣區域功能。片和圖塊是視訊圖片的兩個單獨的劃分方面，但是，片和圖塊缺乏互動式性能的改進，並且在實踐中同時使用片和圖塊會引入編碼複雜性。

ITU-T SG16 WP3的聯合視訊專家團隊（JVET）和ISO/IEC JTC1/SC29/WG11（MPEG）目前正在建立下一代視訊編碼標準多功能視訊編碼（VVC）。VVC工作草案（WD）3中採用了一些有前景的新編碼工具。在JVET會議中通過的一項提案中，指定了一個圖塊組來代替HEVC標準中的經典的片。圖塊組是圖片中按光柵掃描順序的圖塊序列，而圖塊是覆蓋圖片的矩形區域的CTU序列。第2圖示出了使用由列邊界分隔的三列和由行邊界分隔的四行的圖塊劃分的示例。第2圖中的視訊圖片被劃分為12個圖塊，並且根據光柵掃描順序將這12個圖塊分組為3個圖塊組。在第2圖所示的示例中，視訊圖片由18×12個亮度CTB組成，各個圖塊由6×3個亮度CTB組成。第一圖塊組202由前兩個圖塊（具有淺灰色背景）組成，第二圖塊組204由後續的5個圖塊（具有白色背景）組成，第三圖塊組206由剩餘的5個圖塊（具有深灰色背景）組成。以下偽代碼例示了在圖片參數集、圖塊組頭和通用圖塊組資料語法中示意（signaled）的資訊，以實現JVET會議中提出的圖塊組。對於各個圖塊組，在圖塊組頭中示意的語法元素num_tiles_in_tile_group_minus1表示圖塊組內的圖塊數。圖片參數設定RBSP語法

	pic_parameter_set_rbsp( ) {	描述符
	pps_pic_parameter_set_id	ue(v)
	pps_seq_parameter_set_id	ue(v)
	transform_skip_enabled_flag	u(1)
	single_tile_in_pic_flag	u(1)
	if( !single_tile_in_pic_flag ) {
	num_tile_columns_minus1	ue(v)
	num_tile_rows_minus1	ue(v)
	uniform_tile_spacing_flag	u(1)
	if( !uniform_tile_spacing_flag ) {
	for( i = 0; i > num_tile_columns_minus1; i++ )
	tile_column_width_minus1 [ i ]	ue(v)
	for( i = 0; i > num_tile_rows_minus1; i++ )
	tile_row_height_minus1 [ i ]	ue(v)
	}
	loop_filter_across_tiles_enabled_flag	u(1)
	}
rbsp_trailing_bits( )
}

圖塊組頭語法

tile_group_header( ) {	描述符
tile_group_pic_parameter_set_id	ue(v)
if( NumTilesInPic > 1 ) {
tile_group_address	u(v)
num_tiles_in_tile_group_minus1	ue(v)
}
tile_group_type	ue(v)
if ( tile_group_type != I ) {
log2_diff_ctu_max_bt_size	ue(v)
if( sps_sbtmvp_enabled_flag ) {
sbtmvp_size_override_flag	u(1)
if( sbtmvp_size_override_flag )
log2_sbtmvp_active_size_minus2	u(3)
}
if( sps_temporal_mvp_enabled_flag )
tile_group_temporal_mvp_enabled_flag	u(1)
if( tile_group_type = = B )
mvd_l1_zero_flag	u(1)
if( tile_group_temporal_mvp_enabled_flag ) {
if( tile_group_type = = B )
collocated_from_l0_flag	u(1)
}
six_minus_max_num_merge_cand	ue(v)
}
dep_quant_enabled_flag	u(1)
if( !dep_quant_enabled_flag )
sign_data_hiding_enabled_flag	u(1)
if( num_tiles_in_tile_group_minus1 > 0 ) {
offset_len_minus1	ue(v)
for( i = 0; i > num_tiles_in_tile_group_minus1; i++ )
entry_point_offset_minus1 [ i ]	u(v)
}
byte_alignment( )
}

通用圖塊組頭語法

tile_group_data( ) {	描述符
tileIdx = tile_group_address
for( i = 0; i >= num_tiles_in_tile_group_minus1; i++, tileIdx++ ) {
ctbAddrInTs = FirstCtbAddrTs[ tileIdx ]
for( j = 0; j > NumCtusInTile[ tileIdx ]; j++, ctbAddrInTs++ ) {
CtbAddrInRs = CtbAddrTsToRs[ ctbAddrInTs ]
coding_tree_unit( )
}
end_of_tile_one_bit /* equal to 1 */	ae(v)
if( i > num_tiles_in_tile_group_minus1 )
byte_alignment( )
}
}

在視訊編碼系統中處理視訊資料的方法和裝置接收與當前視訊圖片相關的輸入資料，將當前視訊圖片劃分為不重疊的矩形圖塊，將當前視訊圖片中的圖塊分組為一個或更多個圖塊組，並對當前視訊圖片內的圖塊組中的視訊資料進行編碼或解碼。各個圖塊組包含整數個圖塊，並且所有圖塊組的形狀都被約束為矩形。在一些實施方式中，按光柵掃描連續處理各個圖塊組內的圖塊。在一個實施方式中，各個圖塊包含預定數量的CTU，並且CTU的大小是固定的，因此圖塊的大小也是固定的。

在一些實施方式中，在視訊位元流中示意或從視訊位元流中解析第一標誌，該第一標誌指示是否跨圖塊組邊界執行一個或更多個濾波操作。如果第一標誌指定可以跨圖塊組邊界執行一個或更多個濾波操作，則跨當前視訊圖片中的一個或更多個圖塊組之間的圖塊組邊界執行一個或更多個濾波操作。如果第一標誌指定不可以跨圖塊組邊界執行一個或更多個濾波操作，則僅在各個圖塊組內執行一個或更多個濾波操作，而不跨圖塊組邊界執行一個或更多個濾波操作。濾波操作的一些示例包括去塊濾波器操作、樣本自我調整偏移濾波器操作和自我調整環路濾波器操作中的一者或組合。在視訊位元流的序列級別、圖片級別或片級別中示意或從視訊位元流的序列級別、圖片級別或片級別中解析第一標誌。例如，在序列參數集、圖片參數集或片頭中示意第一標誌或從序列參數集、圖片參數集或片頭中解析第一標誌。在一個實施方式中，還在視訊位元流中示意或從視訊位元流中解析第二標誌，該第二標誌指示是否跨圖塊邊界執行一個或更多個濾波操作。如果第二標誌指定可以跨圖塊邊界執行一個或更多個濾波操作，則跨當前視訊中的圖塊之間的圖塊邊界執行一個或更多個濾波操作。如果第二標誌指定不能跨圖塊邊界執行一個或更多個濾波操作，則僅在各個圖塊內執行一個或更多個濾波操作，而不跨圖塊執行一個或更多個濾波操作。在一個實施方式中，僅當第二標誌指示跨圖塊邊界執行一個或更多個濾波操作時，才示意或解析第一標誌。根據一些實施方式，針對各個圖塊組示意或解析兩個語法元素，一個語法元素是以圖塊數表示的該圖塊組的寬度，而另一個語法元素是以圖塊數表示的該圖塊組的高度。使用這兩個語法元素來示意或得出每個圖塊組的大小。

在本發明的一個實施方式中，視訊編碼系統示意或解析矩形圖塊組標誌，並且當矩形圖塊組標誌為真時，所有圖塊組被約束為具有矩形形狀；或者當矩形圖塊組標誌為假時，圖塊組不被約束為具有矩形形狀。如果矩形圖塊組標誌為真，則使用兩個語法元素來示意或得出各個圖塊組的大小，並且圖塊組的兩個語法元素分別表示圖塊組的寬度和圖塊組的高度。如果矩形圖塊標誌為假，則使用一個語法元素來示意或得出各個圖塊組的大小，並且圖塊組的該語法元素表示該圖塊組內的圖塊數。在一些實施方式中，當前視訊圖片中的圖塊組不被約束為具有相同的大小。

在一些其他實施方式中，在視訊編碼系統中處理視訊資料的方法和裝置包括：接收與當前視訊圖片相關的輸入資料；將當前視訊圖片劃分為非重疊的矩形圖塊，將圖塊分組為一個或更多個圖塊組；示意或解析第一標誌，該第一標誌表示是否跨圖塊組之間的圖塊組邊界執行一個或更多個濾波操作，並對當前視訊圖片內的圖塊組中的視訊資料進行編碼或解碼。各個圖塊組包含整數個圖塊。如果第一標誌指定可以跨圖塊組邊界執行濾波，則跨圖塊組之間的圖塊組邊界執行一個或更多個濾波操作。如果第一標誌指定不可以跨圖塊組邊界執行濾波，則僅在各個圖塊組內執行一個或更多個濾波操作。濾波操作的一些示例包括去塊濾波器操作、樣本自我調整偏移濾波器和自我調整環路濾波器操作中的一者或組合。可以在視訊位元流的序列級別、圖片級別或片級別中示意第一標誌或者從視訊位元流的序列級別、圖片級別或片級別中解析第一標誌。在一些實施方式中，示意或解析第二標誌以指示是否跨圖塊邊界執行一個或更多個濾波操作。僅當第二標誌指示跨圖塊邊界執行一個或更多個濾波操作時，才示意或解析第一標誌。當前視訊圖片中的圖塊組可以是光柵掃描圖塊組或矩形圖塊組，其中矩形圖塊組的形狀被約束為矩形或正方形。

本公開的各方面還提供一種用於視訊編碼系統通過以下方式對視訊資料進行編碼或解碼的裝置：接收與當前視訊圖片相關的輸入資料，將當前視訊圖片劃分為非重疊的矩形圖塊，將當前的視訊圖片中的圖塊分組為一個或更多個矩形圖塊組，並對當前視訊圖片內的矩形圖塊組中的視訊資料進行編碼或解碼。各個矩形圖塊組包含整數個圖塊，並且所有矩形圖塊組的形狀都被約束為矩形。

本公開的各方面還提供了一種非暫時性電腦可讀介質，其存儲程式指令，以使裝置的處理電路執行用於處理屬於當前視訊圖片中的矩形圖塊組的視訊資料的視訊編碼處理。通過閱讀下面對特定實施方式的描述，本發明的其他方面和特徵對於本領域普通技術人員將變得顯而易見。

將容易地理解，如本文的附圖中總體上描述和例示的，本發明的元件可以以各種不同的配置來佈置和設計。因此，如附圖所示，以下對本發明的系統和方法的實施方式的更詳細的描述並非旨在限制要求保護的本發明的範圍，而僅表示本發明的選定實施方式。

在整個說明書中對“實施方式”、“一些實施方式”或類似語言的引用意味著結合實施方式描述的特定特徵、結構或特性可以包括在本發明的至少一個實施方式中。因此，在整個說明書中各處出現的短語“在實施方式中”或“在一些實施方式中”並不一定全都指同一實施方式，這些實施方式可以單獨實現或與一個或更多個其他實施方式結合實現。此外，所描述的特徵、結構或特性可以在一個或更多個實施方式中以任何合適的方式組合。然而，相關領域的技術人員將認識到，可以在沒有一個或更多個特定細節的情況下，或者在利用其他方法、元件等的情況下實踐本發明。在其他情況下，公知的結構或操作未被示出或詳細描述，以避免模糊本發明的方面。

矩形圖塊組 除了先前提出的光柵掃描圖塊組之外，本發明的實施方式採用矩形圖塊組來代替HEVC標準中使用的傳統圖塊和片。矩形圖塊組也可以被稱為片，因為它可以使用現有的片頭。矩形圖塊組包含整數個圖塊，並且矩形圖塊組的形狀必須為矩形。在一些實施方式中，正方形（square）可以也被視為矩形的一種。視訊圖片中的矩形圖塊組可能具有不同的大小或面積。矩形圖塊組中的各個圖塊包含預定數量的CTU，例如，各個圖塊包含5×4個CTU。在第3圖中示出了根據本發明的實施方式的將視訊圖片劃分為12個圖塊的示例。第3圖中的12個圖塊被聚集在3個矩形圖塊組302、304和306中。矩形圖塊組302包含1×4個圖塊（具有深灰色背景），矩形圖塊組304包含2×2個圖塊（具有淺灰色背景），矩形圖塊組306也包含2×2個圖塊（具有白色背景）。在該示例中，各個矩形圖塊組都由四個圖塊組成，但是矩形圖塊組的大小並不都相同。在此示例中，圖塊的大小被固定為6×3個CTU。編碼或解碼處理順序是矩形圖塊組302，然後是矩形圖塊組304，最後是矩形圖塊組306。在一些實施方式中，按光柵掃描連續處理各個矩形圖塊組中的圖塊，並且也按光柵掃描連續處理各個圖塊中的CTU。矩形圖塊組與第2圖所示的常規圖塊組不同，因為各個矩形圖塊組的形狀都被約束為正方形或矩形。第2圖中的視訊圖片按光柵掃描順序被劃分成三個圖塊組，因此，三個常規圖塊組的形狀不限於矩形或正方形。在一些實施方式中，圖片可以被劃分成若干個矩形子圖片，並且採用矩形圖塊組可以被應用於這種用例。

用於跨 圖塊組 邊界進行濾波處理的標誌 視訊編碼器或視訊解碼器的一些實施方式將視訊圖片劃分為一個或更多個圖塊組，並示意或解析第一標誌，該第一標誌指示是否跨圖塊組邊界執行一個或更多個濾波操作。根據本發明的一些實施方式，一個或更多個濾波操作包括去塊濾波器（DF）、樣本自我調整偏移（SAO）濾波器和自我調整環路濾波器（ALF）中的一者或組合。例如，取決於第一標誌的值，跨圖塊組邊界執行SAO處理或者在各個圖塊組內獨立地執行SAO處理。在一些實施方式中，指示是否跨圖塊組邊界執行一個或更多個濾波操作的第一標誌可以在序列級別、圖片級別或片級別（諸如，序列參數集（SPS）、圖片參數集（PPS）或片頭）傳輸。在採用第一標誌來控制一個或更多個濾波操作的一個實施方式中，由於矩形圖塊組的形狀被約束為矩形或正方形，因此圖塊組是矩形圖塊組。在採用第一標誌的另一實施方式中，由於光柵掃描圖塊組的形狀未被約束為矩形或正方形，因此圖塊組是光柵掃描圖塊組。在本發明的一些實施方式中，還傳輸信號或解析第二標誌，該第二標誌指示是否跨圖塊邊界執行一個或更多個濾波操作。例如，在序列級別、圖片級別或片級別中傳輸信號第二標誌或從序列級別、圖片級別或片級別解析第二標誌。在一個實施方式中，僅當第二標誌指示可以跨圖塊邊界執行一個或更多個濾波操作時，才傳輸信號或解析指示是否跨圖塊組邊界執行一個或更多個濾波操作的第一標誌。在示例性實施方式中，通過將第一標誌和第二標誌都設置為真，可以跨圖塊邊界和圖塊組邊界兩者執行一個或更多個環內濾波操作。通過將第一標誌設置為假而將第二標誌設置為真，可以跨圖塊邊界但不跨圖塊組邊界執行一個或更多個環內濾波操作。通過將第一標誌和第二標誌都設置為假，則不跨圖塊邊界和圖塊組邊界兩者執行一個或更多個環內濾波操作。

用於採用矩形圖塊組的示例性偽代碼 以下偽代碼示出了採用矩形圖塊組來劃分視訊圖片以進行編碼或解碼的實施方式。在以下偽代碼中，在圖片參數集中示意出兩個標誌，以分別決定是否跨圖塊邊界和圖塊組邊界執行環內濾波操作。圖片參數集RBSP語法、圖塊組頭語法和通用圖塊組資料語法中的語法添加和修改如下突出所示。圖片參數集 RBSP 語法

pic_parameter_set_rbsp( ) {	描述符
pps_pic_parameter_set_id	ue(v)
pps_seq_parameter_set_id	ue(v)
transform_skip_enabled_flag	u(1)
single_ tile_in_pic_flag	u(1)
if( !single_tile_in_pic_flag ) {
num_tile_columns_minus1	ue(v)
num_tile_rows_minus1	ue(v)
uniform_tile_spacing_flag	u(1)
if( !uniform_tile_spacing_flag ) {
for( i = 0; i > num_tile_columns_minus1; i++ )
tile_ column_width_minus1 [ i ]	ue(v)
for( i = 0; i > num_tile_rows_minus1; i++ )
tile_ row_height_minus1 [ i ]	ue(v)
}
loop_filter_across_tiles_enabled_flag	u(1)
if(loop_filter_across_tiles_enabled_flag)
loop_filter_across_tile_groups_enabled_flag	u(1)
}
rbsp_trailing_bits( )
}

圖塊組頭語法

tile_group_header( ) {	描述符
tile_group_pic_parameter_set_id	ue(v)
if( NumTilesInPic > 1 ) {
tile_group_address	u(v)
rectangular_tile_group_enabled_flag	u(1)
If( rectangular_tile_group_enabled_flag ) {
num_tile_columns_in_tile_group_minus1	ue(v)
num_tile_rows_in_tile_group_minus1	ue(v)
} else
num_tiles_in_tile_group_minus1	ue(v)
}
tile_group_type	ue(v)
if ( tile_group_type != I ) {
log2_diff_ctu_max_bt_size	ue(v)
if( sps_sbtmvp_enabled_flag ) {
sbtmvp_size_override_flag	u(1)
if( sbtmvp_size_override_flag )
log2_sbtmvp_active_size_minus2	u(3)
}
if( sps_temporal_mvp_enabled_flag )
tile_group_temporal_mvp_enabled_flag	u(1)
if( tile_group_type = = B )
mvd _ l1 _ zero _flag	u(1)
if( tile_group_temporal_mvp_enabled_flag ) {
if( tile_group_type = = B )
collocated_from_l0_flag	u(1)
}
six_minus_max_num_merge_cand	ue(v)
}
dep_quant_enabled_flag	u(1)
if( !dep_quant_enabled_flag )
sign_data_hiding_enabled_flag	u(1)
if( num_tiles_in_tile_group_minus1 > 0 ) {
offset_len_minus1	ue(v)
for( i = 0; i > num_tiles_in_tile_group_minus1; i++ )
entry_point_offset_minus1 [ i ]	u(v)
}
byte_alignment( )
}

通用圖塊組資料語法

tile_group_data( ) {	描述符
If( rectangular_tile_group_enabled_flag ) {
tileIdx = tile_group_address
for( m = 0; m >= num_tile_rows_in_tile_group_minus1; m++, tileIdx++ )
for( i = 0; i >= num_tile_columns_in_tile_group_minus1; i++, tileIdx++ ) {
ctbAddrInTs = FirstCtbAddrTs[ tileIdx ]
for( j = 0; j > NumCtusInTile[ tileIdx ]; j++, ctbAddrInTs++ ) {
CtbAddrInRs = CtbAddrTsToRs[ ctbAddrInTs ]
coding_tree_unit( )
}
end_of_tile_one_bit /* equal to 1 */	ae(v)
if( i > num_tiles_in_tile_group_minus1 )
byte_alignment( )
}
tileIdx+= num_tile_columns_minus1
}
} else {
tileIdx = tile_group_address
for( i = 0; i >= num_tiles_in_tile_group_minus1; i++, tileIdx++ ) {
ctbAddrInTs = FirstCtbAddrTs[ tileIdx ]
for( j = 0; j > NumCtusInTile[ tileIdx ]; j++, ctbAddrInTs++ ) {
CtbAddrInRs = CtbAddrTsToRs[ ctbAddrInTs ]
coding_tree_unit( )
}
end_of_tile_one_bit /* equal to 1 */	ae(v)
if( i > num_tiles_in_tile_group_minus1 )
byte_alignment( )
}
}
}

標誌loop_filter_across_tile_groups_enabled_flag是第一標誌的示例，該第一標誌指示是否跨圖塊組邊界執行濾波操作。該實施方式中的標誌loop_filter_across_tile_group_enabled_flag是在當前圖片參數集（PPS）中示意的，該標誌等於1即指定跨參考當前PPS的圖片中的圖塊組邊界執行一個或更多個環內濾波操作，並且該標誌等於0即指定表示不跨參考當前PPS的圖片中的圖塊組邊界執行一個或更多個環內濾波操作。環內濾波的一些示例是去塊濾波器操作、樣本自我調整偏移濾波器操作和自我調整環路濾波器操作。當不存在標誌loop_filter_across_tile_group_enabled_flag時，該標誌的值被推斷等於1。標誌loop_filter_across_tiles_enabled_flag是第二標誌的示例，該第二標誌指示是否跨圖塊邊界執行濾波處理。該實施方式中的標誌loop_filter_across_tiles_enabled_flag也在當前PPS中示意，該標誌等於1即指定跨除參考當前PPS的圖片中的圖塊組邊界之外的圖塊邊界執行一個或更多個環內濾波操作，並且該標誌等於0即指定不跨圖塊邊界執行一個或更多個環內濾波操作。如果標誌loop_filter_across_tiles_enabled_flag不存在，則該標誌被推斷為等於1。在標誌loop_filter_across_tiles_enabled_flag等於0的情況下，標誌loop_filter_across_tile_groups_enabled_flag應為0，因此，如果不允許跨圖塊邊界執行環內濾波操作，則無法跨圖塊組邊界執行環內濾波操作。

在該實施方式中，圖塊組可以被限制為具有矩形形狀，或者可以不具有形狀限制。在當前圖塊組頭中示意標誌rectangle_tile_group_enabled_flag。該標誌等於1即指示當前圖塊組的區域為矩形形狀，該標誌等於0即指示當前圖塊組包含按圖片的光柵掃描順序的圖塊。當該標誌rectangle_tile_group_enabled_flag等於1時，使用兩個語法元素num_tile_columns_in_tile_group_minus1和num_tile_rows_in_tile_group_minus1來示意當前圖塊組的大小，否則，當標誌rectangle_tile_group_enabled_flag等於0時，使用一個語法元素num_tiles_in_tile_group_minus1來示意當前圖塊組的大小。語法元素num_tile_columns_in_tile_group_minus1通過將當前圖塊組的水平維度上的圖塊數減去1來表示當前圖塊組的寬度。語法元素num_tile_rows_in_tile_group_minus1通過將當前圖塊組中的垂直維度上的圖塊數減去1來表示當前圖塊組的高度。例如，num_tile_columns_in_tile_group_minus1等於3且num_tile_rows_in_tile_group_minus1等於2即表示當前圖塊組的大小等於4×3個圖塊。語法元素num_tile_columns_in_tile_group_minus1被約束在0至PicWidthInCtbsY-1的範圍（包含0和PicWidthInCtbsY-1）內，並且語法元素num_tile_rows_in_tile_group_minus1被約束在0至PicHeightInCtbsY-1的範圍（包含0和PicHeightInCtbsY-1）內。當語法元素num_tile_columns_in_tile_group_minus1和num_tile_rows_in_tile_group_minus1中的任一個沒有表示時，值被推斷為等於0。

示例性流程圖 第4圖是示出在視訊編碼系統中處理被劃分為矩形圖塊組的視訊圖片的本發明的實施方式的流程圖。在步驟S402中視訊編解碼系統接收當前視訊圖片的輸入資料，並且在步驟S404中將當前視訊圖片劃分為非重疊的矩形塊以用於視訊編碼或解碼。例如，各個圖塊包含預定數量的編碼樹單元。在步驟S406中視訊編解碼系統將當前視訊圖片中的圖塊分組為一個或更多個矩形圖塊組或光柵掃描圖塊組，其中各個矩形圖塊組包含整數個圖塊，並且矩形圖塊組的大小由以圖塊為單位的寬度和以圖塊為單位的高度表示。在步驟S408中，視訊編解碼系統檢查是否跨圖塊之間的圖塊邊界執行了一個或更多個環內濾波器操作。環內濾波器操作的實施方式包括去塊濾波器操作、樣本自我調整偏移濾波器操作和自我調整環路濾波器操作中的一者或組合。在步驟S410中，當在步驟S408中允許跨圖塊邊界進行濾波時，視訊編解碼系統還檢查是否跨圖塊組之間的圖塊組邊界執行一個或更多個環內濾波器操作。在步驟S412中，如果在步驟S410中也允許跨圖塊組邊界進行濾波，則在各個圖塊組內並且跨圖塊組邊界執行一個或更多個環內濾波器操作。在根據步驟S408不能跨圖塊邊界執行一個或更多個環內濾波操作的情況下，在步驟S414中視訊編解碼系統僅在各個圖塊內執行一個或更多個環內濾波操作，而不跨圖塊邊界或圖塊組邊界執行環內濾波操作。如果在步驟S410中不允許跨圖塊組邊界進行濾波，則在步驟S416中在各個圖塊組內執行一個或更多個環內濾波器操作，而不跨任何圖塊組邊界執行一個或更多個環內濾波器操作。在一個實施方式中，視訊編解碼系統假定始終跨圖塊之間的圖塊邊界執行一個或更多個環內濾波器操作，並且視訊編解碼系統僅檢查是否跨圖塊組邊界執行一個或更多個環內濾波器操作。在步驟S418中，對當前視訊圖片中的圖塊組進行編碼或解碼。

第5圖示出了用於實現本發明的實施方式的視訊編碼器500的示例性系統框圖。塊結構劃分模組510將當前視訊圖片劃分為不重疊的矩形圖塊，並且將這些矩形圖塊分組為圖塊組。圖塊組的形狀被約束為矩形（包括正方形）。幀內預測模組（Intra Prediction module）512基於當前視訊圖片的重構視訊資料來提供幀內預測器。幀間預測模組（Inter Prediction module）514基於參考來自其他一個或更多個視訊圖片的視訊資料來執行運動估計（ME）和運動補償（MC）以提供預測器。開關516從幀內預測模組512或幀間預測模組514中選擇預測器以提供給加法器518來形成殘差。殘差由變換模組（T）520、隨後由量化模組（Q）522進一步處理。量化模組522從變換模組520接收各個變換塊的變換係數，並根據量化參數對變換係數進行量化處理。然後，經變換的係數等級由熵編碼器534編碼以形成視訊位元流。然後，將視訊位元流與輔助資訊打包在一起。逆量化模組（IQ）524和逆變換模組（IT）526處理經變換和經量化的殘差信號以恢復預測殘差。如第5圖所示，通過在重構模組（REC）528處將殘差加回到所選擇的預測器來恢復該殘差，以產生重構視訊資料。重構視訊資料可以被存儲在參考圖片緩衝器（Ref. Pict. Buffer）532中，並被用於其他圖片的預測。來自REC模組528的重構視訊資料可能會由於編碼處理而遭受各種損害，因此，在將重構視訊資料存儲到參考圖片緩衝器532中之前，將環內處理濾波器（filter）530應用於重構視訊資料，以進一步提高圖片品質。在一些實施方式中，濾波器530跨圖塊邊界和圖塊組邊界、跨圖塊邊界但不跨圖塊組邊界、或者不跨圖塊邊界和圖塊組邊界兩者執行環內濾波操作。將分別指示是否跨圖塊邊界和圖塊組邊界執行環內濾波操作的兩個標誌提供給熵編碼器534以併入視訊位元流中。

在第6圖中示出了用於對由第5圖的視訊編碼器500生成的視訊位元流進行解碼的對應視訊解碼器600。視訊位元流是視訊解碼器600的輸入，並且由熵解碼器610進行解碼，以解析並恢復經變換和經量化的殘差信號以及其他系統資訊。塊結構劃分模組612將當前視訊圖片劃分為不重疊的正方形圖塊，並且將這些圖塊分組為矩形圖塊組以用於以後的處理。除了解碼器600僅需要幀間預測模組616中的運動補償預測以外，解碼器600的解碼處理類似於編碼器500處的重構環路。各個塊都由幀內預測模組614或幀間預測模組616進行解碼。開關618根據解碼的模式資訊從幀內預測模組614中選擇幀內預測器，或者從幀間預測模組616中選擇幀間預測器。逆量化模組（IQ）622和逆變換模組（IT）624恢復經變換和經量化的殘差信號。逆量化模組622根據變換塊的量化參數進行逆量化處理，以生成縮放的變換係數，並且逆變換模組624將縮放的變換係數從頻域轉換回採樣域。通過在重構（REC）模組620中加回所選的預測器，來重構恢復的殘餘信號，以產生重構視訊。重構視訊由環內處理濾波器（filter）626進一步處理以生成最終的解碼視訊。在一些實施方式中，一個標誌由熵解碼器610解析，並且濾波器626根據該標誌跨圖塊組邊界或不跨圖塊組邊界執行環內濾波操作。在一個實施方式中，熵解碼器610還解析另一個標誌，並且濾波器626根據該標誌跨圖塊邊界或不跨圖塊邊界執行環內濾波操作。如果當前解碼的圖片是參考圖片，則當前解碼的圖片的重構視訊也被存儲在參考圖片緩衝器628中，以供以後的圖片按解碼順序使用。

第5圖和第6圖中的視訊編碼器500和視訊解碼器600的各種元件可以由硬體元件、被配置為執行存儲在記憶體中的程式指令的一個或更多個處理器、或硬體和處理器的組合來實現。例如，處理器執行程式指令以控制對與當前視訊圖片相關的輸入資料的接收。處理器配備有一個或多個處理核心。在一些示例中，處理器執行程式指令以在編碼器500和解碼器600中的某些元件中執行功能，並且與處理器電連接的記憶體用於存儲程式指令、與塊的重構圖像相對應的資訊和/或在編碼或解碼處理中的中間資料。在一些實施方式中，記憶體包括非暫時性電腦可讀介質，例如半導體或固態記憶體、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、硬碟、光碟或其他合適的存儲介質。記憶體也可以是上面列出的兩個或更多個非暫時性電腦可讀介質的組合。如第5圖和第6圖所示，編碼器500和解碼器600可以在同一電子設備中實現，因此，如果在同一電子設備中實現，則編碼器500和解碼器600的各種功能元件可以被共用或重用。例如，第5圖中的重構模組528、逆變換模組526、逆量化模組524、環內處理濾波器530和參考圖片緩衝器532中的一者或更多者還可以分別用作第6圖中的重構模組620、逆變換模組624、逆量化模組622、環內處理濾波器626和參考圖片緩衝器628。

將視訊圖片劃分為矩形圖塊組的視訊資料處理方法的實施方式可以在集成到視訊壓縮晶片中的電路或集成到視訊壓縮軟體中的程式碼中實現，以執行上述處理。例如，可以在要在電腦處理器、數位訊號處理器（DSP）、微處理器或現場可程式設計閘陣列（FPGA）上執行的程式碼中實現將圖塊分組為矩形圖塊組。這些處理器可以被配置為通過執行定義本發明所體現的特定方法的機器可讀軟體代碼或固件代碼，來執行根據本發明的特定任務。

在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式來體現。所描述的示例在所有方面僅應被認為是說明性的而非限制性的。因此，本發明的範圍由所附權利要求而不是前述描述來表示。落入權利要求等同含義和範圍內的所有改變均應包含在權利要求的範圍之內。

112、114、116、118、120、122:片段 202:第一圖塊組 204:第二圖塊組 206:第三圖塊組 302、304、306:矩形圖塊組 S402-S416:步驟 500:視訊編碼器 510:塊結構劃分模組 512:幀內預測模組 514:幀間預測模組 516:開關 518:加法器 520:變換模組（T） 522:量化模組（Q） 534:熵編碼器 524:逆量化模組（IQ） 526:逆變換模組（IT） 528:重構模組（REC） 532:參考圖片緩衝器 530:濾波器 534:熵編碼器 600:視訊解碼器 610:熵解碼器 612:塊結構劃分模組 616:幀間預測模組 614:幀內預測模組 618:開關 622:逆量化模組（IQ） 624:逆變換模組（IT） 620:重構（REC）模組 626:濾波器 628:參考圖片緩衝器

將參考以下附圖來詳細描述作為示例提出的本公開的各種實施方式，其中，相同的標號表示相同的要素，並且其中：第1A圖示出了根據HEVC標準將視訊圖片劃分為2個圖塊和1個片的示例。第1B圖示出了根據HEVC標準將視訊圖片劃分為2個圖塊和3個片的示例。第2圖示出了將視訊圖片劃分為12個圖塊並根據光柵掃描順序將這12個圖塊分組為3個圖塊組的示例。第3圖示出了根據本發明的實施方式的將視訊圖片劃分為12個圖塊並將這12個圖塊分組為3個圖塊組的示例。第4圖是示出將當前視訊圖片劃分為圖塊並將這些圖塊分組為一個或更多個矩形圖塊組的本發明實施方式的流程圖。第5圖示出了根據本發明的實施方式的結合了視訊資料處理方法的視訊編碼系統的示例性系統框圖。第6圖示出了根據本發明的實施方式的結合了視訊資料處理方法的視訊解碼系統的示例性系統框圖。

S402-S416:步驟

Claims

一種在視訊編解碼系統中處理視訊資料的方法，所述方法包括：接收與當前視訊圖片相關的輸入資料；將所述當前視訊圖片劃分為不重疊的矩形圖塊；將所述當前視訊圖片中的所述圖塊分組為一個或更多個圖塊組，其中，各個圖塊組包含整數個圖塊，並且所有圖塊組的形狀被約束為矩形；以及對所述當前視訊圖片，以所述一個或更多個圖塊組中的視訊資料為單元進行編碼或解碼。
如申請專利範圍第1項所述之方法，其中，按光柵掃描順序來處理各個圖塊組內的圖塊。
如申請專利範圍第1項所述之方法，其中，各個圖塊包含預定數量的編碼樹單元(CTU)。
如申請專利範圍第1項所述之方法，其中，所述方法還包括：信號傳輸或解析第一標誌，所述第一標誌指示是否跨圖塊組邊界執行一個或更多個濾波操作；並且，如果所述第一標誌指定跨圖塊組邊界執行所述一個或更多個濾波操作，則跨所述當前視訊圖片中的所述圖塊組之間的圖塊組邊界執行所述一個或更多個濾波操作，或者如果所述第一標誌指定不跨圖塊組邊界執行所述一個或更多個濾波操作，則僅在各個圖塊組內執行所述一個或更多個濾波操作。
如申請專利範圍第4項所述之方法，其中，所述一個或更多個濾波操作包括去塊濾波器操作、樣本自我調整偏移濾波器操作和自我調整環路濾波器操作中的一者或組合。
如申請專利範圍第4項所述之方法，其中，在視訊位元流的序列級別、圖片級別或片級別中示意所述第一標誌或從視訊位元流的序列級別、圖片級別或片級別中解析所述第一標誌。
如申請專利範圍第4項所述之方法，其中，所述方法還包括：信號傳輸或解析第二標誌，所述第二標誌指示是否跨圖塊邊界執行一個或更多個濾波操作；並且，如果所述第二標誌指定跨圖塊邊界執行所述一個或更多個濾波操作，則跨所述當前視訊圖片中的所述圖塊之間的圖塊邊界執行所述一個或更多個濾波操作，或者如果所述第二標誌指定不跨圖塊邊界執行所述一個或更多個濾波操作，則僅在各個圖塊內執行所述一個或更多個濾波操作。
如申請專利範圍第7項所述之方法，其中，僅當所述第二標誌指示跨圖塊邊界執行所述一個或更多個濾波操作時，才信號傳輸或解析所述第一標誌。
如申請專利範圍第1項所述之方法，其中，所述方法還包括：信號傳輸或解析矩形圖塊組標誌；並且，當所述矩形圖塊組標誌為真時，所有圖塊組被約束為具有矩形形狀，或者當所述矩形圖塊組標誌為假時，所有圖塊組不被約束為具有矩形形狀。
如申請專利範圍第9項所述之方法，其中，如果所述矩形圖塊標誌為真，則使用兩個語法元素信號傳輸或得出各個圖塊組的大小，並且圖塊組的所述兩個語法元素表示所述圖塊組的寬度和高度；其中，如果所述矩形圖塊標誌為假，則使用一個語法元素示意或得出各個圖塊組的大小，並且圖塊組的該語法元素表示所述圖塊組內的圖塊數。
如申請專利範圍第1項所述之方法，其中，所述當前視訊圖片中的所述圖塊組不被約束為具有相同的大小。
如申請專利範圍第1項所述之方法，其中，所述方法還包括：針對各個圖塊組示意或解析兩個語法元素，一個語法元素是以圖塊數表示的該圖塊組的寬度，而另一個語法元素是以圖塊數表示的該圖塊組的高度。
一種在視訊編碼系統中處理視訊資料的方法，所述方法包括：接收與當前視訊圖片相關的輸入資料；將所述當前視訊圖片劃分為不重疊的矩形圖塊；將所述當前視訊圖片中的所述圖塊分組為一個或更多個圖塊組，其中，各個圖塊組包含整數個圖塊，信號傳輸或解析第一標誌，所述第一標誌指示是否跨所述圖塊組之間的圖塊組邊界執行一個或更多個濾波操作；如果所述第一標誌指定跨圖塊組邊界執行所述一個或更多個濾波操作，則跨所述當前視訊圖片中的所述圖塊組之間的圖塊組邊界執行所述一個或更多個濾波操作，或者如果所述第一標誌指定不跨圖塊組邊界執行所述一個或更多個濾波操作，則僅在各個圖塊組內執行所述一個或更多個濾波操作；以及對所述當前視訊圖片內的所述一個或更多個圖塊組中的視訊資料進行編碼或解碼。
如申請專利範圍第13項所述之方法，其中，所述一個或更多個濾波操作包括去塊濾波器操作、樣本自我調整偏移濾波器操作和自我調整環路濾波器操作中的一者或組合。
如申請專利範圍第13項所述之方法，其中，在視訊位元流的序列級別、圖片級別或片級別中信號傳輸所述第一標誌或從視訊位元流的序列級別、圖片級別或片級別中解析所述第一標誌。
如申請專利範圍第15項所述之方法，其中，所述方法還包括：信號傳輸或解析第二標誌，所述第二標誌指示是否跨圖塊邊界執行一個或更多個濾波操作；並且，如果所述第二標誌指定跨圖塊邊界執行所述一個或更多個濾波操作，則跨所述當前視訊圖片中的所述圖塊之間的圖塊邊界執行所述一個或更多個濾波操作，或者如果所述第二標誌指定不跨圖塊邊界執行所述一個或更多個濾波操作，則僅在各個圖塊內執行所述一個或更多個濾波操作。
如申請專利範圍第16項所述之方法，其中，僅當所述第二標誌指示跨圖塊邊界執行所述一個或更多個濾波操作時，才示意或解析所述第一標誌。
如申請專利範圍第13項所述之方法，其中，所述當前視訊圖片中的所述圖塊組是光柵掃描圖塊組或矩形圖塊組，並且所述矩形圖塊組的形狀被約束為矩形或正方形。
一種在視訊編碼系統中處理視訊資料的裝置，所述裝置包括一個或更多個電子電路，所述電子電路被配置為：接收與當前視訊圖片相關的輸入資料；將所述當前視訊圖片劃分為不重疊的矩形圖塊；將所述當前視訊圖片中的所述圖塊分組為一個或更多個圖塊組，其中，各個圖塊組包含整數個圖塊，並且所有圖塊組的形狀被約束為矩形；以及對所述當前視訊圖片，以所述一個或更多個圖塊組中的視訊資料為單元進行編碼或解碼。