TWI750802B

TWI750802B - 視訊編解碼方法及裝置

Info

Publication number: TWI750802B
Application number: TW109131117A
Authority: TW
Inventors: 徐志瑋; 魯林陳; 黃毓文
Original assignee: 聯發科技股份有限公司
Priority date: 2019-09-10
Filing date: 2020-09-10
Publication date: 2021-12-21
Also published as: TW202116068A; CN114375579A; EP4005205A4; WO2021047590A1; EP4005205A1; KR20220045231A; MX2022002854A

Abstract

本發明提供了一種用於發送編碼視訊的子圖像結構的方法。視訊解碼器從位元流接收將被解碼為視訊圖像序列的資料。視訊解碼器從位元流中接收視訊圖像序列中一個或多個子圖像的子圖像規範。藉由對每個子圖像提供標識一編碼樹單元(coding tree unit，簡稱CTU)的索引，該子圖像規範標識每個子圖像的位置和尺寸。根據子圖像規範，視訊解碼器重構視訊圖像序列的每個子圖像。

Description

視訊編解碼方法及裝置

本發明涉及視訊編解碼，更具體的是，本發明涉及的是發送子圖像結構的方法。

除非此處另有說明，本部分所描述的方法相對於以下列出的申請專利範圍而言不是先前技術，并且透過本部分的引入不被承認是先前技術。

高效視訊編解碼(high-efficiency video coding，簡稱HEVC)是由視訊編解碼聯合協作團隊(Joint Collaborative Team on Video Coding，簡稱JCT-VC)開發的最新國際視訊編解碼標準。輸入視訊訊號從重構訊號中預測，該重構訊號是從編解碼圖像區域中導出的。預測殘差訊號藉由線性變換進行處理。變換係數被量化，並與位元流中的其他輔助資訊一起被熵編碼。在逆量化的變換係數被逆變換之後，重構訊號從預測訊號和重構殘差訊號生成。藉由環路濾波，重構訊號被進一步處理以去除編解碼偽像。解碼的圖像被存儲在幀緩衝器中以預測輸入視訊訊號中的未來圖像。

在HEVC中，編碼的圖像被劃分為由相關聯的編解碼樹單元(coding tree unit，簡稱CTU)表示的非重疊(non-overlapped)正方形塊區域。編碼的圖像由片段的集合來表示，每個片段包括整數個CTU。片段中的各個CTU按光柵掃描順序(raster scanning order)進行處理。雙向預測(bi-predictive，簡稱B)片段可使用最多兩個運動向量和參考索引來藉由幀內預測或幀間預測來解碼，以預測每個塊的採樣值。預測（predictive，簡稱P）片段可使用最多一個運動向量和參考索引來藉由幀內預測或幀間預測解碼，以預測每個塊的樣本值。幀內（intra，簡稱I）片段僅使用幀內預測來進行解碼。

藉由遞迴四叉樹（quadtree，簡稱QT）結構，CTU可被劃分為多個不重疊的編碼單元（coding unit，簡稱CU），以適應各種局部運動和紋理特徵。藉由使用二進位和三進位劃分的具有嵌套多類型樹的四叉樹，CTU也可被劃分為一個或多個較小尺寸的CU。所得的CU劃分可以是正方形或矩形形狀。

一個或多個預測單元（prediction，簡稱PU）被指定用於每個CU。預測單元與相關聯的CU語法一起，作為用於發送預測子資訊的基本單元。指定的預測過程被用來預測PU內部相關聯的像素樣本的值。CU可使用殘差四叉樹（residual quadtree，簡稱RQT）結構來進一步劃分，以用於表示相關聯的預測殘差訊號。RQT的葉節點對應於變換單元（transform unit，簡稱TU）。變換單元包括大小為8x8、16x16或32x32的亮度樣本的變換塊（transform block，簡稱TB）或四個大小為4x4的亮度樣本的變換塊，以及4：2：0顏色格式的圖像的色度樣本的兩個相應的變換塊。整數變換被應用於變換塊，並且量化係數的段位（level））值與其他輔助資訊一起被熵編碼為位元流。

術語編碼樹塊（coding tree block，簡稱CTB），編碼塊（coding block，簡稱CB），預測塊（prediction block，簡稱PB）和變換塊（transform block，簡稱TB）被定義為指定與CTU，CU，PU和TU相關聯的顏色分量的2-D樣本陣列。因此，CTU由一個亮度CTB，兩個色度CTB和相關的語法元素組成。類似的關係對於CU，PU和TU有效。樹分割通常同時應用於亮度和色度，但是當達到色度的特定最小尺寸時會是例外。

以下發明内容僅是説明性的，不打算以任何方式加以限制。也就是說，以下發明内容被提供以介紹此處所描述的新且非顯而易見的技術的概念、重點、好處和優勢。選擇而不是所有的實施方式在以下的詳細説明中進行進一步描述。因此，以下發明内容不用於決定所請求主題的本質特徵，也不用於決定所請求主題的範圍。

一些實施例提供了一種用於發送編碼視訊的子圖像結構的方法。視訊解碼器從位元流中接收將被解碼為視訊圖像序列的資料。視訊解碼器從位元流中接收視訊圖像序列中一個或多個子圖像的子圖像規範。子圖像規範藉由對每個子圖像提供一索引來標識每個子圖像的位置和尺寸，其中該索引以光柵掃描的順序來標識圖像內的編解碼樹單元（CTU）。視訊解碼器根據子圖像規範重構視訊圖像序列的每個子圖像。

在一些實施例中，視訊圖像序列的序列參數集合（seuence parameter set，簡稱SPS）中的語法元素指示在視訊圖像序列中存在一個或多個子圖像。SPS還可包括一語法元素，該語法元素指定視訊圖像序列的子圖像的數量，以及每個子圖像的識別字。子圖像的識別字也可在視訊圖像序列中的視訊圖像的片段報頭和/或圖像參數集合（picture parameter sets，簡稱PPS）中發送。在一些實施例中，視訊圖像序列中的視訊圖像的PPS中的一語法元素指示視訊圖像的所有片段都是矩形的。

在一些實施例中，圖像內以光柵掃描所識別的CTU位於子圖像的角（例如，左上或右下）。在一些實施例中，索引被分配給圖像內以光柵掃描的子圖像網格，並且不同的子圖像網格被分配不同的索引。在一些實施例中，索引標識被定義為一個CTU或與一個CTU相對應的子圖像網格，使得子圖像網格的邊界沿著CTU的邊界定義。在一些實施例中，子圖像位置和尺寸的索引在視訊圖像序列的SPS中發送。

在以下詳細描述中，許多具體細節藉由示例來闡述，以提供對相關教導的透徹理解。基於本文描述的教導的任何變化，衍生物和/或擴展都在本公開的保護範圍內。在一些實例中，與本文公開的一個或多個示例實現有關的公知方法，過程，組件和/或電路可以在沒有細節的情況下以相對較高的級別描述，以避免不必要地模糊本公開的教導的各方面。 I. 發送子圖像結構

子圖像是圖像中一個或多個片段的矩形區域，並且片段由一個或多個圖塊（tile）/磚塊（brick）組成。每個圖塊/磚塊都是CTU對齊的。當子圖像存在於圖像中時，子圖像的數量可以大於或等於2。形成子圖像的片段可以是矩形的。在一些實施例中，藉由對每個子圖像在圖像內以光柵掃描的順序指示右下子圖像網格索引，以CTB為單位的網格被用來指定圖像內的子圖像結構。

在一些實施例中，視訊編碼器可發送子圖像規範（並且視訊解碼器可接收子圖像規範）。以下的表1A是用於發送子圖像資訊的序列參數集合（SPS）原始位元組序列有效載荷（raw byte sequence payload，簡稱RBSP）的示例語法表：表1A：SPS發送子圖像資訊

seq_parameter_set_rbsp( ) {	描述符
sps_decoding_parameter_set_id	u(4)
sps_video_parameter_set_id	u(4)
sps_max_sub_layers_minus1	u(3)
sps_reserved_zero_5bits	u(5)
profile_tier_level( sps_max_sub_layers_minus1 )
gdr_enabled_flag	u(1)
sps_seq_parameter_set_id	ue(v)
chroma_format_idc	ue(v)
if( chroma_format_idc = = 3 )
separate_colour_plane_flag	u(1)
pic_width_max_in_luma_samples	ue(v)
pic_height_max_in_luma_samples	ue(v)
subpics_present_flag	u(1)
if( subpics_present_flag ) {
max_subpics_minus1	u(8)
subpic_grid_col_width_minus1	u(v)
subpic_grid_row_height_minus1	u(v)
for( i = 0; i ＜ NumSubPicGridRows; i++ )
for( j = 0; j ＜ NumSubPicGridCols; j++ )
subpic_grid_idx [ i ][ j ]	u(v)
for( i = 0; i ＜= NumSubPics; i++ ) {
subpic_treated_as_pic_flag [ i ]	u(1)
loop_filter_across_subpic_enabled_flag [ i ]	u(1)
}
}
bit_depth_luma_minus8	ue(v)
bit_depth_chroma_minus8	ue(v)
…
sps_extension_flag	u(1)
if( sps_extension_flag )
while( more_rbsp_data( ) )
sps_extension_data_flag	u(1)
rbsp_trailing_bits( )
}

以下的表1B是序列參數集合（SPS）原始位元組序列有效載荷（RBSP）的另一示例語法表，該語法表提供子圖像的規範。表 1B ： SPS 指定子圖像

seq_parameter_set_rbsp( ) {	描述符
sps_decoding_parameter_set_id	u(4)
sps_video_parameter_set_id	u(4)
…
subpics_present_flag	u(1)
if( subpics_present_flag ) {
max_subpics_minus2	u(8)
subpic_grid_col_width_minus1	u(v)
subpic_grid_row_height_minus1	u(v)
for( i = 0; i ＜ NumSubPicGridRows; i++ )
for( j = 0; j ＜ NumSubPicGridCols; j++ )
subpic_grid_idx [ i ][ j ]	u(v)
for( i = 0; i ＜= NumSubPics; i++ ) {
subpic_treated_as_pic_flag [ i ]	u(1)
loop_filter_across_subpic_enabled_flag [ i ]	u(1)
}
}
bit_depth_luma_minus8	ue(v)
bit_depth_chroma_minus8	ue(v)
…
sps_extension_flag	u(1)
if( sps_extension_flag )
while( more_rbsp_data( ) )
sps_extension_data_flag	u(1)
rbsp_trailing_bits( )
}

以下的表1C是序列參數集合（SPS）原始位元組序列有效載荷（RBSP）的另一示例語法表，該語法表提供子圖像的規範：表 1C ： SPS 指定子圖像

seq_parameter_set_rbsp( ) {	描述符
sps_decoding_parameter_set_id	u(4)
sps_video_parameter_set_id	u(4)
…
subpics_present_flag	u(1)
if( subpics_present_flag ) {
num_subpics_minus2	u(8)
subpic_grid_col_width_minus1	u(v)
subpic_grid_row_height_minus1	u(v)
for( i = 0; i ＜ NumSubPicGridRows; i++ )
for( j = 0; j ＜ NumSubPicGridCols; j++ )
subpic_grid_idx [ i ][ j ]	u(v)
for( i = 0; i ＜= NumSubPics; i++ ) {
subpic_treated_as_pic_flag [ i ]	u(1)
loop_filter_across_subpic_enabled_flag [ i ]	u(1)
}
}
bit_depth_luma_minus8	ue(v)
bit_depth_chroma_minus8	ue(v)
…
sps_extension_flag	u(1)
if( sps_extension_flag )
while( more_rbsp_data( ) )
sps_extension_data_flag	u(1)
rbsp_trailing_bits( )
}

以下的表1D是序列參數集合（SPS）原始位元組序列有效載荷（RBSP）的另一示例語法表，該語法表提供子圖像的規範：表 1D ： SPS 指定子圖像

Seq_parameter_set_rbsp( ) {	描述符
sps_decoding_parameter_set_id	u(4)
sps_video_parameter_set_id	u(4)
sps_max_sub_layers_minus1	u(3)
sps_reserved_zero_5bits	u(5)
profile_tier_level( sps_max_sub_layers_minus1 )
gdr_enabled_flag	u(1)
sps_seq_parameter_set_id	ue(v)
chroma_format_idc	ue(v)
if( chroma_format_idc = = 3 )
separate_colour_plane_flag	u(1)
pic_width_max_in_luma_samples	ue(v)
pic_height_max_in_luma_samples	ue(v)
log2_ctu_size_minus5	u(2)
subpics_present_flag	u(1)
if( subpics_present_flag ) {
num_subpics_minus1	u(8)
signalled_subpic_grid_flag	u(1)
if( signalled_subpic_grid_flag ) {
subpic_grid_col_width_minus1	u(v)
subpic_grid_row_height_minus1	u(v)
}
else {
subpic_grid_col_width_minus1 = 0
subpic_grid_row_height_minus1 = 0
}
bottom_right_subpic_grid_idx_length_minus1	u(v)
for( i = 0; i ＜ num_subpics_minus1; i++ ) {
bottom_right_subpic_grid_idx_delta [ i ]	u(v)
if( i ＞ 0 )
subpic_grid_idx_delta_sign_flag [ i ]	u(1)
}
for( i = 0; i ＜ num_subpics_minus1; i++ ) {
subpic_treated_as_pic_flag [ i ]	u(1)
loop_filter_across_subpic_enabled_flag [ i ]	u(1)
}
}
bit_depth_luma_minus8	ue(v)
bit_depth_chroma_minus8	ue(v)
…
sps_extension_flag	u(1)
if( sps_extension_flag )
while( more_rbsp_data( ) )
sps_extension_data_flag	u(1)
rbsp_trailing_bits( )
}

語法元素subpics_present_flag為1表示子圖像參數當前存在於SPS RBSP語法中。在一些實施例中，當subpics_present_flag等於1時，rect_slice_flag的值被設置為1。語法元素subpics_present_flag為0指示在SPS RBSP語法中當前不存在子圖像參數。在一些實施例中，當位元流是子位元流提取處理的結果並且僅包含子位元流提取處理的輸入位元流的子圖像的子集合時，在SPS的RBSP中subpics_present_flag的值被設置為1。

語法元素max_subpics_minus2加2指定編解碼視訊序列（coded video sequence，簡稱CVS）中可能存在子圖像的最大數量。在一些實施例中，max_subpics_minus2被限制在0到254的範圍內。值255被保留供將來使用。

語法元素num_subpics_minus1加1指定CVS中可能存在的子圖像的數量。在一些實施例中，num_subpics_minus1的值被限制在0至254的範圍內。值255被保留以供將來使用。如表1D所示，藉由語法元素num_subpics_minus1，CVS中存在的子圖像的數量在SPS中直接被發送。

語法元素num_subpics_minus2加2指定CVS中可能存在的子圖像的數量。在一些實施例中，num_subpics_minus2的值被限制在0至254的範圍內。值255被保留以供將來使用。

語法元素subpic_grid_col_width_minus1加1指定子圖像識別字網格（不包括圖像的最右邊的網格列）的每個元素的寬度（以CtbSizeY為單位）。語法元素的長度為Ceil（Log2（pic_width_max_in_luma_samples/CtbSizeY））位元。如果不存在，則subpic_grid_row_width_minus1被推斷為0。

語法元素subpic_grid_row_height_minus1加1指定子圖像識別字網格(不包括圖像的底部網格行)中每個元素的高度(以CtbSizeY為單位)。語法元素的長度為Ceil(Log2(pic_height_max_in_luma_samples/CtbSizeY))位元。如果不存在，則subpic_grid_row_height_minus1被推斷為0。

變數NumSubPicGridRows的導出如下：NumSubPicGridRows=(pic_height_max_in_luma_samples+subpic_grid_row_height_minus1 * CtbSizeY+CtbSizeY-1)/(subpic_grid_row_height_minus1 * CtbSizeY+CtbSizeY)

語法元素bottom_right_subpic_grid_idx_length_minus1加1指定用於表示語法元素bottom_right_subpic_grid_idx_delta[i]的位元數量。bottom_right_subpic_grid_idx_length_minus1的值應在0到Ceil(Log2(NumSubPicGridRows * NumSubPicGridCols))-1的範圍，包括端點。

當i大於0時，變數bottom_right_subpic_grid_idx_delta[i]指定第i個子圖像的右下角的子圖像網格索引與第i-1個子圖像的右下角的子圖像網格索引之間的差值。變數bottom_right_subpic_grid_idx_delta[0]指定第0個子圖像的右下角的子圖像網格索引。

語法元素subpic_grid_idx_delta_sign_flag[i]等於1表示bottom_right_subpic_grid_idx_delta[i]的正號。sign_bottom_right_subpic_grid_idx_delta[i]等於0表示bottom_right_subpic_grid_idx_delta[i]的負號。

第1a-e圖概念性地示出基於CTB或CTU的網格單元，其用於指定視訊序列的子圖像。第1a圖示出包括幾個視訊圖像的編碼視訊序列(coded video sequence，簡稱CVS)100。序列100中的視訊圖像(例如圖像110)被分成CTU。第1b圖示出序列的圖像被劃分為用於指定子圖像的子圖像網格。每個子圖像網格120對應於整數個CTU，使得每個子圖像網格基於CTU或CTB的邊界來定義。第1c圖示出一個示例，其中每個子圖像網格120恰好對應於一個CTU或CTB。第1d圖示出其中每個子圖像網格120對應於2x1個CTU或CTB的示例。第1e圖示出一個示例，其中每個子圖像網格120對應於2×3個CTU或CTB。在一些實施例中，諸如Spic_grid_col_width_minus1和subpic_grid_row_height_minus1之類的SPS語法元素根據CTU或CTB來定義子圖像網格。另外，每個CTU或CTB的大小在SPS中以語法元素log2_ctu_size_minus5發送。

第2圖示出基於CTU或CTB的子圖像網格，其被索引以用於指定子圖像。圖像110中的每個子圖像網格對應於當視訊編解器正在發送子圖像的尺寸（例如，寬度，高度）和/或位置時可以使用的索引。子圖像識別字網格的指定元素以光柵掃描的順序進行索引。在一些實施例中，子圖像也以光柵掃描的順序進行索引。

如圖所示，序列100的圖像（例如圖像110）被定義為具有四個子圖像210、220、230和240，這些子圖像使用基於CTU或CTB的子圖像網格來定義。與子圖像網格相關聯的索引用於指定子圖像210-240的尺寸和位置。

在一些實施例中，基於與子圖像的角（例如，右下角或左上角）的子圖像網格相關聯的索引，每個子圖像的位置被指定。在該圖中，子圖像210的位置是索引27，子圖像220的位置是索引36，子圖像230的位置是索引79，子圖像240的位置是索引84。藉由參考另一子圖像的右下角位置，諸如bottom_right_subpic_grid_idx_delta [i]和subpic_grid_idx_delta_sign_flag [i]之類的SPS語法元素被用來指定子圖像的右下角位置。或者，在一些實施例中，每個基於CTU/CTB的子圖像網格可與X索引和Y索引相關聯，並且每個子圖像的位置可由子圖像的左上角的子圖像網格的X和Y索引指定。

在一些實施例中，在視訊參數集合（Video Parameter Set，簡稱VPS）中子圖像（在CVS中）的最大數量被指定。以下的表3是VPS的示例語法表，該語法表指定CVS中子圖像的最大數量。表3：VPS指定CVS中子圖像的最大數量

Video_parameter_set_rbsp( ) {	描述符
vps_video_parameter_set_id	u(4)
vps_max_layers_minus1	u(6)
vps_max_subpics_minus2	u(8)
if( vps_max_layers_minus1 ＞ 0 )
vps_all_independent_layers_flag	u(1)
for( i = 0; i ＜= vps_max_layers_minus1; i++ ) {
vps_layer_id [ i ]	u(6)
if( i ＞ 0 && !vps_all_independent_layers_flag ) {
vps_independent_layer_flag [ i ]	u(1)
if( !vps_independent_layer_flag[ i ] )
for( j = 0; j ＜ i; j++ )
vps_direct_dependency_flag [ i ][ j ]	u(1)
}
}
if( vps_max_layers_minus1 ＞ 0 ) {
vps_output_layers_mode	u(2)
if( vps_output_layers_mode = = 2 )
for( i = 0; i ＜ vps_max_layers_minus1; i++ )
vps_output_layer_flag [ i ]	u(1)
}
vps_constraint_info_present_flag	u(1)
vps_reserved_zero_7bits	u(7)
if( vps_constraint_info_present_flag )
general_constraint_info( )
vps_extension_flag	u(1)
if( vps_extension_flag )
while( more_rbsp_data( ) )
vps_extension_data_flag	u(1)
rbsp_trailing_bits( )
}

語法元素vps_max_subpics_minus2 加2（或vps_max_subpics_minus1加1）指定每個CVS中參考VPS的子圖像的最大允許數量。在一些實施例中，語法元素vps_max_subpics_minus2被限制在0至254的範圍內。值255被保留以供將來使用。

在一些實施例中，與子圖像相關的參數在圖像參數集合（Picture Paramter Set，簡稱PPS）中被發送。以下的表 4 示出了包括子圖像資訊的PPS的示例語法表。表 4:PPS 指定子圖像 ID

pic_parameter_set_rbsp( ) {	描述符
pps_pic_parameter_set_id	ue(v)
pps_seq_parameter_set_id	ue(v)
pic_width_in_luma_samples	ue(v)
pic_height_in_luma_samples	ue(v)
conformance_window_flag	u(1)
if( conformance_window_flag ) {
conf_win_left_offset	ue(v)
conf_win_right_offset	ue(v)
conf_win_top_offset	ue(v)
conf_win_bottom_offset	ue(v)
}
output_flag_present_flag	u(1)
single_ tile_in_pic_flag	u(1)
if( !single_tile_in_pic_flag ) {
uniform_tile_spacing_flag	u(1)
…
loop_filter_across_bricks_enabled_flag	u(1)
if( loop_filter_across_bricks_enabled_flag )
loop_filter_across_slices_enabled_flag	u(1)
}
if( rect_slice_flag ) {
signalled_slice_id_flag	u(1)
if( signalled_slice_id_flag ) {
signalled_slice_id_length_minus1	ue(v)
for( i = 0; i ＜= num_slices_in_pic_minus1; i++ )
slice_id [ i ]	u(v)
}
}
if(subpics_present_flag ) {
signalled_subpic_id_flag	u(1)
if( signalled_subpic_id_flag ) {
signalled_subpic_id_length_minus1	ue(v)
for( i = 0; i ＜= num_subpics_minus1; i++ )
subpic_id [ i ]	u(v)
}
}
entropy_coding_sync_enabled_flag	u(1)
…
slice_header_extension_present_flag	u(1)
pps_extension_flag	u(1)
if( pps_extension_flag )
while( more_rbsp_data( ) )
pps_extension_data_flag	u(1)
rbsp_trailing_bits( )
}

在一些實施例中，PPS中的語法元素rect_slice_flag 為0指定每個片段內的磚塊為光柵掃描順序並且在PPS中未發送片段資訊。語法元素rect_slice_flag為1表示每個片段中的磚塊覆蓋圖像的矩形區域，並且在PPS中發送片段資訊。當subpics_present_flag等於1時，rect_slice_flag的值應等於1。在一些實施例中，當brick_splitting_present_flag等於1時，將rect_slice_flag的值被設置為1。如果不存在，則語法元素rect_slice_flag被推斷為等於1。

語法元素signalled_subpic_id_flag 為1指定每個子圖像的子圖像ID被發送。語法元素signalled_subpic_id_flag 為0表示子圖像ID不被發送。如果不存在，則signalled_subpic_id_flag的值被推斷為等於0。

語法元素signalled_subpic_id_length_minus1 加1指定用於表示存在時語法元素subpic_id [i]的位元的數量，以及片段報頭中的語法元素subpicture_id。在一些實施例中，signalled_subpic_id_length_minus1的值被限制在0到7的範圍內（包括0和7）。如果不存在，則signalled_subpic_id_length_minus1的值被推斷為等於Ceil（Log2（Max（2，num_subpics_minus1 + 1）））− 1。

語法元素subpic_id [i]指定第i個子圖像的子圖像ID。subpuic_id [i]語法元素的長度為signalled_subpic_id_length_minus1 + 1位元。如果不存在，則對於在0到num_subpics_minus1（含0和num_subpics_minus1）的範圍內的每個i，subpic_id [i]的值均被推斷為等於i。具有相同子圖像ID的片段共同形成子圖像區域。

語法元素subpicture_id 指定當前片段所屬的子圖像ID。subpic_id語法元素的長度為Ceil（Log2（num_subpics_minus1 + 1））位元。subpicture_id的值是對PPS中指定的subpic_id [i]的映射。第i個子圖像的發送的子圖像ID subpic_id [i]可被加至PPS中，映射至PPS中的subpic_id [i]的發送的子圖像ID subpicure_id可被加至片段報頭中。以下的表 5 示出包括子圖像資訊的片段報頭的示例語法表。表5：片段報頭指定子圖像ID

slice_header( ) {	描述符
slice_pic_parameter_set_id	ue(v)
if( subpics_present_flag )
subpicture_id	u(v)
if( rect_slice_flag \| \| NumBricksInPic ＞ 1 )
slice_address	u(v)
if( !rect_slice_flag && !single_brick_per_slice_flag )
num_bricks_in_slice_minus1	ue(v)
non_reference_picture_flag	u(1)
slice_type	ue(v)
…
if( slice_header_extension_present_flag ) {
slice_header_extension_length	ue(v)
for( i = 0; i ＜ slice_header_extension_length; i++)
slice_header_extension_data_byte [ i ]	u(8)
}
byte_alignment( )
}

在一些實施例中，假設對於CVS子圖像ID不變，則子圖像ID可在CVS的片段標頭，PPS和/或SPS中發送。例如，根據以下的表 6 ，第i個子圖像的發送的子圖像ID subpic_id [i]可以在SPS（而不是PPS）中發送：表 6 ： SPS 指定子圖像 ID

Seq_parameter_set_rbsp( ) {
...
for( i = 0; i ＜ num_subpics_minus1; i++ ) {
subpic_id [ i ]	u(v)
subpic_treated_as_pic_flag [ i ]	u(1)
loop_filter_across_subpic_enabled_flag [ i ]	u(1)
}
}
...

II. 示例視訊編碼器

第3圖說明支援子圖像的實例視訊編碼器300。如圖所示，視訊編碼器300從視訊源305接收輸入視訊訊號，並將該訊號編碼為位元流395。視訊編碼器300具有若干元件或模組，其用於對來自視訊源305的訊號進行編碼，至少包括從以下元件中選擇的一些元件：變換模組310，量化模組311，逆量化模組314，逆變換模組315，幀内估計模組320，幀內預測模組325，運動補償模組330，運動估計模組335，環内濾波器345，重構圖像緩衝器350，MV緩衝器365和MV預測模組375，以及熵編碼器390。運動補償模組330和運動估計模組335是幀間預測模組340的一部分。

在一些實施例中，模組310-390是由計算設備或電子設備的一個或多個處理單元（例如，處理器）執行的軟體指令的模組。在一些實施例中，模組310-390是由電子設備的一個或多個積體電路（IC）實現的硬體電路的模組。儘管將模組310–390圖示為單獨的模組，但是其中一些模組可被組合為單個模組。

視訊源305提供原始視訊訊號（raw video signal），該原始視訊訊號無需壓縮即可呈現每個視訊幀的像素資料。減法器308計算視訊源305的原始視訊像素資料與來自運動補償模組330或幀內預測模組325的預測像素資料313之間的差值。變換模組310將該差值（或殘差像素資料或殘差訊號309）轉換成變換係數（例如，藉由執行離散余弦變換或DCT）。量化模組311將變換係數量化為量化資料（或量化係數）312，其由熵編碼器390編碼為位元流395。

逆量化模組314對量化資料（或量化係數）312進行逆量化以獲得變換係數，並且逆變換模組315對變換係數執行逆變換以產生重構殘差319。重構殘差319被加至預測像素資料313一起產生重構像素資料317。在一些實施例中，重構像素資料317被臨時存儲在行緩衝器（未示出）中，以用於幀內預測（intra-picture prediction）和空間MV預測。重構像素由環内濾波器345濾波並被存儲在重構圖像緩衝器350中。在一些實施例中，重構圖像緩衝器350是視訊編碼器300外部的記憶體。在一些實施例中，重構圖像緩衝器350是視訊編碼器300的内部記憶體。

幀内估計模組320基於重構像素資料317執行幀內預測以產生幀內預測資料。幀內預測資料被提供至熵編碼器390以被編碼為位元流395。幀內預測資料還由幀內預測模組325使用以產生預測像素資料313。

運動估計模組335藉由產生MV以對存儲在重構圖像緩衝器350中的先前解碼的幀的參考像素資料執行幀間預測。這些MV被提供至運動補償模組330以產生預測像素資料。

代替對位元流中的完整的實際MV進行編碼，視訊編碼器300使用MV預測生成預測的MV，並且用於運動補償的MV與預測的MV之間的差值被編碼為殘差運動資料並被存儲在位元流395。

MV預測模組375基於參考MV生成預測的MV，參考MV被生成以對先前的視訊幀進行編碼，即，用於執行運動補償的運動補償MV。MV預測模組375從MV緩衝器365中的先前視訊幀中取回參考MV。視訊編碼器300將對當前視訊幀生成的MV存儲在MV緩衝器365中，作為用於生成預測MV的參考MV。

MV預測模組375使用參考MV來創建預測的MV。預測MV可藉由空間MV預測或時間MV預測來計算。當前幀的預測MV和運動補償MV（motion compensation motion vector，簡稱MC MV）之間的差值（殘差運動資料）可由熵編碼器390編碼到位元流395中。

熵編碼器390使用諸如上下文自我調整二進位算術編碼(context-adaptive binary arithmetic coding，簡稱CABAC)或霍夫曼編碼的熵編碼技術將各種參數和資料編碼到位元流395中。熵編碼器390將各種報頭元素，標誌以及量化的變換係數312和殘差運動資料作為語法元素編碼到位元流395中。位元流395又被存儲在存放裝置中或經由通訊媒介(例如網路)傳輸到解碼器。

環內濾波器345對重構的像素資料317執行濾波或平滑操作以減少編碼的偽像，特別是在區塊的邊界處。在一些實施例中，執行的濾波操作包括樣本適應性偏移(sample adaptive offset，簡稱SAO)。在一些實施例中，濾波操作包括適應性環路濾波器(adaptive loop filter，簡稱ALF)。

第4圖概念性地示出視訊編碼器300的實施子圖像的發送的部分。如圖所示，熵編碼器390從視訊源305接收信令，該信令指定子圖像的參數410，該子圖像將存在於視訊圖像的當前編碼序列420中。這些參數410可指示當前編碼序列420中存在的子圖像的數量。參數410還可指示每個子圖像的位置和幾何形狀(高度，寬度和尺寸)。不同子圖像的量化係數312被提供至編碼器300的資料路徑。

基於子圖像的參數，熵編碼器390生成被用作位元流395中的子圖像規範的語法元素。這些語法元素可包括子圖像的識別字，子圖像的數量以及子圖像的位置和幾何形狀，並且子圖像的位置和幾何形狀根據基於CTB/CTU的子圖像網格來指定。這些語法元素可被存儲在當前編碼視訊序列420的SPS，視訊序列中的單個圖像的PPS，序列的圖像中的單個片段的片段報頭，和/或整個視訊的VPS中。這些語法元素的示例藉由參考以上的表1A-1D和3-6進行描述。

第5圖概念性地示出用於在視訊編碼器處提供子圖像規範的進程500。在一些實施例中，計算設備的一個或多個處理單元（例如，處理器）藉由執行存儲在電腦可讀介質中的指令來實現編碼器300執行進程500。在一些實施例中，實現解碼器300的電子設備執行進程500。

編碼器接收（在塊510處）位元流中將被編碼為視訊圖像序列的資料。編碼器在位元流中發送（在塊520）視訊圖像中的視訊圖像序列中一個或多個子圖像的子圖像規範。在一些實施例中，視訊圖像序列的SPS中的語法元素指示在視訊圖像序列中存在一個或多個子圖像。SPS還可包括語法元素，該語法元素指定視訊圖像序列的子圖像的數量，以及每個子圖像的識別字。子圖像的識別字也可在視訊圖像序列中在視訊圖像的片段報頭和/或PPS中發送。在一些實施例中，視訊圖像序列中的視訊圖像的PPS中的語法元素指示視訊圖像的所有片段都是矩形的。

藉由提供用於標識子圖像830的CTU的索引，編碼器標識（在塊530處）每個子圖像的位置和尺寸。

在一些實施例中，所標識的CTU位於子圖像的一角（例如，左上或右下）。在一些實施例中，索引被分配至子圖像網格，並且不同的子圖像網格被分配不同的索引。在一些實施例中，索引標識子圖像網格，該子圖像網格被定義為一個CTU或與一個CTU相對應，使得子圖像網格的邊界沿著CTU的邊界來定義。在一些實施例中，在視訊圖像序列的SPS中，子圖像位置的索引被發送。

根據子圖像規範，編碼器對視訊圖像序列的每個子圖像進行編碼（在塊540處）。 III. 示例視訊解碼器

第6圖示出支援子圖像的示例視訊解碼器600。如圖所示，視訊解碼器600是圖像解碼或視訊解碼電路，其接收位元流695並將位元流的內容解碼為視訊幀的像素資料以供顯示。視訊解碼器600具有用於解碼位元流695的若干元件或模組，包括從以下元件中選擇的一些元件：逆量化模組611，逆變換模組610，幀內預測模組625，運動補償模組630，環内濾波器645，解碼圖像緩衝器650，MV緩衝器665，MV預測模組675和解析器690。運動補償模組630是幀間預測模組640的一部分。

在一些實施例中，模組610-690是由計算設備的一個或多個處理單元（例如，處理器）執行的軟體指令的模組。在一些實施例中，模組610-690是由電子設備的一個或多個IC實現的硬體電路的模組。儘管模組610-690被圖示為單獨的模組，但是一些模組可被組合成單個模組。

解析器690（或熵解碼器）接收位元流695，並根據由視訊編解碼或圖像編解碼標準定義的語法執行初始解析。解析的語法元素包括各種報頭元素，標誌以及量化資料（或量化係數）612。解析器690使用諸如上下文自我調整二進位算術編解碼（contex-adaptive binary arithmetic coding，簡稱CABAC）或霍夫曼編碼的熵編解碼技術解析各種語法元素。

逆量化模組611對量化資料（或量化係數）612進行逆量化以獲得變換係數，並且逆變換模組610對變換係數616執行逆變換以產生重構殘差訊號619。重構殘差訊號619被加至來自幀內預測模組625或運動補償模組630的預測像素資料613，以生成解碼像素資料617。解碼像素資料由環内濾波器645濾波並被存儲在解碼圖像緩衝器650中。在一些實施例中，解碼圖像緩衝器650是視訊解碼器600外部的記憶體。在一些實施例中，解碼圖像緩衝器650是視訊解碼器600內部的記憶體。

幀內預測模組625從位元流695接收幀內預測資料，並據此從存儲在解碼圖像緩衝器650中的解碼像素資料617中生成預測像素資料613。在一些實施例中，解碼像素資料 617也被存儲在用於幀内預測（intra-picture prediction）和空間MV預測的行緩衝器（未示出）中。

在一些實施例中，解碼圖像緩衝器650的內容用於顯示。顯示裝置655或者取回解碼圖像緩衝器650的內容以直接顯示，或者將解碼圖像緩衝器的內容取回到顯示緩衝器。在一些實施例中，顯示裝置藉由像素傳輸從解碼圖像緩衝器650接收像素值。

運動補償模組630根據運動補償MV（MC MV）從存儲在解碼圖像緩衝器650中的解碼像素資料617中生成預測像素資料613。藉由將從位元流695接收到的殘差運動資料與從MV預測模組675接收到的預測MV相加，這些運動補償MV被解碼。

MV預測模組675基於參考MV生成預測的MV，參考MV被生成以解碼先前的視訊幀，例如，用於執行運動補償的運動補償MV。MV預測模組675從MV緩衝器665中取回先前視訊幀的參考MV。視訊解碼器600將用於解碼當前視訊幀而生成的運動補償MV存儲在MV緩衝器665中，作為用於產生預測MV的參考MV。

環内濾波器645對解碼的像素資料617執行濾波或平滑操作以減少解碼的偽像，特別是在區塊的邊界處。在一些實施例中，執行的濾波操作包括樣本自我調整偏移（sample adaptive offset，簡稱SAO）。在一些實施例中，濾波操作包括適應性環路濾波器（adaptive loop filter，簡稱ALF）。

第7圖概念性地示出視訊解碼器600的實施子圖像的發送的部分。如圖所示，熵解碼器690向視訊解碼器600的資料路徑提供量化係數612，視訊解碼器600又對不同的子圖像生成將在顯示裝置655處顯示的像素資料。顯示裝置可根據子圖像參數710顯示接收到的像素資料，其中子圖像參數710用於將在圖像的當前編碼序列720中出現的子圖像。參數710還可指示將在當前編碼的序列中出現的子圖像的數量。這些參數還可指示每個子圖像的位置和幾何形狀（大小，高度，寬度）。熵解碼器690基於從位元流695解碼的語法元素來提供子圖像參數。

如圖所示，熵解碼器（解析器）690從位元流695接收用作子圖像規範的語法元素。這些語法元素可包括子圖像的識別字，子圖像的數量以及子圖像的位置和幾何形狀，並且子圖像的位置和幾何形狀根據基於CTB / CTU的子圖像網格進行指定。這些語法元素可被存儲在當前編碼視訊序列720的SPS，視訊序列中的單個圖像的PPS，序列的圖像中的單個片段的片段報頭，和/或整個視訊的VPS中。這些語法元素的示例藉由參考以上的表1A-1D和3-6進行描述。

第8圖概念性地示出用於在視訊解碼器處處理子圖像規範的進程800。在一些實施例中，計算設備的一個或多個處理單元（例如，處理器）藉由執行存儲在電腦可讀介質中的指令來實現解碼器600執行進程800。在一些實施例中，實現解碼器600的電子設備執行進程800。

解碼器從位元流接收（在塊810處）將被解碼為視訊圖像序列的資料。解碼器從位元流接收（在塊820）視訊圖像序列中的一個或多個子圖像的子圖像規範。在一些實施例中，視訊圖像序列的SPS中的語法元素指示在視訊圖像序列中存在一個或多個子圖像。SPS還可包括語法元素，該語法元素指定視訊圖像序列的子圖像的數量，以及每個子圖像的識別字。子圖像的識別字也可在視訊圖像序列中視訊圖像的片段報頭和/或PPS中發送。在一些實施例中，視訊圖像序列中的視訊圖像的PPS中的語法元素指示視訊圖像的所有片段都是矩形的。

解碼器藉由提供標識該子圖像的CTU的索引來標識（在塊830處）每個子圖像的位置和尺寸。在一些實施例中，所標識的CTU位於子圖像的一角（例如，左上或右下）。在一些實施例中，索引被分配至子圖像網格，並且不同的子圖像網格被分配不同的索引。在一些實施例中，索引標識子圖像網格，該子圖像網格被定義為一個CTU或與一個CTU相對應，使得子圖像網格的邊界沿著CTU的邊界定義。在一些實施例中，子圖像位置的索引在視訊圖像序列的SPS中發送。

根據子圖像規範，解碼器重構（在塊840處）視訊圖像序列的每個子圖像。 IV. 示例電子系統

許多上述特徵和應用被實現為軟體過程，其被指定為記錄在電腦可讀記憶體介質(computer readable storage medium)（也稱為電腦可讀介質）上的指令集。當這些指令由一個或多個計算或處理單元（例如，一個或多個處理器，處理器核或其他處理單元）執行時，它們使處理單元執行指令中指示的動作。電腦可讀介質的示例包括但不限於唯讀光碟記憶體(compact disk read only memory, 簡稱CD-ROM)，隨身碟（flash drive），隨機存取記憶體（random-access memory, RAM）晶片，硬碟機，可抹除可程式唯讀記憶體（erasable programmable read only memory, 簡稱EPROM），電子式可抹除可程式設計唯讀記憶體（electrically erasable programmable read only memory, 簡稱EEPROM）。該電腦可讀介質不包括藉由無線或有線連接傳遞的載波和電訊號。

在本説明書中，術語“軟體”意味著包括唯讀記憶體中的韌體或者存儲在磁存儲裝置中的應用程式，該應用程式可以被讀入到記憶體中以用於處理器進行處理。同時，在一些實施例中，多個軟體發明可以作為更大程式的子部分來實現，而保留不同的軟體發明。在一些實施例中，多個軟體發明可以作為獨立的程式來實現。最後，一起實現此處所描述的軟體發明的獨立的程式的任何結合是在本發明的範圍内。在一些實施例中，當軟體程式被安裝以在一個或者多個電子系統上進行操作時，軟體程式定義了一個或者多個特定的機器實現方式，該機器實現方式執行和實施該軟體程式的操作。

第9圖概念性地示出實現本公開的一些實施例的電子系統900。電子系統1100可以是電腦（例如，臺式電腦，個人電腦，平板電腦等），電話，個人數位助理（personal digital assistant, 簡稱PDA）或任何其他種類的電子設備。這種電子系統包括各種類型的電腦可讀介質和用於各種其他類型的電腦可讀介質的介面。電子系統900包括匯流排905，處理單元910，圖形處理單元（graphics-processing unit, 簡稱GPU）915，系統記憶體920，網路925，唯讀記憶體930，永久存放裝置935，輸入裝置940和輸出裝置945。

匯流排905集體表示與電子系統900通訊地連接的眾多內部裝置的所有系統匯流排，外圍裝置匯流排和晶片組匯流排。例如，匯流排905藉由GPU915，唯讀記憶體930，系統記憶體920和永久存儲裝置935與處理單元910通訊地連接。

從這些各種記憶體單元，處理單元910取回要執行的指令和要處理的資料，以便執行本公開的處理。在不同實施例中，處理單元910可以是單個處理器或多核處理器。一些指令被傳遞到GPU915並由GPU 915執行。GPU915可以卸載各種計算或補充由處理單元910提供的圖像處理。

唯讀記憶體930存儲處理單元910和電子系統的其他模組所需的靜態資料和指令。另一方面，永久存放裝置935是讀寫記憶裝置。該裝置是非揮發性記憶體單元，即使在電子系統900關閉時也存儲指令和資料。本公開的一些實施例使用大容量存放裝置（諸如磁片或光碟及其相應的磁碟機）作為永久存放裝置935。

其他實施例使用卸除式存放裝置（例如軟碟，快閃記憶體裝置等，及其相應的磁碟機）作為永久存放裝置。與永久存放裝置935類似，系統記憶體920是讀寫記憶體裝置。然而，與永久存放裝置935不同，系統記憶體920是揮發性（volatile）讀寫記憶體，例如隨機存取記憶體。系統記憶體920存儲處理器在運行時需要的一些指令和資料。在一些實施例中，根據本公開的過程存儲在系統記憶體920，永久存放裝置935和/或唯讀記憶體930中。例如，各種記憶體單元包括用於根據處理多媒體剪輯的指令。在一些實施例中。從這些各種記憶體單元，處理單元910取回要執行的指令和要處理的資料，用以執行一些實施例的過程。

匯流排905還連接到輸入裝置940和輸出裝置945。輸入裝置940使使用者能夠向電子系統傳送資訊和選擇命令。輸入裝置940包括字母數位鍵盤和指示裝置（也稱為“游標控制裝置”），相機（例如，網路攝像頭），麥克風或用於接收語音命令等的類似裝置。輸出裝置945顯示由電子系統生成的圖像或否則輸出資料。輸出裝置945包括印表機和顯示裝置，例如陰極射線管（CRT）或液晶顯示器（LCD），以及揚聲器或類似的音訊輸出裝置。一些實施例包括諸如同時用作輸入裝置和輸出裝置的觸控式螢幕等裝置。

最後，如第9圖所示，匯流排905還通過網路介面卡（未示出）將電子系統900耦合到網路925。以這種方式，電腦可以是電腦網路的一部分（例如局域網（local area network, 簡稱LAN），廣域網路（wide area network, 簡稱WAN）或內聯網），或多個網路中的一個網路，比如說網際網路。電子系統900的任何或所有組件可以與本公開結合使用。

一些實施例包括電子組件，例如，微處理器、存儲裝置和記憶體，其將電腦程式指令存儲到機器可讀介質或者電腦可讀介質（可選地被稱為電腦可讀存儲介質、機器可讀介質或者機器可讀存儲介質）。電腦可讀介質的一些實例包括RAM、ROM、唯讀光碟(read-only compact disc，CD-ROM),可燒錄光碟（recordable compact disc，CD-R）、可讀寫光碟(rewritable compact disc， CD-RW)、唯讀數位通用光碟(read-only digital versatile disc)(例如，DVD-ROM，雙層DVD-ROM)、各種可記錄/可讀寫DVD（例如DVD RAM、DVD-RW、DVD+RW等）、快閃記憶體（如SD卡，迷你SD卡，微SD卡等）、磁性和/或固態硬碟、唯讀和可燒錄藍光®（Blu-Ray®）盤、超高密度光碟和其他任何光學介質或磁介質，以及軟碟。電腦可讀介質可以存儲由至少一個處理單元執行的電腦程式，並且包括用於執行各種操作的指令集。電腦程式或電腦代碼的示例包括機器代碼，例如編譯器產生的機器代碼，以及包含由電腦、電子組件或微處理器使用注釋器(interpreter)而執行的高級代碼的文檔。

當以上討論主要是指執行軟體的微處理器或多核處理器時，很多上述的功能和應用程式由一個或複數個積體電路執行，如特定應用的積體電路(application specific integrated circuit，ASIC)或現場可程式設計閘陣列(field programmable gate array，FPGA)。在一些實施例中，這種積體電路執行存儲在該電路本身上的指令。此外，一些實施例執行存儲在可程式設計邏輯器件(programmable logic device, PLD)，ROM或RAM裝置中的軟體。

如本發明的説明書和任一申請專利範圍所使用，術語“電腦”、“伺服器”、“處理器”和“記憶體”均指電子裝置或其他技術裝置。這些術語不包括人或群體。出於説明的目的，術語顯示或顯示裝置指在電子裝置上進行顯示。如本發明的説明書和任一申請專利範圍中所使用，術語“電腦可讀介質”、“電腦可讀媒質”和“機器可讀介質”完全局限於有形的、實體的物體，其以電腦可讀的形式存儲資訊。這些術語不包括任何無線訊號、有線下載訊號和其他任何短暫訊號。

在結合許多具體細節的情況下描述了本發明時，本領域通常知識者將認識到，本發明可以以其他具體形式而被實施，而不脫離本發明的精神。此外，大量的圖（包括第5圖和第8圖）概念性示出了處理過程。這些過程的具體操作可以不以所示及所描述的確切順序來被執行。這些具體操作可以不在一個連續的操作系列中被執行，並且不同的具體操作可以在不同的實施例中被執行。另外，該處理可使用幾個子處理而被實現，或者作為更大的巨集處理的一部分。因此，本領域通常知識者將能理解的是，本發明不受前述説明性細節的限制，而是由申請專利範圍加以界定。 附加的説明

本文所描述的主題有時表示不同的組件，其包含在或者連接到其他不同的組件。可以理解的是，所描述的結構僅是示例，實際上可以由許多其他結構來實施，以實現相同的功能，從概念上講，任何實現相同功能的組件的排列實際上是“相關聯的”，以便實現所需功能。因此，不論結構或中間部件，為實現特定的功能而組合的任何兩個組件被視為“相互關聯”，以實現所需的功能。同樣，任何兩個相關聯的組件被看作是相互“可操作連接”或“可操作耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦接”，以實現特定功能。能相互關聯的任何兩個組件也被視為相互“可操作地耦合”以實現特定功能。可操作連接的具體例子包括但不限於實體上可配對和/或實體上相互作用的組件，和/或無線可交互和/或無線上相互作用的組件，和/或邏輯上相互作用和/或邏輯上可交互的組件。

此外，關於此處使用的基本上任一複數和/或單數術語，本領域的技術人員可以根據上下文和/或應用從複數轉換為單數和/或從單數到複數。為清楚起見，本發明明確闡述了不同的單數/複數排列。

此外，通常，本領的通常知識者可以理解本發明所使用的術語特別是申請專利範圍中的，如申請專利範圍的主題，通常用作“開放”術語，例如，“包括”應解釋為“包括但不限於”，“有”應理解為“至少有”“包括”應解釋為“包括但不限於”等。本領域的通常知識者可以進一步理解，若計畫介紹特定數量的申請專利範圍内容，將在申請專利範圍内明確表示，並且，在沒有這類内容時將不顯示。例如，為幫助理解，下面申請專利範圍可能包含短語“至少一個”和“一個或複數個”，以介紹申請專利範圍的内容。然而，這些短語的使用不應理解為暗示使用不定冠詞“一”或“一個”介紹申請專利範圍内容，而限制了任何特定申請專利範圍。甚至當相同的申請專利範圍包括介紹性短語“一個或複數個”或“至少有一個”，不定冠詞，例如“一”或“一個”，則應被解釋為表示至少一個或者更多，對於用於介紹申請專利範圍的明確描述的使用而言，同樣成立。此外，即使明確引用特定數量的介紹性内容，本領域通常知識者可以認識到，這樣的内容應被解釋為表示所引用的數量，例如，沒有其他修改的“兩個引用”，意味著至少兩個引用，或兩個或兩個以上的引用。此外，在使用類似於“A、B和C中的至少一個”的表述的情況下，通常如此表述是為了本領域通常知識者可以理解該表述，例如，“系統包括A、B和C中的至少一個”將包括但不限於單獨具有A的系統，單獨具有B的系統，單獨具有C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A、B和C的系統，等。本領域通常知識者進一步可理解，無論在説明書中，申請專利範圍中或者附圖中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，“A或B”應理解為，“A”，或者“B”，或者“A和B”的可能性。

從前述可知，出於説明目的，本發明已描述了各種實施方式，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施方式不用於限制，真實的範圍和申請由申請專利範圍表示。

100:序列 110:圖像 120:CTU 210:子圖像 220:子圖像 230:子圖像 240:子圖像 300:RF電路 305:基帶電路 308:空閒通道檢測電路 310:DFS通道檢查電路 311:量化模組 312:量化係數 313:預測像素資料 314:逆量化模組 315:逆變換模組 316:變換係數 317:重構像素資料 319:重構殘差 320:幀内估計模組 325:幀內預測模組 330:運動補償模組 335:運動估計模組 340:幀間預測模組 345:環内濾波器 350:重構圖像緩衝器 365:MV緩衝器 375:MV預測模組 395:位元流 410:參數 420:當前編碼視訊序列 500:進程 510、520、530、540:步驟 600:解碼器 610:逆變換模組 611:逆量化模組 612:量化係數 613:預測像素資料 616:變換係數 617:像素資料 619:重構殘差訊號 625:幀內預測模組 630:運動補償模組 640:幀間預測模組 645:環内濾波器 650:解碼圖像緩衝器 655:顯示裝置 665:MV緩衝器 675:MV預測模組 690:熵解碼器 695:位元流 710:參數 720:當前編碼的視訊序列 800:進程 810、820、830、840:步驟 900:電子系統 905:匯流排 910:處理單元 915:GPU 920:系統記憶體 925:網路 930:唯讀記憶體 935:永久存放裝置 940:輸入裝置 945:輸出裝置

下列圖示用以提供本發明的進一步理解，並被納入且構成本發明的一部分。這些圖示説明了本發明的實施方式，並與説明書一起用以解釋本發明的原理。為了清楚地説明本發明的概念，與實際實施方式中的尺寸相比一些元素可以不按照比例被示出，這些圖示無需按照比例繪製。第1a-e圖概念性地示出用於指定視訊序列子圖像的基於CTB或CTU的網格單元。第2圖示出基於CTU或CTB的子圖像網格，其在圖像內以光柵掃描的順序被索引以指定子圖像。第3圖示出支援子圖像的示例視訊編碼器。第4圖概念性地示出實施子圖像發送的视频编码器的部分。第5圖概念性地示出在視訊編碼器處提供子圖像規範的進程。第6圖示出支援子圖像的示例視訊解碼器。第7圖概念性地示出實施子圖像發送的視訊解碼器的部分。第8圖概念性地示出在視訊解碼器處處理子圖像規範的進程。第9圖概念性地示出用於實現本公開的一些實施例的電子系統。

800:進程

810、820、830、840:步驟

Claims

一種視訊解碼方法，包括：從一位元流接收將被解碼為一視訊圖像序列的資料；從該位元流接收在該視訊圖像序列中的一個或多個子圖像的子圖像規範，藉由對一相應的子圖像提供用於標識一編碼樹單元的一索引，該子圖像規範對該一個或多個子圖像的每個子圖像標識一位置和一尺寸；以及根據該子圖像規範，重構該視訊圖像序列的該一個或多個子圖像的每個子圖像，其中，該視訊圖像序列的一序列參數集合的一語法元素指示一個或多個子圖像存在於該圖像序列，以及該視訊圖像序列的一視訊圖像的一圖像參數集合的一語法元素指示該視訊圖像的所有片段都是矩形的。
如請求項1所述之視訊解碼方法，其中，不同的編碼樹單元對應於被分配多個不同的索引的多個不同的子圖像網格。
如請求項2所述之視訊解碼方法，其中，該多個子圖像網格的多個邊界使用編碼樹單元的多個邊界來定義。
如請求項1所述之視訊解碼方法，其中，由提供的該索引標識的該編碼樹單元位於該子圖像的一角。
如請求項1所述之視訊解碼方法，其中，該索引由該視訊圖像序列的一序列參數集合提供。
如請求項5所述之視訊解碼方法，其中，該序列參數集合進一步包括一語法元素，該語法元素指定該視訊圖像序列的一子圖像數量。
如請求項5所述之視訊解碼方法，其中，該子圖像的一辨識字在該序列參數集合中發送。
如請求項1所述之視訊解碼方法，其中，該子圖像的一辨識字在一片段的一片段報頭中發送。
如請求項1所述之視訊解碼方法，其中，該子圖像的一辨識字在該視訊圖像序列的一視訊圖像的一圖像參數集合中發送。
一種視訊編碼方法，包括：接收將被編碼為一視訊圖像序列的一位元流的資料；在該位元流中發送該視訊圖像序列的一個或多個子圖像的子圖像規範，藉由對一相應的子圖像提供用於標識一編碼樹單元的一索引，該子圖像規範對該一個或多個子圖像的每個子圖像標識一位置和一尺寸；以及根據該子圖像規範，對該視訊圖像序列的該一個或多個子圖像的每個子圖像進行編碼，其中，該視訊圖像序列的一序列參數集合的一語法元素指示一個或多個子圖像存在於該圖像序列，以及該視訊圖像序列的一視訊圖像的一圖像參數集合的一語法元素指示該視訊圖像的所有片段都是矩形的。
一種電子裝置，包括：一視訊解碼器電路，被設置為執行以下操作包括：從一位元流接收將被解碼為一視訊圖像序列的資料；從該位元流接收在該視訊圖像序列中的一個或多個子圖像的子圖像規範，藉由對一相應的子圖像提供用於標識一編碼樹單元的一索引，該子圖像規範對該一個或多個子圖像的每個子圖像標識一位置和一尺寸；以及根據該子圖像規範，重構該視訊圖像序列的該一個或多個子圖像的每個子圖像，其中，該視訊圖像序列的一序列參數集合的一語法元素指示一個或多個子圖像存在於該圖像序列，以及該視訊圖像序列的一視訊圖像的一圖像參數集合的一語法元素指示該視訊圖像的所有片段都是矩形的。