TWI773058B - 高層級資訊信令有關的視訊編碼或解碼方法及裝置 - Google Patents

高層級資訊信令有關的視訊編碼或解碼方法及裝置 Download PDF

Info

Publication number
TWI773058B
TWI773058B TW109146636A TW109146636A TWI773058B TW I773058 B TWI773058 B TW I773058B TW 109146636 A TW109146636 A TW 109146636A TW 109146636 A TW109146636 A TW 109146636A TW I773058 B TWI773058 B TW I773058B
Authority
TW
Taiwan
Prior art keywords
picture
sub
video
flag
syntax element
Prior art date
Application number
TW109146636A
Other languages
English (en)
Other versions
TW202131685A (zh
Inventor
向時達
陳慶曄
莊子德
魯林 陳
Original Assignee
寰發股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 寰發股份有限公司 filed Critical 寰發股份有限公司
Publication of TW202131685A publication Critical patent/TW202131685A/zh
Application granted granted Critical
Publication of TWI773058B publication Critical patent/TWI773058B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain

Abstract

一種用於處理參考高層級語法集合的視訊圖像的視訊處理方法及裝置，包括接收輸入資料，決定一第一語法元素指示參考圖像再採樣是否是禁用的或約束的，決定一第二語法元素指示子圖像分割是否是禁用的或約束的，以及編碼或解碼該視訊圖像。所述第一以及第二語法元素被限制為當參考圖像再採樣被啟用時禁用或約束子圖像分割，或者當該子圖像分割被啟用時禁用或約束該參考圖像再採樣。該第一語法元素以及該第二元素是該高層級語法集合中發信的語法元素。

Description

高層級資訊信令有關的視訊編碼或解碼方法及裝置
本發明涉及視訊編碼以及解碼系統中的視訊處理方法及裝置。具體地，本發明涉及用於參考圖像再採樣以及子圖像分割的高層級資訊信令。
通用視訊編碼(VVC)標準是新興的視訊編碼標準，該標準是在以前的高效視訊編碼(HEVC)標準的基礎上逐步開發的，藉由增強現有的編碼工具並在編碼器結構的各種構建塊中引入多種新的編碼工具。第1圖示出了HEVC編碼系統的框圖。由幀內或幀間預測模組102預測輸入視訊訊號101來形成預測訊號103，其從已編解碼圖像區域來推導。輸入視訊訊號101與預測訊號103之間的預測殘差訊號105由變換以及量化模組106中的線性變換處理。變換係數在變換以及量化模組106中被量化以及與其他輔助資訊一起在熵編碼模組108中被熵編解碼來形成視訊位元流107。由重構模組112從預測訊號103以及已量化殘差訊號111生成已重構訊號109，其中由逆量化以及逆變換模組110在對解量化變換係數進行逆變換後生成已量化殘差訊號111。已重構訊號109進一步由去塊濾波器114中的環路濾波以及非去塊濾波器116處理用於移除編解碼偽影。已解碼圖像113被存儲於幀緩衝器118用於預測輸入視訊訊號101中的未來圖像。在HEVC標準中，已編碼圖像被分割成由相關編碼樹單元(CTU)表示的 非重疊正方形塊區域。已編碼圖像可以由一些條帶表示，每一者包括整數數目的CTU。條帶中單個CTU以光柵掃描次序進行處理。雙向預測(B)條帶可以使用幀內預測或者幀間預測來解碼，藉由使用至多兩個運動向量以及參考索引來預測每一塊的樣本值。預測(P)條帶使用幀內預測或幀間預測來解碼，藉由參考至多一個運動向量以及參考索引來預測每一塊的樣本值。幀內(I)條帶僅使用幀內預測來解碼。
可以使用遞迴的四叉樹(QT)結構將CTU分割成多個非重疊編碼單元(CU)來適應各種局部運動以及紋理特性。一個或多個預測單元(PU)被指定用於每一CU。PU與相關CU語法一起作為用於發信預測子資訊的基礎單元。所指定的預測進程被採用來預測PU內相關語法樣本的值。可以使用殘差四叉樹(RQT)結構進一步分割CU來表示相關預測殘差訊號。RQT的葉節點對應於變換單元(TU)。TU由尺寸8x8、16x16或者32x32亮度樣本的變換塊，或者尺寸4x4的亮度樣本的四個TB以及4：2：0色彩格式中圖像的色彩樣本的兩個對應的TB組成。整數變換被應用於TB以及已量係數的層級值與其他輔助資訊在視訊位元流中被熵編解碼。第2A圖示出了示例性CTU的塊分割以及第2B圖示出了其對應的QT表示。第2A圖以及第2B圖中的實線指示CTU內的CU邊界以及虛線指示CTU內的TU邊界。術語編碼樹塊(CTB)、編碼塊(CB)、預測塊(PB)以及變換塊(TB)被定義為分別指定與CTU、CU、PU以及TU相關的一個色彩分量的2-D樣本陣列。CTU由一個亮度CTB、兩個色度CTB以及相關語法元素組成。類似的關係對CU、PU以及TU是有效的。樹分割通常被同時應用於亮度以及色度分量，但是當色度分量達到某些最小尺寸時可以例外。
VVC標準改善了壓縮性能以及傳輸與存儲的效率，以及支援新格式，如高動態範圍以及全景360視訊。由VVC標準編碼的視訊圖像學被分割成由CTU表示的非重疊正方形塊區域，類似於HEVC標準。由使用二元以及三 元拆分的具有嵌入的多類型樹的四叉樹將每一CTU分割成一個或多個較小尺寸的CU。每一所生成的CU分割是正方形或者矩形形狀。VVC標準使得移動網路中的視訊傳輸更有效，因為它允許具有差數據速率的系統或位置更快地接收更大的檔。VVC標準支援層編碼、空間或訊噪比(SNR)時間可擴展性。
參考圖像再採樣(RPR)在VVC標準中，用於適應性流服務的快速表示切換期望同時遞送相同視訊內容的多個表示，每一者具有不同的性能。不同的性能涉及不同的空間解析度或者不同的樣本比特深度。在即時視訊通信中，藉由在未插入I圖像的情況下允許已編碼視訊序列內的解析度變化，不僅視訊資料可以無縫地適用於動態通道條件以及使用者偏好性，而且由I圖像造成的跳動影響也被移除。參考圖像再採樣(RPR)允許具有不同解析度的圖像可以在幀間預測中彼此參考。在傳統以及流應用中，RPR提供更高的編解碼效率用於空間解析度以及位元元元速率的適應。當需要縮放整個視訊區域或者一些興趣區域時，也可以在應用情景中使用RPR。第3圖示出了應用參考圖像再採樣來編碼或解碼當前圖像的示例，其中從具有相同或不同尺寸的參考圖像預測當前圖像的幀間編碼塊。當因為空間擴展性在流應用中是有益的而支援空間擴展性時，參考圖像的圖像尺寸可以與當前圖像不同。在VVC標準中採用RPR來支援動態上採用以及下採樣運動補償。
當前圖像尺寸以及解析度縮放參數在圖像參數集合(SPS)中被發信，以及用於編碼層視訊序列(CLVS)的圖像寬度以及高度中的最大圖像尺寸在序列參考集合(SPS)中被指定。一個CLVS中的視訊圖像是與相同SPS相關的圖像並且在相同層中。表1示出了在SPS中發信RPR啟用旗標以及最大圖像尺寸的示例。在序列參數集合(SPS)中發信的RPR啟用旗標sps_ref_pic_resampling_enabled_flag用於指示RPR是否對參考SPS的圖像是啟用的。當這一RPR啟用旗標等於1時，參考SPS的當前圖像可以具有條帶，該 條帶參考一參考圖像層的活動條目中參考圖像，參考圖像層具有不同於當前圖像的以下7個參數的一個或多個。7個參數包括與圖像寬度相關的語法元素pps_pic_width_in_luma_samples、圖像高度相關的語法元素pps_pic_height_in_luma_samples、左縮放視窗偏移pps_scaling_win_left_offset、右縮放窗口偏移pps_scaling_win_right_offset、上方縮放視窗偏移pps_scaling_win_top_offset、底部縮放視窗偏移pps_scaling_win_bottom_offset以及子圖像的數目sps_num_subpics_minus1。對於參考一參考圖像的當前圖像，參考圖像具有不同於當前圖像的這七個參數的一個或多個，參考圖像可以屬於包含當前圖像的相同層或者不同層。語法元素sps_res_change_in_clvs_allowed_flag等於1指定圖像空間解析度可以在參考SPS的CLVS內變化，以及這一語法元素等於0指定圖像空間解析度不在參考SPS的任何CLVS內變化。當這一語法元素sps_res_change_in_clvs_allowed_flag在SPS中不存在時，值被推斷為等於0。由語法元素sps_pic_width_max_in_luma_samples以及sps_pic_height_max_in_luma_samples在SPS中發信最大圖像尺寸，以及最大圖像尺寸將不大於對應的視訊參數集合(VPS)中發信的輸出層集合(OLS)解碼圖像緩衝器(DPB)圖像尺寸。在表1中示出了SPS中發信的與RPR相關的語法元素。
Figure 109146636-A0305-02-0006-1
在表2中示出了PPS中發信的與RPR相關的語法元素。語法元素pic_width_in_luma_samples指定以亮度樣本為單元參考PPS的每一解碼圖像的寬度。語法元素將不等於0以及將是Max(8,MinCbSizeY)的整數倍，以及被約束為小於或等於對應SPS中發信的sps_pic_width_max_in_luma_samples。當子圖像存在旗標subpics_present_flag等於1或者當RPR啟用旗標ref_pic_resampling_enabled_flag等於0時，這一語法元素的值pic_width_in_luma_samples將等於sps_pic_width_max_in_luma_samples。語法元素pic_height_in_luma_samples指定以亮度樣本為單元參考PPS的每一解碼圖像的高度。這一語法元素將不等於0以及將是Max(8,MinCbsizeY)的整數被，以及將小於或等於sps_pic_height_max_in_luma_samples。當子圖像存在旗標subpics_present_flag等於1或者當RPR啟用旗標ref_pic_resampling_enabled_flag等於0時，語法元素pic_height_in_luma_samples的值被設置為等於sps_pic_height_max_in_luma_samples。
Figure 109146636-A0305-02-0007-3
Figure 109146636-A0305-02-0008-6
語法元素scaling_window_flag等於1指定縮放視窗偏移參數存在於PPS中，以及scaling_window_flag等於0指定縮放視窗偏移參數不存在於PPS。當RPR啟用旗標ref_pic_resampling_enabled_flag等於0時，這一語法元素scaling_window_flag的值將等於0。語法元素scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offset以亮度樣本為單元指定縮放偏移。這些縮放偏移被應用於圖像尺寸用於縮放比例計算。縮放偏移可以是負數。當縮放視窗旗標scaling_window_flag等於0時，這四個縮放偏移語法元素scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offse的值被推斷為0。
當使用RPR預測當前圖像中的當前塊時，從由這些PPS語法元素指定的縮放視窗尺寸推導縮放比率，語法元素包括scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offset。表示縮放視窗寬度以及縮放視窗高度的變數PicOutputWidthL以及PicOutputHeightL被推導如下： PicOutputWidthL=pic_width_in_luma_samples-(scaling_win_right_offset+scaling_win_left_offset).PicOutputHeightL=pic_height_in_luma_samples-(scaling_win_bottom_offset+scaling_win_top_offset)
藉由從圖像寬度減去右邊以及左邊偏移來推導表示縮放視窗寬度的變數PicOutputWidthL，以及藉由從圖像高度減去上方以及底部偏移來推導縮放視窗高度。左邊以及右邊偏移scaling_win_left_offset以及scaling_win_right_offset的和的值將小於圖像寬度pic_width_in_luma_samples，以及上方以及底部偏移scaling_win_top_offset以及scaling_win_bottom_offset的和的值將小於圖像高度pic_height_in_luma_samples。
在VVC標準的最新提案中，在色度樣本中測量縮放視窗偏移，以及當在PPS中不存在這些縮放視窗偏移語法元素時，這四個縮放偏移語法元素scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offset的值被推斷為分別等於conf_win_left_offset、conf_win_right_offset、conf_win_top_offset以及conf_win_bottom_offset。如下所示，藉由圖像寬度、變數SubWidthC、左邊縮放偏移以及右邊縮放偏移來推導指示縮放視窗寬度的變數CurrPicScalWinWidthL。藉由圖像高度、變數SubHeightC、上方縮放偏移以及下方縮放偏移來推導指示縮放視窗高度的變數CurrPicScalWinHeightL。例如，藉由以下等式來推導縮放視窗寬度以及縮放視窗高度。CurrPicScalWinWidthL=pic_width_in_luma_samples-SubWidthC *(scaling_win_right_offset+scaling_win_left_offset)；以及CurrPicScalWinHeightL=pic_height_in_luma_samples-SubHeightC *(scaling_win_bottom_offset+scaling_win_top_offset)。
子圖像分割 在VVC標準中，圖像可以被進一步拆分成一個或 多個子圖像用於編碼或解碼。VVC標準中提出的子圖像類似於HEVC標準中的運動約束圖塊集合(MCTS)。對於像視口相關的360度視訊流優化以及興趣區域應用，這一編碼工具允許獨立編碼以及編碼圖像序列的矩形子集的提取。即使當子圖像是可提取的，子圖像允許指向子圖像之外的編碼塊的運動向量，因此允許在這一情況中子圖像邊界的填充。在SPS中發信VVC標準的子圖像的佈局，因此子圖像的佈局被約束在CLVS內。每一子圖像包括一個或多個完整的矩形條帶。子圖像識別符(ID)可以可選地被分配給每一子圖像。表3示出了與SPS中發信的子圖像分割相關的示例性語法元素。
Figure 109146636-A0305-02-0010-7
Figure 109146636-A0305-02-0011-8
在處理視訊資料的視訊處理方法的示例性實施例中，實施視訊處理方法的視訊編碼或解碼系統接收與參考一高層級語法集合的視訊圖像相關的輸入視訊資料，決定該高層級語法集合中發信的或待發信的一第一語法元素，該第一語法元素指示RPR是否是禁用的或約束的用於與該高層級語法集合相關的視訊圖像，決定一第二語法元素，該第二語法元素指示子圖像分割是是否是禁用的或約束的用於與該高層級語法集合相關的視訊圖像，藉由當RPR啟用時允許在幀內預測中參考具有不同解析度的圖像或者當RPR禁用時在幀間預測中允許參考僅具有相同解析度的圖像，來編碼或解碼視訊圖像，以及藉由當子圖像分割啟用時將每一圖像拆分成一個或多個子圖像或者當子圖像分割禁用時在未拆分成子圖像的情況下處理每一圖像來編碼或解碼視訊圖像。在一些實施例中，該第一語法元素以及該第二語法元素被限制為當RPR啟用時禁用或約束子圖像分割。高層級語法集合的示例是序列參數集合。在一些實施例中，因為僅當RPR禁用時發信第二語法元素，有條件地在高層級語法集合中發信該第二語法元素，即，僅當RPR禁用時允許子圖像分割。
在一些實施例中，當該子圖像分割被啟用時，參考該高層級語法 集合的所有視訊圖像具有一縮放視窗寬度的一相同推導值以及一縮放視窗高度的一相同推導值。圖像的該縮放視窗寬度由該圖像參考的一圖像參數集合中發信的一圖像寬度、一左邊縮放視窗偏移以及一右邊縮放視窗偏移來推導，以及該圖像的該縮放視窗高度從一圖像高度、一上方縮放視窗偏移以及一底部縮放視窗偏移來推導。在色度樣本中測量該縮放視窗偏移的情況下，進一步由變數SubWidthC以及SubHeightC分別推到該縮放視窗寬度以及高度。
根據一些實施例，該第一以及第二語法元素被限制當RPR啟用時禁用或約束子圖像分割或者當子圖像分割啟用時該第一以及第二語法元素被限制為禁用或約束RPR。在一個實施例中，該第一語法元素在高層級語法集合中有條件地被發信以及僅當子圖像分割被禁用時發信該第一語法元素。在一些特定的四十了中，該第一語法元素是指定RPR是否啟用的RPR啟用旗標，以及該第二語法元素是指定子圖像參數是否存在於該高層級語法集合中的子圖像分割存在旗標。在一個實施例中，當該子圖像分割存在旗標等於1時，RPR啟用旗標被推斷為等於0或者不被發信，以及當該子圖像分割存在旗標等於0時僅在該高層級語法集合中發信該RPR啟用旗標。當該RPR啟用旗標不被發信時該RPR啟用旗標被推斷為等於0。在另一個實施例中，當該RPR啟用旗標等於1時該子圖像分割存在旗標被推斷為等於0或者不被發信，以及僅當該RPR啟用旗標等於0時，在高層級語法集合中發信該子圖像分割存在旗標。當該子圖像存在旗標不被發信時，該子圖像分割存在旗標被推斷為等於0。
在一實施例中，第一語法元素是指定圖像空間解析度在CLVS中是否可變化的解析度變化旗標，以及該第二語法元素是指定子圖像資訊是否存在用於該高層級語法集合中的CLVS的子圖像分割存在旗標。在這一實施例中，藉由當解析度變換旗標等於1時推斷子圖像分割存在旗標為等於0，當圖像空間解析度在參考該高層級語法集合的CLVS內可變化時，子圖像資訊不存在 用於該高層級語法集合中的CLVS。
視訊處理方法的實施例進一步包括根據該第二語法元素決定一第三語法元素，其中該第二語法元素是指定子圖像資訊是否存在用於該高層級語法集合中一編碼層視訊序列的一子圖像分割存在旗標，以及該第三語法元素是指定子圖像識別符映射是否存在於該高層級語法元素的一子圖像識別符旗標。該視訊處理方法決定當子圖像分割存在旗標等於1時的一相關子圖像佈局。當該子圖像分割存在旗標等於0時該子圖像識別符旗標不被編碼並且被推斷為0，以及當該子圖像分割存在旗標等於1時，該子圖像識別符旗標僅在該高層級語法集合中被發信。
本發明的一方面進一步提供了視訊編碼或解碼系統中視訊處理裝置，該裝置包括一個或多個電子電路用於接收參考高層級語法集合的視訊圖像的輸入視訊資料，決定該高層級語法集合中發信的或待發信的第一語法元素指示RPR是否是禁用的或約束的，決定一第二語法元素指示子圖像分割是否是禁用的或約束的，以及藉由當RPR啟用在幀間預測中允許參考具有不同解析度的圖像來編碼或解碼視訊圖像，或者藉由當子圖像分割被啟用時將每一圖像拆分成一個或多個子圖像來編碼或解碼視訊圖像。視訊編碼或解碼系統的實施例根據位元流一致性需求來編碼或解碼視訊圖像，其在RPR啟用時禁用或約束子圖像或者在子圖像分割啟用時禁用或約束RPR。
本發明的一方面進一步提供了儲存程式指令的非暫態電腦可讀媒介，使得裝置的處理電路執行視訊處理方法來編碼或解碼參考高層級語法集合的視訊圖像。該視訊處理方法藉由在RPR啟用是禁用或約束子圖像分割或者在子圖像分割啟用時禁用或約束RPR來編碼或解碼視訊圖像。在閱讀特定實施例的後續描述後，本發明的其他方面以及特徵對本領域具體通常知識者將是顯而易見的。
101:輸入視訊訊號
102:幀內或幀間預測模組
103:預測訊號
104:加法器
105:預測殘差訊號
106:量化模組
107:視訊位元流
108:熵編碼器
109:已重構訊號
110:逆變換模組
111:已量化殘差訊號
112:重構模組
113:已解碼圖像
114:去塊濾波器
116:非去塊濾波器
118:幀緩衝器
S402~S414、S502~S514:步驟
600:視訊編碼器
610:塊結構分割
612:幀內預測模組
614:幀間預測模組
616:開關
618:加法器
620:變換模組
622:量化模組
624:逆量化模組
626:逆變換模組
628:重構模組
630:濾波器
632:參考圖像緩衝器
634:熵編碼器
700:視訊解碼器
710:熵解碼器
712:塊結構分割
714:幀內預測
716:幀間預測
718:開關
720:REC模組
722:逆量化模組
724:逆變換模組
726:濾波器
728:參考圖像緩衝器
以示例提出的本發明的各種實施例將參考以下圖示詳細描述，以及其中：第1圖示出了實施HEVC標準中各種編碼工具的視訊編碼系統的系統框圖。
第2A圖示出了根據HEVC標準的編碼樹單元內的塊分割的示例。
第2B圖示出了對應於第2A圖中示出的編碼樹單元的基於四叉樹的編碼樹表示。
第3圖示出了啟用參考圖像再採樣的示例性示例。
第4圖示出了當參考圖像再採樣被啟用時，禁用子圖像分割的實施例的視訊編碼或解碼系統的示例性流程圖。
第5圖示出了當子圖像分割被啟用時，禁用參考圖像再採樣的實施例的視訊編碼或解碼系統的示例性流程圖。
第6圖示出了根據本發明實施例的合併視訊處理方法的視訊編碼系統的示例性系統框圖。
第7圖示出了根據本發明實施例的合併視訊處理方法的視訊解碼系統的示例性系統框圖。
將容易理解，如本文圖式中描述以及示出的本發明的元件可以以各種不同的配置進行排列以及設計。因此，如圖式所表示的本發明的後續細節描述不旨在限制本發明的範圍，而是僅僅是本發明所選實施例的表示。
相同圖像尺寸相同縮放視窗 在子圖像分割被啟用的情況下，其需要位元元元流一致性，參考相同SPS的所有圖像具有與SPS中指定的最大圖 像尺寸相同圖像尺寸。然而，當參考相同SPS的所有圖像具有相同圖像尺寸但是不同空間縮放參數時，與發信空間位置以及分割(SPS中指定的子圖像佈局)有關的編碼參數可能不與編碼視訊序列中的圖像一致。在本發明的一些實施例中，當這兩個圖像具有相同圖像尺寸時，縮放參數的值被約束為對參考相同SPS的任何兩個圖像是相同的。這樣，參考相同SPS以及具有相同圖像尺寸的所有圖像將具有縮放視窗寬度PicOutputWidthL以及縮放視窗高度PicOutputHeightL的相同的推導值。根據一實施例的圖像參數集合RBSP相關的語義的所提出修正提供如下。
語法元素scaling_window_flag等於1指定縮放視窗偏移參數存在於PPS中，以及scaling_window_flag等於0指定縮放視窗偏移參數不存在於PPS中。當語法元素ref_pic_resampling_enabled_flag等於0時，scaling_window_flag的值將等於0。縮放視窗偏移參數scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offset以亮度樣本為單元指定偏移，其被應用於圖像尺寸用於縮放比率計算。當語法元素scaling_window_flag等於0時，這四個縮放視窗偏移參數的值被推斷為0。圖像的左邊以及右邊縮放視窗偏移的和的值將小於圖像寬度pic_width_in_luma_samples，以及上方以及底部縮放視窗偏移的和的值將小於圖像高度pic_height_in_luma_samples。變數縮放視窗寬度PicOutputWidthL以及縮放視窗高度PicOutputHeightL被推導如下：PicOutputWidthL=pic_width_in_luma_samples-(scaling_win_right_offset+scaling_win_left_offset)，以及PicOutputHeightL=pic_height_in_luma_samples-(scaling_win_bottom_offset+scaling_win_top_offset)。假設ppsA以及ppsB是參考相同SPS的任何兩個PPS。當ppsA以及ppsB分別具有pic_width_in_luma_samples以及pic_height_in_luma_samples的相同值時，需要 ppsA以及ppsB應分別具有scaling_win_left_offset、scaling_wm_right_offset、scaling_win_top_offset以及scaling_win_bottom_offset的相同值的位元流的一致性。
啟用某些工具時相同的縮放視窗 在一些實施例中，當啟用某些分配工具組的至少一個時應用相同的縮放視窗約束。在一個示例中，子圖像分割是某些分配的工具組之一，以致當子圖像分割啟用時應用相同的縮放視窗約束。這樣，當子圖像存在旗標subpics_present_flag等於1時，參考相同SPS的所有圖像將分別具有縮放視窗寬度PicOutputWidthL以及縮放視窗高度PicOutputHeightL的相同的推導值。在一個實施例中，當子圖像分割被啟用時，相同的縮放約束將參考相同SPS的所有圖像限制為具有相同的縮放視窗偏移參數scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottomg_offset。對圖像參數集合RBSP相關的語義的所提出的修正如下。語法元素scaling_window_flag等於1指定縮放視窗偏移參數存在於PPS中，以及scaling_window_flag等於0指定縮放視窗偏移參數不存在於PPS中。當參考圖像再採樣啟用旗標ref_pic_resampling_enabled_flag等於0時，scaling_window_flag的值將等於0。縮放視窗偏移參數scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offset以亮度樣本為單元指定縮放視窗偏移，其被應用於圖像尺寸用於縮放比率計算。當語法元素scaling_window_flag等於0時，scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_wm_bottom_offset的值被推斷為等於0。圖像的左邊以及右邊縮放視窗偏移的和的值將小於圖像寬度pic_width_in_luma_samples，以及上方以及底部縮放視窗偏移的和的值將小於圖像高度pic_height_in_luma_samples。變數縮放視窗寬度PicOutputWidthL以及縮放視窗高度PicOutputHeightL被推導如下：PicOutputWidthL= pic_width_in_luma_samples-(scaling_win_right_offset+scaling_win_left_offset)，以及PicOutputHeightL=pic_height_in_luma_samples-(scaling_win_bottom_offset+scaling_win_top_offset)。假設ppsA以及ppsB是參考相同SPS的任何兩個PPS。在這一實施例中，當SPS中發信的子圖像存在旗標subpics_present_flag等於1時，需要ppsA以及ppsB將分別具有scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset以及scaling_win_bottom_offset的相同值的位元流一致性。
當啟用某些工具時禁用參考圖像再採樣 在一些實施例中，當某些分配的編碼工具組被啟用時，視訊編碼器或解碼器禁用或者約束RPR的使用。在一些其他等同的實施例中，當RPR被啟用時，視訊編碼器或解碼器禁用或約束某些分配的工具組的使用。在特定的實施例中，某些分配的工具組包括子圖分割，以及當子圖像分割啟用時，視訊編碼器或解碼器根據位元流一致性需求(其禁用RPR)編碼或解碼視訊資料。例如，當子圖像分割存在旗標subpics_present_flag等於1時，與SPS中發信的RPR啟用旗標ref_pic_resampling_enabled_flag相關的語法元素將等於0。這樣，因為當子圖像分割被啟用時RPR被禁用，當子圖像分割存在旗標subpics_present_flag等於1時，參考相同SPS的所有圖像將分別具有縮放視窗寬度PicOutputWidthL以及縮放視窗高度PicOutputHeightL的相同的推導值。在可選的實施例中，當RPR啟用時，視訊編碼器或解碼器根據位元流一致性需求(其禁用子圖像分割)編碼或解碼視訊資料。例如，當RPR啟用旗標ref_pic_resampling_enabled_flag等於1時，視訊編碼器或解碼器將子圖像分割存在旗標subpics_present_flag的值推斷為等於0。表4示出了SPS中發信的語法元素的修正的語法表的示例。在這一示例中，僅當RPR啟用旗標ref_pic_resampling_enabled_flag等於0時在SPS中發信子圖像分割存在旗標subpics_present_flag，即，僅當RPR被禁用時允許子圖像分割。 當這一旗標不在SPS中發信時，子圖像分割存在旗標subpics_present_flag的值被推斷為0。子圖像分割存在旗標等於1指定子圖像相關的參數存在於SPS中，以及子圖像分割存在旗標等於0指定子圖像相關的參數不存在於SPS。
Figure 109146636-A0305-02-0018-9
Figure 109146636-A0305-02-0019-10
表5示出了當RPR啟用時禁用子圖像分割的另一個實施例的SPS的語法表。在這一實施例中，SPS中發信的解析度變化旗標sps_res_change_in_clvs_allowed_flag指定圖像空間解析度在參考SPS的編碼層視訊序列(CLVS)內是可變化的。當這一解析度變化旗標sps_res_change_in_clvs_allowed_flag等於0時，圖像空間解析度在參考SPS的任何CLVS內不變化，以及當解析度變化旗標sps_res_change_in_clvs_allowed_flag等於1時，圖像解析度在參考SPS的CLVS內可以變化。子圖像分割存在旗標sps_subpic_info_present_flag等於1指定子圖像資訊存在用於CLVS以及在CLVS的每一圖像中可能存在一個或多個子圖像，以及sps_subpic_info_present_flag等於0指定子圖像資訊不存在用於CLVS以及在CLVS的每一圖像僅存在一個子圖像。在這一實施例中，當解析度改變旗標sps_res_change_in_clvs_allowed_flag等於1時，子圖像分割存在旗標sps_subpic_info_present_flag的值將等於0。換言之，當圖像空間解析度在參考SPS的CLVS內可變化時，子圖像分割被約束為子圖像資訊不能存在用於SPS中的CLVS。在一個實施例中，當RPR啟用時，僅當解析度變化旗標sps_res_change_in_clvs_allowed_flag等於0時允許子圖像分割存在旗標被設置為1，同樣地，當子圖像分割被啟用時，僅當解析度變化旗標sps_res_change_in_clvs_allowed_flag等於0時RPR啟用旗標被允許被設置為1。
Figure 109146636-A0305-02-0019-11
Figure 109146636-A0305-02-0020-12
語法元素sps_subpic_id_len_minus1加1指定用於表示語法元素sps_subpic_id[i]、語法元素pps_subpic_id[i]以及語法元素sh_subpic_id的比特的數目。sps_subpic_id_len_minus1的值將在包括0到15的範圍內。1<<(sps_subpic_id_len_minus1+1)的值將大於或等於sps_num_subpics_minus1+1。語法元素sps_subpic_id_mapping_explicitly_signalled_flag等於1指定子圖像識別符(ID)映射在CLVS的編碼圖像所參考的SPS中或在PPS中被顯式發信。語法元素等於0指定子圖像ID映射不被顯式發信用於CLVS，以及當不存在時這一語 法元素的值被推斷為0。語法元素sps_subpic_id_mapping_present_flag等於1指定當sps_subpic_id_mapping_explicilty_signalled_flag等於1時子圖像ID映射在SPS中被發信。當sps_subpic_id_mapping_explicitly_signalled_flag等於1時，這一語法元素sps_subpic_id_mapping_present_flag等於0指定子圖像ID映射在由CLVS的編碼圖像的PPS中被發信。語法元素sps_subpic_id[i]指定第i個子圖像的子圖像ID。語法元素sps_subpic_id[i]的長度是sps_subpic_id_len_minus1+1比特。
當子圖像分割被禁用時推斷子圖像ID旗標 在本發明的一些實施例中，視訊編碼器或解碼器在高層級語法集合中編碼或解碼指示子圖像分割是否啟用或禁用的第一語法旗標。例如，第一語法元素是SPS中發信的子圖像分割存在旗標subpics_present_flag。當第一語法旗標等於1時發信相關的子圖像佈局；否則相關的子圖像資訊不被發信。視訊編碼器或解碼器可以進一步編碼或解碼指示與子圖像ID相關的資訊是否將被進一步發信的第二語法旗標。在本發明的一些實施例中，當子圖像分割存在旗標等於0時，第二語法旗標未被編解碼以及被推斷為0。第二語法旗標的示例是SPS中發信的子圖像分割ID存在旗標sps_subpic_id_present_flag。子圖像分割ID存在旗標等於1指定子圖像ID映射存在於SPS，以及sps_subpic_id_present_flag等於0指定子圖像ID映射不存在於SPS。表6中示出的示例性語法表表示當子圖像分割禁用時推斷子圖像ID旗標的實施例。在這一實施例中，僅當子圖像分割存在旗標subpics_present_flag等於1時在SPS中發信子圖像分割ID存在旗標sps_subpic_id_present_flag，其暗示當子圖像分割存在旗標subpics_present_flag等於0時子圖像分割ID存在旗標sps_subpic_id_present_flag不存在於SPS中。當其不存在時，子圖像分割ID存在旗標sps_subpic_id_present_flag被推斷為等於0。
Figure 109146636-A0305-02-0022-13
Figure 109146636-A0305-02-0023-14
第4圖以及第5圖的示例性流程圖示出了RPR和子圖像分割的互斥使用的示例性流程圖。如第4圖中所示，本實施例中的視訊編碼或解碼系統在啟用RPR時禁用子圖像分割。在步驟S402中，視訊編碼或解碼系統接收與參考SPS的視訊圖像相關的輸入視訊資料，以及在步驟S404中，決定RPR在參考SPS的視訊圖像中是否是啟用的。例如，視訊編碼系統在SPS中發信第一語法元素，指定參考圖像再採樣是否是啟用或禁用的，以及藉由解析SPS中發信的第一語法元素，視訊解碼系統決定RPR是否是啟用的或禁用的。在步驟406中，當RPR在步驟S404中被決定為對視訊圖像是啟用的時，子圖像分割對參考SPS的視訊圖像是禁用的。例如，當第一語法元素指示RPR是啟用的時，視訊編碼系統將不發信指定子圖像分割是否是啟用或禁用的第二語法元素，或者視訊解碼系統推斷第二語法元素為0，指示子圖像分割是禁用的。在步驟S408中，藉由在幀間預測中允許參考具有不同解析度的圖像以及藉由處理每個圖像而不將其拆分成子圖像，視訊編碼或解碼系統編碼或解碼視訊圖像的視訊資料。在步驟S410中，當在步驟S404中決定RPR被禁止用於對視訊圖像進行編碼或解碼時，視訊編碼或解碼進一步決定是否允許子圖像分割用於參考SPS的視訊圖像。例如，視訊解碼系統發信指定子圖像分割是否是啟用或禁用的第二 語法元素，或者視訊解碼系統藉由從SPS解析第二語法元素來決定子圖像分割是否是啟用或禁用的。在步驟S410中決定子圖像分割被啟用的情況下，在步驟S412中，視訊編碼或解碼系統藉由在幀間預測中僅允許具有相同解析度的圖像被參考並且藉由將每個圖像拆分為一個或多個子圖像來對視訊圖像中的視訊資料進行編碼或解碼。否則，在RPR以及子圖像分割都被禁用時，在步驟S414中，藉由僅允許在幀間預測中參考具有相同解析度的圖像以及藉由未拆分成子圖像的情況下處理每一圖像，視訊編碼或解碼系統對視訊圖像中的視訊資料進行編碼或解碼。
第5圖示出了當子圖像分割啟用時禁用RPR的實施例的視訊編碼或解碼系統的示例性流程圖。在步驟S502中，視訊編碼或解碼系統接收參考SPS的視訊圖像的輸入視訊資料，以及在步驟S504中，決定子圖像分割在參考SPS的視訊圖像中是否是啟用的。例如，藉由解析SPS中發信的第二語法元素，視訊解碼系統決定子圖像分割是啟用或禁用的。當子圖像分割啟用時，在步驟S506中，RPR被禁用用於參考SPS的視訊圖像。例如，當子圖像分割啟用時，視訊編碼系統將不在SPS中發信指定RPR是啟用或禁用的第一語法元素，或者當第二語法元素指定子圖像分割啟用時，視訊解碼系統推斷這一第一語法元素為0，指定RPR是禁用的。在步驟S508中，藉由在幀間預測中僅允許參考具有相同解析度的圖像以及藉由將每個圖像拆分為一個或多個子圖像，視訊編碼或解碼系統來編碼或解碼參考SPS的視訊圖像中的視訊資料。在步驟S510中，視訊編碼或解碼系統進一步決定RPR在參考SPS的視訊圖像中是否是啟用的。例如，視訊編碼系統在SPS中發信第一語法元素指定RPR是啟用還是停用，或視訊解碼系統藉由解析來自SPS的第一語法元素來決定RPR是啟用還是停用。當RPR被決定為啟用時，在步驟512中，藉由在幀間預測中允許參考具有不同解析度的圖像以及藉由在未拆分成子圖像的情況下處理每個圖像，對參考SPS的 視訊圖像中的視訊資料進行編碼或解碼。因為RPR以及子圖像分割都是禁用的，在步驟S514中，藉由在幀間預測中僅允許參考具有相同解析度的圖像以及藉由在未拆分成子圖像的情況下處理每一圖像，對視訊圖像中的視訊資料進行編碼或解碼。
視訊編碼器以及解碼器實施方式前述提出的與高級資訊信令相關的視訊處理方法可以在視訊編碼器或解碼器中實現。第6圖示出了實施本發明各種實施例的一個或多個的視訊編碼器600的示例性系統框圖。根據一些實施例，位元流一致性的要求是不能同時啟用RPR和子圖像分割。例如，當RPR被啟用時，視訊編碼器發信第一語法元素指定RPR在SPS中是啟用的，並且跳過發信第二語法元素指定子圖像分割是否是禁用的或約束的。當第二語法元素不存在於SPS中時，推斷子圖像分割被禁。在另一實例中，當子圖像分割、是啟用的時，視訊編碼器發信第二語法元素指定子圖像分割在SPS中是啟用的，且跳過發信第一語法元素指定RPR是否是禁用的或約束的。當第一語法元素不存在於SPS中時，推斷RPR被禁用。在一些其它實施例中，位元流一致性的要求是，當RPR被啟用時約束子圖像分割，或者當子圖像分割被啟用時約束RPR。幀內預測模組612基於當前圖像的已重構視訊資料提供幀內預測子。幀間預測模組614基於來自其它一個或多個圖像的視訊資料執行運動估計(ME)和運動補償(MC)來提供幀間預測子。幀內預測模組612或幀間預測614將所選擇的預測子提供給加法器618以形成預測誤差，也稱為預測殘差。當前塊的預測殘差由變換模組(T)620進一步處理，變換模組(T)620之後是量化模組(Q)622。然後由熵編碼器634對已變換以及已量化的殘差訊號進行編碼，以形成視訊位元流。視訊位元流然後與輔助資訊一起被打包。然後，當前塊的已變換以及已量化的殘差訊號由逆量化模組(IQ)624以及逆變換模組(IT)626處理來恢復預測殘差。如第6圖所示，藉由在重構模組(REC)628處將所選擇的預測子加回以產生重建的 視訊資料來恢復預測殘差。重構的視訊資料可被存儲在參考圖像緩衝器(Ref.Pict.Buffer)632，並用於其他圖像的預測。從REC模組628恢復的重構視訊資料可能由於編碼處理而受到各種損害，因此，在存儲在參考圖像緩衝器632中之前，將環內處理濾波器630應用於重構視訊資料以進一步增強圖像品質。
第7圖示出了用於解碼從第6圖中示出的視訊編碼器600生成的視訊位元流的對應的視訊解碼器700。在本發明的一些示例中，在高層級語法集合中發信第一語法元素指示RPR是否是禁用的或約束的，並且在高層級語法集合中發信第二語法元素指示子圖像分割是否是禁用的或約束的。例如，第一語法元素是RPR啟用旗標，且第二語法元素是SPS中發信的子圖像分割存在旗標。在一個實施例中，當子圖像分割存在旗標等於1時，RPR啟用旗標被推斷為0，而在另一個實施例中，當RPR啟用旗標等於1時，子圖像分割存在旗標被推斷為0。在又一實施例中，第一語法元素是解析度變換旗標且第二語法元素是子圖像分割存在旗標，其中子圖像分割存在旗標被約束以致僅當解析度變換旗標等於0時才允許將此子圖像分割存在旗標設置為1。視訊位元流是視訊解碼器700的輸入，並由熵解碼器710解碼，以解析以及恢復已變換以及已量化的殘差訊號和其它系統資訊。解碼器700的解碼過程類似於編碼器600處的重構環路，除了解碼器700僅需要幀間預測716中的運動補償預測。每個塊由幀內預測模組714或幀間預測模組716來解碼。開關718根據解碼的模式資訊選擇來自幀內預測模組714的幀內預測子或來自幀間預測模組716的幀間預測子。由逆量化模組(IQ)722以及逆變換模組(IT)724恢復與每一塊相關的已變換以及已量化殘差訊號。藉由在REC模組720中將預測子相加來重構恢復的殘差訊號，以產生重構的視訊。重構的視訊由環內處理濾波器(濾波器)726進一步處理，以生成最終的解碼視訊。如果當前解碼的圖像是解碼順序中後續圖像的參考圖像，則當前解碼的圖像的重構視訊也被存儲在參考圖像緩衝器728。
第6圖以及第7圖中視訊編碼器600以及視訊解碼器700的各種元件可以由硬體元件、配置為執行存儲在記憶體中的程式指令的一個或多個處理器、或硬體與處理器的組合來實施。例如，處理器執行程式指令以控制接收與參考高層級語法集合的視訊圖像相關聯的輸入資料。處理器配備有單個或多個處理核心。在一些實例中，處理器執行程式指令以執行編碼器600以及解碼器700中的一些元件中的功能，且與處理器電耦合的記憶體用於在編碼或解碼過程期間存儲程式指令、對應於塊的重構圖像的資訊和/或中間資料。在一些實施例中，記憶體包括非暫態電腦可讀媒介，如半導體或固態記憶體、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、硬碟、光碟或其他合適的存儲媒介。記憶體還可以是上面列出的非暫態電腦可讀媒介中的兩個或多個的組合。如第6圖以及第7圖所示，編碼器600以及解碼器700可以在相同的電子設備中實現，因此如果在相同的電子設備中實現，編碼器600以及解碼器700的各種功能元件可以被共用或重用。
用於編碼或解碼的視訊處理方法的實施例可以在整合到視訊壓縮晶片中的電路中實現，也可以在整合到視訊壓縮軟體中的程式碼中實現，以執行上述處理。例如，可以在電腦處理器、數位訊號處理器(DSP)、微處理器或現場可程式設計閘陣列(FPGA)上執行的程式碼中實現利用子圖像分割或參考圖像重採樣的編碼或解碼。這些處理器可以被配置為藉由執行定義由本發明體現的具體方法的機器可讀軟體代碼或固件代碼來執行根據本發明的具體任務。
在本說明書中提及的“一個實施例”、“一些實施例”或類似語言意味著結合實施例描述的特定特徵、結構或特性可以包括在本發明的至少一個實施例中。因此，在本說明書各處出現的短語“在一個實施例中”或“在一些實施例中”不一定都指相同的實施例，這些實施例可以單獨地或結合一個或多個其它實施例來實現。此外，所描述的特徵、結構或特性可以以任何合適的 方式組合在一個或多個實施例中。然而，相關領域具有通常知識者將意識到到，可以在沒有一個或多個具體細節的情況下，或利用其他方法、元件等來實施本發明。在其他情況下，未詳細示出或描述公知的結構或操作，以避免使本發明的各方面不清楚。
在不背離其精神或本質特徵的前提下，可以以其他特定形式體現本發明。所描述的實施例在所有方面僅被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是前述描述來指示。在申請專利範圍的等同物的含義和範圍內的所有變化都包括在它們的範圍內。
S402~S414:步驟

Claims (17)

  1. 一種視訊編碼或解碼系統中的視訊處理方法，包括： 接收參考一高層級語法集合的視訊圖像的輸入視訊資料； 決定該高層級語法集合中發信的或待發信的一第一語法元素，該第一語法元素指示參考圖像再採樣是否被禁用或約束用於與該高層級語法集合相關的該視訊圖像； 決定一第二語法元素，該第二語法元素指示子圖像分割是否被禁用或約束用於與該高層級語法集合相關的該視訊圖像，其中該第一語法元素以及該第二語法元素被限制為當該參考圖像再採樣啟用時禁用或約束該子圖像分割，以及 藉由當該參考圖像再採樣被啟用時允許在幀間預測中參考具有不同解析度的圖像，或者當該參考圖像再採樣被禁用時允許在幀間預測中參考僅具有相同解析度的圖像來編碼或解碼該視訊圖像，以及藉由在該子圖像分割被啟用時將每一圖像拆分成一個或多個子圖像，或者在該子圖像分割被禁用時未將每一圖像拆分成子圖像的情況下處理每一圖像來編碼或解碼該視訊圖像。
  2. 如請求項1所述之視訊編碼或解碼系統中的視訊處理方法，其中該高層級語法集合是一序列參數集合。
  3. 如請求項1所述之視訊編碼或解碼系統中的視訊處理方法，其中有條件地在該高層級語法集合中發信該第二語法元素以及當該參考圖像再採樣被禁用時僅發信該第二語法元素。
  4. 如請求項1所述之視訊編碼或解碼系統中的視訊處理方法，其中當該子圖像分割被啟用時，參考該高層級語法集合的所有視訊圖像具有一縮放視窗寬度的一相同推導值以及一縮放視窗高度的一相同推導值。
  5. 如請求項4所述之視訊編碼或解碼系統中的視訊處理方法，其中圖像的該縮放視窗寬度由該圖像參考的一圖像參數集合中發信的一圖像寬度、一左邊縮放視窗偏移以及一右邊縮放視窗偏移來推導，以及該圖像的該縮放視窗高度從一圖像高度、一上方縮放視窗偏移以及一底部縮放視窗偏移來推導。
  6. 如請求項1所述之視訊編碼或解碼系統中的視訊處理方法，其中當該參考圖像再採樣被啟用時，該第一以及第二語法元素被限制來禁用或約束該子圖像分割，或者當該子圖像分割被啟用時，該第一以及第二語法元素被限制來禁用或約束該參考圖像再採樣。
  7. 如請求項6所述之視訊編碼或解碼系統中的視訊處理方法，其中有條件地在該高層級語法集合中發信該第一語法元素以及僅當該子圖像分割被禁用時發信該第一語法元素。
  8. 如請求項6所述之視訊編碼或解碼系統中的視訊處理方法，其中該第一語法元素是指定該參考圖像再採樣是否被啟用的一參考圖像再採樣啟用旗標，以及該第二語法元素是指定子圖像參數是否存在於該高層級語法集合的一子圖像分割存在旗標。
  9. 如請求項8所述之視訊編碼或解碼系統中的視訊處理方法，其中當該子圖像分割存在旗標等於1時，該參考圖像再採樣啟用旗標被推斷為等於0或者不被發信，以及當該子圖像分割存在旗標等於0時，該參考圖像再採樣啟用旗標僅在該高層級語法集合中被發信，其中當該參考圖像再採樣啟用旗標不被發信時，該參考圖像再採樣啟用旗標被推斷為0。
  10. 如請求項8所述之視訊編碼或解碼系統中的視訊處理方法，其中當該參考圖像再採樣啟用旗標等於1時，該子圖像分割存在旗標被推斷為等於0或者不被發信，以及當該參考圖像再採樣啟用旗標等於0時，僅在該高層級語法集合中發信該子圖像分割存在旗標，其中當該子圖像分割存在旗標不被發信時，該子圖像分割存在旗標被推斷為0。
  11. 如請求項1所述之視訊編碼或解碼系統中的視訊處理方法，其中其中所述第一語法元素是指定一圖像空間解析度在一編碼層視訊序列內是否可變化的一解析度變化旗標，以及該第二語法元素是指定子圖像資訊是否存在用於該高層級語法集合中該編碼層視訊序列的一子圖像分割存在旗標。
  12. 如請求項11所述之視訊編碼或解碼系統中的視訊處理方法，其中藉由當該解析度變化旗標等於1時將該子圖像分割存在旗標推斷為0，當該圖像空間解析度在參考該高層級語法集合的該編碼層視訊序列中可變化時，該子圖像資訊不存在用於該高層級語法集合中的該編碼層視訊序列。
  13. 如請求項1所述之視訊編碼或解碼系統中的視訊處理方法，進一步包括根據該第二語法元素決定一第三語法元素，其中該第二語法元素是指定子圖像資訊是否存在用於該高層級語法集合中一編碼層視訊序列的一子圖像分割存在旗標，以及該第三語法元素是指定子圖像識別符映射是否存在於該高層級語法元素的一子圖像識別符旗標。
  14. 如請求項13所述之視訊編碼或解碼系統中的視訊處理方法，進一步包括當該子圖像分割存在旗標等於1時決定一相關的子圖像佈局。
  15. 如請求項13所述之視訊編碼或解碼系統中的視訊處理方法，其中當該子圖像分割存在旗標等於0時該子圖像識別符旗標不被編碼並且被推斷為0，以及當該子圖像分割存在旗標等於1時，該子圖像識別符旗標僅在該高層級語法集合中被發信。
  16. 一種視訊編碼或解碼系統中處理視訊資料的裝置，該裝置包括一個或多個電子電路用於： 接收參考一高層級語法集合的視訊圖像的輸入視訊資料； 決定該高層級語法集合中發信的或待發信的一第一語法元素，該第一語法元素指示參考圖像再採樣是否被禁用或約束用於與該高層級語法集合相關的該視訊圖像； 決定一第二語法元素，該第二語法元素指示子圖像分割是否被禁用或約束用於與該高層級語法集合相關的該視訊圖像，其中該第一語法元素以及該第二語法元素被限制為當該參考圖像再採樣啟用時禁用或約束該子圖像分割，以及 藉由當該參考圖像再採樣被啟用時允許在幀間預測中參考具有不同解析度的圖像，或者當該參考圖像再採樣被禁用時允許在幀間預測中參考僅具有相同解析度的圖像來編碼或解碼該視訊圖像，以及藉由在該子圖像分割被啟用時將每一圖像拆分成一個或多個子圖像，或者在該子圖像分割被禁用時未將每一圖像拆分成子圖像的情況下處理每一圖像來編碼或解碼該視訊圖像。
  17. 一種存儲程式指令的非暫態電腦可讀媒介，該程式指令使得裝置的一處理電路執行視訊資料的視訊處理方法，以及該方法包括： 接收參考一高層級語法集合的視訊圖像的輸入視訊資料； 決定該高層級語法集合中發信的或待發信的一第一語法元素，該第一語法元素指示參考圖像再採樣是否被禁用或約束用於與該高層級語法集合相關的該視訊圖像； 決定一第二語法元素，該第二語法元素指示子圖像分割是否被禁用或約束用於與該高層級語法集合相關的該視訊圖像，其中該第一語法元素以及該第二語法元素被限制為當該參考圖像再採樣啟用時禁用或約束該子圖像分割，以及 藉由當該參考圖像再採樣被啟用時允許在幀間預測中參考具有不同解析度的圖像，或者當該參考圖像再採樣被禁用時允許在幀間預測中參考僅具有相同解析度的圖像來編碼或解碼該視訊圖像，以及藉由在該子圖像分割被啟用時將每一圖像拆分成一個或多個子圖像，或者在該子圖像分割被禁用時未將每一圖像拆分成子圖像的情況下處理每一圖像來編碼或解碼該視訊圖像。
TW109146636A 2019-12-30 2020-12-29 高層級資訊信令有關的視訊編碼或解碼方法及裝置 TWI773058B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962955364P 2019-12-30 2019-12-30
US62/955,364 2019-12-30
US201962955539P 2019-12-31 2019-12-31
US62/955,539 2019-12-31
US17/134,672 2020-12-28
US17/134,672 US11146824B2 (en) 2019-12-30 2020-12-28 Video encoding or decoding methods and apparatuses related to high-level information signaling

Publications (2)

Publication Number Publication Date
TW202131685A TW202131685A (zh) 2021-08-16
TWI773058B true TWI773058B (zh) 2022-08-01

Family

ID=76546758

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109146636A TWI773058B (zh) 2019-12-30 2020-12-29 高層級資訊信令有關的視訊編碼或解碼方法及裝置

Country Status (7)

Country Link
US (1) US11146824B2 (zh)
EP (1) EP4082187A4 (zh)
KR (1) KR20220110846A (zh)
CN (1) CN114902660A (zh)
MX (1) MX2022008150A (zh)
TW (1) TWI773058B (zh)
WO (1) WO2021136375A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4020984A4 (en) 2019-08-20 2023-07-19 Apple Inc. IMAGE SIGNAL ENCODING/DECODING METHOD AND RELATED DEVICE
KR20220114570A (ko) 2019-12-20 2022-08-17 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 이를 위한 장치
EP4097979A4 (en) 2020-02-29 2023-07-26 Beijing Bytedance Network Technology Co., Ltd. RESTRICTIONS ON HIGH-LEVEL SYNTAX ELEMENTS
CN115804092A (zh) 2020-05-22 2023-03-14 抖音视界有限公司 通用约束标志的信令
CN114025168B (zh) * 2021-09-30 2023-08-04 浙江大华技术股份有限公司 视频图像的处理方法、处理设备、电子设备以及存储介质
CN116156203A (zh) * 2021-11-22 2023-05-23 中兴通讯股份有限公司 语法元素的编码、解码方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105052152A (zh) * 2013-04-01 2015-11-11 高通股份有限公司 用于仅高级语法可缩放视频译码的层间参考图片限制
CN107431819A (zh) * 2014-12-31 2017-12-01 诺基亚技术有限公司 用于可伸缩视频编码和解码的层间预测
CN107566848A (zh) * 2016-06-30 2018-01-09 华为技术有限公司 编解码的方法及装置
US20180376126A1 (en) * 2017-06-26 2018-12-27 Nokia Technologies Oy Apparatus, a method and a computer program for omnidirectional video

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10129550B2 (en) * 2013-02-01 2018-11-13 Qualcomm Incorporated Inter-layer syntax prediction control
US9648335B2 (en) * 2013-07-12 2017-05-09 Qualcomm Incorporated Bitstream restrictions on picture partitions across layers

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105052152A (zh) * 2013-04-01 2015-11-11 高通股份有限公司 用于仅高级语法可缩放视频译码的层间参考图片限制
CN107431819A (zh) * 2014-12-31 2017-12-01 诺基亚技术有限公司 用于可伸缩视频编码和解码的层间预测
CN107566848A (zh) * 2016-06-30 2018-01-09 华为技术有限公司 编解码的方法及装置
US20180376126A1 (en) * 2017-06-26 2018-12-27 Nokia Technologies Oy Apparatus, a method and a computer program for omnidirectional video

Also Published As

Publication number Publication date
EP4082187A1 (en) 2022-11-02
TW202131685A (zh) 2021-08-16
US20210203996A1 (en) 2021-07-01
KR20220110846A (ko) 2022-08-09
WO2021136375A1 (en) 2021-07-08
MX2022008150A (es) 2022-07-21
EP4082187A4 (en) 2024-01-03
CN114902660A (zh) 2022-08-12
US11146824B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
TWI773058B (zh) 高層級資訊信令有關的視訊編碼或解碼方法及裝置
CN106961609B (zh) 用于处理参考图像的应用处理器及移动终端
TWI705694B (zh) 片級內部區塊複製及其他視訊寫碼改善
TW201830965A (zh) 用於時間延展性支持之修改適應性迴路濾波器時間預測
TW201743619A (zh) 在視訊寫碼中適應性迴路濾波中之多個濾波器之混淆
JP7463460B2 (ja) ビデオ復号方法およびビデオデコーダ
TWI535273B (zh) 經組態以寫碼視訊資訊之設備及視訊寫碼裝置、編碼及解碼視訊資訊之方法與非暫態電腦可讀媒體
CN111277828B (zh) 视频编解码方法、视频编码器和视频解码器
JP7346601B2 (ja) Ｍｐｍリストを構成する方法、クロマブロックのイントラ予測モードを取得する方法、および装置
CN114846794A (zh) 视频译码中针对子图的参考子图缩放比率
JP2016508011A (ja) ビデオ情報のスケーラブルコード化のための機器及び方法
US11895314B2 (en) Method and device for coding image/video on basis of prediction weighted table
KR20210107131A (ko) 이미지 예측 방법, 장치 및 시스템, 디바이스 및 저장 매체
JP2023504332A (ja) 符号化ツリーユニットを符号化および復号化するための方法、装置およびシステム
US20230217015A1 (en) Prediction weighted table-based image/video coding method and apparatus
CN115039406A (zh) 编码器、解码器和用于在序列参数集中指示子图像的对应方法
CN115836527A (zh) 编码器、解码器及用于自适应环路滤波的对应方法
JP2023504333A (ja) 符号化ツリーユニットを符号化および復号化するための方法、装置およびシステム
CN114679583B (zh) 视频编码器、视频解码器及对应方法
US11652986B2 (en) Image/video coding method and device based on weighted prediction
WO2020182194A1 (zh) 帧间预测的方法及相关装置
CN111327894B (zh) 块划分方法、视频编解码方法、视频编解码器
CN111277840B (zh) 变换方法、反变换方法以及视频编码器和视频解码器
CN114846789A (zh) 用于指示条带的图像分割信息的解码器及对应方法
US11716464B2 (en) Image/video encoding/decoding method and apparatus using same