TWI779417B - 用於編解碼視訊序列之方法和裝置 - Google Patents

用於編解碼視訊序列之方法和裝置 Download PDF

Info

Publication number
TWI779417B
TWI779417B TW109143837A TW109143837A TWI779417B TW I779417 B TWI779417 B TW I779417B TW 109143837 A TW109143837 A TW 109143837A TW 109143837 A TW109143837 A TW 109143837A TW I779417 B TWI779417 B TW I779417B
Authority
TW
Taiwan
Prior art keywords
height
width
samples
luma
pic
Prior art date
Application number
TW109143837A
Other languages
English (en)
Other versions
TW202130186A (zh
Inventor
莊子德
徐志瑋
陳慶曄
蔡佳銘
陳俊嘉
歐萊娜 邱巴赫
黃毓文
Original Assignee
寰發股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 寰發股份有限公司 filed Critical 寰發股份有限公司
Publication of TW202130186A publication Critical patent/TW202130186A/zh
Application granted granted Critical
Publication of TWI779417B publication Critical patent/TWI779417B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

對視訊序列進行編解碼的方法和設備被公開。根據該方法，與視訊序列的編碼資料相對應的位元流在編碼器側生成或在解碼器側接收，其中該位元流符合位元流一致性：一個或多個約束被滿足。該一個或多個約束與一組參考圖像重採樣(Reference Picture Resampling，簡稱RPR)參數有關，其中包括當前圖像的縮放視窗寬度或高度，參考圖像的縮放視窗寬度或高度，當前圖像的寬度或高度以及指定用於該視訊序列的最大圖像寬度或高度。RPR模式的縮放資訊可使用該組RPR參數導出。然後，當RPR模式被致能用於目標圖像時，藉由使用縮放資訊，視訊序列的目標圖像在編碼器側進行編碼，或者在解碼器側進行解碼。

Description

用於編解碼視訊序列之方法和裝置
本發明涉及包含參考圖像重採樣(Reference Picture Resampling，簡稱RPR)編解碼工具的視訊編解碼。特別地，本發明涉及約束RPR參數以減輕最壞情況的記憶體頻寬。
高效率視訊編解碼(High Efficiency Video Coding,HEVC)標準已經在ITU-T視訊編解碼專家組(Video Coding Experts Group,VCEG)和ISO/IEC運動圖像專家組(Moving Picture Experts Group,MPEG)標準化組織的聯合視訊項目下被開發，尤其是與稱為視訊編解碼聯合協作小組(Joint Collaborative Team on Video Coding,JCT-VC)的合作而開發的。新興的視訊編解碼標準開發被稱為多樣化視訊編解碼(Versatile Video Coding，簡稱VVC)，近年來已作為HEVC以外的下一代視訊編解碼而進行。VVC支援參考圖像重採樣(Reference Picture Resampling，簡稱RPR)作為適應性流服務的工具，以支援即時(on-the-fly)的上採樣和下採樣運動補償。與適應性流服務有關的技術如下。
參考圖像重採樣(Reference Picture Resampling，簡稱RPR)
在VVC的開發過程中，根據“Requirements for a Future Video Coding standard”，在適應性流服務提供了相同內容的多個表示，每個具有不同屬性(例如空間解析度或樣本位元深度)的適應性流服務的情況下，該標準應 支持快速表示切換。在即時(real-time)視訊通訊中，允許在編解碼視訊序列中更改解析度而無需插入I圖像，這不僅可以使視訊資料無縫適應動態通道條件或使用者偏好，還可以消除由I圖像引起的跳動效果。具有參考圖像重採樣(Reference Picture Resampling，簡稱RPR)的適應性解析度更改(Adaptive Resolution Change，簡稱ARC)的假設示例被顯示在第1圖中，其中，當前圖像(110)根據不同大小的參考圖像(Ref0 120和Ref1 130)被預測。如第1圖所示，參考圖像Ref0(120)具有比當前圖像(110)更低的解析度。為了將參考圖像Ref0用作參考，Ref0必須被放大到與當前圖像相同的解析度。參考圖像Ref1(130)具有比當前圖像(110)更高的解析度。為了將參考圖像Ref1用作參考，Ref1必須被縮小到與當前圖像相同的解析度。
為了支援空間可伸縮性，參考圖像的圖像大小可以與當前圖像不同，這對於流應用程式很有用。用於支援參考圖像重採樣(RPR)(也被稱為適應性解析度更改(ARC))的方法已經被研究，以將其包含在VVC規範中。在日內瓦舉行的第14屆JVET會議上，有關RPR的一些文稿已提交會議討論。
當RPR被使用時，從參考圖像的寬度和高度以及當前圖像的寬度和高度中，圖像大小比例被導出。圖像大小比例被限制在[1/8至2]的範圍內。換句話說，圖像大小比例在1/8和2之間。亮度樣本中的圖像寬度/高度可在位元流中發送，例如PPS，其語義如下所示。
pic_width_in_luma_samples以亮度樣本為單位指定參考PPS的每個解碼圖像的寬度。pic_width_in_luma_samples不應等於0，應為Max(8，MinCbSizeY)的整數倍，以及應小於或等於pic_width_max_in_luma_samples。
當subpics_present_flag等於1或ref_pic_resampling_enabled_flag等於0時，pic_width_in_luma_samples的值應等於pic_width_in_luma_samples。
pic_height_in_luma_samples以亮度樣本為單位指定參考PPS的每 個解碼圖像的高度。pic_height_in_luma_samples不應等於0，應為Max(8，MinCbSizeY)的整數倍，以及應小於或等於pic_height_max_in_luma_samples。
當subpics_present_flag等於1或ref_pic_resampling_enabled_flag等於0時，pic_height_in_luma_samples的值應等於pic_height_in_luma_samples。
當當前圖像和參考圖像的圖像大小被指定時，以下約束應被滿足。該約束將參考圖像與當前圖像的圖像大小比例限制在[1/8，2]的範圍內。
使refPicWidthInLumaSamples和RefPicHeightInLumaSamples分別是引用該PPS的當前圖像的參考圖像的pic_width_in_luma_samples和pic_height_in_luma_samples。滿足以下所有條件是位元流一致性的要求：
- pic_width_in_luma_samples * 2應大於或等於refPicWidthInLumaSamples。
- pic_height_in_luma_samples * 2應大於或等於refPicHeightInLumaSamples。
- pic_width_in_luma_samples應小於或等於refPicWidthInLumaSamples * 8。
- pic_height_in_luma_samples應小於或等於refPicHeightInLumaSamples * 8。
在VVC中，RPR的縮放比例和縮放偏移是從PPS中發送的語法資訊中得出的。PPS語法在下表被顯示。
Figure 109143837-A0305-02-0005-1
Figure 109143837-A0305-02-0006-2
語法的語義描述如下。
scaling_window_flag等於1表示在PPS中存在縮放視窗偏移參數。scaling_window_flag等於0表示在PPS中不存在縮放視窗偏移參數。當ref_pic_resampling_enabled_flag等於0時，scaling_window_flag的值應等於0。
scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset指定以亮度樣本為單位的偏移，該偏移被應用於圖像大小以進行縮放比例計算。當scaling_window_flag等於0時，scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset的值被推斷為等於0。
scaling_win_left_offset+scaling_win_right_offset的值應小於pic_width_in_luma_samples，scaling_win_top_offset+scaling_win_bottom_offset的值應小於pic_height_in_luma_samples。
變數PicOutputWidthL和PicOutputHeightL被導出如下：PicOutputWidthL=pic_width_in_luma_samples- (scaling_win_right_offset+scaling_win_left_offset)。
PicOutputHeightL=pic_height_in_luma_samples-(scaling_win_bottom_offset+scaleing_win_top_offset)。
在亮度樣本中，fRefWidth被設置為等於參考圖像RefPicList[i][j]的PicOutputWidthL，以及在亮度樣本中，fRefHeight被設置為等於參考圖像RefPicList[i][j]的PicOutputHeightL。
RefPicScale[i][j][0]=((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthL。
RefPicScale[i][j][1]=((fRefHeight<<14)+(PicOutputHeightL>>1))/PicOutputHeightL。
RefPicIsScaled[i][j]=(RefPicScale[i][j][0]！=(1<<14))｜｜(RefPicScale[i][j][1]！=(1<<14))。
儘管RPR為編解碼視訊位元流增加了靈活性，但與RPR縮放相關的運動補償導致計算複雜度以及存儲頻寬的增加。為了減輕最壞情況的記憶體頻寬，本發明公開了約束與RPR有關的參數的方法和裝置。
對視訊序列進行編碼的方法和設備被公開，其中，參考圖像重採樣(Reference Picture Resampling，簡稱RPR)模式被公開。根據該方法，與視訊序列的編碼資料相對應的位元流在編碼器側生成或在解碼器側接收，其中該位元流符合位元流一致性：一個或多個約束被滿足。約束與一組RPR參數有關，該參數包括當前圖像的縮放視窗寬度或高度，參考圖像的縮放視窗寬度或高度，當前圖像寬度或高度以及指定用於視訊序列的最大圖像寬度或高度。RPR模式的縮放資訊使用該組RPR參數來導出。然後，當RPR模式被致能用於目標圖 像時，藉由使用縮放資訊，視訊序列的目標圖像可在編碼器側進行編碼，或者在解碼器側進行解碼。
在一實施例中，約束不受與RPR過程相關聯的任一插值濾波器的影響。例如，約束可包括第一項值小於或等於(SpsMaxPicWidth * PicOutputWidthL)，以及其中第一項值由CurPicWidth和refPicOutputWidthL確定。CurPicWidth對應於當前圖像寬度，refPicOutputWidthL對應於參考圖像的縮放視窗寬度，PicOutputWidthL對應於當前圖像的縮放視窗寬度，SpsMaxPicWidth對應於指定用於視訊序列的最大圖像寬度。在另一示例中，約束可包括第二項值小於或等於(SpsMaxPicHeight * PicOutputHeight)，以及其中第二項值由CurPicHeight和refPicOutputHeight確定。CurPicHeight對應於當前圖像高度，refPicOutputHeight對應於參考圖像的縮放視窗高度，PicOutputHeight對應於當前圖像的縮放視窗高度，SpsMaxPicHeight對應於指定用於視訊序列的最大圖像高度。在另一示例中，約束可包括(CurPicWidth * refPicOutputWidthL)小於或等於(SpsMaxPicWidth * PicOutputWidthL)。CurPicWidth對應於當前圖像寬度，refPicOutputWidthL對應於參考圖像的縮放視窗寬度，PicOutputWidthL對應於當前圖像的縮放視窗寬度，SpsMaxPicWidth對應於指定用於視訊序列的最大圖像寬度。在另一示例中，約束可包括(CurPicHeight * refPicOutputHeight)小於或等於(SpsMaxPicHeight * PicOutputHeight)。CurPicHeight對應於當前圖像高度，refPicOutputHeight對應於參考圖像的縮放視窗高度，PicOutputHeight對應於當前圖像的縮放視窗高度，SpsMaxPicHeight對應於指定用於視訊序列的最大圖像高度。
在一實施例中，約束包括：(pic_width_in_luma_samples * pic_height_in_luma_samples *(16 * refPicOutputWidthL+7 * PicOutputWidthL)*(4*refPicOutputHeightL+7 * PicOutputHeightL))小於或等於 (pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height * 253 * PicOutputWidthL * PicOutputHeightL)。在一實施例中，約束包括：(pic_width_in_luma_samples * pic_height_in_luma_samples *(4 * refPicOutputWidthL+7 * PicOutputWidthL)*(16 * refPicOutputHeightL+7 * PicOutputHeightL))小於或等於(pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height * 253 * PicOutputWidthL * PicOutputHeightL)。pic_width_in_luma_samples和pic_height_in_luma_samples分別對應於亮度樣本中的當前圖像寬度和高度，refPicOutputWidthL和refPicOutputHeightL分別對應於參考圖像的縮放視窗寬度和高度，PicOutputWidthL和PicOutputHeightL分別對應於當前圖像的縮放圖像寬度和高度，以及pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分別對應於亮度樣本中的最大圖像寬度和高度。
在一實施例中，約束包括(CurPicWidth * CurPicHeight * refPicOutputWidthL * refPicOutputHeightL)小於或等於(SpsMaxPicWidth * SpsMaxPicHeight * PicOutputWidthL * PicOutputHeightL)。CurPicWidth和CurPicHeight分別對應於當前圖像寬度和高度，refPicOutputWidthL和refPicOutputHeightL分別對應於參考圖像的縮放視窗寬度和高度，PicOutputWidthL和PicOutputHeightL分別對應於當前圖像的縮放視窗寬度和高度。SpsMaxPicWidth和SpsMaxPicHeight分別對應於指定用於視訊序列的最大圖像寬度和高度。
在一實施例中，約束包括：(pic_width_in_luma_samples * pic_height_in_luma_samples *(8 * refPicOutputWidthL+7 * PicOutputWidthL)*(8 * refPicOutputHeightL+7 * PicOutputHeightL))小於或等於(pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height * 225 * PicOutputWidthL * PicOutputHeightL)。pic_width_in_luma_samples和pic_height_in_luma_samples分別對應亮度樣本中的當前圖像寬度和高度，refPicOutputWidthL和refPicOutputHeightL分別對應於參考圖像的縮放視窗寬度和高度，PicOutputWidthL和PicOutputHeightL分別對應於當前圖像的縮放視窗寬度和高度，以及pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分別對應於亮度樣本中的最大圖像寬度和高度。
110:當前圖像
120:參考圖像
130:參考圖像
210、220:步驟
第1圖示出具有參考圖像重採樣(Adaptive Resolution Change，簡稱RPR)的適應性解析度更改(Adaptive Resolution Change，簡稱ARC)的假設示例，其中當前圖像根據不同大小的參考圖像(Ref0和Ref1)預測。
第2圖示出根據本發明的實施例的引入約束的參考圖像重採樣(Adaptive Resolution Change，簡稱RPR)參數的系統的示例性框圖。
以下描述是實施本發明的最佳構想模式。該描述的進行是出於說明本發明的一般原理的目的，而不應被認為是限制性的。本發明的範圍最好透過參考所附的申請專利範圍來確定。
容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍，而僅僅代表本發明的所選實施例。
本說明書中對“實施例”，“一些實施例”或類似語言的引用意味著結合實施例描述的具體特徵，結構或特性可以包括在本發明的至少一實施例中。因此，貫穿本說明書在各個地方出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例，此外，所描述的特徵，結構或特性可在一個或多個實施例中以任何合適的方式組合。然而，本領域之通常技術者將認識到，可在沒有一個或多個具體細節的情況下或者利用其他方法，組件等來實踐本發明。在其他情況下，未示出或詳細描述公知的結構或操作，以避免模糊本發明的各方面。
藉由參考附圖，本發明的所示實施例將被最好地理解，其中，相似的部分始終由相似的數字表示。以下描述僅旨在作為示例，並且簡單地示出了與本文所要求保護的本發明一致的裝置和方法的特定選擇的實施例。
在說明書中，現在附圖和說明書中的相似的附圖標記指定不同視圖之間的對應或相似元素。
根據VVC，導出的參考圖像縮放比例(RefPicScale[i][j][0]，RefPicScale[i][j][1])被用於運動補償。RefPicScale是從PPS中指定的縮放視窗大小/寬度/高度得出的。它影響在運動補償階段哪些濾波器將被使用，還影響用於運動補償的存儲頻寬。例如，對於一個16x16的塊，在執行運動補償時，如果縮放比例等於1(例如RefPicScale[i][j][0]和RefPicScale[i][j][1]都等於16384)，需要一個(16+L-1)x(16+L-1)參考塊，其中L是運動補償的濾波器抽頭長度。在SPS中，序列的最大圖像大小被指定。根據最大圖像大小，最壞情況下的頻寬可被計算和約束。但是，當縮放比例等於2時(例如RefPicScale[i][j][0]和RefPicScale[i][j][1]都等於32768)，則需要(32+L-1)x(32+L-1)參考塊。考慮到濾波器抽頭長度的影響，頻寬幾乎是原來的四倍。所需頻寬受縮放比例的影響。例如，如果當前圖像的大小等於最大圖像大小，以及參考圖像之 一的縮放比例大於1，則此當前圖像的所需頻寬可能會大於系統預期的頻寬。為了約束最壞情況的頻寬，幾種方法被提出。
方法-1：約束縮放比例
在本發明中，(參考圖像大小與當前圖像大小的)縮放比例被約束為不大於(SPS中的最大圖像大小與當前圖像大小的)比例。例如，scaling_ratio_x * current_picture_width * scaleing_ratio_y * current_picture_height應小於或等於max_picture_width * max_picture_height。current_picture_width或current_picture_height可以是圖像的寬度或高度(例如，以PPS表示或導出)，或者是一致性視窗(例如，以PPS表示或導出)，或縮放視窗(例如，以PPS表示或導出)。max_picture_width或max_picture_height height可以是當前序列的最大圖像寬度或高度(例如，在SPS中發送或導出)。在一實施例中，scaling_ratio_x和scaling_ratio_y可以是RefPicIsScaled[][][0]和RefPicIsScaled[][][1]。例如，RefPicIsScaled[][][0]* current_picture_width * RefPicIsScaled[][][1]* current_picture_height應小於或等於max_picture_width*max_picture_height*2^K，或(((RefPicIsScaled[][][0]* RefPicIsScaled[][][1]* current_picture_width * current_picture_height)>>K)應小於或等於max_picture_width * max_picture_height。K可以是28。
在另一實施例中，水平縮放比和垂直縮放可以被分別地約束。例如，(參考圖像大小與當前圖像大小的)水平和垂直縮放比例被分別約束為不大於(SPS中的最大圖像寬度與當前圖像寬度的)比例和(SPS中的最大圖像高度與當前圖像高度的)比例。例如，scaling_ratio_x * current_picture_width應小於或等於max_picture_width。scaling_ratio_y * current_picture_height應小於或等於max_picture_height。current_picture_width或current_picture_height可以是圖像的寬度或高度(例如，以PPS表示或導出，或者是一致性視窗(例如，以PPS表示 或導出)，或縮放視窗(例如，以PPS表示或導出)。max_picture_width或max_picture_height height可以是當前序列的最大圖像寬度或高度(例如，在SPS中發送或導出)。在一實施例中，scaling_ratio_x和scaling_ratio_y可以是RefPicIsScaled[][][0]和RefPicIsScaled[][][1]。例如，RefPicIsScaled[][][0]* current_picture_width應小於或等於max_picture_2 ^ K，或(((RefPicIsScaled[][0]* current_picture_width)>>K)應小於或等於max_picture_width。同樣，RefPicIsScaled[][][1]* current_picture_height應小於或等於max_picture_height * 2 ^ K，或(((RefPicIsScaled[][][1]* current_picture_height)>>K)>>max_picture_height。K可以為14。
在另一實施例中，縮放視窗的大小，當前圖像大小，參考圖像大小和/或當前序列中的最大圖像大小受到約束。例如，使refPicOutputWidthL和refPicOutputHeightL分別為引用該PPS的當前圖像的參考圖像的PicOutputWidthL和PicOutputHeightL。位元流一致性的要求是，由所有refPicOutputWidthL，current_picture_width，refPicOutputHeightL和current_picture_height確定的值應小於或等於PicOutputWidthL * max_picture_width * PicOutputHeightL * max_picture_height。例如，滿足以下所有條件是位元流一致性的要求：- refPicOutputWidthL * current_picture_width * refPicOutputHeightL * current_picture_height應小於或等於PicOutputWidthL * max_picture_width * PicOutputHeightL * max_picture_height。
在另一實施例中，縮放視窗的寬度和高度，當前圖像的寬度和高度，參考圖像的寬度和高度，和/或當前序列中圖像的最大寬度和高度被分別約束。例如，使refPicOutputWidthL和refPicOutputHeightL分別為引用該PPS的當前圖像的參考圖像的PicOutputWidthL和PicOutputHeightL。位元流一致性的要求是，由所有refPicOutputWidthL和current_picture_width，refPicOutputHeightL確定 的第一值應小於或等於PicOutputWidthL*max_picture_width；由refPicOutputHeightL和current_picture_height確定的第二值應小於或等於PicOutputHeightL * max_picture_height。例如，滿足以下所有條件是位元流一致性的要求：- refPicOutputWidthL * current_picture_width應小於或等於PicOutputWidthL * max_picture_width，- refPicOutputHeightL * current_picture_height應小於或等於PicOutputHeightL * max_picture_height。
current_picture_width和current_picture_height可以是在SPS或PPS中發送的圖像寬度和高度。例如，圖像的寬度和高度可以是pic_width_in_luma_samples和pic_height_in_luma_samples，或者可以是一致性裁剪視窗的寬度和高度，或者可以是縮放視窗的寬度和高度。
在另一實施例中，插值濾波器被考慮。當前圖像的最壞情況MC記憶體頻寬等於CurPicWidth * CurPicHeight * WorstCaseBlockBW/WorstCaseBlockSize。因此，如果滿足以下條件，則最壞情況下的MC記憶體頻寬不會增加。
CurPicWidth * CurPicHeight *(8 * ScalingRatioX+7)*(8 * ScalingRatioY+7)/(8 * 8)<=SpsMaxPicWidth * SpsMaxPicHeight *(8+7)*(8+7)/(8*8)。
在以上等式中，ScalingRatioX等於(refPicOutputWidthL/PicOutputWidthL)，ScalingRatioY等於(refPicOutputHeightL/PicOutputHeightL)，SpsMaxPicWidth是SPS中發送的最大圖像寬度，SpsMaxPicHeight是SPS中發送的最大圖像高度。
在公式簡化之後，以下等式可被重寫為以下形式。
CurPicWidth * CurPicHeight *(8 * refPicOutputWidthL+7 * PicOutputWidthL)*(8 * refPicOutputHeightL+7 * PicOutputHeightL)<=SpsMaxPicWidth * SpsMaxPicHeight *225 * PicOutputWidthL * PicOutputHeightL。
類似地，對於色度分量，約束如下：CurPicWidth * CurPicHeight *(8/SubWidthC * refPicOutputWidthL+3 * PicOutputWidthL)*(8/SubHeightC * refPicOutputHeightL+3 * PicOutputHeightL)<=SpsMaxPicWidth * SpsMaxPicHeight *(8/SubWidthC+3)*(8/SubHeightC+3)* PicOutputWidthL * PicOutputHeightL。
在以上等式中，對於4：2：0，4：2：2和4：4：4，(SubWidthC，SubHeightC)分別是(2，2)，(2，1)和(1，1)。
關於縮放視窗大小的建議文本如下。
scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset指定以亮度樣本為單位的偏移，該偏移被應用於圖像大小以進行縮放比例計算。當scaling_window_flag等於0時，scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset的值被推斷為等於0。
scaling_win_left_offset+scaling_win_right_offset的值應小於pic_width_in_luma_samples，scaling_win_top_offset+scaling_win_bottom_offset的值應小於pic_height_in_luma_samples。
變數PicOutputWidthL和PicOutputHeightL的導出如下：PicOutputWidthL=pic_width_in_luma_samples-(scaling_win_right_offset+scaling_win_left_offset)。
PicOutputHeightL=pic_height_in_luma_samples-(scaling_win_bottom_offset+scaling_win_top_offset)。
在另一示例中，scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset以色度樣本為單位發送。變數PicOutputWidthL和PicOutputHeightL的導出如下：PicOutputWidthL=pic_width_in_luma_samples-SubWidthC *(scaling_win_right_offset+scaling_win_lefy_offset)。
PicOutputHeightL=pic_height_in_luma_samples-SubHeightC *(scaling_win_bottom_offset+scaling_win_top_offset)。
在以上等式中，SubWidthC和SubHeightC分別指定水平方向和垂直方向上的亮度採樣與色度採樣的採樣比。
根據一實施例，以下約束被施加。當scaling_window_flag等於1時，使refPicOutputWidthL和refPicOutputHeightL分別為參考該PPS的當前圖像的參考圖像的PicOutputWidthL和PicOutputHeightL。滿足以下條件是位元流一致性的要求：
- pic_width_in_luma_samples * pic_height_in_luma_samples *(8 * refPicOutputWidthL+7 * PicOutputWidthL)*(8 * refPicOutputHeightL+7 * PicOutputHeightL)應小於或等於pic_width_max_in_luma_samples * pic_height_max_in_lum_samples height * 225 * PicOutputWidthL * PicOutputHeightL。
- pic_width_in_luma_samples * pic_height_in_luma_samples *(8/SubWidthC * refPicOutputWidthL+3 * PicOutputWidthL)*(8/SubHeightC * refPicOutputHeightL+3 * PicOutputHeightL)應小於或等於pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height *(8/SubWidthC+3)*(8/SubHeightC+3)* PicOutputWidthL * PicOutputHeightL。
在另一種方法中，我們可以只考慮亮度分量。縮放視窗大小的建 議文本如下。
scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset指定以亮度樣本為單位的偏移，該偏移被應用於圖像大小以進行縮放比例計算。當scaling_window_flag等於0時，scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset的值被推斷為等於0。
scaling_win_left_offset+scaling_win_right_offset的值應小於pic_width_in_luma_samples，scaling_win_top_offset+scaling_win_bottom_offset的值應小於pic_heighy_in_luma_samples。
變數PicOutputWidthL和PicOutputHeightL的導出如下：PicOutputWidthL=pic_width_in_luma_samples-(scaling_win_right_offset+scaling_win_left_offset)。
PicOutputHeightL=pic_height_in_luma_samples-(scaling_win_bottom_offset+scaling_win_top_offset)。
根據一實施例，以下約束被施加。當scaling_window_flag等於1時，使refPicOutputWidthL和refPicOutputHeightL分別為參考該PPS的當前圖像的參考圖像的PicOutputWidthL和PicOutputHeightL。滿足以下條件是位元流一致性的要求：- pic_width_in_luma_samples * pic_height_in_luma_samples *(8 * refPicOutputWidthL+7 * PicOutputWidthL)*(8 * refPicOutputHeightL+7 * PicOutputHeightL)應小於或等於pic_width_max_in_luma_samples * pic_height_max_in_lum_samples height * 225 * PicOutputWidthL * PicOutputHeightL。
注意，以上的數字8、7和3可以用其他數字代替。例如，在公式簡 化後，其可被重寫如下。
CurPicWidth * CurPicHeight *(M * refPicOutputWidthL+N * PicOutputWidthL)*(O * refPicOutputHeightL+P * PicOutputHeightL)<=SpsMaxPicWidth * SpsMaxPicHeight *(M+N)*(O+P)* PicOutputWidthL * PicOutputHeightL。
類似地，對於色度分量，約束如下。
CurPicWidth * CurPicHeight *(A/SubWidthC * refPicOutputWidthL+B * PicOutputWidthL)*(C/SubHeightC * refPicOutputHeightL+D * PicOutputHeightL)<=SpsMaxPicWidth*SpsMaxPicHeight*(A/SubWidthC+B)*(C/SubHeightC+D)*PicOutputWidthL * PicOutputHeightL.
在以上等式中，對於4：2：0，4：2：2和4：4：4，(SubWidthC，SubHeightC)分別是(2，2)，(2，1)和(1，1)。
在一實施例中，M和O可以是1，N和P可以是0，A和C可以是1或2，B和D可以是0。
在一實施例中，16x4和4x16被用作塊大小以計算最壞情況的頻寬。約束可被重寫如下。
在公式簡化之後，其被重寫如下：CurPicWidth * CurPicHeight *(16 * refPicOutputWidthL+7 * PicOutputWidthL)*(4*refPicOutputHeightL+7*PicOutputHeightL)<=SpsMaxPicWidth * SpsMaxPicHeight * 253 * PicOutputWidthL * PicOutputHeightL，CurPicWidth * CurPicHeight *(4 * refPicOutputWidthL+7 * PicOutputWidthL)* (16*refPicOutputHeightL+7*PicOutputHeightL)<=SpsMaxPicWidth* SpsMaxPicHeight * 253 * PicOutputWidthL * PicOutputHeightL。
類似地，對於色度分量，約束如下：CurPicWidth * CurPicHeight *(16/SubWidthC * refPicOutputWidthL+3 * PicOutputWidthL)*(4/SubHeightC * refPicOutputHeightL+3 * PicOutputHeightL)<=SpsMaxPicWidth*SpsMaxPicHeight*(16/SubWidthC+3)*(4/SubHeightC+3)*PicOutputWidthL * PicOutputHeightL，CurPicWidth * CurPicHeight *(4/SubWidthC * refPicOutputWidthL+3 * PicOutputWidthL)*(16/SubHeightC * refPicOutputHeightL+3 * PicOutputHeightL)<=SpsMaxPicWidth*SpsMaxPicHeight*(4/SubWidthC+3)*(16/SubHeightC+3)*PicOutputWidthL * PicOutputHeightL。
在以上等式中，對於4：2：0、4：2：2和4：4：4，(SubWidthC，SubHeightC)分別是(2，2)，(2，1)和(1，1)。
縮放視窗大小的建議文本如下。
scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset指定以亮度樣本為單位的偏移，該偏移被應用於圖像大小以進行縮放比例計算。當scaling_window_flag等於0時，scaling_win_left_offset，scaling_win_right_offset，scaling_win_top_offset和scaling_win_bottom_offset的值被推斷為等於0。
scaling_win_left_offset+scaling_win_right_offset的值應小於pic_width_in_luma_samples，以及scaling_win_top_offset+scaling_win_bottom_offset的值應小於pic_height_in_luma_samples。
變數PicOutputWidthL和PicOutputHeightL的導出如下：PicOutputWidthL=pic_width_in_luma_samples-(scaling_win_right_offset+scaling_win_left_offset)。
PicOutputHeightL=pic_height_in_luma_samples-(scaling_win_bottom_offset+scaling_win_top_offset)。
根據一實施例，以下約束被施加。當scaling_window_flag等於1時，使refPicOutputWidthL和refPicOutputHeightL分別為引用該PPS的當前圖像的參考圖像的PicOutputWidthL和PicOutputHeightL。滿足以下條件是位元流一致性的要求：
- pic_width_in_luma_samples * pic_height_in_luma_samples *(16 * refPicOutputWidthL+7 * PicOutputWidthL)*(4 * refPicOutputHeightL+7 * PicOutputHeightL)應小於或等於pic_width_max_in_luma_samples * pic_height_max_in_lum_samples height * 253 * PicOutputWidthL * PicOutputHeightL。
- pic_width_in_luma_samples * pic_height_in_luma_samples *(4 * refPicOutputWidthL+7 * PicOutputWidthL)*(16 * refPicOutputHeightL+7 * PicOutputHeightL)應小於或等於pic_width_max_in_luma_samples * pic_height_Width_sample height * 253 * PicOutputWidthL * PicOutputHeightL。
- pic_width_in_luma_samples * pic_height_in_luma_samples *(16/SubWidthC * refPicOutputWidthL+3 * PicOutputWidthL)*(4/SubHeightC * refPicOutputHeightL+3 * PicOutputHeightL)應小於或等於pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height *(16/SubWidthC+3)*(4/SubHeightC+3)* PicOutputWidthL * PicOutputHeightL。
- pic_width_in_luma_samples * pic_height_in_luma_samples *(4/SubWidthC * refPicOutputWidthL+3 * PicOutputWidthL)*(16/SubHeightC * refPicOutputHeightL+3 * PicOutputHeightL)應小於或等於pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height *(4/SubWidthC+3)*(16/SubHeightC+3)* PicOutputWidthL * PicOutputHeightL。
另外，在另一示例中，我們可以僅考慮亮度分量。
在另一實施例中，公差比可被調用。例如，Ty可以是亮度的公差值。Tc可以是色度的公差值。Ty和Tc可以是整數或實數(例如1.0、1.2、1.1、1.5等)。
例如，在公式簡化之後，約束可被重寫如下。
CurPicWidth * CurPicHeight *(M * refPicOutputWidthL+N * PicOutputWidthL)*(O * refPicOutputHeightL+P * PicOutputHeightL)<=SpsMaxPicWidth * SpsMaxPicHeight *(M+N)*(O+P)* PicOutputWidthL * PicOutputHeightL * Ty。
類似地，對於色度分量，約束如下。
CurPicWidth * CurPicHeight *(A/SubWidthC * refPicOutputWidthL+B * PicOutputWidthL)*(C/SubHeightC * refPicOutputHeightL+D * PicOutputHeightL)<=SpsMaxPicWidth * SpsMaxPicHeight *(A/SubWidthC+B)*(C/SubHeightC+D)* PicOutputWidthL * PicOutputHeightL * Tc，在以等式中，對於4：2：0、4：2：2和4：4：4，(SubWidthC，SubHeightC)分別是(2，2)，(2，1)和(1，1)。
在一示例中，M和O可以是1，N和P可以是0，A和C可以是1或2，B和D可以是0。在一示例中，M和O可以是8，N和P可以是7或8，A和C可以是8，B和D可以是3或4。在一示例中，M可以是16，O可以是4，N和P可以是7或8，A可以是16，C可以是4，B和D可以是3或4。在一示例中，M可以是4，O可以是16， N和P可以是7或8，A可以是4和C可以是16，B和D可以是3或4。
在另一實施例中，垂直方向約束和水平方向約束可以分開。例如，在公式簡化之後，約束可按如下方式重寫。
CurPicWidth *(M * refPicOutputWidthL+N * PicOutputWidthL)<=SpsMaxPicWidth *(M+N)* PicOutputWidthL * Ty_x。
CurPicHeight *(O * refPicOutputHeightL+P * PicOutputHeightL)<=SpsMaxPicHeight *(O+P)* PicOutputHeightL * Ty_y。
類似地，對於色度分量，約束如下。
CurPicWidth *(A/SubWidthC * refPicOutputWidthL+B * PicOutputWidthL)<=SpsMaxPicWidth *(A/SubWidthC+B)* PicOutputWidthL * Tc_x。
CurPicHeight *(C/SubHeightC * refPicOutputHeightL+D * PicOutputHeightL)<=SpsMaxPicHeight *(C/SubHeightC+D)* PicOutputHeightL * Tc_y。
在以上等式中，對於4：2：0、4：2：2和4：4：4，(SubWidthC，SubHeightC)分別是(2，2)，(2，1)和(1，1)。
在一示例中，在公式簡化之後，約束可重寫如下。
CurPicWidth *(16 * refPicOutputWidthL+7 * PicOutputWidthL)<=SpsMaxPicWidth *(16+7)* PicOutputWidthL * Ty_x。
CurPicHeight *(4 * refPicOutputHeightL+7 * PicOutputHeightL)<=SpsMaxPicHeight *(4+7)* PicOutputHeightL * Ty_y。
CurPicWidth *(4 * refPicOutputWidthL+7 * PicOutputWidthL)<=SpsMaxPicWidth *(4+7)* PicOutputWidthL * Ty_x。
CurPicHeight *(16 * refPicOutputHeightL+7 * PicOutputHeightL)<= SpsMaxPicHeight *(16+7)* PicOutputHeightL * Ty_y。
在另一示例中，約束可重寫如下：CurPicWidth *(4 * refPicOutputWidthL+7 * PicOutputWidthL)<=SpsMaxPicWidth *(4+7)* PicOutputWidthL * Ty_x。
CurPicHeight *(4 * refPicOutputHeightL+7 * PicOutputHeightL)<=SpsMaxPicHeight *(4+7)* PicOutputHeightL * Ty_y。
在另一示例中，約束可重寫如下：CurPicWidth *(16 * refPicOutputWidthL+7 * PicOutputWidthL)<=SpsMaxPicWidth *(16+7)* PicOutputWidthL * Ty_x。
CurPicHeight *(16 * refPicOutputHeightL+7 * PicOutputHeightL)<=SpsMaxPicHeight *(16+7)* PicOutputHeightL * Ty_y。
類似地，對於色度分量，約束如下：CurPicWidth *(16/SubWidthC * refPicOutputWidthL+3 * PicOutputWidthL)<=SpsMaxPicWidth *(16/SubWidthC+3)* PicOutputWidthL * Tc_x。
CurPicHeight *(4/SubHeightC * refPicOutputHeightL+3 * PicOutputHeightL)<=SpsMaxPicHeight *(4/SubHeightC+3)* PicOutputHeightL * Tc_y。
CurPicWidth *(4/SubWidthC * refPicOutputWidthL+3 * PicOutputWidthL)<=SpsMaxPicWidth *(4/SubWidthC+3)* PicOutputWidthL * Tc_x。
CurPicHeight *(16/SubHeightC * refPicOutputHeightL+3 * PicOutputHeightL)<=SpsMaxPicHeight *(16/SubHeightC+3)* PicOutputHeightL * Tc_y。
在另一示例中，約束可重寫如下： CurPicWidth *(4/SubWidthC * refPicOutputWidthL+3 * PicOutputWidthL)<=SpsMaxPicWidth *(4/SubWidthC+3)* PicOutputWidthL * Tc_x。
CurPicHeight *(4/SubHeightC * refPicOutputHeightL+3 * PicOutputHeightL)<=SpsMaxPicHeight *(4/SubHeightC+3)* PicOutputHeightL * Tc_y。
在另一示例中，約束可重寫如下：CurPicWidth *(16/SubWidthC * refPicOutputWidthL+3 * PicOutputWidthL)<=SpsMaxPicWidth *(16/SubWidthC+3)* PicOutputWidthL * Tc_x。
CurPicHeight *(16/SubHeightC * refPicOutputHeightL+3 * PicOutputHeightL)<=SpsMaxPicHeight *(16/SubHeightC+3)* PicOutputHeightL * Tc_y。
在以上等式中，對於4：2：0、4：2：2和4：4：4，(SubWidthC，SubHeightC)分別是(2，2)，(2，1)和(1，1)。
在另一實施例中，濾波器抽頭長度可被忽略。例如，在公式簡化之後，約束可重寫如下：CurPicWidth * CurPicHeight * refPicOutputWidthL * refPicOutputHeightL<=SpsMaxPicWidth * SpsMaxPicHeight * PicOutputWidthL * PicOutputHeightL * T。
在另一示例中，約束可重寫如下：CurPicWidth * refPicOutputWidthL<=SpsMaxPicWidth * PicOutputWidthL *Tx。
CurPicHeight * refPicOutputHeightL<=SpsMaxPicHeight * PicOutputHeightL *Ty。
在另一實施例中，在上述方法中，圖像或縮放視窗的寬度或高度可由圖像/縮放視窗的寬度/高度中的CTU數量替換。
方法2：當縮放比例大於閾值時，小的幀間塊被禁能。
對於運動補償，由於插值濾波器的作用，較小的塊每個樣本需要較大的頻寬。為了減小記憶體頻寬，當縮放比例大於閾值時，建議禁能小的幀間塊。例如，當縮放比例大於K或大於或等於K時，高度和/或高度小於N的幀間塊被禁能。在另一示例中，當縮放比例大於K時，面積小於M的幀間塊被禁能。K可以是1、1.25、1.5、1.75或2.0。N可以是8、16或32。M可以是32、64、128、256、512或1024。
在一實施例中，RefPicIsScaled[][][0]和/或RefPicIsScaled[][][1]可被使用。例如，當RefPicIsScaled[][][0]和/或RefPicIsScaled[][][1]大於K或大於或等於K時，高度和/或高度小於N的幀間塊被禁能。在另一示例中，當RefPicIsScaled[][][0]和/或RefPicIsScaled[][][1]大於K時，面積小於M的幀間塊被禁能。K可以是(1、1.25、1.5、1.75或2.0)* 2 ^ P，其中P可以是14。N可以是8、16或32。M可以是32、64、128、256、512或1024。
方法-3：在當前縮放視窗之外沒有幀間預測
在所提出的方法中，如果當前CU在當前圖像縮放視窗之外，則編碼器不應對該幀CU使用幀間模式。因此，位元流應具有這樣的一致性，即縮放視窗外的CU全部都不應處於幀間模式。在另一實施例中，相關的語法可被保存。例如，縮放視窗之外的任一CU將僅需要發送與幀內模式有關的語法，從而所有與幀間模式有關的語法可被保存。這種方法還將保證最壞情況下的頻寬。
在以上公開的方法中，對RPR的縮放的約束在各種等式或公式中被示出。這些等式或公式並非旨在提供基於本發明實施例的可能實現的詳盡列表。如本領域中已知的，藉由重新排列或重新組合這些等式或公式中的術語， 這些等式或公式可具有各種形式。本發明的實施例涵蓋所有等效等式或公式。
實現任一上述提出的方法可在編碼器和/或解碼器中。例如，任一所提出的方法可在編碼器的縮放或運動補償模組或參數確定模組，和/或解碼器的縮放或運動補償模組或參數確定模組中實現。可替代地，所提出的方法中的任一實現為與編碼器的縮放或運動補償模組或參數確定模組和/或解碼器的縮放或運動補償模組或參數確定模組耦合的一個或多個電路，以便提供縮放或運動補償模組或參數確定模組所需的資訊。
視訊編碼器必須遵循上述語法設計以便生成合法的位元流，以及只有在解析過程符合上述語法設計的情況下，視訊解碼器才能夠正確地解碼位元流。當語法在位元流中被跳過時，編碼器和解碼器應將語法值設置為推斷值，以確保編碼和解碼結果匹配。
第2圖示出根據本發明的實施例的引入約束的參考圖像重採樣(RPR)參數的系統的示例性框圖。流程圖中所示的步驟以及本公開中的其他後續流程圖可被實現為可在編碼器側和/或解碼器側的一個或多個處理器(例如，一個或多個CPU)上執行的程式碼。流程圖中所示的步驟還可基於諸如被佈置為執行流程圖中的步驟的一個或多個電子設備或處理器之類的硬體來實現。根據該方法，在步驟210中，與視訊序列的編碼資料相對應的位元流在編碼器側生成或在解碼器側接收，位元流符合位元流一致性：一個或多個約束被滿足，該一個或多個約束與一組RPR參數有關，該組RPR參數包括當前圖像的縮放視窗寬度或高度，參考圖像的縮放視窗寬度或高度，當前圖像寬度或高度，以及指定用於視訊序列的最大圖像寬度或高度，其中RPR模式的縮放資訊使用該組RPR參數導出。在步驟220中，當RPR模式被致能用於目標圖像時，藉由使用縮放資訊，視訊序列的該目標圖像在編碼器側進行編碼，或者在解碼器側進行解碼。
所示的流程圖旨在說明根據本發明的實施例的示例。本領域之通 常技術者可以修改每個步驟，重新佈置步驟，拆分步驟或組合步驟以實踐本發明，而不背離本發明的精神。
上述描述被給出以使本領域之通常技術者能夠實踐在特定應用及其要求的上下文中提供的本發明。對所描述的實施例的各種修改對於本領域之通常技術者將是顯而易見的，以及本文中定義的一般原理可以應用於其他實施例。因此，本發明不旨在限於所示出和描述的特定實施例，而是與符合本文公開的原理和新穎性特徵的最寬範圍相一致。在以上詳細描述中，示出了各種具體細節以便提供對本發明的透徹理解。然而，本領域之通常技術者將理解，本發明可被實施。
如上所述的本發明的實施例可以以各種硬體，軟體代碼或兩者的組合來實現。例如，本發明的實施例可以是集成到視訊壓縮晶片中的一個或多個電路或集成到視訊壓縮軟體中以執行本文描述的處理的程式碼。本發明的實施例還可以是在數位訊號處理器(Digital Signal Processor，DSP)上執行以執行本文描述的處理的程式碼。本發明還可涉及由電腦處理器，數位訊號處理器，微處理器或現場可程式設計閘陣列(field programmable gate arragy，簡稱FPGA)執行的許多功能。該些處理器可被配置為藉由執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼來執行根據本發明的特定任務。軟體代碼或韌體代碼可以不同的程式設計語言和不同的格式或樣式來開發。軟體代碼也可被編譯用於不同的目標平臺。然而，不同的代碼格式，軟體代碼的樣式和語言以及配置代碼以執行根據本發明的任務的其他手段將不脫離本發明的精神和範圍。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他特定形式實施。所描述的示例在所有方面僅應被認為是說明性的而非限制性的。因此，本發明的範圍由所附申請專利範圍而不是上述描述來指示。落在申 請專利範圍的等同含義和範圍內的所有改變均應包含在其範圍之內。
210、220:步驟

Claims (18)

  1. 一種用於編解碼一視訊序列的方法，其中一參考圖像重採樣模式被支援，該方法包括：在一編碼器側生成或在一解碼器側接收對應於該視訊序列的編碼資料的一位元流，其中該位元流符合一位元流一致性：一個或多個約束被滿足，其中該一個或多個約束與一組參考圖像重採樣參數有關，該組參考圖像重採樣參數包括一當前圖像的一縮放視窗寬度或高度，一參考圖像的一縮放視窗寬度或高度，一當前圖像寬度或高度，以及指定用於該視訊序列的一最大圖像寬度或高度，其中該參考圖像重採樣模式的縮放資訊使用該組參考圖像重採樣參數導出；以及使用該縮放資訊，在該編碼器側編碼或在該解碼器側解碼該視訊序列的一目標圖像。
  2. 如請求項1所述之用於編解碼一視訊序列的方法，其中，該一個或多個約束包括：一第一項值小於或等於(SpsMaxPicWidth * PicOutputWidthL)，以及其中，根據CurPicWidth和refPicOutputWidthL，該第一項值被確定，以及其中CurPicWidth對應於該當前圖像寬度，refPicOutputWidthL對應於該參考圖像的該縮放視窗寬度，PicOutputWidthL對應於該當前圖像的該縮放視窗寬度，以及SpsMaxPicWidth對應於指定用於該視訊序列的該最大圖像寬度。
  3. 如請求項1所述之用於編解碼一視訊序列的方法，其中，該一個或多個約束包括：(CurPicWidth * refPicOutputWidthL)小於或等於(SpsMaxPicWidth * PicOutputWidthL)，以及其中CurPicWidth對應於該當前圖像寬度，refPicOutputWidthL對應於該參考圖像的該縮放視窗寬度，PicOutputWidthL對應於該當前圖像的該縮放視窗寬度，以及SpsMaxPicWidth 對應於指定用於該視訊序列的該最大圖像寬度。
  4. 如請求項1所述之用於編解碼一視訊序列的方法，其中，該一個或多個約束包括：一第二項值小於或等於(SpsMaxPicHeight * PicOutputHeight)，以及其中該第二項值根據CurPicHeight和refPicOutputHeight確定，以及其中CurPicHeight對應於該當前圖像高度，refPicOutputHeight對應於該參考圖像的該縮放視窗高度，PicOutputHeight對應於該當前圖像的該縮放視窗高度，而SpsMaxPicHeight對應於指定用於該視訊序列的該最大圖像高度。
  5. 如請求項1所述之用於編解碼一視訊序列的方法，其中，該一個或多個約束包括：(CurPicHeight * refPicOutputHeight)小於或等於(SpsMaxPicHeight * PicOutputHeight)，以及其中CurPicHeight對應於該當前圖像高度，refPicOutputHeight對應於該參考圖像的該縮放視窗高度，PicOutputHeight對應於該當前圖像的該縮放視窗高度，而SpsMaxPicHeight對應於指定用於該視訊序列的該最大圖像高度。
  6. 如請求項1所述之用於編解碼一視訊序列的方法，其中，該一個或多個約束包括(pic_width_in_luma_samples * pic_height_in_luma_samples *(16 * refPicOutputWidthL+7 * PicOutputWidthL)*(4 * refPicOutputHeightL+7 * PicOutputHeightL))小於或等於(pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height * 253 * PicOutputWidthL * PicOutputHeightL)，以及其中pic_width_in_luma_samples和pic_height_in_luma_samples分別對應於多個亮度樣本中的一當前圖像寬度和高度，refPicOutputWidthL和refPicOutputHeightL分別對應於該參考圖像的該縮放視窗寬度和高度，PicOutputWidthL和PicOutputHeightL對應於該當前圖像的該縮放視窗寬度和高度，pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分別對應於該多個亮度樣本中的一最大圖像寬 度和高度。
  7. 如請求項1所述之用於編解碼一視訊序列的方法，其中，該一個或多個約束包括(pic_width_in_luma_samples * pic_height_in_luma_samples *(4 * refPicOutputWidthL+7 * PicOutputWidthL)*(16 * refPicOutputHeightL+7 * PicOutputHeightL))小於或等於(pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height * 253 * PicOutputWidthL * PicOutputHeightL)，其中pic_width_in_luma_samples和pic_height_in_luma_samples分別對應於多個亮度樣本中的一當前圖像寬度和高度，refPicOutputWidthL和refPicOutputHeightL分別對應於該參考圖像的該縮放視窗寬度和高度，PicOutputWidthL和PicOutputHeightL對應於該當前圖像的該縮放視窗寬度和高度，以及pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分別對應於該多個亮度樣本中的一最大圖像寬度和高度。
  8. 如請求項1所述之用於編解碼一視訊序列的方法，其中，該一個或多個約束包括(CurPicWidth * CurPicHeight * refPicOutputWidthL * refPicOutputHeightL)小於或等於(SpsMaxPicWidth * SpsMaxPicHeight * PicOutputWidthL * PicOutputHeightL)，以及其中CurPicWidth和CurPicHeight分別對應於該當前圖像寬度和高度，refPicOutputWidthL和refPicOutputHeightL分別對應於該參考圖像的該縮放視窗寬度和高度，PicOutputWidthL和PicOutputHeightL分別對應於該當前圖像的該縮放視窗寬度和高度，SpsMaxPicWidth和SpsMaxPicHeight分別對應於指定用於該視訊序列的該最大圖像寬度和高度。
  9. 如請求項1所述之用於編解碼一視訊序列的方法，其中，該一個或多個約束包括：(pic_width_in_luma_samples * pic_height_in_luma_samples * (8 * refPicOutputWidthL+7 * PicOutputWidthL)*(8 * refPicOutputHeightL+7 * PicOutputHeightL))小於或等於(pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height * 225 * PicOutputWidthL * PicOutputHeightL)，其中pic_width_in_luma_samples和pic_height_in_luma_samples分別對應於多個亮度樣本中的一當前圖像寬度和高度，refPicOutputWidthL和refPicOutputHeightL分別對應於該參考圖像的該縮放視窗寬度和高度，PicOutputWidthL和PicOutputHeightL對應於該當前圖像的該縮放視窗寬度和高度，pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分別對應於該多個亮度樣本中的一最大圖像寬度和高度。
  10. 一種用於編解碼一視訊序列的裝置，其中一參考圖像重採樣模式被支援，該裝置包括一個或多個電子電路，被設置為：在一編碼器側生成或在一解碼器側接收對應於該視訊序列的編碼資料的一位元流，其中該位元流符合一位元流一致性：一個或多個約束被滿足，其中該一個或多個約束與一組參考圖像重採樣參數有關，該組參考圖像重採樣參數包括一當前圖像的一縮放視窗寬度或高度，一參考圖像的一縮放視窗寬度或高度，一當前圖像寬度或高度，以及指定用於該視訊序列的一最大圖像寬度或高度，其中該參考圖像重採樣模式的縮放資訊使用該組參考圖像重採樣參數導出；以及使用該縮放資訊，在該編碼器側編碼或在該解碼器側解碼該視訊序列的一目標圖像。
  11. 如請求項10所述之用於編解碼一視訊序列的裝置，其中，該一個或多個約束包括：一第一項值小於或等於(SpsMaxPicWidth * PicOutputWidthL)，以及其中，根據CurPicWidth和refPicOutputWidthL，該第一 項值被確定，以及其中CurPicWidth對應於該當前圖像寬度，refPicOutputWidthL對應於該參考圖像的該縮放視窗寬度，PicOutputWidthL對應於該當前圖像的該縮放視窗寬度，以及SpsMaxPicWidth對應於指定用於該視訊序列的該最大圖像寬度。
  12. 如請求項10所述之用於編解碼一視訊序列的裝置，其中，該一個或多個約束包括：(CurPicWidth * refPicOutputWidthL)小於或等於(SpsMaxPicWidth * PicOutputWidthL)，以及其中CurPicWidth對應於該當前圖像寬度，refPicOutputWidthL對應於該參考圖像的該縮放視窗寬度，PicOutputWidthL對應於該當前圖像的該縮放視窗寬度，以及SpsMaxPicWidth對應於指定用於該視訊序列的該最大圖像寬度。
  13. 如請求項10所述之用於編解碼一視訊序列的裝置，其中，該一個或多個約束包括：一第二項值小於或等於(SpsMaxPicHeight * PicOutputHeight)，以及其中該第二項值根據CurPicHeight和refPicOutputHeight確定，以及其中CurPicHeight對應於該當前圖像高度，refPicOutputHeight對應於該參考圖像的該縮放視窗高度，PicOutputHeight對應於該當前圖像的該縮放視窗高度，而SpsMaxPicHeight對應於指定用於該視訊序列的該最大圖像高度。
  14. 如請求項10所述之用於編解碼一視訊序列的裝置，其中，該一個或多個約束包括：(CurPicHeight * refPicOutputHeight)小於或等於(SpsMaxPicHeight * PicOutputHeight)，以及其中CurPicHeight對應於該當前圖像高度，refPicOutputHeight對應於該參考圖像的該縮放視窗高度，PicOutputHeight對應於該當前圖像的該縮放視窗高度，而SpsMaxPicHeight對應於指定用於該視訊序列的該最大圖像高度。
  15. 如請求項10所述之用於編解碼一視訊序列的裝置，其中，該一個或多個約束包括(pic_width_in_luma_samples * pic_height_in_luma_samples *(16 * refPicOutputWidthL+7 * PicOutputWidthL)*(4 * refPicOutputHeightL+7 * PicOutputHeightL))小於或等於(pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height * 253 * PicOutputWidthL * PicOutputHeightL)，以及其中pic_width_in_luma_samples和pic_height_in_luma_samples分別對應於多個亮度樣本中的一當前圖像寬度和高度，refPicOutputWidthL和refPicOutputHeightL分別對應於該參考圖像的該縮放視窗寬度和高度，PicOutputWidthL和PicOutputHeightL對應於該當前圖像的該縮放視窗寬度和高度，pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分別對應於該多個亮度樣本中的一最大圖像寬度和高度。
  16. 如請求項10所述之用於編解碼一視訊序列的裝置，其中，該一個或多個約束包括(pic_width_in_luma_samples * pic_height_in_luma_samples *(4 * refPicOutputWidthL+7 * PicOutputWidthL)*(16 * refPicOutputHeightL+7 * PicOutputHeightL))小於或等於(pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height * 253 * PicOutputWidthL * PicOutputHeightL)，其中pic_width_in_luma_samples和pic_height_in_luma_samples分別對應於多個亮度樣本中的一當前圖像寬度和高度，refPicOutputWidthL和refPicOutputHeightL分別對應於該參考圖像的該縮放視窗寬度和高度，PicOutputWidthL和PicOutputHeightL對應於該當前圖像的該縮放視窗寬度和高度，以及pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分別對應於該多個亮度樣本中的一最大圖像寬度和高度。
  17. 如請求項10所述之用於編解碼一視訊序列的裝置，其中，該一個或多個約束包括(CurPicWidth * CurPicHeight * refPicOutputWidthL * refPicOutputHeightL)小於或等於(SpsMaxPicWidth * SpsMaxPicHeight * PicOutputWidthL * PicOutputHeightL)，以及其中CurPicWidth和CurPicHeight分別對應於該當前圖像寬度和高度，refPicOutputWidthL和refPicOutputHeightL分別對應於該參考圖像的該縮放視窗寬度和高度，PicOutputWidthL和PicOutputHeightL分別對應於該當前圖像的該縮放視窗寬度和高度，SpsMaxPicWidth和SpsMaxPicHeight分別對應於指定用於該視訊序列的該最大圖像寬度和高度。
  18. 如請求項10所述之用於編解碼一視訊序列的方法，其中，該一個或多個約束包括：(pic_width_in_luma_samples * pic_height_in_luma_samples *(8 * refPicOutputWidthL+7 * PicOutputWidthL)*(8 * refPicOutputHeightL+7 * PicOutputHeightL))小於或等於(pic_width_max_in_luma_samples * pic_height_max_in_luma_samples height * 225 * PicOutputWidthL * PicOutputHeightL)，其中pic_width_in_luma_samples和pic_height_in_luma_samples分別對應於多個亮度樣本中的一當前圖像寬度和高度，refPicOutputWidthL和refPicOutputHeightL分別對應於該參考圖像的該縮放視窗寬度和高度，PicOutputWidthL和PicOutputHeightL對應於該當前圖像的該縮放視窗寬度和高度，pic_width_max_in_luma_samples和pic_height_max_in_luma_samples分別對應於該多個亮度樣本中的一最大圖像寬度和高度。
TW109143837A 2019-12-11 2020-12-11 用於編解碼視訊序列之方法和裝置 TWI779417B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201962946542P 2019-12-11 2019-12-11
US62/946,542 2019-12-11
US201962953232P 2019-12-24 2019-12-24
US62/953,232 2019-12-24
US201962954020P 2019-12-27 2019-12-27
US62/954,020 2019-12-27
US17/117,724 2020-12-10
US17/117,724 US11438611B2 (en) 2019-12-11 2020-12-10 Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding

Publications (2)

Publication Number Publication Date
TW202130186A TW202130186A (zh) 2021-08-01
TWI779417B true TWI779417B (zh) 2022-10-01

Family

ID=76317197

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109143837A TWI779417B (zh) 2019-12-11 2020-12-11 用於編解碼視訊序列之方法和裝置

Country Status (6)

Country Link
US (1) US11438611B2 (zh)
EP (1) EP4074028A4 (zh)
KR (1) KR20220107297A (zh)
CN (1) CN114982236A (zh)
TW (1) TWI779417B (zh)
WO (1) WO2021115443A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021233403A1 (en) * 2020-05-21 2021-11-25 Beijing Bytedance Network Technology Co., Ltd. Scaling window in video coding
CN114025168B (zh) * 2021-09-30 2023-08-04 浙江大华技术股份有限公司 视频图像的处理方法、处理设备、电子设备以及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8135068B1 (en) 2005-07-19 2012-03-13 Maxim Integrated Products, Inc. Method and/or architecture for motion estimation using integrated information from camera ISP
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8675738B2 (en) 2008-08-06 2014-03-18 Mediatek Inc. Video decoding method without using additional buffers for storing scaled frames and system thereof
TWI387317B (zh) 2008-12-11 2013-02-21 Novatek Microelectronics Corp 產生重新取樣參考畫面之裝置及其方法與影像解碼系統
US20130016769A1 (en) 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
CN104255031B (zh) 2012-02-29 2017-12-22 Lg 电子株式会社 层间预测方法和使用层间预测方法的装置
US20130321675A1 (en) 2012-05-31 2013-12-05 Apple Inc. Raw scaler with chromatic aberration correction
US20140092978A1 (en) 2012-10-01 2014-04-03 Nokia Corporation Method and apparatus for video coding
US9998735B2 (en) 2013-04-01 2018-06-12 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US20140301463A1 (en) 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for video coding and decoding
CN108650514A (zh) 2013-07-14 2018-10-12 夏普株式会社 瓦片对齐信令和一致性约束
US10469853B2 (en) 2014-01-09 2019-11-05 Samsung Electronics Co., Ltd. Scalable video encoding/decoding method and apparatus
MX2017008774A (es) * 2014-12-31 2018-02-13 Nokia Technologies Oy Prediccion inter-capa para codificacion y decodificacion de video escalable.
US10511839B2 (en) 2015-09-23 2019-12-17 Lg Electronics Inc. Image encoding/decoding method and device for same
US10595046B2 (en) 2016-05-13 2020-03-17 Sony Corporation Image processing apparatus and method
JP6781340B2 (ja) 2016-09-22 2020-11-04 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおける照度補償基盤インター予測方法及び装置
EP3522533A4 (en) 2016-09-30 2019-09-11 Sony Corporation IMAGE PROCESSING APPARATUS AND METHOD
US10708591B2 (en) 2017-03-20 2020-07-07 Qualcomm Incorporated Enhanced deblocking filtering design in video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
網路文獻 T.-S Chang et al., "AHG8: Support for reference picture resampling - handling of resampling, TMVP, DMVR, and BDOF," Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 15th Meeting: Gothernburg, SE, 3–12 July 2019。 http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=6738 *
網路文獻 V. Seregin et al., "AHG8: Scaling window for scaling ratio derivation," Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 16th Meeting: Geneva, CH, 1–11 October 2019。 http://phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=8382; *

Also Published As

Publication number Publication date
WO2021115443A1 (en) 2021-06-17
EP4074028A4 (en) 2024-01-17
CN114982236A (zh) 2022-08-30
EP4074028A1 (en) 2022-10-19
KR20220107297A (ko) 2022-08-02
US11438611B2 (en) 2022-09-06
US20210185332A1 (en) 2021-06-17
TW202130186A (zh) 2021-08-01

Similar Documents

Publication Publication Date Title
JP7368496B2 (ja) クロマ量子化パラメータのマッピング関数のシグナリングのための方法及び装置
JP2022125049A (ja) 符号化方法及び機器
KR101558627B1 (ko) 다시점 비디오 코딩시스템에 있어 비디오 사용성 정보(ｖｕｉ)를 통합하기 위한 방법 및 장치
US20090129474A1 (en) Method and apparatus for weighted prediction for scalable video coding
JP7431803B2 (ja) クロマブロック予測方法およびデバイス
KR20090106505A (ko) 멀티 뷰 코딩된 비디오에서 조도 보상 및/또는 컬러 보상에 대한 코딩 아티팩트 감소 방법 및 장치
EP3075156A2 (en) Representing motion vectors in an encoded bitstream
JP2015523029A (ja) デブロッキングにおけるクロマ量子化パラメータ・オフセットの使用
JP7346601B2 (ja) Ｍｐｍリストを構成する方法、クロマブロックのイントラ予測モードを取得する方法、および装置
JP2023508060A (ja) ビデオコーディングのためのクロスコンポーネント適応ループフィルタリング
TWI779417B (zh) 用於編解碼視訊序列之方法和裝置
TWI784368B (zh) 用於編解碼視訊序列之方法和裝置
JP7562798B2 (ja) イントラ・サブ・パーティション・コーディング・モードのための方法及び装置
JP2023526367A (ja) アクセスユニットにおけるピクチャ情報の信号通知
KR20220127351A (ko) 하이 레벨 신택스를 시그널링하는 것에 관한 인코더, 디코더 및 대응하는 방법
JP2024038255A (ja) 映像コーディングにおけるスライスタイプ
WO2019185781A1 (en) Bidirectional intra prediction signalling
TWI796676B (zh) 視訊編解碼中施加位元流約束的方法和裝置
CN115699749A (zh) 视频比特流的每个层表示的值的推导
JP7372483B2 (ja) 映像ピクチャヘッダにおけるフィルタリングパラメータ信号通知
WO2021115386A1 (en) Video encoding or decoding methods and apparatuses with scaling ratio constraint
KR20240089011A (ko) 선택 가능한 뉴럴 네트워크 기반 코딩 도구를 사용하는 비디오 코딩
JP2023518494A (ja) アフィンマージおよびアフィン動きベクトル予測モードの予測微調整
JP2023526657A (ja) コーディングされた映像におけるｎａｌユニットの順序

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent