TWI784367B - 具有縮放比約束之視訊編碼或解碼方法和裝置 - Google Patents

具有縮放比約束之視訊編碼或解碼方法和裝置 Download PDF

Info

Publication number
TWI784367B
TWI784367B TW109143835A TW109143835A TWI784367B TW I784367 B TWI784367 B TW I784367B TW 109143835 A TW109143835 A TW 109143835A TW 109143835 A TW109143835 A TW 109143835A TW I784367 B TWI784367 B TW I784367B
Authority
TW
Taiwan
Prior art keywords
zoom window
height
picture
width
current
Prior art date
Application number
TW109143835A
Other languages
English (en)
Other versions
TW202130180A (zh
Inventor
莊子德
徐志瑋
陳慶曄
蔡佳銘
陳俊嘉
歐萊娜 邱巴赫
魯林 陳
黃毓文
Original Assignee
寰發股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 寰發股份有限公司 filed Critical 寰發股份有限公司
Publication of TW202130180A publication Critical patent/TW202130180A/zh
Application granted granted Critical
Publication of TWI784367B publication Critical patent/TWI784367B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

視訊處理方法與裝置，藉由參考畫面再取樣(reference picture resampling)來處理一當前畫面中的一當前塊，包括：接收當前塊的輸入視訊資料，決定該當前畫面的一縮放窗口以及一參考畫面的一縮放窗口。該當前畫面與參考畫面可以有不同的縮放窗口尺寸大小。該當前畫面的一縮放窗口寬度、高度、或尺寸大小以及該參考畫面的一縮放窗口寬度、高度、或尺寸大小之間的一比例被約束在一比例約束(ratio constraint)之內。依據該比例，來從該參考畫面產生一參考塊，並且用來編碼或解碼該當前塊。

Description

具有縮放比約束之視訊編碼或解碼方法和裝置
本發明關於在視訊編碼和解碼系統中的視訊處理方法與裝置。尤其，本發明關於用於參考畫面再取樣(reference picture resampling)的縮放比例約束。
多功能視訊編解碼(VVC)標準是即將出現的新興視訊編解碼標準，其藉由強化現有編解碼工具並且在編解碼器的多種構建塊中引入多種新的編解碼工具，並基於先前的高效率視頻編碼(HEVC)標準而逐漸發展。VVC標準改善了壓縮性能以及傳輸和儲存的效率，並支援如高動態範圍(High Dynamic Range)和全方位360視訊(omni-directional 360 video)等新格式。VVC標準使得移動網絡中的視訊傳輸更加有效，由於它允許資料速率較差的系統或位置能更快地接收較大的檔案。VVC支援層級編解碼(layer coding)、空間或信號雜訊比(SNR)的時間縮放性(scalability)。
參考畫面再取樣(reference picture resampling，RPR)在VVC標準中，用於自適性串流服務的快速呈現切換是令人期待的，以在同一時間傳遞相同視訊內容的多種呈現，每一種呈現具有不同的特性。不同的特性涉及不同的空間解析度或不同的樣本位元深度。在即時視訊通信中，藉由允許在不插 入I-畫面的情況下改變在一編解碼視訊序列中的解析度，不僅視訊資料可以無縫地適應動態頻道條件與使用者偏好，而且由於I-畫面所引起的跳動效果(beating effect)也可以被去除。參考畫面再取樣(RPR)允許具有不同解析度的畫面可以在幀間預測彼此參考。第1圖繪示出應用參考畫面再取樣的一例子來編碼或解碼一當前畫面，其中當前畫面的幀間編解碼塊是從具有相同或不同尺寸大小的參考畫面加以預測。空間縮放性在串流應用中是有益的。當支援空間縮放性時，參考畫面的畫面尺寸大小可以與當前畫面不同。VVC標準中採用了RPR，以支援即時產生(on-the-fly)的上取樣和下取樣運動補償。
表格1顯示了在一序列參數集(Sequence Parameter Set，SPS)中發信一RPR致能旗標以及最大畫面尺寸大小的一例子。在序列參數集(SPS)中所發信的一RPR致能旗標sps_ref_pic_resampling_enabled_flag被用來指示出RPR是否被致能於參考該SPS的畫面中。當此RPR致能旗標等於1時，參考該SPS的一當前畫面可能具有切片，這些切片參考了在一參考畫面層的一當前條目(active entry)中的一參考畫面，而該參考畫面層具有和該當前畫面不同的以下七個參數中的一或多個參數。該七個參數包括與下列相關聯的語法元素：一畫面寬度pps_pic_width_in_luma_samples、一畫面高度pps_pic_height_in_luma_samples、一左方縮放窗口偏移量pps_scaling_win_left_offset、一右方縮放窗口偏移量pps_scaling_win_right_offset、一上方縮放窗口偏移量pps_scaling_win_top_offset、一下方縮放窗口偏移量pps_scaling_win_bottom_offset，一次畫面數目sps_num_subpics_minus1。對參考一參考畫面(該參考畫面具有和當前畫面不同的七個參數中的一或多個)的當前畫面，該參考畫面可以屬於與包含該當前畫面的層為相同的層或一不同層。語法元素sps_res_change_in_clvs_allowed_flag等於1指明畫面空間解析度可能在參考SPS的一編解碼層視訊序列(Coded Layer Video Sequence，CLVS)之內有 改變，而且此語法元素等於0指明畫面空間解析度在參考SPS的任何CLVS之內沒有改變。最大畫面尺寸大小是藉由語法元素sps_pic_width_max_in_luma_samples和sps_pic_height_max_in_luma_samples在SPS中加以發信，並且最大畫面尺寸大小不可大於在相對應視訊參數集(Video Parameter Set，VPS)中所發信的輸出層集(Output Layer Set，OLS)解碼後畫面緩衝(Decoded Picture Buffer，DPB)的畫面尺寸大小。
Figure 109143835-A0305-02-0005-1
當使用RPR來預測一當前畫面時，一畫面尺寸大小比例是從參考畫面寬度或高度以及當前畫面寬度或高度來加以推導出。畫面尺寸大小比例被約束在1/8和2之間的一範圍之內。例如，在亮度樣本中所測量的畫面寬度與高度是藉由在一畫面參數集(Picture Parameter Set，PPS)中所發信的語法元素pic_width_in_luma_samples和pic_height_in_luma_samples來加以推導出。語法元素pic_width_in_luma_samples指明參考PPS的每一解碼後畫面的寬度(以亮度樣本為單位)。此語法元素不可等於0而且應該為Max(8,MinCbSizeY)的一整數倍數，而且被約束為小於或等於pic_width_max_in_luma_samples。當一次畫面存在旗標subpics_present_flag等於1或當RPR致能旗標ref_pic_resampling_enabled_flag等於0時，此語法元素 pic_width_in_luma_samples的數值應該等於pic_width_max_in_luma_samples。語法元素pic_height_in_luma_samples指明參考PPS的每一解碼後畫面的高度(以亮度樣本為單位)。此語法元素不可等於0而且應該為Max(8,MinCbSizeY)的一整數倍數，而且應該小於或等於pic_height_max_in_luma_samples。當一次畫面存在旗標subpics_present_flag等於1或當RPR致能旗標ref_pic_resampling_enabled_flag等於0時，此語法元素pic_height_in_luma_samples的數值被設定等於pic_height_max_in_luma_samples。
在VVC草案6中的RPR當前設計，當一當前畫面與參考畫面的畫面尺寸大小被指明時，以下約束必須滿足。此約束限制該參考畫面與當前畫面的畫面尺寸大小比例在[1/8,2]的範圍之內。假設變數refPicWidthInLumaSamples與refPicHeightInLumaSamples為被一當前畫面所加以參考的一參考畫面的畫面寬度與畫面高度。位元流規約要求以下所有條件都被滿足：該當前畫面的畫面寬度pic_width_in_luma_samples乘以二應該大於或等於該參考畫面的畫面寬度refPicWidthInLumaSamples，該當前畫面的畫面高度pic_height_in_luma_samples乘以二應該大於或等於該參考畫面的畫面高度refPicHeightInLumaSamples，該當前畫面的畫面寬度pic_width_in_luma_samples應該小於或等於該參考畫面的畫面寬度refPicWidthInLumaSample乘以八，以及該當前畫面的畫面高度pic_height_in_luma_samples應該小於或等於該參考畫面的畫面高度refPicHeightInLumaSamples乘以八。
一參考畫面和一當前畫面之間的畫面尺寸大小縮放比例是從與參考畫面相關聯的一PPS中所發信的語法元素pic_width_in_luma_samples與pic_height_in_luma_samples，以及與當前畫面相關聯的一PPS中所發信的語法元 素pic_width_in_luma_samples與pic_height_in_luma_samples加以推導出。用於RPR的縮放窗口偏移量也從PPS中所發信的語法元素中加以推導出。表格2中顯示了發信於PPS中的這些語法元素以及相對應的語義。
Figure 109143835-A0305-02-0007-2
語法元素scaling_window_flag等於1指明在PPS中存在有縮放窗口偏移量參數，並且scaling_window_flag等於0指明在PPS中不存在縮放窗口偏移量參數。當一RPR致能旗標ref_pic_resampling_enabled_flag等於0時，此語法元素scaling_window_flag的數值應該等於0。語法元素scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、和scaling_win_bottom_offset指明縮放偏移量(以亮度樣本為單位)。這些縮放偏移量被應用於畫面尺寸大小以進行縮放比例計算。縮放偏移量可以是負數。當一縮放窗口旗標scaling_window_flag等於0時，這四個縮放偏移量語法元素 scaling_win_left_offset、scaling_win_right_offset、scaling_win_top_offset、與scaling_win_bottom_offset的數值被推論等於0。
左方與右方偏移量scaling_win_left_offset與scaling_win_right_offset的一總和的數值應該小於畫面寬度pic_width_in_luma_samples，而且上方與下方偏移量scaling_win_top_offset與scaling_win_bottom_offset的一總和的數值應該小於畫面高度pic_height_in_luma_samples。表示一縮放窗口寬度的變數PicOutputWidthL是藉由從該畫面寬度中減去該左方與右方偏移量來加以推導出。PicOutputWidthL=pic_width_in_luma_samples-(scaling_win_right_offset+scaling_win_left_offset)。表示一縮放窗口高度的變數PicOutputHeightL是藉由從該畫面高度中減去該上方與下方偏移量來加以推導出。PicOutputHeightL=pic_height_in_luma_samples-(scaling_win_bottom_offset+scaling_win_top_offset)。
一變數fRefWidth被設定等於一參考畫面RefPicList[i][j]中亮度樣本的PicOutputWidthL，而且一變數fRefHight被設定等於該參考畫面RefPicList[i][j]中亮度樣本的PicOutputHeightL。用於水平方向RefPicScale[i][j][0]的一推導後參考畫面縮放比例是藉由((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthL加以計算，而且用於垂直方向RefPicScale[i][j][1]的一推導後參考畫面縮放比例是藉由((fRefHeight<<14)+(PicOutputHeightL>>1))/PicOutputHeightL加以計算。因此，推導後的參考畫面縮放比例為RefPicIsScaled[i][j]=(RefPicScale[i][j][0]！=(1<<14))∥(RefPicScale[i][j][1]！=(1<<14)。
在VVC標準的一最新提案中，縮放窗口偏移量是在色度樣本中加以測量的，而且當這些縮放窗口偏移量語法元素不存在於PPS中時，這四個縮放偏移量語法元素的數值scaling_win_left_offset、scaling_win_right_offset、 scaling_win_top_offset、與scale_win_bottom_offset被推論分別等於conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、與conf_win_bottom_offset。指示出縮放窗口寬度的一變數CurrPicScalWinWidthL是藉由該畫面寬度、SubWidthC、左方縮放偏移量、與右方縮放偏移量加以推導出，而且指示出縮放窗口高度的一變數CurrPicScalWinHeightL是藉由該畫面高度、SubHeightC、上方縮放偏移量、與下方縮放偏移量加以推導出，如下所示。CurrPicScalWinWidthL=pic_width_in_luma_samples-SubWidthC *(scaling_win_right_offset+scaling_win_left_offset)；以及CurrPicScalWinHeightL=pic_height_in_luma_samples-SubHeightC *(scaling_win_bottom_offset+scaling_win_top_offset)。
在視訊處理方法用來處理一當前畫面中的一當前塊的示例性實施例中，實作施行該視訊處理方法的一視訊編碼或解碼系統：接收與該當前塊相關聯的輸入視訊資料；決定該當前畫面的一縮放窗口寬度、高度、或尺寸大小；決定一參考畫面的一縮放窗口寬度、高度、或尺寸大小；藉由該當前畫面的該縮放窗口寬度、高度、或尺寸大小以及該參考畫面的該縮放窗口寬度、高度、或尺寸大小之間的一比例，來產生一參考塊；使用該參考塊來進行用於該當前塊的運動補償；以及編碼或解碼該當前畫面中的該當前塊。該當前畫面的該縮放窗口寬度、高度、或尺寸大小以及該參考畫面的該縮放窗口寬度、高度、或尺寸大小之間的一比例是被約束在一比例約束之內。
在一些示例性實施例中，該比例約束在1/M與N之間，其中M與N為正整數。為使該當前畫面的縮放窗口寬度與該參考塊的縮放窗口寬度的比例在該比例約束之間，該當前畫面的該縮放窗口寬度的N倍是大於或等於該 參考畫面的該縮放窗口寬度，而且該當前畫面的該縮放窗口寬度是小於或等於該參考畫面的該縮放窗口寬度的M倍。為使該當前畫面的縮放窗口高度與該參考畫面的縮放窗口高度的比例在該比例約束之間，該當前畫面的該縮放窗口高度的N倍是大於或等於該參考畫面的該縮放窗口高度，而且該當前畫面的該縮放窗口高度是小於或等於該參考畫面的該縮放窗口高度的M倍。在一實施例中，該縮放窗口尺寸大小包括縮放窗口寬度與縮放窗口高度。為使該當前畫面的縮放窗口尺寸大小與該參考畫面的縮放窗口尺寸大小的比例在該比例約束之間，該當前畫面的該縮放窗口寬度的N倍是大於或等於該參考畫面的該縮放窗口寬度，該當前畫面的該縮放窗口高度的N倍是大於或等於該參考畫面的該縮放窗口高度，該當前畫面的該縮放窗口寬度是小於或等於該參考畫面的該縮放窗口高度的M倍，而且該當前畫面的該縮放窗口高度是小於或等於該參考畫面的該縮放窗口高度的M倍。例如，該比例約束在1/8與2之間。當該當前畫面的該縮放窗口尺寸大小小於該參考畫面的該縮放窗口尺寸大小的情況下，該當前畫面的該縮放窗口寬度的二倍是大於或等於該參考畫面的該縮放窗口寬度，而且該當前畫面的該縮放窗口高度的二倍是大於或等於該參考畫面的該縮放窗口高度。當該當前畫面的該縮放窗口尺寸大小大於該參考畫面的該縮放窗口尺寸大小的情況下，該當前畫面的該縮放窗口寬度是小於或等於該參考畫面的該縮放窗口寬度的八倍，而且該當前畫面的該縮放窗口高度是小於或等於該參考畫面的該縮放窗口高度的八倍。
在有些實施例中，該當前畫面的該縮放窗口寬度是藉由該當前畫面的一畫面寬度，一左方縮放窗口偏移量與一右方縮放窗口偏移量來加以推導，而且該當前畫面的該縮放窗口高度是藉由該當前畫面的一畫面高度，一上方縮放窗口偏移量與一下方縮放窗口偏移量來加以推導。該當前畫面的該畫面寬度、左方縮放窗口偏移量、右方縮放窗口偏移量、畫面高度、上方縮放窗口偏移量、 以及該下方縮放窗口偏移量，被發信於與該當前畫面相關聯的一PPS中。
在一實施例中，縮放窗口偏移量是以亮度樣本加以測量，該當前畫面的該縮放窗口寬度是藉由將該左方縮放窗口偏移量與該右方縮放窗口偏移量從該當前畫面的該畫面寬度減去來加以推導；以及該當前畫面的該縮放窗口高度是藉由將該上方縮放窗口偏移量與該下方縮放窗口偏移量從該當前畫面的該畫面高度減去來加以推導。在另一實施例中，縮放窗口偏移量是以色度樣本加以測量，該當前畫面的該縮放窗口寬度是藉由該畫面寬度、左方與右方縮放窗口偏移量、以及一變數SubWidthC來加以推導，而且該當前畫面的該縮放窗口高度是藉由該畫面高度，上方與下方縮放窗口偏移量、以及一變數SubHeightC來加以推導。這些變數SubWidthC與SubHeightC指示出與水平與垂直維度中的色度位元平面相關聯的下取樣比例。該當前畫面的該縮放窗口寬度是藉由下列加以推導：將該變數SubWidthC乘以該左方縮放窗口偏移量與該右方縮放窗口偏移量的一總和，然後從該當前畫面的該畫面寬度加以減去；以及該當前畫面的該縮放窗口高度是藉由下列加以推導：將該變數SubHeightC乘以該上方縮放窗口偏移量與該下方縮放窗口偏移量的一總和，然後從該當前畫面的該畫面高度加以減去。
在一實施例中，用於運動補償的一參考畫面縮放比例是由以下加以推導：該當前畫面的該縮放窗口寬度、高度、或尺寸大小，以及該參考畫面的該縮放窗口寬度、高度、或尺寸大小；而且該參考畫面縮放比例是約束在[2048,32768]的一範圍之間。
在一實施例中，對在一編碼器側產生相對應於一視訊序列的編碼資料的一位元流，或是在一解碼器側接收相對應於一視訊序列的編碼資料的一位元流，以下為一位元流規約規定：該當前畫面的該縮放窗口寬度的二倍是大於或等於該參考畫面的該縮放窗口寬度，該當前畫面的該縮放窗口高度的二倍 是大於或等於該參考畫面的該縮放窗口高度，該當前畫面的該縮放窗口寬度是小於或等於該參考畫面的該縮放窗口寬度的八倍，以及該當前畫面的該縮放窗口高度是小於或等於該參考畫面的該縮放窗口高度的八倍。
本揭示的面向進一步提供一種於一視訊編碼或解碼系統中的視訊處理裝置，該裝置包括一或多個電子電路配置用來：接收一當前畫面中的一當前塊的輸入視訊資料；決定該當前畫面的一縮放窗口寬度、高度、或尺寸大小；決定一參考畫面的一縮放窗口寬度、高度、或尺寸大小；從該參考畫面產生一參考塊；使用該參考塊來進行用於該當前塊的運動補償；以及編碼或解碼該當前畫面中的該當前塊。該當前畫面的該縮放窗口寬度、高度、或尺寸大小以及該參考畫面的該縮放窗口寬度、高度、或尺寸大小之間的一比例是在一比例約束之內。
本揭示的面向進一步提供一種用來儲存程式指令的非暫時性電腦可讀取媒介，該程式指令使得一裝置的一處理電路進行一視訊處理方法以編碼或解碼一當前畫面中的一當前塊。該視訊處理方法決定該當前畫面的一縮放窗口寬度、高度、或尺寸大小；決定一參考畫面的一縮放窗口寬度、高度、或尺寸大小；從該參考畫面產生一參考塊；依據該參考塊來編碼或解碼該當前塊。該當前畫面的該縮放窗口寬度、高度、或尺寸大小以及該參考畫面的該縮放窗口寬度、高度、或尺寸大小之間的一比例被約束在一比例約束之內。透過對具體實施方式的以下描述，本發明的其他方面和特徵對於本領域通常知識者將變得明顯。
20:當前畫面
22:第一參考畫面
24:第二參考畫面
202:縮放窗口
222:縮放窗口
242:縮放窗口
S302~S314:步驟
S402~S408:步驟
500:視訊編碼器
510:幀內預測模組
512:幀間預測模組
514:開關
516:加法模組
518:轉換模組(T)
520:量化模組(Q)
532:熵編碼器
522:逆量化模組(IQ)
524:逆轉換模組(IT)
526:重構模組(REC)
528:內環路處理濾波器(In-loop Processing Filter)
530:參考畫面緩衝器(Ref.Pict.Buffer)
600:視訊解碼器
612:幀內預測模組
614:幀間預測模組
616:開關
618:重構模組(REC)
620:逆量化模組(IQ)
622:逆轉換模組(IT)
624:內環路處理濾波器(濾波器)
626:參考畫面緩衝器(Ref.Pict.Buffer)
在本揭示被提出當例子的各種實施例將會參照下列圖式被更詳細地解說，而且其中： 第1圖繪示出致能參考畫面再取樣的一假設性例子。
第2圖顯示在考慮每一畫面的縮放窗口尺寸大小而致能參考畫面再取樣的一例子。
第3圖依據本發明一實施例繪示出一視訊編碼或解碼系統一示例性流程圖，來檢查在一當前畫面與一參考畫面之間的一縮放窗口比例。
第4圖為一流程圖顯示出一視訊處理方法的一實施例，以藉由致能在一視訊編碼或解碼系統中的參考畫面再取樣來編碼或解碼一當前塊。
第5圖為依據本發明實施例繪示一示例性的系統方塊圖，以用於體現視訊處理方法的一視訊編碼系統。
第6圖為依據本發明實施例繪示一示例性的系統方塊圖，以用於體現視訊處理方法的一視訊解碼系統。
容易理解的是，如本文附圖中一般描述和說明的本發明的組件可以以各種不同的配置來佈置和設計。因此，如附圖所示，本發明的系統和方法的實施例的以下更詳細的描述並非旨在限制所要求保護的本發明的範圍，而僅僅代表本發明的所選實施例。
對參考畫面縮放比例加以約束 在VVC草案6中，一個位元流規約要求被應用來將一參考畫面與一當前畫面的一畫面尺寸大小比例限制在[1/8,2]之內。該畫面尺寸大小比例是從一參考畫面的寬度/高度/尺寸大小與一當前畫面的寬度/高度/尺寸大小加以推導出。該畫面尺寸大小比例約束被指明在[1/8,2]之內，因為內插濾波器僅支援1/8和2之間的縮放比例。本發明的一些實施例將[1/8,2]比例約束應用於一當前縮放窗口寬度、高度、或尺寸大小與一參考縮放窗口寬度，高度或尺寸大小之間的一縮放比率。該縮放比例是藉由縮放窗口的 寬度、高度、或尺寸大小(而不是畫面的寬度、高度、或尺寸大小)來加以計算。第2圖繪示出藉由參考具有不同畫面尺寸大小與不同縮放窗口尺寸大小的二個參考畫面來進行運動補償的一例子。如第2圖所示的一當前畫面20具有一縮放窗口202，而且儘管一第一參考畫面22(參考畫面0)小於當前畫面20，該第一參考畫面22的一縮放窗口222大於該當前畫面的縮放窗口202，這表示小於1的一縮放比例被應用在把要被當前畫面所參考的縮放窗口222加以縮小(downscale)。一第二參考畫面24(參考畫面1)大於當前畫面20，然而，第二參考畫面24的一縮放窗口242小於當前畫面的縮放窗口202，因此大於1的一縮放比例被應用在把要被當前畫面所參考的縮放窗口242加以放大(upscale)。
在一實施例中，一當前畫面的一縮放窗口寬度PicOutputWidthL是藉由在與該當前畫面相關聯的PPS中所發信的一畫面寬度pic_width_in_luma_samples、一左方縮放窗口偏移量scaling_win_left_offset、與一右方縮放窗口偏移量scaling_win_right_offset來加以推導出，即PicOutputWidthL=pic_width_in_luma_samples-(scaling_win_right_offset+scaling_win_left_offset)；以及該當前畫面的一縮放窗口高度PicOutputHeightL是藉由一畫面高度pic_height_in_luma_samples、一上方縮放窗口偏移量scaling_win_top_offset、與一下方縮放窗口偏移量scaling_win_bottom_offset來加以推導出，即PicOutputHeightL=pic_height_in_luma_samples-(scaling_win_bottom_offset+scaling_win_top_offset)。當scaling_window_flag等於1時，假設refPicOutputWidthL與refPicOutputHiehgtL分別為一參考畫面的一縮放窗口寬度與該參考畫面的一縮放窗口高度。該參考畫面中的一參考塊被決定由該當前畫面的一當前塊加以參考。例如，一視訊編碼系統藉由運動估計(motion estimation)來決定該參考塊，而且一視頻解碼系統藉由剖析在視訊位元流中所 發信的當前塊的運動信息來決定該參考塊。當該當前畫面的該縮放窗口尺寸大小以及該參考畫面的該縮放窗口尺寸大小之間的比例是在比例約束[1/8,2]之內時，位元流規約(bitstream conformance)要求以下所有四個條件都被滿足。該當前畫面的該縮放窗口寬度的二倍是大於或等於該參考畫面的該縮放窗口寬度，該當前畫面的該縮放窗口高度的二倍是大於或等於該參考畫面的該縮放窗口高度，該當前畫面的該縮放窗口寬度是小於或等於該參考畫面的該縮放窗口寬度的八倍，以及該當前畫面的該縮放窗口高度是小於或等於該參考畫面的該縮放窗口高度的八倍。也就是說，PicOutputWidthL * 2
Figure 109143835-A0305-02-0015-3
refPicOutputWidthL,PicOutputHeightL * 2
Figure 109143835-A0305-02-0015-4
refPicOutputHeightL,PicOutputWidthL
Figure 109143835-A0305-02-0015-5
refPicOutputWidthL * 8,and PicOutputHeightL
Figure 109143835-A0305-02-0015-6
refPicOutputHeightL * 8。
對上述實施例加以一般化而基於該參考畫面的該縮放窗口寬度與縮放窗口高度來約束該當前畫面的該縮放窗口寬度與縮放窗口高度，位元流規約要求以下所有條件都被滿足。該當前畫面的該縮放窗口寬度的N倍是大於或等於該參考畫面的該縮放窗口寬度，該當前畫面的該縮放窗口高度的N倍是大於或等於該參考畫面的該縮放窗口高度，該當前畫面的該縮放窗口寬度是小於或等於該參考畫面的該縮放窗口寬度的M倍，以及該當前畫面的該縮放窗口高度是小於或等於該參考畫面的該縮放窗口高度的M倍。該當前畫面的該縮放窗口尺寸大小以及該參考畫面的該縮放窗口尺寸大小之間的該比例是在一比例約束[1/M,N]之內，其中N與M為正整數。例如，在之前實施例中N為2以及M為8。PicOutputWidthL * N
Figure 109143835-A0305-02-0015-7
refPicOutputWidthL、PicOutputHeight * N
Figure 109143835-A0305-02-0015-8
refPicOutputHeight、PicOutputWidthL
Figure 109143835-A0305-02-0015-9
refPicOutputWidthL * M、以及PicOutputHeightL
Figure 109143835-A0305-02-0015-10
refPicOutputHeightL * M。
在一個實施例中，一比例約束[1/M,N]被決定，來編碼或解碼一當前畫面，一編碼器或解碼器藉由決定該當前畫面的一縮放窗口寬度、高度、 或尺寸大小以及該參考畫面的一縮放窗口寬度、高度、或尺寸大小，來檢查一或多個參考畫面是否滿足該比例約束。只有具有滿足該比例約束的一縮放窗口寬度、高度、或尺寸大小的參考畫面才可以被當前畫面加以參考。第3圖是繪示出此實施例的一例子的流程圖。
在一些其他實施例中，一比例約束[1/M,N]被決定，並且一編碼器或解碼器依據一參考畫面的一縮放窗口寬度、高度、或尺寸大小來決定一當前畫面的一縮放窗口寬度、高度、或尺寸大小，以便於滿足該比例約束。在一實施例中，相同的比例約束可以約束縮放窗口比例和畫面尺寸大小比例二者，並且編碼器或解碼器也依據參考畫面的一畫面尺寸大小來決定當前畫面的一畫面尺寸大小，以便於遵循該比例約束。
在另一實施例中，在PPS中所發信的縮放窗口偏移量是在色度樣本中加以測量，一當前畫面的一縮放窗口寬度PicOutputWidthL是藉由發信於PPS中的一畫面寬度pic_width_in_luma_samples、一左方縮放窗口偏移量scaling_win_left_offset、與一右方縮放窗口偏移量scaling_win_right_offset，以及一變數SubWidthC加以推導出。依據視頻資料的顏色取樣格式來定義變數SubWidthC的數值；例如當顏色取樣格式為4：2：0時，SubWidthC等於2。PicOutputWidthL=pic_width_in_luma_samples-SubWidthC *(scaling_win_right_offset+scaling_win_left_offset)。類似地，當前畫面的一縮放窗口高度PicOutputHeightL是藉由一畫面高度pic_height_in_luma_samples、一上方縮放窗口偏移量scalilng_win_top_offset、與一下方縮放窗口偏移量scaling_win_bottom_offset，以及一變數SubHeightC加以推導出。依據視頻資料的顏色取樣格式來定義變數SubHeightC的數值；例如當顏色取樣格式為4：2：0時，SubHeightC等於2。PicOutputHeightL=pic_height_in_luma_samples-SubHeightC *(scaling_win_bottom_offset+scaling_win_top_offset)。變數 SubWidthC與SubHeightC分別指示出水平和垂直方向上與色度位平面關聯的下採樣率。變數SubWidthC與SubHeightC分別指示出水平與垂直維度中的色度位元平面相關聯的下取樣比例。
假設refPicOutputWidthL與refPicOutputHeightL為當前畫面的一當前塊所加以參考的一參考畫面的一縮放窗口寬度與一縮放窗口高度，其中refPicOutputWidthL與refPicOutputHeightL是藉由畫面寬度與高度、縮放窗口偏移量、以及變數SubWidthC與SubHeightC來加以推導出。位元流規約(bitstream conformance)要求以下所有四個條件被滿足：該當前畫面的該縮放窗口寬度的二倍是大於或等於該參考畫面的該縮放窗口寬度，該當前畫面的該縮放窗口高度的二倍是大於或等於該參考畫面的該縮放窗口高度，該當前畫面的該縮放窗口寬度是小於或等於該參考畫面的該縮放窗口寬度的八倍，以及該當前畫面的該縮放窗口高度是小於或等於該參考畫面的該縮放窗口高度的八倍。PicOutputWidthL * 2
Figure 109143835-A0305-02-0017-11
refPicOutputWidthL,PicOutputHeightL * 2
Figure 109143835-A0305-02-0017-12
refPicOutputHeightL,PicOutputWidthL
Figure 109143835-A0305-02-0017-13
refPicOutputWidthL * 8,PicOutputHeightL
Figure 109143835-A0305-02-0017-14
refPicOutputHeightL * 8。
一參考畫面縮放比例RefPicScale[i][j][0]、RefPicScale[i][j][1]是從PPS中所指明的縮放窗口尺寸大小、寬度、或高度來加以推導以用於運動補償。此參考畫面縮放比例會影響在運動補償階段中哪些濾波器要被使用，而且還會影響用於運動補償階段的記憶體頻寬。除了約束畫面尺寸大小比例之外，本發明的實施例還約束參考畫面縮放比例。例如，參考畫面縮放比例RefPicScale[i][j][0]與RefPicScale[i][j][1]應被約束在[2048,32768]的範圍之內，相當於一縮放比例為[1/8,2]。位元流規約要求以下所有條件被滿足：RefPicScale[i][j][0]應該大於或等於2048，而且應該小於或等於32768，而且RefPicScale[i][j][1]應當大於或等於2048，而且應小於或等於32768。
例如，取決於該縮放比例，在運動補償中可以選擇三個不同的內插濾波器組。一第一內插濾波器組(組0)包括一8-抽頭(tap)DCT-IF濾波器、一仿射6-抽頭DCT-IF濾波器、與一6-抽頭半像素IF濾波器，以及一第二內插濾波器組(組1)包括一8-抽頭RPR濾波器、與相應的6-抽頭仿射濾波器(比例為1.5倍)，以及一第三內插濾波器組(組2)包括一8-抽頭RPR濾波器和相應的6-抽頭仿射濾波器(比例為2.0倍)。為了處理與一縮放比例在1/8和1.25之間相關聯的一當前塊，在集合0中的濾波器被選擇，為了處理與一縮放比例在1.25和1.75之間相關聯的一當前塊，在集合1中的濾波器被選擇，以及為了處理與一縮放比例在1.75到2之間相關聯的一當前塊，在集合2中的濾波器被選擇。
示例性流程圖 第3圖依據本發明一實施例繪示出一視訊編碼或解碼系統一示例性流程圖，來檢查在一當前畫面與一參考畫面之間的一縮放窗口比例。在步驟S302，視訊編碼或解碼系統接收與一當前畫面相關聯的輸入視訊資料，並且在步驟S304，決定當前畫面的一縮放窗口寬度、高度、或尺寸大小。例如，該縮放窗口尺寸大小包括縮放窗口寬度與縮放窗口高度二者。在此實施例中，該當前畫面的該縮放窗口寬度是藉由該當前畫面的一畫面寬度，一左方縮放窗口偏移量與一右方縮放窗口偏移量來加以推導，以及該當前畫面的該縮放窗口高度是藉由該當前畫面的一畫面高度，一上方縮放窗口偏移量與一下方縮放窗口偏移量來加以推導。與這些縮放窗口偏移量以及畫面寬度與高度相關聯的語法元素被發信於相對應當前畫面的一PPS中。在步驟S306，一參考畫面的一縮放窗口寬度、高度、或尺寸大小被決定。類似地，該參考畫面的該縮放窗口寬度是藉由該參考畫面的一畫面寬度，一左方縮放窗口偏移量與一右方縮放窗口偏移量來加以推導，以及該參考畫面的該縮放窗口高度是藉由該參考畫面的一畫面高度，一上方縮放窗口偏移量與一下方縮放窗口偏移量來加以 推導。與參考畫面的這些縮放窗口偏移量以及畫面寬度與高度相關聯的語法元素被發信於相對應參考畫面的一PPS中。在步驟S308，視訊編碼或解碼系統檢查該當前畫面的該縮放窗口寬度、高度、或尺寸大小以及該參考畫面的該縮放窗口寬度、高度、或尺寸大小之間的一比例是否在一比例約束[1/M,N]之內。例如，比例約束為[1/8,2]表示當該當前畫面的該縮放窗口寬/高度的二倍是大於或等於該參考畫面的該縮放窗口寬/高度，以及當該當前畫面的該縮放窗口寬/高度是小於或等於該參考畫面的該縮放窗口寬/高度的八倍。當比例在比例約束之內時，在步驟S310，參考畫面被包括在當前畫面中的一或多個塊的一參考畫面列表中，使得參考畫面可以藉由當前畫面中的塊來加以參考。在步驟S312中，當比例不在比例約束之內的情況下，由於參考畫面不能被當前畫面中的任何塊加以參考，因此參考畫面被排除在一參考畫面列表之外。在步驟S314，視訊編碼或解碼系統進一步編碼或解碼該當前畫面。
第4圖依據本發明的一實施例繪示一視訊編碼或解碼系統的一示例性流程圖，以藉由致能參考畫面再取樣來編碼或解碼一當前塊。在步驟S402，視訊編碼或解碼系統接收一當前畫面中的一當前塊的輸入視訊資料。在步驟S404，在一參考畫面的一參考區域被決定用於該當前塊的預測或運動補償。該當前畫面的一縮放窗口寬度、高度、或尺寸大小以及該參考畫面的一縮放窗口寬度、高度、或尺寸大小之間的一比例是在一比例約束[1/M,N]之內。在步驟S406，視訊編碼或解碼系統依據該比例來從該參考畫面中的參考區域產生一參考塊；以及在步驟S408，使用該參考塊來編碼或解碼該當前塊。
視訊編碼器與解碼器的實作 前述所提議用於參考畫面再取樣的視訊處理方法可以在視訊編碼器或解碼器中來施行實作。例如：所提出的視訊處理方法可以在編碼器的幀間預測模組與/或解碼器的幀間預測模組上來實施實作。備選地，任何所提議的方法可以在解碼器的一個或一組合的幀間預測模組 與/或一個或一組合的幀間預測模組上所耦合的一電路來實施實作，以提供幀間預測模組所需的信息。第5圖示出了實作本發明多種實施例的視訊編碼器500的一示例性系統方塊圖。幀內預測模組510基於一當前畫面的重構後視訊資料來提供幀內預測子。幀間預測模組512實施運動估計(motion estimation,ME)和運動補償(MC)，以基於來自其他一或多個畫面的視訊資料而提供幀間預測子。依據本發明的一些實施例，為了對一當前畫面中的一當前塊進行編碼，在一有效參考畫面中的一參考區域被決定，而且當前畫面與任何有效參考畫面之間的一縮放比例是在一比例約束[1/M,N]之間。該參考塊是從該參考區域所產生，並且被用於該當前塊的運動補償。該比例約束是依據用於運動補償的內插濾波器(interpolation filter)加以定義，例如，該比例約束是在1/8和2之間。在另一實施例中，幀內預測模組510是依據該比例約束和當前畫面的一或多個參考畫面的縮放窗口寬度、高度、或尺寸大小，來決定該當前畫面的一縮放窗口寬度、高度、或尺寸大小。一開關514選擇幀內預測模組510或是幀間預測模組512之一來將所選擇的預測子提供給加法模組516以形成預測誤差，也稱為預測殘差。當前塊的預測殘差藉由轉換模組(T)518進一步處理，接著是量化模組(Q)520處理。然後，轉換後和量化後的殘差信號由熵編碼器532編碼以形成一視訊位元流。視訊位元流然後與邊信息(side information)一起打包。然後，當前塊的轉換後和量化後的殘差信號由逆量化模組(IQ)522和逆轉換模組(IT)524處理以還原預測殘差。如第5圖所示，藉由在重構模組(REC)526處加回所選擇的預測子來還原預測殘差，以產生重構後的視訊資料。重構後的視訊資料可以被儲存在一參考畫面緩衝器(Ref.Pict.Buffer)530中，並用於其它畫面的預測。從REC模組526所還原的重構後的視訊資料可能由於編碼處理而受到各種損害，因此，在儲存於參考畫面緩衝器530之前，內環路處理濾波器(In-loop Processing Filter)528被應用於重構後的視訊資料，以進一步提高畫面品質。
用來解碼從第5圖的視訊編碼器500所產生的視訊位元流的一相對應視訊解碼器600如第6圖所示。視訊位元流是視訊解碼器600的輸入，並藉由熵解碼器610解碼以剖析和還原已變換後和已量化後的殘差訊號和其他系統信息。除了解碼器600僅需要一幀間預測模組614中的運動補償預測之外，解碼器600的解碼流程類似於編碼器500處的重構環路。每一塊是藉由幀內預測模組612或幀間預測模組614來加以解碼。依據本發明的有些實施例來決定一當前畫面中的一當前塊，幀間預測模組614決定一參考畫面中的一參考區域。該當前畫面的一縮放窗口寬度、高度、或尺寸大小以及該參考畫面的一縮放窗口寬度、高度、或尺寸大小之間的一比例是在一比例約束[1/M,N]之內。然後一參考塊基於該比例來從該參考區域加以產生，而且該參考塊被用來於幀間預測模組614進行該當前塊的運動補償。依據已解碼的模式信息，一開關616自幀內預測模組612選擇一幀內預測子或自幀間預測模組614選擇一幀間預測子。與每一塊相關聯的已轉換後和已量化後的殘差訊號是藉由逆量化(Inverse Quantization,IQ)模組620和逆轉換(Inverse Transformation，IT)模組622來加以還原。藉由在一重構REC模組618中加回預測子來重構已還原後的殘差信號，來產生已重構後的視訊。已重構後的視訊由一內環路處理濾波器(濾波器)624進一步處理來產生最終已解碼的視訊。如果當前已解碼的畫面是用於解碼順序中的後續畫面的一參考畫面時，當前已解碼後畫面的已重構後視訊也被儲存在一參考畫面緩衝器(Ref.Pict.Buffer)626中。
第5圖和第6圖中的視訊編碼器500和視訊解碼器600的各種組件可以由硬體組件，一個或複數個處理器被配置為執行存儲在存儲器中的程式指令，或硬體和處理器的組合來實現。例如，一處理器執行程式指令以控制接收與一當前畫面相關聯的輸入資料。處理器配備有單個或複數個處理核心。在一些例子中，處理器執行程式指令以在編碼器500和解碼器600中的一些組件中 執行功能，並且與處理器電耦合的存儲器用於存儲程式指令，對應於塊的重構後影像的信息和/或編碼或解碼過程中的中間資料。在一些實施例中的存儲器包括非暫時性計算機可讀介質，諸如半導體或固態存儲器，隨機存取存儲器(RAM)，只讀存儲器(ROM)，硬碟，光碟或其他合適的存儲介質。存儲器還可以是上面列出的兩個或更複數個非暫時性計算機可讀介質的組合。如第5圖和第6圖所示，編碼器500和解碼器600可以在相同的電子設備中實現，因此如果在相同的電子設備中施行實作，則編碼器500和解碼器600的各種功能組件可以被共用或再利用。
於一視訊編解碼系統進行處理方法的實施例，可以在集成於視訊壓縮晶片的電路來實施，或集成於視訊壓縮軟體中執行以上描述的處理的程式代碼來實施。例如，決定一當前畫面中的一當前塊，可以實現於一計算機處理器上執行的程式代碼，數位訊號處理器(DSP)，微處理器或現場可程式閘陣列(field programmable gate array，FPGA)上。可以透過執行定義本發明所體現的特定方法的機器可讀軟體代碼或韌體代碼，來將這些處理器配置成執行依據本發明的特定任務。
本說明書中對“實施例”，“一些實施例”或類似語言的引用意味著結合實施例描述的具體特徵、結構或特性可以包括在本發明的至少一實施例中。因此，貫穿本說明書在各個地方出現的短語“在實施例中”或“在一些實施例中”不一定都指代相同的實施例，這些實施例可單獨地實現或者與一個或多個其他實施例結合實現。此外，所描述的特徵，結構或特性可在一個或多個實施例中以任何合適的方式組合。然而，相關領域的習知技藝者將認識到，可在沒有一個或多個具體細節的情況下或者利用其他方法，組件等來實踐本發明。在其他情況下，未示出或詳細描述公知的結構或操作，以避免模糊本發明的各方面。
在不脫離本發明的精神或基本特徵的情況下，本發明可以以其他具體形式實施。所描述的例子僅在所有方面被認為是說明性的而不是限制性的。因此，本發明的範圍由所附申請專利範圍而不是前面的描述來指示。屬於申請專利範圍的等同物的含義和範圍內的所有變化將被包括在其範圍內。
S302~S314:步驟

Claims (15)

  1. 一種視訊處理方法，使用在一視訊編碼或解碼系統中，該方法包括：接收一當前畫面中的一當前塊的輸入視訊資料；決定該當前畫面的一縮放窗口寬度、高度、或尺寸大小；決定一參考畫面的一縮放窗口寬度、高度、或尺寸大小，其中該當前畫面的該縮放窗口寬度、高度、或尺寸大小與該參考畫面的該縮放窗口寬度、高度、或尺寸大小之間的一比例是在一比例約束之內；依據該當前畫面的該縮放窗口寬度、高度、或尺寸大小與該參考畫面的該縮放窗口寬度、高度、或尺寸大小之間的該比例，來從該參考畫面產生一參考塊；使用該參考塊來進行用於該當前塊的運動補償；以及編碼或解碼該當前畫面中的該當前塊。
  2. 如請求項1所述的視訊處理方法，其中該比例約束是在1/8與2之間。
  3. 如請求項2所述的視訊處理方法，其中該縮放窗口尺寸大小包括：該縮放窗口寬度與該縮放窗口高度二者，而且當該當前畫面的該縮放窗口寬度的二倍是大於或等於該參考畫面的該縮放窗口寬度，當該當前畫面的該縮放窗口高度的二倍是大於或等於該參考畫面的該縮放窗口高度，當該當前畫面的該縮放窗口寬度是小於或等於該參考畫面的該縮放窗口寬度的八倍，以及當該當前畫面的該縮放窗口高度是小於或等於該參考畫面的該縮放窗口高度的八倍的時候，該當前畫面的該縮放窗口尺寸大小與該參考畫面的該縮放窗口尺寸大小之間的該比例是在該比例約束之內。
  4. 如請求項1所述的視訊處理方法，其中該當前畫面的該縮放 窗口寬度是藉由該當前畫面的一畫面寬度，一左方縮放窗口偏移量與一右方縮放窗口偏移量來加以推導，以及該當前畫面的該縮放窗口高度是藉由該當前畫面的一畫面高度，一上方縮放窗口偏移量與一下方縮放窗口偏移量來加以推導。
  5. 如請求項4所述的視訊處理方法，其中該當前畫面的該縮放窗口寬度是藉由將該左方縮放窗口偏移量與該右方縮放窗口偏移量從該當前畫面的該畫面寬度減去來加以推導；以及該當前畫面的該縮放窗口高度是藉由將該上方縮放窗口偏移量與該下方縮放窗口偏移量從該當前畫面的該畫面高度減去來加以推導。
  6. 如請求項4所述的視訊處理方法，其中該當前畫面的該畫面寬度、左方縮放窗口偏移量、右方縮放窗口偏移量、畫面高度、上方縮放窗口偏移量、以及該下方縮放窗口偏移量，被發信於與該當前畫面相關聯的一畫面參數組中。
  7. 如請求項4所述的視訊處理方法，其中該左方縮放窗口偏移量、右方縮放窗口偏移量、上方縮放窗口偏移量、以及下方縮放窗口偏移量是在色度樣本中加以測量。
  8. 如請求項7所述的視訊處理方法，其中該當前畫面的該縮放窗口寬度是藉由一變數SubWidthC進一步加以推導，以及該當前畫面的該縮放窗口高度是藉由一變數SubHeightC進一步加以推導，其中該變數SubWidthC與SubHeightC指示出與水平與垂直維度中的色度位元平面相關聯的下取樣比例。
  9. 如請求項8所述的視訊處理方法，其中該當前畫面的該縮放窗口寬度是藉由下列加以推導：將該變數SubWidthC乘以該左方縮放窗口偏移量與該右方縮放窗口偏移量的一總和，然後從該當前畫面的該畫面寬度加以減去；以及該當前畫面的該縮放窗口高度是藉由下列加以推導：將該變數 SubHeightC乘以該上方縮放窗口偏移量與該下方縮放窗口偏移量的一總和，然後從該當前畫面的該畫面高度加以減去。
  10. 如請求項1所述的視訊處理方法，其中該比例約束是在1/M與N之間，其中M與N為正整數。
  11. 如請求項1所述的視訊處理方法，其中該縮放窗口尺寸大小包括：該縮放窗口寬度與該縮放窗口高度二者，而且當該當前畫面的該縮放窗口寬度的N倍是大於或等於該參考畫面的該縮放窗口寬度，當該當前畫面的該縮放窗口高度的N倍是大於或等於該參考畫面的該縮放窗口高度，當該當前畫面的該縮放窗口寬度是小於或等於該參考畫面的該縮放窗口寬度的M倍，以及當該當前畫面的該縮放窗口高度是小於或等於該參考畫面的該縮放窗口高度的M倍的時候，該當前畫面的該縮放窗口尺寸大小以及該參考畫面的該縮放窗口尺寸大小之間的該比例是在該比例約束之內。
  12. 如請求項1所述的視訊處理方法，其中用於運動補償的一參考畫面縮放比例是由以下加以推導：該當前畫面的該縮放窗口寬度、高度、或尺寸大小，以及該參考畫面的該縮放窗口寬度、高度、或尺寸大小；而且該參考畫面縮放比例是約束在[2048,32768]的一範圍之間。
  13. 如請求項1所述的視訊處理方法，進一步包括：在一編碼器側產生或是在一解碼器側接收相對應於一視訊序列的編碼資料的一位元流，其中該位元流符合一位元流規約規定：該當前畫面的該縮放窗口寬度的二倍是大於或等於該參考畫面的該縮放窗口寬度，該當前畫面的該縮放窗口高度的二倍是大於或等於該參考畫面的該縮放窗口高度，該當前畫面的該縮放窗口寬度是小於或等於該參考畫面的該縮放窗口寬度的八倍，以及該當前畫面的該縮放窗口高度是小於或等於該參考畫面的該縮放窗口高度的八倍。
  14. 一種於一視訊編碼或解碼系統中的視訊資料處理裝置，該裝 置包括一或多個電子電路配置用來：接收一當前畫面中的一當前塊的輸入視訊資料；決定該當前畫面的一縮放窗口寬度、高度、或尺寸大小；決定一參考畫面的一縮放窗口寬度、高度、或尺寸大小，其中該當前畫面的該縮放窗口寬度、高度、或尺寸大小以及該參考畫面的該縮放窗口寬度、高度、或尺寸大小之間的一比例是在一比例約束之內；依據該當前畫面的該縮放窗口寬度、高度、或尺寸大小以及該參考畫面的該縮放窗口寬度、高度、或尺寸大小之間的該比例，來從該參考畫面產生一參考塊；使用該參考塊來進行用於該當前塊的運動補償；以及編碼或解碼該當前畫面中的該當前塊。
  15. 一種用來儲存程式指令的非暫時性電腦可讀取媒介，該程式指令使得一裝置的一處理電路進行用於視訊資料的一視訊處理方法，而該方法包括：接收一當前畫面中的一當前塊的輸入視訊資料；決定該當前畫面的一縮放窗口寬度、高度、或尺寸大小；決定一參考畫面的一縮放窗口寬度、高度、或尺寸大小，其中該當前畫面的該縮放窗口寬度、高度、或尺寸大小以及該參考畫面的該縮放窗口寬度、高度、或尺寸大小之間的一比例是在一比例約束之內；依據該當前畫面的該縮放窗口寬度、高度、或尺寸大小以及該參考畫面的該縮放窗口寬度、高度、或尺寸大小之間的該比例，來從該參考畫面產生一參考塊；使用該參考塊來進行用於該當前塊的運動補償；以及編碼或解碼該當前畫面中的該當前塊。
TW109143835A 2019-12-11 2020-12-11 具有縮放比約束之視訊編碼或解碼方法和裝置 TWI784367B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962946540P 2019-12-11 2019-12-11
US62/946,540 2019-12-11
US201962949506P 2019-12-18 2019-12-18
US62/949,506 2019-12-18
PCT/CN2020/135301 WO2021115386A1 (en) 2019-12-11 2020-12-10 Video encoding or decoding methods and apparatuses with scaling ratio constraint
WOPCT/CN2020/135301 2020-12-10

Publications (2)

Publication Number Publication Date
TW202130180A TW202130180A (zh) 2021-08-01
TWI784367B true TWI784367B (zh) 2022-11-21

Family

ID=76329592

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109143835A TWI784367B (zh) 2019-12-11 2020-12-11 具有縮放比約束之視訊編碼或解碼方法和裝置

Country Status (6)

Country Link
US (1) US20230007281A1 (zh)
EP (1) EP4074044A4 (zh)
KR (1) KR20220101736A (zh)
CN (1) CN114788285A (zh)
TW (1) TWI784367B (zh)
WO (1) WO2021115386A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102752588B (zh) * 2011-04-22 2017-02-15 北京大学深圳研究生院 使用空间缩放预测的视频编解码方法
CN102270093B (zh) * 2011-06-14 2014-04-09 上海大学 基于视频图像分辨率的视频自适应方法
US9342894B1 (en) * 2015-05-01 2016-05-17 Amazon Technologies, Inc. Converting real-type numbers to integer-type numbers for scaling images
US11659201B2 (en) * 2019-08-16 2023-05-23 Qualcomm Incorporated Systems and methods for generating scaling ratios and full resolution pictures
CN114503574A (zh) * 2019-09-19 2022-05-13 北京字节跳动网络技术有限公司 视频编解码中的缩放窗口
WO2021073488A1 (en) * 2019-10-13 2021-04-22 Beijing Bytedance Network Technology Co., Ltd. Interplay between reference picture resampling and video coding tools

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
網路文獻 Benjamin Bross, Jianle Chen, Shan Liu "Versatile Video Coding (Draft 6)" Joint Video Experts Team (JVET), of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 15th Meeting 3–12 July 2019 https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0590-v3.zip *
網路文獻 Bytedance Inc. "Non-CE1: A fix on reference sample offset for RPR" Joint Video Experts Team (JVET), of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 16th Meeting 1–11 October 2019 https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0381-v3.zip; *
網路文獻 Qualcomm Incorporated "AHG8: Scaling window for scaling ratio derivation" Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 16th Meeting 1–11 October 2019 https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0590-v3.zip; *

Also Published As

Publication number Publication date
KR20220101736A (ko) 2022-07-19
US20230007281A1 (en) 2023-01-05
WO2021115386A1 (en) 2021-06-17
TW202130180A (zh) 2021-08-01
CN114788285A (zh) 2022-07-22
EP4074044A1 (en) 2022-10-19
EP4074044A4 (en) 2023-11-15

Similar Documents

Publication Publication Date Title
US11196989B2 (en) Video encoding method, device and storage medium using resolution information
CN108495130B (zh) 视频编码、解码方法和装置、终端、服务器和存储介质
CN108833918B (zh) 视频编码方法、解码方法、装置、计算机设备及存储介质
US9894372B2 (en) Content adaptive super resolution prediction generation for next generation video coding
CN108833916B (zh) 视频编码、解码方法、装置、存储介质和计算机设备
JP7331095B2 (ja) 補間フィルタトレーニング方法及び装置、ビデオピクチャエンコーディング及びデコーディング方法、並びに、エンコーダ及びデコーダ
CN108924553B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
EP2996338A2 (en) Content adaptive super resolution prediction generation for next generation video coding
US11172220B2 (en) Video encoding method, and storage medium thereof
CN112868232B (zh) 使用插值滤波器进行帧内预测的方法和装置
CN117499656A (zh) 帧内编解码模式下的矩阵推导
US11146824B2 (en) Video encoding or decoding methods and apparatuses related to high-level information signaling
US10863205B2 (en) Adaptive sharpening filter for predictive coding
KR20080090421A (ko) 비디오 인코더 및 디코더에서의 해상도가 감소한 갱신모드에 대한 제약 있는 예측 및 복잡도의 크기조정을 위한방법 및 장치
US20130195169A1 (en) Techniques for multiview video coding
CN108848377B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
US20140286434A1 (en) Image-encoding method and image-decoding method
CN114930854B (zh) 用于编解码视频序列的方法和装置
KR20080067922A (ko) 영상 축소 기능을 갖는 영상 복호화 방법 및 장치
CN114982236A (zh) 视频编码的参考图像重采样中考虑最差情况带宽的缩放窗限制的方法和装置
WO2013051897A1 (ko) 영상 부호화 방법과 영상 복호화 방법
TWI784367B (zh) 具有縮放比約束之視訊編碼或解碼方法和裝置
WO2023011412A1 (en) Color component processing in down-sample video coding
JP2004266794A (ja) マルチ・リゾルーション・ビデオ符号化および復号化
CN113395520A (zh) 解码预测方法、装置及计算机存储介质