TW201933873A - 多模型局部照明補償 - Google Patents

多模型局部照明補償 Download PDF

Info

Publication number
TW201933873A
TW201933873A TW108100428A TW108100428A TW201933873A TW 201933873 A TW201933873 A TW 201933873A TW 108100428 A TW108100428 A TW 108100428A TW 108100428 A TW108100428 A TW 108100428A TW 201933873 A TW201933873 A TW 201933873A
Authority
TW
Taiwan
Prior art keywords
block
luma
video
samples
illumination compensation
Prior art date
Application number
TW108100428A
Other languages
English (en)
Inventor
張理
錢威俊
張凱
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201933873A publication Critical patent/TW201933873A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種處理視訊資料之方法，其包括藉由處理電路將一參考區塊之一相鄰明度區塊的明度樣本及一當前區塊之一相鄰明度區塊的明度樣本分類為複數個群組，及藉由該處理電路導出該複數個群組中之每一群組的一或多個局部照明補償參數以產生該當前區塊之複數個局部照明補償參數。該方法進一步包括藉由該處理電路使用該當前區塊之該複數個局部照明補償參數導出該參考區塊之該相鄰明度區塊與該當前區塊之該相鄰明度區塊之間的複數個線性模型，及藉由該處理電路使用該複數個線性模型產生一預測區塊。

Description

多模型局部照明補償
本發明係關於視訊寫碼。
數位視訊頻能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電傳話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如，由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)定義之標準、ITU-T H.265、高效率視訊寫碼(HEVC)標準及此等標準之延伸中所描述的技術。視訊器件可藉由實施此等視訊壓縮技術而更高效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測來減少或移除視訊序列中固有的冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊，其亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)之圖塊中的視訊區塊。圖像之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中的參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。空間或時間預測導致用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量來編碼，且殘餘資料指示經寫碼區塊與預測性區塊之間的差。框內寫碼區塊係根據框內寫碼模式及殘餘資料編碼。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而導致可接著進行量化之殘餘變換係數。
一般而言，本發明描述與對於基於區塊之視訊寫碼中之局部照明補償的改良相關的技術。舉例而言，視訊寫碼器(例如視訊編碼器或視訊解碼器)可導出用於導出預測區塊之多線性模型。以此方式，視訊寫碼器可使用多線性模型產生預測區塊以有助於最小化所發信殘餘資料之量。本文中針對局部照明補償所描述的一或多種技術可應用於現有視訊編解碼器中之任一者(諸如高效率視訊寫碼(HEVC)或H.266/多功能視訊寫碼(VVC)標準)，或為用於任何未來視訊寫碼標準。
在一個實例中，一種處理視訊資料之方法包括：藉由處理電路將參考區塊之相鄰明度區塊的明度樣本及當前區塊之相鄰明度區塊的明度樣本分類為複數個群組；藉由該處理電路導出該複數個群組中之每一群組的一或多個局部照明補償參數以產生該當前區塊之複數個局部照明補償參數；藉由該處理電路使用該當前區塊之該複數個局部照明補償參數導出該參考區塊之該相鄰明度區塊與該當前區塊之該相鄰明度區塊之間的複數個線性模型；及藉由該處理電路使用該複數個線性模型產生預測區塊。
在另一實例中，一種用於處理視訊資料之設備包括一或多個儲存媒體；及一或多個處理器，其經組態以：將參考區塊之相鄰明度區塊的明度樣本及當前區塊之相鄰明度區塊的明度樣本分類為複數個群組；導出該複數個群組中之每一群組的一或多個局部照明補償參數以產生該當前區塊之複數個局部照明補償參數；使用該當前區塊之該複數個局部照明補償參數導出該參考區塊之該相鄰明度區塊與該當前區塊之該相鄰明度區塊之間的複數個線性模型；及使用該複數個線性模型產生預測區塊。
在另一實例中，一種用於處理視訊資料之器件包括：用於將參考區塊之相鄰明度區塊的明度樣本及當前區塊之相鄰明度區塊的明度樣本分類為複數個群組的構件；用於導出該複數個群組中之每一群組的一或多個局部照明補償參數以產生該當前區塊之複數個局部照明補償參數的構件；用於使用該當前區塊之該複數個局部照明補償參數導出該參考區塊之該相鄰明度區塊與該當前區塊之該相鄰明度區塊之間的複數個線性模型的構件；及用於使用該複數個線性模型產生預測區塊的構件。
在另一實例中，一種電腦可讀儲存媒體編碼有指令，該等指令當經執行時使得一可程式化處理器執行以下操作：將參考區塊之相鄰明度區塊的明度樣本及當前區塊之相鄰明度區塊的明度樣本分類為複數個群組；導出該複數個群組中之每一群組的一或多個局部照明補償參數以產生該當前區塊之複數個局部照明補償參數；使用該當前區塊之該複數個局部照明補償參數導出該參考區塊之該相鄰明度區塊與該當前區塊之該相鄰明度區塊之間的複數個線性模型；及使用該複數個線性模型產生預測區塊。
在隨附圖式及以下描述中闡述本發明之一或多個態樣的細節。本發明中所描述之技術的其他特徵、目標及優點將自描述、圖式及申請專利範圍顯而易見。
本申請案主張2018年1月8日申請的美國臨時專利申請案第62 /614 , 799 號的權利，該申請案之全部內容以引用的方式併入本文中。
本發明描述與局部照明補償(LIC)相關之技術。該等技術可在進階視訊編解碼器之情形中使用，諸如下一代視訊寫碼標準，包括(但不限於)當前處於開發中之H.266 (亦稱作多功能視訊寫碼(VVC))標準。根據一些LIC演算法，對於每一預測方向，一個線性模型用以導出當前區塊之預測區塊。然而，當照明變化在當前區塊內之樣本之間不同時，現有LIC演算法可引入預測區塊之誤差，藉此增大經發信以傳輸視訊資料之殘餘資料的量(例如預測區塊變為經編碼或經解碼的區塊之較不良預測因子)。本發明之技術使得視訊寫碼器件能夠導出及應用多個線性模型以導出當前區塊之預測區塊。因而，本發明之技術減輕藉由單一區塊之樣本之間的照明變化引入的誤差。
如本文所使用，術語「視訊寫碼器」大體上係指視訊編碼器及視訊解碼器兩者。類似地，在本發明中，術語「視訊寫碼」或「寫碼」一般可指視訊編碼或視訊解碼。因此，除非另外說明，否則應假定，參考寫碼所描述的技術可由視訊編碼器或視訊解碼器執行。在本申請案的一些部分中，可參考視訊解碼或參考視訊解碼器來描述某些技術。然而，不應假定此類技術不適用於視訊編碼或不可由視訊編碼器執行。舉例而言，此類技術可作為判定如何編碼視訊資料的部分而執行，或可作為視訊編碼器中之視訊解碼迴路的部分而執行。
如本發明中所使用，術語當前區塊係指當前正被寫碼的區塊，與已經寫碼或尚未寫碼的區塊相對。類似地，當前寫碼單元(CU)、預測單元(PU)或變換單元(TU)指代寫碼單元、預測單元或當前正被寫碼的變換單元。
圖1為說明可利用本發明之技術之實例視訊編碼及解碼系統10的方塊圖。如圖1中所示，系統10包括源器件12，源器件12提供待在稍後時間由目的地器件14解碼之經編碼視訊資料。詳言之，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、平板電腦、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或其類似者。在一些情況下，源器件12及目的地器件14可經裝備以用於無線通信。因此，源器件12及目的地器件14可為無線通信器件。源器件12為實例視訊編碼器件(亦即，用於編碼視訊資料之器件)。目的地器件14為實例視訊解碼器件(亦即，用於解碼視訊資料之器件)。
在圖1之實例中，源器件12包括視訊源18、經組態以儲存視訊資料之儲存媒體19、視訊編碼器20及輸出介面24。目的地器件14包括輸入介面26、經組態以儲存經編碼視訊資料之儲存媒體28、視訊解碼器30及顯示器件32。根據本發明，源器件12之視訊編碼器20及目的地器件14之視訊解碼器30可經組態以應用用於執行以下操作的技術：藉由處理電路將參考區塊之相鄰明度區塊的明度樣本及當前區塊之相鄰明度區塊的明度樣本分類為複數個群組；藉由該處理電路導出該複數個群組中之每一群組的一或多個局部照明補償參數以產生當前區塊之複數個局部照明補償參數；藉由該處理電路使用當前區塊之該複數個局部照明補償參數導出參考區塊之相鄰明度區塊與當前區塊之相鄰明度區塊之間的複數個線性模型；及藉由該處理電路使用該複數個線性模型產生預測區塊。因此，源器件12表示視訊編碼器件之實例，而目的地器件14表示視訊解碼器件之實例。
在其他實例中，源器件12及目的地器件14包括其他組件或配置。舉例而言，源器件12可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合顯示器件。
圖1之所說明系統10僅係一個實例。用於處理視訊資料之技術可由任何數位視訊編碼及/或解碼器件來執行。儘管本發明之技術一般由視訊編碼器件執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編解碼器」)執行。源器件12及目的地器件14僅為源器件12產生經寫碼視訊資料以供傳輸至目的地器件14的此類寫碼器件之實例。在一些實例中，源器件12及目的地器件14可以實質上對稱方式操作，使得源器件12及目的地器件14中的每一者包括視訊編碼及解碼組件。因此，系統10可支援源器件12與目的地器件14之間的單向或雙向視訊傳輸，例如用於視訊串流、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括視訊俘獲器件，諸如視訊攝影機、含有先前俘獲之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊資料的視訊饋入介面。作為另一替代，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、經存檔視訊及電腦產生之視訊的組合。源器件12可包含經組態以儲存視訊資料之一或多個資料儲存媒體(例如，儲存媒體19)。本發明中所描述之技術可大體上適用於視訊寫碼，且可應用於無線及/或有線應用。在每一情況下，俘獲、預先俘獲或電腦產生之視訊可由視訊編碼器20編碼。輸出介面24可將經編碼視訊資訊輸出至電腦可讀媒體16。
目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任一類型之媒體或器件。在一些實例中，電腦可讀媒體16包含通信媒體以使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。類似地，輸入介面26 (例如接收器)可經組態以根據無線通信標準解調變包含經編碼視訊資料之信號。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14的通信之任何其他裝備。目的地器件14可包含經組態以儲存經編碼視訊資料及經解碼視訊資料之一或多個資料儲存媒體。
在一些實例中，經編碼資料可自輸出介面24輸出至儲存器件。類似地，可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、Blu-ray碟片、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適之數位儲存媒體。在再一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此可包括無線通道(例如Wi-Fi連接件)、有線連接件(例如DSL、電纜數據機等)，或適合於存取儲存於檔案伺服器上之經編碼視訊資料的兩者之組合。自儲存器件的經編碼視訊資料之傳輸可為串流傳輸、下載傳輸或其組合。
該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP動態調適性串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
電腦可讀媒體16可包括暫時性媒體，諸如無線廣播或有線網路傳輸，或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、快閃驅動器、緊密光碟、數位視訊光碟、Blu-ray光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(圖中未示)可自源器件12接收經編碼視訊資料並例如經由網路傳輸提供經編碼視訊資料至目的地器件14。類似地，諸如光碟衝壓設施之媒體生產設施的計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面26 (在本文中亦被稱作「接收器」)自電腦可讀媒體16接收資訊。輸入介面26可經組態以接收經編碼視訊資料。電腦可讀媒體16之資訊可包括由視訊編碼器20之視訊編碼器20定義之語法資訊，語法資訊亦由視訊解碼器30使用，語法資訊包括描述區塊及其他經寫碼單元(例如，圖像群組(GOP))之特性及/或處理的語法元素。儲存媒體28可經組態以儲存經編碼視訊資料，諸如藉由輸入介面26接收之經編碼視訊資料(例如，位元串流)。顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30各自可實施為多種合適之編碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術以軟體部分地實施時，器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編解碼器)之部分。
在一些實例中，視訊編碼器20及視訊解碼器30可根據視訊寫碼標準(諸如現有或未來標準)來操作。實例視訊寫碼標準包括但不限於：ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦被稱作ISO/IEC MPEG-4 AVC)，包括其可擴展視訊寫碼(SVC)及多視圖視訊寫碼(MVC)延伸。
另外，已藉由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)之視訊寫碼聯合協作小組(JCT-VC)以及3D視訊寫碼延伸開發聯合合作小組(JCT-3V)開發視訊寫碼標準，高效率視訊寫碼(HEVC)或ITU-T H.265，其包括其範圍及螢幕內容寫碼延伸、3D視訊寫碼(3D-HEVC)與多視圖延伸(MV-HEVC)，及可擴展延伸(SHVC)。
在2016年，MPEG及ITU-T VCEG形成聯合探索視訊小組(JVET)，以探索用於下一代視訊寫碼標準之新寫碼工具。參考軟體被稱作JEM(聯合探索模型)。
新的視訊寫碼標準之早期草案，被稱作H.266/多功能視訊寫碼(VVC)標準，係在文件JVET-J1001，Benjamin Bross之「Video Coding (Draft 1)」中獲得，且其演算法描述係在文件JVET-J1002，Jianle Chen及Elena Alshina之「Algorithm description for Versatile Video Coding and Test Model 1 (VTM 1)」中獲得。然而，本發明之技術不限於任何特定寫碼標準。視訊編碼器20及視訊解碼器30可根據任一視訊寫碼標準(諸如HEVC、VVC專有或其他工業標準，諸如聯合探索測試模型(JEM)等)操作。然而，本發明之技術不限於任何特定寫碼標準。
在HEVC及其他視訊寫碼規範中，視訊序列通常包括一系列圖像。圖像亦可被稱為「圖框」。圖像可包括三個樣本陣列，指示為SL 、SCb 及SCr 。SL 為明度樣本之二維陣列(即，區塊)。SCb 為Cb色訊樣本之二維陣列。SCr 為Cr色度樣本之二維陣列。色訊樣本亦可在本文中被稱作「色度(chroma)」樣本。在其他情況下，圖像可為單色的，且可僅包括明度樣本陣列。
為產生圖像之經編碼表示，視訊編碼器20可編碼視訊資料之圖像的區塊。視訊編碼器20可將視訊區塊之經編碼表示包括於位元串流中。舉例而言，在HEVC中，為產生圖像之經編碼表示，視訊編碼器20可產生寫碼樹型單元(CTU)之集合。CTU中之每一者可包含一或多個寫碼樹型區塊(CTB)且可包含用以寫碼該一或多個寫碼樹型區塊之樣本的語法結構。舉例而言，每一CTU可包含明度樣本之寫碼樹型區塊、色度樣本之兩個對應寫碼樹型區塊，及用以寫碼寫碼樹型區塊之樣本的語法結構。在單色圖像或具有三個單獨彩色平面之圖像中，CTU可包含單一寫碼樹型區塊及用以寫碼對該寫碼樹型區塊之樣本進行寫碼的語法結構。寫碼樹型區塊可為樣本之N×N區塊。CTU亦可被稱作「樹型區塊」或「最大寫碼單元」(LCU)。語法結構可被定義為以指定次序一起存在於位元串流中之零或多個語法元素。CTB之大小可介於HEVC主規範中之16×16至64×64的範圍(儘管技術上可支援8×8 CTB大小)。
在HEVC中，圖塊包括以光柵掃描次序連續定序之整數數目個CTU。因此，在HEVC中，圖塊中之最大寫碼單元稱為寫碼樹型區塊(CTB)。
在HEVC中，為產生圖像之經寫碼CTU，視訊編碼器20可對CTU之寫碼樹型區塊遞迴地執行四分樹分割，以將寫碼樹型區塊劃分成寫碼區塊，因此命名「寫碼樹型單元」。寫碼區塊為樣本之N×N區塊。寫碼單元(CU)可包含一或多個寫碼區塊及用以寫碼該一或多個寫碼區塊之樣本的語法結構。舉例而言，CU可包含具有明度樣本陣列、Cb樣本陣列及Cr樣本陣列之圖像的明度樣本之寫碼區塊，及色度樣本之兩個對應寫碼區塊，及用以寫碼寫碼區塊之樣本的語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，CU可包含單個寫碼區塊及用於寫碼該寫碼區塊之樣本的語法結構。因此，CTB可含有四分樹，四分樹之節點為CU。
另外，視訊編碼器20可編碼CU。舉例而言，為編碼CU，視訊編碼器20可將CU之寫碼區塊分割成一或多個預測區塊。預測區塊為供應用相同預測的樣本之矩形(亦即，正方形或非正方形)區塊。CU之預測單元(PU)可包含CU之一或多個預測區塊，及用以預測該一或多個預測區塊之語法結構。舉例而言，PU可包含明度樣本之預測區塊、色度樣本之兩個對應預測區塊，及用以對預測區塊進行預測之語法結構。在單色圖像或具有三個單獨色彩平面之圖像中，PU可包含單個預測區塊及用於預測該預測區塊的語法結構。視訊編碼器20可針對CU之每一PU的預測區塊(例如，明度、Cb及Cr預測區塊)產生預測性區塊(例如，明度、Cb及Cr預測性區塊)。
在HEVC中，每一CU係以一個模式寫碼，該一個模式可為框內模式或框間模式。當CU經框間寫碼(亦即，應用框間模式)時，CU可進一步分割成2個或4個PU或當不應用另一分割時變為僅一個PU。當兩個PU存在於一個CU中時，兩個PU可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形大小。存在用於運用框間預測模式寫碼之CU之八個分割模式，亦即：PART_2N×2N、PART_2N×N、PART_N×2N、PART_N×N、PART_2N×nU、PART_2N×nD、PART_nL×2N及PART_nR×2N。雖然使用HEVC之實例被使用，但其他實例可使用其他標準，諸如但不限於VVC標準。
當CU經框間寫碼時，針對每一PU提供運動資訊之一個集合。另外，每一PU係運用唯一框間預測模式來寫碼以導出運動資訊集合。若視訊編碼器20使用框內預測來產生PU之預測性區塊，則視訊編碼器20可基於包括PU之圖像的經解碼樣本來產生PU之預測性區塊。當CU經框內預測時，2N×2N及N×N為僅容許之PU形狀，且在每一PU內，單個框內預測模式經寫碼(而色度預測模式係在CU層級處發信)。當當前CU大小等於序列參數集(SPS)中定義之最小CU大小時，僅僅允許N×N框內PU形狀。
JEM/VVC亦提供仿射運動補償模式，其可被視為框間預測模式。在仿射運動補償模式中，視訊編碼器20可判定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其他不規則運動類型)之兩個或大於兩個運動向量。
為了執行框內預測，視訊編碼器20可選擇框內預測模式以產生預測區塊。JEM/VVC之實例提供六十七種框內預測模式，包括各種定向模式以及平面模式及DC模式。一般而言，視訊編碼器20選擇描述預測當前區塊之樣本所藉以的當前區塊(例如CU之區塊)之相鄰樣本的框內預測模式。此類樣本通常可與當前區塊相同之圖像中，在當前區塊之上方、左上方或左側，假定視訊編碼器20以光柵掃描次序(左至右、上至下)寫碼CTU及CU。
如本發明中所描述，視訊寫碼器可指視訊編碼器或視訊解碼器。類似地，視訊寫碼單元可指視訊編碼器或視訊解碼器。同樣地，如適用，視訊寫碼可指視訊編碼或視訊解碼。在本發明中，片語「基於」可指示僅僅基於、至少部分地基於，或以某一方式基於。本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」以指代一或多個樣本區塊及用以寫碼樣本之一或多個區塊之樣本的語法結構。視訊單元之實例類型可包括CTU、CU、PU、變換單元(TU)、巨集區塊、巨集區塊分區等等。在一些情形中，PU之論述可與巨集區塊或巨集區塊分區之論述互換。視訊區塊之實例類型可包括寫碼樹型區塊、寫碼區塊及其他類型之視訊資料區塊。
圖4A及圖4B為說明實例四分樹二進位樹(QTBT)結構29及對應寫碼樹型單元(CTU) 31之概念圖。實線表示四分樹分裂，點線則指示二進位樹分裂。在二進位樹之每一分裂(亦即，非葉)節點中，一個旗標經發信以指示使用哪一分裂類型(亦即，水平或垂直)，其中在此實例中，0指示水平分裂且1指示垂直分裂。對於四分樹分裂，不存在對於指示分裂類型之需要，此係由於四分樹節點將區塊水平地及垂直地分裂成具有相等大小之4個子區塊。因此，視訊編碼器20可編碼，且視訊解碼器30可解碼用於QTBT結構29之區域樹層級(亦即實線)的語法元素(諸如分裂資訊)及用於QTBT結構29之預測樹層級(亦即虛線)的語法元素(諸如分裂資訊)。視訊編碼器20可編碼，且視訊解碼器30可解碼用於由QTBT結構29之端葉節點表示之CU的視訊資料(諸如預測及轉換資料)。
一般而言，圖4B之CTU 31可與定義對應於在第一及第二層級處的QTBT結構29之節點的區塊之大小的參數相關聯。此等參數可包括CTU大小(表示樣本中之CTU 31之大小)、最小四分樹大小(MinQTSize，表示最小允許四分樹葉節點大小)、最大二進位樹大小(MaxBTSize，表示最大允許二進位樹根節點大小)、最大二進位樹深度(MaxBTDepth，表示最大允許二進位樹深度)，及最小二進位樹大小(MinBTSize，表示最小允許二進位樹葉節點大小)。
視訊編碼器20可產生CU之一或多個殘餘區塊。舉例而言，視訊編碼器20可產生用於CU之明度殘餘區塊。CU之明度殘餘區塊中之每一樣本指示CU之預測性明度區塊中的一者中之明度樣本與CU之原始明度寫碼區塊中之對應樣本之間的差異。另外，視訊編碼器20可產生用於CU之Cb殘餘區塊。CU之Cb殘餘區塊中之每一樣本可指示CU之預測性Cb區塊中之一者中的Cb樣本與CU之原始Cb寫碼區塊中之對應樣本之間的差異。視訊編碼器20亦可產生CU之Cr殘餘區塊。CU之Cr殘餘區塊中之每一樣本可指示CU之預測性Cr區塊之中之一者中的Cr樣本與CU之原始Cr寫碼區塊中之對應樣本之間的差異。
此外，視訊編碼器20可將CU之殘餘區塊分解為一或多個變換區塊。舉例而言，視訊編碼器20可使用四分樹分割以將CU之殘餘區塊分解成一或多個變換區塊。變換區塊為供應用相同變換的樣本之矩形(例如，正方形或非正方形)區塊。CU之變換單元(TU)可包含一或多個變換區塊。舉例而言，TU可包含明度樣本之變換區塊、色度樣本之兩個對應變換區塊，及用以對變換區塊樣本進行變換之語法結構。因此，CU之每一TU可具有明度變換區塊、Cb變換區塊以及Cr變換區塊。TU之明度變換區塊可為CU之明度殘餘區塊的子區塊。Cb變換區塊可為CU之Cb殘餘區塊之子區塊。Cr變換區塊可為CU之Cr殘餘區塊的子區塊。在單色圖像或具有三個單獨色彩平面之圖像中，TU可包含單一變換區塊及用於變換該變換區塊之樣本的語法結構。
視訊編碼器20可將一或多個變換應用至TU之變換區塊，以產生TU之係數區塊。舉例而言，視訊編碼器20可將一或多個變換應用於TU之明度變換區塊，以產生TU之明度係數區塊。係數區塊可為變換係數之二維陣列。變換係數可為純量。視訊編碼器20可將一或多個變換應用至TU之Cb變換區塊以產生TU之Cb係數區塊。視訊編碼器20可將一或多個變換應用於TU之Cr變換區塊，以產生TU之Cr係數區塊。
在一些實例中，視訊編碼器20跳過變換至變換區塊之應用。在此等實例中，視訊編碼器20可處理殘餘樣本值，可以與變換係數相同之方式處理殘餘樣本值。因此，在視訊編碼器20跳過變換之應用的實例中，變換係數及係數區塊之以下論述可適用於殘餘樣本之變換區塊。
在產生係數區塊之後，視訊編碼器20可量化該係數區塊。量化大體上係指將變換係數量化以可能地減少用以表示變換係數之資料之量從而提供進一步壓縮的過程。在一些實例中，視訊編碼器20跳過量化。在視訊編碼器20將係數區塊量化之後，視訊編碼器20可產生指示經量化變換係數之語法元素。視訊編碼器20可熵編碼指示經量化變換係數之語法元素中之一或多者。舉例而言，視訊編碼器20可對指示經量化變換係數之語法元素執行上下文調適性二進位算術寫碼(CABAC)。
視訊編碼器20可輸出包括經編碼視訊資料之位元串流。舉例而言，位元串流可包含形成視訊資料及關聯資料之經寫碼圖像之表示的一系列位元。因此，位元串流包含視訊資料之經編碼表示。在一些實例中，經寫碼圖像之表示可包括區塊之經編碼表示。因此，視訊編碼器20可在位元串流中發信區塊之經編碼表示中的區塊之變換係數。在一些情況下，視訊編碼器20可使用一或多個語法元素以發信區塊之每一變換係數。
該位元串流可包含網路抽象層(NAL)單元之序列。NAL單元為含有NAL單元中的資料之類型之指示及含有彼資料的呈按需要穿插有模擬阻止位元之原始位元組序列酬載(RBSP)之形式的位元組之語法結構。NAL單元中之每一者可包括NAL單元標頭且囊封RBSP。NAL單元標頭可包括指示NAL單元類型碼之語法元素。藉由NAL單元之NAL單元標頭指定的NAL單元類型碼指示NAL單元之類型。RBSP可為含有囊封在NAL單元內的整數數目個位元組之語法結構。在一些情況下，RBSP包括零個位元。
視訊解碼器30可接收由視訊編碼器20產生之位元串流。此外，視訊解碼器30可剖析位元串流以自該位元串流獲得語法元素。視訊解碼器30可至少部分基於自位元串流獲得之語法元素而重新建構視訊資料之圖像。重建構視訊資料之過程可與由視訊編碼器20執行之過程大體互逆。舉例而言，視訊解碼器30可使用PU之運動向量判定當前CU之PU的預測性區塊。另外，視訊解碼器30可反量化當前CU之TU之係數區塊。視訊解碼器30可對係數區塊執行反變換，以重建構當前CU之TU的變換區塊。視訊解碼器30可藉由將當前CU之PU的預測性區塊之樣本添加至當前CU之TU的變換區塊之對應樣本來重建構當前CU之寫碼區塊。藉由重建構圖像之各CU的寫碼區塊，視訊解碼器30可重建構圖像。
在下文中論述運動資訊。對於每一區塊，運動資訊集合可供使用。運動資訊集合可包括用於前向及後向預測方向之運動資訊。在本發明中，前向及後向預測方向可為雙向預測模式之兩個預測方向且術語「前向」及「後向」可並不具有幾何結構涵義。實情為，術語「前向」及「後向」可對應於當前圖像之參考圖像清單0 (RefPicList0)及參考圖像清單1 (RefPicList1)。當僅僅一個參考圖像清單可用於圖像或圖塊時，僅僅RefPicList0可為可用的，且圖塊之每一區塊之運動資訊可始終為前向的。
在一些情況下，運動向量連同其參考索引一起用於解碼過程中，此運動向量與相關聯參考索引被表示為運動資訊之單向預測性集合。
對於每一預測方向，運動資訊可包括參考索引及運動向量。在一些情況下，為簡單起見，可以假設運動向量自身具有相關聯參考索引的方式參考該運動向量。參考索引可用於識別當前參考圖像清單(RefPicList0或RefPicList1)中之參考圖像。運動向量可具有水平分量及垂直分量。
圖像次序計數(POC)可用於視訊寫碼標準以識別圖像之顯示次序。儘管存在一個經寫碼視訊序列內之兩個圖像可具有相同POC值的情況，但經寫碼視訊序列內通常不發生此類情況。當位元串流中存在多個經寫碼視訊序列時，就解碼次序而言，具有同一POC值之圖像可更接近於彼此。
圖像之POC值通常用於參考圖像清單建構、如HEVC中之參考圖像集合之導出及運動向量按比例調整。
在H.264/AVC中，每一框間巨集區塊(MB)可以如下四種不同方式分割：一個16×16 MB分區；兩個16×8 MB分區；兩個8×16 MB分區；及四個8×8 MB分區。一個MB中之不同MB分區每一方向可具有不同參考索引值(RefPicList0或RefPicList1)。當MB不被分割成四個8×8 MB分區時，MB在每一方向中之每一MB分區僅具有一個運動向量。
當MB分割成四個8×8 MB分區時，視訊寫碼器(例如視訊編碼器20或視訊解碼器30)可進一步將每一8×8 MB分割成子區塊，該等子區塊中之每一者可在每一方向上具有不同運動向量。存在自8×8 MB分區得到子區塊之四種不同方式：一個8×8子區塊；兩個8×4子區塊；兩個4×8子區塊；及四個4×4子區塊。每一子區塊可在每一方向上具有不同運動向量。因此，運動向量可存在於等於高於子區塊之層級中。
在AVC中，可在B圖塊中針對跳過或直接模式而在MB或MB分區層級啟用時間直接模式。對於每一MB分區，視訊寫碼器可使用與當前區塊之RefPicList1[0]中之當前MB分區同置的區塊之運動向量以導出運動向量。視訊寫碼器可基於POC距離按比例調整共置區塊中之每一運動向量。
在AVC中，視訊寫碼器可使用直接模式以自空間相鄰者預測運動資訊。
為審閱HEVC，在HEVC中，圖塊中之最大寫碼單元稱為寫碼樹型區塊(CTB)。CTB含有四分樹，該四分樹之節點為寫碼單元。CTB之大小可介於HEVC主規範中之16×16至64×64的範圍(儘管技術上可支援8×8 CTB大小)。然而，寫碼單元(CU)可與CTB具有相同大小，且小如8×8。每一寫碼單元係運用一個模式寫碼。當CU經框間寫碼時，CU可進一步分割成2個或4個預測單元(PU)或當不應用另一分割時變為僅一個PU。當兩個PU存在於一個CU中時，PU可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形大小。
當CU經框間寫碼時，可針對每一PU提供運動資訊之一個集合。另外，視訊寫碼器可運用唯一框間預測模式寫碼每一PU以導出運動資訊集合。
在HEVC標準中，對於預測單元(PU)存在兩個框間預測模式，分別命名為合併(跳過被視為合併之特殊情況)及進階運動向量預測(AMVP)模式。
在AMVP或合併模式中，視訊寫碼器可維持用於多個運動向量預測因子之運動向量(MV)候選者清單。視訊寫碼器可藉由自MV候選者清單中取得一個候選者產生當前PU之運動向量，以及合併模式中之參考索引。MV候選清單可含有用於合併模式之達5個候選者且僅兩個候選者用於AMVP模式。合併候選者可含有運動資訊集合，例如，對應於兩個參考圖像清單(清單0及清單1)之運動向量及參考索引。若藉由合併索引識別合併候選者，則視訊寫碼器可使用參考圖像用於當前區塊之預測，以及判定關聯運動向量。然而，在AMVP模式下，對於自清單0或清單1之每一可能預測方向，需要明確地將參考索引連同針對MV候選者清單之MVP索引一起用信號發送，此係因為AMVP候選者僅含有運動向量。在AMVP模式中，視訊寫碼器可進一步優化經預測運動向量。
如上文可見，合併候選者可對應於運動資訊之完整集合，而AMVP候選者含有針對特定預測方向的僅一個運動向量及參考索引。兩種模式之候選者可類似地自相同空間及時間相鄰區塊導出。
視訊寫碼器可針對特定的PU (PU0 )自圖2A及圖2B上所展示之相鄰區塊導出空間MV候選者，但用於自區塊產生候選者之技術可對於合併及AMVP模式不同。在合併模式中，視訊寫碼器可導出具有在圖2A上運用編號展示之次序的達至四個空間MV候選者，且該次序如下：左側(0)、上方(1)、右上方(3)、左下方(4)及左上方(5)，如圖2A中所示。
在AVMP模式中，視訊寫碼器可將相鄰區塊分成兩個群組：由區塊0及1組成之左側群組，及由區塊2、3及4組成之上方群組，如圖2B上所示。對於每一群組，參考與由經發信之參考索引指示之相同參考圖像的相鄰區塊中之潛在候選者可具有待選擇之最高優先權以形成該群組之最終候選者。有可能所有相鄰區塊均不含有指向相同參考圖像的運動向量。因此，若未找到此候選者，則視訊寫碼器可按比例調整第一可用候選者以形成最終候選者，因此可補償時間距離差。
視訊寫碼器可在空間運動向量候選者之後添加時間運動向量預測因子(TMVP)候選者(若啟用及可用)至MV候選者清單中。用於TMVP候選者之運動向量導出之過程可對於合併及AMVP模式兩者相同，然而，合併模式中之TMVP候選者之目標參考索引可始終設定為0。
TMVP候選者導出之原始區塊位置為如圖3A中展示為區塊「T」之同置PU外部之右下區塊，以補償用以產生空間相鄰候選者之上方及左側區塊之偏差。然而，若彼區塊定位於當前CTB列之外部或運動資訊不可用，則視訊寫碼器可用PU之中心區塊取代該區塊。
視訊寫碼器可自圖塊層級中指示的同置圖像之同置PU導出用於TMVP候選者之運動向量。類似於AVC中之時間直接模式，視訊寫碼器可按比例調整TMVP候選者之運動向量以補償距離差。
在一些實例中，運動向量之值在呈現時間上與圖像之距離成比例。運動向量與兩個圖像相關聯：參考圖像及含有運動向量之圖像(亦即，含有圖像)。當視訊寫碼器利用運動向量來預測其他運動向量時，含有圖像與參考圖像的距離可基於圖像次序計數(POC)值來計算。
對於待預測之運動向量，其相關聯之含有圖像及參考圖像可不同。因此，視訊寫碼器可計算新的距離(基於POC)。視訊寫碼器可基於此等兩個POC距離按比例調整運動向量。對於空間相鄰候選者，用於兩個運動向量之含有圖像可相同，而參考圖像可不同。在HEVC中，視訊寫碼器可對於空間及時間相鄰候選者，將運動向量按比例調整應用於TMVP及AMVP兩者。
若運動向量候選者清單不完整，則視訊寫碼器可產生人造運動向量候選者並在清單末尾插入人造運動向量候選者，直至運動向量候選者清單具有所有候選者。
在合併模式中，存在兩種類型之人造MV候選者：僅針對B-圖塊導出之組合候選者及僅針對AMVP使用之零候選者，若第一類型並未提供足夠人造候選者。對於已經在候選者清單中且具有必要運動資訊之每一對候選者，視訊寫碼器可藉由參考清單0中之圖像之第一候選者的運動向量與參考清單1中之圖像之第二候選者的運動向量之組合導出雙向組合運動向量候選者。
來自不同區塊之候選者可恰巧相同，此降低合併/AMVP候選者清單之效率。視訊寫碼器可應用修剪過程以解決來自不同區塊之候選者具有相同候選者之此問題。視訊寫碼器可應用修剪過程，該修剪過程將當前候選者清單中之一個候選者與其他候選者相比較以避免在某一程度上插入相同候選者。為降低複雜度，視訊寫碼器可僅應用有限數目次修剪過程而非比較每一潛在候選者與所有其他現有候選者。雖然使用HEVC之實例被使用，但其他實例可使用其他標準，諸如但不限於VVC標準。
在下文中論述針對HEVC提議的照明補償之概述。雖然使用HEVC之實例被使用，但其他實例可使用其他標準，諸如但不限於VVC標準。在Fujibayashi等人之ITU-T SG 16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合協作小組(JCT-VC)JCTVC-C041：「TE12: Performance of Partition Based Illumination Compensation (PBIC)」中，提議基於分割的照明補償(PBIC)。不同於啟用/停用經加權預測(WP)並發信在圖塊層級之WP參數的加權預測，PBIC啟用/停用照明補償(IC)並發信在PU層級之IC參數以處置局部照明變化。
與WP相似，視訊寫碼器可在IC中使用按比例調整因數(亦由a表示)及偏移(亦由b表示)，且移位數固定為6。視訊編碼器可編碼用於每一PU之IC旗標以指示IC是否適用於當前PU。若IC適用於PU，則視訊編碼器可發信一組IC參數(亦即，a及b)至視訊解碼器30並用於運動補償。在雙向預測情況下，視訊編碼器20可發信兩個按比例調整因數(針對每一預測方向一個因數)及一個偏移。
為節省IC參數上耗費的位元，色度分量可與明度分量共用按比例調整因數且視訊寫碼器可使用一固定偏移128。
在下文中論述針對3D-HEVC中之照明補償之概述。雖然使用HEVC之實例被使用，但其他實例可使用其他標準，諸如但不限於VVC標準。
3D-HEVC之實例可在3D視訊寫碼延伸聯合協作小組(JCT-3V) Doc., JCT3V-K1001，第11次會議：2015年2月12日至18日瑞士日內瓦，G. Tech, K. Wegner, Y. Chen及S. Yea之「3D-HEVC Draft Text 7」中找到。在3D-HEVC中，IC經啟用用於視圖間預測。不同於WP及顯式地發信IC參數之PBIC，3D-HEVC基於當前CU之相鄰樣本及參考區塊之相鄰樣本導出IC參數。
在IC中，視訊寫碼器可僅應用於2N×2N分割模式。對於AMVP模式，視訊編碼器可對於自視圖間參考圖像預測的每一CU發信一個IC旗標。對於合併模式，為了節省位元，視訊編碼器可僅當PU之合併索引不等於0時發信IC旗標。
IC可不應用於僅自時間參考圖像預測之CU。
視訊寫碼器可在視圖間預測中使用線性IC模型，方程式(1)中展示：
此處，PUc 為當前PU，(i,j)為PUc 中之像素的座標，(dvx , dvy )為PUc之視差向量。p(i,j)為PUc 之預測，r為來自相鄰視圖的PU之參考圖像。a及b為線性IC模型之參數。
圖5A為說明根據IC模型之使用CU之相鄰像素以估計參數的方塊圖。圖5B為說明根據IC模型使用參考區塊之相鄰像素以估計參數的方塊圖。
為估計PU之參數a及b，視訊寫碼器可使用兩個像素集合。舉例而言，圖5A展示在當前CU之左側行及當前CU之上方列中的可用經重建構相鄰像素(標識為「Recneigh 」) (含有當前PU的CU)。圖5B展示當前CU之參考區塊之對應相鄰像素(標識為「Recrefneigh 」)。視訊寫碼器可藉由使用當前PU之視差向量找到當前CU之參考區塊。
讓Recneig 及Recrefneig 分別表示當前CU之所使用相鄰像素集合及當前CU之參考區塊，且讓2N表示Recneig 及Recrefneig 中之像素數目。接著，a 及b 可計算如下。
在一些實例中，a用於線性模型且b設定為等於0，或僅僅B被使用且a設定為等於1。
在HEVC中，支援經加權預測(WP)，其中按比例調整因數(由a表示)、移位數目(由s表示)及偏移(由b表示)用於運動補償。假設參考圖像之位置(x,y)中的像素值為p(x,y)，則p'(x,y) = ((a*p(x, y) + (1 ＜＜ (s-1))) ＞＞ s) + b，而非p(x,y)用作運動補償中之預測值。
當WP啟用時，對於當前圖塊之每一參考圖像，視訊編碼器可發信旗標以指示WP是否適用於參考圖像。若WP適用於一個參考圖像，則視訊編碼器20可發送一組WP參數(亦即，a、s及b)至視訊解碼器30且視訊解碼器30可使用該組WP參數用於自參考圖像之運動補償。為靈活地打開/關閉用於明度及色度分量之WP，視訊編碼器20可獨立地發信WP旗標及用於明度及色度分量之WP參數。在WP中，視訊寫碼器可使用一組相同WP參數用於一個參考圖像中之全部像素。
局部照明補償(LIC)係基於使用按比例調整比例因子a及偏移b之用於照明變化的線性模型。LIC可針對每一模式間寫碼之寫碼單元(CU)調適性地啟用或停用。
在LIC應用於CU時，視訊寫碼器可採用最小平方差方法以藉由使用當前CU之相鄰樣本及其對應參考樣本而導出參數a及b。更特定言之，在圖6A之實例中，視訊寫碼器可使用CU之子取樣(2:1子取樣)相鄰樣本。在此實例中，視訊寫碼器可使用如圖6B中所示的參考圖像中之對應像素(藉由當前CU或子CU之運動資訊識別)。視訊寫碼器可導出IC參數且可獨立地應用IC參數用於每一預測方向。
當應用合併模式寫碼CU時，視訊寫碼器可以類似於合併模式中之運動資訊複本的方式自相鄰區塊複本LIC旗標；否則，視訊編碼器20可發信CU之LIC旗標以指示LIC是否應用。
在一些LIC演算法中，對於每一預測方向，視訊寫碼器可利用一個線性模型以導出預測區塊。然而，對於一些區塊，照明變化可甚至在一個區塊內之樣本間不同。
對於每一區塊，當啟用LIC時，視訊寫碼器可將線性模型應用於區塊內之全部樣本。有可能對於區塊內之某一區域，線性模型可失敗，此係由於LIC之模式通常表示一個區塊之大部分內容變化資訊，但並不適合於全部樣本。
LIC採用相鄰資訊來導出線性模型參數，然而，在最佳參數(自當前區塊及參考區塊導出)與所導出參數(來自相鄰區塊)之間可存在較小的差。
為有助於解決前述，提議如下技術。以下技術未必必須解決在所有情況下的問題，及此外，該等技術亦可因其他原因而為有益的。
以下技術可經個別地應用。替代地，可應用其任何組合。參考索引資訊可在本發明中視為運動資訊之一部分，有時其聯合地被稱作運動資訊集合。以下技術可獨立地應用於每一參考圖像清單，或共同地應用於多個參考圖像清單。
視訊寫碼器(例如視訊編碼器20及/或視訊解碼器30)可經組態以應用多模型LIC(MMLIC)以在寫碼區塊/寫碼單元(CU)/變換單元(TU)中使用參考區塊之相鄰明度區塊與當前區塊之相鄰明度區塊之間的多於一個線性模型。視訊編碼器20及/或視訊解碼器30可將參考區塊之相鄰明度區塊及當前區塊之相鄰明度區塊分類為若干群組。在此實例中，視訊編碼器20及/或視訊解碼器30可使用每一群組作為訓練集合以導出線性模型(例如特定的及/或經導出用於某一群組)。另外或替代地，視訊編碼器20及/或視訊解碼器30可將當前區塊內之樣本分類為若干群組。在此實例中，視訊編碼器20及/或視訊解碼器30可自每一群組中拾取一個線性模型。
視訊編碼器20及/或視訊解碼器30可基於用於相鄰樣本之分類的相同規則來分類參考區塊之樣本。視訊編碼器20及/或視訊解碼器30可將多個線性模型中之一者應用於參考區塊之樣本以產生與對應協調器相關聯的預測值。
視訊編碼器20及/或視訊解碼器30可將每一線性模型應用於當前參考區塊以得到一個預測區塊。在此實例中，視訊編碼器20及/或視訊解碼器30可利用自多線性模型獲得的複數個(包括全部)預測區塊以得到最終預測區塊。視訊編碼器20及/或視訊解碼器30可限制群組中之相鄰明度樣本。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可將參考區塊之相鄰明度區塊的明度樣本及當前區塊之相鄰明度區塊的明度樣本限制於該複數個群組中之一群組中，使得該群組中之樣本的數目滿足(例如小於、大於、等於等)樣本之特定數目。舉例而言，視訊編碼器20及/或視訊解碼器30可在分類之後將群組中之樣本的數目限制為大於或等於特定數目，諸如但不限於2。在一些實例中，一個分類中之樣本的最小數目可經預定義且視訊編碼器20及/或視訊解碼器30可使用同一值用於全部區塊大小。替代地或另外，一個分類中之樣本的最小數目可變化，此取決於當前區塊之大小及/或任何其他特徵。替代地或另外，視訊編碼器20可在序列參數集(SPS)/視圖參數集(VPS)/圖像參數集(PPS)/圖塊標頭中發信一個分類中之樣本的最小數目。
若群組中之樣本的數目小於特定數目，則視訊編碼器20及/或視訊解碼器30可將具有更多樣本的其他群組中之樣本傳送至此群組。舉例而言，視訊編碼器20及/或視訊解碼器30可將具有最多樣本之群組中的樣本改變至具有小於特定數目之樣本的群組。
視訊編碼器20及/或視訊解碼器30可將具有最多樣本之群組(例如命名為群組A)中的樣本改變至具有少於特定數目之樣本的群組(例如命名為群組B)，若該樣本係距群組B中現有樣本的最近樣本。「最近」可指像素位置上最近。在一些實例中，最近可指最近的強度。替代地或另外，特定數目可相依於寫碼區塊之寬度及/或高度。
視訊編碼器20及/或視訊解碼器30可經組態以執行相鄰明度樣本之分類。舉例而言，視訊編碼器20及/或視訊解碼器30可基於樣本之其強度及/或樣本之位置執行樣本(例如當前區塊之相鄰樣本或參考區塊之相鄰樣本，或參考區塊中之樣本或當前區塊中之樣本)之分類。在一些實例中，視訊編碼器20可發信分類技術。
視訊編碼器20及/或視訊解碼器30可經組態以使得類別之數目經預定義及固定用於全部序列。替代地或另外，視訊編碼器20可在SPS/VPS/PPS/圖塊標頭/CU/PU中發信類別之數目。替代地或另外，視訊編碼器20及/或視訊解碼器30可經組態以使得類別之數目相依於區塊大小，例如當前明度區塊之寬度及/或高度。
視訊編碼器20及/或視訊解碼器30可經組態以導出用於MMLIC之M個類別，其如下給出。

其中表示具有至參考區塊之同一相對位置(x,y)的參考樣本，其等於方程式(1)中之，且在情況下的相鄰樣本經分類為第m 個群組(其中m係自1至M，包括端點)。
視訊編碼器20及/或視訊解碼器30可將定義為負值，例如，-1。在一些實例中，視訊編碼器20及/或視訊解碼器30可發信由(T1 … TM - 1 )表示之(M-1)個臨限值至視訊解碼器30。替代地或另外，視訊編碼器20及/或視訊解碼器30可取決於參考區塊之相鄰寫碼樣本的全部或部分或/及參考區塊中之經解碼樣本或當前區塊之相鄰樣本而計算臨限值。
視訊編碼器20及/或視訊解碼器30可經組態以使得臨限值(由上述公式中之Ti 表示)相依於相鄰經寫碼(亦表示為「經重建構」)樣本之平均值或中位值。
視訊編碼器20及/或視訊解碼器30可經組態以使得臨限值可相依於minV及maxV之平均值，其中minV及maxV分別為相鄰寫碼樣本之最小值及最大值。
視訊編碼器20及/或視訊解碼器30可經組態以使得臨限值可相依於參考區塊之相鄰經寫碼樣本及參考區塊中之樣本的平均值或中間值。
視訊編碼器20及/或視訊解碼器30可經組態以使得臨限值可相依於minV及maxV之平均值，其中minV及maxV分別為參考區塊之相鄰寫碼樣本及參考區塊中之經寫碼樣本的最小值及最大值。
在下文中論述線性模型之選擇。當MMLIC啟用時，視訊編碼器20及/或視訊解碼器30可將當前區塊分類為多個群組且用於分類之規則可與用於線性模型導出之規則(諸如平均值/中值)相同。
假設存在M個皆用於當前區塊之類別，及M個導出之線性模型。視訊編碼器20及/或視訊解碼器30可選擇具有相同於與一個樣本相關聯的類別索引之索引的線性模型以產生樣本之預測值。
當產生樣本之預測值時，除了所選擇線性模型之外，視訊編碼器20及/或視訊解碼器30可利用定位於具有同一相對位置的參考區塊中之樣本。替代地或另外，當當前樣本及定位於具有相同相對位置的參考區塊中之樣本並不分類為同一類別時，視訊編碼器20及/或視訊解碼器30可使用具有相同類別之其他樣本以產生當前樣本之預測值，而非使用定位於具有相同相對位置的參考區塊中之樣本。
視訊編碼器20及/或視訊解碼器30可經組態以使得每一群組之所導出線性關係(例如表示為圖中之線)可為連續分段(諸如圖7及圖8中)，其中在圖7中
且，在圖8中，
視訊編碼器20及/或視訊解碼器30可經組態以使得每一群組之所導出線性關係(表示為圖中之線)可為如圖9A及圖10中之非連續分段，其中在圖9A中，
且，在圖9B中，
圖7為將相鄰樣本分類為兩個群組之實例。圖8為將相鄰樣本分類為三個群組之實例。圖9A及圖9B表示將相鄰樣本分類為兩個非連續群組之實例。圖9B說明基於圖9A中之樣本的過渡區。圖10為將相鄰樣本分類為三個非連續群組之實例。
運用MMLIC，視訊編碼器20及/或視訊解碼器30可使用更多相鄰樣本(例如更多線，而非僅一個上方列及一個左側行)以導出用於LIC之線性模型。換言之，舉例而言，視訊編碼器20及/或視訊解碼器30可經組態以使用在該參考區塊上方配置多於一個列的該參考區塊之該相鄰明度區塊的一明度樣本、在該參考區塊左側配置多於一個行的該參考區塊之該相鄰明度區塊的一明度樣本、在該當前區塊上方配置多於一個列的該當前區塊之該相鄰明度區塊的一明度樣本或在該當前區塊左側配置多於一個行的該參考區塊之該當前明度區塊的一明度樣本中之一或多者導出該複數個線性模型。在一些實例中，視訊編碼器20及/或視訊解碼器30可使用多線之減少取樣版本。
視訊編碼器20及/或視訊解碼器30可使用子區塊控制，而非始終對整個區塊執行LIC。在一些實例中，視訊編碼器20及/或視訊解碼器30可經組態以使得子區塊指示小於當前區塊之區域。在一些實例中，視訊編碼器20及/或視訊解碼器30可將一個區塊分裂成具有相等大小之多個區域(子區塊)。替代地或另外，視訊編碼器20及/或視訊解碼器30可將一個區塊分裂成具有不同大小之多個子區塊。
視訊編碼器20及/或視訊解碼器30可經組態以使得當利用MMLIC時，對於某一線性模型，視訊編碼器20及/或視訊解碼器30經允許預設相關參數(例如設定a=1及b=0)。亦即，對於某一群組，視訊編碼器20及/或視訊解碼器30可停用LIC。
在一些實例中，對於每一子區塊，視訊編碼器20及/或視訊解碼器30可基於現有資訊(諸如但不限於當前子區塊與其參考子區塊之間的樣本差，或當前子區塊與整個區塊之間相似程度，類似子區塊與整個區塊之平均值之間的差)導出LIC之啟用/停用旗標。在一些實例中，視訊編碼器20可發信用於指示子區塊啟用/停用之旗標。在一些實例中，視訊編碼器20及/或視訊解碼器30可將旗標寫碼為其是否與經發信/繼承用於寫碼區塊之旗標相同。在一些實例中，視訊編碼器20及/或視訊解碼器30可藉由當前區塊繼承參考區塊之啟用/停用旗標。
對於具有雙向預測之區塊，對於一個預測方向，視訊編碼器20及/或視訊解碼器30可啟用LIC且視訊編碼器20及/或視訊解碼器30可停用用於另一方向之LLC。在一些實例中，對於具有雙向預測之區塊，視訊編碼器20及/或視訊解碼器30可個別地將多LIC應用於每一預測方向以產生獨立預測區塊，且視訊編碼器20及/或視訊解碼器30可藉由獨立預測區塊產生當前區塊之最終預測區塊。在一些實例中，對於具有雙向預測之區塊，視訊編碼器20及/或視訊解碼器30可聯合地考慮多個參考區塊(例如用於兩個預測方向)之相鄰樣本以導出LIC或MMLIC參數。替代地或另外，視訊編碼器20及/或視訊解碼器30可將LIC或MMLIC應用於多個參考區塊以導出最終預測區塊。
視訊編碼器20可發信LIC及/或MMLIC之參數(例如a及b)而非自相鄰樣本導出LIC及/或MMLIC之參數。在一些實例中，視訊編碼器20可在量化a及b之後發信自原始當前區塊及其參考區塊導出的最佳參數。替代地或另外，視訊編碼器20可發信一個旗標以指示使用顯式地發信(諸如4.a)抑或隱式地發信技術。上述技術可適用於LM線性參數之發信。
視訊編碼器20及/或視訊解碼器30可將不同子取樣比(例如而非始終使用2:1子取樣)應用於相鄰樣本。在一些實例中，視訊編碼器20可在SPS/VPS/PPS/圖塊標頭中發信子取樣比。在一些實例中，視訊編碼器20及/或視訊解碼器30可經組態以使得子取樣比可經預定義並固定用於全部區塊。在一些實例中，視訊編碼器20及/或視訊解碼器30可經組態以使得子取樣比可不同，諸如相依於區塊大小，及/或運動向量指向整數位置抑或子樣本位置。
對於具有多於一個分量(例如具有Y/Cb/Cr分量)之圖像，視訊編碼器20及/或視訊解碼器30可將多模型LIC應用於僅僅一個或兩個指定分量。舉例而言，視訊編碼器20及/或視訊解碼器30可將多模型LIC應用於Y分量。視訊編碼器20及/或視訊解碼器30可將多模型LIC應用於全部分量(例如多於一個分量)。視訊編碼器20及/或視訊解碼器30可經組態以使得當應用多模型LIC時不同分量遵循不同規則。舉例而言，與對應Cb/Cr分量區塊相比，視訊編碼器20及/或視訊解碼器30可將Y分量區塊分類為更多群組。
使用本文中針對應用多線性模型所描述的一或多種技術，與使用單一線性模型以導出預測區塊的系統相比較，視訊編碼器20及/或視訊解碼器30可經組態以用更小誤差導出當前區塊之預測區塊。舉例而言，視訊編碼器20及/或視訊解碼器30可經組態以將參考區塊之相鄰明度區塊的明度樣本及當前區塊之相鄰明度區塊的明度樣本分類為複數個群組，導出該複數個群組中之每一群組的一或多個局部照明補償參數以產生當前區塊之複數個局部照明補償參數，使用當前區塊之該複數個局部照明補償參數導出在參考區塊之相鄰明度區塊與當前區塊之相鄰明度區塊之間的複數個線性模型，及使用該複數個線性模型產生預測區塊。減小預測區塊之誤差可減小在藉由視訊編碼器輸出並藉由視訊解碼器接收的位元串流中傳輸的殘餘資料之量以改良所傳輸視訊資料之壓縮速率，此可改良視訊編碼器20及/或視訊解碼器30之處理速度及/或減小視訊編碼器20及/或視訊解碼器30的功率消耗。
圖11為說明可實施本發明之技術的實例視訊編碼器20之方塊圖。出於解釋之目的提供圖11，且不應將該圖視為對如本發明中廣泛例示及描述之技術的限制。本發明之技術可應用於各種寫碼標準或方法。將出於說明之目的在HEVC寫碼及VVC之情形中描述視訊編碼器20，但關於其他寫碼標準或方法並不限制本發明。舉例而言，視訊編碼器20可根據未來視訊寫碼標準(包括H.266及VVC)操作。
在圖11之實例中，視訊編碼器20包括預測處理單元100、視訊資料記憶體101、殘餘產生單元102、變換處理單元104、量化單元106、反量化單元108、反變換處理單元110、重建構單元112、濾波器單元114、經解碼圖像緩衝器116及熵編碼單元118。預測處理單元100包括框間預測處理單120及框內預測處理單元126。框間預測處理單元120可包括運動估計單元及運動補償單元(圖中未示)。
視訊資料記憶體101可經組態以儲存待由視訊編碼器20之組件編碼的視訊資料。儲存於視訊資料記憶體101中之視訊資料可(例如)自視訊源18獲得。經解碼圖像緩衝器116可為參考圖像記憶體，其儲存用於由視訊編碼器20在編碼視訊資料(例如，在框內或框間寫碼模式中)時使用之參考視訊資料。視訊資料記憶體101及經解碼圖像緩衝器116可由多種記憶體器件中之任一者形成，諸如動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。可藉由相同記憶體器件或獨立記憶體器件來提供視訊資料記憶體101及經解碼圖像緩衝器116。在各種實例中，視訊資料記憶體101可與視訊編碼器20之其他組件一起在晶片上，或相對於彼等組件在晶片外。視訊資料記憶體101可與圖1之儲存媒體28相同或為圖1之儲存媒體28的部分。
視訊編碼器20接收視訊資料。視訊編碼器20可編碼視訊資料之圖像之圖塊中的每一CTU。該等CTU中之每一者可與圖像之相等大小的明度寫碼樹型區塊(CTB)及對應CTB相關聯。作為編碼CTU之部分，預測處理單元100可執行分割以將CTU之CTB分成逐漸較小的區塊。該等較小區塊可為CU之寫碼區塊。舉例而言，預測處理單元100可根據樹狀結構分割與CTU相關聯的CTB。
視訊編碼器20可編碼CTU之CU以產生CU之經編碼表示(亦即，經寫碼CU)。作為編碼CU之部分，預測處理單元100可分割與CU之一或多個PU中的CU相關聯之寫碼區塊。因此，每一PU可與明度預測區塊及對應的色度預測區塊相關聯。視訊編碼器20及視訊解碼器30可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測區塊的大小。假定特定CU之大小為2N×2N，則視訊編碼器20及視訊解碼器30可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的不對稱分割。
框間預測處理單元120可藉由對CU之各PU執行框間預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及用於PU之運動資訊。取決於PU係在I圖塊中、P圖塊中抑或B圖塊中，框間預測處理單元120可針對CU之PU執行不同操作。在I圖塊中，所有PU經框內預測。因此，若PU在I圖塊中，則框間預測處理單元120並不對PU執行框間預測。因此，對於在I模式中編碼之區塊，經預測之區塊係使用空間預測自相同圖框內的先前經編碼之相鄰區塊而形成。若PU在P圖塊中，則框間預測處理單元120可使用單向框間預測以產生PU之預測性區塊。若PU在B圖塊中，則框間預測處理單元120可使用單向或雙向框間預測以產生PU之預測性區塊。JEM/VVC亦提供仿射運動補償模式，其可被視為框間預測模式。
框內預測處理單元126可藉由對PU執行框內預測而產生用於PU之預測性資料。用於PU之預測性資料可包括PU之預測性區塊及各種語法元素。框內預測處理單元126可對I圖塊、P圖塊及B圖塊中之PU執行框內預測。
為對PU執行框內預測，框內預測處理單元126可使用多個框內預測模式來產生用於PU之預測性資料的多個集合。框內預測處理單元126可使用來自相鄰PU之樣本區塊的樣本以產生用於PU之預測性區塊。對於PU、CU及CTU，假定自左至右、自上而下之編碼次序，則該等相鄰PU可在PU上方、右上方、左上方或左側。框內預測處理單元126可使用各種數目之框內預測模式，例如，33個定向框內預測模式。在一些實例中，框內預測模式之數目可相依於與PU相關聯之區域的大小。
預測處理單元100可自由框間預測處理單元120所產生的用於PU之預測性資料中，或自由框內預測處理單元126所產生的用於PU之預測性資料中選擇用於CU之PU的預測性資料。在一些實例中，預測處理單元100基於數組預測性資料之速率/失真量度而選擇用於CU之PU的預測性資料。所選擇之預測性資料的預測性區塊在本文中可被稱作所選擇之預測性區塊。
預測處理單元100之多模型LIC 121可將明度樣本分類為群組，導出LIC參數，並使用LIC參數導出線性模型。預測處理單元100 (例如框間預測處理單元120)可使用藉由多模型LIC 121導出之線性模型產生預測區塊。
殘餘產生單元102可基於CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)及CU之PU的所選預測性區塊(例如，預測性明度、Cb及Cr區塊)產生CU之殘餘區塊(例如，明度、Cb及Cr殘餘區塊)。舉例而言，殘餘產生單元102可產生CU之殘餘區塊，以使得殘餘區塊中之每一樣本具有等於CU之寫碼區塊中的樣本與CU之PU之對應所選擇預測性樣本區塊中的對應樣本之間的差的值。
變換處理單元104可執行四分樹分割以將與CU相關聯之殘餘區塊分割成與CU之TU相關聯的變換區塊。因此，TU可與一明度變換區塊及兩個色度變換區塊相關聯。CU之TU的明度變換區塊及色度變換區塊的大小及位置可或可不基於CU之PU的預測區塊之大小及位置。被稱為「殘餘四分樹」(RQT)的四分樹結構可包括與區域中之每一者相關聯的節點。CU之TU可對應於RQT之葉節點。
變換處理單元104可藉由將一或多個變換應用於TU之變換區塊而產生CU之每一TU的變換係數區塊。變換處理單元104可將各種變換應用於與TU相關聯之變換區塊。舉例而言，變換處理單元104可將離散餘弦變換(DCT)、定向變換或概念上類似之變換應用於變換區塊。在一些實例中，變換處理單元104並不將變換應用於變換區塊。在此等實例中，變換區塊可經處理為變換係數區塊。
量化單元106可將係數區塊中之變換係數量化。量化過程可減少與該等變換係數中之一些或全部相關聯的位元深度。舉例而言，n 位元變換係數可在量化期間被捨入至m 位元變換係數，其中n 大於m 。量化單元106可基於與CU相關聯之量化參數(QP)值量化與CU之TU相關聯之係數區塊。視訊編碼器20可藉由調整與CU相關聯之QP值來調整應用於與CU相關聯之係數區塊的量化程度。量化可引入資訊的損失。因此，經量化變換係數可具有比最初變換係數低的精度。
反量化單元108及反變換處理單元110可分別將反量化及反變換應用於係數區塊，以自係數區塊重建構殘餘區塊。重建構單元112可將經重建構之殘餘區塊添加至來自由預測處理單元100產生之一或多個預測性區塊的對應樣本，以產生與TU相關聯的經重建構之變換區塊。藉由以此方式重建構CU之每一TU的變換區塊，視訊編碼器20可重建構CU之寫碼區塊。
濾波器單元114可執行一或多個解區塊操作以減小與CU相關聯之寫碼區塊中的區塊假影。經解碼圖像緩衝器116可在濾波器單元114對經重建構寫碼區塊執行一或多個解區塊操作之後，儲存經重建構寫碼區塊。框間預測處理單元120可使用含有經重建構寫碼區塊之參考圖像以對其他圖像之PU執行框間預測。另外，框內預測處理單元126可使用經解碼圖像緩衝器116中之經重建構寫碼區塊，以對處於與CU相同之圖像中的其他PU執行框內預測。
熵編碼單元118可自視訊編碼器20的其他功能組件接收資料。舉例而言，熵編碼單元118可自量化單元106接收係數區塊，並可自預測處理單元100接收語法元素。熵編碼單元118可對資料執行一或多個熵編碼操作以產生經熵編碼的資料。舉例而言，熵編碼單元118可對資料執行CABAC操作、上下文調適性可變長度寫碼(CAVLC)操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文調適性二進位算術寫碼(SBAC)操作、概率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼操作或另一類型之熵編碼操作。視訊編碼器20可輸出包括由熵編碼單元118所產生之經熵編碼資料的位元串流。舉例而言，位元串流可包括表示用於CU之變換係數之值的資料。
視訊編碼器20表示經組態以編碼視訊資料的一器件之實例，該器件包括經組態以儲存視訊資料之記憶體，及實施於電路中且經組態以執行以下操作的一或多個處理單元：將參考區塊之相鄰明度區塊的明度樣本及當前區塊之相鄰明度區塊的明度樣本分類為複數個群組；導出該複數個群組中之每一群組的一或多個局部照明補償參數以產生當前區塊之複數個局部照明補償參數；使用當前區塊之複數個局部照明補償參數導出參考區塊之相鄰明度區塊與當前區塊之相鄰明度區塊之間的複數個線性模型；及使用該複數個線性模型產生預測區塊。
圖12為說明經組態以實施本發明之技術的實例視訊解碼器30之方塊圖。出於解釋之目的而提供圖12，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明描述在HEVC寫碼及VVC之情形中之視訊解碼器30。然而，本發明之技術可適用於其他寫碼標準或方法。
在圖12之實例中，視訊解碼器30包括熵解碼單元150、視訊資料記憶體151、預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158、濾波器單元160，及經解碼圖像緩衝器162。預測處理單元152包括運動補償單元164及框內預測處理單元166。在其他實例中，視訊解碼器30可包括較多、較少或不同的功能組件。
視訊資料記憶體151可儲存待由視訊解碼器30之組件解碼的經編碼視訊資料，諸如經編碼視訊位元串流。儲存於視訊資料記憶體151中之視訊資料可(例如)經由視訊資料之有線或無線網路通信自電腦可讀媒體16(例如，自本端視訊源(諸如攝影機))或藉由存取實體資料儲存媒體獲得。視訊資料記憶體151可形成儲存來自經編碼視訊位元串流之經編碼視訊資料的經寫碼圖像緩衝器(CPB)。經解碼圖像緩衝器162可為儲存參考視訊資料以用於由視訊解碼器30例如在框內或框間寫碼模式中解碼視訊資料或以供輸出的參考圖像記憶體。視訊資料記憶體151及經解碼圖像緩衝器162可由多種記憶體器件中之任一者形成，諸如動態隨機存取記憶體(DRAM)，包括同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻式RAM(RRAM)或其他類型之記憶體器件。視訊資料記憶體151及經解碼圖像緩衝器162可藉由同一記憶體器件或單獨記憶體器件來提供。在各種實例中，視訊資料記憶體151可與視訊解碼器30之其他組件一起在晶片上，或相對於彼等組件在晶片外。視訊資料記憶體151可與圖1之儲存媒體28相同或為圖1之儲存媒體28的部分。
視訊資料記憶體151接收並儲存位元串流之經編碼視訊資料(例如，NAL單元)。熵解碼單元150可自視訊資料記憶體151接收經編碼視訊資料(例如，NAL單元)，且可剖析NAL單元以獲得語法元素。熵解碼單元150可對NAL單元中之經熵編碼語法元素進行熵解碼。預測處理單元152、反量化單元154、反變換處理單元156、重建構單元158及濾波器單元160可基於自位元串流提取的語法元素而產生經解碼視訊資料。熵解碼單元150可執行大體上互逆於熵編碼單元118之彼過程的過程。
除自位元串流獲得語法元素之外，視訊解碼器30可對未經分割之CU執行重建構操作。為對CU執行重建構操作，視訊解碼器30可對CU之每一TU執行重建構操作。藉由對CU之每一TU執行重建構操作，視訊解碼器30可重建構CU之殘餘區塊。
作為對CU之TU執行重建構操作之部分，反量化單元154可反量化(亦即，解量化)與TU相關聯之係數區塊。在反量化單元154反量化係數區塊之後，反轉變處理單元156可將一或多個反變換應用於係數區塊，以便產生與TU相關聯之殘餘區塊。舉例而言，反變換處理單元156可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。
反量化單元154可執行本發明之特定技術。舉例而言，對於視訊資料之圖像的CTU之CTB內的複數個量化群組之至少一個各別量化群組，反量化單元154可至少部分地基於在位元串流中發信的本地量化資訊導出用於各別量化群組之各別量化參數。另外，在此實例中，反量化單元154可基於用於各別量化群組之各別量化參數反量化CTU之CU的TU之變換區塊的至少一個變換係數。在此實例中，各別量化群組經定義為連續(在寫碼次序中)CU或寫碼區塊之群組，以使得各別量化群組之邊界必須為CU或寫碼區塊之邊界且各別量化群組之大小大於或等於臨限值。視訊解碼器30(例如反變換處理單元156、重建構單元158及濾波器單元160)可基於變換區塊之經反量化變換係數重構CU之寫碼區塊。
預測處理單元152之多模型LIC 165可將明度樣本分類為群組，導出LIC參數，並使用LIC參數導出線性模型。預測處理單元152 (例如運動補償單元164)可使用藉由多模型LIC 165導出之線性模型產生預測區塊。
若使用框內預測編碼PU，則框內預測處理單元166可執行框內預測以產生PU之預測性區塊。框內預測處理單元166可使用框內預測模式來基於樣本空間相鄰區塊產生PU之預測性區塊。框內預測處理單元166可基於自位元串流獲得的一或多個語法元素判定用於PU之框內預測模式。
若使用框間預測編碼PU，則熵解碼單元150可判定PU之運動資訊。運動補償單元164可基於PU之運動資訊而判定一或多個參考區塊。運動補償單元164可基於一或多個參考區塊產生PU之預測性區塊(例如，預測性明度、Cb及Cr區塊)。
重建構單元158可使用CU之TU之變換區塊(例如，明度、Cb及Cr變換區塊)及CU之PU之預測性區塊(例如，明度、Cb及Cr區塊)(亦即，可適用之框內預測資料或框間預測資料)來重建構CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)。舉例而言，重建構單元158可增加變換區塊(例如，明度、Cb及Cr變換區塊)之樣本至預測性區塊(例如，明度、Cb及Cr預測性區塊)之對應樣本來重建構CU之寫碼區塊(例如，明度、Cb及Cr寫碼區塊)。
濾波器單元160可執行解區塊操作以減少與CU之寫碼區塊相關聯的區塊假影。視訊解碼器30可將CU之寫碼區塊儲存於經解碼圖像緩衝器162中。經解碼圖像緩衝器162可提供參考圖像以用於後續運動補償、框內預測及在顯示器件(諸如，圖1之顯示器件32)上之呈現。舉例而言，視訊解碼器30可基於經解碼圖像緩衝器162中之區塊對其他CU之PU執行框內預測或框間預測操作。
以此方式，視訊解碼器30表示一視訊解碼器件之實例，該視訊解碼器件包括經組態以儲存視訊資料之記憶體及實施於電路中且經組態以執行以下操作的一或多個處理單元：將參考區塊之相鄰明度區塊的明度樣本及當前區塊之相鄰明度區塊的明度樣本分類為複數個群組；導出該複數個群組中之每一群組的一或多個局部照明補償參數以產生當前區塊之複數個局部照明補償參數；使用當前區塊之複數個局部照明補償參數導出參考區塊之相鄰明度區塊與當前區塊之相鄰明度區塊之間的複數個線性模型；及使用該複數個線性模型產生預測區塊。
圖13為說明用於運用多個線性模型使用局部照明補償解碼視訊資料之技術的流程圖。當前區塊可包括當前CU或當前CU之一部分。儘管關於視訊解碼器30進行描述，但應理解其他器件可經組態以執行類似於圖13之方法的方法。
在圖13之實例中，多模型LIC 165分類明度樣本(202)。舉例而言，多模型LIC 165將參考區塊之相鄰明度區塊及當前區塊之相鄰明度區塊的明度樣本分類為複數個群組。多模型LIC 165導出LIC參數(204)。舉例而言，多模型LIC 165導出複數個群組中之每一群組的一或多個局部照明補償參數以產生當前區塊之複數個局部照明補償參數。多模型LIC 165使用LIC參數導出線性模型(206)。舉例而言，多模型LIC 165使用當前區塊之複數個局部照明補償參數導出參考區塊之相鄰明度區塊與當前區塊之相鄰明度區塊之間的複數個線性模型。預測處理單元152使用線性模型產生預測區塊(208)。視訊解碼器30使用預測區塊解碼當前區塊(210)。
圖14為說明用於運用多個線性模型使用局部照明補償編碼視訊資料之技術的流程圖。當前區塊可包括當前CU或當前CU之一部分。儘管關於視訊編碼器20進行描述，但應理解其他器件可經組態以執行類似於圖14之方法的方法。
在圖14之實例中，多模型LIC 121分類明度樣本(252)。舉例而言，多模型LIC 121將參考區塊之相鄰明度區塊及當前區塊之相鄰明度區塊的明度樣本分類為複數個群組。多模型LIC 121導出LIC參數(254)。舉例而言，多模型LIC 121導出複數個群組中之每一群組的一或多個局部照明補償參數以產生當前區塊之複數個局部照明補償參數。多模型LIC 121使用LIC參數導出線性模型(256)。舉例而言，多模型LIC 121使用當前區塊之複數個局部照明補償參數導出參考區塊之相鄰明度區塊與當前區塊之相鄰明度區塊之間的複數個線性模型。預測處理單元100使用線性模型產生預測區塊(258)。視訊編碼器20使用預測區塊編碼當前區塊(260)。
為了說明之目的，本發明之某些態樣已經關於HEVC標準之延伸而描述。然而，本發明中所描述之技術可用於其他視訊寫碼過程，包括尚未開發之其他標準或專有視訊寫碼過程。
如本發明中所描述，視訊寫碼器可指視訊編碼器或視訊解碼器。類似地，視訊寫碼單元可指視訊編碼器或視訊解碼器。同樣地，如適用，視訊寫碼可指視訊編碼或視訊解碼。在本發明中，片語「基於」可指示僅僅基於、至少部分地基於，或以某一方式基於。本發明可使用術語「視訊單元」或「視訊區塊」或「區塊」以指代一或多個樣本區塊及用以寫碼樣本之一或多個區塊之樣本的語法結構。視訊單元之實例類型可包括CTU、CU、PU、變換單元(TU)、巨集區塊、巨集區塊分區等等。在一些情形中，PU之論述可與巨集區塊或巨集區塊分區之論述互換。視訊區塊之實例類型可包括寫碼樹型區塊、寫碼區塊及其他類型之視訊資料區塊。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列被執行、可被添加、合併或完全省去(例如，並非所有所描述動作或事件為實踐該等技術所必要)。此外，在某些實例中，可例如經由多執行緒處理、中斷處理或多個處理器同時而非順序執行動作或事件。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或碼而在一電腦可讀媒體上儲存或傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體(其包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體)。以此方式，電腦可讀媒體通常可對應於(1)非暫時性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。此外，任何連接被恰當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術，自網站、伺服器或其他遠端源來傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而實情為係關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及Blu-ray光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
指令可由固定功能及/或可程式化處理電路包括(一或多個處理器)執行，諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指上述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文所描述之功能可經提供於經組態以供編碼及解碼或併入於經組合編解碼器中之專用硬體及/或軟體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於多種器件或裝置中，包括無線手機、積體電路(IC)或IC集合(例如晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切地說，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合合適軟體及/或韌體一起來提供該等單元。
各種實例已予以描述。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧實例視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
19‧‧‧儲存媒體
20‧‧‧視訊編碼器
24‧‧‧輸出介面
26‧‧‧輸入介面
28‧‧‧儲存媒體
29‧‧‧實例四分樹二進位樹(QTBT)結構
30‧‧‧視訊解碼器
31‧‧‧對應寫碼樹型單元(CTU)
32‧‧‧顯示器件
100‧‧‧預測處理單元
101‧‧‧視訊資料記憶體
102‧‧‧殘餘產生單元
104‧‧‧變換處理單元
106‧‧‧量化單元
108‧‧‧反量化單元
110‧‧‧反變換處理單元
112‧‧‧重建構單元
114‧‧‧濾波器單元
116‧‧‧經解碼圖像緩衝器
118‧‧‧熵編碼單元
120‧‧‧框間預測處理單元
121‧‧‧多模型局部照明補償(LIC)
126‧‧‧框內預測處理單元
150‧‧‧熵解碼單元
151‧‧‧視訊資料記憶體
152‧‧‧預測處理單元
154‧‧‧反量化單元
156‧‧‧反變換處理單元
158‧‧‧重建構單元
160‧‧‧濾波器單元
162‧‧‧經解碼圖像緩衝器
164‧‧‧運動補償單元
165‧‧‧多模型局部照明補償(LIC)
166‧‧‧框內預測處理單元
202‧‧‧步驟
204‧‧‧步驟
206‧‧‧步驟
208‧‧‧步驟
210‧‧‧步驟
252‧‧‧步驟
254‧‧‧步驟
256‧‧‧步驟
258‧‧‧步驟
260‧‧‧步驟
圖1為說明可利用本發明中所描述之一或多個技術的一實例視訊編碼及解碼系統的方塊圖。
圖2A及圖2B為說明對於合併模式及AMVP模式視訊寫碼兩者使用相鄰區塊之空間MV候選者導出的方塊圖。
圖3A及圖3B為說明對於合併模式及AMVP模式視訊寫碼兩者之時間MV預測因子(TMVP)候選者導出及MV按比例調整的方塊圖。
圖4A及圖4B為說明實例四分樹二進位樹(QTBT)結構及對應寫碼樹型單元(CTU)之概念圖。
圖5A為說明根據照明補償(IC)模型使用當前寫碼單元(CU)之相鄰像素以估計參數的方塊圖。
圖5B為說明根據IC模型使用參考區塊之相鄰像素以估計參數的方塊圖。
圖6A為說明用於導出用於某些類型照明補償之參數的相鄰樣本之第一實例的方塊圖。
圖6B為說明用於導出用於某些類型照明補償之參數的相鄰樣本之第二實例的方塊圖。
圖7為將相鄰樣本分類為兩個群組之實例的圖形說明。
圖8為將相鄰樣本分類為三個群組之實例的圖形說明。
圖9A及圖9B為將相鄰樣本分類為兩個非連續群組之實例的圖形說明。
圖10為將相鄰樣本分類為三個非連續群組之實例的圖形說明。
圖11為可實施本發明中所描述之一或多個技術的一實例視訊編碼器的方塊圖。
圖12為說明可實施本發明中所描述之一或多個技術的一實例視訊解碼器的方塊圖。
圖13為說明用於運用多個線性模型使用局部照明補償解碼視訊資料之技術的流程圖。
圖14為說明用於運用多個線性模型使用局部照明補償編碼視訊資料之技術的流程圖。

Claims (30)

  1. 一種處理視訊資料之方法，該方法包含： 藉由處理電路將一參考區塊之一相鄰明度區塊的明度樣本及一當前區塊之一相鄰明度區塊的明度樣本分類為複數個群組； 藉由該處理電路導出該複數個群組中之每一群組的一或多個局部照明補償參數以產生該當前區塊之複數個局部照明補償參數； 藉由該處理電路使用該當前區塊之該複數個局部照明補償參數導出該參考區塊之該相鄰明度區塊與該當前區塊之該相鄰明度區塊之間的複數個線性模型；及 藉由該處理電路使用該複數個線性模型產生一預測區塊。
  2. 如請求項1之方法，其中導出該一或多個局部照明補償參數包含導出用於該複數個群組中之一各別群組的a及/或b， 其中， 其中， 其中Recneig 表示該當前區塊之該相鄰明度區塊的該等明度樣本，其中Recrefneig 表示該參考區塊之該相鄰明度區塊的該等明度樣本，且其中N表示Recneig 及Recrefneig 中之一像素數目。
  3. 如請求項1之方法，其中分類包含： 限制在該複數個群組中之一群組中的該參考區塊之該相鄰明度區塊的明度樣本及該當前區塊之該相鄰明度區塊的明度樣本，使得該群組中之樣本的一數目滿足樣本之一特定數目。
  4. 如請求項1之方法，其中分類包含： 使用明度樣本之強度中之一或多者或使用該等明度樣本之位置分類明度樣本。
  5. 如請求項1之方法，其中導出該複數個線性模型包含： 將該複數個群組中之每一群組的線性關係導出為連續分段。
  6. 如請求項1之方法，其中導出該複數個線性模型包含： 將該複數個群組中之每一群組的線性關係導出為非連續分段。
  7. 如請求項1之方法，其中導出該複數個線性模型包含： 使用在該參考區塊上方配置多於一個列的該參考區塊之該相鄰明度區塊的一明度樣本、在該參考區塊左側配置多於一個行的該參考區塊之該相鄰明度區塊的一明度樣本、在該當前區塊上方配置多於一個列的該當前區塊之該相鄰明度區塊的一明度樣本或在該當前區塊左側配置多於一個行的該參考區塊之該當前明度區塊的一明度樣本中之一或多者導出該複數個線性模型。
  8. 如請求項1之方法，其中產生該預測區塊包含： 對於該當前區塊之一子區塊執行局部照明補償。
  9. 如請求項1之方法，其進一步包含： 藉由該處理電路使用該預測區塊執行雙向預測。
  10. 如請求項1之方法，其進一步包含： 藉由該處理電路發信用於局部照明補償之一或多個參數，其中導出每一群組之該一或多個局部照明補償參數係基於用於局部照明補償之該一或多個參數。
  11. 如請求項1之方法，其進一步包含： 藉由該處理電路將不同子取樣比應用於該參考區塊之該相鄰明度區塊的該等明度樣本及該當前區塊之該相鄰明度區塊的該等明度樣本。
  12. 如請求項1之方法，其中導出該複數個線性模型包含： 將局部照明補償應用於僅僅一個或兩個指定分量。
  13. 如請求項1之方法，其中導出該複數個線性模型包含： 將局部照明補償應用於全部分量。
  14. 如請求項1之方法，其進一步包含： 藉由該處理電路使用該預測區塊解碼該當前區塊。
  15. 如請求項1之方法，其進一步包含： 藉由該處理電路使用該預測區塊編碼該當前區塊。
  16. 一種用於處理視訊資料之裝置，其包含： 一或多個儲存媒體，其經組態以儲存視訊資料；及 一或多個處理器，其經組態以執行以下操作： 將一參考區塊之一相鄰明度區塊的明度樣本及一當前區塊之一相鄰明度區塊的明度樣本分類為複數個群組； 導出該複數個群組中之每一群組的一或多個局部照明補償參數以產生該當前區塊之複數個局部照明補償參數； 使用該當前區塊之該複數個局部照明補償參數導出該參考區塊之該相鄰明度區塊與該當前區塊之該相鄰明度區塊之間的複數個線性模型；及 使用該複數個線性模型產生一預測區塊。
  17. 如請求項16之裝置，其中，為導出該一或多個局部照明補償參數，該一或多個處理器經組態以導出用於該複數個群組中之一各別群組的a及/或b， 其中， 其中， 其中Recneig 表示該當前區塊之該相鄰明度區塊的該等明度樣本，其中Recrefneig 表示該參考區塊之該相鄰明度區塊的該等明度樣本，且其中N表示Recneig 及Recrefneig 中之一像素數目。
  18. 如請求項16之裝置，其中，為分類，該一或多個處理器經組態以限制在該複數個群組中之一群組中的該參考區塊之該相鄰明度區塊的明度樣本及該當前區塊之該相鄰明度區塊的明度樣本，使得該群組中之樣本的一數目滿足樣本之一特定數目。
  19. 如請求項16之裝置，其中，為分類，該一或多個處理器經組態以使用明度樣本之強度中之一或多者或使用該等明度樣本之位置分類該等明度樣本。
  20. 如請求項16之裝置，其中，為導出該複數個線性模型，該一或多個處理器經組態以將該複數個群組中之每一群組的線性關係導出為連續分段。
  21. 如請求項16之裝置，其中，為導出該複數個線性模型，該一或多個處理器經組態以將該複數個群組中之每一群組的線性關係導出為非連續分段。
  22. 如請求項16之裝置，其中，為導出該複數個線性模型，該一或多個處理器經組態以使用在該參考區塊上方配置多於一個列的該參考區塊之該相鄰明度區塊的一明度樣本、在該參考區塊左側配置多於一個行的該參考區塊之該相鄰明度區塊的一明度樣本、在該當前區塊上方配置多於一個列的該當前區塊之該相鄰明度區塊的一明度樣本或在該當前區塊左側配置多於一個行的該參考區塊之該當前明度區塊的一明度樣本中之一或多者導出該複數個線性模型。
  23. 如請求項16之裝置，其中，為產生該預測區塊，該一或多個處理器經組態以對於該當前區塊之一子區塊執行局部照明補償。
  24. 如請求項16之裝置，其中該一或多個處理器經組態以使用該預測區塊執行雙向預測。
  25. 如請求項16之裝置，其中該一或多個處理器經組態以發信用於局部照明補償之一或多個參數，其中導出每一群組之該一或多個局部照明補償參數係基於用於局部照明補償之該一或多個參數。
  26. 如請求項16之裝置，其中該一或多個處理器經組態以將不同子取樣比應用於該參考區塊之該相鄰明度區塊的該等明度樣本及該當前區塊之該相鄰明度區塊的該等明度樣本。
  27. 如請求項16之裝置，其中該裝置包含一無線通信器件，其進一步包含經組態以接收經編碼視訊資料之一接收器。
  28. 如請求項27之裝置，其中該無線通信器件包含一電話手機，且其中該接收器經組態以根據一無線通信標準來解調變包含該經編碼視訊資料之一信號。
  29. 一種裝置，其包含： 用於將一參考區塊之一相鄰明度區塊的明度樣本及一當前區塊之一相鄰明度區塊的明度樣本分類為複數個群組的構件； 用於導出該複數個群組中之每一群組的一或多個局部照明補償參數以產生該當前區塊之複數個局部照明補償參數的構件； 用於使用該當前區塊之該複數個局部照明補償參數導出該參考區塊之該相鄰明度區塊與該當前區塊之該相鄰明度區塊之間的複數個線性模型的構件；及 用於使用該複數個線性模型產生一預測區塊的構件。
  30. 一種儲存指令之電腦可讀儲存媒體，該等指令在執行時使得一或多個處理器執行以下操作： 將一參考區塊之一相鄰明度區塊的明度樣本及一當前區塊之一相鄰明度區塊的明度樣本分類為複數個群組； 導出該複數個群組中之每一群組的一或多個局部照明補償參數以產生該當前區塊之複數個局部照明補償參數； 使用該當前區塊之該複數個局部照明補償參數導出該參考區塊之該相鄰明度區塊與該當前區塊之該相鄰明度區塊之間的複數個線性模型；及 使用該複數個線性模型產生一預測區塊。
TW108100428A 2018-01-08 2019-01-04 多模型局部照明補償 TW201933873A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862614799P 2018-01-08 2018-01-08
US62/614,799 2018-01-08
US16/238,815 2019-01-03
US16/238,815 US11082708B2 (en) 2018-01-08 2019-01-03 Multiple-model local illumination compensation

Publications (1)

Publication Number Publication Date
TW201933873A true TW201933873A (zh) 2019-08-16

Family

ID=67139982

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108100428A TW201933873A (zh) 2018-01-08 2019-01-04 多模型局部照明補償

Country Status (5)

Country Link
US (1) US11082708B2 (zh)
EP (1) EP3738314A1 (zh)
CN (1) CN111557095B (zh)
TW (1) TW201933873A (zh)
WO (1) WO2019136220A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3780598A4 (en) * 2018-03-29 2022-01-26 Nippon Hoso Kyokai PICTURE CODING DEVICE, PICTURE DECODING DEVICE, AND PROGRAM
US10834409B2 (en) * 2018-04-06 2020-11-10 Arris Enterprises Llc System and method of implementing multiple prediction models for local illumination compensation
KR20210058938A (ko) * 2018-09-19 2021-05-24 인터디지털 브이씨 홀딩스 인코포레이티드 픽처 인코딩 및 디코딩을 위한 방법 및 디바이스
WO2020084508A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonization between local illumination compensation and inter prediction coding
WO2020084507A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Harmonized local illumination compensation and modified inter prediction coding
EP3868098B1 (en) * 2019-01-18 2024-07-10 Huawei Technologies Co., Ltd. Method and apparatus of local illumination compensation for predictive coding
WO2020182207A1 (en) * 2019-03-13 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Partitions on sub-block transform mode
CN116248891A (zh) * 2019-03-14 2023-06-09 华为技术有限公司 帧间预测的方法及相关装置
JP2022537222A (ja) * 2019-06-21 2022-08-24 インターデジタル ヴイシー ホールディングス フランス，エスエーエス 局所照明補正フラグインヘリタンス
US11272200B2 (en) * 2019-06-24 2022-03-08 Tencent America LLC Method and apparatus for video coding
CN110446044B (zh) * 2019-08-21 2022-08-09 浙江大华技术股份有限公司 线性模型预测方法、装置、编码器及存储装置
CN114424535A (zh) * 2019-09-23 2022-04-29 交互数字Vc控股法国有限公司 使用外部参考对视频编码和解码进行预测
CN111031319B (zh) * 2019-12-13 2022-04-19 浙江大华技术股份有限公司 一种局部光照补偿预测方法、终端设备及计算机存储介质
CN118592029A (zh) * 2022-01-25 2024-09-03 北京达佳互联信息技术有限公司 用于帧间预测的改进的局部照明补偿
WO2023205185A1 (en) * 2022-04-18 2023-10-26 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for candidate derivation for affine merge mode in video coding
WO2024133624A1 (en) * 2022-12-22 2024-06-27 Interdigital Ce Patent Holdings, Sas Local illumination compensation with extended models

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI1008226A2 (pt) * 2009-02-12 2019-09-24 Nippon Telegraph & Telephone método de codificação de imagem como múltiplas vistas, método de decodificação de imagem com múltiplas vistas, dispositivo de codificação de imagem com múltiplas vistas,dispositivo de codificação de imagem com múltiplas vistas,programa de codificação de imagem como múltiplas vistas, programa de codificação de imagem como múltiplas vistas.
KR20130085088A (ko) * 2012-01-19 2013-07-29 한국전자통신연구원 스케일러블 비디오 코딩에서의 고속 모드 결정 방법 및 그 장치
RU2510944C2 (ru) 2012-07-03 2014-04-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видео последовательности на основе адаптивной локальной коррекции яркости опорных кадров без передачи дополнительных параметров (варианты)
US10887597B2 (en) * 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
EP3550842A4 (en) * 2016-12-30 2020-06-10 Huawei Technologies Co., Ltd. IMAGE FILTERING METHOD, APPARATUS AND DEVICE
WO2018170801A1 (zh) * 2017-03-22 2018-09-27 华为技术有限公司 图像滤波方法及装置
CN118301335A (zh) * 2017-11-16 2024-07-05 英迪股份有限公司 图像编码/解码方法以及存储比特流的记录介质

Also Published As

Publication number Publication date
CN111557095B (zh) 2022-07-15
CN111557095A (zh) 2020-08-18
US20190215522A1 (en) 2019-07-11
EP3738314A1 (en) 2020-11-18
US11082708B2 (en) 2021-08-03
WO2019136220A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
CN111557095B (zh) 用于处理视频数据的方法、设备和计算机可读存储媒体
TWI696384B (zh) 在視頻寫碼中用於仿射運動模型之運動向量預測
CN110024403B (zh) 一种编解码视频数据的方法、装置和计算机可读存储媒体
US10477238B2 (en) Sub-PU based bi-directional motion compensation in video coding
TWI843809B (zh) 用於視訊寫碼中具有運動向量差之合併模式之信令傳輸
US11425387B2 (en) Simplified local illumination compensation
US10097839B2 (en) Palette mode for subsampling format
TW202025752A (zh) 用於仿射模式之以歷史為基礎之運動向量預測
TW201924350A (zh) 視訊寫碼中之仿射運動向量預測
TW201924343A (zh) 視訊寫碼中之仿射預測
CN112806012A (zh) 用于帧间预测译码的基于历史的运动向量预测
US20220182614A1 (en) Method and apparatus for processing video signal
TW201933874A (zh) 使用局部照明補償之視訊寫碼
TW201838415A (zh) 在視訊寫碼中判定用於雙邊濾波之鄰近樣本
TW201924345A (zh) 寫碼用於視頻寫碼之仿射預測移動資訊
TW201743619A (zh) 在視訊寫碼中適應性迴路濾波中之多個濾波器之混淆
TW201701671A (zh) 運動向量之儲存及發信解析度
TW201711463A (zh) 判定用於視訊寫碼之照明補償狀態之系統及方法
CN111602395B (zh) 用于视频译码的量化组
TW202025767A (zh) 具有適應性方向性資訊集合之最終動作向量表示
TW202021354A (zh) 運動向量預測器清單產生
TW201340724A (zh) 視訊寫碼中之像差向量預測
TW202034694A (zh) 用於視訊寫碼中之區塊內複製模式之運動向量預測器清單產生
JP7379391B2 (ja) シグナリングサブ予測ユニット動きベクトル予測子
TW202114426A (zh) 視訊編碼中的ｂｄｏｆ和ｄｍｖｒ的協調提前終止