TW201941605A - 用於視訊寫碼之區塊內複製 - Google Patents

用於視訊寫碼之區塊內複製 Download PDF

Info

Publication number
TW201941605A
TW201941605A TW108104498A TW108104498A TW201941605A TW 201941605 A TW201941605 A TW 201941605A TW 108104498 A TW108104498 A TW 108104498A TW 108104498 A TW108104498 A TW 108104498A TW 201941605 A TW201941605 A TW 201941605A
Authority
TW
Taiwan
Prior art keywords
block
blocks
color component
image
video
Prior art date
Application number
TW108104498A
Other languages
English (en)
Inventor
張理
張凱
錢威俊
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201941605A publication Critical patent/TW201941605A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明描述一視訊寫碼器(例如視訊編碼器或視訊解碼器)可用於判定用於一色度區塊之一區塊向量之實例技術，其中用於色度分量及明度分量之分割樹係不同(例如解耦分割樹)。

Description

用於視訊寫碼之區塊內複製
本發明係關於視訊編碼及視訊解碼。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電話(所謂的「智慧型電話」)、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分進階視訊寫碼(AVC)所定義之標準、高效率視訊寫碼(HEVC)標準、ITU-T H.265/高效率視訊寫碼(HEVC)及此等標準之擴展中描述的彼等視訊寫碼技術。視訊器件可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除為視訊序列所固有的冗餘。對於基於區塊之視訊寫碼，視訊圖塊(例如視訊圖像或視訊圖像之一部分)可分割成視訊區塊，視訊區塊亦可被稱作寫碼樹單元(CTU)、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)圖塊中之視訊區塊係使用關於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)圖塊中之視訊區塊可使用關於同一圖像中之相鄰區塊中的參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
大體而言，本發明描述用於區塊內複製(IBC)寫碼之技術。實例技術可應用於諸如高效率視訊寫碼(HEVC)之現存視訊編碼解碼器，或可為用於未來視訊寫碼標準之高效視訊寫碼工具。實例技術可關於利用具有各種運動相關工具之IBC，以及使用解耦分割樹中之IBC。
舉例而言，在IBC中，區塊係經指向與經寫碼之區塊相同的圖像中之參考區塊之區塊向量寫碼(例如經編碼或經解碼)。在明度分量與色度分量以相同方式分割(例如存在分割樹之耦合)的情況下，明度區塊及對應色度區塊可使用區塊向量以及按比例調整用於色度區塊之潛在區塊向量。然而，在色度分量與明度分量以不同方式分割(例如存在分割樹之解耦)之情況下，由於色度區塊以與明度區塊不同的方式成形引起色度區塊與明度區塊之間的較差對應性，因此視訊寫碼可能存在技術問題。
本發明描述視訊寫碼器(例如視訊編碼器或視訊解碼器)可用於判定用於色度區塊之區塊向量之實例技術，其中用於色度分量與明度分量之分割樹係不同(例如解耦分割樹)。舉例而言，視訊寫碼器可基於用於分割明度分量之分割樹而將色度區塊進一步分割成複數個子區塊。在此實例中，色度區塊之子區塊中之每一者與複數個明度區塊中之一明度區塊之間可能存在一對一對應性。
視訊寫碼器可基於在IBC模式中經預測之複數個明度區塊中之一或多者的區塊向量而判定用於色度區塊之子區塊中之一或多者的區塊向量。以此方式，雖然存在解耦明度分量與色度分量之間的分割樹，但實例技術允許色度區塊可自明度區塊繼承區塊向量之方式。藉由允許由色度區塊繼承明度區塊之區塊向量，實例技術可減小若用於色度區塊之區塊向量需要明確傳信時之傳信帶寬。
在一個實例中，本發明描述一種寫碼視訊資料之方法，該方法包含：判定對應於一第二色彩分量之一區塊的一第一色彩分量之複數個區塊，其中該第一色彩分量之複數個區塊藉由根據一第一分割樹分割該第一色彩分量之樣本而產生，且該第二色彩分量之該區塊藉由根據一第二分割樹分割該第二色彩分量之樣本而產生；基於該第一分割樹分割該第二色彩分量之該區塊以產生各自對應於該第一色彩分量之該複數個區塊中之一區塊的該第二色彩分量之子區塊；基於該第一色彩分量之複數個區塊中之一或多個對應區塊的一或多個區塊向量而判定用於在區塊內複製(IBC)預測模式中經預測的該第二色彩分量之該等子區塊中之一或多者的一或多個區塊向量；以及基於該一或多個經判定區塊向量寫碼該第二色彩分量之該區塊。
在一個實例中，本發明描述一種用於寫碼視訊資料之器件，該器件包含：一記憶體，其經組態以儲存該視訊資料之一第一色彩分量之樣本及一第二色彩分量之樣本；及視訊寫碼器，其包含可程式化及固定功能電路中之至少一者。該視訊寫碼器經組態以：判定對應於一第二色彩分量之一區塊的一第一色彩分量之複數個區塊，其中該第一色彩分量之複數個區塊藉由根據一第一分割樹分割該第一色彩分量之樣本而產生，且該第二色彩分量之該區塊藉由根據一第二分割樹分割該第二色彩分量之樣本而產生；基於該第一分割樹分割該第二色彩分量之該區塊以產生各自對應於該第一色彩分量之複數個區塊中之一區塊的該第二色彩分量之子區塊；基於該第一色彩分量之複數個區塊之一或多個對應區塊的一或多個區塊向量而判定用於在區塊內複製(IBC)預測模式中經預測的該第二色彩分量之子區塊中之一或多者的一或多個區塊向量；以及基於該一或多個經判定區塊向量寫碼該第二色彩分量之該區塊。
在一個實例中，本發明描述一種儲存指令之電腦可讀儲存媒體，該等指令在經執行時使得一或多個處理器進行以下操作：判定對應於一第二色彩分量之一區塊的一第一色彩分量之複數個區塊，其中該第一色彩分量之該複數個區塊藉由根據一第一分割樹分割該第一色彩分量之樣本而產生，且該第二色彩分量之該區塊藉由根據一第二分割樹分割該第二色彩分量之樣本而產生；基於該第一分割樹分割該第二色彩分量之該區塊以產生各自對應於該第一色彩分量之該複數個區塊中之一區塊的該第二色彩分量之子區塊；基於該第一色彩分量之該複數個區塊之一或多個對應區塊的一或多個區塊向量而判定用於在區塊內複製(IBC)預測模式中經預測的該第二色彩分量之該等子區塊中之一或多者的一或多個區塊向量；以及基於該一或多個經判定區塊向量寫碼該第二色彩分量之該區塊。
在一個實例中，本發明描述一種用於寫碼視訊資料之器件，該器件包含：用於判定對應於一第二色彩分量之 一區塊的一第一色彩分量之複數個區塊之構件，其中該第一色彩分量之該複數個區塊藉由根據一第一分割樹分割該第一色彩分量之樣本而產生，且該第二色彩分量之該區塊藉由根據一第二分割樹分割該第二色彩分量之樣本而產生；用於基於該第一分割樹分割該第二色彩分量之該區塊以產生各自對應於該第一色彩分量之該複數個區塊中之一區塊的該第二色彩分量之子區塊的構件；用於基於該第一色彩分量之該複數個區塊之一或多個對應區塊的一或多個區塊向量判定用於在區塊內複製(IBC)預測模式中經預測的該第二色彩分量之該等子區塊中之一或多者的一或多個區塊向量之構件；及用於基於該一或多個經判定區塊向量寫碼該第二色彩分量之該區塊之構件。
在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優勢自描述、圖式及申請專利範圍將係顯而易見的。
本申請案主張2018年2月8日申請的美國臨時申請案第62/628,101號之權益，其全部內容以引用之方式併入。
視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264 (亦稱作ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。
高效率視訊寫碼(HEVC)視訊寫碼標準已由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC運動圖像專家組(MPEG)之視訊寫碼聯合合作小組(JCT-VC)開發。最新HEVC標準：ITU-T H.265，H系列：視聽及多媒體系統、視聽服務-移動視訊之寫碼之信息基礎設施、用於通用視聽服務之進階視訊編碼(國際電信聯盟(The International Telecommunication Union) 2016年12月)且下文中被稱為HEVC WD獲自http://phenix.int-evry.fr/jct/doc_end_user/documents/23_San%20Diego/wg11/JCTVC- W1005-v4.zip。
ITU-T VCEG (Q6/16)及ISO/IEC MPEG (JTC 1/SC 29/WG 11)現正研究對於將具有顯著超過當前HEVC標準(包括其當前擴展及針對螢幕內容寫碼及高動態範圍寫碼的近期擴展)之壓縮能力的未來視訊寫碼技術標準化的潛在需要。該等群組正共同致力於聯合合作工作(被稱為聯合視訊探索小組(JVET))中之此探索活動，以評估由此領域中之專家提出的壓縮技術設計。JVET在2015年10月19日至21日期間第一次會面。參考軟體之最新版本(亦即，聯合探索模型7 (JEM 7))可自https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-7.0/下載。聯合探索測試模型7 (JEM7)之算法描述被稱為JVET-G1001。
基於JEM7之新的視訊寫碼標準之早期草案(被稱為H.266/多功能視訊寫碼(VVC)標準)係在文件JVET-J1001，Benjamin Bross之「Versatile Video Coding (Draft 1)」中獲得，且其演算法描述係在文件JVET-J1002，Jianle Chen及Elena Alshina之「Algorithm description for Versatile Video Coding and Test Model 1 (VTM 1)」中獲得。然而，本發明之技術不限於任何特定寫碼標準。
VVC提供與用作HEVC之螢幕內容寫碼(SCC)之部分之IBC預測模式類似但不相同的區塊內複製(IBC)預測模式。在區塊內複製(IBC)中，用於IBC模式中經寫碼(例如經編碼或經解碼)區塊之區塊向量指向同一圖像中之參考區塊作為經寫碼區塊。存在不同類型之區塊。舉例而言，視訊資料之圖像包括明度分量及色度分量。明度分量經分割以形成複數個明度區塊，且色度分量經分割以形成複數個色度區塊。
在VVC中，明度分量及色度分量可以不同方式分割。舉例而言，明度分量可根據第一分割樹分割，且色度分量可根據第二分割樹分割。在一些實例中，為減小寫碼色度區塊所需之資訊量，在IBC預測模式中經預測之色度區塊可能繼承對應明度區塊之區塊向量資訊而非視訊編碼器明確傳信區塊向量資訊用於色度區塊。作為一個實例，若明度區塊及色度區塊為同一寫碼單元(CU)之部分，則明度區塊對應於色度區塊且反之亦然。
然而，若明度區塊及色度區塊以不同方式分割，則隨後對於色度區塊而言，可能存在以與將為對應區塊之色度區塊不同的方式分割之複數個不同明度區塊。由於明度區塊及色度區塊之不同分割且存在對應於色度區塊之複數個明度區塊，因此可能不清楚色度區塊應自哪一明度區塊繼承區塊向量。
根據本發明中所描述之技術，視訊寫碼器(例如視訊編碼器或視訊解碼器)可經組態以基於明度分量經分割之方式而將色度區塊分割成色度區塊之複數個子區塊。以此方式，色度區塊及複數個明度區塊之每一子區塊之間存在一對一對應性。視訊寫碼器可經組態以將在IBC預測模式中經寫碼之明度區塊之區塊向量分配至色度區塊之各別對應子區塊。
圖1為說明可執行本發明之技術的實例視訊編碼及解碼系統100的方塊圖。本發明之技術大體上係針對寫碼(編碼及/或解碼)視訊資料。大體而言，視訊資料包括用於處理視訊之任何資料。因此，視訊資料可包括原始未經寫碼的視訊、經編碼視訊、經解碼(例如經重建構)視訊及視訊後設資料，諸如傳信之資料。
如圖1中所示，在此實例中，系統100包括源器件102，其提供待由目的地器件116解碼及顯示之經編碼視訊資料。特定言之，源器件102經由電腦可讀媒體110將視訊資料提供至目的地器件116。源器件102及目的地器件116可包含廣泛範圍器件中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手持機(諸如智慧型電話)、電視、攝影機、顯示器件、數字媒體播放器、視訊遊戲主控台、視訊串流器件或其類似者。在一些情況下，源器件102及目的地器件116可經裝備用於無線通信，且由此可稱為無線通信器件。
在圖1之實例中，源器件102包括視訊源104、記憶體106、視訊編碼器200及輸出介面108。目的地器件116包括輸入介面122、視訊解碼器300、記憶體120及顯示器件118。根據本發明，源器件102之視訊編碼器200及目的地器件116之視訊解碼器300可經組態以應用區塊內複製技術。由此，源器件102表示視訊編碼器件之實例，而目的地器件116表示視訊解碼器件之實例。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件102可自外部視訊源(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件116可與外部顯示器件介接，而非包括整合式顯示器件。
如圖1中所示之系統100僅為一個實例。大體而言，任何數位視訊編碼及/或解碼器件可執行區塊內複製(IBC)技術。源器件102及目的地器件116僅為源器件102產生經寫碼視訊資料以供傳輸至目的地器件116之此類寫碼器件的實例。本發明將「寫碼」器件稱為對資料執行寫碼(編碼及/或解碼)之器件。由此，視訊編碼器200及視訊解碼器300表示寫碼器件之實例，特定言之，分別表示視訊編碼器及視訊解碼器之實例。在一些實例中，器件102、116可以實質上對稱的方式操作，使得器件102、116中之每一者包括視訊編碼及解碼組件。因此，系統100可支援視訊器件102、116之間的單向或雙向視訊傳輸，例如以用於視訊串流、視訊播放、視訊廣播或視訊電話。
大體而言，視訊源104表示視訊資料源(亦即，原始未經寫碼的視訊資料)且將視訊資料之依序圖像(亦稱為「圖框」)序列提供至視訊編碼器200，該視訊編碼器編碼圖像之資料。源器件102之視訊源104可包括視訊俘獲器件，諸如，視訊攝影機、含有先前俘獲之原始視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋入介面。作為另一替代，視訊源104可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在每一情況下，視訊編碼器200對所俘獲、預先俘獲或電腦產生之視訊資料進行編碼。視訊編碼器200可將接收次序(有時稱作「顯示次序」)之圖像重新排列成寫碼次序以供寫碼。視訊編碼器200可產生包括經編碼視訊資料之位元串流。源器件102可經由輸出介面108將經編碼視訊資料輸出至電腦可讀媒體110上以由例如目的地器件116之輸入介面122接收及/或檢索。
源器件102之記憶體106及目的地器件116之記憶體120表示通用記憶體。在一些實例中，記憶體106、120可儲存原始視訊資料，例如來自視訊源104之原始視訊及來自視訊解碼器300之原始經解碼視訊資料。另外或替代地，記憶體106、120可儲存可分別由例如視訊編碼器200及視訊解碼器300執行之軟體指令。儘管在此實例中展示為與視訊編碼器200及視訊解碼器300分開，但應理解，視訊編碼器200及視訊解碼器300亦可包括功能上類似或同等目的之內部記憶體。另外，記憶體106、120可儲存例如自視訊編碼器200輸出之經編碼視訊資料且輸入至視訊解碼器300。在一些實例中，可分配記憶體106、120之部分作為一或多個視訊緩衝器，以例如儲存原始、經解碼及/或經編碼視訊資料。
電腦可讀媒體110可表示能夠將經編碼視訊資料自源器件102傳送至目的地器件116的任何類型之媒體或器件。在一個實例中，電腦可讀媒體110表示通信媒體以啟用源器件102以經由例如射頻網路或基於電腦之網路即時地將經編碼視訊資料直接地傳輸至目的地器件116。根據諸如無線通信協定之通信標準，輸出介面108可調變包括經編碼視訊資料之傳輸信號，且輸入介面122可調變所接收之傳輸信號。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件102至目的地器件116之通信的任何其他設備。
在一些實例中，源器件102可將經編碼資料自輸出介面108輸出至儲存器件116。類似地，目的地器件116可經由輸入介面122自儲存器件116存取經編碼資料。儲存器件116可包括多種分佈式或本機存取式資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他適合數位儲存媒體。
在一些實例中，源器件102可將經編碼視訊資料輸出至檔案伺服器114，或可儲存由源器件102所產生之經編碼視訊的另一中間儲存器件。目的地器件116可經由串流或下載而自檔案伺服器114存取所儲存之視訊資料。檔案伺服器114可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件116的任何類型之伺服器器件。檔案伺服器114可表示網頁伺服器(例如用於網站)、檔案傳送協定(FTP)伺服器、內容遞送網路器件或網路附接儲存(NAS)器件。目的地器件116可經由包括網際網路連接之任何標準資料連接自檔案伺服器114存取經編碼視訊資料。此可包括無線通道(例如Wi-Fi連接)、有線連接(例如DSL、電纜數據機等等)或適用於存取儲存於檔案伺服器114上之經編碼視訊資料之兩者之組合。檔案伺服器114及輸入介面122可經組態以根據串流傳輸協定、下載傳輸協定或其組合操作。
輸出介面108及輸入介面122可表示無線傳輸器/接收器、數據機、有線網路連接組件(例如乙太網卡)、根據各種IEEE 802.11標準中之任一者來操作的無線通信組件或其他實體組件。在輸出介面108及輸入介面122包含無線組件之實例中，輸出介面108及輸入介面122可經組態以根據蜂巢式通信標準(諸如4G、4G-LTE(長期演進)、LTE進階、5G或其類似者)來傳送資料，諸如經編碼視訊資料。在輸出介面108包含無線傳輸器之一些實例中，輸出介面108及輸入介面122可經組態以根據其他無線標準(諸如IEEE 802.11規格、IEEE 802.15規格(例如ZigBee™)、Bluetooth™標準或類似者)來傳送資料，諸如經編碼視訊資料。在一些實例中，源器件102及/或目的地器件116可包括各別晶片上系統(SoC)器件。舉例而言，源器件102可包括SoC器件以執行歸於視訊編碼器200及/或輸出介面108之功能性，且目的地器件116可包括SoC器件以執行歸於視訊解碼器300及/或輸入介面122之功能性。
本發明之技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上的數位視訊之解碼或其他應用。
目的地器件116之輸入介面122自電腦可讀媒體110 (例如儲存器件112、檔案伺服器114或類似者)接收經編碼視訊位元串流。經編碼視訊位元串流電腦可讀媒體110可包括由視訊編碼器200定義之傳信資訊，其亦由視訊解碼器300使用，諸如具有描述視訊區塊或其他經寫碼單元之特徵及/或處理之值之語法元素(例如圖塊、圖像、圖像群、序列或類似者)。顯示器件118向使用者顯示經解碼視訊資料之經解碼圖像。顯示器件118可表示各種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
儘管圖1中未展示，但在一些實例中，視訊編碼器200及視訊解碼器300可分別與音訊編碼器及/或音訊解碼器整合，且可包括合適的MUX-DEMUX單元或其他硬體及/或軟體，以處置在共同資料串流中包括音訊及視訊兩者之多工串流。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器200及視訊解碼器300各自可經實施為各種適合之編碼器及/或解碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術以軟體部分地實施時，器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行指令以執行本發明之技術。視訊編碼器200及視訊解碼器300中之每一者可包括於一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器)的部分。包括視訊編碼器200及/或視訊解碼器300之器件可包含積體電路、微處理器及/或無線通信器件，諸如蜂巢式電話。
視訊編碼器200及視訊解碼器300可根據視訊寫碼標準操作，諸如ITU-T H.265，亦被稱作高效視訊寫碼(HEVC)或其擴展，諸如多視圖及/或可調式視訊寫碼擴展。可替代地，視頻編碼器200及視頻解碼器300可根據其他專有或工業標準操作，諸如聯合探索測試模型(JEM7)用於當前處於開發中之通用視訊寫碼(VVC)標準。然而，本發明之技術不限於任何特定寫碼標準，且可適用於處於開發中之視訊寫碼標準。
大體而言，視訊編碼器200及視訊解碼器300可執行圖像之基於區塊之寫碼。術語「區塊」一般係指包括待處理(例如編碼、解碼或以其他方式用於編碼及/或解碼處理程序中)之資料的結構。舉例而言，區塊可包括明度及/或色度資料之樣本之二維矩陣。大體而言，視訊編碼器200及視訊解碼器300可寫碼以YUV (例如Y、Cb、Cr)格式表示之視訊資料。亦即，視訊編碼器200及視訊解碼器300可寫碼明度及色度分量，而非寫碼圖像之樣本的紅色、綠色及藍色(RGB)資料，其中該等色度分量可包括紅色調及藍色調色度分量兩者。在一些實例中，視訊編碼器200在編碼之前將所接收的RGB格式化資料轉換成YUV表示，且視訊解碼器300將YUV表示轉換成RGB格式。可替代地，預處理單元及後處理單元(未展示)可執行此等轉換。
本發明通常可指對圖像進行寫碼(例如編碼及解碼)以包括編碼或解碼圖像之資料的程序。類似地，本發明可指寫碼圖像之區塊以包括編碼或解碼區塊之資料之程序，例如預測及/或殘餘寫碼。經編碼視訊位元串流一般包括表示寫碼決策(例如寫碼模式)及圖像至區塊之分割的語法元素的一系列值。因此，對寫碼圖像或區塊之提及一般應理解為寫碼形成該圖像或區塊之語法元素的值。
HEVC定義各種區塊，包括寫碼單元(CU)、預測單元(PU)及變換單元(TU)。根據HEVC，視訊寫碼器(諸如視訊編碼器200)根據四分樹結構將寫碼樹單元(CTU)分割成CU。亦即，視訊寫碼器將CTU及CU分割成四個相同的非重疊正方形，且四分樹之每一節點具有零個或四個子節點。不具有子節點之節點可被稱作「葉節點」，且此類葉節點之CU可包括一或多個PU及/或一或多個TU。視訊寫碼器可進一步分割PU及TU。舉例而言，在HEVC中，殘餘四分樹(RQT)表示TU之分割。在HEVC中，PU表示框間預測資料，而TU表示殘餘資料。經框內預測之CU包括框內預測資訊，諸如框內模式指示。
在HEVC中，圖塊中之最大寫碼單元稱為寫碼樹型區塊(CTB)。CTB含有四分樹，該四分樹之節點為寫碼單元。CTB之大小可介於HEVC主規範中之16×16至64×64的範圍(儘管技術上可支援8×8 CTB大小)。寫碼單元(CU)可與CTB具有相同大小，但可為且小如8×8。每一寫碼單元係用一個模式寫碼。當CU經框間寫碼時，CU可進一步分割成兩個預測單元(PU)或當不應用進一步分割時變為僅一個PU。當兩個PU存在於一個CU中時，其可為一半大小的矩形或具有CU之¼或¾大小的兩個矩形大小。
當CU經框間寫碼時，針對每一PU存在運動資訊之一個集合。另外，每一PU經唯一框間預測模式寫碼以導出運動資訊集合。在HEVC中，最小PU大小為8×4及4×8。
作為另一實例，視訊編碼器200及視訊解碼器300可經組態以根據JEM操作。根據JEM，視訊寫碼器(諸如視訊編碼器200)將圖像分割成複數個寫碼樹型單元(CTU)。視訊編碼器200可根據樹狀結構(諸如四分樹二元樹(QTBT)結構)分割CTU。JEM之QTBT結構移除多個分割類型之概念，諸如HEVC之CU、PU及TU之間的間距。JEM之QTBT結構包括兩個層級：根據四分樹分割進行分割之第一層級，及根據二元樹分割進行分割之第二層級。QTBT結構之根節點對應於CTU。二元樹之葉節點對應於寫碼單元(CU)。
在一些實例中，視訊編碼器200及視訊解碼器300可使用單一QTBT結構以表示明度分量及色度分量中之每一者，而在其他實例中，視訊編碼器200及視訊解碼器300可使用兩個或更多個QTBT結構，諸如用於明度分量之一個QTBT結構及用於兩個色度分量之另一QTBT結構(或用於各別色度分量之兩個QTBT結構)。
視訊編碼器200及視訊解碼器300可經組態以使用根據HEVC之四分樹分割、根據JEM (例如VVC)之QTBT分割，或其他分割結構。出於解釋之目的，關於QTBT分割呈現本發明之技術的描述。然而，應理解，本發明之技術亦可應用於經組態以使用四分樹分割亦或其他類型之分割的視訊寫碼器。
本發明可能可互換地使用「N×N」及「N乘N」以指區塊(諸如CU或其他視訊區塊)關於豎直及水平尺寸之樣本尺寸，例如16×16樣本或16乘16樣本。大體而言，16×16 CU在豎直方向上將具有16個樣本(y = 16)且在水平方向上將具有16個樣本(x = 16)。同樣地，N×N CU通常在豎直方向上具有N個樣本且在水平方向上具有N個樣本，其中N表示非負整數值。可按列及行來配置CU中之樣本。此外，CU不一定在水平方向上及豎直方向上具有相同數目個樣本。舉例而言，CU可包含N×M個樣本，其中M未必等於N。
視訊編碼器200編碼CU之表示預測及/或殘餘資訊及其他資訊的視訊資料。預測資訊指示將如何對CU進行預測以形成CU之預測區塊。殘餘資訊一般表示編碼前CU與預測區塊之樣本之間的逐樣本差。
為預測CU，視訊編碼器200可通常經由框間預測或框內預測形成CU之預測區塊。框間預測一般係指自先前經寫碼圖像之資料預測CU，而框內預測一般係指自同一圖像之先前經寫碼資料預測CU。為執行框間預測，視訊編碼器200可使用一或多個運動向量來產生預測區塊。視訊編碼器200可通常執行運動搜索以例如關於CU與參考區塊之間的差異來識別緊密匹配CU之參考區塊。視訊編碼器200可使用絕對差總和(SAD)、平方差總和(SSD)、平均絕對差(MAD)、均方差(MSD)或其他此類差計算來計算差度量以判定參考區塊是否緊密匹配當前CU。在一些實例中，視訊編碼器200可使用單向預測或雙向預測來預測當前CU。
對於每一區塊，運動資訊之集合可供使用。運動資訊集合含有用於前向及後向預測方向之運動資訊。本文中前向及後向預測方向為雙向預測模式之兩個預測方向，且術語「前向」及「後向」未必具有幾何含義；實情為其對應於當前圖像之參考圖像清單0 (RefPicList0)及參考圖像清單1 (RefPicList1)。當僅一個參考圖像清單可供用於圖像或圖塊時，僅RefPicList0為可用的，且圖塊之每一區塊之運動資訊始終為前向的。
對於每一預測方向，運動資訊含有參考索引及運動向量。在一些情況下，為簡單起見，可以假設運動向量自身具有相關聯參考索引的方式參考該運動向量。參考索引用於識別當前參考圖像清單(RefPicList0或RefPicList1)中之參考圖像。運動向量具有水平分量及豎直分量。
視訊寫碼標準中廣泛使用圖像次序計數(POC)以識別圖像之顯示次序。雖然存在一個經寫碼視訊序列內之兩個圖像可具有相同POC值的情況，但經寫碼視訊序列內通常不發生此類情況。當位元串流中存在多個經寫碼視訊序列時，就解碼次序而言，具有同一POC值之圖像可更接近於彼此。圖像之POC值通常用於參考圖像清單建構、如HEVC中之參考圖像集之導出及移動向量按比例調整。
JEM亦提供仿射運動補償模式，其可被視為框間預測模式。在仿射運動補償模式中，視訊編碼器200可判定表示非平移運動(諸如放大或縮小、旋轉、透視運動或其他不規則運動類型)之兩個或更多個運動向量。
為執行框內預測，視訊編碼器200可選擇框內預測模式以產生預測區塊。在一些實例中，六十七種框內預測模式為可用的，包括各種定向模式以及平面模式及DC模式。大體而言，視訊編碼器200選擇描述相鄰樣本之框內預測模式至當前區塊(例如CU之區塊)，自其中以預測當前區塊之樣本。此類樣本一般可與當前區塊在同一圖像中，在當前區塊之上方、左上方或左側，假定視訊編碼器200以光柵掃描次序(左至右、上至下)寫碼CTU及CU。
視訊編碼器200編碼表示當前區塊之預測模式的資料。舉例而言，針對框間預測模式，視訊編碼器200可編碼表示使用多種可用框間預測模式中之哪一者以及對應模式之運動資訊的資料。舉例而言，針對單向或雙向框間預測，視訊編碼器200可使用進階運動向量預測(AMVP)或合併模式來編碼運動向量。視訊編碼器200可使用類似模式來編碼仿射運動補償模式之運動向量。
在HEVC標準中，對於預測單元(PU)存在兩個框間預測模式，分別命名為合併(略過被視為合併之特殊情況)及進階運動向量預測(AMVP)模式。在AMVP或合併模式中，針對多個運動向量預測符維持運動向量(MV)候選清單。當前PU之運動向量以及合併模式中之參考索引藉由自MV候選清單中選取一個候選者來產生。
MV候選者清單含有用於合併模式之至多5個候選者及用於AMVP模式之僅兩個候選者。合併候選者可含有運動資訊集合，例如對應於兩個參考圖像清單(清單0及清單1)之運動向量及參考索引。若由合併索引來識別合併候選者，則參考圖像用於當前區塊之預測，以及判定相關聯之運動向量。然而，在針對自清單0或清單1的每一潛在預測方向的AMVP模式下，需要明確地將參考索引連同MVP索引傳信至MV候選者清單，因為AMVP候選者僅含有運動向量。在AMVP模式中，可進一步改進經預測運動向量。
如可自上文看出，合併候選者對應於運動資訊之整個集合，而AMVP候選者僅含有用於特定預測方向之一個運動向量及參考索引。以類似方式自相同空間及時間相鄰區塊導出兩個模式之候選者。
對於合併及AMVP而言，儘管用於自區塊產生候選者之方法對於合併及AMVP模式不同，但對於特定PU (PU0 )，空間MV候選者係自圖5中展示之相鄰區塊中導出。在合併模式中，五個空間MV候選者之位置展示於圖5中。對於每一候選者位置，根據順序：{a1 , b1 , b0 , a0 , b2 }檢查可用性。
在AMVP模式中，相鄰區塊經劃分成兩組：包括區塊a0 及a1 的左邊組，及包括區塊b0 、b1 及b2 的上方組，如圖5中所展示。對於左邊組，根據順序：{a0 , a1 }檢查可用性。對於上方組，根據順序：{b0 , b1 , b2 }檢查可用性。對於每一組，參考與由經傳信之參考索引指示之相同參考圖像的相鄰區塊中之潛在候選者具有待選擇之最高優先權以形成該組之最終候選者。有可能所有相鄰區塊均不含有指向相同參考圖像的運動向量。因此，若無法發現此候選者，則將按比例調整第一可用候選者以形成最終候選者，因此可補償時間距離差。
對於合併及AMVP模式，存在除空間相鄰候選者以外之其他候選者。在合併模式中，在確證空間候選者後，移除兩種冗餘類型。若當前PU之候選者位置將指代相同CU中之第一PU，則不包括該位置，此係由於相同合併可藉由一個CU來達成，而無需將其分裂成預測分區。另外，亦可排除候選者具有完全相同運動資訊之任何冗餘條目。在檢查空間相鄰候選者之後，驗證時間候選者。對於時間候選者，若剛好在參考圖像之並列PU外部的右下方位置為可用的，則使用該位置。否則，替代地使用中心位置。選擇並列PU之方式類似於先前標準中之方式，但HEVC藉由傳輸索引以指定將哪一參考圖像清單用於並列參考圖像而允許更多靈活性。與時間候選者之使用相關的一個問題為記憶體儲存參考圖像之運動資訊的量。此藉由將用於儲存時間運動候選者之粒度限定為僅16×16明度柵格解析度(即使在參考圖像中之對應位置處使用更小PB (或可能PU)結構時)而經解決。
此外，PPS (圖像參數集合)-層級旗標允許視訊編碼器200停用時間候選者之使用，其適用於具有易錯傳輸之應用。在圖塊標頭中指定合併候選者之最大數目C。若發現的合併候選者(包括時間候選者)之數目大於C，則僅保持第一C-1空間候選者及時間候選者。否則，若所識別之合併候選者之數目小於C，則可產生額外候選者直至數目等於C。此簡化解析且使得其更加穩固，此係由於解析經寫碼資料之能力並非視合併候選者可用性而定。對於B圖塊，可藉由根據參考圖像清單0及清單1之預定義次序選擇兩個現有候選者來產生額外合併候選者。舉例而言，第一所產生候選者使用清單0之第一合併候選者及清單1之第二合併候選者。HEVC在已建構合併候選清單中按以下順序指定總計12個預定義雙對：(0, 1)、(1, 0)、(0, 2)、(2, 0)、(1, 2)、(2, 1)、(0, 3)、(3, 0)、(1, 3)、(3, 1)、(2, 3)及(3, 2)。其中，在移除冗餘條目之後可包括至多五個候選者。當合併候選者之數目仍小於C時，使用包括預設運動向量及對應參考索引之預設合併候選者，而非將與自零至參考圖像之數目減去一之參考索引相關聯的零運動向量用於填充合併候選清單中之任何剩餘條目。
在AMVP模式中，由於視訊編碼器200可發送運動向量中之改變之經寫碼差值(例如運動向量差值(MVD))，因此HEVC僅允許明顯較低數目之候選者用於運動向量預測程序情況。另外，視訊編碼器200可執行運動估計，其為視訊編碼器200中之計算成本最高的操作中之一者，且藉由允許較小數目之候選者降低複雜度。當相鄰PU之參考索引不等於當前PU之參考索引時，使用運動向量之按比例調整版本。根據分別由相鄰PU及當前PU之參考索引指示的當前圖像與參考圖像之間的時間距離按比例調整相鄰運動向量。當兩個空間候選者具有相同運動向量分量時，可排除一個冗餘空間候選者。當運動向量預測符之數目不等於二且不明確停用時間MV預測之使用時，包括時間MV預測候選者。此意謂在兩個空間候選者為可用時完全不使用時間候選者。最後，可重複包括預設運動向量(其為零運動向量)直至運動向量預測候選者之數目等於二，其可確保運動向量預測符之數目為二。因此，在AMVP模式之情況下，僅經寫碼旗標為識別使用哪一運動向量預測所必需的。
時間運動向量預測符(TMVP)候選者(若啟用且可用)在空間運動向量候選者之後添加至MV候選者清單中。用於TMVP候選者之運動向量導出程序對於合併及AMVP模式兩者相同，然而，合併模式中之TMVP候選者之目標參考索引始終設定為0。
用於TMVP候選導出之原始區塊位置為如圖6A中展示為區塊「T」的並列PU外部之右下區塊，以補償用於產生空間相鄰候選之上方及左側區塊之偏差。然而，若區塊定位於當前CTB列之外部或運動資訊不可用，則區塊經PU之中心區塊取代。
用於TMVP候選之運動向量係自圖塊層級中所指示之共置圖像之共置PU導出。用於共置PU之運動向量稱為共置MV。類似於AVC中之時間引導模式，為導出TMVP候選者運動向量，共置MV可經按比例調整以補償時間距離差，如圖6B中所展示。
合併及AMVP模式之若干態樣值得如下提及。
運動向量按比例調整 ： 假定運動向量之值與呈現時間中之圖像之距離成比例。運動向量與兩個圖像相關聯：參考圖像及含有運動向量之圖像(亦即，含有圖像)。當利用一運動向量預測另一運動向量時，基於圖像次序計數(POC)值而計算含有圖像與參考圖像之距離。
對於待預測之運動向量，其相關聯之含有圖像及參考圖像兩者可不同。因此，新距離(基於POC)經計算，且基於此等兩個POC距離按比例調整運動向量。對於空間相鄰候選者，用於兩個運動向量之含有圖像相同，而參考圖像則係不同。在HEVC中，對於空間及時間相鄰候選者，運動向量按比例調整適用於TMVP及AMVP兩者。
人工運動向量候選者產生 ：若運動向量候選物清單不完整，則在清單結束時產生且插入人工運動向量候選者直至其將具有所有候選者。
在合併模式中，存在兩種類型之人工MV候選者：僅針對B-圖塊導出之組合候選者及僅針對AMVP使用之零候選者，若第一類型並未提供足夠人工候選者。
對於已在候選者清單中且具有必要運動資訊之每一對候選者，雙向組合運動向量候選者藉由參考清單0中之圖像之第一候選者的運動向量與參考清單1中之圖像之第二候選者的運動向量之組合導出。
用於候選者插入之修剪程序 ：自不同區塊之候選可恰好相同，此降低合併/AMVP候選清單之效率。應用修剪程序來解決此問題。修剪程序將當前候選清單中之一個候選者與其他候選者進行比較，以在一定程度上避免插入相同候選者。為減小複雜度，應用僅受限制數目個修剪程序，而非將每一潛在候選者與所有其他現有候選者進行比較。
HEVC 中之 合併 / 層級之並行處理 ：在HEVC中，LCU可經劃分成平行運動估計區(MER)且僅允許屬於自當前PU之不同MER之彼等相鄰PU包括於合併/略過MVP清單建構程序中。MER的大小以圖像參數集合傳信為log2_parallel_merge_level_minus2。當MER大小大於N×N時(其中2N×2N為最小CU大小)，MER以如下方式起作用：若空間相鄰區塊在與當前PU相同的MER內部時，則該空間相鄰區塊被視為不可用。
用於色度寫碼之運動向量可根據用於明度之運動向量而按比例調整。運動向量經導出用於當前PU/CU之明度分量。在其用於色度運動補償前，基於色度取樣格式按比例調整運動向量。
除區塊之框內預測或框間預測之外，另一寫碼模式包括區塊內複製(IBC)預測模式且包括於HEVC之螢幕內容寫碼(SCC)擴展中。在IBC預測模式中，當前CU/PU經藉由當前CU/PU之區塊向量指代之當前圖像/圖塊之已經解碼區塊預測，如圖7中所展示。應注意，預測信號經重建構但未經環路內濾波，包括解區塊及樣本自適應偏移(SAO)。
在框間預測中，當前CU/PU根據已經解碼區塊經預測，但在不同圖像中，但在區塊內複製中，已經解碼區塊及當前區塊處於同一圖像中。在框內預測中，根據當前圖像/圖塊中之樣本預測當前CU/PU，但不像區塊內複製中藉由區塊向量指代。在一些實例中，區塊內複製可被視為框間預測之一形式，其中當前圖像包括於參考圖像清單中。
對於區塊內複製(BC)中之區塊補償，對於經區塊內複製寫碼之明度分量或色度分量，區塊補償藉由整數區塊補償完成，因此不需要內插法。此外，區塊向量經預測且以整數層級傳信。在當前螢幕內容寫碼(SCC)中，區塊向量預測符在每一CTB之起點處設定為(-w, 0)，其中w為CU之寬度。此區塊向量預測符更新為最新經寫碼CU/PU中之一者(在用區塊內複製模式進行寫碼的情況下)。若CU/PU未經區塊內複製寫碼，則區塊向量預測符保持(例如維持)不變。在區塊向量預測之後，使用MV差值(MVD)寫碼方法編碼區塊向量差值，該MV差值(MVD)寫碼方法為HEVC。在CU及PU層級兩者處啟用當前區塊內複製。對於PU層級區塊內複製，針對所有CU大小支援2N×N及N×2N PU分割。另外，當CU為最小CU時，支援N×N PU分割。
以下描述區塊內複製類似於框間預測經處理之方式。在美國專利公開案第2015/0271487號中，當前圖像用作參考圖像且添加至參考清單中。隨後，區塊內複製經處理類似於框間模式。在Li B等人, 「Non-SCCE1: Unification of intra BC and inter modes」, 18. JCT-VC MEETING; 30-6-2014 - 9-7-2014; SAPPORO; (JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ); URL: HTTP://WFTP3.ITU.INT/AV-ARCH/JCTVC-SITE/, 第JCTVC-R0100-v2號, 2014年6月29日 (2014-06-29), XP030116357 (下文為「JCTV-R0100」)中，描述區塊內複製及框間之統一。當前圖像經添加至參考清單中。其在當前圖像之解碼前標記為長期，且在當前圖像之解碼後標記為短期。當區塊內複製經啟用時，P圖塊之語法解析程序及解碼程序跟隨I圖塊。
在美國專利公開案第2016/0057420號中，提出某些解決方案以解決關於時間運動向量預測(TMVP)導出、與約束框內預測之相互作用、參考清單建構等等之問題。在美國專利公開案第2016/0100189號中，當區塊內複製類似框間模式經處理時，提出某些解決方案以避免額外情況檢查且解決針對TMVP之間的相互作用、約束框內預測、區塊內複製MV精確度等等存在的問題。
在最終HEVC SCC中，其資訊可見於2016年12月由Xiaozhong Xu, Shan Liu, Tzu-Der Chuang, Yu-Wen Huang, Shaw-Min Lei, Krishnakanth Rapaka, Chao Pang, Vadim Seregin, Ye-Kui Wang及Marta Karczewicz之「Intra Block Copy in HEVC Screen Content Extensions,」關於電路及系統中之新興及選定話題的IEEE期刊(第6卷, 第4期)中，當IBC模式在圖像層級處啟用時，當前重建構圖像亦為用於解碼當前圖塊之參考圖像。為避免按比例調整用於時間運動向量預測之可能運動向量，此參考圖像在當前圖像之解碼期間經標記為「用於長期參考」。此參考圖像經置於清單0之參考圖像清單(RPL)中，且亦置於B圖塊之清單1中。在長期參考圖像(如適用)後，其置於初始RPL之最後位置中。因此當當前重建構圖像經添加至初始RPL中時，可變NumPicTotalCurr增加1。
在區塊之預測(諸如框內預測、框間預測或IBC預測)之後，視訊編碼器200可計算區塊之殘餘資料。殘餘資料(諸如殘餘區塊)表示區塊與該區塊之使用對應預測模式所形成的預測區塊之間的逐樣本差。視訊編碼器200可將一或多個變換應用於殘餘區塊，以在變換域而非樣本域中產生經變換資料。舉例而言，視訊編碼器200可將離散餘弦變換(DCT)、整數變換、小波變換或概念上類似的變換應用於殘餘視訊資料。另外，視訊編碼器200可在一級變換之後應用次級變換，諸如模式相關不可分次級變換(MDNSST)、信號相關變換、Karhunen-Loeve變換(KLT)或其類似者。視訊編碼器200在應用一或多個變換之後產生變換係數。
如上文所提及，在產生變換係數的任何變換之後，視訊編碼器200可執行變換係數之量化。量化大體上係指量化變換係數以可能地減少用以表示係數之資料量從而提供進一步壓縮的程序。藉由執行量化程序，視訊編碼器200可減少與係數中之一些或所有相關聯的位元深度。舉例而言，視訊編碼器200可在量化期間將n 位元值捨入至m 位元值，其中n 大於m 。在一些實例中，為執行量化，視訊編碼器200可執行待量化值之按位元右移位。
在量化之後，視訊編碼器200可掃描變換係數，從而自包括經量化變換係數之二維矩陣產生一維向量。掃描可經設計以將較高能量(且因此較低頻率)係數置於向量前部，且將較低能量(且因此較高頻率)變換係數置於向量後部。在一些實例中，視訊編碼器200可利用預定義掃描次序來掃描經量化變換係數以產生串列化向量，且隨後對向量之經量化變換係數進行熵編碼。在其他實例中，視訊編碼器200可執行自適應掃描。在掃描經量化變換係數以形成一維向量後，視訊編碼器200可例如根據上下文適應性二元算術寫碼(CABAC)對一維向量進行熵編碼。視訊編碼器200亦可熵編碼描述與經編碼視訊資料相關聯的後設資料之語法元素之值，以供由視訊解碼器300用於解碼視訊資料。
為執行CABAC，視訊編碼器200可將上下文模型內之上下文指派給待傳輸之符號。該上下文可關於例如符號之相鄰值是否為零值。機率判定可基於指派給符號之上下文而進行。
視訊編碼器200可進一步例如在圖像標頭、區塊標頭、圖塊標頭或其他語法資料(諸如序列參數集(SPS)、圖像參數集(PPS)或視訊參數集(VPS))中產生語法資料，諸如基於區塊之語法資料、基於圖像之語法資料及基於序列之語法資料至視訊解碼器300中。視訊解碼器300可同樣解碼此類語法資料以判定如何解碼對應視訊資料。
以此方式，視訊編碼器200可產生包括經編碼視訊資料(例如描述將圖像分割成區塊(例如CU)之語法元素及區塊之預測及/或殘餘資訊)之位元串流。最後，視訊解碼器300可接收位元串流並解碼經編碼視訊資料。
大體而言，視訊解碼器300執行與視訊編碼器200所執行之程序互逆的程序，以解碼位元串流之經編碼視訊資料。舉例而言，視訊解碼器300可使用CABAC以與視訊編碼器200之CABAC編碼處理程序實質上類似但互逆的方式解碼位元串流之語法元素的值。語法元素可定義圖像至CTU之分割資訊及每一CTU根據對應分割結構(諸如QTBT結構)之分割，以定義CTU之CU。語法元素可進一步定義視訊資料之區塊(例如CU)之預測及殘餘資訊。
殘餘資訊可由例如經量化變換係數表示。視訊解碼器300可反量化及反變換區塊之經量化變換係數，以再生區塊之殘餘區塊。視訊解碼器300使用傳信預測模式(框內或框間預測)及相關預測資訊(例如框間預測之運動資訊)以形成區塊之預測區塊。視訊解碼器300可接著(在逐樣本基礎上)使預測區塊與殘餘區塊組合以再生原始區塊。視訊解碼器300可執行額外處理，諸如執行解區塊程序以減少沿區塊邊界之視覺假影。
本發明通常可指「傳信」某些資訊，諸如語法元素。術語「傳信」通常可指用於解碼經編碼視訊資料之語法元素及/或其他資料的值之傳達。亦即，視訊編碼器200可在位元串流中傳信語法元素之值。大體而言，傳信係指在位元串流中產生值。如上文所提及，源器件102可實質上即時地將位元串流傳送至目的地器件116，或不即時傳送，諸如可在將語法元素儲存至儲存器件112以供目的地器件116稍後擷取時發生。
如上文所描述，在一些實例中，明度分量及色度分量可以不同方式分割。舉例而言，視訊寫碼器(例如視訊編碼器200或視訊解碼器300)可經組態以根據第一分割樹分割第一色彩分量(例如明度分量)之樣本，且根據第二分割樹分割第二色彩分量(例如色度分量)之樣本。分割之結果可為多個明度區塊及對應色度區塊。若色度區塊及明度區塊屬於同一CU，則色度區塊及明度區塊為對應區塊。舉例而言，如上文所描述，視訊資料以Y、Cb、Cr格式表示。CU為圖像之區塊及CU包括共同地表示區塊之圖像中之顏色的明度區塊及其對應色度區塊。
在一些實例中，色度分量相對於明度分量而經次取樣。舉例而言，在4:2:2次取樣中，明度分量之8×8樣本對應於色度分量中之每一者之4×4樣本。歸因於次取樣，每一色度區塊可對應於複數個明度區塊。舉例而言，假定明度分量之8×8樣本劃分成四個4×4明度區塊且色度分量之4×4樣本形成一個4×4色度區塊。在此實例中，四個明度區塊對應於一個色度區塊。
對於IBC預測模式，為減小視訊編碼器200可能需要傳信至視訊解碼器300之資訊量，而非傳信指示色度區塊之區塊向量之資訊，色度區塊或許有可能繼承其對應明度區塊之區塊向量，藉由某種按比例調整以解決次取樣。在明度分量與色度分量以相同方式分割之實例中，與繼承區塊向量相關聯之一些技術問題可由於色度區塊及明度區塊經類似設定大小及成形(例如兩者為正方形4×4大小的區塊)而最小化。
然而，在明度分量與色度分量以不同方式分割之實例中，可能存在關於視訊寫碼之技術問題。舉例而言，歸因於用於明度及色度分量之不同分割方案，一色度區塊可對應於複數個明度區塊，其中明度區塊中之兩個或更多個以與色度區塊不同的方式設定大小及成形。在此等實例中，可能不知道色度區塊將繼承哪一明度區塊(或複數個明度區塊)之區塊向量資訊。
在一或多個實例中，視訊寫碼器可經組態以判定對應於第二色彩分量(例如色度區塊)之區塊的第一色彩分量(例如明度分量)之複數個區塊。視訊寫碼器可經組態以基於第一分割樹(例如基於分割第一色彩分量之方式)分割第二色彩分量之區塊以產生第二色彩分量之區塊之子區塊。在此實例中，由於色度區塊係基於第一分割樹而經分割，因此可能存在每一色度子區塊之一個對應明度區塊。舉例而言，複數個明度區塊共同地對應於色度區塊。在將色度區塊分割成子區塊後，子區塊中之每一者對應於複數個明度區塊中之一者。
視訊寫碼器可基於在IBC預測模式中經預測的第一色彩分量之複數個區塊之一或多個區塊向量而判定第二色彩分量之區塊之一或多個子區塊的一或多個區塊向量。舉例而言，在複數個明度區塊當中，此等明度區塊之子集可在IBC預測模式中經預測。子集中之每一明度區塊對應於色度區塊之子區塊，且色度區塊之子區塊可自子區塊對應之子集繼承明度區塊之區塊向量。
以此方式，對於在IBC模式中經預測之色度區塊且其中不同分割樹用於分割明度及色度分量，視訊編碼器200可能不需要將指示色度區塊之區塊向量之資訊傳信至視訊解碼器300。相反，視訊編碼器200及視訊解碼器300可以類似於用於明度分量之分割方式之方式將色度區塊分割成子區塊使得明度區塊與色度區塊之子區塊之間存在一對一對應性。在一些實例中，並非所有明度區塊可在IBC預測模式中經預測，且在此類實例中，視訊編碼器200及視訊解碼器300可將在IBC預測模式中經預測之明度區塊之區塊向量分配至色度區塊之其各別對應子區塊作為色度區塊之子區塊自明度區塊繼承區塊向量的方式。
除基於複數個明度區塊之區塊向量將區塊向量分配至色度區塊之子區塊之外，視訊編碼器200及視訊解碼器300可能需要基於次取樣格式按比例調整區塊向量。舉例而言，若使用4:2:2次取樣格式，則隨後視訊編碼器200及視訊解碼器300可將區塊向量之x分量及y分量兩者除以二。
在以上實例中，色度子區塊經描述為自明度區塊繼承區塊向量。在一些實例中，可出現相反情況。舉例而言，視訊編碼器200或視訊解碼器300可判定色度區塊之區塊向量且隨後基於色度分量之樣本經分割之方式來分割明度分量之樣本。視訊編碼器200及視訊解碼器300可隨後將區塊向量分配至由分割產生之明度區塊。為易於描述，關於自各別對應明度區塊繼承(藉由潛在按比例調整)區塊向量之色度子區塊來描述實例技術。在一些實例中，對應明度區塊可以與色度區塊之子區塊相同的方式(例如水平矩形、豎直矩形或正方形)成形。
除描述用於判定色度區塊之子區塊之區塊向量以允許子區塊繼承區塊向量之外，本發明亦描述關於可能在VVC之IBC預測模式中存在之其他問題的技術。此等技術可與用於色度區塊之子區塊繼承區塊向量之技術組合使用或可與用於色度區塊之子區塊繼承區塊向量之技術分離。
圖2A及圖2B為說明實例四分樹二元樹(QTBT)結構130及對應寫碼樹型單元(CTU) 132之概念圖。實線表示四分樹分裂，且點線指示二元樹分裂。在二元樹之每一分裂(亦即，非葉)節點中，一個旗標經傳信以指示使用哪一分裂類型(亦即，水平或豎直)，其中在此實例中，0指示水平分裂且1指示豎直分裂。對於四分樹分裂，不需要指示分裂類型，此係由於四分樹節點將區塊水平地及豎直地分裂成具有相等大小之4個子區塊。因此，視訊編碼器200可編碼，且視訊解碼器300可解碼用於QTBT結構130之區域樹層級(亦即實線)的語法元素(諸如分裂資訊)及用於QTBT結構130之預測樹層級(亦即虛線)的語法元素(諸如分裂資訊)。視訊編碼器200可編碼，且視訊解碼器300可解碼用於由QTBT結構130之端葉節點表示之CU的視訊資料(諸如預測及變換資料)。
大體而言，圖2B之CTU 132可與定義對應於第一及第二層級處的QTBT結構130之節點的區塊之大小的參數相關聯。此等參數可包括CTU大小(表示樣本中之CTU 132之大小)、最小四分樹大小(MinQTSize，表示最小允許四分樹葉節點大小)、最大二元樹大小(MaxBTSize，表示最大允許二元樹根節點大小)、最大二元樹深度(MaxBTDepth，表示最大允許二元樹深度)，及最小二元樹大小(MinBTSize，表示最小允許二元樹葉節點大小)。
QTBT結構中對應於CTU之根節點可具有在QTBT結構之第一層級處的四個子節點，該等節點中之每一者可根據四分樹分割來分割。亦即，第一層級之節點為葉節點(不具有子節點)或具有四個子節點。QTBT結構130之實例表示諸如包括具有用於分枝之實線之父節點及子節點的節點。若第一層級之節點不大於最大允許二元樹根節點大小(MaxBTSize)，則其可藉由各別二元樹進一步分割。一個節點之二元樹分裂可重複，直至由分裂產生之節點到達最小允許二元樹葉節點大小(MinBTSize)，或最大允許二元樹深度(MaxBTDepth)為止。QTBT結構130之實例表示諸如具有用於分枝之虛線的節點。二元樹葉節點被稱為寫碼單元(CU)，其用於預測(例如圖像內或圖像間預測)及變換，無需更進一步分割。如上文所論述，CU亦可被稱作「視訊區塊」或「區塊」。
在QTBT分割結構之一個實例中，CTU大小經設定為128×128 (明度樣本及兩個對應64×64色度樣本)，MinQTSize經設定為16×16，MaxBTSize經設定為64×64，MinBTSize (對於寬度及高度兩者)經設定為4，且MaxBTDepth經設定為4。四分樹分割首先應用於CTU以產生四分樹葉節點。四分樹葉節點可具有16×16 (亦即，MinQTSize)至128×128 (亦即，CTU大小)之大小。若葉四分樹節點為128×128，則其將不會由二元樹進一步分裂，此係由於大小超過MaxBTSize (亦即，在此實例中64×64)。否則，葉四分樹節點將由二元樹進一步分割。因此，四分樹葉節點亦為二元樹之根節點二元樹深度為0。當二元樹深度到達MaxBTDepth (在此實例中為4)時，不准許進一步分裂。當二元樹節點之寬度等於MinBTSize (在此實例中為4)時，其意指不准許進一步水平分裂。類似地，二元樹節點具有等於MinBTSize之高度意指不准許對該二元樹節點進行進一步豎直分裂。如上文所提及，二元樹之葉節點被稱作CU，且根據預測及變換來進一步處理而不進一步分割。
在VCEG提議COM16-C966 (J. An、Y.-W. Chen、K. Zhang、H. Huang、Y.-W. Huang及S. Lei的「Block partitioning structure for next generation video coding」(國際電信聯盟，COM16-C966，2015年9月))中，針對除HEVC以外之未來視訊寫碼標準提出四分樹-二元樹(QTBT)。模擬展示所提出QTBT結構比在HEVC中使用的四分樹結構更有效。
在QTBT結構中，如上文所描述，CTB首先由四分樹分割，其中一個節點之四分樹分裂可重複直至節點到達最小允許四分樹葉節點大小(MinQTSize)為止。若四分樹葉節點大小不大於最大允許二元樹根節點大小(MaxBTSize)，則其可由二元樹進一步分割。一個節點之二元樹分裂可重複直至節點到達最小允許二元樹葉節點大小(MinBTSize)或最大允許二元樹深度(MaxBTDepth)為止。二元樹葉節點亦即為CU，其在不更進一步分割之情況下將用於預測(例如圖像內或圖像間預測)及變換。
在二元樹分裂中存在兩種分裂類型：對稱水平分裂及對稱豎直分裂。在QTBT分割結構之一個實例中，CTU大小經設定為128×128 (明度樣本及兩個對應64×64色度樣本)，MinQTSize經設定為16×16，MaxBTSize經設定為64×64，MinBTSize (對於寬度及高度兩者)經設定為4，以及MaxBTDepth經設定為4。四分樹分割首先應用於CTU以產生四分樹葉節點。
四分樹葉節點可具有16×16 (亦即，MinQTSize)至128×128 (亦即，CTU大小)之大小。若葉四分樹節點為128×128，則其將不藉由二元樹進一步分裂，此係由於大小超出MaxBTSize (亦即，64×64)。否則，葉四分樹節點將由二元樹進一步分割。因此，四分樹葉節點亦為二元樹之根節點且其二元樹深度為0。當二元樹深度到達MaxBTDepth (亦即，4)時，其意指無進一步分裂。當二元樹節點之寬度等於MinBTSize (亦即，4)時，其意指無進一步水平分裂。類似地，當二元樹節點之高度等於MinBTSize時，其意指無進一步豎直分裂。二元樹之葉節點亦即為在無更進一步分割之情況下藉由預測及變換進一步處理的CU。
圖2B說明藉由使用QTBT進行的區塊分割之實例，且圖2A說明對應樹狀結構。實線指示四分樹分裂，且點線指示二元樹分裂。在二元樹之每一分裂(亦即，非葉)節點中，一個旗標經傳信以指示使用哪一分裂類型(亦即，水平或豎直)，其中0指示水平分裂且1指示豎直分裂。對於四分樹分裂，不需要指示分裂類型，此係由於四分樹分裂始終將區塊水平地及豎直地分裂成具有相等大小之4個子區塊。
此外，QTBT區塊結構支援明度及色度具有獨立QTBT結構之特徵。當前，對於P及B圖塊，一個CTU中之明度及色度CTU共用同一QTBT結構。對於I圖塊，明度CTU藉由QTBT結構(例如第一分割樹)分割成CU，且色度CTU藉由另一QTBT結構(例如第二不同分割樹)分割成色度CU。此意謂I圖塊中之CU包括明度分量之寫碼區塊或兩個色度分量之寫碼區塊，且P及B圖塊中之CU包括所有三個色彩分量之寫碼區塊。
下文描述子區塊運動向量候選者，如圖8中所說明。在具有QTBT之JEM中，每一CU可具有用於每一預測方向之運動參數之至多一個集合。藉由將較大CU分裂成子CU且導出較大CU之所有子CU之運動資訊而在視訊編碼器200中考慮兩種子CU層級運動向量預測方法。可替代的時間運動向量預測(ATMVP)方法允許每一CU自小於同置參考圖像中之當前CU的多個區塊提取多個運動資訊集合。在空間時間運動向量預測(STMVP)方法中，藉由使用時間運動向量預測符及空間相鄰運動向量遞回地導出子CU之運動向量。為保持用於子CU運動預測之更準確運動場，當前停用用於參考圖框之運動壓縮。
舉例而言，在圖8中，區塊400係指待執行ATMVP且說明為分裂成N×N個子PU之區塊。區塊400與區塊401共置於一運動源圖像中。區塊401經劃分成區塊400之分裂區塊的對應區塊。區塊401包括分裂區塊402A-402D。區塊402D可為ATMVP中之代表性中心區塊。區塊402A-402D中之每一者可包括一個運動向量(例如指向第一參考圖像清單中之圖像之區塊的運動向量MV0，或指向第二參考圖像清單中之圖像之區塊的運動向量MV1)或兩個運動向量(例如MV0及MV1)。在圖8中，運動向量404A、404B及404C為指向第一參考圖像清單中之圖像中的區塊的所有運動向量(例如皆為MV0)，且運動向量406A、406B及406C為指向第二參考圖像清單中之圖像中的區塊的所有運動向量(例如皆為MV1)。
對於自適應運動向量解析度，子像素運動補償通常比整數像素運動補償更加高效。然而，對於某些內容，諸如具有極高頻之組織或螢幕內容，子像素運動補償展示同樣或甚至更糟的效能。在此類情況下，僅具有含整數像素精確度之MV為更佳的。在美國專利公開案第2015/0195562號中，提議傳信MV精確度資訊(整數像素或四分之一像素)用於區塊。在2017年10月3日提交之美國申請案第15/724,044號(發佈為美國專利公開案第2018/0098089號)中，其提議允許更高MV精確度，諸如4-像素或8-像素。
對於JEM中之解碼器側運動向量導出(DMVD)，在JEM參考軟體中，存在導出或改進用於解碼器側(視訊解碼器300處)之當前區塊之運動向量(MV)的數個框間寫碼工具。此等解碼器側MV導出(DMVD)方法更詳細地描述於下文中。
圖案匹配運動向量導出(PMMVD)模式為基於圖框速率上變頻(FRUC)技術之特定合併模式。藉由PMMVD模式，區塊之運動資訊未經傳信而係在解碼器側處經導出。此技術包括於JEM中。
在PMMVD模式中，當FRUC合併旗標為真時對於CU傳信FRUC旗標。當FRUC旗標為假時，傳信合併索引且使用常規合併模式。在FRUC旗標為真時，傳信額外FRUC模式旗標以指示哪一方法(雙向匹配或模板匹配)將用以導出用於區塊之運動資訊。
在運動導出程序期間，基於雙向匹配或模板匹配針對整個CU首先導出初始運動向量。首先，檢查CU之合併清單(或被稱作PMMVD晶種)，且選擇產生最小匹配成本之候選者作為起始點。接著，基於雙向匹配或模板匹配圍繞起始點執行本地搜尋，且將產生最小匹配成本之MV視為用於整個CU之MV。隨後，在子區塊層級處用作為起始點的經導出CU運動向量來進一步改進運動資訊。
如圖9中所展示，藉由發現沿著兩個不同參考圖像中之當前區塊之運動軌跡的兩個參考區塊之間的最佳匹配，使用雙向匹配導出當前區塊之運動資訊。在連續運動軌跡之假設下，用於當前圖像500中之當前區塊的指向兩個參考區塊之運動向量MV0 506及MV1 508 (例如MV0指向參考區塊R0 502且MV1 508指向參考區塊R1 504)可與當前圖像與兩個參考圖像之間的時間距離成比例。作為特定情況，在當前圖像在時間上介於兩個參考圖像之間，且當前圖像至兩個參考圖像之時間距離相同時，雙向匹配變為基於鏡像之雙向MV。
如圖10中所展示，藉由發現當前圖像中之模板(當前區塊之上方及/或左側相鄰區塊)與參考圖像中之區塊(與模板相同大小)之間的最佳匹配，使用模板匹配來導出當前區塊之運動資訊。
在編碼器側(例如視訊編碼器200)處，關於是否使用FRUC合併模式用於CU之決策係基於對於正常合併候選者完成之RD (速率失真)成本選擇。亦即，藉由使用RD成本選擇針對CU檢查兩個匹配模式(雙向匹配及模板匹配)兩者。產生最小成本之模式進一步與其他CU模式相比較。若FRUC匹配模式為最高效模式，則FRUC旗標對於CU設定成真且使用相關匹配模式。
在第5次JVET會議中，JVET-E0035進一步描述用於FRUC模板匹配之技術。圖11A中展示現有FRUC模板匹配模式之流程圖。在第一步驟中，自list0參考圖像找到匹配當前區塊之當前模板TC 的模板T0 (及其對應運動資訊MV0)。在第二步驟中，自list1參考圖像找到模板T1 (及其對應運動資訊MV1)。使用所獲得運動資訊MV0及MV1來執行雙向預測以產生當前區塊之預測符。
可藉由在單向預測與雙向預測之間引入雙向模板匹配及自適應性選擇來增強現有FRUC模板匹配模式。相較於圖11A，圖11B中之修改藉由斜體及下劃線突出顯示。
基於現有單向模板匹配來實施雙向模板匹配。如圖11B中所展示，首先在模板匹配之第一步驟中自list0參考圖像發現匹配模板T0 (應注意，此處list0僅僅視為一實例)。實際上，無論list0或list1是否用於第一步驟中，其對於對應參考圖像中之當前模板與初始模板之間的初始失真成本為自適應的。初始模板可用在執行第1模板匹配之前可用的當前區塊之初始運動資訊來判定。在模板匹配之第一步驟中將使用對應於最小初始模板失真成本之參考圖像清單。舉例而言，若對應於list0之初始模板失真成本不大於對應於list1之成本(list0用於模板匹配之第一步驟中，且list1用於第二步驟中)，則更新當前區塊之當前模板TC ，如下：T' C = 2×TC - T0 。
使用經更新當前模板T' C (而非當前模板TC )自第二模板匹配中之list1參考圖像中找出另一匹配模板T1 。因此，藉由聯合地使用list0及list1參考圖像找出匹配模板T1 。此匹配過程被稱作雙向模板匹配。
用於運動補償預測(MCP)之單向預測與雙向預測之間的所提議選擇係基於模板匹配失真。如圖11B中所展示，在模板匹配期間，可將模板T0 與Tc (當前模板)之間的失真計算為cost0，且可將模板T1 與T'C (經更新當前模板)之間的失真計算為cost1。若cost0小於0.5×cost1，則將基於MV0之單向預測應用於FRUC模板匹配模式；否則，應用基於MV0及MV1之雙向預測。應注意，將cost0與0.5×cost1進行比較，此係由於cost1指示模板T1 與T'C (經更新當前模板)之間的差，該差為Tc (當前模板)與其預測0.5×(T0 +T1 )之間的差的2倍。應注意，所提議之方法可能僅應用於PU層級運動改進。子PU層級運動改進保持不變。
下文描述雙向模板匹配。雙向模板分別自list0之初始MV0及list1之MV1產生為兩個預測區塊之加權組合，如圖12中所展示。模板匹配操作包括計算參考圖像中之產生模板與樣本區(初始預測區塊周圍)之間的成本量度。對於兩個參考圖像中之每一者，將產生最小模板成本之MV視為彼清單之經更新MV以替代原始MV。最終，兩個新MV (亦即，如圖12中所展示之MV0'及MV1')用於常規雙向預測。如區塊匹配運動估計中所常用的，絕對差總和(SAD)用作成本量度。在無額外語法元素之傳輸的情況下，所提議之解碼器側運動向量導出(DMVD)應用於具有來自過去之參考圖像的預測及來自未來之參考圖像的預測之雙向預測的合併模式。在JEM4.0中，當針對一個CU選擇LIC、仿射、ATMVP或STMVP合併候選者或FRUC時，不應用DMVD。
下文描述JEM中之雙向光學流。雙向光學流(BIO)為在雙向預測之情況下緊接著區塊樣運動補償執行的像素樣運動改進。由於其補償，精細運動可在區塊內部進行，從而使得BIO導致放大區塊大小以供運動補償。樣本層級運動改進並不需要竭盡式搜尋或傳信，此係由於存在針對每一樣本給出精細運動向量的明確等式。為易於解釋，關於圖13描述實例。
在補償運動區塊後，使為來自參考k (k =0, 1)之明度值，且分別為梯度之水平及豎直分量。假定光學流為有效的，圖13中所展示的運動向量場由以下等式給出： 。(1)
針對每一樣本之運動軌跡將光學流等式與厄米特內插(Hermite interpolation)組合，得出一唯一三階多項式，其最終匹配函數值及導出項兩者。此多項式之值在t =0下為BIO預測： 。(2)
此處(圖13中之T0 )及(圖13中之T1 )指示到如圖13中展示之參考圖框之距離距離及係基於針對Ref0及Ref1之圖像次序計數(POC)值計算的：t0 =POC(當前)-POC(Ref0)，t1 = POC(Ref1)- POC(當前)。若兩個預測均來自相同時間方向(兩者均來自過去或兩者均來自未來)，則正負號係不同。在此情況下，僅在預測不來自相同時刻的情況下應用BIO，兩個參考區域皆具有非零運動，且區塊運動向量與時間距離成比例 。
運動向量場藉由最小化點A與點B中之值之間的差來判定(圖13上之運動軌跡與參考圖框平面之交叉點)。模型僅將本地泰勒擴展(Taylor expansion)之第一線性術語用於：
(3)
(1)中之所有值取決於樣本位置，其目前為止被省略。假定運動在本地環境中為一致的，吾等最小化當前經預測點(i ,j )中心之(2M+1)´(2M+1) 正方形窗口內部之：
(4)
對於此最佳化問題，吾等使用簡化解決方案，在豎直方向上且接著在水平方向上進行首次最小化。其使得
(5)
(6)
其中，
(7)
為了避免被零或極小值除，等式(2)、(3)中引入規律化參數r 及m 。
(8)
(9)
此處，d 為輸入視訊之內部位元深度。
在一些情況下，BIO之MV方案可能由於雜訊或不規律運動而不可靠。因此，在BIO中，MV方案之量值經削減至某一臨限值thBIO。基於當前圖像之所有參考圖像是否均來自一個方向而判定該臨限值。若當前圖像之當前圖像之所有參考圖像來自一個方向，則臨限之值經設定為；否則其經設定為。
使用符合HEVC運動補償程序之操作，在運動補償內插的同時計算BIO之梯度(2D可分離FIR)。根據區塊運動向量之分數部分，對於此2D可分離FIR的輸入與對於運動補償程序及分數位置(fracX ,fracY )的輸入為相同參考圖框樣本。在水平梯度信號首先使用BIOfilterS 而對應於解調整移位d -8之分數位置fracY 豎直插入的情況下，梯度濾波器BIOfilterG 應用於對應於解調整移位18-d 之分數位置fracX 的水平方向中。在使用BIOfilterG 對應於解調整移位d -8之分數位置fracY 豎直應用豎直梯度第一梯度濾波器的情況下，使用BIOfilterS 在對應於解調整移位18-d 之分數位置fracX 的水平方向上執行信號移位。用於梯度計算BIOfilterG及信號移位BIOfilterF之內插濾波器的長度較短(6-抽頭)以便維持合理的複雜度。表1展示用於BIO中之區塊運動向量之不同分數位置的梯度計算的濾波器。表2展示用於BIO中之預測信號產生的內插濾波器。
圖14展示8×4區塊之梯度計算的一實例。對於8×4區塊，寫碼器(例如視訊編碼器200或視訊解碼器300)需要提取運動補償預測符且計算當前區塊內之所有像素以及像素外部兩條線的HOR/VER梯度，此係由於求解每一像素之vx及vy需要位於每一像素中心之窗內的像素之HOR/VER梯度值及運動補償預測符，如等式(4)中所展示。在JEM中，此窗之大小經設定為5×5。因此，寫碼器需要提取運動補償預測符並計算像素外部兩條線之梯度。
表 1 ：用於 BIO 中之梯度計算的濾波器
表 2 ： 用於 BIO 中之預測信號產生的內插濾波器
在JEM中，當兩個預測來自不同參考圖像時，BIO應用於所有雙向預測區塊。當針對CU啟用LIC (本地照明補償)時，停用BIO。
下文描述JEM中之重疊區塊運動補償(OBMC)。重疊區塊運動補償(OBMC)已用於早期視訊標準，例如H.263中。在JEM中，針對所有運動補償(MC)區塊邊界執行OBMC，CU之右側及底部邊界除外。另外，其應用於明度及色度分量兩者。在JEM中，MC區塊對應於寫碼區塊。當CU藉由子CU模式(包括上文所描述之子CU合併、仿射及FRUC模式)寫碼時，CU之每一子區塊為MC區塊。為按統一方式處理CU邊界，針對所有MC區塊邊界在子區塊層級執行OBMC，其中子區塊大小經設定為等於4×4，如圖15A及圖15B中所說明。
當OBMC應用於當前子區塊時，除當前運動向量之外，四個連接相鄰子區塊之運動向量若可用且不等同於當前運動向量，則亦用以導出當前子區塊之預測區塊。基於多個運動向量之此等多個預測區塊經組合以產生當前子區塊之最終預測信號。
如圖16A至圖16D中所展示，基於相鄰子區塊之運動向量的預測區塊表示為PN ，其中N 指示相鄰上方 子區塊、下方 子區塊、左側 子區塊及右側 子區塊的索引，且基於當前子區塊之運動向量的預測區塊表示為PC 。當PN 係基於含有與當前子區塊相同之運動資訊相同的相鄰子區塊之運動資訊時，OBMC不用PN 執行。否則，將PN 之每一像素添加至PC 中之相同像素，亦即將PN 之四列/四行添加至PC 。加權因子{1/4, 1/8, 1/16, 1/32}用於PN ，且加權因子{3/4, 7/8, 15/16, 31/32}用於PC 。例外為小型MC區塊(亦即，當寫碼區塊之高度或寬度等於4或CU經子CU模式寫碼時)，PN 之僅兩列/兩行添加至PC 。在此情況下，加權因子{1/4, 1/8}用於PN ，且加權因子{3/4, 7/8}用於PC 。對於基於豎直(水平)相鄰子區塊之運動向量而產生的PN ，將PN 之同一列(行)的像素添加至具有同一加權因子之PC 。應注意，BIO亦應用於預測區塊Pn之導出。
在JEM中，對於大小小於或等於256個明度樣本之CU，傳信CU層級旗標以指示是否針對當前CU應用OBMC。對於大小大於256個明度樣本或未藉由AMVP模式寫碼之CU，根據預設應用OBMC。在視訊編碼器200處，當OBMC應用於CU時，在運動估計階段期間考慮其影響。藉由使用頂部相鄰區塊及左側相鄰區塊之運動資訊的預測信號用以補償當前CU之原始信號之頂部邊界及左側邊界，且接著應用正常運動估計程序。
可能存在關於JEM中之全部新寫碼工具(諸如在與IBC一起使用時)之一些技術問題。藉由用於IBC操作之技術解決方案解決此等技術問題可產生更佳視訊編碼及解碼，諸如其中可使得視訊編碼器200及視訊解碼器300之操作更佳。作為一個實例，HEVC SCC中之IBC用於一個明度區塊及兩個對應色度區塊連同相同運動向量(具有對於色度分量之潛在按比例調整)。如何指示/傳信用於解耦分割樹下之IBC之運動向量為關於視訊寫碼，且特定言之關於IBC視訊寫碼之技術問題。作為另一實例，已研究數種新運動相關工具。如何將其與IBC組合為關於視訊寫碼，且特定言之關於IBC視訊寫碼之技術問題。
下文描述針對技術問題之技術解決方案之實例。此等解決方案可共同地、單獨地或以其任何組合形式使用。
當分割樹經解耦用於不同色彩分量時，傳信用於區塊之IBC模式及/或IBC運動向量可能僅應用於一個色彩分量(例如明度分量)。可替代地，另外在預先經寫碼分量(例如明度)後經寫碼之分量(例如Cb或Cr)之區塊始終繼承使用彼預先經寫碼分量之對應區塊之IBC模式。
在一個實例中，可利用如美國專利申請案第15/676,314號(美國專利公開案第2018/0048889號)及第15/676,345號(美國專利公開案第2018-0063553號)中所描述的DM (導出)模式旗標或索引。若由DM旗標或索引識別之對應明度區塊經IBC寫碼，則當前色度區塊經設定為經IBC寫碼。在一個實例中，「對應」區塊係指任何預定義映射。舉例而言，對應區塊為當前區塊之中心處之4×4區塊，諸如圖17A中之C3。可替代地，可利用位於其他位置(例如C0、C1、C2、BR、BL、TL、TR)中之區塊，如圖17A中所展示。
當針對區塊啟用所繼承IBC模式時，當前全部區塊之運動資訊可由對應預先經寫碼分量(諸如明度分量)區域之一個對應區塊繼承或導出，或由預設運動向量導出。
當針對區塊啟用所繼承IBC模式時，當前全部區塊內之子區塊之運動資訊可由預先經寫碼分量之區域內之多個對應區塊繼承或導出，或由預設運動向量導出。舉例而言，如在下文更詳細地描述，假設預先經寫碼分量為明度分量，則表示為圖17B中之陰影區塊706之Cb區塊可自對應明度分割繼承運動及模式資訊。若對應明度區塊(例如覆蓋TL之分割及覆蓋C2之分割)經IBC寫碼，則相關聯的運動向量可因此進一步按比例調整。一實例描繪於圖18A及圖18B中。
舉例而言，圖17A說明根據明度QTBT結構分割之明度分量之明度樣本700，該明度QTBT結構類似於圖2A中所說明之分割樹。舉例而言，圖17A中之明度樣本700之分割與圖2B中所說明之分割相同。基於第一分割樹分割明度樣本700產生包括複數個區塊之明度分割701 (以加粗框展示)，該複數個區塊包括明度區塊704A及明度區塊704B作為兩個實例。明度區塊704A可在IBC預測模式中預測且具有＜-8, -6＞之區塊向量，且明度區塊704B可在IBC預測模式中經預測且具有＜-12, -4＞之區塊向量。
圖17B說明根據色度QTBT結構分割之色度分量之色度樣本702A。色度樣本702A與明度樣本700彼此對應且為相同CU之部分。在所說明之實例中，基於不同於用於分割明度樣本700之第一分割樹的第二分割樹來分割色度樣本702A。根據第二分割樹分割色度樣本702A產生色度區塊706。
在圖17A及圖17B之實例中，色度區塊706對應於明度分割701。然而，明度分割701包括使用IBC預測模式預測之兩個區塊：區塊704A及區塊704B。因此，可能不清楚色度區塊706應繼承哪一區塊向量(例如區塊704A之區塊向量或區塊704B之區塊向量)。
圖18A為圖17A之再現。根據本發明中描述之技術且如圖18B中所說明，視訊編碼器200及視訊解碼器300可基於用於明度樣本700 (如藉由色度分量之色度樣本702B所說明)之分割樹來分割色度區塊706。舉例而言，圖17B之色度區塊706為圖18B中之色度分割710，其中色度分割710以與明度分割701相同之方式進行分割。
視訊編碼器200及視訊解碼器300可分割色度區塊706以產生子區塊708A及708B。在圖18B中所說明之實例中，子區塊708A與明度區塊704A一致，且子區塊708B與明度區塊704B一致。舉例而言，色度子區塊708A與明度區塊704A為相同形狀，且色度子區塊708A處於與明度區塊704A在明度分割701內之相同相對位置在色度分割710內。在此情況下，色度子區塊708A與明度區塊704A之間存在一對一對應性。此外，色度子區塊708B與明度區塊704B為相同形狀，且色度子區塊708B以明度區塊704B在明度分割701內之相同相對位置處於色度分割710內。在此情況下，色度子區塊708B與明度區塊704B之間存在一對一對應性。
在一或多個實例中，視訊編碼器200及視訊解碼器300可向色度子區塊708A指派明度區塊704A之區塊向量(例如色度子區塊708A自明度區塊704A繼承區塊向量)。視訊編碼器200及視訊解碼器300可向色度子區塊708B指派明度區塊708A之區塊向量(例如色度子區塊708B自明度區塊704B繼承區塊向量)。此外，視訊編碼器200及視訊解碼器300可執行區塊向量之按比例調整。舉例而言，用於明度區塊704A之區塊向量為＜-8, -6＞且用於明度區塊704B之區塊向量為＜-12, -4＞。在此實例中，視訊編碼器200及視訊解碼器300可用x分量及y分量除以二，此係由於明度樣本700為4×色度樣本702A或702B的大小(例如4:2:2次取樣格式)。如所說明，色度子區塊708A之區塊向量為＜-4, -3＞，其中-4為-8除以2，且-3為-6除以2。色度子區塊708B之區塊向量為＜-6, -2＞，其中-6為-12除以，且-2為-4除以2。
以此方式，視訊寫碼器(例如視訊編碼器200或視訊解碼器300)可經組態以根據第一分割樹(例如如圖17A及圖18A中所說明之明度QTBT結構)分割第一色彩分量之樣本(例如明度分量之明度樣本700)，且根據第二分割樹(例如如圖17B中所說明之色度QTBT結構)分割第二色彩分量(例如色度分量)之樣本。第二分割樹不同於第一分割樹，且第二色彩分量不同於第一色彩分量。
視訊寫碼器可判定對應於第二色彩分量之一區塊的第一色彩分量之複數個區塊(例如分割701之區塊對應於色度區塊706)。第一色彩分量之複數個區塊由根據第一分割樹分割第一色彩分量之樣本而產生(例如明度分量之明度樣本700經分割以產生包括複數個區塊之明度分割701)，且第二色彩分量之區塊(例如區塊706)由根據第二分割樹分割第二色彩分量之樣本而產生。
在本發明中描述之一或多個實例中，視訊寫碼器可基於第一分割樹而分割第二色彩分量之區塊以產生各自對應於第一色彩分量之複數個區塊中之一區塊的第二色彩分量之子區塊。舉例而言，如圖18B中所說明，對應於色度區塊706之色度分割710係基於明度QTBT而經分割以產生色度子區塊708A及708B。色度子區塊708A及708B各自對應於明度區塊704A及704B。
視訊寫碼器可基於第一色彩分量之複數個區塊之一或多個對應區塊的一或多個區塊向量而判定用於在塊內複製(IBC)預測模式中預測之第二色彩分量之子區塊中之一或多者的一或多個區塊向量。舉例而言，色度子區塊708A及708B係在IBC預測模式中經預測，且視訊寫碼器可基於用於明度區塊704A及704B之區塊向量而判定用於色度子區塊708A及708B的區塊向量。
視訊寫碼器可基於一或多個經判定區塊向量來寫碼第二色彩分量之區塊。舉例而言，當寫碼為編碼時，對於色度子區塊708A，視訊編碼器200可基於子區塊708A之區塊向量而判定預測區塊，自子區塊708A減去預測區塊以產生殘餘區塊及指示殘餘區塊之信號資訊。當寫碼為解碼時，對於色度子區塊708A，視訊解碼器300可基於子區塊708A之區塊向量來判定預測區塊，判定子區塊708A之殘餘區塊(例如基於經傳信資訊)，且將殘餘區塊添加至預測區塊以重建構色度區塊706之子區塊708。
替代地，對於某些子區塊(set 0)，可繼承運動資訊，而對於其他子區塊(set 1)，可自set 0或自預設運動向量導出運動資訊。此外，在一個實例中，傳信指示使用所繼承IBC模式用於其餘色彩分量之各者或全部之一個模式索引。對於每一色彩分量，或分別對於明度及色度分量，旗標可在SPS/VPS/PPS/圖塊標頭/影像塊標頭中傳信以指示是否可啟用或停用IBC。
下文描述與OBMC之區塊內複製相互作用。在一個實例中，可始終停用OBMC。因此，當區塊經IBC寫碼時不需要傳信OBMC旗標。可替代地，可在指示IBC模式(例如指向當前圖像之參考索引；或表示IBC模式之模式索引)前傳信OBMC旗標；在此情況下，略過IBC指示之傳信。
在一個實例中，亦可啟用OBMC，但在限制待以相同寫碼模式寫碼之相鄰區塊之情況下。舉例而言，若當前區塊經IBC模式寫碼且當前區塊之相鄰區塊中之一者存在但相鄰區塊未經IBC模式寫碼，則此相鄰區塊經設定為不可用。亦即，運動參數不用於用於當前區塊之OBMC程序中。舉例而言，若當前區塊經非IBC模式寫碼，則其相鄰區塊中之一者存在，但若經IBC模式寫碼，則此相鄰區塊經設定為不可用。亦即，運動參數不用於用於當前區塊之OBMC程序中。
在一個實例中，亦可啟用OBMC且不管相鄰區塊之經寫碼模式可利用現有相鄰區塊之全部運動資訊。此外，可替代地，加權因子可進一步視當前區塊之經寫碼模式而定。此外，可替代地，加權因子可進一步視當前區塊及相鄰區塊是否共用相同經寫碼模式而定。
下文描述用區塊內複製之子區塊。可應用子區塊IBC，其中一個區塊係使用IBC模式寫碼；然而，對於區塊內之每一子區塊，運動向量(例如區塊向量)可能不同。舉例而言，用於子區塊708A之區塊向量與用於子區塊708B之區塊向量可能不同。
在一個實例中，基礎運動向量可經傳信。子區塊運動向量可視基礎運動向量而定。在一個實例中，基礎運動向量可經傳信為最佳運動向量減運動向量預測符之間的差值。運動向量預測符可為自空間及/或時間相鄰區塊之運動向量導出之一者。在一個實例中，基礎運動向量可為用於傳信與子區塊相關聯之真實運動向量的預測符。在一個實例中，基礎運動向量可為與多個子區塊中之一者相關聯之運動向量。因此，不再需要傳信用於子區塊之運動向量。在一個實例中，基礎運動向量可用作起點且因此子區塊之運動向量可經導出(或改進) (例如使用模板匹配方法)。
在一些實例中，圖塊層級索引可經傳信以指示用於經IBC寫碼區塊之運動向量之精確度。可替代地，索引可在區塊層級/區域層級/影像塊/PPS/SPS/VPS中經傳信。在一個實例中，MV精確度之候選者可包括例如整數像素、四分之一像素、二分之一像素、兩個像素、四個像素。在一個實例中，MV精確度之候選者集合可視經寫碼資訊而定，諸如圖塊類型、時間層索引、運動向量範圍。
下文描述與仿射運動之區塊內複製相互作用。在一個實例中，當區塊經仿射模式寫碼時，IBC模式未經傳信。在一個實例中，當區塊經IBC模式寫碼時仿射模式未經傳信。舉例而言，視訊寫碼器可判定區塊在IBC預測模式中經寫碼。視訊寫碼器可基於區塊在IBC預測模式中經寫碼之判定而進行避免傳信或解析指示是否啟用仿射模式用於區塊之資訊中之至少一者。舉例而言，視訊編碼器200可不傳信指示是否啟用仿射模式用於區塊之資訊，且視訊解碼器300可不解析指示是否啟用仿射模式用於區塊之資訊。
與經IBC寫碼之區塊相關聯的運動可經視為習知轉譯運動。因此，描述於2017年11月14日提交之美國申請案第62/586 117號及2018年11月13日提交之美國申請案第16/188,774號中之實例技術可仍然起作用。替代地，第三運動類別(除了現有仿射及習知轉譯運動之外)經定義。且對於合併模式，若經解碼合併索引指示使用IBC模式，則僅來自相鄰區塊之屬於第三類別的運動資訊可經添加至合併候選清單中。
在一些實例中，可能需要不允許採用IBC運動向量作為ATMVP導出程序之起點。在一個實例中，提取運動之圖像不能為當前圖像。在一個實例中，如在當前ATMVP設計中，用於提取運動資訊之起點來自第一可用空間合併候選者。藉由所提議方法，第一可用非IBC運動用作起點。舉例而言，若第一可用空間合併候選者與IBC運動資訊相關聯且第二可用空間合併候選者與習知轉譯運動相關聯，則第2可用空間合併候選者用作起點。若在提取運動時子區塊中之一者經IBC模式寫碼，則其可經視為ATMVP程序中之框內模式。在此情況下，例如預設運動可經視為子區塊之運動。可替代地，來自相鄰子區塊之運動可用作子區塊之運動。
作為一個實例，視訊寫碼器可判定第一色彩分量或第二色彩分量之區塊係使用ATMVP預測，判定用於在區塊上執行ATMVP之參考圖像中之一或多個區塊，判定參考圖像中之一或多個區塊中之至少一個區塊係在IBC預測模式中經預測，且對區塊執行ATMVP操作而無需使用用於在IBC預測模式中經預測之參考圖像中之至少一個區塊的區塊向量。
下文描述與照明補償(IC)之區塊內複製相互作用。在一個實例中，當區塊經IC模式寫碼時，IBC模式未經傳信。在一個實例中，當區塊經IBC模式寫碼時，IC模式未經傳信。
舉例而言，視訊寫碼器可判定區塊在IBC預測模式中經寫碼，且基於區塊在IBC預測模式中經寫碼之判定避免傳信或解析資訊中之至少一者，該資訊指示是否啟用照明補償(IC)模式用於區塊。舉例而言，視訊編碼器200可不傳信指示是否啟用IC模式用於第二區塊之資訊，且視訊解碼器300可不解析指示是否啟用IC模式用於第二區塊之資訊。
在一個實例中，IC模式可應用於經IBC寫碼之區塊。在此情況下，參考區塊之相鄰樣本在當前區塊之相同圖像中。
下文描述與自適應運動向量精確度之區塊內複製相互作用。在一個實例中，僅在區塊經MV精確度(諸如在一或多個整數像素規模下之運動精確度)之預定義子集寫碼時傳信IBC模式。在一個實例中，當區塊經IBC模式寫碼時，MV精確度之子集未經傳信。在一個實例中，當區塊經IBC模式寫碼時，MV精確度未經傳信。精確度可經限定於較高層級中，諸如圖塊標頭中。
舉例而言，視訊寫碼器可判定第一色彩分量或第二色彩分量之第一區塊未在IBC預測模式中經預測且判定用於第一區塊之第一運動向量精確度集合。視訊寫碼器可判定第一色彩分量或第二色彩分量之第二區塊係在IBC預測模式中經預測且判定用於第二區塊之第二運動向量精確度集合。第二運動向量精確度集合為第一運動向量精確度集合之子集。
下文描述與雙向光流(BIO)之區塊內複製相互作用。在一個實例中，若兩個運動向量中之至少一者係指當前圖像，亦即兩個運動向量中之至少一者為IBC中之區塊向量，則不進行BIO。舉例而言，視訊寫碼器可判定區塊係經向量寫碼，該向量係指包括區塊之圖像。在此實例中，視訊寫碼器可基於經向量寫碼之區塊而避免在該區塊上執行BIO，該向量係指包括區塊之圖像。
在另一實例中，若兩個運動向量中之至少一者係指當前圖像，亦即兩個運動向量中之至少一者為IBC中之區塊向量，則進行BIO。在此情況下，用於IBC之當前圖框及參考圖框(實際上其亦為當前圖框)之POC差值等於零。不等於0之固定數值可用於替代BIO導出，諸如Eq(3)-Eq(7)中之POC差值。
下文描述與圖框率上變頻(FRUC)之區塊內複製相互作用。在一個實例中，若晶種運動向量係指當前圖像，則不能進行模板匹配。在一個實例中，若晶種運動向量係指當前圖像，則藉由與當前圖像相同之參考圖像進行模板匹配。在一個實例中，若兩個運動向量中之至少一者係指當前圖像，亦即，兩個運動向量中之至少一者為IBC中之區塊向量，則不能進行雙文字匹配。舉例而言，視訊寫碼器可判定區塊係經向量寫碼，該向量係指包括區塊之圖像。視訊寫碼器可基於經向量寫碼之區塊而避免在該區塊上執行雙文字匹配，該向量係指包括該區塊之圖像。
圖3為說明可執行本發明之技術的實例視訊編碼器200的方塊圖。出於解釋之目的而提供圖3，且不應將該圖視為對如本發明中廣泛例示及描述之技術的限制。出於解釋之目的，本發明在諸如HEVC視訊寫碼標準及研發中之H.266視訊寫碼標準(例如VCC)的視訊寫碼標準之情況下描述視訊編碼器200。然而，本發明之技術不限於此等視訊寫碼標準，且大體可適用於視訊編碼及解碼。
在圖3之實例中，視訊編碼器200包括視訊資料記憶體230、模式選擇單元202、殘餘產生單元204、變換處理單元206、量化單元208、反量化單元210、反變換處理單元212、重建構單元214、濾波器單元216、經解碼圖像緩衝器(DPB) 218及熵編碼單元220。
視訊資料記憶體230可儲存待由視訊編碼器200之組件編碼的視訊資料。視訊編碼器200可自例如視訊源104 (圖1)接收儲存於視訊資料記憶體230中之視訊資料。DPB 218可充當參考圖像記憶體，其儲存參考視訊資料以供用於藉由視訊編碼器200預測後續視訊資料。視訊資料記憶體230及DPB 218可由諸如動態隨機存取記憶體(DRAM)之多種記憶體器件中之任一者形成，包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。視訊資料記憶體230及DPB 218可由同一記憶體器件或單獨記憶體器件提供。在各種實例中，視訊資料記憶體230可在晶片上具有視訊編碼器200之其他組件，如所說明，或晶片外與彼等組件有關。
在本發明中，對視訊資料記憶體230之參考不應解釋為將記憶體限於在視訊編碼器200內部(除非特定地如此描述)，或將記憶體限於在視訊編碼器200外部(除非特定地如此描述)。實情為，對視訊資料記憶體230之參考應理解為儲存視訊編碼器200所接收以用於編碼的視訊資料(例如待編碼的當前區塊之視訊資料)的參考記憶體。圖1之記憶體106亦可提供對來自視訊編碼器200之各種單元的輸出的暫時儲存。
圖3之各種單元經說明以輔助理解藉由視訊編碼器200執行的操作。單元可經實施為固定功能電路、可程式化電路或其組合。固定功能電路是指提供特定功能性且預設可經執行之操作的電路。可程式化電路係指可經程式化以執行各種任務並在可經執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可執行使得可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如以接收參數或輸出參數)，但固定功能電路執行的操作之類型通常係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。
視訊編碼器200可包括由可程式化電路形成的算術邏輯單元(ALU)、基本功能單元(EFU)、數位電路、類比電路及/或可程式化核心。在視訊編碼器200之操作係使用由可程式化電路執行之軟體執行的實例中，記憶體106 (圖1)可儲存視訊編碼器200接收並執行的軟體之目標程式碼，或視訊編碼器200內之另一記憶體(未展示)可儲存此類指令。
視訊資料記憶體230經組態以儲存所接收視訊資料。視訊編碼器200可自視訊資料記憶體230擷取視訊資料之圖像，並將視訊資料提供至殘餘產生單元204及模式選擇單元202。視訊資料記憶體230中之視訊資料可為待編碼之原始視訊資料。
模式選擇單元202包括運動估計單元222、運動補償單元224及框內預測單元226。模式選擇單元202可包括額外功能單元以根據其他預測模式執行視訊預測。作為實例，模式選擇單元202可包括調色板單元、區塊內複製單元(其可為運動估計單元222及/或運動補償單元224之部分)、仿射單元、線性模型(LM)單元或其類似者。
模式選擇單元202大體協調多個編碼遍次以測試編碼參數之組合，及用於此等組合之所得速率失真值。編碼參數可包括CTU至CU之分割、用於CU之預測模式、用於CU之殘餘資料的變換類型、用於CU之殘餘資料的量化參數等。模式選擇單元202可最終選擇相比其他所測試組合具有更佳速率失真值的編碼參數之組合。
視訊編碼器200可將自視訊資料記憶體230擷取之圖像分割成一系列CTU，並將一或多個CTU囊封於圖塊內。模式選擇單元202可根據樹狀結構分割圖像之CTU，諸如上文所描述之QTBT結構或HEVC之四分樹結構。如上文所描述，視訊編碼器200可用根據樹狀結構分割CTU來形成一或多個CU。此CU通常亦可被稱作「視訊區塊」或「區塊」。
大體而言，模式選擇單元202亦控制其組件(例如運動估計單元222、運動補償單元224及框內預測單元226)以產生用於當前區塊(例如當前CU，或在HEVC中，PU及TU之重疊部分)之預測區塊。對於當前區塊之框間預測，運動估計單元222可執行運動搜尋以識別一或多個參考圖像(例如儲存於DPB 218中之一或多個先前寫碼圖像)中一或多個緊密匹配的參考區塊。詳言之，運動估計單元222可例如根據絕對差總和(SAD)、平方差總和(SSD)、平均值絕對差(MAD)、均方差(MSD)或其類似者來計算表示潛在參考區塊與當前區塊類似程度的值。運動估計單元222可使用當前區塊與所考慮之參考區塊之間的逐樣本差大體執行此等計算。運動估計單元222可識別具有由此等計算產生之最小值的參考區塊，從而指示最緊密匹配當前區塊之參考區塊。
運動估計單元222可形成一或多個運動向量(MV)，其關於當前圖像中之當前區塊的位置定義參考圖像中之參考區塊的位置。運動估計單元222可接著將運動向量提供至運動補償單元224。舉例而言，對於單向框間預測，運動估計單元222可提供單個運動向量，而對於雙向框間預測，運動估計單元222可提供兩個運動向量。運動補償單元224可接著使用運動向量產生預測區塊。舉例而言，運動補償單元224可使用運動向量擷取參考區塊之資料。作為另一實例，若運動向量具有分數樣本精確度，則運動補償單元224可根據一或多個內插濾波器為預測區塊內插值。此外，對於雙向框間預測，運動補償單元224可擷取用於藉由各別運動向量識別之兩個參考區塊的資料，並例如經由逐樣本求平均值或經加權求平均值來組合所擷取之資料。
作為另一實例，對於框內預測，或框內預測寫碼，框內預測單元226可自相鄰當前區塊之樣本產生預測區塊。舉例而言，對於方向模式，框內預測單元226可在數學上大體組合相鄰樣本之值，且在橫跨當前區塊之所定義方向上填入此等計算值以產生預測區塊。作為另一實例，對於DC模式，框內預測單元226可計算至當前區塊之相鄰樣本的平均值，並產生預測區塊以針對預測區塊之每一樣本包括此所得平均值。
模式選擇單元202將預測區塊提供至殘餘產生單元204。殘餘產生單元204自視訊資料記憶體230接收當前區塊之原始的未經寫碼版本，且自模式選擇單元202接收預測區塊之原始的未經寫碼版本。殘餘產生單元204計算當前區塊與預測區塊之間的逐樣本差。所得逐樣本差定義用於當前區塊之殘餘區塊。在一些實例中，殘餘產生單元204亦可判定殘餘區塊中之樣本值之間的差，以使用殘餘差分脈碼調變(RDPCM)產生殘餘區塊。在一些實例中，可使用執行二進位減法之一或多個減法器電路形成殘餘產生單元204。
在模式選擇單元202將CU分割成PU之實例中，每一PU可與明度預測單元及對應色度預測單元相關聯。視訊編碼器200及視訊解碼器300可支援具有各種大小之PU。如上文所指示，CU之大小可指CU之明度寫碼區塊的大小，且PU之大小可指PU之明度預測單元的大小。假定特定CU之大小為2N×2N，則視訊編碼器200可支援用於框內預測的2N×2N或N×N之PU大小，及用於框間預測的2N×2N、2N×N、N×2N、N×N或類似大小之對稱PU大小。視訊編碼器20及視訊解碼器30亦可支援用於框間預測的2N×nU、2N×nD、nL×2N及nR×2N之PU大小的非對稱分割。
在模式選擇單元202未將CU進一步分割為PU的實例中，每一CU可與明度寫碼區塊及對應色度寫碼區塊相關聯。如上，CU之大小可指CU之明度寫碼區塊的大小。視訊編碼器200及視訊解碼器300可支援2N×2N、2N×N或N×2N之CU大小。
對於諸如區塊內複製模式寫碼、仿射模式寫碼及線性模型(LM)模式寫碼之其他視訊寫碼技術，如少數實例，模式選擇單元202經由與寫碼技術相關聯之各別單元產生用於正編碼之當前區塊的預測區塊。在諸如調色板模式寫碼的一些實例中，模式選擇單元202可能不會產生預測區塊，而是產生指示基於所選擇調色板重建構區塊之方式的語法元素。在此等模式中，模式選擇單元202可將此等語法元素提供至熵編碼單元220以待編碼。
如上文所描述，殘餘產生單元204接收用於當前區塊及對應預測區塊之視訊資料。殘餘產生單元204隨後產生用於當前區塊之殘餘區塊。為產生殘餘區塊，殘餘產生單元204計算預測區塊與當前區塊之間的逐樣本差。因此，
變換處理單元206將一或多個變換應用於殘餘區塊以產生變換係數之區塊(在本文中被稱作「變換係數區塊」)。變換處理單元206可將各種變換應用於殘餘區塊以形成變換係數區塊。舉例而言，變換處理單元206可將離散餘弦變換(DCT)、定向變換、Karhunen-Loeve變換(KLT)或概念上類似之變換應用於殘餘區塊。在一些實例中，變換處理單元206可對殘餘區塊執行多重變換，例如初級變換及次級變換，諸如旋轉變換。在一些實例中，變換處理單元206未將變換應用於變換區塊。
量化單元208可量化變換係數區塊中之變換係數，以產生經量化變換係數區塊。量化單元208可根據與當前區塊相關聯之量化參數(QP)值量化變換係數區塊之變換係數。視訊編碼器200 (例如經由模式選擇單元202)可藉由調節與CU相關聯之QP值來調節應用於與當前區塊相關聯之係數區塊的量化程度。量化可引入資訊之損耗，且因此，經量化變換係數可相比由變換處理單元206產生之原始變換係數具有較低精確度。
反量化單元210及反變換處理單元212可將反量化及反變換分別應用於經量化變換係數區塊，以用變換係數區塊重建構殘餘區塊。重建構單元214可基於經重建構殘餘區塊及藉由模式選擇單元202產生之預測區塊來產生對應於當前區塊之經重建構區塊(儘管可能具有一些程度的失真)。舉例而言，重建構單元214可將經重建構殘餘區塊之樣本添加至來自模式選擇單元202產生之預測區塊的對應樣本，以產生經重建構區塊。
濾波器單元216可對經重建區塊執行一或多個濾波操作。舉例而言，濾波器單元216可執行解區塊操作以沿CU之邊緣減少區塊效應偽影。如藉由虛線所說明，在一些實例中，可略過濾波器單元216之操作。
視訊編碼器200將經重建區塊儲存於DPB 218中。舉例而言，在不需要濾波器單元216之操作的實例中，重建構單元214可將經重建區塊儲存至DPB 218。在需要濾波器單元216之操作的實例中，濾波器單元216可將經濾波重建區塊儲存至DPB 218。運動估計單元222及運動補償單元224可自DPB 218擷取由經重建構(及可能經濾波)區塊形成之參考圖像，以對隨後經編碼圖像之區塊進行框間預測。另外，框內預測單元226可使用當前圖像之DPB 218中的經重建區塊來對當前圖像中之其他區塊進行框內預測。
大體而言，熵編碼單元220可熵編碼自視訊編碼器200之其他功能組件接收的語法元素。舉例而言，熵編碼單元220可熵編碼來自量化單元208之經量化變換係數區塊。作為另一實例，熵編碼單元220可熵編碼來自模式選擇單元202之預測語法元素(例如對於框間預測之運動資訊，或對於框內預測之框內模式資訊)。熵編碼單元220可對語法元素(其為視訊資料之另一實例)執行一或多個熵編碼操作以產生經熵編碼資料。舉例而言，熵編碼單元220可對資料執行CABAC操作、上下文自適應可變長度寫碼(CAVLC)操作、可變至可變(V2V)長度寫碼操作、基於語法之上下文自適應二位元算術寫碼(SBAC)操作、概率區間分割熵(PIPE)寫碼操作、指數哥倫布編碼(Exponential-Golomb encoding)操作或另一類型之熵編碼操作。在一些實例中，熵編碼單元220可在旁路模式中操作，其中語法元素未經熵編碼。
視訊編碼器200可輸出位元串流，該位元串流包括重建構圖塊或圖像之區塊所需的經熵編碼語法元素。特定言之，熵編碼單元220可輸出該位元串流。
上文所描述之操作關於區塊進行描述。此描述應理解為用於明度寫碼區塊及/或色度寫碼區塊的操作。如上文所描述，在一些實例中，明度寫碼區塊及色度寫碼區塊為CU之明度及色度分量。在一些實例中，明度寫碼區塊及色度寫碼區塊為PU之明度及色度分量。
在一些實例中，無需針對色度寫碼區塊重複關於明度寫碼區塊執行之操作。作為一個實例，無需重複識別明度寫碼區塊之運動向量(MV)及參考圖像的操作用於識別色度區塊之MV及參考圖像。實情為，明度寫碼區塊之MV可按比例調整以判定色度區塊之MV，且參考圖像可為相同的。作為另一實例，框內預測程序可針對明度寫碼區塊及色度寫碼區塊為相同的。
視訊編碼器200表示經組態以編碼視訊資料之器件之實例，包括經組態以儲存視訊資料之記憶體及實施於電路中且經組態以執行本發明中描述之實例編碼操作的一或多個處理單元，該等操作包括對於區塊內複製與上文所描述之不同寫碼模式之間的各種相互作用的操作。
圖4為說明可執行本發明之技術的實例視訊解碼器300的方塊圖。出於解釋之目的而提供圖4，且其並不限制如本發明中所廣泛例示及描述之技術。出於解釋之目的，本發明描述視訊解碼器300係根據JEM及HEVC之技術來描述的。然而，本發明之技術可由經組態為其他視訊寫碼標準的視訊寫碼器件執行。
在圖4之實例中，視訊解碼器300包括經寫碼圖像緩衝器(CPB)記憶體320、熵解碼單元302、預測處理單元304、反量化單元306、反變換處理單元308、重建構單元310、濾波器單元312及經解碼圖像緩衝器(DPB) 314。預測處理單元304包括運動補償單元316及框內預測單元318。預測處理單元304可包括根據其他預測模式執行預測的額外單元。作為實例，預測處理單元304可包括調色板單元、區塊內複製單元(其可形成運動補償單元316之部分)、仿射單元、線性模型(LM)單元或其類似者。在其他實例中，視訊解碼器300可包括較多、較少或不同功能組件。
CPB記憶體320可儲存待由視訊解碼器300之組件解碼之視訊資料，諸如經編碼視訊位元串流。可例如自電腦可讀媒體110 (圖1)獲得儲存於CPB記憶體320中之視訊資料。CPB記憶體320可包括儲存來自經編碼視訊位元串流之經編碼視訊資料(例如語法元素)的CPB。此外，CPB記憶體320可儲存除經寫碼圖像之語法元素之外的視訊資料，諸如表示來自視訊解碼器300之各種單元之輸出的臨時資料。DPB 314通常儲存經解碼圖像，其中視訊解碼器300可在解碼經編碼視訊位元串流之後續資料或圖像時輸出該等經解碼圖像及/或將其用作參考視訊資料。CPB記憶體320及DPB 314可由諸如動態隨機存取記憶體(DRAM)之多種記憶體器件中之任一者形成，包括同步DRAM (SDRAM)、磁阻式RAM (MRAM)、電阻式RAM (RRAM)或其他類型之記憶體器件。CPB記憶體320及DPB 314可由同一記憶體器件或單獨記憶體器件提供。在各種實例中，CPB記憶體320可與視訊解碼器300之其他組件一起在晶片上，或相對於彼等組件在晶片外。
另外地或可替代地，在一些實例中，視訊解碼器300可自記憶體120 (圖1)擷取經寫碼視訊資料。亦即，記憶體120可用CPB 記憶體320儲存如上文所論述之資料。同樣，當視訊解碼器300之一些或所有功能性實施於軟體中以藉由視訊解碼器300之處理電路執行時，記憶體120可儲存待由視訊解碼器300執行之指令。
圖4中所展示之各種單元經說明以輔助理解由視訊解碼器300執行的操作。單元可經實施為固定功能電路、可程式化電路或其組合。類似於圖3，固定功能電路指代提供特定功能性，且在可執行之操作上預設定的電路。可程式化電路係指可經程式化以執行各種任務並在可經執行之操作中提供可撓式功能性的電路。舉例而言，可程式化電路可執行使得可程式化電路以由軟體或韌體之指令定義的方式操作的軟體或韌體。固定功能電路可執行軟體指令(例如以接收參數或輸出參數)，但固定功能電路執行的操作之類型通常係不可變的。在一些實例中，單元中之一或多者可為不同電路區塊(固定功能或可程式化)，且在一些實例中，一或多個單元可為積體電路。
視訊解碼器300可包括ALU、EFU、數位電路、類比電路及/或由可程式化電路形成之可程式化核心。在視訊解碼器300之操作由執行於可程式化電路上之軟體執行的實例中，晶片上或晶片外記憶體可儲存視訊解碼器300接收並執行之軟體之指令(例如目標碼)。
熵解碼單元302可自CPB接收經編碼視訊資料，並熵解碼視訊資料以再生語法元素。預測處理單元304、反量化單元306、反變換處理單元308、重建構單元310及濾波器單元312可基於自位元串流中提取之語法元素而產生經解碼視訊資料。
大體而言，視訊解碼器300在逐區塊基礎上重建構圖像。視訊解碼器300可單獨地對每一區塊執行重建構操作(其中當前正重建構(亦即經解碼)之區塊可被稱為「當前區塊」)。
熵解碼單元302可熵解碼定義經量化變換係數區塊之經量化變換係數的語法元素，以及諸如量化參數(QP)及/或變換模式指示之變換資訊。反量化單元306可使用與經量化變換係數區塊相關聯之QP判定量化程度，且同樣判定反量化程度供反量化單元306應用。反量化單元306可例如執行按位元左移操作以將經量化變換係數反量化。反量化單元306可從而形成包括變換係數之變換係數區塊。
在反量化單元306形成變換係數區塊後，反變換處理單元308可將一或多個反變換應用於變換係數區塊以產生與當前區塊相關聯的殘餘區塊。舉例而言，反變換處理單元308可將反DCT、反整數變換、反Karhunen-Loeve變換(KLT)、反旋轉變換、反定向變換或另一反變換應用於係數區塊。
此外，預測處理單元304根據藉由熵解碼單元302熵解碼之預測資訊語法元素產生預測區塊。舉例而言，若預測資訊語法元素指示當前區塊經框間預測，則運動補償單元316可產生預測區塊。在此情況下，預測資訊語法元素可指示DPB 314中之參考圖像(自其擷取參考區塊)，以及運動向量，其識別參考圖像中之參考區塊相對於當前圖像中之當前區塊之位置的位置。運動補償單元316可總體上以實質上類似於關於運動補償單元224 (圖3)所描述之方式的方式執行框間預測程序。
作為另一實例，若預測資訊語法元素指示當前區塊經框內預測，則框內預測單元318可根據藉由預測資訊語法元素指示之框內預測模式產生預測區塊。同樣，框內預測單元318可總體上以實質上類似於關於框內預測單元226 (圖3)所描述之方式的方式執行框內預測程序。框內預測單元318可將相鄰樣本之資料自DPB 314擷取至當前區塊。
重建構單元310可使用預測區塊及殘餘區塊重建構當前區塊。舉例而言，重建構單元310可將殘餘區塊之樣本添加至預測區塊之對應樣本以重建構當前區塊。
濾波器單元312可對經重建構區塊執行一或多個濾波操作。舉例而言，濾波器單元312可執行解區塊操作以沿經重建區塊之邊緣減少區塊效應偽影。如藉由圖4中的虛線所說明，無需在所有實例中執行濾波器單元312之操作。
視訊解碼器300可將經重建構區塊儲存於DPB 314中。如上文所論述，DPB 314可將參考資訊提供至預測處理單元304，諸如用於框內預測之當前圖像及用於後續運動補償之先前經解碼圖像的樣本。此外，視訊解碼器300可輸出來自DPB之經解碼圖像用於後續呈現於顯示器件上，諸如圖1之顯示器件118。
以此方式，視訊解碼器300表示包括經組態以儲存視訊資料之記憶體及實施於電路中且經組態以執行本發明中描述之實例解碼操作的一或多個處理單元之視訊解碼器件之實例，該等操作包括對於區塊內複製與上文所描述之不同寫碼模式之間的各種相互作用的操作。
圖19為說明寫碼視訊資料之實例方法的流程圖。為易於描述，實例技術係關於經組態以寫碼(例如編碼或解碼)之視訊寫碼器(例如視訊編碼器200或視訊解碼器300)所描述。在圖19中所說明之實例中，視訊寫碼器可自記憶體(例如視訊資料記憶體230、DPB 218、或用於視訊編碼器200之某一其他視訊資料記憶體或CPB 記憶體320、DPB 314、或用於視訊解碼器300之某一其他視訊資料記憶體)擷取視訊資料，諸如第一色彩分量及第二色彩分量之樣本。
視訊編碼器200可根據第一分割樹分割第一色彩分量之樣本且根據第二分割樹分割第二色彩分量之樣本。視訊編碼器200可傳信視訊解碼器300指示分割之資訊使得視訊解碼器300可判定視訊解碼器300針對哪些區塊接收資訊。
在本發明中描述之實例中，第二分割樹與第一分割樹不同，且第二色彩分量與第一色彩分量不同。第一色彩分量為明度分量而第二色彩分量為色度分量，或反之亦然。作為一個實例，視訊寫碼器可根據明度QTBT結構(如圖2B、圖17A及圖18A中所說明)分割第一色彩分量之樣本。視訊寫碼器可根據如圖17B中所說明之色度QTBT結構分割第二色彩分量之樣本。
視訊寫碼器可判定對應於第二色彩分量之一區塊的第一色彩分量之複數個區塊(800)。如上文所描述，第一色彩分量之複數個區塊係藉由根據第一分割樹(例如圖2B、圖17A及圖18A之明度QTBT結構)分割第一色彩分量之樣本而產生，且第二色彩分量之區塊係藉由根據第二分割樹(例如圖17B之色度QTBT結構)分割第二色彩分量之樣本而產生。第一色彩分量之複數個區塊及第二色彩分量之區塊可為視訊資料之圖像之同一寫碼區塊的每一部分。
舉例而言，為判定對應於第二色彩分量之一區塊的第一色彩分量之複數個區塊，視訊寫碼器可判定第一色彩分量之複數個區塊及第二色彩分量之區塊的位置，第一色彩分量之區塊的樣本值及第二色彩分量之區塊的樣本值是否共同形成寫碼區塊之樣本之樣本值及類似者。作為一實例，包括複數個明度區塊之明度分割701與色度區塊706一致。明度分割701及色度區塊706之樣本值共同形成CU之樣本之樣本值(例如明度分割701之第一樣本及色度區塊706之第一樣本共同形成CU之第一樣本，明度分割701之第二樣本及色度區塊706之第二樣本共同形成CU之第二樣本等)。
視訊寫碼器可基於第一分割樹分割第二色彩分量之區塊以產生各自對應於第一色彩分量之複數個區塊中之一區塊的第二色彩分量的子區塊(802)。舉例而言，如圖18B中所說明，視訊寫碼器可分割包括子區塊708A及708B之色度分割710中之色度區塊706。色度子區塊708A及708B各自分別對應於明度區塊704A及明度區塊704B。舉例而言，明度區塊704A之第一樣本及色度子區塊708A之第一樣本共同形成CU之第一樣本，明度區塊704A之第二樣本及色度子區塊708A之第二樣本共同形成CU之第二樣本等等。類似地，明度區塊704B之第一樣本及色度子區塊708B之第一樣本共同形成CU之第三樣本，明度區塊704B之第二樣本及色度子區塊708B之第二樣本共同形成CU之第四樣本等等。
在一或多個實例中，視訊寫碼器可基於第一色彩分量之複數個區塊的一或多個對應區塊之一或多個區塊向量判定用於在區塊內複製(IBC)預測模式中經預測的第二色彩分量之子區塊中之一或多者的一或多個區塊向量(804)。舉例而言，視訊寫碼器可判定第二色彩分量之區塊將繼承第一色彩分量之複數個區塊的一或多個對應區塊之一或多個區塊向量(例如基於至參考圖像清單中之所傳信資訊，諸如參考索引)。
回應於判定第二色彩分量之區塊將繼承第一色彩分量之複數個區塊的一或多個對應區塊之一或多個區塊向量，視訊寫碼器可基於第一色彩分量之複數個區塊的一或多個對應區塊之一或多個區塊向量而判定用於在IBC預測模式中經預測之一或多個子區塊的一或多個區塊向量。舉例而言，視訊寫碼器可判定色度子區塊708A及708B將繼承明度區塊704A及704B之區塊向量，且回應於該判定，視訊寫碼器可基於明度區塊704A及704B之區塊向量而判定用於色度子區塊708A及708B之區塊向量。
在一些實例中，為判定用於一或多個子區塊之一或多個區塊向量，視訊寫碼器可經組態以基於第一色彩分量及第二色彩分量之子取樣格式而按比例調整第一色彩分量之複數個區塊的一或多個對應區塊之一或多個區塊向量。舉例而言，在圖18A及18B中，使用4:2:2次取樣格式，且因此用於明度區塊704A及704B之區塊向量之x組件及y組件兩者除以視訊寫碼器以判定分別用於子區塊708A及708B的區塊向量。
此外，在一些實例中，用於色度子區塊中之一者的複數個區塊向量中之至少一者與用於色度子區塊中之另一者的複數個區塊向量中之另一者不同。舉例而言，用於色度子區塊708A之區塊向量與用於色度子區塊708B之區塊向量不同。
視訊寫碼器可經組態以基於一或多個經判定區塊向量寫碼第二色彩分量之區塊(806)。在視訊寫碼器為視訊編碼器200之實例中，視訊編碼器200可經組態以基於一或多個經判定區塊向量編碼第二色彩分量之區塊。舉例而言，視訊編碼器200可經組態以基於用於一或多個子區塊之一或多個經判定區塊向量判定一或多個預測區塊，自各別一或多個子區塊減去一或多個預測區塊以產生一或多個殘餘區塊，且傳信指示該一或多個殘餘區塊之資訊。
在視訊寫碼器為視訊解碼器300之實例中，視訊解碼器300可經組態以基於一或多個經判定區塊向量解碼第二色彩分量之區塊。舉例而言，視訊解碼器300可經組態以基於用於一或多個子區塊之一或多個經判定區塊向量而判定一或多個預測區塊，判定一或多個子區塊之一或多個殘餘區塊(例如基於經傳信資訊)，且將一或多個殘餘區塊添加至各別一或多個預測區塊以重建構第二色彩分量之區塊的子區塊。
如上文所描述，本發明描述藉由視訊寫碼技術應用IBC預測模式之技術。舉例而言，假定圖19之第二色彩分量之區塊為第一圖像中之第一區塊。在一些實例中，視訊寫碼器可經組態以判定未在IBC預測模式中預測第一色彩分量或第二色彩分量之第二圖像中之第二區塊，判定用於第二區塊之第一運動向量精確度集合，判定第一色彩分量或第二色彩分量之第三區塊係在IBC預測模式中經預測，及判定用於第三區塊之第二運動向量精確度集合，其中第二運動向量精確度集合為第一運動向量精確度集合之子集。
作為另一實例，假定圖19之第二色彩分量之區塊為第一圖像中之第一區塊。在一些實例中，視訊寫碼器可經組態以判定第一色彩分量或第二色彩分量之第二圖像中之第二區塊使用可替代時間運動向量預測(ATMVP)經預測，判定用於在第二區塊上執行ATMVP之參考圖像中之一或多個區塊，判定參考圖像中之一或多個區塊中的至少一個區塊在IBC預測模式中經預測，且對第二區塊執行ATMVP操作且不使用用於在IBC預測模式中經預測的參考圖像中之至少一個區塊的區塊向量。
作為另一實例，假定圖19之第二色彩分量之區塊為第一圖像中之第一區塊。在一些實例中，視訊寫碼器可經組態以判定第二圖像中之第二區塊在IBC預測模式中經寫碼，且基於第二區塊在IBC預測模式中經寫碼之判定避免傳信或解析資訊中之至少一者，該資訊指示是否啟用仿射模式用於第二區塊。舉例而言，視訊編碼器200可不傳信指示是否啟用仿射模式用於第二區塊之資訊，且視訊解碼器300可不解析指示是否啟用仿射模式用於第二區塊之資訊。
作為另一實例，假定圖19之第二色彩分量之區塊為第一圖像中之第一區塊。在一些實例中，視訊寫碼器可經組態以判定第二圖像中之第二區塊在IBC預測模式中經寫碼，且基於第二區塊在IBC預測模式中經寫碼之判定避免傳信或解析資訊中之至少一者，該資訊指示是否啟用照明補償(IC)模式用於第二區塊。舉例而言，視訊編碼器200可不傳信指示是否啟用IC模式用於第二區塊之資訊，且視訊解碼器300可不解析指示是否啟用IC模式用於第二區塊之資訊。
作為另一實例，假定圖19之第二色彩分量之區塊為第一圖像中之第一區塊。在一些實例中，視訊寫碼器可經組態以判定第二圖像中之第二區塊係經指代第二圖像之向量寫碼且可基於第二區塊正經指代第二圖像之向量寫碼而避免在第二區塊上執行雙向光流(BIO)。
作為另一實例，假定圖19之第二色彩分量之區塊為第一圖像中之第一區塊。在一些實例中，視訊寫碼器可經組態以判定第二圖像中之第二區塊係經指代第二圖像之向量寫碼且可基於第二區塊經指代第二圖像之向量寫碼而避免在第二區塊上執行雙文字匹配。
應認識到，視實例而定，本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行、可經添加、合併或完全省去(例如並非所有所描述動作或事件為實踐該等技術所必要的)。此外，在某些實例中，可例如經由多執行緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或碼而在電腦可讀媒體上儲存或傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體(其包括例如根據通信協定促進電腦程式自一處傳送至另一處的任何媒體)。以此方式，電腦可讀媒體通常可對應於(1)非暫時性之有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此類電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。此外，任何連接被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(digital subscriber line；DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而替代地關於非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及Blu-ray光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
指令可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行。因此，如本文所用之術語「處理器」可指代前述結構或適用於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文所描述之功能可經提供於經組態以供編碼及解碼或併入於經組合編碼解碼器中之專用硬體及/或軟體模組內。此外，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於多種器件或裝置中，包括無線手持機、積體電路(IC)或IC集合(例如晶片集合)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必要求由不同硬體單元來實現。確切地說，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或由互操作性硬體單元之集合結合合適軟體及/或韌體來提供該等單元，該等硬體單元包括如上文所描述之一或多個處理器。
已描述各種實例。此等及其他實例在隨附申請專利範圍之範疇內。
100‧‧‧視訊編碼及解碼系統
102‧‧‧源器件
104‧‧‧視訊源
106‧‧‧記憶體
108‧‧‧輸出介面
110‧‧‧電腦可讀媒體
112‧‧‧儲存器件
114‧‧‧檔案伺服器
116‧‧‧目的地器件/儲存器件
118‧‧‧顯示器件
120‧‧‧記憶體
122‧‧‧輸入介面
130‧‧‧四分樹二元樹結構
132‧‧‧寫碼樹型單元
200‧‧‧視訊編碼器
202‧‧‧模式選擇單元
204‧‧‧殘餘產生單元
206‧‧‧變換處理單元
208‧‧‧量化單元
210‧‧‧反量化單元
212‧‧‧反變換處理單元
214‧‧‧重建構單元
216‧‧‧濾波器單元
218‧‧‧經解碼圖像緩衝器
220‧‧‧熵編碼單元
222‧‧‧運動估計單元
224‧‧‧運動補償單元
226‧‧‧框內預測單元
230‧‧‧視訊資料記憶體
300‧‧‧視訊解碼器
302‧‧‧熵解碼單元
304‧‧‧預測處理單元
306‧‧‧反量化單元
308‧‧‧反變換處理單元
310‧‧‧重建構單端
312‧‧‧濾波器單元
314‧‧‧經解碼圖像緩衝器
316‧‧‧運動補償單元
318‧‧‧框內預測單元
320‧‧‧經寫碼圖像緩衝器記憶體
400‧‧‧區塊
401‧‧‧區塊
402A‧‧‧區塊
402B‧‧‧區塊
402C‧‧‧區塊
402D‧‧‧區塊
404A‧‧‧運動向量
404B‧‧‧運動向量
404C‧‧‧運動向量
406A‧‧‧運動向量
406B‧‧‧運動向量
406C‧‧‧運動向量
500‧‧‧當前圖像
502‧‧‧參考區塊R0
504‧‧‧參考區塊R1
506‧‧‧運動向量MV0
508‧‧‧運動向量MV1
700‧‧‧明度樣本
701‧‧‧明度分割
702A‧‧‧色度樣本
702B‧‧‧色度樣本
704A‧‧‧明度區塊
704B‧‧‧明度區塊
706‧‧‧色度區塊
708A‧‧‧子區塊
708B‧‧‧子區塊
710‧‧‧色度分割
800‧‧‧步驟
802‧‧‧步驟
804‧‧‧步驟
806‧‧‧步驟
圖1為說明可執行本發明之技術的實例視訊編碼及解碼系統的方塊圖。
圖2A及圖2B為說明實例四分樹二元樹(QTBT)結構及對應寫碼樹型單元(CTU)的概念圖。
圖3為說明可執行本發明之技術的實例視訊編碼器的方塊圖。
圖4為說明可執行本發明之技術的實例視訊解碼器的方塊圖。
圖5為說明用於合併之空間相鄰運動向量(MV)候選者及進階運動向量預測(AMVP)的概念圖。
圖6A為說明時間運動向量預測符(TMVP)候選者的概念圖。
圖6B為說明按比例調整用於TMVP候選者之運動向量(MV)的概念圖。
圖7為說明區塊內複製(IBC)寫碼之實例的概念圖。
圖8為說明用於寫碼單元(CU)之可替代時間運動向量預測(ATMVP)之實例的概念圖。
圖9為說明幀率上變換(frame-rate up conversion，FRUC)雙向匹配之實例的概念圖。
圖10為說明FRUC模板匹配之實例的概念圖。
圖11A及圖11B為說明FRUC模板匹配模式之實例的流程圖。
圖12為說明基於雙向模板匹配之解碼器側運動向量導出(DMVD)的概念圖。
圖13為說明光流軌跡的概念圖。
圖14為用於8×4區塊之雙向光學(BIO)的概念圖。
圖15A及圖15B為說明其中應用交疊區塊運動補償(OBMC)之子區塊的概念圖。
圖16A至16D說明OBMC加權之實例。
圖17A為用於明度QTBT結構之CTU分割結構之實例。
圖17B為用於色度QTBT結構之CTU分割結構之實例。
圖18A及圖18B說明用於明度QTBT結構及色度QTBT結構之子區塊分割及模式繼承之實例。
圖19為說明寫碼視訊資料之實例方法的流程圖。

Claims (30)

  1. 一種寫碼視訊資料之方法，該方法包含： 判定對應於一第二色彩分量之一區塊的一第一色彩分量之複數個區塊，其中該第一色彩分量之該複數個區塊藉由根據一第一分割樹分割該第一色彩分量之樣本而產生，且該第二色彩分量之該區塊藉由根據一第二分割樹分割該第二色彩分量之樣本而產生； 基於該第一分割樹分割該第二色彩分量之該區塊以產生各自對應於該第一色彩分量之該複數個區塊中之一區塊的該第二色彩分量之子區塊； 基於該第一色彩分量之該複數個區塊中之一或多個對應區塊的一或多個區塊向量而判定用於在塊內複製(IBC)預測模式中經預測的該第二色彩分量之該等子區塊中之一或多者的一或多個區塊向量；以及 基於該一或多個經判定區塊向量寫碼該第二色彩分量之該區塊。
  2. 如請求項1之方法，其中判定用於一或多個子區塊之該一或多個區塊向量包含判定用於複數個子區塊之複數個區塊向量，且其中用於該等子區塊中之一者的該複數個區塊向量中之至少一者與用於該等子區塊中之另一者之該複數個區塊向量中之另一者不同。
  3. 如請求項1之方法，其中判定用於一或多個子區塊之該一或多個區塊向量包含基於該第一色彩分量及該第二色彩分量之一子取樣格式而按比例調整該第一色彩分量之該複數個區塊之該一或多個對應區塊的該一或多個區塊向量。
  4. 如請求項1之方法，其中該第一色彩分量包含一明度分量，且其中該第二色彩分量包含一色度分量。
  5. 如請求項1之方法，其進一步包含： 判定該第二色彩分量之該區塊將繼承該第一色彩分量之該複數個區塊之該一或多個對應區塊的該一或多個區塊向量， 其中判定用於該第二色彩分量之該等子區塊中之該一或多者的該一或多個區塊向量包含回應於判定該第二色彩分量之該區塊將繼承該第一色彩分量之該複數個區塊之該一或多個對應區塊的該一或多個區塊向量，基於該第一色彩分量之該複數個區塊之該一或多個對應區塊的該一或多個區塊向量而判定用於在該IBC預測模式中經預測的該一或多個子區塊的該一或多個區塊向量。
  6. 如請求項1之方法，其中該第一色彩分量之該複數個區塊及該第二色彩分量之該區塊各自為該視訊資料之一圖像之一相同寫碼區塊之部分。
  7. 如請求項1之方法，其中該第二色彩分量之該區塊包含一第一圖像中之一第一區塊，該方法進一步包含： 判定該第一色彩分量或該第二色彩分量之一第二圖像中之一第二區塊未在該IBC預測模式中經預測； 判定用於該第二區塊之一第一運動向量精確度集合； 判定該第一色彩分量或該第二色彩分量之一第三區塊在該IBC預測模式中經預測；以及 判定用於該第三區塊之一第二運動向量精確度集合，其中該第二運動向量精確度集合為該第一運動向量精確度集合之一子集。
  8. 如請求項1之方法，其中該第二色彩分量之該區塊包含一第一圖像中之一第一區塊，該方法進一步包含： 判定該第一色彩分量或該第二色彩分量之一第二圖像中之一第二區塊使用可替代的暫態運動向量預測(ATMVP)經預測； 判定用於在該第二區塊上執行ATMVP之一參考圖像中之一或多個區塊； 判定該等參考圖像中之該一或多個區塊中的至少一個區塊在該IBC預測模式中經預測；以及 對該第二區塊執行一ATMVP操作而不使用用於在該IBC預測模式中經預測之該參考圖像中之該至少一個區塊的一區塊向量。
  9. 如請求項1之方法，其中該第二色彩分量之該區塊包含一第一圖像中之一第一區塊，該方法進一步包含： 判定一第二圖像中之一第二區塊在該IBC預測模式中經寫碼；以及 基於該第二區塊在該IBC預測模式中經寫碼之該判定而避免傳信或解析資訊中之至少一者，該資訊指示是否啟用仿射模式用於該第二區塊。
  10. 如請求項1之方法，其中該第二色彩分量之該區塊包含一第一圖像中之一第一區塊，該方法進一步包含： 判定一第二圖像中之一第二區塊在該IBC預測模式中經寫碼；以及 基於該第二區塊在該IBC預測模式中經寫碼之該判定而避免傳信或解析資訊中之至少一者，該資訊指示是否啟用照明補償(IC)模式用於該第二區塊。
  11. 如請求項1之方法，其中該第二色彩分量之該區塊包含一第一圖像中之一第一區塊，該方法進一步包含： 判定一第二圖像中之一第二區塊係經指代該第二圖像之一向量寫碼；以及 基於該第二區塊係經指代該第二圖像之該向量寫碼而避免在該第二區塊上執行雙向光流(BIO)。
  12. 如請求項1之方法，其中該第二色彩分量之該區塊包含一第一圖像中之一第一區塊，該方法進一步包含： 判定一第二圖像中之一第二區塊係經指代該第二圖像之一向量寫碼；以及 基於該第二區塊係經指代該第二圖像之該向量寫碼而避免在該第二區塊上執行雙文字匹配。
  13. 如請求項1之方法，其中寫碼該第二色彩分量之該區塊包含解碼該第二色彩分量之該區塊，且其中解碼該第二色彩分量之該區塊包含： 基於用於該一或多個子區塊之該一或多個經判定區塊向量而判定一或多個預測區塊； 判定該一或多個子區塊之一或多個殘餘區塊；以及 將該一或多個殘餘區塊添加至各別一或多個預測區塊以重建構該第二色彩分量之該區塊之該等子區塊。
  14. 如請求項1之方法，其中寫碼該第二色彩分量之該區塊包含編碼該第二色彩分量之該區塊，且其中編碼該第二色彩分量之該區塊包含： 基於用於該一或多個子區塊之該一或多個經判定區塊向量而判定一或多個預測區塊； 自該一或多個子區塊中之各別者減去該一或多個預測區塊以產生一或多個殘餘區塊；以及 傳信指示該一或多個殘餘區塊之資訊。
  15. 一種用於寫碼視訊資料之器件，該器件包含： 一記憶體，其經組態以儲存該視訊資料之一第一色彩分量之樣本及一第二色彩分量之樣本；及 一視訊寫碼器，其包含可程式化及固定功能電路中之至少一者，其中該視訊寫碼器經組態以： 判定對應於一第二色彩分量之一區塊的一第一色彩分量之複數個區塊，其中該第一色彩分量之該複數個區塊藉由根據一第一分割樹分割該第一色彩分量之樣本而產生，且該第二色彩分量之該區塊藉由根據一第二分割樹分割該第二色彩分量之樣本而產生； 基於該第一分割樹分割該第二色彩分量之該區塊以產生各自對應於該第一色彩分量之該複數個區塊中之一區塊的該第二色彩分量之子區塊； 基於該第一色彩分量之該複數個區塊之一或多個對應區塊的一或多個區塊向量來判定用於在區塊內複製(IBC)預測模式中經預測的該第二色彩分量之該等子區塊中之一或多者的一或多個區塊向量；及 基於該一或多個經判定區塊向量寫碼該第二色彩分量之該區塊。
  16. 如請求項15之器件，其中為判定用於一或多個子區塊之該一或多個區塊向量，該視訊寫碼器經組態以判定用於複數個子區塊之複數個區塊向量，且其中用於該等子區塊中之一者的該複數個區塊向量中之至少一者與用於該等子區塊中之另一者的該複數個區塊向量中之另一者不同。
  17. 如請求項15之器件，其中為判定用於一或多個子區塊之該一或多個區塊向量，該視訊寫碼器經組態以基於該第一色彩分量及該第二色彩分量之一子取樣格式而按比例調整該第一色彩分量之該複數個區塊之該一或多個對應區塊的該一或多個區塊向量。
  18. 如請求項15之器件，其中該第一色彩分量包含一明度分量，且其中該第二色彩分量包含一色度分量。
  19. 如請求項15之器件，其中該視訊寫碼器經組態以： 判定該第二色彩分量之該區塊將繼承該第一色彩分量之該複數個區塊之該一或多個對應區塊的該一或多個區塊向量， 其中為判定用於該第二色彩分量之該等子區塊中之該一或多者的該一或多個區塊向量，該視訊寫碼器經組態以回應於判定該第二色彩分量之該區塊將繼承該第一色彩分量之該複數個區塊之該一或多個對應區塊的該一或多個區塊向量，基於該第一色彩分量之該複數個區塊之該一或多個對應區塊的該一或多個區塊向量而判定用於在該IBC預測模式中經預測的該一或多個子區塊的該一或多個區塊向量。
  20. 如請求項15之器件，其中該第一色彩分量之該複數個區塊及該第二色彩分量之該區塊各自為該視訊資料之一圖像之一相同寫碼區塊的部分。
  21. 如請求項15之器件，其中該第二色彩分量之該區塊包含一第一區塊，且其中該視訊寫碼器經組態以： 判定該第一色彩分量或該第二色彩分量之一第二區塊未在該IBC預測模式中經預測； 判定用於該第二區塊之一第一運動向量精確度集合； 判定該第一色彩分量或該第二色彩分量之一第三區塊在該IBC預測模式中經預測；以及 判定用於該第三區塊之一第二運動向量精確度集合，其中該第二運動向量精確度集合為該第一運動向量精確度集合之一子集。
  22. 如請求項15之器件，其中該第二色彩分量之該區塊包含一第一區塊，且其中該視訊寫碼器經組態以： 判定該第一色彩分量或該第二色彩分量之一第二區塊係使用可替代的時間運動向量預測(ATMVP)經預測； 判定用於在該第二區塊上執行ATMVP之一參考圖像中之一或多個區塊； 判定該參考圖像中之該一或多個區塊中的至少一個區塊在該IBC預測模式中經預測；以及 對該第二區塊執行一ATMVP操作而不使用用於在該IBC預測模式中經預測之該參考圖像中之該至少一個區塊的一區塊向量。
  23. 如請求項15之器件，其中該第二色彩分量之該區塊包含一第一圖像中之一第一區塊，且其中該視訊寫碼器經組態以： 判定一第二圖像中之一第二區塊在該IBC預測模式中經寫碼；以及 基於該第二區塊在該IBC預測模式中經寫碼之該判定而避免傳信或解析資訊中之至少一者，該資訊指示是否啟用仿射模式用於該第二區塊。
  24. 如請求項15之器件，其中該第二色彩分量之該區塊包含一第一圖像中之一第一區塊，且其中該視訊寫碼器經組態以： 判定一第二圖像中之一第二區塊在該IBC預測模式中經寫碼；以及 基於該第二區塊在該IBC預測模式中經寫碼之該判定而避免傳信或解析資訊中之至少一者，該資訊指示是否啟用照明補償(IC)模式用於該第二區塊。
  25. 如請求項15之器件，其中該第二色彩分量之該區塊包含一第一圖像中之一第一區塊，且其中該視訊寫碼器經組態以： 判定一第二圖像中之一第二區塊係經指代該第二圖像之一向量寫碼；以及 基於該第二區塊係經指代該第二圖像之該向量寫碼而避免在該第二區塊上執行雙向光流(BIO)。
  26. 如請求項15之器件，其中該第二色彩分量之該區塊包含一第一圖像中之一第一區塊，且其中該視訊寫碼器經組態以： 判定一第二圖像中之一第二區塊係經指代該第二圖像之一向量寫碼；以及 基於該第二區塊係經指代該第二圖像之該向量寫碼而避免在該第二區塊上執行雙文字匹配。
  27. 如請求項15之器件，其中該視訊寫碼器包含一視訊解碼器，其中為寫碼該第二色彩分量之該區塊，該視訊解碼器經組態以解碼該第二色彩分量之該區塊，且其中為解碼該第二色彩之該區塊，該視訊解碼器經組態以： 基於用於該一或多個子區塊之該一或多個經判定區塊向量而判定一或多個預測區塊； 判定該一或多個子區塊之一或多個殘餘區塊；以及 將該一或多個殘餘區塊添加至各別一或多個預測區塊以重建構該第二色彩分量之該區塊之該等子區塊。
  28. 如請求項15之器件，其中該視訊寫碼器包含一視訊編碼器，其中為寫碼該第二色彩分量之該區塊，該視訊編碼器經組態以編碼該第二色彩分量之該區塊，且其中為編碼該第二色彩之該區塊，該視訊編碼器經組態以： 基於用於該一或多個子區塊之該一或多個經判定區塊向量而判定一或多個預測區塊； 自該一或多個子區塊中之各別者減去該一或多個預測區塊以產生一或多個殘餘區塊；以及 傳信指示該一或多個殘餘區塊之資訊。
  29. 一種儲存指令之電腦可讀儲存媒體，該等指令在經執行時使得用於寫碼視訊資料之一器件之一或多個處理器進行以下操作： 判定對應於一第二色彩分量之一區塊的一第一色彩分量之複數個區塊，其中該第一色彩分量之該複數個區塊藉由根據一第一分割樹分割該第一色彩分量之樣本而產生，且該第二色彩分量之該區塊藉由根據一第二分割樹分割該第二色彩分量之樣本而產生； 基於該第一分割樹分割該第二色彩分量之該區塊以產生各自對應於該第一色彩分量之該複數個區塊中之一區塊的該第二色彩分量之子區塊； 基於該第一色彩分量之該複數個區塊之一或多個對應區塊的一或多個區塊向量而判定用於在區塊內複製(IBC)預測模式中經預測的該第二色彩分量之該等子區塊中之一或多者的一或多個區塊向量；及 基於該一或多個經判定區塊向量寫碼該第二色彩分量之該區塊。
  30. 一種用於寫碼視訊資料之器件，其包含： 用於判定對應於一第二色彩分量之一區塊的第一色彩分量之複數個區塊之構件，其中該第一色彩分量之該複數個區塊藉由根據一第一分割樹分割該第一色彩分量之樣本而產生，且該第二色彩分量之該區塊藉由根據一第二分割樹分割該第二色彩分量之樣本而產生； 用於基於該第一分割樹分割該第二色彩分量之該區塊以產生各自對應於該第一色彩分量之該複數個區塊中之一區塊的該第二色彩分量之子區塊之構件； 用於基於該第一色彩分量之該複數個區塊之一或多個對應區塊的一或多個區塊向量而判定用於在塊內複製(IBC)預測模式中經預測的該第二色彩分量之該等子區塊中之一或多者的一或多個區塊向量之構件；及 用於基於該一或多個經判定區塊向量寫碼該第二色彩分量之該區塊之構件。
TW108104498A 2018-02-08 2019-02-11 用於視訊寫碼之區塊內複製 TW201941605A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862628101P 2018-02-08 2018-02-08
US62/628,101 2018-02-08
US16/269,349 US11012715B2 (en) 2018-02-08 2019-02-06 Intra block copy for video coding
US16/269,349 2019-02-06

Publications (1)

Publication Number Publication Date
TW201941605A true TW201941605A (zh) 2019-10-16

Family

ID=67475818

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108104498A TW201941605A (zh) 2018-02-08 2019-02-11 用於視訊寫碼之區塊內複製

Country Status (8)

Country Link
US (1) US11012715B2 (zh)
EP (1) EP3750317A1 (zh)
KR (1) KR20200116462A (zh)
CN (1) CN111684806B (zh)
BR (1) BR112020016133A2 (zh)
SG (1) SG11202006301YA (zh)
TW (1) TW201941605A (zh)
WO (1) WO2019157186A1 (zh)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114615493A (zh) * 2016-03-24 2022-06-10 英迪股份有限公司 视频解码方法、视频编码方法和可读记录介质
US10687071B2 (en) * 2018-02-05 2020-06-16 Tencent America LLC Method and apparatus for video coding
US20190273946A1 (en) * 2018-03-05 2019-09-05 Markus Helmut Flierl Methods and Arrangements for Sub-Pel Motion-Adaptive Image Processing
US10638137B2 (en) * 2018-03-07 2020-04-28 Tencent America LLC Method and apparatus for video coding
US10873748B2 (en) * 2018-05-12 2020-12-22 Qualcomm Incorporated Storage of high precision motion vectors in video coding
WO2019234612A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with four sub-blocks symmetric or asymmetric
JP7104186B2 (ja) * 2018-06-05 2022-07-20 北京字節跳動網絡技術有限公司 Ｉｂｃとａｔｍｖｐとの間でのインタラクション
CN110620929B (zh) 2018-06-19 2023-04-18 北京字节跳动网络技术有限公司 没有运动矢量预测截断的选择的运动矢量差精度
EP3788782A1 (en) 2018-06-21 2021-03-10 Beijing Bytedance Network Technology Co. Ltd. Sub-block mv inheritance between color components
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
CN110868594B (zh) 2018-08-28 2023-04-07 北京字节跳动网络技术有限公司 分割方法的冗余移除
KR102631517B1 (ko) 2018-08-28 2024-01-30 후아웨이 테크놀러지 컴퍼니 리미티드 픽처 분할 방법 및 장치
EP4325859A3 (en) 2018-09-19 2024-05-15 Beijing Bytedance Network Technology Co., Ltd. Syntax reuse for affine mode with adaptive motion vector resolution
CN110944170B (zh) 2018-09-24 2023-05-02 北京字节跳动网络技术有限公司 扩展Merge预测
US11140404B2 (en) * 2018-10-11 2021-10-05 Tencent America LLC Method and apparatus for video coding
CN111131830B (zh) * 2018-10-31 2024-04-12 北京字节跳动网络技术有限公司 重叠块运动补偿的改进
EP3861723A4 (en) 2018-11-10 2022-04-20 Beijing Bytedance Network Technology Co., Ltd. ROUNDS IN PAIRS OF MEDIUM CANDIDATE BILLS
KR20210089153A (ko) 2018-11-13 2021-07-15 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 화면 내 블록 복사를 위한 히스토리 기반 움직임 후보 리스트 구성
WO2020125798A1 (en) 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Intra block copy mode with dual tree partition
CN113287309A (zh) * 2018-12-27 2021-08-20 Oppo广东移动通信有限公司 编码预测方法、装置及计算机存储介质
CN113261294B (zh) * 2019-01-02 2024-06-18 Lg电子株式会社 基于sbtmvp的帧间预测方法和设备
JP7317973B2 (ja) * 2019-01-08 2023-07-31 華為技術有限公司 画像予測方法、機器、及びシステム、装置、及び記憶媒体
US11153590B2 (en) 2019-01-11 2021-10-19 Tencent America LLC Method and apparatus for video coding
CN113412623A (zh) 2019-01-31 2021-09-17 北京字节跳动网络技术有限公司 记录仿射模式自适应运动矢量分辨率的上下文
WO2020156549A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Buffer access methods for intra block copy in video coding
EP3900357A4 (en) 2019-02-02 2022-06-08 Beijing Bytedance Network Technology Co., Ltd. BUFFER INITIALIZATION FOR INTRA BLOCK COPY IN VIDEO ENCODING
CN113424526A (zh) 2019-02-17 2021-09-21 北京字节跳动网络技术有限公司 帧内块复制模式的应用性的限制
CN112514380A (zh) * 2019-02-26 2021-03-16 株式会社 Xris 用于对视频信号进行编码/解码的方法及其设备
WO2020173483A1 (en) * 2019-02-27 2020-09-03 Beijing Bytedance Network Technology Co., Ltd. Improvement on adaptive motion vector difference resolution in intra block copy mode
CN117395439A (zh) 2019-03-01 2024-01-12 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于方向的预测
KR20210125506A (ko) 2019-03-04 2021-10-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리
US11985348B2 (en) * 2019-03-11 2024-05-14 Electronics And Telecommunications Research Institute Intra block copy-based encoding/decoding method and device, and bitstream storage medium
JP2022525876A (ja) * 2019-03-17 2022-05-20 北京字節跳動網絡技術有限公司 オプティカルフローベースの予測精緻化の計算
CN114270844A (zh) * 2019-06-20 2022-04-01 交互数字Vc控股法国有限公司 用于视频编码和解码的运动向量处理
KR20230170800A (ko) 2019-07-06 2023-12-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 카피를 위한 가상 예측 버퍼
BR112022000358A2 (pt) 2019-07-10 2022-05-10 Beijing Bytedance Network Tech Co Ltd Método e aparelho para processar dados de vídeo e meios de armazenamento e gravação não transitórios legíveis por computador
KR20220030957A (ko) 2019-07-11 2022-03-11 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 카피를 위한 비트스트림 적합 제약
KR20220036936A (ko) 2019-07-25 2022-03-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 인트라 블록 복사 가상 버퍼에 대한 크기 제한
AU2020316548A1 (en) 2019-07-25 2022-02-24 Beijing Bytedance Network Technology Co., Ltd. Mapping restriction for intra-block copy virtual buffer
EP3997868A4 (en) * 2019-08-10 2023-02-22 Beijing Bytedance Network Technology Co., Ltd. BUFFER MANAGEMENT DURING SUBPICTURE DECODING
US11218718B2 (en) * 2019-08-26 2022-01-04 Tencent America LLC Adaptive motion vector resolution signaling
CN114342410A (zh) 2019-09-05 2022-04-12 北京字节跳动网络技术有限公司 帧内块复制模式下块矢量的范围约束
WO2021052492A1 (en) 2019-09-20 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Luma mapping with chroma scaling
JP6960969B2 (ja) * 2019-09-20 2021-11-05 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
KR20220064968A (ko) 2019-09-23 2022-05-19 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 가상 파이프라인 데이터 유닛에 기초한 인트라 블록 복사 가상 버퍼의 설정
CN114631317B (zh) 2019-10-18 2024-03-15 北京字节跳动网络技术有限公司 子图片的参数集信令中的语法约束
KR20210138114A (ko) * 2019-12-23 2021-11-18 텐센트 아메리카 엘엘씨 비디오 코딩 방법 및 장치
WO2021155862A1 (en) * 2020-02-07 2021-08-12 Beijing Bytedance Network Technology Co., Ltd. Bv list construction process of ibc blocks under merge estimation region
JP7400114B2 (ja) 2020-02-24 2023-12-18 バイトダンス インコーポレイテッド ビデオコーディングでのピクチャレベルスライスインデックスの使用
CN115211044A (zh) 2020-03-03 2022-10-18 字节跳动有限公司 使用条带头信令通知控制缩放处理
WO2021185306A1 (en) 2020-03-18 2021-09-23 Beijing Bytedance Network Technology Co., Ltd. Intra block copy buffer and palette predictor update
CN111669581B (zh) * 2020-06-09 2022-12-20 浙江大华技术股份有限公司 视频编码方法及其相关装置
WO2023277486A1 (ko) * 2021-06-29 2023-01-05 주식회사 케이티 화면내 예측 기반의 비디오 신호 부호화/복호화 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2023008888A1 (ko) * 2021-07-26 2023-02-02 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2023062614A1 (ko) * 2021-10-12 2023-04-20 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
WO2023182698A1 (ko) * 2022-03-24 2023-09-28 현대자동차주식회사 복원 루마 정보 기반 크로마 성분 예측을 위한 방법
WO2024010377A1 (ko) * 2022-07-05 2024-01-11 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2024085656A1 (ko) * 2022-10-18 2024-04-25 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 이를 위한 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US11032568B2 (en) * 2013-11-27 2021-06-08 Hfi Innovation Inc. Method of video coding using prediction based on intra picture block copy
US10531116B2 (en) 2014-01-09 2020-01-07 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
US9883197B2 (en) * 2014-01-09 2018-01-30 Qualcomm Incorporated Intra prediction of chroma blocks using the same vector
US9860559B2 (en) * 2014-03-17 2018-01-02 Mediatek Singapore Pte. Ltd. Method of video coding using symmetric intra block copy
US10432928B2 (en) 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US10477232B2 (en) * 2014-03-21 2019-11-12 Qualcomm Incorporated Search region determination for intra block copy in video coding
WO2015169200A1 (en) * 2014-05-06 2015-11-12 Mediatek Singapore Pte. Ltd. Method of block vector prediction for intra block copy mode coding
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
KR20170066457A (ko) * 2014-09-26 2017-06-14 브이아이디 스케일, 인크. 시간적 블록 벡터 예측을 갖는 인트라 블록 카피 코딩
US9918105B2 (en) 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
US9591325B2 (en) * 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
MY183484A (en) * 2015-06-03 2021-02-20 Mediatek Inc Method and apparatus for resource sharing between intra block copy mode and inter prediction mode in video coding systems
US20160360205A1 (en) * 2015-06-08 2016-12-08 Industrial Technology Research Institute Video encoding methods and systems using adaptive color transform
KR102390073B1 (ko) * 2015-06-08 2022-04-25 브이아이디 스케일, 인크. 스크린 콘텐츠 코딩을 위한 인트라 블록 카피 모드
US10326986B2 (en) 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10368107B2 (en) 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10979732B2 (en) 2016-10-04 2021-04-13 Qualcomm Incorporated Adaptive motion vector precision for video coding
EP3577898A4 (en) * 2017-01-31 2020-06-24 Sharp Kabushiki Kaisha SYSTEMS AND METHODS FOR PARTITIONING A VIDEO BLOCK IMAGE FOR VIDEO CODING
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding
CN110495177B (zh) * 2017-04-13 2023-10-20 松下电器（美国）知识产权公司 解码装置、解码方法及存储介质
US10687071B2 (en) * 2018-02-05 2020-06-16 Tencent America LLC Method and apparatus for video coding

Also Published As

Publication number Publication date
SG11202006301YA (en) 2020-08-28
EP3750317A1 (en) 2020-12-16
US11012715B2 (en) 2021-05-18
BR112020016133A2 (pt) 2020-12-08
WO2019157186A1 (en) 2019-08-15
CN111684806B (zh) 2024-03-15
KR20200116462A (ko) 2020-10-12
CN111684806A (zh) 2020-09-18
US20190246143A1 (en) 2019-08-08

Similar Documents

Publication Publication Date Title
CN111684806B (zh) 用于视频译码的块内复制
CN112703740B (zh) 用于仿射模式的基于历史的运动矢量预测
CN113196749B (zh) 用于译码视频数据的方法和设备
US11206396B2 (en) Local illumination compensation in video coding
US11425387B2 (en) Simplified local illumination compensation
CN112806012A (zh) 用于帧间预测译码的基于历史的运动向量预测
CN110771164A (zh) 视频译码中的帧间预测与帧内预测的组合
TW201842766A (zh) 於視訊解碼器中導出運動向量資訊
TW201904285A (zh) 在視訊寫碼中之增強的解塊濾波設計
TW201742465A (zh) 用於視訊寫碼之仿射運動預測
CN111567043A (zh) 使用局部照明补偿的视频译码
JP2022521979A (ja) デコーダ側動きベクトル改良に対する制約
TW201711463A (zh) 判定用於視訊寫碼之照明補償狀態之系統及方法
CN112740672A (zh) 具有自适应方向信息集合的最终运动矢量表达
JP7379391B2 (ja) シグナリングサブ予測ユニット動きベクトル予測子
CN113170185B (zh) 用于视频译码的空间-时间运动向量预测模式
TW202034694A (zh) 用於視訊寫碼中之區塊內複製模式之運動向量預測器清單產生
US11528504B2 (en) Motion vector prediction with motion information collecting buffer
CN116636213A (zh) 视频译码中的模板匹配
TWI846765B (zh) 以歷史為基礎之運動向量預測之簡化
TWI843809B (zh) 用於視訊寫碼中具有運動向量差之合併模式之信令傳輸
TWI846773B (zh) 用於視訊寫碼之三角運動資訊
CN118338015A (zh) 用于视频译码的块内复制
JP2024508216A (ja) ビデオコーディングのためのモデルベースの動きベクトル差分導出およびテンプレート照合予測
KR20230169960A (ko) 비디오 코딩을 위한 템플릿 매칭 기반 아핀 예측