TWI788302B - 用於視訊寫碼之樹型寫碼 - Google Patents

用於視訊寫碼之樹型寫碼 Download PDF

Info

Publication number
TWI788302B
TWI788302B TW106130624A TW106130624A TWI788302B TW I788302 B TWI788302 B TW I788302B TW 106130624 A TW106130624 A TW 106130624A TW 106130624 A TW106130624 A TW 106130624A TW I788302 B TWI788302 B TW I788302B
Authority
TW
Taiwan
Prior art keywords
block
current block
tree
video
current
Prior art date
Application number
TW106130624A
Other languages
English (en)
Other versions
TW201813386A (zh
Inventor
莊孝強
李想
陳建樂
鄒峰
錢威俊
陳義文
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201813386A publication Critical patent/TW201813386A/zh
Application granted granted Critical
Publication of TWI788302B publication Critical patent/TWI788302B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本發明提供一種實例器件，其包括用以儲存視訊資料之一記憶體及與該記憶體通信之處理電路。該處理電路經組態以將該經儲存視訊資料之一當前區塊之一尺寸的一值與該當前區塊之一鄰近區塊之一對應尺寸的一值進行比較以獲得一相對尺寸值。該處理電路進一步經組態以基於該相對尺寸值判定該當前區塊將根據一基於多類型樹之分割方案之一預測樹(PT)部分進行分割。該PT部分包含根據一二元樹結構或一中心側三元樹結構中之一者的分割。該處理電路進一步經組態以基於該判定根據該PT部分分割該當前區塊，以形成複數個子區塊。

Description

用於視訊寫碼之樹型寫碼
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之器件中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話(所謂的「智慧型電話」)、視訊電話會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊寫碼技術，諸如描述於由各種視訊寫碼標準定義之標準中的視訊寫碼技術。視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。另外，已由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)的視訊寫碼聯合協作小組(JCT-VC)完成新的視訊寫碼標準(亦即，高效率視訊寫碼(HEVC))。最新的HEVC草案說明書，在下文被稱作「HEVC WD」，可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip獲得。HEVC之說明書及其擴展(格式範圍(RExt)、可調性(SHVC)及多視圖(MV-HEVC)擴展及螢幕內容擴展)可自http：//phenix.int- evry.fr/jct/doc_end_user/current_document.php？id=10481獲得。ITU-T VCEG(Q6/16)及ISO/IEC MPEG(JTC 1/SC 29/WG 11)現正研究對於將具有顯著超過當前HEVC標準(包括其當前擴展及針對螢幕內容寫碼及高動態範圍寫碼的近期擴展)之壓縮能力的壓縮能力之未來視訊寫碼技術標準化的潛在需要。該等群組正共同致力於聯合協作工作(被稱為聯合視訊探索小組(Joint Video Exploration Team，JVET))中之此探索活動，以評估由該等群組在此領域中之專家建議的壓縮技術設計。JVET在2015年10月19日至21日期間第一次會面。參考軟體之最新版本(亦即，聯合探索模型7(JEM 7))可自https：//jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-7.0/下載。JEM-7.0之演算法描述係進一步描述於J.Chen、E.Alshina、G.J.Sullivan、J.-R.Ohm、J.Boyce(JVET-C1001，日內瓦，2017年7月)的「Algorithm description of Joint Exploration Test Model 7」中。
視訊器件可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中所固有之冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊，對於一些技術，視訊區塊亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。圖像之經框內寫碼(I)圖塊中之視訊區塊係使用關於同一圖像中之鄰近區塊中之參考樣本的空間預測來編碼。圖像之經框間寫碼(P或B)切片中的視訊區塊可使用關於同一圖像中之鄰近區塊中的參考樣本的空間預測或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間或時間預測產生用於待寫碼之區塊的預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼經框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生殘餘變換係數，隨後可量化殘餘變換係數。可掃描最初配置成二維陣列之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
一般而言，本發明描述與視訊資料之寫碼(例如，編碼及/或解碼)相關之技術。本發明之一些態樣係針對提高關於繼HEVC之後研發的區塊分割結構的寫碼及傳信效率。
在一個實例中，本發明係針對一種寫碼視訊資料的方法。該方法包括將該視訊資料之當前區塊之尺寸與當前區塊之鄰近區塊之對應尺寸進行比較以獲得相對尺寸，該鄰近區塊與當前區塊相鄰定位。該方法進一步包括基於該相對尺寸判定該當前區塊將根據基於多類型樹之分割方案之預測樹(PT)部分進行分割，該基於多類型樹之分割方案之PT部分包含根據二元樹結構或中心側三元樹結構中之一者的分割。該方法進一步包括基於該判定進行分割、根據該基於多類型樹之分割方案之PT部分分割當前區塊以形成複數個子區塊。
在另一實例中，本發明係針對一種寫碼視訊資料之器件。該器件包含經組態以儲存視訊資料之記憶體及與該記憶體通信之處理電路。該處理 電路經組態以將經儲存視訊資料之當前區塊之尺寸的值與當前區塊之鄰近區塊之對應尺寸的值進行比較以獲得相對尺寸值，該鄰近區塊與當前區塊相鄰定位。該處理電路進一步經組態以基於該相對尺寸值判定該當前區塊將根據基於多類型樹之分割方案之預測樹(PT)部分進行分割，該基於多類型樹之分割方案之PT部分包含根據二元樹結構或中心側三元樹結構中之一者的分割。該處理電路進一步經組態以基於該判定根據該基於多類型樹之分割方案之PT部分分割當前區塊以形成複數個子區塊。
在另一實例中，一種非暫時性電腦可讀儲存媒體經編碼有指令。該等指令在執行時引起視訊寫碼器件之一或多個處理器將視訊資料之當前區塊之尺寸的值與當前區塊之鄰近區塊之對應尺寸的值進行比較以獲得相對尺寸值，該鄰近區塊與該當前區塊相鄰定位。該等指令在執行時進一步引起視訊寫碼器件之一或多個處理器基於相對尺寸值判定該當前區塊將根據基於多類型樹之分割方案之預測樹(PT)部分進行分割，該基於多類型樹之分割方案之PT部分包含根據二元樹結構或中心側三元樹結構中之一者的分割。該等指令在執行時進一步引起視訊寫碼器件之一或多個處理器基於該判定根據基於多類型樹之分割方案之PT部分分割當前區塊以形成複數個子區塊。
在另一實例中，一種用於對視訊資料進行寫碼的裝置包括用於將視訊資料之當前區塊之尺寸與當前區塊之鄰近區塊之對應尺寸進行比較以獲得相對尺寸的構件，該鄰近區塊與當前區塊相鄰定位。該裝置進一步包括用於基於該相對尺寸判定該當前區塊將根多類型樹之分割方案之預測樹(PT)部分進行分割的構件，多類型樹之分割方案之PT部分包含根據二元樹結構或中心側三 元樹結構中之一者的分割。該裝置進一步包括用於基於該判定進行分割、根據多類型樹之分割方案之PT部分分割當前區塊以形成複數個子區塊的構件。
在以下隨附圖式及描述中闡述一或多個實例之細節。其他特徵、目標及優點將自該描述及圖式以及申請專利範圍而顯而易見。
10:視訊編碼及解碼系統
12:源器件
14:目的地器件
16:電腦可讀媒體
18:視訊源
20:視訊編碼器
22:輸出介面
28:輸入介面
30:視訊解碼器
32:顯示器件
40:模式選擇單元
42:運動估計單元
44:運動補償單元
46:框內預測單元
48:分割單元
50:求和器
52:變換處理單元
54:量化單元
56:熵編碼單元
58:反量化單元
60:反變換單元
62:求和器
64:參考圖像記憶體
70:熵解碼單元
72:運動補償單元
74:框內預測單元
76:反量化單元
78:反變換單元
80:求和器
82:參考圖像記憶體
90:區塊
92:分割樹
100:過程
102:步驟
104:步驟
106:步驟
108:步驟
120:過程
122:步驟
124:步驟
126:步驟
圖1為說明可經組態以執行本發明之技術之實例視訊編碼及解碼系統的方塊圖。
圖2為說明可經組態以執行本發明之技術之視訊編碼器的實例的方塊圖。
圖3為說明可經組態以執行本發明之技術之視訊解碼器的實例的方塊圖。
圖4A及圖4B為說明HEVC中之CTU至CU分割之實例及HEVC CTU至CU分割之對應四分樹表示的概念圖。
圖5為說明用於以框間預測模式經寫碼之寫碼單元(CU)的分割模式的概念圖。
圖6A及圖6B為說明QTBT分割結構之態樣的概念圖。
圖7A及圖7B為說明多類型樹型區塊分割結構之一個實例使用情況的概念圖。
圖8為說明以二進位格式表達的碼字之實例的概念圖，視訊編碼器件可針對經多類型樹分割區塊分割之PT部分中可能的各種分割方案傳信該等碼字。
圖9為說明根據本發明之態樣的用於PT拆分旗標之上下文模型化的各種上方鄰近位置及左鄰近位置的候選位置的概念圖。
圖10為說明視訊編碼器件可根據本發明之各種態樣執行之實例過程的流程圖。
圖11為說明視訊解碼器件可根據本發明之各種態樣執行之實例過程的流程圖。
本申請案主張2016年9月7日申請之美國臨時申請案第62/384,585號之權益，該臨時申請案之全部內容以引用之方式併入本文中。
圖1為說明可經組態以執行本發明之技術以用於運動向量預測的實例視訊編碼及解碼系統10的方塊圖。如圖1中所展示，系統10包括源器件12，其提供待在稍後由目的地器件14解碼之經編碼視訊資料。詳言之，源器件12經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包含廣泛範圍之器件中的任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂的「智慧型」電話之電話手機、所謂的「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲控制台、視訊串流器件或類似者。在一些情況下，源器件12及目的地器件14可經裝備以用於無線通信。
目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的任一類型之媒體或器件。在一個實例中，電腦可讀媒體16可包含通信媒體以使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。可 根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全域網路)之部分。通信媒體可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14的通信之任何其他設備。
在一些實例中，可自輸出介面22將經編碼資料輸出至儲存器件。類似地，經編碼資料可由輸入介面自儲存器件存取。儲存器件可包括多種分佈式或本端存取之資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體。在另一實例中，儲存器件可對應於檔案伺服器或可儲存由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料並將彼經編碼視訊資料傳輸至目的地器件14之任何類型的伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件及本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)或兩者之組合。經編碼視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸或其組合。
本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，該等多媒體應用諸如空中電視廣 播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存在資料儲存媒體上之數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。根據本發明，源器件12之視訊編碼器20可經組態以將本發明之技術應用於運動向量預測。在其他實例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合顯示器件。
圖1之所說明之系統10僅為一個實例。關於運動向量預測之本發明之技術可由任何數位視訊編碼及/或解碼器件執行。儘管本發明之技術一般由視訊編碼器件執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編解碼器」)執行。此外，本發明之技術亦可由視訊預處理器執行。源器件12及目的地器件14僅為源器件12產生經寫碼視訊資料以用於傳輸至目的地器件14的此等寫碼器件之實例。在一些實例中，器件12、14可以實質上對稱之方式操作，使得器件12、14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12、14之間的單向或雙向視訊傳播以用於(例如)視訊串流、視訊播放、視訊廣播或視訊電話。
源器件12之視訊源18可包括視訊捕捉器件，諸如視訊攝影機、含有先前捕捉之視訊的視訊存檔及/或用以自視訊內容提供者接收視訊的視訊饋 送介面。作為另一替代，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些情況下，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明所描述之技術一般可適用於視訊寫碼，且可應用於無線及/或有線應用。在每一情況下，捕捉、預先捕捉或電腦產生之視訊可由視訊編碼器20編碼。經編碼視訊資訊隨後可由輸出介面22輸出至電腦可讀媒體16上。
電腦可讀媒體16可包括暫時媒體，諸如無線廣播或有線網路傳輸，或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未展示)可自源器件12接收經編碼視訊資料且(例如)經由網路傳輸將經編碼視訊資料提供至目的地器件14。類似地，諸如光碟衝壓設施之媒體生產設施的計算器件可自源器件12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，電腦可讀媒體16可理解為包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊，其亦由視訊解碼器30使用，該資訊包括描述區塊及其他經寫碼單元(例如，GOP)之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據視訊寫碼標準(諸如高效率視訊寫碼(HEVC)標準、HEVC標準的擴展或後續標準(諸如，ITU-TH.266))操作。替代地，視訊編碼器20及視訊解碼器30可根據其他專屬或行業標準(諸如ITU-T H.264標準，替代地被稱作MPEG-4，第10部分，進階視訊寫碼(AVC))或此等標準之擴展而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。儘管圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體，以處置共同資料串流或單獨資料串流中之音訊及視訊兩者之編碼。若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可經實施為多種合適編碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、邏輯電路、諸如固定功能處理電路及/或可編程處理電路的處理電路、硬體、韌體、軟體或其任何組合。當該等技術部分實施於軟體中時，器件可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且在硬體中使用一或多個處理器執行該等指令，以執行本發明之技術。視訊編碼器20及視訊解碼器30中的每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中的任一者可整合為各別器件中的組合式編碼器/解碼器(編解碼器)的部分。
視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱為ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多 視圖視訊寫碼(MVC)擴展。MVC的一個聯合草案係描述於2010年3月的「用於通用視聽服務之先進視訊寫碼(Advanced video coding for generic audiovisual services)」(ITU-T標準H.264)中。
另外，存在新研發的視訊寫碼標準，亦即ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)之視訊寫碼聯合協作小組(JCT-VC)已研發的高效率視訊寫碼(HEVC)。最新的HEVC草案可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v34.zip獲得。HEVC標準亦在標準ITU-T H.265及國際標準ISO/IEC 23008-2中聯合提出，兩者皆名為「高效率視訊寫碼(High efficiency video coding)」且兩者皆於2014年10月公開。
JCT-VC研發了HEVC標準。HEVC標準化努力係基於視訊寫碼器件之演進型模型(被稱作HEVC測試模型(HM))。HM根據(例如)ITU-T H.264/AVC假定視訊寫碼器件相對於現有器件之若干額外能力。舉例而言，儘管H.264提供九個框內預測編碼模式，但HEVC HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述視訊圖框或圖像可劃分成一系列包括明度樣本及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)。位元串流內之語法資料可定義LCU之大小，LCU為在像素數目方面最大之寫碼單元。圖塊包括按寫碼次序之數個連續樹型區塊。視訊圖框或圖像可分割成一或多個圖塊。每一樹型區塊可根據四分樹而拆分成寫碼單元(CU)。一般而言，四分樹資料結構包括每CU一個節點，其中根節點對應於樹型區塊。若將CU拆分成四個 子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中之一者。
該四分樹資料結構中之每一節點可提供用於對應CU之語法資料。舉例而言，該四分樹中之節點可包括拆分旗標，從而指示是否將對應於該節點之CU拆分成子CU。可遞歸地定義用於CU之語法元素，且該等語法元素可取決於是否將該CU拆分成子CU。若CU未經進一步拆分，則其被稱作葉CU。在本發明中，儘管不存在原始葉CU之顯式拆分，但葉CU之4個子CU亦將被稱作葉CU。舉例而言，若16×16大小之CU未經進一步拆分，則儘管該16×16 CU從未經拆分，但4個8×8子CU亦將被稱作葉CU。
除CU不具有大小區別以外，CU具有與H.264標準之巨集區塊類似的用途。舉例而言，可將樹型區塊拆分成四個子節點(亦稱作子CU)，且每一子節點又可為上代節點且可被拆分成另外四個子節點。被稱作四分樹之葉節點之最終的未拆分子節點包含寫碼節點，該寫碼節點亦被稱作葉CU。與經寫碼位元串流相關聯之語法資料可定義可拆分樹型區塊之最大次數(其被稱作最大CU深度)，且亦可定義該等寫碼節點之最小大小。因此，位元串流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」指代在HEVC之上下文中的CU、PU或TU中之任一者，或在其他標準之上下文中的類似資料結構(例如，在H.264/AVC中之巨集區塊及其子區塊)。
CU包括寫碼節點及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且形狀必須為正方形。CU之大小可在8×8像素達至具有最大64×64像素或更大像素的樹型區塊之大小的範圍內。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述 例如將CU分割成一或多個PU。分割模式可在CU經跳過或直接模式編碼、框內預測模式編碼或是框間預測模式編碼之間不同。PU可經分割成非正方形形狀。與CU相關聯之語法資料亦可描述例如根據四分樹將CU分割成一或多個TU。根據HEVC標準，TU始終為正方形。亦即，在應用變換時，同時水平及垂直地應用同樣尺寸之一維變換。
HEVC標準允許根據TU進行變換，該等變換對於不同CU可為不同的。通常基於在針對經分割LCU所定義之給定CU內的PU之大小來對TU設定大小，但可能情況並非總是如此。TU的大小通常與PU相同或比PU小。在一些實例中，可使用被稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為更小單元。可將RQT之葉節點稱作變換單元(TU)。與TU相關聯之像素差值可經變換以產生可經量化之變換係數。
葉CU可包括一或多個預測單元(PU)。一般而言，PU表示對應於對應CU之所有或一部分的空間區域，且可包括用於擷取PU之參考樣本的資料。此外，PU包括與預測有關之資料。舉例而言，當PU經框內模式編碼時，PU之資料可包括於殘餘四分樹(RQT)中，該RQT可包括描述用於對應於該PU之TU的框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義PU之一或多個運動向量的資料。定義PU之運動向量的資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量指向之參考圖像，及/或運動向量之參考圖像清單(例如，清單0或清單1)。
具有一或多個PU之葉CU亦可包括一或多個變換單元(TU)。如上文所論述，可使用RQT(亦稱作TU四分樹結構)來指定該等變換單元。舉例而 言，拆分旗標可指示葉CU是否經拆分成四個變換單元。隨後，可將每一變換單元進一步拆分為其他子TU。當TU未經進一步拆分時，可將其稱作葉TU。一般而言，對於框內寫碼而言，屬於葉CU之所有葉TU共用相同之框內預測模式。亦即，一般應用相同框內預測模式來計算葉CU之所有TU之預測值。對於框內寫碼，視訊編碼器可使用框內預測模式將每一葉TU之殘餘值計算為CU之對應於該TU的部分與原始區塊之間的差。TU不必受限於PU的大小。因此，TU可大於或小於PU。對於框內寫碼，PU可與用於同一CU之對應葉TU共置。在一些實例中，葉TU之最大大小可對應於對應葉CU之大小。
此外，葉CU之TU亦可與各別四分樹資料結構(被稱作殘餘四分樹(RQT))相關聯。亦即，葉CU可包括指示該葉CU如何被分割成TU之四分樹。TU四分樹之根節點大體對應於葉CU，而CU四分樹之根節點大體對應於樹型區塊(或LCU)。將RQT之未經拆分的TU稱作葉TU。一般而言，除非另有指示，否則本發明分別使用術語CU及TU來指葉CU及葉TU。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)大體上包含一系列視訊圖像中之一或多者。GOP可包括GOP之標頭、圖像中之一或多者之標頭或別處中之語法資料，該語法資料描述包括於GOP中之圖像之數目。圖像之每一圖塊可包括描述該各別圖塊之編碼模式的圖塊語法資料。視訊編碼器20通常對個別視訊圖塊內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而大小不同。
作為一實例，HM支援以各種PU大小之預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小之框內預測，及以2N×2N、 2N×N、N×2N或N×N之對稱PU大小之框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小的框間預測之不對稱分割。在不對稱分割中，CU之一個方向未分割，而另一方向分割成25%及75%。CU之對應於25%分割之部分由「n」繼之以「上(Up)」、「下(Down)」、「左(Left)」或「右(Right)」之指示來指示。因此，例如，「2N×nU」係指水平地以頂部之2N×0.5N PU及底部之2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指視訊區塊在垂直尺寸與水平尺寸方面之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方向上將具有16個像素(y=16)且在水平方向上將具有16個像素(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU的框內預測性或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含描述在空間域(亦被稱作像素域)中產生預測性像素資料之方法或模式的語法資料，且TU可包含在對殘餘視訊資料應用變換(例如離散餘弦變換(DCT)、整數變換、小波變換或在概念上類似的變換)之後變換域中的係數。該殘餘資料可對應於未經編碼之圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且隨後變換TU以產生CU之變換係數。
在進行用以產生變換係數之任何變換之後，視訊編碼器20可對變換係數執行量化。量化一般係指量化變換係數以可能地減少用以表示係數之 資料量從而提供進一步壓縮的過程。量化過程可減小與一些或所有係數相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在量化之後，視訊編碼器可掃描變換係數，從而自包括經量化變換係數之二維矩陣產生一維向量。掃描可經設計以將較高能量(且因此較低頻率)係數置於陣列前部，及將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數以產生可經熵編碼的串行化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應可變長度寫碼(CAVLC)、上下文自適應二進位算術寫碼(CABAC)、基於語法之上下文自適應二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來對一維向量進行熵編碼。視訊編碼器20亦可熵編碼與經編碼之視訊資料相關聯的供由視訊解碼器30用於解碼視訊資料之語法元素。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可能係關於(例如)符號之鄰近值是否為非零。為執行CAVLC，視訊編碼器20可選擇用於待傳輸之符號的可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，相對於(例如)針對待傳輸之每一符號使用相等長度碼字，使用VLC可達成位元節省。機率判定可基於經指派至符號之上下文而進行。舉例而言，視訊編碼器20及/或視訊解碼器30可在運動估計及補償中使用仿射模型。
圖2為說明可經組態以執行關於運動向量預測的本發明之技術之視訊編碼器20的實例的方塊圖。視訊編碼器20可執行視訊圖塊內的視訊區塊之框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減小或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減小或移除視訊序列之相鄰圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指代若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之寫碼模式中的任一者。
如圖2所展示，視訊編碼器20接收待編碼視訊圖框內之當前視訊區塊。在圖2之實例中，視訊編碼器20包括模式選擇單元40、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。為了視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。亦可包括解區塊濾波器(圖2中未展示)以對區塊邊界進行濾波，以自經重建構之視訊中移除方塊效應假影。若需要，解區塊濾波器將通常對求和器62之輸出進行濾波。除瞭解區塊濾波器外，亦可使用額外濾波器(迴路中或迴路後)。為簡潔起見未展示此類濾波器，但若需要，則此類濾波器可對求和器50之輸出進行濾波(作為迴路中濾波器)。
在編碼過程期間，視訊編碼器20接收待寫碼之視訊圖框或圖塊。可將該圖框或圖塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44執行所接收之視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性寫碼以提供時間預測。框內預測單元46可替代地執行接收之視訊區塊相對於與待寫碼區塊相同之圖框或圖塊中之一或多個鄰近區塊的框內預測性寫碼以 提供空間預測。視訊編碼器20可執行多個寫碼遍次，(例如)以選擇用於每一視訊資料區塊之適當寫碼模式。
此外，分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割成子區塊。舉例而言，分割單元48可初始地將圖框或圖塊分割成LCU，且基於率失真分析(例如，率失真最佳化)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將LCU分割為子CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如)基於誤差結果而選擇寫碼模式(框內或框間)中之一者，且將所得經框內寫碼區塊或經框間寫碼區塊提供至求和器50以產生殘餘區塊資料，及提供至求和器62以重建構經編碼區塊以用作參考圖框。模式選擇單元40亦將語法元素(諸如運動向量、框內模式指示符、分割資訊及其他此類語法資訊)提供至熵編碼單元56。
運動估計單元42及運動補償單元44可高度整合，但為概念目的而分開說明。由運動估計單元42執行之運動估計為產生運動向量之過程，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖框(或其他經寫碼單元)內的預測性區塊(其相對於在該當前圖框(或其他經寫碼單元)內正經寫碼的當前區塊)的位移。預測性區塊為就像素差而言被發現緊密地匹配待寫碼區塊之區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差度量判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中之參考圖像的子整數像素位置之值。舉例而言，視訊編碼器20可內插該參考圖像之四分之一像素位置、八分之 一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋並輸出具有分數像素精度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖像之預測性區塊的位置而計算經框間寫碼圖塊中之視訊區塊的PU的運動向量。參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等清單中之每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42判定之運動向量提取或產生預測性區塊。再次，在一些實例中，運動估計單元42與運動補償單元44可在功能上整合。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器50藉由自正經寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。一般而言，運動估計單元42執行關於明度分量的運動估計，且運動補償單元44將基於該等明度分量計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊時使用。
視訊編碼器20可經組態以執行上文關於圖1所論述的本發明之各種技術中之任一者，且將在下文更詳細地描述。舉例而言，運動補償單元44可經組態以根據本發明之技術使用AMVP或合併模式對視訊資料區塊的運動資訊進行寫碼。
假定運動補償單元44選擇執行合併模式，運動補償單元44可形成包括合併候選集合之候選清單。運動補償單元44可基於特定的預定次序將候選添加至候選清單。如上文所論述，運動補償單元44亦可添加額外候選且執行對候選清單之修剪。最終，模式選擇單元40可判定哪些候選將用於編碼當前區塊之運動資訊，並編碼表示所選擇候選之合併索引。
如上文所描述，作為由運動估計單元42及運動補償單元44執行之框間預測的替代，框內預測單元46可對當前區塊進行框內預測。詳言之，框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可(例如)在單獨編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中為模式選擇單元40)可自所測試模式中選擇適當框內預測模式來使用。
舉例而言，框內預測單元46可使用對於各種所測試之框內預測模式的率失真分析來計算率失真值，且在所測試之模式之中選擇具有最佳率失真特性之框內預測模式。率失真分析大體上判定經編碼區塊與原始未經編碼區塊(其經編碼以產生經編碼區塊)之間的失真(或誤差)量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測單元46可根據各種經編碼區塊之失真及速率來計算比率以判定哪一框內預測模式展現該區塊之最佳率失真值。
在選擇用於區塊之框內預測模式後，框內預測單元46可將指示用於區塊之所選框內預測的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括以下各者：組態資料，其可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦稱作碼字映射表)；各種區塊之編碼上下文的定義；及對待 用於該等上下文中之每一者的最有可能之框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
視訊編碼器20藉由自正經寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將變換(諸如離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含殘餘變換係數值之視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。亦可使用小波變換、整數變換、子頻帶變換或其他類型之變換。
在任何情況下，變換處理單元52將變換應用於殘餘區塊，從而產生殘餘變換係數區塊。變換可將殘餘資訊自像素值域轉換為變換域，諸如頻域。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減少位元率。量化過程可減小與一些或所有係數相關聯的位元深度。量化程度可藉由調整量化參數來修改。在一些實例中，量化單元54隨後可執行對包括經量化之變換係數之矩陣的掃描。替代地，熵編碼單元56可執行掃描。
在量化之後，熵編碼單元56對經量化之變換係數進行熵寫碼。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的情況下，上下文可基於鄰近區塊。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如，視訊解碼器30)，或加以存檔以供稍後傳輸或擷取。
反量化單元58及反變換單元60分別應用反量化及反變換以在像素域中重建構殘餘區塊，例如，以供稍後用作參考區塊。運動補償單元44可藉由將殘餘區塊添加至參考圖像記憶體64之圖框中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用至經重建構之殘餘區塊以計算用於運動估計中之子整數像素值。求和器62將該經重建構的殘餘區塊添加到由運動補償單元44產生之經運動補償預測區塊以產生經重建構的視訊區塊以用於儲存於參考圖像記憶體64中。該經重建構的視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以對在後續視訊圖框中之區塊進行框間寫碼。
圖3為說明可經組態以執行本發明之運動向量預測技術之視訊解碼器30的實例的方塊圖。在圖3的實例中，視訊解碼器30包含熵解碼單元70、運動補償單元72、框內預測單元74、反量化單元76、反變換單元78、參考圖像記憶體82及求和器80。在一些實例中，視訊解碼器30可執行大體上互逆於關於視訊編碼器20(圖2)所描述之編碼遍次的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符產生預測資料。
在解碼過程期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70對位元串流進行熵解碼以產生經量化係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級接收語法元素。
當視訊圖塊經寫碼為框內寫碼(I)圖塊時，框內預測單元74可基於所傳信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為框間寫碼(亦即，B、P或GPB)圖塊時，運動補償單元72基於運動向量及自熵解碼單元70接收之其他語法元素而產生用於當前視訊圖塊之視訊區塊的預測性區塊。可由參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像使用預設建構技術來建構參考圖框清單(清單0及清單1)。
運動補償單元72藉由剖析運動向量及其他語法元素來判定當前視訊圖塊之視訊區塊的預測資訊，且使用該預測資訊產生正經解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元72使用所接收語法元素中之一些來判定用於寫碼視訊圖塊之視訊區塊的預測模式(例如，框內或框間預測)、框間預測圖塊類型(例如，B圖塊或P圖塊)、該圖塊之參考圖像清單中之一或多者的建構資訊、該圖塊之每一經框間編碼視訊區塊的運動向量、該圖塊之每一經框間寫碼視訊區塊的框間預測狀態及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。
運動補償單元72亦可執行基於內插濾波器之內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之子整數像素的內插值。在此情況下，運動補償單元72可根據接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。
視訊解碼器30可經組態以執行上文關於圖1所論述的本發明之各種技術中之任一者，且下文將更詳細地論述。舉例而言，運動補償單元72可經組態以判定根據本發明之技術使用AMVP或合併模式來執行運動向量預測。熵解碼單元70可解碼表示如何寫碼當前區塊之運動資訊的一或多個語法元素。
假定語法元素指示合併模式被執行，運動補償單元72可形成包括合併候選集合之候選清單。運動補償單元72可基於特定的預定次序將候選添加至候選清單。如上文所論述，運動補償單元72亦可添加額外候選且執行對候選清單之修剪。最終，運動補償單元72可解碼表示哪些候選用於寫碼當前區塊之運動資訊的合併索引。
反量化單元76反量化(亦即，解量化)提供於位元串流中且由熵解碼單元70解碼的經量化之變換係數。反量化過程可包括使用由視訊解碼器30針對視訊圖塊中之每一視訊區塊計算之量化參數QPY以判定應進行應用的量化程度及(同樣地)反量化程度。
反變換單元78將反變換(例如，反DCT、反整數變換或在概念上類似的反變換過程)應用於變換係數，以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素而產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換單元78之殘餘區塊與由運動補償單元72所產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器80表示執行此求和運算之一或多個組件。若需要，亦可應用解區塊濾波器來對經解碼區塊進行濾波以便移除區塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路內或在寫碼迴路之後)使像素轉變平滑，或以其他方式改良視訊品質。隨後將給定圖框或圖像中之經解碼之視訊區塊儲存於參考圖像記憶體 82中，該參考圖像記憶體儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼之視訊以用於稍後在顯示器件(諸如，圖1之顯示器件32)上呈現。
在HEVC中，圖塊中之最大寫碼單元被稱為寫碼樹型單元(CTU)。CTU含有四分樹。四分樹之節點被稱為寫碼單元(CU)。而且，CTU含有一個明度寫碼樹型區塊(CTB)及兩個色度CTB以及相關聯的語法元素。明度CTB之大小根據HEVC主規範可介於16×16至64×64之範圍內。然而，應瞭解在技術上，同樣可支援8×8 CTB大小。CTU可以四分樹方式(諸如下文所描述之圖4A及圖4B中展示的四分樹結構)遞歸地拆分成寫碼單元(CU)。
圖4A及圖4B為說明HEVC中之CTU至CU分割之實例及HEVC CTU至CU分割之對應四分樹表示的概念圖。亦即，圖4B的每一分支及子分支的分割深度對應於產生圖4A中所說明之CU的四分樹分割。對圖4A中所說明的子區塊中之一者加陰影，以說明加陰影子區塊為8×8 CU的實例。對於加陰影之子區塊，允許不進一步拆分，且因此可不需要拆分相關傳信。在圖4B中所說明的葉節點(例如，由圖4A中之分割產生之CU)對應於8×8 CU的情況下，不需要傳信。四分樹表示的各態樣經描述於W.J.Han等人的「Improved Video Compression Efficiency Through Flexible Unit Representation and Corresponding Extension of Coding Tools」(IEEE視訊技術電路及系統會刊；IEEE Transaction on Circuits and Systems for Video Technology，第20卷，第12期，第1709至1720頁，2010年12月)中。圖4A之CTU至CU分割之傳信遵循圖4B中所說明的四分樹結構，其中所說明之四分樹中的每一各別節點消耗一個位元以指示是否將進一 步拆分該各別節點。舉例而言，視訊編碼器20可根據上文所描述的傳信特徵將圖4A之CTU至CU分割方案傳信至視訊解碼器30。
CU大小可與CTB之大小相同，但CU大小可小至8×8。每一寫碼單元(CU)根據一個模式經寫碼。舉例而言，視訊編碼器20可根據框內模式或框間模式編碼每一CU，且視訊解碼器30可根據框內模式或框間模式解碼每一CU。若CU經框間寫碼(亦即，視訊編碼器20在編碼CU時應用框間模式)，則CU可進一步經分割成兩(2)個或四(4)個預測單元(PU)，或可在不應用進一步分割時變為僅一(1)個PU。當一個CU中存在兩個PU時，該等PU可為矩形，每一矩形覆蓋CU之大小(面積)的一半，或該等PU可為各別大小(例如，面積)為CU之大小的四分之一(¼)及四分之三(¾)的兩個矩形。
圖5為說明用於框間預測模式之分割模式的概念圖。如圖5中所展示，存在用於以框間預測模式經寫碼之CU的八(8)個分割模式。圖5中所展示之八(8)個分割模式為PART_2N×2N、PART_2N×N、PART_N×2N、PART_N×N、PART_2N×nU、PART_2N×nD、PART_nL×2N及PART_nR×2N。
在特定CU經框間寫碼的情況下，對於每一PU存在一個運動資訊集合。舉例而言，若視訊編碼器20對CU進行框間寫碼，則視訊編碼器20可將一個運動資訊集合傳信至視訊解碼器30以用於CU。另外，視訊編碼器20及/或視訊解碼器30可以獨特的框間預測模式寫碼(例如，分別為編碼或解碼)每一PU以導出各別運動資訊集合。在CU經框內寫碼的情況下，2N×2N及N×N為僅有的容許PU形狀。在此等情況下，在每一PU內，單一框內預測模式經寫碼，同時視訊編碼器20在CU層級處傳信色度預測模式。當當前CU大小等於對應序列參數集(SPS)中所定義的最小CU大小時，僅允許N×N框內PU形狀。
已在除HEVC及其他現有標準以外的進展過程中提出並研究各種分割方案。一個實例為下文進一步詳細描述的四分樹-二元樹(QTBT)結構。在VCEG提議COM16-C966(J.An、Y.-W.Chen、K.Zhang、H.Huang、Y.-W.Huang及S.Lei的「Block partitioning structure for next generation video coding」(國際電信聯盟，COM16-C966，2015年9月))中，針對除HEVC以外之未來視訊寫碼標準提出四分樹-二元樹(QTBT)。模擬展示所提出QTBT結構比在HEVC中使用的四分樹結構更有效。
在COM16-C966中提出之QTBT結構中，首先根據四分樹結構分割CTB，其中一個節點之四分樹拆分可被迭代直至節點到達最小允許四分樹葉節點大小(MinQTSize)為止。根據QTBT結構，若四分樹葉節點大小不大於最大允許二元樹根節點大小(MaxBTSize)，則其可根據二元樹結構進一步經分割。一個節點之二元樹拆分可被迭代直至節點到達最小允許二元樹葉節點大小(MinBTSize)或最大允許二元樹深度(MaxBTDepth)為止。二元樹葉節點即為CU，其在無任何進一步分割之情況下可用於預測(例如圖像內或圖像間預測)及變換。
根據二元樹拆分，存在兩個拆分類型，即，對稱水平拆分及對稱垂直拆分。在QTBT分割結構之一個實例中，CTU大小經設定為128×128(亦即，128×128明度樣本及兩個對應的64×64色度樣本)，MinQTSize經設定為16×16，MaxBTSize經設定為64×64，MinBTSize(對於寬度及高度兩者)經設定為4，且MaxBTDepth經設定為4。四分樹分割首先應用於CTU以產生四分樹葉節點。四分樹葉節點可具有16×16(亦即，MinQTSize)至128×128(亦即，CTU大 小)之大小。若四分樹葉節點為128×128，則該四分樹葉節點將不根據二元樹結構進一步拆分，此係因為四分樹葉節點大小超過MaxBTSize(亦即，64×64)。
否則(例如，若四分樹葉節點大小不超過64×64之MaxBTSize)，四分樹葉節點可根據二元樹結構進一步經分割。因此，四分樹葉節點亦為二元樹之根節點且具有為0之二元樹深度。當二元樹深度藉助於迭代二元拆分到達MaxBTDepth(亦即，4)，其暗示不進行任何種類之進一步拆分。若二元樹節點具有等於MinBTSize(亦即，4)之寬度時，其暗示不進行進一步垂直拆分。類似地，若二元樹節點具有等於MinBTSize(4)之高度，其暗示不進行進一步水平拆分。二元樹之葉節點即為在無更進一步分割之情況下藉由預測及變換進一步處理的CU。
圖6A及圖6B為說明QTBT分割結構之態樣的概念圖。圖6A說明根據QTBT結構的區塊分割之實例。因而，圖6A可經描述為QTBT結構之說明。圖6B說明對應於圖6A中所展示之基於QTBT的區塊分割的樹狀結構。在圖6B中，實線指示基於四分樹的拆分，且虛線指示基於二元樹的拆分。在圖6B之二元樹部分之每一拆分節點(亦即，非葉節點)中，視訊編碼器20可傳信一個旗標以指示使用哪一二元拆分類型(亦即，水平或垂直)。在圖6B之實例中，旗標值零(0)指示水平拆分，且旗標值一(1)指示垂直拆分。對於QTBT結構之基於四分樹的部分，不需要傳信對拆分類型之指示，此係因為基於四分樹的部分之拆分節點始終水平地及垂直地經拆分成四(4)個具有相等大小的子區塊。
已在HEVC之後提出及研究之另一樹狀結構被稱為「多類型樹狀結構」。在美國臨時專利申請案第62/279,233及62/311,248中，提出及描述了多類型樹狀結構。對於描述於美國臨時專利申請案第62/279,233及62/311,248中之 該等技術，樹節點可使用多個樹型(諸如二元樹、對稱中心側三元樹及/或四分樹結構)進一步拆分。根據兩層級多類型樹狀結構，首先以CTU之四分樹分區建構區域樹(RT)。多類型樹狀結構之RT部分之後為多類型樹狀結構之預測樹(PT)部分之建構。在多類型樹狀結構之PT部分中，可僅擴展二元樹及對稱中心側三元樹。
亦即，在多類型樹狀結構之PT部分中，視訊編碼器20及/或視訊解碼器30可根據二元樹結構或中心側三元樹結構中之一者拆分拆分節點。在基於多類型樹的拆分之PT部分中，由基於二元樹之分割產生的拆分節點可根據中心側三元樹結構進一步拆分。而且，在基於多類型樹的拆分之PT部分中，由基於中心側三元樹之分割產生的拆分節點可根據二元樹結構進一步拆分。
圖7A及圖7B為說明多類型樹型區塊分割結構之一個實例使用情況的概念圖。圖7A說明根據多類型樹狀結構分割的區塊之實例。因而，圖7A可經描述為多類型樹分割結構之說明。圖7B說明對應於圖7A中所展示之基於多樹型的區塊分割的樹狀結構。
在圖7A及圖7B中之每一者中，實線用於說明根據多樹型分割結構之基於RT之態樣的分割，而虛線用於說明根據多樹型分割結構之基於PT之態樣的分割。如圖7A及圖7B中所展示，根據多類型樹分割結構，視訊編碼器20及視訊解碼器30僅在推斷特定分支的基於RT之分割之後開始彼特定分支的基於PT之分割。而且，如圖7A及圖7B中所說明，視訊編碼器20及視訊解碼器30可多次且以任何次序在基於多類型樹之拆分方案的基於PT之部分中實施基於二元樹之分割及基於中心側三元樹之分割兩者。
如圖7A中所展示，首先根據四分樹結構將區塊90分割成四個正方形子區塊。在圖7B中藉助於根節點之四分支實線拆分來說明區塊90之四分樹拆分。自左至右，自分割樹92(圖7B中)之根節點拆分的四個分支中之每一者分別對應於由區塊90之四分樹(亦即，第一RT部分)拆分產生的左上、右上、左下及右下子區塊。左上子區塊根據四分樹分割結構再次經拆分，且所得子區塊中之每一者表示葉節點(亦即，不進一步拆分)。因為區塊90之左上子區塊之拆分係根據四分樹分割結構執行的，分割樹92之最左分支在多類型樹分割方案之RT部分內結束。在圖7B中藉助於正用於說明涉及樹92之最左分支的所有拆分的實線來展示樹92之最左分支之RT限制本質。
區塊92之右上子區塊根據中心側三元樹分割結構經拆分，以形成三個矩形子區塊。更具體言之，就區塊92之右上子區塊而言，視訊編碼器20及視訊解碼器30根據中心側三元樹分割結構實施垂直拆分。亦即，視訊編碼器20及視訊解碼器30垂直拆分右上子區塊，以形成三個所得矩形子區塊。右上子區塊之基於垂直中心側三元樹之拆分在分割樹92中展示為根節點拆分之自左第二分支的三分支拆分。因為區塊90之右上子區塊根據中心側三元樹分割結構經拆分，所以右上子區塊之拆分為分割樹92之基於多類型樹之方案的PT部分之部分。因而，在圖7B中使用虛線說明分割樹92之自左第二分支中的基於中心側三元樹之拆分。
視訊編碼器20及視訊解碼器30繼而實施右上子區塊之最左矩形子區塊之基於二元樹之拆分，以形成兩個矩形子區塊。更具體言之，視訊編碼器20及視訊解碼器30關於區塊90之右上子區塊之最左子區塊實施基於二元樹之 拆分的水平版本。在分割樹92中使用由自左第二分支之拆分產生的最左節點之虛線雙向拆分標示基於二元樹之拆分。
區塊90之左下子區塊根據中心側三元樹分割結構水平地經拆分，且此拆分之所得中間子區塊根據中心側三元樹分割結構垂直地經進一步拆分。區塊90之多類型樹分割之PT部分之此等態樣使用虛線在來源於分割樹92之根節點的自左第三分支之下游分割中加以展示。
區塊90之右下子區塊根據二元樹分割結構水平地經拆分，且此拆分之所得左子區塊根據中心側三元樹分割結構垂直地經進一步拆分。區塊90之多類型樹分割之PT部分之此等態樣使用虛線在來源於分割樹92之根節點的最右分支之下游分割中加以展示。
相較於HEVC中的CU結構及相較於QTBT結構，圖7A及圖7B中所說明之多類型樹狀結構提供較佳寫碼效率，此係因為區塊分割更靈活。另外，中心側三元樹之引入提供視訊信號之更靈活定位。為維護關於根據多類型樹狀結構分割的區塊之經PT分割部分的精度，視訊編碼器20可針對PT部分中之每一拆分節點傳信對關於彼特定拆分節點實施的分割類型之指示。
為支援關於經PT分割部分的精度，視訊編碼器20可傳信指示該樹狀結構(二元或中心側三元樹)以及分割之定向(水平或垂直)的資訊。舉例而言，視訊編碼器20可使用碼字指派來指示用於區塊之經PT分割部分之每一拆分節點之分割的樹狀結構及其定向。圖7B包括視訊編碼器20可針對多類型樹分割結構之PT部分內可能的每一分割類型傳信碼字之十進位值。如圖7B中所展示，十進位值七(7)指示基於垂直中心側三元樹之分割，十進位值五(5)指示基於水平中心側三元樹之分割，十進位值六(6)指示基於垂直二元樹之分割，及十進位值 四(4)指示基於水平二元樹之分割。十進位值零(0)識別區塊之經PT分割部分中之葉節點。亦即，視訊編碼器20可傳信表示十進位值零(0)之碼字以指示對應子區塊不經進一步分割。
圖8為說明以二元格式表達的碼字之實例的概念圖，視訊編碼器20可針對經多類型樹分割區塊分割之PT部分中可能的各種分割方案傳信該等碼字。圖8還說明各種碼字之對應分割方案。圖8中所說明的二進位值對應於圖7B中所說明的十進位值。因而，二元碼字「111」指示基於垂直中心側三元樹之分割，二元碼字「101」指示基於水平中心側三元樹之分割，二元碼字「110」指示基於垂直二元樹之分割，及二元碼字「100」指示基於水平二元樹之分割。二元碼字「000」識別區塊之經PT分割部分中之葉節點。第一(最左)位元子表示PT拆分旗標之值(指示是否拆分CU)，第二位元子表示PT拆分方向(例如，水平或垂直)，及第三位元子表示PT拆分模式(例如，二元樹或中心側三元樹)。
圖7B及圖8說明用於根據現有基於多類型樹之分割技術的PT部分分割資訊之傳信的碼字指派之實例。如所展示，根據多類型樹分割結構，視訊編碼器20可針對每一PT節點傳信三個位元或位元子以指示對應PT節點之分割資訊。相反，視訊解碼器30可解碼三個位元或位元子以判定每一PT節點處的區塊分割。再次，圖8中所展示之由各種碼字表示的各種區塊分割方案為未拆分、水平二元樹、垂直二元樹、水平三元樹及垂直三元樹。在各種使用案例情境中，視訊編碼器20及視訊解碼器30可關於單一區塊處理相當大數目之碼字，諸如在多類型樹狀結構之PT部分提早開始及/或持續最大分割深度的情況下。圖7A及圖7B中說明一個此類實例。多類型樹狀結構具有兩層級(RT and PT)本質，且根部區塊之樹深度指示葉節點之區塊大小範圍。
因此，在許多情境中，多類型樹分割結構在受益於精度及分割靈活性之觀點的同時可為資源繁重及頻寬繁重之寫碼方案。上文所論述之多樹狀結構之特徵除了藉助於中心側三元樹結構增加三個分區之外亦提高傳信根據多樹狀結構之PT部分分割資訊所需的位元/位元子之數目。作為一個實例，對於根據多類型樹狀結構經寫碼的常規視訊內容，位元串流位元之總量之百分之九至百分之十四(9%至14%)被消耗用於根據圖8中所說明的碼字指派傳信碼字。上文所描述的技術所呈現之另一潛在問題在於樹型傳信之上下文模型化主要使用鄰近區塊與當前區塊之間的相對深度來判定當前區塊之進一步拆分之可能性。
本發明係針對解決(例如，藉由緩和及在一些情況中潛在地消除)上文所描述的問題以及由現有視訊寫碼技術及繼HEVC之後之提議所呈現的其他問題的技術。本發明之技術一般係針對在繼續充分利用由多類型樹分割結構提供之益處的同時減輕多類型樹分割結構之資源及頻寬消耗。本發明提供各種技術以改良使用多類型樹狀結構之效率，且本發明之技術可個別地或以各種組合及/或序列實施。因而，本發明之某些態樣經描述為係針對樹型之更高效寫碼。
根據本發明之一些實例，在某些條件下，可關於視訊編碼器20傳信至視訊解碼器30以用於PT部分分割的資訊將用於傳信PT分割資訊之三位元子需求除外。在一些實例中，視訊編碼器20及視訊解碼器30可基於可自已寫碼鄰近區塊獲得之資訊判定用於區塊之PT分割資訊，由此減小正傳信之碼字的數目。在其他實例中，視訊編碼器20可根據本發明之態樣傳信與圖8中所展示之方案不同的碼字方案。在下文進一步詳細描述根據本發明之技術可實施的寫碼 約束之各種實例。本發明之一些實例技術係針對使用用於較佳(例如，增強型)上下文模型化之更可靠上下文。
本發明之一些技術係基於以下辨識：區塊(「當前」區塊)相對於當前區塊之鄰近區塊之大小的大小可用於選擇用於當前區塊之PT樹型寫碼之上下文。舉例而言，視訊編碼器20及/或視訊解碼器30可實施本文中所描述之該等技術中之一或多者以判定是否將進一步拆分當前區塊，且可將判定基於當前區塊與其鄰近區塊中之一或多者之大小之間的比率。藉由使用當前區塊之大小與鄰近區塊之大小之間的比率判定是否將進一步拆分當前區塊，視訊編碼器20及視訊解碼器30可減小基於多類型樹之寫碼的傳信間接負擔，此係因為不必針對當前區塊傳信PT拆分旗標(圖8中所說明的碼字之最左位元子)。相反，視訊編碼器20及視訊解碼器30可執行彼此類似之操作以判定是否基於相較於鄰近區塊之相對大小來分割當前區塊，由此消除對PT拆分旗標之顯式傳信的需要。
在一個實例中，基於當前區塊之寬度大於上方鄰近區塊之寬度的判定，視訊編碼器20及視訊解碼器30可判定很可能將進一步拆分當前區塊。亦即，若上方鄰近區塊具有與當前區塊相比更小之寬度，則視訊編碼器20及視訊解碼器30可推斷上方鄰近區塊為拆分之結果，且還將拆分當前區塊。以此方式，視訊編碼器20及視訊解碼器30可充分利用來自先前經寫碼之上方鄰近區塊的資訊以減小關於當前區塊之分割資訊的傳信間接負擔，同時亦產生關於是否將拆分當前區塊的判定。
類似地，基於當前區塊之高度大於左鄰近區塊之高度的判定，視訊編碼器20及視訊解碼器30可判定很可能將進一步拆分當前區塊。亦即，若左鄰近區塊具有與當前區塊相比更小之高度，則視訊編碼器20及視訊解碼器30 可推斷左鄰近區塊為拆分之結果，且還將拆分當前區塊。以此方式，視訊編碼器20及視訊解碼器30可充分利用來自先前經寫碼之左鄰近區塊的資訊以減小關於用於當前區塊之分割資訊的傳信間接負擔，同時亦產生關於是否將拆分當前區塊的判定。
此外，視訊編碼器20及視訊解碼器30可使用上方左鄰近區塊、上方右鄰近區塊或下方左鄰近區塊中之一或多者與當前區塊大小相比之相對大小來推斷是否將進一步拆分當前區塊。舉例而言，若視訊編碼器20及視訊解碼器30判定當前區塊之面積大於上方左鄰近區塊、上方右鄰近區塊或下方左鄰近區塊中之一者之面積，則視訊編碼器20及/或視訊解碼器30可判定很可能將進一步拆分當前區塊。在本發明之各部分處，區塊面積可指代區塊「大小」，且相對面積資訊可被稱為「相對大小」或「大小比率」。
相對寬度、相對高度及相對面積之判定在本文中被稱為「事件」。在一些實例中，視訊編碼器20及視訊解碼器30可使用上文所列事件中之一或多者之總計出現次數來判定PT拆分旗標之上下文，例如對是否將進一步拆分當前區塊的推斷。在一些實例中，視訊編碼器20及視訊解碼器30可使用個別事件形成PT拆分旗標之上下文集合。
在一些實例中，視訊編碼器20及視訊解碼器30可利用上方鄰近區塊之寬度及左鄰近區塊之高度來產生PT拆分方向之上下文。亦即，根據此等實例，視訊編碼器20及視訊解碼器30可基於上方鄰近區塊之寬度及左鄰近區塊之高度推斷圖8中所說明的碼字之中間位元子之值。若上方鄰近區塊之寬度與當前區塊之寬度相比更小，且左鄰近區塊之高度大於或等於當前區塊之高度，則視訊編碼器20及視訊解碼器30可判定很可能將垂直拆分當前區塊。
類似地，若左鄰近區塊之高度與當前區塊之高度相比更小，且上方鄰近區塊之寬度大於或等於當前區塊之寬度，則視訊編碼器20及視訊解碼器30可判定很可能將水平地拆分當前區塊。根據本發明之此等態樣，視訊編碼器20及視訊解碼器30可實施本發明之技術以基於可自先前經寫碼鄰近區塊獲得之資訊推斷PT拆分方向。以此方式，視訊編碼器20及視訊解碼器30可減小PT拆分方向需要以圖8中所說明的碼字方案之中間位元子之形式傳信的個例之數目。
根據本發明之一些實例，視訊編碼器20及視訊解碼器30可利用上方鄰近區塊之寬度及左鄰近區塊之高度來推斷PT拆分模式之上下文。亦即，若將完全在PT部分中分割當前區塊，則視訊編碼器20及視訊解碼器30可利用上方鄰近區塊之寬度及左鄰近區塊之高度在二元樹結構與中心側三元樹結構之間進行選擇以用於分割當前區塊。在此等實例中，若上方鄰近區塊之寬度與當前區塊之寬度相比更小，且垂直地拆分當前區塊，則視訊編碼器20及視訊解碼器30可判定將根據中心側三元樹分割結構拆分當前區塊。
在此等實例中，若左鄰近區塊之高度與當前區塊之高度相比更小，且水平地拆分當前區塊，則視訊編碼器20及/或視訊解碼器30可判定很可能將根據中心側三元樹分割結構拆分當前區塊。以此方式，視訊編碼器20及視訊解碼器30可實施本發明之技術以基於來自先前經寫碼鄰近區塊之資訊推斷圖8中所說明的碼字之最右位元子之值。
根據本發明之一些實例，若視訊編碼器20及視訊解碼器30判定當前區塊之鄰近區塊不可用，則視訊編碼器20及視訊解碼器30可在當前上下文之導出期間使用預設上下文值。舉例而言，視訊編碼器20及視訊解碼器30可應 用關於CABAC寫碼或熵寫碼語法元素的預設上下文，該語法元素指示關於當前區塊的分割資訊。
在一些實例中，若視訊編碼器20及視訊解碼器30判定不同分量(諸如Y分量、Cb分量、Cr分量或深度分量)允許不同RT或PT拆分，則視訊編碼器20及/或視訊解碼器30可應用所有前述技術(例如，上文關於利用相對高度/寬度/面積所描述的所有技術)，但使用在其他分量中的相關聯區塊。亦即，代替使用來自上文所論述之近鄰區塊的資訊，視訊編碼器20及視訊解碼器30可使用關於區塊之Y分量、Cb分量、Cr分量或深度分量的相對高度/寬度/面積。如本文所使用，『Y』指示明度分量，Cb指示色度分量，且Cr指示另一色度分量。
本發明之各種技術係基於以下辨識：在計算PT樹型之上下文時，鄰近區塊之位置可靜態地或動態地經定義以適於各種特性之視訊信號。舉例而言，此等技術使得視訊編碼器20及視訊解碼器30能夠選擇特定鄰近區塊，以便執行上文所描述的基於相對高度/寬度/面積之技術中之一或多者。作為一個實例，若當前區塊具有多個上方鄰近區塊，則視訊編碼器20及視訊解碼器30可實施本文中所描述之技術來選擇用以執行基於相對寬度之判定的上方鄰近區塊中之一者。類似地，若當前區塊具有多個左鄰近區塊，則視訊編碼器20及視訊解碼器30可實施本文中所描述之技術以選擇用以執行基於相對高度之判定的左鄰近區塊中之一者。
圖9為說明根據本發明之態樣的用於PT拆分旗標之上下文模型化的各種上方鄰近位置及左鄰近位置的候選位置的概念圖。由於CU之縱橫比之範圍變得比藉由先前寫碼標準提供之縱橫比更高，故上方鄰近區塊之位置可選自 當前區塊之左上角之緊挨上方、沿當前區塊之頂部邊界的中心4×4區塊之緊挨上方或當前區塊之右上角中的最右4×4區塊之緊挨上方。
圖9中之位置T0至T3說明待用於基於相對寬度之判定的上方鄰近區塊的候選位置之實例。類似地，視訊編碼器20及視訊解碼器30可實施本發明之技術以自諸如當前區塊之左上角之緊挨左側、沿當前區塊之左邊界的中心4×4區塊之緊挨左側或當前區塊之左下角中的最下4×4區塊之緊挨左側的位置選擇左鄰近區塊。圖9中之位置L0至L3說明待用於基於相對高度之判定的左鄰近區塊的候選位置之實例。根據本文中所描述之該等技術對上方鄰近區塊及左鄰近區塊之選擇可隨著區塊大小之縱橫比增大而得到改良準確度。
在一個實例中，在執行當前區塊之上下文模型化時，視訊編碼器20及視訊解碼器30可選擇定位於T0與T3之間的位置處的區塊作為上方鄰近區塊，且可選擇定位於L0與L3之間的位置處的區塊作為左鄰近區塊。在另一實例中，視訊編碼器20可藉由在序列參數集(SPS)圖像參數集(PPS)或圖塊標頭(SH)中傳信資訊來指定上方鄰近區塊及左鄰近區塊之位置。在此等實例中，視訊解碼器30可使用在SPS、PPS或SH中傳信的資訊選擇上方鄰近區塊及左鄰近區塊之位置。藉由使用在SPS/PPH/SH中傳信之鄰近區塊位置資訊，視訊編碼器20及視訊解碼器30可跨序列、圖像或圖塊之所有PT拆分區塊使用用於鄰近區塊選擇之相同資訊。以此方式，視訊編碼器20及視訊解碼器30可藉由減小需要傳信以用於基於PT之分割的個別碼字的數目來減小傳信間接負擔。
在一個實例中，視訊編碼器20可在SPS、PPS或SH中傳信選自集合{(TL，TR)、(TL,BL)、(TR,BL)}之一個對或2元組以用於上下文模型化。在一個實例中，視訊編碼器20及視訊解碼器30可靜態地選擇選自集合{(TL， TR)、(TL,BL)、(TR,BL)}的對或2元組。在上文使用的記法中，『TL』表示左上鄰近區塊，『TR』表示右上鄰近區塊，『BL』表示左下鄰近區塊，且『BR』表示右下鄰近區塊。
在一些實例中，視訊編碼器20及視訊解碼器30可基於當前區塊之形狀選擇上方鄰近區塊及左鄰近區塊之位置。舉例而言，若當前區塊之寬度大於高度，則視訊編碼器20及視訊解碼器30可選擇圖9中所說明的T1或T2作為待用於本發明之基於相對寬度之判定的上方鄰近區塊。否則(例如，若當前區塊之寬度小於或等於高度)，則視訊編碼器20及視訊解碼器30可選擇圖9中所說明的T0作為待用於本發明之基於相對寬度之判定的上方鄰近區塊。類似地，若當前區塊之高度大於當前區塊之寬度，則視訊編碼器20及視訊解碼器30可選擇圖9中所說明的L1或L2作為用於本發明之基於相對高度之判定的左鄰近區塊。否則，視訊編碼器20及/或視訊解碼器30可選擇L0。
根據一些實例，若來自圖9中所展示之所有位置不相交，則視訊編碼器20及視訊解碼器30可使用該等位置處之鄰近區塊的資訊之組合來模型化上下文。舉例而言，視訊編碼器20及視訊解碼器30可將當前區塊寬度、高度或大小(例如，面積)與圖9中所說明的所有周圍鄰近區塊之對應量度進行比較，以預測PT拆分旗標之值、PT拆分方向或PT拆分模式。藉由以此方式使用來自多個鄰近區塊的資訊之組合，視訊編碼器20及視訊解碼器30可更準確地預測PT拆分旗標、PT拆分方向及PT拆分模式，此係因為考慮到了更大量之啟發資料。
在另一實例中，視訊編碼器20可施加不使用進一步傳信的約束。舉例而言，若左鄰近區塊及上方鄰近區塊均根據二元樹結構垂直地分割，則視訊編碼器20及視訊解碼器30可推斷將根據二元樹結構垂直地分割當前區 塊。可根據本發明之態樣施加其他此類約束，且應瞭解本發明之該等約束不限於上文所論述之垂直二元分割約束之實例。
根據本發明之一些態樣，視訊編碼器20可對樹型傳信施加在逐個基礎上可能適當的約束(例如，亦被描述為『恰當』約束)。在一些情況下，考慮到可允許的RT及PT深度，視訊編碼器20可跳過用於傳信PT拆分方向或PT拆分模式的位元子。關於對此等技術之論述，分別藉由mW及mH標示最小區塊寬度及最小區塊高度。
在一個實例中視訊編碼器20及視訊解碼器30可判定若當前區塊之寬度等於mW，則關於當前區塊可僅發生水平PT拆分。在這種情況下，視訊編碼器20可不傳信PT拆分方向，此係因為PT拆分方向係由視訊解碼器30關於當前區塊而推斷。類似地，在一個實例中，若當前區塊之高度等於mH，則基於視訊解碼器30推斷PT拆分方向為水平，視訊編碼器20可不傳信PT拆分方向。
在一個實例中，若當前區塊之寬度等於(2×mW)，且垂直地拆分當前區塊，則視訊編碼器20可不傳信PT拆分模式，此係因為在這種情況下僅准許垂直二元樹分割。類似地，若當前區塊之高度等於(2×mH)，且水平地拆分當前區塊，則視訊編碼器20可不傳信PT拆分模式，此係因為在這種情況下僅准許水平二元樹分割。
在一些實例中，視訊編碼器20可在位元串流中傳信關於二元樹或三元樹或兩者之『停用』指示。舉例而言，視訊編碼器20可在一或多個語法結構中，諸如在SPS及/或PPS及/或圖塊標頭中傳信『停用』指示。若樹型經傳信為在某一層級處『停用』，則視訊編碼器20可跳過彼層級內PT拆分模式之傳 信。舉例而言，若視訊編碼器20在PPS(亦即，在圖像層級處)中傳信停用狀態，則視訊編碼器可跳過整個圖像之PT拆分模式之傳信。
在又一實例中，若當前區塊之不同分量(諸如Y分量、Cb分量、Cr分量或深度分量)允許不同RT或PT拆分，則視訊編碼器20可根據其他分量中之相關聯區塊之RT及/或PT拆分針對當前分量施加RT或PT拆分約束。舉例而言，當寫碼Cb或Cr分量中之區塊時，若垂直地拆分Y分量區塊，則視訊編碼器20可不傳信當前分量之水平拆分模式。
根據本發明之一些態樣，代替傳信圖8中所說明的碼字，視訊編碼器20可自可變長度寫碼(VLC)查找表選擇碼字。VLC查找表之碼字可提供用於一些視訊信號之替代靈活性，其中每一分割類型之交叉機率遵循偏斜或高度偏斜之分佈。二進位化過程自身可包含鄰近區塊之寫碼資訊，以得到偏斜機率分佈。在本發明之一些實例中，視訊編碼器20及視訊解碼器30可根據不同近鄰區塊分區針對當前區塊分割使用不同二進位化方法。
在一個實例中視訊編碼器20可使用兩個位元子之固定長度(FL)碼來傳信拆分特定事件。如上文所論述，多類型樹狀結構內可能有四個不同類型的PT分割。再次，四個類型之PT分割為水平二元樹、垂直二元樹、水平中心側三元樹及垂直中心側三元樹。在本發明之兩位元子FL碼之各種實例中，第一位元子及第二位元子之定義可為可互換的。亦即，第一位元子可表示拆分方向，且第二位元子可表示樹型，或反之亦然。
替代地，視訊編碼器20可使用截短一元(TU)碼來傳信分區。下表1展示根據本發明之態樣的視訊編碼器20可使用的碼字指派方案之一個實例。
Figure 106130624-A0305-02-0044-1
應瞭解，至每一分割類型之碼字指派可基於每一分割之機率，且上表1僅充當非限制性實例。視訊編碼器20可將最短碼字指派給最常遇到之情境。在表1之實例中，垂直二元樹分割可表示在經PT分割部分中之最常遇到之情境，及因此，視訊編碼器20可指派『0』碼字以指示垂直二元樹分割。在許多使用案例情境中，串流中超過80%之經PT分割區塊以同一方式經拆分。以此方式，視訊編碼器20可藉由指派較短碼字給較常經傳信之指示來減小基於多類型樹之分割的位元率需求。
在一個實例中，若左鄰近區塊及上方鄰近區塊均使用二元樹垂直地分割，則視訊編碼器20及視訊解碼器30可判定當前區塊同樣高度可能或可能將垂直地經分割。在這種情況下，視訊編碼器20及視訊解碼器30可針對垂直二元分割使用較短碼字。換言之，視訊編碼器20及視訊解碼器30可根據此實例取決於鄰近區塊分區而使用不同分割二進位化方法。以此方式，視訊編碼器20可藉由指派較短碼字給針對當前區塊將最可能傳信的指示來減小基於多類型樹之分割的位元率需求。
在一個實例中，視訊編碼器20可在位元串流之各種語法結構(諸如SPS、PPS或SH)中傳信碼字選擇。在另一實例中，當不同分量(諸如Y分量、Cb分量、Cr分量或深度分量)允許不同RT或PT拆分時，針對當前分量自VLC查 找表之選擇可根據其他分量中之相關聯區塊之RT及/或PT拆分來應用。舉例而言，當寫碼Cb或Cr分量中之區塊且垂直地拆分Y分量中之相關聯區塊時，視訊編碼器20可傳信用於基於垂直二元樹之分割的縮短碼字。換言之，根據此實例，視訊編碼器20可取決於其他分量中之相關聯區塊分區使用不同分割二進位化方法。
根據本發明之某些技術，視訊編碼器20及視訊解碼器30可針對跨越圖像邊界的所有CTU實施預定義拆分方式。因為跨圖像CTU之拆分結構在此等實例中經預定義，視訊編碼器20可直至分割產生定位於當前圖像內之每一CU之所有樣本之前才傳信樹型資訊。
在一個實例中，CTU可在視訊編碼器20不傳信任何CU拆分旗標之情況下藉由RT拆分遞歸地拆分，直至遞歸RT拆分達到所有節點表示整個定位在當前圖像內之一所得CU的階段為止。在其他實例中，該CTU可藉由使用一個所選類型之PT拆分在視訊編碼器20不傳信任何CU拆分旗標的情況下遞歸地拆分，直至遞歸拆分達到所有節點表示整個定位在當前圖像內之一所得CU的階段為止。在一個實例中，視訊編碼器20及視訊解碼器30可藉由使用包括RT及PT兩者之常規樹型傳信找到最有利表示來遞歸地拆分CTU。舉例而言，對於右半部處於圖像外部的CTU，一級RT拆分形成一有效分割。又，在一級PT拆分之情況下不在RT中進行拆分以形成另一有效分割。
有效分割經定義為每一各別CU整個定位在當前圖像內的分割。在另一實例中，視訊編碼器20可自適應地拆分CTU，且視訊編碼器20可傳信一個一位元旗標或索引或多個旗標以使得視訊解碼器30能夠決定或判定應實施上文所提及之拆分方案中的哪一個。在這個實例中，視訊解碼器30可使用所接收 資訊來選擇匹配藉由視訊編碼器20實施之自適應性拆分的拆分方案。以此方式，視訊編碼器20及視訊解碼器30可減小在CTU跨越圖像邊界之情況下對碼字傳信之位元率需求。因為遞歸拆分機制經預定義以將此CTU分割成各自整個處於當前圖像內的CU，所以視訊編碼器20不必反覆地傳信碼字以指示每一節點處之拆分資訊，至少直至每一CU包含於單一圖像內為止。
再次，視訊編碼器20及/或視訊解碼器30可個別地實施上文所描述之技術或以可在邏輯上組合該等技術中之兩者或多於兩者的任何組合實施該等技術。如上文所描述，本發明之技術適用於將各種樹型用於區塊分割的情境中。舉例而言，區域樹(RT)分割可包括(但不限於)四分樹分割，且預測樹(PT)分割可包括(但不限於)二元樹分割及/或對稱中心側三元樹分割。
如下描述上文所描述之技術的各種實施。舉例而言，關於上文關於圖9所描述之基於鄰近區塊選擇的技術，對於預測樹(PT)部分中的每一節點，視訊編碼器20及/或視訊解碼器30可執行以下寫碼：
1.對於PT拆分旗標，視訊編碼器20及視訊解碼器30可使用寬度、高度及面積像素大小來導出上下文資訊。
a)在一個實例實施中，視訊編碼器20及視訊解碼器30可自位於位置T2處之上方鄰近區塊(圖9中所說明)選擇區塊寬度。在此實施中，視訊編碼器20及視訊解碼器30可自位於位置L2處之左鄰近區塊選擇區塊高度，且可自(TL,TR)對選擇區塊大小(例如，面積)。假設區塊寬度及高度分別為W及H。上下文索引之值可經計算為：CTX=(W>WT2)+(H>HL2)+(W＊H>STR) (1)
其中STL及STR表示在圖9中佔據位置TL及TR的區塊之大小。遵循等式(1)，若滿足以下條件，則可選擇額外上下文：CTX=((W<WT2)&&(H<HL2)&&(W＊H<STL)&&(W＊H<STR)？5：CTX (2)
在此實施中，位置T0、T1、T2及T3經計算為：T0=(X0,Y0-1)
T1=(X0+(W/2)-1,Y0-1)
T2=(X0+W/2,Y0-1) (3)
類似地，位置L0、L1、L2及L3經計算為：L0=(X0-1,Y0)
L1=(X0-1,Y0+(H/2)-1)
L2=(X0-1,Y0+H/2)
L3=(X0-1,Y0+H-1) (4)
其中(X0，Y0)為當前區塊之左上角之像素座標。等式(3)及(4)中之單元大小等於分別在X方向及Y方向上的最小區塊寬度及最小區塊高度。
b)在一個實例實施中，較小上下文集合可定義如下：CTX=(W>WT2)+(H>HL2)+(W＊H>STR)+(W＊H>STR)
CTX=((W<WT2)&&(H<HL2)&&(W＊H<STL)&&(W＊H<STR)？0：CTX
CTX=(CTX≧3)？3：CTX (5)
c)在一個實例實施中，視訊編碼器20及視訊解碼器30可自T0與T3之間的頂部位置中之任一者選擇區塊寬度，且可自L0與L3之間的位置中之任一者選擇區 塊高度。在此實施中，視訊編碼器20及視訊解碼器30可自以下集合選擇一對鄰近區塊大小：{(TL,TR),(TR,BL),(TL,BL)}
上下文索引之值可使用以上等式(1)及(2)計算，但其中T2、L2、STL及STR位置用所選之各者替換。
替代地，視訊編碼器20及/或視訊解碼器30可基於位置集合做出將條件熵最小化的選擇，且位置集合之索引可諸如經由SPS、PPS或圖塊標頭在位元串流中進行傳信。
2.對於PT拆分方向，視訊編碼器20及視訊解碼器30可實施本發明之技術以利用區塊寬度、高度及其與頂部鄰近者及左鄰近者之相對值來產生上下文集合。
a)在一個實例實施中，上下文模型之集合可定義如下(根據下表2)：
Figure 106130624-A0305-02-0048-2
b)在一個實例實施中，上下文模型之集合可定義如下(另外參看下表3)。假設condL及condT為用於左鄰近者及頂部鄰近者的兩個條件：condL= (blkSizeX == blkSizeY) && (leftAvailable && blkSizeY > leftBlkSizeY)
condT= (blkSizeX == blkSizeY) && (topAvailable && blkSizeX > topBlkSizeX)
Figure 106130624-A0305-02-0049-3
c)在一個實例實施中，具有較低複雜度之上下文模型之集合可定義如下(另外參看下表4)：假設condL及condT為如下兩個條件：condL= (blkSizeX == blkSizeY) && (leftAvailable && blkSizeY > leftBlkSizeY)
condT= (blkSizeX == blkSizeY) && (topAvailable && blkSizeX > topBlkSizeX)
Figure 106130624-A0305-02-0049-5
3.對於PT拆分模式，視訊編碼器20及視訊解碼器30可實施本發明之某些技術以利用區塊寬度、高度及頂部區塊及左區塊之間的相對關係以產生上下文集合。
a)在一個實例實施中，上下文之集合可定義如下(另外參看下表5)。假設condL及condT為用於左鄰近區塊及上方鄰近區塊的兩個條件：condL= (leftAvailable && blkSizeY > leftBlkSizeY) && (horizontal_split)
condT= (topAvailable && blkSizeX > topBlkSizeX) && (vertical_split)
Figure 106130624-A0305-02-0050-6
b)在一個實例實施中，視訊編碼器20及/或視訊解碼器30可將上下文定義為旗標自身之可能性。亦即，上下文索引之值經設定為0。
c)在一個實施例中，視訊編碼器20可將此位元子之編碼設定為無上下文的，且在CABAC引擎中針對該旗標執行旁路寫碼。
4.可藉由個別地對四分之一大小之樹(其出現在RT及三元樹中之第一及第三分區處)之層級數目及其他PT樹型之層級數目進行計數來導出等效系統。
a)在一個實例實施中，視訊編碼器20及/或視訊解碼器30可如下定義雙向深度系統。假設四分之一大小之樹之深度及二分之一大小之樹之深度分別為DQ及DH。視訊編碼器20及/或視訊解碼器30可將等效深度D計算為：D=2＊DQ+DH (6)
b)視訊編碼器20及/或視訊解碼器30可藉由取寬度及高度之對數值來對寬度及高度應用類似定義。就等效系統而言，舉例而言，上文等式(1)可重新寫成：CTX=(log(W)>log(WT2))+(log(H)>log(HL2))+(D<DTL)+(D<DTR) (7)
其中DTL及DTR分別為佔據左上及右上位置之區塊之等效深度。
圖10為說明視訊編碼器20(或其處理電路)可根據本發明之各種態樣執行的實例過程100的流程圖。過程100可在視訊編碼器20之處理電路將當前區塊之尺寸之值與鄰近區塊之對應尺寸之值進行比較以獲得相對尺寸值資訊(102)時開始。在一個實例中，視訊編碼器20之處理電路可將當前區塊之寬度與定位於當前區塊上方之上方鄰近區塊之寬度進行比較。在另一實例中，視訊編碼器20之處理電路可將當前區塊之高度與定位於當前區塊左邊的左鄰近區塊之高度進行比較。因而，鄰近區塊之對應尺寸以類似於當前區塊之尺寸之方式表示指示鄰近區塊之外觀尺寸資訊的量測值或度量。
基於相對尺寸值，視訊編碼器20之處理電路可判定將根據多類型樹分割結構之PT部分分割當前區塊(104)。在一個實例中，視訊編碼器20之處理電路可基於當前區塊之寬度小於上方鄰近區塊之寬度的判定來判定將根據多類型樹狀結構之PT部分分割當前區塊。在另一實例中，視訊編碼器20之處理電路可基於當前區塊之高度小於左鄰近區塊之高度的判定來判定將根據多類型樹結構之Pt部分分割當前區塊。
轉而，視訊編碼器20之處理電路可根據中心側三元樹結構或二元樹結構分割當前區塊(106)。如上文所論述，PT部分分割遵循二元樹結構或中心側三元樹結構。在一些實例中，視訊編碼器20之處理電路可自鄰近區塊繼承用於判定相對尺寸之樹型(二元或中心側三元)。轉而，視訊編碼器20之處理電路可將經編碼視訊位元串流傳信至視訊解碼器30(108)。舉例而言，視訊編碼器20之處理電路可使用視訊編碼器20之網路介面或其他通信硬體來傳信位元串流。
在鄰近區塊為上方鄰近區塊且相對尺寸值係基於寬度比較的實例中，為分割當前區塊，視訊編碼器20之處理電路可垂直地分割當前區塊。在鄰近區塊為左鄰近區塊且相對尺寸值係基於高度比較的實例中，為分割當前區塊，視訊編碼器20之處理電路可水平地分割當前區塊。
在一些實例中，鄰近區塊為當前區塊之對角鄰近區塊。對角鄰近區塊可包括定位於當前區塊之上方及左方的左上鄰近區塊、定位於當前區塊之上方及右方的右上鄰近區塊或定位於當前區塊之下方及右方的左下鄰近區塊中之任一者。在此等實例中，為對當前區塊之尺寸之值與對角鄰近區塊之對應尺寸之值進行比較，視訊編碼器20之處理電路可基於鄰近區塊為對角鄰近區塊來比較當前區塊之面積與上方鄰近區塊之面積。
在一些實例中，視訊解碼器30之處理電路可將當前區塊之寬度與當前區塊之高度進行比較以判定當前區塊之形狀。在此等實例中，為選擇鄰近區塊，視訊解碼器30之處理電路可基於當前區塊之所判定形狀自複數個左鄰近區塊或複數個上方鄰近區塊中之一者選擇鄰近區塊。
在一些實例中，視訊編碼器20之處理電路可自以下中之一者選擇鄰近區塊：(i)複數個上方鄰近區塊，其包括沿當前區塊之頂部邊界定位於最左4×4子區塊上方的第一上方鄰近區塊、沿當前區塊之頂部邊界定位於中間4×4子區塊上方的第二上方鄰近區塊及沿當前區塊之頂部邊界定位於最右4×4子區塊上方的第三上方鄰近區塊，或(ii)複數個左鄰近區塊，其包括沿當前區塊之左邊界定位於頂部4×4子區塊左方的第一左鄰近區塊、沿當前區塊之左邊界定位於中間4×4子區塊左方的第二左鄰近區塊及沿當前區塊之左邊界定位於底部4×4子區塊左方的第三左鄰近區塊。在一些實例中，視訊編碼器20之處理電路可使 用視訊編碼器20之通信硬體在序列參數集(SPS)、圖像參數集(PPS)或圖塊標頭(SH)中之一者中傳信對視訊資料之單元中的一或多個區塊之所選鄰近區塊的指示，該指示對應於SPS、PPS或SH中之各別者。
在一些實例中，視訊編碼器20之處理電路可將複數個碼字中之各別碼字指派至用於分割當前區塊之複數個方向樹型組合中之各別方向樹型組合。在此等實例中，複數個碼字包括0碼字、10碼字、110碼字及111碼字，且複數個方向樹型組合包括水平二元樹組合、垂直二元樹組合、水平中心側三元樹組合及垂直中心側三元樹組合。在此等實例中，為根據基於多類型樹之分割方案之PT部分分割當前區塊，視訊編碼器20之處理電路可根據包括於複數個方向樹型組合中之特定方向樹型組合來分割當前區塊。視訊編碼器20之處理電路可使用視訊編碼器20之通信硬體在經編碼視訊位元串流中傳信指派至特定方向樹型組合之各別碼字，該當前區塊係根據該特定方向樹型組合進行分割。
圖11為說明視訊解碼器30之處理電路可根據本發明之各種態樣執行之實例過程120的流程圖。過程120可在視訊解碼器30之處理電路將當前區塊之尺寸之值與鄰近區塊之對應尺寸之值進行比較以獲得相對尺寸值資訊(122)時開始。在一個實例中，視訊解碼器30之處理電路可基於鄰近區塊為上方鄰近區塊而將當前區塊之寬度與定位於當前區塊上方之上方鄰近區塊之寬度進行比較。在另一實例中，視訊解碼器30之處理電路可基於鄰近區塊為左鄰近區塊而將當前區塊之高度與定位於當前區塊左方之左鄰近區塊之高度進行比較。因而，鄰近區塊之對應尺寸以類似於當前區塊之尺寸之方式表示指示鄰近區塊之外觀尺寸資訊的量測值或度量。
基於相對尺寸值，視訊解碼器30之處理電路可判定將根據多類型樹分割結構之PT部分分割當前區塊(124)。在一個實例中，視訊解碼器30之處理電路可基於對當前區塊之寬度小於上方鄰近區塊之寬度的判定來判定將根據多類型樹狀結構之PT部分分割當前區塊。在另一實例中，視訊解碼器30之處理電路可基於對當前區塊之高度小於左鄰近區塊之高度的判定來判定將根據多類型樹狀結構之PT部分分割當前區塊。
轉而，視訊解碼器30之處理電路可根據中心側三元樹結構或二元樹結構分割當前區塊(126)。如上文所論述，PT部分分割遵循二元樹結構或中心側三元樹結構。在一些實例中，視訊解碼器30之處理電路可自鄰近區塊繼承用於判定相對尺寸之樹型(二元或中心側三元)。在鄰近區塊為上方鄰近區塊且相對尺寸值係基於寬度比較的實例中，為分割當前區塊，視訊解碼器30之處理電路可垂直地分割當前區塊。在鄰近區塊為左鄰近區塊且相對尺寸值係基於高度比較的實例中，為分割當前區塊，視訊解碼器30之處理電路可水平地分割當前區塊。
在一些實例中，鄰近區塊為當前區塊之對角鄰近區塊。對角鄰近區塊可包括定位於當前區塊之上方及左方的左上鄰近區塊、定位於當前區塊之上方及右方的右上鄰近區塊或定位於當前區塊之下方及右方的左下鄰近區塊中之任一者。在此等實例中，為對當前區塊之尺寸之值與對角鄰近區塊之對應尺寸之值進行比較，視訊解碼器30之處理電路可基於鄰近區塊為對角鄰近區塊來比較當前區塊之面積與上方鄰近區塊之面積。
在一些實例中，視訊解碼器30之處理電路可自以下中之一者選擇鄰近區塊：(i)複數個上方鄰近區塊，其包括沿當前區塊之頂部邊界定位於最 左4×4子區塊上方的第一上方鄰近區塊、沿當前區塊之頂部邊界定位於中間4×4子區塊上方的第二上方鄰近區塊及沿當前區塊之頂部邊界定位於最右4×4子區塊上方的第三上方鄰近區塊，或(ii)複數個左鄰近區塊，其包括沿當前區塊之左邊界定位於頂部4×4子區塊左方的第一左鄰近區塊、沿當前區塊之左邊界定位於中間4×4子區塊左方的第二左鄰近區塊及沿當前區塊之左邊界定位於底部4×4子區塊左方的第三左鄰近區塊。
在一些實例中，視訊解碼器30之處理電路可使用視訊解碼器30之通信硬體(有線或無線接收器)在經編碼視訊位元串流中接收序列參數集(SPS)、圖像參數集(PPS)或圖塊標頭(SH)中之一者。在此等實例中，視訊解碼器30之處理電路可自所接收SPS、PPS或SH解碼對視訊資料之單元中的一或多個區塊之所選鄰近區塊的指示，該指示對應於SPS、PPS或SH中之各別者。在一些實例中，視訊解碼器30之處理電路可將當前區塊之寬度與當前區塊之高度進行比較以判定當前區塊之形狀。在此等實例中，為選擇鄰近區塊，視訊解碼器30之處理電路可基於當前區塊之所判定形狀自複數個左鄰近區塊或複數個上方鄰近區塊中之一者選擇鄰近區塊。
在一些實例中，視訊解碼器30之處理電路可分別將當前區塊之寬度或當前區塊之高度中之至少一者與當前區塊之預定最小寬度或當前區塊之預定最小高度中之至少一者進行比較，且可基於該比較判定用於分割當前區塊之樹型或用於分割當前區塊之分割方向中之至少一者。在一些實例中，該當前區塊為當前寫碼單元(CU)。在一些此等實例中，視訊解碼器30之處理電路可判定視訊資料之寫碼樹型單元(CTU)橫跨圖像邊界，使得CTU之大小延伸超出當前圖像之填補區域，且基於該CTU跨越圖像邊界，視訊解碼器30之處理電路可 使用多類型樹狀結構之預定分割方案遞歸地分割CTU以形成包括當前寫碼單元(CU之複數個)CU，使得當前CU整個定位於當前圖像內。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列經執行、可經添加、合併或完全省去(例如，並非所有所描述動作或事件為實踐該等技術所必要)。此外，在某些實例中，可例如經由多線緒處理、中斷處理或多個處理器同時而非順序執行動作或事件。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若在軟體中實施，則該等功能可作為一或多個指令或程式碼而儲存在電腦可讀媒體上或經由電腦可讀媒體傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體(其包括例如根據通信協定促進電腦程式自一處傳送至另一處的任何媒體)。以此方式，電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可藉由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用於儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，將任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如紅外線、無線電及微波)自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纜、雙 絞線、DSL或無線技術(諸如紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是實際上有關非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。
可藉由一或多個處理器執行指令，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、固定功能處理電路、可程式化處理電路或其他等效積體或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指代前述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文中所描述之功能性提供在經組態以用於編碼及解碼的專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於多種多樣的器件或設備(包括無線手持機、積體電路(IC)或IC集合(例如，晶片組))中。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必需要藉由不同硬體單元來實現。確切而言，如上文所描述，各種單元可組合於編解碼器硬體單元中，或藉由互操作性硬體單元之集合結合合適的軟體及/或韌體而提供，該等硬體單元包括如上文所描述之一或多個處理器。已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
120‧‧‧過程
122‧‧‧步驟
124‧‧‧步驟
126‧‧‧步驟

Claims (34)

  1. 一種寫碼視訊資料之方法，該方法包含：將該視訊資料之一當前區塊之一尺寸的一值與該當前區塊之一鄰近區塊之一對應尺寸的一值進行比較以獲得一相對尺寸值，該鄰近區塊與該當前區塊相鄰定位；基於該相對尺寸值判定該當前區塊將根據一基於多類型樹之分割方案之一預測樹(PT)部分進行分割，該基於多類型樹之分割方案包含二元樹結構及一中心側三元樹結構，且該基於多類型樹之分割方案之該PT部分包含根據該二元樹結構或該中心側三元樹結構中之一者的分割；及基於該判定，根據該基於多類型樹之分割方案之該PT部分分割該當前區塊以形成複數個子區塊。
  2. 如請求項1之方法，其中該鄰近區塊包含定位於該當前區塊上方的一上方鄰近區塊，其中將該當前區塊之該尺寸的該值與該上方鄰近區塊之該對應尺寸的該值進行比較包含基於該鄰近區塊包含定位於該當前區塊上方的該上方鄰近區塊而將該當前區塊之一寬度與該上方鄰近區塊之一寬度進行比較，及其中分割該當前區塊包含垂直地分割該當前區塊。
  3. 如請求項1之方法，其中該鄰近區塊包含定位於該當前區塊左方的一左鄰近區塊，其中將該當前區塊之該尺寸與該左鄰近區塊之該對應尺寸進行比較包含基於該鄰近區塊包含定位於該當前區塊左方的該左鄰近區塊而將該當前區塊之一高度與該左鄰近區塊之一高度進行比較，及其中分割該當前區塊包含水平地分割該當前區塊。
  4. 如請求項1之方法，其中該鄰近區塊為包含以下中之一者的一對角鄰近區塊：定位於該當前區塊之上方及左方的一左上鄰近區塊，定位於該當前區塊之上方及右方的一右上鄰近區塊，或定位於該當前區塊之下方及右方的一左下鄰近區塊，及其中將該當前區塊之該尺寸的該值與該對角鄰近區塊之該對應尺寸的該值進行比較包含基於該鄰近區塊為該對角鄰近區塊而將該當前區塊之一面積與該上方鄰近區塊之一面積進行比較。
  5. 如請求項1之方法，其進一步包含自以下中之一者選擇該鄰近區塊：(i)複數個上方鄰近區塊，其包括沿該當前區塊之一頂部邊界定位於一最左4×4子區塊上方的一第一上方鄰近區塊、沿該當前區塊之該頂部邊界定位於一中間4×4子區塊上方的一第二上方鄰近區塊及沿該當前區塊之該頂部邊界定位於一最右4×4子區塊上方的一第三上方鄰近區塊，或(ii)複數個左鄰近區塊，其包括沿該當前區塊之一左邊界定位於一頂部4×4子區塊左方的一第一左鄰近區塊、沿該當前區塊之該左邊界定位於一中間4×4子區塊左方的一第二左鄰近區塊及沿該當前區塊之該左邊界定位於一底部4×4子區塊左方的一第三左鄰近區塊。
  6. 如請求項5之方法，其中寫碼該視訊資料之該方法包含解碼經編碼視訊資料之一方法，該方法進一步包含：解碼該複數個子區塊中之一或多個子區塊。
  7. 如請求項6之方法，該方法進一步包含：在一經編碼視訊位元串流中接收一序列參數集(SPS)、一圖像參數集(PPS)或一圖塊標頭(SH)中之至少一者；及 自該所接收SPS、PPS或SH解碼對該視訊資料之一單元中的一或多個區塊之該所選鄰近區塊的一指示，該指示對應於該SPS、PPS或SH中之該各別者。
  8. 如請求項5之方法，其中該寫碼方法包含編碼該視訊資料之一方法，該方法進一步包含：編碼該複數個子區塊；及在一經編碼視訊位元串流中傳信表示該經編碼複數個子區塊的經編碼視訊資料。
  9. 如請求項8之方法，該方法進一步包含：在一序列參數集(SPS)、一圖像參數集(PPS)或一圖塊標頭(SH)中之一者中傳信對該視訊資料之一單元中的一或多個區塊之該所選鄰近區塊的一指示，該指示對應於該SPS、PPS或SH中之該各別者。
  10. 如請求項5之方法，其進一步包含：將該當前區塊之一寬度與該當前區塊之一高度進行比較以判定該當前區塊之一形狀，其中選擇該鄰近區塊包含基於該當前區塊之該所判定形狀自該複數個左鄰近區塊或該複數個上方鄰近區塊中之一者選擇該鄰近區塊。
  11. 如請求項1之方法，其中寫碼該視訊資料之該方法包含解碼經編碼視訊資料之一方法，該方法進一步包含：分別將該當前區塊之一寬度或該當前區塊之一高度中之至少一者與該當前區塊之一預定最小寬度或該當前區塊之一預定最小高度中之至少一者進行比較；及基於該比較判定用於分割該當前區塊之一樹型或用於分割該當前區塊之一分割方向中之至少一者。
  12. 如請求項1之方法，其中該當前區塊為一當前寫碼單元(CU)，其中寫碼該視訊資料之該方法包含解碼經編碼視訊資料之一方法，該方法進一步包含：判定該視訊資料之一寫碼樹型單元(CTU)橫跨一圖像邊界，使得該CTU之一大小延伸超出一當前圖像之一填補區域；及基於該CTU跨越該圖像邊界，使用該多類型樹狀結構之一預定分割方案遞歸地分割該CTU以形成包括該當前寫碼單元(CU)之複數個CU，其中該當前CU整個定位於該當前圖像內。
  13. 如請求項1之方法，其中該寫碼方法包含編碼該視訊資料之一方法，該方法進一步包含：將複數個碼字中之一各別碼字指派至用於分割該當前區塊之複數個方向樹型組合中之一各別方向樹型組合，其中該複數個方向樹型組合包括一水平二元樹組合、一垂直二元樹組合、一水平中心側三元樹組合及一垂直中心側三元樹組合，及其中根據該基於多類型樹之分割方案之該PT部分分割該當前區塊包含根據包括於該複數個方向樹型組合中之一特定方向樹型組合分割該當前區塊；及在一經編碼視訊位元串流中傳信指派至該特定方向樹型組合的該各別碼字，該當前區塊根據該特定方向樹型組合進行分割。
  14. 如請求項1之方法，其中判定該當前區塊將根據該基於多類型樹之分割方案之該預測樹(PT)部分進行分割包含：使用上下文相關聯的熵寫碼及基於該相對尺寸值判定的一上下文，判定指示該基於多類型樹之分割方案的一旗標的一值。
  15. 如請求項14之方法，其中判定該當前區塊將根據該基於多類型樹之分割方案之該預測樹(PT)部分進行分割包含：判定一第一上下文，該第一上下文用於解碼指示是否拆分該區塊的一第一旗標；基於該相對尺寸值，判定一第二上下文，該第二上下文用於解碼指示是否垂直或水平拆分該區塊的一第二旗標；判定一第三上下文，該第三上下文用於解碼指示該區塊將被拆分成哪種類型的結構的一第三旗標；以及分別基於該第一上下文、該第二上下文以及該第三上下文，寫碼該第一旗標、該第二旗標以及該第三旗標的值。
  16. 如請求項15之方法，其中判定該第三上下文包含基於該相對尺寸值判定該第三上下文。
  17. 如請求項15之方法，其中判定該第一上下文包含：基於該當前區塊之該尺寸之該值與該鄰近區塊之該對應尺寸之該值的比較，判定該第一上下文。
  18. 一種用於寫碼視訊資料之器件，該器件包含：經組態以儲存該視訊資料之一記憶體；及與該記憶體通信之處理電路，該處理電路經組態以：將該經儲存視訊資料之一當前區塊之一尺寸的一值與該當前區塊之一鄰近區塊之一對應尺寸的一值進行比較以獲得一相對尺寸值，該鄰近區塊與該當前區塊相鄰定位；基於該相對尺寸值判定將根據一基於多類型樹之分割方案之一預測樹(PT)部分分割該當前區塊，該基於多類型樹之分割方案包含二元樹結構及一中 心側三元樹結構，且該基於多類型樹之分割方案之該PT部分包含根據該二元樹結構或該中心側三元樹結構中之一者的分割；及基於該判定，根據該基於多類型樹之分割方案之該PT部分分割該當前區塊以形成複數個子區塊。
  19. 如請求項18之器件，其中該鄰近區塊包含定位於該當前區塊上方的一上方鄰近區塊，其中為將該當前區塊之該尺寸之該值與該上方鄰近區塊之該對應尺寸之該值進行比較，該處理電路經組態以基於該鄰近區塊包含定位於該當前區塊上方的該上方鄰近區塊而將該當前區塊之一寬度與該上方鄰近區塊之一寬度進行比較，及其中為分割該當前區塊，該處理電路經組態以垂直地分割該當前區塊。
  20. 如請求項18之器件，其中該鄰近區塊包含定位於該當前區塊左方的一左鄰近區塊，其中為將該當前區塊之該尺寸與該左鄰近區塊之該對應尺寸進行比較，該處理電路經組態以基於該鄰近區塊包含定位於該當前區塊之左方的該左鄰近區塊而將該當前區塊之一高度與該左鄰近區塊之一高度進行比較，及其中為分割該當前區塊，該處理電路經組態以水平地分割該當前區塊。
  21. 如請求項18之器件，其中該鄰近區塊為包含以下中之一者的一對角鄰近區塊：定位於該當前區塊之上方及左方的一左上鄰近區塊，定位於該當前區塊之上方及右方的一右上鄰近區塊，或定位於該當前區塊之下方及右方的一左下鄰近區塊，及 其中為將該當前區塊之該尺寸的該值與該對角鄰近區塊之該對應尺寸的該值進行比較，該處理電路經組態以基於該鄰近區塊為該對角鄰近區塊而將該當前區塊之一面積與該上方鄰近區塊之一面積進行比較。
  22. 如請求項18之器件，其中該處理電路進一步經組態以自以下中之一者選擇該鄰近區塊：(i)複數個上方鄰近區塊，其包括沿該當前區塊之一頂部邊界定位於一最左4×4子區塊上方的一第一上方鄰近區塊、沿該當前區塊之該頂部邊界定位於一中間4×4子區塊上方的一第二上方鄰近區塊及沿該當前區塊之該頂部邊界定位於一最右4×4子區塊上方的一第三上方鄰近區塊，或(ii)複數個左鄰近區塊，其包括沿該當前區塊之一左邊界定位於一頂部4×4子區塊左方的一第一左鄰近區塊、沿該當前區塊之該左邊界定位於一中間4×4子區塊左方的一第二左鄰近區塊及沿該當前區塊之該左邊界定位於一底部4×4子區塊左方的一第三左鄰近區塊。
  23. 如請求項22之器件，其中該器件包含用於解碼經編碼視訊資料之一器件，且其中該處理電路進一步經組態以：解碼該複數個子區塊中之一或多個子區塊。
  24. 如請求項23之器件，其進一步包含通信硬體，其中該處理電路進一步經組態以：經由該通信硬體在一經編碼視訊位元串流中接收一序列參數集(SPS)、一圖像參數集(PPS)或一圖塊標頭(SH)中之至少一者；及自該所接收SPS、PPS或SH解碼對該視訊資料之一單元中的一或多個區塊之該所選鄰近區塊的一指示，該指示對應於該SPS、PPS或SH中之該各別者。
  25. 如請求項22之器件，其中該器件包含用於編碼該視訊資料之一器件，且其中該處理電路進一步經組態以： 編碼該複數個子區塊。
  26. 如請求項22之器件，其中該器件進一步包含通信硬體，且其中該處理電路進一步經組態以：經由該通信硬體在一經編碼視訊位元串流中傳信表示該經編碼複數個子區塊的經編碼視訊資料；經由該通信硬體在一序列參數集(SPS)、一圖像參數集(PPS)或一圖塊標頭(SH)中之一者中傳信對該視訊資料之一單元中的一或多個區塊之該所選鄰近區塊的一指示，該指示對應於該SPS、PPS或SH中之該各別者。
  27. 如請求項22之器件，其中該處理電路經進一步組態以：將該當前區塊之寬度與該當前區塊之一高度進行比較以判定該當前區塊之一形狀，其中為選擇該鄰近區塊，該處理電路經組態以基於該當前區塊之該所判定形狀自該複數個左鄰近區塊或該複數個上方鄰近區塊中之一者選擇該鄰近區塊。
  28. 如請求項18之器件，其中該器件包含用於編碼該視訊資料之一器件，且其中該處理電路進一步經組態以：分別將該當前區塊之一寬度或該當前區塊之一高度中之至少一者與該當前區塊之一預定最小寬度或該當前區塊之一預定最小高度中之至少一者進行比較；及基於該比較判定用於分割該當前區塊之一樹型或用於分割該當前區塊之一分割方向中之至少一者。
  29. 如請求項18之器件，其中該當前區塊為一當前寫碼單元(CU)，其中該器件包含用於解碼經編碼視訊資料之一器件，且其中該處理電路進一步經組態以： 判定該視訊資料之一寫碼樹型單元(CTU)橫跨一圖像邊界，使得該CTU之一大小延伸超出一當前圖像之一填補區域；及基於該CTU跨越該圖像邊界，使用該多類型樹狀結構之一預定分割方案遞歸地分割該CTU以形成包括該當前寫碼單元(CU)之複數個CU，其中該當前CU整個定位於該當前圖像內。
  30. 如請求項18之器件，其中該器件包含用於編碼該視訊資料之一器件，其中該器件進一步包含通信硬體，且其中該處理電路進一步經組態以：將複數個碼字中之一各別碼字指派至用於分割該當前區塊之複數個方向樹型組合中之一各別方向樹型組合，其中該複數個方向樹型組合包括一水平二元樹組合、一垂直二元樹組合、一水平中心側三元樹組合及一垂直中心側三元樹組合，及其中為根據該基於多類型樹之分割方案之該PT部分分割該當前區塊，該處理電路經組態以根據包括於該複數個方向樹型組合中之一特定方向樹型組合分割該當前區塊；及經由該通信硬體在一經編碼視訊位元串流中傳信指派至該特定方向樹型組合的該各別碼字，該當前區塊根據該特定方向樹型組合進行分割。
  31. 如請求項18之器件，其中判定該當前區塊將根據該基於多類型樹之分割方案之該預測樹(PT)部分進行分割，該處理電路進一步經組態以：使用上下文相關聯的熵寫碼及基於該相對尺寸值判定的一上下文，判定指示該基於多類型樹之分割方案的一旗標指示的一值。
  32. 如請求項31之器件，其中判定該當前區塊將根據該基於多類型樹之分割方案之該預測樹(PT)部分進行分割，該處理電路進一步經組態以：判定一第一上下文，該第一上下文用於解碼指示是否拆分該區塊的一第一旗標；基於該相對尺寸值，判定一第二上下文，該第二上下文用於解碼指示是否垂直或水平拆分該區塊的一第二旗標；判定一第三上下文，該第三上下文用於解碼指示該區塊將被拆分成哪種類型的結構的一第三旗標；以及分別基於該第一上下文、該第二上下文以及該第三上下文，寫碼該第一旗標、該第二旗標以及該第三旗標的值。
  33. 如請求項32之器件，其中判定該第三上下文，該處理電路進一步經組態以基於該相對尺寸值判定該第三上下文。
  34. 如請求項32之器件，其中判定該第一上下文，該處理電路進一步經組態以：基於該當前區塊之該尺寸之該值與該鄰近區塊之該對應尺寸之該值的比較，判定該第一上下文。
TW106130624A 2016-09-07 2017-09-07 用於視訊寫碼之樹型寫碼 TWI788302B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662384585P 2016-09-07 2016-09-07
US62/384,585 2016-09-07
US15/697,134 US10609423B2 (en) 2016-09-07 2017-09-06 Tree-type coding for video coding
US15/697,134 2017-09-06

Publications (2)

Publication Number Publication Date
TW201813386A TW201813386A (zh) 2018-04-01
TWI788302B true TWI788302B (zh) 2023-01-01

Family

ID=61281770

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106130624A TWI788302B (zh) 2016-09-07 2017-09-07 用於視訊寫碼之樹型寫碼

Country Status (9)

Country Link
US (3) US10609423B2 (zh)
EP (1) EP3510776A1 (zh)
JP (1) JP7218287B2 (zh)
KR (1) KR102515487B1 (zh)
CN (1) CN109644275B (zh)
BR (1) BR112019003749A2 (zh)
SG (1) SG11201900438WA (zh)
TW (1) TWI788302B (zh)
WO (1) WO2018049020A1 (zh)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3025334C (en) * 2016-05-25 2021-07-13 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet coding of video data
US20190327476A1 (en) * 2016-06-24 2019-10-24 Industry Academy Cooperation Foundation Of Sejong University Video signal processing method and device
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
KR20230070062A (ko) * 2016-10-04 2023-05-19 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
CN114531586A (zh) 2016-10-04 2022-05-24 有限公司B1影像技术研究所 图像数据编码/解码方法、介质和发送比特流的方法
WO2018070554A1 (ko) * 2016-10-10 2018-04-19 삼성전자 주식회사 루마 블록 및 크로마 블록을 부호화 또는 복호화하는 방법 및 장치
US10779004B2 (en) * 2016-10-12 2020-09-15 Mediatek Inc. Methods and apparatuses of constrained multi-type-tree block partition for video coding
GB2557430B (en) * 2016-10-12 2020-01-15 Mediatek Inc Methods and apparatuses of constrained multi-type-tree block partition for video coding
US20180109812A1 (en) * 2016-10-14 2018-04-19 Media Tek Inc. Block partitioning using tree structures
KR20180045530A (ko) * 2016-10-26 2018-05-04 디지털인사이트 주식회사 임의의 블록 분할을 사용하는 비디오 코딩 방법 및 장치
WO2018093184A1 (ko) * 2016-11-18 2018-05-24 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2018092869A1 (ja) * 2016-11-21 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN109983771A (zh) 2016-11-21 2019-07-05 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法及解码方法
US11283539B2 (en) * 2016-12-05 2022-03-22 Telefonaktiebolaget Lm Ericsson (Publ) Methods, encoder and decoder for handling a data stream for transmission between a remote unit and a base unit of a base station system
AU2017377490B2 (en) * 2016-12-16 2022-04-21 FG Innovation Company Limited Image decoding device and image coding device
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding
CN108965894B (zh) * 2017-05-27 2021-12-21 华为技术有限公司 一种视频图像的编解码方法及装置
US10666943B2 (en) * 2017-09-15 2020-05-26 Futurewei Technologies, Inc. Block partition structure in video compression
CN111527751A (zh) * 2017-12-29 2020-08-11 夏普株式会社 用于在用于视频编码的图片的边界处划分视频块的系统和方法
WO2019174594A1 (en) * 2018-03-14 2019-09-19 Mediatek Inc. Method and apparatus of optimized splitting structure for video coding
CN110278443B (zh) * 2018-03-16 2022-02-11 华为技术有限公司 划分标志位的上下文建模方法及装置
WO2019174567A1 (zh) 2018-03-16 2019-09-19 华为技术有限公司 划分标志位的上下文建模方法及装置
US11516496B2 (en) * 2018-03-21 2022-11-29 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus, and recording medium storing bitstream
WO2019181818A1 (en) * 2018-03-23 2019-09-26 Sharp Kabushiki Kaisha Systems and methods for adaptively partitioning video blocks for video coding
CN111937404B (zh) * 2018-03-26 2023-12-15 寰发股份有限公司 一种用于视频编码器或解码器的视频编解码方法及装置
EP4192010A1 (en) * 2018-03-29 2023-06-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding a picture using picture boundary handling
US10375422B1 (en) * 2018-03-30 2019-08-06 Tencent America LLC Method and apparatus for motion field based tree splitting
WO2019189279A1 (en) * 2018-03-30 2019-10-03 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks at a boundary of a picture for video coding
US11115660B2 (en) 2018-04-30 2021-09-07 Mediatek Inc. Method and apparatus of syntax interleaving for separate coding tree in video coding
WO2019216710A1 (ko) * 2018-05-10 2019-11-14 삼성전자주식회사 영상의 부호화 및 복호화를 위한 영상의 분할 방법 및 장치
WO2019225991A1 (ko) * 2018-05-23 2019-11-28 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2019234613A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Partition tree with partition into 3 sub-blocks by horizontal and vertical splits
EP3808083A1 (en) * 2018-06-18 2021-04-21 InterDigital VC Holdings, Inc. Method and apparatus for video encoding and decoding based on asymmetric binary partitioning of image blocks
CN112567749B (zh) * 2018-06-18 2024-03-26 Lg电子株式会社 使用仿射运动预测来处理视频信号的方法和装置
TWI725456B (zh) * 2018-06-21 2021-04-21 大陸商北京字節跳動網絡技術有限公司 交錯區塊的自動劃分
CA3104630A1 (en) * 2018-06-27 2020-01-02 Panasonic Intellectual Property Corporation Of America Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
CN115379213A (zh) * 2018-07-14 2022-11-22 寰发股份有限公司 视频编码系统中对具有分割约束的视频图像进行编码或解码的视频处理方法和装置
WO2020044253A1 (en) 2018-08-28 2020-03-05 Beijing Bytedance Network Technology Co., Ltd. Redundancy removal of partitioning methods
KR102525179B1 (ko) 2018-09-03 2023-04-21 후아웨이 테크놀러지 컴퍼니 리미티드 파티션 제한 요소들 간의 관계
CN112740668B (zh) * 2018-09-18 2022-05-24 华为技术有限公司 译码方法、设备、系统
WO2020057516A1 (en) 2018-09-18 2020-03-26 Huawei Technologies Co., Ltd. Partitioning with high level constraint
GB2577318B (en) * 2018-09-21 2021-03-10 Canon Kk Video coding and decoding
WO2020069632A1 (en) * 2018-10-01 2020-04-09 Huawei Technologies Co., Ltd. A video encoder, a video decoder and corresponding methods
JPWO2020071368A1 (ja) * 2018-10-04 2021-11-25 株式会社エスペラントシステム データ処理システム、データ処理装置、データ処理方法及びプログラム
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020084556A1 (en) 2018-10-24 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block motion candidate list in video coding
CN112868241A (zh) * 2018-11-12 2021-05-28 华为技术有限公司 视频编码器、视频解码器及方法
WO2020098647A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for affine prediction
CN113170097B (zh) 2018-11-20 2024-04-09 北京字节跳动网络技术有限公司 视频编解码模式的编解码和解码
CN113056914B (zh) 2018-11-20 2024-03-01 北京字节跳动网络技术有限公司 基于部分位置的差计算
EP4325849A3 (en) 2018-11-22 2024-04-17 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
US11172214B2 (en) * 2018-12-21 2021-11-09 Qualcomm Incorporated Derivation of processing area for parallel processing in video coding
EP3886438A4 (en) * 2018-12-24 2022-01-19 Huawei Technologies Co., Ltd. FLAG BIT CONTEXT MODELING METHOD AND APPARATUS
JP7360466B2 (ja) * 2019-01-02 2023-10-12 フラウンホーファー－ゲゼルシャフト ツル フェルデルング デル アンゲヴァンテン フォルシュング エー ファウ 画像の符号化及び復号化
JP2022521554A (ja) 2019-03-06 2022-04-08 北京字節跳動網絡技術有限公司 変換された片予測候補の利用
WO2020184637A1 (en) * 2019-03-12 2020-09-17 Sharp Kabushiki Kaisha Systems and methods for performing intra prediction coding in video coding
CN117692640A (zh) * 2019-03-22 2024-03-12 华为技术有限公司 用于视频译码的变换单元分割方法
JP7307192B2 (ja) 2019-04-02 2023-07-11 北京字節跳動網絡技術有限公司 デコーダ側の動きベクトルの導出
EP3987797A4 (en) * 2019-06-24 2023-03-22 FG Innovation Company Limited DEVICE AND METHOD FOR ENCODING VIDEO DATA
EP3994886A4 (en) * 2019-08-06 2022-12-28 Beijing Bytedance Network Technology Co., Ltd. VIDEO ZONE PARTITION ACCORDING TO COLOR FORMAT
CN114208184A (zh) 2019-08-13 2022-03-18 北京字节跳动网络技术有限公司 基于子块的帧间预测中的运动精度
EP4008109A4 (en) 2019-09-02 2022-09-14 Beijing Bytedance Network Technology Co., Ltd. ENCODING MODE DETERMINATION BASED ON COLOR FORMAT
CN118055248A (zh) 2019-09-21 2024-05-17 北京字节跳动网络技术有限公司 处理视频数据的方法、装置以及计算机可读记录介质
WO2021052504A1 (en) 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Scaling method for sub-block based inter prediction
US11589044B2 (en) * 2019-10-14 2023-02-21 Hfi Innovation Inc. Video encoding and decoding with ternary-tree block partitioning
CN113286152B (zh) 2020-02-20 2023-05-23 腾讯美国有限责任公司 视频解码方法、装置、计算机设备及存储介质
US11363285B2 (en) * 2020-02-20 2022-06-14 Tencent America LLC Block partitioning at picture boundaries
WO2021201384A1 (ko) * 2020-04-03 2021-10-07 엘지전자 주식회사 포인트 클라우드 데이터 처리 장치 및 방법
US20230154052A1 (en) * 2020-04-24 2023-05-18 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
US20230209099A1 (en) * 2020-06-05 2023-06-29 Lg Electronics Inc. Point cloud data processing device and processing method
WO2021256873A1 (ko) * 2020-06-17 2021-12-23 엘지전자 주식회사 포인트 클라우드 데이터 처리 디바이스 및 처리 방법
WO2021256887A1 (ko) * 2020-06-18 2021-12-23 엘지전자 주식회사 포인트 클라우드 데이터 전송 장치, 포인트 클라우드 데이터 전송 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US20230260163A1 (en) * 2020-07-13 2023-08-17 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20230394712A1 (en) * 2020-07-31 2023-12-07 Lg Electronics Inc. Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
WO2024015639A1 (en) * 2022-07-15 2024-01-18 Bytedance Inc. Neural network-based image and video compression method with parallel processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014120367A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive parametric transforms for coding for next generation video

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007023785B4 (de) * 2007-05-16 2014-06-18 Seereal Technologies S.A. Analytisches Verfahren zu Berechnung von Videohologrammen in Echtzeit und holographische Wiedergabeeinrichtung
KR20110017719A (ko) 2009-08-14 2011-02-22 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
EA027182B1 (ru) * 2009-10-20 2017-06-30 Шарп Кабусики Кайся Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, система кодирования/декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
KR101452713B1 (ko) * 2009-10-30 2014-10-21 삼성전자주식회사 픽처 경계의 부호화 단위를 부호화, 복호화 하는 방법 및 장치
KR101457396B1 (ko) * 2010-01-14 2014-11-03 삼성전자주식회사 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치
KR101675118B1 (ko) * 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
HUE045579T2 (hu) * 2010-04-13 2020-01-28 Ge Video Compression Llc Síkközi predikció
BR112012026391B1 (pt) * 2010-04-13 2020-12-15 Ge Video Compression, Llc Herança em amostra de arranjo em subdivisão multitree
EP2547108A4 (en) 2010-04-13 2014-07-02 Samsung Electronics Co Ltd VIDEO CODING METHOD AND VIDEO CODING DEVICE WITH PRECODING UNITS BASED ON CODING UNITS FOLLOWING A TREE STRUCTURE AND VIDEO CODING METHOD AND VIDEO ENCODING DEVICE WITH PRECODING UNITS BASED ON CODING UNITS DEFINED ACCORDING TO A TREE STRUCTURE
CN105120287B (zh) * 2010-04-13 2019-05-17 Ge 视频压缩有限责任公司 解码器、编码器以及用于解码和编码的方法
CN106162171B (zh) * 2010-04-13 2020-09-11 Ge视频压缩有限责任公司 解码器及方法、编码方法
EP2651128B1 (en) * 2010-12-06 2018-07-25 Sun Patent Trust Image encoding method, image decoding method, image encoding device, and image decoding device
US9807424B2 (en) 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
CN102595116B (zh) * 2011-01-14 2014-03-12 华为技术有限公司 多图像块划分的编解码方法和装置
WO2012113197A1 (zh) * 2011-02-24 2012-08-30 中兴通讯股份有限公司 一种预测模式的编码或解码方法及装置
KR101442127B1 (ko) * 2011-06-21 2014-09-25 인텔렉추얼디스커버리 주식회사 쿼드트리 구조 기반의 적응적 양자화 파라미터 부호화 및 복호화 방법 및 장치
US9883203B2 (en) 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
US9462275B2 (en) * 2012-01-30 2016-10-04 Qualcomm Incorporated Residual quad tree (RQT) coding for video coding
US9185405B2 (en) * 2012-03-23 2015-11-10 Qualcomm Incorporated Coded block flag inference in video coding
US9467701B2 (en) * 2012-04-05 2016-10-11 Qualcomm Incorporated Coded block flag coding
US9912944B2 (en) * 2012-04-16 2018-03-06 Qualcomm Incorporated Simplified non-square quadtree transforms for video coding
JP2013229674A (ja) * 2012-04-24 2013-11-07 Sharp Corp 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び画像復号プログラム
JP6080405B2 (ja) * 2012-06-29 2017-02-15 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN102984521B (zh) * 2012-12-12 2015-04-08 四川大学 基于时域相关性的高性能视频编码帧间模式判决方法
FR3029333A1 (fr) 2014-11-27 2016-06-03 Orange Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
WO2016090568A1 (en) 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US10382795B2 (en) * 2014-12-10 2019-08-13 Mediatek Singapore Pte. Ltd. Method of video coding using binary tree block partitioning
US9883187B2 (en) * 2015-03-06 2018-01-30 Qualcomm Incorporated Fast video encoding method with block partitioning
EP3270593A4 (en) * 2015-03-13 2018-11-07 LG Electronics Inc. Method of processing video signal and device for same
WO2016154963A1 (en) 2015-04-01 2016-10-06 Mediatek Inc. Methods for chroma coding in video codec
KR102583501B1 (ko) * 2015-04-27 2023-09-27 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
WO2017065422A1 (ko) * 2015-10-12 2017-04-20 엘지전자(주) 영상 처리 방법 및 이를 위한 장치
WO2017069505A1 (ko) * 2015-10-19 2017-04-27 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
KR20180075518A (ko) * 2015-11-24 2018-07-04 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN108605130B (zh) * 2015-11-27 2021-05-11 联发科技股份有限公司 一种用于对与区块相关的符号进行熵编解码的方法和装置
US10212444B2 (en) * 2016-01-15 2019-02-19 Qualcomm Incorporated Multi-type-tree framework for video coding
US11223852B2 (en) 2016-03-21 2022-01-11 Qualcomm Incorporated Coding video data using a two-level multi-type-tree framework
US10142652B2 (en) * 2016-05-05 2018-11-27 Google Llc Entropy coding motion vector residuals obtained using reference motion vectors
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
WO2017204427A1 (ko) * 2016-05-23 2017-11-30 가온미디어 주식회사 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
CA3025334C (en) * 2016-05-25 2021-07-13 Arris Enterprises Llc Binary ternary quad tree partitioning for jvet coding of video data
US10609423B2 (en) 2016-09-07 2020-03-31 Qualcomm Incorporated Tree-type coding for video coding
EP3522532A1 (en) * 2016-11-01 2019-08-07 Samsung Electronics Co., Ltd. Encoding method and device therefor, and decoding method and device therefor
US10848788B2 (en) * 2017-01-06 2020-11-24 Qualcomm Incorporated Multi-type-tree framework for video coding
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding
EP3383045A1 (en) * 2017-03-27 2018-10-03 Thomson Licensing Multiple splits prioritizing for fast encoding
EP3383044A1 (en) * 2017-03-27 2018-10-03 Thomson Licensing Reducing redundancy between tree types
US11134273B2 (en) * 2019-02-14 2021-09-28 Qualcomm Incorporated Regular coded bin reduction for coefficient coding
US11849131B2 (en) * 2019-03-07 2023-12-19 Qualcomm Incorporated Adaptive subblock size for affine motion compensation
US11202101B2 (en) * 2019-03-13 2021-12-14 Qualcomm Incorporated Grouped coding for palette syntax in video coding
US11363284B2 (en) * 2019-05-09 2022-06-14 Qualcomm Incorporated Upsampling in affine linear weighted intra prediction
US11277637B2 (en) * 2019-05-09 2022-03-15 Qualcomm Incorporated Reference sampling for matrix intra prediction mode
US11317088B2 (en) * 2019-05-17 2022-04-26 Qualcomm Incorporated Gradient-based prediction refinement for video coding
US11233988B2 (en) * 2019-05-17 2022-01-25 Qualcomm Incorporated Reference picture resampling and inter-coding tools for video coding
US11019334B2 (en) * 2019-05-17 2021-05-25 Qualcomm Incorporated Multiple adaptive loop filter sets for video coding
US11611759B2 (en) * 2019-05-24 2023-03-21 Qualcomm Incorporated Merge mode coding for video coding
US11381847B2 (en) * 2019-05-31 2022-07-05 Qualcomm Incorporated Coefficient coding for transform skip mode in video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014120367A1 (en) * 2013-01-30 2014-08-07 Intel Corporation Content adaptive parametric transforms for coding for next generation video

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Wei Wu, Jiong Liu, and Lixin Zhao Fast prediction unit partition mode selection for high-efficiency video coding intercoding using motion homogeneous coding units Journal of Electronic Imaging 2015/12/30 https://doi.org/10.1117/1.JEI.24.6.063024 *
網路文獻 Wei Wu, Jiong Liu, and Lixin Zhao Fast prediction unit partition mode selection for high-efficiency video coding intercoding using motion homogeneous coding units Journal of Electronic Imaging 2015/12/30 https://doi.org/10.1117/1.JEI.24.6.063024

Also Published As

Publication number Publication date
US10609423B2 (en) 2020-03-31
TW201813386A (zh) 2018-04-01
WO2018049020A1 (en) 2018-03-15
EP3510776A1 (en) 2019-07-17
US20200267418A1 (en) 2020-08-20
US11743508B2 (en) 2023-08-29
JP2019530316A (ja) 2019-10-17
CN109644275B (zh) 2022-08-19
US11089339B2 (en) 2021-08-10
SG11201900438WA (en) 2019-03-28
JP7218287B2 (ja) 2023-02-06
BR112019003749A2 (pt) 2019-05-21
KR20190044629A (ko) 2019-04-30
US20210344970A1 (en) 2021-11-04
CN109644275A (zh) 2019-04-16
US20180070110A1 (en) 2018-03-08
KR102515487B1 (ko) 2023-03-28

Similar Documents

Publication Publication Date Title
TWI788302B (zh) 用於視訊寫碼之樹型寫碼
US11431968B2 (en) Variable number of intra modes for video coding
CN110073661B (zh) 用于编码和解码视频数据的方法和装置
CN108781289B (zh) 针对视频译码工具的受约束块层级优化和用信号发送
JP6619028B2 (ja) 改善されたコンテキスト適応バイナリ算術コーティング（ｃａｂａｃ）設計を使用したデータのコーディング
CN108781293B9 (zh) 使用两级多型树框架对视频数据进行译码
CN110326299B (zh) 提取mcts子位流以用于视频译码
JP6339083B2 (ja) ビデオコーディングにおける４：２：２サンプルフォーマットのためのコード化ブロックフラグ（ｃｂｆ）コーディング
KR101600205B1 (ko) 비디오 코딩에서 인트라 예측을 위한 경계 화소 패딩
JP2018537908A (ja) ビデオデータの符号情報をコーディングすること
CN114009026A (zh) 视频译码中的色度量化参数偏移的块级信令
JP2018524906A (ja) イントラブロックコピーモードでの参照ピクチャリスト構成
JP2017508345A (ja) 予測ブロックからのイントラ予測
JP2017523685A (ja) イントラブロックコピーイングのためのブロックベクトルコーディング
KR20140131525A (ko) 병렬 모션 추정 범위 사이즈의 묵시적 도출
JP6466349B2 (ja) スケーラブルビデオコーディングのための空間動きベクトルスケーリング
CN113302939A (zh) 从局部照度补偿参数推导中排除帧内译码的参考样本