TW202408239A - 用於視訊譯碼的訊框內預測融合 - Google Patents

用於視訊譯碼的訊框內預測融合 Download PDF

Info

Publication number
TW202408239A
TW202408239A TW112123646A TW112123646A TW202408239A TW 202408239 A TW202408239 A TW 202408239A TW 112123646 A TW112123646 A TW 112123646A TW 112123646 A TW112123646 A TW 112123646A TW 202408239 A TW202408239 A TW 202408239A
Authority
TW
Taiwan
Prior art keywords
block
video
intra
fusion
predictors
Prior art date
Application number
TW112123646A
Other languages
English (en)
Inventor
曹凱銘
巴佩迪亞 瑞
張耀仁
瓦迪姆 賽萊金
瑪塔 卡克基維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202408239A publication Critical patent/TW202408239A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種對視訊資料進行解碼的方法包括基於訊框內預測模式產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合。該方法亦包括使用預測子的融合和訊框內預測模式對視訊資料區塊進行解碼。

Description

用於視訊譯碼的訊框內預測融合
本專利申請案主張享有於2022年7月6日提出申請的美國臨時專利申請案第63/367,804號和於2022年7月12日提出申請的美國臨時專利申請案第63/368,221號的權益，其每一個的全部內容皆經由引用的方式併入本文。
本案內容係關於視訊編碼和視訊解碼。
數位視訊功能可以結合到各種設備中，包括數位電視、數位直接廣播系統、無線廣播系統、個人數位助理（PDA）、膝上型電腦或桌上型電腦、平板電腦、電子書閱讀器、數碼相機、數位記錄設備、數位媒體播放機、視訊遊戲裝置、視訊遊戲機、蜂巢或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議設備、視訊流式設備等等。數位視訊設備實施視訊譯碼技術，例如MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4，第10部分、高級視訊譯碼（AVC）、ITU-T H.265/高效視訊譯碼（HEVC）、ITU-T H.266/通用視訊譯碼（VVC）定義的標準及此類標準的擴展以及諸如由開放媒體聯盟開發的AOMedia視訊1（AV1）之類的專有視訊轉碼器/格式中所描述的那些技術。經由實施此類視訊譯碼技術，視訊設備可以更有效地發送、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊譯碼技術包括空間（圖片內）預測及/或時間（圖片間）預測，以減少或消除視訊序列中固有的冗餘。對於基於塊的視訊譯碼，可以將視訊切片（slice）（例如，視訊圖片或視訊圖片的一部分）劃分為視訊塊，這些視訊塊亦可以稱為譯碼樹單元（CTU）、譯碼單元（CU）及/或譯碼節點。圖片的訊框內編碼（I）切片中的視訊塊是使用相對於同一圖片中相鄰塊中的參考取樣的空間預測進行編碼的。圖片的訊框間編碼（P或B）切片中的視訊塊可以使用相對於同一圖片中相鄰塊中的參考取樣的空間預測，或相對於其他參考圖片中的參考取樣的時間預測。圖片可以被稱訊框，並且參考圖片可以被稱為參考訊框。
整體而言，本案內容描述用於對視訊資料進行解碼的技術。具體而言，本案內容描述用於基於訊框內預測模式，使用來自兩個或兩個以上取樣參考行的預測子的融合來對視訊資料區塊進行解碼的技術。例如，視訊解碼器可以組合（例如，融合）來自兩個或兩個以上取樣參考行的參考取樣以形成預測子（predictor）的新融合，其可以用於根據訊框內預測模式來對視訊資料進行解碼。經由融合來自兩個或兩個以上參考行的預測子，系統可以產生更準確的預測。因此，該技術可減少計算資源，該計算資源對於諸如智慧型電話、平板電腦、嵌入式系統等等之類的資源受限設備會是尤其重要的。另外，該等技術可減少解碼和顯示視訊內容所需的時間，這可降低時延（例如，在擷取視訊訊框與顯示視訊訊框之間的延遲），改進資料流式效能、等等。因此，該技術可改進視訊轉碼器中的訊框內預測的譯碼效率和效能。
在一個實例中，一種方法包括：基於訊框內預測模式，產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合；及使用預測子的該融合和該訊框內預測模式來對該視訊資料區塊進行解碼。
在另一實例中，一種設備包括記憶體和與該記憶體通訊的一或多個處理器，該一或多個處理器被配置為：基於訊框內預測模式，產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合；及使用預測子的該融合和該訊框內預測模式來對該視訊資料區塊進行解碼。
在另一實例中，一種設備包括：用於基於訊框內預測模式，產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合的單元；及用於使用預測子的該融合和該訊框內預測模式來對該視訊資料區塊進行解碼的單元。
在另一實例中，一種電腦可讀取儲存媒體被編碼有指令，該等指令在被執行時使可程式設計處理器：基於訊框內預測模式，產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合；及使用預測子的該融合和該訊框內預測模式來對該視訊資料區塊進行解碼。
在另一實例中，一種方法包括：基於訊框內預測模式，產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合；及使用預測子的該融合和該訊框內預測模式來對該視訊資料區塊進行編碼。
在另一實例中，一種設備包括記憶體和與該記憶體通訊的一或多個處理器，該一或多個處理器被配置為：基於訊框內預測模式，產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合；及使用預測子的該融合和該訊框內預測模式來對該視訊資料區塊進行編碼。
在另一實例中，一種設備包括：用於基於訊框內預測模式，產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合的單元；及用於使用預測子的該融合和該訊框內預測模式來對該視訊資料區塊進行編碼的單元。
在另一實例中，一種電腦可讀取儲存媒體被編碼有指令，該等指令在被執行時使可程式設計處理器：基於訊框內預測模式，產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合；及使用預測子的該融合和該訊框內預測模式來對該視訊資料區塊進行編碼。
在附圖和以下說明中闡述了一或多個實例的細節。依據說明書、附圖以及申請專利範圍，其他特徵、目的和優點將是顯而易見的。
整體而言，視訊譯碼技術可使用訊框內預測來減少表示視訊內容所需的資料量，同時維持高視覺品質。實例訊框內預測模式可以包括DC模式、平面模式和方向模式（例如，角度模式）。用於特定塊的訊框內預測模式的選擇可取決於該塊和相鄰塊內的內容。儘管訊框內預測在視訊壓縮中提供了若干優點，但是它也具有一些缺點。例如，訊框內預測有時可能產生相對大的殘差資料（例如，預測塊與實際塊之間的差）。對大殘差資料進行編碼會導致較低的壓縮效率。
本案內容描述可改進訊框內預測的譯碼效率的技術。具體而言，本案內容描述了如下技術：在這些技術中，經由使用兩個或兩個以上取樣參考行形成融合參考預測子來執行訊框內預測。亦即，視訊解碼器可以對來自兩個或兩個以上取樣參考行的參考取樣進行組合（例如，融合）以形成預測子的新融合，其可用於根據訊框內預測模式來對視訊資料進行譯碼。經由融合來自兩個或兩個以上參考行的預測子，系統可以產生更準確的預測，這不僅可以導致可被更有效地壓縮的較小殘差資料，而且亦可以改善視覺品質（例如，因為更準確的塊預測演算法減少了在壓縮和解壓縮程序期間引入的誤差和偽像）。另外，這些技術可以導致更快的解碼時間和更低的計算資源要求，這對於資源受限的設備和應用（如資料串流）可能尤其重要。
圖1是示出可以執行本案內容的技術的實例視訊編碼和解碼系統100的方塊圖。本案內容的技術整體上針對對視訊資料進行解碼（即編碼及/或解碼）。通常，視訊資料包括用於處理視訊的任何資料。因此，視訊資料可以包括：原始的未編碼視訊、經編碼視訊、經解碼的（例如，重構的）視訊、以及視訊中繼資料（例如訊號傳遞資料）。
如圖1所示，在該實例中，系統100包括源設備102，該源設備102提供經編碼視訊資料，該經編碼視訊資料將由目的地設備116進行解碼和顯示。具體而言，源設備102借助電腦可讀取媒體110將視訊資料提供給目的地設備116。源設備102和目的地設備116可以包括各種設備中的任何設備，包括：桌上型電腦、筆記本（即膝上型）電腦、行動設備、平板電腦、機上盒、電話手機（例如智慧型電話）、電視、相機、顯示裝置、數位媒體播放機、視訊遊戲機、視訊流式媒體設備、廣播接收器設備、等等。在一些情況下，源設備102和目的地設備116可以被配備用於無線通訊，並且因此可以被稱為無線通訊設備。
在圖1的實例中，源設備102包括視訊源104、記憶體106、視訊轉碼器200和輸出介面108。目的地設備116包括輸入介面122、視訊解碼器300、記憶體120和顯示裝置118。根據本案內容，源設備102的視訊轉碼器200和目的地設備116的視訊解碼器300可以被配置為應用用於訊框內預測融合的技術。因此，源設備102代表視訊編碼設備的實例，而目的地設備116代表視訊解碼設備的實例。在其他實例中，源設備和目的地設備可以包括其他部件或佈置。例如，源設備102可以從諸如外部攝像機之類的外部視訊源接收視訊資料。類似地，目的地設備116可以與外部顯示裝置以介面連接，而不是包括整合顯示裝置。
如圖1所示的系統100僅是一個實例。通常，任何數位視訊編碼及/或解碼設備皆可以執行用於訊框內預測融合的技術。源設備102和目的地設備116僅僅是此類譯碼設備的實例，其中源設備102產生經譯碼視訊資料以傳輸到目的地設備116。本案內容將「解碼」設備稱為執行資料的譯碼（編碼及/或解碼）的設備。因此，視訊轉碼器200和視訊解碼器300分別表示解碼設備的實例，具體地是視訊轉碼器和視訊解碼器。在一些實例中，源設備102和目的地設備116可以以基本上對稱的方式操作，使得源設備102和目的地設備116之每一者設備包括視訊編碼和解碼用部件。因此，系統100可以支援在源設備102和目的地設備116之間的單向或雙向視訊傳輸，例如，用於視訊資料串流、視訊重播、視訊廣播、或視訊電話。
通常，視訊源104代表視訊資料（即原始的未編碼視訊資料）的源，並將視訊資料的圖片（亦稱為「訊框」）的序列提供給視訊轉碼器200，視訊轉碼器200對圖片的資料進行編碼。源設備102的視訊源104可以包括視訊擷取裝置，諸如攝像機，包含先前擷取的原始視訊的視訊檔案、及/或用於從視訊內容提供者接收視訊的視訊饋送介面。作為另一替代，視訊源104可以產生基於電腦圖形的資料作為源視訊，或者是即時視訊、存檔視訊和電腦產生的視訊的組合。在每種情況下，視訊轉碼器200對擷取的、預擷取的或電腦產生的視訊資料進行編碼。視訊轉碼器200可以將圖片從接收順序（有時稱為「顯示順序」）重新排列為用於譯碼的譯碼順序。視訊轉碼器200可以產生包括經編碼視訊資料的位元串流。隨後，源設備102可以經由輸出介面108將經編碼視訊資料輸出到電腦可讀取媒體110上，以便由例如目的地設備116的輸入介面122進行接收及/或檢索。
源設備102的記憶體106和目的地設備116的記憶體120代表通用記憶體。在一些實例中，記憶體106、120可以儲存原始視訊資料，例如，來自視訊源104的原始視訊和來自視訊解碼器300的原始的經解碼視訊資料。補充或可替代地，記憶體106、120可以儲存可以由例如視訊轉碼器200和視訊解碼器300分別執行的軟體指令。儘管在該實例中記憶體106和記憶體120與視訊轉碼器200和視訊解碼器300分開顯示，但應理解，視訊轉碼器200和視訊解碼器300亦可以包括內部記憶體，以實現功能上相似或等效的目的。此外，記憶體106、120可以儲存例如從視訊轉碼器200輸出的以及輸入到視訊解碼器300的經編碼視訊資料。在一些實例中，記憶體106、120的各部分可以被分配為一或多個視訊緩衝器，例如，用以儲存原始視訊資料、經解碼視訊資料及/或經編碼視訊資料。
電腦可讀取媒體110可以代表能夠將經編碼視訊資料從源設備102傳輸到目的地設備116的任何類型的媒體或設備。在一個實例中，電腦可讀取媒體110代表用於使源設備102能夠即時地（例如經由射頻網路或基於電腦的網路）將經編碼視訊資料直接發送到目的地設備116的通訊媒體。根據諸如無線通訊協定的通訊標準，輸出介面108可以調制包括經編碼視訊資料的傳輸信號，並且輸入介面122可以對接收到的傳輸信號進行解調。通訊媒體可以包括任何無線或有線通訊媒體，諸如射頻（RF）頻譜或一或多條實體傳輸線。通訊媒體可以形成諸如區域網路、廣域網的基於封包的網路或諸如網際網路的全球網路的一部分。通訊媒體可以包括路由器、交換機、基地台或任何其他可用於促進從源設備102到目的地設備116的通訊的設備。
在一些實例中，源設備102可以從輸出介面108向存放裝置112輸出經編碼資料。類似地，目的地設備116可以經由輸入介面122從存放裝置112存取經編碼資料。存放裝置116可以包括多種分散式或本端存取的資料儲存媒體中的任何一種，諸如硬碟、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或任何其他合適的用於儲存經編碼視訊資料的數位儲存媒體。
在一些實例中，源設備102可以將經編碼視訊資料輸出到檔案伺服器114或另一中間存放裝置，其可儲存由源設備102產生的經編碼視訊資料。目的地設備116可以借助資料式或下載來從檔案伺服器114存取所儲存的視訊資料。
檔案伺服器114可以是能夠儲存經編碼視訊資料並將該經編碼視訊資料發送到目的地設備116的任何類型的伺服器設備。檔案伺服器114可以代表網站伺服器（例如，用於網站）、被配置為提供檔案傳輸通訊協定服務（諸如檔案傳輸通訊協定（FTP）或單向傳輸檔遞送（FLUTE）協定）的伺服器、內容遞送網路（CDN）設備、超文字傳輸協定（HTTP）伺服器、多媒體廣播多播服務（MBMS）或增強型MBMS（eMBMS）伺服器、及/或網路附接儲存（NAS）設備。檔案伺服器114可補充或可替換地實施一或多個HTTP資料串流協定，諸如經由HTTP的動態自我調整資料串流（DASH）、HTTP實況資料串流（HLS）、即時資料串流協定（RTSP）、HTTP動態資料串流、等等。
目的地設備116可以經由任何標準資料連接（包括網際網路連接）來從檔案伺服器114存取經編碼視訊資料。這可以包括適合存取儲存在檔案伺服器114上的經編碼視訊資料的無線通道（例如Wi-Fi連接）、有線連接（例如，數位用戶線（DSL）、纜線數據機、等等）或兩者的組合。輸入介面122可以被配置為根據上文所論述的用於從檔案伺服器114檢索或接收媒體資料的各種協定或用於檢索媒體資料的其他此類協定中的任何一或多個協定來操作。
輸出介面108和輸入介面122可以代表無線發射器/接收器、數據機、有線聯網單元（例如，乙太網路卡）、根據各種IEEE 802.11標準中的任何一個標準進行操作的無線通訊部件、或者其他實體部件。在輸出介面108和輸入介面122包括無線部件的實例中，輸出介面108和輸入介面122可以被配置為根據諸如4G、4G-LTE（長期進化）、LTE Advanced、5G等等之類的蜂巢通訊標準來轉發諸如經編碼視訊資料之類的資料。在輸出介面108包括無線發射器的一些實例中，輸出介面108和輸入介面122可以配置為根據其他無線標準（例如IEEE 802.11規範、IEEE 802.15規範（例如ZigBee™）、藍芽™標準等等）來轉發諸如經編碼視訊資料之類的資料。在一些實例中，源設備102及/或目的地設備116可以包括各自的片上系統（SoC）設備。例如，源設備102可以包括SoC設備以執行屬於視訊轉碼器200及/或輸出介面108的功能，並且目的地設備116可以包括SoC設備以執行屬於視訊解碼器300及/或輸入介面122的功能。
本案內容的技術可以應用於支援各種多媒體應用中的任何一種的視訊譯碼，這些多媒體應用諸如：空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路流視訊傳輸（例如經由HTTP的動態自我調整資料串流（DASH））、被編碼到資料儲存媒體上的數位視訊、對儲存在資料儲存媒體上的數位視訊進行解碼、或其他應用。
目的地設備116的輸入介面122從電腦可讀取媒體110（例如，通訊媒體、存放裝置112、檔案伺服器114等等）接收經編碼視訊位元串流。經編碼視訊位元串流可以包括由視訊轉碼器200定義的訊號傳遞資訊，其亦由視訊解碼器300使用，諸如具有描述視訊塊或其他譯碼單元（例如，切片、圖片、圖片組、序列等等）的特性及/或處理的值的語法元素。顯示裝置118向使用者顯示經解碼視訊資料的經解碼圖片。顯示裝置118可以代表多種顯示裝置中的任何一種，例如液晶顯示器（LCD）、電漿顯示器、有機發光二極體（OLED）顯示器或另一類型的顯示裝置。
儘管未在圖1中示出，但在一些實例中，視訊轉碼器200和視訊解碼器300可以各自與音訊編碼器及/或音訊解碼器整合，並且可以包括適當的MUX-DEMUX單元或其他硬體及/或軟體以處理包括通用資料串流中的音訊和視訊兩者的多工串流。
視訊轉碼器200和視訊解碼器300可以各自被實現為各種合適的編碼器及/或解碼器電路中的任何一種，諸如一或多個微處理器、數位訊號處理器（DSP）、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）、個別邏輯電路、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時，設備可將用於軟體的指令儲存在合適的非暫時性電腦可讀取媒體中，並使用一或多個處理器以硬體方式執行該等指令以執行本案內容的技術。可以將視訊轉碼器200和視訊解碼器300中的每一個包括在一或多個編碼器或解碼器中，其中的任何一個可以被整合為相應設備中的組合編碼器/解碼器（CODEC）的一部分。包括視訊轉碼器200及/或視訊解碼器300的設備可以包括積體電路、微處理器及/或無線通訊設備，諸如蜂巢式電話。
視訊轉碼器200和視訊解碼器300可以根據視訊譯碼標準（諸如ITU-T H.265，亦稱為高效視訊譯碼（HEVC）或其擴展，諸如多視圖及/或可縮放視訊譯碼擴展））進行操作。可替換地，視訊轉碼器200和視訊解碼器300可以根據其他專有或行業標準（諸如ITU-T H.266，亦被稱為通用視訊譯碼（VVC））進行操作。在其他實例中，視訊轉碼器200和視訊解碼器300可以根據專有視訊轉碼器/格式（諸如AOMedia Video 1（AV1）、AV1的擴展、及/或AV1的後續版本（例如，AV2））進行操作。在其他實例中，視訊轉碼器200和視訊解碼器300可以根據其他專有格式或行業標準進行操作。然而，本案內容的技術不限於任何特定譯碼標準或格式。通常，視訊轉碼器200和視訊解碼器300可以被配置為結合使用訊框內預測的任何視訊譯碼技術來執行本案內容的技術。
通常，視訊轉碼器200和視訊解碼器300可以執行對圖片的基於塊的譯碼。術語「塊」通常是指包括要被處理的（例如，在編碼及/或解碼程序中被編碼、被解碼或以其他方式被使用的）資料的結構。例如，塊可以包括亮度及/或色度資料的取樣的二維矩陣。通常，視訊轉碼器200和視訊解碼器300可以對以YUV（例如，Y、Cb、Cr）格式表示的視訊資料進行譯碼。亦即，不是對圖片的取樣的紅色、綠色和藍色（RGB）資料進行解碼，而是視訊轉碼器200和視訊解碼器300可以對亮度分量和色度分量進行譯碼，其中色度分量可以包括紅色調分量和藍色調色度分量二者。在一些實例中，視訊轉碼器200在編碼之前將接收到的RGB格式的資料轉換成YUV表示，並且視訊解碼器300將YUV表示轉換成RGB格式。可替代地，預處理單元和後處理單元（未圖示）可以執行這些轉換。
本案內容可以整體上涉及圖片的譯碼（例如，編碼和解碼）以包括對圖片的資料進行編碼或解碼的程序。類似地，本案內容可以涉及對圖片的塊的譯碼以包括對塊的資料進行編碼或解碼的程序，例如，預測及/或殘差譯碼。經編碼視訊位元串流通常包括用於語法元素的一系列值，這些值表示譯碼決策（例如，譯碼模式）以及圖片到塊的劃分。因此，提及對圖片或塊進行譯碼，通常應被理解為對用於形成圖片或塊的語法元素的值進行譯碼。
HEVC定義各種塊，包括譯碼單元（CU）、預測單元（PU）和變換單元（TU）。根據HEVC，視訊解碼器（例如，視訊轉碼器200）根據四叉樹結構將譯碼樹單元（CTU）劃分為CU。亦即，視訊解碼器將CTU和CU劃分為四個相等的不重疊的正方形，並且四叉樹的每個節點具有零個或四個子節點。沒有子節點的節點可以被稱為「葉節點」，並且這種葉節點的CU可以包括一或多個PU及/或一或多個TU。視訊解碼器可進一步劃分PU和TU。例如，在HEVC中，殘差四叉樹（RQT）代表TU的劃分。在HEVC中，PU代表訊框間預測資料，而TU代表殘差資料。被訊框內預測的CU包括訊框內預測資訊，諸如訊框內模式指示。
作為另一個實例，視訊轉碼器200和視訊解碼器300可以被配置為根據VVC進行操作。根據VVC，視訊解碼器（諸如，視訊轉碼器200）將圖片劃分為複數個解碼樹單元（CTU）。視訊轉碼器200可以根據諸如四叉樹-二叉樹（QTBT）結構或多類型樹（MTT）結構的樹結構來劃分CTU。QTBT結構消除了多個劃分類型的概念，諸如HEVC的CU、PU和TU之間的分隔。QTBT結構包括兩個級別：根據四叉樹劃分而劃分的第一級，以及根據二叉樹劃分而劃分的第二級。QTBT結構的根節點對應於CTU。二叉樹的葉節點對應於譯碼單元（CU）。
在MTT劃分結構中，可以使用四叉樹（QT）劃分、二叉樹（BT）劃分和一或多個類型的三叉樹（TT）（亦稱為三元樹（TT））劃分來劃分塊。三叉樹或三元樹劃分是將塊分成三個子塊的劃分。在一些實例中，三叉樹或三元樹劃分將塊劃分成三個子塊，而不經由中心來劃分原始塊。MTT中的劃分類型（例如，QT、BT和TT）可以是對稱的或不對稱的。
當根據AV1轉碼器操作時，視訊轉碼器200和視訊解碼器300可以被配置為對塊中的視訊資料進行譯碼。在AV1中，能夠處理的最大譯碼塊被稱為超級塊。在AV1中，超級塊可以是128×128亮度取樣或64×64亮度取樣。然而，在後繼視訊譯碼格式（例如，AV2）中，超級塊可由不同（例如，更大）亮度取樣大小定義。在一些實例中，超級塊是塊四叉樹的頂級。視訊轉碼器200可以進一步將超級塊劃分為更小的譯碼塊。視訊轉碼器200可使用正方形或非正方形劃分將超級塊和其他譯碼塊劃分成較小塊。非正方形塊可以包括N/2×N、N×N/2、N/4×N和N×N/4塊。視訊轉碼器200和視訊解碼器300可以對每個譯碼塊執行單獨的預測和變換處理。
AV1亦定義視訊資料的圖塊（tile）。圖塊是超級塊的矩形陣列，這些超級塊可以獨立於其他圖塊進行譯碼。亦即，視訊轉碼器200和視訊解碼器300可以在不使用來自其他圖塊的視訊資料的情況下分別對一個圖塊內的譯碼塊進行編碼和解碼。然而，視訊轉碼器200和視訊解碼器300可以跨圖塊邊界執行濾波。圖塊的大小可以是均勻的或不均勻的。基於圖塊的譯碼可以實現用於編碼器和解碼器實施方式的並行處理及/或多執行緒。
在一些實例中，視訊轉碼器200和視訊解碼器300可以使用單個QTBT或MTT結構來表示亮度分量和色度分量之每一者分量，而在其他實例中，視訊轉碼器200和視訊解碼器300可以使用兩個或兩個以上QTBT或MTT結構，諸如，用於亮度分量的一個QTBT/MTT結構和用於兩個色度分量的另一個QTBT/MTT結構（或用於相應色度分量的兩個QTBT/MTT結構）。
視訊轉碼器200和視訊解碼器300可以被配置為使用四叉樹劃分、QTBT劃分、MTT劃分、超級塊劃分或其他劃分結構。
在一些實例中，CTU包括：具有三個取樣陣列的圖片的亮度取樣的譯碼樹塊（CTB）、色度取樣的兩個對應CTB，或單色圖片或使用三個單獨顏色平面譯碼的圖片的取樣的CTB；及用於對取樣進行譯碼的語法結構。CTB可以是針對某個N值的取樣的N×N塊，使得將分量分成CTB是「劃分」。分量是來自構成4:2:0、4:2:2或4:4:4顏色格式的圖片的三個陣列（亮度和兩個色度）之一的陣列或單個取樣，或者構成單色格式的圖片的陣列或陣列的單個取樣。在一些實例中，譯碼塊是針對某些M和N值的M×N取樣塊，使得將CTB分成譯碼塊是「劃分」。
塊（例如，CTU或CU）可以在圖片中各種方式封包。作為一個實例，區塊（brick）可以指圖片中的特定圖塊內的CTU行的矩形區域。圖塊可以是圖片中的特定圖塊列和特定圖塊行內的CTU的矩形區域。圖塊列指的是具有等於圖片高度的高度和由（例如，諸如在圖片參數集中的）語法元素指定的寬度的CTU的矩形區域。圖塊行指的是具有由（例如，諸如在圖片參數集中的）語法元素指定的高度和等於圖片寬度的寬度的CTU的矩形區域。
在一些實例中，可以將圖塊劃分為多個區塊，每個區塊可以包括該圖塊內的一或多個CTU行。未被劃分成多個區塊的圖塊亦可以被稱為區塊。然而，作為圖塊的真子集的區塊不可以被稱為圖塊。圖片中的區塊亦可以被佈置在切片中。切片可以是圖片中的、可被排他地包含於單個網路抽象層（NAL）單元中的整數數量個區塊。在一些實例中，切片包括數個完整的圖塊或者僅包括一個圖塊的完整區塊的連續序列。
本案內容可互換地使用「N×N」和「N乘N」來代表按照垂直和水平尺寸的塊（例如CU或其他視訊塊）的取樣尺寸，例如16×16取樣或16乘16取樣。通常，16×16 CU在垂直方向上具有16個取樣（y=16），在水平方向上具有16個取樣（x=16）。同樣，N×N CU通常在垂直方向上具有N個取樣，在水平方向上具有N個取樣，其中N表示非負整數值。CU中的取樣可以按行和列排列。此外，CU在水平方向上不必具有與垂直方向上相同數量的取樣。例如，CU可以包括N×M個取樣，其中M不一定等於N。
視訊轉碼器200對CU的表示預測資訊及/或殘差資訊以及其他資訊的視訊資料進行編碼。預測資訊指示將如何預測CU以便形成用於CU的預測塊。殘差資訊通常表示在編碼之前的CU的取樣與預測塊之間的逐取樣差。
為了預測CU，視訊轉碼器200通常可經由訊框間預測或訊框內預測來形成用於CU的預測塊。訊框間預測通常是指根據先前譯碼的圖片的資料來預測CU，而訊框內預測通常是指根據同一圖片的先前譯碼的資料來預測CU。為了執行訊框間預測，視訊轉碼器200可使用一或多個運動向量來產生預測塊。視訊轉碼器200通常可以例如按照在CU與參考塊之間的差來執行運動搜尋，以辨識與CU緊密匹配的參考塊。視訊轉碼器200可使用絕對差之和（SAD），平方差之和（SSD），平均絕對差（MAD），均方差（MSD）或其他此類差值計算來計算差值度量，以決定參考塊是否與當前CU緊密匹配。在一些實例中，視訊轉碼器200可使用單向預測或雙向預測來預測當前CU。
VVC的一些實例亦提供了仿射運動補償模式，其可被視為訊框間預測模式。在仿射運動補償模式中，視訊轉碼器200可以決定表示非平移運動（例如放大或縮小、旋轉、透視運動或其他不規則運動類型）的兩個或兩個以上運動向量。
為了執行訊框內預測，視訊轉碼器200可選擇訊框內預測模式以產生預測塊。VVC的一些實例提供了67種訊框內預測模式，包括各種方向模式，以及平面模式和DC模式。通常，視訊轉碼器200選擇訊框內預測模式，該訊框內預測模式描述據以預測當前塊（例如，CU的塊）的取樣的當前塊的相鄰取樣。假設視訊轉碼器200以光柵掃瞄順序（從左到右，從上到下）對CTU和CU進行解碼，則此類取樣通常可以在與當前塊相同的圖片中當前塊的上方、左上方或左側。
視訊轉碼器200對表示當前塊的預測模式的資料進行編碼。例如，對於訊框間預測模式，視訊轉碼器200可以對表示使用各種可用訊框間預測模式中的哪一個的資料以及對應模式的運動資訊進行編碼。對於單向或雙向訊框間預測，例如，視訊轉碼器200可以使用高級運動向量預測（AMVP）或合併模式來對運動向量進行編碼。視訊轉碼器200可以使用類似模式來對仿射運動補償模式的運動向量進行編碼。
AV1包括用於對視訊資料的解碼塊進行編碼和解碼的兩種通用技術。這兩種通用技術是訊框內預測（例如，訊框內預測或空間預測）和訊框間預測（例如，訊框間預測或時間預測）。在AV1的上下文中，當使用訊框內預測模式來預測視訊資料的當前訊框的塊時，視訊轉碼器200和視訊解碼器300不使用來自視訊資料的其他訊框的視訊資料。對於大多數訊框內預測模式，視訊轉碼器200基於在當前塊中的取樣值與從同一訊框中的參考取樣產生的預測值之間的差來編碼當前訊框的塊。視訊轉碼器200基於訊框內預測模式來決定從參考取樣產生的預測值。
在諸如塊的訊框內預測或訊框間預測之類的預測之後，視訊轉碼器200可計算該塊的殘差資料。殘差資料（例如殘差塊）表示該塊與使用相應預測模式形成的該塊的預測塊之間的逐取樣差。視訊轉碼器200可將一或多個變換應用於殘差塊，以在變換域而非取樣域中產生經變換的資料。例如，視訊轉碼器200可將離散餘弦變換（DCT）、整數變換、小波變換或概念上類似的變換應用於殘差視訊資料。另外，視訊轉碼器200可在第一變換之後應用次級變換，諸如，與模式相關的不可分離的次級變換（MDNSST）、與信號相關的變換、Karhunen-Loeve變換（KLT）、等等。視訊轉碼器200在應用一或多個變換之後產生變換係數。
如前述，在用以產生變換係數的任何變換之後，視訊轉碼器200可執行變換係數的量化。量化通常是指對變換係數進行量化以可能地減少用於表示變換係數的資料量，從而提供進一步壓縮的程序。經由執行量化程序，視訊轉碼器200可減小與一些或所有變換係數相關聯的位深度。例如，視訊轉碼器200可在量化期間將n位值捨入為m位值，其中n大於m。在一些實例中，為了執行量化，視訊轉碼器200可執行對待量化的值的按位元右移。
在量化之後，視訊轉碼器200可掃瞄變換係數，從而從包括經量化變換係數的二維矩陣產生一維向量。可以將掃瞄設計為將較高能量（因此較低頻率）的變換係數放置在向量的前面，並將較低能量（因此較高頻率）的變換係數放置在向量的後面。在一些實例中，視訊轉碼器200可利用預定義的掃瞄順序來掃瞄經量化變換係數以產生序列化的向量，隨後對向量的經量化變換係數進行熵編碼。在其他實例中，視訊轉碼器200可以執行自我調整掃瞄。在掃瞄經量化變換係數以形成一維向量之後，視訊轉碼器200可以例如根據上下文自我調整二進位算術譯碼（CABAC）對一維向量進行熵編碼。視訊轉碼器200亦可對語法元素的值進行熵編碼，語法元素描述與經編碼視訊資料相關聯的中繼資料，以供視訊解碼器300在對視訊資料進行解碼時使用。
為了執行CABAC，視訊轉碼器200可將上下文模型內的上下文分配給要發送的符號。上下文可以涉及例如符號的相鄰值是否為零值。概率決定可以基於分配給符號的上下文。
視訊轉碼器200亦可以例如在圖片標頭、塊標頭、切片標頭中，向視訊解碼器300產生語法資料，諸如基於塊的語法資料、基於圖片的語法資料和基於序列的語法資料，或其他語法資料，諸如序列參數集（SPS）、圖片參數集（PPS）或視訊參數集（VPS）。視訊解碼器300可類似地解碼此類語法資料以決定如何對相應的視訊資料進行解碼。
以此方式，視訊轉碼器200可以產生包括經編碼視訊資料的位元串流，該經編碼視訊資料例如為：描述將圖片劃分為塊（例如，CU）的語法元素以及塊的預測資訊及/或殘差資訊。最終，視訊解碼器300可以接收位元串流並對經編碼視訊資料進行解碼。
通常，視訊解碼器300執行視訊轉碼器200所執行的程序的互逆程序以對位元串流的經編碼視訊資料進行解碼。例如，視訊解碼器300可使用CABAC以與視訊轉碼器200的CABAC編碼程序儘管互逆但基本相似的方式來對位元串流的語法元素的值進行解碼。語法元素可以定義用於如下的劃分資訊：將圖片劃分為CTU，以及根據相應的劃分結構（例如QTBT結構）劃分每個CTU以定義CTU的CU。語法元素可進一步定義視訊資料的塊（例如，CU）的預測資訊和殘差資訊。
殘差資訊可以由例如經量化變換係數表示。視訊解碼器300可對塊的經量化變換係數進行逆量化和逆變換以再現該塊的殘差塊。視訊解碼器300使用用訊號傳遞通知的預測模式（訊框內預測或訊框間預測）和相關的預測資訊（例如，用於訊框間預測的運動資訊）來形成用於該塊的預測塊。視訊解碼器300隨後可以組合預測塊和殘差塊（在逐取樣的基礎上）以再現原始塊。視訊解碼器300可執行額外處理，諸如執行解塊處理以減少沿塊的邊界的視覺偽像。本案內容通常可以提及「用訊號傳遞通知」某些資訊，諸如語法元素。術語「用訊號傳遞通知」通常可以代表語法元素及/或用於對經編碼視訊資料進行解碼的其他資料的值的通訊。亦即，視訊轉碼器200可以用訊號傳遞通知位元串流中的語法元素的值。通常，用訊號傳遞通知是指產生位元串流中的值。如前述，源設備102可以基本上即時地或非即時地（諸如在將語法元素儲存到存放裝置112以供稍後由目的地設備116檢索時可能發生）將位元串流傳輸到目的地設備116。
根據本案內容的技術，如下文將更詳細地解釋的，視訊轉碼器200和視訊解碼器300可被配置為基於訊框內預測模式，產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合，並且使用預測子的融合和訊框內預測模式來對視訊資料區塊進行編碼/解碼。
訊框內預測
訊框內預測是許多視訊轉碼器中的基本部件。對於當前譯碼單元130（「CU 130」），CU 130內部的取樣的預測可以根據不同的訊框內預測模式從參考行132產生，該訊框內預測模式例如平面模式、DC模式和複數個角度模式（亦稱為方向模式）中的一個。在一個實例中，預設的取樣參考行是最接近CU 130的取樣行，如圖2中所示。對於角度模式，基於模式方向，視訊解碼器可決定是執行用6分接點/4分接點濾波器對參考取樣的內插、用高斯濾波器進行的平滑還是直接複製參考取樣值。
多參考行（MRL）
如圖3所示，預設的取樣參考行可以是行132A（例如，「行0」），其在當前譯碼單元的上方直接相鄰並且在當前解碼單元的左側直接相鄰。在MRL模式中，視訊解碼器可被配置為使用其他參考行，諸如行132B-N（通常被稱作「行132，其可對應於第二行、第三行、第四行等等）。為了便於說明，圖3僅示出行132A-132E。此MRL模式在由JVET開發的增強壓縮模型（ECM）中被稱作多參考行（MRL）。
解碼器側訊框內模式匯出（DIMD）
除了平面模式、DC模式和角度模式之外，另一訊框內預測模式是解碼器側訊框內模式匯出（DIMD），在該模式中，視訊解碼器300被配置為從解碼器側匯出訊框內譯碼模式。在一些實例中，視訊解碼器300可被配置為使用梯度長條圖（HoG）匯出訊框內譯碼模式。例如，HOG可以是或以其他方式表示長度67的向量，其中每個元素表示對應方向的量值。HOG可以為可能的角度模式建立提示。對於當前譯碼單元（CU），視訊解碼器300可使用來自上方經重構鄰點、左側經重構鄰點和左上角鄰點的經重構取樣來計算HOG。
在一些實例中，視訊解碼器300可以經由融合來自多個訊框內預測模式的預測子來實現DIMD。例如，視訊解碼器300可以將來自具有最高量值（例如，基於HOG）的兩個角度模式的預測子與平面模式融合，以決定來自DIMD的最終預測。兩個角度模式可以是 mode1和 mode2，並且 mode1和 mode2的量值可以分別是 mag1和 mag2。在一些實例中，視訊解碼器300可以分別將用於 mode1、 mode2和平面模式的融合的權重決定為 、 和1/3。
基於範本的訊框內模式匯出（TIMD）
另一解碼器側訊框內模式匯出方法是基於範本的訊框內模式匯出。圖4是示出在基於範本的訊框內模式匯出中使用的實例範本和參考取樣的概念圖。給定CU 130，視訊解碼器300可以選擇兩個範本區域134A-134B（例如，CU 130上方和CU 130左側）和對應的參考範本136。對於最可能模式（MPM）列表之每一者模式，視訊解碼器300可產生範本區域136的預測，並且在預測與重構取樣之間的範本區域136上計算絕對變換差（SATD）代價的總和。視訊解碼器300可以選擇具有最低代價的模式作為用於TIMD的模式。
視訊解碼器300可以決定具有最小SATD代價的mode1和mode2。mode1和mode2的代價可以分別是cost1和cost2。在一些實例中，回應於決定2*cost1＜cost2，視訊解碼器300可以融合mode1和mode2，並將mode1和mode2的融合的權重分別決定為 和 。否則，視訊解碼器300可以使用mode1而不融合。
具有整數斜率/非整數斜率的角度模式
圖5是示出ECM的一個版本中的實例角度訊框內預測模式的概念圖。在圖5中，各個箭頭對應於指示ECM中的不同方向的不同角度模式。對於不同的方向，一些方向落在參考取樣之間，並且一些方向落在參考取樣上，如圖6所示。圖6是示出角度訊框內預測模式的整數斜率和非整數斜率的實例的概念圖。在圖6中，落在參考取樣上的方向具有整數斜率，並且落在參考取樣之間的那些方向具有非整數斜率。在圖5和6中，實線箭頭140對應於具有整數斜率的方向，而虛線箭頭142對應於具有非整數斜率的方向。
最可能模式（MPM）列表
在訊框內預測的一些實例中，視訊轉碼器200和視訊解碼器300可以為每個預測單元（PU）產生最可能模式的列表（例如，MPM列表）。當對預測模式進行編碼時，視訊轉碼器200可以對實際選擇的模式的到MPM列表的索引進行編碼，而不是將該模式直接寫入位元串流中。隨後，視訊解碼器300可以使用該索引作為在視訊解碼器處產生的MPM列表的輸入，以決定訊框內預測模式。
在ECM中，MPM列表的長度為22，並且可以包括兩個部分。MPM列表中的前6個模式可以被稱為主MPM列表。它們可以包括平面模式、來自左側PU的模式、來自上方PU的模式、來自左下方PU的模式、來自右上方PU的模式和來自左上方PU的模式。MPM列表中的接下來的16個模式可被稱為輔MPM列表，其可以包括經由從主MPM列表中的模式的偏移匯出的模式。視訊轉碼器200和視訊解碼器300可以在最終MPM列表中在主MPM列表之後和輔MPM列表之前添加DIMD模式（例如， mode1和 mode2）。
視訊轉碼器200和視訊解碼器300可以將未包括在MPM列表中的所有模式添加到非MPM列表。視訊轉碼器200和視訊解碼器300亦可以為色度通道產生單獨MPM列表，其中色度MPM列表的前4個模式對應於亮度MPM列表中的模式。
在ECM軟體的實例中，訊框內預測僅使用一個參考行進行CU取樣預測。即使當啟用MRL模式時，視訊解碼器300亦可能僅使用一個參考行，這在一些情況下可能降低預測準確度。
在本案內容中描述了解決上述問題的若干方法。本案內容的技術可以個別地或以任何組合使用。根據本案內容的技術，視訊解碼器300可經由基於訊框內預測模式產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合，來解碼視訊資料。經由融合來自兩個或兩個以上參考行的預測子，系統可以產生更準確的預測，這不僅可以導致可以更有效地壓縮的較小殘差資料，而且亦可以改善視覺品質。另外，這些技術可以導致更快的解碼時間和更低的計算資源要求。
視訊轉碼器200和視訊解碼器300可以基於訊框內預測模式，產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合。在一些實例中，視訊轉碼器200和視訊解碼器300可以基於訊框內預測模式，基於來自兩個或兩個以上取樣參考行的預測子的加權組合來產生預測子的融合。例如，視訊轉碼器200和視訊解碼器300可以將用於預測子的參考行選擇為一般預設參考行（例如，圖3的行132A）和其他不同參考行（例如，圖3的行132B-132N中的一行或多行）的組合。該其他參考行可以是單個參考行或多於一個參考行。
在另一實例中，視訊轉碼器200和視訊解碼器300可以將用於預測子的參考行選擇為例如從任何兩個參考行匯出的任何兩個訊框內預測子的組合。這些行可以是不同的。在一些實例中，視訊轉碼器200和視訊解碼器300可以基於來自從相同參考行匯出的但是使用不同的訊框內預測方法的兩個或兩個以上訊框內模式的預測子的加權組合，來產生預測子的融合。
視訊轉碼器200和視訊解碼器300可以被配置為，產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合，並且使用預測子的融合和訊框內預測模式來對視訊資料區塊進行譯碼（例如，編碼或解碼）。在一個實例中，該兩個或兩個以上取樣參考行包括預設的取樣參考行，例如圖3的行132中的一行（例如，緊鄰CU 130的行132A）。在另一實例中，預設的取樣參考行緊鄰視訊資料區塊（例如，圖3的行132A-132B，其可對應於行0和行1）。通常，兩個或兩個以上參考行可以包括行132中的任何一行。
視訊轉碼器200和視訊解碼器300可以被配置為，使用相同的訊框內預測模式從兩個或兩個以上取樣參考行決定預測子。在另一實例中，視訊轉碼器200和視訊解碼器300可以被配置為，使用至少兩個不同的訊框內預測模式從兩個或兩個以上取樣參考行決定預測子。在一些實例中，該至少兩個不同訊框內預測模式可以是角度模式。在任何情況下，視訊轉碼器200和視訊解碼器300將訊框內預測融合應用於具有非整數斜率的訊框內預測模式。
在一個實例中，視訊轉碼器200和視訊解碼器300可以被配置為，將參考行選擇為在MRL預測中使用的行的子集。亦即，取樣參考行可以是用於MRL解碼模式的取樣參考行集合的子集。在一個實例中，取樣參考行集合的子集包括與視訊資料區塊相鄰的預設取樣參考行，以及與預設取樣參考行相鄰的其他取樣參考行。例如，視訊轉碼器200和視訊解碼器300可以使用行0作為預設參考行，並且使用行1作為該其他參考行。因此，若MRL模式應用於預設參考行集合{1，3，5，7，12}，則當結合MRL使用融合時，行集合可以包括{[1，2]，[3，4]，[5，6]，[7，8]，[12，13]}）。在另一實例中，視訊轉碼器200和視訊解碼器300可以使用非相鄰行作為該其他參考行（例如，若行1是預設參考行，則諸如行3和行5）。
在另一實例中，視訊轉碼器200和視訊解碼器300可以將該其他參考行選擇為與一般預設參考行具有一定距離的參考行。例如，該其他參考行可以是相鄰的參考行，其是行1。在另一實例中，視訊轉碼器200和視訊解碼器300可以將該其他參考行特別地選擇為未在MRL預測中使用的行，以提供多樣性。例如，該其他參考行可以是行2和行4，它們未在當前MRL模式中使用。在另一實例中，該其他參考行亦可以是在MRL中使用和未使用的參考行的混合。
上面描述了幾種選擇技術。然而，視訊轉碼器200和視訊解碼器300可使用其他技術來辨識用於融合模式的該其他參考行，且此類技術應被視為在本案內容的範疇內。
在一個實例中，視訊轉碼器200和視訊解碼器300可以經由決定來自多個參考行的預測子的加權組合，來實現兩個或兩個以上訊框內預測子的融合。例如，視訊轉碼器200和視訊解碼器300可以使用等式 來計算預測子的融合，其中 表示經融合的參考訊框內預測值， 表示具有索引位置 i的預測子的權重，並且 表示具有索引位置 i的預測子的訊框內預測值。例如，視訊轉碼器200和視訊解碼器300可以將第一權重應用於預設參考行中的預測子，並且將第二權重應用於該其他參考行中的預測子。預設參考行可比該其他參考行更靠近視訊資料區塊。在任何情況下，視訊轉碼器200和視訊解碼器300可以使用本文描述的任何方法來選擇這些參考行。
在一個實例中，每個預測子的權重可以是固定的。例如，視訊轉碼器200和視訊解碼器300可以對從一個參考行匯出的訊框內預測值（表示為 ）和從其他參考行匯出的訊框內預測值（表示為 ）應用融合。視訊轉碼器200和視訊解碼器300可以使用等式 來計算預測子的融合。在一個實例中，視訊轉碼器200和視訊解碼器300可以決定固定權重是 和 。亦即，視訊轉碼器200和視訊解碼器300可以決定第一權重是0.75並且第二權重是0.25。
在另一實例中，視訊轉碼器200和視訊解碼器300可以基於當前取樣在塊中的位置，以及塊的寬度或高度中的一者或多者，來決定權重（例如，第一權重、第二權重等等）。當前取樣位置可以是（x, y），並且當前解碼單元大小可以是（w, h）。例如，視訊轉碼器200和視訊解碼器300可以使用等式 和 來決定與位置相關的權重。在另一實例中，視訊轉碼器200和視訊解碼器300可以使用等式 和 來決定與位置相關的權重。
在另一實例中，視訊轉碼器200和視訊解碼器300可以基於某些標準（諸如閾值的滿足）來決定權重。例如，回應於第一預測子減去第二預測子的絕對值（例如， ）滿足閾值（例如，大於或等於閾值），視訊轉碼器200和視訊解碼器300可以決定第一權重是0.75且第二權重是0.25。回應於第一預測子減去第二預測子的絕對值不滿足閾值，視訊轉碼器200和視訊解碼器300可決定第一權重是0.5且第二權重是0.5。
在另一實例中，視訊轉碼器200和視訊解碼器300可以基於在訊框內預測中使用的範本（例如，在TIMD中使用的SATD）的代價來決定權重。在一個實例中，第一訊框內預測子的SATD代價是 cost1，並且 cost2是第二訊框內預測子的SATD代價。視訊轉碼器200和視訊解碼器300可以使用等式 和 來決定權重，其中w 0+ w 1= 1。
在一個實例中，視訊轉碼器200和視訊解碼器300可以經由將在預測子之間的加權梯度相加，來實現融合。在一個實例中，視訊轉碼器200和視訊解碼器300可以經由使用等式 來實現融合，其中 表示經融合的參考訊框內預測值， 表示具有索引位置 i的預測子的權重， 表示具有索引位置 i的預測子的訊框內預測值，並且 表示來自第一或預設參考行的預測子的訊框內預測值。如前述，取決於圖元/取樣位置，取決於來自範本的某些標準或代價，等等，權重可以是固定的。
在一個實例中，視訊轉碼器200和視訊解碼器300可以隱式地應用訊框內預測融合。例如，視訊轉碼器200和視訊解碼器300可以應用訊框內預測融合，而不管所涉及的訊框內模式或CU的大小如何。在另一實例中，視訊轉碼器200和視訊解碼器300可以顯式地應用訊框內預測融合。視訊轉碼器200可在位元串流中在CU級或切片級上編碼並用訊號傳遞通知一標誌，以指示是否應用訊框內預測融合。
在一個實例中，視訊轉碼器200和視訊解碼器300是否應用訊框內預測融合可以取決於訊框內模式。在一個實例中，視訊轉碼器200和視訊解碼器300可以將訊框內預測融合應用於任何訊框內模式，諸如平面模式、DC模式和角度模式。在另一實例中，視訊轉碼器200和視訊解碼器300可以僅將訊框內預測融合應用於訊框內模式的子集（例如，僅應用於角度模式）。在另一實例中，視訊轉碼器200和視訊解碼器300可以僅將訊框內預測融合應用於具有非整數斜率的模式（例如，如圖5-6所示）。具有非整數斜率的訊框內預測模式的實例可以包括圖5中所示的虛線142。
視訊轉碼器200和視訊解碼器300可以使用其他條件來辨識所使用的訊框內模式子集或是否應用融合，並且這些條件亦應被認為在本案內容的範疇內。視訊轉碼器200和視訊解碼器300可以使用顯式條件來檢查是否應用所揭示的融合模式以及應用於哪些訊框內模式。若所有模式皆滿足條件，則視訊轉碼器200和視訊解碼器300可以將所揭示的融合方法應用於所有訊框內模式；否則，視訊轉碼器200和視訊解碼器300可以不應用融合。在另一實例中，若任何涉及的模式皆滿足條件，並且其他模式可以遵循或可以不遵循條件，則視訊轉碼器200和視訊解碼器300可以應用所揭示的融合方法。這兩個實例之間的區別在於，在第一種情況下，mode0和mode1二者皆必須滿足條件，而在第二種實例中，僅mode0或mode1需要滿足條件，但是另一個模式可以滿足或可以不滿足條件。
視訊轉碼器200和視訊解碼器300可以將一或多個內插濾波器應用於視訊資料區塊。視訊轉碼器200和視訊解碼器300可以在利用任何類型的濾波器（例如，6分接點濾波器或4分接點濾波器）進行內插之後從參考取樣匯出預測取樣。在一些實例中，視訊轉碼器200和視訊解碼器300可從不同類型的濾波器的混合匯出預測取樣。例如，視訊轉碼器200和視訊解碼器300可從6分接點內插濾波器匯出一個預測取樣且從4分接點內插濾波器匯出另一預測取樣。
在一個實例中，視訊轉碼器200和視訊解碼器300是否應用訊框內預測融合取決於塊大小。在一個實例中，當CU面積大於N時，視訊轉碼器200和視訊解碼器300可以應用訊框內預測融合，其中例如N等於32。
在另一實例中，訊框內預測融合可取決於用於對當前塊進行譯碼的預測模式。例如，在當前訊框內模式是DIMD模式或TIMD模式時，視訊轉碼器200和視訊解碼器300可以禁用訊框內預測融合。對於另一實例，當CU 130以訊框內子劃分（ISP）模式進行譯碼時，視訊轉碼器200和視訊解碼器300可以禁用訊框內預測融合。亦即，當禁用ISP模式時，視訊轉碼器200和視訊解碼器300可以使用訊框內預測融合（例如，產生來自多個取樣參考行的預測子的融合）。
在另一實例中，視訊轉碼器200和視訊解碼器300可以將訊框內預測融合與使用其他類型的融合的其他預測模式（例如TIMD/DIMD）組合。由於這些模式（TIMD或DIMD）可能已經利用其他融合，因此視訊轉碼器200和視訊解碼器300可以在一階段或兩階段程序中應用融合。在兩階段融合情況下，視訊轉碼器200和視訊解碼器300可以首先針對來自TIMD和DIMD的每個模式應用根據該技術的訊框內預測融合。隨後，視訊轉碼器200和視訊解碼器300可以在第二階段中應用特定於那些模式的融合。在這種情況下，視訊轉碼器200和視訊解碼器300可以分離用於訊框內預測融合和TIMD/DIMD模式融合的權重。視訊轉碼器200和視訊解碼器300可以決定訊框內預測的權重是¾和¼，並且獨立地決定TIMD/DIMD模式的融合權重。
在一階段融合實例中，對於每個TIMD/DIMD模式，視訊轉碼器200和視訊解碼器300可以從不同參考行匯出兩個或兩個以上預測子。視訊轉碼器200和視訊解碼器300可以將這些預測子的融合在一起以避免由融合引起的捨入誤差。例如，若TIMD/DIMD在預測中使用訊框內模式0和訊框內模式1，則視訊轉碼器200和視訊解碼器300可以使用來自訊框內模式0的不同參考行來匯出兩個預測子，其可以表示為訊框內模式00和模式01。類似地，視訊轉碼器200和視訊解碼器300可以使用來自訊框內模式1的不同參考行來匯出兩個預測子，其可以表示為訊框內模式10和模式11。在一階段融合中，視訊轉碼器200和視訊解碼器300可以將這4種模式（模式00、模式01、模式10、模式11）與某些權重融合在一起。視訊轉碼器200和視訊解碼器300可以將相同或基本相似的技術應用於使用多於兩個參考行匯出的多於兩個預測子。
在兩階段程序中，視訊轉碼器200和視訊解碼器300可以經由使用所描述的方法從模式00和模式01匯出模式0。類似地，視訊轉碼器200和視訊解碼器300可以從模式10和模式11匯出模式1，其表示第一階段。隨後，作為第二階段，視訊轉碼器200和視訊解碼器300可以根據特定於TIMD/DIMD的融合方法來融合模式0和1。
視訊轉碼器200和視訊解碼器300可以經由將所揭示的方法的固定權重 和 與TIMD和DIMD中使用的權重相乘，來匯出一階段程序中的權重。在另一替代方案中，視訊轉碼器200和視訊解碼器300可以根據範本代價來匯出所涉及的模式的權重。
在啟用利用TIMD/DIMD的訊框內預測融合的實例中，視訊轉碼器200和視訊解碼器300可在模式融合結束時僅對每一個預測子應用與位置相關的訊框內預測組合（PDPC）處理一次。在另一實例中，視訊轉碼器200和視訊解碼器300可在每個預測子之後立即應用PDPC處理。
在一個實例中，視訊轉碼器200和視訊解碼器300可以應用與其他工具（諸如MRL、ISP和基於矩陣的訊框內預測（MIP））組合的訊框內預測融合。當啟用利用MRL的訊框內預測融合時，視訊轉碼器200和視訊解碼器300可以使用預設參考行來匯出MRL預測（通常在位元串流中作為MRL索引來用訊號傳遞通知），並且視訊轉碼器200和視訊解碼器300可以從可在MRL預測中使用的行中選擇其他參考行。例如，若視訊轉碼器200和視訊解碼器300使用行3作為當前參考行，則視訊轉碼器200和視訊解碼器300可以選擇行5作為該其他參考行。在另一實例中，若視訊轉碼器200和視訊解碼器300使用行3作為當前參考行，則視訊轉碼器200和視訊解碼器300可以選擇行1作為該其他參考行。在又一實例中，若視訊轉碼器200和視訊解碼器300使用行3作為該當前參考行，則視訊轉碼器200和視訊解碼器300可以選擇行5和行7作為該其他參考行。
在另一實例中，視訊轉碼器200和視訊解碼器300可將本案內容的訊框內預測融合技術應用於MRL候選列表的子集。例如，視訊轉碼器200和視訊解碼器300可以將訊框內預測融合應用於MRL候選列表中的前三個候選。
在一些實例中，視訊轉碼器200和視訊解碼器300可以應用具有模式訊號傳遞通知的訊框內預測融合。在一個實例中，視訊轉碼器200和視訊解碼器300可以首先構造候選列表以包括所有模式，諸如DC、平面、角度模式、TIMD和DIMD模式。列表中的模式可以來自MPM列表，來自預設的訊框內模式列表，例如{平面模式，DC模式，水平，垂直}，或者來自視訊轉碼器200和視訊解碼器300執行第一輪SATD檢查之後的模式列表。
訊框內模式列表可由訊框內方向和其他訊框內預測方法作為組合組成。例如，訊框內模式列表的條目可被組成為{訊框內方向，MRL索引，是否應用融合}和類似組合。視訊轉碼器200和視訊解碼器300可以發送到訊框內模式列表的索引，而不是用訊號傳遞通知訊框內方向、MRL索引和融合標誌。
若例如該組合的至少一個組成部分不同，則兩個條目可以不同。例如，{訊框內方向10，MRL索引3，無融合}不同於{訊框內方向10，MRL索引1，無融合}，並且亦不同於{訊框內方向10，MRL索引1，應用融合}。
該列表的長度可以是固定的或自我調整地定義的。例如，視訊轉碼器200和視訊解碼器300可以使用經重構的鄰點取樣和訊框內模式來對鄰點塊進行譯碼。視訊轉碼器200和視訊解碼器300可以在訊框內模式列表中應用排序或對條目進行重新排序。在一個實例中，視訊轉碼器200和視訊解碼器300可以基於指示條目效率的代價度量來對條目進行排序。這個代價度量可以是任何代價函數，例如針對訊框內模式列表中的給定條目從經預測和重構的鄰點取樣匯出的SATD、均方誤差（MSE）或SAD代價。
在已經匯出了經重構鄰點取樣的情況下，視訊轉碼器200和視訊解碼器300可使用不同條目來匯出針對相同鄰點取樣的訊框內預測。視訊轉碼器200和視訊解碼器300可以接著將代價函數應用於在經預測和重構的鄰點取樣之間的差。那些鄰點取樣可以是塊的左側或上方的取樣。在另一實例中，鄰點取樣可以包括左側、上方、右上、左上和左下鄰點取樣。更通常，鄰點範本可以包括那些取樣且可以包括多於1行或1列的這種取樣。
在一個實例中，訊框內模式列表僅包括訊框內模式的子集，可任選地在應用排序之後。例如，總列表大小可以包括N個模式，並且在排序之後，在該列表中僅保留前M個模式，其中M＜N。視訊轉碼器200和視訊解碼器300可以在位元串流中用訊號傳遞通知精簡模式列表的條目索引，以指示用於對訊框內譯碼塊進行譯碼的條目。在一個實例中，這些條目可以由視訊轉碼器200和視訊解碼器300可以針對某個條目啟用或禁用的訊框內MPM模式和其他訊框內預測方法組成。
在另一實例中，視訊轉碼器200和視訊解碼器300可以始終針對訊框內模式列表的所有條目或條目子集啟用或禁用某些訊框內方法。例如，視訊轉碼器200和視訊解碼器300可以將訊框內預測融合應用於候選列表中的所有模式。在另一實例中，視訊轉碼器200和視訊解碼器300可以首先在禁用訊框內預測融合的情況下構建候選列表。
在一些實例中，視訊轉碼器200和視訊解碼器300可以使用所有可能組成部分的子集，而不總是應用訊框內預測融合。視訊轉碼器200和視訊解碼器300可以基於條目代價函數對條目進行排序和修剪，以將列表減小到期望的大小。視訊轉碼器200和視訊解碼器300可以將條目添加到包括在啟用訊框內預測融合情況下的初始條目的列表中。在一個實例中，具有剩餘模式的候選列表的大小可經由添加具有訊框內預測融合的經修剪模式來加倍。隨後，視訊轉碼器200和視訊解碼器300可以對候選列表應用利用代價的第二輪修剪，以挑選候選列表中具有最小代價的前P個模式，例如，P=10。視訊轉碼器200和視訊解碼器300可以在位元串流中用訊號傳遞通知所選擇的模式的索引。
基於代價的修剪可以是指示可以從列表中移除哪些訊框內模式的操作。在一個實例中，若兩個代價接近，例如，絕對差小於閾值，則此類條目可以被認為是等效的，並且視訊轉碼器200和視訊解碼器300可以從列表中移除一個條目，例如，具有較大索引的條目。
在另一實例中，視訊轉碼器200和視訊解碼器300可構建單獨的MPM列表或輔MPM列表，其可以是與基於來自鄰點CU的模式和相鄰塊的訊框內模式的訊框內融合模式相關的較大MPM列表的子群組。視訊轉碼器200和視訊解碼器300可以針對這種融合MPM列表或子群組中的所有模式啟用訊框內預測融合。
在一些實例中，視訊轉碼器200和視訊解碼器300可以將該其他參考行選為不在任何MRL預測中應用的行。例如，當行3是當前參考行並且行4是該其他參考行時，視訊轉碼器200和視訊解碼器300可以在MRL中不使用行4，這可以提供訊框內預測多樣性。在另一實例中，視訊轉碼器200和視訊解碼器300可以選擇與當前參考行具有距離 l的參考行作為該其他參考行。例如， l=1可以指示該其他參考行是上方相鄰參考行。在另一實例中， l=-1可以指示該其他參考行是下方相鄰參考行。
在一個實例中，視訊轉碼器200和視訊解碼器300可以在實現所揭示的訊框內預測融合方法之前檢查CTU邊界。若該其他參考行位於CTU邊界外部並且可選地亦在現有行緩衝區外部（例如，為已經存在的訊框內預測方法儲存的參考行），則視訊轉碼器200和視訊解碼器300可以禁用所揭示的融合模式技術。在另一實例中，視訊轉碼器200和視訊解碼器300可始終啟用融合，而不管CTU邊界配置如何。
視訊轉碼器200和視訊解碼器300可以利用二維（2D）濾波器（諸如低通濾波器、高通濾波器等等）對預測子的融合進行濾波，以產生一或多個預測取樣。例如，視訊轉碼器200和視訊解碼器300可以使用多個參考行作為2D濾波器的輸入來產生預測取樣。在一個實例中，2D濾波器可表示被應用於參考取樣和所揭示的訊框內預測融合以產生訊框內預測子的內插或平滑。例如，2D濾波器可以是2乘3低通濾波器。在另一實例中，2D濾波器可以是3×3高通濾波器。視訊轉碼器200和視訊解碼器300可以使用一或多個預測取樣來對視訊資料區塊進行譯碼。
圖7是示出可以執行本案內容的技術的實例視訊轉碼器200的方塊圖。提供圖7是出於說明的目的，並且不應被認為是對本案內容中廣泛例示和描述的技術的限制。出於說明的目的，本案內容描述根據VVC (ITU-T H.266，正在開發中)和HEVC (ITU-T H.265)的技術的視訊轉碼器200。然而，本案內容的技術可由被配置為用於其他視訊譯碼標準和視訊譯碼格式（諸如AV1和AV1視訊譯碼格式的後繼）的視訊編碼設備執行。
在圖7的實例中，視訊轉碼器200包括視訊資料記憶體230、模式選擇單元202、殘差產生單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、解碼圖片緩衝器（DPB）218和熵編碼單元220。可以在一或多個處理器中或在處理電路中實現視訊資料記憶體230、模式選擇單元202、殘差產生單元204、變換處理單元206、量化單元208、逆量化單元210、逆變換處理單元212、重構單元214、濾波器單元216、DPB 218和熵編碼單元220中的任何一個或全部。例如，視訊轉碼器200的各單元可實施為作為硬體電路的一部分或作為處理器、ASIC或FPGA的一部分的一或多個電路或邏輯元件。此外，視訊轉碼器200可包括額外的或可替代的處理器或處理電路，以執行這些和其他功能。
視訊資料記憶體230可以儲存將由視訊轉碼器200的部件進行編碼的視訊資料。視訊轉碼器200可以從例如視訊源104（圖1）接收儲存在視訊資料記憶體230中的視訊資料。DPB 218可以用作參考圖片記憶體，其儲存參考視訊資料，以供視訊轉碼器200在預測後續視訊資料時使用。視訊資料記憶體230和DPB 218可以由多種存放裝置中的任何一種形成，諸如動態隨機存取記憶體（DRAM），包括同步DRAM（SDRAM），磁阻RAM（MRAM），電阻性RAM（RRAM）或其他類型的存放裝置。視訊資料記憶體230和DPB 218可以由相同的存放裝置或分離的存放裝置提供。在各種實例中，視訊資料記憶體230可以與視訊轉碼器200的其他部件（如圖所示）在晶片上，或者相對於那些部件在晶片外。
在本案內容中，對視訊資料記憶體230的提及不應被解釋為限於視訊轉碼器200內部的記憶體，除非如此具體地描述，或者視訊轉碼器200外部的記憶體，除非如此具體地描述。而是，對視訊資料記憶體230的提及應被理解為儲存視訊轉碼器200所接收的用於進行編碼的視訊資料（例如，要被編碼的當前塊的視訊資料）的參考記憶體。圖1的記憶體106亦可以提供對視訊轉碼器200的各個單元的輸出的臨時儲存。
示出圖7的各個單元以説明理解由視訊轉碼器200執行的操作。這些單元可以被實現為固定功能電路、可程式設計電路或其組合。固定功能電路是指提供特定功能並被預先設置可執行的操作的電路。可程式設計電路是指可以被程式設計以執行各種任務並且在可執行的操作中提供靈活功能的電路。例如，可程式設計電路可以執行軟體或韌體，軟體或韌體使可程式設計電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令（例如，以接收參數或輸出參數），但是固定功能電路執行的操作類型通常是不可變的。在一些實例中，其中一或多個單元可以是不同的電路塊（固定功能或可程式設計的），並且在一些實例中，其中一或多個單元可以是積體電路。
視訊轉碼器200可以包括由可程式設計電路形成的算數邏輯單位（ALU）、基本功能單元（EFU）、數位電路、類比電路及/或可程式設計核心。在使用由可程式設計電路執行的軟體來執行視訊轉碼器200的操作的實例中，記憶體106（圖1）可以儲存視訊轉碼器200接收並執行的軟體的指令（例如目標代碼），或者在視訊轉碼器200內的另一個記憶體（未顯示）可以儲存此類指令。
視訊資料記憶體230被配置為儲存接收到的視訊資料。視訊轉碼器200可以從視訊資料記憶體230檢索視訊資料的圖片，並將視訊資料提供給殘差產生單元204和模式選擇單元202。視訊資料記憶體230中的視訊資料可以是將被編碼的原始視訊資料。
模式選擇單元202包括運動估計單元222、運動補償單元224和訊框內預測單元226。模式選擇單元202可以包括其他功能單元，以根據其他預測模式執行視訊預測。作為實例，模式選擇單元202可以包括調色板單元、塊內複製單元（其可以是運動估計單元222及/或運動補償單元224的一部分）、仿射單元、線性模型（LM）單元、等等。
模式選擇單元202通常協調多個編碼遍次（pass），以測試編碼參數的組合以及針對這種組合的結果率失真值。編碼參數可以包括：CTU到CU的劃分，用於CU的預測模式，用於CU的殘差資料的變換類型，用於CU的殘差資料的量化參數、等等。模式選擇單元202可以最終選擇率失真值優於其他經測試組合的編碼參數組合。
視訊轉碼器200可以將從視訊資料記憶體230檢索的圖片劃分為一系列CTU，並將一或多個CTU封裝在切片內。模式選擇單元202可以根據樹結構（例如上述MTT結構、QTBT結構、超級塊結構或四叉樹結構）來劃分圖片的CTU。如前述，視訊轉碼器200可以根據樹結構經由劃分CTU來形成一或多個CU。通常亦將此類CU稱為「視訊塊」或「塊」。
通常，模式選擇單元202亦控制其部件（例如，運動估計單元222、運動補償單元224和訊框內預測單元226）以產生針對當前塊（例如，CU 130，或HEVC中，PU和TU的重疊部分）的預測塊。為了對當前塊進行訊框間預測，運動估計單元222可執行運動搜尋以辨識一或多個參考圖片（例如，儲存在DPB 218中的一或多個先前譯碼的圖片）中的一或多個緊密匹配的參考塊。具體而言，運動估計單元222可以例如根據絕對差之和（SAD）、平方差之和（SSD）、平均絕對差（MAD）、均方差（MSD）等等，來計算表示潛在參考塊與當前塊的相似程度的值。運動估計單元222通常可使用在當前塊與所考慮的參考塊之間的逐取樣差來執行這些計算。運動估計單元222可以辨識具有由這些計算產生的最低值的參考塊，其指示與當前塊最緊密匹配的參考塊。
運動估計單元222可形成一或多個運動向量（MV），其定義參考圖片中的參考塊相對於當前圖片中的當前塊的位置的位置。隨後，運動估計單元222可將運動向量提供給運動補償單元224。例如，對於單向訊框間預測，運動估計單元222可提供單個運動向量，而對於雙向訊框間預測，運動估計單元222可以提供兩個運動向量。運動補償單元224隨後可使用運動向量來產生預測塊。例如，運動補償單元224可以使用運動向量來檢索參考塊的資料。作為另一實例，若運動向量具有分數取樣精度，則運動補償單元224可以根據一或多個內插濾波器來內插預測塊的值。此外，對於雙向訊框間預測，運動補償單元224可以檢索由相應運動向量標識的兩個參考塊的資料，並組合所檢索的資料，例如經由逐取樣平均或加權平均。
當根據AV1視訊譯碼格式進行操作時，運動估計單元222和運動補償單元224可被配置為使用平移運動補償、仿射運動補償、重疊塊運動補償（OBMC）及/或複合訊框間-訊框內預測，來對視訊資料的譯碼塊（例如，亮度譯碼塊和色度譯碼塊兩者）進行編碼。
作為另一實例，對於訊框內預測或訊框內預測譯碼，訊框內預測單元226可以根據與當前塊相鄰的取樣來產生預測塊。例如，對於定向模式，訊框內預測單元226通常可以在數學上組合相鄰取樣的值，並橫跨當前塊沿定義的方向填充這些計算出的值以產生預測塊。作為另一實例，對於DC模式，訊框內預測單元226可以計算當前塊的相鄰取樣的平均值，並且產生預測塊以針對預測塊的每個取樣包括該所得平均值。
當根據AV1視訊譯碼格式進行操作時，訊框內預測單元226可被配置為使用方向訊框內預測、非方向訊框內預測、遞迴濾波器訊框內預測、從亮度至色度（CFL）預測、訊框內塊複製（IBC）及/或調色板模式，來對視訊資料的譯碼塊（例如，亮度解碼塊和色度解碼塊兩者）進行譯碼。模式選擇單元202可以包括額外功能單元以根據其他預測模式來執行視訊預測。
訊框內預測單元226可基於訊框內預測模式，產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合，如本文中所描述的。在一些實例中，訊框內預測單元226可基於訊框內預測模式，基於來自兩個或兩個以上取樣參考行的預測子的加權組合，產生預測子的融合。在一些實例中，訊框內預測單元226可選擇用於預測子的參考行作為例如從任何兩個參考行匯出的任何兩個訊框內預測子的組合。
在一些實例中，訊框內預測單元226可基於來自從相同參考行匯出的但使用不同訊框內預測方法的兩個或兩個以上訊框內模式的預測子的加權組合而產生預測子的融合。訊框內預測單元226可被配置為產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合，且使用預測子的融合和訊框內預測模式來對視訊資料區塊進行編碼。在一些實例中，訊框內預測單元226可僅將訊框內預測融合應用於具有非整數斜率的模式。
模式選擇單元202將預測塊提供給殘差產生單元204。殘差產生單元204從視訊資料記憶體230接收當前塊的原始未編碼版本，從模式選擇單元202接收預測塊。殘差產生單元204計算當前塊和預測塊之間的逐取樣差。所得的逐取樣差定義了當前塊的殘差塊。在一些實例中，殘差產生單元204亦可決定殘差塊中的取樣值之間的差以使用殘差差分脈衝碼調制（RDPCM）來產生殘差塊。在一些實例中，可以使用執行二進位減法的一或多個減法器電路來形成殘差產生單元204。
在模式選擇單元202將CU劃分為PU的實例中，每個PU可與亮度預測單元和對應的色度預測單元相關聯。視訊轉碼器200和視訊解碼器300可以支援具有各種大小的PU。如前述，CU的大小可以指的是CU 130的亮度譯碼塊的大小，PU的大小可以指的是PU的亮度預測單元的大小。假設特定CU的大小為2N×2N，則視訊轉碼器200可支援用於訊框內預測的2N×2N或N×N的PU大小，以及用於訊框間預測的2N×2N、2N×N、N×2N、N×N或類似的對稱的PU大小。視訊轉碼器200和視訊解碼器300亦可支援用於訊框間預測的2N×nU、2N×nD、nL×2N和nR×2N的PU大小的非對稱劃分。
在模式選擇單元202不將CU進一步劃分成PU的實例中，每個CU可以與亮度譯碼塊和對應的色度譯碼塊相關聯。如前述，CU的大小可以指CU的亮度譯碼塊的大小。視訊轉碼器200和視訊解碼器300可以支援2N×2N、2N×N或N×2N的CU大小。
對於其他視訊譯碼技術（諸如訊框內塊複製模式譯碼、仿射模式譯碼和線性模型（LM）模式譯碼，作為一些實例），模式選擇單元202經由與譯碼技術相關聯的相應單元，為正在編碼的當前塊產生預測塊。在一些實例中，諸如調色板模式譯碼，模式選擇單元202可以不產生預測塊，而是產生指示基於所選調色板對塊進行重構的方式的語法元素。在此類模式中，模式選擇單元202可以將這些語法元素提供給熵編碼單元220以進行編碼。
如前述，殘差產生單元204接收當前塊和對應的預測塊的視訊資料。殘差產生單元204隨後為當前塊產生殘差塊。為了產生殘差塊，殘差產生單元204計算預測塊和當前塊之間的逐取樣差。
變換處理單元206將一或多個變換應用於殘差塊，以產生變換係數的塊（在本文中稱為「變換係數塊」）。變換處理單元206可以將各種變換應用於殘差塊以形成變換係數塊。例如，變換處理單元206可以將離散餘弦變換（DCT）、方向變換、Karhunen-Loeve變換（KLT）或概念上類似的變換應用於殘差塊。在一些實例中，變換處理單元206可執行對殘差塊的多個變換，例如，一次變換和二次變換，例如旋轉變換。在一些實例中，變換處理單元206不將變換應用於殘差塊。
當根據AV1操作時，變換處理單元206可將一或多個變換應用於殘差塊以產生變換係數的塊（在本文中被稱作「變換係數塊」）。變換處理單元206可將各種變換應用於殘差塊以形成變換係數塊。例如，變換處理單元206可應用可以包括離散餘弦變換（DCT）、非對稱離散正弦變換（ADST）、翻轉ADST（例如，反向順序的ADST）和恒等變換（IDTX）的水平/垂直變換組合。當使用恒等變換時，在垂直方向或水平方向之一上跳過變換。在一些實例中，可跳過變換處理。
量化單元208可以量化變換係數塊中的變換係數，以產生經量化的變換係數塊。量化單元208可以根據與當前塊相關聯的量化參數（QP）值來量化變換係數塊的變換係數。視訊轉碼器200（例如，經由模式選擇單元202）可經由調整與CU相關聯的QP值，來調整應用於與當前塊相關聯的變換係數塊的量化程度。量化可能會引入資訊丟失，並且因此，經量化的變換係數可能具有比由變換處理單元206產生的原始變換係數更低的精度。
逆量化單元210和逆變換處理單元212可以分別對經量化的變換係數塊應用逆量化和逆變換，以從變換係數塊重構殘差塊。重構單元214可以基於重構的殘差塊和由模式選擇單元202產生的預測塊來產生與當前塊相對應的重構塊（儘管可能具有某種程度的失真）。例如，重構單元214可以將重構的殘差塊的取樣與來自模式選擇單元202所產生的預測塊的對應取樣相加，以產生重構塊。
濾波器單元216可以對重構塊執行一或多個濾波器操作。例如，濾波器單元216可以執行解塊操作，以減少沿著CU的邊緣的成塊偽像。在一些實例中，可以跳過濾波器單元216的操作。
當根據AV1操作時，濾波器單元216可對重構塊執行一或多個濾波器操作。例如，濾波器單元216可執行解塊操作，以減少沿著CU的邊緣的成塊偽像。在其他實例中，濾波器單元216可應用受約束方向增強濾波器（CDEF），該受約束方向增強濾波器可在解塊之後應用，且可以包括基於所估計的邊緣方向應用不可分離非線性低通方向濾波器。濾波器單元216亦可以包括在CDEF之後應用的迴路恢復濾波器，並且可以包括可分離的對稱正規化Wiener濾波器或雙自引導濾波器。
視訊轉碼器200將重構塊儲存在DPB 218中。例如，在不執行濾波器單元216的操作的實例中，重構單元214可以將重構塊儲存到DPB 218。在執行濾波器單元216的操作的實例中，濾波器單元216可以將經濾波的重構塊儲存到DPB 218。運動估計單元222和運動補償單元224可以從DPB 218檢索參考圖片，該參考圖片由重構（並且可能經濾波）塊形成，以對後續編碼的圖片的塊進行訊框間預測。另外，訊框內預測單元226可以使用當前圖片的DPB 218中的重構塊來對當前圖片中的其他塊進行訊框內預測。
通常，熵編碼單元220可對從視訊轉碼器200的其他功能部件接收的語法元素進行熵編碼。例如，熵編碼單元220可對來自量化單元208的經量化的變換係數塊進行熵編碼。作為另一實例，熵編碼單元220可以對來自模式選擇單元202的預測語法元素（例如，用於訊框間預測的運動資訊或用於訊框內預測的訊框內模式資訊）進行熵編碼。熵編碼單元220可以對語法元素（其是視訊資料的另一個實例）執行一或多個熵編碼操作，以產生經熵編碼的資料。例如，熵編碼單元220可以對資料執行上下文自我調整可變長度譯碼（CAVLC）操作、CABAC操作、可變至可變（V2V）長度譯碼操作、基於語法的上下文自我調整二進位算術譯碼（SBAC）操作、概率間隔分割熵（PIPE）譯碼操作、指數Golomb編碼操作或另一種熵編碼操作。在一些實例中，熵編碼單元220可以在旁通模式中操作，在旁通模式中，不對語法元素進行熵編碼。
視訊轉碼器200可以輸出包括對於重構切片或圖片的塊而言所需的經熵編碼的語法元素的位元串流。特別地，熵編碼單元220可以輸出位元串流。
根據AV1，熵編碼單元220可以被配置為符號到符號自我調整多符號算術解碼器。AV1中的語法元素包括N個元素的字母表，且上下文（例如，概率模型）包括N個概率的集合。熵編碼單元220可以將概率儲存為n-位元（例如，15-位元）累積分佈函數（CDF）。熵編碼單元22可以使用基於字母表大小的更新因數執行遞迴縮放，以更新上下文。
針對塊描述了上述操作。此類描述應該被理解為是針對亮度譯碼塊及/或色度譯碼塊的操作。如前述，在一些實例中，亮度譯碼塊和色度譯碼塊是CU的亮度分量和色度分量。在一些實例中，亮度譯碼塊和色度譯碼塊是PU的亮度分量和色度分量。
在一些實例中，不需要針對色度解碼塊重複針對亮度解碼塊執行的操作。作為一個實例，不需要為了辨識用於色度塊的運動向量（MV）和參考圖片而重多工於辨識用於亮度解碼塊的MV和參考圖片的操作。而是，可以縮放用於亮度解碼塊的MV以決定用於色度塊的MV，並且參考圖片可以是相同的。作為另一實例，對於亮度解碼塊和色度解碼塊，訊框內預測處理可以是相同的。
視訊轉碼器200表示被配置為對視訊資料進行編碼的設備的實例，包括：記憶體，其被配置為儲存視訊資料；及一或多個處理單元，其在電路中實現並被配置為產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合，以及使用預測子的融合對視訊資料區塊進行編碼。
圖8是示出可以執行本案內容的技術的示例性視訊解碼器300的方塊圖。提供圖8是出於說明的目的，並非是對本案內容中廣泛例示和描述的技術的限制。出於說明的目的，本案內容描述根據VVC（ITU-TH.266，正在開發中）和HEVC（ITU-TH.265）的技術的視訊解碼器300。然而，本案內容的技術可由被配置為用於其他視訊譯碼標準的視訊譯碼設備執行。
在圖8的實例中，視訊解碼器300包括譯碼圖片緩衝器（CPB）記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312和解碼圖片緩衝器（DPB）314。可以在一或多個處理器中或在處理電路中實現CPB記憶體320、熵解碼單元302、預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310、濾波器單元312和DPB 314中的任何一個或全部。例如，視訊解碼器300的各單元可以被實施為作為硬體電路的一部分或作為處理器、ASIC或FPGA的一部分的一或多個電路或邏輯元件。此外，視訊解碼器300可以包括額外的或替代的處理器或處理電路，以執行這些功能和其他功能。
預測處理單元304包括運動補償單元316和訊框內預測單元318。預測處理單元304可以包括額外單元，以根據其他預測模式執行預測。作為實例，預測處理單元304可以包括調色板單元、塊內複製單元（其可以形成運動補償單元316的一部分）、仿射單元、線性模型（LM）單元、等等。在其他實例中，視訊解碼器300可以包括更多、更少或不同的功能部件。
如前述，當根據AV1操作時，運動補償單元316可被配置為使用平移運動補償、仿射運動補償、OBMC及/或複合訊框間-訊框內預測來對視訊資料的譯碼塊（例如，亮度譯碼塊和色度譯碼塊兩者）進行解碼。如前述，訊框內預測單元318可被配置為使用方向訊框內預測、非方向訊框內預測、遞迴濾波器訊框內預測、CFL、訊框內塊複製（IBC）及/或調色板模式來對視訊資料的譯碼塊（例如，亮度譯碼塊和色度譯碼塊兩者）進行解碼。
CPB記憶體320可以儲存將由視訊解碼器300的部件解碼的視訊資料，諸如經編碼視訊位元串流。例如，儲存在CPB記憶體320中的視訊資料可以從電腦可讀取媒體110（圖1）獲得。CPB記憶體320可以包括儲存來自經編碼視訊位元串流的經編碼視訊資料（例如，語法元素）的CPB。而且，CPB記憶體320可以儲存除了經譯碼圖片的語法元素之外的視訊資料，諸如表示來自視訊解碼器300的各個單元的輸出的臨時資料。DPB 314通常儲存經解碼圖片，視訊解碼器300可以輸出經解碼圖片及/或在對經編碼視訊位元串流的後續資料或圖片進行解碼時使用經解碼圖片作為參考視訊資料。CPB記憶體320和DPB 314可以由各種存放裝置中的任何一種形成，諸如DRAM，包括SDRAM、MRAM、RRAM或其他類型的存放裝置。CPB記憶體320和DPB 314可以由相同的存放裝置或分離的存放裝置提供。在各種實例中，CPB記憶體320可以與視訊解碼器300的其他部件在晶片上，或者相對於那些部件在晶片外。
補充或可替代地，在一些實例中，視訊解碼器300可以從記憶體120（圖1）檢索經譯碼視訊資料。亦即，記憶體120可以如前述與CPB記憶體320一起儲存資料。類似地，當以軟體實現視訊解碼器300的一些或全部功能以經由視訊解碼器300的處理電路來執行時，記憶體120可以儲存將由視訊解碼器300執行的指令。
示出圖8中所示的各種單元以説明理解由視訊解碼器300執行的操作。這些單元可以被實現為固定功能電路、可程式設計電路或其組合。類似於圖7，固定功能電路是指提供特定功能並被預先設置可執行的操作的電路。可程式設計電路是指可以被程式設計以執行各種任務並且在可執行的操作中提供靈活功能的電路。例如，可程式設計電路可以執行軟體或韌體，軟體或韌體使可程式設計電路以軟體或韌體的指令所定義的方式進行操作。固定功能電路可以執行軟體指令（例如，以接收參數或輸出參數），但是固定功能電路執行的操作類型通常是不可變的。在一些實例中，其中一或多個單元可以是不同的電路塊（固定功能或可程式設計的），並且在一些實例中，其中一或多個單元可以是積體電路。
視訊解碼器300可以包括由可程式設計電路形成的ALU、EFU、數位電路、類比電路及/或可程式設計核心。在由在可程式設計電路執行的軟體來執行視訊解碼器300的操作的實例中，片上或片外記憶體可以儲存視訊解碼器300接收並執行的軟體的指令（例如，目標代碼）。
熵解碼單元302可以從CPB接收經編碼視訊資料並且對視訊資料進行熵解碼以再現語法元素。預測處理單元304、逆量化單元306、逆變換處理單元308、重構單元310和濾波器單元312可以基於從位元串流中提取的語法元素來產生經解碼視訊資料。
通常，視訊解碼器300在逐塊的基礎上重構圖片。視訊解碼器300可單獨地在每個區塊上執行重構操作（其中當前正在重構（亦即，解碼）的塊可被稱為「當前塊」）。
熵解碼單元302可以對如下進行熵解碼：定義經量化的變換係數塊中的經量化的變換係數的語法元素，以及諸如量化參數（QP）及/或變換模式指示之類的變換資訊。逆量化單元306可以使用與經量化的變換係數塊相關聯的QP來決定量化度，並且同樣地，決定逆量化單元306所應用的逆量化度。逆量化單元306可以例如執行按位元左移運算以對經量化的變換係數進行逆量化。逆量化單元306可以由此形成包括變換係數的變換係數塊。
在逆量化單元306形成變換係數塊之後，逆變換處理單元308可以將一或多個逆變換應用於變換係數塊以產生與當前塊相關聯的殘差塊。例如，逆變換處理單元308可以將逆DCT、逆整數變換、逆Karhunen-Loeve變換（KLT）、逆旋轉變換、逆方向變換或另一逆變換應用於變換係數塊。
此外，預測處理單元304根據由熵解碼單元302熵解碼的預測資訊語法元素來產生預測塊。例如，若預測資訊語法元素指示當前塊是訊框間預測的，則運動補償單元316可以產生預測塊。在這種情況下，預測資訊語法元素可以指示DPB 314中的從其檢索參考塊的參考圖片，以及運動向量，該運動向量標識參考圖片中參考塊相對於當前圖片中當前塊位置的位置。運動補償單元316通常可以以與針對運動補償單元224（圖7）所描述的方式基本相似的方式來執行訊框間預測處理。
作為另一實例，若預測資訊語法元素指示當前塊是訊框內預測的，則訊框內預測單元318可以根據由預測資訊語法元素指示的訊框內預測模式來產生預測塊。同樣，訊框內預測單元318通常可以以與針對訊框內預測單元226（圖7）所描述的方式基本相似的方式來執行訊框內預測處理。訊框內預測單元318可以從DPB 314中檢索當前塊的相鄰取樣的資料。
訊框內預測單元318可以基於訊框內預測模式，產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合，如本文中所描述的。在一些實例中，訊框內預測單元318可以基於訊框內預測模式，基於來自兩個或兩個以上取樣參考行的預測子的加權組合來產生預測子的融合。在一些實例中，訊框內預測單元318可以將用於預測子的參考行選為例如從任何兩個參考行匯出的任何兩個訊框內預測子的組合。
在一些實例中，訊框內預測單元318可以基於來自從相同的參考行但使用不同訊框內預測方法匯出的兩個或兩個以上訊框內模式的預測子的加權組合，來產生預測子的融合。訊框內預測單元318可被配置為：產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合，且使用預測子的融合和訊框內預測模式來對視訊資料區塊進行解碼。在一些實例中，訊框內預測單元318可僅將訊框內預測融合應用於具有非整數斜率的模式。
重構單元310可以使用預測塊和殘差塊來重構當前塊。例如，重構單元310可以將殘差塊的取樣與預測塊的對應取樣相加以重構當前塊。
濾波器單元312可以對重構塊執行一或多個濾波器操作。例如，濾波器單元312可以執行解塊操作以減少沿著重構塊的邊緣的成塊偽像。不一定在所有實例中皆執行濾波器單元312的操作。
視訊解碼器300可將重構塊儲存在DPB 314中。例如，在未執行濾波器單元312的操作的實例中，重構單元310可將重構塊儲存到DPB 314。在執行濾波器單元312的操作的實例中，濾波器單元312可以將經濾波的重構塊儲存到DPB 314。如前述，DPB 314可以向預測處理單元304提供參考資訊，諸如用於訊框內預測的當前圖片的取樣以及用於後續運動補償的先前經解碼圖片。此外，視訊解碼器300可以從DPB 314輸出經解碼圖片（例如，經解碼視訊），以用於隨後在顯示裝置（例如，圖1的顯示裝置118）上呈現。
以這種方式，視訊解碼器300代表視訊解碼設備的實例，包括：記憶體，其被配置為儲存視訊資料；及一或多個處理單元，其在電路中實現並被配置為：產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合，以及使用預測子的融合對視訊資料區塊進行解碼。
圖9是示出根據本案內容的技術的用於對當前塊進行編碼的實例方法的流程圖。當前塊可以包括CU 130。儘管針對視訊轉碼器200（圖1和7）進行了描述，但是應當理解，其他設備可以被配置為執行與圖9的方法類似的方法。
在該實例中，視訊轉碼器200最初預測當前塊（350）。例如，視訊轉碼器200可以形成當前塊的預測塊。隨後，視訊轉碼器200可以計算當前塊的殘差塊（352）。為了計算殘差塊，視訊轉碼器200可以計算原始的未編碼塊與當前塊的預測塊之間的差。隨後，視訊轉碼器200可以對殘差塊進行變換並對殘差塊的變換係數進行量化（354）。接下來，視訊轉碼器200可以掃瞄殘差塊的經量化變換係數（356）。在掃瞄期間或在掃瞄之後，視訊轉碼器200可以對變換係數進行熵編碼（358）。例如，視訊轉碼器200可使用CAVLC或CABAC來對變換係數進行編碼。隨後，視訊轉碼器200可以輸出塊的經熵編碼資料（360）。
圖10是示出根據本案內容的技術的用於解碼當前視訊資料區塊的實例方法的流程圖。當前塊可以包括CU 130。儘管針對視訊解碼器300（圖1和8）進行了描述，但是應當理解，其他設備可以被配置為執行與圖10的方法類似的方法。
視訊解碼器300可以接收當前塊的經熵編碼資料，諸如與當前塊相對應的、經熵編碼的預測資訊以及殘差塊的變換係數的經熵編碼資料（370）。視訊解碼器300可以對經熵編碼資料進行熵解碼，以決定當前塊的預測資訊並再現殘差塊的變換係數（372）。視訊解碼器300可以例如使用由當前塊的預測資訊指示的訊框內預測模式或訊框間預測模式來預測當前塊（374），以計算當前塊的預測塊。隨後，視訊解碼器300可以逆掃瞄再現的變換係數（376），以建立經量化變換係數的塊。隨後，視訊解碼器300可以對變換係數進行逆量化，並將逆變換應用於變換係數以產生殘差塊（378）。視訊解碼器300可以最終經由組合預測塊和殘差塊來對當前塊進行解碼（380）。
圖11是示出根據本案內容的技術的用於對當前塊進行編碼的實例方法的流程圖。當前塊可以包括CU 130。儘管針對視訊轉碼器200（圖1和7）進行了描述，但是應當理解，其他設備可以被配置為執行與圖11的方法類似的方法。
在該實例中，視訊轉碼器200可以基於訊框內預測模式，產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合（390）。在一些實例中，視訊轉碼器200可以基於訊框內預測模式，基於來自兩個或兩個以上取樣參考行的預測子的加權組合來產生預測子的融合。例如，視訊轉碼器200可以將預測子的參考行選擇為一般預設參考行（例如，行0）和其他不同參考行的組合。
在一些實例中，視訊轉碼器200可以使用相同的訊框內預測模式，從兩個或兩個以上取樣參考行決定預測子。在另一實例中，視訊轉碼器200可以使用至少兩種不同的訊框內預測模式從兩個或兩個以上取樣參考行決定預測子。視訊轉碼器200可以將訊框內預測融合應用於具有非整數斜率的訊框內預測模式。
視訊轉碼器200可以將參考行選擇為MRL預測中使用的行的子集。在一些實例中，取樣參考行集合的該子集包括：與視訊資料區塊相鄰的預設取樣參考行，以及與預設取樣參考行相鄰的其他取樣參考行。在一些實例中，視訊轉碼器200可以將該其他參考行選擇為與一般預設參考行具有一定距離的參考行。在一些實例中，視訊轉碼器200可以具體地將該其他參考行選擇為未在MRL預測中使用的行，以提供多樣性。例如，該其他參考行可以是行2和行4，它們未在當前MRL模式中使用。在另一實例中，該其他參考行亦可以是在MRL中使用和在MRL中未使用的參考行的混合。
在一個實例中，視訊轉碼器200可以經由決定來自多個參考行的預測子的加權組合，來實現兩個或兩個以上訊框內預測子的融合。例如，視訊轉碼器200可將第一權重應用於預設參考行中的預測子，並將第二權重應用於該其他參考行中的預測子。在一個實例中，每個預測子的權重可以是固定的。例如，視訊轉碼器200可以決定第一權重是0.75並且第二權重是0.25。在另一實例中，視訊轉碼器200可以基於當前取樣在塊中的位置以及塊的寬度或高度中的一者或多者來決定權重。在又一實例中，視訊轉碼器200可基於某些標準來決定權重，諸如第一預測子減去第二預測子的絕對值是否滿足閾值（例如，大於或等於閾值）。
視訊轉碼器200可以將一或多個內插濾波器應用於視訊資料區塊。視訊轉碼器200可在用任何類型的濾波器（例如，6分接點濾波器或4分接點濾波器）內插之後從參考取樣匯出預測取樣。在一些實例中，視訊轉碼器200可從不同類型的濾波器的混合匯出預測取樣。例如，視訊轉碼器200可從6分接點內插濾波器匯出一個預測取樣且從4分接點內插濾波器匯出另一預測取樣。
視訊轉碼器200可以利用二維（2D）濾波器（諸如低通濾波器、高通濾波器等等）對預測子的融合進行濾波，以產生一或多個預測取樣。例如，視訊轉碼器200可以使用多個參考行作為2D濾波器的輸入來產生預測取樣。在一個實例中，2D濾波器可以表示被應用於參考取樣和所揭示的訊框內預測融合以產生訊框內預測子的內插或平滑。例如，2D濾波器可以是2乘3低通濾波器。在另一實例中，2D濾波器可以是3乘3高通濾波器。視訊轉碼器200可使用一或多個預測取樣來對視訊資料區塊進行譯碼。
在任何情況下，視訊轉碼器300可以使用預測子的融合和訊框內預測模式來對視訊資料區塊進行編碼（392）。以此方式，該技術可改進訊框內預測且進而改進壓縮效率、視覺品質、等等。
圖12是示出根據本案內容的技術的用於解碼當前視訊資料區塊的實例方法的流程圖。當前塊可以包括CU 130。儘管針對視訊解碼器300（圖1和8）進行了描述，但是應當理解，其他設備可以被配置為執行與圖12的方法類似的方法。
在該實例中，視訊解碼器300可以基於訊框內預測模式，產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合（400）。在一些實例中，視訊解碼器300可以基於訊框內預測模式，基於來自兩個或兩個以上取樣參考行的預測子的加權組合來產生預測子的融合。例如，視訊解碼器300可以將用於預測子的參考行選擇為一般預設參考行（例如，行0）和其他不同參考行的組合。
在一些實例中，視訊解碼器300可以使用相同的訊框內預測模式從兩個或兩個以上取樣參考行決定預測子。在另一實例中，視訊解碼器300可以使用至少兩個不同的訊框內預測模式從兩個或兩個以上取樣參考行決定預測子。視訊解碼器300可以將訊框內預測融合應用於具有非整數斜率的訊框內預測模式。
視訊解碼器300可以將參考行選擇為MRL預測中使用的行的子集。在一些實例中，取樣參考行集合的該子集包括：與視訊資料區塊相鄰的預設取樣參考行，以及與預設取樣參考行相鄰的其他取樣參考行。在一些實例中，視訊解碼器300可以將該其他參考行選擇為與一般預設參考行具有一定距離的參考行。在一些實例中，視訊解碼器300可以具體地將該其他參考行選擇為未在MRL預測中使用的行，以提供多樣性。例如，該其他參考行可以是行2和行4，其未在當前MRL模式中使用。在另一實例中，該其他參考行亦可以是在MRL中使用和在MRL中未使用的參考行的混合。
在一個實例中，視訊解碼器300可以經由決定來自多個參考行的預測子的加權組合，來實現兩個或兩個以上訊框內預測子的融合。例如，視訊解碼器300可將第一權重應用於預設參考行中的預測子，且將第二權重應用於其他參考行中的預測子。在一個實例中，每個預測子的權重可以是固定的。例如，視訊解碼器300可以決定第一權重是0.75並且第二權重是0.25。在另一實例中，視訊解碼器300可以基於當前取樣在塊中的位置以及塊的寬度或高度中的一者或多者來決定權重。在又一實例中，視訊解碼器300可基於某些標準決定權重，例如第一預測子減去第二預測子的絕對值是否滿足閾值。
視訊解碼器300可將一或多個內插濾波器應用於視訊資料區塊。視訊解碼器300可在用任何類型的濾波器（例如，6分接點濾波器或4分接點濾波器）進行內插之後從參考取樣匯出預測取樣。在一些實例中，視訊解碼器300可從不同類型的濾波器的混合匯出預測取樣。例如，視訊解碼器300可從6分接點內插濾波器匯出一個預測取樣且從4分接點內插濾波器匯出另一預測取樣。
視訊解碼器300可以利用二維（2D）濾波器（諸如低通濾波器、高通濾波器等等）對預測子的融合進行濾波，以產生一或多個預測取樣。例如，視訊解碼器300可以使用多個參考行作為2D濾波器的輸入來產生預測取樣。在一個實例中，2D濾波器可以表示被應用於參考取樣和所揭示的訊框內預測融合以產生訊框內預測子的內插或平滑。例如，2D濾波器可以是2乘3低通濾波器。在另一實例中，2D濾波器可以是3乘3高通濾波器。視訊解碼器300可以使用一或多個預測取樣對視訊資料區塊進行譯碼。
在任何情況下，視訊解碼器300可以使用預測子的融合和訊框內預測模式對視訊資料區塊進行編碼（402）。以此方式，該技術可改進訊框內預測且進而改進壓縮效率、視覺品質、等等。
下文描述本案內容的其他說明性態樣。
態樣1A-一種對視訊資料進行譯碼的方法，該方法包括：產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合；及使用該預測子的融合來對該視訊資料區塊進行譯碼。
態樣2A-根據態樣1A所述的方法，其中該兩個或兩個以上取樣參考行包括預設取樣參考行。
態樣3A-根據態樣2A所述的方法，其中該預設取樣參考行緊鄰該視訊資料區塊。
態樣4A-根據態樣1A所述的方法，亦包括：使用相同的訊框內預測模式從該兩個或兩個以上取樣參考行決定該預測子。
態樣5A-根據態樣1A所述的方法，亦包括：使用至少兩種不同的訊框內預測模式從該兩個或兩個以上取樣參考行決定該預測子。
態樣6A-根據態樣1A所述的方法，其中該兩個或兩個以上取樣參考行是用於多參考行譯碼模式的取樣參考行集合的子集。
態樣7A-根據態樣6A所述的方法，其中用於多參考行譯碼模式的該取樣參考行集合包括相對於該視訊資料區塊的行0、行1、行3、行5、行7和行12。
態樣8A-根據態樣7A所述的方法，其中該取樣參考行集合的該子集包括行0和行1。
態樣9A-根據態樣7A所述的方法，其中該取樣參考行集合的該子集包括行0、行3和行5。
態樣10A-根據態樣7A所述的方法，其中該取樣參考行集合的該子集包括行3和行5。
態樣11A-根據態樣1A所述的方法，亦包括：基於預設取樣參考行的取樣的距離來決定該兩個或兩個以上取樣參考行中的至少一個。
態樣12A-根據態樣1A所述的方法，其中該兩個或兩個以上取樣參考行中的至少一個不在用於多參考行譯碼模式的取樣參考行集合中。
態樣13A-根據態樣1A所述的方法，其中產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的該預測子的融合包括：基於來自該兩個或兩個以上取樣參考行的預測子的加權組合來產生該預測子的融合。
態樣14A-根據態樣13A所述的方法，其中該加權組合的權重是固定的。
態樣15A-根據態樣13A所述的方法，其中該加權組合的權重基於參考行。
態樣16A-根據態樣13A所述的方法，其中該加權組合的權重基於取樣在該視訊資料區塊中的位置。
態樣17A-根據態樣13A所述的方法，其中該加權組合的權重基於該兩個或兩個以上取樣參考行中的兩個參考行之間的距離。
態樣18A-根據態樣13A所述的方法，其中該加權組合的權重基於代價標準。
態樣19A-根據態樣1A所述的方法，其中產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的該預測子的融合包括：基於來自該兩個或兩個以上取樣參考行的預測子的加權梯度來產生該預測子的融合。
態樣20A-根據態樣1A所述的方法，亦包括：基於訊框內預測模式或在經編碼視訊位元串流中接收的語法元素中的一或多個來決定產生該預測子的融合。
態樣21A-根據態樣1A所述的方法，亦包括：除了產生該預測子的融合之外，亦執行基於範本的訊框內模式匯出模式或解碼器側訊框內模式匯出模式中的一或多個。
態樣22A-根據態樣1A-21A中任一項所述的方法，其中譯碼包括解碼。
態樣23A-根據態樣1A-21A中任一項所述的方法，其中譯碼包括編碼。
態樣24A-一種用於對視訊資料進行譯碼的設備，該設備包括用於執行態樣1A-23A中任一項所述的方法的一或多個單元。
態樣25A-根據態樣24A所述的設備，其中該一或多個單元包括在電路中實現的一或多個處理器。
態樣26A-根據態樣24A和25A中任一項所述的設備，亦包括：用以儲存該視訊資料的記憶體。
態樣27A-根據態樣24A-26A中任一項所述的設備，亦包括：被配置為顯示經解碼視訊資料的顯示器。
態樣28A-根據態樣24A-27A中任一項所述的設備，其中該設備包括相機、電腦、行動設備、廣播接收器設備或機上盒中的一或多個。
態樣29A-根據態樣24A-28A中任一項所述的設備，其中該設備包括視訊解碼器。
態樣30A-根據態樣24A-29A中任一項所述的設備，其中該設備包括視訊轉碼器。
態樣31A-一種其上儲存有指令的電腦可讀取儲存媒體，該等指令在被執行時使得一或多個處理器執行根據態樣1A-23A中任一項所述的方法。
態樣1B：一種對視訊資料進行解碼的方法包括：基於訊框內預測模式產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合；及使用該預測子的融合和該訊框內預測模式對該視訊資料區塊進行解碼。
態樣2B：根據態樣1B所述的方法，其中該訊框內預測模式具有非整數斜率。
態樣3B：根據態樣1B和2B中任一項所述的方法，其中基於訊框內預測模式產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合包括：基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的該預測子的加權組合來產生該預測子的融合。
態樣4B：根據態樣3B所述的方法，其中基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的該預測子的加權組合來產生該預測子的融合包括：將第一權重應用於該兩個或兩個以上取樣參考行中的第一參考行中的第一預測子；及將第二權重應用於該兩個或兩個以上取樣參考行中的第二參考行中的第二預測子，其中該第一參考行比該第二參考行更靠近該視訊資料區塊。
態樣5B：根據態樣4B所述的方法，其中該第一權重是0.75且該第二權重是0.25。
態樣6B：根據態樣4B和5B中任一項所述的方法，其中該方法亦包括：回應於該第一預測子減去該第二預測子的絕對值大於或等於閾值，決定該第一權重是0.75且該第二權重是0.25；及回應於該第一預測子減去該第二預測子的絕對值小於該閾值，決定該第一權重是0.5且該第二權重是0.5。
態樣7B：根據態樣4B-6B中任一項所述的方法，其中該方法亦包括：基於取樣在該塊中的位置以及該塊的寬度或高度中的一者或多者來決定該第一權重；及基於該取樣的該位置以及該塊的該寬度或該高度中的一者或多者來決定該第二權重。
態樣8B：根據態樣1B-7B中任一項所述的方法，其中產生該預測子的融合包括：使用低通濾波器或高通濾波器中的一個對該兩個或兩個以上取樣參考行進行濾波以產生一或多個預測取樣，並且其中對該視訊資料區塊進行解碼包括使用該一或多個預測取樣對該視訊資料區塊進行解碼。
態樣9B：根據態樣1B-8B中任一項所述的方法，其中產生該預測子的融合是回應於訊框內子劃分模式被禁用的。
態樣10B：根據態樣1B-9B中任一項所述的方法，其中該方法亦包括：使用至少兩個不同的訊框內預測模式從該兩個或兩個以上取樣參考行決定該預測子，其中該至少兩個不同的訊框內預測模式是角度模式。
態樣11B：根據態樣1B-10B中任一項所述的方法，其中該兩個或兩個以上取樣參考行包括來自用於多參考行譯碼模式的參考取樣行集合的第一參考行。
態樣12B：根據態樣11B所述的方法，其中該兩個或兩個以上取樣參考行亦包括與該第一取樣參考行相鄰並在其上方的第二取樣參考行。
態樣13B：一種被配置為對視訊資料進行解碼的裝置包括：記憶體，其被配置為儲存視訊資料區塊；及一或多個處理器，其在電路中實現且與該記憶體通訊，該一或多個處理器被配置為：基於訊框內預測模式產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合；及使用該預測子的融合和該訊框內預測模式對該視訊資料區塊進行解碼。
態樣14B：根據態樣13B所述的裝置，其中該訊框內預測模式具有非整數斜率。
態樣15B：根據態樣13B和14B中任一項所述的裝置，其中為了基於該訊框內預測模式產生來自相對於該視訊資料區塊的該兩個或兩個以上取樣參考行的該預測子的融合，該一或多個處理器亦被配置為：基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的該預測子的加權組合來產生該預測子的融合。
態樣16B：根據態樣15B所述的裝置，其中為了基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的預測子的加權組合產生該預測子的融合，該一或多個處理器亦被配置為：將第一權重應用於該兩個或兩個以上取樣參考行中的第一參考行中的第一預測子；及將第二權重應用於該兩個或兩個以上取樣參考行中的第二參考行中的第二預測子，其中該第一參考行比該第二參考行更靠近該視訊資料區塊。
態樣17B：根據態樣16B所述的裝置，其中該第一權重是0.75且該第二權重是0.25。
態樣18B：根據態樣16B和17B中任一項所述的裝置，其中該一或多個處理器亦被配置為：回應於該第一預測子減去該第二預測子的絕對值大於或等於閾值，決定該第一權重是0.75且該第二權重是0.25；及回應於該第一預測子減去該第二預測子的絕對值小於該閾值，決定該第一權重是0.5且該第二權重是0.5。
態樣19B：根據態樣16B-18B中任一項所述的裝置，其中該一或多個處理器亦被配置為：基於取樣在該塊中的位置以及該塊的寬度或高度中的一者或多者，來決定該第一權重；及基於該取樣的該位置以及該塊的該寬度或該高度中的一者或多者，來決定該第二權重。
態樣20B：根據態樣13B-19B中任一項所述的裝置，其中為了產生該預測子的融合，該一或多個處理器亦被配置為：使用低通濾波器或高通濾波器中的一個對該兩個或兩個以上參考行進行濾波以產生一或多個預測取樣，並且其中為了對該視訊資料區塊進行解碼，該一或多個處理器亦被配置為：使用該一或多個預測取樣對該視訊資料區塊進行解碼。
態樣21B：根據態樣13B-20B中任一項所述的裝置，其中該一或多個處理器被配置為：回應於訊框內子劃分模式被禁用，產生該預測子的融合。
態樣22B：根據態樣13B-21B中任一項所述的裝置，其中該一或多個處理器亦被配置為：使用至少兩個不同的訊框內預測模式從該兩個或兩個以上取樣參考行決定該預測子，其中該至少兩個不同的訊框內預測模式是角度模式。
態樣23B：根據態樣13B-22B中任一項所述的裝置，其中該兩個或兩個以上取樣參考行包括來自用於多參考行解碼模式的取樣參考行集合的第一參考行。
態樣24B：根據態樣23B所述的裝置，其中該兩個或兩個以上取樣參考行亦包括與該第一取樣參考行相鄰並在其上方的第二取樣參考行。
態樣25B：一種對視訊資料進行編碼的方法，包括：基於訊框內預測模式產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合；及使用該預測子的融合和該訊框內預測模式來對該視訊資料區塊進行編碼。
態樣26B：根據態樣25B所述的方法，其中該訊框內預測模式具有非整數斜率。
態樣27B：根據態樣25B和26B中任一項所述的方法，其中基於該訊框內預測模式產生來自相對於該視訊資料區塊的該兩個或兩個以上取樣參考行的該預測子的該融合包括：基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的該預測子的加權組合來產生該預測子的融合。
態樣28B：根據態樣27B所述的方法，其中基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的該預測子的加權組合來產生該預測子的融合包括：將第一權重應用於該兩個或兩個以上取樣參考行中的第一參考行中的第一預測子；及將第二權重應用於該兩個或兩個以上取樣參考行中的第二參考行中的第二預測子，其中該第一參考行比該第二參考行更靠近該視訊資料區塊。
態樣29B：根據態樣28B所述的方法，其中該第一權重是0.75且該第二權重是0.25。
態樣30B：根據態樣28B和29B中任一項所述的方法，其中該方法亦包括：回應於該第一預測子減去該第二預測子的絕對值大於或等於閾值，決定該第一權重是0.75且該第二權重是0.25；及回應於該第一預測子減去該第二預測子的絕對值小於該閾值，決定該第一權重是0.5且該第二權重是0.5。
態樣31B：根據態樣28B-30B中任一項所述的方法，其中該方法亦包括：基於取樣在該塊中的位置以及該塊的寬度或高度中的一者或多者來決定該第一權重；及基於該取樣的該位置以及該塊的該寬度或該高度中的一者或多者來決定該第二權重。
態樣32B：根據態樣25B-31B中任一項所述的方法，其中產生該預測子的融合包括：使用低通濾波器或高通濾波器中的一個對該兩個或兩個以上參考行進行濾波以產生一或多個預測取樣，並且其中對該視訊資料區塊進行編碼包括使用該一或多個預測取樣來對該視訊資料區塊進行編碼。
態樣33B：根據態樣25B-32B中任一項所述的方法，其中產生該預測子的融合是回應於訊框內子劃分模式被禁用的。
態樣34B：根據態樣25B-33B中任一項所述的方法，其中該方法亦包括：使用至少兩個不同的訊框內預測模式從該兩個或兩個以上取樣參考行決定該預測子，其中該至少兩個不同的訊框內預測模式是角度模式。
態樣35B：根據態樣25B-34B中任一項所述的方法，其中該兩個或兩個以上取樣參考行包括來自用於多參考行譯碼模式的參考取樣行集合的第一參考行。
態樣36B：根據態樣35B所述的方法，其中該兩個或兩個以上取樣參考行亦包括與該第一取樣參考行相鄰並在其上方的第二取樣參考行。
態樣37B：一種被配置為對視訊資料進行編碼的裝置，包括：記憶體，其被配置為儲存視訊資料區塊；及一或多個處理器，其在電路中實現且與該記憶體通訊，該一或多個處理器被配置為：基於訊框內預測模式產生來自相對於視訊資料區塊的兩個或兩個以上取樣參考行的預測子的融合，以及使用該預測子的融合和該訊框內預測模式對該視訊資料區塊進行編碼。
態樣38B：根據態樣37B所述的裝置，其中該訊框內預測模式具有非整數斜率。
態樣39B：根據態樣37B和38B中任一項所述的裝置，其中為了基於該訊框內預測模式產生來自相對於視訊資料區塊的該兩個或兩個以上取樣參考行的該預測子的該融合，該一或多個處理器亦被配置為：基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的該預測子的加權組合來產生該預測子的融合。
態樣40B：根據態樣39B所述的裝置，其中為了基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的該預測子的加權組合來產生該預測子的融合，該一或多個處理器亦被配置為：將第一權重應用於該兩個或兩個以上取樣參考行中的第一參考行中的第一預測子；及將第二權重應用於該兩個或兩個以上取樣參考行中的第二參考行中的第二預測子，其中該第一參考行比該第二參考行更靠近該視訊資料區塊。
態樣41B：根據態樣40B所述的裝置，其中該第一權重是0.75且該第二權重是0.25。
態樣42B：根據態樣40B和41B中任一項所述的裝置，其中該一或多個處理器亦被配置為：回應於該第一預測子減去該第二預測子的絕對值大於或等於閾值，決定該第一權重是0.75且該第二權重是0.25；及回應於該第一預測子減去該第二預測子的絕對值小於該閾值，決定該第一權重是0.5且該第二權重是0.5。
態樣43B：根據態樣40B-42B中任一項所述的裝置，其中該一或多個處理器亦被配置為：基於取樣在該塊中的位置以及該塊的寬度或高度中的一者或多者來決定該第一權重；及基於該取樣的該位置以及該塊的該寬度或該高度中的一者或多者來決定該第二權重。
態樣44B：根據態樣37B-43B中任一項所述的裝置，其中為了產生該預測子的融合，該一或多個處理器亦被配置為：使用低通濾波器或高通濾波器中的一個對該兩個或兩個以上取樣參考行進行濾波以產生一或多個預測取樣，並且其中為了對該視訊資料區塊進行解碼，該一或多個處理器亦被配置為使用該一或多個預測取樣來對該視訊資料區塊進行解碼。
態樣45B：根據態樣37B-44B中任一項所述的裝置，其中該一或多個處理器被配置為：回應於訊框內子劃分模式被禁用，產生該預測子的融合。
態樣46B：根據態樣37B-45B中任一項所述的裝置，其中該一或多個處理器亦被配置為：使用至少兩個不同的訊框內預測模式從該兩個或兩個以上取樣參考行決定該預測子，其中該至少兩個不同的訊框內預測模式是角度模式。
態樣47B：根據態樣37B-46B中任一項所述的裝置，其中該兩個或兩個以上取樣參考行包括來自用於多參考行譯碼模式的參考取樣行集合的第一參考行。
態樣48B：根據態樣47B所述的裝置，其中該兩個或兩個以上取樣參考行亦包括與該第一取樣參考行相鄰並在其上方的第二取樣參考行。
應該認識到，根據實例，本文描述的任何技術的某些操作或事件可以以不同的循序執行，可以被添加、合併或完全省略（例如，並非所有描述的操作或事件皆是實施該技術所必需的）。此外，在某些實例中，操作或事件可以例如經由多執行緒處理、中斷處理或多個處理器併發地而不是順序地執行。
在一或多個示例性設計中，可以以硬體、軟體、韌體或其任意組合來實現所描述的功能。若以軟體實現，則所述功能可以作為一或多個指令或代碼在電腦可讀取媒體上進行儲存或發送，並由基於硬體的處理單元執行。電腦可讀取媒體包括電腦儲存媒體，其對應於諸如資料儲存媒體的有形媒體，或通訊媒體，包括例如根據通訊協定便於將電腦程式從一個地方轉移到另一個地方的任何媒體。以這種方式，電腦可讀取媒體通常可以對應於（1）非暫時性的有形電腦可讀取儲存媒體，或者（2）諸如信號或載波的通訊媒體。資料儲存媒體可以是可由一台或多台電腦或一或多個處理器存取以檢索指令、代碼及/或資料結構以實現本案內容中描述的技術的任何可用媒體。電腦程式產品可以包括電腦可讀取媒體。
例如，但是並不限於，此類電腦可讀取儲存媒體可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟存放裝置、磁碟存放裝置或其他磁存放裝置、快閃記憶體或者可以用於以指令或資料結構的形式儲存所需程式碼並且能夠被電腦存取的任何其他媒體。此外，任何連接皆可以適當地稱為電腦可讀取媒體。例如，若用同軸電纜、纖維光纜、雙絞線、數位用戶線路（DSL）或例如紅外、無線和微波的無線技術從網站、伺服器或其他遠端源反射軟體，則該同軸電纜、纖維光纜、雙絞線、DSL或例如紅外、無線和微波的無線技術亦包括在媒體的定義中。然而，應當理解，電腦可讀取儲存媒體和資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是針對非暫時性有形儲存媒體。本文所使用的磁碟和光碟包括壓縮光碟（CD）、鐳射光碟、光學光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常磁性地再現資料，而光碟通常利用雷射器光學地再現資料。上述的組合亦包括在電腦可讀取媒體的範疇內。
指令可由一或多個處理器執行，諸如，一或多個DSP、通用微處理器、ASIC、FPGA或其他等效整合或個別邏輯電路。相應地，如本文所使用的術語「處理器」和「處理電路」可以指任何前述結構或適合於實現本文描述的技術的任何其他結構。另外，在一些態樣，本文描述的功能可以在被配置用於編碼和解碼的專用硬體及/或軟體模組內提供，或結合在組合轉碼器中。同樣，該技術可以在一或多個電路或邏輯元件中完全實現。
本案內容的技術可以在包括無線手持機、積體電路（IC）或一組IC（例如，晶片組）的多種設備或裝置中實現。在本案內容中描述各種部件、模組或單元以強調被配置為執行所揭示技術的設備的各功能態樣，但不一定需要由不同硬體單元來實現。而是，如前述，各種單元可以組合在轉碼器硬體單元中，或者由交互動操作的硬體單元的集合來提供，包括與合適的軟體及/或韌體相結合的如前述的一或多個處理器。
已經描述了各種實例。這些實例和其他實例在所附請求項的範疇內。
100:訊編碼和解碼系統 102:源設備 104:視訊源 106:記憶體 108:輸出介面 110:電腦可讀取媒體 112:存放裝置 114:檔案伺服器 116:目的地設備 118:顯示裝置 120:記憶體 122:輸入介面 130:譯碼單元 132:參考行 132A:行 132B:行 132C:行 132D:行 132E:行 134A:範本區域 134B:範本區域 136:參考範本 140:實線箭頭 142:虛線箭頭 200:視訊轉碼器 202:模式選擇單元 204:殘差產生單元 206:變換處理單元 208:量化單元 210:逆量化單元 212:逆變換處理單元 214:重構單元 216:濾波器單元 218:解碼圖片緩衝器（DPB） 220:熵編碼單元 222:運動估計單元 224:運動補償單元 226:訊框內預測單元 230:視訊資料記憶體 300:視訊解碼器 302:熵解碼單元 304:預測處理單元 306:逆量化單元 308:逆變換處理單元 310:重構單元 312:濾波器單元 314:解碼圖片緩衝器（DPB） 316:運動補償單元 318:訊框內預測單元 320:CPB記憶體 350:方塊 352:方塊 354:方塊 356:方塊 358:方塊 360:方塊 370:方塊 372:方塊 374:方塊 376:方塊 378:方塊 380:方塊 390:方塊 392:方塊 400:方塊 402:方塊
圖1是示出可以執行本案內容的技術的實例視訊編碼和解碼系統的方塊圖。
圖2是示出用於訊框內預測的實例參考行的概念圖。
圖3是示出用於訊框內預測的多個參考行的實例的概念圖。
圖4是示出在基於範本的訊框內模式匯出（TIMD）中使用的實例範本和參考取樣的概念圖。
圖5是示出增強型壓縮模型（ECM）的一個版本中的實例角度訊框內預測模式的概念圖。
圖6是示出角度訊框內預測模式的整數斜率和非整數斜率的實例的概念圖。
圖7是示出可以執行本案內容的技術的實例視訊轉碼器的方塊圖。
圖8是示出可以執行本案內容的技術的實例視訊解碼器的方塊圖。
圖9是示出根據本案內容的技術的用於對當前塊進行編碼的實例方法的流程圖。
圖10是示出根據本案內容的技術的用於對當前塊進行解碼的實例方法的流程圖。
圖11是示出根據本案內容的技術的用於對當前塊進行編碼的實例方法的流程圖。
圖12是示出根據本案內容的技術的用於對當前塊進行解碼的實例方法的流程圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
100:訊編碼和解碼系統
102:源設備
104:視訊源
106:記憶體
108:輸出介面
110:電腦可讀取媒體
112:存放裝置
114:檔案伺服器
116:目的地設備
118:顯示裝置
120:記憶體
122:輸入介面
300:視訊解碼器

Claims (48)

  1. 一種對視訊資料進行解碼的方法，該方法包括以下步驟： 基於一訊框內預測模式產生來自相對於一視訊資料區塊的兩個或兩個以上取樣參考行的預測子的一融合；及 使用該預測子的融合和該訊框內預測模式對該視訊資料區塊進行解碼。
  2. 根據請求項1之方法，其中該訊框內預測模式具有一非整數斜率。
  3. 根據請求項1之方法，其中基於該訊框內預測模式產生來自相對於該視訊資料區塊的該兩個或兩個以上取樣參考行的該預測子的該融合包括以下步驟： 基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的該預測子的一加權組合來產生該預測子的融合。
  4. 根據請求項3之方法，其中基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的該預測子的該加權組合來產生該預測子的融合包括： 將一第一權重應用於該兩個或兩個以上取樣參考行中的一第一參考行中的第一預測子；及 將一第二權重應用於該兩個或兩個以上取樣參考行中的一第二參考行中的第二預測子，其中該第一參考行比該第二參考行更靠近該視訊資料區塊。
  5. 根據請求項4之方法，其中該第一權重是0.75且該第二權重是0.25。
  6. 根據請求項4之方法，亦包括以下步驟： 回應於該第一預測子減去該第二預測子的一絕對值大於或等於一閾值，決定該第一權重是0.75且該第二權重是0.25；及 回應於該第一預測子減去該第二預測子的該絕對值小於該閾值，決定該第一權重是0.5且該第二權重是0.5。
  7. 根據請求項4之方法，亦包括以下步驟： 基於取樣在該塊中的一位置以及該塊的一寬度或一高度中的一者或多者來決定該第一權重；及 基於該取樣的該位置以及該塊的該寬度或該高度中的一者或多者來決定該第二權重。
  8. 根據請求項1之方法，其中產生該預測子的融合包括以下步驟： 使用一低通濾波器或一高通濾波器中的一個對該兩個或兩個以上取樣參考行進行濾波以產生一或多個預測取樣，並且 其中對該視訊資料區塊進行解碼包括使用該一或多個預測取樣來對該視訊資料區塊進行解碼。
  9. 根據請求項1之方法，其中產生該預測子的融合是回應於一訊框內子劃分模式被禁用的。
  10. 根據請求項1之方法，亦包括以下步驟： 使用至少兩個不同的訊框內預測模式從該兩個或兩個以上取樣參考行決定該預測子，其中該至少兩個不同的訊框內預測模式是角度模式。
  11. 根據請求項1之方法，其中該兩個或兩個以上取樣參考行包括來自用於一多參考行譯碼模式的一取樣參考行集合的一第一參考行。
  12. 根據請求項11之方法，其中該兩個或兩個以上取樣參考行亦包括與該第一取樣參考行相鄰並在其上方的一第二取樣參考行。
  13. 一種被配置為對視訊資料進行解碼的裝置，該裝置包括： 一記憶體，其被配置為儲存一視訊資料區塊；及 一或多個處理器，其在電路中實現且與該記憶體通訊，該一或多個處理器被配置為： 基於一訊框內預測模式產生來自相對於一視訊資料區塊的兩個或兩個以上取樣參考行的預測子的一融合；及 使用該預測子的融合和該訊框內預測模式對該視訊資料區塊進行解碼。
  14. 根據請求項13之裝置，其中該訊框內預測模式具有一非整數斜率。
  15. 根據請求項13之裝置，其中為了基於該訊框內預測模式產生來自相對於該視訊資料區塊的該兩個或兩個以上取樣參考行的該預測子的該融合，該一或多個處理器亦被配置為： 基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的該預測子的一加權組合來產生該預測子的融合。
  16. 根據請求項15之裝置，其中為了基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的該預測子的該加權組合來產生該預測子的融合，該一或多個處理器亦被配置為： 將一第一權重應用於該兩個或兩個以上取樣參考行中的一第一參考行中的第一預測子；及 將一第二權重應用於該兩個或兩個以上取樣參考行中的一第二參考行中的第二預測子，其中該第一參考行比該第二參考行更靠近該視訊資料區塊。
  17. 根據請求項16之裝置，其中該第一權重是0.75且該第二權重是0.25。
  18. 根據請求項16之裝置，其中該一或多個處理器亦被配置為： 回應於該第一預測子減去該第二預測子的絕對值大於或等於一閾值，決定該第一權重是0.75且該第二權重是0.25；及 回應於該第一預測子減去該第二預測子的該絕對值小於該閾值，決定該第一權重是0.5且該第二權重是0.5。
  19. 根據請求項16之裝置，其中該一或多個處理器亦被配置為： 基於取樣在該塊中的一位置以及該塊的一寬度或一高度中的一者或多者來決定該第一權重；及 基於該取樣的該位置以及該塊的該寬度或該高度中的一者或多者來決定該第二權重。
  20. 根據請求項13之裝置，其中為了產生該預測子的融合，該一或多個處理器亦被配置為： 使用一低通濾波器或一高通濾波器中的一個對該兩個或兩個以上參考行進行濾波以產生一或多個預測取樣，並且 其中為了對該視訊資料區塊進行解碼，該一或多個處理器亦被配置為使用該一或多個預測取樣對該視訊資料區塊進行解碼。
  21. 根據請求項13之裝置，其中該一或多個處理器被配置為： 回應於一訊框內子劃分模式被禁用，產生該預測子的融合。
  22. 根據請求項13之裝置，其中該一或多個處理器亦被配置為： 使用至少兩個不同的訊框內預測模式從該兩個或兩個以上取樣參考行決定該預測子，其中該至少兩個不同的訊框內預測模式是角度模式。
  23. 根據請求項13之裝置，其中該兩個或兩個以上取樣參考行包括來自用於一多參考行譯碼模式的一取樣參考行集合的一第一參考行。
  24. 根據請求項23之裝置，其中該兩個或兩個以上取樣參考行亦包括與該第一取樣參考行相鄰並在其上方的一第二取樣參考行。
  25. 一種對視訊資料進行編碼的方法，該方法包括以下步驟： 基於一訊框內預測模式產生來自相對於一視訊資料區塊的兩個或兩個以上取樣參考行的預測子的一融合；及 使用該預測子的融合和該訊框內預測模式對該視訊資料區塊進行編碼。
  26. 根據請求項25之方法，其中該訊框內預測模式具有一非整數斜率。
  27. 根據請求項25之方法，其中基於該訊框內預測模式產生來自相對於該視訊資料區塊的該兩個或兩個以上取樣參考行的該預測子的該融合包括以下步驟： 基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的該預測子的一加權組合來產生該預測子的融合。
  28. 根據請求項27之方法，其中基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的該預測子的該加權組合來產生該預測子的融合包括以下步驟： 將一第一權重應用於該兩個或兩個以上取樣參考行中的一第一參考行中的第一預測子；及 將一第二權重應用於該兩個或兩個以上取樣參考行中的一第二參考行中的第二預測子，其中該第一參考行比該第二參考行更靠近該視訊資料區塊。
  29. 根據請求項28之方法，其中該第一權重是0.75且該第二權重是0.25。
  30. 根據請求項28之方法，亦包括以下步驟： 回應於該第一預測子減去該第二預測子的一絕對值大於或等於一閾值，決定該第一權重是0.75且該第二權重是0.25；及 回應於該第一預測子減去該第二預測子的該絕對值小於該閾值，決定該第一權重是0.5且該第二權重是0.5。
  31. 根據請求項28之方法，亦包括以下步驟： 基於取樣在該塊中的一位置以及該塊的一寬度或一高度中的一者或多者來決定該第一權重；及 基於該取樣的該位置以及該塊的該寬度或該高度中的一者或多者來決定該第二權重。
  32. 根據請求項25之方法，其中產生該預測子的融合包括以下步驟： 使用一低通濾波器或一高通濾波器中的一個對該兩個或兩個以上參考行進行濾波以產生一或多個預測取樣，並且 其中對該視訊資料區塊進行編碼包括使用該一或多個預測取樣對該視訊資料區塊進行編碼。
  33. 根據請求項25之方法，其中產生該預測子的融合是回應於一訊框內子劃分模式被禁用的。
  34. 根據請求項25之方法，亦包括以下步驟： 使用至少兩個不同的訊框內預測模式從該兩個或兩個以上取樣參考行決定該預測子，其中該至少兩個不同的訊框內預測模式是角度模式。
  35. 根據請求項25之方法，其中該兩個或兩個以上取樣參考行包括來自用於一多參考行譯碼模式的一取樣參考行集合的一第一參考行。
  36. 根據請求項35之方法，其中該兩個或兩個以上取樣參考行亦包括與該第一取樣參考行相鄰並在其上方的一第二取樣參考行。
  37. 一種被配置為對視訊資料進行編碼的裝置，該裝置包括： 一記憶體，其被配置為儲存一視訊資料區塊；及 一或多個處理器，其在電路中實現且與該記憶體通訊，該一或多個處理器被配置為： 基於一訊框內預測模式產生來自相對於一視訊資料區塊的兩個或兩個以上取樣參考行的預測子的一融合，以及 使用該預測子的融合和該訊框內預測模式對該視訊資料區塊進行編碼。
  38. 根據請求項37之裝置，其中該訊框內預測模式具有一非整數斜率。
  39. 根據請求項37之裝置，其中為了基於該訊框內預測模式產生來自相對於該視訊資料區塊的該兩個或兩個以上取樣參考行的該預測子的該融合，該一或多個處理器亦被配置為： 基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的該預測子的一加權組合來產生該預測子的融合。
  40. 根據請求項39之裝置，其中為了基於該訊框內預測模式，基於來自該兩個或兩個以上取樣參考行的該預測子的該加權組合來產生該預測子的融合，該一或多個處理器亦被配置為： 將一第一權重應用於該兩個或兩個以上取樣參考行中的一第一參考行中的第一預測子；及 將一第二權重應用於該兩個或兩個以上取樣參考行中的一第二參考行中的第二預測子，其中該第一參考行比該第二參考行更靠近該視訊資料區塊。
  41. 根據請求項40之裝置，其中該第一權重是0.75且該第二權重是0.25。
  42. 根據請求項40之裝置，其中該一或多個處理器亦被配置為： 回應於該第一預測子減去該第二預測子的一絕對值大於或等於一閾值，決定該第一權重是0.75且該第二權重是0.25；及 回應於該第一預測子減去該第二預測子的該絕對值小於該閾值，決定該第一權重是0.5且該第二權重是0.5。
  43. 根據請求項40之裝置，其中該一或多個處理器亦被配置為： 基於取樣在該塊中的一位置以及該塊的一寬度或一高度中的一者或多者來決定該第一權重；及 基於該取樣的該位置以及該塊的該寬度或該高度中的一者或多者來決定該第二權重。
  44. 根據請求項37之裝置，其中為了產生該預測子的融合，該一或多個處理器亦被配置為： 使用一低通濾波器或一高通濾波器中的一個對該兩個或兩個以上參考行進行濾波以產生一或多個預測取樣，並且 其中為了對該視訊資料區塊進行解碼，該一或多個處理器亦被配置為使用該一或多個預測取樣來對該視訊資料區塊進行解碼。
  45. 根據請求項37之裝置，其中該一或多個處理器被配置為： 回應於一訊框內子劃分模式被禁用，產生該預測子的融合。
  46. 根據請求項37之裝置，其中該一或多個處理器亦被配置為： 使用至少兩個不同的訊框內預測模式從該兩個或兩個以上取樣參考行決定該預測子，其中該至少兩個不同的訊框內預測模式是角度模式。
  47. 根據請求項37之裝置，其中該兩個或兩個以上取樣參考行包括來自用於一多參考行譯碼模式的一取樣參考行集合的一第一參考行。
  48. 根據請求項47之裝置，其中該兩個或兩個以上取樣參考行亦包括與該第一取樣參考行相鄰並在其上方的一第二取樣參考行。
TW112123646A 2022-07-06 2023-06-26 用於視訊譯碼的訊框內預測融合 TW202408239A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202263367804P 2022-07-06 2022-07-06
US63/367,804 2022-07-06
US202263368221P 2022-07-12 2022-07-12
US63/368,221 2022-07-12
US18/339,302 2023-06-22
US18/339,302 US20240015295A1 (en) 2022-07-06 2023-06-22 Intra-prediction fusion for video coding

Publications (1)

Publication Number Publication Date
TW202408239A true TW202408239A (zh) 2024-02-16

Family

ID=89430989

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112123646A TW202408239A (zh) 2022-07-06 2023-06-26 用於視訊譯碼的訊框內預測融合

Country Status (2)

Country Link
US (1) US20240015295A1 (zh)
TW (1) TW202408239A (zh)

Also Published As

Publication number Publication date
US20240015295A1 (en) 2024-01-11

Similar Documents

Publication Publication Date Title
TW202115977A (zh) 用於視訊編碼的跨分量自我調整迴路濾波
CN114128286A (zh) 视频编解码中的环绕运动补偿
US11368715B2 (en) Block-based delta pulse code modulation for video coding
TW202118297A (zh) 用於視訊寫碼之縮放矩陣及傳訊
US20200288130A1 (en) Simplification of sub-block transforms in video coding
TW202123705A (zh) 低頻不可分離變換（ｌｆｎｓｔ）訊號傳遞
US11778213B2 (en) Activation function design in neural network-based filtering process for video coding
KR20230038709A (ko) 다중 적응형 루프 필터 세트들
US11729381B2 (en) Deblocking filter parameter signaling
US20240015284A1 (en) Reduced complexity multi-mode neural network filtering of video data
KR20230002323A (ko) 비디오 코딩을 위한 적응적 스케일링 리스트 제어
CN114982240A (zh) 用于视频译码的多重变换集信令
TW202029753A (zh) 用於視訊寫碼之廣角框內預測
CN115462072A (zh) 视频译码中的高级去块滤波(dbf)、自适应环路滤波(alf)和采样自适应偏移(sao)控制以及自适应参数集(aps)数量约束
JP2023507099A (ja) ビデオコーディングにおけるマルチプル変換選択シグナリングに対する係数グループベースの制限
CN115516866A (zh) 用于图片和视频编解码的块分割
CN114450947A (zh) 用于无损以及混合无损和有损视频编解码的模式相关块分割
TW202408239A (zh) 用於視訊譯碼的訊框內預測融合
US20240098257A1 (en) Intra prediction fusion with reduced complexity in video coding
TW202418805A (zh) 視頻編解碼複雜性降低的幀內預測融合
TW202315406A (zh) 用於視訊譯碼的多條輔助線的候選列表
JP2024514081A (ja) ビデオコーディングのためのイントラモード依存多重変換選択
TW202348031A (zh) 用於視訊譯碼的ｃｃｓａｏ、雙邊濾波器和自我調整迴路濾波器的虛擬邊界處理
TW202344059A (zh) 視訊解碼中的重疊區塊運動補償（ｏｂｍｃ）混合選擇
WO2024010700A1 (en) Intra-prediction fusion for video coding