TWI639330B - 具有內插參考圖像的視訊編解碼裝置及方法 - Google Patents

具有內插參考圖像的視訊編解碼裝置及方法 Download PDF

Info

Publication number
TWI639330B
TWI639330B TW106108899A TW106108899A TWI639330B TW I639330 B TWI639330 B TW I639330B TW 106108899 A TW106108899 A TW 106108899A TW 106108899 A TW106108899 A TW 106108899A TW I639330 B TWI639330 B TW I639330B
Authority
TW
Taiwan
Prior art keywords
image
reference image
current
buffer
encoding
Prior art date
Application number
TW106108899A
Other languages
English (en)
Other versions
TW201803347A (zh
Inventor
杉 劉
許曉中
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201803347A publication Critical patent/TW201803347A/zh
Application granted granted Critical
Publication of TWI639330B publication Critical patent/TWI639330B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明的一方面提供了一種用於將圖像序列編碼為已編碼的位元流的裝置。該裝置可以包括：解碼圖像緩衝器，被配置為存儲參考圖像，該參考圖像中的至少一個是內插參考圖像(IRP)；內插電路被配置為基於存儲在解碼圖像緩衝器中的參考圖像生成IRP；編碼電路，被配置為基於指示是否使用IRP對當前圖像進行編碼的變量的值對圖像序列中的當前圖像進行編碼；以及編碼控制器，被配置為依據解碼圖像緩衝器的大小和存儲在解碼圖像緩衝器中的參考圖像確定所述變量的值。

Description

具有內插參考圖像的視訊編解碼裝置及方法 【相關申請的交叉引用】
本發明要求如下申請的優先權：2016年3月17日遞交的申請號為62/309,485，標題為「Methods and Apparatus for Reference Picture Generation and Management in Video Compression」的美國臨時專利申請的優先權。在此合併參考該申請案的申請標的。
本發明係相關於視訊編碼，尤指一種具有內插參考圖像的視訊編解碼裝置及方法。
本文提供的先前技術的描述是為了通常呈現本公開的上下文的目的。在發明人呈現的本公開中，在很大程度上先前技術描述的內容，與實施方式描述的內容一樣不能被視為申請日之前的先前技術。也就是說，既不被明確地也不暗示承認為本發明的先前技術。
在視訊壓縮處理中，可以採用存儲在參考圖像緩衝器中的一個或複數個參考圖像來形成當前被編碼的圖像(當前圖像)的預測圖像。通常，用於對當前圖像進行編碼的參考圖像是圖像序列的先前編碼的圖像。隨後，與傳輸當前圖像相 反，當前圖像和預測圖像之間的差異可被處理並發送到解碼器。透過使用這種技術，可以減少視訊資料傳輸的位元率。
本發明的一方面提供了一種用於將圖像序列編碼為已編碼的位元流的裝置。該裝置可以包括：解碼圖像緩衝器，被配置為存儲參考圖像，該參考圖像中的至少一個是內插參考圖像(IRP)；內插電路被配置為基於存儲在解碼圖像緩衝器中的參考圖像生成IRP；編碼電路，被配置為基於指示是否使用IRP對當前圖像進行編碼的變量的值對圖像序列中的當前圖像進行編碼；以及編碼控制器，被配置為依據解碼圖像緩衝器的大小和存儲在解碼圖像緩衝器中的參考圖像確定所述變量的值。
在一個實施例中，編碼控制器還被配置為確定用於生成IRP的一組內插參數，並且確定包括IRP的參考圖像列表的排列。
在一個實施例中，內插電路還被配置為基於該組內插參數來執行以下操作中的至少一個，以生成內插參考圖像：基於對於當前圖像的過去參考圖像和未來參考圖像計算加權圖像平均值，計算相對於當前圖像的兩個過去參考圖像、或兩個未來參考圖像的加權圖像平均值，對於當前圖像執行過去參考圖像和未來參考圖像的運動補償內插，或者對當前圖像執行兩個過去參考圖像、或兩個未來圖像的運動補償內插。
在一個實施例中，編碼電路還被配置為基於存儲在解碼圖像緩衝器中的參考圖像依據參考圖像列表的排列來 構建參考圖像列表。在一個示例中，參考圖像列表的排列包括：將內插參考圖像排列在參考圖像列表的最後位置，參考圖像列表的默認位置，在高級語法元素中指定的參考圖像列表的特定位置，或在參考圖像列表中複數個短期參考圖像和複數個長期參考圖像之間的位置。在另一示例中，將包括當前正在解碼的圖像的解碼塊的當前參考圖像用作參考圖像，以用於對當前圖像進行編碼，並將其包括在參考圖像列表中。因此，IRP可以以下列位置之一排列在參考圖像列表中：倒數第二位置，而當前參考圖像處於參考圖像列表的最後位置；最後位置，而當前參考圖像處於參考圖像列表的倒數第二位置；在當前參考圖像之前，以及複數個短期參考圖像和複數個長期參考圖像之間的一位置，其中當前參考圖像排列在複數個短期參考圖像和複數個長期參考圖像之間；或者在當前參考圖像之後，以及複數個短期參考圖像和複數個長期參考圖像之間的位置，其中當前參考圖像排列在複數個短期參考圖像和複數個長期參考圖像之間。
在一個示例中，編碼控制器還被配置為生成與該組內插參數相關聯的第一語法元素，以用於生成要併入已編碼位元流中的內插參考圖像，和/或生成與參考圖像列表的排列相關聯的第二語法元素，該參考圖像列表包括要併入已編碼位元流的內插參考圖像。
在一個示例中，變量的值與以下的一個或複數個特征相關聯：解碼圖像緩衝器中存儲的複數個參考圖像的數量，解碼圖像緩衝器是否已滿，使能或禁用內插參考圖像的一 高級語法元素，在解碼圖像緩衝器中是否存在兩個不同的參考圖像，以及是否使用畫面內塊複製。在一個示例中，編碼控制器還被配置為生成與要併入已編碼位元流中的變量的值相關聯的語法元素。
在一個示例中，在編碼電路編碼當前圖像之前，緩衝器空間被分配以用於存儲內插參考圖像，並且在編碼電路使用內插參考圖像對當前圖像進行編碼之後，從解碼圖像緩衝器中刪除內插參考圖像。在替代示例中，在編碼電路編碼當前圖像之前，緩衝器空間被分配以存儲內插參考圖像，並且在編碼電路使用內插參考圖像編碼參考圖像之後，內插參考圖像仍在解碼圖像緩衝器中以用於未來圖像。
本發明的一方面提供了一種用於從已編碼位元流解碼圖像序列的裝置。該裝置可以包括：解碼圖像緩衝器，被配置為存儲複數個參考圖像，該複數個參考圖像中的至少一個是內插參考圖像；內插電路，被配置為基於存儲在解碼圖像緩衝器中的複數個參考圖像來生成內插參考圖像；解碼電路，被配置為基於指示是否使用內插參考圖像對當前圖像進行解碼的變量的值，對圖像序列中的當前圖像進行解碼；以及編碼控制器，被配置為依據解碼圖像緩衝器的大小和存儲在解碼圖像緩衝器中的複數個參考圖像來確定變量的值。
本發明的一方面提供了一種用於將圖像序列編碼為已編碼比特流的方法。該方法可以包括依據解碼圖像緩衝器(decoded picture buffer,DPB)的大小和存儲在解碼圖像緩衝器中的參考圖像來確定變量的值，該變量的值指示圖像序列中 的當前圖像是否利用內插參考圖片(interpolated reference picture,IRP)而被編碼；當變量的值指示在序列圖像中當前圖像利用內插參考圖像而被編碼時，透過使用基於存儲於解碼圖像緩衝器中的複數個參考圖像產生的內插參考圖像，編碼當前圖像。
本發明的方面提供了一種用於從已編碼位元流解碼圖像序列的方法。該方法可以包括：依據解碼圖像緩衝器的大小和存儲在解碼圖像緩衝器中的複數個參考圖像確定變量的值，該變量的值指示在圖像序列中的當前圖像是否利用內插參考圖像而被解碼；當變量的值指示在序列圖像中當前圖像利用內插參考圖像而被解碼時，透過使用基於存儲於解碼圖像緩衝器中的複數個參考圖像產生的內插參考圖像，解碼當前圖像。
100‧‧‧視訊編碼系統
110、500‧‧‧編碼器
111、510‧‧‧編碼控制器
112、520‧‧‧內插模組
113、530‧‧‧編碼模組
114、124、531、651‧‧‧畫面間預測模組
115、125、532、652‧‧‧畫面內預測模組
116、660、540、126‧‧‧解碼圖像緩衝器
117、127、311、321、331、661、541‧‧‧內插參考圖像
120、600‧‧‧解碼器
121、620‧‧‧解碼控制器
122、630‧‧‧內插模組
123、650‧‧‧解碼模組
131、501‧‧‧輸入圖像
132、502、601‧‧‧已編碼的位元流
133、602‧‧‧輸出圖像
211、212、213‧‧‧圖像
d1、d2‧‧‧距離
222‧‧‧第一過去參考圖像
223‧‧‧第二過去參考圖像
312、322、323‧‧‧過去參考圖像
221、231‧‧‧當前圖像
232‧‧‧第一未來參考圖像
233‧‧‧第二未來參考圖像
313、332、333‧‧‧未來參考圖像
311A、312A、313A、321A、322A、323A、331A、332A、333A‧‧‧塊
302‧‧‧運動矢量
400A‧‧‧參考圖像集
401、402、403、404、405、406、407、408、409、410‧‧‧參考圖像
400B‧‧‧表
411、412、413、414、415、416、417‧‧‧列
550、670‧‧‧加法器
560‧‧‧殘差編碼器
570‧‧‧重建模組
580‧‧‧熵編碼模組
610‧‧‧熵解碼模組
640‧‧‧殘差解碼器
680‧‧‧輸出濾波器
700、800、900‧‧‧過程
S701、S710、S720、S730、S740、S750、S760、S770、S799、S801、S810、S820、S830、S840、S850、S860、S870、S880、S899、S901、S910、S920、S930、S940、S950、S999‧‧‧步驟
將參考以下圖式詳細描述作為示例提出的本公開的各種實施例，其中相同的圖式標記表示相同的元件，並且其中：第1圖示出了依據本公開實施例的使用內插參考圖像(interpolated reference picture,IRP)編解碼圖片的示例視訊編解碼系統；第2A圖-第2C圖示出了依據本公開實施例的第一IRP生成方法的示例；第3A圖-第3C圖示出了依據本公開實施例的第二IRP生成方法的示例； 第4A圖-第4B圖示出了依據本公開實施例的參考圖像列表構造示例；第5圖示出了依據本公開實施例的示例編碼器；第6圖示出了依據本公開實施例的示例解碼器；第7圖示出了依據本公開實施例的使用IRP對圖像序列進行編碼的過程；第8圖示出了依據本公開的實施例的對使用IRP編碼的圖片序列進行解碼的過程；以及第9圖示出了依據本公開的實施例的用於對圖像進行編解碼的處理。
傳統的視訊編解碼系統可以使用參考圖像來執行編碼或解碼過程。編碼器可以將一組圖像存儲在解碼圖像緩衝器(decoded picture buffer,DPB)中，並將其用作參考圖像以估計當前正在被編碼的圖像(被稱為當前圖像)的正被編碼的塊(被稱為當前塊)的預測值。編碼器可以搜索與當前塊最相似的匹配區域的參考圖像，並且使用匹配區域作為當前塊的預測。搜索過程稱為運動估計。同時，也可以獲得表示參考圖像中匹配區域的位置的預測參數。基於運動估計確定的預測被稱為運動補償預測。
隨後，編碼器可以確定當前塊與當前塊的預測之間的差異。這些差異被稱為當前塊的殘差部分。可以透過從當前塊去除預測部分來獲得殘差部分。然後將殘差部分和預測參數發送到解碼器。
在解碼器的解碼過程中，用於解碼當前塊的參考圖像被建立並存儲在解碼圖像緩衝器(decoded picture buffer,DPB)中。可以基於預測參數並且參考解碼圖像緩衝器中的參考圖像重建上述當前塊的預測部分。此後，解碼器可以將重建的預測部分與接收的當前塊的殘差部分組合以產生已恢復的塊。
第1圖示出了依據本公開的實施例的示例性視訊編解碼系統100。視訊編解碼系統100可以包括編碼器110和解碼器120。編碼器110接收輸入圖像131的序列並執行編碼處理，以將輸入圖像131的序列壓縮成可自編碼器110傳送的已編碼的位元流132。解碼器110接收已編碼的位元流132,並相應地執行解碼處理以產生輸出圖像133的序列。
依據本公開的一個方面，除了先前已編碼或已解碼的參考圖像之外，視訊編解碼系統100可以採用一個或複數個內插圖像(interpolated pictures)作為用於編碼或解碼操作的參考圖像。可以從內插處理中獲得內插參考圖像(Interpolated reference pictures,以下簡稱為IRP)。在內插處理期間，可以使用各種插值方法中的一個，基於先前已編碼或已解碼的參考圖像的像素值來生成IRP的像素值。與傳統的視訊編解碼系統相比，內插參考圖像(IRP)的使用可以提高視訊編解碼系統的壓縮效率。
如第1圖所示，編碼器110可以是將輸入圖像131轉換為已編碼的位元流132的任何裝置。例如，編碼器110可以包括編碼控制器111，內插模組112，編碼模組113和解碼 圖像緩衝器116這些組件可以如圖所示耦合在一起。
編碼控制器111可以被配置為協調和控制採用IRP的編碼過程。在一個示例中，編碼控制器111被配置為在開始編碼當前圖像之前確定變量的值。該變量可用於指示當前圖像是否使用IRP進行編碼。在一個示例中，編碼控制器111基於解碼圖像緩衝器116的大小和存儲在解碼圖像緩衝器116中的參考圖像來確定變量的值。解碼圖像緩衝器116的大小可以指包括在解碼圖像緩衝器116中的圖像緩衝器的數量。例如，當將IRP用於編碼當前圖像時，解碼圖像緩衝器116應當包括至少三個圖像緩衝器：兩個用於存儲兩個參考圖像，以用於產生IRP，一個用於存儲IRP自身。當IRP用於編碼當前圖像的同時當前參考圖像也被用於編碼當前圖像時，解碼圖像緩衝器116應當另包括一個用於存儲當前參考圖像的圖像緩衝器。當前參考圖像包括當前圖像的已解碼塊，並且可以用作參考圖像以對當前圖像進行編碼。因此，使用IRP的當解碼圖像緩衝器116的尺寸小於三，或同時使用IRP和當前參考圖像的當解碼圖像緩衝器116的尺寸小於四時，編碼控制器111可以確定解碼圖像緩衝器的大小不夠以使用IRP來編碼當前圖像。如此一來，在一個示例中，編碼控制器111可以將變量的值設置為0表示當前圖像不使用IRP的值來編碼。
在一個示例中，在編碼處理期間，編碼模組113被配置為基於變量的值執行當前圖像的編碼。例如，編碼模組113在開始編碼當前圖像之前檢查變量的值。當確定變量的值等於0時，編碼模組113將不使用IRP對當前圖像進行編碼。 否則，編碼模組113可以使用IRP對當前圖像進行編碼。
在另一示例中，編碼控制器111被配置為基於解碼圖像緩衝器116中的圖像緩衝器是否可用於存儲IRP來確定變量的值。例如，假設用於產生IRP的兩個參考圖像已經存儲在解碼圖像緩衝器116中，則另外需要至少一個圖像緩衝器來存儲IRP。在使用IRP的同時使用當前參考圖像來編碼當前圖像的情況下，則另外需要至少兩個圖像緩衝器來存儲IRP和當前參考圖像。因此，當解碼圖像緩衝器116中的圖像緩衝器不可用於IRP的存儲時，舉例來說，編碼控制器116可以將變量的值設置為0，指示當前圖像不使用IRP進行編碼。
在另一示例中，編碼控制器111被配置為基於在解碼圖像緩衝器116中是否存在用於生成IRP的兩個參考圖像來確定變量的值。為了生成IRP，通常採用至少兩個參考圖像。因此，當用於生成IRP的兩個參考圖像不包括在解碼圖像緩衝器116中時，編碼控制器111可以將該變量的值設置為0。
在各種示例中，編碼控制器111可以被配置為檢查解碼圖像緩衝器116的大小，與解碼圖像緩衝器116相關聯的可用圖像緩衝器的數量(即，解碼圖像緩衝器116是否是滿的)，或用於生成IRP以確定變量的值的兩個參考圖像的可用性。例如，當用於存儲IRP的圖像緩衝器，和/或用於產生IRP的兩個參考圖像可用時，編碼控制器111可以將該變量的值設置為1，表示當前圖像使用IRP而被編碼。否則，編碼控制器可以將變量的值設置為0，表示當前圖像不使用IRP進行編碼。在一些其他示例中，變量的值可以透過如下方式來確定： 由指示是否啟用或禁用IRP的使用的高級語法元素的一個或組合，解碼圖像緩衝器中的可用圖像緩衝器的數量，以及在解碼圖像緩衝器中是否存在兩個不同的參考圖像。
在一個示例中，編碼控制器111被配置為觸發內插模組112生成一個或複數個IRP。例如，編碼器110依據用於指示每個輸入圖像131的參考圖像集的預配置對輸入圖像131的序列進行編碼。參考圖像集可以包括用於各圖像的一個或複數個IRP。因此，當編碼具有包括一個或複數個IRP的參考圖像集的當前圖像時，編碼控制器111可以發送訊號並觸發內插模組112以生成相應的內插圖像。在一個示例中，編碼控制器111可以在傳輸訊號之前首先確定如上所述的變量的值。例如，當變量的值被確定為0時，編碼控制器111可能不會繼續觸發IRP的產生。
此外，在一個示例中，編碼控制器111被配置為確定用於生成一個或複數個IRP的一組內插參數。例如，預配置可以指定用於生成當前圖像的相應IRP的內插參數。例如，內插參數可以指定內插方法或參考圖像集中的參考圖像，以用於產生IRP。因此，編碼控制器111可以基於預配置來確定一組內插參數，並且向內插模組112發送指示內插參數的訊號。
在一個示例中，編碼控制器111還被配置為管理用於編碼處理的解碼圖像緩衝器116。例如，對於不同的圖像，參考圖像集的成員可以是不同的。在開始對當前圖像進行編碼之前，編碼控制器111可以從解碼圖像緩衝器116中去除由先前圖像使用的、但對於當前圖像或其他已編碼圖像無用的參考 圖像。或者，編碼控制器111可以將參考圖像(諸如IRP)添加到解碼圖像緩衝器116。例如，編碼控制器111可以命令內插模組112生成IRP並將IRP存儲到解碼圖像緩衝器116中。新添加的參考圖像可以由當前圖像或其他參考圖像來使用以編碼未來圖像。
特別地，在一個示例中，編碼控制器111還被配置為管理解碼圖像緩衝器116以存儲一個或複數個IRP。例如，當要編碼當前圖像時，編碼控制器111可以分配圖像緩衝器以用於存儲編碼當前圖像的IRP。例如，當在解碼圖像緩衝器116中沒有圖像緩衝器可用於存儲IRP時，編碼控制器111可以從解碼圖像緩衝器116去除參考圖像，以產生用於存儲IRP的圖像緩衝器。在一個示例中，在使用IRP對當前圖像進行編碼之後，編碼控制器111可以從解碼圖像緩衝器116中去除IRP。在一個示例中，編碼控制器111可以確定將用於對未來圖像進行編碼的IRP。因此，用於編碼當前圖像的IRP可以保留在解碼圖像緩衝器116中。
內插模組112被配置為依據從編碼控制器111接收或由編碼控制器111指示的內插參數來生成IRP。內插模組112將IRP存儲到解碼圖像緩衝器116。
編碼模組113被配置為對輸入圖像131的塊進行編碼。圖像塊指圖像中的區域。在一個示例中，編碼模組113包括畫面間預測模組114，以便使用畫面間編碼技術對輸入圖像的塊進行編碼。在另一示例中，編碼模組113還可以包括畫面內預測模組115，使得編碼模組113可以使用畫面間或畫面 內圖像編碼技術對輸入圖像的塊進行編碼。畫面間編碼技術使用參考圖像來估計當前塊的預測。例如，當利用畫面間編碼技術對當前塊進行編碼時，可以執行運動估計來搜索參考圖像中的匹配區域。匹配區域用作當前塊的預測。相反，畫面內圖像編碼技術使用當前塊的相鄰塊來生成當前塊的預測。相鄰塊和當前塊在同一圖像內。
在一個示例中，畫面間預測模組114被配置為執行畫面間編碼以對塊進行編碼，同時畫面內預測模組115被配置為執行畫面內編碼以對塊進行編碼。因此，使用畫面間編碼的塊被稱為畫面間已編碼塊，而使用畫面內編碼的塊被稱為畫面內已編碼塊。
編碼模組113可以被配置為構建用於對當前圖像進行編碼的參考圖像列表。例如，當前圖像可以包括複數個畫面間已編碼塊。每一個畫面間已編碼塊僅參考用於畫面間編碼的一個參考圖像。這種類型的預測被稱為單向預測(uni-prediction)。不同的畫面間已編碼塊可以參考不同的參考圖像。在這種情況下，對於每個畫面間已編碼塊，相應的預測參數包括指示哪個參考圖像被參考的識別符。因此，需要傳送許多這樣的識別符。為了減少用於發送複數個標識的位元數，首先為當前圖像構造參考圖像列表，並且將參考圖像列表中的參考圖像的位置的索引用作各自參考圖像的識別符。索引被稱為參考索引。
透過排列和優化參考圖像列表中的參考圖像的位置，可以獲得優化的編碼效率。具體來說，最常用的參考圖像 可以被定位在參考圖像列表的開始處，導致用於最常用的參考圖像的參考索引值較小。較小的索引值可以用較短的碼字(較少位元)進行編碼。因此，可以獲得用於發送參考索引的優化的編碼效率。
在另一示例中，當前圖像可以包括畫面間已編碼塊，每個畫面間已編碼塊參考多於一個參考圖像。例如，塊可以參考被稱為雙向預測(bi-prediction)的兩個參考圖像。因此，編碼模組113可以創建兩個參考圖像列表以方便用於這種雙向預測塊的兩個參考索引。
在上述示例中，參考圖像列表在圖像級別構建。然而，在其他示例中，參考圖像列表可以以各種方式構建，例如在切片(slice)級別。例如，圖像可以分成複數個片段。每個切片可以獨立於同一圖像中的其他切片而被解碼。以這種方式，在傳輸期間丟失一個切片不會影響同一圖像中的其他片段。對於僅包括單向預測塊的片段，可以構造一個參考圖像列表來編碼這樣的片段，而對於包括雙向預測塊的片段，可以採用兩個參考圖像列表。
在一個示例中，當對當前圖像的切片進行編碼時，編碼模組113構造包括一個或複數個IRP的一個或複數個參考圖像列表。該結構可以基於與當前圖像相關聯的參考圖像集。參考圖像集包括用於編碼圖像的各種類型的參考圖像。在一個示例中，基於配置，為圖像預定義參考圖像集。在另一示例中，參考圖像集由優化處理確定。在優化過程中，測試不同的編碼模式，並選擇一種最佳編碼模式，並且相應地確定與最 佳編碼模式相關聯的參考圖像集。不同的圖像可以有不同的參考圖像集。
在一個示例中，包括IRP的參考圖像從當前圖像的參考圖像集中被選擇並且被排列在參考圖像列表中。此外，參考圖像列表的構造可以基於默認規則來執行，或者可以基於指示來自編碼器控制器111的規則的訊號來執行。例如，默認規則可以指定用於將參考圖像排列在參考圖像列表的順序，因此可以構建默認參考圖像列表。對於另一示例，可以進一步優化默認參考圖像列表，從而產生修改的參考圖像列表。另一個例子，編碼控制器111可以確定描述要構造參考圖像列表的順序的規則，並且命令編碼模組113相應地執行構造。排列參考圖像列表中的參考圖像的順序被稱為參考圖像列表的排列。
畫面間預測模組114被配置為執行畫面間編碼以對屬於當前圖像的片段的塊生成預測。同時，基於針對當前圖像或片段構建的參考列表，還生成包括一個或複數個參考索引的預測參數。然後可以利用預測來產生塊的殘差部分。殘差部分和預測參數可以進一步處理並傳送到解碼器120。
畫面內預測模組115被配置為對各個塊執行畫面內圖像編碼。編碼畫面內已編碼塊在編碼處理期間不參考其他圖像。相反，使用畫面內已編碼塊的先前編碼的相鄰塊來計算畫面內已編碼塊的預測。可以採用各種畫面內預測模式來生成各個塊的預測。然後可以使用相應塊的預測來生成相應塊的殘差部分。最終，所採用的殘差部分和畫面內預測模式可以包括在已編碼的位元流132中並被發送到解碼器120。
在一個示例中，畫面間預測模組114被配置為採用畫面內塊複製(intra block copy,IBC)技術，其使用當前圖像的版本作為存儲在解碼圖像緩衝器116中的參考圖像。當前圖像的版本包括當前圖像的先前已解碼的塊，並且被稱為當前參考圖像。例如，當前圖像的當前塊要使用畫面內塊複製進行編碼，並且畫面間預測模組114以畫面內塊複製模式操作。在編碼處理期間，將當前參考圖像存儲在解碼圖像緩衝器116中。當對當前塊進行編碼時，畫面間預測模組114執行運動估計和搜索先前已編碼塊中的匹配區域，先前已編碼塊存儲於解碼圖像緩衝器116中。如此一來，可以獲得指示匹配區域的當前塊的預測和相關聯的預測參數。作為示例，在高效率視訊編碼(High Efficiency Video Coding,HEVC)屏幕內容編碼(Screen Content Coding,SCC)標準中提供了畫面內塊複製工具。
在一個示例中，當前圖像包括部分使用IRP進行畫面間編碼並部分使用畫面內塊複製進行編碼的塊。當對這樣的當前圖像進行編碼時，各個IRP和當前參考圖像被同時存儲在參考緩衝器116中。
解碼圖像緩衝器116被配置為存儲用於畫面間圖像編碼或畫面內塊複製的參考圖像。具體地說，當輸入圖像131中的一個要用IRP編碼時，一個或複數個IRP 117可以存儲在解碼圖像緩衝器116中。在一個示例中，解碼圖像緩衝器116包括複數個圖像緩衝器，每個圖像緩衝器可被分配用於存儲參考圖像。
編碼位元流132包括已編碼的視訊資料和描述已編碼圖像序列的各個方面的各種參數。視訊資料可以包括例如畫面間或畫面內編碼的預測參數，對應於殘差部分的資料等。各種參數可以包括例如指示是否使用IRP編碼圖像的變量，內插參數，參考圖像集訊息，參考圖像列表構造訊息等。通常，已編碼的位元流可以具有由語法指定的結構，並且因此包括各種語法元素。用於定義已編碼的位元流的語法可以由某些視訊編碼標準來指定，例如HEVC標準。
在一個示例中，已編碼的位元流132的語法具有包括視訊序列級別和圖片級別的分層結構。因此，參數被組織作為序列參數集(sequence parameter sets,SPS)和圖像參數集(picture parameter sets,PPS)。SPS中的參數與圖片序列相關聯，而PPS中的參數與一個或複數個圖像相關聯。此外，分層結構可以包括切片級別，並且使用切片片段(segment)標頭來傳送與切片或片段相關聯的參數。切片可以包括一個或複數個切片片段，每個切片片段具有切片片段標頭。在一個示例中，切片中的切片片段可以共享第一切片片段的切片片段標頭中的訊息。切片片段標頭可以包括索引，用於參考PPS以獲得用於處理相應切片的圖像級參數。類似地，PPS可以包括用於參考SPS的索引，以獲得用於處理各個圖片的序列級參數。PPS，SPS和切片片段是其他類型的語法元素中的三種語法元素。
因此，在一個示例中，編碼控制器111被配置為生成相應語法元素以用於向解碼器120發送用於使用IRP的各 種參數或配置。依據本發明的一實施方式，編碼控制器111進一步被配置為生成與該組內插參數集相關聯的第一語法元素，以用於生成要併入已編碼位元流中的內插參考圖像，和/或生成與參考圖像列表的排列相關的第二語法元素，參考圖像列表包括要併入已編碼位元流中的內插參考圖像。例如，指示圖像是否使用IRP編碼的變量可以被納入PPS。例如，可以生成表示IRP的使用的標誌，並將其包含在與輸入圖像131序列中的圖像相關聯的PPS中。用於生成IRP的內插參數的集合可以被包括在與圖像相關聯的PPS中。此外，可以確定包括IRP的參考圖像集，並且可以在與圖像相關聯的PPS中包括描述這樣的參考圖像集的訊息。此外，可以生成指示用於編碼切片的IRP的使用的標誌，並將其包括在切片的切片片段標頭中。指示如何可以生成一個或複數個參考列表的訊息可以包括在切片片段標頭中，或者包括在由切片參考的PPS中。上述生成的語法元素可以被包括在已編碼的位元流132中並被發送到解碼器120。或者，在一些示例中，變量的值指示圖像是否使用IRP進行編碼(需要使用IRP解碼)，用於生成IRP的內插參數集或包括IRP的參考圖像列表的排列可以由解碼器120隱式地導出。
如第1圖所示，解碼器120包括解碼控制器121，內插模組122，解碼模組123和解碼圖像緩衝器(decoding picture buffer,DPB)126。在操作中，解碼器120接收包括已編碼的視訊資料和各種參數的已編碼的位元流132，並依據各種參數處理已編碼的視訊資料以產生輸出圖像133。
解碼控制器121被配置為控制由解碼器120執行的解碼處理。在一個示例中，解碼控制器121接收指示使用IRP的各種語法元素。例如，解碼控制器121接收PPS中的一個標誌，該標誌用於指示解碼圖像的一個或複數個IRP的使用。在一個示例中，當對當前圖像進行解碼時，解碼控制器111可以檢查當前圖像中切片的片段標頭。切片片段標頭可以引用包括該標誌的上述PPS。以這種方式，解碼控制器121可以定位PPS，並且獲悉用於解碼當前圖像的IRP。
在一個示例中，解碼控制器121被配置為確定用於生成一個或複數個IRP的一組內插參數。例如，解碼控制器121可以基於編碼位元流132中的一個或複數個語法元素確定用於對當前圖像進行解碼的一組內插參數。解碼控制器121進一步被配置為接收與該組內插參數相關聯的第一語法元素，用於在已編碼的位元流中生成內插參考圖像，和/或接收與參考圖像列表的排列相關的第二語法元素，參考圖像列表包括已編碼的位元流中的內插參考圖像。具體地，在一個示例中，解碼控制器121可以接收一組內插參數用於在同一PPS或另一不同PPS中生成一個或複數個IRP。或者，在另一示例中，解碼控制器121可以接收指示存儲在解碼器120中的預先配置的複數組內插參數中的一組的指示符。解碼控制器121可相應地發送訊號以觸發內插模組122，以生成用於解碼當前圖像的各自的IRP。訊號可以指示或包括一組內插參數。在替代示例中，在位元流中不包括指示內插參數的語法元素，並且解碼控制器121可以基於預配置來確定一組內插參數。
在另一示例中，當解碼上述當前圖像時，解碼控制器121可以在觸發內插模組122以產生相應的IRP之前，先確定指示是否使用相應的IRP進行解碼處理的變量的值。在一個示例中，解碼控制器121基於已編碼的位元流中的語法元素來確定變量的值。例如，指示當前圖像是否使用IRP進行編碼的變量可以包括在PPS中。PPS中的變量可用於確定指示是否使用相應的IRP進行解碼過程的變量的值。對於另一示例，可以接收PPS或SPS中的指示使用IRP編碼當前圖像的標誌。因此，例如，解碼控制器121可以將變量的值設置為1，表示使用IRP對當前圖像進行解碼。相反，例如，當沒有語法元素指示使用IRP編碼當前圖像時，解碼控制器121可以設置變量的值為0，指示當前圖像不使用IRP進行解碼。
在另一示例中，解碼控制器121可以基於一些條件來確定變量的值。例如，解碼控制器121可以檢查解碼圖像緩衝器126的最大尺寸和已經存儲在解碼圖像緩衝器126中的參考圖像，以獲得解碼圖像緩衝器126中的可用圖像緩衝器的數量，並且因此確定變量的值。例如，假設一個IRP將用於對當前圖像進行解碼，解碼圖像緩衝器126需要具有至少三個可用的圖像緩衝器：一個用於IRP，兩個用於產生IRP的先前已解碼的參考圖像。假設當前圖像也採用畫面內塊複製，則需要附加的圖像緩衝器來存儲當前參考圖像。當解碼圖像緩衝器126的尺寸小於3(不使用畫面內塊複製)或4(使用畫面內塊複製)時，具有相應IRP的解碼不被執行。或者，當可用圖像緩衝器的數量小於存儲用於生成IRP的兩個參考圖 像，IRP或當前參考圖像所需的圖像緩衝器的數量時，具有相應IRP的解碼也不被執行。例如，當解碼圖像緩衝器126中的圖像緩衝器可用時，解碼控制器121可以將該變量的值設置為1，表示當前圖像可以使用IRP進行解碼。
此外，在一個示例中，解碼控制器121可以檢查在解碼圖像緩衝器126中用於生成各個IRP的解碼參考圖像是否可用。例如，當解碼參考圖像可用時，解碼控制器121可以指示將要使用IRP解碼當前圖像的變量的值設置為1。
在各種示例中，為了確定變量的值，解碼控制器121可以檢查高級語法元素指示使用IRP是否使能的一個或複數個條件，圖像緩衝器是否可使用IRP來解碼當前圖像，或者用於生成IRP的兩個參考圖像是否可用於解碼圖像緩衝器126中。當高級語法元素指示禁能使用IRP時，圖像緩衝器不可用於存儲相應的IRP(和當使用畫面內塊複製被採用時，存儲當前參考圖像)或用於產生IRP的解碼參考圖像不可用，則解碼控制器121可以確定使用IRP來解碼各個圖像是不可能的。例如，解碼控制器121可以將變量的值設置為0，表示當前圖像不能使用IRP進行解碼。相反，例如，當檢查對於使用IRP解碼當前圖像的一個或複數個條件得到滿足時，解碼控制器121可以將變量的值設置為1，表示當前圖像將被使用IRP進行解碼。在一些其他示例中，變量的值可以由指示是否啟用或禁用IRP的使用的高級語法元素的一個或組合，解碼圖像緩衝器中的可用圖像緩衝器的數量，以及在解碼圖像緩衝器中是否存在兩個不同的參考圖像來確定。
因此，在一些示例中，解碼模組123基於變量的值執行解碼處理。例如，當解碼當前圖像時，解碼模組123可以首先檢查可能存儲在存儲器(未示出)中的變量的值。當變量的值被設置為指示當前圖像不使用IRP進行解碼的值時，解碼模組123不執行使用IRP的解碼處理。當變量的值被設置為指示使用IRP對當前圖像進行解碼的值時，解碼模組123開始使用IRP解碼當前圖像。
在一個示例中，解碼控制器121被配置為執行解碼圖像緩衝器管理功能。例如，解碼控制器121可以接收包括用於解碼當前圖像的參考圖像的PPS。除了其他類型的參考圖像之外，參考圖像集還可以包括IRP和/或當前參考圖像。基於參考圖像集，解碼控制器121可以將由先前圖像使用的、但不由當前圖像使用的參考圖像標記為非參考圖像，該非參考圖像可以在顯示之後自解碼圖像緩衝器126移除。此外，解碼控制器121可以命令內插模組122生成和存儲IRP以用於對解碼圖像緩衝器126中的當前圖像進行解碼。
特別地，在一個示例中，解碼控制器121還被配置為管理解碼圖像緩衝器126以存儲一個或複數個IRP。例如，當要解碼當前圖像時，解碼控制器121可以分配用於存儲解碼當前圖像的IRP的圖像緩衝器。例如，當解碼圖像緩衝器126中沒有圖像緩衝器可用於IRP的存儲時，解碼控制器121可以從解碼圖像緩衝器126去除參考圖像，以產生用於存儲IRP的圖像緩衝器。在一個示例中，在使用IRP解碼當前圖像之後，解碼控制器121可以從解碼圖像緩衝器126中去除 IRP。在一個示例中，解碼控制器121可以確定IRP將用於解碼未來圖像。因此，用於解碼當前圖像的IRP可以保留在解碼圖像緩衝器126中。
解碼模組123被配置為對已編碼的位元流中攜帶的已編碼圖像的塊進行解碼。具體地，解碼模組123接收與當前圖像中的塊相對應的畫面間編碼或畫面內編碼預測參數，並相應地生成塊的預測部分。然後可以將預測部分與從解碼器120的其他部件(未示出)生成的殘差部分組合以獲得解碼塊。
在一個示例中，當解碼當前圖像時，解碼模組123執行參考圖像列表構建處理以構造一個或複數個參考列表。構造的參考列表可以用於參考對當前圖像的塊進行解碼的參考圖像。在一個示例中，當前圖像包括複數個切片。可以相對於當前圖像中的其他切片獨立地解碼每個切片。每個切片可以包括複數個塊，該複數個塊其中的一部分使用畫面間編碼進行編碼。在這些畫面間已編碼塊中，利用單向預測編碼的塊可具有包括參考索引的預測參數，該參考索引在參考圖像列表中，而使用雙向預測編碼的塊可以具有包括兩個參考索引的預測參數，該兩個參考索引分別與兩個參考圖像列表相關聯。在編碼器110的編碼處理期間，上述參考圖像列表被構造成能夠創建預測參數的參考索引。現在在解碼器120中，可以重建相同的一組參考圖像列表。借助於重建的參考圖像列表，可以確定用於解碼各個畫面間已編碼塊的參考圖像。
在一個示例中，參考圖像列表定義於切片級別。不同的切片可以具有相同或不同的參考圖像列表集。因此，當 解碼模組123在對當前圖像的切片進行解碼時，首先進行參考圖像列表構造處理，以構成用於切片的各自的一個或複數個參考圖像列表。例如，當對當前圖像的切片進行解碼時，解碼模組123接收切片片段標頭，該切片片段標頭包括指示使用一個或複數個IRP對各個切片進行編碼的標誌。因此，解碼模組123啟動構造一個或複數個參考圖像列表，其中至少一個包括用於切片的一個或複數個IRP。
在一個示例中，解碼模組123基於為包括切片的當前圖像定義的參考圖像集，構建用於切片的參考圖像列表。例如，參考圖像集中的參考圖像被選擇並排列在參考圖像列表中。
此外，解碼模組123基於指定參考圖像列表的排列的構造規則，來構建用於切片的參考圖像列表。例如，構造規則指定如何構造參考圖像列表，例如，解碼圖像緩衝器126中哪個參考圖像被選擇，以什麼順序將這些所選擇的參考圖像排列在參考圖像列表中。構造規則可以由切片的片段標頭中攜帶的語法元素指示或指定。或者，構造規則可以是默認規則。當沒有接收到語法元素指示或指定規則時，解碼模組123依據默認規則執行構造。語法元素指示或指定的規則、或默認規則與編碼器110採用的在編碼器110處構造用於相同切片的參考圖像列表的規則相同。
在一個示例中，解碼控制器121被配置為確定參考圖像列表的排列，以用於對切片或圖像進行解碼，並且解碼模組123依據由解碼控制器121確定的參考圖像列表的排列來 構建參考圖像列表。例如，解碼控制器121可以基於指示或包括參考圖像列表的排列的語法元素來確定參考圖像列表的排列。或者，在已編碼的位元流中不攜帶指示或包含參考圖像列表的排列的語法元素，並且解碼控制器121基於指定參考圖像列表的默認排列的預配置來確定參考圖像列表的排列。
在一個示例中，解碼模組123包括畫面間預測模組124。在另一示例中，解碼模組123還可以包括畫面內預測模組125。畫面間預測模組124被配置為處理畫面間已編碼的塊(由畫面間圖像編碼來編碼的塊)並生成畫面間已編碼塊的預測部分。例如，正在處理的當前圖像中的當前切片的畫面間已編碼塊(當前塊)。使用單向預測對當前塊進行編碼，並且當前塊的預測參數包括當前切片的參考圖像列表中的參考索引。基於參考索引和當前切片的構造的參考列表，可以確定參考圖像。預測參數還可以進一步包括運動訊息，例如與用於指示參考圖像中的匹配區域的位置相對於當前圖像中的當前塊的位置的運動矢量相關聯的索引。因此，可以獲得當前塊的預測。
在一個示例中，畫面內預測模組125被配置為處理畫面內已編碼塊(透過畫面內圖像編碼來編碼的塊)並生成畫面內已編碼塊的預測部分。例如，畫面內已編碼塊的預測參數可以包括畫面內模式訊息。畫面內預測模組125基於畫面內已編碼塊的畫面內模式訊息和先前解碼的相鄰塊，構造畫面內已編碼塊的預測。
在另一示例中，畫面間預測模組124被配置為處 理由畫面內塊複製編碼的塊並生成塊的預測部分。例如，在內環路濾波之前的當前參考圖像被存儲在解碼圖像緩衝器126中並且用作參考圖像，並且處理先前使用畫面內塊複製編碼的當前塊。當前塊可以具有預測參數，該預測參數包括與指示當前圖像中解碼的相鄰塊的位置的運動矢量相關聯的訊息。因此，可以獲得當前塊的預測。
解碼圖像緩衝器126被配置為存儲參考圖像，該參考圖像用於解碼由畫面間圖像編碼或畫面內塊複製編碼的塊。具體地，當解碼用IRP編碼的圖像時，可以將一個或複數個IRP 127存儲在解碼圖像緩衝器126中。在一個示例中，解碼圖像緩衝器126包括複數個圖像緩衝器，每個圖像緩衝器可被分配用於存儲參考圖像。
注意，系統100是用於說明使用IRP的編碼和解碼過程的簡化系統。系統100的編碼器110和解碼器120可以包括用於執行第1圖中未示出的編碼或解碼處理的其它組件。
第2A圖-第2C圖示出了依據本公開的實施例的第一IRP生成方法的示例。第2A圖和第2C圖所示的IRP生成方法被稱為加權圖像平均(weighted picture average)。加權圖像平均方法可以在第1圖的示例中的編碼器110或解碼器120中採用，以用於IRP的生成。解碼器120用作說明加權圖像平均方法的示例。
第2A圖示出以輸出(顯示)順序排列的三個圖像211-213。圖像211是正在處理的當前圖像，其使用IRP解碼。圖像212是相對於當前圖像的過去的參考圖像(即，圖像212 的圖像順序計數(picture order count,POC)值小於當前圖像211的圖像順序計數值)，而圖像213是相對於當前圖像的未來參考圖像(即，圖片213的圖像順序計數值大於當前圖像211的圖像順序計數值)。過去參考圖像212和未來參考圖像213是存儲在解碼圖像緩衝器126中的解碼圖像。過去參考圖像212與當前圖像211的距離是d1。未來參考圖像213與當前圖像的距離是d2。通常以恆定速率顯示圖像序列，並且兩個相鄰圖像之間的週期恆定。因此，輸出順序的兩張圖像之間的距離是指兩張圖像之間的複數個週期。
如第2A圖所示，用於解碼當前圖像211的IRP可以透過計算過去參考圖像212和未來參考圖像223之間的加權圖像平均來獲得。例如，IRP中的內插像素的像素值可以表示為Pi，並且可以依據以下表達式計算像素值Pi， 其中Pp表示過去參考圖像212中的、位於與內插像素相同位置的像素的像素值，Pf表示未來參考圖像213中的、位於與內插像素相同位置的像素的像素值。IRP中像素的像素值透過過去參考圖像212和未來參考圖像213之間的加權圖像平均值形成。
第2B圖示出了當前圖像221，第一過去參考圖像222和第二過去參考圖像223。當前圖像221和第一過去參考圖像222之間的距離是d1，當前圖像221和第二過去參考圖像223之間的距離是d2。類似地，可以透過使用表達式(1)計 算加權圖像平均值來獲得用於解碼當前圖像221的IRP。
第2C圖出了當前圖像231，第一未來參考圖像232和第二未來參考圖像233。當前圖像231和第一未來參考圖像232之間的距離是d1，當前圖像231和第二未來參考圖像233之間的距離是d2。類似地，可以透過使用表達式(1)計算加權圖像平均值來獲得用於解碼當前圖像231的IRP。
在一些示例中，分配給每個參考圖像的加權可以是相同的。或者，分配給每個參考圖像的加權可以取決於當前圖像的時間距離(例如，分配給更靠近當前圖像的參考圖像的較高權重)。加權也可以由編碼器側指定並發送到解碼器側。
第3A圖-第3C圖示出了依據本公開的實施例的第二IRP生成方法的示例。第3A圖和第3C圖所示的IRP生成方法被稱為運動補償內插法。運動補償內插方法可以在第1圖示例中的編碼器110或解碼器120中採用。解碼器120用作運動補償圖像內插方法的說明的示例。
第3A圖示出了在解碼器120處處理當前圖像(未示出)相关的過去參考圖像312和未來參考圖像313。過去參考圖像312和未來參考圖像313分別自當前圖像具有距離d1和d2。第3A圖還示出了用於解碼當前圖像並需要被構造的IRP311。如圖所示，IRP311設置在距離圖像312具有距離d1、以及距離第3A圖中的圖像313具有距離d2的位置。
在一個示例中，為了獲得IRP311，內插模組122首先依據過去參考圖像312對未來參考圖像313中的塊執行運動估計。如此一來，運動矢量場是可以獲得的，運動矢量場包 括複數個運動矢量，每個運動矢量各自對應於未來參考圖像313中的塊。運動矢量場中的每一個運動矢量，從過去參考圖像313中的參考塊開始，並且終止於未來參考圖像313的塊。
第3A圖示出作為運動矢量場之一的運動矢量301。運動矢量從過去參考圖像312中的塊312A開始，並在未來參考圖像313中的塊313A處結束。運動矢量301经过IRP 311中的塊311A。運動矢量301经过IRP 311的點可以基於塊313A和塊312A的位置以及距離d1和d2來確定。然後可以使用第2A圖中示例的表達式(1)類似地計算塊311A中的像素的像素值，其中，塊311A，312A和313A的像素值分別代替圖像211,212和213的像素值。在另一示例中，使用塊312A和313A中的更接近當前圖像的一個塊的像素值作為塊311A的像素值。
在一個示例中，基於運動向量301的確定像素值的上述處理被重複以用於運動向量場中的每個運動向量。IRP 311中的塊可能具有複數個運動矢量經過，而另一個塊可能具有零個運動矢量經過。對於前一種情況，在一個示例中，從複數個運動矢量計算的多組像素值中的一個被選擇為該塊的像素值。對於後一種情況，在一個示例中，選擇在IRP 311中沒有矢量經過的塊的相鄰塊，並且使用所選擇的相鄰塊的像素值作為另一塊的像素值。用於計算IRP 311的像素值的上述處理被稱為運動補償圖像內插。
第3B圖示出了以輸出順序排列的相對於當前圖像(未示出)的兩個過去參考圖像322和323。兩個過去參考圖 像322和323距當前圖像的距離分別為距離d1和距離d2。第3B圖還示出了用於對當前圖像進行解碼並依據兩個過去參考圖像322和323進行計算的IRP321。如圖所示，IRP 321被設置在分別自圖像322的距離d1、自圖像323的距離d2的位置處。類似地，可以執行如下所述的運動補償圖像內插以獲得IRP 321的像素值。
例如，內插模組122可以首先執行運動估計以獲得運動矢量場。例如，可以參照第二過去參考圖像323對第一過去參考圖像322中的塊執行運動估計。隨後，對於每個運動矢量，可以計算由各個運動矢量經過的塊的像素值。作為示例，運動矢量302從第二過去參考圖像323中的塊323A開始並終止於塊322A。因此，可以透過擴展運動矢量302來確定IRP 321中的塊321A。隨後，可以使用第2A圖中示例的表達式(1)來計算塊321A的像素值，其中，塊321A，322A和323A的像素值分別代替圖像211,212和213的像素值。以類似的方式，可以處理沒有運動矢量經過或具有複數個運動矢量經過的IRP 321中的塊。最終，可以獲得IRP 321的像素值。
第3C圖示出了以輸出順序相對於當前圖像的兩個未來參考圖像332和333。未來參考圖像332和未來參考圖像333各自距當前圖像的距離為距離d1和距離d2。第3C圖還示出了用於對當前圖像進行解碼的IRP 331，其設置在第3C圖所示的位置處。以類似於第3B圖的示例中的方式，可以執行運動補償圖像內插以計算IRP 331。作為示例，示出了從塊333A開始並終止於塊332A的運動矢量303。可以透過擴展運動矢 量303來確定IRP 331中的塊。隨後，第2A圖中的表達式(1)可以被使來計算塊331A的像素值。
在第3A圖-第3C圖的每個示例中，IRP和未來參考圖像、或IRP和過去參考圖像以相同的方式被分成塊。因此，對於IRP和未來參考圖像、或IRP和過去參考圖像，每個塊的數量是相同的，並且每個塊具有相同的大小。此外，使用具有單個亮度分量或色度分量的單色圖像來說明上述示例中的IRP生成方法。對於包括複數個分量的圖像，塊可以具有對應於不同分量的像素值。因此，對應於各個分量的像素值可以形成一個塊，因此這裡描述的方法可以應用於這樣的塊。
在視訊編碼系統100中執行的編碼處理和解碼處理的一個示例中，編碼控制器111向內插模組112指示或發送一組內插參數。相應地，內插模組112生成IRP。另外，內插參數被發送到解碼器120，使得可以在解碼器120處構造相同的IRP，以解碼在編碼器處參照相應的IRP編碼的圖像。
在一個示例中，複數組預先配置的內插參數被預先定義並存儲在編碼器110和解碼器110中。每組內插參數可以包括用於產生IRP的方法(例如，加權圖像平均或運動補償內插)，用於從當前圖像生成IRP的參考圖像的距離，識別各個參考圖像(例如，圖像順序計數(picture order count,POC))，每個參考圖像的加權等。對於當前圖像，可能適用不同的內插參數集。因此，指示內插參數集的索引被包括在已編碼的位元流132的語法元素(例如PPS)中並被發送到解碼器120。在解碼器120側，基於該索引，內插參數集可以被確 定以用於當前圖像。
在另一個示例中，在編碼器處使用默認的內插參數集來對圖像進行編碼，並且沒有發送該內插參數集的訊息。由於在已編碼的位元流132中沒有內插參數集的訊息，解碼器120採用默認的內插參數集。在另一示例中，例如，透過在PPS中包括內插參數，將內插參數集明確地發送到解碼器120。內插參數集可以是複數組預配置內插參數中的一組，也可以與複數組預配置內插參數不同。
第4A圖-第4B圖示出了依據本公開的實施例的參考圖像列表構造的示例。第4A圖示出對應於當前圖像的參考圖像集400A。參考圖像集400A包括參考圖像401-410，參考圖像401-410用於編碼(或解碼)當前圖像中由畫面間圖像編碼或畫面內塊複製編碼的切片或塊。在第4A圖的示例中，參考圖像401-410以緩衝存儲器位置的順序示出，例如在解碼圖像緩衝器126中。每個位置存儲相應的參考圖像。第4A圖中的順序可以不同於參考圖像401-410的輸出順序或編碼順序。
前七個參考圖像401-407是圖像序列中的解碼圖像，並且可以被分類為一組短期(short-term)參考圖像401,403,404和407以及一組長期(long-term)參考圖像402，405，和406。通常，短期參考圖像是指與當前圖像的時間接近的圖像。例如，可以定義被稱為圖像組的時間圖像編碼結構(temporal picture coding structure)。與當前圖像相同的圖像組中的參考圖像可以定義為短期參考圖像。相比之下，長期參考圖像是指離當前圖像較遠的圖像，例如，在定義包含當前圖 像的圖像組之外。作為示例，HEVC標准定義長期參考圖像和短期參考圖像。
除了先前解碼圖像的參考圖像401-407之外，參考圖像集400A還包括基於解碼圖像生成的IRP 408-409。用於產生IRP的解碼圖像可以包括在當前參考圖像集400A或先前解碼圖像使用的先前參考圖像集中。此外，在當前圖像包括使用畫面內塊複製來編碼的塊的情況下，當前參考圖像可以被包括在參考圖像集400A中。
如圖所示，在每個參考圖像下方提供參考圖像類型，其中S表示短期參考圖像，L表示長期參考圖像，I表示IRP，而C表示當前參考圖像。另外，識別符a-j在每個參考圖像下方示出。在其他示例中，使用POC來識別解碼的參考圖像401-407，並且可以將特殊索引分配給IRP或當前參考圖像以表示相應的參考圖像。在參考第4A圖-第4B圖的示例，選擇參考圖像集400A的一部分成員來構造用於處理當前圖像中的切片的參考圖像列表。例如，參考圖像402-404,406,408和410被選擇用於構建參考圖像列表。選擇由圍繞所選參考圖像的識別符的訊框指示或基於預定規則指示。
第4B圖示出了依據本公開的實施例的表400B中的構造的參考列表的排列的示例。例如，如第1圖所示，解碼器120中的解碼模組123或編碼器110中的編碼模組113在對當前圖像的當前切片進行解碼或編碼開始時構造一個或複數個參考圖像列表。基於構建的參考圖像列表，可以生成用於參考參考圖像的參考索引。在一個示例中，IRP用於對當前圖像 進行編碼或解碼。因此，解碼模組123或編碼模組113可以使用表400B中的一種排列來構建每個包括一個或複數個IRP的一個或複數個參考圖像列表。參考圖像列表排列定義了哪些參考圖像包括在相應的參考列表中，並以什麼順序包括在相應的參考列表中。
假設在當前切片中不採用畫面內塊複製，列(column)411示出了其中一個或複數個IRP設置在參考圖像列表的末端的第一排列。具體地，在該示例中，兩個短期參考圖像c和d被排列在構造的參考圖像列表的開始處，隨後是兩個長期參考圖像b和f。 IRP h位於參考圖像列表的末尾。
列412示出了假設在當前切片中不採用畫面內塊複製的情況下，其中一個或複數個IRP設置在短期參考圖像和長期參考圖像之間的第二排列。具體地，在該示例中，兩個短期參考圖像c和d被排列在構造的參考圖像列表的開始處，隨後是IRP h。兩個長期參考圖像b和f排列在參考圖像列表的末尾。
列413-列416示出了採用畫面內塊複製並且當前參考圖像j被包括在參考圖像列表中的參考圖像列表排列。具體來說，在列413和列414中，IRP h和當前參考圖像j被排列在參考圖像列表的末尾(即，分別被排列在最後位置和倒數第二位置)，並且參考圖像h和參考圖像j的位置在列413和414中的兩個排列中被交換。在列415和列416，參考圖像h和參考圖像j設置在短期參考圖像和長期參考圖像之間，並且參考圖像h和j的位置在列415和416中的兩個排列中被交換。
列417示出了由語法元素指定的排列。例如，可以採用與列411-列416中所示的排列不同的排列。例如，依據編碼器或解碼器的確定，IRP可以被排列在參考列表中的任意位置。
注意，在各種示例中，參考圖像集的尺寸可以變化，並且IRP，短期參考圖像和長期參考圖像的數量可以變化。因此，可以調整參考圖像排列以匹配不同的尺寸和數量。注意，包括IRP的參考圖像的排列不限於第4B圖所示的示例。IRP可以設置在參考圖像列表的任何位置。例如，在第4B圖的例子中，可以將IRP h設置在參考圖像列表的開始處，參考圖像列表的默認位置，在高級語法元素中指定的參考圖像列表的特定位置，或者在短期參考圖像或長期參考圖像之間的位置。
在各種示例中，包括IRP的參考圖像列表的排列可以以多種方式從編碼器110發送到解碼器120。例如，可以將索引分配給可能的參考圖像列表排列選項，例如表400B中列出的選項或表400B中未列出的選項。索引可以被包括在語法元素(例如PPS)或切片片段標頭中，並且在已編碼的位元流132中被發送。對於另一示例，表400B中列出或未列出的排列選項之一可被配置為在編碼器110和解碼器120處的默認排列，並且沒有相關聯的語法元素被發送。對於另一示例，可以將參考圖像列表排列明確地包括在語法元素中，諸如PPS或切片片段標頭，並且從編碼器110發送到解碼器120。明確被發送的參考圖像列表排列可以是複數個預配置排列選項 411-416中的一個，或者可以不同於預先配置的排列選項411-416。
因此，在一個示例中，對應於上述多種方式中的一種，編碼控制器111生成並發送指示參考圖像列表排列的相應語法，而解碼模組123接收相應的語法並執行相應的參考圖像列表構造。
第5圖示出了依據本公開的實施例的示例性編碼器500。編碼器500執行與第1圖示例中的編碼器110類似的功能，並且包括編碼器110中包括的但具有更多細節的組件。編碼器500包括編碼控制器510，內插模組520，編碼模組530，解碼圖像緩衝器540，加法器550，殘差編碼器560，重建模組570和熵編碼模組580，其中，編碼模組530包括畫面間預測模組531和畫面內預測模組532，解碼圖像緩衝器可存儲IRP。這些組件如第5圖所示耦合在一起。
編碼器500接收輸入圖像501的序列，並對輸入圖像的序列進行編碼以產生已編碼的位元流502。特別地，編碼器500使用一個或複數個內插圖像作為參考圖像進行畫面間圖像編碼。編碼器500中編碼控制器510，內插模組520，編碼模組530，畫面間預測模組531，畫面內預測模組532，存儲IRP541的解碼圖像緩衝器540分別具有與編碼控制器111，內插模組112，編碼模組113，畫面間預測模組114，畫面內預測模組115，存儲IRP的解碼圖像緩衝器116類似的結構或功能。第5圖中的那些部件的描述在此省略。
加法器550接收輸入圖像501的塊和從編碼模組 530生成的相應塊的預測。在一個示例中，加法器550隨後從塊中減去塊的預測以生成塊的殘差部分。在一個示例中，加法器550對輸入圖像501的每個塊執行減法運算。然後將殘差部分傳遞給殘差編碼器560。
在一個示例中，殘差編碼器560壓縮輸入圖像501的殘差部分以產生壓縮的殘差部分。例如，殘差編碼器560可以首先對塊的殘差部分應用諸如離散餘弦變換(discrete cosine transform,DCT)，小波變換(wavelet transform)等的變換，並生成塊的變換係數。隨後，殘差編碼器560可以量化係數以壓縮殘差部分。壓縮的殘差部分被傳送到重建模組570和熵編碼模組580。
在一個示例中，重建模組570接收來自編碼模組530的塊的預測和來自殘差編碼器560的塊的對應的壓縮部分。然後，重建模組570執行量化的逆過程，並且在殘差編碼器560處執行的變換操作以重建殘差部分。由於量化操作，重建殘差部分與從加法器550生成的原始殘差部分相似，但通常與原始版本不同。此後，重建模組570將重建的殘差部分與接收到的預測部分組合以重建已解碼的圖像。然後，已解碼圖像可以被存儲在解碼圖像緩衝器540中。在一些示例中，已解碼圖像在存儲到解碼圖像緩衝器540之前由內環路(in-loop)濾波器處理。內環路濾波器可以是去塊濾波器，樣本自適應偏移濾波器和自適應環路濾波器的一個或其組合。然而，本申請不限於此。
在一個示例中，熵編碼模組580接收來自殘差編 碼器560的已壓縮的殘差部分(例如量化的係數)，來自編碼模組530的預測參數和畫面內模式訊息，使用自編碼控制器510產生的IRP相關的語法元素。熵編碼模組580處理那些接收的訊息以進一步減少用於表示這些訊息的位元數。例如，可以執行預測編碼，可變長度編碼，算術編碼等，以進一步壓縮接收到的訊息。此後，依據某些語法(例如由視訊編碼標準指定的語法)將接收到的具有壓縮形式的訊息組裝到已編碼的位元流502中。在各種示例中，已編碼的位元流502可以透過網絡發送到解碼裝置，或者可以被發送到存儲裝置並存儲在存儲裝置中。
第6圖示出了依據本公開的實施例的示範性的解碼器600。解碼器600執行與第1圖中的解碼器120類似的功能，並且包括解碼器120中包括的但具有更多細節的組件。解碼器600包括熵解碼模組610，解碼控制器620，內插模組630，殘差解碼器640，解碼模組650，解碼圖像緩衝器660，加法器670和輸出濾波器680，其中，解碼模組650包括畫面間預測模組651和畫面內預測模組652，解碼圖像緩衝器660可存儲IRP，也就是說，解碼圖像緩衝器660包括IRP661。這些組件如第5圖所示耦合在一起。
編碼器600接收由諸如編碼器500的編碼器生成的已編碼的位元流601，並且執行解碼處理以產生輸出圖像602。特別地，解碼器600使用一個或複數個內插圖像作為參考圖像來解碼已編碼的位元流601中攜帶的壓縮視訊資料。可以透過網絡從編碼設備接收已編碼的位元流，或者可以從諸如 CD-ROM，磁碟，快閃記憶體等的存儲設備中檢索。
解碼控制器620，內插模組630，解碼模組650，畫面間預測模組651，畫面內預測模組652和解碼圖像緩衝器660分別具有與解碼控制器121，內插模組122，解碼模組123，畫面間預測模組124，畫面內預測模組125和解碼圖像緩衝器126。第6圖中的那些部件的描述在此省略。
在一個示例中，熵解碼模組610執行由第5圖示例中的熵編碼模組580執行的操作的逆處理。例如，可以透過諸如可變長度編碼的逆過程，預測編碼處理的逆處理和算術編碼的逆過程等的逆過程，來獲得塊的壓縮殘差部分，預測參數或畫面內模式訊息以及與IRP的使用相關的語法元素。隨後，可以分別向殘差解碼器640，解碼模組650和解碼控制器620提供塊的壓縮殘差部分，預測參數或畫面內模式訊息以及與IRP的使用相關的語法元素。
在一個示例中，殘差解碼器640接收塊的壓縮的殘差部分，並執行量化和變換處理的逆過程以獲得塊的殘差部分。殘差部分被提供給加法器670。在一個示例中，加法器670從殘差解碼器640接收塊的殘差部分並從解碼模組650接收塊的預測，並且將塊的殘差部分和塊的相應的預測相組合以產生重建的塊。
在一個示例中，輸出濾波器680從加法器670接收重建的塊，並且執行去塊處理以平滑圖像中不同塊之間的邊界區域。因此，濾波後的圖像被生成以作為輸出圖像602。此外，濾波後的圖像被存儲到解碼圖像緩衝器660中以用作參 考圖像。在一些示例中，輸出濾波器680可以對應於去塊濾波器，樣本自適應偏移濾波器和自適應環路濾波器中的一個或組合。然而，本申請不限於此。在一個示例中，濾波後的圖像在輸出之前被存儲在解碼圖像緩衝器660中。因此，解碼控制器620可以管理解碼圖像緩衝器660，例如，將解碼圖像緩衝器660中的圖像標記為參考圖像或非參考圖像，並在輸出之後移除非參考圖像。
在各種示例中，編碼器500和解碼器600可由可以包括解碼器500，編碼器600，或編碼器500和解碼器600兩者的一個或複數個視訊編解碼裝置來實作。編碼器500或解碼器600的組件可以用合適的軟件或硬件或其組合來實作。例如，可以使用諸如應用專用IC(application specific IC,ASIC)，現場可程式閘陣列(FPGA)等的各種集成電路(IC)來實作編碼器或解碼器600的組件，並且可以在一個IC或複數個IC中實作。編碼器或解碼器600的組件可以被實作為包括指令的計算機程式。指令可以存儲在諸如RAM，ROM，CD-ROM，磁碟存儲器，快閃記憶體等的存儲介質中。當由處理器或處理電路執行時，指令可以使處理器或處理電路執行編碼器500或解碼器600中各個組件的功能。因此，編碼器500或解碼器600可以包括合適的存儲介質，處理器或處理電路。解碼圖像緩衝器540和解碼圖像緩衝器660可以用任何合適的存儲器來實作，例如DRAM，SRAM等。
第7圖示出了依據本公開的實施例的使用IRP編碼圖像序列的過程700。過程700可以由第1圖示例中的編碼 器110來執行，或第5圖示例中的編碼器500來執行。第1圖示例用於說明過程700。過程700從步驟S701開始進行到步驟S710。
在步驟S710中，可以在編碼控制器111處生成指示一組內插參數的語法元素或生成包含一組內插參數的語法元素。例如，編碼控制器111觸發內插模組112構造用於編碼當前圖像的一個或複數個IRP。同時，用於生成IRP的內插參數，例如構造方法，參考圖像的識別符，參考圖像與當前圖像的距離被提供至內插模組112。這些提供的內插參數被包括於已編碼的位元流132的語法元素中，或由已編碼的位元流132來指示，并被發送至解碼器120。
在步驟S720中，基於由步驟S710中生成的語法元素指示的一組內插參數，或者基於在步驟S710中生成的語法元素包括的一組內插參數，用於編碼當前圖像的IRP在內插模組112處產生。IRP可以被存儲到解碼圖像緩衝器116中，並且稍後用作參考圖像。
在步驟S730中，在編碼控制器111處生成第一標誌。該標誌指示使用IRP對當前圖像的切片進行編碼。可以將第一標誌包括在對應於切片的切片片段標頭中。
在步驟S740中，在編碼控制器111處生成語法元素。語法元素指示包括IRP的參考圖像列表的排列，或包括該包括IRP的參考圖像列表的排列。語法元素可以被包括在對應於切片的切片片段標頭中或由切片參考的PPS中。
在步驟S750中，依據步驟S740中提到的參考圖 像列表的排列，包括IRP的參考圖像列表由編碼模組113來構造。
在步驟S760中，基於在步驟S750處構造的參考圖像列表和在步驟S720處構造的IRP，由畫面間預測模組114對當前圖像的切片進行編碼。例如，可以使用畫面間圖像編碼對切片中的塊進行編碼，並且參考IRP中的塊來生成當前圖像的相應塊的預測。包括IRP的參考圖像列表的參考索引可用於指示包括IRP的參考圖像。
在步驟S770中，在編碼控制器111處產生指示用於解碼當前圖像的IRP的使用的第二標誌。第二標誌可以被包括在與當前圖像相關聯的PPS中。例如，當前圖像的切片可以包括參考PPS以獲知標誌的存在的切片片段標頭。過程700進行到步驟S799，並在步驟S799終止。
第8圖示出了依據本公開的實施例的解碼使用IRP編碼的圖像序列的過程800。處理800可以在第1圖的示例中的解碼器120處執行，或在第6圖的示例中的解碼器600處執行。第1圖的示例用於說明過程800。過程800在步驟S801開始並進行到步驟S810。
在步驟S810中，在解碼控制器121處接收到指示IRP的使用的標誌。該標誌可以被包括在與圖像序列的當前圖像相關聯的PPS中，由此指示當前圖像使用IRP而被編碼。PPS可以包括在解碼器120處接收的已編碼的位元流中。
在步驟S820中，在解碼控制器121處決定是否使用IRP來解碼當前圖像。例如，解碼控制器121可以檢查解碼 圖像緩衝器126是否具有可用於存儲IRP的圖像緩衝器和用於生成IRP的各個參考圖像。當使用畫面內塊複製來解碼當前圖像時，該決定還考慮解碼圖像緩衝器116中的解碼圖像緩衝器是否可用於存儲當前圖像的版本。此外，解碼控制器121可以在解碼圖像緩衝器126中檢查用於產生IRP的參考圖像是否可用。當解碼圖像緩衝器116中的解碼圖像緩衝器可用於存儲IRP，用於生成IRP的參考圖像，和當前圖像的版本(當使用畫面內塊複製時)時，解碼控制器121繼續解碼當前圖像的處理，並進入步驟S830。否則，處理800進行到步驟S899，並且當前圖像的解碼操作在步驟S899終止。
在步驟S830中，在編碼控制器111處接收指示用於生成IRP的一組內插參數的語法元素或接收包括用於生成IRP的一組內插參數的語法元素。例如，可以接收與當前圖像相關聯的PPS。PPS可以包括一組插值參數。或者，在PPS中，接收表示一組插值參數的語法元素。因此可以獲得內插參數並將其提供給內插模組122。在其他示例中，不接收包括一組內插參數的語法元素或指示一組內插參數的語法元素。因此，可以使用一組默認的內插參數。
在步驟S840中，基於在步驟S830中描述的內插參數，在內插模組122處產生用於解碼當前圖像的IRP。然後可將IRP存儲在解碼圖像緩衝器126中。
在步驟S850中，在解碼模組123處接收第二標誌。第二標誌指示使用IRP對當前圖像的切片進行編碼。第二標誌可以被包括在切片的切片標頭中，或者可以包括在由切片 引用的PPS中。
在步驟S860中，在解碼模組123處接收指示包括IRP的參考圖像列表的排列的語法元素，或接收包括該包括IRP的參考圖像列表的排列的語法元素。語法元素可以被包括在切片的切片片段標頭中，或者可以是由切片參考的PPS。因此，可以獲得該排列並用於重建參考圖像列表。或者，在其他示例中，沒有接收到指示參考圖像列表的排列的語法元素，或者包括參考圖像列表的排列的語法元素。因此，可以使用默認排列。
在步驟S870中，參考圖像列表可以由解碼模組123基於步驟S860中描述的參考圖像列表的排列來構造。
在步驟S880中，基於在步驟S840構造的IRP和包括IRP的構造的參考圖像列表，來對切片進行解碼。例如，畫面間預測模組124可以接收參考IRP的切片中塊的預測參數，以用於畫面間圖像編碼。預測參數可以包括參考索引於引用IRP的參考圖像列表中。基於參考索引，可以確定IRP。隨後，可以基於諸如運動矢量的其他預測參數，來獲得塊的預測。過程800進行到步驟S899，並在步驟S899結束。
第9圖示出了依據本公開的實施例的用於對圖像進行編解碼的過程900。過程900可以在編碼器(例如，第1圖的示例中的編碼器110或第5圖的示例中的編碼器500)中執行，或者在解碼器(例如，第1圖示例中的解碼器120或第6圖示例中的解碼器600)。處理900從步驟S901開始，進入步驟S910。
在步驟S910，接收與當前圖像相關聯的輸入資料。在編碼器側，輸入資料可以對應於包括當前圖像的輸入圖像的序列。在解碼器側，輸入資料可以對應於與當前圖像相關聯的已編碼的位元流。
在步驟S920，依據解碼圖像緩衝器(解碼圖像緩衝器)的大小和存儲在解碼圖像緩衝器中的參考圖像，指示內插參考圖像(IRP)是否用於編碼或解碼當前圖像的變量的值被確定。在一些示例中，該值與以下一個或複數個特征相關聯：存儲在解碼圖像緩衝器中的參考圖像的數量，解碼圖像緩衝器是否已滿，解碼圖像緩衝器中是否存在兩個不同的參考圖像，啟用或禁用IRP的高級語法元素，以及是否使用畫面內塊複製(intra block copy,IBC)。變量的值可以由編碼器向解碼器顯式地發送，或者可以由解碼器透過使用與編碼器使用的相同的確定標準來隱式地導出。
在步驟S930，基於變量的值確定是否使用IRP編碼或解碼當前圖像。
在步驟S940，當變量的值表示當前圖像將透過使用IRP進行編碼或解碼時，基於存儲在解碼圖像緩衝器中的參考圖像生成的IRP用於對當前圖像進行編碼或解碼。處理900進行到步驟S999，並在步驟S999結束。
在步驟S950，當變量的值指示當前圖像不透過使用IRP進行編碼或解碼時，除了IRP之外的一個或複數個參考圖像用於對當前圖像進行編碼或解碼。處理900進行到步驟S999，並在步驟S999結束。
雖然為了簡化說明的目的，過程700,800和900被示出和描述為一系列步驟，應當理解，在各種實施例中，步驟可以以不同的順序執行和/或與上述的其他步驟同時執行。此外，可能不需要所有示出的步驟來實作上述過程。
儘管已經結合具體實施例描述了本公開的各方面，其中，該具體實施例作為示例而提出。但是可以對示例的替代，修改和變化進行說明。因此，文中所闡述的實施例旨在是說明而不是限制本發明。在不脫離申請專利範圍的情況下，可以進行改變。

Claims (36)

  1. 一種用於將一圖像序列編碼成一已編碼位元流的裝置，包括：一解碼圖像緩衝器，被配置為存儲複數個參考圖像，該複數個參考圖像中的至少一個是一內插參考圖像；一內插電路，被配置為基於存儲在該解碼圖像緩衝器中的該複數個參考圖像來生成該內插參考圖像；一編碼電路，被配置為基於指示是否使用該內插參考圖像對該當前圖像進行編碼的一變量的值對該圖像序列中的一當前圖像進行編碼；以及一編碼控制器，被配置為依據該解碼圖像緩衝器的大小和存儲在該解碼圖像緩衝器中的該複數個參考圖像來確定該變量的值。
  2. 如申請專利範圍第1項所述之用於將一圖像序列編碼成一已編碼位元流的裝置，其中，該編碼控制器進一步被配置為：確定一組內插參數以用於生成該內插參考圖像；以及確定包括該內插參考圖像的一參考圖像列表的排列。
  3. 如申請專利範圍第2項所述之用於將一圖像序列編碼成一已編碼位元流的裝置，其中該內插電路進一步被配置為基於該組內插參數來執行以下操作中的至少一個，以生成該內插參考圖像：基於對於該當前圖像的一過去參考圖像和一未來參考圖像計算一加權圖像平均值，計算相對於該當前圖像的兩個過去參考圖像、或兩個未來參考圖像的一加權圖像平均值，對於該當前圖像執行一過去參考圖像和一未來參考圖像的一運動補償內插，或者對該當前圖像執行兩個過去參考圖像、或兩個未來圖像的一運動補償內插。
  4. 如申請專利範圍第2項所述之用於將一圖像序列編碼成一已編碼位元流的裝置，其中，該編碼電路還被配置為基於存儲在該解碼圖像緩衝器中的該複數個參考圖像，構建該參考圖像列表，以用於依據包括該內插參考圖像的該參考圖像列表的排列，對該當前圖像進行編碼。
  5. 如申請專利範圍第4項所述之用於將一圖像序列編碼成一已編碼位元流的裝置，其中，該參考圖像列表的排列包括：將該內插參考圖像排列在該參考圖像列表的一最後位置，該參考圖像列表的一默認位置，在一高級語法元素中指定的該參考圖像列表的一特定位置，或在該參考圖像列表中複數個短期參考圖像和複數個長期參考圖像之間的一位置。
  6. 如申請專利範圍第4項所述之用於將一圖像序列編碼成一已編碼位元流的裝置，其中，將一當前參考圖像用作一參考圖像以用於編碼該當前圖像，並且被包括於該參考圖像列表中，並且其中該參考圖像列表的排列包括將該內插參考圖像排列在以下一個位置中：一倒數第二位置，而該當前參考圖像處於該參考圖像列表的一最後位置；該最後位置，而該當前參考圖像處於該參考圖像列表的該倒數第二位置；在該當前參考圖像之前，以及該複數個短期參考圖像和該複數個長期參考圖像之間的一位置，其中該當前參考圖像排列在該複數個短期參考圖像和該複數個長期參考圖像之間；或者在該當前參考圖像之後，以及該複數個短期參考圖像和該複數個長期參考圖像之間的一位置，其中該當前參考圖像排列在該複數個短期參考圖像和該複數個長期參考圖像之間。
  7. 如申請專利範圍第2項所述之用於將一圖像序列編碼成一已編碼位元流的裝置，其中該編碼控制器進一步被配置為生成與該組內插參數集相關聯的一第一語法元素，以用於生成要併入該已編碼位元流中的該內插參考圖像，和/或生成與該參考圖像列表的排列相關的一第二語法元素，該參考圖像列表包括要併入已編碼位元流中的該內插參考圖像。
  8. 如申請專利範圍第1項所述之用於將一圖像序列編碼成一已編碼位元流的裝置，其中，該變量的值與以下的一個或複數個特征相關聯：該解碼圖像緩衝器中存儲的該複數個參考圖像的數量，該解碼圖像緩衝器是否已滿，使能或禁用該內插參考圖像的一高級語法元素，在該解碼圖像緩衝器中是否存在兩個不同的參考圖像，以及是否使用畫面內塊複製。
  9. 如申請專利範圍第1項所述之用於將一圖像序列編碼成一已編碼位元流的裝置，其中該編碼控制器進一步被配置為生成與要併入該已編碼位元流中的該變量的值相關聯的一語法元素。
  10. 如申請專利範圍第1項所述之用於將一圖像序列編碼成一已編碼位元流的裝置，其中，在該編碼電路編碼該當前圖像之前，一緩衝器空間被分配以用於存儲該內插參考圖像，並且在該編碼電路使用該內插參考圖像對該當前圖像進行編碼之後，從該解碼圖像緩衝器中刪除該內插參考圖像。
  11. 如申請專利範圍第1項所述之用於將一圖像序列編碼成一已編碼位元流的裝置，其中，在該編碼電路編碼該當前圖像之前，一緩衝器空間被分配以存儲該內插參考圖像，並且在該編碼電路使用該內插參考圖像編碼該參考圖像之後，該內插參考圖像仍在該解碼圖像緩衝器中以用於一未來圖像。
  12. 一種用於從一已編碼位元流解碼一圖像序列的裝置，包括：一解碼圖像緩衝器，被配置為存儲複數個參考圖像，該複數個參考圖像中的至少一個是一內插參考圖像；一內插電路，被配置為基於存儲在該解碼圖像緩衝器中的該複數個參考圖像來生成該內插參考圖像；一解碼電路，被配置為基於指示是否使用該內插參考圖像對該當前圖像進行解碼的一變量的值，對該圖像序列中的一當前圖像進行解碼；以及一編碼控制器，被配置為依據該解碼圖像緩衝器的大小和存儲在該解碼圖像緩衝器中的該複數個參考圖像來確定該變量的值。
  13. 如申請專利範圍第12項所述之用於從一已編碼位元流解碼一圖像序列的裝置，其中該解碼控制器進一步被配置為：確定一組內插參數以用於生成該內插參考圖像；以及確定包括該內插參考圖像的一參考圖像列表的排列。
  14. 如申請專利範圍第13項所述之用於從一已編碼位元流解碼一圖像序列的裝置，其中該內插電路進一步被配置為基於該組內插參數來執行以下操作中的至少一個，以生成該內插參考圖像：基於對於該當前圖像的一過去參考圖像和一未來參考圖像計算一加權圖像平均值，計算相對於該當前圖像的兩個過去參考圖像、或兩個未來參考圖像的一加權圖像平均值，對於該當前圖像執行一過去參考圖像和一未來參考圖像的一運動補償內插，或者，對該當前圖像執行兩個過去參考圖像、或兩個未來圖像的一運動補償內插。
  15. 如申請專利範圍第13項所述之用於從一已編碼位元流解碼一圖像序列的裝置，其中，該解碼電路還被配置為基於存儲在該解碼圖像緩衝器中的該複數個參考圖像，構建該參考圖像列表，以用於依據包括該內插參考圖像的該參考圖像列表的排列，對該當前圖像進行解碼。
  16. 如申請專利範圍第15項所述之用於從一已編碼位元流解碼一圖像序列的裝置，其中，該參考圖像列表的排列包括：將該內插參考圖像排列在該參考圖像列表的一最後位置，該參考圖像列表的一默認位置，在一高級語法元素中指定的該參考圖像列表的一特定位置，或在該參考圖像列表中複數個短期參考圖像和複數個長期參考圖像之間的一位置。
  17. 如申請專利範圍第15項所述之用於從一已編碼位元流解碼一圖像序列的裝置，其中，將一當前參考圖像用作一參考圖像以用於解碼該當前圖像，並且被包括於該參考圖像列表中，並且其中該參考圖像列表的排列包括將該內插參考圖像排列在以下一個位置中：一倒數第二位置，而該當前參考圖像處於該參考圖像列表的一最後位置；該最後位置，而該當前參考圖像處於該參考圖像列表的該倒數第二位置；在該當前參考圖像之前，以及該複數個短期參考圖像和該複數個長期參考圖像之間的一位置，其中該當前參考圖像排列在該複數個短期參考圖像和該複數個長期參考圖像之間；或者在該當前參考圖像之後，以及該複數個短期參考圖像和該複數個長期參考圖像之間的一位置，其中該當前參考圖像排列在該複數個短期參考圖像和該複數個長期參考圖像之間。
  18. 如申請專利範圍第13項所述之用於從一已編碼位元流解碼一圖像序列的裝置，其中，該解碼控制器進一步被配置為接收與該組內插參數相關聯的一第一語法元素，用於在該已編碼位元流中生成該內插參考圖像，和/或接收與該參考圖像列表的排列相關的一第二語法元素，該參考圖像列表包括該已編碼位元流中的該內插參考圖像。
  19. 如申請專利範圍第12項所述之用於從一已編碼位元流解碼一圖像序列的裝置，其中，該變量的值與以下的一個或複數個特征相關聯：該解碼圖像緩衝器中存儲的該複數個參考圖像的數量，該解碼圖像緩衝器是否已滿，在該解碼圖像緩衝器中是否存在兩個不同的參考圖像，使能或禁用該內插參考圖像的一高級語法元素，以及是否使用畫面內塊複製。
  20. 如申請專利範圍第12項所述之用於從一已編碼位元流解碼一圖像序列的裝置，其中該解碼控制器進一步被配置為接收與該已編碼位元流中的該變量的值相關聯的一語法元素。
  21. 如申請專利範圍第12項所述之用於從一已編碼位元流解碼一圖像序列的裝置，其中，在該解碼電路解碼該當前圖像之前，一緩衝器空間被分配以用於存儲該內插參考圖像，並且在該解碼電路使用該內插參考圖像對該當前圖像進行編碼之後，從該解碼圖像緩衝器中刪除該內插參考圖像。
  22. 如申請專利範圍第12項所述之用於從一已編碼位元流解碼一圖像序列的裝置，其中，在該解碼電路解碼該當前圖像之前，一緩衝器空間被分配以存儲該內插參考圖像，並且在該解碼電路使用該內插參考圖像解碼該參考圖像之後，該內插參考圖像仍在該解碼圖像緩衝器中以用於一未來圖像。
  23. 一種用於將一圖像序列編碼成一已編碼位元流的方法，包括：依據一解碼圖像緩衝器的大小和存儲在該解碼圖像緩衝器中的複數個參考圖像確定一變量的值，該變量的值指示在該圖像序列中的一當前圖像是否利用一內插參考圖像而被編碼；以及當變量的值指示在該序列圖像中該當前圖像利用該內插參考圖像而被編碼時，透過使用基於存儲於該解碼圖像緩衝器中的複數個參考圖像產生的該內插參考圖像，編碼該當前圖像。
  24. 如申請專利範圍第23項所述之用於將一圖像序列編碼成一已編碼位元流的方法，還包括：透過將該內插參考圖像排列在該參考圖像列表的一最後位置，該參考圖像列表中的複數個短期參考圖像和複數個長期參考圖像之間的一位置，該參考圖像列表的一默認位置，或在一高級語法元素中指定的該參考圖像列表的一特定位置中，構建該參考圖像列表。
  25. 如申請專利範圍第23項所述之用於將一圖像序列編碼成一已編碼位元流的方法，其中，將一當前參考圖像用作一參考圖像以用於編碼該當前圖像，並且被包括於該參考圖像列表中，並且構建該參考圖像列表包括將該內插參考圖像排列在以下一個位置中：一倒數第二位置，而該當前參考圖像處於該參考圖像列表的一最後位置；該最後位置，而該當前參考圖像處於該參考圖像列表的該倒數第二位置；在該當前參考圖像之前，以及該複數個短期參考圖像和該複數個長期參考圖像之間的一位置，其中該當前參考圖像排列在該複數個短期參考圖像和該複數個長期參考圖像之間；或者在該當前參考圖像之後，以及該複數個短期參考圖像和該複數個長期參考圖像之間的一位置，其中該當前參考圖像排列在該複數個短期參考圖像和該複數個長期參考圖像之間。
  26. 如申請專利範圍第23項所述之用於將一圖像序列編碼成一已編碼位元流的方法，其中，該變量的值與以下的一個或複數個特征相關聯：該解碼圖像緩衝器中存儲的該複數個參考圖像的數量，該解碼圖像緩衝器是否已滿，使能或禁用該內插參考圖像的一高級語法元素，在該解碼圖像緩衝器中是否存在兩個不同的參考圖像，以及是否使用畫面內塊複製。
  27. 如申請專利範圍第23項所述之用於將一圖像序列編碼成一已編碼位元流的方法，還包括：生成與將被併入該已編碼位元流中的該變量的值相關聯的一語法元素。
  28. 如申請專利範圍第23項所述之用於將一圖像序列編碼成一已編碼位元流的方法，還包括：在編碼該當前圖像之前分配用於存儲該內插參考圖像的一緩衝器空間；以及在使用該內插參考圖像編碼該當前圖像後，從該解碼圖像緩衝器中刪除該內插參考圖像。
  29. 如申請專利範圍第23項所述之用於將一圖像序列編碼成一已編碼位元流的方法，還包括：在編碼該當前圖像之前分配用於存儲該內插參考圖像的一緩衝器空間；以及在使用該內插參考圖像編碼該當前圖像後，將該內插參考圖像保留在該解碼圖像緩衝器中以用於一未來圖像。
  30. 一種用於從一已編碼位元流解碼一圖像序列的方法，包括：依據一解碼圖像緩衝器的大小和存儲在該解碼圖像緩衝器中的複數個參考圖像確定一變量的值，該變量的值指示在該圖像序列中的一當前圖像是否利用一內插參考圖像而被解碼；以及當變量的值指示在該序列圖像中該當前圖像利用該內插參考圖像而被解碼時，透過使用基於存儲於該解碼圖像緩衝器中的複數個參考圖像產生的該內插參考圖像，解碼該當前圖像。
  31. 如申請專利範圍第30項所述之用於從一已編碼位元流解碼一圖像序列的方法，還包括：透過將該內插參考圖像排列在該參考圖像列表的一最後位置，該參考圖像列表中的複數個短期參考圖像和複數個長期參考圖像之間的一位置，該參考圖像列表的一默認位置，或在一高級語法元素中指定的該參考圖像列表的一特定位置中，構建該參考圖像列表。
  32. 如申請專利範圍第30項所述之用於從一已編碼位元流解碼一圖像序列的方法，其中，將一當前參考圖像用作一參考圖像以用於編碼該當前圖像，並且被包括於該參考圖像列表中，並且構建該參考圖像列表包括將該內插參考圖像排列在以下一個位置中：一倒數第二位置，而該當前參考圖像處於該參考圖像列表的一最後位置；該最後位置，而該當前參考圖像處於該參考圖像列表的該倒數第二位置；在該當前參考圖像之前，以及該複數個短期參考圖像和該複數個長期參考圖像之間的一位置，其中，該當前參考圖像排列在該複數個短期參考圖像和該複數個長期參考圖像之間；或者在該當前參考圖像之後，以及該複數個短期參考圖像和該複數個長期參考圖像之間的一位置，其中，該當前參考圖像排列在該複數個短期參考圖像和該複數個長期參考圖像之間。
  33. 如申請專利範圍第30項所述之用於從一已編碼位元流解碼一圖像序列的方法，其中，該變量的值與以下的一個或複數個特征相關聯：該解碼圖像緩衝器中存儲的該複數個參考圖像的數量，該解碼圖像緩衝器是否已滿，在該解碼圖像緩衝器中是否存在兩個不同的參考圖像，使能或禁用該內插參考圖像的一高級語法元素，以及是否使用畫面內塊複製。
  34. 如申請專利範圍第30項所述之用於從一已編碼位元流解碼一圖像序列的方法，還包括：接收與該已編碼位元流中的該變量的值相關聯的一語法元素。
  35. 如申請專利範圍第30項所述之用於從一已編碼位元流解碼一圖像序列的方法，還包括：在解碼該當前圖像之前分配用於存儲該內插參考圖像的一緩衝器空間；以及在使用該內插參考圖像解碼該當前圖像後，從該解碼圖像緩衝器中刪除該內插參考圖像。
  36. 如申請專利範圍第30項所述之用於從一已編碼位元流解碼一圖像序列的方法，還包括：在解碼該當前圖像之前分配用於存儲該內插參考圖像的一緩衝器空間；以及在使用該內插參考圖像解碼該當前圖像後，將該內插參考圖像保留在該解碼圖像緩衝器中以用於一未來圖像。
TW106108899A 2016-03-17 2017-03-17 具有內插參考圖像的視訊編解碼裝置及方法 TWI639330B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662309485P 2016-03-17 2016-03-17
US62/309,485 2016-03-17
US15/460,835 2017-03-16
US15/460,835 US10404979B2 (en) 2016-03-17 2017-03-16 Video coding with interpolated reference pictures

Publications (2)

Publication Number Publication Date
TW201803347A TW201803347A (zh) 2018-01-16
TWI639330B true TWI639330B (zh) 2018-10-21

Family

ID=59848079

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106108899A TWI639330B (zh) 2016-03-17 2017-03-17 具有內插參考圖像的視訊編解碼裝置及方法

Country Status (3)

Country Link
US (1) US10404979B2 (zh)
CN (1) CN108632609B (zh)
TW (1) TWI639330B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9106927B2 (en) * 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
CN107615762B (zh) * 2015-05-29 2020-06-26 寰发股份有限公司 一种管理解码图像缓存器并解码视频比特流的方法及装置
CA2949383C (en) * 2016-11-22 2023-09-05 Square Enix, Ltd. Image processing method and computer-readable medium
US11765349B2 (en) 2018-08-31 2023-09-19 Mediatek Inc. Method and apparatus of in-loop filtering for virtual boundaries
CN112640468A (zh) * 2018-09-04 2021-04-09 华为技术有限公司 应用于双向帧间预测中的参考帧获取方法及装置
US10904545B2 (en) * 2018-12-26 2021-01-26 Tencent America LLC Method for syntax controlled decoded picture buffer management
CN113170124B (zh) * 2019-01-14 2023-12-12 联发科技股份有限公司 虚拟边缘的环内滤波的方法和设备
WO2020156540A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Buffer management for intra block copy in video coding
KR20210123300A (ko) * 2019-02-02 2021-10-13 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리
WO2020177662A1 (en) 2019-03-01 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Implementation aspects in intra block copy in video coding
KR102688366B1 (ko) 2019-03-01 2024-07-24 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 방향 기반 예측
KR20210125506A (ko) 2019-03-04 2021-10-18 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사를 위한 버퍼 관리
CN117294841A (zh) 2019-07-06 2023-12-26 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的虚拟预测缓冲
JP7359934B2 (ja) 2019-07-10 2023-10-11 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのためのサンプル識別
US12069240B2 (en) 2019-08-30 2024-08-20 Kt Corporation Video signal processing method and device
CN118075458A (zh) * 2022-11-23 2024-05-24 华为技术有限公司 视频编解码方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200746839A (en) 2006-04-04 2007-12-16 Qualcomm Inc Apparatus and method of enhanced frame interpolation in video compression
TW200943967A (en) 2007-12-10 2009-10-16 Qualcomm Inc Resource-adaptive video interpolation or extrapolation
TW201607297A (zh) 2014-06-19 2016-02-16 Ｖｉｄ衡器股份有限公司 區塊內複製檢索增強方法及系統

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100959969B1 (ko) * 2002-07-11 2010-05-27 파나소닉 주식회사 화상 부호화 방법 및 화상 복호화 방법
US8811484B2 (en) * 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US9106927B2 (en) * 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
JP2013187905A (ja) * 2012-03-08 2013-09-19 Panasonic Corp 映像を符号化および復号する方法および装置
JP5833757B2 (ja) * 2012-07-09 2015-12-16 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200746839A (en) 2006-04-04 2007-12-16 Qualcomm Inc Apparatus and method of enhanced frame interpolation in video compression
TW200943967A (en) 2007-12-10 2009-10-16 Qualcomm Inc Resource-adaptive video interpolation or extrapolation
TW201607297A (zh) 2014-06-19 2016-02-16 Ｖｉｄ衡器股份有限公司 區塊內複製檢索增強方法及系統

Also Published As

Publication number Publication date
US10404979B2 (en) 2019-09-03
CN108632609B (zh) 2021-10-15
US20170272744A1 (en) 2017-09-21
CN108632609A (zh) 2018-10-09
TW201803347A (zh) 2018-01-16

Similar Documents

Publication Publication Date Title
TWI639330B (zh) 具有內插參考圖像的視訊編解碼裝置及方法
JP7055833B2 (ja) 並列処理のためのイントラブロックコピー予測制限
US11910013B2 (en) Image encoding method using a skip mode, and a device using the method
TWI705694B (zh) 片級內部區塊複製及其他視訊寫碼改善
KR20200057693A (ko) 양자화 행렬의 부호화 방법 및 복호화 방법과 이를 이용하는 장치
TW201743619A (zh) 在視訊寫碼中適應性迴路濾波中之多個濾波器之混淆
JP7319438B2 (ja) イントラインター予測モードを改善するための方法及び装置、並びにコンピュータプログラム
JP2019519141A (ja) フィルタ処理情報のシグナリング
JP7547592B2 (ja) ピクチャ境界処理のためのマルチタイプツリー深度拡張
JP2023065581A (ja) ビデオ符号化及び復号化
JP2023164443A (ja) ビデオコーディングのための方法、装置、およびプログラム
JP2023520915A (ja) 所定のフィルタによるサンプルオフセット
KR102254162B1 (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
JP2023521295A (ja) 映像符号化データをシグナリングするための方法
JP7357679B2 (ja) 改善された最確モードリスト生成方法
JP2024019652A (ja) ビデオフィルタリングのための方法および装置
JP2024107165A (ja) Ｍｍｖｄシグナリングの改善
WO2020006690A1 (zh) 视频处理方法和设备
JP7478253B2 (ja) デカップリング変換パーティション分割
CN117957838A (zh) 帧内预测模式信令
US12058316B2 (en) Adjacent spatial motion vector predictor candidates improvement
JP7412443B2 (ja) 非線形ループフィルタリングのための方法および装置
US20240372996A1 (en) Adjacent spatial motion vector predictor candidates improvement
WO2023239391A1 (en) Adjacent spatial motion vector predictor candidates improvement
JP2024539787A (ja) 動きベクトル差分のジョイント・シグナリング方法