TWI749467B - 幀內塊複製合併列表簡化 - Google Patents

幀內塊複製合併列表簡化 Download PDF

Info

Publication number
TWI749467B
TWI749467B TW109105450A TW109105450A TWI749467B TW I749467 B TWI749467 B TW I749467B TW 109105450 A TW109105450 A TW 109105450A TW 109105450 A TW109105450 A TW 109105450A TW I749467 B TWI749467 B TW I749467B
Authority
TW
Taiwan
Prior art keywords
current block
merge candidate
candidate list
candidates
merge
Prior art date
Application number
TW109105450A
Other languages
English (en)
Other versions
TW202038620A (zh
Inventor
林郁晟
陳俊嘉
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202038620A publication Critical patent/TW202038620A/zh
Application granted granted Critical
Publication of TWI749467B publication Critical patent/TWI749467B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一種生成用於幀內塊複製(IBC)預測的合併候選列表的方法。視頻轉碼器接收要作為視頻的當前圖片的當前塊被編碼或解碼的資料。當前塊的多個空域相鄰鄰近塊在當前塊之前被編解碼。視頻轉碼器生成合併候選列表,該合併候選列表包括與參考了當前圖片中的像素的運動資訊相關聯的幀內圖片候選。幀內圖片候選包括與當前塊的兩個或更多個空域相鄰鄰近塊中的一些但不是所有空域相鄰鄰近塊相關聯的候選。視頻轉碼器從生成的列表中選擇合併候選。視頻轉碼器通過使用所選合併候選的運動資訊對當前塊進行編碼或解碼,以生成當前塊的預測。

Description

幀內塊複製合併列表簡化
本公開總體上涉及視頻處理。特別地,本公開涉及生成用於幀內塊複製(IBC)預測的合併候選列表的方法。
除非本文另外指出,否則本節中描述的方法不是下面列出的權利要求的現有技術,並且不因包括在本節中而被承認為現有技術。
高效視頻編碼(HEVC)是由視頻編碼聯合協作小組(JCT-VC)開發的國際視頻編碼標準。HEVC依據基於混合塊的運動補償的類DCT變換編碼架構。用於壓縮的基本單元(稱為編碼單元(CU))是2N×2N方形區塊,並且每個CU可以被遞迴地分成四個較小的CU,直到達到預定義的最小尺寸為止。每個CU包含一個或多個預測單元(PU)。
為了實現HEVC中的混合編碼架構的最佳編碼效率,針對每個PU存在兩種預測模式(即,幀內預測和幀間預測)。對於幀內預測模式,可以利用空域鄰近重構像素來生成方向(directional)預測。在HEVC中有多達35個方向。對於幀間預測模式,可以利用時域重構參考幀來生成運動補償預測。有三種不同的模式,包括跳過(Skip)、合併(Merge)和幀間高級運動向量預測(AMVP)模式。
以下發明內容僅是說明性的,而無意於以任何方式進行限制。即,提供以下發明內容以介紹本文描述的新穎和非顯而易見的技術的概念、重點、益處和優點。下面在具體實施方式中進一步描述了選擇和並非所有實現。因此,以下發明內容既不旨在標識所要求保護的主題的必要特徵,也不旨在用於確定所要求保護的主題的範圍。
本公開的一些實施方式提供一種生成用於幀內塊複製(IBC)預測的合併候選列表的方法。視頻轉碼器接收要作為視頻的當前圖片的當前塊被編碼或解碼的資料。當前塊的兩個或更多個空域相鄰鄰近塊在當前塊之前被編碼。視頻轉碼器生成合併候選列表,該合併候選列表包括與參考了當前圖片中的像素的運動資訊相關聯的幀內圖片候選。幀內圖片候選包括與當前塊的兩個或更多個空域相鄰鄰近塊中的一些但不是所有空域相鄰鄰近塊相關聯的候選。視頻轉碼器從生成的列表中選擇合併候選。視頻轉碼器通過使用所選合併候選的運動資訊對當前塊進行編碼或解碼,以生成當前塊的預測。
當前塊的空域相鄰鄰近塊可以在當前塊的左側和頂部,並且從所生成的合併候選列表中排除空域相鄰鄰近塊中的一些空域相鄰鄰近塊。幀內圖片候選可以包括與當前塊的上方的一個空域相鄰鄰近塊以及當前塊的左側的一個空域相鄰鄰近塊相關聯、而不與當前塊的其他空域相鄰鄰近塊相關聯的候選。
在一些實施方式中,視頻轉碼器通過執行簡化的修剪處理來生成合併候選列表。在一些實施方式中,視頻轉碼器針對包括當前塊的當前片維護若干基於歷史的運動向量預測(HMVP)候選,每個HMVP候選與先前編碼的塊的運動資訊相關聯。將來自多個HMVP中的至少一個HMVP候選與合併候選列表進行比較,用於(檢測)冗餘。在一些實施方式中,簡化的修剪處理可能不對HMVP候選執行。在一些實施方式中,視頻轉碼器生成合併候選列表包括:基於當前塊的屬性確定在列表中包括哪個合併候選。
在下面的具體實施方式中,通過示例的方式闡述了許多具體細節,以提供對相關教導的透徹理解。基於本文描述的教導的任何變化、派生和/或擴展均在本公開的保護範圍內。在一些情況下,可以在相對較高的層面上而非詳細地描述與本文公開的一個或更多個示例實現有關的眾所周知的方法、過程、元件和/或電路,以避免不必要地使本公開的教導的各方面模糊不清。 I. 候選列表 a . 合併模式和 AMVP
對於幀內預測模式,空域鄰近的重構像素可以用於生成方向預測。對於幀間預測模式,時域重構的參考幀可以用於生成運動補償預測。常規的幀間預測模式包括跳過、合併和幀間高級運動向量預測(AMVP)模式。跳過模式和合併模式從空域鄰近塊(空域候選)或時域並置(co-locate)塊(時域候選)獲得運動資訊。當通過跳過或合併模式對PU進行編碼時,不對運動資訊進行編碼,而是僅對所選候選的索引進行編碼。對於跳過模式,殘差信號被強制為零且未編碼。如果特定的塊被編碼為跳過或合併,則用信號發送候選索引以指示候選集中的哪個候選被用於合併。每個合併的PU重用所選候選的MV、預測方向和參考圖片索引。
第1圖例示了合併模式的運動候選。該圖示出了正在由視頻轉碼器編碼或解碼的視頻圖片或幀的當前塊100。如所例示的,從空域鄰近者A0 、A1 、B0 和B1 推導出多達四個空域MV候選,從TBR 或TCTR 推導出一個時域MV候選(首先使用TBR ,如果TBR 不可用,則使用TCTR 代替)。如果四個空域MV候選中的任何一個都不可用,則使用位置B2 來推導MV候選作為替換。在四個空域MV候選和一個時域MV候選的推導處理之後,在一些實施方式中應用去除冗餘(修剪)以去除冗餘MV候選。如果在去除冗餘(修剪)後,可用MV候選的數量少於五個,則推導出三種類型的附加候選並將其添加到候選集(候選列表)。視頻編碼器基於率失真優化(RDO)決策在候選集內選擇一個最終候選用於跳過或合併模式,並將索引傳輸到視頻解碼器。(跳過模式和合併模式在本文檔中統稱為“合併模式”。)
當在幀間AMVP模式下對PU進行編碼時,利用傳輸的運動向量差(MVD)來執行運動補償預測,該運動向量差可以與運動向量預測子(Motion Vector Predictor,MVP)一起使用來推導運動向量(MV)。在幀間 AMVP模式下為了決定MVP,使用高級運動向量預測(AMVP)方案來在包括兩個空域MVP和一個時域MVP的AMVP候選集中選擇運動向量預測子。因此,在AMVP模式下,需要對MVP的MVP索引和對應的MVD進行編碼和傳輸。另外,還應當對用於指定雙向預測與單向預測(其為列表0(L0)和列表1(L1))中的預測方向的、伴隨有針對每個列表的參考幀索引的幀間預測方向進行編碼和傳輸。
當在跳過模式或合併模式下對PU進行編碼時,除了所選候選的合併索引之外,不傳輸運動資訊。這是因為跳過模式和合併模式利用運動推斷方法(MV = MVP + MVD,其中MVD為零)從空域鄰近塊(空域候選)或位於並置圖片中的時域塊(時域候選)獲得運動資訊,其中並置圖片是列表0或列表1中的第一參考圖片,其在片頭(slice header)中被用信號發送。在跳過 PU的情況下,也省略殘差(residual)信號。為了確定跳過模式和合併模式的合併索引,使用合併方案以在包含四個空域MVP和一個時域MVP的合併候選集中選擇運動向量預測子。
第1圖還示出了用於幀間預測模式的MVP候選集,即,被參考用於推導針對AMVP和合併方案兩者的空域MVP和時域MVP的鄰近PU。當前塊100(其可以是PU或CU)參考鄰近塊以將空域MVP和時域MVP推導為用於AMVP模式、合併模式或跳過模式的MVP列表或候選列表。
對於AMVP模式,左側MVP是來自A0 、A1 的第一個可用的MVP,頂部MVP是來自B0 、B1 、B2 的第一個可用的MVP,時域MVP是來自TBR 或TCTR 的第一個可用的MVP(首先使用TBR ,如果TBR 不可用,則使用TCTR 代替)。如果左側MVP不可用且頂部MVP不是縮放的MVP,則如果在B0 、B1 和B2 中存在縮放的MVP,就可以推導出第二頂部MVP。因此,在兩個空域MVP和一個時域MVP的推導處理之後,只有前兩個MVP可以包括在候選列表中。如果在去除冗餘之後,可用MVP的數量小於2,則將零向量候選添加到候選列表。
對於跳過模式和合併模式,從A0 、A1 、B0 和B1 推導出多達四個空域合併索引,並且從TBR 或TCTR 推導出一個時域合併索引(首先使用TBR ,如果TBR 不可用,則使用TCTR 代替)。如果四個空域合併索引中的任何一個不可用,則使用位置B2 來推導合併索引作為替換。在推導四個空域合併索引和一個時域合併索引之後,去除冗餘合併索引。如果非冗餘合併索引的數量小於5,則可以從原始候選推導出附加候選並將其添加到候選列表。存在三種類型的推導候選:
1. 組合的雙向預測合併候選(推導候選類型1)
2. 縮放的雙向預測合併候選(推導候選類型2)
3. 零向量合併/AMVP候選(推導候選類型3)
對於推導候選類型1,通過對原始合併候選進行組合來創建組合的雙向預測合併候選。具體地,如果當前片是B片,則可以通過組合來自列表0和列表1的候選來生成進一步的合併候選。第2圖例示了包括組合的雙向預測合併候選的合併候選列表。如所例示的,使用具有mvL0(列表0中的運動向量)和refIdxL0(列表0中的參考圖片索引)或者mvL1(列表1中的運動向量)和refIdxL1(列表1中的參考圖片索引)的兩個原始候選來創建雙向預測合併候選。
對於推導候選類型2,通過對原始合併候選進行縮放來創建縮放的合併候選。第3圖例示了包括縮放的合併候選的合併候選列表。如所例示的,原始合併候選具有mvLX(列表X中的運動向量,X可以是0或1)和refIdxLX(列表X中的參考圖片索引,X可以是0或1)。例如,原始候選A是具有mvL0_A和參考圖片索引ref0的列表0單向預測MV。首先將候選A複製到具有參考圖片索引ref0'的列表L1。通過基於ref0和ref0'對mvL0_A進行縮放來計算縮放的MV mvL0'_A。創建在列表L0中具有mvL0_A和ref0並且在列表L1中具有mvL0'_A和ref0'的縮放的雙向預測合併候選,並將該縮放的雙向預測合併候選添加到合併候選列表。同樣,創建在列表0中具有mvL1'_A和ref1'並且在列表1中具有mvL1_A和ref1的縮放的雙向預測合併候選,並將該縮放的雙向預測合併候選添加到合併候選列表。
對於推導候選類型3,通過對零向量和參考索引進行組合來創建零向量候選。如果創建的零向量候選不是重複的,則將其添加到合併/AMVP候選列表。第4圖例示了將零向量候選添加到合併候選列表或AMVP候選列表的示例。b . 幀內塊複製預測
幀內塊複製(IBC)也稱為當前圖片參考(CPR)。IBC預測與幀間預測(幀間模式)類似,不同之處在於提供預測的參考圖片是包括正在被編碼的當前塊的當前解碼幀或當前圖片。IBC(或CPR)運動向量是涉及當前圖片中已經重構的參考樣本的運動向量。在一些實施方式中,用信號發送IBC編解碼的CU作為幀間編解碼塊。換句話說,當前(部分)解碼的圖片被視為參考圖片。通過參考這樣的參考圖片,可以以與運動補償相同的方式根據同一圖片的參考塊來預測當前塊。對於一些實施方式,IBC編碼塊與常規運動補償(MC)編碼塊之間的差異包括以下內容:(1)塊向量(IBC中的位移向量)僅具有整數解析度,亮度或色度不需要插值;(2)塊向量不參與時域運動向量預測;(3)塊向量和運動向量不用於相互預測;以及(4)有效塊向量具有一些約束,使得它只能指向當前圖片的子集。在一些實施方式中,為了降低實現成本,用於IBC模式的參考樣本來自當前片或圖塊的已經重構的部分,並且滿足WPP並行處理條件。在一些實施方式中,為了減少記憶體消耗和解碼器複雜度,視頻轉碼器僅允許將當前CTU的重構部分用於IBC模式。此限制允許使用用於硬體實現的本地片上記憶體來實現IBC模式。
IBC預測的更多詳細資訊可以在下列文獻中找到:ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的聯合視頻專家組(JVET)第11次會議:Ljubljana, SI, 2018年7月10至18日;文檔:JVET-K0076;CE8-2.2: Current picture referencing using reference index signaling。還可以在下列文獻中找到IBC模式的更多詳細資訊:X. Xu, S. Liu, T. Chuang, Y. Huang, S. Lei, K. Rapaka, C. Pang, V. Seregin, Y. Wang, and M. Karczewicz, “Intra Block Copy in HEVC Screen Content Coding Extensions,” IEEE J. Emerg. Sel. Topics Circuits Syst., 第6卷,第4期,第409頁至第419頁,2016年。c . 基於歷史的運動向量預測
在一些實施方式中,可以通過在基於歷史的方案中參考先前的編碼運動資訊來獲取用於生成幀間預測的假設的運動資訊,也稱為基於歷史的運動向量預測(HMVP)。HMVP候選被定義為先前編解碼的塊的運動資訊。視頻轉碼器在編碼/解碼處理期間維護具有多個HMVP候選的表。當遇到新片時將清空該表。 II. 用於 IBC 的簡化合併列表
對於IBC合併模式,生成合併候選列表,以包括與當前塊的多個編碼空域相鄰鄰近塊中的僅兩個相關聯的合併索引。將從合併候選列表中選擇一個合併候選,以用於解碼當前塊。
實際上,當生成合併候選列表時,如果候選存在,則將幾種類型的合併候選插入到合併列表中。可以插入到合併列表中的合併候選的類型可以包括空域合併候選(即,與多個編碼空域相鄰鄰近塊中的僅兩個相關聯的合併索引)、時域合併候選、基於歷史的(例如,HMVP)合併候選、成對平均合併(pairwise average merge)候選、子CU合併候選或默認合併候選。還對合併列表執行修剪處理。
在一些實施方式中,對於IBC合併模式,視頻轉碼器通過排除一些合併候選或通過減少修剪處理來簡化合併列表構造。還可以根據一些約束來應用簡化合併列表構造。
在一些實施方式中,對於IBC模式,在合併候選列表構造中排除或省略了一個或一些或所有合併候選。換句話說,針對IBC模式構造的合併候選列表沒有一個或一些合併候選,或者僅具有合併候選的子集(與常規幀間預測合併模式下的可用合併候選相比)。例如,在一些實施方式中,在IBC預測的合併候選列表構造中排除或省略了一個或一些或所有空域合併候選,或者針對IBC預測模式構造的合併候選列表排除或省略了一個或一些空域合併候選,該一個或一些空域合併候選在常規幀間預測合併模式下將被包含,或者與常規(或非IBC)合併模式相比,僅具有空域合併候選的子集。
第5圖例示了當對當前塊100進行編碼時用於IBC模式的示例簡化合併候選列表。如所例示的,僅兩個空域合併候選A1 和B1 用作IBC模式的合併候選,而其他空域合併候選A0 、B0 和B2 被省略、排除或不包括在合併候選列表中。換句話說,在當前塊100之前編碼的所有空域鄰近者(即,上方鄰近者B0 、B1 、B2 以及左側鄰近者A1 和A0 )中,只有正上方(B1 )和正左側(A1 )的空域鄰近者被包括在內。即使當前塊100的其他空域鄰近者(B0 、B2 、A0 )已經在當前塊100之前被編碼,也不會將那些空域鄰近者用作IBC的合併模式候選。
在一些實施方式中,在合併候選列表構造中排除或省略了一些或所有基於歷史的(例如,HMVP)候選。如所提到的,為了實現HMVP,視頻轉碼器可以維護運動歷史表,該運動歷史表存儲了用於當前片的先前編碼的塊的運動資訊。為了生成用於在IBC預測模式下對當前塊進行編碼的合併候選列表,視頻轉碼器可以僅將存儲在運動歷史表中的運動資訊的子集包括在用於IBC模式的合併候選列表中。
在一些實施方式中,對於IBC模式,在合併候選列表構造中排除或省略了一個或一些或所有時域合併候選。在一些實施方式中,在合併候選列表構造中排除或省略了一個或一些或所有成對平均合併候選。在一些實施方式中,在合併候選列表構造中排除或省略了一個或一些或所有子CU合併候選。在一些實施方式中,在合併候選列表構造中排除或省略了默認合併候選。
在一些實施方式中,對於IBC合併模式,針對合併候選構造簡化或不執行修剪處理(冗餘去除處理)。在一些實施方式中,在合併候選列表構造中簡化或不執行空域合併候選的修剪處理。在一些實施方式中,在合併候選列表構造中簡化或不執行時域合併候選的修剪處理。在一些實施方式中,在合併候選列表構造中簡化或不執行成對平均合併候選的修剪處理。在一些實施方式中,在合併候選列表構造中簡化或不執行子CU合併候選的修剪處理。在一些實施方式中,在合併候選列表構造中簡化或不執行默認合併候選的修剪處理。在一些實施方式中,在合併候選列表構造中簡化或不執行基於歷史的(例如,HMVP)候選的修剪處理。當修剪處理被簡化後,僅將HMVP候選列表中的前N個HMVP候選與合併候選列表進行比較(用於檢測冗餘或檢查冗餘候選)。在一些實施方式中,當比較結果指示所比較的HMVP候選與合併候選列表中的候選不同時,將所比較的HMVP候選添加到合併候選列表中。當不執行修剪處理時,在將HMVP候選包括在合併候選列表中之前,不會執行先前的比較。簡而言之,本文所述的各種類型的合併候選的修剪處理可以被簡化或不執行。當不執行各種類型合併候選中的任一類型合併候選的修剪處理時,可以在不比較冗餘的情況下將該類型的合併候選包括在合併候選列表中。對於某些實施方式,該簡化的修剪處理不與合併候選的生成的簡化相矛盾,並且可以在同一處理中執行。
在一些實施方式中,對於IBC合併模式,根據某個CU寬度或高度,在合併候選列表構造中排除一個或一些合併候選。換句話說,當生成合併候選列表時,視頻轉碼器基於當前CU的屬性來確定要包括或省略哪個合併候選。
在一些實施方式中,根據某個CU寬度或高度,在合併候選列表構造中排除一個或一些或所有空域合併候選。在一些實施方式中,根據某個CU寬度或高度,在合併候選列表構造中排除或省略了一個或一些或所有時域合併候選。在一些實施方式中,根據某個CU寬度或高度,在合併候選列表構造中排除或省略了一個或一些或所有基於歷史的(例如,HMVP)合併候選。在一些實施方式中,根據某個CU寬度或高度,在合併候選列表構造中排除或省略了一個或一些或所有成對平均合併候選。在一些實施方式中,根據某個CU寬度或高度,在合併候選列表構造中排除或省略了一個或一些或所有子CU合併候選。在一些實施方式中,根據某個CU寬度或高度,在合併候選列表構造中排除或省略了一個或一些或所有默認合併候選。在一些實施方式中,根據某個CU寬度或高度,在合併候選列表構造中簡化或不執行修剪處理。
在一些實施方式中,在IBC合併模式下,根據某個CU面積在合併候選列表構造中排除一個或一些候選。在一些實施方式中,根據某個CU面積,在合併候選列表構造中排除一個或一些或所有空域合併候選。在一些實施方式中,根據某個CU面積,在合併候選列表構造中排除一個或一些或所有時域合併候選。在一些實施方式中,根據某個CU面積,在合併候選列表構造中排除一個或一些或所有基於歷史的(例如,HMVP)合併候選。在一些實施方式中,根據某個CU面積,在合併候選列表構造中排除一個或一些或所有成對平均合併候選。在一些實施方式中,根據某個CU面積,在合併候選列表構造中排除一個或一些或所有子CU合併候選。在一些實施方式中,根據某個CU面積,在合併候選列表構造中排除默認合併候選。在另一個實施方式中,根據某個CU面積,在合併候選列表構造中簡化或不執行修剪處理。
可以在編碼器和/或解碼器中實現任何前述提出的方法。例如,可以在編碼器的預測因數推導模組和/或解碼器的預測子推導模組中實現任何所提出的方法。另選地,任何所提出的方法可以被實現為聯接到編碼器的預測子推導模組和/或解碼器的預測因數推導模組的電路,從而提供預測子推導模組所需的資訊。 III. 示例視頻轉碼器
第6圖例示了示例視頻編碼器600,其可以在IBC模式下使用簡化合併列表構造來對區塊進行編碼。如所例示的,視頻編碼器600從視頻源605接收輸入視頻信號,並將該信號編碼到位元流695中。視頻編碼器600具有用於對來自視頻源605的信號進行編碼的若干元件或模組,至少包括從變換模組610、量化模組611、逆量化模組614、逆變換模組615、幀內圖片估計模組620、幀內預測模組625、運動補償模組630、運動估計模組635、環路濾波器645、重構圖片緩衝器650、MV緩衝器665和MV預測模組675以及熵編碼器690中選擇的一些組件。運動補償模組630和運動估計模組635是幀間預測模組640的一部分。
在一些實施方式中,模組610至模組690是由計算裝置或電子設備的一個或更多個處理單元(例如,處理器)執行的軟體指令的模組。在一些實施方式中,模組610至模組690是由電子設備的一個或更多個積體電路(IC)實現的硬體電路的模組。儘管模組610至模組690被例示為單獨的模組,但是該模組中的一些可以組合成單個模組。
視頻源605提供原始視頻信號,該原始視頻信號無需壓縮即可呈現每個視頻幀的像素資料。減法器608計算視頻源605的原始視頻像素資料與來自運動補償模組630或幀內預測模組625的預測像素資料613之間的差。變換模組610將該差(或殘差像素資料或殘差信號)轉換成變換係數616(例如,通過執行離散余弦變換或DCT)。量化模組611將變換係數量化為量化資料(或量化係數)612,其由熵編碼器690編碼到位元流695中。
逆量化模組614對量化資料(或量化係數)612進行反量化以獲得變換係數,並且逆變換模組615對變換係數執行逆變換以產生重構殘差619。將重構殘差619與預測像素資料613相加,以產生重構像素資料617。在一些實施方式中,重構像素資料617被臨時存儲在用於幀內圖片預測和空域MV預測的行(line)緩衝器(未示出)中。重構像素由環路濾波器645濾波,並存儲在重構圖片緩衝器650中。在一些實施方式中,重構圖片緩衝器650是視頻編碼器600外部的存儲部。在一些實施方式中,重構圖片緩衝器650是視頻編碼器600內部的存儲部。
幀內圖片估計模組620基於重構像素資料617執行幀內預測以產生幀內預測資料。幀內預測資料被提供給熵編碼器690以被編碼到位元流695中。幀內預測資料還被幀內預測模組625用來產生預測像素資料613。
運動估計模組635通過產生MV來執行幀間預測,這些MV參考存儲在重構圖片緩衝器650中的先前解碼的幀的像素資料。這些MV被提供給運動補償模組630以產生預測像素資料。
代替對位元流中的完整的實際MV進行編碼,視頻編碼器600使用MV預測來生成預測MV,並且將用於運動補償的MV與預測MV之間的差編碼為殘差運動資料並存儲在位元流695中。
MV預測模組675基於參考MV來生成預測MV,這些參考MV是為了對先前的視頻幀進行編碼而生成的,即,用於執行運動補償的運動補償MV。MV預測模組675從來自MV緩衝器665的先前的視頻幀中檢索參考MV。視頻編碼器600將針對當前視頻幀生成的MV存儲在MV緩衝器665中,作為用於生成預測MV的參考MV。
MV預測模組675使用參考MV來創建預測MV。可以通過空域MV預測或時域MV預測來計算預測MV。熵編碼器690將當前幀的預測MV與運動補償MV(MC MV)之間的差(殘差運動資料)編碼到位元流695中。
熵編碼器690通過使用諸如上下文自我調整二進位算術編碼(CABAC)或Huffman編碼的熵編碼技術將各種參數和資料編碼到位元流695中。熵編碼器690將各種報頭元素、標誌以及量化的變換係數612和殘差運動資料作為語法元素編碼到位元流695中。位元流695進而被存儲在存儲裝置中或通過諸如網路的通信介質被傳輸到解碼器。
環路濾波器645對重構像素資料617執行濾波或平滑操作以減少編碼的偽像,特別是在區塊的邊界處。在一些實施方式中,執行的濾波操作包括樣本自我調整偏移(SAO)。在一些實施方式中,濾波操作包括自我調整環路濾波器(ALF)。
為了實現IBC模式,運動估計模組635可以搜索存儲在重構圖片緩衝器650中的當前圖片的已編碼部分,以確定運動向量和參考了當前圖片的像素的對應運動資訊。運動補償模組630可以基於存儲在MV緩衝器665中的運動資訊來實現合併候選列表,該運動資訊包括(用於編碼)當前塊的空域鄰近者的運動資訊。當使用IBC模式對當前塊進行編碼時,合併候選列表可以包括當前塊的一些但不是所有空域鄰近者作為空域合併候選。視頻編碼器600還可將簡化修剪應用於合併候選列表。
第7圖概念性地例示了通過使用用於IBC模式的簡化合併候選列表來對當前塊進行編碼的處理700。在一些實施方式中,實現編碼器600的計算裝置的一個或更多個處理單元(例如,處理器)通過執行存儲在電腦可讀介質中的指令來執行處理700。在一些實施方式中,實現編碼器600的電子設備執行處理700。在一些實施方式中,處理700在幀間預測模組640處執行。
編碼器(在710處)接收要作為視頻的當前圖片的當前塊被編碼的區塊的原始像素資料。當前塊的兩個或更多個空域相鄰鄰近塊在當前塊之前被編解碼。在第1圖的示例中,空域鄰近者A0 、A1 、B0 、B1 和B2 在當前塊100之前被編碼,它們是當前塊上方和/或左側的PU或CU。
編碼器(在720處)生成合併候選列表。合併候選列表可以包括空域合併候選、時域合併候選、基於歷史的(例如,HMVP)合併候選、成對平均合併候選、子CU合併候選和/或默認合併候選。編碼器可以基於當前塊的屬性(例如,尺寸、寬度、高度、縱橫比)來確定在列表中包括哪個合併候選。
還對合併列表執行修剪處理。可以簡化修剪處理,使得對於某些類型的合併候選不執行修剪。例如,在一些實施方式中,在合併候選列表構造中簡化或不執行基於歷史的(例如,HMVP)候選的修剪處理。當修剪處理被簡化後,僅將HMVP候選列表中的前N個HMVP候選與合併候選列表進行比較。在一些實施方式中,N等於1。換句話說,在該實施方式中,將不多於一個HMVP候選與合併候選列表進行比較。然後,例如,當比較結果指示所比較的HMVP候選與合併候選列表中的候選不同時,將所比較的HMVP候選添加到合併候選列表中。當不執行修剪處理時,在將HMVP候選包括在合併候選列表中之前,不會執行先前的比較。簡而言之,可以簡化或不執行本文所述的各種類型的合併候選的修剪處理。當不執行各種類型合併候選中的任一類型合併候選的修剪處理時,該類型的合併候選可以被包括在合併候選列表中而無需比較冗餘(比較候選以識別冗餘)。
由於合併候選列表是針對IBC模式生成的,因此該列表包括與參考了當前圖片中的像素的運動資訊相關聯的幀內圖片候選。在一些實施方式中,幀內圖片候選包括與當前塊的兩個或更多個空域相鄰鄰近塊中的一些但不是所有相關聯的候選。例如,合併候選列表的幀內圖片候選可以僅包括空域鄰近者A1 和B1 ,而不包括空域鄰近者A0 、B0 和B2 。換句話說,當前塊的一些但不是所有空域合併候選被包括在用於IBC的合併候選列表中。
編碼器(在730處)例如通過生成要作為語法元素包括在位元流695中的索引,從生成的列表中選擇合併候選。然後,編碼器(在740處)通過使用所選擇的合併候選的運動資訊來對當前塊進行編碼,以生成當前塊的預測。 IV. 示例視頻解碼器
第8圖例示了示例視頻解碼器800,其可以在IBC模式下使用簡化合併列表構造來對區塊進行解碼。如所例示的,視頻解碼器800是圖像解碼或視頻解碼電路,其接收位元流895並將位元流的內容解碼為視頻幀的像素資料以供顯示。視頻解碼器800具有用於對位元流895進行解碼的若干元件或模組,包括選自逆量化模組805、逆變換模組810、幀內預測模組825、運動補償模組830、環路濾波器845、解碼圖片緩衝器850、MV緩衝器865、MV預測模組875和解析器890中的一些組件。運動補償模組830是幀間預測模組840的一部分。
在一些實施方式中,模組810至模組890是由計算裝置的一個或更多個處理單元(例如,處理器)執行的軟體指令的模組。在一些實施方式中,模組810至模組890是由電子設備的一個或更多個IC實現的硬體電路的模組。儘管模組810至模組890被例示為單獨的模組,但是該模組中的一些可以組合成單個模組。
解析器890(或熵解碼器)接收位元流895,並根據由視頻編碼或圖像編碼標準定義的語法執行初始解析。解析的語法元素包括各種報頭元素、標誌以及量化資料(或量化係數)812。解析器890通過使用諸如上下文自我調整二進位算術編碼(CABAC)或Huffman編碼的熵編碼技術來解析出各種語法元素。
逆量化模組805對量化資料(或量化係數)812進行反量化以獲得變換係數,並且逆變換模組810對變換係數816執行逆變換以產生重構殘差信號819。將重構殘差信號819與來自幀內預測模組825或運動補償模組830的預測像素資料813相加,以產生解碼像素資料817。解碼像素資料由環路濾波器845濾波,並存儲在解碼圖片緩衝器850中。在一些實施方式中,解碼圖片緩衝器850是視頻解碼器800外部的存儲部。在一些實施方式中,解碼圖片緩衝器850是視頻解碼器800內部的存儲部。
幀內預測模組825從位元流895接收幀內預測資料,並據此從存儲在解碼圖片緩衝器850中的解碼像素資料817產生預測像素資料813。在一些實施方式中,解碼像素資料817也被存儲在用於幀內圖片預測和空域MV預測的行緩衝器(未示出)中。
在一些實施方式中,解碼圖片緩衝器850的內容用於顯示。顯示裝置855或者檢索解碼圖片緩衝器850的內容以直接顯示,或者將解碼圖片緩衝器的內容檢索到顯示緩衝器。在一些實施方式中,顯示裝置通過像素傳輸從解碼圖片緩衝器850接收像素值。
運動補償模組830根據運動補償MV(MC MV)從存儲在解碼圖片緩衝器850中的解碼像素資料817產生預測像素資料813。通過將從位元流895接收到的殘差運動資料與從MV預測模組875接收到的預測MV相加,對這些運動補償MV進行解碼。
MV預測模組875基於參考MV來生成預測MV,這些參考MV(例如,用於執行運動補償的運動補償MV)是為了對先前的視頻幀進行解碼而生成的。MV預測模組875從MV緩衝器865中檢索先前視頻幀的參考MV。視頻解碼器800將為解碼當前視頻幀而生成的運動補償MV存儲在MV緩衝器865中,作為用於產生預測MV的參考MV。
環路濾波器845對解碼的像素資料817執行濾波或平滑操作,以減少編碼的偽像,特別是在區塊的邊界處。在一些實施方式中,執行的濾波操作包括樣本自我調整偏移(SAO)。在一些實施方式中,濾波操作包括自我調整環路濾波器(ALF)。
為了實現IBC模式,運動補償模組830可以實現合併候選列表,該合併候選列表包括與參考了當前圖片中的像素的運動資訊相關聯的幀內圖片候選。合併候選列表基於存儲在MV緩衝器865中的運動資訊,包括(用於編碼)當前塊的空域鄰近者的運動資訊。當使用IBC模式對當前塊進行解碼時,合併候選列表可以包括當前塊的一些但不是所有空域鄰近者作為空域合併候選。視頻解碼器800還可將簡化修剪應用於合併候選列表。
第9圖概念性地例示了通過使用用於IBC模式的簡化合併候選列表來對當前塊進行解碼的處理900。在一些實施方式中,實現解碼器800的計算裝置的一個或更多個處理單元(例如,處理器)通過執行存儲在電腦可讀介質中的指令來執行處理900。在一些實施方式中,實現解碼器800的電子設備執行處理900。在一些實施方式中,處理900在幀間預測模組840處執行。
解碼器(在910處)從位元流接收要作為視頻的當前圖片的當前塊被解碼的區塊的資料。當前塊的兩個或更多個空域相鄰鄰近塊在當前塊之前被編解碼。在第1圖的示例中,空域鄰近者A0、A1、B0、B1和B2在當前塊100之前被編碼。
解碼器(在920處)生成合併候選列表。合併候選列表可以包括空域合併候選、時域合併候選、基於歷史的(例如,HMVP)合併候選、成對平均合併候選、子CU合併候選和/或默認合併候選。解碼器可以基於當前塊的屬性(例如,尺寸、寬度、高度、縱橫比)來確定在列表中包括哪個合併候選。
還對合併列表執行修剪處理。可以簡化修剪處理,使得不去除合併候選列表中的至少一個冗餘候選。還可以簡化修剪處理,使得對於某些類型的合併候選不執行修剪。例如,在一些實施方式中,簡化的修剪處理可以不去除與HMVP候選有關的冗餘。
由於合併候選列表是針對IBC模式生成的,因此該列表包括與參考了當前圖片中的像素的運動資訊相關聯的幀內圖片候選。在一些實施方式中,幀內圖片候選包括與當前塊的兩個或更多個空域相鄰鄰近塊中的一些但不是所有相關聯的候選。例如,合併候選列表的幀內圖片候選可以僅包括空域鄰近者A1 和B1 ,而不包括空域鄰近者A0 、B0 和B2 。換句話說,當前塊的一些但不是所有空域合併候選被包括在用於IBC的合併候選列表中。
在一些實施方式中,可用於合併模式的一些合併候選不包括在用於IBC模式的合併候選列表中。例如,在一些實施方式中,針對當前片存儲的至少一個HMVP候選不包括在用於IBC模式的當前塊的合併候選列表中。
解碼器(在930處)例如基於由從位元流895解析的語法元素提供的索引,從生成的列表中選擇合併候選。然後,解碼器(在940處)通過使用所選擇的合併候選的運動資訊來對當前塊進行解碼,以生成當前塊的預測。 V. 示例電子系統
許多上述特徵和應用被實現為被指定為記錄在電腦可讀存儲介質(也稱為電腦可讀介質)上的一組指令的軟體處理。當這些指令由一個或更多個計算或處理單元(例如,一個或更多個處理器、處理器的核或其他處理單元)執行時,它們使處理單元執行指令中指示的動作。電腦可讀介質的示例包括但不限於CD-ROM、快閃記憶體驅動器、隨機存取記憶體(RAM)晶片、硬碟驅動器、可擦可程式設計唯讀記憶體(EPROM)、電可擦可程式設計唯讀記憶體(EEPROM)等。電腦可讀介質不包含無線地或通過有線連接傳遞的載波和電子信號。
在本說明書中,術語“軟體”旨在包括駐留在唯讀記憶體中的固件或存儲在磁存儲部中的應用,這些應用可以被讀入記憶體以供處理器處理。而且,在一些實施方式中,可以將多個軟體發明實現為較大程式的子部分,同時保留不同的軟體發明。在一些實施方式中,多個軟體發明也可以被實現為單獨的程式。最後,一起實現這裡描述的軟體發明的單獨程式的任何組合都在本公開的範圍內。在一些實施方式中,當軟體程式被安裝以在一個或更多個電子系統上運行時,該軟體程式定義了執行軟體程式的操作的一種或更多種特定機器實現。
第10圖 概念性地例示了利用其實現本公開的一些實施方式的電子系統1000。電子系統1000可以是電腦(例如,臺式電腦、個人電腦、平板電腦等)、電話、PDA或任何其他種類的電子裝置。這樣的電子系統包括各種類型的電腦可讀介質以及用於各種其他類型的電腦可讀介質的介面。電子系統1000包括匯流排1005、處理單元1010、圖形處理單元(GPU)1015、系統記憶體1020、網路1025、唯讀記憶體1030、永久存儲裝置1035、輸入裝置1040、以及輸出裝置1045。
匯流排1005總體代表與電子系統1000的許多內部裝置通信地連接的所有系統匯流排、週邊匯流排和晶片組匯流排。例如,匯流排1005將處理單元1010與GPU 1015、唯讀記憶體1030、系統記憶體1020和永久存儲裝置1035通信地連接。
處理單元1010從這些各種記憶體單元中檢索要執行的指令和要處理的資料,以執行本公開的處理。在不同的實施方式中,處理單元可以是單個處理器或多核處理器。一些指令被傳遞到GPU 1015並由其執行。GPU 1015可以卸載各種計算或者補充由處理單元1010提供的影像處理。
唯讀記憶體(ROM)1030存儲由處理單元1010和電子系統的其他模組使用的靜態資料和指令。另一方面,永久存儲裝置1035是讀寫記憶體裝置。該裝置是即使在電子系統1000關閉時也存儲指令和資料的非易失性記憶體單元。本公開的一些實施方式使用大型存放區裝置(例如磁片或光碟及其對應的盤驅動器)作為永久存儲裝置1035。
其他實施方式使用卸除式存放裝置裝置(例如軟碟、快閃記憶體裝置等,及其對應的盤驅動器)作為永久存儲裝置。像永久存儲裝置1035一樣,系統記憶體1020是讀寫記憶體裝置。然而,與存儲裝置1035不同,系統記憶體1020是易失性讀寫記憶體,例如隨機存取記憶體。系統記憶體1020存儲處理器在運行時使用的一些指令和資料。在一些實施方式中,根據本公開的處理被存儲在系統記憶體1020、永久存儲裝置1035和/或唯讀記憶體1030中。例如,根據一些實施方式,各種記憶體單元包括用於處理多媒體剪輯的指令。 處理單元1010從這些各種記憶體單元中檢索要執行的指令和要處理的資料,以執行一些實施方式的處理。
匯流排1005還連接到輸入裝置1040和輸出裝置1045。輸入裝置1040使使用者能夠向電子系統傳送資訊並選擇命令。輸入裝置1040包括字母數位鍵盤和指向裝置(也稱為“游標控制裝置”)、攝像頭(例如,網路攝像頭)、麥克風或用於接收語音命令的類似裝置等。輸出裝置1045顯示由電子系統生成的圖像或以其他方式輸出資料。輸出裝置1045包括印表機和諸如陰極射線管(CRT)或液晶顯示器(LCD)的顯示裝置,以及揚聲器或類似的音訊輸出裝置。一些實施方式包括既充當輸入裝置又充當輸出裝置的裝置,例如觸控式螢幕。
最後,如第10圖所示,匯流排1005還通過網路介面卡(未示出)將電子系統1000聯接到網路1025。以這種方式,電腦可以是電腦網路(例如局域網(“LAN”)、廣域網路(“WAN”)或內聯網)的一部分,或者諸如網際網路的網路中的一個網路的一部分。電子系統1000的任何或所有元件可以與本公開結合使用。
一些實施方式包括將電腦程式指令存儲在機器可讀或電腦可讀介質(或者稱為電腦可讀存儲介質、機器可讀介質或機器可讀存儲介質)中的電子元件,例如微處理器、存儲部和記憶體。這種電腦可讀介質的一些示例包括RAM、ROM、唯讀光碟(CD-ROM)、可記錄光碟(CD-R)、可重寫光碟(CD-RW)、唯讀數位多功能光碟(例如,DVD-ROM、雙層DVD-ROM)、各種可記錄/可重寫DVD(例如DVD-RAM、DVD-RW、DVD + RW等)、快閃記憶體(例如SD卡、迷你SD卡、微型SD卡等)、磁和/或固態硬碟驅動器、唯讀和可記錄的藍光®光碟、超密度光碟、任何其他光學或磁介質以及軟碟。電腦可讀介質可以存儲電腦程式,該電腦程式可由至少一個處理單元執行並且包括用於執行各種操作的指令集。電腦程式或電腦代碼的示例包括諸如由編譯器產生的機器代碼,以及包括由電腦、電子元件或微處理器使用解譯器執行的高級代碼的檔。
儘管以上討論主要涉及執行軟體的微處理器或多核處理器,但是許多上述特徵和應用是由一個或更多個積體電路執行的,例如專用積體電路(ASIC)或現場可程式設計閘陣列(FPGA)。在一些實施方式中,這樣的積體電路執行存儲在電路本身上的指令。另外,一些實施方式執行存儲在可程式設計邏輯器件(PLD)、ROM或RAM器件中的軟體。
如在本說明書和本申請的任何權利要求中使用的,術語“電腦”、“伺服器”、“處理器”和“記憶體”均指電子或其他技術裝置。這些術語不包括一個人或一群人。為了說明的目的,術語“顯示”是指在電子裝置上顯示。如本說明書和本申請的任何權利要求中所使用的,術語“電腦可讀介質”和“機器可讀介質”完全限於以可被電腦讀取的形式存儲資訊的有形的物理物件。這些術語不包括任何無線信號、有線下載信號和任何其他臨時信號。
儘管已經參照許多具體細節描述了本公開,但是本領域的普通技術人員將認識到,在不脫離本公開的精神的情況下,本公開可以以其他特定形式來體現。另外,多個附圖(包括第7圖和第9圖)從概念上例示了處理。這些處理的特定操作可以不按照所示和所描述的確切循序執行。可以不按照一個連續的操作系列來執行特定操作,並且可以在不同的實施方式中執行不同的特定操作。此外,處理可以使用若干子處理來實現,或者作為更大的宏處理的一部分來實現。因此,本領域的普通技術人員將理解,本公開不受限於前述例示性細節,而是由所附權利要求書限定。 補充說明
本文描述的主題有時例示了包含在不同的其他元件內或與不同的其他元件連接的不同元件。應當理解,這樣描繪的架構僅是示例,並且實際上可以實現實現相同功能的許多其他架構。在概念上,實現相同功能的組件的任何佈置被有效地“關聯”,從而實現所需的功能。因此,本文中被組合以實現特定功能的任何兩個元件可以被視為彼此“關聯”,從而實現所需的功能,而與架構或中間組件無關。同樣,如此關聯的任何兩個元件也可以被視為彼此“在操作上連接”或“在操作上聯接”以實現所需的功能,並且能夠如此關聯的任何兩個元件也可以被視為彼此“在操作上可聯接”,以實現所需的功能。在操作上可聯接的具體示例包括但不限於物理上可配合和/或物理上相互作用的元件和/或可無線交互和/或無線交互的元件和/或邏輯上相互作用的和/或邏輯上可相互作用的元件。
此外,關於本文中基本上任何複數和/或單數術語的使用,本領域技術人員可以根據上下文和/或應用適當地從複數轉換為單數和/或從單數轉換為複數。為了清楚起見,可以在本文中明確地敘述各種單數/複數置換。
此外,本領域技術人員將理解,一般而言,本文中,尤其是在所附權利要求(例如,所附權利要求的主體)中使用的術語,通常旨在作為“開放”術語,例如,術語“包括”應解釋為“包括但不限於”,術語“具有”應解釋為“至少具有”,術語“包含”應解釋為“包含但不限於”,等等。本領域技術人員將進一步理解,如果意圖表示特定數量的引入的權利要求敘述(recitation),則在權利要求中將明確地陳述該意圖,在沒有此類陳述的情況下,則不存在這樣的意圖。例如,為了幫助理解,所附權利要求中可以包含使用介紹性短語“至少一個”和“一個或更多個”以引入權利要求敘述。然而,這些短語的使用不應理解為暗示由不定冠詞“一”或“一個”引入的權利要求敘述將包含此類引入權利要求敘述的任意特定權利要求限制為僅包含一個此類敘述的實現,即使是在同一權利要求包括介紹性短語“一個或更多個”或“至少一個”以及諸如“一”或“一個”的不定冠詞的情況下(例如,“一”和/或“一個”應當理解為表示“至少一個”或者“一個或更多個”);對於使用定冠詞引入權利要求敘述的用法也是如此。另外,即使明確陳述特定數量的引入權利要求敘述,本領域技術人員將意識到,此類敘述應理解為表示至少所述數量(例如,在沒有其它修飾詞的情況下,僅敘述“兩個敘述”意指至少兩個敘述,或者兩個或更多個敘述)。此外,在使用類似於“A、B和C等中的至少一個”等約定說法的情況下,一般來說,這種結構旨在表示本領域技術人員將理解的該約定說法的意義(例如,“具有A、B和C中的至少一個的系統”將包括但不限於包括以下的系統:單獨A、單獨B、單獨C、A和B、A和C、B和C和/或A、B和C等)。在使用類似於“A、B或C等中的至少一個”等約定說法的情況下,一般來說,這種結構旨在表示本領域技術人員將理解的該約定說法的意義(例如,“具有A、B或C中的至少一個的系統”將包括但不限於包括單獨A、單獨B、單獨C、A和B、A和C、B和C和/或A、B和C等的系統)。本領域技術人員應當進一步理解,實際上,呈現兩個或更多個替代術語的任何轉折性詞和/或短語,無論是在說明書、權利要求書還是附圖中,均應理解為考慮包括這些術語中的一個、這些術語中的任意一個或兩個術語的可能性。例如,短語“A或B”應理解為包括“A”或“B”或“A和B”的可能性。
根據前述內容,將理解的是,出於說明的目的已經在本文中描述了本公開的各種實現,並且在不脫離本公開的範圍和精神的情況下可以進行各種修改。因此,本文所公開的各種實現並非旨在進行限制,其真實範圍和精神由所附權利要求書指示。
100:當前塊 600:視頻編碼器 605:視頻源
695、895:位元流
610:變換模組
611:量化模組
614、805:逆量化模組
615、810:逆變換模組
620:幀內圖片估計模組
625、825:幀內預測模組
630、830:運動補償模組
635:運動估計模組
645、845:環路濾波器
650:重構圖片緩衝器
665、865 MV:緩衝器
675、875 MV:預測模組
690:熵編碼器
850:解碼圖片緩衝器
890:解析器
640、840:幀間預測模組
613、813:預測像素資料
616:變換係數
612、812:量化資料(或量化係數)
619、819:重構殘差
617:重構像素資料
817:解碼像素資料
700、900:處理
710-740、910-940:步驟
800:視頻解碼器
1000:電子系統
1005:匯流排
1010:處理單元
1015:圖形處理單元(GPU)
1020:系統記憶體
1025:網路
1030:唯讀記憶體
1035:永久存儲裝置
1040:輸入裝置
1045:輸出裝置
包括附圖以提供對本公開的進一步理解,並且附圖被併入本公開並構成本公開的一部分。附圖例示了本公開的實現(implementation),並且與描述一起用於解釋本公開的原理。可以理解的是,附圖不一定按比例繪製,因為為了清楚地例示本公開的概念,某些元件可能被示為與實際實現中的尺寸不成比例。 第1圖例示了合併模式的運動候選。該圖示出了正在由視頻轉碼器編碼或解碼的視頻圖片或幀的當前塊。 第2圖例示了包括組合的雙預測合併候選的合併候選列表。 第3圖例示了包括縮放的合併候選的合併候選列表。 第4圖例示了將零向量候選添加到合併候選列表或AMVP候選列表的示例。 第5圖例示了當對當前塊進行編碼時用於IBC模式的示例簡化合併候選列表。 第6圖例示了可以在IBC模式下使用簡化合併列表構造來對區塊進行編碼的示例視頻轉碼器。 第7圖概念性地例示了通過使用用於IBC模式的簡化合併候選列表來對當前塊進行編碼的處理。 第8圖例示了可以在IBC模式下使用簡化合併列表構造來對區塊進行解碼的示例視頻解碼器。 第9圖概念性地例示了通過使用用於IBC模式的簡化合併候選列表來對當前塊進行解碼的處理。 第10圖概念性地例示了利用其實現本公開的一些實施方式的電子系統。
100:當前塊

Claims (13)

  1. 一種視頻解碼方法,該方法包括以下步驟:從位元流接收要作為視頻的當前圖片的當前塊被解碼的區塊的資料,其中,所述當前塊的多個空域相鄰鄰近塊在所述當前塊之前被編解碼;生成合併候選列表,所述合併候選列表包括與參考了所述當前圖片中的像素的運動資訊相關聯的幀內圖片候選,其中,所述幀內圖片候選包括與所述當前塊的所述多個空域相鄰鄰近塊中的一些但不是所有空域相鄰鄰近塊相關聯的候選;其中,生成合併候選列表的步驟包括:基於所述當前塊的屬性,確定在所述列表中包括哪個合併候選,所述當前塊的屬性包含當前塊的寬度、或高度、或面積;從所生成的合併候選列表中選擇合併候選;以及通過使用所選擇的合併候選的運動資訊對所述當前塊進行解碼。
  2. 如申請專利範圍第1項所述的方法,其中,所述當前塊的所述多個空域相鄰鄰近塊在所述當前塊的左側和頂部,其中,生成合併候選列表的步驟包括:從所生成的合併候選列表中排除所述空域相鄰鄰近塊中的一些。
  3. 如申請專利範圍第1項所述的方法,其中,生成合併候選列表的步驟包括:包括與所述當前塊的上方的一個空域相鄰鄰近塊以及所述當前塊的左側的一個空域相鄰鄰近塊相關聯並且不與所述當前塊的其他空域相鄰鄰近塊相關聯的幀內圖片候選。
  4. 如申請專利範圍第1項所述的方法,所述方法還包括以下步驟:針對包括所述當前塊的當前片維護多個基於歷史的運動向量預測(HMVP)候選,每個HMVP候選與先前編解碼的塊的運動資訊相關聯;以及將不超過N個HMVP候選與所述幀內圖片候選進行比較以檢測冗餘。
  5. 如申請專利範圍第4項所述的方法,其中,N等於1。
  6. 如申請專利範圍第4項所述的方法,其中,生成合併候選列表的步驟包括簡化的修剪處理,所述簡化的修剪處理將所述HMVP候選添加到所述合併候選列表中而不進行比較以檢測冗餘。
  7. 一種視頻編碼方法,該方法包括以下步驟:接收要作為視頻的當前圖片的當前塊被編碼到位元流中的區塊的原始像素資料,其中,所述當前塊的多個空域相鄰鄰近塊在所述當前塊之前被編碼;生成合併候選列表,所述合併候選列表包括與參考了所述當前圖片中的像素的運動資訊相關聯的幀內圖片候選,其中,所述幀內圖片候選包括與所述當前塊的所述多個空域相鄰鄰近塊中的一些但不是所有空域相鄰鄰近塊相關聯的候選;其中,生成合併候選列表的步驟包括:基於所述當前塊的屬性,確定在所述列表中包括哪個合併候選,所述當前塊的屬性包含當前塊的寬度、或高度、或面積;從所生成的合併候選列表中選擇合併候選;以及通過使用所選擇的合併候選的運動資訊將所述當前塊編碼到所述位元流中。
  8. 一種電子設備,所述電子設備包括:視頻解碼器電路,所述視頻解碼器電路被配置為執行包括以下操作:從位元流接收要作為視頻的當前圖片的當前塊被解碼的區塊的資料,其中,所述當前塊的多個空域相鄰鄰近塊在所述當前塊之前被編碼;生成合併候選列表,所述合併候選列表包括與參考了所述當前圖片中的像素的運動資訊相關聯的幀內圖片候選,其中,所述幀內圖片候選包括與所述當前塊的所述多個空域相鄰鄰近塊中的一些但不是所有空域相鄰鄰近塊相關聯的候選;其中,生成合併候選列表的步驟包括:基於所述當前塊的屬性,確定在所述列表中包括哪個合併候選,所述當前塊的屬性包含當前塊的寬度、或高度、或面積; 從所生成的列表中選擇合併候選;以及通過使用所選擇的合併候選的運動資訊對所述當前塊進行解碼。
  9. 一種視頻解碼方法,該方法包括以下步驟:從位元流接收要作為視頻的當前圖片的當前塊被解碼的區塊的資料,其中,所述當前塊的多個空域相鄰鄰近塊在所述當前塊之前被編碼;在針對所述當前塊的幀內塊複製(IBC)預測中執行合併模式,包括:生成合併候選列表,以包括僅與所述當前塊的多個編碼的空域相鄰鄰近塊中的兩個編碼空域相鄰鄰近塊相關聯的合併索引;其中,生成合併候選列表的步驟包括:基於所述當前塊的屬性,確定在所述列表中包括哪個合併候選,所述當前塊的屬性包含當前塊的寬度、或高度、或面積;從所生成的合併候選列表中選擇合併候選;以及通過使用所選擇的合併候選的運動資訊對所述當前塊進行解碼。
  10. 如申請專利範圍第9項所述的方法,其中,生成合併候選列表的所述步驟包括:生成所述合併候選列表以包括僅與所述當前塊的左側和頂部的鄰近塊中的兩個鄰近塊相關聯的合併索引。
  11. 如申請專利範圍第9項所述的方法,所述方法還包括以下步驟:針對包括所述當前塊的當前片維護基於歷史的運動向量預測(HMVP)候選列表,每個HMVP候選與先前編解碼的塊的運動資訊相關聯;僅將來自所述HMVP候選列表中的前N個HMVP候選與所述合併候選列表進行比較;以及當比較結果表明所比較的HMVP候選與所述合併候選列表中的候選不同時,將所比較的HMVP候選添加到所述合併候選列表中。
  12. 如申請專利範圍第11項所述的方法,其中,N等於1。
  13. 如申請專利範圍第9項所述的方法,所述方法還包括以下步驟:針對包括所述當前塊的當前片維護基於歷史的運動向量預測(HMVP)候選列表,每個HMVP候選與先前編碼的塊的運動資訊相關聯;以及將所述HMVP候選列表添加到所述合併候選列表中而不進行比較以檢測冗餘。
TW109105450A 2019-02-22 2020-02-20 幀內塊複製合併列表簡化 TWI749467B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962808940P 2019-02-22 2019-02-22
US62/808,940 2019-02-22
US16/795,491 US11115653B2 (en) 2019-02-22 2020-02-19 Intra block copy merge list simplification
US16/795,491 2020-02-19

Publications (2)

Publication Number Publication Date
TW202038620A TW202038620A (zh) 2020-10-16
TWI749467B true TWI749467B (zh) 2021-12-11

Family

ID=72141893

Family Applications (2)

Application Number Title Priority Date Filing Date
TW109105450A TWI749467B (zh) 2019-02-22 2020-02-20 幀內塊複製合併列表簡化
TW109105451A TWI737184B (zh) 2019-02-22 2020-02-20 幀内塊複製模式的合併列表生成的方法和裝置

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW109105451A TWI737184B (zh) 2019-02-22 2020-02-20 幀内塊複製模式的合併列表生成的方法和裝置

Country Status (6)

Country Link
US (2) US11115653B2 (zh)
EP (1) EP3918803A4 (zh)
CN (1) CN113455003B (zh)
CA (1) CA3126882C (zh)
TW (2) TWI749467B (zh)
WO (1) WO2020169082A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019234600A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between pairwise average merging candidates and intra-block copy (ibc)
CN113115046A (zh) 2018-06-21 2021-07-13 北京字节跳动网络技术有限公司 分量相关的子块分割
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
CN118055251A (zh) 2018-09-22 2024-05-17 Lg 电子株式会社 使用间预测处理视频信号的方法和装置
TWI818086B (zh) 2018-09-24 2023-10-11 大陸商北京字節跳動網絡技術有限公司 擴展Merge預測
CN112970262B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 三角预测模式中的取整
CN113170170A (zh) * 2018-11-22 2021-07-23 北京字节跳动网络技术有限公司 用于具有几何分割的帧间预测的混合方法
WO2020135465A1 (en) * 2018-12-28 2020-07-02 Beijing Bytedance Network Technology Co., Ltd. Modified history based motion prediction
KR102617439B1 (ko) * 2019-02-26 2023-12-26 애플 인크. 영상 신호 부호화/복호화 방법 및 이를 위한 장치
US11166015B2 (en) * 2019-03-06 2021-11-02 Tencent America LLC Method and apparatus for video coding
CN113812165B (zh) * 2019-05-09 2023-05-23 北京字节跳动网络技术有限公司 对hmvp表的改进
US11218727B2 (en) * 2019-07-11 2022-01-04 Tencent America LLC Method and apparatus for predictor candidate list size signaling for intra picture block compensation
US11451809B2 (en) * 2019-08-28 2022-09-20 Tencent America LLC Method and apparatus for video coding
US11523104B2 (en) * 2019-09-19 2022-12-06 Alibaba Group Holding Limited Methods for constructing a merge candidate list
WO2023198105A1 (en) * 2022-04-14 2023-10-19 Mediatek Inc. Region-based implicit intra mode derivation and prediction
WO2023236916A1 (en) * 2022-06-06 2023-12-14 Mediatek Inc. Updating motion attributes of merge candidates
WO2023246412A1 (en) * 2022-06-23 2023-12-28 Mediatek Inc. Methods and apparatus for video coding using multiple history-based motion vector prediction tables
WO2024012460A1 (en) * 2022-07-12 2024-01-18 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170280159A1 (en) * 2014-09-01 2017-09-28 Hfi Innovation Inc. Method of Intra Picture Block Copy for Screen Content and Video Coding
CN108141605A (zh) * 2015-10-02 2018-06-08 高通股份有限公司 帧内块复制合并模式及不可用帧内块复制参考区域的填充

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103430547B (zh) 2011-03-08 2017-03-29 Jvc建伍株式会社 动图像解码装置、动图像解码方法
KR101197176B1 (ko) * 2011-09-23 2012-11-05 주식회사 케이티 머지 후보 블록 유도 방법 및 이러한 방법을 사용하는 장치
US9554150B2 (en) * 2013-09-20 2017-01-24 Qualcomm Incorporated Combined bi-predictive merging candidates for 3D video coding
CN105684441B (zh) 2013-10-25 2018-09-21 微软技术许可有限责任公司 视频和图像编码中的基于散列的块匹配
US10187657B2 (en) * 2014-03-14 2019-01-22 Samsung Electronics Co., Ltd. Method and device for configuring merge candidate list for decoding and encoding of interlayer video
US10666968B2 (en) * 2014-05-06 2020-05-26 Hfi Innovation Inc. Method of block vector prediction for intra block copy mode coding
US9832467B2 (en) 2014-10-07 2017-11-28 Qualcomm Incorporated Deblock filtering for intra block copying
US9854237B2 (en) * 2014-10-14 2017-12-26 Qualcomm Incorporated AMVP and merge candidate list derivation for intra BC and inter prediction unification
WO2017084512A1 (en) * 2015-11-20 2017-05-26 Mediatek Inc. Method and apparatus of motion vector prediction or merge candidate derivation for video coding
US10560718B2 (en) * 2016-05-13 2020-02-11 Qualcomm Incorporated Merge candidates for motion vector prediction for video coding
US10523934B2 (en) * 2017-05-31 2019-12-31 Mediatek Inc. Split based motion vector operation reduction
US11172203B2 (en) * 2017-08-08 2021-11-09 Mediatek Inc. Intra merge prediction
US20200021836A1 (en) * 2018-07-10 2020-01-16 Tencent America LLC Method and apparatus for ordering and selection of affine merge candidates in motion compensation
US10362330B1 (en) * 2018-07-30 2019-07-23 Tencent America LLC Combining history-based motion vector prediction and non-adjacent merge prediction
US11051034B2 (en) * 2018-10-08 2021-06-29 Qualcomm Incorporated History-based motion vector predictor
US10904557B2 (en) * 2019-01-22 2021-01-26 Tencent America LLC Method and apparatus for video coding
US11025936B2 (en) * 2019-01-25 2021-06-01 Tencent America LLC Method and apparatus for video coding
CN113994699B (zh) 2019-06-06 2024-01-12 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170280159A1 (en) * 2014-09-01 2017-09-28 Hfi Innovation Inc. Method of Intra Picture Block Copy for Screen Content and Video Coding
CN108141605A (zh) * 2015-10-02 2018-06-08 高通股份有限公司 帧内块复制合并模式及不可用帧内块复制参考区域的填充

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Li Zhang et al, "CE4-related: History-based Motion Vector Prediction," Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, Jul. 10-18, 201 *

Also Published As

Publication number Publication date
TW202038620A (zh) 2020-10-16
US20200275120A1 (en) 2020-08-27
US11115653B2 (en) 2021-09-07
US20200275093A1 (en) 2020-08-27
CA3126882A1 (en) 2020-08-27
EP3918803A1 (en) 2021-12-08
WO2020169082A1 (en) 2020-08-27
TWI737184B (zh) 2021-08-21
CN113455003B (zh) 2023-09-29
CN113455003A (zh) 2021-09-28
TW202038621A (zh) 2020-10-16
US11122260B2 (en) 2021-09-14
EP3918803A4 (en) 2022-11-02
CA3126882C (en) 2023-10-10

Similar Documents

Publication Publication Date Title
TWI749467B (zh) 幀內塊複製合併列表簡化
TWI737201B (zh) 用於發信合併工具的方法及裝置
TWI749503B (zh) 核心轉換和次級轉換間之交互作用及其裝置
TWI690200B (zh) 畫面內合併預測
TWI719542B (zh) 一種視訊編碼/解碼方法及裝置
TWI688261B (zh) 用於簡化的合併候選發信的編解碼方法及裝置
TWI690195B (zh) 硬體友善限制之運動向量細化修正
CN110169061B (zh) 编解码电子装置与方法
US11924413B2 (en) Intra prediction for multi-hypothesis
TWI749358B (zh) 共享候選列表
TW201946470A (zh) 用於照度補償的信令
TWI752897B (zh) 運動向量差值導數傳訊技術
TWI754199B (zh) 具有應用的塊設定以及運動儲存設定的三角形預測
TW202021362A (zh) 用於多重-參考行預測與多重-假設預測之發信
TW201939947A (zh) 視訊編解碼中的智能模式分配
TWI836792B (zh) 視訊編解碼方法及相關裝置
WO2023193769A1 (en) Implicit multi-pass decoder-side motion vector refinement
TW202412526A (zh) 視訊編解碼中的出界檢查
TW202327361A (zh) 視訊編解碼方法及相關裝置
TW202415066A (zh) 多假設預測編解碼
TW202341740A (zh) 視訊編解碼方法及其電子裝置
TW202402054A (zh) 用於候選清單的相似性閾值
TW202416713A (zh) 仿射候選細化