TWI678917B - 用於視訊編解碼的畫面內-畫面間預測的方法及裝置 - Google Patents

用於視訊編解碼的畫面內-畫面間預測的方法及裝置 Download PDF

Info

Publication number
TWI678917B
TWI678917B TW107119666A TW107119666A TWI678917B TW I678917 B TWI678917 B TW I678917B TW 107119666 A TW107119666 A TW 107119666A TW 107119666 A TW107119666 A TW 107119666A TW I678917 B TWI678917 B TW I678917B
Authority
TW
Taiwan
Prior art keywords
intra
inter
picture
predictor
current block
Prior art date
Application number
TW107119666A
Other languages
English (en)
Other versions
TW201904296A (zh
Inventor
賴貞延
Chen Yen Lai
陳慶曄
Ching Yeh Chen
徐志瑋
Chih Wei Hsu
黃毓文
Yu Wen Huang
Original Assignee
聯發科技股份有限公司
Mediatek Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司, Mediatek Inc. filed Critical 聯發科技股份有限公司
Publication of TW201904296A publication Critical patent/TW201904296A/zh
Application granted granted Critical
Publication of TWI678917B publication Critical patent/TWI678917B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申請公開一種視訊編解碼的方法及裝置。依據一方法，當前塊中的邊界區域被確定。對於邊界區域中的每個像素，畫面內預測子和畫面間預測子可以被推導出。透過混合畫面內預測子和畫面間預測子，畫面內-畫面間預測子被生成。使用畫面內-畫面間預測子，當前塊的邊界區域中的像素被編碼或解碼。對於當前塊中不屬於邊界區域的剩餘像素，使用畫面間預測子或畫面內預測子，這些像素被編碼或解碼。在另一方法中，透過將畫面內加權因數與畫面間加權因數之和縮放成2的冪，畫面內-畫面間預測流程被實現，以避免除法操作的需要。在又一方法中，畫面內-畫面間預測基於當前塊尺寸被應用。

Description

用於視訊編解碼的畫面內-畫面間預測的方法及裝置
本申請涉及視訊編解碼畫面間預測。具體而言，本申請涉及一種透過混合畫面間與畫面內預測的新的畫面間預測。
視訊資料需要較大的存儲空間來存儲或者較寬的頻寬來傳輸。隨著較高解析度和較高訊框率的增長，如果視訊資料以未壓縮的形式被存儲或傳輸，則存儲或傳輸頻寬需求將是巨大的。因此，使用視訊編解碼技術，視訊資料通常以已壓縮的格式被存儲或傳輸。使用較新的視訊壓縮格式，例如，H.264/AVC標準和高效視訊編解碼(High Efficiency Video Coding，HEVC)標準，編解碼效率實際上已被提高。為了保持可控的複雜度，圖像通常被分割成塊，例如，宏塊（macroblock，MB）或最大編碼單元（LCU）/編碼單元（CU），以用於視訊編解碼。視訊編解碼標準通常基於塊適應性採用畫面間/畫面內預測。
第1圖示出了集成環路處理的示例性適應性畫面間/畫面內視訊編解碼系統。對於畫面間預測，運動估計(Motion Estimation，ME)/運動補償(Motion Compensation，MC)112用於基於來自於一個或複數個其他圖像的視訊資料提供預測資料。開關114選擇畫面內預測110或畫面間預測資料，所選擇的預測資料被提供給加法器116，以形成預測誤差，也稱為殘差。隨後，預測誤差，先由變換(Transform，T)118進行處理，後由量化(Quantization，Q)120進行處理。隨後，已變換且已量化殘差由熵編碼器122進行編解碼，以被包含在對應於已壓縮視訊資料的視訊位元流中。隨後，與變換係數相關的位元流與輔助資訊一起被封裝，例如，運動、編解碼模式和與圖像區域相關的其他資訊。輔助資訊，例如，畫面間預測資料、運動資訊和環路濾波器資訊，也可以透過熵編解碼進行壓縮，以降低所需頻寬。因此，如第1圖所示，與輔助資訊相關的資料被提供給熵編碼器122。當畫面間預測模式被使用時，一個或複數個參考圖像也必須在編碼器端被重構。因此，已變換且已量化殘差由逆量化(Inverse Quantization，IQ)124和逆變換(Inverse Transformation，IT)126進行處理，以恢復殘差。隨後，殘差在重構(Reconstruction，REC)128處與預測資料136相加，以重構視訊資料。已重構視訊資料可以被存儲在參考圖像暫存器134中，並用於其他訊框的預測。
如第1圖所示，在編碼系統中，輸入的視訊資料經歷一系列處理。由於一系列的處理，來自於重構128的已重構視訊資料可能經受不同的損壞。因此，環路濾波器通常在已重構視訊資料被存儲到參考圖像暫存器134之前被應用於已重構視訊資料，以便提高視訊品質。例如，去塊(deblocking filter，DF）濾波器和樣本適應性偏移（Sample Adaptive Offset，SAO）已在高效視訊編解碼（High Efficiency Video Coding，HEVC）標準中使用。濾波器資訊可以必須被包括在位元流中，使得解碼器可以適當地恢復所需資訊。因此，環路濾波器資訊被提供給熵編碼器122以包含在位元流中。在第1圖中，在已重構樣本被存儲在參考圖像暫存器134之前，環路濾波器130被應用於已重構視訊。第1圖中的系統旨在示出典型的視訊編碼器的示例性結構。
在畫面內預測中，當前塊由來自於空間相鄰塊的先前已解碼邊界樣本預測。對於HEVC，存在33種不同的角度模式、DC模式和平面模式，以用於從4x4到32x32的塊尺寸。下一代視訊編解碼正被開發以進一步提高編解碼效率，其公開了改進的畫面內預測。例如，在JEM-6 (Chen et al., “Algorithm Description of Joint Exploration Test Model 6 (JEM6)”, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 6th Meeting: Hobart, AU, 31 March – 7 April 2017, Document: JVET-F1001)中，公開了更細細微性任意方向畫面內預測，其中67種畫面內預測模式被使用，包括平面模式、DC模式和65種角度模式。下一代視訊編解碼所支持的編碼單元被擴大到265x256。
在畫面間預測中，每個塊將試圖在一個或複數個先前已編解碼訊框(稱為參考訊框)中，查找相似塊，運動資訊將被發信或推導出。在HEVC中，運動資訊通常包括水平運動向量平移值和垂直運動向量平移值，一個或兩個參考圖像索引如果是在B片段中的預測區域的情況，以及哪個參考圖像列表與每個索引相關的標識。
在HEVC中，畫面間預測也包括合併模式，以繼承來自於空間或時間相鄰塊的運動資訊。合併候選列表在編碼器端和解碼器端被保持。自列表選擇的候選可以由合併索引表示，而無需發信運動資訊。其被稱為合併模式，是因為其形成合併區域以共用所有運動資訊。合併模式相似於AVC中的直接模式和跳過模式。
在下一代視訊編解碼中，不同的畫面間預測技術已被公開，以提高編解碼效率的性能。例如，在VCEG-AZ07 (Chen et al., “Further improvements to HMKTA-1.0”, Video Coding Experts Group (VCEG) of ITU-T SG16 Q, 2015)中，公開了基於模型的MV推導（pattern-based MV derivation，PMVD）方法。PMVD方法在VCEG-AZ07中也稱為訊框率向上轉換（Frame Rate Up Conversion，FRUC）。FRUC包括用於雙向預測塊的雙邊匹配和用於單向預測塊的模板匹配。依據PMVD（又稱為FRUC）推導的預測子可以被插入到合併列表中，作為另一候選。
第2圖示出了訊框率向上轉換（Frame Rate Up Conversion，FRUC）雙向匹配模式的示例，其中基於兩個參考圖像，當前塊210的運動資訊被推導出。透過在兩個不同參考圖像（即Ref0和Ref1）中沿著當前塊的運動軌跡240查找兩個塊（即220和230）之間的最佳匹配，當前塊的運動資訊被推導出。在連續運動軌跡的假設下，指向兩個參考塊的與Ref0相關的運動向量運動向量MV 0和與Ref1相關的運動向量運動向量MV 1將與當前圖像（即Cur pic）和兩個參考圖像Ref0和Ref1之間的時間距離，即TD0和TD1成比例。
第3圖示出了模板匹配FRUC模式的示例。當前圖像（即Cur pic）中的當前塊310的相鄰區域（即320a和320b）用作模板，以與參考圖像（即第3圖中的Ref0）中的相應模板（即330a和330b）匹配。模板320a/320b與模板330a/330b之間的最佳匹配將確定解碼器側推導運動向量340。雖然第3圖中顯示了Ref0，但是Ref1也可以用作參考圖像。
在HEVC中，僅平移運動模型被應用於運動補償預測（motion compensation prediction，MCP）。雖然在實際世界中，存在很多種運動，例如，放大/縮小、旋轉、透視運動和其他非常規運動。仿射模型能描述二維塊選擇和二維變形，以將方形（或長方形）變換成平行四邊形。此模型可以被描述成如下： (1)
在此模型中，總共6個參數（即，a 和）被使用。對於感興趣區域中的每個像素A(x, y) ，使用塊的運動向量場（motion vector field，MVF），此像素與其相應參考像素A’(x’, y’) 之間的運動向量可以被推導出。
在下一代視訊編解碼中，簡化的仿射變換運動補償預測被應用，以便提高編解碼效率。塊的仿射運動場由與兩個控制點相關的運動向量描述，仿射模型僅使用4個參數，而不是6個。
除了PMVD和仿射運動模型，其他改進的畫面間預測技術，例如，空間-時間運動向量預測（spatial-temporal motion vector prediction，STMVP）和不同的基於子預測單元的運動向量預測，也被提出到下一代視訊編輯碼。
在本申請中，新的畫面間預測模式被公開，其組合畫面內預測模式與畫面間預測模式。
本申請公開了視訊編解碼的方法及裝置，其由視訊編碼器或視訊解碼器執行。依據一方法，當前塊中的邊界區域被確定。對於邊界區域中的每個像素，自複數個畫面內參考像素推導出畫面內預測子；也在參考圖像中推導出包括位於參考塊中的複數個畫面間參考像素的畫面間預測子；透過混合畫面內預測子和畫面間預測子，生成畫面內-畫面間預測子；以及使用畫面內-畫面間預測子，編碼或解碼邊界區域像素。參考塊先於當前塊被編解碼。複數個畫面內參考像素在當前圖像中位於當前塊的頂端邊界之上或位於當前塊的左側邊界的左側。畫面內參考像素先於當前塊被編解碼。對於當前塊中不屬於邊界區域的複數個剩餘像素，使用畫面間預測子或畫面內預測子，複數個剩餘像素被編碼或解碼。
在一實施例中，邊界區域對應於靠近複數個畫面內參考像素的當前塊的前N列和靠近複數個畫面內參考像素的當前塊的前N行中的至少一個，其中N為大於0的整數。N可以為預定義的，或者基於當前塊的尺寸發信的。與位於當前塊的第一列或第一行處的最大梯度相關的位置可以是基於畫面內預測子或畫面間預測子，或者畫面內預測子與畫面間預測子之間的差推導出的，位置用於確定N的值。可選地，與位於當前塊的第一列或第一行處的最大梯度相關的位置可以是基於畫面內預測子或畫面間預測子，或者畫面內預測子與畫面間預測子之間的差推導出的，且如果最大梯度實質上(substantially)大於為當前塊的第一列或第一行所計算的複數個垂直梯度和複數個水平梯度的平均梯度，則位置用於確定N的值，否則預設值用於N。當最大梯度大於某一數量或百分比，其可以被考慮成“實質上”。例如，當最大梯度50%大於平均梯度，其被考慮為“實質上”。在另一情況中，與畫面內預測子與複數個相鄰已重構像素之間、畫面間預測子與複數個相鄰已重構像素之間或者畫面間預測子與畫面內預測子之間的最大差相關的位置可以被推導出，且位置用於確定N的值。當前塊中不屬於邊界區域的剩餘像素使用畫面間預測子被編碼或解碼。
在一實施例中，在當前塊中確定邊界區域包括：基於畫面間預測子、畫面內預測子或畫面內預測與畫面間預測子之間的差值，在當前塊中檢測模型邊緣，且邊界區域是依據模型邊緣確定的。檢測複數個模型邊緣可以包括：依據與畫面內預測子相關的畫面內預測模式是靠近垂直方向還是水平方向，基於用於每行或每列的畫面間預測子、畫面內預測子或畫面內預測子與畫面間預測子之間的差值，計算最大梯度。邊界區域可以包括每行或每列中的一個邊緣像素。邊界區域還可以包括與當前塊的同一行或同一列中的一個邊緣像素相鄰的任何相鄰像素。邊界區域還可以包括位於當前行或列中的當前邊緣像素與先前行或列中的先前邊緣像素之間的當前行或列中的任何額外像素。對於當前塊中不屬於邊界區域的目標像素，如果目標像素位於與目標像素相同的行或列中的一個邊緣像素之上或左側，則目標像素可以使用畫面內預測子被編碼或解碼。對於當前塊中不屬於邊界區域的目標像素，如果目標像素位於與目標像素相同的行或列中的一個邊緣像素之下或右側，則目標像素可以使用畫面間預測子被編碼或解碼。
本申請還公開了另一種視訊編解碼的方法及裝置，其由視訊編碼器或視訊解碼器執行。在畫面內預測子和畫面間預測子被推導出之後，畫面內預測子和畫面間預測子的加權之和被生成，其中生成畫面內預測子和畫面間預測子的加權之和包括：將已加權畫面內預測子與已加權畫面間預測子進行相加，其中已加權畫面內預測子是透過將畫面內預測子乘以畫面內加權因數而推導出的，且已加權畫面間預測子是透過將畫面間預測子乘以畫面間加權因數而推導出的，畫面內加權因數與畫面間加權因數之和被縮放成2的冪。透過將右移操作應用於畫面內預測子與畫面間預測子的加權之和，已歸一化畫面內-畫面間預測子被生成。隨後，當前塊使用已歸一化畫面內-畫面間預測子被編碼或解碼。基可以被添加到已加權畫面內預測子與已加權畫面間預測子之和。
本申請還公開了又一種視訊編解碼的方法及裝置，其由視訊編碼器或視訊解碼器執行。依據此方法，如果當前塊的尺寸大於最大塊尺寸或小於最小塊尺寸，則禁能用於當前塊的畫面內-畫面間預測模式。
以下描述為本發明的較佳實施例。以下實施例僅用來舉例闡釋本發明的技術特徵，並非用以限定本發明。本發明的保護範圍當視申請專利範圍所界定為准。
在傳統的編解碼系統中，塊以畫面內預測模式被編解碼，或者以畫面間預測模式被編解碼。在本申請中，公開了已組合畫面內預測與畫面間預測模式，以用於視訊壓縮中的畫面間圖像。在本申請中，也公開了畫面內-畫面間模式的發信。畫面內-畫面間模式可以被應用於子塊分割（例如，預測單元（prediction unit，PU）和變換單元（transform unit，TU））。與所提出的畫面內-畫面間預測模式相關的子塊（即編碼單元、預測單元和變換單元）層發信也被公開了。此外，也公開了與新的畫面內-畫面間預測模式相關的不同方面，例如，調節用於畫面內-畫面間的畫面內模式的數量，修改用於畫面內預測子和畫面間預測子的加權係數以及在高層語法中控制畫面內-畫面間模式的參數或開啟/關閉。
畫面內 - 畫面間模式
畫面內-畫面間模式是一種新的模式，其組合畫面內模式和畫面間模式以形成新的畫面間預測。在如第4圖所示的一個示例性編碼器的結構示意圖中，編碼器400在畫面內模式、畫面間模式和畫面內-畫面間模式中進行選擇以編碼輸入視訊410。當畫面內模式被選擇時，畫面內預測412用於生成預測子。當常規畫面間模式被使用時，運動估計/補償414被應用於當前塊。當畫面內-畫面間模式被使用時，運動估計/補償以及畫面內預測416被應用於當前塊。使用加法器418，預測子（即畫面內預測子、畫面間預測子或畫面內-畫面間預測子）自當前塊提取，以形成殘差。隨後，殘差由變換與量化420進行處理，以形成已量化變換係數，其還由熵編解碼模組440進行處理，以生成位元流。在視訊編碼器側，已重構圖像必須被生成且存儲為參考圖像以用於畫面間預測。因此，編碼器也包括逆量化與逆變換422，以形成已重構殘差。已重構殘差利用加法器424與預測子相加，以形成已重構訊號。為了降低編解碼偽影，諸如去塊濾波器430和樣本適應性偏移432的濾波器被應用於已重構圖像。已解碼圖像暫存器434用於將已濾波且已重構圖像存儲為參考圖像。在編碼器側，其將被發信以表示當前塊是否以畫面內模式、畫面間模式或畫面內-畫面間模式被編解碼。在解碼器側，其將推導或解析出用於當前塊的編解碼模式。當當前塊使用畫面內-畫面間模式時，畫面內編解碼資訊（例如，畫面內模式）和畫面間編解碼資訊（例如，參考圖像索引、運動向量、單向預測或雙向預測）將在編碼器側被發信，或者在解碼器側被推導出。
在另一實施例中，畫面內-畫面間模式可以被處理為畫面間預測分支下的特定畫面間模式。當當前塊以畫面間預測模式被編解碼時，標誌將在編碼器側被發信，或在解碼器側被推導出，以表示當前預測塊是否為常規畫面間模式或畫面內-畫面間模式。當當前塊使用畫面內-畫面間模式時，畫面內編解碼資訊（例如，畫面內模式）和畫面間編解碼資訊（參考列表索引、運動向量、雙向預測或單向預測）將在編碼器側被發信或在解碼器被推導出。
在另一實施例中，畫面內-畫面間模式可以被處理為畫面內預測分支下的特定畫面內模式。當當前塊以畫面內預測模式被編解碼時，標誌將在編碼器側被發信，或在解碼器側被推導出，以表示當前預測塊是否為常規畫面內模式或畫面內-畫面間模式。當當前塊使用畫面內-畫面間模式時，畫面內編解碼資訊（例如，畫面內模式）和畫面間編解碼資訊（參考列表索引、運動向量、雙向預測或單向預測）將在編碼器側被發信或在解碼器被推導出。
畫面內 - 畫面間預測子生成
在所提出的方法中，對於每個塊，將存在畫面內預測子和畫面間預測子。如第5圖所示，畫面內預測子將與具有加權係數的畫面間預測子進行組合，以生成新的預測子。在第5圖中，畫面內預測子510與畫面間預測子520進行組合，以形成已組合畫面內-畫面間預測子530。
在本申請中，畫面內預測意味著自同一圖像中的當前塊的相鄰邊界推導出的預測子，可以存在關於相鄰像素如何用於預測當前塊的很多變數。在一實施例中，當前圖像可以使用傳統的HEVC畫面內模式。在另一實施例中，當前圖像可以使用如JVET-F1001中公開的JEM中所公開的更高級的畫面內預測。在另一實施例中，當前塊可以使用角度畫面內模式中的更少的方向。在另一實施例中，基於相鄰塊的已濾波樣本或未濾波樣本，當前塊可以推導出畫面內預測子，且畫面內預測子還可以透過濾波當前塊的樣本而被細化。
在本申請中，畫面間預測意味著預測子來自於先前訊框，其可以為常規畫面間模式預測子、合併模式預測子、FRUC模式預測子、仿射模式預測子或來自於先前訊框的其他預測子。
畫面內 - 畫面間模式的發信
在此部分中，畫面內-畫面間模式的發信被公開。
在一示例中，畫面內-畫面間模式被處理為畫面間預測模式。在這種情況中，當當前塊以畫面間預測被編解碼時，標誌用於表示其是否以畫面內-畫面間預測被編解碼。如果是畫面內-畫面間模式，則畫面內資訊將被發信；以及畫面間資訊（即，運動資訊）也在編碼器側被發信或在解碼器側被推導出。否則，僅畫面間資訊被發信或推導出。表1中提供基於HEVC語法的示例性語法設計。 表1 預測單元層處的畫面內-畫面間模式的語法示例
在表1中，對於跳過模式，標誌（即intra_inter_mode_flag ）被使用（如注釋(1-1a)所示），以表示畫面內-畫面間模式是否用於當前預測單元。intra_inter_mode_flag 的值被檢測以確定此值是否被設置為1（即如注釋(1-2a)所示的“if (intra_inter_mode_flag)”）。如果此值被設置為1，如注釋(1-3a)所示的語法元素intra_pred_mode 用於表示畫面內預測資訊。相似說明被包括在用於合併模式（如注釋(1-1c)、注釋(1-2c)和注釋(1-3c)所示）和單向預測模式和雙向預測模式（如注釋(1-1b)、和注釋(1-2b)所示）的語法表格中。在上述示例中，intra_inter mode_flag可以是上下文編解碼的或旁路編解碼的。其可以使用一個上下文、兩個上下文或三個上下文。
在使用兩個上下文編解碼畫面內-畫面間標誌的情況中，如果上方塊和左側塊中的任何一個使用畫面內-畫面間模式，則上下文0被選擇；否則，上下文1被選擇。在使用三個上下文編解碼畫面內-畫面間標誌的情況中，如果上方塊和左側塊均不使用畫面內-畫面間模式，則上下文0被選擇；如果上方塊和左側塊中的一個使用畫面內-畫面間模式，則上下文1被選擇；以及如果上方塊和左側塊均使用畫面內-畫面間模式，則上下文2被選擇。
畫面內 - 畫面間模式的加權係數
當組合畫面內模式和畫面間模式時，不同的加權可以被應用於畫面內預測子和畫面間預測子。設w_Intra和w_Inter表示用於畫面內模式和畫面間模式的加權係數。畫面內-畫面間預測子可以依據如下被推導出： Pred=w_Intra*Pred_Intra+w_Inter*Pred_Inter (2)
在上述方程式中，Pred為已組合預測子，Pred_Intra為畫面內預測子，Pred_Inter為畫面間預測子，且w_Intra + w_Inter =1。
在一實施例中，加權係數與畫面內模式方向相關。例如，w_Intra可以沿著畫面內模式方向減小。另一方面，w_Inter可以沿著畫面內模式方向增大。
在一示例中，如果樣本大部分由上方參考像素預測（即畫面內預測方向靠近垂直模式），則畫面內預測子的加權（w_Intra）逐列正向下方向逐列減小。如果樣本大部分由左側參考像素預測（即畫面內預測方向靠近水平模式），則畫面內預測子的加權（w_Intra）正向右方向逐行減小。如果畫面內模式為DC模式或平面模式，則w_Intra被設置為0.5，且w_Inter也被設置為0.5以用於整個塊。在另一示例中，w_Intra和w_Inter可以為其他數值。例如，w_Intra與w_Inter之和可以為除了1之外的值。然而，如果畫面內模式為DC模式或平面模式，w_Intra和w_Inter仍然等於1。第6圖示出了依據角度模式的加權係數選擇的示例。
在第6圖中，所有角度模式610被分成兩組，其中具有更靠近垂直模式的預測方向的所有角度畫面內模式被分類為垂直組612，具有更靠近水平模式的預測方向的所有角度畫面內模式被分類為水平組613。如果塊由屬於垂直組的畫面內模式而被畫面內編解碼，則畫面內加權集620被使用，逐列其中畫面內加權逐列被分成具有從w_Intra1 到w_Intra4減小的加權的四個帶（即w_Intra1到w_Intra4）。如果塊由屬於水平組的畫面內模式而被畫面內編解碼，則畫面內加權集630被使用，其中畫面內加權逐列被分成具有從w_Intra1到w_Intra4減小的加權的四個帶（即w_Intra1到w_Intra4）。
在上述示例中，對於四個畫面內預測子加權係數（w_Intra1, w_Intra2, w_Intra_3和w_Intra4），畫面間預測子加權係數（即w_Inter1, w_Inter2, w_Inter_3, 和w_Inter4）可以依據如下被推導出：w_Inter1=1-w_Intra1, w_Inter2=1-w_Intra2, w_Inter3=1-w_Intra3，以及w_Inter4=1-w_Intra4。在本示例中，對於畫面內加權的4個樣本帶，存在4個加權係數，其自靠近參考像素的邊界向遠離參考像素的邊界減小。在另一實施例中，對於每個塊，可以存在N個加權係數，其中N為大於1的整數。在另一實施例中，對於更大的塊尺寸，更大數量的加權係數可以被使用（即，更多加權係數可以被選擇以用於推導畫面內-畫面間預測子），並且對於更小的塊尺寸，更小數量的加權係數可以被使用。在另一實施例中，對於每組，具有相同係數的區域可以是非線性的，意味著每個區域的寬度無需是相同的。
在另一示例中，畫面內模式由其預測方向進行分組。例如，畫面內模式可以被分成5組，其對應於第7圖中的垂直組（標記為組A）、水平組（標記為組B）、對角線組（標記為組C）、垂直對角線組（標記為組D）和模式2組（標記為組E）。對於HEVC或下一代視訊編解碼中的畫面內預測已知，模式2對應于右上對角線預測方向。如果畫面內方向靠近垂直模式712（即組A），則畫面內預測子加權720被使用，其向下逐列減小。如果畫面內方向靠近水平模式713（即組B），則畫面內預測子加權730被使用，其向右方向逐行減小。如果畫面內方向靠近對角線模式714（即組C），則畫面內預測子加權740被使用，其向右下對角線方向減小。如果畫面內方向靠近垂直對角線模式（vertical-diagonal mode，VDIA）715（即組D），則畫面內預測子加權750被使用，其向左下對角線方向減小。如果畫面內方向靠近模式2 716（即組E），則畫面內預測子加權760被使用，其向右上對角線方向減小。如果畫面內模式為DC模式或平面模式，則被設置為0.5以用於整個塊。在另一實施例中，w_Intra和w_Inter可以為其他數值。例如，如果畫面內模式為DC模式或平面模式，則w_Intra和w_Inter可以為除了1之外的值，而w_Intra與w_Inter之和仍然等於1。
在第7圖中，w_Intra1, w_Intra2, w_Intra_3和w_Intra4為用於樣本帶的畫面內預測子加權係數。畫面間預測子加權係數（即w_Inter1, w_Inter2, w_Inter_3和w_Inter4）可以依據如下被推導出：w_Inter1=1-w_Intra1, w_Inter2=1-w_Intra2, w_Inter3=1-w_Intra3,以及w_Inter4=1-w_Intra4。在本示例中，存在4個加權係數，其自靠近參考像素的邊界向遠離參考像素的邊界減小。在另一實施例中，對於每個塊，可以存在N個加權係數，其中N為大於1的整數。在另一實施例中，對於更大的塊尺寸，更大數量的加權係數可以被使用（即，更多加權係數可以被選擇以用於推導畫面內-畫面間預測子），並且對於更小的塊尺寸，更小數量的加權係數可以被使用。在另一實施例中，對於每組，具有相同係數的區域可以是非線性的，意味著每個區域的寬度無需是相同的。
在又一實施例中，加權係數與當前像素與參考像素之間的距離相關。當畫面內模式為角度模式時，如果當前像素靠近參考像素，則畫面內預測子具有比畫面間預測子更大的加權。當畫面內模式為角度模式時，如果當前像素遠離參考像素，則畫面間預測子具有比畫面內預測子更大的加權。當畫面內模式為DC模式或平面模式時，w_Intra和w_Inter均被設置為0.5以用於整個塊。在又一實施例中，w_Intra和w_Inter可以為其他數值。例如，如果畫面內模式為DC模式或平面模式，則w_Intra和w_Inter可以為除了1之外的值，而w_Intra與w_Inter之和仍然等於1。
第8圖示出了在畫面內模式為對角線模式時依據當前樣本（由區域820表示）與參考樣本（810和812）之間的距離調節加權係數的示例。在第8圖中，S_r對應於參考樣本，S_p對應於已預測樣本。S_p與S_r之間的距離由D表示。畫面內預測加權w_Intra可以被表示為D的函數。例如，可以被計算為如下：(3)
在上述方程式中，a 和b 為正整數。a 和b 的值可以透過訓練來確定，且可以在序列參考集（Sequence Parameter Set，SPS）、圖像參數集（Picture Parameter Set，PPS）、片段頭處被發信或在編碼器側和解碼器側被硬編解碼。同樣，當D更小時，w_intra應更大。參考樣本與當前樣本之間的距離越近，w_intra將越大。
在另一實施例中，畫面內預測加權w_intra可以由其他函數表示。
在一實施例中，加權參數可以被使用以調節每個訊框的w_intra。此參數可以在序列參考集、圖像參數集或片段頭處被發信。新的預測子將由如下方程式計算： Pred = w_Intra*Adjustment_Intra*Pred_Intra+(1 - w_Intra *Adjustment_Intra)*Pred_Inter (4)
Adjustment_Intra參數可以自先前訊框推導出。推導畫面內預測加權係數的不同方式已在前面描述了，其可以被應用於上述方程式。
畫面內 - 畫面間模式的邊緣檢測
依據本方法，如果近似模型邊緣可以被檢測到，則畫面內預測子和畫面間預測子的加權係數可以適應性地被確定。在一實施例中，畫面間預測子可以被使用以檢測模型邊緣。首先，畫面間預測子的垂直梯度和水平梯度被計算（例如，垂直方向上的畫面間預測子之間的差可以被使用以推導出垂直梯度，且水平方向上的畫面間預測子之間的差可以被使用以推導出水平梯度），隨後，這兩個梯度被平均以用於下一流程。如果畫面內預測模式靠近垂直模式，則每行的具有最大值的樣本被選擇。為了簡便，在本發明中，每行的具有最大值的像素被稱為邊緣像素。對於此行中位於具有最大值的此樣本（即邊緣像素）之上的其他樣本，僅畫面內預測子被使用，無需混合流程；以及對於此同一行中位於具有最大值的此樣本（即邊緣像素）之下的這些樣本，僅畫面間預測子被使用於畫面間-畫面內預測。接下來，為了降低使用畫面內預測子或使用畫面間預測子處理的樣本之間的不連續性，混合流程被應用於圍繞具有最大值的邊界樣本（即邊緣像素）的這些像素。為了簡便，邊緣像素和圍繞邊緣像素的像素被稱為邊界區域像素。包括邊界區域像素的區域被稱為邊界區域。如果畫面內預測模式靠近水平模式，則每列的具有最大值的樣本被選擇。對於此列中位於具有最大值的樣本（即邊緣像素）的左側的其他樣本，僅畫面內預測子被使用，無需混合流程；以及對於此同一列中位於具有最大值的此樣本的右側的這些樣本，僅畫面間預測子被使用於畫面間-畫面內預測，其中此列中位於具有最大值的樣本（即，邊緣像素）的左側或右側的上述其他樣本可以被作為當前塊中的目標像素，其不屬於邊界區域。接下來，為了降低使用畫面內預測子或使用畫面間預測子處理的樣本之間的不連續性，混合流程被應用於圍繞具有最大值的邊界樣本的這些像素。同樣，為了簡便，邊緣像素和圍繞邊緣像素的像素被稱為邊界區域像素。包括邊界區域像素的區域被稱為邊界區域。在另一實施例中，畫面內預測子可以被使用以檢測模型邊緣，並處理與前面實施例相同的規則，以完成分割。在另一實施例中，畫面間預測子與畫面內預測子之間的差可以被使用以檢測模型邊緣，也應用與前面實施例相同的規則以完成畫面內-畫面間預測。
第9圖示出了依據上述實施例推導用於畫面內-畫面間預測的邊界區域的示例，其中塊910對應於當前塊的預測子，圖例920表示預測子類型。本示例被示出以用於畫面內預測靠近垂直預測的情況。因此，最大梯度（如第9圖中的最黑色方塊923所示）被確定以用於每行（即從最左側行到最右側行）。在本申請中，具有最大梯度的像素也被稱為邊緣像素。為了降低使用畫面內預測子或使用畫面間預測子處理的樣本之間的不連續性，混合流程被應用於圍繞具有最大值的邊界樣本（即邊緣像素）的這些像素。因此，如果邊界像素存在，則畫面內-畫面間混合也被應用於位於邊緣像素之上的像素以及位於邊緣像素之下的像素。在第9圖中，相鄰像素由光點填充方塊922表示。此外，邊界區域包括位於當前行中的當前邊緣像素（即邊緣像素911）與先前行中的先前邊緣像素（即邊緣像素912）之間的當前行中的任何額外像素。因此，由線913所表示的三個額外像素也被包括在邊界區域中。如前面所述，緊位於邊緣像素911之上的相鄰像素已被包括在先前步驟中的邊界區域中。現在，所有邊界區域像素（即光點填充像素和黑色像素）已被推導出。如由斜線填充方塊921表示，位於邊界區域之上的任何像素被設計以用於畫面內預測，並且如白色方塊924所示，位於邊界區域之下的任何像素被設計以用於畫面間預測。
畫面內 - 畫面間模式中的加權歸一化的操作
如前面所述，加權係數w_Intra和加權係數w_Inter可以具有被選擇以用於塊的每個樣本帶的值。已混合畫面內-畫面間預測子透過使用已加權和來組合畫面內預測子和畫面間預測子被推導出。對於計算已混合畫面內-畫面間，除法操作可以被避免，因為其相比於加法操作和乘法操作將需要更多處理功率以實現除法操作。在計算已畫面內-畫面間預測子期間，除法操作被使用于加權歸一化。為了避免除法操作，在本申請的一實施例中，w_Intra和w_Inter總和被縮放成2的冪，使得平移操作可以被使用于加權歸一化： Pred=(w_Intra*Pred_Intra+w_Inter*Pred_Inter) ＞＞ (Log2(w_Intra+w_Inter)) (5)
在上述方程式中，符號“＞＞”表示右移操作，Log2表示以2為基數的對數操作。在另一實施例中，基數可以被包括以降低舍入誤差： Pred=((w_Intra*Pred_Intra+w_Inter*Pred_Inter)+bias)＞＞(Log2(w_Intra+w_Inter)) (6)
用於畫面內 - 畫面間模式的畫面內預測的光滑濾波器
畫面內-畫面間模式中的畫面內預測被使用，以補償由於畫面間預測引起的一些資訊損失。在畫面內預測中，一些光滑濾波器和邊界濾波器被有條件地採用以進一步改進畫面內預測子。對於畫面內-畫面間模式，畫面內預測子的生成可以與常規畫面內預測相同。可選地，在畫面內-畫面間模式的畫面內預測生成中，這些光滑濾波器或邊界濾波器可以總是被使能或禁能。
畫面內 - 畫面間模式的第一列 / 行的改進
相鄰編碼單元的資訊可以被參考以增大當前預測的準確性。在一實施例中，屬於當前編碼單元邊界的樣本是透過在畫面內預測子、畫面間預測子和畫面間預測子與畫面內預測子的混合結果中選擇最好的一個而生成。最好的一個可以被定義為一個預測子，其相比於相鄰樣本具有最小差，以為了生成光滑邊界的當前編碼單元中的樣本之間的最小梯度，或者當前編碼單元中樣本與相鄰編碼單元中的樣本之間的最小梯度。
用於 畫面內 - 畫面間模式的參考先前編碼單元參數設置
為了在編碼器處降低畫面內-畫面間模式的計算複雜度，第一率失真優化（Rate-Distortion Optimization，RDO）流程中的畫面內-畫面間模式的一些資訊可以被節省，並在不同編碼單元分割中的後續RDO流程中被重新使用。在一實施例中，畫面內-畫面間模式的開啟/關閉決策被重新使用。在此之後，預測子可以遵循第一決策以處理或跳過此模式。然而，相鄰編碼單元的預測模式可以不同，使得畫面內-畫面間模式中的畫面內預測和畫面間預測的性能可以被改變。因此，在另一實施例中，儘管第一決策被使能，但是禁能畫面內-畫面間模式將總是被測試。在另一實施例中，畫面內-畫面間模式的最好畫面內預測模式也可以被重新使用，以降低複雜度。
與畫面內 - 畫面間模式的邊界進行混合
畫面內-畫面間模式中，畫面內預測被使用以補償畫面間預測的缺陷。然而，對於較大尺寸編碼單元，遠離參考樣本的已預測樣本在畫面內預測中一般不準確。為了克服此問題，用於畫面內-畫面間混合的邊界約束被提出。在一實施例中，僅靠近參考樣本的前幾列或前幾行將經歷畫面內-畫面間混合流程；且其他樣本直接自畫面間預測推導出。如果畫面內預測模式靠近垂直模式，則畫面內預測子加權在靠近參考樣本的前N列內逐列減小。如果畫面內預測模式靠近水平模式，則畫面內預測子加權在靠近參考樣本的前N行內逐行減小（即畫面內預測子自第1行到第N行減小，且剩餘行（如果存在）的畫面內預測子加權均被設置為0）。對於DC模式或平面畫面內模式，等於0.5的w_Intra和w_Inter僅被應用於L型區域（靠近參考樣本的前面N列和N行）內。在另一實施例中，第一列和第一行中的樣本的梯度先被計算。如果第一列/行中的最大梯度比對此列/行所計算的平均梯度大得多，則最大梯度的位置為混合流程中的邊界；否則，默認範圍邊界被使用。用此混合邊界，透過僅生成前面N列或N行以用於進一步混合，畫面內-畫面間中的畫面內預測可以被簡化。在一些實施例中，N為預定義的或基於當前塊的尺寸發信的。在另一實施例中，頂端編碼單元和左側編碼單元的L型中的畫面間/畫面內預測子與相鄰已重構像素之間的差被計算，具有最大差的位置被檢測到。混合邊界可以使用上述所公開的邊界推導方法中的任何被設置，或者默認邊界可以被使用於此約束。
畫面內 - 畫面間模式的編碼單元尺寸約束
對於較小編碼單元，每個語法元素比更大編碼單元需要更多輔助資訊開銷。因此，移除用於較小編碼單元的一個標誌可以在編解碼效率方面實現較好的折中點。在一實施例中，畫面內-畫面間模式被強制為關閉以用於較小編碼單元。在另一實施例中，由於畫面內-畫面間模式在較大編碼單元中被選擇的較低概率，用於較大編碼單元的畫面內-畫面間模式被強制為關閉。
透過分析畫面內 - 畫面間模式中的畫面內 - 畫面間相關性來推導畫面內預測模式
用畫面內-畫面間模式中所使用的畫面內預測子和畫面間預測子，一些有用資訊可以透過比較其相關性被生成。在一實施例中，不是發信畫面內-畫面間模式中所使用的畫面內預測模式，在編碼器處比較畫面內-畫面間混合結果與當前編碼單元，在解碼器處畫面內預測子與畫面間預測子之間的比較可以被使用以選擇畫面內-畫面間模式中所使用的畫面內預測模式。在這種情況中，發信畫面內-畫面間模式中所使用的畫面內預測模式可以被消除。
第10圖示出了依據本發明實施例的使用畫面內-畫面間預測的視訊編解碼系統的示例性流程圖。本流程圖中所示的步驟可以被實現為編碼器側的一個或複數個處理器（例如一個或複數個CPU）上可執行的程式碼。本流程圖中所示的步驟也可以基於硬體被實現，例如用於執行該流程圖中步驟的一個或者複數個電子設備或者處理器。依據本方法，在步驟1010中，在編碼器側處，接收與當前圖像中的當前塊相關的資料，或在視訊解碼器側，接收包括當前塊的已壓縮資料的視訊位元流。在步驟1020中，在當前塊中確定邊界區域。在步驟1030中，檢測當前像素是否為邊界像素。當當前像素為邊界像素時（即來自於步驟1030的“是”路徑），步驟1040至步驟1070被執行。否則（即來自於步驟1030的“否”路徑），步驟1080被執行。在步驟1040中，自畫面內參考像素推導出畫面內預測子，其中畫面內參考像素在當前圖像中位於當前塊的頂端邊界之上或位於當前塊的左側邊界的左側，且畫面內參考像素先於當前塊被編解碼。在步驟1050中，在參考圖像中推導出包括位於參考塊中的畫面間參考像素的畫面間預測子，其中參考塊先於當前塊被編解碼。在步驟1060中，透過混合畫面內預測子和畫面間預測子，生成畫面內-畫面間預測子。在步驟1070中，使用畫面內-畫面間預測子，在編碼器側處編碼或在解碼器側處解碼每個邊界區域像素。在步驟1080中，使用畫面間預測子或畫面內預測子，在編碼器側處編碼或在解碼器側處解碼剩餘像素。
第11圖示出了依據本發明實施例的使用畫面內-畫面間預測的視訊編解碼系統的另一示例性流程圖。依據本方法，在步驟1110中，在編碼器側處，接收與當前圖像中的當前塊相關的資料，或在視訊解碼器側，接收包括當前塊的已壓縮資料的視訊位元流。在步驟1120中，自參考像素推導出畫面內預測子，其中畫面內參考像素在當前圖像中位於當前塊的頂端邊界之上或位於當前塊的左側邊界的左側，且畫面內參考像素先於當前塊被編解碼。在步驟1130中，在參考圖像中推導出包括位於參考塊中的畫面間參考像素的畫面間預測子，其中參考塊先於當前塊被編解碼。在步驟1140中，生成畫面內預測子和畫面間預測子的加權之和，其中生成畫面內預測子和畫面間預測子的加權之和包括：將已加權畫面內預測子與已加權畫面間預測子進行相加，其中已加權畫面內預測子是透過將畫面內預測子乘以畫面內加權因數而推導出的，且已加權畫面間預測子是透過將畫面間預測子乘以畫面間加權因數而推導出的，畫面內加權因數與畫面間加權因數之和被縮放成2的冪。在步驟1150中，透過將右移操作應用於畫面內預測子與畫面間預測子的加權之和，生成已歸一化畫面內-畫面間預測子。在步驟1160中，使用已歸一化畫面內-畫面間預測子，在編碼器側處編碼或在解碼器側處解碼當前塊。
第12圖示出了依據本發明實施例的使用畫面內-畫面間預測的視訊編解碼系統的示例性流程圖。依據本方法，在步驟1210中，在編碼器側處，接收與當前圖像中的當前塊相關的資料，或在視訊解碼器側，接收包括當前塊的已壓縮資料的視訊位元流。在步驟1220中，如果當前塊的尺寸大於最大塊尺寸或小於最小塊尺寸，則畫面內-畫面間預測模式被禁能以用於當前塊。在步驟1230中，檢測畫面內-畫面間預測模式是否被選擇用於當前塊。當畫面內-畫面間預測模式被選擇用於當前塊時（即來自於步驟1230的“是”路徑），步驟1240至步驟1270被執行。否則（即來自於步驟1230的“否”路徑），步驟1280和步驟1290被執行。在步驟1240中，自參考像素推導出畫面內預測子，其中畫面內參考像素在當前圖像中位於當前塊的頂端邊界之上或位於當前塊的左側邊界的左側，且畫面內參考像素先於當前塊被編解碼。在步驟1250中，在參考圖像中推導出包括位於參考塊中的畫面間參考像素的畫面間預測子，其中參考塊先於當前塊被編解碼。在步驟1260中，透過混合畫面內預測子和畫面間預測子，生成畫面內-畫面間預測子。在步驟1270中，使用畫面內-畫面間預測子，在編碼器側處編碼或在解碼器側處解碼當前塊。在步驟1280中，推導出畫面內預測子和畫面間預測子。在步驟1290中，使用畫面間預測子或畫面內預測子，在編碼器側處編碼或在解碼器側處解碼當前塊。
前面所提出的方法中的任何可以在編碼器和/或解碼器中被實現。如視訊編解碼技術領域所已知，畫面內預測子和畫面間預測子可以在編碼器側以及解碼器側被推導出。透過使用加權係數混合畫面內預測子和畫面間預測子，畫面內-畫面間預測子可以被生成。加權係數可以被推導或發信。因此，編碼器和解碼器均可以執行相同的混合流程。
所示的流程圖用於示出依據本發明的視訊編解碼的示例。在不脫離本發明的精神的情況下，所屬領域中具有習知技術者可以修改每個步驟、重組這些步驟、將一個步驟進行分割或者組合這些步驟而實施本發明。在本發明中，具體的語法和語義已被使用以示出實現本發明實施例的示例。在不脫離本發明的精神的情況下，透過用等同的語法和語義來替換該語法和語義，具有習知技術者可以實施本發明。
上述說明，使得所屬領域中具有習知技術者能夠在特定應用程式的內容及其需求中實施本發明。對所屬領域中具有習知技術者來說，所描述的實施例的各種變形將是顯而易見的，並且本文定義的一般原則可以應用於其他實施例中。因此，本發明不限於所示和描述的特定實施例，而是將被賦予與本文所公開的原理和新穎特徵相一致的最大範圍。在上述詳細說明中，說明了各種具體細節，以便透徹理解本發明。儘管如此，將被本領域的具有習知技術者理解的是，本發明能夠被實踐。
如上所述的本發明的實施例可以在各種硬體、軟體代碼或兩者的結合中實現。例如，本發明的實施例可以是集成在視訊壓縮晶片內的電路，或者是集成到視訊壓縮軟體中的程式碼，以執行本文所述的處理。本發明的一個實施例也可以是在數位訊號處理器（Digital Signal Processor，DSP）上執行的程式碼，以執行本文所描述的處理。本發明還可以包括由電腦處理器、數位訊號處理器、微處理器或現場可程式設計閘陣列（field programmable gate array，FPGA）所執行的若干函數。依據本發明，透過執行定義了本發明所實施的特定方法的機器可讀軟體代碼或者韌體代碼，這些處理器可以被配置為執行特定任務。軟體代碼或韌體代碼可以由不同的程式設計語言和不同的格式或樣式開發。軟體代碼也可以編譯為不同的目標平臺。然而，執行本發明的任務的不同的代碼格式、軟體代碼的樣式和語言以及其他形式的配置代碼，不會背離本發明的精神和範圍。
本發明可以以不脫離其精神或本質特徵的其他具體形式來實施。所描述的例子在所有方面僅是說明性的，而非限制性的。因此，本發明的範圍由後附的申請專利範圍來表示，而不是前述的描述來表示。申請專利範圍的含義以及相同範圍內的所有變化都應納入其範圍內。
110、412‧‧‧畫面內預測
112、414‧‧‧運動估計/補償
114‧‧‧開關
116、418、424‧‧‧加法器
118‧‧‧變換
120‧‧‧量化
122‧‧‧熵編碼器
124‧‧‧逆量化
126‧‧‧逆變換
128‧‧‧重構
130‧‧‧去塊濾波器
132‧‧‧樣本適應性偏移濾波器
134‧‧‧參考圖像暫存器
136‧‧‧預測資料
210、310‧‧‧當前塊
220、230‧‧‧塊
240‧‧‧運動軌跡
320a、320b、330a、330b‧‧‧模板
340‧‧‧解碼器側推導運動向量
400‧‧‧編碼器
410‧‧‧輸入視訊
416‧‧‧運動估計/補償以及畫面內預測
420‧‧‧變換與量化
422‧‧‧逆量化與逆變換
430‧‧‧去塊濾波器
432‧‧‧樣本適應性偏移
434‧‧‧已解碼圖像暫存器
440‧‧‧熵編解碼模組
510‧‧‧畫面內預測子
520‧‧‧畫面間預測子
530‧‧‧已組合畫面內-畫面間預測子
610‧‧‧所有角度模式
612‧‧‧垂直組
613‧‧‧水平組
620、630‧‧‧畫面內加權集
712‧‧‧垂直模式
713‧‧‧水平模式
714‧‧‧對角線模式
715‧‧‧垂直對角線模式
716‧‧‧模式2
720、730、740、750、760‧‧‧畫面內預測子加權
810、812‧‧‧參考樣本
820‧‧‧區域
910‧‧‧塊
911、912‧‧‧邊緣像素
913‧‧‧線
920‧‧‧圖例
921‧‧‧斜線填充方塊
922‧‧‧光點填充方塊
923‧‧‧最黑色方塊
924‧‧‧白色方塊
1010~1080‧‧‧步驟
1110~1160‧‧‧步驟
1210~1290‧‧‧步驟
第1圖示出了集成環路處理的示例性適應性畫面間/畫面內視訊編解碼系統。 第2圖示出了FRUC雙邊匹配模式的示例，其中當前塊的運動資訊基於兩個參考圖像被推導出。 第3圖示出了模板匹配FRUC模式的示例，其中當前圖像中的當前塊的相鄰區域被用作模板，以與參考圖像中的相應模板匹配。 第4圖示出了依據本發明實施例的示例性編碼器的結構示意圖，其中編碼器在畫面內模式、畫面間模式和畫面內-畫面間模式中進行選擇以編碼輸入視訊。 第5圖示出了透過組合具有加權係數的畫面內預測子和畫面間預測子生成畫面內-畫面間預測子的示例。 第6圖示出了依據角度模式的加權係數選擇的一個示例，其中所有角度模式被分為兩組，每組使用具有四個係數帶的相應加權塊。 第7圖示出了依據角度模式的加權係數選擇的另一示例，其中畫面內模式由其預測方向分組成五組，每組使用其自身的加權塊。 第8圖示出了在畫面內模式為對角線模式時依據當前樣本與參考樣本（810和812）之間的距離調節加權係數的示例。 第9圖示出了依據一個實施例的推導出用於畫面內-畫面間預測的邊界區域的示例。 第10圖示出了依據本發明實施例的使用畫面內-畫面間預測的視訊編解碼系統的一個示例性流程圖，其中畫面內-畫面間預測僅被應用於邊界區域。 第11圖示出了依據本發明實施例的使用畫面內-畫面間預測的視訊編解碼系統的另一示例性流程圖，其中畫面內加權因數與畫面間加權因數之和被縮放成2的次冪，以避免除法操作的需要。 第12圖示出了依據本發明實施例的使用畫面內-畫面間預測的視訊編解碼系統的又一示例性流程圖，其中畫面內-畫面間預測基於當前塊尺寸被應用。

Claims (5)

  1. 一種視訊編解碼的方法，由視訊編碼器或視訊解碼器執行，該方法包括：在編碼器側處，接收與當前圖像中的當前塊相關的資料，或在視訊解碼器側，接收包括當前塊的已壓縮資料的視訊位元流；如果該當前塊的尺寸大於最大塊尺寸或小於最小塊尺寸，則禁能用於該當前塊的畫面內-畫面間預測模式；當該畫面內-畫面間預測模式被選擇用於該當前塊時，自複數個畫面內參考像素推導出畫面內預測子，其中該等畫面內參考像素在該當前圖像中位於該當前塊的頂端邊界之上或位於該當前塊的左側邊界的左側，且該等畫面內參考像素先於該當前塊被編解碼；在參考圖像中推導出包括位於參考塊中複數個畫面間參考像素的畫面間預測子，其中該參考塊先於該當前塊被編解碼；生成該畫面內預測子和該畫面間預測子的加權之和，其中生成該畫面內預測子和該畫面間預測子的加權之和包括：將已加權畫面內預測子與已加權畫面間預測子進行相加，其中該已加權畫面內預測子是透過將該畫面內預測子乘以畫面內加權因數而推導出的，且該已加權畫面間預測子是透過將該畫面間預測子乘以畫面間加權因數而推導出的，該畫面內加權因數與該畫面間加權因數之和被縮放成2的冪；透過將右移操作應用於該畫面內預測子與該畫面間預測子的加權之和，生成已歸一化畫面內-畫面間預測子；以及使用該已歸一化畫面內-畫面間預測子，編碼或解碼該當前塊；以及當該畫面內-畫面間預測模式被禁能用於該當前塊時，則：推導出該畫面內預測子或推導出該畫面間預測子；以及使用該畫面間預測子或該畫面內預測子，編碼或解碼該當前塊。
  2. 如申請專利範圍第1項所述之視訊編解碼的方法，其中，生成該畫面內預測子和該畫面間預測子的加權之和包括：給該已加權畫面內預測子與該已加權畫面間預測子相加的結果添加一偏置。
  3. 一種視訊編解碼的裝置，在視訊編解碼系統中，該裝置包括一個或複數個電子設備或處理器，用於：在編碼器側處，接收與當前圖像中的當前塊相關的輸入資料，或在視訊解碼器側，接收包括當前塊的已壓縮資料的視訊位元流；如果該當前塊的尺寸大於最大塊尺寸或小於最小塊尺寸，則禁能用於該當前塊的畫面內-畫面間預測模式；當該畫面內-畫面間預測模式被選擇用於該當前塊時，自複數個畫面內參考像素推導出畫面內預測子，其中該等畫面內參考像素在該當前圖像中位於該當前塊的頂端邊界之上或位於該當前塊的左側邊界的左側，且該等畫面內參考像素先於該當前塊被編解碼；在參考圖像中推導出包括位於參考塊中複數個畫面間參考像素的畫面間預測子，其中該參考塊先於該當前塊被編解碼；透過將已加權畫面內預測子與已加權畫面間預測子相加，生成該畫面內預測子和該畫面間預測子的加權之和，其中該已加權畫面內預測子是透過將該畫面內預測子乘以畫面內加權因數而推導出的，且該已加權畫面間預測子是透過將該畫面間預測子乘以畫面間加權因數而推導出的，該畫面內加權因數與該畫面間加權因數之和被縮放成2的冪；透過將右移操作應用於該畫面內預測子與該畫面間預測子的加權之和，生成已歸一化畫面內-畫面間預測子；以及使用該已歸一化畫面內-畫面間預測子，編碼或解碼該當前塊；以及當該畫面內-畫面間預測模式被禁能用於該當前塊時，則：推導出該畫面內預測子或推導出該畫面間預測子；以及使用該畫面間預測子或該畫面內預測子，編碼或解碼該當前塊。
  4. 一種視訊編解碼的方法，由視訊編碼器或視訊解碼器執行，該方法包括：在編碼器側處，接收與當前圖像中的當前塊相關的輸入資料，或在視訊解碼器側，接收包括當前塊的已壓縮資料的視訊位元流；如果該當前塊的尺寸大於最大塊尺寸或小於最小塊尺寸，則禁能用於該當前塊的畫面內-畫面間預測模式；當該畫面內-畫面間預測模式被選擇用於該當前塊時，則：自複數個參考像素推導出畫面內預測子，其中該等畫面內參考像素在該當前圖像中位於該當前塊的頂端邊界之上或位於該當前塊的左側邊界的左側，且該等畫面內參考像素先於該當前塊被編解碼；在參考圖像中推導出包括位於參考塊中的複數個畫面間參考像素的畫面間預測子，其中該參考塊先於該當前塊被編解碼；透過混合該畫面內預測子和該畫面間預測子，生成畫面內-畫面間預測子；以及使用該畫面內-畫面間預測子，編碼或解碼該當前塊；以及當該畫面內-畫面間預測模式被禁能用於該當前塊時，則：推導出該畫面內預測子或推導出該畫面間預測子；以及使用該畫面間預測子或該畫面內預測子，編碼或解碼該當前塊。
  5. 一種視訊編解碼的裝置，在視訊編解碼系統中，該裝置包括一個或複數個電子設備或處理器，用於：在編碼器側處，接收與當前圖像中的當前塊相關的輸入資料，或在視訊解碼器側，接收包括當前塊的已壓縮資料的視訊位元流；如果當前塊的尺寸大於最大塊尺寸或小於最小塊尺寸，則禁能用於該當前塊的畫面內-畫面間預測模式；當該畫面內-畫面間預測模式被選擇用於該當前塊時，則：自複數個參考像素推導出畫面內預測子，其中該等畫面內參考像素在該當前圖像中位於該當前塊的頂端邊界之上或位於該當前塊的左側邊界的左側，且該等畫面內參考像素先於該當前塊被編解碼；在參考圖像中推導出包括位於參考塊中的複數個畫面間參考像素的畫面間預測子，其中該參考塊先於該當前塊被編解碼；透過混合該畫面內預測子和該畫面間預測子，生成畫面內-畫面間預測子；以及使用該畫面內-畫面間預測子，編碼或解碼該當前塊；以及當該畫面內-畫面間預測模式被禁能用於該當前塊時，則：推導出該畫面內預測子或推導出該畫面間預測子；以及使用該畫面間預測子或該畫面內預測子，編碼或解碼該當前塊。
TW107119666A 2017-06-07 2018-06-07 用於視訊編解碼的畫面內-畫面間預測的方法及裝置 TWI678917B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762516157P 2017-06-07 2017-06-07
US62/516,157 2017-06-07
PCT/CN2018/090253 WO2018224004A1 (en) 2017-06-07 2018-06-07 Method and apparatus of intra-inter prediction mode for video coding
??PCT/CN2018/090253 2018-06-07

Publications (2)

Publication Number Publication Date
TW201904296A TW201904296A (zh) 2019-01-16
TWI678917B true TWI678917B (zh) 2019-12-01

Family

ID=64566461

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107119666A TWI678917B (zh) 2017-06-07 2018-06-07 用於視訊編解碼的畫面內-畫面間預測的方法及裝置

Country Status (5)

Country Link
US (1) US11070815B2 (zh)
EP (1) EP3625963A4 (zh)
CN (1) CN110800302A (zh)
TW (1) TWI678917B (zh)
WO (1) WO2018224004A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019007490A1 (en) * 2017-07-04 2019-01-10 Huawei Technologies Co., Ltd. DECODER INTEGRATED MODE (DIMD) INTEGRATED DEVICE TOOL CALCULATION COMPLEXITY REDUCTION
CN117354505A (zh) * 2017-07-06 2024-01-05 Lx 半导体科技有限公司 图像编码/解码方法、发送方法和数字存储介质
WO2019103491A1 (ko) * 2017-11-22 2019-05-31 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN118413649A (zh) * 2017-11-28 2024-07-30 Lx 半导体科技有限公司 图像编码/解码设备、传输图像数据的设备和存储介质
CN118301329A (zh) * 2018-07-04 2024-07-05 松下电器（美国）知识产权公司 编码装置、解码装置、和非暂时性的计算机可读介质
US11140408B2 (en) 2018-09-17 2021-10-05 Qualcomm Incorporated Affine motion prediction
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
US10848763B2 (en) * 2018-11-14 2020-11-24 Tencent America LLC Method and apparatus for improved context design for prediction mode and coded block flag (CBF)
US20200162737A1 (en) 2018-11-16 2020-05-21 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
US11652984B2 (en) 2018-11-16 2023-05-16 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
WO2020116402A1 (ja) * 2018-12-04 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
GB2579824B (en) * 2018-12-14 2022-05-18 British Broadcasting Corp Video encoding and video decoding
CN116347102B (zh) * 2019-01-09 2024-01-23 北京达佳互联信息技术有限公司 视频编码方法、设备、非暂时性计算机可读存储介质
MX2021008393A (es) 2019-01-09 2022-11-08 Beijing Dajia Internet Information Tech Co Ltd Sistema y metodo para mejorar la inter e intraprediccion combinada.
KR20240064039A (ko) * 2019-01-17 2024-05-10 후아웨이 테크놀러지 컴퍼니 리미티드 인코더, 디코더 및 대응하는 디블록킹 필터 적응의 방법
US11330283B2 (en) * 2019-02-01 2022-05-10 Tencent America LLC Method and apparatus for video coding
KR20220013939A (ko) * 2019-05-31 2022-02-04 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 행렬 기반 인트라 예측에서의 제한된 업샘플링 프로세스
JP2021057649A (ja) * 2019-09-27 2021-04-08 マクセル株式会社 画像符号化方法および画像復号方法
CN113873249B (zh) * 2020-06-30 2023-02-28 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
WO2022141282A1 (zh) * 2020-12-30 2022-07-07 深圳市大疆创新科技有限公司 视频处理方法和编码装置
US20230412794A1 (en) * 2022-06-17 2023-12-21 Tencent America LLC Affine merge mode with translational motion vectors

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984340A (zh) * 2005-11-02 2007-06-20 三星电子株式会社 视频编码/解码的方法和设备
US9374578B1 (en) * 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US9485513B2 (en) * 2012-06-11 2016-11-01 Nippon Hoso Kyokai Encoding device, decoding device, and program
US20170006294A1 (en) * 2014-01-13 2017-01-05 Mediatek Inc. Method and apparatus using software engine and hardware engine collaborated with each other to achieve hybrid video encoding
WO2017043816A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110068792A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
WO2013108691A1 (ja) * 2012-01-19 2013-07-25 ソニー株式会社 画像処理装置および方法
SG10201710075SA (en) * 2012-05-14 2018-01-30 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
KR102657912B1 (ko) * 2012-10-01 2024-04-15 지이 비디오 컴프레션, 엘엘씨 향상 레이어에서 변환 계수 블록들의 서브블록-기반 코딩을 이용한 스케일러블 비디오 코딩
US10412387B2 (en) * 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
EP3217663A4 (en) * 2014-11-06 2018-02-14 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus
US20160337662A1 (en) * 2015-05-11 2016-11-17 Qualcomm Incorporated Storage and signaling resolutions of motion vectors
WO2017143467A1 (en) * 2016-02-22 2017-08-31 Mediatek Singapore Pte. Ltd. Localized luma mode prediction inheritance for chroma coding
US20190215521A1 (en) * 2016-09-22 2019-07-11 Mediatek Inc. Method and apparatus for video coding using decoder side intra prediction derivation
US10757420B2 (en) * 2017-06-23 2020-08-25 Qualcomm Incorporated Combination of inter-prediction and intra-prediction in video coding
US11284066B2 (en) * 2018-10-10 2022-03-22 Tencent America LLC Method and apparatus for intra block copy in intra-inter blending mode and triangle prediction unit mode
US20200162737A1 (en) * 2018-11-16 2020-05-21 Qualcomm Incorporated Position-dependent intra-inter prediction combination in video coding
US11330283B2 (en) * 2019-02-01 2022-05-10 Tencent America LLC Method and apparatus for video coding
US11178414B2 (en) * 2019-02-27 2021-11-16 Mediatek Inc. Classification for multiple merge tools
SG11202109026SA (en) * 2019-03-21 2021-09-29 Beijing Bytedance Network Technology Co Ltd Improved weighting processing of combined intra-inter prediction
US11102483B2 (en) * 2019-05-17 2021-08-24 Panasonic Intellectual Property Corporation Of America System and method for video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1984340A (zh) * 2005-11-02 2007-06-20 三星电子株式会社 视频编码/解码的方法和设备
US9485513B2 (en) * 2012-06-11 2016-11-01 Nippon Hoso Kyokai Encoding device, decoding device, and program
US9374578B1 (en) * 2013-05-23 2016-06-21 Google Inc. Video coding using combined inter and intra predictors
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
US20170006294A1 (en) * 2014-01-13 2017-01-05 Mediatek Inc. Method and apparatus using software engine and hardware engine collaborated with each other to achieve hybrid video encoding
WO2017043816A1 (ko) * 2015-09-10 2017-03-16 엘지전자(주) 인터-인트라 병합 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
US20200204824A1 (en) 2020-06-25
WO2018224004A1 (en) 2018-12-13
EP3625963A1 (en) 2020-03-25
US11070815B2 (en) 2021-07-20
CN110800302A (zh) 2020-02-14
EP3625963A4 (en) 2020-11-18
TW201904296A (zh) 2019-01-16

Similar Documents

Publication Publication Date Title
TWI678917B (zh) 用於視訊編解碼的畫面內-畫面間預測的方法及裝置
US20180332292A1 (en) Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
KR101700966B1 (ko) 인트라 예측 비디오의 조명 보상 방법 및 장치
TWI741589B (zh) 視頻編解碼之亮度mpm列表導出的方法及裝置
JP5535485B2 (ja) 削減された分解能更新モードをマルチビュー・ビデオ符号化に提供する方法及び装置
KR101733612B1 (ko) 비디오 엔코딩 및 디코딩을 위한 ｄｃ 인트라 예측 모드의 방법 및 장치
WO2014139394A1 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
KR20190016057A (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
US20190273920A1 (en) Apparatuses and Methods for Encoding and Decoding a Video Coding Block of a Video Signal
TWI752488B (zh) 視訊編解碼之方法和裝置
RU2763292C1 (ru) Устройство кодирования изображения, способ кодирования изображения, устройство декодирования изображения и способ декодирования изображения
CN114830642A (zh) 图像编码方法和图像解码方法
JP5937926B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
WO2023193516A1 (en) Method and apparatus using curve based or spread-angle based intra prediction mode in video coding system
US20240297990A1 (en) Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method, and non-transitory computer-readable storage medium
WO2023217235A1 (en) Prediction refinement with convolution model
CN118474373A (zh) 编解码方法和装置
TW202335496A (zh) 用於視頻編解碼系統幀間預測的方法和装置
CN114830643A (zh) 图像编码方法和图像解码方法
CN114521325A (zh) 图像编码方法和图像解码方法