TW201739247A - 圖像編碼／解碼方法及相關裝置 - Google Patents

圖像編碼／解碼方法及相關裝置 Download PDF

Info

Publication number
TW201739247A
TW201739247A TW106113246A TW106113246A TW201739247A TW 201739247 A TW201739247 A TW 201739247A TW 106113246 A TW106113246 A TW 106113246A TW 106113246 A TW106113246 A TW 106113246A TW 201739247 A TW201739247 A TW 201739247A
Authority
TW
Taiwan
Prior art keywords
block
prediction
encoding
current
current block
Prior art date
Application number
TW106113246A
Other languages
English (en)
Other versions
TWI634780B (zh
Inventor
吳東興
陳立恆
周漢良
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201739247A publication Critical patent/TW201739247A/zh
Application granted granted Critical
Publication of TWI634780B publication Critical patent/TWI634780B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Abstract

本發明提供一種圖像編碼/解碼方法及相關裝置。本發明之圖像編碼方法包括：接收複數個輸入像素；確定複數個壓縮塊向量位元之塊向量位元計數訊息，根據塊預測衍生塊向量，以定位當前塊之塊預測因子；確定複數個預測殘差；確定與第一編碼工具相關聯之第一成本以及與第二編碼工具相關聯之第二成本；以及使用當前編碼工具對當前塊進行編碼，以生成包括當前塊之複數個壓縮位元之位元流，其中當前編碼工具是基於複數個相關成本從編碼工具組中選擇。本發明之圖像編碼/解碼方法及相關裝置可以改進塊預測模式之性能。

Description

圖像編碼/解碼方法及相關裝置 【交叉引用】
本申請要求申請日為2016年4月20日，美國臨時申請號為62/324,987的美國臨時申請案的優先權，上述臨時申請案的內容一並併入本申請。
本發明涉及使用塊預測(block prediction)之圖像編碼。特別地，本發明涉及使用塊預測對圖像進行編碼或解碼之方法和裝置。
各種視訊編碼標準已經被開發出來，以减少視訊傳輸所需之位元率或記憶所需之容量。舉例來說，MPEG-2、MPEG-4和AVC/H.264已經被廣泛用於各種應用中。近來，在較新之視訊壓縮格式(例如，VP8，VP9和新興之高效視訊編碼(High Efficiency Video Coding，簡寫為HEVC)標準)中之編碼效率被顯著提高。
在涉及圖像顯示之各種設備中，存在需要資料壓縮之另一種應用。更具體來說，連接計算機和顯示器、機頂盒和電視機，以及應用處理器和顯示面板之顯示鏈接是廣泛用於 業界之數位介面格式。顯示鏈接使用數位介面。隨著對更高顯示分辨率和更高訊框速率之需求之不斷增加，通過顯示鏈接發送之資料之數量變得非常大。舉例來說，120Hz訊框速率下，機頂盒設備和1080p HDTV之間之顯示鏈接將需要多於7千兆位元/秒(7Gbits/sec)。對於超高清(Ultra High Definition，簡寫為UHD)TV，所需資料將為四倍高。從而，顯示鏈接通常為壓縮格式。舉例來說，顯示流壓縮(Display Stream Compression，簡寫為DSC)標準已被由視訊電子標準協會(Video Electronics Standards Association，簡寫為VESA)和MIPI聯盟共同開發出來以解决顯示應用中之資料壓縮之需求。
由於不同之需求，DSC標準不同於一般之視訊編碼標準，例如MPEG-2/4、AVC/H.264和HEVC。舉例來說，用於顯示應用中之壓縮之色彩空間(color space)可為YCoCg色彩空間，而非YUV色彩空間。此外，DSC僅包含訊框內(intra frame)壓縮，而不包含訊框間(inter frame)壓縮，以最小化處理延遲以及避免對於參考圖像緩衝器之需求。在典型應用中，DSC所需之壓縮比(compression ratios)要小得多，用於視訊記憶或網路傳輸。第1A圖示出了示例性DSC編碼器之主要功能塊。如第1A圖所示，DSC編碼器包括源緩衝器110、預測/量化/重構單元112、VLC熵編碼單元114、平坦度確定單元116、速率控制單元118、行緩衝器(line buffer)120和彩色索引歷史(indexed color history，簡稱為ICH)單元(簡寫為ICH)122。如果輸入圖像資料是RGB顏色格式，則對應於RGB到YCoCg顏色格式轉換器之色彩空間轉換器(第1A圖中未示出)用於DSC編碼器中。可以 使用來自平坦度確定單元116之訊息來調整速率控制單元118中之QP(quantization parameter，量化參數)。如第1A圖所示，平坦度指示使用VLC熵編碼單元114進行熵編碼，並包含在位元流中。第1B圖示出了根據DSC使用1x3塊大小處理像素之示意圖。根據DSC，如第1B圖所示，使用1x3塊大小來處理像素，其中當前塊130由相同像素綫中之參考塊132預測。參考塊132之位置由對應之塊向量134表示。
在對於支持更高之顯示分辨率和更高之位元深度顏色分量之顯示鏈接之不斷增長之需求下，VESA啟動了建立高級顯示流壓縮(Advanced Display Stream Compression，簡寫為ADSC)標準之開發工作。此外，ADSC支持原始之4：2：0和4：2：2編碼，以消除將像素變換為RGB分量之需要。舉例來說，ADSC允許更有效之YCbCr4：2：0色彩取樣格式壓縮。此外，ADSC還支持高動態範圍(High Dynamic Range，簡寫為HDR)，以適應在較新之電視節目和電影中更高之色深度。
顯示鏈接之處理通常使用基於塊之壓縮，其中圖像被分為複數個塊，且壓縮被應用到每個塊。此外，壓縮設置可被用於小於圖像之圖像單元。舉例來說，正在開發中之先進DSC(ADSC)被用於每一圖像之片(slice)，且目標位元率被施加到每一片上。每一片被分為複數個編碼單元(即，塊)，且每一編碼單元由一個N*M像素之塊組成，其中N對應於塊高度，而M對應於塊寬度。依據ADSC，各塊之特性以“平坦度(flatness)”來評估，其中各塊之平坦度被分類為如下之五種平坦度類型：
●類型：-1表示“複雜塊”
●類型：0表示“平坦區域”
●類型：1表示“平坦區域(比類型0稍微不平)”
●類型：2表示“複雜至平塊”
●類型：3表示“平至複雜塊”
平坦度類型依據各塊及其鄰接塊之複雜度訊息確定。平坦度類型影響各塊中之速率控制表現。依據現存之ADSC標準草案，平坦度類型之語法被標誌至(signaled in)每一編碼單元中。
期望進一步提高ADSC之壓縮效率。特別地，本發明解决了塊預測模式之性能改進。
有鑒於此，本發明特提供以下技術方案以解决上述問題。
本發明實施例提供一種圖像編碼方法，用於在編碼器處執行圖像之圖像編碼，其中編碼器使用包括與塊預測相關聯之至少第一編碼工具和第二編碼工具之複數個編碼工具，圖像編碼方法包括：接收與當前片或當前圖像中之當前塊相關聯之複數個輸入像素；確定與當前塊之一個或複數個塊向量相關聯之複數個壓縮塊向量位元之塊向量位元計數訊息，其中根據塊預測衍生一個或複數個塊向量，以定位當前塊之一個或複數個塊預測因子；確定對應於當前塊和一個或複數個塊預測因子之間之複數個差之複數個預測殘差；確定與第一編碼工具相關聯之第一成本，其中第一成本包括使用第一編碼工具對 複數個預測殘差進行編碼之塊向量位元計數訊息和殘差位元計數訊息；確定與第二編碼工具相關聯之第二成本，其中第二成本包括塊向量位元計數訊息並且不具有殘差位元計數訊息；以及使用當前編碼工具對當前塊進行編碼，以生成包括當前塊之複數個壓縮位元之位元流，其中當前編碼工具是基於包括第一成本和第二成本之編碼工具組之複數個相關成本，從包括第一編碼工具和第二編碼工具之編碼工具組中選擇。
本發明實施例提供一種圖像編碼裝置，用於在編碼器處執行圖像之圖像編碼，其中編碼器使用複數個編碼工具，編碼工具至少包括與塊預測相關聯之第一編碼工具和第二編碼工具，圖像編碼裝置包括一個或複數個電子電路或處理器配置為：接收與當前片或當前圖像中之當前塊相關聯之複數個輸入像素；確定與當前塊之一個或複數個塊向量相關聯之壓縮塊向量位元之塊向量位元計數訊息，其中根據塊預測衍生一個或複數個塊向量，以定位當前塊之一個或複數個塊預測因子；確定對應於當前塊和一個或複數個塊預測因子之間之複數個差之複數個預測殘差；確定與第一編碼工具相關聯之第一成本，其中第一成本包括使用第一編碼工具對與複數個預測殘差進行編碼相關聯之塊向量位元計數訊息和殘差位元計數訊息；確定與第二編碼工具相關聯之第二成本，其中第二成本包括塊向量位元計數訊息並且不具有殘差位元計數訊息；以及使用當前編碼工具對當前塊進行編碼，以生成包括當前塊之複數個壓縮位元之位元流，其中當前編碼工具是基於包括第一成本和第二成本之編碼工具組之複數個相關成本，從包括第一編碼 工具和第二編碼工具之編碼工具組中選擇。
本發明實施例又提供一種圖像解碼方法，用於在解碼器執行圖像之圖像解碼，其中解碼器使用複數個編碼工具，複數個編碼工具至少包括與塊預測相關聯之第一編碼工具和第二編碼工具，圖像解碼方法包括：接收包括當前片或當前圖像中之當前塊之複數個壓縮位元之位元流；如果使用第一編碼工具：根據第一熵解碼從位元流衍生當前塊之一個或複數個第一塊向量，其中一個或複數個第一塊向量用於定位當前塊之一個或複數個第一塊預測因子；從位元流衍生複數個預測殘差之複數個解碼預測殘差，其中複數個預測殘差對應於當前塊與一個或複數個第一塊預測因子之間之複數個差；以及根據第一塊預測重構，基於複數個解碼預測殘差和當前塊之一個或複數個第一塊預測因子來重構當前塊；如果使用第二編碼工具：根據第二熵解碼從位元流衍生當前塊之一個或複數個第二塊向量，其中一個或複數個第二塊向量用於定位當前塊之一個或複數個第二塊預測因子；以及根據第二塊預測重構，基於當前塊之一個或複數個第二塊預測因子來重構當前塊；以及提供重構之當前塊，其中第一熵解碼和第二熵解碼共享相同之熵解碼器，第一塊預測和第二塊預測重構共享相同之塊預測重構單元，以從一個或複數個預測因子和解碼之複數個預測殘差重構一個重構塊，或兩個。
本發明實施例提供一種圖像解碼裝置，用於執行解碼器處圖像之圖像解碼，其中解碼器使用複數個編碼工具，編碼工具至少包括與塊預測相關聯之第一編碼工具和第二編 碼工具，圖像解碼裝置包括一個或複數個電子電路或處理器配置為：接收包括當前片或當前圖像中之當前塊之複數個壓縮位元之位元流；如果使用第一編碼工具：根據第一熵解碼從位元流衍生當前塊之一個或複數個第一塊向量，其中一個或複數個第一塊向量用於定位當前塊之一個或複數個第一塊預測因子；從位元流衍生複數個預測殘差之複數個解碼預測殘差，其中複數個預測殘差對應於當前塊與一個或複數個第一塊預測因子之間之複數個差；以及根據第一塊預測重構，基於複數個解碼預測殘差和當前塊之一個或複數個第一塊預測因子來重構當前塊；如果使用第二編碼工具：根據第二熵解碼從位元流衍生當前塊之一個或複數個第二塊向量，其中一個或複數個第二塊向量用於定位當前塊之一個或複數個第二塊預測因子；以及根據第二塊預測重構，基於當前塊之一個或複數個第二塊預測因子來重構當前塊；以及其中第一熵解碼和第二熵解碼共享相同之熵解碼器，第一塊預測和第二塊預測重構共享相同之塊預測重構單元，以從一個或複數個預測因子和解碼之複數個預測殘差重構一個重構塊，或兩個。
本發明之圖像編碼/解碼方法及相關裝置可以改進塊預測模式之性能。
110、210‧‧‧源緩衝器
112‧‧‧預測/量化/重構單元
114、216‧‧‧VLC熵編碼單元
116‧‧‧平坦度確定單元
118、220‧‧‧速率控制單元
120‧‧‧行緩衝器
122‧‧‧彩色索引歷史單元
130‧‧‧當前塊
132‧‧‧參考塊
134、414a、414b、434a、434b、454a、454b、514、534、554‧‧‧塊向量
212‧‧‧模式判定單元
214‧‧‧塊編碼單元
222‧‧‧重構緩衝器
230‧‧‧變形模式
231‧‧‧塊預測模式
232‧‧‧MPP模式
233‧‧‧MPPF模式
240‧‧‧處理單元
410a、410b、412a、412b、430a、430b、432a、432b、450a、450b、452a、452b、510、512、530、532、550、552‧‧‧塊
420、520、540、560‧‧‧像素綫
440、460、560‧‧‧區域
570、570a‧‧‧模式首標字段
572‧‧‧平坦度語法字段
574‧‧‧預測類型字段
576‧‧‧塊預測向量字段
578‧‧‧殘差語法字段
610~650、652、710~760、752、754、762、810~880、910~970、932、952、962、972、1010~1060、1110~1180‧‧‧步驟
第1A圖示出了示例性DSC編碼器之主要功能塊。
第1B圖示出了根據DSC使用1x3塊大小處理像素之示意圖。
第2A圖示出了根據ADSC草案之示例性編碼系統之主要功能塊。
第2B圖示出了根據ADSC草案之示例性模式决策過程。
第3A圖示出了塊預測模式之塊大小之示例。
第3B圖示出了由2x8像素組成之圖像區域之示例。
第4A圖示出了根據常規ADSC之位於片或圖像之非第一綫位置處之2x2塊之1x2分區之塊預測之示例。
第4B圖示出了使用根據常規ADSC之1x2分區模式之片或圖像之非第一行位置中之當前塊之塊預測之另一示例。
第4C圖示出了根據常規ADSC之使用1x2分區模式之片或圖像之第一行位置中之當前塊之塊預測之另一示例。
第5A圖示出了根據常規ADSC之片或圖像之非第一綫位置處之2x2塊預測模式(即，2×2分區模式)之塊預測之示例。
第5B圖示出了根據常規ADSC之片或圖像之非第一行位置處之2×2塊預測模式之塊預測之另一示例。
第5C圖示出了根據常規ADSC之片或圖像之第一行位置處之2×2塊預測模式之塊預測之另一示例。
第5D圖示出了根據ADSC標準草案之BP模式之位元流語法。
第5E圖示出了無殘差BP模式(即，BP跳過模式)之示例性位元流語法。
第6A圖示出了在編碼器側執行的塊預測處理之示例性流程圖。
第6B圖示出了在編碼器側執行的BP跳過模式處理之示例 性流程圖。
第7圖示出了根據本發明之實施例之使用包括BP模式和BP-Skip模式之編碼工具之圖像編碼系統之示例。
第8圖示出了根據本發明之實施例之包括BP模式和BP-Skip模式之解碼器之解碼處理之示例性流程圖。
第9圖示出了根據本發明之實施例之使用包括BP模式和BP-Skip模式之編碼工具之圖像編碼系統之另一示例。
第10圖示出了根據本發明之實施例之使用包括BP模式和BP-Skip模式之編碼工具之圖像編碼系統之示例。
第11圖示出了根據本發明實施例之使用包括BP模式和BP-Skip模式之編碼工具之圖像編碼系統之另一示例。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，製造商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的「包含」係為一開放式的用語，故應解釋成「包含但不限定於」。另外，「耦接」一詞在此係包含任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置耦接于一第二裝置，則代表該第一裝置可直接電氣連接于該第二裝置，或透過其他裝置或連接手段間接地電氣連接至該第二裝置。
在大多數圖像和視訊編碼系統中，處理源像素以 去除或减少冗餘，使得處理之源像素更適合於有效之傳輸或記憶。例如，可以對源像素進行預測處理、變換處理或組合以產生預測殘差或變換係數。量化處理還可以進一步應用於預測殘差或變換係數以减少所需資料表示。該處理將產生一組經處理之資料，例如量化殘差或量化變換係數。該組處理資料以及諸如像素塊之編碼模式之相關編碼訊息和參數，使用熵編碼被編碼到最終位元流中，以利用經處理之資料，編碼訊息和參數中的統計冗餘。要編碼到位元流中之經處理之資料、編碼訊息和參數通常被稱為符號(symbol)。
第2A圖示出了根據ADSC草案之示例性編碼系統之主要功能塊。ADSC編碼器包括源緩衝器210，用於為正被編碼之當前塊選擇最佳模式之模式判定單元212、應用預測因子(predictor)之塊編碼單元214、VLC熵編碼單元216、平坦度確定單元218、速率控制單元220和重構緩衝器222。重構緩衝器222中緩衝之重構資料將用作用於對當前塊和/或隨後之塊進行編碼之參考資料。在重構緩衝器222中緩衝之重構資料也將用於模式决定。
根據ADSC，使用各種編碼模式對塊進行編碼。編碼模式包括變換模式、DPCM模式、BP(塊預測)模式、圖形模式(Pattern mode)、MPP(中點預測，midpoint prediction)模式和MPPF(MPP fallback(回退))模式。中點預測(MPP)模式使用中點值作為每個塊中之預測因子。例如，中點值可以由像素之動態範圍之一半或當前塊之相鄰重構像素之平均值確定。
第2B圖示出了根據ADSC草案之示例性模式决策過程。模式之類型包括變形模式230、塊預測(BP)模式231、MPP模式232、MPPF模式233等。對於每個模式，計算R-D成本(速率-失真成本)並將其提供給相應之處理單元(240)以執行速率失真優化、緩衝器預算和錯誤檢查功能。處理單元240檢查每個可用模式之緩衝器預算。部分模式可以通過編碼器/解碼器配置關閉，並且配置可以標誌在高級語法(如圖像參數集(picture parameter set，簡寫為PPS))中。本發明可以使用如第2A圖和第2B圖所示之類似之處理流程。然而，模式判定單元212、塊編碼單元214和熵編碼單元216可以包括本發明之實施例。
對於圖像壓縮，經常使用預測處理來提高編碼效率。例如，在ADSC編碼標準草案中，使用各種預測模式，例如塊預測模式、變換模式和DPCM模式。預測處理利用源資料之相關或統計來產生預測殘差，可以更有效地壓縮。在大多數圖像和視訊編碼系統中，圖像被劃分成塊，編碼過程被應用於各個塊。通常，在大多數圖像和視訊壓縮系統中允許可變塊大小。在高級顯示流壓縮(ADSC)中，塊預測模式之塊大小也可以是可變塊大小。第3A圖示出了塊預測模式之塊大小之示例。例如，ADSC v0.3中塊預測模式之塊大小可以是1x2或2x2，如第3A圖所示。可以針對每個2×2塊自適應地確定塊大小。例如，第3B圖示出了由2x8像素組成之圖像區域之示例，其被分成四個2x2塊。對於每個2x2塊，塊可以編碼為一個2x2塊或兩個1x2分區，如第3B圖所示。
對於ADSC塊預測(BP)模式，將每個圖像劃分成一個或複數個片，並將每個片分割成2x8個塊。可以使用2x2或1x2塊預測模式(即，2x2分區或1x2分區)對每個塊進行編碼。第4A圖示出了根據常規ADSC之位於片或圖像之非第一綫位置(non-first line)處之2x2塊之1x2分區之塊預測之示例。塊410a和410b表示正在處理之當前2x2塊之兩個1x2塊，並且填充有斜綫之像素綫420表示在塊被處理之前之重構像素。塊412a和412b分別對應於當前塊之塊410a和410b之兩個1x2預測因子。塊向量414a和414b分別表示從塊410a指向預測因子412a和表示塊410b到預測因子412b之塊向量。
第4B圖示出了使用根據常規ADSC之1x2分區模式之片或圖像之非第一行位置中之當前塊之塊預測之另一示例，其中填充有斜綫之區域440表示在塊被處理之前之兩行之先前重構像素。塊430a和430b表示正在處理之當前2x2塊之兩個1x2塊。塊432a和432b分別對應於當前塊430a和430b之兩個預測因子。塊向量434a和434b分別表示從當前塊430a指向預測因子432a以及從當前塊430b指向預測因子432b之塊向量。
第4C圖示出了根據常規ADSC之使用1x2分區模式之片或圖像之第一行位置中之當前塊之塊預測之另一示例，其中填充有斜綫之區域460表示與正在處理之塊相同之塊行中之兩行之先前重構像素。塊450a和450b表示正在處理之當前2x2塊之兩個1x2塊。塊452a和452b分別對應於當前塊450a和450b之兩個預測因子。塊向量454a和454b分別表示從當前塊450a指向預測因子452a以及從當前塊450b指向預測因子452b之塊向 量。
第5A圖示出了根據常規ADSC之片或圖像之非第一綫位置處之2x2塊預測模式(即，2×2分區模式)之塊預測之示例，其中預測因子來自相同之先前重構之綫。塊510表示正在處理之2x2塊，填充有斜綫之像素綫520表示塊510之前之一個重構像素綫。塊512對應於當前塊510之預測因子。在這種情况下，預測因子大小為1x2，而當前塊大小為2×2。當前2x2塊之上和下1x2塊都由相同之1x2預測因子預測。等效地，預測因子可以被認為是2x2塊，其中1x2預測因子512在上半部分和下半部分。塊向量514表示從當前塊510指向預測因子512之塊向量。
第5B圖示出了根據常規ADSC之片或圖像之非第一行位置處之2×2塊預測模式之塊預測之另一示例，其中先前重構之像素來自兩條連續之行。塊530對應於正在處理之當前2x2塊。填充有斜綫之像素綫540表示塊530之前之兩個重構像素綫。塊532對應於當前塊之2×2預測因子。塊向量534表示從當前塊530指向預測因子532之塊向量。
第5C圖示出了根據常規ADSC之片或圖像之第一行位置處之2×2塊預測模式之塊預測之另一示例，其中預測因子從當前塊之相同塊行中之先前重構之像素衍生。塊550對應於正在處理之當前2x2塊。填充有斜綫之像素綫560表示塊550之前之兩個重構像素綫。塊552對應於當前塊之2×2預測因子。塊向量554表示從當前塊550指向預測因子552之塊向量。
第5D圖示出了根據ADSC標準草案之BP模式之位 元流語法。位元流語法包括模式首標(Mide Header)字段570、平坦度語法字段572、預測類型字段574、塊預測向量字段576和殘差語法字段578。模式首標字段570用於標誌當前編碼單元所選擇之預測模式。如果選擇了BP模式，則模式首標部字段570將指示這樣之選擇。如第2A圖所示，對於每個編碼單元確定平坦度，並且使用熵編碼216對平坦度指示進行熵編碼。然後，編碼之平坦度訊息被包括在平坦度語法字段572中。預測類型574指示是否使用2x2分區或1x2分區。塊預測向量字段576用於發送當前編碼單元之運動向量以定位相應之預測因子。如前所述，當使用預測時，預測殘差總是根據ADSC標準草案傳輸。剩餘語法字段578用於發送所需之預測殘差。
對於塊預測模式，當前塊可以使用來自相鄰塊之運動訊息來預測當前運動訊息。如果存在很好之匹配，當前塊可以從先前編碼之相鄰塊繼承其運動訊息。因此，可以通過從列表中識別相鄰塊來衍生當前運動訊息。此外，如果預測殘差小或者預測殘差達到某一標準，則可以跳過用信號發送預測殘差(即，跳過標誌預測殘差)。換句話說，將預測殘差視為零。此無殘差塊預測模式稱為BP跳過模式。在解碼器側，當檢測到該無殘差(no-residue)預測模式時，根據預測處理使用全零(all-zero)殘差來重構信號。儘管零值可用於殘差值，但也可以使用其他預定義值。由於使用無殘差預測模式將跳過將預測殘差編碼到位元流中之處理或解碼編碼預測殘差以重構當前塊之處理，當編碼器不具有足够之計算資源時或編碼器估計解碼器側之高處理時也可以使用無殘差預測模式。
第5E圖示出了無殘差BP模式(即，BP跳過模式)之示例性位元流語法。模式首標字段570a將指示無殘差預測模式。例如，如果塊預測用於當前編碼單元，則模式首標字段570a將指示無殘差BP模式。在這種情况下，如ADSC標準草案中所公開之那樣，平坦度訊息、分區類型和塊向量將分別被標誌在平坦度語法字段572、分區類型字段574和塊預測向量字段574中。然而，新的位元流語法不包括殘差語法字段578，因為根據本發明不存在要被標誌之預測殘差。
第6A圖示出了在編碼器側執行的塊預測處理之示例性流程圖。在步驟610中，執行塊向量搜索以找到當前塊之最佳塊向量(被稱為第6A圖中之第一塊向量)。如步驟620所示，從第一塊向量和先前重構之像素衍生預測像素之塊。在步驟630中，根據輸入像素和預測像素之塊衍生殘差塊(參見第6A圖中之殘差之第一塊)。在步驟640中，對殘差塊進行量化。在步驟650中，使用BP模式將當前塊編碼為位元流。如第5C圖所示，塊之位元流包括模式首標、平坦度語法、塊預測因子向量和殘差語法。對於BP模式，殘差被衍生為源像素和預測像素之間之差。另一方面，重構塊被衍生為預測因子和量化(Q)-反量化(IQ)殘差之總和。將失真計算為源像素與重構像素之間之差异，即BP模式失真=源像素-(預測像素+Q-IQ殘差像素)。
第6B圖示出了在編碼器側執行的BP跳過(BP-Skip)模式處理之示例性流程圖。在步驟610和620之後，不需要BP-Skip模式之步驟630和640，因為殘差沒有被標誌。 在步驟652中，使用BP-Skip模式將當前塊編碼成位元流。如第5D圖所示，塊之位元流包括模式首標、平坦度語法和塊預測因子向量。但是，在此模式下不需要殘差語法。對於BP-Skip模式，重構之塊與預測因子相同。因此，失真對應於殘差。
如第6A圖和第6B圖所示，根據常規方法之BP模式和BP跳過模式之編碼器處理是不同之。然而，BP-Skip模式之處理是BP模式處理之一個子集。
從第6A圖和第6B圖中可以看出，BP處理和BP-Skip處理共享一些常見之處理塊，例如步驟610中之塊向量衍生，以及在步驟620中使用塊向量之預測衍生(predictor derivation)。因此，本發明公開了一種包括BP模式和BP-Skip模式之圖像編碼系統之有效實現，其中一些處理塊在BP模式和BP-Skip模式之間共享。例如，可以在BP模式和BP-Skip模式之間共享塊向量衍生和使用塊向量之預測衍生。
第7圖示出了根據本發明之實施例之使用包括BP模式和BP-Skip模式之編碼工具之圖像編碼系統之示例，其中在BP模式和BP-Skip模式之間共享一些處理塊。如第7圖所示，處理步驟710、720和730由BP編碼工具和BP-Skip編碼工具共享，因為BP模式和BP-Skip模式都需要這些步驟。在步驟710中，搜索當前塊之一個或複數個塊向量。如已知之ADSC，塊可以被劃分成更小之塊，並且將搜索複數個塊向量以用於複數個較小之塊。衍生之一個或複數個塊向量可以用於定位當前切片或圖像中之先前重構之區域中之一個或複數個預測因子，如步驟720所示。如ADSC所知，塊可以被劃分成較小之塊並且為 每個較小之塊衍生預測因子。如步驟730所示，在輸入像素和預測像素之間形成預測殘差。在衍生預測殘差後，根據BP模式和BP-Skip模式對預測殘差進行不同之處理。當使用BP模式編碼工具時，在步驟740中將預測殘差量化為量化預測殘差，在位元流中對預測殘差進行編碼和標誌。然後將量化之預測殘差編碼為壓縮位元(壓縮殘差位元)。為了使編碼器在BP模式和BP-Skip模式之間進行選擇，對使用BP編碼工具和BP-Skip編碼工具之成本進行了評估和比較。在資料壓縮領域，速率失真(rate-distortion)成本通常用作選擇編碼模式之成本標準。因此，評估與每個編碼工具相關聯之速率和失真。速率根據塊的所需位元計數進行評估。對於BP模式，在步驟750中計算相關聯之速率(在步驟750中稱為第一位元計數)和失真(在步驟750中稱為第一失真)。然後在步驟760中計算與BP編碼工具相關聯之第一成本。對於BP-Skip模式，在步驟752中衍生相關聯之速率(稱為第二位元計數)，並且在步驟754中衍生失真(稱為第二失真)。然後在步驟762中計算與BP-Skip編碼工具相關聯之第二個成本。
對於BP模式，編碼預測殘差也被標誌，如第5C圖所示。根據量化步長(quantization step)將預測殘差量化為量化預測殘差。然後將量化之預測殘差編碼成壓縮位元(壓縮殘差位元)，以作為殘差語法來被標誌在位元流中。與BP模式相關聯之第一個位元計數包括塊向量之位元計數和預測殘差之位元計數。第一失真被計算為輸入像素之當前塊與塊重構像素之間之差。輸入像素之當前塊和塊重構像素之間之差异是由預測 殘差之量化處理引起之。換句話說，第一失真相當於預測殘差之量化誤差。失真通常以絕對差(SAD)之和來測量。然而，也可以使用其他失真度量。
對於BP-Skip模式，如第5D圖所示，未標誌預測殘差信號。這種情况下，當前塊之複數個壓縮位元包括不包含當前塊之壓縮殘差位元之壓縮塊向量位元。與BP-Skip模式相關聯之第二位元計數包括沒有用於預測殘差之位元計數之塊向量之位元計數。塊向量之位元計數也由BP編碼工具使用。因此，塊向量之位元計數只需要計算一次，並且結果由DP編碼工具和BP-Skip編碼工具共享。在基於硬體之實現中，通用模塊或處理單元可用於BP編碼工具和BP-Skip編碼工具。第二失真被計算為輸入像素之當前塊與塊重構像素之間之差。輸入像素之當前塊和塊重構像素之間之差异對應於預測殘差。換句話說，第二失真相當於預測殘差。如果使用絕對差(absolute difference，簡寫為SAD)之和作為失真度量，則第二失真等於預測殘差之絕對和(absolution sum)。同樣，也可以使用其他失真度量。例如，第二失真可以對應於複數個預測殘差之總能量(如將預測殘差值取2次方，然後再把所有預測殘差值加起來)。雖然BP-Skip模式並不標誌預測殘差，但BP-Skip需要評估與預測殘差相關之失真，作為使用BP-Skip編碼工具之成本之一部分。然而，使用BP-Skip編碼工具也需要預測殘差。因此，BP編碼工具和BP-Skip編碼工具都可以共享衍生之相同之預測殘差。在基於硬體之實現中，用於衍生預測殘差之單個處理單元可由BP編碼工具和BP-Skip編碼工具共享。此外，必須在編 碼器側重構當前塊，使得可以將重構之像素用作在當前塊之後處理之其他塊之預測資料。對於BP模式，當前塊被重構求和解量化(de-quantization)後之解碼預測殘差和當前塊之預測因子。對於BP-Skip模式，由於未標誌預測殘差，所以重構之當前塊與當前塊之預測因子相同。在這種情况下，預測殘差被視為零。因此，通過將解碼之預測殘差設置為零，通過BP-Skip模式可以使用用於BP模式之相同重構處理。因此，用於重構塊之單個處理單元可以由BP編碼工具和BP-Skip編碼工具共享。
本發明還公開了一種包括BP模式和BP-Skip模式之圖像解碼系統之有效實現，其中一些處理塊在BP模式和BP-Skip模式之間共享。例如，兩種模式需要對壓縮位元流進行解碼，以確定被解碼之塊之一個或複數個塊向量。此外，兩種模式將使用從位元流衍生之塊向量以從先前重構之像素定位預測因子。因此，可以在兩種模式之間共享一些處理塊。第8圖示出了根據本發明之實施例之包括BP模式和BP-Skip模式之解碼器之解碼處理之示例性流程圖，其中一些處理塊被共享。在步驟810中，從位元流解碼當前塊之編碼工具。在步驟820中檢查編碼工具以確定它是塊預測類型還是其他編碼工具。如果使用另一編碼工具，則在步驟830中根據另一編碼工具對當前塊進行解碼。如果編碼工具是塊預測類型，則在步驟840解碼一個或複數個塊向量(稱為第一塊向量)。該處理在步驟850中進一步檢查編碼工具是BP模式還是BP-Skip模式。如果編碼工具對應於BP模式，則在步驟860解碼解碼殘差塊。如果編碼工具對應於BP-Skip模式，無預測殘差被解碼。在步驟 870中衍生預測像素塊，其中該步驟對BP模式和BP-Skip模式都是共同的。在步驟880中重構對應於當前塊之解碼像素。同樣，BP模式和BP-Skip模式共享該處理塊。如前所述，可以通過將預測因子和BP模式之解碼預測殘差相加來生成重構塊。當BP-Skip模式使用相同之重構過程時，將解碼之預測殘差設置為零。
第8圖中之流程圖以及本公開中之其他流程圖旨在作為實現本發明之實施例之示例。該特定布置不應被解釋為對本發明之限制。本發明還可以通過重新布置處理塊或使用等同之處理塊來實現，而不偏離本發明之精神。例如，可以在步驟840中衍生塊向量之後立即執行用於衍生預測像素塊之處理步驟870。此外，當處理塊840、870和880由BP模式和第8圖之實施例中之模式共享時，系統也可以僅共享這些處理塊中之一個或兩個。
第9圖示出了根據本發明之實施例之使用包括BP模式和BP-Skip模式之編碼工具之圖像編碼系統之另一示例，其中每個2x8塊可以使用2x2分區或1x2分區進行分區，並且一些處理塊是在BP模式和BP-Skip模式之間共享。第9圖中之例子還考慮了在當前ADSC標準中使用之特定塊分區。在這種情况下，必須計算與兩種不同分區類型(即，2×2和1×2分區)相關聯之成本。同樣，在兩種分區模式之成本評估過程中，一些處理塊可以由BP模式和BP-Skip模式共享。如第9圖所示，在步驟910中執行在一個2x8塊中之每個2x2和1x2分區之塊向量搜索。如步驟920所示，從塊向量和先前重構之像素獲得2×2和1×2 分區之預測像素塊。此外，如步驟930所示，根據輸入像素和預測像素塊獲得2x2和1x2分區之預測殘差。處理塊910至930由BP模式和BP-Skip模式共享。由於BP模式和BP-Skip模式不同地對待預測殘差，所以預測殘差之處理在這一點上將被分開(split)。在BP模式中，執行步驟940、950、960和970。在步驟940中，對殘差進行量化，得到2x2和1x2分區之失真(稱為第一失真)。在步驟950中，計算位元計數(稱為第一位元計數)。在步驟960中確定與每個2x2塊之第一編碼工具相關聯之分區類型(即，BP模式)，以針對每個2×2塊選擇2x2分區或1x2分區。在步驟970中，用選擇之分區類型編碼之2×8塊來確定與第一編碼工具相關聯之第一成本。如前所述，第一成本包括用於塊向量之第一位元計數和編碼之殘差以及對應於殘差之量化誤差之第一失真。對於BP-Skip模式，衍生了2x2分區和1x2分區之第二失真。如前所述，第二失真對應於總殘差，因為殘差不是信號(since the residuals are not signals)。如步驟932所示，取决於失真度量，第二失真可能對應於2x2分區或1x2分區下之殘差之SAD或其他度量，其中在步驟930中衍生了殘差。另一方面，如步驟952所示，第二位元計數包括當前塊之塊向量之位元計數，其中在步驟950中已經計算了用於塊向量之位元計數，其中針對第一編碼工具計算兩個塊向量和編碼殘差之位元計數。與殘差相關聯之位元計數不包括在第二位元計數中，因為沒有殘差未被標誌。在步驟962中，確定與每個2x2塊相關聯之第二編碼工具之分區類型(即，BP跳過模式)，以選擇每個2x2塊之2×2分區或1x2分區。在步驟072中用選擇之分 區類型編碼之2×8塊來確定與第二編碼工具相關聯之第二成本。
再次，第9圖作為實現本發明實施例之示例。在不脫離本發明之精神之情况下，可以通過等效處理來重新布置或修改步驟。例如，步驟950可以分為兩個步驟，第一步是計算塊向量之位元計數，以及計算編碼殘差之位元計數之第二步驟。計算塊向量之位元計數之第一步可以通過BP模式和BP-Skip模式共享。此外，可以在流程圖中之步驟910之後立即移動計算塊向量之位元計數之第一步驟。此外，框910、920和930中之每個處理塊必須由BP模式和BP-Skip模式共享。
可以類似於第8圖中之解碼器流程圖來衍生與第9圖中之編碼器處理相對應之解碼器處理。在這種情况下，解碼器將為每個2x2塊從位元流中衍生分區類型，並且可以相應地確定用於2×8塊之分區。從每個1x2分區之位元流中衍生一個塊向量，並且從每個2x2分區之位元流中衍生一個或兩個運動向量。
第10圖示出了根據本發明之實施例之使用包括BP模式和BP-Skip模式之編碼工具之圖像編碼系統之示例，其中在BP模式和BP-Skip模式之間共享一些處理塊。該流程圖可對應於要在本發明之計算機、行動設備、數位信號處理器或可程式化設備上執行的軟體程式代碼。程式代碼可以用各種程式語言編寫。該流程圖還可以對應於基於硬體之實現，其中一個或複數個電子電路(例如ASIC(專用集體電路)和FPGA(可程式化閘陣列))或處理器(例如DSP(數位信號處理器))。 根據該方法，在步驟1010中接收與當前片或當前圖像中之當前塊相關聯之輸入像素。在步驟1020中確定與當前塊之一個或複數個塊向量相關聯之與壓縮塊向量位元相關之塊矢量位元計數訊息，其中根據塊預測衍生所述一個或複數個塊向量以定位當前塊之一個或複數個塊預測因子。塊向量衍生之方法是本領域已知的，並且在此省略其細節。在步驟1030中確定對應於當前塊和所述一個或複數個塊預測因子之間之差的預測殘差。在步驟1040中確定與第一編碼工具相關聯之第一成本，其中第一成本包括塊向量位元計數訊息和使用第一編碼工具對預測殘差進行編碼相關聯之殘差位元計數訊息。第一編碼工具可以對應於BP模式。如前所述，第一成本可以進一步包括與使用第一編碼工具之當前塊和重構之當前塊之間之差异相關聯的第一失真。在步驟1050中確定與第二編碼工具相關聯的第二成本，其中第二成本包括塊向量位元計數訊息並且沒有殘差位元計數訊息。第二編碼工具可以對應於BP-Skip模式。如前所述，第二成本可以進一步包括與使用第二編碼工具之當前塊與重構之當前塊之間之差异相關聯的第二失真。然後，在步驟1060中，使用當前編碼工具對當前塊進行編碼以生成包括當前塊之壓縮位元的位元流，其中基於包括第一成本和第二成本之編碼工具組的相關成本，當前編碼工具從包括第一編碼工具和第二編碼工具之編碼工具組中選擇。
第11圖示出了根據本發明實施例之使用包括BP模式和BP-Skip模式之編碼工具之圖像編碼系統的另一示例，其中可以使用2x2分區或1x2分區對每個2×8塊進行分區，並且一 些處理塊在BP模式和BP-Skip模式之間共享。再次，該流程圖可以對應於要在本發明之計算機、行動設備、數位信號處理器或可程式化設備上執行的軟體程式代碼。程式代碼可以用各種程式語言編寫。該流程圖還可以對應於基於硬體(如一個或複數個電子電路(例如ASIC(專用集體電路)和FPGA(可程式化閘陣列))或處理器(例如DSP(數位信號處理器)))之實現。根據該方法，在步驟1110中接收包括當前片或當前圖像中之當前塊之壓縮位元之位元流。在步驟1120，檢查編碼工具是否是第一編碼工具或第二編碼工具。如果使用第一編碼工具，執行步驟1130至步驟1150。如果編碼工具是第二編碼工具，則執行步驟1160和1170。在這個例子中，假設編碼模式是第一編碼模式(例如，BP模式)或第二模式(例如，BP-Skip模式)，其對應於來自第8圖中之步驟820之“塊預測類型”分支。對於第一編碼工具，在步驟1130中，根據第一熵解碼從位元流衍生當前塊之一個或複數個第一塊向量，其中所述一個或複數個第一塊向量用於定位當前塊之一個或複數個第一塊預測因子；在步驟1140中從位元流衍生用於預測殘差之解碼預測殘差，其中預測殘差對應於當前塊與所述一個或複數個第一塊預測因子之間之差；並且在步驟1150中，根據第一塊預測重構，基於解碼之預測殘差和當前塊之所述一個或複數個第一塊預測因子來重構當前塊。對於BP-Skip模式，在步驟1160中根據第二熵解碼從位元流衍生用於當前塊之一個或複數個第二塊向量，其中所述一個或複數個第二塊向量用於定位當前塊之一個或複數個第二塊預測因子；並且在步驟1170中，根據第二 塊預測重構，基於當前塊之所述一個或複數個第二塊預測因子來重構當前塊。在步驟1180中，提供重構之當前塊，其中所述第一熵解碼和所述第二熵解碼共享相同之熵解碼器，第一塊預測重構和第二塊預測重構共享相同之塊預測重構單元，以從一個或複數個預測變量和解碼之預測殘差重構一個重構塊，或兩者。
以上所示之流程圖旨在說明包含本發明之實施例之圖像編碼之示例。本領域技術人員可以在不脫離本發明之精神之情况下修改每個步驟，重新布置步驟，拆分步驟或組合實施本發明之步驟。
該流程圖可對應於要在本發明之計算機、行動設備、數位信號處理器或可程式化設備上執行的軟體程式代碼。程式代碼可以用各種程式語言編寫，例如C++。該流程圖還可以對應於基於硬體之實現，如一個或複數個電子電路(例如ASIC(專用集體電路)和FPGA(可程式化閘陣列))或處理器(例如DSP(數位信號處理器))。
呈現上述描述以使得本領域普通技術人員能够在特定應用及其要求之上下文中實施本發明。對所描述之實施例之各種修改對於本領域技術人員將是顯而易見之，並且本文定義之一般原理可以應用於其他實施例。因此，本發明不旨在限於所示出和描述之具體實施例，而是符合與本文所公開之原理和新穎特徵相一致之最廣範圍。在上述詳細描述中，示出了各種具體細節以便提供對本發明之透徹理解。然而，本領域技術人員將理解，可以實施本發明。
如上所述之本發明之實施例可以以各種硬體、軟體代碼或兩者之組合來實現。例如，本發明之實施例可以是整合到圖像壓縮晶片中之電路或整合到圖像壓縮軟體中之程式代碼，以執行本文所述之處理。本發明之實施例也可以是要在數位信號處理器(DSP)上執行以執行本文所述之處理之程式代碼。本發明還可以涉及由計算機處理器、數位信號處理器、微處理器或可程式化閘陣列(FPGA)執行的許多功能。可以通過執行定義本發明所體現之特定方法之機器可讀軟體代碼或固件代碼來將這些處理器配置成執行根據本發明之特定任務。軟體代碼或固件代碼可以以不同之程式語言和不同之格式或風格開發。也可以為不同之目標平臺編譯軟體代碼。然而，根據本發明之不同之代碼格式，軟體代碼之樣式和語言以及配置代碼之其他方式將不會脫離本發明之精神和範圍。
在不脫離本發明之精神或基本特徵之情况下，本發明可以以其他具體形式實施。所描述之例子僅在所有方面被認為是說明性之而不是限制性之。因此，本發明之範圍由所附權利要求而不是前面之描述來指示。屬權利要求之等同物之含義和範圍內之所有變化將被包括在其範圍內。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
S1010~S1060‧‧‧步驟

Claims (19)

  1. 一種圖像編碼方法，用於在編碼器處執行圖像之圖像編碼，其中該編碼器使用包括與塊預測相關聯之至少第一編碼工具和第二編碼工具之複數個編碼工具，該圖像編碼方法包括：接收與當前片或當前圖像中之當前塊相關聯之複數個輸入像素；確定與該當前塊之一個或複數個塊向量相關聯之複數個壓縮塊向量位元之塊向量位元計數訊息，其中根據塊預測衍生該一個或複數個塊向量，以定位該當前塊之一個或複數個塊預測因子；確定對應於該當前塊和該一個或複數個塊預測因子之間之複數個差之複數個預測殘差；確定與該第一編碼工具相關聯之第一成本，其中該第一成本包括使用該第一編碼工具對該複數個預測殘差進行編碼之該塊向量位元計數訊息和殘差位元計數訊息；確定與該第二編碼工具相關聯之第二成本，其中該第二成本包括該該塊向量位元計數訊息並且不具有該殘差位元計數訊息；以及使用當前編碼工具對該當前塊進行編碼，以生成包括該當前塊之複數個壓縮位元之位元流，其中該當前編碼工具是基於包括該第一成本和該第二成本之編碼工具組之複數個相關成本，從包括該第一編碼工具和該第二編碼工具之該編碼工具組中選擇。
  2. 如申請專利範圍第1項所述之圖像編碼方法，其中所述確定該塊向量位元計數訊息和該確定該複數個預測殘差對於該當前塊僅執行一次，並且所確定之該塊向量位元計數訊息和該複數個預測殘差由該第一編碼工具和該第二編碼工具使用。
  3. 如申請專利範圍第1項所述之圖像編碼方法，其中根據該當前塊和該一個或複數個塊向量之位置，從該當前片或該當前圖像中之先前重構之複數個像素衍生該當前塊之該一個或複數個塊預測因子。
  4. 如申請專利範圍第1項所述之圖像編碼方法，其中使用該第一編碼工具對該複數個預測殘差進行編碼包括將該複數個預測殘差量化為複數個量化預測殘差，並將該複數個量化預測殘差進一步編碼為複數個壓縮殘差位元，並且其中該殘差位元數訊息與該複數個壓縮殘差位元相關。
  5. 如申請專利範圍第4項所述之圖像編碼方法，其中該第一成本進一步包括使用該第一編碼工具的，與該當前塊和第一重構塊之間之第一失真相對應之第一失真訊息。
  6. 如申請專利範圍第5項所述之圖像編碼方法，其中該第一失真來自與該量化該複數個預測殘差相關聯之量化誤差。
  7. 如申請專利範圍第4項所述之圖像編碼方法，其中當該第一編碼工具被應用於該當前塊時，該當前塊之該複數個壓縮位元包括複數個壓縮之塊向量位元和該當前塊之該複數個壓縮殘差位元。
  8. 如申請專利範圍第1項所述之圖像編碼方法，其中該第二成 本進一步包括使用該第二編碼工具的，對應於該當前塊與第二重構塊之間之第二失真之第二失真訊息。
  9. 如申請專利範圍第8項所述之圖像編碼方法，其中該第二失真對應於該複數個預測殘差之絕對和或總能量。
  10. 如申請專利範圍第8項所述之圖像編碼方法，其中當該第二編碼工具應用於該當前塊時，該當前塊之該複數個壓縮位元包括不包含該當前塊之複數個壓縮殘差位元之複數個壓縮塊向量位元。
  11. 如申請專利範圍第1項所述之圖像編碼方法，其中根據2x2分區將對應於2×8塊之該當前塊劃分為複數個2×2塊，以及根據1x2分區將對應於2×8塊之該當前塊劃分為複數個1×2塊，並且該圖像編碼方法還包括：在該2x2分區和該1x2分區之間選擇分區類型，以使用該第一編碼工具或該第二編碼工具對該當前塊進行編碼。
  12. 如申請專利範圍第11項所述之圖像編碼方法，其中針對具有該2×2分區和該1x2分區之該當前塊，確定與該第一編碼工具相關聯之該第一成本和與該第二編碼工具相關聯之該第二成本，並且為該第一編碼工具選擇具有較低第一成本之一個第一分區類型，並且為該第二編碼工具選擇具有較低第二成本之一個第二分區類型。
  13. 如申請專利範圍第12項所述之圖像編碼方法，其中為一個2x2塊之每個1x2塊確定一個塊向量，以從該1x2分區之該當前片或該當前圖像中之複數個先前重構之像素定位一個1x2預測因子，並且為每個2x2塊確定一個塊向量，以從該 2x2分區之該當前片或該當前圖像中之複數個先前重構之像素定位一個2×2預測因子。
  14. 如申請專利範圍第13項所述之圖像編碼方法，其中該2x2分區之該複數個預測殘差對應於一個2×2塊與對應之2×2預測因子之間之複數個第一差，並且該1x2分區之該複數個預測殘差對應於一個2×2塊之兩個1x2塊和兩個相應之1x2預測因子之間之複數個第二差。
  15. 如申請專利範圍第14項所述之圖像編碼方法，其中使用該第一編碼工具對該複數個預測殘差進行編碼包括將該複數個預測殘差量化為複數個量化預測殘差，並將該複數個量化預測殘差編碼為複數個壓縮殘差位元，並且其中該殘差位元計數訊息與該複數個壓縮殘差位元相關，並且其中該第一成本進一步包括與該當前塊和使用該第一編碼工具之第一重構塊之間之第一失真相對應之第一失真訊息。
  16. 如申請專利範圍第14項所述之圖像編碼方法，其中該第二成本還包括該複數個預測殘差之絕對值總和或總能量。
  17. 一種圖像編碼裝置，用於在編碼器處執行圖像之圖像編碼，其中該編碼器使用複數個編碼工具，該編碼工具至少包括與塊預測相關聯之第一編碼工具和第二編碼工具，該圖像編碼裝置包括一個或複數個電子電路或處理器配置為：接收與當前片或當前圖像中之當前塊相關聯之複數個輸入像素；確定與該當前塊之一個或複數個塊向量相關聯之壓縮塊向 量位元之塊向量位元計數訊息，其中根據塊預測衍生該一個或複數個塊向量，以定位該當前塊之一個或複數個塊預測因子；確定對應於該當前塊和該一個或複數個塊預測因子之間之複數個差之複數個預測殘差；確定與該第一編碼工具相關聯之第一成本，其中該第一成本包括使用該第一編碼工具對與該複數個預測殘差進行編碼相關聯之該塊向量位元計數訊息和該殘差位元計數訊息；確定與該第二編碼工具相關聯之第二成本，其中該第二成本包括該塊向量位元計數訊息並且不具有該殘差位元計數訊息；以及使用當前編碼工具對該當前塊進行編碼，以生成包括該當前塊之複數個壓縮位元之位元流，其中該當前編碼工具是基於包括該第一成本和該第二成本之編碼工具組之複數個相關成本，從包括該第一編碼工具和該第二編碼工具之該編碼工具組中選擇。
  18. 一種圖像解碼方法，用於在解碼器執行圖像之圖像解碼，其中該解碼器使用複數個編碼工具，該複數個編碼工具至少包括與塊預測相關聯之第一編碼工具和第二編碼工具，該圖像解碼方法包括：接收包括當前片或當前圖像中之當前塊之複數個壓縮位元之位元流；如果使用該第一編碼工具： 根據第一熵解碼從該位元流衍生該當前塊之一個或複數個第一塊向量，其中該一個或複數個第一塊向量用於定位該當前塊之一個或複數個第一塊預測因子；從該位元流衍生複數個預測殘差之複數個解碼預測殘差，其中該複數個預測殘差對應於該當前塊與該一個或複數個第一塊預測因子之間之複數個差；以及根據第一塊預測重構，基於該複數個解碼預測殘差和該當前塊之該一個或複數個第一塊預測因子來重構該當前塊；如果使用該第二編碼工具：根據第二熵解碼從該位元流衍生該當前塊之一個或複數個第二塊向量，其中該一個或複數個第二塊向量用於定位該當前塊之一個或複數個第二塊預測因子；以及根據第二塊預測重構，基於該當前塊之該一個或複數個第二塊預測因子來重構該當前塊；以及提供重構之當前塊，其中該第一熵解碼和該第二熵解碼共享相同之熵解碼器，該第一塊預測重構和該第二塊預測重構共享相同之塊預測重構單元，以從一個或複數個預測因子和解碼之複數個預測殘差重構一個重構塊，或兩個。
  19. 一種圖像解碼裝置，用於執行解碼器處圖像之圖像解碼，其中該解碼器使用複數個編碼工具，該編碼工具至少包括與塊預測相關聯之第一編碼工具和第二編碼工具，該圖像解碼裝置包括一個或複數個電子電路或處理器配置為：接收包括當前片或當前圖像中之當前塊之複數個壓縮位元之位元流； 如果使用該第一編碼工具：根據第一熵解碼從該位元流衍生該當前塊之一個或複數個第一塊向量，其中該一個或複數個第一塊向量用於定位該當前塊之一個或複數個第一塊預測因子；從該位元流衍生複數個預測殘差之複數個解碼預測殘差，其中該複數個預測殘差對應於該當前塊與該一個或複數個第一塊預測因子之間之複數個差；以及根據第一塊預測重構，基於該複數個解碼預測殘差和該當前塊之該一個或複數個第一塊預測因子來重構該當前塊；如果使用該第二編碼工具：根據第二熵解碼從該位元流衍生該當前塊之一個或複數個第二塊向量，其中該一個或複數個第二塊向量用於定位該當前塊之一個或複數個第二塊預測因子；以及根據第二塊預測重構，基於該當前塊之該一個或複數個第二塊預測因子來重構該當前塊；以及其中該第一熵解碼和該第二熵解碼共享相同之熵解碼器，該第一塊預測和該第二塊預測重構共享相同之塊預測重構單元，以從一個或複數個預測因子和解碼之複數個預測殘差重構一個重構塊，或兩個。
TW106113246A 2016-04-20 2017-04-20 圖像編碼／解碼方法及相關裝置 TWI634780B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662324987P 2016-04-20 2016-04-20
US62/324,987 2016-04-20
US15/485,283 2017-04-12
US15/485,283 US10575000B2 (en) 2016-04-20 2017-04-12 Method and apparatus for image compression using block prediction mode

Publications (2)

Publication Number Publication Date
TW201739247A true TW201739247A (zh) 2017-11-01
TWI634780B TWI634780B (zh) 2018-09-01

Family

ID=60089917

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106113246A TWI634780B (zh) 2016-04-20 2017-04-20 圖像編碼／解碼方法及相關裝置

Country Status (3)

Country Link
US (1) US10575000B2 (zh)
CN (1) CN107454414B (zh)
TW (1) TWI634780B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI825742B (zh) * 2021-12-21 2023-12-11 聯發科技股份有限公司 視訊編碼方法和裝置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3306922A1 (en) * 2016-10-05 2018-04-11 Thomson Licensing Method and apparatus for encoding a picture using rate-distortion based block splitting
US10970881B2 (en) 2018-12-21 2021-04-06 Samsung Display Co., Ltd. Fallback modes for display compression
US11012686B2 (en) * 2019-03-08 2021-05-18 Tencent America LLC Unified block vector prediction for intra picture block compensation
EP4032289A4 (en) * 2019-09-19 2023-09-13 HFI Innovation Inc. RESIDUAL CODING SELECTION METHOD AND APPARATUS FOR LOSSLESS CODING MODE IN VIDEO CODING
US20230135166A1 (en) * 2021-10-28 2023-05-04 Tencent America LLC Intrabc using wedgelet partitioning

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100191534A1 (en) * 2009-01-23 2010-07-29 Qualcomm Incorporated Method and apparatus for compression or decompression of digital signals
KR101452859B1 (ko) * 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
CN104811717B (zh) 2009-12-01 2018-09-14 数码士有限公司 用于编码/解码高分辨率图像的方法和设备
DK2924995T3 (en) * 2010-07-09 2018-10-01 Samsung Electronics Co Ltd PROCEDURE FOR VIDEO DECODING, BY USING BLOCK COLLECTION
EP2611156A1 (en) 2011-12-30 2013-07-03 Samsung Electronics Co., Ltd Apparatus and method for encoding depth image by skipping discrete cosine transform (dct), and apparatus and method for decoding depth image by skipping dct
US9219913B2 (en) * 2012-06-13 2015-12-22 Qualcomm Incorporated Inferred base layer block for TEXTURE—BL mode in HEVC based single loop scalable video coding
US9883180B2 (en) 2012-10-03 2018-01-30 Avago Technologies General Ip (Singapore) Pte. Ltd. Bounded rate near-lossless and lossless image compression
US9877025B2 (en) * 2013-07-12 2018-01-23 British Broadcasting Corporation Video encoding and decoding with prediction at higher precision
US10631005B2 (en) 2014-04-21 2020-04-21 Qualcomm Incorporated System and method for coding in block prediction mode for display stream compression (DSC)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI825742B (zh) * 2021-12-21 2023-12-11 聯發科技股份有限公司 視訊編碼方法和裝置

Also Published As

Publication number Publication date
TWI634780B (zh) 2018-09-01
US10575000B2 (en) 2020-02-25
CN107454414B (zh) 2020-08-14
US20170310987A1 (en) 2017-10-26
CN107454414A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
TWI634780B (zh) 圖像編碼／解碼方法及相關裝置
US10511859B2 (en) Method and apparatus for image compression without residue signaling
JP7488256B2 (ja) 隣接サンプル依存パラメトリックモデルに基づいたコーディングモードの簡易化
US9667987B2 (en) Using multiple prediction sets to encode extended unified directional intra mode numbers for robustness
JP2021511698A (ja) 隣接サンプルに応じた線形モデルに基づく映像符号化及び復号のための方法と装置
US20220159277A1 (en) Method and apparatus for video encoding and decoding with subblock based local illumination compensation
US11563965B2 (en) Method and apparatus for color transform in VVC
US10225561B2 (en) Method and apparatus for syntax signaling in image and video compression
US20240214553A1 (en) Spatial local illumination compensation
US20230112642A1 (en) Adaptive multiple transform set selection
EP3641311A1 (en) Encoding and decoding methods and apparatus
US11863744B2 (en) Context modeling for spilt flag
KR20220123643A (ko) 삼각형 병합 모드에서의 서브-블록 병합 후보들
US10805611B2 (en) Method and apparatus of constrained sequence header
US11652996B2 (en) Method and apparatus for video coding
US20240146903A1 (en) Context design for coding and decoding syntax elements in inter prediction modes
KR20240072180A (ko) Isp 모드를 사용한 템플릿 기반 인트라 모드 도출(timd)의 확장
JP2024510433A (ja) ビデオ圧縮のための時間的構造ベースの条件付き畳み込みニューラルネットワーク
KR20240088795A (ko) 디코더 측 화면내 모드 도출에서의 각도 이산화 개선