TWI766844B - 針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測 - Google Patents

針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測 Download PDF

Info

Publication number
TWI766844B
TWI766844B TW105130686A TW105130686A TWI766844B TW I766844 B TWI766844 B TW I766844B TW 105130686 A TW105130686 A TW 105130686A TW 105130686 A TW105130686 A TW 105130686A TW I766844 B TWI766844 B TW I766844B
Authority
TW
Taiwan
Prior art keywords
values
unfiltered
filtered
predicted
current block
Prior art date
Application number
TW105130686A
Other languages
English (en)
Other versions
TW201729595A (zh
Inventor
阿米爾 塞德
趙欣
陳建樂
馬塔 卡茲維克茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201729595A publication Critical patent/TW201729595A/zh
Application granted granted Critical
Publication of TWI766844B publication Critical patent/TWI766844B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Abstract

本發明描述在視訊寫碼中使用與位置相關之預測組合之改良視訊框內預測的技術。在高效視訊編碼中，35個線性預測子之一集合用於進行框內寫碼，且可根據所選擇預測子模式及區塊大小自相鄰「參考」像素之一未經濾波或一經濾波集合計算預測。本發明之技術可使用參考像素之該未經濾波及經濾波集合兩者之一經加權組合以經由經改良預測且因此經由較小殘餘達成更好壓縮，致能預測值之所有集合之有效平行計算，且經由僅對參考像素之一集合而非預測值本身應用濾波來維持低複雜度。

Description

針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測
本發明係關於視訊寫碼。
數位視訊能力可併入至廣泛範圍之裝置中，包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄裝置、數位媒體播放器、視訊遊戲裝置、視訊遊戲控制台、蜂巢式或衛星無線電電話、所謂的「智慧型電話」、視訊電話會議裝置、視訊串流裝置及其類似者。數位視訊裝置實施視訊寫碼技術，諸如在包括由ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual、ITU-T H.264/MPEG-4進階視訊寫碼(AVC)第10部分及ITU-T H.265、高效率視訊寫碼(HEVC)所定義的各種標準及此等標準之擴展中所描述的彼等技術。視訊裝置可藉由實施此類視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。 視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊，其亦可被稱作樹型區塊、寫碼單元(CU)及/或寫碼節點。可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼圖像之經框內寫碼(I)圖塊中的視訊區塊 圖像之經框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本之時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。 空間或時間預測產生待寫碼之區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼經框間寫碼區塊。經框內寫碼區塊係根據框內寫碼模式及殘餘資料來編碼。為進行進一步壓縮，可將殘餘資料自像素域變換至變換域，從而產生可接著進行量化之殘餘變換係數。可掃描最初配置成二維陣列的經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至較多壓縮。
大體而言，本發明描述關於在視訊寫碼中使用與位置相關之預測組合之改良視訊框內預測的技術。該等技術可用於進階視訊編解碼器的上下文中，諸如HEVC之擴展或下一代視訊寫碼標準。在HEVC中，例如，35個線性預測子之集合用於進行框內寫碼，且可根據所選擇預測子模式及區塊大小自相鄰「參考」像素之未經濾波或經濾波集合計算預測。本發明之技術可使用參考像素之未經濾波及經濾波集合兩者的加權組合以達成更好壓縮(經由(例如)經改良預測且因此經由較少殘餘)，致能預測值之所有集合之有效平行計算，並維持低複雜度(經由(例如)僅對參考像素之集合而非預測值本身應用濾波)。 在一個實例中，本發明係關於解碼視訊資料之方法，該方法包含：將相鄰區塊解碼為視訊資料之圖像中之當前區塊；將包含複數個經濾波參考值之經濾波參考陣列形成至相鄰區塊中之當前區塊，該複數個經濾波參考值包含相鄰像素之經濾波版本；形成包含對應於相鄰像素之未經濾波版本的複數個未經濾波參考值之未經濾波參考陣列；基於經濾波參考陣列中之複數個經濾波參考值中之一或多者乘以權重之第一集合與未經濾波之參考陣列中之複數個未經濾波參考值中之一或多者乘以權重之第二集合的線性組合來計算與當前區塊之像素之集合相關聯的預測值之集合；及基於經計算之預測值之集合重建構當前區塊。 在另一實例中，本發明係關於編碼視訊資料之方法，該方法包含：接收圖像之當前區塊、包含複數個經濾波參考值之經濾波參考陣列及包含複數個未經濾波參考值之未經濾波參考陣列；將相鄰區塊解碼為視訊資料之圖像中之當前區塊；將包含複數個經濾波參考值之經濾波參考陣列形成至相鄰區塊中之當前區塊，該複數個經濾波參考值包含相鄰像素之經濾波版本；形成包含對應於相鄰像素之未經濾波版本的複數個未經濾波參考值之未經濾波參考陣列；產生用於當前區塊之預測性區塊，其中產生包含基於經濾波參考陣列中之複數個經濾波參考值中之一或多者乘以權重之第一集合與未經濾波之參考陣列中之複數個未經濾波參考值中之一或多者乘以權重之第二集合的線性組合來計算與當前區塊之像素之集合相關聯的預測值之集合；基於當前區塊與預測性區塊之間的差異產生殘餘區塊；及在位元串流中編碼表示殘餘區塊的資料。 在另一實例中，本發明係關於用於解碼視訊資料之裝置，該裝置包含記憶體及與該記憶體通信之一或多個處理器。該一或多個處理器經組態以將相鄰區塊解碼為視訊資料之圖像中之當前區塊；將包含複數個經濾波參考值之經濾波參考陣列形成至相鄰區塊中之當前區塊，該複數個經濾波參考值包含相鄰像素之經濾波版本；形成包含對應於相鄰像素之未經濾波版本的複數個未經濾波參考值之未經濾波參考陣列；基於經濾波參考陣列中之複數個經濾波參考值中之一或多者乘以權重之第一集合與未經濾波之參考陣列中之複數個未經濾波參考值中之一或多者乘以權重之第二集合的線性組合來計算與當前區塊之像素之集合相關聯的預測值之集合；及基於經計算之預測值之集合重建構當前區塊。 在另一實例中，本發明係關於用於編碼視訊資料之裝置，該裝置包含記憶體及與該記憶體通信之一或多個處理器。該一或多個處理器經組態以接收圖像之當前區塊、包含複數個經濾波參考值之經濾波參考陣列及包含複數個未經濾波參考值之未經濾波參考陣列；將相鄰區塊解碼為視訊資料之圖像中之當前區塊；將包含複數個經濾波參考值之經濾波參考陣列形成至相鄰區塊中之當前區塊，該複數個經濾波參考值包含相鄰像素之經濾波版本；形成包含對應於相鄰像素之未經濾波版本的複數個未經濾波參考值之未經濾波參考陣列；產生用於當前區塊之預測性區塊，其中產生包含基於經濾波參考陣列中之複數個經濾波參考值中之一或多者乘以權重之第一集合與未經濾波之參考陣列中之複數個未經濾波參考值中之一或多者乘以權重之第二集合的線性組合來計算與當前區塊之像素之集合相關聯的預測值之集合；基於當前區塊與預測性區塊之間的差異產生殘餘區塊；及在位元串流中編碼表示殘餘區塊的資料。 在另一實例中，本發明係關於用於解碼視訊資料之裝置，該裝置包含：用於將相鄰區塊解碼為視訊資料之圖像中之當前區塊的構件；用於將包含複數個經濾波參考值之經濾波參考陣列形成至相鄰區塊中之當前區塊的構件，該複數個經濾波參考值包含相鄰像素之經濾波版本；用於形成包含對應於相鄰像素之未經濾波版本的複數個未經濾波參考值之未經濾波參考陣列的構件；用於基於經濾波參考陣列中之複數個經濾波參考值中之一或多者乘以權重之第一集合與未經濾波之參考陣列中之複數個未經濾波參考值中之一或多者乘以權重之第二集合的線性組合來計算與當前區塊之像素之集合相關聯的預測值之集合的構件；及用於基於經計算之預測值之集合重建構當前區塊的構件。 在另一實例中，本發明係關於用於編碼視訊資料之裝置，該裝置包含：用於接收接收圖像之當前區塊、包含複數個經濾波參考值之經濾波參考陣列及包含複數個未經濾波參考值之未經濾波參考陣列的構件；用於將相鄰區塊解碼為視訊資料之圖像中之當前區塊的構件；用於將包含複數個經濾波參考值之經濾波參考陣列形成至相鄰區塊中之當前區塊的構件，該複數個經濾波參考值包含相鄰像素之經濾波版本；用於形成包含對應於相鄰像素之未經濾波版本的複數個未經濾波參考值之未經濾波參考陣列的構件；用於產生當前區塊之預測性區塊的構件，其中產生包含基於經濾波參考陣列中之複數個經濾波參考值中之一或多者乘以權重之第一集合與未經濾波之參考陣列中之複數個未經濾波參考值中之一或多者乘以權重之第二集合的線性組合來計算與當前區塊之像素之集合相關聯的預測值之集合；用於基於當前區塊與預測性區塊之間的差異產生殘餘區塊的構件；及用於在位元串流中編碼表示殘餘區塊之資料的構件。 在另一實例中，本發明係關於其上儲存有用於處理視訊資料之指令的非暫時性電腦可讀媒體，該等指令在執行時使一或多個處理器將相鄰區塊解碼為視訊資料之圖像中之當前區塊；將包含複數個經濾波參考值之經濾波參考陣列形成至相鄰區塊中之當前區塊，該複數個經濾波參考值包含相鄰像素之經濾波版本；形成包含對應於相鄰像素之未經濾波版本的複數個未經濾波參考值之未經濾波參考陣列；基於經濾波參考陣列中之複數個經濾波參考值中之一或多者乘以權重之第一集合與未經濾波之參考陣列中之複數個未經濾波參考值中之一或多者乘以權重之第二集合的線性組合來計算與當前區塊之像素之集合相關聯的預測值之集合；及基於經計算之預測值之集合重建構當前區塊。 在另一實例中，本發明係關於其上儲存有用於處理視訊資料之指令的非暫時性電腦可讀媒體，該等指令在執行時使一或多個處理器：接收圖像之當前區塊、包含複數個經濾波參考值之經濾波參考陣列及包含複數個未經濾波參考值之未經濾波參考陣列；將相鄰區塊解碼為視訊資料之圖像中之當前區塊；將包含複數個經濾波參考值之經濾波參考陣列形成至相鄰區塊中之當前區塊，該複數個經濾波參考值包含相鄰像素之經濾波版本；形成包含對應於相鄰像素之未經濾波版本的複數個未經濾波參考值之未經濾波參考陣列；產生用於當前區塊之預測性區塊，其中產生包含基於經濾波參考陣列中之複數個經濾波參考值中之一或多者乘以權重之第一集合與未經濾波之參考陣列中之複數個未經濾波參考值中之一或多者乘以權重之第二集合的線性組合來計算與當前區塊之像素之集合相關聯的預測值之集合；基於當前區塊與預測性區塊之間的差異產生殘餘區塊；及在位元串流中編碼表示殘餘區塊的資料。 在以下隨附圖式及實施方式中闡述一或多個實例之細節。其他特徵、目標及優點將自該描述及該等圖式以及申請專利範圍顯而易見。
本申請案主張2015年9月29日申請之美國臨時專利申請案第62/234,645號之權益，該臨時專利申請案之全部內容以引用之方式併入本文中。 大體而言，本發明描述關於在視訊寫碼中使用與位置相關之預測組合之改良視訊框內預測的技術。該等技術可用於進階視訊編解碼器的上下文中，諸如HEVC之擴展或下一代視訊寫碼標準。 大體上相對於ITU-T H.265 (亦被稱作高效視訊寫碼(HEVC))描述本發明之技術，ITU-T H.265描述於2013年4月之「SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructure of audiovisual services-Coding of moving video」，High Efficiency Video Coding ，ITU-T H.265中。然而，此等技術可應用於其他視訊寫碼標準，包括HEVC之擴展及其他標準之擴展。其他視訊寫碼標準之實例包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264/MPEG-4進階視訊寫碼(AVC)第10部分，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。 H.265標準最近由ITU-T視訊寫碼專家組(VCEG)及ISO/IEC動畫專家組(MPEG)的視訊寫碼聯合合作小組(JCT-VC)完成。最新的HEVC草案說明書(下文被稱作HEVC WD)可自http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1003-v1.zip獲得。 HEVC之多視圖擴展(MV-HEVC)亦由JCT-3V開發。MV-HEVC之工作草案(WD)之實例(被稱作MV-HEVC WD8)可自phenix.it-sudparis.eu/jct2/doc_end_user/documents/8_Valencia/wg11/JCT3V-H1002-v5.zip獲得。HEVC之可調式擴展(被稱為為SHVC)亦已由JCT-VC開發。SHVC之工作草案(WD) (被稱作SHVC WD6)的實例可自phenix.it-sudparis.eu/jct/doc_end_user/documents/17_Valencia/wg11/JCTVC-Q1008-v2.zip獲得。 在HEVC視訊壓縮標準中，使用鄰近待預測區塊之4N + 1個像素(亦即，參考像素 )之群組將框內預測應用至具有N ×N 個像素之區塊 當計算區塊預測時，彼等參考像素 具有已經重建構且在編碼器及解碼器處已知之值。舉例而言，圖1展示在供HEVC使用的框內寫碼方法中待預測之4×4個像素之區塊。待預測像素90經展示為白色方塊且參考像素92經展示為灰色方塊。 框內預測為用於使用一個影像內之相鄰像素來減少或移除空間冗餘之寫碼工具。為找到精確預測方向並有效地移除冗餘，HEVC可針對每一PU使用至多35個預測模式。可存在用於預測之值的兩個集合，其視預測子模式(平面的、DC或方向型)及區塊大小而定。對於每一模式，參考像素之未經濾波抑或經濾波版本可用於預測。HEVC例如定義用於判定是否在框內預測中使用經濾波或未經濾波參考像素之固定表。 圖2為說明定義用於基於區塊大小之方向預測之濾波器設定之圖形表示的概念圖。圖2中展示一圓，其中預測模式(例如，方向預測模式)針對特定區塊大小(例如，8×8、16×16及32×32)使用參考樣本濾波。圖2中展示灰色「×」，其中預測模式針對特定區塊大小使用未經濾波參考樣本。舉例而言，預測模式2、18及34可使用經濾波參考像素而無論區塊大小如何，模式10及26可利用未經濾波參考像素而無論區塊大小如何，模式3至8、12至17、19至24及28至33可利用大小為8×8之區塊中之未經濾波參考像素，但使用大小為16×16及32×32之區塊中之經濾波參考像素，且模式9、11、25及27利用大小為8×8及16×16之區塊中之未經濾波參考像素及大小為32×32之區塊中之經濾波參考像素。此外，可存在可與三個分接頭(tap) (1/4、1/2、1/4)一起使用之一種類型之低通濾波器。 當前方法可更適合用於過去使用之低解析度視訊，其中藉由大部分較小區塊(例如，4×4或8×8)達成最佳壓縮。然而，較新趨勢為具有1080×1920 HD視訊或2160×3840 UHD視訊。對於彼等分辨率，使用較大區塊大小之預測可更高效並獲得更好壓縮。 彼等較大區塊中之參考之更強低通濾波可用於獲得更好壓縮。然而，在彼等情況下，最佳化對於給定區塊大小之所有區塊之預測的單個低通濾波器及最佳濾波器根據各區塊中之紋理而變化。 實施當前HEVC標準之視訊裝置使用基於經濾波參考或未經濾波參考之預測，其不支援用以組合來自彼等兩種情況之資訊的方式，即使資料可易於在編碼器及解碼器處獲得。 視訊寫碼裝置(諸如視訊編碼器或視訊解碼器)可使用本發明之技術以執行與位置相關之預測組合(PDPC)，亦即，使用定義如何組合基於經濾波及未經濾波參考值及基於經預測像素之位置之預測的一或多個經參數化之方程式。本發明描述參數之若干集合，以使得編碼器可測試每一者(經由例如使用速率-失真分析)並向解碼器傳信最佳參數(例如，在所測試之彼等參數中產生最佳速率-失真效能之參數)。 圖3說明根據本發明之技術之使用未經濾波參考(r )的4×4區塊(p )之預測。圖4說明根據本發明之技術之使用經濾波參考(s )的4×4區塊(q )之預測。儘管圖3及圖4兩者說明4×4像素區塊及17(4×4+1)各別參考值，但本發明之技術可應用至任何區塊大小及數目之參考值。 執行與位置相關之預測組合之視訊寫碼器可利用經濾波(q )預測與未經濾波(p )預測之間的組合，以使得可使用來自經濾波(s )參考陣列及未經濾波(r )參考陣列兩者之像素值來計算用於待寫碼之當前區塊的經預測區塊。 在PDPC之技術的一個實例中，在給定分別僅使用未經濾波及經濾波參考r 及s 計算之像素預測
Figure 02_image001
及
Figure 02_image003
之任何兩個集合之情況下，藉由
Figure 02_image005
表示之像素之經組合預測值由下式定義：
Figure 02_image007
其中
Figure 02_image009
為組合參數之集合。權重
Figure 02_image011
之值可為0與1之間的值。權重
Figure 02_image013
與
Figure 02_image015
之總和可等於一。 在某些實例中，具有與區塊中之像素之數目一樣大的參數之集合可為不實際的。在此等實例中，
Figure 02_image017
可由更小的參數集合加方程式定義，以計算來自彼等參數之所有組合值。在此實例中，可使用下式：
Figure 02_image019
其中
Figure 02_image021
及
Figure 02_image023
為預測參數，N 為區塊大小，
Figure 02_image025
及
Figure 02_image027
為針對特定模式分別使用未經濾波及經濾波參考使用根據HEVC標準計算之預測值，及
Figure 02_image029
為由預測參數定義之正規化因子(亦即，用以使經指派至
Figure 02_image031
及
Figure 02_image033
之總權重增加至1)。 式2可針對式2A中之任何視訊寫碼標準一般化：
Figure 02_image035
其中
Figure 02_image037
及
Figure 02_image039
為預測參數，N 為區塊大小，
Figure 02_image041
及
Figure 02_image043
為針對特定模式分別使用未經濾波及經濾波參考使用根據視訊寫碼標準(或視訊寫碼方案或演算法)計算之預測值，及
Figure 02_image045
為由預測參數定義之正規化因子(亦即，用以使經指派至
Figure 02_image047
及
Figure 02_image049
之總權重增加至1)。 此等預測參數可包括用以根據所使用之預測模式之類型(例如，HEVC之DC、平面及33方向模式)提供經預測項之最佳線性組合的權重。舉例而言，HEVC含有35個預測模式。可藉由用於預測模式中之每一者之預測參數
Figure 02_image051
Figure 02_image053
中之每一者的值(亦即，用於每一預測模式的
Figure 02_image055
Figure 02_image057
之35個值)來建構查找表。此等值可在具有視訊的位元串流中編碼或可為編碼器及解碼器提前已知之恆定值，且可不需要在檔案或位元串流中傳輸。
Figure 02_image059
Figure 02_image053
之值可由訓練演算法藉由求出針對訓練視訊之集合產生最佳壓縮的預測參數之值來判定。在另一實例中，存在用於每一預測模式(在例如查找表中)的複數個預定義預測參數集且在經編碼檔案或位元串流中將所選擇之預測參數集(而非參數本身)傳輸至解碼器。在另一實例中，
Figure 02_image061
Figure 02_image063
之值可藉由視訊編碼器在運行中產生且在經編碼檔案或位元串流中將其傳輸至解碼器。 在另一實例中，代替使用HEVC預測，執行此等技術之視訊寫碼裝置可使用經修改版本之HEVC，與使用65個方向預測而非33個方向預測之技術相同。實際上，可使用任何類型的框內預測。 在另一實例中，可選擇公式以便於計算。舉例而言，吾人可使用以下類型之預測子
Figure 02_image065
其中
Figure 02_image067
且
Figure 02_image069
。    (6) 此方法可利用HEVC (或其他)預測之線性。將h 定義為來自預定義集合的濾波器k 之脈衝回應，若吾人具有
Figure 02_image071
其中「*」表示卷積，則
Figure 02_image073
亦即，可自線性組合參考計算線性組合預測。 式4、6及8可針對式4A、6A及8A中之任何視訊寫碼標準一般化：
Figure 02_image075
其中
Figure 02_image077
且
Figure 02_image079
。   (6A) 此方法可利用寫碼標準之預測之線性。將h 定義為來自預定義集合的濾波器k 之脈衝回應，若吾人具有
Figure 02_image081
其中「*」表示卷積，則
Figure 02_image083
亦即，可自線性組合參考計算線性組合預測。 在一實例中，預測函數可僅使用參考向量(例如，r 及s )作為輸入。在此實例中，若參考已經濾波或未經濾波，則參考向量之行為不改變。若r 及s 相等(例如，某一未經濾波參考r 恰好與另一經濾波參考s 相等)，則應用至經濾波及未經濾波參考之預測函數相等，例如，
Figure 02_image085
(亦寫作p (x,y,r ))等於
Figure 02_image087
(亦寫作p (x,y,s ))。另外，像素預測p 及q 可為等效的(例如，在給定相同輸入之情況下產生相同輸出)。在此實例中，可藉由替換像素預測
Figure 02_image089
之像素預測
Figure 02_image091
來重寫式(1)至式(8)。 在另一實例中，預測(例如，函數之集合)可根據參考已經濾波之資訊而改變。在此實例中，可指示函數之不同集合(例如，
Figure 02_image093
及
Figure 02_image095
)。在此情況下，即使r 及s 相等，
Figure 02_image097
及
Figure 02_image099
仍可不相等。換言之，同一輸入可產生不同輸出，其視輸入是否已經濾波或未經濾波而定。在此實例中，
Figure 02_image101
可不能夠由
Figure 02_image103
替換。 所展示之預測方程式之優點在於：利用經參數化之公式化，可針對不同類型的視訊紋理使用諸如訓練之技術來判定最佳參數之集合(亦即，最佳化預測準確度之彼等參數)。在一些實例中，又可藉由針對一些典型類型之紋理計算預測參數之若干集合及具有其中編碼器測試來自每一集合之預測子且將產生最佳壓縮之預測子編碼為旁側資訊的壓縮方案來擴展此方法。 圖5為說明可利用本發明中所描述之技術(包括PDPC)之實例視訊編碼及解碼系統10的方塊圖。如圖5中所示，解碼系統10包括源裝置12，其提供稍後時間將由目的地裝置14解碼的經編碼視訊資料。特定而言，源裝置12經由電腦可讀媒體16將視訊資料提供至目的地裝置14。源裝置12及目的地裝置14可包含廣泛範圍之裝置中之任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂的「智慧型」電話)、所謂的「智慧型」平板電腦、電視機、攝影機、顯示裝置、數位媒體播放器、視訊遊戲控制台、視訊串流傳輸裝置或其類似者。在一些情況下，源裝置12及目的地裝置14可經裝備以用於無線通信。 目的地裝置14可經由電腦可讀媒體16接收待解碼的經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源裝置12移動至目的地裝置14的任何類型之媒體或裝置。在一項實例中，電腦可讀媒體16可包含使得源裝置12能夠即時將經編碼視訊資料直接傳輸至目的地裝置14的通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地裝置14。通信媒體可包含任何無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如區域網路、廣域網路或諸如網際網路之全球網路)的部分。通信媒體可包括路由器、交換器、基地台，或可用以促進自源裝置12至目的地裝置14之通信的任何其他設備。 在一些實例中，經編碼資料可自輸出介面22輸出至儲存裝置。類似地，可藉由輸入介面自儲存裝置存取經編碼資料。儲存裝置可包括多種分散式或局部存取式資料儲存媒體中之任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體或用於儲存經編碼視訊資料的任何其他合適之數位儲存媒體。在另一實例中，儲存裝置可對應於檔案伺服器或可儲存由源裝置12產生的經編碼視訊之另一中間儲存裝置。目的地裝置14可經由串流或下載自儲存裝置存取所儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地裝置14之任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)裝置或本端磁碟機。目的地裝置14可經由任何標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼之視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或兩者之組合。經編碼視訊資料自儲存裝置之傳輸可為串流傳輸、下載傳輸或其組合。 本發明之技術不必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如，經由HTTP之動態自適應串流(DASH))、經編碼至資料儲存媒體上之數位視訊、儲存在資料儲存媒體上的數位視訊之解碼或其他應用。在一些實例中，解碼系統10可經組態以支援單向或雙向視訊傳輸從而支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。 在圖5之實例中，源裝置12包括視訊源18、視訊編碼器20及輸出介面22。目的地裝置14包括輸入介面28、視訊解碼器30及顯示裝置32。根據本發明，源裝置12之視訊編碼器20可經組態以應用本發明中所描述之技術，諸如關於使用與位置相關之預測組合之改良視訊框內預測之技術。根據本發明，目的地裝置14之視訊解碼器30可經組態以應用本發明中所描述之技術，諸如關於使用與位置相關之預測組合之改良視訊框內預測之技術。在其他實例中，源裝置及目的地裝置可包括其他組件或配置。舉例而言，源裝置12可自外部視訊源18 (諸如，外部攝影機)接收視訊資料。同樣，目的地裝置14可與外部顯示裝置介接，而非包括整合式顯示裝置。 如上文所述，源裝置12包括輸出介面22且目的地裝置14包括輸入介面28。在一些實例中，輸出介面22表示傳輸器且輸入介面28表示接收器。在其他實例中，輸出介面22及輸入介面28表示收發器之實例(亦即，能夠無線傳輸及接收資料信號之介面)。收發器可經組態以按無線信號發送及接收視訊資料。舉例而言，輸出介面22在實施為收發器時可發送包括經編碼視訊資料之資料信號(例如，電腦可讀媒體16)，而輸入介面28在實施為收發器時可接收包括經編碼視訊資料之資料信號(例如，電腦可讀媒體16)。如上文所論述，視訊編碼器20可將經編碼視訊資料提供至輸出介面22，而輸入介面28可將經編碼視訊資料提供至視訊解碼器30。 圖5之所說明之解碼系統10僅為一個實例。本發明中所描述之技術可藉由任何數位視訊編碼及/或解碼裝置來執行。雖然本發明之技術大體上由視訊編碼裝置執行，但該等技術亦可由視訊編碼器/解碼器(通常被稱作「編解碼器」)執行。此外，本發明之技術亦可由視訊預處理器執行。源裝置12及目的地裝置14僅為其中源裝置12產生經寫碼視訊資料以供傳輸至目的地裝置14之此類寫碼裝置的實例。在一些實例中，裝置12、14可以實質上對稱的方式操作，使得裝置12、14中之每一者包括視訊編碼及解碼組件。因此，解碼系統10可支援視訊裝置12、14之間的單向或雙向視訊傳輸以(例如)用於視訊串流、視訊播放、視訊廣播或視訊電話。 源裝置12之視訊源18可包括視訊捕捉裝置，諸如視訊攝影機、含有先前捕捉之視訊的視訊存檔及/或用於自視訊內容提供者接收視訊的視訊饋送介面。作為另一替代例，視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些情況下，若視訊源18為視訊攝影機，則源裝置12及目的地裝置14可形成所謂的攝影機電話或視訊電話。然而，如上文所提及，本發明所描述之技術大體上可適用於視訊寫碼，且可適用於無線及/或有線應用。在每一情況下，可由視訊編碼器20編碼所捕捉、預捕捉或電腦產生之視訊。可接著藉由輸出介面22將經編碼視訊資訊輸出至電腦可讀媒體16上。 電腦可讀媒體16可包括暫時性媒體，諸如無線廣播或有線網路傳輸，或儲存媒體(亦即，非暫時性儲存媒體)，諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。在一些實例中，網路伺服器(未展示)可自源裝置12接收經編碼視訊資料，且(例如)經由網路傳輸將經編碼視訊資料提供至目的地裝置14。類似地，媒體生產設施(諸如光碟衝壓設施)之計算裝置可自源裝置12接收經編碼視訊資料且生產含有經編碼視訊資料之光碟。因此，在各種實例中，可理解電腦可讀媒體16包括各種形式之一或多個電腦可讀媒體。 目的地裝置14之輸入介面28自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊，該語法資訊亦供視訊解碼器30使用，其包括描述區塊及其他經寫碼單元(例如，GOP)之特性及/或處理的語法元素。顯示裝置32向使用者顯示經解碼視訊資料，且可包含多種顯示裝置中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示裝置。 視訊編碼器20及視訊解碼器30可根據視訊寫碼標準(諸如上文所描述之標準)且在一些實例中根據高效視訊寫碼(HEVC)標準(亦稱作ITU-T H.265或HEVC標準之擴展)或根據下一代視訊寫碼標準操作。然而，本發明之技術不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。儘管圖5中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當的多工器-解多工器(MUX-DEMUX)單元或其他硬體及軟體，以處置共同資料串流或單獨資料串流中之音訊及視訊兩者之編碼。若適用，則多工器-解多工器單元可遵照諸如ITU H.223多工器協定之協定或諸如使用者資料報協定(UDP)之其他協定。 視訊編碼器20及視訊解碼器30各自可實施為多種合適的編碼器電路中的任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時，裝置可將用於軟體之指令儲存於合適的非暫時性電腦可讀媒體中，且使用一或多個處理器執行硬體中之指令以執行本發明的技術。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可整合為各別裝置中之組合式編碼器/解碼器(編解碼器)之部分。 大體而言，可將視訊圖框或圖像劃分成一系列樹型區塊，其亦稱為可包括明度及色度樣本兩者之最大寫碼單元(LCU)。位元串流內之語法資料可定義LCU之大小，LCU就像素之數目而言為最大寫碼單元。圖塊包括按寫碼次序之多個連續樹型區塊。視訊圖框或圖像可分割成一或多個圖塊。每一樹型區塊可根據四分樹資料結構而分裂成寫碼單元(CU)。大體而言，四分樹資料結構每CU包括一個節點，其中根節點對應於樹型區塊。若將CU分裂成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中之一者。 該四分樹資料結構中之每一節點可提供針對對應CU之語法資料。舉例而言，該四分樹中之節點可包括分裂旗標，從而指示對應於該節點之CU是否分裂成子CU。針對CU之語法元素可經遞迴地定義，且可取決於該CU是否分裂成子CU。若CU未經進一步分裂，則其被稱作葉CU。在本發明中，即使不存在原始葉CU之明顯分裂，葉CU之四個子CU亦被稱作葉CU。舉例而言，若16×16大小之CU未進一步分裂，則四個8×8子CU亦被稱作葉CU，儘管該16×16 CU從未分裂。 除CU不具有大小區別外，CU具有與H.264標準之巨集區塊類似的用途。舉例而言，可將樹型區塊分裂成四個子節點(亦稱作子CU)，且每一子節點又可為上代節點且可被分裂成另外四個子節點。被稱作四分樹之葉節點之最終的未分裂子節點包含一寫碼節點，該寫碼節點亦被稱作葉CU。與經寫碼位元串流相關聯之語法資料可定義可分裂樹型區塊之最大次數(其被稱作最大CU深度)，且亦可定義該等寫碼節點之最小大小。因此，位元串流亦可定義最小寫碼單元(SCU)。本發明使用術語「區塊」來指HEVC之上下文中的CU、預測單元(PU)或變換單元(TU)中之任一者或其他標準之上下文中的類似資料結構(例如，H.264/AVC中之巨集區塊及其子區塊)。 CU包括寫碼節點以及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且形狀通常為正方形。CU之大小可在自8×8像素高達具有最大大小(例如，64×64像素或更大)的樹型區塊之大小的範圍內。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述例如將CU分割成一或多個PU。分割模式可在CU經跳躍或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼之間而不同。PU可經分割成非正方形形狀。與CU相關聯之語法資料亦可描述(例如) CU根據四分樹分割成一或多個TU。TU之形狀可為正方形或非正方形(例如，矩形)。 HEVC標準允許根據TU進行變換，該等變換對於不同CU可不同。TU的大小通常係基於針對經分割LCU定義之給定CU內的PU之大小，但此可並非總是如此狀況。TU通常與PU大小相同或小於PU。在一些實例中，可使用被稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為更小單元。可將RQT之葉節點稱作變換單元(TU)。與TU相關聯之像素差值可經變換以產生可經量化之變換係數。 葉CU可包括一或多個PU。大體而言，PU表示對應於對應CU之所有或一部分的空間區域，且可包括用於擷取及/或產生PU之參考樣本的資料。此外，PU包括與預測有關之資料。舉例而言，當PU經框內模式編碼時，PU之資料可包括於殘餘四分樹(RQT)中，該RQT可包括描述用於對應於該PU之TU的框內預測模式的資料。RQT亦可被稱作變換樹。在一些實例中，可在葉CU語法而非RQT中傳信框內預測模式。作為另一實例，當PU經框間模式編碼時，PU可包括定義諸如PU之一或多個運動向量之運動資訊的資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精確度或八分之一像素精確度)、運動向量所指向的參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。 具有一或多個PU之葉CU亦可包括一或多個TU。如上文所論述，可使用RQT(亦稱作TU四分樹結構)來指定該等變換單元。舉例而言，分裂旗標可指示葉CU是否分裂成四個變換單元。接著，可將每一變換單元進一步分裂為另外的子TU。當TU未進一步分裂時，可將其稱作葉TU。大體而言，對於框內寫碼，屬於葉CU之所有葉TU共用相同框內預測模式。亦即，通常應用相同框內預測模式來計算葉CU之所有TU之預測值。對於框內寫碼，視訊編碼器可使用框內預測模式將每一葉TU之殘餘值計算為在CU之對應於該TU的部分與原始區塊之間的差。TU不必限於PU的大小。因此，TU可大於或小於PU。對於框內寫碼，PU可與用於同一CU之對應葉TU共置。在一些實例中，葉TU之最大大小可對應於對應葉CU之大小。 此外，葉CU之TU亦可與如上文所述之各別四分樹資料結構(被稱作殘餘四分樹(RQT)或變換樹)相關聯。亦即，葉CU可包括指示葉CU如何被分割成TU之四分樹。TU四分樹之根節點大體對應於葉CU，而CU四分樹之根節點大體對應於樹型區塊(或LCU)。將RQT之未被分裂的TU稱作葉TU。大體而言，除非另有指示，否則本發明分別使用術語CU及TU來指代葉CU及葉TU。 視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)大體上包含一系列視訊圖像中之一或多者。GOP可包括GOP之標頭、圖像中之一或多者之標頭或別處的語法資料，該語法資料描述包括於GOP中之圖像的數目。圖像之每一圖塊可包括描述各別圖塊之編碼模式的圖塊語法資料。視訊編碼器20通常對個別視訊圖塊內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而在大小方面不同。 作為實例，可針對各種大小之PU執行預測。假定特定CU之大小為2N×2N，則可對2N×2N或N×N之PU大小執行框內預測，且對2N×2N、2N×N、N×2N或N×N之對稱PU大小執行框間預測。亦可針對2N×nU、2N×nD、nL×2N及nR×2N的PU大小執行框間預測之不對稱分割。在不對稱分割中，CU之一方向未分割，而另一方向分割成25%及75%。CU之對應於25%分割之部分由「n」其後接著「上」、「下」、「左」或「右」之指示來指示。因此，舉例而言，「2N×nU」係指水平上以頂部之2N×0.5N PU及底部之2N×1.5N PU分割之2N×2N CU。 根據本發明之技術，視訊編碼器20及視訊解碼器30可經組態以使用經濾波參考值之集合與未經濾波參考值之集合的線性組合來對視訊資料區塊進行框內預測，其中參考值對應於先前解碼之相鄰像素。亦即，視訊編碼器20及視訊解碼器30可將一或多個濾波器應用至相鄰像素以形成經濾波參考值之集合，且使用相鄰像素本身作為未經濾波之參考值。此外，線性組合可包括將權重及/或其他預測參數之各別集合應用至經濾波及未經濾波之參考值。舉例而言，視訊編碼器20及視訊解碼器30可使用如上文所論述之公式(1)、公式(2)及公式(4)中之任一者計算經預測區塊。 更特定而言，如下文更詳細地論述，視訊編碼器20通常使用此等技術預測接著編碼視訊資料，且亦可判定並接著傳信待在框內預測期間使用之預測參數。同樣地，當在位元串流中編碼此等預測參數時，視訊解碼器30自該位元串流擷取預測參數，且接著應用此等技術以預測、解碼及重建構視訊資料。 在本發明中，「N×N」與「N乘N」可互換地使用以指代視訊區塊在垂直維度與水平維度方面之像素尺寸，例如，16×16像素或16乘16像素。大體而言，16×16區塊在垂直方向上具有16個像素(y = 16)且在水平方向上將具有16個像素(x = 16)。同樣地，N×N區塊通常在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來排列區塊中之像素。此外，區塊未必需要在水平方向上與垂直方向上具有同一數目個像素。舉例而言，區塊可包含N×M像素，其中M未必等於N。 在使用CU之PU的框內預測性或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含描述在空間域(亦被稱作像素域)中產生預測性像素資料之方法或模式的語法資料，且TU可包含在對殘餘視訊資料應用變換(例如離散餘弦變換(DCT)、整數變換、小波變換或在概念上類似的變換)之後變換域中的係數。該殘餘資料可對應於未經編碼之圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括表示CU之殘餘資料的經量化變換係數之TU。亦即，視訊編碼器20可計算殘餘資料(以殘餘區塊之形式)、變換殘餘區塊以產生變換係數之區塊，且接著量化變換係數以形成經量化變換係數。視訊編碼器20可形成包括經量化變換係數之TU，以及其他語法資訊(例如，TU之分裂資訊)。 如上文所述，在任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化通常係指對變換係數進行量化以可能地減少用以表示該等係數之資料之量從而提供進一步壓縮的程序。量化程序可減少與一些或所有係數相關聯的位元深度。舉例而言，可在量化期間將n 位元值降值舍位至m 位元值，其中n 大於m 。 在量化之後，視訊編碼器20可掃描該等變換係數，從而自包括該等經量化之變換係數之二維矩陣產生一維向量。該掃描可經設計以將較高能量(且因此較低頻率)係數置於陣列前部，及將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化變換係數以產生可經熵編碼之經串行化向量。在其他實例中，視訊編碼器20可執行適應性掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文適應性可變長度寫碼(CAVLC)、上下文適應性二進位算術寫碼(CABAC)、基於語法之上下文適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來對一維向量進行熵編碼。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯的供由視訊解碼器30用於解碼視訊資料之語法元素。 為執行CABAC，視訊編碼器20可將上下文模型內之上下文指派至待傳輸之符號。該上下文可係關於(例如)符號之鄰近值是否為非零。為了執行CAVLC，視訊編碼器20可選擇用於待傳輸之符號的可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，相對於(例如)針對待傳輸之每一符號使用相等長度碼字，使用VLC可達成位元節省。機率判定可基於經指派至符號之上下文。 大體而言，視訊解碼器30執行儘管與由視訊編碼器20執行之程序互逆但與其實質上類似的程序以解碼經編碼資料。舉例而言，視訊解碼器30逆量化且逆變換所接收TU之係數以再生殘餘區塊。視訊解碼器30使用經傳信之預測模式(框內預測或框間預測)以形成經預測區塊。接著視訊解碼器30 (在逐像素基礎上)使經預測區塊與殘餘區塊組合以再生原始區塊。可執行額外處理，諸如執行解區塊程序以減少沿區塊邊界之視覺假影。另外，視訊解碼器30可以儘管與由視訊編碼器20之CABAC編碼程序互逆但與其實質上類似之方式使用CABAC來解碼語法元素。 視訊編碼器20可(例如)在圖框標頭、區塊標頭、圖塊標頭或GOP標頭中進一步將語法資料(諸如，基於區塊之語法資料、基於圖框之語法資料，及基於GOP之語法資料)發送至視訊解碼器30。GOP語法資料可描述各別GOP中之圖框的數目，且圖框語法資料可指示用以編碼對應圖框之編碼/預測模式。 在適用時，視訊編碼器20及視訊解碼器30各自可經實施為多種合適的編碼器或解碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯電路、軟體、硬體、韌體或其任何組合。視訊編碼器20及視訊解碼器30中之每一者可包括在一或多個編碼器或解碼器中，編碼器或解碼器中之任一者可經整合為組合式編碼器/解碼器(編解碼器)之部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如蜂巢式電話)。 圖6為說明可實施本發明中所描述之技術的視訊編碼器20之實例的方框圖，諸如關於使用與位置相關之預測組合之改良視訊框內預測之技術。根據本發明，視訊編碼器20可經組態以應用本發明中所描述之技術，諸如關於使用與位置相關之預測組合之改良視訊框內預測之技術。視訊編碼器20可執行視訊圖塊內之視訊區塊的框內寫碼及框間寫碼。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減小或移除視訊序列之鄰近圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指代若干基於空間之寫碼模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之寫碼模式中的任一者。 如圖6中所示，視訊編碼器20接收待編碼之視訊圖框內之當前視訊區塊。在圖2之實例中，視訊編碼器20包括模式選擇單元40、參考圖像記憶體64 (其亦可被稱為經解碼圖像緩衝器(DPB))、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46及分割單元48。對於視訊區塊重建構，視訊編碼器20亦包括逆量化單元58、逆變換單元60及求和器62。低通濾波器66可自參考圖像記憶體64接收圖像資訊且可預濾波參考樣本以供模式選擇單元40 (及框內預測單元46)使用。亦可包括解區塊濾波器(圖6中未展示)以便對區塊邊界進行濾波以自經重建構視訊移除區塊效應假影。若需要，解區塊濾波器將通常對求和器62之輸出進行濾波。除解區塊濾波器及低通濾波器66以外，亦可使用額外濾波器(迴路內或迴路後)。 在編碼程序期間，視訊編碼器20接收待寫碼之視訊圖框或圖塊。可將該圖框或圖塊分成多個視訊區塊。運動估計單元42及運動補償單元44執行所接收視訊區塊相對於一或多個參考圖框中之一或多個區塊的框間預測性編碼以提供時間預測。框內預測單元46可替代地執行所接收視訊區塊相對於與待寫碼區塊相同之圖框或圖塊中之一或多個相鄰區塊的框內預測性編碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次(例如)以選擇用於視訊資料之每一區塊之適當寫碼模式。 低通濾波器66可應用於所有區塊或在一些實例中應用於上述某一大小之區塊(例如，在HEVC中大於4×4之區塊)。在一些實例中，低通濾波器66可僅應用於參考像素。可將3分接頭低通濾波器應用於視訊資料之區塊。然而，熟習此項技術者將認識到可基於所描述之技術使用任何數目類型之低通濾波器。 在本發明之實例中，可將強濾波器應用至一些或所有區塊之參考值且與未經濾波及/或低通經濾波參考像素組合以供在預測方程式中使用。下文論述關於此等濾波器之用途及藉由框內預測單元46執行之所得框內預測的更多細節。 此外，分割單元48可基於對先前寫碼遍次中之先前分割方案的評估而將視訊資料之區塊分割為子區塊。舉例而言，分割單元48可初始地將圖框或圖塊分割成LCU，且基於速率失真分析(例如，速率失真最佳化)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示將LCU分割為子CU之四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。 模式選擇單元40可(例如)基於誤差結果而選擇預測碼模式(框內或框間)中之一者，且將所得經預測區塊提供至求和器50以產生殘餘資料，及提供至求和器62以重建構經編碼區塊以用作參考圖框。模式選擇單元40亦將語法元素(諸如，運動向量、框內模式指示符、分割區資訊及其他此類語法資訊)提供至熵編碼單元56。 運動估計單元42及運動補償單元44可高度整合，但出於概念目的而加以單獨說明。藉由運動估計單元42執行之運動估計為產生估計視訊區塊之運動的運動向量之程序。舉例而言，運動向量可指示在當前視訊圖框或圖像內之視訊區塊的PU相對於在參考圖框(或其他經寫碼單元)內的預測性區塊相對於在該當前圖框(或其他經寫碼單元)內正經寫碼的當前區塊之位移。預測性區塊為就像素差而言被發現緊密地匹配待寫碼之區塊的區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差量度判定。在一些實例中，視訊編碼器20可計算儲存於參考圖像記憶體64中之參考圖像的子整數像素位置之值。舉例而言，視訊編碼器20可內插該參考圖像之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可執行關於全像素位置及分數像素位置之運動搜尋且輸出具有分數像素精確度之運動向量。 運動估計單元42藉由比較PU之位置與參考圖像的預測性區塊之位置而計算經框間寫碼圖塊中的視訊區塊之PU之運動向量。該參考圖像可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等清單中之每一者識別儲存於參考記憶體64中之一或多個參考圖像。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。 由運動補償單元44執行之運動補償可涉及基於由運動估計單元42所判定之運動向量來提取或產生預測性區塊。又，在一些實例中，運動估計單元42及運動補償單元44可在功能上整合。在接收到當前視訊區塊之PU的運動向量之後，運動補償單元44可在參考圖像清單中之一者中定位運動向量所指向之預測性區塊。求和器50藉由自正被寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。大體而言，運動估計單元42相對於明度分量而執行運動估計，且運動補償單元44將基於該等明度分量所計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊中使用。 作為由運動估計單元42及運動補償單元44執行之框間預測的替代，框內預測單元46可對當前區塊進行框內預測，如上文所描述。特定而言，框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可(例如)在單獨的編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46 (或在一些實例中為模式選擇單元40)可自所測試模式中選擇適當的框內預測模式來使用。 框內預測單元46可使用與位置相關之預測協調根據所選擇預測子模式及區塊大小自相鄰「參考」像素之未經濾波或經濾波集合執行預測。經濾波參考像素可經由低通濾波器66濾波。框內預測單元46可使用多個例示性公式(1)至(8)中之一或多者以計算像素之經組合預測值。 在一個實例中，當給定分別僅使用未經濾波及經濾波參考r 及s 計算之像素預測
Figure 02_image105
及
Figure 02_image107
之任何兩個集合時，框內預測單元46可經由如上所定義之公式(1)來計算藉由
Figure 02_image109
表示之像素之經組合預測值。 在另一實例中，框內預測單元46可利用具有較小參數集之方程式。在此等實例中，
Figure 02_image111
可由更小參數集加方程式定義以計算來自彼等參數之所有組合值。在此實例中，可由框內預測單元46使用如上所定義之公式(2)。 在另一實例中，可選擇公式以便於計算。舉例而言，框內預測單元46可使用如以上公式(4)中所定義之預測子。此方法可利用如以上公式(7)及(8)中所展示之HEVC (或其他)預測之線性。 框內預測單元46可選擇與供最適合預測(例如，具有最佳速率-失真特徵)之框內預測單元46使用之預測方程式相對應的預測參數(例如，
Figure 02_image113
Figure 02_image115
)。 舉例而言，模式選擇單元40可使用用於各種經測試框內預測模式的速率-失真分析來計算速率-失真值，且在所測試模式中選擇具有最佳速率-失真特徵之框內預測模式及預測參數。使用速率-失真分析，模式選擇單元40通常判定經編碼區塊與經編碼以產生經編碼區塊的原始未經編碼區塊以及用以產生經編碼區塊的位元率(亦即，多個位元)之間的失真(或錯誤)之量。模式選擇單元40可根據各種經編碼區塊之失真及速率來計算比率以判定哪一框內預測模式展現區塊之最佳速率-失真值。舉例而言，框內預測單元46可測試組合經濾波及未經濾波參考值之經參數化之方程式的集合中之每一者。框內預測單元46可測試參數之集合之每一者(或複數個)以判定哪一模式及參數展現區塊之最佳速率-失真值。 在一實例中，模式選擇單元40可利用含有用於預測模式中之每一者的預測參數的表。模式選擇單元40可針對每一與位置相關之預測組合(PDPC)方法且不使用PDPC來計算速率失真結果。模式選擇單元40可接著選擇展現最佳速率-失真值之預測模式及預測參數(或缺少預測參數)。在不使用加速度技術之實例中，藉由模式選擇單元40執行的測試之數目將等於(預測子模式之數目)×(PDPC參數集+1之數目)。 在選擇用於區塊之框內預測模式之後，模式選擇單元40可將指示用於區塊之所選擇框內預測模式之資訊及PDPC預測參數提供至熵編碼單元56。熵編碼單元56可編碼指示該所選擇之框內預測模式之資訊。視訊編碼器20可包括於經傳輸之位元串流組態資料中，其可包括：複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦被稱作碼字映射表)、各種區塊之編碼上下文的定義及最可能的框內預測模式之指示、預測參數(預測參數值或對應於預測參數之預定義集合的單個值)、框內預測模式索引表及用於上下文中之每一者的經修改框內預測模式索引表。視訊編碼器20可包括視訊參數集(VPS)、序列參數集(SPS)、圖像參數集(PPS)、圖塊標頭、區塊標頭或其他此類資料中之一或多者中的預測參數。 視訊編碼器20藉由自正經寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將變換(諸如離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，從而產生包含變換係數值之視訊區塊。可使用小波變換、整數變換、子頻帶變換、離散正弦變換(DST)或其他類型之變換來代替DCT。在任何情況下，變換處理單元52將變換應用於殘餘區塊，從而產生變換係數區塊。該變換可將殘餘資訊自像素域變換至變換域，諸如頻域。變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步減小位元速率。量化程序可減小與一些或所有係數相關聯的位元深度。可藉由調整量化參數來修改量化程度。 在量化之後，熵編碼單元56對經量化之變換係數進行掃描及熵編碼。舉例而言，熵編碼單元56可執行上下文適應性可變長度寫碼(CAVLC)、上下文適應性二進位算術寫碼(CABAC)、基於語法之上下文適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼的情況下，上下文可基於相鄰區塊。在由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如，視訊解碼器30)或存檔以供稍後傳輸或擷取。 逆量化單元58及逆變換單元60分別應用逆量化及逆變換以在像素域中重建構殘餘區塊。特定而言，求和器62將經重建構之殘餘區塊添加至先前由運動補償單元44或框內預測單元46產生之經運動補償的預測區塊，以產生經重建構之視訊區塊以用於儲存於參考圖像記憶體64中。經重建構之視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以對後續視訊圖框中之區塊進行框間寫碼。 視訊編碼器20通常使用上文所論述之程序來對經寫碼視訊序列中之每一圖像的每一區塊進行編碼。另外，在一些實例中，視訊編碼器20可判定向其指派圖像中之每一者的時間層。此外，視訊編碼器20可經組態以對其他層(例如，其他視圖、可調式視訊寫碼層或類似者)之圖像進行編碼。在任何情況下，視訊編碼器20可針對(例如，各種視訊尺寸之)一或多個層進一步編碼指示每一圖像所屬之層的資料。 圖7為說明可實施本發明中所描述之技術的視訊解碼器30之實例的方塊圖。根據本發明，視訊解碼器30可經組態以應用本發明中所描述之技術，諸如關於使用與位置相關之預測組合之改良視訊框內預測之技術。在圖7之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、逆量化單元76、逆變換單元78、參考圖像記憶體82、低通濾波器84及求和器80。在一些實例中，視訊解碼器30可執行大體上與相對於視訊編碼器20 (圖6)描述之編碼遍次互逆的解碼遍次。運動補償單元72可基於自熵解碼單元70接收之運動向量產生預測資料(直接地及經由低通濾波器84兩者)，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符及預測參數產生預測資料。 在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70對位元串流進行熵解碼以產生經量化係數、運動向量或框內預測模式指示符、PDPC預測參數及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉寄至運動補償單元72。視訊解碼器30可在視訊圖塊層級及/或視訊區塊層級處接收語法元素。 當將視訊圖塊寫碼為經框內寫碼(I)圖塊時，框內預測單元74可基於經傳信之框內預測模式、預測參數及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。經由供框內預測單元74使用之低通濾波器84對當前圖框或圖像之經解碼區塊中的一些或全部進行濾波。 框內預測單元74可使用與位置相關之預測協調根據所選擇預測子模式及區塊大小而自相鄰「參考」像素之未經濾波或經濾波集合執行預測。可經由低通濾波器84對經濾波參考像素進行濾波。框內預測單元74可使用上文所定義之多個例示性公式(1)至(8)中之一或多者以計算像素之經組合預測值。 在一個實例中，當給定分別僅使用未經濾波及經濾波參考r 及s 計算之像素預測
Figure 02_image105
及
Figure 02_image107
之任何兩個集合時，框內預測單元74可經由如上所定義之公式(1)來計算藉由
Figure 02_image109
表示之像素之經組合預測值。 在另一實例中，框內預測單元74可利用具有較小參數集之方程式。在此等實例中，
Figure 02_image111
可由更小參數集加方程式定義以計算來自彼等參數之所有組合值。在此實例中，可由框內預測單元74使用如上所定義之公式(2)。 在另一實例中，可選擇公式以便於計算。舉例而言，框內預測單元74可使用如以上公式(4)中所定義之預測子。此方法可利用如以上公式(7)及(8)中所展示之HEVC (或其他)預測之線性。 框內預測單元74可使用與供框內預測單元74使用之預測方程式相對應的經解碼預測參數(例如，
Figure 02_image120
Figure 02_image122
)以計算經預測區塊。 當視訊圖框經寫碼為經框間寫碼(亦即，Ｂ、P或GPB)圖塊時，運動補償單元72基於運動向量及自熵解碼單元70接收之其他語法元素產生當前視訊圖塊之視訊區塊的預測性區塊。預測性區塊可自參考圖像清單中之一者內的參考圖像中之一者產生。視訊解碼器30可基於儲存於參考圖像記憶體82中之參考圖像使用預設建構技術來建構參考圖框清單：清單0及清單1。運動補償單元72藉由剖析運動向量及其他語法元素來判定當前視訊圖塊之視訊區塊的預測資訊，並使用該預測資訊以產生經解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元72使用一些所接收之語法元素以判定用以寫碼視訊圖塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測圖塊類型(例如，B圖塊、P圖塊或GPB圖塊)、圖塊之參考圖像清單中之一或多者之建構資訊、圖塊之每一經框間編碼之視訊區塊之運動向量、圖塊之每一經框間寫碼之視訊區塊之框間預測狀態，及用以解碼當前視訊圖塊中之視訊區塊的其他資訊。 運動補償單元72亦可執行基於內插濾波器之內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之子整數像素的內插值。在此情況下，運動補償單元72可根據接收之語法元素判定由視訊編碼器20使用之內插濾波器且使用該等內插濾波器來產生預測性區塊。 逆量化單元76逆量化(亦即，解量化)提供於位元串流中並由熵解碼單元70解碼之經量化變換係數。逆量化程序可包括使用由視訊解碼器30針對視訊圖塊中之每一視訊區塊計算之量化參數QPY 以判定應進行應用的量化程度及(同樣地)逆量化程度。 逆變換單元78將逆變換(例如，逆DCT、逆整數變換或概念上類似的逆變換程序)應用於變換係數，以便在像素域中產生殘餘區塊。 在運動補償單元72或框內預測單元74基於運動向量及其他語法元素而產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自逆變換單元78之殘餘區塊與由運動補償單元72或框內預測單元74所產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器80表示執行此求和運算之一或多個組件。若需要，亦可應用解區塊濾波器來對經解碼區塊進行濾波以便移除區塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路中或在寫碼迴路之後)以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體82中，該參考圖像記憶體儲存用於後續運動補償之參考圖像。參考圖像記憶體82亦儲存經解碼視訊以用於稍後在顯示器件(諸如，圖5之顯示裝置32)上呈現。 視訊解碼器30通常使用上文所論述之程序來對經寫碼視訊序列中之每一圖像的每一區塊進行解碼。另外，在一些實例中，視訊解碼器30可對指示向其指派圖像的時間層的資料進行解碼。此外，視訊解碼器30可經組態以對其他層(例如，其他視圖、可調式視訊寫碼層或類似者)之圖像進行解碼。在任何情況下，視訊解碼器30可針對(例如，各種視訊尺寸之)一或多個層進一步解碼指示每一圖像所屬之層的資料。 圖8為說明根據本發明之技術的實例方法的流程圖。在本發明之一個實例中，視訊編碼器20中之框內預測單元46可經組態以按光柵掃描次序編碼當前圖像之區塊(100)。視訊編碼器20可進一步經組態以判定對當前圖像之當前區塊進行框內預測(102)。視訊編碼器20可進一步經組態以自鄰近於當前區塊之經解碼區塊形成經濾波參考值(104)。低通濾波器66可經組態以對前述參考值進行濾波。視訊編碼器20可進一步經組態以判定預測參數以用於對當前區塊進行框內預測 (106)。判定預測參數可包括經由各種參數之刪削(lopping)以判定最佳參數集。額外實例包括選擇所有預測參數之子集及檢驗子集之每一參數組合以選擇最佳參數集。最佳參數集選擇可基於速率-失真分析。 視訊編碼器20可進一步經組態以使用經濾波參考值及未經濾波參考值，使用預測參數來對當前區塊進行框內預測以形成經預測區塊(108)。在一實例中，視訊編碼器20可經組態以藉由基於經濾波參考陣列中之複數個經濾波參考值中之一或多者乘以權重之第一集合與未經濾波參考陣列中之複數個未經濾波參考值中之一或多者乘以權重之第二集合的線性組合計算與像素之集合相關聯的預測值之集合來產生預測性區塊。在一實例中，計算預測值之集合包含用不同參數值計算預測值之集合複數次及選擇不同參數值之最佳參數集。視訊編碼器20可經組態以經由上文所論述之參數公式(1)至(8)中之任一者產生預測性區塊。 視訊編碼器20可進一步經組態以計算表示經預測區塊與原始區塊之間的差異之殘餘區塊(110)。視訊編碼器20可進一步經組態以變換並量化殘餘區塊(112)。視訊編碼器20可進一步經組態以熵編碼經量化變換係數、預測參數及用於當前區塊之框內預測模式之指示(114)。視訊編碼器20可進一步經組態以產生具有經熵編碼之經量化變換係數、預測參數及用於當前區塊之框內預測模式之指示的位元串流。 圖9為說明根據本發明之技術的實例方法之流程圖。在本發明之一個實例中，視訊解碼器30中之框內預測單元74可經組態以按光柵掃描次序解碼當前圖像之區塊(200)。視訊解碼器30可進一步經組態以熵解碼經量化變換係數、預測參數及用於當前區塊之框內預測模式之指示(202)。 視訊解碼器30可進一步經組態以解量化殘餘區塊(204)。 視訊解碼器30可進一步經組態以自鄰近於當前區塊之經解碼區塊形成經濾波參考值(206)。 視訊解碼器30可進一步經組態以使用經濾波參考值及未經濾波參考值，使用經解碼預測參數對當前區塊進行框內預測以形成經預測區塊(208)。在一實例中，視訊解碼器30可經組態以基於經濾波參考陣列中之複數個經濾波參考值中之一或多者乘以權重之第一集合與未經濾波參考陣列中之複數個未經濾波參考值中之一或多者乘以權重之第二集合的線性組合計算與像素之集合相關聯的預測值之集合。在一實例中，權重之第一集合及權重之第二集合基於像素之集合中之經預測像素的位置而變化。在另一實例中，權重之第一集合內的第一權重大於權重之第一集合中之第二權重，其中與第一權重相關聯的經預測值之集合中之第一預測性值與經濾波參考陣列之間的第一距離大於與第二權重相關聯的經預測值之集合中之第二預測性值與經濾波參考陣列之間的第二距離。在此實例中，預測性區塊內距參考像素愈遠的預測像素，經濾波參考像素之權重愈大。 在另一實例中，視訊解碼器30可經組態以基於未經濾波參考陣列中之複數個未經濾波參考值計算未經濾波預測值之集合並基於經濾波參考陣列中之複數個經濾波參考值計算經濾波預測值之集合。未經濾波預測值之集合及經濾波預測值之集合可基於自位元串流解碼之一或多個方向性預測子參數(例如，諸如上文描述於圖2中之HEVC方向性預測模式之方向性預測模式)。 在一實例中，視訊解碼器30可經組態以經由如上文所論述之參數公式(1)至(8)計算預測性值之集合。 視訊解碼器30可進一步經組態以基於經計算之預測性值之集合重建構視訊區塊(210)。 應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以不同序列執行，可添加、合併或完全省略該等動作或事件(例如，並非所有所描述動作或事件對於該等技術之實踐皆係必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器同時而非依序執行動作或事件。 在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體或包括促進(例如)根據通信協定將電腦程式自一處傳送至另一處之任何媒體的通信媒體。以此方式，電腦可讀媒體通常可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術的指令、碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。 藉助於實例而非限制，此類電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體或可用以儲存呈指令或資料結構形式之所要程式碼且可由電腦存取的任何其他媒體。又，將任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)或諸如紅外線、無線電及微波之無線技術自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是係關於非暫時性有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟用雷射以光學方式再生資料。以上各者的組合亦應包括於電腦可讀媒體之範疇內。 指令可由一或多個處理器執行，該一或多個處理器諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)或其他等效的整合或離散邏輯電路。因此，如本文中所使用之術語「處理器」可指代前述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，本文中所描述之功能性可提供於經組態用於編碼及解碼的專用硬體及/或軟體模組內，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。 本發明之技術可以多種裝置或設備實施，該等裝置或設備包括無線手機、積體電路(IC)或IC之集合(例如，晶片集合)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件的功能態樣，但未必需要由不同硬體單元來實現。確切而言，如上文所描述，可將各種單元組合於編解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合而結合合適軟體及/或韌體來提供該等單元。 已描述各種實例。此等及其他實例係在以下申請專利範圍之範疇內。
10‧‧‧解碼系統12‧‧‧源裝置14‧‧‧目的地裝置16‧‧‧電腦可讀媒體18‧‧‧視訊源20‧‧‧視訊編碼器20‧‧‧視訊編碼器22‧‧‧輸出介面28‧‧‧輸入介面30‧‧‧視訊解碼器32‧‧‧顯示裝置40‧‧‧模式選擇單元42‧‧‧運動估計單元44‧‧‧運動補償單元46‧‧‧框內預測單元48‧‧‧分割單元50‧‧‧求和器52‧‧‧變換處理單元54‧‧‧量化單元56‧‧‧熵編碼單元58‧‧‧逆量化單元60‧‧‧逆變換單元62‧‧‧求和器64‧‧‧參考圖像記憶體66‧‧‧濾波器70‧‧‧熵解碼單元72‧‧‧運動補償單元74‧‧‧框內預測單元76‧‧‧逆量化單元78‧‧‧逆變換單元80‧‧‧求和器82‧‧‧參考圖像記憶體84‧‧‧低通濾波器90‧‧‧待預測像素92‧‧‧參考像素
圖1為說明在可利用本發明中所描述之技術的框內寫碼中待預測之4×4像素之區塊的圖。 圖2為說明用於基於區塊大小之方向預測子之濾波器設定的圖。 圖3說明根據本發明之技術之使用未經濾波參考的4×4區塊之預測。 圖4說明根據本發明之技術之使用經濾波參考的4×4區塊之預測。 圖5為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統之方塊圖。 圖6為說明可實施本發明中所描述之技術的視訊編碼器之實例的方塊圖。 圖7為說明可實施本發明中所描述之技術的視訊解碼器之實例的方塊圖。 圖8為說明根據本發明之技術的實例方法的流程圖。 圖9為說明根據本發明之技術的實例方法之流程圖。
20‧‧‧視訊編碼器
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧逆量化單元
60‧‧‧逆變換單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
66‧‧‧濾波器

Claims (36)

  1. 一種解碼視訊資料之方法，該方法包含：將相鄰區塊解碼為視訊資料之一圖像中之一當前區塊；將包含複數個經濾波參考值之一經濾波參考陣列判定至該等相鄰區塊中之該當前區塊，該複數個經濾波參考值包含相鄰像素之經濾波版本；判定包含對應於該等相鄰像素之未經濾波版本的複數個未經濾波參考值之一未經濾波參考陣列；基於該經濾波參考陣列中之該複數個經濾波參考值中之一或多者乘以權重之一第一集合與該未經濾波之參考陣列中之該複數個未經濾波參考值中之一或多者乘以權重之一第二集合的一線性組合來產生與該當前區塊之像素之一集合相關聯的預測值之一集合，其中權重之該第一集合與權重之該第二集合的每一者包含大於零且小於壹的值，並且其中預測值之該集合包括一第一預測值以及一第二預測值，該第二預測值不同於該第一預測值；及基於該經產生之預測值之集合重建構該當前區塊。
  2. 如請求項1之方法，其中權重之該第一集合及權重之該第二集合基於與像素之該集合相關聯之預測值的一位置而變化。
  3. 如請求項2之方法，其中當與該第一權重相關聯之預測值之該集合中的該第一預測值與該經濾波參考陣列之間的一第一距離大於與該第二權重相 關聯之預測值之該集合中的該第二預測值與該經濾波參考陣列之間的一第二距離時，權重之該第一集合內之一第一權重大於權重之該第一集合中之一第二權重。
  4. 如請求項1之方法，其進一步包含：基於該未經濾波參考陣列中之該複數個未經濾波參考值產生未經濾波預測值之一集合；及基於該經濾波參考陣列中之該複數個經濾波參考值產生經濾波預測值之一集合；其中產生預測值之該集合包含使用未經濾波預測值之該集合及經濾波預測值之該集合產生預測值之該集合。
  5. 如請求項4之方法，其中未經濾波預測值之該集合及經濾波預測值之該集合係基於一框內寫碼方向模式。
  6. 如請求項1之方法，其中產生經預測值之該集合包含經由一參數公式產生預測值之該集合：v[x,y]=c[x,y]p r[x,y]+(1-c[x,y])q s[x,y]，其中x表示針對該當前區塊之一像素的一行識別符且y表示針對該當前區塊之該像素的一列識別符，v[x,y]表示在由x及y定義之一位置處之該當前區塊之該像素的一經組合預測值，p r[x,y]基於該複數個未經濾波參考值表示該複數個未經濾波預測值中之該一或多者，q s[x,y]基於該複數個經濾波參考值表示該經濾波參考陣列中之複數個經濾波預測值中之一或多者，c表示權重之該第二集合，且1-c表示權重之該第一集合。
  7. 如請求項1之方法，其中產生預測值之該集合包含經由一參數公式產生預測值之該集合：
    Figure 105130686-A0305-02-0043-1
     其中x表示針對該當前區塊之一像素的一行識別符且y表示針對該當前區塊之一像素的一列識別符，v[x,y]表示一經組合預測值，r表示該未經濾波參考陣列，權重之該第二集合包含作為預測參數的
    Figure 105130686-A0305-02-0043-11
    ,
    Figure 105130686-A0305-02-0043-12
    ,
    Figure 105130686-A0305-02-0043-13
    ,
    Figure 105130686-A0305-02-0043-14
    ,g,d v 及d h ，N為該當前區塊之一大小，
    Figure 105130686-A0305-02-0043-15
    表示根據一視訊寫碼標準之一未經濾波預測所產生之該複數個未經濾波參考值，
    Figure 105130686-A0305-02-0043-16
    表示根據該視訊寫碼標準之一經濾波預測所產生之該複數個經濾波參考值，權重之該第一集合包含表示一正規化因子之b[x,y]，且min0表示一最小函數。
  8. 如請求項7之方法，其中：
    Figure 105130686-A0305-02-0043-2
  9. 如請求項1之方法，其中產生預測值之該集合包含經由一參數公式產生預測值之該集合：
    Figure 105130686-A0305-02-0043-3
     其中
    Figure 105130686-A0305-02-0044-5
     其中x表示針對該當前區塊之一像素的一行識別符且y表示針對該當前區塊之一像素的一列識別符，v[x,y]表示一經組合預測值，r表示該未經濾波參考陣列，權重之該第二集合包含作為預測參數的a,
    Figure 105130686-A0305-02-0044-17
    ,
    Figure 105130686-A0305-02-0044-18
    ,
    Figure 105130686-A0305-02-0044-19
    ,
    Figure 105130686-A0305-02-0044-20
    ,d v 及d h ，權重之該第一集合包含b[x,y]，
    Figure 105130686-A0305-02-0044-21
    表示根據一視訊寫碼標準之一未經濾波預測所產生之該複數個未經濾波參考值，
    Figure 105130686-A0305-02-0044-22
    表示根據該視訊寫碼標準之一經濾波預測所產生之該複數個經濾波參考值。
  10. 一種編碼視訊資料之方法，該方法包含：接收一圖像之一當前區塊；將相鄰區塊解碼為視訊資料之一圖像中之一當前區塊；將包含複數個經濾波參考值之一經濾波參考陣列判定至該等相鄰區塊中之該當前區塊，該複數個經濾波參考值包含相鄰像素之經濾波版本；判定包含對應於該等相鄰像素之未經濾波版本的複數個未經濾波參考值之一未經濾波參考陣列；產生用於當前區塊之一預測性區塊，其中產生包含基於該經濾波參考陣列中之該複數個經濾波參考值中之一或多者乘以權重之一第一集合與該未經濾波參考陣列中之該複數個未經濾波參考值中之一或多者乘以權重之一第二集合的一線性組合來產生與該當前區塊之像素之一集合相關聯的預測值之一集合，其中權重之該第一集合與權重之該第二 集合的每一者包含大於零且小於壹的值，並且其中預測值之該集合包括一第一預測值以及一第二預測值，該第二預測值不同於該第一預測值；基於該當前區塊與該預測性區塊之間的一差異產生一殘餘區塊；及在一位元串流中編碼表示該殘餘區塊的資料。
  11. 如請求項10之方法，其中該產生預測值之該集合包含：使用不同參數值產生預測值之複數個集合；及選擇預測值之該等集合中之一者作為預測值之一最佳集合。
  12. 如請求項11之方法，其中選擇預測值之該等集合中之該一者作為預測值之該最佳集合包含：對預測值之該複數個集合執行一速率-失真分析；及選擇在預測值之該複數個集合中產生該最佳速率-失真效能的預測值之該等集合中之該一者。
  13. 如請求項12之方法，其中產生用於該當前區塊之一預測性區塊進一步包含：基於該經濾波參考陣列中之該複數個經濾波參考值中之一或多者或該未經濾波參考陣列中之該複數個未經濾波參考值中之該一或多者來產生與該當前區塊之像素之一集合相關聯的預測值之一第二集合；對預測值之該第二集合執行一第二速率-失真分析；及選擇預測值之該第二集合及預測值之該最佳集合中之一者。
  14. 如請求項11之方法，其進一步包含在該位元串流中編碼對應於預測值之該等集合中之該選定者的該等參數值。
  15. 一種用於解碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存與一圖像相關聯的視訊資料；及一或多個處理器，其與該記憶體通信且經組態以：將相鄰區塊解碼為視訊資料之該圖像中之一當前區塊；將包含複數個經濾波參考值之一經濾波參考陣列判定至該等相鄰區塊中之該當前區塊，該複數個經濾波參考值包含相鄰像素之經濾波版本；判定包含對應於該等相鄰像素之未經濾波版本的複數個未經濾波參考值之一未經濾波參考陣列；基於該經濾波參考陣列中之該複數個經濾波參考值中之一或多者乘以權重之一第一集合與該未經濾波之參考陣列中之該複數個未經濾波參考值中之一或多者乘以權重之一第二集合的一線性組合來產生與該當前區塊之像素之一集合相關聯的預測值之一集合，其中權重之該第一集合與權重之該第二集合的每一者包含大於零且小於壹的值，並且其中預測值之該集合包括一第一預測值以及一第二預測值，該第二預測值不同於該第一預測值；及基於該經產生之預測值之集合重建構該當前區塊。
  16. 如請求項15之裝置，其中權重之該第一集合及權重之該第二集合基於與像素之該集合相關聯之預測值之一位置而變化。
  17. 如請求項16之裝置，其中當與該第一權重相關聯之預測值之該集合中的該第一預測值與該經濾波參考陣列之間的一第一距離大於與該第二權重相關聯之預測值之該集合中的該第二預測值與該經濾波參考陣列之間的一第二距離時，權重之該第一集合內之一第一權重大於權重之該第一集合中之一第二權重。
  18. 如請求項15之裝置，其中該一或多個處理器經組態以：基於該未經濾波參考陣列中之該複數個未經濾波參考值產生未經濾波預測值之一集合；及基於該經濾波參考陣列中之該複數個經濾波參考值產生經濾波預測值之一集合；其中經組態以產生預測值之該集合的該一或多個處理器包含經組態以使用未經濾波預測值之該集合及經濾波預測值之該集合來產生預測值之該集合的該一或多個處理器。
  19. 如請求項18之裝置，其中未經濾波預測值之該集合及經濾波預測值之該集合係基於一框內寫碼方向模式。
  20. 如請求項15之裝置，其中經組態以產生預測值之該集合的該一或多個處理器包含經組態以經由一參數公式產生預測值之該集合的該一或多個處理器：v[x,y]=c[x,y]p r[x,y]+(1-c[x,y])q s[x,y]，其中x表示針對該當前區塊之一像素的一行識別符且y表示針對該當前區塊之該像素的一列識別符，v[x,y]表示在由x及y定義之一位置處之該當前 區塊之該像素的一經組合預測值，p r[x,y]基於該複數個未經濾波參考值表示該複數個未經濾波預測值中之一或多者，q s[x,y]基於該複數個經濾波參考值表示該複數個經濾波預測值中之一或多者，c表示權重之該第二集合，且1-c表示權重之該第一集合。
  21. 如請求項15之裝置，其中經組態以產生預測值之該集合的該一或多個處理器包含經組態以經由一參數公式產生預測值之該集合的該一或多個處理器：
    Figure 105130686-A0305-02-0048-6
     其中x表示針對該當前區塊之一像素的一行識別符且y表示針對該當前區塊之一像素的一列識別符，v[x,y]表示一經組合預測值，r表示該未經濾波參考陣列，權重之該第二集合包含作為預測參數之
    Figure 105130686-A0305-02-0048-23
    ,
    Figure 105130686-A0305-02-0048-24
    ,
    Figure 105130686-A0305-02-0048-25
    ,
    Figure 105130686-A0305-02-0048-26
    ,g,d v 及d h ，N為該當前區塊之一大小，
    Figure 105130686-A0305-02-0048-27
    表示根據一視訊寫碼標準之一未經濾波預測所產生之該複數個未經濾波參考值，
    Figure 105130686-A0305-02-0048-28
    表示根據該視訊寫碼標準之一經濾波預測所產生之該複數個經濾波參考值，權重之該第一集合包含表示一正規化因子之b[x,y]，且min()表示一最小函數。
  22. 如請求項21之裝置，其中：
    Figure 105130686-A0305-02-0048-8
  23. 如請求項15之裝置，其中該一或多個處理器經組態以經由一參數公式產生預測值之該集合：
    Figure 105130686-A0305-02-0049-9
     其中
    Figure 105130686-A0305-02-0049-10
     其中x表示針對該當前區塊之一像素的一行識別符且y表示針對該當前區塊之一像素的一列識別符，v[x,y]表示一經組合預測值，r表示該未經濾波參考陣列，權重之該第二集合包含作為預測參數之a,
    Figure 105130686-A0305-02-0049-29
    ,
    Figure 105130686-A0305-02-0049-30
    ,
    Figure 105130686-A0305-02-0049-31
    ,
    Figure 105130686-A0305-02-0049-32
    ,d v 及d h ，權重之該第一集合包含b[x,y]，
    Figure 105130686-A0305-02-0049-33
    表示根據一視訊寫碼標準之一未經濾波預測所產生之該複數個未經濾波參考值，
    Figure 105130686-A0305-02-0049-34
    表示根據該視訊寫碼標準之一經濾波預測所產生之該複數個經濾波參考值。
  24. 如請求項15之裝置，其中該裝置包含經組態以顯示包含該經解碼當前區塊之該圖像的一顯示器。
  25. 如請求項15之裝置，其中該裝置包含一攝影機、一電腦、一行動裝置、一廣播接收器裝置或一機上盒中之一或多者。
  26. 一種用於編碼視訊資料之裝置，該裝置包含：一記憶體，其經組態以儲存與一圖像相關聯之視訊；及一或多個處理器，其與該記憶體通信且經組態以：接收該圖像之一當前區塊； 將相鄰區塊解碼為視訊資料之一圖像中之一當前區塊；將包含複數個經濾波參考值之一經濾波參考陣列判定至該等相鄰區塊中之該當前區塊，該複數個經濾波參考值包含相鄰像素之經濾波版本；判定包含對應於該等相鄰像素之未經濾波版本的複數個未經濾波參考值之一未經濾波參考陣列；產生用於該當前區塊之一預測性區塊，其中產生包含基於該經濾波參考陣列中之該複數個經濾波參考值中之一或多者乘以權重之一第一集合與該未經濾波參考陣列中之該複數個未經濾波參考值中之一或多者乘以權重之一第二集合的一線性組合來產生與該當前區塊之像素之一集合相關聯的預測值之一集合，其中權重之該第一集合與權重之該第二集合的每一者包含大於零且小於壹的值，並且其中預測值之該集合包括一第一預測值以及一第二預測值，該第二預測值不同於該第一預測值；基於該當前區塊與該預測性區塊之間的一差異產生一殘餘區塊；及在一位元串流中編碼表示該殘餘區塊的資料。
  27. 如請求項26之裝置，其中經組態以產生預測值之該集合的該一或多個處理器包含該一或多個處理器，其經組態以：使用不同參數值產生預測值之複數個集合；及選擇預測值之該等集合中之一者作為預測值之一最佳集合。
  28. 如請求項27之裝置，其中經組態以選擇預測值之該等集合中之該一者作為預測值之該最佳集合的該一或多個處理器包含該一或多個處理器，其經組態以：對預測值之該複數個集合執行一速率-失真分析；及選擇在預測值之該複數個集合中產生該最佳速率-失真效能的預測值之該等集合中之該一者。
  29. 如請求項28之裝置，其中經組態以產生用於該當前區塊之一預測性區塊的該一或多個處理器進一步包含該一或多個處理器，其經組態以：基於該經濾波參考陣列中之該複數個經濾波參考值中之一或多者或該未經濾波參考陣列中之該複數個未經濾波參考值中之該一或多者來產生與該當前區塊之像素之一集合相關聯的預測值之一第二集合；對預測值之該第二集合執行一第二速率-失真分析；及選擇預測值之該第二集合及預測值之該最佳集合中之一者。
  30. 如請求項27之裝置，其中該一或多個處理器經組態以在該位元串流中編碼對應於預測值之該等集合中之該選定者的該等參數值。
  31. 如請求項26之裝置，其中該裝置包含經組態以捕捉包含該視訊區塊之該圖像的一攝影機。
  32. 如請求項26之裝置，其中該裝置包含一攝影機、一電腦、一行動裝置、一廣播接收器裝置或一機上盒中之一或多者。
  33. 一種用於解碼視訊資料之裝置，該裝置包含：用於將相鄰區塊解碼為視訊資料之一圖像中之一當前區塊的構件；用於將包含複數個經濾波參考值之一經濾波參考陣列判定至該等相鄰區塊中之該當前區塊的構件，該複數個經濾波參考值包含相鄰像素之經濾波版本；用於判定包含對應於該等相鄰像素之未經濾波版本的複數個未經濾波參考值之一未經濾波參考陣列的構件；用於基於該經濾波參考陣列中之該複數個經濾波參考值中之一或多者乘以權重之一第一集合與該未經濾波參考陣列中之該複數個未經濾波參考值中之一或多者乘以權重之一第二集合的一線性組合來產生與該當前區塊之像素之一集合相關聯之預測值之一集合的構件，其中權重之該第一集合與權重之該第二集合的每一者包含大於零且小於壹的值，並且其中預測值之該集合包括一第一預測值以及一第二預測值，該第二預測值不同於該第一預測值；及用於基於該經產生之預測值之集合重建構該當前區塊的構件。
  34. 一種用於編碼視訊資料之裝置，該裝置包含：用於接收一圖像之一當前區塊；用於將相鄰區塊解碼為視訊資料之一圖像中之一當前區塊的構件；用於將包含複數個經濾波參考值之一經濾波參考陣列判定至該等相鄰區塊中之該當前區塊的構件，該複數個經濾波參考值包含相鄰像素之經濾波版本；用於判定包含對應於該等相鄰像素之未經濾波版本的複數個未經濾波參考值之一未經濾波參考陣列的構件； 用於產生該當前區塊之一預測性區塊的構件，其中產生包含基於該經濾波參考陣列中之該複數個經濾波參考值中之一或多者乘以權重之一第一集合與該未經濾波參考陣列中之該複數個未經濾波參考值中之一或多者乘以權重之一第二集合的一線性組合來產生與該當前區塊之像素之一集合相關聯之預測值之一集合，其中權重之該第一集合與權重之該第二集合的每一者包含大於零且小於壹的值，並且其中預測值之該集合包括一第一預測值以及一第二預測值，該第二預測值不同於該第一預測值；用於基於該當前區塊與該預測性區塊之間的一差異產生一殘餘區塊的構件；及用於在一位元串流中編碼表示該殘餘區塊之資料的構件。
  35. 一種其上儲存有用於處理視訊資料之指令的非暫時性電腦可讀媒體，該等指令在執行時使一或多個處理器：將相鄰區塊解碼為視訊資料之一圖像中之一當前區塊；將包含複數個經濾波參考值之一經濾波參考陣列判定至該等相鄰區塊中之該當前區塊，該複數個經濾波參考值包含相鄰像素之經濾波版本；判定包含對應於該等相鄰像素之未經濾波版本的複數個未經濾波參考值之一未經濾波參考陣列；基於該經濾波參考陣列中之該複數個經濾波參考值中之一或多者乘以權重之一第一集合與該未經濾波參考陣列中之該複數個未經濾波參考值中之一或多者乘以權重之一第二集合的一線性組合來產生與該當前區塊之像素之一集合相關聯的預測值之一集合，其中權重之該第一 集合與權重之該第二集合的每一者包含大於零且小於壹的值，並且其中預測值之該集合包括一第一預測值以及一第二預測值，該第二預測值不同於該第一預測值；及基於該經產生之預測值之集合重建構該當前區塊。
  36. 一種其上儲存有用於處理視訊資料之指令的非暫時性電腦可讀媒體，該等指令在執行時使一或多個處理器：接收一圖像之一當前區塊；將相鄰區塊解碼為視訊資料之一圖像中之一當前區塊；將包含複數個經濾波參考值之一經濾波參考陣列判定至該等相鄰區塊中之該當前區塊，該複數個經濾波參考值包含相鄰像素之經濾波版本；判定包含對應於該等相鄰像素之未經濾波版本的複數個未經濾波參考值之一未經濾波參考陣列；產生用於該當前區塊之一預測性區塊，其中產生包含基於該經濾波參考陣列中之該複數個經濾波參考值中之一或多者乘以權重之一第一集合與該未經濾波參考陣列中之該複數個未經濾波參考值中之一或多者乘以權重之一第二集合的一線性組合來產生與該當前區塊之像素之一集合相關聯的預測值之一集合，其中權重之該第一集合與權重之該第二集合的每一者包含大於零且小於壹的值，並且其中預測值之該集合包括一第一預測值以及一第二預測值，該第二預測值不同於該第一預測值；基於該當前區塊與該預測性區塊之間的一差異產生一殘餘區塊；及在一位元串流中編碼表示該殘餘區塊的資料。
TW105130686A 2015-09-29 2016-09-22 針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測 TWI766844B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562234645P 2015-09-29 2015-09-29
US62/234,645 2015-09-29
US15/272,034 2016-09-21
US15/272,034 US10425648B2 (en) 2015-09-29 2016-09-21 Video intra-prediction using position-dependent prediction combination for video coding

Publications (2)

Publication Number Publication Date
TW201729595A TW201729595A (zh) 2017-08-16
TWI766844B true TWI766844B (zh) 2022-06-11

Family

ID=58407611

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105130686A TWI766844B (zh) 2015-09-29 2016-09-22 針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測

Country Status (10)

Country Link
US (2) US10425648B2 (zh)
EP (1) EP3357247B1 (zh)
JP (1) JP6903644B2 (zh)
KR (1) KR20180063201A (zh)
CN (2) CN113612997A (zh)
BR (1) BR112018006408B1 (zh)
CA (1) CA3000373C (zh)
ES (1) ES2779461T3 (zh)
TW (1) TWI766844B (zh)
WO (1) WO2017058635A1 (zh)

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3396960A4 (en) * 2016-02-16 2019-04-10 Samsung Electronics Co., Ltd. VIDEO ENCODING METHOD AND APPARATUS, AND DECODING METHOD AND APPARATUS THEREOF
US10455228B2 (en) 2016-03-21 2019-10-22 Qualcomm Incorporated Determining prediction parameters for non-square blocks in video coding
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US10547854B2 (en) 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
CN117201777A (zh) * 2016-09-13 2023-12-08 韩国电子通信研究院 视频编码/解码方法和装置以及存储比特流的记录介质
US20190215521A1 (en) * 2016-09-22 2019-07-11 Mediatek Inc. Method and apparatus for video coding using decoder side intra prediction derivation
US10506228B2 (en) 2016-10-04 2019-12-10 Qualcomm Incorporated Variable number of intra modes for video coding
JP7036628B2 (ja) * 2017-03-10 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11146795B2 (en) 2017-03-10 2021-10-12 Qualcomm Incorporated Intra filtering flag in video coding
EP3590256B1 (en) * 2017-03-10 2023-12-20 HFI Innovation Inc. Method and apparatus of implicit intra coding tool settings with intra directional prediction modes for video coding
US10728548B2 (en) * 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
DE112018002112T5 (de) 2017-04-21 2020-01-16 Zenimax Media Inc. Systeme und verfahren zum rendern & vorkodierte lastschätz-basierte codierer-ansprech-bezogene anwendungen
US10638126B2 (en) 2017-05-05 2020-04-28 Qualcomm Incorporated Intra reference filter for video coding
US10805641B2 (en) * 2017-06-15 2020-10-13 Qualcomm Incorporated Intra filtering applied together with transform processing in video coding
EP3627836A4 (en) * 2017-06-21 2021-04-07 LG Electronics Inc. METHOD AND DEVICE FOR DECODING IMAGES ACCORDING TO INTRAPREDICTION IN AN IMAGE ENCODING SYSTEM
US11172221B2 (en) * 2017-06-26 2021-11-09 Interdigital Madison Patent Holdings, Sas Method and apparatus for intra prediction with multiple weighted references
WO2019009752A1 (en) 2017-07-05 2019-01-10 Huawei Technologies Co., Ltd. DEVICES AND METHODS FOR VIDEO CODING
EP3643061A1 (en) 2017-07-05 2020-04-29 Huawei Technologies Co. Ltd. Devices and methods for video coding
US11070824B2 (en) * 2017-09-15 2021-07-20 Sony Corporation Image processing device and method
KR20230045102A (ko) 2017-09-28 2023-04-04 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US10965941B2 (en) * 2017-10-09 2021-03-30 Qualcomm Incorporated Position-dependent prediction combinations in video coding
EP3487177A1 (en) * 2017-11-21 2019-05-22 Thomson Licensing Method and apparatus for low-complexity bi-directional intra prediction in video encoding and decoding
US11611757B2 (en) 2018-04-02 2023-03-21 Qualcomm Incorproated Position dependent intra prediction combination extended with angular modes
EP3554071A1 (en) * 2018-04-12 2019-10-16 InterDigital VC Holdings, Inc. Method and apparatus for intra prediction using a composite reference array
WO2019199142A1 (ko) * 2018-04-13 2019-10-17 엘지전자 주식회사 인트라 예측 방법을 결정하기 위한 영상 코딩 방법 및 장치
US11856184B2 (en) * 2018-05-14 2023-12-26 Interdigital Vc Holdings, Inc. Block shape adaptive intra prediction directions for quadtree-binary tree
CN112335240A (zh) * 2018-06-26 2021-02-05 交互数字Vc控股公司 使用可变权重的多参考帧内预测
US10567752B2 (en) * 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
US11277644B2 (en) * 2018-07-02 2022-03-15 Qualcomm Incorporated Combining mode dependent intra smoothing (MDIS) with intra interpolation filter switching
US11128872B2 (en) * 2018-07-16 2021-09-21 Qualcomm Incorporated Position dependent intra prediction combination with wide angle intra prediction
US10911765B2 (en) * 2018-08-01 2021-02-02 Tencent America LLC Method and apparatus for video coding
US10491893B1 (en) * 2018-08-29 2019-11-26 Tencent America LLC Method and apparatus for multi-line intra prediction
MX2021003317A (es) * 2018-09-21 2021-05-14 Interdigital Vc Holdings Inc Armonizacion de codificacion de intra transformada e intra prediccion de angulo ancho.
GB2577337A (en) * 2018-09-24 2020-03-25 Sony Corp Image data encoding and decoding
EP3843399B1 (en) 2018-10-12 2023-09-06 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video image component prediction method and apparatus, and computer storage medium
WO2020098643A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
US11310515B2 (en) * 2018-11-14 2022-04-19 Tencent America LLC Methods and apparatus for improvement for intra-inter prediction mode
BR112021010123A2 (pt) 2018-11-26 2021-08-24 Huawei Technologies Co., Ltd. Método de predição intra de um bloco de uma imagem
WO2020125803A1 (en) * 2018-12-21 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Intra prediction using polynomial model
CA3122769A1 (en) * 2018-12-21 2020-06-25 Huawei Technologies Co., Ltd. Method and apparatus of mode- and size-dependent block-level restrictions
WO2020162737A1 (ko) 2019-02-08 2020-08-13 주식회사 윌러스표준기술연구소 이차 변환을 이용하는 비디오 신호 처리 방법 및 장치
JP7293376B2 (ja) * 2019-02-28 2023-06-19 ヒューマックス・カンパニー・リミテッド イントラ予測ベースのビデオ信号処理方法及び装置
MX2021010562A (es) * 2019-03-05 2021-10-13 Fraunhofer Ges Forschung Seleccion de modelo de contexto impulsada en caso de uso para herramientas de codificacion de video hibridas.
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
EP3939275A4 (en) * 2019-03-11 2022-06-22 Telefonaktiebolaget Lm Ericsson (Publ) VIDEO ENCODING WITH GOP-BASED TEMPORAL FILTRATION
JP7416450B2 (ja) * 2019-03-11 2024-01-17 テンセント・アメリカ・エルエルシー インターｐｄｐｃモードの改善
US11445174B2 (en) * 2019-05-06 2022-09-13 Tencent America LLC Method and apparatus for video coding
WO2020229394A1 (en) * 2019-05-10 2020-11-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Matrix-based intra prediction
US11202070B2 (en) 2019-05-30 2021-12-14 Hulu, LLC Parallel bi-directional intra-coding of sub-partitions
US11197009B2 (en) * 2019-05-30 2021-12-07 Hulu, LLC Processing sub-partitions in parallel using reference pixels
US11134275B2 (en) * 2019-06-04 2021-09-28 Tencent America LLC Method and apparatus for performing primary transform based on filtering of blocks
US11039156B2 (en) 2019-06-11 2021-06-15 Tencent America LLC Unified position dependent prediction combination process
BR112021026574A2 (pt) * 2019-07-22 2022-02-15 Interdigital Vc Holdings Inc Método e aparelho para codificação e decodificação de vídeo com intrapredição baseada em matriz
CN114402614A (zh) * 2019-07-22 2022-04-26 交互数字Vc控股公司 使用基于矩阵的帧内预测进行视频编码和解码的方法和装置
EP3997872A4 (en) 2019-08-14 2022-10-26 Beijing Bytedance Network Technology Co., Ltd. WEIGHTING FACTORS FOR FILTERING PREDICTION SAMPLES IN INTRA MODE
WO2021027925A1 (en) 2019-08-14 2021-02-18 Beijing Bytedance Network Technology Co., Ltd. Position-dependent intra prediction sample filtering
CN116916043A (zh) 2019-09-24 2023-10-20 Oppo广东移动通信有限公司 预测值的确定方法、编码器、解码器以及计算机存储介质
WO2021068738A1 (en) * 2019-10-08 2021-04-15 Huawei Technologies Co., Ltd. Method and apparatus of adaptive adjustment of weighting prediction parameter precision
US11671592B2 (en) * 2019-12-09 2023-06-06 Qualcomm Incorporated Position-dependent intra-prediction combination for angular intra-prediction modes for video coding
CN111193934A (zh) * 2020-04-10 2020-05-22 杭州雄迈集成电路技术股份有限公司 一种帧内预测方法、系统、计算机设备及可读存储介质
CN113965764B (zh) * 2020-07-21 2023-04-07 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
US11743459B2 (en) * 2020-09-29 2023-08-29 Qualcomm Incorporated Filtering process for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120195378A1 (en) * 2011-01-28 2012-08-02 Qualcomm Incorporated Pixel level adaptive intra-smoothing
US20120207216A1 (en) * 2009-10-22 2012-08-16 Zhejiang Uiniversity Video and image encoding/decoding system based on spatial domain prediction
US20150110174A1 (en) * 2013-10-17 2015-04-23 Futurewei Technologies, Inc. Reference Pixel Selection and Filtering for Intra Coding of Depth Map

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0120009D0 (en) * 2001-08-15 2001-10-10 Uws Ventures Ltd Cause and effect diagnosis
US9154807B2 (en) * 2010-06-25 2015-10-06 Qualcomm Incorporated Inclusion of switched interpolation filter coefficients in a compressed bit-stream
EP2704435B1 (en) * 2011-04-25 2019-02-20 LG Electronics Inc. Intra-prediction method, and encoder and decoder using same
US9288500B2 (en) * 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
US9282344B2 (en) * 2011-11-04 2016-03-08 Qualcomm Incorporated Secondary boundary filtering for video coding
US9020294B2 (en) * 2012-01-18 2015-04-28 Dolby Laboratories Licensing Corporation Spatiotemporal metrics for rate distortion optimization
JP5841670B2 (ja) * 2012-09-28 2016-01-13 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
US9451254B2 (en) * 2013-07-19 2016-09-20 Qualcomm Incorporated Disabling intra prediction filtering
CN108141609A (zh) * 2015-10-21 2018-06-08 夏普株式会社 预测图像生成装置、图像解码装置以及图像编码装置
US10230961B2 (en) * 2016-06-03 2019-03-12 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
US10674165B2 (en) * 2016-12-21 2020-06-02 Arris Enterprises Llc Constrained position dependent intra prediction combination (PDPC)
US20190089952A1 (en) * 2017-09-19 2019-03-21 Futurewei Technologies, Inc. Bidirectional Weighted Intra Prediction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120207216A1 (en) * 2009-10-22 2012-08-16 Zhejiang Uiniversity Video and image encoding/decoding system based on spatial domain prediction
US20120195378A1 (en) * 2011-01-28 2012-08-02 Qualcomm Incorporated Pixel level adaptive intra-smoothing
US20150110174A1 (en) * 2013-10-17 2015-04-23 Futurewei Technologies, Inc. Reference Pixel Selection and Filtering for Intra Coding of Depth Map

Also Published As

Publication number Publication date
CN108141608A (zh) 2018-06-08
KR20180063201A (ko) 2018-06-11
EP3357247A1 (en) 2018-08-08
EP3357247B1 (en) 2019-12-18
ES2779461T3 (es) 2020-08-17
JP2018530246A (ja) 2018-10-11
CN108141608B (zh) 2021-08-24
CA3000373C (en) 2024-01-16
US20170094285A1 (en) 2017-03-30
BR112018006408B1 (pt) 2023-12-26
US20190373267A1 (en) 2019-12-05
TW201729595A (zh) 2017-08-16
CA3000373A1 (en) 2017-04-06
WO2017058635A1 (en) 2017-04-06
CN113612997A (zh) 2021-11-05
JP6903644B2 (ja) 2021-07-14
US10425648B2 (en) 2019-09-24
BR112018006408A2 (pt) 2018-10-09

Similar Documents

Publication Publication Date Title
TWI766844B (zh) 針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測
KR102334126B1 (ko) 인트라 블록 복사를 위한 레지듀얼 예측
KR102182441B1 (ko) 비디오 코딩에서 ｈｅｖｃ 확장들을 위한 다중 계층들의 저복잡도 지원
JP6293756B2 (ja) スケーラブルビデオ符号化における変換基準の調整
KR102276777B1 (ko) 상이한 종횡비를 갖는 공간 스케일러빌리티를 위한 계층간 참조 화상 구성
US20130163664A1 (en) Unified partition mode table for intra-mode coding
KR20160023729A (ko) 변위 벡터들을 이용한 예측 블록으로부터의 인트라 예측
EP2829062B1 (en) Inter layer texture prediction for video coding
WO2013148027A1 (en) Inter-view residual prediction in 3d video coding
KR20160135756A (ko) 레지듀 차분 펄스 코드 변조을 위한 양자화 프로세스들
EP2834977A1 (en) Weighted prediction parameter coding
WO2013184949A1 (en) Prediction mode information downsampling in enhancement layer coding
WO2014011555A1 (en) Adaptive difference domain spatial and temporal reference reconstruction and smoothing
WO2013184810A1 (en) Bi-layer texture prediction for video coding
KR20150138308A (ko) Shvc 를 위한 다수의 기초 계층 참조 화상
EP2883347A1 (en) Weighted difference prediction under the framework of generalized residual prediction